KR102302640B1 - 신체 조직 전기 신호의 검출 및 사용 - Google Patents

신체 조직 전기 신호의 검출 및 사용 Download PDF

Info

Publication number
KR102302640B1
KR102302640B1 KR1020197031346A KR20197031346A KR102302640B1 KR 102302640 B1 KR102302640 B1 KR 102302640B1 KR 1020197031346 A KR1020197031346 A KR 1020197031346A KR 20197031346 A KR20197031346 A KR 20197031346A KR 102302640 B1 KR102302640 B1 KR 102302640B1
Authority
KR
South Korea
Prior art keywords
electrodes
signal
wrist
pair
sensor
Prior art date
Application number
KR1020197031346A
Other languages
English (en)
Other versions
KR20190122904A (ko
Inventor
덱스터 더블유. 앙
데이비드 오 치폴렛타
새뮤얼 제이. 칸스
마이클 코월치
시드한트 스리쿠마
Original Assignee
피손 테크놀로지, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 피손 테크놀로지, 인크. filed Critical 피손 테크놀로지, 인크.
Publication of KR20190122904A publication Critical patent/KR20190122904A/ko
Application granted granted Critical
Publication of KR102302640B1 publication Critical patent/KR102302640B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4851—Prosthesis assessment or monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0024—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system for multiple sensor units attached to the patient, e.g. using a body or personal area network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6829—Foot or ankle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Abstract

생체 전위가 피검체의 피부 상에서 감지된다. 생체 전위는 근육 생체 전위, 및 신경 생체 전위를 포함한다. 피부 센서는, 감지 회로부(sensing circuitry)가 감지 회로부에 의해 생성되는 프로세싱된 생체 전위 신호에서 신경 생체 전위를 강조하는 것 및 근육 생체 전위를 강조하지 않는 것을 가능하게 하도록 배치된다. 머신 러닝 컴포넌트는 프로세싱된 생체 전위 신호에 기초하여 제어 시퀀스를 식별하거나 또는 신체 모션을 추적한다.

Description

신체 조직 전기 신호의 검출 및 사용{DETECTING AND USING BODY TISSUE ELECTRICAL SIGNALS}
본 출원은 2016년 12월 2일자로 출원된 미국 가출원 제62/429,334호 및 2017년 10월 2일자로 출원된 미국 가출원 제62/566,674호의 출원일의 이익에 대한 권리가 있으며, 이들 양 출원의 전체 내용은 참조에 의해 여기에서 통합된다.
본 설명은 신체 조직 전기 신호를 검출 및 사용하는 것에 관한 것이다.
인체의 말초 신경(peripheral nerve)은, 예를 들면, 다양한 작업을 수행하기 위해 전기 신호(때로는 자극(impulse)으로 칭해짐)를 생성하고 전파한다. 원심 신경(efferent nerve)은, 예를 들면, 중추 신경계로부터의 신호를 사지의 근육으로 전파시켜 근육의 수축 또는 이완을 야기한다. (단순화를 위해, 때로는, 수축 또는 이완 둘 모두를 가리키기 위해 용어 "수축"을 사용한다.) 구심 신경(afferent nerve)은 신호를, 다른 방향에서, 피부를 비롯한 감각 기관으로부터 중추 신경계로 전달한다. 신경 전기 신호(자극 활동(impulse activity))를 검출하는 하나의 방식은, 전극을 피부를 통해 신경 안으로 삽입하는 침습성 기술이다; 그 다음, 신경 전기 신호는 전극의 노출된 단부에서 검출될 수 있다.
근육의 수축 또는 이완은, 예를 들면, 손가락을 조작하는 근육 부근의 위치에 있는 뉴런에 의해 야기된다. 특정한 근육을 활성화하기 위해(예를 들면, 그것으로 하여금 수축하게 하기 위해), 뇌는 뉴런의 다발을 갖는 특정한 선택된 신경으로 신호를 전송하여 뉴런으로 하여금 전기적 신호를 생성하게 할 수 있다. 이들 전기 신호는, 방출되는 화학적 메신저 또는 신경 전달 물질을 통한 뉴런 사이의 그리고 뉴런과 작동 세포(effector cell) 사이의 상호 작용의 화학적 과정에 기초한다. 골격근 세포의 경우, 활성화된 운동 뉴런(motor neuron)은 신경 전달 물질 아세틸콜린을 골격근 세포(skeletal muscle cell)의 시냅스로 전달하여 골격근 세포의 이온 채널이 열리는 것을 허용한다. 이것은 세포의 막 전위(membrane potential)를 변화시켜, 활동 전위(action potential) 및 그 다음 근육의 수축을 야기하는 이벤트의 시퀀스로 나타난다.
예를 들면, 특정한 손가락과 연관되는 대응하는 근육에 선택된 신경을 통해 조정된 전기 신호를 전송하는 것에 의해, 두뇌는 손가락으로 하여금 손바닥을 터치하는 것과 같은 아주 다양한 액션을 생성하게 할 수 있다. 따라서, 뇌는 신경을 통해 신체의 다양한 부분에 있는 근육으로 신호를 전송하여 신체의 일부로 하여금, "V"자 모양으로 손의 검지 및 가운데 손가락 들어올리는 것과 같은, 뇌에 의해 의도되는 제스쳐에 따라 움직이게 할 수 있다. 제스쳐는, 결국에는, 의도, 예를 들면, 팀원에게 승리를 축하하려는 의도를 나타낼 수 있다.
신체의 다른 조직, 예컨대 뇌 세포, 중간 뉴런(interneuron), 및 뼈(이것은 압전 속성을 나타냄)도 또한 전기 신호를 생성할 수 있다. 신체의 몇몇 조직에 의해 생성되는 전기 신호는 때로는 활동 전위로 칭해진다.
일반적으로, 한 양태에서, 생체 전위(bio-potential)(예를 들면, 피검체의 피부 상에서 감지될 수 있는 생물학적으로 생성되는 임의의 전위(electrical potential))가 피검체(subject)의 피부 상에서 감지된다. 생체 전위는 근육 생체 전위(muscle bio-potential) 및 신경 생체 전위(nerve bio-potential)를 포함한다. 피부 센서는, 감지 회로부(sensing circuitry)가 감지 회로부에 의해 생성되는 프로세싱된 생체 전위 신호에서 신경 생체 전위를 강조하는 것 및 근육 생체 전위를 강조하지 않는 것을 가능하게 하도록 배치된다. 머신 러닝 컴포넌트는 프로세싱된 생체 전위 신호에 기초하여 제어 시퀀스를 식별하거나 또는 신체 모션을 추적한다.
일반적으로, 한 양태에서, 전위는 손목 또는 발목(예를 들면, 또는 다른 신체 부분)의 피부의 표면 상에서 검출되고, 검출된 전위는 프로세싱되어 손목 또는 발목의 신경에서 발생하는 전기 신호를 나타내는 데이터 값을 제공한다.
구현예는 다음의 피쳐 중 임의의 하나 또는 둘 이상의 조합을 포함할 수도 있다. 구조체(structure)가 손목 상에서 검출기 및 회로부를 지원한다. 검출기는 전극을 포함한다. 정렬 피쳐는, 검출기를 손목 또는 발목에서 피부와 접촉하게 그리고 손목의 특정한 내부 조직 부근에 배치하도록, 손목의 위쪽 표면(upper surface) 및 바깥쪽 가장자리(outer edge)에 대해 구조체를 정렬한다. 정렬 피쳐는 검출기를 손목의 상부(top) 또는 발목의 특정한 표면과 접촉하게 배치하도록 구성된다. 정렬 피쳐는, 검출기를 손목의 저부(bottom)와 접촉하게 배치하도록 구성된다. 정렬 피쳐는 "J"자 모양으로 배열되고, 손목의 위쪽 표면과 맞물리는 일반적으로 편평한 섹션 및 손목의 바깥쪽과 맞물리는 볼록한 섹션을 포함한다. 정렬 피쳐는 단일의 통합된 강성의(rigid) 피스(piece)의 일부이다. 정렬 피쳐에는 가요성 피쳐를 포함한다. 정렬 피쳐에는 강성의 피쳐를 포함한다. 검출기는 하나 이상의 내부 표면에서 노출된다. 검출기는 검출기의 쌍을 포함하는데, 각각의 쌍의 검출기 중 하나는 그 쌍의 다른 검출기보다 손가락 또는 발가락에 더 가깝다. 적어도 두 개의 검출기, 적어도 여섯 개의 검출기, 적어도 열두 개의 검출기, 또는 적어도 백 개의 검출기가 존재할 수 있다. 검출기 중 적어도 하나는 손목 또는 발목의 바깥쪽의 피부와 접촉하도록 배치된다. 검출기 중 적어도 하나는 손목의 위쪽 표면 상의 피부와 접촉하도록 배치된다. 검출기의 각각은, 전도성 고체, 겔, 발포체, 또는 필름과 연관되는 건식 접촉 표면(dry contact surface)을 포함한다. 검출기의 각각은 정렬 피쳐에서 별개의 컴포넌트로서 임베딩될 수 있거나, 정렬 피쳐를 형성하기 위해 사용되는 재료 내에 결합될 수 있거나, 또는 패브릭 내의 섬유일 수 있다. 검출기 중 적어도 하나를 위한 탄력성이 있는 장착부(resilient mounting)가 존재한다. 탄력성이 있는 장착부는 검출기가 내부 표면으로부터 돌출하게 한다. 밴드는 손목 또는 발목 상에서 구조체를 유지한다. 정렬 피쳐는, 착용 가능한 문신 또는 피부 기반 회로와 인터페이싱할 수 있다. 정렬 피쳐는, (손목의 예에서) 척골(ulna)의 돌출부에 대해 기대는 가장자리를 포함한다. 회로부는 전자 컴포넌트를 포함한다. 전자 컴포넌트는 검출기 중 적어도 하나에 커플링되는 입력부를 구비하는 노치 필터(notch filter)를 포함한다. 전자 컴포넌트는 검출기 중 적어도 하나와 연관되는 (예를 들면, 프로그래밍 가능한 하드웨어) 대역 통과 필터를 포함한다. 전자 컴포넌트는 증폭기 및 아날로그 대 디지털 컨버터를 포함한다. 전자 컴포넌트는 관성 측정 유닛을 포함한다. 전자 컴포넌트는 무선 통신 컴포넌트를 포함한다. 전자 컴포넌트는 검출기로부터 도출되는 디지털 신호를 프로세싱하기 위해 저장된 명령어를 실행하는 프로세서를 포함한다. 저장된 명령어는 프로세서로 하여금 데이터 값을 생성하게 하는 것이다. 저장된 명령어는, 프로세서로 하여금, 데이터 값으로부터 피쳐를 추출하고 제스쳐 또는 의도 또는 근육 수축에 관한 특성 묘사(characterization)를 생성하는 프로세스를 적용하게 하는 것이다. 프로세스는 분류기(classifier)를 포함한다. 저장된 명령어는, 프로세서로 하여금 또한, 하나 이상의 다른 데이터 소스로부터의 정보를 사용하게 하는 것이다. 다른 소스 중 하나는 관성 측정 유닛을 포함한다. 저장된 명령어는, 프로세서로 하여금, 신호가 채널로서 획득되고 프로세싱될 두 개 이상의 검출기의 그룹(grouping)의 선택을 제어하게 하는 것이다. 하나의 그룹 내의 하나의 검출기는 손목 디바이스 외부의 전극을 포함한다. 채널 중 하나는 전극 중 세 개와 연관된다. 전자 컴포넌트는 유저 인터페이스를 포함한다. 유저 인터페이스는 디스플레이를 포함한다. 유저 인터페이스는 하나 이상의 버튼 제어 스위치(button controlled switch) 및 다중 컬러 강도 제어 가능 LED(multi-color intensity controllable LED)를 포함한다. 유저 인터페이스는 햅틱 기능을 포함한다. 유저의 피부에 부착되도록 구성되는 검출기와 포트 사이에 전기 도체의 연결을 위한 포트가 존재한다.
피부 상에서 전기 신호를 검출하는 것 이외의 기능이 제공된다. 기능성 컴포넌트는 시계(time piece)를 포함된다. 구조체 대한 하우징은, 정렬 피쳐, 프로세서, 배터리, 무선 통신 모듈, 및 유저 인터페이스를 구비한다. 프로세서를 외부 디지털 디바이스에 커플링하기 위한 USB 포트가 존재한다. 프로세서를 외부 디지털 디바이스에 커플링하기 위한 무선 통신기(wireless communicator)가 존재한다.
일반적으로, 한 양태에서, 피검체의 피부 상에서, 검출기 부근에 있는 신경 조직(neurological tissue)의 전기 활동의 특성인 전위가 검출되고 비 신경 조직의 전기 활동의 특성인 전위가 또한 검출된다. 프로세서, 및 검출된 전위에 기초하여 신경 조직의 전기 활동을 나타내는 데이터 값을 프로세서로 하여금 생성하게 하는, 프로세서에 의해 실행될 명령어를 포함하는 디지털 스토리지가 존재한다.
구현예는 다음의 피쳐 중 임의의 하나 또는 둘 이상의 조합을 포함할 수도 있다. 명령어는, 프로세서로 하여금, 신경 조직의 전기 활동을 나타내는 데이터 값을, 특정한 근육의 수축과 연관되는 것으로 해석하게 하는 것이다. 명령어는, 프로세서로 하여금, 검출된 전위에 대응하는 하나 이상의 제스쳐를 식별하게 하는 것이다. 명령어는, 프로세서로 하여금, 검출된 전위에 대응하는 의도를 식별하게 하는 것이다. 명령어는, 프로세서로 하여금, 액션 또는 제스쳐 또는 의도에 대한 피쳐의 공지된 관계에 기초하여 특정한 근육의 액션 또는 제스쳐 또는 의도를 추론하기 위한 프로세스를 데이터의 피쳐에 적용하게 하는 것이다. 프로세스는 머신 러닝 프로세스를 포함한다. 프로세스는 분류기 프로세스를 포함한다. 프로세스에는 임계화 프로세스(thresholding process)를 포함한다. 전위는 피검체의 손목의 피부 상에서 검출된다. 검출기는 피검체의 피부와 접촉할 전극을 포함한다. 검출기는 피부 상에서 차동 전위를 검출하기 위해 쌍으로 사용될 전극을 포함한다. 검출기는 피검체의 피부와 접촉할 미리 정의된 패턴의 전극을 포함하고, 명령어는 프로세서로 하여금 데이터를 하나 이상의 제스쳐, 근육 액션, 또는 의도와 연관되는 것으로 해석하게 하는 것이고, 시스템은 미리 정의된 패턴의 전극에 의해 검출되는 전위와 대응하는 제스쳐, 근육 액션, 또는 의도 사이의 공지된 관계를 나타내는 저장된 정보를 포함한다. 검출된 전위를 수신하기 위한 그리고 신경 조직의 검출된 전위를 나타내며, 신경 조직의 검출된 전위보다 더 나은 신호 대 노이즈비를 갖는 프로세싱된 전기 신호를 생성하기 위한 하나 이상의 신호 프로세싱 컴포넌트가 있다. 스펙트럼 필터는, 신경 조직의 전기 활동의 공지된 스펙트럼 특성에 기초하여, 검출된 전위를 스펙트럼 필터링하는 것에 의해 프로세싱된 전기 신호를 생성한다. 노치 필터는, 공지된 스펙트럼 특성에 기초하여 주변 전기 노이즈를 필터링하여 생체 전위 신호를 획득하는 것에 의해 프로세싱된 전기 신호를 생성한다. 시간 필터는 생체 전위 신호 내의 주파수를 제거하거나 또는 감쇠시킨다. 이것은 신호의 신호 대 노이즈비를 향상시키는 데 도움이 된다. 공간 필터는, 서로로부터의 거리에 기초하여 각각의 검출기의 진폭을 결정할 수 있다. 분석 컴포넌트는, 연속하는 발생 시간을 분석하는 것 또는 피부 상의 두 위치에서 전위의 극성을 변경시키고 발생 시간 또는 극성의 관계에 기초하여 신경 조직의 전기 활동의 전위 특성을 식별하는 것에 의해, 프로세싱된 전기 신호를 생성한다. 근육 조직의 전기 활동의 하나 이상의 전위 특성이 피검체의 피부 상에서 검출되고, 검출된 근육 조직 전위는 신경 조직에 대해 검출되는 전위에 대한 노이즈 소거를 위해 사용된다. 임피던스 매칭 컴포넌트는, 검출기의 임피던스를 피부의 임피던스에 매칭시키는 것에 의해 프로세싱된 전기 신호를 생성한다. 임피던스는 수동으로 또는 동적으로 매칭된다. 임피던스 매칭 컴포넌트는 프로그래밍 가능한 저항기를 제어한다. 임피던스 매칭 컴포넌트는 피검체의 피부 상의 임피던스에 대응하는 실시간 측정치를 수신한다.
검출기는 전위 검출기의 어레이를 포함하고, 명령어는, 프로세서로 하여금, 검출기의 두 개 이상의 세트를 선택하게 하는 것인데, 데이터는 검출기의 선택된 세트의 전위에 기초하여 생성된다. 통신 디바이스가 존재한다. 명령어는, 프로세서로 하여금, 통신 디바이스를 통해 치료 시스템으로 데이터를 전달하게 하는 것이다. 명령어는, 프로세서로 하여금, 통신 디바이스를 통해 진단 시스템으로 데이터를 전달하게 하는 것이다. 명령어는, 프로세서로 하여금, 통신 디바이스를 통해 제어 시스템으로 데이터를 전달하게 하는 것이다. 명령어는, 프로세서로 하여금, 통신 디바이스를 통해 피드백 시스템으로 데이터를 전달하게 하는 것이다. 명령어는, 프로세서로 하여금, 통신 디바이스를 통해 연구 시스템(research system)으로 데이터를 전달하게 하는 것이다. 명령어는, 프로세서로 하여금, 통신 디바이스를 통해 성능 측정 시스템으로 데이터를 전달하게 하는 것이다. 명령어는, 프로세서로 하여금, 캘리브레이션 동작을 수행하게 하는 것이다. 명령어는, 프로세서로 하여금, 통신 디바이스를 통해 증강 현실 또는 가상 현실 시스템으로 데이터를 전달하게 하는 것이다.
일반적으로, 한 양태에서, 디바이스는, 하나 이상의 표면 근전도 검사(electromyography sensor) 센서 및 센서 허브를 사용하여 피부 표면으로부터 측정되는 근전도 검사 신호를 사용하여 제어된다.
일반적으로, 한 양태에서, 제스쳐 또는 의도 정보는 신경 전기 활동에 기초하여 결정되고 애플리케이션으로 제공된다.
구현예는 다음의 피쳐 중 임의의 하나 또는 둘 이상의 조합을 포함할 수도 있다. 프로세서에 의해 실행될 명령어는, 프로세서로 하여금, 유저의 피부 상에서 전위 검출기를 갖는 디바이스로부터 무선으로 제스쳐 또는 의도 정보를 수신하게 하는 것이다. 프로세서에 의해 실행될 명령어는, 프로세서로 하여금, 유저의 피부 상에서 검출되는 전위를 나타내지 않는 다른 정보를 수신하게 하고, 그리고 다른 정보에 또한 기초하여 제스쳐 또는 의도 정보를 생성하게 하는 것이다. 다른 정보는 관성 측정 유닛으로부터의 관성 정보를 포함한다. 프로세서는 유저 디바이스의 일부이고, 프로세서에 의해 실행될 명령어는, 프로세서로 하여금, 유저 디바이스 상에서 실행 중인 둘 이상의 다른 애플리케이션으로 제스쳐 또는 의도 정보를 제공하게 하는 것이다. 제스쳐 또는 의도 정보는 두 개 이상의 이러한 디바이스로부터 무선으로 수신되며 디바이스 독립적인 포맷(device-independent format)으로 표현된다. 제스쳐 또는 의도 정보는, 일련의 시간에 발생하는 신경 전기 활동에 기초하는 일련의 시간과 관련된다. 제스쳐 또는 의도는 하나 이상의 손가락의 모션에 기초하며, 제스쳐 또는 의도 정보는, 유저 인터페이스 상에서의 손가락의 모션을 제어하기 위한 손가락 모션의 물리적 모델과의 사용을 위해 애플리케이션으로 제공된다. 프로세서에 의해 실행될 명령어는, 제스쳐 또는 의도의 소스인 피검체에 대한 햅틱 피드백을 야기하는 것이다.
일반적으로, 한 양태에서, 피검체의 피부 상에서, 신경 조직 및 근육 조직의 각각의 전위 특성을 포함하는 조직의 전기 활동의 특성인 전위가 검출된다. 프로세서에 의해 실행될 명령어는, 프로세서로 하여금, 검출된 전위에 기초하여 조직의 각각의 개별적인 전기 활동을 나타내는 데이터를 생성하게 하는 것이다.
구현예는 다음의 피쳐 중 임의의 하나 또는 둘 이상의 조합을 포함할 수도 있다. 명령어는, 프로세서로 하여금, 각각의 조직의 전기 활동을 나타내는 데이터를, 특정한 근육의 액션과 연관되는 것으로 해석하게 하는 것이다. 명령어는, 프로세서로 하여금, 각각의 조직에 대한 검출된 전위에 대응하는 하나 이상의 제스쳐 또는 의도를 추론하게 하는 것이다. 명령어는, 프로세서로 하여금, 액션, 의도, 또는 제스쳐에 대한 피쳐의 공지된 관계에 기초하여 특정한 근육의 액션 또는 제스쳐 또는 의도를 추론하기 위한 프로세스를 데이터의 피쳐에 적용하게 하는 것이다. 프로세스는 머신 러닝 프로세스를 포함한다. 프로세스는 분류기 프로세스를 포함한다. 전위는 피검체의 피부 상에서 검출된다. 전위는 손목의 피부 상에서 검출된다. 센서는 피검체의 피부와 접촉할 전극을 포함한다. 센서는 피부 상에서 차동 전위를 검출하기 위해 쌍으로 사용될 전극을 포함한다. 센서는 피검체의 피부와 접촉할 미리 정의된 패턴의 전극을 포함하고, 명령어는 프로세서로 하여금 데이터를 하나 이상의 제스쳐와 연관되는 것으로 해석하게 하는 것이고, 시스템은 미리 정의된 패턴의 전극에 의해 검출되는 전위와 대응하는 제스쳐 사이의 공지된 관계를 나타내는 저장된 정보를 포함한다. 하나 이상의 신호 프로세싱 컴포넌트는 검출된 전위를 수신하고, 검출된 전위를 나타내며 검출된 전위보다 더 나은 신호 대 노이즈비를 갖는 프로세싱된 전기 신호를 생성한다. 프로세싱된 전기 신호의 생성은, 각각의 조직의 전기 활동의 공지된 스펙트럼 특성에 기초하여 검출된 전위를 스펙트럼 필터링하는 것을 포함한다. 프로세싱된 전기 신호의 생성은, 주변 노이즈의 공지된 스펙트럼 특성에 기초하여 검출된 전위를 노치 필터링하는 것을 포함한다. 프로세싱된 전기 신호의 생성은, 센서의 임피던스를 피부의 임피던스에 매칭시키는 것을 포함한다. 임피던스는 동적으로 매칭된다. 임피던스 매칭은 프로그래밍 가능한 저항기를 제어하는 것을 포함한다. 임피던스 매칭은, 피검체의 피부 상의 임피던스에 대응하는 실시간 측정치를 수신하는 것을 포함한다. 센서는 전위 검출기의 어레이를 포함하고, 명령어는, 프로세서로 하여금, 검출기의 두 개 이상의 세트를 선택하게 하는 것인데, 데이터는 검출기의 선택된 세트의 전위에 기초하여 생성된다. 명령어는, 프로세서로 하여금, 검출기의 일련의 세트를 선택하게 하는 것인데, 데이터는 검출기의 세트의 각각으로부터의 전위에 기초하여 생성된다. 통신 디바이스가 존재한다. 명령어는, 프로세서로 하여금, 치료 시스템, 진단 시스템, 제어 시스템, 피드백 시스템, 연구 시스템, 또는 성능 측정 시스템으로 데이터를 전달하게 하는 것이다. 명령어는, 프로세서로 하여금, 신경 조직의 전기 활동을 나타내는 데이터를, 피검체의 의도와 연관되는 것으로 해석하게 하는 것이다. 명령어는, 프로세서로 하여금, 캘리브레이션 동작을 수행하게 하는 것이다. 명령어는, 프로세서로 하여금, 증강 현실 또는 가상 현실 시스템으로 데이터를 전달하게 하는 것이다.
일반적으로, 한 양태에서, 척추 동물 피검체(vertebrate subject)의 부속지(appendage)의 운동의 활성화가 모니터링된다. 적어도 두 개의 전극의 세트가, 부속지와 관련되는 신경근 다발(neuromuscular bundle)에 근접한 위치에서 척추 동물의 피부 표면과 접촉한다. 매트릭스가 전극의 세트를 그 위치에서 올바른 위치에(in position) 장착한다. 신호 프로세싱 유닛은 전극에 커플링되는 입력 및 출력을 구비한다. 이 유닛은 다음을 포함한다: 유닛의 입력에 커플링되며 출력을 구비하는 증폭기 시스템; 뉴런 신호(neuronal signal)를 전달하고 다른 신호를 감쇠시키는 필터 시스템; 및 출력에 커플링되는 후처리 프로세서(postprocessor)를 포함한다.
구현예는 다음의 피쳐 중 임의의 하나 또는 둘 이상의 조합을 포함할 수도 있다. 후처리 프로세서는, 운동의 활성화와 연관되는 뉴런 활동(neuronal activity)의 레벨의 척도를 제공하기 위한 계량 디바이스(metering device)이다. 후처리 프로세서는, 뉴런 활동 레벨이 임계치를 초과하는 경우에만 출력을 제공하는 임계 프로세서(threshold processor)를 포함한다.
일반적으로, 한 양태에서, 장치는 프로세서 및 (a) 사람의 피부 상에서 검출되는 신경 전기 활동에 기초하여 사람의 제스쳐 또는 의도 정보를 결정하는 그리고 (b) 제스쳐 또는 의도 정보를 애플리케이션에 제공하는, 프로세서에 의해 실행 가능한 명령어를 포함하는 디지털 스토리지를 포함하는데, 제스쳐 또는 의도는 사람의 손 또는 손목 또는 손가락 또는 이들의 조합의 모션에 관한 것이다.
구현예는 다음의 피쳐 중 하나 또는 둘 이상의 조합을 포함할 수도 있다. 모션은, 손 또는 손목 또는 손목 내의 손의 조합의 롤링(rolling), 틸팅(tilting), 또는 요잉(yawing)을 포함한다. 모션은 손 및 손목을 돌리거나 비트는 것을 포함한다. 제스쳐 또는 의도 정보는, 방향, 방위, 모션의 레이트, 또는 크기 중 적어도 하나를 포함한다. 모션은 구체(sphere)의 조작에 대응한다. 제스쳐 또는 의도 정보는, 애플리케이션의 디스플레이된 유저 인터페이스의 디스플레이된 엘리먼트의 모션과 연관된다. 디스플레이된 엘리먼트는 구체 또는 구체와 유사한 엘리먼트를 포함한다. 디스플레이된 엘리먼트는 제스쳐 또는 의도의 모션에 비례한다. 디스플레이된 엘리먼트의 모션은 반드시 제스쳐 또는 의도의 모션과 비례하지는 않는다. 디스플레이된 엘리먼트의 모션은 매핑에 따른 디스플레이된 엘리먼트의 모션으로 변환된다. 디스플레이된 엘리먼트의 모션의 크기는, 제스쳐 또는 의도의 모션의 크기의 배수이다. 디스플레이된 엘리먼트의 모션의 크기는, 제스쳐 또는 의도의 모션 가속도의 크기에 기초한다.
다른 양태, 구현예, 피쳐 및 이점, 및 이들의 조합은, 기능, 프로그램 제품, 소프트웨어, 비즈니스 방법을 수행하기 위한 방법, 장치, 시스템, 컴포넌트, 수단 및 단계로서, 그리고 다른 방식으로 표현될 수 있다.
다른 양태, 피쳐, 구현예, 및 이점은, 다음의 설명으로부터, 그리고 청구범위로부터 명백해질 것이다.
도 1a는, sEMG 센서와 통신하며 클라이언트 디바이스와 인터페이싱하는 예시적인 센서 허브의 다이어그램이다;
도 1b는 클라이언트 디바이스 및 EMG 컨트롤러의 다이어그램이다;
도 2는 sEMG 센서를 모니터링하는 예시적인 방법에 대한 플로우차트이다;
도 3a, 도 3b, 및 도 3c는 센서 모니터 및 인터페이스의 예시적인 구현예에 대한 스크린 이미지이다;
도 4는 sEMG 센서를 사용하여 매트릭스 필드를 선택하는 예시적인 방법에 대한 플로우차트이다;
도 5는 sEMG 센서를 사용하여 포인터를 동작시키는 예시적인 방법에 대한 플로우차트이다;
도 6은 sEMG 센서를 사용하여 메뉴 옵션을 선택하는 예시적인 방법에 대한 플로우차트이다;
도 7은 다수의 sEMG 센서를 구별하는 예시적인 방법의 플로우차트이다; 그리고
도 8은, 설명되는 다양한 구현예에서의 사용에 적절한 컴퓨팅 시스템의 블록도이다.
도 9는 개략적인 블록도이다.
도 10은 손목 디바이스의 사시도이다.
도 11은 손목 디바이스의 분해 사시도이다.
도 12, 도 13, 및 도 14는, 각각, 전극 스냅 장치의 사시도, 측면도, 및 사시도이다.
도 15는 손목 디바이스의 일부의 상면도이다.
도 16은 신호 프로세싱 회로부의 블록도이다.
도 17은 프로세싱 디바이스의 블록도이다.
도 18은 디스플레이된 유저 인터페이스의 제어의 개략도이다.
도 19는 개략적인 블록도이다.
개요
여기서는, 무엇보다도, 조직 전기 신호(특히 신경 전기 신호)를 비침습적이며 정확하고, 정밀하게 검출할 수 있는, 그리고, 몇몇의 이름을 거론하자면 진단, 치료, 제어, 제스쳐 또는 의도의 다른 표시(indication)의 추론, 생체 피드백, 상호 작용, 분석, 및 연구를 포함하는 아주 다양한 목적을 위해 전기 신호에 관한 정보를 사용할 수 있는 기술을 설명한다. 전기 신호에 관한 정보가 다른 기술보다 더 정확하고 정밀할 수 있기 때문에, 전기 신호가 사용되는 목적은, 무엇보다도, 더욱 효과적이고, 빠르며, 간단하고, 미묘하며, 더욱 생산적일 수 있다. 현재 가능하지 않은 새로운 애플리케이션도 또한 구현될 수 있다.
용어 "신경(nerve)"은, 예를 들면, 신체의 부분 사이에서 신호, 특히 전기 신호(전기 화학적 신호)를 전달하는 신체의 임의의 부분을 광의적으로 포함하도록 사용된다. 신경은, 말초 신경계(peripheral nervous system)의 일부분인 원심 신경을 포함하며, 근육으로 하여금, 예를 들면, 수축되게 또는 이완되게 하고, 때로는, 종종 원심 신경을 가리키기 위해 용어 "신경"을 사용한다. 신경은 또한, 감각 신경계(sensory nervous system)의 일부로서 신호를 전달하는 구심 신경을 포함하며, 때로는, 구심 신경을 또한 가리키기 위해 용어 "신경"을 사용한다. 신경은 통상적으로 섬유속(fascicle)의 다발을 포함하는데, 섬유속의 각각은 뉴런의 다발을 포함한다.
용어 "전기 신호"는, 예를 들면, 전위, 저항, 커패시턴스, 인덕턴스, 다른 임피던스, 또는 전류와 같은, 전기적으로 검출될 수 있는 임의의 이벤트, 발생, 또는 현상을 포함하도록 광의적으로 사용된다. 때로는, 용어 "전기 신호"는, 신체 내의 한 장소에서 발생하는, 신체의 조직을 통해 전파될 수 있는, 그리고 피부 상의 한(예를 들면, 근처의) 위치에서 검출 또는 감지될 수도 있는 그러한 이벤트, 발생, 또는 현상을 가리키기 위해 사용된다. 간략화를 위해, 때로는, 용어 "전기 신호"는, 예를 들면, 전위, 저항, 커패시턴스, 인덕턴스, 다른 임피던스, 또는 전류를 포함하도록 광의적으로 사용된다.
전기 신호가 주어진 신경을 따라 전파될 때, 그것은 신경의 길이를 따르는 일련의 위치에서 검출될 수 있고, 그것의 전파의 방향 및 속도는, 두 개의 (예를 들면, 밀접하게) 이격되어 떨어진 위치에서 전기 신호의 출현의 시간 및 극성을 검출하는 것 및 그들 시간 사이에서 얼마나 많은 시간이 경과되었는지를 결정하는 것에 의해 결정될 수 있다.
본 논의에서는, 손목에서 나타나는 신경 전기 신호의 검출 및 사용을 예로서 사용한다. 여기에서 설명하는 기술은 또한, 신체의 임의의 다른 부분, 특히 사지(extremity)에서 신경 전기 신호 또는 다른 조직 전기 신호를 검출 및 사용하는 데 유용할 수 있다.
비록 여기에서 설명하는 기술이 일반적으로 말초 신경계의 임의의 부분에 적용되지만, 이들 기술은, 골격근의 자발적 제어에 영향을 주는 체성 신경계(somatic nervous system) 또는 수의 신경계(voluntary nervous system)에 특히 유용하다.
인체의 생리학에서, 특정한 신경 또는 그 일부는, 근육, 뼈, 및 다른 조직에 임베딩되거나 또는 밀접하게 연관될 수도 있다. 신체의 전기 신호는, 신경에서 뿐만 아니라, 근육, 뼈, 및 다른 조직(이들 모두는 종종 "신호 소스"로 칭해짐)에서도 또한 발생할 수도 있다.
인체의 많은 부분은, 서로 얽혀 있거나, 겹쳐 있거나, 또는 다르게는 서로 가깝게 있는 이들 신호 소스의 조합을 포함한다. 신호 소스 중 하나에서 발생하는 전기 신호는 통상적으로 모든 방향으로 전파되고 그것이 전파되는 거리에 의해 그리고 그것이 전파되는 다른 조직의 감쇠 속성에 의해 결정되는 정도까지 감쇠 및 분산된다. 궁극적으로, 신호 소스에서 발생한 원래의 전기 신호의 전파되고 감쇠된 버전이 피부 표면에 도달하는데, 여기에서, 그들은, 예를 들면, 검출 가능한 전위를 형성한다. 두 개 이상의 신호 소스(말하자면 근육 및 근처의 신경)의 전기 신호가 대략적으로 동일한 시간에 발생할 수 있기 때문에, 주어진 시간에 피부 상의 주어진 위치에서의 전위는, 다수의 신호 소스에서 발생하는 전기 신호로부터 유래하는 전위의 복잡한 집성(aggregation)을 통상적으로 나타낸다. 따라서, 주어진 시간에 그리고 연속하는 시간에 피부의 표면 상의 주어진 영역의, 말하자면 손목의 다수의 위치에서 나타나는 전위는, 그 주어진 시간 및 일련의 시간에 신체 내의 그 영역 부근의 신호 소스의 각각에서 발생하는 특정한 전기 신호를 나타낸다.
피부 상의 주어진 영역에서 그러한 다수의 위치에서 전위를 검출하는 것 및 그들 전위를 나타내는 정보를 프로세싱하는 것에 의해, 여기에서 설명하는 기술은, 주어진 시간에 또는 일련의 시간에 걸쳐 특정한 식별 가능한 신호 소스(예를 들면, 엄지손가락의 수축 및 네 개의 손가락의 펼침과 연관되는 특정한 원심 신경)에서 발생하는 전기 신호에 관한 정보를 식별하도록, (이차원적으로 또는 삼차원적으로) 매핑하도록, 관찰하도록, 저장하도록, 그리고 (아주 다양한 목적을 위해) 사용하도록 사용될 수 있다. 전기 신호에 관한 정보는, 특정한 개개의 근육, 힘줄, 및 신경과 연관될 수 있다. 상이한 위치에서 검출되는 전위의 상대적인 사이즈는, 어떤 근육 또는 신경이 활동 전위의 소스인지를 추론하는 데 사용될 수 있다. 나중에 설명되는 바와 같이, 전위가 피부 상의 다수의 위치에서 검출되는 경우, 머신 러닝은 전기적으로 활성인 특정한 근육 또는 신경을 결정하는 하나의 방식이다. 또한 나중에 논의하는 바와 같이, 몇몇 경우에, 결정은, 단순히, 진폭의 임계치에 기초하여 이루어질 수 있다. 상이한 위치에서의 검출된 차동 신호의 상대적 진폭은, 어떤 근육 또는 신경이 전기적으로 활성인지를 추론하는 데 사용될 수 있다.
전기 신호가 특정한 신경에서 발생하는 것으로 결정되는 예에서, 본 기술은, 근육의 수축과 직접적으로 관련되는 전기 신호를 검출할 필요 없이 어떤 근육이 의도된 모션의 타겟인지 또는 어떤 근육이 막 움직이려고 하는지를 효과적으로 결정할 수 있다.
몇몇 구현예에서, 검출된 전위는, 특정한 타겟 근육을 제어하는 특정한 신경과 연관되지 않는다. 이들 다른 구현예에서, 신경 전기 신호는 소정의 위치에서 검출되고, 검출된 전기 신호를 대응하는 타겟 근육으로 매핑하기 위한 공지된 생리학과 매칭된다. 전극은 생리학에 기초하여 특정한 근육으로 매핑하는 것을 돕는다. 위축된 움직이지 않는 근육을 가진 ALS 환자와의 실험에서, 본 기술은 신경 전기 신호를 검출할 수 있고, 비록 물리적 움직임 또는 근육 전기 신호가 없더라도, 신경 전기 신호가 의도된 총 근육 운동에 대응한다는 것을 결정할 수 있다.
따라서, 주어진 시간에 또는 일련의 시간에 손의 근육을 제어하는 특정한 원심 신경에서 전기 신호가 언제 발생하는지에 관한 그리고 어느 정도의 전기 신호가 발생하는지에 관한 세부 사항은, 신호 소스 중, 말하자면, 손목 및 검출된 전위로부터 생성될 수 있는 정보에 특히 관심이 있다. 손의 근육은, 인체가 (예를 들면, 손가락을 통해) 외부 세계와 어떻게 상호 작용하는지에 중요한 역할을 한다. 여기에서 설명하는 기술에 의해 생성될 수 있는 정보는, 손의 근육이, 언제, 어떻게, 그리고 어느 정도까지, 수축 또는 이완되었는지 또는 수축 또는 이완될 것인지의 이해에 그리고 그들 수축 또는 이완에 의해 표현되는 제스쳐 및 의도에 의존하는 광범위한 디바이스, 시스템, 프로세스, 및 다른 애플리케이션을 가능하게 할 수 있다.
신체의 근육은 수축 또는 이완될 때 전기 신호를 생성한다. 이들 근육 전기 신호는, 표면 근전도 검사(surface electromyography; "sEMG")를 사용하여 근육 부근의 신체의 피부 상의 표면 전극에 의해 검출될 수 있고 다양한 목적을 위해 사용될 수 있다. 한 쌍의 피부 전극(예를 들면, 상부 전완(upper forearm)에 위치됨)은 통상적으로 근육의 전기 활동의 지표로서 전압 차를 검출하기 위해 사용된다. 검출된 전압 차는, 뇌가, 대응하는 근육으로 하여금, 예를 들면, 수축하게 하도록 의도하였다는 것(또는 수축하게 할 것이다는 것 또는 실제로 수축하게 하였다는 것)을 결정하는 데 사용될 수 있다. 수축은, 예를 들면, 손이 마우스를 잡고 있으면 컴퓨터 마우스 버튼을 클릭하는 효과를 나타낼 검지 손가락의 근육의 것일 수 있을 것이다. 그리고, 손이 마우스를 잡고 있지 않더라도, 프로세서는, 프로그램으로 하여금, 실제 마우스 버튼이 실제로 클릭되면 행해질 것을 행하게 하는 것에 의해, 근육으로부터의 전압 차 신호를, 의도된 액션(마우스를 클릭하는 것)으로 해석할 수 있다.
비록 몇몇 현존하는 시스템이, 근육 그 자체의 수축 또는 이완에서 발생하는 전기 신호를 검출하는 것에 의해, 몇몇 이러한 애플리케이션을 가능하게 할 수 있지만, 근육에서 전기 신호를 트리거하는 원심 신경과 같은 신경에서 전기 신호를 직접적으로 검출하여 그에 관한 정보를 프로세싱할 수 있다는 점에서 이점이 있다. 원심 신경에서 발생하는 전기적 신호는, 근육의 수축에 의해 생성되는 대응하는 전기 신호보다 뇌에서의 활동의 더욱 직접적이고 정확하고, 더 빨리 나타나는 지표이다.
많은 애플리케이션은, 뇌에 의해 원심 신경으로 전파되는 신호에 의해 표현되는 유저의 의도를 나타내는 정보에 기초하여 액션(예를 들면, 유저 인터페이스 상에서 메뉴 아이템의 선택)을 야기하도록 설계된다. 현존하는 전위 검출 시스템은 근육 수축 전기 신호를, 뇌에 의해 전달되는 의도 신호를 추론하기 위한 대용물로서 사용한다. 무엇보다도, 여기에서 설명하는 기술에 의해 검출 및 프로세싱되는 신경 전기 신호는, 결과적으로 나타나는 근육 수축 전기 신호보다 약간 더 빨리 수신되고, 의도의 지표로서 근육 수축 신호보다 더 정밀할 수 있고, 근육 수축이 신경 전기 신호에서 전달되는 의도를 사실상 정확하게 나타내지 못하는 경우 발생할 수 있는 에러를 방지할 수 있다. 후자는 다양한 이유 때문에 발생할 수 있는데, 예컨대, 근육이 작동하지 않거나 또는 적절히 작동하지 않거나 또는 위축되었거나 또는 상실한 경우(예를 들면, ALS, 뇌졸중, 또는 절단에 의해 영향을 받는 환자)에 발생할 수 있다.
여기에서 설명하는 기술은, 임의의 공지된 시스템보다, 다른 조직의 전기 신호 및 신경 전기 신호의 더욱 정확하고 정밀한 측정을 제공한다. 결과적으로, 조직 전기 신호에 관한 정보에 대한 더욱 효과적이고 새로운 애플리케이션이 가능하게 된다. 무엇보다도, 조직 전기 신호와 연관되는 제스쳐 또는 의도의 특성 묘사는, 예를 들면, 근육 수축(및 관련된 근육 전기 신호)이 다수의 근육에서 동시에 나타날 수 있는 경우, 상이한 조직에 의해 생성되는 전기 신호 사이에서의 더 적은 크로스토크(crosstalk)로 인해 더욱 정확할 수 있다.
상기에서 언급되는 바와 같이, 신경 전기 신호는, 근육 전기 신호보다, 더욱 정확할 수 있고, 근육 수축 및 이완의 세분화된 지표일 수 있다. 그러나 신경 전기 신호는 종종 근육 수축 신호보다 더 작은 크기를 갖는다. 그리고, 피부의 표면 상에서 검출되는 모든 전위는, 근처의 전기 디바이스로부터의 60 Hz의 노이즈를 비롯한, "노이즈", 근육, 뼈, 및 다른 조직으로부터의 전기 신호, 피부의 전기적 속성에서의 변동, 및 노이즈의 다른 소스에 영향을 받는다.
여기에서 설명하는 기술은, 피부 상에서 검출되는 전위에 대한 신호 대 노이즈비를 향상시키기 위해 다양한 전략 및 그들의 조합을 사용한다. 구현예에서, 이들 전략은 다음 중 하나 이상을 포함할 수 있다:
1. 상이한 타입의 조직에서 발생하는 그리고 상이한 목적을 위해 신체에서 발생하는 전기 신호는 상이한 스펙트럼 특성을 가질 수도 있다. 예를 들면, 근육 수축 전기 신호의 통상적인 주파수 범위는, 50 Hz 내지 150 Hz 범위에서 지배적인 에너지를 갖는 20 Hz 내지 300 Hz이지만, 신경 전기 신호의 통상적인 주파수 범위는 200 Hz 내지 1000 Hz이다. 검출된 전위의 신호 프로세싱 동안 적절한 필터를 적용하는 것에 의해, 예를 들면, 신경 전기 신호의 상대적 강도를 향상시키는 것이 가능하다.
2. 신체의 몇몇 부분(예컨대 손목)은 상대적으로 적은 근육 조직을 포함하며, 특히, 근육의 수축으로부터 발생하는 힘의 대부분을 생성하는 근육 조직의 큰 부피의 부분이 상대적으로 적다. 이러한 근육 조직이 상대적으로 적은 신체의 부분에서 전위 검출기를 피부 상에 배치하는 것은, 그 피부 표면에서 근육 수축 전기 신호가 생성하는 "노이즈"의 상대적 크기를 감소시킬 수 있다.
3. 신체의 몇몇 부분(예컨대, 손목)에서, 신경 전기 신호가 검출될 신경은, 피부의 표면 상의 검출기와 근육 또는 다른 조직 사이에 놓인다. 그러므로, 다른 조직에서 발생하는 전기 신호는, 피부로 가는 도중에 있는 개재 조직에 의해 차단될 수도 있거나 또는 감쇠될 수도 있다. 결과적으로, 이러한 신체 부분에 있는 피부 상에 전위 검출기를 배치하는 것은, 신경과 연관되는 전위 신호에서 "노이즈"를 감소시킬 수 있다.
4. 다수의 신호 소스로부터의 전기 신호가 피부 표면에서 결합되는 방식은, 전위 검출기가 배치되는 피부 상의 특정한 위치 또는 위치의 패턴에 민감할 수 있다. 생리학 및 신경의 배열에 기초한 검출기 배치에 대한 과학적 근거가 있다. 하나의 위치에서, 신경 전기 신호에서 기인하는 측정된 전위의 일부는, 제1 위치의 1 센티미터 또는 그 미만 이내에 있는 가까운 위치에서 보다 더 낮은 신호 대 노이즈비를 가질 수 있다. 따라서, 가장 높은 신호 대 노이즈비 위치를 찾기 위해 검출기의 위치를 미세하게 증가시켜 조정하는 것이 유용할 수 있다.
5. 여기에서 설명하는 기술의 애플리케이션에서, 근육의 수축 또는 이완에 의해 야기되는 신체의 부분의 움직임은, 피부 상의 두 개 이상의 위치에서 주어진 시간에 또는 일련의 시간에 측정되는 전위(및 그 패턴)로부터 추론된다. 그 다음, 신체의 부분의 추론된 움직임에 관한 정보는, 아주 다양한 목적을 위해 애플리케이션에 제공될 수 있다. 그러한 추론을 행하기 위해 많은 상이한 접근법이 사용될 수 있다. 미세 가우시안(Fine Gaussian) 지원 벡터 머신(Support Vector Machine; SVM)과 같은 기본 머신 러닝 알고리즘은, 대표적인 피쳐 세트에 대해 트레이닝되는 경우, 낮은 계산 복잡도를 유지하면서도 높은 정확도를 달성할 수 있다. 더 많은 유저 데이터가 집성됨에 따라, 피쳐 세트가 서로 구별되는 액션을 나타내는 경우, 모델의 정확도는 증가될 것이다. 추출된 피쳐 세트가 대표적이지 않거나 또는 정확도가 증가하지 않으면, 피쳐를 식별하기 위해 더욱 계산 집약적인 학습 프레임워크가 사용될 수 있다. 간결하고 대표적인 피쳐 세트를 식별함에 있어서, 심층 신경망(deep neural net)이 효과적인 것으로 나타났다. 그러나, 이 피쳐 세트는 기저의 생물학에 의존하지 않을 수도 있고 시스템에 관한 추론을 행하는 능력을 감소시킬 수도 있다. 이러한 접근법 중에는, 전위로부터 추출되는 피쳐와 신체의 부분의 대응하는 움직임 사이의 관계를 인식하도록 머신 러닝 프로세스를 트레이닝시키기 위해 피부 표면에서의 전위와 신체의 부분의 대응하는 실제 움직임 사이의 공지된 관계가 사용되는 접근법이 있다. 이러한 공지된 관계는 다양한 방식으로 사람들로부터 획득될 수 있다. 트레이닝을 위해 어떤 공지된 관계가 사용되는지의 선택, 및 공지된 관계가 적용되는 머신 러닝 프로세스의 선택은, 추론의 속도 및 정확도에 영향을 줄 수도 있다. 몇몇 구현예에서, 트레이닝을 위한 유용한 관계는, 관련 근육이 위축된 또는 어떤 다른 이유로 인해 기능을 하지 못하는 사람들로부터 도출될 수 있다. 이러한 경우, 근육 수축 전기 신호가 발생하지 않기 때문에, 다르게는 그러한 상대적으로 큰 크기의 원치 않는 전기 신호에 의해 야기될 충격을 감소시키는 것이 가능하다. 일반적으로, 이러한 사람들의 추정되는 근육 수축에 대응하는 신경 전기 신호는, 근육이 적절하게 기능하는 사람들에서의 실제 근육 수축에 대응하는 신경 전기 신호와 동일하다. 이력 트레이닝(historical training)은 이 동일한 원칙을 활용할 수 있다.
6. 근육 수축 전기 신호가 "노이즈"의 중요한 소스를 나타낼 수도 있고 이들 전기 신호와 연관되는 전위가 피부의 표면에서 이용 가능할 수도 있기 때문에, 집성되어 검출된 전위로부터 근육 전기 신호를 명확하게 하는 것이 가능하다. 노이즈는, 신경 전기 신호가 검출되고 있는 위치보다 근육에 더 가까운 위치에서 전위를 검출하는 것에 의해 감소될 수 있다. 그러면, 근육 전기 신호는 신경 전기 신호로부터 제거될 수 있다.
7. 뇌로부터의 전기 신호(자극, 활동 전위)는, ("제자리에서" 수축되는) 근육에서의 전기 신호의 국소적 발생과는 특성적으로 상이한 속도로 신경을 따라 전파된다. 타겟 근육 수축 배치에서 지시되는 신경 전기 신호는 119 m/초만큼 빠르게 진행할 수 있다. 통증 전기 신호는, 예를 들면, 0.61 m/초로 더 느리게 진행할 수 있고, 터치 전기 신호는, 예를 들면, 76.2 m/초로 진행할 수 있다. 주어진 쌍의 전위 검출기(예를 들면, 피부 표면 전극)를, 전파하는 자극에 의해 야기되는 전위 변화가 검출기 중 하나에서 먼저 나타나고 검출기 중 나머지 하나에서 측정 가능한 시간 이후에 나타나도록 하는 위치 및 상대적 방위로 배치하는 것에 의해, 자극의 전파의 방향 및 전파의 속도를 결정하는 것이 가능하다. 이 정보는, 여기에서 설명하는 기술이, 근육 전기 신호와 신경 전기 신호 사이를 구별하는 것을 가능하게 한다. 유사한 접근법은, 뼈 또는 다른 조직의 전기 신호를 구별하는 데 유용할 수도 있다.
8. 신경은 뉴런의 다발을 포함하는데, 그 중 일부는 (근육으로 하여금 수축 또는 이완되게 하는) 운동 기능을 가지며 그 중 일부는 (감지된 자극을 다시 뇌로 보고하는) 감각 기능을 갖는다. 신경 전기 신호를 검출함에 있어서, 운동 신경 전기 신호와 감각 신경 전기 신호 사이를 구별하는 것이 유용하다. 손가락에 더 가깝게 그리고 손가락으로부터 더 멀리 배치되는 두 개의 전극 사이의 차동 신호의 극성을 검출하는 것에 의해, 전파의 방향을 식별하는 것, 따라서 극성에 기초하여 감각 신경 전기 신호를 무시하는 것이 가능하다.
노이즈를 감소시키고 신호 대 노이즈비를 향상시키기 위해, 다양한 기술 또는 컴포넌트가 활용될 수 있다. 하나의 이러한 기술은, 전자기 간섭에 대한 실드로서 역할을 하도록 전자 컴포넌트 주위에 전도성 또는 자성 재료를 추가하는 것이다. 커패시터가 회로에 추가되어 전압 변동을 평활화하기 위한 저장소(reservoir)로 역할을 할 수 있다. 전류 변동을 평활하게 하기 위해, 초크, 또는 인덕턴스가 회로에 추가될 수 있다. 신호의 노이즈를 감쇠시키기 위해, 저역 통과 필터, 고역 통과 필터, 대역 통과 필터, 및 대역 차단 필터가 모두 물리적으로 또는 디지털적으로 생성될 수 있다. 고역 통과 필터는 고주파 신호만이 자신을 통과하는 것을 허용한다. 저역 통과 필터는 낮은 주파수만이 자신을 통과하는 것을 허용한다. 대역 통과 필터는, 하나의 주파수로부터 다른 주파수까지의 소정의 범위만이 자신을 통과하는 것을 허용한다. 대역 차단 필터는, 하나의 주파수로부터 다른 주파수까지의 범위 내의 주파수를 감쇠시키고 다른 모든 주파수가 자신을 통과하는 것을 허용한다. 이들 필터가 허용하는 또는 감쇠시키는 주파수는, 회로부 또는 소프트웨어를 시스템의 필요에 맞게 수정하는 것에 의해 조정될 수 있다. 노이즈 감소 기술을, 신호의 진폭을 증가시키는 증폭기의 것과 유사한 신호 향상 기술과 결합하는 것에 의해, 분석을 위한 더욱 포괄적인 신호를 생성할 수 있다.
일반적으로, 신경에서 발생하는 전기 신호에 관한 정보를 명시적으로 검출, 측정, 감지, 및 도출하는 것 외에도, 여기에서 설명하는 기술의 몇몇 구현예 및 양태는 근육 또는 다른 조직에서 발생하는 전기 신호를, 대신 또는 또한, 사용할 수 있다. 또한, 다른 센서 또는 다른 소스에 의해 제공되는 정보는 또한, 관성 측정 유닛(inertial measurement unit; IMU), 자이로스코프, 습도 센서(moisture sensor), 온도 센서, 가시광 센서, 적외선 센서, 카메라, 오디오 센서, 근접 센서, 초음파 센서, 햅틱, 피부 임피던스 압력 센서, 전자기 간섭, 터치 커패시턴스, 외부 디바이스 또는 다른 검출기로부터의 정보를 비롯한, 신경 전기 신호와 조합하여 사용될 수 있다.
HMI 플랫폼
도 9에서 도시되는 바와 같이, 여기에서 설명하는 기술의 몇몇 구현예는, 한편으로는, 신호, 커맨드, 또는 다른 정보를, 유저(16)와 연관되는 유저 인터페이스 디바이스(14)(예컨대 손목 디바이스)로 그리고 그로부터 검출할 수 있거나(12) 또는 다르게는 수신 및 전송할 수 있고, 다른 한편으로는, 신호, 커맨드, 또는 다른 정보를, 애플리케이션 디바이스 및 프로세스(20)로 그리고 그로부터 전송 및 수신할 수 있는(18) 포괄적이고 통합된 범용의 인간 대 머신 인터페이스(human machine interface; HMI) 플랫폼(10)을 제공한다. 무엇보다도, HMI 플랫폼(10)은, 유저(16)가 유저 인터페이스 디바이스(14)를 통해 애플리케이션 디바이스 및 프로세스(20)와 상호 작용하기 위한(용어 "~와 상호 작용한다"는 그것의 가장 광의적인 의미에서 사용됨) 유용하고 포괄적인 방식을 생성하기 위해, 정보(12) 및 정보(18)를 아주 다양한 방식으로 축적할 수 있고, 분석할 수 있고, 수정할 수 있고, 다르게는, 프로세싱할 수 있다.
유저 인터페이스 디바이스(14)는, 인체의 임의의 부분으로부터, 예컨대 손가락, 손, 발, 다리, 입, 또는 눈으로부터 신호 또는 커맨드 또는 다른 정보를 수신할 수 있고, 프로세싱할 수 있고, 그리고 전송할 수 있는 또는, 눈, 귀, 코, 입, 및 피부를 비롯한, 신체의 감각 기관 중 임의의 것에 신호 또는 커맨드 또는 감각 자극 또는 다른 정보를 제공할 수 있는 임의의 종류의 하드웨어 또는 소프트웨어(22)를 포함하는 아주 다양한 컴포넌트를 포함할 수 있다. 몇몇 경우에, 수신된 정보는 인체의 이들 부분 중 하나의 모션의 결과로서, 예를 들면, 손가락의 모션 또는 눈의 움직임에 의해 제공되었을 것이다. 통상적으로, 유저에게 제공되는 정보는, 시각적, 청각적, 또는 햅틱 형태로 제공될 것이지만, 다른 모드도 또한 가능하다. 몇몇 경우에, 유저 인터페이스 디바이스는 유저의 하나 이상의 부분과 물리적으로 접촉한다. 몇몇 경우에, 유저 인터페이스 디바이스(예컨대 카메라 또는 마이크)는 유저의 하나 이상의 부분과 물리적으로 접촉하지 않지만, 그러나, 적절한 거리에서 유저의 하나 이상의 부분을 인식할 수 있다.
HMI 플랫폼(10)에 의해 서빙될(served) 수 있는 넓은 범위의 종류의 유저 인터페이스 디바이스(14) 중에는, 키보드, 마우스, 트랙볼, 조이스틱, 트리거, 스위치, 터치스크린, 다이얼, 노브, 마이크, 이미지 센서, 카메라, 안경, 헤드셋, 장갑, 의류 품목, 스피커, 이어폰, 디스플레이, 프로젝터, 커패시턴스 센서, 터치 센서, 지문 검출기, 수분 검출기, 온도 검출기, 모션 추적 센서, 초음파 센서, 전화기, 스마트워치, 랩탑, 태블릿, 컴퓨터, 텔레비전, 차량, 로봇, 외골격(exoskeleton), 보철물(prosthetics), 무인 항공기(drone), 건강 모니터링 디바이스, 건강 모니터링 슈츠(health monitoring suits), 전기 진단 시스템, 경보 시스템, 및 - 아래의 소정의 예의 논의에 특히 관심이 있는 - 전극 또는 다른 피부 전위 검출기가 있다.
HMI 플랫폼과 유저 인터페이스 디바이스 사이 및 HMI 플랫폼과 애플리케이션 사이의 경계는 고정되거나 또는 정적일 필요는 없다. 몇몇 구현예에서, 유저 인터페이스 디바이스 중 하나 이상(또는 그들의 일부)는, 유저 인터페이스 디바이스가 HMI 플랫폼과 효과적으로 작동하도록 특별히 설계되는 경우 개념적으로 HMI 플랫폼의 일부로서 간주될 수 있거나 또는 HMI 플랫폼과 함께 작동하도록 특별히 설계되지 않은 경우 개념적으로 HMI 플랫폼 외부에 있는 것으로 간주될 수 있다. 몇몇 경우에, 유저 인터페이스 디바이스는, HMI 플랫폼(의 일부) 내부에 있는 엘리먼트 및 HMI 플랫폼 외부에 있는(HMI 플랫폼의 일부가 아닌) 다른 엘리먼트를 구비할 수 있다. 예를 들면, 피부의 표면 상의 원시 전위(raw electrical potential) 신호를 검출하는 손목 밴드는 개념적으로 HMI 플랫폼의 외부에 있을 수 있을 것이고, 한편 전위 신호에 대한 신호 프로세서는, 비록 손목 디바이스 상에 위치하더라도, 개념적으로 HMI 플랫폼의 일부일 수 있을 것이다.
주어진 유저 인터페이스 디바이스에 의해 제공되는 또는 수신되는 신호 또는 커맨드 또는 다른 정보는, 다양한 상이한 레벨의 프로세싱 및 이들의 조합으로부터 유래할 수 있을 것이다. 예를 들면, 신호 또는 커맨드 또는 다른 정보는 원시 전위, 프로세싱된 전위, 또는 프로세싱된 전위 또는 이들의 조합을 나타내는 또는 이들로부터 도출되는 더 높은 레벨의 정보일 수 있을 것이다. 프로세싱은 HMI 플랫폼에서 완전히, 유저 인터페이스 디바이스에서 완전히, 애플리케이션 디바이스 및 프로세스에서 완전히 발생했을 수도 있거나, 또는 그들 중에서 다양한 방식으로 분할될 수 있을 것이다.
통상적으로, 유저가 유저 인터페이스 디바이스 중 하나 이상과 관련하여 액션을 취하는 경우(어구 "액션을 취함"은 그것의 최광의의 의미에서 사용됨), 유저는 의도를 갖는다(예를 들면, 좌측 마우스 버튼을 클릭하려는 의도). 의도는 뇌에서 발생되어 제스쳐로 표현되고(예를 들면, 마우스 버튼이 클릭되게 하기 위해 - 의도 - 오른쪽 검지 손가락을 수축함 - 제스쳐), 뇌는 신호를 신경으로 전송하는데, 신경은 신호를 손으로 전달하여 근육 액션을 수행한다(어구 "근육 액션"은 광의적으로 사용됨).
용어 "제스쳐"는, 예를 들면, (주어진 시간 또는 일련의 시간에 하나 이상의 다른 제스쳐와 함께 또는 단독으로) 피검체의 하나 이상의 의도에 대응하는 임의의 근육 액션 또는 (빈번하게는) 근육 액션의 스위트(suite)를 포함하도록 광의적으로 사용된다. "엄지 올리기(thumbs up)", "하이 파이브", "악수", 마우스 버튼 클릭, 상완 구부리기(flexing an upper arm), 유저 인터페이스 상에서 오브젝트 드래깅은 제스쳐의 몇몇 예이다. 제스쳐는 통상의 일반적인 인간 활동의 일부로서 널리 공지될 수 있고 받아들여질 수 있거나 또는 제스쳐는 다양한 목적을 위해 새롭게 개발될 수 있다. 악수는 수세기에 걸친 제스쳐이고, 한편 마우스 클릭은 상대적으로 최근에 제스쳐로서 만들어졌다.
HMI 플랫폼의 컴포넌트의 중요한 활동은, (제스쳐 식별 컴포넌트(26)를 사용하여) 제스쳐(24)를 식별(추론, 결정)하는 것 및 제스쳐가 아주 다양한 방식으로 사용될 수 있는 애플리케이션 디바이스 및 프로세스(20)로 통신 컴포넌트(28)를 통해 제스쳐에 관한 정보를 제공하는 것이다. 몇몇 경우에, 애플리케이션 디바이스 및 프로세스(20)는 제스쳐 정보를 사용하여 유저의 의도를 추론하고 그 다음 그 의도에 따라 작용한다. 몇몇 경우에, HMI 플랫폼의 의도 식별 컴포넌트(30)는, 예를 들면, 시간의 한 순간에 또는 시간에 걸쳐 연속하여 발생하는 제스쳐 중 하나 또는 제스쳐의 조합 또는 제스쳐의 시퀀스로부터 유저의 의도(32)를 추론(결정, 식별)할 수 있고, 의도 정보를 통신 컴포넌트(28)를 통해 애플리케이션 디바이스 및 프로세스(20)로 제공할 수 있다.
몇몇 경우에, HMI 플랫폼에 의해 결정되는 제스쳐 또는 의도는 특정한 애플리케이션으로 "푸시(push)"될 필요는 없다. HMI 플랫폼은 제스쳐 또는 의도 정보를 일시적으로 저장할 수 있고 제스쳐 또는 의도 정보를 요청할 수도 있는 임의의 다른 프로세스, 프로그램, 또는 애플리케이션이 이용 가능하게 만드는 다른 모드 또는 API를 제공할 수 있다. 그러한 의미에서, HMI 플랫폼은, 몇몇 경우에 오퍼레이팅 시스템을 통해, 서비스 공급자로서 동작할 수 있다. 예를 들면, HMI 플랫폼이 스마트 폰 상에서 앱으로 구현되는 경우, 앱은, 요청시, 제스쳐 또는 의도 정보를, 스마트 폰 상에서 실행되는 임의의 다른 인증된 앱이 이용 가능하게 만들 수 있다.
몇몇 예에서, 유저 인터페이스 디바이스로부터 애플리케이션 디바이스 및 프로세스로의 정보의 흐름은, 유저 인터페이스 디바이스(14) 중 하나와 관련하여 또는 애플리케이션 디바이스 및 프로세스(20)의 하나와 관련하여 또는 양자와 관련하여 액션을 취하는 의도(54)를 유저의 뇌(52)가 정형화하는 것으로 시작한다. 뇌(52)는 의도를 제스쳐(또는 주어진 시간 또는 일련의 시간에 두 개 이상의 제스쳐)(24)로 변환하는데, 제스쳐는, 제스쳐를 구현하고 이어서 의도를 표현하는 방식으로 하나 이상의 근육(56)을 이동시키는 것을 종종 수반한다. 몇몇 경우에, 뇌는 적절한 신경(58)으로 하여금 신호(57)를 적절한 근육으로 전파시키게 하여 근육으로 하여금 제스쳐에 대응하는 방식으로 움직이게 한다. 제스쳐의 하나 이상의 양태가 유저 인터페이스 디바이스에 의해 검출될 수 있다. 예를 들면, 유저 인터페이스 디바이스는, 신경을 따라 전파되는 전기 신호에 대응하는 유저의 피부 표면 상의 전위를 검출하기 위한 전극을 갖는 손목 디바이스일 수 있다. 몇몇 경우에, 유저 인터페이스 디바이스는, 예컨대 카메라 또는 관성 측정 유닛에 의해 다른 방식으로 근육 모션을 검출한다. 유저 인터페이스 디바이스에 의해 검출되는 바와 같은 제스쳐에 대한 전기 신호 또는 다른 이벤트는, 시간의 한 순간에 또는 일련의 그러한 순간에 발생할 수 있다.
피부 상에서 나타나는 전위, 또는 근육 모션에 관한 다른 표시 또는 정보는, 하나 이상의 검출기(64)에 의해 유저 인터페이스 디바이스에서 획득, 감지, 또는 다르게 검출된다. 통상적으로, 근육 모션(65)의 원시 전위 또는 다른 표시는, 예를 들면, 노이즈를 제거하도록, 유용하지 않은 신호를 제거하도록, 신호를 체계화(organize) 및 정렬하도록, 그리고 결과적으로 나타나는 프로세싱된 결과를, 다음 단계에 대해 유용할 포맷으로 표현하도록, (예를 들면, 신호 프로세서(66)에서) 프로세싱되어야만 한다. 신호 프로세서의 다른 주요 기능은, 디바이스의 입력에 대해 (신호 형태의) 유저의 출력으로서 생성되는 아날로그 신호를, 측정하는 것, 필터링하는 것, 또는 압축하는 것을 포함하지만, 그러나 이들로 제한되지는 않는다.
용어 "신호 프로세싱"은, 예를 들면, 다른 것들 중에서도, 더욱 정확한, 간결한, 정밀한, 콤팩트한, 완전한, 관련이 있는, 또는 이해 가능한 상대적으로 더 많이 프로세싱된 신호를 생성하기 위해 상대적으로 원시의 신호에 대해 수행되는 임의의 동작을 포함하도록 광의적으로 사용된다.
그 다음, 결과적으로 나타나는 프로세싱된 신호(68)는 스토리지(70)에 저장될 수 있고 (먼저 저장되든 또는 그렇지 않든 간에) 통신 디바이스 컴포넌트(72)에 의해 HMI 플랫폼으로 전송될 수 있다. HMI 플랫폼에서, 프로세싱된 신호는 제스쳐 식별 컴포넌트 또는 의도 식별 컴포넌트에 의해 사용되어 유저의 대응하는 제스쳐 또는 의도 또는 둘 모두를 식별할 수 있다. 몇몇 경우에, 제스쳐 식별 컴포넌트와 의도 식별 컴포넌트는 단일의 컴포넌트로서 결합될 수 있다. 몇몇 경우에, 그들 중 하나 또는 다른 것은 포함될 필요가 없다. 몇몇 구현예에서, 두 개의 컴포넌트는 병렬로 동작할 수 있다.
제스쳐 식별 컴포넌트 및 의도 식별 컴포넌트는 둘 이상의 상이한 유저 인터페이스 디바이스 또는 검출기로부터 프로세싱된 신호의 조합을 수신 및 사용할 수 있고 하나 이상의 알고리즘, 분석, 변환 또는 다른 해석 프로세스를 적용하여, 한 명 이상의 유저의 제스쳐 및 의도를 해석할 수 있거나, 식별할 수 있거나, 또는 결정할 수 있다.
일정 범위의 상이한 복잡성 및 스타일을 나타내는 아주 다양한 제스쳐 또는 의도 식별 프로세스가 사용될 수 있다. 몇몇 경우에, 식별 프로세스는, 컴퓨터 마우스의 전기 스위치가 접촉되었다는 것을 결정하는 것 및 유저의 제스쳐는 마우스 버튼을 클릭하는 것이었다는 것을 식별하는 것만큼 간단할 수 있다. 몇몇 경우에, 식별 프로세스는, 예를 들면, 유저의 손목의 피부의 표면 상에서 검출되는 신경 전기 신호의 세트를 해석하는 데 필요한 더욱 복잡한 방법일 수 있다. 이러한 경우에는 분류기 또는 다른 머신 러닝 컴포넌트가 사용될 수 있다. 미세 가우시안(Fine Gaussian) 지원 벡터 머신(Support Vector Machine; SVM)과 같은 기본 머신 러닝 알고리즘은, 대표적인 피쳐 세트에 대해 트레이닝되는 경우, 낮은 계산 복잡도를 유지하면서도 높은 정확도를 달성할 수 있다. 더 많은 유저 데이터가 집성됨에 따라, 피쳐 세트가 서로 구별되는 액션을 나타내는 경우, 모델의 정확도는 상승할 것이다. 추출된 피쳐 세트가 대표적이지 않거나 또는 정확도가 상승하지 않으면, 피쳐를 식별하기 위해 더욱 계산 집약적인 학습 프레임워크가 사용될 수 있다. 간결하고 대표적인 피쳐 세트를 식별함에 있어서, 심층 신경망(deep neural net)이 효과적인 것으로 나타났다. 그러나, 이 피쳐 세트는 기저의 생물학에 의존하지 않을 수도 있고 시스템에 관한 추론을 행하는 능력을 감소시킬 수도 있다. 신경 전기 신호와 대응하는 제스쳐 또는 의도 사이의 공지된 관계에 기초하여 이러한 머신 러닝 프로세스를 트레이닝하는 것에 의해, 트레이닝된 프로세스를, 유저로부터의 신경 전기 시스템의 새로운 세트에 "런타임"에서 적용하여 유저의 대응하는 제스쳐 또는 의도의 올바른 해석을 도출하는 것이 가능하다. 앞서 언급한 바와 같이, 몇몇 경우에, 피쳐 세트의 피쳐는 공지의 데이터로부터 추출되고, 머신 러닝 기술을 트레이닝하기 위한 그 다음 적용하기 위한 기초로서 공지의 제스쳐와 상관된다.
앞서 언급한 바와 같이, 몇몇 구현예에서, HMI 플랫폼은, 식별된 제스쳐 또는 다른 프로세싱된 신호 또는 둘 모두를 사용하여 하나 이상의 제스쳐에 대응하는 유저의 의도를 추론할 수 있는 하나 이상의 의도 식별 컴포넌트를 포함한다. 이 목적을 위해 머신 러닝 기술이 사용될 수 있다. 예를 들면, 제스쳐 식별 컴포넌트는, 프로세싱된 전기 신호가, 유저가 검지 손가락을 뻗은 상태에서 손을 공중에서 흔들고 있는 제스쳐에 대응한다는 것을 결정할 수도 있고, 의도 식별 컴포넌트는 그 해석된 제스쳐를 사용하여 유저가 택시를 잡으려는 의도를 추론할 수 있다.
HMI 플랫폼은, 단일의 유저의 단일의 유저 인터페이스 디바이스(예를 들면, 손목 디바이스) 및 유저의 단일의 애플리케이션 디바이스 또는 프로세스(예를 들면, 증강 현실 글래스)를 서빙할(serve) 수 있거나, 또는 그것은 다수의 유저 인터페이스 디바이스, 다수의 유저, 다수의 애플리케이션 디바이스 또는 프로세스, 또는 이들의 조합을 서빙할 수 있다. 예를 들면, 유저는, 유저 인터페이스 디바이스로서 손목 디바이스 및 트랙 볼을 그리고 애플리케이션으로서 스마트 폰 및 랩탑 컴퓨터를 구비할 수도 있다.
HMI 플랫폼과 유저 인터페이스 디바이스의 각각 및 애플리케이션 디바이스 및 프로세스의 각각 사이의 통신은, 통신되고 있는 신호 또는 다른 정보에 대한 합의된 프로토콜 및 포맷을 따를 수 있다. 몇몇 구현예에서, HMI 플랫폼은, 서빙받고 있는 애플리케이션 디바이스 또는 프로세스 또는 유저 인터페이스 디바이스에 고유한 프로토콜 및 포맷을 사용하여 통신하도록 유저 정의 구성된다(custom-configured). 몇몇 경우에, HMI 플랫폼은, 디바이스 독립적인 그리고 프로세스 독립적인 프로토콜 및 포맷을 사용하여 통신할 수 있고, 본질적으로, 자신의 설계 또는 제조사에 독립적인 프로토콜 또는 포맷을 따르는 임의의 유저 인터페이스 디바이스 또는 임의의 애플리케이션 디바이스 또는 프로세스를 서빙할 수 있다. 이 목적을 위해 HMI 플랫폼의 컴포넌트는 하나 이상의 애플리케이션 프로그래밍 인터페이스(Application Programming Interface; API) 또는 둘 모두를 유저 인터페이스 디바이스 또는 애플리케이션 디바이스 및 프로세스에 노출할 수 있다. 몇몇 경우에, API는, HMI 플랫폼과 유저 인터페이스 디바이스 또는 애플리케이션 디바이스 및 프로세스 사이에서 주고받는 신호 또는 커맨드 또는 다른 정보를 표현하기 위해 사용될 표준화된 포맷 및 데이터 구조를 정의할 수 있다. (간략화를 위해, 임의의 이러한 디바이스 또는 프로세스를 광의적으로 가리키기 위해, 때로는 워드 "애플리케이션"이 사용될 것이다.)
손목 디바이스
도 10에서 도시되는 바와 같이, 유저 인터페이스 디바이스의 몇몇 예는 손목 디바이스(802)의 형태이다. 손목 디바이스는, 예를 들면, 손목 디바이스의 내부 원주(inner circumference)(809)가, 손목시계 밴드(watch band)가 자신의 유저의 손목에 조정될 수 있는 만큼 많이 상이한 사이즈의 손목에 조정되는 것을 허용하도록 구성되는 가요성의 조절 가능한 손목 밴드(806)에 연결되는 일반적으로 강성의 컴포넌트(804)를 포함할 수 있다.
몇몇 구현예에서, 강성의 컴포넌트(804)는, 전자 컴포넌트를 유지하는 회로 보드(808), 배터리(810), 유저 인터페이스 패널(812), 통신(예를 들면, USB) 포트(814), 외부 전극 포트(816), 손목 밴드의 채널 내에 놓이는 (예를 들면, 빠른 분리용(quick release)) 손목 밴드 마운팅 핀(818, 820), 및 전극 카트리지(822) 내에 유지되는 전극(826)의 세트가 마운팅되는 하우징(806)을 포함한다.
하우징(806)은 일반적으로, 손목 밴드가 손목의 저부 주위를 감싸면서, 손목의 상부 상에 놓이도록 구성된다. 하우징은, 손목 디바이스를, 손목의 상대적으로 편평한 위쪽 표면(834)과 관련하여 그리고 척골의 측면을 따르는 손목의 외측(836)과 관련하여 미리 정의된 위치 및 방위에서 일치된 상태로, 그리고 척골의 경상 돌기(styloid process)(838)에 대해 또한 일치된 상태로 유지하도록 협력하는 두 개의 세그먼트(830, 832)를 구비하는 강성의 내부 표면(828)을 제공하도록 설계된다. 결과적으로, 비록 손목 디바이스가 다수의 상이한 사이즈 및 형상의 손목 상에 착용될 수 있지만, 척골 신경 및 정중 신경에서의 전기 신호에 의해 생성되는 손목의 위쪽 표면에서의 전위를 검출하기 위하여, 그것은 공지된 위치 및 방위에 확실하게 있을 것이다. 이것은, 다수의 상이한 사이즈 및 형상의 손목의 경우, 척골 및 정중 신경이 척골 쪽으로부터 대략 동일한 거리에 위치할 경향이 있기 때문이다. 결과적으로, 강성의 내부 표면에 있는 고정된 위치에서 노출되는 전극(나중에 설명됨)은, 손목의 공지된 신경에 의해 생성되는 전위를 피부에서 신뢰성 있게 검출할 것이다.
다양한 사이즈 및 형상의 손목 상에서의 이러한 자동 레지스트레이션(registration)을 달성하기 위해, 세그먼트(830)는 편평한 강성의 내부 표면(840)을 가지며 세그먼트(832)는 편평한 강성의 내부 표면과 만나는 오목한 만곡된 강성의 내부 표면(842)을 구비한다. 내부 표면(840 및 842)의 윤곽은, 다양한 사이즈 및 형상을 갖는 손목 때문에, 손 근육을 제어하는 신경을 따르는 미리 결정된 위치에 대해 일관된 위치 및 방위로 손목 디바이스를 강제하는 경향이 있다.
전극(826)은, 전극의 접촉 표면(844)이 손목의 피부를 향하도록, 강성의 내부 표면(840, 842)에서 노출된다. 아주 다양한 사이즈 및 형상의 접촉 표면(844)이 가능하다. 몇몇 경우에, 접촉 표면은 둥글고, 1 밀리미터만큼 작은(또는, 몇몇 예에서, 더 작은) 또는 10 밀리미터만큼 큰(또는 몇몇 경우에 더 큰) 범위 내의 폭을 가질 수 있다. 통상적으로, 접촉 표면은 평평할 것이지만, 그러나, 예를 들면, 피부의 윤곽과 매치하기 위해서는 다른 윤곽이 유용할 수도 있다. 전극 중 상이한 전극은 상이한 사이즈 및 윤곽을 가질 수 있다.
몇몇 구현예에서, 접촉 표면은 패턴으로 배열된다. 패턴은 쌍(846)을 포함할 수 있다. 몇몇 경우에, 각각의 쌍은, 쌍 중의 하나의 전극이 쌍 중의 다른 전극보다 손가락에 더 가까운 상태로, 전완의 길이에 평행한 축(848)을 따라 배치될 수 있다. 접촉 표면의 수는 두 개만큼 적을 수 있고 수십 또는 수백 개만큼 많을 수 있다. 특정한 구현예에서, 강성의 내부 표면을 따라 직렬로 배열되는 접촉 표면의 두 개와 여덟 개 사이의 쌍이 존재할 수 있다. 각각의 쌍의 두 개의 접촉 표면 사이의 간격은 변할 수 있다; 몇몇 경우에, 간격은 5 밀리미터만큼 작거나 또는 25 밀리미터 또는 그 이상만큼 큰 범위 내에 있을 수 있다. 전극의 인접한 쌍 사이의 간격은 변할 수 있다.
규칙적인 행 및 열의 패턴 및 이차원 중 어느 하나 또는 둘 모두를 따라 불규칙한 패턴을 비롯한 아주 다양한 다른 패턴의 전극 및 그들의 접촉 표면이 사용될 수 있다.
몇몇 구현예에서, 전극의 일부는, 손목의 저부를 비롯한, 손목의 피부의 다른 부분과 접촉하기 위해 가요성 손목 밴드(806)의 내부 표면 상에 노출되는 접촉 표면을 가질 수 있다. 이러한 전극은, 규칙적인 행 및 열의 또는 다른 패턴의 쌍으로 체계화될 수 있고, 하나의 전극만큼 적은 또는 수십 또는 수백 개의 전극만큼 많은 수가 있을 수 있다. 접촉 표면은, 상기에서 설명한 접촉 표면에 대해 나타내어진 바와 같은 다양한 사이즈, 형상, 치수, 및 윤곽을 가질 수 있다.
일반적으로, 전극의 수, 사이즈, 형상, 윤곽, 및 편제의 패턴은, 예를 들면, 손목의 피부로부터 가장 정확한, 간결한, 정밀한, 강한, 최소로 노이즈에 영향을 받는 전위 신호를 제공하도록 그리고 특정한 근육, 제스쳐, 및 의도의 수축 또는 이완의 이러한 전위로부터 가장 정확한 추론을 제공하도록 경험적으로 선택될 수 있다.
시간에 걸쳐 주어진 신체 부분의 피부의 표면 상에서 밀접하게 이격된 어레이의 위치로부터 전위를 캡쳐하기 위해 매우 많은 수의 밀접하게 이격된 전극을 사용하는 것에 의해, 시간에 걸쳐 측정용 전극 부근에서 (모든) 신경, 및 근육의 활동 전위에 관한 정확한 정보를 도출하는 것이 가능할 수 있다. 그 정보는 다양한 목적에 유용할 수 있다.
전극의 각각의 접촉 표면으로부터 신호 프로세서(66)로 전류를 전달하는 목적을 위해, 전극과 회로 보드(808) 사이에 배선(wire), 도전성 런(conductive run), 또는 다른 타입의 전기적 커플링이 제공된다. 통상적으로, 전극의 각각은 자기 자신의 이러한 전기적 연결부를 가질 것이고, 그 결과, 그 전극 상의 전위는 다른 전극 중 임의의 것 상의 전위와는 독립적으로 검출 및 측정될 수 있다. 몇몇 경우에는, 전극 중 두 개 이상은 회로 보드에 대한 공통의 전기적 연결부를 통해 연결될 수 있다. 도 12, 도 13, 및 도 14에서 도시되는 바와 같이, 전극의 각각은, 접촉 표면(844)과는 대향하는 전극의 면 상에 스냅 니플(snap nipple)(841)을 포함할 수 있다. 스냅 니플은 스냅 소켓(843)과 결합된다. 스냅 소켓은, 전극 카트리지의 슬리브(845)에 느슨하게 장착되어 소켓의 축을 따라 미끄러질 수 있다. 헬리컬 스프링(847)이 스냅 소켓에 납땜된다.
전극 중 임의의 하나 이상은, 하우징의 강성의 내부 표면 또는 가요성 손목 밴드의 내부 표면 상에 또는 하우징의 강성의 내부 표면 또는 가요성 손목 밴드의 내부 표면에 장착될 수 있다. 전극 중 하나 이상은, 손목 디바이스가 착용될 때, 피부를 향해 탄력적으로 가압되도록 장착될 수 있다. 도 12, 도 13, 및 도 14에서 도시되는 바와 같이, 몇몇 경우에, 전극의 탄력성은 카트리지(822)의 슬리브(845) 내에 그것을 장착하는 것 및 피부의 방향으로 전극의 접촉 표면을 가압하도록 헬리컬 스프링(847)을 통합하는 것에 의해 달성될 수 있다. 탄력적으로 장착된 전극이 통상적으로 가압되는 방향은 손목 디바이스의 내부 표면에 대해 수직이지만, 그러나 비 수직 방향에 있을 수 있을 것이다. 탄력성이 있는 전극의 각각의 모션의 범위는, 말하자면, 1 밀리미터 또는 그 미만으로부터 5 밀리미터 또는 그 이상까지의 범위 내에 있을 수 있다.
이들 피쳐의 결과로서, 손목 디바이스가 손목 상에 놓이는 경우, 탄력적으로 장착된 전극의 각각은 피부와의 양호한 전기적 접촉을 자동적으로 형성할 것이고, 다양한 위치에서의 손목의 피부와 손목 디바이스의 내부 표면 사이의 작은 거리차를 수용할 것이다.
전극의 탄력성을 달성하기 위해, 손목 디바이스 및 그것의 컴포넌트에 대해 다른 구성이 사용될 수 있다. 예를 들면, 하우징 또는 하우징의 일부(예를 들면, 피부와 면하는 부분)는 가요성의 탄력성이 있는 재료(예컨대, 고무)로 형성될 수 있고, 전극은, 전극의 짧은 섹션이 피부를 향해 내부 표면으로부터 돌출하면서 그 재료 내에 직접적으로 장착될 수 있다. 손목 디바이스가 손목 상에 놓이는 경우, 가요성의 탄력성이 있는 재료는, 손목의 모션이, 예를 들면, 피부의 표면과 하우징의 내부 표면 사이의 작은 갭에서 작은 변화를 야기할 때 피부와의 양호한 접촉을 지속적으로 제공하도록 피부를 향해 전극의 접촉 표면을 가압한다.
상기에서 언급되는 바와 같이, 몇몇 경우에, 전극은, 용이한 교체를 허용하기 위한 스냅을 사용하여 손목 디바이스에 부착될 수 있고 손목 디바이스로부터 분리될 수 있다. 몇몇 구현예에서, 전극의 장착은 손목 디바이스의 내부 표면에 임베딩되는 디스크 자석을 사용할 수 있고, 연결 런(connection run)을 갖는 가요성 회로가 손목 디바이스 내에 임베딩되고, 전극은 손목 디바이스의 내부 표면에 제공되는 디봇(divot) 내에 끼워 맞춰지고 디스크 자석에 커플링될 자석을 구비한다.
전극은, 다양한 금속, 금속 합금, 또는 전도성 재료로 형성될 수 있지만, 그러나 소정의 것은 다른 것보다 더욱 효과적이다. 금속 및 금속 합금과 관련하여, 더 많은 전도성의 금속 및 금속 합금 중 몇몇은, 구리, 금, 알루미늄, 아연, 니켈, 황동이다. 이들 재료로 형성되는 전극은, 그들의 전자가 다른 원소 또는 합금보다 더 자유롭게 움직이기 때문에, 특히 잘 작동한다. 이것은, 이들 재료 상에서 나타나는 임의의 전류로 하여금, 저항이 거의 없이, 이동하게 한다. 몇몇 다른 전도성 재료 및 화합물은, 은/염화은(Ag/AgCl), 전도성 패브릭과 실, 그래핀을 포함한다. 몇몇 구현예에서, 전극은, 전극의 금속과 피부 사이에서 접촉이 직접적으로 이루어지는 건식 접촉 모드에서 사용된다. 종래의 건식 접촉 전극은, 전극과 피부 사이에 높은 임피던스 커플링을 생성하는 경향이 있는데, 이것은 양호한 전위 신호를 획득하는 것을 어렵게 만든다. 이 과제는, 습식 전극 기술에서, 피부에 대한 낮은 임피던스 커플링을 생성하는 액체 또는 겔 전도성 재료를 제공하는 것에 의해 해결되지만, 그러나, 다른 것들 중에서도, 지저분하다는 단점을 갖는다. 여기에서 설명하는 건식 전극의 몇몇 구현예는, 전도성 겔 및 수분이 막 외부를 적시는 것을 차단하면서 피부와 전도성 겔 사이의 이온의 교환을 허용하는 투과성 막을 사용한다. 이러한 전극은 미국 특허 제8,798,710호(이것의 내용은 참조에 의해 여기에 통합됨)에서 설명되며 미국 캘리포니아주 샌디에고(San Diego) 소재의 Cognionics(코그니오닉스)로부터 입수 가능하다.
몇몇 예에서, 전극 중 하나 이상은 탄력성 없이 견고하게 장착될 수 있다.
몇몇 경우에, 상이한 사이즈 및 형상의 손목 상에서의 손목 디바이스의 레지스트레이션은, 강성의 피쳐와는 다른 기술에 의해 달성될 수 있다. 예를 들면, 가요성 조인트, 힌지, 또는 모듈식 컴포넌트를 갖는 하우징 구조체가 상이한 손목 사이즈 및 형상을 수용할 수 있다. 디바이스는, 조정 가능한 렌치와 같은, 클램프와 같은, 또는 클램쉘(clamshell)과 같은 리사이징을 위한 엘리먼트를 구비할 수도 있을 것이다. 손목시계의 연결 고리(linkage)에서와 같이 하우징의 전체 사이즈를 늘리거나 또는 줄이기 위해, 하우징의 세그먼트 또는 길이는 추가될 수 있거나 또는 제거될 수 있다.
외부 전극 포트(816)를 통해, 배선(817)이 하우징(206)으로부터, 테이프 또는 다른 접착 기술에 의해 피검체의 피부에 부착될 수 있는 외부의 "스티커식(stick-on)" 전극(856)에 연결될 수 있다. 외부 전극(856)은 투과성 막을 사용하는 종류의 것일 수 있다. 몇몇 경우에, 외부 전극은 종래의 전도성 액체 또는 겔을 사용하여 도포될 수 있다.
포트(816)는 둘 이상의 이러한 외부 전극에 독립적인 연결을 제공하도록 배열될 수 있다.
몇몇 경우에, 외부 전극 또는 전극들은, 손목 디바이스에 장착되는 전극에 대해 유사한 방식으로 그리고 유사한 목적을 위해 사용될 수 있다. 몇몇 경우에, 외부 전극 또는 전극들은, 상이한 방식으로 그리고 상이한 목적을 위해 사용될 수 있다. 예를 들면, 외부 전극은, 하나 이상의 다른 전극에서 근육 전기 신호 노이즈를 차감 또는 상쇄시키기 위해 사용될 수 있는 근육 전기 신호를 검출하기 위한 위치 또는 방위로 배치될 수 있다. 몇몇 경우에, 외부 전극 또는 전극들은 실험 또는 연구 목적을 위해 사용될 수 있다.
USB 포트(814)는, 손목 디바이스와, 예를 들면, HMI 플랫폼 사이에서 데이터, 정보, 및 커맨드를 전달하는 목적을 위해, 그리고 손목 디바이스 내의 배터리를 충전하기 위한 전류를 전달하기 위해 USB 커넥터(815)를 수용할 수 있다.
회로 보드(808)는, 손목 상에 손목 밴드를 장착하는 것과 일치하는 다양한 형태, 형상, 또는 사이즈를 취할 수 있다. 전자 컴포넌트는 회로 보드 상에 장착될 수 있다.
도 16에서 도시되는 바와 같이, 몇몇 구현예에서, 손목 디바이스의 회로 보드 상의 전자 컴포넌트는, 아날로그 컴포넌트(860), 디지털 컴포넌트(862), 및 추가적인 디지털 프로세싱을 위해 디지털 컴포넌트(예를 들면, 하나 이상의 디지털 프로세서(866))로의 전달을 위해 아날로그 컴포넌트에 의해 프로세싱되는 전극에 의해 캡쳐되는 아날로그 신호를 변환하는 하나 이상의 아날로그 대 디지털 컨버터(864)를 포함한다.
프로세서(866)는 하나 이상의 아날로그 대 디지털 컨버터로부터 수신되는 디지털 신호 값(868)을 사용한다. 디지털 신호 값은, 시간의 순간에 그리고 시간의 일련의 순간에 각각의 전극에서의 전위에 기초한다.
몇몇 구현예에서, 디지털 신호 값은 차동 전위, 즉, 하나의 전극(873)에서의 전위와 제2 전극(875)에서의 전위 사이의 차이를 나타내는데, 양자의 전위는 제3 전극(877)에서의 접지 전위를 기준으로 한다.
이 목적을 위해, 각각의 차동 쌍의 두 개의 전극은, 전극으로부터 공유된 아날로그 대 디지털 컨버터(864)로의 전용 신호 경로(870, 872)에 연결될 수 있고 그 전용 신호 경로(870, 872)에 의해 서빙받을 수 있다.
디지털 신호 경로의 각각은, 예를 들면, 차동 쌍의 두 개의 전극에 의해 피부에서 검출되는 전위 신호의 60 Hz 주파수 성분을 제거하여, 피검체 부근의 60 Hz 전원에 의해 야기되는 노이즈를 감소 또는 제거하는 노치 필터(874, 876)를 포함한다. 각각의 전위 신호의 노치 필터링된 버전(878)은, 계측 증폭기(instrumentation amplifier)(879)로 전달되는데, 그 출력은 차동 쌍의 두 개의 전극에서의 전위의 차이의 값이다. 전위의 차이를 결정함에 있어서, 전위의 각각은, 신경 전기 신호로부터 양호한 전위가 검출될 수 있는 손목 상의 위치로부터 떨어져 있도록 통상적으로 선택되는 제3 특정한 전극에서의 전위에 의해 표현되는 공통 접지 전위를 기준으로 고려된다. 따라서, 전위의 차이는 두 개의 값의 차이인데, 하나는, 두 개의 신호 전극 중 하나에서의 전위와 접지 전극에서의 전위 사이의 차이이고, 다른 하나는, 두 개의 신호 전극 중 다른 하나에서의 전위와 동일한 접지 전극에서의 전위 사이의 차이이다. 몇몇 구현예에서, 접지 전극은 미리 선택되며 변경될 수 없다. 몇몇 경우에, 전극 중 임의의 것은 접지 전극(877)으로서 선택될 수 있다.
마찬가지로, 몇몇 경우에, 프로세서는, 전극의 차동 쌍의 각각을 어떤 전극이 포함하는지 및 쌍 중 어떤 것이 주어진 시간에 프로세서에 의해 능동적으로 사용되고(폴링되고) 있는지를 선택할 수 있다. 다수의 프로세싱 채널의 경우, 하나의 채널은 여섯 개의 이용 가능한 전극 중 특정한 세 개의 전극으로부터 전위를 수신할 수 있고; 다른 채널은 (오디오 잭에 연결되는) 스티커식 전극 또는 손목 디바이스의 내부 표면으로부터 노출되는 접촉 표면을 갖는 전극 중 하나 사이에서 스위칭 가능할 수 있을 것이다. 다수의 채널을 활용하는 것에 의해, 데이터가 전극의 각각의 대응하는 세트로부터 수집될 때 원시 신호 정보에 대한 더 많은 액세스가 존재한다. 이 데이터는, 더욱 복잡한 제스쳐를 식별하도록, 조사 연구를 위한 데이터를 수집하도록, 근육 또는 신경 신호의 포괄적인 모호성 제거를 위해서, 뿐만 아니라 다른 애플리케이션을 위해서 프로세싱 및 활용될 수 있다.
계측 증폭기의 이득은 프로그래밍 가능한 저항기(880)에 의해 제어되며, 그 이득은 프로세서에 의해 제어된다. 계측 증폭기의 이 동적 이득은, 차동 쌍의 두 개의 전극 사이의 임피던스를 매칭시키기 위한 임피던스 매칭 기능을 제공한다. 계측 증폭기는 또한 제3 전극(877) 덕분에 접지에 연결된다.
도 19에서 도시되는 바와 같이, 전극-피부 계면(982)의 변화하는 임피던스에 대한 계측 증폭기(980)의 동적 임피던스 매칭은, 전극으로부터 획득되는 신호의 신호 대 노이즈비를 향상시키는 것을 돕는다. 동적 임피던스 매칭 컴포넌트(984)는 전극-피부 계면의 임피던스의 측정치(986)를 수신한다. 임피던스 측정은 측정 컴포넌트(986)에 의해 행해진다. 임피던스 측정치에 기초하여, 동적 임피던스 매칭 컴포넌트는 신호 대 노이즈비를 향상(예를 들면, 최대화)하는 데 필요한 계측 증폭기 입력의 이상적인 저항(임피던스)을 계산한다. 그 다음, 동적 임피던스 매칭 컴포넌트(984)의 출력(988)이, 상응하게, 프로그래밍 가능한 저항기(880)의 저항을 제어한다.
차동 전위 값(882)인 계측 증폭기의 출력은 대역 통과 필터(884)로 제공되는데, 대역 통과 필터(884)는, 주목하는 종류의 조직에서 나타나는 전기 신호의 특성인 차동 전위 값의 주파수 성분의 대역을 통과시킨다. 몇몇 예에서, 주목하는 조직은 신경 조직이며 대역 통과 필터는, 주목하지 않는 조직의 몇몇 주파수 성분 특성을 제거하는 대역 20 Hz 내지 1000 Hz 내의 신호 주파수 성분을 통과시킬 수 있다. 예를 들면, 근육 전기 신호는 통상적으로 5 내지 400 Hz의 범위 내의 주파수를 가지며, 신경은 뇌 전기 신호(집성된 신경의 더 낮은 주파수(0 Hz 내지 80 Hz) 발진 패턴인 EEG 뇌파(알파, 베타, 감마) 대신, 개개의 뉴런 발화의 주파수)를 비롯한, 200 내지 1000 Hz의 범위 내의 주파수를 갖는다.
차동 신호(886)의 대역 필터링된 버전은, 그 원래의 형태(890)로 이득 증폭기(888)로 그리고 또한, 정류기(895)를 통과한 이후, 정류된 형태(892)로 이득 증폭기로 제공된다. 이득 증폭기는, 자신의 입력으로서, 원래의 신호가 양의 극성을 갖는다면 원래의 입력 신호를 그리고 원래의 신호가 음의 극성을 갖는다면 정류된 형태를 사용한다. 이득 증폭기의 이득은 프로그래밍 가능한 저항기(894)의 값에 의해 제어되는데, 그 값은 프로세서에 의해 결정된다. 프로세서는 출력 신호 전압에 기초하여 이 이득 레벨을 결정한다. 이러한 방식으로 신호를 출력하는 것은, 더 용이한 시각화 및 분석을 위한 측정 가능한 전압 레벨에서 데이터를 제공한다.
전파된 전기 신호(활동 전위)가 신경을 따르는 위치에서 나타나는 경우, 그 위치에 더 가까운 전극은, 더 멀리 있는 전극보다, 피부의 더 높은 전위를 검출할 것이다. 전파된 전기 신호(활동 전위)가 신경을 따르는 위치에서 나타나는 경우, 분극화 페이즈(polarization phase)가 발생하고 임계치에 도달할 때 전위는 변한다. 전위는 양의 방위를 향해 움직인다. 그 다음, 그 위치에서의 활동 전위가 여기 상태로부터 휴지(resting) 상태로 변함에 따라, 소위 재분극화 페이즈 동안, 전위는, 휴지 상태에서 수렴하기 이전에, 제로로 진행하여 잠시 무반응 기간으로 스윙할 것이거나, 또는, 자신의 초기 상태보다 더욱 음의 전위로 진행할 것이다. 전자 컴포넌트는, 감각 활동 전위로부터 운동 활동 전위를 명확하게 하기 위해 활동 전위의 전파의 방향을 결정하도록, 그리고 전파의 속도를 결정하도록, 이 효과를 이용한다.
아날로그 대 디지털 컨버터는, 피부 상의 전극의 차동 쌍의 각각에서 검출되는 차동 전위의 프로세싱된 버전을 계속적으로 수신한다. 아날로그 대 디지털 컨버터는, 주어진 시간에 전극의 쌍 중 하나로부터의 차동 전위 중 하나만을 샘플링하도록 그리고, 예를 들면, 라운드 로빈(round-robin) 모드에서 전극의 상이한 쌍을 샘플링하도록 제어된다. 아날로그 대 디지털 컨버터는, 입력 신호의 각각에 의해 전달되는 주목하는 주파수 도메인 정보를 캡쳐할만큼 충분히 높은 임의의 레이트에서 입력 신호를 샘플링하도록 그리고 아날로그 대 디지털 컨버터에 의해 서빙되는 전극의 그 만큼 많은 차동 쌍에 대한 그 정보를 캡쳐하도록 배열될 수 있다. 두 개의 특정한 예에서, 전극의 차동 쌍을 폴링하는 레이트는, 아날로그 대 디지털 컨버터의 사양(specification) 및 한계에 의존하여 500 Hz 또는 4000 Hz 또는 그 이상일 수 있을 것이다. 하나의 아날로그 대 디지털 컨버터는, 전극의 하나의 차동 쌍 또는 다수를 서빙할 수 있는데, 그 경우, 아날로그 대 디지털 컨버터의 샘플링 레이트는 쌍 사이에서 공유될 것이다. 폴링 레이트는 통상적으로 검출되고 있는 신호의 주파수의 적어도 두 배여야 한다. 몇몇 구현예에서, 전극 쌍의 대응하는 세트를 병렬로 서빙하기 위해서, 복수의 아날로그 대 디지털 컨버터가 사용될 수 있을 것이다.
따라서, 통상적인 구현예에서, 프로세서(때로는, 예를 들면, 두 개 이상의 "프로세서"를 병렬로 사용하는 예를 또한 지칭하기 위해 단수의 "프로세서"를 사용함)는, 시간의 연속하는 순간에 전극의 각각의 차동 쌍에서의 차동 전위를 나타내는 디지털 전위 값의 스트림을 수신할 것이다. 몇몇 경우에, 프로세서는, 디지털 전위 값에 기초하여 모션, 제스쳐 또는 의도를 특성 묘사하는 특성 묘사 엔진으로서 소용되는 특수 목적의 프로세서이다. 이러한 특수 목적 프로세서 또는 특성 묘사 엔진을 가리키기 위해, 때로는, 용어 "프로세서"를 사용한다.
각각의 디지털 전위 값은, 예를 들면, 각각의 디지털 전위 값을 전극의 차동 쌍 중 하나와 연관시키기 위한 식별자(902)의 태그가 붙은 그리고 또한 타임스탬프(904)의 태그가 붙은 24 비트 값(아날로그 대 디지털 컨버터가 24 비트 분해능을 갖는 경우)일 수 있다.
아날로그 대 디지털 컨버터에 의해 제공되는 디지털 전위 값을 수신하여 사용하는 것 외에, 프로세서는, 몇몇의 이름을 거론하자면, 9 축 또는 다른 관성 측정 유닛(IMU), 자이로스코프, 습도 센서, 온도 센서, 광 센서, 카메라, 오디오 센서, 위치 센서, 및 근접 센서와 같은 아주 다양한 다른 입력 소스(907)로부터 수신되는 다른 디지털 소스 값(905)을 수신하여 사용할 수 있다. IMU는, 디지털 소스 값으로 사용될 수 있는 의도적인 또는 의도하지 않은 입력으로서 유저에 의해 탭핑되고 있는 또는 눌려지고 있는 유저 인터페이스 디바이스에 관한 데이터를 제공할 수 있다. 이들 디지털 소스 값 중 하나 이상은, 앞서 언급한 특성 묘사를 생성하는 프로세스를 구현함에 있어서 프로세서에 의해 사용할 수 있다.
유입하는 디지털 전위 값 및 유입하는 입력 디지털 소스 값(디지털 전위 값 및 디지털 소스 값 둘 모두를 가리키기 위해, 때로는, 용어 "디지털 값"을 사용함)은 회로 보드 상에 장착되는 메모리(906)에 일시적으로 저장될 수 있다. 스토리지는, 버퍼로서 소용될만큼 충분히 큰 그러나 연구 또는 나중의 사용을 위해 큰 볼륨의 디지털 값을 저장할만큼 충분하지 않은 사이즈를 가질 수 있다. 몇몇 경우에, HMI 플랫폼에 대한 나중의 통신을 위해, 손목 디바이스가 HMI 플랫폼의 다른 부분과 통신할 수 없는 기간 동안 상당한 볼륨의 디지털 전위 값을 일시적으로 저장할만큼 충분히 클 수 있다. 몇몇 경우에, 스토리지는, 특정한 작업을 위해 프로세서에 의해 또는 HMI의 다른 부분에 의해 사용될 디지털 값의 전체 세트를 저장할만큼 충분히 클 수 있다. 저장된 디지털 값의 일부 또는 모두는, 손목 디바이스에 의해 HMI의 다른 부분으로, 예컨대 필요에 따라 로컬 스마트폰으로 무선으로 전송될 수 있다. 블루투스 또는 임의의 다른 무선 프로토콜이 사용될 수 있다.
손목 디바이스 상의 프로세서는, 근육 수축 또는 이완, 제스쳐, 또는 의도, 또는 이들 중 임의의 것의 조합의 특성 묘사(characterization)(908)를 생성하기 위해, 디지털 값을 본질적으로, 그들이 검출될 때 실시간으로, 또는 필요에 따라 메모리로부터 그들을 페치함으로써 프로세싱할 수 있다. 용어 "특성 묘사"는, 예를 들면, 디지털 전위 값 그 자체, 그들의 변환 또는 수정, 및 근육 수축 또는 이완, 제스쳐 또는 의도 또는 이들의 조합의 임의의 식별, 설명, 추론, 또는 다른 표시 또는 정량화(quantification)를 포함하도록 광의적으로 사용된다. 디지털 전위 값을 프로세싱한 이후, 결과적으로 나타나는 특성 묘사는 손목 디바이스 상의 스토리지에 저장될 수 있거나, 또는 HMI의 다른 컴포넌트 또는 부분으로, 예를 들면, 하나 이상의 애플리케이션으로 또는 아주 다양한 다른 목적 중 임의의 것을 위해 전달될 수 있다.
하나의 특정한 예로서, 마우스의 버튼을 클릭하기 위해 사용되는 모션에 대응하는 유저의 검지 손가락의 수축의 하나 이상의 특성 묘사를 생성하기 위해, 디지털 값의 특정한 세트가 프로세서에 의해 프로세싱될 수 있다. 제스쳐의 특성 묘사는, 상호 작용식 애플리케이션을 실행하는 로컬 컴퓨터로 무선으로 본질적으로 실시간으로 전송될 수 있는데, 이 경우, 비록 유저가 마우스 클릭 제스쳐에만 관여했지만 실제로는 물리적인 마우스 버튼을 클릭하지 않은 경우에도, 특성 묘사는 마우스 클릭 이벤트로서 처리될 수 있다.
몇몇 경우에, 특성 묘사는 특정한 이차원 또는 삼차원 위치 또는 방위의 정량화 또는 유저의 신체 일부, 예를 들면, 손가락의 끝의 위치 또는 방위의 변화를 나타낼 수 있다. 디지털 전위 값의 정확도, 정밀도, 및 품질 때문에, 정량화는 공지된 다른 기술보다 더 정밀할 수 있고, 예를 들면, 1 밀리미터 또는 그 이하의 분해능일 수도 있다. 정량화의 정확도는, 신경의 사이즈, 근육의 사이즈, 및 전극의 사이즈에 영향을 받을 수 있다. 몇몇 경우에, 분해능은 10 밀리미터 범위 내에 있을 수도 있다.
프로세서는 아주 다양한 알고리즘, 기술, 계산, 변환(translation), 매핑, 변환(transformation), 분류기, 통계, 모델, 분석, 또는 다른 프로세스 및 이들 조합을 사용하여 디지털 값으로부터 특성 묘사를 생성할 수 있다. 사용되는 프로세스는, 프로세서의 프로세싱 파워, 메모리의 저장 용량, 입력 디지털 값의 수신의 수, 타입 및 레이트, 생성될 특성 묘사의 복잡도, 및 다른 요인에 의존할 수 있다. 프로세스 및 그 일부는, 특수 목적 프로세서에 의해 실행되는 소프트웨어로서, 펌웨어로서, 또는 전용 하드웨어로서 구현되는 것을 비롯한, 다양한 방식으로 구현될 수 있다. 소프트웨어 또는 펌웨어의 경우, 프로세스 또는 그 일부는, 제조시에 설치될 수 있거나 또는 제조 이후, 예를 들면, 통신 포트(예를 들면, USB 포트)를 통한 유선 다운로드 또는 무선 다운로드에 의해 설치 또는 업데이트될 수 있다. 이러한 업데이트는, (예를 들면, 전위 및 대응하는 특성 묘사의 상관 관계에 관한 이력 데이터를 사용하여) 시간에 걸쳐 개발되는 지식에 기초하여 프로세스 또는 그 일부의 성능 및 동작을 향상시킬 수 있거나 또는 다르게는 수정할 수 있고, 프로세서가 이용 가능한 새롭고 추가적인 데이터 소스를 고려할 수 있고, 새로운 또는 추가적인 애플리케이션을 서빙할 수 있다.
상대적으로 간단한 예에서, 프로세서는 아날로그 대 디지털 컨버터로부터의 24 비트 디지털 전위 값에 기초하여 제스쳐의 특성 묘사를 생성하기 위해 다음 단계를 수행할 수 있을 것이다. 2^24개의 가능한 디지털 전위 값은, 세 개의 임계 상태(LT[휴지 상태의 손으로서 해석됨], MT 및 HT)를 사용하여 분류될 수 있고, 분류는 다음과 같이 제스쳐의 특성 묘사를 도출하기 위해 사용될 수 있다. LT 위로 진행하고 나중에 LT 아래로 떨어지는 디지털 전위 값의 시퀀스는 제스쳐 1로서 특성 묘사된다; MT 위로 진행하고 나중에 LT 아래로 떨어지는 디지털 전위 값의 시퀀스는 제스쳐 2로서 특징 묘사된다; 그리고 HT 위로 진행하고 그 다음 LT 아래로 떨어지는 디지털 전위 값의 시퀀스는 제스쳐 3으로서 특징 묘사된다.
몇몇 경우에, 제스쳐를 특성 묘사하기 위해 두 개 이상의 디지털 전위 값이 사용될 수 있다. 예를 들면: LT 위로 진행하는 디지털 전위 값 1 및 LT 위로 진행하는 디지털 전위 값 2 및 그 다음 LT 아래로 진행하는 디지털 전위 값 1의 시퀀스는 제스쳐 1로서 특성 묘사된다; LT 위로 진행하는 디지털 전위 값 1 및 MT 위로 진행하는 디지털 전위 값 2 및 그 다음 LT 아래로 진행하는 디지털 전위 값 1의 시퀀스는 제스쳐 2로서 분류된다; LT 위로 진행하는 디지털 전위 값 1 및 HT 위로 진행하는 디지털 전위 값 2 및 그 다음 LT 아래로 진행하는 디지털 전위 값 1의 시퀀스는 제스쳐 3으로 분류된다; 그리고 MT 위로 진행하는 디지털 전위 값 1 및 LT 위로 진행하는 디지털 전위 값 2 및 그 다음 LT 아래로 진행하는 디지털 전위 값 1의 시퀀스는 제스쳐 4로서 특성 묘사된다. LT, MT 및 HT는, 모션과 모션의 진폭 사이의 상관 관계를 이해하기 위해 낮은 임계 값, 가운데/중간 임계 값, 또는 높은 임계 값에 비교되는 값이다.
충분한 프로세싱 파워가 이용 가능하다면, 디지털 전위 값 및 시퀀스의 더 복잡한 세트로부터 제스쳐(및 의도)의 더 복잡한 세트가 결정될 수 있다.
몇몇 프로세싱 집약적인 예에서, 프로세서는 분류기 프로세스(910)를 실행한다. 분류기 프로세스 및 분류기 프로세스에 의해 사용되는 분류기 데이터(912)는 제조시 또는 나중에 로딩된다. 몇몇 경우에, 분류기 데이터는, (a) 디지털 값의 소스의 세트(예컨대, 특정한 전극 또는 명시된 IMU로부터의 디지털 값의 세트), (b) 특정한 디지털 값 또는 그들 디지털 값의 범위(소스의 세트 또는 특정한 값 또는 값의 범위는 때로는 "피쳐 세트"로 칭해짐) 및 (c) 피쳐 세트에 상관되는 것으로 알려진 대응하는 특성 묘사(예컨대, 근육 수축 또는 이완, 제스쳐 또는 의도)를 식별한다. 사실상, 분류기는 어떤 피쳐 세트가 어떤 피쳐에 상관되는지에 관한 정보를 포착한다. "런 타임"에서, 분류기 프로세스는 디지털 값의 유입하는 세트 및 그들의 시퀀스를 분류기 데이터에 따라 테스트하고, 그들을 대응하는 출력 특성 묘사 및 그들의 시퀀스에, 분류기 데이터에 기초하여, 매핑한다. 출력 특성 묘사 및 그들의 시퀀스는 다양한 목적을 위해 HMI의 일부 또는 애플리케이션으로 저장 또는 포워딩될 수 있다.
다른 타입의 특성 묘사 프로세스가 사용될 수 있다. 예를 들면, 생체 전위에서의 상이한 주파수에서 기인하여 수행되는 상이한 액션을 특성 묘사하기 위해, 주파수 도메인 분석이 사용될 수 있다. 다수의 전극이 제자리에 있는 경우에 상이한 액션을 특성 묘사하기 위해 공통 평균 기준(common average reference; CAR)이 또한 사용될 수 있다. 하나의 전극을, 손목 주위의 모든 전극의 평균과 단순히 비교하는 것에 의해, 전극 위치에 대한 활성화 베이스를 특성 묘사한다. 가장 가까운 전극의 합계를 비교하여 액션을 특성 묘사하는 것에 의해 액션을 특성 묘사하기 위해, 소형 및 대형 라플라시안(Laplacian)이 사용될 수 있다.
손목 디바이스는 유저에 의한 상호 작용을 위한 유저 인터페이스 패널(812)을 제공하는 외측 표면을 구비한다. 도 15에서 도시되는 바와 같이, 몇몇 예에서, 유저 인터페이스 패널은 두 개의 버튼(823 및 825)을 포함한다. 버튼(823)의 기능은, 디바이스의 전력을, 온 또는 오프로, 제어하는 것이다. 버튼(825)의 기능은, 블루투스 페어링 제어를 제공하는 것 및 블루투스 컨트롤러를 턴 온 또는 턴 오프하는 것이다. 두 개의 버튼 사이의 LED(827)는 다음 기능을 제공한다: 전력 온, 블루투스 페어링, 뿐만 아니라, 신경근 신호 진폭을 포함하는 센서 데이터, IMU, 햅틱, 및 다수의 센서로부터의 데이터를 결합하는 경우의 센서 융합의 시각적 피드백을 비롯한 디바이스의 상태를 나타냄.
몇몇 예에서, 유저 인터페이스 패널은, 데이터 값 및 특성 묘사 및 키보드와 같은 입력 피쳐의 시각화를 허용하는 터치 감지 OLED 패널이다. 패널은, 스마트워치, 전화기, 스마트 글래스, 및 컴퓨터가 디스플레이할 정보의 범위를 디스플레이할 수 있다. 패널은, 차트, 메뉴 선택, 모드 변경, 디바이스 동작의 상태, 페어링 상태, 배터리 수명, 비디오, 앱, 인터넷 사이트, 및 스마트 글래스 또는 전화기와 같은 테더링된 디바이스, 및 일반적인 컴퓨팅으로부터의 콘텐츠와 같은 데이터를 제공할 수 있다. 유저는, 하나 이상의 손가락 또는 스타일러스를 탭하는 것, 터치하는 것, 스와이핑하는 것, 또는 슬라이딩하는 것을 포함하는 스마트워치, 전화기, 스마트 글래스, 및 컴퓨터에 의해 사용되는 것과 같은 동일한 방법으로 OLED와 상호 작용할 수 있다. OLED 패널은, 디바이스가, 저전력 디스플레이를 갖는 것 및 더 높은 품질 조명을 사용하여 태양 광에서의 가독성을 갖는 것을 가능하게 할 것이다. 가요성 디스플레이 패널은 더 적은 강성의 설계 옵션을 제공하기 위해 사용될 수 있다.
개발자가 손목 디바이스의 프로세서에 의해 사용하기 위한 소프트웨어, 하드웨어, 및 펌웨어를 생성하는 것을 가능하게 하는 목적을 위해, 손목 디바이스와 관련하여 개발자 키트가 제공될 수 있다. 개발자 키트는, 유저가, 손목 디바이스 상에서 어떤 데이터 값이, 얼마나 오래 동안, 그리고 어떤 포맷으로 저장될지를; 데이터 값이 HMI의 다른 부분으로 언제 그리고 어떻게 전달될지를, 디지털 값으로부터 특성 묘사를 도출하기 위해 어떤 프로세스가 사용될지를, 그리고 특성 묘사가 어떻게 표현될지를 정의하는 것을 가능하게 한다. 개발자 키트는 또한, 개발자가, HMI의 컴포넌트에 의해 데이터 값에 그리고 특성 묘사에 적용될 분석학을 정의하는 것, 손목 디바이스 상에서 유저에게 제시될 유저 인터페이스의 엘리먼트를 정의하는 것, 및 피쳐 세트 및 대응하는 특성 묘사 사이의 매핑을 구체적으로 정의하는 것을 가능하게 할 수 있다.
몇몇 경우에, 손목 디바이스는, 손목시계, 또는 스마트워치, 또는 운동 모니터, 또는 맥박수, 혈압, 온도, 피부 수분, 습도, 기압, 가속도, 관성, 방위, 피부 압력, 혈액 산소화 레벨(blood oxygenation level), 또는 다른 파라미터를 모니터링하거나 또는 이들과 관련하여 피드백을 제공하는 건강 모니터에 의해 제공되는 것과 같은 다른 기능 또는 피쳐를 포함할 수 있거나 또는 이들과 결합될 수 있다. 몇몇 경우에, 이들 기능은 조직 전기 신호와 관련되는 기능과는 독립적으로 동작할 수 있다. 몇몇 구현예에서, 기능은 결합될 수 있거나 또는 이러한 기능에 의해 생성되는 데이터는 유저 인터페이스 디바이스 내의 프로세서에 대한 추가적인 데이터 소스로서 사용될 수 있다.
앱
도 17에서 도시되는 바와 같이, 몇몇 경우에, HMI 플랫폼의 하나 이상의 피쳐는, 예를 들면, 스마트 폰, 태블릿, 랩탑, 또는 다른 프로세싱 디바이스(928) 상에서 실행되는 앱(926)에서 구현될 수 있다. 몇몇 경우에, 이들 피쳐는 손목 디바이스의 일부인 프로세서에서 구현될 수 있다. 몇몇 경우에, 피쳐는 유저 인터페이스 디바이스 및 HMI 플랫폼의 조합에서 구현될 수 있다.
피쳐(930)는 하드웨어, 펌웨어, 또는 소프트웨어, 또는 이의 조합으로 구현될 수 있다. 각각의 피쳐는 모듈에 의해 구현될 수 있다. 일반적으로, 피쳐는, 디바이스(928)의 유저 인터페이스(932)를 통한 유저 상호 작용을 수반할 수 있고, 유저가, 피쳐의 각각을 커스터마이징하는(customize) 것, 제어하는 것, 수정하는 것, 구성하는 것, 호출하는 것, 종료하는 것, 및 다르게는 사용하는 것을 가능하게 할 수 있다.
피쳐 모듈 중 하나는, 제스쳐 식별 컴포넌트가 식별할 수 있는 제스쳐를, 유저가, 생성하거나 또는 커스터마이징하는 것을 가능하게 할 수 있다. 예를 들면, 유저는, 제스쳐 커스텀화 모듈(gesture customization module)(934)에 대해 새로운 제스쳐를 수용할 것을 지시하는 것 및 그 다음 제스쳐를 수행하는 것에 의해 새로운 제스쳐를 정의할 수 있다. 제스쳐가 수행될 때, 예를 들면, 손목 디바이스 내의 프로세서로부터의 데이터 값은 수집되어 저장되고 정의되고 있는 제스쳐와 연관된다. 그 다음, 유저는, 정의된 제스쳐를, 제스쳐가 수행되었다는 표시를 다른 앱이 수신하는 경우 다른 앱에 의해 취해질 액션과 연관시킬 수 있다. 예를 들면, 새로운 제스쳐는 주먹을 쥐는 것일 수 있고, 유저는 이 제스쳐로 하여금 타겟 애플리케이션을 닫는 커맨드와 연관되게 할 수 있을 것이다. 유저는 제스쳐를 다수 회 수행하도록 재촉받을 수 있고, 그 결과, 그 제스쳐와 연관되는 데이터 값의 추가적인 세트가 저장될 수 있고, 말하자면, 분류기를 트레이닝시키기 위해 사용될 수 있다. 제스쳐 커스텀화 모듈은 또한, 예를 들면, 유저가, 제스쳐가 식별되는 경우 타겟 앱에 의해 취해질 액션을 업데이트하는 것 또는 약간 상이한 물리적 모션을 제스쳐를 나타내는 것으로 분류하는 것(말하자면 꽉 쥔 주먹을 만드는 것 대 손을 부드럽게 움켜쥐는 것)을 가능하게 하는 것에 의해, 현존하는 제스쳐를 업데이트 또는 수정하기 위해 사용될 수 있을 것이다.
피쳐 모듈 중 하나는, 유저가, 임의의 현존하는 또는 새롭게 생성된 제스쳐와 관련하여 타겟 애플리케이션에 의해 취해질 액션을 식별하는 것을 가능하게 하는 결과 커스텀화 모듈(outcome customization module)(936)일 수 있다. 예를 들면, 제스쳐가 검지 손가락을 갖다 대는(closing) 것인 경우, 취해질 액션은, 결과 커스텀화 모듈에 의해 제시되는 유저 인터페이스를 통해 유저에 의해 결정되는 바와 같이, 마우스 버튼을 클릭하는 것, 문자를 타이핑하는 것, 또는 다른 액션일 수 있다.
피쳐 모듈 중 하나는, 제스쳐를 대응하는 통신으로 변환하는 통신 모듈(938)일 수 있고, 그 결과, 유저는 통상적으로 행해지는 것과 같은 키보드 또는 음성을 사용하지 않고도 다양한 앱을 통해 통신할 수 있다. 통신 모듈은 제스쳐 식별 컴포넌트로부터 제스쳐를 수용할 수 있고, 예를 들면, 문자 메시지 앱, 워드 프로세싱 앱, 음성 합성 앱, 또는 소셜 네트워킹 앱과 같은 다른 앱에 의한 사용을 위해 대응하는 통신 또는 그들의 엘리먼트를 생성할 수 있다. 통신에 대한 제스쳐의 매핑은, 관계의 표준화된 미리 정의된 세트에 기초할 수 있다. 몇몇 경우에, 유저는, 통신 모듈에 의해 제시되는 유저 인터페이스를 통해 매핑을 볼 수 있거나, 업데이트할 수 있거나, 또는 수정할 수 있거나, 또는 새로운 매핑을 생성할 수 있다.
피쳐 모듈 중 하나는, 생성되는 전기 신호를 출력 시각화로 변환하는 생체 전위 추적 및 모니터링 모듈일 수 있다. 이 시각화는, 몇몇 경우에, 유저에 의해 생성되는 주파수 및 진폭 데이터를 그래프와 같은 방식으로 나타낼 것이다. 이 시각화는, 디바이스의 사용의 기간에 걸쳐 업데이트될 것이다. 예를 들면, 퇴행성 근육 질환을 갖는 환자는, 디바이스를 착용할 것이고 그들의 임상의가 곁에서 시간 경과에 따른 그 신호 출력을 모니터링할 수 있을 것이다. 몇몇 경우에, 유저는 유저 인터페이스를 통해 수동으로 그래프를 볼 수 있거나, 또는 이동시킬 수 있거나, 또는 업데이트할 수 있다.
피쳐 모듈 중 하나는 체성분 분석 모듈(body composition analysis module)일 수 있다. 지방과 물은 전류에 노출되는 경우 상이한 임피던스를 갖는다. 제지방 조직(lean tissue)은 대부분 물이며 지방 조직보다 훨씬 더 낮은 임피던스를 갖는다. 이것은, 추가적인 건강 메트릭(metric)과 함께, 체내의 지방 함량 및 수분 함량의 측정을 허용한다. 예를 들면, 손목 장착형 디바이스의 하나의 전극을 통해 소량의 전류가 유저에게 전송되면, 그것은 다른 전극에서 수신될 수 있다. 그러면, 한 개인의 제지방 체중(fat free mass) 및 체지방률(body fat percentage)을, 측정되는 임피던스 값 및 그 개인의 키 및 몸무게에 기초하여 계산하는 것이 가능하다.
피쳐 모듈 중 하나는, 생성되는 전기 신호를 출력 시각화로 변환하는 활동 추적 모듈일 수 있다. 이 시각화는, 몇몇 경우에, 한 개인이 소정의 신경근 영역을 활성화한 빈도 및 이들 활성화가 휴식 또는 운동 값에 어떻게 관련되는지를 그래프와 같은 방식으로 나타낼 것이다. 이 시각화는, 디바이스의 사용의 기간에 걸쳐 업데이트될 것이다.
피쳐 모듈 중 하나는, 디바이스가 유저에 의해 수행되는 활동을 인식하는 활동 식별 모듈일 수 있다. 예를 들면, 유저는, 주먹을 소정의 지점까지 갖다 대고 전완 및 이두근을 구부려 턱걸이 운동(pullup exercise)을 수행한다. 디바이스는, 수행되는 제스쳐 및 유저에 대한 디바이스의 방위를 식별하고 그것을 그 활동에 대응시킨다.
피쳐 모듈 중 하나는, 터치에 기초하여 오브젝트 식별을 수행할 수 있다.
피쳐 모듈 중 하나는, 원하는 설정에 기초하여 액션을 도출하기 위해, 전류를 사용하여 유저를 자극하는 자극 제어 모듈일 수 있다. 가변 제어 가능 저항기를 갖는 디바이스를 통해 전류를 전송하는 것은, 디바이스가, 치료 및 다른 의료 목적을 위해 소정의 신경근 영역을 자극하기 위해 사용되는 것을 허용한다.
캘리브레이션
캘리브레이션 프로세스는, 손목 밴드와 같은 하나 이상의 유저 인터페이스 디바이스의 사용에서의 단계이다. 캘리브레이션은 물리적일 수 있거나 또는 전자적(예를 들면, 디지털)일 수 있거나 또는 이들의 조합일 수 있다. 캘리브레이션의 목표 중에는, 예를 들면, 손목 디바이스(그리고 결국에는 손목 디바이스 상의 전극)의 유저 배치를 향상시키는 것 또는 검출된 전위의 신호 대 노이즈비를 향상시키는 것 또는 둘 모두가 있다. 몇몇 경우에, 유저 인터페이스는, 유저가 디바이스의 올바른 캘리브레이션을 확립하는 데 도움이 되는 온스크린 지침(on-screen instruction)을 제공할 것이다. 이것은 또한, 디바이스에 의해 활성화가 정확하게 기록되고 있다는 것을 보장하기 위한 짧은 테스트 페이즈(testing phase)를 포함할 수도 있다.
캘리브레이션의 목적을 위해, 유저 인터페이스 상에서, 데이터 값의 시각화, 특성 묘사, 또는 그러한 특성 묘사에 응답하여 이동하는 신체 부분의 삼차원 표현을 제공하는 것이 유용할 수 있다.
데이터 소스
이 점에 대한 논의의 대부분은, 손목의 신경 전기 신호에 의해 생성되는 전위의 검출, 식별, 프로세싱, 및 사용에 관련된다. 설명하는 기술은, 예를 들면, 뇌 및 다른 사지를 비롯한, 신체의 다른 부분에서의 신경 전기 신호와 관련하여 사용될 수도 있고, 근육 조직과 같은 다른 조직에 의해 생성되는 전위의 검출, 식별, 프로세싱, 및 사용을 위해 사용될 수 있다. 또한, 다른 것들 중에서도, 제스쳐, 의도, 및 근육 수축의 특성 묘사를 생성함에 있어서, 아주 다양한 다른 데이터 소스가 프로세서에 의해 사용될 수 있다.
예를 들면, 특성 묘사를 생성하기 위한 전위 정보와 조합하여 사용하기 위한 눈 시선 데이터(eye gaze data)를 생성하기 위해, 네이티브(native) 적외선 카메라, RGB 카메라, 및 LED 디스플레이로부터의 데이터 값 조합이 사용될 수 있다.
몇몇 구현예에서, 근전도 검사(EMG) 정보는, 예를 들면, 신경 전기 신호 정보와 함께 손목에서 캡쳐될 수 있다. EMG 정보는 그 자체로 그리고 프로세서에 의해 생성되는 데이터 값의 품질을 향상시키기 위한 프로세서에 대한 데이터 소스로서 유용할 수 있다. EMG 정보는, 예를 들면, 손목 디바이스 상의 하나 이상의 이차 전극에 의해 캡쳐될 수 있다.
몇몇 경우에, IMU와 같은 다른 데이터 소스는, 제스쳐 및 유저 인터페이스 디바이스의 유저 인터페이스와의 직접적인 상호 작용을 명확하게 하는, 예를 들면, 공중에서 유저가 제스쳐를 만드는 것을, 유저가 애플리케이션의 유저 인터페이스의 제어부를 터치하는 것과 구별하는, 프로세서로부터의 데이터 값과 함께 해석될 수 있는 정보를 제공할 수 있다. 이러한 의미에서, 더욱 광범위하게는, 프로세서로부터의 데이터 값을, IMU와 같은 다른 소스로부터의 데이터와 결합하는 것은, 유저의 의도를 인식하는 데 도움이 될 수 있다.
유저의 뇌와 궁극적으로는 뇌에서 정형화되는 의도의 결과로서 움직이는 신체의 일부(예를 들면, 손가락) 사이에는, 전기 활동의 통로가 존재한다. 통로는 뇌(두개골 상에서 측정될 수 있는 신경 활동(neurological activity) 및 연관된 전기 활동의 부위(site))에서 시작하고, 근육 및 어쩌면 힘줄(여기서 근육의 수축 또는 이완 및 관련된 전기 활동이 발생함)을 포함할 수 있는 조직까지 신경(이것은 또한 그들의 길이를 따라 전기 활동을 나타냄)을 따라 연장한다. 전기 활동은 뇌에서 먼저 발생하고 그 다음 신경을 따라 발생하고 그 다음 근육 수축 및 이완이 발생한다.
사람의 의도 및 제스쳐를 결정하는 속도는, 부분적으로, 뇌 신경 활동 측정이 이루어지는 곳에 얼마나 가까운지에 의존할 수도 있다. 의도 및 제스쳐의 결정의 정확도 및 강건성은, 측정이 이루어지는 장소의 수 및 위치에 의존할 수도 있다. 예를 들면, 비록 손가락 또는 손의 실제 모션을 결정하기 위해 IMU를 사용하는 것이 제스쳐에 관한 매우 양호한 정보를 제공할 수도 있지만, 그 정보는, 뇌 신경 활동, 신경을 따르는 전기 신호의 전파, 근육의 반응, 및 IMU 신호의 프로세싱에 필요한 시간과 연관된 지연 이후에 도출된다. 또한, IMU 신호 단독으로부터 완전히 결정될 수 없을 뿐만 아니라, 단지 신경 신호 및 뇌 신호를 측정 및 프로세싱하는 것에 의해서도 완전히 결정될 수 없는 의도 및 제스쳐의 미묘한 양태가 존재할 수도 있다.
설명하는 기술의 몇몇 구현예에서, (말하자면, 손목에서의) 신경 전기 활동의 측정 및 신체의 일부의 실제 모션의 측정(예를 들면, IMU를 사용하여 손가락의 모션을 측정함)뿐만 아니라, (예를 들면, 팔을 따르는 피부에서의 측정에 의해) 뇌에 더 가까운 장소에서의 신경 전기 활동의 측정 및 (EEG 또는 유사한 기술에 의한) 뇌 전기 활동의 측정도 또한 취해진다. 통로를 따르는 손가락 및 손의 모션과 전기 신호의 상대적인 타이밍 및 강도 그리고 이들 신호 및 모션의 조합을 분석하는 것은, 의도 및 제스쳐의 더욱 풍부하고 더욱 복잡하며 더 빠른 해석을 가능하게 할 수 있는데, 이것은 게임, 제조, 및 애플리케이션의 제어를 비롯한, 많은 애플리케이션에 대해 유용할 수 있다.
설명하는 기술은, 통로의 연구를 위한 그리고 머신 러닝을 개발하기 위한 플랫폼 및 통로를 따르는 신호 및 모션을 해석하기 위한 다른 기술을 포함한다. 몇몇 경우에, 이러한 연구에 의해, 손목에서의 측정된 신호와 손 및 손가락의 측정된 모션에 대해, 뇌 전기 활동을 충분히 정확하게 상관시켜, 의도 및 제스쳐의 양호한 지표로서 뇌 전기 신호에 단독으로 의존하는 것을 가능하게 하는 것이 가능할 수도 있다.
애플리케이션
설명하는 기술의 애플리케이션은 광범위하며, 예를 들면, 산업, 비즈니스, 소비자, 의료, 기관, 및 군사적 용도를 포함한다. 기능적으로, 애플리케이션은, 다른 것들 중에서도, 모니터링, 제어, 피드백, 작동, 통신, 및 데이터 축적과 분석을 비롯한 광범위한 범위에 걸쳐 있다.
모니터링 애플리케이션은, 예를 들면, 신경 전기 신호를 모니터링하는 것(때로는 신경전도검사(electroneurography) 또는 ENG 신호로 칭해짐), EMG 또는 sEMG 신호와 조합하여 ENG 또는 sENG(surface ENG: 표면 ENG) 신호를 모니터링하는 것, 및 EMG, sEMG, ENG, sENG, EEG, ECG, 및 IMU 신호의 다른 조합을 모니터링하는 것과 같은, 개인 및 개인의 그룹 및 모집단의 조직 전기 신호에 대한 데이터 값을 검출하는 것, 저장하는 것, 및 축적하는 것을 수반한다.
이러한 모니터링은, 군인을 비롯한, 피검체의 그룹 또는 개개의 피검체의 (예를 들면, 근육 강도 또는 체력의 관점에서의) 적합성을 측정 또는 분석함에 있어서 유용한 많은 양의 데이터를 제공할 수 있다. 또한 근력(muscle strength)을 나타내는 데이터를 사용하는 것에 의해, 모니터링된 많은 양의 전기 신호 데이터는, 조직 전기 신호와 근력 사이의 상관 관계를 개발하기 위해 사용될 수 있고 그들 상관 관계는, 예를 들면, 피부 전위로부터 도출되는 데이터 값에 기초하여 근력을 특성 묘사하기 위해 사용될 수 있다.
모니터링 애플리케이션은 의료 분야에서 유용할 수 있다. 이러한 애플리케이션 중에는, 손목 또는 발로부터 심박수 및 EKG를 모니터링하는 것이 있다. 심장은, 가슴 상의 피부의 표면 상에서 뿐만 아니라 부속지 상에서도 검출될 수 있는 1 밀리 볼트 범위의 강력한 전기 신호를 생성한다. 심박수 신호는, 다른 근육 및 신경 신호로부터 식별 가능한 주파수에서 발생한다. 심박수를 추적하는 것의 중요성은, 유저의 건강 또는 컨디션(condition)의 척도를 결정하기 위한 것이다. 이것은 또한, 심장 거동을 캡쳐하는 전통적인 방법이 가슴 상에서만 가능하기 때문에 유용하다. 설명한 신경근 센서는, 손목 및 발을 비롯한 몸 전체 상에서 ECG 패턴을 명확하게 할 수 있다. 적외선 기술을 사용하는 전통적인 손목 기반의 방법은, 심박수만을 측정하고, 심실(heart chamber)의 타이밍과 같은 심장 거동을 측정하지 않는다. 요골 맥박(radial pulse)은 손목 상에서 촉진 가능하다. 한편 맥박은 또한, 신체의 다른 위치 중에서도, 발 및 발목의 족배(dorsalis pedis) 및 후방 경골(posterior tibial) 영역 상에서 각각 측정될 수 있다. 이것은, 환자 또는 의사의 필요에 따라, EKG를 수행할 다수의 방법 및 위치를 제공한다.
ALS 및 다른 신경 퇴행성 장애와 같은 신경 장애의 상태 및 진행을 모니터링하는 것도 또한 유용할 수 있다. 더 일반적으로, 신경 전기 신호의 비침습적인 정확한 모니터링이 진단 또는 치료 또는 치료의 유무에 관계 없이 질병의 진행의 관찰에 유용할 임의의 상황(context)은, 유용한 애플리케이션이 되기 쉬울 것이다. 예를 들면, 치료 결과의 관찰은, 예컨대 신경 또는 근육 또는 다른 조직의 컨디션 또는 수술을 수반하는 또는 관련시키는 임의의 수술 이후에, 유용할 수도 있다. 모니터링은 또한, 신경근 질환(neuromuscular condition)을 진단, 정량화 또는 치료함에 있어서; 간질 활동을 추적함에 있어서; 신경 또는 근육의 미래의 상태, 컨디션, 또는 변화를 예측하기 위한 모니터링에서; 또는 근육 경련의 모니터링 및 분석에서 사용될 수 있다. 모니터링은, 근육 악화 및 질병 진행을 비롯한, 조직 전기 신호에서 반영되는 경향을 결정함에 있어서 유용할 수 있다.
몇몇 경우에, 적절한 근동원(muscle recruitment) 및 운동 패턴을 보조하여 재활 결과를 향상시키기 위해, 환자는 실시간의 큐(cue) 및 피드백을 제공받을 수 있다. 다른 애플리케이션은 사지 손실 및 척추 손상을 포함한다.
모니터링이 발생하면, 데이터 값은, 유저 인터페이스 디바이스에서(예컨대, 손목 디바이스의 메모리에서) 뿐만 아니라, 또한, 유저 인터페이스 디바이스 부근에 있는 디바이스(예컨대, 스마트 폰)에서도, 더 구체적으로는, HMI 플랫폼의 하나 이상의 컴포넌트에서도, 또는 애플리케이션 중 하나 이상에서도, 수신, 저장, 또는 축적될 수 있다. 몇몇 구현예에서, 하나 이상의 피검체, 또는 그룹 또는 모집단으로부터의 데이터 값은, (예를 들면, "클라우드"에서) 중앙 집중식으로 동작되는 하나 이상의 서버(920) 상에서 수신, 저장, 축적, 프로세싱, 또는 사용될 수 있거나, 또는 그러한 활동의 결과 또는 데이터 값은, 임의의 곳에서 웹 브라우저(924)를 통해 클라우드로부터 유저(922)가 이용 가능하게 만들어질 수 있다. 예를 들면, 실시간의 또는 보관된 데이터 값 또는 특성 묘사는, 진단, 예후, 및 치료에 관한 결정을 내리고 연구하기 위해 임상의에 의해 사용될 수 있다. 환자 데이터 값은 수집하고 로컬로 또는 클라우드에 수집 및 저장될 수 있다. 근육 또는 신경에서의 기능적 변화는, 예를 들면, 구성 또는 지원 기술 셋업의 필요한 수정을 결정함에 있어서 그리고 지원 기술의 원격 구성을 제어함에 있어서 모니터링 및 사용될 수 있다.
모니터링은, 근육 수축, 제스쳐, 또는 의도가 추적되고 손 또는 신체의 다른 부분의 모션의 신체 기반의 모델에 매핑되는 애플리케이션에 대해 사용될 수 있다. 신체 기반의 모델의 사용은, 모델에 의해 수반되는 제약에 기초한 특성 묘사의 보정을 가능하게 하는 것에 의해 프로세서에 의해 도출되는 특성 묘사의 품질을 향상시킬 수 있다. 예를 들면, 누군가가 자신의 손가락을 뻗는 경우, 모델 제약은, 이 제스쳐 특성 묘사가, 손가락에 연결되는 관절 및 근육 조직이 가능한 것을 넘어서 손가락을 움직이는 것을 허용하지 않을 것이다.
애플리케이션의 다른 광범위한 분야는, 본 기술에 의해 도출되는 특성 묘사(예를 들면, 제스쳐 또는 의도) 또는 데이터 값에 기초한 디바이스 또는 프로세스의 제어를 수반한다.
간단한 그러나 유용한 애플리케이션에서, 손가락 모션을 사용하여 스크린 상의 아바타를 제어하기 위해, 제어는 특성 묘사 정보를 사용하는 것을 수반할 수 있다.
제어는, 예를 들면, 모바일 디바이스의 제어일 수 있다. 의료 영역에서, 제어는, 환자가 제스쳐 및 의도를 사용하여, 자동차, 휠체어, 개인 로봇, 제어 가능한 교정 기구(orthosis)의 제어를 비롯한, 이동성 디바이스의 동작 또는 상태를 제어하는 것을 가능하게 할 수 있다.
제어는, 가정 환경 또는 이러한 환경의 컴포넌트 또는 엘리먼트, 예컨대, 다른 것들 중에서도, 엘리베이터, 윈도우, 도어, 커튼, 블라인드, 온도 조절 장치(thermostat), 난방 및 공기 조절 디바이스, 전기 소켓, 인터컴, 도어록 해제 장치, 오수 펌프(sump pump), 조명, 알람 및 다른 보안 디바이스, 미디어 디바이스, 청소 및 조리 디바이스, 목욕 및 다른 욕실 기기, 텔레비전, 미디어 센터, 비디오 게임, 게임 디바이스, DVD, 전화 및 기타 통신 기기를 포함하는 엔터테인먼트 디바이스, 및 전화 상에서 재생될 응급 통화 녹음 장치(emergency call recordings)의 제어를 포함할 수 있다.
몇몇 구현예에서, 제어는, 안전, 보안, 침묵, 사생활 보호, 치안 유지, 및 인텔리전스의 맥락에서의 디바이스의 제어일 수 있다. 검출된 전위에 기초한 하나 이상의 특성 묘사로서 도출되는 유저의 제스쳐 또는 의도는, 예를 들면, 도움을 위한 사일런트 알람(silent alarm)을 트리거하기 위해 또는 다른 당사자에게 위험을 경고하기 위해; 예컨대 눈사태 희생자에 의한, 강도를 당하고 있는 은행 직원에 의한, 또는 군사용 또는 경찰용 디바이스를 조용히 또는 원격으로 제어하기 위한 군인 또는 경찰에 의한 응급 통화를 트리거하기 위해 사용될 수 있을 것이다.
제어 애플리케이션은, 게임 컨트롤러, 조이스틱, 또는, 예를 들면, 산업 환경에서의 증강 현실 글래스를 포함하는 다른 가상 현실 제어 디바이스의 기능을 제어하기 위한 제어 애플리케이션을 포함한다. 다른 제어 애플리케이션은, 유저 인터페이스의 메뉴 선택을 내비게이팅하는 것을 포함한다. 몇몇 경우에, 유저는 손에 무언가를 쥐고 있을 수 있고, 증강 현실 글래스에 의해 제시되는 인터페이스를 제어하기 위해 제스쳐를 또한 사용하고 있을 수도 있다. 몇몇 경우에, 어떤 사람은, 증강 현실 글래스의 맵 상에서 나타내어지는 코스를 따라 걷고 있을 수 있고 인터페이스를 제어하기 위해 제스쳐를 사용할 수 있다. 몇몇 애플리케이션에서, 제어는 우주복 내에서의 제스쳐에 의해 표명될 수 있다.
일반적으로, 본 기술은, 우주복, 또는 SCUBA(스쿠버) 수트 내에서, 또는 유저의 손 또는 그의 신체의 다른 부분이 다른 방식으로 점유되고 따라서 일반적인 제스쳐를 수행하기 위해 사용될 수 없는 경우에서와 같이, 완전한 제스쳐를 수행하는 유저의 능력이 제한되는 상황에서 특히 유용할 수 있다.
몇몇 경우에, 유저는 가상 현실 또는 증강 현실 아바타를 제어할 수 있다.
상당한 범위의 애플리케이션은, 유저 인터페이스 디바이스(예컨대, 손목 디바이스)와 스마트 글래스과 같은 애플리케이션의 피쳐 사이의 상호 작용을 수반한다. 예를 들면, HMI는, 핸즈프리, 보이스프리(voice-free) 제어를 구현하기 위해, 스마트 글래스(또는 다른 헤드 착용 가능한 디스플레이)에 특성 묘사 정보를 전달할 수 있다. 예를 들면, 제약 클린 룸을 위한 증강 현실 시스템은, 생산, 품질 제어, 포장, 및 약품 제조에서의 다른 기능을 제어하기 위한 유저 제스쳐 또는 의도의 특성 묘사를 제공받을 수 있다. 이러한 상황에서, 유저는 종종 복잡한 작업을 수행하고 증강 현실 디스플레이를 제어하기 위한 자유로운 손을 가지지 않는다. 게다가, 이러한 환경은 시끄러울 수도 있거나 또는 다수의 사람들이 존재할 수도 있어서, 음성 제어가 실행 불가능할 수도 있다.
예를 들면, 도 18에 도시되는 바와 같은 몇몇 구현예에서, 유저 인터페이스 디바이스(예컨대, 손목 디바이스)(950)는, 예를 들면, 제스쳐(또는 의도)를 표현하기 위해 유저에 의해 이루어지는, 손(952), 손목(954), 또는 손가락(956)의 모션을 검출할 수 있다. HMI(958)는, 검출된 모션을 애플리케이션(964)의 디스플레이된 유저 인터페이스(962)의 하나 이상의 디스플레이된 엘리먼트(960)의 제어로 변환하는 알고리즘을 실행하는 변환 컴포넌트(961)를 포함할 수 있다.
검출될 수 있는 손, 손목, 또는 손가락의 모션 중에는, (항공 용어로) 손 또는 손목 또는 둘 모두의 요잉 또는 피칭 또는 롤링 또는 요잉, 피칭 또는 롤링의 조합 또는 손, 손목, 또는 손가락의 다양한 다른 모션(함께 "손/손목/손가락 모션"으로 칭해짐)이 있다. 다른 것들 중에서도, 유저는 일반적으로 유저의 전완의 길이와 함께 정렬되는 축(968)을 중심으로 (종종 그의 손목의 비틀림 또는 회전과 결합하여) 그의 손을 비틀거나 회전시킬 수 있다(966). 손/손목/손가락 모션은, 디스플레이된 엘리먼트(960)를 제어하도록 의도되는 하나 이상의 액션, 제스쳐, 또는 의도로서 해석될 수 있다. 디스플레이된 엘리먼트는, 커서, 또는 삽입 지점, 또는 구체와 같은 그래픽 엘리먼트, 또는 만화 그림 또는 아바타와 같은 캐릭터일 수 있을 것이다.
몇몇 경우에, 손/손목/손가락 모션은, 손 및 손목의 비틀림 또는 회전을 포함할 수 있고, 디스플레이된 엘리먼트는 구체 또는 구체(960)와 유사한 어떤 표현을 포함할 수 있고, 비틀림 또는 회전은, 디스플레이된 유저 인터페이스에 대한 구체의 대응하는 회전 또는 다른 모션으로 변환될 수 있다. 구체를 조작하는 것에 의해, 유저는 디스플레이된 유저 인터페이스와 상호 작용하기 위해, 예를 들면, 다른 디스플레이된 엘리먼트를 가리키기 위해, 엘리먼트를 이동시키기 위해, 액션을 선택하기 위해, 액션을 수행하기 위해, 다른 활동을 수행하기 위해, 사실상 구체를 사용할 수 있다. 더 일반적으로는, 손/손목/손가락 모션은, 애플리케이션의 디스플레이된 유저 인터페이스를 통해 애플리케이션의 임의의 제어 가능한 양태, 예컨대, 다른 것들 중에서도, 메뉴, 콘텐츠 입력, 게임 엘리먼트, 다른 유저와의 상호 작용, 또는 이차원 또는 삼차원의 디스플레이된 공간을 통한 내비게이션을 제어하기 위해 사용될 수 있다.
HMI(958)의 변환 컴포넌트(961)는, 손/손목/손가락 모션을 나타내는 신호(970)를, 디스플레이된 엘리먼트의 대응하는 방향, 방위, 모션의 레이트, 또는 모션의 크기(또는 이들의 조합)로 변환하여, 유저가 제스쳐를 사용하여 디스플레이된 엘리먼트를 제어하는 것을 가능하게 하는 매핑 알고리즘(968)을 포함할 수 있다.
몇몇 예에서, 유저의 손의 비틀림 또는 회전의 방향, 방위, 레이트 및 크기는, 대응하는 방향, 방위, 모션의 레이트, 및 크기를 갖는 구체 또는 다른 디스플레이된 엘리먼트의 비례하는 모션으로 변환될 수 있다. 몇몇 경우에, 디스플레이된 엘리먼트의 방향, 방위, 모션의 레이트, 및 모션의 범위 중 하나 이상은, 손/손목/손가락 모션으로부터의 직접 비례하는 매핑 이외의 것일 수 있다. 매핑은 어느 정도의 단순성 또는 복잡성을 가질 수 있다.
하나의 유용한 매핑 알고리즘은, 손 및 손목의 모션의 크기를, 구체 또는 다른 디스플레이된 엘리먼트의 모션의 비례적으로 더 큰 크기로 변환할 수 있다. 예를 들면, 손 및 손목의 5 도 회전은, 구체의 20 도 회전으로 해석될 수 있는데, 알고리즘의 증폭율을 나타낸다. 증폭율은, 크기 또는 가속도 또는 둘 모두와 같은, 손/손목/손가락 모션의 하나 이상의 피쳐와 함께 동적으로 변할 수 있다. 예를 들면, 손 및 손목의 작고 빠른 회전은, 구의 큰 회전으로 변환될 수 있다. 반대로, 손 및 손목의 느린 가속도는, 상대적으로 낮은 증폭률을 사용하여 변환될 수 있을 것이다.
몇몇 예에서, 회전 또는 패닝(panning) 또는 둘 모두를 포함하는 손목의 모션은, 회전 다이얼에 대해 각각의 각도 위치에 배열되는 아이콘의 세트 중에서 선택하도록 회전 다이얼을 제어하기 위해 사용될 수 있을 것이다. 손목 모션은, 45 도 회전이 회전 또는 선형 어레이에서 대응하는 45 도 회전으로 변환되도록, 일 대 일로 변환될 수 있을 것이다. 또는, 작은 모션은 상기에서 언급되는 바와 같이 증폭을 통해 더 큰 모션으로 변환될 수 있을 것이다.
손목 디바이스와 스마트 글래스 사이의 통신은, 애플리케이션 스위칭(예를 들면, 객체 지향 애플리케이션 스위칭)을 위해 또한 사용될 수 있다.
피드백과 관련하여, 설명한 기술은, 검출된 전위, 또는 그들로부터 도출되는 특성 묘사(예를 들면, 근육 수축, 제스쳐, 의도)에 관한 피드백을 제공하는 것이, 제스쳐 또는 의도 또는 근육 수축의 행동, 거동, 정확도, 또는 정밀도를 향상시키는 데 유용할 수 있는 상황에서 애플리케이션을 갖는다. 피드백은, 유저에 대한 시각적, 청각적, 촉각적, 또는 다른 모드의 표현을 포함할 수 있다. 피드백은 실시간으로 또는 나중에 발생할 수 있을 것이다. 피드백은 실제 제스쳐, 의도 또는 근육 수축을 실시간으로 유저에게 직접적으로 제시할 수 있어서(말하자면 시각적으로 또는 청각적으로 제시할 수 있어서) 유저가 시도된 제스쳐, 의도, 또는 근육 수축을 이상적인 것에 도달하도록 즉시 그리고 직접적으로 수정하는 것을 가능하게 할 수 있다. 몇몇 경우에, 피드백은, 시도된 근육 수축, 제스쳐 또는 의도에서의 변화가 목표 또는 목적을 얼마나 더욱 정확하게, 정밀하게, 또는 유용하게 서빙할 수 있는지를 간접적으로 유저에게 암시하는 정보를 제시할 수 있다.
햅틱 피드백은, 예를 들면, 유저의 피부와 관련하여 스마트 폰 또는 손목 디바이스 또는 다른 디바이스를 진동시키거나 또는 다르게 움직이게 하는 것에 의해, 유저의 터치의 감각에 제공될 수 있다. 햅틱 피드백은 유저의 제어 또는 트리거링 액션을 향상시킬 수 있다. 몇몇 경우에, 햅틱 피드백은, (신경가소성(neuroplasticity)을 향상시키는 것에 의해) 마비가 있는 환자의 근육을 다시 트레이닝함에 있어서 도움이 될 수 있다. 이것을 달성하기 위해, 환자는 물리적 치료 활동 또는 체계를 제공받을 것인데, 여기서, 디바이스는, 액션 또는 제스쳐가 올바르게 수행되었다는 햅틱 큐(haptic cue)를 가지고 반응하는 액션 또는 제스쳐의 완료를 인식할 것이다. 그러면, 그것은 유저 자신의 디바이스와의 상호 작용에 기초한 매우 명확하고 즉각적인 큐가 있는 트레이닝 연습이 된다.
몇몇 경우에, 햅틱 피드백은, 유저가, 예를 들면, 햅틱 어휘(haptic vocabulary)를 사용하여 애플리케이션의 메뉴를 탐색하는 것을 가능하게 하는 비가시적이고 비청각적인 인터페이스로서 큐를 제공할 수 있을 것이다. 더 일반적으로, 햅틱 피드백은 햅틱 어휘(유저가 트레이닝될 수 있음)를 사용하여, 검출 가능한 조직 전기 신호를 산출하는 유저의 대응하는 근육 수축, 제스쳐, 또는 의도에 의해 달성될 수 있는 프로세스, 디바이스, 또는 애플리케이션에서의 상태 또는 컨디션 또는 변화에 관해 유저에게 통지하기 위한 간단하고, 신중하며, 비시각적이고 비청각적인 기술을 제공할 수 있다.
몇몇 경우에, 피드백은, 조명, 디스플레이, 또는 기타 시각적 디바이스 및 큐를 사용하여 시각적일 수 있다. 예를 들면, 피드백은, 실제 전위, 데이터 값, 근육 수축 또는 이완, 제스쳐, 또는 의도에 관한 시각화 큐를 제공하기 위해 사용될 수 있다. 시각적 디바이스 및 큐는, 스마트 워치 또는 손목 디바이스의 유저 인터페이스 상에서, 스마트 폰 상에서, 또는 스마트 글래스과 같은 애플리케이션 상에서 제시될 수 있다.
피드백은, 가상 현실 또는 증강 현실의 다수의 피쳐 중 하나 또는 가상 현실 또는 증강 현실이 제시되는 인터페이스 또는 디바이스의 작동 또는 제어를 지원하는 임의의 종류의 것일 수 있다. 예를 들면, 유저는 상기에서 설명한 손목 디바이스를 사용하여 그의 손가락을 움직여 가상 현실 세계를 통해 또는 현실 세계를 통해 이동하는 무인 항공기를 제어할 수 있다. 따라서, 피드백은, 증강된 또는 가상의 현실이 제시되고 있는 군사용 애플리케이션에서, 또는 디스플레이 스크린이 수술이 수행되고 있는 숨겨진 부위의 증강 현실 뷰를 제시하는 의학적 상황에서 유용할 수 있다.
일반적으로, 피드백은 애플리케이션 디바이스 및 프로세스의 상황에 맞는(contextual), 직관적인, 애플리케이션 고유의 스위칭 및 제어를 제공할 수 있다.
기술의 몇몇 애플리케이션은 광범위한 분야의 의사 소통(communication)에 속하며 유저가 근육 수축 및 이완, 제스쳐, 의도, 또는 다른 특성 묘사에 기초하여 의사 소통하는 것을 가능하게 한다. 예를 들면, 그러한 유저는, 예를 들면, 말하는 것 손가락을 움직이는 것 둘 모두에 의해, 또는 별개의 통신 채널을 통해 안구 움직임 및 손 움직임을 동시에 사용하는 것에 의해, 그러한 특성 묘사로 하여금, 워드 프로세싱 애플리케이션에 대한 문자의 타이핑, 문자 메시지 애플리케이션에 대한 텍스트의 타이핑, 마우스의 움직임, 대안적 또는 증강 통신에 대한 참여, 모스(Morse) 부호의 전송, 및, 다수의 채널에서의 병렬 통신을 야기하게 할 수 있다. 비밀 애플리케이션(covert application)에서, 제어 또는 통신은, 유저에 의해, 시야로부터 숨겨진 그의 주머니 속의 그의 손의 제스쳐에 의해 행해질 수 있다. 숨겨진 제스쳐는, 전화 제어, 은밀한 의사 소통, 보철 및 외골격, 또는 키보드 또는 마우스 교체를 위해 사용될 수 있다.
몇몇 애플리케이션은, 본 기술에 의해 생성되는 데이터 값을 수신, 수집 및 분석하는 것을 수반할 수 있다. 예를 들면, 데이터 값으로부터 특성 묘사를 도출하기 위한 머신 러닝 기술을 사용하는 구현예에서는, 예를 들면, 다양한 제스쳐 또는 의도 중에서 피쳐 세트에 기초하여 미래의 데이터 값을 분류하도록 분류기를 트레이닝시키는 수단으로서 단일의 유저에 대한 데이터 값을 수집하고 분석하는 것이 유용할 수 있다. 수천 또는 수백만 명의 유저의 그룹 또는 모집단에 대한 데이터 값을 수집 및 분석하는 것은, 임의의 유저에 대한 나중의 분류를 위한 유용한 템플릿(피쳐 세트)의 생성을 가능하게 할 수 있다. 몇몇 애플리케이션에서, 손목 디바이스와 같은 유저 인터페이스 디바이스의 대응하는 방위 및 위치에 대한 지식과 결합된 데이터 값은, 다른 유저 인터페이스 디바이스의 전극에 대한 유익한 방위 및 위치, 예를 들면, 조직 전기 신호가 특별히 강하거나 또는 효과적으로 검출되고 프로세싱될 수 있는 방위 및 위치를 결정하는 것을 가능하게 한다.
상기에서 언급한 바와 같이, 몇몇 애플리케이션은, 스마트 글래스의 제어 및 스마트 글래스와의 통신을 수반한다. 스마트 글래스를 제어하기 위한 또는 스마트 글래스와 통신하기 위한 제스쳐 어휘는 다음을 포함할 수 있다: (1) 두 손가락을 동시에 움직이는 것에 의해 "청취" 모드로 진입하는 것, (2) 후속하여 손목을 회전시켜, 말하자면, 세 개 또는 그 이상의 아이템의 원형의 선택 메뉴를 탐색하는 것, (3) 후속하여 손가락을 움직여 선택을 행하는 것 또는 선택을 행하기 위해 유지된 "청취" 모드를 해제하는 것. 유저 인터페이스에 타이핑하는 것은, 예를 들면, 글자(letter)의 그룹을 탐색하기 위한 제스쳐를 사용하여 행해질 수 있다.
일반적으로, 본 기술을 적용함에 있어서, 특성 묘사의 어휘가 확립되어 데이터 값의 특정한 피쳐 세트와 상관될 수 있다. 일단 어휘가 확립되면, 임의의 언어 어휘가 사용될 수 있는 것처럼, 어휘는 애플리케이션과 관련하여 아주 다양한 목적을 위해 사용될 수 있다. 어휘는, 필요에 따라 개발자 및 유저 둘 모두에 의해 수정, 업데이트, 및 향상될 수 있다. 데이터 값과 어휘의 엘리먼트 사이의 상관 관계는, 업데이트, 향상 및 개선될 수 있다. HMI 플랫폼 또는 유저 인터페이스 디바이스 또는 둘 모두는 그러한 어휘를 유지 및 구현할 수 있고, 사실상 데이터 값과 어휘의 엘리먼트 사이의 변환기로서 소용될 수 있고; 그러며, 애플리케이션은 아주 다양한 방식으로 어휘에 따라 표현되는 통신을 사용할 수 있다. 이러한 어휘는, 말하는 것 또는 (몇몇 경우에는) 유저의 신체의 임의의 부분의 실제 모션을 요구하지 않으면서 조용히 구현될 수 있다. 이러한 방식에서, 유저의 의도는 어휘에 기초한 통신을 표현하기 위해 사용할 수 있다. 이러한 어휘는, 유저에게 또는 그룹에 또는 일반적인 모집단에 고유할 수 있다.
하기의(그리고 몇몇 경우에 앞선) 본문(text)은 가출원(2016년 12월 2일자로 출원된 미국 특허 출원 제62/429,334호)로부터의 소정의 본문 또는 정보를 포함하는데, 본 출원은, 상기 가출원과 관련하여, 출원일의 우선권을 부여받게 된다. (전체 가출원은 참조에 의해 여기에서 통합된다.)
신경에서 전기 신호를 측정하는 능력은, 예를 들면, 근위축성 측색 경화증(Amyotrophic Lateral Sclerosis; ALS)을 가진 사람들을 돕는 다양한 용도를 가지는데, ALS는 자발적인 근육을 제어하는 뉴런이 퇴행하여 죽는 질병이다. 그것의 원인은, 비록 몇몇 사례가 유전에 기인하지만, 완전히 알려지지 않았거나 또는 이해되지 않고 있다. ALS를 가진 사람은, 뉴런이 소실되고 근육이 위축되어, 근육 경직, 경련, 떨림, 및 약화를 경험할 것이다. 통신은 어려워지게 된다. 결국, 사람은 말하기, 먹기, 및 심지어 호흡에 필요한 근육 제어를 상실할 수도 있다.
표면 근전도 검사(Surface Electromyography; sEMG)는, 근육 위에 있는 피부 표면 상에 배치되는 센서(전극)를 사용하여 근육에서의 전기 활동을 측정하는 근전도 검사의 한 형태이다. 두 개 이상의 이러한 전극은, 별개의 전극 사이의 전위(전압) 차이를 측정하기 위해 사용될 수 있다. 이들 전극을 사용하여, 근전계(electromyograph)는 신경(또는 전기) 신호에 의해 활성화될 때 근육 세포에 의해 생성되는 전위를 검출할 수 있다. sEMG는, 피하 센서(subcutaneous sensor)를 필요로 하는 다른 형태의 근전도 검사보다 덜 침습적이다.
신경 전도(electroneurogram: ENG)는, 뉴런 조직 안으로 배치되는 전극으로부터 직접적으로 획득되는 전기 신호에 기초하여 뉴런의 전기 활동의 시각화를 제공한다. 전극에 의해 제공되는 전기 신호는, 빠르게 상승하고 떨어지는 전위인 활동 전위를 포착한다. 예를 들면, 뇌가 신경을 통해 근육 부근의 뉴런으로 신호를 전송하는 경우, 신호는 통상적으로 활동 전위의 형태를 취한다.
눈 시선(eye gaze)을 추적하는 것과 같은, 근위축성 측색 경화증(ALS)을 가진 사람이 다른 사람과 의사 소통하는 것을 돕기 위한 몇몇 기본적인 솔루션이 존재하지만, 그러나 이들 솔루션은 사용하기에 어렵고 심신을 지치게 할 수 있다. 예를 들면, ALS를 가진 사람들 중 약 10 %만이 눈 시선 방법을 원활하게 사용할 수 있다. 본원에서 설명하는 바와 같이, 휠체어, 원격 제어 도어, 엔터테인먼트 시스템(예를 들면, 라디오 및 텔레비전), 및 컴퓨터 시스템과 같은 전기 기기를 제어하기 위해 표면 근전도 검사(sEMG)가 사용될 수 있다. 이 새로운 레벨의 제어는, 현존하는 기술보다 의사 소통을 더욱 효과적이고 효율적으로 용이하게 할 수 있고 ALS를 가진 사람에 대한 전반적인 삶의 질을 향상시킬 것이다.
건강한 근육을 가진 사람은, 약 1 내지 2 밀리볼트(즉, 0.001 내지 0.002 볼트)의 표면 근전도 검사(sEMG) 측정 가능 신호를 갖는다. 근위축성 측색 경화증(ALS)을 가진 사람들은 손상된 신경 및 위축된 근육을 가질 수 있고, 그 결과, 그들의 측정 가능한 신호의 강도는, 건강한 근육을 가진 사람보다 이백 배 더 작은, 5 내지 10 마이크로볼트 범위 내에 있을 수 있다. sEMG, 예를 들면 보철 제어를 사용하는 현존하는 기술은, 밀리볼트 범위 내에 있는 건강한 근육 및 신경 신호를 필요로 한다. 따라서, 이들 기술은 ALS를 가진 사람들에게는 잘 전달되지 않는다. 그러나, ALS를 가진 사람이 움직일 능력이 없다고 하더라도, 그들의 전완, 다리, 및 턱에 있는 나머지 신경은, sEMG로 검출될 수 있는 전기 신호를 여전히 생성할 수도 있다.
본원에서 설명하는 바와 같이, sEMG 센서는, 사람의 신경 및 근육 신호를 검출하기 위해 사용되며, 전자 디바이스, 예를 들면, 컴퓨터 및 컴퓨터 제어 기기와 인터페이싱하기 위해 사용된다. 구성은, 유저 능력 및 선호도의 범위를 수용하도록 커스터마이징 가능하고 모듈식이다. 근전도 검사 활성화는 고통스럽지 않고, 움직임을 필요로 하지 않으며, ALS 진행에 적응 가능하다. 육체적 정신적 긴장으로 인해 ALS를 가진 사람들 중 10 % 미만이 사용하는 눈 시선과 비교하여, 이들 시스템은, 전신에 운동 능력이 거의 또는 전혀 없는 사람들을 위해 설계되었다. 또한, 몇몇 구현예가 유저에 의한 어떠한 신체적 움직임 또는 제스쳐도 요구하지 않기 때문에, ALS를 가진 유저는, 그들이 완전히 움직이지 못하게 되더라도, 이들 솔루션을 사용할 수 있다.
도 1은, sEMG 센서(140)와 통신하는 그리고 동작 환경(100)에서 클라이언트 디바이스(120)와 인터페이싱하는 예시적인 센서 허브(130)의 다이어그램이다. 동작 환경(100)의 대략적인 개요에서, 유저(122)는 하나 이상의 센서(140)를 착용한다. 각각의 센서(140)는 하나 이상의 전극 패치(patch)(142) 및 송신기(146)를 포함한다. 센서 송신기(146)는 센서 허브(130)에 데이터를 송신한다. 센서 허브(130)는 센서(140)로부터 송신되는 데이터를 수신하기 위한 수신기(136)를 포함한다. 센서 허브(130)는, 클라이언트 인터페이스(132), 분석 인터페이스(135), 센서 컨트롤러(137), 및 메모리(138)를 포함한다. 센서 허브(130)는, 수신된 데이터를 증폭 및 필터링하는 것에 의해 센서(140)로부터 수신되는 데이터를 프로세싱하는 프로세싱 스택(170)을 포함한다. 예시된 프로세싱 스택(170)은, 전치 증폭기(172), 필터(174) 및 이득 증폭기(176)를 포함한다. 센서 허브(130)는 클라이언트 인터페이스(132)를 통해 클라이언트 디바이스(120)와 상호 작용한다. 몇몇 구현예에서, 센서 허브(130)는 분석 인터페이스(135)를 통해 분석 서버(150)에 데이터를 전송한다. 분석 인터페이스(135)는 네트워크(110)를 통해 분석 서버(150)와 데이터를 교환한다. 몇몇 구현예에서, 클라이언트 인터페이스(132)는 또한 네트워크(110)를 통해 클라이언트 디바이스(120)와 데이터를 교환한다.
도 1을 더욱 상세하게 참조하면, 각각의 sEMG 센서(140)는 하나 이상의 전극 패치(142) 및 송신기(146)를 포함한다. 센서(140)는 재충전 가능 배터리(도시되지 않음)와 같은 전원을 또한 포함한다. sEMG 센서(140)는, 사람(예를 들면, ALS를 가진 사람)의 신경 활성화를 검출하고, 센서 허브(130)에 데이터(예를 들면, 신경 활성화의 레벨을 나타내는 신호)를 제공한다. 몇몇 구현예에서, 센서 허브(130)는 클라이언트 디바이스(120)에 통합되고, 그 결과, 센서(140)는 이 데이터를 클라이언트 디바이스(120)에 직접적으로 제공한다. 몇몇 구현예에서, 다수의 sEMG 센서(140)는, 예를 들면, 예컨대, 전완의 상부, 전완의 중간, 및 전완의 저부에서 신경 경로를 따라, 사람에게 배치될 수도 있다. 몇몇 구현예에서, 신경 경로를 따라 배치되는 sEMG 센서(140)는, 시간적으로 약간 상이한 순간에 동일한 활성화 이벤트를 검출하고; 몇몇 이러한 구현예에서, 데이터는, 신호가 일치하도록 신호를 정렬하기 위해 시간 시프트된다. 이것은 노이즈 레벨 위로 활성화 신호를 증가시키는 데 도움이 될 수 있다.
각각의 sEMG 센서(140)는, 피부 상에 직접적으로 배치되는 또는 피부에 매우 가깝게 배치되는, 예를 들면, 박막 또는 패브릭(예를 들면, 전도성 패브릭)의 층만큼만 분리되어 배치되는 전극의 전극 패치(142)를 포함한다. 몇몇 구현예에서, 센서(140)는 수 시간, 수 일, 수 주, 또는 수 개월 동안 유저(122)에게 부착되도록 설계되는 교체 가능한 패드이다. 몇몇 구현예에서, 센서(140)는 의류 속에 쉽게 피팅된다. 몇몇 구현예에서, 센서(140)는 착용 가능한 아이템인데, 이 경우, 컴포넌트(예를 들면, 전극 패치(142) 및 송신기(146))는 스트랩, 팔 밴드, 시계 밴드, 땀 밴드(sweat band), 머리띠, 셔츠, 반바지, 양말, 또는 신체 상에 착용될 수 있는 다른 아이템 속에 패키징된다. 몇몇 구현예에서, 착용 가능 센서(140)는 종일("24/7") 착용성을 위해 설계된다. 착용 가능한 센서(140)는, 침대에서의, 휠체어에서의, 옥외에서의, 차량에서의, 및 등등에서의 사용을 위해 설계될 수도 있다. 몇몇 구현예에서, 침대에서 사용하기 위해 설계되는 착용 가능한 센서(140)는, 수면 동안 비상 알람으로서 소용될 수 있다. 전극 패치(142)는, 유저(122)의 피부와 직접적으로 접촉하게, 또는 피부와 거의 직접적으로 접촉하게, 예를 들면, 박막 또는 패브릭의 층만큼 피부로부터 분리되게 전극을 배치하도록 sEMG 센서(140) 하우징에 의해 배향된다. 각각의 sEMG 센서(140)는 하나 이상의 전극 패치(142)를 포함하고, 각각의 전극 패치(142)는 하나 이상의 전극을 포함한다. 전위(전압)의 차이를 측정하기 위해서는, 적어도 두 개의 전극이 필요하다. 의료용 전극이 사용된다. 몇몇 구현예에서, 전극은 5일 또는 그 이상 동안 사용될 수 있다. 몇몇 구현예에서, 전극 패치(142)는, 송신기(146) 또는 센서(140)의 다른 컴포넌트를 폐기하지 않으면서 센서(140)에서 교체될 수 있다.
몇몇 구현예에서, 각각의 sEMG 센서(140)는, 온도계, 가속도계, 자이로스코프, 기압계, 및 수분 또는 습도 센서와 같은 추가적인 상황 및 환경 모니터링 엘리먼트를 포함한다. 이러한 엘리먼트로부터의 정보는, 전극 패치(142)로부터의 sEMG 정보를 참조하여 설명된 것과 동일한 방식으로 센서 허브(130)로 송신된다. 상황 및 환경 모니터링 정보는 신경 활성화 신호에 대한 신호 노이즈를 구별하기 위해 사용될 수 있다. 온도 시프트, 습도 시프트, 우연한 이동, 및 다른 이러한 상황 또는 환경 변화는, 예를 들면, 센서(140)로부터의 정보가 센서 허브(130)에서 핸들링되는 방법을 조정하는 것에 의해 수용될 수도 있다.
각각의 sEMG 센서(140)는 데이터를 센서 허브(130)에 송신하기 위한 송신기(146)를 포함한다. 몇몇 구현예에서, 송신기(146)는 전극 패치(142) 내의 전극으로부터 측정되는 전위(전압) 차를 나타내는 아날로그 신호를 송신한다. 몇몇 구현예에서, 아날로그 신호는 증폭된다. 몇몇 구현예에서, 아날로그 신호는 미리 구성된 무선 주파수의 주파수 변조 또는 진폭 변조를 사용하여 브로드캐스팅된다. 몇몇 구현예에서, 송신기는, 예를 들면, 아날로그 대 디지털(analog to digital; ATD) 컨버터를 사용하여 아날로그 신호를 디지털 신호로 인코딩한다. 몇몇 그러한 구현예에서, 디지털 신호는, 예를 들면, ANT+(앤트플러스), BLUETOOTH(블루투스) 또는 ZIGBEE(지그비)와 같은 개인 영역 네트워크(personal area network; PAN) 프로토콜을 사용하여 패킷 형태로 송신기(146)에 의해 송신된다. 비록 도 1에서 무선으로 예시되지만, 몇몇 구현예에서, sEMG 센서(140)는 무선에 의해 센서 허브(130)와 통신하지 않고, 대신, 유선 연결을 통해 센서 허브(130)에 데이터를 송신하도록 구성된다.
센서 허브(130)는 수신기(136)를 포함한다. 수신기(136)는 센서(140)로부터 송신되는 데이터를 수신하기 위한 전기 회로이다. 몇몇 구현예에서, 수신기(136)는 무선 수신기이다. 몇몇 구현예에서, 수신기(136)는 ANT+(앤트플러스), BLUETOOTH(블루투스) 또는 ZIGBEE(지그비)와 같은 개인 영역 네트워크(PAN) 프로토콜을 구현한다. 몇몇 구현예에서, 수신기(136)는 다수의 센서 송신기(146)로부터 신호를 동시에 수신하도록 구성된다. 몇몇 구현예에서, 수신기(136)는, 시분할 멀티플렉싱 접근법을 사용하여 다수의 센서 송신기(146)로부터 신호를 수신하도록 구성된다. 몇몇 구현예에서, 센서 허브(130)는 다수의 수신기(136)를 포함한다.
센서 허브(130)는, 센서(140)로부터 수신기(136)에 의해 수신되는 데이터를 프로세싱하는 프로세싱 스택(170)을 포함한다. 프로세싱 스택(170)은 수신된 데이터를 증폭 및 필터링한다. 예시된 프로세싱 스택(170)은, 전치 증폭기(172)("pre-amp"), 필터(174) 및 이득 증폭기(176)("gain-amp")를 포함한다. 몇몇 구현예에서, 전치 증폭기(172)는 프로그래밍 가능한 연산 고이득 전자 전압 증폭기(operational high-gain electronic voltage amplifier)("op-amp") 전치 증폭기이다. 몇몇 구현예에서, 전치 증폭기(172)의 유한 대역폭은, ALS를 가진 사람의 신경 활성화 신호 레벨에 고유한 대역폭을 강조하도록 구성된다(몇몇 구현예에서, 이것은 ALS를 갖는 사람의 평균 범위이며; 몇몇 구현예에서, 이것은 특정한 개인, 예를 들면, ALS 환자에게 맞춰진다). 몇몇 구현예에서, 전치 증폭기(172)는 노이즈 플로어 위의 임계치를 동적으로 선택할 수 있다. 그 다음, 전치 증폭기(172)로부터의 증폭된 신호는 하나 이상의 필터(174)를 통과한다.
필터(174)는, 일반적인 전자 노이즈로부터, 센서(140)로부터의 입력 신호의 분리를 향상시키기 위해 사용되는 신호 프로세싱 필터이다. 몇몇 구현예에서, 필터(174)는 아날로그 필터(예를 들면, RLC 필터)이고; 몇몇 구현예에서, 필터(174)는 디지털 필터이다. 몇몇 구현예에서, 필터(174)는 노이즈 플로어 아래의 신호를 감쇠시키는 고역 통과 필터이다. 몇몇 구현예에서, 필터(174)는 특정한 신호 범위로 조정되는 대역 통과 필터이다. 몇몇 구현예에서, 필터(174)는, ALS를 가진 사람의 신경 활성화 신호 레벨에 고유한 범위 아래의 및/또는 위의 신호를 감쇠시키도록 구성된다(몇몇 구현예에서, 이것은 ALS를 가진 사람들에 대한 평균 범위이고; 몇몇 구현예에서, 이것은 특정한 개인, 예를 들면, ALS 환자에게 맞춰진다). 예를 들면, 디지털 고역 통과 필터 또는 디지털 대역 통과 필터는 이러한 방식으로 조정될 수 있다.
이득 증폭기(176)는 필터(174)로부터 수신되는 필터링된 신호의 강도를 증가시킨다. 몇몇 구현예에서, 이득 증폭기(176)는 생략된다. 몇몇 구현예에서, 프로세싱 스택(170)은, 이득 증폭기(176)로부터의(또는 바로 필터(174)로부터의) 아날로그 신호를 디지털 신호로 변환하는 아날로그 대 디지털(ATD) 컨버터를 포함한다.
몇몇 다른 구현예에서, 프로세싱 스택(170)의 일부 또는 모든 엘리먼트는 센서(146)에서 패키징되고, 그로부터의 출력은 수신기(136)로 송신된다. 이러한 대안적인 구현예는 도 1에서 도시되지는 않지만, 그러나 본 개시의 범위 내에 있는 것으로 간주된다.
프로세싱 스택(170)은, 수신된 센서 입력을 증폭 및 필터링한 결과를, 클라이언트 인터페이스(132)를 통해 클라이언트 디바이스(120)로 제공한다. 몇몇 구현예에서, 클라이언트 인터페이스(132)는, 클라이언트 디바이스(120)에서 실행되는 제어 애플리케이션과 제어 메시지를 교환한다. 몇몇 이러한 구현예에서, 제어 애플리케이션은 센서 데이터를 해석하고 센서 데이터를 클라이언트 디바이스(120)에서의 제어 명령어로 변환한다. 몇몇 구현예에서, 클라이언트 인터페이스(132)는 센서 데이터를 해석하고 센서 데이터를 센서 허브(130)에서의 제어 명령어로 변환한다. 그 다음, 명령어는, 예를 들면, 물리적 또는 무선 네트워크 링크를 통해, 센서 허브(130)에 의해 클라이언트 디바이스(120)로 전송된다.
센서 허브(130)는 클라이언트 인터페이스(132)를 통해 클라이언트 디바이스(120)와 상호 작용한다. 몇몇 구현예에서, 센서 허브(130)는 분석 인터페이스(135)를 통해 분석 서버(150)에 데이터를 전송한다. 분석 인터페이스(135)는 네트워크(110)를 통해 분석 서버(150)와 데이터를 교환한다. 몇몇 구현예에서, 클라이언트 인터페이스(132)는 또한 네트워크(110)를 통해 클라이언트 디바이스(120)와 데이터를 교환한다. 예를 들면, 몇몇 구현예에서, 클라이언트 인터페이스(132)는 클라이언트 디바이스(120)와 BLUETOOTH(블루투스) 통신 채널을 구현한다.
몇몇 구현예에서, 센서 허브(130)는 분석 정보, 예를 들면, 센서 기기 및 프로세싱 스택(170)의 튜닝을 개선하기 위해 사용될 수도 있는 정보를 수집한다. 분석 정보는 메모리(138)에 저장되고 그리고/또는 네트워크(110)를 통해 분석 서버(150)로 송신된다. 분석 정보는, 예를 들면, 일일 사용량, 다양한 신경 및 근육 활성화를 위한 신호의 강도, 및 유저 패턴(이것은 환자 개인 정보를 보호하기 위해 익명으로 될 수도 있음)에 대한 메트릭의 측정치를 포함할 수도 있다. 모든 정보는, 건강 보험 이전 및 책임에 관한 법(Health Insurance Portability and Accountability Act; HIPAA)에 따라 관리되며 환자 정보는 항상 보호된다. 몇몇 구현예에서, 분석 인터페이스(135)는, 예를 들면, TCP를 통해 계층화되는 커스텀 프로토콜을 사용하여, 네트워크(110)를 통해 분석 서버(150)와 메시지를 교환한다. 몇몇 구현예에서, 분석 서버(150)는 특정한 유저(122)와 관련되는 캘리브레이션 및 구성 정보를 저장한다. 이것은, 유저(122)가, 예를 들면, 진단 클리닉에서, 가정에서, 병원에서, 그리고 다른 치료 센터에서 다수의 구현예를 사용하는 동안, 동일한 캘리브레이션 및 구성 정보를 사용하는 것을 허용한다. 몇몇 구현예에서, 분석 인터페이스(135)는 분석 서버(150)로부터 업데이트를 수신한다. 업데이트는, 예를 들면, 프로세싱 스택(170)의 튜닝 엘리먼트에 대한 개선을 포함할 수도 있다. 이것은, 각각의 센서 허브(130)가, ALS를 가진 다양한 사람들에 배치되는 sEMG 센서(140)로부터의 데이터의 총계적 분석(aggregate analysis)으로부터 이익을 얻는 것을 허용한다.
여전히 도 1을 참조하면, 메모리(138)는 센서 허브(130) 내에서 데이터를 지속시키기 위한 데이터 스토리지를 제공한다. 메모리(138)는 하나 이상의 데이터 스토리지 디바이스를 사용하여 구현될 수도 있다. 데이터 스토리지 디바이스는, 컴퓨터 판독 가능 데이터를 저장하기에 적절한 임의의 메모리 디바이스일 수도 있다. 데이터 스토리지 디바이스는, 고정된 스토리지를 갖는 디바이스 또는 착탈식 저장 매체를 판독하기 위한 디바이스를 포함할 수도 있다. 예는, 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스, 반도체 메모리 디바이스(예를 들면, EPROM, EEPROM, SDRAM 및 플래시 메모리 디바이스), 자기 디스크, 광 자기 디스크, 및 광학 디스크(예를 들면, CD ROM, DVD-ROM 또는 BLU-RAY 디스크)를 포함한다. 적절한 데이터 스토리지 디바이스의 예시적인 구현예는, 스토리지 영역 네트워크(Storage Area Network; SAN), 네트워크 결합 스토리지(Network Attached Storage; NAS), 및 중복 스토리지 어레이(redundant storage array)를 포함한다.
네트워크(110)는, 네트워크 연결된 디바이스 사이의 통신을 가능하게 한다. 몇몇 구현예에서, 데이터는, 예를 들면, 개방형 시스템 간 상호 접속(Open Systems Interconnection; OSI) 레이어에 따른 데이터 패킷의 형태로, 데이터 패킷의 흐름으로서 소스 노드로부터 목적지 노드로 네트워크(110)를 통해 흐른다. 패킷의 흐름은, 예를 들면, 인터넷 프로토콜(IP), 예를 들면, IPv4 또는 IPv6과 같은 OSI 레이어 3 네트워크 프로토콜 위에 계층화되는 네트워크(110)를 통해 송신되는 유저 데이터그램 프로토콜(User Datagram Protocol; UDP), 전송 제어 프로토콜(Transmission Control Protocol; TCP) 또는 스트림 제어 전송 프로토콜(Stream Control Transmission Protocol; SCTP)과 같은 OSI 레이어 4 전송 프로토콜을 사용할 수도 있다. 네트워크(110)는, 참여 디바이스 사이에 하나 이상의 통신 경로를 형성하기 위해 함께 연결되는 다양한 네트워크 디바이스로 구성된다. 각각의 네트워크화된 디바이스는, 데이터를, 통상적으로 하나 이상의 데이터 패킷으로서, 수신 및/또는 송신하기 위한 적어도 하나의 네트워크 인터페이스를 포함한다. 예시적인 네트워크(110)는 인터넷이다; 그러나, 다른 네트워크가 사용될 수도 있다. 네트워크(110)는 다수의 연결된 서브 네트워크로 구성될 수도 있다. 네트워크(110)는, 회사 인트라넷과 같은 근거리 통신망(local-area network; LAN), 도시권 통신망(Metropolitan Area Network; MAN), 광역 통신망(Wide Area Network; WAN), 인터넷과 같은 인터 네트워크, 또는 피어 투 피어(peer-to-peer) 네트워크, 예를 들면, 애드 혹(ad hoc) 와이파이(WiFi) 피어 투 피어 네트워크일 수 있다. 네트워크(110) 내의 디바이스 사이의 데이터 링크는, 유선 링크(예를 들면, 광섬유, 메시, 동축, Cat-5 또는 Cat-6과 같은 연선(twisted-pair), 등등) 및/또는 무선 링크(예를 들면, 무선(radio), 위성, 마이크로파, 등등)의 임의의 조합일 수도 있다. 네트워크(110)는 이동 통신 디바이스용 캐리어 네트워크, 예를 들면, 무선 통신 프로토콜을 구현하는 네트워크 예컨대 이동 통신용 글로벌 시스템(Global System for Mobile Communications; GSM), 코드 분할 다중 액세스(Code Division Multiple Access; CDMA), 시분할 동기 코드 분할 다중 액세스(Time Division Synchronous Code Division Multiple Access' TD SCDMA), 롱 텀 에볼루션(Long-Term Evolution; LTE), 또는, 소위 세대 "3G," "4G," 및 "5G" 프로토콜을 포함하는, 그러나 이들로 제한되지는 않는 임의의 다른 이러한 프로토콜을 포함할 수도 있다. 네트워크는, 예를 들면, 때로는 개인 영역 네트워크(PAN) 또는 메쉬 네트워크로 칭해지는, Wi-Fi(와이파이), ANT+(앤트플러스), BLUETOOTH(블루투스) 또는 ZIGBEE(지그비)를 통한 단거리 무선 링크를 포함할 수도 있다. 네트워크(110)는, 공개, 비공개, 또는 공개 및 비공개 네트워크의 조합일 수도 있다. 네트워크(110)는, 임의의 타입 및/또는 형태의 데이터 네트워크 및/또는 통신 네트워크일 수도 있다.
예시적인 클라이언트 디바이스(120)는, 애플리케이션을 실행하고, 출력을 유저에게 제시하며, 유저로부터 입력을 수신하는 컴퓨팅 시스템, 또는 프로세서 기반의 디바이스이다. 클라이언트 디바이스(120)는, 예를 들면, 직접 유선 링크를 통해, (예를 들면, PAN 상에서) 무선 링크를 통해, 적외선 링크를 통해, 네트워크(110)를 통해, 또는 다른 통신 수단을 통해, 센서 허브(130)로부터 정보를 수신할 수 있다. 몇몇 구현예에서, 클라이언트 디바이스(120)는 센서 허브(130)에 의해 제어될 수 있다. 클라이언트 디바이스(120)는, 예를 들면, 데스크탑 컴퓨터, 랩탑 또는 노트패드 컴퓨터, 태블릿 또는 전자 패드와 같은 모바일 디바이스, 개인 휴대형 정보 단말(personal digital assistant), 스마트 폰, 비디오 폰, 또는 라디오, 텔레비전, 또는 임의의 다른 이러한 디바이스와 같은 엔터테인먼트 디바이스를 비롯한, 임의의 종류의 컴퓨팅 디바이스일 수도 있다. 클라이언트 디바이스(120)는, 휠체어, 원격 제어 도어, 등등과 같은 로봇 디바이스일 수도 있다. 몇몇 구현예에서, 클라이언트 디바이스(120)는, 데이터 입력 및 데이터 제시를 용이하게 하기 위한 하나 이상의 하드웨어 엘리먼트, 예를 들면, 키보드, 디스플레이, 터치 스크린, 마이크, 스피커, 및/또는 햅틱 피드백 디바이스를 포함한다. 몇몇 구현예에서, 클라이언트 디바이스(120)는 특수 목적 논리 회로부, 예를 들면, 주문형 반도체(application specific integrated circuit; ASIC)를 사용하여 구현된다. 몇몇 구현예에서, 클라이언트 디바이스(120)는, 적어도 하나의 프로세서(또는 마이크로프로세서) 코어를 포함하는 시스템 온 칩(system on a chip; SoC) 반도체 디바이스를 사용하여 구현된다. 몇몇 구현예에서, 클라이언트 디바이스(120)는 범용 컴퓨팅 프로세서를 사용하여 구현된다. 하기에서 더 상세하게 설명되는 도 8은, 몇몇 구성에서, 클라이언트 디바이스(120)로서 사용하기에 적절한 컴퓨팅 디바이스를 예시한다.
도 2는, sEMG 센서를 모니터링하는 예시적인 방법(200)에 대한 플로우차트이다. 이 설명은 단일의 센서를 언급하지만, 그러나, 센서의 그룹 또는 세트를 비롯한, 하나 이상의 센서에 적용 가능하다. 이 설명은, 모든 모니터링 및 제어 작업을 센서 컨트롤러(137)에 할당한다; 그러나, 몇몇 구현예에서, 이들 작업의 일부 또는 모두는, 클라이언트 인터페이스(132)에 의해 또는 센서 허브(130) 내의, 센서(140) 상의, 또는 심지어 클라이언트 디바이스(120)에 있는 어떤 다른 엘리먼트에 의해, 수행될 수도 있다. 대략적인 개요에서, 스테이지(210)에서, 센서 컨트롤러(137)는 센서(140)를 교정한다(calibrate). 캘리브레이션은, 예를 들면, 센서 노이즈를 측정하여 기준선을 확립하는 것에 의해 자동화될 수도 있다. 스테이지(220)에서, 센서 컨트롤러(137)는 신호에 대해 센서(140)를 모니터링하고, 스테이지(230)에서, 센서(140)로부터 신호를 검출한다. 센서가 다중 센서 세트의 일부인 경우(분기(240)), 스테이지(250)에서, 센서 컨트롤러(137)는 검출된 신호로부터의 센서 측정치를, 다중 센서 세트 내의 다른 센서로부터의 데이터에 비교한다. 진정한 신경 활성화 신호는, 세트 내의 다수의 센서에서, 다양한 강도 및 약간 상이한 시간(예를 들면, 센서를 통한 리플링(rippling))에 신호를 생성할 수도 있고, 그 결과, 집성 컨디션의 분석은, 진정한 신경 활성화 신호와 일반적인 시스템 노이즈 사이를 구별할 수 있게 된다. 스테이지(260)에서, 센서 컨트롤러(137)는, 검출된 신호가 액션 기준을 충족하는지를 결정한다. 예를 들면, 신호(또는 신호 세트)가 노이즈 임계치를 초과하는지 또는 시간의 최소 길이 동안 지속되는지의 여부를 결정한다. 만약 그렇다면, 스테이지(270)에서, 센서 컨트롤러(137)는 신호를 클라이언트 인터페이스(132)에 보고한다. 그 다음, 클라이언트 인터페이스(132)는, 클라이언트 디바이스(120)로 제어 메시지를 발행할 수 있거나, 또는 신호를 클라이언트 디바이스(120)로 보고할 수 있는데, 클라이언트 디바이스(120)는 그 다음, 적절한 액션을 결정할 수 있다.
도 2를 더욱 상세하게 참조하면, 스테이지(210)에서, 센서 컨트롤러(137)는 센서(140)를 교정한다. 캘리브레이션은, 예를 들면, 센서 노이즈를 측정하여 기준선을 확립하는 것에 의해 자동화될 수도 있다. 몇몇 구현예에서, 유저(122)는 센서(140)를 착용할 수도 있고, 수동인 상태를 유지하는 동안, 캘리브레이션 프로세스를 트리거할 수도 있다(또는 보조 트리거를 가질 수도 있다). 센서(140)는, 기준 수동 상태에 관한 정보, 예를 들면, sEMG 레벨 및 상황에 맞는 노이즈 정보를 수집한다. 몇몇 구현예에서, 캘리브레이션은 완전 자동이다. 몇몇 구현예에서, 캘리브레이션은 수동 조정 또는 구성을 포함한다. 예를 들면, 유저(122)는 다양한 신경을 활성화할 것을 요청받을 수도 있고, 센서(140)는 신경 활성화를 검출하는 데 필요한 감도에 기초하여 추가로 교정될 수 있다. 몇몇 구현예에서, 캘리브레이션은 때때로 또는 주기적으로 반복된다.
스테이지(220)에서, 센서 컨트롤러(137)는 신호에 대해 센서(140)를 모니터링한다. 몇몇 구현예에서, 센서(140)는 센서 상태 정보를 일정하게(또는 주기적으로) 보고하고 있다. 센서 허브(130)는 센서(140)로부터 이러한 상태 정보를 수신하고 실행 가능한 컨디션(actionable condition)에 대해서 그것을 모니터링한다.
스테이지(230)에서, 센서 컨트롤러(137)는 센서(140)로부터 신호를 검출한다. 기준선을 초과하는 신호가 센서(140)로부터 도달되는 경우, 센서 컨트롤러(137)는 그 신호를 간헐적인 노이즈 또는 실행 가능한 신호(actionable signal)로서 분류하려고 시도한다.
센서가 다중 센서 세트의 일부인 경우(분기(240)), 스테이지(250)에서, 센서 컨트롤러(137)는 검출된 신호로부터의 센서 측정치를, 다중 센서 세트 내의 다른 센서로부터의 데이터에 비교한다. 진정한 신경 활성화 신호는, 세트 내의 다수의 센서에서, 다양한 강도 및 약간 상이한 시간(예를 들면, 센서를 통한 리플링(rippling))에 신호를 생성할 수도 있고, 그 결과, 집성 컨디션의 분석은, 진정한 신경 활성화 신호와 일반적인 시스템 노이즈 사이를 구별할 수 있게 된다.
스테이지(260)에서, 센서 컨트롤러(137)는, 검출된 신호가 액션 기준을 충족하는지를 결정한다. 예를 들면, 신호(또는 신호 세트)가 노이즈 임계치를 초과하는지 또는 시간의 최소 길이 동안 지속되는지의 여부를 결정한다.
검출된 신호가 액션 기준을 충족한다는 것을 센서 컨트롤러(137)가 결정하면, 스테이지(270)에서, 센서 컨트롤러(137)는 신호를 클라이언트 인터페이스(132)에 보고한다. 그 다음, 클라이언트 인터페이스(132)는, 클라이언트 디바이스(120)로 제어 메시지를 발행할 수 있거나, 또는 신호를 클라이언트 디바이스(120)로 보고할 수 있는데, 클라이언트 디바이스(120)는 그 다음, 적절한 액션을 결정할 수 있다.
도 3a, 도 3b, 및 도 3c는, 센서 모니터 및 인터페이스의 예시적인 구현예에 대한 스크린 이미지이다. 도 3a, 도 3b, 및 도 3c에서 도시되는 상호 작용에 대한 플로우차트는 하기에서 더욱 상세하게 설명된다.
대략적인 개요에서, 도 3a는 포인터 또는 마우스 기반의 상호 작용을 사용한 아이콘의 선택을 묘사한다. 설명하겠지만, 수직 바(310) 및 수평 바(320)는 반복된 입력 신호에 의해 조작된다. 수직 바(310)는 디스플레이의 X 축 상의 선택된 좌표를 통과하고 수평 바(320)는 디스플레이의 Y 축 상의 선택된 좌표를 통과한다. 수직 바(310) 및 수평 바(320)는 선택된 X 및 Y 좌표에서 교차하도록 조작된다. 예를 들면, 도 5를 참조하여 하기에서 설명하는 바와 같이, 수직 바(310)는 수평 스캔에서 수평으로 이동할 수 있고, 수평 바(320)는 수직 스캔에서 수직으로 이동할 수 있다. 그러면, 결과적으로 나타나는 [X, Y] 교차점에 있는 아이콘(330)은, 예를 들면, 대응하는 애플리케이션을 열기 위해 선택될 수 있다.
도 3b는, 가상 키보드(350)를 사용한 입력 필드(340)에 대한 텍스트 입력을 묘사한다. 몇몇 구현예에서, 가상 키보드(350)는 숫자 또는 전화 키 레이아웃을 재현한다. 몇몇 구현예에서, 가상 키보드(350)는 방향 화살표의 세트이다. 몇몇 구현예에서, 가상 키보드(350)는 표준 "QWERTY(쿼티)" 키보드 레이아웃의 재현이다. 몇몇 구현예에서, 가상 키보드(350)는 알파벳 레이아웃을 사용한다. 몇몇 구현예에서, 가상 키보드(350)는 Dvorak(드보락) 또는 Colemak(콜맥)과 같은 대안적 레이아웃을 사용한다. 몇몇 구현예에서, 가상 키보드(350)는 완전히 커스터마이징 가능하고, 그 결과, 유저 또는 조작자는 특정한 유저 또는 사용 시나리오를 위해 가상 키보드(350)를 구성할 수 있다. 몇몇 구현예에서, 가상 키보드(350)는 커스텀 매크로 또는 문자 세트를 위한 버튼을 포함한다. 예를 들면, 이모티콘, 공통 이모티콘, 또는 워드 제안을 위한 버튼이 가상 키보드(350)에서 제시될 수도 있다. 몇몇 구현예에서, 가상 키보드는, 워드 완성 예측, 다음 워드 예측, 및/또는 빈번하게 사용된 워드 또는 어구로 채워지는 예측 버튼을 포함한다.
도 3c는, 키 선택 프로세스 동안 강조 표시되는(highlighted) (가상 키보드(350)로부터의) 가상 키(360)의 행을 묘사한다. 차트(370)는, 가상 키(360)의 행으로부터 선택하기 위해 사용 중인 센서(또는 센서의 세트)에 대한 신호 강도의 시각화를 제공한다. 도 3a, 도 3b, 및 도 3c에서 묘사되는 예시적인 구현예에 대한 스크린 이미지는 다음의 플로우차트 설명에서 참조된다. 도 3a, 도 3b, 및 도 3c에서 도시되는 예는, 많은 가능한 구현예 중 단지 하나로부터 유래하며, 제한하도록 의도되는 것은 아니다.
도 4는 sEMG 센서를 사용하여 매트릭스 필드를 선택하는 예시적인 방법(400)에 대한 플로우차트이다. 이 설명은 단일의 센서를 언급하지만, 그러나, 센서의 그룹 또는 세트를 비롯한, 하나 이상의 센서에 적용 가능하다. 이 설명은 모든 작업을 클라이언트 인터페이스(132)에 할당한다; 그러나, 몇몇 구현예에서, 이들 작업의 일부 또는 모두는, 센서 허브(130) 내의, 센서(140) 상의, 또는 심지어 클라이언트 디바이스(120)에 있는 몇몇 다른 엘리먼트에 의해 수행될 수도 있다. 방법(400)은 임의의 매트릭스로부터 선택하기 위해 사용될 수도 있다. 예를 들면, 가상 키보드(예컨대, 도 3b에서 도시되는 가상 키보드(350)) 상의 키는 방법(400)을 사용하여 선택될 수 있다. 도 4의 이 설명은, 매트릭스의 열을 스캐닝하기 이전에, 매트릭스의 행을 스캔한다. 몇몇 구현예에서, 매트릭스의 열은, 매트릭스의 행 이전에 스캔된다. 몇몇 구현예에서, 센서의 제1 세트가 행을 스캔하기 위해 사용되고 센서의 별개의 세트가 열을 스캔하기 위해 사용된다; 센서의 어떤 세트가 트리거되는지는, 매트릭스의 행이 스캔되는지 또는 매트릭스의 열이 스캔되는지의 여부를 결정한다. 예를 들면, 도 7 및 하기의 대응하는 설명을 참조한다. 이들 구현 변동예 및 다른 것은 본 개시의 범위 내에 있다.
도 4의 대략적인 개요에서, 스테이지(410)에서, 클라이언트 인터페이스(132)는 초기화 기능을 수행하여 입력 선택을 준비한다. 예를 들면, 클라이언트 인터페이스(132)는 센서 재캘리브레이션(recalibration)을 요청할 수도 있고, (예를 들면, 클라이언트 디바이스(120)에 있는) 프리젠테이션 스크린 상에서 선택 매트릭스(예를 들면, 가상 키보드)를 제시할 수도 있고, 선택 센서를 모니터링하기 시작할 수도 있다. 스테이지(420)에서, 클라이언트 인터페이스(132)는 센서(140)로부터 신호의 통지를 수신하고 그 신호가 액션을 취하기에 충분한지를 결정한다(예를 들면, 도 2에서 예시되는 방법(200) 참조). 그렇지 않다면(예를 들면, 신호가 너무 짧다면), 클라이언트 인터페이스(132)는 초기화 스테이지(410)로 복귀하여 다른 신호를 대기한다.
그렇지 않고, 신호가 실행 가능하면, 스테이지(430)에서, 클라이언트 인터페이스(132)는 선택 매트릭스의 행을 스캐닝하기 시작한다. 클라이언트 인터페이스(132)는, 중지하도록 신호를 받을 때까지, 선택 매트릭스의 행을 계속 스캔한다. 스테이지(430)에서 스캐닝되는 마지막 행은 선택된 행으로서 식별된다. 스테이지(440)에서, 클라이언트 인터페이스(132)는 센서(140)로부터 신호의 통지를 수신하고 그 신호가 다음 액션으로 전이하기에 충분한지를 결정한다. 그렇지 않다면(예를 들면, 신호가 너무 짧다면), 클라이언트 인터페이스(132)는 초기화 스테이지(410)로 복귀하여 방법(400)을 재시작하고 다른 신호를 대기한다. 스테이지(440)에서, 클라이언트 인터페이스(132)는 또한, 시작 스테이지(430) 이후 너무 많은 시간이 경과하면, 스테이지(410)로 복귀할 것을 결정할 수도 있다. 스테이지(440)에서, 실행 가능한 신호가 수신되었다면, 스테이지(450)에서, 클라이언트 인터페이스(132)는 선택 매트릭스의 열을 스캐닝하기 시작한다. 클라이언트 인터페이스(132)는, 중지하도록 신호를 받을 때까지, 선택 매트릭스의 열을 계속 스캔한다. 스테이지(450)에서 스캐닝되는 마지막 열은 선택된 열로서 식별된다. 스테이지(460)에서, 클라이언트 인터페이스(132)는 센서(140)로부터 신호의 통지를 수신하고 그 신호가 다음 액션으로 전이하기에 충분한지를 결정한다. 그렇지 않다면(예를 들면, 신호가 너무 짧다면), 클라이언트 인터페이스(132)는 스테이지(430)에서 행을 스캐닝하는 것 및 다른 신호를 대기하는 것으로 복귀한다. 스테이지(460)에서, 클라이언트 인터페이스(132)는 또한, 시작 스테이지(450) 이후 너무 많은 시간이 경과하면, 스테이지(430)로 복귀할 것을 결정할 수도 있다. 스테이지(460)에서, 실행 가능한 신호가 수신되었다면, 스테이지(470)에서, 클라이언트 인터페이스(132)는 스테이지(430)에서 식별되는 행과 스테이지(450)에서 식별되는 열의 교차점에 있는 매트릭스 엘리먼트를 선택한다.
도 4를 더욱 상세하게 참조하면, 스테이지(410)에서, 클라이언트 인터페이스(132)는 초기화 기능을 수행하여 입력 선택에 대한 준비를 한다. 예를 들면, 클라이언트 인터페이스(132)는 센서 재캘리브레이션을 요청할 수도 있고, (예를 들면, 클라이언트 디바이스(120)에 있는) 프리젠테이션 스크린 상에서 선택 매트릭스(예를 들면, 가상 키보드)를 제시할 수도 있고, 선택 센서를 모니터링하기 시작할 수도 있다.
스테이지(420)에서, 클라이언트 인터페이스(132)는 센서(140)로부터 신호의 통지를 수신하고 그 신호가 액션을 취하기에 충분한지를 결정한다(예를 들면, 도 2에서 예시되는 방법(200) 참조). 그렇지 않다면(예를 들면, 신호가 너무 짧다면), 클라이언트 인터페이스(132)는 초기화 스테이지(410)로 복귀하여 다른 신호를 대기한다. 각각의 액션 시작을 위한, 그리고 각각의 액션 전환을 위한, 하나 이상의 센서로부터의 별개의 신호의 사용은, 유저(122)가, 선택 사이에서 쉬는 것을 허용한다. 몇몇 구현예에서, 타임아웃은, 특정한 유저(122)에 의한 필요에 따라 더 많은 또는 더 적은 휴식을 허용하도록 구성된다. 그러나, 몇몇 구현예에서, 유저(122)는 액션 동안 신호를 유지하도록 요청받을 수도 있는데, 예를 들면, 이벤트가 발생하는 동안 선택 신호를 유지할 수도 있다.
실행 가능한 신호가 스테이지(420)에서 수신되면, 스테이지(430)에서, 클라이언트 인터페이스(132)는 선택 매트릭스의 행을 스캐닝하기 시작한다. 클라이언트 인터페이스(132)는, 중지하도록 신호를 받을 때까지, 선택 매트릭스의 행을 계속 스캔한다. 스테이지(430)에서 스캐닝되는 마지막 행은 선택된 행으로서 식별된다. 예를 들면, 도 3c에서, 가상 키의 강조 표시된 행(360)이 선택되어 도시된다.
스테이지(440)에서, 클라이언트 인터페이스(132)는 센서(140)로부터 신호의 통지를 수신하고 그 신호가 다음 액션으로 전이하기에 충분한지를 결정한다. 그렇지 않다면(예를 들면, 신호가 너무 짧다면), 클라이언트 인터페이스(132)는 초기화 스테이지(410)로 복귀하여 방법(400)을 재시작하고 다른 신호를 대기한다. 스테이지(440)에서, 클라이언트 인터페이스(132)는 또한, 시작 스테이지(430) 이후 너무 많은 시간이 경과하면, 스테이지(410)로 복귀할 것을 결정할 수도 있다.
스테이지(440)에서, 실행 가능한 신호가 수신되었다면, 스테이지(450)에서, 클라이언트 인터페이스(132)는 선택 매트릭스의 열을 스캐닝하기 시작한다. 클라이언트 인터페이스(132)는, 중지하도록 신호를 받을 때까지, 선택 매트릭스의 열을 계속 스캔한다. 스테이지(450)에서 스캐닝되는 마지막 열은 선택된 열로서 식별된다. 스테이지(450)에서의 스캐닝은 스테이지(430)와 유사하다. 목적은, 그 다음 선택될 수 있는 행과 열 사이의 교차점을 식별하는 것이다. 예를 들면, 가상 키보드(350)에서 키를 식별한다.
스테이지(460)에서, 클라이언트 인터페이스(132)는 센서(140)로부터 신호의 통지를 수신하고 그 신호가 다음 액션으로 전이하기에 충분한지를 결정한다. 그렇지 않다면(예를 들면, 신호가 너무 짧다면), 클라이언트 인터페이스(132)는 스테이지(430)에서 행을 스캐닝하는 것 및 다른 신호를 대기하는 것으로 복귀한다. 스테이지(460)에서, 클라이언트 인터페이스(132)는 또한, 시작 스테이지(450) 이후 너무 많은 시간이 경과하면, 스테이지(430)로 복귀할 것을 결정할 수도 있다.
스테이지(460)에서, 실행 가능한 신호가 수신되었다면, 스테이지(470)에서, 클라이언트 인터페이스(132)는 스테이지(430)에서 식별되는 행과 스테이지(450)에서 식별되는 열의 교차점에 있는 매트릭스 엘리먼트를 선택한다. 예를 들면, 단일의 가상 키가 식별될 수도 있다(예를 들면, 단일의 키가 강조 표시되는 도 3b에서 도시되는 가상 키보드(350) 참조). 그 다음, 선택된 키는, 예를 들면, 텍스트 입력 필드(340)에서 대응하는 문자를 입력할 때 작동된다.
도 5는, sEMG 센서를 사용하여 포인터를 동작시키는 예시적인 방법(500)에 대한 플로우차트이다. 방법(500)은 도 4를 참조하여 설명되는 방법(400)과 유사하지만, 그러나, 선택 매트릭스가 디스플레이 상의 직교 좌표(Cartesian coordinate) 또는 라인에 의해 대체된다는 점에서 상이하다. 예를 들면, 도 3a에서 도시되는 바와 같이, 스캔 라인(310 및 320)은, 그래픽 유저 인터페이스(graphical user interface; GUI) 아이콘(330)과 같은 선택 가능한 엘리먼트 위에서 교차하도록 조작될 수 있다. 도 4의 설명과 같이, 도 5의 이 설명은 단일의 센서를 언급하지만, 그러나, 센서의 그룹 또는 세트를 비롯한, 하나 이상의 센서에 적용 가능하다. 이 설명은 모든 작업을 클라이언트 인터페이스(132)에 할당한다; 그러나, 몇몇 구현예에서, 이들 작업의 일부 또는 모두는, 센서 허브(130) 내의, 센서(140) 상의, 또는 심지어 클라이언트 디바이스(120)에 있는 몇몇 다른 엘리먼트에 의해 수행될 수도 있다. 방법(500)은, 수평 스캔을 사용하여 X 축 좌표를 식별하기 이전에, 수직 스캔을 사용하여 Y 축 좌표를 식별한다. 몇몇 구현예에서, 수평 스캔은 수직 스캔 이전에 수행된다. 몇몇 구현예에서, 센서의 제1 세트가 수직 스캔을 위해 사용되며, 센서의 별개의 세트가 수평 스캔을 위해 사용된다; 센서의 어떤 세트가 트리거되는지는, 수직 스캔이 수행되는지 또는 수평 스캔이 수행되는지의 여부를 결정한다. 예를 들면, 도 7 및 하기의 대응하는 설명을 참조한다. 이들 구현 변동예 및 다른 것은 본 개시의 범위 내에 있다.
도 5의 대략적인 개요에서, 스테이지(510)에서, 클라이언트 인터페이스(132)는 초기화 기능을 수행하여 포인터 또는 마우스 입력 선택에 대한 준비를 한다. 스테이지(520)에서, 클라이언트 인터페이스(132)는 센서(140)로부터 신호의 통지를 수신하고 그 신호가 액션을 취하기에 충분한지를 결정한다(예를 들면, 도 2에서 예시되는 방법(200) 참조). 그렇지 않다면(예를 들면, 신호가 너무 짧다면), 클라이언트 인터페이스(132)는 초기화 스테이지(510)로 복귀하여 다른 신호를 대기한다. 그렇지 않고, 신호가 실행 가능하다면, 스테이지(530)에서, 클라이언트 인터페이스(132)는 수직 스캔을 시작하여 Y 축 좌표를 식별한다. 클라이언트 인터페이스(132)는, 중지하도록 신호를 받을 때까지, 수직 스캔을 계속한다. 스테이지(540)에서, 클라이언트 인터페이스(132)는 센서(140)로부터 신호의 통지를 수신하고 그 신호가 다음 액션으로 전이하기에 충분한지를 결정한다. 그렇지 않다면(예를 들면, 신호가 너무 짧다면), 클라이언트 인터페이스(132)는 초기화 스테이지(510)로 복귀하여 방법(500)을 재시작하고 다른 신호를 대기한다. 스테이지(540)에서, 클라이언트 인터페이스(132)는 또한, 시작 스테이지(530) 이후 너무 많은 시간이 경과하면, 스테이지(510)로 복귀할 것을 결정할 수도 있다. 스테이지(540)에서, 실행 가능한 신호가 수신되었다면, 스테이지(550)에서, 클라이언트 인터페이스(132)는 수평 스캔을 시작하여 X 축 좌표를 식별한다. 클라이언트 인터페이스(132)는, 중지하도록 신호를 받을 때까지, 수평 스캔을 계속한다. 스테이지(560)에서, 클라이언트 인터페이스(132)는 센서(140)로부터 신호의 통지를 수신하고 그 신호가 다음 액션으로 전이하기에 충분한지를 결정한다. 그렇지 않다면(예를 들면, 신호가 너무 짧다면), 클라이언트 인터페이스(132)는 스테이지(530)의 수직 스캔으로 복귀하고 다른 신호를 대기한다. 스테이지(560)에서, 클라이언트 인터페이스(132)는 또한, 시작 스테이지(550) 이후 너무 많은 시간이 경과하면, 스테이지(530)로 복귀할 것을 결정할 수도 있다. 스테이지(560)에서, 실행 가능한 신호가 수신되었다면, 스테이지(570)에서, 클라이언트 인터페이스(132)는 스테이지(530)에서 식별되는 수직 및 스테이지(550)에서 식별되는 수평의 교차점을 식별하여 선택한다.
도 5를 더욱 상세하게 참조하면, 스테이지(510)에서, 클라이언트 인터페이스(132)는 초기화 기능을 수행하여 포인터 또는 마우스 입력 선택에 대한 준비를 한다. 예를 들면, 도 4의 스테이지(410)와 같이, 클라이언트 인터페이스(132)는 센서 재캘리브레이션을 요청할 수도 있고, (예를 들면, 클라이언트 디바이스(120)에 있는) 프레젠테이션 스크린 상의 초기 위치에 수평 스캔 라인(320)(또는 수직 스캔 라인(310))을 제시할 수도 있고, 선택 센서를 모니터링하기 시작할 수도 있다. 몇몇 구현예에서, 클라이언트 인터페이스(132)는, 마우스 모드와 매트릭스 모드(예를 들면, 가상 키보드 모드) 사이를 스위칭한다. 이러한 구현에서, 클라이언트 인터페이스(132)는 스테이지(510)에서 마우스 모드에 진입한다.
스테이지(520)에서, 클라이언트 인터페이스(132)는 센서(140)로부터 신호의 통지를 수신하고 그 신호가 액션을 취하기에 충분한지를 결정한다(예를 들면, 도 2에서 예시되는 방법(200) 참조). 그렇지 않다면(예를 들면, 신호가 너무 짧다면), 클라이언트 인터페이스(132)는 초기화 스테이지(510)로 복귀하여 다른 신호를 대기한다. 그렇지 않고, 신호가 실행 가능하면, 클라이언트 인터페이스(132)는 스테이지(530)로 진행한다.
스테이지(530)에서, 클라이언트 인터페이스(132)는 수직 스캔을 수행하여 Y 축 좌표를 식별한다. 클라이언트 인터페이스(132)는, 중지하도록 신호를 받을 때까지, 수직 스캔을 계속한다. 몇몇 구현예에서, 수직 스캔 동안, 클라이언트 인터페이스(132)는 수평 스캔 라인(320)으로 하여금 스크린 상에서 묘화되게 하고, 수직 스캔이 진행됨에 따라, 라인은 스크린 수직 방향 위로(또는 아래로) 이동하게 된다. 몇몇 구현예에서, 수직 스캔 동안, 수평 스캔 라인(320)에 대응하는 Y 좌표에 대한 값이 스크린 상에서 디스플레이된다. 몇몇 구현예에서, 수평 스캔 라인(320)의 이동(또는 재묘화) 속도가 구성될 수도 있다. 몇몇 구현예에서, 유저(122)가 진행에 대해 가속하도록 또는 감속하도록 시그널링할 수 있다.
스테이지(540)에서, 클라이언트 인터페이스(132)는 센서(140)로부터 신호의 통지를 수신하고 그 신호가 다음 액션으로 전이하기에 충분한지를 결정한다. 그렇지 않다면(예를 들면, 신호가 너무 짧다면), 클라이언트 인터페이스(132)는 초기화 스테이지(510)로 복귀하여 방법(500)을 재시작하고 다른 신호를 대기한다. 스테이지(540)에서, 클라이언트 인터페이스(132)는 또한, 시작 스테이지(530) 이후 너무 많은 시간이 경과하면, 스테이지(510)로 복귀할 것을 결정할 수도 있다. 스테이지(540)에서, 실행 가능한 신호가 수신되었다면, 클라이언트 인터페이스(132)는 스테이지(550)로 진행한다.
스테이지(550)에서, 클라이언트 인터페이스(132)는 수평 스캔을 수행하여 X 축 좌표를 식별한다. 클라이언트 인터페이스(132)는, 중지하도록 신호를 받을 때까지, 수평 스캔을 계속한다. 몇몇 구현예에서, 수평 스캔 동안, 클라이언트 인터페이스(132)는 수직 스캔 라인(310)으로 하여금 스크린 상에 묘화되게 하고, 수평 스캔이 진행됨에 따라, 라인은 스크린을 가로 질러 수평으로 이동하게 된다. 몇몇 구현예에서, 수평 스캔 동안, 수직 스캔 라인(310)에 대응하는 X 좌표에 대한 값이 스크린 상에서 디스플레이된다. 몇몇 구현예에서, 수직 스캔 라인(310)의 이동(또는 재묘화) 속도가 구성될 수도 있다. 몇몇 구현예에서, 유저(122)가 진행에 대해 가속하도록 또는 감속하도록 시그널링할 수 있다.
스테이지(560)에서, 클라이언트 인터페이스(132)는 센서(140)로부터 신호의 통지를 수신하고 그 신호가 다음 액션으로 전이하기에 충분한지를 결정한다. 그렇지 않다면(예를 들면, 신호가 너무 짧다면), 클라이언트 인터페이스(132)는 스테이지(530)의 수직 스캔으로 복귀하고 다른 신호를 대기한다. 스테이지(560)에서, 클라이언트 인터페이스(132)는 또한, 시작 스테이지(550) 이후 너무 많은 시간이 경과하면, 스테이지(530)로 복귀할 것을 결정할 수도 있다. 스테이지(560)에서, 실행 가능한 신호가 수신되었다면, 클라이언트 인터페이스(132)는 스테이지(570)로 진행한다.
스테이지(570)에서, 클라이언트 인터페이스(132)는 스테이지(530)에서 식별되는 Y 축 및 스테이지(550)에서 식별되는 X 축의 교차점을 식별하여 선택한다. 예를 들면, 도 3a를 참조하면, 스캔 라인(310 및 320)은 실행 가능한 아이콘(330)에서 교차한다. 스테이지(570)에서, 클라이언트 인터페이스(132)는 아이콘(330)을 선택하고, 그에 따라, 아이콘(330)과 연관되는 액션을 호출한다. 예를 들면, 스캔 라인(310 및 320)은, 애플리케이션 아이콘, 메뉴 아이콘, 가상 버튼, 또는 어떤 다른 선택 가능한 또는 실행 가능한 엘리먼트 위에서 교차할 수도 있다. 몇몇 구현예에서, 유저(122)는 센서의 제1 세트 내의 하나 이상의 센서를 트리거하여 식별된 교차점에서 제1 액션을 야기할 수 있고, 센서의 제2 세트 내의 하나 이상의 센서를 트리거하여 식별된 교차점에서 제2 액션을 야기할 수 있다. 예를 들면, 유저의 좌측 상의 센서는 "좌(左)클릭"을 나타내기 위해 사용될 수도 있고, 유저의 우측 상의 센서는 "우(右)클릭"을 나타내기 위해 사용될 수도 있다.
도 6은 sEMG 센서를 사용하여 메뉴 옵션을 선택하는 예시적인 방법(600)에 대한 플로우차트이다. 방법(600)의 대략적인 개요에서, 스테이지(610)에서, 클라이언트 인터페이스(132)는 선택 가능한 메뉴 옵션을 제시한다. 예를 들면, 몇몇 구현예에서, 드롭 다운 메뉴의 행이 강조 표시되어 도시된다. 몇몇 구현예에서, 라디오 버튼(radio button) 또는 체크 박스(check box)가 선택되어 도시된다. 방법(600)이 진행할 때, 상이한 메뉴 옵션이 강조 표시되어 또는 선택되어 도시될 수도 있다. 스테이지(620)에서, 클라이언트 인터페이스(132)는 센서(140)로부터 신호의 통지를 수신하고, 신호가 다음 액션, 예를 들면, 메뉴 선택을 수락하는 것 또는 다른 메뉴 옵션으로 이동하는 것으로 전이하기에 충분한지를 결정한다. 스테이지(620)에서, 센서로부터의 신호가 메뉴 옵션을 선택하기 위한 기준을 충족한다는 것을 클라이언트 인터페이스(132)가 결정하면, 스테이지(630)에서, 클라이언트 인터페이스(132)는 선택된 메뉴 옵션을 호출한다.
도 7은 다수의 sEMG 센서를 구별하는 예시적인 방법(700)에 대한 플로우차트이다. 몇몇 구현예에서, 센서(140)는 상이한 선택 그룹에 할당될 수 있다. 클라이언트 인터페이스(132)가 특정한 액션과 연관되는 신호를 센서의 세트 내의 하나의(또는 그 이상의) 센서로부터 수신하면, 클라이언트 인터페이스(132)는 제어 메시지를 클라이언트 디바이스(120)로 전송하여 특정한 액션을 호출한다. 예를 들면, 유저(122)의 우측 팔 상에 배치되는 센서는 하나의 액션을 위해 사용될 수도 있고, 유저(122)의 좌측 팔 상에 배치되는 센서는 다른 액션을 위해 사용될 수도 있고, 유저(122)의 다리 상에 배치되는 센서는 다른 액션을 위해 사용될 수도 있고, 계속 그런 식일 수도 있다. 다수의 센서를, 신경 경로를 따라, 예를 들면, 전완을 따라 배치하는 것은, 신경 활성화를 검출할 다수의 기회를 허용한다. 몇몇 구현예에서, 신호가 팔 아래로 전파됨에 따라, 신경 경로를 따르는 상이한 센서는, 약간 상이한 순간에 약간의 신호 상승을 검출할 수도 있다. 함께 취해지는 센서의 세트의 분석은, 센서의 세트와 연관되는 액션을 허용한다. 신경 활성화에 대한 더 많은 제어를 갖는 사람의 경우, 이것은 메시지 처리량을 두 배 또는 세 배로 늘릴 수 있다. 예를 들면, 수직 모션에 대해 좌측 팔 신호를 그리고 수평 모션에 대해 우측 팔 신호를 사용하는 것은, 방법(400 및 500)이 선택 상태에 신속하게 도달하는 것을 허용할 것이다. 대략적인 개요에서 도 7을 참조하면, 스테이지(710)에서, 클라이언트 인터페이스(132)는, 센서의 다수의 가능한 세트 중 하나의 세트로부터 신호를 수신한다. 스테이지(720)에서, 클라이언트 인터페이스(132)는, 특정한 액션과 연관되는 세트 내의 센서로부터 신호가 수신되었는지를 결정한다. 그렇다면, 스테이지(730)에서, 클라이언트 인터페이스(132)는 특정한 액션으로 하여금 수행되게 한다. 그렇지 않다면, 스테이지(740)에서, 디폴트 액션(또는 액션 없음)이 수행된다.
한 사람이, 다수의 전자장치를 동시에 제어할 수 있고 환경 전체에 걸쳐 통신을 원활하게 유지할 수 있다. 개시된 시스템은 효율적인 온스크린 키보드 및 마우스 제어를 위해, 다중 입력을 유저에게 제공한다. 한 사람이 자신의 신체 상의 임의의 곳에 1, 2, 3, 4, 6 또는 그 이상의 센서를 착용할 수 있을 것이다. 예를 들면, 하나의 센서가 좌측 마우스 클릭을 활성화할 수 있을 것이고, 한편 다른 센서가 마우스 우측 버튼을 활성화한다. 이전 솔루션은 분당 약 6 워드의 타이핑 속도를 가졌고; 개시된 키보드 입력 솔루션은 대략 3 배 더 빠른 입력을 가능하게 하였다. 웹 브라우징도 마찬가지로 단순화되고 가속화된다. 몇몇 구현예에서, 센서 허브(130) 또는 클라이언트 디바이스(120) 중 어느 하나 상에서 실행되는 소프트웨어는, 센서(140)의 구성을 자동적으로 매핑할 수 있고, 움직임, 땀, 및 압력과 같은 컨디션에 대해 자동 교정될 수 있다.
도 8은, 본원에서 설명하는 몇몇 구현예에서 사용하기에 적절한 컴퓨팅 시스템(101)의 일반적인 아키텍쳐를 예시하는 블록도이다. 예시적인 컴퓨팅 시스템(101)은, 버스(105)를 통해, (네트워크(110)와 통신하는) 하나 이상의 네트워크 인터페이스(111)와 통신하는 하나 이상의 프로세서(107), (유저 또는 관리자와 상호 작용하기 위한) I/O 인터페이스(102), 및 메모리(106)를 포함한다. 프로세서(107)는 추가적인 캐시 메모리(109)를 통합하거나, 또는 추가적인 캐시 메모리(109)에 직접적으로 연결된다. 몇몇 용도에서, 추가적인 컴포넌트는 주변장치 인터페이스(peripheral interface)(103)를 통해 컴퓨팅 시스템(101)과 통신한다. 몇몇 용도에서, 예컨대 서버 상황에서, I/O 인터페이스(102)가 없거나 또는 I/O 인터페이스(102)는 사용되지 않는다. 몇몇 용도에서, I/O 인터페이스(102)는 입력 디바이스(104) 및/또는 출력 디바이스(108)를 지원한다. 몇몇 용도에서, 입력 디바이스(104) 및 출력 디바이스(108)는, 예를 들면, 터치스크린에서와 같이, 동일한 하드웨어를 사용한다. 몇몇 용도에서, 컴퓨팅 시스템(101)은 독립형이고 네트워크(110)와 상호 작용하지 않으며 네트워크 인터페이스(111)를 구비하지 않을 수도 있을 것이다.
프로세서(107)는, 명령어, 예를 들면, 메모리(106) 또는 캐시(109)로부터 페치되는 명령어를 프로세싱하는 임의의 논리 회로부일 수도 있다. 많은 구현에서, 프로세서(107)는 마이크로프로세서 유닛이다. 프로세서(107)는, 본원에서 설명하는 바와 같이 동작할 수 있는 임의의 프로세서일 수도 있다. 프로세서(107)는 단일의 코어 또는 멀티 코어 프로세서일 수도 있다. 프로세서(107)는 다수의 프로세서일 수도 있다. 몇몇 구현예에서, 프로세서(107)는 코프로세서(co-processor), 예를 들면, 수학 코프로세서 또는 그래픽 코프로세서로 보강된다.
I/O 인터페이스(102)는 아주 다양한 디바이스를 지원할 수도 있다. 입력 디바이스(104)의 예는, 키보드, 마우스, 터치 또는 트랙 패드, 트랙볼, 마이크, 터치스크린, 또는 드로잉 태블릿을 포함한다. 출력 디바이스(108)의 예는, 비디오 디스플레이, 터치스크린, 리프레시 가능한 점자 디스플레이(refreshable Braille display), 스피커, 잉크젯 프린터, 레이저 프린터, 또는 3D 프린터를 포함한다. 몇몇 구현예에서, 입력 디바이스(104) 및/또는 출력 디바이스(108)는 주변장치 인터페이스(103)를 통해 연결되는 주변장치 디바이스(peripheral device)로서 기능할 수도 있다.
주변장치 인터페이스(103)는 컴퓨팅 시스템(101)에 대한 추가적인 주변장치 디바이스의 연결을 지원한다. 주변장치 디바이스는, 범용 직렬 버스(universal serial bus; USB) 디바이스에서와 같이, 물리적으로, 또는 BLUETOOTH(블루투스) TM 디바이스에서와 같이, 무선으로 연결될 수도 있다. 주변장치의 예는, 키보드, 포인팅 디바이스, 디스플레이 디바이스, 오디오 디바이스, 허브, 프린터, 미디어 판독 디바이스, 스토리지 디바이스, 하드웨어 가속기, 사운드 프로세서, 그래픽 프로세서, 안테나, 신호 수신기, 측정 디바이스, 및 데이터 변환 디바이스를 포함한다. 몇몇 용도에서, 주변장치는 네트워크 인터페이스를 포함하고 네트워크(110) 및 네트워크 인터페이스(111)를 통해 컴퓨팅 시스템(101)과 연결된다. 예를 들면, 프린팅 디바이스는 네트워크에 액세스 가능한 프린터일 수도 있다.
네트워크(110)는, 예를 들면, 도 1을 참조하여 도시되고 상기에서 설명한 바와 같은 임의의 네트워크이다. 네트워크의 예는, 근거리 통신망("LAN"), 광역 네트워크("WAN"), 인터 네트워크(예를 들면, 인터넷), 및 피어 투 피어 네트워크(예를 들면, 애드 혹 피어 투 피어 네트워크)를 포함한다. 네트워크(110)는 다수의 연결된 서브 네트워크 및/또는 자율 시스템으로 구성될 수도 있다. 임의의 타입 및/또는 형태의 데이터 네트워크 및/또는 통신 네트워크가 네트워크(110)에 대해 사용될 수 있다.
메모리(106) 각각은, 하나 이상의 데이터 스토리지 디바이스를 사용하여 구현될 수도 있다. 데이터 스토리지 디바이스는, 컴퓨터 판독 가능 데이터를 저장하기에 적절한 임의의 메모리 디바이스일 수도 있다. 데이터 스토리지 디바이스는, 고정된 스토리지를 갖는 디바이스 또는 착탈식 저장 매체를 판독하기 위한 디바이스를 포함할 수도 있다. 예는, 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스, 반도체 메모리 디바이스(예를 들면, EPROM, EEPROM, SDRAM 및 플래시 메모리 디바이스), 자기 디스크, 광 자기 디스크, 및 광학 디스크(예를 들면, CD ROM, DVD-ROM 또는 BLU-RAY 디스크)를 포함한다. 적절한 데이터 스토리지 디바이스의 예시적인 구현예는 스토리지 영역 네트워크(SAN), 네트워크 결합 스토리지(NAS), 및 중복 스토리지 어레이를 포함한다.
캐시(109)는, 프로세서(107)와 동일한 회로 계층 상에 또는 이와 근접하게 배치되는 데이터 스토리지 디바이스의 한 형태이다. 몇몇 구현예에서, 캐시(109)는 반도체 메모리 디바이스이다. 캐시(109)는 캐시의 다수의 층, 예를 들면, L1, L2, 및 L3을 포함할 수도 있는데, 여기서, 제1 층은 (예를 들면, 칩 상의) 프로세서(107)에 가장 가깝고, 각각의 후속하는 레이어는 약간 더 멀리 떨어진다. 일반적으로, 캐시(109)는 고속 저 레이턴시 메모리이다.
컴퓨팅 시스템(101)은, 임의의 워크스테이션, 데스크탑 컴퓨터, 랩탑 또는 노트북 컴퓨터, 서버, 핸드헬드 컴퓨터, 이동 전화 또는 다른 휴대용 원격 통신 디바이스, 미디어 재생 디바이스, 게이밍 시스템, 이동 컴퓨팅 디바이스, 또는 통신 가능하고 본원에서 설명하는 동작을 수행할 충분한 프로세서 파워 및 메모리 용량을 갖는 임의의 다른 타입 및/또는 형태의 컴퓨팅, 원격 통신 또는 미디어 디바이스일 수 있다. 몇몇 구현예에서, 하나 이상의 디바이스는 도 8의 컴퓨팅 시스템(101)과 유사하도록 구성된다. 몇몇 구현예에서, 다수의 별개의 디바이스는 상호 작용하여, 전체적으로, 도 8의 컴퓨팅 시스템(101)과 유사한 시스템을 형성한다.
몇몇 구현예에서, 서버는 가상 서버, 예를 들면, 네트워크(110)를 통해 액세스 가능한 클라우드 기반의 서버일 수도 있다. 클라우드 기반의 서버는 써드파티 클라우드 서비스 호스트에 의해 호스팅될 수도 있다. 서버는, 위치를 공유하는 또는 다수의 위치에 걸쳐 분산되는 다수의 컴퓨터 시스템(101)으로 구성될 수도 있다. 서버를 형성하는 다수의 컴퓨터 시스템(101)은 네트워크(110)를 사용하여 통신할 수도 있다. 몇몇 구현예에서, 서버를 형성하는 다수의 컴퓨터 시스템(101)은, 개인 네트워크, 예를 들면, 공개적으로 액세스 가능한 네트워크와는 구별되는 개인 백본 네트워크, 또는 공개적으로 액세스 가능한 네트워크 내에서의 가상의 개인 네트워크를 사용하여 통신한다.
상기에서 설명한 시스템 및 방법은, 하나 이상의 제조 물품, 예를 들면, 컴퓨터 판독 가능 매체 상에 또는 그 내에 기록되는 하나 이상의 컴퓨터 프로그램 내의 명령어로서 제공될 수도 있다는 것이 이해되어야 한다. 제조 물품은, 플로피 디스크, 하드 디스크, CD-ROM, 플래시 메모리 카드, PROM, RAM, ROM, 또는 자기 테이프일 수도 있다. 일반적으로, 컴퓨터 프로그램은, C, C++, C#, LISP, Perl(펄), PROLOG(프롤로그), Python(파이썬), Ruby(루비)와 같은 임의의 프로그래밍 언어로, 또는 JAVA(자바)와 같은 임의의 바이트 코드 언어로 구현될 수도 있다. 소프트웨어 프로그램은 객체 코드로서 하나 이상의 제조 물품 상에 또는 그 내에 저장될 수도 있다. 제조 물품은 이 데이터를 비일시적 형태로 저장한다.
본 명세서가 많은 특정한 구현 세부 사항을 포함하지만, 이들 설명은 다양한 특정 구현예에 고유한 피쳐의 것이며 제한하는 것으로 해석되지 않아야 한다. 별개의 구현예의 상황에서 설명되는 소정의 피쳐는 또한 통합된 조합으로 구현될 수 있다. 추가적으로, 단일의 구현예의 상황에서 설명되는 많은 피쳐는 또한, 개별적으로 또는 다양한 하위 조합으로 구현될 수 있다. 마찬가지로, 동작이 도면에서 특정한 순서로 묘사되지만, 이것은, 원하는 결과를 달성하기 위해, 이러한 동작이 도시되는 특정한 순서로 또는 순차적인 순서로 수행되어야 한다는 것, 또는 모든 예시된 동작이 수행되어야 한다는 것을 규정하는 것으로 이해되지 않아야 한다. 소정의 상황에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수도 있다. 또한, 상기에서 설명한 실시형태에서의 다양한 시스템 컴포넌트의 분리는, 모든 구현예에서 이러한 분리를 필요로 하는 것으로 이해되지 않아야 하며, 설명된 프로그램 컴포넌트 및 시스템은 일반적으로 단일의 소프트웨어 제품에 통합될 수 있거나 또는 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.
"또는"에 대한 언급은, "또는"을 사용하여 설명되는 임의의 용어가, 설명된 용어 중 단일의 것, 하나보다 많은 것, 그리고 모두 중 임의의 것을 나타낼 수도 있도록, 포괄적인 것으로 해석될 수도 있다. 마찬가지로, "및/또는"에 대한 언급은 포괄적인 "또는"의 명시적인 사용으로서 해석될 수도 있다. "제1", "제2", "제3", 및 등등의 라벨은, 반드시 순서를 나타내도록 의도되지는 않으면, 일반적으로, 같은 또는 유사한 아이템 또는 엘리먼트 사이를 구별하기 위한 라벨로서 사용되는 것에 불과하다.
방법 및 시스템의 소정의 구현예 및 실시형태를 설명하였지만, 이제, 기술 분야에서 숙련된 자에게는, 본 개시의 개념을 통합하는 다른 실시형태가 사용될 수도 있다는 것이 명백할 것이다. 따라서, 본 개시는 소정의 구현예 또는 실시형태로 제한되지 않아야 하며, 오히려, 다음의 청구범위의 사상 및 범위에 의해서만 제한되어야 한다.
따라서, 눈 시선 추적과 같은, 근위축성 측색 경화증(ALS)을 가진 사람이 다른 사람과 의사 소통하는 것을 돕기 위한 몇몇 기본 솔루션이 존재하지만, 이들 솔루션은 사용하기에 어렵고 심신을 지치게 할 수 있다. 예를 들면, ALS를 가진 사람들 중 약 10 %만이 눈 시선 방법을 원활하게 사용할 수 있다. 본원에서 설명하는 바와 같이, 휠체어, 원격 제어 도어, 엔터테인먼트 시스템(예를 들면, 라디오 및 텔레비전), 및 컴퓨터 시스템과 같은 전기 기기를 제어하기 위해 표면 근전도 검사(sEMG)가 사용될 수 있다. 이 새로운 레벨의 제어는, 현존하는 기술보다 의사 소통을 더욱 효과적이고 효율적으로 용이하게 할 수 있고 ALS를 가진 사람에 대한 전반적인 삶의 질을 향상시킬 것이다.
다른 구현예도 또한 다음의 청구범위의 범위 내에 있다.
예를 들면, 비록 논의의 대부분에서 손목의 예를 사용하였지만, 여기에서 설명된 기술은, 예를 들면, 발, 팔, 다리, 몸통, 및 뇌를 비롯한, 신체의 임의의 다른 부분 상의 전위를 측정하는 디바이스에서 적용될 수 있다.
비록 근육, 뼈, 및 신경에서 나타나는 전기 신호를 논의하였지만, 예를 들면, 힘줄이, 예를 들면, 근육 전기 신호의 주파수 범위와 유사한 주파수 범위에서, 근육의 전기 신호를 도통시킬 수도 있거나 또는 반사할 수도 있기 때문에, 전기 신호가 힘줄에서 또한 나타날 수도 있다는 것이 가능하다. 따라서, 근육, 신경, 및 뼈에서의 전기 신호에 관련되는 설명은, 힘줄에도 또한 적용될 수도 있다.

Claims (13)

  1. 시스템에 있어서,
    유저가 손가락 및 손 모션에 의해 타겟 컴포넌트의 기능을 제어하는 것을 가능하게 하도록 구성된 무선의 손목 장착형 유저 인터페이스 디바이스로서,
    상기 유저의 손목의 상측(top)에서 피부 상의 특정한 검출 위치에 인접하게 배치되도록 구성된 제1 쌍의 전극 - 상기 제1 쌍의 전극은 (a) 상기 제1 쌍의 전극 부근에 있는 신경 조직 및 (b) 상기 제1 쌍의 전극 부근에 있는 근육 조직의 전기 활동의 특성을 포함하는 원시 전위(raw electrical potential)를 검출하도록 구성됨 - ;
    상기 제1 쌍의 전극으로부터 생성되는 제1 출력;
    상기 유저의 손목의 상측(top)에서 피부 상의 특정한 검출 위치에 인접하게 배치되도록 구성된 제2 쌍의 전극 - 상기 제2 쌍의 전극은 (c) 제2 쌍의 전극 부근에 있는 신경 조직 및 (d) 상기 제2 쌍의 전극 부근에 있는 근육 조직의 전기 활동의 특성을 포함하는 원시 전위(raw electrical potential)를 검출하도록 구성됨 - ;
    상기 제2 쌍의 전극으로부터 생성되는 제2 출력
    을 포함하는 상기 무선의 손목 장착형 유저 인터페이스 디바이스와,
    상기 제1 출력 및 상기 제2 출력의 신호 대 잡음비(signal-to-noise ratio)를 개선하기 위해, 상기 제1 출력 및 상기 제2 출력으로부터 주변 노이즈의 특성인 주파수 성분을 나타내는 진폭을 감소시키도록 구성된 적어도 하나의 필터를 포함하는 신호 프로세싱 전자장치(signal processing electronics)와,
    데이터 프로세서로서,
    (e) 상기 제1 출력 및 상기 제2 출력으로부터 생성되는 데이터 값의 피쳐와 (f) 저장된 피쳐에 대응하는 특정한 근육의 액션, 제스쳐, 또는 의도 사이의 공지된 관계를 나타내는 이력 정보(historical information)를 포함하는 스토리지와,
    상기 제1 출력 및 상기 제2 출력에 기초하여 데이터 값을 생성하도록 구성된 생성기와,
    상기 제1 출력과 상기 제2 출력 사이의 상대적 진폭을 나타내는 피처를 적어도 포함하여, 상기 생성기에 의해 생성되는 데이터 값으로부터 피쳐를 추출하도록 구성된 피쳐 추출기와,
    (g) 상기 공지된 관계를 나타내는 저장된 이력 정보 및 (h) 상기 데이터 값으로부터의 추출된 피쳐에 기초하여 상기 유저의 의도, 제스쳐 또는 특정한 근육의 액션를 추론하는 컴포넌트를 포함하는, 상기 데이터 프로세서와,
    상기 추론된 특정한 근육의 액션, 제스쳐 또는 의도에 기초하여 상기 타겟 컴포넌트의 기능을 제어하도록 구성된 컨트롤러
    를 포함하는, 시스템.
  2. 제1항에 있어서,
    상기 무선의 손목 장착형 유저 인터페이스 디바이스는 상기 손목에서 상기 제1 쌍의 전극 및 상기 제2 쌍의 전극을 지지하는 구조체(structure)를 포함하는, 시스템.
  3. 제2항에 있어서,
    상기 무선의 손목 장착형 유저 인터페이스 디바이스는 상기 손목의 위쪽 표면(upper surface) 및 바깥쪽 가장자리(outer edge)에 대해 상기 구조체를 정렬하여, 상기 제1 쌍의 전극 및 상기 제2 쌍의 전극을, 상기 손목의 상측(top) 상의 피부와 접촉하게 그리고 상기 손목의 특정한 내부 조직 부근에 배치하도록 구성된 정렬 피쳐를 포함하는, 시스템.
  4. 제3항에 있어서,
    상기 정렬 피쳐는, 상기 제1 쌍의 전극 및 상기 제2 쌍의 전극을 상기 손목의 상기 상측과 접촉하게 배치하도록 구성되는, 시스템.
  5. 제1항에 있어서,
    상기 제1 쌍의 전극 및 상기 제2 쌍의 전극의 각각의 전극은, 전도성 고체 겔, 발포체, 또는 필름과 연관되는 건식 접촉 표면(dry contact surface)을 포함하는, 시스템.
  6. 제1항에 있어서,
    상기 무선의 손목 장착형 유저 인터페이스 디바이스는 상기 제1 쌍의 전극 및 상기 제2 쌍의 전극 중 적어도 하나의 전극을 위한 탄력성이 있는 장착부(resilient mounting)를 포함하는, 시스템.
  7. 제1항에 있어서,
    상기 액션을 추론하는 컴포넌트는 분류기를 포함하는, 시스템.
  8. 제1항에 있어서,
    상기 액션을 추론하는 컴포넌트는, 상기 무선의 손목 장착형 유저 인터페이스 디바이스에 포함된 관성 측정 유닛으로부터의 신호에 또한 기초하여 액션을 추론하는, 시스템.
  9. 제1항에 있어서,
    상기 액션을 추론하는 컴포넌트는, 상기 무선의 손목 장착형 유저 인터페이스 디바이스 외부의 전극으로부터의 신호에 또한 기초하여 액션을 추론하는, 시스템.
  10. 제1항에 있어서,
    상기 무선의 손목 장착형 유저 인터페이스 디바이스는, 하나 이상의 버튼 제어 스위치(button controlled switch) 및 다중 컬러 강도 제어 가능 LED(multi-color intensity controllable LED)를 구비한 유저 인터페이스를 더 포함하는, 시스템.
  11. 제10항에 있어서,
    상기 유저 인터페이스는 햅틱 기능을 포함하는, 시스템.
  12. 제1항에 있어서,
    상기 무선의 손목 장착형 유저 인터페이스 디바이스는 상기 유저의 피부의 다른 영역에 부착되도록 구성된 전극과 포트 사이에 전기 도체의 연결을 위한 포트를 더 포함하는, 시스템.
  13. 제1항에 있어서,
    상기 신호 프로세싱 전자장치는 상기 제1 쌍의 전극의 임피던스를 상기 손목의 상측 상의 피부의 임피던스에 매칭시키도록 구성된 임피던스 매칭 컴포넌트를 포함하는, 시스템.


KR1020197031346A 2016-12-02 2017-11-29 신체 조직 전기 신호의 검출 및 사용 KR102302640B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662429334P 2016-12-02 2016-12-02
US62/429,334 2016-12-02
US201762566674P 2017-10-02 2017-10-02
US62/566,674 2017-10-02
KR1020197004562A KR102038120B1 (ko) 2016-12-02 2017-11-29 신체 조직 전기 신호의 검출 및 사용
PCT/US2017/063738 WO2018102429A2 (en) 2016-12-02 2017-11-29 Detecting and using body tissue electrical signals

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197004562A Division KR102038120B1 (ko) 2016-12-02 2017-11-29 신체 조직 전기 신호의 검출 및 사용

Publications (2)

Publication Number Publication Date
KR20190122904A KR20190122904A (ko) 2019-10-30
KR102302640B1 true KR102302640B1 (ko) 2021-09-15

Family

ID=62240191

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197031346A KR102302640B1 (ko) 2016-12-02 2017-11-29 신체 조직 전기 신호의 검출 및 사용
KR1020197004562A KR102038120B1 (ko) 2016-12-02 2017-11-29 신체 조직 전기 신호의 검출 및 사용

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020197004562A KR102038120B1 (ko) 2016-12-02 2017-11-29 신체 조직 전기 신호의 검출 및 사용

Country Status (5)

Country Link
US (3) US10070799B2 (ko)
EP (1) EP3548994B1 (ko)
KR (2) KR102302640B1 (ko)
CN (1) CN109804331B (ko)
WO (1) WO2018102429A2 (ko)

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11243611B2 (en) 2013-08-07 2022-02-08 Nike, Inc. Gesture recognition
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
CN110337269B (zh) 2016-07-25 2021-09-21 脸谱科技有限责任公司 基于神经肌肉信号推断用户意图的方法和装置
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
US11000211B2 (en) 2016-07-25 2021-05-11 Facebook Technologies, Llc Adaptive system for deriving control signals from measurements of neuromuscular activity
US10990174B2 (en) 2016-07-25 2021-04-27 Facebook Technologies, Llc Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US10489986B2 (en) 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
US10772519B2 (en) 2018-05-25 2020-09-15 Facebook Technologies, Llc Methods and apparatus for providing sub-muscular control
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3487595A4 (en) 2016-07-25 2019-12-25 CTRL-Labs Corporation SYSTEM AND METHOD FOR MEASURING MOVEMENTS OF ARTICULATED RIGID BODIES
CN109804331B (zh) 2016-12-02 2021-06-22 皮松科技股份有限公司 检测和使用身体组织电信号
US10309865B2 (en) * 2017-05-26 2019-06-04 Jason Todd Roth Integrated building monitoring system
US10558278B2 (en) 2017-07-11 2020-02-11 Apple Inc. Interacting with an electronic device through physical movement
EP3664758A4 (en) * 2017-08-07 2021-04-14 The United States of America as Represented By The US Department of Veterans Affairs WHEELCHAIR SYSTEM WITH MOTION SENSORS AND NERVE STIMULATION
CN112040858A (zh) 2017-10-19 2020-12-04 脸谱科技有限责任公司 用于识别与神经肌肉源信号相关的生物结构的系统和方法
WO2019083863A1 (en) 2017-10-23 2019-05-02 Patent Holding Company 001, Llc DEVICES, METHODS, AND COMMUNICATION SYSTEMS
WO2019147928A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Handstate reconstruction based on multiple inputs
WO2019148002A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
WO2019147949A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Real-time processing of handstate representation model estimates
WO2019147996A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
US11069148B2 (en) 2018-01-25 2021-07-20 Facebook Technologies, Llc Visualization of reconstructed handstate information
US10970936B2 (en) 2018-10-05 2021-04-06 Facebook Technologies, Llc Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
WO2019165972A1 (en) * 2018-02-28 2019-09-06 Chan Russell Wade Wearable gesture recognition device and associated operation method and system
US11237639B2 (en) * 2018-03-27 2022-02-01 Iowa Adaptive Technologies, Inc. Method and system for electronic communication by persons with disabilities
US10420487B1 (en) * 2018-04-19 2019-09-24 Hwasung System of monitoring sports activity and accident and method thereof
EP3567867A1 (en) * 2018-05-07 2019-11-13 Koninklijke Philips N.V. Communication device for wirelessly communicating with a sensor
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3801216A4 (en) 2018-05-29 2021-04-14 Facebook Technologies, LLC. SHIELDING TECHNIQUES FOR NOISE REDUCTION IN SURFACE ELECTROMYOGRAPHY SIGNAL MEASUREMENT AND RELATED SYSTEMS AND METHODS
WO2019241701A1 (en) 2018-06-14 2019-12-19 Ctrl-Labs Corporation User identification and authentication with neuromuscular signatures
US11045137B2 (en) 2018-07-19 2021-06-29 Facebook Technologies, Llc Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
US11099647B2 (en) 2018-08-05 2021-08-24 Pison Technology, Inc. User interface control of responsive devices
US10802598B2 (en) 2018-08-05 2020-10-13 Pison Technology, Inc. User interface control of responsive devices
WO2020033110A1 (en) * 2018-08-05 2020-02-13 Pison Technology, Inc. User interface control of responsive devices
EP3836836B1 (en) 2018-08-13 2024-03-20 Meta Platforms Technologies, LLC Real-time spike detection and identification
US11273357B2 (en) * 2018-08-30 2022-03-15 International Business Machines Corporation Interactive exercise experience
CN112996430A (zh) 2018-08-31 2021-06-18 脸谱科技有限责任公司 神经肌肉信号的相机引导的解释
EP3852613A4 (en) * 2018-09-20 2021-11-24 Facebook Technologies, LLC. NEUROMUSCULAR CONTROL OF AN AUGMENTED REALITY SYSTEM
CN112771478A (zh) * 2018-09-26 2021-05-07 脸谱科技有限责任公司 对环境中的物理对象的神经肌肉控制
CN111115400B (zh) 2018-10-30 2022-04-26 奥的斯电梯公司 检测电梯井道中的电梯维护行为的系统和方法
WO2020100095A1 (en) * 2018-11-18 2020-05-22 Asociația Transylvanian Institute Of Neuroscience Method, human machine interface, machine computing unit and computer programs to control at least one actuator to carry out at least one task
US20200159321A1 (en) 2018-11-20 2020-05-21 Pison Technology, Inc. Communication using biopotential sensing and tactile actions
EP3886693A4 (en) 2018-11-27 2022-06-08 Facebook Technologies, LLC. METHOD AND DEVICE FOR AUTOCALIBRATION OF A PORTABLE ELECTRODE SENSING SYSTEM
US11740071B2 (en) 2018-12-21 2023-08-29 Apple Inc. Optical interferometry proximity sensor with temperature variation compensation
KR102403890B1 (ko) * 2019-01-30 2022-05-31 유지상 어깨 탈골 방지 장치 및 시스템
US11642081B2 (en) 2019-02-01 2023-05-09 X Development Llc Electrode headset
CN113573665A (zh) * 2019-02-19 2021-10-29 接合有限责任公司 用于指导外假肢用户的肌电图控制系统和方法
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
US11583231B2 (en) 2019-03-06 2023-02-21 X Development Llc Adjustable electrode headset
US11156456B2 (en) * 2019-05-21 2021-10-26 Apple Inc. Optical proximity sensor integrated into a camera module for an electronic device
US11473898B2 (en) 2019-05-24 2022-10-18 Apple Inc. Wearable voice-induced vibration or silent gesture sensor
KR20200139296A (ko) * 2019-06-03 2020-12-14 삼성디스플레이 주식회사 단말 및 단말 제어 방법
JP2022538905A (ja) * 2019-07-03 2022-09-06 ニューラレース メディカル，インコーポレイテッド 非侵襲的な慢性疾患疼痛治療のための装置、システム、および方法
CN110292369A (zh) * 2019-07-03 2019-10-01 浙江大学 基于脉搏波传导时间的胸口无创血压检测探头及其装置
CN110710970B (zh) * 2019-09-17 2021-01-29 北京海益同展信息科技有限公司 肢体动作的识别方法、装置、计算机设备及存储介质
EP4034227A4 (en) * 2019-09-26 2023-10-11 The Regents of The University of California PERIPHERAL BRAIN-MACHINE INTERFACE SYSTEM THROUGH VOLUNTARY CONTROL OF INDIVIDUAL MOTOR UNITS
CN113347916A (zh) 2019-10-15 2021-09-03 因普瑞缇夫护理公司 用于多变量卒中检测的系统和方法
US11422623B2 (en) * 2019-10-23 2022-08-23 Interlake Research, Llc Wrist worn computing device control systems and methods
KR102325269B1 (ko) * 2019-11-13 2021-11-12 주식회사 지엘 깊이 카메라 및 근전도 센서를 이용한 핸드트래킹 시스템
US11583218B2 (en) * 2019-11-20 2023-02-21 Advancer Technologies, Llc EMG device
WO2021127777A1 (en) * 2019-12-24 2021-07-01 Brink Bionics Inc. System and method for low latency motion intention detection using surface electromyogram signals
KR102358184B1 (ko) * 2019-12-30 2022-02-04 주식회사 이음기술 인체부착용 생체정보 검출기 및 이를 이용한 운동 장치와 방법
EP4091664A4 (en) * 2020-01-13 2023-09-13 Zandona Freitas, Ângelo Eustáquio METHOD AND SYSTEM FOR ARTIFICIAL ACTIVATION AND MONITORING OF NEUROMUSCULAR TISSUE BASED ON ARTIFICIAL INTELLIGENCE
US20210232224A1 (en) 2020-01-28 2021-07-29 Pison Technology, Inc. Human-machine interface
US11199908B2 (en) 2020-01-28 2021-12-14 Pison Technology, Inc. Wrist-worn device-based inputs for an operating system
US11157086B2 (en) 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
CN111358476B (zh) * 2020-05-27 2020-08-11 成都泰盟软件有限公司 一种指力传感器及包含该传感器的肌肉反应监测系统
JP2023533517A (ja) * 2020-06-30 2023-08-03 ユニバーシティ オブ マラヤ 腰痛リハビリテーションの進行をリアルタイムに監視するシステムおよび方法
CN111839847B (zh) * 2020-07-02 2023-09-01 京东科技信息技术有限公司 肌电假肢控制方法、装置、电子设备和计算机可读介质
AU2021312941B2 (en) 2020-07-23 2024-01-18 Control Bionics Limited Multi-modal switching controller for communication and control
KR102458459B1 (ko) * 2020-09-11 2022-10-26 한국기계연구원 다채널 신경신호 실시간 디코딩 시스템 및 이를 이용한 다채널 신경신호 실시간 디코딩 방법
US11874110B2 (en) 2020-09-25 2024-01-16 Apple Inc. Self-mixing interferometry device configured for non-reciprocal sensing
KR102394769B1 (ko) * 2020-10-27 2022-05-06 플레이스비 주식회사 햅틱 컨트롤러와 근전도 센서를 이용한 햅틱 피드백 제공 시스템 및 방법
WO2022094439A1 (en) 2020-10-30 2022-05-05 Datafeel Inc. Wearable data communication apparatus, kits, methods, and systems
CN112932468A (zh) * 2021-01-26 2021-06-11 京东方科技集团股份有限公司 一种肌肉运动能力的监测系统以及监测方法
IT202100006551A1 (it) * 2021-03-18 2021-06-18 Datasound Srl Sistema adattivo per la riabilitazione degli arti
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN113080944B (zh) * 2021-04-14 2023-11-24 北京积水潭医院 一种生物电信号和脊柱活动度检测方法、装置和系统
US11775066B2 (en) * 2021-04-22 2023-10-03 Coapt Llc Biometric enabled virtual reality systems and methods for detecting user intentions and manipulating virtual avatar control based on user intentions for providing kinematic awareness in holographic space, two-dimensional (2D), or three-dimensional (3D) virtual space
WO2022232341A1 (en) * 2021-04-30 2022-11-03 Delsys Incorporated Detecting and processing biopotentials
US20220374085A1 (en) * 2021-05-19 2022-11-24 Apple Inc. Navigating user interfaces using hand gestures
US20230068682A1 (en) * 2021-08-25 2023-03-02 Battelle Memorial Institute Neuromuscular electrical stimulation controlled by computer vision
US20230076068A1 (en) * 2021-09-03 2023-03-09 Meta Platforms Technologies, Llc Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist-wearable device worn by the user, and methods of use thereof
SE2151399A1 (en) * 2021-11-17 2023-05-18 Idestam Almquist Peter A communications system and a method for communicating information
CN115034273B (zh) * 2021-12-27 2023-09-01 驻马店市中心医院 一种基于模式识别的肌电生物反馈设备及系统
WO2023133139A1 (en) * 2022-01-04 2023-07-13 Meta Platforms Technologies, Llc Adjusting an operational characteristic of one or more neuromuscular-signal sensors to maintain desired impedances, and systems, wearable devices, and methods of use thereof
WO2023230354A1 (en) * 2022-05-27 2023-11-30 Meta Platforms Technologies, Llc Systems for interpreting thumb movements of in-air hand gestures for controlling user interfaces based on spatial orientations of a user's hand, and method of use thereof
US11809629B1 (en) * 2022-06-10 2023-11-07 Afference Inc. Wearable electronic device for inducing transient sensory events as user feedback
US20240061514A1 (en) * 2022-08-18 2024-02-22 Meta Platforms Technologies, Llc Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof
WO2024073494A1 (en) * 2022-09-28 2024-04-04 Impulse Wellness Llc Wearable biosignal device and system for individualized therapeutic feedback

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140210745A1 (en) 2013-01-25 2014-07-31 University Of Washington Through Its Center For Commercialization Using Neural Signals to Drive Touch Screen Devices

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5660177A (en) 1991-11-04 1997-08-26 Biofield Corp. D.C. biopotential sensing electrode assemblies for apparatus for disease, injury and bodily condition screening or sensing
US5217014A (en) 1991-11-04 1993-06-08 Biofield Corp. Depolarized pre-gelled electrodes
US5287859A (en) 1992-09-25 1994-02-22 New York University Electroencephalograph instrument for mass screening
US5823957A (en) 1994-10-17 1998-10-20 Biofield Corp D.C. biopotential sensing electrode and electroconductive medium for use therein
US6244873B1 (en) * 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
EP1207823A2 (en) * 1999-08-20 2002-05-29 Ronald Raymond Riso Emg control of prosthesis
US6470893B1 (en) 2000-05-15 2002-10-29 Peter V. Boesen Wireless biopotential sensing device and method with capability of short-range radio frequency transmission and reception
US6720984B1 (en) 2000-06-13 2004-04-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Characterization of bioelectric potentials
EP1408443B1 (en) 2002-10-07 2006-10-18 Sony France S.A. Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition
US7206625B2 (en) 2003-10-23 2007-04-17 Vivosonic Inc. Method and apparatus for the collection of physiological electrical potentials
US20050215916A1 (en) 2004-03-29 2005-09-29 Fadem Kalford C Active, multiplexed digital electrodes for EEG, ECG and EMG applications
KR100680023B1 (ko) 2004-12-06 2007-02-07 한국전자통신연구원 생체신호를 이용한 착용형 휴대폰 입력 장치 및 그 제어방법
US8280503B2 (en) * 2008-10-27 2012-10-02 Michael Linderman EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis
US8444559B2 (en) 2007-05-04 2013-05-21 Reproductive Research Technologies, Lp Skin impedance matching system and method for skin/electrode interface
JP5450436B2 (ja) 2007-11-28 2014-03-26 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 非接触型生体電位センサ
US20100069780A1 (en) 2008-03-19 2010-03-18 Ocz Technology Group, Inc. Method and apparatus for using biopotentials for simultaneous multiple control functions in computer systems
US8447704B2 (en) 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US9037530B2 (en) * 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US8170656B2 (en) 2008-06-26 2012-05-01 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
JP5472680B2 (ja) * 2009-04-09 2014-04-16 国立大学法人 筑波大学 装着式動作補助装置
US8386026B2 (en) * 2010-04-12 2013-02-26 Reproductive Research Technologies, L.P. System and method for acquiring and displaying abdominal EMG signals
WO2011140518A1 (en) 2010-05-06 2011-11-10 West Wireless Health Institute Multipurpose, modular platform for mobile medical instrumentation
US20110282231A1 (en) 2010-05-12 2011-11-17 Neurofocus, Inc. Mechanisms for collecting electroencephalography data
KR101890717B1 (ko) 2010-07-20 2018-08-23 삼성전자주식회사 생체 정보를 활용한 가상 세계 조작 장치 및 방법
CN101963866B (zh) * 2010-10-25 2012-12-19 鸿富锦精密工业（深圳）有限公司 具有触摸屏的电子装置及腕戴式电子装置
KR101294434B1 (ko) 2011-07-28 2013-08-07 엘지이노텍 주식회사 임피던스 정합장치 및 임피던스 정합방법
EP2768383B1 (en) 2011-10-19 2022-06-15 Cognionics, Inc. Apparatuses, systems and methods for biopotential sensing with dry electrodes
US9184722B2 (en) 2012-02-10 2015-11-10 Infineon Technologies Ag Adjustable impedance matching network
US9170674B2 (en) 2012-04-09 2015-10-27 Qualcomm Incorporated Gesture-based device control using pressure-sensitive sensors
US9278453B2 (en) 2012-05-25 2016-03-08 California Institute Of Technology Biosleeve human-machine interface
US9351653B1 (en) 2012-11-29 2016-05-31 Intan Technologies, LLC Multi-channel reconfigurable systems and methods for sensing biopotential signals
US9092664B2 (en) 2013-01-14 2015-07-28 Qualcomm Incorporated Use of EMG for subtle gesture recognition on surfaces
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
EP3912674A1 (en) * 2013-01-21 2021-11-24 Cala Health, Inc. Devices for controlling tremor
CN105190578A (zh) * 2013-02-22 2015-12-23 赛尔米克实验室公司 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备
US20140249397A1 (en) 2013-03-01 2014-09-04 Thalmic Labs Inc. Differential non-contact biopotential sensor
KR102059346B1 (ko) 2013-03-05 2020-02-11 삼성전자주식회사 근전도 센서 시스템 및 근전도 센서 시스템의 동작 방법
US9808170B2 (en) 2013-03-15 2017-11-07 Welch Allyn, Inc. Electrode with charge-operated indicator
US9071209B1 (en) 2013-07-26 2015-06-30 Intan Technologies, LLC Systems and methods for a current sensing patch-clamp amplifier
US9372535B2 (en) 2013-09-06 2016-06-21 Thalmic Labs Inc. Systems, articles, and methods for electromyography-based human-electronics interfaces
US9483123B2 (en) * 2013-09-23 2016-11-01 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US9545221B2 (en) 2013-11-27 2017-01-17 Samsung Electronics Co., Ltd. Electronic system with dynamic localization mechanism and method of operation thereof
KR20150077684A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치
US10585484B2 (en) 2013-12-30 2020-03-10 Samsung Electronics Co., Ltd. Apparatus, system, and method for transferring data from a terminal to an electromyography (EMG) device
JP2017509386A (ja) * 2014-02-14 2017-04-06 サルミック ラブス インコーポレイテッド 弾性電気ケーブルのためのシステム、製品、及び方法、並びに、それを用いるウェアラブル電子デバイス
US9330666B2 (en) 2014-03-21 2016-05-03 Google Technology Holdings LLC Gesture-based messaging method, system, and device
KR101534282B1 (ko) 2014-05-07 2015-07-03 삼성전자주식회사 포터블 디바이스의 사용자 입력 방법 및 상기 사용자 입력 방법이 수행되는 포터블 디바이스
KR102343657B1 (ko) 2014-08-28 2021-12-24 삼성전자주식회사 손목 근육들의 움직임들에 상응하는 사용자 입력을 처리할 수 있는 애플리케이션 프로세서와 이를 포함하는 장치들
US9720515B2 (en) * 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
US9946395B2 (en) 2015-02-16 2018-04-17 Samsung Electronics Co., Ltd. User interface method and apparatus
US10516993B2 (en) 2015-04-01 2019-12-24 Samsung Electronics Co., Ltd Method and apparatus for establishing wireless communications connection
KR101674997B1 (ko) * 2015-04-24 2016-11-10 전남대학교산학협력단 웨어러블 생체신호측정 기기, 서버, 시스템 및 방법
US10763953B2 (en) * 2015-11-11 2020-09-01 Schlumberger Technology Corporation Aerial-based communication system
CN109804331B (zh) 2016-12-02 2021-06-22 皮松科技股份有限公司 检测和使用身体组织电信号

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140210745A1 (en) 2013-01-25 2014-07-31 University Of Washington Through Its Center For Commercialization Using Neural Signals to Drive Touch Screen Devices

Also Published As

Publication number Publication date
US11484242B2 (en) 2022-11-01
US20190082996A1 (en) 2019-03-21
WO2018102429A3 (en) 2018-09-07
EP3548994A2 (en) 2019-10-09
US20230088533A1 (en) 2023-03-23
KR20190041467A (ko) 2019-04-22
CN109804331A (zh) 2019-05-24
US10070799B2 (en) 2018-09-11
WO2018102429A2 (en) 2018-06-07
US20180153430A1 (en) 2018-06-07
KR102038120B1 (ko) 2019-10-30
KR20190122904A (ko) 2019-10-30
CN109804331B (zh) 2021-06-22
EP3548994B1 (en) 2021-08-11
EP3548994A4 (en) 2020-07-01

Similar Documents

Publication Publication Date Title
KR102302640B1 (ko) 신체 조직 전기 신호의 검출 및 사용
US11406329B2 (en) System and method to detect changes in health parameters and activate lifesaving measures
Mosenia et al. Wearable medical sensor-based system design: A survey
Nascimento et al. Sensors and systems for physical rehabilitation and health monitoring—A review
US20190286234A1 (en) System and method for synchronized neural marketing in a virtual environment
CN111542800A (zh) 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口
Fotiadis et al. Wearable medical devices
US20220113799A1 (en) Multiple switching electromyography (emg) assistive communications device
KR102048551B1 (ko) 스마트 기기를 이용한 vr 재활 훈련 시스템 및 방법
English et al. EyePhone: A mobile EOG-based human-computer interface for assistive healthcare
Delva et al. Investigation into the potential to create a force myography-based smart-home controller for aging populations
Janeera et al. A brain computer interface based patient observation and indoor locating system with capsule network algorithm
Shatilov et al. Emerging natural user interfaces in mobile computing: A bottoms-up survey
Kellihan et al. A real-world neuroimaging system to evaluate stress
Augustyniak Remotely programmable architecture of a multi-purpose physiological recorder
Said et al. Wearable technologies in biomedical and biometric applications
WO2022126024A1 (en) Foldable sensor-based devices
Šumak et al. Design and development of contactless interaction with computers based on the Emotiv EPOC+ device
Müller et al. Flex your muscles: EMG-based serious game controls
Chowdary et al. Implantable electronics: Integration of bio-interfaces, devices and sensors
Falk et al. Brain–computer interfaces: recent advances, challenges, and future directions
Scherer et al. Non-manual Control Devices: Direct Brain-Computer Interaction
Reis et al. On the performance of surface electromyography-based onset detection methods with real data in assistive technologies: Comparative analysis and enhancements via sensor fusion
Lee et al. Biosignal-integrated robotic systems with emerging trends in visual interfaces: A systematic review
Salvaro A fully-wearable non-invasive SSVEP-based BCI system enabled by AR techniques for daily use in real environment.

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant