KR20200024324A - 전기 임피던스 측정 배경을 사용하여 손 동작을 추적하기 위한 암밴드 - Google Patents

전기 임피던스 측정 배경을 사용하여 손 동작을 추적하기 위한 암밴드 Download PDF

Info

Publication number
KR20200024324A
KR20200024324A KR1020207004260A KR20207004260A KR20200024324A KR 20200024324 A KR20200024324 A KR 20200024324A KR 1020207004260 A KR1020207004260 A KR 1020207004260A KR 20207004260 A KR20207004260 A KR 20207004260A KR 20200024324 A KR20200024324 A KR 20200024324A
Authority
KR
South Korea
Prior art keywords
hand
user
arm
wrist
signals
Prior art date
Application number
KR1020207004260A
Other languages
English (en)
Inventor
베이펭 뮤
나르디 렌조 데
리차드 앤드루 뉴컴
레이몬드 킹
에번 폴 갠더
로버트 와이. 왕
Original Assignee
페이스북 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북 테크놀로지스, 엘엘씨 filed Critical 페이스북 테크놀로지스, 엘엘씨
Publication of KR20200024324A publication Critical patent/KR20200024324A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

시스템은 웨어러블 디바이스를 포함하고, 웨어러블 디바이스는 웨어러브 디바이스 상의 상이한 위치들에 배치된 센서들을 포함한다. 각 센서는 사용자의 손목 또는 팔로부터 송신되는 전기 신호들을 측정한다. 위치 계산 회로가 센서들에 결합된다. 위치 계산 회로는 기계 학습 모델을 통해 전기 신호들로부터 도출된 정보를 사용하여 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산한다.

Description

전기 임피던스 측정 배경을 사용하여 손 동작을 추적하기 위한 암밴드
본 개시사항은 일반적으로 센서들을 사용하여 신체 동작들을 추적하고, 특히 전기 임피던스 측정을 사용하여 사람 손의 위치들을 추적하는 것에 관한 것이다.
제스처들은 이미 사람들이 의사 소통하는 방식의 자연스러운 부분이기 때문에 제스처들과 같은 신체의 동작은 사용자가 컴퓨팅 디바이스들과 상호작용하는 매력적인 방법일 수 있다. 손 제스처 추적 디바이스는 사용자가 물리적으로 접촉하지 않고도 컴퓨팅 디바이스들을 제어하거나 상호작용할 수 있게 한다. 예를 들어, 제스처 추적 디바이스는 로컬 또는 원격 환경에서 메모리 또는 디스플레이 디바이스들을 제어하기 위해 사용자에 의해 사용될 수 있다.
제스처 인식 시스템들은 다루기 힘들고, 구속적이며 사용하기 불편할 수 있다. 예를 들어, 손 동작을 추적하기 위해 기계적 신호를 사용하는 장갑형 디바이스들은 손의 촉각의 감각을 방해할 수 있다. 이들은 또한 다양한 손 크기를 갖는 다른 사용자들에게 맞추어지는 것이 어려울 수 있다. 카메라-기반 제스처 추적 시스템들은 캡처된 이미지들에서 사용자의 손 영역을 감지하지만, 종종 사용자의 손 전체가 카메라의 시야 범위에 있어야 한다. 이들은 또한 이미지에 객체 폐색이 있을 때 오류를 겪을 수 있다.
따라서 제스처 추적기들은 사용하기 어렵고, 관리하기가 어려우며, 시스템 배열 또는 주변 환경에서 왜곡을 겪을 수 있다. 전통적인 제스처 추적기들의 비용도 또한 높을 수 있으므로, 사용자 채택률이 제한된다. 또한, 제스처 인식 시스템은 미리 정해진 제스처들의 작은 세트로 제한된다. 이들 및 다른 이유들로, 그러한 제스처 인식 시스템들은 헤드-마운티드 디스플레이들(HMDs)을 위한 효과적인 손 추적에 적합하지 않다.
실시예들은 사용자의 팔의 전기 임피던스 측정을 사용하여 사람 손의 동작을 추적하기 위한 웨어러블 디바이스에 관한 것이다. 웨어러블 디바이스 상에 위치된 센서들은 사용자의 손 위치에 대응하는 사용자의 손목 또는 팔로부터 전기 신호들을 수신한다. 정보는 전기 신호들(예를 들어, 힘줄들과 같은 사용자의 팔 구조들의 상태를 나타내고, 따라서 사용자의 손 위치 또는 자세를 나타내는 임피던스 값들)로부터 추출된다. 전기 신호들로부터의 임피던스 또는 다른 추출된 값들은 기계 학습 모델을 구현하는 위치 계산 회로에 대한 입력으로서 사용될 수 있다. 위치 계산 회로는 기계 학습 모델을 사용하여 입력들로부터 사용자의 손 위치를 결정한다. 일부 실시예들에서, 웨어러블 디바이스는 사용자의 팔의 동작을 측정하고 손 위치의 결정을 위한 입력으로서 관성 신호들을 위치 계산 회로에 제공하는 관성 측정 유닛(IMU)을 포함한다. 일부 실시예들에서, 기계 학습 모델은 전자 신호들의 캡처와 동시에 얻어진 사용자 손의 비디오 이미지들로부터 추출된 실측 자료의 손 위치들(ground truth hand positions)을 사용하여 트레이닝된다.
일 실시예에서, 시스템은 센서들을 포함하는 웨어러블 디바이스를 포함하고, 상기 센서들은 웨어러블 디바이스 상에 배치된다. 각 센서는 사용자의 손목 또는 팔로부터 송신되는 전기 신호들을 측정한다. 위치 계산 회로는 센서들에 결합된다. 위치 계산 회로는 기계 학습 모델을 통해 전기 신호들로부터 도출된 정보를 사용하여 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산한다.
일 실시예에서, 위치 계산 회로는 웨어러블 디바이스 내에 위치된다.
일 실시예에서, 위치 계산 회로는 호스트 시스템 또는 웨어러블 디바이스 외부의 다른 컴퓨팅 디바이스에 위치된다.
일 실시예에서, 각각의 센서는 전극 및 상기 전극과 사용자의 손목 또는 팔 사이에 위치한 도전재(conductive agent)를 포함한다. 각각의 센서는 교류(AC) 신호, 직류(DC) 신호, 또는 다수의 주파수들을 포함하는 광대역 AC 신호를 바람직하게는 사용자의 손목 또는 팔에 송신할 수 있다.
일 실시예에서, 각각의 전기 신호는, 전압 및 전압의 위상; 전류 및 전류의 위상; 또는 DC 신호의 크기 중 하나를 포함할 수 있다.
일 실시예에서, 센서들은 그리드 어레이 또는 체커 보드 패턴으로 배열된다.
일 실시예에서, 전기 신호들로부터 도출된 정보는 센서들의 각 쌍 사이에서 측정된 전기 임피던스에 기초한 합계 값들을 포함한다. 전기 임피던스는 센서들의 쌍에 의해 사용자의 손목 또는 팔에 송신된 프로브 신호들 및 측정된 전기 신호들에 기초하여 결정된다. 일 실시예에서, 도출된 정보는 전기 신호들의 파동의 모양, 전기 신호들의 주파수-영역 표현, 또는 전기 신호들의 시간-영역 샘플을 포함할 수 있다.
일 실시예에서, 위치 계산 회로는 전기 신호들로부터 도출된 정보로부터 특징들을 추출한다. 특징들은 사용자의 손목 또는 팔의 손에 대한 손 위치를 정의하는 관절들 사이의 하나 이상의 각도들, 및 사용자의 손목 또는 팔의 손에 대한 손 위치에서의 변화의 감소된 표현(reduced representation)을 포함한다. 감소된 표현은 사용자의 손목 또는 팔의 손에 대한 현재 손 위치와 사용자의 손목 또는 팔의 손에 대한 이전 손 위치 사이의 차이를 정의한다.
일 실시예에서, 각각의 센서는 또한 프로브 신호를, 프로브 신호의 시간주기, 프로브 신호의 진폭, 또는 프로브 신호의 위상을 변화시킴으로써 사용자의 손목 또는 팔에 송신한다.
일 실시예에서, 제 1 센서는 프로브 신호의 송신을 다른 센서들에 의한 다른 프로브 신호들의 송신에 대하여 스태거링(staggering)함으로써 사용자의 손목 또는 팔에 프로브 신호를 송신한다.
일 실시예에서, 관성 측정 유닛은 웨어러블 디바이스 및 사용자의 팔의 동작에 대응하는 관성 신호들을 생성한다. 위치 계산 회로는 기계 학습 모델을 통해 관성 신호로부터 도출된 정보를 사용하여 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 더 계산한다.
일 실시예에서, 관성 측정 유닛은 자이로스코프, 가속도계 및 자력계 중 하나 이상을 포함한다.
일 실시예에서, 하나 이상의 카메라들은 하나 이상의 각도들로부터 손 위치를 나타내는 이미지들과 같은 사용자 손의 이미지 신호들을 생성한다. 위치 계산 회로는 기계 학습 모델을 통해 이미지 신호로부터 도출된 정보를 사용하여 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 더 계산한다.
일 실시예에서, 카메라는 깊이 카메라, 적색-녹색-청색(RGB) 카메라, 적외선 카메라 또는 HMD에 장착된 카메라이다.
일 실시예에서, 관성 측정 유닛은 웨어러블 디바이스의 동작에 대응하는 관성 신호들을 생성한다. 위치 계산 회로는 또한, 관성 신호들로부터 도출된 정보를 사용하여, 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 생성하기 위해, 기계 학습 모델을 트레이닝한다.
일 실시예에서, 카메라는 사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 생성한다. 위치 계산 회로는 또한 기계 학습 모델을 통해 이미지 신호로부터 도출된 정보를 사용하여 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 생성하도록 기계 학습 모델을 트레이닝한다.
일 실시예에서, 계산된 출력은 또한 사용자의 손에 접촉하는 물체들에 대한 사용자의 손에 의해 가해지는 힘들을 설명한다. 힘줄들과 같은 사용자의 팔의 구조들은, 손의 전체 위치가 유사해 보이더라도 손이 이완될 때와 비교하여 손이 힘을 가할 때 다른 상태에 있다. 손 추적을 위한 전기 신호들의 사용은 따라서 다른 유형들의 센서 추적 시스템들보다 더 많은 유형들의 데이터 추출이 가능토록 허용한다.
일 실시예에서, 위치 계산 회로는 HMD에 장착된 카메라로부터 이미지 신호들을 더 수신한다. 비교 신호들은 이미지 신호들을 계산된 출력과 비교하여 결정된다. 비교 신호들은 호스트 시스템으로 송신된다.
일 실시예에서, 계산된 출력은 손 모양 모델의 파라미터들을 포함한다. 파라미터들은 사용자의 손목 또는 팔의 손 관절들, 관절들의 쌍들 사이의 가장자리들, 가장자리들의 쌍들 사이의 각도들, 및 정점들 및 각 정점에 대해 정점과 하나 이상의 관절들 사이의 거리를 포함하는 메쉬(mesh)에 대응한다.
일 실시예에서, HMD(헤드-마운티드 디스플레이)는,
웨어러블 디바이스 상의 상이한 위치들에 배치된 복수의 센서들에 결합된 위치 계산 회로로서, 각각의 센서는 사용자의 손목 또는 팔로부터 송신된 전기 신호들을 측정하도록 구성되고, 위치 계산 회로는 기계 학습 모델을 통해 전기 신호들로부터 도출된 정보를 사용하여 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하도록 구성되는, 위치 계산 회로; 및
위치 계산 회로로부터 계산된 출력을 수신하도록 구성된 디스플레이 패널을 포함할 수 있다.
일 실시예에서, HMD는,
사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 생성하도록 구성된 카메라로서, 위치 계산 회로는 또한 기계 학습 모델을 통해 이미지 신호들로부터 도출된 정보를 사용하여 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하도록 구성되는, 상기 카메라를 포함할 수 있다.
카메라는 깊이 카메라, 적색-녹색-청색(RGB) 카메라, 적외선 카메라, 또는 HMD에 장착된 카메라일 수 있다.
일 실시예에서, HMD는,
사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 생성하도록 구성된 카메라로서, 위치 계산 회로는 또한 기계 학습 모델을 통해 이미지 신호들로부터 도출된 정보를 사용하여 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 생성하기 위해 기계 학습 모델을 트레이닝하도록 구성되는, 상기 카메라를 포함할 수 있다.
위치 계산 회로는 또한,
이미지 신호들을 계산된 출력과 비교함으로써 비교 신호를 결정하고; 비교 신호들을 호스트 시스템으로 송신하도록 구성될 수 있다.
일 실시예에서, 방법은,
웨어러블 디바이스 상의 상이한 위치에 배치된 복수의 센서들로부터 트레이닝 전기 신호들을 수신하는 단계로서, 트레이닝 전기 신호들은 사용자의 손목 또는 팔로부터 송신되는, 상기 트레이닝 전기 신호들을 수신하는 단계;
트레이닝 전기 신호들로부터 트레이닝 특징들을 추출하는 단계;
사용자의 손목 또는 팔의 손에 대한 손 위치를 결정하기 위해 추출된 트레이닝 특징들을 사용하여 기계 학습 모델을 트레이닝하는 단계;
사용자의 손목 또는 팔로부터 송신되는 전기 신호들을 복수의 센서들로부터 수신하는 단계;
전기 신호들로부터 특징들을 추출하는 단계;
사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하기 위해 특징들을 기계 학습 모델로 송신하는 단계; 및
출력을 호스트 시스템으로 송신하는 단계를 포함할 수 있다.
일 실시예에서, 방법은,
AC 신호, DC 신호, 또는 복수의 주파수들을 포함하는 광대역 AC 신호를 사용자의 손목 또는 팔에 송신하는 단계를 포함할 수 있다.
일 실시예에서, 방법은 전기 신호들로부터 정보를 도출하는 단계를 포함할 수 있고, 이 정보는,
각 쌍의 센서들 사이에서 측정된 전기 임피던스에 기초한 합계 값들로서, 전기 임피던스는 한 쌍의 센서들에 의해 사용자의 손목 또는 팔에 송신된 프로브 신호들 및 전기 신호들에 기초하여 결정되는, 상기 합계 값들;
전기 신호들의 파동의 모양;
전기 신호들의 주파수-영역 표현; 및
전기 신호들의 시간-영역 샘플 중 하나 이상을 포함한다.
일 실시예에서, 방법은 전기 신호들로부터 도출된 정보로부터 특징들을 추출하는 단계를 포함할 수 있고, 이러한 특징은,
사용자의 손목 또는 팔의 손에 대한 손 위치를 정의하는 관절들 사이의 각도들; 및
사용자의 손목 또는 팔의 손에 대한 손 위치 변화의 감소된 표현으로서, 사용자의 손목 또는 팔의 손에 대한 현재 손 위치와 사용자의 손목 또는 팔의 손에 대한 이전 손 위치 사이의 차이를 정의하는 상기 손 위치 변화의 감소된 표현 중 하나 이상을 포함한다.
일 실시예에서, 방법은 프로브 신호를,
프로브 신호의 시간 기간;
프로브 신호의 진폭; 및
프로브 신호의 위상 중 하나 이상을 변화시킴으로써 사용자의 손목 또는 팔에 송신하는 단계를 포함할 수 있다.
일 실시예에서, 방법은,
프로브 신호의 송신을 다른 센서들에 의해 송신된 다른 프로브 신호들의 송신에 대하여 스태거링함으로써 제 1 센서에 의해 프로브 신호를 사용자의 손목 또는 팔에 송신하는 단계를 포함할 수 있다.
일 실시예에서, 방법은,
웨어러블 디바이스의 동작에 대응하는 관성 신호를 관성 측정 유닛에 의해 생성하는 단계; 및
기계 학습 모델을 통해 관성 신호로부터 도출된 정보를 사용하여 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하는 단계를 포함할 수 있다.
일 실시예에서, 방법은,
하나 이상의 카메라에 의해 사용자의 손목 또는 팔의 손에 대한 이미지 신호를 생성하는 단계; 및
기계 학습 모델을 통해 이미지 신호들로부터 도출된 정보를 사용하여 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하는 단계를 포함할 수 있다.
일 실시예에서, 방법은,
웨어러블 디바이스의 동작에 대응하는 관성 신호를 관성 측정 유닛에 의해 생성하는 단계; 및
관성 신호로부터 도출된 정보를 사용하여 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 생성하도록 기계 학습 모델을 트레이닝하는 단계를 포함할 수 있다.
일 실시예에서, 방법은,
하나 이상의 카메라에 의해 사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 생성하는 단계; 및
이미지 신호들로부터 도출된 정보를 사용하여 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타낸는 출력을 생성하도록 기계 학습 모델을 트레이닝하는 단계를 포함할 수 있다.
일 실시예에서, 방법은,
하나 이상의 카메라들로부터 사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 수신하는 단계;
이미지 신호들을 계산된 출력과 비교함으로써 비교 신호들을 결정하는 단계; 및
비교 신호를 호스트 시스템으로 송신하는 단계를 포함할 수 있다.
본 발명에 따른 실시예에서, 하나 이상의 컴퓨터-판독가능 비-일시적 저장 매체는 본 발명에 따른 방법 또는 상술한 실시예들 중 임의의 것을 수행하도록 실행될 때 동작 가능한 소프트웨어를 구현할 수 있다.
본 발명에 따른 실시예에서, 시스템은 하나 이상의 프로세서; 및 프로세서들에 결합되고 프로세서들에 의해 실행 가능한 명령들을 포함하는 적어도 하나의 메모리를 포함할 수 있고, 프로세서들은 명령들을 실행할 때 본 발명에 따른 방법 또는 상술한 실시예들 중 임의의 것을 수행할 수 있다.
본 발명에 따른 실시예에서, 바람직하게 컴퓨터-판독가능 비-일시적 저장 매체를 포함하는 컴퓨터 프로그램 제품은, 데이터 처리 시스템에서 실행될 때, 본 발명에 따른 방법 또는 상술한 실시예들 중 임의의 것을 수행하도록 동작 가능할 수 있다.
본 발명에 따른 실시예들은 특히, 시스템, HMD 및 방법에 관한 첨부된 청구항들에 개시되며, 여기서 하나의 청구범위 카테고리에 언급된 임의의 특징은, 다른 청구범위 카테고리에서, 예컨대 HMD, 시스템, 저장 매체 및 컴퓨터 프로그램 제품에서도 청구될 수 있다. 첨부된 청구항들에서 다시 언급한 인용항들 또는 참조는 오로지 공식적인 이유로만 선택된다. 그러나, 임의의 이전의 청구항들(특히 다수의 인용항들)에 대한 의도적인 참조로 인한 임의의 주제가 또한 청구될 수 있어서, 청구항들 및 그 특징들의 임의의 조합이 개시되고, 첨부된 청구항들에서 선택된 종속항들에 관계없이 청구될 수 있다. 청구될 수 있는 주제는 첨부된 청구항들에서 설명된 특징들의 조합뿐만 아니라 청구항들에 있는 특징들의 임의의 다른 조합을 포함하며, 청구항들에 언급된 각각의 특징은 청구항들의 임의의 다른 특징 또는 다른 특징들의 조합과 조합될 수 있다. 또한, 본 명세서에 기술되거나 도시된 임의의 실시예들 및 특징들은 별도의 청구항에서, 및/또는 본 명세서에 기술되거나 도시된 임의의 실시예 또는 특징과 조합하여, 또는 첨부된 청구항들의 특징들 중 임의의 것과 함께 청구될 수 있다.
실시예들의 교시들은 첨부 도면들과 함께 다음의 상세한 설명을 고려함으로써 쉽게 이해될 수 있다.
도 1은 일 실시예에 따른 센서들의 어레이를 포함하는 웨어러블 디바이스의 예시적인 도면.
도 2a는 일 실시예에 따른 도 1의 XY 선을 따라 취한 웨어러블 디바이스의 예시적인 단면도.
도 2b는 일 실시예에 따른 사용자의 팔을 둘러싸는 센서들을 갖는 웨어러블 디바이스의 예시적인 단면도.
도 2c는 일 실시예에 따른 사용자의 손 모양 모델의 예시적인 도면.
도 3a는 일 실시예에 따른 센서들 어레이의 예시적인 도면.
도 3b는 일 실시예에 따른 센서들의 체커 보드 패턴의 예시적인 도면.
도 3c는 일 실시예에 따른 센서들의 불균일한 분포의 예시적인 도면.
도 4는 일 실시예에 따른 사용자의 손 위치에서의 변화들을 추적하기 위한 시스템의 예시적인 블록도.
도 5는 일 실시예에 따른 기계 학습 모델의 트레이닝과 관련된 구성요소들을 설명하는 예시적인 블록도.
도 6은 일 실시예에 따른 사용자의 손 위치를 추적하기 위한 예시적인 프로세스.
도면들은 단지 예시의 목적들을 위한 다양한 실시예들을 도시한다.
다음의 실시예들의 설명에서, 보다 철저한 이해를 제공하기 위해 다수의 특정 세부사항들이 설명된다. 그러나, 실시예들이 하나 이상의 이들 특정 세부사항들 없이 실시될 수 있음에 주목해야 한다. 다른 경우들에서, 공지된 특징들은 설명을 불필요하게 복잡하게 하는 것을 피하기 위해 상세히 설명되지 않았다.
실시예들은 본 명세서에서 유사한 참조 번호들이 동일하거나 기능적으로 유사한 요소들을 나타내는 도면들을 참조하여 설명된다. 또한 도면들에서, 각 참조 번호의 가장 왼쪽 숫자들은 참조 번호가 처음 사용된 도면에 대응한다.
실시예들은 전기 임피던스 측정을 사용하여 사람 손의 동작을 추적하기 위한 웨어러블 디바이스에 관한 것이다. 디바이스 상에 위치한 센서들은 사용자 팔의 힘줄들 및 근육들과 같은 내부 구조들로 프로브 신호들를 송신할 수 있고, 사용자 팔로부터 전기 신호를 수신할 수 있다. 특히, 팔의 내부 구조들과 그 상태는 프로브 신호들을 변경하여, 다른 전기 신호들이 센서들에 의해 수신된다. 다른 예에서, 센서들은 프로브 신호를 사용하지 않고 사용자의 팔 및 내부 구조들의 임피던스를 측정한다. 수신된 전기 신호들은 변할 수 있으며, 사용자의 손 위치에 대응할 수 있다. 전기 신호들로부터 특징들이 추출될 수 있다. 예를 들어, 전기 신호들은 전기 신호들에 대응하는 손 위치를 프로그램적으로 감지하기 위해 각 사용자에 대해 트레이닝될 수 있는 기계 학습 모델을 사용하여 신경망에 의해 처리될 수 있다.
웨어러블 디바이스의 예시적인 도면
도 1은 일 실시예에 따른 센서들의 어레이(108)를 포함하는 웨어러블 디바이스(100)의 예시적인 도면이다. 웨어러블 디바이스(100)는 플라스틱(예를 들어, 폴리에틸렌 또는 폴리프로필렌), 고무, 나일론, 합성물질, 폴리머, 등과 같은 가요성 기계적 기판일 수 있는 웨어러블 구조(116)를 포함한다. 웨어러블 구조(116)는 사용자의 손목 또는 팔(104)의 적어도 일부의 주위에 착용되도록 구성된다. 웨어러블 디바이스(100)는 웨어러블 구조(116) 상의 상이한 위치들에 배치된 센서들(112)을 포함한다. 예를 들어, 센서들은 센서들이 팔(104)과 전기적으로 접촉하도록 팔(104)과 대면하는 웨어러블 구조(116)의 내부 표면을 따른 패턴으로 배열될 수 있다.
각각의 센서(112)는 사용자의 손목 또는 팔(104) 내의 내부 신체 구조들의 동작 또는 상태에 대응하는 전기 신호를 측정한다. 일부 실시예들에서, 센서들(112)은 사용자의 손목 또는 팔(104)의 전기 임피던스를 측정하기 위해 웨어러블 구조(116) 상에 장착된 전극들을 포함한다.
일부 실시예들에서, 관성 측정 유닛(128)은 웨어러블 구조(116)에 고정되고 관성 측정 유닛(128)의 동작, 따라서 사용자의 팔(104)의 동작에 대응하는 관성 신호를 생성한다. 웨어러블 구조(116)는 웨어러블 디바이스(100)를 사용자의 손목 또는 팔(104)에 고정시킨다. 일부 실시예들에서, 웨어러블 구조(116)의 일부 또는 전부는 가요성 재료가 아닌 강성 재료일 수 있다. 예를 들어, 웨어러블 구조(116)는 센서들(112)을 포함하는 강성 몸체 부분, 및 사용자의 팔(104)에 몸체 부분을 고정시키는 밴드 부분을 포함할 수 있다. 일부 실시예들에서, 웨어러블 디바이스(100)는 관성 측정 유닛(128)을 포함하지 않는다.
웨어러블 디바이스(100)는 사용자의 손(120)에 대한 손 위치를 감지하기 위해 사용자의 팔(104) 상에 배치된다. 도 2c에 대해 도시되고 아래에 상세하게 기술된 바와 같이, 손 위치는 사용자의 손의 손바닥, 손가락 마디들 및 손가락들의 각도 및 위치를 포함하고, 손의 관절들, 관절들의 쌍들 사이의 가장자리들 및 가장자리들의 쌍들 사이의 각도들에 대응하는 파라미터들을 포함한다. 웨어러블 디바이스(100)상의 각 센서(112)는 팔(104)을 통해 전기 신호들을 수신하도록 개별적으로 기능할 수 있다. 다른 예에서, 센서들의 쌍들은, 일부 센서들이 프로브 신호들을 송신하고 일부 센서들이 전기 신호들을 수신하면서 함께 동작한다. 센서들(112)은 사용자의 손(120)의 위치를 나타내는 전기 신호들을 사용자의 팔(104)로부터 수신한다.
웨어러블 디바이스(100)는 휴대용, 경량 및 저전력일 수 있으며, 게임 컨트롤러, 미디어 컨트롤러, 키보드 컨트롤러, 로봇 디바이스 컨트롤러, 등으로 사용하기에 적합하다. 웨어러블 디바이스(100)는, 컴퓨팅 디바이스, VR 시스템 또는 HMD와 인터페이스하기 위한 마이크로-USB, 불루투스® 또는 Wi-Fi 접속을 포함할 수 있다. 일부 실시예들에서, 웨어러블 디바이스(100)는 VR 시스템에서 완전한 손 모델을 렌더링하거나 실제 환경들에서 인간-물체 상호작용을 추적하는데 사용될 수 있다.
일부 실시예들에서, 센서들(112)은 사용자의 손(120)에 대한 손 위치를 결정하는데 사용된 입력들을 생성하기 위해 전기 임피던스 단층촬영(EIT)을 사용하는 전극들을 포함한다. EIT는 사용자의 손(120)의 전기 전도도, 유전율 또는 임피던스가 표면 전극 측정들로부터 추론될 수 있는 비침습적 방법이다. 웨어러블 디바이스(100)는 단일 주파수에서 AC 신호를 인가할 수 있거나, 사용자의 손(120) 내의 조직들을 더 잘 구별하기 위해 다수의 주파수들을 사용할 수 있다. 일부 실시예들에서, AC 신호들은 주파수들의 스펙트럼을 포함하는 광대역 신호들에 대응한다.
AC 신호들은 센서들(112)의 일부 또는 전부에 인가될 수 있고, 결과 전압들은 센서들(112)에 의해 수신될 수 있다. 결과 임피던스들 및 그들의 위상들은 측정된 전류들 및 전압들로부터 결정된다. 상이한 임피던스 값들은 사용자의 손목 또는 팔의 내부 구조들(예를 들어, 관절들, 뼈들, 힘줄들, 등)의 상이한 상태들 또는 배열들, 및 따라서 상이한 손 위치들에 대응한다. 이러한 프로세스는 센서들(112)에 의해 전압들 및/또는 전류들의 측정들의 세트를 생성하기 위해 반복될 수 있다. 센서들(112)은, 도 2a, 도 2b, 도 3a, 도 3b 및 도 3c를 참조하여 아래에 도시되고 설명된 바와 같이 상이한 구성들로 배열될 수 있다. 일부 실시예들에서, 도 2b를 참조하여 아래에 도시되고 설명된 바와 같이, 각각의 센서(112) 및 관성 측정 유닛(128)은 센서들의 어레이(108)가 사용자의 팔(104)의 상이한 영역들로부터 전기 신호들을 커버하고 수신할 수 있도록 사용자의 팔(104)의 둘레를 감싸는 웨어러블 구조(116) 상에 장착된다.
일부 실시예들에서, 센서들(112)은 사람의 피부와 접촉하도록 설계된 전극들을 포함한다. 전극들은 원형, 정사각형 또는 직사각형일 수 있고, 직경 또는 선형 크기의 범위일 수 있다. 일부 실시예들에서, 전극들은 1 내지 10mm 크기의 범위일 수 있다. 전극들은 Ag-AgCl과 같은 금속 재료 또는 폴리우레탄(PU)과 혼합된 (3,4- 에틸렌디옥시티오펜)(PEDOT)과 같은 신축성 전도성 중합체로 제조될 수 있다. 전극들은 Ag-도금 폴리비닐리덴 플루오라이드(PVDF) 나노섬유 직물 및 금속 실들을 사용하여 제조될 수 있다. 도전재 및 패딩을 갖는 접촉 영역은 착용자의 안락을 개선하고 접촉 임피던스들을 감소시키기 위하여 각 전극 뒤의 웨어러블 디바이스(100) 상에서 사용될 수 있다. 전극과 피부 사이의 도전재는 프로필렌 글리콜 및 NaCl로 구성될 수 있는 전도성 겔을 사용한 "습식" 접속, 또는 전도성 중합체의 얇은 층(예를 들어, 탄소-도핑된 PDMS)과 같은 "건식" 접속일 수 있다.
일부 실시예들에서, 전극들은 10 내지 100kHz의 주파수에서 수 밀리 암페어의 AC 신호들을 사용자의 팔(104)에 인가할 수 있고, 이후 결과 전압 또는 전류를 측정하여 임피던스 값들 및 임피던스의 위상을 결정할 수 있다. 일부 실시예들에서, 전극들은 MHz 영역을 포함하는 복수의 주파수들을 포함하는 광대역 신호들에 대응하는 AC 신호들을 송신할 수 있다.
관성 측정 유닛(128)은 사용자의 팔(104)의 동작을 나타내는 정보를 생성한다. 관성 측정 유닛(128)은 자이로스코프, 가속도계 및/또는 자력계를 포함할 수 있다. 관성 측정 유닛(128)은 사용자의 손(120) 또는 팔(104)을 둘러싸는 힘들, 각속도 및/또는 자기장을 측정 및 보고한다. 예를 들어, 관성 측정 유닛(128)은 하나 이상의 가속도계들을 사용하여 선형 가속도를 감지하고, 하나 이상의 자이로스코프들을 사용하여 회전 속도를 감지한다. 관성 측정 유닛(128)의 예시적인 구성은 피치, 롤(roll) 및 요(yaw)의 3개의 축 각각에 대해 축당 하나의 가속도계, 자이로 미터 및 자력계를 포함할 수 있다. 웨어러블 디바이스(100)는 사용자의 팔(104)이 이동하고 있음을 감지하고, 센서들(112)로부터의 전기 신호들과 결합하여, 사용자 손 위치의 식별을 향상시키고, 제스처 식별을 용이하게 한다. 생성된 관성 신호들은 전류, 전압 또는 디지털 데이터일 수 있다.
추적 암밴드의 예시적인 단면도
도 2a는 일 실시예에 따라 도 1에 도시된 선 XY를 따라 취해진 웨어러블 디바이스(100)의 예시적인 단면도(200)이다. 단면도(200)는 사용자의 팔(104) 및 사용자의 팔(104) 내의 힘줄(204)을 도시한다.
웨어러블 디바이스(100)는 팔(104)을 통해 도전재(120)를 경유하여 프로브 신호(212)를 송신하는 센서(112)를 갖고 사용자의 손목 또는 팔(104)에 착용된다. 도전재(120)는 센서들(112)과 팔(104)의 피부 사이의 접촉에서 프로브 신호들(212)에 제공되는 임피던스를 감소시킨다. 일부 실시예들에서, 센서들(112)의 어레이(108)는 손목 또는 팔(104) 주위를 완전히 감싸지 않고, 도 2a에 도시된 바와 같이 오로지 손목 또는 팔(104)의 손바닥 측에만 배치될 수 있다. 프로브 신호(212)는 힘줄(204)과 같은 팔(104)의 내부 구조들을 통과할 수 있고, 도시된 센서(112)(또는 다른 센서(112))에 의해 전기 신호(216)로서 감지될 수 있다. 센서(112)는 AC 신호들 또는 DC 신호들을 프로브 신호(212)로서 사용자의 손목 또는 팔(104)에 송신하는 전극을 포함할 수 있다.
일부 실시예들에서, 프로브 신호들(212)은 일정 범위의 주파수들을 포함하는 광대역 AC 신호들이다. 예를 들어, 프로브 신호들(212)은 주파수 영역에서 확산될 수 있어서, 더 넓은 대역폭을 갖는 신호들(212)을 초래할 수 있다. 무엇보다도 광대역 신호들의 사용은 신호 간섭의 영향을 감소시킨다. 일부 실시예들에서, 프로브 신호들(212)은 배터리와 같은 전원에 의해 생성되고 고정된 크기(진폭)를 갖는 DC 신호들일 수 있다.
일부 실시예들에서, 프로브 신호들(212)은 정현파 또는 AC 파형과 같은 시변 파형을 가질 수 있다. 예를 들어, 프로브 신호(212)는 시간에 대해 각각 양의 최대값과 음의 최대값 사이에서 교대로 매 반주기마다 극성을 연속적으로 변경할 수 있다. 프로브 신호(212)의 시간 기간은 파형이 처음부터 끝까지 반복되는데 걸리는 시간의 길이(초)이다. 진폭은 볼트 또는 암페어로 측정된 신호 파형의 크기 또는 강도이다. 각 프로브 신호(212)의 위상은 다른 센서의 프로브 신호 또는 접지와 같은 공통 기준에 비교하여 측정된다. 위상차로 인해, 임의의 센서 상의 전기 신호(216)는 다른 센서들 중 하나 이후에 다른 시간에 피크 값에 도달한다. 일부 실시예들에서, 각각의 센서(112)는 또한 프로브 신호(212)의 시간 기간, 프로브 신호(212)의 진폭 및 프로브 신호(212)의 위상 중 하나 이상을 변화시킴으로써 프로브 신호들(212)을 사용자의 손목 또는 팔(104)에 송신한다.
일부 실시예들에서, 센서들(112)은 프로브 신호들(212)을 스태거링 방식으로 사용자의 손목 또는 팔(104)에 송신하며, 여기서 센서들의 상이한 서브세트는 상이한 시간에 프로브 신호들(112)을 송신한다. 둘 이상의 센서들(112)로부터의 프로브 신호들(212)은 10 내지 100kHz의 주파수에서 전형적으로 수 밀리암페어의 교류 전류들을 송신할 수 있다. 나머지 센서들은 결과적인 전압 신호(216)를 측정하기 위해 사용될 수 있다. 이 절차는 이후 프로브 신호들(212)을 방출하도록 선택된 센서들의 쌍들의 순서를 정의하는 다수의 자극 패턴들에 대해 반복될 수 있다. 일부 실시예들에서, 단일 전류원은 멀티플렉서를 사용하여 다수의 센서들(112) 사이에서 전환되어, 프로브 신호들(212)을 생성한다. 일부 실시예들에서, 디지털-아날로그 변환기에 의해 각각 제어되는 각 센서(112)에 대해 하나씩 전압-전류 변환기들의 시스템이 프로브 신호(212)를 생성하는데 사용된다.
각각의 전기 신호(216)는 프로브 신호(212)가 AC 신호인 경우, 전압 및 전압의 위상, 또는 전류 및 전류의 위상과 같은 특성들을 포함할 수 있다. 프로브 신호(212)에 DC 신호가 사용되는 경우, 전기 신호(216)는 DC 신호의 크기를 포함한다. 전기 신호(216) 측정들은 센서들(112)에 걸쳐 다중화된 단일 전압 측정 회로 또는 각 센서(112)에 대한 개별 회로에 의해 수행될 수 있다. 일부 실시예들에서, 아날로그 복조 회로는 아날로그-디지털 변환기에 의한 추가 처리 이전에 교류 전압을 DC 레벨로 변환하는데 사용될 수 있다. 일부 실시예들에서, 교류 신호는 디지털 복조를 수행하기 전에 직접 변환될 수 있다. 디바이스(100)는 다수의 주파수들에서 동작할 수 있고, 전기 신호(216)의 전압의 크기 및 위상 모두를 측정할 수 있다. 전기 신호(216)로부터 유도된 임피던스는, 전기 신호(216)에 적어도 부분적으로 기초하여 이미지 재구성 및 디스플레이를 수행하기 위하여, 컴퓨팅 디바이스(예를 들어, 웨어러블 디바이스(100)와 통합된 별도의 호스트 시스템 또는 프로세서)로 전달될 수 있다.
일부 실시예들에서, 센서들(112)의 각 쌍 사이의 전기 임피던스의 위상 데이터는 센서들의 쌍 사이에서 측정된 전기 신호(216)로부터 추출된다. 센서들로부터 위치 계산 회로로 송신되는 임피던스 데이터 스트림은 센서들의 각 쌍으로부터의 쌍별 임피던스 측정들의 세트들을 포함한다. 센서들의 개수가 N으로 표시되면 N2개의 임피던스 값들을 초래하는 쌍별 측정들을 수행하기 위해 센서들의 각 조합이 사용된다. 일부 실시예들에서, 측정된 전기 신호들(216)로부터 추출된 정보는 센서들의 각 쌍에 대해 시간에 따른 임피던스 변화(임피던스/s)를 포함한다. 이 임피던스/s는 시간에 따른 사용자의 팔(104)의 상태의 변화들을 나타내며, 따라서 사용자 손 위치를 결정하는데 사용된다.
센서들(112)은 힘줄(204)과 같은 연조직의 상태를 감지하기 위해 사용자의 손목 또는 팔(104)을 가로질러 웨어러블 구조(116) 상에 배열된다. 웨어러블 디바이스(100)는 사용자의 손(120)에 대한 손 위치를 결정하기 위해 근육 수축들, 힘줄(204) 운동, 힘줄(204) 길이 및 관절 강성 중의 임의의 것 또는 전부를 측정할 수 있다. 예를 들어, 사용자의 팔(104)로부터 측정된 이러한 값들의 조합들은 사용자의 손(120) 내의 관절들 사이의 뼈들에 의해 형성된 각도를 나타낼 수 있다. 손의 위치는 전기 신호(216)로부터 도출된 손의 관절들 사이에 형성된 각도들을 나타내는 값들의 집합으로 표현될 수 있다.
웨어러블 디바이스(100)는 손목에 의해 손(120)에 연결된 팔(104) 내의 구조들의 상태를 결정함으로써 동작한다. 예를 들어, 요골(radius) 및 척골(ulna), 요골 경상돌기 및 척골 경상돌기, 손목 뼈, 중수골, 등과 같은 뼈의 상태는 사용자의 손(120)의 위치를 식별하도록 결정될 수 있다. 사용자의 손(120)의 위치를 식별하기 위해 전기 신호(216)로부터 중수지 수근골 관절(carpometacarpophalangeal joint), 중수지 관절(metacarpophalangeal joint), 및 지절간 관절(interphalangeal joint), 등과 같은 관절들의 상태는 사용자의 손(120)의 위치를 식별하기 위해 전기 신호들(216)로부터 결정될 수 있다. 진성 근육들과 같은 근육들, 굴근 힘줄들, 펴짐근 힘줄들, 힘줄 외피들과 같은 힘줄들, 및 중앙 신경 및 척골 신경의 상태는 사용자의 손(120)의 위치를 식별하기 위해 전기 신호들(216)로부터 결정될 수 있다. 다른 장점들 중에서, 웨어러블 디바이스(100)는 물체들을 잡을 때 사용자 손의 압력을 결정할 수 있고, 손(120) 안에 물체를 움켜쥐는 사용자와 빈 손(120)으로 움켜쥐는 제스처를 하는 사용자를 구별할 수 있다.
도 2b는 일 실시예에 따른, 사용자의 팔(104)을 둘러싸는 센서들(112)을 갖는 웨어러블 디바이스(250)의 예시적인 단면도이다. 웨어러블 구조(116)는 사용자의 손목 또는 팔(104)을 둘러싼다. 팔(104)의 일측 상의 센서들은 프로브 신호들(212)을 사용자의 팔에 송신할 수 있고, 팔(121) 다른 측 상의 센서들은 사용자 팔(104)의 힘줄(204)을 통해 이동하는 전기 신호들(256)을 수신할 수 있다. 이러한 방식으로, 손목 또는 팔(104)의 단면 임피던스 특성들을 측정할 수 있다.
예시적인 손 모양 모델
도 2c는 일 실시예에 따른 사용자의 손 모양 모델(280)의 예시적인 도면이다. 일부 실시예들에서, 사용자의 손 위치는 손 모양 모델(280)을 참조하여 표현된다. 손 모양 모델(280)은 사용자의 손목 또는 팔(104)의 손(120)의 관절들, 관절들의 쌍들 사이의 가장자리들, 가장자리들의 쌍들 사이의 각도들의 범위, 및 정점들 및 각 정점에 대해 정점과 하나 이상의 관절들 사이의 관계(예를 들어, 거리)를 포함하는 메쉬에 대응하는 파라미터를 포함한다. 웨어러블 디바이스(100)에 의해 생성된 전기 신호들은 관절들 사이의 가장자리들의 쌍들 사이에 정해진 각도들과 같은 손 모양 모델(280)을 참조하여 손 위치를 결정하는데 사용된다.
손 모양 모델(280)은 손(120)의 변형 가능한 모양 및 크기를 정의한다. 예를 들어, 손 모양 모델(280)은 골격(282) 및 메쉬(284)를 포함한다. 골격(282)은 골격의 노드들(관절들)을 나타내는 손 특징들(286)을 포함한다. 적어도 일부 손 특징 들(286)은 다른 손 특징들(286) 사이에 고정된 거리들을 가지며, 이는 골격(282)의 손 가장자리들(288)에 의해 도시된다. 손 가장자리들(288)은 손(120)의 뼈들을 위한 모델들이고, 손 특징들(286)은 뼈들을 연결하는 관절들을 위한 모델들이다.
각 손 특징(286)은 관절의 운동 범위를 정의하는 하나 이상의 자유도(DOF)와 관련된다. 예를 들어, 손목의 손 특징은 2개의 자유도(예를 들어, 피치 및 요)를 포함한다. 다른 예에서, 각각의 손가락 마디의 손 특징들(286)은 2개의 자유도(예를 들어, 롤 및 요)를 포함한다. 또 다른 예에서, 각 손가락 관절의 손 특징들(286)은 1개의 자유도(예를 들어, 요)를 포함한다. 자유도는 회전 또는 병진 자유도를 포함할 수 있다. 각각의 자유도는 관절이 자유도를 따라 얼마나 이동할 수 있는지를 나타내는 최대값 및 최소값에 의해 정의될 수 있는 것과 같은 값들의 범위와 관련될 수 있다. 손 위치는 손 모양 모델(280)의 특정 상태에 의해 정의된다. 예를 들어, 손 특징들(286)의 각 자유도에 대한 값들의 세트는 특정 손 자세를 정의할 수 있다.
손 모양 모델(280)의 메쉬(284)는 사용자 손 모델(280)의 표면을 정의한다. 메쉬(284)는 정점들을 포함할 수 있고, 여기서 각 정점은, 손 가장자리(288)을 따른 손 특징(286) 또는 위치와 같은 골격(282)의 일부에 부착된다. 상호 접속될 때 정점들은 손 표면의 모델을 정의하는 다각형 메쉬를 형성한다. 예를 들어, 정점은 부착된 손 특징(286)으로부터 미리 정해진 거리를 가질 수 있다. 손 특징(286)이 이동되면, 부착된 정점들은 메쉬(284)가 골격(282)의 동작에 따라 변하도록 적절하게 이동한다. 일부 실시예들에서, 메쉬(284)의 정점들은 골격(282)의 하나보다 많은 위치에 부착될 수 있다.
센서들의 예시적인 배열 및 체커 보드 패턴
도 3a는 일 실시예에 따른 센서들(112)의 어레이(108)의 예시적인 도면이다. 각각의 센서(112)는 도 2a 및 도 2b를 참조하여 도시되고 설명된 바와 같이 웨어러블 구조(116)에 장착된다. 센서들(112)은 본 명세서에서 3개의 행들 및 5개의 열들을 갖는 직사각형 그리드로 배열될 수 있다. 어레이(108)는 관성 측정 유닛(128)과 함께 웨어러블 구조(116)에 장착될 수 있다. 일부 실시예들에서, 관성 측정 유닛(128)은 웨어러블 구조(116)에서 생략된다.
도 3b는 일 실시예에 따른 센서들(112)의 체커 보드 패턴 어레이(300)의 예시적인 도면이다. 각각의 센서(112)는 도 2a 및 도 2b를 참조하여 도시되고 설명된 바와 같이 웨어러블 구조(116)에 장착된다. 센서들(112)은 교대되는 체커 보드 패턴(300)으로 배열된다. 체커 보드 패턴 어레이(300)는 관성 측정 유닛(128)과 함께 웨어러블 구조(116) 상에 장착될 수 있다. 일부 실시예들에서, 관성 측정 유닛(128)은 웨어러블 구조(116)에서 생략된다.
도 3c는 일 실시예에 따른 센서들(112)의 불균일 분포 어레이(360)의 예시적인 도면이다. 각각의 센서(112)는 도 2a 및 도 2b를 참조하여 도시되고 설명된 바와 같이 웨어러블 구조(116) 상에 장착된다. 웨어러블 구조(116) 상의 센서(112)의 배치는 규칙적인 피치 값을 따르지 않고, 대신 센서(112)는 팔(140)에서 중요한 구조들의 감지를 최적화하도록 배치된다. 예를 들어, 센서들(112)의 더 큰 집중은 손목 수근관 영역과 같은 (예를 들어, 관절들과 손 위치 사이의 각도들을 추출하기 위해) 사용자의 팔(104) 내부에 더 높은 관심의 위치들을 커버하는 웨어러블 구조(116) 상의 클러스터(368)에 위치한다. 센서들(112)의 낮은 집중은 낮은 관심의 영역들(364)에 위치된다.
손 위치를 추적하기 위한 예시적인 시스템
도 4는 일 실시예에 따른, 사용자의 손 위치를 추적하기 위한 시스템의 예시적인 블록도이다. 시스템은 웨어러블 디바이스(100), 호스트 시스템(428) 및 헤드-마운티드 디스플레이(HMD)(424)를 포함한다. 웨어러블 디바이스는 센서들의 어레이(108) 및 센서들의 어레이(108)에 연결된 회로(400)를 포함한다. 도 4에 도시된 시스템은 가상 현실(VR) 시스템, 증강 현실(AR) 시스템, 또는 혼합 현실(MR) 시스템을 나타낼 수 있다.
센서들의 어레이(108)는 프로브 신호들(212)을 사용자의 팔(104)에 송신할 수 있고, 도 2a 및 도 2b와 대해 위에서 도시되고 설명한 바와 같이 사용자의 팔(104)로부터 전기 신호들(216)을 수신할 수 있다. 센서들의 어레이(108)는 신호들(404)을 회로(400)로 송신한다. 신호들(404)은 전기 신호들(216)일 수 있다. 회로(400)는 신호들(408)을 호스트 시스템(428)으로 송신한다. 신호들(408)은 전기 신호들(216), 전기 신호들(216)로부터 유도된 정보, 또는 전기 신호들(216)로부터 회로(400)에 의해 계산된 사용자의 손(120)의 위치를 기술하는 계산된 출력일 수 있다. 전기 신호들(216)로부터 도출된 정보는 전기 임피던스에 기초한 합계 값들 및 센서들(112)의 각 쌍 사이에서 측정된 임피던스의 위상을 포함할 수 있다. 전기 임피던스는 센서들(112)의 쌍에 의해 사용자의 손목 또는 팔(104)에 송신된 프로브 신호들(212)과 전기 신호(216)에 기초하여 결정된다.
일부 실시예들에서, 계산된 출력은 사용자의 손(120)에 대한 손 위치를 나타내는 정보의 임의의 이산적, 불연속 표현, 또는 연속 함수를 사용하여 사용자의 손(120)의 위치 변화를 나타내는 아날로그 신호일 수 있다. 웨어러블 디바이스(100), 호스트 시스템(428) 및 HMD(424)는 유선 및/또는 무선 통신 시스템들 모두를 사용하여 근거리 및/또는 광역 네트워크들의 임의의 조합을 포함할 수 있는 네트워크(412)를 통해 통신할 수 있다.
호스트 시스템(428)은 입력 인터페이스 회로(432), 메모리(436), 출력 인터페이스 회로(440), 위치 계산 회로(448) 및 카메라(452)를 포함할 수 있다. 입력 인터페이스 회로(432), 메모리(436), 출력 인터페이스 회로(440), 위치 계산 회로(448) 및 카메라(452)는 버스(444)를 통해 통신할 수 있다. 입력 인터페이스 회로(432)는 센서들(112)로부터 전기 신호들(216)을 수신한다. 일부 실시예들에서, 입력 인터페이스 회로(432)는 관성 측정 유닛(128)으로부터 관성 신호를 수신하거나/수신하고 하나 이상의 카메라들로부터 이미지들을 수신한다.
입력 인터페이스 회로(432)는 센서들의 어레이(108)의 각 센서(112)로부터 전기 신호들(216)을 수신하기 위해 디지털 로직 및/또는 아날로그 회로로 구성된 인터페이스 회로이다. 입력 인터페이스 회로(432)는, 전류의 자기장들(인덕턴스)에 의해 자기 유도된 사용자의 손목 또는 팔(104)에서의 전압들의 유도와 같은 전기 신호들(216)로부터 정보를 도출할 수 있다. 유도된 정보는 전압들에 의해 유도되는 사용자의 손목 또는 팔(104)의 내부 구조들에서의 전하들의 정전기 저장(커패시턴스)을 나타낼 수 있다. 정보를 도출하는 것은, 합계 값을 결정하기 위하여 위상 결정, 힐버트 변환(Hilbert Transforms), 등을 사용하는 것과 같은 전기 신호들(216)을 분석하는 것을 포함할 수 있다. 센서들(112)이 DC 신호를 사용자의 손목 또는 팔(104) 내로 인가하는 경우, 도출된 정보는 제로 위상 각을 갖는 임피던스를 나타낼 수 있다.
도출된 정보는 전기 신호들(216)의 파동의 모양를 나타낼 수 있다. 예를 들어, S자형 모양은 단일 주파수를 나타낼 수 있는 반면, 정사각형 펄스들은 주파수들의 스펙트럼을 나타낼 수 있다. 정보를 도출하는 것은, 예를 들어 수신된 전기 신호(216)의 파형의 분석적으로 정의된 모양을 감지하기 위해 허프(Hough) 변환을 사용함으로써, 수신된 전기 신호들(216)의 파형의 모양을 추출하는 것을 포함할 수 있다.
도출된 정보는 전기 신호들(216)의 주파수-영역 표현을 나타낼 수 있다. 정보를 도출하는 것은 전기 신호들(216)의 주파수 영역 표현을 생성하는 것을 포함할 수 있다. 전기 신호들(216)을 시간 또는 공간 영역에서 주파수 영역으로 변환하는 것, 예를 들어 고속 푸리에 변환(FFT)과 같은 푸리에 변환을 사용하는 것은 전기 신호들(216)의 주파수 영역 표현을 생성하기 위해 상용될 수 있다. 전기 신호들(216)로부터 도출된 예시적인 주파수 영역 정보는 존재하는 주파수, 누락된 주파수, 등의 각 주파수의 크기 및 위상 성분이다.
유도된 정보는 전기 신호들(216)의 시간-영역 샘플을 나타낼 수 있다. 정보를 도출하는 것은 전기 신호들(216)의 시간-영역 샘플링을 수행하는 것을 포함할 수 있다. 시간-영역 샘플링은 전기 신호들(216)을 시간 및/또는 공간에서의 한 점에서의 값들의 세트와 같은 이산-시간 샘플들의 세트로 감소시킨다.
메모리(436)는 하나 이상의 메모리 카드들 및 컴퓨터 하드 드라이브들에 저장된 데이터베이스, 테이블, 파일, 등으로 구성될 수 있다. 일부 실시예들에서, 메모리(436)는 도 2c를 참조하여 위에서 상세히 도시되고 설명된 바와 같이, 손 추적을 위한 사용자 손 모양 모델(280)을 저장한다. 사용자 손 모양 모델(280)은 3차원(3D) 공간에서의 손의 모양을 정의하고, 손(120)의 자세 또는 위치를 정의하도록 변형될 수 있다. 사용자 손 모양 모델(280)은 관절을 나타내는 "손 특징들"을 포함한다. 이들 "손 특징들"(286)은 사용자의 관절들 자체를 나타내며, 전기 신호들(216)로부터 위치 계산 회로(448)에 의해 추출된 "특징들(508)"과 상이하다. 전기 신호들(216)로부터 위치 계산 회로(448)에 의해 추출된 특징들(508)은 손 특징들(286) 사이에 정의된 각도들을 나타내는 값들의 세트이다.
손 특징들(286)은 관절 방향들을 나타내는 자유도들을 포함할 수 있다. 따라서, 사용자의 손 위치 또는 손 위치의 변화들은 사용자 손 모양 모델의 관절들의 각각에 대한 관절 방향들을 나타내는 값들의 세트에 의해 정의될 수 있다. 사용자 손 모양 모델(280)에 대한 설명은 2017년 4월 13일자로 출원된 미국특허출원 제15/487,355호에 있으며, 이 특허출원은 그 전체가 본원에 참조로 포함된다. 일부 실시예들에서, 사용자를 위해 맞춤화된 사용자 손 모양 모델(280)은 10가지 주요 구성요소 손 모양 모델들의 가중치 조합과 같은, 기본적인 구성요소의 손 모양 모델들의 한 세트로서 생성될 수 있다. 각각의 주요 구성요소 손 모양 모델은 사용자 손 모양의 선형적으로 상관되지 않은 파라미터를 제어할 수 있다. 제한된 수의 주요 구성요소 손 모양 모델들의 사용은 사용자 손 모양의 결정을 더 적은 수의 변수들로 감소시키고, 2017년 4월 13일자로 출원된 미국특허출원 제15/487,361호에 기재되어 있으며, 이 특허출원은 그 전체가 본원에 참조로 포함된다.
위치 계산 회로(448)는 입력 인터페이스 회로(432)에 결합된다. 위치 계산 회로(448)는 기계 학습 모델에 대한 입력으로서 전기 신호들(216)로부터 추출된 특징들을 사용하여 사용자의 손(120)의 위치 및/또는 사용자 손(120)에 대한 손 위치의 변화를 나타내는 출력을 계산한다. 예를 들어, 기계 학습 모델은 입력으로서 전기 신호들(216)과 출력으로서 손 모양 모델(280)의 파라미터들 사이의 관계들을 정의할 수 있다. 위치 계산 회로(448)는 명령들에 의해 지정된 기본 산술, 논리, 제어 및 입출력(I/O) 동작들을 수행함으로써 컴퓨터 프로그램의 명령들을 수행하는 중앙 처리 유닛(CPU)의 일부일 수 있다.
일부 실시예들에서, 도 4에 도시된 호스트 시스템(428)의 하나 이상의 구성 요소들은 HMD(424) 또는 웨어러블 디바이스(100) 내에 위치한다. 예를 들어, 계산 회로(448)는 웨어러블 디바이스(100) 또는 HMD(424)의 일부일 수 있는 회로(400)에 위치될 수 있다.
출력 인터페이스 회로(440)는 위치 계산 회로(448)에 결합되고, 사용자 손(120)에 대한 손 위치를 나타내는 계산된 출력을 송신한다. 예를 들어, 출력 인터페이스 회로(440)가 회로(400)에 포함되면, 그것은 계산된 출력을 HMD(424)의 호스트 시스템(428)에 전달할 것이다. 출력 인터페이스 회로(440)가 호스트 시스템(428)에 포함되면, 계산된 출력을 HMD(424)에 전달할 것이다.
도 5와 관련하여 아래에서 더 상세히 논의되는 바와 같이, 위치 계산 회로(448)는 기계 학습 모델 트레이닝 및/또는 추론을 포함한다. 예를 들어, 기계 학습 모델은 전기 신호들로부터 추출된 예시적인 특징들의 트레이닝 데이터 세트 및 대응하는 예상 출력들(예를 들어, 손 위치를 정의하는 값들의 세트)을 사용하여 트레이닝될 수 있다. 일부 실시예들에서, 트레이닝 데이터의 적어도 일부는, 도 5를 참조하여 아래에 상세히 설명되는 바와 같이 사용자가 광학 마커들을 사용하여 캡처되는 손 동작들 및 제스처들을 제공하는 트레이닝 프로세스에서 생성된다.
계산된 출력은 또한 사용자의 손(120)을 접촉하는 물체들에 사용자의 손(120)에 의해 가해지는 힘들을 설명할 수 있다. 힘들은 전기 신호들(216)에 기초하여 계산된 출력에 의해 설명되는 사용자의 손목 또는 팔(104) 내의 근육들, 힘줄들 및 다른 내부 구조들의 움켜쥔 상태에 의해 표현될 수 있다. 예를 들어, 센서들은, 조직 유형들과 골격 근육 및 다른 조직의 상이한 임피던스 스펙트럼 사이의 고유저항의 차이들에 기초하여 물체들에 힘들을 가하는 움켜쥔 생물학적 조직들의 수동 전기 특성들을 측정할 수 있다.
카메라(452)는 깊이 카메라, 적색-녹색-청색(RGB) 카메라, 적외선 카메라 또는 HMD(424)에 장착된 카메라일 수 있다. 카메라(452)는 광의 알려진 속도에 기초하여 거리들을 분석함으로써 또는 이미지의 각 지점에 대해 카메라와 사용자의 손(120) 사이의 광 신호의 이동 시간을 측정함으로써 사용자 손(120)의 이미지를 캡처할 수 있다. 카메라(452)는 사용자의 손(120)의 컬러 이미지 획득들을 위한 3개의 RGB 컬러 신호들을 획득하기 위해 독립적인 전하결합소자(CCD) 센서들을 사용할 수 있다. 카메라(452)는 14,000nm(14㎛)의 파장들을 사용하는 적외선 복사를 사용하여 이미지를 형성하는 열화상 카메라(적외선 카메라 또는 열 이미지처리 카메라로도 지칭됨)일 수 있다. 일부 실시예들에서, 카메라(452)는 도 5를 참조하여 아래에서 설명된 바와 같이 트레이닝 데이터에 대한 실제 손 위치들을 캡처할 수 있다. 카메라(452)가 트레이닝을 위해 사용될 수 있지만, 손 위치들의 변화를 추론하기 위해 필요한 것은 아니다.
HMD(424)는 네트워크(412)를 통해 웨어러블 디바이스(100) 및 호스트 시스템(428)에 연결된다. HMD(424)는 컴퓨터 생성 이미지(CGI) 및/또는 물리적인 세계에서 라이브 이미지를 디스플레이하기 위해 사용자의 머리에 착용되거나 사용자 눈의 전면에 전자 디스플레이 패널을 갖는 헬멧의 일부로서 디스플레이 디바이스를 포함할 수 있다. 센서들의 어레이(108)의 전기 신호들(216)로부터 생성된 사용자 손(120)에 대한 손 위치를 나타내는 계산된 출력은 디스플레이 패널에 의해 사용자에게 제공된 가상 장면에서의 동작으로 변환될 수 있다. HMD(424)는 회로(400) 또는 호스트 시스템(428)이 사용자의 손(120)의 위치를 결정하기 위하여 전기 신호(216)를 처리한 후 사용자의 손(120)에 대한 손 위치에 대응하는 전기 신호들(216) 또는 계산된 출력일 수 있는 신호들(420)을 네트워크(412)로부터 수신한다. 다른 예에서, HMD(424)는 사용자 손의 위치에 대한 변화에 적어도 부분적으로 기초하여 생성되는 가상 장면을 포함하는 비디오 피드를 수신한다.
입력 인터페이스 회로(432)는 카메라(452) 또는 HMD(424)에 장착된 카메라로부터 이미지 신호들을 수신할 수 있다. 일부 실시예들에서, 기계 학습 모델을 트레이닝하기 위한 순방향 패스 동안, 위치 계산 회로(448)는 이미지 신호들을 계산된 출력과 비교함으로써 비교 신호들을 결정할 수 있다. 예를 들어, 위치 계산 회로(448)는 이미지 차이를 사용하여 사용자 손 모양 모델(280)의 관절 방향들의 값들에 대한 이미지 신호들과 계산된 출력 사이의 변화들을 결정할 수 있다. 위치 계산 회로(448)는 또한 이미지에서 도출된 손 위치와 기계 학습 모델에서 도출된 손 위치 사이의 차이에 대해 에러 또는 손실 함수를 결정할 수 있다. 역방향 패스에서, 기계 학습 모델의 파라미터들은 손실 또는 에러 기능을 최소화하도록 업데이트된다. 예를 들어, 기계 학습 모델의 파라미터들에 대해 기울기가 계산되고, 파라미터들은 음의 기울기 방향을 향해 최적화된다. 일부 실시예들에서, 이미지 신호들과 계산된 출력 사이의 에러는 결과에 기초하여 이미지로 변환될 수 있다. 예를 들어, 이미지 신호들과 계산된 출력 간의 불일치를 측정하기 위하여 허치슨 측정 기준(Hutchinson metric)이 사용될 수 있다. 출력 인터페이스 회로(440)는 또한 비교 신호들을 호스트 시스템(428) 또는 HMD(424)에 송신할 수 있다. 다른 유형들의 기계 학습이 사용될 수 있다. 일부 실시예들에서, 기계 학습 모델은 기울기-기반 최적화보다는 선형 회귀를 사용한다.
상술한 바와 같이, 전기 신호들(216)로부터 사용자 손(120)에 대한 손 위치를 나타내는 출력을 계산하는 것은 다른 실시예들에서 회로(400), 호스트 시스템(428), 또는 HMD(424) 내의 회로에 의해 수행될 수 있다.
예시적인 기계 학습 트레이닝
도 5는 일 실시예에 따른 기계 학습 모델(556)을 트레이닝하는 것과 관련된 구성요소들을 설명하는 예시적인 블록도이다. 일부 실시예들에서, 프로세스는 도 5와 관련하여 설명된 것들과 상이하고/하거나 추가적인 단계들을 가질 수 있다. 일부 단계들은 병렬로 실행될 수 있다. 대안적으로, 일부 단계들은 병렬로 실행될 수 있고, 일부 단계들은 순차적으로 실행될 수 있다. 대안적으로, 일부 단계들은, 이전 단계의 실행 전에 한 단계의 실행이 시작될 수 있는 파이프 라인 방식으로 실행될 수 있다.
블록도는 위치 계산 회로(448) 내의 특징 추출 회로(548) 및 기계 학습 모델(556)을 도시한다. 전기 신호들(216)로부터 도출된 정보는, 도 4를 참조하여 기술한 바와 같이, 특징 추출 회로(548)에 의해 수신된다. 정보는 각각의 센서들(112)의 각 쌍 사이에서 측정된 전기 임피던스의 임피던스 값들 및 위상 데이터를 포함할 수 있다. 예를 들어, 정보는 사용자 팔(104)의 내부 구조들(204)이 프로브 신호들(212)에 제공하는 전기적 어포지션(electrical opposition)을 나타낼 수 있다. 정보는 송신된 프로브 전류 신호들(212)에 수신된 전기 전압 신호들(216)의 복소 비율일 수 있고, 크기와 위상을 모두 가질 수 있다. 센서들의 개수가 N으로 표시되면, 이는 N2개의 이러한 임피던스 값들을 초래한다. 일부 실시예들에서, 정보는 센서들의 각 쌍에 대해 시간에 따른 임피던스의 변화(임피던스/s)를 포함한다. 이러한 임피던스/s는 시간에 따른 사용자 손(120)의 관절들 사이의 각도들의 변화들을 나타낸다.
특징 추출 회로(548)는 전기 신호들(216)로부터, 또는 전기 신호들(216)로부터 도출된 정보로부터 특징들(508)을 추출한다. 일부 실시예들에서, 특징들(508)은 사용자의 손목 또는 팔의 손(120)에 대한 손 위치를 정의하는 관절들 사이의 각도들을 포함한다. 본 실시예에서, 추출된 특징들(508)은 손 특징들(286) 사이에 정의된 각도들을 나타내는 값들의 세트이다. 관절들 사이의 각도들은 사용자 손 모양 모델(280)에 대해 정의될 수 있고, 손 모양 모델(280) 및 사용자의 손 위치에 대응하는 완전한 고-충실도의 손을 렌더링하는데 사용될 수 있다.
일부 실시예들에서, 특징들(508)은 사용자의 손목 또는 팔(104)의 손(120)에 대한 손 위치 변화의 감소된 표현을 포함한다. 다른 예에서, 특징 추출 회로(548)에 의해 추출된 특징들(508)은 감소된 표현을 사용하여 인코딩된다. 감소된 표현은 사용자의 손목 또는 팔(104)의 손(120)에 대한 현재 손 위치와 사용자의 손목 또는 팔(104)의 손(120)에 대한 이전 손 위치 사이의 차이를 정의한다. 인접한 이미지 프레임들 사이의 시간적 중복성은 감소된 표현에서의 압축을 가능하게 하기 위하여 사용될 수 있다. 예를 들어, 센서들(112)에 의해 송신된 데이터는 시간 샘플링을 위한 N2×8개의 이미지 프레임들에 대응할 수 있으며, 여기서 센서들(112)의 수는 N이고, N2은 사용자의 팔(104)의 전기 임피던스를 측정하는 센서 쌍들의 수이다.
일부 실시예들에서, 손 위치 변화들의 감소된 표현이 사용되는 경우, 센서들(112)에 의해 송신된 데이터는 하나의 이미지 프레임에서 다른 프레임으로의 변환을 설명하는 동작 벡터들만을 포함할 것이다. 8개의 이미지 프레임들에 대한 감소 표현(508)은 따라서 각 프레임에서 관절들에 대한 값들을 포함하지 않고, 연속 프레임들 사이에서 변하는 관절 값들만 포함할 것이다. 특히, 프레임들 사이의 변화들만이 데이터로 표현되기 때문에, 손 위치와 관련된 정보에 대한 처리 및 저장 요건들이 감소된다. 또한, 기계 학습 모델(556)은 압축된 트레이닝 데이터를 사용하여 트레이닝될 수 있고, 압축된 트레이닝 데이터를 출력할 수 있다.
일부 실시예들에서, 관성 측정 유닛(128)은 도 1을 참조하여 위에서 도시되고 설명된 바와 같이 웨어러블 디바이스(100)의 동작에 대응하는 관성 신호들(504)을 생성한다. 위치 계산 회로(448)는, 기계 학습 모델(556)을 갖는 신호들(216)로부터의 특징들에 덧붙여 관성 신호들(504)로부터 도출된 특징들을 사용하여, 사용자의 손목 또는 팔의 손(120)에 대한 손 위치를 나타내는 출력을 계산한다.
일부 실시예들에서, 카메라(452)는 사용자의 손목 또는 팔(104)의 손(120)의 손가락들 사이의 관절들 및 각도들의 이미지 신호들(520)을 생성한다. 위치 계산 회로(448)는, 기계 학습 모델(556)을 갖는 신호들(216)로부터의 특징들에 덧붙여 이미지 신호들(520)로부터 도출된 정보를 사용하여, 사용자의 손목 또는 팔(104)의 손(120)에 대한 손 위치를 나타내는 출력을 계산한다. 카메라로부터의 이미지 신호들(520)은 손 위치 특징(508)을 추출하기 위한 확장된 데이터 세트를 제공하고, 추출의 정확도를 증가시킬 수 있다.
일부 실시예들에서, 사용자의 손을 접촉하는 물체들에 대한 사용자의 손에 의해 가해지는 힘들을 설명하는 실측 자료의 예상된 출력들은 힘 센서들의 어레이를 사용하여 결정될 수 있다. 힘 데이터는 실측 자료에 대응한다. 기계 학습 모델(556)은 트레이닝 입력들과 손 활동 사이의 지속적인 상관관계를 학습하도록 트레이닝된다. 트레이닝에서, 사용자는 다양한 상이한 레벨들의 악력(즉, 손 활동)으로 힘 센서 어레이를 움켜쥘 수 있고, 웨어러블 디바이스(100)로부터의 전기 데이터가 수집된다. 근육들, 힘줄들, 및 다른 내부 구조들이 상이한 레벨들의 손 활동 하에서 변할 때 전기 신호들(216)은 변할 수 있다. 힘 센서 데이터("실측 자료(ground truth)")는 기계 학습 기술들을 사용하여 전기 신호 데이터(216)와 상관되며, 전기 데이터(216)로부터의 손 활동을 추정하기 위해 연속 모델이 생성된다.
일부 실시예들에서, 사용자의 손에 의해 가해지는 힘들을 설명하는 실측 자료의 예상된 출력들은 힘 센서들을 사용하지 않고 결정될 수 있다. 예를 들어, 주관적인 레벨들의 손 활동("실측 자료")은 전기 신호들(216)과 직접 상관될 수 있다. 트레이닝에서, 사용자는 "가벼운", "중간의" 또는 "강한", 등의 악력(즉, 손 활동)으로 물체를 움켜쥘 수 있다. 전기 신호들(216)은 이어서 웨어러블 디바이스(100)로부터 측정된다. 근육들, 힘줄들, 등이 상이한 레벨들의 손 활동 하에서 변할 때 전기 신호들(216)은 변할 수 있다. 사용자-표시된 손 활동들은 전기 신호 데이터(216)와 상관될 수 있다. 기계 학습 기술들은 전기 데이터(216)로부터 손 운동을 추정하기 위한 모델을 생성하는데 사용된다. 이 접근법의 장점은 힘 센서들을 요구하지 않음으로써 전체 시스템의 복잡성이 감소된다는 점이다. 또한, 이 접근법은 단일 힘 센서만이 장착된 물체를 움켜쥐는 대신 임의의 물체들을 이용한 트레이닝을 용이하게 한다.
기계 학습 모델(556)의 트레이닝 동안, 특징 추출 회로(548)는 기계 학습 모델(556)의 파라미터들을 조정하는 것을 용이하게 하기 위한 특징들(508)을 추출한다. 추출된 특징들(508)은 기계 학습 모델(556)에 대한 입력으로서 사용되며, 그 출력은 트레이닝 출력 데이터 저장부(516)에 저장된 실측 자료의 출력들과 비교될 수 있다. 특히, 전기 신호들(216) 또는 그들의 추출된 정보는 트레이닝 입력 데이터 저장부(512)로부터 검색되고, 특징 추출 회로(548)에 입력되어 특징들(508)을 생성한다.
트레이닝 입력 데이터 저장부(512)는 데이터베이스, 테이블, 파일, 등으로 구성될 수 있고, 하나 이상의 이동식 또는 비-이동식 메모리 카드들, 컴퓨터 하드드라이브들, 등에 저장될 수 있다. 일부 실시예들에서, 트레이닝 입력 데이터 저장부(512)는 트레이닝 입력 데이터의 하나 이상의 속성들을 각각 기술하는 다수의 데이터 필드들을 포함한다. 예를 들어, 트레이닝 입력 데이터 저장부(512)는 특징 추출 회로(548)에 대한 입력으로서 사용되는 전기 신호들(216), 관성 신호들(504), 이미지 신호들(520) 또는 이들의 추출된 값들을 포함할 수 있다. 트레이닝 출력 데이터 저장부(516)는 트레이닝 데이터 입력 저장부에 저장된 입력들에 부합하는 사용자 손(120)의 예상된 손 위치들을 저장한다. 일부 실시예들에서, 트레이닝 입력 데이터 저장부(512) 및 트레이닝 출력 데이터 저장부(516)는 다수의 사용자들로부터 캡처된 정보를 저장한다.
기계 학습 모델(556)은 트레이닝 입력 데이터 저장부(512) 및 트레이닝 출력 데이터 저장부(516)로부터의 정보를 포함하는 트레이닝 세트들을 사용하여 트레이닝된다. 트레이닝 출력 데이터 저장부(516)는 하나 이상의 이동식 또는 비-이동식 메모리 카드들, 컴퓨터 하드드라이브들, 등에 저장된 데이터베이스, 테이블, 파일, 등으로 구성될 수 있다. 트레이닝 출력 데이터 저장부(516)는 알려진 특징들(508)과 특징들(508)에 대응하는 알려진 손 위치들 사이의 연관성들을 저장할 수 있다. 트레이닝 출력 데이터 저장부(516)는 예상된 출력들, 즉 관성 신호들(504) 또는 카메라 프레임들로부터의 정보로부터 추출된 손 위치들을 저장할 수 있다.
일부 실시예들에서, 기계 학습 모델(556)을 트레이닝하기 위해 위치가 추적되는 사용자의 손(120)에는 광학 마커들이 장착된다. 광학 마커들은 광 반사기들(수동 마커들, 예를 들어, 재귀반사체들) 또는 광 방출기(능동 마커들, 예를 들어, LED들)일 수 있다. 사용자의 손(120)의 방향을 결정하기 위해, 수 가지 광학 마커들이 알려지 기하학적 구조로 배열될 수 있다. 추적 카메라는 광학 마커들에서 나오는 광을 스캔하고 감지하기 위하여 사용될 수 있다. 캡처된 이미지들은 잠재적 마커 위치들(2D 이미지 좌표들에서)을 식별하고 계산하기 위해 처리된다. 이러한 2D 데이터는 광학 마커들의 3D 위치들을 계산하기 위해 결합될 수 있다. 이러한 측정들의 결과들(광학 마커들의 위치들을 설명하는 좌표들, 따라서 마커들을 운반하는 사용자의 손(120)의 위치 및 방향)은 트레이닝 출력 데이터 저장부(516)에 저장되고, 기계 학습 모델(556)을 트레이닝하는데 사용된다.
일부 실시예들에서, 카메라(452)는 사용자의 손(120)의 동작에 대응하는 이미지 신호들(520)을 생성한다. 별도의 신경망은 사용자의 손목 또는 팔(104)의 손(120)에 대한 손 위치를 나타내는 이미지 신호들(520)로부터 도출된 예상된 출력을 생성하도록 트레이닝될 수 있다. 이러한 프로세스는 2017년 4월 13일에 출원된 미국특허출원 제15/487,355호, 및 2017년 4월 13일에 출원된 미국특허출원 제15/487,361호에 기술되어 있으며, 이들 특허출원은 그 전체가 본원에 참고로 포함된다. 이들 예상된 출력들은 트레이닝 출력 데이터 저장부(516)에 저장될 수 있다. 예를 들어, 위치 계산 회로(448)는 도 4를 참조하여 위에서 도시되고 설명된 바와 같이 카메라(452)로부터 이미지 신호들(520)을 수신할 수 있다. 임피던스의 각각의 N2개의 샘플들에 대해, 예상된 출력은 사용자의 손목 또는 팔(104)의 손(120)의 위치에서의 캡처된 변화들을 나타내는 8개의 카메라 프레임들에 대응한다. 위치 계산 회로(448)는 또한 HMD에 장착된 카메라로부터 이미지 신호들(520)을 수신함으로써 트레이닝 출력 데이터 저장부(516)에 대한 트레이닝 데이터 세트들을 생성할 수 있다.
일부 실시예들에서, 관성 측정 유닛(128)은 웨어러블 디바이스(100)의 동작에 대응하는 관성 신호(504)를 생성한다. 기계 학습 모델(556)은 사용자의 손목 또는 팔(104)의 손(120)에 대한 손 위치를 기술하는 관성 신호들(504)로부터 도출된 예상된 출력을 생성하도록 트레이닝된다. 이들 예상된 출력들은 트레이닝 출력 데이터 저장부(516)에 저장될 수 있다.
기계 학습 모델(556)을 트레이닝하는 목적은 트레이닝 데이터 세트들의 입력들 및 예상 결과들을 경험한 후에 새로운 보이지 않는 입력들에 대해 정확하게 수행할 수 있게 하는 것이다. 의사 결정 트리 학습, 연관 규칙 학습, 신경망들, 딥 러닝, 유도 로직 프로그래밍, 지원 벡터 기계들, 클러스터링, 베이지안 네트워크들, 강화 학습 및 표현 학습, 등을 포함하여 트레이닝에 대한 수 가지 상이한 접근법들이 사용될 수 있다. 기울기-기반 최적화 접근법에서, 비용 함수에서의 에러(순방향 패스) 및 모델의 파라미터들에 대한 기울기가 계산될 수 있고; 그 후, 파라미터들은 (역방향 패스에서) 음의 기울기 방향을 향해 이동될 수 있다. 신경망에서, 다수 층들의 비용 함수들이 있을 수 있고; 트레이닝은 각 층에 대해 수행된다. 선형 회귀에서 닫힌 형식의 해결책들이 계산되고, 출력이 직접 기록될 수 있다.
일부 실시예들에서, 기계 학습 모델(556)의 트레이닝은 2개 패스들로 달성될 수 있다. 먼저, 순방향 패스에서, 트레이닝 특징들(508)은 전기 신호들(216) 및 관성 신호들(504)로부터 유도된 임피던스로부터 추출된다. 이러한 방식으로, 전기 신호들(216)로부터 도출된 정보는 특징 추출 회로(548)에 입력된다. 특징 추출 회로(548)의 출력은 특징들(508)의 세트이다. 특징들(508)은 손 위치들을 정의하는 관절들 사이의 각도들에 대응한다. 일부 실시예들에서, 특징들은 사용자의 손목 또는 팔(104)의 손(120)에 대한 손 위치 변화의 감소된 표현에 대응한다. 따라서, 각각의 특징(508)은 입력들(216 및 504)의 세트로부터 추출된 출력이다. 위치 계산 회로(448)는 각각의 특징(508)과 트레이닝 데이터 출력 저장부(516)에 저장된 (예를 들어, 카메라(452)로부터의) 예상된 출력 사이의 에러 또는 손실 기능을 결정할 수 있다. 둘째, 역방향 패스에서 기계 학습 모델(556)의 파라미터들은 에러 또는 손실 기능을 최소화하도록 조정된다. 다음 순방향 패스에서, 이러한 업데이트된 기계 학습 모델(556)이 사용된다. 이러한 방식으로, 큰 볼륨의 트레이닝 세트들이 다수의 사용자들에 걸쳐 수집될 수 있다.
일부 실시예들에서, 기계 학습 모델(556)은 반복 신경망(RNN) 모델일 수 있으며, 이는 유닛들 사이의 연결이 지향된 사이클을 형성하는 인공 신경망의 클래스이다. 이것은 기계 학습 모델(556)의 내부 상태를 생성하여, 동적 시간 거동을 나타낼 수 있게 한다. 이 실시예에서, 위치 계산 회로(448)는 전기 신호들(216)로부터 추출된 특징들과 같은 입력들의 임의의 입력 시퀀스들을 처리하기 위해 내부 메모리를 사용할 수 있다.
일부 실시예들에서, 차원 감소(예를 들어, 선형 판별 분석(LDA), 원리 성분 분석(PCA), 등을 통한)는 특징들(508) 내의 데이터의 양을 감소시키고, 기계 학습 문제의 복잡성을 감소시키기 위해 완전한 손 모양 모델의 치수를 감소시키는데 사용될 수 있다. PCA는 특징 벡터(410) 내의 데이터의 양을 더 작고 보다 대표적인 데이터 세트로 감소시키기 위해 차원 감소(예를 들어, 선형 판별 분석(LDA), 원리 성분 분석(PCA), 등을 통해)를 적용할 수 있다. PCA는 직교 변환을 사용하여 상관된 변수들의 관측들의 세트를 주요 성분들이라고 하는 선형적으로 상관되지 않은 변수들의 한 세트의 값들로 변환하는 통계 절차이다. 주요 성분들의 수는 원래 변수들의 수 또는 관측들의 수보다 작거나 같다.
예를 들어, 완전한 손 모양 모델이 22개의 관절 각도들을 갖는 경우, 완전한 손 모양 모델에 대응하는 예상된 출력들은 이미지 신호들(520)로서 카메라(452)에 의해 측정될 수 있다. 이들 예상된 출력들은 PCA를 사용하여 더 작은 모델(예를 들어, 10개의 특징들)로 감소될 수 있고, 트레이닝 출력 데이터 저장부(516)에 저장될 수 있다. 기계 학습 모델(556)은 전기 신호들(216), 관성 신호들(504), 이미지 신호들), 또는 트레이닝 입력 데이터 저장부(512)에 저장된 감소된 모델(10개의 특징들)에 대응하는 추출된 값들의 트레이닝 세트들을 사용하여 트레이닝될 수 있다. 온라인 예측 또는 추론 프로세스에서, 입력 데이터는 감소된 손 모양 모델(10개의 특징들)에 대응하는 출력을 예측하기 위해 트레이닝된 모델에 의해 사용된다. 감소된 손 모양 모델(10개의 특징들)에 대응하는 출력은 사용을 위해 완전한 손 모양 모델(22개의 관절 각도들)로 다시 투영될 수 있다.
온라인 예측 또는 추론 프로세스에서, 위치 계산 회로(448)는 센서들(112) 및 관성 측정 유닛(128)으로부터 입력들(216 및/또는 504)을 수신하고(예를 들어, 라이브 환경에서), 트레이닝된 기계 학습 모델(556)을 통해 추출된 특징들(508)을 사용하여 출력을 계산한다. 이 방법의 이점들 및 장점들은 사용자를 위해 작은 세트의 입력 데이터(전기 신호들(216))가 생성된다는 것이다. 실시예들에서 어떠한 카메라 또는 이미지 처리도 필요하지 않지만, 모델(556)을 트레이닝할 때, 또는 모델(556)에 의해 계산된 출력과 라이브 이미지 신호들 사이의 에러들을 결정하기 위한 시스템의 교정을 위해, 모델(556)에 대한 입력들로서 이미지 신호들이 사용될 수 있다.
손 위치 추적을 위한 예시적인 프로세스
도 6은, 일 실시예에 따라, 트레이닝 전기 신호에 기초하여 사용자의 손 위치를 추적하기 위한 머신 학습 모델(556)을 트레이닝하는 프로세스(650) 및 전기 신호들(216)에 기초하여 사용자의 손 위치를 추정하기 위한 프로세스(650)를 도시하는 흐름도이다. 일부 실시예들에서, 프로세스들은 도 6과 관련하여 설명된 것들과 상이하고/하거나 추가적인 단계들을 가질 수 있다. 프로세스들의 단계들은 도 6과 관련하여 설명된 순서와 다른 순서들로 수행될 수 있다. 대안적으로, 단계들 중 일부는 병렬로 실행될 수 있고, 일부 단계들은 순차적으로 실행될 수 있다. 대안적으로, 일부 단계들은 파이프 라인 방식으로 실행되어 이전 단계의 실행 전에 한 단계의 실행이 시작될 수 있다.
기계 학습 트레이닝 프로세스(650)에서, 회로(400) 또는 호스트 시스템(428)은 사용자의 손목 또는 팔(104)의 적어도 일부 주위에 착용된 웨어러블 구조(116) 상의 상이한 위치에 배열된 센서들(112)로부터 전기 신호들(216)을 수신한다(600). 각각의 센서(112)는 사용자의 손목 또는 팔(104) 내의 구조들의 동작에 대응하는 전기 신호들(216)을 측정한다.
특징 추출 회로(548)는 전기 신호들(216)로부터 트레이닝 특징들(508)을 추출한다(608). 일부 실시예들에서, 센서들(112)의 각 쌍 사이에서 측정된 전기 임피던스의 임피던스 및 위상이 도출된다. 일부 실시예들에서, 측정된 전기 신호들(216)로부터 도출된 정보는 센서들의 각 쌍에 대해 시간에 따른 임피던스 변화(임피던스/s)를 포함한다. 전기 신호들(216) 또는 전기 신호들(216)로부터 도출된 정보로부터 추출된 특징들(508)은 사용자의 손목 또는 팔(104)의 손(120)의 위치들을 정의하는 관절들 사이의 각도들, 및 사용자의 손목 또는 팔(104)의 손(120)에 대한 손 위치의 변화의 감소된 표현을 포함할 수 있다.
프로세스(650)는 기계 학습 모델(556)을 생성하기 위해, 예컨대 머신 학습 모델(556)을 구현하는 신경망 층들에 대한 파라미터를 도출함으로써, 사용되는 트레이닝 프로세스이다. 프로세스(650)에서 기계 학습 모델(556)은, 특징들(508)에 기초하여 사용자의 손(120)에 대한 손 위치를 결정하기 위해, 추출된 특징들(508), 트레이닝 입력 데이터 저장부(512)로부터 알려진 손 위치들에 대응하는 정보, 및 트레이닝 출력 데이터 저장부(516)로부터의 예상된 출력들을 사용하여 트레이닝된다(612). 트레이닝 세트들을 생성하기 위해, 위치 계산 회로(448)는 도 4 및 도 5를 참조하여 위에서 도시되고 설명된 바와 같이 카메라(452)로부터 이미지 신호들(520)을 수신할 수 있다. 각각의 N2개의 임피던스 샘플들에 대해, 예상된 출력은 사용자의 손목 또는 팔(104)의 손(120)의 캡처된 위치들을 나타내는 8개의 카메라 프레임들에 대응할 수 있다. 트레이닝 프로세스(650)에 후속하여, 추론 프로세스(654)는 사용자에 대한 실시간 사용자 손 추적을 위해 수행될 수 있다.
손 위치 추론 프로세스(654)에서, 웨어러블 디바이스(100)의 센서들(112)은도 2a와 관련하여 위에서 도시되고 설명된 바와 같이, 프로브 신호들(212)을 사용자의 팔(104)의 내부 구조들(204)로 송신한다(616). 입력 인터페이스 회로(432)는 센서들(112)로부터 620개의 전기 신호들(216)을 수신한다. 전기 신호들(216)은 사용자의 손목 또는 팔(104) 내의 구조들의 이동에 대응한다.
특징 추출 회로(548)는 전기 신호들(216)로부터 도출된 임피던스 값들과 같은 정보로부터 특징들(508)을 추출한다(628). 위치 계산 구성요소(448)는 추론하기 위한 특징들(508)을 기계 학습 모델(556)로 송신하여, 사용자 손(120)에 대한 손 위치를 나타내는 출력을 생성한다(632). 유사한 특징 세트들을 사용하여 트레이닝된 기계 학습 모델(556)은 추론 동안 추출된 특징들(508)에 적용된다.
일부 실시예들에서, 새로운 특징들에 기초한 분류들, 이진수들 또는 다른 점수들은 기계 학습 모델(556)을 사용하여 결정된다. 일부 실시예들에서, 트레이닝 출력 데이터 저장부(516)에서 각각의 사용자 손 위치와 관련된 점수가 결정된다. 각각의 사용자 손 위치와 관련된 점수는 전기 신호(216)가 그 사용자 손 위치에 대응하는 가능성을 나타낼 수 있다.
일부 실시예들에서, 각각의 사용자 손 위치와 관련된 점수는 특징들(508)과 관련된 점수들의 가중 합계를 나타내는 표현을 평가함으로써 결정된다. 특징과 관련된 가중치는 사전결정, 예를 들어, 전문가 사용자에 의해 구성될 수 있다. 특정 사용자에 대한 특정 손 위치를 가장 잘 결정하는 특징들은 더 가중될 수 있다. 출력 인터페이스 회로(440)는 계산된 출력을 호스트 시스템(428) 또는 HMD(424)로 송신한다(636).
실시예들의 전술한 설명은 예시의 목적으로 제시되었다; 실시예들을 개시된 정확한 형태들로 제한하거나 철저하게 설명하려 의도하는 것은 아니다. 당업자들은 위의 개시사항에 비추어 많은 수정들 및 변형들이 가능하다는 것을 인식할 것이다.
마지막으로, 본 명세서에서 사용된 언어는 원칙적으로 가독성 및 교육 목적들로 선택되었으며, 본 발명의 주제를 정확하게 설명하거나 제한하기 위해 선택되지 않았을 수 있다. 그러므로, 그 범주는 본 상세한 설명에 의해서가 아니라 그에 기초하여 본 출원에 관한 청구항들에 의해 제한되는 것으로 의도된다. 따라서, 실시예들의 개시사항은 예시적인 것으로 의도되며, 다음의 청구항들에 제시된 범주를 제한하려는 것은 아니다.

Claims (64)

  1. 시스템에 있어서,
    웨어러블 디바이스로서, 상기 웨어러블 디바이스는 상기 웨어러블 디바이스 상의 상이한 위치들에 배치된 복수의 센서들을 포함하고, 각각의 센서는 사용자의 손목 또는 팔로부터 송신된 전기 신호들을 측정하도록 구성되는, 상기 웨어러블 디바이스; 및
    상기 센서들에 결합된 위치 계산 회로로서, 기계 학습 모델을 통해 상기 전기 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하도록 구성되는 상기 위치 계산 회로를 포함하는, 시스템.
  2. 제 1 항에 있어서, 상기 위치 계산 회로는 상기 웨어러블 디바이스 상에 또는 상기 웨어러블 디바이스 내에 위치되는, 시스템.
  3. 제 1 항에 있어서, 상기 위치 계산 회로는 상기 웨어러블 디바이스 외부의 호스트 시스템 상에 또는 상기 웨어러블 디바이스 내에 위치하는, 시스템.
  4. 제 1 항에 있어서, 각각의 센서는 전극 및 상기 전극과 상기 사용자의 손목 또는 팔 사이에 위치된 도전재(conductive agent)를 포함하고, 각 센서는 또한 교류(AC) 신호, 직류(DC) 신호, 또는 복수의 주파수들을 포함하는 광-대역 AC 신호를 상기 사용자의 손목 또는 팔에 송신하도록 구성되는, 시스템.
  5. 제 1 항에 있어서, 각각의 전기 신호는,
    전압 및 상기 전압의 위상;
    전류 및 상기 전류의 위상; 또는
    DC 신호의 크기
    중 하나를 포함하는, 시스템.
  6. 제 1 항에 있어서, 상기 센서들은 그리드 어레이 또는 체커 보드 패턴으로 배열되는, 시스템.
  7. 제 1 항에 있어서, 상기 전기 신호들로부터 도출된 정보는,
    센서들의 각 쌍 사이에서 측정된 전기 임피던스에 기초한 합계 값들로서, 상기 전기 임피던스는 상기 센서들의 쌍에 의해 상기 사용자의 손목 또는 팔에 송신된 프로브 신호들 및 상기 전기 신호들에 기초하여 결정되는, 상기 합계 값들;
    상기 전기 신호들의 파동의 모양;
    상기 전기 신호들의 주파수-영역 표현; 및
    상기 전기 신호들의 시간-영역 샘플
    중 하나 이상을 포함하는, 시스템.
  8. 제 1 항에 있어서, 상기 위치 계산 회로는 또한 상기 전기 신호들로부터 도출된 상기 정보로부터 특징들을 추출하도록 구성되며, 상기 특징들은,
    상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 정의하는 관절들 사이의 각도들; 및
    상기 사용자의 손목 또는 팔의 손에 대한 손 위치에서의 변화의 감소된 표현으로서, 상기 사용자의 손목 또는 팔의 손에 대한 현재 손 위치와 상기 사용자의 손목 또는 팔의 손에 대한 이전의 손 위치 사이의 차이를 정의하는 상기 감소된 표현
    중 하나 이상을 포함하는, 시스템.
  9. 제 1 항에 있어서, 각각의 센서는 또한 프로브 신호를,
    상기 프로브 신호의 시간 기간;
    상기 프로브 신호의 진폭; 및
    상기 프로브 신호의 위상
    중 하나 이상을 변화시킴으로써 상기 사용자의 손목 또는 팔에 송신하도록 구성되는, 시스템.
  10. 제 1 항에 있어서, 제 1 센서는 프로브 신호의 송신을 다른 센서들에 의한 다른 프로브 신호들의 송신에 대하여 스태거링(staggering)함으로써 상기 프로브 신호를 상기 사용자의 손목 또는 팔에 송신하도록 구성되는, 시스템.
  11. 제 1 항에 있어서, 상기 웨어러블 디바이스 및 상기 사용자의 팔의 동작에 대응하는 관성 신호들을 생성하도록 구성된 관성 측정 유닛을 더 포함하고, 상기 위치 계산 회로는 또한 상기 기계 학습 모델을 통해 상기 관성 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하도록 구성되는, 시스템.
  12. 제 11 항에 있어서, 상기 관성 측정 유닛은,
    자이로스코프;
    가속도계; 및
    자력계
    중 하나 이상을 포함하는, 시스템.
  13. 제 1 항에 있어서, 하나 이상의 각도들로부터 상기 사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 생성하도록 구성된 하나 이상의 카메라들을 더 포함하고, 상기 위치 계산 회로는 또한 상기 기계 학습 모델을 통해 이미지 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하도록 구성되는, 시스템.
  14. 제 13 항에 있어서, 상기 카메라는, 깊이 카메라, 적색-녹색-청색(RGB) 카메라, 적외선 카메라 또는 헤드-마운티드-디스플레이(HMD)에 장착된 카메라인, 시스템.
  15. 제 1 항에 있어서, 상기 웨어러블 디바이스의 동작에 대응하는 관성 신호들을 생성하도록 구성된 관성 측정 유닛을 더 포함하고, 상기 위치 계산 회로는 또한 상기 관성 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 생성하기 위해 상기 기계 학습 모델을 트레이닝하도록 구성되는, 시스템.
  16. 제 1 항에 있어서, 상기 사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 생성하도록 구성된 하나 이상의 카메라들을 더 포함하고, 상기 위치 계산 회로는 또한 상기 기계 학습 모델을 통해 상기 이미지 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 생성하기 위해 상기 기계 학습 모델을 트레이닝하도록 구성되는, 시스템.
  17. 제 1 항에 있어서, 상기 계산된 출력은 또한 상기 사용자의 손목 또는 팔의 손에 접촉하는 물체들에 대한 상기 사용자의 손목 또는 팔의 손에 의해 가해지는 힘들을 나타내는, 시스템.
  18. 제 1 항에 있어서, 상기 위치 계산 회로는 또한,
    HMD에 장착된 카메라로부터 이미지 신호들을 수신하고;
    상기 이미지 신호들을 상기 계산된 출력과 비교함으로써 비교 신호들을 결정하고;
    상기 비교 신호들을 호스트 시스템으로 송신하도록,
    구성되는, 시스템.
  19. 제 1 항에 있어서, 상기 계산된 출력은 손 모양 모델의 파라미터들을 포함하고, 상기 파라미터들은,
    상기 사용자의 손목 또는 팔의 손에 대한 복수의 관절들;
    상기 관절들의 쌍들 사이의 복수의 가장자리들;
    상기 가장자리들의 쌍들 사이의 복수의 각도들; 및
    복수의 정점들 및 각각의 정점에 대해 상기 정점과 하나 이상의 관절들 사이의 거리를 포함하는 메쉬
    에 대응하는, 시스템.
  20. HMD에 있어서,
    웨어러블 디바이스 상의 상이한 위치들에 배치된 복수의 센서들에 결합된 위치 계산 회로로서, 각각의 센서는 사용자의 손목 또는 팔로부터 송신된 전기 신호들을 측정하도록 구성되고, 상기 위치 계산 회로는 기계 학습 모델을 통해 상기 전기 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하도록 구성되는, 상기 위치 계산 회로; 및
    상기 위치 계산 회로로부터 상기 계산된 출력을 수신하도록 구성된 디스플레이 패널을 포함하는, HMD.
  21. 제 20 항에 있어서, 상기 사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 생성하도록 구성된 카메라를 더 포함하고, 상기 위치 계산 회로는 또한 상기 기계 학습 모델을 통해 상기 이미지 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하도록 구성되는, HMD.
  22. 제 21 항에 있어서, 상기 카메라는 깊이 카메라, 적색-녹색-청색(RGB) 카메라, 적외선 카메라 또는 상기 HMD에 장착된 카메라인, HMD.
  23. 제 20 항에 있어서, 상기 사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 생성하도록 구성된 카메라를 더 포함하고, 상기 위치 계산 회로는 상기 기계 학습 모델을 통해 상기 이미지 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 생성하기 위해 상기 기계 학습 모델을 트레이닝하도록 구성되는, HMD.
  24. 제 23 항에 있어서, 상기 위치 계산 회로는,
    상기 이미지 신호를 상기 계산된 출력과 비교함으로써 비교 신호들을 결정하고;
    상기 비교 신호들을 호스트 시스템으로 송신하도록
    구성되는, HMD.
  25. 방법에 있어서,
    웨어러블 디바이스 상의 상이한 위치들에 배치된 복수의 센서들로부터 트레이닝 전기 신호들을 수신하는 단계로서, 상기 트레이닝 전기 신호는 사용자의 손목 또는 팔로부터 송신되는, 상기 트레이닝 전기 신호들을 수신하는 단계;
    상기 트레이닝 전기 신호들로부터 트레이닝 특징들을 추출하는 단계;
    상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 결정하기 위해 상기 추출된 트레이닝 특징들을 사용하여 기계 학습 모델을 트레이닝하는 단계;
    상기 복수의 센서들로부터 전기 신호들을 수신하는 단계로서, 상기 전기 신호들은 사용자의 손목 또는 팔로부터 송신되는, 상기 전기 신호들을 수신하는 단계;
    상기 전기 신호들로부터 특징들을 추출하는 단계;
    상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하기 위해 상기 특징들을 상기 기계 학습 모델로 송신하는 단계; 및
    상기 출력을 호스트 시스템으로 송신하는 단계를 포함하는, 방법.
  26. 제 25 항에 있어서, AC 신호, DC 신호, 또는 복수의 주파수들을 포함하는 광-대역 AC 신호를 상기 사용자의 손목 또는 팔에 송신하는 단계를 더 포함하는, 방법.
  27. 제 25 항에 있어서, 상기 전기 신호들로부터 정보를 도출하는 단계를 더 포함하고, 상기 정보는,
    센서들의 각 쌍 사이에서 측정된 전기 임피던스에 기초한 합계 값들로서, 상기 전기 임피던스는 상기 센서들의 쌍에 의해 상기 사용자의 손목 또는 팔에 송신된 프로브 신호들 및 상기 전기 신호들에 기초하여 결정되는, 상기 합계 값들;
    상기 전기 신호들의 파동의 모양;
    상기 전기 신호들의 주파수-영역 표현; 및
    상기 전기 신호들의 시간-영역 샘플
    중 하나 이상을 포함하는, 방법.
  28. 제 27 항에 있어서, 상기 전기 신호들로부터 도출된 상기 정보로부터 특징들을 추출하는 단계를 더 포함하고, 상기 특징들은,
    상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 정의하는 관절들 사이의 각도들; 및
    상기 사용자의 손목 또는 팔의 손에 대한 손 위치에서의 변화의 감소된 표현으로서, 상기 사용자의 손목 또는 팔의 손에 대한 현재 손 위치와 상기 사용자의 손목 또는 팔의 손에 대한 이전 손 위치 사이의 차이를 정의하는, 상기 감소된 표현
    중 하나 이상을 포함하는, 방법.
  29. 제 25 항에 있어서, 프로브 신호를 상기 사용자의 손목 또는 팔에 송신하는 단계로서,
    상기 프로브 신호의 시간 기간;
    상기 프로브 신호의 진폭; 및
    상기 프로브 신호의 위상
    중 하나 이상을 변화시킴으로써, 상기 프로브 신호를 상기 사용자의 손목 또는 팔에 송신하는 단계를 더 포함하는, 방법.
  30. 제 25 항에 있어서, 프로브 신호의 송신을 다른 센서들에 의해 송신된 다른 프로브 신호들의 송신에 대하여 스태거링함으로써 제 1 센서에 의해 상기 프로브 신호를 상기 사용자의 손목 또는 팔에 송신하는 단계를 더 포함하는, 방법.
  31. 제 25 항에 있어서, 관성 측정 유닛에 의해 상기 웨어러블 디바이스의 동작에 대응하는 관성 신호들을 생성하는 단계; 및
    상기 기계 학습 모델을 통해 상기 관성 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하는 단계를 더 포함하는, 방법.
  32. 제 25 항에 있어서, 하나 이상의 카메라들에 의해 상기 사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 생성하는 단계; 및
    상기 기계 학습 모델을 통해 상기 이미지 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하는 단계를 더 포함하는, 방법.
  33. 제 25 항에 있어서, 관성 측정 유닛에 의해 상기 웨어러블 디바이스의 동작에 대응하는 관성 신호들을 생성하는 단계; 및
    상기 관성 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 생성하도록 상기 기계 학습 모델을 트레이닝하는 단계를 더 포함하는, 방법.
  34. 제 25 항에 있어서, 하나 이상의 카메라들에 의해 상기 사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 생성하는 단계; 및
    이미지 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 생성하도록 상기 기계 학습 모델을 트레이닝하는 단계를 더 포함하는, 방법.
  35. 제 25 항에 있어서, 하나 이상의 카메라들로부터 상기 사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 수신하는 단계;
    상기 이미지 신호들을 상기 계산된 출력과 비교함으로써 비교 신호들을 결정하는 단계; 및
    상기 비교 신호들을 호스트 시스템으로 송신하는 단계를 더 포함하는, 방법.
  36. 시스템에 있어서,
    웨어러블 디바이스로서, 상기 웨어러블 디바이스는 상기 웨어러블 디바이스 상의 상이한 위치들에 배치된 복수의 센서들을 포함하고, 각각의 센서는 사용자의 손목 또는 팔로부터 송신된 전기 신호들을 측정하도록 구성되는, 상기 웨어러블 디바이스; 및
    상기 센서들에 결합된 위치 계산 회로로서, 기계 학습 모델을 통해 상기 전기 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하도록 구성되는 상기 위치 계산 회로를 포함하는, 시스템.
  37. 제 36 항에 있어서, 상기 위치 계산 회로는 상기 웨어러블 디바이스 상에 또는 상기 웨어러블 디바이스 내에 위치되고; 및/또는
    상기 위치 계산 회로는 상기 웨어러블 디바이스 외부의 호스트 시스템 상에 또는 상기 호스트 시스템 내부에 위치되는, 시스템.
  38. 제 36 항 또는 제 37 항에 있어서, 각각의 센서는 전극 및 상기 전극과 상기 사용자의 손목 또는 팔 사이에 위치된 도전재를 포함하고, 각각의 센서는 또한 교류(AC) 신호, 직류(DC) 신호, 또는 복수의 주파수들을 포함하는 광-대역 AC 신호를 상기 사용자의 손목 또는 팔에 송신하도록 구성되는, 시스템.
  39. 제 36 항 내지 제 38 항 중 어느 한 항에 있어서, 각각의 전기 신호는,
    전압 및 상기 전압의 위상;
    전류 및 상기 전류의 위상; 또는
    DC 신호의 크기
    중 하나를 포함하는, 시스템.
  40. 제 36 항 내지 제 39 항 중 어느 한 항에 있어서, 상기 센서들은 그리드 어레이 또는 체커 보드 패턴으로 배열되는, 시스템.
  41. 제 36 항 내지 제 40 항 중 어느 한 항에 있어서, 상기 전기 신호들로부터 도출된 상기 정보는,
    센서들의 각 쌍 사이에서 측정된 전기 임피던스에 기초한 합계 값들로서, 상기 전기 임피던스는 상기 센서들의 쌍에 의해 상기 사용자의 손목 또는 팔에 송신된 프로브 신호들 및 상기 전기 신호들에 기초하여 결정되는, 상기 합계 값들;
    상기 전기 신호들의 파동의 모양;
    상기 전기 신호들의 주파수-영역 표현; 및
    상기 전기 신호들의 시간-영역 샘플
    중 하나 이상을 포함하는, 시스템.
  42. 제 36 항 내지 제 41 항 중 어느 한 항에 있어서, 상기 위치 계산 회로는 또한 상기 전기 신호들로부터 도출된 상기 정보로부터 특징들을 추출하도록 구성되고, 상기 특징들은,
    상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 정의하는 관절들 사이의 각도들; 및
    상기 사용자의 손목 또는 팔의 손에 대한 손 위치에서의 변화의 감소된 표현으로서, 상기 사용자의 손목 또는 팔의 손에 대한 현재 손 위치와 상기 사용자의 손목 또는 팔의 손에 대한 이전 손 위치 사이의 차이를 정의하는, 상기 감소된 표현
    중 하나 이상을 포함하는, 시스템.
  43. 제 36 항 내지 제 42 항 중 어느 한 항에 있어서, 각각의 센서는 또한 프로브 신호를,
    상기 프로브 신호의 시간 기간;
    상기 프로브 신호의 진폭; 및
    상기 프로브 신호의 위상
    중 하나 이상을 변화시킴으로써 상기 사용자의 손목 또는 팔에 송신하도록 구성되는, 시스템.
  44. 제 36 항 내지 제 43 항 중 어느 한 항에 있어서, 제 1 센서는 프로브 신호의 송신을 다른 센서들에 의한 다른 프로브 신호들의 송신에 대하여 스태거링함으로써 상기 프로브 신호를 상기 사용자의 손목 또는 팔에 송신하도록 구성되는, 시스템.
  45. 제 36 항 내지 제 44 항 중 어느 한 항에 있어서, 상기 웨어러블 디바이스 및 상기 사용자의 팔의 동작에 대응하는 관성 신호들을 생성하도록 구성된 관성 측정 유닛으로서, 상기 위치 계산 회로는 또한 상기 기계 학습 모델을 통해 상기 관성 신호로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하도록 구성되는, 상기 관성 측정 유닛을 더 포함하고,
    선택적으로, 상기 관성 측정 유닛은,
    자이로스코프;
    가속도계; 및
    자력계
    중 하나 이상을 포함하는, 시스템.
  46. 제 36 항 내지 제 45 항 중 어느 한 항에 있어서, 하나 이상의 각도들로부터 상기 사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 생성하도록 구성된 하나 이상의 카메라들로서, 상기 위치 계산 회로는 또한 상기 기계 학습 모델을 통해 상기 이미지 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하도록 구성되는, 상기 하나 이상의 카메라들을 더 포함하고,
    선택적으로, 상기 카메라는 깊이 카메라, 적색-녹색-청색(RGB) 카메라, 적외선 카메라, 또는 헤드-마운티드 디스플레이(HMD)에 장착된 카메라인, 시스템.
  47. 제 36 항 내지 제 46 항 중 어느 한 항에 있어서, 상기 웨어러블 디바이스의 동작에 대응하는 관성 신호들을 생성하도록 구성된 관성 측정 유닛을 더 포함하고, 상기 위치 계산 회로는 또한 상기 관성 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 생성하기 위해 상기 기계 학습 모델을 트레이닝하도록 구성되는, 시스템.
  48. 제 36 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 생성하도록 구성된 하나 이상의 카메라들을 더 포함하고, 상기 위치 계산 회로는 또한 상기 기계 학습 모델을 통해 상기 이미지 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 생성하기 위해 상기 기계 학습 모델을 트레이닝하도록 구성되는, 시스템.
  49. 제 36 항 내지 제 48 항 중 어느 한 항에 있어서, 상기 계산된 출력은 또한 상기 사용자의 손목 또는 팔의 손에 접촉하는 물체들에 대해 상기 사용자의 손목 또는 팔의 손에 의해 가해지는 힘들을 나타내는, 시스템.
  50. 제 36 항 내지 제 49 항 중 어느 한 항에 있어서, 상기 위치 계산 회로는 또한,
    HMD에 장착된 카메라로부터 이미지 신호들을 수신하고;
    상기 이미지 신호들을 상기 계산된 출력과 비교함으로써 비교 신호들을 결정하고;
    상기 비교 신호들을 호스트 시스템으로 송신하도록
    구성되는 시스템.
  51. 제 36 항 내지 제 50 항 중 어느 한 항에 있어서, 상기 계산된 출력은 손 모양 모델의 파라미터들을 포함하고, 상기 파라미터들은,
    상기 사용자의 손목 또는 팔의 손에 대한 복수의 관절들;
    상기 관절들의 쌍들 사이의 복수의 가장자리들;
    상기 가장자리들의 쌍들 사이의 복수의 각도들;
    복수의 정점들 및 각각의 정점에 대해 상기 정점과 하나 이상의 관절들 사이의 거리를 포함하는 메쉬
    에 대응하는, 시스템.
  52. HMD에 있어서,
    웨어러블 디바이스 상의 상이한 위치들에 배치된 복수의 센서들에 결합된 위치 계산 회로로서, 각각의 센서는 사용자의 손목 또는 팔로부터 송신된 전기 신호들을 측정하도록 구성되고, 상기 위치 계산 회로는 기계 학습 모델을 통해 상기 전기 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하도록 구성되는, 상기 위치 계산 회로; 및
    상기 위치 계산 회로로부터 계산된 출력을 수신하도록 구성된 디스플레이 패널을 포함하는, HMD.
  53. 제 52 항에 있어서, 상기 사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 생성하도록 구성된 카메라를 더 포함하고, 상기 위치 계산 회로는 또한 상기 기계 학습 모델을 통해 상기 이미지 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하도록 구성되고,
    선택적으로, 상기 카메라는 깊이 카메라, 적색-녹색-청색(RGB) 카메라, 적외선 카메라 또는 상기 HMD에 장착된 카메라인, HMD.
  54. 제 52 항 또는 제 53 항에 있어서, 상기 사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 생성하도록 구성된 카메라를 더 포함하고, 상기 위치 계산 회로는 또한 상기 기계 학습 모델을 통해 상기 이미지 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 생성하기 위해 상기 기계 학습 모델을 트레이닝하도록 구성되고,
    선택적으로, 상기 위치 계산 회로는 또한,
    상기 이미지 신호들을 상기 계산된 출력과 비교함으로써 비교 신호들을 결정하고;
    상기 비교 신호들을 호스트 시스템으로 송신하도록
    구성되는, HMD.
  55. 방법에 있어서,
    웨어러블 디바이스 상의 상이한 위치들에 배치된 복수의 센서들로부터 트레이닝 전기 신호들을 수신하는 단계로서, 상기 트레이닝 전기 신호들은 사용자의 손목 또는 팔로부터 송신되는, 상기 트레이닝 전기 신호들을 수신하는 단계;
    상기 트레이닝 전기 신호로부터 트레이닝 특징들을 추출하는 단계;
    상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 결정하기 위해 상기 추출된 트레이닝 특징들을 사용하여 기계 학습 모델을 트레이닝하는 단계;
    상기 복수의 센서들로부터 사용자의 손목 또는 팔로부터 송신된 전기 신호들을 수신하는 단계;
    상기 전기 신호들로부터 특징들을 추출하는 단계;
    상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하기 위해 상기 특징들을 상기 기계 학습 모델로 송신하는 단계; 및
    상기 출력을 호스트 시스템으로 송신하는 단계를 포함하는, 방법.
  56. 제 55 항에 있어서, AC 신호, DC 신호, 또는 복수의 주파수들을 포함하는 광-대역 AC 신호를 상기 사용자의 손목 또는 팔에 송신하는 단계를 더 포함하는, 방법.
  57. 제 55 항 또는 제 56 항에 있어서, 상기 전기 신호들로부터 정보를 도출하는 단계를 더 포함하고, 상기 정보는,
    센서들의 각 쌍 사이에서 측정된 전기 임피던스에 기초한 합계 값들로서, 상기 전기 임피던스는 상기 센서들의 쌍에 의해 상기 사용자의 손목 또는 팔에 송신된 프로브 신호들 및 상기 전기 신호들에 기초하여 결정되는, 상기 합계 값들;
    상기 전기 신호들의 파동의 모양;
    상기 전기 신호들의 주파수-영역 표현; 및
    상기 전기 신호들의 시간-영역 샘플
    중 하나 이상을 포함하고,
    선택적으로, 상기 방법은 상기 전기 신호들로부터 도출된 상기 정보로부터 특징들을 추출하는 단계를 더 포함하고,
    상기 특징들은,
    상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 정의하는 관절들 사이의 각도들; 및
    상기 사용자의 손목 또는 팔의 손에 대한 손 위치에서의 변화의 감소된 표현으로서, 상기 사용자의 손목 또는 팔의 손에 대한 현재 손 위치와 상기 사용자의 손목 또는 팔의 손에 대한 이전 손 위치 사이의 차이를 정의하는, 상기 감소된 표현
    중 하나 이상을 포함하는, 방법.
  58. 제 55 항 내지 제 57 항 중 어느 한 항에 있어서, 프로브 신호를,
    상기 프로브 신호의 시간 기간;
    상기 프로브 신호의 진폭; 및
    상기 프로브 신호의 위상
    중 하나 이상을 변화시킴으로써 상기 사용자의 손목 또는 팔에 송신하는 단계를 더 포함하는, 방법.
  59. 제 55 항 내지 제 58 항 중 어느 한 항에 있어서, 프로브 신호의 송신을 다른 센서들에 의해 송신된 다른 프로브 신호들의 송신에 대하여 스태거링함으로써 제 1 센서에 의해 상기 프로브 신호를 상기 사용자의 손목 또는 팔에 송신하는 단계를 더 포함하는, 방법.
  60. 제 55 항 내지 제 59 항 중 어느 한 항에 있어서, 관성 측정 유닛에 의해 상기 웨어러블 디바이스의 동작에 대응하는 관성 신호들을 생성하는 단계; 및
    상기 기계 학습 모델을 통해 상기 관성 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하는 단계를 더 포함하는, 방법.
  61. 제 55 항 내지 제 60 항 중 어느 한 항에 있어서, 하나 이상의 카메라들에 의해 상기 사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 생성하는 단계; 및
    상기 기계 학습 모델을 통해 상기 이미지 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 계산하는 단계를 더 포함하는, 방법.
  62. 제 55 항 내지 제 61 항 중 어느 한 항에 있어서, 상기 관성 측정 유닛에 의해 상기 웨어러블 디바이스의 동작에 대응하는 관성 신호들을 생성하는 단계; 및
    상기 관성 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 생성하기 위해 상기 기계 학습 모델을 트레이닝하는 단계를 더 포함하는, 방법.
  63. 제 55 항 내지 제 62 항 중 어느 한 항에 있어서, 하나 이상의 카메라들에 의해 상기 사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 생성하는 단계; 및
    상기 이미지 신호들로부터 도출된 정보를 사용하여 상기 사용자의 손목 또는 팔의 손에 대한 손 위치를 나타내는 출력을 생성하기 위해 상기 기계 학습 모델을 트레이닝하는 단계를 더 포함하는, 방법.
  64. 제 55 항 내지 제 63 항 중 어느 한 항에 있어서, 하나 이상의 카메라들로부터 상기 사용자의 손목 또는 팔의 손에 대한 이미지 신호들을 수신하는 단계;
    상기 이미지 신호들을 상기 계산된 출력과 비교함으로써 비교 신호들을 결정하는 단계; 및
    상기 비교 신호들을 호스트 시스템으로 송신하는 단계를 더 포함하는, 방법.
KR1020207004260A 2017-07-27 2018-07-26 전기 임피던스 측정 배경을 사용하여 손 동작을 추적하기 위한 암밴드 KR20200024324A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/661,317 US10481699B2 (en) 2017-07-27 2017-07-27 Armband for tracking hand motion using electrical impedance measurement
US15/661,317 2017-07-27
PCT/US2018/043943 WO2019023487A1 (en) 2017-07-27 2018-07-26 HAND MOTION TRACKING CUFF USING ELECTRIC IMPEDANCE MEASUREMENT

Publications (1)

Publication Number Publication Date
KR20200024324A true KR20200024324A (ko) 2020-03-06

Family

ID=65038644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207004260A KR20200024324A (ko) 2017-07-27 2018-07-26 전기 임피던스 측정 배경을 사용하여 손 동작을 추적하기 위한 암밴드

Country Status (6)

Country Link
US (1) US10481699B2 (ko)
EP (1) EP3659016B1 (ko)
JP (1) JP2020529067A (ko)
KR (1) KR20200024324A (ko)
CN (1) CN111095167A (ko)
WO (1) WO2019023487A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210143435A (ko) * 2020-05-20 2021-11-29 한국기계연구원 센서 조립체 및 이를 이용한 측정장치
KR102595257B1 (ko) * 2023-03-17 2023-11-01 강윤 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템 및 방법

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
CN110337269B (zh) 2016-07-25 2021-09-21 脸谱科技有限责任公司 基于神经肌肉信号推断用户意图的方法和装置
CN110312471B (zh) 2016-07-25 2022-04-29 脸谱科技有限责任公司 从神经肌肉活动测量中导出控制信号的自适应系统
US11337652B2 (en) 2016-07-25 2022-05-24 Facebook Technologies, Llc System and method for measuring the movements of articulated rigid bodies
US11179066B2 (en) 2018-08-13 2021-11-23 Facebook Technologies, Llc Real-time spike detection and identification
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
CN110300542A (zh) 2016-07-25 2019-10-01 开创拉布斯公司 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
WO2019028650A1 (zh) * 2017-08-08 2019-02-14 方超 手势采集系统
CN112040858B (zh) 2017-10-19 2024-06-07 元平台技术有限公司 用于识别与神经肌肉源信号相关的生物结构的系统和方法
CN112005198A (zh) * 2018-01-25 2020-11-27 脸谱科技有限责任公司 基于多个输入的手部状态重建
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
WO2019147956A1 (en) * 2018-01-25 2019-08-01 Ctrl-Labs Corporation Visualization of reconstructed handstate information
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
WO2019165972A1 (en) * 2018-02-28 2019-09-06 Chan Russell Wade Wearable gesture recognition device and associated operation method and system
US11073909B2 (en) * 2018-04-13 2021-07-27 Facebook Technologies, Llc Interior sensing
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
CN112261907A (zh) 2018-05-29 2021-01-22 脸谱科技有限责任公司 表面肌电信号测量中降噪的屏蔽技术及相关系统和方法
WO2019241701A1 (en) 2018-06-14 2019-12-19 Ctrl-Labs Corporation User identification and authentication with neuromuscular signatures
WO2020018892A1 (en) 2018-07-19 2020-01-23 Ctrl-Labs Corporation Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
WO2020047429A1 (en) 2018-08-31 2020-03-05 Ctrl-Labs Corporation Camera-guided interpretation of neuromuscular signals
WO2020061451A1 (en) 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
EP3857342A4 (en) 2018-09-26 2021-12-01 Facebook Technologies, LLC. NEUROMUSCULAR CONTROL OF PHYSICAL OBJECTS IN AN ENVIRONMENT
WO2020072915A1 (en) 2018-10-05 2020-04-09 Ctrl-Labs Corporation Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US11830274B2 (en) * 2019-01-11 2023-11-28 Infrared Integrated Systems Limited Detection and identification systems for humans or objects
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
US10786729B1 (en) * 2019-03-08 2020-09-29 Sony Interactive Entertainment Inc. Thermopile array fusion tracking
JP7107264B2 (ja) * 2019-03-20 2022-07-27 トヨタ自動車株式会社 人等の身体動作推定システム
EP3716001A1 (en) * 2019-03-28 2020-09-30 GN Hearing A/S Power and data hub, communication system, and related method
KR20210151871A (ko) * 2019-05-31 2021-12-14 아사히 가세이 가부시키가이샤 계측 장치, 계측 방법 및 프로그램
KR102196962B1 (ko) * 2020-03-05 2020-12-31 강윤 매트릭스 압력 센서를 이용한 인체의 움직임 인식 및 이를 통한 인체 동작 예측 시스템
GB202004601D0 (en) * 2020-03-30 2020-05-13 Ind Tomography Systems Plc Apparatus and method for determining a characteristic of a material
WO2021236170A1 (en) 2020-05-18 2021-11-25 Google Llc Low-power semi-passive relative six-degree-of-freedom tracking
WO2022011344A1 (en) * 2020-07-10 2022-01-13 Arizona Board Of Regents On Behalf Of Arizona State University System including a device for personalized hand gesture monitoring
CN112170781B (zh) * 2020-09-25 2022-02-22 泰州鑫宇精工股份有限公司 一种提升淋砂机环保性能的方法和装置
CN114515146B (zh) * 2020-11-17 2024-03-22 北京机械设备研究所 基于电学测量的智能手势识别方法及系统
US20220265168A1 (en) * 2021-02-23 2022-08-25 Samsung Electronics Co., Ltd. Real-time limb motion tracking
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US11635823B1 (en) * 2022-03-15 2023-04-25 Port 6 Oy Detecting user input from multi-modal hand bio-metrics
WO2022204614A1 (en) * 2022-05-02 2022-09-29 Innopeak Technology, Inc. Wrist-wearable controller for head-mounted device (hmd) or other user device with camera input
WO2022226429A1 (en) * 2022-05-03 2022-10-27 Innopeak Technology, Inc. Smart watch -based control of user interface (ui) of other device(s)
US20240061514A1 (en) * 2022-08-18 2024-02-22 Meta Platforms Technologies, Llc Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof
US20240069651A1 (en) * 2022-08-30 2024-02-29 Htc Corporation Virtual reality tracker and tracker correction position method

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835077A (en) * 1995-01-13 1998-11-10 Remec, Inc., Computer control device
US6244873B1 (en) * 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
JP4348577B2 (ja) * 1999-08-17 2009-10-21 ソニー株式会社 筋電位情報を利用したモーションキャプチャー装置とその制御方法、並びにこれを用いた電気刺激装置、力触覚呈示装置とこれらの制御方法
EP1408443B1 (en) * 2002-10-07 2006-10-18 Sony France S.A. Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition
US8170656B2 (en) 2008-06-26 2012-05-01 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
US9037530B2 (en) 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US8447704B2 (en) * 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
JP5545574B2 (ja) * 2009-07-15 2014-07-09 国立大学法人 筑波大学 分類推定システムおよび分類推定プログラム
US20110304541A1 (en) 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures
US20130077820A1 (en) 2011-09-26 2013-03-28 Microsoft Corporation Machine learning gesture detection
US8988373B2 (en) 2012-04-09 2015-03-24 Sony Corporation Skin input via tactile tags
US9278453B2 (en) * 2012-05-25 2016-03-08 California Institute Of Technology Biosleeve human-machine interface
JP5996371B2 (ja) * 2012-10-29 2016-09-21 株式会社東芝 電子機器
KR101691633B1 (ko) * 2012-11-01 2017-01-09 아이캠, 엘엘씨 무선 손목 컴퓨팅과 3d 영상화, 매핑, 네트워킹 및 인터페이스를 위한 제어 장치 및 방법
US20140196131A1 (en) * 2013-01-07 2014-07-10 Salutron, Inc. User authentication based on a wrist vein pattern
US20140198034A1 (en) 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
JP2016507851A (ja) * 2013-02-22 2016-03-10 サルミック ラブス インコーポレイテッド ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
US10299738B2 (en) * 2013-05-16 2019-05-28 New York University Game-based sensorimotor rehabilitator
US10048761B2 (en) * 2013-09-30 2018-08-14 Qualcomm Incorporated Classification of gesture detection systems through use of known and yet to be worn sensors
US9367139B2 (en) 2013-12-12 2016-06-14 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
JP2017508229A (ja) * 2014-02-28 2017-03-23 グプタ ヴィカスＧＵＰＴＡ， Ｖｉｋａｓ ジェスチャによって操作する手首装着型カメラシステム
US9649558B2 (en) 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
KR102244856B1 (ko) 2014-04-22 2021-04-27 삼성전자 주식회사 웨어러블 장치와의 사용자 인터랙션을 제공하는 방법 및 이를 수행하는 웨어러블 장치
US9389733B2 (en) 2014-08-18 2016-07-12 Sony Corporation Modal body touch using ultrasound
US10488936B2 (en) * 2014-09-30 2019-11-26 Apple Inc. Motion and gesture input from a wearable device
US9720515B2 (en) 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
US9734779B2 (en) * 2015-02-12 2017-08-15 Qualcomm Incorporated Efficient operation of wearable displays
US20160282947A1 (en) * 2015-03-26 2016-09-29 Lenovo (Singapore) Pte. Ltd. Controlling a wearable device using gestures
US9507974B1 (en) * 2015-06-10 2016-11-29 Hand Held Products, Inc. Indicia-reading systems having an interface with a user's nervous system
US10113913B2 (en) * 2015-10-03 2018-10-30 Facense Ltd. Systems for collecting thermal measurements of the face
US10067564B2 (en) 2015-08-11 2018-09-04 Disney Enterprises, Inc. Identifying hand gestures based on muscle movement in the arm
US10488937B2 (en) 2015-08-27 2019-11-26 Verily Life Sciences, LLC Doppler ultrasound probe for noninvasive tracking of tendon motion
US10445547B2 (en) 2016-05-04 2019-10-15 Invensense, Inc. Device mountable packaging of ultrasonic transducers
WO2019241701A1 (en) * 2018-06-14 2019-12-19 Ctrl-Labs Corporation User identification and authentication with neuromuscular signatures

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210143435A (ko) * 2020-05-20 2021-11-29 한국기계연구원 센서 조립체 및 이를 이용한 측정장치
KR102595257B1 (ko) * 2023-03-17 2023-11-01 강윤 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템 및 방법

Also Published As

Publication number Publication date
CN111095167A (zh) 2020-05-01
JP2020529067A (ja) 2020-10-01
WO2019023487A1 (en) 2019-01-31
US10481699B2 (en) 2019-11-19
EP3659016A1 (en) 2020-06-03
EP3659016A4 (en) 2020-08-05
US20190033974A1 (en) 2019-01-31
EP3659016B1 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
EP3659016B1 (en) Armband for tracking hand motion using electrical impedance measurement
CN111902077B (zh) 利用神经肌肉信号进行手部状态表示建模的校准技术
EP3843617B1 (en) Camera-guided interpretation of neuromuscular signals
Yahya et al. Motion capture sensing techniques used in human upper limb motion: A review
Liu et al. NeuroPose: 3D hand pose tracking using EMG wearables
Zhou et al. Human motion tracking for rehabilitation—A survey
CN112005198A (zh) 基于多个输入的手部状态重建
CN112074870A (zh) 重构的手部状态信息的可视化
US11327566B2 (en) Methods and apparatuses for low latency body state prediction based on neuromuscular data
Dong et al. Wearable sensing devices for upper limbs: A systematic review
Liu et al. A new IMMU-based data glove for hand motion capture with optimized sensor layout
Yue et al. How to achieve human–machine interaction by foot gesture recognition: a review
Bimbraw et al. Prediction of metacarpophalangeal joint angles and classification of hand configurations based on ultrasound imaging of the forearm
Liu et al. A practical system for 3-D hand pose tracking using EMG wearables with applications to prosthetics and user interfaces
Zheng et al. Wrist angle estimation with a musculoskeletal model driven by electrical impedance tomography signals
Ángel-López et al. Kinematic hand analysis using motion capture technology
Heo et al. Proximity Perception-Based Grasping Intelligence: Toward the Seamless Control of a Dexterous Prosthetic Hand
Bimbraw et al. Leveraging Ultrasound Sensing for Virtual Object Manipulation in Immersive Environments
Paradiso et al. Smart textile suit
Dwivedi Analysis, development, and evaluation of muscle machine interfaces for the intuitive control of robotic devices
Schütz et al. Motor primitives of pointing movements in a three-dimensional workspace
Ju et al. A generalised framework for analysing human hand motions based on multisensor information
Abraham et al. Ensemble of shape functions and support vector machines for the estimation of discrete arm muscle activation from external biceps 3D point clouds
Pan Analysis and Improvement of Three Kinds of Exoskeleton Sensors
Gulrez et al. Decoding 2d kinematics of human arm for body machine interfaces

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application