KR20210091692A - 사용자 신체에 부착된 센서 움직임의 보상 방법 및 장치 - Google Patents

사용자 신체에 부착된 센서 움직임의 보상 방법 및 장치 Download PDF

Info

Publication number
KR20210091692A
KR20210091692A KR1020217010077A KR20217010077A KR20210091692A KR 20210091692 A KR20210091692 A KR 20210091692A KR 1020217010077 A KR1020217010077 A KR 1020217010077A KR 20217010077 A KR20217010077 A KR 20217010077A KR 20210091692 A KR20210091692 A KR 20210091692A
Authority
KR
South Korea
Prior art keywords
movement
user
sensor
difference
glasses
Prior art date
Application number
KR1020217010077A
Other languages
English (en)
Inventor
홍인준
응우옌 탕 롱 르
소우랍 라빈드란
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20210091692A publication Critical patent/KR20210091692A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7228—Signal modulation applied to the input signal sent to patient or subject; demodulation to recover the physiological signal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683—Means for maintaining contact with the body
    • A61B5/6831—Straps, bands or harnesses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683—Means for maintaining contact with the body
    • A61B5/6832—Means for maintaining contact with the body using adhesives
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6844—Monitoring or controlling distance between sensor and tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1112—Global tracking of patients, e.g. by using GPS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6823—Trunk, e.g., chest, back, abdomen, hip
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6828—Leg
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6829—Foot or ankle

Abstract

사용자가 착용한 디바이스의 움직임을 보상하는 방법이 개시된다. 상기 방법은 제1 센서를 사용하여 디바이스를 착용한 사용자의 움직임을 측정하는 단계; 제2 센서를 사용하여 디바이스의 움직임을 측정하는 단계; 사용자의 움직임에 대한 디바이스의 움직임의 차이를 결정하는 단계; 및 사용자의 움직임에 대한 디바이스의 움직임의 차이를 보상하는 단계를 포함한다. 사용자가 착용한 디바이스를 모니터하기 위한 전자 장치가 또한 개시된다.

Description

사용자 신체에 부착된 센서 움직임의 보상 방법 및 장치
본 발명의 실시 예는 일반적으로 데이터를 캡처하는 웨어러블 장치에 관한 것으로, 특히 사용자의 신체에 부착된 센서의 움직임을 보상하는 방법에 관한 것이다.
전자 장치에서 센서는 정보를 감지하기 위해 종종 사용된다. 예를 들어, 시선 추적(eye tracking: ET) 기술은 2D 디스플레이 스크린에서 사용자의 시선의 추정치를 제공하거나 실제 환경에서 물체를 식별하는 데 사용할 수 있다. 시선 추적의 사용은, 증강현실(AR) 및 가상현실(VR)에서 사용될 수 있는 안경 또는 헤드셋과 같은, 안경 분야에 대해 특정한 응용을 가진다. 일반적으로 ET는 눈-카메라 좌표의 동공 중심점(pupil-center point)을 대상 좌표계의 시선(gaze point)으로 매핑하는 시선-매핑(gaze-mapping) 기능을 사용한다.
그러나 안경이 사용자의 코에서 미끄러질 수 있기 때문에 ET의 높은 정확도를 얻기는 어렵다. 매핑 기능은 두 좌표계 사이의 기하학적 관계를 암시적으로 포함하고 있기 때문에, 안경이 사용자의 코에서 미끄러지면, 이전의 기하학적 정보를 갖는 이전의 매핑 기능은 대상 좌표계에서 잘못된 시점에 매핑 될 것이다. 안경이 미끄러지면 사용자 보정(calibration) 기능의 손상을 야기하여 사용자가 또 다른 보정 프로세스를 수행해야 할 수도 있다. 보정 기능은 안경의 움직임에 민감하기 때문에, 그것이 조금만 미끄러져도 시선 추정에 큰 오류가 발생할 수 있다. 기존 장치를 사용하여 새로운 매핑 기능을 얻기 위한 이러한 보정 프로세스는 약 30 초 정도의 허용할 수 없는 시간의 낭비를 야기할 수도 있다.
안경의 미끄러짐과 관련된 문제를 해결하기 위해, 기존 장치는 눈의 모서리와 같은 눈의 특징점들을 추적하여 안경 움직임을 추정하는 시야 기반의 접근 방식을 사용한다. 그러나 시야 기반의 슬립 보상은 강건하지 않으며 폐쇄(occlusion), 흐릿함(blurriness) 등으로 인해 실패할 수 있다. 또한, 이러한 시야 기반의 접근 방식은 복잡한 삼각 측량이나 동시 위치 및 매핑(simultaneous location and mapping: SLAM) 기술 없이는 완전한 6-자유도(degree of freedom) 이동 정보를 추정할 수 없으며, 이는 상당한 계산 자원이 필요할 수도 있다. 안경과 같은 센서가 계산 자원의 양을 줄이기 위해 특정 방향으로만 움직일 수 있다는 가정은 결국 슬립 보상의 정확도를 저하시킬 수 있다.
따라서, 사용자의 신체에 착용한 센서의 움직임을 보상하는 방법이 필요하다.
사용자가 착용한 디바이스의 움직임을 보상하는 방법을 기술한다. 상기 방법은 제1 센서를 사용하여 상기 디바이스를 착용한 사용자의 움직임을 측정하는 단계; 제2 센서를 사용하여 상기 디바이스의 움직임을 측정하는 단계; 사용자의 움직임에 대한 디바이스의 움직임의 차이를 결정하는 단계; 및 사용자의 움직임에 대한 디바이스의 움직임의 차이를 보상하는 동작을 포함한다.
사용자가 착용한 디바이스를 모니터하는 장치를 또한 기술한다. 상기 장치는 제1 센서, 제2 센서, 및 상기 제1 센서 및 상기 제2 센서에 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 제1 센서를 사용하여 상기 디바이스를 착용한 사용자의 움직임을 측정하고; 상기 제2 센서를 사용하여 디바이스의 움직임을 측정하고; 사용자의 움직임에 대한 상기 디바이스의 움직임의 차이를 결정하고; 그리고 사용자의 움직임에 대한 디바이스의 움직임의 차이를 보상하도록 구성된다.
명령들을 나타내는 저장된 데이터를 갖는 비-일시적 컴퓨터-판독가능 저장 매체로서, 상기 명령들은, 디바이스의 제1 센서를 사용하여 상기 디바이스를 착용한 사용자의 움직임을 측정하는 단계; 제2 센서를 사용하여 상기 디바이스의 움직임을 측정하는 단계; 상기 사용자의 움직임에 대한 상기 디바이스의 움직임의 차이를 결정하는 단계; 및 상기 사용자의 움직임에 대한 상기 디바이스의 움직임의 차이를 보상하는 단계을 포함하는 방법을 수행하기 위해 프로세서에 의해 실행 가능하다.
도 1은 착용 가능할 수 있는 전자 장치의 예시적인 블록도이다.
도 2는 센서의 슬립을 측정하는 과정을 나타내는 예시도이다.
도 3은 다양한 웨어러블 센서를 가진 사용자의 예시적인 다이어그램이다.
도 4는 사용자가 착용할 때 안경의 미끄러짐 가능성을 보여주는 예시적인 블록도이다.
도 5는 헤드 밴드를 가진 사용자가 착용한 안경의 다른 예를 도시한다.
도 6은 카메라 프레임 레이트(frame rate)에 대한 IMU 레이트를 나타내는 도면이다.
도 7은 IMU 변환 추정의 생성을 나타내는 블록도이다.
도 8은 IMU 방향 추정의 생성을 나타내는 블록도이다.
도 9는 눈의 모서리 포인트를 나타내는 눈의 이미지이다.
도 10은 직접 슬립 보상(direct slip compensation) 방법을 나타내는 흐름도이다.
도 11은 포인트-변환(point-transform) 슬립 보상 방법을 나타내는 흐름도이다.
도 12는 타원-변환(ellipse-transform) 슬립 보상 방법을 나타내는 흐름도이다. 과
도 13은 사용자의 신체에 부착된 센서의 움직임을 보상하는 방법을 나타내는 흐름도이다.
아래에 설명된 회로와 방법은 센서의 미끄러짐을 보상하기 위해, 신체에 착용한 센서와 같은, 센서의 미끄러짐의 감지를 가능하게 한다. 어떤 구현에 따르면, AR 및 VR 애플리케이션에 사용되는 안경(eyewear)의 미끄러짐이 감지될 수 있다. 사용자가 착용한 센서의 미끄러짐이나 기타 움직임을 보상하기 위한 종래의 접근 방식의 정확성과 속도 제한을 극복하기 위해 센서 기반의 보상 방법이 기술된다.
일 구현에 따르면, 관성 측정 장치(inertial measurement unit: IMU)와 같은 센서는 IMU의 원시 데이터에 대한 어떤 후처리(post-processing) 후 완전한 6-자유도(degree-of-freedom) 정보를 제공하는 정확도를 보유한다. IMU 센서를 사용하여 6-자유도 정보를 추정할 경우 삼각 측량 또는 SLAM과 같은 복잡한 시야 알고리즘이 필요하지 않다. 또한, IMU는 200Hz 이상의 속도와 같이, 카메라보다 더 빠르게 데이터를 생성할 수 있는 초고속 구성 요소이다. IMU 센서는 일반적으로 카메라 이미지 센서보다 빠르기 때문에, 센서의 미끄러짐에 대해 IMU 기반의 슬립 보상 방식이 시야 기반의 보상 방법보다 더 빠르다.
다른 구현에 따르면, 템플(안경다리)-글라스 차동(temple-glass differential) IMU 센서 구성은 안경의 안경 다리-장착 및 유리-장착 IMU 센서를 포함하고, 여기서 헤드 움직임은 안경의 미끄러짐을 나타내는 글래스-헤드 변환을 측정할 수 있도록 취소된다. IMU 기반의 슬립 추정은 시야 기반의 단점(예컨대, 폐쇄, 흐릿함, 스케일-업(up-to-scale) 등)을 겪지 않고, 변환에 있어 슬립이 작기 때문에 정확한 추정치를 제공하고, 낮은 지연 시간 및 낮은 소비 전력을 제공한다.
본 명세서는 신규한 것으로 간주 되는 발명의 하나 또는 다수의 구현의 특징을 정의하는 청구범위들을 포함하지만, 그 회로 및 방법은 첨부한 도면과 함께 본 설명을 고려하면 더 잘 이해될 것으로 생각된다. 여기서, 다양한 회로 및 방법이 개시되어 있지만, 상기 회로 및 방법은 단지 다양한 형태로 구현될 수 있는 본 발명의 구성의 단순한 예시일 뿐이라는 것을 이해하여야 할 것이다. 따라서, 본 명세서에 개시된 특정한 구조적 및 기능적 세부 사항은 제한적인 것으로 해석되어서는 안 되며, 단지 청구 범위에 대한 근거와 또한 당해 기술분야의 전문가가 실질적으로 임의의 적절하게 상세한 구조로 본 발명의 배열을 다양하게 사용하도록 교시하기 위한 전형적인 근거로서 해석되어야 할 것이다. 또한, 여기에서 사용된 용어 및 문구는 제한하려는 의도가 아니라 그 회로 및 방법에 대하여 이해 가능한 설명을 제공하기 위한 것이다. 나열된 항목들과 함께 사용될 때, "적어도 하나"라는 문구는 나열된 항목 중 하나 또는 다수의 다른 조합이 사용될 수도 있으며, 해당하는 나열 중에서 단지 하나의 항목만 필요할 수도 있음을 의미한다는 것을 이해하여야 할 것이다. 예를 들어, "A, B, 및 C 중 적어도 하나"에는 A, B, C, A 및 B, A 및 C, B 및 C, 또는 A 및 B 및 C의 조합이 모두 포함된다.
먼저, 도 1을 참조하면, 착용 가능한 전자 장치의 예시적인 블록도가 도시되어 있다. 상기 예시적인 전자 장치(100)는 하나 또는 다수의 카메라를 갖는 임의의 유형의 장치일 수 있다. 모바일 장치(100)는 다수의 카메라(104 및 105)에 연결된 프로세서(102)를 포함할 수 있다. 모바일 장치(100)는 정보를 수신하거나 제공하도록 된 스마트폰, 태블릿 또는 기타 전자 장치와 같이, 웨어러블 장치와 같은, 정보를 송수신하도록 구성된 임의의 유형의 장치일 수 있다. 프로세서(102)는 ARM 프로세서, X86 프로세서, MIPS 프로세서, 그래픽 처리 장치(GPU), 범용 GPU, 또는 메모리에 저장된 명령을 실행하도록 구성된 임의의 기타 프로세서일 수 있다. 상기 프로세서(102)는 하나 또는 다수의 처리 장치에서 구현될 수 있는데, 여기서 프로세서들은 상이할 수 있다. 예를 들어, 전자 장치는 예를 들어, GPU뿐만 아니라 중앙 처리 장치(CPU)를 포함할 수 있다. 처리 회로의 동작은 아래에 설명된 회로 및 방법의 다양한 특징을 구현하기 위해 소프트웨어와 하드웨어 모두에 의존할 수 있다.
상기 프로세서(102)는 사용자에게 정보를 표시하기 위한 디스플레이(106)에 연결될 수 있다. 프로세서(102)는 또한 데이터에 관련된 정보 또는 이미지 데이터와 관련된 정보를 저장할 수 있는 메모리(108)에 연결될 수 있다. 상기 메모리(108)는 프로세서(102)의 일부로서 구현될 수 있거나, 잘 알려진 바와 같이, 프로세서의 임의의 캐시 메모리에 추가하여 구현될 수 있다. 메모리(108)는 솔리드-스테이트 드라이브(SSD), 플래시 메모리, 읽기 전용 메모리(ROM) 또는 장기적 메모리를 제공하는 임의의 다른 메모리 요소와 같은 임의의 유형의 메모리를 포함할 수 있으며, 여기서 메모리는 전자 장치가 액세스할 수 있는 전자 드라이브 또는 외부 메모리의 임의의 유형의 내부 메모리일 수 있다.
사용자가 데이터를 입력하고 수신할 수 있도록 하는 사용자 인터페이스(110)가 또한 제공된다. 이미지 기록의 일부 측면은 사용자의 수동 입력이 필요할 수도 있다. 사용자 인터페이스(110)는 스마트폰, 스마트 워치 또는 태블릿 컴퓨터와 같은 휴대용 통신 장치에서 일반적으로 사용되는 터치 스크린 사용자 인터페이스, 및 스피커 및 마이크와 같은 기타 I/O(입/출력) 요소를 포함할 수 있다. 사용자 인터페이스(110)는 전기적 커넥터를 통해, 또는 블루투스 또는 NFC(Near Field Communication) 연결과 같은 무선 연결에 의해 모바일 장치에 부착될 수 있는 데이터를 입력 또는 출력하기 위한 장치를 또한 포함할 수 있다.
상기 프로세서(102)는 또한, 다양한 센서(120), 관성 측정 유닛(IMU)(112) 및 활동 추적을 위한 GPS(Global Positioning System) 장치(114)를 포함하는, 입력 데이터를 수신하거나 데이터를 제공하는 다른 요소에 결합될 수 있다. 예를 들어, 제1 관성 측정 장치(IMU)(112)는 장치의 움직임 또는 방향과 관련된 다양한 정보를 제공할 수 있는 반면, 제2 IMU(113)는 장치의 움직임과 관련된 다른 정보에 사용될 수 있으며, 이것은 아래에서 더 자세히 설명되는 바와 같이, 센서의 슬립을 발견하는 데 사용될 수 있다. GPS(114)는 장치와 관련된 위치 정보를 제공한다.
모바일 장치의 일부이거나 그에 연결될 수 있는 다른 센서들은, 예를 들어, 광도(예컨대, 주변 광 또는 자외선 광) 센서, 근접 센서, 환경 온도 센서, 습도 센서, 심박수 감지 센서, 갈바닉 피부 반응 센서, 피부 온도 센서, 기압계, 속도계, 고도계, 자력계, 홀(hall) 센서, 자이로스코프, WiFi 트랜시버 또는 신체의 상태 또는 컨디션 감지와 관련된 정보를 제공할 수 있는 임의의 기타 센서들을 포함할 수 있으며, 이들은 아래에서 더 자세히 설명될 것이다. 프로세서(102)는 입력/출력(I/O) 포트(115) 또는 안테나(118)에 접속된 트랜시버(116)에 의하여 입력 데이터를 수신할 수 있다. 전자 장치의 구성 요소들은 예로서 도시되어 있지만, 다른 구성 요소들은 도 1의 전자 장치 또는 아래에 설명된 방법을 구현하기 위해 상이하게 배열된 전자 장치에서 구현될 수 있다는 것을 이해하여야 할 것이다.
이제, 도 2를 참조하면, 센서의 슬립을 측정하는 과정을 예시적으로 도시하고 있다. 다수의 센서의 움직임이 블록 202에서 추적된다. 다수의 센서는, 예를 들어, 안경 류와 같은 단일한 전자 장치에서 구현될 수 있다. 대안으로서, 상기 다수의 센서들은 분산될 수 있다. 예를 들어, 안경과 관련된 센서의 슬립을 판단하는 방법의 구현을 위해, 센서 중 하나는 안경에 구현되고 다른 센서는 안경을 착용한 사용자의 머리와 같은 신체 일부에 구현될 수 있다. 다수의 센서의 움직임은 신체에 착용한 모든 유형의 장치를 포함하여 다른 장치와 함께 사용될 수 있으며, 여기서 한 센서의 움직임은 다른 센서에 대해 결정될 수 있다. 두 센서의 상대적인 움직임은 블록 204에서 결정되고, 센서의 슬립은 블록 206에서 다른 센서에 관한 상기한 한 센서의 상대적인 움직임에 기초하여 결정된다. 일 구현에 따르면, 안경의 움직임은 움직임의 어떤 구성 요소가 머리의 움직임과 연관되는지를 판단하는 적어도 2개의 센서에 의해 모니터 될 수 있으며, 여기서 움직임의 다른 구성 요소는 안경의 미끄러짐과 연관될 것이다. 예를 들어, 안경이 사용되지만, 2개의 센서의 상대적인 움직임은 사용자의 신체에 부착된 센서 중 하나의 미끄러짐을 결정하는 데 사용될 수 있다.
이제, 도 3을 참조하면, 다양한 웨어러블 센서를 갖는 사용자의 예시적인 그림이 도시되어 있다. 도 3과 같이 사용자는 다양한 센서를 착용할 수 있으며, 여기서 두 센서의 상대적인 움직임을 사용하여 그 센서 중 하나의 미끄러짐(슬립)을 감지할 수 있다. 아래에서 더 자세히 설명될 하나 또는 다수의 센서를 갖는 안경에 추가하여, 신체에 착용하는 다른 센서로서, 예컨대, 뇌파(electroencephalogram: EEG) 모니터일 수 있는 센서(306)를 갖는 헤드 밴드(304), 호흡 과정 및 내쉬는 공기의 화학적 함량(예컨대, 혈액 내 산소 및 이산화탄소 레벨)을 모니터하는 센서를 포함하여 하나 또는 다수의 호흡의 측면들을 감지하기 위한 센서(310)를 포함할 수 있는 안면 마스크(306), 심전도(electrocardiogram: EKG) 측정을 위한 센서(314)를 갖는 가슴 밴드(321), 맥박 또는 손 및/또는 팔의 움직임을 판단하기 위한 손목 밴드(316), 및 다리의 움직임을 감지하기 위한 발목 밴드(318)를 포함할 수 있다. 마스크는 턱과 눈의 움직임과, 망막의 휴지 전위(즉, 안구전도: electrooculogram)를 기록하는 센서를 더 포함할 수 있다.
일 구현에 따르면, 이들 센서는 예를 들어, 수면 연구를 위해 전문가에 의해 환자에 장착될 수 있으며, 수면 연구 중 미끄러질 수 있는데(환자가 수면에 들어가서 센서에 제어되지 않은 힘을 가하는 경우), 이것은 측정의 부정확성을 가져오므로 전문가의 즉각적인 반응을 요구한다. 미끄러진 신체 센서의 데이터는 잘못된 데이터일 수 있다. 도 2를 참조하여 위에서 설명한 것처럼 미끄러진 센서를 감지하면 잘못된 데이터 판독을 줄이거나 제거할 수 있다. 특정 센서들이 도 3에 예시로 표시되어 있지만, 다른 센서가 사용될 수도 있음을 이해하여야 할 것이다.
이제, 도 4를 참조하면, 예시적인 블록 다이어그램으로서 사용자가 착용했을 때 안경이 미끄러질 가능성을 보여준다. 도 4의 구현에 따르면, 안경(400)은 2개의 센서를 포함하는데, 하나는 머리의 움직임을 감지하는 데 사용되는 하나의 센서이고, 다른 센서는 (머리에서) 안경의 움직임을 감지하는 데 사용되는 것으로서, 그 차이는 안경의 미끄러짐을 나타낸다. 더 구체적으로, 안경의 다리(temple) 부분(402)은, 예를 들어, HMD의 디스플레이 또는 스마트 안경의 렌즈일 수도 있는, 유리 부분(404)으로부터 연장된다. 제1 IMU(406)가 유리 부분 근처에 제공될 수 있다. 상기 IMU(406)는, 예를 들어, 다리 부분에서 연장되는 두 개의 점선 사이에 위치한 점선 호를 따라 표시된 것처럼 안경의 미끄러짐을 감지하도록 구현된다. 즉, 안경의 어떤 미끄러짐은 점선 원호를 따르는 유리 부분의 움직임에 기초하여 대체로 감지될 것이다. 제2 IMU(410)는 머리의 움직임을 감지하는 데 사용되며 안경 상에 위치할 수 있다. 도 4에 도시된 바와 같이, 상기 IMU(410)는 다리 끝단(412)에 배치된다. 머리의 상대적인 움직임이 IMU(410)에 의해 감지될 수 있고, 안경의 미끄러짐(즉, 유리(404)의 움직임)에 기인하는 IMU(406)에 의해 감지된 움직임의 구성 요소를 판단하는데 사용된다. 즉, IMU(410)를 다리 끝단(412)에 배치함으로써, IMU(410)는 안경의 미끄러짐에 영향을 받지 않을 것이며, IMU(410)에 의해 감지된 움직임은 주로 머리의 움직임에 기인할 것이다.
IMU(410)는 안경(400) 상에 예로서 도시되어 있지만, IMU(410)는 안경과 분리될 수 있고, 그렇지 않으면 머리의 움직임을 감지할 수도 있음을 이해하여야 할 것이. 즉, IMU(410)는 머리 움직임을 캡처하는 반면, IMU(406)는 머리 움직임과 머리에 대한 안경 미끄러짐을 모두 캡처하며, 측정 간의 차이를 사용하여 안경 미끄러짐을 판단할 수 있다. 안경에는 스마트 안경(예컨대, Google Glass 기기)과 같이 머리에 착용하는 장치 또는 AR 또는 VR에 사용되는 헤드 마운트 기기(HMD)를 포함하여 화면과 렌즈 중 적어도 하나를 가질 수 있는 눈앞에 배치되는 임의의 유형의 장치가 포함될 수 있음을 이해하여야 할 것이다.
이제, 도 5를 참조하면, 사용자에 의해 착용 되고 헤드 밴드를 갖는 안경(500)의 다른 예가 도시되어 있다. 도 4의 예에 따르면, 유리 부분(502)은 제1 가요성 템플 조인트(506)를 갖는 제1 다리 부분(504)에 결합 된다. 유리 부분(502)은 제2 가요성 템플 조인트(510)를 갖는 제2 다리 부분(508)에 또한 결합 된다. 예를 들어, 머리 뒤쪽에 배치될 수 있는 헤드 밴드(512)는 안경을 사용자의 머리에 고정하기 위해 제1 가요성 템플 조인트(506)와 제2 가요성 템플 조인트(510) 사이에서 연장된다. 도 5의 안경(500)은 유리(502)의 미끄러짐을 검출하기 위한 안경 다리와 관련된 IMU 및 헤드 밴드(512)와 같은 안경(500)의 다른 부분과 관련된 IMU와 같은, IMU들을 포함할 수 있다. 도 4를 참조하여 설명한 바와 같이, 헤드 밴드와 관련된 IMU는 머리 움직임을 캡처할 수 있는 반면, 유리와 관련된 IMU는 머리 움직임과 머리에 대한 안경 슬립을 모두 캡처할 수 있으며, 여기서 측정 값들 사이의 차이를 사용하여 안경의 미끄러짐을 판단할 수 있다.
이제, 도 6을 참조하면, 도면은 카메라 프레임 레이트와 관하여 데이터를 캡처하기 위한 IMU 레이트를 도시하고 있다. 카메라 프레임 사이의 슬립에 대하여 보상이 없는 구현(카메라로 캡처한 이미지에 의존하는 기존 기술을 사용할 경우)과 달리, IMU 데이터와 같은 센서로부터의 데이터에 의존하는 구현은, 도 6에 도시된 것과 같이, 카메라 사이의 슬립을 보상하는 보정을 가능하게 한다. IMU의 응답 레이트는 카메라의 프레임 레이트보다 빠르기 때문에, 안경의 미끄러짐에 대하여 보상이 더 빨라질 수 있다. 즉, 센서의 데이터는 카메라 프레임 레이트보다 더 빠른 속도로 생성될 수 있으므로, 더 느리게 생성되는 이미지 데이터에 의존하는 경우보다 더 빠르게 안경의 미끄러짐을 보상할 수 있도록 한다. 달리 말하면, IMU 기반 접근 방식은 지연 시간이 짧은(low-latency) 슬립 보상을 가능케 하는바, 즉, 슬립 보상은 슬립 발생 후 최소 지연 시간으로써 수행된다. 일부 구현에 따르면, IMU는 약 60Hz 또는 120Hz의 기존 카메라 속도에 비해 약 200Hz의 속도로 6-자유도(6-DOF) 및 3D 이동 정보를 제공한다. IMU 데이터와 같은 센서 데이터를 사용하면, 카메라 데이터를 사용할 때 필요할 수 있는, SLAM과 같은 복잡한 알고리즘 없이도 안경의 미끄러짐을 보상할 수 있다.
이제, 도 7을 참조하면, 블록 다이어그램은 IMU 변환 추정의 생성을 나타낸다. 도 7에 도시된 바와 같이, 좌표 회전 블록(coordinate rotation block)(702)은 IMU로부터 제공될 수 있는 가속도 데이터(at) 및 도 8의 방향 추정으로부터 제공될 수 있는 현재의 회전(Rt)를 수신하도록 구성된다. IMU는 중력에 노출되고, 중력 감산 블록(gravity subtraction block)(704)은 중력 성분을 감산하여 선형 가속도 값
Figure pct00001
을 생성한다. 좌표 회전 및 중력 감산은 IMU 기반의 방향의 도움으로 원시 가속도계 데이터를 선형 가속 값으로 변환한다. 이러한 선형 가속 값은 바이어스 및 교차-결합 추적기 블록(bias and cross-coupling tracker block)(606)과 이중 통합 블록(integration block)(708) 모두에 제공되며, 여기서 바이어스 및 교차-결합 추적기 블록(706)의 출력은 이중 통합 블록(708)에도 또한 제공된다.
상기 바이어스 및 교차-결합 추적기 블록(706)은 선형 가속 신호에서의 바람직하지 않은 바이어스를 제거할 수 있고, 다른 방향에서의 움직임을 고려하기 위해 선형 가속 값과 관련된 3-자유도를 제공할 수 있다. 바이어스 및 교차-결합 추적기 블록(706)은, (1) 각각의 방향/축에서 바이어스의 제거, 및 (2) 방향을 가로지르는 모션 누출의 보상을 가능하게 하는데, 여기서, Y 축에서 움직임의 일부(예컨대, 코를 따르는 안경의 수직 슬립)는 IMU/센서 결함으로 인해 X 축(예컨대, 안경의 수평축)에서 관찰된다. 즉, 변환을 획득하기 위해 통합하기 전에, 바이어스 및 교차-결합을 추정하고 제거하여 IMU 기반의 변환 추정에 있어 에러/드리프트를 완화해야 한다. 각각의 축에 대해 독립적인 처리를 제공함으로써, 향상된 바이어스 및 교차-결합 추적을 수행할 수 있으므로, 포즈 정확도가 향상될 수 있다. 또한, 행렬 역변환(matrix inversion)과 같은 계산 비용이 많이 드는 작업이 나중에 방지될 수 있으므로 포즈 지연(pose latency) 시간을 줄일 수 있다.
일 구현에 따르면, 바이어스 및 교차-결합 추적기 블록(706) 및 이중 통합 블록(708)은 다음 방정식에 의해 공동으로 지정된다. 각 축에 대해, 3D 공간
Figure pct00002
및
Figure pct00003
에서 다른 2개의 축의 교차-결합 항은 다음과 같이 상기 블록 706에서 Brownian 운동으로 모델링된다:
Figure pct00004
Figure pct00005
여기서,
Figure pct00006
및
Figure pct00007
는 해당하는 노이즈 항이고, = 표기는 추정 과정이 반복적이므로 지정 연산자(assignment operator)를 의미한다.
가속 추정치
Figure pct00008
는 다음과 같이 계산할 수 있다:
Figure pct00009
Figure pct00010
Figure pct00011
여기서,
Figure pct00012
는 각각 3D에서의 전류 및 2개의 다른 축의 가속 바이어스를 나타낸다.
Figure pct00013
는 각각 3D에서의 현재 축과 2개의 다른 축의 공칭 가속도를 나타낸다.
Figure pct00014
는 무중력/선형 가속도를 나타낸다. 확률적 가중치(예를 들어, Pab 및 Pai)를 사용하여 데이터-구동형 튜닝(data-driven tuning)을 제공하여 바이어스 및 중간 값 추정치에서의 노이즈를 줄이고, 따라서 포즈 정확도를 개선할 수 있다.
속도 추정치
Figure pct00015
는 다음과 같이 계산될 수도 있다:
Figure pct00016
Figure pct00017
Figure pct00018
여기서,
Figure pct00019
는 속도 바이어스,
Figure pct00020
는 공칭 가속도,
Figure pct00021
는 속도 추정치를 나타낸다. 확률적 가중치 값(예컨대, Pvi)을 또한 사용하여 센서의 노이즈를 줄일 수도 있다. 마지막으로, 드리프트-완화 변환 추정치(drift-mitigated translation estimate)는 다음과 같이 제공된다:
Figure pct00022
여기서
Figure pct00023
는 변환을 나타낸다.
리셋 블록(reset block)(710)은 다음 변환(
Figure pct00024
)을 생성하는 동작을 주기적으로 리셋하는데 사용될 수 있다. 즉, 누적된 변환이 결과적으로는 드리프트 되기 때문에, 적절한 속도로 주기적으로 리셋되어야 한다. 양자의 IMU(예를 들어, IMU 406 및 410)에 의해 생성된 데이터에 대해 동일한 계산이 수행되는데, 여기서 슬립은 유리에 장착된 IMU와 안경 다리(temple)에 장착된 IMU에 의해, 그것이 유리 위치로 변환된 후, 관찰된 움직임들 간의 차이로서 간주 된다.
이어서, 도 8을 참조하면, 블록 다이어그램은 IMU 방향 추정의 생성을 보여줍니다. 보다 구체적으로는, 중력 추정 블록(gravity estimation block)(802)은 현재의 회전 추정치(Rt)를 수신하고, 가속도 데이터(at)를 수신하도록 적응되는 승산기(multiplier)(804)에 연결되는 출력을 생성하도록 구성된다. 승산기(804)는 에러 데이터(e)를 생성한다. 에러 데이터는 자이로스코프에 대한 보정 값(Δwt)을 나타내는 값을 생성하는 비례-적분 오류 보정 블록(proportional-integral error correction block)(806)에 제공된다. 다음으로, 자이로스코프 데이터(wt)는 가산기(808)에 의해 자이로스코프 보정(wt)에 추가되어 보정된 자이로스코프 데이터(
Figure pct00025
)를 생성한다. 전처리-통합 회전 블록(pre-integration rotation block)(810)은 보정된 자이로스코프 데이터 및 현재의 회전 데이터 Rt를 수신하도록 결합하여 Rt의 도함수(
Figure pct00026
)를 생성한다. 다음 회전 추정치는 도함수(
Figure pct00027
)에 시간 스텝(
Figure pct00028
)을 곱하여 생성되고 가산기(814)를 통해 현재의 회전(Rt)에 가산된다. IMU 방향 추정은 IMU들(예컨대, IMU 406 및 410) 양자에 의해 수행될 수 있는데, 여기서 슬립은 유리에 장착된 IMU와 안경 다리에 장착된 IMU에 의해 관찰된, 그것이 유리 위치로 변환된 후, 움직임들 간의 차이로서 간주 된다. 도 7 및 8의 회로들은 장치의 하드웨어 요소, 소프트웨어 요소, 또는 도 1의 프로세서(102) 및 다른 요소를 포함하는 하드웨어와 소프트웨어의 조합을 사용하여 구현될 수 있다.
이제, 도 9를 참조하면, 눈의 모서리 시점들을 보여주는 눈의 이미지가 도시되어 있다. 도 9에 도시된 바와 같이, 눈동자는 눈의 타원 모양을 정의할 수 있게 하는데, 이는 일반적으로 눈꺼풀에 의해 노출되는 눈의 부분으로 정의되며, 아래에서 더 자세히 설명하는 바와 같이 슬립 보상 방법을 구현하는 데 사용된다. 일반적으로, 눈 카메라 슬립 변환 T =(
Figure pct00029
, R), 여기서
Figure pct00030
및 R은 각각 수행될 수 있는 평행 이동(translation) 및 방향(orientation)이다. 슬립 이미지에 대해 역변환(T-1)이 수행된다. 시선 매핑(gaze mapping)은, 예컨대, 변환된 이미지에서의 동공 점(pupil point)에서부터 디스플레이 상의 시선 점(gaze point)까지 보정된 매핑 기능 f를 사용하여 변환 후에 수행된다. 보다 구체적으로, 디스플레이(902)는, 예를 들어, 선반(904, 906 및 908)을 포함하여 관심이 있을 수 있는 항목을 갖는 선반의 일부를 도시한다. 도 9에 도시된 바와 같이, 눈이 시선 점을 응시하고 있는 것으로 판단될 수 있다. 슬립 보상 없이, 동공 점에서의 작은 픽셀 오류는 시선 점에서의 큰 픽셀 오류로 이어질 수 있다.
일 구현에 따르면, 도 10의 흐름도에 도시된 바와 같이 직접 슬립 보상 방법이 구현될 수 있다. 예를 들어, 입력 이미지에 대해 역변환 슬립을 적용한 후에 동공과 타원이 결정될 수 있다. 보다 구체적으로, 입력 이미지는 블록(1002)에서 수신된다. 블록(1004)에서 입력 이미지에 역 슬립 변환이 적용된다. 그 다음에, 상기 변환된 이미지가 블록(1006)에서 동공-타원 검출을 위해 사용되어 안경의 슬립을 보상할 수 있도록 한다.
이제, 도 11을 참조하면, 흐름도는 포인트-변환 슬립 보상 방법을 나타내고 있다. 도 11의 구현에 따르면, 슬립 보상은 동공 점(즉, 동공의 중심)에 기초할 수 있다. 보다 구체적으로, 입력 이미지는 블록 1102에서 수신된다. 동공-타원은 블록 1104에서 검출된다. 동공 점은 블록 1106에서 추출되고, 역 슬립 변환은 블록 1108에서 동공-점에 적용되어 안경의 슬립을 보정할 수 있도록 한다.
이제, 도 12를 참조하면, 흐름도는 타원-변환 슬립 보상 방법을 나타내고 있다. 입력 이미지는 블록 1202에서 수신된다. 도 12의 구현에 따르면, 타원은 동공 점을 식별하는 데 사용된다. 보다 구체적으로, 동공-타원은 블록 1204에서 검출된다. 블록 1206에서 동공-타원에는 역 슬립 변환이 적용된다. 상기 동공-타원은 블록 1208에서 상기 변환된 타원으로부터 추출되어 안경의 슬립에 대해 보상을 가능하게 한다.
이어서, 도 13을 참조하면, 도면은 사용자의 신체에 부착된 센서의 움직임을 보상하는 방법을 보여주는 흐름도이다. 제1 센서를 갖는 장치를 착용한 사용자의 움직임은 블록 1302에서 감지된다. 제1 센서는, 위에서 설명된 바와 같이, 안경의 센서 또는 신체의 상태 또는 컨디션을 감지하기 위한 임의의 다른 센서일 수 있다. 제2 센서를 사용하는 장치의 움직임은 블록 1304에서 검출된다. 예를 들어, 제2 센서는 안경과 연관된 다른 센서일 수 있다. 사용자의 움직임에 대한 장치의 움직임의 차이는 블록 1306에서 결정된다. 예를 들어, 장치의 움직임(예컨대, 머리 위의 안경 움직임)과 머리의 움직임의 차이가, 위에서 설명한 대로, 안경의 슬립을 감지하는 데 사용될 수 있다. 사용자의 움직임에 대한 장치의 움직임의 차이는 블록(1308)에서 보상된다. 예를 들어, 상기한 보상은 AR 또는 VR과 같은 눈 추적이 필요한 임의의 애플리케이션에서 사용될 수 있다.
일부 구현에 따르면, AR 및 VR 헤드셋이 주변 시야 영역에서 저해상도를 표시하여 렌더링 작업량을 줄일 수 있는, "포비티드 렌더링(foveated rendering"이 사용될 수 있다. 사람의 눈의 광 수용체(photoreceptors)는 "중심와(fovea)"에 밀집되어 있고 다른 쪽에는 거의 위치하지 않기 때문에, foveated 렌더링으로는 인지되는 해상도 저하가 없다.
도 10 내지 13의 방법의 다양한 요소들은 도시된 도 1 내지 9의 회로들을 이용하여 구현될 수도 있다. 여기서 상기 방법의 특정 요소들이 기술되어 있지만, 상기 방법의 추가 요소들 또는 그 요소들과 관련된 추가적 세부 사항은 도 1 내지 9의 개시에 따라 구현될 수 있음을 이해하여야 할 것이다.
따라서, 신체에 부착된 센서의 움직임을 보상하는 새로운 회로 및 방법이 개시되었음을 이해할 수 있을 것이다. 당해 기술분야의 전문가라면, 상기 개시된 발명을 포함하는 수많은 대안 및 균등물이 존재함을 이해할 수 있을 것이다. 그 결과, 본 발명은 전술한 구현에 의해 제한되는 것이 아니라, 후술하는 청구 범위에 의해서만 제한된다.

Claims (12)

  1. 사용자가 착용한 디바이스의 움직임을 보상하는 방법에 있어서,
    상기 디바이스의 제1 센서를 사용하여 상기 디바이스를 착용한 사용자의 움직임을 측정하는 단계;
    제2 센서를 사용하여 상기 디바이스의 움직임을 측정하는 단계;
    상기 사용자의 움직임에 대한 상기 디바이스의 움직임의 차이를 결정하는 단계; 및
    상기 사용자의 움직임에 대한 상기 디바이스의 움직임의 차이를 보상하는 단계를 포함하는 방법.
  2. 제1 항에 있어서,
    상기 디바이스는 EEG 디바이스, EOG 디바이스, EKG 디바이스, 산소 검출기, 이산화탄소 검출기, 가슴 밴드, 팔 밴드 또는 다리 밴드 중 적어도 하나를 포함하는 방법.
  3. 제1 항에 있어서,
    상기 디바이스는 안경을 포함하는 방법.
  4. 제3 항에 있어서,
    상기 사용자의 움직임에 대한 상기 디바이스의 움직임의 차이를 결정하는 단계는 상기 안경 상의 상기 제2 센서를 이용하여 상기 안경의 움직임을 측정하는 단계 및 상기 제2 센서를 이용하여 상기 안경을 착용한 상기 사용자의 움직임을 측정하는 단계를 포함하는 방법.
  5. 제3 항에 있어서,
    상기 사용자의 움직임에 대한 상기 디바이스의 움직임의 차이를 보상하는 단계는 안경의 슬립(slip)을 결정하기 위해 상기 사용자의 머리의 움직임을 취소하는 단계를 포함하는 방법.
  6. 제1 항에 있어서,
    상기 사용자의 움직임에 대한 상기 디바이스의 움직임의 차이를 보상하는 단계는 입력 이미지에 역 슬립 변환(inverse slip transform)을 적용하는 단계, 및 동공-타원 검출 및 동공-점 추출을 위해 변환된 이미지를 사용하는 단계를 포함하는 방법.
  7. 제1 항에 있어서,
    상기 사용자의 움직임에 대한 상기 디바이스의 움직임의 차이를 보상하는 단계는 동공-타원으로부터 동공-점을 추출하는 단계, 및 상기 동공-타원에 역 슬립 변환을 적용하는 단계를 포함하는 방법.
  8. 제1 항에 있어서,
    상기 사용자의 움직임에 대한 상기 디바이스의 움직임의 차이를 보상하는 단계는 입력 이미지에 역 슬립 변환을 적용하는 단계, 및 동공-타원 추출을 위해 변환된 이미지를 사용하는 단계를 포함하는 방법.
  9. 사용자가 착용한 디바이스를 모니터링하기 위한 장치에 있어서,
    제1 센서;
    제2 센서; 및
    상기 제1 센서 및 상기 제2 센서에 연결된 프로세서를 포함하고, 상기 프로세서는:
    상기 제1 센서를 이용하여 상기 디바이스를 착용한 사용자의 움직임을 측정하고;
    상기 제2 센서를 사용하여 상기 디바이스의 움직임을 측정하고;
    상기 사용자의 움직임에 대한 상기 디바이스의 움직임의 차이를 결정하고; 그리고
    상기 사용자의 움직임에 대한 상기 디바이스의 움직임의 차이를 보상하도록 구성되는 장치.
  10. 제9 항에 있어서,
    상기 프로세서는 제2항 내지 제8항의 방법들 중 하나에 따라 동작하도록 추가로 구성되는 장치.
  11. 명령들을 나타내는 저장된 데이터를 갖는 비-일시적 컴퓨터-판독가능 저장 매체로서, 상기 명령들은:
    디바이스의 제1 센서를 사용하여 상기 디바이스를 착용한 사용자의 움직임을 측정하는 단계;
    제2 센서를 사용하여 상기 디바이스의 움직임을 측정하는 단계;
    상기 사용자의 움직임에 대한 상기 디바이스의 움직임의 차이를 결정하는 단계; 및
    상기 사용자의 움직임에 대한 상기 디바이스의 움직임의 차이를 보상하는 단계을 포함하는 방법을 수행하기 위해 프로세서에 의해 실행 가능한, 비-일시적 컴퓨터-판독가능 저장 매체.
  12. 제11항에 있어서,
    상기 명령들은 제2항 내지 제8항의 방법들 중 하나를 추가로 수행하기 위해 상기 프로세서에 의해 실행 가능한 비-일시적 컴퓨터-판독가능 저장 매체.
KR1020217010077A 2018-12-10 2019-02-12 사용자 신체에 부착된 센서 움직임의 보상 방법 및 장치 KR20210091692A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/214,462 US10990168B2 (en) 2018-12-10 2018-12-10 Compensating for a movement of a sensor attached to a body of a user
US16/214,462 2018-12-10
PCT/KR2019/001685 WO2020122318A1 (en) 2018-12-10 2019-02-12 Compensating for a movement of a sensor attached to a body of a user

Publications (1)

Publication Number Publication Date
KR20210091692A true KR20210091692A (ko) 2021-07-22

Family

ID=70971382

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217010077A KR20210091692A (ko) 2018-12-10 2019-02-12 사용자 신체에 부착된 센서 움직임의 보상 방법 및 장치

Country Status (5)

Country Link
US (1) US10990168B2 (ko)
EP (1) EP3833245B1 (ko)
KR (1) KR20210091692A (ko)
CN (1) CN113164040A (ko)
WO (1) WO2020122318A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024030656A2 (en) * 2022-08-05 2024-02-08 Haptx, Inc. Haptic platform and ecosystem for immersive computer mediated environments
WO2024057325A1 (en) * 2022-09-15 2024-03-21 Anycan Tech Ltd System for monitoring position and posture of person with disabilities

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6369952B1 (en) 1995-07-14 2002-04-09 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
US8587659B1 (en) 2007-05-07 2013-11-19 Equinox Corporation Method and apparatus for dynamic image registration
KR101576567B1 (ko) 2009-12-04 2015-12-10 한국전자통신연구원 제스처 입력 장치 및 이를 이용한 제스처 인식 방법 및 장치
US20140160170A1 (en) * 2012-12-06 2014-06-12 Nokia Corporation Provision of an Image Element on a Display Worn by a User
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
WO2014204330A1 (en) 2013-06-17 2014-12-24 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
US10310597B2 (en) 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
JP6689203B2 (ja) 2014-03-19 2020-04-28 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 立体ビューワのための視線追跡を統合する医療システム
KR20230142657A (ko) 2014-03-19 2023-10-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 눈 시선 추적을 사용하는 의료 디바이스, 시스템, 및 방법
US9754415B2 (en) * 2014-03-27 2017-09-05 Microsoft Technology Licensing, Llc Display relative motion compensation
US10660546B2 (en) * 2017-12-21 2020-05-26 Michael Saigh Human and animal physiological comparatives, communication and developers' tool kit
US20180084232A1 (en) 2015-07-13 2018-03-22 Michael Belenkii Optical See-Through Head Worn Display
CN113358045A (zh) 2015-11-04 2021-09-07 奇跃公司 光场显示度量
CN106997235B (zh) * 2016-01-25 2018-07-13 亮风台（上海）信息科技有限公司 用于实现增强现实交互和展示的方法、设备
JP6342440B2 (ja) * 2016-03-04 2018-06-13 株式会社東芝 眼球運動検出装置、眼球運動検出方法、およびアイウエア
US10146334B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
US10146335B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
EP3490433B1 (en) 2016-07-27 2023-03-08 Tobii AB Wearable device having a display, lens, illuminator, and image sensor
KR102349543B1 (ko) * 2016-11-22 2022-01-11 삼성전자주식회사 사용자의 눈을 추적하는 방법 및 장치와 역변환된 저조도 영상을 생성하는 방법
KR101857466B1 (ko) * 2017-06-16 2018-05-15 주식회사 비주얼캠프 헤드 마운트 디스플레이 및 그 캘리브레이션 방법
US10665206B2 (en) * 2018-07-30 2020-05-26 Honeywell International Inc. Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance

Also Published As

Publication number Publication date
EP3833245B1 (en) 2024-05-01
EP3833245A4 (en) 2021-10-06
CN113164040A (zh) 2021-07-23
US20200183488A1 (en) 2020-06-11
US10990168B2 (en) 2021-04-27
WO2020122318A1 (en) 2020-06-18
EP3833245A1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
CN111263925B (zh) 用于使用事件相机数据的眼动跟踪的方法和设备
US10650533B2 (en) Apparatus and method for estimating eye gaze location
US9904054B2 (en) Headset with strain gauge expression recognition system
US9864192B2 (en) Image display device, computer program, and image display system
US20150265161A1 (en) Methods and Apparatus for Physiological Parameter Estimation
US11662589B2 (en) Geometry modeling of eyewear devices with flexible frames
AU2021265597A1 (en) A system for acquiring ultrasound images of internal organs of a human body
EP3833245B1 (en) Compensating for a movement of a sensor attached to a body of a user
US11029754B2 (en) Calibration method, portable device, and computer-readable storage medium
CN110651467B (zh) 基于非视觉姿势数据的深度数据调整
US11006873B2 (en) Calculating a score of a degree of arousal of a user
KR102012804B1 (ko) 사용자 행위를 인지하는 방법, 장치 및 컴퓨터 프로그램
US20220350167A1 (en) Two-Eye Tracking Based on Measurements from a Pair of Electronic Contact Lenses
US10545572B2 (en) Motion tracking apparatus and system
Sessa et al. Ultra-miniaturized WB-3 Inertial Measurement Unit: Performance evaluation of the attitude estimation
US20230062045A1 (en) Display control device, display control method, and recording medium
KR20150140049A (ko) 웨어러블 디바이스
KR20190107738A (ko) 이미지 처리 장치 및 방법
EP3662813B1 (en) Wearable device-compatible electrooculography data processing device, spectacle-type wearable device provided with same, and wearable device-compatible electrooculography data processing method
KR20170085933A (ko) 비착용형 시선추적기의 응시점 보정 장치 및 방법
EP3498150A1 (en) Head mountable apparatus
JPWO2017122533A1 (ja) 眼電位キャリブレーション装置、眼鏡型電子機器、眼電位キャリブレーション方法およびプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal