KR102405416B1 - Hmd를 착용한 사용자의 자세 추정 방법 - Google Patents

Hmd를 착용한 사용자의 자세 추정 방법 Download PDF

Info

Publication number
KR102405416B1
KR102405416B1 KR1020190152190A KR20190152190A KR102405416B1 KR 102405416 B1 KR102405416 B1 KR 102405416B1 KR 1020190152190 A KR1020190152190 A KR 1020190152190A KR 20190152190 A KR20190152190 A KR 20190152190A KR 102405416 B1 KR102405416 B1 KR 102405416B1
Authority
KR
South Korea
Prior art keywords
posture
hand
user
hmd
rgb
Prior art date
Application number
KR1020190152190A
Other languages
English (en)
Other versions
KR20210063723A (ko
Inventor
이석원
박병하
정광모
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190152190A priority Critical patent/KR102405416B1/ko
Publication of KR20210063723A publication Critical patent/KR20210063723A/ko
Application granted granted Critical
Publication of KR102405416B1 publication Critical patent/KR102405416B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Abstract

RGB-D 카메라와 IMU(Inertial Measurement Unit) 센서가 탑재된 HMD를 착용한 사용자의 자세 추정 방법이 제공된다. 본 발명의 실시예에 따른 HMD를 착용한 사용자의 자세 추정 방법은, HMD 내에 장착된 IMU(Inertial Measurement Unit) 센서를 통해 사용자의 머리 움직임 데이터를 수집하는 단계; HMD 내에 장착된 RGB-D 카메라를 통해 사용자 주변 환경에 대한 이미지 데이터를 수집하는 단계; 및 사용자 자세 추론기가, IMU 센서 및 RGB-D 카메라를 통해 수집된 데이터들을 기반으로 사용자 몸 전체의 자세를 추정하는 단계;를 포함한다. 이에 의해, 최소한의 센서만으로 사용자 몸 전체의 자세를 추정할 수 있어, 손에 추가 장치를 달지 않으므로 손가락 움직임이 자유롭게 할 수 있다. 더불어, Inside-out 방식의 위치 추적으로 외부에 추가적인 장치(위치 추적 카메라 등)가 필요 없이도, 손의 움직임을 추적 가능하여, 사용자의 편의성을 향상 시킬 수 있다.

Description

HMD를 착용한 사용자의 자세 추정 방법{Method for posture estimation of user wearing Head Mounted Display}
본 발명은 사용자의 자세 추정 방법에 관한 것으로, 더욱 상세하게는 RGB-D 카메라와 IMU(Inertial Measurement Unit) 센서가 탑재된 HMD를 착용한 사용자의 자세 추정 방법에 관한 것이다.
기존에는 HMD를 착용한 사용자의 움직임을 추정하기 위해서 키넥트 이용 방식 또는 outside-in 방식과 같이 외부 카메라 장치를 이용하거나 몸에 IMU 센서 등을 추가로 부착하는 방법을 이용하였다.
이때, 몸에 추가 센서를 착용하는 방식은 센서의 개수에 따라 다수(10개 이상), 중요 관절 부위(5~6개), 상반신(2~3개)로 나눌 수 있는데, 센서의 개수가 많을수록 부착의 불편함이나 무게, 가격 때문에 사용성이 떨어지게 되지만 너무 적게 된다면 인식하는 사용자 자세가 점차 부정확하게 되는 문제점이 존재한다.
현재는 최소 2개의 센서를 양손에 들고 HMD 의 위치를 추가로 인식하는 형태로 상반신만 캡처하는 방식을 사용하는데, 이 역시, 센서를 양손에 쥐는 형태는 무게가 더해질 뿐만 아니라 손가락의 움직임을 정확하게 파악해야 하는 어플리케이션에서 사용 불가능하다는 문제점이 존재한다.
따라서, HMD를 착용한 사용자의 움직임을 최소한의 센서만으로 추정할 수 있는 방안의 모색이 요구된다.
삭제
한국등록특허 제10-1956312호(발명의 명칭: RGB-D 카메라 포즈 추정의 정확도 향상을 위한 깊이 맵 필터링 및 다중-레벨 예측자-수정자 방법) 한국등록특허 제10-1940718호 (발명의 명칭: ＲＧＢ-Ｄ 영상 기반 사람 영역 추출 장치 및 그 방법)
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, RGB-D 카메라와 IMU로 얻어진 데이터로부터 학습 추론기 기반 주변 환경 인식 및 머리의 움직임 추적, 손 움직임의 추정, 손과 몸 움직임을 병합하여, 최소한의 센서만으로 사용자의 자세를 추정하는 자세 추정 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, HMD를 착용한 사용자의 자세 추정 방법은, HMD 내에 장착된 IMU(Inertial Measurement Unit) 센서를 통해 사용자의 머리 움직임 데이터를 수집하는 단계; HMD 내에 장착된 RGB-D 카메라를 통해 사용자 주변 환경에 대한 이미지 데이터를 수집하는 단계; 및 사용자 자세 추론기가, IMU 센서 및 RGB-D 카메라를 통해 수집된 데이터들을 기반으로 사용자 몸 전체의 자세를 추정하는 단계;를 포함한다.
그리고 이미지 데이터를 수집하는 단계는, RGB-D 카메라를 통해, 사용자가 속한 환경의 바닥과 책상의 이미지 데이터를 수집하여, 책상의 높이를 측정할 수 있다.
또한, 자세를 추정하는 단계는, 사용자 자세 추론기가, 사용자가 속한 환경의 바닥에서 HMD까지의 높이와 책상의 높이의 관계에 따라 사용자 몸 전체의 자세를 추정할 수 있다.
그리고 자세를 추정하는 단계는, 입력된 사용자 키 대비 바닥에서 HMD까지의 높이, 현재 HMD에서 책상까지의 거리, 이전 HMD의 위치의 값이 미리 학습된 사용자 자세 추론기에 입력되면, 사용자 자세 추론기가, 사용자 몸 전체의 현재 자세를 추정할 수 있다.
또한, 자세를 추정하는 단계는, 미리 학습된 손 자세 추론기가, RGB-D의 카메라를 통해 수집된 복수의 이미지 데이터를 기반으로 사용자의 손을 인식하면, 인식된 손의 위치와 손의 자세를 추정할 수 있다.
그리고 자세를 추정하는 단계는, 사용자 자세 추론기가 몸 전체의 자세를 추정하는 단계; 수집된 복수의 이미지 데이터를 기반으로 사용자의 손이 인식되면, 손 자세 추론기가, 인식된 손의 위치와 손의 자세를 추정하는 단계; 및 손 자세 추론기가, 몸 전체의 자세 추정 결과에 손의 위치와 손의 자세 추정 결과를 반영하여 사용자 몸 전체의 자세를 수정하는 단계;를 포함할 수 있다.
또한, 손 자세 추론기는, 수집된 복수의 이미지 데이터를 기반으로 손이 인식될 때에만 동작하여 인식된 손의 위치와 손의 자세를 추정하는 딥러닝 기반의 추론기일 수 있다.
한편, 본 발명의 다른 실시예에 따른, HMD를 착용한 사용자의 자세 추정 시스템은, HMD 내에 장착되어, 사용자의 머리 움직임 데이터를 수집하는 IMU(Inertial Measurement Unit) 센서; HMD 내에 장착되어, 사용자 주변 환경에 대한 이미지 데이터를 수집하는 RGB-D 카메라; RGB-D의 카메라를 통해 수집된 복수의 이미지 데이터를 기반으로 사용자의 손을 인식하고, 인식 결과를 기반으로 손의 위치 및 자세를 추정하는 손 자세 추론기; 및 IMU 센서 및 RGB-D 카메라를 통해 수집된 데이터들을 기반으로 사용자 몸 전체의 자세를 추론하는 사용자 자세 추론기;를 포함한다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 최소한의 센서만으로 사용자의 자세를 추정할 수 있어, 손에 추가 장치를 달지 않으므로 손가락 움직임이 자유롭게 할 수 있다.
더불어, 본 발명의 실시예들에 따르면, Inside-out 방식의 위치 추적으로 외부에 추가적인 장치(위치 추적 카메라 등)가 필요 없이도, 손의 움직임을 추적 가능하여, 사용자의 편의성을 향상 시킬 수 있다.
도 1은, 본 발명의 일 실시예에 따른 HMD를 착용한 사용자의 자세 추정 방법의 설명에 제공된 도면,
도 2는 본 발명의 일 실시예에 따른 HMD를 착용한 사용자의 자세 추정 시스템의 설명에 제공된 도면,
도 3은 본 발명의 일 실시예에 따른 HMD의 설명에 제공된 도면,
도 4는 본 발명의 일 실시예에 따른 사용자 자세 추론기의 설명에 제공된 도면, 그리고
도 5는 본 발명의 일 실시예에 따른 손 자세 추론기의 설명에 제공된 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은, 본 발명의 일 실시예에 따른 HMD(100)를 착용한 사용자의 자세 추정 방법(이하에서는 '자세 추정 방법'으로 총칭하기로 함)의 설명에 제공된 도면이다.
본 실시예에 따른 자세 추정 방법은, HMD 내에 장착된 RGB-D 카메라(120)와 IMU 센서(110)로 얻어진 데이터로부터 학습 추론기 기반 주변 환경 인식 및 머리의 움직임 추적, 손 움직임의 추정, 손과 몸 움직임을 병합하여, 최소한의 센서만으로 사용자의 자세를 추정하기 위해, HMD(100) 내에 장착된 IMU 센서(110)를 통해 사용자의 머리 움직임 데이터를 수집하고(S110), HMD(100) 내에 장착된 RGB-D 카메라(120)를 통해 사용자 주변 환경에 대한 이미지 데이터를 수집하여(S120), 수집된 데이터들을 기반으로 자세를 추정할 수 있다.
구체적으로, IMU 센서(110)를 통해 사용자의 머리 움직임 데이터를 수집하고, RGB-D 카메라(120)를 통해, 이미지 데이터를 수집하여, 사용자가 속한 환경의 바닥에서 HMD(100)까지의 높이 및 책상의 높이를 측정하면, 자세를 추정하는 단계에서, 사용자가 속한 환경의 바닥에서 HMD(100)까지의 높이와 책상의 높이의 관계에 따라 사용자 몸 전체의 자세를 추정할 수 있다.
그리고 자세를 추정하는 단계에서, 사전에 입력된 사용자 키 대비 바닥에서 HMD(100)까지의 높이, 현재 HMD(100)에서 책상까지의 거리, 이전 HMD(100)의 위치의 값이 미리 학습된 사용자 자세 추론기(200)에 입력되면, 사용자 몸 전체의 현재 자세를 추정할 수 있다(S130).
이때, 자세를 추정하는 단계에서, RGB-D의 카메라(400)를 통해 수집된 복수의 이미지 데이터를 기반으로 사용자의 손이 인식되면(S140-Y), 손 자세 추론기를 통해 인식된 손의 위치와 손의 자세를 추정하고(S150), 몸 전체의 자세 추정 결과에 손의 위치와 손의 자세 추정 결과를 반영하여 사용자의 자세를 수정할 수 있다(S160).
도 2는 본 발명의 일 실시예에 따른 HMD(100)를 착용한 사용자의 자세 추정 시스템(이하에서는 '자세 추정 시스템'으로 총칭하기로 함)의 설명에 제공된 도면이고, 도 3은 본 발명의 일 실시예에 따른 HMD(100)의 설명에 제공된 도면이며, 도 4는 본 발명의 일 실시예에 따른 사용자 자세 추론기(200)의 설명에 제공된 도면이고, 도 5는 본 발명의 일 실시예에 따른 손 자세 추론기(300)의 설명에 제공된 도면이다.
도 2 내지 도 5를 참조하면, 본 실시예에 따른 자세 추정 시스템은, HMD(100), 사용자 자세 추론기(200), 손 자세 추론기(300) 및 RGB-D 카메라(120)를 포함할 수 있다.
HMD(100)는 내장된 IMU 센서(110)로 사용자 머리의 움직임을 추적할 수 있다.
삭제
여기서, IMU 센서(110)는 3차원 공간에서 앞뒤, 상하, 좌우 3축으로의 이동을 감지하는 가속도 센서와 피치(Pitch) 롤(Roll) 요(Yaw)의 3축 회전을 검출하는 자이로스코프 센서로 이루어진다.
또한, HMD(100)는 사용자 및 사용자가 속한 환경에 대한 이미지 데이터를 수집하는 RGB-D 카메라(120)를 통해, 사용자 머리의 움직임을 추적할 수 있다.
RGB-D 카메라(120)는, HMD 내에 장착되어, 사용자 및 사용자가 속한 환경에 대한 이미지 데이터를 수집하고, 수집된 복수의 이미지 데이터를 기반으로 사용자가 속한 환경의 바닥에서 HMD(100)까지의 높이 및 책상의 높이를 측정할 수 있다.
사용자 자세 추론기(200)는 사용자가 속한 환경의 바닥에서 HMD(100)까지의 높이와 책상의 높이의 관계에 따라 서있거나 앉아있는 사용자 몸 전체의 기본자세를 추정할 수 있다.
예를 들면, 사용자 자세 추론기(200)는 사전에 입력된 사용자 키 대비 바닥에서 HMD(100)까지의 높이, 현재 HMD(100)에서 책상까지의 거리, 이전 HMD(100)의 위치의 값이 미리 학습된 사용자 자세 추론기(200)에 입력되면, 현재 사용자의 현재 자세를 추정할 수 있다.
이를 위해, 사용자 자세 추론기(200)는 데이터 처리 및 생성부(210), 제1 학습부(220) 및 사용자 자세 추론부(230)를 포함할 수 있다.
데이터 처리 및 생성부(210)는, 이전 사용자 몸 전체의 자세, 사전에 입력된 사용자 키 대비 바닥에서 HMD(100)까지의 높이, 현재 HMD(100)에서 책상까지의 거리, 이전 HMD(100)의 위치의 값 등이 입력되면, 데이터를 처리하여, 제1 학습부(220)의 학습 데이터를 생성할 수 있다.
제1 학습부(220)는 학습 데이터를 기반으로, 현재 HMD(100)의 위치와 이전 HMD(100) 위치와의 차이, 환경의 바닥에서 HMD(100)까지의 높이로 현재 자세를 추론하는 딥러닝 학습을 수행할 수 있다.
사용자 자세 추론부(230)는 딥러닝 학습을 통해, 환경의 바닥에서 HMD(100)까지의 높이와 책상의 높이와의 관계에 따라 사용자의 기본 자세를 추정할 수 있다.
손 자세 추론기(300)는 RGB-D의 카메라를 통해 수집된 복수의 이미지 데이터를 기반으로 사용자의 손을 인식하면, 인식된 손의 위치와 손의 자세를 추정하고, 몸 전체의 자세 추정 결과에 손의 위치와 손의 자세 추정 결과를 반영하여 사용자의 자세를 수정할 수 있다.
구체적으로, 손 자세 추론기(300)는 RGB-D의 카메라를 통해 수집된 복수의 이미지 데이터를 기반으로 손이 인식될 때에만 동작하여 인식된 손의 위치와 손의 자세를 추정하고, 몸 전체의 자세 추정 결과에 손의 위치와 손의 자세 추정 결과를 반영하여 사용자의 자세를 수정할 수 있다.
이를 위해, 손 자세 추론기(300)는, RGB-D 이미지 외곽선 추출부(310), 오른손 왼손 판별부(320), 손 자세 추론부(330) 및 제2 학습부(340)를 포함할 수 있다.
RGB-D 이미지 외곽선 추출부(310)는, RGB-D 이미지의 외곽선을 추출하여, 추출된 외곽선 중 손에 해당하는 외곽선을 식별하고, 이를 기반으로 손의 자세를 추론하기 위한 학습 데이터를 생성할 수 있다.
오른손 왼손 판별부(320)는, 외곽선이 식별된 학습 데이터에서 검출된 손이 오른손인지 왼손인지 여부를 판별하여, 판별 결과를 학습 데이터에 부가할 수 있다.
손 자세 추론부(330)는 손의 움직임에 대한 딥러닝 학습을 통해, 복수의 이미지 데이터를 기반으로 손을 인식하며, 인식된 손의 위치와 손의 자세를 추정하고, 몸 전체의 자세 추정 결과에 손의 위치와 손의 자세 추정 결과를 반영하여 사용자의 자세를 수정할 수 있다.
제2 학습부(340)는 RGB-D 이미지 외곽선 추출부(310) 및 오른손 왼손 판별부(320)를 통해 확보된 학습 데이터를 기반으로, 사용자의 손을 인식하여, 인식된 손의 위치와 손의 자세를 추정하고, 몸 전체의 자세 추정 결과에 손의 위치와 손의 자세 추정 결과를 반영하여 사용자의 자세를 수정하는 딥러닝 학습을 수행할 수 있다.
첨언하면, 손 자세 추론기(300)는 손과 몸 전체 자세를 병합하기 위해 보간법을 사용할 수 있다.
이를 통해, 최소한의 센서만으로 사용자의 자세를 추정할 수 있어, 손에 추가 장치를 달지 않으므로 손가락 움직임이 자유롭게 할 수 있다.
더불어, Inside-out 방식의 위치 추적으로 외부에 추가적인 장치(위치 추적 카메라 등)가 필요 없이도, 손의 움직임을 추적 가능하여, 사용자의 편의성을 향상 시킬 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : HMD
110 : IMU(Inertial Measurement Unit) 센서
120 : RGB-D 카메라
200 : 사용자 자세 추론기
210 : 데이터 처리 및 생성부
220 : 제1 학습부
230 : 사용자 자세 추론부
300 : 손 자세 추론기
310 : RGB-D 이미지 외곽선 추출부
320 : 오른손 왼손 판별부
330 : 손 자세 추론부
340 : 제2 학습부

Claims (8)

  1. HMD 내에 장착된 IMU(Inertial Measurement Unit) 센서를 통해 사용자의 머리 움직임 데이터를 수집하는 단계;
    HMD 내에 장착된 RGB-D 카메라를 통해 사용자 주변 환경에 대한 이미지 데이터를 수집하는 단계; 및
    사용자 자세 추론기가, IMU 센서 및 RGB-D 카메라를 통해 수집된 데이터들을 기반으로 사용자 몸 전체의 자세를 추정하는 단계;를 포함하고,
    이미지 데이터를 수집하는 단계는,
    RGB-D 카메라를 통해, 사용자가 속한 환경의 바닥과 책상의 이미지 데이터를 수집하여, 책상의 높이를 측정하며,
    자세를 추정하는 단계는,
    사용자 자세 추론기가, 사용자가 속한 환경의 바닥에서 HMD까지의 높이와 책상의 높이의 관계에 따라 사용자 몸 전체의 자세를 추정하고,
    자세를 추정하는 단계는,
    입력된 사용자 키 대비 바닥에서 HMD까지의 높이, 현재 HMD에서 책상까지의 거리, 이전 HMD의 위치의 값이 미리 학습된 사용자 자세 추론기에 입력되면, 사용자 자세 추론기가, 사용자 몸 전체의 현재 자세를 추정하고,
    자세를 추정하는 단계는,
    미리 학습된 손 자세 추론기가, RGB-D의 카메라를 통해 수집된 복수의 이미지 데이터를 기반으로 사용자의 손을 인식하면, 인식된 손의 위치와 손의 자세를 추정하고,
    자세를 추정하는 단계는,
    사용자 자세 추론기가 몸 전체의 자세를 추정하는 단계;
    수집된 복수의 이미지 데이터를 기반으로 사용자의 손이 인식되면, 손 자세 추론기가, 인식된 손의 위치와 손의 자세를 추정하는 단계; 및
    손 자세 추론기가, 몸 전체의 자세 추정 결과에 손의 위치와 손의 자세 추정 결과를 반영하여 사용자 몸 전체의 자세를 수정하는 단계;를 포함하며,
    손 자세 추론기는,
    수집된 복수의 이미지 데이터를 기반으로 손이 인식될 때에만 동작하여 인식된 손의 위치와 손의 자세를 추정하는 딥러닝 기반의 추론기이며,
    손 자세 추론기는,
    RGB-D 이미지의 외곽선을 추출하여, 추출된 외곽선 중 손에 해당하는 외곽선을 식별하여 손의 자세를 추론하기 위한 학습 데이터를 생성하는 RGB-D 이미지 외곽선 추출부;
    외곽선이 식별된 학습 데이터에서 검출된 손이 오른손인지 왼손인지 여부를 판별하여, 판별 결과를 학습 데이터에 부가하는 오른손 왼손 판별부;
    손의 움직임에 대한 딥러닝 학습을 통해, 복수의 이미지 데이터를 기반으로 손을 인식하며, 인식된 손의 위치와 손의 자세를 추정하고, 몸 전체의 자세 추정 결과에 손의 위치와 손의 자세 추정 결과를 반영하여 사용자의 자세를 수정하는 손 자세 추론부; 및
    RGB-D 이미지 외곽선 추출부 및 오른손 왼손 판별부를 통해 확보된 학습 데이터를 기반으로, 사용자의 손을 인식하여, 인식된 손의 위치와 손의 자세를 추정하고, 몸 전체의 자세 추정 결과에 손의 위치와 손의 자세 추정 결과를 반영하여 사용자의 자세를 수정하는 딥러닝 학습을 수행하는 제2 학습부;를 포함하는 것을 특징으로 하는 HMD를 착용한 사용자의 자세 추정 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. HMD 내에 장착되어, 사용자의 머리 움직임 데이터를 수집하는 IMU(Inertial Measurement Unit) 센서;
    HMD 내에 장착되어, 사용자 주변 환경에 대한 이미지 데이터를 수집하는 RGB-D 카메라;
    RGB-D의 카메라를 통해 수집된 복수의 이미지 데이터를 기반으로 사용자의 손을 인식하고, 인식 결과를 기반으로 손의 위치 및 자세를 추정하는 손 자세 추론기; 및
    IMU 센서 및 RGB-D 카메라를 통해 수집된 데이터들을 기반으로 사용자 몸 전체의 자세를 추론하는 사용자 자세 추론기;를 포함하고,
    RGB-D 카메라는,
    사용자가 속한 환경의 바닥과 책상의 이미지 데이터를 수집하여, 책상의 높이를 측정하며,
    사용자 자세 추론기는,
    사용자가 속한 환경의 바닥에서 HMD까지의 높이와 책상의 높이의 관계에 따라 사용자 몸 전체의 자세를 추정하고,
    사용자 자세 추론기는,
    입력된 사용자 키 대비 바닥에서 HMD까지의 높이, 현재 HMD에서 책상까지의 거리, 이전 HMD의 위치의 값이 미리 학습된 사용자 자세 추론기에 입력되면, 사용자 몸 전체의 현재 자세를 추정하고,
    손 자세 추론기는,
    RGB-D의 카메라를 통해 수집된 복수의 이미지 데이터를 기반으로 사용자의 손을 인식하면, 인식된 손의 위치와 손의 자세를 추정하고,
    사용자 자세 추론기는, 몸 전체의 자세를 추정하고,
    손 자세 추론기는,
    사용자 자세 추론기를 통해 몸 전체의 자세 추정 시, 수집된 복수의 이미지 데이터를 기반으로 사용자의 손이 인식되면, 인식된 손의 위치와 손의 자세를 추정하며,
    몸 전체의 자세 추정 결과에 손의 위치와 손의 자세 추정 결과를 반영하여 사용자 몸 전체의 자세를 수정하고,
    손 자세 추론기는,
    수집된 복수의 이미지 데이터를 기반으로 손이 인식될 때에만 동작하여 인식된 손의 위치와 손의 자세를 추정하는 딥러닝 기반의 추론기이며,
    손 자세 추론기는,
    RGB-D 이미지의 외곽선을 추출하여, 추출된 외곽선 중 손에 해당하는 외곽선을 식별하여 손의 자세를 추론하기 위한 학습 데이터를 생성하는 RGB-D 이미지 외곽선 추출부;
    외곽선이 식별된 학습 데이터에서 검출된 손이 오른손인지 왼손인지 여부를 판별하여, 판별 결과를 학습 데이터에 부가하는 오른손 왼손 판별부;
    손의 움직임에 대한 딥러닝 학습을 통해, 복수의 이미지 데이터를 기반으로 손을 인식하며, 인식된 손의 위치와 손의 자세를 추정하고, 몸 전체의 자세 추정 결과에 손의 위치와 손의 자세 추정 결과를 반영하여 사용자의 자세를 수정하는 손 자세 추론부; 및
    RGB-D 이미지 외곽선 추출부 및 오른손 왼손 판별부를 통해 확보된 학습 데이터를 기반으로, 사용자의 손을 인식하여, 인식된 손의 위치와 손의 자세를 추정하고, 몸 전체의 자세 추정 결과에 손의 위치와 손의 자세 추정 결과를 반영하여 사용자의 자세를 수정하는 딥러닝 학습을 수행하는 제2 학습부;를 포함하는 것을 특징으로 하는 HMD를 착용한 사용자의 자세 추정 시스템.
KR1020190152190A 2019-11-25 2019-11-25 Hmd를 착용한 사용자의 자세 추정 방법 KR102405416B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190152190A KR102405416B1 (ko) 2019-11-25 2019-11-25 Hmd를 착용한 사용자의 자세 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190152190A KR102405416B1 (ko) 2019-11-25 2019-11-25 Hmd를 착용한 사용자의 자세 추정 방법

Publications (2)

Publication Number Publication Date
KR20210063723A KR20210063723A (ko) 2021-06-02
KR102405416B1 true KR102405416B1 (ko) 2022-06-07

Family

ID=76372737

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190152190A KR102405416B1 (ko) 2019-11-25 2019-11-25 Hmd를 착용한 사용자의 자세 추정 방법

Country Status (1)

Country Link
KR (1) KR102405416B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674412B (zh) * 2021-08-12 2023-08-29 浙江工商大学 基于位姿融合优化的室内地图构建方法、系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014093703A (ja) 2012-11-06 2014-05-19 Sony Computer Entertainment Inc ヘッドマウントディスプレイ、動き検出装置、動き検出方法、および映像提示システム
US20150241959A1 (en) 2013-07-12 2015-08-27 Magic Leap, Inc. Method and system for updating a virtual world
US20160360970A1 (en) 2015-06-14 2016-12-15 Facense Ltd. Wearable device for taking thermal and visual measurements from fixed relative positions
KR101861096B1 (ko) 2016-09-12 2018-05-29 한국과학기술연구원 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법 및 장치
KR101916146B1 (ko) 2017-07-19 2019-01-30 제이에스씨(주) Ar과 vr을 기반으로 하는 독서 체험 서비스 제공 방법 및 시스템
EP3533409A1 (en) 2018-02-19 2019-09-04 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US20190313915A1 (en) 2015-06-14 2019-10-17 Facense Ltd. Posture-adjusted calculation of physiological signals

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4007899B2 (ja) * 2002-11-07 2007-11-14 オリンパス株式会社 運動検出装置
KR101638550B1 (ko) * 2014-06-25 2016-07-12 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
KR101940718B1 (ko) 2015-09-04 2019-01-22 한국전자통신연구원 Ｒｇｂ-ｄ 영상 기반 사람 영역 추출 장치 및 그 방법
KR101956312B1 (ko) 2017-02-21 2019-03-08 서강대학교산학협력단 Rgb-d 카메라 포즈 추정의 정확도 향상을 위한 깊이 맵 필터링 및 다중-레벨 예측자-수정자 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014093703A (ja) 2012-11-06 2014-05-19 Sony Computer Entertainment Inc ヘッドマウントディスプレイ、動き検出装置、動き検出方法、および映像提示システム
US20150241959A1 (en) 2013-07-12 2015-08-27 Magic Leap, Inc. Method and system for updating a virtual world
US20160360970A1 (en) 2015-06-14 2016-12-15 Facense Ltd. Wearable device for taking thermal and visual measurements from fixed relative positions
US20190313915A1 (en) 2015-06-14 2019-10-17 Facense Ltd. Posture-adjusted calculation of physiological signals
KR101861096B1 (ko) 2016-09-12 2018-05-29 한국과학기술연구원 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법 및 장치
KR101916146B1 (ko) 2017-07-19 2019-01-30 제이에스씨(주) Ar과 vr을 기반으로 하는 독서 체험 서비스 제공 방법 및 시스템
EP3533409A1 (en) 2018-02-19 2019-09-04 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use

Also Published As

Publication number Publication date
KR20210063723A (ko) 2021-06-02

Similar Documents

Publication Publication Date Title
US8428306B2 (en) Information processor and information processing method for performing process adapted to user motion
US8879787B2 (en) Information processing device and information processing method
US8682608B2 (en) Behavior recognition apparatus
CN106846403B (zh) 一种三维空间中手部定位的方法、装置及智能设备
JP5877053B2 (ja) 姿勢推定装置および姿勢推定方法
JP4728432B2 (ja) 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム
JP4149213B2 (ja) 指示位置検出装置及び自律ロボット
CN112926423B (zh) 捏合手势检测识别方法、装置及系统
US20100208038A1 (en) Method and system for gesture recognition
US9727776B2 (en) Object orientation estimation
CN104914988A (zh) 手势识别装置以及手势识别装置的控制方法
KR101913667B1 (ko) 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템 및 이를 이용한 골프 스윙 분석 방법
JP5526465B2 (ja) 爪位置データ検出装置及び爪位置データ検出方法、並びに爪位置データ検出プログラム
KR102405416B1 (ko) Hmd를 착용한 사용자의 자세 추정 방법
KR101396488B1 (ko) 신호 입력 장치 및 신호 입력 방법
JP3732757B2 (ja) 画像認識方法および画像認識装置
Zhu et al. Real time 3d face pose tracking from an uncalibrated camera
Abobeah et al. Wearable RGB Camera-based Navigation System for the Visually Impaired.
JP2017191426A (ja) 入力装置、入力制御方法、コンピュータプログラム、及び記憶媒体
CN108564063A (zh) 基于深度信息的掌心定位方法及系统
JP6635848B2 (ja) ３次元動画データ生成装置、３次元動画データ生成プログラム、及びその方法
KR102456872B1 (ko) 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법
JP6810442B2 (ja) カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体
JP2018169720A (ja) 動き検出システム
JP6981340B2 (ja) 表示制御プログラム、装置、及び方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant