KR102171459B1 - 사용자의 손동작을 인식하는 장치 및 이를 이용한 방법 - Google Patents

사용자의 손동작을 인식하는 장치 및 이를 이용한 방법 Download PDF

Info

Publication number
KR102171459B1
KR102171459B1 KR1020180157568A KR20180157568A KR102171459B1 KR 102171459 B1 KR102171459 B1 KR 102171459B1 KR 1020180157568 A KR1020180157568 A KR 1020180157568A KR 20180157568 A KR20180157568 A KR 20180157568A KR 102171459 B1 KR102171459 B1 KR 102171459B1
Authority
KR
South Korea
Prior art keywords
hand
information
sensor
measured
condition
Prior art date
Application number
KR1020180157568A
Other languages
English (en)
Other versions
KR20200069955A (ko
Inventor
박기현
임승빈
이상엽
Original Assignee
테크빌교육 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 테크빌교육 주식회사 filed Critical 테크빌교육 주식회사
Priority to KR1020180157568A priority Critical patent/KR102171459B1/ko
Publication of KR20200069955A publication Critical patent/KR20200069955A/ko
Application granted granted Critical
Publication of KR102171459B1 publication Critical patent/KR102171459B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따르면, 사용자의 손동작을 인식하는 방법에 있어서, 손동작 인식 장치가, 상기 사용자의 적어도 하나의 손에 착용되어 상기 손의 형태 및 위치를 추적하는 제1 디바이스 - 상기 제1 디바이스는 각각의 손가락에 대응되는 플렉스 센서 및 각도 센서 중 적어도 하나를 포함하고, 적어도 하나의 손에 대응되는 IMU센서를 포함함 - , HMD와 연동하여 상기 손의 위치를 추적하는 HMD센서를 포함하는 제2 디바이스 및 상기 HMD의 위치 및 상기 손의 위치 중 적어도 하나를 추적하는 외부센서를 포함하는 제3 디바이스와 연동하고 있는 상태에서, (a) 상기 손동작 인식 장치가, (i) 적어도 하나의 손가락에 대하여, 상기 제1 디바이스에 포함되어 있는 상기 플렉스 센서에 의해 측정된 플렉스 센서 값이 있으면 상기 플렉스 센서 값을 참조로 하여 손가락의 구부러진 정도를 제1-1 정보로서 획득하고, 상기 측정된 플렉스 센서 값이 없으면 상기 각도 센서에 의해 측정된 상기 손가락의 각 마디의 각도 데이터를 참조로 하여, 상기 손가락의 구부러진 정도를 제1-2 정보로서 획득하고, (ii) 적어도 하나의 손에 대하여 상기 제1 디바이스에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 회전 각도를 제2 정보로서 획득하며, (iii) 상기 손에 대하여 상기 제3 디바이스에 포함되어 있는 상기 외부센서에 의해 상기 손의 절대 위치 벡터가 측정이 가능한지 여부에 대한 제1 조건 만족 여부를 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단하고, 상기 제1 조건이 만족되면 상기 측정된 손의 절대 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-1 정보로서 획득하고, 상기 제1 조건이 만족되지 않으면 상기 외부센서에 의해 상기 HMD의 위치가 추적이 가능한지 여부에 대한 제2 조건 만족 여부를 판단하여 상기 제2 조건이 만족되면, 상기 HMD센서에 의해 상기 손의 위치가 추적이 가능한지 여부에 대한 제3 조건 만족 여부를 판단하여, 상기 제3 조건이 만족되면 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-2 정보로서 획득하며, 상기 제2 조건이 만족되지 않거나 상기 제3 조건이 만족되지 않으면, 이전 프레임에서 획득된 손 위치 벡터, 상기 IMU센서에 의해 획득된 상기 손의 가속도 벡터 및 델타 시간 - 상기 델타 시간은 이전 프레임에서 현재 프레임까지의 시간 간격을 의미함 - 을 참조로 하여 손 위치 추적 정보를 제3-3 정보로서 획득하는 단계; 및 (b) 상기 손동작 인식 장치가, 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부인 최종출력 값을 참조로 하여 상기 사용자의 손동작을 인식하고, 상기 인식된 손동작을 참조로 하여 대응되는 디바이스를 제어하도록 하는 단계를 포함하는 것을 특징으로 하는 사용자 손동작 인식 방법을 제공한다.

Description

사용자의 손동작을 인식하는 장치 및 이를 이용한 방법{APPARATUS FOR RECOGNIZING USE'S HAND GESTURE AND METHOD USING THE SAME}
본 발명은 사용자의 손동작을 인식하는 장치 및 이를 이용한 방법에 관한 것으로, 보다 상세하게는, 손동작 인식 장치가, 상기 사용자의 적어도 하나의 손에 착용되어 상기 손의 형태 및 위치를 추적하는 제1 디바이스 - 상기 제1 디바이스는 각각의 손가락에 대응되는 플렉스 센서 및 각도 센서 중 적어도 하나를 포함하고, 적어도 하나의 손에 대응되는 IMU센서를 포함함 - , HMD와 연동하여 상기 손의 위치를 추적하는 HMD센서를 포함하는 제2 디바이스 및 상기 HMD의 위치 및 상기 손의 위치 중 적어도 하나를 추적하는 외부센서를 포함하는 제3 디바이스와 연동하고 있는 상태에서, (a) 상기 손동작 인식 장치가, (i) 적어도 하나의 손가락에 대하여, 상기 제1 디바이스에 포함되어 있는 상기 플렉스 센서에 의해 측정된 플렉스 센서 값이 있으면 상기 플렉스 센서 값을 참조로 하여 손가락의 구부러진 정도를 제1-1 정보로서 획득하고, 상기 측정된 플렉스 센서 값이 없으면 상기 각도 센서에 의해 측정된 상기 손가락의 각 마디의 각도 데이터를 참조로 하여, 상기 손가락의 구부러진 정도를 제1-2 정보로서 획득하고, (ii) 적어도 하나의 손에 대하여 상기 제1 디바이스에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 회전 각도를 제2 정보로서 획득하며, (iii) 상기 손에 대하여 상기 제3 디바이스에 포함되어 있는 상기 외부센서에 의해 상기 손의 절대 위치 벡터가 측정이 가능한지 여부에 대한 제1 조건 만족 여부를 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단하고, 상기 제1 조건이 만족되면 상기 측정된 손의 절대 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-1 정보로서 획득하고, 상기 제1 조건이 만족되지 않으면 상기 외부센서에 의해 상기 HMD의 위치가 추적이 가능한지 여부에 대한 제2 조건 만족 여부를 판단하여 상기 제2 조건이 만족되면, 상기 HMD센서에 의해 상기 손의 위치가 추적이 가능한지 여부에 대한 제3 조건 만족 여부를 판단하여, 상기 제3 조건이 만족되면 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-2 정보로서 획득하며, 상기 제2 조건이 만족되지 않거나 상기 제3 조건이 만족되지 않으면, 이전 프레임에서 획득된 손 위치 벡터, 상기 IMU센서에 의해 획득된 상기 손의 가속도 벡터 및 델타 시간 - 상기 델타 시간은 이전 프레임에서 현재 프레임까지의 시간 간격을 의미함 - 을 참조로 하여 손 위치 추적 정보를 제3-3 정보로서 획득하는 단계; 및 (b) 상기 손동작 인식 장치가, 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부인 최종출력 값을 참조로 하여 상기 사용자의 손동작을 인식하고, 상기 인식된 손동작을 참조로 하여 대응되는 디바이스를 제어하도록 하는 단계를 포함하는 것을 특징으로 하는 사용자 손동작 인식 방법 및 이를 이용한 장치에 관한 것이다.
가상현실기술 분야에서 손동작 인식에는 손에 착용되어 직접적으로 손의 형태를 추적하는 장갑형 디바이스와 적외선 또는 가시광선 영역의 빛을 감지하여 손의 형상 및 위치를 추적하는 광학 추적 방식의 디바이스가 많이 사용되고 있다.
하지만, 장갑형 디바이스의 경우에는, 손의 위치를 추적하기 위해 IMU센서만을 사용할 경우, 외부에서 손의 위치를 보정하지 않으면 오차가 누적되어 손의 위치를 오랜 시간 추적하지 못하는 문제점이 있다.
또한, 플렉스 센서로 구성된 장갑형 디바이스와 각도 센서로 구성된 디바이스를 함께 사용할 경우 최종적으로 출력되는 값이 다르다는 문제점이 있다.
또한, 광학 추적 방식의 디바이스의 경우에는, 손이 광학 추적 방식의 디바이스의 음영지역에 들어가면 손의 형태 및 위치에 대한 추적이 제대로 되지 않는 문제점이 있다.
본 발명은 상술한 문제점을 모두 해결하는 것을 목적으로 한다.
또한, 본 발명은, 서로 다른 타입의 장갑형 디바이스의 출력 값을 일원화하는 것을 다른 목적으로 한다.
또한, 본 발명은, 가상현실에서 세 가지 디바이스를 효율적으로 통합하여 사용자의 손 형태 및 손 위치를 정확하게 추적하는 것을 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 가상현실공간에서 사용자의 손동작을 인식하는 방법에 있어서, 손동작 인식 장치가, 상기 사용자의 적어도 하나의 손에 착용되어 상기 손의 형태 및 위치를 추적하는 제1 디바이스 - 상기 제1 디바이스는 각각의 손가락에 대응되는 플렉스 센서 및 각도 센서 중 적어도 하나를 포함하고, 적어도 하나의 손에 대응되는 IMU센서를 포함함 - , HMD와 연동하여 상기 손의 위치를 추적하는 HMD센서를 포함하는 제2 디바이스 및 상기 HMD의 위치 및 상기 손의 위치 중 적어도 하나를 추적하는 외부센서를 포함하는 제3 디바이스와 연동하고 있는 상태에서, (a) 상기 손동작 인식 장치가, (i) 적어도 하나의 손가락에 대하여, 상기 제1 디바이스에 포함되어 있는 상기 플렉스 센서에 의해 측정된 플렉스 센서 값이 있으면 상기 플렉스 센서 값을 참조로 하여 손가락의 구부러진 정도를 제1-1 정보로서 획득하고, 상기 측정된 플렉스 센서 값이 없으면 상기 각도 센서에 의해 측정된 상기 손가락의 각 마디의 각도 데이터를 참조로 하여, 상기 손가락의 구부러진 정도를 제1-2 정보로서 획득하고, (ii) 적어도 하나의 손에 대하여 상기 제1 디바이스에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 회전 각도를 제2 정보로서 획득하며, (iii) 상기 손에 대하여 상기 제3 디바이스에 포함되어 있는 상기 외부센서에 의해 상기 손의 절대 위치 벡터가 측정이 가능한지 여부에 대한 제1 조건 만족 여부를 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단하고, 상기 제1 조건이 만족되면 상기 측정된 손의 절대 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-1 정보로서 획득하고, 상기 제1 조건이 만족되지 않으면 상기 외부센서에 의해 상기 HMD의 위치가 추적이 가능한지 여부에 대한 제2 조건 만족 여부를 판단하여 상기 제2 조건이 만족되면, 상기 HMD센서에 의해 상기 손의 위치가 추적이 가능한지 여부에 대한 제3 조건 만족 여부를 판단하여, 상기 제3 조건이 만족되면 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-2 정보로서 획득하며, 상기 제2 조건이 만족되지 않거나 상기 제3 조건이 만족되지 않으면, 이전 프레임에서 획득된 손 위치 벡터, 상기 IMU센서에 의해 획득된 상기 손의 가속도 벡터 및 델타 시간 - 상기 델타 시간은 이전 프레임에서 현재 프레임까지의 시간 간격을 의미함 - 을 참조로 하여 손 위치 추적 정보를 제3-3 정보로서 획득하는 단계; 및 (b) 상기 손동작 인식 장치가, 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부인 최종출력 값을 참조로 하여 상기 사용자의 손동작을 인식하고, 상기 인식된 손동작을 참조로 하여 대응되는 디바이스를 제어하도록 하는 단계를 포함하는 것을 특징으로 하는 사용자 손동작 인식 방법을 제공한다.
본 발명의 다른 태양에 따르면, 가상현실공간에서 사용자의 손동작을 인식하는 장치에 있어서, 손동작 인식 장치가, 상기 사용자의 적어도 하나의 손에 착용되어 상기 손의 형태 및 위치를 추적하는 제1 디바이스 - 상기 제1 디바이스는 각각의 손가락에 대응되는 플렉스 센서 및 각도 센서 중 적어도 하나를 포함하고, 적어도 하나의 손에 대응되는 IMU센서를 포함함 - , HMD와 연동하여 상기 손의 위치를 추적하는 HMD센서를 포함하는 제2 디바이스 및 상기 HMD의 위치 및 상기 손의 위치 중 적어도 하나를 추적하는 외부센서를 포함하는 제3 디바이스와 연동하고 있는 상태에서, 상기 제1 디바이스, 상기 제2 디바이스 및 상기 제3 디바이스 중 적어도 일부와 통신을 수행하기 위한 통신부, 및 (I) (i) 적어도 하나의 손가락에 대하여, 상기 제1 디바이스에 포함되어 있는 상기 플렉스 센서에 의해 측정된 플렉스 센서 값이 있으면 상기 플렉스 센서 값을 참조로 하여 손가락의 구부러진 정도를 제1-1 정보로서 획득하고, 상기 측정된 플렉스 센서 값이 없으면 상기 각도 센서에 의해 측정된 상기 손가락의 각 마디의 각도 데이터를 참조로 하여, 상기 손가락의 구부러진 정도를 제1-2 정보로서 획득하고, (ii) 적어도 하나의 손에 대하여 상기 제1 디바이스에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 회전 각도를 제2 정보로서 획득하며, (iii) 상기 손에 대하여 상기 제3 디바이스에 포함되어 있는 상기 외부센서에 의해 상기 손의 절대 위치 벡터가 측정이 가능한지 여부에 대한 제1 조건 만족 여부를 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단하고, 상기 제1 조건이 만족되면 상기 측정된 손의 절대 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-1 정보로서 획득하고, 상기 제1 조건이 만족되지 않으면 상기 외부센서에 의해 상기 HMD의 위치가 추적이 가능한지 여부에 대한 제2 조건 만족 여부를 판단하여 상기 제2 조건이 만족되면, 상기 HMD센서에 의해 상기 손의 위치가 추적이 가능한지 여부에 대한 제3 조건 만족 여부를 판단하여, 상기 제3 조건이 만족되면 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-2 정보로서 획득하며, 상기 제2 조건이 만족되지 않거나 상기 제3 조건이 만족되지 않으면, 이전 프레임에서 획득된 손 위치 벡터, 상기 IMU센서에 의해 획득된 상기 손의 가속도 벡터 및 델타 시간 - 상기 델타 시간은 이전 프레임에서 현재 프레임까지의 시간 간격을 의미함 - 을 참조로 하여 손 위치 추적 정보를 제3-3 정보로서 획득하는 프로세스; 및 (II) 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부인 최종출력 값을 참조로 하여 상기 사용자의 손동작을 인식하고, 상기 인식된 손동작을 참조로 하여 대응되는 디바이스를 제어하도록 하는 프로세스를 수행하는 프로세서를 포함하는 것을 특징으로 하는 사용자 손동작 인식 장치를 제공한다.
본 발명에 의하면, 다음과 같은 효과가 있다.
본 발명은 서로 다른 타입의 장갑형 디바이스의 출력 값을 일원화하는 효과가 있다.
또한, 본 발명은 가상현실에서 세 가지 디바이스를 효율적으로 통합하여 사용자의 손 형태 및 손 위치를 정확하게 추적하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 손동작 인식 장치를 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라 제1 디바이스, 제2 디바이스, 제3 디바이스를 개략적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따라 손동작 인식 장치의 다이어그램을 개략적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 손가락 각도를 변환하는 것을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 손가락 구부러진 정도에 대한 정보를 획득하는 개략적인 과정을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 선형 가속도 적분을 설명하기 위한 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따른 손 위치 추정 정보를 획득하는 개략적인 과정을 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 기설정된 손동작 정보를 설명하기 위한 예시적인 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 손동작 인식 장치(100)의 개략적인 구성을 나타내는 도면이다.
도 1을 참조하면. 손동작 인식 장치(100)는 프로세서(110) 및 통신부(120)를 포함할 수 있다.
손동작 인식 장치(100)의 프로세서(110)는 가상현실공간에서 사용자가 사용자의 손동작을 인식하도록 지원하며, 이에 대해서는 뒤에서 상세한 설명을 통하여 자세하게 알아보기로 한다.
통신부(120)는 다양한 통신 기술로 구현될 수 있다. 즉, 와이파이(WIFI), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), HSPA(High Speed Packet Access), 모바일 와이맥스(Mobile WiMAX), 와이브로(WiBro), LTE(Long Term Evolution), 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), NFC(Near Field Communication), 지그비(Zigbee), 무선랜 기술 등이 적용될 수 있다. 또한, 인터넷과 연결되어 서비스를 제공하는 경우 인터넷에서 정보전송을 위한 표준 프로토콜인 TCP/IP를 따를 수 있다.
한편, 손동작 인식 장치(100)는 통신부(120)를 통해 데이터베이스(900)와 필요한 정보를 송수신할 수 있다.
데이터베이스(900)는 가상현실공간에서 사용자의 손동작을 인식하기 위한 각종 데이터를 저장하는 매체로, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(ReadOnly Memory, ROM), EEPROM(Electrically Erasable Programmable ReadOnly Memory), PROM(Programmable ReadOnly Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있으며, 이에 한정되지 않으며 데이터를 저장할 수 있는 모든 매체를 포함할 수 있다. 또한, 데이터베이스(900)는 손동작 인식 장치(100)의 내부에 설치되거나, 이와는 달리 손동작 인식 장치(100)와 분리 설치되어 손동작 인식 장치(100)와의 통신을 통해 데이터를 전송하거나 수신되는 데이터를 기록할 수 있다.
또한, 손동작 인식 장치(100)는 통신부(120)를 통해 제1 디바이스(310), 제2 디바이스(320) 및 제3 디바이스(330)와 필요한 정보를 송수신할 수 있다. 경우에 따라 손동작 인식 장치(100)는 제1 디바이스(310), 제2 디바이스(320) 및 제3 디바이스(330) 중 어느 하나에 포함되어 있을 수도 있다.
상기 제1 디바이스(310), 상기 제2 디바이스(320) 및 상기 제3 디바이스(330)에 대해 도 2를 참조하여 설명하면 다음과 같다.
상기 제1 디바이스(310)는, 사용자의 적어도 하나의 손에 착용되어 상기 사용자 손의 형태 및 위치를 추적하는 장치로, 상기 사용자 각각의 손가락에 대응되어 위치하고, 센서의 구부러짐에 따라 저항 값이 변하는 플렉스 센서(Flex sensor) 및 각 손가락 마디 사이의 각도를 측정하는 각도 센서 중 적어도 하나를 포함할 수 있다. 또한, 상기 제1 디바이스(310)는 적어도 하나의 손에 대응되고 손의 회전 각도 및 손의 가속도 벡터를 측정할 수 있는 IMU센서를 포함할 수 있으나, 이에 한정되지 않으며 손의 형태 및 위치를 추적할 수 있는 모든 센서를 포함할 수 있다.
그리고, 상기 제2 디바이스(320)는 상기 사용자의 머리에 착용되어 상기 사용자에게 가상현실을 디스플레이 해주는 HMD와 연동하여 상기 손의 위치를 추적할 수 있는 HMD센서를 포함할 수 있다. 여기에서, 상기 HMD센서는 적외선 또는 가시광선 영역의 빛을 감지하여 손의 위치를 추적하는 광학 추적 방식의 센서일 수 있으나, 이에 한정되지 않으며 손의 위치를 추적할 수 있는 모든 센서를 포함할 수 있다.
또한, 제3 디바이스(330)는 상기 HMD와는 별도로 외부에 위치되어 상기 HMD의 위치 및 상기 손의 위치를 추적할 수 있는 외부센서를 포함할 수 있다. 여기에서, 상기 외부센서는 상기 HMD센서와 마찬가지로 광학 추적 방식의 센서일 수 있으나, 이에 한정되지 않으며 손의 위치를 추적할 수 있는 모든 센서를 포함할 수 있다.
이와 같이 구성된 본 발명의 일 실시예에 따른 손동작 인식 장치(100)를 이용하여 가상현실공간에서 사용자의 손동작을 인식하는 방법을 설명하면 다음과 같다.
먼저, 손동작 인식 장치(100)는 제1 디바이스(310), 제2 디바이스(320) 및 제3 디바이스(330)와 연동하여 사용자의 손동작을 인식하는데 필요한 정보를 획득할 수 있다.
상기 손동작 인식 장치(100)가 상기 각각의 디바이스를 통해 획득할 수 있는 정보 및 상기 획득한 정보를 이용하여 최종적으로 획득하고자 하는 최종정보를 다이어그램으로 나타낸 도 3을 참조하여 설명하면 다음과 같다.
상기 손동작 인식 장치(100)는, 상기 사용자의 적어도 하나의 손가락에 대하여, 상기 제1 디바이스(310)에 포함되어 있는 플렉서 센서에 의해 측정된 플렉스 센서값(311) 및 각도 센서에 의해 측정된 상기 손가락의 각 마디의 각도 데이터(312) 중 적어도 하나를 획득할 수 있다.
여기에서, 상기 플렉스 센서값(311) 및 상기 손가락의 각 마디의 각도 데이터(312) 각각은 손가락의 구부러진 정도(370)를 나타내는 정보인 제1-1 정보 및 제1-2 정보 각각에 포함되어 최종출력 값의 일부로 출력될 수 있다.
이때, 상기 제1-1 정보는 상기 플렉스 센서값(311)을 그대로 포함할 수 있으며, 상기 제1-2 정보는, 상기 손가락의 구부러진 정도(370)를 나타내는 최종출력 값의 디멘션(dimension)을 일원화 하기 위해, 상기 손가락의 각 마디의 각도 데이터(312)를 이용하여 상기 플렉스 센서값(311)의 단위와 대응되도록 상기 손가락의 각 마디의 각도 데이터(312)가 변환된 값을 포함할 수 있다.
여기에서, 상기 손가락의 각 마디의 각도 데이터 변환(340)을 도 4를 참조하여 설명하면 다음과 같다.
먼저, 상기 손동작 인식 장치(100)는, 상기 손가락의 각 마디의 각도 데이터(312)인 하나의 손가락 마디 사이의 각도 2개를 참조하여 θ를 획득할 수 있다. 이때, θ는 상기 손가락 마디 사이의 각도 2개의 평균값일 수 있을 것이다.
그리고, 상기 손동작 인식 장치(100)는, 상기 손가락의 각 마디 길이가 모두 1로 같다고 가정하였을 때, 상기 손가락의 각 마디를 변으로 하고 상기 변이 이루는 각각의 각도가 θ인 도형(410)에 외접하는 원(420)의 반지름인 r을 획득할 수 있다.
다음으로, 상기 손동작 인식 장치(100)는, 상기 획득한 θ 및 r을 참조로 다음과 같은 수식을 이용하여 상기 손가락의 곡률(c)을 획득할 수 있다.
Figure 112018123114476-pat00001
이때, 상기 손가락의 곡률(c)의 범위는
Figure 112018123114476-pat00002
일 수 있을 것이나, 이에 한정되는 것은 아닐 것이다.
다음으로, 상기 손동작 인식 장치(100)는, 상기 손가락의 곡률(c)을 참조로 다음과 같은 수식을 이용하여 상기 손가락의 각 마디의 각도 데이터(312)가 변환된 값인 v를 획득할 수 있다.
Figure 112018123114476-pat00003
이때, 변환된 값인 v의 범위는
Figure 112018123114476-pat00004
일 수 있을 것이나, 이에 한정되는 것은 아닐 것이다.
그리고, 상기 손동작 인식 장치(100)는, 상기 사용자의 적어도 하나의 손에 대하여 상기 제1 디바이스(310)에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 회전 각도(313)를 획득할 수 있다.
이때, 상기 손의 회전 각도(313)는 상기 손의 회전된 정도를 나타내는 손의 회전 각도 정보(380)인 제2 정보에 포함되어 최종출력 값의 일부로 출력될 수 있다.
또한, 상기 손동작 인식 장치(100)는, 상기 사용자의 적어도 하나의 손에 대하여 상기 제1 디바이스(310)에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 가속도 벡터(314)를 획득할 수 있다.
여기에서, 상기 손의 가속도 벡터(314)는 이전 프레임에서 획득된 손 위치 벡터 및 이전 프레임에서 현재 프레임까지의 시간 간격을 의미하는 델타 시간과 함께 손 위치 추적 정보(390)를 나타내는 제3-3 정보에 포함되어 최종출력 값의 일부로 출력될 수 있다. 참고로, 제3-1 정보부터 설명하지 않고 제3-3 정보부터 설명하는 이유는, 청구항 제1항에 기재된 내용은 도 5 및 도 7과 같은 flow chart의 순서에 따라 기재된 반면, 상세한 설명 중 도 3 에 대한 설명 부분은 도 3의 특성 상 flow의 순서와 상관 없는 전체적인 개괄도의 특성을 가지기 때문임을 밝혀둔다.
이때, 상기 제3-3 정보는, 상기 손의 가속도 벡터(314)에 상기 델타 시간을 곱하여 획득된 벡터 및 상기 이전 프레임에서 획득된 손 위치 벡터의 합을 구하는 선형 가속도 적분(350)에 의해 결정될 수 있을 것이다.
여기에서, 상기 선형 가속도 적분(350)을 도 6을 참조하여 설명하면 다음과 같다.
상기 도 6은, 손의 가속도 벡터에 상기 델타 시간을 곱하여 획득된 벡터(610) 및 이전 프레임에서 획득된 손 위치 벡터(620)의 합에 의해 현재 프레임에서의 상기 손의 위치 벡터(630)가 결정될 수 있음을 나타낸다.
그리고, 상기 손동작 인식 장치(100)는, 상기 제2 디바이스(320)에 포함되어 있는 HMD센서에 의해 측정된 상기 손의 위치 벡터(321)를 획득할 수 있고, 상기 제3 디바이스(330)에 포함되어 있는 외부센서에 의해 측정된 상기 HMD의 고정 위치 벡터(331) 및 상기 손의 절대 위치 벡터(332)를 획득할 수 있다.
여기에서, 상기 손의 위치 벡터(321) 및 상기 HMD의 고정 위치 벡터(331)는 손 위치 추적 정보(390)를 나타내는 제3-2 정보에 포함되어 최종출력 값의 일부로 출력될 수 있다.
이때, 상기 제3-2 정보는, 상기 손의 위치 벡터(321) 및 상기 HMD의 고정 위치 벡터(331)의 합을 수행하는 HMD위치에 따른 손위치 보정(360)에 의해 결정될 수 있을 것이다.
또한, 상기 손의 절대 위치 벡터(332)는 손 위치 추적 정보(390)를 나타내는 제3-1 정보에 포함되어 최종출력 값의 일부로 출력될 수 있다.
한편, 상기 손동작 인식 장치(100)는, 상기 손가락의 구부러진 정도(370)를 나타내는 정보인 상기 제1-1 정보 및 상기 제1-2 정보를 획득하기 위해 도 5와 같은 프로세스를 수행할 수 있으며, 이에 대해 도 5를 참조하여 구체적으로 설명하면 다음과 같다.
먼저, 상기 손동작 인식 장치(100)는, 손가락이 구부러진 정도를 나타내는 value 및 상기 value를 측정하는데 사용된 센서를 나타내는 센서 구분자인 sensorType 각각을 null로 지정함으로써, 상기 value 및 상기 sensorType이 변수로 사용될 것이라는 선언을 할 수 있다(S510). 여기에서, 상기 value는 플렉스 센서에서 측정된 값 또는 각도 센서에서 측정된 손가락 각 마디 사이의 각도 데이터를 이용하여 변환된 값이고, 상기 sensorType은 센서의 모델명이나 제품명을 축약한 기호일 수 있을 것이다.
그리고, 상기 손동작 인식 장치(100)는, 플렉스 센서에 의해 측정된 플렉스 센서 값이 존재하는지 여부를 판단할 수 있다(S520).
만약, 상기 플렉스 센서 값이 존재한다고 판단되면, 상기 손동작 인식 장치(100)는, 상기 value에 상기 플렉스 센서 값을 입력하고 상기 sensorType에 플렉스 센서의 센서 구분자를 입력할 수 있다(S530).
그리고, 상기 손동작 인식 장치(100)는, 상기 플렉스 센서 값이 존재하지 않는다고 판단되면, 상기 각도 센서에 의해 측정된 상기 손가락 각 마디 사이의 각도 데이터가 존재하는지 여부를 더 판단할 수 있다(S540).
만약, 상기 각도 데이터가 존재한다고 판단되면, 상기 손동작 인식 장치(100)는, 상기 각도 데이터를 상기 플렉스 센서 값의 단위와 대응되도록 변환하기 위한 첫 번째 과정으로, 상기 손가락의 윗 마디와 중간마디의 각도를 angle1으로 입력하고, 상기 손가락의 중간마디와 아랫마디의 각도를 angle2로 입력하며, 상기 sensorType에 출력되는 값이 변환된 값이라는 의미인 “TRV”를 입력할 수 있을 것이다(S550).
그리고, 상기 손동작 인식 장치(100)는, 상기 각도 데이터를 상기 플렉스 센서 값의 단위와 대응되도록 변환하기 위한 두 번째 과정으로, 상기 angle1 및 상기 angle2의 평균을 구하여 avg로 입력할 수 있을 것이다(S560).
다음으로, 상기 손동작 인식 장치(100)는, 상기 각도 데이터를 상기 플렉스 센서 값의 단위와 대응되도록 변환하기 위한 세 번째 과정으로,
Figure 112018123114476-pat00005
인 수식에 상기 avg를 대입하여 나온 값을 상기 value에 입력할 수 있을 것이다(S570).
그리고, 상기 손동작 인식 장치(100)는, 상기 value 및 상기 sensorType을 출력함으로써, 이를 최종출력 값으로 획득할 수 있을 것이다(S580).
즉, 상기 손동작 인식 장치(100)는, 상기 플렉스 센서 값인 value 및 상기 플렉스 센서의 센서 구분자인 sensorType을 제1-1 정보로서 획득할 수도 있고, 상기 각도 데이터가 변환된 값인 value 및 출력되는 값이 변화된 값이라는 것을 나타내는 “TRV”인 sensorType을 제1-2 정보로서 획득할 수도 있을 것이다.
한편, 상기 각도 데이터가 존재하지 않는다고 판단되면, 상기 손동작 인식 장치(100)는, 이를 알리기 위해 각각 null이 입력되어 있는 value 및 sensorType을 제1-3 정보로서 획득할 수 있다. 여기에서, value 및 sensorType이 모두 null인 경우에는 센서가 없어서 값 측정에 실패했다고 해석될 수 있고, value이 null이고 sensorType은 null이 아닌 경우에는 센서는 있지만 다른 요인으로 인해 값 측정에 실패했다고 해석될 수 있을 것이나, 이에 한정되어 해석되는 것은 아닐 것이다.
상기와 같은 S510 내지 S580 중 적어도 일부로 이루어지는 단계는 각각의 손가락 마다 개별적으로 적용될 수 있고, 기설정된 프레임마다 반복적으로 수행될 수 있을 것이다.
한편, 상기 손동작 인식 장치(100)는, 상기 손 위치 추적 정보(390)를 나타내는 정보인 상기 제3-1 정보, 상기 제3-2 정보 및 제 3-3 정보 중 적어도 하나를 획득하기 위해 도 7과 같은 프로세스를 수행할 수 있으며, 이에 대해 도 7를 참조하여 구체적으로 설명하면 다음과 같다.
먼저, 상기 손동작 인식 장치(100)는, 제3 디바이스(330)에 포함되어 있는 외부센서에 의해 손의 절대 위치 벡터가 측정이 가능한지 여부인 제1 조건을 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단할 수 있다(S710).
그리고, 상기 제1 조건을 만족하면, 상기 손동작 인식 장치(100)는, 상기 측정된 손의 절대 위치 벡터를 손 위치 추적 정보인 제3-1 정보로 획득할 수 있다(S720).
만약, 상기 제1 조건을 만족하지 않으면, 상기 손동작 인식 장치(100)는, 상기 제3 디바이스(330)에 포함되어 있는 외부센서에 의해 HMD의 위치가 추적이 가능한지 여부인 제2 조건을 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단할 수 있다(S730).
그리고, 상기 제2 조건을 만족하면, 상기 손동작 인식 장치(100)는, 상기 제2 디바이스(320)에 포함되어 있는 HMD센서에 의해 상기 손의 위치가 추적이 가능한지 여부인 제3 조건을 상기 HMD센서에 의해 측정된 데이터를 참조로 하여 판단할 수 있다(S740).
또한, 상기 제3 조건을 만족하면, 상기 손동작 인식 장치(100)는, 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터를 획득할 수 있다(S750).
다음으로, 상기 손동작 인식 장치(100)는, 상기 HMD의 고정 위치 벡터 및 상기 손의 위치 벡터의 합을 손 위치 추적 정보인 제3-2 정보로 획득할 수 있다(S760).
그리고, 상기 제2 조건을 만족하지 않거나 상기 제3 조건을 만족하지 않으면, 상기 손동작 인식 장치(100)는, 제1 디바이스(310)에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 가속도 벡터, 이전 프레임에서 획득한 상기 손의 위치 벡터 및 이전 프레임에서 현재 프레임까지의 시간을 의미하는 델타 시간을 획득할 수 있다(S770).
다음으로, 상기 손동작 인식 장치(100)는, 상기 손의 가속도 벡터에 상기 델타 시간을 곱하여 획득된 벡터 및 상기 이전 프레임에서 획득된 손 위치 벡터의 합을 손 위치 추적 정보인 제3-3 정보로 획득할 수 있다(S780)
다음으로, 상기 손동작 인식 장치(100)는, 상기 제3-1 정보, 상기 제3-2 정보 및 상기 제3-3 정보 중 적어도 하나를 최종출력 값으로 획득할 수 있다(S790).
한편, 상기 손동작 인식 장치(100)는, 상기 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부인 최종출력 값을 참조로 하여 상기 사용자의 손동작을 인식하고, 상기 인식된 손동작을 참조로 하여 대응되는 디바이스를 제어하거나 제어하도록 지원할 수 있다.
이때, 상기 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부를 포함하는 최종출력 값의 형태는 [LR, F1, F2, F3, F4, F5, roll, pitch, yaw, X, Y, Z]일 수 있다.
여기에서, LR은 상기 사용자의 손 중 적어도 하나에 대한 식별자를 나타내는 값으로, 상기 사용자의 손이 왼손에 해당하면 Left로 나타날 수 있고, 상기 사용자의 손이 오른손에 해당하면 Right로 나타날 수 있으며, 상기 사용자의 양손에 해당하면 Both로 나타날 수 있을 것이다.
그리고, F1, F2, F3, F4 및 F5는 각각의 손가락이 구부러진 정도를 나타내는 값으로, 상기 각각의 손가락에 대한 상기 제1-1 정보 또는 제1-2 정보에 대응될 수 있을 것이다. 또한, F1, F2, F3, F4 및 F5 각각은 엄지, 검지, 중지, 약지 및 소지 각각에 대응될 수 있으나, 이에 한정되는 것은 아닐 것이다.
또한, roll, pitch 및 yaw는 상기 손이 회전된 정도를 나타내는 값으로, 상기 제2 정보에 대응될 수 있고, X, Y 및 Z는 상기 손의 위치를 나타내는 값으로, 상기 제3-1 정보, 제3-2 정보 또는 제3-3 정보에 대응될 수 있을 것이다.
그리고, 상기 손동작 인식 장치(100)는, 상기 최종출력 값을 기설정된 손동작 정보와 비교하여 상기 사용자의 손동작을 인식할 수 있을 것이다.
여기에서, 기설정된 손동작 정보는, 해당 손동작을 복수회 취했을 때 획득되는, 제1-1 정보의 평균값 및 오차값인 제1-1 평균값 및 제1-1 오차값 또는 제1-2 정보의 평균값 및 오차값인 제1-2 평균값 및 제1-2 오차값, (ii) 제2 정보의 평균값 및 오차값인 제2 평균값 및 오차값, 및 (iii) 제3-1 정보의 평균값 및 오차값인 제3-1 평균값 및 제3-1 오차값, 제3-2 정보의 평균값 및 오차값인 제3-2 평균값 및 제3-2 오차값, 또는 제3-3 정보의 평균값 및 오차값인 제3-3 평균값 및 제3-3 오차값을 포함할 수 있다.
또한, 상기 손동작 인식 장치(100)는, 상기 최종출력 값과 각각에 대응되는 상기 기설정된 손동작 정보인 상기 제1-1 평균값, 제1-2 평균값, 제2 평균값, 제3-1 평균값, 제3-2 평균값 및 제3-3 평균값 중 적어도 일부의 차이가, 각각의 대응되는 상기 제1-1 오차값, 제1-2 오차값, 제2 오차값, 제3-1 오차값, 제3-2 오차값 및 제3-3 오차값 중 적어도 일부의 범위 내에 존재하면 상기 기설정된 손동작 인식에 성공했다고 판단할 수 있다.
그리고, 상기 손동작 인식 장치(100)는, 상기 최종출력 값과 각각에 대응되는 상기 제1-1 평균 값, 제1-2 평균 값, 제2 평균값, 제3-1 평균값, 제3-2 평균값 및 제3-3 평균값 중 적어도 일부의 차이가, 각각에 대응되는 상기 제1-1 오차 값, 제1-2 오차값, 제2 오차값, 제3-1 오차값, 제3-2 오차값 및 제3-3 오차값 중 적어도 일부의 범위 외에 기설정된 수치이상 존재하면 상기 기설정된 손동작 인식에 실패했다고 판단할 수 있다.
예를 들어, 도 8에 도시된 손동작의 명칭이 ILY로 정의되고, 상기 ILY의 손동작 정보 중 평균값이 (Right, 0.02, 0.02, 0.62, 0.62, 0.02, null, null, null, HMD_X+0.3, HMD_Y+0.3, HMD_Z+0)이고, 오차값이 (0.03, 0.03, 0.03, 0.03, 0.03, null, null, null, 0.03, 0.03, 0.03)이라고 가정하고, null의 경우 해당 요소에 대한 검사를 무시하며, HMD의 위치 값이 [3.24, 0.33, 1.21]라고 가정하였을 때, 상기 최종출력 값 각각은, 손가락이 구부러진 정도를 나타내는 값 중 엄지, 검지 및 소지의 경우 -0.01 내지 0.05 사이의 범위에 존재하고, 중지 및 약지의 경우 -0.59 내지 0.65 사이의 범위에 존재하며, 손의 위치를 나타내는 값 중 X의 경우 2.97 내지 3.57 사이의 범위에 존재하고, Y의 경우 0.06 내지 0.66 사이의 범위에 존재하며, Z의 경우 1.18 내지 1.24 사이의 범위에 존재하여야 상기 손동작인 ILY의 인식에 성공하였다고 판단될 수 있을 것이다.
즉, 상기 손동작의 최종출력 값이 [Right, 0.03, 0.6, 0.61, 0.63, 0.02, -0.02, 0.24, 0.88, 3.33, 0.47, 1.20]이라면, 상기 최종출력 값 중 검지에 해당하는 값이 상기 -0.59 내지 0.65 사이의 범위를 벗어난 0.6이므로 상기 손동작은 ILY 인식에 실패했다고 판단될 수 있다. 즉, 상기 손동작은 ILY가 아님을 의미할 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 손동작 인식 장치
110: 프로세서
120: 통신부
310: 제1 디바이스
320: 제2 디바이스
330: 제3 디바이스
900: 데이터베이스

Claims (18)

  1. 사용자의 손동작을 인식하는 방법에 있어서,
    손동작 인식 장치가, 상기 사용자의 적어도 하나의 손에 착용되어 상기 손의 형태 및 위치를 추적하는 제1 디바이스 - 상기 제1 디바이스는 각각의 손가락에 대응되는 플렉스 센서 및 각도 센서 중 적어도 하나를 포함하고, 적어도 하나의 손에 대응되는 IMU센서를 포함함 - , HMD와 연동하여 상기 손의 위치를 추적하는 HMD센서를 포함하는 제2 디바이스 및 상기 HMD의 위치 및 상기 손의 위치 중 적어도 하나를 추적하는 외부센서를 포함하는 제3 디바이스와 연동하고 있는 상태에서,
    (a) 상기 손동작 인식 장치가, (i) 적어도 하나의 손가락에 대하여, 상기 제1 디바이스에 포함되어 있는 상기 플렉스 센서에 의해 측정된 플렉스 센서 값이 있으면 상기 플렉스 센서 값을 참조로 하여 손가락의 구부러진 정도를 제1-1 정보로서 획득하고, 상기 측정된 플렉스 센서 값이 없으면 상기 각도 센서에 의해 측정된 상기 손가락의 각 마디의 각도 데이터를 참조로 하여, 상기 손가락의 구부러진 정도를 제1-2 정보로서 획득하고, (ii) 적어도 하나의 손에 대하여 상기 제1 디바이스에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 회전 각도를 제2 정보로서 획득하며, (iii) 상기 손에 대하여 상기 제3 디바이스에 포함되어 있는 상기 외부센서에 의해 상기 손의 절대 위치 벡터가 측정이 가능한지 여부에 대한 제1 조건 만족 여부를 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단하고, 상기 제1 조건이 만족되면 상기 측정된 손의 절대 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-1 정보로서 획득하고, 상기 제1 조건이 만족되지 않으면 상기 외부센서에 의해 상기 HMD의 위치가 추적이 가능한지 여부에 대한 제2 조건 만족 여부를 판단하여 상기 제2 조건이 만족되면, 상기 HMD센서에 의해 상기 손의 위치가 추적이 가능한지 여부에 대한 제3 조건 만족 여부를 판단하여, 상기 제3 조건이 만족되면 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-2 정보로서 획득하며, 상기 제2 조건이 만족되지 않거나 상기 제3 조건이 만족되지 않으면, 이전 프레임에서 획득된 손 위치 벡터, 상기 IMU센서에 의해 획득된 상기 손의 가속도 벡터 및 델타 시간 - 상기 델타 시간은 이전 프레임에서 현재 프레임까지의 시간 간격을 의미함 - 을 참조로 하여 손 위치 추적 정보를 제3-3 정보로서 획득하는 단계; 및
    (b) 상기 손동작 인식 장치가, 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부인 최종출력 값을 참조로 하여 상기 사용자의 손동작을 인식하고, 상기 인식된 손동작을 참조로 하여 대응되는 디바이스를 제어하도록 하는 단계
    를 포함하고,
    (i) 상기 제1-1 정보는 상기 측정된 플렉스 센서 값을 그대로 포함하고, (ii) 상기 제1-2 정보는 상기 측정된 손가락 각 마디의 각도 데이터를 이용하여 상기 플렉스 센서에서 측정되는 값의 단위와 대응되도록 상기 각도 데이터가 변환된 값을 포함하며,
    상기 변환된 값 v는,
    Figure 112020064221764-pat00006
    로부터 구해지고,
    여기에서, c는 손가락의 곡률이며,
    Figure 112020064221764-pat00007
    로부터 구해지고,
    여기에서, θ는 하나의 손가락 마디 사이의 각도 2개를 참조로 결정되고, r은 상기 손가락 마디의 길이를 모두 1로 가정하였을 때, 상기 손가락 마디를 변으로 하고 상기 변이 이루는 각각의 각도가 θ인 도형에 외접하는 원의 반지름인 것을 특징으로 하는 사용자 손동작 인식 방법.
  2. 삭제
  3. 삭제
  4. 사용자의 손동작을 인식하는 방법에 있어서,
    손동작 인식 장치가, 상기 사용자의 적어도 하나의 손에 착용되어 상기 손의 형태 및 위치를 추적하는 제1 디바이스 - 상기 제1 디바이스는 각각의 손가락에 대응되는 플렉스 센서 및 각도 센서 중 적어도 하나를 포함하고, 적어도 하나의 손에 대응되는 IMU센서를 포함함 - , HMD와 연동하여 상기 손의 위치를 추적하는 HMD센서를 포함하는 제2 디바이스 및 상기 HMD의 위치 및 상기 손의 위치 중 적어도 하나를 추적하는 외부센서를 포함하는 제3 디바이스와 연동하고 있는 상태에서,
    (a) 상기 손동작 인식 장치가, (i) 적어도 하나의 손가락에 대하여, 상기 제1 디바이스에 포함되어 있는 상기 플렉스 센서에 의해 측정된 플렉스 센서 값이 있으면 상기 플렉스 센서 값을 참조로 하여 손가락의 구부러진 정도를 제1-1 정보로서 획득하고, 상기 측정된 플렉스 센서 값이 없으면 상기 각도 센서에 의해 측정된 상기 손가락의 각 마디의 각도 데이터를 참조로 하여, 상기 손가락의 구부러진 정도를 제1-2 정보로서 획득하고, (ii) 적어도 하나의 손에 대하여 상기 제1 디바이스에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 회전 각도를 제2 정보로서 획득하며, (iii) 상기 손에 대하여 상기 제3 디바이스에 포함되어 있는 상기 외부센서에 의해 상기 손의 절대 위치 벡터가 측정이 가능한지 여부에 대한 제1 조건 만족 여부를 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단하고, 상기 제1 조건이 만족되면 상기 측정된 손의 절대 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-1 정보로서 획득하고, 상기 제1 조건이 만족되지 않으면 상기 외부센서에 의해 상기 HMD의 위치가 추적이 가능한지 여부에 대한 제2 조건 만족 여부를 판단하여 상기 제2 조건이 만족되면, 상기 HMD센서에 의해 상기 손의 위치가 추적이 가능한지 여부에 대한 제3 조건 만족 여부를 판단하여, 상기 제3 조건이 만족되면 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-2 정보로서 획득하며, 상기 제2 조건이 만족되지 않거나 상기 제3 조건이 만족되지 않으면, 이전 프레임에서 획득된 손 위치 벡터, 상기 IMU센서에 의해 획득된 상기 손의 가속도 벡터 및 델타 시간 - 상기 델타 시간은 이전 프레임에서 현재 프레임까지의 시간 간격을 의미함 - 을 참조로 하여 손 위치 추적 정보를 제3-3 정보로서 획득하는 단계; 및
    (b) 상기 손동작 인식 장치가, 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부인 최종출력 값을 참조로 하여 상기 사용자의 손동작을 인식하고, 상기 인식된 손동작을 참조로 하여 대응되는 디바이스를 제어하도록 하는 단계
    를 포함하고,
    상기 제3-2 정보는 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터의 합에 의해 결정되는 것을 특징으로 하는 사용자 손동작 인식 방법.
  5. 사용자의 손동작을 인식하는 방법에 있어서,
    손동작 인식 장치가, 상기 사용자의 적어도 하나의 손에 착용되어 상기 손의 형태 및 위치를 추적하는 제1 디바이스 - 상기 제1 디바이스는 각각의 손가락에 대응되는 플렉스 센서 및 각도 센서 중 적어도 하나를 포함하고, 적어도 하나의 손에 대응되는 IMU센서를 포함함 - , HMD와 연동하여 상기 손의 위치를 추적하는 HMD센서를 포함하는 제2 디바이스 및 상기 HMD의 위치 및 상기 손의 위치 중 적어도 하나를 추적하는 외부센서를 포함하는 제3 디바이스와 연동하고 있는 상태에서,
    (a) 상기 손동작 인식 장치가, (i) 적어도 하나의 손가락에 대하여, 상기 제1 디바이스에 포함되어 있는 상기 플렉스 센서에 의해 측정된 플렉스 센서 값이 있으면 상기 플렉스 센서 값을 참조로 하여 손가락의 구부러진 정도를 제1-1 정보로서 획득하고, 상기 측정된 플렉스 센서 값이 없으면 상기 각도 센서에 의해 측정된 상기 손가락의 각 마디의 각도 데이터를 참조로 하여, 상기 손가락의 구부러진 정도를 제1-2 정보로서 획득하고, (ii) 적어도 하나의 손에 대하여 상기 제1 디바이스에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 회전 각도를 제2 정보로서 획득하며, (iii) 상기 손에 대하여 상기 제3 디바이스에 포함되어 있는 상기 외부센서에 의해 상기 손의 절대 위치 벡터가 측정이 가능한지 여부에 대한 제1 조건 만족 여부를 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단하고, 상기 제1 조건이 만족되면 상기 측정된 손의 절대 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-1 정보로서 획득하고, 상기 제1 조건이 만족되지 않으면 상기 외부센서에 의해 상기 HMD의 위치가 추적이 가능한지 여부에 대한 제2 조건 만족 여부를 판단하여 상기 제2 조건이 만족되면, 상기 HMD센서에 의해 상기 손의 위치가 추적이 가능한지 여부에 대한 제3 조건 만족 여부를 판단하여, 상기 제3 조건이 만족되면 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-2 정보로서 획득하며, 상기 제2 조건이 만족되지 않거나 상기 제3 조건이 만족되지 않으면, 이전 프레임에서 획득된 손 위치 벡터, 상기 IMU센서에 의해 획득된 상기 손의 가속도 벡터 및 델타 시간 - 상기 델타 시간은 이전 프레임에서 현재 프레임까지의 시간 간격을 의미함 - 을 참조로 하여 손 위치 추적 정보를 제3-3 정보로서 획득하는 단계; 및
    (b) 상기 손동작 인식 장치가, 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부인 최종출력 값을 참조로 하여 상기 사용자의 손동작을 인식하고, 상기 인식된 손동작을 참조로 하여 대응되는 디바이스를 제어하도록 하는 단계
    를 포함하고,
    상기 제3-3 정보는 상기 손의 가속도 벡터에 상기 델타 시간을 곱하여 획득된 벡터 및 상기 이전 프레임에서 획득된 손 위치 벡터의 합에 의해 결정되는 것을 특징으로 하는 사용자 손동작 인식 방법.
  6. 사용자의 손동작을 인식하는 방법에 있어서,
    손동작 인식 장치가, 상기 사용자의 적어도 하나의 손에 착용되어 상기 손의 형태 및 위치를 추적하는 제1 디바이스 - 상기 제1 디바이스는 각각의 손가락에 대응되는 플렉스 센서 및 각도 센서 중 적어도 하나를 포함하고, 적어도 하나의 손에 대응되는 IMU센서를 포함함 - , HMD와 연동하여 상기 손의 위치를 추적하는 HMD센서를 포함하는 제2 디바이스 및 상기 HMD의 위치 및 상기 손의 위치 중 적어도 하나를 추적하는 외부센서를 포함하는 제3 디바이스와 연동하고 있는 상태에서,
    (a) 상기 손동작 인식 장치가, (i) 적어도 하나의 손가락에 대하여, 상기 제1 디바이스에 포함되어 있는 상기 플렉스 센서에 의해 측정된 플렉스 센서 값이 있으면 상기 플렉스 센서 값을 참조로 하여 손가락의 구부러진 정도를 제1-1 정보로서 획득하고, 상기 측정된 플렉스 센서 값이 없으면 상기 각도 센서에 의해 측정된 상기 손가락의 각 마디의 각도 데이터를 참조로 하여, 상기 손가락의 구부러진 정도를 제1-2 정보로서 획득하고, (ii) 적어도 하나의 손에 대하여 상기 제1 디바이스에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 회전 각도를 제2 정보로서 획득하며, (iii) 상기 손에 대하여 상기 제3 디바이스에 포함되어 있는 상기 외부센서에 의해 상기 손의 절대 위치 벡터가 측정이 가능한지 여부에 대한 제1 조건 만족 여부를 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단하고, 상기 제1 조건이 만족되면 상기 측정된 손의 절대 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-1 정보로서 획득하고, 상기 제1 조건이 만족되지 않으면 상기 외부센서에 의해 상기 HMD의 위치가 추적이 가능한지 여부에 대한 제2 조건 만족 여부를 판단하여 상기 제2 조건이 만족되면, 상기 HMD센서에 의해 상기 손의 위치가 추적이 가능한지 여부에 대한 제3 조건 만족 여부를 판단하여, 상기 제3 조건이 만족되면 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-2 정보로서 획득하며, 상기 제2 조건이 만족되지 않거나 상기 제3 조건이 만족되지 않으면, 이전 프레임에서 획득된 손 위치 벡터, 상기 IMU센서에 의해 획득된 상기 손의 가속도 벡터 및 델타 시간 - 상기 델타 시간은 이전 프레임에서 현재 프레임까지의 시간 간격을 의미함 - 을 참조로 하여 손 위치 추적 정보를 제3-3 정보로서 획득하는 단계; 및
    (b) 상기 손동작 인식 장치가, 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부인 최종출력 값을 참조로 하여 상기 사용자의 손동작을 인식하고, 상기 인식된 손동작을 참조로 하여 대응되는 디바이스를 제어하도록 하는 단계
    를 포함하고,
    상기 손동작 인식 장치가, 상기 플렉스 센서에 의해 측정된 센서 값 및 상기 각도 센서에 의해 측정된 손가락 각 마디의 각도 데이터가 없으면 이를 알리기 위한 정보인 제1-3 정보를 획득하는 것을 특징으로 하는 사용자 손동작 인식 방법.
  7. 사용자의 손동작을 인식하는 방법에 있어서,
    손동작 인식 장치가, 상기 사용자의 적어도 하나의 손에 착용되어 상기 손의 형태 및 위치를 추적하는 제1 디바이스 - 상기 제1 디바이스는 각각의 손가락에 대응되는 플렉스 센서 및 각도 센서 중 적어도 하나를 포함하고, 적어도 하나의 손에 대응되는 IMU센서를 포함함 - , HMD와 연동하여 상기 손의 위치를 추적하는 HMD센서를 포함하는 제2 디바이스 및 상기 HMD의 위치 및 상기 손의 위치 중 적어도 하나를 추적하는 외부센서를 포함하는 제3 디바이스와 연동하고 있는 상태에서,
    (a) 상기 손동작 인식 장치가, (i) 적어도 하나의 손가락에 대하여, 상기 제1 디바이스에 포함되어 있는 상기 플렉스 센서에 의해 측정된 플렉스 센서 값이 있으면 상기 플렉스 센서 값을 참조로 하여 손가락의 구부러진 정도를 제1-1 정보로서 획득하고, 상기 측정된 플렉스 센서 값이 없으면 상기 각도 센서에 의해 측정된 상기 손가락의 각 마디의 각도 데이터를 참조로 하여, 상기 손가락의 구부러진 정도를 제1-2 정보로서 획득하고, (ii) 적어도 하나의 손에 대하여 상기 제1 디바이스에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 회전 각도를 제2 정보로서 획득하며, (iii) 상기 손에 대하여 상기 제3 디바이스에 포함되어 있는 상기 외부센서에 의해 상기 손의 절대 위치 벡터가 측정이 가능한지 여부에 대한 제1 조건 만족 여부를 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단하고, 상기 제1 조건이 만족되면 상기 측정된 손의 절대 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-1 정보로서 획득하고, 상기 제1 조건이 만족되지 않으면 상기 외부센서에 의해 상기 HMD의 위치가 추적이 가능한지 여부에 대한 제2 조건 만족 여부를 판단하여 상기 제2 조건이 만족되면, 상기 HMD센서에 의해 상기 손의 위치가 추적이 가능한지 여부에 대한 제3 조건 만족 여부를 판단하여, 상기 제3 조건이 만족되면 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-2 정보로서 획득하며, 상기 제2 조건이 만족되지 않거나 상기 제3 조건이 만족되지 않으면, 이전 프레임에서 획득된 손 위치 벡터, 상기 IMU센서에 의해 획득된 상기 손의 가속도 벡터 및 델타 시간 - 상기 델타 시간은 이전 프레임에서 현재 프레임까지의 시간 간격을 의미함 - 을 참조로 하여 손 위치 추적 정보를 제3-3 정보로서 획득하는 단계; 및
    (b) 상기 손동작 인식 장치가, 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부인 최종출력 값을 참조로 하여 상기 사용자의 손동작을 인식하고, 상기 인식된 손동작을 참조로 하여 대응되는 디바이스를 제어하도록 하는 단계
    를 포함하고,
    상기 (b) 단계에서,
    상기 손동작 인식 장치가, 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부를 기설정된 손동작 정보 - 상기 기설정된 손동작 정보는 해당 손동작을 복수회 취했을 때 획득되는 (i) 제1-1 정보의 평균값 및 오차값인 제1-1 평균값 및 제1-1 오차값 또는 제1-2 정보의 평균값 및 오차값인 제1-2 평균값 및 제1-2 오차값, (ii) 제2 정보의 평균값 및 오차값인 제2 평균값 및 오차값, 및 (iii) 제3-1 정보의 평균값 및 오차값인 제3-1 평균값 및 제3-1 오차값, 제3-2 정보의 평균값 및 오차값인 제3-2 평균값 및 제3-2 오차값, 또는 제3-3 정보의 평균값 및 오차값인 제3-3 평균값 및 제3-3 오차값을 포함함 - 와 비교하여 상기 사용자의 손동작을 인식하는 것을 특징으로 하는 사용자 손동작 인식 방법.
  8. 제7항에 있어서,
    상기 손동작 인식 장치가, (i) 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부와 각각에 대응되는 상기 제1-1 평균값, 제1-2 평균값, 제2 평균값, 제3-1 평균값, 제3-2 평균값 및 제3-3 평균값 중 적어도 일부의 차이가, 각각의 대응되는 상기 제1-1 오차값, 제1-2 오차값, 제2 오차값, 제3-1 오차값, 제3-2 오차값 및 제3-3 오차값 중 적어도 일부의 범위 내에 존재하면 상기 기설정된 손동작 인식에 성공했다고 판단하고, (ii) 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부와 각각에 대응되는 상기 제1-1 평균 값, 제1-2 평균 값, 제2 평균값, 제3-1 평균값, 제3-2 평균값 및 제3-3 평균값 중 적어도 일부의 차이가, 각각에 대응되는 상기 제1-1 오차 값, 제1-2 오차값, 제2 오차값, 제3-1 오차값, 제3-2 오차값 및 제3-3 오차값 중 적어도 일부의 범위 외에 기설정된 수치이상 존재하면 상기 기설정된 손동작 인식에 실패했다고 판단하는 것을 특징으로 하는 사용자 손동작 인식 방법.
  9. 사용자의 손동작을 인식하는 방법에 있어서,
    손동작 인식 장치가, 상기 사용자의 적어도 하나의 손에 착용되어 상기 손의 형태 및 위치를 추적하는 제1 디바이스 - 상기 제1 디바이스는 각각의 손가락에 대응되는 플렉스 센서 및 각도 센서 중 적어도 하나를 포함하고, 적어도 하나의 손에 대응되는 IMU센서를 포함함 - , HMD와 연동하여 상기 손의 위치를 추적하는 HMD센서를 포함하는 제2 디바이스 및 상기 HMD의 위치 및 상기 손의 위치 중 적어도 하나를 추적하는 외부센서를 포함하는 제3 디바이스와 연동하고 있는 상태에서,
    (a) 상기 손동작 인식 장치가, (i) 적어도 하나의 손가락에 대하여, 상기 제1 디바이스에 포함되어 있는 상기 플렉스 센서에 의해 측정된 플렉스 센서 값이 있으면 상기 플렉스 센서 값을 참조로 하여 손가락의 구부러진 정도를 제1-1 정보로서 획득하고, 상기 측정된 플렉스 센서 값이 없으면 상기 각도 센서에 의해 측정된 상기 손가락의 각 마디의 각도 데이터를 참조로 하여, 상기 손가락의 구부러진 정도를 제1-2 정보로서 획득하고, (ii) 적어도 하나의 손에 대하여 상기 제1 디바이스에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 회전 각도를 제2 정보로서 획득하며, (iii) 상기 손에 대하여 상기 제3 디바이스에 포함되어 있는 상기 외부센서에 의해 상기 손의 절대 위치 벡터가 측정이 가능한지 여부에 대한 제1 조건 만족 여부를 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단하고, 상기 제1 조건이 만족되면 상기 측정된 손의 절대 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-1 정보로서 획득하고, 상기 제1 조건이 만족되지 않으면 상기 외부센서에 의해 상기 HMD의 위치가 추적이 가능한지 여부에 대한 제2 조건 만족 여부를 판단하여 상기 제2 조건이 만족되면, 상기 HMD센서에 의해 상기 손의 위치가 추적이 가능한지 여부에 대한 제3 조건 만족 여부를 판단하여, 상기 제3 조건이 만족되면 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-2 정보로서 획득하며, 상기 제2 조건이 만족되지 않거나 상기 제3 조건이 만족되지 않으면, 이전 프레임에서 획득된 손 위치 벡터, 상기 IMU센서에 의해 획득된 상기 손의 가속도 벡터 및 델타 시간 - 상기 델타 시간은 이전 프레임에서 현재 프레임까지의 시간 간격을 의미함 - 을 참조로 하여 손 위치 추적 정보를 제3-3 정보로서 획득하는 단계; 및
    (b) 상기 손동작 인식 장치가, 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부인 최종출력 값을 참조로 하여 상기 사용자의 손동작을 인식하고, 상기 인식된 손동작을 참조로 하여 대응되는 디바이스를 제어하도록 하는 단계
    를 포함하고,
    상기 (b) 단계에서,
    상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부를 포함하는 상기 손동작의 최종출력 값의 형태는 [LR, F1, F2, F3, F4, F5, roll, pitch, yaw, X, Y, Z]이고,
    여기에서, (i) LR은 상기 사용자의 손 중 적어도 하나에 대한 식별자를 나타내는 값이고, (ii) F1, F2, F3, F4 및 F5는 각각의 손가락이 구부러진 정도를 나타내는 값으로, 상기 각각의 손가락에 대한 상기 제1-1 정보 또는 제1-2 정보에 대응되며, (iii) roll, pitch 및 yaw는 상기 손이 회전된 정도를 나타내는 값으로, 상기 제2 정보에 대응되고, (iv) X, Y 및 Z는 상기 손의 위치를 나타내는 값으로, 상기 제3-1 정보, 제3-2 정보 또는 제3-3 정보에 대응되는 것을 특징으로 하는 사용자 손동작 인식 방법.
  10. 사용자의 손동작을 인식하는 장치에 있어서,
    손동작 인식 장치가, 상기 사용자의 적어도 하나의 손에 착용되어 상기 손의 형태 및 위치를 추적하는 제1 디바이스 - 상기 제1 디바이스는 각각의 손가락에 대응되는 플렉스 센서 및 각도 센서 중 적어도 하나를 포함하고, 적어도 하나의 손에 대응되는 IMU센서를 포함함 - , HMD와 연동하여 상기 손의 위치를 추적하는 HMD센서를 포함하는 제2 디바이스 및 상기 HMD의 위치 및 상기 손의 위치 중 적어도 하나를 추적하는 외부센서를 포함하는 제3 디바이스와 연동하고 있는 상태에서,
    상기 제1 디바이스, 상기 제2 디바이스 및 상기 제3 디바이스 중 적어도 일부와 통신을 수행하기 위한 통신부, 및
    (I) (i) 적어도 하나의 손가락에 대하여, 상기 제1 디바이스에 포함되어 있는 상기 플렉스 센서에 의해 측정된 플렉스 센서 값이 있으면 상기 플렉스 센서 값을 참조로 하여 손가락의 구부러진 정도를 제1-1 정보로서 획득하고, 상기 측정된 플렉스 센서 값이 없으면 상기 각도 센서에 의해 측정된 상기 손가락의 각 마디의 각도 데이터를 참조로 하여, 상기 손가락의 구부러진 정도를 제1-2 정보로서 획득하고, (ii) 적어도 하나의 손에 대하여 상기 제1 디바이스에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 회전 각도를 제2 정보로서 획득하며, (iii) 상기 손에 대하여 상기 제3 디바이스에 포함되어 있는 상기 외부센서에 의해 상기 손의 절대 위치 벡터가 측정이 가능한지 여부에 대한 제1 조건 만족 여부를 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단하고, 상기 제1 조건이 만족되면 상기 측정된 손의 절대 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-1 정보로서 획득하고, 상기 제1 조건이 만족되지 않으면 상기 외부센서에 의해 상기 HMD의 위치가 추적이 가능한지 여부에 대한 제2 조건 만족 여부를 판단하여 상기 제2 조건이 만족되면, 상기 HMD센서에 의해 상기 손의 위치가 추적이 가능한지 여부에 대한 제3 조건 만족 여부를 판단하여, 상기 제3 조건이 만족되면 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-2 정보로서 획득하며, 상기 제2 조건이 만족되지 않거나 상기 제3 조건이 만족되지 않으면, 이전 프레임에서 획득된 손 위치 벡터, 상기 IMU센서에 의해 획득된 상기 손의 가속도 벡터 및 델타 시간 - 상기 델타 시간은 이전 프레임에서 현재 프레임까지의 시간 간격을 의미함 - 을 참조로 하여 손 위치 추적 정보를 제3-3 정보로서 획득하는 프로세스; 및 (II) 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부인 최종출력 값을 참조로 하여 상기 사용자의 손동작을 인식하고, 상기 인식된 손동작을 참조로 하여 대응되는 디바이스를 제어하도록 하는 프로세스를 수행하는 프로세서
    를 포함하고,
    (i) 상기 제1-1 정보는 상기 측정된 플렉스 센서 값을 그대로 포함하고, (ii) 상기 제1-2 정보는 상기 측정된 손가락 각 마디의 각도 데이터를 이용하여 상기 플렉스 센서에서 측정되는 값의 단위와 대응되도록 상기 각도 데이터가 변환된 값을 포함하며,
    상기 변환된 값 v는,
    Figure 112020064221764-pat00008
    로부터 구해지고,
    여기에서, c는 손가락의 곡률이며,
    Figure 112020064221764-pat00009
    로부터 구해지고,
    여기에서, θ는 하나의 손가락 마디 사이의 각도 2개를 참조로 결정되고, r은 상기 손가락 마디의 길이를 모두 1로 가정하였을 때, 상기 손가락 마디를 변으로 하고 상기 변이 이루는 각각의 각도가 θ인 도형에 외접하는 원의 반지름인 것을 특징으로 하는 사용자 손동작 인식 장치.
  11. 삭제
  12. 삭제
  13. 사용자의 손동작을 인식하는 장치에 있어서,
    손동작 인식 장치가, 상기 사용자의 적어도 하나의 손에 착용되어 상기 손의 형태 및 위치를 추적하는 제1 디바이스 - 상기 제1 디바이스는 각각의 손가락에 대응되는 플렉스 센서 및 각도 센서 중 적어도 하나를 포함하고, 적어도 하나의 손에 대응되는 IMU센서를 포함함 - , HMD와 연동하여 상기 손의 위치를 추적하는 HMD센서를 포함하는 제2 디바이스 및 상기 HMD의 위치 및 상기 손의 위치 중 적어도 하나를 추적하는 외부센서를 포함하는 제3 디바이스와 연동하고 있는 상태에서,
    상기 제1 디바이스, 상기 제2 디바이스 및 상기 제3 디바이스 중 적어도 일부와 통신을 수행하기 위한 통신부, 및
    (I) (i) 적어도 하나의 손가락에 대하여, 상기 제1 디바이스에 포함되어 있는 상기 플렉스 센서에 의해 측정된 플렉스 센서 값이 있으면 상기 플렉스 센서 값을 참조로 하여 손가락의 구부러진 정도를 제1-1 정보로서 획득하고, 상기 측정된 플렉스 센서 값이 없으면 상기 각도 센서에 의해 측정된 상기 손가락의 각 마디의 각도 데이터를 참조로 하여, 상기 손가락의 구부러진 정도를 제1-2 정보로서 획득하고, (ii) 적어도 하나의 손에 대하여 상기 제1 디바이스에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 회전 각도를 제2 정보로서 획득하며, (iii) 상기 손에 대하여 상기 제3 디바이스에 포함되어 있는 상기 외부센서에 의해 상기 손의 절대 위치 벡터가 측정이 가능한지 여부에 대한 제1 조건 만족 여부를 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단하고, 상기 제1 조건이 만족되면 상기 측정된 손의 절대 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-1 정보로서 획득하고, 상기 제1 조건이 만족되지 않으면 상기 외부센서에 의해 상기 HMD의 위치가 추적이 가능한지 여부에 대한 제2 조건 만족 여부를 판단하여 상기 제2 조건이 만족되면, 상기 HMD센서에 의해 상기 손의 위치가 추적이 가능한지 여부에 대한 제3 조건 만족 여부를 판단하여, 상기 제3 조건이 만족되면 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-2 정보로서 획득하며, 상기 제2 조건이 만족되지 않거나 상기 제3 조건이 만족되지 않으면, 이전 프레임에서 획득된 손 위치 벡터, 상기 IMU센서에 의해 획득된 상기 손의 가속도 벡터 및 델타 시간 - 상기 델타 시간은 이전 프레임에서 현재 프레임까지의 시간 간격을 의미함 - 을 참조로 하여 손 위치 추적 정보를 제3-3 정보로서 획득하는 프로세스; 및 (II) 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부인 최종출력 값을 참조로 하여 상기 사용자의 손동작을 인식하고, 상기 인식된 손동작을 참조로 하여 대응되는 디바이스를 제어하도록 하는 프로세스를 수행하는 프로세서
    를 포함하고,
    상기 제3-2 정보는 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터의 합에 의해 결정되는 것을 특징으로 하는 사용자 손동작 인식 장치.
  14. 사용자의 손동작을 인식하는 장치에 있어서,
    손동작 인식 장치가, 상기 사용자의 적어도 하나의 손에 착용되어 상기 손의 형태 및 위치를 추적하는 제1 디바이스 - 상기 제1 디바이스는 각각의 손가락에 대응되는 플렉스 센서 및 각도 센서 중 적어도 하나를 포함하고, 적어도 하나의 손에 대응되는 IMU센서를 포함함 - , HMD와 연동하여 상기 손의 위치를 추적하는 HMD센서를 포함하는 제2 디바이스 및 상기 HMD의 위치 및 상기 손의 위치 중 적어도 하나를 추적하는 외부센서를 포함하는 제3 디바이스와 연동하고 있는 상태에서,
    상기 제1 디바이스, 상기 제2 디바이스 및 상기 제3 디바이스 중 적어도 일부와 통신을 수행하기 위한 통신부, 및
    (I) (i) 적어도 하나의 손가락에 대하여, 상기 제1 디바이스에 포함되어 있는 상기 플렉스 센서에 의해 측정된 플렉스 센서 값이 있으면 상기 플렉스 센서 값을 참조로 하여 손가락의 구부러진 정도를 제1-1 정보로서 획득하고, 상기 측정된 플렉스 센서 값이 없으면 상기 각도 센서에 의해 측정된 상기 손가락의 각 마디의 각도 데이터를 참조로 하여, 상기 손가락의 구부러진 정도를 제1-2 정보로서 획득하고, (ii) 적어도 하나의 손에 대하여 상기 제1 디바이스에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 회전 각도를 제2 정보로서 획득하며, (iii) 상기 손에 대하여 상기 제3 디바이스에 포함되어 있는 상기 외부센서에 의해 상기 손의 절대 위치 벡터가 측정이 가능한지 여부에 대한 제1 조건 만족 여부를 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단하고, 상기 제1 조건이 만족되면 상기 측정된 손의 절대 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-1 정보로서 획득하고, 상기 제1 조건이 만족되지 않으면 상기 외부센서에 의해 상기 HMD의 위치가 추적이 가능한지 여부에 대한 제2 조건 만족 여부를 판단하여 상기 제2 조건이 만족되면, 상기 HMD센서에 의해 상기 손의 위치가 추적이 가능한지 여부에 대한 제3 조건 만족 여부를 판단하여, 상기 제3 조건이 만족되면 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-2 정보로서 획득하며, 상기 제2 조건이 만족되지 않거나 상기 제3 조건이 만족되지 않으면, 이전 프레임에서 획득된 손 위치 벡터, 상기 IMU센서에 의해 획득된 상기 손의 가속도 벡터 및 델타 시간 - 상기 델타 시간은 이전 프레임에서 현재 프레임까지의 시간 간격을 의미함 - 을 참조로 하여 손 위치 추적 정보를 제3-3 정보로서 획득하는 프로세스; 및 (II) 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부인 최종출력 값을 참조로 하여 상기 사용자의 손동작을 인식하고, 상기 인식된 손동작을 참조로 하여 대응되는 디바이스를 제어하도록 하는 프로세스를 수행하는 프로세서
    를 포함하고,
    상기 제3-3 정보는 상기 손의 가속도 벡터에 상기 델타 시간을 곱하여 획득된 벡터 및 상기 이전 프레임에서 획득된 손 위치 벡터의 합에 의해 결정되는 것을 특징으로 하는 사용자 손동작 인식 장치.
  15. 사용자의 손동작을 인식하는 장치에 있어서,
    손동작 인식 장치가, 상기 사용자의 적어도 하나의 손에 착용되어 상기 손의 형태 및 위치를 추적하는 제1 디바이스 - 상기 제1 디바이스는 각각의 손가락에 대응되는 플렉스 센서 및 각도 센서 중 적어도 하나를 포함하고, 적어도 하나의 손에 대응되는 IMU센서를 포함함 - , HMD와 연동하여 상기 손의 위치를 추적하는 HMD센서를 포함하는 제2 디바이스 및 상기 HMD의 위치 및 상기 손의 위치 중 적어도 하나를 추적하는 외부센서를 포함하는 제3 디바이스와 연동하고 있는 상태에서,
    상기 제1 디바이스, 상기 제2 디바이스 및 상기 제3 디바이스 중 적어도 일부와 통신을 수행하기 위한 통신부, 및
    (I) (i) 적어도 하나의 손가락에 대하여, 상기 제1 디바이스에 포함되어 있는 상기 플렉스 센서에 의해 측정된 플렉스 센서 값이 있으면 상기 플렉스 센서 값을 참조로 하여 손가락의 구부러진 정도를 제1-1 정보로서 획득하고, 상기 측정된 플렉스 센서 값이 없으면 상기 각도 센서에 의해 측정된 상기 손가락의 각 마디의 각도 데이터를 참조로 하여, 상기 손가락의 구부러진 정도를 제1-2 정보로서 획득하고, (ii) 적어도 하나의 손에 대하여 상기 제1 디바이스에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 회전 각도를 제2 정보로서 획득하며, (iii) 상기 손에 대하여 상기 제3 디바이스에 포함되어 있는 상기 외부센서에 의해 상기 손의 절대 위치 벡터가 측정이 가능한지 여부에 대한 제1 조건 만족 여부를 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단하고, 상기 제1 조건이 만족되면 상기 측정된 손의 절대 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-1 정보로서 획득하고, 상기 제1 조건이 만족되지 않으면 상기 외부센서에 의해 상기 HMD의 위치가 추적이 가능한지 여부에 대한 제2 조건 만족 여부를 판단하여 상기 제2 조건이 만족되면, 상기 HMD센서에 의해 상기 손의 위치가 추적이 가능한지 여부에 대한 제3 조건 만족 여부를 판단하여, 상기 제3 조건이 만족되면 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-2 정보로서 획득하며, 상기 제2 조건이 만족되지 않거나 상기 제3 조건이 만족되지 않으면, 이전 프레임에서 획득된 손 위치 벡터, 상기 IMU센서에 의해 획득된 상기 손의 가속도 벡터 및 델타 시간 - 상기 델타 시간은 이전 프레임에서 현재 프레임까지의 시간 간격을 의미함 - 을 참조로 하여 손 위치 추적 정보를 제3-3 정보로서 획득하는 프로세스; 및 (II) 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부인 최종출력 값을 참조로 하여 상기 사용자의 손동작을 인식하고, 상기 인식된 손동작을 참조로 하여 대응되는 디바이스를 제어하도록 하는 프로세스를 수행하는 프로세서
    를 포함하고,
    상기 플렉스 센서에 의해 측정된 센서 값 및 상기 각도 센서에 의해 측정된 손가락 각 마디의 각도 데이터가 없으면 이를 알리기 위한 정보인 제1-3 정보를 획득하는 프로세스를 수행하는 것을 특징으로 하는 사용자 손동작 인식 장치.
  16. 사용자의 손동작을 인식하는 장치에 있어서,
    손동작 인식 장치가, 상기 사용자의 적어도 하나의 손에 착용되어 상기 손의 형태 및 위치를 추적하는 제1 디바이스 - 상기 제1 디바이스는 각각의 손가락에 대응되는 플렉스 센서 및 각도 센서 중 적어도 하나를 포함하고, 적어도 하나의 손에 대응되는 IMU센서를 포함함 - , HMD와 연동하여 상기 손의 위치를 추적하는 HMD센서를 포함하는 제2 디바이스 및 상기 HMD의 위치 및 상기 손의 위치 중 적어도 하나를 추적하는 외부센서를 포함하는 제3 디바이스와 연동하고 있는 상태에서,
    상기 제1 디바이스, 상기 제2 디바이스 및 상기 제3 디바이스 중 적어도 일부와 통신을 수행하기 위한 통신부, 및
    (I) (i) 적어도 하나의 손가락에 대하여, 상기 제1 디바이스에 포함되어 있는 상기 플렉스 센서에 의해 측정된 플렉스 센서 값이 있으면 상기 플렉스 센서 값을 참조로 하여 손가락의 구부러진 정도를 제1-1 정보로서 획득하고, 상기 측정된 플렉스 센서 값이 없으면 상기 각도 센서에 의해 측정된 상기 손가락의 각 마디의 각도 데이터를 참조로 하여, 상기 손가락의 구부러진 정도를 제1-2 정보로서 획득하고, (ii) 적어도 하나의 손에 대하여 상기 제1 디바이스에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 회전 각도를 제2 정보로서 획득하며, (iii) 상기 손에 대하여 상기 제3 디바이스에 포함되어 있는 상기 외부센서에 의해 상기 손의 절대 위치 벡터가 측정이 가능한지 여부에 대한 제1 조건 만족 여부를 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단하고, 상기 제1 조건이 만족되면 상기 측정된 손의 절대 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-1 정보로서 획득하고, 상기 제1 조건이 만족되지 않으면 상기 외부센서에 의해 상기 HMD의 위치가 추적이 가능한지 여부에 대한 제2 조건 만족 여부를 판단하여 상기 제2 조건이 만족되면, 상기 HMD센서에 의해 상기 손의 위치가 추적이 가능한지 여부에 대한 제3 조건 만족 여부를 판단하여, 상기 제3 조건이 만족되면 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-2 정보로서 획득하며, 상기 제2 조건이 만족되지 않거나 상기 제3 조건이 만족되지 않으면, 이전 프레임에서 획득된 손 위치 벡터, 상기 IMU센서에 의해 획득된 상기 손의 가속도 벡터 및 델타 시간 - 상기 델타 시간은 이전 프레임에서 현재 프레임까지의 시간 간격을 의미함 - 을 참조로 하여 손 위치 추적 정보를 제3-3 정보로서 획득하는 프로세스; 및 (II) 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부인 최종출력 값을 참조로 하여 상기 사용자의 손동작을 인식하고, 상기 인식된 손동작을 참조로 하여 대응되는 디바이스를 제어하도록 하는 프로세스를 수행하는 프로세서
    를 포함하고,
    상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부를 기설정된 손동작 정보 - 상기 기설정된 손동작 정보는 해당 손동작을 복수회 취했을 때 획득되는 (i) 제1-1 정보의 평균값 및 오차값인 제1-1 평균값 및 제1-1 오차값 또는 제1-2 정보의 평균값 및 오차값인 제1-2 평균값 및 제1-2 오차값, (ii) 제2 정보의 평균값 및 오차값인 제2 평균값 및 오차값, 및 (iii) 제3-1 정보의 평균값 및 오차값인 제3-1 평균값 및 제3-1 오차값, 제3-2 정보의 평균값 및 오차값인 제3-2 평균값 및 제3-2 오차값, 또는 제3-3 정보의 평균값 및 오차값인 제3-3 평균값 및 제3-3 오차값을 포함함 - 와 비교하여 상기 사용자의 손동작을 인식하는 프로세스를 수행하는 것을 특징으로 하는 사용자 손동작 인식 장치.
  17. 제16항에 있어서,
    (i) 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부와 각각에 대응되는 상기 제1-1 평균값, 제1-2 평균값, 제2 평균값, 제3-1 평균값, 제3-2 평균값 및 제3-3 평균값 중 적어도 일부의 차이가, 각각의 대응되는 상기 제1-1 오차값, 제1-2 오차값, 제2 오차값, 제3-1 오차값, 제3-2 오차값 및 제3-3 오차값 중 적어도 일부의 범위 내에 존재하면 상기 기설정된 손동작 인식에 성공했다고 판단하고, (ii) 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부와 각각에 대응되는 상기 제1-1 평균 값, 제1-2 평균 값, 제2 평균값, 제3-1 평균값, 제3-2 평균값 및 제3-3 평균값 중 적어도 일부의 차이가, 각각에 대응되는 상기 제1-1 오차 값, 제1-2 오차값, 제2 오차값, 제3-1 오차값, 제3-2 오차값 및 제3-3 오차값 중 적어도 일부의 범위 외에 기설정된 수치이상 존재하면 상기 기설정된 손동작 인식에 실패했다고 판단하는 프로세스를 수행하는 것을 특징으로 하는 사용자 손동작 인식 장치.
  18. 사용자의 손동작을 인식하는 장치에 있어서,
    손동작 인식 장치가, 상기 사용자의 적어도 하나의 손에 착용되어 상기 손의 형태 및 위치를 추적하는 제1 디바이스 - 상기 제1 디바이스는 각각의 손가락에 대응되는 플렉스 센서 및 각도 센서 중 적어도 하나를 포함하고, 적어도 하나의 손에 대응되는 IMU센서를 포함함 - , HMD와 연동하여 상기 손의 위치를 추적하는 HMD센서를 포함하는 제2 디바이스 및 상기 HMD의 위치 및 상기 손의 위치 중 적어도 하나를 추적하는 외부센서를 포함하는 제3 디바이스와 연동하고 있는 상태에서,
    상기 제1 디바이스, 상기 제2 디바이스 및 상기 제3 디바이스 중 적어도 일부와 통신을 수행하기 위한 통신부, 및
    (I) (i) 적어도 하나의 손가락에 대하여, 상기 제1 디바이스에 포함되어 있는 상기 플렉스 센서에 의해 측정된 플렉스 센서 값이 있으면 상기 플렉스 센서 값을 참조로 하여 손가락의 구부러진 정도를 제1-1 정보로서 획득하고, 상기 측정된 플렉스 센서 값이 없으면 상기 각도 센서에 의해 측정된 상기 손가락의 각 마디의 각도 데이터를 참조로 하여, 상기 손가락의 구부러진 정도를 제1-2 정보로서 획득하고, (ii) 적어도 하나의 손에 대하여 상기 제1 디바이스에 포함되어 있는 IMU센서에 의해 측정된 상기 손의 회전 각도를 제2 정보로서 획득하며, (iii) 상기 손에 대하여 상기 제3 디바이스에 포함되어 있는 상기 외부센서에 의해 상기 손의 절대 위치 벡터가 측정이 가능한지 여부에 대한 제1 조건 만족 여부를 상기 외부센서에 의해 측정된 데이터를 참조로 하여 판단하고, 상기 제1 조건이 만족되면 상기 측정된 손의 절대 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-1 정보로서 획득하고, 상기 제1 조건이 만족되지 않으면 상기 외부센서에 의해 상기 HMD의 위치가 추적이 가능한지 여부에 대한 제2 조건 만족 여부를 판단하여 상기 제2 조건이 만족되면, 상기 HMD센서에 의해 상기 손의 위치가 추적이 가능한지 여부에 대한 제3 조건 만족 여부를 판단하여, 상기 제3 조건이 만족되면 상기 외부센서에 의해 측정된 HMD의 고정 위치 벡터 및 상기 HMD센서에 의해 측정된 손의 위치 벡터를 참조로 하여 손 위치 추적 정보를 제3-2 정보로서 획득하며, 상기 제2 조건이 만족되지 않거나 상기 제3 조건이 만족되지 않으면, 이전 프레임에서 획득된 손 위치 벡터, 상기 IMU센서에 의해 획득된 상기 손의 가속도 벡터 및 델타 시간 - 상기 델타 시간은 이전 프레임에서 현재 프레임까지의 시간 간격을 의미함 - 을 참조로 하여 손 위치 추적 정보를 제3-3 정보로서 획득하는 프로세스; 및 (II) 상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부인 최종출력 값을 참조로 하여 상기 사용자의 손동작을 인식하고, 상기 인식된 손동작을 참조로 하여 대응되는 디바이스를 제어하도록 하는 프로세스를 수행하는 프로세서
    를 포함하고,
    상기 획득된 제1-1 정보, 제1-2 정보, 제2 정보, 제3-1 정보, 제3-2 정보 및 제3-3 정보 중 적어도 일부를 포함하는 상기 손동작의 최종출력 값의 형태는 [LR, F1, F2, F3, F4, F5, roll, pitch, yaw, X, Y, Z]이고,
    여기에서, (i) LR은 상기 사용자의 손 중 적어도 하나에 대한 식별자를 나타내는 값이고, (ii) F1, F2, F3, F4 및 F5는 각각의 손가락이 구부러진 정도를 나타내는 값으로, 상기 각각의 손가락에 대한 상기 제1-1 정보 또는 제1-2 정보에 대응되며, (iii) roll, pitch 및 yaw는 상기 손이 회전된 정도를 나타내는 값으로, 상기 제2 정보에 대응되고, (iv) X, Y 및 Z는 상기 손의 위치를 나타내는 값으로, 상기 제3-1 정보, 제3-2 정보 또는 제3-3 정보에 대응되는 것을 특징으로 하는 사용자 손동작 인식 장치.
KR1020180157568A 2018-12-07 2018-12-07 사용자의 손동작을 인식하는 장치 및 이를 이용한 방법 KR102171459B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180157568A KR102171459B1 (ko) 2018-12-07 2018-12-07 사용자의 손동작을 인식하는 장치 및 이를 이용한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180157568A KR102171459B1 (ko) 2018-12-07 2018-12-07 사용자의 손동작을 인식하는 장치 및 이를 이용한 방법

Publications (2)

Publication Number Publication Date
KR20200069955A KR20200069955A (ko) 2020-06-17
KR102171459B1 true KR102171459B1 (ko) 2020-10-29

Family

ID=71406103

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180157568A KR102171459B1 (ko) 2018-12-07 2018-12-07 사용자의 손동작을 인식하는 장치 및 이를 이용한 방법

Country Status (1)

Country Link
KR (1) KR102171459B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102569857B1 (ko) * 2021-01-27 2023-08-23 주식회사 시온네트웍 Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법
KR102539047B1 (ko) * 2021-06-04 2023-06-02 주식회사 피앤씨솔루션 증강현실 글라스 장치의 입력 인터페이스를 위한 손동작 및 음성명령어 인식 성능 향상 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101596600B1 (ko) * 2014-11-28 2016-02-23 계명대학교 산학협력단 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101958778B1 (ko) * 2012-08-31 2019-03-15 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 디지털 디바이스 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101596600B1 (ko) * 2014-11-28 2016-02-23 계명대학교 산학협력단 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법

Also Published As

Publication number Publication date
KR20200069955A (ko) 2020-06-17

Similar Documents

Publication Publication Date Title
KR102446811B1 (ko) 복수의 디바이스들로부터 수집된 데이터 통합 및 제공 방법 및 이를 구현한 전자 장치
KR102171459B1 (ko) 사용자의 손동작을 인식하는 장치 및 이를 이용한 방법
US10304114B2 (en) Data mesh based environmental augmentation
JP6070689B2 (ja) 動線情報生成システム、動線情報生成方法および動線情報生成プログラム
EP3112969A1 (en) Method and apparatus for relocation of mobile robot in indoor environment
JP5682563B2 (ja) 移動体軌跡識別システム、移動体軌跡識別方法および移動体軌跡識別プログラム
KR102297330B1 (ko) 화면 제어 방법 및 그 방법을 처리하는 전자 장치
EP3136120A1 (en) Device for recommending location in building by using fingerprint of access point, and method using same
KR102166041B1 (ko) 생체인식 기반 인증 방법 및 장치
JP2016006611A5 (ko)
KR20170093470A (ko) 스트레스 관리 서비스를 제공하기 위한 방법 및 그 전자 장치
KR20120013842A (ko) 휴대 단말을 이용한 사용자 행동 측정 장치 및 방법
CN104756039A (zh) 在世界坐标系中使用移动装置中的加速度计估计重力向量
US9354712B2 (en) Recognition device, intelligent device and information providing method for human machine interaction
US10497197B2 (en) Method and device for identifying user using bio-signal
US20170034333A1 (en) Exchanging contact information based on identifying social interaction
US20160273920A1 (en) Direction estimating device, direction estimating system, and method of estimating direction
KR20170135061A (ko) 입력 획득 방법 및 디바이스
US10742741B2 (en) Method and apparatus for controlling IoT devices interlocked with vehicle
CN104618869A (zh) 室内定位方法和设备
US10078373B2 (en) Method of temporal segmentation of an instrumented gesture, associated device and terminal
US20160320850A1 (en) User interface control using impact gestures
KR102018416B1 (ko) 사용자의 자세나 자세의 변화에 기초하여 배뇨 또는 사정을 모니터링하기 위한 장치 내지 시스템, 배뇨 또는 사정을 모니터링하는 방법, 그리고 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체
CN109737563B (zh) 基于感应阵列的控制方法、装置、存储介质及计算机设备
KR20150092441A (ko) 터치 드래그를 이용한 사용자 인증 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right