KR101524575B1 - 웨어러블 디바이스 - Google Patents

웨어러블 디바이스 Download PDF

Info

Publication number
KR101524575B1
KR101524575B1 KR1020140108341A KR20140108341A KR101524575B1 KR 101524575 B1 KR101524575 B1 KR 101524575B1 KR 1020140108341 A KR1020140108341 A KR 1020140108341A KR 20140108341 A KR20140108341 A KR 20140108341A KR 101524575 B1 KR101524575 B1 KR 101524575B1
Authority
KR
South Korea
Prior art keywords
wearable device
user
finger
dimensional
input operation
Prior art date
Application number
KR1020140108341A
Other languages
English (en)
Inventor
박준호
Original Assignee
박준호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박준호 filed Critical 박준호
Priority to KR1020140108341A priority Critical patent/KR101524575B1/ko
Application granted granted Critical
Publication of KR101524575B1 publication Critical patent/KR101524575B1/ko
Priority to PCT/KR2015/008686 priority patent/WO2016028097A1/en
Priority to US15/504,644 priority patent/US10585497B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G06V40/1376—Matching features related to ridge properties or fingerprint texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0331—Finger worn pointing device

Abstract

사용자의 손을 감지하여 3차원 스캔 정보를 생성하는 깊이 센서, 사용자의 손가락 피부선을 감지하여 패턴 정보를 생성하는 손가락 인식부, 3차원 스캔 정보에 기초하여 사용자의 손에 대한 3차원 모델을 생성하고, 패턴 정보에 기초하여 사용자의 손가락 피부선을 나타내는 패턴을 3차원 모델에 추가하는 영상 처리부 및 손가락 인식부가 사용자의 키 입력 동작을 감지하면, 키 입력 동작에 매칭되는 입력 값을 생성하는 키 결정부를 포함하고, 3차원 모델에 추가된 패턴과 감지되는 사용자의 손가락 피부선을 비교하여 키 입력 동작을 감지하는 웨어러블 디바이스가 개시된다.

Description

웨어러블 디바이스{WEARABLE DEVICE}
본 발명은 웨어러블 디바이스에 관련된 기술이다.
일상 생활에서 전자 기기의 사용이 필수적인 최근의 생활 환경에서 전자 기기들은 각각의 입력 수단을 포함한다. 그러나, 이러한 일반적인 입력 수단들은 키보드, 마우스 등의 2차원 입력 수단에서 큰 개선이 이루어지지 않고 있다. 나아가, 휴대성과 편리성 측면에서도 개선될 필요가 있다.
이에 따라, 휴대성과 편리성을 동시에 충족시킬 수 있는 입력 수단의 등장이 요구된다. 특히, 전자 기기들이 소형화되는 추세에서, 새로운 입력 수단은 휴대성과 편리성뿐 아니라 전자 기기들의 기능을 충분히 활용할 수 있도록 다양한 입력 값들을 처리할 수 있어야 한다.
본 발명은 상기한 바와 같은 기술의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 휴대 가능한 입력 수단을 활용하여 사용자가 편리하게 데이터 입력을 가능하도록 하는 것이다.
본 발명의 또 다른 목적은 웨어러블 디바이스가 키보드와 마우스의 입력 수단을 대체할 수 있도록 다양한 종류의 데이터 입력을 가능케 하는 것이다.
본 발명의 또 다른 목적은 웨어러블 디바이스의 장점인 휴대성을 유지하면서도 입력되는 데이터의 정확도를 유지할 수 있도록 하는 것이다.
본 발명에서 이루고자 하는 기술적 목적들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 본 발명의 실시 예들로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.
상기 기술적 과제를 해결하기 위한 웨어러블 디바이스는 사용자의 손을 3차원으로 감지하여 3차원 스캔 정보를 생성하는 깊이 센서, 사용자의 손가락 피부선을 감지하여 패턴 정보를 생성하는 손가락 인식부, 3차원 스캔 정보에 기초하여 사용자의 손에 대한 3차원 모델을 생성하고, 패턴 정보에 기초하여 사용자의 손가락 피부선을 나타내는 패턴을 3차원 모델에 추가하는 영상 처리부 및 손가락 인식부가 사용자의 키 입력 동작을 감지하면, 키 입력 동작에 매칭되는 입력 값을 생성하는 키 결정부를 포함하고, 손가락 인식부는 3차원 모델에 추가된 패턴과 감지되는 사용자의 손가락 피부선을 비교하여 키 입력 동작을 감지한다.
키 결정부는 손가락 인식부가 감지한 키 입력 동작에 따라, 사용자 손바닥과 손가락의 첫 번째 마디를 연결하는 제 1 관절, 손가락의 첫 번째 마디와 두 번째 마디를 연결하는 제 2 관절의 3차원 위치를 결정하고, 제 1 관절 및 제 2 관절의 3차원 위치에 기초하여 입력 값을 생성할 수 있다.
키 결정부는 제 1 관절 및 제 2 관절의 3차원 위치 및 제 1 관절 및 제 2 관절이 굽어진 각도를 결정하고, 두 관절의 3차원 위치 및 두 관절의 각도에 따라 키 입력 동작이 감지된 손가락의 끝의 위치를 계산할 수 있다.
깊이 센서는 적외선 카메라, ToF (Time of Flight) 카메라, 레이저 송수신기 및 스테레오(stereo) 카메라 중 적어도 하나를 포함할 수 있다.
손가락 인식부는 RGB 카메라, 적외선 카메라, 및 ToF 카메라 중 적어도 하나를 포함할 수 있다.
웨어러블 디바이스는 웨어러블 디바이스의 3차원 공간 상의 움직임과 기울기를 측정하는 자이로스코프 센서 및 가속도 센서를 더 포함할 수 있다.
자이로스코프 센서 및 가속도 센서가 사용자의 마우스 입력 동작을 감지하면 키 결정부는 마우스 입력 동작에 매칭되는 커서 값을 생성하며, 사용자의 손바닥 또는 손등 중앙의 위치를 커서 값으로 결정할 수 있다.
손가락 인식부는 마우스 입력 동작이 감지되는 도중에 사용자의 검지 손가락과 중지 손가락의 위치에 따라 마우스 클릭 동작을 감지하고, 키 결정부는 마우스 클릭 동작에 매칭되는 클릭 값을 생성할 수 있다.
웨어러블 디바이스는 외부 센서로부터 3차원 위치 정보를 수신하는 통신부를 더 포함하고, 키 결정부는 3차원 위치 정보에 기초하여 사용자의 마우스 입력 동작을 감지하고, 마우스 입력 동작에 매칭되는 커서 값을 생성할 수 있다.
웨어러블 디바이스는 사용자의 엄지 손가락 첫 번째 마디를 두르는 링(ring) 형태 또는 사용자의 손바닥에 장착되는 장갑 형태일 수 있다.
기술적 과제를 해결하기 위한 웨어러블 디바이스는 대상체를 3차원으로 감지하여 3차원 스캔 정보를 생성하는 깊이 센서, 대상체 표면 상의 패턴을 감지하여 패턴 정보를 생성하는 손가락 인식부 및 3차원 스캔 정보에 기초하여 대상체에 대한 3차원 모델을 생성하고 패턴 정보에 기초하여 대상체 표면 상의 패턴을 3차원 모델에 추가하는 영상 처리부를 포함한다.
본 발명의 실시 예들에 따르면 다음과 같은 효과를 기대할 수 있다.
첫째로, 사용자는 휴대성과 편리성을 동시에 제공할 수 있는 웨어러블 디바이스를 통해 개선된 형태로 데이터 입력이 가능하다.
둘째로, 웨어러블 디바이스가 키보드와 마우스를 대체할 수 있어, 추가적인 입력수단 없이도 웨어러블 디바이스만으로 다양한 데이터 입력이 가능하게 된다.
셋째로, 웨어러블 디바이스의 휴대성을 유지하면서도 데이터 입력의 정확성을 유지할 수 있어, 사용자에게 개선된 형태의 데이터 입력 환경을 제공할 수 있다.
본 발명의 실시 예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 이하의 본 발명의 실시 예들에 대한 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 발명을 실시함에 따른 의도하지 않은 효과들 역시 본 발명의 실시 예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.
이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시 예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다. 각 도면에서의 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다.
도 3은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다.
도 4는 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다.
도 5는 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다.
도 6은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다.
도 7은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다.
도 8은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다.
도 9는 본 발명의 또 다른 실시 예에 의한 웨어러블 디바이스의 구현 형태를 도시하는 도면이다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
이하의 실시 예들은 본 발명의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시 예를 구성할 수도 있다. 본 발명의 실시 예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시 예의 일부 구성이나 특징은 다른 실시 예에 포함될 수 있고, 또는 다른 실시 예의 대응하는 구성 또는 특징과 교체될 수 있다.
도면에 대한 설명에서, 본 발명의 요지를 흐릴 수 있는 절차 또는 단계 등은 기술하지 않았으며, 당업자의 수준에서 이해할 수 있을 정도의 절차 또는 단계는 또한 기술하지 아니하였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함(comprising 또는 including)”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “…부”, “…기”, “모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떠한 구성이 다른 구성에 “연결”된다고 할 때, 이는 물리적 연결뿐 아니라 전기적 연결 또한 포함할 수 있으며, 나아가 논리적인 연결 관계에 있음을 의미할 수도 있다.
또한, “일(a 또는 an)”, “하나(one)”, “그(the)” 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
또한, 본 명세서에서 “사용자”는 웨어러블 디바이스의 착용자, 사용자 등이 될 수 있으며 웨어러블 디바이스를 수리하는 기술자 또한 포함할 수 있으나, 이에 한정되는 것은 아니다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
또한, 본 발명의 실시 예들에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
도 1은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 구성을 도시한 블록도이다. 웨어러블 디바이스(100)는 도 1에 도시된 구성 이외에도 다른 범용적인 구성을 더 포함할 수 있으며, 도 1에 도시된 구성보다 적은 구성으로 구현될 수도 있다. 즉, 웨어러블 디바이스(100)의 구현 형태나 권리범위가 도 1에 도시되고 설명하는 내용에 한정되는 것은 아니다.
웨어러블 디바이스(100)는 사용자의 신체 일부(예를 들어, 손)에 장착되는 입출력 수단이다. 웨어러블 디바이스(100)는 여러 가지 센서를 활용하여 사용자의 신체 움직임을 감지하며, 감지한 움직임이 형성하는 동작에 따라 데이터와 신호를 생성한다. 웨어러블 디바이스(100)는 생성한 데이터와 신호를 외부 디바이스나 서버로 전송할 수도 있다.
이하에서는 웨어러블 디바이스(100)가 포함하는 여러 가지 구성들에 대해 각각 설명한다. 일 실시 예에 의한 웨어러블 디바이스(100)는 깊이 센서(110), 손가락 인식부(120), 영상 처리부(130), 키 결정부(140), 자이로스코프 센서(150), 가속도 센서(160), 통신부(180), 저장부(190), 전원부(200) 및 제어부(210)를 포함할 수 있다. 도시된 구성들은 서로 유선 또는 무선으로 연결되어 데이터와 신호를 주고 받을 수 있다. 상술한 바와 같이, 도 1에 도시된 구성들은 웨어러블 디바이스(100)를 구성하는 예시에 불과하여, 웨어러블 디바이스(100)는 도시된 구성보다 적거나 많은 구성을 포함하도록 구현될 수 있다.
깊이 센서(110)는 대상체(object)를 3차원으로 스캔하여 3차원 스캔 정보를 생성한다. 즉, 깊이 센서(110)는 대상체로 여러 가지 종류의 신호를 송출하고, 대상체 표면에서 송출한 신호의 변화를 감지하거나 대상체로부터 반사되는 신호를 감지한다. 깊이 센서(110)는 감지한 신호를 분석하여 대상체에 대한 3차원 스캔 정보를 생성할 수 있다. 예를 들어, 깊이 센서(110)는 사용자의 손을 3차원으로 감지하여 사용자의 손의 외형에 대한 3차원 스캔 정보를 생성할 수 있다.
대상체를 3차원으로 스캔하는 깊이 센서(110)는 여러 가지 종류의 센서나 디바이스를 포함할 수 있다. 예를 들어, 깊이 센서(110)는 적외선 신호를 대상체로 송출하고 대상체 표면에서의 변화를 감지하는 적외선 카메라, 대상체로 초음파 신호나 광신호를 송출하고 대상체로부터 반사되는 신호와의 시간 차이를 측정하는 ToF(Time of Flight) 카메라, 레이저 신호를 대상체로 송출하고 반사되는 신호를 감지하는 레이저 송수신기, 두 위치에서 대상체를 촬영한 차이값을 분석하는 스테레오(stereo) 카메라 등을 포함할 수 있다. 이외에도, 펄스 레이저광을 대기 중에 발사하여 그 반사체나 산란체를 이용하는 라이더(LIDAR, LIght Detection And Ranging) 방식, 대상체의 표면에서 코히어런트(coherent)한 빛이 반사되는 패턴의 변화를 감지하는 스페클 간섭법(speckle interferometry) 방식, 두 개의 LED를 활용하는 적외선 근접 어레이(IPA, Infrared Proximity Array) 감지 방식, RGB 카메라 등 또한 깊이 센서(110)를 구현하기 위해 적용될 수 있다. 대상체를 3차원으로 스캔하기 위한 깊이 센서(110)는 상술한 구성들의 예시에 한정되는 것은 아니며, 그 이외의 다른 여러 가지 구성들이 깊이 센서(110)에 포함될 수 있다. 또한, 깊이 센서(110)는 상술한 구성들 중 둘 이상이 조합되는 형태로 구현될 수도 있다.
또한, 깊이 센서(110)가 대상체를 3차원 스캔하는 과정을 수행한 뒤, 컴퓨터 비전 기술(computer vision technique)을 활용하여 3차원 스캔 정보의 정확도를 향상시킬 수도 있다. 컴퓨터 비전 기술은 2D 영상을 해석하는 과정에서 깊이 정보의 정확도를 향상시키는 용도로 활용되며, depth-from-focus 방식, depth-from-stereo 방식, depth-from-shape 방식, depth-from-motion 방식 등이 포함된다. 깊이 센서(110)는 상술한 여러 가지 방식들을 활용하여 대상체에 대한 3차원 스캔 정보를 정확하게 생성할 수 있다.
한편, 이상에서는 대상체가 사용자의 신체 일부인 손인 경우를 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 즉, 대상체는 신체 일부를 의미할 수 있을뿐 아니라, 물체, 공간, 구조물 등 다양한 대상을 의미할 수 있다. 예를 들어, 대상체가 핸드폰, 노트북, 책상 등과 같은 물체인 경우, 깊이 센서(110)는 핸드폰, 노트북을 3차원 스캔하여 3차원 스캔 정보를 생성할 수 있다. 또한, 웨어러블 디바이스(100)가 방 안에 위치한 경우, 깊이 센서(110)는 방 안의 공간과 벽면을 대상체로하여 스캔할 수 있다. 이에 따라, 깊이 센서(110)는 방의 벽면들에 의한 3차원 공간에 대해 인식하고, 벽면에 대한 3차원 스캔 정보를 생성할 수 있다. 이러한 경우, 깊이 센서(110)는 웨어러블 디바이스(100)가 방 안에 어디에 위치하는지, 즉 소정 공간 이내에서 웨어러블 디바이스(100)의 절대좌표를 알 수 있다. 한편, 이하에서는 대상체가 신체 일부, 특히 손인 경우를 예로 들어 본 발명을 중점적으로 설명한다. 대상체가 물체, 공간, 구조물 등의 사물인 경우에 대해서는 도 9에서 구체적으로 설명한다.
손가락 인식부(120)는 사용자 손의 바닥면을 스캔하여 손가락 피부선을 감지한다. 손바닥에는 다양한 형태의 손금, 지문이 존재하며, 손가락 관절 마다 여러 종류와 형태로 피부선이 존재한다. 이러한 신체적 특징들은 손바닥면에서 다른 부분과는 다른 채도, 명도, 색상으로 나타난다. 즉, 피부선이나 손금 등은 손바닥의 다른 피부보다 어둡고 진한 특징이 있다. 손가락 인식부(120)는 사용자의 신체 특징인 손금, 지문, 피부선 등을 감지하고 감지된 결과를 패턴 정보로써 생성한다. 또한, 손가락 인식부(120)는 이러한 신체 특징들의 분포도 감지할 수 있다. 즉, 피부선, 손금, 지문 등의 분포 또한 손가락 인식부(120)가 감지하는 패턴의 대상이 되며, 패턴 정보로써 생성될 수 있다. 이에 더하여, 손가락 인식부(120)는 피부색의 분포를 감지하여 패턴 정보로 활용할 수도 있다. 즉, 손바닥면 전체에 있어서 피부색이 단일한 색상과 명암으로 나타나는 것은 아니라는 점을 고려하여, 손가락 인식부(120)는 피부색의 분포를 측정 및 감지할 수도 있다. 다시 말해서, 손가락 인식부(120)는 손바닥면에서 군데군데 어둡거나 밝은 부분, 더 빨갛거나 하얀 부분, 신체 내부 혈관이 비추어 파란색을 띄는 부분 등 피부색 분포를 감지할 수도 있다.
손가락 인식부(120)는 사용자의 신체 특징을 감지하기 위해 RGB 카메라, 적외선 카메라, ToF 카메라 등을 활용할 수 있다. 그 외에도, 손가락 인식부(120)는 깊이 센서(110)에 적용된 여러 가지 종류의 센서를 포함하고 활용하도록 구현될 수도 있다. 손가락 인식부(120)는 상술한 여러 가지 종류의 카메라, 센서, 모듈들을 활용하여 사용자 손바닥면을 촬영하거나 감지하여 명암과 색상, 채도가 다른 부분을 인식한다. 이러한 인식 결과가 패턴 정보로 생성된다. 손가락 인식부(120) 또한 깊이 센서(110)와 마찬가지로 상술한 구성들 중 둘 이상이 조합되는 형태로 구현될 수도 있다.
한편, 손가락 인식부(120)는 사용자의 신체 특징들을 스캔함에 따라 사용자의 키 입력 동작이나 마우스 입력 동작, 마우스 터치 동작 등을 감지한다. 구체적으로는 후술하겠으나, 손가락 인식부(120)는 사용자의 신체 특징들의 움직임을 촬영하고 분석함으로써, 사용자가 키보드의 특정 키 또는 키의 조합을 입력하는 동작인 키 입력 동작, 사용자가 마우스의 커서를 움직이는 마우스 입력 동작, 사용자가 마우스의 버튼을 클릭하는 마우스 클릭 동작 등을 감지할 수 있다.
도 1에 도시하고 설명한 바와 같이 깊이 센서(110)와 손가락 인식부(120)는 별개의 구성으로 구현될 수 있지만, 이와는 달리 하나의 구성으로 구현될 수도 있다. 즉, 깊이 센서(110)와 손가락 인식부(120)가 적외선 카메라나 RGB 카메라로 구현되는 경우, 두 구성은 각각 별개가 아닌 단일한 구성일 수도 있다. 즉, 적외선 카메라 또는 RGB 카메라가 깊이 센서(110)와 손가락 인식부(120)의 역할을 모두 수행할 수도 있다.
영상 처리부(130)는 깊이 센서(110) 및 손가락 인식부(120)와 연결되어 각각으로부터 3차원 스캔 정보, 패턴 정보를 수신하고 처리한다. 구체적으로, 영상 처리부(130)는 깊이 센서(110)로부터 수신되는 3차원 스캔 정보를 이용하여 3차원 영상을 생성하고, 3차원 렌더링 과정을 거쳐 대상체에 대한 3차원 모델을 생성할 수 있다. 예를 들어, 대상체가 사용자의 손인 경우, 영상 처리부(130)는 깊이 센서(110)가 사용자의 손을 감지함에 따라 손에 대한 3차원 모델을 생성할 수 있다. 또 다른 예로 대상체가 핸드폰과 같은 물체인 경우, 영상 처리부(130)는 핸드폰의 3차원 모델을 생성할 수 있다. 3차원 모델은 흑백 또는 컬러로 표현될 수 있다.
또한, 영상 처리부(130)는 손가락 인식부(120)로부터 수신되는 패턴 정보를 이용하여 기생성된 3차원 모델에 패턴이나 무늬를 추가할 수 있다. 앞서 손바닥면의 피부선, 손금, 지문 등을 예로 들어 설명한 바와 같이, 영상 처리부(130)는 손가락 인식부(120)가 사용자의 피부선이나 손금, 지문을 감지하고 패턴 정보를 영상 처리부(130)로 전송할 수 있다. 이에 따라, 영상 처리부(130)는 수신한 패턴 정보를 분석하고 사용자의 손에 대한 3차원 모델에 분석한 패턴을 추가할 수 있다. 즉, 영상 처리부(130)는 사용자의 손에 대한 외형만 존재하는 3차원 모델에 손금, 지문, 피부선 등에 대한 패턴을 입힌 3차원 모델을 생성할 수 있다.
한편, 영상 처리부(130)가 패턴을 입힌 3차원 모델을 생성하면, 손가락 인식부(120)는 자신이 감지한 사용자의 신체 특징들과 3차원 모델의 패턴을 분석하여 상술한 키 입력 동작, 마우스 입력 동작, 마우스 클릭 동작 등을 감지할 수 있다. 즉, 손가락 인식부(120)는 신체 특징들을 감지하여 생성한 패턴 정보를 3차원 모델의 패턴과 비교하여 상술한 사용자의 여러 가지 동작들을 감지하며, 구체적인 실시 예에 대해서는 도 4 내지 도 7에서 설명한다.
키 결정부(140)는 사용자의 키 입력 동작이 감지됨에 따라, 해당 키 입력 동작에 매칭되는 입력 값을 생성한다. 즉, 키 결정부(140)는 손가락 인식부(120)가 사용자의 신체 특징들의 움직임을 분석한 결과로부터 키 입력 동작을 감지하였음을 전달하면, 키 입력 동작이 어떠한 키 또는 키들의 조합에 해당하는지 결정한다. 결정된 결과는 입력 값으로 생성되어, 통신부(180)를 통해 다른 디바이스나 서버로 전송될 수 있다.
키 결정부는 사용자의 마우스 입력 동작과 마우스 클릭 동작에 따른 결과 값을 생성할 수도 있다. 즉, 후술할 자이로스코프 센서(150)와 가속도 센서(160)가 사용자의 마우스 입력 동작을 감지하면, 키 결정부(140)는 감지된 마우스 입력 동작에 매칭되는 커서 값을 생성한다. 이와는 달리, 후술할 통신부(180)가 외부로부터 3차원 위치 정보를 수신하는 경우, 키 결정부(140)는 수신된 3차원 위치 정보에 따라 커서 값을 생성할 수도 있다. 커서 값은 키 입력과 유사하게 통신부(180)를 통해 다른 디바이스나 서버로 전송될 수 있다.
마우스 클릭 동작은 상술한 손가락 인식부(120)에 의해 감지될 수 있다. 자이로스코프 센서(150)와 가속도 센서(160)에 의해 마우스 입력 동작이 감지되는 도중에, 손가락 인식부(120)는 사용자의 검지 손가락과 중지 손가락의 위치에 기초하여 마우스 클릭 동작을 감지할 수 있다. 키 결정부(140)는 감지된 마우스 클릭 동작에 따라 클릭 값을 생성하고 통신부(180)를 통해 다른 디바이스나 서버로 전송할 수 있다. 상술한 마우스 입력 동작 및 마우스 클릭 동작에 대해서는 도 7에서 다시 구체적으로 설명한다.
자이로스코프 센서(150)는 각속도를 측정하여 웨어러블 디바이스(100)의 기울기를 감지한다. 자이로스코프 센서(150)의 종류와 기능 등에 대해서는 기술분야의 통상의 지식을 가진자라면 당연히 알 수 있어, 구체적인 설명은 생략한다. 가속도 센서(160)는 속도 변화를 측정하여 웨어러블 디바이스(100)의 가속도와 기울기를 감지한다. 가속도 센서(160) 또한 그 종류와 기능에 대해 이미 알려진 바가 많아, 구체적인 설명은 생략한다.
한편, 자이로스코프 센서(150)와 가속도 센서(160)는 웨어러블 디바이스(100)의 3차원 공간 상의 움직임와 기울기를 측정한다. 즉, 자이로스코프 센서(150)와 가속도 센서(160)는 웨어러블 디바이스(100)가 3차원 공간 상에서 어떠한 방향, 속도, 기울기로 움직이는지를 측정함으로써, 상술한 마우스 입력 동작을 감지한다. 마우스 입력 동작은 키 결정부(140)에 의해 분석되어 커서 값으로 변환될 수 있다.
피드백부(170)는 웨어러블 디바이스(100)가 여러 가지 수단을 이용하여 사용자에게 촉각 피드백을 전송하는 수단이다. 촉각 피드백은 다양한 경우에 생성되고 사용자에게 전송될 수 있는데, 예를 들어 웨어러블 디바이스(100)가 공간 상의 특정 좌표에 위치하거나 해당 좌표를 지나는 경우, 웨어러블 디바이스(100)에 연결된 외부 디바이스에서 재생되는 컨텐츠로부터 사용자에게 촉각 피드백을 전송할 것을 지시하는 신호가 수신되는 경우 등 여러 가지 경우에 있어서 사용자에게 촉각 피드백을 제공할 수 있다.
피드백부(170)가 사용자에게 촉각 피드백을 전송하는 수단은 여러 가지가 될 수 있다. 예를 들어, 피드백부(170)는 진동 모듈을 포함하여 사용자에게 진동 신호를 전달하거나, 압력 모듈을 포함하여 웨어러블 디바이스(100)를 장착한 사용자가 압력을 느끼게 할 수도 있다. 또한, 피드백부(170)는 전단 응력(shear stress) 모듈을 통해 사용자에게 촉각 피드백을 제공하거나 전류 모듈을 통해 사용자의 신체에 영향이 없을 정도의 미세 전류를 전달할 수도 있다.
통신부(180)는 데이터 통신을 수행하며 외부와의 송신 및 수신을 수행한다. 예를 들어, 통신부(180)는 무선으로 외부 네트워크와 연결되어 외부 디바이스, 서버 등과 통신할 수 있으며, 통신을 수행하기 위한 하나 이상의 통신 모듈을 포함할 수 있다.
통신부(180)는 근거리 통신을 위한 모듈로써 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스, 지그비(zigbee), WFD(Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), BLE(Bluetooth Low Energy), NFC(Near Field Communication) 등의 통신 기능을 구현하기 위한 모듈을 포함할 수 있다.
통신부(180)는 상술한 통신 모듈을 이용하여 키 결정부(140)가 생성한 입력 값, 커서 값, 클릭 값 등을 외부로 전송할 수 있다. 또한, 통신부(180)는 상술한 통신 모듈들을 통해 외부 디바이스로부터 3차원 위치 정보를 수신할 수도 있다.
저장부(190)는 웨어러블 디바이스(100)로 입출력되는 데이터와 정보를 저장할 수 있다. 예를 들어, 저장부(190)는 키 결정부(140)가 생성한 입력 값, 커서 값, 클릭 값들을 저장할 수 있다. 또한, 저장부(190)는 웨어러블 디바이스(100)가 실행할 수 있는 여러 가지 종류의 프로그램 데이터나 알고리즘 데이터를 저장할 수도 있다.
저장부(190)는 플래시 메모리 타입(flash memory type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 및 PROM(Programmable Read-Only Memory) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 웨어러블 디바이스(100)는 인터넷 상에서 저장부(190)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
전원부(200)는 웨어러블 디바이스(100)의 동작을 위한 전원을 공급한다. 전원부(200)는 리튬-이온(Li-ion) 배터리, 리튬-폴리머(Li-polymer) 배터리 등 다양한 종류의 전원 공급 수단을 포함할 수 있으며, 웨어러블 디바이스(100)는 복수의 전원부(200)를 포함할 수도 있다. 전원부(200)는 웨어러블 디바이스(100)의 다른 구성들과 유선으로 연결되어 전원을 공급할 수 있으며, 무선 전력 전달 기술 등을 통해 무선으로 외부 전력을 공급받아 충전할 수도 있다.
제어부(210)는 이상에서 설명한 구성들과 연결되어 웨어러블 디바이스(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(210)는 깊이 센서(110)가 생성한 3차원 스캔 정보를 영상 처리부(130)에 전달할 수 있고, 손가락 인식부(120)가 생성한 패턴 정보를 영상 처리부(130)로 전달할 수도 있다. 또한 제어부(210)는 영상 처리부(130)가 생성한 3차원 모델과 손가락 인식부(120)가 감지한 패턴 정보를 비교하여 키 결정부(140)로 하여금 입력 값을 생성하도록 제어할 수도 있다. 즉, 제어부(210)는 웨어러블 디바이스(100)가 사용자의 동작에 따라 입력 수단 또는 출력 수단으로 동작하기 위한 여러 가지 기능을 제어할 수 있다.
이하에서는 웨어러블 디바이스(100)가 사용자 신체의 움직임에 따라 동작하는 실시 예를 설명한다. 이하에서 특별한 설명이 없는 한 도시된 웨어러블 디바이스가 사용자의 엄지손가락에 링(ring) 형태로 장착되도록 구현된 실시 예를 도시한다. 웨어러블 디바이스는 사용자의 왼손, 오른손 또는 양손 모두에 장착되도록 구현될 수도 있으며, 이는 단순한 설계와 구조 변경을 통해 구현될 수 있다.
또한, 웨어러블 디바이스(100)는 둘 이상의 분리된 형태로 구현될 수도 있다. 즉, 도 1에서 설명한 구성들은 둘 이상의 분리된 웨어러블 디바이스(100)의 어느 하나 또는 둘 이상에 모두 포함될 수 있고, 둘 이상의 분리된 웨어러블 디바이스(100)들은 서로 연동하여 데이터를 주고받으며 동작할 수 있다. 다시 말해서, 웨어러블 디바이스(100)는 도 1에서 설명한 구성 중 일부 또는 전부를 포함하는 형태로 구현될 수 있으며, 일부를 포함하는 경우에는 다른 일부를 포함하는 또 다른 웨어러블 디바이스(100)와 연동하여 동작할 수 있다.
도 2와 도 3은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다. 도 2에서는 웨어러블 디바이스(100)가 사용자의 왼손 엄지 손가락의 첫 번째 마디에 장착된 실시 예를 도시한다.
상술한 바와 같이 웨어러블 디바이스(100)는 깊이 센서(110)와 손가락 인식부(120)를 포함한다. 도 2에서는 깊이 센서(110)와 손가락 인식부(120)가 인접하여 배치되고, 참조 번호를 통해 표시하지는 않았으나 다른 기능 모듈들이 일렬로 배열되는 형태를 도시한다. 이는, 설명의 편의를 위한 구현 형태의 예시에 불과하며, 웨어러블 디바이스(100)에 포함된 구성들이 이러한 배치 형태에 한정되는 것은 아니다.
즉, 깊이 센서(110) 및 손가락 인식부(120)는 웨어러블 디바이스(100)에 하나 이상 포함될 수 있고, 서로 일정 거리 이상 이격되어 배치될 수도 있다. 또한, 웨어러블 디바이스(100)가 두 개의 분리된 형태로 구현되는 경우, 깊이 센서(110)와 손가락 인식부(120)는 각각 웨어러블 디바이스(100)에 하나씩 포함될 수도 있다. 이러한 경우, 하나의 웨어러블 디바이스는 도시된 바와 같이 사용자의 엄지 손가락의 첫 번째 마디를 두르는 링 형태로, 다른 하나의 웨어러블 디바이스는 사용자의 약지 손가락의 첫 번째 마디를 두르는 형태로 장착될 수 있다. 한편, 이러한 웨어러블 디바이스(100)의 장착 손가락은 도시되고 설명된 위치에 한정되는 것은 아니며, 어느 손가락의 어느 마디에도 장착될 수 있다.
상술한 바와 같이, 깊이 센서(110)는 사용자의 손을 3차원으로 감지하여 3차원 스캔 정보를 생성하며, 손가락 인식부(120)는 사용자의 손바닥면에 나타나는 신체적 특징인 손가락 피부선, 지문, 손금 등을 감지하여 패턴 정보를 생성한다. 즉, 깊이 센서(110)와 손가락 인식부(120)는 웨어러블 디바이스(100)를 장착한 사용자의 키 입력 동작이나 마우스 입력 동작, 마우스 클릭 동작 등을 감지하며, 웨어러블 디바이스(100)는 각각의 동작에 매칭되는 입력 값, 커서 값, 클릭 값 등을 생성할 수 있다.
도 3은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다. 도 3은 도 2에서 설명한 실시 예와 유사하나, 사용자의 손바닥면을 바라보는 실시 예라는 점에서 차이가 있다.
웨어러블 디바이스(100)의 손가락 인식부(120)는 사용자의 손가락 움직임을 용이하게 파악할 수 있는 각도와 방향에 배치된다. 즉, 손가락 인식부(120)는 사용자의 손가락 마디와 관절들의 움직임을 스캔하여 키 입력 동작, 마우스 입력 동작, 마우스 커서 동작 등을 감지해야 하므로, 손가락을 지속적으로 관찰할 수 있는 위치에 배치되어야 한다. 특히, 손가락 인식부(120)는 사용자 손가락의 첫 번째 마디와 두 번째 마디를 연결하는 관절, 두 번째 마디와 세 번째 마디를 연결하는 관절의 위치와 각도를 높은 정확도로 인식할 수 있는 형태로 배치될 수 있다.
또한, 웨어러블 디바이스(100)가 사용자의 생체 신호 등을 수신하거나 감지하는 것은 아니라는 점에 비추어 볼 때, 웨어러블 디바이스(100)가 꼭 사용자의 손가락이나 손에 부착되는 형태로 장착될 필요는 없다. 즉, 사용자는 웨어러블 디바이스(100)를 책상에서 손가락의 움직임을 잘 감지할 수 있는 위치에 올려둔 채로 키 입력 동작, 마우스 입력 동작 등을 수행할 수도 있다.
도 4는 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다. 도 4에서는 웨어러블 디바이스가 사용자의 손에 대한 3차원 모델을 생성하는 과정을 설명한다.
먼저, 도 4의 좌측에 도시된 실시 예를 설명한다. 웨어러블 디바이스의 깊이 센서는 대상체인 사용자의 손을 3차원으로 감지하여 3차원 스캔 정보를 생성한다. 도시된 바와 같이 사용자의 왼손을 전체적으로 스캔하기 위해서는 웨어러블 디바이스가 왼손 엄지 손가락 대신 다른 신체 부위(예를 들어, 오른손 엄지 손가락)에 장착될 수도 있다. 사용자는 웨어러블 디바이스를 장착한 오른손을 왼손의 주변으로 둘러가며 깊이 센서가 왼손을 3차원으로 스캔하게끔 할 수 있다.
한편, 웨어러블 디바이스는 사용자의 손등면보다 손바닥면에 대한 정보가 중요하다. 이에 따라, 웨어러블 디바이스가 사용자의 손바닥면에 대한 3차원 스캔 정보를 정확하게 획득할 수 있도록, 사용자는 감지 센서가 왼손의 손바닥면을 바라볼 때는 천천히 스캔하고, 감지 센서가 왼손의 손등면을 바라볼 때는 손바닥면 보다는 빠른 속도로 스캔할 수도 있다. 또는, 손등면에 대한 3차원 정보를 정확하게 획득할 필요가 없는 경우, 사용자는 손등면에 대한 3차원 스캔 과정은 생략할 수도 있다.
깊이 센서는 사용자의 손에 대한 3차원 스캔 정보를 생성하고, 영상 처리부로 해당 정보를 전송한다. 영상 처리부는 3차원 스캔 정보를 분석하고 처리하여 사용자의 왼손에 대한 3차원 모델(400)을 생성한다. 3차원 모델(400)은 3차원 영상일 수 있으며, 3차원 렌더링 과정을 거쳐 생성될 수도 있다.
한편, 깊이 센서가 스캔한 결과인 3차원 스캔 정보를 이용하여 생성된 3차원 모델(400)은 사용자의 신체적 특징(예를 들어, 피부선, 손금, 지문 등)을 구체적으로 나타내지는 못할 수도 있다. 즉, 깊이 센서는 사용자 손의 외형은 정확하게 측정할 수 있지만, 손바닥면에 나타나는 구체적인 특징들까지 감지하지는 못할 수도 있다.
이에 따라, 도 4의 우측에 도시된 바와 같이 3차원 모델(400)에 대하여 패턴을 추가하는 과정이 수행된다. 웨어러블 디바이스에 포함된 손가락 인식부는 사용자의 손바닥면에 나타나는 피부선 등을 감지하며, 감지된 결과를 패턴 정보로 생성한다. 특히, 사용자 손가락의 첫 번째 마디와 두 번째 마디를 연결하는 관절(460)의 피부선은 후술하는 바와 같이 사용자의 여러 가지 동작을 감지하는 데에 중요한 역할을 하므로, 명암과 색상 등이 뚜렷하고 진하게 감지할 필요가 있다.
이와 같이 손가락 인식부가 사용자의 신체적 특징을 감지하여 패턴 정보를 생성하는 일련의 과정은, 깊이 센서가 3차원 스캔 정보를 생성하는 과정과 동시에 이루어지거나 별도로 이루어질 수 있다. 즉, 깊이 센서가 대상체의 손을 3차원으로 인식하여 3차원 스캔 정보를 생성하는 도중에 손가락 인식부는 피부선, 손금 등의 패턴 정보를 생성할 수 있다. 이러한 경우, 3차원 스캔 정보와 패턴 정보는 함께 영상 처리부로 전달되고, 영상 처리부는 두 정보를 순차적으로 처리하여 3차원 모델을 생성하게 된다. 이러한 실시 예에서는 상술한 바와는 달리 패턴이 추가된 3차원 모델(410)이 한번의 스캔 과정으로 생성될 수 있다.
이와는 달리, 깊이 센서가 대상체의 손을 스캔하여 3차원 스캔 정보를 생성하고 영상 처리부가 3차원 스캔 정보를 이용하여 3차원 모델을 생성하면, 손가락 인식부가 패턴 정보를 생성하기 위한 과정이 추가적으로 수행될 수 있다. 이러한 경우, 웨어러블 디바이스가 대상체인 손을 스캔하는 과정이 2번 이루어져야 한다. 즉, 전자의 경우에는 1번의 스캔 과정으로 3차원 스캔 정보와 패턴 정보가 모두 생성되는 반면, 후자의 경우에는 1번째 스캔을 통해서 3차원 스캔 정보가 생성되고 2번째 스캔을 통해서 패턴 정보가 생성될 수 있다. 후자의 경우, 영상 처리부는 3차원 모델을 미리 생성해두고, 이어서 수신되는 패턴 정보를 처리하게 된다.
손가락 인식부가 생성한 패턴 정보는 영상 처리부로 전달되며, 3차원 모델(400)에 패턴(450)을 입히는 과정이 수행된다. 즉, 영상 처리부는 3차원 스캔 정보에 의해 생성된 3차원 모델(400)에 패턴(450)을 입히는 과정을 처리함으로써, 패턴이 추가된 3차원 모델(410)을 생성할 수 있다.
도 5 및 도 6에서는 도 4에서 설명한 3차원 모델과 사용자의 피부선을 이용하여, 사용자의 키 입력 동작을 분석하는 과정을 설명한다. 먼저, 도 5는 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다.
도 4에서 설명한 바에 따라 영상 처리부는 3차원 스캔 정보와 패턴 정보를 이용하여 대상체(예를 들어, 사용자의 왼손)의 3차원 모델을 생성한다. 3차원 모델을 생성하는 초기 과정이 수행되고 나면, 웨어러블 디바이스(100)는 지속적으로 손의 피부선, 지문, 손금 등을 감지한다. 즉, 손가락 인식부는 웨어러블 디바이스(100)를 장착한 손의 손가락 움직임을 지속적으로 스캔하여, 신체적 특징(피부선, 지문, 손금 등)의 위치와 움직임을 감지한다. 예를 들어, 웨어러블 디바이스(100)의 손가락 인식부는 사용자 손가락의 첫 번째, 두 번째 마디를 연결하는 관절에 나타나는 피부선(510)을 스캔할 수 있다.
사용자가 키 입력 동작(즉, 타이핑)을 수행하면 손가락들의 움직임에 따라 피부선, 손금 등 손바닥면의 신체적 특징이 변화한다. 예를 들어, 손가락이 굽어짐에 따라 손가락 마디 간의 관절에 위치한 피부선 간의 간격이 좁아지며, 피부선의 명암도 어두워지고 경계도 뚜렷해진다. 이에 따라, 손가락 인식부는 손가락이 움직임에 따라 변화하는 신체적 특징들을 감지한다.
한편, 웨어러블 디바이스(100)는 감지한 신체적 특징들을 기생성한 3차원 모델의 패턴과 비교할 수 있다. 즉, 웨어러블 디바이스(100)는 이미 사용자의 손과 피부선, 손금, 지문 등에 대한 패턴 정보를 이용하여 3차원 모델을 생성해둔 바 있다. 이에 따라, 사용자의 타이핑 동작으로 인하여 피부선이 변화하면, 감지된 피부선 변화를 기생성한 3차원 모델의 피부선 패턴과 비교할 수 있다.
예를 들어, 웨어러블 디바이스(100)는 도 4에서 사용자의 왼손 검지 손가락 관절(460)에 대한 패턴을 포함하는 3차원 모델(410)을 미리 생성해둔 채로, 사용자의 타이핑 동작을 감지한다. 사용자가 왼손 검지 손가락을 이용하여 특정 키를 누르고자 하면, 웨어러블 디바이스(100)는 도 4의 관절(460)의 피부선 변화를 감지한다(510). 웨어러블 디바이스(100)의 손가락 인식부는 피부선의 명암의 변화, 색상의 변화, 굵기의 변화, 선명도의 변화 등을 인식할 수 있으며, 3차원 모델(410)에 기저장된 패턴으로부터 어떻게 변화하는지 비교할 수 있다.
웨어러블 디바이스(100)는 피부선의 변화에 따라 관절(460)의 3차원 위치를 알 수 있으며, 손가락이 굽어짐에 따라 첫 번째 마디와 두 번째 마디가 형성하는 각도의 변화 또한 계산할 수 있다. 이러한 계산 과정은 피부선의 변화와 기저장된 3차원 모델(410)의 패턴과의 비교를 통해 수행될 수 있다.
한편, 관절(460)의 3차원 위치 및 관절(460)이 굽어진 각도가 측정되면, 웨어러블 디바이스(100)는 해당 손가락의 끝의 위치(520)를 계산한다. 손가락의 끝의 위치(520)는 3차원 위치가 될 수 있으며, 3차원 상의 위치는 곧 사용자의 키 입력 동작에 따른 특정한 입력 값에 매칭된다.
정리하면, 웨어러블 디바이스(100)는 지속적으로 사용자의 피부선, 손금, 지문 등을 감지하면서, 감지된 신체적 특징들의 변화를 기저장된 3차원 모델과 비교한다. 이러한 비교 결과로부터, 웨어러블 디바이스(100)는 키 입력 동작에 매칭되는 소정의 입력 값을 계산해낼 수 있다. 한편, 손가락의 끝의 위치(520)를 계산하는 구체적인 과정은 도 6에서 설명한다.
도 6은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다. 도 6에서 x/y/z 축은 3차원 공간을 나타내며, 원점, P1, P2, P3, P4를 연결하는 선은 대상체가 사용자의 손인 경우 사용자의 손목으로부터 손가락까지의 뼈대를 나타낸다. 즉, 원점은 손목의 중심을, P1은 손바닥과 손가락의 첫번째 마디가 연결되는 관절을, P2는 손가락 첫번째 마디와 두번째 마디가 연결되는 관절을, P3는 손가락 두번째 마디와 세번째 마디가 연결되는 관절을, P4는 손가락 끝을 각각 나타낸다.
도 4 및 도 5에서 설명한 실시 예에 의하면, 웨어러블 디바이스는 사용자 손가락의 첫번째 마디와 두번째 마디가 연결되는 관절의 3차원 위치와 굽어진 각도를 계산할 수 있다. 즉, 웨어러블 디바이스는 도 6에서 P2의 3차원 위치와 각도 θ2를 계산할 수 있다. 한편, 웨어러블 디바이스는 사용자의 손에 대한 3차원 모델을 생성하고 저장하므로, P2의 3차원 위치를 계산한다는 것은 손목의 중심으로부터 P2까지의 거리 d1을 계산한다는 것을 의미한다.
한편, 웨어러블 디바이스는 P2의 경우와 유사하게 P1의 3차원 위치와 θ1 또한 계산할 수 있다. 또는, 웨어러블 디바이스는 3차원 모델을 생성하는 과정에서 손목의 중심으로부터 손바닥과 첫번째 마디 사이의 관절 까지의 거리, 즉 P1의 위치를 미리 계산할 수 있다. 이러한 경우, 웨어러블 디바이스는 θ1에 대해서는 θ2와 유사한 방식으로 패턴의 비교를 통해 계산할 수 있게 된다. 또 다른 방식으로, 웨어러블 디바이스는 손바닥이나 손금을 감지하여 P1의 위치를 파악할 수도 있다. 즉, 웨어러블 디바이스는 손가락의 피부선을 감지하듯이 손바닥의 손금을 스캔할 수 있으며, 손가락의 움직임에 따라 손금이 변화하는 것을 감지할 수 있다. 이어서, 웨어러블 디바이스는 도 4에서 설명한 3차원 모델(410)의 손금에 대한 패턴 정보와 감지된 손금 패턴을 비교하여 손금의 변화를 인지할 수 있다. 이러한 경우, 웨어러블 디바이스는 손바닥의 무늬나 손금의 변화로부터 P1의 위치를 간접적으로 알 수도 있다. 상술한 세 가지 방식 중 어떠한 방식을 통해서라도, 웨어러블 디바이스는 P1과 P2의 위치, θ1, θ2에 대해 모두 계산할 수 있게 된다.
한편, 사용자의 손이 자연스러운 동작에 따라 굽어진다고 가정하면, P1의 좌표, P2의 좌표, θ1, θ2에 대해 알 수 있다면 P3의 좌표, θ3, P4의 좌표를 모두 계산할 수 있다. 이러한 과정은 실험적인 방법으로서, 경험에 의한 추정으로 볼 수도 있다. 그러나, 사용자가 손가락 관절들을 의식적으로 굽히지 않는 한, P1, P2, θ1, θ2의 관계로부터 P3의 좌표 및 θ3에 대해 알 수 있고, 마찬가지로 P1, P2, P3, θ1, θ2, θ3의 관계로부터 P4의 위치 정보 또한 추정해낼 수 있다.
상술한 과정에서, θ1, θ2, θ3의 범위가 문제될 수 있다. 즉, θ1, θ2, θ3은 180도 이내가 되도록 측정되어야 한다. 사용자가 손가락을 높게 치켜드는 경우, 사용자의 손바닥과 첫 번째 마디를 연결하는 관절은 180도 이상으로 측정될 수 있다. 그러나, 이러한 각도는 정상적인 키 입력 동작과는 거리가 멀다. 따라서, 웨어러블 디바이스는 손가락 관절들의 각도 θ1, θ2, θ3을 측정하는 과정에서 각 각도가 180도 이내가 되는 값만을 의미 있는 값으로 획득할 수 있다. 웨어러블 디바이스는 각도 θ1, θ2, θ3가 180도 이상으로 측정되는 경우의 값을 무시하도록 구현될 수도 있으며, 반대로 180도 이상으로 측정되는 경우를 특정 동작에 매핑시켜 별도로 처리할 수도 있다. 한편, 이러한 추정 과정의 정확도를 향상시키기 위한 방법은 여러 가지가 있을 수 있다. 예를 들어, 최초로 손의 3차원 모델을 생성하는 과정이 이루어진 뒤 웨어러블 디바이스는 사용자로 하여금 특정 키를 입력하기 위한 동작을 수행하도록 지시할 수 있다. 사용자가 해당 키를 자연스럽게 입력하는 동작을 취하면, 웨어러블 디바이스는 이러한 동작을 감지하여 P3, P4, θ3를 추정하는 과정에서 어떠한 수치를 보상해야 하는지 미리 알 수 있다. 즉, 사용자의 키 입력 동작에 따른 입력 값을 계산하는 과정에서 소프트웨어적인 보상이 이루어질 수 있다.
또 다른 방식으로, 웨어러블 디바이스가 P3의 3차원 위치와 θ3를 직접 측정할 수도 있다. 즉, 손가락 인식부는 손가락의 두 번째 마디와 세 번째 마디를 연결하는 관절의 피부선을 3차원 모델의 패턴과 비교하여, 해당 관절의 3차원 위치와 굽어진 각도를 측정할 수도 있다. 이러한 경우, 웨어러블 디바이스가 P1, P2, P3, θ1, θ2, θ3, d2를 직접 측정하게 되므로 P4를 추정하는 과정에서의 정확도가 크게 상승하게 된다. 또는, 앞서 설명한 소프트웨어적인 보상 과정이 P3, θ3를 직접 측정하는 방식과 함께 복합적으로 수행될 수도 있다.
결론적으로, 웨어러블 디바이스는 사용자가 타이핑을 수행함에 따라 키 입력 동작을 감지하고, 해당 키 입력 동작이 어떠한 키에 매칭되는지 판단하여 입력 값을 생성한다. 이러한 입력 값은 웨어러블 디바이스에 연결된 외부 디바이스나 서버로 전송될 수 있으며, 웨어러블 디바이스는 입력 수단으로 동작하게 된다.
이상에서는 사용자의 손가락 중 검지, 중지, 약지, 소지에 대한 키 입력 동작을 감지하는 실시 예를 설명하였다. 한편, 웨어러블 디바이스는 엄지 손가락의 키 입력 동작 또한 감지할 수 있어야 한다. 먼저, 웨어러블 디바이스가 엄지에 장착된 경우를 설명한다. 웨어러블 디바이스는 자신이 장착된 손가락인 엄지의 위치를 직접 측정할 수도 있고, 간접적으로 추정할 수도 있다.
웨어러블 디바이스가 엄지에 장착되어 엄지의 키 입력 동작을 직접 측정하는 경우, 깊이 센서와 손가락 인식부는 엄지 손가락 끝의 위치를 인식하기에 충분한 만큼의 각도를 감지한다. 이에 따라, 웨어러블 디바이스는 자신이 장착된 엄지 손가락 끝의 3차원 위치 정보를 계산할 수 있다. 또한, 웨어러블 디바이스는 엄지 손가락 끝의 위치로부터 엄지 손가락 상에서 자신이 얼마만큼 떨어진 위치에 장착되었는지 또한 계산할 수 있다.
이와는 달리, 웨어러블 디바이스가 엄지의 키 입력 동작을 간접적으로 측정하는 경우, 웨어러블 디바이스는 다른 네 손가락의 관절들의 위치로부터 자신이 장착된 엄지의 위치를 추정할 수 있다. 즉, 웨어러블 디바이스는 다른 네 손가락들의 P1, P2 위치로부터 자신의 3차원 상 위치를 추정할 수 있다. 웨어러블 디바이스가 P1 또는 P2를 이용하여 자신의 위치를 추정하는 경우, 네 손가락의 P1 또는 P2, 즉 네 개의 위치 정보를 활용하게 되며, 웨어러블 디바이스가 P1 및 P2를 이용하여 자신의 위치를 추정하는 경우, 여덟 개의 위치 정보를 활용하여 자신의 위치를 추정한다. 즉, 웨어러블 디바이스는 3차원 공간 상에서 자신의 위치를 특정하기 위한 충분한 수의 정보를 가지고 있으므로, 다른 네 손가락 관절들의 위치 정보로부터 자신이 위치한 엄지 손가락의 위치를 추정할 수 있다. 엄지 손가락이 자신의 위치를 측정/추정하는 두 가지 방식은, 웨어러블 디바이스가 검지, 중지, 약지, 소지에 장착되는 경우에도 유사하게 적용될 수 있다. 즉, 웨어러블 디바이스는 자신이 장착된 손가락 끝의 위치 또한 측정할 수 있다.
한편, 웨어러블 디바이스가 엄지 손가락이 아닌 다른 손가락에 장착되어 엄지 손가락을 감지하는 경우, 엄지는 다른 네 손가락과는 다른 구조를 가지므로 엄지에 대한 위치와 각도를 측정하는 또 다른 과정이 요구된다.
엄지는 다른 네 손가락과는 달리, 손바닥과 첫 번째 마디가 연결되는 관절, 첫 번째 마디와 두 번째 마디가 연결되는 관절 총 2개의 관절을 포함한다. 즉, 웨어러블 디바이스는 엄지의 두 관절의 위치만 획득하더라도 엄지 끝의 위치를 측정할 수 있다. 이에 따라, 웨어러블 디바이스가 엄지 대신 다른 손가락에 장착되는 경우, 엄지에 대한 P1, P2, θ1, θ2로부터 측정되는 P3는 곧 손가락 끝의 위치가 된다. 이에 따라, 웨어러블 디바이스는 다른 네 손가락보다 정확도 높게 엄지 손가락 끝의 위치를 측정할 수 있다.
도 7은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다. 도 7에서는 웨어러블 디바이스가 사용자의 마우스 입력 동작과 마우스 클릭 동작을 감지하고 커서 값, 클릭 값을 생성하는 실시 예를 설명한다.
웨어러블 디바이스(100)가 공간 상에서 움직이는 경우, 자이로스코프 센서(150)와 가속도 센서(160)는 웨어러블 디바이스(100)의 공간 상의 위치 변화, 가속도 변화, 기울기 변화를 측정한다. 이에 따라, 웨어러블 디바이스(100)는 사용자가 웨어러블 디바이스(100)를 장착한 채로 공간 상에서 손을 이동하는 마우스 입력 동작을 감지할 수 있다. 또한, 웨어러블 디바이스(100)는 마우스 입력 동작 중에 검지 손가락 또는 중지 손가락을 엄지 손가락에 맞닿는 마우스 클릭 동작 또한 감지할 수 있다.
먼저, 웨어러블 디바이스(100)가 마우스 입력 동작을 감지하여 커서 값을 생성하는 실시 예를 설명한다. 자이로스코프 센서(150)와 가속도 센서(160)는 웨어러블 디바이스(100)의 공간 상의 위치 변화가 측정되면, 사용자의 마우스 입력 동작을 감지한다. 사용자의 마우스 입력 동작은 사용자가 마우스 커서를 특정 위치에서 다른 위치로 이동시키기 위한 동작이며, 소정의 커서 값에 매칭된다. 커서 값은 외부 디바이스나 서버로 전송되어 마우스 커서의 이동 방향과 이동 값을 지정할 수 있다.
한편, 커서 값의 기준 위치는 사용자의 손바닥 중앙의 위치(750)가 될 수 있다. 즉, 마우스 입력 동작에 따른 커서 값은 손바닥의 중앙의 위치(750)를 기준으로 결정될 수 있다. 이것은, 손바닥 중앙의 위치(750)는 사용자가 손과 손가락을 움직이더라도 그 움직임에 따른 영향이 적다는 점에 기인한다. 즉, 후술할 마우스 클릭 동작으로 인하여 검지 손가락과 중지 손가락이 굽어질 때, 손의 다른 부분들은 손가락과 이어진 근육들의 움직임으로 인하여 정확한 기준위치가 되기 어렵다. 한편, 손바닥 중앙의 위치(750)는 마우스 입력 동작 중에 마우스 클릭 동작이 감지되더라도 그 위치가 상대적으로 일정하다. 따라서, 웨어러블 디바이스(100)는 손바닥 중앙의 위치(750)의 변화에 기초하여 커서 값을 생성하게 된다. 또는, 웨어러블 디바이스(100)는 손바닥 중앙의 위치(750) 대신 손등 중앙의 위치를 커서 값의 기준 위치로 활용할 수도 있다.
이어서, 마우스 클릭 동작을 설명한다. 마우스 입력 동작이 감지되는 도중에 웨어러블 디바이스(100)의 손가락 인식부(120)는 손가락들의 끝의 위치(710, 720, 730, 740)를 지속적으로 감지할 수 있다. 이러한 과정은 앞서 도 4 내지 도 6에서 설명한 실시 예에 따라 수행될 수 있다. 한편, 공간 상에서 웨어러블 디바이스(100)가 이동함에 따라 마우스 입력 동작이 감지되는 도중에, 웨어러블 디바이스(100)는 검지 손가락과 중지 손가락이 엄지 손가락에 맞닿는 지를 감지한다. 이러한 과정은 검지 손가락의 끝의 위치(710), 중지 손가락의 끝의 위치(730)가 웨어러블 디바이스(100)에 일정 거리 이상 인접하였는지 여부를 기준으로 계산될 수 있다. 즉, 웨어러블 디바이스(100)가 엄지 손가락에 장착되는 경우, 검지 손가락과 중지 손가락이 엄지 손가락에 닿는 것은 두 손가락의 끝의 위치(710, 720)가 웨어러블 디바이스(100)에 일정 거리 이상 인접했음을 의미한다. 따라서, 웨어러블 디바이스(100)는 두 손가락의 끝의 위치(710, 720)에 기초하여 마우스 클릭 동작을 감지할 수 있다.
이어서, 웨어러블 디바이스(100)는 마우스 클릭 동작에 매칭되는 클릭 값을 생성한다. 클릭 값은 검지 손가락이 엄지 손가락에 닿는 마우스 클릭 동작에 매칭되는 좌클릭 값, 중지 손가락이 엄지 손가락에 닿는 마우스 클릭 동작에 매칭되는 우클릭 값을 포함할 수 있다. 또한, 웨어러블 디바이스(100)는 두 손가락이 모두 닿는 경우를 별도의 클릭 값으로 처리할 수도 있다.
웨어러블 디바이스(100)는 생성된 클릭 값을 외부 디바이스나 서버로 전송한다. 마우스 클릭 동작은 마우스 입력 동작이 감지되는 도중에 감지된다는 점에서, 클릭 값은 마우스 입력 동작에 따른 커서 값과 함께 전송되게 된다. 이에 따라, 웨어러블 디바이스(100)는 외부 디바이스나 서버에서 마우스 커서를 이동시키면서 클릭을 할 수 있다. 즉, 웨어러블 디바이스(100)는 공간 상의 움직임으로 마우스를 제어하는 입력 수단인 ‘공간 마우스’의 역할을 수행할 수 있다.
도 8은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다. 도 8에서는, 도 7과는 달리 자이로스코프 센서와 가속도 센서 없이도 웨어러블 디바이스가 공간 마우스로 동작하는 실시 예를 설명한다. 도 8에서는, 사용자가 웨어러블 디바이스를 양손 엄지 손가락에 장착한 실시 예를 도시한다.
도 8에서, 웨어러블 디바이스(100a, 100b)는 외부 센서(800)로부터 3차원 위치 정보를 수신하여 커서 값을 생성한다. 즉, 외부 센서(800)는 웨어러블 디바이스(100a, 100b)와는 분리고 독립적인 디바이스로서, 웨어러블 디바이스(100a, 100b)의 공간 상의 위치를 감지한다. 예를 들어, 외부 센서(800)는 랩탑(laptop) 컴퓨터, 데스크탑(desktop) 컴퓨터, PDA(Personal Digital Assistant), 태블릿(tablet) 컴퓨터 등에 부착되어 웨어러블 디바이스(100a, 100b)를 감지할 수 있다. 또는, 외부 센서(800)는 별도의 디바이스에 부착되지 않고 고정되어 위치하기만 하면 되므로, 책상 등의 고정된 위치에 배치되는 센서일 수도 있다.
외부 센서(800)가 웨어러블 디바이스(100a, 100b)의 위치를 감지하여 전송하면, 웨어러블 디바이스(100a, 100b)는 자이로스코프 센서나 가속도 센서 없이도 공간 상에서 자신의 3차원 위치를 인식할 수 있다. 이러한 3차원 위치는 도 7에서 설명한 바와 같이 손바닥 중앙의 위치(810)가 될 수 있으며, 또는 웨어러블 디바이스(100a, 100b) 자체의 위치가 될 수도 있다.
웨어러블 디바이스(100a, 100b)가 3차원 위치 정보를 감지하는 또 다른 방식으로, 공간을 인지하는 방식이 있다. 즉, 도 1에서 설명한 바와 같이 웨어러블 디바이스(100a, 100b)의 깊이 센서는 일정 거리 내의 벽면을 감지하여 웨어러블 디바이스(100a, 100b)를 둘러싼 공간을 감지할 수 있다. 웨어러블 디바이스(100a, 100b)는 이와 같이 공간을 지속적으로 감지하면서 공간 내에서 자신의 위치를 간접적으로 파악할 수 있다. 즉, 웨어러블 디바이스(100a, 100b)는 벽면이나 천장 등과의 거리를 통해서 자신의 3차원 위치를 감지할 수도 있다.
한편, 사용자가 웨어러블 디바이스(100a, 100b)를 장착한 채로 키 입력 동작을 수행하다가 마우스 입력 동작으로 전환하는 과정에 대해 설명한다. 즉, 웨어러블 디바이스(100a, 100b)는 사용자가 키 입력 동작을 수행하는 도중에 마우스 입력 동작을 수행하는 것을 별도로 감지하여야만 입력 값을 생성하는 대신 커서 값을 생성하게 된다. 이러한 실시 예는 도 8뿐 아니라 도 7에도 적용될 수 있다.
4가지 정도의 실시 예를 생각해볼 수 있다. 먼저, 두 웨어러블 디바이스(100a, 100b) 간의 거리가 일정 거리 이상 멀어지는 경우, 웨어러블 디바이스(100a, 100b)는 마우스 입력 동작이 수행됨을 알 수 있다. 즉, 두 웨어러블 디바이스(100a, 100b)가 연동되어 동작하는 과정에서 둘 사이의 거리가 멀어지면, 웨어러블 디바이스(100a, 100b)는 키 입력 동작 대신 마우스 입력 동작을 감지하는 것으로 전환할 수 있다. 둘째로, 웨어러블 디바이스(100a, 100b)는 손가락 끝의 위치를 감지하여, 손가락이 일정 이상 굽어진 것으로 계산되면 마우스 입력 동작을 감지할 수 있다. 즉, 타이핑을 위한 일반적인 각도 범위를 넘어서 손가락이 굽어진 것이 감지되는 경우, 웨어러블 디바이스(100a, 100b)는 사용자가 손을 말아쥔 것으로 판단하여 마우스 입력 동작을 감지할 수 있다.
셋째로, 키 입력 동작을 감지하는 도중에 손바닥의 각도가 일정 이상 변화하는 경우, 웨어러블 디바이스(100a, 100b)는 마우스 입력 동작을 감지할 수 있다. 즉, 일반적인 타이핑을 위한 손의 각도 이상으로 손이 회전하는 경우, 사용자가 손을 공간으로 이동시키기 위한 사전 동작인 것으로 판단할 수 있다. 이에 따라, 웨어러블 디바이스(100a, 100b)는 마우스 입력 동작을 감지할 수 있다.
넷째로, 웨어러블 디바이스(100a, 100b)의 높이축 좌표가 임계값 이상으로 변화하는 경우를 들 수 있다. 사용자가 키 입력 동작 중에 손을 떼는 경우, 웨어러블 디바이스(100a, 100b)의 높이축 좌표가 급격하게 변화한다. 이에 따라, 웨어러블 디바이스(100a, 100b)는 사용자가 마우스 입력 동작을 수행하는 것으로 인지할 수 있다. 본 실시 예에서, 높이축 좌표 변화는 자이로스코프 센서와 가속도 센서에 의해서 측정될 수 있고, 이와는 달리 깊이 센서에 의해서도 측정될 수 있다. 즉, 깊이 센서가 지속적으로 동작하면서 사용자가 키 입력 동작을 수행하는 평면과 웨어러블 디바이스(100a, 100b) 간의 거리를 측정하고, 해당 거리를 웨어러블 디바이스(100a, 100b)의 높이축 좌표로 하여 좌표 변화를 감지할 수도 있다. 즉, 깊이 센서는 바닥면에 대한 감지 센서로 동작할 수도 있다. 또한, 깊이 센서와 손가락 인식부가 함께 바닥면에 대한 감지 센서로 동작할 수도 있다. 두 센서가 함께 공간 좌표를 측정하는 실시 예에 대해서는 도 9에서 설명한다.
웨어러블 디바이스(100a, 100b)는 상술한 실시 예들 이외에도 다양한 방식으로 마우스 입력 동작의 개시를 감지할 수 있다. 더 간단한 방식으로는, 웨어러블 디바이스(100a, 100b)의 좌표가 급격하게 변화하는 단순한 경우를 마우스 입력 동작으로 인지할 수도 있다.
도 8에 명시적으로 도시되지는 않으나, 일 실시 예에 의한 웨어러블 디바이스는 다른 입력 디바이스(예를 들어, 스타일러스(stylus) 펜이나 CG(Computer Graphics) 펜) 등과 연동하여 동작할 수도 있다. 또한, 도 9에서 후술하는 바와 같이 웨어러블 디바이스는 대상체로서 물체를 인식할 수 있는 바, 특정한 목적을 가진 입력 디바이스가 아니더라도 일반 필기구나 펜 형태의 사물을 인지하여 동일한 효과가 나도록 동작할 수도 있다. 즉, 사용자가 웨어러블 디바이스를 장착한 채로 다른 입력 디바이스를 파지하는 경우, 웨어러블 디바이스는 다른 입력 디바이스와의 거리가 임계 이상으로 가까워짐에 따라 입력 디바이스에 대한 동작 감지를 개시할 수 있다. 이어서, 웨어러블 디바이스는 자신의 위치, 사용자가 파지한 필기구의 위치, 사용자의 손가락 끝의 위치 등을 복합적으로 고려하여 사용자의 동작에 대한 입력 값을 생성할 수 있다. 즉, 웨어러블 디바이스는 상술한 여러 가지 위치 정보 중 하나 이상을 활용하여 사용자의 필기 동작에 매칭되는 필기 입력 값을 생성할 수 있다.
웨어러블 디바이스가 다른 입력 디바이스와 연동하여 동작하는 경우, 외부 센서(800)는 웨어러블 디바이스의 3차원 위치와 더불어 다른 입력 디바이스의 위치 또한 인식할 수 있다. 즉, 외부 센서(800)는 스타일러스 펜이나 CG 펜의 펜 끝의 위치를 측정하여, 사용자가 해당 입력 디바이스를 움직이는 필기 동작을 감지할 수 있다. 외부 센서(800)는 해당 위치의 변화를 감지하여 웨어러블 디바이스로 피드백할 수 있고, 웨어러블 디바이스는 다른 입력 디바이스의 위치 변화에 따라 필기 동작에 매칭되는 필기 입력 값을 생성할 수 있다. 이러한 경우에도 마찬가지로, 웨어러블 디바이스의 위치, 다른 입력 디바이스의 위치, 사용자의 손가락 끝의 위치가 복합적으로 고려되어 필기 입력 값이 생성될 수 있다.
도 9는 본 발명의 또 다른 실시 예에 의한 웨어러블 디바이스의 구현 형태를 도시하는 도면이다. 이상에서는 사용자의 손의 엄지 손가락 첫 번째 마디에 두르는 링 형태를 도시하여 설명하였으나, 웨어러블 디바이스가 이러한 구현 형태에 한정되지 않음은 앞서 설명한 바 있다. 도 9에서는 웨어러블 디바이스(100)가 손바닥에 장착되는 장갑 형태인 실시 예를 설명한다.
사용자가 웨어러블 디바이스(100)를 손바닥에 장갑과 같이 장착하고 동작함에 따라, 웨어러블 디바이스(100)는 앞서 설명한 키 입력 동작, 마우스 입력 동작, 마우스 클릭 동작 등을 감지할 수 있다. 이러한 경우, 깊이 센서(110)와 손가락 인식부(120)는 사용자의 손가락을 모두 관찰할 수 있도록 손바닥의 중앙에 위치하게 된다. 손바닥에 접하는 위치에는 깊이 센서(110)와 손가락 인식부(120) 이외에도 도 1에서 설명한 다른 구성들이 인접하여 배치될 수 있다. 웨어러블 디바이스(100)의 구현 형태가 달라지더라도 그 동작에 대해서는 앞서 설명한 실시 예들이 동일하거나 유사하게 적용될 수 있다.
앞서 도 1에서 언급한 바와 같이, 이상의 도 2 내지 도 8에서는 대상체가 사용자의 신체 일부인 손인 경우를 예로 들어 설명하였다. 그러나, 대상체는 사용자의 손에 한정되는 것은 아니며, 상술한 바와 같이 사물, 벽면, 책상 등 여러 가지 물체가 될 수도 있다. 이하에서는 대상체가 물체인 경우를 설명한다.
웨어러블 디바이스(100)가 대상체로서 인식하는 물체는 입체 사물과 평면 사물의 두 가지로 분류해볼 수 있다. 먼저, 입체 사물은 예를 들어 핸드폰과 같이 입체적인 성격을 갖는 물체를 의미한다. 반면에, 평면 사물은 책상, 벽 등과 같이 일정 크기 이상의 평평한 면을 갖고 면 위에 입체감이 존재하지 않는 물체를 의미한다.
웨어러블 디바이스(100)는 상술한 깊이 센서를 활용하여 입체 사물을 인지할 수 있다. 이러한 과정에서, 웨어러블 디바이스(100)는 손가락 인식부가 없이도 깊이 센서만을 활용하여 입체 사물을 스캔할 수 있으며, 3차원 스캔 정보에 따라 입체 사물에 대한 3차원 모델을 생성할 수 있다. 또한, 웨어러블 디바이스(100)가 깊이 센서만을 활용하여 생성한 입체 사물의 3차원 모델과의 상대적인 거리나 위치 등을 측정하면, 3차원 모델은 웨어러블 디바이스(100)에 대한 절대 좌표계의 기준점 역할을 수행할 수 있다. 즉, 웨어러블 디바이스(100)는 입체 사물에 대한 스캔 결과에 따라 3차원 공간 좌표계에서 자신의 3차원 위치를 파악할 수 있게 된다.
이어서, 웨어러블 디바이스(100)는 깊이 센서와 손가락 인식부를 활용하여 평면 사물을 인지할 수도 있다. 한편, 손가락 인식부는 앞서 사용자 신체 일부인 손을 예로 들어 설명하는 과정에서 명명된 명칭으로, 그 이름이 아닌 역할에 의해 정의되어야 한다. 즉, 웨어러블 디바이스(100)는 깊이 센서가 감지한 평면 사물의 3차원 모델에, 손가락 인식부를 활용하여 패턴을 추가할 수 있다. 다시 말해서, 웨어러블 디바이스(100)가 평면 사물에 대해 공간 좌표계를 측정하려면 평면 상의 특정 무늬, 자국 등을 인지할 수 있어야 한다. 이에 따라, 웨어러블 디바이스(100)는 깊이 센서뿐 아니라 손가락 인식부를 함께 활용하여 평면 사물의 3차원 모델을 인식하고 평면 사물에 의한 3차원 좌표계에서 3차원 위치를 인지할 수 있게 된다.
상술한 실시 예들에 따라 웨어러블 디바이스(100)가 입체/평면 사물을 인지하여 자신의 3차원 위치를 파악하는 경우, 이러한 3차원 위치는 사용자의 마우스 입력 동작의 커서 값이 될 수도 있다. 즉, 웨어러블 디바이스(100)가 외부 디바이스와 연결된 경우, 웨어러블 디바이스(100)는 주변의 입체/평면 사물을 감지하여 자신의 3차원 위치 정보를 생성하고, 해당 위치 정보를 커서 값으로 매칭시켜 외부 디바이스로 전송할 수 있다. 이에 따라, 외부 디바이스가 표시하는 화면 상에서 마우스 커서가 웨어러블 디바이스(100)의 움직임에 따라 이동하게 된다.
나아가, 도 1에 명시적으로 도시되지는 않으나, 웨어러블 디바이스(100)는 인지한 평면 사물에 대하여 영상을 투사(project)할 수 있는 영상 출력부(미도시)를 더 포함할 수 있다. 웨어러블 디바이스(100)는 평면 사물에 대한 3차원 모델을 생성한 경우, 3차원 모델을 분석하여 평면 사물 상에 영상을 투사하기 위한 특정 범위를 선택할 수 있다. 이에 따라, 웨어러블 디바이스(100)는 책상과 같은 평면 사물 상에 키보드 자판의 영상을 출력하거나, 임의의 이미지, 동영상, 3차원 영상(입체 영상) 등을 출력할 수도 있다. 웨어러블 디바이스(100)는 자신의 3차원 공간 상의 움직임을 측정하고 분석할 수 있으므로, 자신의 움직임에 따라 출력되는 영상의 각도와 위치를 변화시킬 수 있다. 이에 따라, 웨어러블 디바이스(100)는 사용자의 동작에 따라 움직이더라도 평면 사물 상에 상대적으로 일정한 위치 및 각도의 영상을 출력할 수 있게 되며, 사용자는 손의 움직임에도 불구하고 고정된 위치와 크기에 출력되는 영상을 확인할 수 있게 된다.
영상 출력부가 상술한 커서 값과 함께 고려되는 경우, 웨어러블 디바이스(100)는 더 다양한 동작을 수행할 수 있게 된다. 즉, 웨어러블 디바이스(100)는 입체/평면 사물을 인지하여 3차원 정보를 생성하고 3차원 정보로부터 커서 값을 생성할 수 있으며, 해당 커서 값에 대응하는 마우스 커서를 영상 출력부를 활용하여 디스플레이 중인 영상에 표시할 수 있다. 다시 말해서, 영상 출력부가 평면 사물 상의 고정된 위치에 이미지, 2차원 영상, 3차원 영상 등을 표시 출력하는 도중에, 웨어러블 디바이스(100)는 자신의 3차원 정보를 측정하여 출력되는 영상 상에 마우스 커서로 표시할 수 있다. 마우스 커서는 출력되는 영상이 2차원인지 3차원인지에 기초하여, 2차원으로 또는 3차원으로 표시될 수 있다.
본원 발명의 실시 예 들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 특허청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (11)

  1. 웨어러블(wearable) 디바이스에 있어서,
    사용자의 손을 3차원으로 감지하여 3차원 스캔 정보를 생성하는 깊이 센서;
    상기 사용자의 손가락 피부선을 감지하여 패턴 정보를 생성하는 손가락 인식부;
    상기 3차원 스캔 정보에 기초하여 상기 사용자의 손에 대한 3차원 모델을 생성하고, 상기 패턴 정보에 기초하여 상기 사용자의 손가락 피부선을 나타내는 패턴을 생성하여 상기 3차원 모델에 추가하는 영상 처리부; 및
    상기 손가락 인식부가 상기 사용자의 키 입력 동작을 감지하면, 상기 키 입력 동작에 매칭되는 입력 값을 생성하는 키 결정부를 포함하고,
    상기 손가락 인식부는 상기 3차원 모델에 추가된 상기 패턴과 감지되는 상기 사용자의 손가락 피부선을 비교하여 상기 키 입력 동작을 감지하는 것인, 웨어러블 디바이스.
  2. 제 1 항에 있어서,
    상기 키 결정부는 상기 손가락 인식부가 감지한 상기 키 입력 동작에 따라, 상기 사용자 손바닥과 손가락의 첫 번째 마디를 연결하는 제 1 관절, 상기 손가락의 첫 번째 마디와 두 번째 마디를 연결하는 제 2 관절의 3차원 위치를 결정하고, 상기 제 1 관절 및 상기 제 2 관절의 3차원 위치에 기초하여 상기 입력 값을 생성하는 것인, 웨어러블 디바이스.
  3. 제 2 항에 있어서,
    상기 키 결정부는 상기 제 1 관절 및 상기 제 2 관절의 3차원 위치 및 상기 제 1 관절 및 상기 제 2 관절이 굽어진 각도를 결정하고, 상기 두 관절의 3차원 위치 및 상기 두 관절의 각도에 따라 상기 키 입력 동작이 감지된 손가락의 끝의 위치를 계산하는 것인, 웨어러블 디바이스.
  4. 제 1 항에 있어서,
    상기 깊이 센서는 적외선 카메라, ToF (Time of Flight) 카메라, 레이저 송수신기 및 스테레오(stereo) 카메라 중 적어도 하나를 포함하는 것인, 웨어러블 디바이스.
  5. 제 1 항에 있어서,
    상기 손가락 인식부는 RGB 카메라, 적외선 카메라, 및 ToF 카메라 중 적어도 하나를 포함하는 것인, 웨어러블 디바이스.
  6. 제 1 항에 있어서,
    상기 웨어러블 디바이스는
    상기 웨어러블 디바이스의 3차원 공간 상의 움직임과 기울기를 측정하는 자이로스코프 센서 및 가속도 센서를 더 포함하는 것인, 웨어러블 디바이스.
  7. 제 6 항에 있어서,
    상기 자이로스코프 센서 및 상기 가속도 센서가 상기 사용자의 마우스 입력 동작을 감지하면, 상기 키 결정부는 상기 마우스 입력 동작에 매칭되는 커서 값을 생성하며, 상기 사용자의 손바닥 또는 손등 중앙의 위치를 상기 커서 값으로 결정하는 것인, 웨어러블 디바이스.
  8. 제 7 항에 있어서,
    상기 손가락 인식부는 상기 마우스 입력 동작이 감지되는 도중에, 상기 사용자의 검지 손가락과 중지 손가락의 위치에 따라 마우스 클릭 동작을 감지하고,
    상기 키 결정부는 상기 마우스 클릭 동작에 매칭되는 클릭 값을 생성하는 것인, 웨어러블 디바이스.
  9. 제 1 항에 있어서,
    상기 웨어러블 디바이스는 외부 센서로부터 3차원 위치 정보를 수신하는 통신부를 더 포함하고,
    상기 키 결정부는 상기 3차원 위치 정보에 기초하여 상기 사용자의 마우스 입력 동작을 감지하고, 상기 마우스 입력 동작에 매칭되는 커서 값을 생성하는 것인, 웨어러블 디바이스.
  10. 제 1 항에 있어서,
    상기 웨어러블 디바이스는 상기 사용자의 엄지 손가락 첫 번째 마디를 두르는 링(ring) 형태 또는 상기 사용자의 손바닥에 장착되는 장갑 형태인 것인, 웨어러블 디바이스.
  11. 웨어러블 디바이스에 있어서,
    대상체를 3차원으로 감지하여 3차원 스캔 정보를 생성하는 깊이 센서;
    상기 대상체 표면 상의 패턴을 감지하여 패턴 정보를 생성하는 손가락 인식부; 및
    상기 3차원 스캔 정보에 기초하여 상기 대상체에 대한 3차원 모델을 생성하고, 상기 패턴 정보에 기초하여 상기 대상체 표면 상의 패턴을 생성하여 상기 3차원 모델에 추가하는 영상 처리부를 포함하는, 웨어러블 디바이스.
KR1020140108341A 2014-08-20 2014-08-20 웨어러블 디바이스 KR101524575B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140108341A KR101524575B1 (ko) 2014-08-20 2014-08-20 웨어러블 디바이스
PCT/KR2015/008686 WO2016028097A1 (en) 2014-08-20 2015-08-20 Wearable device
US15/504,644 US10585497B2 (en) 2014-08-20 2015-08-20 Wearable device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140108341A KR101524575B1 (ko) 2014-08-20 2014-08-20 웨어러블 디바이스

Publications (1)

Publication Number Publication Date
KR101524575B1 true KR101524575B1 (ko) 2015-06-03

Family

ID=53505164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140108341A KR101524575B1 (ko) 2014-08-20 2014-08-20 웨어러블 디바이스

Country Status (3)

Country Link
US (1) US10585497B2 (ko)
KR (1) KR101524575B1 (ko)
WO (1) WO2016028097A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017000112A1 (en) * 2015-06-29 2017-01-05 Intel Corporation Pairing user with wearable computing device
WO2017039225A1 (ko) * 2015-09-03 2017-03-09 박준호 웨어러블 디바이스
GB2544875A (en) * 2015-10-26 2017-05-31 Lenovo Singapore Pte Ltd Gesture control using depth data
KR20180045436A (ko) * 2016-10-25 2018-05-04 동국대학교 산학협력단 저가형 관성센서를 이용한 모션 인식 시스템 및 그 방법
KR20180095184A (ko) * 2017-02-17 2018-08-27 주식회사 퓨쳐캐스트 컬러 인식 문자 정보 전송 시스템
KR20180131857A (ko) * 2017-06-01 2018-12-11 울산과학기술원 손 움직임 측정 시스템
US10474191B2 (en) 2014-10-15 2019-11-12 Motionvirtual, Inc. Wearable device
KR20190131417A (ko) * 2018-05-16 2019-11-26 디테코 주식회사 손동작 인식을 이용하여 매크로 기능을 제공하기 위한 장치 및 그 방법
KR102300290B1 (ko) * 2021-01-06 2021-09-09 정현호 카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206006056U (zh) * 2015-08-27 2017-03-15 手持产品公司 具有测量、扫描以及显示能力的手套
JP6170973B2 (ja) * 2015-09-29 2017-07-26 レノボ・シンガポール・プライベート・リミテッド 携帯情報端末、情報処理方法、及び、プログラム
CN106648148A (zh) * 2016-12-14 2017-05-10 天津映之科技有限公司 一种计算机领域中用于人机交互的指尖佩戴式操作终端
US10826963B2 (en) 2016-12-31 2020-11-03 DISH Technologies L.L.C. Reducing latency for streaming video
US10537795B2 (en) * 2017-04-26 2020-01-21 Facebook Technologies, Llc Hand-held controller using LED tracking ring
US10912990B2 (en) 2017-12-29 2021-02-09 Facebook Technologies, Llc Hand-held controller using sensors for hand disambiguation
US11226683B2 (en) * 2018-04-20 2022-01-18 Hewlett-Packard Development Company, L.P. Tracking stylus in a virtual reality system
CN110680332A (zh) * 2018-07-05 2020-01-14 博世汽车部件(苏州)有限公司 用于确定手指疲劳状态的装置和方法
US11237632B2 (en) * 2020-03-03 2022-02-01 Finch Technologies Ltd. Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
CN111563459A (zh) * 2020-05-09 2020-08-21 胡团伟 一种手指动作采集方法及手指动作采集设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100047793A (ko) * 2008-10-29 2010-05-10 한국전자통신연구원 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
KR101360149B1 (ko) * 2010-11-02 2014-02-11 한국전자통신연구원 센서리스 기반 손가락 모션 트래킹 방법 및 그 장치

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100634494B1 (ko) * 2002-08-19 2006-10-16 삼성전기주식회사 착용가능한 정보 입력 장치, 정보 처리 장치 및 정보 입력방법
US8190239B2 (en) * 2002-09-03 2012-05-29 Fujitsu Limited Individual identification device
US9153074B2 (en) * 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JPWO2004111940A1 (ja) * 2003-06-16 2006-07-27 よこはまティーエルオー株式会社 個人認証装置、及び個人認証装置を備えるシステム
US9760214B2 (en) * 2005-02-23 2017-09-12 Zienon, Llc Method and apparatus for data entry input
WO2009024971A2 (en) * 2007-08-19 2009-02-26 Saar Shai Finger-worn devices and related methods of use
KR20090079019A (ko) * 2008-01-16 2009-07-21 엘지이노텍 주식회사 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법
JP5605854B2 (ja) * 2009-11-17 2014-10-15 株式会社 日立産業制御ソリューションズ 生体情報を用いた認証システム及び認証装置
US8570273B1 (en) * 2010-05-20 2013-10-29 Lockheed Martin Corporation Input device configured to control a computing device
US20120075173A1 (en) * 2010-09-23 2012-03-29 Nokia Corporation Apparatus and method for user input
US10025388B2 (en) * 2011-02-10 2018-07-17 Continental Automotive Systems, Inc. Touchless human machine interface
US8773512B1 (en) * 2011-06-30 2014-07-08 Aquifi, Inc. Portable remote control device enabling three-dimensional user interaction with at least one appliance
US8965069B2 (en) * 2011-09-30 2015-02-24 University Of Louisville Research Foundation, Inc. Three dimensional minutiae extraction in three dimensional scans
US10209881B2 (en) * 2012-03-15 2019-02-19 Ibrahim Farid Cherradi El Fadili Extending the free fingers typing technology and introducing the finger taps language technology
EP2680228B1 (en) * 2012-06-25 2014-11-26 Softkinetic Software Improvements in or relating to three dimensional close interactions.
US10234941B2 (en) * 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
KR20140062895A (ko) * 2012-11-15 2014-05-26 삼성전자주식회사 외부 장치를 제어하기 위한 웨어러블 디바이스 및 그 방법
JP2014140097A (ja) * 2013-01-21 2014-07-31 Sony Corp 画像表示装置及び画像表示方法
US9367651B2 (en) * 2013-05-06 2016-06-14 Cherif Algreatly 3D wearable glove scanner
US20150186708A1 (en) * 2013-12-31 2015-07-02 Sagi Katz Biometric identification system
CN103995621B (zh) * 2014-04-28 2017-02-15 京东方科技集团股份有限公司 一种穿戴式触控装置和穿戴式触控方法
US9594427B2 (en) * 2014-05-23 2017-03-14 Microsoft Technology Licensing, Llc Finger tracking
US9582076B2 (en) * 2014-09-17 2017-02-28 Microsoft Technology Licensing, Llc Smart ring
US10474191B2 (en) * 2014-10-15 2019-11-12 Motionvirtual, Inc. Wearable device
KR20170028130A (ko) * 2015-09-03 2017-03-13 박준호 웨어러블 디바이스

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100047793A (ko) * 2008-10-29 2010-05-10 한국전자통신연구원 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
KR101360149B1 (ko) * 2010-11-02 2014-02-11 한국전자통신연구원 센서리스 기반 손가락 모션 트래킹 방법 및 그 장치

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10908642B2 (en) 2014-10-15 2021-02-02 Motionvirtual, Inc. Movement-based data input device
US10474191B2 (en) 2014-10-15 2019-11-12 Motionvirtual, Inc. Wearable device
WO2017000112A1 (en) * 2015-06-29 2017-01-05 Intel Corporation Pairing user with wearable computing device
US10401901B2 (en) 2015-09-03 2019-09-03 Motionvirtual, Inc. Wearable device
WO2017039225A1 (ko) * 2015-09-03 2017-03-09 박준호 웨어러블 디바이스
US10747260B2 (en) 2015-09-03 2020-08-18 Motionvirtual, Inc. Methods, devices, and systems for processing blood vessel data
GB2544875A (en) * 2015-10-26 2017-05-31 Lenovo Singapore Pte Ltd Gesture control using depth data
GB2544875B (en) * 2015-10-26 2019-07-17 Lenovo Singapore Pte Ltd Gesture control using depth data
KR20180045436A (ko) * 2016-10-25 2018-05-04 동국대학교 산학협력단 저가형 관성센서를 이용한 모션 인식 시스템 및 그 방법
KR101869164B1 (ko) * 2016-10-25 2018-06-19 동국대학교 산학협력단 저가형 관성센서를 이용한 모션 인식 시스템 및 그 방법
KR101958649B1 (ko) * 2017-02-17 2019-03-15 주식회사 퓨쳐캐스트 컬러 인식 문자 정보 전송 시스템
KR20180095184A (ko) * 2017-02-17 2018-08-27 주식회사 퓨쳐캐스트 컬러 인식 문자 정보 전송 시스템
KR101951866B1 (ko) * 2017-06-01 2019-02-25 울산과학기술원 손 움직임 측정 시스템
KR20180131857A (ko) * 2017-06-01 2018-12-11 울산과학기술원 손 움직임 측정 시스템
KR20190131417A (ko) * 2018-05-16 2019-11-26 디테코 주식회사 손동작 인식을 이용하여 매크로 기능을 제공하기 위한 장치 및 그 방법
KR102214322B1 (ko) * 2018-05-16 2021-02-09 (주)코어센스 손동작 인식을 이용하여 매크로 기능을 제공하기 위한 장치 및 그 방법
KR102300290B1 (ko) * 2021-01-06 2021-09-09 정현호 카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법

Also Published As

Publication number Publication date
WO2016028097A1 (en) 2016-02-25
US10585497B2 (en) 2020-03-10
US20170242496A1 (en) 2017-08-24

Similar Documents

Publication Publication Date Title
KR101524575B1 (ko) 웨어러블 디바이스
US11755137B2 (en) Gesture recognition devices and methods
US20220083880A1 (en) Interactions with virtual objects for machine control
CN210573659U (zh) 计算机系统、头戴式设备、手指设备和电子设备
US10747260B2 (en) Methods, devices, and systems for processing blood vessel data
US10908642B2 (en) Movement-based data input device
EP2904472B1 (en) Wearable sensor for tracking articulated body-parts
US20140177909A1 (en) Three-dimensional interactive device and operation method thereof
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
CN114127669A (zh) 无源指示笔的可跟踪性增强
US10739823B2 (en) Motion control assembly with battery pack
JP2014157515A (ja) タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム
TW201633061A (zh) 物件感測裝置與方法
KR101552134B1 (ko) 웨어러블 디바이스
KR101524576B1 (ko) 웨어러블 디바이스
KR20160129406A (ko) 웨어러블 디바이스
JP6523509B1 (ja) ゲームプログラム、方法、および情報処理装置
TWM486800U (zh) 可變更角度的雙用途體感偵測攝像裝置

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180411

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 5