KR20190114616A - 3차원 공간 상의 손가락 움직임을 통해 문자를 입력하는 방법 및 장치 - Google Patents

3차원 공간 상의 손가락 움직임을 통해 문자를 입력하는 방법 및 장치 Download PDF

Info

Publication number
KR20190114616A
KR20190114616A KR1020180037597A KR20180037597A KR20190114616A KR 20190114616 A KR20190114616 A KR 20190114616A KR 1020180037597 A KR1020180037597 A KR 1020180037597A KR 20180037597 A KR20180037597 A KR 20180037597A KR 20190114616 A KR20190114616 A KR 20190114616A
Authority
KR
South Korea
Prior art keywords
key
finger
character
input
user
Prior art date
Application number
KR1020180037597A
Other languages
English (en)
Inventor
김진용
손형기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180037597A priority Critical patent/KR20190114616A/ko
Publication of KR20190114616A publication Critical patent/KR20190114616A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

깊이 감지 카메라로부터 수신되는, 사용자의 손가락 움직임에 관한 데이터를 분석하여 손가락 움직임이 키 입력 이벤트에 해당하는지 여부를 판단하는 단계, 손가락 움직임에 기반하여 사용자의 손가락 스트로크에 대응하는 키를 결정하는 단계, 그리고 인식부에 의해 결정된 키의 문자를 가상 현실 제공 장치의 디스플레이에 표시하는 단계를 포함하는, 3차원 공간 상에서 사용자의 손의 움직임을 감지하여 가상 현실 제공 장치의 디스플레이에 문자를 입력하는 방법 및 장치가 제공된다.

Description

3차원 공간 상의 손가락 움직임을 통해 문자를 입력하는 방법 및 장치{METHOD AND APPARATUS FOR INPUTTING CHARACTER THROUGH FINGER MOVEMENT IN 3D SPACE}
본 기재는 3차원 공간 상의 손가락 움직임을 통해 문자를 입력하는 방법 및 장치에 관한 것이다.
근래 헤드 마운티드 디스플레이(Head-Mounted Display, HMD) 기반의 가상 현실(virtual reality, VR) 기술이 주목 받고 있다. 센서 및 카메라 추적 기술이 발전함에 따라 다양한 상호 작용이 가능한 다양한 분야(예를 들어, 의료, 게임, 군사, 교육 등)의 VR 콘텐츠도 많이 제작되고 있다. 이에 따라 가상 현실에 적용하기 위한 문자 입력 방법의 중요성도 부각되고 있다.
한 실시예는 3차원 공간 상의 손가락 움직임을 감지하여 문자를 입력하는 방법을 제공한다.
다른 실시예는 3차원 공간 상의 손가락 움직임을 감지하여 문자를 입력하는 장치를 제공한다.
한 실시예에 따르면, 3차원 공간 상에서 사용자의 손의 움직임을 감지하여 가상 현실 제공 장치의 디스플레이에 문자를 입력하는 장치가 제공된다. 상기 문자 입력 장치는 깊이 감지 카메라로부터 수신되는, 사용자의 손가락 움직임에 관한 데이터를 분석하여 손가락 움직임이 키 입력 이벤트에 해당하는지 여부를 판단하는 이벤트 핸들러, 손가락 움직임에 기반하여 사용자의 손가락 스트로크에 대응하는 키를 결정하는 인식부, 그리고 인식부에 의해 결정된 키의 문자를 가상 현실 제공 장치의 디스플레이에 표시하는 표시부를 포함한다.
상기 문자 입력 장치에서 이벤트 핸들러는, 손가락 움직임 중 사용자의 손가락의 순간 가속도가 미리 결정된 임계치보다 커지면 키 입력 이벤트가 발생한 것으로 판단할 수 있다.
상기 문자 입력 장치에서 이벤트 핸들러는, 키 입력 이벤트가 발생한 것으로 판단하면, 데이터를 사용하여 손가락 스트로크의 특징값을 생성하고, 생성된 특징값을 인식부에게 전달할 수 있다.
상기 문자 입력 장치에서 이벤트 핸들러는, 키 입력 이벤트가 발생한 이후 의도되지 않은 입력의 확률을 줄일 수 있도록, 깊이 감지 카메라에 의해 감지된 모든 손에 대해 데이터를 수신하지 않는 잠금 구간을 설정할 수 있다.
상기 문자 입력 장치에서 인식부는, 특징값에 기반하여 키 입력을 위해 움직인 손가락을 결정하는 손가락 결정부, 손가락 스트로크에 대응하는 키보드 열을 결정하는 키보드 열 결정부, 그리고 손가락 결정부에 의해 결정된 손가락에 대응하는 키를 키보드 열에서 결정하는 키 결정부를 포함할 수 있다.
상기 문자 입력 장치에서 인식부는, 키 입력의 히스토리를 바탕으로 단어를 예측함으로써 키 결정부에 의해 결정된 키가 적절한지 검증하는 키 검증부를 더 포함할 수 있다.
상기 문자 입력 장치에서 키 검증부는, 키 결정부에 의해 결정된 키의 문자 및 주변 키의 문자가 히스토리의 다음 문자일 확률을 계산하고, 확률이 가장 높은 문자의 키를 최종 키로서 결정할 수 있다.
상기 문자 입력 장치에서 주변 키는 키 결정부에 의해 결정된 키의 주변에 위치하는 키이고, 최대 8개일 수 있다.
상기 문자 입력 장치에서 키 검증부는, 사용자의 과거의 키 입력 내역을 포함하는 사용자 특성 및 사용자가 입력하고 있는 언어에 기반하여 확률을 계산할 수 있다.
다른 실시예에 따르면, 3차원 공간 상에서 사용자의 손의 움직임을 감지하여 가상 현실 제공 장치의 디스플레이에 문자를 입력하는 방법이 제공된다. 상기 문자 입력 방법은, 깊이 감지 카메라로부터 수신되는, 사용자의 손가락 움직임에 관한 데이터를 분석하여 손가락 움직임이 키 입력 이벤트에 해당하는지 여부를 판단하는 단계, 손가락 움직임에 기반하여 사용자의 손가락 스트로크에 대응하는 키를 결정하는 단계, 그리고 인식부에 의해 결정된 키의 문자를 가상 현실 제공 장치의 디스플레이에 표시하는 단계를 포함한다.
상기 문자 입력 방법에서 판단하는 단계는, 손가락 움직임 중 사용자의 손가락의 순간 가속도가 미리 결정된 임계치보다 커지면 키 입력 이벤트가 발생한 것으로 판단하는 단계를 포함할 수 있다.
상기 문자 입력 방법에서 판단하는 단계는, 키 입력 이벤트가 발생한 것으로 판단하면, 데이터를 사용하여 손가락 스트로크의 특징값을 생성하는 단계, 그리고 생성된 특징값을 인식부에게 전달하는 단계를 더 포함할 수 있다.
상기 문자 입력 방법에서 판단하는 단계는, 키 입력 이벤트가 발생한 이후 의도되지 않은 입력의 확률을 줄일 수 있도록, 깊이 감지 카메라에 의해 감지된 모든 손에 대해 데이터를 수신하지 않는 잠금 구간을 설정하는 단계를 더 포함할 수있다.
상기 문자 입력 방법에서 결정하는 단계는, 특징값에 기반하여 키 입력을 위해 움직인 손가락을 결정하는 단계, 손가락 스트로크에 대응하는 키보드 열을 결정하는 단계, 그리고 손가락 결정부에 의해 결정된 손가락에 대응하는 키를 키보드 열에서 결정하는 단계를 포함할 수 있다.
상기 문자 입력 방법에서 결정하는 단계는, 키 입력의 히스토리를 바탕으로 단어를 예측함으로써 키 결정부에 의해 결정된 키가 적절한지 검증하는 단계를 더 포함할 수 있다.
상기 문자 입력 방법에서 검증하는 단계는, 키 결정부에 의해 결정된 키의 문자 및 주변 키의 문자가 히스토리의 다음 문자일 확률을 계산하고, 확률이 가장 높은 문자의 키를 최종 키로서 결정하는 단계를 포함할 수 있다.
상기 문자 입력 방법에서 주변 키는 키 결정부에 의해 결정된 키의 주변에 위치하는 키이고, 최대 8개일 수 있다.
상기 문자 입력 방법에서 검증하는 단계는, 사용자의 과거의 키 입력 내역을 포함하는 사용자 특성 및 사용자가 입력하고 있는 언어에 기반하여 확률을 계산하는 단계를 더 포함할 수 있다.
VR HMD의 사용자가 VR HMD를 착용한 상태에서 3차원 공간 내의 어느 지점에서나 빠르고 자연스럽게 문자를 입력할 수 있다.
도 1은 한 실시예에 따른 깊이 감지 카메라를 이용한 문자 입력 시스템을 나타낸 개념도이다.
도 2는 한 실시예에 따른 깊이 감지 카메라를 이용하여 문자를 입력하는 방법을 나타낸 흐름도이다.
도 3은 한 실시예에 따른 인식부를 개념적으로 나타낸 블록도이다.
도 4는 본 발명의 한 실시예에 따른 문자 입력 장치를 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 기재의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 기재는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 기재를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 한 실시예에 따른 깊이 감지 카메라를 이용한 문자 입력 시스템을 나타낸 개념도이고, 도 2는 한 실시예에 따른 깊이 감지 카메라를 이용하여 문자를 입력하는 방법을 나타낸 흐름도이이다.
도 1을 참조하면, 한 실시예에 따른 문자 입력 시스템(10)은 깊이 감지 카메라(100) 및 문자 입력 장치(200)를 포함한다. 문자 입력 장치(200)는 깊이 감지 카메라(100)와 연결되고, 이벤트 핸들러(210), 인식부(220), 및 표시부(230)를 포함한다. 한 실시예에 따른 문자 입력 장치(200)는 깊이 감지 카메라(100)를 이용하여 감지된, 3차원 공간 상 손의 움직임에 기반하여 손의 움직임이 나타내는 키 입력 동작을 결정하고 입력된 키의 문자를 가상 현실 제공 장치(미도시)의 디스플레이에 표시할 수 있다. 한 실시예에 따른 문자 입력 장치(200)는 깊이 감지 카메라(100)에 유무선으로 연결된 구성으로서, 가상 현실 제공 장치의 내부 또는 외부에 위치한다.
이벤트 핸들러(210)는 깊이 감지 카메라(100)로부터 수신된 손가락 움직임에 관한 데이터를 분석하여 사용자의 손가락 움직임이 키 입력 이벤트에 해당하는지 여부를 판단한다. 이벤트 핸들러(210)는 키 입력 이벤트가 발생한 것으로 판단되면, 손가락 움직임에 관한 데이터를 사용하여 손가락 스트로크의 특징값을 생성하고, 생성된 특징값을 인식부(220)에게 전달한다.
인식부(220)는 손가락 스트로크의 특징값을 사용하여 손가락 스트로크에 대응하는 키를 결정하고, 키에 대응하는 문자를 표시부(230)에게 제공한다. 인식부(220)가 손가락 스트로크에 대응하는 키를 결정하는 방법을 아래에서 상세히 설명한다.
표시부(230)는 인식부(220)에 의해 결정된 키의 문자를 가상 현실 제공 장치의 디스플레이에 표시한다.
한 실시예에 따른 문자 입력 장치(200)는 사용자의 키 입력 이벤트에 대응하는 햅틱 피드백을 제공하는 햅틱 피드백 제공부(240)를 더 포함할 수 있다. 햅틱 피드백은 인식부(220)에서 키 입력을 위해 움직인 것으로 결정된 손가락에 제공될 수 있다. 이때 사용자의 손가락 끝에 부착되는, 선형 공명 액츄에이터(Linear Resonant Actuator, LRA) 또는 피에조 액츄에이터(Piezo Actuator) 등의 물리적 액츄에이터를 통해 사용자에게 햅틱 피드백이 제공될 수 있다.
아래에서는 도 2를 참조하여 한 실시예에 따른 문자 입력 방법을 상세하게 설명한다.
도 2를 참조하면, 먼저 이벤트 핸들러(210)는 깊이 감지 카메라(100)로부터 사용자의 손가락 움직임에 관한 데이터를 수신한다(S110). 한 실시예에 따른 깊이 감지 카메라(100)는 한 명의 사용자 또는 복수의 사용자의 손가락 움직임을 동시에 센싱할 수 있다. 이벤트 핸들러(210)는 손가락 움직임에 관한 데이터를 분석하여, 사용자의 손가락 움직임이 키 입력 이벤트인지 여부를 판단한다(S120). 예를 들어, 이벤트 핸들러(210)는 손가락의 수직방향(도면의 세로 방향)에 대한 순간 가속도가 미리 결정된 임계치(예를 들어, 손가락 스트로크의 가속도 값)보다 커지면 키 입력 이벤트가 발생한 것으로 판단할 수 있다. 키 입력 이벤트를 판단하기 위한 순간 가속도의 임계치는 사용자별로 개인화 될 수 있다. 또는 순간 가속도의 임계치는 손가락 별로 다른 값으로 미리 정해질 수 있다. 또는 순간 가속도의 임계치는 손바닥에 대해 미리 정해질 수 있다.
키 입력 이벤트가 발생한 것으로 판단되면, 이벤트 핸들러(210)는 손가락 움직임에 관한 데이터를 사용하여 미리 결정된 시간 구간 동안 손가락 스트로크의 특징값을 생성한다(S130). 손가락 움직임에 관한 데이터는 손가락 및 손바닥의 3차원 좌표, 이동 방향 등을 포함할 수 있고, 손가락 스트로크의 특징값은 각 손가락의 시작점 및 끝점에 대한 이동 속도, 이동 방향을 포함할 수 있다. 미리 결정된 시간 구간의 길이는 예를 들어, 30 ms 내지 80 ms 사이일 수 있고, 응답 시간과 지연 한계 사이에서 적절히 결정될 수 있다. 예를 들어, 이벤트 핸들러(210)가 키 입력 이벤트의 발생 이후 30 ms의 시간 구간 동안 특징값을 생성하면, 문자 입력 장치(200)의 응답 시간이 빨라지지만 인식률이 떨어질 수 있다. 반면, 이벤트 핸들러(210)가 키 입력 이벤트의 발생 이후 80 ms의 시간 구간 동안 특징값을 생성하면, 문자 입력 장치(200)의 인식률을 높일 수 있지만 응답 시간이 길어질 수 있다. 따라서 특징값 생성을 위한 시간 구간의 길이는 인식률을 높게 유지하면서 사용자가 지연을 알아차리지 못하는 길이로 미리 결정될 수 있다.
이벤트 핸들러(210)는 키 입력 이벤트가 발생한 것으로 판단된 후 다음 키 입력 이벤트가 발생하기 전까지, 의도되지 않은 입력(false input)의 확률을 줄일 수 있도록 잠금 구간을 설정할 수 있다. 잠금 구간 동안 이벤트 핸들러(210)는 손가락 움직임에 관한 데이터를 수신하지 않을 수 있다. 잠금 구간은 깊이 감지 카메라(100)에 의해 감지된 모든 손에 대해 설정될 수 있고, 통상적인 손가락 스트로크(stroke) 간격을 참조하여 10ms 내지 120ms 사이에서 미리 결정될 수 있다. 한 실시예에 따르면, 이벤트 핸들러(210)는 키 입력 이벤트가 발생한 후 잠금 구간이 경과한 이후 손가락 움직임에 관한 다른 데이터를 수신하고 키 입력 이벤트의 발생 여부를 판단할 수 있다.
이후, 이벤트 핸들러(210)는 손가락 스트로크의 특징값을 인식부(220)에게 전달한다. 인식부(220)는 손가락 스트로크의 특징값에 기반하여 손가락 스트로크에 대응하는 키를 결정한다(S140). 결정된 키는 단어 예측을 통해 검증되고(S150), 검증된 키가 HMD의 표시부에 표시된다(S160).
도 3은 한 실시예에 따른 인식부를 개념적으로 나타낸 블록도이다.
도 3에 따른 한 실시예에서, 인식부(220)는 손가락 결정부(221), 키보드 열 결정부(222), 키 결정부(223), 및 키 검증부(224)를 포함할 수 있다.
손가락 결정부(221)는 손가락 스트로크의 특징값에 기반하여 키 입력을 위해 움직인 손가락을 결정한다. 한 실시예에 따른 손가락 결정부(221)는 3차원 공간에서 수행된, 수 많은 손가락 스트로크 데이터를 기계 학습(machine learning)을 통해서 학습할 수 있다. 이때 기계 학습에는 이미 알려진 기계 학습 도구(예를 들어, Weka 등)가 사용될 수 있다. 즉, 손가락 결정부(221)는 손가락 스트로크 데이터의 기계 학습 결과를 이용하여 이벤트 핸들러(210)로부터 수신한 손가락 스트로크의 특징값에 대응하는 손가락을 결정할 수 있다.
키보드 열 결정부(222)는 손가락 결정부(221)에 의해 결정된 손가락에 대응하는 키보드 열을 결정한다. 한 실시예에 따른 키보드 열 결정부(220)는 손가락 결정부(221)에서 결정된 손가락과 손가락 스트로크의 특징값에 기반하여 손가락 스트로크에 대응하는 키보드 가로열(row array)이 키보드의 숫자키 열인지, 문자 키 영역의 상단인지, 중단인지, 또는 하단인지 여부를 결정할 수 있다.
한 실시예에 따른 인식부(220)는 손가락을 먼저 구분하고 손가락에 대응하는 키보드 열에서 키를 결정하지만, 다른 실시예에 따르면, 인식부(220)는 손가락 스트로크의 속도 및 방향을 정확하게 인식하여 손가락 스트로크에 대응하는 키를 바로 결정할 수 있다.
키 결정부(223)는 결정된 키보드 열에서, 손가락 결정부(221)에 의해 결정된 손가락 및 손가락 스트로크에 대응하는 키를 결정한다. 키 결정부(223)는 손가락 결정부(221)에 의해 결정된 손가락의 특징값에 기반하여 손가락이 결정된 키보드 열의 어떤 키를 입력하기 위해 움직인 것인지 결정할 수 있다.
키 검증부(224)는 키 입력의 히스토리를 바탕으로 단어를 예측함으로써 결정된 키가 적절한지 검증한다. 예를 들어, 손가락 결정부(221)가 오른손 중지를 인식하였고, 키보드 열 결정부(222)가 문자 키 영역의 중단을 결정하면, 키 결정부(220)는 손가락 스트로크에 대응하는 키를 'K'로 결정한다. 하지만, 키 입력 히스토리는 'CONT'이고 사용자가 영어를 입력하고 있다면, 키 검증부(224)는 'K'의 윗 열에 위치하는 'I'를 더 적절한 것으로 판단하고 손가락 스트로크에 대응하는 키로서 'I'를 결정할 수 있다. 'CONT'의 다음 문자는 'I'일 확률이 'K'일 확률과, 'K'의 주변 키(U, J, M, L, I, O, <, >)의 문자일 확률에 비해 크기 때문이다. 주변 키는 키 결정부(220)에 의해 결정된 키의 주변에 위치하는 키로서 최대 8개이다. 즉, 키 검증부(224)는 결정된 키의 문자와 주변 키의 문자가 키 입력 히스토리의 다음 문자일 확률을 계산하고, 가장 높은 확률을 갖는 문자의 키를 문자 입력 장치(200)의 표시부(230)에 전달될(또는 가상 현실 제공 장치의 디스플레이에 표시될)최종 키로서 결정한다. 키 검증부(224)는 사용자의 과거의 키 입력 내역 등 사용자 특성에 기반하여 상기 확률을 계산할 수 있다.
도 4는 본 발명의 한 실시예에 따른 문자 입력 장치를 나타낸 도면이다.
도 4의 문자 입력 장치(100)는 적어도 하나의 프로세서(410), 네트워크에 연결되어 통신을 수행하는 통신 장치(420), 및 메모리(430)를 포함할 수 있다. 또한, 문자 입력 장치(100)는 저장 장치(440), 입력 인터페이스 장치(450), 출력 인터페이스 장치(460) 등을 더 포함할 수 있다. 문자 입력 장치(100)에 포함된 구성 요소들은 버스(bus)(470)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(410)는 메모리(430) 및 저장 장치(440) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(410)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(410)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법들을 구현하도록 구성될 수 있다. 프로세서(410)는 문자 입력 장치(100)의 각 구성 요소를 제어할 수 있다.
메모리(430) 및 저장 장치(440) 각각은 프로세서(410)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(430) 및 저장 장치(440) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(430)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
통신 장치(420)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다. 구체적으로, 본 발명의 실시예에 따른 방법(예, 네트워크 관리 방법, 데이터 전송 방법, 전송 스케줄 생성 방법 등)은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은, 본 발명의 실시예를 위해 특별히 설계되어 구성된 것이거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체는 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치를 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 기록 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등일 수 있다. 프로그램 명령은 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 통해 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (18)

  1. 3차원 공간 상에서 사용자의 손의 움직임을 감지하여 가상 현실 제공 장치의 디스플레이에 문자를 입력하는 장치로서,
    깊이 감지 카메라로부터 수신되는, 상기 사용자의 손가락 움직임에 관한 데이터를 분석하여 상기 손가락 움직임이 키 입력 이벤트에 해당하는지 여부를 판단하는 이벤트 핸들러,
    상기 손가락 움직임에 기반하여 상기 사용자의 손가락 스트로크에 대응하는 키를 결정하는 인식부, 그리고
    상기 인식부에 의해 결정된 키의 문자를 상기 가상 현실 제공 장치의 디스플레이에 표시하는 표시부
    를 포함하는 문자 입력 장치.
  2. 제1항에서,
    상기 이벤트 핸들러는,
    상기 손가락 움직임 중 상기 사용자의 손가락의 순간 가속도가 미리 결정된 임계치보다 커지면 상기 키 입력 이벤트가 발생한 것으로 판단하는, 문자 입력 장치.
  3. 제2항에서,
    상기 이벤트 핸들러는,
    상기 키 입력 이벤트가 발생한 것으로 판단하면, 상기 데이터를 사용하여 상기 손가락 스트로크의 특징값을 생성하고, 생성된 특징값을 상기 인식부에게 전달하는, 문자 입력 장치.
  4. 제3항에서,
    상기 이벤트 핸들러는,
    상기 키 입력 이벤트가 발생한 이후 의도되지 않은 입력의 확률을 줄일 수 있도록, 상기 깊이 감지 카메라에 의해 감지된 모든 손에 대해 상기 데이터를 수신하지 않는 잠금 구간을 설정하는, 문자 입력 장치.
  5. 제3항에서,
    상기 인식부는,
    상기 특징값에 기반하여 키 입력을 위해 움직인 손가락을 결정하는 손가락 결정부,
    상기 손가락 스트로크에 대응하는 키보드 열을 결정하는 키보드 열 결정부, 그리고
    상기 손가락 결정부에 의해 결정된 손가락에 대응하는 키를 상기 키보드 열에서 결정하는 키 결정부
    를 포함하는, 문자 입력 장치.
  6. 제5항에서,
    상기 인식부는,
    키 입력의 히스토리를 바탕으로 단어를 예측함으로써 상기 키 결정부에 의해 결정된 키가 적절한지 검증하는 키 검증부
    를 더 포함하는 문자 입력 장치.
  7. 제6항에서,
    상기 키 검증부는,
    상기 키 결정부에 의해 결정된 키의 문자 및 주변 키의 문자가 상기 히스토리의 다음 문자일 확률을 계산하고, 상기 확률이 가장 높은 문자의 키를 최종 키로서 결정하는, 문자 입력 장치.
  8. 제7항에서,
    상기 주변 키는 상기 키 결정부에 의해 결정된 키의 주변에 위치하는 키이고, 최대 8개인, 문자 입력 장치.
  9. 제7항에서,
    상기 키 검증부는,
    상기 사용자의 과거의 키 입력 내역을 포함하는 사용자 특성 및 상기 사용자가 입력하고 있는 언어에 기반하여 상기 확률을 계산하는, 문자 입력 장치.
  10. 3차원 공간 상에서 사용자의 손의 움직임을 감지하여 가상 현실 제공 장치의 디스플레이에 문자를 입력하는 방법으로서,
    깊이 감지 카메라로부터 수신되는, 상기 사용자의 손가락 움직임에 관한 데이터를 분석하여 상기 손가락 움직임이 키 입력 이벤트에 해당하는지 여부를 판단하는 단계,
    상기 손가락 움직임에 기반하여 상기 사용자의 손가락 스트로크에 대응하는 키를 결정하는 단계, 그리고
    상기 인식부에 의해 결정된 키의 문자를 상기 가상 현실 제공 장치의 디스플레이에 표시하는 단계
    를 포함하는 문자 입력 방법.
  11. 제10항에서,
    상기 판단하는 단계는,
    상기 손가락 움직임 중 상기 사용자의 손가락의 순간 가속도가 미리 결정된 임계치보다 커지면 상기 키 입력 이벤트가 발생한 것으로 판단하는 단계
    를 포함하는, 문자 입력 방법.
  12. 제11항에서,
    상기 판단하는 단계는,
    상기 키 입력 이벤트가 발생한 것으로 판단하면, 상기 데이터를 사용하여 상기 손가락 스트로크의 특징값을 생성하는 단계, 그리고
    생성된 특징값을 상기 인식부에게 전달하는 단계
    를 더 포함하는, 문자 입력 방법.
  13. 제12항에서,
    상기 판단하는 단계는,
    상기 키 입력 이벤트가 발생한 이후 의도되지 않은 입력의 확률을 줄일 수 있도록, 상기 깊이 감지 카메라에 의해 감지된 모든 손에 대해 상기 데이터를 수신하지 않는 잠금 구간을 설정하는 단계
    를 더 포함하는, 문자 입력 방법.
  14. 제12항에서,
    상기 결정하는 단계는,
    상기 특징값에 기반하여 키 입력을 위해 움직인 손가락을 결정하는 단계,
    상기 손가락 스트로크에 대응하는 키보드 열을 결정하는 단계, 그리고
    상기 손가락 결정부에 의해 결정된 손가락에 대응하는 키를 상기 키보드 열에서 결정하는 단계
    를 포함하는, 문자 입력 방법.
  15. 제14항에서,
    상기 결정하는 단계는,
    키 입력의 히스토리를 바탕으로 단어를 예측함으로써 상기 키 결정부에 의해 결정된 키가 적절한지 검증하는 단계
    를 더 포함하는 문자 입력 방법.
  16. 제15항에서,
    상기 검증하는 단계는,
    상기 키 결정부에 의해 결정된 키의 문자 및 주변 키의 문자가 상기 히스토리의 다음 문자일 확률을 계산하고, 상기 확률이 가장 높은 문자의 키를 최종 키로서 결정하는 단계
    를 포함하는, 문자 입력 방법.
  17. 제16항에서,
    상기 주변 키는 상기 키 결정부에 의해 결정된 키의 주변에 위치하는 키이고, 최대 8개인, 문자 입력 방법.
  18. 제16항에서,
    상기 검증하는 단계는,
    상기 사용자의 과거의 키 입력 내역을 포함하는 사용자 특성 및 상기 사용자가 입력하고 있는 언어에 기반하여 상기 확률을 계산하는 단계
    를 더 포함하는 문자 입력 방법.
KR1020180037597A 2018-03-30 2018-03-30 3차원 공간 상의 손가락 움직임을 통해 문자를 입력하는 방법 및 장치 KR20190114616A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180037597A KR20190114616A (ko) 2018-03-30 2018-03-30 3차원 공간 상의 손가락 움직임을 통해 문자를 입력하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180037597A KR20190114616A (ko) 2018-03-30 2018-03-30 3차원 공간 상의 손가락 움직임을 통해 문자를 입력하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20190114616A true KR20190114616A (ko) 2019-10-10

Family

ID=68206167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180037597A KR20190114616A (ko) 2018-03-30 2018-03-30 3차원 공간 상의 손가락 움직임을 통해 문자를 입력하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20190114616A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102147452B1 (ko) * 2019-03-19 2020-08-24 주식회사 동광 모션감지 프로젝터
WO2023033301A1 (ko) * 2021-09-06 2023-03-09 삼성전자 주식회사 가상 키보드를 통하여 사용자 입력을 획득하는 전자 장치와 이의 동작 방법
US11941180B2 (en) 2021-09-06 2024-03-26 Samsung Electronics Co., Ltd Electronic device for obtaining user input through virtual keyboard and method of operating the same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102147452B1 (ko) * 2019-03-19 2020-08-24 주식회사 동광 모션감지 프로젝터
WO2023033301A1 (ko) * 2021-09-06 2023-03-09 삼성전자 주식회사 가상 키보드를 통하여 사용자 입력을 획득하는 전자 장치와 이의 동작 방법
US11941180B2 (en) 2021-09-06 2024-03-26 Samsung Electronics Co., Ltd Electronic device for obtaining user input through virtual keyboard and method of operating the same

Similar Documents

Publication Publication Date Title
KR102220084B1 (ko) 가상 현실을 사용한 사용자 신원 인증
US9811650B2 (en) User authentication system and method
US9262076B2 (en) Soft keyboard interface
US9182846B2 (en) Electronic device and touch input control method for touch coordinate compensation
CN110168488A (zh) 压力感应虚拟键盘
CN109074172A (zh) 向电子设备输入图像
KR20190114616A (ko) 3차원 공간 상의 손가락 움직임을 통해 문자를 입력하는 방법 및 장치
US11656762B2 (en) Virtual keyboard engagement
TW202016696A (zh) 基於手勢識別產生互動式虛擬用戶界面的方法及相關裝置
KR102208894B1 (ko) 가상 현실 장면에서 패스워드를 입력하는 방법 및 디바이스
US10872203B2 (en) Data input system using trained keypress encoder
KR20190140402A (ko) 진술 명령들을 사용하여 햅틱을 설계하기 위한 시스템들 및 방법들
US20190369735A1 (en) Method and system for inputting content
US9383919B2 (en) Touch-based text entry using hidden Markov modeling
US9557825B2 (en) Finger position sensing and display
KR101548872B1 (ko) 영상처리를 이용한 손가락 인식 방법 및 시스템
CN111190481A (zh) 用于基于视觉特性来生成触觉效果的系统和方法
US10719173B2 (en) Transcribing augmented reality keyboard input based on hand poses for improved typing accuracy
JP6479703B2 (ja) 情報端末、認証方法、プログラム
US20170168581A1 (en) Method and Device for Controlling Operation Components Based on Somatosensory
KR20180105643A (ko) 디스플레이 디바이스 및 그의 터치 입력 프로세싱 방법
KR101517892B1 (ko) 동작인식 체감형 증강현실 아이템 생성 및 처리방법
US20230281296A1 (en) Location-based pattern detection for password strength
US20230324992A1 (en) Cursor Placement and Movement Via Artificial Reality Input
CN115291715A (zh) 动作识别方法、交互设备、头戴显示系统及可读存储介质