KR101411569B1 - 가상 키보드를 이용한 정보 처리 장치 및 방법 - Google Patents

가상 키보드를 이용한 정보 처리 장치 및 방법 Download PDF

Info

Publication number
KR101411569B1
KR101411569B1 KR1020130064443A KR20130064443A KR101411569B1 KR 101411569 B1 KR101411569 B1 KR 101411569B1 KR 1020130064443 A KR1020130064443 A KR 1020130064443A KR 20130064443 A KR20130064443 A KR 20130064443A KR 101411569 B1 KR101411569 B1 KR 101411569B1
Authority
KR
South Korea
Prior art keywords
key
input
finger
virtual keyboard
information
Prior art date
Application number
KR1020130064443A
Other languages
English (en)
Inventor
조현중
최대웅
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020130064443A priority Critical patent/KR101411569B1/ko
Priority to PCT/KR2014/004912 priority patent/WO2014196779A1/ko
Application granted granted Critical
Publication of KR101411569B1 publication Critical patent/KR101411569B1/ko
Priority to US14/958,496 priority patent/US9916044B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

본 발명에 따른 정보 처리 장치는 대상 평면 상에서의 사용자 손 이미지의 깊이 정보 및 배경 이미지의 깊이 정보를 획득하는 3D 센서, 문자 입력 애플리케이션이 설치된 저장장치, 상기 문자 입력 애플리케이션을 실행하는 프로세서 및 상기 문자 입력 애플리케이션의 실행에 의하여 가상 키보드가 표시되는 디스플레이를 포함하되, 상기 저장장치는 각 손가락당 입력 가능한 하나 이상의 키를 매칭하되, 각 손가락마다 서로 상이한 키를 매칭하여 사용자의 입력처리 수행에 따른 입력키의 후보를 설정한 정보 테이블을 저장하고, 상기 프로세서는 상기 문자 입력 애플리케이션의 실행시에, 상기 3D 센서로부터 획득된 상기 사용자 손 이미지의 깊이 정보 및 배경 이미지의 깊이 정보를 바탕으로 손가락 끝점의 위치 정보를 추출하고, 입력처리를 수행한 상기 손가락 끝점의 위치정보와 상기 가상 키보드상의 키의 인접 정도에 기초하여 입력키를 결정하되, 상기 입력키에 매칭되는 문자를 상기 정보 테이블로부터 독출하여 표시할 수 있다.

Description

가상 키보드를 이용한 정보 처리 장치 및 방법{DEVICE AND METHOD FOR INFORMATION PROCESSING USING VIRTUAL KEYBOARD}
본 발명은 가상 키보드를 이용한 정보 처리 장치 및 방법에 관한 것이다.
모바일 환경이 급속도로 보편화 및 고도화되면서 장소 및 시간의 제약 없이 사용가능한 모바일 기기의 개발이 활발히 이루어지고 있다. 특히, 이동성을 높이기 위하여 다양하고 간소화된 형태의 모바일 기기가 개발되고 있다. 예를 들면, 스마트폰, 태블릿PC와 같은 터치스크린을 기반으로 한 모바일 기기는 별도의 물리적 키보드를 갖추지 않고 스크린을 통한 가상 키보드를 출력할 수 있다. 이러한 모바일 기기는 간편하게 휴대할 수 있을 뿐만 아니라 물리적 키보드와 유사한 쿼티형 키보드를 제공하여 사용법 미숙에 따른 오류를 낮출 수 있다.
그러나 터치스크린을 기반으로 한 가상 키보드는 사용자의 손 크기가 아닌 터치스크린의 크기에 따라 저마다 키보드의 크기가 다른 경향이 있다. 이는 사용자의 손 크기에 따라 열 손가락을 모두 사용할 수 없거나 타자 중 오류를 범할 수 있게 하는 단점이 있다. 또한, 터치스크린을 기반으로 하지 않은 모바일 기기 또는 전자 기기에 있어서 물리적 키보드는 기기에 일체되거나 별도의 키보드를 포함할 수 있는데, 일체된 물리적 키보드는 키의 크기가 작아 오타를 발생시키고, 별도의 키보드는 휴대가 불편하고 공간의 제약을 받을 수 있다.
한편, 이와 관련하여 한국 공개특허공보 제 2002-0079847호(발명의 명칭: 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치)는 사용자 디지트로 데이터를 입력하는 작업대에 관하여 상기 적어도 하나의 사용자 디지트의 상대적 위치의 3차원 위치정보를 캡쳐할 수 있는 센서를 제공하고, 상기 작업대 부분에 상기 사용자 디지트가 접촉되었는지 여부를 결정하기 위한, 만약 접촉되었다면 상기 접촉 위치를 결정하기 위한 상기 센서에 의해 캡쳐된 정보를 처리하고, 상기 접촉 위치와 같은 크기의 디지털 정보를 상기 컴패니언 시스템에 출력하는 가상 입력 장치를 제안하고 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명의 일부 실시예는 3D 센서를 이용하여 손가락 끝점을 파악하고, 입력처리를 수행한 손가락 끝점에 해당하는 키를 구분하여 이에 매칭되는 문자를 입력하는 정보 처리 장치 및 방법을 제공하는 것을 목적으로 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 정보 처리 장치는 대상 평면 상에서의 사용자 손 이미지의 깊이 정보 및 배경 이미지의 깊이 정보를 획득하는 3D 센서, 문자 입력 애플리케이션이 설치된 저장장치, 상기 문자 입력 애플리케이션을 실행하는 프로세서 및 상기 문자 입력 애플리케이션의 실행에 의하여 가상 키보드가 표시되는 디스플레이를 포함하되, 상기 저장장치는 각 손가락당 입력 가능한 하나 이상의 키를 매칭하되, 각 손가락마다 서로 상이한 키를 매칭하여 사용자의 입력처리 수행에 따른 입력키의 후보를 설정한 정보 테이블을 저장하고, 상기 프로세서는 상기 문자 입력 애플리케이션의 실행시에, 상기 3D 센서로부터 획득된 상기 사용자 손 이미지의 깊이 정보 및 배경 이미지의 깊이 정보를 바탕으로 손가락 끝점의 위치 정보를 추출하고, 입력처리를 수행한 상기 손가락 끝점의 위치정보와 상기 가상 키보드상의 키의 인접 정도에 기초하여 입력키를 결정하되, 상기 입력키에 매칭되는 문자를 상기 정보 테이블로부터 독출하여 표시할 수 있다.
또한, 본 발명의 다른 실시예에 따른 정보 처리 장치를 통한 문자 입력 방법은 3D 센서로부터 대상 평면 상에서의 사용자 손 이미지의 깊이 정보 및 배경 이미지의 깊이 정보를 획득하는 단계, 3D 센서로부터 획득된 상기 사용자 손 이미지의 깊이 정보 및 배경 이미지의 깊이 정보를 바탕으로 손가락 끝점의 위치 정보를 추출하는 단계, 미리 설정된 개수 이상의 상기 손가락 끝점이 상기 대상 평면에 동시 접촉된 경우 각 손가락에 매칭되는 가상 키보드를 생성하는 단계, 입력처리를 수행한 상기 손가락 끝점의 위치와 상기 가상 키보드상의 키의 인접 정도에 기초하여 입력키를 결정하는 단계 및 상기 입력키에 매칭되는 문자를 정보 테이블로부터 독출하여 표시하는 단계를 포함하되, 상기 정보 테이블은 각 손가락당 입력 가능한 하나 이상의 키를 매칭하되, 각 손가락마다 서로 상이한 키를 매칭하여 사용자의 입력처리 수행에 따른 입력키의 후보를 설정한 것이다.
전술한 본 발명의 과제 해결 수단에 의하면, 가상 키보드는 소지하기 쉬워 장소 및 시간의 구애 없이 키보드를 사용할 수 있으며, 사용자의 손 크기, 특징, 습관 등에 기초한 사용자 맞춤형 가상 키보드를 생성할 수 있어 사용자에게 편리함을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 정보 처리 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 정보 처리 장치의 사용을 설명하기 위한 도면이다.
도 3은 사용자 손의 정면에 위치한 3D 센서를 통해 사용자 손 이미지를 획득한 일 예를 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 쿼티 키보드상의 손가락 끝점의 위치를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 가상 키보드 생성을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 손가락에 매칭되는 입력 가능 문자 및 키 색상을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 가상 키보드를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 가상 키보드 생성 및 입력을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 정보 처리 장치를 통한 문자 입력 방법을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 정보 처리 장치의 구성을 설명하기 위한 블록도이다.
이때, 본 발명의 일 실시예에서는, 정보 처리 장치(100)가 멀티미디어 장치(예를 들어, 스마트 TV)인 것을 예로서 설명하도록 한다.
참고로, 도 1에서는 본 발명의 일 실시예에 따른 손가락 인식을 통한 정보 처리 장치(100)의 구성들을 도시하였으나, 장치의 종류에 따라 이 외에도 다른 처리부(미도시)들이 더 포함될 수 있다.
또한, 본 발명의 일 실시예에 따른 정보 처리 장치(100)는 멀티미디어 장치에 한정되는 것이 아닌 다양한 종류의 기기일 수 있으며, 각 기기의 종류 및 목적에 따라 상이한 처리부들을 더 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 처리 장치(100)는 3D 센서(110), 디스플레이(120), 저장장치(130) 및 프로세서(140)를 포함한다.
3D 센서(110)는 대상 평면 상에서의 사용자 손 이미지의 깊이 정보 및 배경 이미지의 깊이 정보를 획득한다. 즉, 3D 센서(110)는 사용자 손 이미지 및 배경 이미지의 3차원 깊이(Depth)를 파악할 수 있다. 3D센서(110)를 통해 획득된 깊이 정보는 손가락 끝점의 위치를 파악하는 데 사용될 수 있다. 이에 대한 보다 상세한 설명은 하기 프로세서(140) 및 도 3을 참조하여 후술하기로 한다.
디스플레이(120)는 문자 입력 애플리케이션의 실행에 의하여 가상 키보드가 표시된다. 가상 키보드는 손가락당 입력 가능한 키를 시각적으로 표시하고, 사용자의 입력처리 수행에 따라 입력된 키를 나타낼 수 있다. 사용자는 디스플레이(120)에 표시된 가상 키보드를 통해 입력처리를 시각적으로 확인할 수 있다. 또한, 가상 키보드의 입력에 따라 키에 매칭되는 문자를 표시할 수 있다.
저장장치(130)는 문자 입력 애플리케이션이 설치되고, 각 손가락당 입력 가능한 하나 이상의 키를 매칭하되, 각 손가락마다 서로 상이한 키를 매칭하여 사용자의 입력처리 수행에 따른 입력키의 후보를 설정한 정보 테이블을 저장한다. 이때, 정보 테이블은 키에 매칭된 문자를 포함할 수 있고, 문자는 키보드를 눌러서 입력할 수 있는 알파벳, 한글, 한자, 히라가나, 숫자 또는 구두점을 포함할 수 있다.
프로세서(140)는 문자 입력 애플리케이션을 실행한다. 프로세서(140)는 문자 입력 애플리케이션의 실행시에, 3D 센서(110)로부터 획득된 사용자 손 이미지의 깊이 정보 및 배경 이미지의 깊이 정보를 바탕으로 손가락 끝점의 위치 정보를 추출하고, 입력처리를 수행한 손가락 끝점의 위치 정보와 가상 키보드상의 키의 인접 정도에 기초하여 입력키를 결정하되, 입력키에 매칭되는 문자를 정보 테이블로부터 독출하여 표시한다. 즉, 프로세서(140)는 가상 키보드를 생성하고, 입력처리를 수행한 손가락 끝점의 위치 정보를 추출하여 입력키를 결정하고, 입력키에 매칭되는 문자를 독출할 수 있다.
먼저, 프로세서(140)는 다음과 같은 과정을 통해 손가락 끝점의 위치 정보를 추출하고, 입력처리를 수행한 손가락을 판단할 수 있다.
먼저, 손가락 끝점의 위치 정보는 다음과 같이 추출될 수 있으며, 도 3을 참고하여 설명하도록 한다. 도 3은 사용자 손의 정면에 위치한 3D 센서를 통해 사용자 손 이미지를 획득한 일 예를 설명하는 도면이다.
프로세서(140)는 3D 센서(110)를 통해 배경 이미지를 생성한 후 사용자 손이 3D 센서(110)의 센싱 영역에 들어왔을 때 생성된 사용자 손 이미지의 깊이 정보에서 배경 이미지의 깊이 정보를 차감하여 사용자 손 이미지만을 추출할 수 있다. 이러한 과정을 통해 추출된 사용자 손 이미지는 도 3에 도시된 바와 같다. 이때, 배경 이미지는 사용자 손이 3D 센서(110)의 센싱 영역에 없을 때 획득되거나, 사용자 손이 3D 센서(110)의 센싱 영역에 있을 경우 영상 아래쪽에 대상 평면(310)이 있다는 가정하에서 배경 이미지가 추론될 수 있다. 이렇게 추출된 사용자 손 이미지로부터 3D 센서(110) 위치에서 지근거리내에 불연속한 열 개의 점을 찾아 열 손가락의 끝점의 위치
Figure 112013050026719-pat00001
를 획득할 수 있다. 참고로, L은 왼손, R은 오른손, 1은 엄지, 2는 검지, 3은 중지, 4는 약지, 5는 소지를 뜻한다.
또한, 프로세서(140)는 3D 센서(110)를 통해 사용자의 손에서 몇 개의 특징점
Figure 112013050026719-pat00002
을 획득할 수 있다. 예를 들면, 사용자의 손에서 가장 높은 지점(예컨대, 검지의 손가락 시작 부분) 등이 특징점이 될 수 있다. 또 다른 예를 들면, 기하학적 모델의 손을 사용하여 특징점을 획득할 수 있다. 획득된 특징점은 손 또는 손가락의 형태, 이동, 위치 등을 추론하는데 부가 정보로 사용될 수 있다. 예를 들면, 손가락 끝점의 위치를 파악할 때 3D 센서(110)의 위치 또는 특징점을 원점으로 정의하여 위치를 파악할 수 있다.
프로세서(140)는 손가락 끝점의 깊이 정보와 대상 평면(310)의 깊이 정보가 연속할 경우 손가락 끝점이 대상 평면을 접촉한 것으로 판단하고, 대상 평면에 접촉된 손가락 끝점에 대하여 입력처리를 수행한 것으로 판단할 수 있다. 즉, 손가락 끝점으로부터 대상 평면까지의 깊이 정보가 급격한 변화가 없을 경우 입력처리를 수행한 것으로 판단할 수 있다.
다음으로, 프로세서(140)는 다음과 같은 과정을 통해 가상 키보드를 생성할 수 있다.
프로세서(140)는 미리 설정된 개수 이상의 손가락 끝점이 대상 평면(310)에 동시 접촉된 경우 각 손가락에 매칭되는 가상 키보드를 생성할 수 있다. 예를 들면, 왼손 5개 및 오른손 5개를 접촉 개수로 설정하였을 경우, 열 손가락 끝점이 대상 평면(310)에 동시에 접촉되었을 때 가상 키보드가 생성될 수 있다.
또한, 프로세서(140)는 각 손가락의 위치에 기초하여 키배열이 적응적으로 설정된 가상 키보드를 생성하되, 각 손가락의 끝점을 연결한 기준 키라인(Key Line)을 설정하고, 기준 키라인의 상단 또는 하단에 키를 배치할 수 있다.
예를 들면, 프로세서(140)는 다섯 개의 손가락에 매칭되는 다섯 개의 키 및 키를 잇는 기준 키라인을 생성하고, 기준 키라인으로부터 키 사이의 평균 거리만큼 떨어진 상단 및 하단에 기준 키라인과 동일한 간격의 키 및 동일한 곡률의 보조 키라인을 생성하되, 왼손 및 오른손에 대한 기준 키라인 및 보조 키라인을 생성하고, 키에 매칭되는 문자를 설정하는 가상 키보드를 생성할 수 있다. 또한, 프로세서(140)는 기준 키라인 또는 보조 키라인에 생성된 다섯 개의 키 외에 키 사이의 평균 거리만큼 떨어진 키를 추가 생성하고 문자를 매칭하여 가상 키보드를 생성할 수 있다. 즉, 프로세서(140)는 사용자 손가락이 도달할 수 있는 범위 내에서 사용자 손가락 사이의 간격(즉, 키 사이의 간격)에 따라 배치된 키로 구성된 쿼티 키보드(QWERTY Keyboard)를 생성할 수 있다.
또한, 프로세서(140)는 키라인 간의 위치 정보, 키 사이의 간격 및 기준 키라인의 곡률에 대하여 유효성을 평가하여 가상 키보드를 생성할 수 있다. 즉, 양손에 해당하는 쿼티 키보드를 생성한 후 생성된 키가 적당한 간격 및 위치에 생성되었는지 판별하기 위하여 유효성 평가를 할 수 있다.
이렇게 생성된 가상 키보드는 손의 크기 및 손가락 사이의 간격에 따라 사용자 별로 다르게 생성될 수 있으며, 이는 사용자 고유의 가상 키보드로써 사용이 편리하고 사용 중 오류 발생의 확률을 낮출 수 있다. 가상 키보드에 대한 보다 상세한 설명은 하기 도 4 내지 도 7을 참조하여 후술하기로 한다.
또한, 프로세서(140)는 사용자의 입력처리에 따라 표시된 문자에 대하여 단어의 오류를 검사하여 자동으로 수정하거나 예상 단어를 추천하되, 손가락이 입력할 수 있는 문자에 기반하여 가능성이 높은 예상 단어를 추천할 수 있다. 본 발명의 가상 키보드는 손가락당 입력 가능한 키(즉, 문자)가 제한되어 있으므로 예상 단어의 수를 좁은 범위에서 추천할 수 있어 사용자가 입력하고자 하는 단어의 정확성을 높일 수 있다.
또한, 프로세서(140)는 가상 키보드 및 사용자 손가락의 움직임과 연동되는 가상 손가락을 디스플레이(120)에 표시할 수 있다. 즉, 프로세서(140)는 가상 키보드를 그래픽 디자인을 통해 시각적으로 표시하고, 사용자의 손과 연동되는 가상 손가락을 중첩하여 표시함으로써, 사용자는 사용자 손의 움직임 또는 입력처리 수행 모습을 시각적으로 확인할 수 있다. 또한, 프로세서(140)는 각 손가락이 입력 가능한 키를 서로 다른 색상으로 표시하되, 각 손가락에 할당된 하나 이상의 키와 일치되게 표시할 수 있다. 이는 각 손가락당 입력 가능한 키에 대하여 통일된 색으로 표시함으로써 사용자로 하여금 가상 키보드의 구성을 쉽게 파악하여 원하는 키를 선택할 수 있도록 할 수 있다. 또한, 프로세서(140)는 입력키를 포인트 색상으로 표시할 수 있다. 즉, 사용자는 포인트 색상으로 표시된 입력키를 실시간으로 확인함으로써 어떤 키 또는 어떤 손가락의 입력처리가 수행되었는지 피드백할 수 있다. 이에 대한 보다 상세한 설명은 하기 도 7을 참조하여 후술하기로 한다.
다음으로, 프로세서(140)는 다음과 같은 과정을 통해 입력키를 결정할 수 있다.
프로세서(140)는 입력처리를 수행한 손가락 끝점이 대상 평면(310)에 접촉된 위치 정보 및 손가락에 할당된 입력 가능한 키의 위치 정보를 기초로 산출한 위치 평가 점수에 따라 인접 정도를 판단할 수 있다. 또한, 프로세서(140)는 입력처리를 수행하지 않은 손가락의 위치 정보 및 특징점의 위치 정보를 기초로 맥락 평가 점수를 더 산출하고, 위치 평가 점수 및 맥락 평가 점수를 기초로 산출한 평가 점수에 따라 인접 정도를 판단할 수 있다. 이렇게 산출된 평가 점수 중 가장 높은 평가 점수가 산출된 키를 입력키로 결정할 수 있다.
예를 들면, 왼손 소지(
Figure 112013050026719-pat00003
)가 입력처리를 수행하였고, 왼손 소지(
Figure 112013050026719-pat00004
)에 할당된 입력 가능한 키가 “Q”, “A”, “Z”, “lShift(left Shift)”일 경우 평가 점수는 다음과 같이 산출될 수 있다.
각 손가락의 위치는
Figure 112013050026719-pat00005
,
생성된 가상 키보드의 키 위치는
Figure 112013050026719-pat00006
,
손의 특징점 위치는
Figure 112013050026719-pat00007
,
이중 입력처리를 수행한 손가락 끝점의 위치가 왼손 소지(
Figure 112013050026719-pat00008
)이므로,
“Q”의 평가
Figure 112013050026719-pat00009
이며, “A”의 평가 점수는
Figure 112013050026719-pat00010
이며, “Z”의 평가 점수는
Figure 112013050026719-pat00011
이며, “lShift”의 평가 점수는
Figure 112013050026719-pat00012
일 수 있다.
이때, PS()는 위치 평가 점수(Position Score)를 나타내며, 위치 평가 점수는 손가락 끝점이 대상 평면(310)에 접촉된 위치 정보 및 가상 키보드상에서 손가락의 입력 가능한 키의 위치 정보간의 거리 차이의 역에 의해 산출되는 것이다. 예를 들어,
Figure 112013050026719-pat00013
는 [수학식1]을 통해 산출할 수 있다.
[수학식1]
Figure 112013050026719-pat00014
[수학식1]은 보다 정교한 제어를 위하여 가상 키보드의 키마다 다르게 설계될 수 있다. 예를 들면, 쿼티 키보드의 상단에 위치한 키 “Q, W, E, R, T, Y, U, I, O, P”는 사용자 측면에서 바라보았을 때 가상 키보드 상에 설정된 키의 위치보다 위쪽을 터치하더라도 PS() 값이 떨어지지 않도록 설계할 수 있다. 이와 같은 설계는 사용자가 상단에 위치한 키들에 대하여 입력처리를 수행할 때 오류를 줄이도록 할 수 있다.
또한, CS()는 맥락 평가 점수(Context Score)를 나타내며, 이는
Figure 112013050026719-pat00015
로 웨이트(weight)가 조절될 수 있다. 맥락 평가 점수는 입력처리를 수행하지 않은 손가락의 위치 정보 및 특징점의 위치 정보를 기초로 입력키를 유추할 수 있도록 도울 수 있다. 여기서, PS()와 CS() 함수가 전체 평가 함수에 기여하는 정도를 웨이트
Figure 112013050026719-pat00016
로 조절할 수 있으며, 정확한 위치를 터치하는 것만큼 맥락 정보 또한 중요하다고 판단될 경우 PS()와 CS() 함수의 웨이트를 같은 값으로 설정할 수 있다. 예를 들면, “E”키를 입력하고자 할 때, 왼손 중지(
Figure 112013050026719-pat00017
)로 “E”키의 위치에 해당하는 키를 접촉할 경우 왼손 약지(
Figure 112013050026719-pat00018
)도 함께 가상 키보드 상의 “W” 키 방향으로 움직이게 된다. 이와 같은 특성을 이용하여, 왼손 중지(
Figure 112013050026719-pat00019
)가 “E”키를 입력처리할 때 왼손 약지(
Figure 112013050026719-pat00020
)와 왼손 중지(
Figure 112013050026719-pat00021
)를 잇는 선이 키라인과 평행하게 위쪽으로 이동할 경우 손의 해부학적 구조에 따라
Figure 112013050026719-pat00022
값을 높일 수 있도록 설계를 할 수 있다. 이를 통해, 왼손 중지(
Figure 112013050026719-pat00023
)가 “E”키와 “D”키 사이를 접촉하였더라도 “E”키에 대한 맥락 평가 점수
Figure 112013050026719-pat00024
값이 “D”키에 대한 맥락 평가 점수보다 더 높으므로 “E”키를 입력키로 결정할 수 있다. 또 다른 예를 들면, 왼손 검지(
Figure 112013050026719-pat00025
)가 “G”키를 입력하고자 할 경우, 왼손 검지(
Figure 112013050026719-pat00026
)가 입력처리를 할 때 왼손 엄지(
Figure 112013050026719-pat00027
)도 오른쪽으로 이동하게 된다. 이와 같은 특성을 이용하여 왼손 검지(
Figure 112013050026719-pat00028
)와 왼손 엄지(
Figure 112013050026719-pat00029
)를 잇는 선이 키라인을 중심으로 오른쪽으로 평행 이동할 경우
Figure 112013050026719-pat00030
값을 높일 수 있도록 설계할 수 있다. 이는 “F”키와 “G”키를 구분하고 “G”키의 입력 확률을 더욱 높이는 역할을 할 수 있다.
이로써, 프로세서(140)는 각 키의 평가 점수 S(Q),S(A),S(Z),S(lS)를 비교하여 가장 높은 점수에 해당하는 키를 입력키로 결정할 수 있다.
도 2는 본 발명의 일 실시예에 따른 정보 처리 장치의 사용을 설명하기 위한 도면이다.
정보 처리 장치(100)는 물리적 키보드 없이 어느 평면 위에 설치되어 사용될 수 있다. 도 2의 (a)에 도시된 바와 같이, 정보 처리 장치(100)는 디스플레이(120) 및 3D 센서(110)를 포함할 수 있다. 이때, 3D 센서(110)는 정보 처리 장치(100)에 장착 또는 설치된 것이거나, 별도로 분리된 3D 센서(110)가 추가 장착 또는 추가 설치된 것일 수 있다. 3D 센서(110)는 디스플레이(120)를 바라보는 사용자 손의 정면에 위치하여 센싱 영역(210)을 생성할 수 있다. 이때, 3D 센서(110)는 센싱 영역(210)내에 위치한 사용자 손 이미지 및 배경 이미지를 추출할 수 있다.
또한, 도 2의 (b)에 도시된 바와 같이, 정보 처리 장치(100)는 디스플레이(120) 및 하나 이상의 3D 센서(110)를 포함하되, 3D 센서(110)는 사용자 손목 아래에 설치된 것일 수 있다. 이때, 3D 센서(110)는 손목 시계 형태이거나 손목 받침 형태일 수 있으며, 이와 같은 구성은 센싱 영역(210)이 하나의 손을 중심으로 구획됨으로써 양손의 위치 및 간격이 자유로운 장점이 있다.
도 4는 본 발명의 일 실시예에 따른 쿼티 키보드상의 손가락 끝점의 위치를 설명하기 위한 도면이다.
먼저, 본 발명의 일 실시예는 왼손 및 오른손의 손가락이 모두 입력처리를 수행할 때 가상 키보드를 생성할 수 있는 경우의 일례로 설명하도록 한다.
가상 키보드는 종래의 쿼티 키보드의 키 배치를 기반으로 생성될 수 있다. 먼저, 열 손가락이 모두 입력처리를 동시에 수행한다면 정보 처리 장치(100)는 가상 키보드 생성을 시작할 수 있다. 이때, 각 손가락 끝점의 위치
Figure 112013050026719-pat00031
일 때, 도 4에 도시된 바와 같이 쿼티 키보드상 “A”, “S”, “D”, “F”, “Space”, “Space”, “J”, “K”, “L”, “Enter” 키의 위치에 해당될 수 있다. 또한, 이를 기반으로 상단 및 하단에 쿼티 키보드의 나머지 키의 위치를 결정하여 키를 생성할 수 있다. 나머지 키의 위치를 결정하는 과정은 도 5를 통하여 설명하고자 한다.
도 5는 본 발명의 일 실시예에 따른 가상 키보드 생성을 설명하기 위한 도면이다.
여기서 도 5는 왼손의 가상 키보드 생성을 설명하기 위한 도면이며, 오른손의 생성도 동일한 과정을 통해 생성될 수 있다.
먼저, 도 5의 (a)에 도시된 다섯 개의 원은 손가락 끝점의 위치를 나타낸다. 즉, 다섯 손가락이 입력처리를 수행한 위치에 대하여 손가락 끝점의 위치가 생성되고 이는 곧 키의 위치를 의미한다. 왼손 소지, 왼손 약지, 왼손 중지 및 왼손 검지(
Figure 112013050026719-pat00032
)에 대하여 “A”, “S”, “D”, “F” 키가 생성될 수 있으며, 이 키를 잇는 기준 키라인(600)이 생성될 수 있다. 왼손 엄지(
Figure 112013050026719-pat00033
)는 “Space”키(P410)를 생성할 수 있다. 이때, “A”와 “S”, “S”와 “D” 및 “D” 와 “F”사이의 평균 거리값
Figure 112013050026719-pat00034
를 산출하여 차후 키 배치시 활용할 수 있다.
다음으로, 도 5의 (b)에 도시된 바와 같이 기준 키라인(600)을 중심으로 상단 및 하단에 보조 키라인(610, 620)을 생성할 수 있다. 이때, 왼손 검지 손가락 끝점의 위치
Figure 112013050026719-pat00035
에 대하여 평균 거리값
Figure 112013050026719-pat00036
만큼 떨어진 위치에 “G”키가 추가적으로 생성될 수 있다. 즉, 왼손 검지(
Figure 112013050026719-pat00037
)는 기준 키라인(600)에 “F”, “G”의 2개의 키가 생성될 수 있다.
마지막으로, 도 5의 (c)에 도시된 바와 같이 생성된 보조 키라인(610, 620)에 각 손가락에 할당된 쿼티 키보드의 키가 기준 키라인(600)에 위치한 키와 동일한 간격으로 생성될 수 있다. 즉, 상단에 위치한 보조 키라인(610)의 왼손 소지, 왼손 약지 및 왼손 중지(
Figure 112013050026719-pat00038
)에 대하여 “Q”, “W”, “E”키가 생성될 수 있으며, 왼손 검지(
Figure 112013050026719-pat00039
)에 대하여 “R”, “T”키가 생성될 수 있다. 이때, 상단에 위치한 “Q”, “W”, “E”, “R”, “T” 키는 사용자의 편의를 위하여 보조 키라인(610) 범위 내에서 좌우 방향으로 약간의 오프셋을 가질 수 있다. 또한, 하단에 위치한 보조 키라인(620)의 왼손 소지, 왼손 약지 및 왼손 중지(
Figure 112013050026719-pat00040
)에 대하여 “Z”, “X”, “C”키가 생성될 수 있으며, 왼손 검지(
Figure 112013050026719-pat00041
)에 대하여 “V”, “B”키가 생성될 수 있다. 이때, 왼손 소지 손가락 끝점의 위치
Figure 112013050026719-pat00042
에 대하여 보조 키라인(620)과 같은 곡률로 이어지고 평균 거리값
Figure 112013050026719-pat00043
만큼 떨어진 곳에 “lShift”키(P455)를 추가 생성할 수 있다.
한편, 위와 같이 가상 키보드를 생성한 후 유효성 평가를 실시할 수 있다. 예를 들면, 엄지 손가락 끝점의 위치인 “Space”키와, “Space“키와 밀접하게 위치한 “B”키 사이의 거리가 평균 거리값
Figure 112013050026719-pat00044
의 80%보다 작을 경우 유효하지 않다고 판단할 수 있다. 또 다른 예를 들면, 왼손에서 생성된 “T”키와 오른손에서 생성된 “Y”키의 거리가 평균 거리값
Figure 112013050026719-pat00045
보다 작을 경우 또는 기준 키라인(600) 및 보조 키라인(610, 620)의 곡률이 설정 기준의 범위를 벗어날 경우(곡률이 심하게 휘어 사용이 불편하다고 판단되는 범위) 등이 있을 수 있다. 그 외에 가상 키보드를 사용하기 적합하지 않을 경우를 판단하여 사용자에게 재생성을 요청하는 메시지를 디스플레이(120)에 표시할 수 있다.
유효성 평가 실시 후 사용이 유효하다고 판단될 경우 가상 키보드를 생성하고, 모든 손가락이 대상 평면(310)으로부터 떨어지게 되면 문자 입력이 가능한 상태로 전환될 수 있다. 생성된 가상 키보드는 저장장치(130)에 저장되어 관리될 수 있다.
도 5에서 설명한 가상 키보드는 각 손가락마다 입력 가능한 키가 할당되어 있는데, 이는 도 6을 참고하여 구체적으로 설명하고자 한다.
도 6은 본 발명의 일 실시예에 따른 손가락에 매칭되는 입력 가능 문자 및 키 색상을 도시한 도면이다.
도 6에 도시된 바와 같이 각 손가락은 입력 가능한 문자가 할당되어 정해진 문자 내에서만 입력이 가능하도록 설정될 수 있다. 예를 들면, 왼손 중지는 “E”, “D” 또는 “C”키 중 하나만을 입력 할 수 있고, 왼손 소지는 “Q”, “A”, “Z” 또는 “lshift”키 중 하나만을 입력할 수 있다. 이는 각 손가락이 입력처리를 수행할 때, 해당 손가락에 할당된 키가 위치한 범위를 다소 벗어났을 경우라도 해당 손가락이 입력 가능한 문자가 설정되어 있으므로 입력 가능 문자를 보다 정확하게 유추할 수 있도록 한다. 예를 들면, 왼손 소지(
Figure 112013050026719-pat00046
)가 입력처리 수행을 하였지만 왼손 약지(
Figure 112013050026719-pat00047
) 의 위치를 침범하였다고 하여도 입력 처리를 수행한 손가락이 왼손 소지임을 파악하여 왼손 소지(
Figure 112013050026719-pat00048
)에 할당된 “Q”, “A”, “Z” 또는 “lShift”키 중 하나를 입력하였다고 판단할 수 있다. 이를 통해 키 입력에 따른 오타를 방지할 수 있다. 한편, 도 6에 도시된 각 손가락당 할당된 문자는 예시를 위한 것으로 사용자의 설정에 따라 달라질 수 있다.
또한, 가상 키보드는 각 손가락마다 서로 다른 색상을 할당하고, 할당된 색상으로 손가락에 매칭된 키를 표시할 수 있다. 예를 들면, 중지에 할당된 “E”, “D”, “C”, “I”, “K”, “?”키를 분홍색으로 표시한다면, 사용자는 가상 키보드상 분홍색으로 표시된 키는 왼손 및 오른손의 중지에 의해 입력 가능함을 시각적으로 확인할 수 있다. 또한, 각 손가락마다 색상이 다르므로 가상 키보드에 표시된 색상을 통하여 각 손가락에 할당된 키를 시각적으로 쉽게 확인할 수 있는데, 도 7을 참고하여 설명하고자 한다.
도 7은 본 발명의 일 실시예에 따른 가상 키보드를 도시한 도면이다.
도 7은 도 5 및 도 6에서 설명된 과정을 통해 생성된 가상 키보드(400)의 일례이다. 도 7에 도시된 바와 같이, 왼손 및 오른손에 대응하는 가상의 쿼티 키보드가 생성될 수 있으며, 생성된 가상 키보드는 디스플레이(120)에 표시될 수 있다. 이때, 사용자의 손과 동기화되어 실시간으로 손의 움직임이 표시되는 가상의 손(700, 705)이 중첩되어 표시될 수 있다. 또한, 사용자 손가락 끝점이 입력처리를 수행한 입력키에 대하여 포인트 색상으로 표시하여 사용자로 하여금 어떤 키를 입력하였는지 확인할 수 있도록 할 수 있다.
또한, 가상 키보드(400)에 생성된 키는 물리적 키보드의 키 경계를 나타내기 보다는 키의 중심점을 초점으로 표시하여 각 손가락 끝점과 각 키가 매칭됨을 나타낼 수 있다. 이때, 키는 도 6에서 설명된 바와 같이, 손가락당 할당된 색상으로 키의 색상을 구성할 수 있다. 예를 들면, 엄지는 회색키(410), 검지는 노란색키(420, 425), 중지는 분홍색키(430, 435), 약지는 녹색키(440, 445) 및 소지는 청색키(450, 455)로 할당하여 표시할 수 있다. 또한, 검지의 경우 키라인마다 2개의 키를 배치하였으므로 이를 구분하기 위한 경계선(710)을 추가로 표시할 수 있다. 즉, 왼손 검지(
Figure 112013050026719-pat00049
)에 할당된 “R”, “F”, “V” 키와 “T”, “G”, “B”키 사이에 경계선(710)을 표시할 수 있다.
도 8은 본 발명의 일 실시예에 따른 가상 키보드 생성 및 입력을 설명하기 위한 도면이다.
도 8은 도 5 내지 도 7에서 설명된 과정을 통해 생성된 가상 키보드(400)를 이용한 입력처리 수행에 따른 상태 천이도를 나타낸 일례이다.
먼저, 사용자는 센싱영역에 손가락을 위치시켜 입력을 대기(810)시킬 수 있다.
다음으로, 사용자에 의해 대상 평면(310)상에 모든 손가락이 접촉(터치 온)되면 키 생성 및 유효성 검사(820)를 실시할 수 있다. 즉, 프로세서(140)는 가상 키보드(400)를 생성하기 위하여 접촉된 사용자의 모든 손가락 끝점의 위치를 추출하여 키를 생성할 수 있다. 또한, 프로세서(140)는 유효성 검사를 실시하여 생성된 키가 타자를 하기에 적합한지 판단할 수 있다.
다음으로, 프로세서(140)는 유효성 검사가 통과되면 모든 손가락이 미접촉(터치 오프)될 때까지 대기할 수 있다. 모든 손가락이 미접촉되면 비로서 가상 키보드(400)의 생성이 완료될 수 있다.
마지막으로 가상 키보드(400) 입력은 다음과 같이 수행될 수 있다. 사용자는 생성된 가상 키보드(400)를 통하여 문자 입력을 할 수 있으며, 정상 입력시 문자 입력을 지속할 수 있다. 이때, 양손 엄지를 접촉시킨 후 키 입력처리를 할 경우 특수키 입력(850)을 할 수 있다. 예를 들면, 기본 배열된 가상 키보드(400)상의 문자 이외에 다른 특수 문자 등에 대하여 양손 엄지를 접촉시키면 추가 키를 생성할 수 있도록 설정할 수 있다. 추가 키에 특수 문자를 매칭시켜 양손 엄지와 해당 키를 입력하여 특수 문자를 입력할 수 있다. 그러나 만일, 비정상 입력을 하거나 가상 키보드(400)를 해제하는 제스처를 수행할 경우 대기(810)상태로 전환될 수 있다. 또한, 문자 입력 중 키 생성을 다시 하고자 한다면, 모든 손가락을 접촉시켜 키 생성 및 유효성 검사(820)를 실행시킬 수 있다.
도 9는 본 발명의 일 실시예에 따른 정보 처리 장치를 통한 문자 입력 방법을 설명하기 위한 순서도이다.
단계 (S110)에서는, 3D 센서로부터 대상 평면상에서의 사용자 손 이미지의 깊이 정보 및 배경 이미지의 깊이 정보를 획득한다. 즉, 3D 센서를 통하여 먼저 대상 평면을 포함하는 배경 이미지의 깊이 정보를 획득한 후, 사용자 손이 센싱 영역에 위치할 때 배경 이미지의 깊이 정보를 포함하는 사용자 손 이미지의 깊이 정보를 획득할 수 있다.
단계 (S120)에서는, 3D 센서로부터 획득된 사용자 손 이미지의 깊이 정보 및 배경 이미지의 깊이 정보를 바탕으로 손가락 끝점의 위치 정보를 추출한다. 즉, 상기 단계에서 추출된 배경 이미지의 깊이 정보를 포함하는 사용자 손 이미지의 깊이 정보에서 먼저 획득한 배경 이미지의 깊이 정보를 차감하여 사용자 손 이미지의 깊이 정보만을 추출할 수 있다. 이렇게 추출된 사용자 손 이미지로부터 3D 센서 위치에서 지근거리 내에 불연속한 열 개의 점을 찾아 열 손가락의 끝점의 위치를 추출할 수 있다.
단계 (S130)에서는, 미리 설정된 개수 이상의 손가락 끝점이 대상 평면에 동시 접촉된 경우 각 손가락에 매칭되는 가상 키보드를 생성한다. 즉, 각 손가락의 위치에 기초하여 키배열이 적응적으로 설정된 가상 키보드를 생성하되, 각 손가락의 끝점을 연결한 기준 키라인을 설정하고, 기준 키라인의 상단 또는 하단에 키를 배치할 수 있다.
예를 들면, 다섯 개의 손가락에 매칭되는 다섯 개의 키 및 키를 잇는 기준 키라인을 생성하고, 기준 키라인으로부터 키 사이의 평균 거리만큼 떨어진 상단 및 하단에 기준 키라인과 동일한 간격의 키 및 동일한 곡률의 보조 키라인을 생성하되, 왼손 및 오른손에 대한 기준 키라인 및 보조 키라인을 생성하고, 키에 매칭되는 문자를 설정하는 가상 키보드를 생성할 수 있다. 이때, 기준 키라인 또는 보조 키라인에 생성된 다섯 개의 키 외에 키 사이의 평균 거리만큼 떨어진 키를 추가 생성하고 문자를 매칭하여 가상 키보드를 생성할 수 있다.
또한, 키라인 간의 위치 정보, 키 사이의 간격 및 기준 키라인의 곡률에 대하여 유효성을 평가하여 가상 키보드를 생성할 수 있다.
단계 (S140)에서는, 입력처리를 수행한 손가락 끝점의 위치와 가상 키보드상의 키의 인접 정도에 기초하여 입력키를 결정한다.
먼저, 손가락 끝점의 깊이 정보와 대상 평면의 깊이 정보가 연속할 경우 손가락 끝점이 대상 평면을 접촉한 것으로 판단하고, 대상 평면에 접촉된 손가락 끝점에 대하여 입력처리를 수행한 것으로 판단할 수 있다. 이렇게 입력처리를 수행한 손가락 끝점이 평면에 접촉된 위치 정보 및 손가락에 할당된 입력 가능한 키의 위치 정보를 기초로 산출한 위치 평가 점수에 따라 인접 정도를 판단할 수 있다. 이때, 위치 평가 점수는 손가락 끝점이 평면에 접촉된 위치 정보 및 가상 키보드상에서 손가락의 입력 가능한 키의 위치 정보간의 거리 차이의 역에 의해 산출될 수 있다. 또한, 입력처리를 수행하지 않은 손가락의 위치 정보 및 특징점의 위치 정보를 기초로 맥락 평가 점수를 더 산출하고, 위치 평가 점수 및 맥락 평가 점수를 기초로 산출한 평가 점수에 따라 인접 정도를 판단할 수 있다.
또한, 사용자의 입력처리에 따라 표시된 문자에 대하여 단어의 오류를 검사하여 자동으로 수정하거나 예상 단어를 추천하되, 손가락이 입력할 수 있는 문자에 기반하여 가능성이 높은 예상 단어를 추천할 수 있다.
단계 (S150)에서는, 입력키에 매칭되는 문자를 정보 테이블로부터 독출하여 표시하되, 정보 테이블은 각 손가락당 입력 가능한 하나 이상의 키를 매칭하되, 각 손가락마다 서로 상이한 키를 매칭하여 사용자의 입력처리 수행에 따른 입력키의 후보를 설정한 것이다. 이때, 가상 키보드 및 사용자 손가락의 움직임과 연동되는 가상 손가락을 디스플레이에 표시할 수 있으며, 입력키를 포인트 색상으로 표시할 수 있다. 또한, 정보 테이블을 바탕으로 각 손가락이 입력 가능한 키를 서로 다른 색상으로 표시하되, 각 손가락에 할당된 하나 이상의 키와 일치되게 표시할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 정보 처리 장치 110: 3D 센서
120: 디스플레이 130: 저장장치
140: 프로세서

Claims (27)

  1. 정보 처리 장치에 있어서,
    대상 평면 상에서의 사용자 손 이미지의 깊이 정보 및 배경 이미지의 깊이 정보를 획득하는 3D 센서,
    문자 입력 애플리케이션이 설치된 저장장치,
    상기 문자 입력 애플리케이션을 실행하는 프로세서 및
    상기 문자 입력 애플리케이션의 실행에 의하여 가상 키보드가 표시되는 디스플레이를 포함하되,
    상기 저장장치는 각 손가락당 입력 가능한 하나 이상의 키를 매칭하되, 각 손가락마다 서로 상이한 키를 매칭하여 사용자의 입력처리 수행에 따른 입력키의 후보를 설정한 정보 테이블을 저장하고,
    상기 프로세서는 상기 문자 입력 애플리케이션의 실행시에, 상기 3D 센서로부터 획득된 상기 사용자 손 이미지의 깊이 정보 및 배경 이미지의 깊이 정보를 바탕으로 손가락 끝점과 손의 특징점들의 위치 정보를 추출하고,
    상기 프로세서는 입력처리를 수행한 상기 손가락 끝점과 상기 가상 키보드상의 키의 인접 정도를 추출하고, 상기 입력처리를 수행한 상기 손가락의 위치 정보, 입력처리를 수행하지 않은 손가락의 위치 정보 및 상기 특징점의 위치 정보에 기초하여 맥락 평가 점수를 산출하며,
    상기 인접 정도 및 상기 맥락 평가 점수에 기초하여 상기 입력키를 결정하고,
    상기 입력키에 매칭되는 문자를 상기 정보 테이블로부터 독출하여 표시하는 정보 처리 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는 입력처리를 수행한 상기 손가락 끝점이 상기 대상 평면에 접촉된 점에 대한 위치 정보 및 손가락에 할당된 입력 가능한 키의 위치 정보를 상기 특징점으로부터 상대적 위치값으로 산출하고 이에 기초한 위치 평가 점수에 따라 상기 인접 정도를 판단하는 정보 처리 장치.
  3. 제 2 항에 있어서,
    상기 위치 평가 점수는 상기 손가락 끝점이 상기 대상 평면에 접촉된 위치 정보 및 상기 가상 키보드상에서 상기 손가락의 입력 가능한 키의 위치 정보간의 거리 차이의 역에 의해 산출되는 정보 처리 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는 상기 추출된 손가락 끝점과 손의 특징점들의 위치 정보에 기초하여 상기 가상 키보드의 위치를 결정하는 정보 처리 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는 미리 설정된 개수 이상의 상기 손가락 끝점이 상기 대상 평면에 동시 접촉된 경우 각 손가락에 매칭되는 가상 키보드를 생성하는 정보 처리 장치.
  6. 제 5 항에 있어서,
    상기 프로세서는 각 손가락의 위치에 기초하여 키배열이 적응적으로 설정된 가상 키보드를 생성하되,
    각 손가락의 끝점을 연결한 기준 키라인(Key Line)을 설정하고, 상기 기준 키라인의 상단 또는 하단에 키를 배치하는 정보 처리 장치.
  7. 제 6 항에 있어서,
    상기 프로세서는 다섯 개의 손가락에 매칭되는 다섯 개의 키 및 상기 키를 잇는 상기 기준 키라인을 생성하고, 상기 기준 키라인으로부터 상기 키 사이의 평균 거리만큼 떨어진 상단 및 하단에 상기 기준 키라인과 동일한 간격의 키 및 동일한 곡률의 보조 키라인을 생성하되,
    왼손 및 오른손에 대한 상기 기준 키라인 및 상기 보조 키라인을 생성하고, 상기 키에 매칭되는 문자를 설정하는 가상 키보드를 생성하는 정보 처리 장치.
  8. 제 7 항에 있어서,
    상기 프로세서는 상기 기준 키라인 또는 상기 보조 키라인에 생성된 다섯 개의 키 외에 상기 키 사이의 평균 거리만큼 떨어진 키를 추가 생성하고 문자를 매칭하여 가상 키보드를 생성하는 정보 처리 장치.
  9. 제 5 항에 있어서,
    상기 프로세서는 키라인 간의 위치 정보, 키 사이의 간격 및 기준 키라인의 곡률에 대하여 유효성을 평가하여 가상 키보드를 생성하는 정보 처리 장치.
  10. 제 1 항에 있어서,
    상기 프로세서는 사용자의 입력처리에 따라 표시된 문자에 대하여 단어의 오류를 검사하여 자동으로 수정하거나 예상 단어를 추천하되, 상기 손가락이 입력할 수 있는 문자에 기반하여 가능성이 높은 예상 단어를 추천하는 정보 처리 장치.
  11. 제 1 항에 있어서,
    상기 프로세서는 상기 가상 키보드 및 상기 사용자 손가락의 움직임과 연동되는 가상 손가락을 상기 디스플레이에 표시하는 정보 처리 장치.
  12. 제 11 항에 있어서,
    상기 프로세서는 각 손가락이 입력 가능한 키를 서로 다른 색상으로 표시하되, 각 손가락에 할당된 하나 이상의 키와 일치되게 표시하는 정보 처리 장치.
  13. 제 1 항에 있어서,
    상기 프로세서는 상기 입력키를 포인트 색상으로 표시하는 정보 처리 장치.
  14. 제 1 항에 있어서,
    상기 프로세서는 상기 손가락 끝점의 깊이 정보와 상기 대상 평면의 깊이 정보가 연속할 경우 상기 손가락 끝점이 상기 대상 평면을 접촉한 것으로 판단하고, 상기 대상 평면에 접촉된 상기 손가락 끝점에 대하여 입력처리를 수행한 것으로 판단하는 정보 처리 장치.
  15. 정보 처리 장치를 통한 문자 입력 방법에 있어서,
    3D 센서로부터 대상 평면 상에서의 사용자 손 이미지의 깊이 정보 및 배경 이미지의 깊이 정보를 획득하는 단계;
    3D 센서로부터 획득된 상기 사용자 손 이미지의 깊이 정보 및 배경 이미지의 깊이 정보를 바탕으로 손가락 끝점과 손의 특징점들의 위치 정보를 추출하는 단계;
    미리 설정된 개수 이상의 상기 손가락 끝점이 상기 대상 평면에 동시 접촉된 경우 각 손가락에 매칭되는 가상 키보드를 생성하는 단계;
    입력처리를 수행한 상기 손가락 끝점의 위치와 상기 가상 키보드상의 키의 인접 정도 및 맥락 평가 점수에 기초하여 입력키를 결정하는 단계 및
    상기 입력키에 매칭되는 문자를 정보 테이블로부터 독출하여 표시하는 단계를 포함하되,
    상기 맥락 평가 점수는 입력처리를 수행한 상기 손가락의 위치 정보, 입력처리를 수행하지 않은 손가락의 위치 정보 및 상기 특징점의 위치 정보에 기초하여 산출되고,
    상기 정보 테이블은 각 손가락당 입력 가능한 하나 이상의 키를 매칭하되, 각 손가락마다 서로 상이한 키를 매칭하여 사용자의 입력처리 수행에 따른 입력키의 후보를 설정한 것인 문자 입력 방법.
  16. 제 15 항에 있어서,
    상기 입력키를 결정하는 단계는 입력처리를 수행한 상기 손가락 끝점이 상기 대상 평면에 접촉된 점에 대한 위치 정보 및 손가락에 할당된 입력 가능한 키의 위치 정보를 상기 특징점으로부터 상대적 위치값으로 산출하고 이에 기초한 위치 평가 점수에 따라 상기 인접 정도를 판단하는 문자 입력 방법.
  17. 제 16 항에 있어서,
    상기 위치 평가 점수는 상기 손가락 끝점이 상기 대상 평면에 접촉된 위치 정보 및 상기 가상 키보드상에서 상기 손가락의 입력 가능한 키의 위치 정보간의 거리 차이의 역에 의해 산출되는 문자 입력 방법.
  18. 제 15 항에 있어서,
    상기 추출된 손가락 끝점과 손의 특징점들의 위치 정보에 기초하여 상기 가상 키보드의 위치를 결정하는 단계를 더 포함하는 문자 입력 방법.
  19. 제 15 항에 있어서,
    상기 가상 키보드를 생성하는 단계는 각 손가락의 위치에 기초하여 키배열이 적응적으로 설정된 가상 키보드를 생성하되,
    각 손가락의 끝점을 연결한 기준 키라인(Key Line)을 설정하고, 상기 기준 키라인의 상단 또는 하단에 키를 배치하는 문자 입력 방법.
  20. 제 19 항에 있어서,
    상기 가상 키보드를 생성하는 단계는 다섯 개의 손가락에 매칭되는 다섯 개의 키 및 상기 키를 잇는 상기 기준 키라인을 생성하고, 상기 기준 키라인으로부터 상기 키 사이의 평균 거리만큼 떨어진 상단 및 하단에 상기 기준 키라인과 동일한 간격의 키 및 동일한 곡률의 보조 키라인을 생성하되,
    왼손 및 오른손에 대한 상기 기준 키라인 및 상기 보조 키라인을 생성하고, 상기 키에 매칭되는 문자를 설정하는 가상 키보드를 생성하는 문자 입력 방법.
  21. 제 20 항에 있어서,
    상기 가상 키보드를 생성하는 단계는 상기 기준 키라인 또는 상기 보조 키라인에 생성된 다섯 개의 키 외에 상기 키 사이의 평균 거리만큼 떨어진 키를 추가 생성하고 문자를 매칭하여 가상 키보드를 생성하는 문자 입력 방법.
  22. 제 15 항에 있어서,
    상기 가상 키보드를 생성하는 단계는 키라인 간의 위치 정보, 키 사이의 간격 및 기준 키라인의 곡률에 대하여 유효성을 평가하여 가상 키보드를 생성하는 문자 입력 방법.
  23. 제 15 항에 있어서,
    상기 입력키를 결정하는 단계는 사용자의 입력처리에 따라 표시된 문자에 대하여 단어의 오류를 검사하여 자동으로 수정하거나 예상 단어를 추천하되, 상기 손가락이 입력할 수 있는 문자에 기반하여 가능성이 높은 예상 단어를 추천하는 문자 입력 방법.
  24. 제 15 항에 있어서,
    상기 문자를 표시하는 단계는 상기 가상 키보드 및 상기 사용자 손가락의 움직임과 연동되는 가상 손가락을 디스플레이에 표시하는 문자 입력 방법.
  25. 제 24 항에 있어서,
    상기 문자를 표시하는 단계는 각 손가락이 입력 가능한 키를 서로 다른 색상으로 표시하되, 각 손가락에 할당된 하나 이상의 키와 일치되게 표시하는 문자 입력 방법.
  26. 제 24 항에 있어서,
    상기 문자를 표시하는 단계는 상기 입력키를 포인트 색상으로 표시하는 문자 입력 방법.
  27. 제 15 항에 있어서,
    상기 입력키를 결정하는 단계는 상기 손가락 끝점의 깊이 정보와 상기 대상 평면의 깊이 정보가 연속할 경우 상기 손가락 끝점이 상기 대상 평면을 접촉한 것으로 판단하고, 상기 대상 평면에 접촉된 상기 손가락 끝점에 대하여 입력처리를 수행한 것으로 판단하는 문자 입력 방법.
KR1020130064443A 2013-06-05 2013-06-05 가상 키보드를 이용한 정보 처리 장치 및 방법 KR101411569B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130064443A KR101411569B1 (ko) 2013-06-05 2013-06-05 가상 키보드를 이용한 정보 처리 장치 및 방법
PCT/KR2014/004912 WO2014196779A1 (ko) 2013-06-05 2014-06-03 가상 키보드를 이용한 정보 처리 장치 및 방법
US14/958,496 US9916044B2 (en) 2013-06-05 2015-12-03 Device and method for information processing using virtual keyboard

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130064443A KR101411569B1 (ko) 2013-06-05 2013-06-05 가상 키보드를 이용한 정보 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101411569B1 true KR101411569B1 (ko) 2014-06-27

Family

ID=51134172

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130064443A KR101411569B1 (ko) 2013-06-05 2013-06-05 가상 키보드를 이용한 정보 처리 장치 및 방법

Country Status (3)

Country Link
US (1) US9916044B2 (ko)
KR (1) KR101411569B1 (ko)
WO (1) WO2014196779A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101629737B1 (ko) * 2015-02-25 2016-06-21 연세대학교 산학협력단 문자 입력 장치, 문자 입력 방법, 문자 입력을 위한 컴퓨터 판독가능 기록매체 및 컴퓨터 프로그램
KR20160088620A (ko) * 2015-01-16 2016-07-26 삼성전자주식회사 가상 입력 장치 및 이를 이용한 사용자 입력 수신 방법
KR101678880B1 (ko) * 2016-06-28 2016-12-06 재단법인 실감교류인체감응솔루션연구단 가상 키보드 출력 장치 및 제어 방법
US9916120B2 (en) 2015-02-17 2018-03-13 Samsung Electronics Co., Ltd. Method and apparatus for providing of screen mirroring service
KR20200081718A (ko) * 2018-12-28 2020-07-08 이진우 홀로그램 기반의 문자 인식 방법 및 그 장치
CN115562496A (zh) * 2022-11-04 2023-01-03 浙江舜为科技有限公司 Xr设备及基于xr设备的字符输入方法和字符修改方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10310675B2 (en) * 2014-08-25 2019-06-04 Canon Kabushiki Kaisha User interface apparatus and control method
WO2017024142A1 (en) * 2015-08-04 2017-02-09 Google Inc. Input via context sensitive collisions of hands with objects in virtual reality
WO2019032967A1 (en) 2017-08-10 2019-02-14 Google Llc HAND INTERACTION SENSITIVE TO THE CONTEXT
CN107704186B (zh) * 2017-09-01 2022-01-18 联想(北京)有限公司 一种控制方法及电子设备
US11720222B2 (en) 2017-11-17 2023-08-08 International Business Machines Corporation 3D interaction input for text in augmented reality
JP7199441B2 (ja) * 2018-08-21 2023-01-05 株式会社Ｎｔｔドコモ 入力装置
CN110297592B (zh) * 2019-06-28 2021-06-15 联想(北京)有限公司 一种处理方法及电子设备
US20220365655A1 (en) * 2021-05-10 2022-11-17 Qingdao Pico Technology Co., Ltd. Virtual Keyboard Interaction Method and System
EP4325345A1 (en) 2021-09-06 2024-02-21 Samsung Electronics Co., Ltd. Electronic device for acquiring user input through virtual keyboard and operating method thereof
CN116048374B (zh) * 2023-03-05 2023-08-29 广州网才信息技术有限公司 虚拟隐形键盘的在线考试方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080103327A (ko) * 2007-05-23 2008-11-27 광주과학기술원 가상 키 입력 장치 및 가상 키 입력 방법
KR20090060888A (ko) * 2007-12-10 2009-06-15 삼성전자주식회사 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법
JP2012108857A (ja) * 2010-10-28 2012-06-07 Yoshihiro Wada キー入力装置、それを備える携帯端末および携帯端末を入力装置として機能させるためのプログラム
KR20130020418A (ko) * 2011-08-19 2013-02-27 주식회사 케이티 문자열 추천 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6710770B2 (en) * 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
US8300023B2 (en) * 2009-04-10 2012-10-30 Qualcomm Incorporated Virtual keypad generator with learning capabilities
JP2012252584A (ja) * 2011-06-03 2012-12-20 Nakayo Telecommun Inc 仮想キーボード入力方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080103327A (ko) * 2007-05-23 2008-11-27 광주과학기술원 가상 키 입력 장치 및 가상 키 입력 방법
KR20090060888A (ko) * 2007-12-10 2009-06-15 삼성전자주식회사 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법
JP2012108857A (ja) * 2010-10-28 2012-06-07 Yoshihiro Wada キー入力装置、それを備える携帯端末および携帯端末を入力装置として機能させるためのプログラム
KR20130020418A (ko) * 2011-08-19 2013-02-27 주식회사 케이티 문자열 추천 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160088620A (ko) * 2015-01-16 2016-07-26 삼성전자주식회사 가상 입력 장치 및 이를 이용한 사용자 입력 수신 방법
US9933854B2 (en) 2015-01-16 2018-04-03 Samsung Electronics Co., Ltd. Virtual input device and method for receiving user input using the same
KR102345911B1 (ko) * 2015-01-16 2022-01-03 삼성전자주식회사 가상 입력 장치 및 이를 이용한 사용자 입력 수신 방법
US9916120B2 (en) 2015-02-17 2018-03-13 Samsung Electronics Co., Ltd. Method and apparatus for providing of screen mirroring service
KR101629737B1 (ko) * 2015-02-25 2016-06-21 연세대학교 산학협력단 문자 입력 장치, 문자 입력 방법, 문자 입력을 위한 컴퓨터 판독가능 기록매체 및 컴퓨터 프로그램
KR101678880B1 (ko) * 2016-06-28 2016-12-06 재단법인 실감교류인체감응솔루션연구단 가상 키보드 출력 장치 및 제어 방법
KR20200081718A (ko) * 2018-12-28 2020-07-08 이진우 홀로그램 기반의 문자 인식 방법 및 그 장치
KR102207067B1 (ko) * 2018-12-28 2021-01-25 이진우 홀로그램 기반의 문자 인식 방법 및 그 장치
US11244138B2 (en) 2018-12-28 2022-02-08 Jin Woo Lee Hologram-based character recognition method and apparatus
CN115562496A (zh) * 2022-11-04 2023-01-03 浙江舜为科技有限公司 Xr设备及基于xr设备的字符输入方法和字符修改方法
CN115562496B (zh) * 2022-11-04 2023-12-15 浙江舜为科技有限公司 Xr设备及基于xr设备的字符输入方法和字符修改方法

Also Published As

Publication number Publication date
US9916044B2 (en) 2018-03-13
US20160085379A1 (en) 2016-03-24
WO2014196779A1 (ko) 2014-12-11

Similar Documents

Publication Publication Date Title
KR101411569B1 (ko) 가상 키보드를 이용한 정보 처리 장치 및 방법
US20210271340A1 (en) Gesture recognition devices and methods
US9274551B2 (en) Method and apparatus for data entry input
CN103984495B (zh) 操作方法以及电子装置
US9013423B2 (en) Adaptive virtual keyboard for handheld device
US20120260207A1 (en) Dynamic text input using on and above surface sensing of hands and fingers
WO2012056864A1 (ja) 入力装置、当該入力装置を備えた情報機器、コンピュータを入力装置として機能させるためのプログラム、および入力装置を用いて文字を入力するための方法
US20150033177A1 (en) System and method for inputting symbols
US20160034738A1 (en) Method using a touchpad for controlling a computerized system with epidermal print information
US20150363038A1 (en) Method for orienting a hand on a touchpad of a computerized system
JPWO2012070682A1 (ja) 入力装置及び入力装置の制御方法
WO2012102859A1 (en) Overloaded typing apparatuses, and related devices, systems, and methods
US9489086B1 (en) Finger hover detection for improved typing
US9766714B2 (en) Method and apparatus for recognizing key input from virtual keyboard
KR20130051722A (ko) 입력 장치 및 입력 방법
JP2009187365A (ja) 携帯機器、ユーザ確認システム、キー入力方法およびコンピュータプログラム
JP5997921B2 (ja) 文字入力方法及び文字入力装置
US11507181B2 (en) Input apparatus having virtual keys set on reference plane
US10474354B2 (en) Writing gesture notification method and electronic system using the same
US11216691B2 (en) Input method and system for electronic device
CN104049772B (zh) 一种输入方法、装置和系统
JP2010231480A (ja) 筆跡処理装置、プログラム、及び方法
JP2010055267A (ja) 入力装置、携帯端末装置、及び入力装置の入力方法
CN107885337B (zh) 一种基于指法识别的信息输入方法及其装置
CN105511773B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170328

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 5