KR101877823B1 - 정보 처리를 위한 방법, 장치, 및 디바이스 - Google Patents

정보 처리를 위한 방법, 장치, 및 디바이스 Download PDF

Info

Publication number
KR101877823B1
KR101877823B1 KR1020167022600A KR20167022600A KR101877823B1 KR 101877823 B1 KR101877823 B1 KR 101877823B1 KR 1020167022600 A KR1020167022600 A KR 1020167022600A KR 20167022600 A KR20167022600 A KR 20167022600A KR 101877823 B1 KR101877823 B1 KR 101877823B1
Authority
KR
South Korea
Prior art keywords
gesture information
user
mode
input mode
enabling
Prior art date
Application number
KR1020167022600A
Other languages
English (en)
Other versions
KR20160110992A (ko
Inventor
레이 췐
Original Assignee
후아웨이 디바이스 (둥관) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 디바이스 (둥관) 컴퍼니 리미티드 filed Critical 후아웨이 디바이스 (둥관) 컴퍼니 리미티드
Publication of KR20160110992A publication Critical patent/KR20160110992A/ko
Application granted granted Critical
Publication of KR101877823B1 publication Critical patent/KR101877823B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0219—Special purpose keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Abstract

본 발명은 정보 처리 방법, 장치, 및 디바이스를 개시한다. 정보 처리 방법에서, 사용자에 의해 입력된 모드-이네이블링 제스처 정보가 획득된 후에, 사용자에 의해 입력된 모드-이네이블링 제스처 정보에 따라 대응하는 입력 모드에 진입하며, 결정된 입력 모드 내에서 사용자의 제스처 정보가 식별된다. 또한, 사용자의 의도는 제스처 정보 및 동작 명령간의 소정의 대응관계에 따라 식별된다. 전술한 입력 모드는 키보드 입력 모드 및 마우스 입력 모드를 포함한다. 이러한 방식으로, 사용자는 단지 통상적 입력 동작 방식, 예를 들어, 탭 동작 및 터치-슬라이드 동작을 사용하여 친숙한 입력 모드 환경 내에서 단말의 편리한 제어를 구현할 수 있다. 이 방법에서, 장치 및 디바이스는 사용자가 특정 제스처 모션들과 특정 동작들간의 다수의 대응관계를 기억하는 것을 요구하지 않는다. 단지 사용자의 통상적 기본 입력 동작과 표준 키보드 및/또는 마우스 동작 이벤트 사이의 사전 대응관계를 정보 처리 방법의 실행 주체로 이식함으로써, 통상적인 동작 방식으로 사용자가 단말기를 제어하는 목적을 달성할 수 있다.

Description

정보 처리를 위한 방법, 장치, 및 디바이스
본 발명은 정보 처리 기술에 관한 것으로, 더 구체적으로는 정보 처리 방법, 장치 및 디바이스에 관한 것이다.
최근 몇 년 동안, 지능형 장치들은 더욱 더 널리 배포되고 과학 및 기술의 개발에 적용되고 있다. 보다 풍부한 기능과 다양한 형태의 지능형 장치에 대해 증가하는 사용자의 요구사항을 만족시키기 위해, 지능형 장치의 입력 방식들은 더욱 지능적이고 풍부해진다.
종래 기술에서, 사용자가 지능형 장치와 편리하게 상호 작용할 수 있도록, 제스처 제어 암 링이 개발된다. 사용 시, 제스처 제어 암 링은 사용자의 손목에 착용될 필요가 있고, 팔의 신체 동작을 모니터링하는 것과 함께, 사용자가 움직이고 있는 때 팔 또는 손목 근육에 의해 생성된 생체전기 변화를 감지하여 인간-컴퓨터 상호작용을 수행한다. 제스처 제어 암 링은 특정 액션을 사용하여 동작을 트리거링할 수 있다. 예를 들어, 사용자는 주먹을 쥔 후 손목을 위아래로 세 번 흔드는 액션은 디바이스를 이네이블링하기 위해 대응하는 액션으로 설정될 수 있다.
그러나, 지능형 디바이스 상에서 수행될 수 있는 많은 동작들이 있다. 사용자가 제스처 제어 암 링을 사용하여 지능형 디바이스를 동작시키기를 원하면, 사용자는 사용자가 지능형 디바이스를 사용하기 매우 불편하게 만드는, 제스처 모션과 동작 사이의 많은 대응관계들을 기억해야 할 필요가 있다.
이러한 관점에서, 특정 트리거 동작이 특정 제스처 모션에 대응해야 하기 때문에, 사용자가 제스처 모션들 및 동작들 사이의 다수의 대응관계를 기억해야 하는 종래 기술에서의 문제점을 해결하기 위해, 본 발명은 정보 처리 방법, 장치, 및 디바이스를 제공한다.
전술한 목적을 달성하기 위해, 본 발명은 다음과 같은 기술적 솔루션을 제공한다.
제1 측면에 따르면, 본 발명은 사용자의 모드-이네이블링 제스처 정보를 획득하는 단계, 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링하는 단계, 입력 모드에서 사용자의 제스처 정보를 획득하는 단계, 그리고 제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 제스처 정보에 대응하는 동작 명령을 생성하는 단계를 포함하고, 입력 모드는 키보드 입력 모드 및 마우스 입력 모드를 포함하며, 제스처 정보는 탭-제스처 정보 및/또는 슬라이드-제스처 정보를 포함하는, 정보 처리 방법이 개시된다.
제1 측면의 첫 번째 구현 가능 방식으로, 입력 모드가 키보드 입력 모드인 경우, 사용자의 검지, 중지, 약지 및 소지의 12 개의 손가락 관절 또는 지골과 12-키 키패드의 12 개의 키 사이에 일대일 대응이 존재하고, 입력 모드에서 사용자의 제스처 정보를 획득하는 단계는, 키보드 입력 모드에서, 사용자가 검지, 중지, 약지 및 소지 중 임의의 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하는 단계를 포함하고, 이에 대응하여, 제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 제스처 정보에 대응하는 동작 명령을 생성하는 단계는, 탭-제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 탭-제스처 정보에 대응하는 동작 명령을 생성하는 단계를 포함한다.
제1 측면의 두 번째 구현 가능 방식으로, 입력 모드가 마우스 입력 모드인 경우, 입력 모드에서 사용자의 제스처 정보를 획득하는 단계는, 마우스 입력 모드에서, 사용자의 검지, 중지, 약지 및 소지 상에서의 슬라이딩하는 슬라이드-제스처 정보 및/또는 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하는 단계를 포함하고, 그리고 이에 대응하여, 제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 제스처 정보에 대응하는 동작 명령을 생성하는 단계는, 슬라이드-제스처 정보 및/또는 탭-제스처 정보와 동작 명령 사이의 소정의 대응관계에 따라, 슬라이드-제스처 정보 및/또는 탭-제스처 정보에 대응하는 동작 명령을 생성하는 단계를 포함하고, 여기서 슬라이드-제스처 정보는 마우스 포인터의 이동 트랙 정보에 대응하고, 탭-제스처 정보는 좌측 또는 우측 마우스 버튼의 트리거 정보에 대응한다.
제1 측면의 세 번째 구현 가능 방식으로, 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링하는 단계는, 모드-이네이블링 제스처 정보가 사용자의 검지, 중지, 약지, 및 소지를 펴는 제스처에 대응하는 경우, 키보드 입력 모드를 이네이블링하는 단계, 그리고 모드-이네이블링 제스처 정보가 검지, 중지, 약지, 및 소지를 사용자의 손바닥 쪽으로 마는 제스처에 대응하는 경우, 마우스 입력 모드를 이네이블링하는 단계를 포함하고, 여기서 모드-이네이블링 제스처 정보 또는 제스처 정보는 사용자의 손목 또는 손바닥에 위치한 센서에 의해 검출된다.
제1 측면의 네 번째 구현 가능 방식으로, 입력 모드에서 사용자의 제스처 정보를 획득하는 단계는, 사용자의 손목 또는 손바닥에 위치한 센서가 사용자의 입력 모드-이네이블링 제스처 모션 또는 제스처 모션을 감지하는 때, 손목 또는 손바닥의 각 부분의 압력 값을 획득하는 단계, 압력 값에 따라 사용자의 손목 또는 손바닥에 위치한 센서의 변위 값을 결정하는 단계, 그리고 변위 값에 따라, 사용자에 의해 입력된 모드-이네이블링 제스처 정보를 결정하는 단계를 포함한다.
제1 측면의 전술한 구현 가능 방식들 중 어느 하나에서, 제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 제스처 정보에 대응하는 동작 명령을 생성하는 단계 후에, 방법은 단말이 동작 명령에 응답할 수 있도록, 단말에 동작 명령을 전송하는 단계를 더 포함한다.
제2 측면에 따르면, 키보드 입력 모드에 진입하였는지 확인하는 단계, 키보드 입력 모드에서, 사용자의 검지, 중지, 약지 및 소지의 12 개의 손가락 관절 또는 지골과 12-키 키패드의 12 개의 키 사이에 일대일 대응이 존재하고, 사용자가 검지, 중지, 약지 및 소지 중 임의의 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하는 단계, 그리고 탭-제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 탭-제스처 정보에 대응하는 동작 명령을 생성하는 단계를 포함하는 정보 처리 방법이 개시된다.
제3 측면에 따르면, 마우스 입력 모드에 진입하였는지 확인하는 단계, 검지, 중지, 약지 및 소지 상에서 사용자의 슬라이드-제스처 정보 및/또는 검지, 중지, 약지 및 소지의 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하는 단계, 그리고 슬라이드-제스처 정보 및/또는 탭-제스처 정보와 동작 명령 사이의 소정의 대응관계에 따라, 슬라이드-제스처 정보 및/또는 탭-제스처 정보에 대응하는 동작 명령을 생성하는 단계를 포함하고, 여기서 슬라이드-제스처 정보는 마우스 포인터의 이동 트랙 정보에 대응하고, 탭-제스처 정보는 좌측 또는 우측 마우스 버튼의 트리거 정보에 대응하는 정보 처리 방법이 개시된다.
제4 측면에 따르면, 사용자의 모드-이네이블링 제스처 정보를 획득하도록 구성된 제1 획득 모듈, 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링하도록 구성된 모드 이네이블링 모듈, 입력 모드에서 사용자의 제스처 정보를 획득하도록 구성된 제2 획득 모듈, 그리고 제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 제스처 정보에 대응하는 동작 명령을 생성하도록 구성된 명령 생성 모듈을 포함하고, 입력 모드는 키보드 입력 모드 및 마우스 입력 모드를 포함하며, 제스처 정보는 탭-제스처 정보 및/또는 슬라이드-제스처 정보를 포함하는, 정보 처리 장치가 개시된다.
제4 측면의 첫 번째 구현 가능 방식으로, 입력 모드가 키보드 입력 모드인 경우, 사용자의 검지, 중지, 약지 및 소지의 12 개의 손가락 관절 또는 지골과 12-키 키패드의 12 개의 키 사이에 일대일 대응이 존재하고, 제2 획득 모듈은 구체적으로, 키보드 입력 모드에서, 사용자가 검지, 중지, 약지 및 소지 중 임의의 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하도록 구성된다.
제4 측면의 두 번째 구현 가능 방식으로, 입력 모드가 마우스 입력 모드인 경우, 제2 획득 모듈은 구체적으로, 마우스 입력 모드에서, 사용자의 검지, 중지, 약지 및 소지 상에서의 슬라이딩하는 슬라이드-제스처 정보 및/또는 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하도록 구성되고, 여기서 슬라이드-제스처 정보는 마우스 포인터의 이동 트랙 정보에 대응하고, 탭-제스처 정보는 좌측 또는 우측 마우스 버튼의 트리거 정보에 대응한다.
제4 측면의 세 번째 구현 가능 방식으로, 모드 이네이블링 모듈은, 모드-이네이블링 제스처 정보가 사용자의 검지, 중지, 약지, 및 소지를 펴는 제스처에 대응하는 경우, 키보드 입력 모드를 이네이블링하도록 구성된 제1 모드 이네이블링 모듈, 그리고 모드-이네이블링 제스처 정보가 검지, 중지, 약지, 및 소지를 사용자의 손바닥 쪽으로 마는 제스처에 대응하는 경우, 마우스 입력 모드를 이네이블링하도록 구성된 제2 모드 이네이블링 모듈을 포함한다.
제4 측면의 네 번째 구현 가능 방식으로, 모드-이네이블링 제스처 정보 또는 제스처 정보는 사용자의 손목 또는 손바닥에 위치한 센서에 의해 검출된다.
제4 측면의 다섯 번째 구현 가능 방식으로, 제1 획득 모듈 또는 제2 획득 모듈은, 사용자의 손목 또는 손바닥에 위치한 센서가 사용자의 입력 모드-이네이블링 제스처 모션 또는 제스처 모션을 감지하는 때, 손목 또는 손바닥의 각 부분의 압력 값을 획득하도록 구성된 획득 서브모듈, 압력 값에 따라 사용자의 손목 또는 손바닥에 위치한 센서의 변위 값을 결정하도록 구성된 계산 모듈, 그리고 변위 값에 따라, 사용자에 의해 입력된 모드-이네이블링 제스처 정보를 결정하도록 구성된 제스처 결정 모듈을 포함한다.
제4 측면의 전술한 구현 가능 방식들 중 어느 하나에서, 장치는 단말이 동작 명령에 응답할 수 있도록, 단말에 동작 명령을 전송하도록 구성된 명령 전송 모듈을 더 포함한다.
제5 측면에 따르면, 시스템이 키보드 입력 모드에 진입하였는지 확인하도록 구성된 제1 입력 이네이블링 모듈, 키보드 입력 모드에서, 사용자의 검지, 중지, 약지 및 소지의 12 개의 손가락 관절 또는 지골과 12-키 키패드의 12 개의 키 사이에 일대일 대응이 존재하고, 사용자가 검지, 중지, 약지 및 소지 중 임의의 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하도록 구성된 제1 제스처 획득 모듈, 그리고 탭-제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 탭-제스처 정보에 대응하는 동작 명령을 생성하도록 구성된 제1 명령 생성 모듈을 포함하는 정보 처리 장치가 개시된다.
제6 측면에 따르면, 시스템이 마우스 입력 모드에 진입하였는지 확인하도록 구성된 제2 입력 이네이블링 모듈, 검지, 중지, 약지 및 소지 상에서 사용자의 슬라이드-제스처 정보 및/또는 검지, 중지, 약지 및 소지의 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하도록 구성된 제2 제스처 획득 모듈, 그리고 슬라이드-제스처 정보 및/또는 탭-제스처 정보와 동작 명령 사이의 소정의 대응관계에 따라, 슬라이드-제스처 정보 및/또는 탭-제스처 정보에 대응하는 동작 명령을 생성하도록 구성된 제2 명령 생성 모듈을 포함하는 정보 처리 장치가 개시된다.
제7 측면에 따르면, 전술한 정보 처리 장치들 중 어느 하나를 포함하는 정보 처리 디바이스가 개시된다.
제8 측면에 따르면, 전술한 정보 처리 장치들 중 어느 하나를 포함하는 지능형 단말이 개시된다.
종래 기술과 비교하여, 본 발명의 실시예들은 정보 처리 방법, 장치, 및 디바이스를 개시하는 전술한 기술적 솔루션으로부터 학습될 수 있다. 정보 처리 방법에서, 사용자에 의해 입력된 모드-이네이블링 제스처 정보가 먼저 획득되고, 그러면 사용자에 의해 입력된 모드-이네이블링 제스처 정보에 따라 대응하는 입력 모드에 진입하며, 결정된 입력 모드 내에서 제스처 정보가 식별된다. 또한, 사용자의 의도는 제스처 정보 및 동작 명령간의 소정의 대응관계에 따라 식별된다. 전술한 입력 모드는 키보드 입력 모드 및 마우스 입력 모드를 포함한다. 이러한 방식으로, 사용자는 단지 통상적 입력 동작 방식, 예를 들어, 탭 동작 및 터치-슬라이드 동작을 사용하여 친숙한 입력 모드 환경 내에서 단말의 편리한 제어를 구현할 수 있다. 이 방법에서, 장치 및 디바이스는 사용자가 특정 제스처 모션들과 특정 동작들간의 다수의 대응관계를 기억하는 것을 요구하지 않는다. 단지 사용자의 통상적 기본 입력 동작과 표준 키보드 및/또는 마우스 동작 이벤트 사이의 사전 대응관계를 정보 처리 방법의 실행 주체로 이식함으로써, 통상적인 동작 방식으로 사용자가 단말기를 제어하는 목적을 달성할 수 있다.
본 발명의 실시예들 또는 종래 기술의 기술적 솔루션을 더욱 명확하게 설명하기 위해, 실시예들 또는 종래 기술을 설명하기 위해 요구되는 첨부 도면을 다음에서 간단하게 소개한다. 명백하게, 다음의 설명에 첨부된 도면은 본 발명의 일부 실시예를 나타내고, 당업자는 여전히 창의적인 노력없이 이러한 첨부한 도면들에서 다른 도면을 유도할 수 있다.
도 1은 본 발명의 실시예에 따른 정보 처리 방법의 순서도이다.
도 2는 본 발명의 실시예에 따른 12-키 키패드의 12 키들간의 대응관계를 나타낸 개략도이다.
도 3은 본 발명의 실시예에 따라 사용자의 모드-이네이블링 제스처 정보 또는 제스처 정보를 획득하는 단계의 순서도이다.
도 4는 본 발명의 실시예에 따라 손목 밴드에 배치된 센서의 위치를 나타낸 개략도이다.
도 5는 본 발명의 실시예에 따른 다른 정보 처리 방법의 순서도이다.
도 6은 본 발명의 실시예에 따른 제3 정보 처리 방법의 순서도이다.
도 7은 본 발명의 실시예에 따른 제4 정보 처리 방법의 순서도이다.
도 8은 본 발명의 실시예에 따른 정보 처리 장치의 개략적인 구조도이다.
도 9는 본 발명의 실시예에 따른 제1 획득 모듈의 개략적인 구조도이다.
도 10은 본 발명의 실시예에 따른 다른 정보 처리 장치의 개략적인 구조도이다.
도 11은 본 발명의 실시예에 따른 제3 정보 처리 장치의 개략적인 구조도이다.
도 12는 본 발명의 실시예에 따른 제4 정보 처리 장치의 개략적인 구조도이다.
도 13은 본 발명의 실시예에 따른 정보 처리 디바이스와 단말 사이의 통신을 나타낸 개략도이다.
도 14는 본 발명의 실시예에 따른 정보 처리 디바이스의 개략적인 구조도이다.
도 15는 본 발명의 실시예에 따른 다른 정보 처리 디바이스의 개략적인 구조도이다.
다음은 본 발명의 실시예들 내의 첨부된 도면을 참조하여, 본 발명의 실시예들 내의 기술적 해결책을 명확하고, 완전하게 설명한다. 명백하게, 전술한 실시예들은 본 발명의 실시예들의 전체가 아닌 일부이다. 창의적인의 노력없이, 본 발명의 실시예들에 기초하여 당업자에 의해 얻어진 다른 모든 실시예들은 본 발명의 보호 범위 내에 포함된다.
도 1은 본 발명의 실시예에 따른 정보 처리 방법의 순서도이다. 도 1에 도시된 바와 같이, 방법은 단계(101) 내지 단계(104)를 포함할 수 있다.
단계(101): 사용자의 모드-이네이블링 제스처 정보를 획득한다.
본 발명의 실시예에서, 사용자를 위한 다수의 입력 모드가 존재할 수 있고, 각각의 입력 모드는 하나의 모드-이네이블링 제스처에 대응한다. 이러한 방식으로, 본 발명의 실시예에서 기재된 정보 처리 방법의 실행 주체는 사용자에 의해 입력되는 모드-이네이블링 제스처 정보에 따라, 사용자에게 사용을 용이하게 하고 사용자가 현재 원하는 입력 모드를 자동으로 식별할 수 있다.
단계(102): 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링한다.
입력 모드는 키보드 입력 모드와 마우스 입력 모드를 포함할 수 있다. 여기에서 설명되는 키보드 입력 모드는 이 모드에서, 사용자가 직접적으로 손가락의 일부를 탭핑하여 공지된 키보드의 문자를 트리거링할 수 있음을 나타내고, 여기서 문자는 숫자, 영문자, 또는 고정된 기능을 갖는 심볼, 예를 들어, “#”키일 수 있다. 물론, 사용자에 의해 손가락의 일부를 탭핑하거나 트리거링하는 제스처 정보와 공지의 키보드의 각각의 키간의 대응관계는 미리 구성되어야 한다. 전술한 마우스 입력 모드는 이 모드에서, 사용자는 마우스를 조작하는 것과 같이 손가락 또는 손바닥 상의 대응하는 동작을 수행할 수 있다. 이 경우, 동작은 슬라이드 동작 및 탭 동작을 포함한다. 예를 들어, 사용자의 엄지가 손가락 또는 손바닥 상에서 좌측으로 슬라이딩하고, 이는 마우스 포인터의 좌측 슬라이드에 대응한다. 사용자는 손가락 또는 손바닥의 일부를 탭핑하고, 이는 좌측 마우스 버튼 상의 클릭에 대응한다. 물론, 이 경우, 사용자의 제스처 정보와 표준 마우스 동작 이벤트간의 대응관계는 미리 구성되어야 한다.
단계(103): 입력 모드에서 사용자의 제스처 정보를 획득한다.
제스처 정보는 탭-제스처 정보 및/또는 슬라이드-제스처 정보를 포함할 수 있다.
동일한 제스처 정보에 대해, 다른 입력 모드들 내에서 다른 처리 및 응답 결과가 획득될 수 있고, 제스처 정보의 조각은 하나의 입력 모드 내에서 처리되고, 응답될 수 있으나, 다른 입력 모드 내에서 처리되지 않거나, 응답되지 않을 수 있음을 유의해야 한다. 키보드 입력 모드에서, 사용자가 트리거링하고자 하는 문자는 사용자에 의해 손바닥의 일부를 탭핑하는 제스처 정보를 획득함으로써 결정될 수 있다. 이 모드에서, 사용자가 슬라이드-제스처 정보를 입력하면, 시스템은 슬라이드 제스처 정보에 대해 처리 및 응답하지 않는다. 그러나, 사용자가 슬라이드-제스처 정보를 마우스 입력 모드에서 입력하면, 슬라이드-제스처 정보가 마우스 포인터 이동 동작에 대응할 수 있기 때문에, 슬라이드-제스처 정보는 처리되고 응답된다. 또한, 이러한 대응관계는 마우스를 사용하거나 또는 종래 기술의 터치 스크린 인터페이스에 직접 입력 동작을 행함으로써 컴퓨터 인터페이스에 입력 조작을 행하는 사용자의 습관과 일치한다. 예를 들어, 사용자는 손바닥 상에서 엄지를 상, 하, 좌, 및 우로 이동함으로써, 터치스크린 상에서 대응하는 상, 하, 좌, 및 우 페이지 넘김 동작을 경험할 수 있다.
단계(104): 제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 제스처 정보에 대응하는 동작 명령을 생성한다.
제스처 정보와 동작 명령간의 대응관계는 종래 기술을 사용하여 구현될 수 있는 시스템 프로그램에 사전에 이식된다. 그러나, 본 발명의 실시예에서, 다수의 입력 모드가 소개되고, 각각의 입력 모드에서, 제스처 정보 및 동작 명령간의 별도의 대응관계가 존재하며, 다른 처리 및 응답 결과는 다른 입력 모드에서 전술한 바와 같은 동일한 제스처 정보에 대해 획득될 수 있기 때문이다.
또한, 사용자의 제스처 정보에 따라 생성된 동작 명령은 단말이 동작 명령에 따라 응답 동작을 수행할 수 있도록, 단말로 전송될 수 있다.
본 발명의 정보 처리 방법에서, 사용자에 의해 입력된 모드-이네이블링 제스처 정보가 먼저 획득되고, 그러면 사용자에 의해 입력된 모드-이네이블링 제스처 정보에 따라 대응하는 입력 모드에 진입하며, 결정된 입력 모드 내에서 제스처 정보가 식별된다. 또한, 사용자의 의도는 제스처 정보 및 동작 명령간의 소정의 대응관계에 따라 식별된다. 전술한 입력 모드는 키보드 입력 모드 및 마우스 입력 모드를 포함한다. 이러한 방식으로, 사용자는 단지 통상적 입력 동작 방식, 예를 들어, 탭 동작 및 터치-슬라이드 동작을 사용하여 친숙한 입력 모드 환경 내에서 단말의 편리한 제어를 구현할 수 있다. 이 방법에서, 사용자는 특정 제스처 모션들과 특정 동작들간의 다수의 대응관계를 기억할 필요가 없다. 단지 사용자의 통상적 기본 입력 동작과 표준 키보드 및/또는 마우스 동작 이벤트 사이의 사전 대응관계를 정보 처리 방법의 실행 주체로 이식함으로써, 편리하게 입력 동작을 수행하고, 통상적인 동작 방식으로 사용자가 단말기를 제어하는 목적을 달성할 수 있다.
전술한 실시예에서, 시스템에 의해 획득된 모드-이네이블링 제스처 정보는 키보드 입력 모드에 대응하는 모드-이네이블링 제스처이고, 시스템은 키보드 입력 모드를 이네이블링할 수 있다. 이 모드에서, 사용자의 검지, 중지, 약지 및 소지의 12 개의 손가락 관절 또는 지골과 12-키 키패드의 12 개의 키 사이에 일대일 대응이 존재할 수 있다. 12-키 키패드가 1, 2(abc), 3(def), 4 (ghi), 5 (jkl), 6 (mno), 7 (pqrs), 8 (tuv), 9 (wyxz), *, 0, 및 #키들을 포함하는 것은 모두에게 알려져 있다. 또한, 손 구조 내에서, 검지, 중지, 약지, 및 소지 각각은 세 개의 손가락 관절 및 세 개의 지골을 포함하고, 검지, 중지, 약지, 및 소지는 전부 12 개의 손가락 관절 및 12 개의 지골을 포함한다. 또한, 12-키 키패드의 12 키의 4*3 배열은 손 구조 내에서 검지, 중지, 약지, 및 소지의 12 개의 손가락 관절 또는 지골의 4*3 배열과 동일하다. 참조는 도 2로 이뤄질 수 있고, 도 2는 본 발명의 실시예에 따른 12-키 키패드의 12 키들간의 대응관계를 나타낸 개략도이다. 검지의 첫 번째 지골은 “1” 키에 대응할 수 있고, 검지의 두 번째 지골은 “2”키에 대응할 수 있고,…, 약지의 세 번째 지골은 “#”키에 대응할 수 있다.
물론, 12-키 키패드와 12개의 손가락 관절 또는 지골 사이의 대응관계는 전술한 방식에 고정적으로 제한되지 않는다. 소지의 세 개의 손가락 관절이 각각 “1”키, “2”키, 및 “3”키에 대응하고, 검지의 세 개의 손가락 관절이 각각 "*"키, "0"키, 및 "#"키에 대응하도록 설정될 수도 있다. 구체적인 대응관계는 사용자 선호도 및 습관에 따라 설정될 수 있다.
이 방식으로, 전술한 실시예에서, 입력 모드에서 사용자의 제스처 정보를 획득하는 단계(103)는, 키보드 입력 모드에서, 사용자가 검지, 중지, 약지 및 소지 중 임의의 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하는 단계를 포함할 수 있다.
이에 대응하여, 제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 제스처 정보에 대응하는 동작 명령을 생성하는 단계(104)는 탭-제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 탭-제스처 정보에 대응하는 동작 명령을 생성하는 단계를 포함할 수 있다.
본 실시예에서, 12-키 키패드의 키들은 각각 12 개의 손가락 관절 또는 지골에 일대일 대응하고, 이러한 대응관계는 시스템 내에 미리 구성될 수 있다. 때문에, 기본적으로 모든 사용자는 12-키 키패드의 사용법에 매우 친숙하고, 여러 손가락 관절 또는 지골의 위치를 정확하게 감지할 수 있기 때문에, 사용자는 12-키 키패드의 각 키와 고정된 제스처 모션 사이의 대응관계를 기억할 필요 없이 편리하고 빠르게 정보 입력을 구현할 수 있다.
제1 실시예에서, 시스템에 의해 획득된 모드-이네이블링 제스처 정보가 마우스 입력 모드에 대응하는 모드-이네이블링 제스처인 경우, 시스템은 마우스 입력 모드를 이네이블링한다. 이 모드에서, 입력 모드에서 사용자의 제스처 정보를 획득하는 단계(103)는, 마우스 입력 모드에서, 사용자의 검지, 중지, 약지 및 소지 상에서의 슬라이딩하는 슬라이드-제스처 정보 및/또는 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하는 단계를 포함할 수 있다.
이에 대응하여, 제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 제스처 정보에 대응하는 동작 명령을 생성하는 단계(104)는, 슬라이드-제스처 정보 및/또는 탭-제스처 정보와 동작 명령 사이의 소정의 대응관계에 따라, 슬라이드-제스처 정보 및/또는 탭-제스처 정보에 대응하는 동작 명령을 생성하는 단계를 포함할 수 있다.
마우스 입력 모드에서, 사용자의 슬라이드-제스처 정보는 마우스 포인터의 이동 트랙 정보에 대응하고, 사용자의 탭-제스처 정보는 좌측 또는 우측 마우스 버튼의 트리거 정보에 대응하는 것으로 미리 구성될 수 있다. 구체적으로, 사용자는 엄지를 제외한 네 손가락을 말아서 “패널”을 형성할 수 있다. 엄지는 “패널” 상에서 이동하여 표시 스크린 상의 마우스 움직임을 시뮬레이팅할 수 있다. 물론, 사용자의 제스처 정보와 표준 마우스 동작 이벤트간의 대응관계는 미리 구성될 필요가 있다. 패드(PAD)를 사용하고 마우스를 사용하여 동작을 수행하는 사용자의 습관을 고려하여, 사용자의 좌측 슬라이드-제스처 정보는 좌측 마우스 포인터 움직임 동작에 직접적으로 대응할 수 있고, 사용자의 상측 슬라이드-제스처 정보는 우측 마우스 포인터 움직임 동작에 직접적으로 대응할 수 있고, 이것은 계속된다. 이 방식에서, 사용자의 엄지는 네 손가락에 의해 형성된 “패널” 상의 마우스와 동등하고, “패널”은 표시 스크린과 동등하다. “패널” 상의 사용자의 엄지의 제스처 정보는 사용자가 네 손가락에 의해 형성된 “패널”을 사용하여 터치스크린 상의 동작을 경험할 수 있도록, 물리적인 터치스크린을 동작시키는 사용자 동작 이벤트에 대응할 수도 있다.
실제 시나리오에서, 마우스는 좌측 버튼과 우측 버튼을 포함한다. 사용자의 사용을 용이하게 하기 위해, 본 실시예에서, 마우스 입력 모드 내에서, 사용자에 의해 검지, 중지, 약지, 및 소지 중 임의의 손가락 끝을 탭핑하는 제스처 모션은 좌측 마우스 버튼 트리거 동작으로서 정의될 수 있다. 또한, 사용자에 의해 검지의 손가락 끝을 탭핑하는 제스처 모션은 좌측 마우스 버튼 트리거 동작으로 정의될 수 있고, 사용자에 의해 중지의 손가락 끝을 탭핑하는 제스처 모션은 우측 마우스 버튼 트리거 동작으로 정의될 수 있는 등, 여기에서 제한되지 않는다.
본 실시예에서, 사용자가 편리하고 효과적인 친숙한 마우스 동작 방식 또는 터치스크린 동작 방식으로 손바닥 상의 제스처 모션을 수행함으로써, 입력 동작을 직접적으로 구현하고, 사용자가 제스처 모션들과 동작들 사이의 다수의 대응관계를 기억할 필요가 없도록, 사용자의 고정된 제스처 정보의 여러 조각들은 마우스 동작의 여러 기본 동작에 대응한다.
전술한 실시예에서, 다른 입력 모드들에 대응하는 모드-이네이블링 제스처들은 고정적으로 제한되지 않는 것으로 이해될 수 있다. 사용자의 사용을 용이하게 하기 위해, 본 실시예에서, 제1 실시예의 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링하는 단계(102)는, 구체적으로, 모드-이네이블링 제스처 정보가 사용자의 검지, 중지, 약지, 및 소지를 펴는 제스처에 대응하는 경우, 키보드 입력 모드를 이네이블링하는 단계, 그리고 모드-이네이블링 제스처 정보가 검지, 중지, 약지, 및 소지를 사용자의 손바닥 쪽으로 마는 제스처에 대응하는 경우, 마우스 입력 모드를 이네이블링하는 단계이다.
검지, 중지, 약지, 및 소지의 다른 손가락 관절 또는 지골을 탭핑할 때, 사용자는 무의식적으로 여러 손가락을 구분할 수 있기 때문에, 사용자의 검지, 중지, 약지, 및 소지를 펴는 제스처는 키보드 입력 모드에 대응하고, 사용자의 검지, 중지, 약지, 및 소지를 마는 제스처는 마우스 입력 모드에 대응하며, 그리고 말린 네 손가락에 의해 형성된 “패널”은 사용자의 동작 습관에 상대적으로 가까운 표시 스크린을 시뮬레이팅하기 위해 사용될 수 있다. 물론, 키보드 입력 모드 및 마우스 입력 모드의 모드-이네이블링 제스처는 고정적으로 제한되지 않는다.
전술한 실시예에서, 모드-이네이블링 제스처 정보 또는 제스처 정보는 사용자의 손목 또는 손바닥에 위치한 센서에 의해 검출될 수 있다.
사용자의 손목 또는 손바닥 상에 배치된 센서는 모드-이네이블링 제스처 모션 또는 센서가 위치한 손의 제스처 모션을 검출할 수 있다는 점을 유의해야 한다.
도 3은 본 발명의 실시예에 따라 사용자의 모드-이네이블링 제스처 정보 또는 제스처 정보를 획득하는 단계의 순서도이다. 도 3에 도시된 바와 같이, 사용자의 모드-이네이블링 제스처 정보를 획득하고, 사용자의 제스처 정보를 획득하는 구체적인 프로세스는 단계(301) 내지 단계(303)를 포함할 수 있다.
단계(301): 사용자의 손목 또는 손바닥에 위치한 센서가 사용자의 입력 모드-이네이블링 제스처 모션 또는 제스처 모션을 감지하는 때, 손목 또는 손바닥의 각 부분의 압력 값을 획득한다.
사용자의 손목 위에 배치된 센서는 손목 밴드 내에 배치될 수 있고, 사용자의 손바닥 위에 배치된 센서는 글러브(glove) 또는 미튼(mitten) 내에 배치될 수 있다. 센서가 사용자의 손목 위에 배치되면, 사용자의 제스처 모션들은 사용자가 다른 제스처들을 만드는 때 손목의 각 부분의 근육 변화 또는 모션 변화에 의해 야기된 다른 압력에 따라 결정될 수 있다. 센서가 사용자의 손바닥 위에 배치되면, 사용자의 제스처 모션들은 또한 손바닥의 각 부분의 근육 변화 또는 모션 변화에 의해 야기된 다른 압력에 따라 결정될 수 있다. 센서가 사용자의 손가락 위에 배치되면, 손가락 위의 센서는 사용자의 엄지의 터치 정보를 직접 검출할 수 있고, 사용자의 제스처 정보를 더 결정할 수 있다. 사용자의 손 위에 배치되는 센서의 위치에도 불구하고, 센서는 모드-이네이블링 제스처의 관련된 센싱 정보를 검출하기 위해 사용될 수 있을 뿐 아니라, 시스템이 키보드 입력 모드 또는 마우스 입력 모드로 진입한 후에 사용자가 손바닥 또는 손가락 상에서의 슬라이드 동작 또는 탭 동작을 수행하는 때, 관련된 제스처의 센싱 정보를 검출하기 위해 사용될 수 있음을 유의해야 한다.
단계(302): 압력 값에 따라 사용자의 손목 또는 손바닥에 위치한 센서의 변위 값을 결정한다.
일반적으로, 더 큰 압력 변화는 더 큰 변위 값을 의미한다. 사용자가 센서를 가진 장치를 착용한 후, 사용자가 어떠한 제스처 모션도 취하지 않는 경우, 센서를 가진 장치와 사용자의 손 피부 사이의 접촉 압력은 기본적으로 안정적인 초기 값을 가진다. 그러나, 사용자가 제스처 모션을 취하는 경우, 손의 일부의 압력 값은 커질 수 있거나, 또는 작아질 수 있다. 그러므로, 손 근육들의 변위도 다른 벡터 방향을 가질 수 있다. 큰 압력은 원래의 위치로부터 센서가 이동한 큰 변위 값을 나타낸다. 본 실시예에서, 검출 결과의 정확성을 개선하기 위해, 사용자의 손목 또는 손 바닥 상에 배치된 다수의 센서가 존재할 수 있고, 센서들은 요구사항에 따라 다른 부분들 상에 배치될 수 있다.
단계(303): 변위 값에 따라, 사용자에 의해 입력된 모드-이네이블링 제스처 정보를 결정한다.
도 4는 본 발명의 실시예에 따라 손목 밴드에 배치된 센서의 위치를 나타낸 개략도이다. 도 4에 도시된 바와 같이, 압력 센서들의 라운드(round)는 손목 밴드 내에서 배치될 수 있고, 여기서 사용자 제스처가 변화하는 경우, 각 센서는 측정된 압력 변동 값에 따라, 센서의 초기 위치로부터 센서의 위치 오프셋을 획득할 수 있다(즉, 사용자가 어떤 모션도 취하지 않는 때, 센서의 위치 그리고 손은 자연스러운 상태에 있다). 이 방식에서, 손가락 모션 때문에, 사용자 손목의 근육 그룹이 변화하는 한, 사용자의 제스처 모션은 센서들에 의해 검출된 데이터에 따라 최종적으로 결정될 수 있다. 손가락에 보다 가까운 근육 그룹은 더 명백하게 변화한다. 그러므로, 손목 밴드 내의 센서들은 손가락에 가까운 위치에 배치될 수 있다.
실제 상황에서, 사용자가 매번 손목 밴드를 차는 위치는 다를 수 있다. 그러므로, 매번 손목 밴드 내의 센서들에 의해 검출된 데이터도 상이하고, 그것에 의해 데이터는 검출 결과의 정확성에 영향을 미친다. 본 실시예에서, 검출 결과의 정확성 상의 전술한 문제점의 영향을 해결하기 위해, 다음은 두 가지 솔루션을 제공한다.
제1 솔루션: 센서에 의해 검출된 데이터와 손목 밴드가 다른 위치들에 있는 때의 제스처 모션 사이의 대응관계를 저장 가능한 광범위한 데이터베이스를 구축한다.
제2 솔루션: 손목 밴드 내에 센서들의 다수의 라운드를 배치한다. 손목 밴드를 처음 사용하는 때, 사용자는 손목 밴드의 중간에 위치한 센서들의 라운드에 의해 검출된 데이터를 사용할 수 있고, 손목 밴드의 중간에 위치한 센서들의 라운드가 사용자의 제스처 모션을 정확하게 식별할 수 있음을 보장하도록, 관련 캘리브레이션 작업을 완료할 수 있다. 사용자가 계속해서 밴드를 사용하는 때, 밴드의 위치는 이전 위치와 다를 수 있다. 이 경우, 손목 밴드의 센서들의 각 라운드는 관련 변위 데이터에 따라 손목 밴드의 현재 위치를 직접 결정할 수 있고(손목의 상이한 위치들은 다른 둘레를 갖고, 그러므로 손목 상에서 손목 밴드의 위치를 추정할 수 있도록, 센서들의 현재 라운드에 의해 형성된 단면 형상이 센서들에 의해 검출된 변위 데이터에 따라 계산에 의해 획득될 수 있음), 편차 보정을 완료할 수 있도록, 센서들의 현재 위치와 손목 밴드가 처음으로 사용되는 때의 센서들의 위치간의 위치 차이를 계산한다. 또는, 손목 밴드의 사용 프로세스 내에서, 손목 밴드가 처음으로 사용되는 때의 손목 밴드 중간에 위치한 센서들의 라운드와 가장 가까운 센서들의 라운드가 센서들의 각 라운드에 대응하는 현재 위치 정보에 따라 자동으로 발견되고, 발견된 센서들의 라운드에 의해 검출된 데이터가 사용된다.
캘리브레이션 프로세스는 다음과 같을 수 있다. 1. 사용자가 손목 밴드를 착용한다. 2. 손목 밴드가 단말과의 통신을 확립한다. 3. 캘리브레이션 모드를 이네이블링한다. 4. 단말의 표시 스크린 상에 캘리브레이션 인터페이스를 표시한다. 5. 손목 밴드가 단말이 “1”키를 표시하도록 명령한다. 6. 사용자가 손목 밴드를 착용한 손의 엄지를 사용하여 “1”키가 눌림을 지시하는 검지의 첫 번째 손가락 관절을 터치하고, 단말이 인식을 완료할 때까지 터치가 계속된다. 7. 손목 밴드 내의 센서의 현재 위치 정보가 손목 밴드 내에서 기록되고, 현재 위치 정보가 “1”키의 캘리브레이션을 완료하기 위한 기준으로서 사용된다. 다른 키들의 캘리브레이션 프로세스를 위해, 전술한 “1”키의 캘리브레이션 프로세스를 참고한다.
물론, 사용자의 모드-이네이블링 제스처 정보를 획득하기 위한 전술한 방법은 사용자의 다른 제스처 정보를 획득하는 것에도 적용이 가능하다.
본 실시예에서, 모드-이네이블링 제스처 정보를 획득하기 위한 특정 방법이 설명되었으나, 이는 사용자의 제스처 정보를 획득하기 위한 유일한 방법은 아니다. 예를 들어, 사용자의 제스처 정보는 생체 전기를 사용하여 사용자의 제스처 정보를 인식하는 방법을 사용함으로써, 그리고 접촉 센서가 글러브의 손가락 위치에 설치되는 방법을 사용함으로써, 더 획득될 수 있다. 사용자의 손 위에 배치되는 센서의 위치에도 불구하고, 센서는 모드-이네이블링 제스처의 관련된 센싱 정보를 검출하기 위해 사용될 수 있을 뿐 아니라, 시스템이 키보드 입력 모드 또는 마우스 입력 모드로 진입한 후에 사용자가 손바닥 또는 손가락 상에서의 슬라이드 동작 또는 탭 동작을 수행하는 때, 관련된 제스처의 센싱 정보를 검출하기 위해 사용될 수 있음을 유의해야 한다.
도 5는 본 발명의 실시예에 따른 다른 정보 처리 방법의 순서도이다. 도시된 바와 같이, 정보 처리 방법은 단계(501) 내지 단계(505)를 포함할 수 있다.
단계(501): 사용자의 모드-이네이블링 제스처 정보를 획득한다.
단계(502): 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링한다.
입력 모드는 키보드 입력 모드 및 마우스 입력 모드를 포함한다.
단계(503): 입력 모드에서 상기 사용자의 제스처 정보를 획득한다.
제스처 정보는 탭-제스처 정보 및/또는 슬라이드-제스처 정보를 포함한다.
단계(504): 제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 제스처 정보에 대응하는 동작 명령을 생성한다.
단계(505): 단말에 동작 명령을 전송한다.
단말이 동작 명령에 응답할 수 있도록, 동작 명령은 단계(505)에서 단말에 전송되고, 그것에 의해 단말은 인간-컴퓨터 상호작용을 구현한다.
본 실시예에서, 사용자는 단지 통상적 입력 동작 방식, 예를 들어, 탭 동작 및 터치-슬라이드 동작을 사용하여 단말의 편리한 제어를 구현할 수 있다. 이 방법에서, 사용자는 특정 제스처 모션들과 특정 동작들간의 다수의 대응관계를 기억할 필요가 없다. 단지 사용자의 통상적 기본 입력 동작과 표준 키보드 및/또는 마우스 동작 이벤트 사이의 사전 대응관계를 정보 처리 방법의 실행 주체로 이식함으로써, 편리하게 입력 동작을 수행하고, 단말기를 제어하는 목적을 달성할 수 있다.
도 6은 본 발명의 실시예에 따른 제3 정보 처리 방법의 순서도이다. 도 6에 도시된 바와 같이, 정보 처리 방법은 단계(601) 내지 단계(603)를 포함할 수 있다.
단계(601): 키보드 입력 모드에 진입하였는지 확인한다.
키보드 입력 모드에서, 사용자의 검지, 중지, 약지 및 소지의 12 개의 손가락 관절 또는 지골과 12-키 키패드의 12 개의 키 사이에 일대일 대응이 존재한다.
단계(602): 사용자가 검지, 중지, 약지 및 소지 중 임의의 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득한다.
단계(603): 탭-제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 탭-제스처 정보에 대응하는 동작 명령을 생성한다.
본 실시예에서, 12-키 키패드의 키들은 각각 12 개의 손가락 관절 또는 지골에 일대일 대응하고, 이러한 대응관계는 시스템 내에 미리 구성될 수 있다. 때문에, 기본적으로 모든 사용자는 12-키 키패드의 사용법에 매우 친숙하고, 여러 손가락 관절 또는 지골의 위치를 정확하게 감지할 수 있기 때문에, 사용자는 12-키 키패드의 각 키와 고정된 제스처 모션 사이의 대응관계를 기억할 필요 없이 편리하고 빠르게 정보 입력을 구현할 수 있다.
도 7은 본 발명의 실시예에 따른 제4 정보 처리 방법의 순서도이다. 도 7에 도시된 바와 같이, 방법은 단계(701) 내지 단계(703)을 포함할 수 있다.
단계(701): 마우스 입력 모드에 진입하였는지 확인한다.
단계(702): 검지, 중지, 약지 및 소지 상에서 사용자의 슬라이드-제스처 정보 및/또는 검지, 중지, 약지 및 소지의 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득한다.
단계(703): 슬라이드-제스처 정보 및/또는 탭-제스처 정보와 동작 명령 사이의 소정의 대응관계에 따라, 슬라이드-제스처 정보 및/또는 탭-제스처 정보에 대응하는 동작 명령을 생성한다
슬라이드-제스처 정보는 마우스 포인터의 이동 트랙 정보에 대응하고, 탭-제스처 정보는 좌측 또는 우측 마우스 버튼의 트리거 정보에 대응한다.
본 실시예에서, 사용자가 편리하고 효과적인 친숙한 마우스 동작 방식 또는 터치스크린 동작 방식으로 손바닥 상의 제스처 모션을 수행함으로써, 입력 동작을 직접적으로 구현하고, 사용자가 제스처 모션들과 동작들 사이의 다수의 대응관계를 기억할 필요가 없도록, 사용자의 고정된 제스처 정보의 여러 조각들은 마우스 동작의 여러 기본 동작에 대응한다.
본 발명에서 개시된 전술한 실시예들은 방법들을 상세히 설명한다. 본 발명의 방법들은 다양한 형태의 장치들을 사용하여 구현될 수 있다. 그러므로, 본 발명은 특정 실시예를 사용함으로써 다음에서 상세히 설명되는 장치를 더 개시한다.
도 8은 본 발명의 실시예에 따른 정보 처리 장치의 개략적인 구조도이다. 도 8에 도시된 바와 같이, 정보 처리 장치(80)는 제1 획득 모듈(810), 모드 이네이블링 모듈(802), 제2 획득 모듈(803), 및 명령 생성 모듈(804)를 포함할 수 있다.
제1 획득 모듈(801)은 사용자의 모드-이네이블링 제스처 정보를 획득하도록 구성된다.
본 발명의 실시예에서, 사용자를 위한 다수의 입력 모드가 존재할 수 있고, 각각의 입력 모드는 하나의 모드-이네이블링 제스처에 대응한다.
모드 이네이블링 모듈(802)은 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링하도록 구성된다.
입력 모드는 키보드 입력 모드 및 마우스 입력 모드를 포함한다. 여기에서 설명되는 키보드 입력 모드는 이 모드에서, 사용자가 직접적으로 손가락의 일부를 탭핑하여 공지된 키보드의 문자를 트리거링할 수 있음을 나타내고, 여기서 문자는 숫자, 영문자, 또는 고정된 기능을 갖는 심볼일 수 있다. 전술한 마우스 입력 모드는 이 모드에서, 사용자는 마우스를 조작하는 것과 같이 손바닥 상의 동작을 수행할 수 있다. 이 경우, 동작은 슬라이드 동작 및 탭 동작을 포함한다. 물론, 전술한 두 가지 경우, 사용자의 제스처 정보와 표준 키보드 또는 마우스 동작 이벤트간의 대응관계는 미리 구성되어야 한다.
입력 모드에서 사용자의 제스처 정보를 획득하도록 구성된 제2 획득 모듈(803), 여기서 제스처 정보는 탭-제스처 정보 및/또는 슬라이드-제스처 정보를 포함한다.
동일한 제스처 정보에 대해, 다른 입력 모드들 내에서 다른 처리 및 응답 결과가 획득될 수 있고, 제스처 정보의 조각은 하나의 입력 모드 내에서 처리되고, 응답될 수 있으나, 다른 입력 모드 내에서 처리되지 않거나, 응답되지 않을 수 있음을 유의해야 한다.
명령 생성 모듈(804)은 제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 제스처 정보에 대응하는 동작 명령을 생성하도록 구성된다.
제스처 정보와 동작 명령간의 대응관계는 종래 기술을 사용하여 구현될 수 있는 시스템 프로그램에 사전에 이식된다. 그러나, 본 발명의 실시예에서, 다수의 입력 모드가 소개되고, 각각의 입력 모드에서, 제스처 정보 및 동작 명령간의 별도의 대응관계가 존재하며, 다른 처리 및 응답 결과는 다른 입력 모드에서 전술한 바와 같은 동일한 제스처 정보에 대해 획득될 수 있기 때문이다.
본 실시예에서, 정보 처리 장치는 사용자에 의해 입력된 모드-이네이블링 제스처 정보를 먼저 획득하고, 사용자에 의해 입력된 모드-이네이블링 제스처 정보에 따라 대응하는 입력 모드로 진입하며, 그리고 결정된 입력 모드 내에서 사용자의 제스처 정보를 확인하고, 또한 제스처 정보와 동작 명령 사이의 소정의 대응관계에 따라 사용자의 의도를 식별할 수 있다. 전술한 입력 모드는 키보드 입력 모드 및 마우스 입력 모드를 포함한다. 이러한 방식으로, 사용자는 단지 통상적 입력 동작 방식, 예를 들어, 탭 동작 및 터치-슬라이드 동작을 사용하여 친숙한 입력 모드 환경 내에서 단말의 편리한 제어를 구현할 수 있다. 장치는 사용자가 특정 제스처 모션들과 특정 동작들간의 다수의 대응관계를 기억하는 것을 요구하지 않는다. 단지 사용자의 통상적 기본 입력 동작과 표준 키보드 및 마우스 동작 이벤트 사이의 사전 대응관계를 정보 처리 방법의 실행 주체로 이식함으로써, 편리하게 입력 동작을 수행하고, 통상적인 동작 방식으로 사용자가 단말기를 제어하는 목적을 달성할 수 있다.
전술한 실시예에서, 입력 모드가 키보드 입력 모드인 경우, 사용자의 검지, 중지, 약지 및 소지의 12 개의 손가락 관절 또는 지골과 12-키 키패드의 12 개의 키 사이에 일대일 대응이 존재하고, 제2 획득 모듈은 구체적으로, 키보드 입력 모드에서, 사용자가 검지, 중지, 약지 및 소지 중 임의의 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하도록 구성될 수 있다.
12-키 키패드의 12 키의 4*3 배열은 손 구조 내에서 검지, 중지, 약지, 및 소지의 12 개의 손가락 관절 또는 지골의 4*3 배열과 동일하므로, 12-키 키패드의 12 개의 키들은 12 개의 손가락 관절 또는 지골에 일대일 대응될 수 있다는 것이 이해될 수 있다. 그러나, 본 실시예에서, 특정 대응 순서는 구체적으로 제한되지 않고, 특히, 사용자의 선호도 및 습관에 따라 설정될 수 있다.
본 실시예에서, 12-키 키패드의 키들은 각각 12 개의 손가락 관절 또는 지골에 일대일 대응하고, 이러한 대응관계는 시스템 내에 미리 구성될 수 있다. 때문에, 기본적으로 모든 사용자는 12-키 키패드의 사용법에 매우 친숙하고, 여러 손가락 관절 또는 지골의 위치를 정확하게 감지할 수 있기 때문에, 사용자는 12-키 키패드의 각 키와 고정된 제스처 모션 사이의 대응관계를 기억할 필요 없이 편리하고 빠르게 정보 입력을 구현할 수 있다.
제1 실시예에서, 입력 모드가 마우스 입력 모드인 경우, 제2 획득 모듈은 구체적으로 마우스 입력 모드에서, 사용자의 검지, 중지, 약지 및 소지 상에서의 슬라이딩하는 슬라이드-제스처 정보 및/또는 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하도록 구성될 수 있다.
마우스 입력 모드에서, 사용자의 슬라이드-제스처 정보는 마우스 포인터의 이동 트랙 정보에 대응하고, 사용자의 탭-제스처 정보는 좌측 또는 우측 마우스 버튼의 트리거 정보에 대응하는 것으로 미리 구성될 수 있다.
구체적으로, 사용자의 사용을 용이하게 하기 위해, 본 실시예에서, 마우스 입력 모드 내에서, 사용자에 의해 검지, 중지, 약지, 및 소지 중 임의의 손가락 끝을 탭핑하는 제스처 모션은 좌측 마우스 버튼 트리거 동작으로서 정의될 수 있다.
본 실시예에서, 사용자가 편리하고 효과적인 친숙한 마우스 동작 방식 또는 터치스크린 동작 방식으로 손바닥 상의 제스처 모션을 수행함으로써, 입력 동작을 직접적으로 구현하고, 사용자가 제스처 모션들과 동작들 사이의 다수의 대응관계를 기억할 필요가 없도록, 사용자의 고정된 제스처 정보의 여러 조각들은 마우스 동작의 여러 기본 동작에 대응한다.
전술한 실시예에서, 다른 입력 모드들에 대응하는 모드-이네이블링 제스처들은 고정적으로 제한되지 않는 것으로 이해될 수 있다. 사용자의 사용을 용이하게 하기 위해, 본 실시예에서, 모드 이네이블링 모듈은 제1 모드 이네이블링 모듈 및 제2 이네이블링 모듈을 포함하고, 제1 모드 이네이블링 모듈은 모드-이네이블링 제스처 정보가 사용자의 검지, 중지, 약지, 및 소지를 펴는 제스처에 대응하는 경우, 키보드 입력 모드를 이네이블링하도록 구성될 수 있고, 모드-이네이블링 제스처 정보가 검지, 중지, 약지, 및 소지를 사용자의 손바닥 쪽으로 마는 제스처에 대응하는 경우, 마우스 입력 모드를 이네이블링하도록 구성될 수 있다.
검지, 중지, 약지, 및 소지의 다른 손가락 관절 또는 지골을 탭핑할 때, 사용자는 무의식적으로 여러 손가락을 구분할 수 있기 때문에, 사용자의 검지, 중지, 약지, 및 소지를 펴는 제스처는 키보드 입력 모드에 대응하고, 사용자의 검지, 중지, 약지, 및 소지를 마는 제스처는 마우스 입력 모드에 대응하며, 그리고 말린 네 손가락에 의해 형성된 “패널”은 사용자의 동작 습관에 상대적으로 가까운 표시 스크린을 시뮬레이팅하기 위해 사용될 수 있다. 물론, 키보드 입력 모드 및 마우스 입력 모드의 모드-이네이블링 제스처는 고정적으로 제한되지 않는다.
전술한 실시예에서, 제1 획득 모듈(801)은 구체적으로 사용자의 손목 또는 손바닥 상에 배치된 센서에 의해 검출된 사용자의 모드-이네이블링 제스처 정보를 획득하도록 구성될 수 있다. 이에 대응하여, 제2 획득 모듈은 구체적으로 사용자의 손목 또는 손바닥 상에 배치된 센서에 의해 검출된 사용자의 제스처 정보를 획득하도록 구성될 수 있다. 사용자의 손목 또는 손바닥 상에 배치된 센서는 센서를 착용한 손의 제스처 모션 정보를 검출할 수 있다.
도 9는 본 발명의 실시예에 따른 제1 획득 모듈의 개략적인 구조도이다. 도 9에 도시된 바와 같이, 제1 획득 모듈(801)은 구체적으로 획득 서브모듈(901), 계산 모듈(902), 및 제스처 결정 모듈(903)을 포함할 수 있다.
획득 서브모듈(901)은 사용자의 손목 또는 손바닥에 위치한 센서가 사용자의 입력 모드-이네이블링 제스처 모션 또는 제스처 모션을 감지하는 때, 손목 또는 손바닥의 각 부분의 압력 값을 획득하도록 구성된다.
사용자의 손목 위에 배치된 센서는 손목 밴드 내에 배치될 수 있고, 사용자의 손바닥 위에 배치된 센서는 글러브(glove) 또는 미튼(mitten) 내에 배치될 수 있다. 센서가 사용자의 손목 위에 배치되면, 사용자의 제스처 모션들은 사용자가 다른 제스처들을 만드는 때 손목의 각 부분의 근육 변화 또는 모션 변화에 의해 야기된 다른 압력에 따라 결정될 수 있다. 센서가 사용자의 손바닥 위에 배치되면, 사용자의 제스처 모션들은 또한 손바닥의 각 부분의 근육 변화 또는 모션 변화에 의해 야기된 다른 압력에 따라 결정될 수 있다. 센서가 사용자의 손가락 위에 배치되면, 손가락 위의 센서는 사용자의 엄지의 터치 정보를 직접 검출할 수 있고, 사용자의 제스처 정보를 더 결정할 수 있다.
계산 모듈(902)은 압력 값에 따라 사용자의 손목 또는 손바닥에 위치한 센서의 변위 값을 결정하도록 구성된다.
일반적으로, 더 큰 압력 변화는 더 큰 변위 값을 의미한다. 압력이 커지거나, 또는 작아지는 두 가지 경우가 있다. 그러므로, 변위도 다른 방향을 가질 수 있다. 큰 압력은 원래의 위치로부터 센서가 이동한 큰 변위 값을 나타낸다. 본 실시예에서, 검출 결과의 정확성을 개선하기 위해, 사용자의 손목 또는 손 바닥 상에 배치된 다수의 센서가 존재할 수 있고, 센서들은 요구사항에 따라 다른 부분들 상에 배치될 수 있다.
제스처 결정 모듈(903)은 변위 값에 따라, 사용자에 의해 입력된 모드-이네이블링 제스처 정보를 결정하도록 구성된다.
센서가 손가락에 보다 가까운 경우, 근육 그룹은 더 명백하게 변화한다. 그러므로, 손목 밴드 내의 센서들은 손가락에 가까운 위치에 배치될 수 있다.
본 실시예에서, 모드-이네이블링 제스처 정보를 획득하기 위한 특정 방법이 설명되었으나, 이는 사용자의 제스처 정보를 획득하기 위한 유일한 방법은 아니다. 예를 들어, 사용자의 제스처 정보는 생체 전기를 사용하여 사용자의 제스처 정보를 인식하는 방법을 사용함으로써, 그리고 접촉 센서가 글러브의 손가락 위치에 설치되는 방법을 사용함으로써, 더 획득될 수 있다.
도 10은 본 발명의 실시예에 따른 다른 정보 처리 장치의 개략적인 구조도이다. 도 10에 도시된 바와 같이, 정보 처리 장치(100)는,
사용자의 모드-이네이블링 제스처 정보를 획득하도록 구성된 제1 획득 모듈(801),
모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링하도록 구성된 모드 이네이블링 모듈(802),
입력 모드에서 상기 사용자의 제스처 정보를 획득하도록 구성된 제2 획득 모듈(803)
제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 제스처 정보에 대응하는 동작 명령을 생성하도록 구성된 명령 생성 모듈(804), 그리고
단말이 동작 명령에 응답할 수 있도록, 단말에 상기 동작 명령을 전송하도록 구성된 명령 전송 모듈(1001)을 포함할 수 있고, 입력 모드는 키보드 입력 모드 및 마우스 입력 모드를 포함하며, 제스처 정보는 탭-제스처 정보 및/또는 슬라이드-제스처 정보를 포함한다.
단말이 동작 명령에 응답할 수 있도록, 명령 전송 모듈(1001)은 동작 명령을 단말에 전송하고, 그것에 의해 단말은 인간-컴퓨터 상호작용을 구현한다.
본 실시예에서, 사용자는 단지 통상적 입력 동작 방식, 예를 들어, 탭 동작 및 터치-슬라이드 동작을 사용하여 단말의 편리한 제어를 구현할 수 있다. 이 방법에서, 사용자는 특정 제스처 모션들과 특정 동작들간의 다수의 대응관계를 기억할 필요가 없다. 단지 사용자의 통상적 기본 입력 동작과 표준 키보드 및/또는 마우스 동작 이벤트 사이의 사전 대응관계를 정보 처리 방법의 실행 주체로 이식함으로써, 인간-컴퓨터 상호작용의 프로세스가 편리하게 구현될 수 있다.
도 11은 본 발명의 실시예에 따른 제3 정보 처리 장치의 개략적인 구조도이다. 도 11에 도시된 바와 같이, 정보 처리 장치(110)은,
시스템이 키보드 입력 모드에 진입하였는지 확인하도록 구성된 제1 입력 이네이블링 모듈(1101), 여기서 키보드 입력 모드에서, 사용자의 검지, 중지, 약지 및 소지의 12 개의 손가락 관절 또는 지골과 12-키 키패드의 12 개의 키 사이에 일대일 대응이 존재하고,
사용자가 검지, 중지, 약지 및 소지 중 임의의 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하도록 구성된 제1 제스처 획득 모듈(1102), 그리고
탭-제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 탭-제스처 정보에 대응하는 동작 명령을 생성하도록 구성된 제1 명령 생성 모듈(1103)을 포함할 수 있다.
본 실시예에서, 12-키 키패드의 키들은 각각 12 개의 손가락 관절 또는 지골에 일대일 대응하고, 이러한 대응관계는 시스템 내에 미리 구성될 수 있다. 때문에, 기본적으로 모든 사용자는 12-키 키패드의 사용법에 매우 친숙하고, 여러 손가락 관절 또는 지골의 위치를 정확하게 감지할 수 있기 때문에, 사용자는 12-키 키패드의 각 키와 고정된 제스처 모션 사이의 대응관계를 기억할 필요 없이 편리하고 빠르게 정보 입력을 구현할 수 있다.
도 12는 본 발명의 실시예에 따른 제4 정보 처리 장치의 개략적인 구조도이다. 도 12에 도시된 바와 같이, 정보 처리 장치(120)는,
시스템이 마우스 입력 모드에 진입하였는지 확인하도록 구성된 제2 입력 이네이블링 모듈(1201),
검지, 중지, 약지 및 소지 상에서 사용자의 슬라이드-제스처 정보 및/또는 검지, 중지, 약지 및 소지의 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하도록 구성된 제2 제스처 획득 모듈(1202), 그리고
슬라이드-제스처 정보 및/또는 탭-제스처 정보와 동작 명령 사이의 소정의 대응관계에 따라, 상기 슬라이드-제스처 정보 및/또는 상기 탭-제스처 정보에 대응하는 동작 명령을 생성하도록 구성된 제2 명령 생성 모듈(1203)을 포함할 수 있다..
슬라이드-제스처 정보는 마우스 포인터의 이동 트랙 정보에 대응할 수 있고, 탭-제스처 정보는 좌측 또는 우측 마우스 버튼의 트리거 정보에 대응할 수 있다.
본 실시예에서, 사용자가 편리하고 효과적인 친숙한 마우스 동작 방식 또는 터치스크린 동작 방식으로 손바닥 상의 제스처 모션을 수행함으로써, 입력 동작을 직접적으로 구현하고, 사용자가 제스처 모션들과 동작들 사이의 다수의 대응관계를 기억할 필요가 없도록, 사용자의 고정된 제스처 정보의 여러 조각들은 마우스 동작의 여러 기본 동작에 대응한다.
또한, 본 발명의 실시예는 정보 처리 디바이스를 더 개시하고, 정보 처리 디바이스는 전술한 실시예들에서 개시된 정보 처리 장치 중 어느 하나를 포함한다. 정보 처리 디바이스가 전술한 실시예들에서 개시된 정보 처리 장치 중 어느 하나를 포함하기 때문에, 정보 처리 디바이스는 사용자에 의해 입력된 모드-이네이블링 제스처 정보를 먼저 획득하고, 사용자에 의해 입력된 모드-이네이블링 제스처 정보에 따라 대응하는 입력 모드로 진입하며, 그리고 결정된 입력 모드 내에서 사용자의 제스처 정보를 확인하고, 또한 제스처 정보와 동작 명령 사이의 소정의 대응관계에 따라 사용자의 의도를 식별할 수 있다. 전술한 입력 모드는 키보드 입력 모드 및 마우스 입력 모드를 포함한다. 이러한 방식으로, 사용자는 단지 통상적 입력 동작 방식, 예를 들어, 탭 동작 및 터치-슬라이드 동작을 사용하여 친숙한 입력 모드 환경 내에서 단말의 편리한 제어를 구현할 수 있다. 디바이스는 사용자가 특정 제스처 모션들과 특정 동작들간의 다수의 대응관계를 기억하는 것을 요구하지 않는다. 단지 사용자의 통상적 기본 입력 동작과 표준 키보드 및 마우스 동작 이벤트 사이의 사전 대응관계를 정보 처리 방법의 실행 주체로 이식함으로써, 통상적인 동작 방식으로 사용자가 단말기를 제어하는 목적을 달성할 수 있다.
바람직하게는, 정보 처리 디바이스는 처리 기능을 가지고, 사용자의 손에 착용 가능한 모든 장치일 수 있다. 정보 처리 디바이스는 단말과 무선 통신 방식 또는 블루투스(Bluetooth) 방식으로 정보를 교환할 수 있다. 구체적으로, 정보 처리 디바이스는 단말이 동작 명령에 따른 응답 동작을 수행할 수 있도록, 사용자의 제스처 정보에 따라 생성된 동작 명령을 단말에 전송할 수 있다. 도 13은 본 발명의 실시예에 따른 정보 처리 디바이스와 단말 사이의 통신을 나타낸 개략도이다.
바람직하게는, 정보 처리 디바이스는 전술한 정보 처리 장치 및 단말 기능이 통합된 지능형 단말, 예를 들어, 휴대 지능형 단말일 수 있다. 스마트워치는 휴대 지능형 단말의 일례로서 사용된다. 센서들은 워치의 손목 밴드 내에 배치될 수 있고, 시계 밴드 내의 센서들은 사용자가 다른 제스처들을 취할 때 손목의 각 부분의 근육 변화 및 모션 변화에 의해 야기된 다른 압력에 따라 사용자의 제스처 모션을 결정할 수 있다. 이 방식에서, 손가락 모션 때문에, 사용자 손목의 근육 그룹이 변화하는 한, 사용자의 제스처 모션은 센서들에 의해 검출된 데이터에 따라 최종적으로 결정될 수 있고, 센서들은 정보 처리 장치로 검출된 제스처 정보를 전송할 수 있다. 사용자의 제스처 정보를 획득하고, 대응하는 동작 명령을 생성한 후에, 정보 처리 장치는 무선 통신 모듈 또는 블루투스 모듈을 사용하여 스마트워치에 동작 명령을 전송할 필요가 없으나, 스마트워치 내부의 통신선을 이용하여 동작 명령을 전달할 필요가 있음을 유의해야 한다. 또한, 동작 명령을 수신한 후에, 스마트워치도 정상적으로 동작 명령에 응답할 수 있다. 그러므로, 전술한 쉽게-기억하는 장점과 더불어, 특히, 정보 처리 디바이스가 전술한 정보 처리 장치 및 단말 기능을 통합한 지능형 단말, 예를 들어 휴대 지능형 단말인 경우, 입력 정확도는 개선될 수 있다. 스마트워치의 휴대성 때문에, 스마트워치의 입력 인터페이스는 상대적으로 작다. 전화 번호를 입력하는 것을 예로서 사용한다. 숫자 1, 2, …, 9, 및 0이 손가락을 사용하여 입력되는 경우, 보통 입력 인터페이스가 작기 때문에 숫자들은 정확하게 입력될 수 없다. 그러나, 본 발명의 실시예의 정보 처리 방법을 이용함으로써, 각 숫자는 고정된 대응하는 제스처 정보의 일부를 가진다. 그러므로, 사용자의 제스처 정보를 인식함으로써 사용자가 입력하려는 숫자가 정확하게 결정될 수 있고, 이에 의해, 사용자가 정보를 정확하게 입력할 수 없는 케이스를 크게 감소시키거나 심지어는 방지할 수 있다.
도 14는 본 발명의 실시예에 따른 정보 처리 디바이스의 개략적인 구조도이다. 도 14에 도시된 바와 같이, 정보 처리 디바이스(140)는 센서(1401), 프로세서(1402), 통신 장치(1403), 메모리(1404), 및 버스(1405)를 포함할 수 있다.
센서(1401), 프로세서(1402), 통신 장치(1403), 및 메모리(1404)는 버스(1405)를 통해 상호 통신을 완료한다.
센서(1401)는 사용자의 제스처 정보를 수집하도록 구성된다. 센서(1401)는 접촉 센서, 압력 센서, 또는 생물학적 정전 센서일 수 있다. 센서가 사용자의 다른 모드-이네이블링 제스처 정보 및 제스처 정보를 검출할 수 있는 한, 센서는 본 실시 예에 적용될 수 있다.
메모리(1404)는 프로그램 명령들의 그룹을 저장하도록 구성된다.
메모리는 고속 RAM 메모리일 수 있거나, 또는 불휘발성 메모리(non-volatile memory), 예를 들어 적어도 하나의 자기 디스크 메모리일 수 있다. 프로세서(1402)는 메모리(1404)에 저장된, 사용자의 센서에 의해 검출될 수 있고, 프로세서(1402)로 전송될 수 있는 모드-이네이블링 제스처 정보를 획득하고, 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링하며, 여기서 입력 모드는 키보드 입력 모드 및 마우스 입력 모드를 포함하고, 입력 모드에서 사용자의 제스처 정보를 획득하며, 여기서 제스처 정보는 탭-제스처 정보 및/또는 슬라이드-제스처 정보를 포함하고, 제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 제스처 정보에 대응하는 동작 명령을 생성하는 프로그램 명령을 호출하도록 구성된다.
본 발명의 실시예에서, 사용자를 위한 다수의 입력 모드가 존재할 수 있고, 각각의 입력 모드는 하나의 모드-이네이블링 제스처에 대응한다. 이러한 방식으로, 프로세서(1402)는 사용자에 의해 입력되는 모드-이네이블링 제스처 정보에 따라, 사용자에게 사용을 용이하게 하고 사용자가 현재 원하는 입력 모드를 자동으로 식별할 수 있다.
키보드 입력 모드는 이 모드에서, 사용자가 직접적으로 손가락의 일부를 탭핑하여 공지된 키보드의 문자를 트리거링할 수 있음을 나타내고, 여기서 문자는 숫자, 영문자, 또는 고정된 기능을 갖는 심볼, 예를 들어, “#”키일 수 있다. 물론, 사용자에 의해 손가락의 일부를 탭핑하거나 트리거링하는 제스처 정보와 공지의 키보드의 각각의 키간의 대응관계는 미리 구성되어야 한다.
동일한 제스처 정보에 대해, 다른 입력 모드들 내에서 다른 처리 및 응답 결과가 획득될 수 있고, 제스처 정보의 조각은 하나의 입력 모드 내에서 처리되고, 응답될 수 있으나, 다른 입력 모드 내에서 처리되지 않거나, 응답되지 않을 수 있음을 유의해야 한다.
프로세서(1402)는 중앙 처리 유닛(CPU) 또는 주문형 반도체(ASIC, Application-Specific Integrated Circuit)일 수 있거나, 또는 본 발명의 본 실시예를 구현하기 위해 구성된 하나 이상의 집적회로일 수 있다.
통신 장치(1403)는 서비스 운영 작업 내에서 데이터를 수신하도록 구성된다. 통신 장치(1403)는 구체적으로 무선 통신 장치 또는 블루투스 장치일 수 있고, 프로세서(1402)에 의해 생성된 동작 명령은 무선 통신 장치 또는 블루투스 장치를 이용하여 단말에 전송되고, 단말은 동작 명령에 응답할 수 있다.
도 15는 본 발명의 실시예에 따른 다른 정보 처리 디바이스의 개략적인 구조도이다. 도 15에 도시된 바와 같이, 지능형 단말(150)은 센서(1501), 프로세서(1502), 메모리(1503), 및 버스(1504)를 포함할 수 있다.
센서(1501), 프로세서(1502), 및 메모리(1503)는 버스(1504)를 통해 상호 통신을 완료한다.
센서(1501)는 사용자의 제스처 정보를 수집하도록 구성된다. 센서(1501)는 접촉 센서, 압력 센서, 또는 생물학적 정전 센서일 수 있다. 센서가 사용자의 다른 모드-이네이블링 제스처 정보 및 제스처 정보를 검출할 수 있는 한, 센서는 본 실시 예에 적용될 수 있다.
메모리(1503)는 프로그램 명령들의 그룹을 저장하도록 구성된다.
메모리는 고속 RAM 메모리일 수 있거나, 또는 불휘발성 메모리(non-volatile memory), 예를 들어 적어도 하나의 자기 디스크 메모리일 수 있다.
프로세서(1502)는 메모리(1503)에 저장된, 사용자의 센서에 의해 검출될 수 있는 모드-이네이블링 제스처 정보를 획득하고, 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링하며, 여기서 입력 모드는 키보드 입력 모드 및 마우스 입력 모드를 포함하고, 입력 모드에서 사용자의 제스처 정보를 획득하며, 여기서 제스처 정보는 탭-제스처 정보 및/또는 슬라이드-제스처 정보를 포함하고, 제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 제스처 정보에 대응하는 동작 명령을 생성하며, 그리고 동작 명령에 응답하는 프로그램 명령을 호출하도록 구성된다.
본 발명의 실시예에서, 사용자를 위한 다수의 입력 모드가 존재할 수 있고, 각각의 입력 모드는 하나의 모드-이네이블링 제스처에 대응한다. 이러한 방식으로, 프로세서(1502)는 사용자에 의해 입력되는 모드-이네이블링 제스처 정보에 따라, 사용자에게 사용을 용이하게 하고 사용자가 현재 원하는 입력 모드를 자동으로 식별할 수 있다.
키보드 입력 모드는 이 모드에서, 사용자가 직접적으로 손가락의 일부를 탭핑하여 공지된 키보드의 문자를 트리거링할 수 있음을 나타내고, 여기서 문자는 숫자, 영문자, 또는 고정된 기능을 갖는 심볼, 예를 들어, “#”키일 수 있다. 물론, 사용자에 의해 손가락의 일부를 탭핑하거나 트리거링하는 제스처 정보와 공지의 키보드의 각각의 키간의 대응관계는 미리 구성되어야 한다.
동일한 제스처 정보에 대해, 다른 입력 모드들 내에서 다른 처리 및 응답 결과가 획득될 수 있고, 제스처 정보의 조각은 하나의 입력 모드 내에서 처리되고, 응답될 수 있으나, 다른 입력 모드 내에서 처리되지 않거나, 응답되지 않을 수 있음을 유의해야 한다.
프로세서(1502)는 중앙 처리 유닛(CPU) 또는 주문형 반도체(ASIC, Application-Specific Integrated Circuit)일 수 있거나, 또는 본 발명의 본 실시예를 구현하기 위해 구성된 하나 이상의 집적회로일 수 있다.
정보 처리 디바이스는 단말에 통합될 수 있다. 그러므로, 사용자의 제스처 정보를 획득하고, 대응하는 동작 명령을 생성한 후에, 프로세서는 무선 통신 모듈 또는 블루투스 모듈을 사용하여 휴대 지능형 단말에 동작 명령을 전송할 필요가 없으나, 휴대 지능형 단말내부의 통신선을 이용하여 동작 명령을 전달할 필요가 있음을 유의해야 한다. 또한, 동작 명령을 수신한 후에, 휴대 지능형 단말도 정상적으로 동작 명령에 응답할 수 있다. 또한, 정보 처리 디바이스가 전술한 정보 처리 장치 및 단말 기능을 통합한 정보 처리 디바이스, 예를 들어 휴대 지능형 단말인 경우, 입력 정확도는 개선될 수 있다.
본 명세서의 실시예들은 실시예들에서 동일하거나 유사한 부분에 대해 모두 점진적인 방식으로 설명되어, 참조는 이들 실시예로 이뤄질 수 있고, 각각의 실시예는 다른 실시예와의 차이점에 집중한다. 본 실시예에서 개시된 장치는 본 실시예에서 개시된 방법과 기본적으로 유사하므로, 간략하게 설명된다. 관련된 부분에 대해서, 참조는 방법의 부분 설명들로 이뤄질 수 있다.
더 나아가, 본 명세서에서, 이러한 제1 및 제2 등의 관계형 용어는 단지 서로로부터 하나의 엔티티 또는 동작을 구별하기 위해 사용되며, 반드시 실제 관계 또는 순서가 이러한 엔티티 또는 동작 사이에 존재하는 것을 요구하거나 의미하지 않는다는 것을 주목해야 한다. 또한, 요소들의 나열을 포함하는 프로세스, 방법, 물건 또는 장치가 그 요소들을 포함할 뿐 아니라 명시적으로 나열되지 다른 요소들도 포함하거나, 그 프로세스, 방법, 물건 또는 장치에 고유한 요소를 더 포함하도록, "포함", “포함”, 또는 그것의 임의의 다른 변형 용어는 비배타적 포함을 커버하도록 의도된다. “...을 포함한다"에 의한 선행 요소는 이상의 제약 없이, 선행 요소를 포함하는 프로세스, 방법, 물건 또는 장치 내에서 추가적인 동일한 요소의 존재를 배제하지 않는다.
본 명세서에 개시된 실시예와의 조합으로, 방법 또는 알고리즘의 단계는 하드웨어, 프로세서에 의해 실행되는 소프트웨어 모듈, 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리(RAM), 메모리, 판독-전용 메모리(ROM), PROM(electrically programmable ROM), EPROM(electrically erasable programmable ROM), 레지스터, 하드 디스크, 이동식 디스크, CD-ROM, 또는 당업계에 공지된 임의의 다른 형태의 저장 매체로 구성될 수 있다.
당업자가 본 발명을 구현하거나 사용할 수 있도록, 개시된 실시예들이 상기에서 설명된다. 실시예들에 대한 다양한 변형들은 당업자에게 명백하고, 본 명세서에서 정의된 일반적인 원리들은 본 발명의 사상 또는 범위를 벗어나지 않고 다른 실시 예에서 구현될 수 있다. 그러므로, 본 발명은 본 명세서에 기재된 실시예에 한정되지 않고, 본 명세서에 개시된 원리 및 신규성에 부합하는 가장 넓은 범위로 연장된다.

Claims (23)

  1. 사용자의 모드-이네이블링 제스처 정보를 획득하는 단계,
    상기 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링하는 단계,
    상기 입력 모드에서 상기 사용자의 제스처 정보를 획득하는 단계, 그리고
    제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 상기 제스처 정보에 대응하는 동작 명령을 생성하는 단계
    를 포함하고,
    상기 입력 모드는 키보드 입력 모드 및 마우스 입력 모드를 포함하며, 상기 제스처 정보는 탭-제스처 정보 및 슬라이드-제스처 정보 중 적어도 하나를 포함하며,
    상기 모드-이네이블링 제스처 정보 또는 상기 제스처 정보는 사용자의 손목 또는 손바닥에 위치한 센서에 의해 검출되고,
    상기 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링하는 단계 및 상기 입력 모드에서 상기 사용자의 제스처 정보를 획득하는 단계는,
    상기 사용자의 손목 또는 손바닥에 위치한 센서가 상기 사용자의 입력 모드-이네이블링 제스처 모션 또는 제스처 모션을 감지하는 때, 상기 손목 또는 상기 손바닥의 각 부분의 압력 값을 획득하는 단계,
    상기 압력 값에 따라 상기 사용자의 손목 또는 손바닥에 위치한 센서의 변위 값을 결정하는 단계, 그리고
    상기 변위 값에 따라, 상기 사용자에 의해 입력된 모드-이네이블링 제스처 정보를 결정하는 단계를 포함하고,
    상기 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링하는 단계는, 상기 모드-이네이블링 제스처 정보가 검지, 중지, 약지, 및 소지를 상기 사용자의 손바닥 쪽으로 마는 제스처에 대응하는 경우, 상기 마우스 입력 모드를 이네이블링하는 단계를 포함하고,
    상기 입력 모드가 상기 마우스 입력 모드인 경우, 상기 입력 모드에서 상기 사용자의 제스처 정보를 획득하는 단계는, 상기 마우스 입력 모드에서, 상기 검지, 상기 중지, 상기 약지, 및 상기 소지를 상기 사용자의 손바닥 쪽으로 말아 형성된 패널 상에서 엄지를 슬라이딩하는 슬라이드-제스처 정보를 획득하는 단계를 더 포함하고,
    이에 대응하여, 상기 제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 상기 제스처 정보에 대응하는 동작 명령을 생성하는 단계는, 상기 패널 상에서 상기 엄지를 슬라이딩하는 상기 슬라이드-제스처 정보에 대응하는 마우스 포인터의 이동 트랙 정보를 생성하는 단계를 포함하는,
    정보 처리 방법.
  2. 제1항에 있어서,
    상기 입력 모드가 상기 키보드 입력 모드인 경우, 사용자의 검지, 중지, 약지 및 소지의 12 개의 손가락 관절 또는 지골과 12-키 키패드의 12 개의 키 사이에 일대일 대응이 존재하고,
    상기 입력 모드에서 상기 사용자의 제스처 정보를 획득하는 단계는, 상기 키보드 입력 모드에서, 상기 사용자가 상기 검지, 상기 중지, 상기 약지 및 상기 소지 중 임의의 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하는 단계를 더 포함하고,
    이에 대응하여, 상기 제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 상기 제스처 정보에 대응하는 동작 명령을 생성하는 단계는, 탭-제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 상기 탭-제스처 정보에 대응하는 동작 명령을 생성하는 단계를 포함하는, 정보 처리 방법.
  3. 제1항에 있어서,
    상기 입력 모드가 상기 마우스 입력 모드인 경우, 상기 입력 모드에서 상기 사용자의 제스처 정보를 획득하는 단계는, 상기 마우스 입력 모드에서, 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하는 단계를 더 포함하고, 그리고
    이에 대응하여, 상기 제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 상기 제스처 정보에 대응하는 동작 명령을 생성하는 단계는, 탭-제스처 정보와 동작 명령 사이의 소정의 대응관계에 따라, 상기 탭-제스처 정보에 대응하는 동작 명령을 생성하는 단계를 포함하는, 정보 처리 방법.
  4. 제3항에 있어서,
    상기 탭-제스처 정보는 좌측 또는 우측 마우스 버튼의 트리거 정보에 대응하는, 정보 처리 방법.
  5. 제1항에 있어서,
    상기 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링하는 단계는,
    상기 모드-이네이블링 제스처 정보가 상기 사용자의 검지, 중지, 약지, 및 소지를 펴는 제스처에 대응하는 경우, 상기 키보드 입력 모드를 이네이블링하는 단계를 더 포함하는,
    정보 처리 방법.
  6. 삭제
  7. 삭제
  8. 사용자의 모드-이네이블링 제스처 정보를 획득하도록 구성된 제1 획득 모듈,
    상기 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링하도록 구성된 모드 이네이블링 모듈,
    상기 입력 모드에서 상기 사용자의 제스처 정보를 획득하도록 구성된 제2 획득 모듈, 그리고
    제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 상기 제스처 정보에 대응하는 동작 명령을 생성하도록 구성된 명령 생성 모듈
    을 포함하고,
    상기 입력 모드는 키보드 입력 모드 및 마우스 입력 모드를 포함하며, 상기 제스처 정보는 탭-제스처 정보 및 슬라이드-제스처 정보 중 적어도 하나를 포함하며,
    상기 모드-이네이블링 제스처 정보 또는 상기 제스처 정보는 사용자의 손목 또는 손바닥에 위치한 센서에 의해 검출되고,
    상기 제1 획득 모듈 또는 상기 제2 획득 모듈은,
    상기 사용자의 손목 또는 손바닥에 위치한 센서가 상기 사용자의 입력 모드-이네이블링 제스처 모션 또는 제스처 모션을 감지하는 때, 상기 손목 또는 상기 손바닥의 각 부분의 압력 값을 획득하도록 구성된 획득 서브모듈,
    상기 압력 값에 따라 상기 사용자의 손목 또는 손바닥에 위치한 센서의 변위 값을 결정하도록 구성된 계산 모듈, 그리고
    상기 변위 값에 따라, 상기 사용자에 의해 입력된 모드-이네이블링 제스처 정보를 결정하도록 구성된 제스처 결정 모듈을 포함하고,
    상기 모드 이네이블링 모듈은 상기 모드-이네이블링 제스처 정보가 검지, 중지, 약지, 및 소지를 상기 사용자의 손바닥 쪽으로 마는 제스처에 대응하는 경우, 상기 마우스 입력 모드를 이네이블링하도록 구성된 제2 모드 이네이블링 모듈을 포함하고,
    상기 입력 모드가 상기 마우스 입력 모드인 경우, 상기 제2 획득 모듈은 구체적으로, 상기 검지, 상기 중지, 상기 약지, 및 상기 소지를 상기 사용자의 손바닥 쪽으로 말아 형성된 패널 상에서 엄지를 슬라이딩하는 슬라이드-제스처 정보를 획득하도록 구성되고,
    상기 패널 상에서 상기 엄지를 슬라이딩하는 상기 슬라이드-제스처 정보는 마우스 포인터의 이동 트랙 정보에 대응하는,
    정보 처리 장치.
  9. 제8항에 있어서,
    상기 입력 모드가 상기 키보드 입력 모드인 경우, 사용자의 검지, 중지, 약지 및 소지의 12 개의 손가락 관절 또는 지골과 12-키 키패드의 12 개의 키 사이에 일대일 대응이 존재하고,
    상기 제2 획득 모듈은 구체적으로, 상기 키보드 입력 모드에서, 상기 사용자가 상기 검지, 상기 중지, 상기 약지 및 상기 소지 중 임의의 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하도록 구성된, 정보 처리 장치.
  10. 제8항에 있어서,
    상기 입력 모드가 상기 마우스 입력 모드인 경우,
    상기 제2 획득 모듈은 구체적으로, 상기 마우스 입력 모드에서, 손가락 관절 또는 지골을 탭핑하는 탭-제스처 정보를 획득하도록 구성된, 정보 처리 장치.
  11. 제10항에 있어서,
    상기 탭-제스처 정보는 좌측 또는 우측 마우스 버튼의 트리거 정보에 대응하는, 정보 처리 장치.
  12. 제8항에 있어서,
    상기 모드 이네이블링 모듈은,
    상기 모드-이네이블링 제스처 정보가 상기 사용자의 검지, 중지, 약지, 및 소지를 펴는 제스처에 대응하는 경우, 상기 키보드 입력 모드를 이네이블링하도록 구성된 제1 모드 이네이블링 모듈을 더 포함하는, 정보 처리 장치.
  13. 삭제
  14. 삭제
  15. 프로세서, 메모리를 포함하고,
    상기 프로세서와 상기 메모리는 버스를 사용하여 서로 연결되며,
    상기 프로세서는 동작들:
    사용자의 모드-이네이블링 제스처를 획득하고,
    상기 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링하며,
    상기 입력 모드에서 상기 사용자의 제스처 정보를 획득하고, 그리고
    제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 상기 제스처 정보에 대응하는 동작 명령을 생성하는 동작들을 수행하도록 구성되고,
    상기 입력 모드는 키보드 입력 모드 및 마우스 입력 모드를 포함하며, 상기 제스처 정보는 탭-제스처 정보 및 슬라이드-제스처 정보 중 적어도 하나를 포함하며,
    상기 모드-이네이블링 제스처 정보 또는 상기 제스처 정보는 사용자의 손목 또는 손바닥에 위치한 센서에 의해 검출되고,
    상기 프로세서는 동작들:
    상기 사용자의 손목 또는 손바닥에 위치한 센서가 상기 사용자의 입력 모드-이네이블링 제스처 모션 또는 제스처 모션을 감지하는 때, 상기 손목 또는 상기 손바닥의 각 부분의 압력 값을 획득하고,
    상기 압력 값에 따라 상기 사용자의 손목 또는 손바닥에 위치한 센서의 변위 값을 결정하며, 그리고
    상기 변위 값에 따라, 상기 사용자에 의해 입력된 모드-이네이블링 제스처 정보를 결정하는 동작들을 수행하도록 더 구성되며,
    상기 프로세서는 동작들:
    상기 모드-이네이블링 제스처 정보가 검지, 중지, 약지, 및 소지를 상기 사용자의 손바닥 쪽으로 마는 제스처에 대응하는 경우, 상기 마우스 입력 모드를 이네이블링하고,
    상기 입력 모드가 상기 마우스 입력 모드인 경우, 상기 검지, 상기 중지, 상기 약지, 및 상기 소지를 상기 사용자의 손바닥 쪽으로 말아 형성된 패널 상에서 엄지를 슬라이딩하는 슬라이드-제스처 정보를 획득하며,
    상기 패널 상에서 상기 엄지를 슬라이딩하는 상기 슬라이드-제스처 정보에 대응하는 마우스 포인터의 이동 트랙 정보를 생성하는 동작들을 수행하도록 더 구성되는,
    정보 처리 장치.
  16. 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로서,
    상기 프로그램은 실행 시에 단계들을 수행하도록 상기 컴퓨터를 활성화하고, 상기 단계들은,
    사용자의 모드-이네이블링 제스처를 획득하는 단계,
    상기 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링하는 단계,
    상기 입력 모드에서 상기 사용자의 제스처 정보를 획득하는 단계, 그리고
    제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 상기 제스처 정보에 대응하는 동작 명령을 생성하는 단계,
    를 포함하고,
    상기 입력 모드는 키보드 입력 모드 및 마우스 입력 모드를 포함하며, 상기 제스처 정보는 탭-제스처 정보 및 슬라이드-제스처 정보 중 적어도 하나를 포함하며,
    상기 모드-이네이블링 제스처 정보 또는 상기 제스처 정보는 사용자의 손목 또는 손바닥에 위치한 센서에 의해 검출되고,
    상기 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링하는 단계 및 상기 입력 모드에서 상기 사용자의 제스처 정보를 획득하는 단계는,
    상기 사용자의 손목 또는 손바닥에 위치한 센서가 상기 사용자의 입력 모드-이네이블링 제스처 모션 또는 제스처 모션을 감지하는 때, 상기 손목 또는 상기 손바닥의 각 부분의 압력 값을 획득하는 단계,
    상기 압력 값에 따라 상기 사용자의 손목 또는 손바닥에 위치한 센서의 변위 값을 결정하는 단계, 그리고
    상기 변위 값에 따라, 상기 사용자에 의해 입력된 모드-이네이블링 제스처 정보를 결정하는 단계를 포함하고,
    상기 모드-이네이블링 제스처 정보에 대응하는 입력 모드를 이네이블링하는 단계는, 상기 모드-이네이블링 제스처 정보가 검지, 중지, 약지, 및 소지를 상기 사용자의 손바닥 쪽으로 마는 제스처에 대응하는 경우, 상기 마우스 입력 모드를 이네이블링하는 단계를 포함하고,
    상기 입력 모드가 상기 마우스 입력 모드인 경우, 상기 입력 모드에서 상기 사용자의 제스처 정보를 획득하는 단계는, 상기 마우스 입력 모드에서, 상기 검지, 상기 중지, 상기 약지, 및 상기 소지를 상기 사용자의 손바닥 쪽으로 말아 형성된 패널 상에서 엄지를 슬라이딩하는 슬라이드-제스처 정보를 획득하는 단계를 더 포함하고,
    이에 대응하여, 상기 제스처 정보 및 동작 명령 사이의 소정의 대응관계에 따라, 상기 제스처 정보에 대응하는 동작 명령을 생성하는 단계는, 상기 패널 상에서 상기 엄지를 슬라이딩하는 상기 슬라이드-제스처 정보에 대응하는 마우스 포인터의 이동 트랙 정보를 생성하는 단계를 포함하는,
    프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
KR1020167022600A 2014-01-26 2015-01-23 정보 처리를 위한 방법, 장치, 및 디바이스 KR101877823B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410038752.7A CN103793057B (zh) 2014-01-26 2014-01-26 信息处理方法、装置及设备
CN201410038752.7 2014-01-26
PCT/CN2015/071424 WO2015110063A1 (zh) 2014-01-26 2015-01-23 信息处理方法、装置及设备

Publications (2)

Publication Number Publication Date
KR20160110992A KR20160110992A (ko) 2016-09-23
KR101877823B1 true KR101877823B1 (ko) 2018-07-12

Family

ID=50668815

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167022600A KR101877823B1 (ko) 2014-01-26 2015-01-23 정보 처리를 위한 방법, 장치, 및 디바이스

Country Status (8)

Country Link
US (1) US9965044B2 (ko)
EP (1) EP3089018B1 (ko)
JP (1) JP6249316B2 (ko)
KR (1) KR101877823B1 (ko)
CN (1) CN103793057B (ko)
BR (1) BR112016017206B1 (ko)
RU (1) RU2662408C2 (ko)
WO (1) WO2015110063A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793057B (zh) 2014-01-26 2017-02-01 华为终端有限公司 信息处理方法、装置及设备
CN105373321A (zh) * 2014-08-13 2016-03-02 中兴通讯股份有限公司 移动终端功能对象的控制方法及装置、移动终端
CN105138136A (zh) * 2014-09-15 2015-12-09 北京至感传感器技术研究院有限公司 手势识别装置、手势识别方法及手势识别系统
CN105278699A (zh) * 2014-09-29 2016-01-27 北京至感传感器技术研究院有限公司 易穿戴式手势识别装置
CN105204645A (zh) * 2014-10-02 2015-12-30 北京至感传感器技术研究院有限公司 易穿戴式手势识别装置
CN104461365A (zh) * 2014-12-11 2015-03-25 三星电子（中国）研发中心 终端的触控方法和装置
CN104750253B (zh) * 2015-03-11 2018-10-12 苏州佳世达电通有限公司 一种供用户进行体感输入的电子装置
CN106073126B (zh) * 2015-04-27 2018-05-18 陈明洙 Led安全背包
US10638316B2 (en) * 2016-05-25 2020-04-28 Intel Corporation Wearable computer apparatus with same hand user authentication
CN107490370B (zh) * 2016-06-13 2020-01-10 原相科技股份有限公司 测量装置及其运作方法，轨迹感测系统及其轨迹感测方法
CN106569610A (zh) * 2016-11-09 2017-04-19 李飞洋 一种通过大拇指弯曲度检测实现电子设备输入功能的方法
CN107329574A (zh) * 2017-06-30 2017-11-07 联想(北京)有限公司 用于电子设备的输入方法和系统
CN107403178A (zh) * 2017-08-08 2017-11-28 方超 手势采集系统
EP3667564A4 (en) 2017-08-08 2021-04-07 Fang, Chao GESTURE ACQUISITION SYSTEM
CN107301415B (zh) * 2017-08-08 2024-03-22 方超 手势采集系统
CN107632716B (zh) * 2017-11-07 2024-03-08 王可攀 一种输入信息处理装置及其处理输入信息的方法
CN208752575U (zh) * 2018-07-27 2019-04-16 深圳市志海和科技有限公司 一种键盘
CN113504852A (zh) * 2018-10-26 2021-10-15 珠海中电数码科技有限公司 一种录播一体的智能全面屏黑板系统的控制方法
US10902250B2 (en) * 2018-12-21 2021-01-26 Microsoft Technology Licensing, Llc Mode-changeable augmented reality interface
CN109859452A (zh) * 2019-03-11 2019-06-07 汕头大学 一种穿戴式控制器及使用该控制器的方法
CN109947245A (zh) * 2019-03-12 2019-06-28 合肥工业大学 用于操作腕表式设备的手指动作指令集及其生成方法
CN110209265A (zh) * 2019-04-04 2019-09-06 北京理工大学 一种基于手指触碰检测的输入系统
CN110162183B (zh) * 2019-05-30 2022-11-01 努比亚技术有限公司 凌空手势操作方法、可穿戴设备及计算机可读存储介质
CN110780732A (zh) * 2019-09-06 2020-02-11 北京理工大学 一种基于空间定位以及手指点击的输入系统
CN111897477B (zh) * 2020-08-04 2022-06-17 上海传英信息技术有限公司 移动终端的操控方法、移动终端及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080129694A1 (en) * 2006-11-30 2008-06-05 Liberty Reach Inc. Keyless user interface device
US20130265218A1 (en) * 2012-02-24 2013-10-10 Thomas J. Moscarillo Gesture recognition devices and methods

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7109970B1 (en) 2000-07-01 2006-09-19 Miller Stephen S Apparatus for remotely controlling computers and other electronic appliances/devices using a combination of voice commands and finger movements
US20030056278A1 (en) * 2001-09-26 2003-03-27 Lung Kuo Structure of finger keyboard
CN1482527A (zh) * 2002-09-15 2004-03-17 廖华勇 手指动作录入技术及其设备
US7362305B2 (en) 2004-02-10 2008-04-22 Senseboard Technologies Ab Data input device
JP4379214B2 (ja) * 2004-06-10 2009-12-09 日本電気株式会社 携帯端末装置
KR20060022984A (ko) 2004-09-08 2006-03-13 홍광석 키패드 글러브 장치
US20090091530A1 (en) 2006-03-10 2009-04-09 Kenji Yoshida System for input to information processing device
RU2457532C2 (ru) 2006-03-10 2012-07-27 Кенджи Йошида Система обработки ввода для устройства обработки информации
CN200944218Y (zh) * 2006-06-30 2007-09-05 山东大学 指套式数字键盘装置
JP2008135033A (ja) 2007-11-26 2008-06-12 Olympus Corp 手姿勢動作検出装置
CN101226438A (zh) * 2008-01-18 2008-07-23 于非 一种手套形计算机鼠标
CN201638148U (zh) * 2009-09-10 2010-11-17 深圳市亿思达显示科技有限公司 一种手套式虚拟输入装置
US8436821B1 (en) * 2009-11-20 2013-05-07 Adobe Systems Incorporated System and method for developing and classifying touch gestures
US8421634B2 (en) 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
CN201780561U (zh) * 2010-07-29 2011-03-30 陈誉航 指套式鼠标
US20120242584A1 (en) 2011-03-22 2012-09-27 Nokia Corporation Method and apparatus for providing sight independent activity reports responsive to a touch gesture
US9218058B2 (en) * 2011-06-16 2015-12-22 Daniel Bress Wearable digital input device for multipoint free space data collection and analysis
US10795448B2 (en) 2011-09-29 2020-10-06 Magic Leap, Inc. Tactile glove for human-computer interaction
US8743052B1 (en) * 2012-11-24 2014-06-03 Eric Jeffrey Keller Computing interface system
JP2014115688A (ja) 2012-12-06 2014-06-26 Sharp Corp 文字入力システムおよび文字入力方法
CN103793057B (zh) 2014-01-26 2017-02-01 华为终端有限公司 信息处理方法、装置及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080129694A1 (en) * 2006-11-30 2008-06-05 Liberty Reach Inc. Keyless user interface device
US20130265218A1 (en) * 2012-02-24 2013-10-10 Thomas J. Moscarillo Gesture recognition devices and methods

Also Published As

Publication number Publication date
CN103793057B (zh) 2017-02-01
US20160342217A1 (en) 2016-11-24
JP2017509957A (ja) 2017-04-06
RU2662408C2 (ru) 2018-07-25
KR20160110992A (ko) 2016-09-23
JP6249316B2 (ja) 2017-12-20
WO2015110063A1 (zh) 2015-07-30
EP3089018B1 (en) 2019-01-09
EP3089018A1 (en) 2016-11-02
BR112016017206B1 (pt) 2018-08-28
RU2016134720A (ru) 2018-02-28
RU2016134720A3 (ko) 2018-02-28
CN103793057A (zh) 2014-05-14
EP3089018A4 (en) 2017-01-18
US9965044B2 (en) 2018-05-08

Similar Documents

Publication Publication Date Title
KR101877823B1 (ko) 정보 처리를 위한 방법, 장치, 및 디바이스
JP6415592B2 (ja) ウェアラブル装置
US20190204929A1 (en) Devices and methods for dynamic association of user input with mobile device actions
WO2012070682A1 (ja) 入力装置及び入力装置の制御方法
US8031172B2 (en) Method and apparatus for wearable remote interface device
US8502787B2 (en) System and method for differentiating between intended and unintended user input on a touchpad
CN105528130B (zh) 一种控制方法、装置和电子设备
JP2008146645A (ja) テキストを入力する装置
EP3488328B1 (en) Stylus communication channels
CN104536574A (zh) 一种手套式输入设备及其输入方法
WO2015091638A1 (en) Method for providing user commands to an electronic processor and related processor program and electronic circuit.
CN104460307A (zh) 一种集成显示区的输入单元、穿戴式智能设备和输入方法
CN112817443A (zh) 基于手势的显示界面控制方法、装置、设备及存储介质
CN105278699A (zh) 易穿戴式手势识别装置
CN105138136A (zh) 手势识别装置、手势识别方法及手势识别系统
CN103631368A (zh) 检测装置、检测方法以及电子设备
TW201812559A (zh) 輸入系統與輸入方法
CN204557377U (zh) 电子输入手套
CN111176422B (zh) 智能穿戴设备及其操作方法、计算机可读存储介质
JP6695004B1 (ja) 検出されたユーザの意思を利用した端末装置
CN218158999U (zh) 基于触控戒指的智能手表操作系统
CN109558007B (zh) 手势控制装置及其方法
KR101805111B1 (ko) 그립형 입력인터페이스 장치 및 그 방법
JP2018173961A (ja) 入力デバイス、入力方法及び入力プログラム
CN113849066A (zh) 一种信息无障碍交互装置、系统、方法及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)