KR20170067873A - 터치 상호작용을 처리하기 위한 방법, 디바이스 및 시스템 - Google Patents

터치 상호작용을 처리하기 위한 방법, 디바이스 및 시스템 Download PDF

Info

Publication number
KR20170067873A
KR20170067873A KR1020177012912A KR20177012912A KR20170067873A KR 20170067873 A KR20170067873 A KR 20170067873A KR 1020177012912 A KR1020177012912 A KR 1020177012912A KR 20177012912 A KR20177012912 A KR 20177012912A KR 20170067873 A KR20170067873 A KR 20170067873A
Authority
KR
South Korea
Prior art keywords
touch
start time
hand gesture
information
acquisition device
Prior art date
Application number
KR1020177012912A
Other languages
English (en)
Other versions
KR101875350B1 (ko
Inventor
치앙 딩
샤오롱 가오
샤오샨 황
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20170067873A publication Critical patent/KR20170067873A/ko
Application granted granted Critical
Publication of KR101875350B1 publication Critical patent/KR101875350B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

터치 상호작용을 처리하기 위한 방법, 디바이스 및 시스템이다. 터치 상호작용을 처리하기 위한 방법은, 근전도 신호 수집 디바이스에 의해 전송되는 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보를 수신하는 단계(101); 제1 터치 시작 시간과 제2 터치 시작 시간 사이의 시간 간격이 미리 설정된 임계값보다 작고, 손 제스처에 해당하는 터치 포인트 수가 상기 제2 정보에 포함된 터치 포인트 수와 동일한 것으로 결정되면, 상기 근전도 신호 수집 디바이스의 장비 식별자, 상기 손 제스처 및 각각의 터치 포인트의 좌표 정보를 포함하는 터치 명령어를 생성하는 단계(103); 및 상기 터치 명령어에 대응하는 상호작용 조작을 실행하는 단계(105)를 포함한다. 처리 방법, 디바이스 및 시스템은, 한 사용자가 두 손으로 행하거나, 다수의 사용자가 동일한 영역에서 동시에 행하는 터치 상호작용 조작에 대한 구현을 실현할 수 있다.

Description

터치 상호작용을 처리하기 위한 방법, 디바이스 및 시스템{METHOD, DEVICE, AND SYSTEM FOR PROCESSING TOUCH INTERACTION}
본 발명의 실시예들은 인간-머신 상호작용 분야에 관한 것이며, 특히, 터치 상호작용 처리 방법, 디바이스 및 시스템에 관한 것이다.
터치 기술은 인간-머신 상호작용을 위한 핵심 기술들 중 하나이고, 터치 포인트의 수량에 따라 단일-터치 기술 및 멀티-터치 기술로 분류된다. 단일-터치 기술은 매번 한 손가락만을 사용하여 수행되는 탭 또는 터치를 식별하고 지원할 수 있다. 멀티-터치 기술은 멀티-터치 및 멀티-포인트 감지 기술이라고도 하며, 동시에 멀티-포인트 신호를 수집하고 제스처를 식별하여, 5개의 손가락을 동시에 사용하여 수행되는 탭 또는 터치 액션의 식별 및 지원을 구현할 수 있다. 터치 조작이 편리하고, 자연스럽고, 사용자-친화적이기 때문에, 터치 조작이 다양한 분야에 널리 적용된다.
종래 기술에서, 터치 명령어는 인터페이스 상의 터치 포인트를 검출하여 식별되고: 하나의 터치 포인트는 단일-터치 조작을 나타내고, 다수의 터치 포인트는 멀티-터치 조작을 나타내지만, 터치 조작을 수행하는 사용자 및 터치 조작을 수행하는데 사용되는 손과 손가락들은 식별될 수 없다. 한 사용자가 한 손으로 멀티-터치 조작을 수행할 때, 손가락들을 식별할 수 없기 때문에, 몇 개의 멀티-터치 명령어들만이 식별될 수 있고, 예를 들어, 집게 손가락 및 엄지손가락을 사용하여 수행되는 움직임, 및 가운데 손가락 및 엄지손가락을 사용하여 수행되는 움직임은 둘 다 스케일링 조작으로서 식별된다. 한 사용자가 두 손으로 터치 조작을 수행할 때, 왼손과 오른손을 식별할 수 없고, 혼동 터치 명령어가 쉽사리 야기되는데, 예를 들어, 왼손의 한 손가락과 오른손의 한 손가락의 동시 움직임이, 한 손의 집게 손가락과 엄지손가락을 사용하여 수행되는 스케일링 조작으로서 부정확하게 식별된다. 다수의 사용자들이 터치 조작을 수행할 때, 사용자가 식별될 수 없기 때문에, 다수의 사용자들이 동일한 영역에서 터치 조작들을 동시에 수행한다는 것을 구현할 수 없다.
결론적으로, 종래 기술은, 다음의 단점: 한 사용자가 두 손으로 터치 조작을 수행하거나 다수의 사용자가 동일한 영역에서 터치 조작들을 동시에 수행할 때, 혼동 터치 명령어가 쉽사리 야기된다는 점을 갖는다.
본 발명의 실시예들은 한 사용자가 두 손으로 터치 상호작용 조작을 수행하거나 다수의 사용자가 동일한 영역에서 터치 상호작용 조작들을 동시에 수행하도록 구현하기 위해 터치 상호작용 처리 방법, 디바이스 및 시스템을 제공한다.
제1 양태에 따르면, 본 발명의 일 실시예는, 터치 상호작용 처리 방법을 제공하고, 이 방법은,
근전도 신호 수집 디바이스에 의해 전송되는 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보를 수신하는 단계 - 상기 제1 정보는 상기 근전도 신호 수집 디바이스의 디바이스 식별자, 사용자가 터치를 수행하는 손 제스처, 및 제1 터치 시작 시간을 포함하고; 상기 제2 정보는 상기 사용자가 상기 터치를 수행하는 터치 포인트의 수량, 제2 터치 시작 시간 및 각각의 터치 포인트의 좌표 정보를 포함하고; 상기 제1 터치 시작 시간은, 상기 사용자가 터치 조작을 수행하고 상기 근전도 신호 수집 디바이스에 의해 식별되는 시작 시간이고; 상기 제2 터치 시작 시간은, 상기 사용자가 상기 터치 조작을 수행하고 상기 위치 포착 디바이스에 의해 식별되는 시작 시간임 -;
상기 제1 터치 시작 시간과 상기 제2 터치 시작 시간 사이의 시간 갭이 미리 설정된 임계값보다 작고, 상기 손 제스처에 대응하는 터치 포인트의 수량이 상기 제2 정보에 포함되는 터치 포인트의 수량과 동일한 것으로 결정되면, 상기 근전도 신호 수집 디바이스의 디바이스 식별자, 상기 손 제스처, 및 각각의 터치 포인트의 상기 좌표 정보를 포함하는 터치 명령어를 생성하는 단계 -; 및
상기 터치 명령어에 대응하는 상호작용 조작을 수행하는 단계를 포함한다.
제1 양태를 참조하여, 제1 양태의 제1 가능한 구현 방식에서, 이 방법은,
상기 근전도 신호 수집 디바이스에 의해 전송되는 상기 사용자가 터치를 수행하는 상기 손 제스처, 및 상기 위치 포착 디바이스에 의해 전송되는 각각의 터치 포인트의 상기 좌표 정보를 연속적으로 수신하는 단계; 및 상기 터치 명령어를 업데이트하는 단계를 추가로 포함한다.
제1 양태를 참조하여, 제1 양태의 제2 가능한 구현 방식에서, 상기 제1 정보는 상기 사용자가 상기 터치를 수행하는 조작력을 추가로 포함하고, 상기 터치 명령어는 상기 조작력을 추가로 포함한다.
제1 양태의 제2 가능한 구현 방식을 참조하여, 제1 양태의 제3 가능한 구현 방식에서, 상기 방법은, 상기 근전도 신호 수집 디바이스에 의해 전송되는 상기 사용자가 상기 터치를 수행하는 상기 손 제스처 및 상기 사용자가 상기 터치를 수행하는 조작력, 및 상기 위치 포착 디바이스에 의해 전송되는 각각의 터치 포인트의 상기 좌표 정보를 연속적으로 수신하는 단계; 및 상기 터치 명령어를 업데이트하는 단계를 추가로 포함한다.
제1 양태의 제3 가능한 구현 방식을 참조하여, 제1 양태의 제4 가능한 구현 방식에서, 상기 방법은, 상기 조작력이 제2 미리 설정된 임계값보다 작은 것으로 결정되면, 상기 터치 명령어를 삭제하는 단계를 추가로 포함한다.
본 발명의 제2 양태에 따르면, 본 발명의 실시예는, 터치 상호작용 처리 방법을 제공하고, 이 방법은,
근전도 신호 수집 디바이스에 의해, 다수의 채널로부터 표면 근전도 신호(S1)들을 주기적으로 수집하는 단계;
상기 근전도 신호 수집 디바이스에 의해, 상기 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 사용자가 터치를 수행하는 손 제스처를 결정하는 단계; 및 상기 손 제스처에 따라 제1 터치 시작 시간을 결정하는 단계 - 상기 제1 터치 시작 시간은, 상기 사용자가 터치 조작을 수행하고 상기 근전도 신호 수집 디바이스에 의해 식별되는 시작 시간임 -; 및
처리 디바이스가 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어를 생성하고 대응하는 상호작용 조작을 수행하도록, 상기 근전도 신호 수집 디바이스에 의해, 상기 제1 정보를 상기 처리 디바이스에 전송하는 단계를 포함하고, 상기 제1 정보는 상기 근전도 신호 수집 디바이스의 디바이스 식별자, 상기 손 제스처 및 상기 제1 터치 시작 시간을 포함하고; 상기 제2 정보는 상기 사용자가 상기 터치를 수행하는 터치 포인트의 수량, 제2 터치 시작 시간 및 각각의 터치 포인트의 좌표 정보를 포함하고; 상기 제2 터치 시작 시간은, 상기 사용자가 상기 터치 조작을 수행하고 상기 위치 포착 디바이스에 의해 식별되는 시작 시간이다.
제2 양태를 참조하여, 제2 양태의 제1 가능한 구현 방식에서, 상기 근전도 신호 수집 디바이스에 의해, 상기 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 사용자가 터치를 수행하는 손 제스처를 결정하는 단계는, 상기 근전도 신호 수집 디바이스에 의해, 손 제스처의 유형에 기초하여 상기 표면 근전도 신호(S1)들의 진폭 및 주파수에 따라 상기 손 제스처를 결정하는 단계를 포함한다.
제2 양태를 참조하여, 제2 양태의 제2 가능한 구현 방식에서, 상기 방법은, 상기 근전도 신호 수집 디바이스에 의해, 상기 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 상기 사용자가 상기 터치를 수행하는 조작력을 결정하는 단계를 추가로 포함하고, 상기 제1 정보는 상기 조작력을 추가로 포함하며, 상기 손 제스처에 따라 제1 터치 시작 시간을 결정하는 단계는 상기 손 제스처 및 상기 조작력에 따라 상기 제1 터치 시작 시간을 결정하는 단계이다.
제2 양태의 제2 가능한 구현 방식을 참조하여, 제2 양태의 제3 가능한 구현 방식에서, 상기 사용자가 상기 터치를 수행하는 조작력을 결정하는 단계는, 상기 근전도 신호 수집 디바이스에 의해, 상기 표면 근전도 신호(S1)들을 중첩 및 평균하여 단일 채널 근전도 신호(S2)를 획득하는 단계, 슬라이딩 시간 윈도우를 사용하여 상기 단일 채널 근전도 신호(S2)의 평균 진폭을 계산하는 단계, 및 상기 단일 채널 근전도 신호(S2)의 상기 평균 진폭을 조작력(S)으로서 사용하는 단계를 포함한다.
제2 양태의 제2 가능한 구현 방식을 참조하여, 제2 양태의 제4 가능한 구현 방식에서, 상기 손 제스처 및 상기 조작력에 따라 상기 제1 터치 시작 시간을 결정하는 단계는, 상기 손 제스처 및 상기 조작력을 획득한 후에, 각각의 손 제스처에 대응하는 조작력에 대한 제1 미리 설정된 임계값이 미리 저장되는 표를 참조하고; 상기 표면 근전도 신호(S1)들에 따라 획득된 상기 조작력이 상기 제1 미리 설정된 임계값보다 크면, 현재 시스템 시간을 획득하여 상기 현재 시스템 시간을 상기 제1 터치 시작 시간으로서 사용하는 것에 의해 상기 제1 터치 시작 시간을 결정하는 단계를 포함한다.
제2 양태 또는 제2 양태의 제1 내지 제4 가능한 구현 방식 중 어느 하나를 참조하여, 제2 양태의 제5 가능한 구현 방식에서, 상기 처리 디바이스가 상기 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어를 생성하는 것은, 상기 제1 터치 시작 시간과 상기 제2 터치 시작 시간 사이의 시간 갭이 미리 설정된 임계값보다 작고, 상기 손 제스처에 대응하는 터치 포인트의 수량이 상기 제2 정보에 포함된 터치 포인트의 수량과 동일한 것으로 결정한 후에, 상기 처리 디바이스가 상기 터치 명령어를 생성하는 것을 포함한다.
본 발명의 제3 양태에 따르면, 본 발명의 실시예는, 처리 디바이스를 제공하고, 이 처리 디바이스는,
상기 근전도 신호 수집 디바이스에 의해 전송되는 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보를 수신하도록 구성되는 정보 수신 모듈 - 상기 제1 정보는 상기 근전도 신호 수집 디바이스의 디바이스 식별자, 사용자가 터치를 수행하는 손 제스처, 및 제1 터치 시작 시간을 포함하고; 상기 제2 정보는 상기 사용자가 상기 터치를 수행하는 터치 포인트의 수량, 제2 터치 시작 시간, 및 각각의 터치 포인트의 좌표 정보를 포함하고; 상기 제1 터치 시작 시간은, 상기 사용자가 터치 조작을 수행하고 상기 근전도 신호 수집 디바이스에 의해 식별되는 시작 시간이고; 상기 제2 터치 시작 시간은, 상기 사용자가 상기 터치 조작을 수행하고 상기 위치 포착 디바이스에 의해 식별되는 시작 시간임 -;
상기 제1 터치 시작 시간과 상기 제2 터치 시작 시간 사이의 시간 갭이 미리 설정된 임계값보다 작고, 상기 손 제스처에 대응하는 터치 포인트의 수량이 상기 제2 정보에 포함된 터치 포인트의 수량과 동일한 것으로 결정되면, 상기 근전도 신호 수집 디바이스의 디바이스 식별자, 상기 손 제스처 및 각각의 터치 포인트의 상기 좌표 정보를 포함하는 터치 명령어를 생성하도록 구성되는 명령어 생성 모듈; 및
상기 터치 명령어에 대응하는 상호작용 조작을 수행하도록 구성되는 명령어 실행 모듈을 포함한다.
제3 양태를 참조하여, 제3 양태의 제1 가능한 구현 방식에서, 상기 명령어 생성 모듈은, 상기 근전도 신호 수집 디바이스에 의해 전송되며 상기 정보 수신 모듈에 의해 연속적으로 수신되는 상기 사용자가 상기 터치를 수행하는 손 제스처, 및 상기 위치 포착 디바이스에 의해 전송되는 각각의 터치 포인트의 상기 좌표 정보에 따라 상기 터치 명령어를 업데이트하도록 추가로 구성된다.
제3 양태를 참조하여, 제3 양태의 제2 가능한 구현 방식에서, 상기 제1 정보는 상기 사용자가 상기 터치를 수행하는 조작력을 추가로 포함하고, 상기 터치 명령어는 상기 조작력을 추가로 포함한다.
제3 양태의 제2 가능한 구현 방식을 참조하여, 제3 양태의 제3 가능한 구현 방식에서, 상기 명령어 생성 모듈은, 상기 근전도 신호 수집 디바이스에 의해 전송되며 상기 정보 수신 모듈에 의해 연속적으로 수신되는, 상기 사용자가 상기 터치를 수행하는 상기 손 제스처 및 상기 사용자가 상기 터치를 수행하는 상기 조작력, 및 상기 위치 포착 디바이스에 의해 전송되는 각각의 터치 포인트의 상기 좌표 정보에 따라 상기 터치 명령어를 업데이트하도록 추가로 구성된다.
제3 양태의 제3 가능한 구현 방식을 참조하여, 제3 양태의 제4 가능한 구현 방식에서, 상기 명령어 생성 모듈은, 상기 조작력이 제2 미리 설정된 임계값보다 작은 것으로 결정되면, 상기 터치 명령어가 종료되는 것으로 결정하고 상기 터치 명령어를 삭제하도록 추가로 구성된다.
본 발명의 제4 양태에 따르면, 본 발명의 실시예는, 근전도 신호 수집 디바이스를 제공하고, 이 수집 디바이스는,
다수의 채널로부터 표면 근전도 신호(S1)들을 주기적으로 수집하도록 구성되는 수집 모듈;
상기 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 사용자가 터치를 수행하는 손 제스처를 결정하고; 상기 손 제스처에 따라 제1 터치 시작 시간을 결정하도록 구성되는 처리 모듈 - 상기 제1 터치 시작 시간은 상기 사용자가 터치 조작을 수행하고 상기 근전도 신호 수집 디바이스에 의해 식별되는 시작 시간임 -; 및
처리 디바이스가 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어를 생성하고 대응하는 상호작용 조작을 수행하도록, 상기 제1 정보를 상기 처리 디바이스에 전송하도록 구성되는 전송 모듈을 포함하고, 상기 제1 정보는 상기 근전도 신호 수집 디바이스의 디바이스 식별자, 상기 손 제스처 및 상기 제1 터치 시작 시간을 포함하고; 상기 제2 정보는 상기 사용자가 상기 터치를 수행하는 터치 포인트의 수량, 제2 터치 시작 시간 및 각각의 터치 포인트의 좌표 정보를 포함하고; 상기 제2 터치 시작 시간은 상기 사용자가 상기 터치 조작을 수행하고 상기 위치 포착 디바이스에 의해 식별되는 시작 시간이다.
제4 양태를 참조하여, 제4 양태의 제1 가능한 구현 방식에서, 처리 모듈이, 상기 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라 사용자가 터치를 수행하는 손 제스처를 결정하는 것은, 상기 처리 모듈이 손 제스처의 유형에 기초하여, 상기 표면 근전도 신호(S1)들의 진폭 및 주파수에 따라 상기 손 제스처를 결정하는 것을 포함한다.
제4 양태를 참조하여, 제4 양태의 제2 가능한 구현 방식에서, 상기 처리 모듈은, 상기 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 상기 사용자가 상기 터치를 수행하는 조작력을 결정하도록 추가로 구성되고, 상기 제1 정보는 상기 조작력을 추가로 포함하며, 상기 손 제스처에 따라 제1 터치 시작 시간을 결정하는 것은 상기 손 제스처 및 상기 조작력에 따라 상기 제1 터치 시작 시간을 결정하는 것이다.
제4 양태의 제2 가능한 구현 방식을 참조하여, 제4 양태의 제3 가능한 구현 방식에서, 상기 처리 모듈이, 상기 사용자가 상기 터치를 수행하는 조작력을 결정하는 것은, 상기 처리 모듈이 표면 근전도 신호(S1)들을 중첩 및 평균하여 단일 채널 근전도 신호(S2)를 획득하고, 슬라이딩 시간 윈도우를 사용하여 상기 단일 채널 근전도 신호(S2)의 평균 진폭을 계산하고, 상기 단일 채널 근전도 신호(S2)의 상기 평균 진폭을 상기 조작력(S)으로서 사용하는 것을 포함한다.
제4 양태의 제3 가능한 구현 방식을 참조하여, 제4 양태의 제4 가능한 구현 방식에서, 상기 처리 모듈이 상기 손 제스처 및 상기 조작력에 따라 상기 제1 터치 시작 시간을 결정하는 것은, 상기 손 제스처 및 상기 조작력을 획득한 후에, 상기 처리 모듈이 각각의 손 제스처에 대응하는 조작력에 대한 제1 미리 설정된 임계값이 미리 저장되는 표를 참조하고; 상기 표면 근전도 신호(S1)들에 따라 획득된 상기 조작력이 상기 제1 미리 설정된 임계값보다 크면, 현재 시스템 시간을 획득하여 상기 현재 시스템 시간을 상기 제1 터치 시작 시간으로서 사용하는 것에 의해 상기 제1 터치 시작 시간을 결정하는 것을 포함한다.
제4 양태 또는 제4 양태의 제1 내지 제4 가능한 구현 방식 중 어느 하나를 참조하여, 제4 양태의 제5 가능한 구현 방식에서, 상기 처리 디바이스가 상기 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어를 생성하는 것은, 상기 제1 터치 시작 시간과 상기 제2 터치 시작 시간 사이의 시간 갭이 미리 설정된 임계값보다 작고, 상기 손 제스처에 대응하는 터치 포인트의 수량이 상기 제2 정보에 포함된 터치 포인트의 수량과 동일한 것으로 결정한 후에, 상기 처리 디바이스가 상기 터치 명령어를 생성하는 것을 포함한다.
제5 양태에 따르면, 본 발명의 실시예는 터치 처리 시스템을 포함하고, 이 터치 처리 시스템은 위치 포착 디바이스와, 제3 양태 또는 제3 양태의 제1 내지 제4 가능한 구현 방식 중 어느 하나에 따른 처리 디바이스와, 제4 양태 및 제4 양태의 제1 내지 제5 가능한 구현 방식 중 어느 하나에 따른 하나 이상의 근전도 신호 수집 디바이스를 포함하며, 상기 근전도 신호 수집 디바이스 및 상기 위치 포착 디바이스는 둘 다 상기 처리 디바이스에 통신 가능하게 연결된다.
본 발명의 실시예들에 제공되는 터치 상호작용 처리 방법, 디바이스 및 시스템에 따르면, 터치 명령어는 근전도 신호 수집 디바이스에 의해 전송되는 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 생성되고, 대응하는 상호작용 조작이 수행된다. 상기 근전도 신호 수집 디바이스에 대응하는 디바이스 식별자는 상이한 사용자에 의해 수행되는 터치 조작들 중 하나와, 왼손 및 오른손을 사용하여 동일한 사용자에 의해 수행되는 터치 조작을 구별하는데 사용되기 때문에, 혼동 터치 명령어를 야기하지 않고 한 사용자가 두 손으로 터치 조작을 수행하거나 다수의 사용자가 동일한 영역에서 터치 조작들을 동시에 수행하는 것을 구현한다.
본 발명의 실시예들에서의 또는 종래 기술에서의 기술적 해결책들을 보다 명확하게 설명하기 위해, 이하에서는 실시예들 또는 종래 기술을 설명하는데 필요한 첨부 도면들을 간략히 설명한다. 명백히, 다음의 설명에서 첨부 도면들은 본 발명의 일부 실시예들을 도시하며, 본 기술분야의 통상의 기술자라면 창조적 노력 없이 이러한 첨부 도면들로부터 다른 도면들을 여전히 유도해 낼 수 있을 것이다.
도 1은 본 발명에 따른 터치 상호작용 처리 방법의 제1 실시예의 흐름도이고;
도 2는 본 발명에 따른 터치 상호작용 처리 방법의 제2 실시예의 흐름도이고;
도 3은 본 발명에 따른 처리 디바이스의 제1 실시예의 개략 구조도이고;
도 4는 본 발명에 따른 근전도 신호 수집 디바이스의 제1 실시예의 개략 구조도이고;
도 5는 본 발명에 따른 터치 처리 시스템의 제1 실시예의 개략 구조도이고;
도 6은 본 발명에 따른 처리 디바이스의 제1 실시예의 개략 구조도이고;
도 7은 본 발명에 따른 근전도 신호 수집 디바이스의 제1 실시예의 개략 구조도이고;
도 8은 본 발명에 따른 터치 처리 시스템의 제2 실시예의 개략 구조도이다.
본 발명의 실시예들의 목적들, 기술적 해결책들, 및 장점들을 보다 분명히 하기 위해, 다음에 본 발명의 실시예들의 첨부 도면들을 참조하여 본 발명의 실시예들의 기술적 해결책들을 명확하게 완전히 설명한다. 명백히, 설명한 실시예들은 본 발명의 실시예들 전부가 아니라 일부이다. 창조적 노력 없이 본 발명의 실시예들에 기초하여 본 기술분야의 통상의 기술자에 의해 얻어지는 다른 모든 실시예들은 본 발명의 보호 범위 내에 있다.
도 1은 본 발명에 따른 터치 상호작용 처리 방법의 제1 실시예의 흐름도이다. 터치 상호작용 처리 방법은 칩 또는 모바일 단말기와 같은 처리 디바이스에 의해 실행될 수 있다. 처리 디바이스는 처리 디바이스에 통합될 수 있고, 처리 디바이스는 모바일 단말기, 컴퓨터, 서버 등일 수 있고, 칩은 모바일 단말기, 컴퓨터 등에 통합될 수 있다. 처리 디바이스 및 처리 디바이스는 임의의 디바이스 및 저장 또는 계산 기능을 갖는 디바이스일 수 있으며, 이들은 본 발명의 이러한 실시예에서 제한되지 않는다. 도 1에 도시된 바와 같이, 터치 상호작용 처리 방법은, 다음을 포함한다:
단계 101: 근전도 신호 수집 디바이스에 의해 전송되는 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보를 수신한다.
제1 정보는 근전도(electromyographic, EMG for short) 신호 수집 디바이스의 디바이스 식별자, 사용자가 터치를 수행하는 손 제스처 및 제1 터치 시작 시간을 포함한다. 제2 정보는 사용자가 터치를 수행하는 터치 포인트의 수량, 제2 터치 시작 시간 및 각각의 터치 포인트의 좌표 정보를 포함한다. 제1 터치 시작 시간은 사용자가 터치 조작을 수행하고 근전도 신호 수집 디바이스에 의해 식별되는 시작 시간이다. 제2 터치 시작 시간은 사용자가 터치 조작을 수행하고 위치 포착 디바이스에 의해 식별되는 시작 시간이다.
이러한 실시예에서, 근전도 신호 수집 디바이스 및 위치 포착 디바이스는 동일한 터치 조작 영역에서 사용자의 터치 조작 이벤트를 개별적으로 식별할 수 있다. 근전도 신호 수집 디바이스는 다중채널 표면 근전도(surface electromyographic, sEMG for short) 신호를 수집할 수 있는 임의의 디바이스일 수 있다는 점에 유의해야 한다. 바람직하게는, 근전도 신호 수집 디바이스는 사용자의 팔 상에 배치될 수 있으며, 위치 포착 디바이스는 사용자의 터치 조작을 식별할 수 있는 임의의 디바이스일 수 있다. 근전도 신호 수집 디바이스에 의해 식별되는 사용자의 터치 조작 이벤트는 근전도 터치 이벤트 Touch_EMG로 정의될 수 있다. 위치 포착 디바이스에 의해 식별되는 사용자의 터치 조작 이벤트는 트랙 터치 이벤트 Touch_TrackSys로 정의될 수 있다. 근전도 터치 이벤트 Touch_EMG는 3개의 파라미터를 포함하고, 이들은 각각 근전도 신호 수집 디바이스의 디바이스 식별자(디바이스 ID), 사용자가 터치를 수행하는 손 제스처(G) 및 제1 터치 시작 시간(T1)이다. 트랙 터치 이벤트 Touch_TrackSys는 3개의 파라미터를 포함하고, 이들은 각각 사용자가 터치를 수행하는 터치 포인트의 수량(N2), 제2 터치 시작 시간(T2) 및 각각의 터치 포인트의 좌표 정보(L)이다.
디바이스 ID는 근전도 신호 수집 디바이스들을 고유하게 구별하는데 사용될 수 있다. 디바이스 ID는 숫자, 문자 또는 임의의 다른 형태일 수 있으며, 이는 본 발명의 실시예에서 제한되지 않는다. 예를 들어, 두 명의 사용자가 터치 조작들을 동시에 수행하는데, 사용자 A는 왼손과 오른손 둘 다를 사용하여 터치 조작을 수행하고, 사용자 B는 오른손만을 사용하여 터치 조작을 수행하는 경우, 근전도 신호 수집 디바이스는 사용자들의 팔마다 배치될 수 있다. 디바이스 ID(210)를 갖는 근전도 신호 수집 디바이스는 사용자 A의 왼손의 다중채널 표면 근전도 신호를 수집하고, 디바이스 ID(211)를 갖는 근전도 신호 수집 디바이스는 사용자 A의 오른손의 다중채널 표면 근전도 신호를 수집하고, 디바이스 ID(220)를 갖는 근전도 신호 수집 디바이스는 사용자 B의 오른손의 다중채널 표면 근전도 신호를 수집한다. 디바이스 ID(210), 디바이스 ID(211) 및 디바이스 ID(220)는, 상이한 근전도 신호 수집 디바이스를 고유하게 구별하는데 사용될 수 있기 때문에, 사용자 A가 왼손을 사용하여 수행하는 터치 조작, 사용자 A가 오른손을 사용하여 수행하는 터치 조작, 및 사용자 B가 오른손을 사용하여 수행하는 터치 조작이 식별될 수 있다. 따라서, 근전도 신호 수집 디바이스의 디바이스 식별자는 상이한 사용자에 의해 수행되는 터치 조작들 중 하나와, 왼손 및 오른손을 사용하여 동일한 사용자에 의해 수행되는 터치 조작을 구별하는데 사용될 수 있으므로, 혼동 터치 조작을 야기하지 않고 한 사용자가 두 손으로 터치 조작을 수행하거나 다수의 사용자가 동일한 영역에서 터치 조작들을 동시에 수행하는 것을 구현할 수 있다.
사용자가 터치를 수행하는 손 제스처(G)는 한 손의 한 손가락의 손 제스처일 수 있거나, 한 손의 다수의 손가락의 손 제스처일 수 있다. 터치 포인트의 대응하는 수량(N1)은 손 제스처(G)에 따라 결정될 수 있다. 예를 들어, 한 손의 한 손가락의 손 제스처는 엄지손가락, 집게 손가락 또는 약손가락의 손 제스처일 수 있으며, 이 경우, 손 제스처(G)에 대응하는 터치 포인트의 수량(N1)은 1이고; 한 손의 다수의 손가락의 손 제스처는, 집게 손가락과 약손가락의 조합의 손 제스처일 수 있으며, 이 경우, 손 제스처(G)에 대응하는 터치 포인트의 수량(N1)은 2이다. 선택적으로, 근전도 신호 수집 디바이스는 손 제스처 세트를 미리 정의하고, 세트 내의 손 제스처만 식별될 수 있다. 세트 내의 손 제스처는 본 기술분야에서 통상의 손 제스처를 포함할 수 있거나 미리 정의된 새로운 손 제스처일 수 있으며, 이는 본 발명의 이러한 실시예에서 제한되지 않는다.
제1 터치 시작 시간(T1)은 근전도 터치 이벤트 Touch_EMG의 시작 시간을 나타내고, 사용자가 터치 조작을 수행하고 근전도 신호 수집 디바이스에 의해 식별되는 시작 시간이다. 제2 터치 시작 시간(T2)은 트랙 터치 이벤트 Touch_TrackSys의 시작 시간을 나타내며, 사용자가 터치 조작을 수행하고 위치 포착 디바이스에 의해 식별되는 시작 시간이다.
각각의 터치 포인트의 좌표 정보(L)는 터치 영역에서 위치 포착 디바이스에 의해 식별되는 N2개의 터치 포인트의 위치 좌표를 나타내며, L={l1, l2, ..., lN2}이며, 여기서 li (i=1, 2, ..., N2)는 위치 포착 디바이스에 의해 식별되는 각각의 터치 포인트의 2차원 좌표를 나타낸다.
단계 103: 제1 터치 시작 시간과 제2 터치 시작 시간 사이의 시간 갭이 미리 설정된 임계값보다 작고, 손 제스처에 대응하는 터치 포인트의 수량이 제2 정보에 포함된 터치 포인트의 수량과 동일한 것으로 결정되면, 근전도 신호 수집 디바이스의 디바이스 식별자, 손 제스처 및 각각의 터치 포인트의 좌표 정보를 포함하는 터치 명령어를 생성한다.
미리 설정된 임계값 T_th는 요건에 따라 설정될 수 있다.
구체적으로는, 근전도 신호 수집 디바이스에 의해 식별되는 근전도 터치 이벤트 Touch_EMG에서의 제1 터치 시작 시간(T1)과, 위치 포착 디바이스에 의해 식별되는 트랙 터치 이벤트 Touch_TrackSys에서의 제2 터치 시작 시간(T2) 사이의 시간 갭 T_gap이 |T1-T2|와 동일하고; 시간 갭 T_gap이 미리 설정된 임계값 T_th보다 작고, 근전도 터치 이벤트 Touch_EMG에서 손 제스처(G)에 대응하는 터치 포인트의 수량(N1)이 트랙 터치 이벤트 Touch_TrackSys에서 사용자가 터치를 수행하는 터치 포인트의 수량(N2)과 동일한 경우, 즉, T_gap=|T1-T2|<T_th 및 N1=N2인 경우, 근전도 신호 수집 디바이스에 의해 식별되는 근전도 터치 이벤트 Touch_EMG와 위치 포착 디바이스에 의해 식별되는 트랙 터치 이벤트 Touch_TrackSys가 동일한 터치 조작 이벤트인 것을 나타내고, 터치 명령어 Touch_eff가 터치 조작에 따라 생성될 수 있다. 터치 명령어 Touch_eff는 3개의 파라미터를 포함하고, 이들은 각각 근전도 신호 수집 디바이스의 디바이스 식별자(디바이스 ID), 사용자가 터치를 수행하는 손 제스처(G) 및 각각의 터치 포인트의 좌표 정보(L)이다.
선택적으로, 터치 명령어 Touch_eff는 선택, 이동, 스케일링 또는 회전과 같은 통상의 터치 명령어일 수 있거나, 사용자에 의해 정의된 라인 그리기, 또는 볼륨 조정과 같이 새로이 추가된 터치 명령어일 수 있으며, 이는 본 발명의 이러한 실시예에서 제한되지 않는다.
단계 105: 터치 명령어에 대응하는 상호작용 조작을 실행한다.
구체적으로, 터치 명령어 Touch_eff가 생성된 후, 터치 명령어 Touch_eff에 대응하는 상호작용 조작이 수행된다.
터치 명령어 Touch_eff는 손 제스처(G)를 포함하고, 터치 명령어 Touch_eff에 포함된 정보를 풍부하게 하기 위해 손 제스처(G)에 대한 추가의 특징이 정의될 수 있다는 점에 유의해야 한다. 예를 들어, 손 제스처(G)가 한 손의 한 손가락의 제스처인 경우, 상이한 손가락에 따라 상이한 터치 명령어 Touch_eff가 생성될 수 있으며, 엄지손가락이 대상 패닝을 나타내고, 집게 손가락은 태핑에 의한 선택을 나타내는 것 등으로 정의될 수 있거나; 손 제스처(G)가 한 손의 한 손가락의 제스처이고, 생성된 터치 명령어가 라인 그리기인 경우, 상이한 손가락이 상이한 색상이나 라인 유형을 나타내는 것으로 정의될 수 있거나; 손 제스처(G)가 한 손의 다수의 손가락의 제스처인 경우, 상이한 손가락의 조합에 따라 상이한 터치 명령어 Touch_eff가 생성될 수 있는 경우, 엄지손가락과 집게 손가락이 함께 스케일링을 나타내고, 엄지손가락과 약손가락이 함께 밝기 조정을 나타내고, 집게 손가락과 약손가락이 함께 볼륨 조정을 나타내는 것 등으로 정의될 수 있다. 손 제스처(G)의 구체적인 정의는 본 발명의 이러한 실시예에서 제한되지 않는다.
또한, 단계 105 이후에, 상기 방법은, 다음을 추가로 포함할 수 있다:
단계 107: 근전도 신호 수집 디바이스에 의해 전송되는 사용자가 터치를 수행하는 손 제스처, 및 위치 포착 디바이스에 의해 전송되는 각각의 터치 포인트의 좌표 정보를 연속적으로 수신하고; 및 터치 명령어를 업데이트한다.
본 발명의 이러한 실시예에 제공되는 터치 상호작용 처리 방법에 따르면, 근전도 신호 수집 디바이스에 의해 전송되는 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어가 생성되고, 대응하는 상호작용 조작이 수행된다. 근전도 신호 수집 디바이스의 디바이스 식별자는 상이한 사용자에 의해 수행되는 터치 조작들 중 하나와, 왼손 및 오른손을 사용하여 동일한 사용자에 의해 수행되는 터치 조작을 구별하는데 사용될 수 있으므로, 혼동 터치 명령어를 야기하지 않고 한 사용자가 두 손으로 터치 조작을 수행하거나 다수의 사용자가 동일한 영역에서 터치 조작들을 동시에 수행하는 것을 구현할 수 있다.
선택적으로, 전술한 실시예에서, 제1 정보는 사용자가 터치를 수행하는 조작력을 추가로 포함할 수 있고, 터치 명령어는 조작력을 추가로 포함한다.
사용자가 터치를 수행하는 조작력(S)은 사용자가 터치를 수행하는 손 제스처(G)에 대응하고, 사용자가 터치 조작을 수행하는 조작력의 레벨을 나타낸다. 유효한 터치 조작은 필연적으로 조작력을 가지며, 조작력이 지나치게 가벼운 경우, 터치 조작은 터치 영역에서 우연히 사용자에 의해 수행된 터치이고, 유효한 터치 조작이 아닌 것으로 이해될 수 있다. 선택적으로, 근전도 신호 수집 디바이스는 각각의 손 제스처(G)에 대응하는 제1 미리 설정된 임계값 S_th(G)를 미리 정의한다. 손 제스처(G)에 대응하는 조작력(S)이 손 제스처(G)에 대응하는 제1 미리 설정된 임계값 S_th(G)보다 큰 경우, 손 제스처(G)는 유효한 손 제스처인 것으로 간주되고, 터치 조작은 근전도 터치 이벤트 Touch_EMG로 정의된다. 제1 미리 설정된 임계값 S_th(G)는 요건에 따라 설정될 수 있다.
터치 명령어 Touch_eff는 조작력(S)를 포함할 수 있고, 터치 명령어 Touch_eff에 포함된 정보를 풍부하게 하기 위해 조작력(S)에 대한 추가의 특징이 정의될 수 있다는 점에 유의해야 한다. 예를 들어, 생성된 터치 명령어 Touch_eff가 라인 그리기인 경우, 조작력(S)의 값은 라인의 폭을 나타내는 것으로 정의될 수 있거나; 생성된 터치 명령어 Touch_eff가 볼륨 조정인 경우, 조작력(S)의 값은 볼륨의 값을 나타내는 것으로 정의될 수 있다. 조작력(S)의 구체적인 정의는 본 발명의 이러한 실시예에서 제한되지 않는다.
또한, 전술한 실시예에서, 단계 105 이후에, 상기 방법은, 다음을 추가로 포함할 수 있다:
단계 109: 근전도 신호 수집 디바이스에 의해 전송되는, 사용자가 터치를 수행하는 손 제스처 및 사용자가 터치를 수행하는 조작력, 및 위치 포착 디바이스에 의해 전송되는, 각각의 터치 포인트의 좌표 정보를 연속적으로 수신하고; 터치 명령어를 업데이트한다.
단계 111: 조작력이 제2 미리 설정된 임계값보다 작은 것으로 결정되면, 터치 명령어를 삭제한다.
처리 디바이스는 각각의 손 제스처(G)에 대응하는 제2 미리 설정된 임계값 S2_th(G)를 미리 정의할 수 있다. 손 제스처(G)에 대응하는 조작력(S)이 손 제스처(G)에 대응하는 제2 미리 설정된 임계값 S2_th(G)보다 작은 경우, 터치 명령어 Touch_eff가 종료되는 것으로 간주하고, 터치 명령어 Touch_eff를 삭제한다. 제2 미리 설정된 임계값 S2_th(G)은 요건에 따라 설정될 수 있다.
선택적으로, 단계 111는 단계 109 전에 수행될 수 있다.
선택적으로, 전술한 실시예에서, 상기 방법은 터치 명령어를 저장하기 위해 터치 명령어 리스트를 유지하는 단계를 추가로 포함할 수 있다. 새로운 터치 명령어가 생성되는 경우, 터치 명령어가 터치 명령어 리스트에 추가되고; 터치 명령어가 종료되는 것으로 결정되는 경우, 터치 명령어가 터치 명령어 리스트로부터 삭제된다.
도 2는 본 발명에 따른 터치 상호작용 처리 방법의 제2 실시예의 흐름도이다. 터치 상호작용 처리 방법은 근전도 신호 수집 디바이스, 예를 들어 다수의 근전도 신호 수집 전극 플레이트, 또는 손목 스트립 유형의 근전도 신호 수집 디바이스에 의해 실행될 수 있다. 근전도 신호 수집 디바이스는 근전도 신호 수집 디바이스에 통합될 수 있는데, 예를 들어, 다수의 근전도 신호 수집 전극 플레이트는 손목-스트랩 유형의 근전도 신호 수집 디바이스에 통합될 수 있다. 근전도 신호 수집 디바이스 및 근전도 신호 수집 디바이스는 임의의 디바이스, 및 다중채널 표면 근전도 신호를 수집할 수 있는 디바이스일 수 있고, 이들은 본 발명의 이러한 실시예에서 제한되지 않는다. 이러한 실시예에서, 근전도 신호 수집 디바이스는 사용자의 터치 조작 이벤트의 터치를 식별할 수 있으며, 사용자의 터치 조작 이벤트를 근전도 터치 이벤트 Touch_EMG로 정의할 수 있다. 도 2에 도시된 바와 같이, 터치 상호작용 처리 방법은, 다음을 포함할 수 있다:
단계 201: 근전도 신호 수집 디바이스는 다수의 채널로부터 표면 근전도 신호(S1)들을 주기적으로 수집한다.
근전도 신호 수집 디바이스는 표면 근전도 신호들을 수집할 수 있는 다수의 전극을 포함할 수 있고, 각각의 전극은 하나의 채널로부터 표면 근전도 신호를 수집한다. 사용자가 다중-터치 조작을 수행하는 경우, 근전도 신호 수집 디바이스는 다수의 채널로부터 표면 근전도 신호(S1)들을 주기적으로 수집한다. 수집 기간은 요건에 따라 설정될 수 있다. 선택적으로, 전-처리는 다수의 채널로부터의 표면 근전도 신호(S1)들에 대해 수행될 수 있다. 전-처리 프로세스는, 다수의 채널로부터 수집된 표면 근전도 신호(S1)들에 신호 증폭 처리, 전력 주파수 간섭 및 트래핑 처리, 필터링 처리 등을 수행하는 단계를 포함할 수 있다.
바람직하게는, 근전도 신호 수집 디바이스는 사용자의 팔에 배치될 수 있다. 사용자의 왼손 및 오른손 둘 다가 터치 조작을 수행하는데 사용되는 경우, 근전도 신호 수집 디바이스가 팔마다 배치될 필요가 있다. 각각의 근전도 신호 수집 디바이스는 근전도 신호 수집 디바이스에 대응하는 디바이스 식별자(디바이스 ID)를 갖는다. 디바이스 ID는 근전도 신호 수집 디바이스들을 고유하게 구별하는데 사용될 수 있다. 디바이스 ID는 숫자, 문자 또는 임의의 다른 형태일 수 있으며, 이는 본 발명의 이러한 실시예에서 제한되지 않는다. 사용자가 다중-터치 조작을 수행하는 경우, 근전도 신호 수집 디바이스의 디바이스 식별자는 상이한 사용자에 의해 수행되는 터치 조작들 중 하나와, 왼손 및 오른손을 사용하여 동일한 사용자에 의해 수행되는 터치 조작을 구별하는데 사용될 수 있으므로, 혼동 터치 조작을 야기하지 않고 한 사용자가 두 손으로 터치 조작을 수행하거나 다수의 사용자가 동일한 영역에서 터치 조작들을 동시에 수행하는 것을 구현할 수 있다.
단계 203: 근전도 신호 수집 디바이스는, 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 사용자가 터치를 수행하는 손 제스처를 결정하고; 손 제스처에 따라 제1 터치 시작 시간을 결정한다. 제1 터치 시작 시간은 사용자가 터치 조작을 수행하고 근전도 신호 수집 디바이스에 의해 식별되는 시작 시간이다.
선택적으로, 근전도 신호 수집 디바이스가, 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라 사용자가 터치를 수행하는 손 제스처(G)를 결정하는 것은, 다음을 구체적으로 포함할 수 있다:
근전도 신호 수집 디바이스는 손 제스처의 유형에 기초하여 표면 근전도 신호(S1)들의 진폭 및 주파수에 따라 손 제스처(G)를 결정한다. 구체적으로, 선형 판별 분석(Linear Discriminant Analysis, LDA for short) 알고리즘 또는 지원 벡터 머신(Support Vector Machine, SVM for short) 알고리즘을 이용하여 손 제스처(G)의 유형을 결정한다. 손 제스처의 유형을 결정하는 방법은 본 발명의 이러한 실시예에서 제한되지 않는다.
손 제스처(G)의 유형은 한 손의 한 손가락의 손 제스처일 수 있거나, 한 손의 다수의 손가락의 손 제스처일 수 있다. 손 제스처(G)의 각각의 유형은 손 제스처(G)의 유형에 대응하는 터치 포인트의 수량(N1)을 갖는다. 예를 들어, 한 손의 엄지손가락의 제스처에 대응하는 터치 포인트의 수량(N1)은 1이고, 한 손의 집게 손가락과 약손가락의 조합의 제스처에 대응하는 터치 포인트의 수량(N1)은 2이다. 손 제스처(G)의 유형은 본 발명의 이러한 실시예에서 제한되지 않는다. 선택적으로, 손 제스처를 식별하기 위해 손 제스처 세트가 미리 정의되고, 세트 내의 손 제스처만 식별될 수 있다. 세트 내의 손 제스처는 본 기술분야에서 통상의 손 제스처를 포함할 수 있거나 미리 정의된 새로운 손 제스처일 수 있으며, 본 발명의 이러한 실시예에서 제한되지 않는다.
선택적으로, 손 제스처(G)에 따라 제1 터치 시작 시간(T1)을 결정하는 것은, 손 제스처(G)를 획득한 후, 근전도 신호 수집 디바이스가 터치 조작을 근전도 터치 이벤트 Touch_EMG로 정의하고, 현재 시스템 시간을 획득하고, 근전도 터치 이벤트 Touch_EMG에서 현재 시스템 시간을 제1 터치 시작 시간(T1)으로서 사용한다.
단계 205: 근전도 신호 수집 디바이스는 제1 정보를 처리 디바이스에 전송하므로, 처리 디바이스는 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어를 생성하고, 대응하는 상호작용 조작을 수행한다. 제1 정보는 근전도 신호 수집 디바이스의 디바이스 식별자, 손 제스처 및 제1 터치 시작 시간을 포함한다. 제2 정보는 사용자가 터치를 수행하는 터치 포인트의 수량, 제2 터치 시작 시간 및 각각의 터치 포인트의 좌표 정보를 포함한다. 제2 터치 시작 시간은 사용자가 터치 조작을 수행하고 위치 포착 디바이스에 의해 식별되는 시작 시간이다.
본 발명의 이러한 실시예에 제공되는 터치 상호작용 처리 방법에 따르면, 근전도 신호 수집 디바이스는 다수의 채널로부터 표면 근전도 신호들을 주기적으로 수집하고, 터치 조작의 손 제스처를 결정하며, 손 제스처에 따라 제1 터치 시작 시간을 결정한다. 근전도 신호 수집 디바이스가, 디바이스 식별자, 손 제스처 및 제1 터치 시작 시간을 포함하는 제1 정보를 처리 디바이스에 전송하므로, 처리 디바이스는 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어를 생성하고 대응하는 상호작용 조작을 수행한다. 근전도 신호 수집 디바이스의 디바이스 식별자는 상이한 사용자에 의해 수행되는 터치 조작들 중 하나와, 왼손 및 오른손을 사용하여 동일한 사용자에 의해 수행되는 터치 조작을 구별하기 위해 사용될 수 있으므로, 혼동 터치 명령어를 야기하지 않고 한 사용자가 두 손으로 터치 조작을 수행하거나 다수의 사용자가 동일한 영역에서 터치 조작들을 동시에 수행하는 것을 구현할 수 있다.
선택적으로, 전술한 실시예에서, 상기 방법은, 근전도 신호 수집 디바이스에 의해, 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 사용자가 터치를 수행하는 조작력을 결정하는 단계를 추가로 포함할 수 있다. 제1 정보는 조작력을 추가로 포함한다. 손 제스처에 따라 제1 터치 시작 시간을 결정하는 단계는, 손 제스처 및 조작력에 따라 제1 터치 시작 시간을 결정하는 단계이다.
선택적으로, 사용자가 터치를 수행하는 조작력(S)을 결정하는 단계는,
근전도 신호 수집 디바이스에 의해, 표면 근전도 신호(S1)들을 중첩 및 평균하여 단일 채널 근전도 신호(S2)를 획득하는 단계, 슬라이딩 시간 윈도우를 사용하여 단일 채널 근전도 신호(S2)의 평균 진폭을 계산하는 단계, 및 단일 채널 근전도 신호(S2)의 평균 진폭을 조작력(S)으로서 사용하는 단계를 구체적으로 포함할 수 있다.
슬라이딩 시간 윈도우는 슬라이딩 시간 윈도우의 폭(I) 및 슬라이딩 시간 윈도우의 슬라이딩 단계(J)를 포함한다. 파라미터들의 값은 요건에 따라 설정될 수 있다. 선택적으로, 슬라이딩 시간 윈도우는 슬라이딩 시간 윈도우의 계산 시간 K의 수량을 추가로 포함할 수 있으며, 여기서 K는 1보다 큰 정수이다. 슬라이딩 시간 윈도우의 폭(I)은 단일 채널 근전도 신호(S2)의 I 값들을 평균하여 평균 진폭(Z1)을 획득하는 것을 나타낸다. 슬라이딩 시간 윈도우의 슬라이딩 단계(J)는 일정한 시간 간격(J)에서 단일 채널 근전도 신호(S2)의 I 값들의 평균 진폭을 계산하는 것을 나타낸다. 슬라이딩 시간 윈도우의 계산 시간(K)의 수량은 K 계산 결과들을 평균하여 평균 진폭(Z2)을 획득하는 것을 나타낸다. 평균 진폭(Z1) 또는 평균 진폭(Z2)은 조작력(S)으로서 사용될 수 있다. 예를 들어, I는 5초, J는 1초, K는 3으로 설정된다. 슬라이딩 시간 윈도우를 사용하여 단일 채널 근전도 신호(S2)의 평균 진폭을 계산하는 단계와, 단일 채널 근전도 신호(S2)의 평균 진폭을 조작력(S)으로서 사용하는 단계는, 5초 동안 단일 채널 근전도 신호(S2)의 평균 진폭(Z1)을 계산하는 단계, 매초마다 평균 진폭(Z1)을 계산하는 단계; 3개의 연속적인 평균 진폭(Z1)을 평균하여 평균 진폭(Z2)을 획득하는 단계, 및 평균 진폭(Z2)을 조작력(S)으로서 사용하는 단계이다.
선택적으로, 손 제스처 및 조작력에 따라 제1 터치 시작 시간을 결정하는 단계는,
손 제스처(G) 및 조작력(S)을 획득한 후에, 각각의 손 제스처(G)에 대응하는 조작력에 대한 제1 미리 설정된 임계값 S_th(G)가 미리 저장되는 표를 참조하고; 표면 근전도 신호(S1)들에 따라 획득된 조작력(S)이 제1 미리 설정된 임계값 S_th(G)보다 크면, 현재 시스템 시간을 획득하여 현재 시스템 시간을 제1 터치 시작 시간(T1)으로서 사용하는 것에 의해 제1 터치 시작 시간(T1)을 결정하는 단계를 구체적으로 포함할 수 있다.
미리 정의된 손 제스처 세트에서, 대응하는 제1 미리 설정된 임계값 S_th(G)는 각각의 손 제스처(G)에 대해 미리 정의된다. 제1 미리 설정된 임계값 S_th(G)는 요건에 따라 설정될 수 있다. 손 제스처(G) 및 대응하는 조작력(S)을 획득한 후, 조작력(S)이 손 제스처(G)에 대응하는 제1 미리 설정된 임계값 S_th(G)보다 크면, 즉 S>S_th(G)이면, 터치 조작은 유효한 터치 조작으로 간주되고, 터치 조작은 근전도 터치 이벤트 Touch_EMG로 정의되고, 현재 시스템 시간을 획득하여 근전도 터치 이벤트 Touch_EMG의 제1 터치 시작 시간(T1)으로서 사용한다.
선택적으로, 전술한 실시예에서, 처리 디바이스가 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어를 생성하는 것은, 제1 터치 시작 시간과 제2 터치 시작 시간 사이의 시간 갭이 미리 설정된 임계값보다 작고, 손 제스처에 대응하는 터치 포인트의 수량이 제2 정보에 포함된 터치 포인트의 수량과 동일한 것으로 결정한 후에, 처리 디바이스가 터치 명령어를 생성하는 것을 포함한다. 터치 명령어는 근전도 신호 수집 디바이스의 디바이스 식별자, 손 제스처 및 각각의 터치 포인트의 좌표 정보를 포함할 수 있다. 선택적으로, 터치 명령어는 사용자가 터치를 수행하는 조작력을 추가로 포함할 수 있다.
터치 명령어는 손 제스처(G)를 포함하고, 터치 명령어에 포함된 정보를 풍부하게 하기 위해 손 제스처(G)에 대한 추가의 특징이 정의될 수 있다는 점에 유의해야 한다. 예를 들어, 손 제스처가 한 손의 한 손가락의 제스처인 경우, 상이한 손가락에 따라 상이한 터치 명령어가 생성될 수 있으며, 엄지손가락이 대상 패닝을 나타내고, 집게 손가락이 태핑에 의한 선택을 나타내는 것 등으로 정의될 수 있거나; 손 제스처가 한 손의 한 손가락의 제스처이고, 생성된 터치 명령어가 라인 그리기인 경우, 상이한 손가락이 상이한 색상이나 라인 유형을 나타내는 것으로 정의될 수 있거나; 손 제스처가 한 손의 다수의 손가락의 제스처인 경우, 상이한 손가락의 조합에 따라 상이한 터치 명령어가 생성될 수 있고, 엄지손가락과 집게 손가락이 함께 스케일링을 나타내고, 집게 손가락과 약손가락이 함께 볼륨 조정을 나타내고, 엄지손가락과 약손가락이 함께 밝기 조정을 나타내는 것으로 정의될 수 있다. 손 제스처(G)의 구체적인 정의는 본 발명의 이러한 실시예에서 제한되지 않는다.
터치 명령어는 조작력(S)을 추가로 포함할 수 있고, 터치 명령어에 포함된 정보를 풍부하게 하기 위해 조작력(S)에 대한 추가의 특징이 정의될 수 있다는 점에 유의해야 한다. 예를 들어, 생성된 터치 명령어가 라인 그리기인 경우, 조작력의 값은 라인의 폭을 나타내는 것으로 정의될 수 있거나; 생성된 터치 명령어가 볼륨 조정인 경우, 조작력의 값은 볼륨의 값을 나타내는 것으로 정의될 수 있다. 조작력(S)의 구체적인 정의는 본 발명의 이러한 실시예에서 제한되지 않는다.
도 3은 본 발명에 따른 처리 디바이스의 제1 실시예의 개략 구조도이다. 도 3에 도시된 바와 같이, 처리 디바이스는,
근전도 신호 수집 디바이스에 의해 전송되는 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보를 수신하도록 구성되는 정보 수신 모듈(11) - 제1 정보는 근전도 신호 수집 디바이스의 디바이스 식별자, 사용자가 터치를 수행하는 손 제스처, 및 제1 터치 시작 시간을 포함하고; 제2 정보는 사용자가 터치를 수행하는 터치 포인트의 수량, 제2 터치 시작 시간 및 각각의 터치 포인트의 좌표 정보를 포함하고; 제1 터치 시작 시간은 사용자가 터치 조작을 수행하고 근전도 신호 수집 디바이스에 의해 식별되는 시작 시간이고; 제2 터치 시작 시간은 사용자가 터치 조작을 수행하고 위치 포착 디바이스에 의해 식별되는 시작 시간임 -;
제1 터치 시작 시간과 제2 터치 시작 시간 사이의 시간 갭이 미리 설정된 임계값보다 작고, 손 제스처에 대응하는 터치 포인트의 수량이 제2 정보에 포함된 터치 포인트의 수량과 동일한 것으로 결정되면, 근전도 신호 수집 디바이스의 디바이스 식별자, 손 제스처 및 각각의 터치 포인트의 좌표 정보를 포함하는 터치 명령어를 생성하도록 구성되는 명령어 생성 모듈(13); 및
터치 명령어에 대응하는 상호작용 조작을 수행하도록 구성되는 명령어 실행 모듈(15)을 포함할 수 있다.
추가로, 명령어 생성 모듈(13)은, 근전도 신호 수집 디바이스에 의해 전송되고 정보 수신 모듈에 의해 연속적으로 수신되는, 사용자가 터치를 수행하는 손 제스처, 및 위치 포착 디바이스에 의해 전송되는 각각의 터치 포인트의 좌표 정보에 따라 터치 명령어를 업데이트하도록 추가로 구성된다.
선택적으로, 제1 정보는 사용자가 터치를 수행하는 조작력을 추가로 포함할 수 있으며, 터치 명령어는 조작력을 추가로 포함할 수 있다.
선택적으로, 명령어 생성 모듈(13)은 근전도 신호 수집 디바이스에 의해 전송되고 정보 수신 모듈에 의해 연속적으로 수신되는, 사용자가 터치를 수행하는 손 제스처 및 사용자가 터치를 수행하는 조작력, 및 위치 포착 디바이스에 의해 전송되는 각각의 터치 포인트의 좌표 정보에 따라 터치 명령어를 업데이트하도록 추가로 구성된다.
선택적으로, 명령어 생성 모듈(13)은, 조작력이 제2 미리 설정된 임계값보다 작은 것으로 결정되면, 터치 명령어가 종료되는 것으로 결정하고, 터치 명령어를 삭제하도록 추가로 구성된다.
선택적으로, 근전도 신호 수집 디바이스는 터치 명령어 리스트를 유지하도록 구성되고 터치 명령어를 저장하도록 구성되는 저장 모듈(17)을 추가로 포함할 수 있다.
처리 디바이스의 형태는 본 발명의 이러한 실시예에 제한되지 않는다는 점에 유의해야 한다. 처리 디바이스는 칩, 스마트 폰, 컴퓨터, 서버 등일 수 있거나, 계산 또는 저장 능력을 갖는 또 다른 디바이스일 수 있다.
본 발명의 이러한 실시예에 제공되는 처리 디바이스에 따르면, 정보 수신 모듈은 근전도 신호 수집 디바이스에 의해 전송되는 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보를 수신하고; 명령어 생성 모듈은 근전도 신호 수집 디바이스의 디바이스 식별자, 손 제스처 및 각각의 터치 포인트의 좌표 정보를 포함하는 터치 명령어를 생성하고; 명령어 실행 모듈은 터치 명령어에 대응하는 상호작용 조작을 수행한다. 근전도 신호 수집 디바이스의 디바이스 식별자는, 상이한 사용자에 의해 수행되는 터치 조작들 중 하나와, 왼손 및 오른손을 사용하여 동일한 사용자에 의해 수행되는 터치 조작을 구별하는데 사용될 수 있으므로, 혼동 터치 명령어를 야기하지 않고 한 사용자가 두 손으로 터치 조작을 수행하거나 다수의 사용자가 동일한 영역에서 터치 조작들을 동시에 수행하는 것을 구현할 수 있다.
도 4는 본 발명에 따른 근전도 신호 수집 디바이스의 제1 실시예의 개략 구조도이다. 도 4에 도시된 바와 같이, 근전도 신호 수집 디바이스는,
다수의 채널로부터 표면 근전도 신호(S1)들을 주기적으로 수집하도록 구성되는 수집 모듈(21);
표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 사용자가 터치를 수행하는 손 제스처를 결정하고, 손 제스처에 따라 제1 터치 시작 시간을 결정하도록 구성되는 처리 모듈(23) - 제1 터치 시작 시간은 사용자가 터치 조작을 수행하고 근전도 신호 수집 디바이스에 의해 식별되는 시작 시간임 -; 및
처리 디바이스가 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어를 생성하고 대응하는 상호작용 조작을 수행하도록, 제1 정보를 처리 디바이스에 전송하도록 구성되는 전송 모듈(25)을 포함할 수 있다. 제1 정보는 근전도 신호 수집 디바이스의 디바이스 식별자, 손 제스처 및 제1 터치 시작 시간을 포함한다. 제2 정보는 사용자가 터치를 수행하는 터치 포인트의 수량, 제2 터치 시작 시간 및 각각의 터치 포인트의 좌표 정보를 포함한다. 제2 터치 시작 시간은 사용자가 터치 조작을 수행하고 위치 포착 디바이스에 의해 식별되는 시작 시간이다.
선택적으로, 처리 모듈(23)이, 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라 사용자가 터치를 수행하는 손 제스처를 결정하는 것은, 처리 모듈(23)이 손 제스처의 유형에 기초하여 표면 근전도 신호(S1)들의 진폭 및 주파수에 따라 손 제스처를 결정하는 것을 포함한다.
선택적으로, 처리 모듈(23)은, 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 사용자가 터치를 수행하는 조작력을 결정하도록 추가로 구성될 수 있다. 제1 정보는 조작력을 추가로 포함한다. 따라서, 손 제스처에 따라 제1 터치 시작 시간을 결정하는 것은, 손 제스처 및 조작력에 따라 제1 터치 시작 시간을 결정하는 것이다.
선택적으로, 처리 모듈(23)이 사용자가 터치를 수행하는 조작력을 결정하는 것은, 처리 모듈(23)이 표면 근전도 신호(S1)들을 중첩 및 평균하여 단일 채널 근전도 신호(S2)를 획득하고, 슬라이딩 시간 윈도우를 사용하여 단일 채널 근전도 신호(S2)의 평균 진폭을 계산하고, 단일 채널 근전도 신호(S2)의 평균 진폭을 조작력(S)으로서 사용하는 것을 포함할 수 있다.
선택적으로, 처리 모듈(23)이 손 제스처 및 조작력에 따라 제1 터치 시작 시간을 결정하는 것은, 손 제스처 및 조작력을 획득한 후에, 처리 모듈(23)이 각각의 손 제스처에 대응하는 조작력에 대한 제1 미리 설정된 임계값이 미리 저장되는 표를 참조하고; 표면 근전도 신호(S1)들에 따라 획득된 조작력이 제1 미리 설정된 임계값보다 크면, 현재 시스템 시간을 획득하여 현재 시스템 시간을 제1 터치 시작 시간으로서 사용하는 것에 의해 제1 터치 시작 시간을 결정하는 것을 포함할 수 있다.
선택적으로, 처리 디바이스가 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어를 생성하는 것은, 제1 터치 시작 시간과 제2 터치 시작 시간 사이의 시간 갭이 미리 설정된 임계값보다 작고, 손 제스처에 대응하는 터치 포인트의 수량이 제2 정보에 포함된 터치 포인트의 수량과 동일한 것으로 결정한 후에, 처리 디바이스가 터치 명령어를 생성하는 것을 포함한다. 터치 명령어는 근전도 신호 수집 디바이스의 디바이스 식별자, 손 제스처 및 각각의 터치 포인트의 좌표 정보를 포함할 수 있다. 선택적으로, 터치 명령어는 사용자가 터치를 수행하는 조작력을 추가로 포함할 수 있다.
근전도 신호 수집 디바이스의 형태는 본 발명의 이러한 실시예에서 제한되지 않는다는 점을 유의해야 한다. 근전도 신호 수집 디바이스는 손목 스트랩, 또는 시계와 같은 착용가능 디바이스의 형태일 수 있거나, 표면 근전도 신호를 수집할 수 있는 다수의 전극일 수 있다.
본 발명의 이러한 실시예에서 제공되는 근전도 신호 수집 디바이스에 따르면, 수집 모듈은 다수의 채널로부터 표면 근전도 신호(S1)들을 수집하고; 처리 모듈은 사용자가 터치를 수행하는 손 제스처 및 제1 터치 시작 시간을 결정하고; 처리 디바이스가 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어를 생성하고 대응하는 상호작용 조작을 수행하도록, 전송 모듈은 제1 정보를 처리 디바이스에 전송하고, 여기서 터치 명령어는 근전도 신호 수집 디바이스의 디바이스 식별자, 손 제스처 및 각각의 터치 포인트의 좌표 정보를 포함한다. 근전도 신호 수집 디바이스에 대응하는 디바이스 식별자는 상이한 사용자에 의해 수행되는 터치 조작들 중 하나와, 왼손 및 오른손을 사용하여 동일한 사용자에 의해 수행되는 터치 조작을 구별하는데 사용되기 때문에, 혼동 터치 명령어를 야기하지 않고 한 사용자가 두 손으로 터치 조작을 수행하거나 다수의 사용자가 동일한 영역에서 터치 조작들을 동시에 수행하는 것을 구현할 수 있다.
도 5는 본 발명에 따른 터치 처리 시스템의 제1 실시예의 개략 구조도이다. 도 5에 도시된 바와 같이, 터치 처리 시스템은 위치 포착 디바이스(105), 처리 디바이스(103) 및 하나 이상의 근전도 신호 수집 디바이스(101)를 포함할 수 있다. 위치 포착 디바이스(105)는 터치 조작의 터치 포인트의 수량, 터치 시작 시간 및 터치 포인트의 좌표들을 획득할 수 있는 임의의 기존 디바이스일 수 있다. 처리 디바이스(103)는 도 3의 디바이스 실시예의 구조를 사용할 수 있고, 따라서 도 1의 방법 실시예의 기술적 해결책을 실행할 수 있다. 근전도 신호 수집 디바이스(101)는 도 4의 디바이스 실시예의 구조를 사용할 수 있으며, 따라서 도 2의 방법 실시예의 기술적 해결책을 실행할 수 있다.
근전도 신호 수집 디바이스(101) 및 위치 포착 디바이스(105)는 둘 다 처리 디바이스(103)에 통신 가능하게 연결된다. 근전도 신호 수집 디바이스(101)와 위치 포착 디바이스(105)는 유선 네트워크, 무선 네트워크, 블루투스, WiFi 등을 이용하여 처리 디바이스(103)와 개별적으로 통신할 수 있다.
선택적으로, 위치 포착 디바이스(105)는 용량성 감지 모듈(1031), 적외선 감지 모듈(1033) 및 초음파 감지 모듈(1035)을 포함할 수 있다. 용량성 감지 모듈(1031)은 용량성 터치스크린을 사용하여 터치 조작의 터치 포인트의 수량, 터치 시작 시간 및 터치 포인트의 좌표들을 획득하도록 구성된다. 적외선 감지 모듈(1033)은 적외선 터치 감지 시스템을 사용하여 터치 조작의 터치 포인트의 수량, 터치 시작 시간 및 터치 포인트의 좌표들을 획득하도록 구성된다. 초음파 감지 모듈(1035)은 초음파 터치 감지 시스템을 사용하여 터치 조작의 터치 포인트의 수량, 터치 시작 시간 및 터치 포인트의 좌표들을 획득하도록 구성된다.
선택적으로, 위치 포착 디바이스(105) 및 처리 디바이스(103)는 통합될 수 있거나 독립적으로 배치될 수 있다.
선택적으로, 터치 처리 시스템은, 터치 명령어의 실행 결과를 디스플레이하도록 구성되는 사용자 피드백 장치(107); 예를 들어, 사용자 피드백 장치(107)는 LED 디스플레이 스크린, 프로젝터 디스플레이 디바이스, 확성기, 또는 촉각 피드백 장치를 추가로 포함할 수 있다. 선택적으로, 사용자 피드백 장치(107)는 디스플레이 모듈(1071), 사운드 모듈(1073) 및 촉각 피드백 모듈(1075)을 포함할 수 있다.
본 발명의 이러한 실시예에 제공되는 터치 처리 시스템은 터치 모바일 폰 또는 터치 컴퓨터와 같은 전통적인 전자 터치 디바이스에 적용될 수 있거나, 교육, 기업 사무실, 엔터테인먼트 및 광고 디스플레이와 같은 여러 분야에 적용될 수 있고; 예를 들어, 책상의 데스크톱은 미술 교실에 사용되고, 책상의 데스크톱이 그림 용지로 사용되며, 손가락이 그리기 펜으로서 사용되고, 다수의 학생이 그림 용지에 하나의 그림을 함께 완성한다는 점에 유의해야 한다.
도 6은 본 발명에 따른 처리 디바이스의 제1 실시예의 개략 구조도이다. 도 6에 도시된 바와 같이, 처리 디바이스는 수신기(31), 제1 메모리(33) 및 프로세서(35)를 포함할 수 있으며, 여기서 수신기(31)와 제1 메모리(33)는 버스를 사용하여 프로세서(35)에 개별적으로 연결된다.
수신기(31)는 근전도 신호 수집 디바이스에 의해 전송되는 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보를 수신하도록 구성된다. 제1 정보는 근전도 신호 수집 디바이스의 디바이스 식별자, 사용자가 터치를 수행하는 손 제스처 및 제1 터치 시작 시간을 포함한다. 제2 정보는 사용자가 터치를 수행하는 터치 포인트의 수량, 제2 터치 시작 시간 및 각각의 터치 포인트의 좌표 정보를 포함한다. 제1 터치 시작 시간은 사용자가 터치 조작을 수행하고 근전도 신호 수집 디바이스에 의해 식별되는 시작 시간이다. 제2 터치 시작 시간은 사용자가 터치 조작을 수행하고 위치 포착 디바이스에 의해 식별되는 시작 시간이다.
제1 메모리(33)는 명령어를 저장하도록 구성된다.
프로세서(35)는 제1 메모리(33)에 저장된 명령어를 실행하여 다음과 같이:
제1 터치 시작 시간과 제2 터치 시작 시간 사이의 시간 갭이 미리 설정된 임계값보다 작고, 손 제스처에 대응하는 터치 포인트의 수량이 제2 정보에 포함된 터치 포인트의 수량과 동일한 것으로 결정되면, 근전도 신호 수집 디바이스의 디바이스 식별자, 손 제스처 및 각각의 터치 포인트의 좌표 정보를 포함하는 터치 명령어를 생성하는 단계; 및
터치 명령어에 대응하는 상호작용 조작을 수행하는 단계를 수행하도록 구성된다.
선택적으로, 프로세서(35)는 다음과 같이: 근전도 신호 수집 디바이스에 의해 전송되고 정보 수신 모듈에 의해 연속적으로 수신되는, 사용자가 터치를 수행하는 손 제스처, 및 위치 포착 디바이스에 의해 전송되는 각각의 터치 포인트의 좌표 정보에 따라 터치 명령어를 업데이트하는 단계를 수행하도록 추가로 구성될 수 있다.
선택적으로, 제1 정보는 사용자가 터치를 수행하는 조작력을 추가로 포함할 수 있으며, 터치 명령어는 조작력을 추가로 포함할 수 있다.
선택적으로, 프로세서(35)는 근전도 신호 수집 디바이스에 의해 전송되고 정보 수신 모듈에 의해 연속적으로 수신되는, 사용자가 터치를 수행하는 손 제스처 및 사용자가 터치를 수행하는 조작력, 및 위치 포착 디바이스에 의해 전송되는 각각의 터치 포인트의 좌표 정보에 따라, 터치 명령어를 업데이트하도록 추가로 구성될 수 있다.
선택적으로, 프로세서(35)는, 조작력이 제2 미리 설정된 임계값보다 작은 것으로 결정되면, 터치 명령어가 종료되는 것으로 결정하고, 터치 명령어를 삭제하도록 추가로 구성될 수 있다.
선택적으로, 처리 디바이스는 터치 명령어 리스트를 유지하도록 구성되는 제2 메모리(37)를 추가로 포함할 수 있으며, 여기서 터치 명령어는 터치 명령어 리스트에 저장된다. 제2 메모리(37)는 버스를 사용하여 프로세서(35)에 접속된다.
처리 디바이스의 형태는 본 발명의 이러한 실시예에 제한되지 않는다는 점에 유의해야 한다. 처리 디바이스는 칩, 스마트 폰, 컴퓨터, 서버 등일 수 있거나, 계산 또는 저장 능력을 갖는 또 다른 디바이스일 수 있다.
본 발명의 이러한 실시예에 제공되는 처리 디바이스에 따르면, 수신기는 근전도 신호 수집 디바이스에 의해 전송되는 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보를 수신하고; 프로세서는 터치 명령어를 생성하고 터치 명령어에 대응하는 상호작용 조작을 수행하고, 여기서 터치 명령어는 상기 근전도 신호 수집 디바이스의 디바이스 식별자, 손 제스처 및 각각의 터치 포인트의 좌표 정보를 포함한다. 근전도 신호 수집 디바이스의 디바이스 식별자는 상이한 사용자에 의해 수행되는 터치 조작들 중 하나와, 왼손 및 오른손을 사용하여 동일한 사용자에 의해 수행되는 터치 조작을 구별하기 위해 사용될 수 있기 때문에, 혼동 터치 명령어를 야기하지 않고 한 사용자가 두 손으로 터치 조작을 수행하거나 다수의 사용자가 동일한 영역에서 터치 조작들을 동시에 수행하는 것을 구현할 수 있다.
도 7은 본 발명에 따른 근전도 신호 수집 디바이스의 제1 실시예의 개략 구조도이다. 도 7에 도시된 바와 같이, 근전도 신호 수집 디바이스는 프로세서(41), 전송기(43) 및 제3 메모리(45)를 포함할 수 있으며, 여기서 전송기(43) 및 제3 메모리(45)는 버스를 사용하여 프로세서(41)에 개별적으로 연결된다.
제3 메모리(45)는 명령어를 저장하도록 구성된다.
프로세서(41)는 제3 메모리(45)에 저장된 명령어를 실행하여 다음과 같이:
다수의 채널로부터 표면 근전도 신호(S1)들을 주기적으로 수집하는 단계; 및
표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 사용자가 터치를 수행하는 손 제스처를 결정하는 단계, 및 손 제스처에 따라 제1 터치 시작 시간을 결정하는 단계를 수행하도록 구성되고, 제1 터치 시작 시간은 사용자가 터치 조작을 수행하고 근전도 신호 수집 디바이스에 의해 식별되는 시작 시간이다.
선택적으로, 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 사용자가 터치를 수행하는 손 제스처를 결정하는 단계는, 손 제스처의 유형에 기초하여, 표면 근전도 신호(S1)들의 진폭 및 주파수에 따라 손 제스처를 결정하는 단계를 포함할 수 있다.
처리 디바이스가 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어를 생성하고 대응하는 상호작용 조작을 수행하도록, 전송기(43)는 제1 정보를 처리 디바이스에 전송하도록 구성된다. 제1 정보는 근전도 신호 수집 디바이스의 디바이스 식별자, 손 제스처 및 제1 터치 시작 시간을 포함한다. 제2 정보는 사용자가 터치를 수행하는 터치 포인트의 수량, 제2 터치 시작 시간 및 각각의 터치 포인트의 좌표 정보를 포함한다. 제2 터치 시작 시간은 사용자가 터치 조작을 수행하고 위치 포착 디바이스에 의해 식별되는 시작 시간이다.
선택적으로, 프로세서(41)는 다음과 같이, 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 사용자가 터치를 수행하는 조작력을 결정하는 단계를 수행하도록 추가로 구성될 수 있다. 제1 정보는 조작력을 추가로 포함한다. 따라서, 손 제스처에 따라 제1 터치 시작 시간을 결정하는 단계는 손 제스처 및 조작력에 따라 제1 터치 시작 시간을 결정하는 단계이다.
선택적으로, 사용자가 터치를 수행하는 조작력을 결정하는 단계는, 표면 근전도 신호(S1)들을 중첩 및 평균하여 단일 채널 근전도 신호(S2)를 획득하는 단계, 슬라이딩 시간 윈도우를 사용하여 단일 채널 근전도 신호(S2)의 평균 진폭을 계산하는 단계, 및 단일 채널 근전도 신호(S2)의 평균 진폭을 조작력(S)으로서 사용하는 단계를 포함할 수 있다.
손 제스처 및 조작력에 따라 제1 터치 시작 시간을 결정하는 단계는, 손 제스처 및 조작력을 획득하는 단계 후에, 각각의 손 제스처에 대응하는 조작력에 대한 제1 미리 설정된 임계값이 미리 저장되는 표를 참조하고; 표면 근전도 신호(S1)들에 따라 획득된 조작력이 제1 미리 설정된 임계값보다 크면, 현재 시스템 시간을 획득하여 현재 시스템 시간을 제1 터치 시작 시간으로서 사용하는 것에 의해 제1 터치 시작 시간을 결정하는 단계를 포함한다.
선택적으로, 처리 디바이스가 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어를 생성하는 것은, 제1 터치 시작 시간과 제2 터치 시작 시간 사이의 시간 갭이 미리 설정된 임계값보다 작고 손 제스처에 대응하는 터치 포인트의 수량이 제2 정보에 포함된 터치 포인트의 수량과 동일한 것으로 결정한 후에, 처리 디바이스가 터치 명령어를 생성하는 것을 포함한다. 터치 명령어는 근전도 신호 수집 디바이스의 디바이스 식별자, 손 제스처 및 각각의 터치 포인트의 좌표 정보를 포함할 수 있다. 선택적으로, 터치 명령어는 사용자가 터치를 수행하는 조작력을 추가로 포함할 수 있다.
근전도 신호 수집 디바이스의 형태는 본 발명의 이러한 실시예에서 제한되지 않는다는 점을 유의해야 한다. 근전도 신호 수집 디바이스는 손목 스트랩, 또는 시계와 같은 착용가능 디바이스의 형태일 수 있거나, 표면 근전도 신호를 수집할 수 있는 다수의 전극일 수 있다.
본 발명의 이러한 실시예에 제공되는 근전도 신호 수집 디바이스에 따르면, 프로세서는 다수의 채널로부터 표면 근전도 신호(S1)들을 수집하고, 사용자가 터치를 수행하는 손 제스처 및 제1 터치 시작 시간을 결정하고; 처리 디바이스가 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어를 생성하고 대응하는 상호작용 조작을 수행하도록, 전송기는 제1 정보를 처리 디바이스에 전송하고, 여기서 터치 명령어는 근전도 신호 수집 디바이스의 디바이스 식별자, 손 제스처 및 각각의 터치 포인트의 좌표 정보를 포함한다. 근전도 신호 수집 디바이스에 대응하는 디바이스 식별자는 상이한 사용자에 의해 수행되는 터치 조작들 중 하나와, 왼손 및 오른손을 사용하여 동일한 사용자에 의해 수행되는 터치 조작을 구별하는데 사용되기 때문에, 혼동 터치 명령어를 야기하지 않고 한 사용자가 두 손으로 터치 조작을 수행하거나 다수의 사용자가 동일한 영역에서 터치 조작들을 동시에 수행하는 것을 구현할 수 있다.
도 8은 본 발명에 따른 터치 처리 시스템의 제2 실시예의 개략 구조도이다. 도 8에 도시된 바와 같이, 터치 처리 시스템은 위치 포착 디바이스(205), 처리 디바이스(203) 및 하나 이상의 근전도 신호 수집 디바이스(201)를 포함할 수 있다. 위치 포착 디바이스(205)는 터치 조작의 터치 포인트의 수량, 터치 시작 시간 및 터치 포인트의 좌표들을 획득할 수 있는 임의의 기존 디바이스일 수 있다. 처리 디바이스(203)는 도 6의 디바이스 실시예의 구조를 이용할 수 있고, 따라서 도 1의 방법 실시예의 기술적 해결책을 실행할 수 있다. 근전도 신호 수집 디바이스(201)는 도 7의 디바이스 실시예의 구조를 사용할 수 있으며, 따라서, 도 2의 방법 실시예의 기술적 해결책을 실행할 수 있다.
근전도 신호 수집 디바이스(201) 및 위치 포착 디바이스(205)는 둘 다 처리 디바이스(203)에 통신 가능하게 연결된다. 근전도 신호 수집 디바이스(201)와 위치 포착 디바이스(205)는 유선 네트워크, 무선 네트워크, 블루투스, WiFi 등을 이용하여 처리 디바이스(203)와 개별적으로 통신할 수 있다.
선택적으로, 위치 포착 디바이스(205)는 용량성 센서(2031), 적외선 센서(2033) 및 초음파 센서(2035)를 포함할 수 있다. 용량성 센서(2031)는 용량성 터치스크린을 사용하여 터치 조작의 터치 포인트의 수량, 터치 시작 시간 및 터치 포인트의 좌표들을 획득하도록 구성된다. 적외선 센서(2033)는 적외선 터치 감지 시스템을 사용하여 터치 조작의 터치 포인트의 수량, 터치 시작 시간 및 터치 포인트의 좌표들을 획득하도록 구성된다. 초음파 센서(2035)는 초음파 터치 감지 시스템을 사용하여 터치 조작의 터치 포인트의 수량, 터치 시작 시간 및 터치 포인트의 좌표들을 획득하도록 구성된다.
선택적으로, 위치 포착 디바이스(205) 및 처리 디바이스(203)는 통합될 수 있거나 독립적으로 배치될 수 있다.
선택적으로, 터치 처리 시스템은 터치 명령어의 실행 결과를 디스플레이하도록 구성되는 사용자 피드백 디바이스(207); 예를 들어, 사용자 피드백 디바이스(207)는 LED 디스플레이 스크린, 프로젝터 디스플레이 디바이스, 확성기, 또는 촉각 피드백 디바이스를 추가로 포함할 수 있다. 선택적으로, 사용자 피드백 디바이스(207)는 디스플레이 디바이스(2071), 사운드 디바이스(2073) 및 촉각 피드백 디바이스(2075)를 포함할 수 있다.
본 발명의 이러한 실시예에 제공되는 터치 처리 시스템은 터치 모바일 폰 또는 터치 컴퓨터와 같은 전통적인 전자 터치 디바이스에 적용될 수 있거나, 교육, 기업 사무실, 엔터테인먼트 및 광고 디스플레이와 같은 여러 분야에 적용될 수 있고; 예를 들어, 책상의 데스크톱은 미술 교실에 사용되고, 책상의 데스크톱이 그림 용지로 사용되며, 손가락은 그리기 펜으로서 사용되고, 다수의 학생이 그림 용지에 하나의 그림을 함께 완성한다는 점에 유의해야 한다.
마지막으로, 상기 실시예들은 본 발명을 제한하고자 함이 아니라 본 발명의 기술적 해결책들을 설명하기 위한 것일 뿐이라는 점에 유의해야 한다. 본 발명이 상기 실시예들을 참조하여 상세히 설명되었지만, 본 기술분야의 통상의 기술자라면, 본 발명의 실시예들의 기술적 해결책들의 범위로부터 벗어나지 않고, 상기 실시예들에서 설명한 기술적 해결책들에 수정을 가하거나 일부 또는 모든 기술적 특징들에 대해 등가의 대체를 행할 수도 있다는 것을 이해해야 한다.

Claims (23)

  1. 터치 상호작용 처리 방법으로서,
    근전도 신호 수집 디바이스에 의해 전송되는 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보를 수신하는 단계 - 상기 제1 정보는 상기 근전도 신호 수집 디바이스의 디바이스 식별자, 사용자가 터치를 수행하는 손 제스처 및 제1 터치 시작 시간을 포함하고; 상기 제2 정보는 상기 사용자가 상기 터치를 수행하는 터치 포인트의 수량, 제2 터치 시작 시간 및 각각의 터치 포인트의 좌표 정보를 포함하고; 상기 제1 터치 시작 시간은, 상기 사용자가 터치 조작을 수행하고 상기 근전도 신호 수집 디바이스에 의해 식별되는 시작 시간이고; 상기 제2 터치 시작 시간은, 상기 사용자가 상기 터치 조작을 수행하고 상기 위치 포착 디바이스에 의해 식별되는 시작 시간임 -;
    상기 제1 터치 시작 시간과 상기 제2 터치 시작 시간 사이의 시간 갭이 미리 설정된 임계값보다 작고, 상기 손 제스처에 대응하는 터치 포인트의 수량이 상기 제2 정보에 포함된 터치 포인트의 수량과 동일한 것으로 결정되면, 상기 근전도 신호 수집 디바이스의 디바이스 식별자, 상기 손 제스처 및 각각의 터치 포인트의 상기 좌표 정보를 포함하는 터치 명령어를 생성하는 단계; 및
    상기 터치 명령어에 대응하는 상호작용 조작을 수행하는 단계를 포함하는, 터치 상호작용 처리 방법.
  2. 제1항에 있어서,
    상기 방법은,
    상기 근전도 신호 수집 디바이스에 의해 전송되는 상기 사용자가 상기 터치를 수행하는 상기 손 제스처, 및 상기 위치 포착 디바이스에 의해 전송되는 각각의 터치 포인트의 상기 좌표 정보를 연속적으로 수신하는 단계; 및 상기 터치 명령어를 업데이트하는 단계를 추가로 포함하는, 터치 상호작용 처리 방법.
  3. 제1항에 있어서,
    상기 제1 정보는 상기 사용자가 상기 터치를 수행하는 조작력을 추가로 포함하고, 상기 터치 명령어는 상기 조작력을 추가로 포함하는, 터치 상호작용 처리 방법.
  4. 제3항에 있어서,
    상기 근전도 신호 수집 디바이스에 의해 전송되는 상기 사용자가 상기 터치를 수행하는 상기 손 제스처 및 상기 사용자가 상기 터치를 수행하는 조작력, 및 상기 위치 포착 디바이스에 의해 전송되는 각각의 터치 포인트의 상기 좌표 정보를 연속적으로 수신하는 단계; 및 상기 터치 명령어를 업데이트하는 단계인, 터치 상호작용 처리 방법.
  5. 제4항에 있어서, 상기 방법은,
    상기 조작력이 제2 미리 설정된 임계값보다 작은 것으로 결정되면, 상기 터치 명령어를 삭제하는 단계를 추가로 포함하는, 터치 상호작용 처리 방법.
  6. 터치 상호작용 처리 방법으로서,
    근전도 신호 수집 디바이스에 의해, 다수의 채널로부터 표면 근전도 신호(S1)들을 주기적으로 수집하는 단계;
    상기 근전도 신호 수집 디바이스에 의해, 상기 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 사용자가 터치를 수행하는 손 제스처를 결정하는 단계; 및 상기 손 제스처에 따라 제1 터치 시작 시간을 결정하는 단계 - 상기 제1 터치 시작 시간은, 사용자가 터치 조작을 수행하고 상기 근전도 신호 수집 디바이스에 의해 식별되는 시작 시간임 -; 및
    처리 디바이스가 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어를 생성하고 대응하는 상호작용 조작을 수행하도록, 상기 근전도 신호 수집 디바이스에 의해, 상기 제1 정보를 상기 처리 디바이스에 전송하는 단계를 포함하고, 상기 제1 정보는 상기 근전도 신호 수집 디바이스의 디바이스 식별자, 상기 손 제스처 및 상기 제1 터치 시작 시간을 포함하고; 상기 제2 정보는 상기 사용자가 상기 터치를 수행하는 터치 포인트의 수량, 제2 터치 시작 시간 및 각각의 터치 포인트의 좌표 정보를 포함하고; 상기 제2 터치 시작 시간은, 상기 사용자가 상기 터치 조작을 수행하고 상기 위치 포착 디바이스에 의해 식별되는 시작 시간인, 터치 상호작용 처리 방법.
  7. 제6항에 있어서,
    상기 근전도 신호 수집 디바이스에 의해, 상기 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 사용자가 터치를 수행하는 손 제스처를 결정하는 단계는,
    상기 근전도 신호 수집 디바이스에 의해, 손 제스처의 유형에 기초하여, 상기 표면 근전도 신호(S1)들의 진폭 및 주파수에 따라 상기 손 제스처를 결정하는 단계를 포함하는, 터치 상호작용 처리 방법.
  8. 제6항에 있어서,
    상기 근전도 신호 수집 디바이스에 의해, 상기 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 상기 사용자가 상기 터치를 수행하는 조작력을 결정하는 단계를 추가로 포함하고, 상기 제1 정보는 상기 조작력을 추가로 포함하고, 상기 손 제스처에 따라 제1 터치 시작 시간을 결정하는 단계는 상기 손 제스처 및 상기 조작력에 따라 상기 제1 터치 시작 시간을 결정하는 단계인, 터치 상호작용 처리 방법.
  9. 제8항에 있어서,
    상기 사용자가 상기 터치를 수행하는 조작력을 결정하는 단계는,
    상기 근전도 신호 수집 디바이스에 의해, 상기 표면 근전도 신호(S1)들을 중첩 및 평균하여 단일 채널 근전도 신호(S2)를 획득하는 단계, 슬라이딩 시간 윈도우를 사용하여 상기 단일 채널 근전도 신호(S2)의 평균 진폭을 계산하는 단계, 및 상기 단일 채널 근전도 신호(S2)의 상기 평균 진폭을 상기 조작력(S)으로서 사용하는 단계를 포함하는, 터치 상호작용 처리 방법.
  10. 제8항에 있어서,
    상기 손 제스처 및 상기 조작력에 따라 상기 제1 터치 시작 시간을 결정하는 단계는,
    상기 손 제스처 및 상기 조작력을 획득한 후에, 각각의 손 제스처에 대응하는 조작력에 대한 제1 미리 설정된 임계값이 미리 저장되는 표를 참조하고; 및 상기 표면 근전도 신호(S1)들에 따라 획득된 상기 조작력이 상기 제1 미리 설정된 임계값보다 크면, 현재 시스템 시간을 획득하여 상기 현재 시스템 시간을 상기 제1 터치 시작 시간으로서 사용하는 것에 의해 상기 제1 터치 시작 시간을 결정하는 단계를 포함하는, 터치 상호작용 처리 방법.
  11. 제6항 내지 제10항 중 어느 한 항에 있어서,
    상기 처리 디바이스가 상기 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어를 생성하는 것은, 상기 제1 터치 시작 시간과 상기 제2 터치 시작 시간 사이의 시간 갭이 미리 설정된 임계값보다 작고, 상기 손 제스처에 대응하는 터치 포인트의 수량이 상기 제2 정보에 포함된 터치 포인트의 수량과 동일한 것으로 결정한 후에, 상기 처리 디바이스가 상기 터치 명령어를 생성하는 것을 포함하는, 터치 상호작용 처리 방법.
  12. 처리 디바이스로서,
    근전도 신호 수집 디바이스에 의해 전송되는 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보를 수신하도록 구성되는 정보 수신 모듈 - 상기 제1 정보는 상기 근전도 신호 수집 디바이스의 디바이스 식별자, 사용자가 터치를 수행하는 손 제스처, 및 제1 터치 시작 시간을 포함하고; 상기 제2 정보는 상기 사용자가 상기 터치를 수행하는 터치 포인트의 수량, 제2 터치 시작 시간 및 각각의 터치 포인트의 좌표 정보를 포함하고; 상기 제1 터치 시작 시간은, 상기 사용자가 터치 조작을 수행하고 상기 근전도 신호 수집 디바이스에 의해 식별되는 시작 시간이고; 상기 제2 터치 시작 시간은, 상기 사용자가 상기 터치 조작을 수행하고 상기 위치 포착 디바이스에 의해 식별되는 시작 시간임 -;
    상기 제1 터치 시작 시간과 상기 제2 터치 시작 시간 사이의 시간 갭이 미리 설정된 임계값보다 작고, 상기 손 제스처에 대응하는 터치 포인트의 수량이 상기 제2 정보에 포함된 터치 포인트의 수량과 동일한 것으로 결정되면, 상기 근전도 신호 수집 디바이스의 디바이스 식별자, 상기 손 제스처 및 각각의 터치 포인트의 상기 좌표 정보를 포함하는 터치 명령어를 생성하도록 구성되는 명령어 생성 모듈; 및
    상기 터치 명령어에 대응하는 상호작용 조작을 수행하도록 구성되는 명령어 실행 모듈을 포함하는, 처리 디바이스.
  13. 제12항에 있어서,
    상기 명령어 생성 모듈은, 상기 근전도 신호 수집 디바이스에 의해 전송되며 상기 정보 수신 모듈에 의해 연속적으로 수신되는 상기 사용자가 상기 터치를 수행하는 상기 손 제스처, 및 상기 위치 포착 디바이스에 의해 전송되는, 각각의 터치 포인트의 상기 좌표 정보에 따라 상기 터치 명령어를 업데이트하도록 추가로 구성되는, 처리 디바이스.
  14. 제12항에 있어서,
    상기 제1 정보는 상기 사용자가 상기 터치를 수행하는 조작력을 추가로 포함하고, 상기 터치 명령어는 상기 조작력을 추가로 포함하는, 처리 디바이스.
  15. 제14항에 있어서,
    상기 명령어 생성 모듈은, 상기 근전도 신호 수집 디바이스에 의해 전송되며 상기 정보 수신 모듈에 의해 연속적으로 수신되는, 상기 사용자가 상기 터치를 수행하는 상기 손 제스처 및 상기 사용자가 상기 터치를 수행하는 조작력, 및 상기 위치 포착 디바이스에 의해 전송되는 각각의 터치 포인트의 상기 좌표 정보에 따라 상기 터치 명령어를 업데이트하도록 추가로 구성되는, 처리 디바이스.
  16. 제15항에 있어서,
    상기 명령어 생성 모듈은, 상기 조작력이 제2 미리 설정된 임계값보다 작은 것으로 결정되면, 상기 터치 명령어가 종료되는 것으로 결정하고, 상기 터치 명령어를 삭제하도록 추가로 구성되는, 처리 디바이스.
  17. 근전도 신호 수집 디바이스로서,
    다수의 채널로부터 표면 근전도 신호(S1)들을 주기적으로 수집하도록 구성되는 수집 모듈;
    상기 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 사용자가 터치를 수행하는 손 제스처를 결정하고; 상기 손 제스처에 따라 제1 터치 시작 시간을 결정하도록 구성되는 처리 모듈 - 상기 제1 터치 시작 시간은, 상기 사용자가 터치 조작을 수행하고 상기 근전도 신호 수집 디바이스에 의해 식별되는 시작 시간임 -; 및
    처리 디바이스가 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어를 생성하고 대응하는 상호작용 조작을 수행하도록, 상기 제1 정보를 상기 처리 디바이스에 전송하도록 구성되는 전송 모듈을 포함하고, 상기 제1 정보는 상기 근전도 신호 수집 디바이스의 디바이스 식별자, 상기 손 제스처 및 상기 제1 터치 시작 시간을 포함하고; 상기 제2 정보는 상기 사용자가 상기 터치를 수행하는 터치 포인트의 수량, 제2 터치 시작 시간 및 각각의 터치 포인트의 좌표 정보를 포함하고; 상기 제2 터치 시작 시간은, 상기 사용자가 상기 터치 조작을 수행하고 상기 위치 포착 디바이스에 의해 식별되는 시작 시간인, 근전도 신호 수집 디바이스.
  18. 제17항에 있어서,
    처리 모듈이 상기 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 사용자가 터치를 수행하는 손 제스처를 결정하는 것은,
    상기 처리 모듈은 손 제스처의 유형에 기초하여 상기 표면 근전도 신호(S1)들의 진폭 및 주파수에 따라 상기 손 제스처를 결정하는 것을 포함하는, 근전도 신호 수집 디바이스.
  19. 제17항에 있어서,
    상기 처리 모듈은, 상기 표면 근전도 신호(S1)들의 시간-주파수 도메인 특징에 따라, 상기 사용자가 상기 터치를 수행하는 조작력을 결정하도록 추가로 구성되고, 상기 제1 정보는 상기 조작력을 추가로 포함하고, 상기 손 제스처에 따라 제1 터치 시작 시간을 결정하는 것은, 상기 손 제스처 및 상기 조작력에 따라 상기 제1 터치 시작 시간을 결정하는 것인, 근전도 신호 수집 디바이스.
  20. 제19항에 있어서,
    상기 처리 모듈이 상기 사용자가 상기 터치를 수행하는 조작력을 결정하는 것은,
    상기 처리 모듈이 상기 표면 근전도 신호(S1)들을 중첩 및 평균하여 단일 채널 근전도 신호(S2)를 획득하고, 슬라이딩 시간 윈도우를 사용하여 상기 단일 채널 근전도 신호(S2)의 평균 진폭을 계산하고, 상기 단일 채널 근전도 신호(S2)의 상기 평균 진폭을 상기 조작력(S)으로서 사용하는 것을 포함하는, 근전도 신호 수집 디바이스.
  21. 제19항에 있어서,
    상기 처리 모듈이 상기 손 제스처 및 상기 조작력에 따라 상기 제1 터치 시작 시간을 결정하는 것은,
    상기 손 제스처 및 상기 조작력을 획득한 후에, 상기 처리 모듈이 각각의 손 제스처에 대응하는 조작력에 대한 제1 미리 설정된 임계값이 미리 저장되는 표를 참조하고; 상기 표면 근전도 신호(S1)들에 따라 획득된 상기 조작력이 상기 제1 미리 설정된 임계값보다 크면, 현재 시스템 시간을 획득하여 상기 현재 시스템 시간을 상기 제1 터치 시작 시간으로서 사용하는 것에 의해 상기 제1 터치 시작 시간을 결정하는 것을 포함하는, 근전도 신호 수집 디바이스.
  22. 제17항 내지 제21항 중 어느 한 항에 있어서,
    상기 처리 디바이스가 제1 정보 및 위치 포착 디바이스에 의해 전송되는 제2 정보에 따라 터치 명령어를 생성하는 것은, 상기 제1 터치 시작 시간과 상기 제2 터치 시작 시간 사이의 시간 갭이 미리 설정된 임계값보다 작고, 상기 손 제스처에 대응하는 터치 포인트의 수량이 상기 제2 정보에 포함된 터치 포인트의 수량과 동일한 것으로 결정한 후에, 상기 처리 디바이스가 상기 터치 명령어를 생성하는 것을 포함하는, 근전도 신호 수집 디바이스.
  23. 터치 처리 시스템으로서,
    위치 포착 디바이스, 제12항 내지 제16항 중 어느 한 항에 따른 처리 디바이스, 및 제17항 내지 제22항 중 어느 한 항에 따른 적어도 하나의 근전도 신호 수집 디바이스를 포함하고, 상기 근전도 신호 수집 디바이스 및 상기 위치 포착 디바이스는 둘 다 상기 처리 디바이스에 통신 가능하게 연결되는, 터치 처리 시스템.
KR1020177012912A 2014-10-16 2015-05-29 터치 상호작용을 처리하기 위한 방법, 디바이스 및 시스템 KR101875350B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410549003.0A CN105573536B (zh) 2014-10-16 2014-10-16 触控交互的处理方法、装置和系统
CN201410549003.0 2014-10-16
PCT/CN2015/080243 WO2016058387A1 (zh) 2014-10-16 2015-05-29 触控交互的处理方法、装置和系统

Publications (2)

Publication Number Publication Date
KR20170067873A true KR20170067873A (ko) 2017-06-16
KR101875350B1 KR101875350B1 (ko) 2018-07-05

Family

ID=55746078

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177012912A KR101875350B1 (ko) 2014-10-16 2015-05-29 터치 상호작용을 처리하기 위한 방법, 디바이스 및 시스템

Country Status (7)

Country Link
US (1) US10372325B2 (ko)
EP (1) EP3200051B1 (ko)
JP (1) JP6353982B2 (ko)
KR (1) KR101875350B1 (ko)
CN (1) CN105573536B (ko)
BR (1) BR112017007752B1 (ko)
WO (1) WO2016058387A1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020061451A1 (en) * 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
US11481031B1 (en) 2019-04-30 2022-10-25 Meta Platforms Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US11644799B2 (en) 2013-10-04 2023-05-09 Meta Platforms Technologies, Llc Systems, articles and methods for wearable electronic devices employing contact sensors
US11666264B1 (en) 2013-11-27 2023-06-06 Meta Platforms Technologies, Llc Systems, articles, and methods for electromyography sensors
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017051687A1 (ja) * 2015-09-25 2017-03-30 株式会社リコー 電子黒板、電子黒板の画像処理方法、及び電子黒板のプログラムを記録した記録媒体
US11049053B2 (en) * 2018-03-29 2021-06-29 Ricoh Company, Ltd. Communication terminal, sharing system, communication method, and non-transitory recording medium storing program
CN109542278B (zh) * 2018-09-27 2022-02-11 江苏特思达电子科技股份有限公司 触摸数据的处理方法、装置及触摸设备
US10908783B2 (en) 2018-11-06 2021-02-02 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects and providing feedback
CN111338516B (zh) * 2020-02-26 2022-05-10 业成科技（成都）有限公司 手指触控的检测方法和装置、电子设备、存储介质
CN112506379A (zh) * 2020-12-21 2021-03-16 北京百度网讯科技有限公司 触控事件的处理方法、装置、设备以及存储介质
CN113126771A (zh) * 2021-05-07 2021-07-16 浙江柔灵科技有限公司 一种具有反馈信息功能的肌电手势识别系统
CN114642440B (zh) * 2022-05-23 2022-08-12 博睿康科技（常州）股份有限公司 获取刺激系统预设时长的方法、刺激系统及其调控方法
CN116243825B (zh) * 2023-05-06 2023-07-25 成都市芯璨科技有限公司 一种基于电容检测的触控检测芯片及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100302137A1 (en) * 2009-05-27 2010-12-02 Microsoft Corporation Touch Sensitive Display Apparatus using sensor input
WO2013103344A1 (en) * 2012-01-05 2013-07-11 Sony Ericsson Mobile Communications Ab Adjusting coordinates of touch input
US20130310136A1 (en) * 2012-05-18 2013-11-21 Aruze Gaming America, Inc. Gaming machine and gaming method
US20140210745A1 (en) * 2013-01-25 2014-07-31 University Of Washington Through Its Center For Commercialization Using Neural Signals to Drive Touch Screen Devices

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248873A (ja) * 1994-03-08 1995-09-26 Sharp Corp 筋電信号を用いた制御装置
AU2001212430A1 (en) 2000-10-27 2002-05-06 Elo Touchsystems, Inc. Touch confirming touchscreen utilizing plural touch sensors
JP4099117B2 (ja) * 2003-07-22 2008-06-11 シャープ株式会社 仮想キーボードシステム
US8441467B2 (en) 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
US8022941B2 (en) 2006-10-12 2011-09-20 Disney Enterprises, Inc. Multi-user touch screen
US20100310136A1 (en) 2009-06-09 2010-12-09 Sony Ericsson Mobile Communications Ab Distinguishing right-hand input and left-hand input based on finger recognition
JP4988016B2 (ja) 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
KR20110032640A (ko) 2009-09-23 2011-03-30 삼성전자주식회사 멀티 터치 인식 디스플레이 장치
CN102117150A (zh) * 2011-03-30 2011-07-06 汉王科技股份有限公司 字符后处理方法及系统
CN102184056B (zh) * 2011-04-26 2013-02-13 广东威创视讯科技股份有限公司 多触摸点识别方法及装置
US8692799B1 (en) 2011-07-05 2014-04-08 Cypress Semiconductor Corporation Single layer multi-touch capacitive sensor
US9460029B2 (en) 2012-03-02 2016-10-04 Microsoft Technology Licensing, Llc Pressure sensitive keys
US9201546B2 (en) 2012-03-09 2015-12-01 Elo Touch Solutions, Inc. Acoustic touch apparatus with multi-touch capability
US8866771B2 (en) 2012-04-18 2014-10-21 International Business Machines Corporation Multi-touch multi-user gestures on a multi-touch display
JP5929572B2 (ja) * 2012-07-09 2016-06-08 コニカミノルタ株式会社 操作表示装置およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100302137A1 (en) * 2009-05-27 2010-12-02 Microsoft Corporation Touch Sensitive Display Apparatus using sensor input
US8581856B2 (en) * 2009-05-27 2013-11-12 Microsoft Corporation Touch sensitive display apparatus using sensor input
WO2013103344A1 (en) * 2012-01-05 2013-07-11 Sony Ericsson Mobile Communications Ab Adjusting coordinates of touch input
US20130310136A1 (en) * 2012-05-18 2013-11-21 Aruze Gaming America, Inc. Gaming machine and gaming method
US20140210745A1 (en) * 2013-01-25 2014-07-31 University Of Washington Through Its Center For Commercialization Using Neural Signals to Drive Touch Screen Devices

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11644799B2 (en) 2013-10-04 2023-05-09 Meta Platforms Technologies, Llc Systems, articles and methods for wearable electronic devices employing contact sensors
US11666264B1 (en) 2013-11-27 2023-06-06 Meta Platforms Technologies, Llc Systems, articles, and methods for electromyography sensors
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
WO2020061451A1 (en) * 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11941176B1 (en) 2018-11-27 2024-03-26 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11481031B1 (en) 2019-04-30 2022-10-25 Meta Platforms Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof

Also Published As

Publication number Publication date
EP3200051B1 (en) 2018-12-12
KR101875350B1 (ko) 2018-07-05
CN105573536A (zh) 2016-05-11
BR112017007752B1 (pt) 2023-01-31
EP3200051A4 (en) 2017-09-20
EP3200051A1 (en) 2017-08-02
BR112017007752A2 (pt) 2018-02-06
US20170220245A1 (en) 2017-08-03
US10372325B2 (en) 2019-08-06
JP6353982B2 (ja) 2018-07-04
WO2016058387A1 (zh) 2016-04-21
CN105573536B (zh) 2018-09-07
JP2017534980A (ja) 2017-11-24

Similar Documents

Publication Publication Date Title
KR101875350B1 (ko) 터치 상호작용을 처리하기 위한 방법, 디바이스 및 시스템
CN102662462B (zh) 电子装置、手势识别方法及手势应用方法
US9329714B2 (en) Input device, input assistance method, and program
EP2544077A1 (en) Method and apparatus for providing user interface using acoustic signal, and device including user interface
CN104850341B (zh) 一种移动终端及移动终端的应用图标显示方法
WO2018164862A1 (en) Change of active user of a stylus pen with a multi-user interactive display
US20160239128A1 (en) User interface method and apparatus
KR20110116463A (ko) 인터페이스 방법 및 장치
WO2012154001A3 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
US20240094843A1 (en) Pairing method, position detecting system, position indicator and position detecting apparatus
US20170224277A1 (en) Control method of wearable device execution module and wearable device
CN107346206A (zh) 一种移动终端的操控方法及移动终端
US10146372B2 (en) Method for controlling blank screen gesture processing and terminal
CN104363345A (zh) 一种显示方法和电子设备
CN105808129B (zh) 一种利用手势快速开启软件功能的方法和装置
JP5736551B1 (ja) 電子機器及び制御方法
CN102662511A (zh) 通过触摸屏进行控制操作的方法及终端
TW201430627A (zh) 觸控筆操作識別系統及方法
CN113467647A (zh) 皮肤与皮肤接触检测
KR102094751B1 (ko) 사용자 인터페이스 방법 및 장치
CN111176421B (zh) 可穿戴设备及其操控方法、操控系统和存储装置
CN104484117A (zh) 人机交互方法及装置
CN106325725A (zh) 一种触屏控制方法和装置、移动终端
CN207965847U (zh) 一种触控控制设备
CN104951145B (zh) 信息处理方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right