KR20170118875A - 제스처 제어 방법, 장치 및 시스템 - Google Patents

제스처 제어 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR20170118875A
KR20170118875A KR1020177026544A KR20177026544A KR20170118875A KR 20170118875 A KR20170118875 A KR 20170118875A KR 1020177026544 A KR1020177026544 A KR 1020177026544A KR 20177026544 A KR20177026544 A KR 20177026544A KR 20170118875 A KR20170118875 A KR 20170118875A
Authority
KR
South Korea
Prior art keywords
gesture
display device
mobile terminal
user
interface
Prior art date
Application number
KR1020177026544A
Other languages
English (en)
Other versions
KR101974296B1 (ko
Inventor
전화 주
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20170118875A publication Critical patent/KR20170118875A/ko
Application granted granted Critical
Publication of KR101974296B1 publication Critical patent/KR101974296B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H04M1/72533—
    • H04M1/72569—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup

Abstract

본 발명의 실시예에서는 제스처 제어 방법, 장치 및 시스템이 개시된다. 제스처 제어 방법은: 이동 단말기가, 디스플레이 장치와 무선 통신 연결을 수립하는 단계; 상기 디스플레이 장치의 현재 애플리케이션에 대응하는 제스처 입력 인터페이스를 디스플레이하는 단계; 상기 이동 단말기가, 사용자 제스처를 검출하고, 상기 사용자 제스처를 상기 사용자 제스처에 대응하는 조작 명령으로 변환하고, 상기 조작 명령을 상기 디스플레이 장치에 송신하는 단계를 포함한다. 본 발명의 실시예에 따른 제스처 제어 방법은 제스처 명령들의 편리한 입력을 가능하게 한다.

Description

제스처 제어 방법, 장치 및 시스템
이 출원은 2015년 6월 10일자로 중국 특허청에 출원된, 발명의 명칭이 "제스처 제어 방법, 이동 단말기 및 시스템"인 중국 특허 출원 번호 201510316890.1에 대한 우선권을 주장하며, 그 전체 내용이 본원에 인용 통합된다.
본 개시는 통신 기술의 분야에 관한 것으로, 특히 제스처 제어 방법, 제스처 제어 장치 및 제스처 제어 시스템에 관한 것이다.
현재, 텔레비전과 같은 디스플레이 장치에서 애플리케이션 소프트웨어가 작동된 후에, 애플리케이션 소프트웨어에 대해 메뉴 선택, 게임 조작 입력과 같은 조작들이 수행될 필요가 있다.
현재 시장에서, 애플리케이션 소프트웨어에 대해 일반적으로 사용되는 조작 입력 방식은 리모컨을 사용하는 것이다. 리모컨은 확인 버튼, 상/하/좌/우 이동 버튼, 모드 선택 버튼과 같은 다수의 입력 버튼을 포함한다. 사용자는 입력 버튼을 이용하여 커서의 이동 위치를 제어한 다음, 입력 버튼을 조작하여 확인 조작을 수행한다. 채널 모드 선택, 볼륨 제어와 같은 몇 가지 기능을 갖는 텔레비전의 경우, 리모컨을 사용하는 이 입력 방식은 요구 사항을 충족시킬 수 있다. 그러나, 애플리케이션 소프트웨어에 대한 조작 명령이 점점 더 많아짐에 따라, 리모컨을 통해 명령을 입력하는 방식은 편리하지 않으며, 효율이 낮아진다.
텔레비전에 대한 조작 명령을 입력하는 효율을 향상시키기 위해, 현재 제스처 입력 방식이 개발되고 있다. 예를 들어, 카메라와 프로세서 등이 텔레비전에 통합되어 있다. 텔레비전은 텔레비전 앞에 서 있는 사용자의 사용자 제스처를 검출하고, 그 사용자 제스처를 인식하고, 그 사용자 제스처에 대응하는 조작 명령을 결정한 다음, 조작 명령을 실행하여 조작 결과를 디스플레이한다.
그러나, 텔레비전에 대한 제스처 입력을 실현하는 이 해결 방안으로는, 텔레비전의 비용이 크게 증가하고, 사용자는 텔레비전 앞에서 조작할 필요가 있으며, 이는 사용자의 조작 습관에 부합하지 못한다. 그러므로, 텔레비전에 대한 제스처 입력을 실현하는 이 해결 방안은 높은 비용과 제스처 명령의 불편한 입력이라는 기술적인 문제를 갖는다.
편리한 명령 입력을 가능하게 하는, 본 개시의 실시예들에 따른 제스처 제어 방법, 제스처 제어 장치, 및 제스처 제어 시스템이 제공된다.
본 개시의 실시예에 따른 제스처 제어 방법이 제공된다. 이 제스처 제어 방법은 다음을 포함한다:
이동 단말기가, 디스플레이 장치와 무선 통신 연결을 수립하는 단계;
상기 이동 단말기가, 상기 디스플레이 장치의 현재 애플리케이션에 대응하는 제스처 입력 인터페이스를 디스플레이하는 단계;
상기 이동 단말기가, 사용자 제스처를 검출하는 단계;
상기 이동 단말기가, 상기 사용자 제스처를 상기 사용자 제스처에 대응하는 조작 명령으로 변환하는 단계; 및
상기 이동 단말기가, 상기 조작 명령을 상기 디스플레이 장치에 송신하는 단계.
본 개시의 실시예에 따른 제스처 제어 장치가 제공된다. 이 제스처 제어 장치는 다음을 포함한다:
디스플레이 장치와 무선 통신 연결을 수립하도록 구성된 연결 유지관리(maintenance) 유닛;
상기 디스플레이 장치의 현재 애플리케이션에 대응하는 제스처 입력 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛;
사용자 제스처를 검출하도록 구성된 제스처 검출 유닛;
상기 사용자 제스처를 상기 사용자 제스처에 대응하는 조작 명령으로 변환하도록 구성된 명령 변환 유닛; 및
상기 조작 명령을 상기 디스플레이 장치에 송신하도록 구성된 명령 송신 유닛.
본 개시의 실시예에 따른 제스처 제어 시스템이 제공되며, 이 제스처 제어 시스템은 본 개시의 실시예에 따른 제스처 제어 장치 및 디스플레이 장치를 포함한다.
본 개시의 실시예에 따른 제스처 제어 장치가 제공된다. 이 제스처 제어 장치는 다음을 포함한다:
적어도 하나의 프로세서; 및
상기 프로세서에 의해 실행될 때 본 개시의 실시예에 따른 제스처 제어 방법을 수행하도록 상기 제스처 제어 장치를 구성하는 프로그램 명령들을 저장하도록 구성된 메모리.
본 개시의 실시예에 따르면, 컴퓨팅 장치의 프로세서에 의해 실행될 때 본 개시의 실시예에 따른 제스처 제어 방법을 수행하도록 컴퓨팅 장치를 구성하는 프로그램 명령들을 포함하는 비일시적 컴퓨터 판독 가능 저장 매체가 제공된다.
상기 기술적 해결 방안들로부터 알 수 있는 바와 같이, 본 개시에 따른 실시예들은 다음과 같은 이점들을 갖는다. 제스처 입력 기능을 갖는 이동 단말기에 의해 사용자 제스처가 검출되고 대응하는 조작 명령으로 변환된 다음, 조작 명령은 이동 단말기와 디스플레이 장치 간의 무선 통신 연결을 통해 디스플레이 장치에 송신되고, 디스플레이 장치는 그 명령에 기초하여 동작한다. 이 과정에서, 디스플레이 장치는 제스처 검출 능력을 가질 필요가 없고, 제스처 검출 능력은 기존 장치의 능력을 충분히 이용하여 달성되며, 사용자는 디스플레이 장치 앞에 서는 대신에 입력을 위해 이동 단말기를 쥘 수 있으며, 따라서 하드웨어 비용이 비교적 낮고 제스처 명령의 입력이 편리하다.
본 개시의 실시예들에서의 기술적 해결 방안들을 더 명확하게 설명하기 위해, 실시예들의 설명에서 사용되는 도면들에 대해 이하에서 간략히 소개한다. 명백하게, 이하에서 설명되는 도면들은 단지 본 개시의 일부 실시예를 도시하는 것에 불과하며, 본 기술분야의 통상의 기술자들은 어떤 창의적인 노력이 없이도 이들 도면에 기초하여 다른 도면들을 얻을 수 있다.
도 1은 본 개시의 실시예에 따른 제스처 제어 방법의 개략적인 흐름도이다.
도 2a는 본 개시의 실시예에 따른 제스처의 개략도이다.
도 2b는 본 개시의 실시예에 따른 제스처의 개략도이다.
도 2c는 본 개시의 실시예에 따른 제스처의 개략도이다.
도 2d는 본 개시의 실시예에 따른 제스처의 개략도이다.
도 2e는 본 개시의 실시예에 따른 제스처의 개략도이다.
도 2f는 본 개시의 실시예에 따른 제스처의 개략도이다.
도 3은 본 개시의 실시예에 따른 애플리케이션 시나리오의 시스템의 개략적인 구조도이다.
도 4는 본 개시의 실시예에 따른 제스처 제어 장치의 개략적인 구조도이다.
도 5는 본 개시의 또 다른 실시예에 따른 제스처 제어 장치의 개략적인 구조도이다.
도 6은 본 개시의 또 다른 실시예에 따른 제스처 제어 장치의 개략적인 구조도이다.
도 7은 본 개시의 실시예에 따른 제스처 제어 시스템의 개략적인 구조도이다.
도 8은 본 개시의 실시예에 따른 이동 단말기의 개략적인 구조도이다.
본 개시의 목적, 기술적 해결 방안 및 이점들을 더 명확하게 하기 위해, 본 개시에 대해 도면들과 관련하여 더 상세히 설명하다. 명백하게, 여기에 기술된 실시예들은 본 개시의 일부 실시예에 불과하다. 본 기술분야의 통상의 기술자들이 어떤 창의적인 노력 없이도 얻을 수 있는 다른 실시예들도 본 개시의 보호 범위에 포함된다.
도 1에 도시된 바와 같이, 본 개시의 실시예에 따른 제스처 제어 방법이 제공되는데, 이 방법은 이하의 단계 101 내지 단계 103을 포함한다.
단계 101에서, 이동 단말기가 디스플레이 장치와 무선 통신 연결을 수립한다.
상기 이동 단말기는 제스처 입력 기능을 가질 수 있다. 상기 이동 단말기는 상기 이동 단말기에 의해 지원되는 제스처 입력 방식에 따라 대응하는 하드웨어 및/또는 소프트웨어를 가질 수 있다. 상기 제스처 입력 방식은 터치 제스처, 또는 부동 제스처(floating gesture)일 수 있다. 예를 들어, 제스처의 어법 정보는 손의 구성 및 이동 변화를 통해 전달될 수 있다.
상기 이동 단말기의 이동 통신 능력에 기초하여, 상기 이동 단말기는 무선 근거리 통신망(wireless local area network), 포인트 투 포인트(point-to-point) 연결 기술, 더 구체적으로는, 블루투스(Bluetooth), WIFI(wireless fidelity) 등의 상이한 통신 방식들을 이용하여 상기 디스플레이 장치와 연결을 수립할 수 있다. 통신 방식은 이동 단말기 및 디스플레이 장치의 무선 통신 능력에 기초하여 선택될 수 있다.
WIFI의 통신 이점들 및 대부분의 가정들이 WIFI를 무선 근거리 통신망으로서 사용하는 상황에 기초하여, 본 개시의 예로서, 이동 단말기가, 디스플레이 장치와 무선 통신 연결을 수립하는 단계는 다음을 포함한다:
상기 이동 단말기가 상기 WIFI 네트워크를 통해 상기 디스플레이 장치를 검출한 후, 상기 이동 단말기는 상기 WIFI 네트워크를 통해 상기 디스플레이 장치와 무선 통신 연결을 수립한다.
예로서, 디스플레이 장치를 검출하는 구체적인 방식은 디스플레이 장치와 이동 단말기 둘 다와 연결된 라우터를 검출함으로써 실현될 수 있다. 구체적인 과정은 본 개시의 실시예에서 제한되지 않는다.
단계 102에서, 상기 디스플레이 장치의 현재 애플리케이션에 대응하는 제스처 입력 인터페이스가 디스플레이된다.
상기 이동 단말기가 상기 디스플레이 장치와 무선 통신 연결을 수립한 후, 상기 디스플레이 장치에서 작동중인 현재 애플리케이션이 상기 이동 단말기에 통지될 수 있고, 따라서 상기 이동 단말기는 상기 디스플레이 장치의 현재 애플리케이션에 대한 제스처를 입력하기 위한 인터페이스를 디스플레이할 수 있다. 인터페이스는 사용자의 입력을 용이하게 하기 위해 제스처 조작 테이블과 같은 인터페이스 프롬프트를 포함할 수 있다. 디스플레이 장치는 게임의 화면, 소프트웨어의 메인 인터페이스와 같은 애플리케이션의 메인 인터페이스를 디스플레이한다. 이동 단말기는 이들 인터페이스를 디스플레이하거나 디스플레이하지 않을 수 있다.
단계 103에서, 상기 이동 단말기는 사용자 제스처를 검출하고, 상기 사용자 제스처를 상기 사용자 제스처에 대응하는 조작 명령으로 변환하고, 상기 조작 명령을 상기 디스플레이 장치에 송신한다.
본 개시의 실시예에 따르면, 상기 이동 단말기는 사용자 제스처에 대응하는 조작 명령을 상기 디스플레이 장치에 송신하며, 따라서 상기 조작 명령이 상기 디스플레이 장치의 현재 애플리케이션에 의해 실행될 수 있다.
상기 이동 단말기에 의한 사용자 제스처의 검출은 제스처 인식의 과정에 속한다. 3차원 입력으로서 제스처 인식의 본질은 사용자 자신의 제스처로 표현된 사용자의 의도를 식별하는 것이다. 현재, 구문 패턴 인식 방법, 템플릿 매칭 및 테이블 검색 방법, 베이지안 분류기, 조합된 신경망과 같은 제스처 인식을 위한 많은 이미지 분류 알고리즘이 있다. 패턴 인식의 관점에서, 입력된 제스처를 검출하기 위해 데이터 글러브 및 카메라 중 어느 것이 사용되든, 제스처가 어떤 표현 방식을 사용하든, 어떤 특징 추출이 사용되든, 동일한 방법이 제스처를 인식하기 위해 사용될 수 있다. 제스처를 검출하기 위한 구체적인 과정은 본 개시의 실시예들에서 제한되지 않는다. 도 2a 내지 도 2f에 도시된 바와 같이, 제스처 카테고리들은 각각 탭(tap), 더블 탭(double tap), 우측으로 드래그(drag to right), 위로 스와이프(swipe up), 아래로 스와이프(swipe down) 및 두 손가락 아래로 스와이프(two figure swipe down)이다. 상기 제스처들은 터치 스크린에 의해 검출될 수 있다. 상이한 조작 명령들은 상이한 제스처 카테고리들에 대응하고, 조작 명령들과 제스처 카테고리들 간의 대응은 조작 습관들에 기초하여 결정될 수 있다. 예를 들어, 탭은 선택 명령에 대응하고, 더블 탭은 확인 명령에 대응한다.
이 실시예에서는, 제스처 입력 기능을 갖는 이동 단말기에 의해 사용자 제스처가 검출되고 대응하는 조작 명령으로 변환된 다음, 조작 명령은 이동 단말기와 디스플레이 장치 간의 무선 통신 연결을 통해 디스플레이 장치에 송신되고, 디스플레이 장치는 그 명령에 기초하여 동작한다. 이 과정에서, 디스플레이 장치는 제스처 검출 능력을 가질 필요가 없고, 제스처 검출 능력은 기존 장치의 능력을 충분히 이용하여 달성되며, 사용자는 디스플레이 장치 앞에 서는 대신에 입력을 위해 이동 단말기를 쥘 수 있으며, 따라서 하드웨어 비용이 비교적 낮고 제스처 명령의 입력이 편리하다.
본 개시의 예로서, 상기 이동 단말기는 터치 입력 기능을 갖는다. 이동 단말기가 사용자 제스처를 검출하는 것은 이동 단말기가 사용자의 터치 조작을 검출하는 것을 포함한다. 애플리케이션에 대응하는 디스플레이 인터페이스가 이동 단말기에 의해 디스플레이된 다음, 터치 입력 기능을 통해 터치 조작이 획득되고, 터치 조작은 터치 조작에 대응하는 조작 명령으로 변환되고, 조작 명령은 디스플레이 장치에 송신된다.
애플리케이션 요구에 기초하여, 디스플레이 장치는 통상 대화면 디스플레이 장치이고, 입력 장치로서의 이동 단말기는 비교적 작은 화면을 갖는다. 분할 화면 디스플레이가 이용될 수 있으며, 입력과 관련된 인터페이스가 디스플레이 장치에 디스플레이되지 않을 수 있다. 구체적으로, 제스처 입력 인터페이스는 애플리케이션의 분할 화면 인터페이스의 입력 인터페이스이고, 애플리케이션의 분할 화면 인터페이스의 조작 결과 인터페이스가 디스플레이 장치에 디스플레이된다.
가능한 애플리케이션 시나리오로서, 이동 단말기는 이동 전화이고, 디스플레이 장치는 텔레비전이다. 제스처 입력 기능들을 갖는 다른 이동 단말기들 및 이동 단말기와 무선 연결을 수립할 수 있는 다른 장치들도 가능하므로, 이는 이동 전화 및 텔레비전의 애플리케이션 시나리오들로 제한되지 않는다. 텔레비전은 무선 통신 능력을 가질 필요가 없으며, 와이어로 라우터와 같은 장치와 연결한 후에 근거리 통신망을 수립함으로써 이동 전화와 무선 통신 연결을 할 수 있다. 도 3은 본 개시의 실시예에 따른 애플리케이션 시나리오를 도시한다. 애플리케이션 시나리오의 시스템 아키텍처는 이동 전화 측 및 텔레비전 측을 포함하며, 이동 전화 측의 이동 전화는 제스처 검출 기능을 갖고, 텔레비전 측의 텔레비전은 주로 대응하는 애플리케이션의 디스플레이 및 작동을 위해 사용된다. 이동 전화 측과 텔레비전 측 간에 통신 연결을 수립한 후, 이동 전화 측에서 정의된 제스처 기능에 의해 텔레비전 측에서 체스 게임이 조작된다. 이동 전화는 게임의 조작 제어기로서 역할을 하고, 텔레비전은 명령 수신기 및 게임 화면 디스플레이 장치로서 역할을 한다. 이동 전화와 텔레비전의 상호 작용에 의해 완벽한 게임 경험이 달성된다. 구체적인 과정은 다음과 같이 설명된다.
우선, 다양한 제스처 기능들의 정의가 이동 전화 측에서 완료되고, 제스처들은 탭, 더블 탭, 드래그, 위로 스와이프, 아래로 스와이프 및 두 손가락 아래로 스와이프를 포함하지만 이에 제한되지는 않는다. 탭, 더블 탭, 드래그, 위로 스와이프, 아래로 스와이프 및 두 손가락 아래로 스와이프의 제스처들은 게임 시작, 프롬프트, 연속으로 카드 보이기, 카드 보이기, 카드 선택 취소 및 무조작의 조작 명령들에 각각 대응한다. 두 번째로, 이동 전화 측과 텔레비전 측 간의 연결이 수립된다. 세 번째로, 텔레비전 체스 게임의 분할 화면 인터랙티브 인터페이스들(각각, 이동 전화 인터페이스 및 텔레비전 인터페이스)이 이동 전화 측 및 텔레비전 측에서 동시에 디스플레이된다. 마지막으로, 이동 전화 측에서 게임 조작들에 대응하는 상이한 제스처들을 입력함으로써 게임 조작들이 완료된다.
도 4에 도시된 바와 같이, 본 개시의 실시예에 따른 제스처 입력 기능을 갖는 제스처 제어 장치(예를 들어, 이동 단말기)가 추가로 제공되는데, 이 제스처 제어 장치는 다음을 포함한다: 연결 유지관리 유닛(401), 디스플레이 유닛(402), 제스처 검출 유닛(403), 명령 변환 유닛(404) 및 명령 송신 유닛(405). 연결 유지관리 유닛(401)은 디스플레이 장치와 무선 통신 연결을 수립하도록 구성된다. 디스플레이 유닛(402)은 디스플레이 장치의 현재 애플리케이션에 대응하는 제스처 입력 인터페이스를 디스플레이하도록 구성된다. 제스처 검출 유닛(403)은 사용자 제스처를 검출하도록 구성된다. 명령 변환 유닛(404)은 사용자 제스처를 사용자 제스처에 대응하는 조작 명령으로 변환하도록 구성된다. 명령 송신 유닛(405)은 사용자 제스처에 대응하는 조작 명령을 디스플레이 장치에 송신하도록 구성된다.
상기 이동 단말기는 제스처 입력 기능을 가질 수 있다. 상기 이동 단말기는 상기 이동 단말기에 의해 지원되는 제스처 입력 방식에 따라 대응하는 하드웨어 및/또는 소프트웨어를 가질 수 있다. 제스처 입력 방식은 터치 제스처, 또는 부동 제스처일 수 있다. 예를 들어, 제스처의 어법 정보는 손의 구성 및 이동 변화를 통해 전달될 수 있다.
상기 이동 단말기가 상기 디스플레이 장치와 무선 통신 연결을 수립한 후, 상기 디스플레이 장치에서 작동중인 현재 애플리케이션이 상기 이동 단말기에 통지될 수 있고, 따라서 상기 이동 단말기는 상기 디스플레이 장치의 현재 애플리케이션에 대한 제스처를 입력하기 위한 인터페이스를 디스플레이할 수 있다. 인터페이스는 사용자의 입력을 용이하게 하기 위해 제스처 조작 테이블과 같은 인터페이스 프롬프트를 포함할 수 있다. 디스플레이 장치는 게임의 화면, 소프트웨어의 메인 인터페이스와 같은 애플리케이션의 메인 인터페이스를 디스플레이한다. 이동 단말기는 이들 인터페이스를 디스플레이하거나 디스플레이하지 않을 수 있다.
이동 단말기에 의한 사용자 제스처의 검출은 제스처 인식의 과정에 속한다. 3차원 입력으로서 제스처 인식의 본질은 사용자 자신의 제스처로 표현된 사용자의 의도를 식별하는 것이다. 현재, 구문 패턴 인식 방법, 템플릿 매칭 및 테이블 검색 방법, 베이지안 분류기, 조합된 신경망과 같은 제스처 인식을 위한 많은 이미지 분류 알고리즘이 있다. 패턴 인식의 관점에서, 입력된 제스처를 검출하기 위해 데이터 글러브 및 카메라 중 어느 것이 사용되든, 제스처가 어떤 표현 방식을 사용하든, 어떤 특징 추출이 사용되든, 동일한 방법이 제스처를 인식하기 위해 사용될 수 있다. 제스처를 검출하기 위한 구체적인 과정은 본 개시의 실시예들에서 제한되지 않는다. 도 2a 내지 도 2f에 도시된 바와 같이, 제스처 카테고리들은 각각 탭, 더블 탭, 우측으로 드래그, 위로 스와이프, 아래로 스와이프 및 두 손가락 아래로 스와이프이다. 상기 제스처들은 터치 스크린에 의해 검출될 수 있다. 상이한 조작 명령들은 상이한 제스처 카테고리들에 대응하고, 조작 명령들과 제스처 카테고리들 간의 대응은 조작 습관들에 기초하여 결정될 수 있다. 예를 들어, 탭은 선택 명령에 대응하고, 더블 탭은 확인 명령에 대응한다.
이 실시예에서는, 제스처 입력 기능을 갖는 이동 단말기에 의해 사용자 제스처가 검출되고 대응하는 조작 명령으로 변환된 다음, 조작 명령은 이동 단말기와 디스플레이 장치 간의 무선 통신 연결을 통해 디스플레이 장치에 송신되고, 디스플레이 장치는 그 명령에 기초하여 동작한다. 이 과정에서, 디스플레이 장치는 제스처 검출 능력을 가질 필요가 없고, 제스처 검출 능력은 기존 장치의 능력을 충분히 이용하여 달성되며, 사용자는 디스플레이 장치 앞에 서는 대신에 입력을 위해 이동 단말기를 쥘 수 있으며, 따라서 하드웨어 비용이 비교적 낮고 제스처 명령의 입력이 편리하다.
상기 이동 단말기의 이동 통신 능력에 기초하여, 상기 이동 단말기는 무선 근거리 통신망, 포인트 투 포인트 연결 기술, 더 구체적으로는, 블루투스, WIFI(wireless fidelity) 등의 상이한 통신 방식들을 이용하여 상기 디스플레이 장치와 연결을 수립할 수 있다. 통신 방식은 이동 단말기 및 디스플레이 장치의 무선 통신 능력에 기초하여 선택될 수 있다. WIFI의 통신 이점들 및 대부분의 가정들이 WIFI를 무선 근거리 통신망으로서 사용하는 상황에 기초하여, 본 개시의 예로서, 상기 연결 유지관리 유닛(401)은, 상기 WIFI 네트워크를 통해 상기 디스플레이 장치를 검출한 후, 상기 WIFI 네트워크를 통해 상기 디스플레이 장치와 무선 통신 연결을 수립하도록 구성된다.
예로서, 디스플레이 장치를 검출하는 구체적인 방식은 디스플레이 장치와 이동 단말기 둘 다와 연결된 라우터를 검출함으로써 실현될 수 있다. 구체적인 과정은 본 개시의 실시예에서 제한되지 않는다.
본 개시의 예로서, 도 5에 도시된 바와 같이, 이동 단말기는 터치 입력 기능을 갖는다. 디스플레이 유닛(402)은 또한 상기 디스플레이 장치와 무선 통신 연결을 수립한 후 애플리케이션에 대응하는 디스플레이 인터페이스를 디스플레이하도록 구성된다. 이동 단말기는 또한 다음을 포함한다: 사용자의 터치 조작을 검출하도록 구성된 터치 검출 유닛(501). 명령 변환 유닛(404)은 또한 터치 조작을 터치 조작에 대응하는 조작 명령으로 변환하도록 구성된다. 명령 송신 유닛(405)은 또한 터치 조작에 대응하는 조작 명령을 디스플레이 장치에 송신하도록 구성된다.
애플리케이션 요구에 기초하여, 디스플레이 장치는 통상 대화면 디스플레이 장치이고, 입력 장치로서의 이동 단말기는 비교적 작은 화면을 갖는다. 분할 화면 디스플레이가 이용될 수 있으며, 입력과 관련된 인터페이스가 디스플레이 장치에 디스플레이되지 않을 수 있다. 구체적으로, 제스처 입력 인터페이스는 애플리케이션의 분할 화면 인터페이스의 입력 인터페이스이고, 애플리케이션의 분할 화면 인터페이스의 조작 결과 인터페이스가 디스플레이 장치에 디스플레이된다.
가능한 애플리케이션 시나리오로서, 이동 단말기는 이동 전화이고, 디스플레이 장치는 텔레비전이다. 제스처 입력 기능들을 갖는 다른 이동 단말기들 및 이동 단말기와 무선 연결을 수립할 수 있는 다른 장치들도 가능하므로, 이는 이동 전화 및 텔레비전의 애플리케이션 시나리오들로 제한되지 않는다. 텔레비전은 무선 통신 능력을 가질 필요가 없으며, 와이어로 라우터와 같은 장치와 연결한 후에 근거리 통신망을 수립함으로써 이동 전화와 무선 통신 연결을 할 수 있다.
도 6에 도시된 바와 같이, 수신기(601), 송신기(602), 프로세서(603) 및 디스플레이(604)를 포함하는, 본 개시의 실시예에 따른 또 다른 제스처 제어 장치(예를 들어, 이동 단말기)가 제공된다. 이 제스처 제어 장치는 또한 도 6에 도시되지 않은 메모리를 포함할 수 있다.
프로세서(603)는 이하의 조작들을 제어 실행하도록 구성된다: 디스플레이 장치와 무선 통신 연결을 수립하는 단계; 상기 디스플레이 장치의 현재 애플리케이션에 대응하는 제스처 입력 인터페이스를 디스플레이하는 단계; 사용자 제스처를 검출하고, 상기 사용자 제스처를 상기 사용자 제스처에 대응하는 조작 명령으로 변환하고, 상기 조작 명령을 상기 디스플레이 장치에 송신하는 단계.
상기 이동 단말기는 제스처 입력 기능을 가질 수 있다. 상기 이동 단말기는 상기 이동 단말기에 의해 지원되는 제스처 입력 방식에 따라 대응하는 하드웨어 및/또는 소프트웨어를 가질 수 있다. 제스처 입력 방식은 터치 제스처, 또는 부동 제스처일 수 있다. 예를 들어, 제스처의 어법 정보는 손의 구성 및 이동 변화를 통해 전달될 수 있다.
상기 이동 단말기가 상기 디스플레이 장치와 무선 통신 연결을 수립한 후, 상기 디스플레이 장치에서 작동중인 현재 애플리케이션이 상기 이동 단말기에 통지될 수 있고, 따라서 상기 이동 단말기는 상기 디스플레이 장치의 현재 애플리케이션에 대한 제스처를 입력하기 위한 인터페이스를 디스플레이할 수 있다. 인터페이스는 사용자의 입력을 용이하게 하기 위해 제스처 조작 테이블과 같은 인터페이스 프롬프트를 포함할 수 있다. 디스플레이 장치는 게임의 화면, 소프트웨어의 메인 인터페이스와 같은 애플리케이션의 메인 인터페이스를 디스플레이한다. 이동 단말기는 이들 인터페이스를 디스플레이하거나 디스플레이하지 않을 수 있다.
이동 단말기에 의한 사용자 제스처의 검출은 제스처 인식의 과정에 속한다. 3차원 입력으로서 제스처 인식의 본질은 사용자 자신의 제스처로 표현된 사용자의 의도를 식별하는 것이다. 현재, 구문 패턴 인식 방법, 템플릿 매칭 및 테이블 검색 방법, 베이지안 분류기, 조합된 신경망과 같은 제스처 인식을 위한 많은 이미지 분류 알고리즘이 있다. 패턴 인식의 관점에서, 입력된 제스처를 검출하기 위해 데이터 글러브 및 카메라 중 어느 것이 사용되든, 제스처가 어떤 표현 방식을 사용하든, 어떤 특징 추출이 사용되든, 동일한 방법이 제스처를 인식하기 위해 사용될 수 있다. 제스처를 검출하기 위한 구체적인 과정은 본 개시의 실시예들에서 제한되지 않는다. 도 2a 내지 도 2f에 도시된 바와 같이, 제스처 카테고리들은 각각 탭, 더블 탭, 우측으로 드래그, 위로 스와이프, 아래로 스와이프 및 두 손가락 아래로 스와이프이다. 상기 제스처들은 터치 스크린에 의해 검출될 수 있다. 상이한 조작 명령들은 상이한 제스처 카테고리들에 대응하고, 조작 명령들과 제스처 카테고리들 간의 대응은 조작 습관들에 기초하여 결정될 수 있다. 예를 들어, 탭은 선택 명령에 대응하고, 더블 탭은 확인 명령에 대응한다.
이 실시예에서는, 제스처 입력 기능을 갖는 이동 단말기에 의해 사용자 제스처가 검출되고 대응하는 조작 명령으로 변환된 다음, 조작 명령은 이동 단말기와 디스플레이 장치 간의 무선 통신 연결을 통해 디스플레이 장치에 송신되고, 디스플레이 장치는 그 명령에 기초하여 동작한다. 이 과정에서, 디스플레이 장치는 제스처 검출 능력을 가질 필요가 없고, 제스처 검출 능력은 기존 장치의 능력을 충분히 이용하여 달성되며, 사용자는 디스플레이 장치 앞에 서는 대신에 입력을 위해 이동 단말기를 쥘 수 있으며, 따라서 하드웨어 비용이 비교적 낮고 제스처 명령의 입력이 편리하다.
상기 이동 단말기의 이동 통신 능력에 기초하여, 상기 이동 단말기는 무선 근거리 통신망, 포인트 투 포인트 연결 기술, 더 구체적으로는, 블루투스, WIFI(wireless fidelity) 등의 상이한 통신 방식들을 이용하여 상기 디스플레이 장치와 연결을 수립할 수 있다. 통신 방식은 이동 단말기 및 디스플레이 장치의 무선 통신 능력에 기초하여 선택될 수 있다. WIFI의 통신 이점들 및 대부분의 가정들이 WIFI를 무선 근거리 통신망으로서 사용하는 상황에 기초하여, 본 개시의 예로서, 상기 프로세서(603)는 이하의 조작을 제어 수행하도록 구성된다: 상기 디스플레이 장치와 무선 통신 연결을 수립하는 단계는 다음을 포함한다: 상기 이동 단말기가 WIFI 네트워크를 통해 상기 디스플레이 장치를 검출한 후, 상기 WIFI 네트워크를 통해 상기 디스플레이 장치와 무선 통신 연결을 수립하는 단계.
본 개시의 실시예로서, 상기 이동 단말기는 터치 입력 기능을 가지며, 상기 프로세서(603)는 이하의 조작을 제어 수행하도록 구성된다: 상기 디스플레이 장치와 무선 통신 연결을 수립한 후, 애플리케이션에 대응하는 디스플레이 인터페이스를 디스플레이하는 단계; 사용자의 터치 조작을 검출하고, 상기 터치 조작을 상기 터치 조작에 대응하는 조작 명령으로 변환하고, 상기 조작 명령을 상기 디스플레이 장치에 송신하는 단계.
애플리케이션 요구에 기초하여, 디스플레이 장치는 통상 대화면 디스플레이 장치이고, 입력 장치로서의 이동 단말기는 비교적 작은 화면을 갖는다. 분할 화면 디스플레이가 이용될 수 있으며, 입력과 관련된 인터페이스가 디스플레이 장치에 디스플레이되지 않을 수 있다. 구체적으로, 제스처 입력 인터페이스는 애플리케이션의 분할 화면 인터페이스의 입력 인터페이스이고, 애플리케이션의 분할 화면 인터페이스의 조작 결과 인터페이스가 디스플레이 장치에 디스플레이된다.
가능한 애플리케이션 시나리오로서, 이동 단말기는 이동 전화이고, 디스플레이 장치는 텔레비전이다. 제스처 입력 기능들을 갖는 다른 이동 단말기들 및 이동 단말기와 무선 연결을 수립할 수 있는 다른 장치들도 가능하므로, 이는 이동 전화 및 텔레비전의 애플리케이션 시나리오들로 제한되지 않는다. 텔레비전은 무선 통신 능력을 가질 필요가 없으며, 와이어로 라우터와 같은 장치와 연결한 후에 근거리 통신망을 수립함으로써 이동 전화와 무선 통신 연결을 할 수 있다.
도 7에 도시된 바와 같이, 본 개시의 실시예에 따른 제스처 제어 시스템이 제공되는데, 이 제스처 제어 시스템은 이동 단말기(701) 및 디스플레이 장치(702)를 포함한다. 상기 이동 단말기(701)는 본 개시의 실시예들에 따른 이동 단말기들 중 어느 하나이다.
이 실시예에서는, 제스처 입력 기능을 갖는 이동 단말기에 의해 사용자 제스처가 검출되고 대응하는 조작 명령으로 변환된 다음, 조작 명령은 이동 단말기와 디스플레이 장치 간의 무선 통신 연결을 통해 디스플레이 장치에 송신되고, 디스플레이 장치는 그 명령에 기초하여 동작한다. 이 과정에서, 디스플레이 장치는 제스처 검출 능력을 가질 필요가 없고, 제스처 검출 능력은 기존 장치의 능력을 충분히 이용하여 달성되며, 사용자는 디스플레이 장치 앞에 서는 대신에 입력을 위해 이동 단말기를 쥘 수 있으며, 따라서 하드웨어 비용이 비교적 낮고 제스처 명령의 입력이 편리하다.
본 개시의 실시예에 따른 또 다른 이동 단말기가 제공된다. 도 8에 도시된 바와 같이, 이동 전화가 예로서 설명된다. 설명의 편의상, 본 개시의 실시예와 관련된 부분들만이 도시된다. 예시되지 않은 세부 사항에 대해서는, 본 개시의 방법 부분을 참조한다. 단말 장치는 예로서 이동 전화, 태블릿 PC, PDA(Personal Digital Assistant) 중 어느 하나일 수 있고, 단말 장치로서 이동 전화가 예로서 설명된다.
도 8은 본 개시의 실시예에 따른 단말 장치와 관련된 이동 전화의 구조의 일부를 도시하는 블록도이다. 도 8을 참조하면, 이동 전화는 무선 주파수(RF) 회로(810), 메모리(820), 입력 유닛(830), 디스플레이 유닛(840), 센서(850), 오디오 회로(860), WiFi(wireless fidelity) 모듈(870) , 프로세서(880) 및 전원(890) 등을 포함할 수 있다. 본 기술분야의 통상의 기술자들은 도 8에 도시된 이동 전화 구조가 이동 전화에 대한 제한을 구성하지 않으며, 이동 전화는 도 8에 도시된 구성 요소들보다 더 많은 또는 더 적은 수의 구성 요소를 포함할 수 있거나, 또는 특정 구성 요소들을 조합할 수 있거나, 또는 구성 요소 배치가 상이할 수 있다.
이동 전화의 구성 요소들 각각에 대해 도 8과 관련하여 상세히 설명한다.
RF 회로(810)는 정보를 수신 및 송신하는 과정 또는 통화하는 과정 동안 신호를 수신 및 송신하도록 구성될 수 있다. 구체적으로, 기지국으로부터의 다운 링크 정보가 수신된 후, 프로세서(880)에서 다운 링크 정보가 처리되고, 설계된 업링크 데이터가 기지국에 송신된다. 일반적으로, RF 회로(810)는 안테나, 적어도 하나의 증폭기, 송수신기, 커플러, 저잡음 증폭기(Low Noise Amplifier, LNA), 및 듀플렉서를 포함하지만, 이에 제한되는 것은 아니다. 또한, RF 회로(810)는 무선 통신을 통해 다른 장치 및 네트워크와 통신할 수 있다. 무선 통신은 GSM(Global System of Mobile communication), GPRS(General Packet Radio Service), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution), 전자 메일, 및 SMS(Short Messaging Service) 등을 포함하는, 그러나 이에 제한되지 않는, 임의의 통신 표준 또는 프로토콜을 사용할 수 있다.
메모리(820)는 소프트웨어 프로그램 및 모듈을 저장하도록 구성될 수 있으며, 프로세서(880)는 메모리(820)에 저장된 소프트웨어 프로그램 및 모듈을 작동함으로써 이동 전화의 다양한 기능 애플리케이션 및 데이터 처리를 실행할 수 있다. 메모리(820)는 주로 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있다. 프로그램 저장 영역은 운영 체제 및 적어도 하나의 기능(예를 들어, 음성 재생 기능, 이미지 재생 기능)에 의해 요구되는 애플리케이션을 저장하는 데 사용될 수 있다. 데이터 저장 영역은 이동 전화의 사용에 기초하여 설정된 데이터(예를 들어, 오디오 데이터, 전화 번호부)를 저장하는 데 사용될 수 있다. 또한, 메모리(820)는 고속 랜덤 액세스 메모리 및 비휘발성 메모리, 예를 들어 적어도 하나의 자기 디스크 메모리, 플래시 메모리, 또는 다른 휘발성 고체 상태 메모리를 포함할 수 있다.
입력 유닛(830)은 입력된 숫자 또는 문자 정보를 수신하고, 이동 전화의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있다. 구체적으로, 입력 유닛(830)은 터치 제어 패널(831) 및 기타 입력 장치(832)를 포함할 수 있다. 터치 스크린이라고도 불리는 터치 제어 패널(831)은 사용자가 터치 스크린상에서 또는 터치 스크린 부근에서 수행하는 터치 조작(예를 들어, 손가락, 터치 펜 및 임의의 다른 적절한 물체 또는 액세서리를 사용하여 사용자가 행하는 터치 제어 패널(831)상의 또는 그 부근에서의 조작)을 수집하고, 미리 설정된 절차에 기초하여 대응하는 연결 장치를 구동할 수 있다. 옵션으로, 터치 제어 패널(831)은 터치 검출 장치 및 터치 제어기를 포함할 수 있다. 터치 검출 장치는 사용자의 터치 방향을 검출하고, 터치 조작에 의해 발생된 신호를 검출하고, 그 신호를 터치 제어기에 송신한다. 터치 제어기는 터치 검출 장치로부터 터치 정보를 수신하고, 터치 정보를 터치 포인트 좌표로 변환하고 터치 포인트 좌표를 프로세서(880)에 송신한다. 터치 제어기는 또한 프로세서(880)로부터 명령을 수신하고 명령을 실행할 수 있다. 또한, 터치 제어 패널(831)은 저항식 패널, 용량식 패널, 적외선 패널 및 표면 탄성파 패널 등으로서 구현될 수 있다. 터치 제어 패널(831) 외에, 입력 유닛(830)은 또한 기타 입력 장치(832)를 포함할 수 있다. 구체적으로, 기타 입력 장치(832)는 물리적 키보드, 기능 버튼(예를 들어, 볼륨 제어 버튼 또는 스위치 버튼 등), 트랙볼, 마우스, 조작봉 등 중의 하나 이상을 포함할 수 있지만, 이에 제한되는 것은 아니다.
디스플레이 유닛(840)은 사용자가 입력하는, 또는 사용자에게 제공되는 정보, 및 이동 전화의 다양한 메뉴를 디스플레이하도록 구성될 수 있다. 디스플레이 유닛(840)은 디스플레이 패널(841)을 포함할 수 있다. 옵션으로, 디스플레이 패널(841)은 LCD(Liquid Crystal Display), 또는 OLED(Organic Light-Emitting Diode) 등의 형태로 구성될 수 있다. 또한, 디스플레이 패널(841)은 터치 제어 패널(831)로 덮일 수 있다. 터치 제어 패널(831)이 터치 제어 패널(831) 또는 그 부근에서 터치 조작을 검출하면, 터치 제어 패널(831)은 터치 조작을 프로세서(880)에 송신하여 터치 이벤트의 유형을 결정하고, 프로세서(880)는 터치 이벤트의 유형에 기초하여 디스플레이 패널(841)상에 대응하는 시각적 출력을 제공한다. 도 8에서는 터치 제어 패널(831) 및 디스플레이 패널(841)이 2개의 독립된 구성 요소로서 이동 전화의 입력 및 입력 기능들을 구현하고 있지만, 다른 실시예에서는 터치 제어 패널(831) 및 디스플레이 패널(841)을 함께 통합하여 이동 전화의 입력 및 출력 기능들을 구현할 수 있다.
이동 전화는 광 센서, 운동 센서 및 기타 센서와 같은 적어도 하나의 센서(850)를 더 포함할 수 있다. 구체적으로, 광 센서는 주변 광 센서 및 근접 센서를 포함할 수 있으며, 주변 광 센서는 주변 광의 밝기에 기초하여 디스플레이 패널(841)의 밝기를 조절할 수 있으며, 근접 센서는 이동 전화가 귀로 이동하는 경우 디스플레이 패널(841)을 닫고/닫거나 역광을 비출 수 있다. 운동 센서 중 하나로서, 가속계 센서는 각각의 방향(통상 3축이 있음)에서 가속도의 크기를 검출할 수 있고, 가속계 센서는 정지하고 있는 동안 중력의 크기 및 방향을 검출할 수 있고, 가속계 센서는 이동 전화의 자세를 인식하는 애플리케이션(예를 들어 세로 및 가로 방향 간의 전환, 관련 게임, 또는 자력계를 사용한 자세 교정 등)에 적용되고, 진동 인식과 관련된 기능(예를 들어 계보기 또는 클릭 등)에 적용될 수 있다. 자이로스코프, 기압계, 습도계, 온도계 또는 적외선 센서와 같은 기타 센서들이 이동 전화용으로 제공될 수 있으며, 이들에 대해서는 여기에 설명되지 않는다.
오디오 회로(860), 스피커(861) 및 마이크로폰(862)은 사용자와 이동 전화 사이의 오디오 인터페이스를 제공할 수 있다. 오디오 회로(860)는 수신된 오디오 데이터로부터 변환된 전기 신호를 스피커(861)로 송신할 수 있고, 스피커(861)는 전기 신호를 오디오 신호로 변환하여 출력한다. 한편, 마이크로폰(862)은 수집된 오디오 신호를 전기 신호로 변환하고, 이 전기 신호는 오디오 회로(860)에 의해 수신되어 오디오 데이터로 변환되고, 이 오디오 데이터가 프로세서(880)에 의해 처리된 후, 처리된 오디오 데이터는 RF 회로(810)를 통해 또 다른 이동 전화로 송신되거나, 오디오 데이터는 추가 처리를 위해 메모리(820)에 출력된다.
WiFi는 근거리 무선 송신 기술에 속하며, 이동 전화는 WiFi 모듈(870)을 사용하여, 사용자가 전자 메일을 수신 및 송신하고, 웹 페이지를 브라우징하고, 스트리밍 미디어에 액세스하는 것을 도울 수 있고, WiFi 모듈(870)은 사용자에게 무선 광대역 인터넷 액세스를 제공한다. WiFi 모듈(870)이 도 8에 도시되어 있지만, WiFi 모듈(870)은 이동 전화의 필수 구성 요소가 아니며, 본 개시의 본질을 변경하지 않고 필요 조건에 기초하여 생략될 수도 있음을 이해할 수 있다.
프로세서(880)는 이동 전화의 제어 중심으로서, 이동 전화의 각각의 부분을 인터페이스 및 회로와 연결하고, 메모리(820)에 저장된 소프트웨어 프로그램 및/또는 모듈을 작동 또는 실행하고 메모리(820)에 저장된 데이터를 호출함으로써 이동 전화의 기능들 및 데이터 처리를 수행하고, 이로써 이동 전화의 전반적인 모니터링을 실현한다. 옵션으로, 프로세서(880)는 하나 이상의 처리 유닛을 포함할 수 있다. 바람직하게는, 프로세서(880)는 애플리케이션 프로세서과 모뎀 프로세서를 통합할 수 있으며, 애플리케이션 프로세서는 주로 운영 체제, 사용자 인터페이스 및 애플리케이션을 처리하도록 구성된다. 모뎀 프로세서는 주로 무선 통신을 처리하도록 구성된다. 모뎀 프로세서가 프로세서(880)에 통합되지 않을 수도 있다는 것을 이해할 수 있다.
이동 전화는 모든 구성 요소에 전력을 공급하도록 구성된 전원 (890)(예를 들어 배터리 등)을 더 포함한다. 바람직하게는, 전원은 전원 관리 시스템을 통해 프로세서(880)와 논리적으로 연결될 수 있으며, 따라서 전원 관리 시스템으로 충전, 방전 및 전력 관리와 같은 기능들의 관리가 실현될 수 있다.
도면에는 도시되어 있지 않지만, 이동 전화는 여기에 설명되지 않은 카메라, 블루투스 모듈 등을 더 포함할 수 있다.
본 개시의 실시예에서, 단말 장치에 포함된 프로세서(880)는 또한 상기 방법의 실행을 제어하는 기능을 갖는다.
이동 단말기의 실시예에 포함된 각각의 유닛은 그 기능적 논리에 따라 구분되지만, 그 구분은 대응하는 기능을 실현될 수 있는 한 제한되지 않는다는 점에 유의해야 한다. 또한, 유닛의 구체적인 명칭은 서로 구별하기 위한 것이지, 본 개시의 보호 범위를 제한하려는 것은 아니다.
또한, 본 기술분야의 통상의 기술자들은 전술한 방법 실시예의 단계의 전부 또는 일부가 프로그램에 의해 지시되는 관련 하드웨어에 의해 달성될 수 있다는 것을 알 것이다. 프로그램은 판독 전용 메모리, 자기 디스크, 광학 디스크 등일 수 있는 컴퓨터 판독 가능 저장 매체에 저장될 수 있다.
상기 설명은 본 개시의 바람직한 실시예일 뿐이며, 본 개시를 제한하는 것은 아니다. 본 개시의 실시예의 기술적 범위 내에서 본 기술분야의 통상의 기술자들이 용이하게 실시할 수 있는 임의의 변화 및 등가물은 본 개시의 보호 범위 내에 속해야 한다. 그러므로, 본 개시의 보호 범위는 청구항들의 보호 범위에 의해 결정되어야 한다.

Claims (15)

  1. 제스처 제어 방법으로서,
    이동 단말기가, 디스플레이 장치와 무선 통신 연결을 수립하는 단계;
    상기 이동 단말기가, 상기 디스플레이 장치의 현재 애플리케이션에 대응하는 제스처 입력 인터페이스를 디스플레이하는 단계;
    상기 이동 단말기가, 사용자 제스처를 검출하는 단계;
    상기 이동 단말기가, 상기 사용자 제스처를 상기 사용자 제스처에 대응하는 조작 명령으로 변환하는 단계; 및
    상기 이동 단말기가, 상기 조작 명령을 상기 디스플레이 장치에 송신하는 단계를 포함하는, 제스처 제어 방법.
  2. 제1항에 있어서,
    상기 이동 단말기가, 상기 디스플레이 장치와 무선 통신 연결을 수립하는 단계는:
    상기 이동 단말기가, WiFi(wireless fidelity) 네트워크를 통해 상기 디스플레이 장치와 무선 통신 연결을 수립하는 단계를 포함하는, 제스처 제어 방법.
  3. 제1항에 있어서,
    상기 이동 단말기는 터치 입력 기능을 갖는, 제스처 제어 방법.
  4. 제3항에 있어서,
    상기 이동 단말기가, 상기 사용자 제스처를 검출하는 단계는: 상기 이동 단말기가, 사용자의 터치 조작을 검출하는 단계를 포함하는, 제스처 제어 방법.
  5. 제4항에 있어서,
    상기 이동 단말기가, 상기 사용자 제스처를 상기 사용자 제스처에 대응하는 조작 명령으로 변환하는 단계는:
    상기 이동 단말기가, 상기 터치 조작을 상기 터치 조작에 대응하는 조작 명령으로 변환하는 단계를 포함하는, 제스처 제어 방법.
  6. 제1항에 있어서,
    상기 애플리케이션은 적어도 제1 인터페이스 및 제2 인터페이스를 가지며, 상기 디스플레이 장치는 상기 제2 인터페이스를 디스플레이하고, 상기 제스처 입력 인터페이스는 사용자 입력을 수신하도록 구성된 상기 제1 인터페이스를 포함하는, 제스처 제어 방법.
  7. 제스처 제어 장치로서,
    디스플레이 장치와 무선 통신 연결을 수립하도록 구성된 연결 유지관리(maintenance) 유닛;
    상기 디스플레이 장치의 현재 애플리케이션에 대응하는 제스처 입력 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛;
    사용자 제스처를 검출하도록 구성된 제스처 검출 유닛;
    상기 사용자 제스처를 상기 사용자 제스처에 대응하는 조작 명령으로 변환하도록 구성된 명령 변환 유닛; 및
    상기 조작 명령을 상기 디스플레이 장치에 송신하도록 구성된 명령 송신 유닛을 포함하는, 제스처 제어 장치.
  8. 제7항에 있어서,
    상기 연결 유지관리 유닛은 WiFi(wireless fidelity) 네트워크를 통해 상기 디스플레이 장치와 무선 통신 연결을 수립하도록 구성되는, 제스처 제어 장치.
  9. 제7항에 있어서,
    상기 장치는 터치 입력 기능을 갖는, 제스처 제어 장치.
  10. 제9항에 있어서,
    상기 제스처 검출 유닛은:
    사용자의 터치 조작을 검출하도록 구성된 터치 검출 유닛을 포함하는, 제스처 제어 장치.
  11. 제10항에 있어서,
    상기 명령 변환 유닛은 상기 터치 조작을 상기 터치 조작에 대응하는 조작 명령으로 변환하도록 구성되는, 제스처 제어 장치.
  12. 제7항에 있어서,
    상기 애플리케이션은 적어도 제1 인터페이스 및 제2 인터페이스를 가지며, 상기 디스플레이 장치는 상기 제2 인터페이스를 디스플레이하고, 상기 제스처 입력 인터페이스는 사용자 입력을 수신하도록 구성된 상기 제1 인터페이스를 포함하는, 제스처 제어 장치.
  13. 제7항 내지 제12항 중 어느 한 항에 따른 제스처 제어 장치 및 디스플레이 장치를 포함하는 제스처 제어 시스템.
  14. 제스처 제어 장치로서,
    적어도 하나의 프로세서; 및
    상기 프로세서에 의해 실행될 때 제1항 내지 제6항 중 어느 한 항에 따른 제스처 제어 방법을 수행하도록 상기 제스처 제어 장치를 구성하는 프로그램 명령들을 저장하도록 구성된 메모리를 포함하는, 제스처 제어 장치.
  15. 컴퓨팅 장치의 프로세서에 의해 실행될 때, 제1항 내지 제6항 중 어느 한 항에 따른 제스처 제어 방법을 수행하도록 상기 컴퓨팅 장치를 구성하는 프로그램 명령들을 포함하는 비일시적 컴퓨터 판독 가능 저장 매체.
KR1020177026544A 2015-06-10 2016-04-14 제스처 제어 방법, 장치 및 시스템 KR101974296B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510316890.1A CN104866110A (zh) 2015-06-10 2015-06-10 一种手势控制方法,移动终端及系统
CN201510316890.1 2015-06-10
PCT/CN2016/079220 WO2016197697A1 (zh) 2015-06-10 2016-04-14 手势控制方法、装置及系统

Publications (2)

Publication Number Publication Date
KR20170118875A true KR20170118875A (ko) 2017-10-25
KR101974296B1 KR101974296B1 (ko) 2019-04-30

Family

ID=53911991

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177026544A KR101974296B1 (ko) 2015-06-10 2016-04-14 제스처 제어 방법, 장치 및 시스템

Country Status (5)

Country Link
US (1) US10956025B2 (ko)
JP (1) JP6522124B2 (ko)
KR (1) KR101974296B1 (ko)
CN (1) CN104866110A (ko)
WO (1) WO2016197697A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866110A (zh) * 2015-06-10 2015-08-26 深圳市腾讯计算机系统有限公司 一种手势控制方法,移动终端及系统
CN105117015B (zh) * 2015-08-28 2018-01-23 江南大学 一种显示屏中不规则多边形区域的切换方法和系统
CN106610773A (zh) * 2015-10-22 2017-05-03 阿里巴巴集团控股有限公司 界面交互方法、装置和设备
CN105979319A (zh) * 2016-03-25 2016-09-28 钟林 一种利用方位手势控制智能电视卡片流的方法及装置
CN106028104A (zh) * 2016-05-27 2016-10-12 王增飞 一种基于2d视觉的体感操作实现方法及系统
US10586434B1 (en) * 2017-10-25 2020-03-10 Amazon Technologies, Inc. Preventing unauthorized access to audio/video recording and communication devices
CN108170358A (zh) * 2017-12-27 2018-06-15 成都配天智能技术有限公司 手机与平视显示器交互方法
CN108268142A (zh) * 2018-03-07 2018-07-10 佛山市云米电器科技有限公司 一种语音手势双操作的语音控制终端
CN112083796A (zh) * 2019-06-12 2020-12-15 Oppo广东移动通信有限公司 控制方法、头戴设备、移动终端和控制系统
CN110798571A (zh) * 2019-10-25 2020-02-14 钟林 一种利用滑按手势操作智能终端连续翻页的方法及装置
CN113126753B (zh) * 2021-03-05 2023-04-07 深圳点猫科技有限公司 一种基于手势关闭设备的实现方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110267291A1 (en) * 2010-04-28 2011-11-03 Jinyoung Choi Image display apparatus and method for operating the same
JP2012231249A (ja) * 2011-04-25 2012-11-22 Sony Corp 表示制御装置、表示制御方法、およびプログラム
KR20140088446A (ko) * 2013-01-02 2014-07-10 삼성전자주식회사 마우스 기능 제공 방법 및 이를 구현하는 단말
KR20140134453A (ko) * 2013-05-14 2014-11-24 삼성전자주식회사 입력장치, 디스플레이장치 및 그 제어방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107102723B (zh) * 2007-08-20 2019-12-06 高通股份有限公司 用于基于手势的移动交互的方法、装置、设备和非暂时性计算机可读介质
JP5695819B2 (ja) * 2009-03-30 2015-04-08 日立マクセル株式会社 テレビ操作方法
US20110191516A1 (en) * 2010-02-04 2011-08-04 True Xiong Universal touch-screen remote controller
US8937534B2 (en) * 2010-12-08 2015-01-20 At&T Intellectual Property I, L.P. Remote control of electronic devices via mobile device
JP5897261B2 (ja) * 2011-02-28 2016-03-30 シャープ株式会社 ネットワークシステム、プロセッサ、操作画面の表示方法、電子機器、および電子機器の制御方法
JP2012256099A (ja) 2011-06-07 2012-12-27 Sony Corp 情報処理端末および方法、プログラム、並びに記録媒体
US20130159939A1 (en) 2011-10-12 2013-06-20 Qualcomm Incorporated Authenticated gesture recognition
US20130154958A1 (en) * 2011-12-20 2013-06-20 Microsoft Corporation Content system with secondary touch controller
KR20130078514A (ko) * 2011-12-30 2013-07-10 삼성전자주식회사 원격 제어 장치 및 이를 이용한 디스플레이 장치의 제어 방법
US20130211843A1 (en) 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US20140049467A1 (en) * 2012-08-14 2014-02-20 Pierre-Yves Laligand Input device using input mode data from a controlled device
CN102883066B (zh) * 2012-09-29 2015-04-01 Tcl通讯科技（成都）有限公司 基于手势识别实现文件操作的方法及手机
CN102981758B (zh) * 2012-11-05 2015-05-13 福州瑞芯微电子有限公司 电子设备之间的连接方法
GB201300031D0 (en) * 2013-01-02 2013-02-13 Canonical Ltd Ubuntu UX innovations
JP6205568B2 (ja) * 2013-01-16 2017-10-04 株式会社日本デジタル研究所 リモートアクセス制御システム、方法、およびプログラム
CN103529778B (zh) * 2013-09-30 2016-11-02 福建星网锐捷通讯股份有限公司 一种智能家居控制方法、装置和系统
CN103634641A (zh) 2013-11-29 2014-03-12 乐视致新电子科技（天津）有限公司 通过移动终端对智能电视进行手势控制的方法和系统
WO2015138980A1 (en) * 2014-03-14 2015-09-17 Daniele Rosati Beverage appliance for use with a remote communication device
US9554189B2 (en) * 2014-06-30 2017-01-24 Microsoft Technology Licensing, Llc Contextual remote control interface
CN104866110A (zh) * 2015-06-10 2015-08-26 深圳市腾讯计算机系统有限公司 一种手势控制方法,移动终端及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110267291A1 (en) * 2010-04-28 2011-11-03 Jinyoung Choi Image display apparatus and method for operating the same
JP2012231249A (ja) * 2011-04-25 2012-11-22 Sony Corp 表示制御装置、表示制御方法、およびプログラム
KR20140088446A (ko) * 2013-01-02 2014-07-10 삼성전자주식회사 마우스 기능 제공 방법 및 이를 구현하는 단말
KR20140134453A (ko) * 2013-05-14 2014-11-24 삼성전자주식회사 입력장치, 디스플레이장치 및 그 제어방법

Also Published As

Publication number Publication date
CN104866110A (zh) 2015-08-26
US10956025B2 (en) 2021-03-23
KR101974296B1 (ko) 2019-04-30
WO2016197697A1 (zh) 2016-12-15
JP2018504798A (ja) 2018-02-15
US20170364257A1 (en) 2017-12-21
JP6522124B2 (ja) 2019-05-29

Similar Documents

Publication Publication Date Title
KR101974296B1 (ko) 제스처 제어 방법, 장치 및 시스템
CN108762954B (zh) 一种对象分享方法及移动终端
EP3647926A1 (en) Mobile terminal and split screen control method thereof, and computer readable storage medium
CN108628565B (zh) 一种移动终端操作方法及移动终端
CN109643203B (zh) 一种双屏终端点亮屏幕的方法及终端
CN110837318B (zh) 移动终端折叠屏的防误触方法、装置及存储介质
CN108958593B (zh) 一种确定通讯对象的方法及移动终端
CN110196668B (zh) 信息处理方法和终端设备
CN108446156B (zh) 一种应用程序控制方法及终端
CN107728923B (zh) 一种操作的处理方法及移动终端
WO2020238647A1 (zh) 手势交互方法和终端
CN111092990A (zh) 一种应用程序分享方法及电子设备
WO2020007114A1 (zh) 分屏应用切换方法、装置、存储介质和电子设备
WO2013135169A1 (zh) 一种输入法键盘的调整方法及其移动终端
WO2019011335A1 (zh) 一种移动终端及其控制方法和可读存储介质
WO2020007144A1 (zh) 分屏应用切换方法、装置、存储介质及电子设备
CN109683768B (zh) 一种应用的操作方法及移动终端
CN109710130B (zh) 一种显示方法和终端
CN110673770A (zh) 消息展示方法及终端设备
CN110780751B (zh) 一种信息处理方法及电子设备
CN110096213B (zh) 基于手势的终端操作方法、移动终端及可读存储介质
CN110769303A (zh) 播放控制方法、装置及移动终端
CN111522613B (zh) 截屏方法及电子设备
CN111447598B (zh) 一种交互方法和显示设备
CN106454083B (zh) 一种移动终端的图像采集方法、装置及移动终端

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant