KR20160113544A - 스마트 기기의 조작 제어 방법, 장치, 프로그램 및 기록매체 - Google Patents

스마트 기기의 조작 제어 방법, 장치, 프로그램 및 기록매체 Download PDF

Info

Publication number
KR20160113544A
KR20160113544A KR1020157030749A KR20157030749A KR20160113544A KR 20160113544 A KR20160113544 A KR 20160113544A KR 1020157030749 A KR1020157030749 A KR 1020157030749A KR 20157030749 A KR20157030749 A KR 20157030749A KR 20160113544 A KR20160113544 A KR 20160113544A
Authority
KR
South Korea
Prior art keywords
gesture operation
control
controlled device
mapping relationship
gesture
Prior art date
Application number
KR1020157030749A
Other languages
English (en)
Other versions
KR101736318B1 (ko
Inventor
찐 리앙
리 판
Original Assignee
시아오미 아이엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시아오미 아이엔씨. filed Critical 시아오미 아이엔씨.
Publication of KR20160113544A publication Critical patent/KR20160113544A/ko
Application granted granted Critical
Publication of KR101736318B1 publication Critical patent/KR101736318B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/70—Device selection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/92—Universal remote control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2809—Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명은 스마트 기기의 조작 제어 방법 및 장치에 관한 것으로, 단말기 기술분야에 속한다. 상기 스마트 기기의 조작 제어 방법은, 제1제스처 동작이 검출될 경우, 제어관계 스위칭을 준비하는 단계와, 제2제스처 동작이 검출될 경우, 타겟 피제어 기기를 결정하는 단계와, 타겟 피제어 기기와의 제어관계를 구축하는 단계와, 제3제스처 동작을 획득하는 단계와, 타겟 피제어 기기가 제3제스처 동작에 대응되는 동작을 수행하도록 제어하는 단계를 포함한다.
본 발명은, 제1제스처 동작을 통하여 제어관계 스위칭을 준비하고, 제2제스처 동작에 근거하여 타겟 피제어 기기를 결정한 후 타겟 피제어 기기와의 제어관계를 구축하고, 더 나아가 제3제스처 동작을 획득하여 타겟 피제어 기기가 제3제스처 동작에 대응되는 동작을 수행하도록 제어함으로써 타겟 피제어 기기에 대한 조작 제어를 실현한다. 제스처 동작을 통하여 타겟 피제어 기기로 제어관계를 스위칭 가능하고 제스처 동작을 통하여 타겟 피제어 기기에 대한 조작 제어를 실현하므로 조작 제어 방식이 더욱 간단하고, 아울러 조작 제어 방법의 융통성도 향상시킨다.

Description

스마트 기기의 조작 제어 방법 및 장치{METHOD AND APPARATUS FOR CONTROLLING SMART DEVICE}
본 발명은 단말기 기술분야에 관한 것으로서, 특히 스마트 기기의 조작 제어 방법 및 장치에 관한 것이다.
본원 발명은 출원번호가 CN 201510087958.3이고 출원일자가 2015년 02월 26일인 중국 특허 출원에 기반하여 제출하였고 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 본원 발명에 원용된다.
단말기 기술의 급속한 발전과 더불어, 스마트폰, 착용 가능한 기기 등의 스마트 모바일 단말기, 스마트 TV, 스마트 냉장고 등의 스마트 홈 기기와 같은 더욱더 많은 스마트 기기가 출시되고 있다. 일반적으로, 동일한 사용자는 흔히 다수의 스마트 기기를 동시에 보유하는 바, 간단하고 신속하게 여러가지 스마트 기기를 조작 제어하기 위하여 스마트 기기의 조작 제어 방법은 가장 중요한 것으로 간주되기도 한다
스마트 기기를 조작 제어할 때 관련기술은 일반적으로 접촉식 조작 제어를 통하여 실현된다. 예를 들면, 스마트 기기를 조작 제어할 때, 사용자는 스마트 기기의 기능버튼 또는 스마트 기기의 리모컨으로 스마트 기기를 조작 제어한다. 예를 들면, 사용자는 스마트 TV를 조작 제어할 때, 손으로 스마트 TV의 기능버튼 또는 TV 리모컨을 제어함으로써 실현한다.
본 발명을 실시하는 과정에서, 발명자는 관련 기술에 적어도 하기와 같은 문제점이 존재함을 발견하였다.
관련기술은 스마트 기기를 조작 제어할 때 사용자의 수동 접촉에 의하여야 하는 바, 만약 스마트 기기 또는 그 리모컨이 사용자 손 주위에 없다면, 스마트 기기의 조작 제어가 수행되지 못하여 조작 제어 방법이 원활하지 못하게 된다. 이 밖에, 리모컨으로 스마트 기기를 조작 제어할 경우, 하나의 스마트 기기가 하나의 컨트롤러와 대응되므로 기타 스마트 기기를 조작 제어하고자 할 경우 기타 기기의 리모콘으로 교체해야 하는 바, 조작 제어 방법이 복잡하다. 예를 들면, 만약 사용자가 TV 리모컨으로 TV를 조작 제어한 이후에 에어컨을 조작 제어하고자 할 경우, 먼저 에어컨 리모컨을 찾아낸 후 에어컨 리모컨을 조작 제어하여 실현하여야 하므로 조작 제어 방법이 매우 복잡하다.
관련 기술에 존재하는 문제를 극복하기 위하여 본 발명은 스마트 기기의 조작 제어 방법 및 장치를 제공한다.
본 발명의 제1실시예에 근거하면, 제1제스처 동작이 검출될 경우, 상기 제1제스처 동작과 제1매핑 관계에 근거하여, 제어관계 스위칭을 준비하되, 상기 제1매핑 관계는 제스처 동작과 제어기능 사이의 매핑관계인 단계와; 제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피(被)제어 기기를 결정하되, 상기 제2매핑 관계는 제스처 동작과 피제어 기기 위치 사이의 매핑관계인 단계와; 상기 타겟 피제어 기기와의 제어관계를 구축하는 단계와; 제3제스처 동작을 획득하는 단계와; 상기 제3제스처 동작 및 상기 제1매핑 관계에 근거하여, 상기 타겟 피제어 기기가 상기 제3제스처 동작에 대응되는 동작을 수행하도록 제어하는 단계를 포함하는 스마트 기기의 조작 제어 방법을 제공한다.
제1실시예에 결부하면, 제1 실시예의 첫번째 실시 가능한 실시양태에 있어서, 상기 스마트 기기의 조작 제어 방법은, 제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계 이전에, 사용자가 제1위치 및 제2위치에서 각각 피제어 기기를 가리킬 때 사용자 손가락이 가리키는 연장선인 제1 위치결정 라인(line) 및 제2 위치결정 라인을 획득하는 단계와; 상기 제1 위치결정 라인 및 상기 제2 위치결정 라인의 교점에 근거하여, 상기 피제어 기기의 위치를 결정하는 단계와; 제스처 동작과 상기 피제어 기기 위치 사이의 제2매핑 관계를 구축하는 단계를 더 포함한다.
제1실시예에 결부하면, 제1실시예의 두번째 실시 가능한 실시양태에 있어서, 상기 제1제스처 동작이 검출될 경우, 상기 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 단계 이전에, 제스처 동작과 제어기능 사이의 제1매핑 관계를 구축하되, 그 중 동일한 제스처 동작은 상이한 피제어 기기의 동일한 제어기능을 조작 제어하기 위한 것인 단계를 더 포함한다.
제1실시예에 결부하면, 제1실시예의 세번째 실시 가능한 실시양태에 있어서, 상기 제1제스처 동작 및 상기 제2제스처 동작은 사용자의 두 손에 의해 실현되고, 상기 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 상기 단계는, 상기 사용자의 한 손에서 발송된 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 단계를 포함하고; 상기 제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계는, 상기 제1제스처 동작이 검출됨과 동시에 상기 사용자의 다른 한 손에서 발송된 제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계를 포함한다.
제1실시예에 결부하면, 제1실시예의 네번째 실시 가능한 실시양태에 있어서, 상기 제1제스처 동작 및 상기 제2제스처 동작은 사용자의 한 손에 의해 실현되고, 상기 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 상기 단계는, 상기 사용자의 한 손에서 발송된 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 단계를 포함하고; 상기 제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계는, 상기 사용자의 한 손에서 발송된 제1제스처 동작이 지정된 시간동안 검출된 후, 상기 사용자의 동일한 한 손 또는 다른 한 손에서 발송된 제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계를 포함한다.
제1실시예에 결부하면, 제1실시예의 다섯번째 실시 가능한 실시양태에 있어서, 상기 타겟 피제어 기기가 상기 제3제스처 동작에 대응되는 동작을 수행하도록 제어하는 상기 단계 이후에, 상기 타겟 피제어 기기와의 제어관계를 차단시키고, 상기 제1제스처 동작이 검출되기 이전에 제어한 피제어 기기로 제어관계를 스위칭 백시키는 단계를 더 포함한다.
본 발명의 실시예의 제2실시예에 근거하면, 제1제스처 동작이 검출될 경우, 상기 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하되, 상기 제1매핑 관계는 제스처 동작과 제어기능 사이의 매핑관계인 프리 스위칭 모듈과; 제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하되, 상기 제2매핑 관계는 제스처 동작과 피제어 기기 위치 사이의 매핑관계인 것인 제1결정 모듈과; 상기 타겟 피제어 기기와의 제어관계를 구축하기 위한 제1구축 모듈과; 제3제스처 동작을 획득하기 위한 제1획득 모듈과; 상기 제3제스처 동작 및 상기 제1매핑 관계에 근거하여, 상기 타겟 피제어 기기가 상기 제3제스처 동작에 대응되는 동작을 수행하도록 제어하기 위한 제어모듈을 포함하는 스마트 기기의 조작 제어 장치를 제공한다.
제2실시예에 결부하면, 제2실시예의 첫번째 실시 가능한 실시양태에 있어서, 상기 스마트 기기의 조작 제어 장치는, 사용자가 제1위치 및 제2위치에서 각각 피제어 기기를 가리킬 때 사용자 손가락이 가리키는 연장선인 제1 위치결정 라인 및 제2 위치결정 라인을 획득하는 제2획득 모듈과; 상기 제1 위치결정 라인 및 상기 제2 위치결정 라인의 교점에 근거하여, 상기 피제어 기기의 위치를 결정하기 위한 제2결정 모듈과; 제스처 동작과 상기 피제어 기기 사이의 제2매핑 관계를 구축하기 위한 제2구축 모듈을 더 포함한다.
제2실시예에 결부하면, 제2실시예의 두번째 실시 가능한 실시양태에 있어서, 상기 스마트 기기의 조작 제어 장치는, 제스처 동작과 제어기능 사이의 제1매핑 관계를 획득하되, 그 중 동일한 제스처 동작은 상이한 피제어 기기의 동일한 제어기능을 조작 제어하기 위한 것인 제3구축 모듈을 더 포함한다.
제2실시예에 결부하면, 제2실시예의 세번째 실시 가능한 실시양태에 있어서,
상기 프리 스위칭 모듈은, 상기 사용자의 한 손에서 발송된 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하기 위한 것이고; 상기 제1결정 모듈은, 상기 제1제스처 동작이 검출됨과 동시에 상기 사용자의 다른 한 손에서 발송된 제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하기 위한 것이다.
제2실시예에 결부하면, 제2실시예의 네번째 실시 가능한 실시양태에 있어서,
상기 프리 스위칭 모듈은, 상기 사용자의 한 손에서 발송된 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하기 위한 것이고; 상기 제1결정 모듈은, 상기 사용자의 한 손에서 발송된 제1제스처 동작이 지정된 시간동안 검출된 후, 상기 사용자의 동일한 한 손 또는 다른 한 손에서 발송된 제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하기 위한 것이다.
제2실시예에 결부하면, 제2실시예의 다섯번째 실시 가능한 실시양태에 있어서, 상기 스마트폰 기기의 조작 제어 장치는, 상기 타겟 피제어 기기와의 제어관계를 차단시키고, 상기 제1제스처 동작이 검출되기 이전에 제어한 피제어 기기로 제어관계를 스위칭 백시키기 위한 스위칭 모듈을 더 포함한다.
본 발명의 실시예의 제3실시예에 근거하면, 프로세서와; 프로세서에 의해 실행 가능한 인스트럭션을 저장하기 위한 메모리를 포함하고; 상기 프로세서는, 제1제스처 동작이 검출될 경우, 상기 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하되, 상기 제1매핑 관계는 제스처 동작과 제어기능 사이의 매핑관계이고; 제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하되, 상기 제2매핑 관계는 제스처 동작과 피제어 기기 위치 사이의 매핑관계이며; 상기 타겟 피제어 기기와의 제어관계를 구축하고; 제3제스처 동작을 획득하며; 상기 제3제스처 동작 및 상기 제1매핑 관계에 근거하여, 상기 타겟 피제어 기기가 상기 제3제스처 동작에 대응되는 동작을 수행하도록 제어하도록 구성되는 단말기를 제공한다.
본 발명의 실시예에서 제공하는 기술적 해결수단은 하기와 같은 유익한 효과를 포함할 수 있다.
제1제스처 동작 및 제1매핑 관계를 통하여 제어관계 스위칭을 준비하고, 제2제스처 동작 및 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정한 후 타겟 피제어 기기와의 제어관계를 구축하고, 더 나아가 제3제스처 동작을 획득하여 타겟 피제어 기기가 제3제스처 동작에 대응되는 동작을 수행하도록 제어함으로써 타겟 피제어 기기에 대한 조작 제어를 실현한다. 제스처 동작을 통하여 타겟 피제어 기기로 제어관계를 스위칭 가능하고 제스처 동작을 통하여 타겟 피제어 기기에 대한 조작 제어를 실현하므로 조작 제어 방식이 더욱 간단하고, 아울러 조작 제어 방법의 융통성도 향상시킨다.
상기의 일반적인 설명과 후술되는 상세한 설명은 단지 예시적 및 해석적인 것일 뿐 본 발명을 한정할 수 없음을 이해하여야 한다.
아래의 도면은 명세서의 일부분으로서 명세서 전체를 구성하며 본 발명에 맞는 실시예를 예시하여 본 발명의 원리를 해석하기 위한 것이다.
도1은 일 예시적 실시예에 근거하여 도시한 스마트 기기의 조작 제어 방법에 관한 실시환경 모식도이다.
도2는 일 예시적 실시예에 근거하여 도시한 스마트 기기의 조작 제어 방법의 흐름도이다.
도3은 일 예시적 실시예에 근거하여 도시한 스마트 기기의 조작 제어 방법의 흐름도이다.
도4는 일 예시적 실시예에 근거하여 도시한 위치결정 라인을 획득하는 과정 모식도이다.
도5는 일 예시적 실시예에 근거하여 도시한 스마트 기기의 조작 제어 장치의 블록도이다.
도6은 일 예시적 실시예에 근거하여 도시한 스마트 기기의 조작 제어 장치의 블록도이다.
도7은 일 예시적 실시예에 근거하여 도시한 스마트 기기의 조작 제어 장치의 블록도이다.
도8은 일 예시적 실시예에 근거하여 도시한 스마트 기기의 조작 제어 장치의 블록도이다.
도9는 일 예시적 실시예에 근거하여 도시한 단말기의 블록도이다.
여기서, 예시적 실시예에 대해 상세하게 설명하고, 이를 첨부되는 도면에 예시적으로 나타냈다. 하기에서 첨부되는 도면에 대해 설명할 때 별도로 표시하지 않는 한, 다른 도면의 동일한 숫자는 동일하거나 유사한 구성요소를 나타낸다. 하기의 예시적 실시예에서 설명한 실시형태는 본 발명과 일치한 모든 실시형태를 의미하는 것은 아니다. 반대로, 이들은 첨부된 특허청구범위에서 설명한, 본 발명의 일부 실시예와 일치한 장치와 방법에 대한 예일 뿐이다.
도1은 일 예시적 실시예에 근거하여 제공한 스마트 기기의 조작 제어 방법에 관한 실시환경 모식도이다. 도1에 도시된 바와 같이, 상기 실시환경은 제어 기기(101) 및 각각의 피제어 기기(102)를 포함한다. 여기서, 제어 기기(101) 및 각각의 피제어 기기(102)는 동일한 랜(LAN)에 있고, 제어 기기(101)는 각각의 피제어 기기(102)와 통신 네트워크을 통하여 각각 연결되되, 상기 통신 네트워크는 인터넷일 수 있고 블루투스 네트워크(bluetooth network) 등일 수도 있다. 여기서 통신 네트워크가 인터넷일 때, 상기 네트워크는 유선 네트워크일 수 있고 무선 네트워크일 수도 있다.
제어 기기(101)는 사용자가 발송한 제스처 동작을 식별할 수 있고, 상기 제스처 동작에 대응되는 제어기능을 결정한 다음, 피제어 기기(102)가 상기 제스처 동작에 대응되는 동작을 수행하도록 제어한다. 각각의 피제어 기기(102)는 제어 기기(101)와 통신함으로써, 제어 기기(101)는 각각의 피제어 기기(102)가 사용자의 제스처 동작에 대응되는 동작을 수행할 수 있도록 제어한다.
여기서, 제어 기기(101)는 하나의 독립된 기기일 수 있고, 어느 하나의 피제어 기기(102)의 내부에 설치된 하나의 기능 모듈일 수도 있으며, 랜의 라우터(router)의 하나의 기능 모듈일 수도 있는 바, 본 발명의 실시예는 이에 대해 구체적으로 한정하지 않는다. 이 밖에, 제어 기기(101)는 사용자가 발송한 제스처 동작을 식별하도록 카메라를 포함할 수 있다. 제어 기기(101)는 획득한 제스처 동작을 대응되는 제어기능으로 전환하기 위한 데이터 처리 장치를 더 포함할 수 있다. 본 발명의 실시예는 제어기기(101)의 구성 구조에 대해 구체적으로 한정하지 않는다.
각각의 피제어 기기(102)는 여러가지 유형의 스마트 기기일 수 있는 바, 스마트 기기의 유형에 관하여, 예를 들면 스마트 TV, 스마트 냉장고, 스마트 에어컨, 스마트 라디오, 스마트 사운드 시스템 및 스마트 라이트 등과 같은 스마트 홈 기기일 수 있다.
예를 들면 휴대폰, 태블릿 PC, PC(Personal Computer, 개인용 컴퓨터), 데스크탑 컴퓨터, 휴대용 컴퓨터등과 같은 스마트 단말기일 수도 있는 바, 본 발명의 실시예는 피제어 기기(102)의 유형에 대해 한정하지 않는다.
일반적으로, 동일한 랜에는 흔히 많은 피제어 기기(102)가 포함되므로 제스처 식별을 통하여 각각의 피제어 기기(102)를 조작 제어할 때, 어떻게 제어 기기(101)의 제어관계를 어느 하나의 피제어 기기(102)로 스위칭시키고, 더 나아가 상기 피제어 기기(102)에 대한 조작 제어를 실현할 것인지는 당업자의 보편적인 관심을 받고 있다. 상기 기술적 과제를 해결하기 위하여 본 발명의 실시예는 스마트 기기의 조작 제어 방법을 제공하는 바, 구체적인 스마트 기기의 조작 제어 방법은 하기 각각의 실시예를 상세히 참조하기 바란다.
도1에 도시된 실시환경 모식도 및 상기 내용을 결부하면, 도2는 일 예시적 실시예에 근거하여 도시한 스마트 기기의 조작 제어 방법의 흐름도이다. 도2에 도시된 바와 같이, 단말기를 위한 스마트 기기의 조작 제어 방법은 하기와 단계를 포함한다.
단계S201에서는, 제1제스처 동작이 검출될 경우, 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하되, 여기서, 제1매핑 관계는 제스처 동작과 제어기능 사이의 매핑관계이다.
단계S202에서는, 제2제스처 동작이 검출될 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하되, 여기서, 제2매핑 관계는 제스처 동작과 피제어 기기 위치 사이의 매핑관계이다.
단계S203에서는, 타겟 피제어 기기와의 제어관계를 구축한다.
단계S204에서는, 제3제스처 동작을 획득한다.
단계S205에서는, 제3제스처 동작 및 제1매핑 관계에 근거하여 타겟 피제어 기기가 제3제스처 동작에 대응되는 동작을 수행하도록 제어한다.
본 발명의 실시예에서 제공하는 방법은, 제1제스처 동작 및 제1매핑 관계를 통하여 제어관계 스위칭을 준비하고, 제2제스처 동작 및 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정한 다음, 타겟 피제어 기기와의 제어관계를 구축하고, 더 나아가 제3제스처 동작을 획득하여 타겟 피제어 기기가 제3제스처 동작에 대응되는 동작을 수행하도록 제어함으로써 타겟 피제어 기기에 대한 조작 제어를 실현한다. 제스처 동작을 통하여 타겟 피제어 기기로 제어관계를 스위칭 가능하고, 제스처 동작을 통하여 타겟 피제어 기기에 대한 조작 제어를 실현하므로 조작 제어 방식이 더욱 간단하고, 아울러 조작 제어 방법의 융통성도 향상시킨다.
다른 실시예에 있어서, 제2제스처 동작이 검출될 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계 이전에,
사용자가 제1위치 및 제2위치에서 각각 피제어 기기를 가리킬 때 사용자 손가락이 가리키는 연장선인 제1 위치결정 라인 및 제2 위치결정 라인을 획득하는 단계와;
제1 위치결정 라인 및 제2 위치결정 라인의 교점에 근거하여 피제어 기기의 위치를 결정하는 단계와;
제스처 동작과 피제어 기기 위치 사이의 제2매핑 관계를 구축하는 단계를 더 포함한다.
다른 실시예에 있어서, 제1제스처 동작이 검출될 경우, 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 단계 이전에,
제스처 동작과 제어기능 사이의 제1매핑 관계를 구축하되, 여기서, 동일한 제스처 동작은 상이한 피제어 기기의 동일한 제어기능을 조작 제어하기 위한 것인 단계를 더 포함한다.
다른 실시예에 있어서, 제1제스처 동작 및 제2제스처 동작은 사용자의 두 손에 의해 실현되고, 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 단계는,
사용자의 한 손에서 발송된 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 단계를 포함하고;
제2제스처 동작이 검출될 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계와：
제1제스처 동작이 검출됨과 동시에 사용자의 다른 한 손에서 발송된 제2제스처 동작이 검출될 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계를 포함한다.
다른 실시예에 있어서, 제1제스처 동작 및 제2제스처 동작은 사용자의 한 손에 의해 실현되고, 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 단계는, 사용자의 한 손에서 발송된 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 단계를 포함한다.
제2제스처 동작이 검출될 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계는,
사용자의 한 손에서 발송된 제1제스처 동작이 지정된 시간동안 검출된 후, 사용자의 동일한 한 손 또는 다른 한 손에서 발송된 제2제스처 동작이 검출될 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계를 포함한다.
다른 실시예에 있어서, 타겟 피제어 기기가 제3제스처 동작에 대응되는 동작을 수행하도록 제어하는 단계 이후에, 타겟 피제어 기기와의 제어관계를 차단시키고, 제1제스처 동작이 검출되기 이전에 제어한 피제어 기기로 제어관계를 스위치 백시키는 단계를 더 포함한다.
상기 모든 선택 가능한 기술적 해결수단은 본 발명의 선택 가능한 실시예를 임의로 결합시켜 이용할 수 있는 바, 여기에서 더이상 설명하지 않는다.
도2에 대응된는 실시예의 내용을 결부하면, 도3은 일 예시적 실시예에 근거하여 도시한 스마트 기기의 조작 제어 방법의 흐름도이다. 도3에 도시된 바와 같이, 단말기를 위한 스마트 기기의 조작 제어 방법은 하기와 같은 단계를 포함한다.
단계S301에서는, 제스처 동작과 제어기능 사이의 제1매핑 관계를 구축하되, 여기서, 동일한 제스처 동작은 상이한 피제어 기기의 동일한 제어기능을 조작 제어하기 위한 것이다.
제어 기기가 사용자가 발송한 제스처 동작을 검출한 다음, 사용자가 상기 제스처 동작을 통하여 피제어 기기가 어떠한 동작을 수행하도록 제어하고자 하는지에 대해 알기 위하여 제어 기기가 제스처 동작을 통하여 피제어 기기를 조작 제어할 때, 우선 제스처 동작과 제어기능 사이의 제1매핑 관계를 구축한다. 이 기초상에서 후속으로 사용자가 발송한 제스처 동작을 획득한 후, 제어기기가 상기 제1매핑 관계를 조회하여 피제어 기기가 어떠한 동작을 수행하는지를 제어하도록 결정할 수 있다.
따라서, 스마트 기기의 조작 제어 방법을 수행할 때, 우선 제스처 동작과 제어기능 사이의 제1매핑 관계를 구축하고 상기 제1매핑 관계를 저장하여야 한다.
여기서, 제스처 동작은 동적 동작일 수 있고 정적 동작일 수도 있다. 제스처 동작이 동적 동작인 경우, 예를 들면 제스처 동작이 사용자의 서클(circle) 동작인 경우, 제어 기기는 제스처 동작을 식별할 때 제스처의 운동궤적에 근거하여 실현이 가능하고, 제스처 동작이 정적 동작인 경우, 예를 들면 제스처 동작이 사용자가 “ok” 형상의 제스처 동작을 취하는 경우, 제어기기는 제스처 동작을 식별할 때 제스처 형상에 근거하여 실현 가능하다. 물론, 제스처 동작은 동적 동작과 정적 동작의 결합일 수도있는바, 예를 들면 제스처 동작이 사용자가 우선 하나의 “ok” 형상의 제스처 동작을 취하고 나서 또 하나의 서클 동작을 발송한 것일 경우, 이 때, 제어 기기는 제스처 동작을 식별할 때 동시에 제스처 형상 및 제스처 운동궤적에 근거하여 실현 가능하다.
제스처의 상이한 상태를 결부시켜 구축된 제스처 동작과 제어기능의 제1매핑 관계도 상이하다. 예를 들면, 제어 기기가 제스처 운동궤적에 근거하여 제스처 동작을 식별할 경우, 제1매핑 관계는 제스처 동작을 구성하는 특정 궤적과 제어기능 사이의 매핑관계일 수 있고; 제어기기가 제스처 형상에 근거하여 제스처 동작을 식별할 경우, 제1매핑 관계는 제스처 형상을 구성하는 특정 포인트 세트(point set)와 제어기능 사이의 매핑관계일 수 있다.
예를 들면, 만약 제스처 동작이 서클 동작이고, 상기 제스처 동작에 대응되는 제어기능이 작동 동작이면, 서클 동작의 특정 궤적이 원형 궤적이므로 구축된 제1매핑 관계는 원형 궤적과 작동 동작이다.
또 예를 들면, 만약 제스처 동작이 “ok” 제스처 형상이고, 상기 제스처 동작에 대응되는 제어기능이 차단 동작이라면, “ok” 제스처 형상을 구성하는 윤곽 포인트 세트를 획득하고 이러한 포인트를 “ok” 제스처 형상의 특정 포인트 세트로 할 수 있다. 이 때, 구축된 제1매핑 관계는 상기 “ok” 제스처 형상의 윤곽 포인트 세트와 차단 동작 사이의 매핑관계이다.
제스처 동작과 제어기능 사이의 제1매핑 관계를 구축할 때 하기와 같은 방식으로 실현 가능하다.
첫번째 방식: 제어 기기가 출하될 때, 제스처 동작과 제어기능 사이의 제1매핑 관계를 미리 설정한다.
이러한 방식은 구체적으로 하기와 같이 해석된다. 제어기기가 출하될 때 제1매핑 관계를 미리 설정하고, 후속으로 상기 제어 기기가 피제어 기기를 조작 제어할 때 제어기기가 출하시 미리 설정된 제1매핑 관계에 근거하여 실현된다. 예를 들면, 제어기기가 출하될 때 이미 온(on) 동작과 서클 동작이 대응되도록 설정하였다면, 상기 제어 기기를 통하여 피제어 기기가 온 동작을 실현하도록 조작 제어할 경우 사용자는 모두 서클 동작을 통하여 실현한다.
이 밖에, 동일한 랜에는 일반적으로 다수의 피제어 기기가 포함되고, 각각의 피제어 기기 사이에는 흔히 온 기능, 결정 기능, 차단 기능 등과 같은 동일한 제어기능이 포함되므로, 사용자가 상이한 피제어 기기의 동일한 제어기능을 조작 제어하기에 편리하도록 하기 위하여 본 발명의 실시예에서는 제1매핑 관계를 설정할 때 동일한 제스처 동작이 상이한 피제어 기기의 동일한 제어기능을 조작 제어하도록 설정할 수 있다.
예를 들면, 스마트 TV의 음량증가 동작, 스마트 라디오의 음량증가 동작 및 스마트 에어컨의 온도증가 동작 등에 대하여 동일한 제스처 동작을 대응시킬 수 있고; 상이한 피제어 기기의 “결정”동작에 대해서도 동일한 제스처 동작을 대응시킬 수 있으며; 상이한 피제어 기기의 “상”, “하”, “좌”, “우” 등 방향 지시에 대해서도 상이한 방향에 동일한 제스처 동작을 정의할 수 있다.
상이한 피제어 기기의 동일한 제어기능이 동일한 제스처 동작을 사용하도록 설정함으로써 사용자가 상이한 피제어 기기의 동일한 제어기능을 조작 제어할 때 동일한 제스처 동작을 통하여 실현 가능한 바, 관련 기술에서 상이한 제스처로 상이한 피제어 기기의 동일한 제어기능을 조작 제어하는 것에 비해, 조작 제어 방식이 비교적 간단할 뿐만 아니라 시간도 절약할 수 있다.
두번째 방식: 제어기기가 설치된 후, 사용자의 동작에 근거하여 제스처 동작과 제어기능 사이의 제1매핑 관계를 입력한다.
이러한 방식은 구체적으로 하기와 같이 해석된다. 제어 기기가 어느 하나의 랜에 설치된 후, 상기 랜에서의 사용자의 동작에 근거하여 제1매핑 관계를 맞춤 제작한다. 예를 들면, 제어 기기에 홈 A를 새로 가입시킨 후, 제어 기기는 우선 상기 홈 A 중의 모든 피제어 기기를 포함한 모든 제어기능을 스캔한 후, 스크린에 그 스캔한 모든 제어기능을 표시할 수 있다. 더 다아가, 제어기기는 스크린 표시기능을 통하여 사용자에게 매 제어기능과 대응되는 제스처 동작을 입력하도록 프롬프팅할 수 있다. 사용자가 어느 하나의 제어기능을 선택한 것이 검출되면, 사용자가 상기 제어기능에 대하여 설정한 제스처 동작을 입력하고, 상기 제스처 동작과 제어기능 사이의 매핑관계를 저장한다. 매 제어기능에 대하여 모두 상기 제스처 동작 입력 동작을 실행한다. 즉, 모든 제어기능 및 이에 대응되는 제스처 동작 사이의 제1매핑 관계를 구축한다.
이 밖에, 사용자에게 매 제어기능과 대응되는 제스처 동작을 입력하도록 프롬프팅할 때, 음성방식으로도 실현 가능하다. 예를 들면, 모든 제어기능을 스캔한 후, 매번 음성으로 하나의 제어기능을 방송하고, 사용자가 상기 제어기능에 대응되는 제스처 동작을 이미 입력하였음이 결정된 후, 계속하여 다음 제어기능을 방송하며, 계속하여 다음 제어기능에 대응되는 제스처 동작을 입력한다.
이러한 방식으로 제1매핑 관계를 구축할 경우, 어느 한번에 입력된 제스처 동작은 어느 하나의 피제어 기기에 적용될 수 있고, 동일한 제어기능을 포함한 일부 피제어 기기에 적용될 수도 있다. 하지만, 상이한 피제어 기기가 동일한 제어기능을 포함한 경우에 있어서, 사용자가 후속으로 랜 중의 모든 피제어 기기를 조작 제어하도록 하기 위하여, 모든 피제어 기기의 모든 제어기능을 수집한 후, 우선 제어기능을 분류하여 상이한 피제어 기기의 공유되는 제어기능을 획득할 수 있다. 진일보로, 제어기기는 동일한 제스처 동작이 랜 중의 모든 피제어 기기의 동일한 제어기능을 조작 제어하도록 설정할 수 있다. 상기 동일한 제스처 동작이 상이한 피제어 기기의 동일한 제어기능을 조작 제어하기 위한 것에 관한 내용은 상기 첫번째 방식의 설명을 참조할 수 있으며 여기에서 더이상 설명하지 않는다.
이러한 방식으로 제1매핑 관계를 구축할 경우, 사용자는 자신의 수요, 애호 및 동작습관에 근거하여 매핑관계를 맞춤 제작함으로써 제1매핑 관계를 구축하는 방식이 더욱 원활하고 다양하도록 한다. 예를 들면 사용자가 왼손잡이인 경우 제1매핑 관계를 맞춤 제작할 때 사용자는 왼손으로 실현할 수 있다.
더 나아가, 이러한 방식으로 제1매핑 관계를 구축한 후, 사용자는 수요에 따라 제스처 동작과 제어기능 사이의 제1매핑 관계를 보정할 수도 있다. 예를 들면, 사용자가 애호에 따라 제1매핑 관계를 설정한 후, 만약 상기 제1매핑 관계를 설정할 때 사용한 제스처 동작을 취하는 것이 비교적 힘들거나 또는 제어 기기의 식별 성공율이 비교적 낮다고 느껴질 때 상기 제스처 동작을 보정할 수 있다.
예를 들면, 만약 사용자가 처음에 음량증가 동작에 대응되는 제스처 동작을 귀뿌리로부터 위를 지향하도록 설정하였으나, 후속하여 귀뿌리로부터 위를 지향하도록 취하는 제스처 동작이 비교적 힘들다고 여겨지면 음량증가 동작에 대응되는 제스처 동작을 보정할 수 있는 바, 예를 들면 좌측부터 우측으로 기 설정된 길이의 직선보다 작지 않게 슬라이딩하는 것으로 보정할 수 있다.
설명해야 할 것은, 상기 단계는 피제어 기기의 조작 제어를 실현하는 기초로서, 상기 제1매핑 관계를 미리 구축한 다음에야만 후속으로 제스처 동작을 통하여 피제어 기기를 조작 제어할 수 있다는 것이다.
다시 말하면, 상기 단계는 피제어 기기를 조작 제어하기 이전 단계이지 매번 스마트 기기의 조작 제어 방법을 수행할 때마다 모두 상기 단계를 수행해야 하는 것은 아닌 바, 스마트 기기의 조작 제어 방법이 수행될 때 이미 상기 제1매핑 관계가 구축되도록 확보하기만 하면 된다.
단계S302에서는, 제1제스처 동작이 검출될 경우, 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비한다.
여기서, 제어관계는 제어 기기와 피제어 기기 사이에 제어 데이터 및 제어 인스트럭션을 전송하는 기초로서, 제어 기기가 어느 하나의 피제어 기기를 제어할 때, 우선 상기 피제어 기기와 제어관계를 구축한 다음, 이 기초상에서 제어 데이터 및 제어 인스트럭션의 전송을 실현한다.
제어 기기가 어느 하나의 피제어 기기를 조작 제어할 때, 만약 제어 기기가 현재 하나의 피제어 기기를 조작 제어하면, 이 때 사용자가 또 다른 피제어 기기를 조작 제어하고자 한다면, 제어 기기는 제어관계 스위칭을 준비하여야 한다. 이 때, 상기 제어관계 스위칭을 준비하는 것은 현재 피제어 기기와의 제어관계를 차단시키는 과정을 가리킬 수 있다. 만약 제어 기기가 현재 어떠한 피제어 기기도 조작 제어하지 않는다면 상기 제어관계 스위칭을 준비하는 것은 현재 상태를 스위칭 대기 상태로 설정하는 과정을 가리킨다.
상기 내용 및 단계S301에서 미리 구축된 제스처 동작과 제어기능 사이의 제1매핑 관계를 결부하면, 상기 제1매핑 관계 중의 제어기능은 제어관계 스위칭을 준비하는 기능을 포함한다.
본 발명 실시예에서, 상이한 피제어 기기가 제어관계 스위칭을 준비하는 제어기능은 모두 제1제스처 동작에 대응된다. 즉, 제어 기기는 제1제스처 동작을 검출한 후 상기 제1매핑 관계를 조회하여 제1제스처 동작과 제어관계 스위칭을 준비하는 제어기능이 서로 대응됨을 결정할 수 있다. 이 때, 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비한다.
제1제스처의 유형은 다양할 수 있다. 예를 들면, 제1제스처 동작은 사용자의 서클 동작일 수 있고, 사용자가 원형의 동작을 취하거나 하트 모양의 동작을 취하는 것과 같은 사용자가 취한 어느 한 형상의 동작일 수도 있다. 이 기초상에서, 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비할 경우, 제1제스처의 궤적에 근거하여 실현되거나 제1제스처의 형상에 근거하여 실현될 수 있는 바, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하지 않는다.
설명해야 할 것은, 본 발명의 실시예에서, 동일한 제스처 동작은 상이한 피제어 기기의 동일한 제어기능을 조작 제어하기 위한 것이므로, 상이한 피제어 기기 사이의 제어관계를 스위칭 할 때 모두 상기 제1제스처 동작을 통하여 실현 가능하다는 것이다.
예를 들면, 만약 제1제스처 동작이 서클 동작이고 현재 스마트 TV를 조작 제어하고 있다면, 사용자가 서클 동작을 취한 후 스마트 TV의 제어관계 스위칭을 준비하고; 만약 현재 스마트 에어컨을 조작 제어하고 있다면, 사용자가 동일하게 서클 동작을 취한 후 스마트 에어컨의 제어관계 스위칭을 준비한다.
상이한 피제어 기기의 상기 스위칭 준비 기능을 제1제스처로 설정함으로써, 제1제스처 동작을 획득한 경우 바로 제어관계 스위칭을 준비하는 동작을 실행할 수 있어 관련 기술에서 상이한 피제어 기기가 상이한 제스처로 인해 초래되는 동작이 번거로운 흠결을 방지한다.
단계S303에서는, 제2제스처 동작이 검출될 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하되, 여기서, 제2매핑 관계는 제스처 동작과 피제어 기기 위치 사이의 매핑관계이다.
여기서, 타겟 피제어 기기는 사용자가 현재 조작 제어하고자 하는 어느 하나의 피제어 기기이다. 제스처 동작을 통해 스마트 기기의 조작 제어를 실현할 때, 타겟 피제어 기기를 결정하기 위하여 사용자의 일정한 제스처로 트리거(trigger)하여야 한다.
본 발명의 실시예에서, 제어 기기는 사용자가 발송한 제2제스처 동작에 근거하여 결정된 타겟 피제어 기기를 트리거 결정한다. 따라서, 제어 기기는 제어관계 스위칭을 준비한 후 제2제스처 동작이 검출되면, 제2제스처 동작 및 제스처 동작과 피제어 기기 위치 사이의 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정한다.
타겟 피제어 기기를 결정할 때, 흔히 제2제스처 동작에 근거하여 포지셔닝함으로써 실현된다. 따라서, 제어 기기가 제2제스처 동작을 검출할 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하기 이전에, 제스처 동작과 피제어 기기 위치 사이의 제2매핑 관계를 더 구축하여야 한다. 제어 기기는 제2매핑 관계를 구축할 때 하기의 단계S3031 내지 단계S3033을 포함하되 이에 한정되지는 않는다.
단계S3031에서는, 제1 위치결정 라인 및 제2 위치결정 라인을 획득하되, 여기서, 제1 위치결정 라인 및 제2 위치결정 라인은 사용자가 제1위치 및 제2위치에서 각각 피제어 기기를 가리킬 때 사용자 손가락이 가리키는 연장선이다.
설명해야 할 것은, 제어 기기는 사용자와 피제어 기기 사이의 상대적 거리에 근거하여 사용자가 현재 피제어 기기와 이격되는 위치를 결정할 수 있다는 것이다.
제어 기기가 어느 하나의 피제어 기기의 위치를 결정할 때, 우선 스크린에 표시하는 방식 또는 음성 방식으로 사용자에게 각각 두개의 상이한 위치에서 어느 하나의 피제어 기기를 가리킴을 프롬프팅(提示)한다.
사용자가 상기 프롬프트에 근거하여 제1위치에서 상기 피제어 기기를 가리킴을 제어 기기가 검출한 후, 제어 기기는 사용자가 위치한 제1위치 및 사용자의 손가락이 가리키는 방향을 획득함으로써 사용자가 제1위치에서 상기 피제어 기기를 가리킬 때 손가락이 가리키는 연장선을 획득하여 상기 손가락이 가리키는 연장선을 제1위치결정 라인으로 하고, 사용자가 상기 프롬프트에 근거하여 제2위치에서 상기 피제어 기기를 가리킴을 제어 기기가 검출한 후, 제어 기기는 사용자가 위치한 제2위치 및 사용자의 손가락이 가리키는 방향을 획득함으로써 사용자가 제2위치에서 상기 피제어 기기를 가리키는 연장선을 제2위치결정 라인으로 한다.
도4에 도시된 바와 같이, 이는 위치결정 라인을 획득하는 설명도를 도시한다. 도4에서, 점A와 점B는 바로 사용자가 위치한 제1위치와 제2위치이다. 사용자가 각각 점A와 점B에서 어느 하나의 피제어 기기를 가리킨 후, 사용자의 손가락이 가리키는 연장선에 근거하여 제1위치결정 라인(L)과 제2위치결정 라인(L’)을 결정할 수 있다. 진일보로, L와 L’의 교점(C)가 바로 상기 피제어 기기의 위치이다.
단계S3032에서는, 제1 위치결정 라인 및 제2 위치결정 라인의 교점에 근거하여 피제어 기기의 위치를 결정한다.
상기 피제어 기기의 위치를 결정할 때, 우선 제1위치결정 라인과 제2위치결정 라인의 교점의 공간 좌표를 결정하고 상기 공간 좌표를 상기 피제어 기기의 위치로 할 수 있다.
상기 단계S3031 및 단계S3032을 통하여 바로 랜의 매 피제어 기기의 위치를 결정할 수 있다. 이 밖에, 랜에 피제어 기기를 새로 증가하는 경우에도 상기 단계S3031 및 단계S3032가 제공하는 방식을 통하여 상기 새로 증가되는 피제어 기기의 위치를 결정할 수 있다. 여기서, 새로 증가된 피제어 기기가 발견되면 피제어 기기의 자동 식별 프로토콜을 통해 실현 가능하며 본 발명의 실시예에서는 이에 대해 한정하지 않는다.
단계S3033에서는, 제스처 동작과 피제어 기기 사이의 제2매핑 관계를 구축한다.
랜에 포함되는 매 피제어 기기에 대하여, 모두 상기 단계S3031 및 단계S3032을 통하여 그 위치를 결정할 수 있다. 진일보로, 제스처 식별을 통해 피제어 기기를 조작 제어하는 과정에서 사용자가 어느 하나의 동작을 발송한 후, 상기 제스처 동작에 의해 조작 제어되는 타겟 피제어 기기를 빨리 결정하기 위하여 제스처 동작과 피제어 기기 위치 사이의 제2매핑 관계를 구축하여야 한다. 이 기초상에서, 제2제스처 동작을 획득한 후 바로 타겟 피제어 기기를 빠르게 결정할 수 있다.
이 밖에, 제스처를 통하여 가리키는 것은 흔히 어느 하나의 피제어 기기의 위치를 결정할 수 있으므로, 제2매핑 관계를 구축할 때 사용되는 제스처 동작은 어느 한 방향을 가리키는 제스처 동작을 포함하되 이에 한정되지는 않는다. 하지만, 제2매핑 관계를 구축할 때 사용되는 제스처 동작은 기타 제스처일 수도 있는 바, 상기 제2제스처 동작과 피제어 기기 위치 사이에 매핑관계가 구축되기만 하면 가능하다.
상기 단계 S302 및 단계 S303을 통하여, 제1제스처 동작 및 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하도록 실현하고, 제2제스처 동작 및 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정한다. 상기 내용을 결부하면, 제어 기기가 제어관계 스위칭 준비 및 타겟 피제어 기기를 결정할 때, 사용자는 제1제스처 동작 및 제2제스처 동작을 통하여 실현하여야 한다. 여기서, 사용자가 제1제스처 동작 및 제2제스처 동작을 실현할 때 두 손으로 동시에 실현할 수 있고 한 손으로 실현할 수도 있다. 이 때, 제어 기기가 제어관계 스위칭 준비 및 타겟 피제어 기기를 결정할 때 하기의 두가지 방식을 포함하되 이에 한정되지는 않는다.
첫번째 방식: 제1제스처 동작 및 제2제스처 동작은 사용자가 두 손으로 실현한다. 이때, 제어 기기는 사용자의 한 손에서 발송된 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비한다.
제어 기기가 제1제스처 동작을 검출함과 동시에 사용자의 다른 한 손에서 발송된 제2제스처 동작이 검출되면, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정한다. 다시 말하면, 제어기기가 제어관계 스위칭을 준비하는 동작과 타겟 피제어 기기를 결정하는 동작은 동시에 실행된다.
예를 들면, 만약 제1제스처 동작이 서클 동작이고, 제2제스처 동작이 포인팅 제스처라면, 사용자의 두 손이 각각 동시에 서클 동작과 포인팅 제스처 동작을 취하는 것을 제어 기기가 검출한 후, 제어 기기는 제어관계 스위칭을 준비하는 동작과 타겟 피제어 기기를 결정하는 동작을 동시에 실행한다.
이러한 방식으로 제어관계 스위칭을 준비 및 타겟 피제어 기기를 결정하도록 실현할 때 제어 기기가 제1제스처 동작과 제2제스처 동작을 동시에 검출할 수 있으므로 동작과정에서 시간이 절약된다.
두번째 방식: 제1제스처 동작 및 제2제스처 동작은 사용자가 한 손으로 실현한다. 이때, 제어 기기는 사용자의 한 손에서 발송된 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비한다.
제어 기기가 사용자의 한 손에서 발송한 제1제스처 동작이 지정한 시간동안 검출된 후 사용자의 동일한 한 손 또는 다른 한 손에서 발송된 제2제스처 동작이 검출될 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정한다. 다시 말하면, 제어기기가 제어관계 스위칭을 준비하는 동작과 타겟 피제어 기기를 결정하는 동작은 선후 순서로 실행된다.
지정된 시간의 구체적인 수치에 대해 본 발명의 실시예는 구체적으로 한정하지 않는다. 예를 들면, 상기 지정된 시간은 1s(초), 3s 등일 수 있다.
예를 들면, 만약 제1제스처 동작이 서클 동작이고, 제2제스처 동작이 포인팅 제스처라면, 사용자의 한 손이 서클 동작을 취하는 것이 제어 기기에 의해 검출된 후, 제어 기기는 제어관계 스위칭을 준비하는 동작을 수행한다. 제어기기가 사용자의 한 손이 서클 동작을 취하는 것을 지정된 시간동안 검출된 후 사용자가 또 상기 손으로 포인팅 제스처 동작을 발송한 것이 검출되면, 제어 기기는 타겟 피제어 기기를 결정하는 동작을 실행한다.
이러한 방법으로 제어관계 스위칭 준비 및 타겟 피제어 기기를 결정할 때, 제어 기기가 선후 순서로 나뉘어 제1제스처 동작 및 제2제스처 동작을 검출해야 하므로, 첫번째 방법에 비해 동작과정이 비교적 시간을 절약한다. 또한, 이러한 방법으로 사용자는 한 손으로 동작을 실현할 수 있는 바, 동작이 비교적 간단하다.
단계S304에서는, 타겟 피제어 기기와의 제어관계를 구축한다.
타겟 피제어 기기에 대한 조작 제어를 실현하기 위하여, 제어관계를 타겟 피제어 기기로 스위칭시켜야 하므로, 타겟 피제어 기기와의 제어관계를 구축하여야 한다. 타겟 피제어 기기와의 제어관계를 구축한 후, 후속으로 사용자가 발송한 제스처 동작이 검출되면, 상기 제스처 동작에 대응되는 제어 인스트럭션을 트리거하여 타겟 피제어 기기에 발송함으로써 타겟 피제어 기기가 상응한 동작을 수행하도록 제어한다.
여기서, 타겟 피제어 기기와의 제어관계를 구축할 때, 만약 제어 기기가 방금 작동되었다면, 즉 아직 어떠한 피제어 기기도 조작 제어하지 않았다면, 제어기기는 직접 타겟 피제어 기기와의 제어관계를 구축할 수 있고; 만약 제어 기기가 현재 하나의 피제어 기기를 조작 제어하고 있다면, 제어기기는 현재 조작 제어하는 피제어 기기로부터 타겟 피제어 기기로 제어관계를 스위칭할 수 있다.
단계S305에서는, 제3제스처 동작을 획득하고, 제3제스처 동작 및 제1매핑 관계에 근거하여 타겟 피제어 기기가 제3제스처 동작에 대응되는 동작을 수행도록 제어한다.
예를 들면, 타겟 피제어 기기와의 제어관계를 구축한 후, 만약 후속으로 제3제스처 동작을 획득하면, 즉 제어 기기는 우선 제3제스처 동작에 근거하여 제1매핑 관계를 조회하여 상기 제3제스처 동작에 대응되는 제어기능을 획득하고, 진일보로 상기 제어기능에 근거하여 제어 타겟 피제어 기기가 어떠한 동작을 수행하는지를 결정함으로써 타겟 피제어 기기가 제3제스처 동작에 대응되는 동작을 수행하도록 제어한다.
여기서, 제어 기기는 제3제스처 동작과 제1매핑 관계에 근거하여 타겟 피제어 기기가 제3제스처 동작에 대응되는 동작을 수행하도록 제어할 때, 제3제스처의 궤적에 근거하여 실현될 수 있고, 제3제스처의 형상에 근거하여 실현될 수도 있는 바, 본 발명의 실시예에서는 이에 대해 구체적으로 한정하지 않는다.
진일보로, 제어 기기는 타겟 피제어 기기가 제3제스처 동작에 대응되는 동작을 수행하도록 제어할 때, 타겟 피제어 기기에 제어 인스트럭션을 발송할 수 있되, 상기 제어 인스트럭션은 동작 내용을 포함한다. 타겟 피제어 기기는 상기 제어 인스트럭션을 수신한 후 상기 동작 내용에 대응되는 동작을 실행한다.
예를 들면, 만약 타겟 피제어 기기가 스마트 TV이면, 제3제스처 동작에 대응되는 동작은 음량 증가 동작이고, 제어 기기는 제3제스처 동작을 획득한 후, 타겟 피제어 기기에 동작 통지 메시지를 발송할 수 있되, 상기 동작 통지 메시지가 포함하는 동작 내용은 음량 증가이다. 스마트 TV는 상기 동작 통지 메시지를 수신한 후 음량 증가 동작을 실행한다.
단계S306에서는, 타겟 피제어 기기와의 제어관계를 차단시키고, 제1제스처 동작이 검출되기 이전에 제어한 피제어 기기로 제어관계를 스위칭 백시킨다.
상기 단계는 선택 가능한 단계이다. 만약 단계S304에서, 제어 기기가 타겟 피제어 기기와의 제어관계를 구축할 때, 현재의 피제어 기기로부터 타겟 피제어 기기로 제어관계를 스위칭시키고, 제어기기는 타겟 피제어 기기가 상기 제3제스처 동작에 대응되는 동작을 수행하도록 제어한 후, 타겟 피제어 기기와의 제어관계를 차단시키고, 제1제스처 동작이 검출되기 이전에 제어한 피제어 기기로 제어관계를 스위칭 백시킬 수 있다.
상기 선택 기능한 단계를 통하여, 본 발명의 실시예에서 제공하는 방법에서 제어 기기가 피제어 기기를 조작 제어할 때 단지 제어관계를 임시적으로 타겟 피제어 기기로 스위칭시키고, 타겟 피제어 기기에 대한 조작 제어가 완료된 후 다시 그전에 제어한 피제어 기기로 스위칭 백시킨다.
예를 들면, 만약 사용자가 현재 TV 프로그램을 시청하고 있을 때, 그가 방이 조금 덥다고 느껴져 스마트 에어컨의 온도를 조금 낮게 조절하고자 할 경우, 제어 기기는 단계S302 내지 단계S304를 통하여 스마트 TV로부터 스마트 에어컨으로 제어관계를 스위칭할 수 있고, 단계S305의 방법을 통하여 스마트 에어컨을 조작 제어한 후, 스마트 TV로 다시 제어관계를 스위칭 백시킨다. 후속으로 다시 제스처 동작을 획득한 후, 제어기기는 계속하여 상기 제스처 동작 및 제1매핑 관계에 근거하여 스마트 TV를 조작 제어한다.
본 발명의 실시예에서 제공하는 스마트 기기의 조작 제어 방법은, 제1제스처 동작 및 제1매핑 관계를 통하여 제어관계 스위칭을 준비하고, 제2제스처 동작 및 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정한 후 타겟 피제어 기기와의 제어관계를 구축하고, 진일보로 제3제스처 동작을 획득하여 타겟 피제어 기기가 제3제스처 동작에 대응되는 동작을 수행하도록 제어함으로써 타겟 피제어 기기에 대한 조작 제어를 실현한다. 제스처 동작을 통하여 타겟 피제어 기기로 제어관계를 스위칭 가능하고, 또한 제스처 동작을 통하여 타겟 피제어 기기에 대한 조작 제어를 실현하므로 조작 제어 방식이 더욱 간단하고, 아울러 조작 제어 방법의 융통성도 향상시킨다.
도5는 일 예시적 실시예에 근거하여 도시한 스마트 기기의 조작 제어 장치의 블록도이고, 상기 스마트 기기의 조작 제어장치는 도2 또는 도3에 대응된는 실시예에서 제공하는 스마트 기기의 조작 제어 방법을 수행하기 위한 것이다. 도5를 참조하면, 상기 스마트 기기의 조작 제어 장치는 프리 스위칭 모듈(501), 제1결정 모듈(502), 제1구축 모듈(503), 제1획득 모듈(504) 및 제어모듈(505)를 포함한다.
여기서, 상기 프리 스위칭 모듈(501)은, 제1제스처 동작이 검출될 경우, 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하도록 구성되되, 여기서, 제1매핑 관계는 제스처 동작과 제어기능 사이의 매핑관계이다.
상기 제1결정 모듈(502)은, 제2제스처 동작이 검출될 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하도록 구성되되, 여기서, 제2매핑 관계는 제스처 동작과 피제어 기기 위치 사이의 매핑관계이다.
상기 제1구축 모듈(503)은, 타겟 피제어 기기와의 제어관계를 구축하도록 구성된다.
상기 제1획득 모듈(504)은, 제3제스처 동작을 획득하도록 구성된다.
상기 제어모듈(505)은, 제3제스처 동작 및 제1매핑 관계에 근거하여 타겟 피제어 기기가 제3제스처 동작에 대응되는 동작을 수행하도록 제어하도록 구성된다.
본 발명의 실시예에서 제공하는 장치는, 제1제스처 동작 및 제1매핑 관계를 통하여 제어관계 스위칭을 준비하고, 제2제스처 동작 및 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정한 후 타겟 피제어 기기와의 제어관계를 구축하고, 진일보로 제3제스처 동작을 획득하여 타겟 피제어 기기가 제3제스처 동작에 대응되는 동작을 수행하도록 제어함으로써 타겟 피제어 기기에 대한 조작 제어를 실현한다. 제스처 동작을 통하여 타겟 피제어 기기로 제어관계를 스위칭 가능하고, 또한 제스처 동작을 통하여 타겟 피제어 기기에 대한 조작 제어를 실현하므로 조작 제어 방식이 더욱 간단하고, 아울러 조작 제어 방법의 융통성도 향상시킨다.
다른 실시예에 있어서, 도6을 참조하면, 스마트 기기의 조작 제어장치는 제2획득 모듈(506), 제2결정 모듈(507) 및 제2구축 모듈(508)을 더 포함한다.
여기서, 상기 제2획득 모듈(506)은, 사용자가 제1위치 및 제2위치에서 각각 피제어 기기를 가리킬 때 사용자 손가락이 가리키는 연장선인 제1 위치결정 라인(line) 및 제2 위치결정 라인을 획득하도록 구성된다.
상기 제2결정 모듈(507)은, 제1 위치결정 라인 및 제2 위치결정 라인의 교점에 근거하여 피제어 기기의 위치를 결정하도록 구성된다.
상기 제2구축 모듈(508)은, 제스처 동작과 피제어 기기 사이의 제2매핑 관계를 구축하도록 구성된다.
다른 실시예에 있어서, 도7을 참조하면, 스마트 기기의 조작 제어 장치는 제3획득 모듈(509)을 더 포함한다.
여기서, 상기 제3구축 모듈(509)은 제스처 동작과 제어기능 사이의 제1매핑 관계를 획득하도록 구성되되, 여기서, 동일한 제스처 동작은 상이한 피제어 기기의 동일한 제어기능을 조작 제어하기 위한 것이다.
다른 실시예에 있어서, 상기 프리 스위칭 모듈(501)은 사용자의 한 손에서 발송된 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하도록 구성된다.
상기 제1결정 모듈(502)은, 제1제스처 동작이 검출됨과 동시에 사용자의 다른 한 손에서 발송된 제2제스처 동작이 검출될 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하도록 구성된다.
다른 실시예에 있어서, 상기 프리 스위칭 모듈(501)은, 사용자의 한 손에서 발송된 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하도록 구성된다.
상기 제1결정 모듈(502)은, 사용자의 한 손에서 발송된 제1제스처 동작이 지정된 시간동안 검출된 후 사용자의 동일한 한 손 또는 다른 한 손에서 발송된 제2제스처 동작이 검출될 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하도록 구성된다.
다른 실시예에 있어서, 도8을 참조하면, 스마트 기기의 조작 제어 장치는 스위칭 모듈(510)을 더 포함한다.
여기서, 상기 스위칭 모듈(510)은, 타겟 피제어 기기와의 제어관계를 차단시키고, 제1제스처 동작이 검출되기 이전에 제어한 피제어 기기로 제어관계를 스위칭 백시키도록 구성된다.
상기 모든 선택 가능한 기술적 해결수단은 본 발명의 선택 가능한 실시예를 임의로 결합시켜 이용할 수 있는 바, 여기에서 더이상 설명하지 않는다.
상기 실시예의 장치에 있어서, 각 모듈이 동작을 실행하는 구체적인 방법은 이미 상기 방법과 관련된 실시예에서 상세히 설명하였는 바, 여기에서 상세한 설명을 하지 않는다.
도9는 일 예시적 실시예에 따라 도시한 단말기(900)의 블록도이고 상기 단말기는 상기 도2 또는 도3에 대응되는 실시예에서 제공하는 스마트 기기의 조작 제어 방법을 수행하기 위한 것일 수 있다. 예를 들어, 단말기(900)는 휴대폰, 컴퓨터, 디지털방송 단말기, 메시지 송수신 기기, 게임 콘솔, 태블릿기기, 의료기기, 휘트니스기기, 개인 휴대 정보 단말기 등일 수 있다.
도9를 참조하면, 단말기(900)는 프로세싱 어셈블리(902), 메모리(904), 전원 어셈블리(906), 멀티미디어 어셈블리(908), 오디오 어셈블리(910), 입력/출력(I/O, Input/Output) 인터페이스(912), 센서 어셈블리(914) 및 통신 어셈블리(916) 중의 하나 또는 다수의 어셈블리를 포함할 수 있다.
프로세싱 어셈블리(902)는 통상적으로 표시, 전화 호출, 데이터 통신, 카메라 동작 및 기록 동작과 관련한 단말기(900)의 전체 동작을 제어한다. 프로세싱 어셈블리(902)는 상기 스마트 기기의 조작 제어 방법의 전부 또는 일부 단계를 완성하도록 하나 또는 다수의 프로세서(920)를 포함하여 인스트럭션(instruction)을 실행할 수 있다. 이 외에, 프로세싱 어셈블리(902)는 프로세싱 어셈블리(902)와 기타 어셈블리 사이의 교류가 편리하도록, 하나 또는 다수의 모듈을 포함할 수 있다. 예를 들어, 프로세싱 어셈블리(902)는 멀티미디어 어셈블리(908)와 프로세싱 어셈블리(902) 사이의 교류가 편리하도록 멀티미디어 모듈을 포함할 수 있다.
메모리(904)는 단말기(900)의 작동을 지원하도록 각종 유형의 데이터를 저장하도록 구성된다. 이러한 데이터의 예시는 단말기(900)에서 작동하기 위한 그 어느 하나의 응용 프로그램 또는 방법의 인스트럭션, 연계인 데이터, 전화번호부 데이터, 메시지, 이미지, 동영상 등을 포함한다. 메모리(904)는 스태틱 랜덤 액세스 메모리(SRAM, Static　Random Access Memory), 전기적 소거 가능한 프로그램 가능 판독전용 메모리(EEPROM Electrically-Erasable Programmable Read-Only Memory), 소거 및 프로그램 가능 판독전용 메모리(EPROM, Erasable Programmable Read Only Memory), 프로그램 가능 판독전용 메모리(PROM, Programmable Read-Only Memory), 판독 전용 메모리(ROM, Read-Only Memory), 자기 메모리, 플래시 메모리, 디스크 또는 CD와 같은 모든 유형의 휘발성 또는 비휘발성 메모리 기기 또는 그들의 조합으로 이루어질 수 있다.
전원 어셈블리(906)는 단말기(900)의 각종 어셈블리에 전력을 제공한다. 전원 어셈블리(906)는 전원관리시스템, 하나 또는 다수의 전원, 단말기(900)에 전력을 생성, 관리 및 분배하는 것과 관련되는 기타 어셈블리를 포함할 수 있다.
멀티미디어 어셈블리(908)는 상기 단말기(900)와 사용자 사이에 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서 스크린은 액정디스플레이(LCD, Liquid Crystal Display)와 터치패널(TP, Touch Panel)을 포함할 수 있다. 스크린이 터치패널을 포함하면, 스크린은 사용자가 입력한 신호를 수신하도록 터치스크린으로 실현될 수 있다. 터치패널은 터치, 슬라이딩과 터치패널의 손동작을 감지하도록 하나 또는 다수의 터치센서를 포함한다. 터치센서는 터치 또는 슬라이딩 동작의 경계를 감지할 수 있을 뿐만 아니라 터치 또는 슬라이딩 동작과 관련한 지속시간과 압력도 검출할 수 있다. 일부 실시예에서, 멀티미디어 어셈블리(908)는 하나의 프론트 카메라 및/또는 리어 카메라를 포함한다. 단말기(900)가 작동모드 예를 들어, 촬영모드 또는 동영상 모드일 경우, 프론트 카메라 및/또는 리어 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 매 하나의 프론트 카메라와 리어 카메라는 하나의 고정된 광학렌즈 시스템이거나 초점 거리와 광학 줌 능력을 구비할 수 있다.
오디오 어셈블리(910)는 오디오신호를 출력 및/또는 입력한다. 예를 들어, 오디오 어셈블리(910)는 하나의 마이크(MIC, Microphone)를 포함하는 바, 단말기(900)가 작동모드, 예를 들어 호출모드, 기록모드 및 음성인식 모드일 경우, 마이크는 외부의 오디오신호를 수신한다. 수신된 오디오신호는 진일보로 메모리(904)에 저장되거나 통신 어셈블리(916)를 거쳐 발송될 수 있다. 일부 실시예에서 오디오 어셈블리(910)는 오디오신호를 출력하기 위한 하나의 스피커를 더 포함한다.
입출력(I/O) 인터페이스(912)는 프로세싱 어셈블리(902)와 주변 인터페이스모듈 사이에 인터페이스를 제공하되 상기 주변 인터페이스모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈버튼, 음량버튼, 작동버튼과 잠금버튼을 포함할 수 있지만 이에 한정되지는 않는다.
센서 어셈블리(914)는 하나 또는 다수의 센서를 포함하여 단말기(900)에 여러 방면의 상태평가를 제공한다. 예를 들어, 센서 어셈블리(914)는 단말기(900)의 온/차단상태, 어셈블리의 상대위치, 예를 들어 상기 어셈블리는 단말기(900)의 모니터와 키패드를 검출할 수 있고, 센서 어셈블리(914)는 단말기(900) 또는 단말기(900)의 하나의 어셈블리의 위치변화, 사용자와 단말기(900)의 접촉여부, 단말기(900) 방위 또는 가속/감속과 단말기(900)의 온도변화를 검출할 수 있다. 센서 어셈블리(914)는 아무런 물리접촉이 없을 경우 주변 물체의 존재를 검출하도록 구성된 근접센서를 포함할 수 있다. 센서 어셈블리(914)는 상보형 금속 산화물 반도체(CMOS, Complementary Metal Oxide Semiconductor) 또는 전하 결합 소자(CCD, Charge-coupled Device)영상센서와 같은 광 센서를 더 포함하여 영상응용에 사용한다. 일부 실시예에서, 상기 센서 어셈블리(914)는 가속도센서, 자이로센서, 자기센서, 압력센서 또는 온도센서를 더 포함할 수 있다.
통신 어셈블리(916)는 단말기(900)와 기타 기기사이의 유선 또는 무선방식의 통신이 편리하도록 구성된다. 단말기(900)는 통신표준에 의한 무선 네트워크, 예를 들어 WiFi, 2G 또는 3G 또는 이들의 조합을 접입할 수 있다. 일 예시적 실시예에서, 통신 어셈블리(916)는 방송신호를 거쳐 외부 방송관리 시스템의 방송신호 또는 방송과 관련한 정보를 수신한다. 일 예시적 실시예에서, 상기 통신 어셈블리(916)는 근거리 통신을 촉진하도록 근거리 자기장 통신(NFC, Near Field Communication)모듈을 더 포함한다. 예를 들어 NFC모듈은 무선주파수 인식(RFID, Radio Frequency Identification)기술, 적외선 통신규격(IrDA, Infra-red Data Association)기술, 초광대역(UWB, UltraWideband)기술, 블루투스(BT, Bluetooth)기술과 기타 기술에 기반하여 실현할 수 있다.
예시적인 실시예에서 단말기(900)는 상기 도2 또는 도3에 도시된 실시예에서 제공하는 스마트 기기의 조작 제어 방법을 수행하도록 하나 또는 다수의 응용 주문형 직접회로(ASIC, Application Specific Integrated Circuit), 디지털신호 프로세서(DSP, Digital signal Processor), 디지털신호 처리기기(DSPD, Digital signal Processor Device), 프로그램 가능 논리 소자(PLD, Programmable Logic Device), 필드 프로그램 가능 게이트 어레이(FPGA, Field Programmable Gate Array), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 기타 전자부품에 의해 실현될 수 있다.
예시적인 실시예에서, 인스트럭션을 포함한 비일시적 컴퓨터 판독 가능한 기록매체, 예를 들어 상기 도2 또는 도3에 도시된 실시예에서 제공하는 스마트 기기의 조작 제어 방법을 완성하도록 단말기(900)의 프로세서(920)가 실행하는 인스트렉션을 포함한 메모리(904)를 더 제공한다. 예를 들어, 상기 비일시적 컴퓨터 판독 가능한 기록매체는 ROM, 랜덤 액세스 메모리(RAM, Random Access Memory), 컴팩트 디스크 읽기 전용 메모리(CD-ROM, Compact Disc Read-Only Memory), 테이프, 플로피 디스켓과 광 데이터 저장기기 등일 수 있다.
비일시적인 컴퓨터 판독 가능한 저장 매체, 상기 저장 매체 중의 인스트럭션이 단말기의 프로세서에 의해 실행될 경우, 비일시적인 컴퓨터 판독 가능한 저장 매체는 이동 단말기로 하여금 스마트 기기의 조작 제어 방법을 수행 가능하도록 하는 바, 상기 스마트 기기의 조작 제어 방법은,
제1제스처 동작이 검출될 경우, 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하되, 여기서, 제1매핑 관계는 제스처 동작과 제어기능 사이의 매핑관계인 단계와;
제2제스처 동작이 검출될 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하되,
여기서, 제2매핑 관계는 제스처 동작과 피제어 기기 위치 사이의 매핑관계인 단계와, 타겟 피제어 기기와의 제어관계를 구축하는 단계와,
제3제스처 동작을 획득하는 단계와,
제3제스처 동작 및 제1매핑 관계에 근거하여 타겟 피제어 기기가 제3제스처 동작에 대응되는 동작을 수행하도록 제어하는 단계를 포함한다.
가령 상기 내용이 첫번째 실시 가능한 실시실시예라고 한다면, 첫번째 실시 가능한 실시실시예를 기초로 하여 제공된 두번째 실시 가능한 실시실시예에서, 단말기의 메모리에는 하기와 같은 동작을 수행하기 위한 인스트럭션이 더 포함된다. 제2제스처 동작이 검출될 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계 이전에, 사용자가 제1위치 및 제2위치에서 각각 피제어 기기를 가리킬 때 사용자 손가락이 가리키는 연장선인 제1 위치결정 라인 및 제2 위치결정 라인을 획득하는 단계와, 제1 위치결정 라인 및 제2 위치결정 라인의 교점에 근거하여 피제어 기기의 위치를 결정하는 단계와, 제스처 동작과 피제어 기기 사이의 제2매핑 관계를 구축하는 단계를 더 포함한다.
첫번째 실시 가능한 실시실시예를 기초로 하여 제공된 세번째 실시 가능한 실시실시예에서, 단말기의 메모리에는 하기와 같은 동작을 수행하기 위한 인스트럭션이 더 포함된다. 제1제스처 동작이 검출될 경우, 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 단계 이전에,
제스처 동작과 제어기능 사이의 제1매핑 관계를 구축하되, 여기서, 동일한 제스처 동작은 상이한 피제어 기기의 동일한 제어기능을 조작 제어하기 위한 것인 단계를 더 포함한다.
첫번째 실시 가능한 실시실시예를 기초로 하여 제공된 네번째 실시 가능한 실시실시예에서, 단말기의 메모리에는 하기와 같은 동작을 수행하기 위한 인스트럭션을이 더 포함된다. 제1제스처 동작 및 제2제스처 동작은 사용자의 두 손에 의해 실현되고, 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 단계는, 사용자의 한 손에서 발송된 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 단계를 포함한다.
제2제스처 동작이 검출될 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계는,
제1제스처 동작이 검출됨과 동시에 사용자의 다른 한 손에서 발송된 제2제스처 동작이 검출될 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계를 포함한다.
첫번째 실시 가능한 실시실시예를 기초로 하여 제공된 다섯번째 실시 가능한 실시실시예에서, 단말기의 메모리에는 하기와 같은 동작을 수행하기 위한 인스트럭션이 더 포함된다. 제1제스처 동작 및 제2제스처 동작은 사용자의 한 손에 의해 실현되고, 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 단계는, 사용자의 한 손에서 발송된 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 단계를 포함한다.
제2제스처 동작이 검출될 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계는,
사용자의 한 손에서 발송된 제1제스처 동작이 지정된 시간동안 검출된 후 사용자의 동일한 한 손 또는 다른 한 손에서 발송된 제2제스처 동작이 검출될 경우, 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계를 포함한다.
첫번째 실시 가능한 실시실시예를 기초로 하여 제공된 여섯번째 실시 가능한 실시실시예에서, 단말기의 메모리에는 하기와 같은 동작을 수행하기 위한 인스트럭션이 더 포함된다.
타겟 피제어 기기가 제3제스처 동작에 대응되는 동작을 수행하도록 제어하는 단계 이후에, 타겟 피제어 기기와의 제어관계를 차단시키고, 제1제스처 동작이 검출되기 이전에 제어한 피제어 기기로 제어관계를 스위칭 백시키는 단계를 더 포함한다.
본 발명의 실시예에서 제공하는 비일시적 컴퓨터 판독 가능한 저장 매체는, 제1제스처 동작 및 제1매핑 관계를 통하여 제어관계 스위칭을 준비하고, 제2제스처 동작 및 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정한 후 타겟 피제어 기기와의 제어관계를 구축하고, 진일보로 제3제스처 동작을 획득하여 타겟 피제어 기기가 제3제스처 동작에 대응되는 동작을 수행하도록 제어함으로써 타겟 피제어 기기에 대한 조작 제어를 실현한다. 제스처 동작을 통하여 타겟 피제어 기기로 제어관계를 스위칭 가능하고, 또한 제스처 동작을 통하여 타겟 피제어 기기에 대한 조작 제어를 실현하므로 조작 제어 방식이 더욱 간단하고, 아울러 조작 제어 방법의 융통성도 향상시킨다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자들은 명세서를 고려하여 여기서 공개한 발명을 실시한 후 본 발명의 기타 실시형태를 용이하게 생각해낼 수 있다. 본원 발명은 본 발명의 모든 변형, 용도 또는 적응성 변화를 포함하고 이러한 변형, 용도 또는 적응성 변화는 본 발명의 일반적인 원리를 따르며 본 발명이 공개하지 않은 본 기술분야에서의 공지된 상식 또는 통상적인 기술수단을 포함한다. 명세서와 실시예는 예시적인 것일 뿐 본 발명의 진정한 범위와 기술적 사상은 하기의 청구범위에 의해 밝혀질 것이다.
본 발명은 상기에서 설명하고 도면에 도시한 정확한 구조에 한정되는 것이 아니라 그 범위를 벗어나지 않는 한 여러가지 수정과 변경을 할 수 있음을 이해해야 한다. 본 발명의 범위는 첨부되는 청구범위에 의해서만 한정된다.

Claims (13)

  1. 제1제스처(gesture) 동작이 검출될 경우, 상기 제1제스처 동작과 제1매핑(mapping) 관계에 근거하여, 제어관계 스위칭(switching)을 준비하되, 상기 제1매핑 관계는 제스처 동작과 제어기능 사이의 매핑관계인 단계와;
    제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피(被)제어 기기를 결정하되, 상기 제2매핑 관계는 제스처 동작과 피제어 기기 위치 사이의 매핑관계인 단계와;
    상기 타겟 피제어 기기와의 제어관계를 구축하는 단계와;
    제3제스처 동작을 획득하는 단계와;
    상기 제3제스처 동작 및 상기 제1매핑 관계에 근거하여, 상기 타겟 피제어 기기가 상기 제3제스처 동작에 대응되는 동작을 수행하도록 제어하는 단계를 포함하는 스마트 기기의 조작 제어 방법.
  2. 제1항에 있어서,
    상기 제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계 이전에,
    사용자가 제1위치 및 제2위치에서 각각 피제어 기기를 가리킬 때 사용자 손가락이 가리키는 연장선인 제1 위치결정 라인(line) 및 제2 위치결정 라인을 획득하는 단계와;
    상기 제1 위치결정 라인 및 상기 제2 위치결정 라인의 교점에 근거하여, 상기 피제어 기기의 위치를 결정하는 단계와;
    제스처 동작과 상기 피제어 기기 위치 사이의 제2매핑 관계를 구축하는 단계를 더 포함하는 스마트 기기의 조작 제어 방법.
  3. 제1항에 있어서,
    상기 제1제스처 동작이 검출될 경우, 상기 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 단계 이전에,
    제스처 동작과 제어기능 사이의 제1매핑 관계를 구축하되, 그 중 동일한 제스처 동작은 상이한 피제어 기기의 동일한 제어기능을 조작 제어하기 위한 것인 단계를 더 포함하는 스마트 기기의 조작 제어 방법.
  4. 제1항에 있어서,
    상기 제1제스처 동작 및 상기 제2제스처 동작은 사용자의 두 손에 의해 실현되고, 상기 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 상기 단계는,
    상기 사용자의 한 손에서 발송된 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 단계를 포함하고;
    상기 제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계는,
    상기 제1제스처 동작이 검출됨과 동시에 상기 사용자의 다른 한 손에서 발송된 제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계를 포함하는 스마트 기기의 조작 제어 방법.
  5. 제1항에 있어서,
    상기 제1제스처 동작 및 상기 제2제스처 동작은 사용자의 한 손에 의해 실현되고, 상기 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 상기 단계는,
    상기 사용자의 한 손에서 발송된 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하는 단계를 포함하고;
    상기 제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계는,
    상기 사용자의 한 손에서 발송된 제1제스처 동작이 지정된 시간동안 검출된 후 상기 사용자의 동일한 한 손 또는 다른 한 손에서 발송된 제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하는 단계를 포함하는 스마트 기기의 조작 제어 방법.
  6. 제1항에 있어서,
    상기 타겟 피제어 기기가 상기 제3제스처 동작에 대응되는 동작을 수행하도록 제어하는 상기 단계 이후에,
    상기 타겟 피제어 기기와의 제어관계를 차단시키고, 상기 제1제스처 동작이 검출되기 이전에 제어한 피제어 기기로 제어관계를 스위칭 백(back)시키는 단계를 더 포함하는 스마트 기기의 조작 제어 방법.
  7. 제1제스처 동작이 검출될 경우, 상기 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하되, 상기 제1매핑 관계는 제스처 동작과 제어기능 사이의 매핑관계인 프리 스위칭(pre-swiching) 모듈과;
    제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하되, 상기 제2매핑 관계는 제스처 동작과 피제어 기기 위치 사이의 매핑관계인 제1결정 모듈과;
    상기 타겟 피제어 기기와의 제어관계를 구축하기 위한 제1구축 모듈과;
    제3제스처 동작을 획득하기 위한 제1획득 모듈과;
    상기 제3제스처 동작 및 상기 제1매핑 관계에 근거하여, 상기 타겟 피제어 기기가 상기 제3제스처 동작에 대응되는 동작을 수행하도록 제어하기 위한 제어모듈을 포함하는 스마트 기기의 조작 제어 장치.
  8. 제7항에 있어서,
    사용자가 제1위치 및 제2위치에서 각각 피제어 기기를 가리킬 때 사용자 손가락이 가라키는 연장선인 제1 위치결정 라인 및 제2 위치결정 라인을 획득하기 위한 제2획득 모듈과;
    상기 제1 위치결정 라인 및 상기 제2 위치결정 라인의 교점에 근거하여, 상기 피제어 기기의 위치를 결정하기 위한 제2결정 모듈과;
    제스처 동작과 상기 피제어 기기 사이의 제2매핑 관계를 구축하기 위한 제2구축 모듈을 더 포함하는 스마트 기기의 조작 제어 장치.
  9. 제7항에 있어서,
    제스처 동작과 제어기능 사이의 제1매핑 관계를 획득하되, 그 중 동일한 제스처 동작은 상이한 피제어 기기의 동일한 제어기능을 조작 제어하기 위한 것인 제3구축 모듈을 더 포함하는 스마트 기기의 조작 제어 장치.
  10. 제7항에 있어서,
    상기 프리 스위칭 모듈은, 상기 사용자의 한 손에서 발송된 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하기 위한 것이고;
    상기 제1결정 모듈은, 상기 제1제스처 동작이 검출됨과 동시에 상기 사용자의 다른 한 손에서 발송된 제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하기 위한 것인 스마트 기기의 조작 제어 장치.
  11. 제7항에 있어서,
    상기 프리 스위칭 모듈은, 상기 사용자의 한 손에서 발송된 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하기 위한 것이고;
    상기 제1결정 모듈은, 상기 사용자의 한 손에서 발송된 제1제스처 동작이 지정된 시간동안 검출된 후 상기 사용자의 동일한 한 손 또는 다른 한 손에서 발송된 제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하기 위한 것인 스마트 기기의 조작 제어 장치.
  12. 제7항에 있어서,
    상기 타겟 피제어 기기와의 제어관계를 차단시키고, 상기 제1제스처 동작이 검출되기 이전에 제어한 피제어 기기로 제어관계를 스위칭 백시키기 위한 스위칭 모듈을 더 포함하는 스마트 기기의 조작 제어 장치.
  13. 프로세서와;
    프로세서에 의해 실행 가능한 인스트럭션(instruction)을 저장하기 위한 메모리를 포함하고;
    상기 프로세서는,
    제1제스처 동작이 검출될 경우, 상기 제1제스처 동작과 제1매핑 관계에 근거하여 제어관계 스위칭을 준비하되, 상기 제1매핑 관계는 제스처 동작과 제어기능 사이의 매핑관계이고;
    제2제스처 동작이 검출될 경우, 상기 제2제스처 동작과 제2매핑 관계에 근거하여 타겟 피제어 기기를 결정하되, 상기 제2매핑 관계는 제스처 동작과 피제어 기기 위치 사이의 매핑관계이며;
    상기 타겟 피제어 기기와의 제어관계를 구축하고;
    제3제스처 동작을 획득하며;
    상기 제3제스처 동작 및 상기 제1매핑 관계에 근거하여 상기 타겟 피제어 기기가 상기 제3제스처 동작에 대응되는 동작을 수행하도록 제어하도록 구성되는 단말기.


KR1020157030749A 2015-02-26 2015-08-31 스마트 기기의 조작 제어 방법, 장치, 프로그램 및 기록매체 KR101736318B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510087958.3 2015-02-26
CN201510087958.3A CN104699244B (zh) 2015-02-26 2015-02-26 智能设备的操控方法及装置
PCT/CN2015/088583 WO2016134591A1 (zh) 2015-02-26 2015-08-31 智能设备的操控方法及装置

Publications (2)

Publication Number Publication Date
KR20160113544A true KR20160113544A (ko) 2016-09-30
KR101736318B1 KR101736318B1 (ko) 2017-05-16

Family

ID=53346454

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157030749A KR101736318B1 (ko) 2015-02-26 2015-08-31 스마트 기기의 조작 제어 방법, 장치, 프로그램 및 기록매체

Country Status (8)

Country Link
US (1) US10007354B2 (ko)
EP (1) EP3062196B1 (ko)
JP (1) JP6229096B2 (ko)
KR (1) KR101736318B1 (ko)
CN (1) CN104699244B (ko)
MX (1) MX362892B (ko)
RU (1) RU2633367C2 (ko)
WO (1) WO2016134591A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699244B (zh) 2015-02-26 2018-07-06 小米科技有限责任公司 智能设备的操控方法及装置
CN105204742B (zh) * 2015-09-28 2019-07-09 小米科技有限责任公司 电子设备的控制方法、装置及终端
CN105425597B (zh) * 2015-11-02 2020-03-03 小米科技有限责任公司 控制智能灯的方法、装置及系统
CN105491234B (zh) * 2015-11-30 2019-02-01 深圳还是威健康科技有限公司 一种智能终端交互的方法及智能终端
WO2017201697A1 (en) 2016-05-25 2017-11-30 SZ DJI Technology Co., Ltd. Techniques for image recognition-based aerial vehicle navigation
CN107526500A (zh) * 2016-06-22 2017-12-29 斑马网络技术有限公司 功能调节方法、装置、设备、界面系统及控制设备
CN107801413B (zh) * 2016-06-28 2020-01-31 华为技术有限公司 对电子设备进行控制的终端及其处理方法
CN106406725A (zh) * 2016-08-24 2017-02-15 深圳前海弘稼科技有限公司 一种基于种植箱的控制方法及装置
CN106355852B (zh) * 2016-08-25 2020-01-07 北京小米移动软件有限公司 设备控制方法及装置
CN106354263A (zh) * 2016-09-09 2017-01-25 电子科技大学 基于面部特征追踪的实时人机交互系统及其工作方法
CN106444415B (zh) * 2016-12-08 2019-10-01 湖北大学 智能家居控制方法及系统
CN107272427B (zh) * 2017-06-16 2021-01-05 北京小米移动软件有限公司 智能设备的控制方法及装置
CN107315355B (zh) * 2017-06-30 2021-05-18 京东方科技集团股份有限公司 一种电器控制设备及方法
US10620721B2 (en) * 2018-01-29 2020-04-14 Google Llc Position-based location indication and device control
CN108717271A (zh) * 2018-05-30 2018-10-30 辽东学院 人机交互控制方法、装置、系统及可读存储介质
US20200192485A1 (en) * 2018-12-12 2020-06-18 Lenovo (Singapore) Pte. Ltd. Gaze-based gesture recognition
US10701661B1 (en) 2019-04-02 2020-06-30 Google Llc Location determination for device control and configuration
US11082249B2 (en) 2019-04-02 2021-08-03 Google Llc Location determination for device control and configuration
CN110471296B (zh) * 2019-07-19 2022-05-13 深圳绿米联创科技有限公司 设备控制方法、装置、系统、电子设备及存储介质
CN110557741B (zh) 2019-08-05 2021-08-13 华为技术有限公司 终端交互的方法及终端
CN111479118A (zh) * 2019-10-09 2020-07-31 王东 一种电子设备的控制方法、装置及电子设备
CN110764616A (zh) * 2019-10-22 2020-02-07 深圳市商汤科技有限公司 手势控制方法和装置
CN113495617A (zh) * 2020-04-01 2021-10-12 深圳绿米联创科技有限公司 设备控制的方法、装置、终端设备以及存储介质
CN111857525A (zh) * 2020-06-23 2020-10-30 佳格科技(浙江)股份有限公司 一种手势切换屏幕的方法及系统
JP7322824B2 (ja) * 2020-07-01 2023-08-08 トヨタ自動車株式会社 情報処理装置、情報処理方法、および制御システム
US11789542B2 (en) 2020-10-21 2023-10-17 International Business Machines Corporation Sensor agnostic gesture detection

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1394727B1 (en) * 2002-08-30 2011-10-12 MVTec Software GmbH Hierarchical component based object recognition
JP2005047331A (ja) * 2003-07-31 2005-02-24 Nissan Motor Co Ltd 制御装置
JP3900136B2 (ja) * 2003-10-27 2007-04-04 オンキヨー株式会社 遠隔操作システム
JP2006155244A (ja) * 2004-11-29 2006-06-15 Olympus Corp 情報表示装置
US8199113B2 (en) * 2006-09-13 2012-06-12 Savant Systems, Llc Programmable on screen display and remote control
JP5207513B2 (ja) * 2007-08-02 2013-06-12 公立大学法人首都大学東京 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
KR100977443B1 (ko) * 2008-10-01 2010-08-24 숭실대학교산학협력단 제스쳐 기반의 가전기기 제어장치 및 방법
KR101563487B1 (ko) * 2009-05-11 2015-10-27 엘지전자 주식회사 가전기기를 제어하는 휴대 단말기
US8693724B2 (en) * 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
KR20110010906A (ko) * 2009-07-27 2011-02-08 삼성전자주식회사 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치
CN102117117A (zh) * 2010-01-06 2011-07-06 致伸科技股份有限公司 利用图像提取装置辨识使用者姿势进行控制的系统及方法
CN101777250B (zh) * 2010-01-25 2012-01-25 中国科学技术大学 家用电器的通用遥控装置及方法
US8150384B2 (en) * 2010-06-16 2012-04-03 Qualcomm Incorporated Methods and apparatuses for gesture based remote control
US9304592B2 (en) * 2010-11-12 2016-04-05 At&T Intellectual Property I, L.P. Electronic device control based on gestures
US9778747B2 (en) * 2011-01-19 2017-10-03 Hewlett-Packard Development Company, L.P. Method and system for multimodal and gestural control
EP2650754A3 (en) * 2012-03-15 2014-09-24 Omron Corporation Gesture recognition apparatus, electronic device, gesture recognition method, control program, and recording medium
JP2013205983A (ja) * 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
US9170674B2 (en) * 2012-04-09 2015-10-27 Qualcomm Incorporated Gesture-based device control using pressure-sensitive sensors
US9529439B2 (en) * 2012-11-27 2016-12-27 Qualcomm Incorporated Multi device pairing and sharing via gestures
JP6202810B2 (ja) * 2012-12-04 2017-09-27 アルパイン株式会社 ジェスチャ認識装置および方法ならびにプログラム
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
US8886399B2 (en) * 2013-03-15 2014-11-11 Honda Motor Co., Ltd. System and method for controlling a vehicle user interface based on gesture angle
CN103246347A (zh) * 2013-04-02 2013-08-14 百度在线网络技术（北京）有限公司 控制方法、装置和终端
CN104102335B (zh) * 2013-04-15 2018-10-02 中兴通讯股份有限公司 一种手势控制方法、装置和系统
CN103793055A (zh) * 2014-01-20 2014-05-14 华为终端有限公司 一种手势响应方法及终端
CN104866084B (zh) * 2014-02-25 2021-04-30 中兴通讯股份有限公司 手势识别方法、装置和系统
CN103870196B (zh) * 2014-03-06 2018-02-09 美卓软件设计（北京）有限公司 一种切换对象的方法及装置
US10782657B2 (en) * 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
KR101556521B1 (ko) * 2014-10-06 2015-10-13 현대자동차주식회사 휴먼 머신 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법
CN104360736B (zh) * 2014-10-30 2017-06-30 广东美的制冷设备有限公司 基于手势的终端控制方法和系统
CN104699244B (zh) * 2015-02-26 2018-07-06 小米科技有限责任公司 智能设备的操控方法及装置

Also Published As

Publication number Publication date
US10007354B2 (en) 2018-06-26
US20160252967A1 (en) 2016-09-01
WO2016134591A1 (zh) 2016-09-01
CN104699244B (zh) 2018-07-06
JP2017516242A (ja) 2017-06-15
KR101736318B1 (ko) 2017-05-16
EP3062196B1 (en) 2018-02-07
RU2633367C2 (ru) 2017-10-12
CN104699244A (zh) 2015-06-10
MX362892B (es) 2019-02-22
JP6229096B2 (ja) 2017-11-08
RU2016101234A (ru) 2017-07-20
MX2016000471A (es) 2016-10-26
EP3062196A1 (en) 2016-08-31

Similar Documents

Publication Publication Date Title
KR101736318B1 (ko) 스마트 기기의 조작 제어 방법, 장치, 프로그램 및 기록매체
KR101814161B1 (ko) 전자기기 제어 방법 및 장치
US10613498B2 (en) Method for controlling device by remote control device
EP3136793B1 (en) Method and apparatus for awakening electronic device
JP6488375B2 (ja) デバイス制御方法及び装置
US20170125035A1 (en) Controlling smart device by voice
US10453331B2 (en) Device control method and apparatus
JP6254718B2 (ja) スマートホーム設備の運転状態の調整方法、その装置、プログラム、及び記録媒体
EP3131258A1 (en) Smart household equipment control methods and corresponding apparatus
EP3249509A1 (en) Method and device for playing live videos
EP3046309A1 (en) Method, device and system for projection on screen
EP3023928A1 (en) Method and device for setting task
KR20160103916A (ko) 원격제어 방법, 장치, 프로그램 및 기록매체
WO2017071077A1 (zh) 界面显示方法及装置
KR20170142839A (ko) 단말기의 작업모드 확정방법, 장치, 프로그램 및 기록매체
EP2985980A1 (en) Method and device for playing stream media data
US20170019482A1 (en) Method and apparatus for downloading control program
CN111123716B (zh) 远程控制方法、远程控制装置及计算机可读存储介质
US9865161B2 (en) Method, remote controller and electrical applicance for releasing a binding of a remote controller
WO2023115777A1 (zh) 光标控制方法、装置、电子设备和存储介质
CN109982307B (zh) 数据传输方法及装置
CN105979323B (zh) 设备控制方法、装置及终端
US20180146496A1 (en) Control method and apparatus for wireless device, and storage medium
CN116962106A (zh) 设备的控制方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant