KR101450231B1 - 리모트 컨트롤 동작을 위한 터치 제스처 - Google Patents

리모트 컨트롤 동작을 위한 터치 제스처 Download PDF

Info

Publication number
KR101450231B1
KR101450231B1 KR1020137024833A KR20137024833A KR101450231B1 KR 101450231 B1 KR101450231 B1 KR 101450231B1 KR 1020137024833 A KR1020137024833 A KR 1020137024833A KR 20137024833 A KR20137024833 A KR 20137024833A KR 101450231 B1 KR101450231 B1 KR 101450231B1
Authority
KR
South Korea
Prior art keywords
gesture
data
display
character
computing device
Prior art date
Application number
KR1020137024833A
Other languages
English (en)
Other versions
KR20130121992A (ko
Inventor
양 리
하오 루
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20130121992A publication Critical patent/KR20130121992A/ko
Application granted granted Critical
Publication of KR101450231B1 publication Critical patent/KR101450231B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일반적으로, 본 발명은 제 1 컴퓨팅 디바이스(예를 들어, 모바일 디바이스)를 사용하여 제 2 컴퓨팅 디바이스(예를 들어, 텔레비전)를 제어하는 능력을 제 1 컴퓨팅 디바이스의 유저에 제공하는 기술을 설명한다. 구체적으로, 본 발명의 기술은 일부 예에서, 유저로 하여금 모바일 컴퓨팅 디바이스에서 드로잉 제스처를 사용하여 제 2 컴퓨팅 디바이스를 원격으로 제어하고 동작시킬 수 있게 할 수 있다. 존재-감지 유저 인터페이스 디바이스(예를 들어, 터치 스크린)를 사용하면, 상기 유저는 드로잉 제스처를 사용하여 동작 및 명령과 연관된 문자를 표시하여 상기 제 2 컴퓨팅 디바이스를 제어할 수 있다.

Description

리모트 컨트롤 동작을 위한 터치 제스처{TOUCH GESTURES FOR REMOTE CONTROL OPERATIONS}
본 발명은 모바일 디바이스(mobile device)를 위한 제스처-기반 유저 인터페이스(gesture-based user interface)에 관한 것이다.
컴퓨팅 디바이스(computing device)는 계속적으로 개선되고 보다 일반적으로 사용되고 있다. 추가적으로, 컴퓨팅 디바이스의 터치 스크린(touch screen)을 이용한 터치-기반 상호작용이 또한 모바일 디바이스의 유저 인터페이스를 위한 보다 일반적이고 주된 상호작용 방식이 되고 있다. 터치-기반 상호작용은 예를 들어, 손가락-기반 터치 입력일 수 있다.
나아가, 컴퓨팅 디바이스는, 다른 디바이스와 상호작용하고 컴퓨팅 디바이스와 전통적으로 연관된 단순한 작업(task)과는 다른 동작(operation)을 수행하는데 보다 많이 사용되고 있다. 일부 경우에, 컴퓨팅 디바이스는 다른 디바이스의 동작을 원격으로 제어하는데 사용될 수 있다.
일반적으로, 본 발명은 제 1 컴퓨팅 디바이스를 사용하여 제 2 컴퓨팅 디바이스를 제어하는 능력을 컴퓨팅 디바이스의 유저에 제공하는 기술을 설명한다. 구체적으로, 본 발명의 기술은 일부 예에서, 유저로 하여금 모바일 컴퓨팅 디바이스에서 드로잉 제스처(drawing gesture)를 사용하여 또 다른 디바이스를 원격으로 제어하고 동작시킬 수 있게 할 수 있다. 존재-감지(presence-sensitive) 유저 인터페이스 디바이스(예를 들어, 터치 스크린)를 사용하면, 유저는 동작 및 명령(command)과 연관된 문자(character)를 표시(indicate)하는 드로잉 제스처를 사용하여 제 2 컴퓨팅 디바이스를 제어할 수 있다.
일례에서, 본 발명은 제 1 디바이스의 존재-감지 유저 인터페이스 디바이스를 통해, 제 1 드로잉 제스처를 포함하는 제 1 유저 입력을 수신하는 단계; 상기 제 1 디바이스에 의해, 상기 제 1 드로잉 제스처를 나타내는 제 1 데이터를 상기 제 1 디바이스에 무선으로 연결된 제 2 디바이스에 전송하는 단계, 상기 제 2 디바이스는 하나 이상의 선택가능한 요소들을 디스플레이하는 디스플레이를 포함하고, 상기 선택가능한 요소들 중 적어도 하나는 상기 제 1 데이터에 기초하여 상기 디스플레이 상에 그래픽적으로-하이라이트(graphically-highlighted)되며; 상기 제 1 디바이스의 상기 존재-감지 유저 인터페이스 디바이스를 통해, 선택 제스처(selection gesture)를 포함하는 제 2 유저 입력을 수신하는 단계; 및 상기 제 1 디바이스에 의해, 상기 선택 제스처를 나타내는 제 2 데이터를 전송하는 단계를 포함하는 방법에 관한 것으로, 상기 적어도 하나의 그래픽적으로-하이라이트된 요소는 상기 제 2 데이터에 응답하여 선택된다.
또 다른 예에서, 본 발명은, 인스트럭션(instruction)으로 인코딩된 컴퓨터-판독가능한 저장 매체로서, 상기 인스트럭션은, 실행될 때, 제 1 디바이스에 있는 하나 이상의 프로세서로 하여금, 상기 제 1 디바이스의 존재-감지 유저 인터페이스 디바이스를 통해, 제 1 드로잉 제스처를 포함하는 제 1 유저 입력을 수신하는 동작; 상기 제 1 디바이스에 의해, 상기 제 1 드로잉 제스처를 나타내는 제 1 데이터를 상기 제 1 디바이스에 무선으로 연결된 제 2 디바이스에 전송하는 동작, 상기 제 2 디바이스는 하나 이상의 선택가능한 요소를 디스플레이하는 디스플레이를 포함하고, 상기 선택가능한 요소들의 적어도 하나는 상기 제 1 데이터에 기초하여 상기 디스플레이 상에 그래픽적으로-하이라이트되며; 상기 제 1 디바이스의 상기 존재-감지 유저 인터페이스 디바이스를 통해, 선택 제스처를 포함하는 제 2 유저 입력을 수신하는 동작; 및 상기 제 1 디바이스에 의해, 상기 선택 제스처를 나타내는 데이터를 전송하는 동작을 포함하는 동작들을 수행하게 하는, 컴퓨터-판독가능한 저장 매체에 관한 것으로, 상기 적어도 하나의 그래픽적으로-하이라이트된 요소는 제 2 데이터에 응답하여 선택된다.
또 다른 예에서, 본 발명은 하나 이상의 프로세서; 존재-감지 유저 인터페이스 디바이스; 상기 존재-감지 유저 인터페이스 디바이스를 통해, 제 1 드로잉 제스처를 포함하는 제 1 유저 입력을 수신하도록 상기 하나 이상의 프로세서에 의해 동작가능한 제스처 모듈; 상기 제 1 드로잉 제스처를 나타내는 제 1 데이터를 상기 제 1 디바이스에 무선으로 연결된 제 2 디바이스에 전송하는 수단, 상기 제 2 디바이스는 하나 이상의 선택가능한 요소를 디스플레이하는 디스플레이를 포함하고, 상기 선택가능한 요소들 중 적어도 하나는 상기 제 1 데이터에 기초하여 상기 디스플레이 상에 그래픽적으로-하이라이트되며; 및 상기 존재-감지 유저 인터페이스 디바이스를 통해, 선택 제스처를 포함하는 제 2 유저 입력을 수신하도록 상기 하나 이상의 프로세서에 의해 동작가능한 유저 인터페이스 제어기를 포함하며, 상기 전송하는 수단은 상기 선택 제스처를 나타내는 데이터를 전송하고, 상기 적어도 하나의 그래픽적으로-하이라이트된 요소는 상기 제 2 데이터에 응답하여 선택된 것인, 제 1 디바이스에 관한 것이다.
또 다른 예에서, 본 발명은, 제 1 드로잉 제스처를 포함하는 제 1 유저 입력을 수신하는 존재-감지 유저 인터페이스 디바이스, 및 데이터를 전송하는 수단을 포함하는 제 1 디바이스; 상기 제 1 디바이스에 연결되고, 하나 이상의 선택가능한 요소를 디스플레이하는 디스플레이를 포함하는 제 2 디바이스를 포함하며, 데이터를 전송하는 수단은 제 1 드로잉 제스처를 나타내는 제 1 데이터를 상기 제 2 디바이스에 전송하고, 상기 선택가능한 요소들 중 적어도 하나는 상기 제 1 데이터에 기초하여 상기 디스플레이 상에 그래픽적으로-하이라이트되고, 상기 존재-감지 유저 인터페이스 디바이스는 선택 제스처를 포함하는 제 2 유저 입력을 수신하고, 상기 전송하는 수단은 상기 선택 제스처를 나타내는 데이터를 전송하며, 상기 적어도 하나의 그래픽적으로-하이라이트된 요소는 상기 제 2 데이터에 응답하여 선택된 것인, 시스템에 관한 것이다.
본 발명의 특정 기술은, 비제한적인 예로서, 컴퓨팅 디바이스의 유저로 하여금, 컴퓨팅 디바이스의 터치 스크린 상에 드로잉 제스처를 사용하여 특정 리모트 동작을 수행할 수 있게 할 수 있다. 유저는 원하는 동작을 표시하는, 터치 스크린 상의 제스처를 사용하여 상이한 패턴을 입력하여 또 다른 디바이스를 원격으로 제어할 수 있다.
본 발명의 하나 이상의 구현예의 상세는 첨부 도면과 이하 상세한 설명에 제시된다. 본 발명의 다른 특징, 목적, 및 잇점은 상세한 설명과 도면, 및 청구범위로부터 명백할 것이다.
도 1은 본 발명의 기술에 따른 예시적인 시스템을 도시하는 블록도.
도 2는 도 1에 도시된 제 1 컴퓨팅 디바이스의 일례의 추가적인 상세를 도시하는 블록도.
도 3a 및 도 3b는 본 발명의 하나 이상의 측면에 따라 유저가 제 1 컴퓨팅 디바이스와 상호작용하여 제 2 컴퓨팅 디바이스를 원격으로 제어할 때 제 1 컴퓨팅 디바이스의 예시적인 스크린 디스플레이를 도시하는 블록도.
도 4a 및 도 4b는 본 발명의 하나 이상의 측면에 따라 유저가 제 1 컴퓨팅 디바이스와 상호작용하여 제 2 컴퓨팅 디바이스를 원격으로 제어할 때 제 1 컴퓨팅 디바이스의 다른 예시적인 스크린 디스플레이를 도시하는 블록도.
도 5는 본 발명의 하나 이상의 측면에 따라 컴퓨팅 디바이스에 의해 수행될 수 있는 방법을 도시하는 흐름도.
도 6은 본 발명의 하나 이상의 측면과 연관된 예시적인 상태 전이 기능(state transition functionality)을 도시하는 상태도.
일반적으로, 본 발명은 컴퓨팅 디바이스 상에 제스처를 사용하여 (예를 들어, 터치 스크린 유저 인터페이스와 같은 존재-감지 유저 인터페이스 디바이스를 사용하여) 디바이스(예를 들어, 텔레비전, 프로젝터 디스플레이, 컴퓨터 등)의 동작을 원격으로 제어하는 능력을 유저에 제공하는 기술을 설명한다. 이들 기술은 유저로 하여금, 제 1 컴퓨팅 디바이스 상의 제스처를 사용하여 컴퓨팅 디바이스의 터치 스크린과의 상호작용을 통해 제 2 컴퓨팅 디바이스 상의 항목(item)을 선택하게 할 수 있다. 이들 기술은 기존의 시스템과 통합되어 유저로 하여금 터치 스크린 상에 제스처를 드로잉하게 할 수 있게 하고 여기서 제스처는 제 2 컴퓨팅 디바이스 상에 디스플레이된 항목에 대응하는 문자(character)와 연관될 수 있다. 이 터치 스크린을 사용하면, 유저는 제 2 컴퓨팅 디바이스가 무엇인지 또는 제 2 컴퓨팅 디바이스 상에 디스플레이되는 것이 무엇인지에 상관없이 스크린 상의 어디엔가 제스처를 드로잉하여 제 2 컴퓨팅 디바이스와 상호작용할 수 있다. 이런 방식으로, 유저는 특정 제 2 컴퓨팅 디바이스에 대응하는 미리 한정된 키패드로 제한되지 않고, 동일한 유저 인터페이스를 사용하여 여러 컴퓨팅 디바이스와 상호작용할 수 있다. 추가적으로, 유저는 유저 인터페이스 내 어딘가에, 일부 예에서 컴퓨팅 디바이스의 전체 스크린에 제스처를 드로잉하는 한, 유저는 컴퓨팅 디바이스를 볼 필요없이 제 2 컴퓨팅 디바이스를 동작시킬 수 있다.
일례에서, 컴퓨팅 디바이스의 터치 스크린의 적어도 일부는 제스처를 드로잉하기 위해 할당될 수 있다. 할당된 부분을 사용하면, 유저는 제스처를 사용하여 제 2 컴퓨팅 디바이스 상에 디스플레이된 항목에 대응하는 문자를 드로잉할 수 있다. 일례에서, 항목은 메뉴 항목일 수 있고, 유저가 드로잉하는 문자는 항목들 중 하나 이상의 항목의 제 1 글자(letter) 또는 이 항목과 연관된 형상(shape)에 대응할 수 있다. 드로잉된 문자에 대응하는 하나의 항목은 하이라이트될 수 있고, 유저는 동일한 기술을 사용하여 원하는 항목이 선택될 때까지 추가적으로 문자를 한정할 수 있다. 유저는 컴퓨팅 디바이스를 사용하여 항목(예를 들어, 선택가능한 메뉴 항목)을 선택하거나 항목(예를 들어, 제어 항목)을 동작시킬 수 있다. 유저가 컴퓨팅 디바이스 상에서 제스처를 드로잉할 때, 드로잉된 제스처의 표현(representation)이 컴퓨팅 디바이스 상에 및/또는 제 2 컴퓨팅 디바이스의 디스플레이 상에 디스플레이될 수 있다. 유저는 또한 컴퓨팅 디바이스 상에 제스처를 사용하여 마지막 문자 또는 문자의 시퀀스를 삭제할 수 있다.
일부 컴퓨팅 디바이스는 유저로 하여금 제 1 컴퓨팅 디바이스를 제 2 컴퓨팅 디바이스에 대한 리모트 컨트롤로 사용할 수 있게 하는 유저 인터페이스를 제공한다. 종종, 유저 인터페이스는 리모트 컨트롤을 닮은 키패드를 디스플레이한다. 추가적으로, 유저 인터페이스는 제 2 컴퓨팅 디바이스에 특정된 리모트 컨트롤 키패드를 디스플레이할 수 있다. 예를 들어, 리모트 컨트롤 키패드는 유저가 특정한 제 2 컴퓨팅 디바이스에 대해 획득할 것을 요구하는 애플리케이션일 수 있고, 그리하여, 유저가 제 1 컴퓨팅 디바이스를 사용하여 제 2 컴퓨팅 디바이스를 원격으로 제어하기를 원하는 경우, 상이한 리모트 컨트롤 키패드가 획득될 것을 요구할 수 있는데, 그 이유는 상이한 컴퓨팅 디바이스는 상이한 키패드와 연관되어 있기 때문이다. 나아가, 일부 컴퓨팅 디바이스는 상이한 기능을 인에이블하는 많은 키를 구비하는 키패드를 요구할 수 있다. 그러나, 컴퓨팅 디바이스의 사이즈의 제한으로 인해, 리모트 컨트롤 키패드는 너무 작은 키를 구비하여 네비게이팅하거나 선택하는 것을 용이하게 할 수 없을 수 있다. 이것은 유저를 성가시게 하고 귀찮게 할 수 있다.
본 발명의 기술은 유저로 하여금 제 1 컴퓨팅 디바이스(예를 들어, 모바일 폰)를 사용하여 제 1 컴퓨팅 디바이스의 존재-감지 유저 인터페이스 디바이스(예를 들어, 터치 스크린) 상에 제스처를 드로잉하는 것에 의해 제 2 컴퓨팅 디바이스(예를 들어, 구글 텔레비전 디바이스, 텔레비전, 프로젝터, 등)를 제어할 수 있게 한다. 제 2 컴퓨팅 디바이스를 제어하는 리모트 컨트롤을 닮은 키패드를 사용하는 대신에, 이 기술은 유저로 하여금 컴퓨팅 디바이스의 터치 스크린의 적어도 일부에 원하는 동작을 표시하는 제스처를 드로잉하게 한다. 제스처는 드로잉된 제스처에 의해 나타내지는 문자를 제 2 컴퓨팅 디바이스에서 나타나는 하나 이상의 항목과 연관시키는 것에 의해 동작으로 변환될 수 있다.
도 1은 본 발명의 기술에 따른 예시적인 시스템(100)을 도시하는 블록도이다. 도 1의 예에서, 시스템(100)은 제 1 컴퓨팅 디바이스(105) 및 제 2 컴퓨팅 디바이스(110)를 포함한다. 본 발명의 기술을 사용하면, 제 1 컴퓨팅 디바이스(105)는 제 2 컴퓨팅 디바이스(110)의 리모트 컨트롤 디바이스로 사용될 수 있다. 다른 예에서, 시스템(100)은 하나 이상의 컴퓨팅 디바이스(105) 및/또는 하나 이상의 컴퓨팅 디바이스(110)를 포함할 수 있다. 시스템(100)에서 디바이스는 적절히 구성될 때 예를 들어 연결(112)과 같은 통신 링크를 통해 서로 상호작용할 수 있다. 일례에서, 제 1 컴퓨팅 디바이스(105) 및 제 2 컴퓨팅 디바이스(110)는 Wi-Fi 또는 블루투스 능력을 포함할 수 있고, 연결(112)을 통해 무선으로 통신하도록 구성될 수 있다.
일부 예에서, 제 1 컴퓨팅 디바이스(105)는 모바일 디바이스를 포함할 수 있다. 예를 들어, 제 1 컴퓨팅 디바이스(105)는 무선 통신 디바이스(예를 들어, 무선 모바일 핸드셋 또는 디바이스), 비디오 폰, 디지털 멀티미디어 플레이어, 퍼스널 디지털 어시스턴트(PDA), 비디오 게임 콘솔, 랩탑 컴퓨터, 태블릿 컴퓨터, 또는 다른 디바이스를 포함하거나 이들의 일부일 수 있다. 일부 예에서, 제 1 컴퓨팅 디바이스(105)는 일부 경우에 인터넷에 액세스를 제공할 수 있는 하나 이상의 유선 또는 무선 네트워크와 같은 하나 이상의 네트워크(미도시)를 통해 외부의 별개의 디바이스와 통신할 수 있다. 제 1 컴퓨팅 디바이스(105)는 예를 들어, 독립적인 스마트 텔레비전, 또는 텔레비전 세트에 연결된 셋탑 박스와 같은 하나 이상의 제 2 컴퓨팅 디바이스(110)와 통신할 수 있다.
도 1의 예에 도시된 바와 같이, 제 1 컴퓨팅 디바이스(105)는 유저 인터페이스(102)를 포함할 수 있다. 유저 인터페이스(102)의 적어도 일부는 존재-감지 유저 인터페이스 디바이스일 수 있다. 존재-감지 유저 인터페이스 디바이스는 예를 들어 유저의 손가락 또는 스타일러스 펜을 통한 촉각적 입력에 응답하여 제 1 컴퓨팅 디바이스(105)의 예를 들어, 터치 스크린일 수 있다. 제 1 컴퓨팅 디바이스(105)는 제 1 컴퓨팅 디바이스(105)의 유저로 하여금 제 2 컴퓨팅 디바이스(110)와 상호작용하며 이의 동작을 제어할 수 있게 하는 예를 들어, 리모트 컨트롤 애플리케이션(104)과 같은 애플리케이션을 실행할 수 있다. 실행 동안, 리모트 컨트롤 애플리케이션(104)과 유저의 상호작용은 제 2 컴퓨팅 디바이스(110)와 연관된 동작을 제어할 수 있게 한다.
일례에서, 유저는 연결(112)을 통해 통신을 수립하는 것에 의해 제 1 컴퓨팅 디바이스(105) 및 제 2 컴퓨팅 디바이스(110) 사이에 연결을 개시할 수 있다. 리모트 컨트롤 애플리케이션(104)이 초기에 론칭(launched)될 때, 이 애플리케이션은 제 1 컴퓨팅 디바이스(105)가 리모트 컨트롤 애플리케이션(104)을 사용하여 통신하고 제어할 수 있는 제 2 컴퓨팅 디바이스(110)의 리스트를 유저에 프롬프트(prompt)할 수 있다. 유저는 컴퓨팅 디바이스(105)를 사용하여 자기가 연결하고 제어하기를 원하는 제 2 컴퓨팅 디바이스를 선택할 수 있다. 이 연결이 제 1 컴퓨팅 디바이스(105) 및 제 2 컴퓨팅 디바이스(110) 사이에 수립될 때, 제 2 컴퓨팅 디바이스(110)는 유저가 리모트 컨트롤 애플리케이션(104)을 사용하여 제어할 수 있는 디바이스의 리스트에 추가된다.
일단 연결이 제 1 컴퓨팅 디바이스(105) 및 제 2 컴퓨팅 디바이스(110) 사이에 수립되면, 유저는 유저에 의해 리모트 컨트롤 애플리케이션(104)에 제공된 입력이 제 2 컴퓨팅 디바이스(110)와 연관된 동작을 제어하도록 제 1 컴퓨팅 디바이스(105) 상에서 리모트 컨트롤 애플리케이션(104)을 구성할 수 있다. 일례에서, 제 1 컴퓨팅 디바이스(105) 상에서 리모트 컨트롤 애플리케이션(104)은 하나 이상의 제 2 컴퓨팅 디바이스(110)를 제어하도록 구성될 수 있다. 일례에서, 리모트 컨트롤 애플리케이션(104)이 제 1 컴퓨팅 디바이스(105)에서 실행될 때, 연관된 제 2 컴퓨팅 디바이스(110)의 리스트는 제어하기를 원하는 제 2 컴퓨팅 디바이스를 선택하기 위해 유저에 제시될 수 있다. 또 다른 예에서, 리모트 컨트롤 애플리케이션(104)이 제 1 컴퓨팅 디바이스(105)에서 실행될 때, 제 1 컴퓨팅 디바이스(105)에 가장 근접한 제 2 컴퓨팅 디바이스(110)가 자동적으로 론칭될 수 있다. 일례에서, 유저는 리모트 컨트롤 애플리케이션(104)이 실행되고 있는 동안 제스처를 사용하여 제 2 컴퓨팅 디바이스(110)를 스위칭할 수 있다.
일례에서, 리모트 컨트롤 애플리케이션(104)은 실행 동안 본 발명의 기술에 따라 기능을 수행하도록 제 1 컴퓨팅 디바이스(105)에서 동작할 수 있다. 예를 들어, 리모트 컨트롤 애플리케이션(104)은 제 2 컴퓨팅 디바이스(110)와 같은, 제 1 컴퓨팅 디바이스(105)의 외부에 있는 디바이스와 상호작용하고 및/또는 이와 데이터를 교환할 수 있다. 제 1 컴퓨팅 디바이스(105)는 여러 예에서 하나 이상의 네트워크(미도시)를 통해 외부 서버로부터 리모트 컨트롤 애플리케이션(104)을 다운로드하거나 다른 방법으로 이를 획득할 수 있다. 예를 들어, 제 1 컴퓨팅 디바이스(105)에 의해 호스팅되는 웹 브라우저는 예를 들어 외부 서버(예를 들어, 웹 서버)에 의해 호스팅되는 하나 이상의 웹 사이트에 액세스할 때 리모트 컨트롤 애플리케이션(104)과 같은 하나 이상의 애플리케이션을 다운로드할 수 있다.
실행 동안, 리모트 컨트롤 애플리케이션(104)은 유저 입력을 획득하는 메커니즘으로 유저 인터페이스(102)를 구현하거나 호출하거나 실행하거나 또는 다른 방법으로 사용할 수 있다. 예를 들어, 초기 상호작용 동안, 리모트 컨트롤 애플리케이션(104)은 유저가 리모트 컨트롤 애플리케이션(104)을 사용하여 상호작용하기를 원하는 임의의 제 2 컴퓨팅 디바이스(110) 및 유저와 연관된 셋업 정보를 제공하기 위해 유저 인터페이스(102)를 통해 유저에 프롬프트할 수 있다. 또 다른 예에서, 실행 동안, 리모트 컨트롤 애플리케이션(104)은 하나 이상의 제 2 컴퓨팅 디바이스(110)의 리스트를 유저 인터페이스(102)를 통해 유저에 제시할 수 있고 이 하나 이상의 제 2 컴퓨팅 디바이스(110)의 리스트에서 유저는 상호작용하기를 원하는 하나의 제 2 컴퓨팅 디바이스를 선택할 수 있다. 리모트 애플리케이션(104)은 제 2 컴퓨팅 디바이스(110)의 동작을 제어하는데 유저가 사용하기를 원하는 리모트 컨트롤 동작을 표시하는 제스처를 유저가 유저 인터페이스(102)에서 드로잉하는 제스처 기반 모드에서 유저 인터페이스(102)를 호출할 수 있다.
유저 인터페이스(102)는, 리모트 컨트롤 애플리케이션(104)의 실행 동안, 존재를 감지하는 적어도 하나의 부분을 유저에 제공하고 이를 통해 유저는 (예를 들어, 손가락 또는 스타일러스 펜에 의해) 터치를 통해 상호작용하여 제 2 컴퓨팅 디바이스(110) 상의 항목에 대응하는 제스처를 드로잉할 수 있다. 드로잉된 제스처의 표현은 유저가 제스처를 드로잉할 때 유저 인터페이스(102) 상에 디스플레이될 수 있다. 리모트 컨트롤 애플리케이션(104)은 드로잉된 제스처를 인식하고 이 제스처를 매칭하는 문자, 예를 들어, 글자로 변환할 수 있는 제스처 인식 능력을 포함할 수 있다. 유저가 제스처 입력을 위해 전용된 유저 인터페이스(102)의 일부에서 제스처를 드로잉할 때, 리모트 컨트롤 애플리케이션(104)은 연결(112)을 통해 제 2 컴퓨팅 디바이스(110)와 통신을 수립하고, 드로잉된 제스처에 대한 정보를 제 2 컴퓨팅 디바이스(110)에 전송할 수 있다. 일례에서, 제 1 컴퓨팅 디바이스(105)는 제스처 인식을 수행하여 대응하는 문자를 결정하는 알고리즘을 실행하고, 드로잉된 제스처 및 대응하는 문자를 제 2 컴퓨팅 디바이스(110)에 송신할 수 있다. 또 다른 예에서, 제 1 컴퓨팅 디바이스(105)는 드로잉된 제스처를 제 2 컴퓨팅 디바이스(110)에 송신할 수 있고, 제 2 컴퓨팅 디바이스(110)는 제스처 인식을 수행하여 대응하는 문자를 결정하는 알고리즘을 실행할 수 있다. 이 예에서, 제 2 컴퓨팅 디바이스(110)는 제 2 컴퓨팅 디바이스(110)의 메모리 및/또는 저장소에 저장될 수 있는 제스처 인식을 수행하는 알고리즘을 실행하도록 동작가능한 하나 이상의 프로세서를 포함할 수 있다.
드로잉된 제스처에 대응하는 문자는 제 2 컴퓨팅 디바이스(110)의 디스플레이 상에 디스플레이된 항목과 연관될 수 있다. 표시는 연관된 항목을 나타내기 위해 제 2 컴퓨팅 디바이스(110) 상에 디스플레이될 수 있다. 일례에서, 연관된 항목은 항목 주위에 박스를 디스플레이하거나 또는 항목을 상이한 색상으로 또는 상이한 패턴 등을 사용하여 디스플레이하는 것에 의해 하이라이트될 수 있다. 유저는 제스처를 사용하여 (예를 들어, 유저 인터페이스(102)를 터치하여) 하이라이트된 항목을 선택하기를 원한다는 것을 나타낼 수 있다. 일례에서, 하이라이트된 항목을 선택하는 것은 도 1이 도시하는 바와 같이, 선택된 항목(예를 들어, 도 1에서 항목 2)이 서브-항목(114)을 구비하는 경우 추가적인 항목들의 디스플레이를 초래할 수 있다. 유저는 전술된 것과 동일한 기술을 사용하여 서브-항목(114)으로부터 서브 항목들 중 하나의 항목을 선택할 수 있다. 또 다른 예에서, 하이라이트된 항목을 선택하는 것은 항목과 연관된 액션(action)을 실행하는 것(예를 들어, 채널의 변경, 프로그램의 레코딩, 또는 웹사이트의 론칭)을 초래할 수 있다.
일례에서, 제 2 컴퓨팅 디바이스(110) 상에 디스플레이된 하나를 초과하는 항목은 문자와 연관될 수 있다. 예를 들어, 드로잉된 제스처는 글자 A에 대응할 수 있고, 제 2 컴퓨팅 디바이스(110) 상에 디스플레이된 2개 이상의 항목은 글자 A에서 시작할 수 있다. 이 예에서, 항목에서 제일 먼저 리스트된 항목(예를 들어, 리스트의 상부에 더 가까운 항목)이 하이라이트될 수 있다. 유저는 하이라이트된 항목이 자기가 상호작용하기를 원하는 것이 아닌 것으로 결정할 수 있고, 제 1 컴퓨팅 디바이스(105)를 사용하여 원하는 항목의 제 2 글자와 연관된 제스처를 드로잉할 수 있다. 전술된 바와 동일한 방식으로, 드로잉된 제스처에 대응하는 문자는 제 2 컴퓨팅 디바이스(110)로 전송될 수 있고, 제 1 문자와 연관된 항목들 중 하나는 제 2 문자와 연관된 것에 기초하여 선택될 수 있고, 전술된 바와 같이 유저의 선택을 위해 하이라이트될 수 있다.
일례에서, 유저는 편집 목적을 위하여 다른 제스처를 사용할 수 있다. 예를 들어, 유저가 잘못된 제스처를 드로잉하거나 또는 잘못된 항목을 하이라이트하는 제스처를 드로잉한 경우, 유저는 유저 인터페이스(102)를 가로질러 스와이핑(swiping) 움직임을 하여 마지막으로 드로잉된 제스처에 대응하는 마지막 문자를 (예를 들어, 스크린에서 수평방향으로 좌측으로 스와이핑하는 것에 의해) 삭제하거나 또는 드로잉된 제스처에 대응하는 문자의 시퀀스를 (예를 들어, 스크린에서 수평방향으로 우측으로 스와이핑하는 것에 의해) 삭제할 수 있다. 유저가 문자 또는 문자의 시퀀스를 삭제할 때, 스크린에서 하이라이트된 항목은 적절히 변경된다. 예를 들어, 유저가 문자의 시퀀스 내에 있는 문자를 삭제하는 경우, 나머지 문자에 대응하는 항목이 하이라이트될 수 있다. 또 다른 예에서, 유저가 문자의 전체 시퀀스를 삭제하면, 항목 중 그 어느 것도 하이라이트되지 않는다.
일례에서, 전술된 바와 같이, 유저는 특정 동작을 한정하고, 스크린에서 제스처를 사용하여 드로잉된 제스처에 대응하는 문자를 삭제할 수 있다. 예를 들어, 마지막으로 드로잉된 제스처에 대응하는 문자를 삭제하기 위하여, 유저는 유저 인터페이스(102)를 가로질러 수평방향으로 좌측으로 스와이핑할 수 있다. 또 다른 예에서, 드로잉된 제스처의 시퀀스에 대응하는 문자의 시퀀스를 삭제하기 위하여, 유저는 유저 인터페이스(102)를 가로질러 수평방향으로 우측으로 스와이핑할 수 있다. 전술된 바와 같이, 유저는 유저 인터페이스(102)에서 탭핑(tapping)하는 것에 의해 하이라이트된 항목을 선택할 수 있다. 유저 인터페이스(102)에서 또한 다른 제스처를 사용하여, 예를 들어, 유저 인터페이스(102)에서 수직방향으로 위쪽으로 또는 아래쪽으로 스와이핑하는 것에 의해 하나의 항목으로부터 다른 항목으로 하이라이트 박스를 이동시키는 것과 같은 다른 동작을 수행할 수 있다.
또 다른 예에서, 유저는 특정 동작을 한정하고, 움직임 제스처를 사용하여, 즉, 컴퓨팅 디바이스(105)를 특정 방향으로 이동하는 것에 의해 드로잉된 제스처에 대응하는 문자를 삭제할 수 있다. 예를 들어, 마지막으로 드로잉된 제스처에 대응하는 문자를 삭제하기 위하여, 유저는 컴퓨팅 디바이스(105)를 수평방향으로 좌측으로 이동할 수 있고, 문자의 시퀀스를 삭제하기 위하여, 유저는 컴퓨팅 디바이스(105)를 수평방향으로 우측으로 이동할 수 있다. 이 예에서, 유저는 컴퓨팅 디바이스(105)를 수직방향으로 위쪽으로 또는 아래쪽으로 이동시켜 하이라이트 박스를 하나의 항목으로부터 또 다른 항목으로 이동시킬 수 있다.
도 2는 도 1에 도시된 컴퓨팅 디바이스(105)의 추가적인 상세를 도시하는 블록도이다. 도 2는 컴퓨팅 디바이스(105)의 단 하나의 특정 예만을 도시하는 것이며, 다른 경우에 컴퓨팅 디바이스(105)의 많은 다른 예시적인 실시예들이 사용될 수 있다. 도 2의 예에 도시된 바와 같이, 컴퓨팅 디바이스(105)는 하나 이상의 프로세서(122), 메모리(124), 네트워크 인터페이스(126), 하나 이상의 저장 디바이스(128), 유저 인터페이스(130), 및 선택적인 배터리(132)를 포함한다. 예를 들어, 컴퓨팅 디바이스(105)가 모바일 디바이스를 포함하는 경우, 컴퓨팅 디바이스(105)는 배터리(132)를 포함할 수 있다. 각 성분(122, 124, 126, 128, 130, 및 132)은 성분간 통신을 위한 하나 이상의 버스를 통해 상호연결될 수 있다. 프로세서(122)는 컴퓨팅 디바이스(105) 내에서 기능을 구현하고 및/또는 실행 인스트럭션을 처리하도록 구성될 수 있다. 프로세서(122)는 메모리(124)에 저장된 인스트럭션 또는 저장 디바이스(128)에 저장된 인스트럭션을 처리할 수 있다.
유저 인터페이스(130)는 예를 들어, 컴퓨팅 디바이스(105)의 유저에 시각적 정보를 제공하기 위해 모니터 또는 다른 디스플레이 디바이스를 포함할 수 있다. 유저 인터페이스(130)는 유저로 하여금 데이터를 입력할 수 있게 하는 하나 이상의 입력 디바이스, 예를 들어 수동 키보드, 마우스, 터치패드, 트랙패드, 등을 더 포함할 수 있다. 일부 예에서, 유저 인터페이스(130)는 유저 입력을 수신 및 처리하고 또한 출력 정보를 디스플레이하는데 사용될 수 있는 존재-감지 유저 인터페이스 디바이스, 예를 들어, 터치 스크린을 포함할 수 있다. 유저 인터페이스(130)는 정보를 출력하는 프린터 또는 다른 디바이스를 더 포함할 수 있다. 본 명세서에 포함된 상세한 설명에서 여러 경우에, 유저 인터페이스(130)에 대한 언급은 유저 입력 기능을 제공하는 유저 인터페이스(130)(예를 들어, 터치 스크린)의 일부를 말할 수 있다. 일례에서, 유저 인터페이스(130)는 유저에 의한 (예를 들어, 유저의 손가락 또는 스타일러스 펜에 의한) 촉각적 입력에 응답하는 터치 스크린일 수 있다.
메모리(124)는 동작 동안 컴퓨팅 디바이스(105) 내에 정보를 저장하도록 구성될 수 있다. 메모리(124)는 일부 예에서 컴퓨터-판독가능한 저장 매체로 기술될 수 있다. 일부 예에서, 메모리(124)는 메모리(124)의 주된 목적이 장기간 저장이 아닌 것을 의미하는 일시적 메모리이다. 메모리(124)는 또한 컴퓨터가 턴오프될 때 메모리(124)가 저장된 컨텐츠를 유지하지 않는 것을 의미하는 휘발성 메모리로 기술될 수 있다. 휘발성 메모리의 예로는 RAM(random access memory), DRAM(dynamic random access memory), SRAM(static random access memory), 및 이 기술 분야에 알려진 다른 형태의 휘발성 메모리를 포함한다. 일부 예에서, 메모리(124)는 프로세서(122)에 의해 실행되기 위한 프로그램 인스트럭션을 저장하는데 사용될 수 있다. 메모리(124)는 컴퓨팅 디바이스(105)에서 실행되는 소프트웨어 또는 애플리케이션(예를 들어, 도 1에 도시된 리모트 애플리케이션(104))에 의해 사용되어 프로그램 실행 동안 정보를 일시적으로 저장할 수 있다.
저장 디바이스(128)는 또한 하나 이상의 컴퓨터-판독가능한 저장 매체를 포함할 수 있다. 저장 디바이스(128)는 메모리(124)보다 더 많은 양의 정보를 저장하도록 구성될 수 있다. 저장 디바이스(128)는 정보를 장기간 저장하도록 더 구성될 수 있다. 일부 예에서, 저장 디바이스(128)는 비휘발성 저장 요소를 포함할 수 있다. 이러한 비휘발성 저장 요소의 예로는 자기 하드 디스크, 광 디스크, 플로피 디스크, 플래시 메모리, 또는 EPROM(electrically programmable memory) 또는 EEPROM(electrically erasable and programmable memory) 메모리 형태를 포함할 수 있다.
컴퓨팅 디바이스(105)는 또한 네트워크 인터페이스(126)를 포함한다. 컴퓨팅 디바이스(105)는 네트워크 인터페이스(126)를 사용하여 하나 이상의 무선/유선 네트워크와 같은 하나 이상의 네트워크를 통해 외부 디바이스(예를 들어, 하나 이상의 서버, 웹 서버, 제 2 컴퓨팅 디바이스(110))와 통신할 수 있다. 컴퓨팅 디바이스(105)는 데이터를 다른 디바이스(예를 들어, 다른 컴퓨팅 디바이스, 서버, 등)로 전송하고 및/또는 이들로부터 데이터를 전송받을 것을 요구하는 하나 이상의 애플리케이션의 실행에 응답하여 네트워크 인터페이스(126)를 사용할 수 있다. 컴퓨팅 디바이스(105)는 네트워크 인터페이스(126)를 통해 제 2 컴퓨팅 디바이스(110)(도 1)와 통신을 수립하도록 구성될 수 있는 예를 들어, Wi-Fi 또는 블루투스 능력을 포함할 수 있다.
컴퓨팅 디바이스(105) 내에 구현되거나 또는 이에 의해 실행되는 임의의 애플리케이션(예를 들어, 도 1에 도시된 리모트 컨트롤 애플리케이션(104))은 프로세서(122), 메모리(124), 네트워크 인터페이스(126), 저장 디바이스(128), 및/또는 유저 인터페이스(130) 내에 구현되거나 이 내에 포함되거나, 이에 의해 동작되거나, 이에 의해 실행되거나, 및/또는 이에 동작가능하게 연결될 수 있다.
일례에서, 컴퓨팅 디바이스(105)는 유저로 하여금 컴퓨팅 디바이스(105)에서 제스처를 입력하여 제 2 컴퓨팅 디바이스(110)의 동작을 제어하게 하는 리모트 컨트롤 애플리케이션(104)을 포함할 수 있다. 리모트 컨트롤 애플리케이션(104)은 디스플레이 모듈(142), 유저 인터페이스 제어기(144), 및 제스처 모듈(146)을 포함할 수 있다. 리모트 컨트롤 애플리케이션(104)은 유저가 촉각적 입력을 제공하여 제 2 컴퓨팅 디바이스(110)를 동작시킬 수 있는 유저 인터페이스(102)를 제공하거나 디스플레이할 수 있다. 리모트 컨트롤 애플리케이션(104)은 메모리(124) 및/또는 저장 디바이스(130)에 저장될 수 있고, 실행 동안 여러 작업을 수행하도록 프로세서(122)에 의해 동작될 수 있다.
일례에서, 리모트 컨트롤 애플리케이션(104)의 구현 또는 실현 동안, 디스플레이 모듈(142)은 촉각적 유저 입력을 통해 제스처를 수신하는 유저 인터페이스(130)의 적어도 일부를 한정하도록 프로세서(122)에 의해 동작될 수 있다. 유저 인터페이스 제어기(144)는 유저 인터페이스(130)를 통해 제 2 컴퓨팅 디바이스(110)를 제어하는 동작을 한정하도록 의도된 드로잉된 제스처를 특정하는 유저 입력을 수신하도록 프로세서(122)에 의해 동작될 수 있다. 유저 입력은 제 2 컴퓨팅 디바이스(110)와 연관된 동작에 각각 대응하는 제스처를 드로잉하도록 유저 인터페이스(130)와 접촉(예를 들어, 터치 스크린과 접촉)을 포함할 수 있다.
제스처 모듈(146)은, 유저가 유저 인터페이스(130)에서 드로잉하는 제스처에 기초하여, 제 2 컴퓨팅 디바이스(110)에서 적절한 동작 또는 항목과 후속적으로 연관될 수 있는 적절히 매칭하는 문자 및 동작을 결정하도록 프로세서(122)에 의해 동작될 수 있다. 일례에서, 디스플레이 모듈(142)은 제스처를 입력하기 위한 유저 인터페이스(130)의 적어도 일부를 한정할 수 있다. 일례에서, 제스처 모듈(146)은 유저 인터페이스(130)에서 드로잉된 제스처를 디스플레이하고 대응하는 문자를 결정할 수 있다. 또 다른 예에서, 제스처 모듈(146)은 제 2 컴퓨팅 디바이스(110)에서 디스플레이하기 위해 드로잉된 제스처를 송신할 수 있다.
일부 예에서, 제스처 모듈(146)은, 유저가 컴퓨팅 디바이스(105)에서 이동하는 방향에 기초하여, 이 움직임에 대응하는 동작을 또한 결정할 수 있다. 동작은 유저의 드로잉된 제스처에 의해 이전에 한정된 문자를 삭제하는 것을 초래할 수 있다. 일례에서, 이 삭제하는 동작은, 움직임 대신에, 유저 인터페이스(130)에서 드로잉된 제스처를 사용하여 한정될 수 있다. 제스처 모듈(146)이 드로잉된 제스처에 더하여 움직임 제스처를 해석할지 여부는 움직임 제스처를 사용하기를 원하는 유저의 요구를 나타내는 유저 선택에 기초하거나, 또는 리모트 컨트롤 애플리케이션(104)의 디폴트 셋팅일 수 있다. 움직임 제스처가 사용되는 예에서, 컴퓨팅 디바이스(105)는 또한 컴퓨팅 디바이스(105)의 움직임 및 위치의 변화를 검출할 수 있는 성분, 예를 들어, 가속도계, 컴퍼스(compass), 등을 포함할 수 있다.
리모트 컨트롤 애플리케이션(104)은 유저가 제스처를 사용하여 제 2 컴퓨팅 디바이스(110) 상의 동작과 연관된 문자를 드로잉할 수 있는 유저 인터페이스(130) 상에 적어도 일부를 한정할 수 있다. 문자는 제 2 컴퓨팅 디바이스(110)의 항목 및 동작과 연관된 글자 또는 형상에 대응할 수 있다. 추가적으로, 특정 드로잉된 제스처 또는 움직임을 사용하여, 유저는 이미 입력된 문자에 동작을 적용할 수 있는데, 예를 들어, 하나 이상의 문자를 삭제할 수 있다.
일례에서, 유저가 제스처를 사용하여 문자 및 동작을 드로잉할 때, 제스처 모듈(146)은 매칭하는 원하는 문자 및 동작을 결정할 수 있다. 디스플레이 모듈(142)은 드로잉된 제스처에 대한 데이터를 수신하여 유저 인터페이스(130) 상에 디스플레이하도록 동작할 수 있다. 이런 방식으로, 디스플레이 모듈(142)은 유저가 유저 인터페이스(130) 상에 제스처를 드로잉할 때 이 제스처를 디스플레이하도록 동작할 수 있다. 일부 예에서, 제스처 모듈(146)은 드로잉된 제스처에 대한 데이터를 제 2 컴퓨팅 디바이스(110)로 전송할 수 있고, 이 제 2 컴퓨팅 디바이스(110)는 드로잉된 제스처를 디스플레이할 수 있다. 제 2 컴퓨팅 디바이스(110)는 드로잉된 제스처에 대한 데이터에 기초하여, 대응하는 문자 또는 동작을 결정할 수 있다. 일례에서, 제스처 모듈(146)은 또한 드로잉된 제스처에 대응하는 문자 또는 동작에 대한 데이터를 제 2 컴퓨팅 디바이스(110)로 전송할 수 있다.
프로세서(122)는 예를 들어, 제스처-해석 알고리즘을 포함하는 하나 이상의 알고리즘을 실행하도록 동작할 수 있다. 일례에서, 제스처-해석 알고리즘은 드로잉된 제스처에 대응하는 문자 및 동작을 결정할 수 있다. 일부 예에서, 알고리즘은 드로잉된 제스처에 대응하는 문자 및 동작을 제 2 컴퓨팅 디바이스(110)의 항목 및 동작과 연관시킬 수 있다. 다른 예에서, 알고리즘은 드로잉된 제스처에 대응하는 문자 및 동작이 제 2 컴퓨팅 디바이스(110)로 전송될 수 있게 하고, 여기서 문자 및 동작은 제 2 컴퓨팅 디바이스(110) 상의 항목 및 동작과 연관될 수 있다.
도 3a 및 도 3b는 본 발명의 하나 이상의 측면에 따라 유저가 제 1 컴퓨팅 디바이스와 상호작용하여 제 2 컴퓨팅 디바이스를 원격으로 제어할 때 제 1 컴퓨팅 디바이스의 예시적인 스크린 디스플레이를 도시하는 블록도이다. 제 1 컴퓨팅 디바이스(305)는 도 1 및 도 2의 제 1 컴퓨팅 디바이스(105)와 동일한 방식으로 동작할 수 있고, 제 2 컴퓨팅 디바이스(310)는 도 1의 제 2 컴퓨팅 디바이스(110)와 동일한 방식으로 동작할 수 있다. 제 1 컴퓨팅 디바이스(305)는 예를 들어, 유저 인터페이스(302)(예를 들어, 터치 스크린)와 같은 존재-감지 유저 인터페이스 디바이스를 포함할 수 있다.
도 3a가 도시하는 바와 같이, 제 1 컴퓨팅 디바이스(305)는 많은 이용가능한 무선 기술, 예를 들어, Wi-Fi, 블루투스 등 중 하나의 기술을 사용하여 연결(312)을 통해 제 2 컴퓨팅 디바이스(310)와 무선으로 통신할 수 있다. 제 2 컴퓨팅 디바이스(310)는 제 2 컴퓨팅 디바이스(310)와 연관된 디스플레이 디바이스(316)에서 상이한 동작 또는 기능과 연관될 수 있는 타깃 요소를 리스트할 수 있다. 일례에서, 제 2 컴퓨팅 디바이스(310)의 디스플레이 디바이스(316)에서 디스플레이된 타깃 요소는 도 3a가 도시하는 바와 같이 텍스트 객체(textual object)일 수 있고, 그 이름, 예를 들어, 북마크(bookmark), 스팟라이트(spotlight), 애플리케이션, 등에 따라 색인(indexed)될 수 있다. 타깃 요소는 또한 예를 들어, 그래픽 객체(graphical object), 예를 들어, 슬라이더(slider), 진행 바(progress bar), 볼륨 노브(volume knob), 등일 수 있고, 그래픽 객체, 예를 들어, 슬라이더, 바(bar), 볼륨, 노브, 등에 대응하는 키워드를 사용하여 색인될 수 있다. 도 3a의 예에서, 유저는 제 1 컴퓨팅 디바이스(305)를 사용하여 유저가 선택하기를 원하는 타깃 요소와 연관된 제스처를 드로잉할 수 있다. 이 예에서, 유저는 글자 "B"를 나타내는 제스처를 드로잉할 수 있다. 유저가 제 1 컴퓨팅 디바이스(305)의 유저 인터페이스(302)에서 제스처를 드로잉할 때, 드로잉된 제스처의 표현은 도 3a가 도시하는 바와 같이 유저 인터페이스에 디스플레이될 수 있다.
도 3b가 도시하는 바와 같이, 유저가 글자 "B"에 대한 제스처를 드로잉할 때, 드로잉된 제스처와 연관된 데이터는 제 2 컴퓨팅 디바이스(310)로 송신될 수 있다. 일례에서, 제 1 컴퓨팅 디바이스(305)는 드로잉된 제스처를 해석하여 대응하는 문자를 결정할 수 있다. 이 예에서, 드로잉된 제스처와 연관된 데이터는 드로잉된 제스처에 대한 데이터 및 대응하는 문자를 포함할 수 있다. 또 다른 예에서, 제 1 컴퓨팅 디바이스(305)는 드로잉된 제스처에 대한 데이터를 제 2 컴퓨팅 디바이스(310)로 송신할 수 있고, 이 제 2 컴퓨팅 디바이스(310)는 대응하는 문자를 결정할 수 있고, 제 2 컴퓨팅 디바이스(310)는 드로잉된 제스처의 표현을 디스플레이 디바이스(316)에서 디스플레이할 수 있다. 추가적으로, 제 2 컴퓨팅 디바이스(310)는 대응하는 문자를 디스플레이 디바이스(316)에서 디스플레이된 타깃 요소와 연관시킬 수 있다.
또 다른 예에서, 제 2 컴퓨팅 디바이스(310)는 디스플레이 디바이스(316)에서 디스플레이된 타깃 요소와 연관된 데이터를 통신할 수 있다. 이 예에서, 제 1 컴퓨팅 디바이스(305)는 드로잉된 제스처를 해석하여 대응하는 문자를 결정하고, 대응하는 문자를 제 2 컴퓨팅 디바이스(310)로부터 통신된 데이터에 기초하여 타깃 요소와 연관시킬 수 있다. 제 1 컴퓨팅 디바이스(305)는 연관된 타깃 요소의 표시를 유저에 디스플레이하고 확인(confirmation)을 요청할 수 있다. 확인시, 제 1 컴퓨팅 디바이스(310)는 연관된 타깃 요소의 선택을 나타내는 데이터를 제 2 컴퓨팅 디바이스(305)로 통신할 수 있다. 제 2 컴퓨팅 디바이스(305)는 표시된 타깃 요소의 선택과 연관된 적절한 액션(action)을 진행할 수 있다.
일례에서, 제 2 컴퓨팅 디바이스(310)는 드로잉된 제스처에 대응하는 문자와 동일한 문자로 시작하는 제 1 색인된 요소와 문자를 연관시킬 수 있다. 이 예에서, 제 1 색인된 타깃 요소는 "북마크"이고, 그리하여 유저가 제 1 컴퓨팅 디바이스(305)의 유저 인터페이스(302)에서 드로잉한 제스처에 대응하는 문자 "B"와 연관될 수 있다. 제 2 컴퓨팅 디바이스(310)는 항목 주위에 박스를 디스플레이(도 3b에 도시된 바와 같이)하거나, 항목을 상이한 색상으로 또는 상이한 패턴 등을 사용하여 디스플레이하는 것에 의해 연관된 타깃 요소를 하이라이트할 수 있다.
유저가 하이라이트된 타깃 요소를 선택하기를 원하는 경우, 유저는 제 1 컴퓨팅 디바이스(305)에 제스처를 제공하여 하이라이트된 타깃 요소를 활성화(activate)하려는 요구를 표시할 수 있다. 예를 들어, 유저는 제 1 컴퓨팅 디바이스(305)의 유저 인터페이스(302)를 탭핑하여 "북마크"를 활성화할 수 있다. 일례에서, 하이라이트된 타깃 요소를 활성화하는 것은 하이라이트된 요소및 이와 연관된 동작에 따라 상이한 액션을 초래할 수 있다. 예를 들어, "북마크" 요소를 활성화하는 것은 제 2 컴퓨팅 디바이스(310)와 연관된 북마크를 리스트하는 디스플레이 디바이스(316)에 또 다른 스크린을 디스플레이하는 것을 초래할 수 있다. 북마크는 리스트되고 색인될 수 있고, 유저는 타깃 요소들 중 하나를 선택하는 것에 대해 전술된 바와 같이 북마크 중 하나를 선택할 수 있다. 또 다른 예에서, 하이라이트된 타깃 요소를 활성화하는 것은 하이라이트된 타깃 요소와 연관된 웹사이트 또는 스크린을 론칭하는 것을 초래할 수 있다. 또 다른 예에서, 하이라이트된 타깃 요소를 활성화하는 것은 하이라이트된 타깃 요소와 연관된 동작, 예를 들어, 볼륨의 증가/감소, 디스플레이 셋팅의 변경, 고속 전진(fast forward), 등을 수행하는 것을 초래할 수 있다.
도 4a 및 도 4b는 본 발명의 하나 이상의 측면에 따라 유저가 컴퓨팅 디바이스와 상호작용하여 제 2 컴퓨팅 디바이스를 원격으로 제어할 때 컴퓨팅 디바이스의 다른 예시적인 스크린 디스플레이를 도시하는 블록도이다. 일부 예에서, 도 4a가 도시하는 바와 같이, 하나를 초과하는 타깃 요소가 드로잉된 제스처에 대응할 수 있다. 예를 들어, 유저는 글자 "A"에 대응할 수 있는 도 4a에 도시된 바와 같은 제스처를 드로잉할 수 있다. 이 예에서, 제 2 컴퓨팅 디바이스(310)는 글자 "A"로 시작하는 제 1 타깃 요소, 예를 들어, "애플리케이션"를 하이라이트할 수 있다. 하이라이트된 타깃 요소가 유저가 선택하기를 원하는 것이라면, 유저는 전술된 바와 같이 하이라이트된 타깃 요소를 활성화할 수 있다.
일례에서, 유저는 타깃 요소 "AM 라디오(Radio)"를 선택하기를 원하였을 수 있다. 이 예에서, 유저는 또 다른 제스처를 드로잉하여 원하는 타깃 요소를 표시할 수 있다. 도 4b가 도시하는 바와 같이, 유저는 글자 "M"에 대응하는 제스처를 드로잉하여 이를 문자 시퀀스에 추가할 수 있다. 이 예에서, 제 2 컴퓨팅 디바이스(310)는 드로잉된 제스처에 대응하는 문자를 드로잉된 순서로 연관시키고 그리하여 "AM 라디오"를 드로잉된 제스처에 연관시키는 것에 의해 대응하는 타깃 요소를 결정할 수 있다. 유저가 제스처를 더 드로잉할 때, 하이라이트된 타깃 요소는 적절히 업데이트되고, 도 4b가 도시하는 바와 같이, 여기서 워드 "AM 라디오"가 하이라이트된다. 유저는 전술된 바와 같이 하이라이트된 타깃 요소를 활성화할 수 있다.
일례에서, 유저가 실수를 해서 이미 드로잉된 제스처 중 하나 이상의 제스처를 삭제하기를 원하는 경우, 유저는 제스처를 사용하여 드로잉된 제스처를 삭제할 수 있다. 예를 들어, 유저는 유저 인터페이스(302)에서 수평방향으로 좌측으로 스와이핑하여 마지막으로 드로잉된 제스처(예를 들어, "M")를 삭제할 수 있고, 유저 인터페이스(302)에서 수평방향으로 우측으로 스와이핑하여 전체 제스처 시퀀스(예를 들어, "AM")를 삭제할 수 있다. 유저가 하나 이상의 드로잉된 제스처를 삭제할 때, 하이라이트된 타깃 요소는 적절히 업데이트될 수 있다. 예를 들어, 도 4b의 예에서 유저가 글자 "M"에 대응하는 제스처를 삭제한 경우, 제 2 컴퓨팅 디바이스(310)는 하이라이트된 타깃 요소를 다시 "애플리케이션"으로 업데이트할 수 있다. 유저가 드로잉된 제스처의 전체 시퀀스를 삭제한 경우, 하이라이트되는 타깃 요소는 없게 된다.
일례에서, 유저는 유저 인터페이스(302)에서 제스처를 드로잉함이 없이 하이라이트된 타깃 요소를 이동시키기를 원할 수 있다. 유저는 움직임 제스처를 사용하여 하나의 타깃 요소로부터 또 다른 타깃 요소로 하이라이트를 이동시킬 수 있고, 여기서 이 움직임은 예를 들어 위쪽으로, 아래쪽으로, 좌측으로, 또는 우측으로의 움직임일 수 있다. 도 4b의 예에서, 유저는 타깃 요소 "큐(Queue)"를 선택하기를 원할 수 있다. 유저는 컴퓨팅 디바이스(305)를 위쪽으로 이동시켜, 원하는 타깃 요소, 예를 들어, "큐"가 하이라이트될 때까지 "AM 라디오"로부터 하이라이트 박스를 위쪽으로 이동시킬 수 있다.
도 5는 본 발명의 하나 이상의 측면에 따라 컴퓨팅 디바이스에 의해 수행될 수 있는 방법을 도시하는 흐름도이다. 예를 들어, 도시된 예시적인 방법은 제 1 컴퓨팅 디바이스(105)(도 1 및 도 2)에 의해 적어도 부분적으로 수행될 수 있다. 일부 예에서, 컴퓨터-판독가능한 저장 매체(예를 들어, 도 2의 저장 디바이스(128)에 포함된 매체)는, 실행될 때, 하나 이상의 프로세서(예를 들어, 프로세서(122))로 하여금 도 1 및 도 2의 방법에 도시된 액션 중 하나 이상의 액션을 수행하게 하는 인스트럭션(instruction)으로 인코딩될 수 있다.
도 5의 방법은, 제 1 컴퓨팅 디바이스에 연결된 존재-감지 유저 인터페이스 디바이스(예를 들어, 터치 스크린(102))를 사용하여, 제 1 드로잉 제스처 를 포함하는 제 1 유저 입력을 수신하는 단계(502)를 포함한다. 전술된 바와 같이, 제 1 드로잉 제스처는 제 2 컴퓨팅 디바이스(예를 들어, 제 2 컴퓨팅 디바이스(110))와 연관된 디스플레이 디바이스에서 디스플레이된 하나 이상의 타깃 요소 또는 항목과 연관된 제 1 특성을 한정할 수 있다. 제 1 특성은 하나 이상의 타깃 요소의 제 1 글자 또는 상기 하나 이상의 타깃 요소와 연관된 형상일 수 있다. 제 1 드로잉 제스처는 제 1 특성에 기초하여 타깃 요소들 중 적어도 하나와 연관될 수 있고, 여기서 연관은 제 1 컴퓨팅 디바이스 및/또는 제 2 컴퓨팅 디바이스에 의해 수행될 수 있다(504). 제 2 컴퓨팅 디바이스에서 디스플레이된 요소 또는 항목이 드로잉 제스처와 연관될 때, 요소 또는 항목은 연관된 요소 또는 항목을 표시하도록 그래픽적으로-하이라이트될 수 있다(506).
본 방법은 또한 존재-감지 유저 인터페이스 디바이스를 사용하여, 활성화 제스처를 포함하는 제 2 유저 입력을 수신하는 단계(508)를 포함한다. 활성화 제스처를 수신하는 것에 응답하여, 하이라이트된 타깃 요소 또는 항목은 활성화될 수 있다. 일례에서, 활성화는 예를 들어 채널의 변경 또는 볼륨 또는 디스플레이 셋팅의 조정과 같은 하이라이트된 타깃 요소 또는 항목과 연관된 동작을 초래할 수 있다. 또 다른 예에서, 활성화는 예를 들어 서브메뉴와 같은 하이라이트된 타깃 요소 또는 항목과 연관된 요소 또는 항목의 서브세트를 디스플레이하는 것일 수 있다. 활성화가 요소의 서브세트를 디스플레이하는 것일 때, 전술된 바와 동일한 방법을 사용하여 요소의 서브세트의 요소 또는 메뉴를 선택할 수 있다.
일례에서, 하나 이상의 요소 또는 항목은 타깃 요소 또는 항목과 연관된 특성을 한정하는 제 1 드로잉 제스처에 대응할 수 있다. 본 발명의 기술에 따라, 하이라이트된 타깃 요소 또는 항목은 제일 먼저 리스트된 요소 또는 항목, 또는 요소 또는 항목의 메뉴 또는 리스트의 상부에 가장 가까운 것일 수 있다. 일례에서, 유저는 타깃 요소 또는 항목과 연관된 하나 이상의 추가적인 특성에 대응하는 하나 이상의 추가적인 드로잉 제스처를 제공할 수 있다. 유저가 드로잉 제스처를 더 입력하면, 연관된 타깃 요소 또는 항목은 업데이트되고 적절히 하이라이트될 수 있다. 또 다른 예에서, 하이라이트된 요소 또는 항목이 원하는 것이 아니라면, 유저는 (예를 들어, 특정 방향으로 제스처를 드로잉하거나 또는 제 1 컴퓨팅 디바이스를 이동시키는 것에 의해) 방향 제스처를 사용하여 하나의 요소 또는 항목으로부터 또 다른 요소 또는 항목으로 하이라이트를 이동시킬 수 있다. 또 다른 예에서, 하이라이트된 요소 또는 항목이 원하는 것이 아니라면, 유저는 드로잉 제스처를 사용하여 전술된 바와 같이 이전에 드로잉된 제스처를 삭제할 수 있다.
도 6은 본 발명의 하나 이상의 측면과 연관된 예시적인 상태 전이 기능을 도시하는 상태도이다. 도 6이 도시하는 바와 같이 본 발명의 기술과 연관된 2개의 상태, 즉 초기 상태(initial state)(602) 및 앵커 상태(anchoring state)(604)가 있을 수 있다. 초기 상태(602) 동안, 유저는 제 1 컴퓨팅 디바이스(예를 들어, 도 1 및 도 2의 제 1 컴퓨팅 디바이스(105), 또는 도 3 및 도 4의 제 1 컴퓨팅 디바이스(305))의 유저 인터페이스에서 어떤 제스처도 아직 드로잉하지 않았다. 유저가 제 1 컴퓨팅 디바이스의 유저 인터페이스에서 제스처를 드로잉하는 것에 의해 제스처를 추가하면, 드로잉된 제스처는 해석되어 대응하는 문자가 결정된다. 제 1 컴퓨팅 디바이스와 통신하는 제 2 컴퓨팅 디바이스는 제 2 컴퓨팅 디바이스와 연관된 디스플레이 디바이스에 디스플레이된 타깃 요소와 문자를 연관시킬 수 있다. 연관된 타깃 요소는 전술된 바와 같이 예를 들어, 포커싱 박스를 사용하여 하이라이트될 수 있다. 타깃 요소가 하이라이트되면, 연관된 상태는 앵커 상태(604)이고, 이는 제스처가 드로잉되었고 대응하는 문자가 타깃 요소와 연관되었다는 것을 표시한다.
앵커 상태(604)에 있는 동안, 수 개의 액션이 발생할 수 있다. 예를 들어, 유저는 제 2 문자에 대응하는 또 다른 제스처를 드로잉할 수 있고, 하이라이트된 타깃 요소는 적절히 업데이트되어 타깃 요소와 연관된 문자의 시퀀스가 드로잉된 제스처의 시퀀스에 대응하게 된다. 또 다른 예에서, 앵커 상태(604)로부터, 유저는 움직임 제스처를 사용하여 하나의 타깃 요소로부터 또 다른 타깃 요소로 하이라이트를 이동시키는 것에 의해 하이라이트된 타깃 요소를 변경시킬 수 있다. 이 예에서, 유저는 추가적인 또는 새로운 제스처를 드로잉함이 없이 하나의 요소로부터 또 다른 요소로 하이라이트를 이동시킬 수 있다. 또 다른 예에서, 앵커 상태(604)로부터, 유저는 드로잉된 제스처가 하나를 초과하는 경우 제스처를 사용하여 마지막으로 드로잉된 제스처를 삭제할 수 있다. 마지막으로 드로잉된 제스처를 삭제하는 것은 문자의 대응하는 시퀀스를 변경시킬 수 있고 이에 하이라이트된 타깃 요소를 나머지 드로잉된 제스처에 대응하는 타깃 요소로 변경하게 할 수 있다.
앵커 상태(604)로부터, 유저는 초기 상태(602)로 되돌아가게 할 수 있는 일부 액션을 수행할 수 있다. 예를 들어, 유저는 활성화를 나타내는 제스처를 사용하여, 예를 들어, 제 1 컴퓨팅 디바이스의 유저 인터페이스를 탭핑하는 것에 의해 하이라이트된 타깃 요소를 활성화할 수 있다. 하이라이트된 타깃 요소를 활성화하는 것은 예를 들어 하이라이트된 타깃 요소와 연관된 타깃 요소의 새로운 리스트를 디스플레이하거나 또는 하이라이트된 타깃 요소와 연관된 동작을 수행하게 할 수 있다. 제 1 컴퓨팅 디바이스의 유저 인터페이스는 클리어(cleared)될 수 있고, 유저는 드로잉 제스처를 다시 시작하여 동작을 수행하거나 또는 업데이트된 디스플레이와 연관된 타깃 요소를 선택할 수 있다.
일례에서, 앵커 상태(604)로부터, 유저는 우측으로 스와이핑하여 드로잉된 제스처의 전체 시퀀스를 삭제하여, 모든 제스처를 클리어할 수 있고, 이는 하이라이트된 타깃 요소로부터 하이라이트를 제거하는 것을 초래할 수 있고, 유저는 클리어한 유저 인터페이스로부터 시작할 수 있다. 또 다른 예에서, 유저가 단 하나의 제스처만을 드로잉한 경우, 컴퓨팅 디바이스의 유저 인터페이스에서 좌측으로 스와이핑하는 것은 단 하나의 드로잉된 제스처를 클리어하고 그리하여 하이라이트된 타깃 요소로부터 하이라이트를 제거하여 클리어한 유저 인터페이스를 가지는 초기 상태(602)로 되돌아갈 수 있게 한다.
본 발명에 설명된 기술은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 적어도 부분적으로 구현될 수 있다. 예를 들어, 설명된 기술의 여러 측면은 하나 이상의 마이크로프로세서, DSP(digital signal processor), ASIC(application specific integrated circuit), FPGA(field programmable gate array), 또는 임의의 다른 균등한 집적 또는 이산 논리 회로(equivalent integrated or discrete logic circuit), 및 이러한 성분의 임의의 조합을 포함하는 하나 이상의 프로세서 내에 구현될 수 있다. "프로세서" 또는 "처리 회로"라는 용어는 일반적으로 다른 논리 회로, 또는 임의의 다른 균등 회로와 조합하여 또는 단독으로 상기 논리 회로 중 임의의 것을 말한다. 하드웨어를 포함하는 제어 유닛은 또한 본 발명의 기술 중 하나 이상을 수행할 수 있다.
이러한 하드웨어, 소프트웨어, 및 펌웨어는 본 발명에 설명된 여러 기술을 지원하는 동일한 디바이스 또는 별개의 디바이스 내에 구현될 수 있다. 더욱이, 설명된 유닛, 모듈 또는 성분 중 어느 것은 분리되어 있으나 상호 동작가능한 논리 디바이스와 함께 또는 별개로 구현될 수 있다. 모듈 또는 유닛으로 상이한 특징을 묘사하는 것은 상이한 기능적인 측면을 하이라이트하기 위해 의도된 것일 뿐, 이러한 모듈 또는 유닛이 별개의 하드웨어, 펌웨어, 또는 소프트웨어 성분에 의해 실현되어야 하는 것을 의미하는 것은 아니다. 오히려, 하나 이상의 모듈 또는 유닛과 연관된 기능은 별개의 하드웨어, 펌웨어, 또는 소프트웨어 성분에 의해 수행되거나, 또는 공통이거나 별개의 하드웨어, 펌웨어, 또는 소프트웨어 성분 내에 집적될 수 있다.
본 발명에 설명된 기술은 또한 인스트럭션을 포함하는 컴퓨터-판독가능한 저장 매체와 같은 컴퓨터-판독가능한 매체에 구현되거나 인코딩될 수 있다. 컴퓨터-판독가능한 저장 매체를 포함하는 컴퓨터-판독가능한 매체에 구현되거나 이에 인코딩된 인스트럭션은 하나 이상의 프로그래밍가능한 프로세서 또는 다른 프로세서로 하여금, 컴퓨터-판독가능한 매체에 포함되거나 인코딩된 인스트럭션이 하나 이상의 프로세서에 의해 실행될 때 본 명세서에 설명된 기술 중 하나 이상을 구현하게 할 수 있다. 컴퓨터 판독가능한 저장 매체는 RAM(random access memory), ROM(read only memory), PROM(programmable read only memory), EPROM(erasable programmable read only memory), EEPROM(electronically erasable programmable read only memory), 플래시 메모리, 하드 디스크, 콤팩트 디스크 ROM(CD-ROM), 플로피 디스크, 카세트, 자기 매체, 광 매체, 또는 다른 컴퓨터 판독가능한 매체를 포함할 수 있다. 일부 예에서, 제조 물품은 하나 이상의 컴퓨터-판독가능한 저장 매체를 포함할 수 있다.
일부 예에서, 컴퓨터-판독가능한 저장 매체는 비일시적인 매체를 포함할 수 있다. "비일시적인" 이라는 용어는 저장 매체가 반송파 또는 전파 신호에 구현되지 않는 것을 표시할 수 있다. 특정 예에서, 비일시적인 저장 매체는 시간에 따라 변할 수 있는 데이터를 (예를 들어, RAM 또는 캐시에) 저장할 수 있다.
본 발명의 여러 실시예가 설명되었다. 이들 및 다른 실시예는 이하 청구범위 내에 있다.

Claims (20)

  1. 디바이스를 원격으로 제어하기 위한 방법으로서,
    제 1 디바이스에서, 상기 제 1 디바이스의 존재-감지 디스플레이를 통해, 제 1 드로잉 제스처를 포함하는 제 1 유저 입력을 수신하는 단계, 상기 제 1 드로잉 제스처는 제 1 문자(character)에 대응하는 드로잉을 나타내며;
    상기 제 1 디바이스에 의해, 상기 제 1 드로잉 제스처를 나타내는 제 1 데이터를 상기 제 1 디바이스에 무선으로 연결된 제 2 디바이스로 전송하는 단계, 상기 제 2 디바이스는 하나 이상의 선택가능한 요소를 디스플레이하는 디스플레이를 포함하고, 상기 선택가능한 요소들 중 적어도 제 1 요소는 상기 제 1 문자를 포함하고 그리고 상기 제 1 데이터에 기초하여 상기 제 2 디바이스의 디스플레이 상에 시각적으로 표현되며;
    상기 제 1 디바이스에서, 상기 존재-감지 디스플레이를 통해 제 2 드로잉 제스처를 포함하는 제 2 유저 입력을 수신하는 단계, 상기 제 2 드로잉 제스처는 제 2 문자에 대응하는 드로잉을 나타내며;
    상기 제 1 디바이스에 의해서 상기 제 2 디바이스로, 상기 제 2 드로잉 제스처를 나타내는 제 2 데이터를 전송하는 단계, 상기 선택가능한 요소들 중 적어도 제 2 요소는 상기 제 1 문자 및 상기 제 2 문자 둘다를 포함하고 그리고 상기 제 2 데이터에 기초하여 상기 제 2 디바이스의 디스플레이 상에 시각적으로 표현되며;
    상기 제 2 데이터를 전송한 이후에, 상기 제 1 디바이스에서, 상기 존재-감지 디스플레이를 통해 움직임(motion) 제스처를 포함하는 제 3 유저 입력을 수신하는 단계; 그리고
    상기 제 1 디바이스에 의해서 상기 제 2 디바이스로, 상기 움직임 제스처를 나타내는 제 3 데이터를 전송하는 단계
    를 포함하며,
    상기 선택가능한 요소들 중 적어도 제 3 요소는 상기 제 1 문자를 포함하고 그리고 상기 제 3 데이터에 기초하여 상기 제 2 디바이스의 디스플레이 상에 시각적으로 표현되는 것을 특징으로 하는 디바이스를 원격으로 제어하기 위한 방법.
  2. 제1항에 있어서,
    상기 제 2 디바이스의 디스플레이는 상기 제 1 데이터에 기초하여 상기 제 1 드로잉 제스처의 표현을 출력하는 것을 특징으로 하는 디바이스를 원격으로 제어하기 위한 방법.
  3. 제1항에 있어서,
    상기 움직임 제스처는 제 1 움직임 제스처를 포함하며, 상기 방법은,
    상기 제 1 디바이스에서, 상기 제 1 디바이스를 통해, 움직임의 방향을 정의하는 제 2 움직임 제스처를 수신하는 단계;
    상기 제 1 디바이스에 의해서 상기 제 2 디바이스로, 상기 제 2 움직임 제스처를 나타내는 움직임 데이터를 전송하는 단계
    를 더 포함하며,
    상기 선택가능한 요소들 중 적어도 제 4 요소는 상기 제 2 움직임 제스처를 나타내는 상기 움직임 데이터에 기초하여 상기 선택가능한 요소들 중 적어도 제 3 요소에 관련하여 정의된 방향을 따라 상기 제 2 디바이스의 디스플레이 상에 시각적으로 표현되는 것을 특징으로 하는 디바이스를 원격으로 제어하기 위한 방법.
  4. 제1항에 있어서,
    상기 제 1 디바이스에서, 상기 제 1 디바이스의 존재-감지 디스플레이를 통해, 선택 제스처를 포함하는 제 4 유저 입력을 수신하는 단계; 그리고
    상기 제 1 디바이스에 의해서 상기 제 2 디바이스로, 상기 선택 제스처를 나타내는 제 4 데이터를 전송하는 단계
    를 더 포함하며,
    상기 선택가능한 요소들 중 적어도 제 3 요소는 상기 제 4 데이터에 응답하여 선택되고,
    상기 제 2 디바이스의 디스플레이는 상기 제 4 데이터에 응답하여 하나 이상의 선택가능한 요소들의 새로운 리스트를 출력하는 것을 특징으로 하는 디바이스를 원격으로 제어하기 위한 방법.
  5. 제1항에 있어서,
    상기 제 1 디바이스의 존재-감지 디스플레이를 통해, 선택 제스처를 포함하는 제 4 유저 입력을 수신하는 단계; 그리고
    상기 제 1 디바이스에 의해서 상기 제 2 디바이스로, 상기 선택 제스처를 나타내는 제 4 데이터를 전송하는 단계
    를 더 포함하며,
    상기 선택가능한 요소들 중 적어도 제 3 요소는 상기 제 4 데이터에 응답하여 선택되고,
    상기 선택가능한 요소들 중 적어도 제 3 요소에 연관된 동작은, 상기 제 4 데이터에 응답하여 상기 제 2 디바이스에 의해서 실행되는 것을 특징으로 하는 디바이스를 원격으로 제어하기 위한 방법.
  6. 제1항에 있어서,
    상기 하나 이상의 선택가능한 요소는 하나 이상의 워드, 하나 이상의 그래픽 유저 인터페이스 요소, 또는 상기 제 2 디바이스의 하나 이상의 동작 중 적어도 하나를 포함하는 것을 특징으로 하는 디바이스를 원격으로 제어하기 위한 방법.
  7. 제1항에 있어서,
    상기 제 1 데이터는 상기 제 1 드로잉 제스처를 나타내는 데이터를 포함하고 그리고 상기 제 2 디바이스는 상기 제 1 데이터에 기초하여 상기 제 1 문자를 결정하는 것을 특징으로 하는 디바이스를 원격으로 제어하기 위한 방법.
  8. 제1항에 있어서,
    상기 제 1 드로잉 제스처에 기초하여, 상기 제 1 디바이스에 의해서 상기 제 1 문자를 결정하는 단계를 더 포함하고,
    상기 제 1 데이터는 상기 제 1 문자를 포함하는 것을 특징으로 하는 디바이스를 원격으로 제어하기 위한 방법.
  9. 인스트럭션(instruction)으로 인코딩된 컴퓨터 판독가능한 저장 매체로서, 상기 인스트럭션은, 실행될 때, 제 1 디바이스의 하나 이상의 프로세서들로 하여금 디바이스를 원격으로 제어하기 위한 동작들을 수행하게 하며, 상기 동작들은,
    제 1 디바이스에서, 상기 제 1 디바이스의 존재-감지 디스플레이를 통해, 제 1 드로잉 제스처를 포함하는 제 1 유저 입력을 수신하는 동작, 상기 제 1 드로잉 제스처는 제 1 문자(character)에 대응하는 드로잉을 나타내며;
    상기 제 1 디바이스에 의해, 상기 제 1 드로잉 제스처를 나타내는 제 1 데이터를 상기 제 1 디바이스에 무선으로 연결된 제 2 디바이스로 전송하는 동작, 상기 제 2 디바이스는 하나 이상의 선택가능한 요소를 출력하는 디스플레이를 포함하고, 상기 선택가능한 요소들 중 적어도 제 1 요소는 상기 제 1 문자를 포함하고 그리고 상기 제 1 데이터에 기초하여 상기 제 2 디바이스의 디스플레이 상에 시각적으로 표현되며;
    상기 제 1 디바이스에서, 상기 제 1 디바이스의 존재-감지 디스플레이를 통해 제 2 드로잉 제스처를 포함하는 제 2 유저 입력을 수신하는 동작, 상기 제 2 드로잉 제스처는 제 2 문자를 나타내는 드로잉을 나타내며;
    상기 제 1 디바이스에 의해서 상기 제 2 디바이스로, 상기 제 2 드로잉 제스처를 나타내는 제 2 데이터를 전송하는 동작, 상기 선택가능한 요소들 중 적어도 제 2 요소는 상기 제 1 문자 및 상기 제 2 문자 둘다를 포함하고 그리고 상기 제 2 데이터에 기초하여 상기 제 2 디바이스의 디스플레이 상에 시각적으로 표현되며;
    상기 제 2 데이터를 전송한 이후에, 상기 제 1 디바이스에서, 상기 제 1 디바이스의 존재-감지 디스플레이를 통해 움직임(motion) 제스처를 포함하는 제 3 유저 입력을 수신하는 동작; 그리고
    상기 제 1 디바이스에 의해서 상기 제 2 디바이스로, 상기 움직임 제스처를 나타내는 제 3 데이터를 전송하는 동작
    을 포함하며,
    상기 선택가능한 요소들 중 적어도 제 3 요소는 상기 제 1 문자를 포함하고 그리고 상기 제 3 데이터에 기초하여 상기 제 2 디바이스의 디스플레이 상에 시각적으로 표현되는 것을 특징으로 하는 컴퓨터 판독가능한 저장 매체.
  10. 제9항에 있어서,
    상기 제 2 디바이스의 디스플레이는 상기 제 1 데이터에 기초하여 상기 제 1 드로잉 제스처의 표현을 출력하는 것을 특징으로 하는 컴퓨터 판독가능한 저장 매체.
  11. 제 2 디바이스를 원격으로 제어하기 위한 제 1 디바이스로서, 상기 제 1 디바이스는,
    하나 이상의 프로세서들;
    존재-감지 디스플레이;
    제 1 드로잉 제스처를 포함하는 제 1 유저 입력과 제 2 드로잉 제스처를 포함하는 제 2 유저 입력을 상기 존재-감지 디스플레이를 통해 수신하도록 상기 하나 이상의 프로세서에 의해 동작가능한 제스처 모듈, 상기 제 1 드로잉 제스처는 제 1 문자에 대응하는 드로잉을 나타내고 상기 제 2 드로잉 제스처는 제 2 문자에 대응하는 드로잉을 나타내며;
    상기 제 1 드로잉 제스처를 나타내는 제 1 데이터를 상기 제 1 디바이스에 무선으로 연결된 제 2 디바이스로 전송하도록 된 네트워크 인터페이스, 상기 제 2 디바이스는 하나 이상의 선택가능한 요소를 출력하는 디스플레이를 포함하고, 상기 선택가능한 요소들 중 적어도 제 1 요소는 상기 제 1 문자를 포함하고 그리고 상기 제 1 데이터에 기초하여 상기 제 2 디바이스의 디스플레이 상에 시각적으로 표현되며;
    상기 네트워크 인터페이스는 또한 상기 제 2 드로잉 제스처를 나타내는 제 2 데이터를 상기 제 1 디바이스에 무선으로 연결된 제 2 디바이스로 전송하도록 되며, 상기 선택가능한 요소들 중 적어도 제 2 요소는 상기 제 1 문자 및 상기 제 2 문자 둘다를 포함하고 그리고 상기 제 2 데이터에 기초하여 상기 제 2 디바이스의 디스플레이 상에 시각적으로 표현되며;
    상기 존재-감지 유저 인터페이스 디바이스를 통해 움직임 제스처를 포함하는 제 3 유저 입력을 수신하도록 상기 하나 이상의 프로세서에 의해 동작가능한 유저 인터페이스 제어기
    를 포함하고,
    상기 네트워크 인터페이스는 또한 상기 움직임 제스처를 나타내는 제 3 데이터를 상기 제 2 디바이스로 전송하도록 되며, 상기 선택가능한 요소들 중 적어도 제 3 요소는 상기 제 1 문자를 포함하고 그리고 상기 제 3 데이터에 기초하여 상기 제 2 디바이스의 디스플레이 상에 시각적으로 표현되는 것을 특징으로 하는 제 2 디바이스를 원격으로 제어하기 위한 제 1 디바이스.
  12. 제 1 디바이스가 제 2 디바이스를 원격으로 제어하기 위한 시스템으로서, 상기 시스템은,
    제 1 디바이스, 상기 제 1 디바이스는,
    유저 입력을 수신하도록 된 존재-감지 디스플레이, 및
    데이터를 송신하도록 된 네트워크 인터페이스를 포함하고; 그리고
    상기 제 1 디바이스에 연결된 제 2 디바이스
    를 포함하며,
    상기 제 2 디바이스는 하나 이상의 선택가능한 요소들을 출력하도록 된 디스플레이를 포함하며,
    상기 존재-감지 디스플레이는 제 1 드로잉 제스처를 포함하는 제 1 유저 입력을 수신하고, 상기 제 1 드로잉 제스처는 제 1 문자에 대응하는 드로잉을 나타내며,
    상기 네트워크 인터페이스는 상기 제 1 드로잉 제스처를 나타내는 제 1 데이터를 상기 제 2 디바이스로 전송하며,
    상기 선택가능한 요소들 중 적어도 제 1 요소는 상기 제 1 문자를 포함하고 그리고 상기 제 1 데이터에 기초하여 상기 제 2 디바이스의 디스플레이 상에 시각적으로 표현되며,
    상기 존재-감지 유저 인터페이스 디바이스는 제 2 드로잉 제스처를 포함하는 제 2 유저 입력을 수신하고, 상기 제 2 드로잉 제스처는 제 2 문자에 대응하는 드로잉을 나타내며,
    상기 네트워크 인터페이스는 상기 제 2 드로잉 제스처를 나타내는 제 2 데이터를 상기 제 2 디바이스로 전송하며,
    상기 선택가능한 요소들 중 적어도 제 2 요소는 상기 제 1 문자 및 상기 제 2 문자 둘다를 포함하고 그리고 상기 제 2 데이터에 기초하여 상기 제 2 디바이스의 디스플레이 상에 시각적으로 표현되는 것에 응답하여 선택되며,
    상기 제 2 데이터가 전송된 이후에, 상기 존재-감지 디스플레이는 움직임(motion) 제스처를 포함하는 제 3 유저 입력을 수신하며,
    상기 네트워크 인터페이스는 상기 움직임 제스처를 나타내는 제 3 데이터를 상기 제 2 디바이스로 전송하며, 그리고
    상기 선택가능한 요소들 중 적어도 제 3 요소는 상기 제 1 문자를 포함하고 그리고 상기 제 3 데이터에 기초하여 상기 제 2 디바이스의 디스플레이 상에 시각적으로 표현되는 것을 특징으로 하는 제 1 디바이스가 제 2 디바이스를 원격으로 제어하기 위한 시스템.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020137024833A 2011-02-23 2012-02-14 리모트 컨트롤 동작을 위한 터치 제스처 KR101450231B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/033,295 2011-02-23
US13/033,295 US20120216152A1 (en) 2011-02-23 2011-02-23 Touch gestures for remote control operations
US13/250,055 US8271908B2 (en) 2011-02-23 2011-09-30 Touch gestures for remote control operations
US13/250,055 2011-09-30
PCT/US2012/025093 WO2012115823A1 (en) 2011-02-23 2012-02-14 Touch gestures for remote control operations

Publications (2)

Publication Number Publication Date
KR20130121992A KR20130121992A (ko) 2013-11-06
KR101450231B1 true KR101450231B1 (ko) 2014-10-13

Family

ID=46653796

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137024833A KR101450231B1 (ko) 2011-02-23 2012-02-14 리모트 컨트롤 동작을 위한 터치 제스처

Country Status (4)

Country Link
US (2) US20120216152A1 (ko)
EP (1) EP2678765A1 (ko)
KR (1) KR101450231B1 (ko)
WO (1) WO2012115823A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102614096B1 (ko) 2022-08-10 2023-12-15 경북대학교 산학협력단 예측 모델 생성 장치 및 방법

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5327017B2 (ja) * 2009-11-24 2013-10-30 ソニー株式会社 遠隔操作装置、遠隔操作システム、遠隔操作装置による情報処理方法およびプログラム
US9607505B2 (en) 2010-09-22 2017-03-28 Apple Inc. Closed loop universal remote control
WO2012050251A1 (ko) * 2010-10-14 2012-04-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20130007811A (ko) * 2011-07-11 2013-01-21 삼성전자주식회사 외부 장치와 연결된 휴대 단말기의 화면 표시 방법 및 장치
US20140068526A1 (en) * 2012-02-04 2014-03-06 Three Bots Ltd Method and apparatus for user interaction
US20130207901A1 (en) * 2012-02-10 2013-08-15 Nokia Corporation Virtual Created Input Object
US9817479B2 (en) 2012-02-24 2017-11-14 Nokia Technologies Oy Method and apparatus for interpreting a gesture
US20130298071A1 (en) * 2012-05-02 2013-11-07 Jonathan WINE Finger text-entry overlay
US20130339859A1 (en) * 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
CN103677377A (zh) * 2012-09-26 2014-03-26 北京鼎元丰和科技有限公司 实现终端展示的系统、装置
US8584049B1 (en) * 2012-10-16 2013-11-12 Google Inc. Visual feedback deletion
EP2722744A1 (en) * 2012-10-16 2014-04-23 Advanced Digital Broadcast S.A. Method for generating a graphical user interface.
EP2722745A1 (en) * 2012-10-17 2014-04-23 Advanced Digital Broadcast S.A. A method for operating a gesture-controlled graphical user interface
CN103778549A (zh) * 2012-10-23 2014-05-07 北京鼎元丰和科技有限公司 移动应用推广系统及方法
US8640046B1 (en) * 2012-10-23 2014-01-28 Google Inc. Jump scrolling
WO2014073825A1 (en) * 2012-11-09 2014-05-15 Lg Electronics Inc. Portable device and control method thereof
US10001918B2 (en) 2012-11-21 2018-06-19 Algotec Systems Ltd. Method and system for providing a specialized computer input device
US20140168098A1 (en) * 2012-12-17 2014-06-19 Nokia Corporation Apparatus and associated methods
US20140189602A1 (en) * 2012-12-28 2014-07-03 Mediatek Inc. Method and associated system for displaying graphic content on extension screen
US20140223382A1 (en) * 2013-02-01 2014-08-07 Barnesandnoble.Com Llc Z-shaped gesture for touch sensitive ui undo, delete, and clear functions
US20140325568A1 (en) * 2013-04-26 2014-10-30 Microsoft Corporation Dynamic creation of highlight reel tv show
KR102203885B1 (ko) * 2013-04-26 2021-01-15 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
US10180728B2 (en) * 2013-05-17 2019-01-15 Citrix Systems, Inc. Remoting or localizing touch gestures at a virtualization client agent
US9454251B1 (en) * 2013-06-26 2016-09-27 Google Inc. Methods, systems, and media for controlling a remote device using a touch screen of a mobile device in a display inhibited state
KR102207443B1 (ko) * 2013-07-26 2021-01-26 삼성전자주식회사 그래픽 유저 인터페이스 제공 방법 및 장치
KR102063103B1 (ko) * 2013-08-23 2020-01-07 엘지전자 주식회사 이동 단말기
KR102130797B1 (ko) 2013-09-17 2020-07-03 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US20150106764A1 (en) * 2013-10-15 2015-04-16 Apple Inc. Enhanced Input Selection
JP2015176186A (ja) * 2014-03-13 2015-10-05 ソニー株式会社 情報処理装置、情報処理方法、及び情報処理システム
US20150371529A1 (en) * 2014-06-24 2015-12-24 Bose Corporation Audio Systems and Related Methods and Devices
US9426203B2 (en) 2014-06-27 2016-08-23 Microsoft Technology Licensing, Llc Remote application control interface
US9554189B2 (en) 2014-06-30 2017-01-24 Microsoft Technology Licensing, Llc Contextual remote control interface
US10747426B2 (en) 2014-09-01 2020-08-18 Typyn, Inc. Software for keyboard-less typing based upon gestures
CN107210950A (zh) 2014-10-10 2017-09-26 沐择歌有限责任公司 用于共享用户交互的设备
US10678326B2 (en) 2015-09-25 2020-06-09 Microsoft Technology Licensing, Llc Combining mobile devices with people tracking for large display interactions
US10572497B2 (en) 2015-10-05 2020-02-25 International Business Machines Corporation Parsing and executing commands on a user interface running two applications simultaneously for selecting an object in a first application and then executing an action in a second application to manipulate the selected object in the first application
US10228775B2 (en) * 2016-01-22 2019-03-12 Microsoft Technology Licensing, Llc Cross application digital ink repository
US9712863B1 (en) 2016-08-09 2017-07-18 Le Technology, Inc. Remote control device with programming guide information
KR102655584B1 (ko) 2017-01-02 2024-04-08 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
CN108319422A (zh) * 2017-01-18 2018-07-24 中兴通讯股份有限公司 一种多屏互动触控显示方法、装置、存储介质和终端
US10433134B2 (en) * 2017-01-24 2019-10-01 Arris Enterprises Llc Video gateway as an internet of things mesh enhancer apparatus and method
CN112732154A (zh) * 2019-10-29 2021-04-30 福建天泉教育科技有限公司 远程控制中扩展触控功能的方法、存储介质
US11803247B2 (en) * 2021-10-25 2023-10-31 Kyndryl, Inc. Gesture-based control of plural devices in an environment
KR20230087152A (ko) * 2021-12-09 2023-06-16 김병수 리모트컨트롤 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010118247A1 (en) 2009-04-10 2010-10-14 Google Inc. Glyph entry on computing device
US20100293462A1 (en) 2008-05-13 2010-11-18 Apple Inc. Pushing a user interface to a remote device

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5726669A (en) * 1988-06-20 1998-03-10 Fujitsu Limited Multi-window communication system
US5649104A (en) * 1993-03-19 1997-07-15 Ncr Corporation System for allowing user of any computer to draw image over that generated by the host computer and replicating the drawn image to other computers
JP2863428B2 (ja) * 1993-05-18 1999-03-03 富士通株式会社 会話型グラフィック・システム
US5729687A (en) * 1993-12-20 1998-03-17 Intel Corporation System for sending differences between joining meeting information and public meeting information between participants in computer conference upon comparing annotations of joining and public meeting information
DE4446139C2 (de) * 1993-12-30 2000-08-17 Intel Corp Verfahren und Einrichtung zum Hervorheben von Objekten in einem Konferenzsystem
JP3486459B2 (ja) * 1994-06-21 2004-01-13 キヤノン株式会社 電子情報機器及びその制御方法
US5880743A (en) * 1995-01-24 1999-03-09 Xerox Corporation Apparatus and method for implementing visual animation illustrating results of interactive editing operations
JPH08305663A (ja) * 1995-04-28 1996-11-22 Hitachi Ltd 共同作業支援システム
US5867156A (en) * 1995-11-08 1999-02-02 Intel Corporation Automatic viewport display synchronization during application sharing
US6049329A (en) * 1996-06-04 2000-04-11 International Business Machines Corporartion Method of and system for facilitating user input into a small GUI window using a stylus
US5923323A (en) * 1996-06-26 1999-07-13 Xerox Corporation Method and apparatus for organizing and displaying long lists of data items on a work space of a computer controlled display system
US5748185A (en) * 1996-07-03 1998-05-05 Stratos Product Development Group Touchpad with scroll and pan regions
IL119498A (en) * 1996-10-27 2003-02-12 Advanced Recognition Tech Application launching system
US5923307A (en) * 1997-01-27 1999-07-13 Microsoft Corporation Logical monitor configuration in a multiple monitor environment
EP0998702A1 (en) * 1997-08-01 2000-05-10 Muse Technologies, Inc. Shared multi-user interface for multi-dimensional synthetic environments
US6057845A (en) * 1997-11-14 2000-05-02 Sensiva, Inc. System, method, and apparatus for generation and recognizing universal commands
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
US7406214B2 (en) * 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
US7750891B2 (en) 2003-04-09 2010-07-06 Tegic Communications, Inc. Selective input system based on tracking of motion parameters of an input device
US7821503B2 (en) 2003-04-09 2010-10-26 Tegic Communications, Inc. Touch screen and graphical user interface
US6476834B1 (en) * 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6992702B1 (en) * 1999-09-07 2006-01-31 Fuji Xerox Co., Ltd System for controlling video and motion picture cameras
US6956562B1 (en) * 2000-05-16 2005-10-18 Palmsource, Inc. Method for controlling a handheld computer by entering commands onto a displayed feature of the handheld computer
US20020116205A1 (en) * 2000-05-19 2002-08-22 Ankireddipally Lakshmi Narasimha Distributed transaction processing system
US7289110B2 (en) * 2000-07-17 2007-10-30 Human Messaging Ab Method and arrangement for identifying and processing commands in digital images, where the user marks the command, for example by encircling it
US7202861B2 (en) * 2001-06-25 2007-04-10 Anoto Ab Control of a unit provided with a processor
US6938222B2 (en) * 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
US6842795B2 (en) * 2002-06-10 2005-01-11 Siemens Communications, Inc. Methods and apparatus for shifting focus between multiple devices
US7225131B1 (en) * 2002-06-14 2007-05-29 At&T Corp. System and method for accessing and annotating electronic medical records using multi-modal interface
US7353453B1 (en) * 2002-06-28 2008-04-01 Microsoft Corporation Method and system for categorizing data objects with designation tools
US20040145574A1 (en) * 2003-01-29 2004-07-29 Xin Zhen Li Invoking applications by scribing an indicium on a touch screen
KR20040083788A (ko) * 2003-03-25 2004-10-06 삼성전자주식회사 제스쳐 커맨드를 이용하여 프로그램을 구동시킬 수 있는휴대용 단말기 및 이를 이용한 프로그램 구동 방법
US7886236B2 (en) * 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures
US8014768B2 (en) 2003-04-30 2011-09-06 Disney Enterprises, Inc. Mobile phone multimedia controller
US20040240739A1 (en) * 2003-05-30 2004-12-02 Lu Chang Pen gesture-based user interface
EP1639441A1 (en) * 2003-07-01 2006-03-29 Nokia Corporation Method and device for operating a user-input area on an electronic display device
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7532196B2 (en) * 2003-10-30 2009-05-12 Microsoft Corporation Distributed sensing techniques for mobile devices
US7685134B2 (en) * 2003-12-31 2010-03-23 Nokia Corporation Media file sharing, correlation of metadata related to shared media files and assembling shared media file collections
US7831933B2 (en) * 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US7277726B2 (en) 2004-05-03 2007-10-02 Motorola, Inc. Controlling wireless mobile devices from a remote device
US20060004834A1 (en) * 2004-06-30 2006-01-05 Nokia Corporation Dynamic shortcuts
US7724242B2 (en) * 2004-08-06 2010-05-25 Touchtable, Inc. Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter
US7557774B2 (en) * 2004-08-13 2009-07-07 Microsoft Corporation Displaying visually correct pointer movements on a multi-monitor display system
US7761814B2 (en) * 2004-09-13 2010-07-20 Microsoft Corporation Flick gesture
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
US7533189B2 (en) * 2005-06-21 2009-05-12 Microsoft Corporation Enabling a graphical window modification command to be applied to a remotely generated graphical window
US20070050054A1 (en) 2005-08-26 2007-03-01 Sony Ericssson Mobile Communications Ab Mobile communication terminal with virtual remote control
JP2007109118A (ja) * 2005-10-17 2007-04-26 Hitachi Ltd 入力指示処理装置および入力指示処理プログラム
US7636794B2 (en) * 2005-10-31 2009-12-22 Microsoft Corporation Distributed sensing techniques for mobile devices
US7817991B2 (en) * 2006-02-14 2010-10-19 Microsoft Corporation Dynamic interconnection of mobile devices
US7567233B2 (en) * 2006-09-06 2009-07-28 Stereotaxis, Inc. Global input device for multiple computer-controlled medical systems
US20080065722A1 (en) 2006-09-11 2008-03-13 Apple Computer, Inc. Media device playlists
US7698660B2 (en) * 2006-11-13 2010-04-13 Microsoft Corporation Shared space for communicating information
US8060841B2 (en) * 2007-03-19 2011-11-15 Navisense Method and device for touchless media searching
JP4560062B2 (ja) * 2007-03-29 2010-10-13 株式会社東芝 筆跡判定装置、方法およびプログラム
US7693842B2 (en) * 2007-04-09 2010-04-06 Microsoft Corporation In situ search for active note taking
US8059101B2 (en) * 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
JP5282333B2 (ja) * 2008-01-07 2013-09-04 株式会社Ｉｓｏｗａ 被搬送物の搬送装置
US9311115B2 (en) * 2008-05-13 2016-04-12 Apple Inc. Pushing a graphical user interface to a remote device with display rules provided by the remote device
US20100216508A1 (en) * 2009-02-23 2010-08-26 Augusta Technology, Inc. Systems and Methods for Driving an External Display Device Using a Mobile Phone Device
US8243983B2 (en) * 2009-08-14 2012-08-14 Microsoft Corporation Graphically encoded data copy and paste
US20110239114A1 (en) * 2010-03-24 2011-09-29 David Robbins Falkenburg Apparatus and Method for Unified Experience Across Different Devices
US9235268B2 (en) * 2010-04-09 2016-01-12 Nokia Technologies Oy Method and apparatus for generating a virtual interactive workspace

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100293462A1 (en) 2008-05-13 2010-11-18 Apple Inc. Pushing a user interface to a remote device
WO2010118247A1 (en) 2009-04-10 2010-10-14 Google Inc. Glyph entry on computing device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102614096B1 (ko) 2022-08-10 2023-12-15 경북대학교 산학협력단 예측 모델 생성 장치 및 방법

Also Published As

Publication number Publication date
KR20130121992A (ko) 2013-11-06
US8271908B2 (en) 2012-09-18
WO2012115823A1 (en) 2012-08-30
US20120216154A1 (en) 2012-08-23
US20120216152A1 (en) 2012-08-23
EP2678765A1 (en) 2014-01-01

Similar Documents

Publication Publication Date Title
KR101450231B1 (ko) 리모트 컨트롤 동작을 위한 터치 제스처
US10366602B2 (en) Interactive multi-touch remote control
EP2924553B1 (en) Method and system for controlling movement of cursor in an electronic device
CN105051705B (zh) 便携式设备及其控制方法
US9146672B2 (en) Multidirectional swipe key for virtual keyboard
KR102091235B1 (ko) 휴대 단말기에서 메시지를 편집하는 장치 및 방법
KR100801089B1 (ko) 터치 및 드래그를 이용하여 제어 가능한 모바일 장치 및 그조작 방법
KR101930225B1 (ko) 터치스크린 동작모드의 제어방법 및 제어장치
US10175880B2 (en) Display apparatus and displaying method thereof
KR101998941B1 (ko) 사용자 인터페이스 및 타일의 의미 스케일을 조정하기 위한 방법
US9465470B2 (en) Controlling primary and secondary displays from a single touchscreen
US20170024119A1 (en) User interface and method for controlling a volume by means of a touch-sensitive display unit
US20140258860A1 (en) System and method for providing feedback to three-touch stroke motion
US20150222947A1 (en) Method and device for controlling a display device
JP5911321B2 (ja) 表示制御装置および表示制御装置の制御方法
US20170123610A1 (en) User terminal, electronic device, and control method thereof
KR101485791B1 (ko) 터치 스크린을 갖는 휴대 단말기 및 그의 기능 제어 방법
KR101722207B1 (ko) 오브젝트 실행 방법 및 장치
JP2015153197A (ja) ポインティング位置決定システム
US20160248897A1 (en) Mechanism for providing user-programmable button
US20150106764A1 (en) Enhanced Input Selection
KR101550450B1 (ko) 휴대단말기의 줌 기능 제어방법 및 제어장치
KR101928837B1 (ko) 터치 스크린을 갖는 휴대 단말기 및 그의 기능 제어 방법
JP6368263B2 (ja) 情報処理システム、情報処理装置および遠隔操作支援方法
CN105511743B (zh) 一种控制响应方法及智能电子设备

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180927

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190925

Year of fee payment: 6