KR20160065673A - 디바이스를 제어하는 방법, 시스템 및 그 디바이스 - Google Patents

디바이스를 제어하는 방법, 시스템 및 그 디바이스 Download PDF

Info

Publication number
KR20160065673A
KR20160065673A KR1020140169971A KR20140169971A KR20160065673A KR 20160065673 A KR20160065673 A KR 20160065673A KR 1020140169971 A KR1020140169971 A KR 1020140169971A KR 20140169971 A KR20140169971 A KR 20140169971A KR 20160065673 A KR20160065673 A KR 20160065673A
Authority
KR
South Korea
Prior art keywords
hovering input
task
application
position information
hovering
Prior art date
Application number
KR1020140169971A
Other languages
English (en)
Other versions
KR102336445B1 (ko
Inventor
주유성
김요한
백은교
이종원
정현권
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140169971A priority Critical patent/KR102336445B1/ko
Priority to PCT/KR2015/012929 priority patent/WO2016089063A1/en
Priority to EP19201385.2A priority patent/EP3627302A1/en
Priority to CN201580070729.9A priority patent/CN107111446B/zh
Priority to EP15864428.6A priority patent/EP3201748A4/en
Priority to US14/955,663 priority patent/US10824323B2/en
Publication of KR20160065673A publication Critical patent/KR20160065673A/ko
Priority to US17/038,862 priority patent/US11513676B2/en
Application granted granted Critical
Publication of KR102336445B1 publication Critical patent/KR102336445B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Abstract

디바이스에서 획득되는 호버링 입력의 3차원 위치 정보를 획득하고, 디바이스에서 실행되는 어플리케이션의 동작 및 획득되는 호버링 입력의 3차원 위치 정보에 기초하여, 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 선택하고, 호버링 입력에 따라 기 설정된 유형의 실행 입력을 획득하여, 선택된 적어도 하나의 태스크를 수행하는 디바이스를 제어하는 방법이 개시된다.

Description

디바이스를 제어하는 방법, 시스템 및 그 디바이스{Method and system for controlling device and for the same}
본 발명은 디바이스를 제어하는 방법, 디바이스를 제어하는 시스템 및 그 디바이스에 관한 것이다.
네트워크 및 멀티미디어 기술이 발전함에 따라, 디바이스의 사용자는 서비스 제공 서버로부터 다양한 서비스를 제공받을 수 있게 되었다. 또한, 네트워크 및 멀티미디어 기술의 발전과 함께 디바이스에 관한 연구가 활발히 이루어지면서, 디바이스들은 사용자에게 여러 가지 형태의 사용자 인터페이스를 제공할 수 있다.
디바이스가 제공 가능한 서비스와 사용자 인터페이스의 형태가 다양해 지면서, 사용자가 원하는 서비스를 제공받기 위해, 디바이스를 제어하는 경우, 입력할 수 있는 사용자 입력의 형태도 다양해졌다. 최근에는 디바이스에 포함되는 센서들이 다양해 지면서, 사용자가 이용 가능한 서비스에 보다 적합한 입력 형태를 제공할 수 있도록 다양한 종류의 입력 형태를 인식하여 디바이스를 제어할 수 있는 기술이 요구되고 있다.
본 발명은 디바이스에서 획득한 호버링 입력을 기초로 디바이스에서 디스플레이 되는 오브젝트를 제어하는 방법, 장치 및 시스템에 관한 것이다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법은 획득되는 호버링 입력의 3차원 위치 정보를 획득하는 단계; 디바이스에서 실행되는 어플리케이션의 동작 및 획득되는 호버링 입력의 3차원 위치 정보에 기초하여, 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 선택하는 단계; 호버링 입력에 따라 기 설정된 유형의 실행 입력을 획득하여, 선택된 적어도 하나의 태스크를 수행하는 단계를 포함한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 적어도 하나의 태스크를 선택하는 단계는, 디바이스와 호버링 입력을 생성하는 호버링 입력 수단 간의 거리를 결정하는 단계; 결정된 거리에 기초하여 호버링 입력의 3차원 위치 정보를 획득하는 단계; 및 호버링 입력의 3차원 위치 정보에 따라 결정되는 호버링 입력의 종류에 기초하여 적어도 하나의 태스크를 선택하는 단계를 포함한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 적어도 하나의 태스크를 선택하는 단계는, 복수의 태스크들을 나타내고 어플리케이션의 동작에 따라 출력되는 적어도 하나의 객체들 중에서, 호버링 입력을 생성하는 호버링 입력 수단의 위치에 대응되는 객체를 결정하는 단계를 포함하고, 적어도 하나의 태스크는, 결정된 객체 및 호버링 입력의 3차원 위치 정보에 따라 결정된다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 복수의 태스크들은, 디바이스에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별된다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 적어도 하나의 태스크를 선택하는 단계는, 어플리케이션이 실행되는 경우, 디바이스에 출력되는 객체들 중에서 적어도 하나가 나타내는 디바이스에서 실행 가능한 복수의 어플리케이션들 중 적어도 하나를 호버링 입력의 3차원 위치 정보에 기초하여, 선택하는 단계를 포함한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 적어도 하나의 태스크를 선택하는 단계는, 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 방향에 관한 정보를 획득하는 단계; 호버링 입력 수단이 움직이는 방향에 대응되는 동작을 선택하는 단계; 및 호버링 입력의 3차원 위치 정보에 기초하여, 상기 선택된 동작이 수행되는 방법을 결정하는 단계를 포함한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 적어도 하나의 태스크를 선택하는 단계는, 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 형태에 기초하여 획득한 호버링 입력의 종류를 결정하는 단계; 결정된 호버링 입력의 종류에 대응되는 적어도 하나의 동작을 선택하는 단계; 및 호버링 입력의 3차원 위치 정보에 기초하여, 선택된 동작이 수행되는 방법을 결정하는 단계를 포함한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 실행 입력을 획득하는 단계는, 어플리케이션에 관해 기 저장된 데이터 베이스에 기초하여 호버링 입력에 대응되는 실행 입력인지 여부를 판단하는 단계를 포함하고, 선택된 적어도 하나의 태스크를 수행하는 단계는, 호버링 입력과 대응되는 실행 입력을 획득한 경우 선택된 적어도 하나의 태스크를 수행한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법은, 제 1 디바이스에서 획득되는 호버링 입력의 3차원 위치 정보를 포함하는 특성 정보를 획득하는 단계; 획득된 특성 정보를 제 2 디바이스로 전송하는 단계; 및 제 2 디바이스에서 실행되는 어플리케이션의 동작 및 특성 정보에 기초하여, 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 수행하는 단계를 포함한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 호버링 입력의 3차원 위치 정보는, 호버링 입력을 생성하는 호버링 입력 수단과 제 1 디바이스 간의 거리에 기초하여 결정되고, 호버링 입력의 특성 정보는, 호버링 입력 수단의 움직임 정보를 더 포함한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 복수의 태스크들은, 제 2 디바이스에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별된다.
본 발명의 일 실시예에 따른 디바이스는 호버링 입력을 획득하는 입력부; 디바이스에서 실행되는 어플리케이션의 동작 및 획득되는 호버링 입력의 3차원 위치 정보에 기초하여, 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 선택하는 제어부; 및 호버링 입력에 따라 기 설정된 유형의 실행 입력을 획득하여, 선택된 적어도 하나의 태스크를 수행하는 출력부를 포함한다.
본 발명의 일 실시예에 따른 디바이스에 있어서, 제어부는, 디바이스와 호버링 입력을 생성하는 호버링 입력 수단 간의 거리를 결정하여, 결정된 거리에 기초하여 호버링 입력의 3차원 위치 정보를 획득하고, 호버링 입력의 3차원 위치 정보에 따라 결정되는 호버링 입력의 종류에 기초하여 적어도 하나의 태스크를 선택한다.
본 발명의 일 실시예에 따른 디바이스에 있어서, 제어부는, 복수의 태스크들을 나타내고 어플리케이션의 동작에 따라 출력되는 적어도 하나의 객체들 중에서, 호버링 입력을 생성하는 호버링 입력 수단의 위치에 대응되는 객체를 결정하고, 적어도 하나의 태스크는, 결정된 객체 및 호버링 입력의 3차원 위치 정보에 따라 결정된다.
본 발명의 일 실시예에 따른 디바이스에 있어서, 복수의 태스크들은, 디바이스에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별된다.
본 발명의 일 실시예에 따른 디바이스에 있어서, 제어부는, 어플리케이션이 실행되는 경우, 디바이스에 출력되는 객체들 중에서 적어도 하나가 나타내는 디바이스에서 실행 가능한 복수의 어플리케이션들 중 적어도 하나를 호버링 입력의 3차원 위치 정보에 기초하여, 선택한다.
본 발명의 일 실시예에 따른 디바이스에 있어서, 제어부는, 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 방향에 관한 정보를 획득하여, 호버링 입력이 움직이는 방향에 대응되는 동작을 선택하고, 호버링 입력의 3차원 위치 정보에 기초하여, 선택된 동작을 수행하는 방법을 결정한다.
본 발명의 일 실시예에 따른 디바이스에 있어서, 제어부는, 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 패턴에 기초하여 획득한 호버링 입력의 종류를 결정하여, 결정된 호버링 입력의 종류에 대응되는 적어도 하나의 동작을 선택하고, 호버링 입력의 3차원 위치 정보에 기초하여, 선택된 동작이 수행되는 방법을 결정한다.
본 발명의 일 실시예에 따른 디바이스에 있어서, 제어부는, 어플리케이션에 관해 기 저장된 데이터 베이스에 기초하여 획득된 실행 입력이 호버링 입력에 대응되는 실행 입력인지 여부를 판단하고, 출력부는, 호버링 입력과 대응되는 실행 입력을 획득한 경우 선택된 적어도 하나의 태스크를 수행한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템은 획득되는 호버링 입력의 3차원 위치 정보를 포함하는 특성 정보를 획득하는 제 1 디바이스; 및 제 1 디바이스로부터 특성 정보를 수신하고, 실행되는 어플리케이션의 동작 및 특성 정보에 기초하여, 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 수행하는 제 2 디바이스를 포함한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템에 있어서, 호버링 입력의 3차원 위치 정보는, 호버링 입력을 생성하는 호버링 입력 수단과 제 1 디바이스 간의 거리에 기초하여 결정되고, 호버링 입력의 특성 정보는, 호버링 입력 수단의 움직임 정보를 더 포함한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템에 있어서, 복수의 태스크들은, 제 2 디바이스에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별된다.
도 1은 본 발명의 일 실시예에 따라 디바이스를 제어하는 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따라 디바이스를 제어하는 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따라 디바이스가 획득한 호버링 입력의 3차원 위치 정보에 기초하여 디바이스를 제어하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따라 디바이스가 획득한 호버링 입력의 3차원 위치 정보에 기초하여, 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따라 디바이스가 호버링 입력의 3차원 위치 정보에 따라 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 다이어리 어플리케이션이 실행되는 경우, 디바이스가 호버링 입력의 종류에 따라 다이어리 어플리케이션과 관련된 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 따라 음악 재생 어플리케이션이 실행되는 경우, 디바이스가 호버링 입력의 종류에 따라 음악 재생 어플리케이션과 관련된 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따라 그림판 어플리케이션이 실행되는 경우, 디바이스가 호버링 입력의 종류에 따라 그림판 어플리케이션과 관련된 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따라 사진 폴더 어플리케이션이 실행되는 경우, 디바이스가 호버링 입력의 종류에 따라 사진 폴더 어플리케이션과 관련된 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따라 디바이스가 어플리케이션 실행 시 출력되는 객체들 중 어느 하나에 대응되는 호버링 입력에 기초하여 디바이스를 제어하는 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 일 실시예에 따라, 디바이스가 어플리케이션 실행 시 출력되는 객체들 중 어느 하나에 대응되는 호버링 입력에 기초하여 디바이스를 제어하는 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 디바이스가 호버링 입력 수단의 움직임 및 호버링 입력의 3차원 위치 정보에 기초하여 복수의 태스크들 중 적어도 하나의 태스크를 선택하는 방법을 설명하기 위한 흐름도이다.
도 13은 본 발명의 일 실시예에 따라 디바이스가 호버링 입력 수단이 움직이는 방향 및 호버링 입력의 3차원 위치 정보에 기초하여 복수의 태스크들 중 적어도 하나의 태스크를 수행하는 방법을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따라 디바이스가 호버링 입력 수단의 움직이는 패턴 및 호버링 입력의 3차원 위치 정보에 기초하여 복수의 태스크들 중 적어도 하나의 태스크를 수행하는 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 디바이스(100)가 호버링 입력의 3차원 정보에 기초하여, 결정된 수행 단위에 따라 태스크를 수행하는 방법을 설명하기 위한 흐름도이다.
도 16은 본 발명의 일 실시예에 따른 디바이스(100)가 동영상 재생 어플리케이션이 실행되는 경우 호버링 입력의 3차원 정보에 기초하여 결정된 수행 단위에 따라 태스크를 수행하는 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따라 디바이스를 제어하는 시스템을 설명하기 위한 개념도이다.
도 18은 본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템에서 디바이스를 제어하는 방법을 설명하기 위한 흐름도이다.
도 19는 본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템이 제 1 디바이스 및 제 2 디바이스를 제어하는 방법을 설명하기 위한 도면이다.
도 20은 본 발명의 다른 실시예에 따른 디바이스를 제어하는 시스템이 제 1 디바이스 및 제 2 디바이스를 제어하는 방법을 설명하기 위한 도면이다.
도 21 및 도 22는 본 발명의 일 실시예에 따른 디바이스의 구성을 설명하기 위한 블록 구성도이다.
도 23은 본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템에 포함되는 제 1 디바이스의 구성을 설명하기 위한 블록 구성도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시예에 따라 디바이스(100)를 제어하는 방법을 설명하기 위한 도면이다.
디바이스(100)는 어플리케이션을 실행하는 중에 호버링 입력(10)을 획득한다. 명세서 전체에서 어플리케이션은 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 말한다. 본 명세서에 기술되는 어플리케이션은 다양할 수 있다. 예를 들어, 음악 재생 어플리케이션, 게임 어플리케이션, 동영상 재생 어플리케이션, 지도 어플리케이션, 메모 어플리케이션, 다이어리 어플리케이션, 폰 북 어플리케이션, 방송 어플리케이션, 운동 지원 어플리케이션, 결제 어플리케이션, 사진 폴더 어플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
디바이스(100)는 사용자로부터 호버링 입력을 획득한다. 여기에서, 호버링 입력은 사용자가 디바이스(100)로부터 일정 거리에 호버링 입력 수단(예컨대, 전자 펜 또는 손가락, 10)를 위치시킴으로써, 디바이스(100)가 감지하는 정전용량을 변화시켜 사용자가 의도한 동작을 수행하기 위한 명령을 디바이스(100)에 전달하는 입력 방식을 나타낸다. 호버링 입력의 종류는 디바이스(100)와 호버링 입력을 생성하는 호버링 입력 수단(10) 간의 거리에 기초하여 결정될 수 있다. 또한, 호버링 입력의 종류는 호버링 입력 수단(10)이 움직이는 패턴 및 움직이는 방향 중 적어도 하나에 기초하여 결정될 수 있다.
예를 들어, 디바이스(100)는 호버링 입력 수단(10) 및 디바이스(100) 간의 거리가 제 1 뎁스(depth)인 제 1 호버링 입력과 호버링 입력 수단(10) 및 디바이스(100) 간의 거리가 제 2 뎁스(depth)인 제 2 호버링 입력을 서로 다른 종류의 호버링 입력으로 판단할 수 있다. 또한, 디바이스(100)는 호버링 입력 수단(10)이 시계 방향으로 움직임에 따라 생성되는 제 3 호버링 입력과 호버링 입력 수단(10)이 반시계 방향으로 움직임에 따라 생성되는 제 4 호버링 입력을 서로 다른 종류의 호버링 입력으로 판단할 수 있다. 디바이스(100)는 호버링 입력 수단(10)이 원의 형태로 움직임에 따라 생성되는 제 5 호버링 입력과 호버링 입력 수단(10)이 사각형의 형태로 움직임에 따라 생성되는 제 6 호버링 입력을 서로 다른 종류의 호버링 입력으로 판단할 수 있다.
디바이스(100)는 호버링 입력이 획득되는 시점에 디바이스(100)에서 실행되고 있는 어플리케이션에 관한 메타데이터를 획득할 수 있다. 예를 들어, 디바이스(100)는 실행 중인 어플리케이션에 표시되는 컨텐츠에 관한 정보 및 애플리케이션에 표시되는 객체에 관한 정보를 획득할 수 있다. 여기에서, 컨텐츠는 어플리케이션이 실행되는 경우, 사용자가 디바이스(100)로부터 제공받을 수 있는 각종 텍스트, 이미지 및 동영상 중 적어도 하나를 포함하는 멀티미디어일 수 있다. 또한, 객체는 어플리케이션이 실행되는 경우, 사용자가 원하는 컨텐츠를 제공받을 수 있도록 어플리케이션을 제어하기 위해 출력되는 식별 표시로서, 아이콘 등을 포함할 수 있다. 다른 예에 따라 어플리케이션에 관한 메타데이터는 어플리케이션 실행 시 수행 가능한 적어도 하나의 태스크에 관한 정보 및 적어도 하나의 태스크와 획득한 사용자 입력 간의 관계에 관한 정보 등을 포함할 수 있다. 예를 들어, 어플리케이션에 관한 메타데이터는 사진 저장 어플리케이션 실행 시 수행 가능한 사진을 삭제하는 태스크, 사진을 편집하는 태스크를 식별 가능한 식별 값 및 획득한 사용자의 호버링 입력과 대응되는 태스크에 관한 정보 등을 포함할 수 있다.
태스크는 디바이스(100)에서 실행되는 어플리케이션의 동작과 관련된 다른 어플리케이션 또는 실행되는 어플리케이션의 동작과 관련되어 수행 가능한 다른 동작을 포함할 수 있다. 여기에서, 동작이란 디바이스(100)가 실행 가능한 기능에 따라 구별될 수 있다. 예를 들어, 디바이스(100)는 동영상 재생 어플리케이션이 실행되는 경우, 동영상을 재생하는 기능을 실행하는 제 1 동작 및 재생되는 동영상을 정지하는 기능을 실행하는 제 2 동작 등을 수행 가능하다.
디바이스(100)에서 동영상 재생 어플리케이션이 실행되는 경우, 태스크는 동영상 재생 어플리케이션과 관련된 동영상 편집 어플리케이션을 포함할 수 있다. 또한, 태스크는 다른 예에 따라 실행되는 동영상 재생 어플리케이션의 동영상을 재생하는 동작과 관련되어 수행 가능한 동영상을 정지하는 동작을 포함할 수 있다.
한편, 복수의 태스크들은 디바이스(100)에서 실행중인 어플리케이션의 동작과 관련된 어느 하나의 동작을 수행하는 수행 단위에 따라 식별될 수도 있다. 수행 단위에 따라, 동작을 수행하는 정밀도가 결정될 수 있다. 예를 들어, 동영상 재생 어플리케이션에서, 사용자가 특정 프레임을 탐색하려고 하는 경우, 수행 단위에 따라 탐색하는 프레임의 단위가 달라질 수 있다. 예를 들어 디바이스(100)는 10개의 프레임 단위로 재생 구간을 탐색할 수도 있고, 1개의 프레임 단위로 재생 구간을 탐색할 수 있다. 이에 대해서는, 도 15 및 도 16을 참조하여 보다 구체적으로 후술하도록 한다.
본 발명의 일 실시예에 따른 디바이스(100)는 다양한 형태의 사용자 입력을 획득할 수 있다. 예를 들어, 디바이스(10)는 호버링 입력을 획득할 수 있다. 다른 에에 따라, 디바이스(100)는 터치 입력을 획득할 수 있다. 또한, 디바이스(100)는 사용자가 호버링 입력 수단(10)의 버튼을 클릭함으로써 발생하는 신호를 획득할 수 있다.
본 발명의 일 실시예에 따른 디바이스(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 디바이스(100)는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자책 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따라 디바이스(100)를 제어하는 방법을 설명하기 위한 흐름도이다.
단계 210에서, 디바이스(100)는 획득되는 호버링 입력의 3차원 위치 정보를 획득한다. 호버링 입력은 디바이스(100)로부터 일정 거리 상에 위치한 호버링 입력 수단(10)에 의해 발생될 수 있다. 호버링 입력의 3차원 위치 정보는 디바이스(100)와 호버링 입력 수단(10) 간의 거리에 기초하여 결정될 수 있다.
단계 220에서, 디바이스(100)는 디바이스(100)에서 실행되는 어플리케이션의 동작 및 획득되는 호버링 입력의 3차원 위치 정보에 기초하여 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 선택한다.
디바이스(100)는 호버링 입력이 획득된 시점의 어플리케이션의 동작에 관한 정보를 획득할 수 있다. 예를 들어, 동영상 재생 어플리케이션의 경우, 디바이스(100)는 어플리케이션에서 동영상이 재생되고 있었는지 또는 정지되어 있었는지 등에 대한 정보를 획득할 수 있다. 다른 예를 들어, 메뉴 어플리케이션의 경우, 디바이스(100)는 메뉴 어플리케이션에서 다른 어플리케이션들에 관한 정보가 디스플레이 되고 있는지 또는 잠금 상태로 인하여, 다른 어플리케이션들에 관한 정보가 디스플레이 되고 있지 않은지 등에 관한 정보를 획득할 수 있다.
디바이스(100)는 호버링 입력의 종류를 결정할 수 있다. 디바이스(100)는 호버링 입력을 생성하는 호버링 입력 수단(10)과 디바이스(100) 간의 거리에 기초하여 호버링 입력(10)의 종류를 결정할 수 있다. 다만, 이는 일 실시예일 뿐, 디바이스(100)는 호버링 입력 수단(10)이 움직이는 방향 및 움직이는 패턴 중 적어도 하나에 기초하여, 호버링 입력 수단(10)에 의해 생성되는 호버링 입력의 종류를 결정할 수 있다.
디바이스(100)는 호버링 입력이 획득된 시점의 어플리케이션의 동작과 관련된 복수의 태스크들 중에서, 결정된 종류의 호버링 입력과 대응되는 태스크를 결정할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력 수단(10)과 디바이스(100) 간의 거리가 제 1 뎁스인 제 1 호버링 입력이 획득되고, 제 1 호버링 입력이 획득된 시점에 동영상 재생 어플리케이션에서 동영상을 재생하는 동작이 수행되는 경우, 디바이스(100)는 동영상 재생 어플리케이션에 관한 메타데이터를 기초로, 제 1 호버링 입력에 대응되는 동영상을 정지하는 태스크를 선택할 수 있다.
단계 230에서, 디바이스(100)는 호버링 입력에 따라 기 설정된 유형의 실행 입력을 획득하여, 선택된 적어도 하나의 태스크를 수행한다.
디바이스(100)는 호버링 입력을 획득한 이후에, 선택된 태스크를 수행하도록 요청하는 실행 입력을 획득할 수 있다. 디바이스(100)에서 실행되는 어플리케이션의 메타데이터에는 획득한 호버링 입력에 대응되는 실행 입력의 유형에 관한 정보가 저장될 수 있다. 디바이스(100)는 획득한 실행 입력이 이전에 획득한 호버링 입력에 대응되는지 여부를 어플리케이션의 메타데이터를 이용하여 판단할 수 있다.
한편, 디바이스(100)는 호버링 입력(10)이 획득된 이후 임계 시간 단위 이내에 실행 입력이 획득되지 않은 경우에는 획득한 호버링 입력(10)이 유효하지 않은 것으로 판단할 수 있다. 예를 들어, 호버링 입력(10)이 획득된 이후, 2초 이내에 실행 입력이 획득되지 않은 경우에, 디바이스(100)는 호버링 입력이 유효하지 않은 것으로 판단할 수 있다.
디바이스(100)는 획득한 실행 입력에 기초하여 선택된 적어도 하나의 태스크를 수행한다. 예를 들어, 디바이스(100)는 동영상 재생 어플리케이션을 실행하는 경우, 동영상을 정지하는 태스크가 선택되었다면, 호버링 입력 수단(10)을 오른쪽으로 이동시킴에 따라 생성되는 실행 입력이 획득되는 경우, 디바이스(100)는 동영상을 정지하는 태스크를 수행할 수 있다. 다만, 이는 실행 입력의 일 실시예일 뿐, 본 발명에서 설명하는 실행 입력이 이에 한정되는 것은 아니다.
도 3은 본 발명의 일 실시예에 따라 디바이스(100)가 획득한 호버링 입력의 3차원 위치 정보에 기초하여 디바이스(100)를 제어하는 방법을 설명하기 위한 흐름도이다.
단계 310에서, 디바이스(100)는 호버링 입력을 생성하는 호버링 입력 수단(10)과 디바이스(100) 간의 거리에 관한 정보를 획득할 수 있다. 일 실시예에 따른 디바이스(100)는 호버링 입력이 획득됨에 따라 변화되는 정전 용량을 측정하여, 디바이스(100)와 호버링 입력 수단(10) 간의 거리에 관한 정보를 획득할 수 있다.
단계 320에서, 디바이스(100)는 결정된 거리에 관한 정보에 기초하여 호버링 입력의 3차원 위치 정보를 획득한다. 디바이스(100)는 기설정된 기준면에 기초하여 획득한 거리에 관한 정보를 3차원 위치 정보로 변환할 수 있다. 디바이스(100)가 획득한 거리에 관한 정보를 3차원 위치 정보로 변환하는 방법은 일반적인 좌표 변환 방법 등이 사용될 수 있다. 다만, 획득한 거리에 관한 정보를 3차원 위치 정보로 변환하는 방법이 좌표 변환 방법에 한정되는 것은 아니다.
단계 330에서, 디바이스(100)는 호버링 입력의 3차원 위치 정보에 따라 결정되는 호버링 입력의 종류에 기초하여 적어도 하나의 태스크를 선택할 수 있다.
디바이스(100)는 3차원 위치 정보에 기초하여, 호버링 입력의 종류를 결정할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력 수단(10)과 디바이스(100) 간의 거리가 제 1 뎁스(depth)인 제 1 호버링 입력과 호버링 입력 수단(10)과 디바이스(100)간의 거리가 제 2 뎁스(depth)인 제 2 호버링 입력을 서로 다른 종류의 호버링 입력으로 판단할 수 있다.
디바이스(100)는 실행되는 어플리케이션의 동작에 기초하여, 결정된 호버링 입력의 종류에 대응되는 적어도 하나의 태스크를 선택할 수 있다. 디바이스(100)는 실행되는 어플리케이션에서 호버링 입력의 종류에 따라 대응되는 태스크에 관한 정보를 포함하는 어플리케이션에 관한 메타데이터를 저장할 수 있다. 디바이스(100)는 어플리케이션에 관한 메타데이터를 이용하여, 호버링 입력의 종류에 대응되는 태스크를 선택할 수 있다.
단계 340에서, 디바이스(100)는 호버링 입력에 따라 기 설정된 유형의 실행 입력을 획득하여 선택된 적어도 하나의 태스크를 수행할 수 있다. 디바이스(100)는 호버링 입력(10)을 획득한 이후에, 선택된 태스크를 수행하도록 요청하는 실행 입력을 획득할 수 있다. 디바이스(100)는 호버링 입력(10)에 대응되는 실행 입력을 획득한 경우, 선택된 태스크를 수행할 수 있다.
한편, 단계 340은 도 2를 참조하여 설명한 단계 230과 대응될 수 있다.
도 4는 본 발명의 일 실시예에 따라 디바이스(100)가 획득한 호버링 입력의 3차원 위치 정보에 기초하여, 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 디바이스(100)에서 메뉴 어플리케이션이 실행되는 경우, 디바이스(100)의 화면에는 디바이스에서 실행 가능한 복수의 어플리케이션을 나타내는 복수의 객체들이 표시될 수 있다. 이하에서는 설명의 편의상 객체의 일 예인 아이콘을 예로 들어 설명하도록 한다. 다만, 이는 일 실시예일 뿐, 아이콘 이외에 복수의 어플리케이션을 나타내는 다양한 유형의 식별 표시들이 객체에 포함될 수 있다.
예를 들어, 메시지 어플리케이션을 나타내는 아이콘, 연락처 어플리케이션을 나타내는 아이콘 및 통화 어플리케이션을 나타내는 아이콘 등이 표시될 수 있다. 사용자는 디바이스(100)에 표시되는 아이콘을 선택함으로써, 디바이스(100)에 아이콘이 나타내는 어플리케이션의 실행을 요청할 수 있다.
한편, 디바이스(100)에 표시되는 복수의 아이콘들 중에는 복수의 어플리케이션들을 나타내는 통합 아이콘(420)이 포함될 수 있다. 사용자는 통합 아이콘(420)을 선택하여, 통합 아이콘(420)이 나타내는 복수의 어플리케이션들 중 적어도 하나의 어플리케이션을 실행할 수 있다. 사용자는 통합 아이콘(420)에 대응되는 위치에 호버링 입력 수단(410)을 홀딩함으로써, 통합 아이콘(420)을 선택할 수 있다.
디바이스(100)는 통합 아이콘(420)에 대응되는 위치에 입력을 생성하는 호버링 입력 수단(410)이 홀딩되어 있는지 여부를 판단할 수 있다. 여기에서, 홀딩은 디바이스(100) 상의 일정 거리 범위 내에, 디바이스(100)와 접촉되지 않은 채로 일정 시간 동안 정지되어 있는 동작을 나타낸다. 여기에서, 통합 아이콘(420)에 대응되는 위치에 호버링 입력 수단(410)이 홀딩되어 있는지에 관한 정보는 디바이스(100)를 기준으로 한 호버링 입력 수단(410)의 2차원 위치 정보와 통합 아이콘(420)의 2차원 위치 정보의 차이가 임계값 이하인지 여부에 의해 결정될 수 있다. 디바이스(100)는 호버링 입력 수단(410)의 2차원 위치 정보와 통합 아이콘(420)의 2차원 위치 정보의 차이가 임계값 이하인 경우, 호버링 입력이 통합 아이콘(420)에 대응되는 위치에 획득되었다고 판단할 수 있다.
예를 들어, 디바이스(100)의 두 측면이 교차하는 지점을 기준점으로 설정한 후, 기준점을 기초로 한 2차원 평면에서 통합 아이콘의 x, y 좌표와 기준점을 기초로 한 호버링 입력 수단(410)의 x, y 좌표와의 차이가 임계값 이하인 경우, 디바이스(100)는 통합 아이콘(420)에 대응되는 위치에 호버링 입력을 생성하는 호버링 입력 수단(410)이 홀딩되어 있다고 판단할 수 있다.
디바이스(100)는 호버링 입력의 3차원 위치 정보에 따라, 통합 아이콘(420)이 나타내는 복수의 어플리케이션들 중 적어도 하나의 어플리케이션을 선택할 수 있다. 여기에서, 호버링 입력의 3차원 위치 정보는 디바이스(100)와 호버링 입력이 획득되는 시점의 호버링 입력 수단(410)과의 거리에 따라 결정될 수 있다. 예를 들어, 디바이스(100)의 3차원 위치 정보가 0으로 설정되는 경우, 호버링 입력이 획득되는 시점의 호버링 입력 수단(410)이 디바이스(100)로부터 높이 z 인 지점에 위치한다면, 디바이스(100)의 3차원 위치 정보는 z로 설정될 수 있다.
본 발명의 일 실시예에 따른, 디바이스(100)는 호버링 입력의 3차원 위치 정보가 z1인 경우와 z2인 경우에 각각 서로 다른 어플리케이션을 선택할 수 있다. 예를 들어, 통합 아이콘(420)이 나타내는 복수의 어플리케이션들에는 사진 폴더 어플리케이션, 카메라 어플리케이션 및 사진 편집 어플리케이션이 포함될 수 있다. 디바이스(100)는 3차원 위치 정보가 z1인 호버링 입력이 획득되는 경우, 사진 폴더 어플리케이션을 선택할 수 있다. 또한, 디바이스(100)는 3차원 위치 정보가 z2인 호버링 입력이 획득되는 경우, 카메라 어플리케이션을 선택할 수 있다. 또한, 디바이스(100)는 3차원 위치 정보가 z3인 호버링 입력이 획득되는 경우, 사진 편집 어플리케이션을 선택할 수 있다.
도 5는 본 발명의 다른 실시예에 따라 디바이스(100)가 호버링 입력의 3차원 위치 정보에 따라 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
디바이스(100)는 호버링 입력이 획득되는 경우, 디바이스(100)에서 실행되는 어플리케이션의 제 1 동작과 관련된 복수의 태스크들 중 어느 하나를 선택하여 실행할 수 있다. 여기에서, 복수의 태스크들은 디바이스(100)에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별될 수 있다.
예를 들어, 도 5를 참조하면, 동영상 재생 어플리케이션이 실행되는 경우, 디바이스(100)의 화면에는 동영상을 구성하는 적어도 하나의 프레임이 출력될 수 있다. 디바이스(100)는 동영상을 재생하는 제 1 동작을 수행하는 도중에, 디바이스(100)와 호버링 입력 수단(510) 간의 거리가 z1인 제 1 호버링 입력을 획득할 수 있다. 디바이스(100)는 동영상 재생 어플리케이션에 관한 메타데이터에 기초하여, 제 1 호버링 입력에 대응되는 동영상을 앞으로 빨리 감는 동작을 선택할 수 있다. 예를 들어, 사용자는 동영상 재생 시 디바이스(100)의 화면에 출력되는 프로그레스(progress) 바에 호버링 입력 수단(510)을 디바이스(100)와 z1간의 거리에서 기설정된 시간 이상 홀딩하여, 제 1 호버링 입력을 전송할 수 있다.
디바이스(100)는 동영상을 재생하는 제 1 동작을 수행하는 도중에, 디바이스(100)와 호버링 입력 수단(510) 간의 거리가 z2인 제 2 호버링 입력을 획득할 수 있다. 디바이스(100)는 동영상 재생 어플리케이션에 관한 메타데이터에 기초하여, 제 2 호버링 입력에 대응되는 동영상을 정지하는 동작을 선택할 수 있다. 예를 들어, 사용자는 동영상 재생 시 디바이스(100)의 화면에 출력되는 프로그레스(progress) 바에 호버링 입력 수단(510)을 디바이스(100)와 z2간의 거리에서 기설정된 시간 이상 홀딩하여, 제 2 호버링 입력을 전송할 수 있다.
디바이스(100)는 동영상을 재생하는 제 1 동작을 수행하는 도중에, 디바이스(100)와 호버링 입력 수단(510) 간의 거리가 z3인 제 3 호버링 입력을 획득할 수 있다. 디바이스(100)는 동영상 재생 어플리케이션에 관한 메타데이터에 기초하여, 제 3 호버링 입력에 대응되는 동영상을 뒤로 빨리 감는 동작을 선택할 수 있다. 예를 들어, 사용자는 동영상 재생 시 디바이스(100)의 화면에 출력되는 프로그레스(progress) 바에 호버링 입력 수단(510)을 디바이스(100)와 z3간의 거리에서 기설정된 시간 이상 홀딩하여, 제 3 호버링 입력을 전송할 수 있다.
도 6은 본 발명의 일 실시예에 따라 다이어리 어플리케이션이 실행되는 경우, 디바이스(100)가 호버링 입력의 종류에 따라 다이어리 어플리케이션과 관련된 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 다이어리 어플리케이션이 실행되는 경우, 디바이스(100)의 화면에는 오늘의 일정을 입력하는 컨텐츠가 출력될 수 있다. 디바이스(100)는 오늘의 일정을 입력하는 제 1 페이지를 출력하는 제 1 동작을 수행하는 도중에, 페이지를 넘기는 제 2 동작을 요청하는 호버링 입력을 획득할 수 있다. 예를 들어, 사용자는 제 1 페이지가 출력되는 디바이스(100)의 화면의 일 측면에 호버링 입력 수단(610)을 기설정된 시간 이상 홀딩하여, 디바이스(100)에 페이지를 넘기는 제 2 동작을 요청하는 호버링 입력을 전송할 수 있다.
디바이스(100)는 호버링 입력의 3차원 위치 정보를 기초로 페이지를 넘기는 제 2 동작을 수행하는 방법을 선택할 수 있다. 예를 들어, 디바이스(100)는 페이지를 넘기는 단위를 3차원 위치 정보에 기초하여 선택할 수 있다. 도 6의 (a)를 참조하면, 호버링 입력의 3차원 위치 정보가 z1인 경우, 디바이스(100)는 페이지를 일간 단위로 넘기는 제 2 동작을 선택할 수 있다. 도 6의 (b)를 참조하면, 호버링 입력의 3차원 위치 정보가 z2인 경우, 디바이스(100)는 페이지를 주간 단위로 넘기는 제 2 동작을 선택할 수 있다. 도 6의 (c)를 참조하면, 호버링 입력의 3차원 위치 정보가 z3인 경우, 디바이스(100)는 페이지를 월간 단위로 넘기는 제 2 동작을 선택할 수 있다.
한편, 다른 예에 따라, 호버링 입력의 3차원 위치 정보에 기초하여, 페이지를 넘기는 동작을 수행하는 경우, 넘어가는 페이지의 수를 결정할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력의 3차원 위치 정보의 값이 커질수록, 페이지를 넘기는 동작을 수행하는 겨우, 넘어가는 페이지의 수가 많아지도록 제 2 동작을 수행하는 방법을 선택할 수 있다.
다른 실시예에 따라 디바이스(100)는 호버링 입력을 생성하는 호버링 입력 수단(610)이 움직이는 방향에 기초하여, 페이지를 넘기는 제 2 동작을 결정할 수 있다. 디바이스(100)는 호버링 입력을 생성하는 호버링 입력 수단(610)이 움직이는 방향에 기초하여, 페이지를 넘기는 방향을 결정할 수 있다. 예를 들어, 호버링 입력 수단(610)이 오른쪽 방향으로 움직이는 경우 디바이스(100)는 현재 표시된 페이지의 이후 페이지로 페이지를 넘기는 제 2 동작을 선택할 수 있다. 다른 예에 따라, 호버링 입력 수단(610)이 왼쪽 방향으로 움직이는 경우, 디바이스(100)는 현재 표시된 페이지의 이전 페이지로 페이지를 넘기는 제 2 동작을 선택할 수 있다.
도 7은 본 발명의 다른 실시예에 따라 음악 재생 어플리케이션이 실행되는 경우, 디바이스(100)가 호버링 입력의 종류에 따라 음악 재생 어플리케이션과 관련된 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 음악 재생 어플리케이션이 실행되는 경우, 디바이스(100)의 화면에는 현재 재생되고 있는 음악의 정보가 표시될 수 있다. 예를 들어, 디바이스(100)에는 현재 재생되고 있는 음악이 A라는 앨범의 4번째 곡이라는 정보가 표시될 수 있다. 디바이스(100)는 음악을 재생하는 제 1 동작을 수행하는 도중에, 다른 목록에 포함된 음악으로 재생되는 음악을 변경하는 2 동작을 요청하는 호버링 입력을 획득할 수 있다. 예를 들어, 사용자는 현재 재생되고 있는 음악의 정보가 표시되는 디바이스(100)의 화면의 일 측면에 호버링 입력 수단(710)을 기설정된 시간 이상 홀딩하여, 디바이스(100)에 페이지를 넘기는 제 2 동작을 요청하는 호버링 입력을 전송할 수 있다.
디바이스(100)는 호버링 입력의 3차원 위치 정보를 기초로 다른 목록에 포함된 음악으로 재생되는 음악을 변경하는 제 2 동작을 수행하는 방법을 선택할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력의 3차원 위치 정보에 기초하여 변경하는 음악이 포함된 카테고리를 결정할 수 있다. 도 7의 (a)를 참조하면, 호버링 입력의 3차원 위치 정보가 z1인 경우, 디바이스(100)는 A라는 앨범내에서, 재생되는 음악을 다른 음악으로 변경하는 제 2 동작을 선택할 수 있다. 도 7의 (b)를 참조하면, 호버링 입력의 3차원 위치 정보가 z2인 경우, 디바이스(100)는 다른 앨범에 포함되는 음악으로 재생되는 음악을 변경하는 제 2 동작을 선택할 수 있다. 도 7의 (c)를 참조하면, 호버링 입력의 3차원 위치 정보가 z3인 경우, 디바이스(100)는 다른 폴더에 저장된 앨범의 음악으로 재생되는 음악을 변경하는 제 2 동작을 선택할 수 있다.
다른 실시예에 따라, 디바이스(100)는 호버링 입력 수단(710)이 움직이는 방향을 기초로, 음악을 변경하는 제 2 동작의 방향을 결정할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력 수단(710)이 움직이는 방향에 따라 현재 재생되는 음악을 다음 순서에 위치한 음악으로 변경할 것인지 또는 현재 재생되는 음악의 이전 순서에 위치한 음악으로 변경할 것인지 여부를 결정할 수 있다. 예를 들어, 호버링 입력 수단(710)이 오른쪽으로 움직이는 경우 디바이스(100)는 현재 재생되는 음악의 다음 순서에 위치한 음악으로 재생되는 음악을 변경할 수 있다. 또한, 호버링 입력 수단(710)이 왼쪽으로 움직이는 경우 디바이스(100)는 현재 재생되는 음악의 이전 순서에 위치한 음악으로 재생되는 음악을 변경할 수 있다.
도 8은 본 발명의 일 실시예에 따라 그림판 어플리케이션이 실행되는 경우, 디바이스(100)가 호버링 입력의 종류에 따라 그림판 어플리케이션과 관련된 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
디바이스(100)는 획득한 호버링 입력(10)의 3차원 위치 정보에 기초하여, 디바이스(100)에서 실행되는 동작을 취소하는 태스크를 수행할 수 있다.
도 8을 참조하면, 그림판 어플리케이션이 실행되는 경우, 디바이스(100)의 화면에는 현재 채색하는 이미지가 출력될 수 있다. 디바이스(100)는 이미지를 채색하는 제 1 동작을 수행하는 도중에, 이미지의 채색을 취소하는 제 2 동작을 요청하는 호버링 입력을 획득할 수 있다. 예를 들어, 사용자는 현재 채색하고 있는 이미지가 표시되는 디바이스(100)의 화면의 일 측면에 호버링 입력 수단(810)을 기설정된 시간 이상 홀딩하여, 디바이스(100)에 수행된 채색 작업의 취소하는 제 2 동작을 요청하는 호버링 입력을 전송할 수 있다.
디바이스(100)는 호버링 입력의 3차원 위치 정보를 기초로 수행된 채색 작업을 취소하는 제 2 동작을 수행하는 방법을 결정할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력의 3차원 위치 정보에 기초하여, 취소되는 채색 작업의 범위를 결정할 수 있다. 예를 들어, 도 8의 (a)를 참조하면, 호버링 입력의 3차원 위치 정보가 z1인 경우, 디바이스(100)는 호버링 입력이 획득되기 직전에 수행된 제 1 회의 채색 작업을 취소하는 제 2 동작을 선택할 수 있다. 도 8의 (b)를 참조하면, 호버링 입력의 3차원 위치 정보가 z2인 경우, 디바이스(100)는 호버링 입력이 획득되기 이전에 수행되는 채색 작업 중에서 제 5 회의 채색 작업을 취소하는 제 2 동작을 선택할 수 있다. 도 8의 (c)를 참조하면, 호버링 입력의 3차원 위치 정보가 z3인 경우, 디바이스(100)는 수행된 채색 작업을 모두 취소하는 제 2 동작을 선택할 수 있다.
도 9는 본 발명의 일 실시예에 따라 사진 폴더 어플리케이션이 실행되는 경우, 디바이스(100)가 호버링 입력의 종류에 따라 사진 폴더 어플리케이션과 관련된 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 사진 폴더 어플리케이션이 실행되는 경우, 디바이스(100)의 화면에는 사진 폴더 어플리케이션 관련 메모리에 저장된 적어도 하나의 사진이 표시될 수 있다. 디바이스(100)는 사진을 표시하는 제 1 동작을 수행하는 도중에, 사진을 선택하는 제 2 동작을 요청하는 호버링 입력을 획득할 수 있다. 예를 들어, 사용자는 사진이 표시되는 디바이스(100)의 일 측면에 호버링 입력 수단(910)을 기설정된 시간 이상 홀딩하여, 디바이스(100)에 사진을 선택하는 제 2 동작을 요청하는 호버링 입력을 전송할 수 있다.
디바이스(100)는 호버링 입력의 3차원 위치 정보를 기초로 사진을 선택하는 제 2 동작을 수행하는 방법을 선택할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력의 3차원 위치 정보에 기초하여, 선택되는 사진의 개수를 결정할 수 있다. 도 9의 (a)를 참조하면, 호버링 입력의 3차원 위치 정보가 z1인 경우, 디바이스(100)는 z1에 대응되는 개수의 사진을 선택하는 제 2 동작을 선택할 수 있다. 도 9의 (b)를 참조하면, 호버링 입력의 3차원 위치 정보가 z2인 경우, 디바이스(100)는 z2에 대응되는 개수의 사진을 선택하는 제 2 동작을 선택할 수 있다. 도 9의 (c)를 참조하면, 호버링 입력의 3차원 위치 정보가 z3인 경우, 디바이스(100)는 호버링 입력 수단의 위치와 대응되는 위치에 표시되는 하나의 사진을 선택하는 제 2 동작을 선택할 수 있다.
디바이스(100)는 호버링 입력의 3차원 위치 정보를 기초로, 제 2 동작이 적어도 하나의 이미지에 적용되는 단위가 결정되면, 획득한 실행 입력에 기초하여, 이미지를 선택할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력 수단이 특정 높이에서 기설정된 시간 이상 정지한 경우, 결정된 단위에 따라 이미지를 선택하는 실행 입력이 획득된 것으로 판단할 수 있다.
한편, 다른 실시예에 따라 디바이스(100)는 호버링 입력의 3차원 위치 정보에 기초하여, 선택되는 사진의 범위를 사진의 메타데이터 정보에 따라 결정할 수 있다. 사진의 메타데이터 정보는 사진의 촬영 일자, 사진의 촬영 장소 등에 관한 정보를 포함할 수 있다. 예를 들어, 호버링 입력의 3차원 위치 정보가 z4인 경우, 디바이스(100)는 호버링 입력 수단(910)에 대응되는 위치에 표시된 사진과 촬영 일자가 일주일 이내 범위인 사진들을 선택할 수 있다. 또한, 호버링 입력의 3차원 위치 정보가 z5인 경우, 디바이스(100)는 호버링 입력 수단(910)에 대응되는 위치에 표시된 사진과 촬영 일자가 한달 이내 범위인 사진들을 선택할 수 있다.
도 10은 본 발명의 일 실시예에 따라 디바이스(100)가 어플리케이션 실행 시 출력되는 객체들 중 어느 하나에 대응되는 호버링 입력에 기초하여 디바이스를 제어하는 방법을 설명하기 위한 흐름도이다.
단계 1010에서, 디바이스(100)는 획득된 호버링 입력(10)의 3차원 위치 정보를 결정할 수 있다. 여기에서, 3차원 위치 정보는 디바이스(100)와 호버링 입력 수단과의 거리에 기초하여 결정될 수 있다.
단계 1020에서, 디바이스(100)는 어플리케이션의 동작에 따라 출력되는 복수의 태스크들을 나타내는 적어도 하나의 객체들 중에서, 호버링 입력 수단의 위치에 대응되는 객체를 결정할 수 있다. 여기에서, 객체는 어플리케이션의 동작과 관련된 복수의 태스크들 각각을 나타내는 식별 표시(예를 들어, 아이콘)를 포함할 수 있다. 복수의 태스크들은 어플리케이션의 동작과 관련된 복수의 동작들을 포함할 수 있다. 예를 들어, 동영상 재생 어플리케이션이 동영상을 재생하는 동작을 수행하는 경우, 복수의 태스크들은 동영상을 앞으로 빨리 감는 동작, 동영상을 일시 정지 하는 동작 및 동영상을 녹음하는 동작 등을 포함하는 복수의 동작을 포함할 수 있다.
디바이스(100)는 호버링 입력 수단의 위치 정보를 이용하여, 복수의 태스크들을 나타내는 적어도 하나의 객체들 중에서, 호버링 입력 수단의 위치에 대응되는 객체를 결정할 수 있다. 일 실시예에 따라 디바이스(100)는 디바이스(100)를 기준으로 한 호버링 입력 수단의 2차원 위치 정보와 디바이스(100)에 출력된 객체)의 2차원 위치 정보의 차이가 임계값 이하인 경우, 디바이스(100)는 호버링 입력(10)이 객체에 대응되는 위치에 획득되었다고 판단할 수 있다. 예를 들어, 디바이스(100)의 두 측면이 교차하는 지점을 기준점으로 설정한 후, 기준점을 기초로 한 2차원 평면에서 객체의 x, y 좌표와 기준점을 기초로 한 호버링 입력 수단의 x, y 좌표와의 차이가 임계값 이하인 경우, 디바이스(100)는 호버링 입력(10)이 객체에 대응되는 위치에 획득되었다고 판단할 수 있다.
단계 1030에서, 디바이스(100)는 결정된 객체 및 획득된 호버링 입력의 3차원 위치 정보에 기초하여 복수의 태스크들 중 적어도 하나의 태스크를 선택할 수 있다. 예를 들어, 디바이스(100)는 결정된 객체를 기초로, 디바이스(100)에서 수행하고 있는 제 1 동작과 관련된 복수의 제 2 동작들 중 어느 하나를 선택할 수 있다. 또한, 디바이스(100)는 획득된 호버링 입력의 3차원 위치 정보에 기초하여, 선택된 제 2 동작을 수행하는 방법을 결정할 수 있다. 이에 대해서는 도 11을 참조하여 구체적으로 후술하도록 한다.
단계 1040에서, 디바이스(100)는 실행 입력을 획득하여, 선택된 적어도 하나의 태스크를 수행할 수 있다. 디바이스(100)는 호버링 입력(10)에 대응되는 실행 입력을 획득한 경우, 선택된 태스크를 수행할 수 있다.
한편, 단계 1040은 도 2를 참조하여 설명한 단계 230과 대응될 수 있다.
도 11은 본 발명의 일 실시예에 따라, 디바이스(100)가 어플리케이션 실행 시 출력되는 객체들 중 어느 하나에 대응되는 호버링 입력에 기초하여 디바이스를 제어하는 방법을 설명하기 위한 도면이다.
도 11을 참조하면, 디바이스(100)에는 동영상을 재생하는 어플리케이션이 실행될 수 있다. 디바이스(100)에 동영상을 재생하는 어플리케이션이 실행되는 경우, 화면에는 현재 재생되고 있는 프레임에 관한 정보를 나타내는 프로그레스(progress) 바와 재생 프레임을 변경하기 위한 아이콘들(1120, 1130)이 표시될 수 있다.
도 11의 (a)를 참조하면, 디바이스(100)는 동영상 재생과 관련된 복수의 동작들 중 뒤로 빨리 감는 제 2 동작을 나타내는 제 1 아이콘(1120)에 대응되는 제 1 호버링 입력을 획득할 수 있다. 사용자는 제 1 아이콘(1120)의 위치와 대응되는 위치에 호버링 입력 수단(1110)을 홀딩함으로써, 제 1 호버링 입력을 디바이스(100)에 전송할 수 있다. 디바이스(100)는 호버링 입력 수단(1110)의 위치가 디바이스(100) 상의 제 1 아이콘(1120)의 위치로부터 임계 거리 내에 존재하는지 여부를 판단하여, 제 1 호버링 입력이 제 1 아이콘(1120)에 대응되는지 여부를 결정할 수 있다.
디바이스(100)는 제 1 호버링 입력의 3차원 위치 정보를 기초로, 동영상을 뒤로 빨리 감는 제 2 동작을 수행하는 방법을 선택할 수 있다. 예를 들어, 디바이스(100)는 제 1 호버링 입력의 3차원 위치 정보가 a인 경우, 동영상을 2배속 뒤로 빨리 감는 제 2 동작을 선택할 수 있다. 디바이스는 제 1 호버링 입력의 3차원 위치 정보가 2a인 경우, 동영상을 4배속 뒤로 빨리 감는 제 2 동작을 선택할 수 있다.
다른 실시예에 따라, 도 11의 (b)를 참조하면, 디바이스(100)는 동영상 재생과 관련된 복수의 동작들 중 앞으로 빨리 감는 제 2 동작을 나타내는 제 2 아이콘(1130)에 대응되는 제 2 호버링 입력을 획득할 수 있다. 사용자는 제 2 아이콘(1130)의 위치와 대응되는 위치에 호버링 입력 수단(1110)을 홀딩함으로써, 제 2 호버링 입력을 디바이스(100)에 전송할 수 있다. 디바이스(100)는 호버링 입력 수단(1110)의 위치가 디바이스(100) 상의 제 2 아이콘(1130)의 위치로부터 임계 거리 이내에 존재하는지 여부를 판단하여, 제 2 호버링 입력이 제 2 아이콘(1130)에 대응되는지 여부를 결정할 수 있다.
디바이스(100)는 제 2 호버링 입력의 3차원 위치 정보를 기초로, 동영상을 앞으로 빨리 감는 제 2 동작을 수행하는 방법을 선택할 수 있다. 예를 들어, 디바이스(100)는 제 2 호버링 입력의 3차원 위치 정보가 a인 경우, 동영상을 2배속 앞으로 빨리 감는 제 2 동작을 선택할 수 있다. 디바이스는 제 2 호버링 입력의 3차원 위치 정보가 2a인 경우, 동영상을 4배속 앞으로 빨리 감는 제 2 동작을 선택할 수 있다.
도 12는 본 발명의 일 실시예에 따른 디바이스(100)가 호버링 입력 수단의 움직임 및 호버링 입력의 3차원 위치 정보에 기초하여 복수의 태스크들 중 적어도 하나의 태스크를 선택하는 방법을 설명하기 위한 흐름도이다.
단계 1210에서, 디바이스(100)는 호버링 입력을 획득할 수 있다. 디바이스(100)는 사용자가 디바이스(100)로부터 근접한 위치에 홀딩하는 호버링 입력 수단에 따라, 변경되는 정전 용량을 감지하여, 호버링 입력을 획득할 수 있다.
단계 1220에서, 디바이스(100)는 호버링 입력 수단의 움직임에 기초하여, 호버링 입력의 종류를 결정할 수 있다. 디바이스(100)는 호버링 입력 수단이 움직이는 방향에 따라 호버링 입력의 종류를 결정할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력 수단이 제 1 방향으로 이동하는 경우에 대응되는 제 1 호버링 입력과 호버링 입력 수단이 제 2 방향으로 이동하는 경우에 대응되는 제 2 호버링 입력을 식별할 수 있다.
단계 1230에서, 디바이스(100)는 어플리케이션의 동작과 관련된 복수의 동작들 중 호버링 입력의 종류에 대응되는 동작을 결정할 수 있다. 디바이스(100)는 어플리케이션의 메타데이터를 이용하여, 결정된 호버링 입력의 종류에 대응되는 동작을 결정할 수 있다. 어플리케이션의 메타데이터에는 어플리케이션 실행 시 수행 가능한 복수의 동작들과 복수의 동작들 각각을 수행하는데 필요한 호버링 입력의 종류에 관한 정보가 포함될 수 있다.
예를 들어, 동영상 재생 어플리케이션이 실행되는 경우, 디바이스(100)는 디바이스(100)의 화면의 반대방향으로 움직이는 제 1 호버링 입력으로부터 동영상을 앞으로 빨리 감는 동작을 선택할 수 있다. 또한, 디바이스(100)는 디바이스(100)의 화면 방향으로 움직이는 제 2 호버링 입력으로부터 동영상을 뒤로 빨리 감는 동작을 선택할 수 있다.
단계 1240에서, 디바이스(100)는 획득된 호버링 입력의 3차원 위치 정보에 기초하여, 선택된 동작을 수행하는 방법을 선택할 수 있다. 이에 대해서는 도 13을 참조하여 구체적으로 후술하도록 한다.
단계 1250에서, 디바이스(100)는 획득한 실행 입력에 기초하여 선택된 태스크를 수행할 수 있다.
한편, 단계 1250은 도 2를 참조하여 설명한 단계 230과 대응될 수 있다.
도 13은 본 발명의 일 실시예에 따라 디바이스(100)가 호버링 입력 수단(1310)이 움직이는 방향 및 호버링 입력의 3차원 위치 정보에 기초하여 복수의 태스크들 중 적어도 하나의 태스크를 수행하는 방법을 설명하기 위한 도면이다.
디바이스(100)는 호버링 입력이 획득되는 경우, 디바이스(100)에서 실행되는 어플리케이션의 제 1 동작과 관련된 복수의 태스크들 중 어느 하나를 선택하여 실행할 수 있다. 디바이스(100)는 호버링 입력 수단이 움직이는 방향에 기초하여, 제 1 동작과 관련된 동작을 결정하고, 호버링 입력 수단(1310)과 디바이스(100) 간의 거리에 기초하여, 결정된 동작을 수행하는 방법을 결정함으로써, 복수의 태스크들 중 어느 하나의 태스크를 선택할 수 있다. 여기에서, 동작을 수행하는 방법은 동작이 수행되는 방향, 동작이 수행되는 속도, 동작이 수행되는 수행 단위 등에 따라 달라질 수 있다.
도 13을 참조하면, 음악 재생 어플리케이션이 실행되는 경우, 디바이스(100)는 디바이스(100)의 화면의 반대방향으로 움직이는 호버링 입력 수단(1310)에 의해 생성되는 제 1 호버링 입력으로부터 음악을 앞으로 빨리 감는 태스크를 선택할 수 있다. 또한, 디바이스(100)는 디바이스(100)의 화면 방향으로 움직이는 호버링 입력 수단(1320)에 의해 생성되는 제 2 호버링 입력으로부터 음악을 뒤로 빨리 감는 동작을 선택할 수 있다.
디바이스(100)는 획득한 호버링 입력의 3차원 위치 정보를 기초로 선택된 동작을 수행하는 방법을 결정할 수 있다. 예를 들어, 디바이스(100)는 제 1 호버링 입력의 위치 정보가 z1인 경우, 2배속으로 음악을 앞으로 빨리 감는 태스크를 선택할 수 있다. 또한, 디바이스(100)는 제 1 호버링 입력의 위치 정보가 z2인 경우, 4배속으로 음악을 앞으로 빨리 감는 태스크를 선택할 수 있다. 디바이스(100)는 제 1 호버링 입력의 위치 정보가 z3인 경우, 6배속으로 음악을 앞으로 빨리 감는 태스크를 선택할 수 있다.
다른 예에 따라, 디바이스(100)는 제 2 호버링 입력의 위치 정보가 z4인 경우, 2배속으로 음악을 뒤로 빨리 감는 태스크를 선택할 수 있다. 또한, 디바이스(100)는 제 2 호버링 입력의 위치 정보가 z5인 경우, 4배속으로 음악을 뒤로 빨리 감는 태스크를 선택할 수 있다. 디바이스(100)는 제 2 호버링 입력의 위치 정보가 z3인 경우, 6배속으로 음악을 뒤로 빨리 감는 태스크를 선택할 수 있다.
도 14는 본 발명의 일 실시예에 따라 디바이스(100)가 호버링 입력 수단(1410)의 움직이는 패턴 및 호버링 입력의 3차원 위치 정보에 기초하여 복수의 태스크들 중 적어도 하나의 태스크를 수행하는 방법을 설명하기 위한 도면이다.
디바이스(100)는 호버링 입력이 획득되는 경우, 디바이스(100)에서 실행되는 어플리케이션의 제 1 동작과 관련된 복수의 태스크들 중 어느 하나를 선택하여 실행할 수 있다. 디바이스(100)는 호버링 입력 수단이 움직이는 패턴에 기초하여, 제 1 동작과 관련된 동작을 결정하고, 호버링 입력 수단(1410)과 디바이스(100) 간의 거리에 기초하여, 결정된 동작을 수행하는 방법을 결정함으로써, 복수의 태스크들 중 어느 하나의 태스크를 선택할 수 있다. 여기에서, 동작을 수행하는 방법은 동작이 수행되는 방향, 동작이 수행되는 속도, 동작이 수행되는 수행 단위 등에 따라 달라질 수 있다.
도 14를 참조하면, 동영상 재생 어플리케이션이 실행되는 경우, 디바이스(100)는 시계 방향으로 움직이는 호버링 입력 수단(1410)에 의해 생성되는 제 1 호버링 입력으로부터 동영상을 앞으로 빨리 감는 동작을 선택할 수 있다. 또한, 디바이스(100)는 반시계 방향으로 움직이는 호버링 입력 수단(1410)에 의해 생성되는 제 2 호버링 입력으로부터 동영상을 뒤로 빨리 감는 동작을 선택할 수 있다.
디바이스(100)는 획득한 호버링 입력의 3차원 위치 정보를 기초로 선택된동작을 수행하는 방법을 결정할 수 있다. 예를 들어, 디바이스(100)는 제 1 호버링 입력의 위치 정보가 a인 경우, 동영상을 2배속으로 앞으로 빨리 감는 태스크를 선택할 수 있다. 또한, 디바이스(100)는 제 1 호버링 입력의 위치 정보가 2a 경우, 동영상을 4배속으로 앞으로 빨리 감는 태스크를 선택할 수 있다. 디바이스(100)는 제 1 호버링 입력의 위치 정보가 3a인 경우, 동영상을 6배속으로 앞으로 빨리 감는 태스크를 선택할 수 있다.
다른 예에 따라, 디바이스(100)는 제 2 호버링 입력의 위치 정보가 a인 경우 동영상을 2배속으로 뒤로 빨리 감는 태스크를 선택할 수 있다. 또한, 디바이스(100)는 제 2 호버링 입력의 위치 정보가 2a인 경우, 동영상을 4배속으로 뒤로 빨리 감는 태스크를 선택할 수 있다. 디바이스(100)는 제 2 호버링 입력의 위치 정보가 3a인 경우, 동영상을 6배속으로 뒤로 빨리 감는 태스크를 선택할 수 있다.
도 15는 본 발명의 일 실시예에 따른 디바이스(100)가 호버링 입력의 3차원 정보에 기초하여, 결정된 수행 단위에 따라 태스크를 수행하는 방법을 설명하기 위한 흐름도이다.
단계 1510에서, 디바이스(100)는 호버링 입력을 획득할 수 있다. 디바이스(100)는 사용자가 디바이스(100)로부터 근접한 위치에 홀딩하는 호버링 입력 수단에 따라, 변경되는 정전 용량을 감지하여, 호버링 입력을 획득할 수 있다.
단계 1520에서, 디바이스(100)는 호버링 입력 수단의 움직임에 기초하여, 획득한 호버링 입력의 종류를 결정할 수 있다.
일 실시예에 따른 디바이스(100)는 호버링 입력 수단의 움직임에 기초하여, 호버링 입력의 종류를 결정할 수 있다. 디바이스(100)는 호버링 입력 수단이 움직이는 패턴에 따라 호버링 입력의 종류를 결정할 수 있다. 여기에서, 패턴은 호버링 입력 수단이 움직이는 방향, 호버링 입력 수단이 움직이는 형태, 호버링 입력 수단이 감지되는 시간, 호버링 입력 수단이 움직이는 속도 및 호버링 입력 수단이 감지되는 위치 등에 따라 다르게 형성될 수 있다.
예를 들어, 디바이스(100)는 획득한 호버링 입력이, 시계 방향으로 원을 그리는 호버링 입력 수단에 따라 생성되는 제 1 호버링 입력이라는 것을 결정할 수 있다. 다른 예에 따라 디바이스(100)는 획득한 호버링 입력이 3초 이상 정지해 있는 호버링 입력 수단에 따라 생성되는 제 2 호버링 입력이라는 것을 결정할 수 있다.
다른 실시예에 따른 디바이스(100)는 호버링 입력 수단이 감지되는 위치에 대응되는 객체에 따라 호버링 입력의 종류를 결정할 수 있다. 여기에서, 객체는 어플리케이션의 동작과 관련된 복수의 태스크들 각각을 나타내는 디바이스(100)의 화면 상에 표시되는 식별 표시(예를 들어, 아이콘)를 포함할 수 있다.
디바이스(100)는 호버링 입력 수단의 위치 정보를 이용하여, 복수의 태스크들을 나타내는 적어도 하나의 객체들 중에서, 호버링 입력 수단의 위치에 대응되는 객체를 결정할 수 있다. 디바이스(100)는 대응되는 객체의 종류에 따라 호버링 입력의 종류를 결정할 수 있다. 예를 들어, 디바이스(100)는 동영상 재생 어플리케이션 실행 시, 호버링 입력 수단이 감지되는 위치에 대응되는 프로그레스(progress) 바를 결정할 수 있다. 디바이스(100)는 획득한 호버링 입력이 프로그레스 바와 대응되는 제 3 호버링 입력이라고 결정할 수 있다.
단계 1530에서, 디바이스(100)는 디바이스(100)에서 실행되는 어플리케이션에 기초하여, 결정된 호버링 입력의 종류에 대응되는 태스크를 선택할 수 있다.
디바이스(100)는 수행 가능한 복수의 태스크들 중에서, 결정된 호버링 입력의 종류에 대응되는 태스크를 선택할 수 있다. 예를 들어, 디바이스(100)는 어플리케이션에 관한 메타데이터를 이용하여, 결정된 호버링 입력의 종류에 대응되는 태스크를 선택할 수 있다. 어플리케이션에 관한 메타데이터는 어플리케이션 실행 시, 획득한 호버링 입력의 종류와 수행 가능한 태스크에 관한 정보가 포함될 수 있다.
단계 1540에서, 디바이스(100)는 획득한 호버링 입력의 3차원 위치 정보에 기초하여, 선택된 태스크가 수행되는 수행 단위를 결정할 수 있다. 수행 단위에 따라, 동작을 수행하는 정밀도가 결정될 수 있다.
예를 들어, 디바이스(100)는 동영상 재생 어플리케이션에서, 사용자가 특정 프레임을 탐색하려고 하는 경우, 호버링 입력의 3차원 위치 정보에 기초하여, 탐색하는 프레임의 단위를 결정할 수 있다. 예를 들어 디바이스(100)는 호버링 입력 수단이 제 1 뎁스에서 감지되는 경우 탐색하는 프레임의 단위를 1개로 결정할 수 있다. 또한, 디바이스(100)는 호버링 입력 수단이 제 2 뎁스에서 감지되는 경우 탐색하는 프레임의 단위를 10개로 결정할 수 있다.
다른 예에 따라 디바이스(100)는 사진 저장 어플리케이션에서, 사용자가 다음 페이지의 사진을 표시하려고 하는 경우, 호버링 입력의 3차원 위치 정보에 기초하여, 넘어가는 페이지의 단위를 결정할 수 있다. 예를 들어 디바이스(100)는 호버링 입력 수단이 제 1 뎁스에서 감지되는 경우 넘어가는 페이지의 단위를 1장의 페이지로 결정할 수 있다. 또한, 디바이스(100)는 호버링 입력 수단이 제 2 뎁스에서 감지되는 경우 넘어가는 페이지의 단위를 10장의 페이지로 결정할 수 있다.
단계 1550에서, 디바이스(100)는 결정된 수행 단위에 따라 선택된 태스크를 수행할 수 있다.
예를 들어, 디바이스(100)는 동영상 재생 어플리케이션 실행 시, 결정된 10개의 프레임 단위로 동영상 재생 구간을 탐색할 수 있다. 또한, 디바이스(100)는 사진 저장 어플리케이션 실행 시, 결정된 페이지 단위 별로 사진이 저장된 페이지를 넘길 수 있다.
도 16은 본 발명의 일 실시예에 따른 디바이스(100)가 동영상 재생 어플리케이션이 실행되는 경우 호버링 입력의 3차원 정보에 기초하여 결정된 수행 단위에 따라 태스크를 수행하는 방법을 설명하기 위한 도면이다.
도 16을 참조하면, 디바이스(100)는 동영상 재생 어플리케이션이 실행되는 경우, 프로그레스 바에 대응되는 위치에서 호버링 입력 수단(1610)을 감지할 수 있다. 디바이스(100)는 어플리케이션에 관한 메타데이터를 이용하여, 호버링 입력 수단(1610)이 프로그레스 바에 대응되는 위치에서 감지되는 경우, 생성되는 호버링 입력의 종류를 결정할 수 있다. 또한, 디바이스(100)는 어플리케이션에 관한 메타데이터를 이용하여 결정된 호버링 입력의 종류에 대응되는 태스크를 선택할 수 있다.
예를 들어, 디바이스(100)는 호버링 입력 호버링 입력 수단(1610)이 프로그레스 바에 대응되는 위치에서 감지되는 경우, 생성되는 호버링 입력을 제 1 호버링 입력으로 결정할 수 있다. 디바이스(100)는 어플리케이션에 관한 메타데이터를 이용하여, 결정된 제 1 호버링 입력에 대응되는 동영상의 재생 구간을 탐색하는 태스크를 선택할 수 있다.
한편, 디바이스(100)는 호버링 입력 수단(1610)이 감지되는 3차원 위치에 따라, 선택된 태스크를 수행하는 수행 단위를 결정할 수 있다.
도 16의 (a)를 참조하면, 디바이스(100)는 호버링 입력 수단(1610)을 제 1 뎁스(D1)에서 감지할 수 있다. 디바이스(100)는 선택된 동영상의 재생 구간을 탐색하는 태스크를 수행하기 위한 수행 단위를 제 1 뎁스(D1)라는 3차원 위치 정보를 이용하여 결정할 수 있다. 예를 들어 디바이스(100)는 호버링 입력 수단이 제 1 뎁스(D1)에서 감지되는 경우 탐색하는 프레임의 단위를 1개로 결정할 수 있다.도 16의 (b)를 참조하면, 디바이스(100)는 호버링 입력 수단(1610)을 제 2 뎁스(D2)에서 감지할 수 있다. 디바이스(100)는 선택된 동영상의 재생 구간을 탐색하는 태스크를 수행하기 위한 수행 단위를 제 2 뎁스(D2)라는 3차원 위치 정보를 이용하여 결정할 수 있다. 예를 들어 디바이스(100)는 호버링 입력 수단이 제 2 뎁스(D2)에서 감지되는 경우 탐색하는 프레임의 단위를 10개로 결정할 수 있다.
도 16의 (c)를 참조하면, 디바이스(100)는 호버링 입력 수단(1610)을 제 3 뎁스(D3)에서 감지할 수 있다. 디바이스(100)는 선택된 동영상의 재생 구간을 탐색하는 태스크를 수행하기 위한 수행 단위를 제 3 뎁스(D3)라는 3차원 위치 정보를 이용하여 결정할 수 있다. 예를 들어 디바이스(100)는 호버링 입력 수단이 제 3 뎁스에서 감지되는 경우 탐색하는 프레임의 단위를 20개로 결정할 수 있다.
도 17은 본 발명의 일 실시예에 따라 디바이스를 제어하는 시스템을 설명하기 위한 개념도이다.
디바이스를 제어하는 시스템은 제 1 디바이스(1710) 및 제 2 디바이스(1720)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디바이스를 제어하는 시스템이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스를 제어하는 시스템은 구현될 수 있다.
제 1 디바이스(1710)는 획득한 호버링 입력의 3차원 위치 정보를 포함한특성 정보를 획득할 수 있다. 여기에서, 호버링 입력의 3차원 위치 정보는 호버링 입력을 생성하는 호버링 입력 수단(1730)과 제 1 디바이스(1710) 간의 거리에 기초하여 결정될 수 있다.
한편, 특성 정보에는 호버링 입력을 생성하는 호버링 입력 수단(1730)이 움직이는 경우, 움직이는 형태 및 움직이는 방향 중 적어도 하나에 관한 정보가 포함될 수 있다.
제 1 디바이스(1710)는 획득한 특성 정보를 제 2 디바이스(1720)에 전송할 수 있다. 제 2 디바이스(1720)는 수신한 특성 정보를 기초로 제 1 디바이스(1710)에서 획득한 호버링 입력의 종류를 결정할 수 있다. 예를 들어, 제 2 디바이스(1720)는 제 1 뎁스의 3차원 위치 정보를 갖는 제 1 호버링 입력과 제 2 뎁스의 3차원 위치 정보를 갖는 제 2 호버링 입력을 서로 다른 종류로 결정할 수 있다. 또한, 제 2 디바이스(1720)는 호버링 입력 수단(1730)이 움직이는 형태 및 움직이는 방향 중 적어도 하나가 다른 호버링 입력들을 서로 다른 종류로 결정할 수 있다.
제 2 디바이스(1720)는 실행되는 어플리케이션의 동작에 기초하여, 결정된 종류의 호버링 입력에 대응되는 적어도 하나의 태스크를 선택할 수 있다. 여기에서, 적어도 하나의 태스크는 제 2 디바이스(1520)에서 실행되는 어플리케이션의 동작과 관련된 복수개의 태스크들에 포함될 수 있다.
제 2 디바이스(1720)는 실행 입력이 획득되는 경우, 선택된 적어도 하나의 태스크를 수행할 수 있다. 제 2 디바이스(1720)는 사용자로부터 직접 실행 입력을 획득할 수도 있고, 제 1 디바이스(1710)가 사용자로부터 획득한 실행 입력을 전달받을 수도 있다.
한편, 제 2 디바이스(1720)는 획득한 호버링 입력과 대응되는 실행 입력에 관한 정보를 미리 저장할 수 있다. 제 2 디바이스(1720)는 미리 저장된 정보에 기초하여, 획득한 실행 입력이 획득한 호버링 입력과 대응되는지 여부를 판단할 수 있다. 제 2 디바이스(1720)는 획득한 실행 입력이 획득한 호버링 입력과 대응되는 경우, 선택된 적어도 하나의 태스크를 수행할 수 있다. 제 2 디바이스(1720)가 선택된 적어도 하나의 태스크를 수행하는 경우, 수행 결과는 제 2 디바이스(1720)에 출력될 수 있다. 다른 예에 따라, 제 2 디바이스(1720)가 선택된 적어도 하나의 태스크를 수행하는 경우, 수행 결과는 제 1 디바이스(1710)에 출력될 수 있다.
도 18은 본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템에서 디바이스를 제어하는 방법을 설명하기 위한 흐름도이다.
단계 1810에서, 제 1 디바이스(1710)는 획득한 호버링 입력의 특성 정보를 결정한다. 제 1 디바이스(1710)는 획득한 호버링 입력의 3차원 위치 정보를 포함한 특성 정보를 획득할 수 있다. 또한, 특성 정보에는 호버링 입력을 생성하는 호버링 입력 수단(1730)이 움직이는 경우, 움직이는 형태 및 움직이는 방향 중 적어도 하나에 관한 정보가 포함될 수 있다.
단계 1820에서, 제 1 디바이스(1710)는 결정된 호버링 입력의 특성 정보를 제 2 디바이스(1720)로 전송한다.
단계 1830에서, 제 2 디바이스(1720)는 제 2 디바이스(1720)에서 실행되는 어플리케이션의 동작 및 수신한 호버링 입력의 특성 정보에 기초하여, 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 수행한다. 제 2 디바이스(1720)가 실행되는 어플리케이션의 동작 및 수신한 호버링 입력의 특성 정보에 기초하여 적어도 하나의 태스크를 수행하는 방법은 도 1 내지 도 16을 참조하여 전술한 디바이스(100)에서 적어도 하나의 태스크를 수행하는 방법과 대응될 수 있다.
한편, 제 2 디바이스(1720)는 적어도 하나의 태스크를 수행한 결과를 어플리케이션의 설정 또는 사용자 입력에 기초하여 제 2 디바이스(1720)에 출력하거나 제 1 디바이스(1710)에 출력할 수 있다.
도 19는 본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템이 제 1 디바이스(1910) 및 제 2 디바이스(1920)를 제어하는 방법을 설명하기 위한 도면이다.
도 19를 참조하면, 제 2 디바이스(1920)에는 음악 재생 어플리케이션이 실행될 수 있다. 사용자는 제 2 디바이스(1920)에서 재생되는 음악의 음량을 제어하기 위해, 제 1 디바이스(1910)에 호버링 입력을 전송할 수 있다.
예를 들어, 사용자는 제 1 디바이스(1910)에 호버링 입력 수단(예를 들어, 손가락)을 홀딩하여, 제 1 디바이스(1910)에 호버링 입력을 전송할 수 있다. 제 1 디바이스(1910)는 획득한 호버링 입력에 대해, 호버링 입력 수단과 제 1 디바이스(1910)간의 거리를 기초로 특성 정보를 결정할 수 있다. 다른 예에 따라, 제 1 디바이스(1910)는 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 방향 및 움직이는 형태 중 적어도 하나에 기초하여, 호버링 입력의 특성 정보를 결정할 수 있다.
도 19 (a)를 참조하면, 제 1 디바이스(1910)는 호버링 입력의 3차원 위치 정보가 z2이고 반시계 방향의 움직임 패턴을 갖는 호버링 입력의 특성 정보를 제 2 디바이스(1920)에 전송할 수 있다. 제 2 디바이스(1920)는 기 저장된 음악 재생에 관한 메타데이터를 기초로 3차원 위치 정보가 z2이고 반시계 방향의 움직임 패턴을 갖는 호버링 입력에 대응되는 동작을 선택할 수 있다. 예를 들어, 제 2 디바이스(1920)는 호버링 입력의 반시계 방향의 움직임 패턴을 기초로 음악의 음량을 높이는 동작을 선택할 수 있다. 또한, 제 2 디바이스(1920)는 3차원 위치 정보가 z2인 호버링 입력에 대응되는 크기의 음량을 높이는 동작을 선택할 수 있다.
도 19 (b)를 참조하면, 제 1 디바이스(1910)는 호버링 입력의 3차원 위치 정보가 z2이고 시계 방향의 움직임 패턴을 갖는 호버링 입력의 특성 정보를 제 2 디바이스(1920)에 전송할 수 있다. 제 2 디바이스(1920)는 기 저장된 음악 재생에 관한 메타데이터를 기초로 3차원 위치 정보가 z2이고 시계 방향의 움직임 패턴을 갖는 호버링 입력에 대응되는 동작을 선택할 수 있다. 예를 들어, 제 2 디바이스(1920)는 호버링 입력의 시계 방향의 움직임 패턴을 기초로 음악의 음량을 낮추는 동작을 선택할 수 있다. 또한, 제 2 디바이스(1920)는 3차원 위치 정보가 z2인 호버링 입력에 대응되는 크기의 음량을 낮추는 동작을 선택할 수 있다.
도 20은 본 발명의 다른 실시예에 따른 디바이스를 제어하는 시스템이 제 1 디바이스(2010) 및 제 2 디바이스(2020)를 제어하는 방법을 설명하기 위한 도면이다.
도 20을 참조하면, 제 1 디바이스(2020)는 안경 형태의 디스플레이부를 포함하는 스마트 글래스를 포함할 수 있다. 도 20에 도시된 스마트 글래스(2020)에서는 사용자에게 위치에 관한 정보를 제공하는 지도 어플리케이션이 실행될 수 있다. 사용자는 제 1 디바이스(2020)에서 출력되는 지도의 축적을 제어하기 위해 제 1 디바이스(1810)에 호버링 입력을 전송할 수 있다.
예를 들어, 사용자는 제 1 디바이스(2010)에 호버링 입력 수단(예를 들어, 손가락)을 홀딩하여, 제 1 디바이스(2010)에 호버링 입력을 전송할 수 있다. 제 1 디바이스(2010)는 획득한 호버링 입력에 대해, 호버링 입력 수단과 제 1 디바이스(2010)간의 거리를 기초로 특성 정보를 결정할 수 있다. 다른 예에 따라, 제 1 디바이스(2010)는 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 방향 및 움직이는 형태 중 적어도 하나에 기초하여, 호버링 입력의 특성 정보를 결정할 수 있다.
도 20 (a)를 참조하면, 제 1 디바이스(2010)는 호버링 입력의 3차원 위치 정보가 z1이고 제 1 디바이스(2010)를 향하는 방향의 움직임 패턴을 갖는 호버링 입력의 특성 정보를 제 2 디바이스(2020)에 전송할 수 있다. 제 2 디바이스(2020)는 기 저장된 지도 어플리케이션 관한 메타데이터를 기초로 3차원 위치 정보가 z1이고 제 1 디바이스(2010)를 향하는 방향의 움직임 패턴을 갖는 호버링 입력에 대응되는 동작을 선택할 수 있다. 예를 들어, 제 2 디바이스(2020)는 호버링 입력의 제 1 디바이스(2010)를 향하는 방향의 움직임 패턴을 기초로 지도의 축적을 낮추는 동작을 선택할 수 있다. 또한, 제 2 디바이스(2020)는 3차원 위치 정보가 z1인 호버링 입력에 대응되는 크기 만큼 축적을 낮추는 동작을 선택할 수 있다.
제 2 디바이스(2020)는 선택된 동작에 디스플레이 되는 지도의 축적을 변경하여 제 1 디바이스(2010)에 전송할 수 있다. 제 1 디바이스(2010)는 변경된 축적에 따른 지도를 수신하여 출력할 수 있다.
도 18의 (b)를 참조하면, 제 1 디바이스(2010)는 호버링 입력의 3차원 위치 정보가 z6이고 제 1 디바이스(2010)에 반대되는 방향의 움직임 패턴을 갖는 호버링 입력의 특성 정보를 제 2 디바이스(2020)에 전송할 수 있다. 제 2 디바이스(2020)는 기 저장된 지도 어플리케이션 관한 메타데이터를 기초로 3차원 위치 정보가 z6이고 제 1 디바이스(2010)에 반대되는 방향의 움직임 패턴을 갖는 호버링 입력에 대응되는 동작을 선택할 수 있다. 예를 들어, 제 2 디바이스(2020)는 호버링 입력의 제 1 디바이스(2010)를 반대되는 방향의 움직임 패턴을 기초로 지도의 축적을 높이는 동작을 선택할 수 있다. 또한, 제 2 디바이스(2020)는 3차원 위치 정보가 z6인 호버링 입력에 대응되는 크기만큼 축적을 높이는 동작을 선택할 수 있다.
제 2 디바이스(2020)는 선택된 동작에 디스플레이 되는 지도의 축적을 변경하여 제 1 디바이스(2010)에 전송할 수 있다. 제 1 디바이스(2010)는 변경된 축적에 따른 지도를 수신하여 출력할 수 있다.
도 21 및 도 22는 본 발명의 일 실시예에 따른 디바이스(100)의 구성을 설명하기 위한 블록 구성도이다.
도 21에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 입력부(110), 제어부(120) 및 출력부(130)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스(100)는 구현될 수 있다.
예를 들어, 도 22에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 입력부(110), 제어부(120), 출력부(130) 이외에 센싱부(140), 통신부(150), A/V 입력부(160) 및 메모리(170)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
입력부(110)는, 사용자가 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 입력부(110)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
입력부(110)는 다양한 유형의 사용자 입력을 획득할 수 있다. 예를 들어,입력부(110)는 사용자로부터 디바이스(100)에서 감지되는 정전 용량을 변화시키는 방법에 기초한 호버링 입력을 획득할 수 있다. 또한, 입력부(110)는 기 설정된 시간 이내에 연속적으로 입력을 획득할 수 있다. 예를 들어, 입력부(110)는 호버링 입력을 획득한 이후, 기 설정된 시간 이내에 호버링 입력과 연관되는 실행 입력을 획득할 수 있다.
제어부(120)는, 통상적으로 디바이스(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(120)는, 메모리(170)에 저장된 프로그램들을 실행함으로써, 입력부(110), 출력부(130), 센싱부(140), 통신부(150), A/V 입력부(160) 등을 전반적으로 제어할 수 있다.
제어부(120)는 입력부(110)로부터 획득된 호버링 입력의 특성 정보를 획득할 수 있다. 여기에서, 특성 정보는 호버링 입력을 생성하는 호버링 입력 수단과 디바이스(100)간의 거리 및 호버링 입력 수단의 움직임에 관한 정보 중 적어도 하나를 포함한다. 제어부(120)는 디바이스에서 실행되는 어플리케이션의 동작 및 획득되는 호버링 입력의 3차원 위치 정보에 기초하여, 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 선택할 수 있다.
제어부(120)는 호버링 입력이 감지되는 경우, 호버링 입력 수단과 디바이스 간의 거리를 결정하고, 결정된 거리에 기초하여 호버링 입력의 3차원 위치 정보를 획득할 수 있다. 제어부(120)는 호버링 입력의 3차원 위치 정보에 따라 호버링 입력의 종류를 결정할 수 있다. 제어부(120)는 결정된 호버링 입력의 종류에 기초하여 실행되는 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 선택할 수 있다.
한편, 제어부(120)는 호버링 입력 수단의 2차원 위치 정보인 x, y 좌표에 관한 정보를 획득할 수도 있다. 제어부(120)는 복수의 태스크들을 나타내고 어플리케이션의 동작에 따라 출력되는 적어도 하나의 객체들 중에서, 호버링 입력을 생성하는 호버링 입력 수단의 위치에 대응되는 객체를 결정할 수 있다.
다른 실시예에 따라 제어부(120)는 어플리케이션이 실행되는 경우, 디바이스에 출력되는 객체들 중에서 적어도 하나가 나타내는 디바이스에서 실행 가능한 복수의 어플리케이션들 중 적어도 하나를 호버링 입력의 3차원 위치 정보에 기초하여, 선택할 수 있다. 또 다른 예에 따라 제어부(120)는 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 방향에 관한 정보를 획득할 수 있다. 제어부(120)는 호버링 입력이 움직이는 방향에 대응되는 동작을 선택하고, 호버링 입력의 3차원 위치 정보에 기초하여, 선택된 동작을 수행하는 방법을 결정할 수 있다.
또 다른 예에 따라 제어부(120)는 호버링 입력 수단이 움직이는 형태에 기초하여 획득한 호버링 입력의 종류를 결정할 수 있다. 제어부(120)는 결정된 호버링 입력의 종류에 대응되는 적어도 하나의 동작을 선택하고, 호버링 입력의 3차원 위치 정보에 기초하여, 선택된 동작이 수행되는 방법을 결정할 수 있다.
한편, 제어부(120)는 어플리케이션에 관해 기 저장된 데이터 베이스에 기초하여 입력부(110)로부터 획득된 실행 입력이 호버링 입력에 대응되는 실행 입력인지 여부를 판단할 수 있다.
출력부(130)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(131)와 음향 출력부(132), 진동 모터(133) 등이 포함될 수 있다.
디스플레이부(131)는 디바이스(100)에서 처리되는 정보를 표시 출력한다. 디스플레이부(131)는 입력부에서 획득한 실행 입력의 유형이 이전에 획득한 호버링 입력에 따라 기 설정된 유형에 대응되는 경우 선택된 적어도 하나의 태스크를 수행함에 따라 발생되는 결과를 출력할 수 있다.
디스플레이부(131)는 디바이스(100)에서 실행되는 어플리케이션의 동작과 관련된 어플리케이션 또는 동작을 나타내는 식별 표시를 출력할 수 있다. 예를 들어, 식별 표시에는 아이콘 등이 포함될 수 있다.
한편, 디스플레이부(131)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(131)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(131)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디바이스(100)의 구현 형태에 따라 디바이스(100)는 디스플레이부(131)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(131)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
음향 출력부(132)는 통신부(150)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(132)는 디바이스(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(132)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(133)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(133)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(133)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
센싱부(140)는, 디바이스(100)의 상태 또는 디바이스(100) 주변의 상태를 감지하고, 감지된 정보를 제어부(120)로 전달할 수 있다. 예를 들어, 센싱부(140)는 리뷰 컨텐츠(105)에 관한 사용자의 참조 동작을 감지하고, 감지된 정보를 제어부(120)로 전달할 수 있다.
센싱부(140)는, 지자기 센서(Magnetic sensor)(141), 가속도 센서(Acceleration sensor)(142), 온/습도 센서(143), 적외선 센서(144), 자이로스코프 센서(145), 위치 센서(예컨대, GPS)(146), 기압 센서(147), 근접 센서(148), 및 RGB 센서(illuminance sensor)(149) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
통신부(150)는, 디바이스(100)와 외부 기기 또는 디바이스(100)와 서버(간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(150)는, 근거리 통신부(151), 이동 통신부(152), 방송 수신부(153)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(151)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(152)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(153)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 디바이스(100)가 방송 수신부(153)를 포함하지 않을 수도 있다.
A/V(Audio/Video) 입력부(160)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(161)와 마이크로폰(162) 등이 포함될 수 있다. 카메라(161)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(120) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(161)에서 처리된 화상 프레임은 메모리(170)에 저장되거나 통신부(150)를 통하여 외부로 전송될 수 있다. 카메라(161)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(162)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(162)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(162)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(170)는, 제어부(120)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 복수의 메뉴, 복수의 메뉴 각각에 대응하는 복수의 제 1 계층 서브 메뉴, 복수의 제 1 계층 서브 메뉴 각각에 대응하는 복수의 제 2 계층 서브 메뉴 등)을 저장할 수도 있다.
메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스(100)는 인터넷(internet)상에서 메모리(170)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
메모리(170)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(171), 터치 스크린 모듈(172), 알림 모듈(173) 등으로 분류될 수 있다.
UI 모듈(171)은, 애플리케이션 별로 디바이스(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(172)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(120)로 전달할 수 있다. 본 발명의 일 실시예에 따른 터치 스크린 모듈(172)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(172)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.
근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(173)은 디바이스(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 디바이스(100)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(173)은 디스플레이부(131)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(132)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(133)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
도 23은 본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템에 포함되는 제 1 디바이스(1710)의 구성을 설명하기 위한 블록 구성도이다.
도 23에 도시된 바와 같이, 본 발명의 일 실시예에 따른 제 1 디바이스(1710)는, 사용자 입력부(1712), 정보 분석부(1714) 및 통신부(1716)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 제 1 디바이스(1710)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 제 1 디바이스(1710)는 구현될 수 있다.
사용자 입력부(1712)는 사용자 입력을 획득한다. 예를 들어, 사용자 입려구(1712)는 제 1 디바이스(1710)에서 감지되는 정전 용량의 변화에 따라 발생되는 호버링 입력을 획득할 수 있다.
정보 분석부(1714)는 획득한 호버링 입력의 특성 정보를 결정한다. 정보분석부(1714)는 획득한 호버링 입력의 3차원 위치 정보를 포함한 특성 정보를 획득할 수 있다. 또한, 호버링 입력을 생성하는 호버링 입력 수단(1730)이 움직이는 경우, 특성 정보에는 움직이는 형태 및 움직이는 방향 중 적어도 하나에 관한 정보가 포함될 수 있다.
통신부(1716)는 결정된 호버링 입력의 특성 정보를 제 2 디바이스(1720)로 전송한다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
100: 디바이스
110: 입력부
120: 제어부
130: 출력부
140: 센싱부
150: 통신부
160: A/V 입력부
170: 메모리

Claims (25)

  1. 디바이스에서 획득되는 호버링 입력의 3차원 위치 정보를 획득하는 단계;
    상기 디바이스에서 실행되는 어플리케이션의 동작 및 상기 획득되는 호버링 입력의 3차원 위치 정보에 기초하여, 상기 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 선택하는 단계;
    상기 호버링 입력에 따라 기 설정된 유형의 실행 입력을 획득하여, 상기 선택된 적어도 하나의 태스크를 수행하는 단계를 포함하는 디바이스를 제어하는 방법.
  2. 제 1항에 있어서, 상기 적어도 하나의 태스크를 선택하는 단계는,
    상기 디바이스와 상기 호버링 입력을 생성하는 호버링 입력 수단 간의 거리를 결정하는 단계;
    상기 결정된 거리에 기초하여 상기 호버링 입력의 3차원 위치 정보를 획득하는 단계; 및
    상기 호버링 입력의 3차원 위치 정보에 따라 결정되는 호버링 입력의 종류에 기초하여 적어도 하나의 태스크를 선택하는 단계를 포함하는 디바이스를 제어하는 방법.
  3. 제 1항에 있어서, 상기 적어도 하나의 태스크를 선택하는 단계는,
    상기 복수의 태스크들을 나타내고 상기 어플리케이션의 동작에 따라 출력되는 적어도 하나의 객체들 중에서, 상기 호버링 입력을 생성하는 호버링 입력 수단의 위치에 대응되는 객체를 결정하는 단계를 포함하고,
    상기 적어도 하나의 태스크는,
    상기 결정된 객체 및 상기 호버링 입력의 3차원 위치 정보에 따라 결정되는 디바이스를 제어하는 방법.
  4. 제 3항에 있어서, 상기 적어도 하나의 태스크를 선택하는 단계는,
    상기 결정된 객체가 나타내는 적어도 하나의 태스크를 선택하고,
    상기 선택된 적어도 하나의 태스크를 수행하는 단계는,
    상기 획득되는 호버링 입력의 3차원 위치 정보를 이용하여, 상기 수행되는 태스크의 수행 단위를 결정하는 단계; 및
    상기 결정된 수행 단위에 따라 상기 태스크를 수행하는 단계를 포함하는 디바이스를 제어하는 방법.
  5. 제 1항에 있어서, 복수의 태스크들은,
    상기 디바이스에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별되는 디바이스를 제어하는 방법.
  6. 제 1항에 있어서, 상기 적어도 하나의 태스크를 선택하는 단계는,
    상기 어플리케이션이 실행되는 경우, 상기 디바이스에 출력되는 객체들 중에서 적어도 하나가 나타내는 상기 디바이스에서 실행 가능한 복수의 어플리케이션들 중 적어도 하나를 상기 호버링 입력의 3차원 위치 정보에 기초하여, 선택하는 단계를 포함하는 디바이스를 제어하는 방법.
  7. 제 1항에 있어서, 상기 적어도 하나의 태스크를 선택하는 단계는,
    상기 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 방향에 관한 정보를 획득하는 단계; 및
    상기 호버링 입력 수단이 움직이는 방향에 대응되는 태스크를선택하는 단계를 포함하고
    상기 호버링 입력의 3차원 위치 정보에 기초하여, 상기 선택된 동작을 수행하는 방법이 결정되는 디바이스를 제어하는 방법.
  8. 제 1항에 있어서, 상기 적어도 하나의 태스크를 선택하는 단계는,
    상기 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 패턴에 기초하여 상기 획득한 호버링 입력의 종류를 결정하는 단계; 및
    상기 결정된 호버링 입력의 종류에 대응되는 적어도 하나의 태스크를 선택하는 단계를 포함하고,
    상기 호버링 입력의 3차원 위치 정보에 기초하여, 상기 선택된 동작을 수행하는 방법이 결정되는 디바이스를 제어하는 방법.
  9. 제 1항에 있어서, 상기 실행 입력을 획득하는 단계는,
    상기 어플리케이션에 관해 기 저장된 데이터 베이스에 기초하여 상기 호버링 입력에 대응되는 실행 입력인지 여부를 판단하는 단계를 포함하고,
    상기 선택된 적어도 하나의 태스크를 수행하는 단계는,
    상기 호버링 입력과 대응되는 실행 입력을 획득한 경우 상기 선택된 적어도 하나의 태스크를 수행하는 디바이스를 제어하는 방법.
  10. 제 1 디바이스에서 획득되는 호버링 입력의 3차원 위치 정보를 포함하는 특성 정보를 획득하는 단계;
    상기 획득된 특성 정보를 제 2 디바이스로 전송하는 단계; 및
    상기 제 2 디바이스에서 실행되는 어플리케이션의 동작 및 상기 특성 정보에 기초하여, 상기 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 수행하는 단계를 포함하는 디바이스를 제어하는 방법.
  11. 제 10항에 있어서, 상기 호버링 입력의 3차원 위치 정보는,
    상기 호버링 입력을 생성하는 호버링 입력 수단과 상기 제 1 디바이스 간의 거리에 기초하여 결정되고,
    상기 호버링 입력의 특성 정보는, 상기 호버링 입력 수단의 움직임 정보 를 더 포함하는 디바이스를 제어하는 방법.
  12. 제 10항에 있어서, 상기 복수의 태스크들은,
    상기 제 2 디바이스에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별되는 디바이스를 제어하는 방법.
  13. 디바이스에서 호버링 입력을 획득하는 입력부;
    상기 디바이스에서 실행되는 어플리케이션의 동작 및 상기 획득되는 호버링 입력의 3차원 위치 정보에 기초하여, 상기 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 선택하는 제어부; 및
    상기 호버링 입력에 따라 기 설정된 유형의 실행 입력을 획득하여, 상기 선택된 적어도 하나의 태스크를 수행하는 출력부를 포함하는 디바이스.
  14. 제 13항에 있어서, 상기 제어부는,
    상기 디바이스와 상기 호버링 입력을 생성하는 호버링 입력 수단 간의 거리를 결정하여, 상기 결정된 거리에 기초하여 상기 호버링 입력의 3차원 위치 정보를 획득하고, 상기 호버링 입력의 3차원 위치 정보에 따라 결정되는 호버링 입력의 종류에 기초하여 적어도 하나의 태스크를 선택하는 디바이스.
  15. 제 13항에 있어서, 상기 제어부는,
    상기 복수의 태스크들을 나타내고 상기 어플리케이션의 동작에 따라 출력되는 적어도 하나의 객체들 중에서, 상기 호버링 입력을 생성하는 호버링 입력 수단의 위치에 대응되는 객체를 결정하고,
    상기 적어도 하나의 태스크는,
    상기 결정된 객체 및 상기 호버링 입력의 3차원 위치 정보에 따라 결정되는 디바이스.
  16. 제 15항에 있어서, 상기 제어부는,
    상기 결정된 객체가 나타내는 적어도 하나의 태스크를 선택하고, 상기 획득되는 호버링 입력의 3차원 위치 정보를 이용하여, 상기 수행되는 태스크의 수행 단위를 결정하며,
    상기 출력부는,
    상기 결정된 수행 단위에 따라 상기 태스크를 수행하는 디바이스.
  17. 제 13항에 있어서, 복수의 태스크들은,
    상기 디바이스에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별되는 디바이스.
  18. 제 13항에 있어서, 상기 제어부는,
    상기 어플리케이션이 실행되는 경우, 상기 디바이스에 출력되는 객체들 중에서 적어도 하나가 나타내는 상기 디바이스에서 실행 가능한 복수의 어플리케이션들 중 적어도 하나를 상기 호버링 입력의 3차원 위치 정보에 기초하여, 선택하는 디바이스.
  19. 제 13항에 있어서, 상기 제어부는,
    상기 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 방향에 관한 정보를 획득하여, 상기 호버링 입력이 움직이는 방향에 대응되는 동작을 선택하고, 상기 호버링 입력의 3차원 위치 정보에 기초하여, 상기 선택된 동작을 수행하는 방법을 결정하는 디바이스.
  20. 제 13항에 있어서, 상기 제어부는,
    상기 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 패턴에 기초하여 상기 획득한 호버링 입력의 종류를 결정하여, 상기 결정된 호버링 입력의 종류에 대응되는 적어도 하나의 동작을 선택하고, 상기 호버링 입력의 3차원 위치 정보에 기초하여, 상기 선택된 동작이 수행되는 방법을 결정하는 디바이스.
  21. 제 13항에 있어서, 상기 제어부는,
    상기 어플리케이션에 관해 기 저장된 데이터 베이스에 기초하여 상기 획득된 실행 입력이 상기 호버링 입력에 대응되는 실행 입력인지 여부를 판단하고,
    상기 출력부는,
    상기 호버링 입력과 대응되는 실행 입력을 획득한 경우 상기 선택된 적어도 하나의 태스크를 수행하는 디바이스.
  22. 획득되는 호버링 입력의 3차원 위치 정보를 포함하는 특성 정보를 획득하는 제 1 디바이스; 및
    상기 제 1 디바이스로부터 상기 특성 정보를 수신하고, 실행되는 어플리케이션의 동작 및 상기 특성 정보에 기초하여, 상기 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 수행하는 제 2 디바이스를 포함하는 디바이스를 제어하는 시스템.
  23. 제 22항에 있어서, 상기 호버링 입력의 3차원 위치 정보는,
    상기 호버링 입력을 생성하는 호버링 입력 수단과 상기 제 1 디바이스 간의 거리에 기초하여 결정되고,
    상기 호버링 입력의 특성 정보는, 상기 호버링 입력 수단의 움직임 정보 를 더 포함하는 디바이스를 제어하는 시스템.
  24. 제 22항에 있어서, 상기 복수의 태스크들은,
    상기 제 2 디바이스에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별되는 디바이스를 제어하는 시스템.
  25. 제 1항 내지 제 12항 중 어느 한 항의 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체.


KR1020140169971A 2014-12-01 2014-12-01 디바이스를 제어하는 방법, 시스템 및 그 디바이스 KR102336445B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020140169971A KR102336445B1 (ko) 2014-12-01 2014-12-01 디바이스를 제어하는 방법, 시스템 및 그 디바이스
PCT/KR2015/012929 WO2016089063A1 (en) 2014-12-01 2015-11-30 Method and system for controlling device
EP19201385.2A EP3627302A1 (en) 2014-12-01 2015-11-30 Method and system for controlling device
CN201580070729.9A CN107111446B (zh) 2014-12-01 2015-11-30 控制设备的方法和系统
EP15864428.6A EP3201748A4 (en) 2014-12-01 2015-11-30 Method and system for controlling device
US14/955,663 US10824323B2 (en) 2014-12-01 2015-12-01 Method and system for controlling device
US17/038,862 US11513676B2 (en) 2014-12-01 2020-09-30 Method and system for controlling device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140169971A KR102336445B1 (ko) 2014-12-01 2014-12-01 디바이스를 제어하는 방법, 시스템 및 그 디바이스

Publications (2)

Publication Number Publication Date
KR20160065673A true KR20160065673A (ko) 2016-06-09
KR102336445B1 KR102336445B1 (ko) 2021-12-07

Family

ID=56079221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140169971A KR102336445B1 (ko) 2014-12-01 2014-12-01 디바이스를 제어하는 방법, 시스템 및 그 디바이스

Country Status (5)

Country Link
US (2) US10824323B2 (ko)
EP (2) EP3201748A4 (ko)
KR (1) KR102336445B1 (ko)
CN (1) CN107111446B (ko)
WO (1) WO2016089063A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140327701A1 (en) * 2013-05-02 2014-11-06 Funai Electric Co., Ltd. Operation apparatus and information processing system
KR102336445B1 (ko) * 2014-12-01 2021-12-07 삼성전자주식회사 디바이스를 제어하는 방법, 시스템 및 그 디바이스
US10732719B2 (en) * 2016-03-03 2020-08-04 Lenovo (Singapore) Pte. Ltd. Performing actions responsive to hovering over an input surface
KR20170138279A (ko) * 2016-06-07 2017-12-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN108009012B (zh) * 2017-12-14 2021-12-14 中南大学 一种基于任务模型的多智能体动态任务分配方法
KR102459727B1 (ko) 2018-07-27 2022-10-27 삼성전자주식회사 전자 펜을 이용하여 동작 모드를 제어하기 위한 방법 및 그 전자 장치
CN110456968A (zh) * 2018-09-30 2019-11-15 网易（杭州）网络有限公司 信息显示方法、装置、存储介质和电子装置
CN112328164B (zh) * 2020-11-11 2022-08-02 维沃移动通信有限公司 操控方法和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110128234A1 (en) * 2004-04-01 2011-06-02 Power2B, Inc. Displays and information input devices
US20110134810A1 (en) * 2009-12-07 2011-06-09 Hitachi Media Electronics Co., Ltd. Module for use in mobile communication terminal and mobile communication terminal applying the same therein
US20120113056A1 (en) * 2010-11-09 2012-05-10 Sony Corporation Input device, input method, and computer readable storage device
US20140189225A1 (en) * 2012-12-28 2014-07-03 Shaun M. Conrad Independent Control Of Processor Core Retention States
US20140351729A1 (en) * 2013-05-21 2014-11-27 Samsung Electronics Co., Ltd. Method of operating application and electronic device implementing the same

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080084400A1 (en) * 2006-10-10 2008-04-10 Outland Research, Llc Touch-gesture control of video media play on handheld media players
US8665225B2 (en) * 2007-01-07 2014-03-04 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
US8432365B2 (en) * 2007-08-30 2013-04-30 Lg Electronics Inc. Apparatus and method for providing feedback for three-dimensional touchscreen
KR20110014040A (ko) 2009-08-04 2011-02-10 엘지전자 주식회사 이동 단말기 및 그의 아이콘 충돌 제어방법
US8593398B2 (en) * 2010-06-25 2013-11-26 Nokia Corporation Apparatus and method for proximity based input
US8907929B2 (en) 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
KR20110134810A (ko) 2010-08-26 2011-12-15 백규현 디스플레이 장치를 제어하기 위한 원격 제어 장치 및 원격 제어 방법
US8890818B2 (en) * 2010-09-22 2014-11-18 Nokia Corporation Apparatus and method for proximity based input
US20120162225A1 (en) * 2010-12-23 2012-06-28 Google Inc. View dependent techniques to determine user interest in a feature in a 3d application
KR101830653B1 (ko) * 2011-07-18 2018-02-21 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
US20130117717A1 (en) * 2011-11-03 2013-05-09 Shenzhen Super Perfect Optics Limited 3d user interaction system and method
EP2602703B1 (en) 2011-12-09 2018-02-07 LG Electronics Inc. -1- Mobile terminal and controlling method thereof
KR101873746B1 (ko) 2011-12-09 2018-07-03 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101399660B1 (ko) 2012-06-28 2014-05-27 주식회사 아하정보통신 전자칠판의 바탕화면 클릭 실행 시스템 및 실행 방법
US9063563B1 (en) * 2012-09-25 2015-06-23 Amazon Technologies, Inc. Gesture actions for interface elements
KR20140042270A (ko) 2012-09-28 2014-04-07 삼성전자주식회사 애플리케이션을 실행하기 위한 방법 및 그 전자 장치
CN102981764B (zh) 2012-11-19 2018-07-20 北京三星通信技术研究有限公司 触控操作的处理方法及设备
US9323353B1 (en) * 2013-01-15 2016-04-26 American Megatrends, Inc. Capacitance sensing device for detecting a three-dimensional location of an object
CN103984465A (zh) * 2013-02-07 2014-08-13 华为终端有限公司 用户界面上日历内容的显示方法与移动终端
US20140267130A1 (en) * 2013-03-13 2014-09-18 Microsoft Corporation Hover gestures for touch-enabled devices
US20140282269A1 (en) * 2013-03-13 2014-09-18 Amazon Technologies, Inc. Non-occluded display for hover interactions
KR102157270B1 (ko) * 2013-04-26 2020-10-23 삼성전자주식회사 펜을 이용하는 사용자 단말 장치 및 그 제어 방법
US20140347326A1 (en) * 2013-05-21 2014-11-27 Samsung Electronics Co., Ltd. User input using hovering input
JP2015060303A (ja) * 2013-09-17 2015-03-30 船井電機株式会社 情報処理装置
US9916079B2 (en) * 2014-06-05 2018-03-13 Openpeak Llc Method and system for enabling the sharing of information between applications on a computing device
KR102336445B1 (ko) * 2014-12-01 2021-12-07 삼성전자주식회사 디바이스를 제어하는 방법, 시스템 및 그 디바이스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110128234A1 (en) * 2004-04-01 2011-06-02 Power2B, Inc. Displays and information input devices
US20110134810A1 (en) * 2009-12-07 2011-06-09 Hitachi Media Electronics Co., Ltd. Module for use in mobile communication terminal and mobile communication terminal applying the same therein
US20120113056A1 (en) * 2010-11-09 2012-05-10 Sony Corporation Input device, input method, and computer readable storage device
US20140189225A1 (en) * 2012-12-28 2014-07-03 Shaun M. Conrad Independent Control Of Processor Core Retention States
US20140351729A1 (en) * 2013-05-21 2014-11-27 Samsung Electronics Co., Ltd. Method of operating application and electronic device implementing the same

Also Published As

Publication number Publication date
WO2016089063A1 (en) 2016-06-09
US10824323B2 (en) 2020-11-03
CN107111446B (zh) 2021-06-18
KR102336445B1 (ko) 2021-12-07
US20210011599A1 (en) 2021-01-14
EP3201748A1 (en) 2017-08-09
EP3201748A4 (en) 2017-10-25
US20160154519A1 (en) 2016-06-02
US11513676B2 (en) 2022-11-29
EP3627302A1 (en) 2020-03-25
CN107111446A (zh) 2017-08-29

Similar Documents

Publication Publication Date Title
US11513676B2 (en) Method and system for controlling device
CN108139778B (zh) 便携式设备和便携式设备的屏幕显示方法
US9417775B2 (en) Method and device for executing object on display
KR102342267B1 (ko) 휴대 장치 및 휴대 장치의 화면 변경방법
US9632578B2 (en) Method and device for switching tasks
KR101971624B1 (ko) 이동 단말의 정보 표시 방법, 디스플레이 장치의 정보 제공 방법, 이동 단말의 제어 신호 생성 방법
TWI410906B (zh) 使用擴增實境導航路徑之方法及使用該方法之行動終端機
US9262867B2 (en) Mobile terminal and method of operation
CA2782786A1 (en) Electronic device interface
US11209930B2 (en) Method of controlling device using various input types and device for performing the method
CN112230914A (zh) 小程序的制作方法、装置、终端及存储介质
KR20160071783A (ko) 컨텐트를 표시하는 방법 및 디바이스
KR20150110319A (ko) 영상을 디스플레이 하는 방법 및 디바이스
US20200326786A1 (en) Device and method of controlling device
KR20150032068A (ko) 복수의 애플리케이션 실행 방법 및 이를 위한 디바이스
EP2876641A1 (en) Slide show-providing system and method
KR102306535B1 (ko) 디바이스를 제어하는 방법 및 디바이스
KR20160031824A (ko) 디바이스에 객체를 표시하는 방법 및 그 디바이스
KR20160053597A (ko) 디바이스에 오브젝트를 디스플레이 하는 방법, 그 디바이스 및 기록매체
KR20150121565A (ko) 미러링 서비스를 수행하는 방법 및 장치
US11797104B2 (en) Electronic device and control method of the same
US20240004482A1 (en) Electronic device and control method of the same
KR20140091929A (ko) 사용자 단말 장치 및 그의 제어 방법
KR20160031823A (ko) 디바이스에 객체를 표시하는 방법 및 그 디바이스
KR20150142375A (ko) 디바이스에 컨텐츠를 표시하는 방법 및 그 디바이스

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant