KR20160058322A - 디바이스를 제어하는 방법 및 그 디바이스 - Google Patents

디바이스를 제어하는 방법 및 그 디바이스 Download PDF

Info

Publication number
KR20160058322A
KR20160058322A KR1020140158908A KR20140158908A KR20160058322A KR 20160058322 A KR20160058322 A KR 20160058322A KR 1020140158908 A KR1020140158908 A KR 1020140158908A KR 20140158908 A KR20140158908 A KR 20140158908A KR 20160058322 A KR20160058322 A KR 20160058322A
Authority
KR
South Korea
Prior art keywords
input
hovering
touch
touch input
hovering input
Prior art date
Application number
KR1020140158908A
Other languages
English (en)
Other versions
KR102380228B1 (ko
Inventor
이강민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140158908A priority Critical patent/KR102380228B1/ko
Priority to PCT/KR2015/011611 priority patent/WO2016076561A2/en
Priority to US14/942,355 priority patent/US10474259B2/en
Publication of KR20160058322A publication Critical patent/KR20160058322A/ko
Priority to US16/594,906 priority patent/US11209930B2/en
Application granted granted Critical
Publication of KR102380228B1 publication Critical patent/KR102380228B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

디바이스에서 터치 입력 및 호버링 입력을 획득하여, 디바이스에서 실행되는 애플리케이션의 동작들 중에서 획득된 터치 입력 및 획득된 호버링 입력을 조합하여 생성되는 입력 패턴 정보에 대응되는 동작을 결정하고, 결정된 동작을 수행하는 디바이스를 제어하는 방법이 개시된다.

Description

디바이스를 제어하는 방법 및 그 디바이스{METHOD FOR CONTROLLING DEVICE AND THE DEVICE}
본 발명은 디바이스를 제어하는 방법 및 이를 위한 디바이스에 관한 것이다.
네트워크 및 멀티미디어 기술이 발전함에 따라, 디바이스의 사용자는 서비스 제공 서버로부터 다양한 서비스를 제공받을 수 있게 되었다. 또한, 네트워크 및 멀티미디어 기술의 발전과 함께 디바이스에 관한 연구가 활발히 이루어지면서, 디바이스들은 사용자에게 여러 가지 형태의 사용자 인터페이스를 제공할 수 있다.
디바이스가 제공 가능한 서비스와 사용자 인터페이스의 형태가 다양해 지면서, 사용자가 원하는 서비스를 제공받기 위해, 디바이스를 제어하는 경우, 입력할 수 있는 사용자 입력의 형태도 다양해졌다. 최근에는 디바이스에 포함되는 센서들이 다양해 지면서, 사용자가 이용 가능한 서비스에 보다 적합한 입력 형태를 제공할 수 있도록 다양한 종류의 입력 형태를 인식하여 디바이스를 제어할 수 있는 기술이 요구되고 있다.
본 발명의 일 실시예에 따라 복수개의 서로 다른 유형의 사용자 입력들을 획득하여, 획득한 사용자 입력들을 기초로 디바이스의 동작을 효과적으로 제어할 수 있는 디바이스를 제어하는 방법을 제공할 수 있다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법은, 터치 입력 및 호버링 입력을 획득하는 단계; 디바이스에서 실행되는 애플리케이션의 동작들 중에서 획득된 터치 입력 및 획득된 호버링 입력에 따라 생성되는 입력 패턴 정보에 대응되는 동작을 결정하는 단계; 및 결정된 동작을 수행하는 단계를 포함한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 입력 패턴 정보는 획득된 터치 입력 및 획득된 호버링 입력 각각의 종류, 획득된 터치 입력 및 획득된 호버링 입력의 입력 순서 및 입력 횟수 중 적어도 하나에 기초하여 생성된다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 각각의 종류를 결정하는 단계는, 획득된 터치 입력의 위치, 시간, 움직임 및 호버링 입력 수단의 종류 중 적어도 하나에 기초하여, 터치 입력의 종류를 결정하는 단계; 및 획득된 호버링 입력의 위치, 시간, 기울기, 움직임, 속도 및 터치 입력 수단의 종류 중 적어도 하나에 기초하여, 호버링 입력의 종류를 결정하는 단계를 포함한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 각각의 종류를 결정하는 단계는, 획득된 터치 입력을 판독하는 제 1 센싱 영역을 획득된 호버링 입력을 판독하는 제 2 센싱 영역 보다 크게 설정한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법은, 터치 입력을 획득하기 위한 제 1 영역 및 호버링 입력을 획득하기 위한 제 2 영역을 포함하는 사용자 인터페이스를 제공하는 단계를 더 포함하고, 사용자 인터페이스를 통해 터치 입력 및 호버링 입력을 획득한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법은, 터치 입력 및 호버링 입력 중 어느 하나가 획득되는 경우, 기저장된 동작을 수행하기 위해 다음에 입력되어야 하는 터치 입력 또는 다음에 입력되어야 하는 호버링 입력에 대한 가이드 정보를 제공하는 단계를 더 포함한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 동작을 결정하는 단계는, 터치 입력이 획득된 시간과 호버링 입력이 획득된 시간의 차이가 임계값 미만인 경우, 획득된 터치 입력 및 획득된 호버링 입력으로부터 입력 패턴 정보를 생성한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법은, 터치 입력이 획득된 경우, 디바이스의 화면에 제 1 유효 입력 표시를 디스플레이하고, 호버링 입력이 획득된 경우, 디바이스의 화면에 제 2 유효 입력 표시를 디스플레이 하는 단계를 더 포함한다.
본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 동작을 결정하는 단계는, 획득된 터치 입력 및 획득된 호버링 입력의 조합에 기초하여 생성되는 입력 패턴을 식별하는 단계; 및 기저장된 데이터베이스로부터 식별된 패턴에 대응되는 동작을 검출하는 단계를 포함한다.
본 발명의 일 실시예에 따른 디바이스는 터치 입력 및 호버링 입력을 획득하는 사용자 입력부; 디바이스에서 실행되는 애플리케이션의 동작들 중에서 획득된 터치 입력 및 획득된 호버링 입력에 따라 생성되는 입력 패턴 정보에 대응되는 동작을 결정하는 제어부; 및 결정된 동작을 수행하는 출력부를 포함한다.
본 발명의 일 실시예에 따른 디바이스에 있어서, 입력 패턴 정보는, 획득된 터치 입력 및 획득된 호버링 입력 각각의 종류, 획득된 터치 입력 및 획득된 호버링 입력의 입력 순서 및 입력 횟수 중 적어도 하나에 기초하여 입력 패턴을 생성한다.
본 발명의 일 실시예에 따른 디바이스에 있어서, 제어부는, 획득된 터치 입력의 위치, 시간, 움직임 및 호버링 입력 수단의 종류 중 적어도 하나에 기초하여, 터치 입력의 종류를 결정하고, 획득된 호버링 입력의 위치, 시간, 기울기, 움직임, 속도 및 터치 입력 수단의 종류 중 적어도 하나에 기초하여, 호버링 입력의 종류를 결정한다.
본 발명의 일 실시예에 따른 디바이스에 있어서, 제어부는, 획득돈 터치 입력을 판독하는 제 1 센싱 영역을 획득되는 호버링 입력을 판독하는 제 2 센싱 영역 보다 크게 설정한다.
본 발명의 일 실시예에 따른 디바이스에 있어서, 사용자 입력부는, 터치 입력을 획득하기 위한 제 1 영역 및 호버링 입력을 획득하기 위한 제 2 영역을 포함하는 사용자 인터페이스를 제공하고, 사용자 인터페이스를 통해 터치 입력 및 호버링 입력을 획득한다.
본 발명의 일 실시예에 따른 디바이스에 있어서, 사용자 입력부는, 터치 입력 및 호버링 입력 중 어느 하나가 획득되는 경우, 기저장된 동작을 수행하기 위해 다음에 입력되어야 하는 터치 입력 또는 다음에 입력되어야 하는 호버링 입력에 대한 가이드 정보를 제공한다.
본 발명의 일 실시예에 따른 디바이스에 있어서, 제어부는, 터치 입력이 획득되는 시간과 호버링 입력이 획득되는 시간의 차이가 임계값 미만인 경우, 획득된 터치 입력 및 획득된 호버링 입력으로부터 입력 패턴 정보를 생성한다.
본 발명의 일 실시예에 따른 디바이스에 있어서, 사용자 입력부는, 터치 입력이 획득된 경우, 디바이스의 화면에 제 1 유효 입력 표시를 디스플레이하고, 호버링 입력이 획득된 경우, 디바이스의 화면에 제 2 유효 입력 표시를 디스플레이 한다.
본 발명의 일 실시예에 따른 디바이스에 있어서, 제어부는, 획득된 터치 입력 및 획득된 호버링 입력의 조합에 기초하여 생성되는 입력 패턴을 식별하고, 기저장된 데이터베이스로부터 식별된 패턴에 대응되는 동작을 검출한다.
도 1은 본 발명의 일 실시예에 따라 디바이스를 제어하는 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 디바이스를 제어하는 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따라 디바이스에서 획득되는 호버링 입력의 종류를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따라 디바이스에서 획득한 터치 입력 및 호버링 입력 각각을 식별하는 센싱 영역을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라, 디바이스에서 사용자에게 입력 패턴 정보를 생성하기 위한 가이드 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라, 디바이스에서 입력 패턴 정보를 생성하는 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 디바이스가 입력 영역에서 획득되는 호버링 입력을 높이에 따라 식별하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따라 디바이스에서 획득되는 사용자 입력의 유효성을 판단하여 입력 패턴 정보를 생성하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따라, 디바이스에서 애플리케이션이 실행되는 경우, 디바이스가 생성된 입력 패턴 정보에 기초하여 동작을 수행하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따라, 디바이스에서 터치 입력 및 호버링 입력을 획득하는 경우, 각각의 입력이 획득되었음을 나타내는 표시를 출력하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따라, 디바이스에서 순차적으로 획득되는 사용자 입력들을 조합하여 생성되는 입력 패턴 정보 및 실행되는 애플리케이션에 기초하여 동작을 수행하는 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 다른 실시예에 따라, 디바이스에서 순차적으로 획득되는 사용자 입력들을 조합하여 생성되는 입력 패턴 정보 및 실행되는 애플리케이션에 기초하여 동작을 수행하는 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따라, 디바이스가 호버링 입력 수단(1320)의 종류에 따라 서로 다른 입력 패턴 정보를 생성하는 방법을 설명하기 위한 도면이다.
도 14 및 도 15는 본 발명의 일 실시예에 따른 디바이스를 제어하는 방법을 실시할 수 있는 제 1 디바이스를 설명하기 위한 도면이다.
도 16 내지 도 18은 본 발명의 일 실시예에 따른 디바이스를 제어하는 방법을 실시할 수 있는 제 2 디바이스를 설명하기 위한 도면이다.
도 19 및 도 20은 본 발명의 일 실시예에 따른 디바이스의 구성을 설명하기 위한 블록 구성도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 애플리케이션은 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 말한다. 본 명세서에 기술되는 애플리케이션은 다양할 수 있다. 예를 들어, 게임 애플리케이션, 동영상 재생 애플리케이션, 지도 애플리케이션, 메모 애플리케이션, 캘린더 애플리케이션, 폰 북 애플리케이션, 방송 애플리케이션, 운동 지원 애플리케이션, 결제 애플리케이션, 사진 폴더 애플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서 "터치 입력"이란 사용자가 디바이스(100)를 제어하기 위해 터치 스크린에 행하는 제스처 등을 의미한다. 예를 들어, 본 명세서에서 기술되는 터치 입력에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭 등이 있을 수 있다.
"탭(tap)"은 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 움직이지 않은 채 화면에서 즉시 들어올리는 동작을 나타낸다.
"터치&홀드(touch & hold)"는 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 임계 시간(예컨대, 2초) 이상 터치 입력을 유지하는 동작을 나타낸다. 예를 들어, 터치-인 시점과 터치-아웃 시점 간의 시간 차이가 임계 시간(예컨대, 2초) 이상인 경우를 의미한다. 터치 입력이 탭인지 터치&홀드인지를 사용자에게 인식시키도록 하기 위하여 터치 입력이 임계 시간 이상 유지되면 시각적 또는 청각적 또는 촉각적으로 피드백 신호를 제공할 수도 있다. 상기 임계 시간은 구현 예에 따라서 변경될 수 있다.
"더블 탭(double tap)"은 사용자가 손가락이나 터치 도구(stylus)를 이용하여 화면을 두 번 터치하는 동작을 나타낸다.
"드래그(drag)"는 사용자가 손가락이나 터치 도구를 화면에 터치한 후 터치를 유지한 상태에서 손가락이나 터치 도구를 화면 내의 다른 위치로 이동시키는 동작을 의미한다. 드래그 동작으로 인하여 오브젝트가 이동되거나 후술할 패닝 동작이 수행된다.
"패닝(panning)"은 사용자가 오브젝트를 선택하지 않고 드래그 동작을 수행하는 경우를 나타낸다. 패닝은 특정 오브젝트를 선택하지 않기 때문에 오브젝트가 페이지 내에서 이동되는 것이 아니라 페이지 자체가 화면 내에서 이동하거나, 오브젝트의 그룹이 페이지 내에서 이동한다.
"플릭(flick)"은 사용자가 손가락이나 터치 도구를 이용하여 임계 속도(예컨대, 100 pixel/s) 이상으로 드래그하는 동작을 나타낸다. 손가락이나 터치 도구의 이동 속도가 임계 속도(예컨대, 100 pixel/s) 이상인지에 기초하여 드래그(또는 패닝)와 플릭을 구별할 수 있다.
"드래그 앤드 드롭(drag & drop)"은 사용자가 손가락이나 터치 도구를 이용해 오브젝트를 화면 내 소정 위치에 드래그한 후 놓는 동작을 의미한다.
"핀치(pinch)"는 사용자가 두 손가락을 화면 위에 터치한 상태에서 서로 다른 방향으로 움직이는 동작을 나타낸다. 오브젝트 또는 페이지의 확대(Pinch Open) 또는 축소(Pinch Close)를 위한 제스처이며, 두 손가락의 거리에 따라 확대 값이나 축소 값이 결정된다.
"스와이프(swipe)"는 손가락이나 터치 도구로 화면 위의 오브젝트를 터치한 상태에서 수평 또는 수직 방향으로 일정 거리를 움직이는 동작이다. 사선 방향의 움직임은 스와이프 이벤트로 인식되지 않을 수 있다.
본 명세서에서 호버링 입력은, 사용자가 호버링 입력 수단을 디바이스에 비 접촉하여 기 설정된 범위 내에 위치시킴으로써, 디바이스 내에 생성되는 전기 신호를 변경하는 입력 방식을 나타낸다. 호버링 입력의 종류는 따라 호버링 입력이 획득된 위치 및 시간과 호버링 입력을 생성하는 호버링 입력 수단의 종류 및 움직임 중 적어도 하나에 기초하여 결정될 수 있다.
예를 들어, 호버링 입력이 감지되는 높이에 따라 호버링 입력의 종류가 결정될 수 있다. 디바이스의 화면으로부터 제 1 높이의 위치에서 제 1 호버링 입력이 감지되는 경우 및 제 1 높이 보다 높은 제 2 높이의 위치에서 제 2 호버링 입력이 감지되는 경우, 디바이스는 제 1 호버링 입력 및 제 2 호버링 입력을 서로 다른 종류의 호버링 입력으로 결정될 수 있다.
다른 예에 따라, 화면 상에서 호버링 입력이 감지되는 시간의 길이에 따라 호버링 입력의 종류가 결정될 수 있다. 디바이스는 제 1 단위 시간 동안 획득된 호버링 입력과 제 1 단위 시간 보다 긴 시간인 제 2 단위 시간 동안 획득된 호버링 입력을 서로 다른 종류의 호버링 입력으로 결정될 수 있다.
다른 예에 따라, 호버링 입력 수단의 움직임에 따라 호버링 입력의 종류가 결정될 수 있다. 예를 들어, 1 방향으로 움직이는 호버링 입력 및 제 2 방향으로 움직이는 호버링 입력은 서로 다른 종류로 결정될 수 있다. 또한, 호버링 입력이 획득되는 속도에 따라 제 1 속도로 이동하는 호버링 입력 및 제 2 속도로 이동하는 호버링 입력은 서로 다른 종류로 결정될 수 있다.
다른 예에 따라 호버링 입력 수단의 재질에 따라 호버링 입력의 종류가 결정될 수 있다. 예를 들어, 제 1 재질의 입력 수단으로 생성된 호버링 입력 및 제 2 재질의 입력 수단으로 생성된 호버링 입력은 서로 다른 종류로 결정될 수 있다.
도 1은 본 발명의 일 실시예에 따라 디바이스(100)를 제어하는 방법을 설명하기 위한 도면이다.
디바이스(100)는, 적어도 하나의 사용자 입력을 획득한다. 또한, 본 발명의 일 실시예에 따른 디바이스(100)는 복수의 사용자 입력들을 획득하는 경우, 획득한 복수의 사용자 입력들을 조합하여, 입력 패턴 정보를 생성한다. 입력 패턴 정보는 디바이스(100)에서 획득한 복수의 사용자 입력들 각각의 특성 및 복수의 사용자 입력들의 조합에 따라, 서로 상이할 수 있다. 이하에서는 설명의 편의상, 복수의 사용자 입력들 중 터치 입력(10) 및 호버링 입력(20)을 획득하는 경우를 예로 들어, 본 발명의 일 실시예에 따른 디바이스(100)를 제어하는 방법에 관해 설명하도록 한다.
입력 패턴 정보는 디바이스(100)가 획득한 터치 입력(10)의 종류, 획득한 호버링 입력(20)의 종류, 획득한 터치 입력(10)의 입력 순서, 입력 횟수 및 획득한 호버링 입력(20)의 입력 순서, 입력 횟수에 따라 다양하게 결정될 수 있다.
예를 들어, 디바이스(100)는 터치 입력(10)을 획득하는 경우, 획득되는 터치 입력(10)의 위치 및 시간과 터치 입력(10)을 생성하는 터치 입력 수단의 움직임 및 종류 중 적어도 하나에 기초하여, 터치 입력(10)의 종류를 결정할 수 있다. 여기에서, 터치 입력 수단은 손가락 및 디바이스(100)를 터치하여, 디바이스(100) 내에 생성되는 전기 신호를 변경할 수 있는 도구를 포함할 수 있다.
또한, 디바이스(100)는 호버링 입력(20)을 획득하는 경우, 획득되는 호버링 입력(20)의 위치 및 시간과 호버링 입력(20)을 생성하는 호버링 입력 수단의 종류 및 움직임 중 적어도 하나에 기초하여, 호버링 입력(20)의 종류를 결정할 수 있다. 호버링 입력 수단은 디바이스(100)와 비 접촉한 상태에서, 디바이스(100)에 발생되는 전기 신호를 변경할 수 있는 도구를 포함할 수 있다.
디바이스(100)는 획득한 터치 입력(10) 및 호버링 입력(20)의 종류가 결정되는 경우, 터치 입력(10) 및 호버링 입력(20)의 입력 순서 및 입력 횟수 중 적어도 하나에 따라, 터치 입력(10) 및 호버링 입력(20)을 조합하여 입력 패턴 정보를 생성할 수 있다. 입력 패턴 정보는 복수의 터치 입력(10) 및 호버링 입력(20)의 종류, 입력 순서 및 입력 횟수 중 적어도 하나에 따라 상이할 수 있다. 예를 들어, 터치 입력(10)과 호버링 입력(20)이 동시에 입력되는 경우 생성되는 입력 패턴 정보와 시간 간격을 두고 연속적으로 입력되는 경우에 생성되는 입력 패턴 정보는 서로 상이할 수 있다. 또한, 터치 입력(10)과 호버링 입력(20)이 순차적으로 입력되는 경우에는, 입력 순서에 따라 입력 패턴 정보가 상이할 수 있다. 다른 예에 따라 터치 입력(10) 및 호버링 입력(20) 각각의 입력 횟수에 따라 생성되는 입력 패턴 정보가 상이할 수도 있다.
터치 입력(10) 및 호버링 입력(20)을 조합한 결과 생성되는 입력 패턴 정보의 구체적인 예에 대해서는 도 2를 참조하여 후술하도록 한다.
디바이스(100)는 실행되는 애플리케이션에 기초하여, 생성된 입력 패턴 정보와 대응되는 동작을 수행하기 위해, 기 저장된 데이터 베이스로부터 애플리케이션에 관한 메타데이터를 검출할 수 있다. 예를 들어, 애플리케이션에 관한 메타데이터에는 디바이스(100)에서 애플리케이션에 따라 제 1 동작을 수행하고 있는 중에, 입력 패턴 정보가 생성되는 경우 제 1 동작과 관련된 복수의 제 2 동작들 중에서, 입력 패턴 정보와 대응되는 제 2 동작에 관한 정보가 포함될 수 있다. 디바이스(100)는 검출된 애플리케이션에 관한 메타데이터에서, 생성된 입력 패턴 정보와 대응되는 동작을 결정할 수 있다.
디바이스(100)는 획득되는 사용자 입력의 특성에 기초하여, 사용자 입력의 종류를 식별할 수 있다.
본 발명의 일 실시예에 따른 디바이스(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 디바이스(100)는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자책 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 디바이스(100)를 제어하는 방법을 설명하기 위한 흐름도이다.
단계 S210에서, 디바이스(100)는, 터치 입력(10) 및 호버링 입력(20)을 획득한다. 본 발명의 일 실시예에 따른 디바이스(100)는, 디바이스(100)에서 제공하는 사용자 인터페이스를 통해 터치 입력(10) 및 호버링 입력(20)을 획득할 수 있다.
예를 들어, 디바이스(100)는 사용자가 원하는 동작을 수행하기 위해 디바이스(100)에 터치 입력(10) 및 호버링 입력(20)을 전송할 수 있도록 복수의 사용자 입력에 대해 공통의 사용자 인터페이스를 제공할 수 있다. 다른 예에 따라, 디바이스(100)는 터치 입력(10) 및 호버링 입력(20) 각각에 대해 별도의 사용자 인터페이스를 제공할 수 있다. 예를 들어, 디바이스(100)는 화면의 제 1 측면에 사용자가 터치 입력(10)을 전송할 수 있는 제 1 사용자 인터페이스 및 화면의 제 2 측면에 사용자가 호버링 입력(20)을 전송할 수 있는 제 2 사용자 인터페이스를 제공할 수 있다. 사용자는 제 1 사용자 인터페이스 및 제 2 사용자 인터페이스에 각각 터치 입력(10) 및 호버링 입력(20)을 전송함으로써 원하는 동작을 디바이스(100)에 요청할 수 있다.
단계 S220에서, 디바이스(100)는 실행되는 애플리케이션의 동작들 중에서, 획득된 터치 입력(10) 및 획득된 호버링 입력(20)을 조합하여 생성되는 입력 패턴 정보에 대응되는 동작을 결정한다. 디바이스(100)는 획득된 터치 입력(10) 및 획득된 호버링 입력(20) 각각의 종류를 결정할 수 있다. 또한, 디바이스(100)는 획득된 터치 입력(10) 및 획득된 호버링 입력(20)의 입력 순서 및 입력 횟수 중 적어도 하나를 식별할 수 있다. 디바이스(100)는 획득된 터치 입력(10) 및 획득된 호버링 입력(20)의 종류, 입력 순서 및 입력 횟수 중 적어도 하나 에 기초하여, 입력 패턴 정보를 생성할 수 있다.
디바이스(100)는 애플리케이션에 관한 메타데이터로부터 애플리케이션이 수행할 수 있는 복수의 동작들 중에서, 입력 패턴 정보에 대응되는 동작에 관한 정보를 검출할 수 있다. 여기에서, 디바이스(100)는 터치 입력(10) 및 호버링 입력(20)이 획득되면 디바이스(100)에서 실행되고 있는 애플리케이션에 관한 메타데이터를 획득할 수 있다.
애플리케이션에 관한 메타데이터는 애플리케이션에서 수행할 수 있는 복수의 동작들 각각에 대해 대응되는 입력 패턴 정보를 포함할 수 있다. 예를 들어, 동영상 재생 애플리케이션의 경우, 동시에 획득된 터치 입력(10)과 호버링 입력(20)에 의해 생성된 입력 패턴 정보는 동영상을 재생하는 동작과 대응될 수 있다. 디바이스(100)는 실행되고 있는 애플리케이션에 따라 기설정된 입력 패턴 정보와 생성된 입력 패턴 정보를 비교하여, 생성된 입력 패턴 정보에 대응되는 동작을 결정할 수 있다.
디바이스(100)는 실행되는 애플리케이션에서 제공하는 컨텐츠에 따라 입력 패턴 정보에 대응되는 동작을 결정할 수 있다. 여기에서, 컨텐츠에는 멀티미디어 컨텐츠(동영상, 음악 등), 메모 애플리케이션화면에 표시되고 있는 웹 페이지, 사진, 그림, 메시지, 달력, 일정 정보, 폴더 정보, 실행 중인 애플리케이션의 실행 창 등이 포함될 있으나, 이에 한정되는 것은 아니다. 예를 들어, 동영상이 재생되고 있는 경우와 음악이 재생되고 있는 경우, 제 1 입력 패턴 정보에 따라 디바이스(100)에서 결정되는 동작은 상이할 수 있다. 디바이스(100)는 동영상을 재생하고 있는 경우, 제 1 입력 패턴 정보가 생성되면 현재 재생되고 있는 장면을 캡쳐할 수 있다. 한편, 디바이스(100)는 음악을 재생하고 있는 경우, 제 1 입력 패턴 정보가 생성되면 현재 재생되고 있는 구간까지 음악을 반복 재생할 수 있다.
단계 S230에서, 디바이스(100)는 결정된 동작을 수행한다. 디바이스(100)는 결정된 동작에 따라, 디바이스(100)에서 출력되는 컨텐츠를 변경할 수 있다.
예를 들어, 디바이스(100)에서 메신저 애플리케이션이나 메모 애플리케이션이 실행되고 있는 경우, 디바이스(100)는 입력 패턴 정보에 따라 텍스트를 입력할 수 있는 키 패드의 제공 형태를 변경할 수 있다. 이에 대해서는 도 11을 참조하여 구체적으로 설명하도록 한다.
다른 예에 따라 디바이스(100)에서 게임 애플리케이션을 실행하고 있는 경우, 게임에 사용되는 다양한 동작 키들을 터치 입력(10) 및 호버링 입력(20)의 조합을 이용하여 대체할 수 있다. 디바이스(100)는 터치 입력(10) 및 호버링 입력(20)의 조합을 통해, 게임 상에서 수행하고자 하는 동작을 보다 직관적으로 수행할 수 있다. 예를 들어, 디바이스(100)에서 실행되고 있는 게임에서 등장하는 캐릭터를 점프하도록 제어하는 경우, 사용자는 터치 입력(10)을 입력하고 있는 상태에서, 호버링 입력(20)의 입력 높이를 조절하여, 게임에서 등장하는 캐릭터의 점프 동작을 수행할 수 있다.
다른 예에 따라, 보안 강화가 필요한 애플리케이션의 경우, 잠금을 해제하기 위한 패턴 정보를 터치 입력(10)과 호버링 입력(20)을 조합하여 설정함으로써, 디바이스(100)는 해당 애플리케이션에 관한 보안을 강화할 수 있다. 이에 대해서는 도 12를 참조하여, 구체적으로 후술하도록 한다.
다른 예에 따라, 디바이스(100)에서 갤러리 애플리케이션이 실행되고 있는 경우, 디바이스(100)는 생성되는 입력 패턴 정보에 따라 디스플레이 되는 사진 및 동영상 등을 제어할 수 있다. 예를 들어, 디바이스(10)는 갤러리 애플리케이션이 실행되고 있는 화면에 터치 입력(10)이 감지되고, 기 설정된 시간 내에 호버링 입력(20)이 감지되는 경우, 감지되는 호버링 입력(20)의 방향에 따라 디스플레이 되는 사진의 목록을 이동시킬 수 있다. 또한, 디바이스(100)는 동영상이 화면에 표시되고 있는 경우, 터치 입력(10) 및 호버링 입력(20)이 동시에 획득되고, 호버링 입력(20)이 특정 방향으로 이동하는 경우, 호버링 입력(20)의 이동 방향에 따라 재생되는 동영상의 프레임을 변경할 수 있다.
다른 예에 따라, 디바이스(100)는 화면에 애플리케이션 실행 창이 적어도 하나 표시되는 경우, 생성되는 입력 패턴 정보에 따라, 실행 창의 크기를 변경할 수 있다. 또한, 디바이스(100)는 화면에 복수의 애플리케이션 실행 창이 표시되는 경우, 생성되는 입력 패턴 정보에 따라 디바이스(100)의 화면의 상위 레이어에 표시되는 실행 창의 종류를 변경할 수도 있다.
전술한 예들은, 디바이스(100)가 생성된 입력 패턴 정보에 대응되는 동작을 수행하는 방법을 용이하게 설명하기 위한 일 실시예이다. 따라서, 본 발명은 전술한 실시예에 한정되지 않는다.
도 3은 본 발명의 일 실시예에 따라 디바이스(100)에서 획득되는 호버링 입력(320)의 종류를 설명하기 위한 도면이다. 디바이스(100)는 획득 가능한 호버링 입력(320)의 입력 영역(310)을 기 설정할 수 있다. 예를 들어, 디바이스(100)는 디바이스(100)의 호버링 입력(320)에 따른 정전 용량의 변화를 감지 가능한 센서로부터 기 설정 범위 이내의 영역을 입력 영역(310)으로 설정할 수 있다.
디바이스(100)는 입력 영역(310) 내에서 획득되는 호버링 입력(320)의 높이에 따라, 호버링 입력(320)의 종류를 식별할 수 있다. 이에 대해서는 도 7을 참조하여 구체적으로 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 디바이스(100)가 입력 영역(310)에서 획득되는 호버링 입력(710)을 높이에 따라 식별하는 방법을 설명하기 위한 도면이다. 도 7을 참조하면, 디바이스(100)는 호버링 입력(710)이 각각 높이 D1, D2 및 D3에서 획득되는 경우, 각각의 높이에서의 호버링 입력을 모두 상이한 것으로 판단할 수 있다. 서로 다른 높이에서 획득되는 호버링 입력들은 기설정된 시간 범위 내에 획득된 터치 입력(10)과 생성하는 입력 패턴 정보가 서로 상이할 수 있다.
예를 들어, 디바이스(100)에서 동영상 재생 애플리케이션이 실행되고 있는 경우, 디바이스(100)는 화면의 제 1 측면 상에 터치 입력(10)을 획득하고 제 2 측면 상의 높이 D1에서 제 1 호버링 입력을 획득할 수 있다. 디바이스(100)는 획득한 터치 입력(10) 및 제 1 호버링 입력을 기초로 제 1 입력 패턴 정보를 생성할 수 있다. 디바이스(100)는 생성된 제 1 입력 패턴 정보에 대응되는 재생 동작을 수행할 수 있다.
또한, 디바이스(100)는 화면의 제 1 측면 상에 터치 입력(10)을 획득하고 제 2 측면 상의 높이 D2에서 제 2 호버링 입력을 획득할 수 있다. 디바이스(100)는 획득한 터치 입력(10) 및 제 2 호버링 입력을 기초로 제 2 입력 패턴 정보를 생성할 수 있다. 디바이스(100)는 생성된 제 2 입력 패턴 정보에 대응되는 제 2 배속 빨리 감기 동작을 수행할 수 있다.
디바이스(100)는 화면의 제 1 측면 상에 터치 입력(10)을 획득하고 제 2 측면 상의 높이 D3에서 제 3 호버링 입력을 획득할 수 있다. 디바이스(100)는 획득한 터치 입력(10) 및 제 3 호버링 입력을 기초로 제 3 입력 패턴 정보를 생성할 수 있다. 디바이스(100)는 생성된 제 3 입력 패턴 정보에 대응되는 제 3 배속 빨리 감기 동작을 수행할 수 있다.
한편, 디바이스(100)는 입력 영역(310) 내에서 획득되는 호버링 입력(320)의 시간 길이에 따라 호버링 입력(320)의 종류를 식별할 수도 있다. 한편, 디바이스(100)는 사용자가 의도하지 않은 호버링 입력을 식별할 수 있도록, 유효한 호버링 입력으로 인식하기 위한 임계 시간을 설정할 수 있다. 예를 들어, 획득된 호버링 입력의 시간 길이가 2초 미만인 경우, 디바이스(100)는 획득한 호버링 입력이 유효하지 않은 호버링 입력으로 판단할 수 있다.
다른 예에 따라, 디바이스(100)는 입력 영역(310)에서 획득되는 호버링 입력(320)의 움직임에 따라 호버링 입력(320)을 식별할 수 있다. 예를 들어, 디바이스(100)는 입력 영역(310) 내에서 획득된 호버링 입력(320)의 방향에 따라 시계 방향으로 회전하는 호버링 입력과 반시계 방향으로 회전하는 호버링 입력을 식별할 수 있다. 디바이스(100)는 입력 영역(310) 내에서 획득된 호버링 입력(320)의 속도에 따라 호버링 입력을 식별할 수도 있다. 또한, 디바이스(100)는 입력 영역(310) 내에서 획득된 호버링 입력(320)의 기울기 방향에 따라 호버링 입력(320)을 식별할 수 있다.
도 4는 본 발명의 일 실시예에 따라 디바이스(100)에서 획득한 터치 입력(10) 및 호버링 입력(20) 각각을 식별하는 센싱 영역을 설명하기 위한 도면이다. 일 실시예에 따른 디바이스(100)는 획득한 사용자 입력의 종류에 따라, 사용자 입력을 식별하기 위한 센싱 역역을 구성하는 블록의 단위(이하, 블록 단위)를 다르게 설정할 수 있다. 여기에서, 사용자 입력을 식별하기 위한 블록 단위란 화면에 제공되는 사용자 인터페이스에서 획득되는 하나의 사용자 입력에 대응되는 영역의 범위를 나타낸다.
디바이스(100)는 하나의 블록 내에 입력되는 사용자 입력은 모두 동일한 것으로 판단할 수 있다. 예를 들어, 사용자는 화면에 표시된 터치 입력(410)을 감지하기 위한 제 1 센싱 영역에 포함된 키 버튼을 터치하여, 터치 입력(410)을 입력할 수 잇다. 디바이스(100)는 키 버튼이 포함된 제 1 블록 단위(415)의 범위 내에 입력된 터치 입력(410)은 모두 키 버튼에 대응되는 터치 입력으로 판단할 수 있다. 다른 예를 들어, 사용자는 화면에 표시된 호버링 입력(420)을 감지하기 위한 제 2 센싱 영역에 포함된 아이콘에 호버링 입력(420)을 입력할 수 있다. 디바이스(100)는 제 2 센싱 영역의 제 1 좌표에 위치한 아이콘이 포함된 제 2 블록 단위(425)의 범위 내에 입력된 호버링 입력(420)을 모두 아이콘에 대응되는 호버링 입력으로 판단할 수 있다.
도 4를 참조하면, 디바이스(100)는 터치 입력(410)을 식별하기 위한 제 1 블록 단위(415)와 호버링 입력(420)을 식별하기 위한 제 2 블록 단위(425)를 서로 다르게 설정할 수 있다. 터치 입력(410)의 경우, 디바이스(100)의 화면에 직접 접촉하는 입력이므로 호버링 입력(420)에 비해 입력의 오차 범위가 작을 수 있다. 따라서, 제 1 터치 입력과 제 2 터치 입력을 식별하기 위한 블록의 크기가 호버링 입력(420)에 대한 블록의 크기 보다 작을 수 있다.
도 5는 본 발명의 일 실시예에 따라, 디바이스(100)에서 사용자에게 입력 패턴 정보를 생성하기 위한 가이드 정보(530)를 제공하는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 디바이스(100)는 실행되는 애플리케이션 및 기 획득된 사용자 입력에 기초하여, 특정 입력 패턴 정보를 생성하기 위한 가이드 정보(530)를 제공할 수 있다. 본 발명의 일 실시예에 따라, 디바이스(100)는 기기 잠금 애플리케이션이 실행되고 있는 상태에서, 화면에 표시된 암호 패드에 제 1 호버링 입력(510) 및 제 2 호버링 입력(520)이 감지되는 경우, 잠금을 해제할 수 있는 입력 패턴 정보를 생성하기 위한 다음 사용자 입력에 관한 정보를 제공할 수 있다. 예를 들어, 그 다음 동작으로 제 3 호버링 입력이 필요한 경우, 디바이스(100)는 화면의 일 측면에, 제 3 호버링 입력을 요청하는 가이드 정보(530)를 출력할 수 있다.
도 6은 본 발명의 일 실시예에 따라, 디바이스(100)에서 입력 패턴 정보를 생성하는 방법을 설명하기 위한 흐름도이다.
단계 S610에서, 디바이스(100)는, 터치 입력(10) 및 호버링 입력(20)을 획득할 수 있다. 본 발명의 일 실시예에 따른 디바이스(100)는, 기 설정된 사용자 인터페이스를 통해 터치 입력(10) 및 호버링 입력(20)을 획득할 수 있다.
한편, 단계 S610은 도 2를 참조하여 설명한 단계 S210과 대응될 수 있다.
단계 S620에서, 디바이스(100)는 획득한 터치 입력(10) 및 획득한 호버링 입력(20) 각각의 종류를 결정할 수 있다. 디바이스(100)는 획득되는 사용자 입력의 특성에 기초하여, 사용자 입력의 종류를 식별할 수 있다. 예를 들어, 디바이스(100)는 터치 입력(10)을 획득하는 경우, 획득되는 터치 입력(10)의 위치, 시간, 움직임 및 터치 입력 수단의 종류 등을 포함하는 특성에 기초하여, 터치 입력(10)의 종류를 식별할 수 있다. 또한, 다른 예에 따라 디바이스(100)는 호버링 입력(20)을 획득하는 경우, 획득되는 호버링 입력(20)의 위치, 시간, 기울기, 움직임, 속도 및 호버링 입력 수단의 종류 등을 포함하는 특성에 기초하여, 호버링 입력(20)의 종류를 식별할 수 있다.
단계 S630에서, 디바이스(100)는 결정된 터치 입력(10) 및 결정된 호버링 입력(20)의 입력 순서 또는 입력 횟수에 기초하여 입력 패턴 정보를 생성할 수 있다. 예를 들어, 디바이스(100)는 터치 입력(10) 및 호버링 입력(20)이 동시에 획득되는 경우, 제 1 입력 패턴 정보를 생성할 수 있다. 다른 예에 따라, 디바이스(100)는 터치 입력(10)이 먼저 획득되고, 호버링 입력(20)이 그 후에 획득되는 경우, 제 2 입력 패턴 정보를 생성할 수 있다. 또 다른 예에 따라, 디바이스(100)는 호버링 입력(20)이 먼저 획득되고, 터치 입력(10)이 그 후에 획득되는 경우, 제 3 입력 패턴 정보를 생성할 수 있다. 디바이스(100)는 제 1 입력 패턴 정보, 제 2 입력 패턴 정보 및 제 3 입력 패턴 정보를 모두 상이한 것으로 식별할 수 있다.
또한 디바이스(100)는 터치 입력(10) 및 복수의 호버링 입력(20)이 획득되는 경우, 제 4 입력 패턴 정보를 생성할 수 있다. 다른 예에 따라, 디바이스(100)는 복수의 터치 입력 및 복수의 호버링 입력이 획득되는 경우, 각각의 터치 입력 및 호버링 입력의 획득 순서에 따라 상이한 입력 패턴 정보를 생성할 수 있다.
단계 S640에서, 디바이스(100)는 실행되고 있는 애플리케이션의 동작들 중에서 생성된 입력 패턴 정보에 대응되는 동작을 결정할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는 터치 입력(10) 및 호버링 입력(20)이 획득되는 시점에 디바이스(100)에서 제공되고 있는 애플리케이션에 관한 메타데이터를 획득할 수 있다. 애플리케이션에 관한 메타데이터에는 애플리케이션 실행 시 수행 가능한 동작들 각각에 대응되는 입력 패턴 정보가 포함될 수 있다. 디바이스(100)는 생성된 입력 패턴 정보와 애플리케이션에 관한 메타데이터를 비교하여, 생성된 입력 패턴 정보에 대응되는 동작을 결정할 수 있다.
단계 S650에서, 디바이스(100)는 결정된 동작을 수행할 수 있다.
한편, 단계 S650은 도 2를 참조하여, 전술한 단계 S230과 대응될 수 있다.
도 8은 본 발명의 일 실시예에 따라 디바이스(100)에서 획득되는 사용자 입력의 유효성을 판단하여 입력 패턴 정보를 생성하는 방법을 설명하기 위한 도면이다.
단계 810에서, 디바이스(100)는 터치 입력(10) 및 호버링 입력(20) 중 어느 하나의 입력을 획득할 수 있다. 디바이스(100)는 획득된 어느 하나의 입력의 특성을 분석하여, 획득된 어느 하나의 입력의 종류를 결정할 수 있다. 예를 들어, 디바이스(100)는 터치 입력(10)의 위치, 시간, 움직임 및 터치 입력 수단의 종류 등을 포함하는 특성에 기초하여, 터치 입력(10)의 종류를 식별할 수 있다. 또한, 다른 예에 따라 디바이스(100)는 호버링 입력(20)을 획득하는 경우, 획득되는 호버링 입력(20)의 위치, 시간, 기울기, 움직임, 속도 및 호버링 입력 수단의 종류 등을 포함하는 특성에 기초하여, 호버링 입력(20)의 종류를 식별할 수 있다.
또한, 디바이스(100)는 어느 하나의 입력이 획득된 시간에 관한 정보를 저장할 수 있다.
단계 S820 에서, 디바이스(100)는 기설정된 시간 내에 다른 하나의 입력이 감지되는지 여부를 판단할 수 있다. 디바이스(100)는 첫 번째 사용자 입력이 획득된 이후, 유효 시간 범위 내에 두 번째 사용자 입력이 획득된 경우에 한해, 입력 패턴 정보를 생성할 수 있다. 여기에서, 유효 시간 범위는 실행되고 있는 애플리케이션의 종류 및 사용자의 설정 등에 의해 달라질 수 있다.
단계 S830에서, 디바이스(100)는 획득된 터치 입력(10) 및 호버링 입력(20)의 입력 횟수 또는 입력 순서에 기초하여, 입력 패턴 정보를 생성할 수 있다.
한편, 단계 S830 은 도 6을 참조하여 설명한 단계 S630과 대응될 수 있다.
단계 S840에서, 디바이스(100)는 생성된 입력 패턴 정보에 대응되는 동작을 결정할 수 있다.
한편, 단계 S840은 도 6을 참조하여 설명한 단계 S640과 대응될 수 있다.
단계 S850에서, 디바이스(100)는 결정된 동작을 수행할 수 있다.
한편, 단계 S850은 도 6을 참조하여 설명한 단계 S850 과 대응될 수 있다.
도 9는 본 발명의 일 실시예에 따라, 디바이스(100)에서 애플리케이션이 실행되는 경우, 디바이스(100)가 생성된 입력 패턴 정보에 기초하여 동작을 수행하는 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 디바이스(100)에는 음악 재생 애플리케이션이 실행될 수 있다. 다만, 이는 본 발명의 일 실시예일 뿐, 다른 종류의 애플리케이션을 실행하는 경우에도, 본 발명에 따른 디바이스(100)를 제어하는 방법이 적용될 수 있다.
도 9에서, 디바이스(100)는 음악 플레이 목록에서 특정 음악에 관한 제 1 터치 입력(910) 및 특정 음악에 관한 제 1 호버링 입력(920)을 획득할 수 있다. 여기에서, 제 1 호버링 입력(920)은 음악 플레이 목록 중 특정 음악에 관한 항목에 수직으로 입력된다.
디바이스(100)는 제 1 터치 입력(910) 및 제 1 호버링 입력(920)을 조합하여, 제 1 입력 패턴 정보를 생성할 수 있다. 디바이스(100)는 실행되고 있는 음악 재생 애플리케이션에 관한 메타데이터에 기초하여, 생성된 제 1 입력 패턴 정보에 대응되는 동작을 결정할 수 있다. 디바이스(100)는 제 1 입력 패턴 정보에 대응되는 재생 동작을 통해, 특정 음악을 재생할 수 있다.
도 9에서, 디바이스(100)는 음악 플레이 목록에서 특정 음악에 관한 제 2 터치 입력(930) 및 특정 음악에 관한 제 2 호버링 입력(940)을 획득할 수 있다. 여기에서, 제 2 호버링 입력(940)은 음악 플레이 목록 중 특정 음악에 관한 항목에 오른쪽 방향의 기울기를 갖도록 입력된다.
디바이스(100)는 제 2 터치 입력(930) 및 제 2 호버링 입력(940)을 조합하여, 제 2 입력 패턴 정보를 생성할 수 있다. 디바이스(100)는 실행되고 있는 음악 재생 애플리케이션에 관한 메타데이터에 기초하여, 생성된 제 2 입력 패턴 정보에 대응되는 동작을 결정할 수 있다. 디바이스(100)는 제 2 입력 패턴 정보에 대응되는 빨리 감기 동작을 통해, 재생되고 있는 특정 음악의 구간을 변경할 수 있다.
도 10은 본 발명의 일 실시예에 따라, 디바이스(100)에서 터치 입력(1010) 및 호버링 입력(1020)을 획득하는 경우, 각각의 입력이 획득되었음을 나타내는 표시를 출력하는 방법을 설명하기 위한 도면이다.
디바이스(100)는 사용자 입력을 획득하는 경우, 화면에 사용자 입력을 획득하였음을 나타내는 표시를 출력하여, 사용자에게 입력에 관한 정보를 제공할 수 있다. 또한, 디바이스(100)는 획득한 사용자 입력의 종류에 따라 서로 다른 표시를 출력할 수 있다.
도 10을 참조하면, 디바이스(100)는 제 1 터치 입력(1010)을 획득하는 경우, 제 1 유효 입력 표시(1015)를 출력할 수 있다. 사용자는 디바이스(100)에 제 1 터치 입력(1010)을 입력하는 경우, 출력되는 제 1 유효 입력 표시(1015)를 통해, 자신의 입력이 디바이스(100)에 유효하게 획득되었다는 정보를 제공받을 수 있다.
또한, 디바이스(100)는 제 2 호버링 입력(1020)을 획득하는 경우, 제 2 유효 입력 표시(1025)를 출력할 수 있다. 여기에서 출력되는 제 2 유효 입력 표시(1025)는 제 1 유효 입력 표시(1015)와는 상이할 수 있다. 사용자는 디바이스(100)에 제 2 호버링 입력(1020)을 입력하는 경우, 출력되는 제 2 유효 입력 표시(1025)를 통해, 자신의 입력이 디바이스(100)에 유효하게 획득되었다는 정보를 제공받을 수 있다.
도 11은 본 발명의 일 실시예에 따라, 디바이스(100)에서 순차적으로 획득되는 사용자 입력들을 조합하여 생성되는 입력 패턴 정보 및 실행되는 애플리케이션에 기초하여 동작을 수행하는 방법을 설명하기 위한 도면이다.
이하에서는, 도 11을 참조하여, 메신저 애플리케이션이 실행되는 경우를 일 예로 들어, 디바이스(100)에서 순차적으로 획득되는 사용자 입력들을 조합하여 생성되는 입력 패턴 정보에 따라 동작을 수행하는 방법에 대해 설명하도록 한다.
디바이스(100)는 메신저 애플리케이션 실행 시, 키 패드의 표시를 요청하는 사용자의 터치 입력(1110)을 획득할 수 있다. 디바이스(100)는 터치 입력(1110)이 유지된 채로 터치 입력(1110)이 획득된 시점으로부터 기 설정된 시간 범위 이내에 호버링 입력(1120)을 획득할 수 있다. 디바이스(100)는 획득한 터치 입력(1110) 및 호버링 입력(1120)에 기초하여 입력 패턴 정보를 생성할 수 있다.
디바이스(100)는 터치 입력(1110) 및 호버링 입력(1120)을 획득한 시점에 실행되고 있는 메신저 애플리케이션에 기초하여, 생성된 입력 패턴 정보에 대응되는 동작을 결정할 수 있다. 예를 들어, 디바이스(100)는 생성된 입력 패턴 정보에 기초하여 키 패드 상에 호버링 입력(1120)이 획득된 지점과 대응되는 키를 확대하여 표시하는 동작을 수행할 수 있다. 한편, 이는 본 발명의 일 실시예일 뿐, 디바이스(100)에 기 저장된 애플리케이션에 관한 메타데이터에 따라, 디바이스(100)가 수행할 수 있는 동작은 다양할 수 있다. 예를 들어, 디바이스(100)는 화면에 표시되는 키 패드에 터치 입력(10) 및 호버링 입력(20)이 동시에 입력되는 경우, 키 패드에 나열되어 있는 키들의 배열을 변경할 수도 있다. 디바이스(100)에서 키 패드에 나열되어 있는 키들의 배열을 변경하는 기능은 결제 애플리케이션에서도 적용될 수 있다. 또한, 디바이스(100)는 생성되는 입력 패턴 정보에 기초하여, 키 패드에 출력되는 언어의 종류를 변경하는 동작을 수행할 수 있다.
도 12는 본 발명의 다른 실시예에 따라, 디바이스(100)에서 순차적으로 획득되는 사용자 입력들을 조합하여 생성되는 입력 패턴 정보 및 실행되는 애플리케이션에 기초하여 동작을 수행하는 방법을 설명하기 위한 도면이다.
이하에서는, 도 12를 참조하여, 화면 잠금 애플리케이션이 실행되는 경우를 일 예로 들어, 디바이스(100)에서 순차적으로 획득되는 사용자 입력들을 조합하여 생성되는 입력 패턴 정보에 따라 동작을 수행하는 방법에 대해 설명하도록 한다.
도 12의 (a)에서 디바이스(100)는 화면 잠금 애플리케이션이 실행되는 경우, 잠금 해제를 위한 암호를 입력할 수 있는 사용자 인터페이스를 제공할 수 있다.
도 12의 (b)에서 디바이스(100)는 오른쪽 방향으로 움직이는 제 1 호버링 입력(1210)을 획득할 수 있다. 디바이스(100)는 제 1 호버링 입력(1210)을 획득하는 경우, 획득한 제 1 호버링 입력(1210)의 종류 및 제 1 호버링 입력(1210)을 획득한 시간 등에 관한 정보를 저장할 수 있다.
도 12의 (c)에서 디바이스(100)는 왼쪽 하단 방향으로 움직이는 제 2 호버링 입력(1220)을 획득할 수 있다. 디바이스(100)는 제 2 호버링 입력(1220)을 획득하는 경우, 획득한 제 2 호버링 입력(1220)의 종류 및 제 2 호버링 입력(1220)을 획득한 시간 등에 관한 정보를 저장할 수 있다.
도 12의 (d)에서 디바이스(100)는 제 1 터치 입력(1230)을 획득할 수 있다. 디바이스(100)는 제 1 터치 입력(1230)이 획득되는 시점이 제 2 호버링 입력(1220)이 획득된 시점으로부터 기설정된 범위 내인지 여부를 판단한다. 디바이스(100)는 기설정된 범위 내에 제 1 터치 입력(1230)이 획득된 경우, 획득된 제 1 터치 입력(1230)을 잠금 해제를 위한 유효 입력으로 판단할 수 있다.
도 12의 (e)에서 디바이스(100)는 제 1 터치 입력(1230)이 유효한 입력으로 판단되는 경우, 획득한 제 1 터치 입력(1230)의 종류 및 제 1 터치 입력(1230)을 획득한 시간 등에 관한 정보를 저장할 수 있다.
도 12의 (f)에서 디바이스(100)는 제 1 호버링 입력(1210), 제 2 호버링 입력(1220) 및 제 1 터치 입력(1230)을 조합하여 생성된 입력 패턴 정보와 잠금 해제에 관한 암호로 기설정된 패턴 정보를 비교할 수 있다. 디바이스(100)는 생성된 입력 패턴 정보와 기설정된 패턴 정보가 대응되는 경우, 디바이스(100)의 잠금을 해제할 수 있다.
도 13은 본 발명의 일 실시예에 따라, 디바이스(100)가 호버링 입력 수단(1320)의 종류에 따라 서로 다른 입력 패턴 정보를 생성하는 방법을 설명하기 위한 도면이다.
도 13을 참조하면, 호버링 입력 수단(1320)는 하나 이상의 재질로 이루어진 복수개의 바(bar, 1322, 1324, 1326, 1328)를 포함할 수 있다. 디바이스(100)는 복수개의 바(1322, 1324, 1326, 1328) 각각을 구성하고 있는 재질에 따라 디바이스(100)에서 감지되는 정전 용량이 변경되는 것을 이용하여, 바의 종류에 따라 호버링 입력을 식별할 수 있다.
예를 들어, 메뉴 애플리케이션이 실행되고 있는 디바이스(100) 상의 특정 애플리케이션에 대응되도록 사용자의 터치 입력(1310)이 획득되고, 동시에 호버링 입력이 획득되는 경우, 디바이스(100)는 특정 애플리케이션을 호버링 입력이 획득되는 위치에 실행할 수 있다. 예를 들어, 메시지 애플리케이션에 대응되도록 사용자의 터치 입력(1310)이 획득되고, 동시에 호버링 입력이 획득되는 경우, 디바이스(100)는 메시지를 입력할 수 있는 창을 호버링 입력이 획득되는 위치에 출력할 수 있다.
본 발명의 일 실시예에 따른 디바이스(100)는 메시지를 입력할 수 있는 창이 출력되는 경우, 감지되는 호버링 입력의 종류에 따라 상이한 동작을 수행할 수 있다. 예를 들어, 제 1 바(1322)에 의한 제 1 호버링 입력이 획득되는 경우, 텍스트를 입력할 수 있는 키패드가 출력될 수 있다. 또한, 제 2 바(1324)에 의한 제 2 호버링 입력이 획득되는 경우, 메시지에 첨부할 수 있는 이미지 파일의 리스트가 출력될 수 있다. 제 3바(1326)에 의한 제 3 호버링 입력이 획득되는 경우, 메시지를 전송할 수 있는 연락처에 관한 정보를 출력할 수 있다. 한편, 이는 본 발명의 일 실시예일 뿐, 각각의 호버링 입력에 대응되는 동작이 이에 한정되는 것은 아니다.
도 14 및 도 15는 본 발명의 일 실시예에 따른 디바이스(100)를 제어하는 방법을 실시할 수 있는 제 1 디바이스(1400)를 설명하기 위한 도면이다.
도 14 및 도 15를 참조하면, 제 1 디바이스(1400)의 일 예로 착용 가능한 안경 형태의 디바이스(1400)가 도시되어 있다. 이하에서는 설명의 편의상 제 1 디바이스(1400)를 스마트 글래스(smart glass, 1400)로 설명하도록 한다.
도 14를 참조하면, 본 발명의 일 실시예에 따른 스마트 글래스(1400)의 디스플레이부를 둘러싸고 있는 안경테의 일측면에는, 적어도 하나의 사용자 입력을 획득할 수 있는 감지부(1410, 1420)가 구비되어 있다. 감지부(1410, 1420)는 획득 가능한 사용자 입력의 종류에 따라 서로 다른 소재의 물질로 덮여있을 수 있다. 예를 들어, 호버링 입력(1415)을 감지할 수 있는 제 1 감지부(1410)는 제 1 물질로 덮여 있을 수 있다. 또한, 터치 입력(1425)을 감지할 수 있는 제 2 감지부(1420)는 제 2 물질로 덮여 있을 수 있다. 스마트 글래스(1400)의 감지부(1410, 1420)는 획득 가능한 사용자 입력의 종류를 사용자가 용이하게 식별할 수 있도록, 서로 다른 물질로 덮여 있다.
도 15를 참조하면, 스마트 글래스(1400)는 지도 애플리케이션이 실행되고 있는 경우 스마트 글래스(1400)의 디스플레이부에 표시되는 지도의 축적을 조절하기 위해, 감지부(1410, 1420)를 통해 복수개의 사용자 입력을 획득할 수 있다.
예를 들어, 스마트 글래스(1400)는 제 1 감지부(1410)에 획득되는 호버링 입력(1415)의 종류 및 제 2 감지부(1420)에 획득되는 터치 입력(1420)의 종류에 기초하여, 디스플레이부에 표시되는 지도의 축적을 조절할 수 있다. 스마트 글래스(1400)는 제 2 감지부(1420)에 2초 이상의 터치 입력(1425)이 유지되는 경우, 사용자가 지도 축적의 조절에 관한 요청을 입력했다는 것을 감지할 수 있다.
스마트 글래스(1400)는 터치 입력(1425)이 유지되는 상태에서 획득되는 호버링 입력(1415)의 횟수 및 방향을 결정할 수 있다. 스마트 글래스(1400)는 호버링 입력(1415)이 스마트 글래스(1400)를 향하는 방향으로 입력되는 경우, 지도의 축적을 줄일 수 있다. 또한, 스마트 글래스(1400)는 호버링 입력(1415)이 스마트 글래스(1400)를 향하는 방향으로 입력되는 횟수에 따라 감소되는 지도의 축적의 정도를 결정할 수 있다. 한편, 스마트 글래스(1400)는 호버링 입력(1415)이 스마트 글래스(1400)의 바깥 방향으로 입력되는 경우, 지도의 축적을 증가시킬 수 있다. 또한, 스마트 글래스(1400)는 호버링 입력(1415)이 스마트 글래스(1400)의 바깥 방향으로 입력되는 횟수에 따라 증가되는 지도의 축적의 정도를 결정할 수 있다.
도 16 내지 도 17은 본 발명의 일 실시예에 따른 디바이스(100)를 제어하는 방법을 실시할 수 있는 제 2 디바이스(1400)를 설명하기 위한 도면이다.
도 16 내지 도 18을 참조하면, 제 2 디바이스(1600)의 일 예로 착용 가능한 시계 형태의 디바이스(1600)가 도시되어 있다. 이하에서는 설명의 편의상 제 2 디바이스(1600)를 스마트 워치(smart watch, 1600)로 설명하도록 한다.
도 16 및 도 18을 참조하면, 본 발명의 일 실시예에 따른 스마트 워치(1600)에는, 애플리케이션의 실행 결과를 출력할 수 있는 디스플레이부 및 디스플레이부를 지지하고 있는 시계줄의 일측면에에 감지부(1610, 1620, 1630, 1640)가 구비되어 있다. 감지부(1610, 1620, 1630, 1640)는 획득 가능한 사용자 입력의 종류에 따라 서로 다른 소재의 물질로 덮여있을 수 있다. 예를 들어, 호버링 입력(1615)을 감지할 수 있는 제 1 감지부(1610) 및 제 3 감지부(1630)는 제 1 물질로 덮여 있을 수 있다. 또한, 터치 입력(1625)을 감지할 수 있는 제 2 감지부(1620) 및 제 4 감지부(1640)는 제 2 물질로 덮여 있을 수 있다. 스마트 워치(1600)의 감지부(1610, 1620, 1630, 1640)는 획득 가능한 사용자 입력의 종류를 사용자가 용이하게 식별할 수 있도록, 서로 다른 물질로 덮여 있다.
도 17을 참조하면, 스마트 워치(1600)는 음악 재생 애플리케이션이 실행되고 있는 경우 재생되는 음악의 음량을 조절하기 위해, 감지부(1610, 1620, 1630, 1640)를 통해 복수개의 사용자 입력을 획득할 수 있다.
예를 들어, 스마트 워치(1600)는 제 1 감지부(1610) 및 제 3 감지부(1630)에 획득되는 호버링 입력(1615)의 종류 및 제 2 감지부(1620) 및 제 4 감지부(1640)에 획득되는 터치 입력(1620)의 종류에 기초하여, 출력되는 음악의 음량을 조절할 수 있다. 스마트 워치(1600)는 제 2 감지부(1620) 및 제 4 감지부(1640)에 2초 이상의 터치 입력(1625)이 유지되는 경우, 사용자가 재생되는 음악의 음량 조절에 관한 요청을 입력했다는 것을 감지할 수 있다.
스마트 워치(1600)는 터치 입력(1625)이 유지되는 상태에서 획득되는 호버링 입력(1615)의 횟수 및 방향을 결정할 수 있다. 스마트 워치(1600)는 호버링 입력(1615)이 스마트 워치(1600)를 향하는 방향으로 입력되는 경우, 음량의 크기를 줄일 수 있다. 또한, 스마트 워치(1600)는 호버링 입력(1615)이 스마트 워치(1600)를 향하는 방향으로 입력되는 횟수에 따라 감소되는 음량의 크기의 정도를 결정할 수 있다. 한편, 스마트 워치(1600)는 호버링 입력(1615)이 스마트 워치(1600)의 바깥 방향으로 입력되는 경우, 음량의 크기를 증가시킬 수 있다. 또한, 스마트 워치(1600)는 호버링 입력(1615)이 스마트 워치(1600)의 바깥 방향으로 입력되는 횟수에 따라 증가되는 음량의 크기의 정도를 결정할 수 있다.
도 19 및 도 20은 본 발명의 일 실시예에 따른 디바이스(100)의 구성을 설명하기 위한 블록 구성도이다.
도 19에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 사용자 입력부(110), 제어부(120), 통신부(150)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스(100)는 구현될 수 있다.
예를 들어, 도 20에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 사용자 입력부(110), 제어부(120), 통신부(150) 이외에 출력부(130), 센싱부(140), A/V 입력부(160), 메모리(170)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
사용자 입력부(110)는, 사용자가 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(110)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(110)는, 사용자 입력을 수신할 수 있다. 예를 들어, 사용자 입력부(100)는, 터치 입력(10) 및 호버링 입력(20)을 포함하는 복수의 사용자 입력을 획득할 수 있다.
사용자 입력부(110)는, 터치 입력(10) 및 호버링 입력(20)을 동시에 획득할 수도 있고, 순차적으로 획득할 수도 있다. 또한, 사용자 입력부(110)는 복수의 터치 입력(10) 및 복수의 호버링 입력(20)을 획득할 수도 있다.
사용자 입력부(110)는 터치 입력(10)을 획득하기 위한 제 1 영역 및 호버링 입력(20)을 획득하기 위한 제 2 영역을 포함하는 사용자 인터페이스를 제공할 수 있다. 사용자 입력부(110)는 사용자 인터페이스를 통해 터치 입력(10) 및 호버링 입력(20)을 획득할 수 있다.
또한, 사용자 입력부(100)는 터치 입력(10) 및 호버링 입력(20) 중 어느 하나가 획득되는 경우, 기 저장된 동작을 수행하기 위해 다음에 입력되어야 하는 터치 입력 또는 다음에 입력되어야 하는 호버링 입력에 대한 가이드 정보를 제공할 수 있다.
제어부(120)는, 통상적으로 디바이스(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(120)는, 메모리(170)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(110), 출력부(130), 센싱부(140), 통신부(150), A/V 입력부(160) 등을 전반적으로 제어할 수 있다.
제어부(120)는, 획득한 복수의 사용자 입력들 각각의 종류를 결정할 수 있다. 예를 들어, 제어부(120)는 획득한 터치 입력(10)의 위치, 시간, 움직임 및 터치 입력 수단의 종류 등에 기초하여 획득한 터치 입력(10)의 종류를 결정할 수 있다. 다른 예에 따라, 제어부(120)는 획득한 호버링 입력(20)의 위치, 시간, 기울기, 움직임, 속도 및 호버링 입력 수단의 종류 중 적어도 하나에 기초하여, 획득한 호버링 입력(20)의 종류를 결정할 수 있다. 획득한 복수의 사용자 입력들을 조합하여, 입력 패턴 정보를 생성할 수 있다.
제어부(120)는 터치 입력(10) 및 호버링 입력(20)을 획득한 경우, 획득한 터치 입력(10) 및 획득한 호버링 입력(20)의 입력 순서 또는 입력 횟수에 기초하여 입력 패턴 정보를 생성할 수 있다.
제어부(120)는, 터치 입력(10) 및 호버링 입력(20)을 획득한 시점에 실행하고 있는 애플리케이션에 기초하여, 생성된 입력 패턴 정보에 대응되는 동작을 결정할 수 있다. 예를 들어, 제어부(120)는, 실행 중인 애플리케이션에 표시되는 컨텐츠 관련 정보, 애플리케이션의 버전 정보, 애플리케이션에서 사용자가 제어 가능한 동작에 관한 정보 및 애플리케이션에서 수행 가능한 동작에 대응되는 사용자 입력 정보 등의 메타데이터를 획득할 수 있다. 그리고 제어부(120)는, 획득된 메타데이터를 이용하여, 생성된 입력 패턴 정보와 대응되는 동작을 결정할 수 있다.
출력부(130)는, 제어부(120)에서 결정된 동작을 수행하기 위한 것으로, 이에는 디스플레이부(131)와 음향 출력부(132), 진동 모터(133) 등이 포함될 수 있다. 일 실시예에 따른 출력부(130)는 터치 입력(10)이 획득되는 경우, 디바이스(100)의 화면에 제 1 유효 입력 표시를 디스플레이하고, 호버링 입력(20)이 획득되는 경우 디바이스(100)의 화면에 제 2 유효 입력 표시를 디스플레이 할 수 있다.
디스플레이부(131)는 디바이스(100)에서 처리되는 정보를 출력한다. 예를 들어, 디스플레이부(131)는, 디바이스(100)에서 생성된 입력 패턴 정보에 따라 수행한 동작의 결과를 출력할 수 있다.
한편, 디스플레이부(131)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(131)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(131)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디바이스(100)의 구현 형태에 따라 디바이스(100)는 디스플레이부(131)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(121)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
음향 출력부(132)는 통신부(150)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(132)는 디바이스(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(132)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(133)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(133)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(133)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
센싱부(140)는, 디바이스(100)의 상태 또는 디바이스(100) 주변의 상태를 감지하고, 감지된 정보를 제어부(120)로 전달할 수 있다.
센싱부(140)는, 지자기 센서(Magnetic sensor)(141), 가속도 센서(Acceleration sensor)(142), 온/습도 센서(143), 적외선 센서(144), 자이로스코프 센서(145), 위치 센서(예컨대, GPS)(146), 기압 센서(147), 근접 센서(148), 및 RGB 센서(illuminance sensor)(149) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
통신부(150)는, 디바이스(100)와 외부 기기(200) 또는 디바이스(100)와 서버(300) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(150)는, 근거리 통신부(151), 이동 통신부(152), 방송 수신부(153)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(151)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(152)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(153)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 디바이스(100)가 방송 수신부(153)를 포함하지 않을 수도 있다.
통신부(150)는, 생성된 입력 패턴 정보에 대응되는 동작을 수행한 결과를 외부 기기(200)와 공유할 수 있다. 이때, 통신부(150)는 서버(300)를 통해서 입력 패턴 정보에 대응되는 동작을 수행한 결과를 외부 기기(200)에 전송할 수도 있고, 직접 외부 기기(200)에 입력 패턴 정보에 대응되는 동작을 수행한 결과를 전송할 수도 있다.
통신부(150)는, 외부 기기(200)에서 생성된 입력 패턴 정보에 대응되는 동작을 수행한 결과를 수신할 수 있다. 이때, 통신부(150)는 서버(300)를 통해서 외부 기기(200)의 입력 패턴 정보에 대응되는 동작을 수행한 결과를 외부 기기(200)로부터 수신할 수도 있고, 직접 외부 기기(200)로부터 외부 기기(200)의 입력 패턴 정보에 대응되는 동작을 수행한 결과를 수신할 수도 있다.
통신부(150)는, 외부 기기(200)로부터 통화 연결 요청을 수신할 수 있다.
A/V(Audio/Video) 입력부(160)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(161)와 마이크로폰(162) 등이 포함될 수 있다. 카메라(161)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(120) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(161)에서 처리된 화상 프레임은 메모리(170)에 저장되거나 통신부(150)를 통하여 외부로 전송될 수 있다. 카메라(161)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(162)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(162)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(162)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(170)는, 제어부(120)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 복수의 메뉴, 복수의 메뉴 각각에 대응하는 복수의 제 1 계층 서브 메뉴, 복수의 제 1 계층 서브 메뉴 각각에 대응하는 복수의 제 2 계층 서브 메뉴 등)을 저장할 수도 있다.
메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스(100)는 인터넷(internet)상에서 메모리(170)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
메모리(170)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(171), 터치 스크린 모듈(172), 알림 모듈(173) 등으로 분류될 수 있다.
UI 모듈(171)은, 애플리케이션 별로 디바이스(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(172)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(120)로 전달할 수 있다. 본 발명의 일 실시예에 따른 터치 스크린 모듈(172)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(172)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.
근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(173)은 디바이스(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 디바이스(100)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 및 사용자 입력의 획득 등이 있다. 알림 모듈(173)은 디스플레이부(121)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(122)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(123)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
본 발명의 일 실시예에 따른 디바이스(100)는, 사용자의 상태를 나타내는 이미지 카드를 생성하고 공유할 수 있는 사용자 인터랙션을 제공한다. 따라서, 본 발명의 일 실시예에 따른 디바이스(100)는, 간단한 사용자 인터랙션을 통해 사용자가 사용자의 상태를 나타내는 이미지 카드를 생성하고, 친구들과 이미지 카드를 공유할 수 있도록 한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
100: 디바이스
110: 사용자 입력부
120: 제어부
130: 출력부
140: 센싱부
150: 통신부

Claims (17)

  1. 디바이스에서 터치 입력 및 호버링 입력을 획득하는 단계;
    상기 디바이스에서 실행되는 애플리케이션의 동작들 중에서 상기 획득된 터치 입력 및 상기 획득된 호버링 입력을 조합하여 생성되는 입력 패턴 정보에 대응되는 동작을 결정하는 단계; 및
    상기 결정된 동작을 수행하는 단계를 포함하는 디바이스를 제어하는 방법.
  2. 제 1 항에 있어서, 상기 입력 패턴 정보는,
    상기 획득된 터치 입력 및 상기 획득된 호버링 입력 각각의 종류, 상기 획득된 터치 입력 및 상기 획득된 호버링 입력의 입력 순서 및 입력 횟수 중 적어도 하나에 기초하여 생성되고,
    상기 터치 입력의 종류는 상기 터치 입력의 위치 및 시간과 상기 터치 입력 수단의 종류 및 움직임 중 적어도 하나에 기초하여 결정되고,
    상기 호버링 입력의 종류는 상기 호버링 입력의 위치 및 시간과 상기 호버링 입력 수단의 종류 및 움직임 중 적어도 하나에 기초하여 결정되는 디바이스를 제어하는 방법.
  3. 제 1 항에 있어서,
    상기 획득된 터치 입력을 판독하는 제 1 센싱 영역이 상기 획득된 호버링 입력을 판독하는 제 2 센싱 영역 보다 크게 설정되는 디바이스를 제어하는 방법.
  4. 제 1 항에 있어서,
    상기 터치 입력을 획득하는 제 1 영역 및 상기 호버링 입력을 획득하는 제 2 영역을 포함하는 사용자 인터페이스를 제공하는 단계를 더 포함하고,
    상기 사용자 인터페이스를 통해 상기 터치 입력 및 상기 호버링 입력을 획득하는 디바이스를 제어하는 방법.
  5. 제 1 항에 있어서,
    상기 터치 입력 및 상기 호버링 입력 중 어느 하나가 획득되는 경우, 기저장된 동작을 수행하기 위해 다음에 입력되어야 하는 터치 입력 또는 다음에 입력되어야 하는 호버링 입력에 대한 가이드 정보를 제공하는 단계를 더 포함하는 디바이스를 제어하는 방법.
  6. 제 1 항에 있어서, 상기 동작을 결정하는 단계는,
    상기 터치 입력이 획득된 시간과 상기 호버링 입력이 획득된 시간의 차이가 임계값 미만인 경우, 상기 획득된 터치 입력 및 상기 획득된 호버링 입력을 조합하여 상기 입력 패턴 정보를 생성하는 단계를 포함하는 디바이스를 제어하는 방법.
  7. 제 1 항에 있어서,
    상기 터치 입력이 획득된 경우, 상기 디바이스의 화면에 제 1 유효 입력 표시를 디스플레이하고, 상기 호버링 입력이 획득된 경우, 상기 디바이스의 화면에 제 2 유효 입력 표시를 디스플레이 하는 단계를 더 포함하는 디바이스를 제어하는 방법.
  8. 제 1 항에 있어서, 상기 동작을 결정하는 단계는,
    상기 획득된 터치 입력 및 상기 획득된 호버링 입력의 조합에 기초하여 생성되는 입력 패턴을 식별하는 단계; 및
    상기 디바이스에서 상기 애플리케이션 실행시, 획득한 입력에 대응되는 상기 디바이스의 동작에 대한 정보가 기저장된 데이터베이스로부터 상기 식별된 입력 패턴에 대응되는 동작을 검출하는 단계를 포함하는 디바이스를 제어하는 방법.
  9. 디바이스에서 터치 입력 및 호버링 입력을 획득하는 사용자 입력부;
    상기 디바이스에서 실행되는 애플리케이션의 동작들 중에서 상기 획득된 터치 입력 및 상기 획득된 호버링 입력을 조합하여 생성되는 입력 패턴 정보에 대응되는 동작을 결정하는 제어부; 및
    상기 결정된 동작을 수행하는 출력부를 포함하는 디바이스.
  10. 제 9 항에 있어서, 상기 입력 패턴 정보는,
    상기 획득된 터치 입력 및 상기 획득된 호버링 입력 각각의 종류, 상기 획득된 터치 입력 및 상기 획득된 호버링 입력의 입력 순서 및 입력 횟수 중 적어도 하나에 기초하여 생성되고,
    상기 터치 입력의 종류는 상기 터치 입력의 위치 및 시간과 상기 터치 입력 수단의 종류 및 움직임 중 적어도 하나에 기초하여 결정되고,
    상기 호버링 입력의 종류는 상기 호버링 입력의 위치 및 시간과 상기 호버링 입력 수단의 종류 및 움직임 중 적어도 하나에 기초하여 결정되는 디바이스.
  11. 제 9 항에 있어서,
    상기 획득된 터치 입력을 판독하는 제 1 센싱 영역이 상기 획득된 호버링 입력을 판독하는 제 2 센싱 영역 보다 크게 설정되는 디바이스.
  12. 제 9 항에 있어서, 상기 사용자 입력부는.
    상기 터치 입력을 획득하는 제 1 영역 및 상기 호버링 입력을 획득하는 제 2 영역을 포함하는 사용자 인터페이스를 제공하고,
    상기 사용자 인터페이스를 통해 상기 터치 입력 및 상기 호버링 입력을 획득하는 디바이스.
  13. 제 9 항에 있어서, 상기 사용자 입력부는,
    상기 터치 입력 및 상기 호버링 입력 중 어느 하나가 획득되는 경우, 기저장된 동작을 수행하기 위해 다음에 입력되어야 하는 터치 입력 또는 다음에 입력되어야 하는 호버링 입력에 대한 가이드 정보를 제공하는 디바이스.
  14. 제 9 항에 있어서, 상기 제어부는,
    상기 터치 입력이 획득된 시간과 상기 호버링 입력이 획득된 시간의 차이가 임계값 미만인 경우, 상기 획득된 터치 입력 및 상기 획득된 호버링 입력을 조합하여 상기 입력 패턴 정보를 생성하는 디바이스.
  15. 제 9 항에 있어서, 상기 출력부는,
    상기 터치 입력이 획득된 경우, 상기 디바이스의 화면에 제 1 유효 입력 표시를 디스플레이하고, 상기 호버링 입력이 획득되는 경우, 상기 디바이스의 화면에 제 2 유효 입력 표시를 디스플레이 하는 디바이스.
  16. 제 9 항에 있어서, 상기 제어부는,
    상기 획득된 터치 입력 및 상기 획득된 호버링 입력의 조합에 기초하여 생성되는 입력 패턴을 식별하고, 상기 디바이스에서 상기 애플리케이션 실행시, 획득한 입력에 대응되는 상기 디바이스의 동작에 대한 정보가 기저장된 데이터베이스로부터 상기 식별된 입력 패턴에 대응되는 동작을 검출하는 디바이스.
  17. 제 1 항 내제 제 8항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020140158908A 2014-11-14 2014-11-14 디바이스를 제어하는 방법 및 그 디바이스 KR102380228B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140158908A KR102380228B1 (ko) 2014-11-14 2014-11-14 디바이스를 제어하는 방법 및 그 디바이스
PCT/KR2015/011611 WO2016076561A2 (en) 2014-11-14 2015-11-02 Method of controlling device and device for performing the method
US14/942,355 US10474259B2 (en) 2014-11-14 2015-11-16 Method of controlling device using various input types and device for performing the method
US16/594,906 US11209930B2 (en) 2014-11-14 2019-10-07 Method of controlling device using various input types and device for performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140158908A KR102380228B1 (ko) 2014-11-14 2014-11-14 디바이스를 제어하는 방법 및 그 디바이스

Publications (2)

Publication Number Publication Date
KR20160058322A true KR20160058322A (ko) 2016-05-25
KR102380228B1 KR102380228B1 (ko) 2022-03-30

Family

ID=55955221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140158908A KR102380228B1 (ko) 2014-11-14 2014-11-14 디바이스를 제어하는 방법 및 그 디바이스

Country Status (3)

Country Link
US (2) US10474259B2 (ko)
KR (1) KR102380228B1 (ko)
WO (1) WO2016076561A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018004061A1 (ko) * 2016-06-29 2018-01-04 정상문 모바일 실시간 시뮬레이션 게임에서의 터치 조작 방식

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11099663B2 (en) * 2015-12-22 2021-08-24 Shenzhen Royole Technologies Co., Ltd. Electronic bag
US10732719B2 (en) * 2016-03-03 2020-08-04 Lenovo (Singapore) Pte. Ltd. Performing actions responsive to hovering over an input surface
US10795450B2 (en) * 2017-01-12 2020-10-06 Microsoft Technology Licensing, Llc Hover interaction using orientation sensing
CN110941473B (zh) * 2019-11-27 2023-10-24 维沃移动通信有限公司 预加载方法、装置、电子设备及介质
US12019781B2 (en) * 2020-04-22 2024-06-25 Lorica Cybersecurity Inc. Method and system for confidential string-matching and deep packet inspection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060010400A1 (en) * 2004-06-28 2006-01-12 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US20140198069A1 (en) * 2013-01-17 2014-07-17 Samsung Electronics Co., Ltd. Portable terminal and method for providing haptic effect to input unit
US20140282279A1 (en) * 2013-03-14 2014-09-18 Cirque Corporation Input interaction on a touch sensor combining touch and hover actions

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8482545B2 (en) * 2008-10-02 2013-07-09 Wacom Co., Ltd. Combination touch and transducer input system and method
US8535133B2 (en) * 2009-11-16 2013-09-17 Broadcom Corporation Video game with controller sensing player inappropriate activity
US20110119216A1 (en) * 2009-11-16 2011-05-19 Microsoft Corporation Natural input trainer for gestural instruction
US8593398B2 (en) * 2010-06-25 2013-11-26 Nokia Corporation Apparatus and method for proximity based input
US20120054670A1 (en) * 2010-08-27 2012-03-01 Nokia Corporation Apparatus and method for scrolling displayed information
US9851829B2 (en) * 2010-08-27 2017-12-26 Apple Inc. Signal processing for touch and hover sensing display device
US8890818B2 (en) * 2010-09-22 2014-11-18 Nokia Corporation Apparatus and method for proximity based input
US9043732B2 (en) * 2010-10-21 2015-05-26 Nokia Corporation Apparatus and method for user input for controlling displayed information
US9244545B2 (en) * 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
US20120169624A1 (en) * 2011-01-04 2012-07-05 Microsoft Corporation Staged access points
KR20120085392A (ko) * 2011-01-24 2012-08-01 삼성전자주식회사 터치 스크린을 구비한 단말기 및 그 단말기에서 터치 이벤트 확인 방법
US20130050131A1 (en) * 2011-08-23 2013-02-28 Garmin Switzerland Gmbh Hover based navigation user interface control
TWI469040B (zh) 2012-03-01 2015-01-11 Quanta Comp Inc 電子裝置以及鎖定／解鎖方法
US8654076B2 (en) * 2012-03-15 2014-02-18 Nokia Corporation Touch screen hover input handling
US8928609B2 (en) 2012-07-09 2015-01-06 Stmicroelectronics International N.V. Combining touch screen and other sensing detections for user interface control
KR102129374B1 (ko) * 2012-08-27 2020-07-02 삼성전자주식회사 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
US20140118267A1 (en) * 2012-10-31 2014-05-01 Vishal Thomas Code Entry System
KR20140105691A (ko) * 2013-02-23 2014-09-02 삼성전자주식회사 터치스크린을 구비하는 사용자 기기의 오브젝트 조작 방법 및 그 장치
KR20140105689A (ko) * 2013-02-23 2014-09-02 삼성전자주식회사 사용자의 입력에 응답하여 피드백을 제공하는 방법 및 이를 구현하는 단말
KR20140105985A (ko) * 2013-02-25 2014-09-03 삼성전자주식회사 사용자 인터페이스 제공 방법 및 장치
WO2016017956A1 (en) * 2014-07-30 2016-02-04 Samsung Electronics Co., Ltd. Wearable device and method of operating the same
KR20160034135A (ko) * 2014-09-19 2016-03-29 삼성전자주식회사 터치 입력을 처리하는 전자 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060010400A1 (en) * 2004-06-28 2006-01-12 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US20140198069A1 (en) * 2013-01-17 2014-07-17 Samsung Electronics Co., Ltd. Portable terminal and method for providing haptic effect to input unit
US20140282279A1 (en) * 2013-03-14 2014-09-18 Cirque Corporation Input interaction on a touch sensor combining touch and hover actions

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018004061A1 (ko) * 2016-06-29 2018-01-04 정상문 모바일 실시간 시뮬레이션 게임에서의 터치 조작 방식
US10905947B2 (en) 2016-06-29 2021-02-02 Sang Mun Jung Method for touch control in mobile real-time simulation game

Also Published As

Publication number Publication date
WO2016076561A2 (en) 2016-05-19
KR102380228B1 (ko) 2022-03-30
US20200033966A1 (en) 2020-01-30
WO2016076561A3 (en) 2016-07-07
US10474259B2 (en) 2019-11-12
US11209930B2 (en) 2021-12-28
US20160139697A1 (en) 2016-05-19

Similar Documents

Publication Publication Date Title
AU2022291520B2 (en) Device, method, and graphical user interface for navigating media content
CN105683894B (zh) 显示设备的应用执行方法及其显示设备
KR20160080036A (ko) 사용자 단말 장치 및 그의 제어 방법
US11209930B2 (en) Method of controlling device using various input types and device for performing the method
KR102254121B1 (ko) 메뉴 제공 방법 및 이를 위한 디바이스
KR20150047006A (ko) 데이터 전송 방법, 데이터 수신 방법, 및 디바이스
KR20160065673A (ko) 디바이스를 제어하는 방법, 시스템 및 그 디바이스
US20200326786A1 (en) Device and method of controlling device
KR102306535B1 (ko) 디바이스를 제어하는 방법 및 디바이스
AU2020220096B2 (en) Device, method and, graphical user interface for navigating media content
AU2016101667B4 (en) Device, method, and graphical user interface for navigating media content
AU2016100651A4 (en) Device, method, and graphical user interface for navigating media content
KR20160048645A (ko) 애플리케이션 실행 방법, 디바이스 및 기록매체
KR20160016569A (ko) 컨텐츠를 제공하는 방법 및 이를 위한 디바이스

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant