KR20160060109A - 모션 또는 그의 부재에 기초한 터치 기반 디바이스 상의 제어 인터페이스의 제시 - Google Patents

모션 또는 그의 부재에 기초한 터치 기반 디바이스 상의 제어 인터페이스의 제시 Download PDF

Info

Publication number
KR20160060109A
KR20160060109A KR1020167010272A KR20167010272A KR20160060109A KR 20160060109 A KR20160060109 A KR 20160060109A KR 1020167010272 A KR1020167010272 A KR 1020167010272A KR 20167010272 A KR20167010272 A KR 20167010272A KR 20160060109 A KR20160060109 A KR 20160060109A
Authority
KR
South Korea
Prior art keywords
control interface
touch screen
state
finger
motion
Prior art date
Application number
KR1020167010272A
Other languages
English (en)
Other versions
KR102343783B1 (ko
Inventor
대니얼 제이 황
후안 다이 (린)
샤라쓰 비스와나단
조셉 비 토벤스
호세 에이 로드리게스
피터 지 데이비스
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20160060109A publication Critical patent/KR20160060109A/ko
Application granted granted Critical
Publication of KR102343783B1 publication Critical patent/KR102343783B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

모션 또는 그의 부재에 기초하여 제어 인터페이스가 터치 기반 디바이스 상에 제시되게 하는 기법들이 본 명세서에 기술되어 있다. 호버링 제스처와 같은 모션이 검출될 수 있고, 검출에 응답하여 제어 인터페이스가 제시될 수 있다. 대안적으로, 모션의 부재가 검출될 수 있고, 검출에 응답하여 제어 인터페이스가 제시될 수 있다. 사용자가 터치 기반 디바이스의 터치 스크린을 물리적으로 터치하는 일 없이 호버링 제스처가 행해질 수 있다. 그 대신에, 사용자의 손가락 또는 손가락들이 터치 스크린 위쪽에 이격 거리를 두고 위치될 수 있다. 터치 스크린은 사용자의 손가락들이 터치 스크린에 근접해 있다는 것을, 정전용량 감지 등을 통해, 검출할 수 있다. 그에 부가하여, 제스처 입력에 대한 기존의 옵션들을 확장시키기 위해 손가락들이 호버링하고 있는 동안 손가락 움직임이 검출될 수 있다.

Description

모션 또는 그의 부재에 기초한 터치 기반 디바이스 상의 제어 인터페이스의 제시{PRESENTATION OF A CONTROL INTERFACE ON A TOUCH-ENABLED DEVICE BASED ON A MOTION OR ABSENCE THEREOF}
본 발명은 모션 또는 그의 부재에 기초한 터치 기반 디바이스 상에 제어 인터페이스의 제시에 대한 것이다.
터치 스크린이 최근에 엄청난 성장을 하였다. 터치 스크린은 이제 공항에 있는 키오스크, ATM(automatic teller machine: 현금 자동 입출금기), 자동판매기, 컴퓨터, 휴대폰 등과 같은 여러 곳에서 흔히 볼 수 있다.
터치 스크린은 전형적으로 아이콘들을 통해 복수의 옵션들을 사용자에게 제공하고, 사용자는 애플리케이션을 시작하기 위해, 애플리케이션을 제어하기 위해, 아이콘들과 연관된 부가 정보를 획득하기 위해, 기타를 위해 그 아이콘들을 선택할 수 있다. 선택의 결과가 사용자에게 원하는 결과를 제공하지 않는 경우, 사용자는 전형적으로 "뒤로" 버튼 또는 "홈" 버튼을 선택하거나 다른 방식으로 애플리케이션 또는 정보에서 벗어난다.
더욱이, 아이콘들을 선택하는 것에 의해 애플리케이션을 제어하는 것은 전형적으로 다수의 단계들을 수반한다. 예를 들면, 사용자는 컨트롤들에 대응하는 다수의 아이콘들을 포함하는 제어판에 액세스하기 위해 아이콘을 선택할 수 있다. 사용자는 이어서 애플리케이션을 제어하기 위해 컨트롤들에 대응하는 아이콘들 중 하나 이상을 선택할 수 있다. 사용자가 제어판을 사용하는 것을 끝마치면, 사용자는 전형적으로 제어판이 터치 스크린으로부터 제거되게 하기 위해 하나 이상의 아이콘들을 선택한다. 의도된 결과를 달성하기 위해 다수의 아이콘들을 선택하는 것은 사용자 시간을 소비하게 한다. 그에 부가하여, 휴대폰 사용자의 경우, 배터리 수명이 불필요하게 낭비될 수 있다.
그 중에서도 특히, 모션(motion) 또는 그의 부재에 기초하여 제어 인터페이스가 터치 기반 디바이스 상에 제시되게 하는 다양한 접근법들이 본 명세서에 기술되어 있다. 호버링 제스처(hover gesture)와 같은 모션이 검출될 수 있고, 검출에 응답하여 제어 인터페이스가 제시될 수 있다. 대안적으로, 모션의 부재가 검출될 수 있고, 검출에 응답하여 제어 인터페이스가 제시될 수 있다. 사용자가 터치 기반 디바이스의 터치 스크린을 물리적으로 터치하는 일 없이 호버링 제스처가 행해질 수 있다. 그 대신에, 사용자의 손가락 또는 손가락들이 터치 스크린 위쪽에 이격 거리를 두고 위치될 수 있다. 터치 스크린은 사용자의 손가락들이 터치 스크린에 근접해 있다는 것을, 정전용량 감지(capacitive sensing) 등을 통해, 검출할 수 있다. 그에 부가하여, 제스처 입력에 대한 기존의 옵션들을 확장시키기 위해 손가락들이 호버링하고 있는 동안 손가락 움직임이 검출될 수 있다.
예시적인 방법들이 기술되어 있다. 제1 예시적인 방법에 따르면, 호버링 위치(hover position)에 있는 손가락(들)이 검출된다. 손가락(들)이 터치 스크린으로부터 이격 거리에 있다. 손가락(들) 중 적어도 하나의 손가락의 모션이 검출된다. 이 모션은 터치 스크린 상에 디스플레이되는 가상 요소와 연관된 콘텐츠를 제어하도록 구성된 제어 인터페이스를 제시하라는 사용자 명령이다. 모션에 기초하여 제어 인터페이스가 터치 스크린 상에 제시되게 된다.
제2 예시적인 방법에 따르면, 호버링 위치에 있는 손가락(들)이 검출된다. 손가락(들)이 터치 스크린으로부터 이격 거리에 있다. 손가락(들) 중 적어도 하나의 손가락의 모션이 검출된다. 이 모션은 터치 스크린 상에 적어도 부분적으로 보이는 제어 인터페이스의 가시도(visibility)를 증가시키라는 사용자 명령이다. 제어 인터페이스는 터치 스크린 상에 디스플레이되는 가상 요소와 연관된 콘텐츠를 제어하도록 구성되어 있다. 모션에 기초하여 터치 스크린 상의 제어 인터페이스의 가시도가 증가하게 된다.
제3 예시적인 방법에 따르면, 호버링 위치에 있는 손가락(들)이 검출된다. 손가락(들)이 터치 스크린으로부터 이격 거리에 있다. 제어 인터페이스를 제시하라는 사용자 명령이 검출된다. 제어 인터페이스는 터치 스크린 상에 디스플레이되는 가상 요소와 연관된 콘텐츠를 제어하도록 구성되어 있다. 사용자 명령은 손가락(들)이 적어도 지정된 기간 동안 호버링 위치에 머물러 있는 것에 의해 특징 지워지고, 손가락(들)이 적어도 지정된 기간 동안 움직이지 않은 채로 있는 것에 의해 추가로 특징 지워진다. 사용자 명령의 검출에 기초하여 제어 인터페이스가 터치 스크린 상에 제시되게 된다.
예시적인 시스템들이 또한 기술되어 있다. 제1 예시적인 시스템은 터치 스크린 센서, 제스처 엔진, 및 렌더링 엔진을 포함한다. 터치 스크린 센서는 호버링 위치에 있는 손가락(들)을 검출하도록 구성되어 있다. 손가락(들)이 터치 스크린으로부터 이격 거리에 있다. 제스처 엔진은 손가락(들) 중 적어도 하나의 손가락의 모션을 검출하도록 구성되어 있다. 이 모션은 터치 스크린 상에 디스플레이되는 가상 요소와 연관된 콘텐츠를 제어하도록 구성된 제어 인터페이스를 제시하라는 사용자 명령이다. 렌더링 엔진은 모션에 기초하여 제어 인터페이스가 터치 스크린 상에 제시되게 하도록 구성되어 있다.
제2 예시적인 시스템은 터치 스크린 센서, 제스처 엔진, 및 렌더링 엔진을 포함한다. 터치 스크린 센서는 호버링 위치에 있는 손가락(들)을 검출하도록 구성되어 있다. 손가락(들)이 터치 스크린으로부터 이격 거리에 있다. 제스처 엔진은 손가락(들) 중 적어도 하나의 손가락의 모션을 검출하도록 구성되어 있다. 이 모션은 터치 스크린 상에 적어도 부분적으로 보이는 제어 인터페이스의 가시도를 증가시키라는 사용자 명령이다. 제어 인터페이스는 터치 스크린 상에 디스플레이되는 가상 요소와 연관된 콘텐츠를 제어하도록 구성되어 있다. 렌더링 엔진은 모션에 기초하여 터치 스크린 상의 제어 인터페이스의 가시도가 증가하게 하도록 구성되어 있다.
제3 예시적인 시스템은 터치 스크린 센서, 제스처 엔진, 및 렌더링 엔진을 포함한다. 터치 스크린 센서는 호버링 위치에 있는 손가락(들)을 검출하도록 구성되어 있다. 손가락(들)이 터치 스크린으로부터 이격 거리에 있다. 제스처 엔진은 제어 인터페이스를 제시하라는 사용자 명령을 검출하도록 구성되어 있다. 제어 인터페이스는 터치 스크린 상에 디스플레이되는 가상 요소와 연관된 콘텐츠를 제어하도록 구성되어 있다. 사용자 명령은 손가락(들)이 적어도 지정된 기간 동안 호버링 위치에 머물러 있는 것에 의해 특징 지워지고, 손가락(들)이 적어도 지정된 기간 동안 움직이지 않은 채로 있는 것에 의해 추가로 특징 지워진다. 렌더링 엔진은 사용자 명령의 검출에 기초하여 제어 인터페이스가 터치 스크린 상에 제시되게 하도록 구성되어 있다.
컴퓨터 프로그램 제품들이 또한 기술되어 있다. 제1 예시적인 컴퓨터 프로그램 제품은 프로세서 기반 시스템이 제어 인터페이스가 제시되게 할 수 있게 하기 위한 컴퓨터 프로그램 논리가 기록되어 있는 컴퓨터 판독 가능 매체를 포함한다. 컴퓨터 프로그램 제품은 제1 프로그램 논리 모듈, 제2 프로그램 논리 모듈, 및 제3 프로그램 논리 모듈을 포함한다. 제1 프로그램 논리 모듈은 프로세서 기반 시스템이 호버링 위치에 있는 손가락(들)을 검출할 수 있게 하기 위한 것이다. 손가락(들)이 터치 스크린으로부터 이격 거리에 있다. 제2 프로그램 논리 모듈은 프로세서 기반 시스템이 손가락(들) 중 적어도 하나의 손가락의 모션을 검출할 수 있게 하기 위한 것이다. 이 모션은 터치 스크린 상에 디스플레이되는 가상 요소와 연관된 콘텐츠를 제어하도록 구성된 제어 인터페이스를 제시하라는 사용자 명령이다. 제3 프로그램 논리 모듈은 프로세서 기반 시스템이 모션에 기초하여 제어 인터페이스가 터치 스크린 상에 제시되게 할 수 있게 하기 위한 것이다.
제2 예시적인 컴퓨터 프로그램 제품은 프로세서 기반 시스템이 제어 인터페이스의 가시도가 증가하게 할 수 있게 하기 위한 컴퓨터 프로그램 논리가 기록되어 있는 컴퓨터 판독 가능 매체를 포함한다. 컴퓨터 프로그램 제품은 제1 프로그램 논리 모듈, 제2 프로그램 논리 모듈, 및 제3 프로그램 논리 모듈을 포함한다. 제1 프로그램 논리 모듈은 프로세서 기반 시스템이 호버링 위치에 있는 손가락(들)을 검출할 수 있게 하기 위한 것이다. 손가락(들)이 터치 스크린으로부터 이격 거리에 있다. 제2 프로그램 논리 모듈은 프로세서 기반 시스템이 손가락(들) 중 적어도 하나의 손가락의 모션을 검출할 수 있게 하기 위한 것이다. 이 모션은 터치 스크린 상에 적어도 부분적으로 보이는 제어 인터페이스의 가시도를 증가시키라는 사용자 명령이다. 제어 인터페이스는 터치 스크린 상에 디스플레이되는 가상 요소와 연관된 콘텐츠를 제어하도록 구성되어 있다. 제3 프로그램 논리 모듈은 프로세서 기반 시스템이 모션에 기초하여 터치 스크린 상의 제어 인터페이스의 가시도가 증가하게 할 수 있게 하기 위한 것이다.
제3 예시적인 컴퓨터 프로그램 제품은 프로세서 기반 시스템이 제어 인터페이스가 제시되게 할 수 있게 하기 위한 컴퓨터 프로그램 논리가 기록되어 있는 컴퓨터 판독 가능 매체를 포함한다. 컴퓨터 프로그램 제품은 제1 프로그램 논리 모듈, 제2 프로그램 논리 모듈, 및 제3 프로그램 논리 모듈을 포함한다. 제1 프로그램 논리 모듈은 프로세서 기반 시스템이 호버링 위치에 있는 손가락(들)을 검출할 수 있게 하기 위한 것이다. 손가락(들)이 터치 스크린으로부터 이격 거리에 있다. 제2 프로그램 논리 모듈은 프로세서 기반 시스템이 제어 인터페이스를 제시하라는 사용자 명령을 검출할 수 있게 하기 위한 것이다. 제어 인터페이스는 터치 스크린 상에 디스플레이되는 가상 요소와 연관된 콘텐츠를 제어하도록 구성되어 있다. 사용자 명령은 손가락(들)이 적어도 지정된 기간 동안 호버링 위치에 머물러 있는 것에 의해 특징 지워지고, 손가락(들)이 적어도 지정된 기간 동안 움직이지 않은 채로 있는 것에 의해 추가로 특징 지워진다. 제3 프로그램 논리 모듈은 프로세서 기반 시스템이 사용자 명령의 검출에 기초하여 제어 인터페이스가 터치 스크린 상에 제시되게 할 수 있게 하기 위한 것이다.
이 발명의 내용은 이하에서 발명을 실시하기 위한 구체적인 내용에 추가로 기술되는 선택된 개념들을 간략화된 형태로 소개하기 위해 제공된다. 이 발명의 내용은 청구된 발명 요지의 핵심적인 특징들 또는 필수적인 특징들을 언급하기 위한 것이 아니며, 청구된 발명 요지의 범주를 제한하기 위해 사용되기 위한 것도 아니다. 더욱이, 유의할 점은, 본 발명이 발명을 실시하기 위한 구체적인 내용 및/또는 본 문서의 다른 섹션들에 기술되는 구체적인 실시예들로 제한되지 않는다는 것이다. 이러한 실시예들은 단지 예시를 위해 본 명세서에서 제시되어 있다. 부가의 실시예들이 본 명세서에 포함된 발명 내용에 기초하여 관련 기술 분야(들)의 통상의 기술자에게는 명백할 것이다.
본 명세서에 포함되어 명세서의 일부를 형성하는 첨부 도면들은 본 발명의 실시예들을 예시하고, 설명과 함께, 또한 관련된 원리들을 설명하고 관련 기술 분야(들)의 통상의 기술자가 개시된 기술들을 제조 및 사용할 수 있게 하는 역할을 한다.
도 1은 손가락 호버링, 모션, 및/또는 그의 부재, 제스처 등을 감지하기 위한 터치 스크린을 갖는 예시적인 모바일 디바이스의 시스템도.
도 2는 손가락 기반 호버링 입력을 수신하기 위해 사용될 수 있는 예시적인 시스템 구성요소들을 나타낸 도면.
도 3은 일 실시예에 따른, 제어 인터페이스가 제시되게 하는 예시적인 방법의 플로우차트.
도 4 내지 도 17은 실시예들에 따른, 터치 기반 디바이스(예컨대, 도 1에 도시된 모바일 디바이스)의 다양한 예시적인 상태들을 나타낸 블록도.
도 18은 제어 인터페이스가 터치 기반 디바이스 상에 제시되게 하기 위해 사용될 수 있는 몇몇 호버링 입력 제스처들의 예들을 나타낸 도면.
도 19는 일 실시예에 따른, 제어 인터페이스의 가시도가 증가되게 하는 예시적인 방법의 플로우차트.
도 20은 일 실시예에 따른, 제어 인터페이스가 제시되게 하는 예시적인 방법의 플로우차트.
도 21은 실시예들이 구현될 수 있는 예시적인 컴퓨터를 나타낸 도면.
개시된 기술들의 특징들 및 장점들은 도면들과 관련하여 살펴볼 때 이하에 기재되는 상세한 설명으로부터 보다 명백하게 될 것이고, 도면들에서 유사한 참조 문자들은 전체에 걸쳐 대응하는 요소들을 나타낸다. 도면들에서, 유사한 참조 번호들은 일반적으로 동일하고, 기능상 유사하며, 그리고/또는 구조상 유사한 요소들을 나타낸다. 요소가 처음으로 나오는 도면은 대응하는 참조 번호에서 가장 왼쪽 숫자(들)에 의해 나타내어져 있다.
I. 서론
이하의 발명을 실시하기 위한 구체적인 내용은 본 발명의 예시적인 실시예들을 나타내는 첨부 도면들을 참조한다. 그렇지만, 본 발명의 범주가 이 실시예들로 제한되지 않고, 그 대신에 첨부된 청구항들에 의해 한정된다. 이와 같이, 예시된 실시예들의 수정된 버전들과 같은, 첨부 도면들에 도시된 것들 이외의 실시예들이 그럼에도 불구하고 본 발명에 포함될 수 있다.
명세서에서 "하나의 실시예", "일 실시예", "예시적인 실시예" 등으로 언급하는 것들은 기술된 실시예가 특정의 특징, 구조, 또는 특성을 포함할 수 있지만, 모든 실시예가 그 특정의 특징, 구조, 또는 특성을 꼭 포함하는 것은 아닐 수 있음을 나타낸다. 더욱이, 이러한 문구들이 꼭 동일한 실시예를 지칭하는 것은 아니다. 게다가, 특정의 특징, 구조, 또는 특성이 일 실시예와 관련하여 기술될 때, 명시적으로 기술되어 있든 그렇지 않든 간에, 관련 기술 분야(들)의 통상의 기술자가 이러한 특징, 구조, 또는 특성을 다른 실시예들과 관련하여 구현하는 것을 알고 있는 것으로 생각된다.
II. 예시적인 실시예
본 명세서에 기술되는 예시적인 실시예들은 터치 스크린 또는 다른 터치 감응 표면(touch responsive surface) 상에서 사용자 입력을 받을 수 있다. 이러한 터치 감응 표면의 예들은 터치 또는 근접 제스처들을 검출하기 위해 저항, 정전용량, 또는 광에 반응하는 물질들을 포함하고 있다. 모션(예컨대, 호버링 제스처) 또는 모션의 부재가 검출될 수 있고, 검출에 응답하여 동작이 수행될 수 있다. 사용자가 터치 스크린을 물리적으로 터치하는 일 없이 호버링 제스처가 행해질 수 있다. 그 대신에, 사용자의 손가락 또는 손가락들이 터치 스크린 위쪽에 이격 거리를 두고 위치될 수 있다. 터치 스크린은 사용자의 손가락들이 터치 스크린에 근접해 있다는 것을, 정전용량 감지 등을 통해, 검출할 수 있다. 그에 부가하여, 제스처 입력에 대한 기존의 옵션들을 확장시키기 위해 손가락들이 호버링하고 있는 동안 손가락 움직임이 검출될 수 있다.
본 명세서에 기술되는 예시적인 기법들은 터치 스크린 상에서 사용자 입력을 받기 위한 종래의 기법들과 비교하여 각종의 이점들을 갖는다. 예를 들어, 본 기법들은 모션 또는 모션의 부재의 발생에 기초하여 제어 인터페이스가 터치 스크린 상에 제시되게 할 수 있다. 모션 또는 그의 부재가 사용자의 손가락(들)에 의해 수행될 수 있다. 예를 들면, 손가락(들)이 터치 스크린으로부터 이격 거리에 있는 동안 모션 또는 그의 부재가 수행될 수 있다. 그에 따라, 손가락(들)이 터치 스크린을 터치하는 일 없이 제어 인터페이스가 호출될 수 있다. 예시적인 기법들은 제어 인터페이스가 제시되게 하기 위해 소비되는 시간 및/또는 자원(예컨대, 처리 자원)의 양을 감소시킬 수 있다. 예를 들면, 본 기법들은 제어 인터페이스가 제시되게 하기 위해 터치 스크린 상에서 아이콘들을 선택할 필요가 없게 할 수 있다. 제어 인터페이스가 제시되게 하기 위한 모션은 호버링 제스처를 포함할 수 있다. 이러한 호버링 제스처가, 그의 정확한 검출이 행해지기 위해, 꼭 어떤 다른 유형의 제스처들(예컨대, 터치 제스처)만큼 정확할 필요는 없다.
본 명세서에 기술되는 실시예들은, 휴대폰과 같은, 모바일 디바이스에 중점을 두고 있다. 그렇지만, 기술되는 실시예들이, 랩톱 컴퓨터, 태블릿, 데스크톱 컴퓨터, 텔레비전, 웨어러블 디바이스 등을 비롯한, 터치 스크린 또는 터치 표면을 갖는 임의의 디바이스에 적용될 수 있다.
실시예들이 예시를 위해 호버링 터치 제스처(호버링 제스처라고도 함)와 관련하여 기술되지만, 제한하는 것으로 의도되어 있지 않다. 본 명세서에 기술되는 실시예들이 임의의 적당한 유형의 모션을 사용하여 구현될 수 있다는 것을 잘 알 것이다. 이러한 모션이 꼭 호버링 터치 제스처를 포함할 필요는 없다.
스크린 위쪽의 손가락을 검출하는 것은 물론, 손가락 움직임을 추적하기 위해 호버링 터치가 터치 프레임워크에 내장되어 있다. 예를 들어, 제스처 엔진은 손가락(들)의 모션 또는 이러한 모션의 부재를 검출하기 위해 사용될 수 있다. 모션은 호버링 터치 제스처를 포함할 수 있지만, 예시적인 실시예들의 범주가 이와 관련하여 제한되지 않는다. 호버링 인식을 가능하게 하는 것이 터치 스크린 디바이스 상에서 구현할 이용 가능 제스처들의 라이브러리를 상당히 확장시킨다는 것을 잘 알 것이다.
제스처 엔진은, 예로서, (1) 손가락 호버링 패닝(finger hover pan) - 손가락을 스크린 위쪽에 띄우고 손가락을 임의의 방향으로 패닝하는 것; (2) 손가락 호버링 티클링/플리킹(finger hover tickle/flick) - 손가락을 스크린 위쪽에 띄우고 손가락에 의한 간지럼 동작(tickling motion)과 같이 손가락을 1회 이상 재빨리 플리킹하는 것; (3) 손가락 호버링 원 그리기(finger hover circle) - 손가락 또는 엄지손가락을 스크린 위쪽에 띄우고 공중에서 원 또는 반대 방향 원(counter-circle)을 그리는 것; (4) 손가락 호버링 대기(finger hover hold) - 손가락을 스크린 위쪽에 띄우고 손가락을 정지한 채로 두는 것; (5) 손바닥 스와이프(palm swipe) - 손의 손날(edge) 또는 손의 손바닥을 띄우고 스크린을 가로질러 스와이프하는 것; (6) 에어 핀치/리프트/드롭(air pinch/lift/drop) - 엄지손가락 및 집게손가락을 사용하여 스크린 위쪽에서 핀치 제스처를 행하고, 드래그하며, 이어서 해제(release) 동작을 행하는 것; (7) 손 흔들기 제스처(hand wave gesture) - 손을 스크린 위쪽에 띄우고 손 흔들기 모션으로 손을 왔다갔다 움직이는 것을 비롯한, 호버링 터치 제스처들의 인식을 위해 사용될 수 있다.
호버링 터치 제스처는 사용자의 손(예컨대, 하나 이상의 손가락들, 손바닥 등)이 터치 스크린으로부터 이격 거리에 있는(사용자가 터치 스크린과 접촉하고 있지 않음을 의미함) 사용자 입력 명령(user-input command)에 관한 것이다. 더욱이, 사용자의 손이 터치 스크린에 가까운 범위(0.1 인치와 0.25 인치 사이, 또는 0.25 인치와 0.5 인치 사이, 또는 0.5 인치와 0.75 인치 사이, 또는 0.75 인치와 1 인치 사이, 또는 1 인치와 1.5 인치 사이, 기타 등등) 내에 있어야만 한다. 임의의 원하는 거리가 사용될 수 있지만, 많은 실시예들에서, 일반적으로 이러한 거리는 2 인치 미만일 수 있다.
각종의 범위들이 사용될 수 있다. 사용자의 손의 감지는 정전용량 감지에 기초할 수 있지만, 초음파 거리 센서 또는 카메라 기반 감지(거리 및 움직임을 획득하기 위해 사용자의 손을 촬영한 영상들)와 같은, 다른 기법들이 사용될 수 있다.
모션이 검출되면(예컨대, 호버링 터치 제스처가 인식되면), 제어 인터페이스가 터치 스크린 상에 제시(예컨대, 자동으로 제시)될 수 있고, 이에 대해서는 이하에서 더 기술된다.
도 1은 각종의 선택적인 하드웨어 및 소프트웨어 구성요소들(전체적으로 102로 나타내어져 있음)을 포함하는 예시적인 모바일 디바이스(100)를 나타낸 시스템도이다. 모바일 디바이스 내의 임의의 구성요소들(102)은 임의의 다른 구성요소와 통신할 수 있지만, 예시의 편의상, 연결들 모두가 도시되어 있지는 않다. 모바일 디바이스는 각종의 컴퓨팅 디바이스들(예컨대, 휴대폰, 스마트폰, 핸드헬드 컴퓨터, PDA(Personal Digital Assistant) 등) 중 임의의 것일 수 있고, 셀룰러 또는 위성 네트워크와 같은, 하나 이상의 이동 통신 네트워크들(104)과의 또는 근거리 또는 원거리 네트워크와의 무선 양방향 통신을 가능하게 할 수 있다.
예시된 모바일 디바이스(100)는 신호 코딩, 데이터 처리, 입출력 처리, 전력 제어, 및/또는 다른 기능들과 같은 작업들을 수행하기 위한 제어기 또는 프로세서(110)(예컨대, 신호 프로세서, 마이크로프로세서, ASIC, 또는 다른 제어 및 처리 논리 회로부)를 포함할 수 있다. 운영 체제(112)는 구성요소들(102)의 할당 및 사용과 하나 이상의 애플리케이션 프로그램들(114)(애플리케이션이라고도 함)에 대한 지원을 제어할 수 있다. 애플리케이션 프로그램들(114)은 통상의 모바일 컴퓨팅 애플리케이션들(예컨대, 이메일 애플리케이션, 달력, 연락처 관리자, 웹 브라우저, 메시징 애플리케이션) 및 임의의 다른 컴퓨팅 애플리케이션들(예컨대, 워드 프로세싱 애플리케이션, 지도 제작 애플리케이션, 미디어 플레이어 애플리케이션)을 포함할 수 있다.
예시된 모바일 디바이스(100)는 메모리(120)를 포함할 수 있다. 메모리(120)는 비이동식 메모리(122) 및/또는 이동식 메모리(124)를 포함할 수 있다. 비이동식 메모리(122)는 RAM, ROM, 플래시 메모리, 하드 디스크, 또는 다른 널리 공지된 메모리 저장 기술들을 포함할 수 있다. 이동식 메모리(124)는 플래시 메모리 또는 GSM 통신 시스템에서 널리 공지되어 있는 SIM(Subscriber Identity Module: 가입자 식별 모듈) 카드, 또는 "스마트 카드"와 같은 다른 널리 공지된 메모리 저장 기술들을 포함할 수 있다. 메모리(120)는 운영 체제(112) 및 애플리케이션들(114)을 실행하기 위한 데이터 및/또는 코드를 저장하는 데 사용될 수 있다. 예시적인 데이터는 하나 이상의 유선 또는 무선 네트워크들을 통해 하나 이상의 네트워크 서버들 또는 다른 디바이스들로 송신되고 그리고/또는 그로부터 수신되는 웹 페이지, 텍스트, 영상, 사운드 파일, 비디오 데이터, 또는 다른 데이터 집합을 포함할 수 있다. 메모리(120)는 IMSI(International Mobile Subscriber Identity)와 같은 가입자 식별자(subscriber identifier), 및 IMEI(International Mobile Equipment Identifier)와 같은 장비 식별자(equipment identifier)를 저장하는 데 사용될 수 있다. 이러한 식별자들은 사용자들 및 장비를 식별하기 위해 네트워크 서버로 전송될 수 있다.
모바일 디바이스(100)는 터치 스크린(132), 마이크로폰(134), 카메라(136), 물리적 키보드(138) 및/또는 트랙볼(140)과 같은 하나 이상의 입력 디바이스들(130), 그리고 스피커(152) 및 디스플레이(154)와 같은 하나 이상의 출력 디바이스들(150)을 지원할 수 있다. 터치 스크린(132)과 같은, 터치 스크린은 상이한 방식들로 입력을 검출할 수 있다. 예를 들어, 용량성 터치 스크린은, 물체(예컨대, 손가락 끝)가 표면을 가로질러 지나는 전류를 왜곡시키거나 차단시킬 때, 터치 입력을 검출한다. 다른 예로서, 터치 스크린은 광 센서들로부터의 빔들이 차단될 때 터치 입력을 검출하기 위해 광 센서들을 사용할 수 있다. 입력이 일부 터치 스크린들에 의해 검출되기 위해 스크린의 표면과의 물리적 접촉이 필요하지 않다. 예를 들어, 터치 스크린(132)은, 본 기술 분야에 널리 알려져 있는 바와 같이, 정전용량 감지를 사용하여 손가락 호버링 검출을 지원할 수 있다. 이미 앞서 기술된 바와 같이, 카메라 기반 검출 및 초음파 기반 검출을 비롯한, 다른 검출 기법들이 사용될 수 있다. 손가락 호버링을 구현하기 위해, 사용자의 손가락이 전형적으로 터치 스크린 위쪽으로 미리 결정된 이격 거리(0.1 인치와 0.25 인치 사이, 또는 0.25 인치와 0.5 인치 사이, 또는 0.5 인치와 0.75 인치 사이, 또는 0.75 인치와 1 인치 사이, 또는 1 인치와 1.5 인치 사이, 기타 등등) 내에 있다.
터치 스크린(132)은 예시를 위해 제어 인터페이스(192)를 포함하는 것으로 도시되어 있다. 제어 인터페이스(192)는 터치 스크린(132) 상에 디스플레이되는 가상 요소와 연관된 콘텐츠를 제어하도록 구성되어 있다. 예시적인 실시예에서, 제어 인터페이스(192)는 애플리케이션들(114) 중 하나 이상에 의해 제공되는 콘텐츠를 제어하도록 구성되어 있다. 예를 들면, 모바일 디바이스(102)의 사용자가 애플리케이션을 이용할 때, 사용자가 이러한 콘텐츠를 제어하는 컨트롤들에 액세스할 수 있게 하기 위해 제어 인터페이스(192)가 터치 스크린(132) 상에서 사용자에게 제시될 수 있다. 제어 인터페이스(192)의 제시는 터치 스크린(132)으로부터 지정된 거리 내에서의 모션 또는 이러한 모션의 부재의 검출에 기초할 수 있다(예컨대, 그 검출에 의해 트리거될 수 있다). 모션 또는 그의 부재에 기초하여 제어 인터페이스(예컨대, 제어 인터페이스(192))가 터치 스크린(예컨대, 터치 스크린(132)) 상에 제시되게 하는 예시적인 실시예들이 이하에서 더 상세히 기술된다.
다른 가능한 출력 디바이스들(도시 생략)은 압전 또는 다른 햅틱 출력 디바이스들을 포함할 수 있다. 일부 디바이스들은 하나 초과의 입출력 기능을 제공할 수 있다. 예를 들어, 터치 스크린(132) 및 디스플레이(154)가 단일의 입출력 디바이스에 결합되어 있을 수 있다. 입력 디바이스들(130)은 NUI(Natural User Interface: 내추럴 사용자 인터페이스)를 포함할 수 있다. NUI는 사용자가, 마우스, 키보드, 리모콘 등과 같은 입력 디바이스들에 의해 부과되는 인위적 제약조건들 없이, "자연스러운" 방식으로 디바이스와 상호작용할 수 있게 하는 임의의 인터페이스 기술이다. NUI 방법의 예들은 음성 인식, 터치 및 스타일러스 인식, 스크린 상에서는 물론 스크린에 인접한 제스처 인식, 에어 제스처(air gesture), 머리 및 눈 추적, 음성(voice) 및 발화(speech), 시각(vision), 터치, 제스처, 및 기계 지능에 의존하는 것들을 포함한다. NUI의 다른 예들은 가속도계/자이로스코프, 얼굴 인식, 3D 디스플레이, 머리, 눈, 및 시선 추적(gaze tracking), 몰입형 증강 현실 및 가상 현실 시스템(이들 모두는 보다 자연스러운 인터페이스를 제공함)을 사용하는 모션 제스처 검출은 물론, 전기장 감지 전극들을 사용하여 뇌 활동을 감지하기 위한 기술들(EEG 및 관련 방법들)을 포함한다. 이와 같이, 하나의 구체적인 예에서, 운영 체제(112) 또는 애플리케이션들(114)은 사용자가 음성 명령을 통해 디바이스(100)를 동작시킬 수 있게 하는 음성 제어 인터페이스의 일부로서 음성 인식 소프트웨어를 포함할 수 있다. 게다가, 디바이스(100)는 게임 애플리케이션에 입력을 제공하기 위해 제스처들을 검출하고 해석하는 것과 같은, 사용자의 공간 제스처들을 통한 사용자 상호작용을 가능하게 하는 입력 디바이스들 및 소프트웨어를 포함할 수 있다.
본 기술 분야에서 잘 알려져 있는 바와 같이, 무선 모뎀(들)(160)은 안테나(들)(도시 생략)에 결합될 수 있고, 프로세서(110)와 외부 디바이스들 사이의 양방향 통신을 지원할 수 있다. 모뎀(들)(160)은 총칭하여 도시되어 있고, 이동 통신 네트워크(104)와 통신하기 위한 셀룰러 모뎀 및/또는 다른 무선 기반 모뎀들(예컨대, 블루투스(164) 및/또는 Wi-Fi(162))을 포함할 수 있다. 무선 모뎀(들)(160) 중 적어도 하나는 전형적으로 단일의 셀룰러 네트워크 내에서의, 셀룰러 네트워크들 간의, 또는 모바일 디바이스와 PSTN(public switched telephone network) 간의 데이터 및 음성 통신을 위한 GSM 네트워크와 같은, 하나 이상의 셀룰러 네트워크들과 통신하도록 구성되어 있다.
모바일 디바이스는 적어도 하나의 입출력 포트(180), 전원(182), GPS(Global Positioning System) 수신기와 같은, 위성 항법 시스템 수신기(satellite navigation system receiver)(184), 가속도계(186), 및/또는 USB 포트, IEEE 1394(Fire Wire) 포트, 및/또는 RS-232 포트일 수 있는, 물리적 커넥터(190)를 추가로 포함할 수 있다. 본 기술 분야의 통상의 기술자라면 잘 알 것인 바와 같이, 임의의 구성요소들이 삭제될 수 있고 다른 구성요소들이 추가될 수 있기 때문에, 예시된 구성요소들(102)이 필수적인 것이지도 모두 포함되는 것도 아니다.
도 2는 호버링 사용자 입력을 구현하는 데 사용될 수 있는 구성요소들의 추가 상세를 나타낸 시스템도이다. 터치 스크린 센서(210)는 터치 스크린(예컨대, 터치 스크린(132)) 위쪽으로 이격 거리(즉, 영이 아닌 거리)에서 손가락 호버링을 검출할 수 있다. 이러한 기술의 일부 예들은 Cypress Semiconductor Corp.®로부터 이용 가능하지만, 유사한 검출 기능을 제공하는 다른 시스템들이 본 기술 분야에 공지되어 있다.
제스처 엔진(212)은 호버링 위치(터치 스크린 위쪽으로 일정 거리에 있는 위치)에 있는 손가락(들), 손가락(들) 중 적어도 하나의 손가락의 모션 또는 이러한 모션의 부재 등을 비롯한 사용자 입력을 해석하기 위해 터치 스크린 센서로부터 입력을 수신할 수 있다. 모션은 호버링 제스처(동작을 수행하라는 사용자 입력 명령)를 포함할 수 있다. 호버링 제스처는 사용자 손가락이 미리 결정된 기간 동안 고정된 위치에 머물러 있는 것 또는 어떤 미리 결정된 손가락 움직임을 포함할 수 있다. 어떤 미리 결정된 손가락 움직임은 사용자가 간지럼을 흉내내기 위해 빠른 움직임으로 자신의 손가락 끝을 왔다갔다 움직이는 티클링 움직임(tickle movement), 또는 원 그리기 움직임(circle movement), 또는 (사용자가 상자에 체크 표시를 하는 것과 같은) 체크 표시 움직임(check movement) 등을 포함할 수 있다. 특정 제스처들은 (1) 손가락 호버링 패닝 - 손가락을 스크린 위쪽에 띄우고 손가락을 임의의 방향으로 패닝하는 것; (2) 손가락 호버링 티클링/플리킹 - 손가락을 스크린 위쪽에 띄우고 손가락에 의한 간지럼 동작과 같이 손가락을 1회 이상 재빨리 플리킹하는 것; (3) 손가락 호버링 원 그리기 - 손가락 또는 엄지손가락을 스크린 위쪽에 띄우고 공중에서 원 또는 반대 방향 원을 그리는 것; (4) 손가락 호버링 대기 - 손가락을 스크린 위쪽에 띄우고 손가락을 정지한 채로 두는 것; (5) 손바닥 스와이프 - 손의 손날 또는 손의 손바닥을 띄우고 스크린을 가로질러 스와이프하는 것; (6) 에어 핀치/리프트/드롭 - 엄지손가락 및 집게손가락을 사용하여 스크린 위쪽에서 핀치 제스처를 행하고, 드래그하며, 이어서 해제 동작을 행하는 것; (7) 손 흔들기 제스처 - 손을 스크린 위쪽에 띄우고 손 흔들기 모션으로 손을 왔다갔다 움직이는 것(이들로 제한되지 않음)을 포함한다. 이 제스처들 각각에서, 사용자의 손가락들이 스크린을 터치하지 않는다.
제스처 엔진(212)이 사용자 입력을 해석하면, 제스처 엔진(212)은 모션(예컨대, 제스처), 모션의 부재 등을 운영 체제(214)에 알려줄 수 있다. 그에 응답하여, 운영 체제(214)는 렌더링 엔진(216)을 사용하여 제어 인터페이스(예컨대, 제어 인터페이스(192))가 터치 스크린 상에 제시되게 할 수 있다. 렌더링 엔진이 제어 인터페이스가 터치 스크린 상에 제시되게 한다고도 말해질 수 있다.
도 3은 일 실시예에 따른, 제어 인터페이스가 제시되게 하는 예시적인 방법의 플로우차트(300)를 나타낸 것이다. 플로우차트(300)는, 도 1에 도시된 모바일 디바이스(100)와 같은, 모바일 디바이스에 의해 수행될 수 있다. 이러한 모바일 디바이스가 도 2에 도시된 시스템 구성요소들 중 임의의 하나 이상을 포함할 수 있다는 것을 잘 알 것이다. 예를 들면, 모바일 디바이스는 터치 스크린 센서(210), 제스처 엔진(212), 운영 체제(214), 및/또는 렌더링 엔진(216)을 포함할 수 있다. 설명을 위해, 플로우차트(300)는 도 2에 도시된 시스템 구성요소들과 관련하여 기술된다. 추가적인 구조 및 동작 실시예들이 플로우차트(300)에 관한 논의에 기초하여 관련 기술 분야(들)의 통상의 기술자에게는 명백할 것이다.
도 3에 도시된 바와 같이, 플로우차트(300)의 방법은 단계(302)에서 시작한다. 단계(302)에서, 호버링 위치에 있는 손가락(들)이 검출된다. 예를 들면, 호버링 위치에 있는 손가락(들)의 존재가 검출될 수 있다. 손가락(들)이 터치 스크린으로부터 이격 거리에 있다. 하나 이상의 손가락들이 터치 스크린을 물리적으로 터치하지 않으면서 하나 이상의 손가락들이 이격 거리(미리 결정된 것이든 신호의 수신에 기초한 것이든 간에 임의의 거리일 수 있음)만큼 터치 스크린 위쪽에서 검출될 때 호버링 위치가 생긴다. 검출은 터치 센서(예컨대, 터치 스크린 센서(210))가 하나 이상의 손가락들이 터치 스크린 근방에 있음을 인식한다는 것을 의미한다. 예시적인 구현에서, 터치 스크린 센서(210)는 호버링 위치에 있는 손가락(들)을 검출한다. 이 구현에 따르면, 손가락(들)은 터치 스크린(132)으로부터 이격 거리에 있다. 예를 들면, 손가락(들)은 터치 스크린(132) 상의 터치 스크린 센서(210)로부터 이격 거리에 있을 수 있다.
예시적인 실시예에서, 단계(302)에서 호버링 위치에 있는 손가락(들)을 검출하는 것은 호버링 모드(hover mode)에 들어가게 한다. 이 실시예에 따르면, 호버링 모드에 들어가면, 모션(들)(예컨대, 호버링 제스처(들))이 이하에서 더 상세히 기술되는 바와 같이 검출될 수 있다.
단계(304)에서, 손가락(들) 중 적어도 하나의 손가락의 모션이 검출된다. 이 모션은 터치 스크린 상에 디스플레이되는 가상 요소와 연관된 콘텐츠를 제어하도록 구성된 제어 인터페이스를 제시하라는 사용자 명령이다. 손가락(들) 중 적어도 하나의 손가락이 터치 스크린을 터치하는 일 없이 모션이 행해진다. 예시적인 구현에서, 제스처 엔진(212)은 손가락(들) 중 적어도 하나의 손가락의 모션을 검출한다.
단계(304)에서 가상 요소가 디스플레이되는 터치 스크린의 영역 상에서, 가상 요소가 그 영역에 디스플레이되는 것에 기초하여, 모션이 검출될 수 있다. 대안적으로, 단계(304)에서 가상 요소가 터치 스크린 상의 어디에 디스플레이되는지에 관계없이, 터치 스크린의 영역 상에서 모션이 검출될 수 있다. 가상 요소의 예들은 창(예컨대, 콘텐츠가 디스플레이되는 또는 디스플레이될 창); 아이콘; 가상 버튼; 사진; 그림(drawing); 텍스트 문서(예컨대, 이메일); 및 지도(또는 그 상의 관심 지점), 노래, 영화, 또는 컴퓨터 프로그램(예컨대, 그래픽 편집 프로그램, 워드 프로세싱 프로그램, 이메일 프로그램, 지도 프로그램, 미디어 플레이어 등)과 같은, 아이템(item)의 표현(이들로 제한되지 않음)을 포함한다. 가상 요소와 연관된 콘텐츠는 가상 요소에 디스플레이되는 콘텐츠일 수 있지만, 예시적인 실시예들의 범주가 이와 관련하여 제한되지 않는다. 콘텐츠의 예들은 미디어 콘텐츠(예컨대, 오디오, 비디오, 사진(들), 또는 이들의 조합), 오디오/시각적 콘텐츠(예컨대, 사운드를 갖는 비디오), 오디오 콘텐츠, 시각적 콘텐츠 등(이들로 제한되지 않음)을 포함한다. 시각적 콘텐츠는 비텍스트 콘텐츠(non-textual content)(예컨대, 지도, 사진, 사운드를 갖지 않는 비디오) 및/또는 텍스트 콘텐츠를 포함할 수 있다. 앞서 언급된 예시적인 가상 요소들 및 콘텐츠 중 일부를 이용하는 예시적인 구현들이 이하에서 더 상세히 기술된다.
예시적인 실시예에서, 단계(304)는 모션이 적어도 지정된 기간 동안 행해지는 것을 검출하는 것을 포함한다. 예를 들어, 지정된 기간은 고정된(예컨대, 미리 결정된) 기간(예컨대, 0.5 초, 0.8 초, 1.0 초, 1.2 초, 1.5 초)일 수 있다. 다른 예에서, 지정된 기간은 하나 이상의 인자들에 기초하는 가변 기간일 수 있다. 이러한 인자의 예들은 사용자의 선호사항(예컨대, 선호된 기간), 사용자에 관한 과거 정보(예컨대, 사용자가 과거에 모션을 완료하는 데(예컨대, 지정된 호버링 제스처를 하는 데) 걸렸던 평균, 최대, 또는 최소 시간) 등(이들로 제한되지 않음)을 포함한다.
다른 예시적인 실시예에서, 단계(304)에서 검출된 모션은 호버링 제스처를 포함한다. 이 실시예의 일 양태에서, 단계(304)는 손가락(들) 중 적어도 하나의 손가락에 의해 수행되는 손가락 호버링 플리킹(finger hover flick)을 검출하는 것을 포함한다. 다른 양태에서, 단계(304)는 손가락(들) 중 적어도 하나의 손가락에 의해 수행되는 고속 플리킹(high-velocity flick)을 검출하는 것을 포함한다. 이 양태에 따르면, 고속 플리킹은 손가락(들) 중 적어도 하나의 손가락이 문턱 속도(threshold velocity) 이상인 속도로 이동하는 것에 의해 정의된다. 또한 이 양태에 따르면, 손가락 호버링 플리킹을 검출하는 것은 손가락(들) 중 적어도 하나의 손가락이 이동하는 속도를 측정하는 것, 이 속도를 문턱 속도와 비교하는 것, 및 이 속도가 문턱 속도 이상이라고 결정하는 것을 포함할 수 있다. 또 다른 양태에서, 단계(304)는 손가락(들) 중 적어도 하나의 손가락에 의해 수행되는 손가락 호버링 패닝을 검출하는 것을 포함한다. 예를 들면, 단계(304)는 손가락(들) 중 적어도 하나의 손가락이 터치 스크린에 대해 지정된(예컨대, 미리 결정된) 방향으로 움직이는 것에 기초하여 손가락 호버링 패닝을 검출하는 것을 포함할 수 있다. 또 다른 양태에서, 단계(304)는 손가락(들) 중 적어도 하나의 손가락에 의해 수행되는 손가락 호버링 원 그리기를 검출하는 것을 포함한다.
다른 양태에서, 손가락(들) 중 적어도 하나의 손가락은 복수의 손가락들(즉, 다수의 손가락들)을 포함한다. 예를 들어, 단계(304)는 복수의 손가락들이 함께 이동되는 것(예컨대, 서로 핀치되는 것)을 검출하는 것을 포함할 수 있다. 다른 예에서, 단계(304)는 복수의 손가락들이 떨어져 이동되는 것을 검출하는 것을 포함할 수 있다.
단계(304)와 관련하여 앞서 기술된 예시적인 호버링 제스처들은 예시를 위해 제공되고, 제한하는 것으로 의도되어 있지 않다. 단계(304)에서 검출되는 모션이 모션을 수반하는 임의의 적당한 호버링 제스처를 포함할 수 있다는 것을 잘 알 것이다.
단계(306)에서, 모션에 기초하여 제어 인터페이스가 터치 스크린 상에 제시되게 된다. 예시적인 구현에서, 운영 체제(214) 및/또는 렌더링 엔진(216)은 모션에 기초하여 제어 인터페이스가 터치 스크린(132) 상에 제시되게 한다.
단계(306)에서 제어 인터페이스가 제시되게 하는 것은 다양한 방식들 중 임의의 방식으로 수행될 수 있다. 제1 예시적인 실시예에서, 단계(306)는 제어 인터페이스가 터치 스크린 상에 보여지지 않는 제1 상태로부터 제어 인터페이스가 터치 스크린 상에 보여지는 제2 상태로 천이하는 것을 포함한다. 이 실시예의 일 양태에서, 천이는 매끄럽다. 이 양태에 따르면, 천이가 사용자에게 연속적(예컨대, 제1 상태로부터 제2 상태로의 천이에 중단 또는 일시 중지가 없음)인 것처럼 보일 수 있다. 그에 따라, 제어 인터페이스가 터치 스크린 상에서 서서히 보이게 될 수 있다. 다른 양태에서, 천이가 주기적이고, 제1 상태와 제2 상태 사이에 하나 이상의 개별 중간 상태들을 포함한다. 이 양태에 따르면, 각각의 연속적인 중간 상태는 제어 인터페이스의 점차적으로 더 큰 가시도에 의해 특징지워진다. 또한 이 양태에 따르면, 제2 상태는 하나 이상의 개별 중간 상태들 각각에 의해 특징지워지는 제어 인터페이스의 가시도보다 더 큰 제어 인터페이스의 가시도에 의해 특징지워진다. 또 다른 양태에서, 천이는 비교적 짧은 지속기간(예컨대, 1.0 초 이하의 지속기간, 0.8 초 이하, 0.6 초 이하, 0.4 초 이하의 지속기간 등)을 갖는다. 또 다른 양태에서, 천이는 비교적 긴 지속기간(예컨대, 1.5 초 이상의 지속기간, 2.0 초 이상의 지속기간, 2.5 초 이상의 지속기간, 3.0 초 이상의 지속기간 등)을 갖는다.
제2 예시적인 실시예에서, 단계(306)는 제어 인터페이스를 제어 인터페이스의 한 부분이 터치 스크린 상에 보여지는 제1 상태로부터 그 부분보다 더 큰 제어 인터페이스의 범위(예컨대, 제어 인터페이스 전체)가 터치 스크린 상에 보여지는 제2 상태로 변화시키는 것을 포함한다. 제어 인터페이스의 그 부분은 제어 인터페이스의 전부보다 작다. 예를 들면, 터치 스크린 상에 디스플레이되는 제어 인터페이스의 비율은 0 초과인 제1 비율(예컨대, 0.01, 2.2%, 1/20, 10% 등)로부터 제1 비율 초과인 제2 비율(예컨대, 9/10, 0.963, 100%)로 증가될 수 있다.
제3 예시적인 실시예에서, 단계(306)는 제어 인터페이스를 제어 인터페이스가 부분적으로 투명한 제1 상태로부터 제어 인터페이스가 불투명한 제2 상태로 변화시키는 것을 포함한다. 예를 들어, 제어 인터페이스의 불투명도가 0 초과인 제1 불투명도(예컨대, 10%)로부터 100%의 제2 불투명도로 증가될 수 있다. 다른 예에서, 제어 인터페이스의 투명도가 100% 미만인 제1 투명도(예컨대, 90%)로부터 0%의 제2 투명도로 감소될 수 있다.
제4 예시적인 실시예에서, 단계(306)는 제어 인터페이스를 제1 상태로부터 제2 상태로 변화시키는 것을 포함한다. 제1 상태에서, 제어 인터페이스는 제1 투명도를 제공하기 위해 부분적으로 투명하다. 제2 상태에서, 제어 인터페이스는 제1 투명도 미만인 제2 투명도를 제공하기 위해 부분적으로 투명하다. 제1 투명도 및 제2 투명도 각각은 0% 초과 100% 미만이다.
불투명도와 투명도가 역관계에 있다는 것을 잘 알 것이다. 예를 들면, 투명도가 0%이면, 대응하는 불투명도는 100%이다. 투명도가 100%이면, 대응하는 불투명도는 0%이다. 앞서 기술된 제4 예시적인 실시예에 따르면, 제어 인터페이스의 불투명도가 0 초과인 제1 불투명도(예컨대, 5%)로부터 제1 불투명도 초과 100% 미만인 제2 불투명도(예컨대, 99%)로 증가될 수 있다. 이 예에 따르면, 제1 불투명도는 제1 투명도에 대응하고, 제2 불투명도는 제2 투명도에 대응한다. 그에 따라, 불투명도를 5%로부터 99%로 증가시키는 것은 투명도를 95%로부터 1%로 감소시키는 것과 동등하다. 본 명세서에서 언급되는 예시적인 불투명도 및 투명도 값들이 예시를 위해 제공되고 제한하는 것으로 의도되어 있지 않다는 것을 잘 알 것이다. 투명도 또는 불투명도는 임의의 적당한 값일 수 있다.
단계(306)에서 제어 인터페이스가 제시되게 하는 앞서 기술된 예시적인 방식들은 예시를 위해 제공되고 제한하는 것으로 의도되어 있지 않다. 제어 인터페이스가 제시되게 하는 임의의 적당한 기법이 단계(306)에서 이용될 수 있다. 예를 들면, 터치 스크린 상에서의 제어 인터페이스의 해상도가 증가될 수 있고; 터치 스크린 상에서의 제어 인터페이스의 콘트라스트가 증가될 수 있으며, 기타일 수 있다.
일부 예시적인 실시예들에서, 플로우차트(300)의 하나 이상의 단계들(302, 304, 및/또는 306)이 수행되지 않을 수 있다. 더욱이, 단계들(302, 304, 및/또는 306) 이외의 또는 그 대신의 단계들이 수행될 수 있다. 예를 들면, 예시적인 실시예에서, 플로우차트(300)의 방법은 손가락(들)이 호버링 위치로부터 옮겨간 것을 검출하는 것을 포함한다. 이 실시예에 따르면, 손가락(들)이 호버링 위치로부터 옮겨간 것에 기초하여 터치 스크린 상에 제어 인터페이스를 제시하는 것이 중단되게 된다. 예를 들면, 제어 인터페이스가 터치 스크린의 가장자리로 또는 터치 스크린을 벗어나 슬라이딩하거나, 덜 불투명하게 되거나(예컨대, 서서히 사라지거나), 기타일 수 있다.
플로우차트(300)의 방법에 대한 가능한 사용들을 보여주기 위해 선택된 예시적인 구현들이 이제부터 기술될 것이다. 제1 예시적인 구현에서, 가상 요소는 지도이다. 이 구현에 따르면, 단계(304)에서 검출되는 손가락(들) 중 적어도 하나의 손가락의 모션에 기초하여, 사용자가 지도 상의 위치에 대해 줌인 및/또는 줌아웃할 수 있게 하는 컨트롤(들)을 가지는 제어 인터페이스가 단계(306)에서 터치 스크린 상에 제시되게 된다. 예를 들면, 제어 인터페이스는 사용자가 위치에 대한 배율을 증가시키기 위해 가상 스위치를 위로(또는 오른쪽으로) 슬라이딩할 수 있게 하고 그리고/또는 위치에 대한 배율을 감소시키기 위해 가상 스위치를 아래로(또는 왼쪽으로) 슬라이딩할 수 있게 하는 줌 슬라이더 컨트롤을 포함할 수 있다. 앞서 언급된 예시적인 방향들은 예시를 위한 것이며 제한하는 것으로 의도되어 있지 않다. 줌 슬라이더 컨트롤은 가상 스위치가 배율을 증가 또는 감소시키기 위해 임의의 적당한 축을 따라 임의의 적당한 방향으로 슬라이딩될 수 있도록 구성될 수 있다.
제2 예시적인 구현에서, 가상 요소는 미디어 콘텐츠(예컨대, 노래 또는 비디오)의 표현 또는 이러한 콘텐츠를 재생할 수 있는 미디어 플레이어의 표현이다. 이 구현에 따르면, 사용자가 미디어 콘텐츠를 제어할 수 있게 하는 컨트롤(들)을 가지는 제어 인터페이스가 단계(306)에서 터치 스크린 상에 제시되게 된다. 예를 들어, 제어 인터페이스는 셔틀 컨트롤(shuttle control)을 포함할 수 있다. 셔틀 컨트롤은 사용자가 미디어 콘텐츠를 프레임 단위로 이동시킬 수 있게 하고, 미디어 콘텐츠가 빨리 감기 및/또는 되감기되어야 하는 속도를 제어(예컨대, 설정)할 수 있게 하며, 기타를 할 수 있게 한다. 다른 예에서, 제어 인터페이스는 사용자가 미디어 콘텐츠에서의 원하는 지점 또는 프레임으로 빨리 감기 및/또는 되감기하기 위해 스위치를 축을 따라 드래그할 수 있게 하는 드래그 슬라이더 컨트롤(drag slider control)을 포함할 수 있다. 예를 들면, 스위치를 오른쪽으로 드래그하는 것은 미디어 콘텐츠를 현재 재생 중인 미디어 콘텐츠의 지점 또는 프레임으로부터 빨리 감기할 수 있다. 스위치를 왼쪽으로 드래그하는 것은 미디어 콘텐츠를 현재 재생 중인 미디어 콘텐츠의 지점 또는 프레임으로부터 되감기할 수 있다. 드래그 슬라이더 컨트롤이 스위치가 미디어 콘텐츠를 빨리 감기 또는 되감기하기 위해 임의의 적당한 축을 따라 임의의 적당한 방향으로 슬라이딩될 수 있도록 구성될 수 있다는 것을 잘 알 것이다.
제3 예시적인 구현에서, 가상 요소는 사용자 인터페이스이다. 이 구현에 따르면, 사용자가 사용자 인터페이스에 디스플레이되는 콘텐츠를 추가, 제거 및/또는 변경할 수 있게 하는 사용자 인터페이스의 크롬(chrome)(예컨대, 애플리케이션 표시줄(application bar) 또는 애플리케이션 트레이(application tray))으로부터의 아이템이 단계(306)에서 터치 스크린 상에 제시되게 된다.
제4 예시적인 구현에서, 가상 요소는 메시지(예컨대, 이메일, 단문 메시지 서비스(short message service, SMS), 인스턴트 메시지(instant message, IM) 등), 이러한 메시지들의 목록, 또는 이러한 메시지들의 전송을 관리하는 메시징 애플리케이션의 표현이다. 이 구현의 일 양태에서, 단계(304)에서 검출되는 손가락(들) 중 적어도 하나의 손가락의 모션에 기초하여, 사용자가 메시지에 대해 동작들(예컨대, 전달, 답신, 삭제)을 수행할 수 있게 하는 컨트롤(들)을 가지는 제어 인터페이스가 단계(306)에서 터치 스크린 상에 제시되게 된다.
이 구현의 다른 양태에서, 모션에 기초하여 단계(306)에서 소프트 입력 패널(soft input panel, SIP)(예컨대, 가상 키보드)이 터치 스크린 상에 제시되게 된다. 예를 들면, 메시지와 연관된 기록(history)이 터치 스크린 상에 디스플레이될 수 있다. 단계(304)에서 모션이 검출될 때, 사용자가 메시지에 텍스트를 타이핑할 수 있도록 단계(306)의 결과로서 SIP가 터치 스크린 상에 제시될 수 있다. 사용자가 자신의 손가락들을 (예컨대, 지정된 기간 동안) SIP로부터 멀어지는 쪽으로 움직일 때, SIP의 제시가 중단될 수 있다. 예를 들면, SIP가 터치 스크린으로부터 사라지고, 스크린의 가장자리로 이동하며, 덜 불투명하게 되고, 기타일 수 있으며, 이는 사용자가 기록을 볼 수 있게 할 수 있다. 사용자가 자신의 손가락들을 SIP가 제시되었던 곳의 근방으로 다시 움직일 때, SIP가 터치 스크린 상에 다시 제시될 수 있고, 기타가 행해질 수 있다.
제5 예시적인 구현에서, 가상 요소는 인터넷 브라우저의 표현이다. 이 구현에 따르면, 사용자가 브라우저에 디스플레이되는 콘텐츠를 제어할 수 있게 하는 컨트롤(들)을 가지는 제어 인터페이스가 단계(306)에서 터치 스크린 상에 제시되게 된다. 예를 들어, 제어 인터페이스는 웹 페이지들 간에(예컨대, 하나의 웹 페이지로부터 다른 웹 페이지로) 이동(navigate)하기 위한 컨트롤(들)을 포함할 수 있다. 다른 예에서, 콘텐츠가 미디어 콘텐츠이면, 제어 인터페이스는 미디어 콘텐츠를 제어하기 위한 셔틀 컨트롤, 드래그 슬라이더 컨트롤 등을 포함할 수 있다.
제6 예시적인 구현에서, 가상 요소는 카메라의 가상 뷰포트(virtual viewport) 또는 카메라에 의해 포착된 영상의 표현이다. 이 구현에 따르면, 사용자가 영상 및/또는 그와 연관된 다른 영상(들)의 표현에서의 콘텐츠를 제어할 수 있게 하는 컨트롤(들)을 가지는 제어 인터페이스가 단계(306)에서 터치 스크린 상에 제시되게 된다. 예를 들면, 제어 인터페이스는 사용자가 영상(들) 내의 객체(들)에 대해 줌인 및/또는 줌아웃할 수 있게 하는, 카메라의 플래시를 켜고 그리고/또는 끄게 할 수 있는, 카메라의 비디오 모드를 켜고 그리고/또는 끄게 할 수 있는, 영상(들)에 대해 사용될 하나 이상의 필터들 및/또는 렌즈 유형을 선택할 수 있게 하는, 기타를 할 수 있게 하는 컨트롤(들)을 포함할 수 있다.
도 4 내지 도 17은 실시예들에 따른, 터치 기반 디바이스(도 1에 도시된 모바일 디바이스(102) 등)의 다양한 예시적인 상태들을 나타낸 블록도이다. 도 4 내지 도 11은 플로우차트(300)의 단계(304)와 관련하여 앞서 기술된 바와 같이 모션을 검출하기 전에 일어날 수 있는 다양한 상태들을 나타낸 것이다. 도 12 내지 도 17은 플로우차트(300)의 단계(306)와 관련하여 앞서 기술된 바와 같이 제어 인터페이스가 제시되게 하는 것의 결과로서 일어날 수 있는 다양한 상태들을 나타낸 것이다.
도 4는 터치 기반 디바이스(400)의 터치 스크린(402)이 가상 요소(404)를 디스플레이하는 터치 기반 디바이스(400)의 상태를 나타낸 것이다. 가상 요소(404)와 연관된 콘텐츠를 제어하도록 구성된 제어 인터페이스가 터치 스크린(402) 상에 보여지지 않는다(예컨대, 디스플레이되지 않는다).
도 5는 터치 기반 디바이스(500)의 터치 스크린(502)이 가상 요소(504)를 디스플레이하는 터치 기반 디바이스(500)의 상태를 나타낸 것이다. 가상 요소(504)와 연관된 콘텐츠를 제어하도록 구성될 수 있는 제어 인터페이스(506)가 터치 스크린(502) 상에 부분적으로 보여진다. 제어 인터페이스(506)의 한 부분이 예시를 위해 터치 스크린(502)의 하단에 의해 클리핑되는 것으로 도시되어 있고 제한하는 것으로 의도되어 있지 않다. 제어 인터페이스(506)의 부분(들)이 터치 스크린(502)의 임의의 하나 이상의 측면들을 따라 클리핑될 수 있거나 터치 스크린(502)의 하나 이상의 가상 요소(들) 뒤에 숨겨져 있을 수 있다는 것을 잘 알 것이다. 가상 요소(504)와 제어 인터페이스(506)가 도 5에서 비중첩(non-overlapping)이지만(즉, 중첩되지 않지만), 예시적인 실시예들의 범주가 (도 6에서 보게 될 것인 바와 같이) 이와 관련하여 제한되지 않는다.
도 6은 터치 기반 디바이스(600)의 터치 스크린(602)이 가상 요소(604)를 디스플레이하는 터치 기반 디바이스(600)의 상태를 나타낸 것이다. 제어 인터페이스(606)가 터치 스크린(602) 상에 부분적으로 보여진다. 도 6에 도시된 상태는, 도 6에서의 가상 요소(604)와 제어 인터페이스(606)가 부분적으로 중첩된다는 것을 제외하고는, 도 5에 도시된 상태와 유사하다. 도 6에 도시된 바와 같이, 제어 인터페이스(606)의 전부보다 작은 것(less than all)이 가상 요소(604)와 중첩된다.
도 7은 터치 기반 디바이스(700)의 터치 스크린(702)이 가상 요소(704)를 디스플레이하는 터치 기반 디바이스(700)의 상태를 나타낸 것이다. 제어 인터페이스(706) 전체가 터치 스크린(702) 상에 보여진다. 제어 인터페이스(706)가, 그의 파선 외측 경계에 의해 나타낸 바와 같이, 도 7에 부분적으로 투명한 것으로 보여지고 있다. 제어 인터페이스(706)의 외측 경계가 가상 요소(704)의 외측 경계 내에 포함되도록 제어 인터페이스(706)가 가상 요소(704)와 완전히 중첩된다.
도 8은 터치 기반 디바이스(800)의 터치 스크린(802)이 가상 요소(804)를 디스플레이하는 터치 기반 디바이스(800)의 상태를 나타낸 것이다. 제어 인터페이스(806) 전체가 터치 스크린(802) 상에 보여진다. 제어 인터페이스(806)가, 그의 파선 외측 경계에 의해 나타낸 바와 같이, 도 8에 부분적으로 투명한 것으로 보여지고 있다. 도 8에 도시된 상태는, 도 8에서의 가상 요소(804)와 제어 인터페이스(806)가 중첩되지 않는다는 것을 제외하고는, 도 7에 도시된 상태와 유사하다.
도 9는 터치 기반 디바이스(900)의 터치 스크린(902)이 가상 요소(904)를 디스플레이하는 터치 기반 디바이스(900)의 상태를 나타낸 것이다. 제어 인터페이스(906)가 터치 스크린(902) 상에 부분적으로 보여진다. 제어 인터페이스(906)가, 그의 파선 외측 경계에 의해 나타낸 바와 같이, 도 9에 부분적으로 투명한 것으로 보여지고 있다. 도 9에 도시된 상태는, 도 9에서의 제어 인터페이스(906)가 터치 스크린(902) 상에 부분적으로 보여진다는 것을 제외하고는, 도 8에 도시된 상태와 유사하다. 제어 인터페이스(906)의 한 부분이 예시를 위해 터치 스크린(902)의 하단에 의해 클리핑되는 것으로 도시되어 있고 제한하는 것으로 의도되어 있지 않다.
도 10은 터치 기반 디바이스(1000)의 터치 스크린(1002)이 가상 요소(1004)를 디스플레이하는 터치 기반 디바이스(1000)의 상태를 나타낸 것이다. 제어 인터페이스(1006) 전체가 터치 스크린(1002) 상에 보여진다. 제어 인터페이스(1006)가, 그의 파선 외측 경계에 의해 나타낸 바와 같이, 도 10에 부분적으로 투명한 것으로 보여지고 있다. 도 10에 도시된 상태는, 도 10에서의 가상 요소(1004)와 제어 인터페이스(1006)가 부분적으로 중첩된다는 것을 제외하고는, 도 8에 도시된 상태와 유사하다.
도 11은 터치 기반 디바이스(1100)의 터치 스크린(1102)이 가상 요소(1104)를 디스플레이하는 터치 기반 디바이스(1100)의 상태를 나타낸 것이다. 제어 인터페이스(1106)가 터치 스크린(1102) 상에 부분적으로 보여진다. 제어 인터페이스(1106)가, 그의 파선 외측 경계에 의해 나타낸 바와 같이, 도 11에 부분적으로 투명한 것으로 보여지고 있다. 도 11에 도시된 상태는, 도 11에서의 가상 요소(1104)와 제어 인터페이스(1106)가 부분적으로 중첩된다는 것을 제외하고는, 도 9에 도시된 상태와 유사하다.
도 12는 터치 기반 디바이스(1200)의 터치 스크린(1202)이 가상 요소(1204)를 디스플레이하는 터치 기반 디바이스(1200)의 상태를 나타낸 것이다. 모션 표시 라인들(1212)로 나타낸 바와 같은, 손가락(들)(1210)의 모션에 기초하여 제어 인터페이스(1206)가 터치 스크린(1202) 상에 제시되게 된다. 화살표(1208)로 나타낸 바와 같이, 제어 인터페이스(1206)가 터치 스크린 상에 완전히 보이게 움직이는 것으로 도시되어 있다.
제어 인터페이스(1206)가 예시를 위해 터치 스크린의 하단으로부터 완전히 보이게 움직이는 것으로 도시되어 있고 제한하는 것으로 의도되어 있지 않다. 제어 인터페이스(1206)가 터치 스크린(1202)의 임의의 측면 및/또는 터치 스크린(1202)을 규정하는 평면에서 임의의 각도로부터 완전히 보이게 이동될 수 있다는 것을 잘 알 것이다. 제어 인터페이스(1206)가 꼭 보이게 움직일 필요가 없다는 것도 또한 잘 알 것이다. 예를 들어, 제어 인터페이스(1206)가 (예컨대, 제어 인터페이스(1206)가 보이지 않는 상태 또는 제어 인터페이스(1206)가 부분적으로 보여지는 그리고/또는 부분적으로 투명한 상태로부터) 터치 스크린(1202)의 외측 경계와 접촉하는 일 없이 터치 스크린(1202) 상에 전체적으로 나타날 수 있다. 이 예에 따르면, 제어 인터페이스(1206)가 터치 스크린(1202) 상에 서서히 보일 수 있다.
제어 인터페이스(1206)의 외측 경계가 가상 요소(1204)의 외측 경계 내에 포함되도록 제어 인터페이스(1206)가 가상 요소(1204)와 완전히 중첩되지만, (도 13 및 도 14에서 보게 될 것인 바와 같이) 예시적인 실시예들의 범주가 이와 관련하여 제한되지 않는다.
도 13은 터치 기반 디바이스(1300)의 터치 스크린(1302)이 가상 요소(1304)를 디스플레이하는 터치 기반 디바이스(1300)의 상태를 나타낸 것이다. 화살표(1308)로 나타낸 바와 같이, 제어 인터페이스(1306)가 터치 스크린(1302) 상에 제시되게 된다. 제어 인터페이스(1306) 전체가 터치 스크린(1302) 상에 보여진다. 도 13에 도시된 상태는, 도 13에서의 가상 요소(1304)와 제어 인터페이스(1306)가 중첩되지 않는다는 것을 제외하고는, 도 12에 도시된 상태와 유사하다.
도 14는 터치 기반 디바이스(1400)의 터치 스크린(1402)이 가상 요소(1404)를 디스플레이하는 터치 기반 디바이스(1400)의 상태를 나타낸 것이다. 화살표(1408)로 나타낸 바와 같이, 제어 인터페이스(1406)가 터치 스크린(1402) 상에 제시되게 된다. 제어 인터페이스(1406) 전체가 터치 스크린(1402) 상에 보여진다. 도 14에 도시된 상태는, 도 14에서의 가상 요소(1404)와 제어 인터페이스(1406)가 부분적으로 중첩된다는 것을 제외하고는, 도 12에 도시된 상태와 유사하다.
도 15는 터치 기반 디바이스(1500)의 터치 스크린(1502)이 가상 요소(1504)를 디스플레이하는 터치 기반 디바이스(1500)의 상태를 나타낸 것이다. 모션에 기초하여 제어 인터페이스(1506)가 터치 스크린(1502) 상에 제시되게 된다. 제어 인터페이스(1506) 전체가 터치 스크린(1502) 상에 보여진다. 도 15에 도시된 상태는, 도 15에서의 제어 인터페이스(1506)가, 그의 파선 외측 경계로 나타낸 바와 같이, 부분적으로 투명하다는 것을 제외하고는, 도 12에 도시된 상태와 유사하다. 도 15에 도시된 상태는, 도 7에 도시된 제어 인터페이스(706)가 투명도가 도 15에 도시된 제어 인터페이스(1506)의 투명도보다 더 크다는 것을 제외하고는, 도 7에 도시된 상태와 유사하다. 그에 따라, 도 7에 도시된 제어 인터페이스(706)의 불투명도는 도 15에 도시된 제어 인터페이스(1506)의 불투명도보다 작다.
도 16은 터치 기반 디바이스(1600)의 터치 스크린(1602)이 가상 요소(1604)를 디스플레이하는 터치 기반 디바이스(1600)의 상태를 나타낸 것이다. 모션에 기초하여 제어 인터페이스(1606)가 터치 스크린(1602) 상에 제시되게 된다. 제어 인터페이스(1606) 전체가 터치 스크린(1602) 상에 보여진다. 도 16에 도시된 상태는, 도 16에서의 제어 인터페이스(1606)가, 그의 파선 외측 경계로 나타낸 바와 같이, 부분적으로 투명하다는 것을 제외하고는, 도 13에 도시된 상태와 유사하다. 도 16에 도시된 상태는, 도 8에 도시된 제어 인터페이스(806)가 투명도가 도 16에 도시된 제어 인터페이스(1606)의 투명도보다 더 크다는 것을 제외하고는, 도 8에 도시된 상태와 유사하다. 그에 따라, 도 8에 도시된 제어 인터페이스(806)의 불투명도는 도 16에 도시된 제어 인터페이스(1606)의 불투명도보다 작다.
도 17은 터치 기반 디바이스(1700)의 터치 스크린(1702)이 가상 요소(1704)를 디스플레이하는 터치 기반 디바이스(1700)의 상태를 나타낸 것이다. 모션에 기초하여 제어 인터페이스(1706)가 터치 스크린(1702) 상에 제시되게 된다. 제어 인터페이스(1706) 전체가 터치 스크린(1702) 상에 보여진다. 도 17에 도시된 상태는, 도 17에서의 제어 인터페이스(1706)가, 그의 파선 외측 경계로 나타낸 바와 같이, 부분적으로 투명하다는 것을 제외하고는, 도 14에 도시된 상태와 유사하다. 도 17에 도시된 상태는, 도 10에 도시된 제어 인터페이스(1006)가 투명도가 도 17에 도시된 제어 인터페이스(1706)의 투명도보다 더 크다는 것을 제외하고는, 도 10에 도시된 상태와 유사하다. 그에 따라, 도 10에 도시된 제어 인터페이스(1006)의 불투명도는 도 17에 도시된 제어 인터페이스(1706)의 불투명도보다 작다.
도 4 내지 도 17에 도시된 예시적인 상태들은 예시를 위한 것이며 제한하는 것으로 의도되어 있지 않다. 임의의 적당한 상태들(본 명세서에 기술되는 것들 이외의 상태들을 포함함)이 제어 인터페이스가 터치 기반 디바이스 상에 제시되게 하기 위한 본 명세서에 기술되는 예시적인 기법들에서 사용될 수 있다는 것을 잘 알 것이다.
도 18은 제어 인터페이스가 터치 기반 디바이스 상에 제시되게 하기 위해 사용될 수 있는 몇몇 호버링 입력 제스처들의 예들을 나타낸 것이다. 제1 호버링 제스처(1810)는 사용자의 손가락이 원 모양의 모션으로(in a circular motion) 움직이는 원 그리기 제스처(circle gesture)이다. 시계 방향 원 그리기 제스처는 시계 반대 방향 원 그리기 제스처와 상이하게 해석될 수 있다. 예를 들어, 시계 반대 방향 원 모양 제스처(counterclockwise circular gesture)는 시계 방향 원 모양 제스처(clockwise circular gesture)에 의해 야기되는 동작과 반대인 동작을 야기하는 것으로 해석될 수 있다(예컨대, 줌인과 줌인, 제어 인터페이스의 제시와 제시의 중단 등). 제2 호버링 제스처(1820)는 사용자의 손가락 끝이 왔다갔다하는 모션으로(in a back-and-forth motion) 움직이는 티클링 모션(tickle motion)으로서 도시되어 있다. 비록 도 18에 도시되어 있지는 않지만, 사용자의 집게 손가락이 미리 결정된 기간 초과 동안 동일한 호버링 위치에 유지되는 제3 호버링 제스처가 있다. 예를 들어, 사용자가 터치 기반 디바이스의 터치 스크린 상에서 체크 표시를 그리는 것과 같은, 다른 호버링 제스처들이 사용될 수 있다. 어쨋든, 터치 스크린으로부터의 이격 거리에서의 미리 정의된 손가락 모션들에 기초하여 다양한 호버링 제스처들이 검출될 수 있다. 다른 호버링 제스처들은 스크린을 터치하는 일 없이 빠르게 들어가기 및 나오기(quick move in and out)일 수 있다. 이와 같이, 사용자의 손가락이 미리 결정된 기간 내에 호버링 구역(hover zone)에 들어가고 그로부터 나온다. 다른 호버링 제스처는 손가락이 어떤 거리에 걸쳐 특정 최소 속도로 이동하는 것을 수반하는 고속 플리킹일 수 있다. 또 다른 호버링 제스처는 손바닥 기반 흔들기 제스처(palm-based wave gesture)이다. 이들 및 다른 호버링 제스처들은 본 명세서에 기술되는 예시적인 실시예들에 따라 제어 인터페이스가 제시되게 하는 모션을 구성할 수 있다.
도 19는 일 실시예에 따른, 제어 인터페이스의 가시도가 증가되게 하는 예시적인 방법의 플로우차트(1900)를 나타낸 것이다. 도 20은 일 실시예에 따른, 제어 인터페이스가 제시되게 하는 예시적인 방법의 플로우차트(2000)를 나타낸 것이다. 플로우차트들(1900 및 2000)은, 도 1에 도시된 모바일 디바이스(100)와 같은, 모바일 디바이스에 의해 수행될 수 있다. 이러한 모바일 디바이스가 도 2에 도시된 시스템 구성요소들 중 임의의 하나 이상을 포함할 수 있다는 것을 잘 알 것이다. 예를 들면, 모바일 디바이스는 터치 스크린 센서(210), 제스처 엔진(212), 운영 체제(214), 및/또는 렌더링 엔진(216)을 포함할 수 있다. 설명을 위해, 플로우차트들(1900 및 2000)는 도 2에 도시된 시스템 구성요소들과 관련하여 기술된다. 추가적인 구조 및 동작 실시예들이 플로우차트들(1900 및 2000)에 관한 논의에 기초하여 관련 기술 분야(들)의 통상의 기술자에게는 명백할 것이다.
도 19에 도시된 바와 같이, 플로우차트(1900)의 방법은 단계(1902)에서 시작한다. 단계(1902)에서, 호버링 위치에 있는 손가락(들)이 검출된다. 손가락(들)이 터치 스크린으로부터 이격 거리에 있다. 예시적인 구현에서, 터치 스크린 센서(210)는 호버링 위치에 있는 손가락(들)을 검출한다. 이 구현에 따르면, 손가락(들)은 터치 스크린(132)으로부터 이격 거리에 있다. 예를 들면, 손가락(들)은 터치 스크린(132) 상의 터치 스크린 센서(210)로부터 이격 거리에 있을 수 있다.
단계(1904)에서, 손가락(들) 중 적어도 하나의 손가락의 모션이 검출된다. 이 모션은 터치 스크린 상에 적어도 부분적으로 보이는 제어 인터페이스의 가시도를 증가시키라는 사용자 명령이다. 손가락(들) 중 적어도 하나의 손가락이 터치 스크린을 터치하는 일 없이 모션이 행해진다. 제어 인터페이스는 터치 스크린 상에 디스플레이되는 가상 요소와 연관된 콘텐츠를 제어하도록 구성되어 있다. 예시적인 구현에서, 제스처 엔진(212)은 손가락(들) 중 적어도 하나의 손가락의 모션을 검출한다.
예시적인 실시예에서, 단계(1904)는 모션이 적어도 지정된 기간 동안 행해지는 것을 검출하는 것을 포함한다. 다른 예시적인 실시예에서, 모션은 호버링 제스처(예컨대, 손가락 호버링 플리킹, 고속 플리킹, 손가락 호버링 패닝, 손가락 호버링 원 그리기, 손가락들이 함께 이동하는 것, 손가락들이 떨어져 이동하는 것, 손가락(들) 중 적어도 하나의 손가락을 포함하는 손을 흔들거나 스와이프하는 것 등)를 포함한다.
단계(1906)에서, 모션에 기초하여 터치 스크린 상의 제어 인터페이스의 가시도가 증가되게 된다. 예시적인 구현에서, 운영 체제(214) 및/또는 렌더링 엔진(216)은 모션에 기초하여 터치 스크린(132) 상의 제어 인터페이스의 가시도가 증가되게 한다.
단계(1906)에서 제어 인터페이스의 가시도가 증가되게 하는 것은 다양한 방식들 중 임의의 방식으로 수행될 수 있다. 제1 예시적인 실시예에서, 단계(1906)는 제어 인터페이스를 제어 인터페이스의 한 부분이 터치 스크린 상에 보여지는 제1 상태로부터 그 부분보다 더 큰 제어 인터페이스의 범위(예컨대, 제어 인터페이스 전체)가 터치 스크린 상에 보여지는 제2 상태로 변화시키는 것을 포함한다. 제어 인터페이스의 그 부분은 제어 인터페이스의 전부보다 작다.
제2 예시적인 실시예에서, 단계(1906)는 제어 인터페이스를 제어 인터페이스가 부분적으로 투명한 제1 상태로부터 제어 인터페이스가 불투명한 제2 상태로 변화시키는 것을 포함한다.
제3 예시적인 실시예에서, 단계(1906)는 제어 인터페이스를 제1 상태로부터 제2 상태로 변화시키는 것을 포함한다. 이 실시예에 따르면, 제1 상태에서, 제어 인터페이스는 제1 투명도를 제공하기 위해 부분적으로 투명하다. 또한 이 실시예에 따르면, 제2 상태에서, 제어 인터페이스는 제1 투명도 미만인 제2 투명도를 제공하기 위해 부분적으로 투명하다.
도 19의 실시예에서, 단계(1904)에서 손가락(들) 중 적어도 하나의 손가락의 모션이 검출될 때 제어 인터페이스가 터치 스크린 상에 적어도 부분적으로 보인다. 이와 같이, 단계(1906)는 제1 상태로부터 제2 상태로 천이하는 것을 포함할 수 있고, 여기서 제1 상태는 도 5 내지 도 11에 나타낸 상태들 중 임의의 상태일 수 있고, 제2 상태는 도 12 내지 도 17에 나타낸 상태들 중 임의의 상태일 수 있다. 그렇지만, 이 실시예에서, 제1 상태가 도 4에 나타낸 상태가 아닐 수 있다는 것을 잘 알 것이다. 제어 인터페이스가 도 4에서 터치 스크린 상에 보여지지 않고, 따라서 적어도 부분적으로도 터치 스크린 상에 보이지 않는다.
일부 예시적인 실시예들에서, 플로우차트(1900)의 하나 이상의 단계들(1902, 1904, 및/또는 1906)이 수행되지 않을 수 있다. 더욱이, 단계들(1902, 1904, 및/또는 1906) 이외의 또는 그 대신의 단계들이 수행될 수 있다.
도 20에 도시된 바와 같이, 플로우차트(2000)의 방법은 단계(2002)에서 시작한다. 단계(2002)에서, 호버링 위치에 있는 손가락(들)이 검출된다. 손가락(들)이 터치 스크린으로부터 이격 거리에 있다. 예시적인 구현에서, 터치 스크린 센서(210)는 호버링 위치에 있는 손가락(들)을 검출한다. 이 구현에 따르면, 손가락(들)은 터치 스크린(132)으로부터 이격 거리에 있다. 예를 들면, 손가락(들)은 터치 스크린(132) 상의 터치 스크린 센서(210)로부터 이격 거리에 있을 수 있다.
단계(2004)에서, 터치 스크린 상에 디스플레이되는 가상 요소와 연관된 콘텐츠를 제어하도록 구성된 제어 인터페이스를 제시하라는 사용자 명령이 검출된다. 사용자 명령은 손가락(들)이 적어도 지정된 기간 동안 호버링 위치에 머물러 있는 것에 의해 특징 지워진다. 사용자 명령은 손가락(들)이 적어도 지정된 기간 동안 움직이지 않은 채로 있는 것에 의해 추가로 특징 지워진다. 예시적인 구현에서, 제스처 엔진(212)은 사용자 명령을 검출한다. 예를 들면, 제스처 엔진(212)은 손가락(들)이 적어도 지정된 기간 동안 호버링 위치에 머물러 있다는 것과 손가락(들)이 적어도 지정된 기간 동안 움직이지 않은 채로 있다는 것을 검출할 수 있다.
예시적인 실시예에서, 사용자 명령이 적어도 하나의 비호버링 제스처(non-hover gesture)의 발생에 의해 추가로 특징 지워진다. 비호버링 제스처는 호버링을 포함하지 않는 제스처이다. 비호버링 제스처의 예들은 응시 제스처(예컨대, 적어도 문턱 기간 동안 응시하는 것), 보고 깜빡이기(look-and-blink) 제스처(보고 있으면서 깜빡이는 것), 음성 제스처(예컨대, 명령을 말하는 것) 등(이들로 제한되지 않음)을 포함한다. 예시적인 구현에서, 제스처 엔진(212)은 적어도 하나의 비호버링 제스처를 검출한다.
단계(2006)에서, 사용자 명령의 검출에 기초하여 제어 인터페이스가 터치 스크린 상에 제시되게 된다. 예시적인 구현에서, 운영 체제(214) 및/또는 렌더링 엔진(216)은 사용자 명령의 검출에 기초하여 제어 인터페이스가 터치 스크린(132) 상에 제시되게 한다.
단계(2006)에서 제어 인터페이스가 제시되게 하는 것은 다양한 방식들 중 임의의 방식으로 수행될 수 있다. 제1 예시적인 실시예에서, 단계(2006)는 제어 인터페이스가 터치 스크린 상에 보여지지 않는 제1 상태로부터 제어 인터페이스가 터치 스크린 상에 보여지는 제2 상태로 천이하는 것을 포함한다.
제2 예시적인 실시예에서, 단계(2006)는 제어 인터페이스를 제어 인터페이스의 한 부분이 터치 스크린 상에 보여지는 제1 상태로부터 그 부분보다 더 큰 제어 인터페이스의 범위(예컨대, 제어 인터페이스 전체)가 터치 스크린 상에 보여지는 제2 상태로 변화시키는 것을 포함한다. 제어 인터페이스의 그 부분은 제어 인터페이스의 전부보다 작다.
제3 예시적인 실시예에서, 단계(2006)는 제어 인터페이스를 제어 인터페이스가 부분적으로 투명한 제1 상태로부터 제어 인터페이스가 불투명한 제2 상태로 변화시키는 것을 포함한다.
제4 예시적인 실시예에서, 단계(2006)는 제어 인터페이스를 제1 상태로부터 제2 상태로 변화시키는 것을 포함한다. 이 실시예에 따르면, 제1 상태에서, 제어 인터페이스는 제1 투명도를 제공하기 위해 부분적으로 투명하다. 또한 이 실시예에 따르면, 제2 상태에서, 제어 인터페이스는 제1 투명도 미만인 제2 투명도를 제공하기 위해 부분적으로 투명하다.
도 20의 실시예에서, 단계(2006)는 제1 상태로부터 제2 상태로 천이하는 것을 포함할 수 있고, 여기서 제1 상태는 도 4 내지 도 11에 나타낸 상태들 중 임의의 상태일 수 있고, 제2 상태는 도 12 내지 도 17에 나타낸 상태들 중 임의의 상태일 수 있다.
일부 예시적인 실시예들에서, 플로우차트(2000)의 하나 이상의 단계들(2002, 2004, 및/또는 2006)이 수행되지 않을 수 있다. 더욱이, 단계들(2002, 2004, 및/또는 2006) 이외의 또는 그 대신의 단계들이 수행될 수 있다.
개시된 방법들 중 일부 방법들의 동작들이, 제시의 편의상, 특정의 순차적 순서로 기술되어 있지만, 이하에서 기재되는 특정의 표현(language)에 의해 특정의 순서가 요구되지 않는 한, 이러한 기재 방식이 재배열을 포함한다는 것을 잘 알 것이다. 예를 들어, 순차적으로 기술되는 동작들이, 어떤 경우들에서, 재배열되거나 동시에 수행될 수 있다. 더욱이, 간단함을 위해, 첨부 도면들이 개시된 방법들이 다른 방법들과 함께 사용될 수 있는 다양한 방식들을 나타내지 않을 수 있다.
도 1에 도시된 구성요소들(102), 렌더링 엔진(216), 제스처 엔진(212), 플로우차트(300), 플로우차트(1900), 및/또는 플로우차트(2000) 중 임의의 하나 이상이 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다.
예를 들어, 구성요소들(102), 렌더링 엔진(216), 제스처 엔진(212), 플로우차트(300), 플로우차트(1900), 및/또는 플로우차트(2000) 중 임의의 하나 이상이 하나 이상의 프로세서들에서 실행되도록 구성된 컴퓨터 프로그램 코드로서 구현될 수 있다.
명확함을 위해, 소프트웨어 기반 및 펌웨어 기반 구현들의 선택된 특정 양태들만이 기술되어 있다. 본 기술 분야에 널리 공지되어 있는 다른 상세들은 생략되어 있다. 예를 들어, 개시된 기술이 임의의 특정 컴퓨터 언어 또는 프로그램으로 제한되지 않는다는 것을 잘 알 것이다. 예를 들어, 개시된 기술이 C++, Java, Perl, JavaScript, Adobe Flash, 또는 임의의 다른 적당한 프로그래밍 언어로 작성된 소프트웨어 및/또는 펌웨어에 의해 구현될 수 있다.
다른 예에서, 구성요소들(102), 렌더링 엔진(216), 제스처 엔진(212), 플로우차트(300), 플로우차트(1900), 및/또는 플로우차트(2000) 중 임의의 하나 이상이 하드웨어 로직/전기 회로부로서 구현될 수 있다.
예를 들면, 일 실시예에서, 구성요소들(102), 렌더링 엔진(216), 운영 체제(214), 제스처 엔진(212), 터치 스크린 센서(210), 플로우차트(300), 플로우차트(1900), 및/또는 플로우차트(2000) 중 하나 이상이 시스템 온 칩(system-on-chip, SoC)에 구현될 수 있다. SoC는 그의 기능들을 수행하기 위해 프로세서(예컨대, 마이크로컨트롤러, 마이크로프로세서, 디지털 신호 프로세서(digital signal processor, DSP) 등), 메모리, 하나 이상의 통신 인터페이스들, 및/또는 추가적인 회로들 및/또는 임베디드 펌웨어(embedded firmware) 중 하나 이상을 포함하는 집적 회로 칩을 포함할 수 있다.
III. 예시적인 컴퓨터 시스템
도 21은 실시예들이 구현될 수 있는 예시적인 컴퓨터(2100)를 나타낸 것이다. 예를 들면, 도 1에 도시된 모바일 디바이스(100)는 컴퓨터(2100)의 하나 이상의 특징들 및/또는 대안의 특징들을 포함하는 컴퓨터(2100)를 사용하여 구현될 수 있다. 컴퓨터(2100)는, 예를 들어, 종래의 개인용 컴퓨터, 모바일 컴퓨터, 또는 워크스테이션 형태의 범용 컴퓨팅 디바이스일 수 있거나, 컴퓨터(2100)는 특수 목적 컴퓨팅 디바이스일 수 있다. 본 명세서에서 제공되는 컴퓨터(2100)의 설명은 예시를 위한 것이며 제한하는 것으로 의도되어 있지 않다. 관련 기술 분야(들)의 통상의 기술자라면 잘 알 것인 바와 같이, 실시예들이 추가적인 유형의 컴퓨터 시스템들에서 구현될 수 있다.
도 21에 도시된 바와 같이, 컴퓨터(2100)는 처리 유닛(2102), 시스템 메모리(2104), 및 시스템 메모리(2104)를 비롯한 다양한 시스템 구성요소들을 처리 유닛(2102)에 결합시키는 버스(2106)를 포함한다. 버스(2106)는 각종의 버스 아키텍처들 중 임의의 것을 사용하는, 메모리 버스 또는 메모리 제어기, 주변기기 버스, AGP(accelerated graphics port), 및 프로세서 또는 로컬 버스를 비롯한 몇 가지 유형의 버스 구조들 중 하나 이상을 나타낸다. 시스템 메모리(2104)는 판독 전용 메모리(ROM)(2108) 및 랜덤 액세스 메모리(RAM)(2110)를 포함한다. 기본 입출력 시스템(2112)(BIOS)은 ROM(2108)에 저장되어 있다.
컴퓨터(20)는 또한 하드 디스크로부터 판독하고 그에 기입하는 하드 디스크 드라이브(2114), 이동식 자기 디스크(2118)로부터 판독하거나 그에 기입하는 자기 디스크 드라이브(2116), 그리고 CD ROM, DVD ROM, 또는 다른 광 매체와 같은 이동식 광 디스크(2122)로부터 판독하거나 그에 기입하는 광 디스크 드라이브(2120) 중 하나 이상을 가진다. 하드 디스크 드라이브(2114), 자기 디스크 드라이브(2116), 및 광 디스크 드라이브(2120)는, 각각, 하드 디스크 드라이브 인터페이스(2124), 자기 디스크 드라이브 인터페이스(2126), 및 광 드라이브 인터페이스(2128)에 의해 버스(2106)에 연결되어 있다. 이 드라이브들 및 그와 연관된 컴퓨터 판독 가능 저장 매체는 컴퓨터에 대한 컴퓨터 판독 가능 명령어들, 데이터 구조들, 프로그램 모듈들, 및 다른 데이터의 비휘발성 저장을 제공한다. 하드 디스크, 이동식 자기 디스크 및 이동식 광 디스크가 기술되어 있지만, 플래시 메모리 카드, 디지털 비디오 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM) 등과 같은, 다른 유형의 컴퓨터 판독 가능 저장 매체들이 데이터를 저장하는 데 사용될 수 있다.
다수의 프로그램 모듈들이 하드 디스크, 자기 디스크, 광 디스크, ROM, 또는 ROM에 저장될 수 있다. 이 프로그램들은 운영 체제(2130), 하나 이상의 애플리케이션 프로그램들(2132), 다른 프로그램 모듈들(2134), 및 프로그램 데이터(2136)를 포함한다. 애플리케이션 프로그램들(2132) 또는 프로그램 모듈들(2134)은, 예를 들어, 본 명세서에 기술되는 바와 같은, 구성요소들(102), 렌더링 엔진(216), 제스처 엔진(212), 플로우차트(300)(플로우차트(300)의 임의의 단계를 포함함), 플로우차트(1900)(플로우차트(1900)의 임의의 단계를 포함함), 및/또는 플로우차트(2000)(플로우차트(2000)의 임의의 단계를 포함함) 중 임의의 하나 이상을 구현하기 위한 컴퓨터 프로그램 논리를 포함할 수 있다.
사용자는 키보드(2138) 및 포인팅 디바이스(2140)와 같은 입력 디바이스들을 통해 컴퓨터(2100)에 명령들 및 정보를 입력할 수 있다. 다른 입력 디바이스들(도시 생략)은 마이크로폰, 조이스틱, 게임 패드, 위성 안테나, 스캐너, 터치 스크린, 카메라, 가속도계, 자이로스코프 등을 포함할 수 있다. 이들 및 다른 입력 디바이스들은 종종 버스(2106)에 결합된 직렬 포트 인터페이스(2142)를 통해 처리 유닛(2102)에 연결되지만, 병렬 포트, 게임 포트 또는 USB(universal serial bus)와 같은, 다른 인터페이스들에 의해 연결될 수 있다.
디스플레이 디바이스(2144)(예컨대, 모니터)가 또한, 비디오 어댑터(2146)와 같은, 인터페이스를 통해 버스(2106)에 연결되어 있다. 디스플레이 디바이스(2144)에 부가하여, 컴퓨터(2100)는 스피커 및 프린터와 같은 다른 주변 출력 디바이스들(도시 생략)을 포함할 수 있다.
컴퓨터(2100)는 네트워크 인터페이스 또는 어댑터(2150), 모뎀(2152), 또는 네트워크를 통한 통신을 설정하기 위한 다른 수단을 통해 네트워크(2148)(예컨대, 인터넷)에 연결되어 있다. 내장형이거나 외장형일 수 있는 모뎀(2152)은 직렬 포트 인터페이스(2142)를 통해 버스(2106)에 연결된다.
본 명세서에서 사용되는 바와 같이, "컴퓨터 프로그램 매체" 및 "컴퓨터 판독 가능 저장 매체"라는 용어들은 일반적으로 하드 디스크 드라이브(2114)와 연관된 하드 디스크, 이동식 자기 디스크(2118), 이동식 광 디스크(2122)는 물론, 플래시 메모리 카드, 디지털 비디오 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM) 등과 같은 다른 매체들과 같은 매체들을 지칭하기 위해 사용된다. 이러한 컴퓨터 판독 가능 저장 매체는 통신 매체와 구별되고 그와 중복하지 않는다(통신 매체를 포함하지 않음). 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터를 반송파와 같은 피변조 데이터 신호(modulated data signal)에 구현한다. "피변조 데이터 신호"라는 용어는 신호의 특성들 중 하나 이상이 정보를 그 신호에 인코딩하는 방식으로 설정되거나 변경된 신호를 의미한다. 제한이 아닌 예로서, 통신 매체는 음향, RF, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함한다. 예시적인 실시예들은 또한 이러한 통신 매체에 관한 것이다.
앞서 살펴본 바와 같이, 컴퓨터 프로그램들 및 모듈들(애플리케이션 프로그램들(2132) 및 다른 프로그램 모듈들(2134)을 포함함)은 하드 디스크, 자기 디스크, 광 디스크, ROM, 또는 RAM에 저장될 수 있다. 이러한 컴퓨터 프로그램들은 또한 네트워크 인터페이스(2150) 또는 직렬 포트 인터페이스(2142)를 통해 수신될 수 있다. 이러한 컴퓨터 프로그램들은, 애플리케이션에 의해 실행되거나 로드될 때, 컴퓨터(2100)가 본 명세서에서 논의된 실시예들의 특징들을 구현할 수 있게 한다. 그에 따라, 이러한 컴퓨터 프로그램들은 컴퓨터(2100)의 제어기들을 나타낸다.
예시적인 실시예들은 또한 임의의 컴퓨터 사용 가능 매체 상에 저장되는 소프트웨어(예컨대, 컴퓨터 판독 가능 명령어들)를 포함하는 컴퓨터 프로그램 제품에 관한 것이다. 이러한 소프트웨어는, 하나 이상의 처리 디바이스들에서 실행될 때, 데이터 처리 디바이스(들)로 하여금 본 명세서에 기술되는 바와 같이 동작하게 한다. 실시예들은, 현재 또는 장래에 공지되는, 임의의 컴퓨터 사용 가능 또는 컴퓨터 판독 가능 매체를 이용할 수 있다. 컴퓨터 판독 가능 매체들의 예들은 RAM, 하드 드라이브, 플로피 디스크, CD ROM, DVD ROM, 집 디스크(zip disk), 테이프, 자기 저장 디바이스, 광 저장 디바이스, MEMS 기반 저장 디바이스, 나노기술 기반 저장 디바이스 등과 같은 저장 디바이스들(이들로 제한되지 않음)을 포함한다.
개시된 기술이 임의의 특정의 컴퓨터 또는 임의의 특정 유형의 하드웨어로 제한되지 않는다는 것을 잘 알 것이다. 적당한 컴퓨터들 및 하드웨어의 특정 상세들이 널리 공지되어 있으며, 본 개시 내용에 상세히 기재될 필요가 없다.
IV. 결론
다양한 실시예들이 앞서 기술되었지만, 그 실시예들이 제한이 아니라 예로서 제시되어 있다는 것을 잘 알 것이다. 본 발명의 사상 및 범주를 벗어남이 없이 형태 및 상세에 있어서의 다양한 변경들이 그에 대해 행해질 수 있다는 것이 관련 기술 분야(들)의 통상의 기술자에게는 명백할 것이다. 이와 같이, 본 발명의 폭 및 범주는 앞서 기술된 예시적인 실시예들 중 임의의 것에 의해 제한되어서는 안되고, 이하의 청구항들 및 그의 등가물들에 따라서만 한정되어야 한다.

Claims (15)

  1. 방법에 있어서,
    호버링 위치에 있는 하나 이상의 손가락들 - 상기 하나 이상의 손가락들은 터치 스크린으로부터 이격 거리에 있음 - 검출하는 단계;
    상기 하나 이상의 손가락들 중 적어도 하나의 손가락의 모션 - 상기 모션은 상기 터치 스크린 상에 디스플레이되는 가상 요소와 연관된 콘텐츠를 제어하도록 구성된 제어 인터페이스를 제시하라는 사용자 명령이고, 상기 모션은 상기 하나 이상의 손가락들 중 상기 적어도 하나의 손가락이 상기 터치 스크린을 터치하는 일 없이 행해짐 - 을 검출하는 단계; 및
    상기 모션에 기초하여 상기 제어 인터페이스가 상기 터치 스크린 상에 제시되게 하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 제어 인터페이스가 상기 터치 스크린 상에 제시되게 하는 단계는,
    상기 제어 인터페이스가 상기 터치 스크린 상에 보여지지 않는 제1 상태로부터 상기 제어 인터페이스가 상기 터치 스크린 상에 보여지는 제2 상태로 천이하는 단계를 포함하는 것인, 방법.
  3. 제1항에 있어서, 상기 제어 인터페이스가 상기 터치 스크린 상에 제시되게 하는 단계는,
    상기 제어 인터페이스를 상기 제어 인터페이스가 부분적으로 투명한 제1 상태로부터 상기 제어 인터페이스가 불투명한 제2 상태로 변화시키는 단계를 포함하는 것인, 방법.
  4. 제1항에 있어서, 상기 제어 인터페이스가 상기 터치 스크린 상에 제시되게 하는 단계는,
    상기 제어 인터페이스를 제1 상태로부터 제2 상태로 변화시키는 단계를 포함하고,
    상기 제1 상태에서, 상기 제어 인터페이스는 제1 투명도를 제공하기 위해 부분적으로 투명하며,
    상기 제2 상태에서, 상기 제어 인터페이스는 상기 제1 투명도 미만인 제2 투명도를 제공하기 위해 부분적으로 투명한 것인, 방법.
  5. 제1항에 있어서, 상기 제어 인터페이스가 상기 터치 스크린 상에 제시되게 하는 단계는,
    상기 제어 인터페이스를 상기 제어 인터페이스의 한 부분이 상기 터치 스크린 상에 보여지는 제1 상태로부터 상기 제어 인터페이스 전체가 상기 터치 스크린 상에 보여지는 제2 상태로 변화시키는 단계를 포함하고, 상기 부분은 상기 제어 인터페이스의 전부보다 작은 것인, 방법.
  6. 제1항에 있어서, 상기 모션을 검출하는 단계는,
    상기 모션이 적어도 지정된 기간 동안 행해지는 것을 검출하는 단계를 포함하는 것인, 방법.
  7. 시스템에 있어서,
    호버링 위치(hover position)에 있는 하나 이상의 손가락들 - 상기 하나 이상의 손가락들은 터치 스크린으로부터 이격 거리에 있음 - 을 검출하도록 구성된 터치 스크린 센서;
    상기 하나 이상의 손가락들의 검출에 응답하여 상기 하나 이상의 손가락들 중 적어도 하나의 손가락이 상기 터치 스크린을 터치하는 일 없이 행해지는 상기 하나 이상의 손가락들 중 상기 적어도 하나의 손가락의 모션 - 상기 모션은 상기 터치 스크린 상에 적어도 부분적으로 보이는 제어 인터페이스의 가시도(visibility)를 증가시키라는 사용자 명령이고, 상기 제어 인터페이스는 상기 터치 스크린 상에 디스플레이되는 가상 요소와 연관된 콘텐츠를 제어하도록 구성되어 있음 - 을 검출하도록 구성된 제스처 엔진; 및
    상기 모션에 기초하여 상기 터치 스크린 상의 상기 제어 인터페이스의 가시도가 증가하게 하도록 구성된 렌더링 엔진
    을 포함하는, 시스템.
  8. 제7항에 있어서, 상기 렌더링 엔진은, 상기 제어 인터페이스로 하여금 상기 제어 인터페이스가 부분적으로 투명한 제1 상태로부터 상기 제어 인터페이스가 불투명한 제2 상태로 변화시키도록 구성되어 있는 것인, 시스템.
  9. 제7항에 있어서,
    상기 렌더링 엔진은 상기 제어 인터페이스를 제1 상태로부터 제2 상태로 변화시키도록 구성되어 있고,
    상기 제1 상태에서, 상기 제어 인터페이스는 제1 투명도를 제공하기 위해 부분적으로 투명하며,;
    상기 제2 상태에서, 상기 제어 인터페이스는 상기 제1 투명도 미만인 제2 투명도를 제공하기 위해 부분적으로 투명한 것인, 시스템.
  10. 제7항에 있어서, 상기 렌더링 엔진은 상기 제어 인터페이스로 하여금 상기 제어 인터페이스의 한 부분이 상기 터치 스크린 상에 보여지는 제1 상태로부터 상기 제어 인터페이스 전체가 상기 터치 스크린 상에 보여지는 제2 상태로 변화시키도록 구성되어 있고, 상기 부분은 상기 제어 인터페이스의 전부보다 작은 것인, 시스템.
  11. 프로세서 기반 시스템이 제어 인터페이스가 터치 스크린 상에 제시되게 할 수 있게 하기 위한 컴퓨터 프로그램 논리가 기록되어 있는 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품에 있어서,
    상기 프로세서 기반 시스템이 호버링 위치에 있는 하나 이상의 손가락들 - 상기 하나 이상의 손가락들은 상기 터치 스크린으로부터 이격 거리에 있음 - 을 검출할 수 있게 하기 위한 제1 프로그램 논리 모듈;
    상기 프로세서 기반 시스템이 상기 터치 스크린 상에 디스플레이되는 가상 요소와 연관된 콘텐츠를 제어하도록 구성된 상기 제어 인터페이스를 제시하라는 사용자 명령 - 상기 사용자 명령은 상기 하나 이상의 손가락들이 적어도 지정된 기간 동안 상기 호버링 위치에 머물러 있는 것에 의해 특징 지워지고, 상기 하나 이상의 손가락들이 적어도 상기 지정된 기간 동안 움직이지 않은 채로 있는 것에 의해 추가로 특징 지워짐 - 을 검출할 수 있게 하기 위한 제2 프로그램 논리 모듈; 및
    상기 프로세서 기반 시스템이 상기 사용자 명령의 검출에 기초하여 상기 제어 인터페이스가 상기 터치 스크린 상에 제시되게 할 수 있게 하기 위한 제3 프로그램 논리 모듈
    을 포함하는, 컴퓨터 프로그램 제품.
  12. 제11항에 있어서, 상기 제3 프로그램 논리 모듈은,
    상기 프로세서 기반 시스템이 상기 제어 인터페이스로 하여금 상기 터치 스크린 상에 보여지지 않는 제1 상태로부터 상기 제어 인터페이스가 상기 터치 스크린 상에 보여지는 제2 상태로의 천이를 야기할 수 있게 하기 위한 논리를 포함하는 것인, 컴퓨터 프로그램 제품.
  13. 제11항에 있어서, 상기 제3 프로그램 논리 모듈은,
    상기 프로세서 기반 시스템이 상기 제어 인터페이스로 하여금 상기 제어 인터페이스가 부분적으로 투명한 제1 상태로부터 상기 제어 인터페이스가 불투명한 제2 상태로 변화시킬 수 있게 하기 위한 논리를 포함하는 것인, 컴퓨터 프로그램 제품.
  14. 제11항에 있어서, 상기 제3 프로그램 논리 모듈은,
    상기 프로세서 기반 시스템이 상기 제어 인터페이스로 하여금 제1 상태로부터 제2 상태로 변화시킬 수 있게 하기 위한 논리를 포함하고,
    상기 제1 상태에서, 상기 제어 인터페이스는 제1 투명도를 제공하기 위해 부분적으로 투명하며,
    상기 제2 상태에서, 상기 제어 인터페이스는 상기 제1 투명도 미만인 제2 투명도를 제공하기 위해 부분적으로 투명한 것인, 컴퓨터 프로그램 제품.
  15. 제11항에 있어서, 상기 제3 프로그램 논리 모듈은,
    상기 프로세서 기반 시스템이 상기 제어 인터페이스로 하여금 상기 제어 인터페이스의 한 부분이 상기 터치 스크린 상에 보여지는 제1 상태로부터 상기 제어 인터페이스 전체가 상기 터치 스크린 상에 보여지는 제2 상태로 변화시킬 수 있게 하기 위한 논리를 포함하고, 상기 부분은 상기 제어 인터페이스의 전부보다 작은 것인, 컴퓨터 프로그램 제품.
KR1020167010272A 2013-09-24 2014-09-19 모션 또는 그의 부재에 기초한 터치 기반 디바이스 상의 제어 인터페이스의 제시 KR102343783B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/035,888 US9645651B2 (en) 2013-09-24 2013-09-24 Presentation of a control interface on a touch-enabled device based on a motion or absence thereof
US14/035,888 2013-09-24
PCT/US2014/056423 WO2015047880A1 (en) 2013-09-24 2014-09-19 Presentation of a control interface on a touch-enabled device based on a motion or absence thereof

Publications (2)

Publication Number Publication Date
KR20160060109A true KR20160060109A (ko) 2016-05-27
KR102343783B1 KR102343783B1 (ko) 2021-12-24

Family

ID=51663494

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167010272A KR102343783B1 (ko) 2013-09-24 2014-09-19 모션 또는 그의 부재에 기초한 터치 기반 디바이스 상의 제어 인터페이스의 제시

Country Status (17)

Country Link
US (2) US9645651B2 (ko)
EP (1) EP3049908B1 (ko)
JP (1) JP2016534483A (ko)
KR (1) KR102343783B1 (ko)
CN (1) CN105683893B (ko)
AU (1) AU2014327146A1 (ko)
BR (1) BR112016004430A8 (ko)
CA (1) CA2922493C (ko)
CL (1) CL2016000678A1 (ko)
HK (1) HK1223713A1 (ko)
IL (1) IL244367A0 (ko)
MX (1) MX356479B (ko)
PH (1) PH12016500257A1 (ko)
RU (1) RU2016110571A (ko)
SG (2) SG11201601827UA (ko)
WO (1) WO2015047880A1 (ko)
ZA (1) ZA201600966B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021157997A1 (ko) * 2020-02-07 2021-08-12 삼성전자 주식회사 사용자 입력을 처리하는 전자 장치 및 방법

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9563890B2 (en) * 2002-10-01 2017-02-07 Dylan T X Zhou Facilitating mobile device payments using product code scanning
US9576285B2 (en) * 2002-10-01 2017-02-21 Dylan T X Zhou One gesture, one blink, and one-touch payment and buying using haptic control via messaging and calling multimedia system on mobile and wearable device, currency token interface, point of sale device, and electronic payment card
CN106133748B (zh) * 2012-05-18 2020-01-31 苹果公司 用于基于指纹传感器输入来操纵用户界面的设备、方法和图形用户界面
KR102130797B1 (ko) 2013-09-17 2020-07-03 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US9645651B2 (en) 2013-09-24 2017-05-09 Microsoft Technology Licensing, Llc Presentation of a control interface on a touch-enabled device based on a motion or absence thereof
US20150153854A1 (en) * 2013-12-03 2015-06-04 Lenovo (Singapore) Pte. Ltd. Extension of wearable information handling device user interface
US20150346943A1 (en) * 2014-06-02 2015-12-03 Vidya Srinivas Storage device for touch screen displays
US10579236B2 (en) * 2014-06-20 2020-03-03 Ati Technologies Ulc Responding to user input including providing user feedback
US20160378967A1 (en) * 2014-06-25 2016-12-29 Chian Chiu Li System and Method for Accessing Application Program
US9594489B2 (en) 2014-08-12 2017-03-14 Microsoft Technology Licensing, Llc Hover-based interaction with rendered content
US20160139628A1 (en) * 2014-11-13 2016-05-19 Li Bao User Programable Touch and Motion Controller
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
US9715366B2 (en) * 2015-09-16 2017-07-25 International Business Machines Corporation Digital map of a physical location based on a user's field of interest and a specific sound pattern
US10606457B2 (en) * 2016-10-11 2020-03-31 Google Llc Shake event detection system
CN106601254B (zh) * 2016-12-08 2020-11-06 阿里巴巴（中国）有限公司 信息输入方法和装置及计算设备
US10649640B2 (en) 2017-05-02 2020-05-12 Microsoft Technology Licensing, Llc Personalizing perceivability settings of graphical user interfaces of computers
US10990240B1 (en) * 2019-06-07 2021-04-27 Facebook Technologies, Llc Artificial reality system having movable application content items in containers
CN112764656B (zh) * 2020-12-29 2022-05-20 北京谊安医疗系统股份有限公司 基于穿梭钮的生命支持系统多合一显示系统的操作方法
US11995359B2 (en) * 2021-12-14 2024-05-28 Canon Kabushiki Kaisha Image forming apparatus with touch and touchless input portion

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060161870A1 (en) * 2004-07-30 2006-07-20 Apple Computer, Inc. Proximity detector in handheld device
JP2006343856A (ja) * 2005-06-07 2006-12-21 Fujitsu Ltd 手書き情報入力装置。
US20090265670A1 (en) * 2007-08-30 2009-10-22 Kim Joo Min User interface for a mobile device using a user's gesture in the proximity of an electronic device
KR20120117219A (ko) * 2011-04-14 2012-10-24 엘지전자 주식회사 이동 단말기 및 그의 입체영상 제어방법
US20120306738A1 (en) * 2011-05-30 2012-12-06 Canon Kabushiki Kaisha Image processing apparatus capable of displaying operation item, method of controlling the same, image pickup apparatus, and storage medium
US20130050131A1 (en) * 2011-08-23 2013-02-28 Garmin Switzerland Gmbh Hover based navigation user interface control

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7760187B2 (en) 2004-07-30 2010-07-20 Apple Inc. Visual expander
US7256770B2 (en) 1998-09-14 2007-08-14 Microsoft Corporation Method for displaying information responsive to sensing a physical presence proximate to a computer input device
US6501464B1 (en) 2000-10-31 2002-12-31 Intel Corporation On-screen transparent keyboard interface
US20030020733A1 (en) 2001-07-24 2003-01-30 Yin Memphis Zhihong Computer display having selective area magnification
US20030025676A1 (en) 2001-08-02 2003-02-06 Koninklijke Philips Electronics N.V. Sensor-based menu for a touch screen panel
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7489306B2 (en) 2004-12-22 2009-02-10 Microsoft Corporation Touch screen accuracy
US7636794B2 (en) * 2005-10-31 2009-12-22 Microsoft Corporation Distributed sensing techniques for mobile devices
US7778874B1 (en) 2005-11-14 2010-08-17 A9.Com, Inc. Automated generation of suggested online advertising campaign parameters
US20070268317A1 (en) 2006-05-18 2007-11-22 Dan Banay User interface system and method for selectively displaying a portion of a display screen
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US8650505B2 (en) * 2007-02-28 2014-02-11 Rpx Corporation Multi-state unified pie user interface
US8363019B2 (en) 2008-05-26 2013-01-29 Lg Electronics Inc. Mobile terminal using proximity sensor and method of controlling the mobile terminal
US9658765B2 (en) 2008-07-31 2017-05-23 Northrop Grumman Systems Corporation Image magnification system for computer interface
US8237666B2 (en) 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
US20100107067A1 (en) 2008-10-27 2010-04-29 Nokia Corporation Input on touch based user interfaces
EP2425322A4 (en) 2009-04-30 2013-11-13 Synaptics Inc CONTROL CIRCUIT ELEMENTS AND METHOD
EP2252055B1 (en) * 2009-05-13 2013-09-18 Sony Europe Limited A system for retrieval of executable applications for broadcast television
US8493344B2 (en) 2009-06-07 2013-07-23 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US8466934B2 (en) 2009-06-29 2013-06-18 Min Liang Tan Touchscreen interface
US8347221B2 (en) 2009-10-07 2013-01-01 Research In Motion Limited Touch-sensitive display and method of control
US8358281B2 (en) 2009-12-15 2013-01-22 Apple Inc. Device, method, and graphical user interface for management and manipulation of user interface elements
US8384683B2 (en) 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device
US20110261030A1 (en) 2010-04-26 2011-10-27 Bullock Roddy Mckee Enhanced Ebook and Enhanced Ebook Reader
US9268431B2 (en) 2010-08-27 2016-02-23 Apple Inc. Touch and hover switching
US8780060B2 (en) 2010-11-02 2014-07-15 Apple Inc. Methods and systems for providing haptic control
US20120120002A1 (en) 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
US9575561B2 (en) 2010-12-23 2017-02-21 Intel Corporation Method, apparatus and system for interacting with content on web browsers
JP2012168932A (ja) * 2011-02-10 2012-09-06 Sony Computer Entertainment Inc 入力装置、情報処理装置および入力値取得方法
JP5774327B2 (ja) 2011-02-16 2015-09-09 株式会社テイエルブイ 気液分離器
US8314790B1 (en) 2011-03-29 2012-11-20 Google Inc. Layer opacity adjustment for a three-dimensional object
US9285950B2 (en) 2011-03-30 2016-03-15 Google Inc. Hover-over gesturing on mobile devices
US9477348B2 (en) 2011-04-15 2016-10-25 Hewlett-Packard Development Company, L.P. Focus-based touch and hover detection
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US20120304107A1 (en) * 2011-05-27 2012-11-29 Jennifer Nan Edge gesture
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
JP5836105B2 (ja) 2011-12-20 2015-12-24 シャープ株式会社 情報処理装置、情報処理装置の制御方法、情報処理装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体
US20130194314A1 (en) 2012-01-26 2013-08-01 Nokia Corporation Desktop extension
EP2810188A1 (en) 2012-01-30 2014-12-10 Telefonaktiebolaget LM Ericsson (Publ) An apparatus having a touch screen display
JP5721662B2 (ja) * 2012-04-26 2015-05-20 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 入力受付方法、入力受付プログラム、及び入力装置
CN102719990B (zh) * 2012-06-18 2014-07-30 三明学院 智能经编多速电子送经系统
US8907927B2 (en) 2012-09-13 2014-12-09 Sap Portals Israel Ltd Camera based hover detection for touch-based mobile devices
JP5798103B2 (ja) 2012-11-05 2015-10-21 株式会社Ｎｔｔドコモ 端末装置、画面表示方法、プログラム
US20140267130A1 (en) 2013-03-13 2014-09-18 Microsoft Corporation Hover gestures for touch-enabled devices
US20140267094A1 (en) 2013-03-13 2014-09-18 Microsoft Corporation Performing an action on a touch-enabled device based on a gesture
US9170736B2 (en) 2013-09-16 2015-10-27 Microsoft Corporation Hover controlled user interface element
US9645651B2 (en) 2013-09-24 2017-05-09 Microsoft Technology Licensing, Llc Presentation of a control interface on a touch-enabled device based on a motion or absence thereof
US20150177866A1 (en) 2013-12-23 2015-06-25 Microsoft Corporation Multiple Hover Point Gestures
US9501218B2 (en) 2014-01-10 2016-11-22 Microsoft Technology Licensing, Llc Increasing touch and/or hover accuracy on a touch-enabled device
US9594489B2 (en) 2014-08-12 2017-03-14 Microsoft Technology Licensing, Llc Hover-based interaction with rendered content

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060161870A1 (en) * 2004-07-30 2006-07-20 Apple Computer, Inc. Proximity detector in handheld device
JP2006343856A (ja) * 2005-06-07 2006-12-21 Fujitsu Ltd 手書き情報入力装置。
US20090265670A1 (en) * 2007-08-30 2009-10-22 Kim Joo Min User interface for a mobile device using a user's gesture in the proximity of an electronic device
KR20120117219A (ko) * 2011-04-14 2012-10-24 엘지전자 주식회사 이동 단말기 및 그의 입체영상 제어방법
US20120306738A1 (en) * 2011-05-30 2012-12-06 Canon Kabushiki Kaisha Image processing apparatus capable of displaying operation item, method of controlling the same, image pickup apparatus, and storage medium
US20130050131A1 (en) * 2011-08-23 2013-02-28 Garmin Switzerland Gmbh Hover based navigation user interface control

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021157997A1 (ko) * 2020-02-07 2021-08-12 삼성전자 주식회사 사용자 입력을 처리하는 전자 장치 및 방법

Also Published As

Publication number Publication date
EP3049908B1 (en) 2021-10-13
MX2016003720A (es) 2016-05-31
CA2922493C (en) 2022-11-08
CL2016000678A1 (es) 2016-10-07
IL244367A0 (en) 2016-04-21
SG11201601827UA (en) 2016-04-28
US10775997B2 (en) 2020-09-15
JP2016534483A (ja) 2016-11-04
AU2014327146A1 (en) 2016-02-25
HK1223713A1 (zh) 2017-08-04
WO2015047880A1 (en) 2015-04-02
ZA201600966B (en) 2018-05-30
CN105683893A (zh) 2016-06-15
US20170228150A1 (en) 2017-08-10
RU2016110571A3 (ko) 2018-07-03
CN105683893B (zh) 2019-07-26
SG10201807806UA (en) 2018-10-30
CA2922493A1 (en) 2015-04-02
MX356479B (es) 2018-05-30
US9645651B2 (en) 2017-05-09
EP3049908A1 (en) 2016-08-03
BR112016004430A8 (pt) 2020-02-11
RU2016110571A (ru) 2017-09-28
US20150089419A1 (en) 2015-03-26
PH12016500257B1 (en) 2016-05-16
PH12016500257A1 (en) 2016-05-16
KR102343783B1 (ko) 2021-12-24

Similar Documents

Publication Publication Date Title
US10775997B2 (en) Presentation of a control interface on a touch-enabled device based on a motion or absence thereof
US10635299B2 (en) Device, method, and graphical user interface for manipulating windows in split screen mode
KR102367838B1 (ko) 동시에 열린 소프트웨어 애플리케이션들을 관리하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
EP3436912B1 (en) Multifunction device control of another electronic device
KR101670572B1 (ko) 다수의 페이지들을 갖는 폴더들을 관리하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
EP4310654A2 (en) Devices, methods, and user interfaces for interacting with user interface objects via proximity-based and contact-based inputs
EP2939097B1 (en) Device, method, and graphical user interface for navigating user interface hierarchies
US20180329586A1 (en) Displaying a set of application views
US20140267130A1 (en) Hover gestures for touch-enabled devices
KR102027612B1 (ko) 애플리케이션의 썸네일-이미지 선택 기법
US9501218B2 (en) Increasing touch and/or hover accuracy on a touch-enabled device
US20170192627A1 (en) Device, Method, and Graphical User Interface for a Radial Menu System
US20140267094A1 (en) Performing an action on a touch-enabled device based on a gesture
US11249579B2 (en) Devices, methods, and graphical user interfaces for manipulating embedded interactive content
KR20130016329A (ko) 폴더들을 관리하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10521101B2 (en) Scroll mode for touch/pointing control
US20160299657A1 (en) Gesture Controlled Display of Content Items
US20240053859A1 (en) Systems, Methods, and Graphical User Interfaces for Interacting with Virtual Reality Environments
KR20140029096A (ko) 복수의 페이지 표시 방법 및 이를 위한 단말

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant