KR20150129830A - 백그라운드 태스크를 위한 상호작용식 입력들 - Google Patents

백그라운드 태스크를 위한 상호작용식 입력들 Download PDF

Info

Publication number
KR20150129830A
KR20150129830A KR1020157028900A KR20157028900A KR20150129830A KR 20150129830 A KR20150129830 A KR 20150129830A KR 1020157028900 A KR1020157028900 A KR 1020157028900A KR 20157028900 A KR20157028900 A KR 20157028900A KR 20150129830 A KR20150129830 A KR 20150129830A
Authority
KR
South Korea
Prior art keywords
application
background
touch gesture
foreground
gesture input
Prior art date
Application number
KR1020157028900A
Other languages
English (en)
Inventor
조나단 케이. 키즈
프란시스 비. 맥도갤
수자나 아레라노
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20150129830A publication Critical patent/KR20150129830A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Abstract

본 개시의 하나 이상의 실시예들에 따른 시스템들 및 방법들은 사용자 디바이스 상에서 향상된 멀티태스킹을 제공한다. 실시예에서, 멀티캐스킹하기 위한 방법은 사용자 디바이스에 의해 수신되는 비-터치 제스처 입력을 검출하는 단계를 포함한다. 그 방법은 또한 백그라운드에서 실행하는 애프리케이션과 비-터치 제스처 입력을 연관시키는 단계를 포함하고, 상이한 포커싱된 애플리케이션이 포어그라운드에서 실행되고 있다. 그리고, 그 방법은 또한 포어그라운드 애플리케이션에는 영향을 주지 않으면서 연관된 비-터치 제스처 입력을 통해 백그라운드 애플리케이션을 제어하는 단계를 포함한다.

Description

백그라운드 태스크를 위한 상호작용식 입력들{INTERACTIVE INPUTS FOR A BACKGROUND TASK}
[1] 본 개시의 실시예들은 일반적으로 사용자 디바이스들에 관한 것이고, 더 상세하게는, 태스크들 또는 애플리케이션들을 실행하기 위해 비-터치 상호작용식 입력들을 검출하는 것에 관한 것이다.
[2] 현재, 사용자 디바이스들(예를 들어, 스마트 폰들, 테블릿들, 랩톱들 등)은 일반적으로 하나 초과의 애플리케이션 또는 태스크를 한번에 실행할 수 있는 컴퓨팅 디바이스 프로세서들을 갖는다. 애플리케이션 또는 태스크를 제어하기 위해서, 사용자는 자신이 제어하길 원하는 애플리케이션 또는 태스크에 대해 네비게이팅할 수도 있거나, 대안적으로, 사용자는 애플리케이션들 또는 태스크들에 대한 메뉴 또는 제어들의 리스트를 "풀 다운(pull down)"할 수도 있다.
[3] 통합형 자동차 시스템들에서는, 음성 제어들이 사용자들로 하여금 음성 입력을 일차 태스크로 제일 먼저 수행한 이후에 기능들을 위한 입력들을 제공하게 허용할 수 있다. 이를테면, 라디오가 플레이 중일 때, 사용자는 음성 커맨드를 위한 버튼을 누를 수 있다. 이어서, 라디오는 뮤팅(mute)하고, 사용자는 "78도로 온도로 설정하라"와 같은 음성 커맨드를 제공할 수 있다. 온도가 바뀌고, 라디오가 이제 비-뮤팅된다. 이로써, 음성 제어들은, 이들이 일차 태스크로 수행될 때, 사용자들로 하여금 애플리케이션들에 입력을 제공하게 허용할 수 있다. 그러나, 그러한 이용가능한 제어들은 다른 상황들에서는 작용하지 않을 수 있다.
[4] 따라서, 사용자 디바이스 상에서 멀티태스킹을 개선하고자 하는 해당 분야의 요구가 존재한다.
[5] 하나 이상의 실시예들에 따른 시스템들 및 방법들은 애플리케이션들 또는 태스크들, 예를 들어, 백그라운드 태스크들 또는 애플리케이션들과 같은 현재 포커싱된 태스크 또는 애플리케이션이 아닌 애플리케이션들을, 포어그라운드 태스크 또는 애플리케이션과 같은 포커싱된 태스크 또는 애플리케이션에는 영향을 주지 않으면서, 영향을 주거나 제어하기 위한 입력 커맨드들로서 비-터치 제스처들과 같은 상호작용식 입력들을 사용하기 위해 제공된다.
[6] 실시예에 따르면, 백그라운드 애플리케이션을 제어하기 위한 방법은 사용자 디바이스에 의해 수신되는 비-터치 제스처를 검출하는 단계를 포함한다. 방법은 또한 비-터치 제스처 입력을 백그라운드에서 실행하는 애플리케이션과 연관시키는 단계를 포함하고, 상이한 포커싱된 애플리케이션이 포어그라운드에서 실행되고 있다. 그리고, 방법은 포어그라운드 애플리케이션에는 영향을 주지 않으면서 연관된 비-터치 제스처 입력을 통해 백그라운드 애플리케이션을 제어하는 단계를 더 포함한다.
[7] 다른 실시예에 따르면, 디바이스는 비-터치 제스처 입력을 검출하도록 구성된 입력; 및 하나 이상의 프로세서들을 포함하고, 그 하나 이상의 프로세서들은 비-터치 제스처 입력을 백그라운드에서 실행하는 애플리케이션과 연관시키고 ― 상이한 포커싱된 애플리케이션이 포어그라운드에서 실행되고 있음 ―; 그리고 포어그라운드 애플리케이션에는 영향을 주지 않으면서 연관된 비-터치 제스처 입력을 통해 백그라운드 애플리케이션을 제어하도록 구성된다. 실시예에서, 프로세서(들)는 사용자 디바이스의 인터페이스 상에서 포커싱된 애플리케이션 위에 오브레이를 디스플레이하도록 추가로 구성되고, 그 오버레이는 비-터치 제스처 입력들이 백그라운드 애플리케이션에 영향을 주기 위해 이용가능함을 표시한다. 다른 실시예에서, 비-터치 제스처 입력은 오브젝트, 주시(gaze) 또는 눈 추적에 의한 포즈 또는 움직임을 포함한다. 다른 실시예에서, 프로세서(들)는 상응하는 특정 애플리케이션들에 대한 상응하는 명령들에 할당되는 특정 비-터치 제스처 입력들을 표시하는 글로벌 룩업 테이블을 사용하도록 추가로 구성된다. 다른 실시예에서, 프로세서(들)는 사용자 디바이스의 현재 출력 상태에 기초하여 애플리케이션들에 대한 상응하는 커맨드들에 비-터치 제스처 입력들을 할당하도록 추가로 구성된다. 다른 실시예에서, 프로세서(들)는 포어그라운드 애플리케이션 및 백그라운드 애플리케이션을 위해 등록된 비-터치 제스처 입력을 검출하고; 그리고 검출된 비-터치 제스처 입력을 적용하기 위해 활성 비-터치 제스처 입력 애플리케이션을 선택하도록 추가로 구성된다. 다른 실시예에서, 프로세서(들)는 제어할 백그라운드 애플리케이션을 지정하고 미리 결정된 시간 기간 동안 유지되는 참여 포즈(engagement pose)를 검출하고, 사용자로 하여금 백그라운드 애플리케이션으로 제어를 스위칭하도록 허용하는 오버레이를 제공하도록 추가로 구성된다. 다른 실시예에서, 프로세서(들)는 프로세서(들)는 제어할 백그라운드 애플리케이션을 지정하고 미리 결정된 시간 기간 동안 유지되는 참여 포즈를 검출하고 또한 포어그라운드 애플리케이션에 대한 포커스를 잃지 않으면서 백그라운드 애플리케이션을 제어하도록 자동으로 스위칭하도록 추가로 구성된다. 다른 실시예에서, 프로세서(들)는 사용자가 백그라운드 애플리케이션에 참여하길 원함을 의미하는 특정 비-터치 제스처 입력을 검출하도록 추가로 구성된다. 다른 실시예에서, 프로세서(들)는 둘 이상의 애플리케이션들 사이에서 선택하기 위해 할당되는 단일 비-터치 제스처 입력을 검출하도록 추가로 구성된다. 다른 실시예에서, 프로세서(들)는 비-터치 제스처 입력 참여가 마지막 선택된 애플리케이션에 자동으로 연결되는 모드를 인에이블하도록 추가로 구성된다. 다른 실시예에서, 프로세서(들)는 백그라운드 애플리케이션이 개시할 때 특정 비-터치 제스처 입력들을 위한 백그라운드 애플리케이션을 등록하고, 특정 비-터치 제스처 입력들에 대한 백그라운드 애플리케이션이 종료할 때 그 백그라운드 애플리케이션을 비등록하도록 추가로 구성된다. 다른 실시예에서, 백그라운드 애플리케이션의 엘리먼트들은 포커싱된 애플리케이션이 포어그라운드에서 실행되고 있는 동안에는 디스플레이되지 않는다.
[8] 다른 실시예에 따르면, 백그라운드 애플리케이션을 제어하기 위한 장치는 장치에 의해 수신되는 비-터치 제스처 입력을 검출하기 위한 수단; 비-터치 제스처 입력을 백그라운드에서 실행하는 애플리케이션과 연관시키기 위한 수단 ― 상이한 포커싱된 애플리케이션이 포어그라운드에서 실행되고 있음 ―; 및 포어그라운드 애플리케이션에는 영향을 주지 않으면서 연관된 비-터치 제스처 입력을 통해 백그라운드 애플리케이션을 제어하기 위한 수단을 포함한다. 실시예에서, 포커싱된 애플리케이션이 장치의 디스플레이 수단 상에 디스플레이된다. 다른 실시예에서, 장치는 장치의 디스플레이 수단 상에서 포커싱된 애플리케이션 위에 오버레이를 디스플레이하기 위한 수단을 더 포함하고, 오버레이는 비-터치 제스처 입력들이 백그라운드 애플리케이션에 영향을 주기 위해 이용가능함을 표시한다. 다른 실시예에서, 비-터치 제스처 입력은 오브젝트, 주시(gaze) 또는 눈 추적에 의한 포즈 또는 움직임을 포함한다. 다른 실시예에서, 장치는 상응하는 특정 애플리케이션들에 대한 상응하는 명령들에 할당되는 특정 비-터치 제스처 입력들을 표시하는 글로벌 룩업 테이블을 사용하기 위한 수단을 더 포함한다. 다른 실시예에서, 장치는 사용자 디바이스의 현재 출력 상태에 기초하여 애플리케이션들에 대한 상응하는 커맨드들에 비-터치 제스처 입력들을 할당하기 위한 수단을 더 포함한다. 다른 실시예에서, 장치는 포어그라운드 애플리케이션 및 백그라운드 애플리케이션을 위해 등록된 비-터치 제스처 입력을 검출하기 위한 수단; 및 검출된 비-터치 제스처 입력을 적용하기 위해 활성 비-터치 제스처 입력 애플리케이션을 선택하기 위한 수단을 더 포함한다. 다른 실시예에서, 장치는 제어할 백그라운드 애플리케이션을 지정하고 미리 결정된 시간 기간 동안 유지되는 참여 포즈(engagement pose)를 검출하기 위한 수단, 및 사용자로 하여금 백그라운드 애플리케이션으로 제어를 스위칭하도록 허용하는 오버레이를 제공하기 위한 수단을 더 포함한다. 다른 실시예에서, 장치는 제어할 백그라운드 애플리케이션을 지정하고 미리 결정된 시간 기간 동안 유지되는 참여 포즈를 검출하기 위한 수단, 및 포어그라운드 애플리케이션에 대한 포커스를 잃지 않으면서 백그라운드 애플리케이션을 제어하도록 자동으로 스위칭하기 위한 수단을 더 포함한다. 다른 실시예에서, 장치는 사용자가 백그라운드 애플리케이션에 참여하길 원함을 의미하는 특정 비-터치 제스처 입력을 검출하기 위한 수단을 더 포함한다. 다른 실시예에서, 장치는 둘 이상의 애플리케이션들 사이에서 선택하기 위해 할당되는 단일 비-터치 제스처 입력을 검출하기 위한 수단을 더 포함한다. 다른 실시예에서, 장치는 비-터치 제스처 입력 참여가 마지막 선택된 애플리케이션에 자동으로 연결되는 모드를 인에이블하기 위한 수단을 더 포함한다. 다른 실시예에서, 장치는 백그라운드 애플리케이션이 개시할 때 특정 비-터치 제스처 입력들을 위한 백그라운드 애플리케이션을 등록하기 위한 수단, 및 특정 비-터치 제스처 입력들에 대한 백그라운드 애플리케이션이 종료할 때 그 백그라운드 애플리케이션을 비등록하기 위한 수단을 더 포함한다. 다른 실시예에서, 장치는 포커싱된 애플리케이션이 포어그라운드에서 실행되고 있는 동안에는 디스플레이되지 않는 백그라운드 애플리케이션의 엘리먼트들을 더 포함한다.
[9] 다른 실시예에 따르면, 비-일시적 컴퓨터 판독가능 매체는 컴퓨터 판독가능 명령들을 저장하고, 그 명령들은 프로세서에 의해 실행될 때 그 프로세서로 하여금, 사용자 디바이스에 의해 수신되는 비-터치 제스처 입력을 검출하고; 비-터치 제스처 입력을 백그라운드에서 실행하는 애플리케이션과 연관시키며 ― 상이한 포커싱된 애플리케이션이 포어그라운드에서 실행되고 있음 ―; 그리고 포어그라운드 애플리케이션에는 영향을 주지 않으면서 연관된 비-터치 제스처 입력을 통해 백그라운드 애플리케이션을 제어하게 한다. 실시예에서, 명령들은 프로세서로 하여금 사용자 디바이스의 인터페이스 상에서 포커싱된 애플리케이션 위에 오버레이를 디스플레이하도록 추가로 구성되고, 오버레이는 비-터치 제스처 입력들이 백그라운드 애플리케이션에 영향을 주기 위해 이용가능함을 표시한다. 다른 실시예에서, 비-터치 제스처 입력은 오브젝트에 의한 움직임 또는 포즈를 포함한다. 다른 실시예에서, 명령들은 프로세서로 하여금 상응하는 특정 애플리케이션들에 대한 상응하는 명령들에 할당되는 특정 비-터치 제스처 입력들을 표시하는 글로벌 룩업 테이블을 사용하도록 추가로 구성된다. 다른 실시예에서, 명령들은 프로세서로 하여금 사용자 디바이스의 현재 출력 상태에 기초하여 애플리케이션들에 대한 상응하는 커맨드들에 비-터치 제스처 입력들을 할당하도록 추가로 구성된다. 다른 실시예에서, 명령들은 프로세서로 하여금, 포어그라운드 애플리케이션 및 백그라운드 애플리케이션을 위해 등록된 비-터치 제스처 입력을 검출하고; 그리고 검출된 비-터치 제스처 입력을 적용하기 위해 활성 비-터치 제스처 입력 애플리케이션을 선택하도록 추가로 구성된다. 다른 실시예에서, 명령들은 프로세서로 하여금 제어할 백그라운드 애플리케이션을 지정하고 미리 결정된 시간 기간 동안 유지되는 참여 포즈(engagement pose)를 검출하고, 그리고 사용자로 하여금 백그라운드 애플리케이션으로 제어를 스위칭하도록 허용하는 오버레이를 제공하도록 추가로 구성된다. 다른 실시예에서, 명령들은 프로세서로 하여금 제어할 백그라운드 애플리케이션을 지정하고 미리 결정된 시간 기간 동안 유지되는 참여 포즈를 검출하고, 그리고 포어그라운드 애플리케이션에 대한 포커스를 잃지 않으면서 백그라운드 애플리케이션을 제어하도록 자동으로 스위칭하도록 추가로 구성된다. 다른 실시예에서, 명령들은 프로세서로 하여금 사용자가 백그라운드 애플리케이션에 참여하길 원함을 의미하는 특정 비-터치 제스처 입력을 검출하도록 추가로 구성된다. 다른 실시예에서, 프로세서는 둘 이상의 애플리케이션들 사이에서 선택하기 위해 할당되는 단일 비-터치 제스처 입력을 검출하도록 추가로 구성된다. 다른 실시예에서, 명령들은 프로세서로 하여금 비-터치 제스처 입력 참여가 마지막 선택된 애플리케이션에 자동으로 연결되는 모드를 인에이블하도록 추가로 구성된다. 다른 실시예에서, 명령들은 프로세서로 하여금 백그라운드 애플리케이션이 개시할 때 특정 비-터치 제스처 입력들을 위한 백그라운드 애플리케이션을 등록하고, 그리고 특정 비-터치 제스처 입력들에 대한 백그라운드 애플리케이션이 종료할 때 그 백그라운드 애플리케이션을 비등록하도록 추가로 구성된다. 다른 실시예에서, 백그라운드 애플리케이션의 엘리먼트들은 포커싱된 애플리케이션이 포어그라운드에서 실행되고 있는 동안에는 디스플레이되지 않는다.
[10] 도 1은 본 개시의 실시예에 따른, 사용자 디바이스 상에서 멀티태스킹을 위한 방법을 예시하는 흐름도이다.
[11] 도 2는 본 개시의 실시예에 따른, 뮤직 제어 사용 경우를 예시하는 흐름도이다.
[12] 도 3은 본 개시의 실시예에 따른, 상호작용식 입력들이 적용할 애플리케이션을 결정하기 위한 방법을 예시하는 흐름도이다.
[13] 도 4는 본 발명의 실시예에 따른, 애플리케이션을 제어하기 위해 등록된 비-터치 제스처들을 사용하기 위한 방법을 예시하는 흐름도이다.
[14] 도 5는 본 개시의 실시예에 따른, 활성 제스처 애플리케이션 선택의 처리를 예시하는 블록도이다.
[15] 도 6은 본 개시의 실시예에 따른, 백그라운드 태스크 제스처의 처리에 대한 예를 예시하는 도면이다.
[16] 도 7은 본 개시의 실시예에 따른, 디바이스를 구현하기 위한 시스템을 예시하는 블록도이다.
[17] 도 8은 본 개시의 실시예에 따른, 애플리케이션을 제어하기 위한 방법을 예시하는 블록도이다.
[18] 하나 이상의 실시예들에 따른 시스템들 및 방법들은, 특정 애플리케이션 또는 태스크가 현재 포커싱된 태스크 또는 애플리케이션, 즉, 포어그라운드 태스크 또는 애플리케이션에 영향을 주지 않으면서 백그라운드에서 실행되고 있을 때라도, 비-터치 제스처들과 같은 상호작용식 커맨드들 또는 입력들을 그 특정 애플리케이션 또는 태스크와 연관시키기 위해 제공된다.
[19] 포커싱된 태스크 또는 애플리케이션은 예를 들어 사용자 디바이스의 인터페이스 상에서 현재 디스플레이되는 애플리케이션일 수 있다. 현재 포커싱되거나 디스플레이되는 애플리케이션이 아닌 애플리케이션에 대한 입력으로서 비-터치 제스처들이 사용될 수 있다. 이러한 방식에서는, 사용자 디바이스들 상에서, 특히 한번에 단지 하나의 태스크 또는 애플리케이션만을 디스플레이할 수 있는 사용자 디바이스들 상에서는 올바른(true) 멀티태스킹이 허용될 수 있다.
[20] 도시들이 단지 본 개시의 실시예들을 예시할 목적일 뿐 본 개시를 제한하기 위한 목적이 아닌 도면들을 참조하면, 도 1은 본 개시의 실시예에 따른, 사용자 디바이스 상에서 멀티태스킹을 위한 방법을 예시하는 흐름도이다.
[21] 블록(102)에서, 활성 애플리케이션 또는 태스크("포어그라운드 애플리케이션")이 사용자 디바이스 인터페이스, 도 7에 예시된 예를 들어 디스플레이 컴포넌트(1514) 상에 디스플레이될 수 있다. 사용자 디바이스들은 일반적으로 이메일, 뮤직, 게임들, 전자 상거래, 및 많은 다른 적절한 애플리케이션들과 같은 비제한적 타입들의 애플리케이션들을 디스플레이할 수 있다.
[22] 블록(104)에서, 사용자 디바이스는 애플리케이션에 영향을 주거나 제어하기 위한 적어도 하나의 비-터치 제스처 입력 또는 커맨드를 예를 들어 도 7에 예시된 입력 컴포넌트(1516)를 통해서 수신할 수 있다. 비-터치 상호작용식 제스처 입력들 또는 커맨드들은 사용자 디바이스 인터페이스 바로 위(예를 들어, 온-스크린)에서 또는 사용자 디바이스의 측면, 상단, 하단 또는 뒤(예를 들어, 오프-스크린) 상에서와 같은 사용자 디바이스 인터페이스로부터 떨어져서(예를 들어, 오프-스크린) 손, 손가락, 펜 등과 같은 오브젝트를 사용하는 포즈들 또는 움직임들을 포함한다. 다양한 실시예들에서, 사용자 디바이스는 주시 또는 눈 추척과 같은 상호작용식 입력 성능들을 예를 들어 도 7에 예시된 입력 컴포넌트(1516)의 일부로서 포함할 수 있다. 예를 들어, 사용자 디바이스는 카메라와 같은 이미지 또는 비디오 캡처 성능들을 통해 사용자 디바이스를 주시하거나 쳐다보는 사용자의 얼굴을 검출할 수 있다.
[23] 본원의 실시예들에서, 사용자 디바이스들은 모바일 디바이스들, 테블릿들, 랩톱들, PC들, 텔레비전들, 스피커들, 프린터들, 게임박스들 등을 포함할 수 있다. 일반적으로, 사용자 디바이스들은 비-터치 제스처 인지를 포함하는 임의의 디바이스를 포함하거나 그것의 일부일 수 있는데, 즉, 비-터치 제스처들은 일반적으로 터치 스크린 제스처 상호작용들 이외의 센서들 또는 기술들에 의해 캡처될 수 있다. 예를 들어, 비-터치 제스처 인지는 카메라(예를 들어, 가시광 카메라, 비과시간 카메라와 같은 거리 이미징 카메라, 구조형 광 카메라, 스테레오 카메라 등), 깊이 센서, IR, 울트라소닉 펜 제스처 검출 등과 같은 울트라소닉 제스처 검출, 이미지 또는 비디오 캡처링 컴포넌트들을 통해 수행될 수 있다. 즉, 디바이스들은 디바이스를 터치하지 않고도 사용자의 제스처들(즉, 카메라 앞에서의 손 포즈와 같은 비-터치 제스처들)을 캡처하기 위해 카메라들 또는 다른 이미지 추적 기술들을 사용하는 비전-기반 제스처 성능들을 가질 수 있거나, 그 비전-기반 성능들 이외의 비-터치 제스처들을 검출하는 성능들을 가질 수 있다.
[24] 또한, 비-터치 제스처 포착 센서들 또는 기술들이 사용자 디바이스의 여러 표면들, 예를 들어 사용자 디바이스의 상단, 하단, 좌측면, 우측면 및/또는 뒤 상에 위치되는 사용자 디바이스 또는 시스템의 일부일 수 있고, 그로인해서 비-터치 제스처들은 사용자 디바이스의 바로 앞에서(온-스트린) 또는 사용자 디바이스의 스크린의 직접 가시선에서 떨어져서(오프-스크린) 수행될 때 캡처될 수 있다.
[25] 블록(106)에서, 수신된 상호작용식 입력은 활성 애플리케이션과 (예를 들어, 도 7에 예시된 프로세싱 컴포넌트(1504)에 의해) 연관될 수 있는데, 예를 들어 사용자 디바이스 인터페이스 상에서는 디스플레이되지 않지만 대신에 백그라운드에서 실행되고 있는 활성 애플리케이션("백그라운드 애플리케이션")과 연관될 수 있다. 이와 관련하여, 백그라운드 애플리케이션은 디스플레이되는 포어그라운드 애플리케이션과 상이하다. 예를 들어, 뮤직 애플리케이션이 백그라운드에서 실행될 수 있는 동안에 이메일 애플리케이션이 사용자 디바이스 인터페이스의 포어그라운드에서 실행되고 디스플레이되고 있을 수 있다.
[26] 블록(108)에서, 입력 커맨드(예를 들어, 도 7에 예시된 입력 컴포넌트(1516)를 통해 수신되는 바와 같은)는 포어그라운드 애플리케이션에 영향을 주지 않으면서 백그라운드 애플리케이션에 적용될 수 있다(예를 들어, 도 7에 예시된 프로세싱 컴포넌트(1504)에 의해서). 예를 들어, 사용자가 디스플레이되는 이메일 애플리케이션 상에서 작업하고 있는 동안에 그 사용자는 백그라운드에서 실행되고 있는 뮤직 애플리케이션을 제어하기 위해 제스처들을 사용할 수 있고, 그로 인해서 그 제스처들은 이메일 애플리케이션을 간섭하지 않는다.
[27] 이로써, 하나 이상의 실시예들에 따라, 사용자는 상이한 포어그라운드 애플리케이션을 디스플레이하는 스크린으로부터 백그라운드에서 실행되는 활성 애플리케이션을 제어하는 능력을 가질 수 있다. 또한, 다양한 실시예들에서, 사용자는 백그라운드에서 실행되는 활성 애플리케이션을 포어그라운드로 가져오는 능력을 가질 수 있다.
[28] 본 개시의 실시예들은 많은 사용 경우들에 적용될 수 있는데, 여기서 포어그라운드 애플리케이션에 영향을 주거나 인터럽트하지 않으면서 사용자 디바이스 상에서 디스플레이되는 애플리케이션 이외의 애플리케이션에 연관된 상호작용식 입력을 시스템이 적용할 수 있도록 하기 위해 사용자가 상호작용식 입력들(예를 들어, 비-터치 제스처들)을 사용할 수 있다.
[29] 사용 경우 : 이메일 애플리케이션이 디스플레이되고 있는 동안의 뮤직 제어
[30] 도 2를 참조하면, 흐름도는 본 개시의 실시예에 따른 뮤직 제어 사용 경우를 예시한다. 블록(202)에서, 사용자 디바이스 또는 시스템은 예를 들어 도 7에 예시된 디스플레이 컴포넌트(1514)를 통해 사용자 디바이스의 인터페이스 상에서 디스플레이되는 활성 뮤직 제어 스크린을 가질 수 있다.
[31] 블록(204)에서, 시스템은 요청될 때 제스처 모드를 제고할 수 있는데, 여기서 사용자는 비-터치 제스처들을 통해 뮤직 제어 스크린을 제어할 수 있다. 블록(206)에서, 울트라소닉 기술과 같은 비-터치 제스처 캡처 센서들 또는 기술들은 턴 온될 수 있고, 도 7에 예시된 입력 컴포넌트(1516)의 일부일 수 있다.
[32] 블록(208)에서, 이메일을 수신 시에 그리고 사용자의 요청 또는 입력들에 기초하여, 시스템은 이메일 스크린을 디스플레이할지 여부를 결정한다(예를 들어, 도 7에 예시된 프로세싱 컴포넌트(1504)에 의해). 만약 사용자가 이메일 스크린을 보길 원하지 않는다고 표시하는 입력을 시스템이 수신한다면, 시스템은 블록(212)으로 가고, 뮤직 스크린이 사용자 디바이스 인터페이스 상에서 계속 디스플레이될 것이다.
[33] 그러나, 만약 (사용자가 이메일에 응답하길 원할 수 있기 때문에) 사용자가 이메일 스크린을 보길 원한다고 표시하는 입력을 시스템이 수신한다면, 시스템은 블록(210)으로 가고, 이메일 스크린이 예를 들어 도 7에 예시된 디스플레이 컴포넌트(1514)를 통해 사용자 디바이스 인터페이스 상에 디스플레이된다. 특히, 뮤직 애플리케이션이 백그라운드에서 계속 디스플레이된다.
[34] 블록(214)에서, 뮤직 애플리케이션과 연관된 제스처 아이콘이 예를 들어 도 7에 예시된 디스플레이 컴포넌트(1514)에 의해 이메일 스크린 상에서 디스플레이될 수 있다. 실시예에서, 제스처 아이콘(216)과 같은 제스처 아이콘은 이메일 스크린의 상단에서 제시될 수 있거나 이메일 스크린 상에서 다른 방식으로 디스플레이될 수 있다. 제스처 아이콘(216)은 백그라운드에서 계속 실행되는 뮤직 애플리케이션이 특정 제스처 입력들과 연관되고 이를 통해 제어될 수 있음을 표시할 수 있다. 일반적으로, 제스처 아이콘(216)과 같은 제스처 아이콘은 백그라운드 애플리케이션이 제스처 입력들과 연관되고 이를 통해 제어될 수 있음을 표시하기 위해 임의의 형태, 사이즈 또는 형상을 가질 수있다. 이러한 예에서, 제스처 아이콘(216)은 손의 일부 위에 악보집을 갖는 펴진 손을 포함한다. 다른 실시예에서는, 다른 실행 프로그램(예를 들어, 네비게이션 시스템들, 라디오 등)이 특정 제스처 입력들과 연관되고 이를 통해 제어될 수 있을 때, 그 다른 실행 프로그램의 표시에 의해 악보집이 대체될 수 있다. 다양한 실시예들에서, 제스처 아이콘(216)의 손 부분은 제스처의 표시자로서 사용될 수 있는데, 예를 들어, 그것은 펴진 손을 대신하는 주먹, 또는 움직임을 표시하는 화살표들, 또는 임의의 다른 적절한 표시자 또는 제스처를 표시할 수 있다.
[35], 블록(218)에서, 시스템은 사용자가 백그라운드 애플리케이션에 대한 커맨드를 입력하길 원하는지 여부, 예를 들어 사용자가 (예를 들어, 도 7에 예시된 입력 컴포넌트(1516)를 통해) 뮤직 애플리케이션에 대한 노래를 생략하기 위해 커맨드를 입력하길 원할 수 있는지 여부를 결정할 수 있다.
[36] 블록(222)에서, 만약 사용자가 이를테면 노래를 생략하기 위해서 뮤직 애플리케이션에 대한 커맨드를 입력하길 원하지 않는다면, 어떤 액션도 없다. 블록(226)에서, 이어서 시스템은 뮤직 애플리케이션을 제어하기 위해 다른 비-터치 제스처 입력(예를 들어, 손 제스처)을 기다릴 수 있다.
[37] 블록(220)에서, 만약 사용자가 이를테면 노래를 생략하기 위해서 뮤직 애플리케이션에 대한 커맨드를 입력하길 원한다면, 사용자는 (예를 들어, 도 7에 예시된 입력 컴포넌트(1516)를 통해) 특정 비-터치 제스처 입력, 예를 들어 노래를 생략하는 것과 연관된 손 제스처를 사용할 수 있다. 특정 비-터치 제스처 입력을 수신 또는 검출 시에, 블록(224)에서, 뮤직 애플리케이션은 다음 노래를 플레이한다.
[38] 이로써, 사용자가 이메일 스크린 상에 있으면서, 그 사용자는 뮤직 애플리케이션을 제어하고 또한 PandoraTM과 같은 뮤직 애플리케이션 상에서 "좋아함", "싫어함", "생략하고 다음 노래로", "예, 나는 아직 듣고 있습니다" 등과 같은 커맨들을 제공하기 위해 비-터치 제스처 입력들(예를 들어, 손 포즈 및/또는 동적 제스처)을 사용할 수 있다. 편리하게, 사용자는 뮤직을 듣고 있는 동안에 이메일 애플리케이션과 계속 상호작용할 수 있다(예를 들어, 이메일을 타미핑하거나 읽음).
[39] 사용 경우 : 백그라운드에서 전화 통화
[40] 사용자 디바이스를 통해 전화 통화하고 있는 사용자는 전화 번호를 찾기 위해서 사용자 디바이스 상에 디스플레이되는 연락처 리스트 스크린으로 가거나, 또는 다른 목적을 위해 다른 애플리케이션, 예를 들어, 인터넷 컨텐츠를 검토하기 위한 브라우저 또는 메시지 작성 스크린으로 갈 수 있다. 연락처 리스트 스크린 또는 다른 애플리케이션으로부터, 사용자 디바이스는 예를 들어 뮤팅하거나, 볼륨을 변경하거나 또는 스피커 폰으로 전환하기 위해 전화 통화를 제어하기 위한 커맨드들을 입력하기 위해서 비-터치 제스처(예를 들어, 손 포즈)와 같은 사용자 입력들을 검출할 수 있다. 이로써, 사용자 디바이스는 연락처 리스트 또는 다른 애플리케이션이 사용자 디바이스의 스크린 상에 디스플레이되는 동안 백그라운드에서 실행되는 전화 통화를 제어하는 사용자 입력들에 응답할 수 있다.
[41] 활성 포어그라운드 애플리케이션들을 실행하는 동안에 백그라운드 태스크들 또는 애플리케이션들이 제어될 수 있는 많은 다른 사용 경우들이 존재한다. 백그라운드 태스크들 또는 애플리케이션들의 예들은 플래시라이트를 턴 온/오프하는 것; 음성 레코더를 제어(예를 들어, 레코딩/플레이)하는 것; 입력 모드들, 예를 들어 음성, 제스처들을 변경하는 것; 네비게이션, 예를 들어 리플레이 방향, 그 다음 방향 등을 차례차례 제어하는 것; 디바이스 상태 및 설정들, 예를 들어 제어 볼륨, 밝기 등을 제어하는 것; 및 많은 다른 사용 경우들을 포함할 수 있다. 본 개시의 실시예들은 본원에 설명되지 않은 사용 경우들을 비롯해서 많은 사용 경우들에 적용될 수 있다는 것이 이해되어야 한다.
[42] 도 3을 참조하면, 흐름도는 본 개시의 실시예에 따라 상호작용식 입력들이 적용될 애플리케이션을 결정하기 위한 방법을 예시한다. 하나 이상의 실시예들에 따라, 시스템은 특정 비-터치 제스처 이벤트들과 같은 특정 상호작용식 입력들이 백그라운드 애플리케이션 또는 포어그라운드 애플리케이션 중 어떤 활성 애플리케이션에 적용될 수 있는지를 결정하는 능력을 가질 수 있다. 특정 비-터치 제스처 이벤트들과 같은 특정 상호작용식 입력들이 어떤 활성 애플리케이션에 적용될 수 있는지는 몇몇 팩터들이 결정할 수 있다. 예를 들어, 팩터는 포어그라운드 애플리케이션이 비-터치 제스처 이벤트들과 같은 상호작용식 입력들을 지원하는 능력을 갖는지 여부를 포함할 수 있다.
[43] 블록(302)에서는, 하나 이상의 실시예들에 따라 위에서 설명된 바와 같이, 다른 애플리케이션("백그라운드 애플리케이션")이 백그라운드에서 실행되고 있는 동안에 사용자 디바이스 인터페이스는 활성 애플리케이션("포어그라운드 애플리케이션")을 실행(예를 들어, 이를테면 도 7에 예시된 디스플레이 컴포넌트(1514) 상에서 디스플레이)할 수 있다. 일부 실시예들에서는, 포어그라운드 애플리케이션이 포커스에 있거나 사용자 디바이스에 의해 디스플레이되고 있은 동안에는 백그라운드 애플리케이션의 어떤 엘리먼트들도 디스플레이되지 않는다.
[44] 블록(304)에서, 시스템은 포어그라운드 애플리케이션이 예를 들어 도 7에 예시된 입력 컴포넌트(1516)를 통해 수신될 수 있는 비-터치 제스처 이벤트들과 같은 상호작용식 입력들을 지원하는 능력을 포어그라운드 애플리케이션이 갖는지 여부를 (예를 들어, 도 7에 예시된 프로세싱 컴포넌트(1504)를 사용하여) 결정한다.
[45] 블록(306)에서, 만약 포어그라운드 애플리케이션 자체가 비-터치 제스처 이벤트들과 같은 상호작용식 입력들을 지원하지 않는다고 시스템이 결정한다면, 다른 애플리케이션(예를 들어, 제스처 해석 서비스에 등록하였지만 비-터치 제스처 이벤트들을 지원하는 능력을 갖는 마지막 애플리케이션), 또는 예를 들어 백그라운드 애플리케이션이 비-터치 제스처 이벤트들을 수신할 수 있다. 하나 이상의 실시예들에서, 서비스 또는 프로세스(예를 들어, 도 7에 예시된 프로세싱 컴포넌트(1504)를 통해)는 아래에서 더 상세히 설명될 바와 같이 제스처 이벤트들을 식별, 해석 및/또는 할당하도록 실행되고 있을 수 있다. 실시예에서, 예를 들어 아래의 표 1 및 표 2에 예시된 바와 같은 글로벌 제스처 룩업 테이블은 복수의 제스처들과 상응하는 애플리케이션 및 그 애플리케이션에 대한 커맨드를 포함함으로써, 예를 들어 제스처 X가 특정 애플리케이션 APP1에 대한 입력 커맨드 X에 상응함을 표시할 수 있다. 일부 실시예들에서, 특정 애플리케이션들은 애플리케이션에 대한 특정 커맨드들을 실행하기 위해 미리 할당된 제스처들을 가질 수 있다.
[46] 만약 시스템이 포어그라운드 애플리케이션이 예를 들어 도 8에 예시된 입력 컴포넌트(1516)를 통해 비-터치 제스처 이벤트들과 같은 상호작용식 입력들을 수신하도록 구성된다고 결정하면, 아래의 두 가능성들을 포함한 다양한 가능성들이 존재할 수 있다:
[47] 블록(308)에서는, 포어그라운드 애플리케이션이 백그라운드 애플리케이션(들)과 상이한 세트의 비-터치 제스처 이벤트들에 대해 등록되는 가능성 1이 발생할 수 있다. 즉, 특정 비-터치 제스처들은 특정 애플리케이션 또는 태스크와 관련하여서만 등록되고 사용될 수 있다. 이러한 경우에, 블록(312)에서는, 제스처 시스템이 (예를 들어, 도 7에 예시된 프로세싱 컴포넌트(1504)에 의해) 특정 비-터치 제스처 이벤트들을 적절한 애플리케이션으로 라우팅하여, 두 애플리케이션들로 하여금 비-터치 제스처 이벤트들을 동시에 수신하도록 허용할 수 있다. 애플리케이션을 제어하기 위해 등록된 제스처들을 사용하기 위한 방법이 본 개시의 실시예에 따라 도 4에 대해 아래에서 설명된다. 실시예에서, 예를 들어 아래의 표 1 및 표 2에 예시된 바와 같은 글로벌 제스처 룩업 테이블은 복수의 제스처들과 상응하는 애플리케이션 및 그 애플리케이션에 대한 커맨드를 포함함으로써, 예를 들어 제스처 X가 특정 애플리케이션 APP1에 대한 입력 커맨드 X에 상응함을 표시할 수 있다. 일부 구현들에서, 특정 애플리케이션들은 그 애플리케이션에 대한 특정 커맨드들을 실행하기 위해 미리 할당된 제스처들을 가질 수 있다. 하나 이상의 실시예들에서, 서비스 또는 프로세스는 (예를 들어, 도 7에 예시된 프로세싱 컴포넌트(1504)를 통해) 제스처 이벤트들을 식별, 해석 및/또는 할당하기 위해 실행되고 있을 수 있다. 또한, 제스처 이벤트들은 고유할 수 있거나, 프로세스는 애플리케이션들이 동일한 제스처 이벤트들을 위해 등록하지 않았음을 보장할 수 있다(예를 들어, 기존 제스처 연관성들의 중복기재를 허용하지 않음으로써, 또는 사용자에게 경고하고 또한 사용자에게 어떤 애플리케이션이 정해진 제스처에 의해 제어될지를 선택하게 함으로써). 물론, 두 애플리케이션들은 특히 단순히 상이한 제스처들을 수락할 수 있다. 실시예에서, 만약 포어그라운드 애플리케이션이 제스처들을 지원한다면, 그것은 검출된 제스처를 해석하려 시도할 수 있고, 만약 그것이 검출된 제스처를 인지하지 않는다면, 그것은 제스처를 어떻게 처리할지(예를 들어, 정보를 다른 애플리케이션에 전송할지, 그 정보를 무시할지 등)를 결정할 수 있는 다른 애플리케이션이나 서비스 또는 프로세스로 그 제스처에 관한 정보를 전달할 수 있다. 또는, 다른 실시예에서, 서비스 또는 프로세스는 제일먼저 움직임을 검출하고, 그 움직임에 상응하는 제스처를 결정하고, 이어서 제스처 정보를 적절한 애플리케이션(포어그라운드 애플리케이션, 복수의 백그라운드 애플리케이션들 중 하나 등)에 선택적으로 라우팅할 수 있다.
[48] 블록(310)에서는, 포어그라운드 애플리케이션이 백그라운드 애플리케이션과 동일한 비-터치 제스처 이벤트들 중 적어도 하나에 대해 등록되는 가능성 2가 발생할 수 있다. 이러한 경우에, 블록(314)에서, 애플리케이션 선택 절차가 (예를 들어, 도 7에 예시된 프로세싱 컴포넌트(1504)를 통해) 수행될 수 있다. 즉, 포어그라운드 애플리케이션 및 하나 이상의 백그라운드 애플리케이션들 양쪽 모두에 대해 등록될 수 있는 검출된 제스처 이벤트를 어떤 애플리케이션이 수신해야 하는지를 결정하기 위한 충돌 해결책이 수행될 수 있다. 특히, 포어그라운드 애플리케이션이 포커스를 잃는 필요성이 존재하지 않을 수 있다. 아래에 설명되는 도 5는 본 개시의 실시예에 따른 제스처 애플리케이션 선택 절차를 예시하는 도면이다.
[49] 이제 도 4를 참조하면, 흐름도는 본 개시의 실시예에 따른, 애플리케이션을 제어하기 위해 등록된 비-터치 제스처들을 사용하기 위한 방법을 예시한다.
[50] 블록(402)에서, (예를 들어, 도 7에 예시된 저장 컴포넌트(1508)에 저장될 수 있는)글로벌 제스처 룩업 테이블에서 특정 애플리케이션들에 대한 상응하는 커맨드들 또는 입력들에 비-터치 제스처들이 할당될 수 있다. 예를 들어, 예컨대 아래의 표 1 및 표 2에 예시된 바와 같은 글로벌 제스처 룩업 테이블은 복수의 제스처들과 상응하는 애플리케이션 및 그 애플리케이션에 대한 커맨드를 포함함으로써, 예를 들어 특정 애플리케이션 APPI에 대한 입력 커맨드 X에 상응함을 표시할 수 있다. 일부 실시예들에서, 특정 애플리케이션들은 애플리케이션에 대한 특정 커맨들을 실행하기 위해 미리 할당된 제스처들을 가질 수 있다. 일부 실시예들에서, 서비스 또는 모듈은 (예를 들어, 도 7에 예시된 프로세싱 컴포넌트(1504)를 통해) 제스처들, 커맨드들, 및 애플리케이션들 간의 상관성들을 관리할 수 있고, 임의의 충돌들 및/또는 잠재적 충돌들을 해결하기 위해 기능할 수 있다. 일부 실시예들에서, 애플리케이션은 시스템(1500)의 초기화 또는 시작 시에 기능 또는 모듈에 등록할 수 있고, 그 애플리케이션 또는 모듈은 특정 제스처가 특정 애플리케이션 및/또는 커맨드에 할당될 수 있는지 여부를 결정할 수 있다.
[51] 표 1은 본 개시의 실시예에 따른, 상응하는 예시적인 커맨드들 및 애플리케이션 할당들을 갖는 예시적인 제스처들을 예시한다.
제스처 커맨드 애플리케이션
(예를 들어, 편 손바닥으로) 센서를 가림 뮤트/비뮤트 전화 통화
(예를 들어, 편 손 움직임으로) 우측으로 스와이핑함 생략하고 다음 노래로 감 MP3 플레이어
디바이스 스크린 위의 하나의 손가락 시작/종료 음성 레코더
디바이스 크린 위의 두 개의 손가락들 입력 모드를 변경 설정들
위로 스와이핑함 밝기를 증가 설정들
표 1 : 예시적인 커맨드들 및 애플리케이션 할당들을 갖는 예시적인 제스처들
[52] 글로벌 제스처 룩업 테이블(예를 들어, 표 1)은, 제스처 X가 할당되거나 특정 애플리케이션 AP1에 대한 입력 커맨드 X에 상응함을 표시할 수 있다. 예를 들어, "가림" 형태의 편 손바닥 제스처와 같은 손 포즈는 "뮤트/비뮤트"를 위한 커맨드에 상응할 수 있고, 전화 통화 애플리케이션에 할당된다. (예를 들어, 편 손 움직임으로) "우측으로 스와이핑" 제스처는 "생략하고 다음 노래로 감"을 위한 커맨드에 상응할 수 있고, MP3 플레이어 애플리케이션에 할당된다. "~ 위에 하나의 손가락" 제스처는 "시작/종료" 커맨드에 상응할 수 있고, 음성 레코더 애플리케이션 등에 할당된다.
[53] 대안적으로, 글로벌 제스처 룩업 테이블(예를 들어, 표 2)은 사용자 디바이스의 현재 출력 상태에 기초하여 커맨드들을 할당할 수 있지만, 영향을 받는 애플리케이션의 포커스에 관련되지 않을 수 있다.
제스처 커맨드 애플리케이션
가림 묵음/일시중지/뮤트 만약 통화 중에 있지 않다면, 현재 플레이 중인 오디오에 적용, 예를 들어, 벨소리, 알람-묵음, Pandora, MP3=일시중지...
만약 통화 중에 있다면, 마이크로폰을 계속 뮤팅
우측으로 스와이핑 생략하고 다음 노래로 감 현재 플레이 중인 뮤직 플레이어. 예를 들어, 판도라, MP3 플레이어...
위로 스와이핑 출력을 증가 만약 오디오가 임의의 애플리케이션으로부터 플레이되고 있다면, 볼륨을 증가(통화, 뮤직, 비디오, 네비게이션 등)
만약 오디오가 플레이 중이 아니라면, 밝기를 증가(설정들)
위에 하나의 손가락 포커스 애플리케이션을 스와핑 이전에 포커싱된 애플리케이션(반복적으로 사용됨, 애플리케이션들 사이의 토글들)
표 2 : 출력 상태에 기초한 예시적인 할당들
[54] 표 2에 예시된 바와 같이, "가림" 제스처는 사용자 디바이스의 현재 출력에 기초한 애플리케이션에 따라 "묵음", "일시중지" 또는 "뮤트" 커맨드에 상응할 수 있다. 예를 들어, 만약 사용자 디바이스가 전화 통화 애플리케이션을 실행하고 있지 않다면, "가림" 제스처가 벨소리, 알람("묵음" 커맨드를 적용), 또는 PandoraTM 또는 MP3TM("일시중지" 커맨드를 적용)와 같은 다른 오디오 플레이 애플리케이션에 적용될 수 있다. 만약 사용자 디바이스가 전화 통화 애플리케이션을 실행하고 있다면, "뮤트" 커맨드가 적용될 수 있다(표 1의 예에서 예시된 바와 같이).
[55] 일부 실시예들에서, 하나 이상의 애플리케이션들은, 제스처가 검출되었을 때, 위의 룩업 테이블들 중 하나 또는 둘 모두와 같은 룩업 테이블들에 액세스할 수 있다. 그러한 액세스는 예를 들어 애플리케이션 프로그래밍 인터페이스(API)를 통해 어떤 제스처 커맨드를 적용할지에 대해서 통보 받을 수 있다. 일부 실시예들에서, API는 또한 제스처와의 충돌이 존재하는지 여부 및 만약 충돌이 존재한다면 그 충돌을 어떻게 중재하거나 해결할지를 예를 들어 룩업 테이블(들)에 기초하여 표시할 수 있다.
[56] 도 4를 다시 참조하면, 블록(404)에서, 시스템은 글로벌 제스처 룩업 테이블의 연관된 제스처들을 가질 수 있는 제 1 애플리케이션(예를 들어, API)을 개시하기 위해 (예를 들어, 도 7에 예시된 입력 컴포넌트(1516)를 통해) 사용자로부터 입력들을 수신할 수 있다. 예를 들어, 사용자는 연관된 제스처들을 가질 수 있는 전화 통화를 시작하길 원할 수 있는데, 예를 들면 "가림" 제스처는 표 1의 예에서 설명된 바와 같은 전화 통화의 "뮤트/비뮤트"에 상응할 수 있다. 일부 실시예들에서, 블록들(402 및 404)은 역순으로 수행될 수 있다. 예를 들어, 402에서 잠재적인 제스처들을 애플리케이션들에 먼저 맵핑하는 것 대신에, 애플리케이션은 제스처들, 커맨드들 및 애플리케이션 간의 연관성들을 저장할 수 있는 스택, 룩업 테이블(들), 데이터베이스 및/또는 다른 엘리먼트에 그 애플리케이션에 의해 수락된 제스처들을 추가할 수 있는 서비스에 등록할 수 있다. 다양한 실시예들에서, 애플리케이션을 개시할 시, 시스템은 예를 들어 도 7에 예시된 저장 컴포넌트(1508)에 저장될 수 있는 위에 설명된 표 1 또는 표 2와 같은 제스처 룩업 테이블에 제공되는 연관된 제스처들을 애플리케이션이 가짐을 표시하거나 검증할 수 있다. 일부 실시예들에서, 글로벌 제스처 룩업 테이블(들)에 대한 액세스는 도 7에 예시된 디스플레이 컴포넌트(1514)를 통해서 예를 들어 링크, 아이콘, 팝업 윈도우, 소형 윈도우 등의 형태로 제공될 수 있음으로써, 사용자는 임의의 정해진 시간에 어떤 제스처가 이용가능한지를 결정하고, 어떤 맵핑들이 룩업 테이블에서 생성되었는지를 결정하고 및/또는 테이블에서 연관성들을 편집할 수 있다. 그러나, 일부 실시예들에서, 테이블(들)은 사용자에게 액세스가능하지 않다. 일부 그러한 실시예들에서, 테이블(들)은 제스처들, 커맨드들, 및 애플리케이션들 간의 연관성을 관리할 수 있는 위에 설명된 바와 같은 제스처들 및/또는 서비스를 수락하도록 구성되는 애플리케이션 또는 프로그램에 의해 단지 액세스될 수 있다. 일부 실시예들에서, 테이블(들)에 기초한 사용자 인터페이스는 사용자로 하여금 복수의 제스처 커맨드 연관성들 간의 충돌 또는 잠재적인 충동들을 해결하도록 허용하기 위해서 그 사용자에게 디스플레이될 수 있다.
[57] 블록(406)에서, 시스템은 제 2 애플리케이션(APP2)을 개시하기 위해 (예를 들어, 도 7에 예시된 입력 컴포넌트(1516)를 통해) 사용자로부터 입력들을 수신할 수 있다. 제 2 애플리케이션(APP2)은 포커싱된 애플리케이션이 되며, (예를 들어, 도 7에 예시된 디스플레이 컴포넌트(1514)를 통해) 사용자 디바이스 인터페이스 상에 디스플레이된다. APP2는 터치 입력 및/또는 비-터치 또는 제스처 입력들을 비롯해서 임의의 수의 양식들로부터의 입력들을 수신할 수 있다.
[58] 블록(408)에서는, 선택적으로, 사용자 인터페이스(예를 들어, 도 7에 예시된 디스플레이 컴포넌트(1514))는, 제스처들이 이용가능하는 것 및 그 제스처들이 제 1 애플리케이션 APP1에 영향을 줄 수 있다는 것을 표시할 수 있다. 예를 들어, 헤더의 아이콘, 예를 들어 도 2의 예에 예시된 아이콘(216)과 같은 아이콘이 떠 있거나 제공되거나 디스플레이될 수 있다.
[59] 블록(410)에서, 사용자 입력들이 (예를 들어, 도 7에 예시된 입력 컴포넌트(1516)를 통해) 수신될 수 있고, 여기서 사용자는 비-터치 제스처 X(예를 들어, 실시예에 따라 표 1 또는 표 2에서 위에 나열된 제스처들 중 하나)를 수행한다.
[60] 블록(412)에서, 제 1 애플리케이션 APP1 상에서 수행되는 할당된 입력 커맨드 X는 제 2 애플리케이션이 포커스에서 유지되는 동안에 검출될 수 있다. 예를 들어, 사용자에 의해 수행되는 "가림" 제스처는 검출될 수 있고, "뮤트"에 대한 상응하는 커맨드가 사용자 디바이스가 포커싱된 애플리케이션 APP2를 (예를 들어, 도 7에 예시된 디스플레이 컴포넌트(1514)를 통해) 디스플레이하고 있는 동안에 전화 통화(APP1)에 (예를 들어, 도 7에 예시된 프로세싱 컴포넌트(1504)를 통해) 적용될 수 있다.
[61] 이제 도 5를 참조하면, 블록도는 본 개시의 실시예에 따른, 활성 제스처 애플리케이션 선택을 처리하는 것을 예시한다. 포어그라운드 애플리케이션 및 백그라운드 애플리케이션이 비-터치 제스처 이벤트와 같은 적어도 하나의 공통 상호작용식 입력 이벤트에 대해 등록되는 실시예들에서, 사용자는 어떤 애플리케이션이 상호작용식 입력(즉, 비-터치 제스처) 이벤트를 수신해야 하는지를 식별하기 위해 인에이블될 수 있다.
[62] 블록(502)에서, 시스템은 포어그라운드 애플리케이션 및 백그라운드 애플리케이션이 적어도 하나의 공통 상호작용식 입력(예를 들어, 비-터치 제스처)에 대해 등록되는 경우에 활성 제스처 애플리케이션을 처리하기 시작할 수 있다.
[63] 블록(504)에서, 시스템은 제어할 백그라운드 애플리케이션을 지정하는 제스처가 검출되었는지 여부를 결정한다. 사용자는 백그라운드 태스크 또는 애플리케이션을 제어하길 원할 수 있다. 예를 들어, 하나 이상의 실시예들에 따라 블록들(508 내지 514)과 관련하여 아래에서 더 상세히 설명될 바와 같이 백그라운드 애플리케이션이 입력들이 영향을 받을 수 있거나 제어될 것임을 표시하는 사용자 디바이스 인터페이스를 통해(예를 들어, 도7에 예시된 입력 컴포넌트(1516)를 통해) 수신될 수 있다. 블록들(508 내지 514)은 제어할 백그라운드 애플리케이션을 지정하는 제스처가 검출되었는지 여부를 결정하는 상이한 실시예들 및 그에 응답하기 위한 실시예들을 제시한다. 그러나, 이러한 블록들은 반드시 동시에 수행되지 않으며, 그 블록들은 반드시 상호 배타적인 실시예들을 포함하지도 않는다. 게다가, 제어할 백그라운드 애플리케이션을 지정하는 제스처가 검출되었는지 여부를 결정하고 및/또는 그러한 애플리케이션을 제어하기 위해 다른 프로세스들이 사용될 수 있기 때문에 그 블록들은 총망라적이지 않다.
[64] 블록(506)에서, 만약 제어할 백그라운드 애플리케이션을 지정하는 제스처가 검출되지 않는다면(예를 들어, 사용자가 백그라운드 태스크를 제어하길 원하지 않는다면), 상호작용식 입력 연결, 예를 들어, 제스처 연결이 "포커스"에 있는 애플리케이션, 예를 들어 사용자 디바이스 인터페이스 상에서 디스플레이되는 애플리케이션에 대해 디폴적으로 우선순위를 갖도록 하기 위해서, 디폴트적인 애플리케이션 선택이 발생할 수 있다. 이를테면, 만약 사용자가 참여 포즈에서 자신의 손을 들고 있는 것과 같은 비-터치 제스처 이벤트를 사용자가 사용한다면, 포커스에 있는 애플리케이션은 그 참여 포즈를 수신하고, 동일한 제스처에 대해 등록될 수 있는 백그라운드 태스크에 대해 고려하지 않고 자신이 보통 하는 것처럼 응답한다. 그렇지 않고, 만약 사용자가 백그라운드 태스크를 제어하길 원한다면, 아래의 사항들을 비롯해서 몇몇 옵션들이 존재할 수 있다.
[65] 블록(508)에서, 만약 사용자가 미리 결정된 시간 기간 동안 참여 포즈를 유지하였는 것이 검출되었다면, 사용자로 하여금 백그라운드 애플리케이션을 제어하기 위해 스위칭하도록 허용하는 오버레이 시스템이 디스플레이될 수 있다. 예를 들어, 상호작용식 입력이 참여 제스처를 포함하는 실시예에서, 시스템은 미리 결정된 시간 기간, 예를 들어 포어그라운드 애플리케이션의 참여를 위해 필요한 시간에 대해 연장된 시간 기간 동안 유지되는 사용자의 참여 제스처 포즈(예를 들어, 2-3초 동안 사용자 인터페이스 앞에서 유지되는 핀 손)을 검출할 수 있다. 따라서, 특정 시간 기간 동안에 참여 포즈를 유지하는 것은 포어그라운드 애플리케이션에 참여할 수 있는데 반해, 더 긴 시간 기간 동안에 참여 포즈를 유지하는 것은 백그라운드 애플리케이션에 참여할 수 있다. 다양한 실시예들에서, 포어그라운드 애플리케이션 또는 백그라운드 애플리케이션에 참여하기 위한 피드백이 제공될수 있는데, 예를 들어, 포어그라운드 애플리케이션이 참여될 때는 백그라운드 애플리케이션이 참여될 때는 한번의 경고음(beep)이 존재할 수 있거나 백그라운드가 참여될 때는 두번의 경고음들이 존재할 수 있다. 다른 실시예들에서는, 포어그라운드 애프리케이션이 참여될 때는 아이콘이 나타날 수 있고, 백그라운드 애플리케이션이 참여될 때는 아이콘이 예를 들어 악보집들(또는 어떤 애플리케이션이 제어되고 있는지에 대한 다른 표시)을 갖도록 보강될 수 있다. 즉, 실시예에서, 백그라운드 애플리케이션의 참여에 상응할 수 있는, 미리 결정된 시간 기간 동안에 유지되는 사용자의 참여 제스처 포즈의 검출에 후속해서 제스처 오버레이 시스템이 "시스템 모드"로 진입할 수 있는데, "시스템 모드"에서는 제스처 오버레이 시스템이 제스처 선택가능 애플리케이션 아이콘을 디스플레이하여 사용자로 하여금 백그라운드 애플리케이션을 제어하기 위해 그 제스처 시스템을 스위칭하도록 허용한다. 예를 들어, 제스처 오버레이 시스템은 예컨대 사용자 디바이스의 스크린 상에 중첩되는 빛나는 파란색 아이콘을 포함할 수 있다. 오버레이의 다른 예들은 도 2의 예에 예시된 제스처 아이콘(216)과 같은 아이콘 또는 박스를 포함할 수 있는데, 그 아이콘 또는 박스는 사용자 디바이스의 인터페이스 또는 스크린의 위에 떠 있는 것으로 보일 수있다. 제스처 아이콘(216)과 같은 아이콘은, 애플리케이션이 백그라운드에서 계속 실행될 수 있고 특정 제스처 입력들(예를 들어, 뮤직 애플리케이션)과 연관될 수 있음을 표시할 수 있다. 일반적으로, 제스처 오버레이 시스템은 백그라운드 애플리케이션이 제스처 입력들과 연관되고 이를 통해 제어될 수 있음을 표시하기 위해 임의의 형태, 사이즈 또는 영상을 가질 수 있다. 특히, 음성 또는 다른 프로세서들 또는 타입들의 입력들이 또한 활성 제스처 애플리케이션을 선택하는데 사용될 수 있다. 일부 실시예들에서는, 어떤 백그라운드 애플리케이션이 제어되고 있는지를 표시하는 오버레이를 나타내는 대신에, 복수의 선택가능 아이콘들(각각은 백그라운드 애플리케이션에 상응함)이 사용자가 어떤 백그라운드 애플리케이션을 제어할지 선택할 수 있도록 오버레이에 디스플레이될 수 있다.
[66] 블록(510)에서, 만약 사용자가 미리 결정된 시간 기간 동안 참여 포즈를 유지하였음이 검출된다면, 시스템(150)은 포어그라운드 애플리케이션에 대한 포커스를 느슨하게 하지 않으면서 백그라운드 애플리케이션에 대한 제스처 제어 애플리케이션을 제어하기 위해 스위칭할 수 있다. 사용자에 의한 상호작용식 입력이 참여 제스처를 포함하는 실시예에서, 시스템은 포어그라운드 애플리케이션의 참여를 위해 필요한 시간에 대해서 미리 결정된 또는 연장된 시간 기간 동안 유지되는 사용자의 참여 제스처 포즈(예를 들어, 2-3초 동안 사용자 인터페이스 앞에서 유지되는 핀 손)를 검출할 수 있다. 따라서, 특정 시간 기간 동안 유지되는 참여 포즈를 검출하는 것은 포어그라운드 애플리케이션을 참여할 수 있는데 반해, 더 긴 시간 기간 동안 유지되는 참여 포즈를 검출하는 것은 백그라운드 애플리케이션을 참여할 수 있다. 다양한 실시예들에서, 포어그라운드 애플리케이션 또는 백그라운드 애플리케이션을 참여하기 위해 피드백이 제공될 수 있는데, 예를 들어, 포어그라운드 애플리케이션이 참여될 때는 한번의 경고음이 있을 수 있거나 백그라운드 애플리케이션이 참여될 때는 두번의 경고음들이 있을 수 있다. 다른 실시예들에서는, 포어그라운드 애프리케이션이 참여될 때는 아이콘이 나타날 수 있고, 백그라운드 애플리케이션이 참여될 때는 아이콘이 예를 들어 악보집들(또는 어떤 애플리케이션이 제어되고 있는지에 대한 다른 표시)을 갖도록 보강될 수 있다. 즉, 실시예에서, 백그라운드 애플리케이션의 참여에 상응할 수 있는, 연장된 시간 기간 동안에 유지되는 사용자의 참여 제스처 포즈의 검출에 후속해서 시스템이 백그라운드 태스크에서 제스처 애플리케이션으로 자동으로 스위칭할 있다. 이 경우에, 사용자 인터페이스는 포어그라운드 애플리케이션에 대한 포커스를 잃지 않으면서 백그라운드 애플리케이션의 오버레이를 반영하도록 변경할 수 있거나, 사용자 인터페이스는 다른 타입의 시각 또는 청각 프로세스들을 사용하여 제어가 변경하였음을 반영할 수있다.
[67] 다양한 실시예들에서, 오버레이 시스템은 예를 들어 사용자 디바이스의 스크린 상에 중첩되는 빛나는 아이콘을 포함할 수 있다. 오버레이의 다른 예들은 도 2의 예에 예시된 아이콘(216)과 같은 아이콘 또는 박스를 포함할 수 있는데, 그 아이콘 또는 박스는 사용자 디바이스의 인터페이스 또는 스크린의 위에 떠 있는 것으로 보일 수 있다
[68] 실시예들에서는, 제스처 이벤트들을 위해 등록된 몇몇 백그라운드 애플리케이션들이 존재할 수 있는 경우, 이러한 애플리케이션들은 필요한 경우 순차적으로 단계적으로 이루어질 수 있다. 대안적으로, "휠(wheel) 제스처"가 사용자 인터페이스 상에 보일 수 있는데, 이는 사용자로 하여금 원하는 제스처 애플리케이션을 더 빨리 선택하도록 허용할 수 있다. 예를 들어, 휠 또는 아크 형태의 표현이 스크린 위에 떠 있는 것을 보일 수 있고 섹션들로 분할 될 수 있는데, 각각의 섹션은 백그라운드 애플리케이션에 상응하고, 예컨대 한 섹션 내의 악보집은 뮤직 애플리케이션에 상응할 수 있고, 다른 섹션 내의 전화 아이콘은 전화 애플리케이션에 상응할 수 있으며, 기타 등등이다. 백그라운드 애플리케이션은 예를 들어 손의 스와이프 및/또는 위치를 검출함으로써 상응하는 섹션을 선택하여 선택될 수 있다.
[69] 블록(512)에서, 만약 백그라운드 애플리케이션과 연관된 사용자 포즈가 검출되었다면, 그 백그라운드 애플리케이션은 참여된다. 실시예에서, 시스템(1500)이 몇몇 참여 제스처 포즈들을 수락하는 경우, 예를 들어, 사용자의 특정 포즈가 사용자가 그 특정 포즈와 연관된 특정 백그라운드 애플리케이션을 참여하길 원함을 의미하는 것으로 검출될 수 있다. 이를테면, 핀 손바닥 손 포즈는 항상 포어그라운드 애플리케이션을 참여할 수 있는데 반해, 두개의 손가락을 이용한 빅토리 손 포즈는 일부 실시예들에서 제 1 백그라운드 애플리케이션을 직접 참여할 수 있고, 주먹 제스처는 제 2 백그라운드 애플리케이션을 직접 참여할 수 있다. 따라서, 특정 애플리케이션들은 특정 손 포즈들에 상응하도록 고유하게 등록될 수 있고, 그로 인해서 그 특정 애플리케이션들은 특정 손 포즈가 검출될 때 항상 응답한다. 이러한 백그라운드 특정 제스처들은 선험적으로 결정될 수 있거나 및/또는 영구적일 수 있거나, 실시 시간에 결정될 수 있다.
[70] 블록(514)에서, 만약 둘 이상의 애플리케이션들 사이에서 선택하기 위한 제스처가 검출되었다면, 시스템(1500)은 애플리케이션들 사이에서 스위칭할 수 있다. 예를 들어, 실시예에서, 시스템(1500)이 복수의 상이한 제스처들을 지원하는 경우, 특정 비-터치 제스처가 둘 이상의 제스처 애플리케이션들 사이에서 선택하기 위해 할당될 수 있다. 이를테면, 만약 시계 방향으로의 "서클" 제스처가 단지 이러한 목적에 할당된다면, "서클" 제스처가 검출될 때, 시스템은 등록된 제스처 애플리케이션들의 리스트에서 다른 제스처 애플리케이션 또는 다음 제스처 애플리케이션을 선택할 수 있다.
[71] 활성 제스처 애플리케이션 선택을 처리하기 위한 상이한 가능성들에서는, 포어그라운드 애플리케이션 및 백그라운드 애플리케이션이 하나 이상의 실시예들에 따른 위에 설명된 적어도 하나의 공통 제스처 이벤트를 위해 등록되는 경우, 만약 어떤 백그라운드 제스처 애플리케이션도 존재하지 않는다면, 포괄적인 "시스템 제스처 메뉴" 또는 "휠 제스처"가 보일 수 있고, 이것은 한 손으로 스와피핑될 수 있고, 애플리케이션 론처 또는 다른 디폴트 작동(예를 들어, 폰 다이얼러, 음성 레코더 등)으로서 사용될 수 있다는 것이 주시되어야 한다.
[72] 일부 실시예들에서, 백그라운드 태스크로서 본원에서 지칭되는 태스크는 2차 디바이스 또는 모니터 상에서 실행되거나 및/또는 디스플레이되는 태스크를 포함한다. 2차 디바이스 또는 디스플레이에 영향을 주거나 및/또는 제어하는 제스처들이 시스템(1500) 상에서 실행되거나 및/또는 디스플레이되는 포어그라운드 애프리케이션의 동작에 영향을 주지 않으면서 일부 이러한 실시예들에서 시스템(1500)에 의해 검출될 수 있다. 예를 들어, 사용자는 2차 태스크가 디스플레이되는 데이터를 제어하고 있는 2차 디스플레이 디바이스를 가질 수 있다. 2차 디스플레이 디바이스는 일부 실시예들에서 한 쌍의 안경들에 통합된 헤드업 디스플레이, 또는 시계에 통합된 디스플레이, 또는 TV 또는 다른 대형 디스플레이로의 무선 링크일 수 있다. 이러한 예에서, 1차 디스플레이는 사용자가 선택하는 임의의 1차 태스크를 위해 사용될 수 있지만, 동시에 사용자는 제스처들을 통해 2차 디스플레이 상에서 2차 태스크들을 제어하도록 인에이블될 것이다. 일부 이러한 구현들에서, 제스처 검출을 위해 사용되는 하드웨어는 2차 디스플레이와 연관되거나 1차 디스플레이에 통합될 수 있다. 시스템은 1차 디바이스 디스플레이 상에서 1차 태스크의 동작을 간섭하지 않으면서 사용자 제스처들에 기초하여 2차 태스크를 제어할 수도 있다. 일부 실시예들에서, 제스처들과 연관된 임의의 아이콘들 또는 사용자 인터페이스 컴포넌트들이 제스처 제어 옵션들에 대해 사용자를 또한 안내하기 위해서 1차 디스플레이 상에서 보다는 오히려 2차 디스플레이의 부분으로서 디스플레이될 수 있다.
[73] 하나 이상의 실시예들에 따라, 활성 제스처 애플리케이션 선택을 처리하기 위한 위에 설명된 가능성들 중 임의의 가능성에 대해, 포어그라운드 애플리케이션 및 백그라운드 애플리케이션이 적어도 하나의 공통 제스처 이벤트를 위해 등록되는 경우, "스티키(sitcky) 제스처들"로서 지칭될 수 있는 기능을 사용하는 것이 가능할 수 있다. 이와 관련하여, "스티키 제스처들"은 참여의 통지를 수신하는 애플리케이션이 상이한 방식들로 사용자에 의해 선택될 수 있는 다른 제스처들을 수신할 수 있는 경우들을 지칭할 수 있는데, 그 방식들은 예를 들어 다음을 포함한다:
[74] A. 실시예에서, 어떤 애플리케이션이 제스처를 수신하는지를 사용자가 식별하기 위한 한 방법은 애플리케이션이 시스템 설정으로서 명백히 구성되는 단계를 포함할 수 있다. 예로서, 사용자는, "만약 나의 뮤직 애플리케이션이 백그라운드에서 실행되고 있다면, 모든 제스처들이 그것으로 라우팅되도록" 제스처 시스템을 구성할 수 있다. 이는 사용자가 명백히 모드들을 변경하지 않는 한 포어그라운드 애플리케이션이 임의의 제스처들을 수신하는 것을 막을 수 있다.
[75] B. 다른 실시예에서, 어떤 애플리케이션이 비-터치 제스처드를 수신하는지를 사용자가 식별하기 위한 방법은 제스처 참여가 발생할 때마다 그리고 제스처 시스템으로부터 이벤트들을 수신하기 위해 등록된 하나 초과의 애플리케이션이 존재할 때마다 프롬프트를 발생하는 단계를 포함할 수 있다. 이 때에, 사용자는 비-터치 제스처들과 같은 상호작용식 입력들을 사용함으로써 또는 임의의 제공되는 선택 프로세스를 통해 백그라운드 애플리케이션 또는 포어그라운드 애플리케이션 중 어느 하나를 선택할 수 있다. 일단 사용자가 선택된 애플리케이션과의 제스처 상호작용을 마치면, 시스템은 i) 제스처 참여가 발생하는 다음 시간에 시스템이 마지막 선택된 애플리케이션에 자동으로 연결할 수 있도록 "스티키 제스처터들"을 인에이블하거나; 또는 ii) 언제든지 프롬프팅하도록 구성될 수 있거나, 또는 iii) 제스처 시스템을 위해 등록된 애플리케이션들의 리스트에서 변화가 있는 경우 프롬프팅하도록 구성될 수 있다.
[76] C. 또 다른 실시예에서, 어떤 애플리케이션이 비-터치 제스처들을 수신하는지를 사용자가 식별하기 위한 다른 방법은 "연장된 참여" 기술을 "스티키 제스처들"과 결합하는 단계를 포함할 수있다. 이러한 실시예에서, 새롭게 실행되는 애플리케이션을 갖는 제 1 참여는 그 자신의 제스처 인터페이스를 브링업할 수 있다. 만약 사용자가 참여를 연장하였거나(예를 들어, 손을 정지상태로 유지함으로써) 그렇지 않으면 모드들을 스위칭하고자 하는 바램을 시그널링하였다면, 사용자는 백그라운드 애플리케이션들 중 하나에 액세스할 수 있다. 다은 참여 시에, "스티키 제스처들"은 동작 중일 수 있고, 제스처 시스템이 앞서 선택된 애플리케이션에 직접 연결할 수 있다. 사용자는 연장된 참여를 이 때에 반복하거나 원한다면 포어그라운드 애플리케이션으로 되돌아가기로 선택할 수 있다.
[77] 이제 도 6을 참조하면, 도면은 본 개시의 실시예에 따른, 백그라운드 태스크 제스처를 처리하는 예를 예시한다. 이러한 실시예는 도 2의 실시예에 예시된 방법과 유사하게 구현될 수 있다. 예를 들어, 602에서는, 초기 상태 A에서, 뮤직 애플리케이션이 플레이 중일 수 있고, 3가지 제스처들, 좌, 우 및 위에 대해 등록될 수 있다. 이러한 실시예에서, 좌는 뮤직 애플리케이션이 한 트랙 뒤로 가도록 야기할 수 있고, 우는 뮤직 애플리케이션이 한 트랙 앞으로 가도록 야기할 수 있으며, 위는 뮤직 애플리케이션이 뮤직 재생을 일시중지하도록 야기할 수 있다.
[78] 604에서는, 상태 B에서, 전화 통화가 수신될 수 있다. 전화 통화 애플리케이션은 우선순위를 갖고 좌 및 우 제스처들에 대해 등록할 수 있다. 이러한 상태 B에서, 좌 및 우 제스처들은 뮤직 애플리케이션에 더 이상은 포워딩되거나 적용될 수 없고, 대신에 전화 통화에 응답(우 제스처)하거나 전화 통화를 음성 메일에 송신(좌 제스처)하는데 사용될 수 있다. 만약 전화 벨이 울리는 동안에 사용자가 위 제스처를 했다면, 위 제스처는 아직 백그라운드 애플리케이션에 포워딩되고 적용되기 때문에 뮤직이 일시 중지할 것이다. 일단 전화 통화가 완료되면, 시스템은 단지 뮤직 애플리케이션이 제스 처 이벤트들을 위해 등록되는 상태 C(606)로 돌아가고, 그에 따라서 우, 좌 및 위 제스처들 모두는 뮤직 애플리케이션에 포워딩되고 적용될 수 있다.
[79] 본 개시의 하나 이상의 실시예들에 따라, 시스템에서 제스처 데이터를 관리할 수 있는 제스처 서비스가 구현될 수 있다. 제스처 서비스는 어떤 애플리케이션이 어떤 제스처들을 활용하는지를 추적하거나 및/또는 유사한 제스처들을 사용하는 애플리케이션들 간의 잠재적인 충돌을 해결할 수 있다. 제스처 서비스는 특정 비-터치 제스처들을 특정 애플리케이션들과 연관시키거나, 또는 특정 비-터치 제스처에 대한 각각의 애플리케이션이 론칭할 때 그 애플리케이션을 등록하고 그 애플리케이션이 종료할 때 특정 비-터치 제스처들을 비등록하도록 구성될 수 있다.
[80] 단지 하나의 제스처 애플리케이션이 실행되고 있는 실시예에서, 서비스는 자신이 등록한 모든 메시지들을 그 애플리케이션에 간단히 송신할 수 있다. 새로운 애플리케이션이 론징하고 포어그라운드 애플리케이션이 되며, 앞서 등록된 제스처 애플리케이션이 계속 실행되지만 지금 백그라운드(예를 들어, 뮤직 플레이어 애플리케이션)에 있는 다른 실시예에서는, 포어그라운드 애플리케이션이 그와 연관된 모든 제스처 이벤트들에 대해 우선순위를 가질 수 있다. 이로써, 만약 포어그라운드 애플리케이션이 그에 대해 등록한 동일한 비-터치 제스처 이벤트들에 대해 백그라운드 애플리케이션이 등록하였다면, 포어그라운드 애플리케이션은 백그라운드 애플리케이션 대신에 그러한 비-터치 제스처 이벤트들을 수신할 수 있다. 만약 백그라운드 애플리케이션이 그에 대해 등록되었지만 포어그라운드 애플리케이션은 그에 대해 등록되지 않은 임의의 비-터치 제스처 이벤트들이 존재한다면, 백그라운드 애플리케이션은 이러한 비-터치 제스처 이벤트들을 계속 수신할 수 있다. 만약 포어그라운드 애플리케이션이 멈추거나 종료하였다면, 백그라운드 애플리케이션은 포어그라운드 애플리케이션에 의해 가로채진 그러한 제스처들 중 임의의 제스처의 1차 수신기로서 복구될 수 있다. 다른 실시예에서, 제스처를 등록할 제 1 애플리케이션은 제스처들의 제어를 유지할 수 있다. 또 다른 실시예에서, 사용자는 충돌이 존재할 때 어떤 애플리케이션이 특정 제스처에 의해 제어되는지를 선택하도록 프롬프팅될 수 있다. 다른 실시예에서, 제스처를 "소유"하는 애플리케이션은 애플리케이션의 사용 빈도, 중요도(예를 들어, 긴급 응답 기능이 뮤직보다 더 중요함), 또는 임의의 부류의 계층 또는 우선순위에 기초하여 할당될 수 있다.
[81] 실시예에서, 사용자가 백그라운드 애플리케이션에 대한 비-터치 제스처 이벤트들을 입력하길 원하는 경우, 및 비-터치 제스처 이벤트들이 또한 포어그라운드 애플리케이션에 등록된 경우, 서비스는 예를 들어 도 5의 실시예에 대해 위에서 설명된 바와 같은 제스처 메시지 스위칭을 구현하기 위한 메커니즘을 제공할 수 있다. 이를 구현하기 위한 일예는 연장된 비-터치 제스처, 이를테면 연장된 시간 기간 동안 유지되는 정적 손 포즈나 고유 손 포즈와 같은 커스넘 포즈, 또는 특정 "제스처 모드 오버레이"를 인보크하기 위한 임의의 다른 메커니즘을 사용할 수 있다. 오버레이는 현재 포어그라운드 애플리케이션에 영향을 주지 않으면서 현재 디스플레이 상의 모든 것 위에 서비스에 의해서 도출되거나 떠 있을 수 있다. 오버레이는 어떤 애플리케이션이 현재 수신할 것인지를 표시할 수 있거나, 제스처 입력들을 수신하도록 선택될 수 있는 복수의 애플리케이션들(백그라운드 및/또는 포어그라운드)을 표시할 수있다. 일단 시스템이 특정 제스처 모드 오버레이 상태에 있으면, 사용자는 어떤 애플리케이션이 제스처들을 수신해야 하는지를 선택하도록 프롬프팅될 수 있다. 예로서, 두 애플리케이션들(포어그라운드 및 백그라운드)에 대한 아이콘들이 보일 수 있고, 사용자는 한 쪽 또는 다른 쪽으로의 간단한 제스처를 통해 이들을 선택할 수 있다. 대안적으로, 매우 많은 수의 옵션들이 보일 수 있고, 사용자는 스크린을 터치하지 않고도 자신의 손을 이동시키고 원하는 옵션을 선택하기 위해 커서를 제어할 수 있다. 일단 사용자가 원하는 옵션(이를테면, 백그라운드 애플리케이션)을 선택하면, 서비스는 백그라운드 애플리케이션이 더 높은 우선순위 서비스를 갖도록하기 위해서 등록된 제스처들의 우선순위를 변경할 수 있고, 그것은 포어그라운드 애플리케이션에 의해 이전에 가로채였던 제스처 메시지들을 수신하기 시작할 수 있다. 이러한 "스티키" 제스처 모드는, 사용자가 제스처 모드 오버레이를 사용하여 명백히 우선순위를 변경할 때까지나 또는 애플리케이션들 중 하나가 종료하면, 계속 시행될 수 있다.
[82] 하나 이상의 실시예들에서, 애플리케이션과 연관된 제스처들의 리스트, 라이브러리 또는 보케블러리는 등록하는 애플리케이션에 따라 변할 수 있다. 예를 들어, 뮤직 애플리케이션은 좌, 우 움직임들을 포함하는 제스처들에 대해 등록될 수 있고, 여기서 좌는 뮤직 애플리케이션이 한 트랙 뒤로 가게 야기할 수 있고, 우는 뮤직 애플리케이션이 한 트랙 앞으로 가게 야기할 수 있다. 이어서, 전화 애플리케이션도 또한 좌, 우 움직임들을 포함하는 제스처에 대해 등록할 수 있고, 여기서 좌는 전화 애플리케이션이 통화를 음성 메일로 송신하게 야기할 수 있고, 우는 전화 애플리케이션이 전화 통화에 응답하게 야기할 수 있다. 일부 실시예들에서, 좌 및 우와 연관된 커맨드들은 전화 애플리케이션이 등록할 때 변할 것이다. 게다가, 만약 브라우저 애플리케이션이 이어서 웹페이지를 리프리시하기 위한 서클 제스처 및 웹페이지를 북마크하기 위한 업 움직임을 포함하는 제스처들에 대해 등록하였다면, 단지 뮤직 애플리케이션 및 전화 애플리케이션이 등록되었을 때와 비교해서 추가적인 제스처들이 사용자에 의한 사용을 위해 이용가능할 수 있다. 이로써, 제스처들의 리스트, 라이브러리 또는 보케블러리는 등록된 애플리케이션들(또는 그들의 우선순위)에 기초하여 변할 수 있다.
[83] 본 개시의 하나 이상의 실시예들에 따라, 시스템은 애플리케이션과 연관된 액션들의 통지들을 제공할 수 있는데, 예를 들어, 새로운 이메일이 수신될 때 또는 새로운 노래가 플레이하기 시작할 때, 팝업 통지가 사용자 디바이스의 스크린 상에, 예를 들어 디스플레이의 코너의 에지 근처에 디스플레이될 수 있다. 팝업 통지와 연관된 애플리케이션은, 팝업 통지가 스크린 상에 나타난 이후에 또는 팝업 통지가 디스플레이되고 있을 때, 특정 양의 시간(예를 들어, 3-5초) 동안 제스처들에 대한 우선순위를 가질 수 있다. 사용자는 특정 제스처를 갖는 팝업 통지를 묵살할 옵션을 가질 수 있거나, 그렇지 않다면 자신이 팝업 통지와 연관된 애플리케이션을 제어하길 원함을 표시할 수 있다.
[84] 유리하게, 본 개시의 하나 이상의 실시예들에 따라, 백그라운드 애플리케이션들은, 그 애플리케이션이 포커스에 있지 않더라도, 연관된 커맨드들에 의해 제어될 수 있다. 더욱이, 사용자가 구두 커맨드를 기억해서 말해야만 할 수도 있는 경우에는 음성 커맨드들 또는 버튼들과 같은 전용 인터페이스를 사용하는 통상적인 시스템들과는 달리, 본원의 실시예에서는, 제한된 수의 제스처들이 상이한 애플리케이션들에 동시에 할당될 수 있고, 이는 그것들을 사용자가 더 쉽게 기억하게 할 수 있다. 따라서, 이용가능한 제스처 보케블러리가 작은 경우라도, 사용자는 다수의 애플리케이션들과 효과적으로 상호작용할 수 있다.
[85] 이제 도 7을 참조하면, 디바이스를 구현하기 위한 시스템의 블록도가 본 개시의 실시예에 따라 예시된다.
[86] 본원에 개시된 방법들 및 시스템들은 매우 다양한 전자 시스템들 또는 디바이스들에 의해 구현되거나 또는 그들에 통합될 수 있음이 이해될 것이다. 예를 들어, 시스템(500)은 모바일 디바이스, 스마트 폰, PDA(Personal Digital Assistant), 테블릿, 랩톱, 개인용 컴퓨터, TV 등과 같은 유선 또는 무선 디바이스들을 포함한 임의의 타입의 디바이스를 구현하는데 사용될 수 있다. 뮤직 플레이어, 비디오 플레이어, 통신 디바이스, 네트워크 서버 등과 같은 다른 예시적인 전자 시스템들이 또한 본 개시에 따라 구성될 수 있다.
[87] 시스템(1500)은 다양한 사용자 디바이스들을 포함하는 본 개시의 실시예들을 구현하는데 적절할 수 있다. 예를 들어 스마트폰, 테블릿, 개인용 컴퓨터 및/또는 네트워크 서버인 디바이스의 일부와 같은 시스템(1500)은 정보를 통신하기 위한 버스(1502) 또는 다른 통신 메커니즘을 포함하고, 그 버스 또는 다른 통신 메커니즘은 서브시스템들 및 컴포넌트들을 상호연결하며, 그 서브시스템들 및 컴포넌트들은 프로세싱 컴포넌트(1504)(예를 들어, 프로세서, 마이크로-제어기, 디지털 신호 프로세서(DSP) 등), 시스템 메모리 컴포넌트(1506)(예를 들어, RAM), 정적 저장 컴포넌트(1508)(예를 들어, ROM), 네트워크 인터페이스 컴포넌트(1512), 디스플레이 컴포넌트(1514)(또는 대안적으로, 외부 디스플레이로의 인터페이스), 입력 컴포넌트(1516)(예를 들어, 키패드 또는 키보드, 터치 스크린과 같은 상호작용식 입력 컴포넌트, 제스처 인식부 등), 및 커서 제어 컴포넌트(1518)(예를 들어, 마우스 패드) 중 하나 이상을 포함한다. 하나 이상의 실시예들에 따라 위에서 설명된 바와 같이, 애플리케이션은 디스플레이 컴포넌트(1514)를 통해 디스플레이될 수 있는데 반해, 다른 애플리케이션은 예를 들어 프로세싱 컴포넌트(1504)에 의해 백그라운드에서 실행할 수 있다. 프로세싱 컴포넌트(1504)에서 구현될 수 있는 제스처 서비스들은 각각의 애플리케이션과 연관된 제스처들을 관리할 수 있는데, 그 제스처들은 입력 컴포넌트(1516)를 통해 검출될 수 있다. 다양한 실시예들에서는, 위에 설명된 표 1 및 표 2와 같은 제스처 룩업 테이블들이 저장 컴포넌트(1508)에 저장될 수 있다.
[88] 본 개시의 실시예에 따라, 시스템(1500)은 시스템 메모리 컴포넌트(1506)에 보유된 하나 이상의 명령들의 하나 이상의 시퀀스들을 실행하는 프로세싱 컴포넌트(1504)에 의한 특정 동작들을 수행한다. 그러한 명령들은 정적 저장 컴포넌트(1508)와 같은 다른 컴퓨터 판독가능 매체로부터 시스템 메모리 컴포넌트(1506)로 판독될 수 있다. 이들은 상호작용식 입력들 등을 통해 애플리케이션들 또는 태스크들을 제어하기 위한 명령들을 포함할 수 있다. 다른 실시예에서는, 본 개시의 하나 이상의 실시예들의 구현을 위한 소프트웨어 명령들을 대신하여 또는 그와 결합하여 하드-와어드 회로가 사용될 수 있다.
[89] 로직이 컴퓨터 판독가능 매체에 인코딩될 수 있는데, 그 컴퓨터 판독가능 매체는 명령들을 실행을 위한 프로세싱 컴포넌트(1504)에 제공하는데 참여하는 임의의 매체를 지칭할 수 있다. 그러한 매체는 비휘발성 매체들, 휘발성 매체들 및 전송 매체들을 포함하지만 이에 제한되지 않는 많은 형태들을 취할 수 있다. 다양한 구현들에서, 휘발성 매체들은 시스템 메모리 컴포넌트(1506)와 같은 동적 메모리를 포함하고, 전송 매체들은 버스(1502)를 포함하는 와이어들을 비롯해서 동축 케이블들, 구리선 및 광섬유들을 포함한다. 실시예에서, 전송 매체들은 라디오 파 및 적외선 데이터 통신들 동안에 생성되는 것들과 같은 음파 또는 광파의 형태를 취할 수 있다. 일부 공통 형태들의 컴퓨터 판독가능 매체들은 예를 들어 RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 반송파, 또는 컴퓨터가 판독하도록 적응되는 임의의 다른 매체를 포함한다. 컴퓨터 판독가능 매체는 비-일시적일 수 있다.
[90] 본 개시의 다양한 실시예들에서, 본 개시를 실시하기 위한 명령 시퀀스들의 실행은 시스템(1500)에 의해 수행될 수 있다. 다양한 다른 실시예들에서, 통신 링크(1520)(예를 들어, WiFi, 또는 다양한 다른 유선 또는 무선 네트워크들)에 커플링되는 복수의 시스템들(1500)은 서로 협력하여 본 개시를 실시하기 위해 명령 시퀀스들을 수행할 수 있다. 시스템(1500)은 통신 링크(1520) 및 네트워크 인터페이스 컴포넌트(1512)를 통해 하나 이상의 프로그램들(즉, 애플리케이션 코드)을 비롯해 입력들, 메시지들, 데이터, 정보 및 명령들을 수신하고 연장할 수 있다. 수신된 프로그램 코드는 디스크 구동 컴포넌트(1510) 또는 실행을 위한 임의의 다른 비-휘발성 저장 컴포넌트에 수신 및/또는 저장될 때 프로세싱 컴포넌트(1504)에 의해 실행될 수 있다.
[91] 도 8을 참조하면, 흐름도는 본 개시의 실시예에 따른, 애플리케이션을 제어하기 위한 방법을 예시한다. 도 8에 예시된 방법은 실시예에 따른 도 7에 예시된 시스템(1500)에 의해 구현될 수 있음이 주시되어야 한다.
[92] 블록(802)에서, 사용자 디바이스의 일부일 수 있는 시스템(1500)이 사용자 디바이스의 인터페이스 상에서, 예를 들어 디스플레이 컴포넌트(1514) 상에서 디스플레이되는 포어그라운드 애플리케이션을 실행할 수 있다.
[93] 블록(804)에서, 시스템은 사용자 디바이스 상에서 백그라운드의 적어도 하나의 애플리케이션을 실행할 수 있다. 애플리케이션은 백그라운드에서 실행할 수 있는데 반해, 포어그라운드 애플리케이션은 포커스에 있는데, 예를 들어 디스플레이 컴포넌트(1514)를 통해 디스플레이된다.
[94] 블록(806)에서, 시스템은 예를 들어 입력 컴포넌트(1516)를 통해 사용자 디바이스의 사용자로부터 비-터치 제스처 입력을 검출할 수 있다. 다양한 실시예들에서, 비-터치 제스처 입력들은 사용자 디바이스 인터페이스의 바로 위에서(예를 들어, 온-스크린) 또는 사용자 디바이스의 측면, 상단, 하단 또는 뒤 상에서와 같이 사용자 디바이스 인터페이스에서 떨어져서(예를 들어, 오프-스크린) 손, 손가락, 펜 등과 같은 오브젝트를 사용하는 포즈들 또는 움직임들을 포함할 수 있다. 다양한 실시예들에서, 사용자 디바이스는 주시 또는 눈 추적과 같은 상호작용식 입력 성능들을 포함할 수 있다.
[95] 블록(808)에서, 시스템은 포어그라운드 애플리케이션과 백그라운드의 적어도 하나의 애플리케이션 중 어느 것에 검출된 비-터치 제스처 입력이 적용할지를 (예를 들어, 프로세싱 컴포넌트(1504)에 의해) 결정할 수 있다.
[96] 당업자들이라면 지금쯤은 이해할 바와 같이, 당면한 특정 애플리케이션에 따라, 본 개시의 사상 및 범위로부터 벗어나지 않으면서 본 개시의 디바이스들의 재료들, 장치, 구성들 및 사용 방법들에 있어 그리고 그에 대해 많은 수정들, 대체들 및 변경들이 이루어질 수 있다. 이를 고려하여, 본 개시의 범위는 본원에 예시되고 설명된 특정 실시예들의 범위로 제한되지 않아야 하는데, 그 이유는 그 특정 실시예들은 단순히 본 개시의 일부 예들일 뿐이고, 오히려 이후에 첨부된 청구항들 및 그들의 기능적 등가물들의 범위와 완전히 상응해야 하기 때문이다.

Claims (38)

  1. 백그라운드 애플리케이션을 제어하기 위한 방법으로서,
    사용자 디바이스에 의해 수신되는 비-터치 제스처 입력을 검출하는 단계;
    상기 비-터치 제스처 입력을 백그라운드에서 실행하는 애플리케이션과 연관시키는 단계 ― 상이한 포커싱된 애플리케이션이 포어그라운드에서 실행되고 있음 ―; 및
    포어그라운드 애플리케이션에는 영향을 주지 않으면서 연관된 비-터치 제스처 입력을 통해 상기 백그라운드 애플리케이션을 제어하는 단계를 포함하는, 백그라운드 애플리케이션을 제어하기 위한 방법.
  2. 제 1항에 있어서,
    상기 포커싱된 애플리케이션은 상기 사용자 디바이스의 인터페이스 상에서 디스플레이되는, 백그라운드 애플리케이션을 제어하기 위한 방법.
  3. 제 2항에 있어서,
    상기 사용자 디바이스의 인터페이스 상에서 상기 포커싱된 애플리케이션 위에 오버레이(overlay)를 디스플레이하는 단계를 더 포함하고,
    상기 오버레이는 상기 비-터치 제스처 입력들이 상기 백그라운드 애플리케이션에 영향을 주기 위해 이용가능함을 표시하는, 백그라운드 애플리케이션을 제어하기 위한 방법.
  4. 제 1항에 있어서,
    상기 비-터치 제스처 입력은 오브젝트, 주시(gaze) 또는 눈 추적에 의한 포즈 또는 움직임을 포함하는, 백그라운드 애플리케이션을 제어하기 위한 방법.
  5. 제 1항에 있어서,
    상기 연관시키는 단계는 상응하는 특정 애플리케이션들에 대한 상응하는 커맨드들에 할당된 특정 비-터치 제스처 입력들을 표시하는 글로벌 룩업 테이블을 사용하는 단계를 포함하는, 백그라운드 애플리케이션을 제어하기 위한 방법.
  6. 제 1항에 있어서,
    상기 사용자 디바이스의 현재 출력 상태에 기초하여 애플리케이션들에 대한 상응하는 커맨드들에 비-터치 제스처 입력들을 할당하는 단계를 더 포함하는, 백그라운드 애플리케이션을 제어하기 위한 방법.
  7. 제 1항에 있어서,
    상기 포어그라운드 애플리케이션 및 상기 백그라운드 애플리케이션에 대해 등록되는 비-터치 제스처 입력을 검출하는 단계; 및
    검출된 비-터치 제스처 입력을 적용하기 위한 활성 비-터치 제스처 입력 애플리케이션을 선택하는 단계를 더 포함하는, 백그라운드 애플리케이션을 제어하기 위한 방법.
  8. 제 7항에 있어서,
    상기 검출하는 단계는,
    제어할 백그라운드 애플리케이션을 지정하고, 미리 결정된 시간 기간 동안 유지되는 참여 포즈(engagement pose)를 검출하는 단계, 및
    사용자가 상기 백그라운드 애플리케이션으로 제어를 스위칭하게 허용하는 오버레이를 제공하는 단계를 더 포함하는, 백그라운드 애플리케이션을 제어하기 위한 방법.
  9. 제 7항에 있어서,
    상기 검출하는 단계는,
    제어할 백그라운드 어플리케이션을 지정하고, 미리 결정된 시간 기간 동안 유지되는 참여 포즈를 검출하는 단계, 및
    상기 포어그라운드 애플리케이션에 대한 포커스를 잃지 않으면서 상기 백그라운드 애플리케이션을 제어하기 위해 자동으로 스위칭하는 단계를 더 포함하는, 백그라운드 애플리케이션을 제어하기 위한 방법.
  10. 제 7항에 있어서,
    상기 검출하는 단계는 사용자가 상기 백그라운드 애플리케이션을 참여하길 원함을 의미하는 특정 비-터치 제스처 입력을 검출하는 단계를 더 포함하고,
    상기 백그라운드 애플리케이션은 복수의 백그라운드 애플리케이션들 중 하나인, 백그라운드 애플리케이션을 제어하기 위한 방법.
  11. 제 7항에 있어서,
    상기 검출하는 단계는 둘 이상의 애플리케이션들 사이에서 선택하기 위해 할당되는 단일 비-터치 제스처 입력을 검출하는 단계를 더 포함하는, 백그라운드 애플리케이션을 제어하기 위한 방법.
  12. 제 7항에 있어서,
    비-터치 제스처 입력 참여가 마지막 선택된 애플리케이션에 자동으로 연결되는 모드를 인에이블링하는 단계를 더 포함하는, 백그라운드 애플리케이션을 제어하기 위한 방법.
  13. 제 1항에 있어서,
    상기 백그라운드 애플리케이션이 론칭(launch)할 때 특정 비-터치 제스처 입력들에 대한 백그라운드 애플리케이션을 등록하는 단계, 및
    상기 특정 비-터치 제스처 입력들에 대한 백그라운드 애플리케이션이 종료할 때 상기 백그라운드 애플리케이션을 비등록하는 단계를 더 포함하는, 백그라운드 애플리케이션을 제어하기 위한 방법.
  14. 제 1항에 있어서,
    상기 백그라운드 애플리케이션의 엘리먼트들은 포커싱된(focused) 애플리케이션이 포어그라운드에서 실행하고 있는 동안에는 디스플레이되지 않는, 백그라운드 애플리케이션을 제어하기 위한 방법.
  15. 애플리케이션을 제어하기 위한 방법으로서,
    사용자 디바이스의 인터페이스 상에서 디스플레이되는 포어그라운드 애플리케이션을 실행하는 단계;
    상기 사용자 디바이스 상에서 백그라운드의 적어도 하나의 애플리케이션을 실행하는 단계;
    상기 사용자 디바이스의 사용자로부터의 비-터치 제스처 입력을 검출하는 단계; 및
    상기 포어그라운드 애플리케이션 및 상기 백그라운드의 적어도 하나의 애플리케이션 중 어느 것에 검출된 비-터치 제스처 입력이 적용할지를 결정하는 단계를 포함하는, 애플리케이션을 제어하기 위한 방법.
  16. 제 15항에 있어서,
    상기 포어그라운드 애플리케이션 및 백그라운드 애플리케이션이 상이한 세트의 비-터치 제스처 입력 이벤트들을 위해 등록되었는지 여부를 결정하는 단계;
    만약 포어그라운드 애플리케이션이 상기 백그라운드 애플리케이션과 상이한 세트의 비-터치 제스처 입력 이벤트들을 위해 등록되었다면, 상기 검출된 비-터치 제스처 입력을 애플리케이션에 라우팅하는 단계 ― 상기 애플리케이션에 대한 상기 비-터치 제스처 입력이 등록됨 ―; 및
    만약 포어그라운드 애플리케이션이 상기 백그라운드 애플리케이션에 대한 등록된 입력 이벤트와 동일한 적어도 하나의 비-터치 제스처 입력 이벤트에 대해 등록되었다면, 상기 포어그라운드 애플리케이션과 상기 백그라운드 애플리케이션 사이에서 선택하는 단계를 더 포함하는, 애플리케이션을 제어하기 위한 방법.
  17. 제 16항에 있어서,
    상기 포어그라운드 애플리케이션과 상기 백그라운드 애프리케이션 사이에서 선택하는 단계는,
    미리 결정된 시간 기간 동안 유지되는 참여 포즈를 검출하는 단계, 및
    사용자가 상기 백그라운드 애플리케이션으로 제어를 스위칭하도록 허용하는 오버레이를 제공하는 단계를 더 포함하는, 애플리케이션을 제어하기 위한 방법.
  18. 제 16항에 있어서,
    상기 포어그라운드 애플리케이션과 상기 백그라운드 애프리케이션 사이에서 선택하는 단계는,
    미리 결정된 시간 기간 동안 유지되는 참여 포즈를 검출하는 단계, 및
    상기 포어그라운드 애플리케이션에 대한 포커스를 잃지 않으면서 상기 백그라운드 애플리케이션을 제어하도록 자동으로 스위칭하는 단계를 더 포함하는, 애플리케이션을 제어하기 위한 방법.
  19. 제 16항에 있어서,
    상기 포어그라운드 애플리케이션과 상기 백그라운드 애프리케이션 사이에서 선택하는 단계는 사용자가 상기 백그라운드 애플리케이션에 참여하길 원함을 의미하는 특정 비-터치 제스처 입력을 검출하는 단계를 더 포함하고,
    상기 백그라운드 애플리케이션은 복수의 백그라운드 애플리케이션들 중 하나인, 애플리케이션을 제어하기 위한 방법.
  20. 제 16항에 있어서,
    상기 포어그라운드 애플리케이션과 상기 백그라운드 애프리케이션 사이에서 선택하는 단계는 둘 이상의 애플리케이션들 사이에서 선택하기 위해 할당되는 단일 비-터치 제스처 입력을 검출하는 단계를 더 포함하는, 애플리케이션을 제어하기 위한 방법.
  21. 제 15항에 있어서,
    상기 백그라운드 애플리케이션이 론칭할 때 특정 비-터치 제스처 입력들에 대한 상기 백그라운드 애플리케이션을 등록하는 단계, 및
    상기 백그라운드 애플리케이션이 종료할 때 상기 백그라운드 애플리케이션을 비등록하는 단계를 더 포함하는, 애플리케이션을 제어하기 위한 방법.
  22. 디바이스로서,
    비-터치 제스처 입력들을 검출하도록 구성된 입력; 및
    하나 이상의 프로세서들을 포함하고,
    상기 하나 이상으 프로세서들은,
    상기 디바이스의 인터페이스 상에서 디스플레이되는 포어그라운드 애플리케이션을 실행하고;
    상기 디바이스 상에서 백그라운드의 적어도 하나의 애플리케이션을 실행하고;
    비-터치 제스처 입력을 검출하며; 및
    상기 포어그라운드 애플리케이션 및 상기 백그라운드의 적어도 하나의 애플리케이션 중 어느 애플리케이션에 검출된 비-터치 제스처 입력이 적용할지를 결정하도록 구성되는, 디바이스.
  23. 제 22항에 있어서,
    상기 하나 이상의 프로세서들은,
    상기 포어그라운드 애플리케이션 및 백그라운드 애플리케이션이 상이한 세트의 비-터치 제스처 입력 이벤트들을 위해 등록되었는지 여부를 결정하고;
    만약 포어그라운드 애플리케이션이 상기 백그라운드 애플리케이션과 상이한 세트의 비-터치 제스처 입력 이벤트들을 위해 등록되었다면, 상기 검출된 비-터치 제스처 입력을 애플리케이션에 라우팅하고 ― 상기 애플리케이션에 대한 상기 비-터치 제스처 입력이 등록됨 ―; 그리고
    만약 포어그라운드 애플리케이션이 상기 백그라운드 애플리케이션에 대한 등록된 입력 이벤트와 동일한 적어도 하나의 비-터치 제스처 입력 이벤트에 대해 등록되었다면, 상기 포어그라운드 애플리케이션과 상기 백그라운드 애플리케이션 사이에서 선택하도록 추가로 구성되는, 디바이스.
  24. 제 23항에 있어서,
    상기 하나 이상의 프로세서들은, 만약 상기 포어그라운드 애플리케이션이 상기 백그라운드 애플리케이션에 대한 등록된 입력 이벤트와 동일한 적어도 하나의 비-터치 제스처 입력 이벤트를 위해 등록되었다면, 미리 결정된 시간 기간 동안 유지되는 참여 포즈를 검출고, 사용자가 상기 백그라운드 애플리케이션으로 제어를 스위칭하도록 허용하는 오버레이를 제공하도록 추가로 구성되는, 디바이스.
  25. 제 23항에 있어서,
    상기 하나 이상의 프로세서들은, 만약 상기 포어그라운드 애플리케이션이 상기 백그라운드 애플리케이션에 대한 등록된 입력 이벤트와 동일한 적어도 하나의 비-터치 제스처 입력 이벤트를 위해 등록되었다면, 미리 결정된 시간 기간 동안 유지되는 참여 포즈를 검출하고, 상기 포어그라운드 애플리케이션에 대한 포커스를 잃지 않으면서 상기 백그라운드 애플리케이션을 제어하도록 자동으로 스위칭하도록 추가로 구성되는, 디바이스.
  26. 제 23항에 있어서,
    상기 하나 이상의 프로세서들은, 만약 상기 포어그라운드 애플리케이션이 상기 백그라운드 애플리케이션에 대한 등록된 입력 이벤트와 동일한 적어도 하나의 비-터치 제스처 입력 이벤트를 위해 등록되었다면, 사용자가 상기 백그라운드 애플리케이션에 참여하길 원함을 의미하는 특정 비-터치 제스처 입력을 검출하도록 추가로 구성되고,
    상기 백그라운드 애플리케이션은 복수의 백그라운드 애플리케이션들 중 하나인, 디바이스.
  27. 제 23항에 있어서,
    상기 하나 이상의 프로세서들은, 만약 상기 포어그라운드 애플리케이션이 상기 백그라운드 애플리케이션에 대한 등록된 입력 이벤트와 동일한 적어도 하나의 비-터치 제스처 입력 이벤트를 위해 등록되었다면, 둘 이상의 애플리케이션들 사이에서 스위칭하기 위해 할당되는 단일 비-터치 제스처 입력을 검출하도록 추가로 구성되는, 디바이스.
  28. 제 22항에 있어서,
    상기 하나 이상의 프로세서들은,
    상기 백그라운드 애플리케이션이 론칭할 때 특정 비-터치 제스처 입력들에 대한 상기 백그라운드 애플리케이션을 등록하고,
    상기 백그라운드 애플리케이션이 종료할 때 상기 백그라운드 애플리케이션을 비등록하도록 추가로 구성되는, 디바이스.
  29. 제 22항에 있어서,
    상기 입력은 울트라소닉 주파수들에 민감한 마이크로폰, 이미지 또는 비디오 캡처링 컴포넌트, 주시(gaze) 또는 눈 추적 센서, 적외선 검출기, 깊이 센서, 마이크로전자기계 시스템 디바이스 센서 및 전자기계 방사 검출기 중 적어도 하나 또는 이들의 결합을 더 포함하는, 디바이스.
  30. 제 29항에 있어서,
    상기 입력은 상기 디바이스의 적어도 하나의 표면 상에 위치되고, 상기 디바이스의 바로 앞에서 수행되는 비-터치 제스처 입력들을 검출하도록 구성되거나 또는 상기 디바이스의 직접 가시선 밖에서 비-터치 제스처 입력들을 검출하도록 구성되는, 디바이스.
  31. 애플리케이션을 제어하기 위한 장치로서,
    디스플레이하기 위한 수단 상에서 디스플레이되는 포어그라운드 애플리케이션을 실행하기 위한 수단;
    백그라운드의 적어도 하나의 애플리케이션을 실행하기 위한 수단;
    상기 장치의 사용자로부터의 비-터치 제스처 입력을 검출하기 위한 수단; 및
    상기 포어그라운드 애플리케이션 및 상기 백그라운드의 적어도 하나의 애플리케이션 중 어느 것에 검출된 비-터치 제스처 입력이 적용할지를 결정하기 위한 수단을 포함하는, 애플리케이션을 제어하기 위한 장치.
  32. 제 31항에 있어서,
    상기 포어그라운드 애플리케이션 및 백그라운드 애플리케이션이 상이한 세트의 비-터치 제스처 입력 이벤트들을 위해 등록되었는지 여부를 결정하기 위한 수단;
    만약 포어그라운드 애플리케이션이 상기 백그라운드 애플리케이션과 상이한 세트의 비-터치 제스처 입력 이벤트들을 위해 등록되었다면, 상기 검출된 비-터치 제스처 입력을 애플리케이션에 라우팅하기 위한 수단 ― 상기 애플리케이션에 대한 상기 비-터치 제스처 입력이 등록됨 ―; 및
    만약 포어그라운드 애플리케이션이 상기 백그라운드 애플리케이션에 대한 등록된 입력 이벤트와 동일한 적어도 하나의 비-터치 제스처 입력 이벤트에 대해 등록되었다면, 상기 포어그라운드 애플리케이션과 상기 백그라운드 애플리케이션 사이에서 선택하기 위한 수단을 더 포함하는, 애플리케이션을 제어하기 위한 장치.
  33. 제 32항에 있어서,
    상기 포어그라운드 애플리케이션과 상기 백그라운드 애프리케이션 사이에서 선택하기 위한 수단은,
    미리 결정된 시간 기간 동안 유지되는 참여 포즈를 검출하기 위한 수단, 및
    사용자가 상기 백그라운드 애플리케이션으로 제어를 스위칭하도록 허용하는 오버레이를 제공하기 위한 수단을 더 포함하는, 애플리케이션을 제어하기 위한 장치.
  34. 제 32항에 있어서,
    상기 포어그라운드 애플리케이션과 상기 백그라운드 애프리케이션 사이에서 선택하기 위한 수단은,
    미리 결정된 시간 기간 동안 유지되는 참여 포즈를 검출하기 위한 수단, 및
    상기 포어그라운드 애플리케이션에 대한 포커스를 잃지 않으면서 상기 백그라운드 애플리케이션을 제어하도록 자동으로 스위칭하기 위한 수단을 더 포함하는, 애플리케이션을 제어하기 위한 장치.
  35. 제 32항에 있어서,
    상기 포어그라운드 애플리케이션과 상기 백그라운드 애프리케이션 사이에서 선택하기 위한 수단은 사용자가 상기 백그라운드 애플리케이션에 참여하길 원함을 의미하는 특정 비-터치 제스처 입력을 검출하기 위한 수단을 더 포함하고,
    상기 백그라운드 애플리케이션은 복수의 백그라운드 애플리케이션들 중 하나를 포함하는, 애플리케이션을 제어하기 위한 장치.
  36. 제 32항에 있어서,
    상기 포어그라운드 애플리케이션과 상기 백그라운드 애프리케이션 사이에서 선택하기 위한 수단은 둘 이상의 애플리케이션들 사이에서 선택하기 위해 할당되는 단일 비-터치 제스처 입력을 검출하기 위한 수단을 더 포함하는, 애플리케이션을 제어하기 위한 장치.
  37. 제 32항에 있어서,
    상기 백그라운드의 적어도 하나의 애플리케이션 중 하나 이상이 론칭할 때 특정 비-터치 제스처 입력들에 대한 상기 백그라운드의 적어도 하나의 애플리케이션 중 하나 이상을 등록하기 위한 수단, 및
    상기 백그라운드의 적어도 하나의 애플리케이션 중 하나 이상이 종료할 때 비등록하기 위한 수단을 더 포함하는, 애플리케이션을 제어하기 위한 장치.
  38. 컴퓨터 판독가능 명령들이 저장된 비-일시적 컴퓨터 판독가능 매체로서,
    상기 컴퓨터 판독가능 명령들은 프로세서에 의해 실행될 때 상기 프로세서로 하여금,
    사용자 디바이스의 인터페이스 상에서 디스플레이되는 포어그라운드 애플리케이션을 실행하고;
    상기 사용자 디바이스 상에서 백그라운드의 적어도 하나의 애플리케이션을 실행하고;
    비-터치 제스처 입력을 검출하며; 및
    상기 포어그라운드 애플리케이션 및 상기 백그라운드의 적어도 하나의 애플리케이션 중 어느 것에 검출된 비-터치 제스처 입력이 적용할지를 결정하도록 하는, 비-일시적 컴퓨터 판독가능 매체.
KR1020157028900A 2013-03-15 2014-03-05 백그라운드 태스크를 위한 상호작용식 입력들 KR20150129830A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/837,006 US20140282272A1 (en) 2013-03-15 2013-03-15 Interactive Inputs for a Background Task
US13/837,006 2013-03-15
PCT/US2014/020464 WO2014149698A1 (en) 2013-03-15 2014-03-05 Interactive inputs for a background task

Publications (1)

Publication Number Publication Date
KR20150129830A true KR20150129830A (ko) 2015-11-20

Family

ID=50424728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157028900A KR20150129830A (ko) 2013-03-15 2014-03-05 백그라운드 태스크를 위한 상호작용식 입력들

Country Status (7)

Country Link
US (1) US20140282272A1 (ko)
EP (1) EP2972670A1 (ko)
JP (1) JP6270982B2 (ko)
KR (1) KR20150129830A (ko)
CN (1) CN105009033A (ko)
TW (1) TWI531927B (ko)
WO (1) WO2014149698A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021201490A1 (ko) * 2020-03-31 2021-10-07 삼성전자 주식회사 백 그라운드 어플리케이션의 제어 방법 및 이를 지원하는 전자 장치

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US20140082520A1 (en) * 2012-05-24 2014-03-20 Monir Mamoun Method and System for Gesture- and Animation-Enhanced Instant Messaging
US9035874B1 (en) 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US9832452B1 (en) 2013-08-12 2017-11-28 Amazon Technologies, Inc. Robust user detection and tracking
DE102013013698A1 (de) * 2013-08-16 2015-02-19 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille
KR101488193B1 (ko) * 2013-09-04 2015-01-30 에스케이 텔레콤주식회사 상황 인지 기반의 명령 수행 방법 및 장치
US11199906B1 (en) * 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
US10234988B2 (en) * 2013-09-30 2019-03-19 Blackberry Limited User-trackable moving image for control of electronic device with touch-sensitive display
US10218660B2 (en) * 2013-12-17 2019-02-26 Google Llc Detecting user gestures for dismissing electronic notifications
TWI616803B (zh) * 2013-12-27 2018-03-01 宏碁股份有限公司 螢幕畫面的縮放及操作方法、裝置與電腦程式產品
US20150185827A1 (en) * 2013-12-31 2015-07-02 Linkedln Corporation Techniques for performing social interactions with content
JP2015153195A (ja) * 2014-02-14 2015-08-24 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
GB201408751D0 (en) * 2014-05-16 2014-07-02 Microsoft Corp Notifications
US10402079B2 (en) 2014-06-10 2019-09-03 Open Text Sa Ulc Threshold-based draggable gesture system and method for triggering events
EP2983080A1 (en) * 2014-08-07 2016-02-10 Nokia Technologies OY Audio source control
US9405967B2 (en) * 2014-09-03 2016-08-02 Samet Privacy Llc Image processing apparatus for facial recognition
KR102302721B1 (ko) 2014-11-24 2021-09-15 삼성전자주식회사 복수의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
US20160210109A1 (en) * 2015-01-19 2016-07-21 Mediatek Inc. Method for controlling audio playing of an electronic device, and associated apparatus and associated computer program product
US9639234B2 (en) * 2015-09-10 2017-05-02 Qualcomm Incorporated Dynamic control schemes for simultaneously-active applications
US20170090606A1 (en) * 2015-09-30 2017-03-30 Polycom, Inc. Multi-finger touch
CA3003500A1 (en) 2015-10-27 2017-05-04 Blackberry Limited Detecting resource access
CN108476076B (zh) * 2015-10-27 2021-10-08 黑莓有限公司 监测资源访问的方法、电子设备和计算机可读介质
CN106169043A (zh) * 2016-06-30 2016-11-30 宇龙计算机通信科技(深圳)有限公司 应用程序的管理方法、管理装置和终端
JP6091693B1 (ja) * 2016-09-21 2017-03-08 京セラ株式会社 電子機器
US10536691B2 (en) * 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
JP2018082275A (ja) * 2016-11-15 2018-05-24 京セラ株式会社 電子機器、プログラムおよび制御方法
JP6517179B2 (ja) 2016-11-15 2019-05-22 京セラ株式会社 電子機器、プログラムおよび制御方法
US10775998B2 (en) * 2017-01-04 2020-09-15 Kyocera Corporation Electronic device and control method
DE102017000569A1 (de) * 2017-01-23 2018-07-26 e.solutions GmbH Verfahren, Computerprogrammprodukt und Vorrichtung zum Ermitteln von Eingabebereichen an einer grafischen Benutzeroberfläche
KR102389996B1 (ko) * 2017-03-28 2022-04-25 삼성전자 주식회사 전자 장치 및 이를 이용한 사용자 입력을 처리하기 위한 화면 제어 방법
CN107219972B (zh) * 2017-05-23 2021-01-01 努比亚技术有限公司 一种应用管理的方法、设备及计算机可读存储介质
CN108228073B (zh) * 2018-01-31 2021-06-15 北京小米移动软件有限公司 界面显示方法及装置
CN109144600B (zh) * 2018-06-21 2021-10-29 连尚（新昌）网络科技有限公司 一种应用程序的运行方法、设备及计算机可读介质
CN109857321A (zh) * 2019-01-23 2019-06-07 努比亚技术有限公司 基于屏幕投影的操作方法、移动终端、可读存储介质
US10751612B1 (en) * 2019-04-05 2020-08-25 Sony Interactive Entertainment LLC Media multi-tasking using remote device
CN110489215A (zh) * 2019-06-29 2019-11-22 华为技术有限公司 一种应用程序中等待场景的处理方法和装置
CN110502108B (zh) * 2019-07-31 2021-08-17 Oppo广东移动通信有限公司 设备控制方法、装置以及电子设备
CN113821128A (zh) * 2020-06-18 2021-12-21 华为技术有限公司 终端设备及其手势操作方法和介质
EP4281843A1 (en) * 2021-01-20 2023-11-29 Apple Inc. Methods for interacting with objects in an environment
US20230315208A1 (en) * 2022-04-04 2023-10-05 Snap Inc. Gesture-based application invocation

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233559B1 (en) * 1998-04-01 2001-05-15 Motorola, Inc. Speech control of multiple applications using applets
AU2174700A (en) * 1998-12-10 2000-06-26 Christian R. Berg Brain-body actuated system
US8312479B2 (en) * 2006-03-08 2012-11-13 Navisense Application programming interface (API) for sensory events
WO2009026337A1 (en) * 2007-08-20 2009-02-26 Gesturetek, Inc. Enhanced rejection of out-of-vocabulary words
JP2009112550A (ja) * 2007-11-07 2009-05-28 Sony Computer Entertainment Inc ゲーム装置、画像処理方法、プログラム及び情報記憶媒体
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
JP5136292B2 (ja) * 2008-08-26 2013-02-06 日本電気株式会社 情報処理端末のアプリケーション起動方法、情報処理端末及びプログラム
JP4591798B2 (ja) * 2008-10-23 2010-12-01 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 端末装置及びプログラム
KR101019335B1 (ko) * 2008-11-11 2011-03-07 주식회사 팬택 제스처를 이용한 이동단말의 어플리케이션 제어 방법 및 시스템
CN101437124A (zh) * 2008-12-17 2009-05-20 三星电子（中国）研发中心 面向电视控制的动态手势识别信号处理方法
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
KR101071843B1 (ko) * 2009-06-12 2011-10-11 엘지전자 주식회사 이동단말기 및 그 제어방법
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
JP5413673B2 (ja) * 2010-03-08 2014-02-12 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2011192081A (ja) * 2010-03-15 2011-09-29 Canon Inc 情報処理装置及びその制御方法
US9098333B1 (en) * 2010-05-07 2015-08-04 Ziften Technologies, Inc. Monitoring computer process resource usage
JP2012073658A (ja) * 2010-09-01 2012-04-12 Shinsedai Kk コンピュータシステム
CN101923437A (zh) * 2010-09-02 2010-12-22 宇龙计算机通信科技(深圳)有限公司 一种智能移动终端的屏幕提示方法及该智能移动终端
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US20120304132A1 (en) * 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
US9104307B2 (en) * 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US20120304131A1 (en) * 2011-05-27 2012-11-29 Jennifer Nan Edge gesture
KR101841590B1 (ko) * 2011-06-03 2018-03-23 삼성전자 주식회사 멀티태스킹 인터페이스 제공 방법 및 장치
CN107643828B (zh) * 2011-08-11 2021-05-25 视力移动技术有限公司 车辆、控制车辆的方法
KR101295709B1 (ko) * 2011-08-24 2013-09-16 주식회사 팬택 백그라운드 프로세스에 대한 보안 정보 제공 장치 및 방법
US20130106707A1 (en) * 2011-10-26 2013-05-02 Egalax_Empia Technology Inc. Method and device for gesture determination

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021201490A1 (ko) * 2020-03-31 2021-10-07 삼성전자 주식회사 백 그라운드 어플리케이션의 제어 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
US20140282272A1 (en) 2014-09-18
JP2016512357A (ja) 2016-04-25
JP6270982B2 (ja) 2018-01-31
TWI531927B (zh) 2016-05-01
EP2972670A1 (en) 2016-01-20
WO2014149698A1 (en) 2014-09-25
CN105009033A (zh) 2015-10-28
TW201447645A (zh) 2014-12-16

Similar Documents

Publication Publication Date Title
KR20150129830A (ko) 백그라운드 태스크를 위한 상호작용식 입력들
US11221747B2 (en) Method and apparatus for operating function in touch device
US11054988B2 (en) Graphical user interface display method and electronic device
EP2739021B1 (en) Mobile terminal and information handling method for the same
KR102032449B1 (ko) 이미지 표시 방법 및 휴대 단말
RU2604990C2 (ru) Способ действия терминала на основе множественных вводов и поддерживающий его портативный терминал
KR102044826B1 (ko) 마우스 기능 제공 방법 및 이를 구현하는 단말
US10073585B2 (en) Electronic device, storage medium and method for operating electronic device
US20150040065A1 (en) Method and apparatus for generating customized menus for accessing application functionality
US11281313B2 (en) Mobile device comprising stylus pen and operation method therefor
KR20130133980A (ko) 터치스크린을 가진 단말에서 오브젝트 이동 방법 및 장치
WO2014121623A1 (en) Sliding control method and terminal device thereof
CN108476339B (zh) 一种遥控方法和终端
JP2013533541A (ja) 文字の選択
US10257411B2 (en) Electronic device, method, and storage medium for controlling touch operations
WO2020000975A1 (zh) 视频拍摄方法、客户端、终端及介质
WO2021104268A1 (zh) 内容分享方法及电子设备
EP4125274A1 (en) Method and apparatus for playing videos
KR20200041554A (ko) 모바일 장치 및 모바일 장치의 제어 방법
KR102149481B1 (ko) 이동 단말 및 그 제어 방법
KR102076193B1 (ko) 이미지 표시 방법 및 휴대 단말
KR20200015680A (ko) 이미지 표시 방법 및 휴대 단말
CN116909447A (zh) 视频搜索方法及装置
KR20180026843A (ko) 디스플레이 장치, 디스플레이 시스템 및 그 제어 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid