KR101470088B1 - 사용자 인터페이스와의 제한된 상호작용을 구성하기 위한 장치, 방법 및 그래픽 사용자 인터페이스 - Google Patents

사용자 인터페이스와의 제한된 상호작용을 구성하기 위한 장치, 방법 및 그래픽 사용자 인터페이스 Download PDF

Info

Publication number
KR101470088B1
KR101470088B1 KR1020120133650A KR20120133650A KR101470088B1 KR 101470088 B1 KR101470088 B1 KR 101470088B1 KR 1020120133650 A KR1020120133650 A KR 1020120133650A KR 20120133650 A KR20120133650 A KR 20120133650A KR 101470088 B1 KR101470088 B1 KR 101470088B1
Authority
KR
South Korea
Prior art keywords
user interface
gesture
interaction mode
input
interface objects
Prior art date
Application number
KR1020120133650A
Other languages
English (en)
Other versions
KR20130077773A (ko
Inventor
에릭 티. 세이무어
크리스토퍼 비. 플레이자흐
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20130077773A publication Critical patent/KR20130077773A/ko
Application granted granted Critical
Publication of KR101470088B1 publication Critical patent/KR101470088B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • H04M1/724631—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device by limiting the access to the user interface, e.g. locking a touch-screen or a keypad
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

전자 장치는 상호작용 구성 모드에 있는 동안에 복수의 사용자 인터페이스 객체를 포함하는 제1 사용자 인터페이스를 표시하고, 제1 사용자 인터페이스를 표시하는 동안에 터치 감지 표면 상에서 하나 이상의 제스처 입력들을 검출한다. 각각의 제스처 입력에 대해, 장치는 복수의 사용자 인터페이스 객체 중 하나 이상의 사용자 인터페이스 객체가 각각의 제스처 입력에 대응하는지를 결정한다. 장치는 검출된 하나 이상의 제스처 입력들에 대응하는 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제1 세트와 검출된 하나 이상의 제스처 입력들에 대응하지 않는 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제2 세트를 시각적으로 구별한다. 장치는 입력을 검출하고, 입력의 검출에 응답하여 상호작용 구성 모드를 종료하고 제한 상호작용 모드에 들어간다.

Description

사용자 인터페이스와의 제한된 상호작용을 구성하기 위한 장치, 방법 및 그래픽 사용자 인터페이스{DEVICE, METHOD, AND GRAPHICAL USER INTERFACE FOR CONFIGURING RESTRICTED INTERACTION WITH A USER INTERFACE}
본 발명은 일반적으로 사용자 인터페이스 객체들을 갖는 사용자 인터페이스들을 표시하는 터치 감지 표면들을 갖는 전자 장치들을 포함하지만 이에 한정되지 않는, 터치 감지 표면들을 갖는 전자 장치들에 관한 것이다.
최근에, 컴퓨터들 및 다른 전자 컴퓨팅 장치들의 입력 장치들로서의 터치 감지 표면들의 사용이 상당히 증가하였다. 예시적인 터치 감지 표면들은 터치 패드들 및 터치 스크린 디스플레이들을 포함한다. 그러한 표면들은 디스플레이 상에서 사용자 인터페이스 객체들을 조작하기 위해 널리 사용된다.
때때로, 전자 장치의 사용자 인터페이스와의 상호작용들을 제한하는 것이 바람직할 수 있다. 예를 들어, 부모 또는 교사는 어린 아이가 우발적으로 다른 애플리케이션들 및 시스템 기능들에 액세스하거나 파일들을 삭제하지 않고 장치 상의 특정 애플리케이션을 사용할 수 있도록 터치 스크린 상의 소정 아이콘들, 하드웨어 버튼들, 센서들, 및/또는 사용자 인터페이스의 다른 부분들을 디스에이블(disable)하기를 원할 수 있다. 유사하게, 인식 장애(예컨대, 자폐증)를 가진 사람의 간병인은 진행중인 작업으로부터 인식 장애를 가진 사람의 주의를 흩뜨리는 터치 스크린 상의 소정 아이콘들, 하드웨어 버튼들, 센서들, 및/또는 사용자 인터페이스의 다른 부분들을 디스에이블하고 그리고/또는 숨김으로써 장치와의 상호작용을 제한하기를 원할 수 있다. 다른 예로서, 장치 상의 애플리케이션들 및 시스템 기능들에 대한 액세스를 제한하는 키오스크 모드에서 장치를 구성하기를 원할 수 있다.
그러나, 상호작용을 제한하도록 사용자 인터페이스를 구성하기 위한 기존의 방법들은 성가시고 비효율적이다. 사용자는 통상적으로 제한들을 구성하기 위해 다수의 메뉴 및/또는 스크린을 통해 내비게이션(navigate)해야 한다. 게다가, 기존의 방법들은 장치를 구성하는 데 필요한 것보다 오래 걸리며, 따라서 에너지를 낭비한다. 이러한 후자의 사항은 배터리 작동 장치들에서 특히 중요하다.
따라서, 자신들의 사용자 인터페이스들과의 제한된 상호작용을 구성하기 위한 더 빠르고 더 효율적인 방법들 및 인터페이스들을 갖춘 전자 장치들이 필요하다. 그러한 방법들 및 인터페이스들은 제한된 상호작용들을 구성하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 장치를 구성하는 동안 사용자의 인식 부담을 줄이며, 더 효율적인 사람-기계 인터페이스를 생성한다. 배터리 작동 장치들에 대해, 그러한 방법들 및 인터페이스들은 전력을 보존하고, 배터리 충전들 사이의 시간을 증가시킨다.
터치 감지 표면들을 갖는 전자 장치들에 대한 사용자 인터페이스들과 관련된 상기 결함들 및 다른 문제들은 개시되는 장치들에 의해 줄거나 제거된다. 일부 실시예들에서, 장치는 데스크탑 컴퓨터이다. 일부 실시예들에서, 장치는 휴대용(예를 들어, 노트북 컴퓨터, 태블릿 컴퓨터 또는 핸드헬드 장치)이다. 일부 실시예들에서, 장치는 터치패드를 갖는다. 일부 실시예들에서, 장치는 ("터치 스크린" 또는 "터치 스크린 디스플레이"로도 알려진) 터치 감지 디스플레이를 갖는다. 일부 실시예들에서, 장치는 그래픽 사용자 인터페이스(GUI), 하나 이상의 프로세서들, 메모리 및 다수의 기능을 수행하기 위해 메모리에 저장된 하나 이상의 모듈들, 프로그램들 또는 명령어 세트들을 갖는다. 일부 실시예들에서, 사용자는 주로 터치 감지 표면 상에서의 손가락 접촉들 및 제스처들을 통해 GUI와 상호작용한다. 일부 실시예들에서, 기능들은 이미지 편집, 드로잉, 프레젠테이션, 워드 프로세싱, 웹사이트 생성, 디스크 저작(disk authoring), 스프레드시트 작성, 게임 실행, 통화, 비디오 회의, 이메일링, 인스턴트 메시징, 연습 지원, 디지털 사진 촬영, 디지털 비디오 촬영, 웹 브라우징, 디지털 음악 재생 및/또는 디지털 비디오 재생을 포함할 수 있다. 이러한 기능들을 수행하기 위한 실행 가능한 명령어들은 하나 이상의 프로세서들에 의한 실행을 위해 구성된 비일시적 컴퓨터 판독 가능 저장 매체 또는 기타 컴퓨터 프로그램 제품에 포함될 수 있다.
일부 실시예들에 따르면, 디스플레이 및 터치 감지 표면을 갖는 전자 장치에서 방법이 수행된다. 상기 방법은, 비제한 상호작용 모드에 있는 동안, 제1 입력을 검출하는 단계; 및 상기 제1 입력의 검출에 응답하여, 상기 비제한 상호작용 모드와 다른 상호작용 구성 모드에 들어가는 단계를 포함한다. 상기 방법은 또한, 상기 상호작용 구성 모드에 있는 동안: 복수의 사용자 인터페이스 객체를 포함하는 제1 사용자 인터페이스를 상기 디스플레이 상에 표시하는 단계; 상기 제1 사용자 인터페이스를 표시하는 동안, 상기 터치 감지 표면 상에서 하나 이상의 제스처 입력들을 검출하는 단계; 상기 터치 감지 표면 상에서 검출된 각각의 제스처 입력에 대해, 상기 복수의 사용자 인터페이스 객체 중 하나 이상의 사용자 인터페이스 객체가 상기 각각의 제스처 입력에 대응하는지를 결정하는 단계; 및 상기 검출된 하나 이상의 제스처 입력들에 대응하는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제1 세트를 상기 검출된 하나 이상의 제스처 입력들에 대응하지 않는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제2 세트로부터 시각적으로 구별하는 단계를 포함한다. 상기 방법은 제2 입력을 검출하는 단계; 및 상기 제2 입력의 검출에 응답하여, 상기 상호작용 구성 모드를 종료하고, 상기 비제한 상호작용 모드와 다른 제한 상호작용 모드에 들어가는 단계를 더 포함한다.
일부 실시예들에 따르면, 전자 장치는 디스플레이, 터치 감지 표면, 하나 이상의 프로세서들, 메모리 및 하나 이상의 프로그램들을 포함한다. 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성된다. 상기 하나 이상의 프로그램들은 비제한 상호작용 모드에 있는 동안, 제1 입력을 검출하고; 상기 제1 입력의 검출에 응답하여, 상기 비제한 상호작용 모드와 다른 상호작용 구성 모드에 들어가기 위한 명령어들을 포함한다. 상기 하나 이상의 프로그램들은 또한, 상기 상호작용 구성 모드에 있는 동안: 복수의 사용자 인터페이스 객체를 포함하는 제1 사용자 인터페이스를 상기 디스플레이 상에 표시하고; 상기 제1 사용자 인터페이스를 표시하는 동안, 상기 터치 감지 표면 상에서 하나 이상의 제스처 입력들을 검출하고; 상기 터치 감지 표면 상에서 검출된 각각의 제스처 입력에 대해, 상기 복수의 사용자 인터페이스 객체 중 하나 이상의 사용자 인터페이스 객체가 상기 각각의 제스처 입력에 대응하는지를 결정하고; 상기 검출된 하나 이상의 제스처 입력들에 대응하는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제1 세트를 상기 검출된 하나 이상의 제스처 입력들에 대응하지 않는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제2 세트로부터 시각적으로 구별하기 위한 명령어들을 포함한다. 상기 하나 이상의 프로그램들은 제2 입력을 검출하고; 상기 제2 입력의 검출에 응답하여, 상기 상호작용 구성 모드를 종료하고, 상기 비제한 상호작용 모드와 다른 제한 상호작용 모드에 들어가기 위한 명령어들을 더 포함한다.
일부 실시예들에 따르면, 컴퓨터 판독 가능 저장 매체는, 디스플레이 및 터치 감지 표면을 갖는 전자 장치에 의해 실행될 때, 상기 장치로 하여금, 비제한 상호작용 모드에 있는 동안, 제1 입력을 검출하고; 상기 제1 입력의 검출에 응답하여, 상기 비제한 상호작용 모드와 다른 상호작용 구성 모드에 들어가게 하는 명령어들을 저장하고 있다. 상기 컴퓨터 판독 가능 저장 매체는 또한, 상기 상호작용 구성 모드에 있는 동안: 복수의 사용자 인터페이스 객체를 포함하는 제1 사용자 인터페이스를 상기 디스플레이 상에 표시하고; 상기 제1 사용자 인터페이스를 표시하는 동안, 상기 터치 감지 표면 상에서 하나 이상의 제스처 입력들을 검출하고; 상기 터치 감지 표면 상에서 검출된 각각의 제스처 입력에 대해, 상기 복수의 사용자 인터페이스 객체 중 하나 이상의 사용자 인터페이스 객체가 상기 각각의 제스처 입력에 대응하는지를 결정하고; 상기 검출된 하나 이상의 제스처 입력들에 대응하는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제1 세트를 상기 검출된 하나 이상의 제스처 입력들에 대응하지 않는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제2 세트로부터 시각적으로 구별하기 위한 명령어들을 포함한다. 상기 컴퓨터 판독 가능 저장 매체는 제2 입력을 검출하고; 상기 제2 입력의 검출에 응답하여, 상기 상호작용 구성 모드를 종료하고, 상기 비제한 상호작용 모드와 다른 제한 상호작용 모드에 들어가기 위한 명령어들을 더 포함한다.
일부 실시예들에 따르면, 디스플레이, 터치 감지 표면, 메모리, 및 상기 메모리에 저장된 하나 이상의 프로그램들을 실행하기 위한 하나 이상의 프로세서들을 갖는 전자 장치 상의 그래픽 사용자 인터페이스는 상호작용 구성 모드에서 복수의 사용자 인터페이스 객체를 포함하는 제1 사용자 인터페이스를 포함한다. 상기 제1 사용자 인터페이스를 표시하는 동안, 상기 터치 감지 표면 상의 하나 이상의 제스처 입력들이 검출된다. 상기 터치 감지 표면 상에서 검출된 각각의 제스처 입력에 대해, 상기 복수의 사용자 인터페이스 객체 중 하나 이상의 사용자 인터페이스 객체들이 상기 각각의 제스처 입력에 대응하는지가 결정된다. 상기 검출된 하나 이상의 제스처 입력들에 대응하는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제1 세트가 상기 검출된 하나 이상의 제스처 입력들에 대응하지 않는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제2 세트로부터 시각적으로 구별된다. 제2 입력의 검출에 응답하여, 상기 상호작용 구성 모드가 종료되고, 비제한 상호작용 모드와 다른 제한 상호작용 모드에 들어간다.
일부 실시예들에 따르면, 전자 장치는 디스플레이; 터치 감지 표면; 비제한 상호작용 모드에 있는 동안에 인에이블(enable)되어 제1 입력을 검출하기 위한 수단; 및 상기 제1 입력의 검출에 응답하여 인에이블되어 상기 비제한 상호작용 모드와 다른 상호작용 구성 모드에 들어가기 위한 수단을 포함한다. 상기 전자 장치는 또한, 상기 상호작용 구성 모드에 있는 동안에 인에이블되어, 복수의 사용자 인터페이스 객체를 포함하는 제1 사용자 인터페이스를 상기 디스플레이 상에 표시하기 위한 수단; 상기 제1 사용자 인터페이스를 표시하는 동안에 인에이블되어, 상기 터치 감지 표면 상에서 하나 이상의 제스처 입력들을 검출하기 위한 수단; 상기 터치 감지 표면 상에서 검출된 각각의 제스처 입력에 대해, 상기 복수의 사용자 인터페이스 객체 중 하나 이상의 사용자 인터페이스 객체가 상기 각각의 제스처 입력에 대응하는지를 결정하기 위한 수단; 및 상기 검출된 하나 이상의 제스처 입력들에 대응하는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제1 세트를 상기 검출된 하나 이상의 제스처 입력들에 대응하지 않는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제2 세트로부터 시각적으로 구별하기 위한 수단을 포함한다. 상기 전자 장치는 제2 입력을 검출하기 위한 수단; 및 상기 제2 입력의 검출에 응답하여 인에이블되어, 상기 상호작용 구성 모드를 종료하고, 상기 비제한 상호작용 모드와 다른 제한 상호작용 모드에 들어가기 위한 수단을 더 포함한다.
일부 실시예들에 따르면, 디스플레이 및 터치 감지 표면을 갖는 전자 장치에서 사용하기 위한 정보 처리 장치는 비제한 상호작용 모드에 있는 동안에 인에이블되어 제1 입력을 검출하기 위한 수단; 및 상기 제1 입력의 검출에 응답하여 인에이블되어 상기 비제한 상호작용 모드와 다른 상호작용 구성 모드에 들어가기 위한 수단을 포함한다. 상기 정보 처리 장치는 또한, 상기 상호작용 구성 모드에 있는 동안에 인에이블되어, 복수의 사용자 인터페이스 객체를 포함하는 제1 사용자 인터페이스를 상기 디스플레이 상에 표시하기 위한 수단; 상기 제1 사용자 인터페이스를 표시하는 동안에 인에이블되어, 상기 터치 감지 표면 상에서 하나 이상의 제스처 입력들을 검출하기 위한 수단; 상기 터치 감지 표면 상에서 검출된 각각의 제스처 입력에 대해, 상기 복수의 사용자 인터페이스 객체 중 하나 이상의 사용자 인터페이스 객체가 상기 각각의 제스처 입력에 대응하는지를 결정하기 위한 수단; 및 상기 검출된 하나 이상의 제스처 입력들에 대응하는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제1 세트를 상기 검출된 하나 이상의 제스처 입력들에 대응하지 않는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제2 세트로부터 시각적으로 구별하기 위한 수단을 포함한다. 상기 정보 처리 장치는 제2 입력을 검출하기 위한 수단; 및 상기 제2 입력의 검출에 응답하여 인에이블되어, 상기 상호작용 구성 모드를 종료하고, 상기 비제한 상호작용 모드와 다른 제한 상호작용 모드에 들어가기 위한 수단을 더 포함한다.
일부 실시예들에 따르면, 전자 장치는 상호작용 구성 모드에 있는 동안에 복수의 사용자 인터페이스 객체를 포함하는 제1 사용자 인터페이스를 표시하도록 구성되는 디스플레이 유닛; 및 터치 감지 표면 유닛을 포함하고, 상기 터치 감지 표면 유닛은 상기 제1 사용자 인터페이스가 표시되는 동안에 상기 터치 감지 표면 유닛 상의 하나 이상의 제스처 입력들을 검출하도록 구성된다. 상기 전자 장치는 또한 상기 디스플레이 유닛 및 상기 터치 감지 표면 유닛에 결합되는 처리 유닛을 포함한다. 상기 처리 유닛은 상기 터치 감지 표면 유닛 상에서 검출된 각각의 제스처 입력에 대해, 상기 복수의 사용자 인터페이스 객체 중 하나 이상의 사용자 인터페이스 객체가 상기 각각의 제스처 입력에 대응하는지를 결정하도록 구성된다. 상기 처리 유닛은 또한 상기 검출된 하나 이상의 제스처 입력들에 대응하는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제1 세트와 상기 검출된 하나 이상의 제스처 입력들에 대응하지 않는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제2 세트의 시각적 구별을 가능하게 하도록 구성된다. 상기 처리 유닛은 제2 입력의 검출에 응답하여 상기 상호작용 구성 모드를 종료하고, 상기 비제한 상호작용 모드와 다른 제한 상호작용 모드에 들어가도록 더 구성된다.
따라서, 디스플레이들 및 터치 감지 표면들을 갖는 전자 장치들은 사용자 인터페이스들과의 제한된 상호작용을 구성하기 위한 더 빠르고 더 효율적인 방법들 및 인터페이스들을 구비하며, 따라서 그러한 장치들의 유효성, 효율성 및 사용자 만족도를 증가시킨다. 그러한 방법들 및 인터페이스들은 사용자 인터페이스들과의 제한된 상호작용을 구성하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
본 발명의 전술한 실시예들 및 그의 추가적인 실시예들에 대한 더 양호한 이해를 위하여, 다음의 도면과 함께 이하의 실시예들의 설명이 참조되어야 하며, 동일한 참조 번호들은 도면 전체에 걸쳐 대응 요소들을 가리킨다.
도 1a는 일부 실시예들에 따른 터치 감지 디스플레이를 갖는 휴대용 다기능 장치를 도시하는 블록도이다.
도 1b는 일부 실시예들에 따른 이벤트 처리를 위한 예시적인 컴포넌트들을 나타내는 블록도이다.
도 2는 일부 실시예들에 따른 터치 스크린을 가진 휴대용 다기능 장치를 도시한다.
도 3은 일부 실시예들에 따른 디스플레이 및 터치 감지 표면을 갖는 예시적인 다기능 장치의 블록도이다.
도 4a는 일부 실시예들에 따른 휴대용 다기능 장치 상의 애플리케이션들의 메뉴를 위한 예시적인 사용자 인터페이스를 도시한다.
도 4b는 일부 실시예들에 따른 디스플레이로부터 분리된 터치 감지 표면을 갖는 다기능 장치를 위한 예시적인 사용자 인터페이스를 나타낸다.
도 5a-5z는 일부 실시예들에 따른 사용자 인터페이스와의 제한된 상호작용을 구성하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 6a-6d는 일부 실시예들에 따른 사용자 인터페이스와의 제한된 상호작용을 구성하는 방법을 예시하는 흐름도들이다.
도 7은 일부 실시예들에 따른 전자 장치의 기능 블록도이다.
때때로, 전자 장치의 사용자 인터페이스와의 상호작용들을 제한하는 것이 바람직할 수 있다. 터치 스크린 상의 소정 아이콘들, 하드웨어 버튼들, 센서들 및/또는 사용자 인터페이스의 다른 부분들은 디스에이블되는 것이 필요할 수 있다. 그러나, 상호작용을 제한하도록 사용자 인터페이스를 구성하기 위한 기존의 방법들은 성가시고 비효율적이다. 후술하는 실시예들에서는, 하나 이상의 간단한 터치 입력들에 기초하여 비활성화를 위해 하나 이상의 사용자 인터페이스 객체들이 선택될 수 있는 상호작용 구성 모드로 사용자 인터페이스를 표시함으로써, 상호작용을 제한하도록 사용자 인터페이스를 구성하기 위한 향상된 방법이 달성된다. 게다가, 장치 회전, 흔들림 및 운동에 대한 응답들과 같은 사용자 인터페이스의 다른 부분들도 디스에이블될 수 있다. 제한 상호작용 모드에 있는 동안, 상호작용 구성 모드에서 선택된 하나 이상의 사용자 인터페이스 객체들은 비활성화되며(예로서, 디스에이블되거나 또는 그렇지 않으면 활성화가 방지되며), 따라서 사용자는 비활성화된 사용자 인터페이스 객체들과 상호작용할 수 없다. 이러한 방법은 사용자 인터페이스와의 제한된 상호작용을 구성하기 위한 효율적이고 직관적인 프로세스를 제공하며, 따라서 사용자 인터페이스를 구성하기 위한 추가적인 개별 단계들의 필요성을 없앤다.
아래에서, 도 1a-1b, 2 및 3은 예시적인 장치들의 설명을 제공한다. 도 4a-4b 및 5a-5z는 사용자 인터페이스들과의 제한된 상호작용을 구성하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 6a-6d는 사용자 인터페이스와의 제한된 상호작용을 구성하기 위한 방법을 예시하는 흐름도들이다. 도 5a-5z의 사용자 인터페이스들은 도 6a-6d의 프로세스들을 예시하는 데 사용된다.
예시적인 장치들
이제, 첨부 도면에 그 예들이 도시된 실시예들에 대해 상세하게 참조가 이루어질 것이다. 이하의 상세한 설명에서, 본 발명의 철저한 이해를 제공하기 위하여 다수의 특정 세부사항이 상술된다. 그러나, 이러한 특정 세부사항 없이도 본 발명이 실시될 수 있음은 이 기술분야의 통상의 기술자에게 자명할 것이다. 한편, 실시예의 양태를 불필요하게 모호하게 하지 않도록, 공지된 방법, 절차, 컴포넌트, 회로 및 네트워크에 대해서는 상세하게 설명하지 않았다.
또한, 본 명세서에 제1, 제2 등의 용어가 다양한 요소를 설명하기 위해 사용될 수 있지만, 이들 요소는 이들 용어에 의해 한정되지 않아야 한다는 것을 이해할 것이다. 이들 용어는 요소 간의 구별을 위해서 사용될 뿐이다. 예컨대, 본 발명의 범위로부터 벗어나지 않고, 제1 사용자 인터페이스는 제2 사용자 인터페이스라고 지칭될 수 있고, 유사하게 제2 사용자 인터페이스는 제1 사용자 인터페이스라고 지칭될 수 있다. 제1 사용자 인터페이스 및 제2 사용자 인터페이스는 모두 사용자 인터페이스들이지만, 이들은 동일한 사용자 인터페이스는 아니다.
본원에서 발명의 설명에 사용된 용어는 특정 실시예를 설명하기 위한 것일 뿐이며 본 발명을 제한하는 것으로 의도된 것이 아니다. 발명의 설명 및 첨부된 특허청구범위에 사용된 바와 같이, "일(a)", "하나(an)" 및 "그(the)"라는 단수형은 상황이 명확하게 달리 지시하지 않는 한 복수형도 포함하는 것으로 의도된 것이다. 또한, 본 명세서에 사용된 바와 같은 "및/또는"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 임의의 및 모든 가능한 조합을 지칭하고 포함하는 것임을 이해할 것이다. 또한, "구비한다", "구비하는", "포함한다" 및/또는 "포함하는"이라는 용어는, 본 명세서에서 사용될 때, 언급된 특징, 정수, 단계, 동작, 요소 및/또는 컴포넌트의 존재를 특정하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않음을 이해할 것이다.
본 명세서에 사용될 때, "~인 경우(if)"라는 용어는 상황에 따라 "~일 때(when)" 또는 "~시에(upon)" 또는 "결정에 응답하여" 또는 "검출에 응답하여"를 의미하는 것으로 해석될 수 있다. 유사하게, "결정되는 경우" 또는 "[언급된 조건 또는 이벤트가] 검출되는 경우"라는 문구는 상황에 따라 "결정시에" 또는 "결정에 응답하여" 또는 "[언급된 조건 또는 이벤트가] 검출되면" 또는 "[언급된 조건 또는 이벤트의] 검출에 응답하여"를 의미하는 것으로 해석될 수 있다.
전자 장치들, 그러한 장치들을 위한 사용자 인터페이스들 및 그러한 장치들을 사용하기 위한 관련 프로세스들의 실시예들이 기술된다. 일부 실시예들에서, 장치는 PDA 및/또는 음악 플레이어 기능들 등의 다른 기능들도 포함하는 이동 전화와 같은 휴대용 통신 장치이다. 휴대용 다기능 장치들의 예시적인 실시예들은 캘리포니아, 쿠퍼티노의 애플사로부터의 iPhone®, iPod Touch® 및 iPad® 장치들을 포함하지만 이에 한정되지 않는다. 터치 감지 표면들(예로서, 터치 스크린 디스플레이들 및/또는 터치 패드들)을 갖는 랩탑들 또는 태블릿 컴퓨터들과 같은 다른 휴대용 전자 장치들도 사용될 수 있다. 일부 실시예들에서, 장치는 휴대용 통신 장치가 아니지만, 터치 감지 표면(예로서, 터치 스크린 디스플레이 및/또는 터치 패드)을 갖는 데스크탑 컴퓨터라는 것도 이해해야 한다.
아래의 논의에서는 디스플레이 및 터치 감지 표면을 포함하는 전자 장치가 설명된다. 그러나, 전자 장치는 물리 키보드, 마우스 및/또는 조이스틱과 같은 하나 이상의 다른 물리적 사용자 인터페이스 장치들을 포함할 수 있다는 것을 이해해야 한다.
장치는 통상적으로 드로잉 애플리케이션, 프레젠테이션 애플리케이션, 워드 프로세싱 애플리케이션, 웹사이트 생성 애플리케이션, 디스크 저작 애플리케이션, 스프레드시트 애플리케이션, 게이밍 애플리케이션, 전화 애플리케이션, 비디오 회의 애플리케이션, 이메일 애플리케이션, 인스턴트 메시징 애플리케이션, 연습 지원 애플리케이션, 사진 관리 애플리케이션, 디지털 카메라 애플리케이션, 디지털 비디오 카메라 애플리케이션, 웹 브라우징 애플리케이션, 디지털 음악 플레이어 애플리케이션 및/또는 디지털 비디오 플레이어 애플리케이션 중 하나 이상의 애플리케이션과 같은 다양한 애플리케이션을 지원한다.
장치 상에서 실행될 수 있는 다양한 애플리케이션은 터치 감지 표면 등의 적어도 하나의 공통의 물리적 사용자 인터페이스 장치를 사용할 수 있다. 터치 감지 표면의 하나 이상의 기능뿐만 아니라 장치 상에 표시되는 대응 정보가 애플리케이션별로 및/또는 각 애플리케이션 내에서 조정 및/또는 변경될 수 있다. 이러한 방식으로, 장치의 (터치 감지 표면 등의) 공통의 물리적 아키텍처는 직관적이고 사용자에게 투명한 사용자 인터페이스들을 갖는 다양한 애플리케이션을 지원할 수 있다.
이제, 터치 감지 디스플레이를 갖는 휴대용 장치들의 실시예들을 설명한다. 도 1a는 일부 실시예들에 따른 터치 감지 디스플레이(112)를 갖는 휴대용 다기능 장치(100)를 도시하는 블록도이다. 터치 감지 디스플레이(112)는 흔히 편의상 "터치 스크린"이라 지칭되고, 터치 감지 디스플레이 시스템으로도 알려지거나 지칭될 수 있다. 장치(100)는 (하나 이상의 컴퓨터 판독가능 저장 매체를 포함할 수 있는) 메모리(102), 메모리 제어기(122), 하나 이상의 처리 장치(CPU)(120), 주변장치 인터페이스(118), RF 회로(108), 오디오 회로(110), 스피커(111), 마이크로폰(113), 입출력(I/O) 서브시스템(106), 기타 입력 또는 제어 장치(116) 및 외부 포트(124)를 포함할 수 있다. 장치(100)는 하나 이상의 광센서(164)를 포함할 수 있다. 이러한 컴포넌트들은 하나 이상의 통신 버스 또는 신호 라인(103)을 통해 통신할 수 있다.
장치(100)는 휴대용 다기능 장치의 일례일 뿐이고, 장치(100)는 도시된 것보다 많거나 적은 컴포넌트를 가질 수 있거나, 2개 이상의 컴포넌트를 결합할 수 있거나, 상이한 컴포넌트 구성 또는 배열을 가질 수 있다는 것을 알아야 한다. 도 1a에 도시된 다양한 컴포넌트는 하나 이상의 신호 처리 및/또는 애플리케이션 특화된 집적 회로를 포함하는, 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어 양자의 조합으로 구현될 수 있다.
메모리(102)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치 또는 기타 비휘발성 고체 상태 메모리 장치 등의 비휘발성 메모리를 포함할 수 있다. CPU(120) 및 주변장치 인터페이스(118)와 같은 장치(100)의 다른 컴포넌트에 의한 메모리(102)에 대한 액세스는 메모리 제어기(122)에 의해 제어될 수 있다.
주변장치 인터페이스(118)는 장치의 입력 및 출력 주변장치를 CPU(120) 및 메모리(102)에 결합하는 데 사용될 수 있다. 하나 이상의 프로세서(120)는 메모리(102)에 저장된 다양한 소프트웨어 프로그램 및/또는 명령어 세트를 동작 또는 실행하여 장치(100)를 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
일부 실시예들에서, 주변장치 인터페이스(118), CPU(120) 및 메모리 제어기(122)는 칩(104)과 같은 단일 칩 상에 구현될 수 있다. 일부 다른 실시예에서, 이들은 개별 칩 상에 구현될 수 있다.
RF(라디오 주파수) 회로(108)는 전자기 신호라고도 하는 RF 신호를 송수신한다. RF 회로(108)는 전기 신호를 전자기 신호로 변환하거나 전자기 신호로부터 전기 신호를 변환하고, 전자기 신호를 통해 통신 네트워크 및 다른 통신 장치와 통신한다. RF 회로(108)는 이러한 기능을 수행하기 위한 공지된 회로를 포함할 수 있는데, 이러한 회로는 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 처리기, CODEC 칩셋, 가입자 식별 모듈(SIM) 카드, 메모리 등을 포함하지만 이들로 한정되지 않는다. RF 회로(108)는, 셀룰러 전화 네트워크, 무선 LAN(local area network) 및/또는 MAN(metropolitan area network) 등의 무선 네트워크, 인트라넷 및/또는 월드 와이드 웹(WWW)이라고도 불리는 인터넷과 같은 네트워크들, 및 기타 장치와 무선 통신에 의해 통신할 수 있다. 무선 통신은, GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), HSDPA(high-speed downlink packet access), HSUPA(high-speed uplink packet access), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스(Bluetooth), Wi-Fi(Wireless Fidelity)(예를 들어, IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n), VoIP(voice over Internet Protocol), Wi-MAX, 이메일용 프로토콜(예를 들어, IMAP(Internet message access protocol) 및/또는 POP(post office protocol)), 인스턴트 메시징(예를 들어, XMPP(extensible messaging and presence protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extentions), IMPS(Instant Messaging and Presence Service)), 및/또는 SMS(Short Message Service), 또는 본원의 출원일 당시에 아직 개발되지 않은 통신 프로토콜을 포함하는 임의의 다른 적합한 통신 프로토콜을 포함하지만 이들로 한정되지 않는 복수의 통신 표준, 프로토콜 및 기술 중 임의의 것을 사용할 수 있다.
오디오 회로(110), 스피커(111) 및 마이크로폰(113)은 사용자와 장치(100) 사이의 오디오 인터페이스를 제공한다. 오디오 회로(110)는 주변장치 인터페이스(118)로부터 오디오 데이터를 수신하고, 오디오 데이터를 전기 신호로 변환하며, 전기 신호를 스피커(111)로 송신한다. 스피커(111)는 전기 신호를 사람 가청 음파(human-audible sound waves)로 변환한다. 오디오 회로(110)는 또한 마이크로폰(113)에 의해 음파로부터 변환된 전기 신호를 수신한다. 오디오 회로(110)는 전기 신호를 오디오 데이터로 변환하고, 처리를 위해 오디오 데이터를 주변장치 인터페이스(118)에 송신한다. 오디오 데이터는 주변장치 인터페이스(118)에 의해 메모리(102) 및/또는 RF 회로(108)로부터 검색되거나 및/또는 그들로 송신될 수 있다. 일부 실시예들에서, 오디오 회로(110)는 헤드셋 잭(예를 들어, 도 2의 212)을 더 포함한다. 헤드셋 잭은 오디오 회로(110)와, 출력 전용 헤드폰들 또는 출력(예를 들어, 한쪽 귀 또는 양쪽 귀를 위한 헤드폰)과 입력(예를 들어, 마이크로폰)을 모두 갖는 헤드셋과 같은 이동식 오디오 입/출력 주변장치 사이의 인터페이스를 제공한다.
I/O 서브시스템(106)은 터치 스크린(112) 및 기타 입력 제어 장치(116)와 같은 장치(100) 상의 입/출력 주변장치를 주변장치 인터페이스(118)에 결합시킨다. I/O 서브시스템(106)은 디스플레이 제어기(156) 및 기타 입력 또는 제어 장치를 위한 하나 이상의 입력 제어기(160)를 포함할 수 있다. 하나 이상의 입력 제어기(160)는 기타 입력 또는 제어 장치(116)로부터/로 전기 신호를 수신/송신한다. 기타 입력 제어 장치(116)는 물리적 버튼(예를 들어, 푸시 버튼, 락커 버튼 등), 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휠 등을 포함할 수 있다. 일부 다른 실시예에서, 입력 제어기(들)(160)는 키보드, 적외선 포트, USB 포트 및 마우스와 같은 포인터 장치 중 임의의 것과 결합될 수 있다(또는 이들 중 아무것과도 결합되지 않을 수 있다). 하나 이상의 버튼(예를 들어, 도 2의 208)은 스피커(111) 및/또는 마이크로폰(113)의 볼륨 제어를 위한 업/다운 버튼을 포함할 수 있다. 하나 이상의 버튼은 푸시 버튼(예를 들어, 도 2의 206)을 포함할 수 있다.
터치 감지 디스플레이(112)는 장치와 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 제공한다. 디스플레이 제어기(156)는 터치 스크린(112)으로부터/으로 전기 신호를 수신 및/또는 송신한다. 터치 스크린(112)은 사용자에 대한 시각적 출력을 표시한다. 시각적 출력은 그래픽, 텍스트, 아이콘, 비디오 및 이들의 임의의 조합(총괄하여 "그래픽"이라고 지칭됨)을 포함할 수 있다. 일부 실시예들에서, 시각적 출력의 일부 또는 전부는 사용자-인터페이스 객체들에 대응할 수 있다.
터치 스크린(112)은 햅틱(haptic) 및/또는 택틸(tactile) 접촉에 기초하여 사용자로부터의 입력을 받아들이는 터치 감지 표면, 센서 또는 센서 세트를 갖는다. 터치 스크린(112) 및 디스플레이 제어기(156)는 (메모리(102)의 임의의 관련 모듈 및/또는 명령어 세트와 함께) 터치 스크린(112) 상의 접촉(및 접촉의 임의의 움직임이나 해제(breaking))을 검출하고, 검출된 접촉을 터치 스크린(112) 상에 표시된 (하나 이상의 소프트 키, 아이콘, 웹 페이지 또는 이미지 등의) 사용자-인터페이스 객체와의 상호작용으로 변환한다. 예시적인 실시예에서, 터치 스크린(112)과 사용자 사이의 접촉점은 사용자의 손가락에 대응한다.
터치 스크린(112)은 LCD(liquid crystal display; 액정 디스플레이) 기술, LPD(light emitting polymer display; 발광 중합체 디스플레이) 기술 또는 LED(light emitting diode; 발광 다이오드) 기술을 사용할 수 있지만, 다른 실시예들에서는 다른 디스플레이 기술들이 사용될 수 있다. 터치 스크린(112) 및 디스플레이 제어기(156)는 용량, 저항, 적외선 및 표면 음파 기술들을 포함하지만 이들로 한정되지 않는, 이미 공지되었거나 나중에 개발될 복수의 터치 감지 기술 중 임의의 것을 이용하는 것은 물론, 다른 근접 센서 어레이 또는 터치 스크린(112)과의 하나 이상의 접촉점을 결정하기 위한 기타 요소들을 이용하여 접촉 및 그의 임의의 움직임 또는 해제를 검출할 수 있다. 예시적인 실시예에서는, 캘리포니아, 쿠퍼티노의 애플사로부터의 iPhone®, iPod Touch® 및 iPad®에서 발견되는 것과 같은 투영 상호 용량 감지(projected mutual capacitance sensing) 기술이 이용된다.
터치 스크린(112)은 100dpi를 넘는 비디오 해상도를 가질 수 있다. 일부 실시예들에서, 터치 스크린은 약 160dpi의 비디오 해상도를 가질 수 있다. 사용자는 스타일러스, 손가락 등과 같은 임의의 적합한 물체 또는 부속물을 사용하여 터치 스크린(112)과 접촉할 수 있다. 일부 실시예들에서, 사용자 인터페이스는 주로 손가락-기반 접촉 및 제스처를 이용하여 동작하도록 설계되는데, 이러한 손가락-기반 접촉 및 제스처는 스타일러스-기반의 입력에 비해 터치 스크린 상에서의 손가락의 접촉 면적이 더 넓기 때문에 덜 정확할 수 있다. 일부 실시예들에서, 장치는 대략적인 손가락-기반 입력을 사용자가 원하는 액션을 수행하기 위한 정밀한 포인터/커서 위치 또는 명령으로 변환한다.
일부 실시예들에서, 장치(100)는 터치 스크린 외에도 특정 기능을 활성화하거나 비활성화하기 위한 터치패드(도시되지 않음)를 포함할 수 있다. 일부 실시예들에서, 터치패드는 터치 스크린과 달리 시각적 출력을 표시하지 않는, 장치의 터치 감지 영역이다. 터치패드는 터치 스크린(112)으로부터 분리된 터치 감지 표면이거나, 터치 스크린에 의해 형성된 터치 감지 표면의 연장일 수 있다.
장치(100)는 또한 다양한 컴포넌트에 전력을 공급하는 전력 시스템(162)을 포함한다. 전력 시스템(162)은 전력 관리 시스템, 하나 이상의 전원(예를 들어, 배터리, 교류(AC)), 충전 시스템, 전력 실패 검출 회로, 파워 컨버터 또는 인버터, 전력 상태 표시자(예를 들어, 발광 다이오드(LED)) 및 휴대용 장치의 전력 생성, 관리 및 분배와 연관된 임의의 다른 컴포넌트를 포함할 수 있다.
장치(100)는 또한 하나 이상의 광센서(164)를 포함할 수 있다. 도 1a는 I/O 서브시스템(106)의 광센서 제어기(158)에 결합된 광센서를 도시한다. 광센서(164)는 전하 결합 소자(CCD) 또는 상보형 금속-산화물 반도체(CMOS) 포토트랜지스터를 포함할 수 있다. 광센서(164)는 하나 이상의 렌즈를 통해 투사되는, 환경으로부터의 광을 수신하고, 광을 이미지를 나타내는 데이터로 변환한다. (카메라 모듈이라고도 하는) 이미징 모듈(143)과 함께, 광센서(164)는 정지 이미지 또는 비디오를 캡처할 수 있다. 일부 실시예들에서는, 장치의 전면 상의 터치 스크린 디스플레이(112)에 대향하여 장치(100)의 배면에 광 센서가 배치되며, 따라서 터치 스크린 디스플레이는 정지 및/또는 비디오 이미지 획득을 위한 뷰파인더로서 사용될 수 있다. 일부 실시예들에서는, 사용자가 터치 스크린 디스플레이 상에서 다른 비디오 회의 참가자를 보는 동안 사용자의 이미지가 비디오 회의를 위해 획득될 수 있도록 다른 광센서가 장치의 전면에 배치된다.
장치(100)는 또한 하나 이상의 근접 센서(166)를 포함할 수 있다. 도 1a는 주변장치 인터페이스(118)에 결합된 근접 센서(166)를 도시한다. 대안으로서, 근접 센서(166)는 I/O 서브시스템(106)의 입력 제어기(160)에 결합될 수 있다. 일부 실시예들에서, 다기능 장치가 사용자의 귀 근처에 배치되는 경우(예컨대, 사용자가 전화 통화 중인 경우), 근접 센서는 터치 스크린(112)을 턴오프하고 디스에이블한다.
장치(100)는 또한 하나 이상의 가속도계(168)를 포함할 수 있다. 도 1a는 주변장치 인터페이스(118)에 결합된 가속도계(168)를 도시한다. 대안으로서, 가속도계(168)는 I/O 서브시스템(106)의 입력 제어기(160)에 결합될 수 있다. 일부 실시예들에서, 정보가 하나 이상의 가속도계로부터 수신된 데이터에 대한 분석에 기초하여 세로 뷰 또는 가로 뷰로 터치 스크린 디스플레이 상에 표시된다. 장치(100)는 옵션으로서, 가속도계(들)(168)에 더하여, 장치(100)의 위치 및 배향(예로서, 세로 또는 가로)에 관한 정보를 얻기 위한 자기계(도시되지 않음) 및 GPS(또는 GLONASS 또는 다른 글로벌 내비게이션 시스템) 수신기(도시되지 않음)를 포함한다.
일부 실시예들에서, 메모리(102)에 저장되는 소프트웨어 컴포넌트들은 운영 체제(126), 통신 모듈(또는 명령어 세트)(128), 접촉/운동 모듈(또는 명령어 세트)(130), 그래픽 모듈(또는 명령어 세트)(132), 텍스트 입력 모듈(또는 명령어 세트)(134), GPS(Global Positioning System) 모듈(또는 명령어 세트)(135) 및 애플리케이션(또는 명령어 세트)(136)을 포함한다. 더구나, 일부 실시예들에서, 메모리(102)는 도 1a 및 3에 도시된 바와 같이 장치/글로벌 내부 상태(157)를 저장한다. 장치/글로벌 내부 상태(157)는 존재할 경우에 어느 애플리케이션이 현재 활성인지를 지시하는 활성 애플리케이션 상태; 어떤 애플리케이션들, 뷰들 또는 다른 정보가 터치 스크린 디스플레이(112)의 다양한 영역들을 점유하는지를 지시하는 디스플레이 상태; 장치의 다양한 센서들 및 입력 제어 장치들(116)로부터 얻어진 정보를 포함하는 센서 상태; 및 장치의 위치 및/또는 자세(attitude)에 관한 위치 정보 중 하나 이상을 포함한다. 일부 실시예들에서, 메모리(102)는 또한 하나 이상의 개별 프로파일(159)을 저장하며, 각각의 개별 프로파일은 각각의 사용자가 액세스할 수 있는 특정 애플리케이션 또는 위젯의 특정 사용자 인터페이스 또는 하나 이상의 사용자 인터페이스들의 사용자 인터페이스 객체들을 식별하는 정보를 포함한다.
운영 체제(126)(예를 들어, 다윈, RTXC, 리눅스, 유닉스, OS X, 윈도, 또는 VxWorks와 같은 내장 운영 체제)는 (예를 들어, 메모리 관리, 저장 장치 제어, 전력 관리 등의) 일반적인 시스템 작업을 제어하고 관리하기 위한 다양한 소프트웨어 컴포넌트 및/또는 드라이버를 포함하고 다양한 하드웨어 및 소프트웨어 컴포넌트 사이의 통신을 가능하게 한다.
통신 모듈(128)은 하나 이상의 외부 포트(124)를 통한 다른 장치와의 통신을 가능하게 하며, RF 회로(108) 및/또는 외부 포트(124)에 의해 수신된 데이터를 처리하기 위한 다양한 소프트웨어 컴포넌트를 또한 포함한다. 외부 포트(124)(예를 들어, USB(Universal Serial Bus), 파이어와이어 등)는 다른 장치에 직접 결합하거나 네트워크(예를 들어, 인터넷, 무선 LAN 등)를 통해 간접적으로 결합하도록 적응된다. 일부 실시예들에서, 외부 포트는 (애플사의 상표인) iPod 장치들 상에서 사용되는 30핀 커넥터와 동일, 유사 및/또는 호환 가능한 (예컨대 30핀의) 다중 핀 커넥터이다.
접촉/운동 모듈(130)은 (디스플레이 제어기(156)와 함께) 터치 스크린(112) 및 기타 터치 감지 장치들(예를 들어, 터치패드 또는 물리적 클릭 휠)과의 접촉을 검출할 수 있다. 접촉/운동 모듈(130)은 접촉 발생 여부를 판단하는 동작(예를 들어, 손가락 다운 이벤트(finger-down event)의 검출), 접촉의 움직임이 있는지 여부를 판단하고 그 움직임을 터치 감지 표면에 걸쳐서 추적하는 동작(예를 들어, 하나 이상의 손가락 드래깅 이벤트들의 검출), 그리고 접촉 중단 여부를 판단하는 동작(예를 들어, 손가락 업 이벤트(finger-up event) 또는 접촉 분리의 검출)과 같은, 접촉 검출과 관련된 다양한 동작을 수행하기 위한 다양한 소프트웨어 컴포넌트를 포함한다. 접촉/운동 모듈(130)은 터치 감지 표면으로부터 접촉 데이터를 수신한다. 일련의 접촉 데이터에 의해 표현되는 접촉점의 움직임을 판단하는 것은 접촉점의 속력(크기), 속도(크기 및 방향) 및/또는 가속도(크기 및/또는 방향의 변화)를 판단하는 것을 포함할 수 있다. 이러한 동작들은 단일 접촉(예를 들어, 하나의 손가락 접촉들)에 적용되거나 다중 동시 접촉(예를 들어, "멀티터치"/다중 손가락 접촉들)에 적용될 수 있다. 일부 실시예들에서, 접촉/운동 모듈(130) 및 디스플레이 제어기(156)는 터치패드 상의 접촉을 검출한다.
접촉/운동 모듈(130)은 사용자에 의한 제스처 입력을 검출할 수 있다. 터치 감지 표면 상의 상이한 제스처들은 상이한 접촉 패턴들을 갖는다. 따라서, 특정 접촉 패턴을 검출함으로써 제스처를 검출할 수 있다. 예를 들어, 손가락 탭(tap) 제스처의 검출은 손가락 다운 이벤트를 검출한 후에 (예를 들어, 아이콘의 위치에서의) 손가락 다운 이벤트와 동일한 위치(또는 실질적으로 동일한 위치)에서의 손가락 업(리프트 오프) 이벤트를 검출하는 것을 포함한다. 다른 예로서, 터치 감지 표면 상에서의 손가락 스와이프(swipe) 제스처의 검출은 손가락 다운 이벤트를 검출한 후에 하나 이상의 손가락 드래깅 이벤트들을 검출하고, 이어서 손가락 업(리프트 오프) 이벤트를 검출하는 것을 포함한다.
그래픽 모듈(132)은 표시되는 그래픽의 강도를 변경하기 위한 컴포넌트들을 포함하여, 터치 스크린(112) 또는 기타 디스플레이 상의 그래픽을 렌더링하고 표시하기 위한 다양한 공지 소프트웨어 컴포넌트를 포함한다. 본 명세서에 사용될 때, "그래픽"이라는 용어는, 텍스트, 웹 페이지, (소프트 키를 포함하는 사용자-인터페이스 객체 등의) 아이콘, 디지털 이미지, 비디오 및 애니메이션 등을 포함하지만 이들로 한정되지 않는, 사용자에게 디스플레이될 수 있는 임의의 객체를 포함한다.
일부 실시예들에서, 그래픽 모듈(132)은 사용될 그래픽을 나타내는 데이터를 저장한다. 각각의 그래픽은 대응 코드를 할당받을 수 있다. 그래픽 모듈(132)은 필요한 경우에 좌표 데이터 및 다른 그래픽 특성 데이터와 함께 표시될 그래픽을 지정하는 하나 이상의 코드들을 애플리케이션 등으로부터 수신한 후에, 디스플레이 제어기(156)로 출력할 스크린 이미지 데이터를 생성한다.
그래픽 모듈(132)의 컴포넌트일 수 있는 텍스트 입력 모듈(134)은 (연락처(137), 이메일(140), IM(141), 브라우저(147) 및 텍스트 입력을 필요로 하는 임의의 다른 애플리케이션 등의) 다양한 애플리케이션에 텍스트를 입력하기 위한 소프트 키보드를 제공한다.
GPS 모듈(135)은 장치의 위치를 판단하고 이 정보를 다양한 애플리케이션에서 사용할 수 있도록 제공한다(예컨대, 위치-기반 다이얼링에 사용하도록 전화(138)에 제공하고, 픽처/비디오 메타데이터로서 카메라(143)에 제공하며, 날씨 위젯, 지역 전화번호부 위젯 및 지도/내비게이션 위젯 등의 위치-기반 서비스를 제공하는 애플리케이션들에 제공한다).
애플리케이션(136)은 이하의 모듈(또는 명령어 세트들), 또는 이들의 서브세트나 수퍼세트를 포함할 수 있다.
ㆍ 연락처 모듈(137) (때때로 주소록 또는 연락처 리스트라고 지칭됨);
ㆍ 전화 모듈(138);
ㆍ 비디오 회의 모듈(139);
ㆍ 이메일 클라이언트 모듈(140);
ㆍ 인스턴트 메시징(IM) 모듈(141);
ㆍ 연습 지원 모듈(142);
ㆍ 정지 및/또는 비디오 이미지를 위한 카메라 모듈(143);
ㆍ 이미지 관리 모듈(144);
ㆍ 브라우저 모듈(147);
ㆍ 달력 모듈(148);
ㆍ 날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4), 및 사용자가 획득한 기타 위젯들은 물론, 사용자-생성 위젯들(149-6) 중 하나 이상을 포함할 수 있는 위젯 모듈들(149);
ㆍ 사용자-생성 위젯들(149-6)을 작성하기 위한 위젯 생성기 모듈(150);
ㆍ 검색 모듈(151);
ㆍ 비디오 플레이어 모듈 및 음악 플레이어 모듈로 구성될 수 있는 비디오 및 음악 플레이어 모듈(152);
ㆍ 노트 모듈(153);
ㆍ 지도 모듈(154); 및/또는
ㆍ 온라인 비디오 모듈(155).
메모리(102)에 저장될 수 있는 다른 애플리케이션(136)의 예는 기타 워드 프로세싱 애플리케이션, 기타 이미지 편집 애플리케이션, 드로잉 애플리케이션, 프레젠테이션 애플리케이션, JAVA-인에이블드 애플리케이션, 암호화, 디지털 권리 관리, 음성 인식 및 음성 복제를 포함한다.
연락처 모듈(137)은 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 주소록 또는 연락처 리스트(예로서, 메모리(102) 또는 메모리(370) 내의 연락처 모듈(137)의 애플리케이션 내부 상태(192)에 저장됨)의 관리에 사용될 수 있는데, 이러한 관리에는 주소록에 이름(들)을 추가하고; 주소록으로부터 이름(들)을 삭제하며; 전화번호(들), 이메일 주소(들), 물리 주소(들) 또는 기타 정보를 이름과 연관시키고; 이름과 이미지를 연관시키며; 이름을 분류하거나 정렬하고; 전화(138), 비디오 회의(139), 이메일(140) 또는 IM(141)에 의한 통신을 개시 및/또는 가능하게 하기 위한 전화 번호들 또는 이메일 주소들을 제공하는 것 등이 포함된다.
전화 모듈(138)은 RF 회로(108), 오디오 회로(110), 스피커(111), 마이크로폰(113), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 전화번호에 대응하는 문자열을 입력하고, 주소록(137)의 하나 이상의 전화번호를 액세스하며, 입력된 전화번호를 수정하고, 각각의 전화번호를 다이얼링하며, 대화를 수행하고, 대화 완료시 접속해제하거나 전화를 끊는데 사용될 수 있다. 전술한 바와 같이, 무선 통신은 복수의 통신 표준, 프로토콜 및 기술 중 임의의 것을 사용할 수 있다.
비디오 회의 모듈(139)은 RF 회로(108), 오디오 회로(110), 스피커(111), 마이크로폰(113), 터치 스크린(112), 디스플레이 제어기(156), 광센서(164), 광센서 제어기(158), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 연락처 리스트(137) 및 전화 모듈(138)과 함께, 사용자 명령에 따라 사용자와 한 명 이상의 다른 참가자 사이의 비디오 회의를 개시하고 수행하며 종료하기 위한 실행 가능 명령어들을 포함한다.
이메일 클라이언트 모듈(140)은 RF 회로(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 사용자 명령에 응답하여 이메일을 생성하고 송수신하며 관리하기 위한 실행 가능 명령어들을 포함한다. 이메일 클라이언트 모듈(140)은 이미지 관리 모듈(144)과 함께 카메라 모듈(143)로 획득한 정지 또는 비디오 이미지를 갖는 이메일을 생성하고 송신하는 것을 매우 용이하게 한다.
인스턴트 메시징 모듈(141)은 RF 회로(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 인스턴트 메시지에 대응하는 문자열을 입력하고, 이미 입력된 문자를 수정하며, (예컨대, 전화-기반 인스턴트 메시지를 위한 SMS(Short Message Service) 또는 MMS(Multimedia Message Service) 프로토콜을 이용하거나, 인터넷-기반 인스턴트 메시지를 위한 XMPP, SIMPLE 또는 IMPS를 이용하여) 각각의 인스턴트 메시지를 송신하고, 인스턴트 메시지를 수신하며, 수신된 인스턴트 메시지를 보기 위한 실행 가능 명령어들을 포함한다. 일부 실시예들에서, 송신 및/또는 수신된 인스턴트 메시지는 그래픽, 사진, 오디오 파일, 비디오 파일, 및/또는 MMS 및/또는 EMS(Enhanced Messaging Service)에서 지원되는 기타 첨부물을 포함할 수 있다. 본 명세서에 사용될 때, "인스턴트 메시징"은 (SMS 또는 MMS를 사용하여 송신되는 메시지와 같은) 전화 기반 메시지 및 (XMPP, SIMPLE 또는 IMPS를 사용하여 송신되는 메시지와 같은) 인터넷 기반 메시지 양자 모두를 지칭한다.
연습 지원 모듈(142)은 RF 회로(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135), 지도 모듈(154) 및 음악 플레이어 모듈(146)과 함께, (예로서, 시간, 거리 및/또는 칼로리 연소 목표를 갖는) 연습들을 생성하고; 연습 센서들(스포츠 장치들)과 통신하고; 연습 센서 데이터를 수신하고; 연습을 모니터링하는 데 사용되는 센서들을 캘리브레이트(calibrate)하고; 연습을 위한 음악을 선택 및 재생하고; 연습 데이터를 표시, 저장 및 전송하기 위한 실행 가능 명령어들을 포함한다.
카메라 모듈(143)은 터치 스크린(112), 디스플레이 제어기(156), 광센서(들)(164), 광센서 제어기(158), 접촉 모듈(130), 그래픽 모듈(132) 및 이미지 관리 모듈(144)과 함께, 정지 이미지 또는 (비디오 스트림을 포함하는) 비디오를 캡처하고 이들을 메모리(102)에 저장하거나, 정지 이미지 또는 비디오의 특성을 수정하거나, 정지 이미지 또는 비디오를 메모리(102)로부터 삭제하기 위한 실행 가능 명령어들을 포함한다.
이미지 관리 모듈(144)은 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 카메라 모듈(143)과 함께, 정지 및/또는 비디오 이미지를 배열, 수정(예로서, 편집) 또는 조작, 라벨링, 삭제, (예를 들어, 디지털 슬라이드 쇼 또는 앨범으로) 제시 및 저장하기 위한 실행 가능 명령어들을 포함한다.
브라우저 모듈(147)은 RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 웹 페이지나 그 일부 및 웹 페이지에 링크된 첨부물 및 기타 파일에 대한 검색, 링크, 수신 및 표시를 포함하여, 사용자 명령에 따라 인터넷을 브라우징하기 위한 실행 가능 명령어들을 포함한다.
달력 모듈(148)은 RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140) 및 브라우저 모듈(147)과 함께, 사용자 명령에 따라 달력 및 달력과 연관된 데이터(예를 들어, 달력 엔트리, 할일 리스트 등)를 생성, 표시, 수정 및 저장하기 위한 실행 가능 명령어들을 포함한다.
위젯 모듈들(149)은 RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 브라우저 모듈(147)과 함께, (날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3) 및 알람 시계 위젯(149-4)과 같이) 사용자에 의해 다운로드되고 사용될 수 있거나, (사용자-생성 위젯(149-6)과 같이) 사용자에 의해 생성될 수 있는 미니 애플리케이션들이다. 일부 실시예들에서, 위젯은 HTML(Hypertext Markup Language; 하이퍼텍스트 마크업 언어) 파일, CSS(Cascading Style Sheets; 캐스케이딩 스타일 시트) 파일 및 자바 스크립트 파일을 포함한다. 일부 실시예들에서, 위젯은 XML(Extensible Markup Language; 확장형 마크업 언어) 파일 및 자바 스크립트 파일(예컨대, 야후! 위젯)을 포함한다.
위젯 생성기 모듈(150)은 RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 브라우저 모듈(147)과 함께 (예컨대, 웹 페이지의 사용자-지정 부분을 위젯으로 바꾸는 등) 위젯을 생성하기 위해 사용자에 의해 이용될 수 있다.
검색 모듈(151)은 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 사용자 명령에 따라 (하나 이상의 사용자-지정 검색 용어 등의) 하나 이상의 검색 조건과 매칭되는 메모리(102)의 텍스트, 음악, 사운드, 이미지, 비디오 및/또는 기타 파일을 검색하기 위한 실행 가능 명령어들을 포함한다.
비디오 및 음악 플레이어 모듈(152)은 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로(110), 스피커(111), RF 회로(108) 및 브라우저 모듈(147)과 함께, 사용자가 MP3 또는 AAC 파일과 같은 하나 이상의 파일 포맷으로 저장된 기록 음악 및 기타 사운드 파일들을 다운로드하고 재생할 수 있게 하는 실행 가능 명령어들, 및 (예를 들어, 터치 스크린(112) 상에서 또는 외부 포트(124)를 통해 접속된 외부 디스플레이 상에서) 비디오들을 표시, 제시 또는 재생하기 위한 실행 가능 명령어들을 포함한다. 일부 실시예들에서, 장치(100)는 iPod(애플사의 상표)와 같은 MP3 플레이어의 기능을 포함할 수 있다.
노트 모듈(153)은 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 사용자 명령에 따라 노트, 할일 리스트 등을 생성하고 관리하기 위한 실행 가능 명령어들을 포함한다.
지도 모듈(154)은 RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135) 및 브라우저 모듈(147)과 함께, 사용자 명령에 따라 지도 및 (예컨대, 운전 방향, 특정 위치의 또는 그 근처의 가게 및 기타 관련 지점에 대한 데이터, 및 기타 위치-기반 데이터 등의) 지도 관련 데이터를 수신하고 표시하고 수정하고 저장하는 데 사용될 수 있다.
온라인 비디오 모듈(155)은 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로(110), 스피커(111), RF 회로(108), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140) 및 브라우저 모듈(147)과 함께, 사용자로 하여금 특정 온라인 비디오로의 링크를 갖는 이메일을 액세스하고 브라우징하며 (예컨대, 스트리밍 및/또는 다운로드에 의해) 수신하고 (예컨대, 터치 스크린, 또는 외부 포트(124)를 통해 접속된 외부 디스플레이 상에서) 재생하며 송신할 수 있게 하고, 그렇지 않으면 H.264 등의 하나 이상의 파일 포맷의 온라인 비디오를 관리할 수 있게 하는 명령어들을 포함한다. 일부 실시예들에서는, 이메일 클라이언트 모듈(140)이 아닌 인스턴트 메시징 모듈(141)이 특정 온라인 비디오에 대한 링크를 송신하는 데 사용된다.
이상 언급된 모듈 및 애플리케이션 각각은 위에서 설명된 하나 이상의 기능 및 본원에서 설명되는 방법들(예로서, 본 명세서에서 설명되는 컴퓨터 구현 방법들 및 다른 정보 처리 방법들)을 수행하기 위한 실행 가능 명령어 세트에 대응한다. 이러한 모듈(즉, 명령어 세트)은 개별 소프트웨어 프로그램, 절차 또는 모듈로서 구현될 필요는 없으며, 따라서 다양한 실시예에서 이러한 모듈들의 다양한 서브세트가 통합되거나 재배치될 수 있다. 일부 실시예들에서, 메모리(102)는 이상 언급된 모듈 및 데이터 구조의 서브세트를 저장할 수 있다. 더구나, 메모리(102)는 위에서 설명되지 않은 추가적인 모듈 및 데이터 구조를 저장할 수 있다.
일부 실시예들에서, 장치(100)는 터치 스크린 및/또는 터치패드를 통해서만 장치 상에서의 사전 정의된 기능 세트의 동작이 수행되는 장치이다. 장치(100)의 동작을 위한 기본적인 입력 제어 장치로서 터치 스크린 및/또는 터치패드를 사용함으로써 장치(100) 상의 (푸시 버튼, 다이얼 등의) 물리적 입력 제어 장치의 수가 감소될 수 있다.
터치 스크린 및/또는 터치패드를 통해서만 수행될 수 있는 사전 정의된 기능 세트에는 사용자 인터페이스들 간의 내비게이션이 포함된다. 일부 실시예들에서, 터치패드는, 사용자가 터치하면, 장치(100) 상에 디스플레이될 수 있는 임의의 사용자 인터페이스로부터 메인 메뉴, 홈 메뉴 또는 루트 메뉴로 장치(100)를 내비게이션한다. 이러한 실시예에서, 터치패드는 "메뉴 버튼"이라고 지칭될 수 있다. 일부 다른 실시예에서, 메뉴 버튼은 터치패드 대신에 물리적 푸시 버튼 또는 기타 물리적 입력 제어 장치일 수 있다.
도 1b는 일부 실시예들에 따른 이벤트 처리를 위한 예시적인 컴포넌트들을 나타내는 블록도이다. 일부 실시예들에서, (도 1a의) 메모리(102) 또는 (도 3의) 메모리(370)는 (예로서, 운영 체제(126) 내의) 이벤트 분류기(170) 및 각각의 애플리케이션(136-1)(예를 들어, 전술한 애플리케이션들(137-151, 155, 380-390) 중 임의 애플리케이션)을 포함한다.
이벤트 분류기(170)는 이벤트 정보를 수신하고, 이벤트 정보를 전송할 애플리케이션(136-1) 및 애플리케이션(136-1)의 애플리케이션 뷰(191)를 결정한다. 이벤트 분류기(170)는 이벤트 모니터(171) 및 이벤트 디스패처 모듈(174)을 포함한다. 일부 실시예들에서, 애플리케이션(136-1)은 애플리케이션이 활성이거나 실행되고 있을 때 터치 감지 디스플레이(112) 상에 표시된 현재 애플리케이션 뷰(들)를 지시하는 애플리케이션 내부 상태(192)를 포함한다. 일부 실시예들에서, 이벤트 분류기(170)는 장치/글로벌 내부 상태(157)를 이용하여, 어느 애플리케이션(들)이 현재 활성인지를 결정하며, 이벤트 분류기(170)는 애플리케이션 내부 상태(192)를 이용하여, 이벤트 정보를 전송할 애플리케이션 뷰들(191)을 결정한다.
일부 실시예들에서, 애플리케이션 내부 상태(192)는 애플리케이션(136-1)이 실행을 재개할 때 사용될 재개 정보, 표시되고 있는 정보를 지시하거나 애플리케이션(136-1)에 의한 표시를 위해 준비된 사용자 인터페이스 상태 정보, 사용자가 애플리케이션(136-1)의 이전 상태 또는 뷰로 돌아갈 수 있게 하기 위한 상태 큐, 및 사용자에 의해 취해진 이전 액션들의 재실행/취소 큐 중 하나 이상과 같은 추가적인 정보를 포함한다.
이벤트 모니터(171)는 주변 장치 인터페이스(118)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브이벤트(예로서, 멀티 터치 제스처의 일부인 터치 감지 디스플레이(112) 상의 사용자 터치)에 대한 정보를 포함한다. 주변 장치 인터페이스(118)는 근접 센서(166), 가속도계(들)(168) 및/또는 마이크로폰(113)(오디오 회로(110)를 통해)과 같은 I/O 서브시스템(106) 또는 센서로부터 수신하는 정보를 전송한다. 주변 장치 인터페이스(118)가 I/O 서브시스템(106)으로부터 수신하는 정보는 터치 감지 디스플레이(112) 또는 터치 감지 표면으로부터의 정보를 포함한다.
일부 실시예들에서, 이벤트 모니터(171)는 요청들을 사전 결정된 간격으로 주변 장치 인터페이스(118)로 전송한다. 이에 응답하여, 주변 장치 인터페이스(118)는 이벤트 정보를 전송한다. 다른 실시예들에서, 주변 장치 인터페이스(118)는 (예를 들어, 사전 결정된 잡음 임계치를 초과하는 그리고/또는 사전 결정된 지속 기간보다 긴 기간 동안 입력을 수신하는) 중요한 이벤트가 존재할 때만 이벤트 정보를 전송한다.
일부 실시예들에서, 이벤트 분류기(170)는 히트 뷰 결정(hit view determination) 모듈(172) 및/또는 활성 이벤트 인식기 결정 모듈(173)도 포함한다.
히트 뷰 결정 모듈(172)은 터치 감지 디스플레이(112)가 둘 이상의 뷰를 표시할 때 하나 이상의 뷰들 내에서 서브이벤트가 어느 곳에서 발생했는지를 결정하기 위한 소프트웨어 절차들을 제공한다. 뷰들은 사용자가 디스플레이 상에서 볼 수 있는 컨트롤들 및 다른 요소들로 구성된다.
애플리케이션과 관련된 사용자 인터페이스의 다른 양태는 정보가 표시되고 터치 기반 제스처들이 발생하는, 본 명세서에서 때때로 애플리케이션 뷰들 또는 사용자 인터페이스 윈도들이라고 하는 뷰들의 세트이다. 터치가 검출되는 (각각의 애플리케이션의) 애플리케이션 뷰들은 애플리케이션의 프로그램 또는 뷰 계층 구조 내의 프로그램 레벨들에 대응할 수 있다. 예를 들어, 터치가 검출되는 최저 레벨 뷰는 히트 뷰로 지칭될 수 있으며, 적절한 입력들로서 인식되는 이벤트들의 세트는 터치 기반 제스처를 시작하는 최초 터치의 히트 뷰에 적어도 부분적으로 기초하여 결정될 수 있다.
히트 뷰 결정 모듈(172)은 터치 기반 제스처의 서브이벤트들에 관련된 정보를 수신한다. 애플리케이션이 계층 구조로 조직된 다수의 뷰를 가질 때, 히트 뷰 결정 모듈(172)은 히트 뷰를, 서브이벤트를 처리해야 하는 계층 구조 내의 최저 뷰로서 식별한다. 대부분의 상황들에서, 히트 뷰는 개시 서브이벤트(즉, 이벤트 또는 잠재적 이벤트를 형성하는 서브이벤트들의 시퀀스 내의 제1 서브이벤트)가 발생하는 최저 레벨 뷰이다. 히트 뷰 결정 모듈에 의해 히트 뷰가 식별되면, 통상적으로 히트 뷰는 그것이 히트 뷰로서 식별된 동일 터치 또는 입력 소스에 관련된 모든 서브이벤트들을 수신한다.
활성 이벤트 인식기 결정 모듈(173)은 뷰 계층 구조 내의 어느 뷰 또는 뷰들이 서브이벤트들의 특정 시퀀스를 수신해야 하는지를 결정한다. 일부 실시예들에서, 활성 이벤트 인식기 결정 모듈(173)은 히트 뷰만이 서브이벤트들의 특정 시퀀스를 수신해야 하는 것으로 결정한다. 다른 실시예들에서, 활성 이벤트 인식기 결정 모듈(173)은 서브이벤트의 물리 위치를 포함하는 모든 뷰들이 유효하게 관련된 뷰들(actively involved views)인 것으로 결정하고, 따라서 모든 유효하게 관련된 뷰들이 서브이벤트들의 특정 시퀀스를 수신해야 하는 것으로 결정한다. 다른 실시예들에서, 터치 서브이벤트들이 하나의 특정 뷰와 관련된 영역으로 완전히 제한되는 경우에도, 계층 구조 내의 상위 뷰들은 여전히 유효하게 관련된 뷰들로 남을 것이다.
이벤트 디스패처 모듈(174)은 이벤트 정보를 이벤트 인식기(예로서, 이벤트 인식기(180))로 디스패치한다. 활성 이벤트 인식기 결정 모듈(173)을 포함하는 실시예들에서, 이벤트 디스패처 모듈(174)은 이벤트 정보를 활성 이벤트 인식기 결정 모듈(173)에 의해 결정된 이벤트 인식기로 전송한다. 일부 실시예들에서, 이벤트 디스패처 모듈(174)은 각각의 이벤트 수신기 모듈(182)에 의해 검색된 이벤트 정보를 이벤트 큐에 저장한다.
일부 실시예들에서, 운영 체제(126)는 이벤트 분류기(170)를 포함한다. 대안으로서, 애플리케이션(136-1)이 이벤트 분류기(170)를 포함한다. 또 다른 실시예들에서, 이벤트 분류기(170)는 독립 모듈이거나, 접촉/운동 모듈(130)과 같은, 메모리(102)에 저장된 다른 모듈의 일부이다.
일부 실시예들에서, 애플리케이션(136-1)은 복수의 이벤트 핸들러(190) 및 하나 이상의 애플리케이션 뷰들(191)을 포함하며, 이들 각각은 애플리케이션의 사용자 인터페이스의 각각의 뷰 내에서 발생하는 터치 이벤트들을 처리하기 위한 명령어들을 포함한다. 애플리케이션(136-1)의 각각의 애플리케이션 뷰(191)는 하나 이상의 이벤트 인식기들(180)을 포함한다. 통상적으로, 각각의 애플리케이션 뷰(191)는 복수의 이벤트 인식기(180)를 포함한다. 다른 실시예들에서, 이벤트 인식기들(180) 중 하나 이상은 사용자 인터페이스 키트(도시되지 않음) 또는 애플리케이션(136-1)이 메소드들 및 다른 특성들을 상속받는 상위 레벨 객체와 같은 개별 모듈의 일부이다. 일부 실시예들에서, 각각의 이벤트 핸들러(190)는 데이터 갱신기(176), 객체 갱신기(177), GUI 갱신기(178), 및/또는 이벤트 분류기(170)로부터 수신된 이벤트 데이터(179) 중 하나 이상을 포함한다. 이벤트 핸들러(190)는 데이터 갱신기(176), 객체 갱신기(177) 또는 GUI 갱신기(178)를 이용하거나 호출하여 애플리케이션 내부 상태(192)를 갱신할 수 있다. 대안으로서, 애플리케이션 뷰들(191) 중 하나 이상은 하나 이상의 각각의 이벤트 핸들러들(190)을 포함한다. 또한, 일부 실시예들에서, 데이터 갱신기(176), 객체 갱신기(177) 및 GUI 갱신기(178) 중 하나 이상은 각각의 애플리케이션 뷰(191) 내에 포함된다.
각각의 이벤트 인식기(180)는 이벤트 분류기(170)로부터 이벤트 정보(예로서, 이벤트 데이터(179))를 수신하고, 이벤트 정보로부터 이벤트를 식별한다. 이벤트 인식기(180)는 이벤트 수신기(182) 및 이벤트 비교기(184)를 포함한다. 일부 실시예들에서, 이벤트 인식기(180)는 또한 메타데이터(183) 및 (서브이벤트 전송 명령어들을 포함할 수 있는) 이벤트 전송 명령어들(188)의 적어도 서브세트를 포함한다.
이벤트 수신기(182)는 이벤트 분류기(170)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브이벤트, 예컨대 터치 또는 터치 움직임에 대한 정보를 포함한다. 서브이벤트에 따라서는, 이벤트 정보는 서브이벤트의 위치와 같은 추가적인 정보도 포함한다. 서브이벤트가 터치의 움직임과 관련될 때, 이벤트 정보는 서브이벤트의 속력 및 방향도 포함할 수 있다. 일부 실시예들에서, 이벤트들은 하나의 배향으로부터 다른 배향으로의(예로서, 세로 배향으로부터 가로 배향으로의 또는 그 반대의) 장치의 회전을 포함하며, 이벤트 정보는 장치의 (장치 자세(device attitude)라고도 하는) 현재 배향에 대한 대응 정보를 포함한다.
이벤트 비교기(184)는 이벤트 정보를 사전 정의된 이벤트 또는 서브이벤트 정의들과 비교하고, 비교에 기초하여, 이벤트 또는 서브이벤트를 결정하거나, 이벤트 또는 서브이벤트의 상태를 결정 또는 갱신한다. 일부 실시예들에서, 이벤트 비교기(184)는 이벤트 정의들(186)을 포함한다. 이벤트 정의들(186)은 이벤트들(예로서, 사전 정의된 서브이벤트들의 시퀀스들), 예로서 이벤트 1(187-1), 이벤트 2(187-2) 등의 정의들을 포함한다. 일부 실시예들에서, 이벤트(187) 내의 서브이벤트들은 예를 들어 터치 시작, 터치 종료, 터치 움직임, 터치 취소 및 다수의 터칭을 포함한다. 일례에서, 이벤트 1(187-1)에 대한 정의는 표시된 객체 상의 더블 탭이다. 더블 탭은 예를 들어 사전 결정된 단계 동안의 표시된 객체 상의 제1 터치(터치 시작), 사전 결정된 단계 동안의 제1 리프트-오프(터치 종료), 사전 결정된 단계 동안의 표시된 객체 상의 제2 터치(터치 시작) 및 사전 결정된 단계 동안의 제2 리프트 오프(터치 종료)를 포함한다. 다른 예에서, 이벤트 2(187-2)에 대한 정의는 표시된 객체 상에서의 드래깅이다. 드래깅은 예를 들어 사전 결정된 단계 동안의 표시된 객체 상의 터치(또는 접촉), 터치 감지 디스플레이(112)를 가로지르는 터치의 이동, 및 터치의 리프트 오프(터치 종료)를 포함한다. 일부 실시예들에서, 이벤트는 하나 이상의 관련 이벤트 핸들러들(190)에 대한 정보도 포함한다.
일부 실시예들에서, 이벤트 정의(187)는 각각의 사용자 인터페이스 객체에 대한 이벤트의 정의를 포함한다. 일부 실시예들에서, 이벤트 비교기(184)는 히트 테스트를 수행하여, 어느 사용자 인터페이스 객체가 서브이벤트와 관련되는지를 결정한다. 예를 들어, 터치 감지 디스플레이(112) 상에 3개의 사용자 인터페이스 객체가 표시되는 애플리케이션 뷰에서, 터치 감지 디스플레이(112) 상에서 터치가 검출될 때, 이벤트 비교기(184)는 히트 테스트를 수행하여, 3개의 사용자 인터페이스 객체 중 어느 것이 터치(서브이벤트)와 관련되는지를 결정한다. 각각의 표시 객체가 각각의 핸들러 이벤트(190)와 관련되는 경우, 이벤트 비교기는 히트 테스트의 결과를 이용하여, 어느 이벤트 핸들러(190)가 활성화되어야 하는지를 결정한다. 예를 들어, 이벤트 비교기(184)는 히트 테스트를 트리거링하는 서브이벤트 및 객체와 관련된 이벤트 핸들러를 선택한다.
일부 실시예들에서, 각각의 이벤트(187)에 대한 정의는 서브이벤트들의 시퀀스가 이벤트 인식기의 이벤트 타입에 대응하는지의 여부가 결정된 후까지 이벤트 정보의 전송을 지연시키는 지연된 액션들도 포함한다.
각각의 이벤트 인식기(180)가 일련의 서브이벤트가 이벤트 정의들(186) 내의 이벤트들 중 어느 것과도 매칭되지 않는 것으로 결정할 때, 각각의 이벤트 인식기(180)는 이벤트 불가능, 이벤트 실패 또는 이벤트 종료 상태에 들어가고, 이어서 터치 기반 제스처의 후속 서브이벤트들을 무시한다. 이러한 상황에서, 존재할 경우, 히트 뷰에 대해 활성 상태를 유지하는 다른 이벤트 인식기들은 진행중인 터치 기반 제스처의 서브이벤트들을 계속 추적하고 처리한다.
일부 실시예들에서, 각각의 이벤트 인식기(180)는 이벤트 전송 시스템이 어떻게 유효하게 관련된 이벤트 인식기들로의 서브이벤트 전송을 수행해야 하는지를 지시하는 구성 가능한 특성들, 플래그들 및/또는 리스트들을 갖는 메타데이터(183)를 포함한다. 일부 실시예들에서, 메타데이터(183)는 이벤트 인식기들이 어떻게 서로 상호작용할 수 있는지를 지시하는 구성 가능한 특성들, 플래그들 및/또는 리스트들을 포함한다. 일부 실시예들에서, 메타데이터(183)는 서브이벤트들이 뷰 또는 프로그램 계층 구조 내의 다양한 레벨들로 전송되는지의 여부를 지시하는 구성 가능한 특성들, 플래그들 및/또는 리스트들을 포함한다.
일부 실시예들에서, 각각의 이벤트 인식기(180)는 이벤트의 하나 이상의 특정 서브이벤트들이 인식될 때 이벤트와 관련된 이벤트 핸들러(190)를 활성화한다. 일부 실시예들에서, 각각의 이벤트 인식기(180)는 이벤트와 관련된 이벤트 정보를 이벤트 핸들러(190)로 전송한다. 이벤트 핸들러(190)의 활성화는 서브이벤트들의 각각의 히트 뷰로의 전송(및 연기된 전송)과 다르다. 일부 실시예들에서, 이벤트 인식기(180)는 인식된 이벤트와 관련된 플래그를 던지며(throw), 플래그와 관련된 이벤트 핸들러(190)는 플래그를 받아서, 사전 정의된 프로세스를 수행한다.
일부 실시예들에서, 이벤트 전송 명령어들(188)은 이벤트 핸들러를 활성화하지 않고 서브이벤트에 대한 이벤트 정보를 전송하는 서브이벤트 전송 명령어들을 포함한다. 대신에, 서브이벤트 전송 명령어들은 이벤트 정보를 일련의 서브이벤트들과 관련되거나 유효하게 관련된 뷰들과 관련된 이벤트 핸들러들로 전송한다. 일련의 서브이벤트들과 또는 유효하게 관련된 뷰들과 관련된 이벤트 핸들러들은 이벤트 정보를 수신하고, 사전 결정된 프로세스를 수행한다.
일부 실시예들에서, 데이터 갱신기(176)는 애플리케이션(136-1)에서 사용되는 데이터를 생성하고 갱신한다. 예컨대, 데이터 갱신기(176)는 연락처 모듈(137)에서 사용되는 전화 번호를 갱신하거나, 비디오 플레이어 모듈(145)에서 사용되는 비디오 파일을 저장한다. 일부 실시예들에서, 객체 갱신기(177)는 애플리케이션(136-1)에서 사용되는 객체들을 생성하고 갱신한다. 예컨대, 객체 갱신기(177)는 새로운 사용자 인터페이스 객체를 생성하거나, 사용자 인터페이스 객체의 위치를 갱신한다. GUI 갱신기(178)는 GUI를 갱신한다. 예를 들어, GUI 갱신기(178)는 디스플레이 정보를 준비하고, 이를 터치 감지 디스플레이 상의 표시를 위해 그래픽 모듈(132)로 전송한다.
일부 실시예들에서, 이벤트 핸들러(들)(190)는 데이터 갱신기(176), 객체 갱신기(177) 및 GUI 갱신기(178)를 포함하거나, 이들에 대한 액세스를 갖는다. 일부 실시예들에서, 데이터 갱신기(176), 객체 갱신기(177) 및 GUI 갱신기(178)는 각각의 애플리케이션(136-1) 또는 애플리케이션 뷰(191)의 단일 모듈 내에 포함된다. 다른 실시예들에서, 이들은 2개 이상의 소프트웨어 모듈 내에 포함된다.
터치 감지 디스플레이들 상의 사용자 터치들의 이벤트 처리에 관한 위의 설명은 입력 장치들을 갖는 다기능 장치들(100)을 조작하기 위한 다른 형태의 사용자 입력들에도 적용되고, 이러한 사용자 입력들은 그 모두가 터치 스크린들 상에서 개시되는 것은 아니며, 이들은 예를 들어 단일 또는 다수의 키보드 누름 또는 유지가 있거나 없는 상태에서의 마우스 움직임 및 마우스 버튼 누름의 조정, 터치패드들 상에서의 사용자 움직임 탭, 드래그, 스크롤 등, 펜 스타일러스 입력, 장치의 움직임, 구두 명령, 눈 움직임 검출, 생체학적 입력 및/또는 이들의 임의의 조합을 포함하며, 이들은 인식될 이벤트를 정의하는 서브이벤트들에 대응하는 입력들로서 사용될 수 있다는 것을 이해해야 한다.
도 2는 일부 실시예들에 따른 터치 스크린(112)을 갖는 휴대용 다기능 장치(100)를 도시한다. 터치 스크린은 사용자 인터페이스(UI)(200) 내에 하나 이상의 그래픽을 표시할 수 있다. 본 실시예 및 이하 기술되는 다른 실시예에서, 사용자는 예컨대 하나 이상의 손가락(202)(도면에는 축척으로 도시되지 않음) 또는 하나 이상의 스타일러스(203)(도면에는 축척으로 도시되지 않음)를 이용해 그래픽 상에서 제스처를 행함으로써 그래픽들 중 하나 이상을 선택할 수 있다. 일부 실시예들에서, 사용자가 하나 이상의 그래픽과의 접촉을 해제하면 하나 이상의 그래픽에 대한 선택이 이루어진다. 일부 실시예들에서, 제스처는 하나 이상의 탭, (좌에서 우로, 우에서 좌로, 위로 및/또는 아래로의) 하나 이상의 스와이프 및/또는 장치(100)와 접촉된 손가락의 (좌에서 우로, 우에서 좌로, 위로 및/또는 아래로의) 롤링(rolling)을 포함할 수 있다. 일부 실시예들에서, 그래픽과의 우연한 접촉에 의해서는 그 그래픽이 선택되지 않을 수 있다. 예컨대, 선택에 대응하는 제스처가 탭일 경우 애플리케이션 아이콘 상을 지나가는 스와이프 제스처에 의해서는 해당 애플리케이션이 선택되지 않을 수 있다.
장치(100)는 또한 "홈" 또는 메뉴 버튼(204) 등의 하나 이상의 물리적 버튼을 포함할 수 있다. 이미 설명된 바와 같이, 메뉴 버튼(204)은 장치(100) 상에서 실행될 수 있는 애플리케이션 세트 중 임의의 애플리케이션(136)으로 내비게이션하는 데 사용될 수 있다. 또는, 일부 실시예들에서, 메뉴 버튼은 터치 스크린(112) 상에 표시되는 GUI의 소프트 키로서 구현된다.
일 실시예에서, 장치(100)는 터치 스크린(112), 메뉴 버튼(204), 장치의 전원을 온/오프하고 장치를 잠그기 위한 푸시 버튼(206), 볼륨 조정 버튼(들)(208), 가입자 식별 모듈(SIM) 카드 슬롯(210), 헤드셋 잭(212) 및 도킹/충전용 외부 포트(124)를 포함한다. 푸시 버튼(206)은, 버튼을 눌러 사전 정의된 시간 간격 동안 버튼을 눌러진 상태로 유지시키는 것을 통한 장치 상의 전원의 턴온/턴오프; 버튼을 눌러 사전 정의된 시간 간격이 경과하기 전에 버튼을 해제하는 것을 통한 장치 잠금; 및/또는 잠금 해제 프로세스의 개시나 장치 잠금 해제에 사용될 수 있다. 다른 실시예에서, 장치(100)는 또한 마이크로폰(113)을 통하여 일부 기능의 활성화 또는 비활성화를 위한 구두 입력을 받아들일 수 있다.
도 3은 일부 실시예들에 따른 디스플레이 및 터치 감지 표면을 갖는 예시적인 다기능 장치의 블록도이다. 장치(300)는 휴대용일 필요는 없다. 일부 실시예들에서, 장치(300)는 랩탑 컴퓨터, 데스크탑 컴퓨터, 태블릿 컴퓨터, 멀티미디어 플레이어 장치, 내비게이션 장치, 교육용 장치(어린이 학습 완구 등), 게이밍 시스템 또는 제어 장치(예로서, 홈 또는 산업용 제어기)이다. 통상적으로, 장치(300)는 하나 이상의 처리 유닛(CPU)(310), 하나 이상의 네트워크 또는 기타 통신 인터페이스(360), 메모리(370), 및 이러한 컴포넌트들을 상호접속하기 위한 하나 이상의 통신 버스(320)를 포함한다. 통신 버스들(320)은 시스템 컴포넌트들을 상호접속하고 이들 간의 통신을 제어하는 회로(때로는 칩셋이라 한다)를 포함할 수 있다. 장치(300)는 통상적으로 터치 스크린 디스플레이인 디스플레이(340)를 포함하는 입출력(I/O) 인터페이스(330)를 포함한다. I/O 인터페이스(330)는 키보드 및/또는 마우스(또는 다른 포인팅 장치)(350) 및 터치패드(355)도 포함할 수 있다. 메모리(370)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 고체 상태 메모리 장치들과 같은 고속 랜덤 액세스 메모리를 포함하며, 하나 이상의 자기 디스크 저장 장치, 광 디스크 저장 장치, 플래시 메모리 장치 또는 다른 비휘발성 고체 상태 저장 장치들과 같은 비휘발성 메모리를 포함할 수 있다. 메모리(370)는 옵션으로서 CPU(들)(310)로부터 원격 위치하는 하나 이상의 저장 장치를 포함할 수 있다. 일부 실시예들에서, 메모리(370)는 휴대용 다기능 장치(100)(도 1)의 메모리(102)에 저장된 프로그램들, 모듈들 및 데이터 구조들과 유사한 프로그램들, 모듈들 및 데이터 구조들 또는 이들의 서브세트를 저장한다. 더구나, 메모리(370)는 휴대용 다기능 장치(100)의 메모리(102) 내에 존재하지 않는 추가적인 프로그램들, 모듈들 및 데이터 구조들을 저장할 수 있다. 예를 들어, 장치(300)의 메모리(370)는 드로잉 모듈(380), 프레젠테이션 모듈(382), 워드 프로세싱 모듈(384), 웹사이트 생성 모듈(386), 디스크 저작 모듈(388) 및/또는 스프레드시트 모듈(390)을 저장할 수 있는 반면, 휴대용 다기능 장치(100)(도 1)의 메모리(102)는 이러한 모듈들을 저장하지 않을 수 있다.
도 3의 전술한 요소들 각각은 전술한 하나 이상의 메모리 장치들에 저장될 수 있다. 전술한 모듈들 각각은 전술한 기능을 수행하기 위한 명령어들의 세트에 대응한다. 전술한 모듈들 또는 프로그램들(즉, 명령어 세트들)은 개별 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요는 없으며, 따라서 다양한 실시예들에서는 이러한 모듈들의 다양한 서브세트들이 결합되거나 재배열될 수 있다. 일부 실시예들에서, 메모리(370)는 전술한 모듈들 및 데이터 구조들의 서브세트를 저장할 수 있다. 더구나, 메모리(370)는 전술하지 않은 추가적인 모듈들 및 데이터 구조들을 저장할 수 있다.
이하, 휴대용 다기능 장치(100) 상에 구현될 수 있는 사용자 인터페이스(UI)의 실시예에 대하여 설명한다.
도 4a는 일부 실시예들에 따른 휴대용 다기능 장치(100) 상의 애플리케이션들의 메뉴를 위한 예시적인 사용자 인터페이스를 도시한다. 유사한 사용자 인터페이스들이 장치(300) 상에 구현될 수 있다. 일부 실시예들에서, 사용자 인터페이스(400)는 이하의 요소, 또는 이들의 서브세트나 수퍼세트를 포함한다.
ㆍ 셀룰러 신호 및 Wi-Fi 신호 등의 무선 통신(들)을 위한 신호 강도 표시자(들)(402);
ㆍ 시간(404);
ㆍ 블루투스 표시자(405);
ㆍ 배터리 상태 표시자(406);
ㆍ 이하의 애플리케이션들과 같은 자주 사용되는 애플리케이션을 위한 아이콘을 포함한 트레이(408);
○ 부재중 전화 또는 음성메일 메시지 개수에 대한 표시자(414)를 포함할 수 있는 전화(138),
○ 읽지 않은 이메일 개수에 대한 표시자(410)를 포함할 수 있는 이메일 클라이언트(140),
○ 브라우저(147), 및
○ iPod(애플사의 상표) 모듈(152)이라고도 하는 비디오 및 음악 플레이어(152); 및
ㆍ 이하의 애플리케이션들과 같은 다른 애플리케이션을 위한 아이콘
○ IM(141),
○ 이미지 관리(144),
○ 카메라(143),
○ 날씨(149-1),
○ 주식(149-2),
○ 연습 지원(142),
○ 달력(148),
○ 알람 시계(149-4),
○ 지도(154),
○ 노트(153),
○ 장치(100) 및 그의 다양한 애플리케이션(136)을 위한 설정에 대한 액세스를 제공하는 설정(412), 및
○ YouTube(구글사의 상표) 모듈(155)이라고도 하는 온라인 비디오 모듈(155).
도 4b는 디스플레이(450)(예로서, 터치 스크린 디스플레이(112))와 분리된 터치 감지 표면(451)(예로서, 태블릿 또는 터치패드(355), 도 3)을 갖는 장치(예로서, 장치(300), 도 3) 상의 예시적인 사용자 인터페이스를 나타낸다. 이어지는 예들 중 다수가 (터치 감지 표면과 디스플레이를 결합한) 터치 스크린 디스플레이(112) 상에서의 입력들과 관련하여 주어지지만, 일부 실시예들에서, 장치는 도 4b에 도시된 바와 같이 디스플레이로부터 떨어진 터치 감지 표면 상의 입력들을 검출한다. 일부 실시예들에서, 터치 감지 표면(예로서, 도 4b의 451)은 디스플레이(예로서, 450) 상의 주축(예로서 도 4b의 453)에 대응하는 주축(예로서, 도 4b의 452)을 갖는다. 이러한 실시예들에 따르면, 장치는 디스플레이 상의 각각의 위치들에 대응하는 위치들(예로서, 도 4b에서 460은 468에 대응하고, 462는 470에 대응함)에서 터치 감지 표면(451)과의 접촉들(예로서, 도 4b의 460 및 462)을 검출한다. 이러한 방식으로, 터치 감지 표면(예로서, 도 4b의 451) 상에서 장치에 의해 검출된 사용자 입력들(예로서, 접촉들(460, 462) 및 그의 이동들)은 터치 감지 표면이 디스플레이로부터 떨어져 있을 때 다기능 장치의 디스플레이(예로서, 도 4b의 450) 상의 사용자 인터페이스를 조작하기 위해 장치에 의해 사용된다. 본 명세서에서 설명되는 다른 사용자 인터페이스들에 대해 유사한 방법들이 이용될 수 있다는 것을 이해해야 한다.
게다가, 아래의 예들은 주로 손가락 입력들(예로서, 손가락 접촉들, 손가락 탭 제스처들, 손가락 스와이프 제스처들)과 관련하여 주어지지만, 일부 실시예들에서는 손가락 입력들 중 하나 이상이 다른 입력 장치로부터의 입력(예로서, 마우스 기반 입력 또는 스타일러스 입력)으로 대체된다는 것을 이해해야 한다. 예를 들어, 스와이프 제스처는 (예로서, 접촉 대신에) 마우스 클릭 후의 (예로서, 접촉의 움직임 대신에) 스와이프의 경로를 따르는 커서의 움직임으로 대체될 수 있다. 다른 예로서, 탭 제스처는 (예를 들어, 접촉 검출 후의 접촉 검출의 중지 대신에) 커서가 탭 제스처의 위치 위에 배치된 동안의 마우스 클릭으로 대체될 수 있다. 유사하게, 다수의 사용자 입력이 동시에 검출될 때, 다수의 컴퓨터 마우스가 동시에 사용될 수 있거나, 마우스 또는 손가락 접촉들이 동시에 사용될 수 있다는 것을 이해해야 한다.
사용자 인터페이스들 및 관련 프로세스들
이제, 장치(300) 또는 휴대용 다기능 장치(100)와 같이 디스플레이 및 터치 감지 표면을 갖는 전자 장치 상에서 구현될 수 있는 사용자 인터페이스들("UI") 및 관련 프로세스들의 실시예들을 설명한다.
도 5a-5z는 일부 실시예들에 따른 사용자 인터페이스들과의 제한된 상호작용을 구성하기 위한 예시적인 사용자 인터페이스들을 나타낸다. 이 도면들 내의 사용자 인터페이스들은 도 6a-6d의 프로세스들을 포함하는 후술하는 프로세스들을 설명하는 데 사용된다.
도 5a-5p는 일부 실시예들에 따른 교육 애플리케이션의 예시적인 사용자 인터페이스를 나타낸다.
도 5a는 교육 애플리케이션의 예시적인 사용자 인터페이스(502)를 나타낸다. 도 5a에서, 사용자 인터페이스(502)는 장치(100)의 터치 스크린(112) 상에 표시된다. 사용자 인터페이스(502)는 활성화시에 각각의 동작들을 개시하는 복수의 사용자 인터페이스 객체(예로서, 문자 "A", 단어 "사과"(Apple), 사과 그림 및 복수의 메뉴 바 사용자 인터페이스 객체(504-1, 504-2, 504-3, 504-4, 504-5, 504-6, 504-7))를 포함한다. 예를 들어 사용자 인터페이스 객체(504-1)는 (예를 들어, 탭 제스처에 의한) 활성화시에 표시된 콘텐츠(예로서, 문자 "A", 단어 "사과"(Apple) 및 사과 그림)를 이전 페이지로부터의 콘텐츠로 대체하는 것을 개시하고; 사용자 인터페이스 객체(504-7)는 (예로서, 탭 제스처에 의한) 활성화시에 표시된 콘텐츠를 다음 페이지로부터의 콘텐츠로 대체하는 것을 개시하고; 사용자 인터페이스 객체(504-2)는 (예로서, 탭 제스처에 의한) 활성화시에 각각의 애플리케이션(예로서, 교육 애플리케이션)에서의 표시를 위해 구성된 문서들 또는 파일들의 리스트의 표시를 개시하고; 사용자 인터페이스 객체(504-3)는 (예로서, 탭 제스처에 의한) 활성화시에 도움말 메뉴 또는 도움말 다이얼로그의 표시를 개시하고; 사용자 인터페이스 객체(504-4)는 (예로서, 탭 제스처에 의한) 활성화시에 디스플레이 특성 메뉴의 표시를 개시하고; 사용자 인터페이스 객체(504-5)는 (예로서, 탭 제스처에 의한) 활성화시에 북마크 메뉴의 표시를 개시하며; 및 사용자 인터페이스 객체(504-6)는 (예로서, 탭 제스처에 의한) 활성화시에 설정 메뉴의 표시를 개시한다.
도 5a는 또한 터치 스크린(112) 상에서 터치 제스처(503)가 검출되는 것을 도시한다. 터치 제스처(503)의 검출에 응답하여, 장치(100)는 문자 "A"의 발음에 대응하는 사운드들을 생성한다(예로서, 장치(100)는 문자 "A"의 발음을 저장한 오디오 클립을 재생한다). 도 5a는 홈 버튼(204) 상에서 사용자 입력(505)이 제공되는 것을 도시한다(예로서, 홈 버튼(204)이 3번 연속 반복하여 눌린다). 사용자 입력(505)에 응답하여 표시되는 예시적인 응답이 도 5b에 도시된다.
도 5b는 일부 실시예들에서 사용자 입력(505)(도 5a)에 응답하여 터치 스크린(112) 상의 사용자 인터페이스(502) 위에 예시적인 패스워드 메뉴(506)가 표시되는 것을 나타낸다. 사용자는 (예로서, 탭 제스처들에 의해) 패스워드 메뉴(506) 내의 숫자 버튼들을 순차적으로 활성화할 수 있다. 사용자에 의해 제공되는 숫자들의 시퀀스가 사전 선택된 패스워드와 매칭될 때, 장치(100)는 상호작용 구성 모드에 들어가며, 이를 위한 사용자 인터페이스가 도 5c에 도시된다. 대안으로서, 일부 실시예들에서, 사용자 입력(505)(도 5a)에 응답하여, 장치(100)는 패스워드 메뉴(506)(도 5b)를 표시하지 않고 직접 상호작용 구성 모드에 들어간다.
도 5c는 축소된 스케일로 표시된 사용자 인터페이스(502)를 포함하는 상호작용 구성 모드의 예시적인 사용자 인터페이스(501)를 도시한다. 즉, 사용자 인터페이스(502)는 도 5a에 도시된 비제한 상호작용 모드에서보다 상호작용 구성 모드(도 5c)에서 더 작게 표시된다. 일부 실시예들에서, 상호작용 구성 모드의 사용자 인터페이스(501)는 (예로서, 탭 제스처에 의한) 활성화시에 상호작용 구성 모드를 종료하고 비제한 상호작용 모드에 들어가는 것을 개시하는 취소 사용자 인터페이스 객체(516)를 포함한다. 일부 실시예들에서는, 장치(100)가 상호작용 구성 모드를 종료하면, 도 5a에 도시된 사용자 인터페이스가 표시된다. 일부 실시예들에서, 상호작용 구성 모드의 사용자 인터페이스(501)는 (예로서, 탭 제스처에 의한) 활성화시에 상호작용 구성 모드를 종료하고 제한 상호작용 모드에 들어가는 것을 개시하는 시작 사용자 인터페이스 객체(518)를 포함하며, 이는 도 5m-5o, 5t, 5x 및 5z와 관련하여 후술된다.
일부 실시예들에서, 도 5c의 사용자 인터페이스(501)는 선택시에 장치(100)로 하여금 제한 상호작용 모드에 있는 동안에 터치 스크린(112) 상의 터치 입력들을 무시하게 하는 터치 상호작용 제어 사용자 인터페이스 객체(508); 선택시에 장치(100)로 하여금 제한 상호작용 모드에 있는 동안에 장치(100)의 회전을 무시하게 하는 회전 상호작용 제어 사용자 인터페이스 객체(510); 선택시에 장치(100)로 하여금 제한 상호작용 모드에 있는 동안에 장치(100)의 흔들림을 무시하게 하는 흔들림 상호작용 제어 사용자 인터페이스 객체(512); 및 선택시에 장치(100)로 하여금 제한 상호작용 모드에 있는 동안에 장치(100)의 움직임을 무시하게 하는 움직임 상호작용 제어 사용자 인터페이스 객체(514) 중 하나 이상을 포함한다. 본 명세서에서 사용될 때, 특정 입력(예로서, 터치 입력, 장치의 흔들림, 장치의 움직임 등)의 무시는 장치가 제한 상호작용 모드에 있을 때 장치는 그러한 특정 입력에 응답하지 않는다는 것을 의미한다. 이와 달리, 비제한 상호작용 모드에 있을 때, 장치(100)는 터치 스크린(112) 상의 터치 입력들(예로서, 터치 제스처(503), 도 5a)에 응답하고, 장치(100)의 회전의 검출에 응답하여 사용자 인터페이스를 세로 배향으로부터 가로 배향으로 또는 가로 배향으로부터 세로 배향으로 회전시키고, 장치(100)의 흔들림의 검출에 응답하여 제1 사전 정의된 동작(예로서, 취소 동작)을 수행하고, 그리고/또는 장치(100)의 움직임의 검출에 응답하여 제2 사전 정의된 동작(예로서, 사용자 인터페이스의 갱신)을 수행한다. 도 5c는 터치 상호작용 제어 사용자 인터페이스 객체(508)에 대응하는 위치에서 터치 제스처(507)(예로서, 탭 제스처)가 검출되어 제한 상호작용 모드에서 비활성화를 위해 전체 터치 스크린 디스플레이와의 모든 터치 상호작용들이 선택되는 것을 도시한다. 터치 제스처(507)에 응답하여 표시되는 예시적인 사용자 인터페이스가 도 5d에 도시된다.
도 5d는 터치 상호작용 사용자 인터페이스 객체(508)에 대응하는 위치에서의 터치 제스처(507)(도 5c)에 응답하여 터치 상호작용 제어 사용자 인터페이스 객체(508)가 사용자 인터페이스(502) 상의 터치 상호작용이 제한 상호작용 모드에 있는 동안 무시될 것임을 지시하는 것을 나타낸다(예를 들어, 터치 상호작용 제어 사용자 인터페이스 객체(508)를 지우는 라인에 주목한다). 게다가, 터치 상호작용 제어 사용자 인터페이스 객체(508)에 대응하는 위치에서의 터치 제스처(507)(도 5c)에 응답하여, 전체 사용자 인터페이스(502)가 시각적으로 구별된다(예로서, 흐려지거나, 어두워지거나, 다른 컬러로 표시되거나, 하나 이상의 지시자로 마킹되거나, 기타 등등이다). 터치 상호작용 사용자 인터페이스 객체(508)에 대응하는 위치에서의 후속 터치 제스처(예로서, 탭 제스처)는 사용자 인터페이스(502)의 시각적 차이를 없애며, 이는 터치 스크린(112)상의 터치 상호작용이 제한 상호작용 모드에 있는 동안에 완전히 디스에이블되지는 않을 것임을 지시한다.
유사하게, 일부 실시예들에서, 사용자 인터페이스 객체들(510, 512, 514) 중 하나 이상은 (예를 들어, 각각의 아이콘을 지우는 하나 이상의 라인들의 표시에 의해) 장치(100)가 장치(100)의 회전, 흔들림 및/또는 움직임을 무시하도록(즉, 그에 응답하지 않도록) 구성되는지를 지시한다.
도 5e-5f는 터치 상호작용 제어 사용자 인터페이스 객체(508)를 활성화함으로써 전체 사용자 인터페이스(502) 상의 터치 입력들을 무시하는 대신에 하나 이상의 개별 사용자 인터페이스 객체들이 비활성화를 위해 선택될 수 있음을 나타낸다.
도 5e에서, 사용자 인터페이스 객체(504-2)에 대응하는 위치에서 터치 제스처(509)가 검출되며, 따라서 제한 상호작용 모드에 있는 동안에 비활성화를 위해 사용자 인터페이스 객체(504-2)가 선택된다.
도 5f는 터치 제스처(509)(도 5e)에 응답하여 사용자 인터페이스 객체(504-2)가 시각적으로 구별되는 것을 나타낸다(예를 들어, 사용자 인터페이스 객체(504-2)가 흐려지고 그리고/또는 사용자 인터페이스 객체(504-2) 위에 또는 근처에 지시자(528)가 표시된다). 일부 실시예들에서는, 장치(100)가 상호작용 구성 모드에 있는 동안, 하나 이상의 다른 사용자 인터페이스 객체들에 대응하는 각각의 위치에서 터치 스크린(112) 상에서 하나 이상의 추가적인 터치 제스처들이 검출되며, 따라서 제한 상호작용 모드에 있는 동안 비활성화를 위해 하나 이상의 다른 사용자 인터페이스 객체들이 선택된다. 일부 실시예들에서, 사용자 인터페이스 객체(504-2) 상의 후속 터치 제스처(예로서, 탭 제스처)는 활성화를 위해 사용자 인터페이스 객체(504-2)를 선택하고(즉, 비활성화를 위한 사용자 인터페이스 객체(504-2)의 선택을 해제하고) 사용자 인터페이스 객체(504-2)의 시각적 차이를 제거한다. 장치(100)가 (예를 들어, "시작" 아이콘인 사용자 인터페이스 객체(518) 상의 탭 제스처에 응답하여) 제한 상호작용 모드에 들어간 후, 사용자 인터페이스 객체(504-2)가 상호작용 구성 모드에서의 비활성화를 위해 선택된 경우, 장치(100)는 제한 상호작용 모드에 있는 동안 사용자 인터페이스 객체(504-2)에 대응하는 위치에서의 터치 입력들을 무시한다.
일부 실시예들에서, 장치(100)가 상호작용 구성 모드에 있는 동안, 복수의 사용자 인터페이스 객체에 대응하는 각각의 위치에서 터치 스크린(112) 상에서 다수의 터치 제스처(예를 들어, 개별 탭 제스처들 또는 하나 이상의 탭 제스처들 및/또는 하나 이상의 스와이프 제스처들의 집합)가 검출되며, 따라서 비활성화를 위해 복수의 사용자 인터페이스 객체가 선택된다. 장치(100)가 (예를 들어, "시작" 아이콘인 사용자 인터페이스 객체(518) 상의 탭 제스처에 응답하여) 제한 상호작용 모드에 들어간 후, 복수의 사용자 인터페이스 객체가 상호작용 구성 모드에서의 비활성화를 위해 선택된 경우, 장치(100)는 제한 상호작용 모드에 있는 동안 선택된 복수의 사용자 인터페이스 객체에 대응하는 위치들에서의 터치 입력들을 무시한다.
도 5g-5h는 장치(100)가 상호작용 구성 모드에 있는 동안 비활성화를 위해 하나 이상의 사용자 인터페이스 객체를 선택하기 위한 대안적인 방법을 나타낸다. 도 5g에서, 터치 스크린(112) 상에서 터치 제스처(511)가 검출된다. 터치 제스처(511)는 터치 스크린(112)과의 접촉을 유지하면서 직사각형을 닮은 폐쇄 경로를 따라 터치 스크린(112)을 가로질러 이동한다.
도 5h는 장치(100)가 터치 제스처(511)의 이동에 의해 그려진 형상을 직사각형으로 인식하고 터치 제스처(511)의 경로에 대응하는 직사각형의 크기 및 위치를 결정하는 것을 나타낸다. 일부 실시예들에서, 터치 제스처(511)의 경로에 대응하는 것으로 결정된 직사각형(520)이 터치 스크린(112) 상에 표시된다. 통상적으로, 직사각형(520)은 사용자 인터페이스(502)의 나머지와 시각적으로 구별된다.
일부 실시예들에서, 삭제 사용자 인터페이스 객체(564)가 터치 제스처(511)의 경로에 대응하는 형상(예로서, 직사각형(520)) 위에 또는 근처에 표시된다. 삭제 사용자 인터페이스 객체(564)에 대응하는 터치 스크린(112) 상의 위치에서 터치 제스처를 검출하는 것에 응답하여, 터치 제스처(511)의 경로에 대응하는 형상의 표시가 중지된다(도시되지 않음).
일부 실시예들에서, 터치 제스처(511)의 경로에 대응하는 직사각형(520)과 같은 형상은 터치 제스처에 따라 이동한다. 예를 들어, 터치 스크린(112) 상에 직사각형(520)이 표시되는 동안, 직사각형(520)에 대응하는 터치 스크린(112) 상의 위치에서 손가락 접촉(561)이 검출될 수 있다. 터치 스크린(112) 상에서 손가락 접촉(561)이 검출되는 동안, 직사각형(520)은 손가락 접촉(561)의 이동을 따라 이동한다(예를 들어, 터치 스크린(112) 상에서 손가락 접촉(561)의 검출이 중단될 때까지 직사각형(520)이 터치 스크린(112) 상에서 손가락 접촉(561)과 함께 이동한다). 대안으로서, 손가락 접촉들(561, 563)의 이동은 직사각형(520)을 이동시키는 데 사용될 수 있다(예를 들어, 손가락 접촉들(561, 563) 사이의 중점은 직사각형(520)의 위치를 결정한다).
일부 실시예들에서, 터치 제스처(511)의 경로에 대응하는 직사각형(520)과 같은 형상은 터치 제스처에 따라 크기가 조절된다. 예를 들어, 직사각형(520)의 크기는 손가락 접촉들(561, 563)에 의해 이루어지는 디핀치 제스처(depinch gesture)(예로서, 손가락 접촉들(561, 563)이 서로 멀어짐)에 응답하여 증가한다. 유사하게, 일부 실시예들에서, 직사각형(520)의 크기는 손가락 접촉들(561, 563)에 의해 이루어지는 핀치 제스처(예로서, 손가락 접촉들(561, 563)이 서로 가까워짐)에 응답하여 감소한다. 일부 실시예들에서, 핀치 또는 디핀치 제스처는 형상의 종횡비를 변경하지 않고 형상의 크기를 조절한다. 일부 실시예들에서, 수평 핀치 또는 디핀치 제스처(예로서, 손가락 접촉들(561, 563)이 서로에 대해 수평으로 이동함)는 형상의 높이의 변경 없이 형상의 폭을 변경하며, 따라서 형상의 종횡비를 변경한다. 일부 실시예들에서, 수직 핀치 또는 디핀치 제스처(예로서, 손가락 접촉들(561, 563)이 서로에 대해 수직으로 이동함)는 형상의 폭의 변경 없이 형상의 높이를 변경하며, 따라서 형상의 종횡비를 변경한다. 일부 실시예들에서, 대각선 핀치 또는 디핀치(예로서, 손가락 접촉들(561, 563)이 수평 및 수직 이동 성분들 모두를 갖고 서로에 대해 이동함)는 대각선 핀치 또는 디핀치의 수평 성분에 따라 형상의 폭을 그리고 대각선 핀치 또는 디핀치의 수직 성분에 따라 형상의 높이를 변경한다.
일부 실시예들에서, 터치 제스처(511)의 경로에 대응하는 직사각형(520)과 같은 형상은 (예로서, 손가락 접촉들(561, 563)에 기초하는) 터치 제스처에 따라 이동, 회전 및/또는 크기 조절된다.
대안으로서, 터치 제스처(511)의 경로에 대응하는 형상은 단일 손가락 제스처에 따라 크기 조절될 수 있다. 일부 실시예들에서는, 터치 제스처(511)의 경로에 대응하는 형상(예로서, 직사각형(520))의 하나 이상의 에지들을 따라 터치 스크린(112) 상에 하나 이상의 크기 조절 핸들들(562)이 표시된다. 각각의 크기 조절 핸들 상의 손가락 접촉을 검출하고 터치 스크린(112)을 가로지르는 손가락 접촉의 이동을 검출하는 것에 응답하여, 형상의 크기가 조절된다.
장치(100)가 (예로서, 사용자 인터페이스 객체(518) 상의 탭 제스처에 응답하여) 제한 상호작용 모드에 들어간 후, 직사각형(520)이 표시되고, 장치(100)는 제한 상호작용 모드에 있는 동안 직사각형(520) 내에 위치하는 임의의 사용자 인터페이스 객체(예로서, 문자 "A")에 대응하는 위치에서의 터치 입력들을 무시한다.
도 5i-5k는 장치(100)가 상호작용 구성 모드에 있는 동안 비활성화를 위해 하나 이상의 사용자 인터페이스 객체들을 선택하기 위한 다른 방법을 나타낸다. 도 5i에서, 터치 스크린(112) 상에서 터치 제스처(513)가 검출된다. 터치 제스처(513)는 터치 스크린(112)과의 접촉을 유지하면서 개방 경로를 따라 터치 스크린(112)을 가로질러 이동하며, 개방 경로는 사용자 인터페이스 객체들(504-1 내지 504-7)과 교차(또는 접촉)하며, 따라서 사용자 인터페이스 객체들(504-1 내지 504-7)이 선택된다. 일부 실시예들에서, 개방 경로 근처에(예로서, 개방 경로로부터 사전 정의된 거리 내에) 위치하는 하나 이상의 사용자 인터페이스 객체들은 개방 경로와 교차하지 않지만, 이들도 비활성화를 위해 선택된다.
도 5j는 사용자 인터페이스 객체들(504-1 내지 504-7)이 터치 제스처(513)(도 5i)에 의한 선택의 결과로서 시각적으로 구별되는 것을 나타낸다. 장치(100)가 (예로서, 사용자 인터페이스 객체(518) 상의 탭 제스처에 응답하여) 제한 상호작용 모드에 들어간 후, 사용자 인터페이스 객체들(504-1 내지 504-7)이 상호작용 구성 모드에서의 비활성화를 위해 선택된 경우, 장치(100)는 제한 상호작용 모드에 있는 동안 임의의 사용자 인터페이스 객체(504-1 내지 504-7)에 대응하는 위치들에서의 터치 입력들을 무시한다.
도 5k는 도 5j에 도시된 것의 대안 사용자 인터페이스를 나타내며, 여기서는 터치 제스처(513)에 의해 그려진 개방 경로를 둘러싸는 사전 정의된 형상(522)(예로서, 직사각형)이 시각적으로 구별된다. 일부 실시예들에서, 사전 정의된 형상(522) 및 그의 크기 및 위치는 사전 정의된 형상(522)이 터치 제스처(513)(도 5i)의 개방 경로와 교차하는 모든 사용자 인터페이스 객체들을 포함하도록 선택된다. 장치(100)가 (예로서, 사용자 인터페이스 객체(518) 상의 탭 제스처에 응답하여) 제한 상호작용 모드에 들어간 후, 사전 정의된 형상(522)이 표시되고, 장치(100)는 제한 상호작용 모드에 있는 동안 사전 정의된 형상(522) 내에 위치하는 임의 사용자 인터페이스 객체들(예로서, 사용자 인터페이스 객체(504-1 내지 504-7))에 대응하는 위치들에서의 터치 입력들을 무시한다.
도 5l에서, 사용자 인터페이스 객체(518)에 대응하는 위치에서 터치 제스처(515)(예로서, 탭 제스처)가 검출되며, 이는 장치가 상호작용 구성 모드를 종료하고 제한 상호작용 모드에 들어가게 한다. 사용자 인터페이스 객체(518)에 대응하는 위치에서 터치 제스처(515)(도 5l)를 검출하는 것에 응답하여 표시될 수 있는 2개의 예시적인 사용자 인터페이스(524, 526)가 도 5m 및 5n에 각각 도시된다.
도 5m에서, 사전 정의된 형상(522) 내에 위치하는 사용자 인터페이스 객체(504-3)에 대응하는 위치에서 제한 상호작용 모드에서 터치 제스처(517)(예로서, 탭 제스처)가 검출된다. 사용자 인터페이스 객체(504-3)에 대응하는 위치에서의 터치 제스처(517)의 검출에 응답하여, 장치(100)는 터치 제스처(517)를 무시한다(즉, 그에 응답하지 않는다). 도 5m은 또한 터치 스크린(112) 상에 표시된 문자 "A"에 대응하는 위치에서 제한 상호작용 모드에서 터치 제스처(519)(예로서, 탭 제스처)가 검출되는 것을 도시한다. 문자 "A"에 대응하는 위치에서 터치 스크린(112) 상에서 터치 제스처(519)를 검출하는 것에 응답하여, 장치(100)는 문자 "A"의 발음에 대응하는 사운드들을 생성하는데, 그 이유는 상호작용 구성 모드에 있는 동안 사용자 인터페이스의 이 부분이 비활성화를 위해 선택되지 않았기 때문이다.
대안으로서, 도 5n에서, 복수의 사용자 인터페이스 객체(예로서, 문자 "A", 단어 "사과"(Apple) 및 사과 그림)가 터치 스크린(112) 상에 표시되며, 형상(522)은 표시되지 않고, 사전 정의된 형상(522)(도 5l) 내에 위치하는 사용자 인터페이스 객체들(504-1 내지 504-7)(도 5l)도 표시되지 않는다. 도 5n에서, 장치는 도 5l에서 사전 정의된 형상(522)에 대응하는 영역 내의 터치 입력들에 응답하지 않는다. 문자 "A"에 대응하는 위치에서 터치 스크린(112) 상에서 터치 제스처(예로서, 탭 제스처, 도시되지 않음)를 검출하는 것에 응답하여, 장치(100)는 문자 "A"의 발음에 대응하는 사운드들을 생성하는데, 그 이유는 상호작용 구성 모드에 있는 동안 사용자 인터페이스의 이 부분이 비활성화를 위해 선택되지 않았기 때문이다.
도 5n은 또한 사용자 입력(521)(예로서, 홈 버튼(204)의 세 번 클릭)의 검출을 나타낸다.
도 5o는 일부 실시예들에서 사용자 입력(521)(도 5n)의 검출에 응답하여 사용자 인터페이스(526) 위에 패스워드 메뉴(506)가 표시되는 것을 나타낸다. 사용자는 (예로서, 탭 제스처들에 의해) 패스워드 메뉴(506) 내의 숫자 버튼들을 순차적으로 활성화할 수 있다. 사용자에 의해 제공되는 숫자들의 시퀀스가 사전 선택된 패스워드와 매칭될 때, 장치(100)는 제한 상호작용 모드를 종료하고 비제한 상호작용 모드에 들어가며, 이를 위한 사용자 인터페이스가 도 5p에 도시된다. 대안으로서, 일부 실시예들에서, 사용자 입력(521)(도 5n)에 응답하여, 장치(100)는 패스워드 메뉴(506)의 표시 없이 바로 제한 상호작용 모드를 종료하고, 비제한 상호작용 모드에 들어간다. 일부 실시예들에서, 제한 상호작용 모드를 종료하기 위한 패스워드는 상호작용 구성 모드(도 5b)에 들어가기 위한 패스워드와 동일하다. 대안으로서, 제한 상호작용 모드를 종료하기 위한 패스워드는 상호작용 구성 모드에 들어가기 위한 패스워드와 다를 수 있다.
도 5p는 (예를 들어, 사용자 입력(521)(도 5n) 및 필요한 경우에는 매칭 패스워드의 입력(도 5o)에 응답하여) 장치(100)가 제한 상호작용 모드를 종료하고 비제한 상호작용 모드에 들어간 후의 사용자 인터페이스(502)를 나타낸다. 명칭이 암시하듯이, 비제한 상호작용 모드에서, 사용자 인터페이스 객체들은 (제한 상호작용 모드에서 발생하는) 일부 사용자 인터페이스 객체들의 디스에이블 또는 활성화 방해 없이 동작하고 응답하도록 구성된다. 예를 들어, 도 5p에서, 사용자 인터페이스 객체(504-3)에 대응하는 위치에서 비제한 상호작용 모드에서 터치 제스처(523)(예로서, 탭 제스처)가 검출된다. 사용자 인터페이스 객체(504-3)에 대응하는 위치에서 터치 제스처(523)를 검출하는 것에 응답하여, 장치(100)는 사용자 인터페이스(502) 위에 도움말 메뉴 또는 도움말 다이얼로그를 표시한다. 도 5p는 또한 문자 "A"에 대응하는 위치에서 비제한 상호작용 모드에서 터치 제스처(525)(예로서, 탭 제스처)가 검출되는 것을 도시한다. 문자 "A"에 대응하는 위치에서 터치 제스처(525)를 검출하는 것에 응답하여, 장치(100)는 문자 "A"의 발음에 대응하는 사운드들을 생성한다. 객체(504-3) 및 문자 "A"는 비제한 상호작용 모드에서 터치 입력들에 정상적으로 응답한다.
도 5q-5t는 일부 실시예들에 따른 카드 매칭 게임의 예시적인 사용자 인터페이스들을 나타낸다.
도 5q는 "메뉴" 및 "종료" 버튼들, 다수의 카드, 사용자 명령 메시지(예로서, "매칭 카드 찾기") 및 광고 표시 영역과 같은 복수의 사용자 인터페이스 객체를 포함하는 카드 매칭 게임의 예시적인 사용자 인터페이스(532)를 나타낸다.
도 5q에서, 사용자 입력(531)(예로서, 홈 버튼(204)의 세 번 클릭)이 검출된다.
도 5r은 카드 매칭 게임을 위한 상호작용 구성 모드의 예시적인 사용자 인터페이스를 나타낸다. 도 5r에서, 사용자 인터페이스(532)는 축소된 스케일로 표시된다. 즉, 사용자 인터페이스(532)는 비제한 상호작용 모드(도 5q)에서보다 상호작용 구성 모드(도 5r)에서 더 작게 표시된다.
도 5r에서, 사용자 인터페이스(532) 내의 복수의 사용자 인터페이스 객체에 대응하는 위치들에서 제스처 입력들(533, 535, 537, 539)(예로서, 탭 제스처들)이 검출되며, 따라서 복수의 사용자 인터페이스 객체가 선택된다.
도 5s는 선택된 복수의 사용자 인터페이스 객체가 시각적으로 구별되는 것을 나타낸다. 도 5s는 또한 상호작용 구성 모드를 종료하고 제한 상호작용 모드를 시작/진입하기 위한 "시작" 아이콘인 사용자 인터페이스 객체(518)에 대응하는 위치에서 터치 제스처(541)가 검출되는 것을 나타낸다.
도 5t는 사용자 인터페이스 객체(518)에 대응하는 위치에서 터치 제스처(541)를 검출하는 것에 응답하여 표시되는 예시적인 사용자 인터페이스(534)를 나타낸다. 도 5t에서, 제스처 입력들(533, 535, 537, 539)(도 5r)에 의해 선택되지 않은 사용자 인터페이스 객체들은 터치 스크린(112) 상에 계속 표시되며, 터치 스크린(112)의 나머지는 시각적으로 구별된다(예로서, 흐려지거나, 마스킹되거나, 커버되거나, 기타 등등이다). 일부 실시예들에서, 장치(100)는 터치 제스처(541)에 응답하여, 제스처 입력들(533, 535, 537, 539)(도 5r)에 의해 선택되지 않은 사용자 인터페이스 객체들만을 표시한다. 일부 실시예들에서, 제스처 입력들(533, 535, 537, 539)(도 5r)에 의해 선택되지 않은 사용자 인터페이스 객체들은 회전되고, 센터링되고, 그리고/또는 디스플레이를 채우도록 크기 조절된다(도시되지 않음).
도 5t는 또한 제스처 입력들(533, 535, 537, 539)에 의해 선택되지 않은 사용자 인터페이스 객체(예로서, 카드 매칭 게임의 카드)에 대응하는 위치에서 터치 제스처(543)(예로서, 탭 제스처)가 검출되는 것을 도시한다. 제스처 입력들(533, 535, 537, 539)에 의해 선택되지 않은 사용자 인터페이스 객체에 대응하는 위치에서 터치 제스처(543)를 검출하는 것에 응답하여, 장치(100)는 사전 정의된 동작(예로서, 터치 제스처(543)에 대응하는 위치에 배치된 카드를 뒤집는 애니메이션의 표시)을 수행한다. 도 5t는 시각적으로 구별(예로서, 마스킹)되는 사용자 인터페이스 객체(예로서, 도 5t에 도시되지 않고 도 5q에 도시된 "메뉴" 사용자 인터페이스 객체)의 위치에서 터치 제스처(545)(예로서, 탭 제스처)가 검출되는 것을 더 도시한다. 시각적으로 구별(예로서, 마스킹)되는 사용자 인터페이스 객체에서 터치 제스처(545)를 검출하는 것에 응답하여, 장치(100)는 터치 제스처(545)를 무시한다(그에 응답하지 않는다).
도 5u-5x는 일부 실시예들에 따른 악기 애플리케이션(예로서, 애플사의 GarageBand)의 예시적인 사용자 인터페이스들을 나타낸다.
도 5u는 기타 줄, 자동 재생 다이얼, 코드/노트 스위치, 기타 선택 버튼 및 다수의 메뉴 바 사용자 인터페이스 객체와 같은 복수의 사용자 인터페이스 객체를 포함하는 악기 애플리케이션의 예시적인 사용자 인터페이스(552)를 나타낸다.
도 5u에서, 사용자 입력(551)(예로서, 홈 버튼(204)의 세 번 클릭)이 검출된다.
도 5v는 악기 애플리케이션을 위한 상호작용 구성 모드의 예시적인 사용자 인터페이스를 나타낸다. 도 5v에서, 사용자 인터페이스(552)는 축소된 스케일로 표시된다. 즉, 사용자 인터페이스(552)는 도 5u에 도시된 비제한 상호작용 모드에서보다 상호작용 구성 모드(도 5v)에서 더 작게 표시된다.
도 5v는 또한 터치 스크린(112) 상에서 제스처 입력(553)이 검출되는 것을 도시한다. 도 5r에 도시된 바와 같이, 제스처 입력(553)은 터치 스크린(112)을 가로지르는 손가락 접촉의 드래깅을 포함하며, 손가락 접촉의 경로는 복수의 사용자 인터페이스 객체와 교차한다.
도 5w는 제스처 입력(553)(도 5v)에 대응하는 사전 정의된 형상(556)이 제스처(553)의 검출에 응답하여 표시되는 것을 나타낸다. 일부 실시예들에서는, 투명한(예를 들어, 사전 정의된 형상(556)의 경계 라인들만이 보임), 반투명한 또는 불투명한 사전 정의된 형상(556)이 터치 스크린(112) 상에 표시된다. 도 5w는 또한 상호작용 구성 모드를 종료하고 제한 상호작용 모드를 시작/진입하기 위한 "시작" 아이콘인 사용자 인터페이스 객체(518)에 대응하는 위치에서 터치 제스처(555)가 검출되는 것을 도시한다.
도 5x는 사용자 인터페이스 객체(518)(도 5w)에 대응하는 위치에서 터치 제스처(555)를 검출하는 것에 응답하여 표시되는 예시적인 사용자 인터페이스(554)를 나타낸다. 도 5x에서, 사전 정의된 형상(556)은 (예로서, 사전 정의된 형상(556) 내에 위치하는 사용자 인터페이스 객체들을 반투명 사전 정의된 형상(556)으로 마스킹함으로써) 사전 정의된 형상(556) 내에 위치하는 사용자 인터페이스 객체들을 시각적으로 구별한다. 도 5x는 또한 기타 줄 사용자 인터페이스 객체에 대응하는 위치에서 터치 제스처(557)가 검출되는 것을 도시한다. 기타 줄 사용자 인터페이스 객체에 대응하는 위치에서 터치 제스처(557)를 검출하는 것에 응답하여, 장치(100)는 터치 제스처(557)의 위치에 대응하는 노트를 재생한다(예를 들어, 장치(100)는 G 코드에 대응하는 노트를 재생한다). 도 5x는 시각적으로 구별(예로서, 마스킹)되는 사용자 인터페이스 객체(예로서, "나의 노래" 사용자 인터페이스 객체)에서 터치 제스처(559)(예로서, 탭 제스처)가 검출되는 것을 더 도시한다. 시각적으로 구별(예로서, 마스킹)되는 사용자 인터페이스 객체에서 터치 제스처(559)를 검출하는 것에 응답하여, 장치(100)는 터치 제스처(559)를 무시한다(그에 응답하지 않는다).
도 5y-5z는 일부 실시예들에 따른 폴더의 예시적인 사용자 인터페이스들을 나타낸다. 도 5y는 파일 또는 애플리케이션 아이콘들(예로서, 알파벳, 숫자, 단어, 카운팅), 디렉토리들의 리스트(예를 들어, 장치들, 제목없음, 제목없음 1 등) 및 다수의 메뉴 바 사용자 인터페이스 객체와 같은 복수의 사용자 인터페이스 객체를 포함하는 폴더의 예시적인 사용자 인터페이스(572)를 나타낸다. 사용자 인터페이스(572)는 전술한 다른 사용자 인터페이스들의 구성과 유사한 방식으로 제한된 상호작용을 위해 구성될 수 있으며, 이는 여기서 반복 설명되지 않는다.
도 5z는 일부 실시예들에 따른 제한 상호작용 모드에서의 폴더의 예시적인 사용자 인터페이스(574)를 나타낸다. 도 5z에서, 파일 또는 애플리케이션 아이콘들(예로서, 알파벳, 숫자, 단어 및 카운팅)은 사용자 인터페이스(572)(도 5y) 내의 대응 아이콘들에 비해 변경 없이 유지되며, 다른 사용자 인터페이스 객체들 및 영역들(예로서, 디렉토리들의 리스트 및 메뉴 바 사용자 인터페이스 객체들)은 시각적으로 구별된다. 파일 또는 애플리케이션 아이콘들 중 하나에 대응하는 위치에서의 터치 제스처(예로서, 탭 제스처)는 대응하는 애플리케이션의 실행 또는 대응하는 파일의 개방을 개시하는 반면, 하나 이상의 시각적으로 구별되는 영역들에 대응하는 위치에서의 터치 제스처(예로서, 탭 제스처)는 무시된다.
도 6a-6d는 일부 실시예들에 따른 사용자 인터페이스와의 제한된 상호작용을 구성하는 방법(600)을 나타내는 흐름도들이다. 방법(600)은 디스플레이 및 터치 감지 표면을 갖는 전자 장치(예로서, 도 3의 장치(300) 또는 도 1의 휴대용 다기능 장치(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감지 표면은 디스플레이 상에 위치한다. 일부 실시예들에서, 디스플레이는 터치 감지 표면으로부터 분리된다. 방법(600)의 일부 동작들은 결합될 수 있고, 그리고/또는 일부 동작들의 순서가 변경될 수 있다.
후술하는 바와 같이, 방법(600)은 전자 장치의 사용자 인터페이스와의 제한된 상호작용을 구성하기 위한 직관적인 방법을 제공한다. 이 방법은 사용자 인터페이스와의 제한된 상호작용을 구성할 때 사용자의 인식 부담을 줄이며, 따라서 더 효율적인 사람-기계 인터페이스를 생성한다. 배터리 작동 전자 장치들의 경우, 사용자가 사용자 인터페이스와의 제한된 상호작용을 더 빠르고 더 효율적으로 구성할 수 있게 하는 것은 전력을 보존하고, 배터리 충전들 간의 시간을 증가시킨다.
장치는 비제한 상호작용 모드에 있는 동안에 제1 입력(예로서, 후속적인 패스코드의 입력과 더불어 또는 그러한 입력 없이 홈 버튼(204) 상의 세 번 클릭(505)의 검출(도 5a-5b); 물리 버튼들의 특정 조합의 누름; 터치 감지 표면의 사전 정의된 영역들을 동시에 또는 사전 정의된 시퀀스에 따라 터치함; 기타 등등)을 검출한다(602).
장치는 제1 입력의 검출에 응답하여, 비제한 상호작용 모드(예로서, 도 5c)와 다른 상호작용 구성 모드에 들어간다(604).
장치는 상호작용 구성 모드에 있는 동안에 복수의 사용자 인터페이스 객체를 포함하는 제1 사용자 인터페이스를 디스플레이 상에 표시한다(606)(예를 들어, 도 5c의 사용자 인터페이스(501)는 사용자 인터페이스(502) 내의 문자 "A", 단어 "사과"(Apple), 사과 그림 및 복수의 메뉴 바 사용자 인터페이스 객체(504-1, 504-2, 504-3, 504-4, 504-5, 504-6, 504-7)를 포함한다).
일부 실시예들에서, 상호작용 구성 모드에서의 제1 사용자 인터페이스는 제1 입력의 검출 바로 전에 비제한 상호작용 모드에서 표시된 사용자 인터페이스를 포함하고, 제1 입력의 검출 바로 전에 비제한 상호작용 모드에서 표시된 사용자 인터페이스는 복수의 사용자 인터페이스 객체를 포함한다(608). 예를 들어, 도 5c의 사용자 인터페이스(501)는 비제한 상호작용 모드에서 이전에 표시된 사용자 인터페이스(502)(예로서, 도 5a)를 포함하고, 사용자 인터페이스(502)는 문자 "A", 단어 "사과"(Apple), 사과 그림, 및 복수의 메뉴 바 사용자 인터페이스 객체(504-1, 504-2, 504-3, 504-4, 504-5, 504-6, 504-7)를 포함한다.
일부 실시예들에서, 제1 입력의 검출 바로 전에 비제한 상호작용 모드에서 표시된 사용자 인터페이스는 비제한 상호작용 모드에서 제1 스케일로 표시되고(예로서, 도 5a의 사용자 인터페이스(502)), 상호작용 구성 모드에서의 제1 사용자 인터페이스에서 제1 스케일보다 작은 제2 스케일로 표시된다(예로서, 도 5c의 사용자 인터페이스(501) 내의 사용자 인터페이스(502))(610). 일부 실시예들에서, 장치는 제1 입력 검출 바로 전에 비제한 상호작용 모드에서 표시된 사용자 인터페이스가 상호작용 구성 모드에서의 제1 사용자 인터페이스의 일부가 되도록 축소되는 애니메이션을 표시한다.
일부 실시예들에서, 제1 사용자 인터페이스는 제1 입력의 검출에 응답하여 표시된다(612). 예를 들어, 일부 실시예들에서, 도 5c의 사용자 인터페이스는 사용자 입력(505)(도 5a)에 응답하여 표시된다. 예를 들어, 일부 실시예들에서, 도 5c의 사용자 인터페이스는 패스워드의 입력에 응답하여 표시된다(도 5b).
일부 실시예들에서, 상호작용 구성 모드에서 표시된 제1 사용자 인터페이스(501)는 선택시에 전자 장치로 하여금 제한 상호작용 모드에 있는 동안에 터치 감지 표면 상의 터치 입력들을 무시하게 하는 터치 상호작용 제어 사용자 인터페이스 객체(예로서, 사용자 인터페이스 객체(508), 도 5c); 선택시에 전자 장치로 하여금 제한 상호작용 모드에 있는 동안에 전자 장치의 회전을 무시하게 하는 회전 상호작용 제어 사용자 인터페이스 객체(예로서, 사용자 인터페이스 객체(510), 도 5c); 선택시에 전자 장치로 하여금 제한 상호작용 모드에 있는 동안에 전자 장치의 흔들림을 무시하게 하는 흔들림 상호작용 제어 사용자 인터페이스 객체(예로서, 사용자 인터페이스 객체(512), 도 5c); 및 선택시에 전자 장치로 하여금 제한 상호작용 모드에 있는 동안에 전자 장치의 움직임을 무시하게 하는 운동 상호작용 제어 사용자 인터페이스 객체(예로서, 사용자 인터페이스 객체(514), 도 5c) 중 적어도 하나를 포함한다(614).
장치는 제1 사용자 인터페이스를 표시하는 동안에 터치 감지 표면 상의 하나 이상의 제스처 입력들(예로서, 터치 제스처(507), 도 5c; 터치 제스처(509), 도 5e; 터치 제스처(511), 도 5g; 터치 제스처(513), 도 5i; 또는 터치 제스처들(533, 535, 537, 539), 도 5r)을 검출한다(616, 도 6b).
장치는 터치 감지 표면 상에서 검출된 각각의 제스처 입력에 대해 복수의 사용자 인터페이스 객체 중 하나 이상의 사용자 인터페이스 객체들이 각각의 제스처 입력에 대응하는지를 결정한다(618). 예를 들어, 장치는 사용자 인터페이스 객체(508) 상의 터치 제스처(507)(도 5c)의 검출에 응답하여 사용자 인터페이스(502) 내의 복수의 사용자 인터페이스 객체가 터치 제스처(507)에 대응하는 것으로 결정한다. 도 5e-5f에서, 장치는 터치 제스처(509)의 검출에 응답하여 사용자 인터페이스 객체(504-2)가 터치 제스처(509)에 대응하는 것으로 결정한다. 도 5g-5h에서, 장치는 터치 제스처(511)의 검출에 응답하여 문자 "A"가 터치 제스처(511)에 대응하는 것으로 결정한다. 도 5i-5k에서, 장치는 터치 제스처(513)의 검출에 응답하여 사용자 인터페이스 객체들(504-1 내지 504-7)이 터치 제스처(513)에 대응하는 것으로 결정한다. 도 5r-5s에서, 장치는 터치 제스처들(533, 535, 537, 539)의 검출에 응답하여 터치 제스처들(533, 535, 537, 539) 각각에 대응하는 사용자 인터페이스 객체를 결정한다.
일부 실시예들에서, 복수의 사용자 인터페이스 객체 중 하나 이상의 사용자 인터페이스 객체들이 각각의 제스처 입력에 대응하는지를 결정하는 것은 각각의 제스처 입력에 대응하는 복수의 사전 정의된 형상 중의 사전 정의된 형상, 사전 정의된 형상의 크기 및 사전 정의된 형상의 위치를 결정하는 것을 포함한다(620). 즉, 사전 정의된 형상은 각각의 제스처 입력에 의해 그려진 형상에 대응한다. 예시적인 사전 정의된 형상들은 직사각형, 정사각형, 원 및 타원을 포함한다. 일부 실시예들에서, 사전 정의된 형상은 제1 사용자 인터페이스 상에 오버레이된다. 일부 실시예들에서는, 사전 정의된 형상을 확대하기 위한 디핀치 제스처들, 사전 정의된 형상의 크기를 조절하기 위한 사전 정의된 형상의 테두리 상의 드래깅 제스처들, 및 사전 정의된 형상을 이동시키기 위한 사전 정의된 형상 내의 드래깅 제스처들과 같은 추가적인 제스처들을 이용하여 사전 정의된 형상의 최초 크기 및/또는 최초 위치를 조정할 수 있다. 일부 실시예들에서, 상기 결정하는 것은 또한 복수의 사용자 인터페이스 객체 중 하나 이상의 사용자 인터페이스 객체들이 결정된 위치에서 결정된 크기를 갖는 결정된 사전 정의된 형상에 대응하는지를 결정하는 것을 포함한다. 즉, 장치는 각각의 사용자 인터페이스 객체에 대해 각각의 제스처 입력에 대응하는 사전 정의된 형상이 각각의 사용자 인터페이스 객체 위에 있는지를 결정한다. 예를 들어, 도 5h에서, 장치는 (터치 제스처(511)에 대응하는) 사전 정의된 형상(520)이 문자 "A" 위에 있는 것으로 결정하고, 결정에 따라 문자 "A"를 선택한다.
일부 실시예들에서, 각각의 제스처 입력은 개방 경로 제스처(예로서, 도 5i의 터치 제스처(513) 및 도 5v의 터치 제스처(553)와 같은 가로지르는 또는 구불구불한 라인)이다(622). 일부 실시예들에서, 각각의 제스처 입력은 폐쇄 경로 제스처(예로서, 터치 제스처(511), 도 5g)이다.
일부 실시예들에서, 장치는 검출된 하나 이상의 제스처 입력들에 대응하는 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제1 세트 및 검출된 하나 이상의 제스처 입력들에 대응하지 않는 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제2 세트를 식별한다. 예를 들어, 도 5f에서, 장치는 사용자 인터페이스 객체(504-2)를 터치 제스처(509)에 대응하는 사용자 인터페이스 객체로서 그리고 문자 "A", 단어 "사과"(Apple), 사과 그림 및 메뉴 바 사용자 인터페이스 객체들(504-1, 504-3, 504-4, 504-5, 504-6, 504-7)을 터치 제스처(509)에 대응하지 않는 사용자 인터페이스 객체들로서 식별한다.
장치는 검출된 하나 이상의 제스처 입력들에 대응하는 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제1 세트와 검출된 하나 이상의 제스처 입력들에 대응하지 않는 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제2 세트를 시각적으로 구별한다(624). 예를 들어, 도 5m에서, 사용자 인터페이스 객체들(504-1 내지 504-7)은 문자 "A", 단어 "사과"(Apple) 및 사과 그림과 같은 사용자 인터페이스(502) 내의 다른 사용자 인터페이스 객체들과 시각적으로 구별된다. 일부 실시예들에서, 사용자 인터페이스 객체들의 제1 세트의 시각적 구별은 사용자 인터페이스 객체들의 제1 세트의 표시를 흐리게 하면서 사용자 인터페이스 객체들의 제2 세트의 표시를 흐려지지 않게 유지하는 것 및/또는 사용자 인터페이스 객체들의 제1 세트 위에 또는 근처에 하나 이상의 지시자들(예로서, 지시자(528), 도 5f)을 표시하는 것을 포함한다. 일부 실시예들에서, 사용자 인터페이스 객체들의 제1 세트 내의 각각의 사용자 인터페이스 객체는 각각의 사용자 인터페이스 객체에 대응하는 각각의 제스처 입력의 검출에 응답하여 시각적으로 구별된다. 일부 실시예들에서, 각각의 지시자는 사용자 인터페이스 객체들의 제1 세트 내의 하나 이상의 대응하는 사용자 인터페이스 객체들 위에 또는 근처에 표시된 사전 정의된 형상이다. 예를 들어, 도 5f에서, 지시자(528)가 사용자 인터페이스 객체(504-2) 위에 표시된다. 일부 실시예들에서, 각각의 지시자는 각각의 제스처 입력에 대응하는 자유 형상이며, 이는 사용자 인터페이스 객체들의 제1 세트 내의 하나 이상의 대응하는 사용자 인터페이스 객체들 위에 표시된다. 일부 실시예들에서, 사전 정의된 또는 자유 형상의 불투명도는 상호작용 구성 모드에서 조정될 수 있다.
장치는 제2 입력(예로서, 시작 버튼(518) 상의 탭 제스처(515), 도 5l)을 검출한다(626).
장치는 제2 입력의 검출에 응답하여 상호작용 구성 모드를 종료하고, 비제한 상호작용 모드와 다른 제한 상호작용 모드에 들어간다(628, 도 6c). 일부 실시예들에서, 제한 상호작용 모드는 사용자 인터페이스 객체들의 제1 세트 내의 사용자 인터페이스 객체들(예로서, 도 5m의 504-1 내지 504-7과 같은 사용자 인터페이스 객체들)의 활성화를 방지(예로서, 디스에이블)하는 반면, 이러한 사용자 인터페이스 객체들의 제1 세트 내의 사용자 인터페이스 객체들은 비제한 상호작용 모드에서는 활성화될 수 있다(예로서, 도 5p).
일부 실시예들에서, 사용자는 디스에이블될 사용자 인터페이스 객체들을 선택하는 것이 아니라 인에이블 상태로 유지될 사용자 인터페이스 객체들을 선택하기 위해 제스처 입력들을 이용할 수 있다. 이러한 실시예들에서, 사용자 인터페이스 객체들의 제2 세트는 검출된 하나 이상의 제스처 입력들에 대응하는 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들을 포함하고, 사용자 인터페이스 객체들의 제1 세트는 검출된 하나 이상의 제스처 입력들에 대응하지 않는 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들을 포함한다.
일부 실시예들에서, 장치는 제한 상호작용 모드에서 사용자 인터페이스 객체들의 제2 세트를 적어도 포함하는 제2 사용자 인터페이스로 제1 사용자 인터페이스를 대체한다(630). 예를 들어, 도 5m에서, 사용자 인터페이스(524)는 사용자 인터페이스 객체들의 제2 세트(예로서, 문자 "A", 단어 "사과"(Apple) 및 사과 그림)는 물론, 사용자 인터페이스 객체들의 제1 세트(예로서, 도 5l에 도시된 사용자 인터페이스 객체들(504-1 내지 504-7))도 포함한다. 일부 실시예들에서, 제2 사용자 인터페이스는 사용자 인터페이스 객체들의 제1 세트의 표시를 포함하지 않는다. 예를 들어, 도 5n에서, 사용자 인터페이스(526)는 사용자 인터페이스 객체들의 제2 세트(예로서, 문자 "A", 단어 "사과"(Apple) 및 사과 그림)는 포함하지만, 사용자 인터페이스 객체들의 제1 세트(예로서, 도 5l에 도시된 사용자 인터페이스 객체들(504-1 내지 504-7))는 포함하지 않는다. 일부 실시예들에서, 제한 상호작용 모드에서의 제2 사용자 인터페이스는 사용자 인터페이스 객체들의 제1 세트와 상호작용 구성 모드에 있는 동안에 생성된 사용자 인터페이스 객체들의 제2 세트의 시각적 구별을 유지한다. 일부 실시예들에서, 제2 사용자 인터페이스는 사용자 인터페이스 객체들의 제1 세트의 흐려진 표시를 포함하는 반면, 사용자 인터페이스 객체들의 제2 세트의 흐려지지 않은 표시를 포함한다. 일부 실시예들에서, 제2 사용자 인터페이스는 사용자 인터페이스 객체들의 제2 세트의 하이라이팅을 포함한다. 일부 실시예들에서, 제2 사용자 인터페이스는 회전된, 센터링된 그리고/또는 디스플레이의 사전 정의된 디스플레이 영역에 맞춰진 사용자 인터페이스 객체들의 제2 세트를 포함한다. 일부 실시예들에서, 장치는 제한 상호작용 모드에 있는 동안에 사용자 인터페이스 객체들의 제1 세트 내의 사용자 인터페이스 객체에 대응하는 위치에서 터치 감지 표면 상의 제1 제스처를 검출하고, 제1 제스처(예로서, 터치 제스처(517), 도 5m)를 무시한다. 즉, 장치는 제한 상호작용 모드에 있는 동안에 상호작용 구성 모드에서 비활성화를 위해 선택된 사용자 인터페이스 객체들 상의 제스처들에 응답하지 않는다(또는 무시한다).
일부 실시예들에서, 제2 사용자 인터페이스는 제2 입력의 검출에 응답하여 제1 사용자 인터페이스를 대체한다(632). 예를 들어, 도 5l에 도시된 사용자 인터페이스는 터치 제스처(515)(도 5l)의 검출에 응답하여 사용자 인터페이스(524)(도 5m)로 대체된다.
일부 실시예들에서, 장치는 상호작용 구성 모드에 있는 동안에 각각의 물리 버튼(예로서, 푸시 버튼(206) 및/또는 볼륨 조정 버튼들(208), 도 2)의 활성화를 무시한다. 일부 실시예들에서, 장치는 제한 상호작용 모드에 있는 동안에 각각의 물리 버튼(예로서, 푸시 버튼(206) 및/또는 볼륨 조정 버튼들(208), 도 2)의 활성화를 무시한다.
일부 실시예들에서, 장치는 제한 상호작용 모드에 있는 동안에 사용자 인터페이스 객체들의 제2 세트 내의 사용자 인터페이스 객체에 대응하는 위치에서 터치 감지 표면 상의 제2 제스처를 검출하고, 제2 제스처의 검출에 응답하여 사용자 인터페이스 객체들의 제2 세트 내의 사용자 인터페이스 객체에 대응하는 사전 정의된 동작을 수행한다(634). 일부 실시예들에서, 제한 상호작용 모드에서의 사용자 인터페이스 객체들의 제2 세트 내의 사용자 인터페이스 객체에 대응하는 사전 정의된 동작은 비제한 상호작용 모드에서의 사용자 인터페이스 객체들의 제2 세트 내의 사용자 인터페이스 객체에 대응하는 사전 정의된 동작과 동일하다. 예를 들어, 도 5m에서, 장치(100)는 문자 "A"에 대응하는 위치에서 터치 스크린(112) 상의 터치 제스처(519)에 응답하여 문자 "A"의 발음에 대응하는 사운드들을 생성한다.
일부 실시예들에서, 장치는 제한 상호작용 모드에 있는 동안에 사전 정의된 사용자 입력(예로서, 홈 버튼(204)의 세 번 클릭과 같은 사용자 입력(521), 도 5n)을 검출하고, 사전 정의된 사용자 입력의 검출에 응답하여 디스플레이 상에 제한 상호작용 모드 종료 스크린(예로서, 패스워드 메뉴(506), 도 5o)을 표시하고, 제한 상호작용 모드 종료 스크린을 표시하는 동안에 하나 이상의 입력들을 검출하고(예로서, 도 5o의 패스워드 메뉴(506)의 숫자 버튼들 상의 탭 제스처들과 같은 터치 감지 표면 상의 하나 이상의 제스처들을 검출하고), 검출된 하나 이상의 입력들이 제한 상호작용 모드를 종료하기 위한 사전 정의된 입력(예로서, 숫자들의 사전 정의된 시퀀스)과 매칭되는지를 결정하고, 검출된 하나 이상의 입력들이 제한 상호작용 모드를 종료하기 위한 사전 정의된 입력과 매칭되지 않는다는 결정에 따라 디스플레이 상에 제한 상호작용 모드 종료 스크린을 표시하는 것을 중지한다(즉, 부정확한 패스워드의 1회 입력 후에 패스워드 메뉴(506)가 사라지며, 따라서 패스워드 메뉴(506)는 더 이상 사용자의 주의를 흩뜨리지 않는다)(636). 일부 실시예들에서, 제한 상호작용 모드를 종료하기 위한 시도의 실패 후에, 장치는 적어도 사전 정의된 기간(예로서, 1분, 2분, 5분 등) 동안 제한 상호작용 모드 종료 스크린을 표시하지 않을 것이다.
일부 실시예들에서, 장치는 (예를 들어, 홈 버튼(204) 상의 세 번 클릭(521) 후의 패스코드의 입력을 검출하는 것(도 5n); 물리 버튼들의 특정 조합을 누르는 것; 터치 감지 표면의 4개 코너를 사전 정의된 시퀀스로 터치하는 것과 같이, 터치 감지 표면의 사전 정의된 영역들을 사전 정의된 시퀀스에 따라 또는 동시에 터치하는 것; 기타 등등에 응답하여) 제한 상호작용 모드를 종료한다(638, 도 6d). 이어서, 장치는 비제한 상호작용 모드에 들어가고, 비제한 상호작용 모드에 있는 동안에 사용자 인터페이스 객체들의 제1 세트 내의 제1 사용자 인터페이스 객체(예로서, 사용자 인터페이스 객체(504-3), 도 5p)에 대응하는 위치에서 터치 감지 표면 상의 제3 제스처(예로서, 터치 제스처(523), 도 5p)를 검출하고, 제3 제스처의 검출에 응답하여, 사용자 인터페이스 객체들의 제1 세트 내의 제1 사용자 인터페이스 객체에 대응하는 제1 사전 정의된 동작을 수행하고(예를 들어, 도 5p에 도시된 사용자 인터페이스(502) 위에 도움말 메뉴 또는 도움말 다이얼로그가 표시된다), 사용자 인터페이스 객체들의 제2 세트 내의 제2 사용자 인터페이스 객체(예로서, 문자 "A", 도 5p)에 대응하는 위치에서 터치 감지 표면 상의 제4 제스처(예로서, 터치 제스처(525), 도 5p)를 검출하고, 제4 제스처의 검출에 응답하여, 사용자 인터페이스 객체들의 제2 세트 내의 제2 사용자 인터페이스 객체에 대응하는 제2 사전 정의된 동작을 수행한다(예를 들어, 장치는 문자 "A"의 발음에 대응하는 사운드들을 생성한다).
일부 실시예들에서, 장치는 장치가 플러깅된 것(예를 들어, 장치의 외부 포트(124)(도 2)가 케이블을 사용하여 또는 크레이들(cradle) 내에 플러깅되는 것)의 검출에 응답하여 제한 상호작용 모드를 종료한다.
일부 실시예들에서, 장치는 제한 상호작용 모드를 종료한 직후에 비제한 상호작용 모드(예로서, 도 5p)에 들어가는 대신에 상호작용 구성 모드(예로서, 도 5l)에 들어간다.
일부 실시예들에서, 사용자 인터페이스 객체들의 제1 세트 및 사용자 인터페이스 객체들의 제2 세트를 식별하는 정보가 개별 프로파일(예로서, 개별 프로파일(들)(159), 도 1a)에 저장되며, 개별 프로파일은 각각의 사용자에 대해 구성된다(640). 예를 들어, 교육 애플리케이션에 대한 사용자 인터페이스 객체들의 제1의 사전 선택된 세트가 제1 사용자에 대한 개별 프로파일에 저장될 수 있고, 교육 애플리케이션에 대한 사용자 인터페이스 객체들의 제2의 사전 선택된 세트가 제2 사용자에 대한 개별 프로파일에 저장될 수 있다. 사용자 인터페이스 객체들의 제1 및 제2의 사전 선택된 세트들은 (예를 들어, 개별 사용자의 숙련도 및 필요에 기초하여) 각각의 개별 사용자에 대한 사용자 인터페이스들의 신속한 맞춤화를 촉진하는 데 사용될 수 있다. 예를 들어, 모든 메뉴 바 사용자 인터페이스 객체들(예로서, 사용자 인터페이스 객체들(504-1 내지 504-7), 도 5j)이 제1 사용자에 대해 비활성화될 수 있는 반면, 제2 사용자에 대해서는 메뉴 바 사용자 인터페이스 객체들의 서브세트(예로서, 사용자 인터페이스 객체들(504-2 내지 504-6), 도 5j)만이 비활성화될 수 있으며, 따라서 제2 사용자로 하여금 추가적인 기능들(예로서, 이전 또는 다음 페이지로의 내비게이션)을 수행하게 할 수 있다. 일부 실시예들에서, 장치는 각각의 애플리케이션에 대한 개별 프로파일을 포함한다. 예를 들어, 장치는 제1 애플리케이션(예로서, 교육 애플리케이션)에 대한 각각의 사용자의 제1 개별 프로파일 및 제2 애플리케이션(예로서, 카드 매칭 게임 애플리케이션)에 대한 각각의 사용자의 제2 개별 프로파일을 저장할 수 있다.
도 6a-6d의 동작들이 설명된 특정 순서는 예시적일 뿐, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 지시하는 것을 의도하지 않음을 이해해야 한다. 이 분야의 기술자는 본 명세서에서 설명되는 동작들을 재배열하기 위한 다양한 방법을 인식할 것이다. 간략화를 위해, 이러한 상세들은 본 명세서에서 반복 설명되지 않는다.
일부 실시예들에 따르면, 도 7은 전술한 바와 같은 본 발명의 원리들에 따라 구성된 전자 장치(700)의 기능 블록도를 나타낸다. 장치의 기능 블록들은 본 발명의 원리들을 실행하도록 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 7에 설명된 기능 블록들은 전술한 바와 같은 본 발명의 원리들을 구현하기 위해 조합되거나 서브블록들로 분리될 수 있다는 것을 이 분야의 기술자들은 이해한다. 따라서, 본 명세서에서의 설명은 본 명세서에서 설명되는 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가적인 정의를 지원할 수 있다.
도 7에 도시된 바와 같이, 전자 장치(700)는 상호작용 구성 모드에 있는 동안에 복수의 사용자 인터페이스 객체를 포함하는 제1 사용자 인터페이스를 표시하도록 구성된 디스플레이 유닛(702); 제1 사용자 인터페이스가 표시되는 동안에 터치 감지 표면 유닛(704) 상의 하나 이상의 제스처 입력들을 검출하도록 구성된 터치 감지 표면 유닛(704); 및 디스플레이 유닛(702) 및 터치 감지 표면 유닛(704)에 결합된 처리 유닛(706)을 포함한다. 일부 실시예들에서, 처리 유닛(706)은 결정 유닛(708), 시각적 구별 인에이블링 유닛(710), 모드 종료 유닛(712), 모드 진입 유닛(714), 디스플레이 인에이블링 유닛(716), 대체 유닛(718), 무시 유닛(720), 수행 유닛(722), 디스플레이 중지 유닛(724), 저장 유닛(726) 및 검출 유닛(728)을 포함한다.
처리 유닛(706)은 터치 감지 표면 유닛(704) 상에서 검출된 각각의 제스처 입력에 대해, (예로서, 결정 유닛(708)을 이용하여) 복수의 사용자 인터페이스 객체 중 하나 이상의 사용자 인터페이스 객체가 각각의 제스처 입력에 대응하는지를 결정하고; (예로서, 시각적 구별 인에이블링 유닛(710)을 이용하여) 검출된 하나 이상의 제스처 입력들에 대응하는 복수의 사용자 인터페이스 객체들 내의 사용자 인터페이스 객체들의 제1 세트와 검출된 하나 이상의 제스처 입력들에 대응하지 않는 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제2 세트의 시각적 구별을 가능하게 하고; (예로서, 모드 종료 유닛(712)을 이용하여) 제2 입력의 검출에 응답하여 상호작용 구성 모드를 종료하고, 비제한 상호작용 모드와 다른 제한 상호작용 모드에 들어가도록 구성된다.
일부 실시예들에서, 상호작용 구성 모드에서의 제1 사용자 인터페이스는 제1 입력의 검출 바로 전에 (예로서, 디스플레이 유닛(702) 상에) 비제한 상호작용 모드에서 표시된 사용자 인터페이스를 포함하며, 제1 입력의 검출 바로 전에 비제한 상호작용 모드에서 표시된 사용자 인터페이스는 복수의 사용자 인터페이스 객체를 포함한다.
일부 실시예들에서, 제1 입력의 검출 바로 전에 (예로서, 디스플레이 유닛(702) 상에) 비제한 상호작용 모드에서 표시되는 사용자 인터페이스는 (예를 들어, 디스플레이 인에이블링 유닛(716)을 이용하여, 디스플레이 유닛(702) 상에) 비제한 상호작용 모드에서 제1 스케일로 그리고 상호작용 구성 모드에서의 제1 사용자 인터페이스에서 제1 스케일보다 작은 제2 스케일로 표시된다.
일부 실시예들에서, 제1 사용자 인터페이스는 (예를 들어, 검출 유닛(728)을 이용하여) 제1 입력을 검출하는 것에 응답하여 (예를 들어, 디스플레이 인에이블링 유닛(716)을 이용하여, 디스플레이 유닛(702) 상에) 표시된다.
일부 실시예들에서, (예를 들어, 디스플레이 인에이블링 유닛(716)을 이용하여 디스플레이 유닛(702) 상에) 상호작용 구성 모드에서 표시되는 제1 사용자 인터페이스는 선택시에 전자 장치(700)로 하여금 제한 상호작용 모드에 있는 동안에 터치 감지 표면 유닛(704) 상의 터치 입력들을 무시하게 하는 터치 상호작용 제어 사용자 인터페이스 객체; 선택시에 전자 장치(700)로 하여금 제한 상호작용 모드에 있는 동안에 전자 장치(700)의 회전을 무시하게 하는 회전 상호작용 제어 사용자 인터페이스 객체; 선택시에 전자 장치(700)로 하여금 제한 상호작용 모드에 있는 동안에 전자 장치(700)의 흔들림을 무시하게 하는 흔들림 상호작용 제어 사용자 인터페이스 객체; 및 선택시에 전자 장치(700)로 하여금 제한 상호작용 모드에 있는 동안에 전자 장치(700)의 움직임을 무시하게 하는 운동 상호작용 제어 사용자 인터페이스 객체 중 적어도 하나를 포함한다.
일부 실시예들에서, 처리 유닛(706)은 (예를 들어, 결정 유닛(708)을 이용하여) 각각의 제스처 입력에 대응하는 복수의 사전 정의된 형상 중의 사전 정의된 형상, 사전 정의된 형상의 크기 및 사전 정의된 형상의 위치를 결정하고, (예로서, 결정 유닛(708)을 이용하여) 복수의 사용자 인터페이스 객체 중 하나 이상의 사용자 인터페이스 객체들이 결정된 위치에서 결정된 크기를 갖는 결정된 사전 정의된 형상에 대응하는지를 결정하도록 구성된다.
일부 실시예들에서, 처리 유닛(706)은 (예를 들어, 대체 유닛(718)을 이용하여) 제한 상호작용 모드에서 사용자 인터페이스 객체들의 제2 세트를 적어도 포함하는 제2 사용자 인터페이스로 제1 사용자 인터페이스를 대체하고, 제한 상호작용 모드에 있는 동안에, (예로서, 검출 유닛(728)을 이용하여) 사용자 인터페이스 객체들의 제1 세트 내의 사용자 인터페이스 객체에 대응하는 위치에서 터치 감지 표면 유닛(704) 상의 제1 제스처를 검출하고, (예를 들어, 무시 유닛(720)을 이용하여) 제1 제스처를 무시하도록 구성된다.
일부 실시예들에서, 제2 사용자 인터페이스는 (예를 들어, 대체 유닛(718)을 이용하여) 제2 입력의 검출에 응답하여 제1 사용자 인터페이스를 대체한다.
일부 실시예들에서, 처리 유닛(706)은 제한 상호작용 모드에 있는 동안에 (예로서, 검출 유닛(728)을 이용하여) 사용자 인터페이스 객체들의 제2 세트 내의 사용자 인터페이스 객체에 대응하는 위치에서 터치 감지 표면 유닛(704) 상의 제2 제스처를 검출하고, 제2 제스처의 검출에 응답하여 (예로서, 수행 유닛(722)을 이용하여) 사용자 인터페이스 객체들의 제2 세트 내의 사용자 인터페이스 객체에 대응하는 사전 정의된 동작을 수행하도록 구성된다.
일부 실시예들에서, 처리 유닛(706)은 (예를 들어, 모드 종료 유닛(712)을 이용하여) 제한 상호작용 모드를 종료하고, (예를 들어, 모드 진입 유닛(714)을 이용하여) 비제한 상호작용 모드에 들어가고, 비제한 상호작용 모드에 있는 동안에 (예를 들어, 검출 유닛(728)을 이용하여) 사용자 인터페이스 객체들의 제1 세트 내의 제1 사용자 인터페이스 객체에 대응하는 위치에서 터치 감지 표면 유닛(704) 상의 제3 제스처를 검출하고, 제3 제스처의 검출에 응답하여 (예를 들어, 수행 유닛(722)을 이용하여) 사용자 인터페이스 객체들의 제1 세트 내의 제1 사용자 인터페이스 객체에 대응하는 제1 사전 정의된 동작을 수행하고, (예를 들어, 검출 유닛(728)을 이용하여) 사용자 인터페이스 객체들의 제2 세트 내의 제2 사용자 인터페이스 객체에 대응하는 위치에서 터치 감지 표면 유닛(704) 상의 제4 제스처를 검출하고, 제4 제스처의 검출에 응답하여 (예를 들어, 수행 유닛(722)을 이용하여) 사용자 인터페이스 객체들의 제2 세트 내의 제2 사용자 인터페이스 객체에 대응하는 제2 사전 정의된 동작을 수행하도록 구성된다.
일부 실시예들에서, 처리 유닛(706)은 제한 상호작용 모드에 있는 동안에 (예로서, 검출 유닛(728)을 이용하여) 사전 정의된 사용자 입력을 검출하고, 사전 정의된 사용자 입력의 검출에 응답하여 (예를 들어, 디스플레이 인에이블링 유닛(716)을 이용하여) 디스플레이 유닛(702) 상의 제한 상호작용 모드 종료 스크린의 표시를 가능하게 하고, 제한 상호작용 모드 종료 스크린의 표시를 가능하게 하는 동안에 (예를 들어, 검출 유닛(728)을 이용하여) 하나 이상의 입력들을 검출하고, (예를 들어, 결정 유닛(708)을 이용하여) 검출된 하나 이상의 입력들이 제한 상호작용 모드를 종료하기 위한 사전 정의된 입력과 매칭되는지를 결정하고, 검출된 하나 이상의 입력들이 제한 상호작용 모드를 종료하기 위한 사전 정의된 입력과 매칭되지 않는다는 결정에 따라 (예를 들어, 디스플레이 중지 유닛(724)을 이용하여) 디스플레이 유닛(702) 상에 제한 상호작용 모드 종료 스크린의 표시를 중지하도록 구성된다.
일부 실시예들에서, 사용자 인터페이스 객체들의 제1 세트 및 사용자 인터페이스 객체들의 제2 세트를 식별하는 정보는 (예를 들어, 저장 유닛(726)을 이용하여) 개별 프로파일에 저장되며, 개별 프로파일은 각각의 사용자에 대해 구성된다.
일부 실시예들에서, 각각의 제스처 입력은 개방 경로 제스처이다.
전술한 정보 처리 방법들의 동작들은 범용 프로세서들 또는 주문형 칩들과 같은 정보 처리 장치에서 하나 이상의 기능 모듈들을 실행함으로써 구현될 수 있다. 이들 모듈들, 이들 모듈들의 조합들 및/또는 이들과 (예를 들어, 도 1a 및 3과 관련하여 전술한 바와 같은) 범용 하드웨어의 조합은 모두 본 발명의 보호 범위 내에 포함된다.
도 6a-6d와 관련하여 전술한 동작들은 도 1a-1b에 도시된 컴포넌트들에 의해 구현될 수 있다. 예를 들어, 검출 동작(602), 상호작용 구성 모드 진입 동작(604) 및 표시 동작(606)은 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현될 수 있다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감지 디스플레이(112) 상의 접촉을 감지하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)으로 보낸다. 애플리케이션(136-1)의 각각의 이벤트 인식기(180)는 이벤트 정보를 각각의 이벤트 정의들(186)과 비교하고, 터치 감지 표면 상의 제1 위치에서의 제1 접촉(또는 장치의 회전)이 사용자 인터페이스 상의 객체의 선택 또는 하나의 배향에서 다른 배향으로의 장치의 회전과 같은 사전 정의된 이벤트 또는 서브이벤트에 대응하는지를 결정한다. 각각의 사전 정의된 이벤트 또는 서브이벤트가 검출될 때, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 관련된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 데이터 갱신기(176) 또는 객체 갱신기(177)를 이용하거나 호출하여 애플리케이션 내부 상태(192)를 갱신할 수 있다. 일부 실시예들에서, 이벤트 핸들러(190)는 각각의 GUI 갱신기(178)에 액세스하여 애플리케이션에 의해 표시되는 것을 갱신한다. 유사하게, 이 분야의 통상의 기술자에게는 도 1a-1b에 도시된 컴포넌트들에 기초하여 어떻게 다른 프로세스들이 구현될 수 있는지가 명확할 것이다.
설명의 목적을 위해 위의 설명은 특정 실시예들을 참조하여 설명되었다. 그러나, 위의 예시적인 설명들은 포괄적인 것을 의도하지 않거나 본 발명을 개시된 바로 그 형태들로 한정하는 것을 의도하지 않는다. 위의 가르침에 비추어 많은 변경 및 변형이 가능하다. 실시예들은 본 발명의 원리들 및 그 실제 응용들을 가장 잘 설명함으로써 이 분야의 다른 기술자들이 고려되는 특정 용도에 적합한 바와 같은 다양한 변경들과 더불어 본 발명 및 다양한 실시예들을 최상으로 이용할 수 있게 하기 위해 선택되고 설명되었다.

Claims (21)

  1. 전자 장치로서,
    디스플레이;
    터치 감지 표면;
    하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들
    을 포함하고,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    비제한 상호작용 모드(unrestricted interaction mode)에 있는 동안, 제1 입력을 검출하고;
    상기 제1 입력의 검출에 응답하여, 상기 비제한 상호작용 모드와 다른 상호작용 구성 모드에 들어가고;
    상기 상호작용 구성 모드에 있는 동안:
    복수의 사용자 인터페이스 객체를 포함하는 제1 사용자 인터페이스를 상기 디스플레이 상에 표시하고;
    상기 제1 사용자 인터페이스를 표시하는 동안, 상기 터치 감지 표면 상에서 하나 이상의 제스처 입력들을 검출하고;
    상기 터치 감지 표면 상에서 검출된 각각의 제스처 입력에 대해, 상기 복수의 사용자 인터페이스 객체 중 하나 이상의 사용자 인터페이스 객체들이 상기 각각의 제스처 입력에 대응하는지를 결정하고;
    상기 검출된 하나 이상의 제스처 입력들에 대응하는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제1 세트와, 상기 검출된 하나 이상의 제스처 입력들에 대응하지 않는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제2 세트를 시각적으로 구별하고;
    상기 제1 사용자 인터페이스를 상기 디스플레이 상에 디스플레이하는 동안 제2 입력을 검출하며;
    상기 제1 사용자 인터페이스를 상기 디스플레이 상에 디스플레이하는 동안 상기 제2 입력을 검출한 것에 응답하여, 상기 상호작용 구성 모드를 종료하고, 상기 비제한 상호작용 모드와 다른 제한 상호작용 모드(restricted interaction mode)에 들어가기 위한
    명령어들을 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 상호작용 구성 모드에서의 상기 제1 사용자 인터페이스는 상기 제1 입력의 검출 직전에 상기 비제한 상호작용 모드에서 표시된 사용자 인터페이스를 포함하고,
    상기 제1 입력의 검출 직전에 상기 비제한 상호작용 모드에서 표시된 상기 사용자 인터페이스는 상기 복수의 사용자 인터페이스 객체를 포함하는 전자 장치.
  3. 제1항에 있어서,
    상기 상호작용 구성 모드에서 표시된 상기 제1 사용자 인터페이스는,
    선택될 때, 상기 전자 장치로 하여금, 상기 제한 상호작용 모드에 있는 동안에 상기 터치 감지 표면 상의 터치 입력들을 무시하게 하는 터치 상호작용 제어 사용자 인터페이스 객체;
    선택될 때, 상기 전자 장치로 하여금, 상기 제한 상호작용 모드에 있는 동안에 상기 전자 장치의 회전을 무시하게 하는 회전 상호작용 제어 사용자 인터페이스 객체;
    선택될 때, 상기 전자 장치로 하여금, 상기 제한 상호작용 모드에 있는 동안에 상기 전자 장치의 흔들림(shaking)을 무시하게 하는 흔들림 상호작용 제어 사용자 인터페이스 객체; 및
    선택될 때, 상기 전자 장치로 하여금, 상기 제한 상호작용 모드에 있는 동안에 상기 전자 장치의 움직임(movement)을 무시하게 하는 운동(motion) 상호작용 제어 사용자 인터페이스 객체
    중 적어도 하나를 포함하는 전자 장치.
  4. 제1항에 있어서,
    상기 하나 이상의 프로그램들은,
    상기 제한 상호작용 모드에서 사용자 인터페이스 객체들의 상기 제2 세트를 적어도 포함하는 제2 사용자 인터페이스로 상기 제1 사용자 인터페이스를 대체하고;
    상기 제한 상호작용 모드에 있는 동안:
    사용자 인터페이스 객체들의 상기 제1 세트 내의 사용자 인터페이스 객체에 대응하는 위치에서 상기 터치 감지 표면 상의 제1 제스처를 검출하며;
    상기 제1 제스처를 무시하기 위한
    명령어들을 포함하는 전자 장치.
  5. 제1항에 있어서,
    상기 하나 이상의 프로그램들은,
    상기 제한 상호작용 모드에 있는 동안:
    사용자 인터페이스 객체들의 상기 제2 세트 내의 사용자 인터페이스 객체에 대응하는 위치에서 상기 터치 감지 표면 상의 제2 제스처를 검출하며;
    상기 제2 제스처의 검출에 응답하여, 사용자 인터페이스 객체들의 상기 제2 세트 내의 상기 사용자 인터페이스 객체에 대응하는 사전 정의된 동작을 수행하기 위한
    명령어들을 포함하는 전자 장치.
  6. 제1항에 있어서,
    상기 하나 이상의 프로그램들은,
    상기 제한 상호작용 모드를 종료하고;
    상기 비제한 상호작용 모드에 들어가고;
    상기 비제한 상호작용 모드에 있는 동안:
    사용자 인터페이스 객체들의 상기 제1 세트 내의 제1 사용자 인터페이스 객체에 대응하는 위치에서 상기 터치 감지 표면 상의 제3 제스처를 검출하고;
    상기 제3 제스처의 검출에 응답하여, 사용자 인터페이스 객체들의 상기 제1 세트 내의 상기 제1 사용자 인터페이스 객체에 대응하는 제1 사전 정의된 동작을 수행하고;
    사용자 인터페이스 객체들의 상기 제2 세트 내의 제2 사용자 인터페이스 객체에 대응하는 위치에서 상기 터치 감지 표면 상의 제4 제스처를 검출하며;
    상기 제4 제스처의 검출에 응답하여, 사용자 인터페이스 객체들의 상기 제2 세트 내의 상기 제2 사용자 인터페이스 객체에 대응하는 제2 사전 정의된 동작을 수행하기 위한
    명령어들을 포함하는 전자 장치.
  7. 제1항에 있어서,
    상기 하나 이상의 프로그램들은,
    상기 제한 상호작용 모드에 있는 동안:
    사전 정의된 사용자 입력을 검출하고;
    상기 사전 정의된 사용자 입력의 검출에 응답하여, 상기 디스플레이 상에 제한 상호작용 모드 종료 스크린을 표시하고;
    상기 제한 상호작용 모드 종료 스크린을 표시하는 동안에 하나 이상의 입력들을 검출하고;
    상기 검출된 하나 이상의 입력들이 상기 제한 상호작용 모드를 종료하기 위한 사전 정의된 입력과 매칭되는지를 결정하며;
    상기 검출된 하나 이상의 입력들이 상기 제한 상호작용 모드를 종료하기 위한 상기 사전 정의된 입력과 매칭되지 않는다는 결정에 따라, 상기 디스플레이 상에 상기 제한 상호작용 모드 종료 스크린을 표시하는 것을 중지하기 위한
    명령어들을 포함하는 전자 장치.
  8. 사용자 인터페이스와의 제한된 상호작용을 구성하기 위한 방법으로서,
    디스플레이 및 터치 감지 표면을 갖는 전자 장치에서,
    비제한 상호작용 모드에 있는 동안, 제1 입력을 검출하는 단계;
    상기 제1 입력의 검출에 응답하여, 상기 비제한 상호작용 모드와 다른 상호작용 구성 모드에 들어가는 단계;
    상기 상호작용 구성 모드에 있는 동안:
    복수의 사용자 인터페이스 객체를 포함하는 제1 사용자 인터페이스를 상기 디스플레이 상에 표시하는 단계;
    상기 제1 사용자 인터페이스를 표시하는 동안, 상기 터치 감지 표면 상에서 하나 이상의 제스처 입력들을 검출하는 단계;
    상기 터치 감지 표면 상에서 검출된 각각의 제스처 입력에 대해, 상기 복수의 사용자 인터페이스 객체 중 하나 이상의 사용자 인터페이스 객체들이 상기 각각의 제스처 입력에 대응하는지를 결정하는 단계;
    상기 검출된 하나 이상의 제스처 입력들에 대응하는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제1 세트와, 상기 검출된 하나 이상의 제스처 입력들에 대응하지 않는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제2 세트를 시각적으로 구별하는 단계;
    상기 제1 사용자 인터페이스를 상기 디스플레이 상에 디스플레이하는 동안 제2 입력을 검출하는 단계; 및
    상기 제1 사용자 인터페이스를 상기 디스플레이 상에 디스플레이하는 동안 상기 제2 입력을 검출한 것에 응답하여, 상기 상호작용 구성 모드를 종료하고, 상기 비제한 상호작용 모드와 다른 제한 상호작용 모드에 들어가는 단계
    를 포함하는 방법.
  9. 제8항에 있어서,
    상기 상호작용 구성 모드에서의 상기 제1 사용자 인터페이스는 상기 제1 입력의 검출 직전에 상기 비제한 상호작용 모드에서 표시된 사용자 인터페이스를 포함하고,
    상기 제1 입력의 검출 직전에 상기 비제한 상호작용 모드에서 표시된 상기 사용자 인터페이스는 상기 복수의 사용자 인터페이스 객체를 포함하는 방법.
  10. 제8항에 있어서,
    상기 상호작용 구성 모드에서 표시된 상기 제1 사용자 인터페이스는,
    선택될 때, 상기 전자 장치로 하여금, 상기 제한 상호작용 모드에 있는 동안에 상기 터치 감지 표면 상의 터치 입력들을 무시하게 하는 터치 상호작용 제어 사용자 인터페이스 객체;
    선택될 때, 상기 전자 장치로 하여금, 상기 제한 상호작용 모드에 있는 동안에 상기 전자 장치의 회전을 무시하게 하는 회전 상호작용 제어 사용자 인터페이스 객체;
    선택될 때, 상기 전자 장치로 하여금, 상기 제한 상호작용 모드에 있는 동안에 상기 전자 장치의 흔들림을 무시하게 하는 흔들림 상호작용 제어 사용자 인터페이스 객체; 및
    선택될 때, 상기 전자 장치로 하여금, 상기 제한 상호작용 모드에 있는 동안에 상기 전자 장치의 움직임을 무시하게 하는 운동 상호작용 제어 사용자 인터페이스 객체
    중 적어도 하나를 포함하는 방법.
  11. 제8항에 있어서,
    상기 제한 상호작용 모드에서 사용자 인터페이스 객체들의 상기 제2 세트를 적어도 포함하는 제2 사용자 인터페이스로 상기 제1 사용자 인터페이스를 대체하는 단계; 및
    상기 제한 상호작용 모드에 있는 동안:
    사용자 인터페이스 객체들의 상기 제1 세트 내의 사용자 인터페이스 객체에 대응하는 위치에서 상기 터치 감지 표면 상의 제1 제스처를 검출하는 단계; 및
    상기 제1 제스처를 무시하는 단계
    를 포함하는 방법.
  12. 제8항에 있어서,
    상기 제한 상호작용 모드에 있는 동안:
    사용자 인터페이스 객체들의 상기 제2 세트 내의 사용자 인터페이스 객체에 대응하는 위치에서 상기 터치 감지 표면 상의 제2 제스처를 검출하는 단계; 및
    상기 제2 제스처의 검출에 응답하여, 사용자 인터페이스 객체들의 상기 제2 세트 내의 상기 사용자 인터페이스 객체에 대응하는 사전 정의된 동작을 수행하는 단계
    를 포함하는 방법.
  13. 제8항에 있어서,
    상기 제한 상호작용 모드를 종료하는 단계;
    상기 비제한 상호작용 모드에 들어가는 단계;
    상기 비제한 상호작용 모드에 있는 동안:
    사용자 인터페이스 객체들의 상기 제1 세트 내의 제1 사용자 인터페이스 객체에 대응하는 위치에서 상기 터치 감지 표면 상의 제3 제스처를 검출하는 단계;
    상기 제3 제스처의 검출에 응답하여, 사용자 인터페이스 객체들의 상기 제1 세트 내의 상기 제1 사용자 인터페이스 객체에 대응하는 제1 사전 정의된 동작을 수행하는 단계;
    사용자 인터페이스 객체들의 상기 제2 세트 내의 제2 사용자 인터페이스 객체에 대응하는 위치에서 상기 터치 감지 표면 상의 제4 제스처를 검출하는 단계; 및
    상기 제4 제스처의 검출에 응답하여, 사용자 인터페이스 객체들의 상기 제2 세트 내의 상기 제2 사용자 인터페이스 객체에 대응하는 제2 사전 정의된 동작을 수행하는 단계
    를 포함하는 방법.
  14. 제8항에 있어서,
    상기 제한 상호작용 모드에 있는 동안:
    사전 정의된 사용자 입력을 검출하는 단계;
    상기 사전 정의된 사용자 입력의 검출에 응답하여, 상기 디스플레이 상에 제한 상호작용 모드 종료 스크린을 표시하는 단계;
    상기 제한 상호작용 모드 종료 스크린을 표시하는 동안에 하나 이상의 입력들을 검출하는 단계;
    상기 검출된 하나 이상의 입력들이 상기 제한 상호작용 모드를 종료하기 위한 사전 정의된 입력과 매칭되는지를 결정하는 단계; 및
    상기 검출된 하나 이상의 입력들이 상기 제한 상호작용 모드를 종료하기 위한 상기 사전 정의된 입력과 매칭되지 않는다는 결정에 따라, 상기 디스플레이 상에 상기 제한 상호작용 모드 종료 스크린을 표시하는 것을 중지하는 단계
    를 포함하는 방법.
  15. 하나 이상의 프로그램들을 저장하는 컴퓨터 판독 가능 저장 매체로서,
    상기 하나 이상의 프로그램들은,
    디스플레이 및 터치 감지 표면을 갖는 전자 장치에 의해 실행될 때, 상기 장치로 하여금,
    비제한 상호작용 모드에 있는 동안, 제1 입력을 검출하고;
    상기 제1 입력의 검출에 응답하여, 상기 비제한 상호작용 모드와 다른 상호작용 구성 모드에 들어가고;
    상기 상호작용 구성 모드에 있는 동안:
    복수의 사용자 인터페이스 객체를 포함하는 제1 사용자 인터페이스를 상기 디스플레이 상에 표시하고;
    상기 제1 사용자 인터페이스를 표시하는 동안, 상기 터치 감지 표면 상에서 하나 이상의 제스처 입력들을 검출하고;
    상기 터치 감지 표면 상에서 검출된 각각의 제스처 입력에 대해, 상기 복수의 사용자 인터페이스 객체 중 하나 이상의 사용자 인터페이스 객체들이 상기 각각의 제스처 입력에 대응하는지를 결정하고;
    상기 검출된 하나 이상의 제스처 입력들에 대응하는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제1 세트와, 상기 검출된 하나 이상의 제스처 입력들에 대응하지 않는 상기 복수의 사용자 인터페이스 객체 내의 사용자 인터페이스 객체들의 제2 세트를 시각적으로 구별하고;
    상기 제1 사용자 인터페이스를 상기 디스플레이 상에 디스플레이하는 동안 제2 입력을 검출하며;
    상기 제1 사용자 인터페이스를 상기 디스플레이 상에 디스플레이하는 동안 상기 제2 입력을 검출한 것에 응답하여, 상기 상호작용 구성 모드를 종료하고, 상기 비제한 상호작용 모드와 다른 제한 상호작용 모드에 들어가게 하는
    명령어들을 포함하는 컴퓨터 판독 가능 저장 매체.
  16. 제15항에 있어서,
    상기 상호작용 구성 모드에서의 상기 제1 사용자 인터페이스는 상기 제1 입력의 검출 직전에 상기 비제한 상호작용 모드에서 표시된 사용자 인터페이스를 포함하고,
    상기 제1 입력의 검출 직전에 상기 비제한 상호작용 모드에서 표시된 상기 사용자 인터페이스는 상기 복수의 사용자 인터페이스 객체를 포함하는 컴퓨터 판독 가능 저장 매체.
  17. 제15항에 있어서,
    상기 상호작용 구성 모드에서 표시된 상기 제1 사용자 인터페이스는,
    선택될 때, 상기 전자 장치로 하여금, 상기 제한 상호작용 모드에 있는 동안에 상기 터치 감지 표면 상의 터치 입력들을 무시하게 하는 터치 상호작용 제어 사용자 인터페이스 객체;
    선택될 때, 상기 전자 장치로 하여금, 상기 제한 상호작용 모드에 있는 동안에 상기 전자 장치의 회전을 무시하게 하는 회전 상호작용 제어 사용자 인터페이스 객체;
    선택될 때, 상기 전자 장치로 하여금, 상기 제한 상호작용 모드에 있는 동안에 상기 전자 장치의 흔들림을 무시하게 하는 흔들림 상호작용 제어 사용자 인터페이스 객체; 및
    선택될 때, 상기 전자 장치로 하여금, 상기 제한 상호작용 모드에 있는 동안에 상기 전자 장치의 움직임을 무시하게 하는 운동 상호작용 제어 사용자 인터페이스 객체
    중 적어도 하나를 포함하는 컴퓨터 판독 가능 저장 매체.
  18. 제15항에 있어서,
    상기 장치로 하여금,
    상기 제한 상호작용 모드에서 사용자 인터페이스 객체들의 상기 제2 세트를 적어도 포함하는 제2 사용자 인터페이스로 상기 제1 사용자 인터페이스를 대체하고;
    상기 제한 상호작용 모드에 있는 동안:
    사용자 인터페이스 객체들의 상기 제1 세트 내의 사용자 인터페이스 객체에 대응하는 위치에서 상기 터치 감지 표면 상의 제1 제스처를 검출하며;
    상기 제1 제스처를 무시하게 하는
    명령어들을 포함하는 컴퓨터 판독 가능 저장 매체.
  19. 제15항에 있어서,
    상기 장치로 하여금,
    상기 제한 상호작용 모드에 있는 동안:
    사용자 인터페이스 객체들의 상기 제2 세트 내의 사용자 인터페이스 객체에 대응하는 위치에서 상기 터치 감지 표면 상의 제2 제스처를 검출하며;
    상기 제2 제스처의 검출에 응답하여, 사용자 인터페이스 객체들의 상기 제2 세트 내의 상기 사용자 인터페이스 객체에 대응하는 사전 정의된 동작을 수행하게 하는
    명령어들을 포함하는 컴퓨터 판독 가능 저장 매체.
  20. 제15항에 있어서,
    상기 장치로 하여금,
    상기 제한 상호작용 모드를 종료하고;
    상기 비제한 상호작용 모드에 들어가고;
    상기 비제한 상호작용 모드에 있는 동안:
    사용자 인터페이스 객체들의 상기 제1 세트 내의 제1 사용자 인터페이스 객체에 대응하는 위치에서 상기 터치 감지 표면 상의 제3 제스처를 검출하며;
    상기 제3 제스처의 검출에 응답하여, 사용자 인터페이스 객체들의 상기 제1 세트 내의 상기 제1 사용자 인터페이스 객체에 대응하는 제1 사전 정의된 동작을 수행하고;
    사용자 인터페이스 객체들의 상기 제2 세트 내의 제2 사용자 인터페이스 객체에 대응하는 위치에서 상기 터치 감지 표면 상의 제4 제스처를 검출하며;
    상기 제4 제스처의 검출에 응답하여, 사용자 인터페이스 객체들의 상기 제2 세트 내의 상기 제2 사용자 인터페이스 객체에 대응하는 제2 사전 정의된 동작을 수행하게 하는
    명령어들을 포함하는 컴퓨터 판독 가능 저장 매체.
  21. 제15항에 있어서,
    상기 장치로 하여금,
    상기 제한 상호작용 모드에 있는 동안:
    사전 정의된 사용자 입력을 검출하고;
    상기 사전 정의된 사용자 입력의 검출에 응답하여, 상기 디스플레이 상에 제한 상호작용 모드 종료 스크린을 표시하고;
    상기 제한 상호작용 모드 종료 스크린을 표시하는 동안에 하나 이상의 입력들을 검출하고;
    상기 검출된 하나 이상의 입력들이 상기 제한 상호작용 모드를 종료하기 위한 사전 정의된 입력과 매칭되는지를 결정하며;
    상기 검출된 하나 이상의 입력들이 상기 제한 상호작용 모드를 종료하기 위한 상기 사전 정의된 입력과 매칭되지 않는다는 결정에 따라, 상기 디스플레이 상에 상기 제한 상호작용 모드 종료 스크린을 표시하는 것을 중지하게 하는
    명령어들을 포함하는 컴퓨터 판독 가능 저장 매체.
KR1020120133650A 2011-12-29 2012-11-23 사용자 인터페이스와의 제한된 상호작용을 구성하기 위한 장치, 방법 및 그래픽 사용자 인터페이스 KR101470088B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161581615P 2011-12-29 2011-12-29
US61/581,615 2011-12-29
US13/436,433 US8812994B2 (en) 2011-12-29 2012-03-30 Device, method, and graphical user interface for configuring restricted interaction with a user interface
US13/436,433 2012-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020140076290A Division KR101624791B1 (ko) 2011-12-29 2014-06-23 사용자 인터페이스와의 제한된 상호작용을 구성하기 위한 장치, 방법 및 그래픽 사용자 인터페이스

Publications (2)

Publication Number Publication Date
KR20130077773A KR20130077773A (ko) 2013-07-09
KR101470088B1 true KR101470088B1 (ko) 2014-12-05

Family

ID=47137552

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020120133650A KR101470088B1 (ko) 2011-12-29 2012-11-23 사용자 인터페이스와의 제한된 상호작용을 구성하기 위한 장치, 방법 및 그래픽 사용자 인터페이스
KR1020140076290A KR101624791B1 (ko) 2011-12-29 2014-06-23 사용자 인터페이스와의 제한된 상호작용을 구성하기 위한 장치, 방법 및 그래픽 사용자 인터페이스

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020140076290A KR101624791B1 (ko) 2011-12-29 2014-06-23 사용자 인터페이스와의 제한된 상호작용을 구성하기 위한 장치, 방법 및 그래픽 사용자 인터페이스

Country Status (6)

Country Link
US (2) US8812994B2 (ko)
EP (1) EP2610722B1 (ko)
JP (2) JP5829996B2 (ko)
KR (2) KR101470088B1 (ko)
CN (1) CN103218148B (ko)
AU (1) AU2012238304B2 (ko)

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10613817B2 (en) 2003-07-28 2020-04-07 Sonos, Inc. Method and apparatus for displaying a list of tracks scheduled for playback by a synchrony group
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US8086752B2 (en) 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US9374607B2 (en) * 2012-06-26 2016-06-21 Sonos, Inc. Media playback system with guest access
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
JP5596914B2 (ja) * 2008-09-16 2014-09-24 富士通株式会社 端末装置、表示制御方法、及び表示機能を備えたプログラム
JP5664103B2 (ja) * 2010-10-08 2015-02-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
KR101882339B1 (ko) 2011-08-30 2018-07-27 삼성전자주식회사 휴대단말기의 어플리케이션 관리장치 및 방법
KR101873744B1 (ko) * 2011-11-29 2018-07-03 엘지전자 주식회사 이동단말기 및 그 제어방법
US9292195B2 (en) 2011-12-29 2016-03-22 Apple Inc. Device, method, and graphical user interface for configuring and implementing restricted interactions for applications
US9372978B2 (en) 2012-01-20 2016-06-21 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
KR101963787B1 (ko) * 2012-07-09 2019-03-29 삼성전자주식회사 휴대 단말기의 부가 기능 운용 방법 및 장치
JP6086188B2 (ja) * 2012-09-04 2017-03-01 ソニー株式会社 音響効果調整装置および方法、並びにプログラム
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
US9270760B2 (en) * 2012-10-15 2016-02-23 Google Inc. Cross-platform child mode for applications
US9589538B2 (en) * 2012-10-17 2017-03-07 Perceptive Pixel, Inc. Controlling virtual objects
US9262523B2 (en) * 2012-10-29 2016-02-16 Adobe Systems Incorporated Enhancement of touch user experiences
US9575562B2 (en) * 2012-11-05 2017-02-21 Synaptics Incorporated User interface systems and methods for managing multiple regions
EP2741199B1 (en) * 2012-12-06 2020-08-05 Samsung Electronics Co., Ltd Application individual lock mechanism for a touch screen device
TW201426402A (zh) * 2012-12-25 2014-07-01 Askey Computer Corp 指環型遙控裝置及其放大縮小的控制方法、點選控制方法
US9836154B2 (en) * 2013-01-24 2017-12-05 Nook Digital, Llc Selective touch scan area and reporting techniques
KR102038467B1 (ko) * 2013-03-05 2019-10-30 삼성전자주식회사 암호 설정 방법 및 장치와, 락 해제 방법 및 장치
US9164674B2 (en) * 2013-03-28 2015-10-20 Stmicroelectronics Asia Pacific Pte Ltd Three-dimensional gesture recognition system, circuit, and method for a touch screen
TWI520034B (zh) * 2013-04-29 2016-02-01 緯創資通股份有限公司 判斷觸控手勢之方法及觸控系統
US9065861B2 (en) * 2013-05-07 2015-06-23 Brandon M. Singer Method of interacting with social media post using mobile electronic device
US20140375572A1 (en) * 2013-06-20 2014-12-25 Microsoft Corporation Parametric motion curves and manipulable content
KR101474467B1 (ko) * 2013-07-09 2014-12-19 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US9671944B2 (en) * 2013-07-12 2017-06-06 Microsoft Technology Licensing, Llc Inclusion/exclusion user interface controls for range filters
US9426605B2 (en) * 2013-10-10 2016-08-23 Yahoo! Inc. Cross device information exchange using gestures and locations
US20150127505A1 (en) * 2013-10-11 2015-05-07 Capital One Financial Corporation System and method for generating and transforming data presentation
US20150121546A1 (en) * 2013-10-25 2015-04-30 Tracfone Wireless, Inc. Device and Process for Restricting Access to Features on Electronic Devices Based on the Size of the Surface Area of the Finger and Other Factors
KR20150057100A (ko) * 2013-11-18 2015-05-28 삼성전자주식회사 3d 객체 편집을 위한 전자 장치 및 방법
US9405759B2 (en) * 2013-11-20 2016-08-02 Lenovo (Beijing) Co., Ltd. Information processing method and electronic device
CN103593122B (zh) * 2013-11-20 2017-07-25 联想(北京)有限公司 一种信息处理方法和电子设备
CN103631495B (zh) * 2013-11-25 2017-03-22 联想(北京)有限公司 信息处理方法和电子设备
CN108089807B (zh) * 2013-11-25 2020-08-25 联想(北京)有限公司 信息处理方法和电子设备
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
CN103905640A (zh) * 2014-03-12 2014-07-02 惠州Tcl移动通信有限公司 移动终端及其防止误拨的方法
US20150293681A1 (en) * 2014-04-09 2015-10-15 Google Inc. Methods, systems, and media for providing a media interface with multiple control interfaces
USD769275S1 (en) * 2014-04-30 2016-10-18 Tencent Technology (Shenzhen) Company Limited Portion of a display screen with graphical user interface
US10055567B2 (en) * 2014-05-30 2018-08-21 Apple Inc. Proximity unlock and lock operations for electronic devices
US10789642B2 (en) 2014-05-30 2020-09-29 Apple Inc. Family accounts for an online content storage sharing service
US10042547B2 (en) * 2014-06-17 2018-08-07 Vmware, Inc. User interface control based on pinch gestures
GB201413836D0 (en) 2014-08-05 2014-09-17 Arm Ip Ltd Device security apparatus and methods
CN106575230A (zh) * 2014-09-02 2017-04-19 苹果公司 用于可变触觉输出的语义框架
WO2016034026A1 (en) * 2014-09-02 2016-03-10 Spring Power Holdings Limited A human-computer interface device and system
US20160179355A1 (en) * 2014-12-23 2016-06-23 General Electric Company System and method for managing image scan parameters in medical imaging
US9875346B2 (en) * 2015-02-06 2018-01-23 Apple Inc. Setting and terminating restricted mode operation on electronic devices
CN110825304B (zh) * 2015-03-19 2023-04-21 华为技术有限公司 触摸事件处理方法、装置及终端设备
KR102317847B1 (ko) * 2015-04-28 2021-10-27 삼성전자주식회사 메시지 처리 방법 및 이를 지원하는 전자 장치
CN113268006A (zh) * 2015-04-29 2021-08-17 武汉振道世纪科技有限公司 一种广域测控物联网智能控制器
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
WO2017000138A1 (en) * 2015-06-29 2017-01-05 Orange Method for controlling the execution of a program configurable into a disabled state and enabled state
CN105025331A (zh) * 2015-07-22 2015-11-04 无锡天脉聚源传媒科技有限公司 一种控制视频播出的方法及装置
GB2540965B (en) * 2015-07-31 2019-01-30 Arm Ip Ltd Secure configuration data storage
GB2540961B (en) 2015-07-31 2019-09-18 Arm Ip Ltd Controlling configuration data storage
CN105160527A (zh) * 2015-08-31 2015-12-16 小米科技有限责任公司 移动支付方法及装置
US10101872B2 (en) * 2015-09-17 2018-10-16 Hewlett-Packard Development Company, L.P. Operating system events of a kiosk device
US10303422B1 (en) 2016-01-05 2019-05-28 Sonos, Inc. Multiple-device setup
US9679547B1 (en) 2016-04-04 2017-06-13 Disney Enterprises, Inc. Augmented reality music composition
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
JP6668972B2 (ja) * 2016-06-27 2020-03-18 富士ゼロックス株式会社 情報処理装置及びプログラム
EP3365756A1 (en) * 2016-09-06 2018-08-29 Apple Inc. Devices, methods, and graphical user interfaces for providing haptic feedback
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
CN106507201A (zh) * 2016-10-09 2017-03-15 乐视控股（北京）有限公司 一种视频播放控制方法及装置
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
EP3324270A1 (en) * 2016-11-16 2018-05-23 Thomson Licensing Selection of an object in an augmented reality environment
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
CN109218275B (zh) * 2017-07-07 2021-09-21 北京小米移动软件有限公司 应用交互方法及装置
EP3627322A4 (en) 2017-06-14 2020-04-29 Beijing Xiaomi Mobile Software Co., Ltd. APPLICATION INTERACTION METHOD, INTERACTION METHOD AND DEVICE
CN107480502A (zh) * 2017-09-07 2017-12-15 广东欧珀移动通信有限公司 指纹识别方法、装置、移动终端及存储介质
CN110045825B (zh) * 2018-03-27 2022-05-13 杭州凌感科技有限公司 用于车辆交互控制的手势识别系统
US10558546B2 (en) 2018-05-08 2020-02-11 Apple Inc. User interfaces for controlling or presenting device usage on an electronic device
WO2020247281A1 (en) 2019-06-01 2020-12-10 Apple Inc. User interfaces for managing contacts on another electronic device
USD947219S1 (en) * 2019-09-12 2022-03-29 Lenovo (Beijing) Co., Ltd. Display screen or portion thereof with graphical user interface
USD976268S1 (en) * 2019-10-10 2023-01-24 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
CN114697686B (zh) * 2020-12-25 2023-11-21 北京达佳互联信息技术有限公司 一种线上互动方法、装置、服务器及存储介质
US11960615B2 (en) 2021-06-06 2024-04-16 Apple Inc. Methods and user interfaces for voice-based user profile management
KR102575821B1 (ko) * 2021-11-15 2023-09-06 동서대학교 산학협력단 이메일소프트웨어구동 디지털액터 운용시스템
CN115202530B (zh) * 2022-05-26 2024-04-09 当趣网络科技(杭州)有限公司 一种用户界面的手势交互方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090064055A1 (en) * 2007-09-04 2009-03-05 Apple Inc. Application Menu User Interface

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06149525A (ja) 1992-10-30 1994-05-27 Oki Electric Ind Co Ltd 表示制御方法
US5550968A (en) 1994-04-12 1996-08-27 International Business Machines Corporation Method and system for providing access security to controls in a graphical user interface
JP2001005599A (ja) 1999-06-22 2001-01-12 Sharp Corp 情報処理装置及び情報処理方法並びに情報処理プログラムを記録した記録媒体
WO2001075597A2 (en) 2000-03-31 2001-10-11 Sun Microsystems, Inc. Efficient user interface for setting application program user preferences
JP2001356878A (ja) 2000-06-14 2001-12-26 Hitachi Ltd アイコン制御方法
KR100697416B1 (ko) 2003-09-30 2007-03-20 교세라 가부시키가이샤 모바일 통신 단말기, 정보 제공 시스템 및 프로그램을기록한 컴퓨터 판독가능한 기록 매체
JP2005276120A (ja) * 2004-03-26 2005-10-06 Fujitsu Component Ltd タッチパネル入力装置及びその入力制御システム
US20060140200A1 (en) 2004-11-24 2006-06-29 Black Jeffery D User-controlled telecommunications system
US20060136829A1 (en) * 2004-12-09 2006-06-22 Microsoft Corporation Customizable user interface for exposing customized application functionality sets
US20060155546A1 (en) * 2005-01-11 2006-07-13 Gupta Anurag K Method and system for controlling input modalities in a multimodal dialog system
US20070024646A1 (en) * 2005-05-23 2007-02-01 Kalle Saarinen Portable electronic apparatus and associated method
US20080020803A1 (en) * 2006-07-18 2008-01-24 Motorola, Inc. Methods and devices for restricting access to mobile communication device functionality
US7865837B1 (en) * 2006-07-28 2011-01-04 Intuit Inc. User interface including an element for selecting customization or help screens
US8098798B2 (en) 2006-10-31 2012-01-17 Alcatel Lucent Logging call data for failed emergency calls
US7860489B2 (en) 2007-03-26 2010-12-28 Research In Motion Limited System and method for providing a user interface for managing calls received at a mobile device
US20080254767A1 (en) * 2007-04-10 2008-10-16 Sharp Laboratories Of America, Inc. System and method for limiting access to features in a mobile telecommunications device
EP2166434A4 (en) 2007-07-04 2011-08-03 Sony Corp INPUT DEVICE, CONTROL DEVICE, CONTROL SYSTEM, CONTROL METHOD, AND PORTABLE DEVICE
US8130206B2 (en) * 2007-10-09 2012-03-06 Nokia Corporation Apparatus, method, computer program and user interface for enabling a touch sensitive display
JP2009110378A (ja) 2007-10-31 2009-05-21 Fuji Xerox Co Ltd 表示装置、画像形成装置、情報処理装置、情報処理システム及びプログラム
JP2009140018A (ja) * 2007-12-03 2009-06-25 Canon Inc 情報処理システム及びその処理方法、装置及びプログラム
US20090172576A1 (en) * 2007-12-28 2009-07-02 Nixon Cheaz Method and System for Enabling and Disabling Features of a Computer Application Using a Preview Mode Within a Graphical User Interface
JP5383053B2 (ja) * 2008-01-29 2014-01-08 京セラ株式会社 表示機能付き端末装置
JP5243115B2 (ja) * 2008-06-27 2013-07-24 京セラ株式会社 携帯端末および携帯端末制御プログラム
KR101517967B1 (ko) * 2008-07-07 2015-05-06 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US8115609B2 (en) * 2008-07-22 2012-02-14 Nissaf Ketari Multi function bluetooth apparatus
WO2010044151A1 (ja) 2008-10-15 2010-04-22 富士通株式会社 選択入力受付プログラム、情報処理装置および選択入力受付方法
JP2010211631A (ja) * 2009-03-11 2010-09-24 Toshiba Tec Corp 情報処理装置
US8261361B2 (en) * 2009-03-11 2012-09-04 Microsoft Corporation Enabling sharing of mobile communication device
US9250788B2 (en) 2009-03-18 2016-02-02 IdentifyMine, Inc. Gesture handlers of a gesture engine
US9413831B2 (en) * 2009-04-15 2016-08-09 Wyse Technology L.L.C. Method and apparatus for authentication of a remote session
KR20100123108A (ko) * 2009-05-14 2010-11-24 삼성전자주식회사 휴대 단말기의 아이콘 위치 이동 운용 방법 및 이를 지원하는 휴대 단말기
KR101564222B1 (ko) * 2009-05-26 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
JP5268812B2 (ja) * 2009-07-22 2013-08-21 京セラドキュメントソリューションズ株式会社 コンピュータプログラム
US9563350B2 (en) * 2009-08-11 2017-02-07 Lg Electronics Inc. Mobile terminal and method for controlling the same
US8442600B1 (en) * 2009-12-02 2013-05-14 Google Inc. Mobile electronic device wrapped in electronic display
US20110252376A1 (en) * 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Concurrently Open Software Applications
WO2011130839A1 (en) * 2010-04-23 2011-10-27 Jonathan Seliger System and method for internet meta-browser for users with disabilities
US9081973B2 (en) * 2010-04-23 2015-07-14 Psion Inc. Restricting user access on shared computer
JP4950321B2 (ja) * 2010-04-26 2012-06-13 京セラ株式会社 文字入力装置、文字入力方法および文字入力プログラム
KR101673925B1 (ko) * 2010-05-26 2016-11-09 삼성전자주식회사 터치 락 상태를 가지는 단말기 및 이의 운용 방법
JP5640467B2 (ja) * 2010-06-01 2014-12-17 ソニー株式会社 表示方法および情報処理装置
KR101684970B1 (ko) * 2010-08-18 2016-12-09 엘지전자 주식회사 이동단말기 및 그 제어방법
JP5388994B2 (ja) 2010-11-19 2014-01-15 キヤノン株式会社 印刷装置及びその制御方法、プログラム
KR101788048B1 (ko) * 2010-12-02 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8699998B2 (en) 2011-08-10 2014-04-15 Qualcomm Incorporated Controlling text messages on a mobile device
US8855723B2 (en) 2011-09-25 2014-10-07 Peter J. Lynch, III Temporal incoming communication notification management
KR101853856B1 (ko) * 2011-10-04 2018-05-04 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP5762944B2 (ja) * 2011-12-28 2015-08-12 京セラ株式会社 装置、方法、及びプログラム
US9094534B2 (en) 2011-12-29 2015-07-28 Apple Inc. Device, method, and graphical user interface for configuring and implementing restricted interactions with a user interface
US9292195B2 (en) 2011-12-29 2016-03-22 Apple Inc. Device, method, and graphical user interface for configuring and implementing restricted interactions for applications

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090064055A1 (en) * 2007-09-04 2009-03-05 Apple Inc. Application Menu User Interface

Also Published As

Publication number Publication date
US20130174100A1 (en) 2013-07-04
JP2013140561A (ja) 2013-07-18
CN103218148B (zh) 2017-04-05
CN103218148A (zh) 2013-07-24
KR20130077773A (ko) 2013-07-09
AU2012238304A1 (en) 2013-07-18
AU2012238304B2 (en) 2015-01-22
KR101624791B1 (ko) 2016-05-26
KR20140094489A (ko) 2014-07-30
EP2610722B1 (en) 2019-01-02
US9703450B2 (en) 2017-07-11
JP6336425B2 (ja) 2018-06-06
US20150153911A1 (en) 2015-06-04
JP2016048563A (ja) 2016-04-07
US8812994B2 (en) 2014-08-19
JP5829996B2 (ja) 2015-12-09
EP2610722A2 (en) 2013-07-03
EP2610722A3 (en) 2015-09-02

Similar Documents

Publication Publication Date Title
KR101624791B1 (ko) 사용자 인터페이스와의 제한된 상호작용을 구성하기 위한 장치, 방법 및 그래픽 사용자 인터페이스
US11947792B2 (en) Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input
US10209879B2 (en) Device, method, and graphical user interface for configuring and implementing restricted interactions for applications
JP6190902B2 (ja) 物理的なタッチ機能のないタッチユーザインタフェースを制御するためのデバイス、方法及びグラフィカルユーザインタフェース
US9626098B2 (en) Device, method, and graphical user interface for copying formatting attributes
US9094534B2 (en) Device, method, and graphical user interface for configuring and implementing restricted interactions with a user interface
EP2357556A1 (en) Automatically displaying and hiding an on-screen keyboard
KR20140026218A (ko) 콘텐츠 관찰 및 텍스트 엔트리 인터페이스들의 크기를 조절하기 위한 장치, 방법 및 그래픽 사용자 인터페이스
US20240201842A1 (en) Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input
AU2015202073B2 (en) Device, method, and graphical user interface for configuring restricted interaction with a user interface
WO2014158630A1 (en) Device, method, and graphical user interface for configuring and implementing restricted interactions for applications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171027

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191029

Year of fee payment: 6