KR102275853B1 - 제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스들 - Google Patents

제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스들 Download PDF

Info

Publication number
KR102275853B1
KR102275853B1 KR1020207031319A KR20207031319A KR102275853B1 KR 102275853 B1 KR102275853 B1 KR 102275853B1 KR 1020207031319 A KR1020207031319 A KR 1020207031319A KR 20207031319 A KR20207031319 A KR 20207031319A KR 102275853 B1 KR102275853 B1 KR 102275853B1
Authority
KR
South Korea
Prior art keywords
controllable external
audio
external device
affordance
detecting
Prior art date
Application number
KR1020207031319A
Other languages
English (en)
Other versions
KR20200138796A (ko
Inventor
타일러 지. 캐리건
패트릭 엘. 코프만
엘리자베스 캐롤라인 크란필
크리스토퍼 패트릭 포스
데이비드 챈스 그레이엄
티파니 에스. 존
앤드류 승현 김
로렌 케이. 트로티어
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Priority to KR1020217021047A priority Critical patent/KR102353685B1/ko
Publication of KR20200138796A publication Critical patent/KR20200138796A/ko
Application granted granted Critical
Publication of KR102275853B1 publication Critical patent/KR102275853B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4411—Configuring for operating with peripheral devices; Loading of device drivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2809—Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2812—Exchanging configuration information on appliance services in a home automation network describing content present in a home automation network, e.g. audio video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2814—Exchanging control software or macros for controlling appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

디스플레이 디바이스, 통신 디바이스, 하나 이상의 프로세서들, 및 메모리를 갖는 전자 디바이스는 제1 제어가능한 외부 디바이스의 제1 표현을 디스플레이하는데, 여기서 제1 제어가능한 외부 디바이스는 일정 위치에 위치된다. 디바이스는 제1 제어가능한 외부 디바이스의 제1 표현의 선택에 대응하는 제1 입력을 검출한다. 제1 입력을 검출하는 것에 응답하여, 디바이스는, 제1 제어가능한 외부 디바이스가 제1 유형의 것이면, 통신 디바이스를 사용하여, 일정 기능을 수행하라는 지시사항들을 제1 제어가능한 외부 디바이스에 전송하거나, 또는 디스플레이 디바이스를 사용하여, 제1 제어가능한 외부 디바이스의 특성들을 제어하기 위한 사용자 인터페이스를 디스플레이한다.

Description

제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스들
관련 출원의 상호 참조
본 출원은 2019년 5월 31일자로 출원되고 발명의 명칭이 "USER INTERFACES FOR MANAGING CONTROLLABLE EXTERNAL DEVICES"인 미국 가특허 출원 제62/855,895호; 2019년 9월 26일자로 출원되고 발명의 명칭이 "USER INTERFACES FOR MANAGING CONTROLLABLE EXTERNAL DEVICES"인 미국 특허 출원 제16/584,743호; 및 2019년 9월 27일자로 출원되고 발명의 명칭이 "USER INTERFACES FOR MANAGING CONTROLLABLE EXTERNAL DEVICES"인 미국 특허 출원 제16/586,002호의 우선권을 주장하고, 이들 각각은 모든 목적들을 위해 전체적으로 본 명세서에 참고로 포함된다.
기술분야
본 발명은 대체적으로 컴퓨터 사용자 인터페이스들에 관한 것으로, 더 상세하게는 제어가능한 외부 디바이스들을 관리하기 위한 기법들에 관한 것이다.
와이파이-인에이블드 조명(WiFi-enabled light)들, 전력 콘센트(power outlet)들, 온도조절기들, 및 가전 기기들을 포함하는 제어가능(예컨대, 원격 제어가능) 전자 디바이스들은 사용자들에게 기능성 및 편의성의 조합을 제공한다. 제어가능한 전자 디바이스들은 컴퓨터 인터페이스들을 사용하여 관리될 수 있다.
그러나, 전자 디바이스들을 사용하여, 제어가능한 외부 디바이스들을 관리하기 위한 일부 기법들은 대체적으로 번거롭고 비효율적이다. 예를 들어, 일부 기존의 기법들은 복잡하고 시간 소모적인 사용자 인터페이스를 사용하는데, 이는 다수의 키 누르기들, 키스트로크(keystroke)들, 및/또는 터치 입력들을 포함할 수 있다. 다른 예로서, 일부 기존의 기법들은 다양한 제어가능한 디바이스들의 상태 및 기능들에 대한 광범위한 기능 또는 충분한 피드백을 수용하지 못한다. 결과적으로, 기존의 기법들은 제어가능한 외부 디바이스들을 관리하기 위해 필요한 것보다 더 많은 시간을 필요로 하여, 사용자 시간 및 디바이스 에너지를 낭비한다. 이러한 후자의 고려사항은 배터리-작동형 디바이스들에서 특히 중요하다.
따라서, 본 기법은 제어가능한 외부 디바이스들을 관리하기 위한 더 빠르고 더 효율적인 방법들 및 인터페이스들을 갖는 전자 디바이스들을 제공한다. 그러한 방법들 및 인터페이스들은 선택적으로 제어가능한 외부 디바이스들을 관리하기 위한 다른 방법들을 보완하거나 대체한다. 그러한 방법들 및 인터페이스들은 사용자에 대한 인지적 부담을 감소시키고 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 그러한 방법들 및 인터페이스들은 전력을 절약하고 배터리 충전들 사이의 시간을 증가시킨다. 일부 실시예들에서, 각각의 제어가능한 외부 디바이스를 관리하기 위한 상이한 애플리케이션을 갖는 대신에 제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스를 갖는 것은 사용자 경험을 단순화하고, 따라서 제어가능한 외부 디바이스들을 관리하는 데 필요한 불필요한/관련 없는/반복적인 수신 입력들을 감소시킨다.
일부 실시예들에 따라, 방법이 설명된다. 본 방법은, 디스플레이 디바이스 및 통신 디바이스를 갖는 전자 디바이스에서, 상기 디스플레이 디바이스 상에, 제1 제어가능한 외부 디바이스와 연관된 제1 액세서리 어포던스를 포함하는 사용자 인터페이스를 디스플레이하는 단계; 상기 제1 액세서리 어포던스의 선택에 대응하는 제1 입력을 검출하는 단계; 및 상기 제1 입력을 검출하는 것에 응답하여: 한 세트의 커맨드 전송 기준들이 충족되었다는 결정에 따라, 상기 통신 디바이스를 통해, 제1 기능을 수행하라는 커맨드를 상기 제1 제어가능한 외부 디바이스에 전송하고; 상기 한 세트의 커맨드 전송 기준들이 충족되지 않는다는 결정에 따라, 상기 디스플레이 디바이스 상에, 제1 액세서리 인터페이스를 디스플레이하는 단계를 포함하고, 상기 제1 액세서리 인터페이스는, 선택될 때, 상기 제1 기능을 수행하라는 커맨드를 상기 제1 제어가능한 외부 디바이스에 전송하는 제1 제어 어포던스; 및 선택될 때, 상기 제1 기능과 상이한 제2 기능을 수행하라는 커맨드를 상기 제1 제어가능한 외부 디바이스에 전송하는 제2 제어 어포던스를 포함한다.
일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체가 설명된다. 비일시적 컴퓨터 판독가능 저장 매체는 디스플레이 디바이스 및 통신 디바이스를 갖는 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하고, 상기 하나 이상의 프로그램들은, 상기 디스플레이 디바이스 상에, 제1 제어가능한 외부 디바이스와 연관된 제1 액세서리 어포던스를 포함하는 사용자 인터페이스를 디스플레이하기 위한; 상기 제1 액세서리 어포던스의 선택에 대응하는 제1 입력을 검출하기 위한; 그리고 상기 제1 입력을 검출하는 것에 응답하여: 한 세트의 커맨드 전송 기준들이 충족되었다는 결정에 따라, 상기 통신 디바이스를 통해, 제1 기능을 수행하라는 커맨드를 상기 제1 제어가능한 외부 디바이스에 전송하고; 상기 한 세트의 커맨드 전송 기준들이 충족되지 않는다는 결정에 따라, 상기 디스플레이 디바이스 상에, 제1 액세서리 인터페이스를 디스플레이하기 위한 명령어들을 포함하고, 상기 제1 액세서리 인터페이스는, 선택될 때, 상기 제1 기능을 수행하라는 커맨드를 상기 제1 제어가능한 외부 디바이스에 전송하는 제1 제어 어포던스; 및 선택될 때, 상기 제1 기능과 상이한 제2 기능을 수행하라는 커맨드를 상기 제1 제어가능한 외부 디바이스에 전송하는 제2 제어 어포던스를 포함한다.
일부 실시예들에 따르면, 일시적 컴퓨터 판독가능 저장 매체가 설명된다. 일시적 컴퓨터 판독가능 저장 매체는 디스플레이 디바이스 및 통신 디바이스를 갖는 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하고, 상기 하나 이상의 프로그램들은, 상기 디스플레이 디바이스 상에, 제1 제어가능한 외부 디바이스와 연관된 제1 액세서리 어포던스를 포함하는 사용자 인터페이스를 디스플레이하기 위한; 상기 제1 액세서리 어포던스의 선택에 대응하는 제1 입력을 검출하기 위한; 그리고 상기 제1 입력을 검출하는 것에 응답하여: 한 세트의 커맨드 전송 기준들이 충족되었다는 결정에 따라, 상기 통신 디바이스를 통해, 제1 기능을 수행하라는 커맨드를 상기 제1 제어가능한 외부 디바이스에 전송하고; 상기 한 세트의 커맨드 전송 기준들이 충족되지 않는다는 결정에 따라, 상기 디스플레이 디바이스 상에, 제1 액세서리 인터페이스를 디스플레이하기 위한 명령어들을 포함하고, 상기 제1 액세서리 인터페이스는, 선택될 때, 상기 제1 기능을 수행하라는 커맨드를 상기 제1 제어가능한 외부 디바이스에 전송하는 제1 제어 어포던스; 및 선택될 때, 상기 제1 기능과 상이한 제2 기능을 수행하라는 커맨드를 상기 제1 제어가능한 외부 디바이스에 전송하는 제2 제어 어포던스를 포함한다.
일부 실시예들에 따르면, 전자 디바이스가 설명된다. 전자 디바이스는, 디스플레이 디바이스 및 통신 디바이스; 하나 이상의 프로세서들; 및 상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은, 상기 디스플레이 디바이스 상에, 제1 제어가능한 외부 디바이스와 연관된 제1 액세서리 어포던스를 포함하는 사용자 인터페이스를 디스플레이하기 위한; 상기 제1 액세서리 어포던스의 선택에 대응하는 제1 입력을 검출하기 위한; 그리고 상기 제1 입력을 검출하는 것에 응답하여: 한 세트의 커맨드 전송 기준들이 충족되었다는 결정에 따라, 상기 통신 디바이스를 통해, 제1 기능을 수행하라는 커맨드를 상기 제1 제어가능한 외부 디바이스에 전송하고; 상기 한 세트의 커맨드 전송 기준들이 충족되지 않는다는 결정에 따라, 상기 디스플레이 디바이스 상에, 제1 액세서리 인터페이스를 디스플레이하기 위한 명령어들을 포함하고, 상기 제1 액세서리 인터페이스는, 선택될 때, 상기 제1 기능을 수행하라는 커맨드를 상기 제1 제어가능한 외부 디바이스에 전송하는 제1 제어 어포던스; 및 선택될 때, 상기 제1 기능과 상이한 제2 기능을 수행하라는 커맨드를 상기 제1 제어가능한 외부 디바이스에 전송하는 제2 제어 어포던스를 포함한다.
일부 실시예들에 따르면, 전자 디바이스가 설명된다. 전자 디바이스는, 디스플레이 디바이스 및 통신 디바이스; 상기 디스플레이 디바이스 상에, 제1 제어가능한 외부 디바이스와 연관된 제1 액세서리 어포던스를 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단; 상기 제1 액세서리 어포던스의 선택에 대응하는 제1 입력을 검출하기 위한 수단; 및 상기 제1 입력을 검출하는 것에 응답하여, 한 세트의 커맨드 전송 기준들이 충족되었다는 결정에 따라, 상기 통신 디바이스를 통해, 제1 기능을 수행하라는 커맨드를 상기 제1 제어가능한 외부 디바이스에 전송하고; 상기 한 세트의 커맨드 전송 기준들이 충족되지 않는다는 결정에 따라, 상기 디스플레이 디바이스 상에, 제1 액세서리 인터페이스를 디스플레이하기 위한 수단을 포함하고, 상기 제1 액세서리 인터페이스는, 선택될 때, 상기 제1 기능을 수행하라는 커맨드를 상기 제1 제어가능한 외부 디바이스에 전송하는 제1 제어 어포던스; 및 선택될 때, 상기 제1 기능과 상이한 제2 기능을 수행하라는 커맨드를 상기 제1 제어가능한 외부 디바이스에 전송하는 제2 제어 어포던스를 포함한다.
일부 실시예들에 따라, 방법이 설명된다. 본 방법은, 디스플레이 디바이스를 갖는 전자 디바이스에서, 상기 디스플레이 디바이스 상에, 제1 제어가능한 외부 디바이스와 연관된 제1 액세서리 어포던스를 포함하는 사용자 인터페이스를 디스플레이하는 단계; 상기 제1 액세서리 어포던스의 선택에 대응하는 제1 입력을 검출하는 단계; 상기 제1 입력을 검출하는 것에 응답하여, 상기 디스플레이 디바이스 상에, 선택될 때, 상기 제1 액세서리 인터페이스의 제2 영역을 디스플레이하지 않으면서, 상기 제1 제어가능한 외부 디바이스의 제1 기능을 제어하는 제1 제어 어포던스를 포함하는 상기 제1 액세서리 인터페이스의 제1 영역을 디스플레이하는 단계; 상기 디스플레이 디바이스 상에, 상기 제1 액세서리 인터페이스의 제1 영역을 디스플레이하는 동안, 제2 입력을 검출하는 단계; 및 상기 제2 입력을 검출하는 것에 응답하여: 상기 제2 입력이 임계량을 초과하는 상기 제2 영역의 일부분으로 하여금 디스플레이되게 한다는 결정에 따라, 상기 제1 영역의 디스플레이를 중지하는 동안, 상기 제1 액세서리 인터페이스의 상부 부분에 상기 제2 영역을 디스플레이하도록 상기 사용자 인터페이스의 디스플레이를 업데이트하고 - 상기 제2 영역은 상기 제1 제어가능한 외부 디바이스의 하나 이상의 설정들을 포함함 -; 상기 제2 입력이 상기 임계량을 초과하는 상기 제2 영역의 일부분으로 하여금 디스플레이되게 하지 않는다는 결정에 따라, 상기 제1 액세서리 인터페이스의 제2 영역을 디스플레이하지 않으면서, 상기 제2 입력에 기초하여 상기 제1 액세서리 인터페이스의 디스플레이를 상기 제1 액세서리 인터페이스의 제1 영역 내의 제2 제어 어포던스로 업데이트하는 단계를 포함한다.
일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체가 설명된다. 비일시적 컴퓨터 판독가능 저장 매체는 디스플레이 디바이스를 갖는 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하고, 상기 하나 이상의 프로그램들은, 상기 디스플레이 디바이스 상에, 제1 제어가능한 외부 디바이스와 연관된 제1 액세서리 어포던스를 포함하는 사용자 인터페이스를 디스플레이하기 위한; 상기 제1 액세서리 어포던스의 선택에 대응하는 제1 입력을 검출하기 위한; 상기 제1 입력을 검출하는 것에 응답하여, 상기 디스플레이 디바이스 상에, 선택될 때, 상기 제1 액세서리 인터페이스의 제2 영역을 디스플레이하지 않으면서, 상기 제1 제어가능한 외부 디바이스의 제1 기능을 제어하는 제1 제어 어포던스를 포함하는 상기 제1 액세서리 인터페이스의 제1 영역을 디스플레이하기 위한; 상기 디스플레이 디바이스 상에, 상기 제1 액세서리 인터페이스의 제1 영역을 디스플레이하는 동안, 제2 입력을 검출하기 위한; 그리고 상기 제2 입력을 검출하는 것에 응답하여: 상기 제2 입력이 임계량을 초과하는 상기 제2 영역의 일부분으로 하여금 디스플레이되게 한다는 결정에 따라, 상기 제1 영역의 디스플레이를 중지하는 동안, 상기 제1 액세서리 인터페이스의 상부 부분에 상기 제2 영역을 디스플레이하도록 상기 사용자 인터페이스의 디스플레이를 업데이트하고 - 상기 제2 영역은 상기 제1 제어가능한 외부 디바이스의 하나 이상의 설정들을 포함함 -; 상기 제2 입력이 상기 임계량을 초과하는 상기 제2 영역의 일부분으로 하여금 디스플레이되게 하지 않는다는 결정에 따라, 상기 제1 액세서리 인터페이스의 제2 영역을 디스플레이하지 않으면서, 상기 제2 입력에 기초하여 상기 제1 액세서리 인터페이스의 디스플레이를 상기 제1 액세서리 인터페이스의 제1 영역 내의 제2 제어 어포던스로 업데이트하기 위한 명령어들을 포함한다.
일부 실시예들에 따르면, 일시적 컴퓨터 판독가능 저장 매체가 설명된다. 일시적 컴퓨터 판독가능 저장 매체는 디스플레이 디바이스를 갖는 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하고, 상기 하나 이상의 프로그램들은, 상기 디스플레이 디바이스 상에, 제1 제어가능한 외부 디바이스와 연관된 제1 액세서리 어포던스를 포함하는 사용자 인터페이스를 디스플레이하기 위한; 상기 제1 액세서리 어포던스의 선택에 대응하는 제1 입력을 검출하기 위한; 상기 제1 입력을 검출하는 것에 응답하여, 상기 디스플레이 디바이스 상에, 선택될 때, 상기 제1 액세서리 인터페이스의 제2 영역을 디스플레이하지 않으면서, 상기 제1 제어가능한 외부 디바이스의 제1 기능을 제어하는 제1 제어 어포던스를 포함하는 상기 제1 액세서리 인터페이스의 제1 영역을 디스플레이하기 위한; 상기 디스플레이 디바이스 상에, 상기 제1 액세서리 인터페이스의 제1 영역을 디스플레이하는 동안, 제2 입력을 검출하기 위한; 그리고 상기 제2 입력을 검출하는 것에 응답하여: 상기 제2 입력이 임계량을 초과하는 상기 제2 영역의 일부분으로 하여금 디스플레이되게 한다는 결정에 따라, 상기 제1 영역의 디스플레이를 중지하는 동안, 상기 제1 액세서리 인터페이스의 상부 부분에 상기 제2 영역을 디스플레이하도록 상기 사용자 인터페이스의 디스플레이를 업데이트하고 - 상기 제2 영역은 상기 제1 제어가능한 외부 디바이스의 하나 이상의 설정들을 포함함 -; 상기 제2 입력이 상기 임계량을 초과하는 상기 제2 영역의 일부분으로 하여금 디스플레이되게 하지 않는다는 결정에 따라, 상기 제1 액세서리 인터페이스의 제2 영역을 디스플레이하지 않으면서, 상기 제2 입력에 기초하여 상기 제1 액세서리 인터페이스의 디스플레이를 상기 제1 액세서리 인터페이스의 제1 영역 내의 제2 제어 어포던스로 업데이트하기 위한 명령어들을 포함한다.
일부 실시예들에 따르면, 전자 디바이스가 설명된다. 전자 디바이스는, 디스플레이 디바이스; 하나 이상의 프로세서들; 및 상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은, 상기 디스플레이 디바이스 상에, 제1 제어가능한 외부 디바이스와 연관된 제1 액세서리 어포던스를 포함하는 사용자 인터페이스를 디스플레이하기 위한; 상기 제1 액세서리 어포던스의 선택에 대응하는 제1 입력을 검출하기 위한; 상기 제1 입력을 검출하는 것에 응답하여, 상기 디스플레이 디바이스 상에, 선택될 때, 상기 제1 액세서리 인터페이스의 제2 영역을 디스플레이하지 않으면서, 상기 제1 제어가능한 외부 디바이스의 제1 기능을 제어하는 제1 제어 어포던스를 포함하는 상기 제1 액세서리 인터페이스의 제1 영역을 디스플레이하기 위한; 상기 디스플레이 디바이스 상에, 상기 제1 액세서리 인터페이스의 제1 영역을 디스플레이하는 동안, 제2 입력을 검출하기 위한; 그리고 상기 제2 입력을 검출하는 것에 응답하여: 상기 제2 입력이 임계량을 초과하는 상기 제2 영역의 일부분으로 하여금 디스플레이되게 한다는 결정에 따라, 상기 제1 영역의 디스플레이를 중지하는 동안, 상기 제1 액세서리 인터페이스의 상부 부분에 상기 제2 영역을 디스플레이하도록 상기 사용자 인터페이스의 디스플레이를 업데이트하고 - 상기 제2 영역은 상기 제1 제어가능한 외부 디바이스의 하나 이상의 설정들을 포함함 -; 상기 제2 입력이 상기 임계량을 초과하는 상기 제2 영역의 일부분으로 하여금 디스플레이되게 하지 않는다는 결정에 따라, 상기 제1 액세서리 인터페이스의 제2 영역을 디스플레이하지 않으면서, 상기 제2 입력에 기초하여 상기 제1 액세서리 인터페이스의 디스플레이를 상기 제1 액세서리 인터페이스의 제1 영역 내의 제2 제어 어포던스로 업데이트하기 위한 명령어들을 포함한다.
일부 실시예들에 따르면, 전자 디바이스가 설명된다. 전자 디바이스는, 디스플레이 디바이스; 상기 디스플레이 디바이스 상에, 제1 제어가능한 외부 디바이스와 연관된 제1 액세서리 어포던스를 포함하는 사용자 인터페이스를 디스플레이하기 위한 수단; 상기 제1 액세서리 어포던스의 선택에 대응하는 제1 입력을 검출하기 위한 수단; 및 상기 제1 입력을 검출하는 것에 응답하여, 상기 디스플레이 디바이스 상에, 선택될 때, 상기 제1 액세서리 인터페이스의 제2 영역을 디스플레이하지 않으면서, 상기 제1 제어가능한 외부 디바이스의 제1 기능을 제어하는 제1 제어 어포던스를 포함하는 상기 제1 액세서리 인터페이스의 제1 영역을 디스플레이하기 위한 수단; 상기 디스플레이 디바이스 상에, 상기 제1 액세서리 인터페이스의 제1 영역을 디스플레이하는 동안, 제2 입력을 검출하기 위한 수단; 및 상기 제2 입력을 검출하는 것에 응답하여, 상기 제2 입력이 임계량을 초과하는 상기 제2 영역의 일부분으로 하여금 디스플레이되게 한다는 결정에 따라, 상기 제1 영역의 디스플레이를 중지하는 동안, 상기 제1 액세서리 인터페이스의 상부 부분에 상기 제2 영역을 디스플레이하도록 상기 사용자 인터페이스의 디스플레이를 업데이트하고 - 상기 제2 영역은 상기 제1 제어가능한 외부 디바이스의 하나 이상의 설정들을 포함함 -; 상기 제2 입력이 상기 임계량을 초과하는 상기 제2 영역의 일부분으로 하여금 디스플레이되게 하지 않는다는 결정에 따라, 상기 제1 액세서리 인터페이스의 제2 영역을 디스플레이하지 않으면서, 상기 제2 입력에 기초하여 상기 제1 액세서리 인터페이스의 디스플레이를 상기 제1 액세서리 인터페이스의 제1 영역 내의 제2 제어 어포던스로 업데이트하기 위한 수단을 포함한다.
일부 실시예들에 따라, 방법이 설명된다. 본 방법은, 디스플레이 디바이스를 갖는 전자 디바이스에서, 상기 전자 디바이스가 제1 제어가능한 외부 디바이스를 제어하도록 구성되지 않는 동안, 상기 제1 제어가능한 외부 디바이스를 제어하도록 상기 전자 디바이스를 구성하라는 요청에 대응하는 제1 세트의 하나 이상의 입력들을 검출하는 단계; 상기 제1 세트의 하나 이상의 입력들을 검출하는 것에 응답하여, 상기 제1 제어가능한 외부 디바이스를 제어하도록 상기 전자 디바이스를 구성하기 위한 프로세스를 개시하는 단계 - 상기 프로세스는, 상기 제1 제어가능한 외부 디바이스에 대응하는 정보를 수신하는 것; 상기 수신된 정보에 기초하여, 상기 제1 제어가능한 외부 디바이스가 상기 제1 제어가능한 외부 디바이스의 복수의 서브컴포넌트들과 연관된 복수의 제어가능한 기능들과 연관된다는 결정에 따라, 상기 디스플레이 디바이스 상에, 상기 제1 제어가능한 외부 디바이스 및 상기 복수의 서브컴포넌트들을 포함하는 그룹에 대응하는 제1 액세서리 어포던스를 디스플레이하는 것; 및 상기 수신된 정보에 기초하여, 상기 제1 제어가능한 외부 디바이스가 상기 복수의 서브컴포넌트들과 연관되지 않는다는 결정에 따라, 상기 디스플레이 디바이스 상에, 상기 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스를 디스플레이하는 것을 포함함 -; 상기 디스플레이 디바이스 상에, 상기 제1 액세서리 어포던스 또는 상기 제2 액세서리 어포던스를 디스플레이하는 동안, 제2 입력을 검출하는 단계; 및 상기 제2 입력을 검출하는 것에 응답하여: 상기 제2 입력이 상기 제1 액세서리 어포던스의 선택에 대응한다는 결정에 따라, 상기 디스플레이 디바이스 상에, 제1 액세서리 인터페이스를 디스플레이하고 - 상기 제1 액세서리 인터페이스는 상기 제1 제어가능한 외부 디바이스 및 상기 복수의 서브컴포넌트들에 대응하는 복수의 제어 어포던스들, 및 선택될 때, 상기 제1 액세서리 인터페이스로부터 상기 복수의 제어 어포던스들 중 적어도 제1 제어 어포던스를 제거하기 위한 프로세스를 개시하는 제어부 재구성 어포던스를 포함함 -; 상기 제2 입력이 상기 제2 액세서리 어포던스의 선택에 대응한다는 결정에 따라, 상기 디스플레이 디바이스 상에, 상기 제어부 재구성 어포던스를 디스플레이하지 않으면서 상기 제1 제어가능한 외부 디바이스에 대한 제어부들을 포함하는 제2 액세서리 인터페이스를 디스플레이하는 단계를 포함한다.
일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체가 설명된다. 비일시적 컴퓨터 판독가능 저장 매체는 디스플레이 디바이스를 갖는 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하고, 상기 하나 이상의 프로그램들은, 상기 전자 디바이스가 제1 제어가능한 외부 디바이스를 제어하도록 구성되지 않는 동안, 상기 제1 제어가능한 외부 디바이스를 제어하도록 상기 전자 디바이스를 구성하라는 요청에 대응하는 제1 세트의 하나 이상의 입력들을 검출하기 위한; 상기 제1 세트의 하나 이상의 입력들을 검출하는 것에 응답하여, 상기 제1 제어가능한 외부 디바이스를 제어하도록 상기 전자 디바이스를 구성하기 위한 프로세스를 개시하기 위한 - 상기 프로세스는, 상기 제1 제어가능한 외부 디바이스에 대응하는 정보를 수신하는 것; 상기 수신된 정보에 기초하여, 상기 제1 제어가능한 외부 디바이스가 상기 제1 제어가능한 외부 디바이스의 복수의 서브컴포넌트들과 연관된 복수의 제어가능한 기능들과 연관된다는 결정에 따라, 상기 디스플레이 디바이스 상에, 상기 제1 제어가능한 외부 디바이스 및 상기 복수의 서브컴포넌트들을 포함하는 그룹에 대응하는 제1 액세서리 어포던스를 디스플레이하는 것; 및 상기 수신된 정보에 기초하여, 상기 제1 제어가능한 외부 디바이스가 상기 복수의 서브컴포넌트들과 연관되지 않는다는 결정에 따라, 상기 디스플레이 디바이스 상에, 상기 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스를 디스플레이하는 것을 포함함 -; 상기 디스플레이 디바이스 상에, 상기 제1 액세서리 어포던스 또는 상기 제2 액세서리 어포던스를 디스플레이하는 동안, 제2 입력을 검출하기 위한; 그리고 상기 제2 입력을 검출하는 것에 응답하여: 상기 제2 입력이 상기 제1 액세서리 어포던스의 선택에 대응한다는 결정에 따라, 상기 디스플레이 디바이스 상에, 제1 액세서리 인터페이스를 디스플레이하고 - 상기 제1 액세서리 인터페이스는 상기 제1 제어가능한 외부 디바이스 및 상기 복수의 서브컴포넌트들에 대응하는 복수의 제어 어포던스들, 및 선택될 때, 상기 제1 액세서리 인터페이스로부터 상기 복수의 제어 어포던스들 중 적어도 제1 제어 어포던스를 제거하기 위한 프로세스를 개시하는 제어부 재구성 어포던스를 포함함 -; 상기 제2 입력이 상기 제2 액세서리 어포던스의 선택에 대응한다는 결정에 따라, 상기 디스플레이 디바이스 상에, 상기 제어부 재구성 어포던스를 디스플레이하지 않으면서 상기 제1 제어가능한 외부 디바이스에 대한 제어부들을 포함하는 제2 액세서리 인터페이스를 디스플레이하기 위한 명령어들을 포함한다.
일부 실시예들에 따르면, 일시적 컴퓨터 판독가능 저장 매체가 설명된다. 일시적 컴퓨터 판독가능 저장 매체는 디스플레이 디바이스를 갖는 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하고, 상기 하나 이상의 프로그램들은, 상기 전자 디바이스가 제1 제어가능한 외부 디바이스를 제어하도록 구성되지 않는 동안, 상기 제1 제어가능한 외부 디바이스를 제어하도록 상기 전자 디바이스를 구성하라는 요청에 대응하는 제1 세트의 하나 이상의 입력들을 검출하기 위한; 상기 제1 세트의 하나 이상의 입력들을 검출하는 것에 응답하여, 상기 제1 제어가능한 외부 디바이스를 제어하도록 상기 전자 디바이스를 구성하기 위한 프로세스를 개시하기 위한 - 상기 프로세스는, 상기 제1 제어가능한 외부 디바이스에 대응하는 정보를 수신하는 것; 상기 수신된 정보에 기초하여, 상기 제1 제어가능한 외부 디바이스가 상기 제1 제어가능한 외부 디바이스의 복수의 서브컴포넌트들과 연관된 복수의 제어가능한 기능들과 연관된다는 결정에 따라, 상기 디스플레이 디바이스 상에, 상기 제1 제어가능한 외부 디바이스 및 상기 복수의 서브컴포넌트들을 포함하는 그룹에 대응하는 제1 액세서리 어포던스를 디스플레이하는 것; 및 상기 수신된 정보에 기초하여, 상기 제1 제어가능한 외부 디바이스가 상기 복수의 서브컴포넌트들과 연관되지 않는다는 결정에 따라, 상기 디스플레이 디바이스 상에, 상기 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스를 디스플레이하는 것을 포함함 -; 상기 디스플레이 디바이스 상에, 상기 제1 액세서리 어포던스 또는 상기 제2 액세서리 어포던스를 디스플레이하는 동안, 제2 입력을 검출하기 위한; 그리고 상기 제2 입력을 검출하는 것에 응답하여: 상기 제2 입력이 상기 제1 액세서리 어포던스의 선택에 대응한다는 결정에 따라, 상기 디스플레이 디바이스 상에, 제1 액세서리 인터페이스를 디스플레이하고 - 상기 제1 액세서리 인터페이스는 상기 제1 제어가능한 외부 디바이스 및 상기 복수의 서브컴포넌트들에 대응하는 복수의 제어 어포던스들, 및 선택될 때, 상기 제1 액세서리 인터페이스로부터 상기 복수의 제어 어포던스들 중 적어도 제1 제어 어포던스를 제거하기 위한 프로세스를 개시하는 제어부 재구성 어포던스를 포함함 -; 상기 제2 입력이 상기 제2 액세서리 어포던스의 선택에 대응한다는 결정에 따라, 상기 디스플레이 디바이스 상에, 상기 제어부 재구성 어포던스를 디스플레이하지 않으면서 상기 제1 제어가능한 외부 디바이스에 대한 제어부들을 포함하는 제2 액세서리 인터페이스를 디스플레이하기 위한 명령어들을 포함한다.
일부 실시예들에 따르면, 전자 디바이스가 설명된다. 전자 디바이스는, 디스플레이 디바이스; 하나 이상의 프로세서들; 및 상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은, 상기 전자 디바이스가 제1 제어가능한 외부 디바이스를 제어하도록 구성되지 않는 동안, 상기 제1 제어가능한 외부 디바이스를 제어하도록 상기 전자 디바이스를 구성하라는 요청에 대응하는 제1 세트의 하나 이상의 입력들을 검출하기 위한; 상기 제1 세트의 하나 이상의 입력들을 검출하는 것에 응답하여, 상기 제1 제어가능한 외부 디바이스를 제어하도록 상기 전자 디바이스를 구성하기 위한 프로세스를 개시하기 위한 - 상기 프로세스는, 상기 제1 제어가능한 외부 디바이스에 대응하는 정보를 수신하는 것; 상기 수신된 정보에 기초하여, 상기 제1 제어가능한 외부 디바이스가 상기 제1 제어가능한 외부 디바이스의 복수의 서브컴포넌트들과 연관된 복수의 제어가능한 기능들과 연관된다는 결정에 따라, 상기 디스플레이 디바이스 상에, 상기 제1 제어가능한 외부 디바이스 및 상기 복수의 서브컴포넌트들을 포함하는 그룹에 대응하는 제1 액세서리 어포던스를 디스플레이하는 것; 및 상기 수신된 정보에 기초하여, 상기 제1 제어가능한 외부 디바이스가 상기 복수의 서브컴포넌트들과 연관되지 않는다는 결정에 따라, 상기 디스플레이 디바이스 상에, 상기 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스를 디스플레이하는 것을 포함함 -; 상기 디스플레이 디바이스 상에, 상기 제1 액세서리 어포던스 또는 상기 제2 액세서리 어포던스를 디스플레이하는 동안, 제2 입력을 검출하기 위한; 그리고 상기 제2 입력을 검출하는 것에 응답하여: 상기 제2 입력이 상기 제1 액세서리 어포던스의 선택에 대응한다는 결정에 따라, 상기 디스플레이 디바이스 상에, 제1 액세서리 인터페이스를 디스플레이하고 - 상기 제1 액세서리 인터페이스는 상기 제1 제어가능한 외부 디바이스 및 상기 복수의 서브컴포넌트들에 대응하는 복수의 제어 어포던스들, 및 선택될 때, 상기 제1 액세서리 인터페이스로부터 상기 복수의 제어 어포던스들 중 적어도 제1 제어 어포던스를 제거하기 위한 프로세스를 개시하는 제어부 재구성 어포던스를 포함함 -; 상기 제2 입력이 상기 제2 액세서리 어포던스의 선택에 대응한다는 결정에 따라, 상기 디스플레이 디바이스 상에, 상기 제어부 재구성 어포던스를 디스플레이하지 않으면서 상기 제1 제어가능한 외부 디바이스에 대한 제어부들을 포함하는 제2 액세서리 인터페이스를 디스플레이하기 위한 명령어들을 포함한다.
일부 실시예들에 따르면, 전자 디바이스가 설명된다. 전자 디바이스는, 디스플레이 디바이스; 상기 전자 디바이스가 제1 제어가능한 외부 디바이스를 제어하도록 구성되지 않는 동안, 상기 제1 제어가능한 외부 디바이스를 제어하도록 상기 전자 디바이스를 구성하라는 요청에 대응하는 제1 세트의 하나 이상의 입력들을 검출하기 위한 수단; 상기 제1 세트의 하나 이상의 입력들을 검출하는 것에 응답하여, 상기 제1 제어가능한 외부 디바이스를 제어하도록 상기 전자 디바이스를 구성하기 위한 프로세스를 개시하기 위한 수단 - 상기 프로세스는, 상기 제1 제어가능한 외부 디바이스에 대응하는 정보를 수신하는 것; 상기 수신된 정보에 기초하여, 상기 제1 제어가능한 외부 디바이스가 상기 제1 제어가능한 외부 디바이스의 복수의 서브컴포넌트들과 연관된 복수의 제어가능한 기능들과 연관된다는 결정에 따라, 상기 디스플레이 디바이스 상에, 상기 제1 제어가능한 외부 디바이스 및 상기 복수의 서브컴포넌트들을 포함하는 그룹에 대응하는 제1 액세서리 어포던스를 디스플레이하는 것; 및 상기 수신된 정보에 기초하여, 상기 제1 제어가능한 외부 디바이스가 상기 복수의 서브컴포넌트들과 연관되지 않는다는 결정에 따라, 상기 디스플레이 디바이스 상에, 상기 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스를 디스플레이하는 것을 포함함 -; 상기 디스플레이 디바이스 상에, 상기 제1 액세서리 어포던스 또는 상기 제2 액세서리 어포던스를 디스플레이하는 동안, 제2 입력을 검출하기 위한 수단; 및 상기 제2 입력을 검출하는 것에 응답하여, 상기 제2 입력이 상기 제1 액세서리 어포던스의 선택에 대응한다는 결정에 따라, 상기 디스플레이 디바이스 상에, 제1 액세서리 인터페이스를 디스플레이하고 - 상기 제1 액세서리 인터페이스는 상기 제1 제어가능한 외부 디바이스 및 상기 복수의 서브컴포넌트들에 대응하는 복수의 제어 어포던스들, 및 선택될 때, 상기 제1 액세서리 인터페이스로부터 상기 복수의 제어 어포던스들 중 적어도 제1 제어 어포던스를 제거하기 위한 프로세스를 개시하는 제어부 재구성 어포던스를 포함함 -; 상기 제2 입력이 상기 제2 액세서리 어포던스의 선택에 대응한다는 결정에 따라, 상기 디스플레이 디바이스 상에, 상기 제어부 재구성 어포던스를 디스플레이하지 않으면서 상기 제1 제어가능한 외부 디바이스에 대한 제어부들을 포함하는 제2 액세서리 인터페이스를 디스플레이하기 위한 수단을 포함한다.
일부 실시예들에 따라, 방법이 설명된다. 본 방법은, 디스플레이 디바이스를 갖는 전자 디바이스에서, 상기 디스플레이 디바이스 상에, 상기 전자 디바이스에 의해 제어가능한 외부 온도조절기 디바이스에 대한 온도 모드를 생성하기 위한 제1 세트의 제어부들을 포함하는 온도 모드 생성 사용자 인터페이스를 디스플레이하는 단계; 상기 디스플레이 디바이스 상에, 상기 온도 모드 생성 사용자 인터페이스를 디스플레이하는 동안, 제1 세트의 하나 이상의 입력들을 검출하는 단계; 상기 제1 세트의 하나 이상의 입력들에 응답하여: 최소 온도 범위와 상이한, 최소 온도 및 최대 온도를 포함하는 온도 범위를 선택하고; 상기 온도 범위를 제1 온도 모드와 연관시키는 단계; 상기 온도 범위를 제1 온도 모드와 연관시킨 후에, 상기 디스플레이 디바이스 상에, 상기 외부 온도조절기 디바이스의 스케줄링된 동작을 생성하기 위한 제2 세트의 제어부들을 포함하는 온도 스케줄링 사용자 인터페이스를 디스플레이하는 단계; 상기 디스플레이 디바이스 상에, 상기 온도 스케줄링 사용자 인터페이스를 디스플레이하는 동안, 제2 세트의 하나 이상의 입력들을 검출하는 단계; 및 상기 제2 세트의 하나 이상의 입력들을 검출하는 것에 응답하여: 제1 스케줄링된 동작의 활성화를 위한 제1 기준들을 선택하고; 상기 제1 온도 모드를 상기 제1 스케줄링된 동작과 연관시키는 단계를 포함한다.
일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체가 설명된다. 비일시적 컴퓨터 판독가능 저장 매체는 디스플레이 디바이스를 갖는 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하고, 상기 하나 이상의 프로그램들은, 상기 디스플레이 디바이스 상에, 상기 전자 디바이스에 의해 제어가능한 외부 온도조절기 디바이스에 대한 온도 모드를 생성하기 위한 제1 세트의 제어부들을 포함하는 온도 모드 생성 사용자 인터페이스를 디스플레이하기 위한; 상기 디스플레이 디바이스 상에, 상기 온도 모드 생성 사용자 인터페이스를 디스플레이하는 동안, 제1 세트의 하나 이상의 입력들을 검출하기 위한; 상기 제1 세트의 하나 이상의 입력들에 응답하여: 최소 온도 범위와 상이한, 최소 온도 및 최대 온도를 포함하는 온도 범위를 선택하고; 상기 온도 범위를 제1 온도 모드와 연관시키기 위한; 상기 온도 범위를 제1 온도 모드와 연관시킨 후에, 상기 디스플레이 디바이스 상에, 상기 외부 온도조절기 디바이스의 스케줄링된 동작을 생성하기 위한 제2 세트의 제어부들을 포함하는 온도 스케줄링 사용자 인터페이스를 디스플레이하기 위한; 상기 디스플레이 디바이스 상에, 상기 온도 스케줄링 사용자 인터페이스를 디스플레이하는 동안, 제2 세트의 하나 이상의 입력들을 검출하기 위한; 그리고 상기 제2 세트의 하나 이상의 입력들을 검출하는 것에 응답하여: 제1 스케줄링된 동작의 활성화를 위한 제1 기준들을 선택하고; 상기 제1 온도 모드를 상기 제1 스케줄링된 동작과 연관시키기 위한 명령어들을 포함한다.
일부 실시예들에 따르면, 일시적 컴퓨터 판독가능 저장 매체가 설명된다. 일시적 컴퓨터 판독가능 저장 매체는 디스플레이 디바이스를 갖는 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하고, 상기 하나 이상의 프로그램들은, 상기 디스플레이 디바이스 상에, 상기 전자 디바이스에 의해 제어가능한 외부 온도조절기 디바이스에 대한 온도 모드를 생성하기 위한 제1 세트의 제어부들을 포함하는 온도 모드 생성 사용자 인터페이스를 디스플레이하기 위한; 상기 디스플레이 디바이스 상에, 상기 온도 모드 생성 사용자 인터페이스를 디스플레이하는 동안, 제1 세트의 하나 이상의 입력들을 검출하기 위한; 상기 제1 세트의 하나 이상의 입력들에 응답하여: 최소 온도 범위와 상이한, 최소 온도 및 최대 온도를 포함하는 온도 범위를 선택하고; 상기 온도 범위를 제1 온도 모드와 연관시키기 위한; 상기 온도 범위를 제1 온도 모드와 연관시킨 후에, 상기 디스플레이 디바이스 상에, 상기 외부 온도조절기 디바이스의 스케줄링된 동작을 생성하기 위한 제2 세트의 제어부들을 포함하는 온도 스케줄링 사용자 인터페이스를 디스플레이하기 위한; 상기 디스플레이 디바이스 상에, 상기 온도 스케줄링 사용자 인터페이스를 디스플레이하는 동안, 제2 세트의 하나 이상의 입력들을 검출하기 위한; 그리고 상기 제2 세트의 하나 이상의 입력들을 검출하는 것에 응답하여: 제1 스케줄링된 동작의 활성화를 위한 제1 기준들을 선택하고; 상기 제1 온도 모드를 상기 제1 스케줄링된 동작과 연관시키기 위한 명령어들을 포함한다.
일부 실시예들에 따르면, 전자 디바이스가 설명된다. 전자 디바이스는, 디스플레이 디바이스; 하나 이상의 프로세서들; 및 상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은, 상기 디스플레이 디바이스 상에, 상기 전자 디바이스에 의해 제어가능한 외부 온도조절기 디바이스에 대한 온도 모드를 생성하기 위한 제1 세트의 제어부들을 포함하는 온도 모드 생성 사용자 인터페이스를 디스플레이하기 위한; 상기 디스플레이 디바이스 상에, 상기 온도 모드 생성 사용자 인터페이스를 디스플레이하는 동안, 제1 세트의 하나 이상의 입력들을 검출하기 위한; 상기 제1 세트의 하나 이상의 입력들에 응답하여: 최소 온도 범위와 상이한, 최소 온도 및 최대 온도를 포함하는 온도 범위를 선택하고; 상기 온도 범위를 제1 온도 모드와 연관시키기 위한; 상기 온도 범위를 제1 온도 모드와 연관시킨 후에, 상기 디스플레이 디바이스 상에, 상기 외부 온도조절기 디바이스의 스케줄링된 동작을 생성하기 위한 제2 세트의 제어부들을 포함하는 온도 스케줄링 사용자 인터페이스를 디스플레이하기 위한; 상기 디스플레이 디바이스 상에, 상기 온도 스케줄링 사용자 인터페이스를 디스플레이하는 동안, 제2 세트의 하나 이상의 입력들을 검출하기 위한; 그리고 상기 제2 세트의 하나 이상의 입력들을 검출하는 것에 응답하여: 제1 스케줄링된 동작의 활성화를 위한 제1 기준들을 선택하고; 상기 제1 온도 모드를 상기 제1 스케줄링된 동작과 연관시키기 위한 명령어들을 포함한다.
일부 실시예들에 따르면, 전자 디바이스가 설명된다. 전자 디바이스는, 디스플레이 디바이스; 상기 디스플레이 디바이스 상에, 상기 전자 디바이스에 의해 제어가능한 외부 온도조절기 디바이스에 대한 온도 모드를 생성하기 위한 제1 세트의 제어부들을 포함하는 온도 모드 생성 사용자 인터페이스를 디스플레이하기 위한 수단; 상기 디스플레이 디바이스 상에, 상기 온도 모드 생성 사용자 인터페이스를 디스플레이하는 동안, 제1 세트의 하나 이상의 입력들을 검출하기 위한 수단; 상기 제1 세트의 하나 이상의 입력들에 응답하여, 최소 온도 범위와 상이한, 최소 온도 및 최대 온도를 포함하는 온도 범위를 선택하고; 상기 온도 범위를 제1 온도 모드와 연관시키기 위한 수단; 상기 온도 범위를 제1 온도 모드와 연관시킨 후에, 상기 디스플레이 디바이스 상에, 상기 외부 온도조절기 디바이스의 스케줄링된 동작을 생성하기 위한 제2 세트의 제어부들을 포함하는 온도 스케줄링 사용자 인터페이스를 디스플레이하기 위한 수단; 상기 디스플레이 디바이스 상에, 상기 온도 스케줄링 사용자 인터페이스를 디스플레이하는 동안, 제2 세트의 하나 이상의 입력들을 검출하기 위한 수단; 및 상기 제2 세트의 하나 이상의 입력들을 검출하는 것에 응답하여, 제1 스케줄링된 동작의 활성화를 위한 제1 기준들을 선택하고; 상기 제1 온도 모드를 상기 제1 스케줄링된 동작과 연관시키기 위한 수단을 포함한다.
일부 실시예들에 따라, 방법이 설명된다. 본 방법은, 디스플레이 디바이스를 갖는 전자 디바이스에서, 상기 디스플레이 디바이스를 통해, 제1 제어가능한 외부 디바이스에 대응하는 제1 액세서리 어포던스를 디스플레이하는 단계; 제1 세트의 제어가능한 외부 디바이스들에 상기 제1 제어가능한 외부 디바이스를 추가하기 위한 하나 이상의 입력들을 검출하는 단계; 및 상기 제1 세트의 제어가능한 외부 디바이스들에 상기 제1 제어가능한 외부 디바이스를 추가하기 위한 상기 하나 이상의 입력들을 검출하는 것에 응답하여: 상기 제1 제어가능한 외부 디바이스를 포함하도록 상기 제1 세트의 제어가능한 외부 디바이스들을 업데이트하고; 상기 제1 제어가능한 외부 디바이스가 제1 유형의 것이라는 결정에 따라: 상기 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스; 및 선택될 때, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 구성 어포던스를 동시에 디스플레이하고; 상기 제1 제어가능한 외부 디바이스가 상기 제1 유형의 것이 아니라는 결정에 따라, 선택될 때, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 상기 구성 어포던스 없이 상기 제1 제어가능한 외부 디바이스에 대응하는 상기 제2 액세서리 어포던스를 디스플레이하는 단계를 포함한다.
일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체가 설명된다. 비일시적 컴퓨터 판독가능 저장 매체는 디스플레이 디바이스를 갖는 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하고, 상기 하나 이상의 프로그램들은, 상기 디스플레이 디바이스를 통해, 제1 제어가능한 외부 디바이스에 대응하는 제1 액세서리 어포던스를 디스플레이하기 위한; 제1 세트의 제어가능한 외부 디바이스들에 상기 제1 제어가능한 외부 디바이스를 추가하기 위한 하나 이상의 입력들을 검출하기 위한; 그리고 상기 제1 세트의 제어가능한 외부 디바이스들에 상기 제1 제어가능한 외부 디바이스를 추가하기 위한 상기 하나 이상의 입력들을 검출하는 것에 응답하여: 상기 제1 제어가능한 외부 디바이스를 포함하도록 상기 제1 세트의 제어가능한 외부 디바이스들을 업데이트하고; 상기 제1 제어가능한 외부 디바이스가 제1 유형의 것이라는 결정에 따라: 상기 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스; 및 선택될 때, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 구성 어포던스를 동시에 디스플레이하고; 상기 제1 제어가능한 외부 디바이스가 상기 제1 유형의 것이 아니라는 결정에 따라, 선택될 때, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 상기 구성 어포던스 없이 상기 제1 제어가능한 외부 디바이스에 대응하는 상기 제2 액세서리 어포던스를 디스플레이하기 위한 명령어들을 포함한다.
일부 실시예들에 따르면, 일시적 컴퓨터 판독가능 저장 매체가 설명된다. 일시적 컴퓨터 판독가능 저장 매체는 디스플레이 디바이스를 갖는 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하고, 상기 하나 이상의 프로그램들은, 상기 디스플레이 디바이스를 통해, 제1 제어가능한 외부 디바이스에 대응하는 제1 액세서리 어포던스를 디스플레이하기 위한; 제1 세트의 제어가능한 외부 디바이스들에 상기 제1 제어가능한 외부 디바이스를 추가하기 위한 하나 이상의 입력들을 검출하기 위한; 그리고 상기 제1 세트의 제어가능한 외부 디바이스들에 상기 제1 제어가능한 외부 디바이스를 추가하기 위한 상기 하나 이상의 입력들을 검출하는 것에 응답하여: 상기 제1 제어가능한 외부 디바이스를 포함하도록 상기 제1 세트의 제어가능한 외부 디바이스들을 업데이트하고; 상기 제1 제어가능한 외부 디바이스가 제1 유형의 것이라는 결정에 따라: 상기 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스; 및 선택될 때, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 구성 어포던스를 동시에 디스플레이하고; 상기 제1 제어가능한 외부 디바이스가 상기 제1 유형의 것이 아니라는 결정에 따라, 선택될 때, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 상기 구성 어포던스 없이 상기 제1 제어가능한 외부 디바이스에 대응하는 상기 제2 액세서리 어포던스를 디스플레이하기 위한 명령어들을 포함한다.
일부 실시예들에 따르면, 전자 디바이스가 설명된다. 전자 디바이스는, 디스플레이 디바이스; 하나 이상의 프로세서들; 및 상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은, 상기 디스플레이 디바이스를 통해, 제1 제어가능한 외부 디바이스에 대응하는 제1 액세서리 어포던스를 디스플레이하기 위한; 제1 세트의 제어가능한 외부 디바이스들에 상기 제1 제어가능한 외부 디바이스를 추가하기 위한 하나 이상의 입력들을 검출하기 위한; 그리고 상기 제1 세트의 제어가능한 외부 디바이스들에 상기 제1 제어가능한 외부 디바이스를 추가하기 위한 상기 하나 이상의 입력들을 검출하는 것에 응답하여: 상기 제1 제어가능한 외부 디바이스를 포함하도록 상기 제1 세트의 제어가능한 외부 디바이스들을 업데이트하고; 상기 제1 제어가능한 외부 디바이스가 제1 유형의 것이라는 결정에 따라: 상기 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스; 및 선택될 때, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 구성 어포던스를 동시에 디스플레이하고; 상기 제1 제어가능한 외부 디바이스가 상기 제1 유형의 것이 아니라는 결정에 따라, 선택될 때, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 상기 구성 어포던스 없이 상기 제1 제어가능한 외부 디바이스에 대응하는 상기 제2 액세서리 어포던스를 디스플레이하기 위한 명령어들을 포함한다.
일부 실시예들에 따르면, 전자 디바이스가 설명된다. 전자 디바이스는, 디스플레이 디바이스; 상기 디스플레이 디바이스를 통해, 제1 제어가능한 외부 디바이스에 대응하는 제1 액세서리 어포던스를 디스플레이하기 위한 수단; 제1 세트의 제어가능한 외부 디바이스들에 상기 제1 제어가능한 외부 디바이스를 추가하기 위한 하나 이상의 입력들을 검출하기 위한 수단; 및 상기 제1 세트의 제어가능한 외부 디바이스들에 상기 제1 제어가능한 외부 디바이스를 추가하기 위한 상기 하나 이상의 입력들을 검출하는 것에 응답하여, 상기 제1 제어가능한 외부 디바이스를 포함하도록 상기 제1 세트의 제어가능한 외부 디바이스들을 업데이트하고; 상기 제1 제어가능한 외부 디바이스가 제1 유형의 것이라는 결정에 따라: 상기 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스; 및 선택될 때, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 구성 어포던스를 동시에 디스플레이하고; 상기 제1 제어가능한 외부 디바이스가 상기 제1 유형의 것이 아니라는 결정에 따라, 선택될 때, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 상기 구성 어포던스 없이 상기 제1 제어가능한 외부 디바이스에 대응하는 상기 제2 액세서리 어포던스를 디스플레이하기 위한 수단을 포함한다.
일부 실시예들에 따라, 방법이 설명된다. 본 방법은, 디스플레이 디바이스를 갖는 전자 디바이스에서, 상기 디스플레이 디바이스를 통해, 미디어 항목 상에서 재생 기능을 수행하기 위한 한 세트의 하나 이상의 재생 제어부들 및 알람 구성 어포던스를 동시에 디스플레이하는 단계; 사용자 입력을 검출하는 단계; 및 상기 사용자 입력을 검출하는 것에 응답하여: 상기 검출된 사용자 입력이 상기 한 세트의 하나 이상의 재생 제어부들 중 하나의 재생 제어부의 선택에 대응한다는 결정에 따라, 상기 선택된 재생 제어부에 기초하여 제어가능한 외부 디바이스에서 재생 기능을 수행하기 위한 프로세스를 개시하고; 상기 검출된 사용자 입력이 상기 알람 구성 어포던스의 선택에 대응한다는 결정에 따라, 상기 한 세트의 하나 이상의 재생 제어부들 및 상기 알람 구성 어포던스의 상기 동시 디스플레이를 제1 알람에 대한 시간을 설정하기 위한 한 세트의 시간 어포던스들로 대체하는 단계를 포함한다.
일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체가 설명된다. 비일시적 컴퓨터 판독가능 저장 매체는 디스플레이 디바이스를 갖는 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하고, 상기 하나 이상의 프로그램들은, 상기 디스플레이 디바이스를 통해, 미디어 항목 상에서 재생 기능을 수행하기 위한 한 세트의 하나 이상의 재생 제어부들 및 알람 구성 어포던스를 동시에 디스플레이하기 위한; 사용자 입력을 검출하기 위한; 그리고 상기 사용자 입력을 검출하는 것에 응답하여: 상기 검출된 사용자 입력이 상기 한 세트의 하나 이상의 재생 제어부들 중 하나의 재생 제어부의 선택에 대응한다는 결정에 따라, 상기 선택된 재생 제어부에 기초하여 제어가능한 외부 디바이스에서 재생 기능을 수행하기 위한 프로세스를 개시하고; 상기 검출된 사용자 입력이 상기 알람 구성 어포던스의 선택에 대응한다는 결정에 따라, 상기 한 세트의 하나 이상의 재생 제어부들 및 상기 알람 구성 어포던스의 상기 동시 디스플레이를 제1 알람에 대한 시간을 설정하기 위한 한 세트의 시간 어포던스들로 대체하기 위한 명령어들을 포함한다.
일부 실시예들에 따르면, 일시적 컴퓨터 판독가능 저장 매체가 설명된다. 일시적 컴퓨터 판독가능 저장 매체는 디스플레이 디바이스를 갖는 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하고, 상기 하나 이상의 프로그램들은, 상기 디스플레이 디바이스를 통해, 미디어 항목 상에서 재생 기능을 수행하기 위한 한 세트의 하나 이상의 재생 제어부들 및 알람 구성 어포던스를 동시에 디스플레이하기 위한; 사용자 입력을 검출하기 위한; 그리고 상기 사용자 입력을 검출하는 것에 응답하여: 상기 검출된 사용자 입력이 상기 한 세트의 하나 이상의 재생 제어부들 중 하나의 재생 제어부의 선택에 대응한다는 결정에 따라, 상기 선택된 재생 제어부에 기초하여 제어가능한 외부 디바이스에서 재생 기능을 수행하기 위한 프로세스를 개시하고; 상기 검출된 사용자 입력이 상기 알람 구성 어포던스의 선택에 대응한다는 결정에 따라, 상기 한 세트의 하나 이상의 재생 제어부들 및 상기 알람 구성 어포던스의 상기 동시 디스플레이를 제1 알람에 대한 시간을 설정하기 위한 한 세트의 시간 어포던스들로 대체하기 위한 명령어들을 포함한다.
일부 실시예들에 따르면, 전자 디바이스가 설명된다. 전자 디바이스는, 디스플레이 디바이스; 하나 이상의 프로세서들; 및 상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은, 상기 디스플레이 디바이스를 통해, 미디어 항목 상에서 재생 기능을 수행하기 위한 한 세트의 하나 이상의 재생 제어부들 및 알람 구성 어포던스를 동시에 디스플레이하기 위한; 사용자 입력을 검출하기 위한; 그리고 상기 사용자 입력을 검출하는 것에 응답하여: 상기 검출된 사용자 입력이 상기 한 세트의 하나 이상의 재생 제어부들 중 하나의 재생 제어부의 선택에 대응한다는 결정에 따라, 상기 선택된 재생 제어부에 기초하여 제어가능한 외부 디바이스에서 재생 기능을 수행하기 위한 프로세스를 개시하고; 상기 검출된 사용자 입력이 상기 알람 구성 어포던스의 선택에 대응한다는 결정에 따라, 상기 한 세트의 하나 이상의 재생 제어부들 및 상기 알람 구성 어포던스의 상기 동시 디스플레이를 제1 알람에 대한 시간을 설정하기 위한 한 세트의 시간 어포던스들로 대체하기 위한 명령어들을 포함한다.
일부 실시예들에 따르면, 전자 디바이스가 설명된다. 전자 디바이스는, 디스플레이 디바이스; 상기 디스플레이 디바이스를 통해, 미디어 항목 상에서 재생 기능을 수행하기 위한 한 세트의 하나 이상의 재생 제어부들 및 알람 구성 어포던스를 동시에 디스플레이하기 위한 수단; 사용자 입력을 검출하기 위한 수단; 및 상기 사용자 입력을 검출하는 것에 응답하여, 상기 검출된 사용자 입력이 상기 한 세트의 하나 이상의 재생 제어부들 중 하나의 재생 제어부의 선택에 대응한다는 결정에 따라, 상기 선택된 재생 제어부에 기초하여 제어가능한 외부 디바이스에서 재생 기능을 수행하기 위한 프로세스를 개시하고; 상기 검출된 사용자 입력이 상기 알람 구성 어포던스의 선택에 대응한다는 결정에 따라, 상기 한 세트의 하나 이상의 재생 제어부들 및 상기 알람 구성 어포던스의 상기 동시 디스플레이를 제1 알람에 대한 시간을 설정하기 위한 한 세트의 시간 어포던스들로 대체하기 위한 수단을 포함한다.
일부 실시예들에 따라, 방법이 설명된다. 본 방법은 디스플레이를 갖는 전자 디바이스에서 수행되고, 제1 유형의 오디오 미디어 항목을 재생하라는 요청을 수신하는 단계 - 상기 요청은 상기 제1 유형의 오디오 미디어 항목을 식별하지만, 상기 제1 유형의 특정 오디오 미디어 항목은 식별하지 않음 -; 및 상기 제1 유형의 오디오 미디어 항목을 재생하라는 상기 요청을 수신하는 것에 응답하여: 상기 제1 유형의 오디오 미디어 항목의 제1 오디오 미디어 항목을 재생하고; 선택될 때, 상기 제1 유형의 오디오 미디어 항목의 제1 오디오 미디어 항목과 상이한 상기 제1 유형의 오디오 미디어 항목의 제2 오디오 미디어 항목을 재생하는 어포던스를 디스플레이하는 단계를 포함한다.
일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체가 설명된다. 비일시적 컴퓨터 판독가능 저장 매체는 디스플레이 디바이스를 갖는 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하고, 상기 하나 이상의 프로그램들은, 제1 유형의 오디오 미디어 항목을 재생하라는 요청을 수신하기 위한 - 상기 요청은 상기 제1 유형의 오디오 미디어 항목을 식별하지만, 상기 제1 유형의 특정 오디오 미디어 항목은 식별하지 않음 -; 그리고 상기 제1 유형의 오디오 미디어 항목을 재생하라는 상기 요청을 수신하는 것에 응답하여: 상기 제1 유형의 오디오 미디어 항목의 제1 오디오 미디어 항목을 재생하고; 선택될 때, 상기 제1 유형의 오디오 미디어 항목의 제1 오디오 미디어 항목과 상이한 상기 제1 유형의 오디오 미디어 항목의 제2 오디오 미디어 항목을 재생하는 어포던스를 디스플레이하기 위한 명령어들을 포함한다.
일부 실시예들에 따르면, 일시적 컴퓨터 판독가능 저장 매체가 설명된다. 일시적 컴퓨터 판독가능 저장 매체는 디스플레이 디바이스를 갖는 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하고, 상기 하나 이상의 프로그램들은, 제1 유형의 오디오 미디어 항목을 재생하라는 요청을 수신하기 위한 - 상기 요청은 상기 제1 유형의 오디오 미디어 항목을 식별하지만, 상기 제1 유형의 특정 오디오 미디어 항목은 식별하지 않음 -; 그리고 상기 제1 유형의 오디오 미디어 항목을 재생하라는 상기 요청을 수신하는 것에 응답하여: 상기 제1 유형의 오디오 미디어 항목의 제1 오디오 미디어 항목을 재생하고; 선택될 때, 상기 제1 유형의 오디오 미디어 항목의 제1 오디오 미디어 항목과 상이한 상기 제1 유형의 오디오 미디어 항목의 제2 오디오 미디어 항목을 재생하는 어포던스를 디스플레이하기 위한 명령어들을 포함한다.
일부 실시예들에 따르면, 전자 디바이스가 설명된다. 전자 디바이스는, 디스플레이 디바이스; 하나 이상의 프로세서들; 및 상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은, 제1 유형의 오디오 미디어 항목을 재생하라는 요청을 수신하기 위한 - 상기 요청은 상기 제1 유형의 오디오 미디어 항목을 식별하지만, 상기 제1 유형의 특정 오디오 미디어 항목은 식별하지 않음 -; 그리고 상기 제1 유형의 오디오 미디어 항목을 재생하라는 상기 요청을 수신하는 것에 응답하여: 상기 제1 유형의 오디오 미디어 항목의 제1 오디오 미디어 항목을 재생하고; 선택될 때, 상기 제1 유형의 오디오 미디어 항목의 제1 오디오 미디어 항목과 상이한 상기 제1 유형의 오디오 미디어 항목의 제2 오디오 미디어 항목을 재생하는 어포던스를 디스플레이하기 위한 명령어들을 포함한다. 이러한 태양의 다른 실시예들은, 각각이 본 방법들의 액션들을 수행하도록 구성된 하나 이상의 컴퓨터 저장 디바이스들 상에 기록된 대응하는 컴퓨터 시스템들, 장치, 및 컴퓨터 프로그램들을 포함한다.
일부 실시예들에 따르면, 전자 디바이스가 설명된다. 전자 디바이스는, 디스플레이 디바이스; 제1 유형의 오디오 미디어 항목을 재생하라는 요청을 수신하기 위한 수단 - 상기 요청은 상기 제1 유형의 오디오 미디어 항목을 식별하지만, 상기 제1 유형의 특정 오디오 미디어 항목은 식별하지 않음 -; 및 상기 제1 유형의 오디오 미디어 항목을 재생하라는 상기 요청을 수신하는 것에 응답하여, 상기 제1 유형의 오디오 미디어 항목의 제1 오디오 미디어 항목을 재생하고; 선택될 때, 상기 제1 유형의 오디오 미디어 항목의 제1 오디오 미디어 항목과 상이한 상기 제1 유형의 오디오 미디어 항목의 제2 오디오 미디어 항목을 재생하는 어포던스를 디스플레이하기 위한 수단을 포함한다.
이러한 기능들을 수행하기 위한 실행가능 명령어들은, 선택적으로, 하나 이상의 프로세서들에 의한 실행을 위해 구성된 비일시적 컴퓨터 판독가능 저장 매체 또는 다른 컴퓨터 프로그램 제품에 포함된다. 이러한 기능들을 수행하기 위한 실행가능 명령어들은, 선택적으로, 하나 이상의 프로세서들에 의한 실행을 위해 구성된 일시적 컴퓨터 판독가능 저장 매체 또는 다른 컴퓨터 프로그램 제품에 포함된다.
따라서, 전자 디바이스로부터 외부 디바이스들을 관리하고 제어하기 위한 더 빠르고 더 효율적인 방법들 및 인터페이스들이 디바이스들에 제공되어, 그에 의해 그러한 디바이스들의 유효성, 효율성, 및 사용자 만족도를 증가시킨다. 그러한 방법들 및 인터페이스들은 전자 디바이스로부터 외부 디바이스들을 관리하고 제어하기 위한 다른 방법들을 보완하거나 대체할 수 있다.
다양하게 기술된 실시예들의 더 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1a는 일부 실시예들에 따른, 터치 감응형 디스플레이를 갖는 휴대용 다기능 디바이스를 예시하는 블록도이다.
도 1b는 일부 실시예들에 따른, 이벤트 처리를 위한 예시적인 컴포넌트들을 예시하는 블록도이다.
도 1c는 일부 실시예들에 따른, 디지털 어시스턴트(digital assistant)를 구현하기 위한 시스템 및 환경을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른, 터치 스크린을 갖는 휴대용 다기능 디바이스를 예시한다.
도 3은 일부 실시예들에 따른, 디스플레이 및 터치 감응형 표면을 갖는 예시적인 다기능 디바이스의 블록도이다.
도 4a는 일부 실시예들에 따른, 휴대용 다기능 디바이스 상의 애플리케이션들의 메뉴에 대한 예시적인 사용자 인터페이스를 예시한다.
도 4b는 일부 실시예들에 따른, 디스플레이와는 별개인 터치 감응형 표면을 갖는 다기능 디바이스에 대한 예시적인 사용자 인터페이스를 예시한다.
도 5a는 일부 실시예들에 따른 개인용 전자 디바이스를 예시한다.
도 5b는 일부 실시예들에 따른 개인용 전자 디바이스를 예시하는 블록도이다.
도 5c 및 도 5d는 일부 실시예들에 따른, 터치 감응형 디스플레이 및 세기 센서들을 갖는 개인용 전자 디바이스의 예시적인 컴포넌트들을 예시한다.
도 5e 내지 도 5h는 일부 실시예들에 따른, 개인용 전자 디바이스의 예시적인 컴포넌트들 및 사용자 인터페이스들을 예시한다.
도 5i는 일부 실시예들에 따른 전자 디바이스를 예시한다.
도 5j는 일부 실시예들에 따른 전자 디바이스를 예시하는 블록도이다.
도 6a 내지 도 6r은 일부 실시예들에 따른, 제어가능한 외부 디바이스들을 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 7a 및 도 7b는 일부 실시예들에 따른, 제어가능한 외부 디바이스들을 관리하는 방법들을 예시하는 흐름도이다.
도 8a 내지 도 8j는 일부 실시예들에 따른, 제어가능한 외부 디바이스들을 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 9a 및 도 9b는 일부 실시예들에 따른, 제어가능한 외부 디바이스들을 관리하는 방법들을 예시하는 흐름도이다.
도 10a 내지 도 10ac는 일부 실시예들에 따른, 그룹화된 제어가능한 외부 디바이스들을 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 11a 및 도 11b는 일부 실시예들에 따른, 그룹화된 제어가능한 외부 디바이스들을 관리하는 방법들을 예시하는 흐름도이다.
도 12a 내지 도 12q는 일부 실시예들에 따른, 온도조절기를 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 13a 및 도 13b는 일부 실시예들에 따른, 온도조절기를 관리하는 방법들을 예시하는 흐름도이다.
도 14a 내지 도 14t는 일부 실시예들에 따른, 스피커를 포함하는 제어가능한 외부 디바이스들의 그룹을 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 15는 일부 실시예들에 따른, 스피커를 포함하는 제어가능한 외부 디바이스들의 그룹을 관리하는 방법들을 예시하는 흐름도이다.
도 16a 내지 도 16g는 일부 실시예들에 따른, 스피커를 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 17은 일부 실시예들에 따른, 스피커를 관리하는 방법들을 예시하는 흐름도이다.
도 18a 내지 도 18g는 일부 실시예들에 따른, 재생될 특정 유형의 사운드들을 요청하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 19는 일부 실시예들에 따른, 특정 유형의 사운드들을 재생하기 위해 전자 디바이스를 사용하는 방법들을 예시하는 흐름도이다.
이하의 설명은 예시적인 방법들, 파라미터들 등을 기재하고 있다. 그러나, 이러한 설명이 본 발명의 범주에 대한 제한으로서 의도되지 않고 그 대신에 예시적인 실시예들의 설명으로서 제공된다는 것을 인식해야 한다.
제어가능한 외부 디바이스들을 관리하기 위한 효율적인 방법들 및 인터페이스들을 제공하는 전자 디바이스들에 대한 필요성이 존재한다. 일부 실시예들에서, 전자 디바이스는 제어가능한 디바이스들의 시스템을 관리하기 위해 홈 스크린 상에 지정된(예컨대, 즐겨찾는) 제어가능한 디바이스들에 대한 액세스를 제공한다. 일부 실시예들에서, 사용자는 하나의 유형의 특성을 갖는 입력(예컨대, 탭(tap))을 사용하여 2개의 상태들(예컨대, 온/오프) 사이에서 상태를 토글링함으로써 디바이스를 대략적으로(coarsely) 제어하고, 상이한 특성을 갖는 입력(예컨대, 길게 누르기)을 사용하여 디바이스의 더 상세한 제어를 획득할 수 있다. 일부 실시예들에서, 디바이스들의 사용자-정의 컬렉션(예컨대, 장면(scene)들)은 사용자-정의 조건들에 응답하여 제어된다. 다양한 다른 기법들이 또한 설명된다. 그러한 기법들은 제어가능한 외부 디바이스들을 관리하는 사용자에 대한 인지적 부담을 감소시키며, 그에 의해, 생산성을 향상시킬 수 있다. 추가로, 그러한 기법들은 과다한 사용자 입력들에 달리 낭비되는 프로세서 및 배터리 전력을 감소시킬 수 있다.
아래에서, 도 1a 내지 도 1c, 도 2, 도 3, 도 4a, 도 4b, 및 도 5a 내지 도 5i는 제어가능한 외부 디바이스들을 관리하기 위한 기법들을 수행하기 위한 예시적인 디바이스들의 설명을 제공한다.
도 6a 내지 도 6r 및 도 8a 내지 도 8j는 제어가능한 외부 디바이스들을 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 7a, 도 7b, 도 9a, 및 도 9b는 일부 실시예들에 따른, 제어가능한 외부 디바이스들을 관리하는 방법들을 예시하는 흐름도들이다. 도 6a 내지 도 6r의 사용자 인터페이스들은 도 7a 및 도 7b의 프로세스들을 포함하여 하기에 기술되는 프로세스들을 예시하기 위해 사용된다. 도 8a 내지 도 8j의 사용자 인터페이스들은 도 9a 및 도 9b의 프로세스들을 포함하여 하기에 기술되는 프로세스들을 예시하기 위해 사용된다.
도 10a 내지 도 10ac는 그룹화된 제어가능한 외부 디바이스들을 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 11a 및 도 11b는 일부 실시예들에 따른, 그룹화된 제어가능한 외부 디바이스들을 관리하는 방법들을 예시하는 흐름도이다. 도 8a 내지 도 8d의 사용자 인터페이스들은 도 11a 및 도 11b의 프로세스들을 포함하여 하기에 기술되는 프로세스들을 예시하기 위해 사용된다.
도 12a 내지 도 12q는 온도조절기를 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 13a 및 도 13b는 일부 실시예들에 따른, 온도조절기를 관리하는 방법들을 예시하는 흐름도이다. 도 12a 내지 도 12q의 사용자 인터페이스들은 도 13a 및 도 13b의 프로세스들을 포함하여 아래에 설명되는 프로세스들을 예시하기 위해 사용된다.
도 14a 내지 도 14t는 스피커 및 제어가능한 외부 디바이스들의 그룹을 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 15는 일부 실시예들에 따른, 스피커 및 제어가능한 외부 디바이스들의 그룹을 관리하기 위한 사용자 인터페이스들의 방법들을 예시하는 흐름도이다. 도 14a 내지 도 14t의 사용자 인터페이스들은 도 15의 프로세스들을 포함하여 아래에 설명되는 프로세스들을 예시하기 위해 사용된다.
도 16a 내지 도 16g는 스피커를 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 17은 일부 실시예들에 따른, 스피커를 관리하는 방법들을 예시하는 흐름도이다. 도 16a 내지 도 16g의 사용자 인터페이스들은 도 17의 프로세스들을 포함하여 아래에 설명되는 프로세스들을 예시하기 위해 사용된다.
도 18a 내지 도 18g는 일부 실시예들에 따른, 재생될 특정 유형의 사운드들을 요청하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 19는 일부 실시예들에 따른, 재생될 특정 유형의 사운드들을 요청하는 방법들을 예시하는 흐름도이다. 도 18a 내지 도 18g의 사용자 인터페이스들은 도 19의 프로세스들을 포함하여 아래에 설명되는 프로세스들을 예시하기 위해 사용된다.
이하의 설명이 다양한 요소들을 기술하기 위해 "제1", "제2" 등과 같은 용어들을 사용하지만, 이러한 요소들이 그 용어들에 의해 제한되어서는 안 된다. 이러한 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들어, 기술된 다양한 실시예들의 범주로부터 벗어남이 없이, 제1 터치가 제2 터치로 지칭될 수 있고, 이와 유사하게, 제2 터치가 제1 터치로 지칭될 수 있다. 제1 터치 및 제2 터치는 양측 모두가 터치이지만, 그들이 동일한 터치인 것은 아니다.
본 명세서에서 다양하게 기술된 실시예들의 설명에 사용되는 용어는 특정 실시예들을 기술하는 목적만을 위한 것이고, 제한하려는 의도는 아니다. 다양한 기술된 실시예들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수의 형태("a", "an", 및 "the")는 문맥상 명백히 달리 나타내지 않는다면 복수의 형태도 마찬가지로 포함하려는 것으로 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 용어 "및/또는"은 열거되는 연관된 항목들 중 하나 이상의 항목들의 임의의 및 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 용어들 "포함한다(include)", "포함하는(including)", "포함한다(comprise)", 및/또는 "포함하는(comprising)"은, 본 명세서에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않음이 추가로 이해될 것이다.
용어 "~할 경우(if)"는, 선택적으로, 문맥에 따라 "~할 때(when)" 또는 "~할 시(upon)" 또는 "결정하는 것에 응답하여(in response to determining)" 또는 "검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석된다. 유사하게, 어구 "~라고 결정된 경우" 또는 "[언급된 조건 또는 이벤트가] 검출된 경우"는, 선택적으로, 문맥에 따라 "~라고 결정할 때" 또는 "~라고 결정하는 것에 응답하여" 또는 "[언급된 조건 또는 이벤트]를 검출할 시" 또는 "[언급된 조건 또는 이벤트]를 검출하는 것에 응답하여"를 의미하는 것으로 해석된다.
전자 디바이스들, 그러한 디바이스들에 대한 사용자 인터페이스들, 및 그러한 디바이스들을 사용하기 위한 연관된 프로세스들의 실시예들이 기술된다. 일부 실시예들에서, 디바이스는 PDA 및/또는 음악 재생기 기능들과 같은 다른 기능들을 또한 포함하는 휴대용 통신 디바이스, 예컨대 이동 전화기이다. 휴대용 다기능 디바이스들의 예시적인 실시예들은 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.(Apple Inc.)로부터의 아이폰(iPhone)®, 아이팟 터치(iPod Touch)®, 및 아이패드(iPad)® 디바이스들을 제한 없이 포함한다. 터치 감응형 표면들(예컨대, 터치 스크린 디스플레이들 및/또는 터치패드들)을 갖는 랩톱 또는 태블릿 컴퓨터들과 같은 다른 휴대용 전자 디바이스들이 선택적으로 사용된다. 일부 실시예들에서, 디바이스는 휴대용 통신 디바이스가 아니라 터치 감응형 표면(예컨대, 터치 스크린 디스플레이 및/또는 터치패드)을 갖는 데스크톱 컴퓨터임이 또한 이해되어야 한다.
이하의 논의에서, 디스플레이 및 터치 감응형 표면을 포함하는 전자 디바이스가 기술된다. 그러나, 전자 디바이스가 선택적으로 물리적 키보드, 마우스 및/또는 조이스틱과 같은 하나 이상의 다른 물리적 사용자 인터페이스 디바이스들을 포함한다는 것이 이해되어야 한다.
디바이스는 전형적으로 다음 중 하나 이상과 같은 다양한 애플리케이션들을 지원한다: 드로잉 애플리케이션, 프레젠테이션 애플리케이션, 워드 프로세싱 애플리케이션, 웹사이트 제작 애플리케이션, 디스크 저작 애플리케이션, 스프레드시트 애플리케이션, 게임 애플리케이션, 전화 애플리케이션, 화상 회의 애플리케이션, 이메일 애플리케이션, 인스턴트 메시징 애플리케이션, 운동 지원 애플리케이션, 사진 관리 애플리케이션, 디지털 카메라 애플리케이션, 디지털 비디오 카메라 애플리케이션, 웹 브라우징 애플리케이션, 디지털 음악 재생기 애플리케이션, 및/또는 디지털 비디오 재생기 애플리케이션.
디바이스 상에서 실행되는 다양한 애플리케이션들은, 선택적으로, 터치 감응형 표면과 같은 적어도 하나의 보편적인 물리적 사용자 인터페이스 디바이스를 사용한다. 터치 감응형 표면의 하나 이상의 기능들뿐만 아니라 디바이스 상에 디스플레이되는 대응하는 정보는, 선택적으로, 하나의 애플리케이션으로부터 다음 애플리케이션으로 그리고/또는 각각의 애플리케이션 내에서 조정되고/되거나 변경된다. 이러한 방식으로, 디바이스의 (터치 감응형 표면과 같은) 보편적인 물리적 아키텍처는, 선택적으로, 사용자에게 직관적이고 투명한 사용자 인터페이스들을 이용하여 다양한 애플리케이션들을 지원한다.
이제, 터치 감응형 디스플레이들을 갖는 휴대용 디바이스들의 실시예들에 주목한다. 도 1a는 일부 실시예들에 따른, 터치 감응형 디스플레이 시스템(112)을 갖는 휴대용 다기능 디바이스(100)를 예시하는 블록도이다. 터치 감응형 디스플레이(112)는 때때로 편의상 "터치 스크린"이라고 지칭되고, 때때로 "터치 감응형 디스플레이 시스템"으로 알려져 있거나 또는 그렇게 지칭된다. 디바이스(100)는 메모리(102)(선택적으로, 하나 이상의 컴퓨터 판독가능 저장 매체들을 포함함), 메모리 제어기(122), 하나 이상의 프로세싱 유닛(CPU)들(120), 주변기기 인터페이스(118), RF 회로부(108), 오디오 회로부(110), 스피커(111), 마이크로폰(113), 입/출력(I/O) 서브시스템(106), 다른 입력 제어 디바이스들(116), 및 외부 포트(124)를 포함한다. 디바이스(100)는 선택적으로 하나 이상의 광 센서(optical sensor)들(164)을 포함한다. 디바이스(100)는 선택적으로, 디바이스(100)(예컨대, 디바이스(100)의 터치 감응형 디스플레이 시스템(112)과 같은 터치 감응형 표면) 상에서의 접촉들의 세기를 검출하기 위한 하나 이상의 접촉 세기 센서들(165)을 포함한다. 디바이스(100)는 선택적으로, 디바이스(100) 상의 촉각적 출력들을 생성하기 위한 (예를 들어, 디바이스(100)의 터치 감응형 디스플레이 시스템(112) 또는 디바이스(300)의 터치패드(355)와 같은 터치 감응형 표면 상의 촉각적 출력들을 생성하기 위한) 하나 이상의 촉각적 출력 생성기들(167)을 포함한다. 이들 컴포넌트는 선택적으로 하나 이상의 통신 버스들 또는 신호 라인들(103)을 통해 통신한다.
명세서 및 청구범위에서 사용되는 바와 같이, 터치 감응형 표면 상에서의 접촉의 "세기"라는 용어는 터치 감응형 표면 상에서의 접촉(예컨대, 손가락 접촉)의 힘 또는 압력(단위 면적당 힘), 또는 터치 감응형 표면 상에서의 접촉의 힘 또는 압력에 대한 대체물(대용물(proxy))을 지칭한다. 접촉의 세기는, 적어도 4개의 구별되는 값들을 포함하고 더 전형적으로는 수백 개(예컨대, 적어도 256개)의 구별되는 값들을 포함하는 일정 범위의 값들을 갖는다. 접촉의 세기는 다양한 접근법들, 및 다양한 센서들 또는 센서들의 조합들을 이용하여 선택적으로 결정(또는 측정)된다. 예를 들어, 터치 감응형 표면 아래의 또는 그에 인접한 하나 이상의 힘 센서들은 터치 감응형 표면 상의 다양한 지점들에서 힘을 측정하는 데 선택적으로 사용된다. 일부 구현예들에서는, 다수의 힘 센서들로부터의 힘 측정치들이 접촉의 추정되는 힘을 결정하기 위해 조합(예컨대, 가중 평균)된다. 유사하게, 스타일러스의 압력 감응형 팁(tip)이 터치 감응형 표면 상의 스타일러스의 압력을 결정하는 데 선택적으로 사용된다. 대안으로, 터치 감응형 표면 상에서 검출된 접촉 면적의 크기 및/또는 그에 대한 변화들, 접촉 부근의 터치 감응형 표면의 정전용량 및/또는 그에 대한 변화들, 및/또는 접촉 부근의 터치 감응형 표면의 저항 및/또는 그에 대한 변화들은 터치 감응형 표면 상에서의 접촉의 힘 또는 압력에 대한 대체물로서 선택적으로 이용된다. 일부 구현예들에서, 접촉 힘 또는 압력에 대한 대체 측정치들은 세기 임계치가 초과되었는지의 여부를 결정하는 데 직접 이용된다(예컨대, 세기 임계치는 대체 측정치들에 대응하는 단위로 기술된다). 일부 구현예들에서, 접촉 힘 또는 압력에 대한 대체 측정치들은 추정된 힘 또는 압력으로 변환되고, 추정된 힘 또는 압력은 세기 임계치가 초과되었는지의 여부를 결정하기 위해 이용된다(예를 들어, 세기 임계치는 압력의 단위로 측정된 압력 임계치이다). 사용자 입력의 속성으로서 접촉의 세기를 사용하는 것은, 그렇지 않았으면 어포던스들을 (예를 들어, 터치 감응형 디스플레이 상에) 디스플레이하고/하거나 (예를 들어, 터치 감응형 디스플레이, 터치 감응형 표면, 또는 노브(knob) 또는 버튼과 같은 물리적/기계적 제어부를 통해) 사용자 입력을 수신하기 위하여 한정된 실면적을 갖는 감소된 크기의 디바이스 상에서 사용자에 의해 액세스 가능하지 않을 수 있는 부가적인 디바이스 기능에의 사용자 액세스를 가능하게 한다.
명세서 및 청구범위에 사용되는 바와 같이, "촉각적 출력"이라는 용어는 디바이스의 이전 위치에 대한 디바이스의 물리적 변위, 디바이스의 다른 컴포넌트(예컨대, 하우징)에 대한 디바이스의 컴포넌트(예컨대, 터치 감응형 표면)의 물리적 변위, 또는 사용자의 촉각을 이용하여 사용자에 의해 검출될 디바이스의 질량 중심에 대한 컴포넌트의 변위를 지칭한다. 예컨대, 디바이스 또는 디바이스의 컴포넌트가 터치에 민감한 사용자의 표면(예컨대, 사용자의 손의 손가락, 손바닥, 또는 다른 부위)과 접촉하는 상황에서, 물리적 변위에 의해 생성된 촉각적 출력은 사용자에 의해 디바이스 또는 디바이스의 컴포넌트의 물리적 특성들의 인지된 변화에 대응하는 촉감(tactile sensation)으로서 해석될 것이다. 예컨대, 터치 감응형 표면(예컨대, 터치 감응형 디스플레이 또는 트랙패드)의 이동은, 선택적으로, 사용자에 의해 물리적 액추에이터 버튼의 "다운 클릭" 또는 "업 클릭"으로서 해석된다. 일부 경우에, 사용자는 사용자의 이동에 의해 물리적으로 눌리는(예컨대, 변위되는) 터치 감응형 표면과 연관된 물리적 액추에이터 버튼의 이동이 없는 경우에도 "다운 클릭" 또는 "업 클릭"과 같은 촉감을 느낄 것이다. 다른 예로서, 터치 감응형 표면의 이동은, 터치 감응형 표면의 평탄성의 변화가 없는 경우에도, 선택적으로, 사용자에 의해 터치 감응형 표면의 "거칠기(roughness)"로서 해석 또는 감지된다. 사용자에 의한 터치의 이러한 해석들이 사용자의 개별화된 감각 인지(sensory perception)에 영향을 받기 쉬울 것이지만, 대다수의 사용자들에게 보편적인 많은 터치 감각 인지가 있다. 따라서, 촉각적 출력이 사용자의 특정 감각 인지(예컨대, "업 클릭", "다운 클릭", "거칠기")에 대응하는 것으로서 기술될 때, 달리 언급되지 않는다면, 생성된 촉각적 출력은 전형적인(또는 평균적인) 사용자에 대한 기술된 감각 인지를 생성할 디바이스 또는 그의 컴포넌트의 물리적 변위에 대응한다.
디바이스(100)는 휴대용 다기능 디바이스의 일례일 뿐이고, 디바이스(100)는, 선택적으로, 도시된 것보다 더 많거나 더 적은 컴포넌트들을 갖거나, 선택적으로, 둘 이상의 컴포넌트들을 조합하거나, 또는 선택적으로 컴포넌트들의 상이한 구성 또는 배열을 갖는다는 것이 이해되어야 한다. 도 1a에 도시된 다양한 컴포넌트들은 하나 이상의 신호 프로세싱 회로 및/또는 ASIC(application-specific integrated circuit)을 비롯한, 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어 둘 모두의 조합으로 구현된다.
메모리(102)는, 선택적으로, 고속 랜덤 액세스 메모리를 포함하고, 또한 선택적으로, 하나 이상의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 다른 비휘발성 솔리드 스테이트 메모리 디바이스(non-volatile solid-state memory device)와 같은 비휘발성 메모리를 포함한다. 메모리 제어기(122)는 선택적으로 디바이스(100)의 다른 컴포넌트들에 의한 메모리(102)에의 액세스를 제어한다.
주변기기 인터페이스(118)는 디바이스의 입력 및 출력 주변기기들을 CPU(120) 및 메모리(102)에 커플링시키는 데 사용될 수 있다. 하나 이상의 프로세서들(120)은 디바이스(100)에 대한 다양한 기능들을 수행하기 위해 그리고 데이터를 프로세싱하기 위해 메모리(102)에 저장된 다양한 소프트웨어 프로그램들 및/또는 명령어들의 세트들을 구동 또는 실행시킨다. 일부 실시예들에서, 주변기기 인터페이스(118), CPU(120) 및 메모리 제어기(122)는, 선택적으로, 칩(104)과 같은 단일 칩 상에 구현된다. 일부 다른 실시예들에서, 이들은 선택적으로 별개의 칩들 상에서 구현된다.
RF(radio frequency) 회로부(108)는 전자기 신호들이라고도 지칭되는 RF 신호들을 수신 및 송신한다. RF 회로부(108)는 전기 신호들을 전자기 신호들로/로부터 변환하고, 전자기 신호들을 통해 통신 네트워크들 및 다른 통신 디바이스들과 통신한다. RF 회로부(108)는, 선택적으로, 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 프로세서, CODEC 칩셋, SIM(subscriber identity module) 카드, 메모리 등을 포함하지만 이들로 제한되지 않는, 이러한 기능들을 수행하기 위한 잘 알려진 회로부를 포함한다. RF 회로부(108)는, 선택적으로, 네트워크들, 예컨대 월드 와이드 웹(WWW)으로도 지칭되는 인터넷, 인트라넷, 및/또는 무선 네트워크, 예컨대 셀룰러 전화 네트워크, 무선 LAN(local area network) 및/또는 MAN(metropolitan area network), 및 다른 디바이스들과 무선 통신에 의해 통신한다. RF 회로부(108)는, 선택적으로, 예컨대 단거리 통신 무선기기(short-range communication radio)에 의해, 근거리 통신(near field communication, NFC) 필드들을 검출하기 위한 잘 알려진 회로부를 포함한다. 무선 통신은, 선택적으로, GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), HSDPA(high-speed downlink packet access), HSUPA(high-speed uplink packet access), EV-DO(Evolution, Data-Only), HSPA, HSPA+, DC-HSPDA(Dual-Cell HSPA), LTE(long term evolution), NFC(near field communication), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스(Bluetooth), BTLE(Bluetooth Low Energy), Wi-Fi(Wireless Fidelity)(예컨대, IEEE 802.11a, IEEE 802.11b, IEEE 802.11g, IEEE 802.11n 및/또는 IEEE 802.11ac), VoIP(voice over Internet Protocol), Wi-MAX, 이메일용 프로토콜(예컨대, IMAP(Internet message access protocol) 및/또는 POP(post office protocol)), 인스턴트 메시징(예컨대, XMPP(extensible messaging and presence protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service)), 및/또는 SMS(Short Message Service), 또는 본 문서의 출원일 당시 아직 개발되지 않은 통신 프로토콜들을 비롯한, 임의의 다른 적합한 통신 프로토콜을 포함하지만 이들로 제한되지는 않는, 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 이용한다.
오디오 회로부(110), 스피커(111), 및 마이크로폰(113)은 사용자와 디바이스(100) 사이에서 오디오 인터페이스를 제공한다. 오디오 회로부(110)는 주변기기 인터페이스(118)로부터 오디오 데이터를 수신하고, 그 오디오 데이터를 전기 신호로 변환하고, 그 전기 신호를 스피커(111)에 송신한다. 스피커(111)는 전기 신호를 사람이 들을 수 있는 음파로 변환한다. 오디오 회로부(110)는 또한 마이크로폰(113)에 의해 음파로부터 변환된 전기 신호를 수신한다. 오디오 회로부(110)는 전기 신호를 오디오 데이터로 변환하고, 프로세싱을 위해 오디오 데이터를 주변기기 인터페이스(118)에 송신한다. 오디오 데이터는, 선택적으로, 주변기기 인터페이스(118)에 의해 메모리(102) 및/또는 RF 회로부(108)로부터 인출되고/되거나 메모리(102) 및/또는 RF 회로부(108)로 전송된다. 일부 실시예들에서, 오디오 회로부(110)는 또한 헤드셋 잭(예컨대, 도 2의 212)을 포함한다. 헤드셋 잭은 출력-전용 헤드폰들, 또는 출력(예컨대, 한쪽 또는 양쪽 귀용 헤드폰) 및 입력(예컨대, 마이크로폰) 양쪽 모두를 갖는 헤드셋과 같은 분리가능한 오디오 입/출력 주변기기들과 오디오 회로부(110) 사이의 인터페이스를 제공한다.
I/O 서브시스템(106)은 터치 스크린(112) 및 다른 입력 제어 디바이스들(116)과 같은, 디바이스(100) 상의 입/출력 주변기기들을 주변기기 인터페이스(118)에 커플링시킨다. I/O 서브시스템(106)은 선택적으로 디스플레이 제어기(156), 광 센서 제어기(158), 깊이 카메라 제어기(169), 세기 센서 제어기(159), 햅틱(haptic) 피드백 제어기(161), 및 다른 입력 또는 제어 디바이스들을 위한 하나 이상의 입력 제어기들(160)을 포함한다. 하나 이상의 입력 제어기들(160)은 다른 입력 제어 디바이스들(116)로부터/로 전기 신호들을 수신/송신한다. 다른 입력 제어 디바이스들(116)은 선택적으로 물리적 버튼들(예컨대, 푸시 버튼(push button), 로커 버튼(rocker button) 등), 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휠 등을 포함한다. 일부 대안적인 실시예들에서, 입력 제어기(들)(160)는, 선택적으로, 키보드, 적외선 포트, USB 포트, 및 마우스와 같은 포인터 디바이스 중 임의의 것에 커플링된다(또는 어떤 것에도 커플링되지 않는다). 하나 이상의 버튼들(예컨대, 도 2의 208)은, 선택적으로, 스피커(111) 및/또는 마이크로폰(113)의 음량 제어를 위한 업/다운 버튼을 포함한다. 하나 이상의 버튼들은 선택적으로 푸시 버튼(예컨대, 도 2의 206)을 포함한다.
푸시 버튼의 빠른 누르기(quick press)는 선택적으로 터치 스크린(112)의 잠금을 풀거나, 디바이스의 잠금을 해제하기 위해 선택적으로 터치 스크린 상의 제스처들을 사용하는 프로세스들을 시작하며, 이는 2005년 12월 23일자로 출원된 미국 특허 출원 제11/322,549호, "Unlocking a Device by Performing Gestures on an Unlock Image"(미국 특허 제7,657,849호)에 기술된 바와 같으며, 이는 이로써 그 전체가 참고로 본 명세서에 포함된다. 푸시 버튼(예컨대, 206)의 더 길게 누르기는 선택적으로 디바이스(100)의 전원을 온(ON) 또는 오프(OFF)한다. 하나 이상의 버튼의 기능성은, 선택적으로, 사용자 맞춤화가 가능하다. 터치 스크린(112)은 가상 또는 소프트 버튼들 및 하나 이상의 소프트 키보드들을 구현하는 데 사용된다.
터치 감응형 디스플레이(112)는 디바이스와 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 제공한다. 디스플레이 제어기(156)는 터치 스크린(112)으로부터/으로 전기 신호들을 수신하고/하거나 송신한다. 터치 스크린(112)은 사용자에게 시각적 출력을 디스플레이한다. 시각적 출력은 선택적으로 그래픽들, 텍스트, 아이콘들, 비디오 및 이들의 임의의 조합(총칭하여 "그래픽들"로 지칭됨)을 포함한다. 일부 실시예들에서, 시각적 출력의 일부 또는 전부가 선택적으로 사용자 인터페이스 객체들에 대응한다.
터치 스크린(112)은 햅틱 및/또는 촉각적 접촉에 기초하여 사용자로부터의 입력을 수용하는 터치 감응형 표면, 센서 또는 센서들의 세트를 갖는다. 터치 스크린(112) 및 디스플레이 제어기(156)는 (메모리(102) 내의 임의의 연관된 모듈들 및/또는 명령어들의 세트들과 함께) 터치 스크린(112) 상에서의 접촉(및 접촉의 임의의 이동 또는 중단)을 검출하고, 검출된 접촉을 터치 스크린(112) 상에 디스플레이된 사용자 인터페이스 객체들(예컨대, 하나 이상의 소프트 키들, 아이콘들, 웹 페이지들 또는 이미지들)과의 상호작용으로 변환한다. 예시적인 실시예에서, 터치 스크린(112)과 사용자 사이의 접촉 지점은 사용자의 손가락에 대응한다.
터치 스크린(112)은 선택적으로 LCD(liquid crystal display) 기술, LPD(light emitting polymer display) 기술, 또는 LED(light emitting diode) 기술을 이용하지만, 다른 실시예들에서는 다른 디스플레이 기술들이 이용된다. 터치 스크린(112) 및 디스플레이 제어기(156)는, 선택적으로, 용량성, 저항성, 적외선, 및 표면 음향파 기술들뿐만 아니라 다른 근접 센서 어레이들, 또는 터치 스크린(112)과의 하나 이상의 접촉 지점을 결정하기 위한 다른 요소들을 포함하지만 이들로 한정되지 않는, 현재 공지되어 있거나 추후에 개발되는 복수의 터치 감지 기술 중 임의의 것을 사용하여, 접촉 및 그의 임의의 이동 또는 중단을 검출한다. 예시적인 실시예에서, 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.로부터의 아이폰® 및 아이팟 터치®에서 발견되는 것과 같은 투영형 상호 정전용량 감지 기술(projected mutual capacitance sensing technology)이 이용된다.
터치 스크린(112)의 일부 실시예들에서의 터치 감응형 디스플레이는, 선택적으로, 하기 미국 특허들 제6,323,846호(Westerman 외), 제6,570,557호(Westerman 외), 및/또는 제6,677,932호(Westerman), 및/또는 미국 특허 공개 공보 제2002/0015024A1호에 기재된 다중-터치 감응형 터치패드들과 유사하며, 이들 각각은 그 전체가 본 명세서에 참고로 포함된다. 그러나, 터치 스크린(112)은 디바이스(100)로부터의 시각적 출력을 디스플레이하는 반면, 터치 감응형 터치패드들은 시각적 출력을 제공하지 않는다.
터치 스크린(112)의 일부 실시예들에서의 터치 감응형 디스플레이는 하기 출원들에 기술되어 있다: (1) 2006년 5월 2일자로 출원된 미국 특허 출원 제11/381,313호, "Multipoint Touch Surface Controller"; (2) 2004년 5월 6일자로 출원된 미국 특허 출원 제10/840,862호, "Multipoint Touchscreen"; (3) 2004년 7월 30일자로 출원된 미국 특허 출원 제10/903,964호, "Gestures For Touch Sensitive Input Devices"; (4) 2005년 1월 31일자로 출원된 미국 특허 출원 제11/048,264호, "Gestures For Touch Sensitive Input Devices"; (5) 2005년 1월 18일자로 출원된 미국 특허 출원 제11/038,590호, "Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices"; (6) 2005년 9월 16일자로 출원된 미국 특허 출원 제11/228,758호, "Virtual Input Device Placement On A Touch Screen User Interface"; (7) 2005년 9월 16일자로 출원된 미국 특허 출원 제11/228,700호, "Operation Of A Computer With A Touch Screen Interface"; (8) 2005년 9월 16일자로 출원된 미국 특허 출원 제11/228,737호, "Activating Virtual Keys Of A Touch-Screen Virtual Keyboard"; 및 (9) 2006년 3월 3일자로 출원된 미국 특허 출원 제11/367,749호, "Multi-Functional Hand-Held Device". 이 출원들 모두는 그 전체가 본 명세서에 참고로 포함된다.
터치 스크린(112)은, 선택적으로, 100 dpi를 초과하는 비디오 해상도를 갖는다. 일부 실시예들에서, 터치 스크린은 대략 160 dpi의 비디오 해상도를 갖는다. 사용자는, 선택적으로, 스타일러스, 손가락 등과 같은 임의의 적합한 물체 또는 부속물을 사용하여 터치 스크린(112)과 접촉한다. 일부 실시예들에서, 사용자 인터페이스는 주로 손가락 기반 접촉들 및 제스처들을 이용하여 동작하도록 설계되는데, 이는 터치 스크린 상에서의 손가락의 더 넓은 접촉 면적으로 인해 스타일러스 기반 입력보다 덜 정밀할 수 있다. 일부 실시예들에서, 디바이스는 대략적인 손가락 기반 입력을 사용자가 원하는 액션(action)들을 수행하기 위한 정밀한 포인터/커서 위치 또는 커맨드로 변환한다.
일부 실시예들에서, 터치 스크린에 추가하여, 디바이스(100)는 선택적으로 특정 기능들을 활성화하거나 비활성화하기 위한 터치패드를 포함한다. 일부 실시예들에서, 터치패드는, 터치 스크린과는 달리, 시각적 출력을 디스플레이하지 않는 디바이스의 터치 감응형 영역이다. 터치패드는, 선택적으로, 터치 스크린(112)과는 별개인 터치 감응형 표면 또는 터치 스크린에 의해 형성된 터치 감응형 표면의 연장부이다.
디바이스(100)는 또한 다양한 컴포넌트들에 전력을 공급하기 위한 전력 시스템(162)을 포함한다. 전력 시스템(162)은, 선택적으로, 전력 관리 시스템, 하나 이상의 전원(예컨대, 배터리, 교류 전류(alternating current, AC)), 재충전 시스템, 전력 고장 검출 회로, 전력 변환기 또는 인버터, 전력 상태 표시자(예컨대, 발광 다이오드(LED)), 및 휴대용 디바이스들 내에서의 전력의 생성, 관리 및 분배와 연관된 임의의 다른 컴포넌트들을 포함한다.
디바이스(100)는 또한 선택적으로 하나 이상의 광 센서(164)를 포함한다. 도 1a는 I/O 서브시스템(106) 내의 광 센서 제어기(158)에 커플링된 광 센서를 도시한다. 광 센서(164)는 선택적으로 CCD(charge-coupled device) 또는 CMOS(complementary metal-oxide semiconductor) 포토트랜지스터들을 포함한다. 광 센서(164)는 하나 이상의 렌즈들을 통해 투영되는, 주변환경으로부터의 광을 수광하고, 그 광을 이미지를 표현하는 데이터로 변환한다. 이미징 모듈(143)(카메라 모듈로도 지칭됨)과 함께, 광 센서(164)는 선택적으로, 정지 이미지들 또는 비디오를 캡처한다. 일부 실시예들에서, 광 센서는 디바이스 전면 상의 터치 스크린 디스플레이(112)의 반대편인 디바이스(100)의 배면 상에 위치되어, 터치 스크린 디스플레이가 정지 및/또는 비디오 이미지 획득을 위한 뷰파인더로서 사용될 수 있게 한다. 일부 실시예들에서, 광 센서는 디바이스의 전면 상에 위치됨으로써, 사용자가 터치 스크린 디스플레이 상에서 다른 화상 회의 참가자들을 보는 동안, 선택적으로, 사용자의 이미지가 화상 회의를 위해 얻어진다. 일부 실시예들에서, 광 센서(164)의 위치는 (예를 들어, 디바이스 하우징 내의 렌즈 및 센서를 회전시킴으로써) 사용자에 의해 변경될 수 있어, 단일 광 센서(164)가 터치 스크린 디스플레이와 함께 화상 회의와 정지 및/또는 비디오 이미지 획득 둘 모두에 사용되게 한다.
디바이스(100)는 또한, 선택적으로, 하나 이상의 깊이 카메라 센서들(175)을 포함한다. 도 1a는 I/O 서브시스템(106) 내의 깊이 카메라 제어기(169)에 커플링된 깊이 카메라 센서를 도시한다. 깊이 카메라 센서(175)는 시점(예컨대, 깊이 카메라 센서)으로부터 장면 내의 물체(예컨대, 얼굴)의 3차원 모델을 생성하기 위해 주변환경으로부터 데이터를 수신한다. 일부 실시예들에서, 이미징 모듈(143)(카메라 모듈로 또한 지칭됨)과 함께, 깊이 카메라 센서(175)는 선택적으로, 이미징 모듈(143)에 의해 캡처된 이미지의 상이한 부분들의 깊이 지도를 결정하는 데 사용된다. 일부 실시예들에서, 깊이 카메라 센서는 디바이스(100)의 전면 상에 위치되어, 사용자가 터치 스크린 디스플레이 상에서 다른 화상 회의 참여자들을 보는 동안 그리고 깊이 지도 데이터를 이용하여 셀피(selfie)들을 캡처하도록, 선택적으로 깊이 정보를 갖는 사용자의 이미지가 화상 회의를 위해 획득되게 한다. 일부 실시예들에서, 깊이 카메라 센서(175)는 디바이스의 배면 상에, 또는 디바이스(100)의 배면 및 전면 상에 위치된다. 일부 실시예들에서, 깊이 카메라 센서(175)의 위치는 (예컨대, 디바이스 하우징 내의 렌즈 및 센서를 회전시킴으로써) 사용자에 의해 변경될 수 있어, 깊이 카메라 센서(175)가 터치 스크린 디스플레이와 함께 화상 회의와 정지 및/또는 비디오 이미지 획득 둘 모두에 사용되게 한다.
디바이스(100)는, 또한, 선택적으로, 하나 이상의 접촉 세기 센서들(165)을 포함한다. 도 1a는 I/O 서브시스템(106) 내의 세기 센서 제어기(159)에 커플링된 접촉 세기 센서를 도시한다. 접촉 세기 센서(165)는, 선택적으로, 하나 이상의 압전 저항 스트레인 게이지, 용량성 힘 센서, 전기적 힘 센서, 압전 힘 센서, 광학적 힘 센서, 용량성 터치 감응형 표면, 또는 다른 세기 센서들(예컨대, 터치 감응형 표면 상에서의 접촉의 힘(또는 압력)을 측정하는 데 사용되는 센서들)을 포함한다. 접촉 세기 센서(165)는 주변환경으로부터 접촉 세기 정보(예컨대, 압력 정보 또는 압력 정보에 대한 대용물)를 수신한다. 일부 실시예들에서, 적어도 하나의 접촉 세기 센서는 터치 감응형 표면(예컨대, 터치 감응형 디스플레이 시스템(112))과 함께 위치(collocate)되거나 그에 근접한다. 일부 실시예들에서, 적어도 하나의 접촉 세기 센서는 디바이스(100)의 전면 상에 위치된 터치 스크린 디스플레이(112)의 반대편인 디바이스(100)의 배면 상에 위치된다.
디바이스(100)는 또한 선택적으로 하나 이상의 근접 센서(166)를 포함한다. 도 1a는 주변기기 인터페이스(118)에 커플링된 근접 센서(166)를 도시한다. 대안으로, 근접 센서(166)는, 선택적으로, I/O 서브시스템(106) 내의 입력 제어기(160)에 커플링된다. 근접 센서(166)는, 선택적으로, 미국 특허 출원들 제11/241,839호, "Proximity Detector In Handheld Device"; 제11/240,788호, "Proximity Detector In Handheld Device"; 제11/620,702호, "Using Ambient Light Sensor To Augment Proximity Sensor Output"; 제11/586,862호, "Automated Response To And Sensing Of User Activity In Portable Devices"; 및 제11/638,251호, "Methods And Systems For Automatic Configuration Of Peripherals"에 기술된 바와 같이 수행되며, 이들은 그 전체가 본 명세서에 참고로 포함된다. 일부 실시예들에서, 근접 센서는 다기능 디바이스가 사용자의 귀 근처에 위치될 때(예컨대, 사용자가 전화 통화를 하고 있을 때) 터치 스크린(112)을 끄고 디스에이블(disable)시킨다.
디바이스(100)는, 또한, 선택적으로, 하나 이상의 촉각적 출력 생성기들(167)을 포함한다. 도 1a는 I/O 서브시스템(106) 내의 햅틱 피드백 제어기(161)에 커플링된 촉각적 출력 생성기를 도시한다. 촉각적 출력 생성기(167)는, 선택적으로, 스피커들 또는 다른 오디오 컴포넌트들과 같은 하나 이상의 전자음향 디바이스들 및/또는 모터, 솔레노이드, 전기활성 중합체, 압전 액추에이터, 정전 액추에이터, 또는 다른 촉각적 출력 생성 컴포넌트(예컨대, 전기 신호들을 디바이스 상의 촉각적 출력들로 변환하는 컴포넌트)와 같은, 에너지를 선형 모션(linear motion)으로 변환하는 전자기계 디바이스들을 포함한다. 접촉 세기 센서(165)는 햅틱 피드백 모듈(133)로부터 촉각적 피드백 생성 명령어들을 수신하여 디바이스(100)의 사용자에 의해 감지될 수 있는 디바이스(100) 상의 촉각적 출력들을 생성한다. 일부 실시예들에서, 적어도 하나의 촉각적 출력 생성기는 터치 감응형 표면(예컨대, 터치 감응형 디스플레이 시스템(112))과 함께 위치되거나 그에 근접하며, 선택적으로, 터치 감응형 표면을 수직으로(예컨대, 디바이스(100)의 표면 내/외로) 또는 측방향으로(예컨대, 디바이스(100)의 표면과 동일한 평면에서 전후로) 이동시킴으로써 촉각적 출력을 생성한다. 일부 실시예들에서, 적어도 하나의 촉각적 출력 생성기 센서는 디바이스(100)의 전면 상에 위치된 터치 스크린 디스플레이(112)의 반대편인 디바이스(100)의 배면 상에 위치된다.
디바이스(100)는 또한 선택적으로 하나 이상의 가속도계(168)를 포함한다. 도 1a는 주변기기 인터페이스(118)에 커플링된 가속도계(168)를 도시한다. 대안으로, 가속도계(168)는 선택적으로 I/O 서브시스템(106) 내의 입력 제어기(160)에 커플링된다. 가속도계(168)는, 선택적으로, 미국 특허 공개 공보 제20050190059호, "Acceleration-based Theft Detection System for Portable Electronic Devices" 및 미국 특허 공개 공보 제20060017692호, "Methods And Apparatuses For Operating A Portable Device Based On An Accelerometer"에 기술된 바와 같이 수행되며, 이들 양측 모두는 그들 전체가 참고로 본 명세서에 포함된다. 일부 실시예들에서, 하나 이상의 가속도계들로부터 수신된 데이터의 분석에 기초하여 터치 스크린 디스플레이 상에 세로보기(portrait view) 또는 가로보기(landscape view)로 정보가 디스플레이된다. 디바이스(100)는, 선택적으로, 가속도계(들)(168)에 추가하여, 디바이스(100)의 위치 및 배향(예컨대, 세로 또는 가로)에 관한 정보를 획득하기 위한 자력계 및 GPS(또는 GLONASS 또는 다른 글로벌 내비게이션 시스템) 수신기를 포함한다.
일부 실시예들에서, 메모리(102)에 저장된 소프트웨어 컴포넌트들은 운영 체제(126), 통신 모듈(또는 명령어들의 세트)(128), 접촉/모션 모듈(또는 명령어들의 세트)(130), 그래픽 모듈(또는 명령어들의 세트)(132), 텍스트 입력 모듈(또는 명령어들의 세트)(134), GPS 모듈(또는 명령어들의 세트)(135), 및 애플리케이션들(또는 명령어들의 세트들)(136)을 포함한다. 게다가, 일부 실시예들에서, 메모리(도 1a의 102 또는 도 3의 370)는 도 1a 및 도 3에 도시된 바와 같이 디바이스/글로벌 내부 상태(157)를 저장한다. 디바이스/글로벌 내부 상태(157)는, 존재하는 경우, 어느 애플리케이션들이 현재 활성 상태인지를 나타내는 활성 애플리케이션 상태; 어떤 애플리케이션들, 뷰들 또는 다른 정보가 터치 스크린 디스플레이(112)의 다양한 영역들을 점유하는지를 나타내는 디스플레이 상태; 디바이스의 다양한 센서들 및 입력 제어 디바이스들(116)로부터 획득된 정보를 포함하는 센서 상태; 및 디바이스의 위치 및/또는 자세에 관한 위치 정보 중 하나 이상을 포함한다.
운영 체제(126)(예컨대, Darwin, RTXC, LINUX, UNIX, OS X, iOS, WINDOWS, 또는 VxWorks와 같은 임베디드 운영 체제)는 일반적인 시스템 태스크들(예컨대, 메모리 관리, 저장 디바이스 제어, 전력 관리 등)을 제어 및 관리하기 위한 다양한 소프트웨어 컴포넌트들 및/또는 드라이버들을 포함하고, 다양한 하드웨어와 소프트웨어 컴포넌트들 사이의 통신을 용이하게 한다.
통신 모듈(128)은 하나 이상의 외부 포트(124)를 통한 다른 디바이스들과의 통신을 가능하게 하고, 또한 RF 회로부(108) 및/또는 외부 포트(124)에 의해 수신되는 데이터를 처리하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다. 외부 포트(124)(예컨대, USB, 파이어와이어(FIREWIRE) 등)는 다른 디바이스들에 직접적으로 또는 네트워크(예컨대, 인터넷, 무선 LAN 등)를 통해 간접적으로 커플링하도록 구성된다. 일부 실시예들에서, 외부 포트는 아이팟®(애플 인크.의 상표) 디바이스들에서 사용되는 30-핀 커넥터와 동일하거나 유사하고/하거나 이와 호환가능한 멀티-핀(예컨대, 30-핀) 커넥터이다.
접촉/모션 모듈(130)은, 선택적으로, (디스플레이 제어기(156)와 함께) 터치 스크린(112), 및 다른 터치 감응형 디바이스들(예컨대, 터치패드 또는 물리적 클릭 휠)과의 접촉을 검출한다. 접촉/모션 모듈(130)은 접촉이 발생했는지의 여부를 결정하는 것(예컨대, 손가락-다운 이벤트(finger-down event)를 검출하는 것), 접촉의 세기(예컨대, 접촉의 힘 또는 압력, 또는 접촉의 힘 또는 압력에 대한 대체물)를 결정하는 것, 접촉의 이동이 있는지의 여부를 결정하여 터치 감응형 표면을 가로지르는 이동을 추적하는 것(예컨대, 하나 이상의 손가락-드래깅 이벤트(finger-dragging event)들을 검출하는 것), 및 접촉이 중지되었는지의 여부를 결정하는 것(예컨대, 손가락-업 이벤트(finger-up event) 또는 접촉 중단을 검출하는 것)과 같은, 접촉의 검출과 관련된 다양한 동작들을 수행하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다. 접촉/모션 모듈(130)은 터치 감응형 표면으로부터 접촉 데이터를 수신한다. 일련의 접촉 데이터에 의해 표현되는 접촉 지점의 이동을 결정하는 것은, 선택적으로, 접촉 지점의 속력(크기), 속도(크기 및 방향), 및/또는 가속도(크기 및/또는 방향의 변화)를 결정하는 것을 포함한다. 이 동작들은, 선택적으로, 단일 접촉들(예컨대, 한 손가락 접촉들)에 또는 다수의 동시 접촉들(예컨대, "멀티터치"/다수의 손가락 접촉들)에 적용된다. 일부 실시예들에서, 접촉/모션 모듈(130) 및 디스플레이 제어기(156)는 터치패드 상의 접촉을 검출한다.
일부 실시예들에서, 접촉/모션 모듈(130)은 동작이 사용자에 의해 수행되었는지 여부를 결정하는 데 (예컨대, 사용자가 아이콘에 대해 "클릭"했는지 여부를 결정하는 데) 하나 이상의 세기 임계치들의 세트를 이용한다. 일부 실시예들에서, 적어도 세기 임계치들의 서브세트가 소프트웨어 파라미터들에 따라 결정된다(예컨대, 세기 임계치들은 특정 물리적 액추에이터들의 활성화 임계치들에 의해 결정되지 않으며, 디바이스(100)의 물리적 하드웨어를 변경함이 없이 조정될 수 있다). 예를 들어, 트랙패드 또는 터치 스크린 디스플레이의 마우스 "클릭" 임계치는 트랙패드 또는 터치 스크린 디스플레이 하드웨어를 변경함이 없이 넓은 범위의 미리정의된 임계 값들 중 임의의 것으로 설정될 수 있다. 추가로, 일부 구현예들에서, 디바이스의 사용자는 (예컨대, 개별 세기 임계치들을 조정함으로써 그리고/또는 복수의 세기 임계치들을 시스템 레벨 클릭 "세기" 파라미터로 한꺼번에 조정함으로써) 일정 세트의 세기 임계치들 중 하나 이상을 조정하기 위한 소프트웨어 설정들을 제공받는다.
접촉/모션 모듈(130)은, 선택적으로, 사용자에 의한 제스처 입력을 검출한다. 터치 감응형 표면 상에서의 상이한 제스처들은 상이한 접촉 패턴들(예컨대, 검출된 접촉들의 상이한 모션들, 타이밍들, 및/또는 세기들)을 갖는다. 따라서, 제스처는, 선택적으로, 특정 접촉 패턴을 검출함으로써 검출된다. 예를 들어, 손가락 탭 제스처(finger tap gesture)를 검출하는 것은 손가락-다운 이벤트를 검출한 다음에 손가락-다운 이벤트와 동일한 위치(또는 실질적으로 동일한 위치)에서(예컨대, 아이콘의 위치에서) 손가락-업(리프트오프(liftoff)) 이벤트를 검출하는 것을 포함한다. 다른 예로서, 터치 감응형 표면 상에서 손가락 스와이프 제스처(finger swipe gesture)를 검출하는 것은 손가락-다운 이벤트를 검출한 다음에 하나 이상의 손가락-드래깅 이벤트들을 검출하고, 그에 후속하여 손가락-업(리프트오프) 이벤트를 검출하는 것을 포함한다.
그래픽 모듈(132)은, 디스플레이되는 그래픽의 시각적 효과(예컨대, 밝기, 투명도, 채도, 콘트라스트 또는 다른 시각적 속성)를 변경하기 위한 컴포넌트들을 포함하는, 터치 스크린(112) 또는 다른 디스플레이 상에서 그래픽을 렌더링 및 디스플레이하기 위한 다양한 공지된 소프트웨어 컴포넌트들을 포함한다. 본 명세서에서 사용되는 바와 같이, 용어 "그래픽"은 텍스트, 웹 페이지들, 아이콘들(예컨대, 소프트 키들을 포함하는 사용자 인터페이스 객체들), 디지털 이미지들, 비디오들, 애니메이션들 등을 제한 없이 포함하는, 사용자에게 디스플레이될 수 있는 임의의 객체를 포함한다.
일부 실시예들에서, 그래픽 모듈(132)은 사용될 그래픽을 표현하는 데이터를 저장한다. 각각의 그래픽에는, 선택적으로, 대응하는 코드가 할당된다. 그래픽 모듈(132)은, 필요한 경우, 좌표 데이터 및 다른 그래픽 속성 데이터와 함께, 디스플레이될 그래픽을 특정하는 하나 이상의 코드들을 애플리케이션들 등으로부터 수신하며, 이어서 스크린 이미지 데이터를 생성하여 디스플레이 제어기(156)에 출력한다.
햅틱 피드백 모듈(133)은 디바이스(100)와의 사용자 상호작용들에 응답하여 디바이스(100) 상의 하나 이상의 위치들에서 촉각적 출력들을 생성하기 위하여 촉각적 출력 생성기(들)(167)에 의해 이용되는 명령어들을 생성하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다.
선택적으로 그래픽 모듈(132)의 컴포넌트인 텍스트 입력 모듈(134)은 다양한 애플리케이션들(예컨대, 연락처(137), 이메일(140), IM(141), 브라우저(147), 및 텍스트 입력을 필요로 하는 임의의 다른 애플리케이션)에 텍스트를 입력하기 위한 소프트 키보드들을 제공한다.
GPS 모듈(135)은 디바이스의 위치를 결정하고, 이 정보를 다양한 애플리케이션들에서의 사용을 위해 (예컨대, 위치 기반 다이얼링에서 사용하기 위해 전화(138)에; 사진/비디오 메타데이터로서 카메라(143)에; 그리고 날씨 위젯들, 지역 옐로 페이지 위젯들 및 지도/내비게이션 위젯들과 같은 위치 기반 서비스들을 제공하는 애플리케이션들에) 제공한다.
애플리케이션들(136)은, 선택적으로, 다음의 모듈들(또는 명령어들의 세트들), 또는 이들의 서브세트 또는 수퍼세트(superset)를 포함한다:
Figure 112020115252530-pct00001
연락처 모듈(137)(때때로 주소록 또는 연락처 목록으로 지칭됨);
Figure 112020115252530-pct00002
전화 모듈(138);
Figure 112020115252530-pct00003
화상 회의 모듈(139);
Figure 112020115252530-pct00004
이메일 클라이언트 모듈(140);
Figure 112020115252530-pct00005
인스턴트 메시징(IM) 모듈(141);
Figure 112020115252530-pct00006
운동 지원 모듈(142);
Figure 112020115252530-pct00007
정지 및/또는 비디오 이미지들을 위한 카메라 모듈(143);
Figure 112020115252530-pct00008
이미지 관리 모듈(144);
Figure 112020115252530-pct00009
비디오 재생기 모듈;
Figure 112020115252530-pct00010
음악 재생기 모듈;
Figure 112020115252530-pct00011
브라우저 모듈(147);
Figure 112020115252530-pct00012
캘린더 모듈(148);
Figure 112020115252530-pct00013
날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4), 사전 위젯(149-5), 및 사용자에 의해 얻어지는 다른 위젯들뿐 아니라 사용자-생성 위젯들(149-6) 중 하나 이상을 선택적으로 포함하는 위젯 모듈들(149);
Figure 112020115252530-pct00014
사용자-생성 위젯들(149-6)을 만들기 위한 위젯 생성기 모듈(150);
Figure 112020115252530-pct00015
검색 모듈(151);
Figure 112020115252530-pct00016
비디오 재생기 모듈 및 음악 재생기 모듈을 통합하는 비디오 및 음악 재생기 모듈(152);
Figure 112020115252530-pct00017
메모 모듈(153);
Figure 112020115252530-pct00018
지도 모듈(154); 및/또는
Figure 112020115252530-pct00019
온라인 비디오 모듈(155).
선택적으로 메모리(102) 내에 저장되는 다른 애플리케이션들(136)의 예들은 다른 워드 프로세싱 애플리케이션들, 다른 이미지 편집 애플리케이션들, 드로잉 애플리케이션들, 프레젠테이션 애플리케이션들, JAVA-인에이블형(enabled) 애플리케이션들, 암호화, 디지털 저작권 관리, 음성 인식 및 음성 복제를 포함한다.
터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 연락처 모듈(137)은, 선택적으로, 주소록 또는 연락처 목록(예컨대, 메모리(102) 또는 메모리(370) 내의 연락처 모듈(137)의 애플리케이션 내부 상태(192)에 저장됨)을 관리하는 데 사용되며, 이는 하기를 포함한다: 이름(들)을 주소록에 추가하는 것; 주소록으로부터 이름(들)을 삭제하는 것; 전화번호(들), 이메일 주소(들), 물리적 주소(들) 또는 다른 정보를 이름과 연관시키는 것; 이미지를 이름과 연관시키는 것; 이름들을 분류 및 정렬하는 것; 전화(138), 화상 회의 모듈(139), 이메일(140) 또는 IM(141)에 의한 통신을 개시하고/하거나 용이하게 하기 위해 전화번호들 또는 이메일 주소들을 제공하는 것 등.
RF 회로부(108), 오디오 회로부(110), 스피커(111), 마이크로폰(113), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 및 텍스트 입력 모듈(134)과 함께, 전화 모듈(138)은, 선택적으로, 전화번호에 대응하는 문자들의 시퀀스를 입력하고, 연락처 모듈(137) 내의 하나 이상의 전화번호에 액세스하고, 입력된 전화번호를 수정하고, 개별 전화번호를 다이얼링하고, 대화를 하고, 대화가 완료된 때 접속해제하거나 끊는 데 사용된다. 전술된 바와 같이, 무선 통신은 선택적으로 복수의 통신 표준, 프로토콜 및 기술 중 임의의 것을 사용한다.
RF 회로부(108), 오디오 회로부(110), 스피커(111), 마이크로폰(113), 터치 스크린(112), 디스플레이 제어기(156), 광 센서(164), 광 센서 제어기(158), 접촉/모션 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 연락처 모듈(137) 및 전화 모듈(138)과 함께, 화상 회의 모듈(139)은 사용자 지시들에 따라 사용자와 한 명 이상의 다른 참가자들 사이의 화상 회의를 개시, 시행 및 종료하도록 하는 실행가능 명령어들을 포함한다.
RF 회로부(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 이메일 클라이언트 모듈(140)은 사용자 지시들에 응답하여 이메일을 작성, 송신, 수신, 및 관리하도록 하는 실행가능 명령어들을 포함한다. 이미지 관리 모듈(144)과 함께, 이메일 클라이언트 모듈(140)은 카메라 모듈(143)로 촬영된 정지 또는 비디오 이미지들을 갖는 이메일을 생성 및 전송하는 것을 매우 용이하게 한다.
RF 회로부(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 인스턴트 메시징 모듈(141)은, 인스턴트 메시지에 대응하는 문자들의 시퀀스를 입력하고, 이전에 입력된 문자들을 수정하고, (예를 들어, 전화 기반 인스턴트 메시지들을 위한 단문자 메시지 서비스(Short Message Service, SMS) 또는 멀티미디어 메시지 서비스(Multimedia Message Service, MMS) 프로토콜을 이용하거나, 인터넷 기반 인스턴트 메시지들을 위한 XMPP, SIMPLE 또는 IMPS를 이용하여) 개개의 인스턴트 메시지를 송신하고, 인스턴트 메시지들을 수신하고, 수신된 인스턴트 메시지들을 보도록 하는 실행가능 명령어들을 포함한다. 일부 실시예들에서, 송신 및/또는 수신된 인스턴트 메시지들은 선택적으로 그래픽, 사진, 오디오 파일, 비디오 파일 및/또는 MMS 및/또는 EMS(Enhanced Messaging Service)에서 지원되는 바와 같은 다른 첨부물들을 포함한다. 본 명세서에서 사용되는 바와 같이, "인스턴트 메시징"은 전화 기반 메시지들(예컨대, SMS 또는 MMS를 이용하여 전송되는 메시지들) 및 인터넷 기반 메시지들(예컨대, XMPP, SIMPLE 또는 IMPS를 이용하여 전송되는 메시지들) 둘 모두를 지칭한다.
RF 회로부(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135), 지도 모듈(154), 및 음악 재생기 모듈과 함께, 운동 지원 모듈(142)은, (예컨대, 시간, 거리, 및/또는 열량 소비 목표와 함께) 운동들을 안출하고; 운동 센서들(스포츠 디바이스들)과 통신하고; 운동 센서 데이터를 수신하고; 운동을 모니터링하는 데 사용되는 센서들을 교정하고; 운동을 위한 음악을 선택 및 재생하고; 운동 데이터를 디스플레이, 저장 및 송신하도록 하는 실행가능 명령어들을 포함한다.
터치 스크린(112), 디스플레이 제어기(156), 광 센서(들)(164), 광 센서 제어기(158), 접촉/모션 모듈(130), 그래픽 모듈(132) 및 이미지 관리 모듈(144)과 함께, 카메라 모듈(143)은, 정지 이미지들 또는 비디오(비디오 스트림을 포함함)를 캡처하고 이들을 메모리(102) 내에 저장하거나, 정지 이미지 또는 비디오의 특성을 수정하거나, 메모리(102)로부터 정지 이미지 또는 비디오를 삭제하도록 하는 실행가능 명령어들을 포함한다.
터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 카메라 모듈(143)과 함께, 이미지 관리 모듈(144)은 정지 및/또는 비디오 이미지들을 배열하거나, 수정(예컨대, 편집)하거나, 또는 그렇지 않으면 조작하고, 라벨링하고, 삭제하고, (예컨대, 디지털 슬라이드 쇼 또는 앨범에) 제시하고, 저장하도록 하는 실행가능 명령어들을 포함한다.
RF 회로부(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 브라우저 모듈(147)은, 웹 페이지들 또는 이들의 부분들뿐만 아니라 웹 페이지들에 링크된 첨부물들 및 다른 파일들을 검색하고, 그들에 링크하고, 수신하고, 그리고 디스플레이하는 것을 비롯한, 사용자 지시들에 따라 인터넷을 브라우징하도록 하는 실행가능 명령어들을 포함한다.
RF 회로부(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140), 및 브라우저 모듈(147)과 함께, 캘린더 모듈(148)은 사용자 지시들에 따라 캘린더들 및 캘린더들과 연관된 데이터(예컨대, 캘린더 엔트리들, 할 일 목록들 등)를 생성, 디스플레이, 수정, 및 저장하도록 하는 실행가능 명령어들을 포함한다.
RF 회로부(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 브라우저 모듈(147)과 함께, 위젯 모듈들(149)은 사용자에 의해 선택적으로 다운로드 및 사용되거나(예컨대, 날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4) 및 사전 위젯(149-5)), 또는 사용자에 의해 생성되는(예컨대, 사용자-생성 위젯(149-6)) 미니-애플리케이션들이다. 일부 실시예들에서, 위젯은 HTML(Hypertext Markup Language) 파일, CSS(Cascading Style Sheets) 파일 및 자바스크립트(JavaScript) 파일을 포함한다. 일부 실시예들에서, 위젯은 XML(Extensible Markup Language) 파일 및 자바스크립트 파일(예컨대, 야후(Yahoo)! 위젯들)을 포함한다.
RF 회로부(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 브라우저 모듈(147)과 함께, 위젯 생성기 모듈(150)은 선택적으로 사용자에 의해 위젯들을 생성(예컨대, 웹 페이지의 사용자 특정 부분을 위젯으로 변경)하는 데 사용된다.
터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 검색 모듈(151)은 사용자 지시들에 따라 하나 이상의 검색 기준들(예컨대, 하나 이상의 사용자-특정 검색어들)에 매칭되는 메모리(102) 내의 텍스트, 음악, 사운드, 이미지, 비디오, 및/또는 다른 파일들을 검색하도록 하는 실행가능 명령어들을 포함한다.
터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 오디오 회로부(110), 스피커(111), RF 회로부(108) 및 브라우저 모듈(147)과 함께, 비디오 및 음악 재생기 모듈(152)은, 사용자가 MP3 또는 AAC 파일들과 같은 하나 이상의 파일 포맷들로 저장된 기록된 음악 및 다른 사운드 파일들을 다운로드 및 재생할 수 있도록 하는 실행가능 명령어들, 및 비디오들을 (예컨대, 터치 스크린(112) 상에서 또는 외부 포트(124)를 통해 외부의 접속된 디스플레이 상에서) 디스플레이하도록, 상영하도록, 또는 다른 방식으로 재생하도록 하는 실행가능 명령어들을 포함한다. 일부 실시예들에서, 디바이스(100)는 선택적으로 아이팟(애플 인크.의 상표)과 같은 MP3 재생기의 기능을 포함한다.
터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 메모 모듈(153)은 사용자 지시들에 따라 메모들, 할 일 목록들 등을 생성 및 관리하도록 하는 실행가능 명령어들을 포함한다.
RF 회로부(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135), 및 브라우저 모듈(147)과 함께, 지도 모듈(154)은 선택적으로 사용자 지시들에 따라 지도들 및 지도들과 연관된 데이터(예컨대, 운전 길 안내; 특정한 위치에 또는 그 인근의 상점들 및 다른 관심 지점들에 관한 데이터; 및 다른 위치-기반 데이터)를 수신하고, 디스플레이하고, 수정하고, 저장하는 데 사용된다.
터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 오디오 회로부(110), 스피커(111), RF 회로부(108), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140) 및 브라우저 모듈(147)과 함께, 온라인 비디오 모듈(155)은 사용자가 H.264와 같은 하나 이상의 파일 포맷의 온라인 비디오들에 액세스하고, 그들을 브라우징하고, (예컨대, 스트리밍 및/또는 다운로드에 의해) 수신하고, (예컨대, 터치 스크린 상에서 또는 외부 포트(124)를 통해 외부의 접속된 디스플레이 상에서) 재생하고, 특정한 온라인 비디오로의 링크와 함께 이메일을 전송하고, 그렇지 않으면 관리하게 하는 명령어들을 포함한다. 일부 실시예들에서, 이메일 클라이언트 모듈(140)보다는 오히려 인스턴트 메시징 모듈(141)이 특정 온라인 비디오로의 링크를 전송하는 데 사용된다. 온라인 비디오 애플리케이션에 대한 추가적 설명은, 2007년 6월 20일자로 출원된 미국 가특허 출원 제60/936,562호, "Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos" 및 2007년 12월 31일자로 출원된 미국 특허 출원 제11/968,067호, "Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos"에서 찾아볼 수 있으며, 이들의 내용은 이로써 그 전체가 본 명세서에 참고로 포함된다.
앞서 식별된 모듈들 및 애플리케이션들 각각은 상술한 하나 이상의 기능들 및 본 출원에 기술되는 방법들(예컨대, 본 명세서에 기술되는 컴퓨터 구현 방법들 및 다른 정보 프로세싱 방법들)을 수행하기 위한 실행가능 명령어들의 세트에 대응한다. 이들 모듈(예컨대, 명령어들의 세트들)은 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없으며, 따라서 이들 모듈의 다양한 서브세트들이 선택적으로 다양한 실시예들에서 조합되거나 그렇지 않으면 재배열된다. 예컨대, 비디오 재생기 모듈은 선택적으로, 음악 재생기 모듈과 함께 단일 모듈(예컨대, 도 1a의 비디오 및 음악 재생기 모듈(152)) 내에 조합된다. 일부 실시예들에서, 메모리(102)는 선택적으로, 앞서 식별된 모듈들 및 데이터 구조들의 서브세트를 저장한다. 또한, 메모리(102)는, 선택적으로, 전술되지 않은 추가의 모듈들 및 데이터 구조들을 저장한다.
일부 실시예들에서, 디바이스(100)는 디바이스 상의 미리정의된 세트의 기능들의 동작이 터치 스크린 및/또는 터치패드를 통해 전용으로 수행되는 디바이스이다. 터치 스크린 및/또는 터치패드를 디바이스(100)의 동작을 위한 주 입력 제어 디바이스로서 사용함으로써, 디바이스(100) 상의 (푸시 버튼들, 다이얼들 등과 같은) 물리적 입력 제어 디바이스들의 수가 선택적으로 감소된다.
전적으로 터치 스크린 및/또는 터치패드를 통해 수행되는 미리정의된 세트의 기능들은, 선택적으로, 사용자 인터페이스들 간의 내비게이션을 포함한다. 일부 실시예들에서, 터치패드는, 사용자에 의해 터치될 때, 디바이스(100)를 디바이스(100) 상에 디스플레이되는 임의의 사용자 인터페이스로부터 메인, 홈 또는 루트 메뉴로 내비게이팅한다. 이러한 실시예들에서, "메뉴 버튼"이 터치패드를 이용하여 구현된다. 일부 다른 실시예들에서, 메뉴 버튼은 터치패드 대신에 물리적 푸시 버튼 또는 다른 물리적 입력 제어 디바이스이다.
도 1b는 일부 실시예들에 따른, 이벤트 처리를 위한 예시적인 컴포넌트들을 예시하는 블록도이다. 일부 실시예들에서, 메모리(도 1a의 102 또는 도 3의 370)는 (예컨대, 운영 체제(126)에서의) 이벤트 분류기(170) 및 각각의 애플리케이션(136-1)(예컨대, 전술된 애플리케이션들(137 내지 151, 155, 380 내지 390) 중 임의의 것)을 포함한다.
이벤트 분류기(170)는 이벤트 정보를 수신하고, 이벤트 정보를 전달할 애플리케이션(136-1), 및 애플리케이션(136-1)의 애플리케이션 뷰(191)를 결정한다. 이벤트 분류기(170)는 이벤트 모니터(171) 및 이벤트 디스패처 모듈(event dispatcher module)(174)을 포함한다. 일부 실시예들에서, 애플리케이션(136-1)은 애플리케이션이 활성이거나 실행 중일 때 터치 감응형 디스플레이(112) 상에 디스플레이되는 현재 애플리케이션 뷰(들)를 나타내는 애플리케이션 내부 상태(192)를 포함한다. 일부 실시예들에서, 디바이스/글로벌 내부 상태(157)는 이벤트 분류기(170)에 의해 어느 애플리케이션(들)이 현재 활성인지 결정하는 데 이용되며, 애플리케이션 내부 상태(192)는 이벤트 분류기(170)에 의해 이벤트 정보를 전달할 애플리케이션 뷰들(191)을 결정하는 데 이용된다.
일부 실시예들에서, 애플리케이션 내부 상태(192)는 애플리케이션(136-1)이 실행을 재개할 때 이용될 재개 정보, 애플리케이션(136-1)에 의해 디스플레이되고 있거나 디스플레이될 준비가 된 정보를 나타내는 사용자 인터페이스 상태 정보, 사용자가 애플리케이션(136-1)의 이전 상태 또는 뷰로 되돌아가는 것을 가능하게 하기 위한 상태 큐(queue), 및 사용자에 의해 취해진 이전 액션들의 재실행(redo)/실행취소(undo) 큐 중 하나 이상과 같은 추가 정보를 포함한다.
이벤트 모니터(171)는 주변기기 인터페이스(118)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브이벤트(예를 들어, 다중 터치 제스처의 일부로서 터치 감응형 디스플레이(112) 상에서의 사용자 터치)에 대한 정보를 포함한다. 주변기기 인터페이스(118)는 I/O 서브시스템(106) 또는 센서, 예컨대, 근접 센서(166), 가속도계(들)(168), 및/또는 (오디오 회로부(110)를 통한) 마이크로폰(113)으로부터 수신하는 정보를 송신한다. 주변기기 인터페이스(118)가 I/O 서브시스템(106)으로부터 수신하는 정보는 터치 감응형 디스플레이(112) 또는 터치 감응형 표면으로부터의 정보를 포함한다.
일부 실시예들에서, 이벤트 모니터(171)는 요청들을 미리결정된 간격으로 주변기기 인터페이스(118)에 전송한다. 이에 응답하여, 주변기기 인터페이스(118)는 이벤트 정보를 송신한다. 다른 실시예들에서, 주변기기 인터페이스(118)는 중요한 이벤트(예컨대, 미리결정된 잡음 임계치를 초과하는 입력 및/또는 미리결정된 지속기간 초과 동안의 입력을 수신하는 것)가 있을 때에만 이벤트 정보를 송신한다.
일부 실시예들에서, 이벤트 분류기(170)는 또한 히트 뷰(hit view) 결정 모듈(172) 및/또는 활성 이벤트 인식기 결정 모듈(173)을 포함한다.
히트 뷰 결정 모듈(172)은 터치 감응형 디스플레이(112)가 하나 초과의 뷰를 디스플레이할 때 하나 이상의 뷰들 내에서 서브이벤트가 발생한 곳을 결정하기 위한 소프트웨어 절차들을 제공한다. 뷰들은 사용자가 디스플레이 상에서 볼 수 있는 제어부들 및 다른 요소들로 구성된다.
애플리케이션과 연관된 사용자 인터페이스의 다른 태양은 본 명세서에서 때때로 애플리케이션 뷰들 또는 사용자 인터페이스 창(user interface window)들로 지칭되는 한 세트의 뷰들인데, 여기서 정보가 디스플레이되고 터치 기반 제스처가 발생한다. 터치가 검출되는 (각각의 애플리케이션의) 애플리케이션 뷰들은 선택적으로 애플리케이션의 프로그램 또는 뷰 계층구조 내의 프로그램 레벨들에 대응한다. 예를 들어, 터치가 검출되는 최하위 레벨의 뷰는 선택적으로 히트 뷰로 지칭되고, 적절한 입력들로서 인식되는 이벤트들의 세트는, 선택적으로, 터치 기반 제스처를 시작하는 초기 터치의 히트 뷰에 적어도 부분적으로 기초하여 결정된다.
히트 뷰 결정 모듈(172)은 터치 기반 제스처의 서브이벤트들과 관련된 정보를 수신한다. 애플리케이션이 계층구조에서 조직화된 다수의 뷰들을 갖는 경우, 히트 뷰 결정 모듈(172)은 히트 뷰를, 서브이벤트를 처리해야 하는 계층구조 내의 최하위 뷰로서 식별한다. 대부분의 상황들에서, 히트 뷰는 개시되는 서브이벤트(예컨대, 이벤트 또는 잠재적 이벤트를 형성하는 서브이벤트들의 시퀀스에서의 제1 서브이벤트)가 발생하는 최하위 레벨 뷰이다. 일단 히트 뷰가 히트 뷰 결정 모듈(172)에 의해 식별되면, 히트 뷰는 전형적으로 그것이 히트 뷰로서 식별되게 한 것과 동일한 터치 또는 입력 소스와 관련된 모든 서브이벤트들을 수신한다.
활성 이벤트 인식기 결정 모듈(173)은 뷰 계층구조 내에서 어느 뷰 또는 뷰들이 서브이벤트들의 특정 시퀀스를 수신해야 하는지를 결정한다. 일부 실시예들에서, 활성 이벤트 인식기 결정 모듈(173)은 히트 뷰만이 서브이벤트들의 특정 시퀀스를 수신해야 하는 것으로 결정한다. 다른 실시예들에서, 활성 이벤트 인식기 결정 모듈(173)은 서브이벤트의 물리적 위치를 포함하는 모든 뷰들이 적극 참여 뷰(actively involved view)들인 것으로 결정하고, 그에 따라 모든 적극 참여 뷰들이 서브이벤트들의 특정 시퀀스를 수신해야 하는 것으로 결정한다. 다른 실시예들에서, 터치 서브이벤트들이 전적으로 하나의 특정 뷰와 연관된 영역으로 한정되었더라도, 계층구조 내의 상위 뷰들은 여전히 적극 참여 뷰들로서 유지될 것이다.
이벤트 디스패처 모듈(174)은 이벤트 정보를 이벤트 인식기(예컨대, 이벤트 인식기(180))에 디스패치한다. 활성 이벤트 인식기 결정 모듈(173)을 포함하는 실시예들에서, 이벤트 디스패처 모듈(174)은 이벤트 정보를 활성 이벤트 인식기 결정 모듈(173)에 의해 결정된 이벤트 인식기에 전달한다. 일부 실시예들에서, 이벤트 디스패처 모듈(174)은 이벤트 큐 내에 이벤트 정보를 저장하는데, 이벤트 정보는 각각의 이벤트 수신기(182)에 의해 인출된다.
일부 실시예들에서, 운영 체제(126)는 이벤트 분류기(170)를 포함한다. 대안으로, 애플리케이션(136-1)은 이벤트 분류기(170)를 포함한다. 또 다른 실시예들에서, 이벤트 분류기(170)는 독립형 모듈이거나, 또는 접촉/모션 모듈(130)과 같이 메모리(102)에 저장되는 다른 모듈의 일부이다.
일부 실시예들에서, 애플리케이션(136-1)은 복수의 이벤트 핸들러들(190) 및 하나 이상의 애플리케이션 뷰들(191)을 포함하며, 이들의 각각은 애플리케이션의 사용자 인터페이스의 각각의 뷰 내에 발생하는 터치 이벤트들을 처리하기 위한 명령어들을 포함한다. 애플리케이션(136-1)의 각각의 애플리케이션 뷰(191)는 하나 이상의 이벤트 인식기들(180)을 포함한다. 전형적으로, 각각의 애플리케이션 뷰(191)는 복수의 이벤트 인식기들(180)을 포함한다. 다른 실시예들에서, 이벤트 인식기들(180) 중 하나 이상은 사용자 인터페이스 키트 또는 애플리케이션(136-1)이 방법들 및 다른 속성들을 물려받는 상위 레벨 객체와 같은 별개의 모듈의 일부이다. 일부 실시예들에서, 각각의 이벤트 핸들러(190)는 데이터 업데이터(176), 객체 업데이터(177), GUI 업데이터(178), 및/또는 이벤트 분류기(170)로부터 수신된 이벤트 데이터(179) 중 하나 이상을 포함한다. 이벤트 핸들러(190)는 선택적으로 데이터 업데이터(176), 객체 업데이터(177) 또는 GUI 업데이터(178)를 이용하거나 호출하여 애플리케이션 내부 상태(192)를 업데이트한다. 대안으로, 애플리케이션 뷰들(191) 중 하나 이상은 하나 이상의 각각의 이벤트 핸들러(190)를 포함한다. 또한, 일부 실시예들에서, 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178) 중 하나 이상은 각각의 애플리케이션 뷰(191) 내에 포함된다.
각각의 이벤트 인식기(180)는 이벤트 분류기(170)로부터 이벤트 정보(예컨대, 이벤트 데이터(179))를 수신하고 그 이벤트 정보로부터 이벤트를 식별한다. 이벤트 인식기(180)는 이벤트 수신기(182) 및 이벤트 비교기(184)를 포함한다. 일부 실시예들에서, 이벤트 인식기(180)는 또한 적어도 메타데이터(183) 및 이벤트 전달 명령어들(188)(선택적으로 서브이벤트 전달 명령어들을 포함함)의 서브세트를 포함한다.
이벤트 수신기(182)는 이벤트 분류기(170)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브이벤트, 예를 들어 터치 또는 터치 이동에 관한 정보를 포함한다. 서브이벤트에 따라서, 이벤트 정보는 또한 서브이벤트의 위치와 같은 추가 정보를 포함한다. 서브이벤트가 터치의 모션과 관련되는 경우, 이벤트 정보는 또한 선택적으로 서브이벤트의 속력 및 방향을 포함한다. 일부 실시예들에서, 이벤트들은 하나의 배향으로부터 다른 배향으로(예컨대, 세로 배향으로부터 가로 배향으로, 또는 그 반대로)의 디바이스의 회전을 포함하며, 이벤트 정보는 디바이스의 현재 배향(디바이스 자세로도 지칭됨)에 관한 대응하는 정보를 포함한다.
이벤트 비교기(184)는 이벤트 정보를 미리정의된 이벤트 또는 서브이벤트 정의들과 비교하고, 그 비교에 기초하여, 이벤트 또는 서브이벤트를 결정하거나, 이벤트 또는 서브이벤트의 상태를 결정 또는 업데이트한다. 일부 실시예들에서, 이벤트 비교기(184)는 이벤트 정의들(186)을 포함한다. 이벤트 정의들(186)은 이벤트들(예컨대, 서브이벤트들의 미리정의된 시퀀스들), 예를 들어 이벤트 1(187-1), 이벤트 2(187-2) 등의 정의들을 포함한다. 일부 실시예들에서, 이벤트(187) 내의 서브이벤트들은, 예를 들어, 터치 시작, 터치 종료, 터치 이동, 터치 취소, 및 다중 터치를 포함한다. 일례에서, 이벤트 1(187-1)에 대한 정의는 디스플레이된 객체 상에서의 더블 탭이다. 더블 탭은, 예를 들어, 미리결정된 페이즈(phase) 동안의 디스플레이된 객체 상의 제1 터치(터치 시작), 미리결정된 페이즈 동안의 제1 리프트오프(터치 종료), 미리결정된 페이즈 동안의 디스플레이된 객체 상의 제2 터치(터치 시작), 및 미리결정된 페이즈 동안의 제2 리프트오프(터치 종료)를 포함한다. 다른 예에서, 이벤트 2(187-2)에 대한 정의는 디스플레이된 객체 상에서의 드래깅이다. 드래깅은, 예를 들어, 미리결정된 페이즈 동안의 디스플레이된 객체 상의 터치(또는 접촉), 터치 감응형 디스플레이(112)를 가로지르는 터치의 이동, 및 터치의 리프트오프(터치 종료)를 포함한다. 일부 실시예들에서, 이벤트는 또한 하나 이상의 연관된 이벤트 핸들러들(190)에 대한 정보를 포함한다.
일부 실시예들에서, 이벤트 정의(187)는 각각의 사용자 인터페이스 객체에 대한 이벤트의 정의를 포함한다. 일부 실시예들에서, 이벤트 비교기(184)는 어느 사용자 인터페이스 객체가 서브이벤트와 연관되는지 결정하도록 히트 테스트(hit test)를 수행한다. 예를 들어, 3개의 사용자 인터페이스 객체들이 터치 감응형 디스플레이(112) 상에 디스플레이된 애플리케이션 뷰에서, 터치 감응형 디스플레이(112) 상에서 터치가 검출되는 경우, 이벤트 비교기(184)는 3개의 사용자 인터페이스 객체들 중 어느 것이 터치(서브이벤트)와 연관되어 있는지를 결정하도록 히트 테스트를 수행한다. 각각의 디스플레이된 객체가 각각의 이벤트 핸들러(190)와 연관되는 경우, 이벤트 비교기는 어느 이벤트 핸들러(190)가 활성화되어야 하는지 결정하는 데 히트 테스트의 결과를 이용한다. 예를 들어, 이벤트 비교기(184)는 히트 테스트를 트리거하는 객체 및 서브이벤트와 연관된 이벤트 핸들러를 선택한다.
일부 실시예들에서, 각각의 이벤트(187)에 대한 정의는 또한 서브이벤트들의 시퀀스가 이벤트 인식기의 이벤트 유형에 대응하는지 대응하지 않는지 여부가 결정된 후까지 이벤트 정보의 전달을 지연하는 지연된 액션들을 포함한다.
각각의 이벤트 인식기(180)가, 일련의 서브이벤트들이 이벤트 정의들(186) 내의 이벤트들 중 어떠한 것과도 매칭되지 않는 것으로 결정하는 경우, 각각의 이벤트 인식기(180)는 이벤트 불가능, 이벤트 실패, 또는 이벤트 종료 상태에 진입하고, 그 후 각각의 이벤트 인식기는 터치 기반 제스처의 후속 서브이벤트들을 무시한다. 이러한 상황에서, 만일 있다면, 히트 뷰에 대해 활성 상태로 유지되는 다른 이벤트 인식기들이 진행 중인 터치 기반 제스처의 서브이벤트들을 계속해서 추적 및 프로세싱한다.
일부 실시예들에서, 각각의 이벤트 인식기(180)는 이벤트 전달 시스템이 어떻게 적극 참여 이벤트 인식기들에 대한 서브이벤트 전달을 수행해야 하는지를 나타내는 구성가능한 속성들, 플래그(flag)들, 및/또는 목록들을 갖는 메타데이터(183)를 포함한다. 일부 실시예들에서, 메타데이터(183)는 이벤트 인식기들이 어떻게 서로 상호작용하는지, 또는 상호작용하게 되는지를 나타내는 구성가능한 속성들, 플래그들, 및/또는 목록들을 포함한다. 일부 실시예들에서, 메타데이터(183)는, 서브이벤트들이 뷰 또는 프로그램 계층구조에서의 다양한 레벨들에 전달되는지 여부를 나타내는 구성가능한 속성들, 플래그들, 및/또는 목록들을 포함한다.
일부 실시예들에서, 각각의 이벤트 인식기(180)는 이벤트의 하나 이상의 특정 서브이벤트들이 인식될 때 이벤트와 연관된 이벤트 핸들러(190)를 활성화한다. 일부 실시예들에서, 각각의 이벤트 인식기(180)는 이벤트와 연관된 이벤트 정보를 이벤트 핸들러(190)에 전달한다. 이벤트 핸들러(190)를 활성화시키는 것은 각각의 히트 뷰에 서브이벤트들을 전송(및 지연 전송)하는 것과는 별개이다. 일부 실시예들에서, 이벤트 인식기(180)는 인식된 이벤트와 연관된 플래그를 보내고, 그 플래그와 연관된 이벤트 핸들러(190)는 그 플래그를 캐치하고 미리정의된 프로세스를 수행한다.
일부 실시예들에서, 이벤트 전달 명령어들(188)은 이벤트 핸들러를 활성화하지 않으면서 서브이벤트에 관한 이벤트 정보를 전달하는 서브이벤트 전달 명령어들을 포함한다. 대신에, 서브이벤트 전달 명령어들은 일련의 서브이벤트들과 연관된 이벤트 핸들러들에 또는 적극 참여 뷰들에 이벤트 정보를 전달한다. 일련의 서브이벤트들 또는 적극 참여 뷰들과 연관된 이벤트 핸들러들은 이벤트 정보를 수신하고 미리결정된 프로세스를 수행한다.
일부 실시예들에서, 데이터 업데이터(176)는 애플리케이션(136-1)에서 이용되는 데이터를 생성 및 업데이트한다. 예를 들어, 데이터 업데이터(176)는 연락처 모듈(137)에서 이용되는 전화 번호를 업데이트하거나, 비디오 재생기 모듈에서 이용되는 비디오 파일을 저장한다. 일부 실시예들에서, 객체 업데이터(177)는 애플리케이션(136-1)에서 이용되는 객체들을 생성 및 업데이트한다. 예를 들어, 객체 업데이터(177)는 새로운 사용자 인터페이스 객체를 생성하거나, 또는 사용자 인터페이스 객체의 위치를 업데이트한다. GUI 업데이터(178)는 GUI를 업데이트한다. 예를 들어, GUI 업데이터(178)는 터치 감응형 디스플레이 상의 디스플레이를 위해 디스플레이 정보를 준비하고 이를 그래픽 모듈(132)에 전송한다.
일부 실시예들에서, 이벤트 핸들러(들)(190)는 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178)를 포함하거나 이들에 액세스한다. 일부 실시예들에서, 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178)는 각각의 애플리케이션(136-1) 또는 애플리케이션 뷰(191)의 단일 모듈 내에 포함된다. 다른 실시예들에서, 이들은 둘 이상의 소프트웨어 모듈들 내에 포함된다.
터치 감응형 디스플레이 상의 사용자 터치들의 이벤트 처리에 관하여 전술한 논의는 또한 입력 디바이스들을 갖는 다기능 디바이스들(100)을 동작시키기 위한 다른 형태들의 사용자 입력들에도 적용되지만, 그 모두가 터치 스크린들 상에서 개시되는 것이 아니라는 것을 이해해야 한다. 예를 들어, 단일 또는 다수의 키보드 누르기 또는 유지(hold)와 선택적으로 조화된 마우스 이동 및 마우스 버튼 누르기; 터치패드 상에서의, 탭, 드래그, 스크롤 등과 같은 접촉 이동들; 펜 스타일러스 입력들; 디바이스의 이동; 구두 명령어들; 검출된 눈 이동들; 생체측정 입력들; 및/또는 이들의 임의의 조합은, 인식될 이벤트를 정의하는 서브이벤트들에 대응하는 입력들로서 선택적으로 이용된다.
도 1c는 다양한 예들에 따른 시스템(2100)의 블록도를 예시한다. 일부 예들에서, 시스템(2100)은 디지털 어시스턴트를 구현한다. 용어, "디지털 어시스턴트", "가상 어시스턴트", "지능형 자동화된 어시스턴트", 또는 "자동 디지털 어시스턴트"는 음성 및/또는 텍스트 형태의 자연 언어 입력을 해석하여 사용자 의도를 추론하고, 추론된 사용자 의도에 기초하여 액션들을 수행하는 임의의 정보 처리 시스템을 지칭한다. 예를 들어, 추론된 사용자 의도에 따라 동작하기 위해, 시스템은 하기 중 하나 이상을 수행한다: 추론된 사용자 의도를 달성하기 위해 설계된 단계들 및 파라미터들을 갖는 태스크 흐름을 식별하는 것, 추론된 사용자 의도로부터의 특정 요건들을 태스크 흐름 내에 입력하는 것; 프로그램들, 방법들, 서비스들, API들 등을 호출함으로써 태스크 흐름을 실행하는 것; 및 가청(예컨대, 스피치) 및/또는 시각적 형태로 사용자에게 출력 응답들을 생성하는 것.
구체적으로, 디지털 어시스턴트는 적어도 부분적으로 자연 언어 커맨드, 요청, 진술, 서술, 및/또는 질의의 형태로 사용자 요청을 수용할 수 있다. 전형적으로, 사용자 요청은 디지털 어시스턴트에 의한 정보제공형 답변 또는 태스크의 수행 중 어느 하나를 구한다. 사용자 요청에 대한 만족스러운 응답은 요청된 정보제공형 답변의 제공, 요청된 태스크의 수행, 또는 이 둘의 조합을 포함한다. 예를 들어, 사용자는 디지털 어시스턴트에게 "지금 나는 어디에 있습니까?"와 같은 질문을 한다. 사용자의 현재 위치에 기초하여, 디지털 어시스턴트는 "당신은 센트럴 파크의 서쪽 게이트 근처에 있습니다"라고 대답한다. 사용자는 또한 태스크의 수행, 예를 들어 "다음주 내 여자친구의 생일 파티에 내 친구들을 초대해 줘"를 요청한다. 이에 응답하여, 디지털 어시스턴트는 "네, 바로 하겠습니다"라고 말함으로써 요청을 승인확인(acknowledge)할 수 있고, 이어서 사용자의 전자 주소록에 열거된 사용자의 친구들 각각에게 사용자를 대신하여 적절한 행사 예정 초대장(calendar invite)을 전송할 수 있다. 요청된 태스크의 수행 동안, 디지털 어시스턴트는 때때로 연장된 기간에 걸쳐 다수의 정보 교환을 수반하는 연속 대화로 사용자와 상호작용한다. 디지털 어시스턴트와 상호작용하여 정보 또는 다양한 태스크들의 수행을 요청하는 수많은 다른 방식들이 있다. 구두 응답들을 제공하는 것 및 프로그래밍된 액션들을 취하는 것에 추가하여, 디지털 어시스턴트는 또한 예컨대, 텍스트, 경고들, 음악, 비디오들, 애니메이션들 등과 같은 다른 시각적 또는 청각적 형태들의 응답들을 제공한다.
도 1c에 도시된 바와 같이, 일부 예들에서, 디지털 어시스턴트는 클라이언트-서버 모델에 따라 구현된다. 디지털 어시스턴트는 사용자 디바이스(104) 상에서 실행되는 클라이언트 측 부분(2102)(이하, "DA 클라이언트(2102)") 및 서버 시스템(2108) 상에서 실행되는 서버 측 부분(2106)(이하, "DA 서버(2106)")을 포함한다. DA 클라이언트(2102)는 하나 이상의 네트워크들(2110)을 통해 DA 서버(2106)와 통신한다. DA 클라이언트(2102)는 클라이언트 측 기능들, 예컨대, 사용자 대면(user-facing) 입력 및 출력 프로세싱 및 DA 서버(2106)와의 통신을 제공한다. DA 서버(2106)는 각각의 사용자 디바이스(2104) 상에 각각 존재하는 임의의 수의 DA 클라이언트들(2102)을 위한 서버 측 기능들을 제공한다.
일부 예들에서, DA 서버(2106)는 클라이언트 대면 I/O 인터페이스(2112), 하나 이상의 프로세싱 모듈들(2114), 데이터 및 모델들(2116), 및 외부 서비스들에 대한 I/O 인터페이스(2118)를 포함한다. 클라이언트 대면 I/O 인터페이스(2112)는 DA 서버(2106)에 대한 클라이언트 대면 입력 및 출력 프로세싱을 용이하게 한다. 하나 이상의 프로세싱 모듈들(2114)은 데이터 및 모델들(2116)을 이용하여 스피치 입력을 프로세싱하고 자연 언어 입력에 기초하여 사용자의 의도를 결정한다. 추가로, 하나 이상의 프로세싱 모듈들(2114)은 추론된 사용자 의도에 기초하여 태스크 실행을 수행한다. 일부 예들에서, DA 서버(2106)는 태스크 완료 또는 정보 획득을 위해 네트워크(들)(2110)를 통해 외부 서비스들(120)과 통신한다. 외부 서비스들에 대한 I/O 인터페이스(2118)는 그러한 통신을 용이하게 한다.
사용자 디바이스(2104)는 임의의 적합한 전자 디바이스일 수 있다. 일부 예들에서, 사용자 디바이스(2104)는 휴대용 다기능 디바이스(예컨대, 도 1a를 참조하여 전술된 디바이스(100)), 다기능 디바이스 또는 다른 전자 디바이스(예컨대, 디바이스(600, 800, 1000))이다. 휴대용 다기능 디바이스는, 예를 들어, PDA 및/또는 음악 재생기 기능들과 같은 다른 기능들을 또한 포함하는 모바일 전화기이다. 휴대용 다기능 디바이스들의 구체적인 예들은 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.(Apple Inc.)로부터의 애플워치(Apple Watch)®, 아이폰®, 아이팟 터치(iPod Touch)®, 및 아이패드(iPad)® 디바이스들을 포함한다. 휴대용 다기능 디바이스들의 다른 예들은 이어폰/헤드폰, 스피커, 및 랩톱 또는 태블릿 컴퓨터들을 제한없이 포함한다. 또한, 일부 예들에서, 사용자 디바이스(2104)는 비휴대용 다기능 디바이스이다. 특히, 사용자 디바이스(2104)는 데스크톱 컴퓨터, 게임 콘솔, 스피커, 텔레비전, 또는 텔레비전 셋톱 박스이다. 일부 예들에서, 사용자 디바이스(2104)는 터치 감응형 표면(예컨대, 터치 스크린 디스플레이들 및/또는 터치패드들)을 포함한다. 또한, 사용자 디바이스(2104)는 선택적으로 물리적 키보드, 마우스 및/또는 조이스틱과 같은 하나 이상의 다른 물리적 사용자 인터페이스 디바이스들을 포함한다. 다기능 디바이스들과 같은 전자 디바이스들의 다양한 예들이 더욱 상세하게 후술된다.
통신 네트워크(들)(2110)의 예들은 근거리 통신망(local area network, LAN) 및 광역 통신망(wide area network, WAN), 예컨대, 인터넷을 포함한다. 통신 네트워크(들)(2110)는, 예를 들어 이더넷(Ethernet), 범용 직렬 버스(Universal Serial Bus, USB), 파이어와이어(FIREWIRE), GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), 코드 분할 다중 접속(code division multiple access, CDMA), 시간 분할 다중 접속(time division multiple access, TDMA), 블루투스(Bluetooth), Wi-Fi, VoIP(voice over Internet Protocol), Wi-MAX, 또는 임의의 다른 적합한 통신 프로토콜과 같은 다양한 유선 또는 무선 프로토콜들을 포함하는 임의의 알려진 네트워크 프로토콜을 이용하여 구현된다.
서버 시스템(2108)은 하나 이상의 독립형 데이터 프로세싱 장치 또는 분산형 컴퓨터 네트워크 상에 구현된다. 일부 예들에서, 서버 시스템(2108)은 서버 시스템(2108)의 기본 컴퓨팅 리소스들 및/또는 인프라구조 리소스들을 제공하기 위해 제3자 서비스 제공자들(예컨대, 제3자 클라우드 서비스 제공자들)의 다양한 가상 디바이스들 및/또는 서비스들을 또한 채용한다.
일부 예들에서, 사용자 디바이스(2104)는 제2 사용자 디바이스(2122)를 통해 DA 서버(2106)와 통신한다. 제2 사용자 디바이스(2122)는 사용자 디바이스(2104)와 유사 또는 동일하다. 사용자 디바이스(2104)는 직접 통신 접속, 예컨대, 블루투스, NFC, BTLE 등을 통해, 또는 유선 또는 무선 네트워크, 예컨대, 로컬 Wi-Fi 네트워크를 통해 제2 사용자 디바이스(2122)에 통신가능하게 커플링되도록 구성된다. 일부 예들에서, 제2 사용자 디바이스(2122)는 사용자 디바이스(2104)와 DA 서버(2106) 사이의 대용물로서 동작하도록 구성된다. 예를 들어, 사용자 디바이스(2104)의 DA 클라이언트(2102)는 제2 사용자 디바이스(2122)를 통해 DA 서버(2106)로 정보(예컨대, 사용자 디바이스(2104)에서 수신된 사용자 요청)를 송신하도록 구성된다. DA 서버(2106)는 정보를 프로세싱하고 제2 사용자 디바이스(2122)를 통해 사용자 디바이스(2104)로 관련 데이터(예컨대, 사용자 요청에 응답하는 데이터 콘텐츠)를 반환한다.
일부 예들에서, 사용자 디바이스(2104)는 사용자 디바이스(2104)로부터 전송되는 정보의 양을 감소시키기 위해 제2 사용자 디바이스(2122)에게 데이터에 대한 단축된 요청들을 통신하도록 구성된다. 제2 사용자 디바이스(2122)는 DA 서버(2106)에 전송할 완전한 요청을 생성하기 위해 단축된 요청에 추가할 추가 정보를 결정하도록 구성된다. 이러한 시스템 아키텍처는, 유리하게는, 제한된 통신 능력들 및/또는 제한된 배터리 전력을 갖는 사용자 디바이스(2104)(예컨대, 시계 또는 유사한 콤팩트한 전자 디바이스)가, DA 서버(2106)에 대한 대용물로서, 더 큰 통신 능력들 및/또는 배터리 전력을 갖는 제2 사용자 디바이스(2122)(예컨대, 모바일 폰, 랩톱 컴퓨터, 태블릿 컴퓨터 등)를 사용함으로써 DA 서버(2106)에 의해 제공되는 서비스들에 액세스하게 할 수 있다. 단지 2개의 사용자 디바이스들(2104, 2122)만이 도 1c에 도시되어 있지만, 일부 예들에서, 시스템(2100)은 DA 서버 시스템(2106)과 통신하도록 이러한 대용물 구성으로 구성된 임의의 수 및 유형의 사용자 디바이스들을 포함한다는 것이 이해되어야 한다.
도 1c에 도시된 디지털 어시스턴트가 클라이언트 측 부분(예컨대, DA 클라이언트(2102)) 및 서버 측 부분(예컨대, DA 서버(2106)) 둘 모두를 포함하지만, 일부 예들에서, 디지털 어시스턴트의 기능들은 사용자 디바이스 상에 설치된 독립형 애플리케이션으로서 구현된다. 더욱이, 디지털 어시스턴트의 클라이언트 부분과 서버 부분 사이의 기능들의 분할은 상이한 구현예들에서 다를 수 있다. 예를 들어, 일부 예들에서, DA 클라이언트는, 단지 사용자 대면 입력 및 출력 프로세싱 기능들만을 제공하고, 디지털 어시스턴트의 다른 모든 기능들을 백엔드 서버(backend server)로 위임하는 씬-클라이언트(thin-client)이다.
도 2는 일부 실시예들에 따른, 터치 스크린(112)을 갖는 휴대용 다기능 디바이스(100)를 도시한다. 터치 스크린은, 선택적으로, 사용자 인터페이스(UI)(200) 내에서 하나 이상의 그래픽들을 디스플레이한다. 이러한 실시예는 물론 하기에 기술되는 다른 실시예들에서, 사용자는, 예를 들어, 하나 이상의 손가락들(202)(도면에서 축척대로 도시되지 않음) 또는 하나 이상의 스타일러스들(203)(도면에서 축척대로 도시되지 않음)을 이용하여 그래픽 상에 제스처를 행함으로써 그래픽들 중 하나 이상을 선택하는 것이 가능하게 된다. 일부 실시예들에서, 하나 이상의 그래픽의 선택은 사용자가 하나 이상의 그래픽과의 접촉을 중단할 때 발생한다. 일부 실시예들에서, 제스처는 선택적으로 디바이스(100)와 접촉한 손가락의 하나 이상의 탭들, (좌측에서 우측으로의, 우측에서 좌측으로의, 상측으로의 그리고/또는 하측으로의) 하나 이상의 스와이프들, 및/또는 (우측에서 좌측으로의, 좌측에서 우측으로의, 상측으로의 그리고/또는 하측으로의) 롤링을 포함한다. 일부 구현예들 또는 상황들에서, 그래픽과 부주의하여 접촉되면 그 그래픽은 선택되지 않는다. 예를 들면, 선택에 대응하는 제스처가 탭일 때, 애플리케이션 아이콘 위를 스윕(sweep)하는 스와이프 제스처는 선택적으로, 대응하는 애플리케이션을 선택하지 않는다.
디바이스(100)는 또한 선택적으로 "홈" 또는 메뉴 버튼(204)과 같은 하나 이상의 물리적 버튼을 포함한다. 전술된 바와 같이, 메뉴 버튼(204)은 선택적으로, 디바이스(100) 상에서 선택적으로 실행되는 애플리케이션들의 세트 내의 임의의 애플리케이션(136)으로 내비게이팅하는 데 사용된다. 대안적으로, 일부 실시예들에서, 메뉴 버튼은 터치 스크린(112) 상에 디스플레이된 GUI에서 소프트 키로서 구현된다.
일부 실시예들에서, 디바이스(100)는 터치 스크린(112), 메뉴 버튼(204), 디바이스의 전원을 온/오프하고 디바이스를 잠그기 위한 푸시 버튼(206), 음량 조절 버튼(들)(208), 가입자 식별 모듈(SIM) 카드 슬롯(210), 헤드셋 잭(212), 및 도킹/충전 외부 포트(124)를 포함한다. 푸시 버튼(206)은, 선택적으로, 버튼을 누르고 버튼을 미리정의된 시간 간격 동안 누른 상태로 유지함으로써 디바이스의 전원을 온/오프시키고/시키거나; 버튼을 누르고 미리정의된 시간 간격이 경과하기 전에 버튼을 누름해제함으로써 디바이스를 잠그고/잠그거나; 디바이스를 잠금해제하거나 잠금해제 프로세스를 개시하는 데 사용된다. 대안적인 실시예에서, 디바이스(100)는 또한 마이크로폰(113)을 통해 일부 기능들의 활성화 또는 비활성화를 위한 구두 입력을 수용한다. 디바이스(100)는 또한, 선택적으로, 터치 스크린(112) 상에서의 접촉들의 세기를 검출하기 위한 하나 이상의 접촉 세기 센서들(165) 및/또는 디바이스(100)의 사용자를 위해 촉각적 출력들을 생성하기 위한 하나 이상의 촉각적 출력 생성기들(167)을 포함한다.
도 3은 일부 실시예들에 따른, 디스플레이 및 터치 감응형 표면을 갖는 예시적인 다기능 디바이스의 블록도이다. 디바이스(300)가 휴대용일 필요는 없다. 일부 실시예들에서, 디바이스(300)는, 랩톱 컴퓨터, 데스크톱 컴퓨터, 태블릿 컴퓨터, 멀티미디어 재생기 디바이스, 내비게이션 디바이스, (어린이 학습 장난감과 같은) 교육용 디바이스, 게이밍 시스템, 또는 제어 디바이스(예컨대, 가정용 또는 산업용 제어기)이다. 디바이스(300)는 전형적으로 하나 이상의 프로세싱 유닛(CPU)들(310), 하나 이상의 네트워크 또는 다른 통신 인터페이스들(360), 메모리(370), 및 이들 컴포넌트를 상호접속하기 위한 하나 이상의 통신 버스들(320)을 포함한다. 통신 버스들(320)은 선택적으로 시스템 컴포넌트들을 상호접속하고 이들 사이의 통신을 제어하는 회로부(때때로 칩셋이라고 지칭됨)를 포함한다. 디바이스(300)는 전형적으로 터치 스크린 디스플레이인 디스플레이(340)를 포함하는 입/출력(I/O) 인터페이스(330)를 포함한다. I/O 인터페이스(330)는 또한, 선택적으로, 키보드 및/또는 마우스(또는 다른 포인팅 디바이스)(350) 및 터치패드(355), 디바이스(300) 상에 촉각적 출력들을 생성하기 위한 촉각적 출력 생성기(357)(예컨대, 도 1a를 참조하여 전술된 촉각적 출력 생성기(들)(167)와 유사함), 및 센서들(359)(예컨대, 광 센서, 가속도 센서, 근접 센서, 터치 감응형 센서, 및/또는 도 1a를 참조하여 전술된 접촉 세기 센서(들)(165)와 유사한 접촉 세기 센서)을 포함한다. 메모리(370)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 디바이스들과 같은 고속 랜덤 액세스 메모리를 포함하며; 선택적으로 하나 이상의 자기 디스크 저장 디바이스, 광 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 다른 비휘발성 솔리드 스테이트 저장 디바이스와 같은 비휘발성 메모리를 포함한다. 메모리(370)는 선택적으로 CPU(들)(310)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 일부 실시예들에서, 메모리(370)는 휴대용 다기능 디바이스(100)(도 1a)의 메모리(102)에 저장된 프로그램들, 모듈들, 및 데이터 구조들과 유사한 프로그램들, 모듈들, 및 데이터 구조들, 또는 이들의 서브세트를 저장한다. 또한, 메모리(370)는, 선택적으로, 휴대용 다기능 디바이스(100)의 메모리(102) 내에 존재하지 않는 추가의 프로그램들, 모듈들 및 데이터 구조들을 저장한다. 예를 들어, 디바이스(300)의 메모리(370)는, 선택적으로, 드로잉 모듈(380), 프레젠테이션 모듈(382), 워드 프로세싱 모듈(384), 웹사이트 제작 모듈(386), 디스크 저작 모듈(388), 및/또는 스프레드시트 모듈(390)을 저장하는 반면, 휴대용 다기능 디바이스(100)(도 1a)의 메모리(102)는, 선택적으로, 이러한 모듈들을 저장하지 않는다.
도 3에서의 앞서 식별된 요소들 각각은, 선택적으로, 전술된 메모리 디바이스들 중 하나 이상에 저장된다. 앞서 식별된 모듈들 각각은 상술한 기능을 수행하기 위한 명령어들의 세트에 대응한다. 앞서 식별된 모듈들 또는 프로그램들(예컨대, 명령어들의 세트들)은 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없으며, 따라서 다양한 실시예들에서 이들 모듈의 다양한 서브세트들이 선택적으로 조합되거나 그렇지 않으면 재배열된다. 일부 실시예들에서, 메모리(370)는 선택적으로, 앞서 식별된 모듈들 및 데이터 구조들의 서브세트를 저장한다. 또한, 메모리(370)는, 선택적으로, 전술되지 않은 추가의 모듈들 및 데이터 구조들을 저장한다.
이제, 예를 들어, 휴대용 다기능 디바이스(100) 상에서 선택적으로 구현되는 사용자 인터페이스들의 실시예들에 주목한다.
도 4a는 일부 실시예들에 따른, 휴대용 다기능 디바이스(100) 상의 애플리케이션들의 메뉴에 대한 예시적인 사용자 인터페이스를 예시한다. 유사한 사용자 인터페이스들이 선택적으로 디바이스(300) 상에 구현된다. 일부 실시예들에서, 사용자 인터페이스(400)는 하기의 요소들, 또는 그들의 서브세트나 수퍼세트를 포함한다:
Figure 112020115252530-pct00020
셀룰러 및 Wi-Fi 신호들과 같은 무선 통신(들)을 위한 신호 세기 표시자(들)(402);
Figure 112020115252530-pct00021
시간(404);
Figure 112020115252530-pct00022
블루투스 표시자(405);
Figure 112020115252530-pct00023
배터리 상태 표시자(406);
Figure 112020115252530-pct00024
다음과 같은, 빈번하게 사용되는 애플리케이션들에 대한 아이콘들을 갖는 트레이(408):
o 부재 중 전화들 또는 음성메일 메시지들의 개수의 표시자(414)를 선택적으로 포함하는 "전화"라고 라벨링된 전화 모듈(138)에 대한 아이콘(416);
o 읽지 않은 이메일들의 개수의 표시자(410)를 선택적으로 포함하는 "메일"이라고 라벨링된 이메일 클라이언트 모듈(140)에 대한 아이콘(418);
o "브라우저"라고 라벨링된 브라우저 모듈(147)에 대한 아이콘(420);및
o 아이팟(애플 인크.의 상표) 모듈(152)로도 지칭되는, "아이팟"이라고 라벨링된 비디오 및 음악 재생기 모듈(152)에 대한 아이콘(422);및
Figure 112020115252530-pct00025
다음과 같은, 다른 애플리케이션들에 대한 아이콘들:
o "메시지"라고 라벨링된 IM 모듈(141)에 대한 아이콘(424);
o "캘린더"라고 라벨링된 캘린더 모듈(148)에 대한 아이콘(426);
o "사진"이라고 라벨링된 이미지 관리 모듈(144)에 대한 아이콘(428);
o "카메라"라고 라벨링된 카메라 모듈(143)에 대한 아이콘(430);
o "온라인 비디오"라고 라벨링된 온라인 비디오 모듈(155)에 대한 아이콘(432);
o "주식"이라고 라벨링된 주식 위젯(149-2)에 대한 아이콘(434);
o "지도"라고 라벨링된 지도 모듈(154)에 대한 아이콘(436);
o "날씨"라고 라벨링된 날씨 위젯(149-1)에 대한 아이콘(438);
o "시계"라고 라벨링된 알람 시계 위젯(149-4)에 대한 아이콘(440);
o "운동 지원"이라고 라벨링된 운동 지원 모듈(142)에 대한 아이콘(442);
o "메모"라고 라벨링된 메모 모듈(153)에 대한 아이콘(444);및
o 디바이스(100) 및 그의 다양한 애플리케이션들(136)에 대한 설정으로의 액세스를 제공하는, "설정"이라고 라벨링된, 설정 애플리케이션 또는 모듈에 대한 아이콘(446).
도 4a에 예시된 아이콘 라벨들은 단지 예시일 뿐이라는 것에 주목해야 한다. 예를 들면, 비디오 및 음악 재생기 모듈(152)에 대한 아이콘(422)은 "음악" 또는 "음악 재생기"라고 라벨링된다. 기타 라벨들이 선택적으로 다양한 애플리케이션 아이콘들에 대해 사용된다. 일부 실시예들에서, 각각의 애플리케이션 아이콘에 대한 라벨은 각각의 애플리케이션 아이콘에 대응하는 애플리케이션의 이름을 포함한다. 일부 실시예들에서, 특정 애플리케이션 아이콘에 대한 라벨은 특정 애플리케이션 아이콘에 대응하는 애플리케이션의 이름과는 별개이다.
도 4b는 디스플레이(450)(예컨대, 터치 스크린 디스플레이(112))와는 별개인 터치 감응형 표면(451)(예컨대, 도 3의 태블릿 또는 터치패드(355))을 갖는 디바이스(예컨대, 도 3의 디바이스(300)) 상의 예시적인 사용자 인터페이스를 도시한다. 디바이스(300)는 또한, 선택적으로, 터치 감응형 표면(451) 상에서의 접촉들의 세기를 검출하기 위한 하나 이상의 접촉 세기 센서들(예컨대, 센서들(359) 중 하나 이상) 및/또는 디바이스(300)의 사용자에 대한 촉각적 출력들을 생성하기 위한 하나 이상의 촉각적 출력 생성기들(357)을 포함한다.
후속하는 예들 중 일부가 (터치 감응형 표면과 디스플레이가 조합된) 터치 스크린 디스플레이(112) 상의 입력들을 참조하여 제공될 것이지만, 일부 실시예들에서, 디바이스는 도 4b에 도시된 바와 같이 디스플레이와 별개인 터치 감응형 표면 상에서 입력들을 검출한다. 일부 실시예들에서, 터치 감응형 표면(예컨대, 도 4b의 451)은 디스플레이(예컨대, 450) 상의 주축(예컨대, 도 4b의 453)에 대응하는 주축(예컨대, 도 4b의 452)을 갖는다. 이 실시예들에 따르면, 디바이스는 디스플레이 상의 각각의 위치들에 대응하는 위치들(예컨대, 도 4b에서, 460은 468에 대응하고, 462는 470에 대응함)에서 터치 감응형 표면(451)과의 접촉들(예컨대, 도 4b의 460 및 462)을 검출한다. 이러한 방식으로, 터치 감응형 표면(예컨대, 도 4b의 451) 상에서 디바이스에 의해 검출된 사용자 입력들(예컨대, 접촉들(460, 462) 및 그 이동들)은 터치 감응형 표면이 디스플레이와는 별개일 때 디바이스에 의해 다기능 디바이스의 디스플레이(예컨대, 도 4b의 450) 상의 사용자 인터페이스를 조작하는 데 사용된다. 유사한 방법들이, 선택적으로, 본 명세서에 기술된 다른 사용자 인터페이스들에 이용된다는 것이 이해되어야 한다.
추가적으로, 하기의 예들이 손가락 입력들(예컨대, 손가락 접촉들, 손가락 탭 제스처들, 손가락 스와이프 제스처들)을 주로 참조하여 주어지는 반면, 일부 실시예들에서, 손가락 입력들 중 하나 이상은 다른 입력 디바이스로부터의 입력(예컨대, 마우스 기반 입력 또는 스타일러스 입력)으로 대체된다는 것이 이해되어야 한다. 예컨대, 스와이프 제스처는, 선택적으로, 마우스 클릭(예컨대, 접촉 대신) 및 뒤이은 스와이프의 경로를 따른 커서의 이동(예컨대, 접촉의 이동 대신)으로 대체된다. 다른 예로서, (예컨대, 접촉의 검출에 이어 접촉을 검출하는 것을 중지하는 것 대신에) 커서가 탭 제스처의 위치 위에 위치되어 있는 동안에 탭 제스처가 선택적으로 마우스 클릭으로 대체된다. 유사하게, 다수의 사용자 입력이 동시에 검출되는 경우, 다수의 컴퓨터 마우스가 선택적으로 동시에 사용되거나, 또는 마우스와 손가락 접촉들이 선택적으로 동시에 사용되는 것으로 이해하여야 한다.
도 5a는 예시적인 개인용 전자 디바이스(500)를 도시한다. 디바이스(500)는 몸체(502)를 포함한다. 일부 실시예들에서, 디바이스(500)는 디바이스들(100, 300)(예컨대, 도 1a 내지 도 4b)에 관련하여 기술된 특징들의 일부 또는 전부를 포함할 수 있다. 일부 실시예들에서, 디바이스(500)는 터치 감응형 디스플레이 스크린(504)(이하, 터치 스크린(504))을 갖는다. 터치 스크린(504)에 대해 대안으로 또는 추가로, 디바이스(500)는 디스플레이 및 터치 감응형 표면을 갖는다. 디바이스들(100, 300)과 같이, 일부 실시예들에서, 터치 스크린(504)(또는 터치 감응형 표면)은, 선택적으로, 가해지는 접촉들(예컨대, 터치들)의 세기를 검출하기 위한 하나 이상의 세기 센서를 포함한다. 터치 스크린(504)(또는 터치 감응형 표면)의 하나 이상의 세기 센서들은 터치들의 세기를 표현하는 출력 데이터를 제공할 수 있다. 디바이스(500)의 사용자 인터페이스는 터치들의 세기에 기초하여 터치들에 응답할 수 있는데, 이는 상이한 세기들의 터치들이 디바이스(500) 상의 상이한 사용자 인터페이스 동작들을 호출할 수 있다는 것을 의미한다.
터치 세기를 검출하고 프로세싱하기 위한 예시적인 기법들은, 예를 들어, 관련 출원들: 2013년 5월 8일자로 출원되고 발명의 명칭이 "Device, Method, and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application"인 국제 특허 출원 PCT/US2013/040061호(WIPO 공개 번호 WO/2013/169849호로서 공개됨), 및 2013년 11월 11일자로 출원되고 발명의 명칭이 "Device, Method, and Graphical User Interface for Transitioning Between Touch Input to Display Output Relationships"인 국제 특허 출원 PCT/US2013/069483호(WIPO 공개 번호 WO/2014/105276호로서 공개됨)에서 찾을 수 있으며, 이들 각각은 전체적으로 본 명세서에 참고로 포함된다.
일부 실시예들에서, 디바이스(500)는 하나 이상의 입력 메커니즘들(506, 508)을 갖는다. 입력 메커니즘들(506, 508)(포함되어 있는 경우)은 물리적인 것일 수 있다. 물리적 입력 메커니즘들의 예들은 푸시 버튼들 및 회전가능 메커니즘들을 포함한다. 일부 실시예들에서, 디바이스(500)는 하나 이상의 부착 메커니즘들을 갖는다. 이러한 부착 메커니즘들(포함되어 있는 경우)은 디바이스(500)가, 예를 들어, 모자, 안경, 귀걸이, 목걸이, 셔츠, 재킷, 팔찌, 시계줄, 쇠줄(chain), 바지, 벨트, 신발, 지갑, 배낭 등에 부착될 수 있게 한다. 이 부착 메커니즘들은 디바이스(500)가 사용자에 의해 착용되도록 한다.
도 5b는 예시적인 개인용 전자 디바이스(500)를 도시한다. 일부 실시예들에서, 디바이스(500)는 도 1a, 도 1b, 및 도 3에 관련하여 기술된 컴포넌트들의 일부 또는 전부를 포함할 수 있다. 디바이스(500)는 I/O 섹션(514)을 하나 이상의 컴퓨터 프로세서들(516) 및 메모리(518)와 동작가능하게 커플링시키는 버스(512)를 갖는다. I/O 섹션(514)은 디스플레이(504)에 접속될 수 있고, 이는 터치 감응형 컴포넌트(522), 및 선택적으로, 세기 센서(524)(예컨대, 접촉 세기 센서)를 가질 수 있다. 또한, I/O 섹션(514)은, Wi-Fi, 블루투스, 근거리 통신(NFC), 셀룰러, 및/또는 다른 무선 통신 기법들을 사용하여, 애플리케이션 및 운영 체제 데이터를 수신하기 위해 통신 유닛(530)과 접속될 수 있다. 디바이스(500)는 입력 메커니즘들(506 및/또는 508)을 포함할 수 있다. 입력 메커니즘(506)은, 선택적으로, 회전가능 입력 디바이스 또는 예를 들어 누름가능 및 회전가능한 입력 디바이스이다. 일부 예들에서, 입력 메커니즘(508)은, 선택적으로, 버튼이다.
일부 예들에서, 입력 메커니즘(508)은, 선택적으로, 마이크로폰이다. 개인용 전자 디바이스(500)는, 선택적으로, GPS 센서(532), 가속도계(534), 방향 센서(540)(예컨대, 나침반), 자이로스코프(536), 모션 센서(538), 및/또는 이들의 조합과 같은, 다양한 센서들을 포함하고, 이들 모두는 I/O 섹션(514)에 동작가능하게 접속될 수 있다.
개인용 전자 디바이스(500)의 메모리(518)는, 예를 들어, 하나 이상의 컴퓨터 프로세서들(516)에 의해 실행될 때, 컴퓨터 프로세서들로 하여금 후술되는 기법들을 수행하게 할 수 있는, 컴퓨터 실행가능 명령어들을 저장하기 위한 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체는 명령어 실행 시스템, 장치, 또는 디바이스에 의해 또는 그와 관련하여 사용하기 위한 컴퓨터 실행가능 명령어들을 유형적으로(tangibly) 포함하거나 저장할 수 있는 임의의 매체일 수 있다. 일부 예들에서, 저장 매체는 일시적 컴퓨터 판독가능 저장 매체이다. 일부 예들에서, 저장 매체는 비일시적 컴퓨터 판독가능 저장 매체이다. 비일시적 컴퓨터 판독가능 저장 매체는 자기, 광, 및/또는 반도체 저장소들을 포함할 수 있지만, 이들로 제한되지 않는다. 이러한 저장소의 예들은 자기 디스크들, CD, DVD, 또는 블루레이 기술들에 기초한 광 디스크들은 물론, 플래시, 솔리드 스테이트 드라이브들 등과 같은 영속적 솔리드 스테이트 메모리를 포함한다. 개인용 전자 디바이스(500)는 도 5b의 컴포넌트들 및 구성에 한정되지 않고, 다수의 구성들에서 다른 또는 추가적인 컴포넌트들을 포함할 수 있다.
여기서 사용되는 바와 같이, "어포던스"라는 용어는 디바이스들(100, 300, 500, 및/또는 600)(도 1a, 도 3, 도 5a, 및 도 5b)의 디스플레이 스크린 상에 선택적으로 디스플레이되는 사용자 상호작용형(user-interactive) 그래픽 사용자 인터페이스 객체를 지칭한다. 예를 들어, 이미지(예컨대, 아이콘), 버튼, 및 텍스트(예컨대, 하이퍼링크) 각각이 선택적으로 어포던스를 구성한다.
본 명세서에 사용되는 바와 같이, "포커스 선택자(focus selector)"라는 용어는 사용자와 상호작용하고 있는 사용자 인터페이스의 현재 부분을 나타내는 입력 요소를 지칭한다. 커서 또는 다른 위치 마커(location marker)를 포함하는 일부 구현예들에서, 커서가 특정 사용자 인터페이스 요소(예컨대, 버튼, 창, 슬라이더 또는 다른 사용자 인터페이스 요소) 위에 있는 동안 터치 감응형 표면(예컨대, 도 3의 터치패드(355) 또는 도 4b의 터치 감응형 표면(451)) 상에서 입력(예컨대, 누르기 입력)이 검출될 때, 특정 사용자 인터페이스 요소가 검출된 입력에 따라 조정되도록, 커서는 "포커스 선택자"로서 기능한다. 터치 스크린 디스플레이 상의 사용자 인터페이스 요소들과의 직접적인 상호작용을 인에이블하는 터치 스크린 디스플레이(예컨대, 도 1a의 터치 감응형 디스플레이 시스템(112) 또는 도 4a의 터치 스크린(112))를 포함하는 일부 구현예들에서, 입력(예컨대, 접촉에 의한 누르기 입력)이 특정 사용자 인터페이스 요소(예컨대, 버튼, 창, 슬라이더 또는 다른 사용자 인터페이스 요소)의 위치에 있는 터치 스크린 디스플레이 상에서 검출될 때, 특정 사용자 인터페이스 요소가 검출된 입력에 따라 조정되도록, 터치 스크린 상에서 검출된 접촉이 "포커스 선택자"로서 기능한다. 일부 구현예들에서, (예를 들어 포커스를 하나의 버튼으로부터 다른 버튼으로 움직이도록 탭 키 또는 화살표 키를 사용함으로써) 터치 스크린 디스플레이 상의 대응하는 커서의 이동 또는 접촉의 이동 없이 포커스가 사용자 인터페이스의 하나의 영역으로부터 사용자 인터페이스의 다른 영역으로 이동되며; 이러한 구현예들에서, 포커스 선택자는 사용자 인터페이스의 상이한 영역들 사이에서의 포커스의 이동에 따라 움직인다. 포커스 선택자가 갖는 특정 형태와 무관하게, 포커스 선택자는 일반적으로 (예컨대, 사용자가 상호작용하고자 하는 사용자 인터페이스의 요소를 디바이스에 나타내는 것에 의해) 사용자 인터페이스와의 사용자의 의도된 상호작용을 전달하기 위해 사용자에 의해 제어되는 사용자 인터페이스 요소(또는 터치 스크린 디스플레이 상에서의 접촉)이다. 예를 들어, 터치 감응형 표면(예컨대, 터치패드 또는 터치 스크린) 상에서 누르기 입력이 검출되는 동안 각각의 버튼 위의 포커스 선택자(예컨대, 커서, 접촉 또는 선택 박스)의 위치는 (디바이스의 디스플레이 상에 보여지는 다른 사용자 인터페이스 요소들과 달리) 사용자가 각각의 버튼을 활성화시키려고 하고 있다는 것을 나타낼 것이다.
명세서 및 청구범위에서 사용되는 바와 같이, 접촉의 "특성 세기"라는 용어는 접촉의 하나 이상의 세기들에 기초한 접촉의 특성을 지칭한다. 일부 실시예들에서, 특성 세기는 다수의 세기 샘플들에 기초한다. 특성 세기는, 선택적으로, 미리정의된 수의 세기 샘플들, 또는 (예컨대, 접촉을 검출한 이후에, 접촉의 리프트오프를 검출하기 이전에, 접촉의 이동의 시작을 검출하기 이전 또는 이후에, 접촉의 종료를 검출하기 이전에, 접촉의 세기의 증가를 검출하기 이전 또는 이후에, 그리고/또는 접촉의 세기의 감소를 검출하기 이전 또는 이후에) 미리정의된 이벤트에 대해 미리결정된 기간(예컨대, 0.05, 0.1, 0.2, 0.5, 1, 2, 5, 10초) 동안 수집된 세기 샘플들의 세트에 기초한다. 접촉의 특성 세기는, 선택적으로, 접촉의 세기들의 최대 값, 접촉의 세기들의 중간 값(mean value), 접촉의 세기들의 평균 값(average value), 접촉의 세기들의 상위 10 백분위 값(top 10 percentile value), 접촉의 세기들의 최대 값의 절반의 값, 접촉의 세기들의 최대 값의 90 퍼센트의 값 등 중 하나 이상에 기초한다. 일부 실시예들에서, 접촉의 지속기간은 (예컨대, 특성 세기가 시간의 경과에 따른 접촉의 세기의 평균일 때) 특성 세기를 결정하는 데 사용된다. 일부 실시예들에서, 동작이 사용자에 의해 수행되었는지 여부를 결정하기 위해, 특성 세기가 하나 이상의 세기 임계치들의 세트와 비교된다. 예를 들어, 하나 이상의 세기 임계치의 세트는 선택적으로 제1 세기 임계치 및 제2 세기 임계치를 포함한다. 이 예에서, 제1 임계치를 초과하지 않는 특성 세기를 갖는 접촉의 결과, 제1 동작이 행해지고, 제1 세기 임계치를 초과하지만 제2 세기 임계치를 초과하지 않는 특성 세기를 갖는 접촉의 결과, 제2 동작이 행해지며, 제2 임계치 초과의 특성 세기를 갖는 접촉의 결과, 제3 동작이 행해진다. 일부 실시예들에서, 특성 세기와 하나 이상의 임계치 간의 비교는, 제1 동작을 수행할지 제2 동작을 수행할지 결정하기 위해 사용되기보다는, 하나 이상의 동작을 수행할지 여부(예컨대, 각각의 동작을 수행할지 또는 각각의 동작을 수행하는 것을 보류할지 여부)를 결정하기 위해 사용된다.
도 5c는 복수의 세기 센서들(524A 내지 524D)을 사용하여 터치 감응형 디스플레이 스크린(504) 상에서의 복수의 접촉들(552A 내지 552E)을 검출하는 것을 도시한다. 도 5c는 세기 단위들에 대한 세기 센서들(524A 내지 524D)의 현재 세기 측정치들을 보여주는 세기 다이어그램들을 추가로 포함한다. 이 예에서, 세기 센서들(524A, 524D)의 세기 측정치들은 각각 9개의 세기 단위들이고, 세기 센서들(524B, 524C)의 세기 측정치들은 각각 7개의 세기 단위들이다. 일부 구현예들에서, 총 세기는 복수의 세기 센서들(524A 내지 524D)의 세기 측정치들의 합이고, 이는 이 예에서 32개 세기 단위들이다. 일부 실시예들에서, 각각의 접촉에는 총 세기의 일부분인 각각의 세기가 할당된다. 도 5d는 힘의 중심(554)으로부터의 각각의 거리에 기초하여 접촉들(552A 내지 552E)에 총 세기를 할당하는 것을 도시한다. 이 예에서, 접촉들(552A, 552B, 552E)에는 각각 총 세기 중 8개 세기 단위들의 접촉의 세기가 할당되고, 접촉들(552C, 552D)에는 각각 총 세기 중 4개 세기 단위들의 접촉의 세기가 할당된다. 보다 일반적으로, 일부 구현예들에서, 각각의 접촉(j)에는 미리정의된 수학 함수 Ij = Aㅇ(Dj/ΣDi)에 따라 총 세기(A)의 일부분인 각각의 세기(Ij)가 할당되는데, 여기서 Dj는 힘의 중심까지의 각각의 접촉(j)의 거리이고, ΣDi는 힘의 중심까지의 모든 각각의 접촉들의 거리들의 총합이다(예를 들어, i=1 내지 마지막). 도 5c 및 도 5d를 참조하여 기술된 동작들이 디바이스(100, 300, 500, 또는 600)와 유사하거나 동일한 전자 디바이스를 사용하여 수행될 수 있다. 일부 실시예들에서, 접촉의 특성 세기는 접촉의 하나 이상의 세기에 기초한다. 일부 실시예들에서, 세기 센서들을 이용하여 단일 특성 세기(예컨대, 단일 접촉의 단일 특성 세기)를 결정한다. 세기 다이어그램들은 디스플레이된 사용자 인터페이스의 일부분이 아니고, 독자를 돕기 위해 도 5c 및 도 5d에 포함된 것임을 주의해야 한다.
일부 실시예들에서, 특성 세기를 결정하기 위해 제스처의 일부분이 식별된다. 예를 들어, 터치 감응형 표면은, 선택적으로, 시작 위치로부터 전이하여 종료 위치(이 지점에서 접촉의 세기가 증가함)에 도달하는 연속적인 스와이프 접촉을 수신한다. 이 예에서, 종료 위치에서의 접촉의 특성 세기는 선택적으로 스와이프 접촉 전체가 아니라 연속적인 스와이프 접촉의 일부분에만(예컨대, 종료 위치에서의 스와이프 접촉의 부분에만) 기초한다. 일부 실시예들에서, 접촉의 특성 세기를 결정하기 전에 선택적으로 스와이프 접촉의 세기들에 평활화 알고리즘이 적용된다. 예를 들어, 평활화 알고리즘은, 선택적으로, 비가중 이동 평균(unweighted sliding-average) 평활화 알고리즘, 삼각(triangular) 평활화 알고리즘, 메디안 필터(median filter) 평활화 알고리즘, 및/또는 지수(exponential) 평활화 알고리즘 중 하나 이상을 포함한다. 일부 상황들에서, 이 평활화 알고리즘들은 특성 세기를 결정하기 위해 스와이프 접촉의 세기들에서의 좁은 급등(spike)들 또는 급감(dip)들을 제거한다.
터치 감응형 표면 상에서의 접촉의 세기는, 선택적으로, 접촉-검출 세기 임계치, 가볍게 누르기 세기 임계치, 깊게 누르기 세기 임계치, 및/또는 하나 이상의 다른 세기 임계치와 같은, 하나 이상의 세기 임계치에 대해 특성화된다. 일부 실시예들에서, 가볍게 누르기 세기 임계치는, 디바이스가 물리적 마우스의 버튼 또는 트랙패드를 클릭하는 것과 전형적으로 연관된 동작들을 수행하게 될 세기에 대응한다. 일부 실시예들에서, 깊게 누르기 세기 임계치는, 디바이스가 물리적 마우스의 버튼 또는 트랙패드를 클릭하는 것과 전형적으로 연관된 동작들과는 상이한 동작들을 수행하게 될 세기에 대응한다. 일부 실시예들에서, 접촉이 가볍게 누르기 세기 임계치 미만의(예컨대, 그리고 공칭 접촉 검출 세기 임계치(이 미만에서는 접촉이 더 이상 검출되지 않음) 초과의) 특성 세기로 검출될 때, 디바이스는 가볍게 누르기 세기 임계치 또는 깊게 누르기 세기 임계치와 연관된 동작을 수행함이 없이 터치 감응형 표면 상의 접촉의 이동에 따라 포커스 선택자를 이동시킬 것이다. 일반적으로, 달리 언급되지 않는 한, 이 세기 임계치들은 사용자 인터페이스 도면들의 상이한 세트들 사이에서 일관성이 있다.
가볍게 누르기 세기 임계치 미만의 세기로부터 가볍게 누르기 세기 임계치와 깊게 누르기 세기 임계치 사이의 세기로의 접촉의 특성 세기의 증가는 때때로 "가볍게 누르기" 입력으로서 지칭된다. 깊게 누르기 세기 임계치 미만의 세기로부터 깊게 누르기 세기 임계치 초과의 세기로의 접촉의 특성 세기의 증가는 때때로 "깊게 누르기" 입력으로서 지칭된다. 접촉 검출 세기 임계치 미만의 세기로부터 접촉 검출 세기 임계치와 가볍게 누르기 세기 임계치 사이의 세기로의 접촉의 특성 세기의 증가는 때때로 터치 표면 상에서의 접촉을 검출하는 것으로서 지칭된다. 접촉 검출 세기 임계치 초과의 세기로부터 접촉 검출 세기 임계치 미만의 세기로의 접촉의 특성 세기의 감소는 때때로 터치 표면으로부터의 접촉의 리프트오프를 검출하는 것으로서 지칭된다. 일부 실시예들에서, 접촉 검출 세기 임계치는 영(0)이다. 일부 실시예들에서, 접촉 검출 세기 임계치는 0 초과이다.
본 명세서에 기술된 일부 실시예들에서, 하나 이상의 동작들은, 각각의 누르기 입력을 포함하는 제스처를 검출하는 것에 응답하여 또는 각각의 접촉(또는 복수의 접촉들)으로 수행되는 각각의 누르기 입력을 검출하는 것에 응답하여 수행되며, 여기서 각각의 누르기 입력은 누르기 입력 세기 임계치 초과의 접촉(또는 복수의 접촉들)의 세기의 증가를 검출하는 것에 적어도 부분적으로 기초하여 검출된다. 일부 실시예들에서, 각각의 동작은, 누르기 입력 세기 임계치 초과의 각각의 접촉의 세기의 증가(예컨대, 각각의 누르기 입력의 "다운 스트로크(down stroke)")를 검출하는 것에 응답하여 수행된다. 일부 실시예들에서, 누르기 입력은 누르기 입력 세기 임계치 초과의 각각의 접촉의 세기의 증가 및 누르기 입력 세기 임계치 미만의 접촉의 세기의 후속하는 감소를 포함하며, 각각의 동작은 누르기 입력 임계치 미만의 각각의 접촉의 세기의 후속하는 감소(예컨대, 각각의 누르기 입력의 "업 스트로크(up stroke)")를 검출하는 것에 응답하여 수행된다.
도 5e 내지 도 5h는 도 5e의 가볍게 누르기 세기 임계치(예컨대, "ITL") 미만의 세기로부터 도 5h의 깊게 누르기 세기 임계치(예컨대, "ITD") 초과의 세기로의 접촉(562)의 세기의 증가에 대응하는 누르기 입력을 포함하는 제스처의 검출을 도시한다. 미리정의된 영역(574)에 디스플레이되는 애플리케이션 아이콘들(572A 내지 572D)을 포함하는 디스플레이된 사용자 인터페이스(570) 상에서, 커서(576)가 앱 2에 대응하는 애플리케이션 아이콘(572B) 위에 디스플레이되는 동안, 접촉(562)을 이용하여 수행된 제스처가 터치 감응형 표면(560) 상에서 검출된다. 일부 실시예들에서, 제스처는 터치 감응형 디스플레이(504) 상에서 검출된다. 세기 센서들은 터치 감응형 표면(560) 상에서의 접촉들의 세기를 검출한다. 디바이스는 접촉(562)의 세기가 깊게 누르기 세기 임계치(예컨대, "ITD")를 초과하여 정점에 도달한 것으로 결정한다. 접촉(562)은 터치 감응형 표면(560) 상에서 유지된다. 제스처의 검출에 응답하여, 그리고 제스처 동안 깊게 누르기 세기 임계치(예컨대, "ITD")를 초과하는 세기를 갖는 접촉(562)에 따라, 앱 2에 대해 최근에 열어본 문서들의 축소 스케일 표현들(578A 내지 578C)(예컨대, 섬네일(thumbnail)들)이 디스플레이되는데, 이는 도 5f 내지 도 5h에 도시된 바와 같다. 일부 실시예들에서, 하나 이상의 세기 임계치에 비교되는 세기는 접촉의 특성 세기이다. 접촉(562)에 대한 세기 다이어그램은 디스플레이된 사용자 인터페이스의 일부분이 아니고, 독자를 돕기 위하여 도 5e 내지 도 5h에 포함된다는 것에 유의해야 한다.
일부 실시예들에서, 표현들(578A 내지 578C)의 디스플레이는 애니메이션을 포함한다. 예를 들어, 도 5f에 도시된 바와 같이, 표현(578A)은 초기에 애플리케이션 아이콘(572B)에 근접하게 디스플레이된다. 애니메이션이 진행됨에 따라, 도 5g에 도시된 바와 같이, 표현(578A)은 위로 이동하고 표현(578B)은 애플리케이션 아이콘(572B)에 근접하게 디스플레이된다. 이어서, 도 5h에 도시된 바와 같이, 표현(578A)은 위로 이동하고, 표현(578B)은 표현(578A)을 향해 위로 이동하고, 표현(578C)은 애플리케이션 아이콘(572B)에 근접하게 디스플레이된다. 표현들(578A 내지 578C)은 아이콘(572B) 위에 어레이를 형성한다. 일부 실시예들에서, 도 5f 및 도 5g에 도시된 바와 같이, 애니메이션은 접촉(562)의 세기에 따라 진행되는데, 접촉(562)의 세기가 깊게 누르기 세기 임계치(예컨대, "ITD")를 향해 증가함에 따라 표현들(578A 내지 578C)이 나타나서 위로 이동한다. 일부 실시예들에서, 애니메이션의 진행상황이 기초하는 세기는 접촉의 특성 세기이다. 도 5e 내지 도 5h를 참조하여 설명된 동작들이 디바이스(100, 300, 500, 또는 600)와 유사하거나 동일한 전자 디바이스를 사용하여 수행될 수 있다.
일부 실시예들에서, 디바이스는 때때로 "지터(jitter)"로 지칭되는 우발적인 입력들을 회피하기 위해 세기 히스테리시스를 채용하며, 여기서 디바이스는 누르기 입력 세기 임계치에 대한 미리정의된 관계를 갖는 히스테리시스 세기 임계치(예컨대, 히스테리시스 세기 임계치는 누르기 입력 세기 임계치보다 더 낮은 X 세기 단위이거나, 히스테리시스 세기 임계치는 누르기 입력 세기 임계치의 75%, 90% 또는 어떤 적절한 비율임)를 정의하거나 선택한다. 이와 같이, 일부 실시예들에서, 누르기 입력은 누르기 입력 세기 임계치 초과의 각각의 접촉의 세기의 증가 및 누르기 입력 세기 임계치에 대응하는 히스테리시스 세기 임계치 미만의 접촉의 세기의 후속하는 감소를 포함하며, 각각의 동작은 히스테리시스 세기 임계치 미만의 각각의 접촉의 세기의 후속하는 감소(예컨대, 각각의 누르기 입력의 "업 스트로크")를 검출하는 것에 응답하여 수행된다. 유사하게, 일부 실시예들에서, 누르기 입력은 디바이스가 히스테리시스 세기 임계치 이하에서의 세기로부터 누르기 입력 세기 임계치 이상에서의 세기로의 접촉의 세기의 증가, 및 선택적으로, 히스테리시스 세기 이하에서의 세기로의 접촉의 세기의 후속적인 감소를 검출하는 경우에만 검출되고, 각각의 동작은 누르기 입력(예컨대, 주변환경에 따른 접촉의 세기의 증가 또는 접촉의 세기의 감소)을 검출하는 것에 응답하여 수행된다.
설명의 편의상, 누르기 입력 세기 임계치와 연관된 누르기 입력에 응답하여 또는 누르기 입력을 포함하는 제스처에 응답하여 수행되는 동작들의 설명은, 선택적으로, 누르기 입력 세기 임계치 초과의 접촉의 세기의 증가, 히스테리시스 세기 임계치 미만의 세기로부터 누르기 입력 세기 임계치 초과의 세기로의 접촉의 세기의 증가, 누르기 입력 세기 임계치 미만의 접촉의 세기의 감소, 및/또는 누르기 입력 세기 임계치에 대응하는 히스테리시스 세기 임계치 미만의 접촉의 세기의 감소 중 어느 하나를 검출하는 것에 응답하여 트리거된다. 또한, 동작이 누르기 입력 세기 임계치 미만의 접촉의 세기의 감소를 검출하는 것에 응답하여 수행되는 것으로서 기술되어 있는 예들에서, 동작은, 선택적으로, 누르기 입력 세기 임계치에 대응하고 그보다 더 낮은 히스테리시스 세기 임계치 미만의 접촉의 세기의 감소를 검출하는 것에 응답하여 수행된다.
도 5i는 예시적인 전자 디바이스(580)를 도시한다. 디바이스(580)는 몸체(580A)를 포함한다. 일부 실시예들에서, 디바이스(580)는 디바이스들(100, 300, 500)(예컨대, 도 1a 내지 도 5b)에 관련하여 설명된 특징들의 일부 또는 전부를 포함할 수 있다. 일부 실시예들에서, 디바이스(580)는 하나 이상의 스피커들(580B)(몸체(580A)에 숨겨져있음), 하나 이상의 마이크로폰들(580C), 하나 이상의 터치 감응형 표면들(580D), 및 하나 이상의 디스플레이들(580E)을 갖는다. 디스플레이 및 터치 감응형 표면(580D)에 대안적으로 또는 그에 추가하여, 디바이스는 터치 감응형 디스플레이(터치스크린으로도 지칭됨)를 갖는다. 디바이스들(100, 300, 500)과 같이, 일부 실시예들에서, 터치 감응형 표면(580D)(또는 터치 스크린)은 선택적으로, 가해지는 접촉들(예컨대, 터치들)의 세기를 검출하기 위한 하나 이상의 세기 센서들을 포함한다. 터치 감응형 표면(580D)(또는 터치 스크린)의 하나 이상의 세기 센서들은 터치들의 세기를 표현하는 출력 데이터를 제공할 수 있다. 디바이스(580)의 사용자 인터페이스는 터치들의 세기에 기초하여 터치들에 응답할 수 있는데, 이는 상이한 세기들의 터치들이 디바이스(580) 상의 상이한 사용자 인터페이스 동작들을 호출할 수 있다는 것을 의미한다. 일부 실시예들에서, 하나 이상의 디스플레이들(580E)은 하나 이상의 발광 다이오드(LED)들이다. 예를 들어, 디스플레이는 단일 LED, LED 클러스터(예컨대, 적색, 녹색, 및 청색 LED), 복수의 개별 LED들, 복수의 개별 LED 클러스터들, 또는 하나 이상의 LED들의 다른 배열일 수 있다. 예를 들어, 디스플레이(580E)는 원형 형상(예컨대, 링)으로 배열된 9개의 개별 LED 클러스터들의 어레이일 수 있다. 일부 예들에서, 하나 이상의 디스플레이들은 하나 이상의 다른 유형의 발광 요소들로 구성된다.
도 5j는 예시적인 개인용 전자 디바이스(580)를 도시한다. 일부 실시예들에서, 디바이스(580)는 도 1a, 도 1b, 도 3, 도 5a, 및 도 5b에 관련하여 설명된 컴포넌트들의 일부 또는 전부를 포함할 수 있다. 디바이스(580)는 I/O 섹션(594)을 하나 이상의 컴퓨터 프로세서들(596) 및 메모리(598)와 동작가능하게 커플링시키는 버스(592)를 갖는다. I/O 섹션(594)은 디스플레이(582)에 접속될 수 있고, 이는 터치 감응형 컴포넌트(584), 및 선택적으로, 세기 센서(585)(예컨대, 접촉 세기 센서)를 가질 수 있다. 일부 실시예들에서, 터치 감응형 컴포넌트(584)는 디스플레이(582)와는 별개의 컴포넌트이다. 또한, I/O 섹션(594)은, Wi-Fi, 블루투스, 근거리 통신(NFC), 셀룰러, 및/또는 다른 무선 통신 기법들을 사용하여, 애플리케이션 및 운영 체제 데이터를 수신하기 위해 통신 유닛(590)과 접속될 수 있다. 디바이스(580)는 입력 메커니즘들(588)을 포함할 수 있다. 일부 예들에서, 입력 메커니즘(588)은, 선택적으로, 버튼이다. 일부 예들에서, 입력 메커니즘(588)은, 선택적으로, 마이크로폰이다. 입력 메커니즘(588)은 선택적으로 복수의 마이크로폰들(예컨대, 마이크로폰 어레이)이다.
전자 디바이스(580)는 오디오를 출력하기 위한 스피커(586)를 포함한다. 디바이스(580)는 오디오 데이터를 수신하고, 오디오 데이터를 전기 신호로 변환하고, 전기 신호를 스피커(586)에 전송하는 (예컨대, I/O 섹션(594) 내의) 오디오 회로부를 포함할 수 있다. 스피커(586)는 전기 신호를 사람이 들을 수 있는 음파로 변환한다. (예컨대, I/O 섹션(594) 내의) 오디오 회로부는 또한 마이크로폰(예컨대, 입력 메커니즘(588))에 의해 음파로부터 변환된 전기 신호를 수신한다. (예컨대, I/O 섹션(594) 내의) 오디오 회로부는 전기 신호를 오디오 데이터로 변환한다. 오디오 데이터는, 선택적으로, I/O 섹션(594)에 의해 메모리(598) 및/또는 (예컨대, 통신 유닛(590) 내의) RF 회로부로부터 인출되고/되거나 전송된다.
개인용 전자 디바이스(580)의 메모리(598)는, 예를 들어, 하나 이상의 컴퓨터 프로세서들(596)에 의해 실행될 때, 컴퓨터 프로세서들로 하여금, 프로세스들(1500, 1700, 1900)(도 15, 도 17, 및 도 19)을 포함하는 후술된 기법들을 수행하게 할 수 있는, 컴퓨터 실행가능 명령어들을 저장하기 위한 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체는 명령어 실행 시스템, 장치, 또는 디바이스에 의해 또는 그와 관련하여 사용하기 위한 컴퓨터 실행가능 명령어들을 유형적으로(tangibly) 포함하거나 저장할 수 있는 임의의 매체일 수 있다. 일부 예들에서, 저장 매체는 일시적 컴퓨터 판독가능 저장 매체이다. 일부 예들에서, 저장 매체는 비일시적 컴퓨터 판독가능 저장 매체이다. 비일시적 컴퓨터 판독가능 저장 매체는 자기, 광, 및/또는 반도체 저장소들을 포함할 수 있지만, 이들로 제한되지 않는다. 이러한 저장소의 예들은 자기 디스크들, CD, DVD, 또는 블루레이 기술들에 기초한 광 디스크들은 물론, 플래시, 솔리드 스테이트 드라이브들 등과 같은 영속적 솔리드 스테이트 메모리를 포함한다. 개인용 전자 디바이스(580)는 도 5j의 컴포넌트들 및 구성에 한정되지 않고, 다수의 구성들에서 다른 또는 추가적인 컴포넌트들을 포함할 수 있다.
이제, 휴대용 다기능 디바이스(100), 디바이스(300), 또는 디바이스(500), 디바이스(600)와 같은 전자 디바이스 상에서 구현되는 사용자 인터페이스("UI")들 및 연관된 프로세스들의 실시예들에 주목한다.
도 6a 내지 도 6r은 일부 실시예들에 따른, 전자 디바이스로부터 액세서리(예컨대, 조명, 전력 스트립(power strip), 온도조절기)를 제어하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 7a 및 도 7b의 프로세스들을 포함하여 하기에 기술되는 프로세스들을 예시하는 데 사용된다.
도 6a는 디바이스(600)에 의해 제어될 수 있었던 액세서리들(예컨대, 팬 조명, 샹들리에(chandelier), 온도조절기, 스피커, 전력 스트립, 및 콘센트와 같은 제어가능한 외부 디바이스)에 대한 어포던스들을 포함하는, 전자 디바이스(600) 상의 홈 인터페이스(602)를 예시한다. 홈 인터페이스(602)는 새로운 액세서리 또는 장면(예컨대, 태스크들의 실행을 위한 조건과 연관된 한 세트의 태스크들)을 추가하기 위한 어포던스(640), 선택된 액세서리들의 현재 상태를 설명하는 상태 섹션, 한 세트의 자동화된 태스크들에 대응하는 어포던스들을 포함하는 장면 섹션, 및 디바이스(600)에 추가된(예컨대, 디바이스(600)의 애플리케이션에 추가된) 각각의 액세서리들(예컨대, 조명을 갖는 팬, 샹들리에, 온도조절기, 스피커, 전력 스트립, 및 콘센트)에 대응하는 액세서리 어포던스들 또는 타일들(예컨대, 604A 내지 604F)을 포함하는 즐겨찾기 섹션(604)을 포함한다. 즐겨찾기 섹션(604)은, 디바이스(600)가 액세서리를 구성하라는 커맨드들을 전송할 수 있게 하기 위해 셋업 프로세스 동안 디바이스(600)와 페어링(pairing)된 액세서리들에 대한 액세서리 어포던스들을 포함한다. 셋업 동안, 디바이스(600)가 즐겨찾기에 액세서리를 포함시키라는 표시를 수신하는 경우, 디바이스(600)는 즐겨찾기 섹션(604)에 액세서리 어포던스(예컨대, 604A 내지 604F)를 디스플레이한다. 액세서리 셋업 프로세스는 도 10a 및 도 10b에 관련하여 추가로 논의된다.
셋업 동안, 디바이스(600)는, 액세서리로부터 수신된 정보에 기초하여, 액세서리가 제1 유형인지 또는 제2 유형인지를 결정한다. 액세서리 유형에 기초하여, 디바이스(600)는, 액세서리가 제1 유형인 경우에는 탭핑될 때 기능이 수행되게 할, 또는 액세서리가 제2 유형인 경우에는 사용자 인터페이스가 디스플레이되게 할 액세서리에 대응하는 타일을 생성한다. 액세서리가 단일 기능을 갖는 경우(예컨대, 샹들리에는 켜지거나 꺼질 수 있음) 또는 액세서리가 다수의 기능들을 지원할 때(예컨대, 팬을 갖는 천장 조명은 팬 기능 및 조명 기능을 가짐) 일차 기능을 갖는 경우(예컨대, 팬 조명은 액세서리에 대한 주요 기능으로서 지정된 팬 기능을 가짐), 액세서리는 제1 유형의 것이다. 일부 실시예들에서, 액세서리(예컨대, 샹들리에)의 일차 기능이 이진 동작 상태(binary operating state)들을 지원하는 경우 액세서리는 제1 유형의 액세서리이며, 여기서 기능은 액세서리가 2개의 가능한 상태들 중 하나(예컨대, 온 상태 또는 오프 상태)에서 동작하게 한다. 액세서리가 다수의 기능들(예컨대, 난방 기능, 냉방 기능, 및 팬 기능을 갖는 온도조절기)을 갖지만 일차 기능과 연관되지 않는 경우, 액세서리는 제2 유형의 것이다. 일부 실시예들에서, 액세서리와 연관된 일차 기능이 둘 초과의 동작 상태들을 갖는 경우(예컨대, 온도조절기는 온도를 설정하기 위한 일차 기능을 갖지만, 온도조절기는 난방, 냉방, 및 팬 기능도 가짐), 액세서리는 제2 유형의 것이다. 액세서리 유형의 결정에 기초하여, 디바이스(600)는 홈 인터페이스(602)에 디스플레이할 액세서리에 대응하는 액세서리 어포던스(예컨대, 604A 내지 604F)를 생성한다. 디바이스(600)가 제1 유형의 액세서리에 대한 액세서리 어포던스의 선택을 검출하는 경우, 디바이스(600)는 액세서리와 연관된 단일 기능 또는 일차 기능을 수행하라는 커맨드를 전송한다. 예를 들어, 샹들리에 타일 상에서의 탭은 샹들리에를 온 또는 오프로 토글링되게 한다. 디바이스(600)가 액세서리가 일차 기능을 갖는 것으로 결정하면, 액세서리 어포던스의 선택은 디바이스(600)가 액세서리의 다른 기능들을 수행하지 않으면서 일차 기능을 수행하라는 커맨드를 액세서리에 전송하게 한다. 디바이스(600)가 제2 유형의 액세서리에 대한 액세서리 어포던스의 선택을 검출하는 경우, 디바이스(600)는 액세서리와 연관된 다수의 기능들 중 하나 이상을 수행하도록 액세서리를 구성하기 위한 제어 어포던스들(예컨대, 도 6f의 608A 내지 608C)을 포함하는 액세서리 인터페이스를 디스플레이한다. 예를 들어, 온도조절기 또는 스피커 타일들 상에서의 탭은 특정 기능을 수행하지 않으면서 구성 인터페이스가 디스플레이되게 한다.
도 6a 및 도 6b는, 샹들리에 액세서리 어포던스(604B)가 선택되는 경우 샹들리에가 켜지는 것을 예시한다. 샹들리에 액세서리 어포던스(604B)는 또한 샹들리의 업데이트된 상태를 보여주도록 업데이트된다. 도 6a에서, 디바이스(600)는 샹들리에 대응하는 샹들리에 액세서리 어포던스(604B)를 디스플레이하는데, 이는 샹들리에를 켜는/끄는 단일 기능을 갖는 제1 유형의 액세서리이다. 샹들리에 액세서리 어포던스(604B)는 샹들리에가 현재 꺼져 있다는 것을 나타내는 샹들리에의 그래픽 표현(604B1) 및 샹들리에가 오프 상태에 있다는 것을 나타내는 텍스트 현재 상태(604B2)를 포함한다. 디바이스(600)는 홈 인터페이스(602) 내의 샹들리에 액세서리 어포던스(604B)의 선택에 대응하는 입력(예컨대, 탭)(650A)을 검출한다. 입력(650A)을 검출하는 것에 응답하여, 디바이스(600)는 샹들리에를 이전의 오프 상태로부터 온 상태로 전환하라는 커맨드를 샹들리에에 전송한다.
도 6b에 예시된 바와 같이, 입력(650A)을 검출하는 것에 응답하여, 디바이스(600)는 샹들리에가 켜진 전구를 갖는 것을 예시하는 업데이트된 그래픽 표현(604B1) 및 샹들리에가 온 상태에 있다는 것을 나타내는 업데이트된 현재 상태(604B2)를 포함하는 업데이트된 샹들리에 액세서리 어포던스(604B)를 디스플레이한다. 일부 실시예들에서, 그래픽 표현(604B1)은 액세서리의 상태를 예시하는 애니메이션을 포함한다. 일부 실시예들에서, 디바이스(600)가 샹들리에 액세서리 어포던스(604B) 상에서의 길게 누르기(또는 깊게 누르기)를 검출하는 것에 응답하여, 도 8b에 추가로 예시된 바와 같이, 디바이스(600)는 조명들을 온/오프로 토글링하기 위한 제어 어포던스를 포함하는 샹들리에 인터페이스를 디스플레이한다.
도 6c 내지 도 6f는, 팬-조명 타일(604A)이 선택될 때, 조명을 갖는 천장 팬을 제어하기 위한 팬-조명 액세서리 인터페이스(610A)를 여는 애니메이션을 디스플레이하는 것을 예시한다. 도 6c에서, 디바이스(600)는, 팬 컴포넌트 및 조명 컴포넌트에 대응하는 다수의 기능들(예컨대, 팬의 켜기/끄기 및 조명의 켜기/끄기)을 갖는 제2 유형의 액세서리인, 조명을 갖는 천장 팬에 대응하는 팬-조명 액세서리 어포던스(604A)를 디스플레이한다. 팬-조명 액세서리 어포던스(604A)는 팬 및 조명 둘 모두에 대응하는 그룹화된 액세서리 어포던스이다. 따라서, 팬 및 조명은 둘 모두 팬-조명 액세서리 어포던스(604A)가 선택될 때 디바이스(600) 상에 디스플레이되는 팬-조명 액세서리 인터페이스(610A)를 통해 구성가능하다. 팬-조명 액세서리 어포던스(604A)는, 팬 및 조명 둘 모두가 오프 상태에 있는, 팬 및 조명 컴포넌트들을 예시하는 그래픽 표현(604A1) 및 팬 및 조명에 대한 현재 상태들(604A2)을 나타내는 텍스트를 포함한다. 그래픽 표현(604A1)은 액세서리와 연관된 각각의 컴포넌트의 표현을 포함한다. 일부 실시예들에서, 그래픽 표현(604A1)은 일차 기능과 상이한 기능을 갖는 각각의 컴포넌트에 대한 표현을 포함한다. 일부 예들에서, 일차 기능이 천장 팬을 켜는/끄는 것일 때, 천장 팬 및 조명 둘 모두는 그래픽 표현(604A1)으로 디스플레이되는데, 이는 조명이, 팬을 켜는/끄는 것인 일차 기능과 상이한 기능(예컨대, 조명 켜기/끄기)을 갖기 때문이다. 일부 실시예들에서, 일차 기능이 콘센트들을 갖는 전력 스트립과 같은 컴포넌트들 모두에 대해 동일할 경우, 그래픽 표현(604A1)은 개별 콘센트들을 디스플레이하지 않으면서 단지 전력 스트립만을 디스플레이한다. 유사하게, 현재 상태(604A2)는 별개의 기능을 갖는 액세서리와 연관된 각각의 컴포넌트의 상태를 포함한다. 일부 실시예들에서, 현재 상태는 그래픽 표현(604A1)에 디스플레이된 대응하는 컴포넌트들의 상태를 포함한다. 개별 컴포넌트가 그래픽 표현(604A1)에 디스플레이되지 않은 경우, 개별 컴포넌트에 대한 현재 상태(604A2)도 또한 디스플레이되지 않는다.
도 6c에서, 디바이스(600)는 홈 인터페이스(602) 내의 팬-조명 액세서리 어포던스(604A)의 선택에 대응하는 입력(예컨대, 탭)(650B)을 검출한다. 도 6c에서, 천장 팬 조명은 제2 유형의 액세서리이며, 여기서 액세서리는 그것과 연관된 일차 기능을 갖지 않는다. 그 결과, 팬-조명 액세서리 어포던스(610A)가 선택된 경우, 팬-조명 액세서리 인터페이스(610A)가 디스플레이된다. 입력(650B)을 검출하는 것에 응답하여, 디바이스(600)는, 팬-조명 액세서리 어포던스(604A)를 팬-조명 액세서리 인터페이스(610A)로 변형시키는 애니메이션을 디스플레이함으로써 팬-조명 액세서리 인터페이스(610A)를 디스플레이한다.
도 6d 내지 도 6f는, 팬-조명 액세서리 어포던스(604A)가 팬-조명 액세서리 인터페이스(610A)로 변형되는 애니메이션을 예시한다. 도 6d는, 팬-조명 액세서리 어포던스(604A)의 크기가 증가함에 따라, 대응하는 그래픽 표현(604A1) 및 현재 상태(604A2)의 크기가 또한 비례적으로 확대되는 것을 예시한다. 팬-조명 액세서리 어포던스(604A)는 팬-조명 액세서리 어포던스(604A)의 현재 위치에서부터 확대된다. 팬-조명 액세서리 어포던스(604A)가 확대됨에 따라, 디바이스(600)는, 팬-조명 액세서리 인터페이스(610A)가 현재 위치에서 계속 확대되는 경우, 팬-조명 액세서리 인터페이스(610A)의 일부분이 스크린 밖으로(off-screen) 디스플레이될 것인지 여부를 결정한다. 도 6e에 예시된 바와 같이, 팬-조명 액세서리 인터페이스(610A)의 일부분이 스크린 밖으로 디스플레이될 것이라는 결정에 따라, 디바이스(600)는, 팬-조명 액세서리 인터페이스(610A)의 어떠한 부분도 스크린 밖으로 디스플레이되지 않도록, 팬-조명 액세서리 인터페이스(610A)를 디스플레이(603)의 좌측 경계에 정렬하거나 스냅핑(snapping)한다. 일부 실시예들에서, 팬-조명 액세서리 인터페이스(610)의 일부분이 스크린 밖으로 디스플레이되지 않을 것이라는 결정에 따라, 디바이스(600)는 팬-조명 액세서리 어포던스(604A)를 디스플레이(603)의 좌측 또는 우측 경계에 정렬시키지 않으면서 현재 위치에 팬-조명 액세서리 인터페이스(610A)를 디스플레이한다.
도 6f는 천장 팬 및 조명의 추가적인 특성들, 예컨대, 조명 색상을 변경하기 위한 제어부들을 갖는 팬-조명 액세서리 어포던스(610A)를 예시한다. 도 6f는 팬 및 조명의 비례적으로 더 큰 그래픽 표현(610A1)과, 팬 및 조명의 현재 상태(610A2)를 나타내는 더 큰 텍스트를 포함하는 완전히 확대된 팬-조명 액세서리 어포던스(610A)를 예시한다. 팬-조명 액세서리(610A)의 그래픽 표현(610A1)은 팬-조명 액세서리 어포던스(604A)의 그래픽 표현(604A1)과 매칭된다. 유사하게, 팬-조명 액세서리 인터페이스(610A)의 현재 상태(610A1)는 팬-조명 액세서리 어포던스(604A)의 상태 텍스트(604A2)와 매칭된다. 팬-조명 액세서리 인터페이스(610A)는 팬 속력을 조정하기 위한 제어 어포던스(608A) 및 조명의 밝기를 조정하기 위한 제어 어포던스(608B)를 포함한다. 팬-조명 액세서리 인터페이스(610A)는 또한 조명의 색상을 변경시키는 색상 선택 제어부(608C)를 포함한다. 도 8a 내지 도 8j와 관련하여 아래에 추가로 논의되는 바와 같이, 제어 어포던스들(608A 내지 608C)은 팬-조명 액세서리 인터페이스(610A)의 제1 영역에 디스플레이되는 반면, 설정 섹션(620)은 팬-조명 액세서리 인터페이스(610A)의 제2 영역에 디스플레이된다. 팬-조명 액세서리 인터페이스(610A)는 설정 단축키 어포던스(612)를 추가로 포함한다. 설정 단축키 어포던스(612)는 팬-조명 액세서리 인터페이스(610)의 제1 영역의 디스플레이된 또는 가시적인 부분의 하부 우측 코너에 디스플레이된다. 디바이스(600)가 설정 단축키 어포던스(612)의 선택을 검출하는 것에 응답하여, 디바이스(600)는 디스플레이(603)의 상부 부분에서 디스플레이를 설정 섹션(620)에 스냅핑하고 제1 영역 내에서 나머지 제어부들을 스크롤한다. 일부 실시예들에서, 설정 단축키 어포던스(612)는 팬-조명 액세서리 인터페이스(610A)의 제1 영역 내의 모든 제어부들의 하부에 디스플레이된다.
도 6f는 액세서리 인터페이스(610A) 상의 제어부들의 예시적인 레이아웃(layout)을 디스플레이한다. 디바이스(600)는 액세서리가 포함하는 제어부들 및 센서 어포던스들의 수 및 제어부들(예컨대, 608A 내지 608C)의 계층구조에 기초하여 액세서리 인터페이스 상의 제어부들의 레이아웃을 결정한다. 일차 기능에 대응하는 일차 제어부들(예컨대, 608A, 608B)은 액세서리 인터페이스(610A)가 열릴 때 디스플레이된다. 일차 기능들과 연관되지 않은 이차 제어부들(예컨대, 608C)은 일차 제어부들 아래에 디스플레이된다. 이차 제어부들은, 그들이 액세서리 인터페이스(610A)의 오버플로우(overflow) 영역 내에 위치되는 경우, 초기에는 디스플레이되지 않을 수 있다. 후술되는 바와 같이, 도 8b 및 도 8c는 액세서리 인터페이스(예컨대, 810B)의 제1 영역 내의 제어부들의 위치설정을 추가로 예시한다.
디바이스(600)는 디스플레이될 제어 어포던스들 및 센서 어포던스들의 수에 기초하여 팬-조명 액세서리 인터페이스(610A) 내의 제어 어포던스들(608A 내지 608C)의 레이아웃을 결정한다. 디바이스(600)는, 액세서리의 기능들이 팬 및 조명 컴포넌트들에 대응하는 2개의 기능들을 포함하는 것으로 결정한다. 디바이스(600)가, 천장 팬 및 조명 액세서리가 액세서리의 각각의 액세서리의 주요 기능(예컨대, 팬의 켜기/끄기 및 조명의 켜기/끄기)에 대응하는 둘 이하의 제어 어포던스들을 갖는 것을 검출한 경우, 디바이스(600)는 도 6f에 예시된 바와 같이 팬-조명 액세서리 인터페이스(610A) 내에 좌우(side-by-side) 배열로 팬 기능에 대응하는 제어부(608A) 및 조명 기능에 대응하는 제어부(608B)를 디스플레이한다. 액세서리의 둘 초과의 제어 어포던스들이 있을 때, 디바이스(600)는 도 8b의 샹들리에 액세서리 인터페이스(810B)에 예시된 바와 같이 상하 배열로 제어 어포던스들(808A 내지 808C)을 디스플레이한다. 일부 실시예들에서, 팬-조명 액세서리 인터페이스는, 도 8b 내지 도 8d에 관련하여 추가로 논의되고 예시되는 바와 같이 액세서리 인터페이스가 스크롤 다운될 때 디스플레이되는 오버플로우 섹션 내에 디스플레이될 수 있는 추가적인 제어 어포던스들을 포함한다.
일부 실시예들에서, 천장 팬 및 조명 액세서리는 천장 팬 및 조명 액세서리에 의해 지원되는 다수의 기능들 중 팬을 켜는/끄는 일차 팬 기능을 갖는다. 천장 팬 및 조명 액세서리가 일차 기능을 갖기 때문에, 디바이스(600)는 천장 팬 및 조명 액세서리가 제1 유형의 액세서리인 것으로 결정한다. 따라서, 디바이스(600)가 팬-조명 액세서리 인터페이스(610A)를 디스플레이하는 대신에 팬-조명 액세서리(604A)의 선택에 대응하는 입력(예컨대, 탭)을 수신하는 것에 응답하여, 디바이스(600)는 일차 팬 기능(예컨대, 팬을 켬)을 수행하라는 커맨드를 전송한다. 디바이스(600)는 천장 팬 및 조명 액세서리의 다른 이차 기능들 중 어떠한 기능도 수행하라는 커맨드를 전송하지 않는다(예컨대, 조명은 켜지지 않는다). 일부 실시예들에서, 일차 기능은 이차 기능으로 설정될 수 없다(예컨대, 일차 기능은 조명을 켜도록/끄도록 변경될 수 없다). 일부 실시예들에서, 사용자는, 팬-조명 액세서리 어포던스를 선택하는 것이 디바이스(600)가 조명을 켜라는 커맨드를 전송하게 하는 것과 같은 상이한 기능(예컨대, 이차 기능)에 일차 기능을 재할당할 수 있다. 천장 팬 및 조명 액세서리가 제1 유형의 액세서리이기 때문에, 디바이스(600)는 액세서리 어포던스(610A) 상에서의 길게 누르기(또는 깊게 누르기)에 응답하여 팬-조명 인터페이스(610A)를 디스플레이한다.
도 6f는 또한 팬 속력 및 조명 설정들을 팬-조명 인터페이스(610A) 내의 제어부들을 통해 변경시키는 것을 예시한다. 도 6f에서, 디바이스(600)는 최대 속력의 50%의 속력으로 팬을 설정하는 것에 대응하는 제어 어포던스(608A)의 선택에 대응하는 입력(650C)을 검출한다. 도 6g에서, 입력(650C)을 검출하는 것에 응답하여, 디바이스(600)는 팬이 켜진 것을 나타내도록 그래픽 표현(610A1)을 업데이트하고, 조명이 꺼져 있는 동안 팬이 50%의 속력으로 설정된 것을 반영하도록 현재 상태(610A2)를 업데이트한다. 일부 실시예들에서, 입력(650C)을 검출하는 것에 응답하여, 디바이스(600)는, 팬이 온 상태에 있다는 것을 나타내는 회전하는 팬의 애니메이션을 포함하도록 팬-조명 액세서리 인터페이스(610A) 내의 그래픽 표현(610A1)을 업데이트한다.
도 6g에서, 디바이스(600)는 최대 밝기의 75%의 밝기로 조명을 켜는 것에 대응하는 제어부(608B)의 선택에 대응하는 입력(예컨대, 스와이프)(650D1)을 검출한다. 도 6h에서, 입력(650D1)을 검출하는 것에 응답하여, 디바이스(600)는 조명이 켜진 것을 나타내도록 그래픽 표현(610A1)을 업데이트하고, 팬이 50%의 속력으로 설정되어 있다는 것을 나타내면서 조명이 75%의 밝기로 켜졌다는 것을 나타내는 현재 상태(610A2)를 업데이트한다. 또한 도 6g에서, 디바이스(600)는 전구의 색상을 변경시키는 제3 색상의 선택에 대응하는 입력(650D2)(예컨대, 탭)을 검출한다. 입력(650D1)을 검출하는 것에 응답하여 그리고 도 6h에 도시된 바와 같이, 디바이스(600)는, 도 8c 및 도8d에 관련하여 추가로 논의되는 바와 같이, 온 상태에 있는 조명의 선택된 색상과 매칭하는 유색 전구의 이미지를 포함하도록 그래픽 표현(610A1)을 업데이트한다.
도 6h는 설정 섹션(620)에 액세스하기 위해 스크린의 하부로 스크롤하는 대신에, 설정 단축키 어포던스(612)를 탭핑함으로써 사용자가 어떻게 설정 섹션(620)에 액세스할 수 있는지를 예시한다. 도 6h에서, 디바이스(600)는 설정 단축키 어포던스(612)의 선택에 대응하는 입력(예컨대, 탭)(650E)을 검출한다. 도 6i에서, 입력(650E)을 검출하는 것에 응답하여, 디바이스(600)는 천장 조명 및 팬의 설정에 대응하는 설정 섹션(620)을 팬-조명 액세서리 인터페이스(610)에 디스플레이한다. 일부 실시예들에서, 도 8a 내지 도 8j에 관련하여 추가로 설명되고 예시되는 바와 같이, 디바이스(600)는 디바이스(600)가 입력을 검출하는 것에 응답하여 설정 섹션(620)을 디스플레이하고, 그 결과 팬-조명 액세서리 인터페이스(610A)를 제2 영역(예컨대, 오버플로우 영역)으로 스크롤하는데, 여기서 제2 영역은 제어부들(608A 내지 608D)을 디스플레이하는 제1 영역 아래에 있다. 설정 섹션(620)은 천장 팬 및 조명 액세서리의 현재 상태를 예시하는 그래픽 표현(610A1) 및 현재 상태(610A2)를 포함한다. 설정 섹션(620)은 "다른 액세서리들과 그룹화(GROUP WITH OTHER ACCESSORIES)" 어포던스(614A) 및 액세서리 어포던스(614B)를 포함하는 그룹 섹션을 포함한다. "다른 액세서리들과 그룹화" 어포던스(614A)는 침실의 천장 팬을 동일한 유형의 다른 액세서리(예컨대, 거실 내의 다른 팬)와 그룹화하는 것에 대응한다.
도 6i 내지 도 6k는 별개의 액세서리 어포던스들(예컨대, 614G 및 614H) 및 별개의 액세서리 인터페이스들(예컨대, 610G 및 610H)을 갖는 2개의 별개의 액세서리들로 팬-조명 액세서리 그룹을 분리하는 것을 예시한다. 팬-조명 액세서리 그룹은 도 6j에 예시된 바와 같이 팬-조명 액세서리 인터페이스(610A)로부터의 액세서리들 설정들로부터 별개의 타일들로 보기(SHOW AS SEPARATE TILES) 어포던스(616)를 선택함으로써 분리된다. 팬 및 조명 각각은, 액세서리 그룹이 2개의 별개의 액세서리 어포던스들로 연관해제된 후에 그들의 대응하는 설정들을 유지한다. 도 6i에서, 디바이스(600)는 액세서리 어포던스(614B)의 선택에 대응하는 입력(예컨대, 탭)(650F)을 검출한다. 도 6j에서, 입력(650F)을 검출하는 것에 응답하여, 디바이스(600)는 그룹 내의 각각의 컴포넌트들(예컨대, 팬 및 조명) 각각에 대응하는 어포던스들(618A, 618B) 및 팬으로부터 조명을 분리하기 위한 분리 어포던스(616)를 포함하는 액세서리 인터페이스(622)를 디스플레이한다.
도 6j에서, 디바이스(600)는 분리 어포던스(616)의 선택에 대응하는 입력(예컨대, 탭)(650G)을 검출한다. 도 6k에서, 입력(650G)을 검출하는 것에 응답하여, 디바이스(600)는, 그룹화된 액세서리가 분할되었기 때문에, 팬-조명 액세서리 어포던스(604A)를 디스플레이하는 것을 중지하면서, 별개의 액세서리 어포던스들, 즉 홈 인터페이스(602) 내의 팬 액세서리 어포던스(604G) 및 조명 액세서리 어포던스(604H)를 포함하는 홈 인터페이스(602)를 디스플레이한다. 팬 액세서리 어포던스(604G)는 회전하는 팬의 애니메이션을 포함하는 팬의 그래픽 표현(604G1), 및 팬이 온 상태에서 50%로 동작하고 있다는 것을 나타내는 현재 상태(604G2)를 포함한다. 유사하게, 조명 액세서리 어포던스(604H)는, 온 상태에 있는 전구를 포함하는 조명의 그래픽 표현(604H1) 및 조명이 온 상태에서 75%로 동작하고 있다는 것을 나타내는 현재 상태(604H2)를 포함한다. 조명 액세서리 어포던스(604H)는 천장 팬 및 조명 액세서리 중에서 조명 컴포넌트에만 대응한다. 조명 액세서리는, 이진 상태들에서 동작하는, 조명을 켜는/끄는 단일 기능을 갖는 제1 유형의 액세서리이다. 따라서, 디바이스(600)는, 디바이스(600)가 조명 액세서리 어포던스(604H)의 선택에 대응하는 입력(예컨대, 탭)을 수신할 때 조명을 켜라는/끄라는 커맨드를 전송한다.
도 6l 내지 도 6r은, 액세서리 그룹이 분할된 후, 액세서리 그룹으로부터의 컴포넌트들 각각이 대응하는 액세서리 어포던스를 통해 분리하여 구성될 수 있다는 것을 예시한다. 예를 들어, 조명을 갖는 천장 팬으로부터의 조명은 조명 액세서리 어포던스(604H)를 통해 구성가능하다. 선택될 때, 조명 액세서리 어포던스(604H)는 조명의 제어부들이 디스플레이되는 조명 액세서리 인터페이스(610H)로 변형된다. 유사하게, 조명 액세서리 인터페이스(610H)가 닫히면, 조명 액세서리 인터페이스(610H)는 다시 조명 액세서리 어포던스(604H)로 변형된다.
도 6l에서, 디바이스(600)는 조명 액세서리 어포던스(604H) 상에서의 길게 누르기(또는 깊게 누르기)에 대응하는 입력(650H)을 검출한다. 도 6m 내지 도 6o에서, 입력(650H)을 검출하는 것에 응답하여, 디바이스(600)는 조명 액세서리 어포던스(604H)가 조명 액세서리 인터페이스(610H)로 변형되는 애니메이션을 디스플레이한다. 도 6m은, 조명 액세서리 어포던스(604H)의 크기가 증가함에 따라, 대응하는 그래픽 표현(604H1) 및 현재 상태(604H2)에 대응하는 텍스트의 크기가 또한 비례적으로 확대되는 것을 예시한다. 디바이스(600)는, 홈 인터페이스(602)의 중심에 위치된, 조명 액세서리 어포던스(604H)의 현재 위치에 기초하여, 조명 액세서리 어포던스(604H)가 확대되는 애니메이션을 디스플레이한다. 도 6n에 예시된 바와 같이, 조명 액세서리 인터페이스(610H)의 일부분이 현재 위치에 디스플레이되는 경우 스크린 밖으로 디스플레이되지 않을 것이라는 결정에 따라, 디바이스(600)는 조명 액세서리 어포던스를 스크린의 좌측 또는 우측 경계에 정렬시키지 않으면서 현재 위치에 조명 액세서리 인터페이스(610)를 디스플레이한다.
도 6o는, 조명 액세서리 어포던스(604H)가 위치한 디스플레이 디바이스(603)의 중심에 조명의 비례적으로 더 큰 그래픽 표현(610H1) 및 조명의 현재 상태(610H2)를 나타내는 더 큰 텍스트를 포함하는 완전히 확대된 조명 액세서리 인터페이스(610H)를 예시한다. 조명 액세서리 인터페이스(610H)는 조명의 밝기를 조정하기 위한 제어 어포던스(608A) 및 조명의 색상에 대응하는 색상 제어 어포던스(608C)를 포함한다. 디바이스(600)는, 도 8c와 관련하여 추가로 논의되는 바와 같이, 색상 제어 어포던스(608C) 아래의, 조명 액세서리 인터페이스(610H)의 오버플로우 영역에 조명과 연관된 추가적인 제어 어포던스들을 디스플레이한다.
도 6o에서, 디바이스(600)는, 밝기를 90%로 조정하기 위한 제어 어포던스(608A)의 선택에 대응하는 입력(650I)(예컨대, 스와이프)을 검출한다. 도 6o에서, 입력(650I)을 검출하는 것에 응답하여, 디바이스(600)는 조명이 켜진 것을 나타내도록 그래픽 표현(610H1)을 업데이트하고, 조명이 90%의 밝기로 설정되었다는 것을 나타내는 현재 상태(610H2)를 업데이트한다. 일부 실시예들에서, 입력(650I)을 검출하는 것에 응답하여, 디바이스(600)는, 애니메이션을 포함하도록 조명 액세서리 인터페이스(610H) 내의 그래픽 표현(610A1)을 업데이트한다.
도 6o에서, 디바이스(600)는 팬 액세서리 인터페이스(610H)를 닫기 위한 "X" 어포던스(630)의 선택에 대응하는 입력(예컨대, 탭)(650J)을 검출한다. 도 6p 내지 도 6r에 예시된 바와 같이, 입력(650J)을 검출하는 것에 응답하여, 디바이스(600)는 조명 액세서리 인터페이스(610H)가 홈 인터페이스(602) 내의 조명 액세서리 어포던스(604H)로 다시 전이되는 애니메이션을 디스플레이한다. 도 6p 및 도 6q는, 조명 액세서리 인터페이스(610H)의 크기가 감소함에 따라, 대응하는 그래픽 표현(60GA1) 및 현재 상태(604H2)에 대응하는 텍스트의 크기가 또한 비례적으로 감소되는 것을 예시한다. 디바이스(600)는, 조명 액세서리 인터페이스(610H)의 크기가 감소함에 따라, 조명 액세서리 인터페이스(610H) 내에 제어 어포던스들(608A) 및 센서 어포던스들(608C, 608D)을 디스플레이하는 것을 중지한다. 도 6r에서, 디바이스(600)는 업데이트된 그래픽 표현(604H1) 및 조명이 90% 밝기로 설정되었다는 업데이트된 현재 상태(604H2)를 갖는 조명 액세서리 어포던스(604H)를 홈 인터페이스(602)에 디스플레이한다. 일부 실시예들에서, 그래픽 표현(604H1) 및 현재 상태(604H2)는 도 6l에 예시된 바와 같이 조명의 밝기가 변경되기 전과 동일하게 유지된다.
도 7a 및 도 7b는 일부 실시예들에 따른, 전자 디바이스를 사용하여 외부 디바이스들을 제어하기 위한 방법(700)을 예시하는 흐름도이다. 방법(700)은 디스플레이 디바이스(예컨대, 603)를 갖는 디바이스(예컨대, 100, 300, 500, 600)에서 수행된다. 방법(700)의 일부 동작들은 선택적으로 조합되고, 일부 동작들의 순서는 선택적으로 변경되며, 일부 동작들은 선택적으로 생략된다.
후술되는 바와 같이, 방법(700)은 제어가능한 외부 디바이스들에 대응하는 어포던스들(예컨대, 604A 내지 604H)에 대한 액세스를 제공하는 홈 인터페이스(예컨대, 602)로부터 제어가능한 외부 디바이스들을 관리하기 위한 직관적인 방식을 제공한다. 사용자들이 홈 인터페이스로부터 제어가능한 외부 디바이스들을 관리하게 하는 것은, 제어가능한 외부 디바이스들 모두가 홈 인터페이스로부터 액세스가능하기 때문에, 사용자에 대한 인지적 부담을 감소시킨다. 따라서, 사용자는 각각의 제어가능한 외부 디바이스에 대한 구성들을 관리하기 위해 별개의 애플리케이션을 열 필요가 없고, 그에 의해 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 통합된 홈 인터페이스로부터 제어가능한 외부 디바이스들을 관리하는 것은 각각의 제어가능한 외부 디바이스를 관리하는 데 필요한 입력들의 수를 감소시켜, 사용자가 디바이스에 대한 전력을 효율적으로 절약하고 배터리 충전들 사이의 시간을 증가시키게 한다.
블록(702)에서, 디스플레이 디바이스(예컨대, 603)(예컨대, 터치 감응형 디스플레이 디바이스) 및 통신 디바이스(예컨대, 무선 안테나)를 갖는 디바이스(예컨대, 600)(예컨대, 스마트폰; 스마트 홈 제어 디바이스)는 디스플레이 디바이스 상에, 제1 제어가능한 외부 디바이스(예컨대, 적어도 하나의 제어가능한 기능을 갖는 디바이스(예컨대, 스마트 전구, 스마트 온도조절기, 스마트 스피커))와 연관된 제1 액세서리 어포던스(예컨대, 604A 내지 604G)(예컨대, 선택가능한 그래픽 타일)를 포함하는 사용자 인터페이스(예컨대, 602)(예컨대, 각각의 액세서리에 대한 타일을 보여주는 홈 페이지)를 디스플레이한다.
일부 실시예들에서, 제1 액세서리 어포던스(예컨대, 604A)는 제1 그래픽 요소(예컨대, 604A1)(예컨대, 제1 제어가능한 외부 디바이스를 표현하는 아이콘(예컨대, 전구 이미지)) 및 제1 텍스트 요소(예컨대, 604A2)(예컨대, 현재 상태(예컨대, 전구가 "온")를 포함하는 제1 제어가능한 외부 디바이스를 표현하는 이름(예컨대, "전구"))를 포함한다. 일부 실시예들에서, 제1 제어가능한 외부 디바이스가 제2 제어가능한 컴포넌트(예컨대, 조명을 갖는 천장 팬의 팬)와 연관된다는 결정에 따라, 제1 기능(예컨대, 팬 켜기)과 연관된 제2 제어가능한 컴포넌트는 제2 제어가능한 컴포넌트의 그래픽 표시(예컨대, 604A, 604G)를 포함한다 (예컨대, 타일은 팬의 아이콘을 포함한다). 일부 실시예들에서, 제1 제어가능한 외부 디바이스가 제3 제어가능한 컴포넌트(예컨대, 조명을 갖는 천장 팬의 조명)와 연관된다는 결정에 따라, 제2 기능(예컨대, 조명 켜기)과 연관된 제3 제어가능한 컴포넌트는 제3 제어가능한 컴포넌트의 그래픽 표시(예컨대, 604A, 604H)를 포함한다. 일부 실시예들에서, 제1 제어가능한 디바이스가 제2 제어가능한 컴포넌트 및 제3 제어가능한 컴포넌트와 연관된다는 결정에 따라, 제2 제어가능한 컴포넌트의 그래픽 표시 및 제3 제어가능한 컴포넌트의 그래픽 표시를 포함한다(예컨대, 타일은 팬과 조명, 또는 일부 콘센트들을 갖는 전력 스트립과 같은 액세서리 내의 서브컴포넌트들 각각의 아이콘 또는 이미지를 포함한다)(예컨대, 604A, 604E). 제1 액세서리 어포던스(예컨대, 604A)에 컴포넌트들(예컨대, 팬 및 조명)의 그래픽 표시(예컨대, 604A1) 및 텍스트 상태(예컨대, 604A2)를 디스플레이하는 것은 어느 제어가능한 외부 디바이스들 및 컴포넌트들이 (다수의 컴포넌트들인 경우) 액세서리 그룹의 일부인지에 대한 그리고 액세서리의 현재 상태에 대한 시각적 정보를 사용자에게 제공한다. 사용자들이 어느 제어가능한 외부 디바이스들이 액세서리 어포던스에 의해 제어되는지를 볼 수 있게 하는 것은 인지적 부담을 감소시킨다. 따라서, 사용자가 각각의 제어가능한 외부 디바이스 및 그것의 대응하는 컴포넌트들에 대한 구성들을 관리하기 위해 추가적인 입력(예컨대, 길게 누르기)을 제공할 필요가 없고, 그에 의해 더 효율적인 인간-기계 인터페이스가 생성된다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 각각의 제어가능한 외부 디바이스를 관리하는 데 필요한 입력들의 수를 감소시키는 것은, 사용자가 디바이스에 대한 전력을 효율적으로 절약하고 배터리 충전들 사이의 시간을 증가시키게 한다. 추가로, 사용자는 선택된 기능이 수행되었다는 또는 설정이 구성되었다는 시각적 확인을 획득한다.
일부 실시예들에서, 제1 제어가능한 외부 디바이스가 제2 제어가능한 컴포넌트 및 제3 제어가능한 컴포넌트와 연관된다는 결정에 따라, 제1 액세서리 어포던스는 제2 제어가능한 컴포넌트의 그래픽 표시 및 제3 제어가능한 컴포넌트의 그래픽 표시를 포함한다(예컨대, 604A).
일부 실시예들에서, 블록(704)에서, 제1 제어가능한 외부 디바이스(예컨대, 조명을 갖는 팬)는 제1 기능(예컨대, 팬을 켜는 것과 같은 일차 기능 또는 주요 기능) 및 제2 기능(예컨대, 조명을 켜는 것과 같은 이차 기능)과 연관된다.
블록(706)에서, 디바이스(예컨대, 600)는 제1 액세서리 어포던스(예컨대, 604A)의 선택에 대응하는 제1 입력(예컨대, 탭 입력)(예컨대, 650A, 650B)을 검출한다. 일부 실시예들에서, 블록(708)에서, 제1 액세서리 어포던스는 제1 입력을 검출하기 전에 제1 외관을 갖는다.
블록(710)에서, 제1 입력(예컨대, 650A)을 검출하는 것에 응답하여, 블록(714)에서, 한 세트의 커맨드 전송 기준들이 충족되었다는 (예컨대, 액세서리가 단일 일차 기능을 갖는다는) 결정에 따라, 디바이스(예컨대, 600)는, 통신 디바이스를 통해, 제1 기능(예컨대, 현재 꺼져있는 경우 디바이스의 조명을 켬; 현재 켜져있는 경우 디바이스 조명을 끔)을 수행하라는 커맨드를 제1 제어가능한 외부 디바이스에 전송한다. 일부 실시예들에서, 블록(712)에서, 제1 입력을 검출하는 것에 응답하여, 그리고 제1 기능을 수행하라는 커맨드를 제1 제어가능한 외부 디바이스에 전송하는 것과 함께(예컨대, 동시에), 제1 액세서리 어포던스(예컨대, 604B)를 제1 기능에 기초하여 제2 외관(예컨대, 도 6b의 604B1)으로 업데이트한다(예컨대, 제1 기능은 제1 제어가능한 외부 디바이스의 일부인 조명의 상태를 변경하고, 제2 외관은 조명의 변경된 상태와 매칭하는 상태의 조명의 이미지를 포함한다). 제1 액세서리 어포던스를 액세서리의 업데이트된 상태를 반영하는 제2 외관으로 업데이트하는 것은, 커맨드가 수행되었다는 시각적 피드백을 사용자에게 제공한다. 사용자들이 어느 제어가능한 외부 디바이스들이 액세서리 어포던스에 의해 업데이트되었는지를 볼 수 있게 하는 것은 인지적 부담을 감소시킨다. 따라서, 사용자가 각각의 제어가능한 외부 디바이스 및 그것의 대응하는 컴포넌트들에 대한 구성들을 관리하기 위해 추가적인 입력(예컨대, 길게 누르기)을 제공할 필요가 없고, 그에 의해 더 효율적인 인간-기계 인터페이스가 생성된다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 각각의 제어가능한 외부 디바이스를 관리하는 데 필요한 입력들의 수를 감소시키는 것은, 사용자가 디바이스에 대한 전력을 효율적으로 절약하고 배터리 충전들 사이의 시간을 증가시키게 한다. 추가로, 사용자는 선택된 기능이 수행되었다는 또는 설정이 구성되었다는 시각적 확인을 획득한다.
일부 실시예들에서, 블록(716)에서, 한 세트의 커맨드 전송 기준들은, 제1 제어가능한 외부 디바이스와 연관된 제1 기능(예컨대, 팬을 켜는 것과 같은 일차 기능)이 제1 제어가능한 외부 디바이스(예컨대, 조명을 갖는 팬과 같은 다수의 기능들을 갖는 액세서리)의 일차 기능(예컨대, 액세서리가 다수의 기능들을 지원할 경우 지정된 주요 기능; 디바이스와 연관된 유일한 기능)일 경우 만족되는 제1 기준을 포함한다. 일부 실시예들에서, 한 세트의 커맨드 전송 기준들은, 제1 제어가능한 외부 디바이스와 연관된 제1 기능(예컨대, 액세서리는 이진 상태 - 켜기 또는 끄기 - 를 갖는 단일 기능만을 가짐)이 이진 동작 상태들(예컨대, 끄기 또는 켜기; 3개 이상의 상태들은 아님)을 갖는 외부 디바이스의 제1 제어가능한 컴포넌트(예컨대, 조명을 갖는 천장 팬의 팬)와 연관되는 경우 만족되는 제2 기준을 포함한다. 일부 실시예들에서, 제1 기능은 제1 제어가능한 외부 디바이스의 제1 제어가능한 컴포넌트의 현재 동작 상태로부터 제1 제어가능한 외부 디바이스의 제1 제어가능한 컴포넌트의 다른 동작 상태로 전이되는 것이다(예컨대, 컴포넌트가 켜져있을 때, 그 기능은 끄는 것이고, 그 반대의 경우도 마찬가지이다). 일부 실시예들에서, 액세서리 타일 상에서의 탭은 조명을 갖는 천장 팬의 팬이 켜지거나 꺼지게 한다.
일부 실시예들에서, 블록(718)에서, (예컨대, 액세서리가 일차 기능과 연관되는지 여부를 결정하는) 한 세트의 커맨드 전송 기준들이 충족되었다(예컨대, 액세서리가 단일 일차 기능을 갖는다)는 결정에 따라, 통신 디바이스를 통해, 제2 기능을 수행하라는 커맨드를 제1 제어가능한 외부 디바이스에 전송하지 않으면서, 통신 디바이스를 통해, 제1 기능을 수행하라는 커맨드를 제1 제어가능한 외부 디바이스에 전송한다. 제1 입력(예컨대, 650A)을 검출하는 것에 응답하여, 그리고 제1 기능을 수행하라는 커맨드를 제1 제어가능한 외부 디바이스에 전송하는 것과 함께(예컨대, 동시에), 제1 액세서리 어포던스(예컨대, 604B)를 제1 기능에 기초하여 제2 외관(예컨대, 604B1)으로 업데이트한다(예컨대, 제1 기능은 제1 제어가능한 외부 디바이스의 일부인 조명의 상태를 변경하고, 제2 외관은 조명의 변경된 상태와 매칭하는 상태의 조명의 이미지를 포함한다). 일부 실시예들에서, 제2 외관은 제1 기능에 기초한 애니메이션(예컨대, 반복하는/루핑하는(looping) 애니메이션)을 포함한다(예컨대, 팬이 켜졌으므로, 타일의 애니메이션은 회전하는 팬을 보여준다). 디바이스가, 추가적인 액세서리 인터페이스를 디스플레이할 필요 없이, 전송 기준들이 충족될 때 제1 기능을 수행하라는 커맨드를 제1 제어가능한 외부 디바이스에 전송하는 것은 더 효율적인 사용자 인터페이스를 제공한다. 제1 제어가능한 외부 디바이스가 일차 기능에 매핑되기 때문에, 일차 기능은 추가적인 사용자 상호작용을 요구하지 않으면서 수행된다. 이는 사용자의 인지적 부담을 감소시키고 배터리를 보존하는데, 이는 단일 입력이 제1 제어가능한 외부 디바이스로 하여금 일차 기능을 수행하게 할 것이기 때문이다.
블록(720)에서, 한 세트의 커맨드 전송 기준들이 충족되지 않는다는 (예컨대, 온도를 변경시킬 수 있고 그것을 온 및 오프로 토글링할 수 있는 온도조절기와 같이, 액세서리가 하나를 초과하는 일차 기능을 갖는다는) 결정에 따라, 디스플레이 디바이스 상에 (예컨대, 제어가능한 외부 디바이스에 커맨드를 전송하지 않으면서) 제1 액세서리 인터페이스(예컨대, 도 6f의 610A, 도 12b의 1210C)를 디스플레이한다. 제1 액세서리 인터페이스는, 블록(722)에서, 선택될 때, 제1 기능을 수행하라는 커맨드를 제어가능한 외부 디바이스에 전송하는 제1 제어 어포던스(예컨대, 도 6f의 608A 내지 608C, 도 12b의 1208)(예컨대, 조명용 조광기, 온도조절기용 온도 다이얼) 및 선택될 때, 제1 기능과 상이한 제2 기능을 수행하라는 커맨드를 외부 액세서리 디바이스에 전송하는 제2 제어 어포던스(예컨대, 조명의 색상, 온도조절기의 모드 - AC, 난방기, 팬 - 를 변경함)를 포함한다. 디바이스가 일차 기능으로 매핑되지 않을 때 사용자가 제1 제어가능한 외부 디바이스의 설정을 관리하게 하도록 액세서리 인터페이스를 디스플레이하는 것은 더 효율적인 사용자 인터페이스를 사용자에게 제공한다. 제어가능한 외부 디바이스가 일차 기능에 맵핑되지 않으므로, 액세서리 인터페이스를 디스플레이하는 것은 사용자가 제어가능한 외부 디바이스의 제어부들을 관리할 수 있기 때문에 더 효율적인 사용자 인터페이스를 제공한다. 이는 액세서리 인터페이스가 대응하는 액세서리 어포던스가 선택될 때마다 디스플레이되지 않기 때문에 배터리를 보존한다.
일부 실시예들에서, 제1 액세서리 인터페이스(예컨대, 610A)는 제1 제어 어포던스(예컨대, 608A) 및 제2 제어 어포던스(608B, 608C)를 포함한다. 일부 실시예들에서, 제1 액세서리 인터페이스를 디스플레이하는 것은, 제1 기능 및 제2 기능이 제1 세트의 레이아웃 기준들(예컨대, 제1 세트의 레이아웃 기준들은 제1 기능 및 제2 기능이 기능들의 계층구조에서 동일한 레벨로 분류될 때 충족되는 기준을 포함함)을 충족하는 것에 따라, 제1 제어 어포던스(예컨대, 608A) 및 제2 제어 어포던스(예컨대, 608B)를 좌우 배열로(예컨대, 수평 배열로) 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제1 기능 및 제2 기능이 제2 세트의 레이아웃 기준들(예컨대, 제1 세트의 레이아웃 기준들은 제1 기능 및 제2 기능이 기능들의 계층구조에서 상이한 레벨로 분류될 때 충족되는 기준을 포함함)을 충족하는 것에 따라, 제2 제어 어포던스(예컨대, 608C) 위에 제1 제어 어포던스(예컨대, 608A)를 상하 배열로(예컨대, 수직 배열로) 디스플레이한다.
일부 실시예들에서, 제1 액세서리 인터페이스(예컨대, 610A1)는 제1 그래픽 요소(예컨대, 604A1)에 대응하는(예컨대, 매칭하는) 제2 그래픽 요소(610A1) 및 제1 텍스트 요소(예컨대, 604A2)에 대응하는 제2 텍스트 요소(예컨대, 610B2)를 포함한다. 일부 실시예들에서, 제1 액세서리 인터페이스를 디스플레이하는 것은, 제1 그래픽 요소가 제2 그래픽 요소로 시각적으로 전이되는 애니메이션(예컨대, 제1 그래픽 요소가 제2 그래픽 요소가 되도록 확대되는 애니메이션)을 디스플레이하는 것 및 제1 텍스트 요소가 제2 텍스트 요소로 시각적으로 전이되는 애니메이션을 디스플레이하는 것을 추가로 포함한다.
일부 실시예들에서, 제1 액세서리 인터페이스(예컨대, 도 6e의 610A)의 일부분(예컨대, 액세서리의 사용자 인터페이스의 일부분)이 디스플레이 디바이스의 경계를 넘는 위치에 디스플레이될 것이라는 (예컨대, 액세서리와 연관된 카드가 디바이스의 스크린의 경계를 벗어나 디스플레이될 것이라는) 결정에 따라, 제1 액세서리 인터페이스가 경계와 정렬되는 제1 위치(예컨대, 도 6e의 610A)에 제1 액세서리 인터페이스를 디스플레이한다(예컨대, 액세서리의 사용자 인터페이스를 스크린의 경계 또는 가장자리와 정렬되게 스냅핑한다). 일부 실시예들에서, 제1 액세서리 인터페이스(예컨대, 도 6n의 610A)의 일부분이 디스플레이 디바이스의 경계를 넘는 위치에 디스플레이되지 않을 것이라는 (예컨대, 사용자 인터페이스가 스크린의 경계 내에 있을 것이라는) 결정에 따라, 제1 액세서리 어포던스(예컨대, 604H)의 위치에 기초하는 제2 위치(예컨대, 도 6n의 610A)에 제1 액세서리 인터페이스를 디스플레이한다(예컨대, 타일이 위치한 위치에 사용자 인터페이스를 디스플레이한다). 디바이스가 제어가능한 외부 디바이스에 의해 지원되는 제어부들 및 센서들의 수에 기초하여 각각의 액세서리 인터페이스에 대한 적절한 레이아웃을 결정하면, 사용자의 인지적 부담을 감소시키는 더 직관적인 사용자 인터페이스를 생성한다. 제어부들 및 센서들의 레이아웃은 제어가능한 외부 디바이스를 구성하는 데 필요한 입력들의 수를 감소시키는 것을 돕고, 그에 의해 배터리를 절약한다.
일부 실시예들에서, 제1 액세서리 인터페이스(예컨대, 도 6o의 610H)를 디스플레이하는 동안(일부 실시예들에서는, 그리고 제1 액세서리 어포던스는 디스플레이하지 않는 동안), 제1 액세서리 인터페이스를 디스플레이하는 것을 중지하라는 요청에 대응하는 제2 입력(예컨대, 650J)을 검출한다. 제2 입력을 검출하는 것에 응답하여, 제1 액세서리 인터페이스를 디스플레이하는 것을 중지하는 것(일부 실시예들에서는, 그리고 제1 액세서리 어포던스를 재디스플레이하는 것)은, 제2 그래픽 요소(예컨대, 610H1)가 제1 그래픽 요소(예컨대, 604H1)로 시각적으로 전이되는 애니메이션(예컨대, 제2 그래픽 요소가 제1 그래픽 요소가 되도록 축소되는 애니메이션)을 디스플레이하는 것 및 제2 텍스트 요소(예컨대, 610H2)가 제1 텍스트 요소(예컨대, 604H2)로 시각적으로 전이되는 애니메이션을 디스플레이하는 것을 포함한다.
제1 제어가능한 외부 디바이스가 제2 제어가능한 컴포넌트(예컨대, 조명을 갖는 천장 팬의 팬) 및 제3 제어가능한 컴포넌트(예컨대, 조명을 갖는 천장 팬의 조명)와 연관된 일부 실시예들에서, 제1 액세서리 인터페이스(예컨대, 610A)를 디스플레이(예컨대, 조명을 갖는 천장 팬의 카드를 디스플레이)하는 동안, (예컨대, 서브컴포넌트를 그룹으로부터 그룹해제하기 위한)(예컨대, 팬 및 조명을 2개의 별개의 타일들로 그룹해제하기 위한) 제어부 재구성 어포던스(예컨대, 도 6j의 616, 도 10l의 1020 및 1022)에 대응하는 입력을 포함하는 (예컨대, 사용자 인터페이스를 재디스플레이하라는 요청을 추가로 포함하는) 제1 세트의 하나 이상의 입력들(예컨대, 도 6i 및 도 6j의 650F 및 650G, 도 10k 및 도 10l의 1050J 및 1050I)(예컨대, 액세서리 어포던스의 선택 및 "별개의 타일들로 보기" 어포던스의 클릭)을 검출한다. 제1 세트의 하나 이상의 입력들을 검출하는 것에 응답하여, 제1 제어가능한 외부 디바이스의 제2 제어가능한 컴포넌트와 연관되고 제1 제어가능한 외부 디바이스의 제3 제어가능한 컴포넌트와 연관되지 않는 제2 액세서리 어포던스(예컨대, 604G)(예컨대, 선택될 때, 제2 제어가능한 컴포넌트와 연관된 기능을 수행하는 어포던스)(예컨대, 팬에 대응하는 타일) 및 제1 제어가능한 디바이스의 제3 제어가능한 컴포넌트와 연관되고 제1 제어가능한 디바이스의 제2 제어가능한 컴포넌트와 연관되지 않는 제3 액세서리 어포던스(예컨대, 604H)(예컨대, 선택될 때, 제3 제어가능한 컴포넌트와 연관된 기능을 수행하는 어포던스)(예컨대, 조명에 대응하는 타일)를 포함하는 사용자 인터페이스의 제2 인스턴스(second instance)(예컨대, 도 6k의 602)를 디스플레이한다. 일부 실시예들에서, 사용자 인터페이스의 제2 인스턴스는 제1 액세서리 어포던스(예컨대, 604A)를 포함하지 않는다. 일부 실시예들에서, 조명을 갖는 그룹화된 천장 팬 타일은 더 이상 디스플레이되지 않고, 그 대신 2개의 별개의 타일들(예컨대, 팬 타일 및 조명 타일)이 디스플레이된다. 액세서리들이 함께 그룹화되는지 또는 분리되는지에 기초하여 홈 인터페이스 내의 액세서리 어포던스를 업데이트하는 것은 제어가능한 외부 디바이스들을 관리하기 위한 더 직관적인 사용자 인터페이스를 사용자에게 제공한다. 그룹화된 액세서리들은 단일 액세서리 어포던스에 의해 표현되어 사용자의 인지적 부담을 감소시킨다. 따라서, 단일 액세서리 어포던스를 선택하는 것은, 그룹 내의 각각의 컴포넌트 또는 제어가능한 외부 디바이스의 제어부들에 개별적으로 액세스해야 하는 것이 아니라, 사용자가 한 장소에서 액세서리의 모든 제어부들을 관리하게 한다. 이는 또한, 그룹화된 액세서리들을 구성하는 데 필요한 입력들의 수가 감소됨에 따라 전력을 절약한다. 유사하게, 분리된 그룹화된 액세서리들은 개별 액세서리 어포던스들로서 보여져서 더 직관적인 사용자 인터페이스를 사용자에게 제공한다. 사용자가 제어가능한 외부 디바이스의 컴포넌트들을 분리하도록 선택하였기 때문에, 각각의 컴포넌트를 구성하기 위한 별개의 사용자 인터페이스들을 제공하는 것은 사용자가 어느 컴포넌트와 상호작용하고 있는지를 명확하게 하고, 이는 사용자의 인지적 부담을 감소시킨다.
방법(700)(예컨대, 도 7a 및 도 7b)과 관련하여 전술된 프로세스들의 상세사항들은, 또한, 아래에서/위에서 기술되는 방법들과 유사한 방식으로 적용가능함에 유의한다. 예를 들어, 방법(700)은 선택적으로 방법(900, 1100, 1300)을 참조하여 전술된 다양한 방법들의 특성들 중 하나 이상을 포함한다. 예를 들어, 방법(900)에서 설명되는 제어가능한 외부 디바이스는 방법(700)의 제어가능한 외부 디바이스일 수 있으며, 이는 방법(700)에서 설명되는 인터페이스들을 사용하여 구성되고 액세스될 수 있다. 간결함을 위해, 이러한 상세사항들은 이하에서 반복되지 않는다.
도 8a 내지 도 8j는 일부 실시예들에 따른, 액세서리(예컨대, 조명, 전력 스트립, 온도조절기)를 구성하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 9a 및 도 9b의 프로세스들을 포함하여 하기에 기술되는 프로세스들을 예시하는 데 사용된다.
도 8a 및 도 8b는 샹들리에 액세서리 어포던스(604A)를 길게 누름으로써 샹들리에의 제어부들에 액세스하는 것을 예시한다. 도 8a에서, 디바이스(600)는 샹들리에에 대응하는 샹들리에 액세서리 어포던스(604A)를 디스플레이한다. 샹들리에 액세서리 어포던스(604A)는 샹들리에가 현재 온 상태에 있다는 것을 나타내는 샹들리에의 그래픽 표현(604A1) 및 샹들리에가 온 상태에 있다는 현재 상태(604A2)를 나타내는 텍스트를 포함한다. 디바이스(600)는 홈 인터페이스(602) 내의 샹들리에 액세서리 어포던스(604A) 상에서의 길게 누르기(또는 깊게 누르기)에 대응하는 입력(850A)을 검출한다. 도 10b에서, 샹들리에 액세서리 어포던스(604B) 상에서의 길게 누르기에 대응하는 입력(650A)을 검출하는 것에 응답하여, 디바이스(600)는 샹들리에 액세서리 인터페이스(810B)를 디스플레이한다. 일부 실시예들에서, 액세서리가 일차 기능을 갖지 않는 제2 유형의 액세서리인 경우, 디바이스(600)는, 디바이스(600)가 액세서리 어포던스의 선택에 대응하는 입력(예컨대, 탭)을 검출하는 것에 응답하여, 액세서리 인터페이스(예컨대, 샹들리에 액세서리 인터페이스(810B))를 디스플레이한다.
도 8b 내지 도 8d는, 샹들리에 액세서리 인터페이스(810B)가 초기에 디스플레이될 때 디스플레이되는 제1 영역(812A)으로 구성된, 샹들리에 액세서리 인터페이스(810B) 내의 제어부들의 레이아웃을 예시한다. 제2 영역(812B)(오버플로우 영역)은 액세서리 설정을 포함한다. 설정 섹션(822)은, 사용자가 제1 영역(812A)을 지나 스크롤할 때 디스플레이된다. 사용자는 스와이프 제스처를 사용함으로써 영역들 사이를 스크롤할 수 있다. 도 8b 내지 도 8d에서, 디바이스(600)는, 디스플레이된 제1 영역(812A) 및 디스플레이되지 않은 제2 영역(812B)을 포함하는 샹들리에 액세서리 인터페이스(810B)를 디스플레이한다. 검출된 입력(850A)에 응답하여, 디바이스(600)가 샹들리에 액세서리 인터페이스(810B)를 디스플레이할 때, 제1 영역(812A)의 제1 부분이 디스플레이(603) 상에 디스플레이된다. 제1 영역(812A)은 그래픽 표현(810B1), 현재 상태(810B2), 및 제어 어포던스들(808A 내지 808C)을 포함한다. 제1 영역(812A)은, 초기에 디스플레이되지 않은 오버플로우 영역을 포함한다. 제1 영역(812A)의 오버플로우 영역은, 어포던스(808C)와 같은, 제1 영역에 초기에 디스플레이되지 않은 추가적인 제어 어포던스들 및 센서들을 포함한다. 디바이스(600)는, 제1 영역(812A) 내에서의 스크롤 다운에 대응하는 입력을 검출하는 것에 응답하여, 제1 영역(812A)의 오버플로우 영역을 디스플레이한다.
제어 어포던스(808A)는 샹들리에의 밝기를 변경하기 위한 제어부에 대응한다. 도 8b에서, 샹들리에는 90% 밝기로 설정된다. 제어 어포던스(808B)는 샹들리에에 설정될 수 있는 상이한 색상들에 대응한다. 도 8b에서, 6개의 상이한 색상들이 샹들리에 액세서리 인터페이스(810B)의 제1 영역(812A)의 제1 부분에 초기에 디스플레이된다. 추가적인 색상들이 제1 영역(812A)의 오버플로우 영역에 디스플레이되는데, 이는 샹들리에 액세서리 인터페이스(810B)가 스크롤될 때까지 디스플레이되지 않는다. 도 8b에서, 샹들리에는 색상(808B1)으로 설정된다. 그래픽 표현(810B1)은 제어부(808B)가 나타내는, 선택된 조명 색상을 반영한다.
도 8b에서, 디바이스(600)는 샹들리에 액세서리 인터페이스(810B) 내에서 스크롤 다운하기 위한 스와이프 제스처에 대응하는 입력(850B)을 검출한다. 도 8c에서, 입력(850B)을 검출하는 것에 응답하여, 디바이스(600)는, 제어 어포던스들(808A, 808B)의 디스플레이를 여전히 유지하면서, 제1 영역(812A)의 오버플로우 영역을 디스플레이한다. 제1 영역(812A)의 오버플로우 영역은 제어부(808B)에 대한 샹들리에 색상들의 세 번째 행 및 샹들리에가 자동적으로 꺼져야 하는 시간까지의 기간을 특정하는 타이머 제어 어포던스(808C)를 포함한다. 디바이스(600)는 제1 영역(812A)의 오버플로우 영역을 디스플레이하는 동안, 그래픽 표현(810B1) 및 현재 상태(810B2)의 디스플레이를 유지한다. 제어 어포던스(808A)는, 제1 영역(812A)이 제어 어포던스(808C)를 보여주도록 스크롤됨에 따라, 부분적으로 디스플레이된다. 사용자가 샹들리에 액세서리 인터페이스(810B)를 스크롤함에 따라, 설정 섹션(822)에 대한 빠른 액세스가 사용자에게 제공되도록 제1 영역(812)에서 스크롤하는 동안 설정 단축키 어포던스(816)가 스크린의 하부에 디스플레이된다. 따라서, 디바이스(600)가 샹들리에 액세서리 어포던스(810B)의 제1 영역(812A)을 스크롤함에 따라, 디바이스(600)는 샹들리에 액세서리 어포던스(810B)의 제1 영역의 하부 코너에 설정 단축키 어포던스(816)의 디스플레이를 유지한다. 설정 단축키 어포던스(816)가 샹들리에 액세서리 어포던스(810B)의 제2 영역에는 디스플레이되지 않는다. 설정 단축키 어포던스(816)는 샹들리에 액세서리 인터페이스(810B)의 제2 영역(812B) 내의 설정 섹션(822)에 대한 빠른 액세스를 제공하여, 사용자가 설정 섹션에 도달하기 위해 제1 영역(812A)을 스크롤할 필요가 없게 한다.
도 8c 및 도 8d는, 설정들이 샹들리에 액세서리 인터페이스(810B)에서 변경됨에 따라 그래픽 표현(810B1) 및 상태 텍스트(810B2)가 업데이트되는 것을 예시한다. 도 8c에서, 디바이스(600)는 제2 색상(808B2)의 선택에 대응하는 입력(예컨대, 탭)(850C)을 검출한다. 도 8d에서, 입력(850C)을 검출하는 것에 응답하여, 디바이스(600)는 조명의 선택된 색상을 반영하도록 제어 어포던스(808A) 및 그래픽 표현(810B1)의 디스플레이를 업데이트한다. 디바이스(600)는 샹들리에 액세서리 인터페이스(810B)의 제1 영역의 하부(816)가 디스플레이되는 것으로 결정한다. 결정에 응답하여, 디바이스(600)는 설정 단축키 어포던스(816)를 디스플레이한다. 디바이스(600)는, 설정 단축키 어포던스의 선택을 검출하는 것에 응답하여, 샹들리에 액세서리 인터페이스(810B)의 제2 영역을 디스플레이한다. 일부 실시예들에서, 설정 단축키 어포던스(816)는 제1 영역(812A)의 하부에 디스플레이된다. 일부 실시예들에서, 설정 단축키 어포던스(816)는, 제1 영역(812A)의 어느 부분이 디스플레이되어 있는지에 상관없이, 디스플레이(603)의 하부에 디스플레이된다.
도 8d 내지 도 8f는 샹들리에 액세서리 인터페이스(810B) 내에서 스와이프 제스처를 사용함으로써 제2 영역(812B)에 액세스하는 것을 예시한다. 도 8d에서, 디바이스(600)는 샹들리에 액세서리 인터페이스(810B) 내에서 추가로 스크롤 다운하기 위한 스와이프 제스처에 대응하는 입력(850D)을 검출한다. 도 8e에서, 입력(850D)을 검출하는 것에 응답하여, 사용자의 손가락이 여전히 디스플레이(603)와 접촉해 있어서, 디바이스(600)는 샹들리에 액세서리 인터페이스(810B)의 제2 영역(812B)의 일부분을 디스플레이한다. 디바이스(600)는 제2 영역(812B)의 디스플레이된 부분이 임계량(824)을 초과하는지 여부를 결정한다. 도 8e는, 제2 영역(812B)의 디스플레이된 부분이 임계량(824)을 초과하지 않는다는 결정에 따라, 사용자가 스와이프 제스처로부터 손가락을 해제할 때, 디바이스(600)가 바운스(bounce) 애니메이션(예컨대, 고무 밴드 효과)을 디스플레이하는 것을 예시한다. 바운스 애니메이션의 결과로서, 도 8d는, 디바이스(600)가, 제2 영역(812B)을 디스플레이하지 않고, 샹들리에 액세서리 인터페이스(810B)의 제1 영역(812A)의 이전에 디스플레이되었던 부분으로 다시 스냅핑하는 것을 예시한다. 도 8f 및 도 8g는, 제2 영역(812B)의 디스플레이된 부분이 (빠른 스와이프 제스처의 결과로서) 임계량(824)을 초과한다는 결정에 따라, 디바이스(600)가 샹들리에 액세서리 인터페이스(810B)의 제2 영역(812B)으로 스냅핑하여 디스플레이(603)의 상부 부분에 제2 영역(812B)을 디스플레이하는 것을 예시한다.
도 8g는 샹들리에 액세서리 인터페이스(810B)의 제2 영역(812B)(설정 섹션(822))을 예시한다. 제2 영역(812B)은 제1 영역(812A)에 디스플레이된 것과 동일한 그래픽 표현(810B1) 및 현재 상태(810B2)를 포함한다. 제2 영역(812B)은 샹들리에의 설정을 구성하기 위한 설정 섹션(822)을 포함한다. 디바이스(600)가 샹들리에 액세서리 인터페이스(810B)의 제2 영역(812B)을 디스플레이하도록 스냅핑한 것에 응답하여, 디바이스(600)는 제1 영역(812A)의 디스플레이로부터 제2 영역(812B)으로의 전이를 나타내는 햅틱 및 오디오 출력(820)을 출력한다. 일부 실시예들에서, 디바이스(600)는 오디오 출력 없이 햅틱 출력을 출력한다. 일부 실시예들에서, 디바이스(600)는 햅틱 출력 없이 오디오 출력을 출력한다.
도 8g에서, 디바이스(500)는 샹들리에 액세서리 인터페이스(810B)를 닫기 위한 "X" 어포던스(830)의 선택에 대응하는 입력(예컨대, 탭)(850E)을 검출한다. 도 8h에서, 입력(850E)을 검출하는 것에 응답하여, 디바이스(600)는, 조명 색상이 색상(808B2)으로 변경되었다는 것을 나타내는 그래픽 표현(604A1) 및 조명이 온 상태에서 90% 밝기라는 것을 나타내는 현재 상태(604A2)를 포함하는 업데이트된 샹들리에 액세서리 어포던스(604A)를 디스플레이한다. 일부 실시예들에서, 입력(850E)을 검출하는 것에 응답하여, 디바이스(600)는 샹들리에 액세서리 인터페이스(810B)가 닫힐 때 햅틱 출력 및 오디오 출력을 출력한다. 일부 실시예들에서, 디바이스(600)는 오디오 출력 없이 햅틱 출력을 출력한다. 일부 실시예들에서, 디바이스(600)는 햅틱 출력 없이 오디오 출력을 출력한다.
도 8h 내지 도 8j는 팬 인터페이스(810I) 내의 제어부들에 대한 몇몇 레이아웃들을 예시한다. 도 6f와 관련하여 위에서 논의된 바와 같이, 디바이스(600)는 액세서리와 연관된 제어부들 및 센서들의 수에 따라 레이아웃을 결정한다. 도 8h에서, 디바이스(600)는 거실 팬 액세서리 어포던스(604I) 상에서의 길게 누르기(또는 깊게 누르기)에 대응하는 입력(850F)을 검출한다. 입력(850F)을 검출하는 것에 응답하여, 디바이스(600)는 거실 팬 액세서리 인터페이스(610I)를 디스플레이한다. 도 8i 및 도 8j는 거실 팬 액세서리 인터페이스(610I)에 대한 2개의 레이아웃들을 예시한다. 디바이스(600)는, 도 6f와 관련하여 대체적으로 논의된 바와 같이, 디스플레이될 제어 어포던스들 및 센서 어포던스들의 수에 기초하여 팬 액세서리 인터페이스(610I) 내의 제어 어포던스들 및 센서 어포던스들의 레이아웃을 결정한다. 도 8i에서, 디바이스(600)는, 거실 팬이 둘 이하의 센서 어포던스들(예컨대, 816A 및 816B)을 갖는지 여부를 결정한다. 팬이 2개의 센서 어포던스들(808A, 816B)을 갖는다는 결정에 따라, 디바이스(600)는, 센서 어포던스들(816A, 816B)이 제어부(818) 위에 디스플레이되는 레이아웃을 팬 액세서리 인터페이스(610I)에 디스플레이한다. 도 8j에서, 디바이스(600)는, 거실 팬이 3개의 센서 어포던스들(816A 내지 816C)을 갖는 것으로 결정한다. 팬이 둘 초과의 센서 어포던스들을 갖는다는 결정에 따라, 디바이스(600)는, 센서 어포던스들(816A 내지 816C)이 제어부(818) 아래에 디스플레이되는 레이아웃을 팬 액세서리 인터페이스(610I)에 디스플레이한다.
도 9a 및 도 9b는 일부 실시예들에 따른, 전자 디바이스를 사용하여 외부 디바이스들을 제어하기 위한 방법(900)을 예시하는 흐름도이다. 방법(900)은 디스플레이 디바이스(예컨대, 603)를 갖는 디바이스(예컨대, 100, 300, 500, 600)에서 수행된다. 방법(900)의 일부 동작들은 선택적으로 조합되고, 일부 동작들의 순서는 선택적으로 변경되며, 일부 동작들은 선택적으로 생략된다.
후술되는 바와 같이, 방법(900)은 제어가능한 외부 디바이스들에 대응하는 어포던스들에 대한 액세스를 제공하는 홈 인터페이스(예컨대, 602)로부터 제어가능한 외부 디바이스들을 관리하기 위한 직관적인 방식을 제공한다. 사용자들이 홈 인터페이스로부터 집 내의 제어가능한 외부 디바이스들을 관리하게 하는 것은, 제어가능한 외부 디바이스들 모두가 홈 인터페이스로부터 액세스가능하기 때문에, 사용자에 대한 인지적 부담을 감소시킨다. 따라서, 사용자는 각각의 제어가능한 외부 디바이스에 대한 구성들을 관리하기 위해 별개의 애플리케이션을 열 필요가 없고, 그에 의해 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 사용자가 홈 인터페이스로부터 제어가능한 외부 디바이스들을 관리할 수 있게 하는 것은, 다수의 애플리케이션들을 여는 데 필요한 입력들의 수를 감소시켜, 사용자가 디바이스에 대한 전력을 효율적으로 절약하고 배터리 충전들 사이의 시간을 증가시키게 한다.
블록(902)에서, 디바이스(예컨대, 600)는 디스플레이 디바이스 상에, 제1 제어가능한 외부 디바이스(예컨대, 적어도 하나의 제어가능한 기능을 갖는 디바이스(예컨대, 스마트 전구, 스마트 온도조절기, 스마트 스피커))와 연관된 제1 액세서리 어포던스(예컨대, 604B)(예컨대, 선택가능한 그래픽 타일)를 포함하는 사용자 인터페이스(예컨대, 각각의 액세서리에 대한 타일을 보여주는 홈 페이지)를 디스플레이한다.
일부 실시예들에서, 블록(904)에서, 제1 액세서리 인터페이스(예컨대, 810B)는 제1 총 수의 제어 어포던스들(예컨대, 808A 내지 808C)을 포함하는데, 여기서, 제1 총 수의 제어 어포던스들 모두가 제1 영역(예컨대, 812A) 내에 포함되고(예컨대, 액세서리에 대한 모든 제어부들이 제1 영역 내에 디스플레이됨), 제1 총 수의 제어 어포던스들 중 어느 것도 제2 영역(예컨대, 812B) 내에는 포함되지 않는다(예컨대, 어느 제어부도 제2 영역 내에 디스플레이된 설정 섹션에 디스플레이되지 않는다). 일부 실시예들에서, 제1 액세서리 인터페이스의 제1 영역은 (예컨대, 제1 영역의 디스플레이된 부분에 인접한) 제1 영역 내의 제3 위치에 제2 영역 어포던스(예컨대, 816)(예컨대, 설정 단축키)를 포함한다.
블록(906)에서, 디바이스(예컨대, 600)는 제1 액세서리 어포던스의 선택에 대응하는 제1 입력(예컨대, 850A)(예컨대, 어포던스 상에서의 탭)을 검출한다.
블록(908)에서, 제1 입력(예컨대, 850A)(예컨대, 탭)을 검출하는 것에 응답하여, 디바이스(예컨대, 600)는, 디스플레이 디바이스(예컨대, 603) 상에, 선택될 때, 제1 액세서리 인터페이스의 제2 영역(예컨대, 812B)(예컨대, 설정 섹션)을 디스플레이하지 않으면서, 제1 제어가능한 외부 디바이스의 제1 기능(예컨대, 조명용 조광기, 조명 색상 변경)을 제어하는(예컨대, 제어 신호를 전송), 제1 제어 어포던스(예컨대, 808A)를 포함하는 제1 액세서리 인터페이스(예컨대, 810B)의 제1 영역(예컨대, 812A)을 디스플레이한다(예컨대, 사용자 인터페이스는 액세서리의 모든 제어부들, 예컨대, 액세서리와 연관된 카드를 디스플레이한다). 일부 실시예들에서, 제1 영역은 액세서리의 모든 제어부들을 포함하고, 제2 영역은 액세서리의 설정 섹션(예컨대, 816)을 포함한다.
일부 실시예들에서, 블록(910)에서, 제1 제어가능한 외부 디바이스가 미리결정된 수 미만의 센서들(예컨대, 3개의 센서들)(예컨대, 온도, 습도, 및/또는 주변 조명 센서들)과 연관된다는 (예컨대, 그들을 포함한다는) 결정에 따라, 제1 액세서리 인터페이스(예컨대, 810I)의 제1 영역(812A)은 제1 영역 내의 (예컨대, 제1 제어 어포던스 위의) 제1 위치에 제1 제어가능한 디바이스의 센서들에 대응하는 한 세트의 제어 어포던스들(예컨대, 816A 내지 816C)을 포함한다.
일부 실시예들에서, 블록(912)에서, 제1 제어가능한 외부 디바이스가 미리결정된 수 이상의 센서들과 연관된다는 (예컨대, 그들을 포함한다는) 결정에 따라, 제1 액세서리 인터페이스(예컨대, 810I)의 제1 영역(예컨대, 812A)은 제1 위치와 상이한 제1 영역(예컨대, 812A) 내의 (예컨대, 제1 제어 어포던스(예컨대, 818) 아래의) 제2 위치에 제1 제어가능한 디바이스의 센서들에 대응하는 한 세트의 제어 어포던스들(예컨대, 816A 내지 816C)을 포함한다.
블록(914)에서, 디스플레이 디바이스(예컨대, 603) 상에, 제1 액세서리 인터페이스(예컨대, 810B)의 제1 영역(예컨대, 812A)을 디스플레이하는 동안, 디바이스는 제2 입력(예컨대, 850B, 850D)(예컨대, 스와이프)을 검출한다. 일부 실시예들에서, 제2 입력은, 디스플레이로 하여금 현재 디스플레이되어 있지 않은 추가적인 제어부들을 카드 상에 디스플레이하도록 추가로 스크롤 다운하게 하는 스와이프(예컨대, 850B)를 포함한다. 일부 실시예들에서, 스와이프(예컨대, 850D)는, 디스플레이가 설정 섹션(예컨대, 822)으로 스냅핑하게 하는, 섹션 설정들로 디스플레이가 스냅핑하게 하여, 제어부들이 더 이상 디스플레이되지 않게 한다.
블록(916) 및 블록(918)에서, 제2 입력(예컨대, 850D)을 검출하는 것에 응답하여: 제2 입력(예컨대, 850D)이 임계량(예컨대, 제2 영역의 콘텐츠 또는 면적의 임계량)을 초과하는 제2 영역(예컨대, 812B)의 일부분으로 하여금 디스플레이되게 (예컨대, 설정 섹션의 4분의 1이 스크린 상에 디스플레이되게) 한다는 결정에 따라, 블록(920)에서, 디바이스(예컨대, 600)는, 제1 영역(예컨대, 812A)의 디스플레이를 중지하는 (예컨대, 제1 영역 내의 제어부들이 더 이상 디스플레이되지 않는) 동안, 제1 액세서리 인터페이스(예컨대, 810B)의 상부 부분에 제2 영역을 디스플레이하도록 (예컨대, 액세서리의 설정 섹션으로 스냅핑하도록) 제1 액세서리 인터페이스(예컨대, 810B)의 디스플레이를 업데이트하는데, 여기서, 제2 영역은 제1 제어가능한 외부 디바이스의 하나 이상의 설정들을 포함한다(예컨대, 설정들은, 사용자들이 액세서리의 셋업을 관리(예컨대, 데이터를 공유하는 것, 즐겨찾기에 포함시키는 것, 통지들을 수신하는 것, 액세서리의 액세스 목록에 사람을 추가하는 것)하게 하는 액세서리의 주요 설정 페이지이다). 일부 실시예들에서, 블록(922)에서, 디바이스는 햅틱 및 오디오 피드백(예컨대, 820)을 출력한다. 동일한 액세서리 인터페이스에 제어부들 및 설정들을 디스플레이하는 것은 제어가능한 외부 디바이스의 제어부들에 액세스하기 위한 더 효율적인 사용자 인터페이스를 제공한다. 사용자들이 하나의 인터페이스로부터 제어가능한 외부 디바이스들의 제어부들 및 설정들에 액세스하게 하는 것은 사용자에 대한 인지적 부담을 감소시킨다. 따라서, 사용자는 각각의 제어가능한 외부 디바이스에 대한 구성들을 관리하기 위해 별개의 애플리케이션들을 열 필요가 없다. 추가로, 제어가능한 외부 디바이스의 설정들이 다른 제어부들보다 덜 통상적으로 사용되기 때문에, 그것들은 사용자가 의도적으로 설정들에 액세스하려고 하지 않는 한 숨겨져 있다. 따라서, 임계치를 사용하여 설정을 디스플레이할 때를 결정함으로써, 사용자가 의도적으로 설정 섹션에 액세스하기를 원할 때에만 설정이 디스플레이되기 때문에, 더 효율적인 사용자 인터페이스를 제공한다. 추가로, 플로팅(floating) 설정 단축키 어포던스는, 사용자가 액세서리 인터페이스의 하부로 스크롤할 필요 없이 설정 섹션으로 내비게이팅하게 한다.
블록(924)에서, 제2 입력을 검출하는 것에 응답하여: 제2 입력이, 임계량을 초과하는 제2 영역(예컨대, 812B)의 일부분으로 하여금 디스플레이되게 하지 않는다는 (예컨대, 설정 섹션의 4분의 1 미만이 디스플레이된다는) 결정에 따라, 디바이스(예컨대, 600)는, 제1 액세서리 인터페이스(예컨대, 810B)의 제2 영역(예컨대, 812B)을 디스플레이하지 않으면서, 제2 입력(예컨대, 850D)(예컨대, 이전에 디스플레이되지 않았던 제2 제어부(예컨대, 808C)를 페이지 상에 디스플레이하도록 제1 영역(예컨대, 812A)을 점진적으로 스크롤하기, 설정 섹션으로 스냅핑하지 않으면서 스와이프의 속도에 대응함)에 기초하여 제1 액세서리 인터페이스(예컨대, 810B)의 디스플레이를 제1 액세서리 인터페이스의 제1 영역 내의 제2 제어 어포던스(예컨대, 808B, 808C)(예컨대, 조명의 색상을 변경하는 것; 제2 제어부는 제2 입력 이전에는 미리 도시되지 않았었음)로 업데이트한다(예컨대, 제2 제어부는 미리 디스플레이되지 않았고, 일부 실시예들에서, 제2 제어부를 디스플레이하기 위해 페이지를 스크롤 다운하는 것은 제1 제어부가 디스플레이되지 않게 한다). 임계치가 초과되지 않는 경우 설정 섹션을 디스플레이하지 않는 것은 더 효율적인 사용자 인터페이스를 제공한다. 그 대신, 제어가능한 외부 디바이스의 제어부들에 대해 중점을 두고, 이는 사용자의 인지적 부담을 감소시킨다.
일부 실시예들에서, 디바이스(예컨대, 600)는 제2 영역 어포던스(예컨대, 816)에 대응하는 제4 입력(예컨대, 도 6h의 650E)을 검출한다. 제2 영역 어포던스에 대응하는 제4 입력을 검출하는 것에 응답하여, 디바이스는 제1 영역의 디스플레이를 중지하는 동안, 제1 액세서리 인터페이스의 상부 부분에 제2 영역(예컨대, 도 6h의 620)을 디스플레이하도록 (예컨대, 액세서리의 설정 섹션으로 스냅핑하도록) 제1 액세서리 인터페이스(예컨대, 610A)의 디스플레이를 업데이트한다(예컨대, 그리고 제1 영역의 오버플로우 영역 내의 다른 제어부들을 스크롤한다).
일부 실시예들에서, 디스플레이 디바이스(예컨대, 603) 상에 제1 액세서리 인터페이스(예컨대, 810B)를 디스플레이하는 동안, 디바이스는 제3 입력(예컨대, 830)을 검출한다(예컨대, 제3 입력은 제1 액세서리 인터페이스를 해제(dismiss)하거나 닫는다). 제3 입력을 검출하는 것에 응답하여, 디바이스는 제1 액세서리 인터페이스의 디스플레이를 중지하고, 제1 액세서리 인터페이스가 더 이상 디스플레이되지 않는다는 것을 나타내는 햅틱 및 오디오 피드백(예컨대, 820)(예컨대, 카드가 닫히는 것을 나타내기 위한 해제 피드백)을 출력한다.
방법(900)(예컨대, 도 9a 및 도 9b)과 관련하여 전술된 프로세스들의 상세사항들은, 또한, 아래에서/위에서 기술되는 방법들과 유사한 방식으로 적용가능함에 유의한다. 예를 들어, 방법(900)은 선택적으로 방법(700, 1100, 1300)을 참조하여 전술된 다양한 방법들의 특성들 중 하나 이상을 포함한다. 예를 들어, 방법(900)의 액세서리 인터페이스들은 방법(700)의 제어가능한 외부 디바이스들을 구성하는 데 사용된다. 간결함을 위해, 이러한 상세사항들은 이하에서 반복되지 않는다.
도 10a 내지 도 10ac는 일부 실시예들에 따른, 그룹화된 액세서리들(예컨대, 전력 스트립)에 대한 예시적인 인터페이스들을 예시한다. 이 도면들에서의 인터페이스들은 도 11a 및 도 11b의 프로세스들을 포함하여 하기에 기술되는 프로세스들을 예시하는 데 사용된다.
도 10a 내지 도 10c에서, 전력 스트립 및 콘센트가 홈 인터페이스(602)에 추가된다. 사용자는 액세서리를 추가하기 위해 코드를 스캔하거나 코드를 입력할 수 있다. 일단 액세서리가 추가되면, 액세서리 어포던스(예컨대, 604E 및 604F)가 홈 인터페이스(602)에 추가된다. 사용자는 액세서리(예컨대, 전력 스트립)에 대응하는 액세서리 어포던스(예컨대, 604E)를 탭핑함으로써 액세서리의 구성들을 관리할 수 있다. 도 10a에서, 디바이스(600)는 새로운 액세서리 또는 장면을 추가하기 위한 어포던스(640)를 포함하는 홈 인터페이스(602)를 디스플레이한다. 디바이스(600)는 어포던스(640)의 선택에 대응하는 그리고 새로운 액세서리를 추가하기 위해 선택하는 한 세트의 입력들(1050A)(예컨대, 탭들)을 검출한다. 도 10b에서, 입력(1050A)을 검출하는 것에 응답하여, 디바이스(600)는 디바이스(600)에 의해 제어가능하도록 새로운 액세서리를 추가하기 위한 "액세서리 추가(ADD ACCESSORY)" 인터페이스(1002)를 디스플레이한다. 액세서리 추가 인터페이스(1002)는 디바이스(600)를 사용하여 새로운 액세서리와 연관된 코드(예컨대, 바코드, QR 코드, 또는 일련의 숫자들)를 스캔하기 위한 뷰파인더(1004A) 및 지시사항들을 포함한다. 액세서리 추가 인터페이스(1002)는 또한, 새로운 액세서리를 추가하기 위해 코드를 수동으로 입력하기 위한 어포던스(1004B)를 포함한다.
도 10c에서, 새로운 액세서리를 성공적으로 추가한 것에 후속하여(예컨대, 그에 응답하여), 디바이스(600)는 추가된 액세서리에 대응하는 액세서리 어포던스를 포함하는 홈 인터페이스(602)를 디스플레이한다. 도 10c는, 전력 스트립 액세서리 및 콘센트 액세서리에 각각 대응하는, 홈 인터페이스(602) 내의, 새롭게 추가된 전력 스트립 액세서리 어포던스(604F) 및 복도(hallway) 콘센트 액세서리 어포던스(604F)를 예시한다. 디바이스(600)는, 액세서리가 수행할 수 있는 기능들에 관한 수신된 정보에 기초하여 사용자가 액세서리를 관리하게 하기 위해 액세서리 인터페이스를 탭핑하거나 열 때 기능을 수행하는 대응하는 액세서리 어포던스를 액세서리가 가질 것인지 여부를 결정한다. 예를 들어, 콘센트 액세서리 어포던스(604F)는 콘센트 액세서리 어포던스(604F)가 탭핑될 때 콘센트를 온 및 오프로 토글링한다. 대조적으로, 온도조절기 액세서리 어포던스(604C)는 온도조절기 액세서리 어포던스(604C)가 탭핑될 때 디바이스(600)가 도 12b의 온도조절기 인터페이스(1210C)를 열게 한다. 셋업 동안, 디바이스(600)는, 콘센트로부터의 수신된 정보에 기초하여 콘센트 액세서리가 제1 유형의 액세서리인 것으로 결정하는데, 이는 콘센트가 2개의 이진 상태들, 즉 콘센트 켜기 또는 끄기로 동작하는 단일 기능을 갖기 때문이다. 셋업 동안, 디바이스(600)는, 전력 스트립으로부터 수신된 정보에 기초하여 전력 스트립이, 또한 제1 유형의 액세서리인 그룹화된 액세서리인 것으로 결정하는데, 이는 전력 스트립이 2개의 이진 상태들, 즉 전력 스트립 켜기 또는 끄기로 동작하는 단일 기능을 갖기 때문이다. 대조적으로, 하기에 도 12a 및 도 12b에 관하여 기술된 바와 같은 온도조절기는 온도조절기가 일차 기능을 갖지 않기 때문에 제2 유형의 액세서리이다.
도 10c에서, 디바이스(600)는 홈 인터페이스(602) 내의 콘센트 액세서리 어포던스(604F) 상에서의 길게 누르기(또는 깊게 누르기)에 대응하는 입력(1050B)을 검출한다. 도 10d에서, 입력(1050B)을 검출하는 것에 응답하여, 디바이스(600)는 콘센트 액세서리 인터페이스(1010F)를 디스플레이한다. 콘센트 액세서리 인터페이스(1010F)는 콘센트가 현재 꺼져 있다는 것을 나타내는 그래픽 표현(1010F1) 및 현재 상태(1010F2)를 포함한다. 콘센트 액세서리 인터페이스(1010F)는 콘센트를 온 또는 오프 상태로 토글링하는 것에 대응하는 제어 어포던스(1008)를 포함한다.
도 10d에서, 디바이스(600)는 콘센트 설정 섹션(1018)에 액세스하기 위해 콘센트 액세서리 인터페이스(1010F)에서 스크롤 다운하기 위한 스와이프 제스처에 대응하는 입력(1050C)을 검출한다. 콘센트 설정 섹션(1018)은 콘센트를 재구성하기 위한 어포던스들을 포함하지 않는데, 이는 콘센트가 액세서리 그룹의 일부가 아니기 때문이다. 도 10e에서, 입력(1050C)을 검출하는 것에 응답하여, 디바이스(600)는 콘센트 액세서리 인터페이스(1010F)의 디스플레이를 콘센트 설정 섹션(1018)으로 스냅핑한다. 콘센트 설정 섹션(1018)은 액세서리의 컴포넌트들을 재구성하기 위한 액세서리 재구성 어포던스들을 포함하지 않는데, 이는 콘센트가 단일 액세서리 컴포넌트이기 때문이다. 예를 들어, 콘센트 설정 섹션(1018)은 그룹화된 세트의 액세서리들로부터 컴포넌트들을 제거하거나 그를 추가하는 것과 연관된, 도 10k에 예시된 바와 같은 어포던스(1014B) 또는 물리적으로 일부인(예컨대, 콘센트는 전력 스트립의 컴포넌트임) 액세서리와 그룹을 재결합하는 것에 연관된, 도 10r에 예시된 바와 같은 어포던스(1014C)를 포함하지 않는다.
도 10f는 6개의 개별 콘센트 컴포넌트들(예컨대, 서브컴포넌트들)을 포함하는 전력 스트립 액세서리에 대응하는, 홈 인터페이스(602) 내의, 새롭게 추가된 전력 스트립 액세서리 어포던스(604E)를 예시한다. 전력 스트립 어포던스(604E)는 6개의 콘센트들을 포함하는 액세서리 그룹을 표현한다. 전력 스트립은 켜기/끄기의 일차 기능을 갖는다. 전력 스트립의 6개의 개별 콘센트 컴포넌트들은 또한 켜기 및 끄기의 동일한 일차 기능을 갖는다. 따라서, 디바이스(600)는 전력 스트립 및 6개의 개별 콘센트 컴포넌트들을 포함하는 액세서리 그룹에 대한 단일 전력 스트립 액세서리 어포던스(604E)를 생성한다. 액세서리 그룹은 함께 켜지거나 꺼질 수 있고, 또는 개별 컴포넌트들은 분리하여 제어될 수 있다. 따라서, 디바이스(600)가 전력 스트립 액세서리 어포던스(604E)의 선택에 대응하는 입력(예컨대, 탭)을 검출하는 것에 응답하여, 디바이스(600)는 전체 액세서리 그룹을 켜라는/끄라는 커맨드를 전력 스트립에 전송한다. 전력 스트립 및 개별 콘센트들은 전력 스트립 액세서리 인터페이스(1010E) 내의 각각의 콘센트 컴포넌트와 연관된 제어 어포던스들에 의해 온 상태 또는 오프 상태로 개별적으로 토글링될 수 있다.
도 10f에서, 디바이스(600)는 각각의 콘센트에 대응하는 개별 제어부들에 액세스하기 위한, 전력 스트립 액세서리 어포던스(604E) 상에서의 길게 누르기(또는 깊게 누르기)에 대응하는 입력(1050D)을 검출한다. 도 10g에서, 입력(1050D)을 검출하는 것에 응답하여, 디바이스(600)는 전력 스트립 액세서리 인터페이스(1010E)를 디스플레이한다. 전력 스트립 액세서리 인터페이스(1010E)는 각각의 콘센트 및 전체 전력 스트립의 상태들을 관리하기 위한 제어부들(1020A 내지 1020G)을 포함한다. 전력 스트립 액세서리 인터페이스(1010E)는 꺼져있는 전력 스트립을 예시하는 그래픽 표현(1010E1) 및 전력 스트립 내의 모든 콘센트들이 현재 꺼져있다는 것을 나타내는 현재 상태(1010E2)를 포함한다. 콘센트 액세서리 인터페이스(1010E)는 제어 어포던스(1020A 내지 1020G)를 포함한다. 제어 어포던스(1020A)는, 전력 스트립이 현재 오프 상태에 있을 때 전력 스트립의 모든 6개의 콘센트 컴포넌트들을 포함하는 전력 스트립을 온 상태로 설정하고, 전력 스트립이 현재 온 상태에 있을 때는 전력 스트립을 오프 상태로 설정한다. 제어 어포던스(1020A)가 전력 스트립을 켜도록 활성화될 때 이미 온 상태에 있는 임의의 콘센트는 온 상태로 유지된다. 유사하게, 제어 어포던스(1020A)가 전력 스트립을 끄도록 선택될 때 이미 오프 상태에 있는 임의의 콘센트는 오프 상태로 유지된다. 제어 어포던스들(1020B 내지 1020G)은 그룹 내의 각각 각자의 콘센트에 대응하는 제어 어포던스들에 대응하고, 이는 그룹 내의 다른 콘센트들의 상태에 영향을 미치지 않으면서 온 또는 오프 상태로 설정될 수 있다. 전력 스트립 액세서리 인터페이스(1010E)는 또한 설정 단축키 어포던스(1012)를 포함한다.
도 10g 내지 도 10j는 전력 스트립 또는 전력 스트립 액세서리 그룹 내의 개별 콘센트를 켜는 것을 예시한다. 홈 인터페이스(602) 내의 전력 스트립 액세서리 어포던스(604E)는 전력 스트립의 상태가 업데이트될 때마다 업데이트된다.
도 10g에서, 디바이스(600)는 전력 스트립을 켜기 위한 제어 어포던스(1020A)의 선택에 대응하는 입력(예컨대, 탭)(1050E)을 검출한다. 입력(1050E)을 검출하는 것에 응답하여, 디바이스(600)는 6개의 콘센트 컴포넌트들 각각을 켜라는 커맨드 또는 명령어들을 전력 스트립 액세서리에 전송한다. 도 10h에서, 입력(1050E)을 검출한 것에 후속하여, 디바이스(600)는 홈 인터페이스(602) 내의 전력 스트립 액세서리 어포던스(604E)의 디스플레이를 업데이트한다. 전력 스트립 액세서리 어포던스(604E)의 그래픽 표현(604E1)은, 번개 기호가 나타내는 바와 같이 전력 스트립이 켜졌다는 것을 보여주도록 업데이트된다. 전력 스트립 액세서리 어포던스(604E)의 현재 상태(604E2)는 전력 스트립이 온 상태에 있다는 것을 나타내도록 업데이트된다.
도 10h에서, 디바이스(600)는 전력 스트립 액세서리 어포던스(604E) 상에서의 길게 누르기(또는 깊게 누르기)에 대응하는 입력(1050F)을 검출한다. 도 10i에서, 입력(1050F)을 검출하는 것에 응답하여, 디바이스(600)는 전력 스트립 액세서리 인터페이스(610E)를 디스플레이한다. 전력 스트립 액세서리 인터페이스(610E)는, 전력 스트립이 온 상태에 있다는 것을 나타내는, 도 10h의 업데이트된 그래픽 표현(604E1)과 매칭되는 그래픽 표현(610E1)을 포함한다. 현재 상태(1010E2)는 전력 스트립이 온 상태에 있다는 것을 도시하도록 업데이트되는데, 이때 6개의 콘센트들 각각은 온 상태에 있다. 디바이스(600)가 전력 스트립이 현재 온 상태에 있는 것으로 결정하는 것에 응답하여, 디바이스(600)는 전력 스트립을 끄도록 제어 어포던스(1020A)를 업데이트한다. 제어 어포던스들(1020B 내지 020G)은 각각의 콘센트들 각각이 온 상태에 있다는 것을 나타내고, 제어 어포던스들(1020B 내지 1020G) 중 임의의 하나를 탭핑하는 것은 대응하는 콘센트를 끌 것이다.
도 10i에서, 디바이스(600)는 콘센트 1(OUTLET 1)에 대응하는 제어 어포던스(1020B)의 선택에 대응하는 입력(예컨대, 탭)(1050G)을 검출한다. 도 10j에서, 입력(1050G)을 검출한 것에 후속하여(그리고 그에 응답하여), 디바이스(600)는 콘센트 1을 끄라는 커맨드를 전력 스트립 액세서리에 전송한다. 디바이스(600)는, 콘센트가 이제 오프 상태에 있다는 것을 보여주도록 제어 어포던스(1020B)의 디스플레이를 업데이트한다. 디바이스(600)는 콘센트 1을 켜기 위한, 제어 어포던스(1020B) 상에서의 후속하는 탭을 검출할 수 있다. 제어 어포던스들(1020C 내지 020G)은 각각의 콘센트들 각각이 온 상태에 유지된다는 것을 나타내고, 대응하는 제어 어포던스 상에서의 탭은 대응하는 콘센트를 끌 것이다.
전력 스트립 액세서리 그룹은 설정 섹션(1018E)을 통해 콘센트를 제거하거나, 콘센트를 추가하거나, 그룹을 분할하도록 재구성될 수 있다. 도 10k 내지 도 10o는 전력 스트립 액세서리 그룹으로부터 콘센트를 제거하는 프로세스를 예시한다. 도 10j에서, 디바이스(600)는 설정 단축키 어포던스(1012)의 선택에 대응하는 입력(예컨대, 탭)(1050H)을 검출한다. 도 10k에서, 입력(1050H)을 검출하는 것에 응답하여, 디바이스(600)는 전력 스트립 설정 섹션(1018E)을 디스플레이한다. 전력 스트립 설정 섹션(1018E)은 콘센트 액세서리 인터페이스(1010E)에 나타낸 바와 같이 콘센트 액세서리의 상태에 대응하는 그래픽 표현(1010E1) 및 상태(1010E2)를 포함한다. 콘센트 설정 섹션(1018)은 콘센트를 동일한 유형의 다른 액세서리들과 그룹화하기 위한 "다른 액세서리들과 그룹화(GROUP WITH OTHER ACCESSORIES)" 어포던스(1014A) 및 (예컨대, 전력 스트립으로부터 컴포넌트들을 제거하거나 전력 스트립에 컴포넌트들을 추가함으로써) 전력 스트립 액세서리를 재구성하기 위한 액세서리 어포던스(1014B)를 포함한다. 액세서리 어포던스(1014B)는 현재 그룹 내에 6개의 콘센트 컴포넌트들이 있다는 것을 나타낸다.
도 10k에서, 디바이스(600)는 액세서리 어포던스(1014B)의 선택에 대응하는 입력(예컨대, 탭)(1050I)을 검출한다. 도 10l에서, 입력(1050I)을 검출하는 것에 응답하여, 디바이스(600)는 액세서리 인터페이스(1060)를 디스플레이한다. 액세서리 인터페이스(1060)는 전력 스트립 액세서리 그룹 내의 콘센트 컴포넌트들 각각에 대응하는 한 세트의 6개의 액세서리 어포던스들(1018A 내지 1018F)을 포함한다. 액세서리 인터페이스(1060)는, 전력 스트립으로부터 제거되었던 콘센트를 추가하거나 전력 스트립으로부터 콘센트를 제거하기 위한 "추가 또는 제거(ADD OR REMOVE)" 어포던스(1020) 및 그룹 내의 컴포넌트들 각각에 대한 별개의 액세서리 어포던스(예컨대, 6개의 콘센트들 각각에 대한 콘센트 액세서리 어포던스)를 생성함으로써 그룹을 해산시키기 위한 그룹해제 어포던스(1022)를 포함한다.
도 10l에서, 디바이스(600)는 "추가 또는 제거" 어포던스(1020)의 선택에 대응하는 입력(1050J)을 검출한다. 도 10m에서, 입력(1050J)을 검출하는 것에 응답하여, 디바이스(600)는 각각의 콘센트 액세서리 어포던스(1018A 내지 1018F)의 선택 또는 선택해제를 가능하게 하도록 추가 또는 제거 인터페이스(1060)의 디스플레이를 업데이트한다. 디바이스(600)는 전력 스트립 그룹으로부터 콘센트 3을 제거하기 위한, 콘센트 액세서리 어포던스(1018C)의 선택에 대응하는 입력(예컨대, 탭)(1050K)을 검출한다. 도 10n에서, 입력(1050K)을 검출하는 것에 응답하여, 디바이스(600)는 선택된 콘센트 액세서리 어포던스(1018C) 옆에 체크마크(checkmark)를 디스플레이한다. 도 10n에서, 디바이스(600)는 완료(DONE) 버튼(1032)의 선택에 대응하는 입력(예컨대, 탭)(1050L)을 검출한다. 입력(1050L)을 검출한 것에 후속하여, 디바이스(600)는 전력 스트립 액세서리 그룹으로부터 콘센트 3을 제거한다.
도 10o에서, 입력(1050L)을 검출하는 것에 응답하여, 디바이스(600)는 콘센트들에 대응하는 5개의 제어 어포던스들(1020B, 1020C, 1020E, 1020F, 1020G)만을 갖는 전력 스트립 액세서리 인터페이스(1010E)를 디스플레이한다. 제어 어포던스(1020D)는 대응하는 콘센트 3이 제거되었기 때문에 디스플레이되지 않는다. 전력 스트립 액세서리 그룹으로부터 콘센트들을 제거하거나 그를 추가하는 것은, 여전히 그룹 내에 있는 콘센트(예컨대, 콘센트 1, 콘센트 2, 및 콘센트 4 내지 콘센트 6) 또는 그룹으로부터 제거된 콘센트(예컨대, 콘센트 3)의 상태를 변경하지 않는다. 따라서, 도 10j에 나타낸 바와 같이, 콘센트 1은 오프 상태로 유지되고, 콘센트 3은 온 상태로 유지되는데, 이는 대응하는 콘센트가 전력 스트립 액세서리 그룹으로부터 콘센트 3이 제거되기 전과 동일한 상태이다. 현재 상태(1010E2)가 전력 스트립 액세서리 그룹 내에서 4개의 콘센트들이 온 상태인 것을 나타내도록 업데이트되지만, 그래픽 표현(1010E1)은 변경되지 않은 채로 유지된다. 도 10o에서, 디바이스(600)는 X 버튼(1030)의 선택에 대응하는 입력(1050M)을 검출한다.
일단 콘센트 3이 전력 스트립 그룹으로부터 제거되면, 디바이스(600)는 콘센트 3을 그 자신의 대응하는 콘센트 3 액세서리 어포던스(1004J)로 디스플레이한다. 도 10p에서, 입력(1050M)을 검출하는 것에 응답하여, 디바이스(600)는 홈 인터페이스(602)에 추가된 새로운 콘센트 3 액세서리 어포던스(1004J)를 디스플레이한다. 콘센트 3 액세서리 어포던스(1004J)는 번개 기호가 나타내는 바와 같이 콘센트가 온 상태에 있다는 것을 나타내는 그래픽 표현(1004J1) 및 콘센트가 온 상태에 있다는 것을 나타내는 현재 상태(1004J2)를 포함한다. 전력 스트립 액세서리 어포던스(604E)는 홈 인터페이스(602)에서 변경되지 않은 채로 유지된다.
도 10p에서, 디바이스(600)는 콘센트 3 액세서리 어포던스(1004J) 상에서의 길게 누르기(또는 깊게 누르기)에 대응하는 입력(1050N)을 검출한다. 디바이스(600)가 콘센트 3이 단일 기능을 갖는 제1 유형의 액세서리인 것으로 결정하기 때문에, 어포던스(1004J) 상에서의 검출된 탭은, 디바이스(600)로 하여금 콘센트 3 액세서리 인터페이스(1010J)를 디스플레이하게 하는 대신, 디바이스(600)로 하여금 콘센트 3을 켜라는/끄라는 커맨드를 전송하게 할 것이다. 도 10q에서, 입력(1050N)을 검출하는 것에 응답하여, 디바이스(600)는 콘센트 3 액세서리 인터페이스(1010J)를 디스플레이한다. 콘센트 3 액세서리 인터페이스(1010J)는 콘센트 3이 온 상태에 있다는 것을 나타내는 그래픽 표현(1010J1) 및 현재 상태(1010J2)를 포함한다. 콘센트 3 액세서리 인터페이스(1010J)는 콘센트 3을 켜기/끄기 위한 단일 제어 어포던스(1008)를 포함한다.
도 10q에서, 디바이스(600)는 설정 단축키 어포던스(1012)의 선택에 대응하는 입력(예컨대, 탭)(1050O)을 검출한다. 도 10r에서, 입력(1050O)을 검출하는 것에 응답하여, 디바이스(600)는 콘센트 3 액세서리 어포던스(1010J) 내에 콘센트 3 설정 섹션(1018J)을 디스플레이한다. 설정 섹션(1010J)은 콘센트 3을 그가 원래 그룹화되었던 전력 스트립 액세서리와 재그룹화하기 위한 재그룹화 어포던스(1014C)를 포함한다. 설정 섹션(1010J)은 또한 홈 인터페이스(602)로부터 액세서리를 삭제하고 그에 의해 디바이스(600)와 연관해제되기 위한 액세서리 제거(REMOVE ACCESSORY) 어포던스(1016)를 포함한다.
도 10r 내지 도 10t는 전력 스트립의 콘센트와 같은 액세서리의 컴포넌트가 제거될 때, 통지(1062)가 사용자에게 진행을 확인할 것을 촉구하는 것을 예시한다. 사용자가 컴포넌트를 제거하도록 진행하면, 액세서리도 또한 홈 인터페이스(602) 내의 액세서리 어포던스와 함께 제거된다. 도 10r에서, 디바이스(600)는 액세서리 제거 어포던스(1016)의 선택에 대응하는 입력(예컨대, 탭)(1050P)을 검출한다. 도 10s에서, 입력(1050P)을 검출하는 것에 응답하여, 디바이스(600)는, 콘센트 3을 제거하는 것이 전력 스트립 및 다른 5개의 콘센트 컴포넌트들로 하여금 디바이스(600)와 연관해제되게 할 것임을 나타내는 통지를 디스플레이한다. 콘센트 3이 물리적으로 전력 스트립의 일부이기 때문에, 콘센트 3을 제거하는 것은 콘센트 3이 일부인 전체 전력 스트립 액세서리의 제거를 야기할 것이다. 도 10s에서, 디바이스(600)는 콘센트 3을 제거하는 것에 대응하는 입력(1050Q)을 검출한다.
도 10t에서, 콘센트 3을 제거한 것에 후속하여(그리고 그에 응답하여), 디바이스(600)는 홈 인터페이스(602)의 디스플레이를 업데이트한다. 콘센트 3 액세서리 어포던스(1004J) 및 전력 스트립 액세서리 어포던스(604E)는 홈 인터페이스(602)로부터 제거되는데, 이는 전력 스트립 및 콘센트 액세서리들이 더 이상 디바이스(600)와 연관되지 않기 때문이다.
도 10u 내지 도 10x는, 콘센트 3 액세서리 인터페이스(1010J)의 콘센트 3 설정 섹션(1018J)으로부터 선택되는 재그룹화 어포던스(1014C)를 통해 콘센트 3을 전력 스트립으로 재그룹화하는 것을 예시한다. 도 10u에서, 디바이스(600)는, 콘센트 3 액세서리 어포던스(1004J)가 제거되기 전의 전력 스트립 액세서리 어포던스(602E) 및 콘센트 3 액세서리 어포던스(1004J)를 포함하는 홈 인터페이스(602)를 디스플레이한다. 디바이스(600)는 콘센트 3 액세서리 어포던스(1004J) 상에서의 길게 누르기(또는 깊게 누르기)에 대응하는 입력(1050R)을 검출한다. 도 10v에서, 입력(1050R)을 검출하는 것에 응답하여, 디바이스(600)는 도 10q와 관련하여 위에서 논의된 바와 같이 콘센트 3 액세서리 인터페이스(1010J)를 디스플레이한다. 디바이스(600)는 설정 단축키 어포던스(1012)의 선택에 대응하는 입력(예컨대, 탭)(1050S)을 검출한다.
도 10w에서, 입력(1050S)을 검출하는 것에 응답하여, 디바이스(600)는 도 10r과 관련하여 위에서 논의된 바와 같이 콘센트 3 설정 섹션(1018J)을 디스플레이한다. 디바이스(600)는 콘센트 3을 콘센트 3이 원래 그룹화되었던 전력 스트립 액세서리와 재결합시키기 위한 재그룹화 어포던스(1014C)의 선택에 대응하는 입력(예컨대, 탭)(1050T)을 검출한다.
도 10x에서, 입력(1050T)을 검출한 것에 후속하여(예컨대, 그에 응답하여), 디바이스(600)는, 콘센트 3이 전력 액세서리 그룹에 재추가되었다는 것을 나타내는 전력 스트립 액세서리 인터페이스(1010E2)를 디스플레이한다. 전력 스트립 액세서리 인터페이스(1010E2)는, 전력 스트립 액세서리 그룹에 방금 재추가된 콘센트 3을 포함하는 6개의 콘센트들 각각에 대응하는 6개의 제어 어포던스들을 디스플레이한다. 6개의 제어 어포던스들 각각은, 대응하는 콘센트가 콘센트 3이 그룹에 재추가되기 전과 동일한 상태로 유지된다는 것을 나타낸다. 예를 들어, 콘센트 1은 이전에 오프 상태였고, 오프 상태로 유지된다. 유사하게, 콘센트 3은 그룹으로부터 제거되기 전에 온 상태에 있었고, 그룹에 재추가된 후에 온 상태로 유지된다. 도 10x에서, 디바이스(600)는 설정 단축키 어포던스(1012)의 선택에 대응하는 입력(예컨대, 탭)(1040U)을 검출한다. 일부 실시예들에서, 일단 콘센트 3이 전력 스트립과 재결합되면, 콘센트 3 액세서리 어포던스(1004J)는 홈 인터페이스(602)에 더 이상 디스플레이되지 않는다.
도 10y 내지 도 10ac는 콘센트 3을 거실 전력 스트립으로부터의 콘센트들과 결합시키는 것을 예시한다. 그 결과, 콘센트 그룹 액세서리 어포던스(1004L)가 홈 인터페이스(602)에 생성되고, 콘센트 3 액세서리 어포던스(1004J) 및 거실 전력 스트립 액세서리 어포던스(1004K)는 더 이상 디스플레이되지 않는다. 도 10y에서, 콘센트 3이 전력 스트립과 재결합되기 전에, 디바이스(600)는 콘센트 3 액세서리 인터페이스(1010J)를 디스플레이한다. 디바이스(600)는 다른 콘센트들 및 전력 스트립 액세서리들을 포함하는 맞춤형 액세서리 그룹에 콘센트 3을 추가하기 위한 "다른 액세서리들과 그룹화" 어포던스(1014A)의 선택에 대응하는 입력(예컨대, 탭)(1050U)을 검출한다.
도 10z에서, 입력(1050U)을 검출하는 것에 응답하여, 디바이스(600)는 새로운 그룹 인터페이스(1064)를 디스플레이한다. 디바이스(600)는 새로운 그룹 인터페이스(1064) 내에 새로운 그룹을 형성하기 위해 선택될 수 있는, 집 내의 콘센트 및 전력 스트립 액세서리들에 대응하는 콘센트 및 전력 스트립 어포던스들(1034A 내지 1034D)을 디스플레이한다. 예를 들어, 침실 콘센트 3 및 전력 스트립 액세서리 어포던스들(1034A, 1034B)은 BEDROOM 아래에 디스플레이된다. 복도 콘센트 액세서리 어포던스(1034C)는 HALLWAY 아래에 디스플레이된다. 거실 전력 스트립 액세서리 어포던스(1034D)는 LIVING ROOM 아래에 디스플레이된다. 도 10z에서, 디바이스(600)는 함께 그룹화할 액세서리들을 식별하기 위해, 콘센트 3 액세서리 어포던스(1034C) 및 거실 전력 스트립 액세서리 어포던스(1034D)의 선택에 대응하는 입력들(예컨대, 탭들)(1050V, 1050W)을 검출한다. 도 10aa에서, 입력들(1050V, 1050W)을 검출하는 것에 응답하여, 디바이스(600)는 선택된 액세서리 콘센트 3 액세서리 어포던스(1034C) 및 전력 스트립 액세서리 어포던스(1034D) 옆에 체크마크들을 디스플레이한다. 디바이스(600)는 완료 버튼(1032)의 선택에 대응하는 입력(예컨대, 탭)(1050X)을 검출한다. 일부 실시예들에서, 사용자는 이벤트 또는 음성 커맨드에 의해 트리거되도록 그룹에 대한 단축키(예컨대, 음성 커맨드에 의해 트리거되는 태스크들의 그룹에 대한 단축키) 액세스를 생성하기 위해 상이한 유형들의 것인 다양한 액세서리들(예컨대, 온도조절기, 조명, 및 전력 스트립들)을 함께 그룹화할 수 있다(예컨대, 누군가 집에 있을 때, 그룹 내의 액세서리들을 켤 수 있다).
도 10ab에서, 입력(1050X)을 검출하는 것에 응답하여, 디바이스(600)는 이제 새로운 콘센트 액세서리 그룹 내에 있는 거실 전력 스트립 콘센트들 및 콘센트 3에 대한 제어 어포던스들(1040A 내지 1040D)을 포함하는 새로운 콘센트 그룹 액세서리 인터페이스(1010L)를 디스플레이한다. 콘센트 그룹 액세서리 인터페이스(1010L)는 그룹이 콘센트 액세서리들을 포함한다는 것을 나타내는 그래픽 표현(1010L1) 및 액세서리 그룹 내에 온 상태에 있는 콘센트가 1개 있다는 것을 나타내는 현재 상태(1010L2)를 포함한다. 제어 어포던스(1040A)는 그룹 내의 모든 콘센트 액세서리들을 켠다. 제어 어포던스(1040B, 1040C)는 거실 전력 스트립과 연관된 콘센트 1 및 콘센트 2의 온/오프 상태를 토글링하기 위한 제어부들에 대응한다. 제어 어포던스(1040D)는 콘센트 3의 온/오프 상태를 토글링하기 위한 제어부에 대응한다. 디바이스(600)는 "X" 버튼(1030)의 선택에 대응하는 입력(예컨대, 탭)(1050Y)을 검출한다.
도 10ac에서, 입력(1050Z)을 검출하는 것에 응답하여, 디바이스(600)는 새로운 콘센트 액세서리 그룹에 대응하는 새로운 콘센트 그룹 액세서리 어포던스(1004L)를 디스플레이한다. 디바이스(600)는 콘센트 3 액세서리 어포던스(1004J) 및 거실 전력 스트립 액세서리 어포던스(1004K)를 제거하고 그들을 새로운 콘센트 그룹 액세서리 어포던스(1004L)로 대체한다.
도 11a 및 도 11b는 일부 실시예들에 따른, 전자 디바이스를 사용하여 외부 디바이스들의 그룹을 제어하기 위한 방법(1100)을 예시하는 흐름도이다. 방법(1100)은 디스플레이 디바이스를 갖는 디바이스(예컨대, 100, 300, 500, 600)에서 수행된다. 방법(1100)의 일부 동작들은 선택적으로 조합되고, 일부 동작들의 순서는 선택적으로 변경되며, 일부 동작들은 선택적으로 생략된다.
후술되는 바와 같이, 방법(1100)은 다수의 컴포넌트들을 갖는 제어가능한 외부 디바이스들을 관리하기 위한 직관적인 방식을 제공한다. 본 방법은 다수의 컴포넌트들을 갖는 제어가능한 외부 디바이스들을 관리하는 사용자에 대한 인지적 부담을 감소시키며, 그에 의해 더 효율적인 인간-기계 인터페이스가 생성된다. 사용자가 동일한 디바이스 인터페이스로부터 다수의 컴포넌트들을 갖는 제어가능한 외부 디바이스들을 관리하게 하는 것은, 그룹에 대한 제어부들이 한 장소에서 관리될 수 있기 때문에, 사용자에 대한 인지적 부담을 감소시킨다. 따라서, 사용자는 각각의 제어가능한 외부 디바이스 및 서브컴포넌트에 대한 구성을 관리하기 위해 별개의 애플리케이션을 열 필요가 없으므로, 더 효율적인 인간-기계 인터페이스가 생성된다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 사용자가 동일한 디바이스 인터페이스로부터 제어가능한 외부 디바이스들 및 컴포넌트들을 관리할 수 있게 하는 것은, 제어가능한 외부 디바이스의 컴포넌트들을 구성하는 데 필요한 입력들의 수를 감소시켜, 사용자가 디바이스에 대한 전력을 효율적으로 절약하고 배터리 충전들 사이의 시간을 증가시키게 한다.
블록(1102)에서, 디스플레이 디바이스(예컨대, 터치 감응형 디스플레이 디바이스)를 갖는 디바이스(예컨대, 600) (예컨대, 스마트폰; 스마트 홈 제어 디바이스)가 제1 제어가능한 외부 디바이스를 제어하도록 구성되지 않는 동안, 디바이스는 제1 제어가능한 외부 디바이스를 제어하도록 전자 디바이스를 구성하라는 요청에 대응하는 제1 세트의 하나 이상의 입력들(예컨대, 1050A)을 검출한다.
블록(1104)에서, 제1 세트의 하나 이상의 입력들(예컨대, 1050A)을 검출하는 것에 응답하여, 디바이스는, 제1 제어가능한 외부 디바이스를 제어하도록 전자 디바이스를 구성하기 위한 프로세스를 개시하는데, 여기서, 프로세스는, 블록(1106)에서, 제1 제어가능한 외부 디바이스에 대응하는 정보를 (예컨대, 액세서리 디바이스로부터, 디바이스들의 특성들을 저장하는 서버로부터) 수신하는 것을 포함한다.
블록(1108)에서, 수신된 정보에 기초하여, 제1 제어가능한 외부 디바이스가 제1 제어가능한 외부 디바이스의 복수의 서브컴포넌트들(예컨대, 전력 스트립의 콘센트들, 천장 팬의 조명)과 연관된 복수의 제어가능한 기능들(예컨대, 전력 스트립의 복수의 콘센트들을 켜기/끄기, 조명을 켜기/끄기, 팬을 켜기/끄기)과 연관된다는 (예컨대, 액세서리가 서브컴포넌트들, 예컨대, 다수의 콘센트들을 갖는 전력 스트립, 천장 조명을 갖는 팬과 연관된다는) 결정에 따라, 디바이스(예컨대, 600)는 디스플레이 디바이스(예컨대, 603) 상에, 제1 제어가능한 외부 디바이스 및 복수의 서브컴포넌트들을 포함하는 그룹에 대응하는 제1 액세서리 어포던스(예컨대, 604E)(예컨대, 그룹을 표현하는 타일)를 디스플레이한다.
블록(1110)에서, 수신된 정보에 기초하여, 제1 제어가능한 외부 디바이스가 복수의 서브컴포넌트들과 연관되지 않는다는 결정(예컨대, 임의의 복수의 서브컴포넌트들에 의해, 액세서리가 어떠한 서브컴포넌트들도 포함하지 않거나 단지 하나의 서브컴포넌트만을 포함한다는 결정)에 따라, 디바이스는 디스플레이 디바이스 상에, 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스(예컨대, 1004J)(예컨대, 단지 액세서리만을 표현하는 타일)를 디스플레이한다. 그룹 내의 각각의 컴포넌트에 대한 개별적인 액세서리 어포던스들 대신 제어가능한 외부 디바이스 및 그의 컴포넌트들에 대한 그룹화된 액세서리 어포던스를 디스플레이하는 것은 더 효율적인 사용자 인터페이스를 제공하고 사용자에 대한 인지적 부담을 감소시킨다. 그룹화된 액세서리 어포던스를 선택하는 것은 액세서리 그룹의 모든 제어부들에 액세스하기 위한 단일 엔트리 포인트(entry point)를 제공한다. 이는 제어가능한 외부 디바이스 및 그의 컴포넌트들을 구성하는 데 필요한 입력들의 수를 감소시키므로, 배터리 전력을 절약한다.
블록(1112)에서, 디스플레이 디바이스(예컨대, 603) 상에, 제1 액세서리 어포던스 또는 제2 액세서리 어포던스를 디스플레이하는 동안, 디바이스(예컨대, 600)는 제2 입력(예컨대, 1050B, 1050D)(예컨대, 미리결정된 기간을 초과하여 유지되는 접촉)을 검출한다.
블록(1114)에서, 제2 입력(예컨대, 1050D)을 검출하는 것에 응답하여, 블록(1116)에서, 제2 입력이 제1 액세서리 어포던스(예컨대, 604E)(예컨대, 그룹화된 액세서리 타일)의 선택에 대응한다는 결정에 따라, 디바이스(예컨대, 600)는, 디스플레이 디바이스(예컨대, 603) 상에, 제1 액세서리 인터페이스(예컨대, 1010E)(예컨대, 액세서리에 대한 구성 페이지(예컨대, 카드))를 디스플레이하는데, 제1 액세서리 인터페이스는 제1 제어가능한 외부 디바이스 및 복수의 서브컴포넌트들에 대응하는 복수의 제어 어포던스들(예컨대, 1020A 내지 1020G)(예컨대, 액세서리를 켜기/끄기 위한 제어부, 조명 색상을 변경하기 위한 제어부, 온도를 변경하기 위한 제어부) 및 선택될 때, 제1 액세서리 인터페이스로부터 복수의 제어 어포던스들 중 적어도 제1 제어 어포던스(예컨대, 1020D)를 제거하기 위한 프로세스를 개시하는 (예컨대, 그룹으로부터 서브컴포넌트를 그룹해제하기 위한) 제어부 재구성 어포던스(예컨대, 1020)를 포함한다.
일부 실시예들에서, 제1 액세서리 인터페이스는, 선택될 때, 복수의 서브컴포넌트들의 서브컴포넌트들의 상태들에 영향을 주는 (예컨대, 복수의 서브컴포넌트들(예컨대, 제1 제어가능한 외부 디바이스의 모든 서브컴포넌트들) 각각의 상태들에 영향을 주는/그러한 상태들을 변경하는) 커맨드를 제1 제어가능한 외부 디바이스에 전송하는 그룹 제어 어포던스(예컨대, 1020A)를 포함한다. 일부 실시예들에서, 제1 액세서리 인터페이스(예컨대, 100E)는 액세서리 제거 어포던스(예컨대, 1016)를 포함한다. 일부 실시예들에서, 제1 액세서리 인터페이스의 복수의 제어 어포던스들은 복수의 서브컴포넌트들 중 제1 서브컴포넌트(예컨대, 다수의 콘센트 전력 스트립의 제1 콘센트)와 연관된 제1 제어 어포던스(예컨대, 1020B) 및 복수의 서브컴포넌트들 중 제2 서브컴포넌트(예컨대, 1020D)(예컨대, 다수의 콘센트 전력 스트립의 제2 콘센트)와 연관된 제2 제어 어포던스를 포함한다. 일부 실시예들에서, 복수의 제어 어포던스들(예컨대, 1020A 내지 1020G)은 제1 유형의 서브컴포넌트들(예컨대, 조명 서브컴포넌트들; 콘센트 서브컴포넌트들; 팬 서브컴포넌트들)에 대응하는 하나 이상의 제어 어포던스들 및 제2 유형의 서브컴포넌트들에 대응하는 하나 이상의 제어 어포던스들을 포함한다.
블록(1118)에서, 제2 입력(예컨대, 1050B)이 제2 액세서리 어포던스(예컨대, 604F)의 선택에 대응한다는 결정에 따라, 디바이스(예컨대, 600)는 디스플레이 디바이스(예컨대, 603) 상에, 제어부 재구성 어포던스(예컨대, 1020)를 디스플레이하지 않으면서 제1 제어가능한 외부 디바이스에 대한 제어부들(예컨대, 1008)을 포함하는 제2 액세서리 인터페이스(예컨대, 1010F)(예컨대, 액세서리에 대한 구성 페이지(예컨대, 카드))를 디스플레이한다.
일부 실시예들에서, 디바이스(예컨대, 600)는 제1 제어 어포던스(예컨대, 1020A)의 선택에 대응하는 제3 입력(예컨대, 탭 제스처)을 검출한다. 제3 입력을 검출하는 것에 응답하여, 복수의 서브컴포넌트들의 서브컴포넌트들의 상태들에 영향을 주는 커맨드(예컨대, 전력 스트립의 모든 콘센트들을 켜기/끄기)를 제1 제어가능한 외부 디바이스에 전송한다. 단일 제어 어포던스(예컨대, 1020A)에 의해 액세서리 그룹(예컨대, 전력 스트립 및 콘센트들)을 제어하는 것은 사용자에 대한 인지적 부담을 감소시키는 더 효율적인 사용자 인터페이스를 제공한다. 예를 들어, 전력 스트립은 6개의 콘센트들을 포함한다. 각각의 콘센트를 온/오프로 토글링하기보다, 사용자는 단일 제어 어포던스를 탭핑하여 그룹 내의 모든 콘센트들을 토글링할 수 있다. 이는 전력 스트립의 제어를 단순화할 뿐만 아니라, 입력들의 수를 감소시키는데, 이는 전자 디바이스에 대한 배터리 전력을 보존하는 것을 돕는다.
일부 실시예들에서, 제1 액세서리 인터페이스(예컨대, 1010E)를 디스플레이하는 동안, 디바이스(예컨대, 600)는 제1 제어 어포던스(예컨대, 1020B)에 대응하는 제4 입력(예컨대, 1050G)(예컨대, 탭 제스처)을 검출한다. 제4 입력을 검출하는 것에 응답하여, 디바이스는 제2 서브컴포넌트의 상태에 영향을 주는 커맨드를 제1 제어가능한 외부 디바이스에 전송하지 않으면서, 제1 서브컴포넌트의 상태에 영향을 주는 커맨드를 제1 제어가능한 외부 디바이스에 전송한다(예컨대, 제1 콘센트의 상태를 오프 및 온으로 토글링한다)(예컨대, 전력 스트립의 제2 콘센트는 영향을 받지 않는다). 사용자가 그룹화된 액세서리의 각각의 컴포넌트의 구성들을 관리할 수 있는 집합 액세서리 인터페이스(예컨대, 1010E)를 디스플레이하는 것은 사용자에 대한 인지적 부담을 감소시키는 더 효율적인 사용자 인터페이스를 제공한다. 사용자는 그룹 내의 다른 컴포넌트의 상태에 영향을 주지 않으면서 특정 컴포넌트를 제어할 수 있다. 따라서, 이는 그룹에 대한 제어부들이 하나의 사용자 인터페이스로부터 액세스가능하기 때문에 액세서리 그룹의 관리를 단순화한다. 이는 액세서리 그룹 내의 컴포넌트들의 관리를 단순화할 뿐만 아니라, 입력들의 수를 감소시키는데, 이는 전자 디바이스에 대한 배터리 전력을 보존하는 것을 돕는다.
일부 실시예들에서, 디바이스는 액세서리 제거 어포던스(예컨대, 1016)(예컨대, 액세서리를 제거하여 그것이 전자 디바이스에 의해 더 이상 제어되지 않도록 함)에 대응하는 제5 입력(예컨대, 1050P)을 검출한다. 액세서리 제거 어포던스에 대응하는 제5 입력을 검출하는 것에 응답하여, 디바이스(예컨대, 600)는 제1 제어가능한 외부 디바이스를 더 이상 제어하지 않도록 전자 디바이스(예컨대, 600)를 구성하기 위한 프로세스를 개시하는데, 이는, 한 세트의 경고 기준들이 충족된다는 결정에 따라 - 경고 기준들은, 제1 제어가능한 외부 디바이스가, 전자 디바이스가 현재 제어하도록 구성된 적어도 하나의 다른 서브컴포넌트 디바이스를 포함하는 복합 외부 디바이스의 서브컴포넌트 디바이스일 때 충족되는 기준을 포함함(예컨대, 제거되고 있는 액세서리가 제어가능한 액세서리의 일부인 서브컴포넌트인 경우에만 통지를 디스플레이함)(예컨대, 전력 스트립의 일부인 콘센트를 제거함) -, 제1 제어가능한 외부 디바이스를 더 이상 제어하지 않도록 전자 디바이스를 구성하기 위한 프로세스를 완료하는 것이, 적어도 하나의 다른 서브컴포넌트 디바이스를 더 이상 제어하지 않도록 전자 디바이스를 또한 구성할 것이라는 표시(예컨대, 1062)(예컨대, 콘센트를 제거하는 것이 전제 전력 스트립을 전자 디바이스에 의해 제어되는 것으로부터 제거한다는 통지)를 디스플레이하는 것을 포함한다. 한 세트의 경고 기준들이 충족되지 않는다는 결정에 따라(예컨대, 제거되는 액세서리는 조명 또는 온도조절기와 같은 독립형 액세서리임), 디바이스는, 제1 제어가능한 외부 디바이스를 더 이상 제어하지 않도록 전자 디바이스를 구성하기 위한 프로세스를 완료하는 것이, 적어도 하나의 다른 서브컴포넌트 디바이스를 더 이상 제어하지 않도록 전자 디바이스를 또한 구성할 것이라는 표시를 디스플레이하는 것을 보류한다(예컨대, 통지를 디스플레이하지 않으면서 액세서리를 제거한다). 액세서리 그룹 내의 컴포넌트를 제거하는 것이 전체 액세서리를 제거할 (예컨대, 콘센트를 제거하는 것은 전력 스트립을 제거할) 것임을 사용자에게 경고하는 통지를 디스플레이하는 것은 사용자의 인지적 부담을 감소시키는 더 효율적인 사용자 경험을 제공한다. 종종, 사용자는 그룹의 컴포넌트를 제거함으로써, 전체 액세서리가 제거될 것임을 인식하지 못한다. 따라서, 컴포넌트를 제거하도록 진행하기 전에 사용자에게 확인할 것을 요청하는 통지는 의도치 않게 제거된 액세서리를 재추가해야 하는 것으로부터 사용자 시간을 절약한다.
일부 실시예들에서, 제1 액세서리 인터페이스(예컨대, 도 6j의 610A, 도 10i의 1010E)(예컨대, 서브컴포넌트들과 연관된 복수의 제어 어포던스들을 포함하는 액세서리 사용자 인터페이스 또는 액세서리에 대한 카드)를 디스플레이하는 동안, 디바이스(예컨대, 600)는 제어부 재구성 어포던스(예컨대, 그룹화된 액세서리 어포던스, 및 추가 또는 제거 어포던스)에 대응하는 입력(예컨대, 도 6j의 650G, 도 10l의 1050J)을 포함하는 제2 세트의 하나 이상의 입력들(예컨대, 도 6j의 650G, 도 10k 내지 도 10n의 1050I 내지 1050L)(예컨대, 일부 예들에서, 재구성 어포던스(예컨대, 도 6j의 616, 도 10l의 1020 및 1022)의 선택, 그룹해제할 특정 서브컴포넌트(예컨대, 1018C)의 선택, "완료" 버튼(예컨대, 1032)의 클릭)을 검출한다. 제2 세트의 하나 이상의 입력들을 검출하는 것에 응답하여, 디바이스는 제1 액세서리 인터페이스(예컨대, 610A)를 디스플레이하는 것을 중지하고, 제1 액세서리 어포던스(예컨대, 604A)를 디스플레이하는 것을 중지한다(예컨대, 그룹을 해산시킴). 일부 실시예들에서, 선택된 서브컴포넌트(예컨대, 콘센트)(예컨대, 1018C)만이 그룹(예컨대, 전력 스트립)으로부터 제거되어 자신의 타일(예컨대, 1050N)을 가지며, 한편 서브컴포넌트들을 갖는 남아 있는 액세서리는 그룹화 타일(예컨대, 604E) 내에 그룹화된 채로 유지된다(예컨대, 콘센트들이 전력 스트립에 유지됨).
디바이스는, 선택될 때, 제1 유형의 서브컴포넌트들(예컨대, 팬, 콘센트)에 대응하는 하나 이상의 제어 어포던스들(예컨대, 1008)을 포함하는 제3 액세서리 인터페이스(예컨대, 도 10v 내지 도 10y의 1010J, 810I)를 디스플레이하는 제3 액세서리 어포던스(예컨대, 604G, 1004J)를 디스플레이한다. 일부 실시예들에서, 새로운 그룹화된 타일(예컨대, 1004L)은 이전 그룹에서 해산된 서브컴포넌트를 포함하는 동일한 유형의 모든 서브컴포넌트들을 도시한다(예컨대, 조명들의 새로운 그룹은 조명 액세서리를 갖는 천장 팬으로부터의 조명을 포함함). 일부 실시예들에서, 제3 액세서리 인터페이스는 재그룹화 어포던스(예컨대, 1014C)를 포함한다.
디바이스는, 선택될 때, 제2 유형의 서브컴포넌트들(예컨대, 조명)에 대응하는 하나 이상의 제어 어포던스들(예컨대, 608B 및 608C)을 포함하는 제4 액세서리 인터페이스(예컨대, 610H)를 디스플레이하는 제4 액세서리 어포던스(예컨대, 604H)를 디스플레이한다. 일부 실시예들에서, 제어부 재구성 어포던스(예컨대, 616)를 선택하는 것은, 제1 액세서리 인터페이스(예컨대, 610A) 내에 함께 그룹화되었던 모든 제어 어포던스들(예컨대, 608A 내지 608C)을 연관해제시키고, 원래 그룹 내의 서브컴포넌트들의 유형들에 기초하여 제어 어포던스들의 새로운 그룹들(예컨대, 조명들의 새로운 그룹: 614A, 콘센트들의 새로운 그룹: 도 10y 및 도 10z의 1014A 및 1064)을 생성하기 위한 옵션을 제공한다. 일부 실시예들에서, 새로운 그룹화된 타일은 이전에 조명 액세서리를 갖는 천장 팬의 일부였던 팬을 포함하는 모든 팬 컴포넌트들을 도시한다. 새로운 그룹화된 액세서리 어포던스들 및 (예컨대, 제거되었거나 다른 그룹과 결합되었기 때문에) 더 이상 관련되지 않는 액세서리 어포던스들의 디스플레이를 업데이트하는 것은 사용자에게 덜 어수선하고 더 직관적인 홈 인터페이스를 제공한다. 홈 인터페이스를 업데이트된 액세서리 어포던스들로 유지하는 것은 더 효율적인 사용자 인터페이스를 제공하며, 이는 사용자가 관심 있는 특정 액세서리 어포던스를 쉽게 찾게 한다. 이는 사용자에 대한 인지적 부담을 감소시키고 사용자가 더 적은 입력들로 액세서리를 관리하게 함으로써, 전자 디바이스의 배터리 전력을 보존하게 한다.
일부 실시예들에서, 제3 액세서리 인터페이스(예컨대, 도 6k의 604G, 도 10v 내지 도 10y의 1010J, 810I)를 디스플레이하는 동안, 디바이스는 재그룹화 어포던스(예컨대, 1014C)의 선택에 대응하는 입력(예컨대, 1014T)을 포함하는 하나 이상의 입력들(예컨대, 1014T)의 제3 세트를 검출한다(예컨대, 분리형 콘센트의 카드는 전력 스트립과 그룹을 재결합하기 위한 어포던스를 가짐). 하나 이상의 입력들의 제3 세트를 검출하는 것에 응답하여, 디바이스는 제3 액세서리 어포던스(예컨대, 604G, 1004J) 및 제4 액세서리 어포던스(예컨대, 604H, 전력 스트립으로부터 분할된 다른 콘센트)를 디스플레이하는 것을 중지하고, 선택될 때, 복수의 제어 어포던스들(예컨대, 도 6g의 608A 내지 608C, 도 10x의 1020A 내지 1020G)을 포함하는 제1 액세서리 인터페이스(예컨대, 610A, 1010E)를 디스플레이하는 제1 액세서리 어포던스(예컨대, 604A, 604E)를 재디스플레이한다. 일부 실시예들에서, 재그룹화 어포던스(예컨대, 1014A)를 선택하는 것은 제어부 재구성 어포던스(예컨대, 616)를 통해 그룹해재되었던 제어 어포던스들(예컨대, 도 6g의 608A 내지 608C, 도 10x의 1020A 내지 1020G)의 그룹을 리어셈블링(reassembling)하는 옵션을 제공한다. 그룹화된 액세서리들을 분할하고 새로운 액세서리 그룹들을 형성하기 위한 인터페이스 옵션들을 제공하는 것은 사용자에게 더 직관적인 방식으로 액세서리들을 관리하는 유연성을 사용자들에게 준다. 예를 들어, 사용자는 공동 공간 내의 모든 조명들을 하나의 그룹 내에 그룹화하지만, 침실 조명들은 별개로 유지하기를 원할 수 있다. 따라서, 재구성 어포던스들은 사용자들이 액세서리들을 더 효율적으로 관리하게 한다. 추가로, 액세서리들을 더 직관적으로 그룹화함으로써, 이는 액세서리들을 관리하는 데 필요한 입력들의 수를 감소시키며, 이는 전자 디바이스의 배터리 전력을 추가로 보존한다.
방법(1100)(예컨대, 도 11a 및 도 11b)과 관련하여 전술된 프로세스들의 상세사항들은, 또한, 아래에서/위에서 기술되는 방법들과 유사한 방식으로 적용가능함에 유의한다. 예를 들어, 방법(900)은 선택적으로 방법(700, 900, 1300)을 참조하여 전술된 다양한 방법들의 특성들 중 하나 이상을 포함한다. 예를 들어, 방법(1100)에서 설명되는 다수의 컴포넌트들을 갖는 제어가능한 외부 디바이스는 방법(700)의 제어가능한 외부 디바이스일 수 있으며, 이는 방법(700)에서 설명되는 인터페이스들을 사용하여 구성되고 액세스될 수 있다. 간결함을 위해, 이러한 상세사항들은 이하에서 반복되지 않는다.
도 12a 내지 도 12q는 일부 실시예들에 따른, 온도조절기 액세서리를 위한 예시적인 사용자 인터페이스들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 13a 및 도 13b의 프로세스들을 포함하여 하기에 기술되는 프로세스들을 예시하는 데 사용된다.
도 12a에서, 디바이스(600)는, 온도조절기에 대응하는, 홈 인터페이스(602) 내의, 온도조절기 액세서리 어포던스(604C)를 디스플레이한다. 온도조절기 액세서리 어포던스(604C)는 온도조절기의 그래픽 표현(604C1) 및 온도조절기가 난방 모드에 있다는 현재 상태를 나타내는 텍스트(604C2)를 포함한다. 디바이스(600)는 홈 인터페이스(602) 내의 온도조절기 액세서리 어포던스(604C)의 선택에 대응하는 입력(1250A)(예컨대, 탭)을 검출한다. 온도조절기 액세서리 어포던스(604C)의 선택에 대응하는 입력(1250A)을 검출하는 것에 응답하여, 디바이스(600)는, 도 12b에 예시된 바와 같이, 온도조절기 액세서리 인터페이스(1210C)를 디스플레이한다. 일부 실시예들에서, 온도조절기 액세서리 어포던스(604C) 상에서 검출된 길게 누르기는 또한 온도조절기 액세서리 인터페이스(1210C)가 디바이스(600) 상에 디스플레이되게 한다.
도 12b는 온도조절기의 제어부들을 예시한다. 도 12b는 온도조절기의 그래픽 표현(610C1) 및 온도조절기의 현재 상태를 나타내는 텍스트(1210C2)를 포함하는 온도조절기 액세서리 인터페이스(1210C)를 예시한다. 온도조절기 액세서리 인터페이스(1210C)의 그래픽 표현(1210C1)은 온도조절기 액세서리 어포던스(604C)의 그래픽 표현(604C1)과 매칭된다. 그래픽 표현들(604C1, 1210C1)은 온도 제어 어포던스(1208)에 디스플레이되는 온도의 색상과 매칭되는 색상의 온도조절기의 아이콘을 포함한다. 유사하게, 온도조절기 액세서리 인터페이스(1210C)의 현재 상태(1210C2)는 온도조절기 액세서리 어포던스(604C)의 현재 상태(604C2)와 매칭된다. 도 12b에서, 디바이스(600)는 냉방 모드(1220A)의 선택 및 목표 온도 68도의 선택에 대응하는 입력(1250B)을 검출한다. 입력(1250B)을 검출하는 것에 응답하여, 디바이스(600)는 온도조절기 아이콘의 색상을 자주색으로 변경하도록 그래픽 표현(1210C1)을 업데이트하고, 온도조절기가 "68도로 냉방"되는 것을 나타내도록 상태(1210C2)를 업데이트한다. 따라서, 온도조절기 액세서리 어포던스(604C)의 그래픽 표현(604C1) 및 온도조절기 액세서리 어포던스(604)의 현재 상태(604C2)는, 온도조절기 액세서리 인터페이스(1210C)가 닫힐 때 업데이트된다.
온도조절기 액세서리 인터페이스(1210C)는 섹션(1204) 내에 현재 실외 온도 및 현재 실내 온도와 같은 추가적인 온도 데이터를 포함한다. 온도조절기 액세서리 인터페이스(1210C)는 또한 온도조절기를 구성하기 위한 온도조절기 설정 섹션(1218)에 대응하는 설정 단축키 어포던스(1216)를 포함한다.
온도조절기 액세서리 인터페이스(1210C)는 실내를 특정 온도 또는 일정 온도 범위 내의 온도로 설정하기 위한 온도 제어 어포던스(1208)를 포함한다. 온도 제어 어포던스(1208)는 온도가 선택될 수 있는, 최소 온도 및 최대 온도를 포함하는, 일정 온도 범위에 대응하는 휠로 이루어진다. 온도 제어 어포던스(1208)는 일정 온도 범위에 대응하는 복수의 섹션들로 나뉘어진다. 온도 제어 어포던스(1208)의 각각의 섹션은 최소 온도 범위의 청색에서부터 최대 온도 범위의 적색까지의 상이한 색상 그래디언트(gradient)로 디스플레이된다. 예를 들어, 도 12b에서, 온도 제어 어포던스(1208)는 50도와 60도 사이의 온도에 대응하는 청색 그래디언트의 제1 섹션을 포함한다. 온도 제어 어포던스(1208)의 제2 섹션은 60도와 70도 사이의 온도에 대응하는 청색에서 적색으로의 그래디언트로 디스플레이된다. 온도 제어 어포던스(1208)의 제3 섹션은 70도와 80도 사이의 온도에 대응하는 적색 그래디언트로 디스플레이된다. 온도 제어 어포던스(1208)는 모드 어포던스(1220)에 나타낸 바와 같은 선택된 동작 모드에 따라 온도 또는 온도 범위를 선택하기 위한 하나 이상의 슬라이더들(예컨대, 1214A 내지 1214C)을 포함한다. 일부 실시예들에서, 온도조절기가 냉방 모드 또는 난방 모드에 있을 때, 단일 슬라이더(1214A)가 목표 실내 온도를 선택하기 위해 디스플레이된다. 일부 실시예들에서, 온도조절기가 자동 모드, 귀가 모드, 외출 모드, 또는 맞춤 모드에 있을 때, 온도 제어 어포던스(1208)는 목표 온도 범위(그것을 벗어나면 냉방 또는 난방이 트리거될 것임) 내의 최소 온도 및 최대 온도를 선택하기 위한 다수의 슬라이더들을 포함한다. 온도 제어 액세서리(1208)는 현재 상태 및 목표 온도를 나타내는 텍스트(1212)를 포함한다.
온도조절기 액세서리 인터페이스(1210C)는 온도조절기의 동작 모드들의 목록을 포함하는 모드 어포던스(1220)를 포함한다. 모드 어포던스(1220)는 꺼짐 모드, 난방 모드, 냉방 모드, 자동 모드, 귀가 모드, 및 외출 모드를 포함한다. 맞춤 모드들은 또한 도 12c 내지 도 12g에 관련하여 논의된 바와 같이 생성되어 모드 어포던스(1220)에 추가될 수 있다. 온도조절기가 꺼짐 모드로 설정되면, 온도조절기는 꺼진다. 온도조절기가 난방 모드로 설정되면, 온도조절기는 목표 온도에 도달할 때까지 난방기를 즉시 켠다. 유사하게, 온도조절기가 냉방 모드로 설정되면, 온도조절기는 목표 온도에 도달할 때까지 에어컨(air conditioner)을 즉시 켠다. 온도조절기가 자동 모드로 설정되면, 온도조절기가 현재 실내 온도가 목표 온도 범위를 벗어난다는 것을 검출하면, 온도조절기는 난방기 또는 에어컨을 켠다. 온도조절기가 귀가 모드, 외출 모드, 또는 맞춤 모드로 설정되면, 온도조절기는 특정 기간 동안(예컨대, 누군가가 집에 있는 시간 동안, 아무도 집에 없는 시간 동안, 또는 맞춤 기간 동안) 실내를 목표 온도 또는 목표 온도 범위 내의 온도로 냉방 또는 난방한다.
도 12b에서, 디바이스(600)는 온도조절기가 68도의 목표 온도에서 냉방 모드(1220A)로 설정되어 있다는 것을 디스플레이한다. 디바이스(600)는 슬라이더(1214A)가 온도 제어 어포던스(1208)에서 68도의 목표 온도로 이동하는 것에 대응하는 입력(1250B)을 검출한다. 입력(1250B)을 검출한 것에 후속하여(그리고 그에 응답하여), 디바이스(600)는, 현재 온도가 68도의 목표 온도에 도달할 때까지 에어컨을 켜라는 커맨드를 온도조절기에 전송한다. 입력(1250B)을 검출한 것에 후속하여(그리고 그에 응답하여), 디바이스(600)는 온도 제어 어포던스(1208) 내의 선택된 온도의 색상과 매칭하도록 그래픽 표현(1210C1)의 색상을 업데이트한다. 일부 실시예들에서, 디바이스(600)는 그래픽 표현(1210C1)을, 디바이스가 냉방 모드에 있을 때는 청색으로 업데이트하고 디바이스가 난방 모드에 있을 때는 적색으로 업데이트한다. 디바이스(600)는 온도조절기 상태(1212) 내의 디스플레이된 목표 온도(예컨대, 68도)의 색상을, 온도 제어 어포던스(1208)의 60도 내지 70도 섹션에 대응하는 청색에서 적색으로의 색상 그래디언트에서의 온도의 위치에 기초하여 자주색으로 업데이트한다. 디바이스(600)는 온도조절기가 "68도로 냉방"되는 것을 나타내도록 온도조절기 상태(1212)의 동작 모드를 업데이트한다.
도 12c 내지 도 12g는 온도조절기 액세서리 인터페이스(1210C)에 맞춤 온도 모드를 생성하는 것을 예시한다. 도 12c에서, 입력(1250B)을 검출하는 것에 응답하여, 디바이스(600)는 온도조절기 설정 섹션(1218)을 디스플레이한다. 일부 실시예들에서, 디바이스(600)는, 도 8a 내지 도 8f와 관련하여 위에서 논의된 바와 같은 기법을 사용하여 온도조절기 설정 섹션(1218)을 디스플레이하기 위해 온도조절기 액세서리 인터페이스(1210C)를 스크롤 다운하기 위한 스와이프 제스처를 검출한다. 온도조절기 설정 섹션(1218)은 온도조절기를 구성하기 위한 설정들을 포함한다. 온도조절기 설정 섹션(1218)은 맞춤 모드들을 생성하기 위한 모드 어포던스(1240) 및 모드가 활성화되거나 인에이블되어야 할 때를 스케줄링하기 위한 스케줄 어포던스(1260)를 포함한다.
도 12c에서, 디바이스(600)는 모드 어포던스(1240)의 선택에 대응하는 입력(1250C)을 검출한다. 도 12d에서, 입력(1250C)을 검출하는 것에 응답하여, 디바이스(600)는 생성된 복수의 맞춤 모드들(예컨대, 귀가 모드(1242A) 및 외출 모드(1242B)) 및 새로운 맞춤 모드를 추가하기 위한 맞춤 모드 어포던스(1242C)를 포함하는 모드 인터페이스(1242)를 디스플레이한다.
도 12d에서, 디바이스(600)는 맞춤 모드 어포던스(1242C)의 선택에 대응하는 입력(1250E)을 검출한다. 도 12e에서, 입력(1250E)을 검출하는 것에 응답하여, 디바이스(600)는 새로운 맞춤 모드를 생성하기 위한 새로운 모드 인터페이스(1244)를 디스플레이한다. 새로운 모드 인터페이스(1244)는 맞춤 모드의 이름(예컨대, 수면)을 나타내는 어포던스(1208) 및 목표 온도 범위를 설정하기 위한 온도 제어 어포던스(1208)를 포함한다. 온도 제어 어포던스(1208)는 목표 온도 범위의 최대 온도 및 최소 온도를 선택하기 위한 2개의 슬라이더들(1214B, 1214C)을 포함한다. 일부 실시예들에서, 온도 제어 어포던스(1208)는 52도 내지 72도의 디폴트 범위를 디스플레이한다. 디바이스(600)는 온도 제어 어포던스(1208) 내의 색상 그래디언트에서의 온도의 위치에 기초하여, 청색의 52도 및 적색의 72도의 목표 온도 범위를 포함하는 온도조절기 상태(1212)를 디스플레이한다.
도 12e 및 도 12f에서, 디바이스(600)는, 슬라이더(1214C)가 72도에서 68도로 이동하는 입력(1250F1)을 검출한다. 입력(1250F)을 검출하는 것에 응답하여, 디바이스(600)는 자주색의 68도의 최대 온도를 나타내는, 온도조절기 상태(1212)의 목표 온도 범위의 디스플레이를 업데이트한다. 도 12e 및 도 12f에서, 디바이스(600)는 슬라이더(1214B)가 52도에서 62도로 이동하는 입력(1250F2)을 검출한다. 입력(1250F)을 검출하는 것에 응답하여, 디바이스(600)는 밝은 청색의 62도의 최소 온도를 나타내는, 온도조절기 상태(1212)의 목표 온도 범위의 디스플레이를 업데이트한다. 따라서, 수면 모드는 62도 내지 68도의 목표 온도 범위를 설정한다. 현재 실내 온도가 62도 내지 68도의 목표 온도 범위를 벗어날 때, 온도조절기는 난방기 또는 에어컨을 켤 것이다. 디바이스(600)는 완료 버튼의 선택에 대응하는 입력(1250G)을 검출한다. 도 12g에서, 입력(1250G)을 검출하는 것에 응답하여, 디바이스(600)는 맞춤 수면 모드에 대응하는 수면 모드 어포던스(1242)를 모드 인터페이스(1242) 내의 모드들의 목록에 추가한다.
도 12h 내지 도 12q는 맞춤 온도 모드가 설정되는 스케줄을 설정하는 것을 예시한다. 사용자는 시간 범위 및 맞춤 온도 모드를 선택하며, 이는 선택된 시간 범위 동안 시행될 것이다. 도 12g에서, 디바이스(600)는 뒤로 버튼(1236)의 선택에 대응하는 입력(1250H)을 검출한다. 도 12h에서, 입력(1250H)을 검출하는 것에 응답하여, 디바이스(600)는 온도조절기 설정 섹션(1218)을 디스플레이한다. 디바이스(600)는 스케줄 어포던스(1260)의 선택에 대응하는 입력(1250I)을 검출한다. 도 12i에서, 입력(1250I)을 검출하는 것에 응답하여, 디바이스(600)는 선택된 온도 모드들이 온도조절기 상에서 활성화되거나 인에이블되어야 하는 지정된 시간 또는 장면을 스케줄링하기 위한 스케줄 인터페이스(1262)를 디스플레이한다. 스케줄 인터페이스(1262)는 스케줄이 적용되어야 하는 요일들을 선택하기 위한 맞춤화 어포던스(1270) 및 스케줄을 일주일 중 매일마다 적용하는 매일 어포던스를 포함한다. 스케줄 인터페이스(1262)는 어포던스들(1264A, 1264B)에 대응하는 스케줄링된 장면들의 목록을 포함하는 스케줄 섹션(1264)을 포함한다. 스케줄 섹션(1264)은, 온도조절기가 외출 모드로 설정된, 시간 범위 9:00 AM 내지 4:00 PM을 특정하는 장면 어포던스(1264A) 및 온도조절기가 귀가 모드로 설정된, 시간 범위 4:00 PM 내지 11:00 PM을 특정하는 장면 어포던스(1264B)를 포함한다. 외출 모드 및 귀가 모드는 목표 온도 범위들에 대응한다. 예를 들어, 외출 모드는, 에너지를 절약하기 위해, 9:00 AM과 4:00 PM 사이에 아무도 집에 없을 때, 온도조절기가 난방기 또는 에어컨을 켜는 것을 방지하도록, 더 넓은 목표 온도 범위(예컨대, 50도 내지 80도)를 포함할 수 있다. 귀가 모드는, 4:00 PM과 11:00 PM 사이에 누군가가 집에 있을 때, 더 편안한 실내 온도를 유지하기 위해 난방기 또는 에어컨을 켜도록 온도조절기를 트리거하도록, 더 좁은 목표 온도 범위(예컨대, 60도 내지 70도)를 포함할 수 있다. 장면들은 대응하는 어포던스를 선택함으로써 편집될 수 있다. 스케줄 섹션(1264)은 스케줄에 추가적인 장면들을 추가하기 위한 어포던스(1264C)를 포함한다.
도 12i에서, 디바이스(600)는 맞춤화 어포던스(1270)의 선택에 대응하는 입력(1250J)을 검출한다. 도 12j에서, 입력(1250J)을 검출하는 것에 응답하여, 디바이스(600)는, 각각의 요일에 대응하는 어포던스들(1266A 내지 1266G) 및 스케줄이 각 날에 대해 인에이블되는지 여부를 나타내는 상태를 디스플레이하도록 스케줄 인터페이스(1262) 내의 스케줄 섹션(1264)의 디스플레이를 업데이트한다. 장면들(1264A, 1264B)은 디스플레이되지 않는다. 도 12j에서, 디바이스(600)는 스케줄이 일요일, 금요일, 및 토요일에만 인에이블된다는 것을 디스플레이한다. 스케줄은 월요일부터 목요일까지는 인에이블되지 않는다.
도 12j에서, 디바이스(600)는 일요일에 대응하는 어포던스(1266A)의 선택에 대응하는 입력(1250K)을 검출한다. 도 12k에서, 입력(1250K)을 검출하는 것에 응답하여, 디바이스(600)는, 일요일에 인에이블되는 장면들(1264A, 1264B)의 스케줄 및 일요일 스케줄에 새로운 장면을 추가하기 위한 어포던스(1264C)를 포함하는 일요일에 대한 인터페이스를 디스플레이한다.
도 12k에서, 디바이스(600)는 새로운 장면을 추가하기 위한 어포던스(1264C)의 선택에 대응하는 입력(1250L)을 검출한다. 도 12l에서, 입력(1250L)을 검출하는 것에 응답하여, 디바이스(600)는 새로운 장면을 생성하기 위한 "시간 추가(add time)" 인터페이스(1284)를 디스플레이한다. "시간 추가" 인터페이스(1284)는 새로운 장면에 대한 시작 시간 및 종료 시간을 특정하기 위한 어포던스들(1286A, 1286B), 동작 모드를 선택하기 위한 모드 어포던스(1288), 및 온도 범위를 특정하기 위한 온도 제어 어포던스(1208)를 포함한다. 일부 실시예들에서, 디폴트로, 모드 어포던스(1288)에서 선택된 동작 모드는 자동 모드이다. 일부 실시예들에서, 온도 제어 어포던스는 목표 온도 범위의 선택을 가능하게 하기 위한 슬라이더들(1214B, 1214C)을 포함한다.
도 12l 내지 도 12o는, 동작 모드가 인에이블되도록 설정되는 시간을 선택하는 것을 예시한다. 도 12l에서, 디바이스(600)는 어포던스(1286A)의 선택에 대응하는 입력(1250M)을 검출한다. 도 12m에서, 입력(1250M)을 검출하는 것에 응답하여, 디바이스는, 장면이 인에이블될 시간을 선택할 수 있게 하는 드롭 다운 메뉴(drop down menu)를 디스플레이한다. 도 12m 및 도 12n에서, 디바이스(600)는 장면의 시작 시간으로서 11:00 PM을 선택하도록, 드롭 다운 메뉴에서 스크롤 다운하는 것에 대응하는 입력(1250N)을 검출한다. 유사하게, 디바이스(600)는 어포던스(1286B)에서 장면의 종료 시간을 6:00 AM으로 설정하는 입력을 검출한다.
도 12n에서, 디바이스(600)는 모드 어포던스(1288)의 선택에 대응하는 입력(1250O)을 검출한다. 입력(1250O)에 따라, 디바이스(600)는 온도조절기에 대하여 이용가능한 동작 모드들을 열거하는 드롭 다운 메뉴를 디스플레이한다. 도 12n 및 도 12o에서, 디바이스(600)는 수면 모드를 선택하도록 스크롤 다운하는 것에 대응하는 입력(1250P)을 검출한다.
도 12p에서, 입력(1250P)을 검출하는 것에 응답하여, 디바이스(600)는 수면 모드로 특정된 62도 내지 68도의 목표 온도 범위를 디스플레이하도록 온도 제어 어포던스(1208)를 업데이트한다. 온도 제어 어포던스(1208)는, 온도 범위가 수면 모드에 의해 설정되고 조정이 불가능하기 때문에, 슬라이더들(1214B, 1214C)을 포함하지 않는다. 디바이스(600)는 온도조절기 상태(1212)의 목표 온도 범위의 디스플레이가 대응하는 색상들의 62도 내지 68도가 되도록 업데이트한다. 일부 실시예들에서, 자동 모드는 상이한 목표 온도 범위를 특정하도록 선택된다. 디바이스(600)는 일요일 스케줄에 장면을 추가하기 위해, 완료 버튼(1232)의 선택을 검출한다. 도 12q에 예시된 바와 같이, 디바이스(600)는 일요일에 대한 스케줄 내에 인에이블된 장면들을 스케줄 섹션(1264) 내에 디스플레이한다. 디바이스(600)는 어포던스(1264C)에 대응하는 새롭게 추가된 장면을 포함하는, 일요일에 대해 인에이블된 장면들에 대응하는 어포던스들(1264A 내지 1264C)을 스케줄 섹션(1264) 내에 디스플레이한다. 일부 실시예들에서, 이벤트(예컨대, 날씨)가 단축키를 트리거하는 데 사용될 수 있도록, 단축키들이 스케줄 또는 온도 모드에 대해 생성될 수 있다. 예를 들어, 날씨가 75도를 초과할 때 온도조절기가 냉방 모드로 켜지도록, 단축키(예컨대, 장면)가 생성될 수 있다.
도 13a 및 도 13b는 일부 실시예들에 따른, 전자 디바이스를 사용하여 온도조절기를 제어하는 것에 대한 방법(1300)을 예시하는 흐름도이다. 방법(1300)은 디스플레이 디바이스(예컨대, 603)를 갖는 디바이스(예컨대, 100, 300, 500, 600)에서 수행된다. 방법(1300)의 일부 동작들은 선택적으로 조합되고, 일부 동작들의 순서는 선택적으로 변경되며, 일부 동작들은 선택적으로 생략된다.
이하에서 기술되는 바와 같이, 방법(1300)은 전자 디바이스(예컨대, 600)로부터 온도조절기 디바이스에 대한 온도 설정들을 관리하기 위한 직관적인 방식을 제공한다. 본 방법은 온도조절기 설정들 및 스케줄들을 관리하는 것에 대한 사용자의 인지적 부담을 감소시켜, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 사용자가 맞춤 온도조절기 모드들을 신속하게 선택할 수 있게 하는 것은, 사용자가 온도조절기 디바이스를 더 빠르고 더 효율적으로 설정하게 하며, 이는 전력을 절약하고 전자 디바이스의 배터리 충전들 사이의 시간을 증가시킨다.
블록(1302)에서, 디바이스(예컨대, 600)는, 디스플레이 디바이스(예컨대, 603) 상에, 전자 디바이스에 의해 제어가능한 외부 온도조절기 디바이스에 대한 온도 모드(예컨대, 1246)(예컨대, 맞춤 온도 설정)를 생성하기 위한 제1 세트의 제어부들(예컨대, 1208)(예컨대, 하나 이상의 제어부들, 예컨대, 온도를 변경하기 위한 다이얼)을 포함하는 온도 모드 생성 사용자 인터페이스(예컨대, 1234)(예컨대, 온도조절기 다이얼을 포함하는 온도조절기 앱)를 디스플레이한다.
블록(1304)에서, 디스플레이 디바이스(예컨대, 603) 상에, 온도 모드 생성 사용자 인터페이스(예컨대, 1234)를 디스플레이하는 동안, 디바이스(예컨대, 600)는 제1 세트의 하나 이상의 입력들(예컨대, 1250F1 및 1250F2)(예컨대, 다이얼을 사용하여 온도 범위들을 탭핑 및 선택하는 것)을 검출한다.
블록(1306)에서, 제1 세트의 하나 이상의 입력들(예컨대, 1250F1 및 1250F2)에 응답하여: 블록(1308)에서, 디바이스(예컨대, 600)는, 최소 온도 범위와 상이한, 최소 온도(최소 주변 온도(예컨대, 검출될 때, 외부 온도조절기 디바이스가 난방 요소와 결합하게 하는 온도)) 및 최대 온도(예컨대, 최대 주변 온도(예컨대, 검출될 때, 외부 온도조절기 디바이스가 냉방 요소와 결합하게 하는 온도))를 포함하는 온도 범위(예컨대, 1212)를 선택(예컨대, 온도 다이얼 내의 온도 범위를 선택)한다.
선택적으로, 블록(1310)에서, 디바이스는, 온도 모드 생성 사용자 인터페이스(예컨대, 1208) 내에, 선택된 온도 범위의 그래픽 표시(예컨대, 1212)(예컨대, 온도 다이얼)를 디스플레이하는데, 이는, 선택적으로, 블록(1312)에서, 선택된 온도 범위의 제1 부분이 미리결정된 제1 온도 범위 내에 있는 것에 따라, 디바이스는 미리결정된 제1 온도 범위에 대응하는 제1 색상으로 그래픽 표시의 제1 부분을 디스플레이(예컨대, 70° 내지 75°인 그래픽 표시의 부분은 주황색으로 디스플레이)하는 것을 포함한다. 일부 실시예들에서, 블록(1314)에서, 선택된 온도 범위의 제1 부분이 미리결정된 제2 온도 범위 내에 있는 것에 따라, 디바이스는 미리결정된 제2 온도 범위에 대응하는, 제1 색상과 상이한 제2 색상으로 그래픽 표시의 제1 부분을 디스플레이한다(예컨대, 65° 내지 69°인 그래픽 표시의 부분은 황색으로 디스플레이한다).
일부 실시예들에서, 디바이스는 최소 온도의 수치 표시(예컨대, 1212)를 디스플레이한다. 최소 온도가 미리결정된 제1 온도 범위를 갖는다는 것에 따라, 디바이스는 제1 색상으로 최소 온도의 수치 표시를 디스플레이한다(예컨대, 더 낮은 온도 범위의 색상에 대응하는 색상으로 온도 범위 내의 최소 온도를 디스플레이함). 최소 온도가 미리결정된 제2 온도 범위를 갖는다는 것에 따라, 디바이스는 제2 색상으로 최소 온도의 수치 표시를 디스플레이한다(예컨대, 온도가 그와 연관된 상이한 색상을 갖는 제2 영역으로 이동하면, 업데이트된 색상으로 최소 온도 텍스트의 색상을 업데이트함). 일부 실시예들에서, 디바이스는 최대 온도의 수치 표시(예컨대, 1212)를 디스플레이한다. 최대 온도가 미리결정된 제1 온도 범위를 갖는다는 것에 따라, 디바이스는 제1 색상으로 최대 온도의 수치 표시를 디스플레이한다(예컨대, 더 높은 온도 범위의 색상에 대응하는 색상으로 온도 범위 내의 최대 온도를 디스플레이함). 최대 온도가 미리결정된 제2 온도 범위를 갖는다는 것에 따라, 디바이스는 제2 색상으로 최대 온도의 수치 표시를 디스플레이한다(예컨대, 온도가 그와 연관된 상이한 색상을 갖는 제2 영역으로 이동하면, 업데이트된 색상으로 최대 온도 텍스트의 색상을 업데이트함). 온도 제어 액세서리 내의 온도 범위와 매칭되는 색상으로 온도를 디스플레이하는 것은 사용자에게 온도조절기 내의 온도 설정들의 시각적 피드백을 제공한다. 이는 더 효율적인 사용자 인터페이스를 제공하는 것을 돕고, 적색 숫자가 더 높은 온도에 대응하고 청색 숫자가 더 낮은 온도에 대응한다는 것을 사용자가 신속하게 인식하게 함으로써 사용자에 대한 인지적 부담을 감소시킨다.
블록(1316)에서, 디바이스는 온도 범위를 제1 온도 모드(예컨대, 1242D)(예컨대, 맞춤 온도 설정, 장면)와 연관시킨다. 블록(1318)에서, 온도 범위를 제1 온도 모드와 연관시킨 후에, 디바이스(예컨대, 600)는, 디스플레이 디바이스 상에, 외부 온도조절기 디바이스의 스케줄링된 동작을 생성하기 위한 제2 세트의 제어부들(예컨대, 1286A, 1286B, 및 1288)을 포함하는 온도 스케줄링 사용자 인터페이스(예컨대, 1262)를 디스플레이한다. 사용자가 온도 범위 설정들을 저장함으로써 맞춤 온도 모드들 또는 동작 모드들을 생성하게 하는 것은 더 효율적인 사용자 인터페이스를 제공한다. 특히, 소정 온도 설정들은 일상(daily routine)과 관련되기 때문에(예컨대, 아무도 집에 없을 때에 대한 온도 범위의 설정 vs. 누군가가 집에 있을 때에 대한 상이한 온도 범위의 설정), 저장된 온도 설정을 선택할 수 있는 것은 시간을 절약한다. 이는 또한, 소정 설정들을 기억해야 하는 것에서 사용자에 대한 인지적 부담을 감소시키는 것을 돕고, 온도 설정을 설정하는 데 필요한 입력들의 수를 감소시킴으로써 전자 디바이스에 대한 배터리 전력을 보존한다.
블록(1320)에서, 디스플레이 디바이스(예컨대, 603) 상에, 온도 스케줄링 사용자 인터페이스(예컨대, 1262)를 디스플레이하는 동안, 디바이스(예컨대, 600)는 제2 세트의 하나 이상의 입력들(예컨대, 1250M 내지 1250Q)을 검출한다. 블록(1322)에서, 제2 세트의 하나 이상의 입력들을 검출하는 것에 응답하여, 선택적으로, 블록(1324)에서, 제2 세트의 하나 이상의 입력들은 복수의 이용가능한 온도 모드들(예컨대, 1288)(예컨대, 디스플레이된 목록의 저장된 온도 모드들) 중 제1 온도 모드의 선택에 대응하는 입력(예컨대, 1250Q)을 포함하고, 블록(1326)에서, 디바이스는 제1 스케줄링된 동작의 활성화를 위한 제1 기준들(예컨대, 시간 범위)(예컨대, 1286A 및 1286B)을 선택한다. 블록(1328)에서, 디바이스는 제1 온도 모드를 (예컨대, 제1 온도 모드와 연관된 어포던스를 선택하는) 제1 스케줄링된 동작(예컨대, 1264C)과 연관시킨다.
방법(1300)(예컨대, 도 13a 및 도 13b)과 관련하여 전술된 프로세스들의 상세사항들은, 또한, 아래에서/위에서 기술되는 방법들과 유사한 방식으로 적용가능함에 유의한다. 예를 들어, 방법(1300)은 선택적으로 방법(700, 900, 1100)을 참조하여 전술된 다양한 방법들의 특성들 중 하나 이상을 포함한다. 예를 들어, 방법(1300)의 온도조절기는 방법(900)의 방법을 사용하는 제1 제어가능한 외부 디바이스이다. 간결함을 위해, 이러한 상세사항들은 이하에서 반복되지 않는다.
도 14a 내지 도 14t는 일부 실시예들에 따른, 액세서리 디바이스들을 관리하기 위한 애플리케이션의 예시적인 사용자 인터페이스들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 15의 프로세스들을 포함하여 하기에 기술되는 프로세스들을 예시하는 데 사용된다.
도 14a는 디스플레이(603)를 갖는 스마트폰인 전자 디바이스(600)를 나타낸다. 디스플레이(603)는, 전자 디바이스(600)가 사용자 제스처들(예컨대, 탭, 스와이프, 드래그)을 검출할 수 있는 터치 감응형 표면을 포함한다. 일부 실시예들에서, 전자 디바이스(600)는 전자 디바이스(100, 300, 500, 또는 600)이거나, 전자 디바이스(100, 300, 500, 또는 600)의 하나 이상의 특징부들을 포함한다.
도 14a에서, 전자 디바이스(600)는 액세서리 디바이스들을 구성하기 위한 홈 사용자 인터페이스(602)를 디스플레이한다. 홈 사용자 인터페이스(602)는 도 6a와 관련하여 위에서 추가로 논의된다. 일부 실시예들에서, 액세서리 디바이스는 또한 제어가능한 외부 디바이스로 지칭될 수 있다. 홈 사용자 인터페이스(602)는 각각의 장면 프로파일들을 표현하는 장면 객체들(1402A 내지 1402C)을 포함한다. 일부 실시예들에서, 장면 프로파일은 일정 위치에 있는 하나 이상의 액세서리 디바이스들의 지정된 상태들에 관한 데이터를 포함한다. 일부 실시예들에서, 장면 프로파일은 또한 "장면"으로 지칭될 수 있다. 추가적으로, 홈 사용자 인터페이스(602)는 액세서리 어포던스들(604A 내지 604F)을 포함하며, 여기서 액세서리 어포던스는 액세서리 디바이스를 표현하는 그래픽 타일이다. 예를 들어, 액세서리 어포던스(604D)는 그것의 스피커를 통해 오디오 출력이 가능한 침실 스피커를 표현한다.
도 14a에서, 사용자는 전자 디바이스(600)에 의해 구성될 액세서리 또는 장면 프로파일을 추가하기 위한 프로세스를 개시하기 위해 탭 제스처를 수행한다. 그 결과, 전자 디바이스(600)는 어포던스(640)(예컨대, 선택가능한 사용자 인터페이스 객체)에서 탭 제스처(1400)를 검출한다.
도 14b에서, 탭 제스처(1400)를 검출할 시, 전자 디바이스(600)는 선택적으로 홈 사용자 인터페이스(602)를 블러(blur)하고, 홈 사용자 인터페이스(602) 위에 겹치게 액세서리 버튼(1404) 및 장면 버튼(1406)을 디스플레이한다. 사용자는 장면 프로파일을 추가하기 위한 프로세스를 개시하기 위해 탭 제스처를 수행한다. 그 결과, 전자 디바이스(600)는 장면 버튼(1406)에서 탭 제스처(1408)를 검출한다. 일부 실시예들에서, 액세서리 버튼(1404)에서 탭 제스처를 검출하는 것은 액세서리 디바이스를 홈 사용자 인터페이스(602)에 추가하기 위한 프로세스를 개시하게 한다.
도 14c에서, 탭 제스처(1408)를 검출할 시, 전자 디바이스(600)는 새로운 장면 프로파일을 추가하기 위한 새로운 장면 사용자 인터페이스(1410)를 디스플레이한다. 새로운 장면 사용자 인터페이스(1410)는 장면 프로파일의 이름을 정하기 위한 텍스트 필드(예컨대, "저녁(Evening)")를 포함한다. 사용자는 장면 프로파일에 대해 구성될 한 세트의 액세서리 디바이스들에 액세서리 디바이스(들)를 추가하기 위한 탭 제스처를 수행한다. 그 결과, 새로운 장면 사용자 인터페이스(1410)를 디스플레이하는 동안, 전자 디바이스(600)는 액세서리 버튼(1414)에서 탭 제스처(1412)를 검출한다.
도 14d에서, 탭 제스처(1412)를 검출할 시, 전자 디바이스(600)는 새로운 장면 사용자 인터페이스(1410)의 디스플레이를 액세서리 선택 사용자 인터페이스(1416)의 디스플레이로 대체한다. 액세서리 선택 사용자 인터페이스(1416)는 장면 프로파일에 대해 구성되는 데 이용될 수 있는 액세서리 디바이스들을 표현하는 액세서리 어포던스들(예컨대, 604A 내지 604F)을 포함한다. 액세서리 어포던스들은 그것의 선택 상태(예컨대, 선택됨 또는 선택되지 않음)의 시각적 표시를 포함하도록 수정되었다. 사용자는 장면 프로파일에 추가될 침실 팬 조명 및 복도 온도조절기를 선택한다. 그 결과, 전자 디바이스(600)는 액세서리 어포던스(604A)에서 탭 제스처(1418)를 그리고 액세서리 어포던스(604C)에서 탭 제스처(1420)를 검출한다. 도 14d에서, 탭 제스처(1418)의 검출 이전에, 액세서리 어포던스들(604A, 604C)은, 액세서리 어포던스들이 선택되지 않았다는 시각적 표시와 함께 디스플레이된다.
도 14e에서, 탭 제스처들(1418, 1420)을 검출할 시, 전자 디바이스(600)는, 액세서리 어포던스들이 선택되었다는 시각적 표시를 갖는 액세서리 어포던스들(예컨대, 604A, 604C)을 디스플레이한다. 원하는 액세서리 디바이스들이 선택되었으면, 사용자는 액세서리 디바이스들의 선택을 확인하고, 선택된 액세서리 디바이스들을 장면 프로파일에 대한 한 세트의 액세서리 디바이스들에 추가하기 위해 탭 제스처를 수행한다. 그 결과, 전자 디바이스(600)는 완료 버튼(1426)에서 탭 제스처(1424)를 검출한다.
도 14f에서, 선택된 액세서리 디바이스들을 한 세트의 액세서리 디바이스들에 추가하기 위한 입력(예컨대, 1424)을 검출할 시, 전자 디바이스(600)는 장면 프로파일에 대한 한 세트의 액세서리 디바이스들에 침실 팬 조명 및 복도 온도조절기를 추가한다. 특히, 도 14f에 도시된 바와 같이, 전자 디바이스(600)는, 도 14d에서 선택된 것으로 인해 액세서리 어포던스들(604A, 604C)을 디스플레이하는 것을 포함하는 새로운 장면 사용자 인터페이스(1410)를 디스플레이하는 것으로 반환된다. 액세서리 어포던스들(604A, 604C)은, 장면 프로파일이 트리거(예컨대, 활성화)될 때 각각의 액세서리 디바이스에 대해 일어나는 액션을 표현하는 액션 상태(예컨대, "끄기")를 포함하도록 수정되었다.
일부 실시예들에서, 선택된 액세서리 디바이스들을 한 세트의 액세서리 디바이스들에 추가하기 위한 입력(예컨대, 1424)을 검출할 시, 전자 디바이스(600)는 선택된 액세서리 디바이스들(예컨대, 604A, 604C) 중 하나가 특정 유형의 것인지 여부를 결정한다. 일부 실시예들에서, 액세서리 디바이스가 (예컨대, 스피커를 통해) 사운드를 출력할 수 있는 경우, 액세서리 디바이스는 특정 유형의 것이다. 일부 실시예들에서, 전자 디바이스(600)는 특정 유형의 액세서리 디바이스와 연관된 소정 구성 옵션(들)(예컨대, 도 14h의 1436)을 제공할지 여부를 결정하기 위해 이러한 결정을 수행한다.
도 14f에서, 선택된 액세서리 디바이스들 중 어느 것도 특정 유형의 것이 아니라고 결정할 시, 전자 디바이스(600)는 소정 구성 옵션(들)(예컨대, 도 14h의 1436)을 제공하지 않는다. 도 14g 및 도 14h에 관하여 아래에서 입증된 바와 같이, 사용자가 특정 유형의 액세서리 디바이스(예컨대, 침실 스피커)를 선택하였다면, 전자 디바이스(600)는, 선택된 액세서리 디바이스들을 한 세트의 액세서리 디바이스들에 추가하기 위한 입력(예컨대, 1424)을 검출할 시, 도 14f에서 소정 구성 옵션들을 제공하였을 것이다.
사용자는 장면 프로파일에 대한 한 세트의 액세서리 디바이스들에 특정 유형의 액세서리 디바이스를 추가하기 위한 하나 이상의 입력들을 수행하도록 진행하고, 그에 의해 도 14h에서 소정 구성 옵션들이 제공된다. 도 14f로 다시 돌아가서, 사용자는 장면 프로파일에 대한 한 세트의 액세서리 디바이스들을 편집하기 위한 탭 제스처를 수행한다. 도 14f의 새로운 장면 사용자 인터페이스(1410)를 디스플레이하는 동안, 전자 디바이스(600)는 액세서리들 버튼(1430)에서 탭 제스처(1428)를 검출한다.
도 14g에서, 탭 제스처(1428)를 검출할 시, 전자 디바이스(600)는 액세서리 선택 사용자 인터페이스(1416)를 디스플레이하는 것으로 반환된다. 액세서리 선택 사용자 인터페이스(1416)를 디스플레이하는 동안, 전자 디바이스(600)는 액세서리 어포던스(640D)에서 탭 제스처(1432)를 검출한다. 탭 제스처(1432)를 검출할 시, 액세서리 어포던스가 선택되었다는 시각적 표시를 갖는 액세서리 어포던스(640D)가 디스플레이된다. 원하는 액세서리 디바이스가 선택되었으면, 사용자는 액세서리 디바이스의 선택을 확인하고, 선택된 액세서리 디바이스를 장면 프로파일에 대한 한 세트의 액세서리 디바이스들에 추가하기 위해 탭 제스처를 수행한다. 그 결과, 전자 디바이스(600)는 완료 버튼(1426)에서 탭 제스처(1434)를 검출한다.
도 14h에서, 선택된 액세서리 디바이스들을 한 세트의 액세서리 디바이스들에 추가하기 위한 입력(예컨대, 1434)을 검출할 시, 전자 디바이스(600)는 장면 프로파일에 대한 한 세트의 액세서리 디바이스들에 침실 스피커를 추가한다. 특히, 도 14h에 도시된 바와 같이, 전자 디바이스(600)는, 액세서리 어포던스들(604A, 604C, 604D)을 디스플레이하는 것을 포함하는, 새로운 장면 사용자 인터페이스(1410)를 디스플레이하는 것으로 반환된다. 액세서리 어포던스(604D)는, 장면 프로파일이 트리거(예컨대, 활성화)될 때 각각의 액세서리 디바이스에 대해 일어나는 액션을 표현하는 액션 상태("켜기")를 포함하도록 수정되었다.
위에서 논의된 바와 같이, 일부 실시예들에서, 선택된 액세서리 디바이스들을 한 세트의 액세서리 디바이스들에 추가하기 위한 입력(예컨대, 1424, 1434)을 검출할 시, 전자 디바이스(600)는 선택된 액세서리 디바이스들(예컨대, 604A, 604C, 604D) 중 하나가 특정 유형(예컨대, 사운드를 출력할 수 있는 액세서리 디바이스)의 것인지 여부를 결정한다. 도 14h에서, 선택된 액세서리 디바이스들 중 하나(예컨대, 604D)가 특정 유형의 것이라고 결정할 시, 전자 디바이스(600)는 오디오 옵션 버튼(1436)을 디스플레이하고, 오디오 옵션 버튼(1436)을 사용하여 소정 구성 옵션(들)을 제공하는데, 오디오 옵션 버튼(1436)은, 선택될 때, 특정 유형의 액세서리 디바이스의 능력들과 연관된 옵션들을 구성하기 위한 프로세스를 개시한다.
도 14h에서, 사용자는 침실 스피커에 대한 오디오 옵션들을 구성하기 위한 프로세스를 개시하기 위해 탭 제스처를 수행한다. 그 결과, 전자 디바이스(600)는 오디오 옵션 버튼(1436)에서 탭 제스처(1438)를 검출한다. 도 14i 내지 도 14n은, 아래에서 논의되는 바와 같이, 특정 유형의 액세서리 디바이스와 연관된 다양한 구성 옵션들을 예시한다.
도 14i에서, 탭 제스처(1438)를 검출할 시, 전자 디바이스(600)는 오디오 사용자 인터페이스(1440)를 디스플레이한다. 오디오 사용자 인터페이스(1440)는 재생 옵션들(playback options)(1442A 내지 1442D)을 포함한다. 재생 옵션(1442A)은, 도 14h의 오디오 옵션 버튼(1436) 내의 시각적 표시(예컨대, "오디오 재생(Play Audio)")에 의해 입증되는 바와 같이, 디폴트 옵션이다. 상이한 재생 옵션들은 특정 유형의 액세서리 디바이스(예컨대, 침실 스피커)에 대한 오디오 재생의 상태를 결정한다. 예를 들어, 재생 옵션(1442A)을 선택하는 것은 특정 유형의 액세서리 디바이스 상에서 재생될 오디오 항목(예컨대, 노래, 오디오북, 팟캐스트, 사운드스케이프(soundscape))을 선택하는 능력을 사용자에게 제공한다. 특히, 장면 프로파일에 대해 재생 옵션(1442A)을 선택하는 것은, 장면 프로파일이 트리거(예컨대, 활성화)될 때 선택된 오디오 항목을 재생하도록 특정 유형의 액세서리 디바이스(예컨대, 침실 스피커)를 구성하게 한다. 다른 재생 옵션들이 도 14p 내지 도 14r과 관련하여 아래에서 추가로 논의된다.
특정 유형의 액세서리 디바이스 상에서 재생될 오디오 항목을 선택하기 위해, 사용자는 오디오 선택 버튼(1444)에서 탭 제스처를 수행한다. 그 결과, 오디오 사용자 인터페이스(1440)를 디스플레이하는 동안, 전자 디바이스(600)는 오디오 선택 버튼(1444)에서 탭 제스처(1446)를 검출한다.
도 14j에서, 탭 제스처(1446)를 검출할 시, 전자 디바이스(600)는 오디오 소스 사용자 인터페이스(1448)를 디스플레이한다. 오디오 소스 사용자 인터페이스(1448)는, 사용자에 의해 선택될 오디오 항목들의 상이한 카테고리들을 제공하는, 소스 옵션들(1450A 내지 1450D)을 포함한다. 특히, 소스 옵션(예컨대, 1450A 내지 1450D)의 선택을 검출하는 것은 선택된 소스 옵션의 카테고리에 속하는 오디오 항목을 선택하기 위한 프로세스의 개시를 트리거한다. 예를 들어, 소스 옵션(1450B)의 선택을 검출하는 것은, 사용자가 음악 오디오 파일을 선택하기 위해 내비게이팅할 수 있는 음악 사용자 인터페이스(예컨대, 1451)를 디스플레이하게 한다. 다른 예로서, 소스 옵션(1450D)의 선택을 검출하는 것은, 사용자가 사운드스케이프 오디오 파일을 선택할 수 있는 사운드스케이프 사용자 인터페이스(예컨대, 도 16f의 1630)를 디스플레이하게 한다. 사운드스케이프는 도 18a 내지 도 18g와 관련하여 아래에서 추가로 설명된다. 일부 실시예들에서, 탭 제스처(1446)를 검출할 시, 전자 디바이스(600)는 오디오 소스 사용자 인터페이스(1448)를 디스플레이하지 않고, 그 대신 즉시 음악 사용자 인터페이스(예컨대, 1451)를 디스플레이하도록 진행한다.
사용자는 소스 옵션(1450B)을 선택하기 위한 탭 제스처를 수행한다. 그 결과, 도 14j에서 오디오 소스 사용자 인터페이스(1448)를 디스플레이하는 동안, 전자 디바이스(600)는 소스 옵션(1450B)에서 탭 제스처(1452)를 검출한다.
도 14k에서, 탭 제스처(1452)를 검출할 시, 전자 디바이스(600)는 오디오 소스 사용자 인터페이스(1448)의 디스플레이를 음악 사용자 인터페이스(1451)의 디스플레이로 대체한다. 음악 사용자 인터페이스(1451)는 선택할 오디오 항목(예컨대, 노래, 앨범, 재생 목록)으로 내비게이팅하기 위한 옵션들을 포함한다. 도 14k에서, 사용자는 앨범 항목(1455)을 선택하기 위한 탭 제스처를 수행한다. 그 결과, 전자 디바이스(600)는 앨범 항목(1455)에서 탭 제스처(1453)를 검출한다.
도 14l에서, 탭 제스처(1453)를 검출할 시, 전자 디바이스(600)는 음악 사용자 인터페이스(1451)의 디스플레이를 오디오 사용자 인터페이스(1440)로 대체한다. 도 14i와는 대조적으로, 도 14l의 오디오 사용자 인터페이스(1440)는 사용자에 의해 선택된 오디오 항목(예컨대, DJ Appleseed의 앨범 1(Album 1 by DJ Appleseed))을 표현하는 표현(1460)을 포함한다. 추가로, 오디오 항목이 선택된 것으로 결정할 시, 전자 디바이스(600)는 선택된 오디오 항목에 대한 반복 옵션(1462A) 및 셔플 옵션(1462B)을 디스플레이한다. 도 14i에 나타낸 바와 같이, 오디오 항목이 선택되지 않은 것으로 결정할 시, 전자 디바이스(600)는 반복 옵션(1462A) 및 셔플 옵션(1462B)을 디스플레이하는 것을 보류한다. 다른 이용가능한 오디오 옵션들을 보기 위해, 사용자는 스크롤 제스처를 수행한다. 그 결과, 전자 디바이스(600)는 위로 움직이는 스크롤 제스처(1464)를 검출한다.
도 14m에서, 스크롤 제스처(1464)를 검출할 시, 전자 디바이스(600)는 디스플레이(603) 상에서 음량 옵션들(1466A, 1466B)을 스크롤한다. 장면 프로파일에 대해 음량 옵션(1466A)을 선택하는 것은, 장면 프로파일이 트리거(예컨대, 활성화)될 때, 액세서리 디바이스가 현재 설정된 음량에서 선택된 오디오 항목을 재생하도록 특정 유형의 액세서리 디바이스(예컨대, 침실 스피커)를 구성하게 한다. 대조적으로, 장면 프로파일에 대해 음량 옵션(1466B)을 선택하는 것은, 장면 프로파일이 트리거(예컨대, 활성화)될 때, 사용자에 의해 선택된 맞춤 음량에서 선택된 오디오 항목을 재생하도록 액세서리 디바이스를 구성하게 한다. 사용자는 음량 옵션(1466B)을 선택하기 위한 탭 제스처를 수행한다. 그 결과, 전자 디바이스(600)는 음량 옵션(1466B)에서 탭 제스처(1468)를 검출한다.
도 14n에서, 탭 제스처(1468)를 검출할 시, 전자 디바이스(600)는 음량 옵션(1466B)을 선택하고, 음량 옵션(1466B)이 선택되었다는 시각적 표시를 디스플레이한다. 추가로, 탭 제스처(1468)를 검출할 시, 전자 디바이스(600)는 음량 옵션(1466B) 아래에 음량 제어부(1470A)를 디스플레이한다. 음량 제어부(1470A)는, 사용자가 선택된 오디오 항목이 재생할 맞춤 음량을 선택할 수 있게 한다.
장면 프로파일을 구성하는 것이 완료되었으면, 사용자는 장면 프로파일을 완성하고 대응하는 장면 객체를 홈 사용자 인터페이스(602)에 추가하기 위한 탭 제스처를 수행한다. 그 결과, 전자 디바이스(600)는 완료 버튼(1474)에서 탭 제스처(1472)를 검출한다.
도 14o에서, 탭 제스처(1472)를 검출할 시, 전자 디바이스(600)는 장면 프로파일을 완성하고 장면 객체(1402D)를 홈 사용자 인터페이스(602)에 추가한다. 따라서, 장면 객체(1402D)에 대응하는 장면 프로파일이 (예컨대, 장면 객체(1402D)를 선택함으로써) 활성화될 때, 전자 디바이스(600)는 장면 프로파일의 구성에 따라 하나 이상의 액세서리 디바이스들에 명령어들을 전송한다. 예를 들어, 도 14c 내지 도 14n에서 구성된 장면 프로파일에 기초하여, 장면 객체(1420D)에 대응하는 장면 프로파일을 활성화하는 것은, 침실 스피커가 도 14n에서 설정된 맞춤 음량에서 DJ Appleseed의 앨범 1의 노래를 재생하게 할 것이다.
아래에서 논의되는 바와 같이, 특정 유형의 액세서리 디바이스에 대한 장면 프로파일을 구성하기 위한 다른 옵션들이 이용가능하다. 재생 옵션(1442A)은 도 14i와 관련하여 위에서 논의되었다. 도 14p 내지 도 14r은 다른 이용가능한 재생 옵션들(예컨대, 1442B 내지 1442D)을 예시한다.
도 14p에서, 재생 옵션(1442B)을 선택하는 것은 특정 유형의 액세서리 디바이스에서 발생할 수 있는 임의의 오디오 재생을 일시정지하는 능력을 사용자에게 제공한다. 특히, 장면 프로파일에 대해 재생 옵션(1442A)을 선택하는 것은, 장면 프로파일이 트리거(예컨대, 활성화)될 때 발생할 수 있는 임의의 오디오 재생을 일시정지하도록 특정 유형의 액세서리 디바이스(예컨대, 침실 스피커)를 구성하게 한다. 또한, 재생 옵션(1442B)을 선택하는 것은 소정 옵션들(예컨대, 1444, 1466A 및 1466B)이 디스플레이되는 것을 중지하게 한다.
도 14q에서, 재생 옵션(1442C)을 선택하는 것은 특정 유형의 액세서리 디바이스에서 발생한 임의의 오디오 재생(예컨대, 오디오 재생이 일시정지된 상태에 있음)을 재개하는 능력을 사용자에게 제공한다. 특히, 장면 프로파일에 대해 재생 옵션(1442A)을 선택하는 것은, 장면 프로파일이 트리거(예컨대, 활성화)될 때 오디오 재생을 재개하도록 특정 유형의 액세서리 디바이스(예컨대, 침실 스피커)를 구성하게 한다. 또한, 재생 옵션(1442C)을 선택하는 것은 소정 옵션들(예컨대, 1444)이 디스플레이되는 것을 중지하게 한다.
도 14r에서, 재생 옵션(1442D)을 선택하는 것은 특정 유형의 액세서리 디바이스에서 오디오 재생의 상태를 변경하는 것을 보류하는 능력을 사용자에게 제공한다. 특히, 장면 프로파일에 대해 재생 옵션(1442D)을 선택하는 것은, 장면 프로파일이 트리거(예컨대, 활성화)될 때 오디오 재생의 현재 상태를 계속하도록 특정 유형의 액세서리 디바이스(예컨대, 침실 스피커)를 구성하게 한다. 예를 들어, 장면 프로파일이 트리거될 때, 특정 유형의 액세서리 디바이스가 이미 소정 오디오 파일을 재생하고 있으면, 액세서리 디바이스는 그 동일한 소정 오디오 파일을 계속 재생할 것이다. 또한, 재생 옵션(1442D)을 선택하는 것은 소정 옵션들(예컨대, 1444)이 디스플레이되는 것을 중지하게 한다.
도 14s 및 도 14t는, 특정 유형의 다수의 액세서리 디바이스들이 장면 프로파일에 대한 한 세트의 액세서리 디바이스들에 추가될 때 제공되는 추가적인 옵션들을 예시한다. 도 14s에서, 특정 유형의 다수의 액세서리 디바이스들(예컨대, 604D, 1476B 및 1476C)이 장면 프로파일에 추가되었다. 사용자는 장면 프로파일에 대한 오디오 옵션들을 구성하기 위한 탭 제스처를 수행한다. 그 결과, 전자 디바이스(600)는 오디오 옵션 버튼(1436)에서 탭 제스처(1478)를 검출한다.
도 14t에서, 탭 제스처(1478)를 검출할 시, 전자 디바이스(600)는 오디오 사용자 인터페이스(1440)를 디스플레이한다. 사용자는 특정 유형의 각각의 액세서리 디바이스에 대한 맞춤 음량을 설정하기 위해 음량 옵션(1466B)을 선택한다. 그 결과, 전자 디바이스(600)는 음량 옵션(1466B)에서 탭 제스처(1480)를 검출한다. 탭 제스처(1480)를 검출할 시, 전자 디바이스(600)는 (예컨대, 탭 제스처(1480)를 검출하기 전에는 디스플레이되지 않은) 음량 제어부들(1470B 내지 1470D)을 디스플레이하는데, 여기서 음량 제어부는 특정 유형의 각각의 액세서리 디바이스에 대응한다. 예를 들어, 음량 제어부(1470B)는 침실 스피커에 대응하는 반면, 음량 제어부(1470C)는 식당(dining room) 스피커에 대응한다.
도 15는 일부 실시예들에 따른, 전자 디바이스를 사용하는 방법(1500)을 예시한 흐름도이다. 방법(1500)은 디스플레이 디바이스를 갖는 디바이스(예컨대, 100, 300, 500, 600)에서 수행된다. 방법(1500)의 일부 동작들은 선택적으로 조합되고, 일부 동작들의 순서는 선택적으로 변경되며, 일부 동작들은 선택적으로 생략된다.
아래에서 설명되는 바와 같이, 방법(1500)은 스피커 및 제어가능한 외부 디바이스들의 그룹을 관리하기 위한 직관적인 방식을 제공한다. 본 방법은 제어가능한 외부 디바이스들의 그룹 및 스피커가 어포던스의 탭에서 미리결정된 태스크들을 수행하는, 장면들을 셋업하기 위한 인터페이스들을 제공함으로써 제어가능한 외부 디바이스들의 그룹을 관리하기 위한 사용자에 대한 인지적 부담을 감소시키며, 이에 의해 더 효율적인 인간-기계 인터페이스가 생성된다. 특히, 제어가능한 외부 디바이스들의 그룹이 스피커를 포함하는 경우, 스피커에 특정된 인터페이스들이 디스플레이되는데, 이에 비해, 스피커가 포함되지 않을 때에는, 그 스피커에 특정된 인터페이스들이 디스플레이되지 않는다. 제어가능한 외부 디바이스들의 그룹에 기초하여 관련 인터페이스들만을 도시하는 것은 관련이 없는 설정들을 구성함에 있어서 사용자 오류를 감소시킨다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 사용자가 더 빠르고 더 효율적으로 장면들을 셋업할 수 있게 하고 제어가능한 외부 디바이스들의 그룹을 관리할 수 있게 하는 것은 전자 디바이스에 대한 전력을 절약하고 배터리 충전들 사이의 시간을 증가시킨다.
블록(1502)에서, 전자 디바이스는, 디스플레이 디바이스를 통해, 제1 제어가능한 외부 디바이스(예컨대, 적어도 하나의 제어가능한 기능을 갖는 디바이스(예컨대, 스마트 전구, 스마트 온도조절기, 스마트 스피커))에 대응하는 제1 액세서리 어포던스(예컨대, 604A 내지 604F, 선택가능한 그래픽 타일)(예컨대, 사용자 인터페이스 객체가 표현하는 제어가능한 외부 디바이스의 표시(예컨대, 텍스트, 그래픽 아이콘)를 갖는 사용자 인터페이스 객체)를 디스플레이한다. 일부 실시예들에서, 제어가능한 디바이스는 이러한 전자 디바이스 외부에 있는 전자 디바이스이다. 일부 예들에서, 제어가능한 외부 디바이스는 전자 디바이스를 사용하여 (예컨대, 전자 디바이스를 통해) 구성가능한 하나 이상의 특징부들을 갖는다.
블록(1504)에서, 전자 디바이스는 (예컨대, 제1 장면(예컨대, (예컨대, 특정 위치에서) 하나 이상의 제어가능한 외부 디바이스들의 지정된 상태들에 관한 데이터를 포함하는 장면 프로파일)에 대해 구성된) 제1 세트의 제어가능한 외부 디바이스들에 제1 제어가능한 외부 디바이스를 추가하기 위한 하나 이상의 입력들(예컨대, 1418, 1420, 1432, 제1 액세서리 어포던스에 대응하는 (예컨대, 제1 액세서리 어포던스에 있는/제1 액세서리 어포던스 상의) 위치에서 검출된 사용자 입력)을 검출한다. 일부 실시예들에서, 제1 제어가능한 외부 디바이스는, 전자 디바이스가 제1 액세서리 어포던스의 선택에 대응하는 사용자 제스처를 검출하고 선택을 확인하는 사용자 제스처를 검출할 때 추가된다.
블록(1506)에서, 제1 세트의 제어가능한 외부 디바이스들에 제1 제어가능한 외부 디바이스를 추가하기 위한 하나 이상의 입력들을 검출하는 것에 응답하여, 블록(1508)에서, 전자 디바이스는 제1 제어가능한 외부 디바이스를 포함하도록 제1 세트의 제어가능한 외부 디바이스들을 업데이트한다.
블록(1506)에서, 제1 세트의 제어가능한 외부 디바이스들에 제1 제어가능한 외부 디바이스를 추가하기 위한 하나 이상의 입력들을 검출하는 것에 응답하여, 블록(1510)에서, 제1 제어가능한 외부 디바이스가 제1 유형의 것이라는 (예컨대, 소정의 동작(예컨대, 오디오 파일을 재생, 사운드를 출력)을 수행할 수 있는 디바이스라는) 결정에 따라, 전자 디바이스는 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스(예컨대, 도 14h의 604D) 및 선택될 때, 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 구성 어포던스(예컨대, 도 14h의 1436)를 동시에 디스플레이한다. 일부 실시예들에서, 오디오 설정들을 구성하기 위한 프로세스를 개시하는 것은 재생될 미디어(예컨대, 오디오) 항목을 선택하기 위한 어포던스를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스는 제1 제어가능한 외부 디바이스에 대응하는 제1 액세서리 어포던스와 동일하다. 일부 실시예들에서, 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스는 제1 액세서리 어포던스와 상이하다(예컨대, 제2 액세서리 어포던스는 추가적인 시각적 표시(예컨대, 현재 상태(예컨대, 온/오프))를 가짐).
블록(1506)에서, 제1 세트의 제어가능한 외부 디바이스들에 제1 제어가능한 외부 디바이스를 추가하기 위한 하나 이상의 입력들을 검출하는 것에 응답하여, 블록(1512)에서, 제1 제어가능한 외부 디바이스가 제1 유형의 것이 아니라는 결정에 따라, 전자 디바이스는, 선택될 때, 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 구성 어포던스 없이 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스(예컨대, 도 14f의 604A, 604C)를 디스플레이한다.
일부 실시예들에서, 전자 디바이스는 구성 어포던스의 선택을 검출함으로써, 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시한다. 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 구성 어포던스를 디스플레이하는 것은, 제1 제어가능한 외부 디바이스가 오디오 설정들에 대해 구성될 수 있다는 피드백을 사용자에게 제공한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 예들에서, 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 것의 일부로서, 전자 디바이스는 (오디오 항목의 표현을 동시에 디스플레이하지 않으면서) 오디오 선택 어포던스(예컨대, 오디오 선택 버튼)를 디스플레이한다. 일부 예들에서, 전자 디바이스는 오디오 선택 어포던스(예컨대, 1444)의 선택(예컨대, 1446)을 검출한다. 일부 예들에서, 오디오 선택 어포던스의 선택을 검출하는 것에 응답하여, 전자 디바이스는, 제1 미디어 유형의 오디오 항목으로 내비게이팅하기 위한 하나 이상의 옵션들을 디스플레이하는 것을 포함하는(예컨대, 도 14j 및 도 14k), 제1 제어가능한 외부 디바이스에서 재생될 제1 미디어 유형(예컨대, 음악)의 오디오 항목(예컨대, 앨범, 재생 목록, 노래, 라디오 방송국)을 선택하기 위한 프로세스를 개시한다. 일부 실시예들에서, 오디오 항목을 선택하기 위한 프로세스를 개시하는 것의 일부로서, 전자 디바이스는 음악 사용자 인터페이스를 디스플레이한다. 일부 실시예들에서, 제1 미디어 유형의 오디오 항목을 선택하기 위한 프로세스를 개시하는 것의 일부로서, 전자 디바이스는 제1 미디어 유형의 오디오 항목을 검색하기 위한 검색 바(search bar), 최근에 재생된 항목(예컨대, 앨범, 노래, 재생 목록), 및/또는 선택될 때, 특정 카테고리(예컨대, 아티스트들, 앨범들, 노래들, 재생 목록들, 라디오 방송국들)에 속하는 오디오 항목들의 디스플레이를 트리거하는 어포던스를 디스플레이한다. 일부 실시예들에서, 상이한 오디오 항목이 각각의 제어가능한 외부 디바이스에 대해 선택될 수 있다. 제1 미디어 유형의 오디오 항목으로 내비게이팅하기 위한 하나 이상의 옵션들을 디스플레이하는 것은, 특정 오디오가 제1 제어가능한 외부 디바이스에서의 재생을 위해 선택될 수 있다는 피드백을 사용자에게 제공한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 예들에서, 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 것의 일부로서, 전자 디바이스는 (오디오 항목의 표현을 동시에 디스플레이하지 않으면서) 오디오 선택 어포던스(예컨대, 오디오 선택 버튼)를 디스플레이한다. 일부 예들에서, 전자 디바이스는 오디오 선택 어포던스의 선택을 검출한다. 일부 예들에서, 오디오 선택 어포던스의 선택을 검출하는 것에 응답하여, 전자 디바이스는, 디스플레이 디바이스를 통해, 선택될 때, 제1 미디어 유형(예컨대, 오디오북들, 음악, 팟캐스트들, 사운드스케이프들)의 오디오 항목을 선택하기 위한 프로세스를 개시하는 제1 오디오 카테고리 옵션, 및 선택될 때, 제1 미디어 유형과 상이한 제2 미디어 유형(예컨대, 14J, 오디오북들, 음악, 팟캐스트들, 사운드스케이프들)의 오디오 항목을 선택하기 위한 프로세스를 개시하는 제2 오디오 카테고리 옵션을 동시에 디스플레이한다. 일부 실시예들에서, 제1 오디오 카테고리 옵션 및 제2 오디오 카테고리 옵션은 소스 사용자 인터페이스에 디스플레이된다. 일부 실시예들에서, 소스 사용자 인터페이스에서 음악 옵션을 선택하는 것은 소스 사용자 인터페이스의 디스플레이를 음악 사용자 인터페이스로 대체하게 한다. 일부 실시예들에서, 특정 미디어 유형(예컨대, 제1, 제2)의 오디오 항목을 선택하기 위한 프로세스를 개시하는 것의 일부로서, 전자 디바이스는 제1 오디오 카테고리 옵션 및 제2 오디오 카테고리 옵션의 디스플레이를 특정 미디어 유형(예컨대, 제1, 제2)의 오디오 항목으로 내비게이팅하기 위한 하나 이상의 옵션들로 대체한다. 오디오 옵션들의 다수의 카테고리들을 디스플레이하는 것은, 상이한 오디오 유형들이 제1 제어가능한 외부 디바이스에서의 재생을 위해 선택될 수 있다는 피드백을 사용자에게 제공한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 예들에서, 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 것의 일부로서, 전자 디바이스는 오디오 선택 어포던스(예컨대, 오디오 선택 버튼)를 디스플레이한다. 일부 예들에서, 오디오 선택 어포던스의 선택을 검출한 것에 후속하여, 전자 디바이스는 제1 제어가능한 외부 디바이스에서 재생될 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출한다. 일부 예들에서, 제1 제어가능한 외부 디바이스에서 재생될 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출한 것에 후속하여, 전자 디바이스는, 디스플레이 디바이스를 통해, 오디오 선택 어포던스(예컨대, 도 14l의 1444), 및 제1 제어가능한 외부 디바이스에서 재생되도록 선택된 오디오 항목의 표현(예컨대, 도 14l의 1460, 앨범 아트)을 동시에 디스플레이한다. 일부 실시예들에서, 오디오 항목의 표현은 제1 제어가능한 외부 디바이스에서 재생될 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출하기 전에는 디스플레이되지 않는다. 제1 제어가능한 외부 디바이스에서 재생되도록 선택된 오디오 항목의 표현(예컨대, 앨범 아트)을 디스플레이하는 것은, 어떤 오디오 항목이 재생을 위해 올바르게 선택되었는지에 대한 피드백을 사용자에게 제공한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 예들에서, 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 것의 일부로서, 전자 디바이스는 오디오 선택 어포던스(예컨대, 오디오 선택 버튼)를 디스플레이한다. 일부 예들에서, 오디오 선택 어포던스의 선택을 검출한 것에 후속하여, 전자 디바이스는 제1 제어가능한 외부 디바이스에서 재생될 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출한다. 일부 예들에서, 제1 제어가능한 외부 디바이스에서 재생될 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출한 것에 후속하여, 전자 디바이스는, 디스플레이 디바이스를 통해, 선택될 때, 오디오 항목이 제1 제어가능한 외부 디바이스에서의 재생 동안 반복되는지 여부를 구성하는 반복 어포던스(예컨대, 1462A), 및 선택될 때, 오디오 항목이 제1 제어가능한 외부 디바이스에서 재생되는 순서를 구성하는 셔플 어포던스(예컨대, 1462B)를 동시에 디스플레이한다. 일부 실시예들에서, 반복 어포던스 및 셔플 어포던스는 오디오 선택 어포던스와 동시에 디스플레이된다. 일부 실시예들에서, 반복 어포던스 및 셔플 어포던스는, 제1 제어가능한 외부 디바이스에서 재생될 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출하기 전에는 디스플레이되지 않았다. 반복 어포던스 및 셔플 어포던스를 디스플레이하는 것은, 상이한 유형들의 재생이 제1 제어가능한 외부 디바이스에서 수행될 수 있다는 피드백을 사용자에게 제공한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 예들에서, 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 것의 일부로서, 전자 디바이스는, 제1 오디오 모드 유형이 선택되었다는 결정에 따라, (예컨대, 복수의) 오디오 재생 옵션(예컨대, 오디오 선택 어포던스, 현재 음량, 맞춤 음량, 선택된 시간이 경과한 후에 오디오 재생을 정지하는 옵션, 반복 옵션, 및 셔플 옵션)을 디스플레이한다. 일부 실시예들에서, 제1 오디오 모드 유형은 제1 제어가능한 외부 디바이스에서 선택된 오디오 항목을 재생하기 위한 오디오 모드(예컨대, "오디오 재생")이다. 일부 실시예들에서, 제1 오디오 모드 유형은 선택된 디폴트 옵션이다. 일부 실시예들에서, 제1 오디오 모드 유형에 대응하는 어포던스는 제1 오디오 모드 유형이 선택되었다는 시각적 표시와 함께 디스플레이된다. 일부 실시예들에서, 오디오 선택, 음량, 및 재생 정지 옵션들이 동시에 디스플레이된다.
일부 예들에서, 오디오 재생 옵션을 디스플레이하는 동안, 전자 디바이스는 오디오 모드의 선택을 검출한다. 일부 예들에서, 오디오 모드의 선택을 검출하는 것에 응답하여, 제1 오디오 모드 유형이 선택되었다는 결정에 따라, 전자 디바이스는 오디오 재생 옵션을 계속 디스플레이한다(예컨대, 도 14q). 일부 예들에서, 오디오 모드의 선택을 검출하는 것에 응답하여, 제2 오디오 모드 유형이 선택되었다는 결정에 따라, 오디오 재생 옵션을 디스플레이하는 것이 중지되는데(예컨대, 도 14p), 여기서, 제2 오디오 모드 유형은 제1 오디오 모드 유형과 상이하다. 일부 실시예들에서, 제2 오디오 모드 유형은 제1 제어가능한 외부 디바이스에서 선택된 오디오 항목을 재생하지 않기 위한 오디오 모드(예컨대, 오디오를 일시정지, 오디오를 재개, 재생 중인 것을 변경하지 않음)이다. 예들은 "오디오 선택" 옵션을 제거하거나 또는 음량 옵션들을 제거하는 것을 포함한다.
일부 예들에서, 전자 디바이스는 제1 세트의 제어가능한 외부 디바이스들에 (예컨대, 제2 액세서리 어포던스에 대응하는 (예컨대, 제2 액세서리 어포던스에 있는/제2 액세서리 어포던스 상의) 위치에서 검출된 사용자 입력을 통해) 제2 제어가능한 외부 디바이스를 추가하기 위한 하나 이상의 입력들을 검출한다. 일부 예들에서, 제1 세트의 제어가능한 외부 디바이스들에 제2 제어가능한 외부 디바이스를 추가하기 위한 하나 이상의 입력들을 검출하는 것에 응답하여, 전자 디바이스는 제2 제어가능한 외부 디바이스를 포함하도록 제1 세트의 제어가능한 외부 디바이스들을 업데이트한다.
일부 예들에서, 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 것에 후속하여, 전자 디바이스는 제1 제어가능한 외부 디바이스에서 재생되도록 선택된 오디오 항목(예컨대, 제1 제어가능한 외부 디바이스에서 재생되도록 선택된 오디오 항목)의 재생 음량을 맞춤화하기 위한 사용자 입력을 검출한다. 일부 예들에서, 재생 음량을 맞춤화하기 위한 사용자 입력을 검출하는 것에 응답하여, 제1 세트의 제어가능한 외부 디바이스들이 제1 유형의 단일의 제어가능한 외부 디바이스를 포함한다는 결정에 따라, 전자 디바이스는 제1 제어가능한 외부 디바이스에서의 오디오 항목의 재생 음량을 (예컨대, 드래그 입력을 통해) 조정하기 위한 단일 음량 제어부를 디스플레이(예컨대, 초기에 디스플레이)한다.
일부 예들에서, 재생 음량을 맞춤화하기 위한 사용자 입력을 검출하는 것에 응답하여, 제1 세트의 제어가능한 외부 디바이스들이 제1 유형의 복수의 제어가능한 외부 디바이스들을 포함한다는 결정에 따라, 전자 디바이스는 각각의 제어가능한 외부 디바이스들에서 오디오 항목의 각각의 재생 음량들을 (예컨대, 드래그 입력을 통해) 조정하기 위한 복수의 음량 제어부들을 디스플레이(예컨대, 초기에 디스플레이)한다. 일부 실시예들에서, 선택된 디폴트 옵션은 "현재 음량" 이다. 일부 실시예들에서, 하나의 제어가능한 외부 디바이스가 있는 경우, 전자 디바이스는 제어가능한 외부 디바이스를 식별하는 정보를 디스플레이하는 것을 보류한다. 일부 실시예들에서, 복수의 제어가능한 외부 디바이스들이 있는 경우, 전자 디바이스는 제어가능한 외부 디바이스들 각각을 식별하는 정보를 디스플레이한다. 일부 실시예들에서, 각각의 음량 제어부가 제1 유형의 각각 각자의 제어가능한 외부 디바이스에 대해 디스플레이된다.
방법(1500)(예컨대, 도 15)에 관련하여 전술된 프로세스들의 상세사항들은, 또한, 아래에서/위에서 기술되는 방법들과 유사한 방식으로 적용가능함에 유의한다. 예를 들어, 방법(1500)은 선택적으로 방법(700, 900, 1100)을 참조하여 전술된 다양한 방법들의 특성들 중 하나 이상을 포함한다. 예를 들어, 방법(1500)에서 설명되는 다수의 컴포넌트들을 갖는 제어가능한 외부 디바이스는 방법(700)의 제어가능한 외부 디바이스일 수 있으며, 이는 방법(700)에서 설명되는 인터페이스들을 사용하여 구성되고 액세스될 수 있다. 간결함을 위해, 이러한 상세사항들은 이하에서 반복되지 않는다.
도 16a 내지 도 16f는 일부 실시예들에 따른, 특정 유형의 액세서리 디바이스를 관리하기 위한 애플리케이션의 예시적인 사용자 인터페이스들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 17의 프로세스들을 포함하여 하기에 기술되는 프로세스들을 예시하는 데 사용된다.
도 16a는 디스플레이(603)를 갖는 스마트폰인 전자 디바이스(600)를 나타낸다. 디스플레이(603)는, 전자 디바이스(600)가 사용자 제스처들(예컨대, 탭, 스와이프, 드래그)을 검출할 수 있는 터치 감응형 표면을 포함한다. 일부 실시예들에서, 전자 디바이스(600)는 전자 디바이스(100, 300, 500, 또는 600)이거나, 전자 디바이스(100, 300, 500, 또는 600)의 하나 이상의 특징부들을 포함한다.
도 16a에서, 전자 디바이스(600)는 액세서리 디바이스들을 구성하기 위한 홈 사용자 인터페이스(602)를 디스플레이한다. 홈 사용자 인터페이스(602)는 도 6a 및 도 14a와 관련하여 위에서 추가로 논의된다. 일부 실시예들에서, 액세서리 디바이스는 또한 제어가능한 외부 디바이스로 지칭될 수 있다. 홈 사용자 인터페이스(602)는 각각의 장면 프로파일들을 표현하는 장면 객체들(1402A 내지 1402C)을 포함한다. 일부 실시예들에서, 장면 프로파일은 일정 위치에 있는 하나 이상의 액세서리 디바이스들의 지정된 상태들에 관한 데이터를 포함한다. 일부 실시예들에서, 장면 프로파일은 또한 "장면"으로 지칭될 수 있다. 추가적으로, 홈 사용자 인터페이스(602)는 액세서리 어포던스들(604A 내지 604F)을 포함하며, 여기서 액세서리 어포던스는 액세서리 디바이스를 표현하는 그래픽 타일이다. 예를 들어, 액세서리 어포던스(604D)는 그것의 스피커를 통해 오디오 출력이 가능한 침실 스피커를 표현한다.
도 16a에서, 사용자는 특정 유형의 액세서리 디바이스(예컨대, (예컨대, 스피커를 통해) 사운드를 출력할 수 있는 액세서리 디바이스)를 구성하기 위한 탭 제스처를 수행한다. 그 결과, 홈 사용자 인터페이스(602)를 디스플레이하는 동안, 전자 디바이스(600)는 (예컨대, 침실 스피커를 표현하는) 액세서리 어포던스(604D)에서 탭 제스처(1600)를 검출한다.
도 16b에서, 탭 제스처(1600)를 검출할 시, 전자 디바이스(600)는 홈 사용자 인터페이스(602)의 디스플레이를 스피커 액세서리 인터페이스(1602)의 디스플레이로 대체한다. 전자 디바이스(600)는, 홈 사용자 인터페이스(602) 상에서 선택된 액세서리 디바이스가 특정 유형의 것(예컨대, 사운드를 출력할 수 있는 액세서리 디바이스)일 때 스피커 액세서리 인터페이스(1602)를 디스플레이한다. 스피커 액세서리 인터페이스(1602) 상에서, 전자 디바이스(600)는 재생 제어부들(1604A 내지 1604E) 및 알람 구성 옵션들(예컨대, 1606A 및 1606B, 및 1608)을 동시에 디스플레이한다. 일부 실시예들에서, 선택된 액세서리 디바이스가 특정 유형의 것이 아닌 경우, 전자 디바이스(600)는 재생 제어부들 및 알람 구성 옵션들의 동시 디스플레이를 보류한다. 추가적으로, 스피커 액세서리 인터페이스(1602)는, 선택될 때, 침실 스피커에 대한 추가적인 설정들의 디스플레이를 생성하는 설정 단축키(612)를 포함한다.
재생 제어부들(1604A 내지 1604E)은 침실 스피커에서의 오디오 재생을 제어하기 위한 다양한 옵션들을 제공한다. 재생 제어부(1604A)는 (예컨대, 침실 스피커에 대응하는 명령어를 전송함으로써) 침실 스피커의 음량을 설정하기 위한 조정가능한 슬라이더를 제공한다. 재생 제어부(1604B)는 (예컨대, 침실 스피커에 대응하는 명령어를 전송함으로써) 오디오 파일을 스크러빙(scrubbing)하기 위한 조정가능한 슬라이더를 제공한다. (예컨대, 침실 스피커에 대응하는 명령어를 전송함으로써) 재생 제어부(1604C)의 선택을 검출하는 것은 이전 트랙을 재생하게 하는 반면, 재생 제어부(1604E)의 선택을 검출하는 것은 다음 트랙을 재생하게 한다. 재생 제어부(1604D)의 선택을 검출하는 것은 (예컨대, 침실 스피커에 대응하는 명령어를 전송함으로써) 오디오 재생이 일시정지 상태에 있는 경우, 오디오 재생을 시작시키거나, 또는 대안적으로, 오디오 재생이 재생 상태에 있는 경우, 오디오 재생을 일시정지시킨다.
위에서 논의된 바와 같이, 스피커 액세서리 인터페이스(1602)는 또한 알람 구성 옵션들(예컨대, 1606A 및 1606B, 및 1608)을 포함한다. 예를 들어, 전자 디바이스(600)는 현재 설정된 알람의 설정들을 편집하기 위한 알람 편집 버튼들(1606A, 1606B)을 디스플레이한다. 추가적으로, 전자 디바이스는 새로운 알람을 설정하기 위한 새로운 알람 버튼(1608)을 디스플레이한다. 도 16b에서, 사용자는 새로운 알람을 설정하기 위한 탭 제스처를 수행한다. 그 결과, 전자 디바이스(600)는 새로운 알람 버튼(1608)에서 탭 제스처(1610)를 검출한다.
도 16c에서, 탭 제스처(1610)를 검출할 시, 전자 디바이스(600)는 스피커 액세서리 인터페이스(1602)의 디스플레이를 알람을 구성 및 설정하기 위한 알람 사용자 인터페이스(1612)의 디스플레이로 대체한다. 알람 사용자 인터페이스는 알람을 설정할 시간을 선택하기 위한 시간 제어부들(1614)을 포함한다. 일부 실시예들에서, 새로운 알람이 설정 중에 있는 것으로 결정할 시, 전자 디바이스(600)는 시간 제어부들(1614)을 현재 시간(예컨대, 10:09 a.m.)으로 설정한다. 도 16c에 나타낸 바와 같이, 전자 디바이스(600)는 알람에 대한 시간을 12:09 p.m.으로 설정하였다. 일부 실시예들에서, 전자 디바이스(600)는 알람에 대해 시간을 설정하라는 요청에 대응하는 하나 이상의 입력들을 시간 제어부들(1614)에서 검출하는 것에 응답하여 시간을 설정한다. 일부 실시예들에서, 현재 설정된 알람이 편집 중에 있는 것으로 결정할 시, 전자 디바이스(600)는 시간 제어부들(1614)을, 현재 설정된 알람이 설정되었던 시간으로 설정한다. 예를 들어, 대신에 탭 제스처(1610)가 알람 편집 버튼(1606A)에서 검출된 경우, 전자 디바이스(600)는 알람 편집 버튼(1606A)과 연관된 시간(예컨대, 6:00 a.m.)으로 설정된 시간 제어부들(1614)을 갖는 사용자 인터페이스(1612)를 디스플레이한다.
도 16c에 도시된 바와 같이, 알람 사용자 인터페이스(1612)는 또한 사운드 옵션들(1616A, 1616B)을 포함한다. 사운드 옵션(1616A)은, 선택될 때, 톤 버튼(1618)을 디스플레이하게 하는 사용자 인터페이스 객체이다. 사운드 옵션(1616B)은, 선택될 때, 오디오 선택 버튼(1444)을 디스플레이하게 하는 사용자 인터페이스 객체이다. 추가적으로, 알람 사용자 인터페이스(1612)는 도 14m 및 도 14n과 관련하여 위에서 논의된 바와 같은 음량 옵션들(1466A, 1466B), 및 스누즈 옵션(snooze option)(1620)을 포함한다. 스누즈 옵션(1620)의 선택을 검출하는 것은, 음성 입력을 통해, 액세서리 디바이스(예컨대, 침실 스피커) 상에서 울리는 알람을 스누즈하는 능력을 인에이블 또는 디스에이블하게 한다. 일부 실시예들에서, 사용자는 음성 입력을 통해 액세서리 디바이스 상에서의 알람을 스누즈할 수 있다(예컨대, "안녕 스피커, 알람을 스누즈해줘(Hey Speaker, snooze the alarm)").
일부 실시예들에서, 톤 버튼(1618)의 선택을 검출하는 것은 톤을 선택하기 위한 프로세스를 개시한다. 예를 들어, 전자 디바이스(600)는 알람이 울릴 때 재생할 선택가능한 톤들의 목록을 디스플레이한다. 일부 실시예들에서, 톤 버튼(1618)을 디스플레이하는 대신에, 전자 디바이스(600)는 사운드 옵션(1616A)의 선택을 검출할 시, 선택가능한 톤들의 목록을 즉시 디스플레이한다. 일부 실시예들에서, 톤은 고정된 시간(예컨대, 15, 30, 45초) 미만인 오디오 파일의 큐레이트(curate)된 버전이다.
도 16c에 알람 사용자 인터페이스(1612)가 디스플레이되어 있는 동안, 사용자는 미디어 항목(예컨대, 오디오북, 음악, 팟캐스트, 사운드스케이프)을 선택하기 위한 프로세스를 개시하기 위한 하나 이상의 사용자 입력들을 수행한다. 그 결과, 전자 디바이스(600)는 사운드 옵션(1616B)에서 탭 제스처(1622)를 검출한다.
도 16d에서, 탭 제스처(1622)를 검출할 시, 전자 디바이스(600)는 미디어 선택 버튼(1624)을 디스플레이한다. 일부 실시예들에서, 미디어 선택 버튼(1624)은 오디오 선택 버튼(1444)으로 대체된다. 액세서리 디바이스의 알람을 위한 오디오 항목을 선택하기 위해, 사용자는 미디어 선택 버튼(1624)에서 탭 제스처를 수행한다. 그 결과, 알람 사용자 인터페이스(1612)를 디스플레이하는 동안, 전자 디바이스(600)는 미디어 선택 버튼(1624)에서 탭 제스처(1626)를 검출한다.
도 16e에서, 탭 제스처(1626)를 검출할 시, 전자 디바이스(600)는 오디오 소스 사용자 인터페이스(1448)를 디스플레이한다. 도 14j와 관련하여 위에서 논의된 바와 같이, 오디오 소스 사용자 인터페이스(1448)는, 사용자에 의해 선택될 오디오 항목들의 상이한 카테고리들을 제공하는, 소스 옵션들(1450A 내지 1450D)을 포함한다. 특히, 소스 옵션(예컨대, 1450A 내지 1450D)의 선택을 검출하는 것은 선택된 소스 옵션의 카테고리에 속하는 오디오 항목을 선택하기 위한 프로세스의 개시를 트리거한다. 예를 들어, 소스 옵션(1450B)의 선택을 검출하는 것은, 사용자가 오디오 항목(예컨대, 재생 목록, 노래, 앨범)을 선택하도록 내비게이팅할 수 있는 음악 사용자 인터페이스(예컨대, 도 14k의 1451)를 디스플레이하게 한다. 다른 예로서, 소스 옵션(1450D)의 선택을 검출하는 것은, 사용자가 사운드스케이프 항목(예컨대, 오디오 파일 또는 오디오 파일들의 컬렉션)을 선택할 수 있는 사운드스케이프 사용자 인터페이스(예컨대, 1630)를 디스플레이하게 한다. 사운드스케이프들이 도 18a 내지 도 18g와 관련하여 아래에서 추가로 설명된다는 것에 유의한다. 일부 실시예들에서, 탭 제스처(1626)를 검출할 시, 전자 디바이스(600)는 오디오 소스 사용자 인터페이스(1448)를 디스플레이하지 않고, 그 대신 즉시 도 16f의 사운드스케이프 사용자 인터페이스(1630)를 디스플레이하도록 진행한다.
도 16e에 도시된 바와 같이, 사용자는 사운드스케이프 항목을 선택하기 위한 프로세스를 개시하기 위한 탭 제스처를 수행한다. 그 결과, 전자 디바이스(600)는 소스 옵션(1450D)에서 탭 제스처(1628)를 검출한다.
도 16f에서, 탭 제스처(1628)를 검출할 시, 전자 디바이스(600)는 오디오 소스 사용자 인터페이스(1448)의 디스플레이를, 사운드케이프 항목을 선택하기 위한 어포던스들(예컨대, 1634A 내지 1634E)을 포함하는 사운드스케이프 사용자 인터페이스(1630)로 대체한다. 사용자는 숲(FOREST) 사운드스케이프를 선택하기 위한 탭 제스처를 수행한다. 그 결과, 전자 디바이스(600)는 어포던스(1634A)에서 탭 제스처(1632)를 검출한다.
도 16g에서, 탭 제스처(1632)를 검출할 시, 전자 디바이스(600)는 사운드스케이프 사용자 인터페이스(1630)의 디스플레이를 알람 사용자 인터페이스(1612)의 디스플레이로 대체한다. 미디어 항목(예컨대, 숲 사운드스케이프)이 선택되었기 때문에, 알람 사용자 인터페이스(1612)는 이제 사용자에 의해 선택된 미디어 항목(예컨대, 숲 사운드스케이프)을 표현하는 표현(1636)을 포함한다.
일부 실시예들에서, 위에서 논의된 사용자 인터페이스들에서 검출된 입력을 통해 알람을 구성한 후에, 전자 디바이스(600)는 알람의 구성에 따라 명령어들을 액세서리 디바이스(예컨대, 침실 스피커)에 전송한다. 예를 들어, 명령어들은 알람이 울리는 시간, 알람이 울릴 때 재생되는 오디오 파일(예컨대, 톤 또는 미디어, 오디오 파일로의 링크), 스누즈하는 능력이 인에이블되어 있는지 또는 디스에이블되어 있는지의 여부, 음량 레벨(예컨대, 현재 또는 맞춤), 또는 이들의 조합을 포함할 수 있다.
도 17은 일부 실시예들에 따른, 전자 디바이스를 사용하는 방법(1700)을 예시한 흐름도이다. 방법(1700)은 디스플레이 디바이스를 갖는 디바이스(예컨대, 100, 300, 500, 600)에서 수행된다. 방법(1700)의 일부 동작들은 선택적으로 조합되고, 일부 동작들의 순서는 선택적으로 변경되며, 일부 동작들은 선택적으로 생략된다.
이하에서 기술되는 바와 같이, 방법(1700)은 스피커를 관리하기 위한 직관적인 방식을 제공한다. 본 방법은, 스피커를 구성하기 위한 어포던스들을 하나의 사용자 인터페이스에 디스플레이함으로써 스피커를 관리하기 위한, 사용자에 대한 인지적 부담을 감소시키며, 이에 의해 더 효율적인 인간-기계 인터페이스가 생성된다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 사용자가 하나의 사용자 인터페이스로부터 스피커를 효율적으로 관리할 수 있게 하는 것은 더 효율적인 사용자 인터페이스를 제공하고, 더 효율적으로 전력을 절약하고, 이는 배터리 충전들 사이의 시간을 증가시킨다.
블록(1702)에서, 전자 디바이스는, 디스플레이 디바이스를 통해, 미디어 항목(예컨대, 오디오 파일, 노래, 오디오북, 팟캐스트) 상에서 재생 기능(예컨대, 재생, 일시정지, 다음, 이전)을 수행하기 위한 한 세트의 하나 이상의 재생 제어부들(예컨대, 1406A 내지 1406E, 선택될 때, 오디오 재생에 대응하는 변경이 일어나게 하는(예컨대, 다음 버튼을 탭핑하면 다음 노래/미디어 항목이 재생되고, 일시정지 버튼을 탭핑하면 노래/미디어 항목이 재생을 정지함) 사용자 인터페이스 객체) 및 알람 구성 어포던스(예컨대, 도 16b의 1608, 선택될 때, 알람을 구성하기 위한 프로세스(예컨대, 현재 알람의 설정을 편집하는 것, 새로운 알람을 추가하는 것)를 개시하는 사용자 인터페이스 객체)를 동시에 디스플레이한다. 일부 실시예들에서, 한 세트의 하나 이상의 재생 제어부들 및 알람 구성 어포던스는 액세서리 제어 사용자 인터페이스에 디스플레이된다.
블록(1704)에서, 전자 디바이스는 사용자 입력(예컨대, 1610, 음성 입력, 사용자 제스처(예컨대, 탭 제스처))을 검출한다.
블록(1706)에서, 사용자 입력을 검출하는 것에 응답하여, 블록(1708)에서, 검출된 사용자 입력이 한 세트의 하나 이상의 재생 제어부들 중 하나의 재생 제어부의 선택에 대응한다는 결정에 따라, 전자 디바이스는 선택된 재생 제어부에 기초하여 제어가능한 외부 디바이스(예컨대, 전술된 바와 같은 제1 제어가능한 외부 디바이스와 동일한 것)에서 재생 기능(예컨대, 재생, 일시정지, 다음, 이전)을 수행하기 위한 프로세스를 개시한다. 일부 실시예들에서, 제어가능한 외부 디바이스에서 재생 기능을 수행하기 위한 프로세스는, 한 세트의 하나 이상의 재생 제어부들 및 알람 구성 어포던스를 계속 동시에 디스플레이하면서, 개시된다.
블록(1706)에서, 사용자 입력을 검출하는 것에 응답하여, 블록(1710)에서, 검출된 사용자 입력이 알람 구성 어포던스(예컨대, 1608)의 선택에 대응한다는 결정에 따라, 전자 디바이스는 한 세트의 하나 이상의 재생 제어부들 및 알람 구성 어포던스의 동시 디스플레이를, (예컨대, 제어가능한 외부 디바이스에서) 제1 알람에 대한 시간을 설정하기 위한 한 세트의 시간 어포던스들(예컨대, 1614, 시간 휠)로 대체한다. 일부 실시예들에서, 한 세트의 시간 어포던스들은 알람 구성 사용자 인터페이스에 디스플레이된다. 일부 실시예들에서, 알람 구성 사용자 인터페이스는 액세서리 제어 사용자 인터페이스의 디스플레이를 대체한다. 일부 실시예들에서, 제2 알람 구성 어포던스는 알람 구성 어포던스와 동시에 디스플레이된다. 일부 실시예들에서, 검출된 사용자 입력이 제2 알람 구성 어포던스의 선택에 대응한다는 결정에 따라, 전자 디바이스는 한 세트의 하나 이상의 재생 제어부들 및 알람 구성 어포던스의 동시 디스플레이를, 제1 알람과 상이한 제2 알람에 대한 시간을 설정하기 위한 한 세트의 시간 어포던스들로 대체한다. 재생 제어부들 및 알람 구성 어포던스를 동시에 디스플레이하는 것은, 재생 기능들이 제어가능한 외부 디바이스에서 수행될 수 있고 알람이 제어가능한 외부 디바이스에 대해 구성될 수 있다는 피드백을 사용자에게 제공한다. 사용자에게 개선된 시각적 피드백을 제공하고 동일한 사용자 인터페이스에 제어부들 및 알람 어포던스들을 디스플레이하는 것은 (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 검출된 사용자 입력이 알람 구성 어포던스의 선택에 대응한다는 결정에 따라, 전자 디바이스는, 제1 알람에 대한 시간을 설정하기 위한 한 세트의 시간 어포던스들(예컨대, 1614)과 함께, 제1(예컨대, 1616A, 톤들) 옵션 및 제2(예컨대, 1616B, 미디어) 옵션을 포함하는 복수의 알람 사운드 옵션들을 동시에 디스플레이한다. 일부 실시예들에서, 검출된 사용자 입력이 알람 구성 어포던스의 선택에 대응한다는 결정에 따라, 전자 디바이스는 복수의 알람 사운드 옵션들 중 하나에 대응하는 제2 사용자 입력(예컨대, 1622)을 검출한다. 일부 실시예들에서, 검출된 사용자 입력이 알람 구성 어포던스의 선택에 대응한다는 결정에 따라, 복수의 알람 사운드 옵션들 중 하나에 대응하는 제2 사용자 입력을 검출하는 것에 응답하여, 제2 사용자 입력이 제1 옵션의 선택에 대응한다는 결정에 따라, 전자 디바이스는 제1 알람에 대해 제1 미디어 유형(예컨대, 톤들)의 미디어 항목을 선택하기 위한 프로세스를 개시한다(예컨대, 선택가능한 톤들의 드롭 다운 목록을 디스플레이함, 한 세트의 시간 어포던스 및 복수의 알람 사운드 옵션들의 동시 디스플레이를 선택가능한 톤들의 목록으로 대체함). 일부 실시예들에서, 검출된 사용자 입력이 알람 구성 어포던스의 선택에 대응한다는 결정에 따라, 복수의 알람 사운드 옵션들 중 하나에 대응하는 제2 사용자 입력을 검출하는 것에 응답하여, 제2 사용자 입력이 제2 옵션의 선택에 대응한다는 결정에 따라, 전자 디바이스는 제1 알람에 대해 제2 미디어 유형(예컨대, 노래, 앨범, 재생 목록)의 미디어 항목을 선택하기 위한 프로세스를 개시한다(예컨대, 선택가능한 미디어 항목들의 드롭 다운 목록을 디스플레이함, 한 세트의 시간 어포던스 및 복수의 알람 사운드 옵션들의 동시 디스플레이를 사용자에 의해 선택될 미디어 항목으로 내비게이팅하기 위한 하나 이상의 옵션들로 대체함(예컨대, 소스 사용자 인터페이스 또는 음악 사용자 인터페이스를 디스플레이함)). 일부 실시예들에서, 제1 미디어 유형의 미디어 항목들은 제1 소스로부터 파퓰레이트(populate)되고/제1 데이터베이스에 저장된다. 일부 실시예들에서, 제2 미디어 유형의 미디어 항목들은 제2 소스로부터 파퓰레이트되고/제2 데이터베이스에 저장된다. 제1(예컨대, 톤들) 옵션 및 제2(예컨대, 미디어) 옵션을 동시에 디스플레이하는 것은, 제어가능한 외부 디바이스에 대한 알람을 위해 상이한 유형들의 오디오가 선택될 수 있다는 피드백을 사용자에게 제공한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 알람에 대해 제1 미디어 유형의 미디어 항목을 선택하기 위한 프로세스를 개시하는 것의 일부로서, 전자 디바이스는 한 세트의 시간 어포던스들 및 복수의 알람 사운드 옵션들의 동시 디스플레이를 제1 미디어 유형의 복수의 선택가능한 미디어 항목들의 디스플레이로 대체한다. 일부 실시예들에서, 제1 미디어 유형의 복수의 선택가능한 미디어 항목들은 현재 사용자 인터페이스 상의 드롭 다운 목록에 도시된다. 일부 실시예들에서, 제1 미디어 유형의 미디어 항목은 고정된 시간(예컨대, 15, 30, 45초) 미만인 오디오 파일(예컨대, 톤)의 큐레이트된 버전이다.
일부 실시예들에서, 제1 알람에 대해 제2 미디어 유형의 미디어 항목을 선택하기 위한 프로세스를 개시하는 것의 일부로서, 전자 디바이스는 한 세트의 시간 어포던스들 및 복수의 알람 사운드 옵션들의 동시 디스플레이를 (예컨대, 사용자에 의해 선택될) 제2 미디어 유형의 미디어 항목으로 내비게이팅하기 위한 하나 이상의 옵션들(예컨대, 1624)의 디스플레이로 대체한다. 일부 실시예들에서, 하나 이상의 옵션들은 음악 사용자 인터페이스의 일부로서 또는 소스 사용자 인터페이스의 일부로서 디스플레이된다. 일부 실시예들에서, 전자 디바이스는 알람이 울릴 때 제어가능한 외부 디바이스에서 재생되는 제2 미디어 유형(예컨대, 노래)의 미디어 항목의 선택에 대응하는 하나 이상의 입력들을 검출하는데, 여기서, 제2 미디어 유형의 미디어 항목은 한 세트의 하나 이상의 재생 제어부들을 통해 제어될 수 있는 것과 동일한 미디어 항목이다. 달리 말하면, 사용자는 한 세트의 하나 이상의 재생 제어부들을 사용하여 현재 재생 중인 노래의 음량을 변경할 수 있는 한편, 또한 알람이 설정된 시간에 동일한 노래를 재생하도록 알람을 구성할 수 있다. 제2 미디어 유형의 미디어 항목으로 내비게이팅하기 위한 옵션들의 디스플레이는 원하는 미디어 항목을 효율적으로 찾아내기 위한 인터페이스를 사용자에게 제공하여, 요구되는 입력들의 수를 감소시킨다. 동작을 수행하기 위해 필요한 입력들의 수를 감소시키는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 알람 구성 어포던스가 (예컨대, 새로운 알람을 추가하기 위한) 제1 유형의 것이라는 결정에 따라, 제1 알람에 대한 시간을 (예컨대, 제어가능한 외부 디바이스에서) 설정하기 위한 한 세트의 시간 어포던스들(예컨대, 시간 휠)은 (예컨대, 현재 시간의 시각적 표시를 일어나게 하는 사용자 입력의 개입 없이) 제1 알람에 대한 시간 동안 현재 시간의 시각적 표시를 초기에 포함한다. 일부 실시예들에서, 알람 구성 어포던스가 제1 유형과 상이한 (예컨대, 현재(예컨대, 이미 설정된) 알람을 변경/편집하기 위한) 제2 유형의 것이라는 결정에 따라, 제1 알람에 대한 시간을 (예컨대, 제어가능한 외부 디바이스에서) 설정하기 위한 한 세트의 시간 어포던스들(예컨대, 시간 휠)은 (예컨대, 시간의 시각적 표시를 일어나게 하는 사용자 입력의 개입 없이) 제1 알람이 이전에 설정되었던 시간의 시각적 표시를 초기에 포함한다.
일부 실시예들에서, 전자 디바이스는 제어가능한 외부 디바이스에서 제1 알람을 설정(예컨대, 저장, 구성)하기 위한 하나 이상의 사용자 입력들을 검출한다. 일부 실시예들에서, 제어가능한 외부 디바이스에서 제1 알람을 설정하기 위한 하나 이상의 입력들을 검출하는 것에 응답하여, 전자 디바이스는 (예컨대, 제1 알람이 설정된 시간에, 제1 알람에 대해 선택된 톤 또는 미디어 항목을 재생하면서) 알람을 울리도록 제어가능한 외부 디바이스를 구성하기 위한 프로세스를 개시한다. 일부 실시예들에서, 프로세스를 개시하는 것은 제1 알람이 설정된 시간에 알람을 울리도록 제어가능한 외부 디바이스를 구성하기 위한 명령어들을 전송하는 것을 포함한다.
일부 실시예들에서, 검출된 사용자 입력이 알람 구성 어포던스의 선택에 대응한다는 결정에 따라, 전자 디바이스는 제1 알람에 대한 시간을 설정하기 위한 한 세트의 시간 어포던스들(예컨대, 1614, 시간 휠)과 함께, 제어가능한 외부 디바이스에서 울리는 제1 알람의 음량을 구성하기 위한 하나 이상의 음량 옵션들(예컨대, 1466A 및 1466B, "현재" 버튼, "맞춤" 버튼)을 동시에 디스플레이한다.
일부 실시예들에서, 제어가능한 외부 디바이스에서 울리는 알람의 음량을 구성하기 위한 하나 이상의 음량 옵션들을 디스플레이하면서, 전자 디바이스는 (예컨대, 디스플레이된 음량 옵션들 중 하나(예컨대, "맞춤" 버튼)의 선택을 통해) 제1 알람의 음량을 맞춤화하기 위한 사용자 입력을 검출한다. 일부 실시예들에서, 제1 알람의 음량을 맞춤화하기 위한 사용자 입력을 검출하는 것에 응답하여, 전자 디바이스는 제어가능한 외부 디바이스에서 울리는 제1 알람의 음량을 (예컨대, 드래그 입력을 통해) 조정하기 위한 음량 제어부를 디스플레이(예컨대, 초기에 디스플레이)한다. 일부 실시예들에서, 음량 제어부는, 알람의 음량을 맞춤화하기 위한 사용자 입력을 검출하기 전에는 디스플레이되지 않았다. 일부 실시예들에서, 전자 디바이스는 제어가능한 외부 디바이스에서 제1 알람을 설정(예컨대, 저장, 구성)하기 위한 하나 이상의 사용자 입력들을 검출한다. 일부 실시예들에서, 제어가능한 외부 디바이스에서 제1 알람을 설정하기 위한 하나 이상의 입력들을 검출하는 것에 응답하여, 전자 디바이스는 음량 제어부를 통해 설정된 음량에서 알람을 울리도록 제어가능한 외부 디바이스를 구성하기 위한 프로세스를 개시한다. 일부 실시예들에서, 프로세스를 개시하는 것은 음량 제어부를 통해 설정된 음량에서 알람을 울리도록 제어가능한 외부 디바이스를 구성하기 위한 명령어들을 전송하는 것을 포함한다.
일부 실시예들에서, 검출된 사용자 입력이 알람 구성 어포던스의 선택에 대응한다는 결정에 따라, 전자 디바이스는, 제1 알람에 대한 시간을 설정하기 위한 한 세트의 시간 어포던스들(예컨대, 시간 휠)과 함께, 제어가능한 외부 디바이스에서 스누즈 옵션을 가능하게 하기 위한 스누즈 어포던스(예컨대, 1620)를 동시에 디스플레이한다. 일부 실시예들에서, 검출된 사용자 입력이 알람 구성 어포던스의 선택에 대응한다는 결정에 따라, 전자 디바이스는 스누즈 옵션을 인에이블하기 위한 스누즈 어포던스(예컨대, 1620)의 선택을 검출한다. 일부 실시예들에서, 검출된 사용자 입력이 알람 구성 어포던스의 선택에 대응한다는 결정에 따라, 전자 디바이스는 제어가능한 외부 디바이스에서 제1 알람을 설정(예컨대, 저장, 구성)하기 위한 하나 이상의 사용자 입력들을 검출한다. 일부 실시예들에서, 검출된 사용자 입력이 알람 구성 어포던스의 선택에 대응한다는 결정에 따라, 제어가능한 외부 디바이스에서 제1 알람을 설정하기 위한 하나 이상의 입력들을 검출하는 것에 응답하여, 그리고 스누즈 옵션이 인에이블되었다는 결정에 따라, 전자 디바이스는 소정 기준들을 만족하는 음성 입력(예컨대, "안녕 스피커, 알람을 스누즈해줘"와 같은 구절에 대응하는 것으로 결정된 음성 입력)을 검출하는 것에 응답하여, 제어가능한 외부 디바이스에서 울리는 제1 알람을 일시적으로 디스에이블하도록 제어가능한 외부 디바이스를 구성하기 위한 프로세스를 개시한다.
일부 실시예들에서, 프로세스를 개시하는 것은 소정 기준들을 만족하는 음성 입력을 검출하는 것에 응답하여, 울리는 알람을 일시적으로 디스에이블할 수 있도록 제어가능한 외부 디바이스를 구성하기 위한 명령어들을 제어가능한 외부 디바이스에 전송하는 것을 포함한다.
방법(1700)(예컨대, 도 17)에 관련하여 전술된 프로세스들의 상세사항들은, 또한, 아래에서/위에서 기술되는 방법들과 유사한 방식으로 적용가능함에 유의한다. 예를 들어, 방법(1700)은 선택적으로 방법(700, 900, 1100, 1500)을 참조하여 전술된 다양한 방법들의 특성들 중 하나 이상을 포함한다. 예를 들어, 방법(1700)에서 설명되는 다수의 컴포넌트들을 갖는 제어가능한 외부 디바이스는 방법(700)의 제어가능한 외부 디바이스일 수 있으며, 이는 방법(700)에서 설명되는 인터페이스들을 사용하여 구성되고 액세스될 수 있다. 간결함을 위해, 이러한 상세사항들은 이하에서 반복되지 않는다.
도 18a 내지 도 18g는 일부 실시예들에 따른, 디지털 어시스턴트에게 일반 사운드들을 재생하라고 요청하기 위해 음성 커맨드들을 사용하는 것에 대한 예시적인 사용자 인터페이스들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 19의 프로세스들을 포함하여 하기에 기술되는 프로세스들을 예시하는 데 사용된다.
도 18a에서, 디바이스(600)는 디지털 어시스턴트를 활성화하기 위한 음성 커맨드(1850A)(예컨대, "안녕 어시스턴트(Hey Assistant)")를 수신한다. 디지털 어시스턴트가 활성화되면, 디바이스(600)는, 디지털 어시스턴트가 이용가능하다는 것을 나타내는 표시(1810)(예컨대, 텍스트)를 디스플레이(603) 상에 디스플레이한다.
도 18b 및 도 18c는, 디지털 어시스턴트에게 일정 유형의 미디어 항목(예컨대, 진정 사운드(soothing sound)들)을 재생하라고 요청하는 음성 커맨드(예컨대, 1850B)를 수신하는 디바이스(600)를 예시한다. 이에 응답하여, 디바이스(600) 상의 디지털 어시스턴트는 요청된 유형의 특정 항목(예컨대, 숲 사운드들)을 재생하고, 또한, 대안적인 옵션들로서 요청된 유형의 다른 미디어 항목들(예컨대, 1830A 내지 1830C)의 목록을 제공한다.
도 18b에서, 디바이스(600)는 "진정 사운드들을 재생해줘(Play soothing sounds)"라는 음성 커맨드(1850B)를 수신한다. 음성 커맨드(1850B)를 수신하는 것에 응답하여, 디바이스(600)는 디스플레이(603) 상에 음성 커맨드(1850B)의 표현(1820A)을 디스플레이한다. 일부 실시예들에서, 디바이스(600)는, 디지털 어시스턴트가 활성화되는 동안, 디지털 어시스턴트로부터 수신된 음성 커맨드들 및 응답들의 트랜스크립트(transcript)(1820A 내지 1820C)를 디스플레이(603) 상에 디스플레이한다. 디바이스(600)가 음성 커맨드(1850B)를 수신하는 것에 응답하여, 디바이스(600)는 도 18b에 예시된 바와 같이, 요청된 유형의 특정 항목(예컨대, 숲 사운드들)을 재생한다. 일부 실시예들에서, 진정 사운드는 기기 또는 음성 오디오 요소들을 포함하지 않는다(예컨대, 사운드는 자연의 사운드이며, 인공적인 사운드가 아님). 일부 실시예들에서, 진정 사운드는 생성된 백색 잡음을 포함한다. 디바이스(600)는, 숲의 진정 사운드가 재생 중임을 나타내는, 디지털 어시스턴트로부터의 음성 커맨드(1850B)에 대한 응답의 표현(1820B)을 디스플레이(603) 상에 디스플레이한다(그리고 선택적으로 대응하는 오디오 응답을 재생한다). 디바이스(600)는 또한 동일한 유형의 다른 이용가능한 사운드들이 있다는 것을 나타내는 표현(1820C)을 디스플레이한다. 사운드 목록(1830)은 요청된 유형과 동일한 유형의 것(예컨대, 진정 사운드들)인 다른 사운드 항목들의 목록을 포함한다. 일부 실시예들에서, 디바이스(600)는 요청된 유형의 사운드들의 목록에 현재 재생되고 있는 진정 사운드(예컨대, 숲 사운드들)를 디스플레이한다. 디바이스(600)는 각각 바다(Ocean), 도시(City), 및 바람(Wind)의 진정 사운드들에 대응하는 사운드 어포던스들(1830A 내지 1830C)을 디스플레이한다. 사용자는 대응하는 사운드를 재생하기 위해 사운드 어포던스들(1830A 내지 1830C) 중 임의의 것을 선택할 수 있다. 일부 실시예들에서, 디바이스(600)는 디지털 어시스턴트에 의해 제공된 응답들의 디스플레이된 트랜스크립트에 대응하는 오디오 응답을 재생한다. 일부 실시예들에서, 디바이스(600)는 추가적인 진정 사운드들(예컨대, 바다, 도시, 및 바람)의 목록을 특정하는 오디오 목록을 재생한다.
일부 실시예들에서, 디바이스(600)는 진정 사운드를 재생하라는 추가적인 음성 커맨드를 수신한다. 추가적인 음성 커맨드를 수신하는 것에 응답하여, 디바이스(600)는 이전에 재생되었던 것과 동일한 진정 사운드(예컨대, 숲 사운드) 또는 상이한 진정 사운드(예컨대, 바다 사운드)일 수 있는 제2 진정 사운드를 재생한다. 일부 실시예들에서, 디바이스(600)가 진정 사운드를 재생하라는 음성 커맨드를 미리결정된 제1 횟수(예컨대, 3회 내지 5회) 미만으로 수신하였다고 디바이스(600)가 결정할 때, 디바이스(600)는 도 18b에 예시된 바와 같이 진정 사운드 어포던스들(1830A 내지 1830C)을 디스플레이한다. 일부 실시예들에서, 디바이스(600)가 진정 사운드를 재생하라는 음성 커맨드를 미리결정된 제1 횟수를 초과하여 수신하였다고 디바이스(600)가 결정할 때, 디바이스(600)는 진정 사운드 어포던스들(1830A 내지 1830C)을 디스플레이하지 않는다. 일부 실시예들에서, 다른 이용가능한 진정 사운드들을 표현하는 사운드 어포던스들은 미리결정된 제1 횟수의 요청에 대해 디스플레이된다. 일부 실시예들에서, 디바이스가 진정 사운드들을 재생하라는 요청을 미리결정된 제2 횟수(예컨대, 6회 내지 10회)를 초과하여 수신하였을 때, 디바이스(600)는 현재 요청 이전에 선택되었던 미리결정된 진정 사운드 또는 디폴트를 재생한다. 일부 실시예들에서, 미리결정된 진정 사운드 또는 디폴트는 재생 최근성(recency) 또는 재생 빈도와 같은 하나 이상의 인자들에 기초하여 선택된다.
도 18c에서, 숲의 진정 사운드가 재생 중인 동안, 디바이스(600)는 디스플레이(603) 상에 오디오 재생 인터페이스(1840)를 디스플레이한다. 일부 실시예들에서, 디바이스(600)는 외부 스피커(예컨대, 거실 스피커)에서 진정 사운드를 재생한다. 일부 실시예들에서, 디바이스(600)는 오디오 재생 인터페이스(1840)의 빨리 감기 버튼(fast forward button) 상에서 입력을 검출한다. 이에 응답하여, 디바이스(600)는 상이한 진정 사운드를 재생한다. 일부 실시예들에서, 디바이스(600)는, 진정 사운드가 요청될 때, 무작위 시퀀스의 특정 진정 사운드를 그리고/또는 무작위로 선택되고 배열된 특정 진정 사운드의 세그먼트들을 재생하기 시작한다. 따라서, 진정 사운드가 다수회 요청되는 경우, 특정 진정 사운드의 상이한 클립들이 재생된다.
도 18d 및 도 18e는, 디바이스(600)가 (예컨대, 음성 커맨드 대신에) 터치 입력을 사용하여 사운드 항목들을 재생하라는 요청을 수신하는 것을 예시한다. 도 18d에서, 디바이스(600)는 디스플레이(603) 상에서 스와이프 제스처(1850C)를 검출한다. 도 18e에서, 스와이프 제스처(1850C)를 검출하는 것에 응답하여, 디바이스(600)는 검색 바를 디스플레이한다. 디바이스(600)는 검색 요청 "사운드(Sound)"에 대응하는 입력(1850D)을 검출한다. 검색 요청(1850D)을 수신하는 것에 응답하여, 디바이스(600)는 사운드 목록(1860A)을 포함하는 상위 결과들(1860)의 목록을 디스플레이한다. 사운드 목록(1860A)은 이용가능한 사운드들의 목록을 포함한다: 숲 사운드(1860B) 및 바다 사운드(1860C). 일부 실시예들에서, 사운드 목록(1860A)은 상이한 유형들의 사운드들(예컨대, 진정 사운드들, 노래들 등)의 목록을 포함한다. 숲 사운드(1860B) 및 바다 사운드(1860C)가 검색 결과들로부터 재생되도록 선택될 수 있다.
도 18f 및 도 18g는, 진정 사운드들이 시계 애플리케이션으로부터 액세스가능한 취침시간(bedtime) 인터페이스(1870)로부터 재생될 수 있다는 것을 예시한다. 도 18f에서, 디바이스(600)는 시계 애플리케이션의 선택에 대응하는 입력(1850E)을 검출한다. 입력(1850E)을 검출하는 것에 응답하여, 디바이스(600)는 취침시간 인터페이스(1870)를 디스플레이한다. 취침시간 인터페이스(1870)는, 취침시간에 재생될 수 있는 진정 사운드들의 목록을 포함하는 사운드 섹션(1880)을 포함한다. 사운드 섹션(1880)은 진정 사운드들을 포함한다: 숲 사운드(1880A) 및 바다 사운드(1880B). 디바이스(600)는 사운드 섹션(1880)에 열거된 사운드(예컨대, 1880A 및 1880B)의 선택을 검출하고 선택된 사운드를 재생하기 시작할 수 있다.
도 19는 일부 실시예들에 따른, 특정 유형의 사운드들을 재생하기 위해 전자 디바이스를 사용하는 방법(1900)을 예시하는 흐름도이다. 방법(1900)은 디스플레이 디바이스를 갖는 전자 디바이스(예컨대, 100, 300, 500, 600)에서 수행된다. 방법(1900)의 일부 동작들은 선택적으로 조합되고, 일부 동작들의 순서는 선택적으로 변경되며, 일부 동작들은 선택적으로 생략된다.
아래에서 기술되는 바와 같이, 방법(1900)은, 예컨대 특정 오디오 미디어 항목을 특정하지 않으면서, 특정 유형의 오디오 미디어 항목을 재생하는 것에 대한 직관적인 방식을 제공한다. 본 방법은, 특정 오디오 미디어 항목을 식별할 필요 없이, 특정 유형(예컨대, 사운드들의 카테고리(예컨대, 진정 사운드들))의 오디오 미디어 항목을 재생하라고 전자 디바이스에 요청하는 것에 대한 사용자의 인지적 부담을 감소시키며, 이에 의해 더 효율적인 인간-기계 인터페이스가 생성된다.
블록(1902)에서, 전자 디바이스는 제1 유형의 오디오 미디어 항목을 재생하라는 요청(예컨대, 1850B)을 수신한다. 이러한 요청은 제1 유형의 오디오 미디어 항목을 식별하지만, 제1 유형의 특정 오디오 미디어 항목은 식별하지 않는다. 일부 실시예들에서, 전자 디바이스(예컨대, 600)는 제1 유형의 미디어 항목인 복수의 특정 오디오 미디어 항목들(예컨대, 1830A 내지 1830C)에의 액세스(디바이스 상에 저장되거나 디바이스에 액세스가능함)를 갖는다. 일부 실시예들에서, 요청은 가상 어시스턴트에 대한 음성 커맨드(예컨대, 1850B)(예컨대, "진정 사운드들을 재생해줘")를 포함한다. 일부 실시예들에서, 요청은 가상 어시스턴트를 활성화하는 구두 트리거(예컨대, 1850A)(예컨대, "안녕 어시스턴트")를 포함한다. 일부 실시예들에서, 가상 어시스턴트는 터치 입력(예컨대, 터치 감응형 표면 상의 입력 또는 버튼의 누르기)에 응답하여 활성화된다. 일부 실시예들에서, 제1 유형의 미디어 항목(예컨대, "진정 사운드들")은 복수의 서브-유형들(1830A 내지 1830C)(예컨대, 바다, 도시, 바람)을 포함한다.
블록(1904)에서, 제1 유형의 오디오 미디어 항목을 재생하라는 요청(예컨대, 1850B)을 수신하는 것에 응답하여, 블록(1906)에서, 전자 디바이스(예컨대, 600)는 제1 유형의 오디오 미디어 항목의 제1 오디오 미디어 항목을 재생한다(예컨대, 1840). 일부 실시예들에서, 전자 디바이스는 전자 디바이스에 액세스가능한 복수의 제1 유형의 오디오 미디어 항목들로부터의 제1 오디오 미디어 항목을 우선, 자동적으로(예컨대, 추가 입력 없이) 그리고/또는 무작위로 식별한다.
블록(1904)에서, 제1 유형의 오디오 미디어 항목을 재생하라는 요청을 수신하는 것에 응답하여, 블록(1908)에서, 전자 디바이스(예컨대, 600)는, 선택될 때, 제1 유형의 오디오 미디어 항목의 제1 오디오 미디어 항목과 상이한 제1 유형의 오디오 미디어 항목의 제2 오디오 미디어 항목(예컨대, 1830A 내지 1830C)을 재생하는 어포던스를 디스플레이한다. 요청된 것과 동일한 유형의 추가적인 미디어 항목들을 갖는 어포던스를 디스플레이하는 것은 동일한 유형의 추가적인 오디오 미디어 항목들을 선택하기 위한 직관적인 방식을 사용자에게 제공한다. 본 방법은, 특정 오디오 미디어 항목을 식별할 필요 없이, 특정 유형(예컨대, 사운드들의 카테고리(예컨대, 진정 사운드들))의 한 세트의 오디오 미디어 항목들로부터의 오디오 미디어 항목을 선택하라고 전자 디바이스에 요청하는 것에 대한 사용자의 인지적 부담을 감소시키며, 이에 의해 더 효율적인 인간-기계 인터페이스가 생성된다. 이는 또한, 재생되고 있는 요청된 유형의 미디어 항목 이외에, 동일한 유형의 추가적인 오디오 미디어 항목들이 디스플레이됨에 따라, 입력들 및 추가적인 요청들의 수가 감소됨에 따라, 디바이스의 배터리를 보존한다.
일부 실시예들에서, 블록(1910)에서, 전자 디바이스는 제1 유형의 오디오 미디어 항목의 제1 오디오 미디어 항목을 재생하는 것과 동시에, 제1 오디오 미디어 항목을 식별하는 그래픽 객체(예컨대, 1820B, 1840)(예컨대, 항목 이름(예컨대, 숲 사운드들), 항목을 식별하는 이미지)를 디스플레이한다.
일부 실시예들에서, 제1 유형의 오디오 미디어 항목의 제1 오디오 미디어 항목을 재생한 후에, 전자 디바이스는 제1 유형의 오디오 미디어 항목을 재생하라는 제2 요청(예컨대, 1850B)을 수신한다. 일부 실시예들에서, 제2 요청은 제1 유형의 오디오 미디어 항목을 식별하지만, 제1 유형의 특정 오디오 미디어 항목은 식별하지 않는다. 일부 실시예들에서, 제1 유형의 오디오 미디어 항목을 재생하라는 제2 요청을 수신하는 것에 응답하여, 전자 디바이스는 제1 유형의 오디오 미디어 항목의 제3 오디오 미디어 항목(예컨대, 제1 유형의 제1 오디오 미디어 항목과 동일한 항목(1840); 제1 유형의 상이한 항목(1830A, 1830B, 또는 1830C))을 재생한다. 일부 실시예들에서, 제1 유형의 오디오 미디어 항목을 재생하라는 제2 요청을 수신하는 것에 응답하여, 그리고 제1 세트의 기준들 - 상기 제1 세트의 기준들은, 제1 유형의 특정 오디오 미디어 항목을 식별하지 않는, 제1 유형의 오디오 미디어 항목을 재생하라는, 미리결정된 제1 횟수(예컨대, 3회, 5회) 미만의 요청들이 수신되었을 때 충족되는 기준을 포함함 - 이 충족된다는 결정에 따라, 전자 디바이스는, 선택될 때, 제1 유형의 오디오 미디어 항목의 (예컨대, 제2 오디오 미디어 항목과 상이한; 제2 오디오 미디어 항목과 동일한) 제4 오디오 미디어 항목을 재생하는 제2 어포던스(예컨대, 1830A 내지 1830C)를 디스플레이한다. 일부 실시예들에서, 제1 유형의 오디오 미디어 항목의 제4 오디오 미디어 항목(예컨대, 1830A)은 제1 유형의 오디오 미디어 항목의 제3 오디오 미디어 항목(예컨대, 1830B)과 상이하다. 일부 실시예들에서, 제1 유형의 오디오 미디어 항목을 재생하라는 제2 요청을 수신하는 것에 응답하여 그리고 제1 세트의 기준들이 충족되지 않는다는 결정에 따라, 전자 디바이스는 제2 어포던스를 디스플레이하는 것을 보류한다. 일부 실시예들에서, 제1 유형의 추가적인 오디오 미디어 항목들에 대한 어포던스들은 미리결정된 횟수의 요청에 대해서만 디스플레이된다.
일부 실시예들에서, 제1 유형의 특정 오디오 미디어 항목을 식별하지 않는, 제1 유형의 오디오 미디어 항목을 재생하라는, 미리결정된 제2 횟수(예컨대, 3회, 5회)의 요청을 수신한 후에, 전자 디바이스는 제1 유형의 오디오 미디어 항목을 재생하라는 제3 요청(예컨대, 1850B)을 수신한다. 일부 실시예들에서, 제3 요청은 제1 유형의 오디오 미디어 항목을 식별하지만, 제1 유형의 특정 오디오 미디어 항목은 식별하지 않는다. 일부 실시예들에서, 제3 요청을 수신하는 것에 응답하여, 전자 디바이스는 제3 요청의 수신 이전에 선택되었던 제1 유형의 오디오 미디어 항목(예컨대, 디폴트 오디오 미디어 항목; 미리결정된 오디오 미디어 항목)의 제5 오디오 미디어 항목(예컨대, 1840)(예컨대, 제1 유형의 제1 오디오 미디어 항목과 동일한 항목; 제1 유형의 상이한 항목)을 재생한다. 일부 실시예들에서, 제5 오디오 미디어 항목은 재생 최근성 및 재생 빈도로 이루어진 그룹으로부터 선택된 하나 이상의 인자들에 기초하여 선택(예컨대, 사전 선택)되었다. 특정 유형의 오디오 미디어 항목을 재생하라는 미리결정된 횟수의 요청들 후에 특정 유형의 오디오 미디어 항목의 미리결정된 오디오 미디어 항목을 재생하는 것은 더 효율적인 사용자 경험을 제공한다. 본 방법은, 사용자가 이미 미리결정된 제2 횟수만큼 요청을 한 이후에, 특정 유형(예컨대, 사운드들의 카테고리(예컨대, 진정 사운드들))의 한 세트의 오디오 미디어 항목들로부터 오디오 미디어 항목을 선택해야 한다는 것에서 사용자에 대한 인지적 부담을 감소시키고, 이에 의해 더 효율적인 인간-기계 인터페이스가 생성된다. 이는 또한, 미리결정된 오디오 미디어 항목이 추가적인 사용자 입력을 요구하지 않으면서 자동적으로 재생됨에 따라 입력들 및 추가적인 요청들의 수가 감소되기 때문에 디바이스의 배터리를 보존한다.
일부 실시예들에서, 제1 유형의 오디오 미디어 항목은 기기 또는 음성 오디오 요소들을 포함하지 않는 오디오 미디어 항목이다(예컨대, 오디오 미디어 항목은 자연의 사운드, 비인공적인 사운드임). 일부 실시예들에서, 재생 동안, 오디오 미디어 항목은 일시정지될 수 있지만, 빨리 감기될 수는 없다. 일부 실시예들에서, 오디오 미디어 항목은 생성된 백색 잡음을 포함한다.
일부 실시예들에서, 제1 유형의 오디오 미디어 항목은, 복수의 무작위로 선택되고 배열된 오디오 세그먼트들을 포함하는 오디오 미디어 항목이다(예컨대, 오디오 미디어 항목은 복수의 이용가능한 오디오 세그먼트들로부터 무작위로 선택하고 무작위로 선택된 세그먼트들을 무작위로 선택된 순서로 배열함으로써 생성되었음).
일부 실시예들에서, 전자 디바이스는 마이크로폰을 포함한다. 일부 실시예들에서, 제1 유형의 오디오 미디어 항목을 재생하라는 요청은 마이크로폰을 통해 검출된 음성 입력(예컨대, 1850B)이다.
일부 실시예들에서, 전자 디바이스는 터치 감응형 표면을 포함한다. 일부 실시예들에서, 제1 유형의 오디오 미디어 항목을 재생하라는 요청은 터치 감응형 표면을 통해 검출된 한 세트의 하나 이상의 입력들이다.
방법(1900)(예컨대, 도 19)에 관련하여 전술된 프로세스들의 상세사항들은, 또한, 아래에서/위에서 기술되는 방법들과 유사한 방식으로 적용가능함에 유의한다. 예를 들어, 방법(1900)은 선택적으로 방법(1500, 1700)을 참조하여 전술된 다양한 방법들의 특성들 중 하나 이상을 포함한다. 예를 들어, 방법(1700)에서 설명되는 다수의 컴포넌트들을 갖는 제어가능한 외부 디바이스는 방법(1500, 1700)의 제어가능한 외부 디바이스일 수 있으며, 이는 방법(1500, 1700)에서 설명되는 인터페이스들을 사용하여 구성되고 액세스될 수 있다. 간결함을 위해, 이러한 상세사항들은 이하에서 반복되지 않는다.
전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 기술되었다. 그러나, 상기의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 상기 교시 내용들의 관점에서 가능하다. 실시예들은 기술들의 원리 및 그것들의 실제적인 응용을 가장 잘 설명하기 위하여 선택되고 기술되었다. 따라서, 통상의 기술자들은 고려된 특정 사용에 적합한 바와 같이 다양한 수정을 이용하여 기술들 및 다양한 실시예들을 최상으로 활용하는 것이 가능하게 된다.
본 개시내용 및 예들이 첨부의 도면들을 참조하여 충분히 기술되었지만, 당업자들에게 다양한 변경들 및 수정들이 명백할 것이라는 것에 주목하여야 한다. 그러한 변경들 및 수정들은 청구항들에 의해 정의되는 바와 같은 개시내용 및 예들의 범주 내에 포함되는 것으로 이해되어야 한다.
전술된 바와 같이, 본 기법의 일 태양은, 제어가능한 외부 디바이스들을 관리하는 것을 개선하도록 다양한 소스들로부터 입수가능한 데이터를 수집하고 사용하는 것이다. 본 발명은, 일부 경우들에 있어서, 이러한 수집된 데이터가 특정 개인을 고유하게 식별하거나 또는 그와 연락하거나 그의 위치를 확인하는 데 이용될 수 있는 개인 정보 데이터를 포함할 수 있음을 고려한다. 그러한 개인 정보 데이터는 인구통계 데이터, 위치 기반 데이터, 전화 번호들, 이메일 주소들, 트위터 ID들, 집 주소들, 사용자의 건강 또는 피트니스 레벨에 관한 데이터 또는 기록들(예컨대, 바이탈 사인(vital sign) 측정치들, 약물 정보, 운동 정보), 생년월일, 또는 임의의 다른 식별 또는 개인 정보를 포함할 수 있다.
본 발명은 본 기술에서의 그러한 개인 정보 데이터의 이용이 사용자들에게 이득을 주기 위해 사용될 수 있음을 인식한다. 예를 들어, 개인 정보 데이터는 디바이스들의 개선된 관리 및 모니터링을 제공하고 대체적으로 보안(예컨대, 주택 보안)을 개선하는 데 사용될 수 있다. 따라서, 그러한 개인 정보 데이터의 이용은 전달된 콘텐츠의 계산된 제어를 가능하게 한다. 게다가, 사용자에게 이득을 주는 개인 정보 데이터에 대한 다른 이용들이 또한 본 발명에 의해 고려된다. 예를 들어, 건강 및 피트니스 데이터는 사용자의 일반적인 웰니스(wellness)에 대한 식견들을 제공하는 데 사용될 수 있거나, 또는 웰니스 목표들을 추구하는 기법을 이용하는 개인들에게 긍정적인 피드백으로서 사용될 수 있다.
본 발명은 그러한 개인 정보 데이터의 수집, 분석, 공개, 전송, 저장, 또는 다른 이용을 책임지고 있는 엔티티들이 잘 확립된 프라이버시 정책들 및/또는 프라이버시 관례들을 준수할 것이라는 것을 고려한다. 특히, 그러한 엔티티들은, 대체로 개인 정보 데이터를 사적이고 안전하게 유지시키기 위한 산업적 또는 행정적 요건들을 충족시키거나 넘어서는 것으로 인식되는 프라이버시 정책들 및 관례들을 구현하고 지속적으로 이용해야 한다. 그러한 정책들은 사용자들에 의해 용이하게 액세스가능해야 하고, 데이터의 수집 및/또는 사용이 변화함에 따라 업데이트되어야 한다. 사용자들로부터의 개인 정보는 엔티티의 적법하며 적정한 사용들을 위해 수집되어야 하고, 이들 적법한 사용들을 벗어나서 공유되거나 판매되지 않아야 한다. 또한, 그러한 수집/공유는 사용자들의 통지된 동의를 수신한 후에 발생해야 한다. 부가적으로, 그러한 엔티티들은 그러한 개인 정보 데이터에 대한 액세스를 보호하고 안전하게 하며 개인 정보 데이터에 대한 액세스를 갖는 다른 사람들이 그들의 프라이버시 정책들 및 절차들을 고수한다는 것을 보장하기 위한 임의의 필요한 단계들을 취하는 것을 고려해야 한다. 게다가, 그러한 엔티티들은 널리 인정된 프라이버시 정책들 및 관례들에 대한 그들의 고수를 증명하기 위해 제3자들에 의해 그들 자신들이 평가를 받을 수 있다. 추가로, 정책들 및 관례들은 수집되고/되거나 액세스되는 특정 유형들의 개인 정보 데이터에 대해 조정되고, 관할구역 특정 고려사항들을 비롯한 적용가능한 법률들 및 표준들에 적응되어야 한다. 예를 들어, 미국에서, 소정 건강 데이터의 수집 또는 그에 대한 액세스는 HIPAA(Health Insurance Portability and Accountability Act)와 같은 연방법 및/또는 주법에 의해 통제될 수 있는 반면; 다른 국가들에서의 건강 데이터는 다른 법령들 및 정책들의 대상이 될 수 있고, 그에 따라 처리되어야 한다. 따라서, 각 국가에서의 상이한 개인 데이터 유형들에 대해 상이한 프라이버시 관례들이 유지되어야 한다.
전술한 것에도 불구하고, 본 발명은 또한 사용자가 개인 정보 데이터의 사용, 또는 그에 대한 액세스를 선택적으로 차단하는 실시예들을 고려한다. 즉, 본 발명은 그러한 개인 정보 데이터에 대한 액세스를 방지하거나 차단하기 위해 하드웨어 및/또는 소프트웨어 요소들이 제공될 수 있다는 것을 고려한다. 예를 들어, 제어가능한 외부 디바이스들을 관리하는 경우에, 본 기법은 사용자들이 서비스들을 위한 등록 중에 또는 이후 임의의 시간에 개인 정보 데이터의 수집 시의 참여의 "동의" 또는 "동의하지 않음"을 선택하게 하도록 구성될 수 있다. "동의" 및 "동의하지 않음" 옵션들을 제공하는 것에 추가하여, 본 발명은 개인 정보의 액세스 또는 사용에 관한 통지들을 제공하는 것을 고려한다. 예를 들어, 사용자는 그들의 개인 정보 데이터가 액세스될 앱을 다운로드할 시에 통지받고, 이어서 개인 정보 데이터가 앱에 의해 액세스되기 직전에 다시 상기하게 될 수 있다.
더욱이, 의도하지 않은 또는 인가되지 않은 액세스 또는 사용의 위험요소들을 최소화하는 방식으로 개인 정보 데이터가 관리 및 처리되어야 한다는 것이 본 발명의 의도이다. 위험요소는, 데이터의 수집을 제한하고 데이터가 더 이상 필요하지 않다면 그것을 삭제함으로써 최소화될 수 있다. 추가로, 그리고 소정의 건강 관련 애플리케이션들에서를 포함하여, 적용가능할 때, 데이터 비식별화(de-identification)가 사용자의 프라이버시를 보호하기 위해 사용될 수 있다. 적절한 경우, 특정 식별자들(예컨대, 생년월일 등)을 제거함으로써, 저장된 데이터의 양 또는 특이성을 제어함으로써(예컨대, 주소 수준이라기보다는 오히려 도시 수준에서 위치 데이터를 수집함으로써), 데이터가 저장되는 방식을 제어함으로써(예컨대, 사용자들에 걸쳐 데이터를 집계함으로써), 그리고/또는 다른 방법들에 의해, 비식별화가 용이하게 될 수 있다.
따라서, 본 발명이 하나 이상의 다양한 개시된 실시예들을 구현하기 위해 개인 정보 데이터의 사용을 광범위하게 커버하지만, 본 발명은 다양한 실시예들이 또한 그러한 개인 정보 데이터에 액세스할 필요 없이 구현될 수 있다는 것을 또한 고려한다. 즉, 본 기술의 다양한 실시예들은 그러한 개인 정보 데이터의 전부 또는 일부의 결여로 인해 동작불가능하게 되지는 않는다. 예를 들어, 콘텐츠(예컨대, 비디오 콘텐츠)는, 사용자와 연관된 디바이스에 의해 요청되는 콘텐츠, 콘텐츠 전달 서비스들에 대해 이용가능한 다른 비-개인 정보, 또는 공개적으로 입수가능한 정보와 같은 비-개인 정보 데이터 또는 최소량의 개인 정보에 기초하여 선호도를 추론함으로써 선택되고 사용자들에게 전달될 수 있다.

Claims (95)

  1. 전자 디바이스로서,
    디스플레이 디바이스;
    하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은,
    상기 디스플레이 디바이스를 통해, 제1 제어가능한 외부 디바이스에 대응하는 제1 액세서리 어포던스(accessory affordance)를 포함하는 제1 사용자 인터페이스를 디스플레이하기 위한;
    상기 제1 사용자 인터페이스를 디스플레이 하는 동안, 제1 세트의 제어가능한 외부 디바이스들에 상기 제1 제어가능한 외부 디바이스를 추가하기 위한 하나 이상의 입력들을 검출하기 위한; 그리고
    상기 제1 세트의 제어가능한 외부 디바이스들에 상기 제1 제어가능한 외부 디바이스를 추가하기 위한 상기 하나 이상의 입력들을 검출하는 것에 응답하여:
    상기 제1 제어가능한 외부 디바이스를 포함하도록 상기 제1 세트의 제어가능한 외부 디바이스들을 업데이트하고; 그리고
    제2 사용자 인터페이스를 디스플레이하기 위한 - 상기 제2 사용자 인터페이스를 디스플레이하는 것은,
    상기 제1 제어가능한 외부 디바이스가 제1 유형의 것이라는 결정에 따라:
    상기 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스; 및
    선택될 때, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 구성 어포던스를 동시에 디스플레이하고;
    상기 제1 제어가능한 외부 디바이스가 상기 제1 유형의 것이 아니라는 결정에 따라:
    상기 구성 어포던스 없이 상기 제1 제어가능한 외부 디바이스에 대응하는 상기 제2 액세서리 어포던스를 디스플레이하는 것을 포함함 - 명령어들을 포함하는, 전자 디바이스.
  2. 제1항에 있어서, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것은 오디오 선택 어포던스를 디스플레이하는 것을 포함하고, 상기 하나 이상의 프로그램들은,
    상기 오디오 선택 어포던스의 선택을 검출하기 위한; 그리고
    상기 오디오 선택 어포던스의 선택을 검출하는 것에 응답하여, 상기 제1 제어가능한 외부 디바이스에서 재생될 제1 미디어 유형의 오디오 항목을 선택하기 위한 프로세스를 개시하기 위한 - 상기 프로세스를 개시하는 것은 상기 제1 미디어 유형의 오디오 항목으로 내비게이팅하기 위한 하나 이상의 옵션들을 디스플레이하는 것을 포함함 - 명령어들을 추가로 포함하는, 전자 디바이스.
  3. 제1항에 있어서, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것은 오디오 선택 어포던스를 디스플레이하는 것을 포함하고, 상기 하나 이상의 프로그램들은,
    상기 오디오 선택 어포던스의 선택을 검출하기 위한; 그리고
    상기 오디오 선택 어포던스의 선택을 검출하는 것에 응답하여, 상기 디스플레이 디바이스를 통해,
    선택될 때, 제1 미디어 유형의 오디오 항목을 선택하기 위한 프로세스를 개시하는 제1 오디오 카테고리 옵션; 및
    선택될 때, 상기 제1 미디어 유형과 상이한 제2 미디어 유형의 오디오 항목을 선택하기 위한 프로세스를 개시하는 제2 오디오 카테고리 옵션을 동시에 디스플레이하기 위한 명령어들을 추가로 포함하는, 전자 디바이스.
  4. 제1항에 있어서, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것은 오디오 선택 어포던스를 디스플레이하는 것을 포함하고, 상기 하나 이상의 프로그램들은,
    상기 오디오 선택 어포던스의 선택을 검출한 것에 후속하여, 상기 제1 제어가능한 외부 디바이스에서 재생될 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출하기 위한; 그리고
    상기 제1 제어가능한 외부 디바이스에서 재생될 상기 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출한 것에 후속하여, 상기 디스플레이 디바이스를 통해,
    상기 오디오 선택 어포던스, 및
    상기 제1 제어가능한 외부 디바이스에서 재생되도록 선택된 상기 오디오 항목의 표현을 동시에 디스플레이하기 위한 명령어들을 추가로 포함하는, 전자 디바이스.
  5. 제1항에 있어서, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것은 오디오 선택 어포던스를 디스플레이하는 것을 포함하고, 상기 하나 이상의 프로그램들은,
    상기 오디오 선택 어포던스의 선택을 검출한 것에 후속하여, 상기 제1 제어가능한 외부 디바이스에서 재생될 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출하기 위한; 그리고
    상기 제1 제어가능한 외부 디바이스에서 재생될 상기 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출한 것에 후속하여, 상기 디스플레이 디바이스를 통해,
    선택될 때, 상기 오디오 항목이 상기 제1 제어가능한 외부 디바이스에서의 재생 동안 반복되는지 여부를 구성하는 반복 어포던스; 및
    선택될 때, 상기 오디오 항목이 상기 제1 제어가능한 외부 디바이스에서 재생되는 순서를 구성하는 셔플(shuffle) 어포던스를 동시에 디스플레이하기 위한 명령어들을 추가로 포함하는, 전자 디바이스.
  6. 제1항에 있어서, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것은 제1 오디오 모드 유형이 선택되었다는 결정에 따라, 오디오 재생 옵션을 디스플레이하는 것을 포함하는, 전자 디바이스.
  7. 제6항에 있어서, 상기 하나 이상의 프로그램들은,
    상기 오디오 재생 옵션을 디스플레이하는 동안, 오디오 모드의 선택을 검출하기 위한; 그리고
    상기 오디오 모드의 선택을 검출하는 것에 응답하여:
    상기 제1 오디오 모드 유형이 선택되었다는 결정에 따라, 상기 오디오 재생 옵션을 계속 디스플레이하고;
    상기 제1 오디오 모드 유형과 상이한 제2 오디오 모드 유형이 선택되었다는 결정에 따라, 상기 오디오 재생 옵션을 디스플레이하는 것을 중지하기 위한 명령어들을 추가로 포함하는, 전자 디바이스.
  8. 제1항에 있어서, 상기 하나 이상의 프로그램들은,
    상기 제1 세트의 제어가능한 외부 디바이스들에 제2 제어가능한 외부 디바이스를 추가하기 위한 하나 이상의 입력들을 검출하기 위한; 그리고
    상기 제1 세트의 제어가능한 외부 디바이스들에 상기 제2 제어가능한 외부 디바이스를 추가하기 위한 상기 하나 이상의 입력들을 검출하는 것에 응답하여, 상기 제2 제어가능한 외부 디바이스를 포함하도록 상기 제1 세트의 제어가능한 외부 디바이스들을 업데이트하기 위한 명령어들을 추가로 포함하는, 전자 디바이스.
  9. 제1항에 있어서, 상기 하나 이상의 프로그램들은,
    상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것에 후속하여, 상기 제1 제어가능한 외부 디바이스에서 재생되도록 선택된 오디오 항목의 재생 음량을 맞춤화하기 위한 사용자 입력을 검출하기 위한; 그리고
    상기 재생 음량을 맞춤화하기 위한 상기 사용자 입력을 검출하는 것에 응답하여:
    상기 제1 세트의 제어가능한 외부 디바이스들이 상기 제1 유형의 단일의 제어가능한 외부 디바이스를 포함한다는 결정에 따라, 상기 제1 제어가능한 외부 디바이스에서의 상기 오디오 항목의 재생 음량을 조정하기 위한 단일 음량 제어부를 디스플레이하고;
    상기 제1 세트의 제어가능한 외부 디바이스들이 상기 제1 유형의 복수의 제어가능한 외부 디바이스들을 포함한다는 결정에 따라, 상기 각각의 제어가능한 외부 디바이스들에서 상기 오디오 항목의 상기 각각의 재생 음량들을 조정하기 위한 복수의 음량 제어부들을 디스플레이하기 위한 명령어들을 추가로 포함하는, 전자 디바이스.
  10. 디스플레이 디바이스를 갖는 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은,
    상기 디스플레이 디바이스를 통해, 제1 제어가능한 외부 디바이스에 대응하는 제1 액세서리 어포던스를 포함하는 제1 사용자 인터페이스를 디스플레이하기 위한;
    상기 제1 사용자 인터페이스를 디스플레이하는 동안, 제1 세트의 제어가능한 외부 디바이스들에 상기 제1 제어가능한 외부 디바이스를 추가하기 위한 하나 이상의 입력들을 검출하기 위한; 그리고
    상기 제1 세트의 제어가능한 외부 디바이스들에 상기 제1 제어가능한 외부 디바이스를 추가하기 위한 상기 하나 이상의 입력들을 검출하는 것에 응답하여:
    상기 제1 제어가능한 외부 디바이스를 포함하도록 상기 제1 세트의 제어가능한 외부 디바이스들을 업데이트하고; 그리고,
    제2 사용자 인터페이스를 디스플레이하기 위한 -
    상기 제2 사용자 인터페이스를 디스플레이하는 것은,
    상기 제1 제어가능한 외부 디바이스가 제1 유형의 것이라는 결정에 따라:
    상기 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스; 및
    선택될 때, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 구성 어포던스를 동시에 디스플레이하고;
    상기 제1 제어가능한 외부 디바이스가 상기 제1 유형의 것이 아니라는 결정에 따라:
    상기 구성 어포던스 없이 상기 제1 제어가능한 외부 디바이스에 대응하는 상기 제2 액세서리 어포던스를 디스플레이하는 것을 포함함 - 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  11. 방법으로서,
    디스플레이 디바이스를 갖는 전자 디바이스에서,
    상기 디스플레이 디바이스를 통해, 제1 제어가능한 외부 디바이스에 대응하는 제1 액세서리 어포던스를 포함하는 제1 사용자 인터페이스를 디스플레이하는 단계;
    상기 제1 사용자 인터페이스를 디스플레이하는 동안, 제1 세트의 제어가능한 외부 디바이스들에 상기 제1 제어가능한 외부 디바이스를 추가하기 위한 하나 이상의 입력들을 검출하는 단계; 및
    상기 제1 세트의 제어가능한 외부 디바이스들에 상기 제1 제어가능한 외부 디바이스를 추가하기 위한 상기 하나 이상의 입력들을 검출하는 것에 응답하여:
    상기 제1 제어가능한 외부 디바이스를 포함하도록 상기 제1 세트의 제어가능한 외부 디바이스들을 업데이트하고; 그리고,
    제2 사용자 인터페이스를 디스플레이하는 단계 - 상기 제2 사용자 인터페이스를 디스플레이하는 것은,
    상기 제1 제어가능한 외부 디바이스가 제1 유형의 것이라는 결정에 따라:
    상기 제1 제어가능한 외부 디바이스에 대응하는 제2 액세서리 어포던스; 및
    선택될 때, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 프로세스를 개시하는 구성 어포던스를 동시에 디스플레이하고;
    상기 제1 제어가능한 외부 디바이스가 상기 제1 유형의 것이 아니라는 결정에 따라:
    상기 구성 어포던스 없이 상기 제1 제어가능한 외부 디바이스에 대응하는 상기 제2 액세서리 어포던스를 디스플레이하는 것을 포함함 - 를 포함하는, 방법.
  12. 제1항에 있어서, 선택될 때, 상기 제1 제어가능한 외부 디바이스에 대응하는 상기 제2 액세서리 어포던스는 상기 제1 제어가능한 디바이스를 조정하기 위한 기능을 수행하는, 전자 디바이스.
  13. 제10항에 있어서, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것은 오디오 선택 어포던스를 디스플레이하는 것을 포함하고, 상기 하나 이상의 프로그램들은,
    상기 오디오 선택 어포던스의 선택을 검출하기 위한; 그리고
    상기 오디오 선택 어포던스의 선택을 검출하는 것에 응답하여, 상기 제1 제어가능한 외부 디바이스에서 재생될 제1 미디어 유형의 오디오 항목을 선택하기 위한 프로세스를 개시하기 위한 - 상기 프로세스를 개시하는 것은 상기 제1 미디어 유형의 오디오 항목으로 내비게이팅하기 위한 하나 이상의 옵션들을 디스플레이하는 것을 포함함 - 명령어들을 추가로 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  14. 제10항에 있어서, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것은 오디오 선택 어포던스를 디스플레이하는 것을 포함하고, 상기 하나 이상의 프로그램들은,
    상기 오디오 선택 어포던스의 선택을 검출하기 위한; 그리고
    상기 오디오 선택 어포던스의 선택을 검출하는 것에 응답하여, 상기 디스플레이 디바이스를 통해,
    선택될 때, 제1 미디어 유형의 오디오 항목을 선택하기 위한 프로세스를 개시하는 제1 오디오 카테고리 옵션; 및
    선택될 때, 상기 제1 미디어 유형과 상이한 제2 미디어 유형의 오디오 항목을 선택하기 위한 프로세스를 개시하는 제2 오디오 카테고리 옵션을 동시에 디스플레이하기 위한 명령어들을 추가로 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  15. 제10항에 있어서, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것은 오디오 선택 어포던스를 디스플레이하는 것을 포함하고, 상기 하나 이상의 프로그램들은,
    상기 오디오 선택 어포던스의 선택을 검출한 것에 후속하여, 상기 제1 제어가능한 외부 디바이스에서 재생될 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출하기 위한; 그리고
    상기 제1 제어가능한 외부 디바이스에서 재생될 상기 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출한 것에 후속하여, 상기 디스플레이 디바이스를 통해,
    상기 오디오 선택 어포던스, 및
    상기 제1 제어가능한 외부 디바이스에서 재생되도록 선택된 상기 오디오 항목의 표현을 동시에 디스플레이하기 위한 명령어들을 추가로 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  16. 제10항에 있어서, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것은 오디오 선택 어포던스를 디스플레이하는 것을 포함하고, 상기 하나 이상의 프로그램들은,
    상기 오디오 선택 어포던스의 선택을 검출한 것에 후속하여, 상기 제1 제어가능한 외부 디바이스에서 재생될 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출하기 위한; 그리고
    상기 제1 제어가능한 외부 디바이스에서 재생될 상기 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출한 것에 후속하여, 상기 디스플레이 디바이스를 통해,
    선택될 때, 상기 오디오 항목이 상기 제1 제어가능한 외부 디바이스에서의 재생 동안 반복되는지 여부를 구성하는 반복 어포던스; 및
    선택될 때, 상기 오디오 항목이 상기 제1 제어가능한 외부 디바이스에서 재생되는 순서를 구성하는 셔플 어포던스를 동시에 디스플레이하기 위한 명령어들을 추가로 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  17. 제10항에 있어서, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것은 제1 오디오 모드 유형이 선택되었다는 결정에 따라, 오디오 재생 옵션을 디스플레이하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  18. 제17항에 있어서, 상기 하나 이상의 프로그램들은,
    상기 오디오 재생 옵션을 디스플레이하는 동안, 오디오 모드의 선택을 검출하기 위한; 그리고
    상기 오디오 모드의 선택을 검출하는 것에 응답하여:
    상기 제1 오디오 모드 유형이 선택되었다는 결정에 따라, 상기 오디오 재생 옵션을 계속 디스플레이하고;
    상기 제1 오디오 모드 유형과 상이한 제2 오디오 모드 유형이 선택되었다는 결정에 따라, 상기 오디오 재생 옵션을 디스플레이하는 것을 중지하기 위한 명령어들을 추가로 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  19. 제10항에 있어서, 상기 하나 이상의 프로그램들은,
    상기 제1 세트의 제어가능한 외부 디바이스들에 제2 제어가능한 외부 디바이스를 추가하기 위한 하나 이상의 입력들을 검출하기 위한; 그리고
    상기 제1 세트의 제어가능한 외부 디바이스들에 상기 제2 제어가능한 외부 디바이스를 추가하기 위한 상기 하나 이상의 입력들을 검출하는 것에 응답하여, 상기 제2 제어가능한 외부 디바이스를 포함하도록 상기 제1 세트의 제어가능한 외부 디바이스들을 업데이트하기 위한 명령어들을 추가로 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  20. 제10항에 있어서, 상기 하나 이상의 프로그램들은,
    상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것에 후속하여, 상기 제1 제어가능한 외부 디바이스에서 재생되도록 선택된 오디오 항목의 재생 음량을 맞춤화하기 위한 사용자 입력을 검출하기 위한; 그리고
    상기 재생 음량을 맞춤화하기 위한 상기 사용자 입력을 검출하는 것에 응답하여:
    상기 제1 세트의 제어가능한 외부 디바이스들이 상기 제1 유형의 단일의 제어가능한 외부 디바이스를 포함한다는 결정에 따라, 상기 제1 제어가능한 외부 디바이스에서의 상기 오디오 항목의 재생 음량을 조정하기 위한 단일 음량 제어부를 디스플레이하고;
    상기 제1 세트의 제어가능한 외부 디바이스들이 상기 제1 유형의 복수의 제어가능한 외부 디바이스들을 포함한다는 결정에 따라, 상기 각각의 제어가능한 외부 디바이스들에서 상기 오디오 항목의 상기 각각의 재생 음량들을 조정하기 위한 복수의 음량 제어부들을 디스플레이하기 위한 명령어들을 추가로 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  21. 제10항에 있어서, 선택될 때, 상기 제1 제어가능한 외부 디바이스에 대응하는 상기 제2 액세서리 어포던스는 상기 제1 제어가능한 디바이스를 조정하기 위한 기능을 수행하는, 비일시적 컴퓨터 판독가능 저장 매체.
  22. 제11항에 있어서, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것은 오디오 선택 어포던스를 디스플레이하는 것을 포함하고, 상기 방법은,
    상기 오디오 선택 어포던스의 선택을 검출하는 단계; 및
    상기 오디오 선택 어포던스의 선택을 검출하는 것에 응답하여, 상기 제1 제어가능한 외부 디바이스에서 재생될 제1 미디어 유형의 오디오 항목을 선택하기 위한 프로세스를 개시하는 단계 - 상기 프로세스를 개시하는 단계는 상기 제1 미디어 유형의 오디오 항목으로 내비게이팅하기 위한 하나 이상의 옵션들을 디스플레이하는 단계를 포함함 - 를 추가로 포함하는, 방법.
  23. 제11항에 있어서, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것은 오디오 선택 어포던스를 디스플레이하는 것을 포함하고, 상기 방법은,
    상기 오디오 선택 어포던스의 선택을 검출하는 단계; 및
    상기 오디오 선택 어포던스의 선택을 검출하는 것에 응답하여, 상기 디스플레이 디바이스를 통해,
    선택될 때, 제1 미디어 유형의 오디오 항목을 선택하기 위한 프로세스를 개시하는 제1 오디오 카테고리 옵션; 및
    선택될 때, 상기 제1 미디어 유형과 상이한 제2 미디어 유형의 오디오 항목을 선택하기 위한 프로세스를 개시하는 제2 오디오 카테고리 옵션을 동시에 디스플레이하는 단계를 추가로 포함하는, 방법.
  24. 제11항에 있어서, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것은 오디오 선택 어포던스를 디스플레이하는 것을 포함하고, 상기 방법은,
    상기 오디오 선택 어포던스의 선택을 검출한 것에 후속하여, 상기 제1 제어가능한 외부 디바이스에서 재생될 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출하는 단계; 및
    상기 제1 제어가능한 외부 디바이스에서 재생될 상기 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출한 것에 후속하여, 상기 디스플레이 디바이스를 통해,
    상기 오디오 선택 어포던스, 및
    상기 제1 제어가능한 외부 디바이스에서 재생되도록 선택된 상기 오디오 항목의 표현을 동시에 디스플레이하는 단계를 추가로 포함하는, 방법.
  25. 제11항에 있어서, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것은 오디오 선택 어포던스를 디스플레이하는 것을 포함하고, 상기 방법은,
    상기 오디오 선택 어포던스의 선택을 검출한 것에 후속하여, 상기 제1 제어가능한 외부 디바이스에서 재생될 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출하는 단계; 및
    상기 제1 제어가능한 외부 디바이스에서 재생될 상기 오디오 항목을 선택하기 위한 하나 이상의 사용자 입력들을 검출한 것에 후속하여, 상기 디스플레이 디바이스를 통해,
    선택될 때, 상기 오디오 항목이 상기 제1 제어가능한 외부 디바이스에서의 재생 동안 반복되는지 여부를 구성하는 반복 어포던스; 및
    선택될 때, 상기 오디오 항목이 상기 제1 제어가능한 외부 디바이스에서 재생되는 순서를 구성하는 셔플 어포던스를 동시에 디스플레이하는 단계를 추가로 포함하는, 방법.
  26. 제11항에 있어서, 상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것은 제1 오디오 모드 유형이 선택되었다는 결정에 따라, 오디오 재생 옵션을 디스플레이하는 것을 포함하는, 방법.
  27. 제26항에 있어서,
    상기 오디오 재생 옵션을 디스플레이하는 동안, 오디오 모드의 선택을 검출하는 단계; 및
    상기 오디오 모드의 선택을 검출하는 것에 응답하여:
    상기 제1 오디오 모드 유형이 선택되었다는 결정에 따라, 상기 오디오 재생 옵션을 계속 디스플레이하고;
    상기 제1 오디오 모드 유형과 상이한 제2 오디오 모드 유형이 선택되었다는 결정에 따라, 상기 오디오 재생 옵션을 디스플레이하는 것을 중지하는 단계를 추가로 포함하는, 방법.
  28. 제11항에 있어서,
    상기 제1 세트의 제어가능한 외부 디바이스들에 제2 제어가능한 외부 디바이스를 추가하기 위한 하나 이상의 입력들을 검출하는 단계; 및
    상기 제1 세트의 제어가능한 외부 디바이스들에 상기 제2 제어가능한 외부 디바이스를 추가하기 위한 상기 하나 이상의 입력들을 검출하는 것에 응답하여, 상기 제2 제어가능한 외부 디바이스를 포함하도록 상기 제1 세트의 제어가능한 외부 디바이스들을 업데이트하는 단계를 추가로 포함하는, 방법.
  29. 제11항에 있어서,
    상기 제1 제어가능한 외부 디바이스에 대한 오디오 설정들을 구성하기 위한 상기 프로세스를 개시하는 것에 후속하여, 상기 제1 제어가능한 외부 디바이스에서 재생되도록 선택된 오디오 항목의 재생 음량을 맞춤화하기 위한 사용자 입력을 검출하는 단계; 및
    상기 재생 음량을 맞춤화하기 위한 상기 사용자 입력을 검출하는 것에 응답하여:
    상기 제1 세트의 제어가능한 외부 디바이스들이 상기 제1 유형의 단일의 제어가능한 외부 디바이스를 포함한다는 결정에 따라, 상기 제1 제어가능한 외부 디바이스에서의 상기 오디오 항목의 재생 음량을 조정하기 위한 단일 음량 제어부를 디스플레이하고;
    상기 제1 세트의 제어가능한 외부 디바이스들이 상기 제1 유형의 복수의 제어가능한 외부 디바이스들을 포함한다는 결정에 따라, 상기 각각의 제어가능한 외부 디바이스들에서 상기 오디오 항목의 상기 각각의 재생 음량들을 조정하기 위한 복수의 음량 제어부들을 디스플레이하는 단계를 추가로 포함하는, 방법.
  30. 제11항에 있어서, 선택될 때, 상기 제1 제어가능한 외부 디바이스에 대응하는 상기 제2 액세서리 어포던스는 상기 제1 제어가능한 디바이스를 조정하기 위한 기능을 수행하는, 방법.
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
  63. 삭제
  64. 삭제
  65. 삭제
  66. 삭제
  67. 삭제
  68. 삭제
  69. 삭제
  70. 삭제
  71. 삭제
  72. 삭제
  73. 삭제
  74. 삭제
  75. 삭제
  76. 삭제
  77. 삭제
  78. 삭제
  79. 삭제
  80. 삭제
  81. 삭제
  82. 삭제
  83. 삭제
  84. 삭제
  85. 삭제
  86. 삭제
  87. 삭제
  88. 삭제
  89. 삭제
  90. 삭제
  91. 삭제
  92. 삭제
  93. 삭제
  94. 삭제
  95. 삭제
KR1020207031319A 2019-05-31 2020-03-24 제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스들 KR102275853B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217021047A KR102353685B1 (ko) 2019-05-31 2020-03-24 제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스들

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962855895P 2019-05-31 2019-05-31
US62/855,895 2019-05-31
US16/584,743 US10904029B2 (en) 2019-05-31 2019-09-26 User interfaces for managing controllable external devices
US16/584,743 2019-09-26
US16/586,002 US10779085B1 (en) 2019-05-31 2019-09-27 User interfaces for managing controllable external devices
US16/586,002 2019-09-27
PCT/US2020/024390 WO2020242563A1 (en) 2019-05-31 2020-03-24 User interfaces for managing controllable external devices

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217021047A Division KR102353685B1 (ko) 2019-05-31 2020-03-24 제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스들

Publications (2)

Publication Number Publication Date
KR20200138796A KR20200138796A (ko) 2020-12-10
KR102275853B1 true KR102275853B1 (ko) 2021-07-12

Family

ID=72425688

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207031319A KR102275853B1 (ko) 2019-05-31 2020-03-24 제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스들
KR1020217021047A KR102353685B1 (ko) 2019-05-31 2020-03-24 제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스들

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217021047A KR102353685B1 (ko) 2019-05-31 2020-03-24 제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스들

Country Status (7)

Country Link
US (4) US10904029B2 (ko)
EP (2) EP3769200A1 (ko)
JP (4) JP6934577B2 (ko)
KR (2) KR102275853B1 (ko)
CN (3) CN112334862A (ko)
AU (4) AU2020257092B2 (ko)
WO (1) WO2020242563A1 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016036436A1 (en) 2014-09-02 2016-03-10 Apple Inc. Stopwatch and timer user interfaces
US11782570B2 (en) * 2017-02-23 2023-10-10 Jue-Hsuan Hsiao Integration platform of internet of things and virtual device
FR3063364B1 (fr) * 2017-02-28 2022-08-19 Mathieu Dufourcq Salle de sport de type "fitness"
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
USD926205S1 (en) * 2019-02-15 2021-07-27 Canva Pty Ltd Display screen or portion thereof with a graphical user interface
USD926797S1 (en) * 2019-02-15 2021-08-03 Canva Pty Ltd Display screen or portion thereof with a graphical user interface
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
CN117170620A (zh) 2019-05-31 2023-12-05 苹果公司 用于音频媒体控件的用户界面
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
USD946011S1 (en) * 2019-08-14 2022-03-15 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD946010S1 (en) * 2019-08-14 2022-03-15 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD921669S1 (en) * 2019-09-09 2021-06-08 Apple Inc. Display screen or portion thereof with animated graphical user interface
JP7335794B2 (ja) * 2019-11-20 2023-08-30 シュナイダーエレクトリックホールディングス株式会社 情報処理装置及び設定装置
US11280512B2 (en) * 2019-12-04 2022-03-22 Ademco Inc. Digital HVAC controller with carousel screens
US11686493B2 (en) 2019-12-04 2023-06-27 Ademco Inc. Digital HVAC controller for navigating information based on two or more inputs
USD1018575S1 (en) * 2019-12-09 2024-03-19 Caterpillar Inc. Display screen having a graphical user interface
USD950575S1 (en) * 2020-01-28 2022-05-03 Johnson Controls Tyco IP Holdings LLP Display screen or portion thereof with graphical user interface
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
USD944829S1 (en) * 2020-05-14 2022-03-01 Lutron Technology Company Llc Display screen or portion thereof with graphical user interface
USD947234S1 (en) 2020-07-23 2022-03-29 Lutron Technology Company Llc Display screen or portion thereof with animated graphical user interface
USD960897S1 (en) * 2020-07-27 2022-08-16 Lutron Technology Company Llc Display screen or portion thereof with graphical user interface
USD960896S1 (en) * 2020-07-27 2022-08-16 Lutron Technology Company Llc Display screen or portion thereof with graphical user interface
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
USD989091S1 (en) * 2020-09-29 2023-06-13 Huawei Technologies Co., Ltd. Display screen or portion thereof with graphical user interface
USD988354S1 (en) * 2020-09-29 2023-06-06 Yokogawa Electric Corporation Display screen or portion thereof with transitional graphical user interface
USD971952S1 (en) * 2020-12-21 2022-12-06 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD995560S1 (en) * 2021-01-08 2023-08-15 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
WO2022155609A1 (en) * 2021-01-18 2022-07-21 Apple Inc. Configuring accessories
US11758035B2 (en) 2021-01-18 2023-09-12 Apple Inc. User interface for configuring external accessories with accessory device management applications
USD997184S1 (en) * 2021-03-19 2023-08-29 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD997185S1 (en) * 2021-09-16 2023-08-29 7ollar Corp FedNow IP Holdings Display screen portion with animated graphical user interface
USD997955S1 (en) * 2021-09-22 2023-09-05 Axiomatic Data LLC Display panel portion with a computer icon
CN117879981A (zh) * 2022-10-12 2024-04-12 华为技术有限公司 显示方法及电子设备
KR20240057213A (ko) * 2022-10-24 2024-05-02 삼성전자주식회사 이웃 디바이스를 제어 가능한 전자 디바이스 및 그 제어 방법

Family Cites Families (675)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
US5086385A (en) 1989-01-31 1992-02-04 Custom Command Systems Expandable home automation system
JP3128126B2 (ja) 1990-02-21 2001-01-29 カシオ計算機株式会社 ストップウォッチ
US5202961A (en) 1990-06-08 1993-04-13 Apple Computer, Inc. Sequential information controller
JPH04175921A (ja) 1990-11-09 1992-06-23 Hitachi Ltd 宅内情報盤
JP3465914B2 (ja) 1992-12-01 2003-11-10 松下電器産業株式会社 シーン制御処理装置
EP0626635B1 (en) 1993-05-24 2003-03-05 Sun Microsystems, Inc. Improved graphical user interface with method for interfacing to remote devices
US6456306B1 (en) 1995-06-08 2002-09-24 Nortel Networks Limited Method and apparatus for displaying health status of network devices
US5795301A (en) 1995-08-31 1998-08-18 Seiko Epson Corporation Display method used in portable pulse measuring device
US6140987A (en) * 1996-09-18 2000-10-31 Intellinet, Inc. User interface for home automation system
US20030093790A1 (en) 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
US5974235A (en) 1996-10-31 1999-10-26 Sensormatic Electronics Corporation Apparatus having flexible capabilities for analysis of video information
US20020002039A1 (en) 1998-06-12 2002-01-03 Safi Qureshey Network-enabled audio device
CN1151704C (zh) 1998-01-23 2004-05-26 音响株式会社 声像定位装置和方法
EP1058924B1 (en) 1998-01-26 2012-06-13 Apple Inc. Method and apparatus for integrating manual input
US7831930B2 (en) 2001-11-20 2010-11-09 Universal Electronics Inc. System and method for displaying a user interface for a remote control application
EP1057302A1 (en) 1998-12-29 2000-12-06 Koninklijke Philips Electronics N.V. Home control system with distributed network devices
US6901439B1 (en) 1999-01-22 2005-05-31 Leviton Manufacturing Co., Inc. Method of adding a device to a network
US6262724B1 (en) 1999-04-15 2001-07-17 Apple Computer, Inc. User interface for presenting media information
US7293280B1 (en) 1999-07-08 2007-11-06 Microsoft Corporation Skimming continuous multimedia content
AUPQ217399A0 (en) 1999-08-12 1999-09-02 Honeywell Limited Realtime digital video server
KR100346263B1 (ko) 1999-11-05 2002-07-26 엘지전자주식회사 멀티미디어 스트림의 브라우징, 편집, 인덱싱을 위한 다단계 위치/구간 지정 방법
WO2001050684A1 (en) 1999-12-30 2001-07-12 C-Smart Llc Method and apparatus for providing distributed control of a home automation system
EP1133119B1 (en) 2000-03-10 2006-12-13 Nokia Corporation Proximity based service adaption
KR100351815B1 (ko) 2000-03-13 2002-09-11 엘지전자 주식회사 홈 네트워크 환경에서의 기기 제어 방법
JP4325071B2 (ja) 2000-04-07 2009-09-02 ソニー株式会社 デジタルビデオ再生方法及びデジタルビデオ再生装置
JP4434424B2 (ja) 2000-04-18 2010-03-17 株式会社ルネサステクノロジ ホームエレクトロニクスシステム、ホームサーバ装置およびコンピュータをホームサーバ装置として機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体
US6483986B1 (en) 2000-05-26 2002-11-19 Keen Personal Media, Inc. Method and apparatus for recording streaming video data upon selection of alternative subject matter
US20050275626A1 (en) 2000-06-21 2005-12-15 Color Kinetics Incorporated Entertainment lighting system
CN100409358C (zh) 2000-09-08 2008-08-06 皇家菲利浦电子有限公司 提供一种彩色滑动条的再现装置
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US6912429B1 (en) 2000-10-19 2005-06-28 Destiny Networks, Inc. Home automation system and method
AU2002225810A1 (en) 2000-11-02 2002-05-15 Sony Electronics Inc. Content and application download based on a home network system configuration profile
US6678413B1 (en) 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US7380216B2 (en) 2000-11-30 2008-05-27 International Business Machines Corporation Zoom-capable scrollbar
US7401351B2 (en) 2000-12-14 2008-07-15 Fuji Xerox Co., Ltd. System and method for video navigation and client side indexing
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
TW591353B (en) 2001-02-23 2004-06-11 Asulab Sa Portable object including means for activating an electronic function and method for controlling such an electronic function
US7428023B2 (en) 2001-04-19 2008-09-23 Digeo, Inc. Remote control device with integrated display screen for controlling a digital video recorder
US7904814B2 (en) 2001-04-19 2011-03-08 Sharp Laboratories Of America, Inc. System for presenting audio-video content
US6757517B2 (en) 2001-05-10 2004-06-29 Chin-Chi Chang Apparatus and method for coordinated music playback in wireless ad-hoc networks
JP4293583B2 (ja) 2001-07-13 2009-07-08 株式会社バンダイナムコゲームス 情報配信システムおよび情報記憶媒体
US20030110511A1 (en) 2001-12-11 2003-06-12 Schutte Mark E. Controlling personal video recording functions from interactive television
KR20040062992A (ko) 2001-12-14 2004-07-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 휴대용 장치를 사용하는 상호 작용을 가능하게 하는 방법
US20030112938A1 (en) 2001-12-17 2003-06-19 Memcorp, Inc. Telephone answering machine and method employing caller identification data
CA2430403C (en) 2002-06-07 2011-06-21 Hiroyuki Hashimoto Sound image control system
US7933945B2 (en) 2002-06-27 2011-04-26 Openpeak Inc. Method, system, and computer program product for managing controlled residential or non-residential environments
US6792323B2 (en) 2002-06-27 2004-09-14 Openpeak Inc. Method, system, and computer program product for managing controlled residential or non-residential environments
US7656393B2 (en) 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
JP3978599B2 (ja) 2002-09-19 2007-09-19 三和シヤッター工業株式会社 ホームネットワークシステム
JP4340566B2 (ja) 2003-04-01 2009-10-07 株式会社リコー Ｗｅｂページ生成装置、組み込み装置、Ｗｅｂページ生成の制御方法、Ｗｅｂページ生成プログラム及び記録媒体
JP4062171B2 (ja) 2003-05-28 2008-03-19 ソニー株式会社 積層構造の製造方法
GB0312465D0 (en) 2003-05-30 2003-07-09 Therefore Ltd A data input method for a computing device
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US7571014B1 (en) 2004-04-01 2009-08-04 Sonos, Inc. Method and apparatus for controlling multimedia players in a multi-zone system
EP1513084A1 (de) 2003-09-02 2005-03-09 Liechti Ag Verfahren zur zeitlichen Akzeptanz von Einrichtungen, eine hierzu verwendbare Anordnung sowie Gerätschaften
WO2005027068A1 (en) 2003-09-12 2005-03-24 Canon Kabushiki Kaisha Streaming non-continuous video data
US7363028B2 (en) 2003-11-04 2008-04-22 Universal Electronics, Inc. System and method for controlling device location determination
US9754480B2 (en) 2003-11-04 2017-09-05 Universal Electronics Inc. System and method for controlling device location determination
RU2336647C2 (ru) 2003-12-01 2008-10-20 Самсунг Электроникс Ко., Лтд. Система домашней сети и способ для нее
US20050163345A1 (en) 2003-12-03 2005-07-28 Safehouse International Limited Analysing image data
US7305438B2 (en) 2003-12-09 2007-12-04 International Business Machines Corporation Method and system for voice on demand private message chat
US7079454B2 (en) 2003-12-23 2006-07-18 Alexander Wellen Tactile timepiece
EP1555772A3 (en) 2004-01-15 2013-07-17 Yamaha Corporation Remote control method of external devices
US7292245B2 (en) 2004-01-20 2007-11-06 Sensitron, Inc. Method and apparatus for time series graph display
US7697729B2 (en) 2004-01-29 2010-04-13 Authentec, Inc. System for and method of finger initiated actions
US7092768B1 (en) 2004-03-09 2006-08-15 Liquid Sky Studios, Inc. Distributed control system
US9374607B2 (en) 2012-06-26 2016-06-21 Sonos, Inc. Media playback system with guest access
US8028323B2 (en) 2004-05-05 2011-09-27 Dryden Enterprises, Llc Method and system for employing a first device to direct a networked audio device to obtain a media item
US7197121B2 (en) 2004-06-30 2007-03-27 Glenayre Electronics, Inc. Audio chunking
US20060013554A1 (en) 2004-07-01 2006-01-19 Thomas Poslinski Commercial storage and retrieval
US7730223B1 (en) * 2004-07-30 2010-06-01 Apple Inc. Wireless home and office appliance management and integration
US20100081375A1 (en) 2008-09-30 2010-04-01 Apple Inc. System and method for simplified control of electronic devices
US7562299B2 (en) 2004-08-13 2009-07-14 Pelco, Inc. Method and apparatus for searching recorded video
US8566879B2 (en) 2004-09-28 2013-10-22 Sony Corporation Method and apparatus for navigating video content
US7254516B2 (en) 2004-12-17 2007-08-07 Nike, Inc. Multi-sensor monitoring of athletic performance
US7683889B2 (en) 2004-12-21 2010-03-23 Microsoft Corporation Pressure based selection
US20060171453A1 (en) 2005-01-04 2006-08-03 Rohlfing Thomas R Video surveillance system
US7536565B2 (en) 2005-01-07 2009-05-19 Apple Inc. Techniques for improved playlist processing on media devices
US20060161621A1 (en) 2005-01-15 2006-07-20 Outland Research, Llc System, method and computer program product for collaboration and synchronization of media content on a plurality of media players
US7843491B2 (en) 2005-04-05 2010-11-30 3Vr Security, Inc. Monitoring and presenting video surveillance data
US7769819B2 (en) 2005-04-20 2010-08-03 Videoegg, Inc. Video editing with timeline representations
US8244179B2 (en) 2005-05-12 2012-08-14 Robin Dua Wireless inter-device data processing configured through inter-device transmitted data
CN100440947C (zh) 2005-05-13 2008-12-03 海尔集团公司 一种多功能电视机
US9743266B2 (en) 2005-05-23 2017-08-22 Invention Science Fund I, Llc Device pairing via device to device contact
US20060280186A1 (en) 2005-06-10 2006-12-14 Interdigital Technology Corporation All IP network with server for dynamically downloading management policies to diverse IP networks and converged IP communication units
JP2006350819A (ja) 2005-06-17 2006-12-28 Toshiba Corp 家電機器制御システム
AU2005202866A1 (en) 2005-06-29 2007-01-18 Canon Kabushiki Kaisha Storing video data in a video file
WO2007009238A1 (en) 2005-07-19 2007-01-25 March Networks Corporation Temporal data previewing system
US7567898B2 (en) 2005-07-26 2009-07-28 Broadcom Corporation Regulation of volume of voice in conjunction with background sound
US8892629B2 (en) 2005-09-01 2014-11-18 Samsung Electronics Co., Ltd. System and method for displaying a virtual meeting room
US7415310B2 (en) 2005-09-15 2008-08-19 Intermatic Incorporated System for home automation
US7849323B2 (en) 2005-11-09 2010-12-07 Emc Corporation Password presentation for multimedia devices
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
KR101263392B1 (ko) 2006-01-09 2013-05-21 삼성전자주식회사 홈네트워크 원격 제어기의 비밀키를 이용한 소유권 공유방법 및 장치
US8954852B2 (en) 2006-02-03 2015-02-10 Sonic Solutions, Llc. Adaptive intervals in navigating content and/or media
BRPI0621315A2 (pt) 2006-02-10 2011-12-06 Strands Inc entretenimento interativo dinámico
US8516087B2 (en) 2006-02-14 2013-08-20 At&T Intellectual Property I, L.P. Home automation system and method
US8001219B2 (en) 2006-03-16 2011-08-16 Exceptional Innovation, Llc User control interface for convergence and automation system
DE102006033134A1 (de) 2006-07-18 2008-01-24 Abb Patent Gmbh Anzeige- und Bediengerät der Gebäudesystemtechnik
US8572169B2 (en) 2006-08-28 2013-10-29 Myspace, Llc System, apparatus and method for discovery of music within a social network
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7771112B2 (en) 2006-09-10 2010-08-10 Nike, Inc. Watch band or other wrist-borne device assemblies
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8645463B2 (en) 2006-09-25 2014-02-04 Cisco Technology, Inc. Methods and apparatuses for managing resources within a virtual room
US20080091717A1 (en) 2006-09-27 2008-04-17 Zachary Adam Garbow Generation of Collaborative Playlist Based Upon Musical Preference Data from Multiple Digital Media Players
US7983614B2 (en) 2006-09-29 2011-07-19 Sony Ericsson Mobile Communications Ab Handover for audio and video playback devices
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US8519963B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture on a touch screen display
US20080168395A1 (en) 2007-01-07 2008-07-10 Bas Ording Positioning a Slider Icon on a Portable Multifunction Device
US20100106647A1 (en) 2007-02-28 2010-04-29 Raja Raman Method and system for close range communication using audio tones
JP4312804B2 (ja) 2007-03-01 2009-08-12 株式会社日立国際電気 記録内容表示プログラム及び記録内容表示装置
DE602007007581D1 (de) 2007-04-17 2010-08-19 Harman Becker Automotive Sys Akustische Lokalisierung eines Sprechers
US8483413B2 (en) 2007-05-04 2013-07-09 Bose Corporation System and method for directionally radiating sound
US8325936B2 (en) 2007-05-04 2012-12-04 Bose Corporation Directionally radiating sound in a vehicle
US8068925B2 (en) 2007-06-28 2011-11-29 Apple Inc. Dynamic routing of audio among multiple audio devices
EP2018032A1 (en) 2007-07-20 2009-01-21 Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO Identification of proximate mobile devices
EP2056627A1 (en) 2007-10-30 2009-05-06 SonicEmotion AG Method and device for improved sound field rendering accuracy within a preferred listening area
KR101407636B1 (ko) 2007-11-05 2014-06-16 삼성전자주식회사 영상 표시 장치 및 그 제어 방법
US8818941B2 (en) 2007-11-11 2014-08-26 Microsoft Corporation Arrangement for synchronizing media files with portable devices
US8943539B2 (en) 2007-11-21 2015-01-27 Rovi Guides, Inc. Enabling a friend to remotely modify user data
WO2009067670A1 (en) 2007-11-21 2009-05-28 Gesturetek, Inc. Media preferences
US20090153289A1 (en) 2007-12-12 2009-06-18 Eric James Hope Handheld electronic devices with bimodal remote control functionality
JP2008099330A (ja) 2007-12-18 2008-04-24 Sony Corp 情報処理装置、携帯電話機
WO2009086599A1 (en) 2008-01-07 2009-07-16 Avega Systems Pty Ltd A user interface for managing the operation of networked media playback devices
USRE48946E1 (en) 2008-01-07 2022-02-22 D&M Holdings, Inc. Systems and methods for providing a media playback in a networked environment
KR101503714B1 (ko) 2008-02-05 2015-03-20 삼성전자주식회사 Ｇｕｉ 제공방법 및 이를 적용한 멀티미디어 기기
US20090232028A1 (en) 2008-03-11 2009-09-17 Aaron Baalbergen Configuration systems and methods for utilizing location information to configure devices in application systems
WO2009123694A2 (en) 2008-03-31 2009-10-08 Packetvideo Corp. System and method for managing, controlling and/or rendering media in a network
JP2009295147A (ja) 2008-05-07 2009-12-17 Hoya Corp スクロール表示可能な情報処理装置
US20090299810A1 (en) 2008-05-09 2009-12-03 Jardine Joseph M Combining tasks and events
GB2460306B (en) 2008-05-29 2013-02-13 Intrasonics Sarl Data embedding system
US8630192B2 (en) 2009-01-28 2014-01-14 Headwater Partners I Llc Verifiable and accurate service usage monitoring for intermediate networking devices
US20090304205A1 (en) 2008-06-10 2009-12-10 Sony Corporation Of Japan Techniques for personalizing audio levels
US8977710B2 (en) 2008-06-18 2015-03-10 Qualcomm, Incorporated Remote selection and authorization of collected media transmission
US20170185277A1 (en) 2008-08-11 2017-06-29 Icontrol Networks, Inc. Automation system user interface
KR101524616B1 (ko) 2008-07-07 2015-06-02 엘지전자 주식회사 자이로센서를 구비한 휴대 단말기 및 그 제어방법
KR101446521B1 (ko) 2008-08-12 2014-11-03 삼성전자주식회사 터치 스크린의 정보 스크롤 제어 방법 및 장치
US8213463B2 (en) 2008-09-04 2012-07-03 Savant Systems, Llc Location-based sharing of multimedia control resources
US20100064255A1 (en) 2008-09-05 2010-03-11 Apple Inc. Contextual menus in an electronic device
US20100070490A1 (en) 2008-09-17 2010-03-18 Eloy Technology, Llc System and method for enhanced smart playlists with aggregated media collections
KR20210152028A (ko) 2008-11-10 2021-12-14 구글 엘엘씨 멀티센서 음성 검출
US20100138007A1 (en) 2008-11-21 2010-06-03 Qwebl, Inc. Apparatus and method for integration and setup of home automation
FR2939554B1 (fr) 2008-12-10 2015-08-21 Somfy Sas Procede de fonctionnement d'un systeme domotique
KR101476088B1 (ko) 2008-12-18 2014-12-23 닛본 덴끼 가부시끼가이샤 슬라이드바 디스플레이 제어 장치 및 슬라이드바 디스플레이 제어 방법
USD736254S1 (en) 2008-12-26 2015-08-11 Sony Corporation Display panel or screen with an icon
KR101467796B1 (ko) 2009-01-12 2014-12-10 엘지전자 주식회사 이동단말기 및 그 제어 방법
US8363866B2 (en) 2009-01-30 2013-01-29 Panasonic Automotive Systems Company Of America Audio menu navigation method
US20100201815A1 (en) 2009-02-09 2010-08-12 Vitamin D, Inc. Systems and methods for video monitoring
US8243949B2 (en) 2009-04-14 2012-08-14 Plantronics, Inc. Network addressible loudspeaker and audio play
KR101549011B1 (ko) 2009-04-21 2015-09-01 엘지전자 주식회사 이동 단말기 및 이것의 방송 정보 디스플레이 방법
US9141087B2 (en) 2009-04-26 2015-09-22 Nike, Inc. Athletic watch
CN104793482B (zh) 2009-04-26 2019-01-04 耐克创新有限合伙公司 运动手表
US8214494B1 (en) 2009-05-18 2012-07-03 Alarm.Com Incorporated Network device management technology
KR20100132705A (ko) 2009-06-10 2010-12-20 삼성전자주식회사 컨텐츠 리스트 제공방법 및 이를 적용한 멀티미디어 기기
US8281244B2 (en) 2009-06-11 2012-10-02 Apple Inc. User interface for media playback
US8938675B2 (en) 2009-06-16 2015-01-20 Harman International Industries, Incorporated System for automated generation of audio/video control interfaces
EP2454712A4 (en) 2009-07-16 2013-01-23 Bluefin Labs Inc DETERMINATION AND DISPLAY OF SOCIAL INTERESTS IN TIME-BASED MEDIA
US8935204B2 (en) 2009-08-14 2015-01-13 Aframe Media Services Limited Metadata tagging of moving and still image content
KR20110022980A (ko) 2009-08-28 2011-03-08 한국산업기술대학교산학협력단 기상 및 시간 정보를 이용하여 감성조명을 제어하기 위한 장치 및 그 방법
CN105374192A (zh) * 2009-09-01 2016-03-02 Lg电子株式会社 用于控制外部装置及其远程控制器的方法
ITMI20091600A1 (it) 2009-09-18 2011-03-19 March Networks Corp Tolleranza ai guasti in un sistema di video sorveglianza
US8594980B2 (en) * 2009-09-18 2013-11-26 Verizon Patent And Licensing Inc. Method and apparatus of template model view generation for home monitoring and control
JP2011124665A (ja) 2009-12-08 2011-06-23 Mitsubishi Electric Corp リモートコントロール装置及び設備機器システム
CA2783791C (en) 2009-12-09 2017-01-03 Nike International Ltd. Athletic performance monitoring system utilizing heart rate information
KR20110067492A (ko) 2009-12-14 2011-06-22 삼성전자주식회사 Ｇｕｉ 제공방법 및 이를 적용한 멀티미디어 기기
US8458780B1 (en) 2009-12-21 2013-06-04 Emc Corporation Pluggable login architecture and dynamic resource recognition
KR20110074024A (ko) 2009-12-24 2011-06-30 삼성전자주식회사 멀티미디어 기기
KR20110077260A (ko) 2009-12-30 2011-07-07 주식회사 아이리버 애플리케이션과 상호작용하는 컨트롤 키를 제공하는 모바일 디바이스 및 그 방법
US8943415B2 (en) 2010-01-08 2015-01-27 Microsoft Corporation Third party control of location information access
KR20110093040A (ko) 2010-02-11 2011-08-18 엘지전자 주식회사 피사체 감시 장치 및 방법
US9058186B2 (en) 2010-04-07 2015-06-16 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US8787618B2 (en) 2010-04-13 2014-07-22 Sony Corporation Content information processing device, content information processing method, content information processing program, and personal digital assistant
US8111589B2 (en) 2010-04-15 2012-02-07 Joel Vidal Digital wristwatch, digital watch, and digital clock
US8638222B2 (en) 2010-04-19 2014-01-28 Microsoft Corporation Controllable device selection based on controller location
WO2011143273A1 (en) * 2010-05-10 2011-11-17 Icontrol Networks, Inc Control system user interface
WO2011142131A1 (ja) 2010-05-11 2011-11-17 パナソニック株式会社 電気機器制御システム、サーバ、電気機器及び電気機器制御方法
WO2011146898A2 (en) 2010-05-21 2011-11-24 Bologh Mark J Internet system for ultra high video quality
US20110291971A1 (en) 2010-05-28 2011-12-01 Funai Electric Co., Ltd. Highly Integrated Touch Screen Handheld Device
DE202010010266U1 (de) 2010-07-06 2010-10-14 Holzma Plattenaufteiltechnik Gmbh Plattenaufteilanlage
CN103329560B (zh) 2010-08-26 2017-02-08 泰瑞克·塔勒布 用于创建为社交网络定制的多媒体内容频道的系统和方法
US8854318B2 (en) 2010-09-01 2014-10-07 Nokia Corporation Mode switching
US9445135B2 (en) 2010-09-17 2016-09-13 Futurewei Technologies, Inc. Method and apparatus for scrub preview services
JP5627092B2 (ja) 2010-09-29 2014-11-19 株式会社セキュリティハウス・センター セキュリティシステム
US8923997B2 (en) 2010-10-13 2014-12-30 Sonos, Inc Method and apparatus for adjusting a speaker system
EP2633647B1 (en) 2010-10-27 2019-05-01 Telefonaktiebolaget LM Ericsson (publ) Authorizing an electronic device to control a media rendering unit
US20120115608A1 (en) 2010-11-05 2012-05-10 Howard Pfeifer Method and apparatus for controlling an audio parameter of a plurality of wagering game machines
KR101695398B1 (ko) 2010-12-01 2017-01-11 삼성에스디에스 주식회사 서브 단말에서의 홈 오토메이션 구성 기기 제어 장치 및 방법
JP5649425B2 (ja) 2010-12-06 2015-01-07 株式会社東芝 映像検索装置
WO2012078971A2 (en) 2010-12-10 2012-06-14 Rockefeller Consulting Technology Integration, Inc. Systems and methods for integrating personal social networks within an organization
WO2012085794A1 (en) 2010-12-22 2012-06-28 Koninklijke Philips Electronics N.V. Control of building automation systems
KR101924974B1 (ko) 2011-01-04 2018-12-04 삼성전자주식회사 이동통신 단말기에서 주변 디바이스를 원격 제어하기 위한 장치 및 방법
US20120169583A1 (en) 2011-01-05 2012-07-05 Primesense Ltd. Scene profiles for non-tactile user interfaces
KR101841574B1 (ko) 2011-01-06 2018-03-23 삼성전자 주식회사 동영상 장면 검색 방법 및 이를 지원하는 휴대 단말기
US8655345B2 (en) 2011-01-08 2014-02-18 Steven K. Gold Proximity-enabled remote control
US9684394B2 (en) 2011-01-10 2017-06-20 Apple Inc. Button functionality
US9049494B2 (en) 2011-01-31 2015-06-02 Cbs Interactive, Inc. Media playback control
WO2012104288A1 (en) 2011-02-03 2012-08-09 Telefonaktiebolaget L M Ericsson (Publ) A device having a multipoint sensing surface
US20120210226A1 (en) 2011-02-11 2012-08-16 Sony Network Entertainment International Llc Method to playback a recently-played asset via a second display
US20120222092A1 (en) 2011-02-25 2012-08-30 Qualcomm Incorporated Controlling access to media for an electronic device
FR2973186A1 (fr) 2011-03-22 2012-09-28 Sagemcom Broadband Sas Procede et dispositif de configuration sur la base de regles de gestion
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
US9727124B2 (en) 2011-04-19 2017-08-08 Apple Inc. Power saving application update in a portable electronic device
US8489065B2 (en) 2011-05-03 2013-07-16 Robert M Green Mobile device controller application for any security system
US9141616B2 (en) 2011-05-06 2015-09-22 Google Inc. Physical confirmation for network-provided content
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US8638385B2 (en) 2011-06-05 2014-01-28 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
JP2013007921A (ja) 2011-06-24 2013-01-10 Sony Corp 音制御装置、プログラム及び制御方法
US9639506B2 (en) * 2011-07-07 2017-05-02 Honeywell International Inc. Interface for home energy manager
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
US20130027289A1 (en) 2011-07-27 2013-01-31 Lg Electronics Inc. Electronic device
US10706096B2 (en) 2011-08-18 2020-07-07 Apple Inc. Management of local and remote media items
US8750677B2 (en) 2011-08-23 2014-06-10 Microsoft Corporation Method for transferring media playback from a different device
KR101962445B1 (ko) 2011-08-30 2019-03-26 삼성전자 주식회사 터치 스크린을 갖는 휴대 단말기 및 그의 사용자 인터페이스 제공 방법
US9286384B2 (en) 2011-09-21 2016-03-15 Sonos, Inc. Methods and systems to share media
US9052810B2 (en) 2011-09-28 2015-06-09 Sonos, Inc. Methods and apparatus to manage zones of a multi-zone media playback system
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US8917877B2 (en) 2011-10-12 2014-12-23 Sony Corporation Distance-based rendering of media files
KR101820734B1 (ko) 2011-10-14 2018-03-13 삼성전자 주식회사 모바일 단말기를 위한 동적 잠금 해제 방법 및 장치
CN103068095A (zh) 2011-10-21 2013-04-24 扬升照明股份有限公司 照明系统及照明系统的控制方法
JP5908253B2 (ja) 2011-10-28 2016-04-26 シャープ株式会社 機器制御装置及び機器制御方法
US9582178B2 (en) * 2011-11-07 2017-02-28 Immersion Corporation Systems and methods for multi-pressure interaction on touch-sensitive surfaces
US8839109B2 (en) 2011-11-14 2014-09-16 Utc Fire And Security Americas Corporation, Inc. Digital video system with intelligent video selection timeline
US9031847B2 (en) 2011-11-15 2015-05-12 Microsoft Technology Licensing, Llc Voice-controlled camera operations
US8655385B2 (en) 2011-11-18 2014-02-18 Blackberry Limited Social networking methods and apparatus for use in facilitating participation in user-relevant social groups
FR2983177B1 (fr) 2011-11-29 2014-06-06 Airbus Operations Sas Dispositif de dialogue interactif entre un operateur d'un aeronef et un systeme de guidage dudit aeronef.
EP2602677B1 (en) 2011-12-05 2018-02-21 Nxp B.V. Localization method, computer program product and localization device
US9245020B2 (en) 2011-12-14 2016-01-26 Microsoft Technology Licensing, Llc Collaborative media sharing
US20130162411A1 (en) 2011-12-22 2013-06-27 Qualcomm Incorporated Method and apparatus to adapt a remote control user interface
US20130225152A1 (en) 2011-12-23 2013-08-29 Microsoft Corporation Automatically quieting mobile devices
US20130305354A1 (en) 2011-12-23 2013-11-14 Microsoft Corporation Restricted execution modes
US9247492B2 (en) 2011-12-29 2016-01-26 Sonos, Inc. Systems and methods for multi-network audio control
US9191699B2 (en) 2011-12-29 2015-11-17 Sonos, Inc. Systems and methods for connecting an audio controller to a hidden audio network
US9436929B2 (en) 2012-01-24 2016-09-06 Verizon Patent And Licensing Inc. Collaborative event playlist systems and methods
WO2013115748A1 (en) 2012-01-30 2013-08-08 Echostar Ukraine, L.L.C. Apparatus, systems and methods for adjusting output audio volume based on user location
GB2500566A (en) 2012-01-31 2013-10-02 Avolites Ltd Automated lighting control system allowing three dimensional control and user interface gesture recognition
JP5906097B2 (ja) 2012-01-31 2016-04-20 キヤノン株式会社 電子機器、その制御方法、プログラム、及び記録媒体
KR101527038B1 (ko) 2012-02-24 2015-06-08 엘지전자 주식회사 이동 단말기 및 그 제어 방법, 이를 위한 기록 매체
US8725113B2 (en) 2012-03-12 2014-05-13 Google Inc. User proximity control of devices
US8751577B2 (en) 2012-03-15 2014-06-10 Google Inc. Methods and systems for ordering and voting on shared media playlists
US10469897B2 (en) 2012-03-19 2019-11-05 Sonos, Inc. Context-based user music menu systems and methods
US9583148B2 (en) 2012-04-09 2017-02-28 Imageview Media Inc. Systems and methods for providing electronic cues for time-based media
US10142122B1 (en) * 2012-04-11 2018-11-27 Google Llc User interfaces, systems and methods for configuring smart devices for interoperability with a smart hub device
KR20130115611A (ko) 2012-04-12 2013-10-22 엘지전자 주식회사 조명 장치 및 디바이스를 이용한 조명 제어 방법
GB201206564D0 (en) 2012-04-13 2012-05-30 Intrasonics Sarl Event engine synchronisation
US20140150029A1 (en) 2012-04-18 2014-05-29 Scorpcast, Llc System and methods for providing user generated video reviews
US9507327B2 (en) 2012-04-20 2016-11-29 Liaison Home Automation, Llc Systems and methods for controlling home and commercial environments including one touch and intuitive functionality
KR20130123053A (ko) 2012-05-02 2013-11-12 삼성전자주식회사 멀티미디어 확장 탐색 방법과 그 멀티미디어 재생 장치
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US10235014B2 (en) 2012-05-09 2019-03-19 Apple Inc. Music user interface
US9632685B2 (en) 2012-05-31 2017-04-25 Eric Qing Li Method of navigating through a media program displayed on a portable electronic device in a magnified time scale
US10156455B2 (en) 2012-06-05 2018-12-18 Apple Inc. Context-aware voice guidance
US8971556B2 (en) 2012-06-10 2015-03-03 Apple Inc. Remotely controlling a hearing device
US20130339865A1 (en) 2012-06-11 2013-12-19 WiFiZapper, Inc Method and system for controlling network access
US9071453B2 (en) 2012-06-11 2015-06-30 Apple Inc. Location-based device automation
US9433032B1 (en) 2012-06-14 2016-08-30 Cisco Technology, Inc. Interface selection for quality of service enforcement
US8880648B1 (en) 2012-06-27 2014-11-04 Audible, Inc. Automated transition of content consumption across devices
US10437454B2 (en) 2012-07-09 2019-10-08 Facebook, Inc. Dynamically scaled navigation system for social network data
US8886785B2 (en) 2012-07-17 2014-11-11 The Procter & Gamble Company Home network of connected consumer devices
US9621371B2 (en) 2012-07-24 2017-04-11 Honeywell International Inc. Wireless sensor device with wireless remote programming
US8995687B2 (en) 2012-08-01 2015-03-31 Sonos, Inc. Volume interactions for connected playback devices
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
US9736265B2 (en) 2012-08-09 2017-08-15 Facebook, Inc. Handling notifications
EP2885956A1 (en) 2012-08-16 2015-06-24 Koninklijke Philips N.V. Controlling a system comprising one or more controllable device
KR101971911B1 (ko) 2012-08-16 2019-04-24 삼성전자주식회사 이미지를 디스플레이하기 위한 방법 및 그 전자 장치
JP2014045258A (ja) 2012-08-24 2014-03-13 Toshiba Corp 遠隔操作装置
JP6051681B2 (ja) 2012-08-24 2016-12-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9397852B2 (en) 2012-08-31 2016-07-19 Verizon Patent And Licensing Inc. Connected home user interface systems and methods
US8954853B2 (en) 2012-09-06 2015-02-10 Robotic Research, Llc Method and system for visualization enhancement for situational awareness
CN103677711B (zh) 2012-09-10 2018-07-20 三星电子株式会社 连接移动终端和外部显示器的方法和实现该方法的装置
US20140075311A1 (en) 2012-09-11 2014-03-13 Jesse William Boettcher Methods and apparatus for controlling audio volume on an electronic device
US8855793B2 (en) 2012-09-12 2014-10-07 Zuli, Inc. System for learning equipment schedules
KR101992189B1 (ko) 2012-09-19 2019-06-24 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR102070196B1 (ko) 2012-09-20 2020-01-30 삼성전자 주식회사 사용자 디바이스에서 상황 인식 서비스 제공 방법 및 장치
US10042603B2 (en) 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
US20140087685A1 (en) 2012-09-21 2014-03-27 Cheryl Kellond More efficient display and control for wearable sports instrumentation
US9251787B1 (en) 2012-09-26 2016-02-02 Amazon Technologies, Inc. Altering audio to improve automatic speech recognition
JP2014071835A (ja) 2012-10-01 2014-04-21 Fujitsu Ltd 電子機器及び処理制御方法
RU2533445C2 (ru) 2012-10-02 2014-11-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Автоматическое распознавание и съемка объекта
CN102915630A (zh) 2012-10-10 2013-02-06 鸿富锦精密工业（深圳）有限公司 远程门铃控制系统及其智能门铃装置
JP2014087126A (ja) 2012-10-22 2014-05-12 Sharp Corp 電力管理装置、電力管理装置の制御方法および電力管理装置の制御プログラム
CN103347116A (zh) 2012-11-09 2013-10-09 北京深思洛克软件技术股份有限公司 一种在智能手机中设置多安全模式的系统和方法
CN102932216A (zh) 2012-11-12 2013-02-13 北京圣岩迅科技发展有限公司 智能家居无线网元管理系统
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US8745500B1 (en) 2012-12-10 2014-06-03 VMIX Media, Inc. Video editing, enhancement and distribution platform for touch screen computing devices
KR102058918B1 (ko) 2012-12-14 2019-12-26 삼성전자주식회사 홈 모니터링 방법 및 장치
US20150243163A1 (en) 2012-12-14 2015-08-27 Biscotti Inc. Audio Based Remote Control Functionality
JP6103350B2 (ja) 2012-12-18 2017-03-29 カシオ計算機株式会社 運動支援装置、運動支援方法および運動支援プログラム
US9294853B1 (en) 2012-12-28 2016-03-22 Google Inc. Audio control process
US10320803B2 (en) 2012-12-28 2019-06-11 Dish Technologies Llc Determining eligibility for multiple client media streaming
JP6158947B2 (ja) 2012-12-29 2017-07-05 アップル インコーポレイテッド タッチ入力からディスプレイ出力への関係間を遷移するためのデバイス、方法及びグラフィカルユーザインタフェース
US10691230B2 (en) 2012-12-29 2020-06-23 Apple Inc. Crown input for a wearable electronic device
US11513675B2 (en) 2012-12-29 2022-11-29 Apple Inc. User interface for manipulating user interface objects
US20150189426A1 (en) 2013-01-01 2015-07-02 Aliphcom Mobile device speaker control
US20150189425A1 (en) 2013-01-01 2015-07-02 Aliphcom Mobile device speaker control
KR102002420B1 (ko) 2013-01-18 2019-10-01 삼성전자주식회사 이동기기를 이용하는 스마트 홈 시스템
KR101822463B1 (ko) 2013-01-21 2018-01-26 삼성전자주식회사 복수 개의 아이콘들을 화면상에 배치하는 장치 및 이의 운용 방법
EP2759921B1 (en) 2013-01-25 2020-09-23 Morpho, Inc. Image display apparatus, image displaying method and program
US9319019B2 (en) 2013-02-11 2016-04-19 Symphonic Audio Technologies Corp. Method for augmenting a listening experience
EP2797391B1 (en) 2013-02-20 2019-01-16 Panasonic Intellectual Property Corporation of America Control method for information apparatus and program
EP2793481B1 (en) * 2013-02-20 2016-05-18 Panasonic Intellectual Property Corporation of America Program and method for controlling portable information terminal
CN104126313B (zh) 2013-02-20 2018-12-07 松下电器（美国）知识产权公司 信息终端的控制方法和装置
KR102047696B1 (ko) 2013-02-20 2019-11-22 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
JP5529358B1 (ja) 2013-02-20 2014-06-25 パナソニック株式会社 携帯情報端末の制御方法及びプログラム
EP2961187B1 (en) * 2013-02-20 2018-10-03 Panasonic Intellectual Property Corporation of America Method for controlling information apparatus and program
KR20140104215A (ko) 2013-02-20 2014-08-28 삼성전자주식회사 자동 페어링 기능을 갖는 무선 네트워크 오디오 시스템 및 이를 이용한 자동 페어링 방법
US20140245160A1 (en) 2013-02-22 2014-08-28 Ubiquiti Networks, Inc. Mobile application for monitoring and controlling devices
JP5963695B2 (ja) 2013-03-01 2016-08-03 株式会社Ｊ−ＷＡＶＥｉ メッセージ送信プログラム、メッセージ送信装置、及びメッセージ配信システム
KR20140109020A (ko) 2013-03-05 2014-09-15 한국전자통신연구원 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법
US9319149B2 (en) 2013-03-13 2016-04-19 Aliphcom Proximity-based control of media devices for media presentations
US9866924B2 (en) 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9806712B2 (en) 2013-03-14 2017-10-31 Control4 Corporation Systems and methods for gesture-based lighting control
US10219093B2 (en) 2013-03-14 2019-02-26 Michael Luna Mono-spatial audio processing to provide spatial messaging
US9179199B2 (en) 2013-03-14 2015-11-03 Apple Inc. Media playback across multiple devices
US9628414B1 (en) 2013-03-15 2017-04-18 Google Inc. User state based engagement
US9113300B2 (en) 2013-03-15 2015-08-18 Apple Inc. Proximity fence
US9087234B2 (en) 2013-03-15 2015-07-21 Nike, Inc. Monitoring fitness using a mobile device
US9247380B1 (en) 2013-03-15 2016-01-26 Google Inc. Location based mobile device profiles
GB2512821A (en) 2013-03-19 2014-10-15 Simm Tronic Ltd Method and apparatus for control of building functions by means of mobile computing devices
EP2784611A2 (en) 2013-03-25 2014-10-01 Toshiba Lighting & Technology Corporation Electrical equipment control apparatus and electrical equipment control system
JP2014186961A (ja) 2013-03-25 2014-10-02 Toshiba Lighting & Technology Corp 電気機器制御システム
US10694149B2 (en) 2013-03-26 2020-06-23 Verizon Patent And Licensing Inc. Web based security system
CN104429094B (zh) 2013-03-29 2018-07-06 松下电器（美国）知识产权公司 便携信息终端及其控制方法
CN103260079A (zh) 2013-04-12 2013-08-21 深圳市龙视传媒有限公司 一种多屏互动的控制方法及控制装置
US9247363B2 (en) 2013-04-16 2016-01-26 Sonos, Inc. Playback queue transfer in a media playback system
US20140317710A1 (en) 2013-04-23 2014-10-23 Canary Connect, Inc. Method for connecting devices to a network through an audio cable and a user device
US9021526B1 (en) 2013-05-03 2015-04-28 Amazon Technologies, Inc. Video navigation preview
AU2013101046A4 (en) 2013-05-23 2013-09-19 Nowww.Us Pty Ltd A process for Encrypted Login to a Secure Computer Network, for the Creation of a Session of Encrypted Communications Between Computers and a Device Including a Mobile Phone Logged into a Network, for the Persistence of Encrypted Communications between Communication Devices, and for the Termination of Communications.
KR102161230B1 (ko) 2013-05-28 2020-09-29 삼성전자주식회사 멀티미디어 콘텐츠 검색을 위한 사용자 인터페이스 방법 및 장치
US9798510B2 (en) 2013-05-29 2017-10-24 Sonos, Inc. Connected state indicator
US9735978B2 (en) 2013-05-29 2017-08-15 Sonos, Inc. Playback queue control via a playlist on a mobile device
US9979438B2 (en) 2013-06-07 2018-05-22 Apple Inc. Controlling a media device using a mobile device
US9654073B2 (en) * 2013-06-07 2017-05-16 Sonos, Inc. Group volume control
KR20140143555A (ko) 2013-06-07 2014-12-17 삼성전자주식회사 휴대 장치의 잠금 화면 상에서 빠른 어플리케이션 실행 방법 및 이를 위한 휴대 장치
US10474240B2 (en) 2013-06-10 2019-11-12 Honeywell International Inc. Frameworks, devices and methods configured for enabling gesture-based interaction between a touch/gesture controlled display and other networked devices
KR102187307B1 (ko) 2013-06-11 2020-12-07 애플 인크. 전자 디바이스를 위한 회전 입력 메커니즘
KR102318442B1 (ko) 2013-06-18 2021-10-28 삼성전자주식회사 사용자 단말 장치 및 그 홈 네트워크 관리 방법
US10564813B2 (en) 2013-06-18 2020-02-18 Samsung Electronics Co., Ltd. User terminal apparatus and management method of home network thereof
CN105474580B (zh) * 2013-06-18 2019-02-15 三星电子株式会社 用户终端设备及其家庭网络的管理方法
WO2014204286A1 (en) 2013-06-21 2014-12-24 Samsung Electronics Co., Ltd. User terminal and driving method thereof, control device and driving method thereof, and control system of controlled device
KR102155680B1 (ko) 2013-06-21 2020-09-14 삼성전자주식회사 사용자 단말장치, 제어장치, 사용자 단말장치의 구동방법, 제어장치의 구동방법 및 제어대상장치의 제어시스템
WO2014208057A1 (ja) 2013-06-24 2014-12-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報通知方法、情報端末、およびプログラム
US20140375819A1 (en) 2013-06-24 2014-12-25 Pivotal Vision, Llc Autonomous video management system
EP3014617B1 (en) 2013-06-28 2018-08-08 Koninklijke Philips N.V. System, method and devices for bluetooth party-mode
KR102152643B1 (ko) 2013-07-04 2020-09-08 엘지이노텍 주식회사 모바일디바이스를 이용한 조명 시스템
WO2015008409A1 (ja) 2013-07-19 2015-01-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報端末の制御方法及びプログラム
KR101560448B1 (ko) 2013-07-24 2015-10-16 한국과학기술원 스크린 록 환경에서 특정 어플리케이션 호출을 위한 방법
US9912978B2 (en) 2013-07-29 2018-03-06 Apple Inc. Systems, methods, and computer-readable media for transitioning media playback between multiple electronic devices
KR101444091B1 (ko) 2013-08-06 2014-09-26 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
CN104345950B (zh) 2013-08-08 2019-02-05 联想(北京)有限公司 一种信息处理的方法及电子设备
US9948690B2 (en) 2013-08-15 2018-04-17 Comcast Cable Communications, Llc Caching media in a media fling system
US8914752B1 (en) 2013-08-22 2014-12-16 Snapchat, Inc. Apparatus and method for accelerated display of ephemeral messages
US10282068B2 (en) 2013-08-26 2019-05-07 Venuenext, Inc. Game event display with a scrollable graphical game play feed
US9575621B2 (en) 2013-08-26 2017-02-21 Venuenext, Inc. Game event display with scroll bar and play event icons
US9202029B2 (en) 2013-08-27 2015-12-01 Maan ALDUAIJI Computer device, a method for controlling a login status of a computer device and a server
WO2015027494A1 (en) 2013-08-30 2015-03-05 Hewlett-Packard Development Company, L.P. Thermal profile based on temperature information for computing device location
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
CN105531646A (zh) 2013-09-17 2016-04-27 皇家飞利浦有限公司 手势驱动的范围和值的同时选择
US10025463B2 (en) 2013-09-18 2018-07-17 Vivint, Inc. Systems and methods for home automation scene control
US20150089359A1 (en) 2013-09-25 2015-03-26 At&T Mobility Ii Llc Intelligent Adaptation of Home Screens
CN104469512B (zh) 2013-09-25 2018-02-16 浙江大华技术股份有限公司 一种视频播放器及其控制视频播放的方法
JP6133186B2 (ja) 2013-09-26 2017-05-24 京セラ株式会社 機器制御装置、機器制御方法および制御システム
US9979995B2 (en) 2013-09-30 2018-05-22 Google Llc Visual hot watch spots in content item playback
US9258524B2 (en) 2013-09-30 2016-02-09 International Business Machines Corporation Streaming playback within a live video conference
US9654545B2 (en) 2013-09-30 2017-05-16 Sonos, Inc. Group coordinator device selection
US9288596B2 (en) 2013-09-30 2016-03-15 Sonos, Inc. Coordinator device for paired or consolidated players
US9977591B2 (en) 2013-10-01 2018-05-22 Ambient Consulting, LLC Image with audio conversation system and method
EP3039569A4 (en) 2013-10-09 2017-01-25 Mobile Technology Corporation, LLC Systems and methods for using spatial and temporal analysis to associate data sources with mobile devices
KR102092316B1 (ko) 2013-10-14 2020-03-23 한화테크윈 주식회사 모니터링 방법
US9063640B2 (en) 2013-10-17 2015-06-23 Spotify Ab System and method for switching between media items in a plurality of sequences of media items
WO2015061681A1 (en) 2013-10-25 2015-04-30 Turner Broadcasting System, Inc. Concepts for providing an enhanced media presentation
US20160253145A1 (en) 2013-10-31 2016-09-01 Lg Electronics Inc. Electronic device and method for controlling the same
US9727215B2 (en) 2013-11-11 2017-08-08 Htc Corporation Method for performing multimedia management utilizing tags, and associated apparatus and associated computer program product
KR20150055275A (ko) 2013-11-13 2015-05-21 삼성전자주식회사 팜 터치를 이용한 전자장치 제어 방법 및 장치
US10454783B2 (en) 2014-02-05 2019-10-22 Apple Inc. Accessory management system using environment model
US20150142587A1 (en) 2013-11-20 2015-05-21 Honeywell International Inc. System and Method of Dynamic Correlation View for Cloud Based Incident Analysis and Pattern Detection
US9111076B2 (en) 2013-11-20 2015-08-18 Lg Electronics Inc. Mobile terminal and control method thereof
JP6430506B2 (ja) 2013-11-22 2018-11-28 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ハンズフリー・ビームパターン構成
US9509402B2 (en) 2013-11-25 2016-11-29 Abl Ip Holding Llc System and method for communication with a mobile device via a positioning system including RF communication devices and modulated beacon light sources
JP6259368B2 (ja) 2013-11-28 2018-01-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 携帯端末の制御方法
US10768784B2 (en) 2013-12-06 2020-09-08 Vivint, Inc. Systems and methods for rules-based automations and notifications
US20150159895A1 (en) 2013-12-11 2015-06-11 Honeywell International Inc. Building automation system with user defined lifestyle macros
US9781180B2 (en) 2013-12-20 2017-10-03 Verizon Patent And Licensing Inc. Redistributing broadcasted content
US9319782B1 (en) 2013-12-20 2016-04-19 Amazon Technologies, Inc. Distributed speaker synchronization
US9563328B2 (en) 2013-12-23 2017-02-07 Microsoft Technology Licensing, Llc Information surfacing with visual cues indicative of relevance
JP6143887B2 (ja) 2013-12-26 2017-06-07 株式会社東芝 方法、電子機器およびプログラム
JP5597762B1 (ja) 2013-12-27 2014-10-01 パナソニック株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
CN105940678A (zh) 2013-12-30 2016-09-14 汤姆逊许可公司 依赖接近度的媒体回放
KR20150079106A (ko) 2013-12-31 2015-07-08 삼성전자주식회사 디스플레이 장치, 단말 장치 및 그 제어 방법
CN104766021A (zh) 2014-01-04 2015-07-08 深圳富泰宏精密工业有限公司 权限控制系统及方法
US20150193196A1 (en) 2014-01-06 2015-07-09 Alpine Electronics of Silicon Valley, Inc. Intensity-based music analysis, organization, and user interface for audio reproduction devices
KR102277752B1 (ko) 2014-01-06 2021-07-16 삼성전자주식회사 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
US20150193127A1 (en) 2014-01-07 2015-07-09 Opentv Inc. Systems and methods of displaying integrated home automation modules
KR20150082824A (ko) 2014-01-08 2015-07-16 삼성전자주식회사 장치 제어 방법 및 제어 장치
US9872368B2 (en) 2014-01-10 2018-01-16 Panasonic Intellectual Property Corporation Of America Control method for mobile device
US20150198938A1 (en) 2014-01-15 2015-07-16 Green Edge Technologies, Inc. Systems, devices, methods and graphical user interface for configuring a building automation system
US20150205511A1 (en) 2014-01-17 2015-07-23 Apple Inc. Systems And Methods For An Animated Graphical User Interface
WO2015112137A1 (en) 2014-01-22 2015-07-30 Pearl Capital Developments Llc Coordinated hand-off of audio data transmission
US10114892B2 (en) 2014-01-22 2018-10-30 Google Llc Creating a single playlist with multiple authors
US10212143B2 (en) 2014-01-31 2019-02-19 Dropbox, Inc. Authorizing an untrusted client device for access on a content management system
US20150223005A1 (en) 2014-01-31 2015-08-06 Raytheon Company 3-dimensional audio projection
US20150222680A1 (en) 2014-02-04 2015-08-06 Ford Global Technologies, Llc Local network media sharing
US9185117B2 (en) 2014-02-07 2015-11-10 Bank Of America Corporation User authentication by geo-location and proximity to user's close network
US20150229782A1 (en) 2014-02-11 2015-08-13 Nxp B.V. Notification volume adjustment based on distance from paired device
JP6392522B2 (ja) 2014-02-14 2018-09-19 京セラ株式会社 操作端末、プログラム、及び方法
EP2911149B1 (en) 2014-02-19 2019-04-17 Nokia Technologies OY Determination of an operational directive based at least in part on a spatial audio property
US9728230B2 (en) 2014-02-20 2017-08-08 International Business Machines Corporation Techniques to bias video thumbnail selection using frequently viewed segments
US10885510B2 (en) 2014-02-21 2021-01-05 Paypal, Inc. Facilitating payments using wearable devices
US9372610B2 (en) 2014-02-21 2016-06-21 Sonos, Inc. Media system controller interface
KR102166781B1 (ko) 2014-02-22 2020-10-16 삼성전자주식회사 요청 정보에 따른 장치 제어 방법 및 이를 지원하는 장치
US20150242597A1 (en) 2014-02-24 2015-08-27 Google Inc. Transferring authorization from an authenticated device to an unauthenticated device
US9893903B2 (en) 2014-02-24 2018-02-13 Microsoft Technology Licensing, Llc Creating connections and shared spaces
US9408008B2 (en) 2014-02-28 2016-08-02 Sonos, Inc. Playback zone representations
US9679054B2 (en) 2014-03-05 2017-06-13 Sonos, Inc. Webpage media playback
KR20150104985A (ko) 2014-03-07 2015-09-16 삼성전자주식회사 사용자 단말 및 오디오 시스템, 그리고 이의 스피커 제어 방법
US9325516B2 (en) 2014-03-07 2016-04-26 Ubiquiti Networks, Inc. Power receptacle wireless access point devices for networked living and work spaces
US20150253735A1 (en) 2014-03-10 2015-09-10 Icon Health & Fitness, Inc. Watch with Multiple Sections for Tracking Multiple Parameters
US20150261493A1 (en) 2014-03-11 2015-09-17 Sonos, Inc. Playback Zone Representations
US9574763B2 (en) 2014-03-12 2017-02-21 Kaipo Chen Multifunctional home monitoring system combined with lighting device
CN104917666B (zh) 2014-03-13 2019-08-06 腾讯科技（深圳）有限公司 一种制作个性化动态表情的方法和装置
US9450812B2 (en) 2014-03-14 2016-09-20 Dechnia, LLC Remote system configuration via modulated audio
US9888207B2 (en) 2014-03-17 2018-02-06 Microsoft Technology Licensing, Llc Automatic camera selection
US9431021B1 (en) 2014-03-27 2016-08-30 Amazon Technologies, Inc. Device grouping for audio based interactivity
US9661058B2 (en) * 2014-08-10 2017-05-23 Belkin International Inc. Grouping of network devices
US9392104B2 (en) 2014-04-15 2016-07-12 Google Inc. Limiting user interaction with a computing device based on proximity of a user
US10444715B2 (en) 2014-05-01 2019-10-15 Belkin International, Inc. Controlling settings and attributes related to operation of devices in a network
US10554439B2 (en) 2014-05-01 2020-02-04 Belkin International, Inc. Controlling settings and attributes related to operation of devices in a network
TWI523578B (zh) 2014-04-25 2016-02-21 Cincon Electronics Co Ltd A system and method for grouping a fixture on a DALI system using a handheld device
US10129599B2 (en) 2014-04-28 2018-11-13 Sonos, Inc. Media preference database
US9680960B2 (en) 2014-04-28 2017-06-13 Sonos, Inc. Receiving media content based on media preferences of multiple users
US20150324552A1 (en) 2014-05-12 2015-11-12 Sonos, Inc. Share Restriction for Media Items
US10032364B2 (en) 2014-05-15 2018-07-24 Savant Systems, Llc Standalone wireless lighting application
KR102185702B1 (ko) 2014-05-16 2020-12-02 삼성전자주식회사 컨텐츠 출력 장치, 모바일 장치 및 그 제어 방법
US9876652B2 (en) 2014-05-20 2018-01-23 Savant Systems, Llc Automatic configuration of control device user interface in a home automation system
US20150339917A1 (en) 2014-05-21 2015-11-26 Qualcomm Incorporated Triggering commands on a target device in response to broadcasted event notifications
KR102454196B1 (ko) 2014-05-27 2022-10-14 삼성전자 주식회사 디스플레이 제어 방법 및 이를 제공하는 전자 장치
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US10055567B2 (en) 2014-05-30 2018-08-21 Apple Inc. Proximity unlock and lock operations for electronic devices
US20150350141A1 (en) 2014-05-31 2015-12-03 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9363255B2 (en) 2014-06-04 2016-06-07 Sonos, Inc. Cloud queue playhead
US20150355818A1 (en) 2014-06-04 2015-12-10 Sonos, Inc. Continuous Playback Queue
US20150358043A1 (en) 2014-06-05 2015-12-10 Samsung Electronics Co., Ltd. Wearable device, main unit of wearable device, fixing unit of wearable device, and control method of wearable device
TW201547326A (zh) 2014-06-12 2015-12-16 Best Multimedia Technology Co Ltd U 智能家庭系統及燈光控制方法
US9084003B1 (en) 2014-06-19 2015-07-14 Google Inc. Methods, systems, and media for media playback
FR3022646B1 (fr) 2014-06-20 2017-11-10 Somfy Sas Procede de fonctionnement d'un dispositif de commande d'une installation domotique d'un batiment et dispositif de commande.
CN104298188A (zh) 2014-06-22 2015-01-21 福建省科正智能科技有限公司 离家控制系统
WO2015200371A1 (en) 2014-06-24 2015-12-30 Apple Inc. Music now playing user interface
US9535986B2 (en) 2014-06-27 2017-01-03 Sonos, Inc. Application launch
JP6137102B2 (ja) 2014-06-30 2017-05-31 キヤノンマーケティングジャパン株式会社 情報処理装置、及びその制御方法、プログラム
US9519413B2 (en) 2014-07-01 2016-12-13 Sonos, Inc. Lock screen media playback control
US10073607B2 (en) 2014-07-03 2018-09-11 Qualcomm Incorporated Single-channel or multi-channel audio control interface
US9213903B1 (en) 2014-07-07 2015-12-15 Google Inc. Method and system for cluster-based video monitoring and event categorization
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
CN104155938B (zh) 2014-07-21 2018-01-09 惠州Tcl移动通信有限公司 一种家居设备管理方法及系统
US9671997B2 (en) 2014-07-23 2017-06-06 Sonos, Inc. Zone grouping
US10454913B2 (en) 2014-07-24 2019-10-22 Hewlett Packard Enterprise Development Lp Device authentication agent
WO2016019005A1 (en) 2014-07-29 2016-02-04 Lumifi, Inc. Automated and pre-configured set up of light scenes
US9811102B2 (en) 2014-07-31 2017-11-07 Antonino Gulli' System and methods for monitoring and reducing the consumption of electricity with a network of smart sensors
US9596603B2 (en) 2014-08-01 2017-03-14 Qualcomm Connected Experiences, Inc. Distributed bulk onboarding process
US10645459B2 (en) 2014-08-04 2020-05-05 Live View Technologies Devices, systems, and methods for remote video retrieval
US9898175B2 (en) 2014-08-05 2018-02-20 Fibar Group S.A. Home network manager for home automation
US10339293B2 (en) 2014-08-15 2019-07-02 Apple Inc. Authenticated device used to unlock another device
WO2016033400A1 (en) 2014-08-29 2016-03-03 Harman International Industries, Inc. Wireless speaker system
JP2016051661A (ja) 2014-09-01 2016-04-11 パナソニックＩｐマネジメント株式会社 照明制御装置及び照明システム
US10275138B2 (en) 2014-09-02 2019-04-30 Sonos, Inc. Zone recognition
WO2016036436A1 (en) 2014-09-02 2016-03-10 Apple Inc. Stopwatch and timer user interfaces
US9680982B2 (en) * 2014-09-03 2017-06-13 Fibar Group S.A. Emergency communication device
WO2016037155A1 (en) 2014-09-04 2016-03-10 PWV Inc Speaker discovery and assignment
US20160073482A1 (en) * 2014-09-05 2016-03-10 Qualcomm Incorporated Implementing a target lighting scene in an internet of things environment using a mobile light output device
US10042336B2 (en) * 2014-09-09 2018-08-07 Savant Systems, Llc User-defined scenes for home automation
US20170097621A1 (en) 2014-09-10 2017-04-06 Crestron Electronics, Inc. Configuring a control sysem
US9940016B2 (en) 2014-09-13 2018-04-10 Microsoft Technology Licensing, Llc Disambiguation of keyboard input
US10310704B2 (en) 2014-09-18 2019-06-04 Ademco Inc. System and method to have location based personalized UI updates on mobile app for connected users in security, video and home automation applications
CN104361657B (zh) 2014-09-22 2016-06-08 三星电子（中国）研发中心 一种智能锁及智能锁的使用方法
US10631123B2 (en) 2014-09-24 2020-04-21 James Thomas O'Keeffe System and method for user profile enabled smart building control
KR102258052B1 (ko) 2014-09-25 2021-05-28 삼성전자주식회사 전자 장치에서 다른 전자 장치와 컨텐츠를 공유하기 위한 장치 및 방법
WO2016052888A1 (en) 2014-09-29 2016-04-07 Lg Electronics Inc. Mobile terminal and method of controlling the same
AU2015323977B2 (en) 2014-09-30 2020-07-30 The Chamberlain Group, Inc. Garage monitor
JP6517022B2 (ja) 2014-09-30 2019-05-22 株式会社西電通 安否確認システム、インターホン、及び集合住宅
WO2016052876A1 (en) 2014-09-30 2016-04-07 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
US9009805B1 (en) 2014-09-30 2015-04-14 Google Inc. Method and system for provisioning an electronic device
US9812128B2 (en) 2014-10-09 2017-11-07 Google Inc. Device leadership negotiation among voice interface devices
WO2016057117A1 (en) 2014-10-10 2016-04-14 Thomson Licensing Method and apparatus for control of media content delivery
US10055094B2 (en) * 2014-10-29 2018-08-21 Xiaomi Inc. Method and apparatus for dynamically displaying device list
CN104820631A (zh) 2014-10-29 2015-08-05 小米科技有限责任公司 对外部设备状态的呈现方法、装置及用户终端
CN105657483B (zh) 2014-11-10 2019-06-04 扬智科技股份有限公司 多媒体播放系统、多媒体文件分享方法及其控制方法
US10424341B2 (en) 2014-11-12 2019-09-24 Massachusetts Institute Of Technology Dynamic video summarization
US10713699B1 (en) 2014-11-14 2020-07-14 Andersen Corporation Generation of guide materials
JP6207762B2 (ja) 2014-11-25 2017-10-04 フィリップス ライティング ホールディング ビー ヴィ 近接ベースの照明制御
US20160156992A1 (en) 2014-12-01 2016-06-02 Sonos, Inc. Providing Information Associated with a Media Item
US9864570B2 (en) 2014-12-09 2018-01-09 Harman International Industries, Incorporated Proximity based temporary audio sharing
GB2533101B (en) 2014-12-09 2017-03-15 Haandle Ltd Distributing a network access policy
US10505752B2 (en) * 2014-12-15 2019-12-10 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling group action
KR102212212B1 (ko) 2014-12-17 2021-02-04 삼성전자주식회사 휴대 장치 및 휴대 장치의 위치 정보 제어방법
JP2016119600A (ja) 2014-12-22 2016-06-30 オリンパス株式会社 編集装置及び編集方法
WO2016104988A1 (ko) 2014-12-23 2016-06-30 엘지전자 주식회사 이동 단말기, 오디오 출력장치, 및 이를 구비하는 오디오 출력 시스템
KR102250090B1 (ko) 2014-12-24 2021-05-10 삼성전자주식회사 영상 데이터를 송수신하는 디바이스 및 그 방법
US20160187995A1 (en) 2014-12-30 2016-06-30 Tyco Fire & Security Gmbh Contextual Based Gesture Recognition And Control
US9112849B1 (en) 2014-12-31 2015-08-18 Spotify Ab Methods and systems for dynamic creation of hotspots for media control
CN104503688B (zh) 2014-12-31 2018-03-02 小米科技有限责任公司 智能硬件设备的控制实现方法及装置
EP3243326A4 (en) 2015-01-05 2018-06-27 PWV Inc. Discovery, control, and streaming of multi-channel audio playback with enhanced times synchronization
KR101522311B1 (ko) 2015-01-12 2015-05-22 주식회사 지오멕스소프트 미리보기 기능을 갖춘 감시카메라 영상 반출 시스템
KR102315339B1 (ko) 2015-02-02 2021-10-20 삼성전자주식회사 디스플레이 장치의 이의 디스플레이 방법
US10348656B2 (en) 2015-02-06 2019-07-09 Jamdeo Canada Ltd. Methods and devices for display device notifications and key handling
US9329831B1 (en) 2015-02-25 2016-05-03 Sonos, Inc. Playback expansion
US9715619B2 (en) 2015-03-14 2017-07-25 Microsoft Technology Licensing, Llc Facilitating aligning a user and camera for user authentication
US10080111B2 (en) 2015-03-19 2018-09-18 Facebook, Inc. Techniques for communication using audio stickers
US9891880B2 (en) 2015-03-31 2018-02-13 Sonos, Inc. Information display regarding playback queue subscriptions
CN104898603B (zh) 2015-04-07 2017-12-26 联想(北京)有限公司 信息处理方法及电子设备
US9483230B1 (en) 2015-04-09 2016-11-01 Sonos, Inc. Wearable device zone group control
USD765118S1 (en) 2015-04-13 2016-08-30 Apple Inc. Display screen or portion thereof with graphical user interface
US9954989B2 (en) 2015-05-06 2018-04-24 Eyespage Inc. Lock screen graphical user interface
US10097902B2 (en) 2015-05-06 2018-10-09 Blackfire Research Corporation System and method for using multiple audio input devices for synchronized and position-based audio
US11113022B2 (en) 2015-05-12 2021-09-07 D&M Holdings, Inc. Method, system and interface for controlling a subwoofer in a networked audio system
KR20160143136A (ko) 2015-06-04 2016-12-14 엘지전자 주식회사 위치 기반 알림 시스템 및 그것의 제어방법
USD773510S1 (en) 2015-06-05 2016-12-06 Apple Inc. Display screen or portion thereof with graphical user interface
DK179328B1 (en) 2015-06-07 2018-05-07 Apple Inc DEVICES, METHODS AND GRAPHICAL USER INTERFACES FOR PROVIDING AND INTERACTING WITH NOTIFICATIONS
US9727749B2 (en) 2015-06-08 2017-08-08 Microsoft Technology Licensing, Llc Limited-access functionality accessible at login screen
US20160364600A1 (en) 2015-06-10 2016-12-15 Microsoft Technology Licensing, Llc Biometric Gestures
US20160366481A1 (en) * 2015-06-12 2016-12-15 Samsung Electronics Co., Ltd. Method and apparatus for service oriented input and output
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
KR20170006579A (ko) 2015-07-08 2017-01-18 삼성전자주식회사 전자 장치 및 전자 장치에서의 아이콘 변경 방법
KR20170008601A (ko) * 2015-07-14 2017-01-24 삼성전자주식회사 어플리케이션 운용 방법 및 이를 이용하는 전자 장치
US9948980B2 (en) 2015-07-20 2018-04-17 Google Llc Synchronizing audio content to audio and video devices
CN105187940B (zh) 2015-07-29 2018-05-29 广东欧珀移动通信有限公司 一种播放系统的播放列表切换控制方法及装置
CA2998824A1 (en) 2015-07-30 2017-02-02 Brightgreen Pty Ltd Multiple input touch dimmer lighting control
US9454336B1 (en) 2015-08-04 2016-09-27 Samsung Electronics Co., Ltd. System and method for improving user experience with proximity estimation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
CN105069118B (zh) 2015-08-11 2018-04-03 北京思特奇信息技术股份有限公司 一种基于gis配置的应用场景管理方法及系统
CN105159107B (zh) 2015-08-17 2019-01-04 广州市果豆科技有限责任公司 一种智能家居控制方法、控制装置及控制系统
JP2018523862A (ja) 2015-08-18 2018-08-23 グーグル エルエルシー 時系列エクスプローラ
JP6693066B2 (ja) 2015-08-18 2020-05-13 ヤマハ株式会社 制御装置
US9858739B1 (en) 2015-08-19 2018-01-02 Alarm.Com Incorporated Home monitoring system triggered rules
US10219026B2 (en) 2015-08-26 2019-02-26 Lg Electronics Inc. Mobile terminal and method for playback of a multi-view video
KR20170027999A (ko) 2015-09-03 2017-03-13 삼성전자주식회사 사용자 단말 장치, 시스템 및 그 제어 방법
US20170070775A1 (en) 2015-09-03 2017-03-09 EchoStar Technologies, L.L.C. Methods and systems for coordinating home automation activity
US10296128B1 (en) 2015-09-04 2019-05-21 Google Llc Multi-state press and hold user interface
US9628275B2 (en) 2015-09-04 2017-04-18 Blackberry Limited Communication device, method and system for establishing communications using the subscriber identity data of another communication device
US10120531B2 (en) 2015-09-08 2018-11-06 Apple Inc. User interfaces for navigating and playing content
US10257198B2 (en) 2015-09-11 2019-04-09 Arris Enterprises Llc Password input method for devices with limited user interface
US9710639B1 (en) 2015-09-14 2017-07-18 Google Inc. Single input unlock for computing devices
US9313556B1 (en) 2015-09-14 2016-04-12 Logitech Europe S.A. User interface for video summaries
US10299017B2 (en) 2015-09-14 2019-05-21 Logitech Europe S.A. Video searching for filtered and tagged motion
KR102538348B1 (ko) 2015-09-17 2023-05-31 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 제어 방법
US9875081B2 (en) 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
KR20170034603A (ko) 2015-09-21 2017-03-29 삼성전자주식회사 알림 이벤트를 제어하는 시스템 및 그 방법
WO2017053440A1 (en) 2015-09-23 2017-03-30 Edoardo Rizzi Communication device and method
US9646471B2 (en) 2015-09-30 2017-05-09 Apple Inc. User interface using tactile output
US11587559B2 (en) * 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
DE112016004512T5 (de) 2015-09-30 2018-07-12 Apple Inc. Koordinierte steuerung der medienwiedergabe
KR102520402B1 (ko) 2015-10-27 2023-04-12 엘지전자 주식회사 와치 타입 이동 단말기 및 그 동작 방법
CN105263114B (zh) 2015-10-29 2018-10-02 广东美的制冷设备有限公司 智能家居控制的回家模式判断方法、控制设备及系统
JP6685695B2 (ja) 2015-10-30 2020-04-22 キヤノン株式会社 端末及び撮像装置
CN105338368B (zh) 2015-11-02 2019-03-15 腾讯科技（北京）有限公司 一种视频的直播流转点播数据的方法、装置及系统
KR102459127B1 (ko) 2015-11-11 2022-10-27 삼성전자 주식회사 전자 장치 및 정보 제공방법
CN105549947B (zh) 2015-12-21 2019-03-29 联想(北京)有限公司 一种音频设备的控制方法及电子设备
KR20170074552A (ko) 2015-12-22 2017-06-30 삼성전자주식회사 터치 디스플레이를 포함하는 스피커 장치
US10091017B2 (en) 2015-12-30 2018-10-02 Echostar Technologies International Corporation Personalized home automation control based on individualized profiling
CN105553796A (zh) 2015-12-31 2016-05-04 杭州智蚁科技有限公司 一种基于手机定位的智能家居控制方法及系统
US10353754B2 (en) 2015-12-31 2019-07-16 Entefy Inc. Application program interface analyzer for a universal interaction platform
US10275036B2 (en) 2016-01-04 2019-04-30 Sphero, Inc. Modular sensing device for controlling a self-propelled device
US10303422B1 (en) 2016-01-05 2019-05-28 Sonos, Inc. Multiple-device setup
KR102501759B1 (ko) 2016-01-05 2023-02-20 삼성전자주식회사 오디오 출력 장치 및 오디오 출력 장치의 동작 방법
US10284980B1 (en) 2016-01-05 2019-05-07 Sonos, Inc. Intelligent group identification
KR102383130B1 (ko) 2016-01-18 2022-04-08 삼성전자주식회사 기능을 제어하는 방법 및 이를 지원하는 전자 장치
US9898250B1 (en) 2016-02-12 2018-02-20 Amazon Technologies, Inc. Controlling distributed audio outputs to enable voice output
US9820039B2 (en) 2016-02-22 2017-11-14 Sonos, Inc. Default playback devices
KR20170100358A (ko) 2016-02-25 2017-09-04 삼성전자주식회사 전자 장치, 음향 출력 시스템 및 음향 출력 시스템을 위한 전자 장치 제어 방법
US10861305B2 (en) 2016-05-20 2020-12-08 Vivint, Inc. Drone enabled street watch
US10832665B2 (en) 2016-05-27 2020-11-10 Centurylink Intellectual Property Llc Internet of things (IoT) human interface apparatus, system, and method
US10121515B2 (en) 2016-06-06 2018-11-06 Avigilon Corporation Method, system and computer program product for interactively identifying same individuals or objects present in video recordings
CN106096349A (zh) 2016-06-07 2016-11-09 惠州Tcl移动通信有限公司 一种基于锁屏快速开启应用的方法及移动终端
US10310725B2 (en) * 2016-06-12 2019-06-04 Apple Inc. Generating scenes based on accessory state
EP3579093B1 (en) * 2016-06-12 2021-10-13 Apple Inc. User interface for managing controllable external devices
DK179494B1 (en) 2016-06-12 2019-01-11 Apple Inc. USER INTERFACE FOR MANAGING CONTROLLABLE EXTERNAL DEVICES
DK201670616A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices and Methods for Accessing Prevalent Device Functions
WO2017218192A1 (en) 2016-06-12 2017-12-21 Apple Inc. User interface for managing controllable external devices
US11003147B2 (en) 2016-06-12 2021-05-11 Apple Inc. Automatically grouping accessories
EP3742282A1 (en) 2016-06-12 2020-11-25 Apple Inc. Devices, methods, and graphical user interfaces for dynamically adjusting presentation of audio outputs
US10511456B2 (en) * 2016-06-12 2019-12-17 Apple Inc. Presenting accessory group controls
US10389987B2 (en) 2016-06-12 2019-08-20 Apple Inc. Integrated accessory control user interface
US10356480B2 (en) 2016-07-05 2019-07-16 Pluto Inc. Methods and systems for generating and providing program guides and content
JP6909990B2 (ja) 2016-07-06 2021-07-28 パナソニックＩｐマネジメント株式会社 表示制御システム、表示制御方法、及び表示制御プログラム
US10263802B2 (en) 2016-07-12 2019-04-16 Google Llc Methods and devices for establishing connections with remote cameras
US20180018081A1 (en) 2016-07-12 2018-01-18 Google Inc. Methods and Systems for Presenting Smart Home Information in a User Interface
US10762446B2 (en) 2016-08-02 2020-09-01 Ebay Inc. Access control for a digital event
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10057698B2 (en) 2016-09-02 2018-08-21 Bose Corporation Multiple room communication system and method
US10042595B2 (en) 2016-09-06 2018-08-07 Apple Inc. Devices, methods, and graphical user interfaces for wireless pairing with peripheral devices and displaying status information concerning the peripheral devices
US9794720B1 (en) 2016-09-22 2017-10-17 Sonos, Inc. Acoustic position measurement
US10521107B2 (en) 2016-09-24 2019-12-31 Apple Inc. Devices, methods, and graphical user interfaces for selecting and interacting with different device modes
KR20180038241A (ko) 2016-10-06 2018-04-16 한화테크윈 주식회사 영상 제공 장치 및 방법
JP6827758B2 (ja) 2016-10-12 2021-02-10 東芝映像ソリューション株式会社 移動式アシスト装置及び移動式アシスト方法
KR102546763B1 (ko) 2016-10-17 2023-06-22 한화비전 주식회사 영상 제공 장치 및 방법
CN106656689B (zh) 2016-10-17 2018-10-30 珠海格力电器股份有限公司 一种基于终端的智能家居的控制方法和终端
US10386999B2 (en) 2016-10-26 2019-08-20 Google Llc Timeline-video relationship presentation for alert events
US11238290B2 (en) 2016-10-26 2022-02-01 Google Llc Timeline-video relationship processing for alert events
CN106383645A (zh) 2016-10-31 2017-02-08 维沃移动通信有限公司 一种音乐播放的控制方法及移动终端
US10785328B2 (en) 2016-11-15 2020-09-22 International Business Machines Corporation Efficient collaborations in global enterprise environment
WO2018124510A1 (ko) 2016-12-27 2018-07-05 한화테크윈 주식회사 이벤트 저장 장치, 이벤트 검색 장치, 및 이벤트 알람 장치
US10115396B2 (en) 2017-01-03 2018-10-30 Logitech Europe, S.A. Content streaming system
KR20180085931A (ko) 2017-01-20 2018-07-30 삼성전자주식회사 음성 입력 처리 방법 및 이를 지원하는 전자 장치
US10586433B2 (en) 2017-02-13 2020-03-10 Google Llc Automatic detection of zones of interest in a video
US20180232705A1 (en) 2017-02-15 2018-08-16 Microsoft Technology Licensing, Llc Meeting timeline management tool
US10070093B1 (en) 2017-02-24 2018-09-04 Microsoft Technology Licensing, Llc Concurrent viewing of live content and recorded content
KR102638911B1 (ko) 2017-02-24 2024-02-22 삼성전자 주식회사 복수의 IoT 장치들을 제어하기 위한 방법 및 장치
US10523625B1 (en) 2017-03-09 2019-12-31 Snap Inc. Restricted group content collection
KR102414122B1 (ko) 2017-04-19 2022-06-29 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 그 동작 방법
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10200969B2 (en) 2017-05-09 2019-02-05 Qualcomm Incorporated Methods and apparatus for selectively providing alerts to paired devices
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
US20180329586A1 (en) 2017-05-15 2018-11-15 Apple Inc. Displaying a set of application views
KR102130932B1 (ko) * 2017-05-16 2020-07-08 애플 인크. 사용자 인터페이스들 사이에 내비게이팅하고 제어 객체들과 상호작용하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
CN109688442B (zh) * 2017-05-16 2021-06-04 苹果公司 用于家庭媒体控制的方法和界面
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
EP3975576A1 (en) 2017-05-16 2022-03-30 Apple Inc. Credential delegation
EP3617863B1 (en) 2017-05-16 2021-04-28 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects
EP4047600A3 (en) 2017-05-16 2022-12-07 Apple Inc. Far-field extension for digital assistant services
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US11509944B2 (en) 2017-05-18 2022-11-22 Nbcuniversal Media, Llc System and method for presenting contextual clips for distributed content
US20200186378A1 (en) 2017-05-19 2020-06-11 Curtis Wayne Six Smart hub system
US10778463B2 (en) 2017-05-30 2020-09-15 Harman International Industries, Incorporated Displaying information for a smart-device-enabled environment
CN107219976B (zh) 2017-05-31 2020-07-28 Oppo广东移动通信有限公司 应用显示方法及相关产品
KR102313755B1 (ko) 2017-06-07 2021-10-18 엘지전자 주식회사 이동 단말기 및 그 제어 방법
MX2019015201A (es) 2017-06-15 2020-08-13 Lutron Tech Co Llc Comunicación y control de los sistemas de control de carga.
US10693918B2 (en) 2017-06-15 2020-06-23 Palo Alto Networks, Inc. Radio access technology based security in service provider networks
CN107197441A (zh) 2017-06-20 2017-09-22 北京小米移动软件有限公司 智能家居设备的工作模式控制方法和装置
US10460671B2 (en) 2017-07-04 2019-10-29 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Lltd Scanning driving circuit and display apparatus
US10771270B2 (en) 2017-07-20 2020-09-08 Slack Technologies, Inc. Channeling messaging communications in a selected group-based communication interface
US11134227B2 (en) 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
CN107613235B (zh) 2017-09-25 2019-12-27 北京达佳互联信息技术有限公司 视频录制方法和装置
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US20190130185A1 (en) 2017-11-01 2019-05-02 International Business Machines Corporation Visualization of Tagging Relevance to Video
KR102490376B1 (ko) 2017-11-06 2023-01-25 삼성전자 주식회사 전자 장치 및 전자 장치 간 음성으로 기능을 실행하는 방법
US20190138951A1 (en) 2017-11-09 2019-05-09 Facebook, Inc. Systems and methods for generating multi-contributor content posts for events
CN110024412B (zh) 2017-11-10 2020-12-25 腾讯科技（深圳）有限公司 一种视频直播的方法、装置和系统
US10728624B2 (en) 2017-12-29 2020-07-28 Rovi Guides, Inc. Systems and methods for modifying fast-forward speeds based on the user's reaction time when detecting points of interest in content
US10298643B1 (en) 2018-01-17 2019-05-21 Hulu, LLC Live edge detection during video playback
KR20190102509A (ko) 2018-02-26 2019-09-04 삼성전자주식회사 음성 명령을 수행하는 방법 및 시스템
JP7346455B2 (ja) 2018-05-07 2023-09-19 グーグル エルエルシー 様々な接続デバイスを制御するための複合グラフィカルアシスタントインターフェースの提供
WO2019217341A1 (en) 2018-05-07 2019-11-14 Apple Inc. User interfaces for viewing live video feeds and recorded video
KR102607666B1 (ko) 2018-08-08 2023-11-29 삼성전자 주식회사 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치
US10924446B1 (en) 2018-10-08 2021-02-16 Facebook, Inc. Digital story reply container
US20200135191A1 (en) 2018-10-30 2020-04-30 Bby Solutions, Inc. Digital Voice Butler
US10885912B2 (en) 2018-11-13 2021-01-05 Motorola Solutions, Inc. Methods and systems for providing a corrected voice command
KR20200055983A (ko) 2018-11-14 2020-05-22 삼성전자주식회사 장치로부터 방사되는 전자기 신호를 측정하기 위한 방법 및 그 전자 장치
CA3131489A1 (en) 2019-02-27 2020-09-03 Louisiana-Pacific Corporation Fire-resistant manufactured-wood based siding
KR20200111853A (ko) 2019-03-19 2020-10-05 삼성전자주식회사 전자 장치 및 전자 장치의 음성 인식 제어 방법
US10708653B1 (en) 2019-03-19 2020-07-07 Bose Corporation Entry presence detection for audio-video products and devices
US10958975B2 (en) 2019-03-27 2021-03-23 Rovi Guides, Inc. Method and apparatus for identifying a single user requesting conflicting content and resolving said conflict
CN114938360B (zh) 2019-04-12 2023-04-18 腾讯科技（深圳）有限公司 一种基于即时通讯应用的数据处理方法和装置
CN117170620A (zh) 2019-05-31 2023-12-05 苹果公司 用于音频媒体控件的用户界面
US20200379716A1 (en) 2019-05-31 2020-12-03 Apple Inc. Audio media user interface
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US20210065134A1 (en) 2019-08-30 2021-03-04 Microsoft Technology Licensing, Llc Intelligent notification system
US20210064317A1 (en) 2019-08-30 2021-03-04 Sony Interactive Entertainment Inc. Operational mode-based settings for presenting notifications on a user display
US11172328B2 (en) 2019-09-27 2021-11-09 Sonos, Inc. Systems and methods for device localization
US11152011B2 (en) 2019-11-27 2021-10-19 Summit Wireless Technologies, Inc. Voice detection with multi-channel interference cancellation
US10963145B1 (en) 2019-12-30 2021-03-30 Snap Inc. Prioritizing display of user icons associated with content
US11745585B2 (en) 2020-04-20 2023-09-05 Thinkware Corporation Vehicle infotainment apparatus using widget and operation method thereof
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US20210349680A1 (en) 2020-05-11 2021-11-11 Apple Inc. User interface for audio message
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US20220365667A1 (en) 2021-05-15 2022-11-17 Apple Inc. User interfaces for managing accessories
US20220377431A1 (en) 2021-05-19 2022-11-24 Apple Inc. Methods and user interfaces for auditory features
US20230098814A1 (en) 2021-09-24 2023-03-30 Apple Inc. Media controls user interface

Also Published As

Publication number Publication date
KR102353685B1 (ko) 2022-01-19
EP3869312A1 (en) 2021-08-25
AU2023203357B2 (en) 2024-05-30
CN112506346B (zh) 2022-12-23
US10904029B2 (en) 2021-01-26
AU2021261941A1 (en) 2021-12-02
AU2020257092B2 (en) 2021-09-09
JP7019081B2 (ja) 2022-02-14
EP3769200A1 (en) 2021-01-27
WO2020242563A1 (en) 2020-12-03
KR20220010589A (ko) 2022-01-25
US20230403509A1 (en) 2023-12-14
JP2023062082A (ja) 2023-05-02
US11785387B2 (en) 2023-10-10
US20200413197A1 (en) 2020-12-31
CN112506346A (zh) 2021-03-16
CN112965597A (zh) 2021-06-15
JP2022058822A (ja) 2022-04-12
JP2021101340A (ja) 2021-07-08
KR20200138796A (ko) 2020-12-10
KR20210087572A (ko) 2021-07-12
JP7231767B2 (ja) 2023-03-01
AU2021261941B2 (en) 2023-03-30
AU2020257092A1 (en) 2020-12-17
CN112334862A (zh) 2021-02-05
JP6934577B2 (ja) 2021-09-15
US20200382332A1 (en) 2020-12-03
AU2021201403A1 (en) 2021-03-25
US10779085B1 (en) 2020-09-15
AU2023203357A1 (en) 2023-06-29
AU2021201403B2 (en) 2021-11-04
JP2021519987A (ja) 2021-08-12

Similar Documents

Publication Publication Date Title
KR102275853B1 (ko) 제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스들
US20230041125A1 (en) User interface for audio message
US20230393714A1 (en) User interfaces for managing accessories
DK202070618A1 (en) Lighting user interfaces
KR102666493B1 (ko) 제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스들
KR20240073144A (ko) 제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스들
KR102426564B1 (ko) 오디오 메시지를 위한 사용자 인터페이스
US12003659B2 (en) Interfaces and devices for dynamically-available media playback
US20220345565A1 (en) Interfaces and devices for dynamically-available media playback
WO2023239620A1 (en) Sticker creation for messaging
WO2023235557A1 (en) User interfaces for managing accessories

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant