JP7231767B2 - 制御可能外部デバイスを管理するためのユーザインタフェース - Google Patents

制御可能外部デバイスを管理するためのユーザインタフェース Download PDF

Info

Publication number
JP7231767B2
JP7231767B2 JP2022014389A JP2022014389A JP7231767B2 JP 7231767 B2 JP7231767 B2 JP 7231767B2 JP 2022014389 A JP2022014389 A JP 2022014389A JP 2022014389 A JP2022014389 A JP 2022014389A JP 7231767 B2 JP7231767 B2 JP 7231767B2
Authority
JP
Japan
Prior art keywords
accessory
affordance
controllable external
input
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022014389A
Other languages
English (en)
Other versions
JP2022058822A (ja
Inventor
テイラー ジー． キャリガン，
パトリック エル． コフマン，
クリストファー パトリック フォス，
ティファニー エス． ジョン，
アンドリュー スンヒョン キム，
ローレン ケー． トロティエ，
エリザベス キャロライン クランフィル，
ディビッド チャンス グラハム，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2022058822A publication Critical patent/JP2022058822A/ja
Priority to JP2023022576A priority Critical patent/JP2023062082A/ja
Application granted granted Critical
Publication of JP7231767B2 publication Critical patent/JP7231767B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4411—Configuring for operating with peripheral devices; Loading of device drivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2809—Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2812—Exchanging configuration information on appliance services in a home automation network describing content present in a home automation network, e.g. audio video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2814—Exchanging control software or macros for controlling appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

（関連出願の相互参照）
本出願は、２０１９年５月３１日に提出された「制御可能外部デバイスを管理するためのユーザインタフェース」と題する米国仮特許出願第６２／８５５，８９５号、２０１９年９月２６日に提出された「制御可能外部デバイスを管理するためのユーザインタフェース」と題する米国特許出願第１６／５８４，７４３号、及び、２０１９年９月２７日に提出された「制御可能外部デバイスを管理するためのユーザインタフェース」と題する米国特許出願第１６／５８６，００２号に対する優先権を主張し、これらのそれぞれは、その全体が参照により本明細書に組み込まれる。
本開示は、概して、コンピュータユーザインタフェースに関し、より具体的には、制御可能な外部デバイスを管理するための技術に関する。
ＷｉＦｉ対応の照明、電力コンセント、サーモスタット、及び家電製品を含む、制御可能な（例えば、遠隔制御可能な）電子デバイスは、機能性と利便性の組み合わせをユーザに提供する。制御可能な電子デバイスをコンピュータインタフェースを使用して管理することができる。
しかし、電子デバイスを使用して制御可能な外部デバイスを管理するための一部の技術は、概して煩雑であり、非効率である。例えば、一部の既存の技術では、複数回のキー押下又は打鍵、及び／又はタッチ入力を含む場合がある、複雑かつ時間のかかるユーザインタフェースが使用されている。別の例として、一部の既存の技術は、多様な制御可能デバイスの状態及び機能に関する広範囲の機能又は十分なフィードバックを提供できていない。その結果、既存の技術では、制御可能外部デバイスを管理するのに必要以上の時間がかかり、ユーザの時間とデバイスのエネルギが浪費される。後者の問題は、バッテリ動作式デバイスにおいては特に重大である。
したがって、本技術は、制御可能な外部デバイスを管理するための、より速く、より効率的な方法及びインタフェースを電子デバイスに提供する。このような方法及びインタフェースは、任意選択的に、制御可能な外部デバイスを管理するための他の方法を補完する又は置き換える。そのような方法及びインタフェースは、ユーザにかかる認識的負担を軽減し、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、そのような方法及びインタフェースは、電力を節約し、バッテリ充電の間隔を長くする。一部の実施形態では、制御可能外部デバイスを管理するためのユーザインタフェースを、それぞれの制御可能外部デバイスを管理するための様々な異なるアプリケーションの代わりに有することにより、ユーザエクスペリエンスが単純化され、したがって制御可能外部デバイスを管理するために必要であった、不要／異質／繰り返しの入力の受信が低減される。
一部の実施形態によれば、方法が記載される。本方法は、表示デバイス及び通信デバイスを備える電子デバイスにおいて、第１の制御可能外部デバイスに関連付けられた第１のアクセサリアフォーダンスを含むユーザインタフェースを表示デバイスに表示することと、第１のアクセサリアフォーダンスの選択に対応する第１の入力を検出することと、第１の入力を検出したことに応答して、コマンド送信基準のセットが満たされたという判定に従って、通信デバイスを介して、第１の制御可能外部デバイスに、第１の機能を実施するためのコマンドを送信することと、コマンド送信基準のセットが満たされていないという判定に従って、表示デバイスに第１のアクセサリインタフェースを表示することと、を含み、第１のアクセサリインタフェースは、第１の制御アフォーダンスであって、選択されると、制御可能外部デバイスに、第１の機能を実施するための第１のコマンドを送信する、第１の制御アフォーダンスと、第２の制御アフォーダンスであって、選択されると、第１の制御可能外部デバイスに、第１の機能とは異なる第２の機能を実施するためのコマンドを送信する、第２の制御アフォーダンスと、を含む。
一部の実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、表示デバイス及び通信デバイスを備えた電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、命令であって、第１の制御可能外部デバイスに関連付けられた第１のアクセサリアフォーダンスを含むユーザインタフェースを表示デバイスに表示させ、第１のアクセサリアフォーダンスの選択に対応する第１の入力を検出することと、第１の入力を検出したことに応答して、コマンド送信基準のセットが満たされたという判定に従って、通信デバイスを介して、第１の制御可能外部デバイスに、第１の機能を実施するためのコマンドを送信することと、コマンド送信基準のセットが満たされていないという判定に従って、表示デバイスに第１のアクセサリインタフェースを表示することと、を含み、第１のアクセサリインタフェースは、第１の制御アフォーダンスであって、選択されると、制御可能外部デバイスに、第１の機能を実施するための第１のコマンドを送信する、第１の制御アフォーダンスと、第２の制御アフォーダンスであって、選択されると、第１の制御可能外部デバイスに、第１の機能とは異なる第２の機能を実施するためのコマンドを送信する、第２の制御アフォーダンスと、を含む。
一部の実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、表示デバイス及び通信デバイスを備えた電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、命令であって、第１の制御可能外部デバイスに関連付けられた第１のアクセサリアフォーダンスを含むユーザインタフェースを表示デバイスに表示させ、第１のアクセサリアフォーダンスの選択に対応する第１の入力を検出することと、第１の入力を検出したことに応答して、コマンド送信基準のセットが満たされたという判定に従って、通信デバイスを介して、第１の制御可能外部デバイスに、第１の機能を実施するためのコマンドを送信することと、コマンド送信基準のセットが満たされていないという判定に従って、表示デバイスに第１のアクセサリインタフェースを表示することと、を含み、第１のアクセサリインタフェースは、第１の制御アフォーダンスであって、選択されると、制御可能外部デバイスに、第１の機能を実施するための第１のコマンドを送信する、第１の制御アフォーダンスと、第２の制御アフォーダンスであって、選択されると、第１の制御可能外部デバイスに、第１の機能とは異なる第２の機能を実施するためのコマンドを送信する、第２の制御アフォーダンスと、を含む。
一部の実施形態によれば、電子デバイスが記載される。電子デバイスは、表示デバイス及び通信デバイスと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、ビデオメディアユーザインタフェースを表示させる命令であって、第１の制御可能外部デバイスに関連付けられた第１のアクセサリアフォーダンスを含むユーザインタフェースを表示デバイスに表示させ、第１のアクセサリアフォーダンスの選択に対応する第１の入力を検出することと、第１の入力を検出したことに応答して、コマンド送信基準のセットが満たされたという判定に従って、通信デバイスを介して、第１の制御可能外部デバイスに、第１の機能を実施するためのコマンドを送信することと、コマンド送信基準のセットが満たされていないという判定に従って、表示デバイスに第１のアクセサリインタフェースを表示することと、を含み、第１のアクセサリインタフェースは、第１の制御アフォーダンスであって、選択されると、制御可能外部デバイスに、第１の機能を実施するための第１のコマンドを送信する、第１の制御アフォーダンスと、第２の制御アフォーダンスであって、選択されると、第１の制御可能外部デバイスに、第１の機能とは異なる第２の機能を実施するためのコマンドを送信する、第２の制御アフォーダンスと、を含む。
一部の実施形態によれば、電子デバイスが記載される。電子デバイスは、表示デバイス及び通信デバイスと、第１の制御可能外部デバイスに関連付けられた第１のアクセサリアフォーダンスを含むユーザインタフェースを表示デバイスに表示するための手段と、第１のアクセサリアフォーダンスの選択に対応する第１の入力を検出するための手段と、手段であって、第１の入力を検出したことに応答して、コマンド送信基準のセットが満たされたという判定に従って、通信デバイスを介して、第１の制御可能外部デバイスに、第１の機能を実施するためのコマンドを送信し、コマンド送信基準のセットが満たされていないという判定に従って、表示デバイスに第１のアクセサリインタフェースを表示し、第１のアクセサリインタフェースには、第１の制御アフォーダンスであって、選択されると、第１の制御可能外部デバイスに、第１の機能を実施するためのコマンドを送信する第１の制御アフォーダンスと、第２の制御アフォーダンスであって、選択されると、第１の制御可能外部デバイスに、第１の機能とは異なる第２の機能を実施するためのコマンドを送信する第２の制御アフォーダンスとを含む手段と、を備える。
一部の実施形態によれば、方法が記載される。本方法は、表示デバイスを備えた電子デバイスにおいて、第１の制御可能外部デバイスに関連付けられた第１のアクセサリアフォーダンスを含むユーザインタフェースを表示デバイスに表示することと、第１のアクセサリアフォーダンスの選択に対応する第１の入力を検出することと、第１の入力を検出したことに応答して、表示デバイスに、第１の制御アフォーダンスであって、選択されると、第１のアクセサリインタフェースの第２の領域を表示することなく、第１の制御可能外部デバイスの第１の機能を制御する第１の制御アフォーダンスを含む、第１のアクセサリインタフェースの第１の領域を表示することと、第１のアクセサリインタフェースの第１の領域を表示デバイスに表示している間に、第２の入力を検出することと、第２の入力を検出したことに応答して、第２の入力が第２の領域の一部を閾値量を超えて表示させるという判定に従って、第１の領域の表示を停止している間に、ユーザインタフェースの表示を更新して、第１のアクセサリインタフェースの上部に第２の領域であって、第１の制御可能外部デバイスの１つ以上の設定を含む第２の領域を表示することと、第２の入力は第２の領域の一部を閾値量を超えて表示させないという判定に従って、第１のアクセサリインタフェースの第２の領域を表示することなく、第１のアクセサリインタフェースの第１の領域内の第２の制御アフォーダンスへの第２の入力に基づいて第１のアクセサリインタフェースの表示を更新することと、を含む。
一部の実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、表示デバイスを備えた電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、命令であって、第１の制御可能外部デバイスに関連付けられた第１のアクセサリアフォーダンスを含むユーザインタフェースを表示デバイスに表示させ、第１のアクセサリアフォーダンスの選択に対応する第１の入力を検出することと、第１の入力を検出したことに応答して、表示デバイスに、第１の制御アフォーダンスであって、選択されると、第１のアクセサリインタフェースの第２の領域を表示することなく、第１の制御可能外部デバイスの第１の機能を制御する第１の制御アフォーダンスを含む、第１のアクセサリインタフェースの第１の領域を表示することと、第１のアクセサリインタフェースの第１の領域を表示デバイスに表示している間に、第２の入力を検出することと、第２の入力を検出したことに応答して、第２の入力が第２の領域の一部を閾値量を超えて表示させるという判定に従って、第１の領域の表示を停止している間に、ユーザインタフェースの表示を更新して、第１のアクセサリインタフェースの上部に第２の領域であって、第１の制御可能外部デバイスの１つ以上の設定を含む第２の領域を表示することと、第２の入力は第２の領域の一部を閾値量を超えて表示させないという判定に従って、第１のアクセサリインタフェースの第２の領域を表示することなく、第１のアクセサリインタフェースの第１の領域内の第２の制御アフォーダンスへの第２の入力に基づいて第１のアクセサリインタフェースの表示を更新することと、を含む。
一部の実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、表示デバイスを備えた電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、第１の制御可能外部デバイスに関連付けられた第１のアクセサリアフォーダンスを含むユーザインタフェースを表示デバイスに表示させ、第１のアクセサリアフォーダンスの選択に対応する第１の入力を検出することと、第１の入力を検出したことに応答して、表示デバイスに、第１の制御アフォーダンスであって、選択されると、第１のアクセサリインタフェースの第２の領域を表示することなく、第１の制御可能外部デバイスの第１の機能を制御する第１の制御アフォーダンスを含む、第１のアクセサリインタフェースの第１の領域を表示することと、第１のアクセサリインタフェースの第１の領域を表示デバイスに表示している間に、第２の入力を検出することと、第２の入力を検出したことに応答して、第２の入力が第２の領域の一部を閾値量を超えて表示させるという判定に従って、第１の領域の表示を停止している間に、ユーザインタフェースの表示を更新して、第１のアクセサリインタフェースの上部に第２の領域であって、第１の制御可能外部デバイスの１つ以上の設定を含む第２の領域を表示することと、第２の入力は第２の領域の一部を閾値量を超えて表示させないという判定に従って、第１のアクセサリインタフェースの第２の領域を表示することなく、第１のアクセサリインタフェースの第１の領域内の第２の制御アフォーダンスへの第２の入力に基づいて第１のアクセサリインタフェースの表示を更新することと、を含む。
一部の実施形態によれば、電子デバイスが記載される。この電子デバイスは、表示デバイスと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、ビデオメディアユーザインタフェースを表示させる命令であって、第１の制御可能外部デバイスに関連付けられた第１のアクセサリアフォーダンスを含むユーザインタフェースを表示デバイスに表示させ、第１のアクセサリアフォーダンスの選択に対応する第１の入力を検出することと、第１の入力を検出したことに応答して、表示デバイスに、第１の制御アフォーダンスであって、選択されると、第１のアクセサリインタフェースの第２の領域を表示することなく、第１の制御可能外部デバイスの第１の機能を制御する第１の制御アフォーダンスを含む、第１のアクセサリインタフェースの第１の領域を表示することと、第１のアクセサリインタフェースの第１の領域を表示デバイスに表示している間に、第２の入力を検出することと、第２の入力を検出したことに応答して、第２の入力が第２の領域の一部を閾値量を超えて表示させるという判定に従って、第１の領域の表示を停止している間に、ユーザインタフェースの表示を更新して、第１のアクセサリインタフェースの上部に第２の領域であって、第１の制御可能外部デバイスの１つ以上の設定を含む第２の領域を表示することと、第２の入力は第２の領域の一部を閾値量を超えて表示させないという判定に従って、第１のアクセサリインタフェースの第２の領域を表示することなく、第１のアクセサリインタフェースの第１の領域内の第２の制御アフォーダンスへの第２の入力に基づいて第１のアクセサリインタフェースの表示を更新することと、を含む。
一部の実施形態によれば、電子デバイスが記載される。この電子デバイスは、表示デバイスと、第１の制御可能外部デバイスに関連付けられた第１のアクセサリアフォーダンスを含むユーザインタフェースを表示デバイスに表示するための手段と、第１のアクセサリアフォーダンスの選択に対応する第１の入力を検出するための手段と、第１の入力を検出したことに応答して、表示デバイスに、制御アフォーダンスであって、選択されると、第１のアクセサリインタフェースの第２の領域を表示することなく、第１の制御可能外部デバイスの第１の機能を制御する第１の制御アフォーダンスを含む、第１のアクセサリインタフェースの第１の領域を表示するための手段と、表示デバイスに、第１のアクセサリインタフェースの第１の領域を表示している間に、第２の入力を検出するための手段と、第２の入力を検出したことに応答して、第２の入力が第２の領域の一部を閾値量を超えて表示されるという判定に従って、第１の領域の表示を停止している間に、前記ユーザインタフェースの表示を更新して、第１のアクセサリインタフェースの上部に第２の領域であって、第１の制御可能外部デバイスの１つ以上の設定を含む第２の領域を表示する手段と、第２の入力は、第２の領域の一部を閾値量を超えて表示させないという判定に従って、第１のアクセサリインタフェースの第２の領域を表示することなく、第１のアクセサリインタフェースの第１の領域内の第２の制御アフォーダンスへの第２の入力に基づいて第１のアクセサリインタフェースの表示を更新するための手段と、を備える。
一部の実施形態によれば、方法が記載される。方法は、表示デバイスを有する電子デバイスにおいて、電子デバイスが第１の制御可能外部デバイスを制御するように構成されていない間に、第１の制御可能外部デバイスを制御するように電子デバイスを構成するための要求に対応する１つ以上の入力の第１のセットを検出することと、１つ以上の入力の第１のセットを検出したことに応答して、電子デバイスを構成して第１の制御可能外部デバイスを制御するプロセスを開始することとを含み、プロセスは、第１の制御可能外部デバイスに対応する情報を受信することと、受信された情報に基づいて、第１の制御可能外部デバイスが、第１の制御可能外部デバイスの複数の下位構成要素に関連付けられた複数の制御可能機能に関連付けられているという判定に従って、表示デバイスに、第１の制御可能外部デバイス及び複数の下位構成要素を含むグループに対応する第１のアクセサリアフォーダンスを表示することと、受信された情報に基づいて、第１の制御可能外部デバイスが複数の下位構成要素と関連付けられていないという判定に従って、表示デバイスに、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスを表示することと、表示デバイスに、第１のアクセサリアフォーダンス又は第２のアクセサリアフォーダンスを表示している間に、第２の入力を検出することと、第２の入力を検出したことに応答して、第２の入力が第１のアクセサリアフォーダンスの選択に対応するという判定に従って、表示デバイスに、第１の制御可能外部デバイス及び複数の下位構成要素に対応する複数の制御アフォーダンスを含む第１のアクセサリインタフェースと、制御再構成アフォーダンスであって、選択されると、第１のアクセサリインタフェースから複数の制御アフォーダンスのうちの少なくとも第１の制御アフォーダンスを除去するプロセスを開始する制御再構成アフォーダンスとを表示することと、第２の入力が第２のアクセサリアフォーダンスの選択に対応するという判定に従って、表示デバイスに、制御再構成アフォーダンスを表示することなく、第１の制御可能外部デバイスの制御を含む第２のアクセサリインタフェースを表示することと、を含む。
一部の実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、表示デバイスを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、命令であって電子デバイスが第１の制御可能外部デバイスを制御するように構成されていない間に、第１の制御可能外部デバイスを制御するように電子デバイスを構成するための要求に対応する１つ以上の入力の第１のセットを検出させ、１つ以上の入力の第１のセットを検出したことに応答して、電子デバイスを構成して第１の制御可能外部デバイスを制御するプロセスを開始することとを含み、プロセスは、第１の制御可能外部デバイスに対応する情報を受信することと、受信された情報に基づいて、第１の制御可能外部デバイスが、第１の制御可能外部デバイスの複数の下位構成要素に関連付けられた複数の制御可能機能に関連付けられているという判定に従って、表示デバイスに、第１の制御可能外部デバイス及び複数の下位構成要素を含むグループに対応する第１のアクセサリアフォーダンスを表示することと、受信された情報に基づいて、第１の制御可能外部デバイスが複数の下位構成要素と関連付けられていないという判定に従って、表示デバイスに、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスを表示することと、表示デバイスに、第１のアクセサリアフォーダンス又は第２のアクセサリアフォーダンスを表示している間に、第２の入力を検出することと、第２の入力を検出したことに応答して、第２の入力が第１のアクセサリアフォーダンスの選択に対応するという判定に従って、表示デバイスに、第１の制御可能外部デバイス及び複数の下位構成要素に対応する複数の制御アフォーダンスを含む第１のアクセサリインタフェースと、制御再構成アフォーダンスであって、選択されると、第１のアクセサリインタフェースから複数の制御アフォーダンスのうちの少なくとも第１の制御アフォーダンスを除去するプロセスを開始する制御再構成アフォーダンスとを表示することと、第２の入力が第２のアクセサリアフォーダンスの選択に対応するという判定に従って、表示デバイスに、制御再構成アフォーダンスを表示することなく、第１の制御可能外部デバイスの制御を含む第２のアクセサリインタフェースを表示することと、を含む。
一部の実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、表示デバイスを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、命令であって電子デバイスが第１の制御可能外部デバイスを制御するように構成されていない間に、第１の制御可能外部デバイスを制御するように電子デバイスを構成するための要求に対応する１つ以上の入力の第１のセットを検出させ、１つ以上の入力の第１のセットを検出したことに応答して、電子デバイスを構成して第１の制御可能外部デバイスを制御するプロセスを開始することとを含み、プロセスは、第１の制御可能外部デバイスに対応する情報を受信することと、受信された情報に基づいて、第１の制御可能外部デバイスが、第１の制御可能外部デバイスの複数の下位構成要素に関連付けられた複数の制御可能機能に関連付けられているという判定に従って、表示デバイスに、第１の制御可能外部デバイス及び複数の下位構成要素を含むグループに対応する第１のアクセサリアフォーダンスを表示することと、受信された情報に基づいて、第１の制御可能外部デバイスが複数の下位構成要素と関連付けられていないという判定に従って、表示デバイスに、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスを表示することと、表示デバイスに、第１のアクセサリアフォーダンス又は第２のアクセサリアフォーダンスを表示している間に、第２の入力を検出することと、第２の入力を検出したことに応答して、第２の入力が第１のアクセサリアフォーダンスの選択に対応するという判定に従って、表示デバイスに、第１の制御可能外部デバイス及び複数の下位構成要素に対応する複数の制御アフォーダンスを含む第１のアクセサリインタフェースと、制御再構成アフォーダンスであって、選択されると、第１のアクセサリインタフェースから複数の制御アフォーダンスのうちの少なくとも第１の制御アフォーダンスを除去するプロセスを開始する制御再構成アフォーダンスとを表示することと、第２の入力が第２のアクセサリアフォーダンスの選択に対応するという判定に従って、表示デバイスに、制御再構成アフォーダンスを表示することなく、第１の制御可能外部デバイスの制御を含む第２のアクセサリインタフェースを表示することと、を含む。
一部の実施形態によれば、電子デバイスが記載される。この電子デバイスは、表示デバイスと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、１つ以上のプログラムは、ビデオメディアユーザインタフェースを表示するための命令であって、電子デバイスが第１の制御可能外部デバイスを制御するように構成されていない間に、第１の制御可能外部デバイスを制御するように電子デバイスを構成するための要求に対応する１つ以上の入力の第１のセットを検出させ、１つ以上の入力の第１のセットを検出したことに応答して、電子デバイスを構成して第１の制御可能外部デバイスを制御するプロセスを開始することとを含み、プロセスは、第１の制御可能外部デバイスに対応する情報を受信することと、受信された情報に基づいて、第１の制御可能外部デバイスが、第１の制御可能外部デバイスの複数の下位構成要素に関連付けられた複数の制御可能機能に関連付けられているという判定に従って、表示デバイスに、第１の制御可能外部デバイス及び複数の下位構成要素を含むグループに対応する第１のアクセサリアフォーダンスを表示することと、受信された情報に基づいて、第１の制御可能外部デバイスが複数の下位構成要素と関連付けられていないという判定に従って、表示デバイスに、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスを表示することと、表示デバイスに、第１のアクセサリアフォーダンス又は第２のアクセサリアフォーダンスを表示している間に、第２の入力を検出することと、第２の入力を検出したことに応答して、第２の入力が第１のアクセサリアフォーダンスの選択に対応するという判定に従って、表示デバイスに、第１の制御可能外部デバイス及び複数の下位構成要素に対応する複数の制御アフォーダンスを含む第１のアクセサリインタフェースと、制御再構成アフォーダンスであって、選択されると、第１のアクセサリインタフェースから複数の制御アフォーダンスのうちの少なくとも第１の制御アフォーダンスを除去するプロセスを開始する制御再構成アフォーダンスとを表示することと、第２の入力が第２のアクセサリアフォーダンスの選択に対応するという判定に従って、表示デバイスに、制御再構成アフォーダンスを表示することなく、第１の制御可能外部デバイスの制御を含む第２のアクセサリインタフェースを表示することと、を含む。
一部の実施形態によれば、電子デバイスが記載される。この電子デバイスは、表示デバイスと、手段であって、電子デバイスが第１の制御可能外部デバイスを制御するように構成されていない間に、第１の制御可能外部デバイスを制御するように電子デバイスを構成するための要求に対応する１つ以上の入力の第１のセットを検出するための手段と、１つ以上の入力の第１のセットを検出したことに応答して、電子デバイスを構成して第１の制御可能外部デバイスを制御するプロセスを開始するための手段であって、プロセスは、第１の制御可能外部デバイスに対応する情報を受信することと、受信された情報に基づいて、第１の制御可能外部デバイスが、第１の制御可能外部デバイスの複数の下位構成要素に関連付けられた複数の制御可能機能に関連付けられているという判定に従って、表示デバイスに、第１の制御可能外部デバイス及び複数の下位構成要素を含むグループに対応する第１のアクセサリアフォーダンスを表示することと、受信された情報に基づいて、第１の制御可能外部デバイスが複数の下位構成要素と関連付けられていないという判定に従って、表示デバイスに、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスを表示することと、表示デバイスに、第１のアクセサリアフォーダンス又は第２のアクセサリアフォーダンスを表示している間に、第２の入力を検出するための手段と、手段であって、第２の入力を検出したことに応答して、第２の入力が第１のアクセサリアフォーダンスの選択に対応するという判定に従って、表示デバイスに、第１の制御可能外部デバイス及び複数の下位構成要素に対応する複数の制御アフォーダンスを含む第１のアクセサリインタフェースと、制御再構成アフォーダンスであって、選択されると、第１のアクセサリインタフェースから複数の制御アフォーダンスのうちの少なくとも第１の制御アフォーダンスを除去するプロセスを開始する制御再構成アフォーダンスとを表示し、第２の入力が第２のアクセサリアフォーダンスの選択に対応するという判定に従って、表示デバイスに、制御再構成アフォーダンスを表示することなく、第１の制御可能外部デバイスの制御を含む第２のアクセサリインタフェースを表示するための手段と、を含む。
一部の実施形態によれば、方法が記載される。方法は、表示デバイスを備える電子デバイスにおいて、表示デバイスに、電子デバイスによって制御可能な外部サーモスタットデバイス用の温度モード作成制御の第１のセットを含む温度モード作成ユーザインタフェースを表示することと、表示デバイスに温度モード作成ユーザインタフェースを表示している間に、１つ以上の入力の第１のセットを検出することと、１つ以上の入力の第１のセットに応答して、最小限の温度範囲とは異なる最低温度と最高温度とを含む温度範囲を選択することと、温度範囲を第１の温度モードと関連付けることと、温度範囲を第１の温度モードと関連付けた後、表示デバイスに、外部サーモスタットデバイスのスケジュール化動作作成制御の第２のセットを含む温度スケジューリングユーザインタフェースを表示することと、表示デバイスに温度スケジューリングユーザインタフェースを表示している間に、１つ以上の入力の第２のセットを検出することと、１つ以上の入力の第２のセットを検出したことに応答して、第１のスケジュールされた動作のアクティブ化のための第１の基準を選択することと、第１の温度モードを第１のスケジュールされた動作と関連付けることとを含む。
一部の実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、表示デバイスを備えた電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、命令であって、表示デバイスに、電子デバイスによって制御可能な外部サーモスタットデバイス用の温度モード作成制御の第１のセットを含む温度モード作成ユーザインタフェースを表示させ、表示デバイスに温度モード作成ユーザインタフェースを表示している間に、１つ以上の入力の第１のセットを検出することと、１つ以上の入力の第１のセットに応答して、最小限の温度範囲とは異なる最低温度と最高温度とを含む温度範囲を選択することと、温度範囲を第１の温度モードと関連付けることと、温度範囲を第１の温度モードと関連付けた後、表示デバイスに、外部サーモスタットデバイスのスケジュール化動作作成制御の第２のセットを含む温度スケジューリングユーザインタフェースを表示することと、表示デバイスに温度スケジューリングユーザインタフェースを表示している間に、１つ以上の入力の第２のセットを検出することと、１つ以上の入力の第２のセットを検出したことに応答して、第１のスケジュールされた動作のアクティブ化のための第１の基準を選択することと、第１の温度モードを第１のスケジュールされた動作と関連付けることとを含む。
一部の実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、表示デバイスを備えた電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、命令であって、表示デバイスに、電子デバイスによって制御可能な外部サーモスタットデバイス用の温度モード作成制御の第１のセットを含む温度モード作成ユーザインタフェースを表示し、表示デバイスに温度モード作成ユーザインタフェースを表示している間に、１つ以上の入力の第１のセットを検出することと、１つ以上の入力の第１のセットに応答して、最小限の温度範囲とは異なる最低温度と最高温度とを含む温度範囲を選択することと、温度範囲を第１の温度モードと関連付けることと、温度範囲を第１の温度モードと関連付けた後、表示デバイスに、外部サーモスタットデバイスのスケジュール化動作作成制御の第２のセットを含む温度スケジューリングユーザインタフェースを表示することと、表示デバイスに温度スケジューリングユーザインタフェースを表示している間に、１つ以上の入力の第２のセットを検出することと、１つ以上の入力の第２のセットを検出したことに応答して、第１のスケジュールされた動作のアクティブ化のための第１の基準を選択することと、第１の温度モードを第１のスケジュールされた動作と関連付けることとを含む。
一部の実施形態によれば、電子デバイスが記載される。この電子デバイスは、表示デバイスと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、１つ以上のプログラムは、ビデオメディアユーザインタフェースを表示するための命令であって、表示デバイスに、電子デバイスによって制御可能な外部サーモスタットデバイス用の温度モード作成制御の第１のセットを含む温度モード作成ユーザインタフェースを表示させ、表示デバイスに温度モード作成ユーザインタフェースを表示している間に、１つ以上の入力の第１のセットを検出することと、１つ以上の入力の第１のセットに応答して、最小限の温度範囲とは異なる最低温度と最高温度とを含む温度範囲を選択することと、温度範囲を第１の温度モードと関連付けることと、温度範囲を第１の温度モードと関連付けた後、表示デバイスに、外部サーモスタットデバイスのスケジュール化動作作成制御の第２のセットを含む温度スケジューリングユーザインタフェースを表示することと、表示デバイスに温度スケジューリングユーザインタフェースを表示している間に、１つ以上の入力の第２のセットを検出することと、１つ以上の入力の第２のセットを検出したことに応答して、第１のスケジュールされた動作のアクティブ化のための第１の基準を選択することと、第１の温度モードを第１のスケジュールされた動作と関連付けることとを含む。
一部の実施形態によれば、電子デバイスが記載される。この電子デバイスは、表示デバイスと、表示デバイスに、電子デバイスによって制御可能な外部サーモスタットデバイス用の温度モード作成制御の第１のセットを含む温度モード作成ユーザインタフェースを表示するための手段と、表示デバイスに温度モード作成ユーザインタフェースを表示している間に、１つ以上の入力の第１のセットを検出するための手段と、１つ以上の入力の第１のセットに応答して、最小限の温度範囲とは異なる最低温度と最高温度とを含む温度範囲を選択し、温度範囲を第１の温度モードと関連付けするための手段と、温度範囲を第１の温度モードと関連付けた後、表示デバイスに、外部サーモスタットデバイスのスケジュール化動作作成制御の第２のセットを含む温度スケジューリングユーザインタフェースを表示するための手段と、表示デバイスに温度スケジューリングユーザインタフェースを表示している間に、１つ以上の入力の第２のセットを検出するための手段と、１つ以上の入力の第２のセットを検出したことに応答して、第１のスケジュールされた動作のアクティブ化のための第１の基準を選択し、第１の温度モードを第１のスケジュールされた動作と関連付けるための手段と、を含む。
一部の実施形態によれば、方法が記載される。方法は、表示デバイスを備える電子デバイスにおいて、表示デバイスを介して、第１の制御可能外部デバイスに対応する第１のアクセサリアフォーダンスを表示することと、第１の制御可能外部デバイスを制御可能外部デバイスの第１のセットに追加するための１つ以上の入力を検出することと、第１の制御可能外部デバイスを制御可能外部デバイスの第１のセットに追加するための１つ以上の入力を検出したことに応答して、制御可能外部デバイスの第１のセットを更新して第１の制御可能外部デバイスを含めることと、第１の制御可能外部デバイスが第１のタイプのものであるという判定に従って、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスと、構成アフォーダンスであって、選択されると、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する構成アフォーダンスと、を同時に表示することと、第１の制御可能外部デバイスが第１のタイプのものではないという判定に従って、構成アフォーダンスであって、選択されると、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する構成アフォーダンスなしに、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスを表示することと、を含む。
一部の実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、表示デバイスを備えた電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、命令であって、表示デバイスを介して、第１の制御可能外部デバイスに対応する第１のアクセサリアフォーダンスを表示させ、第１の制御可能外部デバイスを制御可能外部デバイスの第１のセットに追加するための１つ以上の入力を検出することと、第１の制御可能外部デバイスを制御可能外部デバイスの第１のセットに追加するための１つ以上の入力を検出したことに応答して、制御可能外部デバイスの第１のセットを更新して第１の制御可能外部デバイスを含めることと、第１の制御可能外部デバイスが第１のタイプのものであるという判定に従って、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスと、構成アフォーダンスであって、選択されると、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する構成アフォーダンスと、を同時に表示することと、第１の制御可能外部デバイスが第１のタイプのものではないという判定に従って、構成アフォーダンスであって、選択されると、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する構成アフォーダンスなしに、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスを表示することと、を含む。
一部の実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、表示デバイスを備えた電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、命令であって、表示デバイスを介して、第１の制御可能外部デバイスに対応する第１のアクセサリアフォーダンスを表示させ、第１の制御可能外部デバイスを制御可能外部デバイスの第１のセットに追加するための１つ以上の入力を検出することと、第１の制御可能外部デバイスを制御可能外部デバイスの第１のセットに追加するための１つ以上の入力を検出したことに応答して、制御可能外部デバイスの第１のセットを更新して第１の制御可能外部デバイスを含めることと、第１の制御可能外部デバイスが第１のタイプのものであるという判定に従って、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスと、構成アフォーダンスであって、選択されると、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する構成アフォーダンスと、を同時に表示することと、第１の制御可能外部デバイスが第１のタイプのものではないという判定に従って、構成アフォーダンスであって、選択されると、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する構成アフォーダンスなしに、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスを表示することと、を含む。
一部の実施形態によれば、電子デバイスが記載される。この電子デバイスは、表示デバイスと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、１つ以上のプログラムは、命令であって、表示デバイスを介して、第１の制御可能外部デバイスに対応する第１のアクセサリアフォーダンスを表示させ、第１の制御可能外部デバイスを制御可能外部デバイスの第１のセットに追加するための１つ以上の入力を検出することと、第１の制御可能外部デバイスを制御可能外部デバイスの第１のセットに追加するための１つ以上の入力を検出したことに応答して、制御可能外部デバイスの第１のセットを更新して第１の制御可能外部デバイスを含めることと、第１の制御可能外部デバイスが第１のタイプのものであるという判定に従って、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスと、構成アフォーダンスであって、選択されると、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する構成アフォーダンスと、を同時に表示することと、第１の制御可能外部デバイスが第１のタイプのものではないという判定に従って、構成アフォーダンスであって、選択されると、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する構成アフォーダンスなしに、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスを表示することと、を含む。
一部の実施形態によれば、電子デバイスが記載される。この電子デバイスは、表示デバイスと、表示デバイスを介して、第１の制御可能外部デバイスに対応する第１のアクセサリアフォーダンスを表示するための手段と、第１の制御可能外部デバイスを制御可能外部デバイスの第１のセットに追加するための１つ以上の入力を検出するための手段と、手段であって、第１の制御可能外部デバイスを制御可能外部デバイスの第１のセットに追加するための１つ以上の入力を検出したことに応答して、制御可能外部デバイスの第１のセットを更新して第１の制御可能外部デバイスに含め、第１の制御可能外部デバイスが第１のタイプのものであるという判定に従って、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスと、構成アフォーダンスであって、選択されると、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する構成アフォーダンスと、を同時に表示することと、第１の制御可能外部デバイスが第１のタイプのものではないという判定に従って、構成アフォーダンスであって、選択されると、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する構成アフォーダンスなしに、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスを表示することと、を含む。
一部の実施形態によれば、方法が記載される。方法は、表示デバイスを備えた電子デバイスにおいて、表示デバイスを介して、メディアアイテムに関する再生機能を実施するための１つ以上の再生制御のセットとアラーム構成アフォーダンスを同時に表示することと、ユーザ入力を検出することと、ユーザ入力を検出したに応答して、検出されたユーザ入力が１つ以上の再生制御のセットのうちの再生制御の選択に対応するという判定に従って、選択された再生制御に基づいて、制御可能外部デバイスにおいて再生機能を実施するプロセスを開始することと、検出されたユーザ入力がアラーム構成アフォーダンスの選択に対応するという判定に従って、１つ以上の再生制御のセットとアラーム構成アフォーダンスの同時表示を、第１のアラームの時間を設定するための時間アフォーダンスのセットに置き換えることと、を含む。
一部の実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、表示デバイスを備えた電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、命令であって、表示デバイスを介して、メディアアイテムに関する再生機能を実施するための１つ以上の再生制御のセットとアラーム構成アフォーダンスを同時に表示させ、ユーザ入力を検出することと、ユーザ入力を検出したに応答して、検出されたユーザ入力が１つ以上の再生制御のセットのうちの再生制御の選択に対応するという判定に従って、選択された再生制御に基づいて、制御可能外部デバイスにおいて再生機能を実施するプロセスを開始することと、検出されたユーザ入力がアラーム構成アフォーダンスの選択に対応するという判定に従って、１つ以上の再生制御のセットとアラーム構成アフォーダンスの同時表示を、第１のアラームの時間を設定するための時間アフォーダンスのセットに置き換えることと、を含む。
一部の実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、表示デバイスを備えた電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、命令であって、表示デバイスを介して、メディアアイテムに関する再生機能を実施するための１つ以上の再生制御のセットとアラーム構成アフォーダンスを同時に表示させ、ユーザ入力を検出することと、ユーザ入力を検出したに応答して、検出されたユーザ入力が１つ以上の再生制御のセットのうちの再生制御の選択に対応するという判定に従って、選択された再生制御に基づいて、制御可能外部デバイスにおいて再生機能を実施するプロセスを開始することと、検出されたユーザ入力がアラーム構成アフォーダンスの選択に対応するという判定に従って、１つ以上の再生制御のセットとアラーム構成アフォーダンスの同時表示を、第１のアラームの時間を設定するための時間アフォーダンスのセットに置き換えることと、を含む。
一部の実施形態によれば、電子デバイスが記載される。この電子デバイスは、表示デバイスと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、命令であって、表示デバイスを介して、メディアアイテムに関する再生機能を実施するための１つ以上の再生制御のセットとアラーム構成アフォーダンスを同時に表示させ、ユーザ入力を検出することと、ユーザ入力を検出したに応答して、検出されたユーザ入力が１つ以上の再生制御のセットのうちの再生制御の選択に対応するという判定に従って、選択された再生制御に基づいて、制御可能外部デバイスにおいて再生機能を実施するプロセスを開始することと、検出されたユーザ入力がアラーム構成アフォーダンスの選択に対応するという判定に従って、１つ以上の再生制御のセットとアラーム構成アフォーダンスの同時表示を、第１のアラームの時間を設定するための時間アフォーダンスのセットに置き換えることと、を含む。
一部の実施形態によれば、電子デバイスが記載される。この電子デバイスは、表示デバイスと、表示デバイスを介して、メディアアイテムに関する再生機能を実施するための１つ以上の再生制御のセットとアラーム構成アフォーダンスを同時に表示するための手段と、ユーザ入力を検出するための手段と、手段であって、ユーザ入力を検出したことに応答して、検出されたユーザ入力が１つ以上の再生制御のセットのうちの再生制御の選択に対応するという判定に従って、選択された再生制御に基づいて、制御可能外部デバイスにおいて再生機能を実施するプロセスを開始することと、検出されたユーザ入力がアラーム構成アフォーダンスの選択に対応するという判定に従って、１つ以上の再生制御のセットとアラーム構成アフォーダンスの同時表示を、第１のアラームの時間を設定するための時間アフォーダンスのセットに置き換えることと、を含む。
一部の実施形態によれば、方法が記載される。ディスプレイを備えた電子デバイスにおいて実施される方法は、第１のタイプのオーディオメディアアイテムの再生要求受信であって、要求は、第１のタイプのオーディオメディアアイテムを識別し、第１のタイプの個別のオーディオメディアアイテムは識別しないことと、第１のタイプのオーディオメディアアイテムの再生要求を受信したことに応答して、第１のタイプのオーディオメディアアイテムのうちの第１のオーディオメディアアイテムを再生することと、アフォーダンスであって、選択されると、第１のタイプのオーディオメディアアイテムのうちの第２のオーディオメディアアイテムを再生するアフォーダンスを表示することを含み、第１のタイプのオーディオメディアアイテムのうちの第２のオーディオメディアアイテムは、第１のタイプのオーディオメディアアイテムのうちの第１のオーディオメディアアイテムとは異なる方法。
一部の実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、表示デバイスを備えた電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、命令であって、第１のタイプのオーディオメディアアイテムの再生要求であって、第１のタイプのオーディオメディアアイテムを識別し、第１のタイプの個別のオーディオメディアアイテムは識別しない、要求を受信させ、第１のタイプのオーディオメディアアイテムの再生要求の受信に応答して、第１のタイプのオーディオメディアアイテムのうちの第１のオーディオメディアアイテムを再生させ、アフォーダンスであって、選択されると第１のタイプのオーディオメディアアイテムのうちの第２のオーディオメディアアイテムを再生するアフォーダンスを表示させ、第１のタイプのオーディオメディアアイテムのうちの第２のオーディオメディアアイテムは、第１のタイプのオーディオメディアアイテムのうちの第１のオーディオメディアアイテムと異なる、命令を含む。
一部の実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。一時的コンピュータ可読記憶媒体は、表示デバイスを備えた電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、命令であって、第１のタイプのオーディオメディアアイテムを識別し、第１のタイプの個別のオーディオメディアアイテムは識別しない、要求を受信させ、第１のタイプのオーディオメディアアイテムの再生要求の受信に応答して、第１のタイプのオーディオメディアアイテムのうちの第１のオーディオメディアアイテムを再生させ、アフォーダンスであって、選択されると第１のタイプのオーディオメディアアイテムのうちの第２のオーディオメディアアイテムを再生するアフォーダンスを表示させ、第１のタイプのオーディオメディアアイテムのうちの第２のオーディオメディアアイテムは、第１のタイプのオーディオメディアアイテムのうちの第１のオーディオメディアアイテムと異なる、命令を含む。
一部の実施形態によれば、電子デバイスが記載される。この電子デバイスは、表示デバイスと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、１つ以上のプログラムは、第１のタイプのオーディオメディアアイテムの再生要求を受信させる命令であって、要求は、第１のタイプのオーディオメディアアイテムを識別し、第１のタイプの個別のオーディオメディアアイテムは識別せず、第１のタイプのオーディオメディアアイテムの再生要求の受信に応答して、第１のタイプのオーディオメディアアイテムのうちの第１のオーディオメディアアイテムを再生させ、アフォーダンスであって、選択されると第１のタイプのオーディオメディアアイテムのうちの第２のオーディオメディアアイテムを再生するアフォーダンスを表示させる命令を含み、第１のタイプのオーディオメディアアイテムのうちの第２のオーディオメディアアイテムは、第１のタイプのオーディオメディアアイテムのうちの第１のオーディオメディアアイテムとは異なる。この態様の他の実施例には、対応するコンピュータシステム、装置、及び各々が本方法の動作を実行するように構成された、１つ以上のコンピュータ記憶装置に記録されたコンピュータプログラムが含まれる。
一部の実施形態によれば、電子デバイスが記載される。この電子デバイスは、表示デバイスと、第１のタイプのオーディオメディアアイテムの再生要求を受信するための手段であって、要求は、第１のタイプのオーディオメディアアイテムを識別し、第１のタイプの個別のオーディオメディアアイテムは識別しない手段と、を備えた電子デバイスであって、第１のタイプのオーディオメディアアイテムを再生するための要求を受信したことに応答して、第１のタイプのオーディオメディアアイテムのうちの第１のオーディオメディアアイテムを再生し、アフォーダンスであって、選択されると第１のタイプのオーディオメディアアイテムのうちの第２のオーディオメディアアイテムを再生するアフォーダンスを表示するための手段と、を備え、第１のタイプのオーディオメディアアイテムのうちの第２のオーディオメディアアイテムは、第１のタイプのオーディオメディアアイテムのうちの第１のオーディオメディアアイテムとは異なる。
これらの機能を実行する実行可能な命令は、任意選択的に、１つ以上のプロセッサによって実行されるように構成された非一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。これらの機能を実行する実行可能な命令は、任意選択的に、１つ以上のプロセッサによって実行されるように構成された一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。
したがって、デバイスには、電子デバイスから外部デバイスを管理及び制御するためのより高速でより効率的な方法及びインタフェースが提供され、それにより、そのようなデバイスの有効性、効率、及びユーザ満足度が向上する。そのような方法及びインタフェースは、電子デバイスから外部デバイスを管理及び制御するための他の方法を補完するか、又は置き換えることができる。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態によるタッチ感知ディスプレイを有するポータブル多機能デバイスを示すブロック図である。
いくつかの実施形態によるイベント処理のための例示的な構成要素を示すブロック図である。
いくつかの実施形態によるデジタルアシスタントを実装するシステム及び環境を示すブロック図である。
いくつかの実施形態によるタッチスクリーンを有するポータブル多機能デバイスを示す。
いくつかの実施形態によるディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。
いくつかの実施形態によるポータブル多機能デバイス上のアプリケーションのメニューの例示的なユーザインタフェースを示す。
いくつかの実施形態によるディスプレイとは別個のタッチ感知面を有する多機能デバイスの例示的なユーザインタフェースを示す。
いくつかの実施形態によるパーソナル電子デバイスを示す。
いくつかの実施形態によるパーソナル電子デバイスを示すブロック図である。
一部の実施形態による、タッチ感知ディスプレイ及び強度センサを有するパーソナル電子デバイスの例示的な構成要素を示す。 一部の実施形態による、タッチ感知ディスプレイ及び強度センサを有するパーソナル電子デバイスの例示的な構成要素を示す。
一部の実施形態による、パーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 一部の実施形態による、パーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 一部の実施形態による、パーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 一部の実施形態による、パーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。
いくつかの実施形態による電子デバイスを示す。
いくつかの実施形態による電子デバイスを示すブロック図である。
いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。
いくつかの実施形態による、制御可能外部デバイスを管理する方法を示すフロー図である。 いくつかの実施形態による、制御可能外部デバイスを管理する方法を示すフロー図である。
いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。
いくつかの実施形態による、制御可能外部デバイスを管理する方法を示すフロー図である。 いくつかの実施形態による、制御可能外部デバイスを管理する方法を示すフロー図である。
いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。
いくつかの実施形態による、グループ化された制御可能外部デバイスを管理する方法を示すフロー図である。 いくつかの実施形態による、グループ化された制御可能外部デバイスを管理する方法を示すフロー図である。
いくつかの実施形態による、サーモスタットを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、サーモスタットを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、サーモスタットを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、サーモスタットを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、サーモスタットを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、サーモスタットを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、サーモスタットを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、サーモスタットを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、サーモスタットを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、サーモスタットを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、サーモスタットを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、サーモスタットを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、サーモスタットを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、サーモスタットを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、サーモスタットを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、サーモスタットを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、サーモスタットを管理するための例示的なユーザインタフェースを示す。
いくつかの実施形態による、サーモスタットを管理する方法を示すフロー図である。 いくつかの実施形態による、サーモスタットを管理する方法を示すフロー図である。
いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理するための例示的なユーザインタフェースを示す。
いくつかの実施形態による、スピーカを含む制御可能外部デバイスのグループを管理する方法を示すフロー図である。
いくつかの実施形態による、スピーカを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを管理するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、スピーカを管理するための例示的なユーザインタフェースを示す。
いくつかの実施形態による、スピーカを管理する方法を示すフロー図である。
いくつかの実施形態による、特定のタイプのサウンドの再生を要求するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、特定のタイプのサウンドの再生を要求するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、特定のタイプのサウンドの再生を要求するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、特定のタイプのサウンドの再生を要求するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、特定のタイプのサウンドの再生を要求するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、特定のタイプのサウンドの再生を要求するための例示的なユーザインタフェースを示す。 いくつかの実施形態による、特定のタイプのサウンドの再生を要求するための例示的なユーザインタフェースを示す。
いくつかの実施形態による、特定のタイプのサウンドを再生するために電子デバイスを使用する方法を示すフロー図である。
以下の説明は、例示的な方法、パラメータなどについて記載する。しかしながら、そのような説明は、本開示の範囲に対する限定として意図されるものではなく、代わりに例示的な実施形態の説明として提供されることを認識されたい。
制御可能な外部デバイスを管理するための効率的な方法及びインタフェースを提供する電子デバイスが必要とされている。いくつかの実施形態では、電子デバイスは、制御可能なデバイスのシステムを管理するためのホーム画面上で、指定された（例えば、お気に入りの）制御可能なデバイスへのアクセスを提供する。いくつかの実施形態では、ユーザは、１つのタイプの特性を有する入力（例えば、タップ）を使用して２つの状態（例えば、オン／オフ）の間で状態を切り替えることにより、デバイスをおおまかに制御し、異なる特性を有する入力（例えば、長押し）を使用してデバイスのより詳細な制御を得ることができる。いくつかの実施形態では、ユーザが定義したデバイスの集合（例えば、シーン）が、ユーザが定義した条件に応答して制御される。様々な他の技術もまた、説明する。そのような技術は、制御可能な外部デバイスを管理するユーザの認識的負担を軽減し、それによって生産性を高めることができる。更に、このような技法は、普通なら冗長なユーザ入力に浪費されるプロセッサ及びバッテリの電力を低減させることができる。
以下、図１Ａ～図１Ｃ、図２、図３、図４Ａ～図４Ｂ、及び図５Ａ～図５Ｉは、制御可能外部デバイスを管理するための技術を実施するための例示的なデバイスの説明を提供する。
図６Ａ～図６Ｒ及び図８Ａ～図８Ｊは、制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。図７Ａ～図７Ｂ及び図９Ａ～図９Ｂは、いくつかの実施形態による、制御可能外部デバイスを管理する方法を示すフロー図である。図６Ａ～図６Ｒのユーザインタフェースは、図７～図７Ｂのプロセスを含む後述するプロセスを例示するために使用される。図８Ａ～図８Ｊのユーザインタフェースは、図９Ａ～図９Ｂのプロセスを含む後述するプロセスを例示するために使用される。
図１０Ａ～図１０ＡＣは、グループ化された制御可能外部デバイスを管理するための例示的なユーザインタフェースを示す。図１１Ａ～図１１Ｂは、いくつかの実施形態による、グループ化された制御可能外部デバイスを管理する方法を示すフロー図である。図８Ａ～図８Ｄのユーザインタフェースは、図１１Ａ～図１１Ｂのプロセスを含む後述するプロセスを例示するために使用される。
図１２Ａ～図１２Ｑは、サーモスタットを管理するための例示的なユーザインタフェースを示す。図１３Ａ～図１３Ｂは、いくつかの実施形態による、サーモスタットを管理する方法を示すフロー図である。図１２Ａ～図１２Ｑのユーザインタフェースは、図１３Ａ～図１３Ｂのプロセスを含む後述するプロセスを例示するために使用される。
図１４Ａ～図１４Ｔは、制御可能外部デバイスのグループ及びスピーカを管理するための例示的なユーザインタフェースを示す。図１５は、いくつかの実施形態による、制御可能外部デバイスのグループ及びスピーカを管理するためのユーザインタフェースの方法を示すフロー図である。図１４Ａ～図１４Ｔのユーザインタフェースは、図１５のプロセスを含む後述するプロセスを例示するために使用される。
図１６Ａ～図１６Ｇは、スピーカを管理するための例示的なユーザインタフェースを示す。図１７は、いくつかの実施形態による、スピーカを管理する方法を示すフロー図である。図１６Ａ～図１６Ｇのユーザインタフェースは、図１７のプロセスを含む後述するプロセスを例示するために使用される。
図１８Ａ～図１８Ｇは、いくつかの実施形態による、特定のタイプのサウンドの再生を要求するための例示的なユーザインタフェースを示す。図１９は、いくつかの実施形態による、特定のタイプのサウンドの再生を要求する方法を示すフロー図である。図１８Ａ～図１８Ｇのユーザインタフェースは、図１９のプロセスを含む後述するプロセスを例示するために使用される。
以下の説明では、様々な要素について説明するために、「第１の」、「第２の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、記載する様々な実施形態の範囲から逸脱することなく、第１のタッチを第２のタッチと呼ぶこともでき、同様に第２のタッチを第１のタッチと呼ぶこともできる。第１のタッチ及び第２のタッチはどちらもタッチであるが、これらは同じタッチではない。
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明及び添付の特許請求の範囲では、単数形の「ａ（１つ、一）」、「ａｎ（１つ、一）」、及び「ｔｈｅ（その、この）」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙されたアイテムのうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
「～の場合（if）」という用語は、任意選択的に、文脈に応答して、「～とき（when）」若しくは「～とき（upon）」、又は「～と判定したことに応答して（in response to determining）」若しくは「～を検出したことに応答して（in response to detecting）」を意味すると解釈される。同様に、「～と判定された場合（if it is determined）」又は「［記載の状態又はイベント］が検出された場合（if[a stated condition or event] is detected）」という語句は、任意選択的に、文脈に応答して、「～と判定したとき（upon determining）」若しくは「～と判定したことに応答して（in response to determining）」、又は「［記載の状態又はイベント］を検出したとき（upon detecting [the stated condition or event]）」若しくは「［記載の状態又はイベント］を検出したことに応答して（in response to detecting[the stated condition or event］）」を意味すると解釈される。
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチ感知面を有するラップトップ又はタブレットコンピュータ（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）などの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面を有するデスクトップコンピュータ（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）であることも理解されたい。
以下の論考では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかしながら、電子デバイスは、任意選択的に、物理キーボード、マウス、及び／又はジョイスティックなどの１つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
デバイスは、典型的には、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上などの様々なアプリケーションに対応する。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、任意選択的に、調整及び／又は変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザにとって直観的かつ透過的なユーザインタフェースを備える様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、いくつかの実施形態によるタッチ感知ディスプレイシステム１１２を有するポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれることがあり、「タッチ感知ディスプレイシステム」として知られている又は呼ばれることがある。デバイス１００は、メモリ１０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、他の入力コントロールデバイス１１６、及び外部ポート１２４を含む。デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。デバイス１００は、任意選択的に、デバイス１００上の接触の強度を検出する１つ以上の接触強度センサ１６５（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）を含む。デバイス１００は、任意選択的に、デバイス１００上で触知出力を生成する（例えばデバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上で触知出力を生成する）１つ以上の触知出力生成器１６７を含む。これらの構成要素は、任意選択的に、１つ以上の通信バス又は信号ライン１０３を介して通信する。
本明細書及び特許請求の範囲では、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触）の力若しくは圧力（単位面積当たりの力）、又はタッチ感知面上の接触の力若しくは圧力に対する代理（プロキシ）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、数百の（例えば、少なくとも２５６の）別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組み合わせを使用して、判定（又は測定）される。例えば、タッチ感知面の下又はそれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。一部の実装形態では、複数の力センサからの力測定値は、接触の推定される力を判定するために組み合わされる（例えば、加重平均）。同様に、スタイラスの感圧性先端部は、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触エリアのサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化は、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。一部の実装形態では、接触の力又は圧力のための代替測定値は、強度閾値を超えているかどうかを判定するために直接使用される（例えば、強度閾値は、代替測定値に対応する単位で記述される）。一部の実装形態では、接触力又は圧力に対する代理測定は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超過したかどうかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定される圧力閾値である）。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを（例えば、タッチ感知ディスプレイ上に）表示するための、及び／又は、ユーザ入力を（例えば、タッチ感知ディスプレイ、タッチ感知面、又は、ノブ若しくはボタンなどの物理的／機械的制御部を介して）受信するための面積が制限されている、低減されたサイズのデバイス上で、通常であればユーザによってアクセスすることが不可能であり得る追加のデバイス機能への、ユーザのアクセスが可能となる。
本明細書及び特許請求の範囲で使用されるように、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、そのデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況では、物理的変位によって生成された触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。いくつかの場合、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」「ダウンクリック」、「粗さ」）に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
デバイス１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス１００は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有するものであり、任意選択的に、２つ以上の構成要素を組み合わせるものであり、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの両方の組み合わせで実施される。
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。メモリコントローラ１２２は、任意選択的に、デバイス１００の他の構成要素によるメモリ１０２へのアクセスを制御する。
周辺機器インタフェース１１８は、デバイスの入力及び出力周辺機器をＣＰＵ１２０及びメモリ１０２に結合するために使用することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させるか、又は実行して、デバイス１００のための様々な機能を実行し、データを処理する。いくつかの実施形態では、周辺機器インタフェース１１８、ＣＰＵ１２０、及びメモリコントローラ１２２は、任意選択的に、チップ１０４などの単一のチップ上で実装される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
ＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）（無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらの機能を実施するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリなどが挙げられる。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。ＲＦ回路１０８は、任意選択的に、短距離通信無線機などによって近距離通信（near field communication、ＮＦＣ）フィールドを検出するよく知られている回路を含む。無線通信は、任意選択的に、ＧＳＭ（Global System for Mobile Communications）（登録商標）、拡張データＧＳＭ環境（ＥＤＧＥ、Enhanced Data GSM Environment）、ＨＳＤＰＡ（high-speed downlink packet access）、ＨＳＵＰＡ（high-speed uplink packet access）、ＥＶ－ＤＯ（Evolution,Data-Only）、ＨＳＰＡ、ＨＳＰＡ＋、ＤＣ－ＨＳＰＤＡ（Ｄｕａｌ－Ｃｅｌｌ ＨＳＰＡ）、ＬＴＥ（long term evolution）、近距離無線通信（near field communication、ＮＦＣ）、Ｗ－ＣＤＭＡ（wideband code division multiple access）、符号分割多元接続（ＣＤＭＡ、code division multiple access）、時分割多元接続（ＴＤＭＡ、time division multiple access）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＴＬＥ）、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、ＩＥＥＥ ８０２．１１ｎ、及び／若しくはＩＥＥＥ ８０２．１１ａｃ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ、voice over Internet Protocol）、Ｗｉ－ＭＡＸ、電子メール用プロトコル（例えば、Ｉｎｔｅｒｎｅｔ ｍｅｓｓａｇｅ ａｃｃｅｓｓ ｐｒｏｔｏｃｏｌ（ＩＭＡＰ）及び／若しくはｐｏｓｔ ｏｆｆｉｃｅ ｐｒｏｔｏｃｏｌ（ＰＯＰ））、インスタントメッセージング（例えば、ｅｘｔｅｎｓｉｂｌｅ ｍｅｓｓａｇｉｎｇ ａｎｄ ｐｒｅｓｅｎｃｅ ｐｒｏｔｏｃｏｌ（ＸＭＰＰ））、ＳＩＭＰＬＥ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ ｆｏｒ Ｉｎｓｔａｎｔ Ｍｅｓｓａｇｉｎｇ ａｎｄ Ｐｒｅｓｅｎｃｅ Ｌｅｖｅｒａｇｉｎｇ Ｅｘｔｅｎｓｉｏｎｓ）、ＩＭＰＳ（Ｉｎｓｔａｎｔ Ｍｅｓｓａｇｉｎｇ ａｎｄ Ｐｒｅｓｅｎｃｅ Ｓｅｒｖｉｃｅ）、並びに／若しくはＳＭＳ（Ｓｈｏｒｔ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ）、又は本明細書の出願日時点でまだ開発されていない通信プロトコルを含む、任意の他の適した通信プロトコルを含むが、これらに限定されない、任意の複数の通信規格、プロトコル、及び技術を使用する。
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に伝送する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。また、オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース１１８に伝送する。オーディオデータは、任意選択的に、周辺機器インタフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、かつ／又はメモリ１０２及び／若しくはＲＦ回路１０８に伝送される。いくつかの実施形態では、オーディオ回路１１０はまた、ヘッドセットジャック（例えば、図２の２１２）を含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば片耳又は両耳用のヘッドホン）及び入力（例えばマイクロフォン）の両方を備えるヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチスクリーン１１２及び他の入力コントロールデバイス１１６などのデバイス１００上の入出力周辺機器を、周辺機器インタフェース１１８に結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、深度カメラコントローラ１６９、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び、他の入力デバイス若しくは制御デバイス用の１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、他の入力コントロールデバイス１１６からの電気信号の受信／他の入力コントロールデバイス１１６への電気信号の送信を行う。他の入力コントロールデバイス１１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替的な実施形態では、入力コントローラ１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される（又はいずれにも結合されない）。１つ以上のボタン（例えば、図２の２０８）は、任意選択的に、スピーカ１１１及び／又はマイクロフォン１１３の音量コントロールのための上下ボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば、図２の２０６）を含む。
全体として参照により本明細書に組み込まれている、２００５年１２月２３日出願の米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」、米国特許第７，６５７，８４９号に記載されているように、プッシュボタンの素早い押下は、任意選択的に、タッチスクリーン１１２のロックを係合解除し、又は任意選択的に、タッチスクリーン上のジェスチャを使用してデバイスをアンロックするプロセスを開始する。プッシュボタン（例えば、２０６）のより長い押下は、任意選択的に、デバイス１００への電力をオン又はオフにする。ボタンのうちの１つ以上の機能性は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン１１２は、仮想又はソフトボタン及び１つ以上のソフトキーボードを実装するために使用される。
タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、タッチスクリーン１１２からの電気信号の受信、及び／又はタッチスクリーン１１２への電気信号の送信を行う。タッチスクリーン１１２は、ユーザに対して視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせ（総称して「グラフィック」）を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又は全ては、任意選択的に、ユーザインタフェースオブジェクトに対応する。
タッチスクリーン１１２は、触覚及び／又は触知接触に基づくユーザからの入力を受け入れるタッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン１１２及びディスプレイコントローラ１５６は（メモリ１０２内の任意の関連モジュール及び／又は命令セットとともに）、タッチスクリーン１１２上で接触（及び任意の接触の移動又は中断）を検出し、検出された接触をタッチスクリーン１１２上に表示されたユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ又は画像）との対話に変換する。例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン１１２は、任意選択的に、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術、又はＬＥＤ（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術も使用される。タッチスクリーン１１２及びディスプレイコントローラ１５６は、任意選択的に、それだけに限定されるものではないが、容量性、抵抗性、赤外線、及び表面音波の技術、並びにタッチスクリーン１１２との１つ以上の接触点を判定する他の近接センサアレイ又は他の要素を含む、現在知られている又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びそのあらゆる動き又は中断を検出する。例示的な実施形態では、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）に見られるものなどの、投影型相互静電容量感知技術が使用される。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、それぞれ全体として参照により本明細書に組み込まれている、米国特許第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、及び／若しくは第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、並びに／又は米国特許公報第２００２／００１５０２４（Ａ１）号という米国特許に記載されているマルチタッチ感知タッチパッドに類似している。しかし、タッチスクリーン１１２はデバイス１００からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の米国特許出願第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の米国特許出願第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の米国特許出願第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の米国特許出願第１１／０３８，５９０号、「Ｍｏｄｅ－Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の米国特許出願第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の米国特許出願第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の米国特許出願第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ－Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日出願の米国特許出願第１１／３６７，７４９号、「Ｍｕｌｔｉ－Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ－Ｈｅｌｄ Ｄｅｖｉｃｅ」という出願に記載されている。これらの出願は全て、全体として参照により本明細書に組み込まれている。
タッチスクリーン１１２は、任意選択的に、１００ｄｐｉを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンは、約１６０ｄｐｉのビデオ解像度を有する。ユーザは、任意選択的に、スタイラス、指などの任意の適した物体又は付属物を使用して、タッチスクリーン１１２に接触する。いくつかの実施形態では、ユーザインタフェースは、指ベースの接触及びジェスチャを主に扱うように設計されるが、これは、タッチスクリーン上の指の接触面積がより大きいため、スタイラスベースの入力ほど精密でない可能性がある。いくつかの実施形態では、デバイスは、指による粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ／カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッドを含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン１１２又はタッチスクリーンによって形成されるタッチ感知面の拡張部とは別個のタッチ感知面である。
デバイス１００は、様々な構成要素に電力を供給する電力システム１６２も含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
また、デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に結合された光センサを示す。光センサ１６４は、任意選択的に、電荷結合デバイス（charge-coupled device、ＣＣＤ）又は相補的金属酸化物半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）フォトトランジスタを含む。光センサ１６４は、１つ以上のレンズを通って投影された環境からの光を受信し、その光を、画像を表すデータに変換する。光センサ１６４は、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連動して、任意選択的に、静止画像又はビデオをキャプチャする。いくつかの実施形態では、光センサは、デバイスの前面にあるタッチスクリーンディスプレイ１１２とは反対に、デバイス１００の裏面に位置し、したがってタッチスクリーンディスプレイは、静止画像及び／又はビデオ画像の取得のためのビューファインダとして使用することが有効である。いくつかの実施形態では、光センサは、デバイスの前面には位置し、したがってユーザの画像が、任意選択的に、テレビ会議のために入手され、ユーザは、他のテレビ会議参加者をタッチスクリーンディスプレイ上で見る。いくつかの実施形態では、光センサ１６４の位置は、ユーザによって（例えば、デバイスハウジング内でレンズ及びセンサを回転させることによって）変更することができ、したがって単一の光センサ１６４が、タッチスクリーンディスプレイとともに、テレビ会議にも静止画像及び／又はビデオ画像の取得にも使用される。
デバイス１００はまた、任意選択的に、１つ以上の深度カメラセンサ１７５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の深度カメラコントローラ１６９に結合された深度カメラセンサを示す。深度カメラセンサ１７５は、環境からデータを受信して、視点（例えば、深度カメラセンサ）からのシーン内の対象物（例えば、顔面）の３次元モデルを作成する。いくつかの実施形態では、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、深度カメラセンサ１７５は、任意選択的に、撮像モジュール１４３によってキャプチャされた画像の種々の部分の深度マップを決定するために使用される。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ている間に、深度情報を有するユーザの画像が、任意選択的に、テレビ会議のために取得されるように、及び、深度マップデータを有する自撮り画像をキャプチャするように、デバイス１００の前面に深度カメラセンサが配置されている。いくつかの実施形態では、深度カメラセンサ１７５は、デバイスの背面に、あるいはデバイス１００の背面及び前面に配置されている。いくつかの実施形態では、深度カメラセンサ１７５の位置は、ユーザによって（例えば、デバイスハウジング内でレンズ及びセンサを回転させることによって）変更することができ、したがって深度カメラセンサ１７５が、タッチスクリーンディスプレイとともに、テレビ会議にも静止画像及び／又はビデオ画像の取得にも使用される。
デバイス１００は、任意選択的に、１つ以上の接触強度センサ１６５も含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された接触強度センサを示す。接触強度センサ１６５は、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（又は圧力）を測定するために使用するセンサ）を、任意選択的に含む。接触強度センサ１６５は、接触強度情報（例えば、圧力情報、又は圧力情報に対するプロキシ）を環境から受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接される。いくつかの実施形態では、少なくとも１つの接触強度センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。
また、デバイス１００は、任意選択的に、１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インタフェース１１８に結合された近接センサ１６６を示す。代わりに、近接センサ１６６は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。近接センサ１６６は、任意選択的に、全体として参照により本明細書に組み込まれている、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び同第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で説明されるように機能するものであり、これらの出願は、全体が参照により本明細書に組み込まれる。いくつかの実施形態では、多機能デバイスが、ユーザの耳の近くに配置される場合（例えば、ユーザが電話通話を行っている場合）、近接センサは、タッチスクリーン１１２をオフにして無効化する。
デバイス１００はまた、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された触知出力生成器を示す。触知出力生成器１６７は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などのエネルギを直線の動きに変換する電気機械デバイスを含む。接触強度センサ１６５は、触覚フィードバックモジュール１３３から触知フィードバック生成命令を受信し、デバイス１００のユーザが感知することが可能な触知出力をデバイス１００上に生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は水平方向（例えば、デバイス１００の表面と同じ平面内の前後）に動かすことによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。
また、デバイス１００は、任意選択的に、１つ以上の加速度計１６８を含む。図１Ａは、周辺機器インタフェース１１８に結合された加速度計１６８を示す。代わりに、加速度計１６８は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。加速度計１６８は、任意選択的に、どちらも全体として参照により本明細書に組み込まれている、米国特許公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ－ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び米国特許公開第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」に記載されているように機能する。いくつかの実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、ポートレートビュー又はランドスケープビューでタッチスクリーンディスプレイ上に表示される。デバイス１００は、加速度計１６８に加えて、磁気計並びにデバイス１００の場所及び向き（例えば、縦方向又は横方向）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信機を任意選択的に含む。
いくつかの実施形態では、メモリ１０２内に記憶されているソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、文字入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System、ＧＰＳ）モジュール（又は命令セット）１３５、及びアプリケーション（又は命令セット）１３６を含む。更に、いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、図１Ａ及び図３に示すように、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ１１２の様々な領域を占めているかを示す表示状態、デバイスの様々なセンサ及び入力コントロールデバイス１１６から取得した情報を含むセンサ状態、並びにデバイスの位置及び／又は姿勢に関する位置情報、のうちの１つ以上を含む。
オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ（登録商標）、ＲＴＸＣ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ（登録商標）、ｉＯＳ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ（登録商標）などの組み込み型オペレーティングシステム）は、通常のシステムタスク（例えば、メモリ管理、記憶デバイスの制御、電力管理など）を制御及び管理する様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート１２４（例えばユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに連結するように適合されている。いくつかの実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同じ若しくは類似であり、かつ／又はそれに適合しているマルチピン（例えば、３０ピン）コネクタである。
接触／動きモジュール１３０は、任意選択的に、タッチスクリーン１１２（ディスプレイコントローラ１５６と連動して）及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を検出する。接触／動きモジュール１３０は、接触が生じたか否かを判定すること（例えば、指を下ろすイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定すること、接触の移動が存在するか否かを判定し、タッチ感知面を横断する移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が停止したか否かを判定すること（例えば、指を上げるイベント又は接触の中断を検出すること）などの、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、並びに／又は加速度（大きさ及び／又は方向の変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触／動きモジュール１３０は、ユーザによって動作が実行されたか否かを判定するための（例えば、ユーザがアイコン上で「クリック」したか否かを判定するための）、１つ以上の強度閾値のセットを使用する。いくつかの実施形態では、強度閾値の少なくとも１つのサブセットが、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されるのではなく、デバイス１００の物理ハードウェアを変化させることなく調整することができる）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変化させることなく、広範囲の既定閾値のうちのいずれかに設定することができる。加えて、一部の実装形態では、デバイスのユーザは、強度閾値のセットのうちの１つ以上を調整するソフトウェア設定が提供される（例えば、システムレベルのクリック「強度」パラメータによって、個々の強度閾値を調整すること、及び／又は複数の強度閾値を一度に調整することによる）。
接触／動きモジュール１３０は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、及び／又は強度が異なる）。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出し、それに続いて指ダウンイベントと同じ位置（又は実質的に同じ位置）（例えば、アイコンの位置）で指アップ（リフトオフ）イベントを検出することを含む。別の例として、タッチ感知面上で指スワイプジェスチャを検出することは、指ダウンイベントを検出し、それに続いて１つ以上の指ドラッグイベントを検出し、その後それに続いて指アップ（リフトオフ）イベントを検出することを含む。
グラフィックモジュール１３２は、表示されるグラフィックの視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を変更するための構成要素を含めた、タッチスクリーン１１２又は他のディスプレイ上にグラフィックをレンダリングして表示するための、様々な既知のソフトウェア構成要素を含む。本明細書では、「グラフィック」という用語は、それだけに限定されるものではないが、文字、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなどを含む、ユーザに表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール１３２は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データとともに、表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次にディスプレイコントローラ１５６に出力する画面の画像データを生成する。
触覚フィードバックモジュール１３３は、デバイス１００とのユーザ対話に応答して、デバイス１００上の１つ以上の場所で触知出力を生成するために、触知出力生成器１６７によって使用される命令を生成するための、様々なソフトウェア構成要素を含む。
テキスト入力モジュール１３４は、任意選択的に、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの位置を判定し、この情報を様々なアプリケーションで使用するために（例えば、位置に基づくダイヤル発信用に電話１３８に、画像／ビデオのメタデータとしてカメラ１４３へ、並びに、気象ウィジェット、地域のイエローページウィジェット、及び地図／ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ）提供する。
アプリケーション１３６は、任意選択的に、以下のモジュール（又は命令セット）又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（アドレス帳又は連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（Instant messaging、ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●任意選択的に気象ウィジェット１４９－１、株式ウィジェット１４９－２、計算機ウィジェット１４９－３、目覚まし時計ウィジェット１４９－４、辞書ウィジェット１４９－５、及びユーザによって入手された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を含むウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作成するためのウィジェット作成モジュール１５０、
●検索モジュール１５１、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを一体化したビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、並びに／又は、
●オンラインビデオモジュール１５５。
任意選択的にメモリ１０２に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、連絡先モジュール１３７は、任意選択的に、アドレス帳に名前を追加すること、アドレス帳から名前を削除すること、電話番号、電子メールアドレス、実際の住所、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号又は電子メールアドレスを提供して、電話１３８、テレビ会議モジュール１３９、電子メール１４０、又はＩＭ１４１による通信を開始及び／又は促進することなどを含めて、アドレス帳又は連絡先リスト（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２内に記憶される）を管理するために使用される。
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及び文字入力モジュール１３４と連動して、電話モジュール１３８は、任意選択的に、電話番号に対応する文字シーケンスの入力、連絡先モジュール１３７内の１つ以上の電話番号へのアクセス、入力された電話番号の修正、それぞれの電話番号のダイアル、会話の実施、会話が終了したときに接続を切る又は電話を切るために使用される。前述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先モジュール１３７、及び電話モジュール１３８と連動して、テレビ会議モジュール１３９は、ユーザ命令に従ってユーザと１人以上の他の参加者との間のテレビ会議を開始、実行、及び終了するための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、電子メールクライアントモジュール１４０は、ユーザ命令に応答して電子メールを作成、送信、受信、及び管理するための実行可能な命令を含む。画像管理モジュール１４４と連動して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールの作成及び送信を非常に容易にする。
インスタントメッセージングモジュール１４１は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及び文字入力モジュール１３４と連動して、インスタントメッセージに対応する文字シーケンスを入力し、以前に入力された文字を修正し、（例えば、電話通信ベースのインスタントメッセージではＳＭＳ（Short Message Service）若しくはＭＭＳ（Multimedia Message Service）プロトコルを、インターネットベースのインスタントメッセージではＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用して）各インスタントメッセージを送信し、インスタントメッセージを受信し、かつ受信したインスタントメッセージを閲覧するための実行可能な命令を含む。いくつかの実施形態では、送信及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又はＥＭＳ（Enhanced Messaging Service）でサポートされるような、グラフィック、写真、オーディオファイル、ビデオファイル、及び／又は他の添付物を含む。本明細書では、「インスタントメッセージング」とは、電話通信ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）と、インターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）との両方を指す。
レーニングサポートモジュール１４２は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、文字入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、及びミュージックプレーヤモジュールと連動して、（例えば、時間、距離、及び／又はカロリー燃焼目標を有する）トレーニングを作成し、トレーニングセンサ（スポーツデバイス）と通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択及び再生し、並びに、トレーニングデータを表示、記憶、及び送信するための実行可能な命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と連動して、カメラモジュール１４３は、静止画像若しくはビデオ（ビデオストリームを含む）のキャプチャ及びメモリ１０２内への記憶、静止画像若しくはビデオの特性の修正、又はメモリ１０２からの静止画像若しくはビデオの削除のための実行可能な命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３と連動して、画像管理モジュール１４４は、静止画像及び／又はビデオ画像の配置、修正（例えば、編集）、あるいはその他の操作、ラベル付け、削除、提示（例えば、デジタルスライドショー又はアルバムにおける）、及び記憶のための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、ブラウザモジュール１４７は、ウェブページ又はその一部分、並びにウェブページにリンクされた添付ファイル及び他のファイルの検索、リンク、受信、及び表示を含めて、ユーザ命令に従ってインターネットをブラウジングするための実行可能な命令を含む。
カレンダモジュール１４８は、ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、文字入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、ユーザの指示に従い、カレンダ及びカレンダに関連付けられたデータ（例えば、予定表の項目、ｔｏ ｄｏリストなど）を作成し、表示し、修正し、記憶するための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連動して、ウィジェットモジュール１４９は、任意選択的にユーザによってダウンロード及び使用されるミニアプリケーション（例えば、気象ウィジェット１４９－１、株式ウィジェット１４９－２、計算機ウィジェット１４９－３、目覚まし時計ウィジェット１４９－４、及び辞書ウィジェット１４９－５）、又はユーザによって作成されるミニアプリケーション（例えば、ユーザ作成ウィジェット１４９－６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Hypertext Markup Language、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Cascading Style Sheets、カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Extensible Markup Language、拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連動して、ウィジェット作成モジュール１５０は、任意選択的に、ウィジェットを作成する（例えば、ウェブページのユーザ指定部分をウィジェットにする）ために、ユーザによって使用される。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、検索モジュール１５１は、ユーザ命令に従って１つ以上の検索基準（例えば、１つ以上のユーザ指定検索語）に一致するメモリ１０２内の文字、音楽、サウンド、画像、ビデオ、及び／又は他のファイルを検索するための実行可能な命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７と連携して、ビデオ及び音楽プレーヤモジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能な命令、並びにビデオを（タッチスクリーン１１２上又は外部ポート１２４を介して接続された外部のディスプレイ上に）表示、提示、又は別の方法で再生するための実行可能な命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、メモモジュール１５３は、ユーザ命令に従ってメモ、やることリストなどを作成及び管理するための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連動して、地図モジュール１５４は、任意選択的に、ユーザ命令に従って、地図及び地図に関連付けられたデータ（例えば、運転方向、特定の場所又はその付近の店舗及び他の対象地点に関するデータ、並びに他の場所ベースのデータ）を受信、表示、修正、及び記憶するために使用される。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連動して、オンラインビデオモジュール１５５は、ユーザが特定のオンラインビデオへのアクセス、特定のオンラインビデオのブラウジング、受信（例えば、ストリーミング及び／又はダウンロードによる）、再生（例えば、タッチスクリーン上又は外部ポート１２４を介して接続された外部ディスプレイ上）、特定のオンラインビデオへのリンクを有する電子メールの送信、並びにＨ．２６４などの１つ以上のファイル形式のオンラインビデオの他の管理を行うことを可能にする命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。オンラインビデオアプリケーションについての追加の説明は、その内容が全体として参照により本明細書に組み込まれている、２００７年６月２０日出願の米国仮特許出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日出願の米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」において見ることができる。
上記で特定したモジュール及びアプリケーションはそれぞれ、前述した１つ以上の機能及び本出願に記載する方法（例えば、本明細書に記載するコンピュータにより実装される方法及び他の情報処理方法）を実行する実行可能な命令のセットに対応する。これらのモジュール（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実施する必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットが、任意選択的に、組み合わされ、又は他の形で再構成される。例えば、ビデオプレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わされて、単一のモジュール（例えば、図１Ａのビデオ及び音楽プレーヤモジュール１５２）にされる。いくつかの実施形態では、メモリ１０２は、任意選択的に、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ１０２は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス１００は、そのデバイスにおける所定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドのみを通じて実行されるデバイスである。デバイス１００が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力コントロールデバイス（プッシュボタン、ダイヤルなど）の数が削減される。
タッチスクリーン及び／又はタッチパッドを通じてのみ実行される既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス１００上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。一部の他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
図１Ｂは、いくつかの実施形態によるイベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、イベントソータ１７０（例えば、オペレーティングシステム１２６内）と、それぞれのアプリケーション１３６－１（例えば、前述のアプリケーション１３７～１５１、１５５、３８０～３９０のうちのいずれか）とを含む。
イベントソータ１７０は、イベント情報を受信し、イベント情報を配信するアプリケーション１３６－１、及びアプリケーション１３６－１のアプリケーションビュー１９１を決定する。イベントソータ１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６－１は、アプリケーションがアクティブ又は実行中のとき、タッチ感知ディスプレイ１１２で上に表示される現在のアプリケーションビューを示す、アプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７は、いずれのアプリケーションが現在アクティブであるかを判定するために、イベントソータ１７０によって使用され、アプリケーション内部状態１９２は、イベント情報の配信先となるアプリケーションビュー１９１を決定するために、イベントソータ１７０によって使用される。
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６－１が実行を再開するときに使用すべき再開情報、アプリケーション１３６－１によって表示されている情報を示す又は表示する準備ができたユーザインタフェース状態情報、ユーザがアプリケーション１３６－１の前の状態又はビューに戻ることを有効化する状態キュー、及びユーザによって行われた前のアクションのリドゥ／アンドゥキューのうちの１つ以上などの追加の情報を含む。
イベントモニタ１７１は、周辺機器インタフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としてのタッチ感知ディスプレイ１１２上のユーザタッチ）に関する情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計１６８、及び／若しくは（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送信する。それに応答して、周辺機器インタフェース１１８は、イベント情報を伝送する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回る及び／又は所定の持続時間を超える入力の受信）があるときのみイベント情報を送信する。
いくつかの実施形態では、イベントソータ１７０は、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３も含む。
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイ１１２が２つ以上のビューを表示するとき、サブイベントが１つ以上のビュー内のどこで行われたかを判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置及び他の要素から構成されている。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウインドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチに基づくジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するときには、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき、階層内の最下位のビューとしてのヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント（例えば、イベント又は潜在的イベントを形成するサブイベントシーケンス内の第１のサブイベント）が行われる最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール１７２によって識別されると、ヒットビューは、典型的には、ヒットビューとして識別されたのと同じタッチ又は入力ソースに関係する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビューがサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連付けられたエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部１８２によって取得されるイベント情報をイベント待ち行列に記憶する。
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。代替的に、アプリケーション１３６－１がイベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型のモジュールであり、又は接触／動きモジュール１３０などのメモリ１０２内に記憶されている別のモジュールの一部分である。
いくつかの実施形態では、アプリケーション１３６－１は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理するための命令を含む、複数のイベント処理部１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６－１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。典型的には、それぞれのアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインタフェースキット、又は、アプリケーション１３６－１が方法及び他の属性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８、及び／又はイベントソータ１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベント処理部１９０は、任意選択的に、データ更新部１７６、オブジェクト更新部１７７、又はＧＵＩ更新部１７８を利用し又は呼び出して、アプリケーション内部状態１９２を更新する。代替的に、アプリケーションビュー１９１のうちの１つ以上は、１つ以上のそれぞれのイベント処理部１９０を含む。また、いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８のうちの１つ以上は、それぞれのアプリケーションビュー１９１に含まれる。
それぞれのイベント認識部１８０は、イベントソータ１７０からイベント情報（例えば、イベントデータ１７９）を受信し、このイベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。
イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。いくつかの実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ぶ）についての対応する情報を含む。
イベント比較部１８４は、イベント情報を、定義済みのイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７－１）及びイベント２（１８７－２）などのイベント（例えば既定のサブイベントのシーケンス）の定義を含む。いくつかの実施形態では、イベント（１８７）におけるサブイベントは、例えば、タッチ開始、タッチ終了、タッチの移動、タッチの中止、及び複数のタッチを含む。一実施例では、イベント１（１８７－１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階に対する表示オブジェクト上の第１のタッチ（タッチ開始）、所定の段階に対する第１のリフトオフ（タッチ終了）、所定の段階に対する表示オブジェクト上の第２のタッチ（タッチ開始）、及び所定の段階に対する第２のリフトオフ（タッチ終了）を含む。別の実施例では、イベント２（１８７－２）の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、所定の段階に対する表示されたオブジェクト上のタッチ（又は接触）、タッチ感知ディスプレイ１１２を横切るタッチの移動、及びタッチのリフトオフ（タッチ終了）を含む。いくつかの実施形態では、イベントは、１つ以上の関連付けられたイベント処理部１９０に関する情報も含む。
いくつかの実施形態では、イベント定義１８７は、それぞれのユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、タッチ感知ディスプレイ１１２上に３つのユーザインタフェースオブジェクトが表示されているアプリケーションビュー内で、タッチ感知ディスプレイ１１２上でタッチが検出されたとき、イベント比較部１８４は、ヒット試験を実行して、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）に関連付けられているかを判定する。表示された各オブジェクトが、それぞれのイベント処理部１９０に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトに関連付けられたイベント処理部を選択する。
いくつかの実施形態では、それぞれのイベント（１８７）に対する定義はまた、サブイベントシーケンスがイベント認識部のイベントタイプに対応するか否かが判定される後までイベント情報の伝送を遅延する遅延アクションを含む。
それぞれのイベント認識部１８０が一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判断した場合、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチに基づくジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び／又はリストを有するメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話できるようになっているかを示す、構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントに関連付けられたイベント処理部１９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントに関連付けられたイベント情報をイベント処理部１９０に配信する。イベント処理部１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。いくつかの実施形態では、イベント認識部１８０は、認識したイベントに関連付けられたフラグを投入し、そのフラグに関連付けられたイベント処理部１９０は、そのフラグを捕らえ、所定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令１８８は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態では、データ更新部１７６は、アプリケーション１３６－１で使用されるデータを作成及び更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新し、又はビデオプレーヤモジュールで使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクト更新部１７７は、アプリケーション１３６－１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部１７７は、新たなユーザインタフェースオブジェクトを作成し、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送る。
いくつかの実施形態では、イベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８を含むか又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８は、それぞれのアプリケーション１３６－１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の記載は、入力デバイスを用いて多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、並びに／又はそれらの任意の組み合わせを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
図１Ｃは、様々な実施例による、システム２１００のブロック図を示す。一部の実施例では、システム２１００は、デジタルアシスタントを実装する。用語「デジタルアシスタント」、「仮想アシスタント」、「インテリジェント自動アシスタント」、又は「自動デジタルアシスタント」は、発話形式及び／又はテキスト形式の自然言語入力を解釈することによりユーザ意図を推測して、その推測されたユーザ意図に基づいてアクションを実行する、任意の情報処理システムを指す。例えば、推測されたユーザ意図を遂行するために、このシステムは、推測されたユーザ意図を実現するべく設計されたステップ及びパラメータを有する、タスクフローを特定することと、推測されたユーザ意図からの具体的な要件を、そのタスクフローに入力することと、プログラム、方法、サービス、又はＡＰＩなどを呼び出すことによって、そのタスクフローを実行することと、可聴（例えば、発話）形式及び／又は視覚形式で、ユーザに対する出力応答を生成することとのうちの、１つ以上を実行する。
具体的には、デジタルアシスタントは、自然言語コマンド、要求、陳述、叙述、及び／又は照会の形式で、少なくとも部分的にユーザ要求を受け入れることが可能である。典型的には、ユーザ要求は、デジタルアシスタントによる情報回答又はタスクの実行のいずれかを求めるものである。このユーザ要求に対する満足な応答は、要求された情報回答の提供、要求されたタスクの実行、又は、それら２つの組み合わせを含む。例えば、ユーザは、デジタルアシスタントに、「私は今どこにいますか？（Where am I right now?）」などの質問をする。ユーザの現在位置に基づいて、デジタルアシスタントは、「あなたは西ゲート付近の中央公園にいます」と応答する。ユーザはまた、例えば、「私の友人を、来週の私のガールフレンドの誕生日パーティーに招待してください。（Please invite my friends to my girlfriend's birthday party next week.）」のように、タスクの実行も要求する。それに応じて、デジタルアシスタントは、「はい、ただ今（Yes,right away）」と述べて、その要求に肯定応答することができ、次いで、そのユーザの電子アドレス帳にリストされているユーザの友人のそれぞれに、ユーザに代わって、好適なカレンダ招待状を送信することができる。要求されたタスクの実施中に、デジタルアシスタントは、長期間にわたる複数の情報交換を伴う連続的な会話で、ユーザと対話する場合がある。情報又は様々なタスクの実行を要求するためにデジタルアシスタントと対話する、数多くの他の方法が存在する。言葉による応答を提供し、プログラムされたアクションを取ることに加えて、デジタルアシスタントはまた、他の視覚形式又はオーディオ形式で、例えば、テキスト、警報、音楽、ビデオ、アニメーションなどとして、応答を提供する。
図１Ｃに示すように、一部の実施例では、デジタルアシスタントは、クライアント－サーバモデルに従って実装される。デジタルアシスタントは、ユーザデバイス２１０４上で実行されるクライアント側部分２１０２（以後、「ＤＡクライアント２１０２」）、及びサーバシステム２１０８上で実行されるサーバ側部分２１０６（以後、「ＤＡサーバ２１０６」）を含む。ＤＡクライアント２１０２は、１つ以上のネットワーク２１１０を通じてＤＡサーバ２１０６と通信する。ＤＡクライアント２１０２は、ユーザ対応入力及び出力処理、並びにＤＡサーバ２１０６との通信などの、クライアント側機能を提供する。ＤＡサーバ２１０６は、各ユーザデバイス２１０４上にそれぞれが常駐する、任意の数のＤＡクライアント２１０２に、サーバ側機能を提供する。
一部の実施例では、ＤＡサーバ２１０６は、クライアント対応Ｉ／Ｏインタフェース２１１２、１つ以上の処理モジュール２１１４、データ及びモデル２１１６、並びに、外部サービスへのＩ／Ｏインタフェース２１１８を含む。クライアント対応Ｉ／Ｏインタフェース２１１２は、ＤＡサーバ２１０６のクライアント対応入力及び出力処理を容易にする。１つ以上の処理モジュール２１１４は、データ及びモデル２１１６を利用して、音声入力を処理し、自然言語入力に基づいてユーザの意図を判定する。更には、１つ以上の処理モジュール２１１４は、タスク実行を、推測されたユーザ意図に基づいて実施する。一部の実施例では、ＤＡサーバ２１０６は、タスクの完了又は情報の取得のために、ネットワーク（単数又は複数）２１１０を通じて外部サービス２１２０と通信する。外部サービスへのＩ／Ｏインタフェース２１１８は、そのような通信を容易にする。
ユーザデバイス２１０４は、任意の好適な電子デバイスとすることができる。一部の実施例では、ユーザデバイス２１０４は、ポータブル多機能デバイス（例えば、図１Ａを参照して上述したデバイス１００）、多機能デバイス、又は別の電子デバイス（例えば、デバイス６００、８００、１０００）である。ポータブル多機能デバイスは、例えば、ＰＤＡ及び／又は音楽プレーヤ機能などの他の機能も含む携帯電話機である。ポータブル多機能デバイスの具体例としては、Ａｐｐｌｅ Ｉｎｃ．（Ｃｕｐｅｒｔｉｎｏ，Ｃａｌｉｆｏｒｎｉａ）による、Ａｐｐｌｅ Ｗａｔｃｈ（登録商標）、ｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスが挙げられる。ポータブル多機能デバイスの他の例としては、限定するものではないが、イヤホン／ヘッドホン、スピーカ、及び、ラップトップコンピュータ若しくはタブレットコンピュータが挙げられる。更には、一部の実施例では、ユーザデバイス２１０４は、非ポータブル多機能デバイスである。具体的には、ユーザデバイス２１０４は、デスクトップコンピュータ、ゲームコンソール、スピーカ、テレビ、又はテレビセットトップボックスである。一部の実施例では、ユーザデバイス２１０４は、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を含む。更には、ユーザデバイス２１０４は、任意選択的に、物理キーボード、マウス、及び／又はジョイスティックなどの、１つ以上の他の物理ユーザインタフェースデバイスを含む。多機能デバイスなどの電子デバイスの様々な実施例が、以下で更に詳細に説明される。
通信ネットワーク（単数又は複数）２１１０の例としては、ローカルエリアネットワーク（local area network；ＬＡＮ）、及びワイドエリアネットワーク（wide area network；ＷＡＮ）、例えば、インターネットが挙げられる。通信ネットワーク（単数又は複数）２１１０は、例えば、イーサネット、ＵＳＢ（Universal Serial Bus）、ＦＩＲＥＷＩＲＥ、ＧＳＭ（Global System for Mobile Communications）、拡張データＧＳＭ環境（Enhanced Data GSM Environment；ＥＤＧＥ）、符号分割多元接続（code division multiple access；ＣＤＭＡ）、時分割多元接続（time division multiple access；ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、ボイスオーバーインターネットプロトコル（voice over Internet Protocol；ＶｏＩＰ）、Ｗｉ－ＭＡＸ、又は任意の他の好適な通信プロトコルなどの、様々な有線若しくは無線プロトコルを含む、任意の既知のネットワークプロトコルを使用して実装される。
サーバシステム２１０８は、１つ以上のスタンドアロン型データ処理装置、又は分散型のコンピュータネットワーク上に実装される。一部の実施例では、サーバシステム２１０８はまた、サーバシステム２１０８の基本的なコンピューティングリソース及び／又はインフラストラクチャリソースを提供するために、様々な仮想デバイス及び／又は第三者サービスプロバイダ（例えば、第三者クラウドサービスプロバイダ）のサービスも採用する。
一部の実施例では、ユーザデバイス２１０４は、第２のユーザデバイス２１２２を介してＤＡサーバ２１０６と通信する。第２のユーザデバイス２１２２は、ユーザデバイス２１０４と類似又は同一である。ユーザデバイス２１０４は、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＢＴＬＥなどの直接通信接続を介して、又はローカルＷｉ－Ｆｉネットワークなどの有線又は無線ネットワークを介して第２のユーザデバイス２１２２に通信可能に結合されるように構成される。一部の実施例では、第２のユーザデバイス２１２２は、ユーザデバイス２１０４とＤＡサーバ２１０６との間のプロキシとしての役割を果たすように構成されている。例えば、ユーザデバイス２１０４のＤＡクライアント２１０２は、第２のユーザデバイス２１２２を介して、情報（例えば、ユーザデバイス２１０４で受信されたユーザ要求）をＤＡサーバ２１０６に送信するように構成されている。ＤＡサーバ２１０６は、その情報を処理して、第２のユーザデバイス２１２２を介して、関連データ（例えば、ユーザ要求に応答するデータコンテンツ）をユーザデバイス２１０４に返す。
一部の実施例では、ユーザデバイス２１０４は、データに関する短縮化された要求により第２のユーザデバイス２１２２と通信することにより、ユーザデバイス２１０４から送信される情報の量を低減するように構成されている。第２のユーザデバイス２１２２は、その短縮化された要求に追加するべき補足情報を判定して、ＤＡサーバ２１０６に送信するための完全な要求を生成するように構成されている。このシステムアーキテクチャは、制限された通信能力及び／又は制限されたバッテリ電力を有するユーザデバイス２１０４（例えば、携帯時計又は類似の小型電子デバイス）が、ＤＡサーバ２１０６へのプロキシとしてより高い通信能力及び／又はバッテリ電力を有する第２のユーザデバイス２１２２（例えば、携帯電話、ラップトップコンピュータ、タブレットコンピュータなど）を使用することによってＤＡサーバ２１０６によって提供されるサービスにアクセスすることを有利に許容することができる。図１Ｃでは、２つのユーザデバイス２１０４及びユーザデバイス２１２２のみが示されているが、システム２１００は、一部の実施例では、このプロキシ構成でＤＡサーバシステム２１０６と通信するように構成された、任意の数及びタイプのユーザデバイスを含むことを理解されたい。
図１Ｃに示すデジタルアシスタントは、クライアント側部分（例えば、ＤＡクライアント２１０２）とサーバ側部分（例えばＤＡサーバ２１０６）の両方を含むが、いくつかの例では、デジタルアシスタントの機能は、ユーザデバイスにインストールされた独立したアプリケーションとして実装される。更には、デジタルアシスタントのクライアント部分とサーバ部分との間での機能の割り振りは、実装形態によって異なり得る。例えば、一部の実施例では、ＤＡクライアントは、ユーザ対応入力及び出力処理機能のみを提供し、デジタルアシスタントの他の全ての機能をバックエンドサーバに委ねる、シンクライアントである。
図２は、いくつかの実施形態による、タッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。本実施形態、並びに後述の他の実施形態では、ユーザは、例えば、１本以上の指２０２（図には正確な縮尺では描かれていない）又は１つ以上のスタイラス２０３（図には正確な縮尺では描かれていない）を使用して、グラフィック上でジェスチャを実施することによって、それらのグラフィックのうちの１つ以上を選択することが可能となる。いくつかの実施形態では、１つ以上のグラフィックの選択は、ユーザが、その１つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、任意選択的に、１つ以上のタップ、１つ以上のスワイプ（左から右、右から左、上向き、及び／若しくは下向き）、並びに／又はデバイス１００と接触した指のロール（右から左、左から右、上向き、及び／若しくは下向き）を含む。一部の実装形態又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
デバイス１００はまた、任意選択的に、「ホーム」ボタン又はメニューボタン２０４などの１つ以上の物理ボタンを含む。前述したように、メニューボタン２０４は、任意選択的に、任意選択的にデバイス１００上で実行される１組のアプリケーション内の任意のアプリケーション１３６へナビゲートするために使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン１１２上に表示されるＧＵＩ内のソフトキーとして実装される。
いくつかの実施形態では、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスの電源をオン／オフにしてデバイスをロックするプッシュボタン２０６、音量調整ボタン２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、所定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックするため、及び／又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。代替的な実施形態では、デバイス１００はまた、マイクロフォン１１３を介して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力も受け入れる。デバイス１００はまた、任意選択的に、タッチスクリーン１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、及び／又はデバイス１００のユーザに対する触知出力を生成する１つ以上の触知出力生成器１６７を含む。
図３は、いくつかの実施形態によるディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディア再生デバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又はコントロールデバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、典型的には、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワーク又は他の通信インタフェース３６０、メモリ３７０、及びこれらの構成要素を相互接続する１つ以上の通信バス３２０を含む。通信バス３２０は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることもある）を含む。デバイス３００は典型的にはタッチスクリーンディスプレイであるディスプレイ３４０を含む、入出力（Ｉ／Ｏ）インタフェース３３０を含む。Ｉ／Ｏインタフェース３３０はまた、任意選択的に、キーボード及び／又はマウス（若しくは他のポインティングデバイス）３５０と、タッチパッド３５５と、デバイス３００上に触知出力を生成する触知出力生成器３５７（例えば、図１Ａを参照して前述した触知出力生成器１６７に類似している）と、センサ３５９（例えば、図１Ａを参照して前述した接触強度センサ１６５に類似している光、加速度、近接、タッチ感知、及び／又は接触強度センサ）とを含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択的に、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、任意選択的に、ＣＰＵ３１０からリモートに位置する１つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２内に記憶されているプログラム、モジュール、及びプログラムに類似したデータ構造、モジュール、及びデータ構造、又はそのサブセットを記憶する。更に、メモリ３７０は、任意選択的に、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は、任意選択的に、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を記憶するのに対して、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、任意選択的に、これらのモジュールを記憶しない。
図３の上記で特定した要素はそれぞれ、任意選択的に、前述したメモリデバイスのうちの１つ以上の中に記憶される。上記で特定したモジュールはそれぞれ、前述した機能を実行する命令セットに対応する。上記で特定したモジュール又はプログラム（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実施する必要はなく、したがって様々な実施形態では、これらのモジュールの様々なサブセットは、任意選択的に、組み合わされ、又は他の形で再構成される。いくつかの実施形態では、メモリ３７０は、任意選択的に、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
次に、任意選択的に例えばポータブル多機能デバイス１００上で実施されるユーザインタフェースの実施形態に注意を向ける。
図４Ａは、いくつかの実施形態によるポータブル多機能デバイス１００上のアプリケーションのメニューの例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びＷｉ－Ｆｉ信号などの無線通信のための信号強度インジケータ４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈインジケータ４０５、
●バッテリ状態インジケータ４０６、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ４０８：
○不在着信又は音声メールメッセージの数の標識４１４を任意選択的に含む、「電話」とラベル付けされる、電話モジュール１３８用のアイコン４１６、
○未読電子メールの数の標識４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされる、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称されるビデオ及び音楽プレーヤモジュール１５２用のアイコン４２２、及び
●以下のような、他のアプリケーションのアイコン：
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダ」とラベル付けされた、カレンダモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール１５５のアイコン４３２、
○「株価」とラベル付けされた、株式ウィジェット１４９－２のアイコン４３４、
○「地図」とラベル付けされた、地図モジュール１５４のアイコン４３６、
○「天気」とラベル付けされた、気象ウィジェット１４９－１のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９－４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６についての設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュールのアイコン４４６。
図４Ａに示すアイコンラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽プレーヤモジュール１５２のためのアイコン４２２は、「音楽」又は「音楽プレーヤ」とラベル付けされる、他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）とは別個のタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を有するデバイス（例えば、図３のデバイス３００）上の例示的なユーザインタフェースを示す。デバイス３００はまた、任意選択的に、タッチ感知面４５１上の接触の強度を検出する１つ以上の接触強度センサ（例えば、センサ３５９のうちの１つ以上）、及び／又はデバイス３００のユーザに対する触知出力を生成する１つ以上の触知出力生成器３５７を含む。
以下の例のうちのいくつかは、タッチスクリーンディスプレイ１１２（タッチ感知面及びディスプレイが組み合わされている）上の入力を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の１次軸（例えば、図４Ｂの４５３）に対応する１次軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの場所に対応する場所（例えば、図４Ｂでは、４６０は４６８に対応し、４６２は４７０に対応する）で、タッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を検出する。このようにして、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されるユーザ入力（例えば、接触４６０及び４６２、並びにこれらの動き）は、タッチ感知面がディスプレイとは別個であるとき、多機能デバイスのディスプレイ（例えば、図４Ｂの４５０）上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
加えて、以下の例は、主に指入力（例えば、指接触、指タップジェスチャ、指スワイプジェスチャ）を参照して与えられるが、いくつかの実施形態では、指入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスベースの入力又はスタイラス入力）に置き換えられることを理解されたい。例えば、スワイプジェスチャは、（例えば、接触の代わりの）マウスクリックに続けた、（例えば、接触の移動の代わりの）スワイプの経路に沿ったカーソルの移動によって、任意選択的に置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置の上に位置する間はマウスクリックと置き換えられる（例えば、接触を検出して、それに続いて接触の検出を停止する代わりに）。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。
図５Ａは、例示的なパーソナル電子デバイス５００を示す。デバイス５００は、本体５０２を含む。いくつかの実施形態では、デバイス５００は、デバイス１００及び３００（例えば、図１Ａ～４Ｂ）に関して説明する特徴のうちのいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス５００は、タッチ感知ディスプレイスクリーン５０４、以下ではタッチスクリーン５０４、を有する。デバイス５００は、代替的に、又はタッチスクリーン５０４に加えて、ディスプレイ及びタッチ感知面を有する。デバイス１００及び３００と同様に、いくつかの実施形態では、タッチスクリーン５０４（又はタッチ感知面）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出する１つ以上の強度センサを含む。タッチスクリーン５０４（又はタッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス５００のユーザインタフェースは、タッチの強度に基づいてタッチに応答することができ、これは、異なる強度のタッチが、デバイス５００上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
タッチ強度を検出及び処理する例示的な技法は、例えば、それぞれ全体として参照により本明細書に組み込まれている、国際特許第ＷＯ／２０１３／１６９８４９号として公開された、２０１３年５月８日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」、及び国際特許第ＷＯ／２０１４／１０５２７６号として公開された、２０１３年１１月１１日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０６９４８３号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」という関連出願に見られる。
いくつかの実施形態では、デバイス５００は、１つ以上の入力機構５０６及び５０８を有する。入力機構５０６及び５０８は、含まれる場合、物理的機構とすることができる。物理的入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。いくつかの実施形態では、デバイス５００は、１つ以上のアタッチメント機構を有する。そのようなアタッチメント機構は、含まれる場合、例えば帽子、アイウェア、イアリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計のバンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス５００を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス５００を着用することを可能にする。
図５Ｂは、例示的なパーソナル電子デバイス５００を示す。いくつかの実施形態では、デバイス５００は、図１Ａ、図１Ｂ、及び図３に関して説明した構成要素のうちのいくつか又は全てを含むことができる。デバイス５００は、Ｉ／Ｏセクション５１４を１つ以上のコンピュータプロセッサ５１６及びメモリ５１８に動作可能に結合するバス５１２を有する。Ｉ／Ｏセクション５１４は、ディスプレイ５０４に接続することができ、ディスプレイ５０４は、タッチ感知構成要素５２２と、任意選択的に強度センサ５２４（例えば、接触強度センサ）とを有することができる。加えて、Ｉ／Ｏセクション５１４は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（ＮＦＣ）、セルラー、及び／又は他の無線通信技法を使用してアプリケーション及びオペレーティングシステムデータを受信する通信ユニット５３０に接続することができる。デバイス５００は、入力機構５０６及び／又は５０８を含むことができる。入力機構５０６は、任意選択的に、例えば回転可能入力デバイス又は押下可能及び回転可能入力デバイスである。いくつかの例では、入力機構５０８は、任意選択的にボタンである。
いくつかの例では、入力機構５０８は、任意選択的にマイクロフォンである。パーソナル電子デバイス５００は、任意選択的に、ＧＰＳセンサ５３２、加速度計５３４、方向センサ５４０（例えば、コンパス）、ジャイロスコープ５３６、動きセンサ５３８、及び／又はこれらの組み合わせなどの様々なセンサを含み、これらのセンサは全て、Ｉ／Ｏセクション５１４に動作可能に接続することができる。
パーソナル電子機器５００のメモリ５１８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含み得るものであり、それらの命令は、１つ以上のコンピュータプロセッサ５１６によって実行されると、例えば、それらのコンピュータプロセッサに、以下で説明される技術を実施させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって使用するための、又は命令実行システム、装置、又はデバイスに接続されているコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体とすることができる。いくつかの例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それだけに限定されるものではないが、磁気、光学、及び／又は半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、ＣＤ、ＤＶＤ、又はＢｌｕ－ｒａｙ（登録商標）技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの常駐ソリッドステートメモリなどが挙げられる。パーソナル電子デバイス５００は、図５Ｂの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
本明細書では、「アフォーダンス」という用語は、任意選択的にデバイス１００、３００、５００、及び／又は６００（図１Ａ、図３、及び図５Ａ～５Ｂ）のディスプレイスクリーン上に表示されるユーザ対話グラフィカルユーザインタフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン、及び文字（例えば、ハイパーリンク）はそれぞれ、意選択的に、アフォーダンスを構成する。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他の場所マーカを含むいくつかの実装形態では、カーソルが「フォーカスセレクタ」として作用し、したがってカーソルが特定のユーザインタフェース要素（例えば、ボタン、ウインドウ、スライダ、又は他のユーザインタフェース要素）の上に位置する間に、タッチ感知面（例えば、図３のタッチパッド３５５又は図４Ｂのタッチ感知面４５１）上で入力（例えば、押下入力）が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接対話を有効化するタッチスクリーンディスプレイ（例えば、図１Ａのタッチ感知ディスプレイシステム１１２又は図４Ａのタッチスクリーン１１２）を含むいくつかの実装形態では、タッチスクリーン上の検出された接触が「フォーカスセレクタ」として作用し、したがってタッチスクリーンディスプレイ上の特定のユーザインタフェース要素（例えば、ボタン、ウインドウ、スライダ、又は他のユーザインタフェース要素）の場所で入力（例えば、接触による押下入力）が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。一部の実装形態では、タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動（例えば、フォーカスを１つのボタンから別のボタンへ動かすためにタブキー又は矢印キーを使用することによる）なく、フォーカスがユーザインタフェースの１つの領域からユーザインタフェースの別の領域へ動かされ、これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタがとる特有の形態に関わらず、フォーカスセレクタは、概して、ユーザインタフェース要素（又はタッチスクリーンディスプレイ上の接触）であり、（例えば、ユーザが対話することを意図しているユーザインタフェースの要素をデバイスに示すことによって、ユーザが意図する対話をユーザインタフェースで通信するようにユーザによって制御される）。例えば、タッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で押圧入力が検出されている間の、対応のボタンの上のフォーカスセレクタ（例えば、カーソル、接触、又は選択ボックス）の位置は、その対応のボタンを（そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく）アクティブ化することをユーザが意図していることを示すものである。
本明細書及び特許請求の範囲で使用される、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び／又は、接触の強度の減少を検出する前若しくは後の）に関連する既定の期間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）の間に収集された強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均（mean）値、接触の強度の平均（average）値、接触の強度の上位１０パーセンタイル値、接触の強度の最大の２分の１の値、接触の強度の最大の９０パーセントの値などのうちの１つ以上に基づいている。いくつかの実施形態では、特性強度を判定する際に（例えば、特性強度が経時的な接触の強度の平均であるときに）、接触の持続期間が使用される。いくつかの実施形態では、特性強度は、ユーザによって動作が実行されたかどうかを判定するために、１つ以上の強度閾値のセットと比較される。例えば、１組の１つ以上の強度閾値は、任意選択的に、第１の強度閾値及び第２の強度閾値を含む。この例では、第１の閾値を超過しない特性強度を有する接触は、第１の動作をもたらし、第１の強度閾値を超過するが第２の強度閾値を超過しない特性強度を有する接触は、第２の動作をもたらし、第２の閾値を超過する特性強度を有する接触は、第３の動作をもたらす。いくつかの実施形態では、特性強度と１つ以上の閾値との間の比較は、第１の動作を実行するべきか、それとも第２の動作を実行するべきかを判定するために使用されるのではなく、１つ以上の動作を実行するべきか否か（例えば、それぞれの動作を実行するべきか、それともそれぞれの動作を実行するのを取り止めるべきか）を判定するために使用される。
図５Ｃは、複数の強度センサ５２４Ａ～５２４Ｄによってタッチ感知ディスプレイスクリーン５０４上で複数の接触５５２Ａ～５５２Ｅを検出することを示す。図５Ｃは、追加として、強度単位に対する強度センサ５２４Ａ～５２４Ｄの現在の強度測定値を示す強度ダイアグラムを含む。この例では、強度センサ５２４Ａ及び５２４Ｄの強度測定値はそれぞれ９強度単位であり、強度センサ５２４Ｂ及び５２４Ｃの強度測定値はそれぞれ７強度単位である。一部の実装形態では、集約強度は、複数の強度センサ５２４Ａ～５２４Ｄの強度測定値の和であり、この例では３２強度単位である。一部の実施形態では、各接触に、集約強度の一部分であるそれぞれの強度が割り当てられる。図５Ｄは、力の中心５５４からの距離に基づいて、集約強度を接触５５２Ａ～５５２Ｅに割り当てることを示す。この例では、接触５５２Ａ、５５２Ｂ、及び５５２Ｅのそれぞれに、集約強度の８強度単位の接触の強度が割り当てられ、接触５５２Ｃ及び５５２Ｄのそれぞれに、集約強度の４強度単位の接触の強度が割り当てられる。より一般的には、一部の実装形態では、各接触ｊは、所定の数学関数Ｉｊ＝Ａ・（Ｄｊ／ΣＤｉ）に従って、集約強度Ａの一部分である、それぞれの強度Ｉｊが割り当てられ、ここで、Ｄｊは、力の中心からそれぞれの接触ｊまでの距離であり、ΣＤｉは、力の中心から全てのそれぞれ接触（例えば、ｉ＝１から最後まで）までの距離の和である。図５Ｃ～図５Ｄを参照して説明された動作は、デバイス１００、３００、５００、又はデバイス６００と類似若しくは同一の電子デバイスを使用して、実施することができる。一部の実施形態では、接触の特性強度は、接触の１つ以上の強度に基づいている。一部の実施形態では、強度センサは、単一の特性強度（例えば、単一の接触の単一の特性強度）を判定するために使用される。強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図５Ｃ～図５Ｄに含まれていることに留意されたい。
いくつかの実施形態では、特性強度を判定する目的のために、ジェスチャの一部分が特定される。例えば、タッチ感知面は、任意選択的に、開始場所から遷移して終了場所に到達する連続するスワイプ接触を受信し、その時点で接触の強度が増大する。この例では、終了場所での接触の特性強度は、任意選択的に、スワイプ接触全体ではなく、連続するスワイプ接触の一部分のみ（例えば、スワイプ接触のうち終了場所の部分のみ）に基づいている。いくつかの実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムがスワイプ接触の強度に適用される。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を判定する目的のために、スワイプ接触の強度の小幅な上昇又は降下を排除する。
タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押圧強度閾値、深い押圧強度閾値、及び／又は１つ以上の他の強度閾値などの１つ以上の強度閾値に対して特徴付けられる。いくつかの実施形態では、軽い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作をデバイスが実行する強度に相当する。いくつかの実施形態では、深い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作とは異なる動作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押圧強度閾値を下回る（例えば、それを下回ると接触が検出されなくなる公称接触検出強度閾値を上回る）特性強度を有する接触が検出されたとき、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値に関連付けられた動作を実行することなく、タッチ感知面上の接触の移動に従ってフォーカスセレクタを動かす。一般に、特に明記しない限り、これらの強度閾値は、ユーザインタフェース図の様々なセットの間で一貫している。
軽い押圧強度閾値を下回る強度から、軽い押圧強度閾値と深い押圧強度閾値との間の強度への、接触の特性強度の増大は、「軽い押圧」の入力と呼ばれることがある。深い押圧強度閾値を下回る強度から、深い押圧強度閾値を上回る強度への、接触の特性強度の増大は、「深い押圧」の入力と呼ばれることがある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押圧強度閾値との間の強度への、接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれることがある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への、接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれることがある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値は、ゼロより大きい。
本明細書に記載するいくつかの実施形態では、それぞれの押圧入力を含むジェスチャを検出したことに応答して、又はそれぞれの接触（若しくは複数の接触）によって実行されたそれぞれの押圧入力を検出したことに応答して、１つ以上の動作が実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（又は複数の接触）の強度の増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの動作は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大（例えば、それぞれの押圧入力の「ダウンストローク」）を検出したことに応答して実行される。いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押圧入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続く押圧入力閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押圧入力の「アップストローク」）を検出したことに応答して実行される。
図５Ｅ～図５Ｈは、図５Ｅの軽い押圧強度閾値（例えば、「ＩＴＬ」）を下回る強度から、図５Ｈの深い押圧強度閾値（例えば、「ＩＴＤ」）を上回る強度への、接触５６２の強度の増大に対応する押圧入力を含むジェスチャの検出を示す。接触５６２によって実行されるジェスチャは、タッチ感知面５６０上で検出され、所定の領域５７４内に表示されたアプリケーションアイコン５７２Ａ～５７２Ｄを含む表示ユーザインタフェース５７０上では、アプリ２に対応するアプリケーションアイコン５７２Ｂの上にカーソル５７６が表示される。一部の実施形態では、ジェスチャは、タッチ感知ディスプレイ５０４上に検出される。強度センサは、タッチ感知面５６０上の接触の強度を検出する。デバイスは、接触５６２の強度が深い押圧強度閾値（例えば、「ＩＴＤ」）を上回ってピークに達したと判定する。接触５６２は、タッチ感知面５６０上で維持される。ジェスチャの検出に応答して、ジェスチャ中に深い押圧強度閾値（例えば、「ＩＴＤ」）を上回る強度を有する接触５６２に従って、図５Ｆ～図５Ｈに示すように、アプリ２に対して最近開いた文書の縮尺が低減された表現５７８Ａ～５７８Ｃ（例えば、サムネイル）が表示される。一部の実施形態では、１つ以上の強度閾値と比較されるこの強度は、接触の特性強度である。接触５６２に対する強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図５Ｅ～図５Ｈに含まれていることに留意されたい。
一部の実施形態では、表現５７８Ａ～５７８Ｃの表示は、アニメーションを含む。例えば、図５Ｆに示すように、表現５７８Ａが、アプリケーションアイコン５７２Ｂに近接して最初に表示される。アニメーションが進むにつれて、図５Ｇに示すように、表現５７８Ａは上方へ動き、表現５７８Ｂが、アプリケーションアイコン５７２Ｂに近接して表示される。次いで、図５Ｈに示すように、表現５７８Ａが上方へ動き、表現５７８Ｂが表現５７８Ａに向かって上方へ動き、表現５７８Ｃが、アプリケーションアイコン５７２Ｂに近接して表示される。表現５７８Ａ～５７８Ｃは、アイコン５７２Ｂの上にアレイを形成する。一部の実施形態では、アニメーションは、図５Ｆ～図５Ｇに示すように、接触５６２の強度に従って進行し、接触５６２の強度が深い押圧強度閾値（例えば、「ＩＴＤ」）に向かって増大するにつれて、表現５７８Ａ～５７８Ｃが現れ、上方へ動く。一部の実施形態では、アニメーションの進行が基づいている強度は、接触の特性強度である。図５Ｅ～図５Ｈを参照して説明された動作は、デバイス１００、３００、５００、又はデバイス６００と類似若しくは同一の電子デバイスを使用して、実行することができる。
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との既定の関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりも低いＸ強度単位であり、又はヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくは何らかの妥当な割合である）。したがって、いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続くヒステリシス強度閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押圧入力の「アップストローク」）を検出したことに応答して実行される。同様に、いくつかの実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、その後のヒステリシス強度以下の強度への接触の強度の減少を検出するときにのみ検出され、それぞれの動作は、押圧入力（例えば、状況に応答して、接触の強度の増大又は接触の強度の減少）を検出したことに応答して実行される。
説明を容易にするために、押圧入力強度閾値に関連付けられた押圧入力、又は押圧入力を含むジェスチャに応答して実行される動作の説明は、任意選択的に、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、及び／又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応答してトリガされる。更に、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応答して実行されるように動作が記載される例では、動作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応答して実行される。
図５Ｉは、例示的な電子デバイス５８０を示す。デバイス５８０は、本体５８０Ａを含む。いくつかの実施形態では、デバイス５８０は、デバイス１００、３００、及び５００（例えば、図１Ａ～５Ｂ）に関して説明する特徴のうちのいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス５８０は、１つ以上のスピーカ５８０Ｂ（本体５８０Ａ内に隠されている）、１つ以上のマイクロフォン５８０Ｃ、１つ以上のタッチ感知面５８０Ｄ、及び１つ以上のディスプレイ５８０Ｅを有する。代替的に、又はディスプレイ及びタッチ感知面５８０Ｄに加えて、デバイスは、タッチ感知ディスプレイ（タッチスクリーンとも呼ばれる）を有する。デバイス１００、３００、及び５００と同様に、いくつかの実施形態では、タッチ感知面５８０Ｄ（又はタッチスクリーン）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出する１つ以上の強度センサを含む。タッチ感知面５８０Ｄ（又はタッチスクリーン）の１つ以上の強度センサによって、タッチの強度を表す出力データが提供され得る。デバイス５８０のユーザインタフェースは、タッチの強度に基づいてタッチに応答することができ、これは、異なる強度のタッチが、デバイス５８０上で異なるユーザインタフェース動作を呼び出すことができることを意味する。いくつかの実施形態では、１つ以上のディスプレイ５８０Ｅは、１つ以上の発光ダイオード（ＬＥＤ）である。例えば、ディスプレイは、単一のＬＥＤ、ＬＥＤクラスタ（例えば、赤色、緑色、及び青色ＬＥＤ）、複数の個別のＬＥＤ、複数の個別のＬＥＤクラスタ、又は１つ以上のＬＥＤの他の構成であってもよい。例えば、ディスプレイ５８０Ｅは、円形状（例えば、リング）に構成された９個の別個のＬＥＤクラスタのアレイであってもよい。いくつかの実施例では、１つ以上のディスプレイは、別のタイプの発光要素のうちの任意の１つ以上から構成される。
図５Ｊは、例示的なパーソナル電子デバイス５８０を示す。いくつかの実施形態では、デバイス５８０は、図１Ａ、図１Ｂ、図３、及び図５Ａ～図５Ｂに関して説明した構成要素のうちのいくつか又は全てを含むことができる。デバイス５８０は、Ｉ／Ｏセクション５９４を１つ以上のコンピュータプロセッサ５９６及びメモリ５９８に動作可能に結合するバス５９２を有する。Ｉ／Ｏセクション５９４は、ディスプレイ５８２に接続することができ、ディスプレイ５８２は、タッチ感知式構成要素５８４と、任意選択的に強度センサ５８５（例えば、接触強度センサ）とを有することができる。いくつかの実施形態では、タッチ感知式構成要素５８４は、ディスプレイ５８２とは別個の構成要素である。加えて、Ｉ／Ｏセクション５９４は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（ＮＦＣ）、セルラー、及び／又は他の無線通信技法を使用してアプリケーション及びオペレーティングシステムデータを受信するため、通信ユニット５９０に接続することができる。デバイス５８０は、入力機構５８８を含むことができる。いくつかの例では、入力機構５８８は、任意選択的にボタンである。いくつかの例では、入力機構５８８は、任意選択的にマイクロフォンである。入力機構５８８は、任意選択的に、複数のマイクロフォン（例えば、マイクロフォンアレイ）である。
電子デバイス５８０は、オーディオを出力するためのスピーカ５８６を含む。デバイス５８０は、オーディオデータを受信し、オーディオデータを電気信号に変換し、電気信号をスピーカ５８６に送信するオーディオ回路を（例えば、Ｉ／Ｏセクション５９４内に）含むことができる。スピーカ５８６は、電気信号を人間の可聴音波に変換する。オーディオ回路（例えば、Ｉ／Ｏセクション５９４内）はまた、マイクロフォン（例えば、入力機構５８８）によって音波から変換された電気信号を受信する。オーディオ回路（例えば、Ｉ／Ｏセクション５９４内）は、電気信号をオーディオデータに変換する。オーディオデータは、任意選択的に、Ｉ／Ｏセクション５９４によって、メモリ５９８及び／又は（例えば、通信ユニット５９０内の）ＲＦ回路から取得され、かつ／又はメモリ５９８及び／又は（例えば、通信ユニット５９０内の）ＲＦ回路に送信される。
パーソナル電子機器５８０のメモリ５９８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、それらの命令は、１つ以上のコンピュータプロセッサ５９６によって実行されると、例えば、コンピュータプロセッサに、プロセス１５００、１７００、及び１９００（図１５、図１７、及び図１９）を含めた、後述の技術を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって使用するための、又は命令実行システム、装置、又はデバイスに接続されているコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体とすることができる。いくつかの例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それだけに限定されるものではないが、磁気、光学、及び／又は半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、ＣＤ、ＤＶＤ、又はＢｌｕ－ｒａｙ技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの常駐ソリッドステートメモリなどが挙げられる。パーソナル電子機器５８０は、図５Ｊの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
次に、ポータブル多機能デバイス１００、デバイス３００、デバイス５００、又はデバイス６００などの電子デバイス上で実施されるユーザインタフェース（「ＵＩ」）及び関連プロセスの実施形態に注意を向ける。
図６Ａ～図６Ｒは、いくつかの実施形態による、電子デバイスからアクセサリ（例えば、照明、電源タップ、サーモスタット）を制御するための例示的なユーザインタフェースを示す。それらの図におけるユーザインタフェースは、図７Ａ～図７Ｂにおける処理を含む、以下で説明される処理を例示するために使用される。
図６Ａは、デバイス６００によって制御されることが有効化されているアクセサリ（例えば、ファン照明、シャンデリア、サーモスタット、スピーカ、電源タップ、及び電源コンセントなどの制御可能外部デバイス）のアフォーダンスを含む、電子デバイス６００上のホームインタフェース６０２を示す。ホームインタフェース６０２は、新しいアクセサリ又はシーン（例えば、タスクの実行条件に関連付けられたタスクのセット）を追加するためのアフォーダンス６４０、選択されたアクセサリの現在の状態を説明する状態セクション、自動化されたタスクのセットに対応するアフォーダンスを含むシーンセクション、デバイス６００に追加された（例えば、デバイス６００のアプリケーションに追加された）それぞれのアクセサリ（例えば、照明付きファン、シャンデリア、サーモスタット、スピーカ、電源タップ、及び電源コンセント）に対応するアクセサリアフォーダンス又はタイル（例えば、６０４Ａ～６０４Ｆ）を含むお気に入りセクション６０４を含む。お気に入りセクション６０４は、デバイス６００がアクセサリを設定するコマンドを送信することを可能にするセットアッププロセス中にデバイス６００とペアリングされたアクセサリのアクセサリアフォーダンスを含む。デバイス６００は、セットアップ中に、デバイス６００がアクセサリをお気に入りに含めるための指示を受信した場合、アクセサリアフォーダンス（例えば、６０４Ａ～６０４Ｆ）をお気に入りセクション６０４に表示する。アクセサリセットアッププロセスは、図１０Ａ～図１０Ｂに関して更に説明される。
セットアップ中、デバイス６００は、アクセサリから受信した情報に基づいて、アクセサリが第１のタイプか第２のタイプかを判定する。アクセサリのタイプに基づいて、デバイス６００はアクセサリに対応するタイルを生成する。タイルがタップされると、アクセサリが第１のタイプのものである場合は機能が実施され、又はアクセサリが第２のタイプのものである場合はユーザインタフェースが表示される。アクセサリが単一の機能を有する場合（例えば、シャンデリアをオン又はオフにできる）、又は、アクセサリが複数の機能をサポートしていて（例えば、ファン付きのシーリング照明は、ファン機能と照明機能とを有する）、主要機能（例えば、ファン付き照明はアクセサリの主要機能として、指定されたファン機能を有する）を有する場合、アクセサリは第１のタイプのものである。いくつかの実施形態では、アクセサリの主要機能が２値動作状態をサポートしており、その機能がアクセサリを２つの可能な状態（例えば、オン状態又はオフ状態）のうちの１つで動作させる場合、アクセサリ（例えば、シャンデリア）は第１のタイプのアクセサリである。アクセサリが複数の機能（例えば、暖房機能、冷房機能、及びファン機能を有するサーモスタット）を有するが、主要機能に関連付けられていない場合、アクセサリは第２のタイプのものである。いくつかの実施形態では、アクセサリに関連付けられた主要機能が３つ以上の動作状態を有する場合（例えば、サーモスタットは温度を設定する主要機能を有するが、サーモスタットは暖房、冷房、及びファン機能を有する）、アクセサリは第２のタイプのものである。アクセサリタイプの判定に基づいて、デバイス６００は、アクセサリに対応するアクセサリアフォーダンス（例えば、６０４Ａ～６０４Ｆ）を生成し、ホームインタフェース６０２に表示する。第１のタイプのアクセサリのためのアクセサリアフォーダンスが選択されたことをデバイス６００が検出すると、デバイス６００は、アクセサリに関連付けられた単一の機能又は主要機能を実行するコマンドを送信する。例えば、シャンデリアタイルをタップすると、シャンデリアがオンとオフの間で切り替わる。アクセサリが主要機能を有するとデバイス６００が判定した場合、アクセサリアフォーダンスを選択することによって、デバイス６００はそのアクセサリにコマンドを送信し、アクセサリは他の機能を実行することなく主要機能を実行する。第２のタイプのアクセサリのためのアクセサリアフォーダンスが選択されたことをデバイス６００が検出すると、デバイス６００は、制御アフォーダンス（例えば、図６Ｆの６０８Ａ～６０８Ｃ）を含むアクセサリインタフェースを表示する。これは、アクセサリに関連付けられた複数の機能のうちの１つ以上を実行するようにアクセサリを構成するためのものである。例えば、サーモスタット又はスピーカタイルをタップすると、特定の機能が実行されるのではなく、構成インタフェースが表示される。
図６Ａ～図６Ｂは、シャンデリアアクセサリアフォーダンス６０４Ｂが選択されるとシャンデリアが点灯することを示す。シャンデリアが更新された状態を表示するために、シャンデリアアクセサリアフォーダンス６０４Ｂも更新される。図６Ａでは、デバイス６００は、シャンデリアに対応するシャンデリアアクセサリアフォーダンス６０４Ｂを表示しており、これは、シャンデリアをオン／オフにする単一の機能を有する第１のタイプのアクセサリである。シャンデリアアクセサリアフォーダンス６０４Ｂは、シャンデリアが現在オフであることを示すシャンデリアのグラフィカル表現６０４Ｂ１と、シャンデリアがオフ状態にあることを示す、文字による現在状態６０４Ｂ２とを含む。デバイス６００は、ホームインタフェース６０２においてシャンデリアアクセサリアフォーダンス６０４Ｂが選択されたことに対応する入力（例えば、タップ）６５０Ａを検出する。入力６５０Ａを検出したことに応答して、デバイス６００は、コマンドをシャンデリアに送信して、シャンデリアをこれまでのオフ状態からオン状態に変更する。
図６Ｂに示すように、入力６５０Ａを検出したことに応答して、デバイス６００は、更新されたシャンデリアアクセサリアフォーダンス６０４Ｂを表示する。これには、シャンデリアの電球がオンになっていることを示す更新されたグラフィカル表現６０４Ｂ１と、シャンデリアがオン状態であることを示す更新された現在の状態６０４Ｂ２とが含まれる。いくつかの実施形態では、グラフィカル表現６０４Ｂ１は、アクセサリの状態を示すアニメーションを含む。いくつかの実施形態では、デバイス６００がシャンデリアアクセサリアフォーダンス６０４Ｂでの長押し（又は深い押圧）を検出したことに応答して、デバイス６００は、図８Ｂに更に例示するように、照明をオン／オフの間で切り替える制御アフォーダンスを含むシャンデリアインタフェースを表示する。
図６Ｃ～図６Ｆは、ファン－照明タイル６０４Ａが選択されたときに、照明付きシーリングファンを制御するためのファン－照明アクセサリインタフェース６１０Ａを開くためのアニメーションが表示されることを示す。図６Ｃでは、デバイス６００は、ファン構成要素と照明構成要素とに対応する複数の機能（例えば、ファンのオン／オフ及び照明のオン／オフ）を有する第２のタイプのアクセサリである、照明付きシーリングファンに対応するファン－照明アクセサリアフォーダンス６０４Ａを表示する。ファン－照明アクセサリアフォーダンス６０４Ａは、ファン及び照明の両方に対応する、グループ化されたアクセサリアフォーダンスである。したがって、ファン及び照明は両方とも、ファン－照明アクセサリアフォーダンス６０４Ａが選択されるとデバイス６００に表示されるファン－照明アクセサリインタフェース６１０Ａを介して構成可能である。ファン－照明アクセサリアフォーダンス６０４Ａは、ファン構成要素及び照明構成要素を示すグラフィカル表現６０４Ａ１と、ファン及び照明の現在の状態６０４Ａ２を示す文字とを含み、両方ともオフ状態にある。グラフィカル表現６０４Ａ１は、アクセサリに関連付けられた各構成要素の表現を含む。いくつかの実施形態では、グラフィカル表現６０４Ａ１は、主要機能とは異なる機能を有する各構成要素の表現を含む。いくつかの実施例では、主要機能がシーリングファンをオン／オフすることである場合、シーリングファンと照明の両方がグラフィカル表現６０４Ａ１に表示される。これは、ファンをオン／オフにする主要機能とは異なる機能を照明が有する（例えば、照明のオン／オフ）ためである。いくつかの実施形態では、電源コンセントを備えた電源タップのように、主要機能が全ての構成要素について同じである場合、グラフィカル表現６０４Ａ１は、個々の電源コンセントを表示することなく電源タップのみを表示する。同様に、現在の状態６０４Ａ２は、別個の機能を有するアクセサリに関連付けられた各構成要素の状態を含む。いくつかの実施形態では、現在の状態は、グラフィカル表現６０４Ａ１に表示されている、対応する構成要素の状態を含む。個々の構成要素がグラフィカル表現６０４Ａ１に表示されない場合、個々の構成要素の現在の状態６０４Ａ２も表示されない。
図６Ｃでは、デバイス６００は、ホームインタフェース６０２において、ファン－照明アクセサリアフォーダンス６０４Ａが選択されたことに対応する入力（例えば、タップ）６５０Ｂを検出する。図６Ｃでは、シーリングファン照明は第２のタイプのアクセサリであり、アクセサリはそれに関連付けられた主要機能を有さない。その結果、ファン－照明アクセサリアフォーダンス６１０Ａが選択されると、ファン－照明アクセサリインタフェース６１０Ａが表示される。入力６５０Ｂが検出されたことに応答して、デバイス６００は、ファン－照明アクセサリアフォーダンス６０４Ａをファン－照明アクセサリインタフェース６１０Ａに変換するアニメーションを表示することにより、ファン照明アクセサリインタフェース６１０Ａを表示する。
図６Ｄ～図６Ｆは、ファン－照明アクセサリアフォーダンス６０４Ａがファン－照明アクセサリインタフェース６１０Ａに変換されるアニメーションを示す。図６Ｄは、ファン－照明アクセサリアフォーダンス６０４Ａのサイズが拡大されるにつれて、対応するグラフィカル表現６０４Ａ１及び現在の状態６０４Ａ２のサイズも比例して拡大されることを示す。ファン－照明アクセサリアフォーダンス６０４Ａは、ファン－照明アクセサリアフォーダンス６０４Ａの現在の位置から拡大する。ファン－照明アクセサリアフォーダンス６０４Ａが拡大するにつれ、デバイス６００は、ファン－照明アクセサリインタフェース６１０Ａが現在の位置で拡大し続けた場合、ファン－照明アクセサリインタフェース６１０Ａの一部が画面外に表示されるかどうかを判定する。図６Ｅに示するように、ファン－照明アクセサリインタフェース６１０Ａの一部が画面外に表示されるという判定に従って、デバイス６００は、ファン－照明アクセサリインタフェース６１０Ａの一部が画面外に表示されないように、ファン－照明アクセサリインタフェース６１０Ａをディスプレイ６０３の左側の境界に位置合わせする又は素早く動かす。いくつかの実施形態では、ファン－照明アクセサリインタフェース６１０の一部が画面外に表示されないという判定に従って、デバイス６００は、ファン－照明アクセサリアフォーダンス６０４Ａをディスプレイ６０３の左側又は右側の境界に位置合わせすることなく、現在の位置にファン－照明アクセサリインタフェース６１０Ａを表示する。
図６Ｆは、シーリングファン及び照明の追加特性（例えば、照明色）を変更するための制御を有する、ファン－照明アクセサリアフォーダンス６１０Ａを示す。図６Ｆは、ファン及び照明が比例して拡大されたグラフィカル表現６１０Ａ１、並びにファン及び照明の現在の状態６１０Ａ２を示すより大きな文字を含む、完全に拡大されたファン－照明アクセサリアフォーダンス６１０Ａを示す。ファン－照明アクセサリ６１０Ａのグラフィカル表現６１０Ａ１は、ファン－照明アクセサリアフォーダンス６０４Ａのグラフィカル表現６０４Ａ１と一致する。同様に、ファン－照明アクセサリインタフェース６１０Ａの現在の状態６１０Ａ１は、ファン－照明アクセサリアフォーダンス６０４Ａの文字による状態６０４Ａ２と一致する。ファン－照明アクセサリインタフェース６１０Ａは、ファンの速度を調整するための制御アフォーダンス６０８Ａと、照明の輝度を調整するための制御アフォーダンス６０８Ｂとを含む。ファン－照明アクセサリインタフェース６１０Ａは、照明の色を変化させる色選択制御６０８Ｃも含む。図８Ａ～図８Ｊに関して更に後述するように、制御アフォーダンス６０８Ａ～６０８Ｃは、ファン－照明アクセサリインタフェース６１０Ａの第１の領域に表示され、これに対し、設定セクション６２０は、ファン－照明アクセサリインタフェース６１０Ａの第２の領域に表示される。ファン－照明アクセサリインタフェース６１０Ａは、設定ショートカットアフォーダンス６１２を更に含む。設定ショートカットアフォーダンス６１２は、ファン－照明アクセサリインタフェース６１０の第１の領域の、表示された又は可視部分の右下角に表示される。設定ショートカットアフォーダンス６１２が選択されたことをデバイス６００が検出したことに応答して、デバイス６００は、表示をディスプレイ６０３の上部の設定セクション６２０に素早く動かし、残りの制御を第１の領域にスクロールする。いくつかの実施形態では、設定ショートカットアフォーダンス６１２は、ファン－照明アクセサリインタフェース６１０Ａの第１の領域の全ての制御の下部に表示される。
図６Ｆは、アクセサリインタフェース６１０Ａ上の制御の例示的なレイアウトを表示する。デバイス６００は、アクセサリが含む制御及びセンサアフォーダンスの数、並びに制御の階層（例えば、６０８Ａ～６０８Ｃ）に基づいて、アクセサリインタフェース上の制御のレイアウトを判定する。アクセサリインタフェース６１０Ａが開かれると、主要機能に対応する主要制御（例えば、６０８Ａ～６０８Ｂ）が表示される。主要機能に関連付けられていない副制御（例えば、６０８Ｃ）は、主要制御の下に表示される。副制御は、アクセサリインタフェース６１０Ａのオーバーフロー領域内に配置されている場合には、最初は表示されていないことがある。以下に説明するように、図８Ｂ～８Ｃは、アクセサリインタフェース（例えば、８１０Ｂ）の第１の領域における制御の配置を更に示す。
デバイス６００は、表示される制御アフォーダンス及びセンサアフォーダンスの数に基づいて、ファン－照明アクセサリインタフェース６１０Ａ内の制御アフォーダンス６０８Ａ～６０８Ｃのレイアウトを判定する。デバイス６００は、アクセサリの機能が、ファン及び照明構成要素に対応する２つの機能を含むと判定する。シーリングファン及び照明アクセサリが、アクセサリの、各アクセサリの主要機能（ファンのオン／オフ及び照明のオン／オフなど）に対応する２つ以下の制御アフォーダンスを有していることをデバイス６００が検出すると、デバイス６００は、図６Ｆに示すように、ファン機能に対応する制御６０８Ａと、照明機能に対応する制御６０８Ｂとを、ファン－照明アクセサリインタフェース６１０Ａ内に横に並べて表示する。アクセサリの制御アフォーダンスが３つ以上存在する場合、デバイス６００は、図８Ｂのシャンデリアアクセサリインタフェース８１０Ｂに示すように、制御アフォーダンス８０８Ａ～８０８Ｃを上下の配置で表示する。いくつかの実施形態では、ファン－照明アクセサリインタフェースは、図８Ｂ～８Ｄに関して更に説明及び図示すように、アクセサリインタフェースが下にスクロールされたときに表示されるオーバーフローセクションに表示できる追加の制御アフォーダンスを含む。
いくつかの実施形態では、シーリングファン及び照明アクセサリは、シーリングファン及び照明アクセサリによってサポートされる複数の機能のうちのファンのオン／オフを行う、主要なファン機能を有する。シーリングファン及び照明アクセサリは主要機能を有するため、デバイス６００は、シーリングファン及び照明アクセサリが第１のタイプのアクセサリであると判定する。したがって、ファン－照明アクセサリ６０４Ａを選択することに対応する入力（例えば、タップ）をデバイス６００が受け取ることに応答して、デバイス６００は、ファン－照明アクセサリインタフェース６１０Ａを表示する代わりに、主要なファン機能（例えば、ファンをオンにする）を実行するコマンドを送信する。デバイス６００は、シーリングファン及び照明アクセサリの他の二次機能の実行するいずれのコマンドも送信しない（例えば、照明はオンにされない）。いくつかの実施形態では、主要機能を二次機能に設定することができない（例えば、主要機能を変更して照明をオン／オフすることはできない）。いくつかの実施形態では、ユーザは、主要機能を別の機能（例えば、二次機能）に再割り当てすることができ、例えば、ファン－照明アクセサリアフォーダンスを選択する結果、デバイス６００が照明をオンにするコマンドを送信するようにすることができる。シーリングファン及び照明アクセサリは第１のタイプのアクセサリであるため、デバイス６００は、アクセサリアフォーダンス６１０Ａが長押し（又は深い押圧）されることに応答して、ファン－照明インタフェース６１０Ａを表示する。
図６Ｆはまた、ファン－照明インタフェース６１０Ａ内の制御を介してファンの速度及び照明の設定を変更することを示す。図６Ｆでは、デバイス６００は、ファンを最大速度の５０％の速度に設定することに対応する制御アフォーダンス６０８Ａが選択されたことに対応する入力６５０Ｃを検出する。図６Ｇでは、デバイス６００は、入力６５０Ｃの検出に応答して、グラフィカル表現６１０Ａ１を更新してファンがオンであることを示し、現在の状態６１０Ａ２を更新して、ファンが５０％の速度に設定され、照明がオフのままであることを反映する。いくつかの実施形態では、入力６５０Ｃの検出に応答して、デバイス６００は、ファン－照明アクセサリインタフェース６１０Ａ内のグラフィカル表現６１０Ａ１に、ファンがオン状態であることを示す回転ファンのアニメーションを含めるように更新する。
図６Ｇでは、デバイス６００は、照明を最大輝度の７５％の輝度までオンにすることに対応する制御６０８Ｂの選択に対応する入力（例えば、スワイプ）６５０Ｄ１を検出する。図６Ｈでは、入力６５０Ｄ１の検出に応答して、デバイス６００は、グラフィカル表現６１０Ａ１を更新して照明がオンであることを示し、現在の状態６１０Ａ２を更新して、照明が７５％の輝度までオンにされ、一方、ファンが５０％の速度に設定されていることを示す。また、図６Ｇでは、デバイス６００は、電球の色を変化させ第３の色を選択することに対応する入力６５０Ｄ２（例えば、タップ）を検出する。入力６５０Ｄ１を検出したことに応答し、また、図６Ｈに示すように、デバイス６００は、図８Ｃ～８Ｄに関して更に説明されるように、オン状態にあり選択された照明の色に一致する色付き電球の画像を含むように、グラフィカル表現６１０Ａ１を更新する。
図６Ｈは、画面の下部までスクロールして設定セクション６２０にアクセスする代わりに、設定ショートカットアフォーダンス６１２をタップすることによって、ユーザが設定セクション６２０にアクセスできる方法を示す。図６Ｈでは、デバイス６００は、設定ショートカットアフォーダンス６１２の選択に対応する入力（例えば、タップ）６５０Ｅを検出する。図６Ｉでは、入力６５０Ｅの検出に応答して、デバイス６００は、シーリング照明及びファンの設定に対応する設定セクション６２０をファン－照明アクセサリインタフェース６１０に表示する。いくつかの実施形態では、図８Ａ～図８Ｊに関して更に説明及び図示するように、デバイス６００は、デバイス６００がスクロールファン－照明アクセサリインタフェース６１０Ａを第２の領域（例えば、オーバーフロー領域）にスクロールする結果となる入力を検出したことに応答して設定セクション６２０を表示し、第２の領域は、制御６０８Ａ～６０８Ｄを表示する第１の領域の下方にある。設定セクション６２０は、グラフィカル表現６１０Ａ１と、シーリングファン及び照明アクセサリの現在の状態を示す現在の状態６１０Ａ２とを含む。設定セクション６２０は、「他のアクセサリとグループ化する」アフォーダンス６１４Ａ及びアクセサリアフォーダンス６１４Ｂを含むグループセクションを含む。「他のアクセサリとグループ化する」アフォーダンス６１４Ａは、寝室内のシーリングファンを、同じタイプの別のアクセサリ（例えば、リビングルーム内の別のファン）とグループ化することに対応する。
図６Ｉ～６Ｋは、ファン－照明アクセサリグループを、別個のアクセサリアフォーダンス（例えば、６０４Ｇ及び６０４Ｈ）及び別個のアクセサリインタフェース（例えば、６１０Ｈ）を有する２つの別個のアクセサリに分離することを示す。ファン－照明アクセサリグループは、図６Ｊに示すように、ファン－照明アクセサリインタフェース６１０Ａからのアクセサリ設定から、「別個のタイルアフォーダンスとして表示」６１６を選択することによって分離される。ファン及び照明はそれぞれ、アクセサリグループが２つの別個のアクセサリアフォーダンスに切り離された後に、それぞれの対応する設定を保持する。図６Ｉでは、デバイス６００は、アクセサリアフォーダンス６１４Ｂの選択に対応する入力（例えば、タップ）６５０Ｆを検出する。図６Ｊでは、入力６５０Ｆの検出に応答して、デバイス６００は、グループ内の各構成要素（例えば、ファン及び照明）のそれぞれに対応するアフォーダンス６１８Ａ～６１８Ｂと、ファンから照明を分離するための分離アフォーダンス６１６とを含むアクセサリインタフェース６２２を表示する。
図６Ｊでは、デバイス６００は、分離アフォーダンス６１６の選択に対応する入力（例えば、タップ）６５０Ｇを検出する。図６Ｋでは、入力６５０Ｇの検出に応答して、デバイス６００は、ホームインタフェース６０２に別個のアクセサリアフォーダンス、ファンアクセサリアフォーダンス６０４Ｇ、及び照明アクセサリアフォーダンス６０４Ｈを含むホームインタフェース６０２を表示し、一方、グループ化されたアクセサリは分割されているので、ファン－照明アクセサリアフォーダンス６０４Ａの表示を停止する。ファンアクセサリアフォーダンス６０４Ｇは、ファンのグラフィカル表現６０４Ｇ１を含み、これは、回転ファンのアニメーションと、ファンがオン状態で５０％で動作していることを示す現在の状態６０４Ｇ２とを含む。同様に、アクセサリアフォーダンス６０４Ｈは、照明のグラフィカル表現６０４Ｈ１を含み、これは、オン状態の電球と、照明がオン状態で７５％で動作していることを示す現在の状態６０４Ｈ２とを含む。照明アクセサリアフォーダンス６０４Ｈは、シーリングファン及び照明アクセサリの照明構成要素のみに対応する。照明アクセサリは、２値状態で動作する照明をオン／オフするための単一の機能を有する第１のタイプのアクセサリである。したがって、デバイス６００は、デバイス６００が照明アクセサリアフォーダンス６０４Ｈの選択に対応する入力（例えば、タップ）を受信すると、照明をオン／オフするコマンドを送信する。
図６Ｌ～６Ｒは、アクセサリグループが分割された後、アクセサリグループのそれぞれの構成要素が、対応するアクセサリアフォーダンスを介して個別に構成できることを示す。例えば、照明付きシーリングファンからの照明は、照明アクセサリアフォーダンス６０４Ｈを介して構成可能である。選択されると、照明アクセサリアフォーダンス６０４Ｈは照明アクセサリインタフェース６１０Ｈに変換され、照明の制御が表示される。同様に、照明アクセサリインタフェース６１０Ｈが閉じられると、照明アクセサリインタフェース６１０Ｈは変換されて、照明アクセサリアフォーダンス６０４Ｈに戻る。
図６Ｌでは、デバイス６００は、照明アクセサリアフォーダンス６０４Ｈの長押し（又は深い押圧）に対応する入力６５０Ｈを検出する。図６Ｍ～図６Ｏでは、入力６５０Ｈの検出に応答して、デバイス６００は、照明アクセサリアフォーダンス６０４Ｈが照明アクセサリインタフェース６１０Ｈに変換されるアニメーションを表示する。図６Ｍは、照明アクセサリアフォーダンス６０４Ｈのサイズが拡大されるにつれて、対応するグラフィカル表現６０４Ｈ１及び現在の状態６０４Ｈ２に対応する文字のサイズも比例して拡大されることを示す。デバイス６００は、ホームインタフェース６０２の中心に配置された照明アクセサリアフォーダンス６０４Ｈの現在の位置に基づいて、拡大する照明アクセサリアフォーダンス６０４Ｈのアニメーションを表示する。図６Ｎに示すように、現在の位置に表示された場合に照明アクセサリインタフェース６１０Ｈの一部が画面外に表示されないという判定に従って、デバイス６００は、照明アクセサリアフォーダンスを画面の左側又は右側の境界に位置合わせすることなく、現在の位置に照明アクセサリインタフェース６１０を表示する。
図６Ｏは、照明アクセサリアフォーダンス６０４Ｈが配置されるディスプレイデバイス６０３の中心にある、照明が比例して拡大されたグラフィカル表現６１０Ｈ１と、照明の現在の状態６１０Ｈ２を示すより大きい文字とを含む、完全に拡大された照明アクセサリインタフェース６１０Ｈを示す。照明アクセサリインタフェース６１０Ｈは、照明の輝度を調整するための制御アフォーダンス６０８Ａと、照明の色に対応する色制御アフォーダンス６０８Ｃとを含む。デバイス６００は、図８Ｃに関して更に説明されるように、照明アクセサリインタフェース６１０Ｈのオーバーフロー領域内の色制御アフォーダンス６０８Ｃの下に、照明に関連付けられた追加の制御アフォーダンスを表示する。
図６Ｏでは、デバイス６００は、輝度を９０％に調整するための制御アフォーダンス６０８Ａの選択に対応する入力６５０Ｉ（例えば、スワイプ）を検出する。図６Ｏでは、入力６５０Ｉの検出に応答して、デバイス６００は、グラフィカル表現６１０Ｈ１を更新して照明がオンであることを示し、現在の状態６１０Ｈ２を更新して、照明が９０％の輝度に設定されたことを示す。いくつかの実施形態では、入力６５０Ｉの検出に応答して、デバイス６００は、照明アクセサリインタフェース６１０Ｈ内のグラフィカル表現６１０Ａ１を更新してアニメーションを含める。
図６Ｏでは、デバイス６００は、「×」アフォーダンス６３０の選択に対応する入力（例えば、タップ）６５０Ｊを検出して、ファンアクセサリインタフェース６１０Ｈを閉じる。図６Ｐ～６Ｒに示すように、入力６５０Ｊの検出に応答して、デバイス６００は、ホームインタフェース６０２内の照明アクセサリアフォーダンス６０４Ｈに遷移して戻る照明アクセサリインタフェース６１０Ｈのアニメーションを表示する。図６Ｐ～６Ｑは、照明アクセサリインタフェース６１０Ｈのサイズが減少するにつれて、対応するグラフィカル表現６０ＧＡ１及び現在の状態６０４Ｈ２に対応する文字も比例してサイズが減少することを示す。デバイス６００は、照明アクセサリインタフェース６１０Ｈのサイズが減少するにつれて、照明アクセサリインタフェース６１０Ｈでの制御アフォーダンス６０８Ａ及びセンサアフォーダンス６０８Ｃ～６０８Ｄの表示を停止する。図６Ｒでは、デバイス６００は、更新されたグラフィカル表現６０４Ｈ１及び、照明が９０％の輝度に設定されている更新された現在の状態６０４Ｈ２によって、照明アクセサリアフォーダンス６０４Ｈをホームインタフェース６０２に表示する。いくつかの実施形態では、図６Ｌに示すように、グラフィカル表現６０４Ｈ１及び現在の状態６０４Ｈ２は、照明の輝度が変化する前と同じままである。
図７Ａ～７Ｂは、いくつかの実施形態による、電子デバイスを使用して外部デバイスを制御するための方法７００を示すフロー図である。方法７００は、表示デバイス（例えば、６０３）を備えたデバイス（例えば、１００、３００、５００、又は６００）において実行される。方法７００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
以下に説明するように、方法７００は、制御可能外部デバイスに対応するアフォーダンス（例えば、６０４Ａ～６０４Ｈ）へのアクセスを提供するホームインタフェース（例えば、６０２）から、制御可能外部デバイスを管理するための直感的な方法を提供する。ユーザが制御可能外部デバイスをホームインタフェースから管理することを可能にすることは、全ての制御可能外部デバイスがホームインタフェースからアクセス可能であるため、ユーザの認識的負担を軽減する。したがって、ユーザは、各制御可能外部デバイスの構成を管理するために別個のアプリケーションを開く必要はなく、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ駆動のコンピューティングデバイスの場合、制御可能外部デバイスを統一されたホームインタフェースから管理することは、各制御可能外部デバイスを管理するために必要とされる入力の数が減るため、ユーザはデバイスの電力を効率的に節約し、バッテリの充電間隔を伸ばすことができる。
ブロック７０２では、表示デバイス（例えば、６０３）（例えば、タッチ感知表示デバイス）及び通信デバイス（例えば、無線アンテナ）を有するデバイス（例えば、６００）（例えば、スマートフォン、スマートホーム制御機器）は、表示デバイスに、第１の制御可能外部デバイス（例えば、少なくとも１つの制御可能機能を有するデバイス（例えば、スマート電球、スマートサーモスタット、スマートスピーカ）に関連付けられた第１のアクセサリアフォーダンス（例えば、６０４Ａ～６０４Ｇ）（例えば、選択可能なグラフィカルタイル）を含むユーザインタフェース（例えば、６０２）（例えば、各アクセサリのタイルを示すホームページ）を表示する。
いくつかの実施形態では、第１のアクセサリアフォーダンス（例えば、６０４Ａ）は、第１のグラフィカル要素（例えば、６０４Ａ１）（例えば、第１の制御可能外部デバイス（例えば、電球の画像）を表すアイコン）及び第１の文字要素（例えば、６０４Ａ２）（例えば、現在の状態（例えば、電球が「オン」である）を含む第１の制御可能外部デバイスを表す名前（例えば、「電球」））を含む。いくつかの実施形態では、第１の制御可能外部デバイスが第２の制御可能構成要素（例えば、照明付きシーリングファンのファン）に関連付けられているという判定に従って、第１の機能（例えば、ファンをオンにする）に関連付けられた第２の制御可能構成要素は、第２の制御可能構成要素のグラフィカル表示（例えば、６０４Ａ、６０４Ｇ）を含む（例えば、タイルはファンのアイコンを含む）。いくつかの実施形態では、第１の制御可能外部デバイスが第３の制御可能構成要素（例えば、照明付きシーリングファンの照明）と関連付けられているという判定に従って、第２の機能（例えば、照明をオンにする）に関連付けられた第３の制御可能構成要素は、第３の制御可能構成要素（例えば、６０４Ａ、６０４Ｈ）のグラフィカル表示を含む。いくつかの実施形態では、第１の制御可能デバイスが第２の制御可能構成要素及び第３の制御可能構成要素に関連付けられているという判定に従い、第２の制御可能構成要素のグラフィカル表示及び第３の制御可能構成要素のグラフィカル表示を含めること（例えば、タイルは、ファン及び照明、又はいくつかの電源コンセントを備えた電源タップなどのアクセサリ内の各下位構成要素のアイコン又は画像を含む）（例えば、６０４Ａ、６０４Ｅ）。第１のアクセサリアフォーダンス（例えば、６０４Ａ）内の構成要素（例えば、ファン及び照明）のグラフィカル表示（例えば、６０４Ａ１）及び文字による状態（例えば、６０４Ａ２）を表示することは、どの制御可能外部デバイス及び構成要素がアクセサリグループの一部であるか（複数の構成要素の場合）、及びアクセサリの現在の状態について、ユーザに視覚情報を提供する。アクセサリアフォーダンスによって制御されている制御可能外部デバイスをユーザが確認できるようにすることで、認識的負担が軽減される。したがって、ユーザは、各制御可能外部デバイス及びその対応する構成要素の構成を管理するための追加の入力（例えば、長押し）を提供する必要はなく、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ駆動のコンピューティングデバイスの場合、各制御可能外部デバイスを管理するために必要とされる入力の数が減らすことによって、ユーザはデバイスの電力を効率的に節約し、バッテリの充電間隔を伸ばすことができる。更に、ユーザは、選択された機能が実行されたか、又は設定が構成されたかを視覚的に確認できる。
いくつかの実施形態では、第１の制御可能外部デバイスが第２の制御可能構成要素及び第３の制御可能構成要素に関連付けられているという判定に従って、第１のアクセサリアフォーダンスは、第２の制御可能構成要素のグラフィカル表示と、第３の制御可能構成要素のグラフィカル表示とを含む（例えば、６０４Ａ）。
いくつかの実施形態では、ブロック７０４で、第１の制御可能外部デバイス（例えば、照明付きファン）は、第１の機能（例えば、ファンをオンにするなどの主要又は主機能）及び第２の機能（例えば、照明をオンにするなどの二次機能）に関連付けられている。
ブロック７０６で、デバイス（例えば、６００）は、第１のアクセサリアフォーダンス（例えば、６０４Ａ）の選択に対応する第１の入力（例えば、タップ入力）（例えば、６５０Ａ、６５０Ｂ）を検出する。いくつかの実施形態では、ブロック７０８で、第１のアクセサリアフォーダンスは、第１の入力を検出する前に第１の外観を有する。
ブロック７１０で、第１の入力（例えば、６５０Ａ）を検出したことに応答して、ブロック７１４で、コマンド送信基準のセットが満たされた（例えば、アクセサリは単一の主要機能を有する）という判定に従って、デバイス（例えば、６００）は、通信デバイスを介して、第１の制御可能外部デバイスに、第１の機能（例えば、現在オフである場合はデバイスの照明をオンにする、現在オンになっている場合にはオフにする）を実行するためのコマンドを送信する。いくつかの実施形態では、ブロック７１２で、第１の入力の検出に応答して、また、第１の機能を実行するためのコマンドを第１の制御可能外部デバイスに送信することと合わせ（例えば、同時に）、第１のアクセサリアフォーダンス（例えば、６０４Ｂ）を、第１の機能に基づく第２の外観（例えば、図６Ｂの６０４Ｂ１）に更新すること（例えば、第１の機能は、第１の制御可能外部デバイスの一部である照明の状態を変化させることであり、第２の外観は、変化した照明の状態と一致する状態の照明の画像を含む）。第１のアクセサリアフォーダンスをアクセサリの更新された状態を反映する第２の外観に更新することにより、コマンドが実行されたという視覚的なフィードバックがユーザに提供される。アクセサリアフォーダンスによって更新された制御可能外部デバイスをユーザが確認できるようにすることで、認識的負担が軽減される。したがって、ユーザは、各制御可能外部デバイス及びその対応する構成要素の構成を管理するための追加の入力（例えば、長押し）を提供する必要はなく、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ駆動のコンピューティングデバイスの場合、各制御可能外部デバイスを管理するために必要とされる入力の数が減らすことによって、ユーザはデバイスの電力を効率的に節約し、バッテリの充電間隔を伸ばすことができる。更に、ユーザは、選択された機能が実行されたか、又は設定が構成されたかを視覚的に確認できる。
いくつかの実施形態では、ブロック７１６で、コマンド送信基準のセットは、第１の制御可能外部デバイスに関連付けられた第１の機能（例えば、ファンをオンにするなどの主要機能）が、第１の制御可能外部デバイス（例えば、照明付きファンなどの複数の機能を有するアクセサリ）の主要機能（例えば、アクセサリが複数の機能をサポートする場合は指定された主機能、デバイスと関連付けられた唯一の機能）であるときに満たされる第１の基準を含む。いくつかの実施形態では、コマンド送信基準のセットは、第１の制御可能外部デバイスに関連付けられた第１の機能（例えば、アクセサリは、２値状態の単一の機能、つまりオン又はオフにされるのみを持つ）が、２値動作状態（例えば、オフ又はオンで、３つ以上の状態ではない）を持つ第１の制御可能構成要素（例えば、照明付きシーリングファンのファン）に関連付けられているときに満たされる第２の基準を含む。いくつかの実施形態では、第１の機能は、第１の制御可能外部デバイスの第１の制御可能構成要素の現在の動作状態から、第１の制御可能外部デバイスの第１の制御可能構成要素の他の動作状態に遷移することである（例えば、構成要素がオンであるとき機能はオフになり、逆もまた同様である）。いくつかの実施形態では、アクセサリタイルをタップすることにより、照明付きシーリングファンのファンがオン又はオフになる。
いくつかの実施形態では、ブロック７１８で、コマンド送信基準のセット（例えば、アクセサリが主要機能に関連付けられているかどうかの判定）が満たされる（例えば、アクセサリが単一の主要機能を有する）という判断に従って、通信デバイスを介して、第２の機能を実施するためのコマンドを第１の制御可能外部デバイスに送信することなく、通信デバイスを介して、第１の制御可能外部デバイスに第１の機能を実施するためのコマンドを送信すること。第１の入力（例えば、６５０Ａ）の検出に応答して、かつ第１の制御可能外部デバイスに第１の機能を実施するためのコマンドを送信するのと関連して（例えば、同時に）、第１のアクセサリアフォーダンス（例えば、６０４Ｂ）を、第１の機能に基づいて第２の外観（例えば、６０４Ｂ１）に更新すること（例えば、第１の機能は、第１の制御可能外部デバイスの一部である照明の状態を変化させることであり、第２の外観は、変化した照明の状態と一致する状態の照明の画像を含む）。いくつかの実施形態では、第２の外観は、第１の機能（例えば、ファンがオンにされ、それによりタイルのアニメーションは回転ファンを示す）に基づくアニメーション（例えば、繰り返し／ループアニメーション）を含む。デバイスが、送信基準が満たされたときに、第１の制御可能外部デバイスに第１の機能を実施するためのコマンドを送信することにより、追加のアクセサリインタフェースを表示することなくより効率的なユーザインタフェースが提供される。第１の制御可能外部デバイスは、主要機能にマッピングされているため、追加のユーザ対話を必要とせずに主要機能が実施される。これにより、ユーザの認識的負担が軽減され、単一の入力によって第１の制御可能外部デバイスに主要機能を実施させるため、バッテリが保持される。
ブロック７２０で、コマンド送信基準のセットが満たされていないという判定に従って（例えば、アクセサリは、温度を変更し、オンとオフの間で切り替えることができるサーモスタットなど、複数の主要機能を有する）、（例えば、制御可能外部デバイスにコマンドを送信することなく）第１のアクセサリインタフェース（例えば、図６Ｆの６１０Ａ、図１２Ｂの１２１０Ｃ）を表示デバイスに表示すること。第１のアクセサリインタフェースは、ブロック７２２で、第１の制御アフォーダンスであって、選択されると、制御可能外部デバイスに、第１の機能を実施するためのコマンドを送信する第１の制御アフォーダンス（例えば、図６Ｆの６０８Ａ～６０８Ｃ、図１２Ｂの１２０８）（例えば、照明用の調光器、サーモスタット用の温度ダイアル）と、第２の制御アフォーダンスであって、選択されると、外部アクセサリデバイスに第１の機能とは異なる第２の機能を実施するためのコマンドを送信する第２の制御アフォーダンス（例えば、照明の色の変更、ＡＣ、ヒータ、ファンといったサーモスタットのモードの変更など）とを含む。デバイスが主要機能にマッピングされていない場合に、ユーザが第１の制御可能外部デバイスの設定を管理できるようにアクセサリインタフェースを表示することで、より効率的なユーザインタフェースがユーザに提供される。制御可能外部デバイスが主要機能にマッピングされていないため、アクセサリインタフェースを表示することは、ユーザが制御可能外部デバイスの制御を管理することができるため、より効率的なユーザインタフェースを提供する。これにより、対応するアクセサリアフォーダンスが選択されるたびにアクセサリインタフェースが表示されないため、バッテリが節約される。
いくつかの実施形態では、第１のアクセサリインタフェース（例えば、６１０Ａ）は、第１の制御アフォーダンス（例えば、６０８Ａ）及び第２の制御アフォーダンス（６０８Ｂ、６０８Ｃ）を含む。いくつかの実施形態では、第１のアクセサリインタフェースを表示することは、レイアウト基準の第１のセットを満たす第１の機能及び第２の機能（例えば、レイアウト基準の第１のセットは、第１の機能及び第２の機能が機能の階層内で同じレベルに分類されるときに満たされる基準を含む）に従って、第１の制御アフォーダンス（例えば、６０８Ａ）及び第２の制御アフォーダンス（例えば、６０８Ｂ）を横に並べて（例えば、水平配置で）表示することを含む。いくつかの実施形態では、レイアウト基準の第２のセットを満たす第１の機能及び第２の機能（例えば、レイアウト基準の第１のセットは、第１の機能及び第２の機能が機能の階層内で異なるレベルに分類されるときに満たされる基準を含む）に従って、第１の制御アフォーダンス（例えば、６０８Ａ）を第２の制御アフォーダンス（例えば、６０８Ｃ）の上に上下の配置で（例えば、垂直配置で）表示する。
いくつかの実施形態では、第１のアクセサリインタフェース（例えば、６１０Ａ１）は、第１のグラフィカル要素（例えば、６０４Ａ１）に対応する（例えば、一致する）第２のグラフィカル要素（６１０Ａ１）と、第１の文字要素（例えば、６０４Ａ２）に対応する第２の文字要素（例えば、６１０Ｂ２）とを含む。いくつかの実施形態では、第１のアクセサリインタフェースを表示することは、第２のグラフィカル要素に視覚的に遷移する第１のグラフィカル要素のアニメーション（例えば、第１のグラフィカル要素が第２のグラフィカル要素になるように拡大するアニメーション）を表示することと、第２の文字要素に視覚的に遷移する第１の文字要素のアニメーションを表示することと、を更に含む。
一部の実施形態では、第１のアクセサリインタフェースの一部（例えば、図６Ｅの６１０Ａ）が表示デバイスの境界を超える位置（例えば、アクセサリのユーザインタフェースの一部）に表示される（例えば、アクセサリに関連付けられたカードは、デバイスの画面の境界の外側に表示される）という判定に従って、第１のアクセサリインタフェースが境界と位置を合わされる第１の位置（例えば、図６Ｅの６１０Ａ）に第１のアクセサリインタフェースを表示する（例えば、アクセサリのユーザインタフェースを素早く動かして、画面の境界又は縁部と位置を合わせる）。いくつかの実施形態では、第１のアクセサリインタフェースの一部（例えば、図６Ｎの６１０Ａ）が表示デバイスの境界を超える位置に表示されない（例えば、ユーザインタフェースは画面の境界内にある）という判定に従って、第１のアクセサリインタフェースを、第１のアクセサリアフォーダンス（例えば、６０４Ｈ）の位置に基づく第２の位置（例えば、図６Ｎの６１０Ａ）に表示する（例えば、タイルが配置されている位置にユーザインタフェースを表示する）。制御可能外部デバイスによってサポートされる制御及びセンサの数に基づいて、各アクセサリインタフェースの適切なレイアウトをデバイスに判定させることにより、ユーザの認識的負担を軽減する、より直感的なユーザインタフェースがもたらされる。制御及びセンサのレイアウトは、制御可能外部デバイスを構成するために必要とされる入力の数を減らすのに役立ち、それによりバッテリが節約される。
いくつかの実施形態では、第１のアクセサリインタフェース（例えば、図６Ｏの６１０Ｈ）を表示している間（いくつかの実施形態では、第１のアクセサリアフォーダンスを表示していない間）、第１のアクセサリインタフェースの表示を停止する要求に対応する第２の入力（例えば、６５０Ｊ）を検出すること。第２の入力を検出したことに応答して、第１のアクセサリインタフェースの表示を停止すること（いくつかの実施形態では、加えて第１のアクセサリアフォーダンスを再表示すること）は、第１のグラフィカル要素（例えば、６０４Ｈ１）に視覚的に遷移する第２のグラフィカル要素（例えば、６１０Ｈ１）のアニメーション（例えば、縮小して第１のグラフィカル要素になる第２のグラフィカル要素のアニメーション）の表示と、第１の文字要素（例えば、６０４Ｈ２）に視覚的に遷移する第２の文字要素（例えば、６１０Ｈ２）のアニメーションの表示と、を含むこと。
いくつかの実施形態では、第１の制御可能外部デバイスは、第２の制御可能構成要素（例えば、照明付きシーリングファンのファン）及び第３の制御可能構成要素（例えば、照明付きシーリングファンの照明）に関連付けられており、第１のアクセサリインタフェース（例えば、６１０Ａ）を表示している（例えば、照明付きシーリングファンのカードを表示する）間に、（例えば、グループから下位構成要素を外すための）（例えば、ファン及び照明をグループ解除して２つの別個のタイルにする）制御再構成アフォーダンスに対応する入力（例えば、図６Ｊの６１６、図１０Ｌの１０２０及び１０２２）を含む、（例えば、ユーザインタフェースを再表示するための要求を更に含む）１つ以上の入力の第１のセット（例えば、図６Ｉ～６Ｊの６５０Ｆ～６５０Ｇ及び図１０Ｋ～１０Ｌの１０５０Ｊ～１０５０Ｉ）を検出（例えば、アクセサリアフォーダンスを選択し、「別個のタイルとして示す」アフォーダンスをクリックする）すること。１つ以上の入力の第１のセットを検出したことに応答して、第１の制御可能外部デバイスの第２の制御可能構成要素に関連付けられ、第１の制御可能外部デバイスの第３の制御可能構成要素に関連付けられていない、第２のアクセサリアフォーダンス（例えば、６０４Ｇ）（例えば、アフォーダンスであって、選択されると、第２の制御可能構成要素に関連付けられた機能を実施するアフォーダンス）（例えば、ファンに対応するタイル）と、第１の制御可能外部デバイスの第３の制御可能構成要素に関連付けられ、第１の制御可能デバイスの第２の制御可能構成要素に関連付けられていない、第３のアクセサリアフォーダンス（例えば、６０４Ｈ）（例えば、アフォーダンスであって、選択されると、第３の制御可能構成要素に関連付けられている機能を実施するアフォーダンス）（例えば、照明に対応するタイル）と、を含むユーザインタフェースの第２のインスタンス（例えば、図６Ｋの６０２）を表示すること。いくつかの実施形態では、ユーザインタフェースの第２のインスタンスは、第１のアクセサリアフォーダンス（例えば、６０４Ａ）を含まない。いくつかの実施形態では、グループ化された照明付きシーリングファンタイルはもはや表示されず、代わりに２つの別個のタイル（例えば、ファンタイル及び照明タイル）が表示される。アクセサリが一緒にグループ化されているか、又は分離されているかどうかに基づいて、ホームインタフェース内のアクセサリアフォーダンスを更新することは、制御可能外部デバイスを管理するためのより直感的なユーザインタフェースをユーザに提供する。グループ化されたアクセサリは、単一のアクセサリアフォーダンスによって表され、ユーザの認識的負担を軽減する。したがって、単一のアクセサリアフォーダンスを選択することにより、ユーザは、グループ内の各構成要素又は制御可能外部デバイスの制御に別個にアクセスするのではなく、アクセサリの全ての制御が１つの場所で管理可能となる。これにより、グループ化されたアクセサリを構成するために必要とされる入力の数が低減されるため、電力も節約される。同様に、グループ化されたアクセサリを分離した場合、個別のアクセサリアフォーダンスとして表示され、より直感的なユーザインタフェースをユーザに提供する。制御可能外部デバイスの構成要素を分離することをユーザが選択し、各構成要素を構成するための個別のユーザインタフェースが提供されることにより、ユーザが対話している構成要素が明確になり、ユーザの認識的負担が軽減される。
方法７００（例えば、図７Ａ～図７Ｂ）に関して前述したプロセスの詳細はまた、前述した／後述する方法にも類似の方式で適用可能であることに留意されたい。例えば、方法７００は、任意選択的に、方法９００、１１００、及び１３００に関して前述した様々な方法のうちの１つ以上の特徴を含む。例えば、方法９００に記載の制御可能外部デバイスは、方法７００の制御可能外部デバイスであることが可能であり、法７００に記載のインタフェースを使用して構成及びアクセスすることができる。簡潔にするために、これらの詳細は、以下で繰り返さない。
図８Ａ～図８Ｊは、いくつかの実施形態による、アクセサリ（例えば、照明、電力タップ、サーモスタット）を構成するための例示的なユーザインタフェースを示す。これらの図中のユーザインタフェースは、図９Ａ、図９Ｂでのプロセスを含めた、以下で説明されるプロセスを例示するために使用される。
図８Ａ～図８Ｂは、シャンデリアアクセサリアフォーダンス６０４Ｂを長押しすることによって、シャンデリアの制御にアクセスすることを示す。図８Ａにおいて、デバイス６００は、シャンデリアに対応するシャンデリアアクセサリアフォーダンス６０４Ｂを表示する。シャンデリアアクセサリアフォーダンス６０４Ｂは、現在オン状態にあることを示す、シャンデリアのグラフィカル表現６０４Ａ１と、シャンデリアがオン状態にあることを示す、文字による現在の状態６０４Ａ２と、を含む。デバイス６００は、ホームインタフェース６０２内のシャンデリアアクセサリアフォーダンス６０４Ｂの長押し（又は深い押圧）に対応する、入力８５０Ａを検出する。図８Ｂにおいて、デバイス６００はシャンデリアアクセサリアフォーダンス６０４Ｂの長押しに対応する入力８５０Ａの検出に応答して、シャンデリアアクセサリインタフェース８１０Ｂを表示する。いくつかの実施形態では、アクセサリが主要機能を有さない第２のタイプのアクセサリである場合、デバイス６００は、アクセサリアフォーダンスの選択に対応する入力（例えば、タップ）をデバイス６００が検出したことに応答して、アクセサリインタフェース（例えば、シャンデリアアクセサリインタフェース８１０Ｂ）を表示する。
図８Ｂ～図８Ｄは、シャンデリアアクセサリインタフェース８１０Ｂが最初に表示されたときに表示される第１の領域８１２Ａから構成される、シャンデリアアクセサリインタフェース８１０Ｂ内の制御のレイアウトを示す。第２の領域８１２Ｂ（オーバーフロー領域）はアクセサリ設定を含む。設定セクション８２２は、ユーザが第１の領域８１２Ａを越えてスクロールする場合に表示される。ユーザは、スワイプジェスチャを使用して領域間をスクロールできる。図８Ｂ～８Ｄで、デバイス６００はシャンデリアアクセサリインタフェース８１０Ｂを表示しており、シャンデリアアクセサリインタフェース８１０Ｂは、表示されている第１の領域８１２Ａと表示されていない第２の領域８１２Ｂとを含む。デバイス６００が検出された入力８５０Ａに応答してシャンデリアアクセサリインタフェース８１０Ｂを表示すると、ディスプレイ６０３に第１の領域８１２Ａの第１の部分が表示される。第１の領域８１２Ａは、グラフィカル表現８１０Ｂ１、現在の状態８１０Ｂ２、及び制御アフォーダンス８０８Ａ～８０８Ｃを含む。第１の領域８１２Ａは、最初は表示されないオーバーフロー領域を含む。第１の領域８１２Ａのオーバーフロー領域には、アフォーダンス８０８Ｃなど、最初は第１の領域に表示されていない追加の制御アフォーダンス及びセンサを含む。デバイス６００は、第１の領域８１２Ａ内でスクロールダウンに対応する入力を検出したことに応答して、第１の領域８１２Ａのオーバーフロー領域を表示する。
制御アフォーダンス８０８Ａは、シャンデリアの輝度を変更するための制御に対応する。図８Ｂにおいて、シャンデリアは９０％の輝度に設定されている。制御アフォーダンス８０８Ｂは、シャンデリアに設定できる様々に異なる色に対応している。図８Ｂでは、６つの異なる色がシャンデリアアクセサリインタフェース８１０Ｂの第１の領域８１２Ａの第１の部分に、最初に表示されている。追加の色は、第１の領域８１２Ａのオーバーフロー領域内に表示され、シャンデリアアクセサリインタフェース８１０Ｂがスクロールされるまでは表示され。図８Ｂでは、シャンデリアは色８０８Ｂ１に設定されている。グラフィカル表現８１０Ｂ１は、制御８０８Ｂが示している選択された照明色を反映する。
図８Ｂで、デバイス６００は、シャンデリアアクセサリインタフェース８１０Ｂをスクロールダウンさせるためのスワイプジェスチャに対応する入力８５０Ｂを検出する。図８Ｃにおいて、デバイス６００は入力８５０Ｂを検出したことに応答して、第１の領域８１２Ａのオーバーフロー領域を表示しつつ、制御アフォーダンス８０８Ａ及び８０８Ｂの表示を維持する。第１の領域８１２Ａのオーバーフロー領域は、制御８０８Ｂのシャンデリア色の第３の行と、シャンデリアを自動的にオフにするまでの時限を指定するタイマー制御アフォーダンス８０８Ｃとを含む。デバイス６００は、第１の領域８１２Ａのオーバーフロー領域を表示する間、グラフィカル表現８１０Ｂ１及び現在の状態８１０Ｂ２の表示を維持する。制御アフォーダンス８０８Ａの表示は、制御アフォーダンス８０８Ｃを示すために第１の領域８１２Ａがスクロールされるにつれて、部分的な表示となる。ユーザがシャンデリアアクセサリインタフェース８１０Ｂ内を通してスクロールし、第１の領域８１２Ａの表示をスクロール・インするにつれて、設定ショートカットアフォーダンス８１６が画面の下部に表示される。これにより、ユーザに設定セクション８２２への迅速なアクセスが提供される。したがって、デバイス６００がシャンデリアアクセサリアフォーダンス８１０Ｂの第１の領域８１２Ａを通してスクロールするとき、デバイス６００は、シャンデリアアクセサリアフォーダンス８１０Ｂの第１の領域の下隅に設定ショートカットアフォーダンス８１６の表示を維持する。設定ショートカットアフォーダンス８１６は、シャンデリアアクセサリアフォーダンス８１０Ｂの第２の領域には表示されない。設定ショートカットアフォーダンス８１６は、シャンデリアアクセサリインタフェース８１０Ｂの第２の領域８１２Ｂ内の設定セクション８２２へのクイックアクセスを提供するので、ユーザは設定セクションに到達するために第１の領域８１２Ａを通してスクロールする必要はない。
図８Ｃ～図８Ｄは、設定がシャンデリアアクセサリインタフェース８１０Ｂ内で変更されるとき、グラフィカル表現８１０Ｂ１及び文字による状態８１０Ｂ２が更新されることを示す。図８Ｃでデバイス６００は、第２の色の選択８０８Ｂ２に対応する入力（例えば、タップ）８５０Ｃを検出する。図８Ｄでデバイス６００は、入力８５０Ｃの検出に応答して、制御アフォーダンス８０８Ａ及びグラフィカル表現８１０Ｂ１の表示を更新して、選択された照明の色を反映させる。デバイス６００は、シャンデリアアクセサリインタフェース８１０Ｂの第１の領域８１２Ａの下部が表示されたことを判定する。判定に応答して、デバイス６００は、設定ショートカットアフォーダンス８１６を表示する。デバイス６００は、設定ショートカットアフォーダンスの選択を検出したことに応答して、シャンデリアアクセサリインタフェース８１０Ｂの第２の領域を表示する。一部の実施形態では、設定ショートカットアフォーダンス８１６は、第１の領域８１２Ａの下部に表示される。一部の実施形態では、設定ショートカットアフォーダンス８１６は、第１の領域８１２Ａのどの部分が表示されているかに関わらず、ディスプレイ６０３の下部に表示される。
図８Ｄ～８Ｆは、シャンデリアアクセサリインタフェース８１０Ｂ内でスワイプジェスチャを使用することによる第２の領域８１２Ｂへのアクセスを示す。図８Ｄにおいて、デバイス６００は、シャンデリアアクセサリインタフェース８１０Ｂを更にスクロールダウンさせるためのスワイプジェスチャに対応する入力８５０Ｄを検出する。図８Ｅにおいて、デバイス６００は、入力８５０Ｄを検出したことに応答して、ユーザの指がまだディスプレイ６０３と接触しているときに、シャンデリアアクセサリインタフェース８１０Ｂの第２の領域８１２Ｂの一部を表示する。デバイス６００は、第２の領域８１２Ｂの表示された部分が閾値量８２４を超えているかどうかを判定する。図８Ｅは、第２の領域８１２Ｂの表示された部分が閾値量８２４を超えていないという判定に従って、デバイス６００は、ユーザがスワイプジェスチャから指を離したときにバウンスアニメーション（例えば、輪ゴム効果）を表示する。バウンスアニメーションの結果、図８Ｄは、デバイス６００が第２の領域８１２Ｂを表示することなく、シャンデリアアクセサリインタフェース８１０Ｂの第１の領域８１２Ａの以前に表示されていた部分に素早く戻ることを示す。図８Ｆ～図８Ｇは、（クイックスワイプジェスチャの結果として）第２の領域８１２Ｂ部分が閾値量８２４を超えて表示されるという判定に従って、デバイス６００の画面がシャンデリアアクセサリインタフェース８１０Ｂの第２の領域８１２Ｂに素早く移動し、第２の領域８１２Ｂをディスプレイ６０３の上部に表示することを示す。
図８Ｇは、シャンデリアアクセサリインタフェース８１０Ｂの第２の領域８１２Ｂ（設定セクション８２２）を示す。第２の領域８１２Ｂは、第１の領域８１２Ａ内に表示されるものと同じグラフィカル表現８１０Ｂ１及び現在の状態８１０Ｂ２を含む。第２の領域８１２Ｂは、シャンデリアの設定を構成するための設定セクション８２２を含む。デバイス６００の画面が素早く移動してシャンデリアアクセサリインタフェース８１０Ｂの第２の領域８１２Ｂを表示することに応答して、デバイス６００は、第１の領域８１２Ａの表示から第２の領域８１２Ｂへの遷移を示す触覚及びオーディオ出力８２０を出力する。一部の実施形態では、デバイス６００は、オーディオ出力なしに触覚出力を出力する。一部の実施形態では、デバイス６００は、触覚出力なしにオーディオ出力を出力する。
図８Ｇにおいて、デバイス５００は、「×」アフォーダンス８３０の選択に対応する入力（例えば、タップ）８５０Ｅを検出して、シャンデリアアクセサリインタフェース８１０Ｂを閉じる。図８Ｈにおいて、入力８５０Ｅを検出したことに応答して、デバイス６００は、照明の色が色８０８Ｂ２に変化したことを示すグラフィカル表現６０４Ａ１と、照明がオン状態で９０％の輝度であることを示す現在の状態６０４Ａ２とを含む、更新されたシャンデリアアクセサリアフォーダンス６０４Ｂを表示する。いくつかの実施形態では、入力８５０Ｅを検出したことに応答して、デバイス６００は、シャンデリアアクセサリインタフェース８１０Ｂが閉じられたときに、触覚出力及びオーディオ出力を出力する。一部の実施形態では、デバイス６００は、オーディオ出力なしに触覚出力を出力する。一部の実施形態では、デバイス６００は、触覚出力なしにオーディオ出力を出力する。
図８Ｈ～図８Ｊは、ファンインタフェース８１０Ｉ内の制御のいくつかのレイアウトを示す。図６Ｆに関して上述したように、デバイス６００は、アクセサリに関連付けられた制御及びセンサの数に依存してレイアウトを判定する。図８Ｈでは、デバイス６００は、リビングルームファンアクセサリアフォーダンス６０４Ｉの長押し（又は深い押圧）に対応する入力８５０Ｆを検出する。入力８５０Ｆを検出したことに応答して、デバイス６００は、リビングルームファンアクセサリインタフェース６１０Ｉを表示する。図８Ｉ～８Ｊは、リビングルームファンアクセサリインタフェース６１０Ｉの２つのレイアウトを示す。デバイス６００は、図６Ｆに関して一般的に説明されるように、表示される制御アフォーダンス及びセンサアフォーダンスの数に基づいて、ファンアクセサリインタフェース６１０Ｉ内の制御アフォーダンス及びセンサアフォーダンスのレイアウトを判定する。図８Ｉでは、デバイス６００は、リビングルームファンが２つ以下のセンサアフォーダンス（例えば、８１６Ａ～８１６Ｂ）を有するかどうかを判定する。ファンが２つのセンサアフォーダンス８１６Ａ～８１６Ｂを有するという判定に従って、デバイス６００は、センサアフォーダンス８１６Ａ～８１６Ｂが制御８１８の上に表示されるファンアクセサリインタフェース６１０Ｉ内のレイアウトを表示する。図８Ｊでは、デバイス６００は、リビングルームファンが３つのセンサアフォーダンス８１６Ａ～８１６Ｃを有すると判定する。ファンが３つ以上のセンサアフォーダンスを有するという判定に従って、デバイス６００は、センサアフォーダンス８１６Ａ～８１６Ｃが制御８１８の下に表示されるファンアクセサリインタフェース６１０Ｉ内のレイアウトを表示する。
図９Ａ～９Ｂは、いくつかの実施形態による、電子デバイスを使用して外部デバイスを制御するための方法９００を示すフロー図である。方法９００は、表示デバイス（例えば、６０３）を備えたデバイス（例えば、１００、３００、５００、又は６００）において実施される。方法９００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
以下に説明するように、方法９００は、制御可能外部デバイスに対応するアフォーダンスへのアクセスを提供するホームインタフェース（例えば、６０２）から、制御可能外部デバイスを管理するための直感的な方法を提供する。家庭内の制御可能外部デバイスをユーザがホームインタフェースから管理することを可能にすることによって、全ての制御可能外部デバイスがホームインタフェースからアクセス可能となるため、ユーザの認識的負担が軽減される。したがって、ユーザは、各制御可能外部デバイスの構成を管理するために別個のアプリケーションを開く必要はなく、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ駆動のコンピューティングデバイスの場合、制御可能外部デバイスをユーザがホームインタフェースから管理可能とすることにより、複数のアプリケーションを開くために必要な入力の数が減るため、ユーザはデバイスの電力を効率的に節約し、バッテリの充電間隔を伸ばすことができる。
ブロック９０２において、デバイス（例えば、６００）は、表示デバイスに、第１の制御可能外部デバイス（例えば、少なくとも１つの制御可能機能を有するデバイス（例えば、スマート電球、スマートサーモスタット、スマートスピーカ））に関連付けられた第１のアクセサリアフォーダンス（例えば、６０４Ｂ）（例えば、選択可能なグラフィカルタイル）を含むユーザインタフェース（例えば、各アクセサリのタイルを示すホームページ）を表示する。
いくつかの実施形態では、ブロック９０４において、第１のアクセサリインタフェース（例えば、８１０Ｂ）は、第１の総数の制御アフォーダンス（例えば、８０８Ａ～８０８Ｃ）を含み、第１の総数の制御アフォーダンスの全ては第１の領域（例えば、８１２Ａ）に含まれ（例えば、アクセサリの全ての制御が第１の領域に表示される）、第２の領域（例えば、８１２Ｂ）には、第１の総数の制御アフォーダンスは１つも含まれない（例えば、第２の領域内に表示される設定セクション内に制御は１つも表示されない）。いくつかの実施形態では、第１のアクセサリインタフェースの第１の領域は、第１の領域の第３の位置（例えば、第１の領域の表示された部分に隣接）に第２の領域アフォーダンス（例えば、８１６）（例えば、設定ショートカット）を含む。
ブロック９０６で、デバイス（例えば、６００）は、第１のアクセサリアフォーダンスの選択に対応する第１の入力（例えば、８５０Ａ）（例えば、アフォーダンス上のタップ）を検出する。
ブロック９０８において、第１の入力（例えば、８５０Ａ）（例えば、タップ）を検出したことに応答して、デバイス（例えば、６００）は、第１の制御アフォーダンスであって、選択されると、第１のアクセサリインタフェース（例えば、設定セクション）の第２の領域（例えば、８１２Ｂ）を表示することなく、第１の制御可能外部デバイスの第１の機能（例えば、照明の調光、照明の色の変更）を制御する（例えば、制御信号を送信する）第１の制御アフォーダンス（例えば、８０８Ａ）を含む第１のアクセサリインタフェース（例えば、８１０Ｂ）（例えば、アクセサリに関連するカードなどの、アクセサリの全ての制御を表示するユーザインタフェース）の第１の領域（例えば、８１２Ａ）を表示デバイス（例えば、６０３）に表示する。いくつかの実施形態では、第１の領域はアクセサリの全ての制御を含み、第２の領域はアクセサリの設定セクション（例えば、８１６）を含む。
一部の実施形態では、ブロック９１０において、第１の制御可能外部デバイスが所定の数（例えば、３つのセンサ）未満のセンサ（例えば、温度、湿度、及び／又は周辺光センサ）に関連付けられている（例えば、含む）という判定に従って、第１のアクセサリインタフェース（例えば、８１０Ｉ）の第１の領域（８１２Ａ）は、第１の領域の第１の場所（例えば、第１の制御アフォーダンスの上）に、第１の制御可能デバイスのセンサに対応する制御アフォーダンスのセット（例えば、８１６Ａ～８１６Ｃ）を含む。
いくつかの実施形態では、ブロック９１２において、第１の制御可能外部デバイスが所定の数又はそれ以上のセンサに関連付けられている（例えば、含む）という判定に従って、第１のアクセサリインタフェース（例えば、８１０Ｉ）の第１の領域（例えば、８１２Ａ）は、第１の位置とは異なる、第１の領域（例えば、８１２Ａ）の第２の場所（例えば、第１の制御アフォーダンスの下（例えば、８１８））に、第１の制御可能デバイスのセンサに対応する制御アフォーダンスのセット（例えば、８１６Ａ～８１６Ｃ）を含む。
ブロック９１４で、第１のアクセサリインタフェース（例えば、８１０Ｂ）の第１の領域（例えば、８１２Ａ）を表示デバイス（例えば、６０３）に表示している間に、デバイスは、第２の入力（例えば、８５０Ｂ、８５０Ｄ）（例えば、スワイプ）を検出する。いくつかの実施形態では、第２の入力は、表示をスクロールさせて、現在表示されていない更に下のカード上に追加の制御を表示させるスワイプ（例えば、８５０Ｂ）を含む。いくつかの実施形態では、スワイプ（例えば、８５０Ｄ）は表示をセクション設定に素早く動かし、それにより、表示は設定セクション（例えば、８２２）に素早く動かされ、そのため、制御はもはや表示されない。
ブロック９１６及びブロック９１８において、第２の入力（例えば、８５０Ｄ）を検出したことに応答し、第２の入力（例えば、８５０Ｄ）は、第２の領域（例えば、８１２Ｂ）の一部分を、閾値量（例えば、第２の領域のコンテンツ又は面積の閾値量）を超えて（例えば、設定セクションの４分の１がスクリーンに表示される）表示させるという判定に従って、ブロック９２０において、デバイス（例えば、６００）は、第１のアクセサリインタフェース（例えば、８１０Ｂ）の上部に第２の領域を表示する（例えば、アクセサリの設定セクションに素早く動かす）ように第１のアクセサリインタフェース（例えば、８１０Ｂ）の表示を更新し、その間、第１の領域（例えば、８１２Ａ）の表示を停止し（例えば、第１の領域内の制御はもはや表示されない）、第２の領域は、第１の制御可能外部デバイスの１つ以上の（例えば、設定が、ユーザにアクセサリのセットアップの管理を可能とするアクセサリ（例えば、アクセサリの、お気に入りを含むデータの共有、通知の受信、アクセスリストへの人の追加）のメイン設定ページである）設定を含む。いくつかの実施形態では、ブロック９２２で、デバイスは、触覚及びオーディオのフィードバック（例えば、８２０）を出力する。同じアクセサリインタフェースに制御及び設定を表示することで、制御可能外部デバイスの制御にアクセスするためのより効率的なユーザインタフェースが提供される。ユーザが１つのインタフェースから制御可能外部デバイスの制御及び設定にアクセスすることを可能にすることにより、ユーザの認識的負担が軽減される。したがって、ユーザは、各制御可能外部デバイスの構成を管理するために、別個のアプリケーションを開く必要はない。更に、制御可能外部デバイスの設定は、一般的に他の制御よりも使用頻度が低いため、ユーザが意図的に設定にアクセスしようとする場合を除いて非表示である。したがって、設定をいつ表示するかを判定するための閾値を使用することによって、ユーザが意図的に設定セクションにアクセスしたい場合にのみ表示されるため、より効率的なユーザインタフェースが提供される。更に、設定ショートカットアフォーダンスを浮動させることにより、ユーザは、アクセサリインタフェースの底部にスクロールする必要なしに、設定セクションにナビゲート可能となる。
ブロック９２４において、第２の入力の検出に応答し、第２の入力は第２の領域（例えば、８１２Ｂ）の一部分を閾値量を超えて表示させない（例えば、設定セクションの４分の１未満が表示される）という判定に従って、デバイス（例えば、６００）は、第１のアクセサリインタフェース（例えば、８１０Ｂ）の表示を、第２の入力（例えば、８５０Ｄ）に基づいて（例えば、設定セクションに素早く動かすのではなくスワイプの速度に対応して、以前表示されていなかったページに第１の領域（例えば、８１２Ａ）を通して第２の制御（例えば、８０８Ｃ）を徐々にスクロールして）、第１のアクセサリインタフェースの第１の領域において（例えば、第２の制御は以前には表示されていなかった）、第２の制御アフォーダンス（例えば、８０８Ｂ、８０８Ｃ）に更新（例えば、照明の色を変更し、第２の制御は第２の入力以前には表示されていなかった）する。いくつかの実施形態では、ページを下にスクロールして第２の制御を表示すると、第１のアクセサリインタフェース（例えば、８１０Ｂ）の第２の領域（例えば、８１２Ｂ）を表示せず、第１の制御が表示されなくなる。閾値を超えていないときには設定セクションを表示しないことにより、より効率的なユーザインタフェースが提供される。その代わり、フォーカスは、制御可能外部デバイスの制御に向けられ、ユーザの認識的負担が軽減される。
いくつかの実施形態では、デバイス（例えば、６００）は、第２の領域アフォーダンス（例えば、８１６）に対応する第４の入力（例えば、図６Ｈの６５０Ｅ）を検出する。第２の領域アフォーダンスに対応する第４の入力を検出したことに応答して、デバイスは、第１のアクセサリインタフェース（例えば、６１０Ａ）の表示を更新して（例えば、更に第１の領域のオーバーフロー領域内の他の制御を通ってスクロールして）、第１の領域の表示を停止している間に、第２の領域（例えば、図６Ｈの６２０）を第１のアクセサリインタフェースの上部に表示する（例えば、アクセサリの設定セクションへ素早く動かす）。
いくつかの実施形態では、表示デバイス（例えば、６０３）上に第１のアクセサリインタフェース（例えば、８１０Ｂ）を表示している間に、デバイスは、第３の入力（例えば、８３０）を検出する（例えば、第３の入力は、第１のアクセサリインタフェースを取り消す又は閉じる）。第３の入力を検出したことに応答して、デバイスは、第１のアクセサリインタフェースの表示を停止し、第１のアクセサリインタフェースがもはや表示されないことを示す触覚及びオーディオのフィードバック（例えば、８２０）を出力する（例えば、フィードバックを取り消して、カードが閉じていることを示す）。
方法９００（例えば、図９Ａ及び図９Ｂ）に関して前述したプロセスの詳細はまた、前述した／後述する方法にも類似の方式で適用可能であることに留意されたい。例えば、方法９００は、任意選択的に、方法７００、１１００、及び１３００に関して前述した様々な方法の特性のうちの１つ以上を含む。例えば、方法９００のアクセサリインタフェースを使用して、方法７００の制御可能外部デバイスを構成する。簡潔にするために、これらの詳細は、以下で繰り返さない。
図１０Ａ～図１０ＡＣは、いくつかの実施形態に係る、グループ化されたアクセサリ（例えば、電力タップ）のための例示的なインタフェースを示す。これらの図のインタフェースは、図１１Ａ～１１Ｂのプロセスを含む後述のプロセスを例示するために使用される。
図１０Ａ～１０Ｃでは、電力タップ及び電源コンセントがホームインタフェース６０２に追加されている。ユーザは、コードをスキャンするか、コードを入力してアクセサリを追加できる。アクセサリが追加されると、アクセサリアフォーダンス（例えば、６０４Ｅ及び６０４Ｆ）がホームインタフェース６０２に追加される。ユーザは、アクセサリ（例えば、電力タップ）に対応するアクセサリアフォーダンス（例えば、６０４Ｅ）をタップすることによって、アクセサリの構成を管理することができる。図１０Ａでは、デバイス６００は、新しいアクセサリ又はシーンを追加するためのアフォーダンス６４０を含むホームインタフェース６０２を表示する。デバイス６００は、アフォーダンス６４０の選択に対応する入力のセット１０５０Ａ（例えば、タップ）を検出し、新しいアクセサリを追加するために選択する。図１０Ｂでは、入力１０５０Ａを検出したことに応答して、デバイス６００は、デバイス６００によって制御可能となる新しいアクセサリを追加するための「アクセサリの追加」インタフェース１００２を表示する。アクセサリ追加インタフェース１００２は、ビューファインダ１００４Ａと、デバイス６００を使用して新しいアクセサリに関連付けられるコード（例えば、バーコード、ＱＲコード（登録商標）、又は一連の数字）をスキャンするための命令とを含む。アクセサリ追加インタフェース１００２はまた、新しいアクセサリを追加するためにコードを手動で入力するためのアフォーダンス１００４Ｂを含む。
図１０Ｃでは、新しいアクセサリの追加に成功した後（例えば、それに応答して）、デバイス６００は、追加されたアクセサリに対応するアクセサリアフォーダンスを含むホームインタフェース６０２を表示する。図１０Ｃは、ホームインタフェース６０２において、それぞれ電源タップアクセサリ及び電源コンセントアクセサリに対応する、新たに追加された電源タップアクセサリアフォーダンス６０４Ｆ及び玄関電源コンセントアクセサリアフォーダンス６０４Ｆを示す。デバイス６００は、アクセサリが実行できる機能に関する受信情報に基づいて、アクセサリインタフェースをタップ又は開いてユーザがアクセサリを管理できるようにする際の機能を実行する、対応するアクセサリアフォーダンスを持つかどうかを判定する。例えば、電源コンセントアクセサリアフォーダンス６０４Ｆは、電源コンセントアクセサリアフォーダンス６０４Ｆがタップされると、電源コンセントをオンとオフの間で切り替える。対照的に、サーモスタットアクセサリアフォーダンス６０４Ｃは、デバイス６００がサーモスタットアクセサリアフォーダンス６０４Ｃがタップされたときに図１２Ｂのサーモスタットインタフェース１２１０Ｃを開く。セットアップ中、デバイス６００は、電源コンセントから受信する情報に基づいて、電源コンセントは、オンとオフの間で切り替える、２つの２値状態で動作する単一の機能を有するため、第１のタイプのアクセサリであると判定する。セットアップ中、デバイス６００は、電源タップから受信する情報に基づいて、電源タップは、オンとオフの間で切り替える、２つの２値状態で動作する単一の機能を有するため、電源タップは、同じく、第１のタイプのアクセサリであるグループ化されたアクセサリであると判定する。対照的に、図１２Ａ～図１２Ｂに関して後述するように、サーモスタットは、サーモスタットに主要機能がないため、第２のタイプのアクセサリである。
図１０Ｃで、デバイス６００は、ホームインタフェース６０２内の電源コンセントアクセサリアフォーダンス６０４Ｆの長押し（又は深い押圧）に対応する入力１０５０Ｂを検出する。図１０Ｄで、デバイス６００は、入力１０５０Ｂを検出したことに応答して、電源コンセントアクセサリインタフェース１０１０Ｆを表示する。電源コンセントアクセサリインタフェース１０１０Ｆは、グラフィカル表現１０１０Ｆ１と、電源コンセントが現在オフであることを示す現在の状態１０１０Ｆ２とを含む。電源コンセントアクセサリインタフェース１０１０Ｆは、電源コンセントをオン状態とオフ状態の間で切り替えることに対応する制御アフォーダンス１００８を含む。
図１０Ｄでは、デバイス６００は、電源コンセントアクセサリインタフェース１０１０Ｆをスクロールダウンさせて、電源コンセント設定セクション１０１８にアクセスするスワイプジェスチャに対応する、入力１０５０Ｃを検出する。電源コンセントはアクセサリグループの一部ではないため、電源コンセント設定セクション１０１８は、電源コンセントを再構成するためのアフォーダンスを含まない。図１０Ｅにおいて、デバイス６００は、入力１０５０Ｃを検出したことに応答して、電源コンセントアクセサリインタフェース１０１０Ｆの表示を、電源コンセント設定セクション１０１８に素早く動かす。電源コンセントは単一のアクセサリ構成要素であるため、電源コンセント設定セクション１０１８は、アクセサリの構成要素を再構成するためのアクセサリ再構成アフォーダンスを含まない。例えば、電源コンセント設定セクション１０１８は、図１０Ｋに示されるようなアフォーダンス１０１４Ｂを含まず、図１０Ｒに示されるようなグループ化されたアクセサリ又はアフォーダンス１０１４Ｃのセットに対して構成要素を追加又は除去することに関連付けられており、グループが物理的にその一部であるアクセサリを再結合することと関連付けられている（例えば、電源コンセントは電源タップの構成要素である）。
図１０Ｆは、ホームインタフェース６０２内に新たに追加された電力タップアクセサリアフォーダンス６０４Ｅを示す。電力タップアクセサリアフォーダンス６０４Ｅは、６つの個別の電源コンセント構成要素（例えば、下位構成要素）を含む電力タップアクセサリに対応する。電力タップアフォーダンス６０４Ｅは、６つの電源コンセントを含むアクセサリグループを表す。電力タップは、オン／オフにされる主要機能を有する。電力タップの６つの個々の電源コンセント構成要素はまた、オンとオフの間で切替えられる同じ主要機能を有する。したがって、デバイス６００は、電力タップ及び６つの個別の電源コンセント構成要素を含むアクセサリグループのための単一の電力タップアクセサリアフォーダンス６０４Ｅを生成する。アクセサリグループは一緒にオン又はオフにしたり、個々の構成要素を個別に制御したりできる。したがって、デバイス６００が、電力タップアクセサリアフォーダンス６０４Ｅの選択に対応する入力（例えば、タップ）を検出したことに応答して、デバイス６００は、コマンドを電力タップに送信して、アクセサリグループ全体をオン／オフする。電力タップ及び個々の電源コンセントは、電力タップアクセサリインタフェース１０１０Ｅ内の各電源コンセント構成要素に関連付けられた制御アフォーダンスによって、個別にオンとオフの状態の間で切り替えられ得る。
図１０Ｆでは、デバイス６００は、電力タップアクセサリアフォーダンス６０４Ｅの長押し（又は深い押圧）に対応する入力１０５０Ｄを検出して、各電源コンセントに対応する個々の制御にアクセスする。図１０Ｇでは、入力１０５０Ｄを検出したことに応答して、デバイス６００は、電力タップアクセサリインタフェース１０１０Ｅを表示する。電力タップアクセサリインタフェース１０１０Ｅは、各電源コンセント及び電力タップ全体の状態を管理するための制御１０２０Ａ～１０２０Ｇを含む。電力タップアクセサリインタフェース１０１０Ｅは、電源タップがオフであることを示すグラフィカル表現１０１０Ｅ１、及び電源タップ内の全ての電源コンセントが現在オフであることを示す現在の状態１０１０Ｅ２を含む。電源コンセントアクセサリインタフェース１０１０Ｅは、制御アフォーダンス１０２０Ａ～１０２０Ｇを含む。制御アフォーダンス１０２０Ａは、電力タップが現在オフ状態の場合、電力タップの６つの電源コンセント構成要素全てを含む電力タップをオン状態に設定し、電力タップが現在オン状態の場合、電力タップをオフ状態に設定する。制御アフォーダンス１０２０Ａが電力タップをオンにするためにアクティブ化されたときに既にオン状態にある電源コンセントは、オン状態に留まる。同様に、制御アフォーダンス１０２０Ａが電力タップをオフにするために選択されたときに既にオフ状態にある電源コンセントは、オフ状態に留まる。制御アフォーダンス１０２０Ｂ～１０２０Ｇは、グループ内のそれぞれの各電源コンセントに対応する制御アフォーダンスに対応し、制御アフォーダンスは、グループ内の他の電源コンセントの状態に影響を及ぼすことなくオン又はオフ状態に設定することができる。電力タップアクセサリインタフェース１０１０Ｅはまた、設定ショートカットアフォーダンス１０１２を含む。
図１０Ｇ～１０Ｊは、電力タップ又は電力タップアクセサリグループの個々の電源コンセントをオンにすることを示す。ホームインタフェース６０２の電力タップアクセサリアフォーダンス６０４Ｅは、電力タップの状態が更新されるたびに更新される。
図１０Ｇでは、デバイス６００は、電力タップをオンにするための制御アフォーダンス１０２０Ａの選択に対応する入力（例えば、タップ）１０５０Ｅを検出する。入力１０５０Ｅを検出したことに応答して、デバイス６００は、６つの電源コンセント構成要素のそれぞれをオンにするコマンド又は命令を電力タップアクセサリに送信する。入力１０５０Ｅを検出した後の図１０Ｈでは、デバイス６００は、ホームインタフェース６０２内の電力タップアクセサリアフォーダンス６０４Ｅの表示を更新する。電力タップアクセサリアフォーダンス６０４Ｅのグラフィック表現６０４Ｅ１が更新され、稲妻マークによって示されるように電力タップがオンにされたことを示す。電力タップアクセサリアフォーダンス６０４Ｅの現在の状態６０４Ｅ２が更新され、電力タップがオン状態であることを示す。
図１０Ｈでは、デバイス６００は、電力タップアクセサリアフォーダンス６０４Ｅの長押し（又は深い押圧）に対応する入力１０５０Ｆを検出する。図１０Ｉでは、入力１０５０Ｆを検出したことに応答して、デバイス６００は、電力タップアクセサリインタフェース６１０Ｅを表示する。電力タップアクセサリインタフェース１０１０Ｅは、電力タップがオン状態であることを示す図１０Ｈの更新されたグラフィカル表現６０４Ｅ１と一致するグラフィカル表現１０１０Ｅ１を含む。現在の状態１０１０Ｅ２が更新され、電力タップがオン状態であり、６つの電源コンセントがそれぞれオン状態であることを示す。デバイス６００は、電力タップが現在オン状態にあるとデバイス６００が判定したことに応答して、電力タップをオフにするための制御アフォーダンス１０２０Ａを更新する。制御アフォーダンス１０２０Ｂ～０２０Ｇは、各電源コンセントのそれぞれがオン状態であることを示し、制御アフォーダンス１０２０Ｂ～１０２０Ｇのうちの１つをタップすると、対応する電源コンセントがオフになる。
図１０Ｉでは、デバイス６００は、電源コンセント１に対応する制御アフォーダンス１０２０Ｂの選択に対応する入力（例えば、タップ）１０５０Ｇを検出する。図１０Ｊでは、入力１０５０Ｇを検出したことに続いて（及びそれに応答して）、デバイス６００は、コマンドを電力タップアクセサリに送信して、電源コンセント１をオフにする。デバイス６００は、制御アフォーダンス１０２０Ｂの表示を更新して、電源コンセントが現在オフ状態であることを示す。デバイス６００は、電源コンセント１をオンにするための制御アフォーダンス１０２０Ｂの後続のタップを検出することができる。制御アフォーダンス１０２０Ｃ～０２０Ｇは、対応する電源コンセントのそれぞれがオン状態のままであり、対応する制御アフォーダンスをタップすると、対応する電源コンセントがオフになることを示す。
電源タップアクセサリグループは、設定セクション１０１８Ｅを介して、電源コンセントの除去、電源コンセントの追加、又はグループの分割に再構成できる。図１０Ｋ～１０Ｏは、電力タップアクセサリグループから電源コンセントを除去するプロセスを示す。図１０Ｊでは、デバイス６００は、設定ショートカットアフォーダンス１０１２の選択に対応する入力（例えば、タップ）１０５０Ｈを検出する。図１０Ｋでは、入力１０５０Ｈを検出したことに応答して、デバイス６００は、電力タップ設定セクション１０１８Ｅを表示する。電力タップ設定セクション１０１８Ｅは、電源コンセントアクセサリインタフェース１０１０Ｅに示すように、電源コンセントアクセサリの状態に対応するグラフィカル表現１０１０Ｅ１及び状態１０１０Ｅ２を含む。電源コンセント設定セクションは、電源コンセントを同じタイプの他のアクセサリとグループ化するための「他のアクセサリとグループ化」アフォーダンス１０１４Ａと、（例えば、電源タップから構成要素を除去又は電源タップに追加することによって）電源タップアクセサリを再構成するためのアクセサリアフォーダンス１０１４Ｂとを含む。アクセサリアフォーダンス１０１４Ｂは、現在グループ内に６つの電源コンセント構成要素が存在することを示す。
図１０Ｋでは、デバイス６００は、アクセサリアフォーダンス１０１４Ｂの選択に対応する入力（例えば、タップ）１０５０Ｉを検出する。図１０Ｌでは、入力１０５０Ｉを検出したことに応答して、デバイス６００はアクセサリインタフェース１０６０を表示する。アクセサリインタフェース１０６０は、電力タップアクセサリグループ内の各電源コンセント構成要素に対応するアクセサリアフォーダンスの６つのセット１０１８Ａ～１０１８Ｆを含む。アクセサリインタフェース１０６０は、電力タップから除去された電源コンセントを追加したり、電力タップから電源コンセントを除去したりするための「追加又は除去」アフォーダンス１０２０と、グループ内の構成要素ごとに個別のアクセサリアフォーダンス（例えば、６つの電源コンセントそれぞれの電源コンセントアクセサリアフォーダンス）を作成することでグループを解体するためのグループ解体アフォーダンス１０２２を含む。
図１０Ｌでは、デバイス６００は、「追加又は除去」アフォーダンス１０２０の選択に対応する入力１０５０Ｊを検出する。図１０Ｍでは、入力１０５０Ｊを検出したことに応答して、デバイス６００は、追加又は除去インタフェース１０６０の表示を更新して、各電源コンセントアクセサリアフォーダンス１０１８Ａ～１０１８Ｆの選択又は選択解除を有効化する。デバイス６００は、電源コンセントアクセサリアフォーダンス１０１８Ｃの選択に対応する入力（例えば、タップ）１０５０Ｋを検出して、電源コンセント３を電力タップグループから除去する。図１０Ｎでは、入力１０５０Ｋを検出したことに応答して、デバイス６００は、選択された電源コンセントアクセサリアフォーダンス１０１８Ｃの隣にチェックマークを表示する。図１０Ｎでは、デバイス６００は、終了ボタン１０３２の選択に対応する入力（例えば、タップ）１０５０Ｌを検出する。入力１０５０Ｌを検出した後、デバイス６００は、電力タップアクセサリグループから電源コンセント３を除去する。
図１０Ｏでは、入力１０５０Ｌを検出したことに応答して、デバイス６００は、電源コンセント１０２０Ｂ、１０２０Ｃ、１０２０Ｅ、１０２０Ｆ、及び１０２０Ｇに対応する５つの制御アフォーダンスのみを有する、電力タップアクセサリインタフェース１０１０Ｅを表示する。対応する電源コンセント３が除去されているため、制御アフォーダンス１０２０Ｄは表示されない。電力タップアクセサリグループから電源コンセントを追加又は除去しても、まだグループにある電源コンセント（例えば、電源コンセント１～２及び４～６）の状態、又はグループから除去された電源コンセント（例えば、電源コンセント３）の状態は変わらない。したがって、図１０Ｊに示すように、電源コンセント１はオフ状態に留まり、電源コンセント３はオン状態に留まる。これは、対応する電源コンセントが、電力タップアクセサリグループからコンセント３を除去する前にあった状態と同じである。グラフィカル表現１０１０Ｅ１は変更されないが、現在の状態１０１０Ｅ２が更新され、電力タップアクセサリグループ内で４つの電源コンセントがオンになっていることを示す。図１０Ｏでは、デバイス６００は、×ボタン１０３０の選択に対応する入力１０５０Ｍを検出する。
電源コンセント３が電力タップグループから除去されると、デバイス６００は、電源コンセント３を、それ自体の対応する電源コンセント３アクセサリアフォーダンス１００４Ｊとともに表示する。図１０Ｐでは、入力１０５０Ｍを検出したことに応答して、デバイス６００は、ホームインタフェース６０２に追加された新しい電源コンセント３アクセサリアフォーダンス１００４Ｊを表示する。電源コンセント３アクセサリアフォーダンス１００４Ｊは、稲妻マークによって示されるように電源コンセントがオン状態にあることを示すグラフィカル表現１００４Ｊ１と、電源コンセントがオン状態であることを示す現在の状態１００４Ｊ２とを含む。電力タップアクセサリアフォーダンス６０４Ｅは、ホームインタフェース６０２内で変化しない。
図１０Ｐでは、デバイス６００は、電源コンセント３アクセサリアフォーダンス１００４Ｊの長押し（又は深い押圧）に対応する入力１０５０Ｎを検出する。デバイス６００は、電源コンセント３が単一の機能を有する第１のタイプのアクセサリであると判定するので、アフォーダンス１００４Ｊで検出されたタップは、デバイス６００に電源コンセント３アクセサリインタフェース１０１０Ｊを表示させる代わりに、デバイス６００に電源コンセント３をオン／オフにするコマンドを送信させる。図１０Ｑでは、入力１０５０Ｎを検出したことに応答して、デバイス６００は、電源コンセント３アクセサリインタフェース１０１０Ｊを表示する。電源コンセント３アクセサリインタフェース１０１０Ｊは、グラフィカル表現１０１０Ｊ１と、電源コンセント３がオン状態であることを示す現在の状態１０１０Ｊ２とを含む。電源コンセント３アクセサリインタフェース１０１０Ｊは、電源コンセント３をオン／オフにするための単一の制御アフォーダンス１００８を含む。
図１０Ｑでは、デバイス６００は、設定ショートカットアフォーダンス１０１２の選択に対応する入力（例えば、タップ）１０５０Ｏを検出する。図１０Ｒでは、入力１０５０Ｏを検出したことに応答して、デバイス６００は、電源コンセント３アクセサリアフォーダンス１０１０Ｊ内に電源コンセント３設定セクション１０１８Ｊを表示する。設定セクション１０１８Ｊは、電源コンセント３を元々グループ化されていた電力タップアクセサリに再グループ化するための再グループ化アフォーダンス１０１４Ｃを含む。設定セクション１０１８Ｊは、ホームインタフェース６０２からアクセサリを除去し、それによりデバイス６００との関連付けを解除するためのアクセサリ除去アフォーダンス１０１６も含む。
図１０Ｒ～図１０Ｔは、電力タップの電源コンセントなどのアクセサリの構成要素が除去されたとき、通知１０６２が、ユーザに続行の確認を促すことを示す。ユーザが構成要素の除去に進むと、ホームインタフェース６０２内のアクセサリアフォーダンスとともにアクセサリも除去される。図１０Ｒでは、デバイス６００は、アクセサリ除去アフォーダンス１０１６の選択に対応する入力（例えば、タップ）１０５０Ｐを検出する。図１０Ｓでは、入力１０５０Ｐを検出したことに応答して、デバイス６００は、電源コンセント３の除去が電力タップ及び他の５つの電源コンセント構成要素がデバイス６００との関連付けを解除することを示す通知を表示する。電源コンセント３は電力タップの物理的部分であるため、電源コンセント３を除去すると、電源コンセント３が含まれている電力タップアクセサリ全体が除去される。図１０Ｓでは、装置６００は、電源コンセント３の除去に対応する入力１０５０Ｑを検出する。
図１０Ｔでは、電源コンセント３を除去した後（かつそれに応答して）、デバイス６００は、ホームインタフェース６０２の表示を更新する。電力タップ及び電源コンセントアクセサリがもはやデバイス６００に関連付けられていないので、電源コンセント３アクセサリアフォーダンス１００４Ｊ及び電力タップアクセサリアフォーダンス６０４Ｅは、ホームインタフェース６０２から除去されている。
図１０Ｕ～１０Ｘは、電源コンセント３アクセサリインタフェース１０１０Ｊの電源コンセント３設定セクション１０１８Ｊから選択された再グループ化アフォーダンス１０１４Ｃを介して、電源コンセント３を、電力タップと再グループ化することを示す。図１０Ｕでは、デバイス６００は、電源コンセント３アクセサリアフォーダンス１００４Ｊが除去される前に、電力タップアクセサリアフォーダンス６０４Ｅ及び電源コンセント３アクセサリアフォーダンス１００４Ｊを含むホームインタフェース６０２を表示する。デバイス６００は、電源コンセント３アクセサリアフォーダンス１００４Ｊの長押し（又は深い押圧）に対応する入力１０５０Ｒを検出する。図１０Ｖでは、入力１０５０Ｒを検出したことに応答して、デバイス６００は、図１０Ｑに関して上述したように、電源コンセント３アクセサリインタフェース１０１０Ｊを表示する。デバイス６００は、設定ショートカットアフォーダンス１０１２の選択に対応する入力（例えば、タップ）１０５０Ｓを検出する。
図１０Ｗでは、入力１０５０Ｓを検出したことに応答して、デバイス６００は、図１０Ｒに関して上述したように、電源コンセント３設定セクション１０１８Ｊを表示する。デバイス６００は、電源コンセント３が元々グループ化されていた電力タップアクセサリに電源コンセント３を再結合する、再グループ化アフォーダンス１０１４Ｃの選択に対応する入力（例えば、タップ）１０５０Ｔを検出する。
図１０Ｘでは、入力１０５０Ｔの検出に続いて（例えば、それに応答して）、デバイス６００は、電源コンセント３が電力アクセサリグループに再追加されたことを示す電源ストリップアクセサリインタフェース１０１０Ｅを表示する。電力タップアクセサリインタフェース１０１０Ｅは、電力タップアクセサリグループに再追加されたばかりの電源コンセント３を含む６つの電源コンセントのそれぞれに対応する６つの制御アフォーダンスを表示する。６つの制御アフォーダンスのそれぞれは、対応する電源コンセントが、電源コンセント３がグループに再追加される前と同じ状態に留まることを示す。例えば、電源コンセント１は、以前はオフ状態にあり、オフ状態に留まる。同様に、電源コンセント３は、グループから除去される前はオン状態であり、グループに再追加された後もオン状態に留まる。図１０Ｘでは、デバイス６００は、設定ショートカットアフォーダンス１０１２の選択に対応する入力（例えば、タップ）を検出する。いくつかの実施形態では、電源コンセント３が電力タップと再結合されると、電源コンセント３アクセサリアフォーダンス１００４Ｊはホームインタフェース６０２に表示されなくなる。
図１０Ｙ～図１０ＡＣは、電源コンセント３をリビングルームの電力タップのコンセントと結合することを示す。その結果、電源コンセントグループアクセサリアフォーダンス１００４Ｌがホームインタフェース６０２に生成され、電源コンセント３アクセサリアフォーダンス１００４Ｊ及びリビングの電力タップアクセサリアフォーダンス１００４Ｋはもはや表示されなくなる。図１０Ｙでは、電源コンセント３が電力タップと再結合される前に、デバイス６００は、電源コンセント３アクセサリインタフェース１０１０Ｊを表示する。デバイス６００は、「他のアクセサリとグループ化」アフォーダンス１０１４Ａの選択に対応する入力（例えば、タップ）１０５０Ｕを検出して、他のコンセント及び電力タップアクセサリを含むカスタムアクセサリグループに電源コンセント３を追加する。
図１０Ｚでは、入力１０５０Ｕを検出したことに応答して、デバイス６００は、新しいグループインタフェース１０６４を表示する。デバイス６００は、新しいグループインタフェース１０６４内に新しいグループを形成するように選択することができる、家庭内の電源コンセント及び電力タップアクセサリに対応する電源コンセント及び電力タップアフォーダンス１０３４Ａ～１０３４Ｄを表示する。例えば、寝室電源コンセント３及び電力タップアクセサリアフォーダンス１０３４Ａ～１０３４Ｂは、寝室の下に表示される。玄関電源コンセントアクセサリアフォーダンス１０３４Ｃは、玄関の下に表示される。リビングルーム電力タップアクセサリアフォーダンス１０３４Ｄは、リビングルームの下に表示される。図１０Ｚでは、デバイス６００は、電源コンセント３アクセサリアフォーダンス１０３４Ｃ及びリビングルーム電力タップアクセサリアフォーダンス１０３４Ｄの選択に対応する入力（例えば、タップ）１０５０Ｖ～１０５０Ｗを検出して、グループ化するアクセサリを識別する。図１０ＡＡでは、入力１０５０Ｖ～１０５０Ｗを検出したことに応答して、デバイス６００は、選択されたアクセサリ電源コンセント３アクセサリアフォーダンス１０３４Ｃ及び電力タップアクセサリアフォーダンス１０３４Ｄの隣にチェックマークを表示する。デバイス６００は、終了ボタン１０３２の選択に対応する入力（例えば、タップ）１０５０Ｘを検出する。いくつかの実施形態では、ユーザは、異なるタイプの様々なアクセサリ（例えば、サーモスタット、照明、及び電力タップ）をグループ化して、イベント又は音声コマンド（例えば、誰かが家にいるとき、グループ内のアクセサリをオンにする）によってトリガされる、グループへのショートカットアクセス（例えば、音声コマンドによってトリガされるタスクのグループへのショートカット）を生成することができる。
図１０ＡＢでは、入力１０５０Ｘを検出したことに応答して、デバイス６００は、現在新しい電源コンセントアクセサリグループにあるリビングルーム電力タップ電源コンセント及び電源コンセント３の制御アフォーダンス１０４０Ａ～１０４０Ｄを含む新しい電源コンセントグループアクセサリインタフェース１０１０Ｌを表示する。電源コンセントグループアクセサリインタフェース１０１０Ｌは、グループが電源コンセントアクセサリを含むことを示すグラフィカル表現１０１０Ｌ１と、アクセサリグループ内にオン状態にある電源コンセントが１つあることを示す現在の状態１０１０Ｌ２とを含む。制御アフォーダンス１０４０Ａは、グループ内の全ての電源コンセントアクセサリをオンにする。制御アフォーダンス１０４０Ｂ及び１０４０Ｃは、リビングルーム電力タップに関連付けられた電源コンセント１及び電源コンセント２のオン／オフ状態の間で切り替える制御に対応する。制御アフォーダンス１０４０Ｄは、電源コンセント３のオン／オフ状態の間で切り替える制御に対応する。デバイス６００は、「×」ボタン１０３０の選択に対応する入力（例えば、タップ）１０５０Ｙを検出する。
図１０ＡＣでは、入力１０５０Ｚを検出したことに応答して、デバイス６００は、新しい電源コンセントアクセサリグループに対応する新しい電源コンセントグループアクセサリアフォーダンス１００４Ｌを表示する。デバイス６００は、電源コンセント３アクセサリアフォーダンス１００４Ｊ及びリビングルーム電力タップアクセサリアフォーダンス１００４Ｋを除去し、それらを新しい電源コンセントグループアクセサリアフォーダンス１００４Ｌに置き換える。
図１１Ａ～１１Ｂは、いくつかの実施形態による、電子デバイスを使用して外部デバイスのグループを制御するための方法１１００を示すフロー図である。方法１１００は、表示デバイスを有するデバイス（例えば、１００、３００、５００、６００）において実施される。方法１１００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法１１００は、複数の構成要素を備えた制御可能外部デバイスを管理するための直感的方法を提供する。この方法は、複数の構成要素を備えた制御可能外部デバイスを管理するためのユーザの認識的負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。ユーザが同じデバイスインタフェースから複数の構成要素を備えた制御可能外部デバイスを管理できるようにすることで、グループの制御を１か所から管理できるため、ユーザの認識的負担が軽減される。したがって、ユーザは、各制御可能外部デバイス及び下位構成要素の構成を管理するために別個のアプリケーションを開く必要はなく、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ駆動のコンピューティングデバイスの場合、ユーザが制御可能外部デバイス及び構成要素を同じデバイスインタフェースから管理できるようにすることで、制御可能外部デバイスの構成要素を構成するために必要とされる入力の数が減るため、ユーザはデバイスの電力を効率的に節約し、バッテリの充電間隔を伸ばすことができる。
ブロック１１０２で、表示デバイス（例えば、タッチ感知ディスプレイデバイス）を備えたデバイス（例えば、６００）（例えば、スマートフォン、スマートホーム制御デバイス）は、第１の制御可能外部デバイスを制御するように構成されていない一方で、デバイスは、第１の制御可能外部デバイスを制御するように電子デバイスを構成するための要求に対応する１つ以上の入力（例えば、１０５０Ａ）の第１のセットを検出する。
ブロック１１０４で、１つ以上の入力の第１のセット（例えば、１０５０Ａ）を検出したことに応答して、デバイスは、電子デバイスを構成して第１の制御可能外部デバイスを制御するプロセスを開始し、このプロセスは、ブロック１１０６で、第１の制御可能外部デバイスに対応する情報を（例えば、アクセサリデバイスから、デバイスの特性を記憶するサーバから）受信することを含む。
ブロック１１０８で、第１の制御可能外部デバイスが、第１の制御可能外部デバイスの複数の下位構成要素（例えば、電源タップの電源コンセント、シーリングファンの照明）に関連付けられた複数の制御可能機能（例えば、電源タップの複数の電源コンセントをオン／オフにする、照明をオン／オフする、ファンをオン／オフにする）に関連付けられている（例えば、アクセサリは下位構成要素、例えば、複数の電源コンセントを備えた電源タップ、シーリング照明付きファンに関連付けられている）という受信した情報に基づく判定に従って、デバイス（例えば、６００）は、表示デバイス（例えば、６０３）に、第１の制御可能外部デバイス及び複数の下位構成要素を含むグループに対応する第１のアクセサリアフォーダンス（例えば、６０４Ｅ）（例えば、グループを表すタイル）を表示する。
ブロック１１１０で、第１の制御可能外部デバイスが複数の下位構成要素に関連付けられていない（例えば、任意の複数の下位構成要素に、アクセサリが下位構成要素を含まないか、又は１つの下位構成要素のみを含む）という受信した情報に基づく判定に従って、デバイスは、表示デバイスに、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンス（例えば、１００４Ｊ）（例えば、アクセサリのみを表すタイル）を表示する。グループ内の各構成要素に関する個々のアクセサリアフォーダンスの代わりに、制御可能外部デバイス及びその構成要素に関するグループ化されたアクセサリアフォーダンスを表示することで、より効率的なユーザインタフェースを提供され、ユーザの認識的負担が軽減される。グループ化されたアクセサリアフォーダンスを選択することで、アクセサリグループの全ての制御にアクセスするための単一のエントリポイントが提供される。これにより、制御可能外部デバイス及びその構成要素を構成するために必要とされる入力の数が減り、それによってバッテリの電力が節約される。
ブロック１１１２で、表示デバイス（例えば、６０３）に、第１のアクセサリアフォーダンス又は第２のアクセサリアフォーダンスを表示している間に、デバイス（例えば、６００）は、第２の入力（例えば、１０５０Ｂ、１０５０Ｄ）（例えば、所定の期間を超えて維持される接触）を検出する。
ブロック１１１４で、第２の入力（例えば、１０５０Ｄ）を検出したことに応答して、ブロック１１１６で、第２の入力が第１のアクセサリアフォーダンス（例えば、６０４Ｅ）（例えば、グループ化されたアクセサリタイル）の選択に対応するという判定に従って、デバイス（例えば、６００）は、表示デバイス（例えば、６０３）に、第１の制御可能外部デバイス及び複数の下位構成要素に対応する複数の制御アフォーダンス（例えば、１０２０Ａ～１０２０Ｇ）（例えば、アクセサリをオン／オフにする、照明の色の変更、温度の変更の制御）を含む第１のアクセサリインタフェース（例えば、１０１０Ｅ）（例えば、アクセサリの構成ページ（例えば、カード））と、制御再構成アフォーダンスであって、選択されると、第１のアクセサリインタフェースから複数の制御アフォーダンスのうちの少なくとも第１の制御アフォーダンス（例えば、例えば、１０２０Ｄ）を除去するプロセスを開始する、（例えば、下位構成要素をグループからグループ解除する）ための制御再構成アフォーダンス（例えば、１０２０）とを表示する。
いくつかの実施形態では、第１のアクセサリインタフェースは、グループ制御アフォーダンスであって、選択されると、第１の制御可能外部デバイスに、複数の下位構成要素のうちの下位構成要素の状態に影響を及ぼす（例えば、複数の下位構成要素のそれぞれ（例えば、第１の制御可能外部デバイスの下位構成要素の全て）の状態に影響を及ぼす／変更する）コマンドを送信する、グループ制御アフォーダンス（例えば、１０２０Ａ）を含む。いくつかの実施形態では、第１のアクセサリインタフェース（例えば、１００Ｅ）は、アクセサリ除去アフォーダンス（例えば、１０１６）を含む。いくつかの実施形態では、第１のアクセサリインタフェースの複数の制御アフォーダンスは、複数の下位構成要素の第１の下位構成要素（例えば、マルチ電源コンセント電力タップの第１の電源コンセント）に関連付けられた第１の制御アフォーダンス（例えば、１０２０Ｂ）と、複数の下位構成要素の第２の下位構成要素（例えば、マルチ電源コンセント電力タップの第２の電源コンセント）に関連付けられた第２の制御アフォーダンス（例えば、１０２０Ｄ）とを含む。いくつかの実施形態では、複数の制御アフォーダンス（例えば、１０２０Ａ～１０２０Ｇ）は、第１のタイプの下位構成要素（例えば、照明下位構成要素、電源コンセント下位構成要素、ファン下位構成要素）及び第２のタイプの下位構成要素に対応する１つ以上の制御アフォーダンスに対応する１つ以上の制御アフォーダンスとを含む。
ブロック１１１８で、第２の入力（例えば、１０５０Ｂ）が第２のアクセサリアフォーダンス（例えば、６０４Ｆ）の選択に対応するという判定に従って、デバイス（例えば、６００）は、表示デバイス（例えば、６０３）に、制御再構成アフォーダンス（例えば、１０２０）を表示することなく、第１の制御可能外部デバイスの制御（例えば、１００８）を含む、第２のアクセサリインタフェース（例えば、１０１０Ｆ）（例えば、アクセサリの構成ページ（例えば、カード））を表示する。
いくつかの実施形態では、デバイス（例えば、６００）は、第１の制御アフォーダンス（例えば、１０２０Ａ）の選択に対応する第３の入力（例えば、タップジェスチャ）を検出する。第３の入力を検出したことに応答して、第１の制御可能外部デバイスに、複数の下位構成要素の下位構成要素の状態に影響を及ぼす（例えば、電力タップの全ての電源コンセントをオン／オフにする）コマンドを、送信すること。単一の制御アフォーダンス（例えば、１０２０Ａ）を用いてアクセサリグループ（例えば、電力タップ及び電源コンセント）を制御することで、ユーザの認識的負担を軽減するより効率的なユーザインタフェースが提供される。例えば、電力タップは、６つの電源コンセントを含む。ユーザは、各電源コンセントをオン／オフの間で切り替えるのではなく、単一の制御アフォーダンスをタップして、グループ内の全ての電源コンセントを切り替えることができる。これは、電力タップの制御を単純化するだけでなく、入力の数も減らすので、電子デバイスのバッテリ電力を節約するのに役立つ。
いくつかの実施形態では、第１のアクセサリインタフェース（例えば、１０１０Ｅ）を表示している間に、デバイス（例えば、６００）は、第１の制御アフォーダンス（例えば、１０２０Ｂ）に対応する第４の入力（例えば、１０５０Ｇ）（例えば、タップジェスチャ）を検出する。第４の入力を検出したことに応答して、デバイスは、第１の制御可能外部デバイスに、第２の下位構成要素の状態に影響を及ぼすコマンドを送信することなく（例えば、電力タップの第２の電源コンセントは影響を受けない）、第１の制御可能外部デバイスに、第１の下位構成要素の状態に影響を及ぼす（例えば、第１の電源コンセントの状態をオフ及びオンの間で切り替える）コマンドを送信する。グループ化されたアクセサリの各構成要素の構成をユーザが管理することができる集約アクセサリインタフェース（例えば、１０１０Ｅ）を表示することで、ユーザの認識的負担を軽減するより効率的なユーザインタフェースが提供される。ユーザは、グループ内の別の構成要素の状態に影響を及ぼすことなく、特定の構成要素を制御することができる。したがって、グループの制御が１つのユーザインタフェースからアクセス可能であるため、アクセサリグループの管理を単純化する。これは、アクセサリグループ内の構成要素の管理を単純化するだけでなく、入力の数も減らすので、電子デバイスのバッテリ電力を節約するのに役立つ。
いくつかの実施形態では、デバイスは、アクセサリ除去アフォーダンス（例えば、１０１６）（例えば、もはや電子デバイスによって制御されないようにアクセサリを除去する）に対応する第５の入力（例えば、１０５０Ｐ）を検出する。アクセサリ除去アフォーダンスに対応する第５の入力を検出したことに応答して、デバイス（例えば、６００）は、電子デバイス（例えば、６００）が第１の制御可能外部デバイスをもはや制御しないように構成する、以下のアラート基準を含むプロセスを開始する。アラート基準のセットが満たされているという判定に従い、アラート基準は、第１の制御可能外部デバイスが、電子デバイスが現在制御するように構成されている、少なくとも１つの他の下位構成要素デバイスを含む複合外部デバイスの下位構成要素デバイスである場合に満たされる（例えば、削除されるアクセサリが制御可能なアクセサリの一部である下位構成要素（例えば、電力タップの一部である電源コンセントの削除）である場合にのみ通知を表示する）基準を含むこと、アラート基準のセットが満たされているという判定に従って、第１の制御可能外部デバイスをもはや制御しないように電子デバイスを構成するプロセスを完了することはまた、電子デバイスを、少なくとも１つの他の下位構成要素デバイスをもはや制御しないように構成することであるという表示（例えば、１０６２）（例えば、電源コンセントを除去すると、電力タップ全体が電子デバイスによる制御から除去することであるという通知）を行うこと。アラート基準のセットが満たされないという判定に従って（例えば、除去されるアクセサリは、照明又はサーモスタットなどのスタンドアロンアクセサリである）、デバイスは、第１の制御可能外部デバイスをもはや制御しないように電子デバイスを構成するプロセスを完了することはまた、電子デバイスを、少なくとも１つの他の下位構成要素デバイスをもはや制御しないように構成することであるという表示を行うことを取り止める（例えば、通知を表示することなくアクセサリを除去する）。アクセサリグループの構成要素を除去するとアクセサリ全体が除去される（例えば、電源コンセントを除去すると電力タップが除去される）ことをユーザに警告する通知を表示することで、より効率的なユーザエクスペリエンスが提供され、ユーザの認識的負担が軽減される。多くの場合、ユーザは、グループの構成要素を除去することによってアクセサリ全体が除去されることを認識していない。したがって、構成要素を除去する前にユーザに確認を要求する通知は、意図せずに除去したアクセサリを再追加するためのユーザの時間を節約する。
いくつかの実施形態では、第１のアクセサリインタフェース（例えば、図６Ｊの６１０Ａ、図１０Ｉの１０１０Ｅ）（例えば、下位構成要素に関連付けられた複数の制御アフォーダンスを含むアクセサリのアクセサリユーザインタフェース又はカード）を表示している間、デバイス（例えば、６００）は、グループ解除する特定の下位構成要素（例えば１０１８Ｃ）を選択する、１つ以上の入力の第２のセット（例えば、図６Ｊの６５０Ｇ、図１０Ｋ～図１０Ｎの１０５０Ｉ～１０５０Ｌ）（例えば、いくつかの例では、再構成アフォーダンスの選択（例えば、図６Ｊの６１６、図１０Ｌの１０２０及び１０２２）と、制御再構成アフォーダンス（例えば、グループ化されたアクセサリアフォーダンス、及びアフォーダンスの追加又は削除）に対応する入力（例えば図６Ｊの６５０Ｇ、図１０Ｌの１０５０Ｊ）を含む「終了」ボタン（例えば１０３２）のクリック、とを検出する。１つ以上の入力の第２のセットの検出に応答して、デバイスは、第１のアクセサリインタフェース（例えば、６１０Ａ）の表示を停止し、第１のアクセサリアフォーダンス（例えば、６０４Ａ）の表示を停止する（例えば、グループを解除する）。いくつかの実施形態では、選択された下位構成要素（例えば、電源コンセント）（例えば、１０１８Ｃ）のみがグループ（例えば、電力タップ）から除去され、独自のタイル（例えば、１０５０Ｎ）を有することとなる一方、下位構成要素の残りのアクセサリ（例えば、電力タップ内の残りの電源コンセント）はグループ化されたタイル（例えば、６０４Ｅ）内のグループにとどまる。
デバイスは、第３のアクセサリアフォーダンスであって、選択されると、第１のタイプの下位構成要素（例えば、ファン、電源コンセント）に対応する１つ以上の制御アフォーダンス（例えば、１００８）を含む第３のアクセサリインタフェース（例えば、図１０Ｖ～１０Ｙの１０１０Ｊ、８１０Ｉ）を表示する、第３のアクセサリアフォーダンス（例えば、６０４Ｇ、１００４Ｊ）を表示する。いくつかの実施形態では、新しいグループ化されたタイル（例えば、１００４Ｌ）は、以前のグループから別れた下位構成要素、例えば、照明付きシーリングファンの照明を含む新しい照明のグループを含む、同じタイプの全ての下位構成要素を示す。いくつかの実施形態では、第３のアクセサリインタフェースは、再グループ化アフォーダンス（例えば、１０１４Ｃ）を含む。
デバイスは、第４のアクセサリアフォーダンスであって、選択されると、第２のタイプ（例えば、照明）の下位構成要素に対応する１つ以上の制御アフォーダンス（例えば、６０８Ｂ～６０８Ｃ）を含む第４のアクセサリインタフェース（例えば、６１０Ｈ）を表示する、第４のアクセサリアフォーダンス（例えば、６０４Ｈ）を表示する。いくつかの実施形態では、制御再構成アフォーダンス（例えば、６１６）を選択すると、第１のアクセサリインタフェース（例えば、６１０Ａ）で一緒にグループ化されていた制御アフォーダンス（例えば、６０８Ａ～６０８Ｃ）の全てを解除し、元のグループ内の下位構成要素のタイプに基づいて、制御アフォーダンスの新しいグループ（例えば、照明の新しいグループ：６１４Ａ、電源コンセントの新しいグループ：図１０Ｙ～図１０Ｚの１０１４Ａ及び１０６４）を作成するオプションが提供される。いくつかの実施形態では、新しいグループ化されたタイルは、以前に照明アクセサリを有するシーリングファンの一部であったファンを含む全てのファン構成要素を示す。（例えば、削除されたか別のグループと結合されたため）もはや適切ではなくなった、新しくグループ化されたアクセサリアフォーダンスとアクセサリアフォーダンスの表示を更新することにより、ユーザは、整然とした、より直観的なホームインタフェースを利用できる。ホームインタフェースを更新されたアクセサリアフォーダンスにより維持することは、より効率的なユーザインタフェースを提供し、ユーザが容易に目的とする特定のアクセサリアフォーダンスを見つけることを可能とする。これにより、ユーザの認識的負担が軽減され、ユーザがより少ない入力でアクセサリを管理できるようになるため、電子デバイスのバッテリ電力が維持される。
いくつかの実施形態では、第３のアクセサリインタフェース（例えば、図６Ｋの６０４Ｇ、図１０Ｖ～１０Ｙの１０１０Ｊ、８１０Ｉ）を表示している間に、デバイスは、再グループ化アフォーダンス（例えば、１０１４Ｃ）の選択に対応する入力（例えば、１０１４Ｔ）を含む１つ以上の入力（例えば、１０１４Ｔ）の第３のセットを検出する（例えば、分離された電源コンセントのカードは、電力タップのグループに再結合されるためのアフォーダンスを有している）。１つ以上の入力の第３のセットを検出したことに応答して、デバイスは、第３のアクセサリアフォーダンス（例えば、６０４Ｇ、１００４Ｊ）及び第４のアクセサリアフォーダンス（例えば、電力タップから分割された別の電源コンセント６０４Ｈ）の表示を停止し、第１のアクセサリアフォーダンスであって、選択されると、複数の制御アフォーダンス（例えば、図６Ｇの６０８Ａ～６０８Ｃ、図１０Ｘの１０２０Ａ～１０２０Ｇ）を含む第１のアクセサリインタフェース（例えば、６１０Ａ、１０１０Ｅ）を表示する、第１のアクセサリアフォーダンス（例えば、６０４Ａ、６０４Ｅ）を再表示する。いくつかの実施形態では、再グループ化アフォーダンス（例えば、１０１４Ａ）を選択することは、制御再構成アフォーダンス（例えば、６１６）を介してグループ解除された制御アフォーダンスのグループ（例えば、図６Ｇの６０８Ａ～６０８Ｃ、図１０Ｘの１０２０Ａ～１０２０Ｇ）を再構成するオプションを提供する。グループ化されたアクセサリを分割し、新しいアクセサリグループを形成するためのインタフェースのオプションを提供することにより、ユーザは、より直感的な方法でアクセサリを管理する柔軟性を与えられる。例えば、ユーザは、共有スペース内の全ての照明は１つのグループにまとめたいが、寝室の照明は個別としたい場合がある。したがって、再構成アフォーダンスにより、ユーザはアクセサリをより効率的に管理できる。更に、アクセサリをより直感的にグループ化することで、アクセサリを管理するために必要な入力の数が減り、電子デバイスのバッテリ電力を更に節約できる。
方法１１００（例えば、図１１Ａ～図１１Ｂ）に関して前述したプロセスの詳細はまた、前述した／後述する方法にも類似の方式で適用可能であることに留意されたい。例えば、方法９００は、任意選択的に、方法７００、９００、及び１３００に関して前述した様々な方法の特性の１つ以上を含む。例えば、方法１１００に記載の複数の構成要素を有する制御可能外部デバイスは、方法７００に記載のインタフェースを使用して構成及びアクセスすることができる、方法７００の制御可能外部デバイスであり得る。簡潔にするために、これらの詳細は、以下で繰り返さない。
図１２Ａ～１２Ｑは、いくつかの実施形態に係る、サーモスタットアクセサリの例示的ユーザインタフェースを示す。それらの図におけるユーザインタフェースは、図１３Ａ～図１３Ｂにおける処理を含む、以下で説明される処理を例示するために使用される。
図１２Ａでは、デバイス６００は、ホームインタフェース６０２内にサーモスタットに対応するサーモスタットアクセサリアフォーダンス６０４Ｃを表示する。サーモスタットアクセサリアフォーダンス６０４Ｃは、サーモスタットのグラフィカル表現６０４Ｃ１と、サーモスタットが暖房モードにあることを示す現在の状態６０４Ｃ２を示す文字とを含む。デバイス６００は、ホームインタフェース６０２におけるサーモスタットアクセサリアフォーダンス６０４Ｃの選択に対応する入力１２５０Ａ（例えば、タップ）を検出する。サーモスタットアクセサリアフォーダンス６０４Ｃの選択に対応する入力１２５０Ａを検出したことに応答して、デバイス６００は、図１２Ｂに示すように、サーモスタットアクセサリインタフェース１２１０Ｃを表示する。いくつかの実施形態では、サーモスタットアクセサリアフォーダンス６０４Ｃで検出された長押しによってもまた、サーモスタットアクセサリインタフェース１２１０Ｃがデバイス６００に表示される。
図１２Ｂは、サーモスタットの制御を示す。図１２Ｂは、サーモスタットのグラフィカル表現１２１０Ｃ１、及びサーモスタットの現在の状態１２１０Ｃ２を示す文字を含むサーモスタットアクセサリインタフェース１２１０Ｃを示す。サーモスタットアクセサリインタフェース１２１０Ｃのグラフィカル表現１２１０Ｃ１は、サーモスタットアクセサリアフォーダンス６０４Ｃのグラフィカル表現６０４Ｃ１と一致する。グラフィカル表現６０４Ｃ１及び１２１０Ｃ１は、温度制御アフォーダンス１２０８内に表示された温度の色と一致する色のサーモスタットのアイコンを含む。同様に、サーモスタットアクセサリインタフェース１２１０Ｃの現在の状態１２１０Ｃ２は、サーモスタットアクセサリアフォーダンス６０４Ｃの現在の状態６０４Ｃ２と一致する。図１２Ｂでは、デバイス６００は、冷房モード１２２０Ａの選択及び目標温度６８度の選択に対応する入力１２５０Ｂを検出する。入力１２５０Ｂの検出に応答して、デバイス６００は、グラフィカル表現１２１０Ｃ１を更新し、サーモスタットアイコンの色を紫色に変更し、状態１２１０Ｃ２に変更して、サーモスタットが「６８度まで冷房」であることを示す。したがって、サーモスタットアクセサリアフォーダンス６０４Ｃのグラフィカル表現６０４Ｃ１及びサーモスタットアクセサリアフォーダンス６０４の現在の状態６０４Ｃ２は、サーモスタットアクセサリインタフェース１２１０Ｃが閉じられているときに更新される。
サーモスタットアクセサリインタフェース１２１０Ｃは、外部の現在温度及び現在の室温などの追加の温度データをセクション１２０４に含む。サーモスタットアクセサリインタフェース１２１０Ｃはまた、サーモスタットを構成するためのサーモスタット設定セクション１２１８に対応する設定ショートカットアフォーダンス１２１６も含む。
サーモスタットアクセサリインタフェース１２１０Ｃは、部屋を指定温度又はある温度範囲内の温度に設定するための温度制御アフォーダンス１２０８を含む。温度制御アフォーダンス１２０８は、最低温度及び最高温度を含む温度範囲に対応するホイールからなり、その範囲内で温度を選択することができる。温度制御アフォーダンス１２０８は、温度範囲に対応する複数のセクションに分割される。温度制御アフォーダンス１２０８の各セクションは、最低温度の範囲における青色から最高温度の範囲の赤色までの様々に異なる色のグラデーションで表示される。例えば、図１２Ｂでは、温度制御アフォーダンス１２０８は、カ氏５０度～６０度の温度に対応する青のグラデーション内の第１のセクションを含む。温度制御アフォーダンス１２０８の第２のセクションは、６０度～７０度の温度に対応する青色～赤色のグラデーションで表示される。温度制御アフォーダンス１２０８の第３のセクションは、７０度～８０度の温度に対応する赤のグラデーションで表示される。温度制御アフォーダンス１２０８は、モードアフォーダンス１２２０に示すように、選択された動作モードによって温度又は温度範囲を選択するための１つ以上のスライダ（例えば、１２１４Ａ～１２１４Ｃ）を含む。いくつかの実施形態では、サーモスタットが冷房モード又は暖房モードにあるとき、単一のスライダ１２１４Ａが、目標室温を選択するために表示される。いくつかの実施形態では、サーモスタットが自動モード、在宅モード、留守モード、又はカスタムモードにあるとき、温度制御アフォーダンス１２０８は、目標温度範囲内の最低温度及び最高温度を選択するための複数のスライダを含み、この範囲外の場合、冷房又は暖房がトリガされる。温度制御アクセサリ１２０８は、現在の状態及び目標温度を示す文字１２１２を含む。
サーモスタットアクセサリインタフェース１２１０Ｃは、サーモスタットの動作モードのリストを含むモードアフォーダンス１２２０を含む。モードアフォーダンス１２２０は、オフモード、暖房モード、冷房モード、自動モード、在宅モード、及び留守モードを含む。カスタムモードもまた、図１２Ｃ～１２Ｇに関して論じたように作成することができ、モードアフォーダンス１２２０に追加することができる。サーモスタットがオフモードに設定されると、サーモスタットはオフになる。サーモスタットが暖房モードに設定されると、サーモスタットは、直ちに、目標温度に達するまでヒータをオンにする。同様に、サーモスタットが冷房モードに設定されると、サーモスタットは、直ちに、目標温度に達するまでエアコンをオンにする。サーモスタットが自動モードに設定されている場合、現在の室温が目標温度範囲外であることをサーモスタットが検出すると、サーモスタットはヒータ又はエアコンをオンにする。サーモスタットが在宅モード、留守モード、又はカスタムモードに設定されている場合、サーモスタットは、指定された期間中（例えば、誰かの在宅時間中、誰も在宅でない時間中、又はカスタム期間中）、目標温度又は目標範囲内の温度に部屋を冷房する又は暖房する。
図１２Ｂで、デバイス６００は、サーモスタットが６８度の目標温度で冷房モード１２２０Ａに設定されていることを表示している。デバイス６００は、温度制御アフォーダンス１２０８において、スライダ１２１４Ａを６８度の目標温度まで動かすことに対応する入力１２５０Ｂを検出する。入力１２５０Ｂを検出した後（かつそれに応答して）、デバイス６００は、エアコンを現在の温度が６８度の目標温度に達するまでオンにするコマンドをサーモスタットに送信する。入力１２５０Ｂの検出に続いて（かつそれに応答して）、デバイス６００は、グラフィック表現１２１０Ｃ１の色を更新して、温度制御アフォーダンス１２０８で選択された温度の色と一致させる。いくつかの実施形態では、デバイス６００は、デバイスが冷房モードにあるときはグラフィカル表現１２１０Ｃ１を青色に、デバイスが暖房モードにあるときは赤色に更新する。デバイス６００は、温度制御アフォーダンス１２０８の６０度～７０度のセクションに対応する青色～赤色のグラデーションにおける温度の位置に基づいて、サーモスタット状態１２１２内の表示された目標温度（例えば、６８度）の色を紫色に更新する。デバイス６００は、サーモスタット状態１２１２の動作モードを更新して、サーモスタットが「６８度まで冷房」であることを示す。
図１２Ｃ～図１２Ｇは、サーモスタットアクセサリインタフェース１２１０Ｃにおいてカスタム温度モードを作成することを示す。図１２Ｃでは、入力１２５０Ｃを検出したことに応答して、デバイス６００は、サーモスタット設定セクション１２１８を表示する。いくつかの実施形態では、デバイス６００は、サーモスタットアクセサリインタフェース１２１０Ｃまでスクロールダウンするスワイプジェスチャを検出して、図８Ａ及び図８Ｆに関して上記で論じた技術を使用してサーモスタット設定セクション１２１８を表示する。サーモスタット設定セクション１２１８は、サーモスタットを構成するための設定を含む。サーモスタット設定セクション１２１８は、いつモードをアクティブ化又は有効化するかをスケジュールするために、カスタムモード及びスケジュールアフォーダンス１２６０を作成するための、モードアフォーダンス１２４０を含む。
図１２Ｃにおいて、デバイス６００は、モードアフォーダンス１２４０の選択に対応する入力１２５０Ｄを検出する。デバイス６００は入力１２５０Ｄの検出に応答して、図１２Ｄにおいてモードインタフェース１２４２を表示する。モードインタフェース１２４２は、作成された複数のカスタムモード（例えば、在宅モード１２４２Ａ及び留守モード１２４Ｂ）及び新しいカスタムモードを追加するためのカスタムモードアフォーダンス１２４２Ｃを含む。
図１２Ｄでは、デバイス６００は、カスタムモードアフォーダンス１２４２Ｃの選択に対応する入力１２５０Ｅを検出する。図１２Ｅでは、入力１２５０Ｅを検出したことに応答して、デバイス６００は、新しいカスタムモードを作成するための新しいモードインタフェース１２４４を表示する。新しいモードインタフェース１２４４は、カスタムモード名（例えば、スリープ）を示すアフォーダンス１２０８及び目標温度範囲を設定するための温度制御アフォーダンス１２０８を含む。温度制御アフォーダンス１２０８は、目標温度範囲の最高温度及び最低温度を選択するための２つのスライダ１２１４Ｂ～１２１４Ｃを含む。いくつかの実施形態では、温度制御アフォーダンス１２０８は、５２度～７２度のデフォルトの範囲を表示する。デバイス６００は、温度制御アフォーダンス１２０８内の色のグラデーションにおける温度の位置に基づいて、青色において５２度、赤色において７２度の目標温度範囲を含むサーモスタット状態１２１２を表示する。
図１２Ｅ～１２Ｆでは、デバイス６００は、スライダ１２１４Ｃからの入力１２５０Ｆ１が７２度から６８度に移動されていることを検出する。入力１２５０Ｆを検出したことに応答して、デバイス６００は、サーモスタット状態１２１２の目標温度範囲の表示を、最高温度６８度を紫色で示すように更新する。図１２Ｅ～１２Ｆで、デバイス６００は、スライダ１２１４Ｂからの入力１２５０Ｆ２が５２度から６２度に移動されていることを検出する。入力１２５０Ｆを検出したことに応答して、デバイス６００は、サーモスタット状態１２１２の目標温度範囲の表示を、最低温度６２度を青色で示すように更新する。したがって、スリープモードに、６２度～６８度の目標温度範囲が設定される。現在の室温が６２度～６８度の目標温度範囲外にあるとき、サーモスタットは暖房又はエアコンをオンにする。デバイス６００は、終了ボタン１２３２の選択に対応する入力１２５０Ｇを検出する。図１２Ｇで、デバイス６００は入力１２５０Ｇの検出に応答して、カスタムスリープモードに対応するスリープモードアフォーダンス１２４２Ｄを、モードインタフェース１２４２のモードのリストに追加する。
図１２Ｈ～図１２Ｑは、カスタム温度モードが設定されるスケジュールを設定することを示す。ユーザは、時間範囲及びカスタム温度モードを選択し、これは選択された時間範囲において有効となる。図１２Ｇでは、デバイス６００は、戻るボタン１２３６の選択に対応する入力１２５０Ｈを検出する。図１２Ｈでは、入力１２５０Ｈを検出したことに応答して、デバイス６００は、サーモスタット設定セクション１２１８を表示する。デバイス６００は、スケジュールアフォーダンス１２６０の選択に対応する入力１２５０Ｉを検出する。図１２Ｉでは、入力１２５０Ｉを検出したことに応答して、デバイス６００は、シーン又は指定された時間をスケジューリングするためのスケジュールインタフェース１２６２を表示し、ここで選択された温度モードがサーモスタット上でアクティブ化又は有効化されることとなる。スケジュールインタフェース１２６２は、スケジュールが適用されるべき曜日を選択するためのカスタマイズアフォーダンス１２７０と、スケジュールを各曜日に適用する毎日のアフォーダンスとを含む。スケジュールインタフェース１２６２は、アフォーダンス１２６４Ａ～１２６４Ｂに対応するスケジュールされたシーンのリストを含む、スケジュールセクション１２６４を含む。スケジュールセクション１２６４は、サーモスタットが留守モードに設定される時間範囲午前９：００～午後４：００を指定するシーンアフォーダンス１２６４Ａと、サーモスタットが在宅モードに設定される時間範囲午後４：００～午後１１：００を指定するシーンアフォーダンス１２６４Ｂとを含む。留守モード及び在宅モードは、目標温度範囲に対応する。例えば、留守モードにはより広い目標温度範囲（例えば、５０度から８０度）を含めることができ、誰も家にいない午前９：００から午後４：００の間にサーモスタットがヒータ又はエアコンをオンにするのを防ぎ、エネルギを節約する。在宅モードには、より狭い目標温度範囲（例えば、６０度から７０度）を含め、これによってサーモスタットをトリガしてヒータ又はエアコンをオンにし、誰かが家にいる午後４：００～午後１１：００の間により快適な室温を維持することができる。シーンは、対応するアフォーダンスを選択することによって編集することができる。スケジュールセクション１２６４は、スケジュールに追加のシーンを追加するためのアフォーダンス１２６４Ｃを含む。
図１２Ｉで、デバイス６００は、カスタマイズアフォーダンス１２７０の選択に対応する入力１２５０Ｊを検出する。図１２Ｊでは、入力１２５０Ｊの検出に応答して、デバイス６００は、スケジュールインタフェース１２６２のスケジュールセクション１２６４の表示を更新して、各曜日、及びそれぞれの曜日についてスケジュールが有効化されているかどうかを示す状態に対応する、アフォーダンス１２６６Ａ～１２６６Ｇを表示する。シーン１２６４Ａ～１２６４Ｂは表示されない。図１２Ｊでは、デバイス６００は、スケジュールが、日曜日、金曜日、及び土曜日に対してのみ有効化されていることを表示する。スケジュールは、月曜日～木曜日には有効ではない。
図１２Ｊで、デバイス６００は、日曜日に対応するアフォーダンス１２６６Ａの選択に対応する入力１２５０Ｋを検出する。図１２Ｋでは、入力１２５０Ｋを検出したことに応答して、デバイス６００は、日曜日に対して有効化されたシーン１２６４Ａ～１２６４Ｂのスケジュールを含む日曜日のインタフェースと、新しいシーンを日曜日のスケジュールに追加するためのアフォーダンス１２６４Ｃとを表示する。
図１２Ｋでは、デバイス６００は、新しいシーンを追加するためのアフォーダンス１２６４Ｃの選択に対応する入力１２５０Ｌを検出する。図１２Ｌで、デバイス６００は、入力１２５０Ｌを検出したことに応答して、新しいシーンを作成するための「時間追加」インタフェース１２８４を表示する。「時間追加」インタフェース１２８４は、新しいシーンの開始及び終了時間を指定するアフォーダンス１２８６Ａ～１２８６Ｂと、動作モードを選択するためのモードアフォーダンス１２８８と、温度範囲を指定するための温度制御アフォーダンス１２０８とを含む。いくつかの実施形態では、デフォルトで、モードアフォーダンス１２８８で選択された動作モードは自動モードである。いくつかの実施形態では、温度制御アフォーダンスは、目標温度範囲の選択を有効化するスライダ１２１４Ｂ～１２１４Ｃを含む。
図１２Ｌ～図１２Ｏは、動作モードが有効に設定される時間を選択することを示す。図１２Ｌでは、デバイス６００は、アフォーダンス１２８６Ａの選択に対応する入力１２５０Ｍを検出する。図１２Ｍでは、入力１２５０Ｍを検出したことに応答して、デバイスは、シーンが有効化される時間の選択を可能とするためにドロップダウンメニューを表示する。図１２Ｍ～１２Ｎでは、デバイス６００は、シーンの開始時間として午後１１：００を選択する、ドロップダウンメニューでのスクロールダウンに対応する入力１２５０Ｎを検出する。同様に、デバイス６００は、シーンの終了時間を午前６：００に設定するアフォーダンス１２８６Ｂでの入力を検出する。
図１２Ｎでは、デバイス６００は、モードアフォーダンス１２８８の選択に対応する入力１２５０Ｏを検出する。入力１２５０Ｏに従って、デバイス６００は、サーモスタットの利用可能な動作モードをリスト表示するドロップダウンメニューを表示する。図１２Ｎ～図１２Ｏでは、デバイス６００は、スリープモードを選択するためのスクロールダウンに対応する入力１２５０Ｐを検出する。
図１２Ｐでは、入力１２５０Ｑを検出したことに応答して、デバイス６００は、温度制御アフォーダンス１２０８を更新して、スリープモードで指定された６２度から６８度の目標温度範囲を表示する。温度範囲はスリープモードによって設定され、調整できないため、温度制御アフォーダンス１２０８にはスライダ１２１４Ｂ～１２１４Ｃは含まれない。デバイス６００は、サーモスタット状態１２１２の目標温度範囲の表示を、対応する色において６２度から６８度に更新する。いくつかの実施形態では、異なる目標温度範囲を指定するために自動モードが選択される。デバイス６００は、シーンを日曜日のスケジュールに追加するための終了ボタン１２３２の選択１２５０Ｒを検出する。図１２Ｑに示すように、デバイス６００は、日曜日のスケジュールが有効化されたシーンをスケジュールセクション１２６４に表示する。デバイス６００は、アフォーダンス１２６４Ｃに対応して新たに追加されたシーンを含む、日曜日のスケジュールが有効化されたシーンに対応するアフォーダンス１２６４Ａ～１２６４Ｃをスケジュールセクション１２６４に表示する。いくつかの実施形態では、イベント（例えば、天気）を使用してショートカットをトリガすることができるように、スケジュール又は温度モードのショートカットを作成することができる。例えば、ショートカット（例えば、シーン）を作成し、天気が７５度を超えるとサーモスタットを冷房モードでオンとすることができる。
図１３Ａ～図１３Ｂは、いくつかの実施形態による、電子デバイスを使用してサーモスタットを制御するための方法１３００を示すフロー図である。方法１３００は、表示デバイス（例えば、６０３）を備えた第１のデバイス（例えば、１００、３００、５００、又は６００）において実施される。方法１３００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
以下に説明するように、方法１３００は、電子デバイス（例えば、６００）からサーモスタットデバイスの温度設定を管理する直感的な方法を提供する。この方法は、サーモスタットの設定とスケジュールを管理する際のユーザの認識的負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ駆動のコンピューティングデバイスの場合、ユーザがカスタムサーモスタットモードを迅速に選択できるようにすることで、ユーザはサーモスタットデバイスをより速くより効率的にセットアップでき、これにより、電力が節約され、電子デバイスのバッテリ充電間の時間が伸びる。
ブロック１３０２で、デバイス（例えば、６００）は、電子デバイスによって制御可能な外部サーモスタットデバイスの温度モード（例えば、１２４６）（例えば、カスタム温度設定）を作成するための制御（例えば、１２０８）（例えば、１つ以上の制御、例えば、温度を変更するためのダイアル）の第１のセットを含む温度モード作成ユーザインタフェース（例えば、１２３４）（例えば、サーモスタットダイアルを含むサーモスタットアプリ）を表示デバイス（例えば、６０３）に表示する。
ブロック１３０４で、デバイス（例えば、６００）は、温度モード作成ユーザインタフェース（例えば、１２３４）を表示デバイス（例えば、６０３）に表示している間に、（例えば、タップして温度範囲をダイアルを使用して選択する）１つ以上の入力の第１のセット（例えば、１２５０Ｆ１及び１２５０Ｆ２）を検出する。
ブロック１３０６における、１つ以上の入力の第１のセット（例えば、１２５０Ｆ１及び１２５０Ｆ２）に応答して、デバイス（例えば、６００）は、ブロック１３０８において温度範囲を選択（例えば、温度ダイアルで温度範囲を選択）（例えば、１２１２）する。温度範囲は、最低温度（最低周囲温度（例えば、検出されると外部サーモスタットデバイスに暖房要素を作動させる温度））と、及び最低温度範囲とは異なる、最高温度（例えば、最高周囲温度（例えば、検出されると外部サーモスタットデバイスに冷房要素を作動させる温度））とを含む。
任意選択で、ブロック１３１０において、デバイスは、選択された温度範囲（例えば、温度ダイアル）のグラフィカル表示（例えば、１２１２）を、温度モード作成ユーザインタフェース（例えば、１２０８）に、任意選択的に、ブロック１３１２において、選択された温度範囲の第１の部分が第１の所定の温度範囲内であることに従うことを含めて表示し、デバイスは、第１の所定の温度範囲に対応する第１の色でグラフィカル表示の第１の部分を表示する（例えば、グラフィカル表示の７０°～７５°の間である一部分をオレンジ色で表示する）。いくつかの実施形態では、ブロック１３１４で、選択された温度範囲の第１の部分が第２の所定の温度範囲内にあることに従って、デバイスは、第２の所定の温度範囲に対応する、第１の色とは異なる第２の色でグラフィカル表示の第１の部分を表示する（例えば、グラフィカル表示の６５°～６９°の間である一部分を黄色で表示する）。
いくつかの実施形態では、デバイスは、最低温度の数値表示（例えば、１２１２）を表示する。最低温度が第１の所定の温度範囲内であることに従って、デバイスは、最低温度の数値表示を第１の色で表示する（例えば、温度範囲内の最低温度を低温範囲の色に対応する色で表示する）。最低温度が第２の所定の温度範囲内であることに従って、デバイスは、最低温度の数値表示を第２の色で表示する（例えば、温度が、異なる色に関連付けられている第２の領域に移動した場合、最低温度の文字の色を更新された色に更新する）。いくつかの実施形態では、デバイスは、最高温度の数値表示（例えば、１２１２）を表示する。最高温度が第１の所定の温度範囲内であることに従って、デバイスは、最高温度の数値表示を第１の色で表示する（例えば、温度範囲内の最高温度を高温範囲の色に対応する色で表示する）。最高温度が第２の所定の温度範囲内であることに従って、デバイスは、最高温度の数値表示を第２の色で表示する（例えば、温度が、異なる色に関連付けられて第２の領域に移動した場合、最高温度の文字の色を更新された色に更新する）。温度制御アクセサリ内の温度範囲と一致する色で温度を表示することにより、サーモスタットの温度設定の視覚的フィードバックがユーザに提供される。これは、赤の数字がより高い温度に対応し、青の数字がより低い温度に対応することをユーザが迅速に認識可能とすることで、より効率的なユーザインタフェースの提供を助け、ユーザの認識的負担を軽減するのに役立つ。
ブロック１３１６で、デバイスは、温度範囲を第１の温度モード（例えば、１２４２Ｄ）（例えば、カスタム温度設定、シーン）と関連付ける。ブロック１３１８で、温度範囲を第１の温度モードと関連付けた後、デバイス（例えば、６００）は、表示デバイスに、外部サーモスタットデバイスのスケジュール化動作作成制御の第２のセット（例えば、１２８６Ａ～１２８６Ｂ、１２８８）を含む温度スケジューリングユーザインタフェース（例えば、１２６２）を表示する。温度範囲設定を保存することでユーザがカスタム温度モード又は動作モードを作成できるようにすることにより、より効率的なユーザインタフェースが提供される。特に、毎日のルーチンにおいては特定の温度設定が該当するため（例えば、誰も在宅でないときの温度範囲設定に対する、誰かが在宅のときの別の温度範囲設定）、保存した温度設定を選択可能とすることによって時間が節約できる。これは、温度設定を設定するために必要な入力数を減らすことで、特定の設定を記憶することによるユーザの認識的負担を減らし、電子デバイスのバッテリ電力を維持するのにも役立つ。
ブロック１３２０で、表示デバイス（例えば、６０３）に、温度スケジューリングユーザインタフェース（例えば、１２６２）を表示している間に、デバイス（例えば、６００）は、１つ以上の入力の第２のセット（例えば、１２５０Ｍ～１２５０Ｑ）を検出する。ブロック１３２２で１つ以上の入力の第２のセットを検出したことに応答して、任意選択的に、ブロック１３２４において、１つ以上の入力の第２のセットは、複数の利用可能な温度モード（例えば、１２８８）（例えば、記憶された温度モードの表示されたリスト）の中からの第１の温度モード（例えば、１２５０Ｑ）の選択に対応する入力を含み、ブロック１３２６で、デバイスは、第１のスケジュールされた動作をアクティブ化するための第１の基準（例えば、時間範囲）（例えば、１２８６Ａ～１２８６Ｂ）を選択する。ブロック１３２８で、デバイスは、第１の温度モードを第１のスケジュールされた動作（例えば、１２６４Ｃ）と関連付ける（例えば、第１の温度モードに関連付けられたアフォーダンスを選択する）。
なお、方法１３００に関して前述したプロセス（例えば、図１３Ａ～図１３Ｂ）の詳細はまた、前述した／後述する方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法１３００は、任意選択的に、方法７００、９００、及び１１００に関して前述した様々な方法の特性の１つ以上を含む。例えば、方法１３００のサーモスタットは、方法９００の方法を使用する第１の制御可能外部デバイスである。簡潔にするために、これらの詳細は、以下で繰り返さない。
図１４Ａ～１４Ｔは、いくつかの実施形態に係る、アクセサリデバイスを管理するためのアプリケーションの例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１５のプロセスを含む後述のプロセスを例示するために使用される。
図１４Ａは、ディスプレイ６０３を有するスマートフォンである電子デバイス６００を示す。ディスプレイ６０３は、電子デバイス６００がユーザのジェスチャ（例えば、タップ、スワイプ、ドラッグ）を検出することができるタッチ感知面を含む。いくつかの実施形態では、電子デバイス６００は、電子デバイス１００、３００、５００、又は６００であるか、それらの１つ以上の特徴を含む。
図１４Ａでは、電子デバイス６００は、アクセサリデバイスを構成するためのホームユーザインタフェース６０２を表示する。ホームユーザインタフェース６０２は、図６Ａに関して更に上述されている。いくつかの実施形態では、アクセサリデバイスは、制御可能外部デバイスと呼ばれることもある。ホームユーザインタフェース６０２は、それぞれのシーンプロファイルを表すシーンオブジェクト１４０２Ａ～１４０２Ｃを含む。いくつかの実施形態では、シーンプロファイルは、ある場所における１つ以上のアクセサリデバイスの指定された状態に関するデータを含む。いくつかの実施形態では、シーンプロファイルは「シーン」と呼ばれ得る。更に、ホームユーザインタフェース６０２は、アクセサリアフォーダンス６０４Ａ～６０４Ｆを含み、アクセサリアフォーダンスは、アクセサリデバイスを表すグラフィカルタイルである。例えば、アクセサリアフォーダンス６０４Ｄは、寝室のスピーカを表しており、そのスピーカを介してオーディオ出力を行うことができる。
図１４Ａでは、ユーザは、タップジェスチャを行なって、電子デバイス６００によって構成されるアクセサリ又はシーンプロファイルを追加するプロセスを開始する。その結果、電子デバイス６００は、アフォーダンス６４０（例えば、選択可能なユーザインタフェースオブジェクト）でタップジェスチャ１４００を検出する。
図１４Ｂでは、タップジェスチャ１４００を検出すると、電子デバイス６００は、ホームユーザインタフェース６０２を任意選択的に不鮮明にし、ホームユーザインタフェース６０２の上に重ねられたアクセサリボタン１４０４及びシーンボタン１４０６を表示する。ユーザは、タップジェスチャを行って、シーンプロファイルを追加するプロセスを開始する。その結果、電子デバイス６００は、シーンボタン１４０６でタップジェスチャ１４０８を検出する。いくつかの実施形態では、アクセサリボタン１４０４でタップジェスチャを検出することにより、アクセサリデバイスをホームユーザインタフェース６０２に追加するプロセスが開始される。
図１４Ｃでは、タップジェスチャ１４０８を検出すると、電子デバイス６００は、新しいシーンプロファイルを追加するための新しいシーンユーザインタフェース１４１０を表示する。新しいシーンユーザインタフェース１４１０は、シーンプロファイルを命名するための文字フィールド（例えば、「夕方」）を含む。ユーザは、タップジェスチャを行って、シーンプロファイル用に構成するアクセサリデバイスのセットにアクセサリデバイス（単数又は複数）を追加する。その結果、新しいシーンユーザインタフェース１４１０を表示している間に、電子デバイス６００は、アクセサリボタン１４１４でタップジェスチャ１４１２を検出する。
図１４Ｄでは、タップジェスチャ１４１２を検出すると、電子デバイス６００は、新しいシーンのユーザインタフェース１４１０の表示を、アクセサリ選択ユーザインタフェース１４１６の表示に置き換える。アクセサリ選択ユーザインタフェース１４１６は、シーンプロファイル用に構成することができるアクセサリデバイスを表すアクセサリアフォーダンス（例えば、６０４Ａ～６０４Ｆ）を含む。アクセサリアフォーダンスは、その選択状態（例えば、選択された、又は選択されていない）の視覚的な指示を含むように修正されている。ユーザは、シーンプロファイルに追加される寝室ファン照明及び玄関サーモスタットを選択する。その結果、電子デバイス６００は、アクセサリアフォーダンス６０４Ａでタップジェスチャ１４１８、及びアクセサリアフォーダンス６０４Ｃでタップジェスチャ１４２０を検出する。図１４Ｄでは、タップジェスチャ１４１８の検出前に、アクセサリアフォーダンス６０４Ａ及び６０４Ｃが、アクセサリアフォーダンスが選択されていないことを示す視覚的な指示とともに表示される。
図１４Ｅでは、タップジェスチャ１４１８及び１４２０を検出すると、電子デバイス６００は、アクセサリアフォーダンスが選択されたことを示す視覚的な指示とともに、アクセサリアフォーダンス（例えば、６０４Ａ、６０４Ｃ）を表示する。所望のアクセサリデバイスが選択された状態で、ユーザは、タップジェスチャを行って、アクセサリデバイスの選択を確認し、選択されたアクセサリデバイスを、シーンプロファイルのアクセサリデバイスのセットに追加する。その結果、電子デバイス６００は、終了ボタン１４２６でタップジェスチャ１４２４を検出する。
図１４Ｆでは、選択されたアクセサリデバイスをアクセサリデバイスのセットに追加するための入力（例えば、１４２４）を検出すると、電子デバイス６００は、シーンプロファイルのアクセサリデバイスのセットに寝室ファン照明及び玄関サーモスタットを追加する。具体的には、図１４Ｆに示すように、電子デバイス６００は、図１４Ｄで選択されたために、アクセサリアフォーダンス６０４Ａ及び６０４Ｃを表示することを含む新しいシーンユーザインタフェース１４１０の表示に戻る。アクセサリアフォーダンス６０４Ａ及び６０４Ｃは、シーンプロファイルがトリガされた（例えば、アクティブ化された）ときにそれぞれのアクセサリデバイスに対して行われるアクションを表すアクション状態（例えば、「オフにする」）を含むように変更されている。
いくつかの実施形態では、選択されたアクセサリデバイスをアクセサリデバイスのセットに追加するための入力（例えば、１４２４）を検出すると、電子デバイス６００は、選択されたアクセサリデバイス（例えば、６０４Ａ、６０４Ｃ）のうちの１つが特定のタイプのものであるかどうかを判定する。いくつかの実施形態では、アクセサリデバイスが（例えば、スピーカを介して）サウンドを出力することができる場合、アクセサリデバイスは特定のタイプのものである。いくつかの実施形態では、電子デバイス６００は、特定のタイプのアクセサリデバイスに関連付けられた特定の構成オプション（単数又は複数）（例えば、図１４Ｈの１４３６）を提供するかどうかを判定するために、この判定を実施する。
図１４Ｆでは、選択されたアクセサリデバイスのいずれも特定のタイプのものではないと判定されると、電子デバイス６００は、特定の構成オプション（単数又は複数）（例えば、図１４Ｈの１４３６）を提供しない。図１４Ｇ～図１４Ｈに関して以下に示すように、ユーザが特定のタイプのアクセサリデバイス（例えば、寝室スピーカ）を選択していれば、電子デバイス６００は、入力（例えば、１４２４）を検出したときに、図１４Ｆにおいて特定の構成オプションを提供し、選択されたアクセサリデバイスをアクセサリデバイスのセットに追加していたはずである。
ユーザは、１つ以上の入力に進み、特定のタイプのアクセサリデバイスをシーンプロファイルのアクセサリデバイスのセットに追加する。その結果、特定の構成オプションが図１４Ｈにおいて提供される。図１４Ｆに戻り、ユーザはタップジェスチャを行なって、シーンプロファイルのアクセサリデバイスのセットを編集する。図１４Ｆの新しいシーンユーザインタフェース１４１０を表示している間に、電子デバイス６００は、アクセサリボタン１４３０においてタップジェスチャ１４２８を検出する。
図１４Ｇでタップジェスチャ１４２８を検出すると、電子デバイス６００は、アクセサリ選択ユーザインタフェース１４１６の表示に戻る。アクセサリ選択ユーザインタフェース１４１６を表示している間に、電子デバイス６００は、アクセサリアフォーダンス６４０Ｄでタップジェスチャ１４３２を検出する。タップジェスチャ１４３２を検出すると、アクセサリアフォーダンスが選択されたことの視覚的な指示とともに、アクセサリアフォーダンス６４０Ｄが表示される。所望のアクセサリデバイスが選択された状態で、ユーザは、タップジェスチャを行って、アクセサリデバイスの選択を確認し、選択されたアクセサリデバイスを、シーンプロファイルのアクセサリデバイスのセットに追加する。その結果、電子デバイス６００は、終了ボタン１４２６でタップジェスチャ１４３４を検出する。
図１４Ｈでは、選択されたアクセサリデバイスをアクセサリデバイスのセットに追加するための入力（例えば、１４３４）を検出すると、電子デバイス６００は、シーンプロファイルのアクセサリデバイスのセットに寝室スピーカを追加する。具体的には、図１４Ｈに示すように、電子デバイス６００は、アクセサリアフォーダンス６０４Ａ及び６０４Ｃ、及び６０４Ｄを表示することを含む新しいシーンユーザインタフェース１４１０の表示に戻る。アクセサリアフォーダンス６０４Ｄは、シーンプロファイルがトリガされた（例えば、アクティブ化された）ときにそれぞれのアクセサリデバイスに対して行われるアクションを表すアクション状態（「オン」）を含むように変更されている。
上述したように、いくつかの実施形態では、選択されたアクセサリデバイスをアクセサリデバイスのセットに追加するための入力（例えば、１４２４、１４３４）を検出すると、電子デバイス６００は、選択されたアクセサリデバイス（例えば、６０４Ａ、６０４Ｃ、６０４Ｄ）のうちの１つが特定のタイプ（例えば、サウンドを出力することができるアクセサリデバイス）のものであるかどうかを判定する。図１４Ｈでは、選択されたアクセサリデバイス（例えば、６０４Ｄ）のうちの１つが特定のタイプのものであると判定されると、電子デバイス６００は、オーディオオプションボタン１４３６を表示し、オーディオオプションボタンであって、選択されると、特定のタイプのアクセサリデバイスの能力に関連付けられたオプションを構成するプロセスを開始する、オーディオオプションボタン１４３６を備えた特定の構成オプション（単数又は複数）を提供する。
図１４Ｈでは、ユーザは、タップジェスチャを行って、寝室のスピーカのオーディオオプションを構成するプロセスを開始する。その結果、電子デバイス６００は、オーディオオプションボタン１４３６でタップジェスチャ１４３８を検出する。図１４Ｉ～図１４Ｎは、以下で論じられるように、特定のタイプのアクセサリデバイスに関連付けられた様々な構成オプションを示す。
図１４Ｉでは、タップジェスチャ１４３８を検出すると、電子デバイス６００は、オーディオユーザインタフェース１４４０を表示する。オーディオユーザインタフェース１４４０は、再生オプション１４４２Ａ～１４４２Ｄを含む。再生オプション１４４２Ａは、図１４Ｈのオーディオオプションボタン１４３６内の視覚的な指示（例えば、「オーディオ再生」）によって示されるデフォルトのオプションである。様々に異なる再生オプションは、特定のタイプのアクセサリデバイス（例えば、寝室スピーカ）のオーディオ再生の状態を判定する。例えば、再生オプション１４４２Ａを選択することにより、特定のタイプのアクセサリデバイスで再生されるオーディオアイテム（例えば、歌、オーディオブック、ポッドキャスト、サウンドスケープ）を選択する能力がユーザに提供される。具体的には、シーンプロファイルの再生オプション１４４２Ａを選択することにより、シーンプロファイルがトリガされた（例えば、アクティブ化された）ときに、選択されたオーディオアイテムを再生するように、特定のタイプのアクセサリデバイス（例えば、寝室スピーカ）が構成される。他の再生オプションは、図１４Ｐ～１４Ｒに関連して以下で更に説明される。
特定のタイプのアクセサリデバイスで再生されるオーディオアイテムを選択するために、ユーザは、オーディオ選択ボタン１４４４でタップジェスチャを行う。その結果、オーディオユーザインタフェース１４４０を表示している間に、電子デバイス６００は、オーディオ選択ボタン１４４４でタップジェスチャ１４４６を検出する。
図１４Ｊでは、タップジェスチャ１４４６を検出すると、電子デバイス６００は、オーディオソースユーザインタフェース１４４８を表示する。オーディオソースユーザインタフェース１４４８は、ユーザによって選択される様々に異なるカテゴリのオーディオアイテムを提供するソースオプション１４５０Ａ～１４５０Ｄを含む。具体的には、ソースオプション（例えば、１４５０Ａ～１４５０Ｄ）の選択を検出すると、選択されたソースオプションのカテゴリに属するオーディオアイテムを選択するプロセスの開始がトリガされる。例えば、ソースオプション１４５０Ｂの選択を検出することにより、音楽ユーザインタフェース（例えば、１４５１）が表示され、ユーザはそこからナビゲートして音楽オーディオファイルを選択することができる。別の例として、ソースオプション１４５０Ｄの選択を検出することにより、サウンドスケープユーザインタフェース（例えば、図１６Ｆの１６３０）が表示され、ユーザはそこからサウンドスケープオーディオファイルを選択することができるる。サウンドスケープは、図１８Ａ～１８Ｇに関して以下で更に説明される。いくつかの実施形態では、タップジェスチャ１４４６を検出すると、電子デバイス６００は、オーディオソースユーザインタフェース１４４８を表示せず、代わりに、音楽ユーザインタフェース（例えば、１４５１）の表示に直ちに進む。
ユーザは、タップジェスチャを行ってソースオプション１４５０Ｂを選択する。その結果、図１４Ｊのオーディオソースユーザインタフェース１４４８を表示している間に、電子デバイス６００は、ソースオプション１４５０Ｂでタップジェスチャ１４５２を検出する。
図１４Ｋでは、タップジェスチャ１４５２を検出すると、電子デバイス６００は、オーディオソースユーザインタフェース１４４８の表示を、音楽ユーザインタフェース１４５１の表示に置き換える。音楽ユーザインタフェース１４５１は、選択のためにオーディオアイテム（例えば、歌、アルバム、プレイリスト）にナビゲートするためのオプションを含む。図１４Ｋで、ユーザはタップジェスチャを行って、アルバムアイテム１４５５を選択する。その結果、電子デバイス６００は、アルバムアイテム１４５５でタップジェスチャ１４５３を検出する。
図１４Ｌでは、タップジェスチャ１４５３を検出すると、電子デバイス６００は、音楽ユーザインタフェース１４５１の表示を、オーディオユーザインタフェース１４４０に置き換える。図１４Ｉとは対照的に、図１４Ｌのオーディオユーザインタフェース１４４０は、ユーザによって選択されたオーディオアイテム（例えば、ＤＪアップルシードによるアルバム１）を表す表現１４６０を含む。更に、オーディオアイテムが選択されたという判定に応答して、電子デバイス６００は、選択されたオーディオアイテムの繰り返しオプション１４６２Ａ及びシャッフルオプション１４６２Ｂを表示する。図１４Ｉに示すように、オーディオアイテムが選択されていないと判定されると、電子デバイス６００は、繰り返しオプション１４６２Ａ及びシャッフルオプション１４６２Ｂの表示を取り止める。他の利用可能なオーディオオプションを見るために、ユーザは、スクロールジェスチャを実施する。その結果、電子デバイス６００は、上方方向への移動を伴うスクロールジェスチャ１４６４を検出する。
図１４Ｍでは、スクロールジェスチャ１４６４を検出すると、電子デバイス６００は音量オプション１４６６Ａ～１４６６Ｂをディスプレイ６０３の上にスクロールする。シーンプロファイルの音量オプション１４６６Ａを選択することにより、シーンプロファイルがトリガされると（例えば、アクティブ化されると）、選択されたオーディオアイテムを、アクセサリデバイスが現在設定されている音量で再生するように、特定のタイプのアクセサリデバイス（例えば、寝室のスピーカ）が構成される。対照的に、シーンプロファイルの音量オプション１４６６Ｂを選択することにより、シーンプロファイルがトリガされると（例えば、アクティブ化されると）、選択されたオーディオアイテムを、ユーザが選択したカスタム音量で再生するように、アクセサリデバイスが構成される。ユーザは、タップジェスチャを行って音量オプション１４６６Ｂを選択する。その結果、電子デバイス６００は、音量オプション１４６６Ｂでタップジェスチャ１４６８を検出する。
図１４Ｎでは、タップジェスチャ１４６８を検出すると、電子デバイス６００は、音量オプション１４６６Ｂを選択し、音量オプション１４６６Ｂが選択されたという視覚的な指示を表示する。更に、タップジェスチャ１４６８を検出すると、電子デバイス６００は、音量オプション１４６６Ｂの下に音量コントロール１４７０Ａを表示する。音量コントロール１４７０Ａにより、ユーザは、選択されたオーディオアイテムを再生するカスタム音量を選択できる。
シーンプロファイルの構成が終了すると、ユーザはタップジェスチャを行なってシーンプロファイルを完了し、対応するシーンオブジェクトをホームユーザインタフェース６０２に追加する。その結果、電子デバイス６００は、終了ボタン１４７４においてタップジェスチャ１４７２を検出する。
図１４Ｏでは、タップジェスチャ１４７２を検出すると、電子デバイス６００は、シーンプロファイルを完了し、シーンオブジェクト１４０２Ｄをホームユーザインタフェース６０２に追加する。したがって、シーンオブジェクト１４０２Ｄに対応するシーンプロファイルが（例えば、シーンオブジェクト１４０２Ｄを選択することによって）アクティブ化されると、電子デバイス６００は、シーンプロファイルの構成に従って１つ以上のアクセサリデバイスに命令を送信する。例えば、図１４Ｃ～図１４Ｎに構成されたシーンプロファイルに基づいて、シーンオブジェクト１４２０Ｄに対応するシーンプロファイルをアクティブ化することにより、寝室のスピーカで、ＤＪアップルシードによるアルバム１からの歌が図１４Ｎで設定されたカスタム音量で再生される。
後述するように、特定のタイプのアクセサリデバイスのシーンプロファイルを構成するための他のオプションが利用可能である。再生オプション１４４２Ａは、図１４Ｉに関して上述されている。図１４Ｐ～図１４Ｒは、他の利用可能な再生オプション（例えば、１４４２Ｂ～１４４２Ｄ）を示す。
図１４Ｐでは、再生オプション１４４２Ｂを選択することにより、ユーザは、特定のタイプのアクセサリデバイスにおいて行なわれている可能性がある任意のオーディオ再生を一時停止できる。具体的には、シーンプロファイルの再生オプション１４４２Ａを選択することにより、シーンプロファイルがトリガされた（例えば、アクティブ化された）ときに行なわれている可能性がある任意のオーディオ再生を一時停止できるように、特定のタイプのアクセサリデバイス（例えば、寝室スピーカ）が構成される。更に、再生オプション１４４２Ｂを選択することにより、特定のオプション（例えば、１４４４、１４６６Ａ～１４６６Ｂ）が表示されなくなる。
図１４Ｑでは、再生オプション１４４２Ｃを選択することにより、ユーザは、特定のタイプのアクセサリデバイスにおいて行なわれていた可能性がある任意のオーディオ再生を再開できる（例えば、オーディオ再生は一時停止状態にある）。具体的には、シーンプロファイルの再生オプション１４４２Ｃを選択することにより、シーンプロファイルがトリガされた（例えば、アクティブ化された）ときにオーディオ再生を再開するように、特定のタイプのアクセサリデバイス（例えば、寝室スピーカ）が構成される。更に、再生オプション１４４２Ｃを選択することにより、特定のオプション（例えば、１４４４）が表示されなくなる。
図１４Ｒでは、再生オプション１４４２Ｄを選択することにより、ユーザは、特定のタイプのアクセサリデバイスにおけるオーディオ再生の状態の変更を取り止めることができる。具体的には、シーンプロファイルの再生オプション１４４２Ｄを選択することにより、シーンプロファイルがトリガされた（例えば、アクティブ化された）ときにオーディオ再生の現在の状態を継続するように、特定のタイプのアクセサリデバイス（例えば、寝室スピーカ）が構成される。例えば、特定のタイプのアクセサリデバイスが、シーンプロファイルがトリガされたとき既に特定のオーディオファイルを再生している場合、アクセサリデバイスは、その同じ特定のオーディオファイルを再生し続ける。更に、再生オプション１４４２Ｄを選択することにより、特定のオプション（例えば、１４４４）が表示されなくなる。
図１４Ｓ～図１４Ｔは、特定のタイプの複数のアクセサリデバイスが、シーンプロファイルのアクセサリデバイスのセットに追加されるときに提供される追加のオプションを示す。図１４Ｓでは、特定のタイプの複数のアクセサリデバイス（例えば、６０４Ｄ、１４７６Ｂ～１４７６Ｃ）がシーンプロファイルに追加されている。ユーザは、タップジェスチャを行って、シーンプロファイルのオーディオオプションを構成する。その結果、電子デバイス６００は、オーディオオプションボタン１４３６でタップジェスチャ１４７８を検出する。
図１４Ｔでは、タップジェスチャ１４７８を検出すると、電子デバイス６００は、オーディオユーザインタフェース１４４０を表示する。ユーザは、音量オプション１４６６Ｂを選択して、特定のタイプの各アクセサリデバイスのカスタム音量を設定する。その結果として、電子デバイス６００は、音量オプション１４６６Ｂでタップジェスチャ１４８０を検出する。タップジェスチャ１４８０を検出すると、電子デバイス６００は、（例えば、タップジェスチャ１４８０を検出する前には表示されなかった）音量コントロール１４７０Ｂ～１４７０Ｄを表示し、音量コントロールは、特定のタイプのそれぞれのアクセサリデバイスに対応する。例えば、音量コントロール１４７０Ｂは寝室スピーカに対応し、音量コントロール１４７０Ｃはダイニングのスピーカに対応する。
図１５は、いくつかの実施形態に係る、電子デバイスを使用した１５００のための方法を示すフロー図である。方法１５００は、表示デバイスを有するデバイス（例えば、１００、３００、５００、６００）において実施される。方法１５００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法１５００は、制御可能外部デバイスのグループ及びスピーカを管理するための直感的方法を提供する。この方法は、制御可能外部デバイスのグループ及びスピーカがアフォーダンスのタップで所定のタスクを実施するシーンをセットアップするためのインタフェースを提供することによって、制御可能外部デバイスのグループを管理するためのユーザの認識的負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。具体的には、制御可能外部デバイスのグループがスピーカを含む場合、スピーカが含まれていない場合にインタフェースを表示しないことと比較して、スピーカに固有のインタフェースが表示される。制御可能外部デバイスのグループに基づいて、関連するインタフェースのみを表示することで、関連のない設定を構成する際のユーザエラーが低減する。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが、より速くより効率的にシーンをセットアップして、制御可能外部デバイスのグループを管理することを可能にすることにより、電子デバイスの電力が節約され、バッテリ充電の間隔が伸びる。
ブロック１５０２で、電子デバイスは、表示デバイスを介して、第１の制御可能外部デバイス（例えば、少なくとも１つの制御可能機能を有するデバイス（例えば、スマート電球、スマートサーモスタット、スマートスピーカ））に対応する第１のアクセサリアフォーダンス（例えば、６０４Ａ～６０４Ｆ、選択可能なグラフィカルタイル）（例えば、ユーザインタフェースオブジェクトが表す制御可能外部デバイスの表示（例えば、文字、グラフィカルアイコン）を有するユーザインタフェースオブジェクト）を表示する。いくつかの実施形態では、制御可能デバイスは、電子デバイスの外部にある電子デバイスである。いくつかの実施例では、制御可能外部デバイスは、電子デバイスを使用して（例えば、介して）構成可能な１つ以上の機能を有する。
ブロック１５０４で、電子デバイスは、第１の制御可能外部デバイスを、（例えば、１４１８、１４２０、１４３２、第１のアクセサリアフォーダンスに対応する場所で（例えば、第１のアクセサリアフォーダンスにおいて／への）検出されたユーザ入力を介して）、（例えば、第１のシーン（例えば、（例えば、特定の場所における）１つ以上の制御可能外部デバイスの指定された状態に関するデータを含むシーンプロファイル）のために構成される）制御可能外部デバイスの第１のセットに追加する１つ以上の入力を検出する。いくつかの実施形態では、第１の制御可能外部デバイスは、電子デバイスが、第１のアクセサリアフォーダンスの選択に対応するユーザジェスチャを検出し、選択を確認するユーザジェスチャを検出すると、追加される。
ブロック１５０６で、第１の制御可能外部デバイスを制御可能外部デバイスの第１のセットに追加するための１つ以上の入力を検出したことに応答して、ブロック１５０８で、電子デバイスは、第１の制御可能外部デバイスを含めるために、制御可能外部デバイスの第１のセットを更新する。
ブロック１５０６で、第１の制御可能外部デバイスを第１の制御可能外部デバイスの第１のセットに追加する１つ以上の入力を検出したことに応答して、ブロック１５１０で、第１の制御可能外部デバイスが第１のタイプ（例えば、特定の動作（例えば、オーディオファイルの再生、サウンドの出力）を実施できるデバイス）であるという判定に応答して、電子デバイスは、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンス（例えば、図１４Ｈの６０４Ｄ）、及び構成アフォーダンスであって、選択されると、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する構成アフォーダンス（例えば、図１４Ｈの１４３６）を同時に表示する。いくつかの実施形態では、オーディオ設定を構成するプロセスを開始することは、再生されるメディア（例えば、オーディオ）アイテムを選択するためのアフォーダンスを表示することを含む。いくつかの実施形態では、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスは、第１の制御可能外部デバイスに対応する第１のアクセサリアフォーダンスと同じである。いくつかの実施形態では、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスは、第１のアクセサリアフォーダンスとは異なる（例えば、第２のアクセサリアフォーダンスは、追加の視覚的な指示（例えば、現在の状態（例えば、オン／オフ）を有する）。
ブロック１５０６で、第１の制御可能外部デバイスを制御可能外部デバイスの第１のセットに追加する１つ以上の入力を検出したことに応答して、ブロック１５１２で、第１の制御可能外部デバイスが第１のタイプのものではないという判定に従って、電子デバイスは、構成アフォーダンスであって、選択されると、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する構成アフォーダンスなしに、第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンス（例えば、図１４Ｆの６０４Ａ、６０４Ｃ）を表示する。
いくつかの実施形態では、電子デバイスは、構成アフォーダンスの選択を検出し、それによって、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する。第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する構成アフォーダンスを表示すると、第１の制御可能外部デバイスをオーディオ設定のために構成できるというフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときにユーザが適切な入力を行うのを支援しユーザの誤りを削減することによって）ユーザデバイスインタフェースがより効率的になり、このことにより更に、ユーザがデバイスをより素早くかつ効率的に使用可能になることによって、デバイスの電力使用量が削減されバッテリ寿命が改善される。
いくつかの実施例では、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する一環として、電子デバイスは、（オーディオアイテムの表現を同時に表示することなく）オーディオ選択アフォーダンス（例えば、オーディオボタンの選択）を表示する。いくつかの実施例では、電子デバイスは、オーディオ選択アフォーダンス（例えば、１４４４）の選択（例えば、１４４６）を検出する。いくつかの実施例では、オーディオ選択アフォーダンスの選択を検出したことに応答して、電子デバイスは、第１のメディアタイプのオーディオアイテム（例えば、図１４Ｊ～図１４Ｋ）にナビゲートするための１つ以上のオプションを表示することを含む、第１の制御可能外部デバイスで再生される第１のメディアタイプ（例えば、音楽）のオーディオアイテム（例えば、アルバム、プレイリスト、歌、ラジオ局）を選択するプロセスを開始する。いくつかの実施形態では、オーディオアイテムを選択するプロセスを開始する一環として、電子デバイスは、音楽ユーザインタフェースを表示する。いくつかの実施形態では、第１のメディアタイプのオーディオアイテムを選択するプロセスを開始する一環として、電子デバイスは、第１のメディアタイプのオーディオアイテムを検索するための検索バー、最近再生されたアイテム（例えば、アルバム、歌、プレイリスト）、及び／又は、アフォーダンスであって、選択されると、特定のカテゴリに属するオーディオアイテム（例えば、アーティスト、アルバム、歌、プレイリスト、ラジオ局）の表示をトリガするアフォーダンスを表示する。いくつかの実施形態では、各制御可能外部デバイスに対して異なるオーディオアイテムを選択することができる。第１のメディアタイプのオーディオアイテムにナビゲートするための１つ以上のオプションを表示すると、第１の制御可能外部デバイスでの再生用に、特定のオーディオを選択できるというフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときにユーザが適切な入力を行うのを支援しユーザの誤りを削減することによって）ユーザデバイスインタフェースがより効率的になり、このことにより更に、ユーザがデバイスをより素早くかつ効率的に使用可能になることによって、デバイスの電力使用量が削減されバッテリ寿命が改善される。
いくつかの実施例では、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する一環として、電子デバイスは、（オーディオアイテムの表現を同時に表示することなく）オーディオ選択アフォーダンス（例えば、オーディオボタンの選択）を表示する。いくつかの実施例では、電子デバイスは、オーディオ選択アフォーダンスの選択を検出する。いくつかの実施例では、オーディオ選択アフォーダンスの選択を検出したことに応答して、電子デバイスは、表示デバイスを介して、第１のオーディオカテゴリオプションであって、選択されると第１のメディアタイプのオーディオアイテム（例えば、オーディオブック、音楽、ポッドキャスト、サウンドスケープ）を選択するプロセスを開始する第１のオーディオカテゴリオプションと、第２のオーディオカテゴリオプションであって、選択されると第１のメディアタイプとは異なる第２のメディアタイプのオーディオアイテム（例えば、図１４Ｊ、オーディオブック、音楽、ポッドキャスト、サウンドスケープ）を選択するプロセスを開始する第２のオーディオカテゴリオプションとを同時に表示する。いくつかの実施形態では、第１及び第２のオーディオカテゴリオプションは、ソースユーザインタフェースに表示される。いくつかの実施形態では、ソースユーザインタフェースで音楽オプションを選択することにより、ソースユーザインタフェースの表示が音楽ユーザインタフェースに置き換えられる。いくつかの実施形態では、特定のメディアタイプ（例えば、第１、第２）のオーディオアイテムを選択するプロセスを開始する一環として、電子デバイスは、第１及び第２のオーディオカテゴリオプションの表示を、特定のメディアタイプ（例えば、第１、第２）のオーディオアイテムにナビゲートするための１つ以上のオプションに置き換える。複数のカテゴリのオーディオオプションを表示すると、第１の制御可能外部デバイスでの再生用に、異なるオーディオ形式を選択することができるというフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときにユーザが適切な入力を行うのを支援しユーザの誤りを削減することによって）ユーザデバイスインタフェースがより効率的になり、このことにより更に、ユーザがデバイスをより素早くかつ効率的に使用可能になることによって、デバイスの電力使用量が削減されバッテリ寿命が改善される。
いくつかの実施例では、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する一環として、電子デバイスはオーディオ選択アフォーダンス（例えば、オーディオボタンの選択）を表示する。いくつかの実施例では、オーディオ選択アフォーダンスの選択を検出した後に、電子デバイスは、第１の制御可能外部デバイスで再生されるオーディオアイテムを選択するための１つ以上のユーザ入力を検出する。いくつかの実施例では、第１の制御可能外部デバイスで再生されるオーディオアイテムを選択するための１つ以上のユーザ入力を検出した後に、電子デバイスは、表示デバイスを介して、オーディオ選択アフォーダンス（例えば、図１４Ｌの１４４４）、及び第１の制御可能外部デバイスで再生されるように選択されたオーディオアイテムの表現（例えば、図１４Ｌの１４６０、アルバムアート）を同時に表示する。いくつかの実施形態では、オーディオアイテムの表現は、第１の制御可能外部デバイスで再生されるオーディオアイテムを選択するための１つ以上のユーザ入力を検出する前には表示されない。第１の制御可能外部デバイスで再生されるように選択されたオーディオアイテムの表現（例えば、アルバムアート）を表示すると、どのオーディオアイテムが再生用に正しく選択されたかについてのフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときにユーザが適切な入力を行うのを支援しユーザの誤りを削減することによって）ユーザデバイスインタフェースがより効率的になり、このことにより更に、ユーザがデバイスをより素早くかつ効率的に使用可能になることによって、デバイスの電力使用量が削減されバッテリ寿命が改善される。
いくつかの実施例では、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する一環として、電子デバイスは、オーディオ選択アフォーダンス（例えば、オーディオボタンの選択）を表示する。いくつかの実施例では、オーディオ選択アフォーダンスの選択を検出した後に、電子デバイスは、第１の制御可能外部デバイスで再生されるオーディオアイテムを選択するための１つ以上のユーザ入力を検出する。いくつかの実施例では、第１の制御可能外部デバイスで再生されるオーディオアイテムを選択するための１つ以上のユーザ入力を検出した後に、電子デバイスは、表示デバイスを通して、リピートアフォーダンスであって、選択されると、オーディオアイテムが第１の制御可能外部デバイスでの再生中に繰り返されるかどうかを構成するリピートアフォーダンス（例えば、１４６２Ａ）、及びシャッフルアフォーダンスであって、選択されると、第１の制御可能外部デバイスでオーディオアイテムが再生される順序を構成するシャッフルアフォーダンス（例えば、１４６２Ｂ）を同時に表示する。いくつかの実施形態では、リピートアフォーダンス及びシャッフルアフォーダンスは、オーディオ選択アフォーダンスと同時に表示される。いくつかの実施形態では、リピートアフォーダンス及びシャッフルアフォーダンスは、第１の制御可能外部デバイスで再生されるオーディオアイテムを選択するための１つ以上のユーザ入力を検出する前には表示されない。リピートアフォーダンス及びシャッフルアフォーダンスを表示すると、第１の制御可能外部デバイスで異なるタイプの再生を実施できるというフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときにユーザが適切な入力を行うのを支援しユーザの誤りを削減することによって）ユーザデバイスインタフェースがより効率的になり、このことにより更に、ユーザがデバイスをより素早くかつ効率的に使用可能になることによって、デバイスの電力使用量が削減されバッテリ寿命が改善される。
いくつかの実施例では、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始する一環として、電子デバイスは、第１のオーディオモードタイプが選択されているという判定に従って、（例えば、複数の）オーディオ再生オプション（例えば、オーディオ選択アフォーダンス、現在の音量、カスタム音量、選択された時間量が経過した後のオーディオの再生を停止するオプション、リピートオプション及びシャッフルオプション）を表示する。いくつかの実施形態では、第１のタイプのオーディオモードは、選択されたオーディオアイテムを第１の制御可能外部デバイスで再生するためのオーディオモード（例えば、「オーディオ再生」）である。いくつかの実施形態では、第１のオーディオモードタイプは、選択されているデフォルトのオプションである。いくつかの実施形態では、第１のオーディオモードタイプに対応するアフォーダンスは、第１のオーディオモードタイプが選択されているという視覚的な指示とともに表示される。いくつかの実施形態では、オーディオ、音量、及び再生停止オプションは同時に表示される。
いくつかの実施例では、オーディオ再生オプションを表示している間に、電子デバイスは、オーディオモードの選択を検出する。いくつかの実施例では、オーディオモードの選択を検出したことに応答して、第１のオーディオモードタイプが選択されているという判定に従って、電子デバイスは、オーディオ再生オプション（例えば、図１４Ｑ）を引き続き表示する。いくつかの実施例では、オーディオモードの選択を検出したことに応答して、第２のオーディオモードタイプが選択されているという判定に従って、オーディオ再生オプション（例えば、図１４Ｐ）の表示は停止され、第２のオーディオモードタイプは、第１のオーディオモードタイプとは異なる。いくつかの実施形態では、第２のオーディオモードタイプは、選択されたオーディオアイテムを第１の制御可能外部デバイスで再生しないオーディオモード（例えば、オーディオを一時停止する、オーディオを再開する、再生内容を変更しない）である。例としては、「オーディオを選択する」オプションを除去すること、又は音量オプションを除去することが挙げられる。
いくつかの実施例では、電子デバイスは、第２の制御可能外部デバイスを、（例えば、第２のアクセサリアフォーダンスに対応する（例えば、第２のアクセサリアフォーダンスにおいて／への）場所で検出されたユーザ入力を介して）、第１の制御可能外部デバイスの第１のセットに追加する１つ以上の入力を検出する。いくつかの実施例では、第２の制御可能外部デバイスを制御可能外部デバイスの第１のセットに追加するための１つ以上の入力を検出したことに応答して、電子デバイスは、第２の制御可能外部デバイスを含めるために、制御可能外部デバイスの第１のセットを更新する。
いくつかの実施例では、第１の制御可能外部デバイスのオーディオ設定を構成するプロセスを開始した後、電子デバイスは、第１の制御可能外部デバイスで再生されるように選択されたオーディオアイテム（例えば、第１の制御可能外部デバイスで再生されるように選択されたオーディオアイテム）の再生音量をカスタマイズするためのユーザ入力を検出する。いくつかの実施例では、再生音量をカスタマイズするためのユーザ入力を検出したことに応答して、制御可能外部デバイスの第１のセットが、単一の第１のタイプの制御可能外部デバイスを含むという判定に従って、電子デバイスは、第１の制御可能外部デバイスでのオーディオアイテムの再生音量を（例えば、ドラッグ入力を介して）調整するための単一の音量コントロールを表示する（例えば、最初に表示する）。
いくつかの実施例では、再生音量をカスタマイズするためのユーザ入力を検出したことに応答して、制御可能外部デバイスの第１のセットが、複数の第１のタイプの制御可能外部デバイスを含むという判定に従って、電子デバイスは、それぞれの制御可能外部デバイスでのオーディオアイテムのそれぞれの再生音量を（例えば、ドラッグ入力を介して）調整するための複数の音量コントロールを表示する（例えば、最初に表示する）。いくつかの実施形態では、選択されているデフォルトのオプションは、「現在の音量」である。いくつかの実施形態では、制御可能外部デバイスが１つある場合、電子デバイスは、制御可能外部デバイスを識別する情報の表示を取り止める。いくつかの実施形態では、複数の制御可能外部デバイスがある場合、電子デバイスは、制御可能外部デバイスのそれぞれを識別する情報を表示する。いくつかの実施形態では、第１のタイプのそれぞれの制御可能外部デバイスごとに、それぞれの音量コントロールが表示される。
方法１５００（例えば、図１５）に関して上記したプロセスの詳細はまた、前述した／後述する方法にも類似の方式で適用可能であることに留意されたい。例えば、方法１５００は、任意選択的に、方法７００、９００、及び１１００に関して前述した様々な方法の特性の１つ以上を含む。例えば、方法１５００に記載の複数の構成要素を有する制御可能外部デバイスは、方法７００に記載のインタフェースを使用して構成及びアクセスすることができる、方法７００の制御可能外部デバイスであり得る。簡潔にするために、これらの詳細は、以下で繰り返さない。
図１６Ａ～１６Ｆは、いくつかの実施形態に係る、複数のタイプのアクセサリデバイスを管理するためのアプリケーションの例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１７のプロセスを含む後述のプロセスを例示するために使用される。
図１６Ａは、ディスプレイ６０３を有するスマートフォンである電子デバイス６００を示す。ディスプレイ６０３は、電子デバイス６００がユーザのジェスチャ（例えば、タップ、スワイプ、ドラッグ）を検出することができるタッチ感知面を含む。いくつかの実施形態では、電子デバイス６００は、電子デバイス１００、３００、５００、又は６００であるか、それらの１つ以上の特徴を含む。
図１６Ａでは、電子デバイス６００は、アクセサリデバイスを構成するためのホームユーザインタフェース６０２を表示する。ホームユーザインタフェース６０２は、図６Ａ及び図１４Ａに関して更に上述されている。いくつかの実施形態では、アクセサリデバイスは、制御可能外部デバイスと呼ばれることもある。ホームユーザインタフェース６０２は、それぞれのシーンプロファイルを表すシーンオブジェクト１４０２Ａ～１４０２Ｃを含む。いくつかの実施形態では、シーンプロファイルは、ある場所における１つ以上のアクセサリデバイスの指定された状態に関するデータを含む。いくつかの実施形態では、シーンプロファイルは「シーン」と呼ばれ得る。更に、ホームユーザインタフェース６０２は、アクセサリアフォーダンス６０４Ａ～６０４Ｆを含み、アクセサリアフォーダンスは、アクセサリデバイスを表すグラフィカルタイルである。例えば、アクセサリアフォーダンス６０４Ｄは、寝室のスピーカを表しており、そのスピーカを介してオーディオ出力を行うことができる。
図１６Ａでは、ユーザは、タップジェスチャを行って、特定のタイプのアクセサリデバイス（例えば、（例えば、スピーカを介して）サウンドを出力することができるアクセサリデバイス）を構成する。その結果、ホームユーザインタフェース６０２を表示している間に、電子デバイス６００は、アクセサリアフォーダンス６０４Ｄ（例えば、寝室スピーカを表す）でタップジェスチャ１６００を検出する。
図１６Ｂでは、タップジェスチャ１６００を検出すると、電子デバイス６００は、ホームユーザインタフェース６０２の表示を、スピーカアクセサリインタフェース１６０２の表示に置き換える。電子デバイス６００は、ホームユーザインタフェース６０２で選択されたアクセサリデバイスが特定のタイプのもの（例えば、サウンドを出力することができるアクセサリデバイス）である場合に、スピーカアクセサリインタフェース１６０２を表示する。スピーカアクセサリインタフェース１６０２で、電子デバイス６００は、再生制御１６０４Ａ～１６０４Ｅ及びアラーム設定オプション（例えば、１６０６Ａ～１６０６Ｂ及び１６０８）を同時に表示する。いくつかの実施形態では、電子デバイス６００は、選択されたアクセサリデバイスが特定のタイプのものではない場合、再生制御及びアラーム設定オプションの同時表示を取り止める。更に、スピーカアクセサリインタフェース１６０２は設定ショートカット６１２を含み、設定ショートカット６１２を選択すると、寝室スピーカの追加設定が表示される。
再生制御１６０４Ａ～１６０４Ｅは、寝室スピーカでのオーディオ再生を制御するための様々なオプションを提供する。再生制御１６０４Ａは、（例えば、対応する命令を寝室スピーカに送信することによって）寝室スピーカの音量を設定するための調整可能なスライダを提供する。再生制御１６０４Ｂは、（例えば、対応する命令を寝室スピーカに送信することによって）オーディオファイルを停止するための調整可能なスライダを提供する。再生制御１６０４Ｃの選択を検出すると前のトラックが再生され、一方、再生制御１６０４Ｅの選択を検出すると、（例えば、対応する命令を寝室のスピーカに送信することによって）次のトラックが再生される。再生制御１６０４Ｄの選択を検出すると、オーディオ再生が一時停止状態にある場合にはオーディオ再生が開始し、あるいは、オーディオ再生が再生状態にある場合には（例えば、対応する命令を寝室スピーカに送信することによって）オーディオ再生が一時停止する。
上述のように、スピーカアクセサリインタフェース１６０２は、アラーム構成オプション（例えば、１６０６Ａ～１６０６Ｂ及び１６０８）も含む。例えば、電子デバイス６００は、現在設定されているアラームの設定を編集するためのアラーム編集ボタン１６０６Ａ～１６０６Ｂを表示する。更に、電子デバイスは、新しいアラームを設定するための新しいアラームボタン１６０８を表示する。図１６Ｂでは、ユーザはタップジェスチャを行って、新しいアラームを設定する。その結果、電子デバイス６００は、新しいアラームボタン１６０８でタップジェスチャ１６１０を検出する。
図１６Ｃでは、タップジェスチャ１６１０を検出すると、電子デバイス６００は、スピーカアクセサリインタフェース１６０２の表示を、アラームを構成及び設定するためのアラームユーザインタフェース１６１２の表示に置き換える。アラームユーザインタフェースは、アラームを設定する時間を選択するための時間制御１６１４を含む。いくつかの実施形態では、新しいアラームが設定されているという判定に接して、電子デバイス６００は、時間制御１６１４を現在時刻（例えば、午前１０：０９）に設定する。図１６Ｃに示すように、電子デバイス６００は、アラームの時間を午後１２：０９に設定している。いくつかの実施形態では、電子デバイス６００は、アラームの時間を設定するための要求に対応する時間制御１６１４での１つ以上の入力を検出したことに応答して時間を設定する。いくつかの実施形態では、現在設定されているアラームが編集されているという判定に応答して、電子デバイス６００は、時間制御１６１４を、現在設定されているアラームが設定された時刻に設定する。例えば、代わりに、編集アラームボタン１６０６Ａでタップジェスチャ１６１０が検出された場合、電子デバイス６００は、アラーム編集ボタン１６０６Ａに関連付けられた時間（例えば、午前６：００）に設定された時間制御１６１４を有するユーザインタフェース１６１２を表示する。
図１６Ｃに示すように、アラームユーザインタフェース１６１２は、サウンドオプション１６１６Ａ～１６１６Ｂを含む。サウンドオプション１６１６Ａは、ユーザインタフェースオブジェクトであって、選択されると音質ボタン１６１８を表示するユーザインタフェースオブジェクトである。サウンドオプション１６１６Ｂは、ユーザインタフェースオブジェクトであって、選択されるとオーディオ選択ボタン１４４４を表示するユーザインタフェースオブジェクトである。更に、アラームユーザインタフェース１６１２は、図１４Ｍ～１４Ｎに関連して上述したように、音量オプション１４６６Ａ～１４６６Ｂと、スヌーズオプション１６２０とを含む。スヌーズオプション１６２０の選択を検出すると、音声入力を介して、アクセサリデバイス（例えば、寝室スピーカ）で鳴るアラームをスヌーズする機能が有効化又は無効化される。いくつかの実施形態では、ユーザは、音声入力（例えば、「ねえスピーカ、アラームをスヌーズして」）を介して、アクセサリデバイスのアラームをスヌーズすることができる。
いくつかの実施形態では、音質ボタン１６１８の選択を検出すると、音質を選択するプロセスが開始される。例えば、電子デバイス６００は、アラームが鳴ったときに再生する選択可能な音質のリストを表示する。いくつかの実施形態では、音質ボタン１６１８を表示する代わりに、電子デバイス６００は、サウンドオプション１６１６Ａの選択を検出すると選択可能な音質のリストをすぐに表示する。いくつかの実施形態では、音質は、一定時間（例えば、１５、３０、４５秒）未満である、オーディオファイルの切り取りバージョンである。
アラームユーザインタフェース１６１２が図１６Ｃに表示されている間に、ユーザは、１つ以上のユーザ入力を実施して、メディアアイテム（例えば、オーディオブック、音楽、ポッドキャスト、サウンドスケープ）を選択するプロセスを開始する。その結果、電子デバイス６００は、サウンドオプション１６１６Ｂでタップジェスチャ１６２２を検出する。
図１６Ｄでは、タップジェスチャ１６２２を検出すると、電子デバイス６００は、メディア選択ボタン１６２４を表示する。いくつかの実施形態では、メディア選択ボタン１６２４は、オーディオ選択ボタン１４４４に置き換えられる。アクセサリデバイスのアラームに関するオーディオアイテムを選択するために、ユーザは、メディア選択ボタン１６２４でタップジェスチャを行う。その結果、アラームユーザインタフェース１６１２を表示している間に、電子デバイス６００は、メディア選択ボタン１６２４でタップジェスチャ１６２６を検出する。
図１６Ｅでは、タップジェスチャ１６２６を検出すると、電子デバイス６００は、オーディオソースユーザインタフェース１４４８を表示する。図１４Ｊに関して上述したように、オーディオソースユーザインタフェース１４４８は、ユーザによって選択される異なるカテゴリのオーディオアイテムを提供するソースオプション１４５０Ａ～１４５０Ｄを含む。具体的には、ソースオプション（例えば、１４５０Ａ～１４５０Ｄ）の選択を検出すると、選択されたソースオプションのカテゴリに属するオーディオアイテムを選択するプロセスの開始がトリガされる。例えば、ソースオプション１４５０Ｂの選択を検出することにより、ユーザがナビゲートしてオーディオアイテム（例えば、プレイリスト、歌、アルバム）を選択することができる音楽ユーザインタフェース（例えば、図１４Ｋの１４５１）が表示される。別の例として、ソースオプション１４５０Ｄの選択を検出することにより、ユーザがサウンドスケープアイテム（例えば、オーディオファイル又はオーディオファイルのコレクション）を選択することができるサウンドスケープユーザインタフェース（例えば、１６３０）が表示される。サウンドスケープは、図１８Ａ～１８Ｇに関して以下で更に説明されることに留意されたい。いくつかの実施形態では、タップジェスチャ１６２６を検出すると、電子デバイス６００は、オーディオソースユーザインタフェース１４４８を表示せず、代わりに、図１６Ｆのサウンドスケープユーザインタフェース１６３０の表示に直ちに進む。
図１６Ｅに示すように、ユーザはタップジェスチャを行って、サウンドスケープアイテムを選択するプロセスを開始する。その結果、電子デバイス６００は、ソースオプション１４５０Ｄでタップジェスチャ１６２８を検出する。
図１６Ｆでは、タップジェスチャ１６２８を検出すると、電子デバイス６００は、オーディオソースユーザインタフェース１４４８の表示を、サウンドスケープアイテムを選択するためのアフォーダンス（例えば、１６３４Ａ～１６３４Ｅ）を含むサウンドスケープユーザインタフェース１６３０に置き換える。ユーザは、タップジェスチャを行って森のサウンドスケープを選択する。その結果、電子デバイス６００は、アフォーダンス１６３４Ａでタップジェスチャ１６３２を検出する。
図１６Ｇでは、タップジェスチャ１６３２を検出すると、電子デバイス６００は、サウンドスケープユーザインタフェース１６３０の表示を、アラームユーザインタフェース１６１２の表示に置き換える。メディアアイテムが選択されている（例えば、森のサウンドスケープ）ため、アラームユーザインタフェース１６１２は、ユーザによって選択されたメディアアイテム（例えば、森のサウンドスケープ）を表す表現１６３６を含む。
いくつかの実施形態では、上述のユーザインタフェースで検出された入力を介してアラームを構成した後、電子デバイス６００は、アラームの構成に従って、アクセサリデバイス（例えば、寝室スピーカ）に命令を送信する。例えば、命令は、アラームが鳴る時間、アラームが鳴ったときに再生されるオーディオファイル（例えば、音質又はメディア、オーディオファイルへのリンク）、スヌーズ機能が有効化か又は無効化されているか、音量レベル（現在又はカスタムなど）、又はそれらの組み合わせを含むことができる。
図１７は、いくつかの実施形態に係る、電子デバイスを使用した１７００のための方法を示すフロー図である。方法１７００は、表示デバイスを有するデバイス（例えば、１００、３００、５００、６００）において実施される。方法１７００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法１７００は、スピーカを管理するための直感的な方法を提供する。この方法は、スピーカを１つのユーザインタフェースで構成するアフォーダンスを表示することによって、スピーカを管理するためのユーザの認識的負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ駆動のコンピューティングデバイスの場合、ユーザが１つのユーザインタフェースからスピーカを効率的に管理できるようにすると、ユーザインタフェースが効率的になり、電力をより効率的に節約できるため、バッテリの充電間隔が伸びる。
ブロック１７０２で、電子デバイスは、表示デバイスを介して、メディアアイテム（例えば、オーディオファイル、歌、オーディオブック、ポッドキャスト）での再生機能（例えば、再生、一時停止、次、前）を実施するための１つ以上の再生制御のセット（例えば、１４０６Ａ～１４０６Ｅ、ユーザインタフェースオブジェクトであって、選択されると、オーディオの再生に対応する変更をもたらす（例えば、次ボタンをタップすると、次の曲／メディアアイテムが再生され、一時停止ボタンをタップすると、曲／メディアアイテムが再生を停止する）ユーザインタフェースオブジェクト、及びアラーム構成アフォーダンス（例えば、図１６Ｂの１６０８、ユーザインタフェースオブジェクトであって、選択されると、アラームを構成するプロセス（例えば、現在のアラームの設定を編集する、新しいアラームを追加する）を開始するユーザインタフェースオブジェクトを同時に表示する。いくつかの実施形態では、１つ以上の再生制御のセットとアラーム構成アフォーダンスは、アクセサリ制御ユーザインタフェースに表示される。
ブロック１７０４で、電子デバイスは、ユーザ入力（例えば、１６１０、音声入力、ユーザジェスチャ（例えば、タップジェスチャ））を検出する。
ブロック１７０６で、ユーザ入力を検出したことに応答して、ブロック１７０８で、検出されたユーザ入力が１つ以上の再生制御のセットのうちの再生制御の選択に対応するという決定に従って、電子デバイスは、選択された再生コントロールに基づいて、（例えば、上記の第１の制御可能外部デバイスと同じ）制御可能外部デバイスでの再生機能（例えば、再生、一時停止、次、前）を実施するプロセスを開始する。いくつかの実施形態では、制御可能外部デバイスで再生機能を実施するプロセスは、１つ以上の再生制御のセットとアラーム構成アフォーダンスを同時に表示し続ける間に開始される。
ブロック１７０６で、ユーザ入力を検出したことに応答して、ブロック１７１０で、検出されたユーザ入力がアラーム構成アフォーダンス（例えば、１６０８）の選択に対応するという判定に従って、電子デバイスは、１つ以上の再生制御のセットの及びアラーム構成アフォーダンスの同時表示を、（例えば、制御可能外部デバイスでの）第１のアラームの時間を設定するための時間アフォーダンスのセット（例えば、１６１４、時間のホイール）に置き換える。いくつかの実施形態では、時間アフォーダンスのセットは、構成アラームユーザインタフェースに表示される。いくつかの実施形態では、構成アラームユーザインタフェースは、アクセサリ制御ユーザインタフェースの表示を置き換える。いくつかの実施形態では、第２のアラーム構成アフォーダンスは、アラーム構成アフォーダンスと同時に表示される。いくつかの実施形態では、検出されたユーザ入力が第２のアラーム構成アフォーダンスの選択に対応するという判定に従って、電子デバイスは、１つ以上の再生制御のセットとアラーム構成アフォーダンスの同時表示を、第１のアラームとは異なる第２のアラームの時間を設定するための時間アフォーダンスのセットに置き換える。再生制御及びアラーム構成アフォーダンスを同時に表示すると、制御可能外部デバイスで再生機能を実施することができ、制御可能外部デバイス用にアラームを構成することができるというフィードバックがユーザに提供される。ユーザに改善された視覚的フィードバックを提供し、制御及びアラームアフォーダンスを同じユーザインタフェースに表示することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと相互作用するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを低減することによって）ユーザデバイスインタフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、検出されたユーザ入力がアラーム構成アフォーダンスの選択に対応するという判定に従って、電子デバイスは、第１のアラーム（例えば、１６１４）の時間を設定するための時間アフォーダンスのセットとともに、第１の（例えば、１６１６Ａ、音質）オプション及び第２の（例えば、１６１６Ｂ、メディア）オプションを含む複数のアラームサウンドオプションを同時に表示する。いくつかの実施形態では、検出されたユーザ入力がアラーム構成アフォーダンスの選択に対応するという判定に従って、電子デバイスは、複数のアラームサウンドオプションのうちの１つに対応する第２のユーザ入力（例えば、１６２２）を検出する。いくつかの実施形態では、検出されたユーザ入力がアラーム構成アフォーダンスの選択に対応するという判定に従って、複数のアラームサウンドオプションのうちの１つに対応する第２のユーザ入力を検出したことに応答して、第２のユーザ入力が第１のオプションの選択に対応するという判定に従って、電子デバイスは、第１のアラームの第１のメディアタイプのメディアアイテム（例えば、音質）を選択するプロセス（例えば、選択可能な音質のドロップダウンリストを表示する、時間アフォーダンスのセットと複数のアラームサウンドオプションとの同時表示を、選択可能な音質のリストに置き換える）を開始する。いくつかの実施形態では、検出されたユーザ入力がアラーム構成アフォーダンスの選択に対応するという判定に従って、複数のアラームサウンドオプションのうちの１つに対応する第２のユーザ入力を検出したことに応答して、第２のユーザ入力が第２のオプションの選択に対応するという判定に従って、電子デバイスは、第１のアラームの第２のメディアタイプのメディアアイテム（例えば、歌、アルバム、プレイリスト）を選択するプロセス（例えば、選択可能なメディアアイテムのドロップダウンリストを表示する、時間アフォーダンスのセットと複数のアラームサウンドオプションとの同時表示を、ユーザによって選択されるメディアアイテムにナビゲートするための１つ以上のオプション（例えば、ソースユーザインタフェース又は音楽ユーザインタフェースを表示する）に置き換える）を開始する。いくつかの実施形態では、第１のメディアタイプのメディアアイテムは、第１のソースから投入され、第１のデータベースに記憶される。いくつかの実施形態では、第２のメディアタイプのメディアアイテムは、第２のソースから投入され、第２のデータベースに記憶される。第１の（例えば、音質）オプション及び第２の（例えば、メディア）オプションを同時に表示すると、制御可能外部デバイスのアラームに異なるタイプのオーディオを選択できるというフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が向上し、（例えば、デバイスを操作する／デバイスと対話するときにユーザが適切な入力を行うのを支援しユーザの誤りを削減することによって）ユーザデバイスインタフェースがより効率的になり、このことにより更に、ユーザがデバイスをより素早くかつ効率的に使用可能になることによって、デバイスの電力使用量が削減されバッテリ寿命が改善される。
いくつかの実施形態では、第１のアラーム用の第１のメディアタイプのメディアアイテムを選択するプロセスを開始する一環として、電子デバイスは、時間アフォーダンスのセットと複数のアラームサウンドオプションの同時表示を、第１のメディアタイプの複数の選択可能なメディアアイテムの表示に置き換える。いくつかの実施形態では、第１のメディアタイプの複数の選択可能なメディアアイテムは、現在のユーザインタフェースのドロップダウンリストに示される。いくつかの実施形態では、第１のメディアタイプのメディアアイテムは、一定時間（例えば、１５、３０、４５秒）未満である、オーディオファイル（例えば、音質）の切り取りバージョンである。
いくつかの実施形態では、第１のアラーム用の第２のメディアタイプのメディアアイテムを選択するプロセスを開始する一環として、電子デバイスは、時間アフォーダンスのセットと複数のアラームサウンドオプションの同時表示を、（例えば、ユーザによって選択される）第２のメディアタイプのメディアアイテムにナビゲートするための１つ以上のオプション（例えば、１６２４）の表示に置き換える。いくつかの実施形態では、１つ以上のオプションは、音楽ユーザインタフェースの一部として、又はソースユーザインタフェースの一部として表示される。いくつかの実施形態では、電子デバイスは、アラームが鳴ったときに制御可能外部デバイスで再生される第２のメディアタイプのメディアアイテム（例えば、歌）の選択に対応する１つ以上の入力を検出し、第２のメディアタイプのメディアアイテムは、１つ以上の再生制御のセットを介して制御することができる同じメディアアイテムである。別の言い方をすれば、ユーザは、１つ以上の再生制御のセットを使用して現在再生している歌の音量を変更することができ、同時に、アラームが設定されている時間に同じ歌を再生するようにアラームを構成することもできる。第２のメディアタイプのメディアアイテムにナビゲートするためのオプションの表示は、ユーザに、所望のメディアアイテムを効率的に見つけるためのインタフェースを提供し、それによって必要とされる入力の数を減らす。動作を実行するために必要な入力の数が減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインタフェースを（例えば、デバイスを操作する／デバイスと対話するときにユーザが適切な入力を付与するのを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。
いくつかの実施形態では、アラーム構成アフォーダンスが第１のタイプ（例えば、新しいアラームを追加するため）のものであるという判定に従って、（例えば、制御可能外部デバイスで）第１のアラームの時間を設定するための時間アフォーダンス（例えば、時間のホイール）のセットは、最初に、（例えば、現在の時間の視覚的な指示を引き起こすユーザ入力の介入なしに）第１のアラームの時間に関する現在の時間の視覚的な指示を含む。いくつかの実施形態では、アラーム構成アフォーダンスが第１のタイプとは異なる第２のタイプ（例えば、現在の（例えば、既に設定された）アラームを変更／編集するため）のものであるという判定に従って、（例えば、制御可能外部デバイスで）第１のアラームの時間を設定するための時間アフォーダンス（例えば、時間のホイール）のセットは、最初に、（例えば、時間の視覚的な指示を引き起こすユーザ入力の介入なしに）第１のアラームが以前に設定された時間の視覚的な指示を含む。
いくつかの実施形態では、電子デバイスは、制御可能外部デバイスで第１のアラームを設定（例えば、保存、構成）するための１つ以上のユーザ入力を検出する。いくつかの実施形態では、制御可能外部デバイスで第１のアラームを設定するための１つ以上の入力を検出したことに応答して、電子デバイスは、制御可能外部デバイスを、アラームを鳴らす（例えば、第１のアラームが設定された時間に、第１のアラーム用に選択された音質又はメディアアイテムが再生される）ように構成するプロセスを開始する。いくつかの実施形態では、プロセスを開始することは、第１のアラームが設定された時間にアラームを鳴らすように制御可能外部デバイスを構成するための命令を送信することを含む。
いくつかの実施形態では、検出されたユーザ入力がアラーム構成アフォーダンスの選択に対応するという判定に従って、電子デバイスは、第１のアラームの時間を設定するための時間アフォーダンスのセット（例えば、１６１４、時計のホイール）とともに、制御可能外部デバイスで鳴る第１のアラームの音量を設定するための１つ以上の音量オプション（例えば、１４６６Ａ～１４６６Ｂ、「現在の」ボタン、「カスタム」ボタン）を同時に表示する。
いくつかの実施形態では、制御可能外部デバイスで鳴るアラームの音量を構成するための１つ以上の音量オプションを表示している間に、電子デバイスは、（例えば、表示された音量オプション（例えば、「カスタム」ボタン）のうちの１つの選択を介して）第１のアラームの音量をカスタマイズするためのユーザ入力を検出する。いくつかの実施形態では、第１のアラームの音量をカスタマイズするためのユーザ入力を検出したことに応答して、電子デバイスは、制御可能外部デバイスで鳴る第１のアラームの音量を（例えば、ドラッグ入力を介して）調整するための音量コントロールを表示する（例えば、最初に表示する）。いくつかの実施形態では、音量コントロールは、アラームの音量をカスタマイズするためのユーザ入力を検出する前には表示されなかった。いくつかの実施形態では、電子デバイスは、制御可能外部デバイスで第１のアラームを設定（例えば、保存、構成）するための１つ以上のユーザ入力を検出する。いくつかの実施形態では、制御可能外部デバイスで第１のアラームを設定するための１つ以上の入力を検出したことに応答して、電子デバイスは、制御可能外部デバイスを、音量コントロールを介して設定された音量でアラームを鳴らすように構成するプロセスを開始する。いくつかの実施形態では、プロセスを開始することは、音量コントロールを介して設定された音量でアラームを鳴らすように制御可能外部デバイスを構成するための命令を送信することを含む。
いくつかの実施形態では、検出されたユーザ入力がアラーム構成アフォーダンスの選択に対応するという判定に従って、電子デバイスは、第１のアラームの時間を設定するための時間アフォーダンスのセット（例えば、時計のホイール）とともに、制御可能外部デバイスでスヌーズオプションを有効化するためのスヌーズアフォーダンス（例えば、１６２０）を同時に表示する。いくつかの実施形態では、検出されたユーザ入力がアラーム構成アフォーダンスの選択に対応するという判定に従って、電子デバイスは、スヌーズオプションを有効化するためのスヌーズアフォーダンス（例えば、１６２０）の選択を検出する。いくつかの実施形態では、検出されたユーザ入力がアラーム構成アフォーダンスの選択に対応するという判定に従って、電子デバイスは、制御可能外部デバイスで第１のアラームを設定（例えば、保存、構成）するための１つ以上のユーザ入力を検出する。いくつかの実施形態では、検出されたユーザ入力がアラーム構成アフォーダンスの選択に対応するという判定に従って、制御可能外部デバイスで第１のアラームを設定するための１つ以上の入力を検出したことに応答して、及びスヌーズオプションが有効化されているという判定に従って、電子デバイスは、特定の基準を満たす音声入力（例えば、「ねえスピーカ、アラームをスヌーズして」などのフレーズに対応すると判定されたオーディオ入力）を検出したことに応答して、制御可能外部デバイスで鳴る第１のアラームを一時的に無効化するプロセスを開始する。
いくつかの実施形態では、プロセスを開始することは、制御可能外部デバイスに、特定の基準を満たすオーディオ入力を検出したことに応答して鳴るアラームを一時的に無効化することができるように制御可能外部デバイスを構成するための命令を、送信することを含む。
方法１７００（例えば、図１７）に関して上記したプロセスの詳細はまた、前述した／後述する方法にも類似の方式で適用可能であることに留意されたい。例えば、方法１７００は、任意選択的に、方法７００、９００、１１００、及び１５００に関して前述した様々な方法の特性の１つ以上を含む。例えば、方法１７００に記載の複数の構成要素を有する制御可能外部デバイスは、方法７００に記載のインタフェースを使用して構成及びアクセスすることができる、方法７００の制御可能外部デバイスであり得る。簡潔にするために、これらの詳細は、以下で繰り返さない。
図１８Ａ～図１８Ｇは、いくつかの実施形態に係る、音声コマンドを使用してデジタルアシスタントに一般的なサウンドを再生するように要求するための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図１９のプロセスを含む後述のプロセスを例示するために使用される。
図１８Ａでは、デバイス６００は、デジタルアシスタントをアクティブ化する音声コマンド１８５０Ａ（例えば、「ねえ、アシスタント」）を受信する。デジタルアシスタントがアクティブ化されると、デバイス６００は、デジタルアシスタントが利用可能であることを示す示唆１８１０（例えば、文字）をディスプレイ６０３に表示する。
図１８Ｂ～１８Ｃは、あるタイプのメディアアイテムのタイプ（例えば、癒やしサウンド）を再生するようにデジタルアシスタントに要求する音声コマンド（例えば、１８５０Ｂ）を受信するデバイス６００を示す。それに応答して、デバイス６００のデジタルアシスタントは、要求されたタイプの個別のアイテム（例えば、森のサウンド）を再生し、また、要求されたタイプの他のメディアアイテム（例えば、１８３０Ａ～１８３０Ｃ）を代替オプションとして提供する。
図１８Ｂでは、デバイス６００は、「癒やしサウンドを再生する」ための音声コマンド１８５０Ｂを受信する。音声コマンド１８５０Ｂを受信したことに応答して、デバイス６００は、音声コマンド１８５０Ｂの表現１８２０Ａをディスプレイ６０３に表示する。いくつかの実施形態では、デバイス６００は、デジタルアシスタントがアクティブ化されている間に、受信した音声コマンドの表現１８２０Ａ～１８２０Ｃ、及びデジタルアシスタントからの応答をディスプレイ６０３に表示する。デバイス６００が音声コマンド１８５０Ｂを受信したことに応答して、デバイス６００は、図１８Ｂに示すように、要求されたタイプの個別のアイテム（例えば、森のサウンド）を再生する。いくつかの実施形態では、癒やしサウンドは、インストゥルメンタル又は声のオーディオ要素を含まない（例えば、サウンドは、自然音であり、人工音ではない）。いくつかの実施形態では、癒やしサウンドは、生成されたホワイトノイズを含む。デバイス６００は、森の癒やしサウンドが再生されていることを示す、デジタルアシスタントからの音声コマンド１８５０Ｂへの応答の表現１８２０Ｂを、ディスプレイ６０３に表示する（及び任意選択的に対応するオーディオ応答を再生する）。デバイス６００はまた、同じタイプの他の利用可能なサウンドがあることを示す表現１８２０Ｃを表示する。サウンドリスト１８３０は、要求されたタイプと同じタイプ（例えば、癒やしサウンド）の他のサウンドアイテムのリストを含む。いくつかの実施形態では、デバイス６００は、現在再生されている音（例えば、森のサウンド）を、要求されたタイプのサウンドのリストに表示する。デバイス６００は、それぞれ、海、都市、及び風の癒やしサウンドにそれぞれ対応するサウンドアフォーダンス１８３０Ａ～１８３０Ｃを表示する。ユーザは、サウンドアフォーダンス１８３０Ａ～１８３０Ｃのいずれかを選択して、対応するサウンドを再生することができる。いくつかの実施形態では、デバイス６００は、デジタルアシスタントによって提供される応答の表示された表記に対応するオーディオ応答を再生する。いくつかの実施形態では、デバイス６００は、追加の癒やしサウンド（例えば、海、都市、及び風）のリストを指定するオーディオリストを再生する。
いくつかの実施形態では、デバイス６００は、癒やしサウンドを再生するための追加の音声コマンドを受信する。追加の音声コマンドを受信したことに応答して、デバイス６００は、以前に再生されたものと同じ癒やしサウンド（例えば、森のサウンド）、又は異なる癒やしサウンド（例えば、海のサウンド）であり得る第２の癒やしサウンドを再生する。いくつかの実施形態では、デバイス６００が、第１の所定の回数（例えば、３～５回）よりも少なく癒やしサウンドを再生するための音声コマンドをデバイス６００が受信したと判断したとき、図１８Ｂに示すように、デバイス６００は、癒やしサウンドアフォーダンス１８３０Ａ～１８３０Ｃを表示する。いくつかの実施形態では、デバイス６００が、第１の所定の回数よりも多く癒やしサウンドを再生するための音声コマンドをデバイス６００が受信したと判断したとき、デバイス６００は、癒やしサウンドアフォーダンス１８３０Ａ～１８３０Ｃを表示しない。いくつかの実施形態では、他の利用可能な癒やしサウンドを表すサウンドアフォーダンスは、第１の所定の数の要求に対して表示される。いくつかの実施形態では、デバイスが、第２の所定の回数（例えば、６～１０回）を超える癒やしサウンドの再生要求を受信したとき、デバイス６００は、現在の要求の前に選択されたデフォルトの又は所定の癒やしサウンドを再生する。いくつかの実施形態では、デフォルトの又は所定の癒やしサウンドは、最近の再生又は再生の頻度などの１つ以上の要因に基づいて選択される。
図１８Ｃでは、森の癒やしサウンドを再生している間に、デバイス６００は、ディスプレイ６０３にオーディオ再生インタフェース１８４０を表示する。いくつかの実施形態では、デバイス６００は、外部スピーカ（例えば、リビングのスピーカ）で癒やしサウンドを再生する。いくつかの実施形態では、デバイス６００は、オーディオ再生インタフェース１８４０の早送りボタンでの入力を検出する。これに応答して、デバイス６００は、異なる癒やしサウンドを再生する。いくつかの実施形態では、デバイス６００は、癒やしサウンドが要求されると、特定の癒やしサウンドのランダム配列及び／又はランダムに選択され、配置されたセグメントを再生し始める。したがって、癒やしサウンドが複数回要求された場合、特定の癒やしサウンドの異なるクリップが再生される。
図１８Ｄ～１８Ｅは、デバイス６００が、（例えば、音声コマンドの代わりに）タッチ入力を使用して、サウンドアイテムの再生要求を受信することを示す。図１８Ｄでは、デバイス６００は、表現６０３でのスワイプジェスチャ１８５０Ｃを検出する。図１８Ｅでは、スワイプジェスチャ１８５０Ｃを検出したことに応答して、デバイス６００は、検索バーを表示する。デバイス６００は、検索要求「サウンド」に対応する入力１８５０Ｄを検出する。検索要求１８５０Ｄを受信したことに応答して、デバイス６００は、サウンドリスト１８６０Ａを含む上位結果のリスト１８６０を表示する。サウンドリスト１８６０Ａは、利用可能な音のリストを含み、森のサウンド１８６０Ｂ及び海のサウンド１８６０Ｃである。いくつかの実施形態では、サウンドリスト１８６０Ａは、異なるタイプのサウンドのリスト（例えば、癒やしサウンド、歌など）を含む。検索結果から、森のサウンド１８６０Ｂ及び海のサウンド１８６０Ｃを選択して再生できる。
図１８Ｆ～１８Ｇは、時計アプリケーションからアクセス可能な就寝時インタフェース１８７０から癒やしサウンドを再生できることを示す。図１８Ｆでは、デバイス６００は、時計アプリケーションの選択に対応する入力１８５０Ｅを検出する。入力１８５０Ｅを検出したことに応答して、デバイス６００は、就寝時インタフェース１８７０を表示する。就寝時インタフェース１８７０は、就寝時に再生できる癒やしサウンドのリストを含むサウンドセクション１８８０を含む。サウンドセクション１８８０は、癒やしサウンドを含み、森のサウンド１８８０Ａ及び海のサウンド１８８０Ｂである。デバイス６００は、サウンドセクション１８８０にリストされたサウンド（例えば、１８８０Ａ～１８８０Ｂ）の選択を検出し、選択されたサウンドの再生を開始することができる。
図１９は、いくつかの実施形態に係る、特定のタイプのサウンドを再生するために電子デバイスを使用する方法１９００を示すフロー図である。方法１９００は、表示デバイスを有する電子デバイス（例えば、１００、３００、５００、６００）において実施される。方法１９００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
後述するように、方法１９００は、例えば、特定のオーディオメディアアイテムを指定することなく、特定のタイプのオーディオメディアアイテムを再生するための直感的な方法を提供する。この方法は、特定のオーディオメディアアイテムを識別する必要なく、特定のタイプのオーディオメディアアイテム（例えば、あるカテゴリのサウンド（例えば、癒やしサウンド））を再生するように電子デバイスに要求するためのユーザの認識的負担を軽減し、それにより効率的なヒューマンマシンインタフェースを作り出す。
ブロック１９０２で、電子デバイスは、第１のタイプのオーディオメディアアイテムを再生要求（例えば、１８５０Ｂ）を受信する。要求は、第１のタイプのオーディオメディアアイテムを識別し、第１のタイプの個別のオーディオメディアアイテムを識別しない。いくつかの実施形態では、電子デバイス（例えば、６００）は、第１のタイプのメディアアイテムである複数の個別のオーディオメディアアイテム（例えば、１８３０Ａ～１８３０Ｃ）へのアクセスを有する（デバイスに記憶されるか、又はデバイスにアクセス可能）。いくつかの実施形態では、要求は、仮想アシスタントへの音声コマンド（例えば、１８５０Ｂ）（例えば、「癒やしサウンドを再生して」）を含む。いくつかの実施形態では、要求は、仮想アシスタントをアクティブ化する口頭トリガ（例えば、１８５０Ａ）（例えば、「ねえ、アシスタント」）を含む。いくつかの実施形態では、仮想アシスタントは、タッチ入力（例えば、ボタンの押下又はタッチ感知面での入力）に応答してアクティブ化される。いくつかの実施形態では、第１のタイプのメディアアイテム（例えば、「癒やしサウンド」）は、複数のサブタイプ（１８３０Ａ～１８３０Ｃ）（例えば、海、都市、風）を含む。
ブロック１９０４で、第１のタイプのオーディオメディアアイテムを再生要求（例えば、１８５０Ｂ）を受信したことに応答して、ブロック１９０６で、電子デバイス（例えば、６００）は、第１のタイプのオーディオメディアアイテムの第１のオーディオメディアアイテムを再生する（例えば、１８４０）。いくつかの実施形態では、電子デバイスは、まず、自動的に（例えば、更なる入力なしに）、及び／又はランダムに、電子デバイスにアクセス可能な複数の第１のオーディオメディアアイテムから第１のオーディオメディアアイテムを識別する。
ブロック１９０４で、第１のタイプのオーディオメディアアイテムの再生要求を受信したことに応答して、ブロック１９０８で、電子デバイス（例えば、６００）は、アフォーダンスであって、選択されると、第１のタイプのオーディオメディアアイテムの第２のオーディオメディアアイテム（例えば、１８３０Ａ～１８３０Ｃ）を再生するアフォーダンスを表示し、第１のタイプのオーディオメディアアイテムの第２のオーディオメディアアイテムは、第１のタイプのオーディオメディアアイテムの第１のオーディオメディアアイテムとは異なる。要求されたものと同じタイプの追加のメディアアイテムを有するアフォーダンスを表示すると、ユーザは、直感的な方法をで同じタイプの追加のオーディオメディアアイテムを選択できる。この方法は、特定のオーディオメディアアイテムを識別する必要なく、特定のタイプのオーディオメディアアイテム（例えば、あるカテゴリのサウンド（例えば、癒やしサウンド））のセットからオーディオメディアアイテムを選択するように電子デバイスに要求するためのユーザの認識的負担を軽減し、それにより効率的なヒューマンマシンインタフェースを作り出す。これは、再生される要求されたタイプのメディアアイテムに加えて同じタイプの追加のオーディオメディアアイテムが表示されるため、入力と追加の要求の数が減るので、デバイスのバッテリが保護される。
いくつかの実施形態では、ブロック１９１０で、電子デバイスは、第１のタイプのオーディオメディアアイテムの第１のオーディオメディアアイテムを再生するのと同時に、第１のオーディオメディアアイテムを識別するグラフィカルオブジェクト（例えば、１８２０Ｂ、１８４０）（例えば、アイテム名（例えば、森のサウンド）、アイテムを識別する画像）を表示する。
いくつかの実施形態では、第１のタイプのオーディオメディアアイテムの第１のオーディオメディアアイテムを再生した後、電子デバイスは、第１のタイプのオーディオメディアアイテムを再生するための第２の要求（例えば、１８５０Ｂ）を受信する。いくつかの実施形態では、第２の要求は、第１のタイプのオーディオメディアアイテムを識別し、第１のタイプの個別のオーディオメディアアイテムを識別しない。いくつかの実施形態では、第１のタイプのオーディオメディアアイテム再生の第２の要求を受信したことに応答して、電子デバイスは、第１のタイプのオーディオメディアアイテムの第３のオーディオメディアアイテム（例えば、第１のタイプの第１のオーディオメディアアイテムと同じアイテム１８４０、異なるアイテム１８３０Ａ、１８３０Ｂ、又は１８３０Ｃ）を表示する。いくつかの実施形態では、第１のタイプのオーディオメディアアイテム再生の第２の要求を受信したことに応答して、第１のタイプの個別のオーディオメディアアイテムを識別しない、第１のタイプのオーディオメディアアイテムを再生するための第１の所定数（例えば、３、５）の要求が受信されると満たされる基準を含む、第１の基準のセットが満たされるという判定に従って、電子デバイスは、第２のアフォーダンスであって、選択されると、第１のタイプのオーディオメディアアイテムの第４のオーディオメディアアイテム（例えば、第２のオーディオメディアアイテムとは異なる、第２のオーディオメディアアイテムと同じ）を表示する第２のアフォーダンス（例えば、１８３０Ａ～１８３０Ｃ）を表示する。いくつかの実施形態では、第１のタイプのオーディオメディアアイテムの第４のオーディオメディアアイテム（例えば、１８３０Ａ）は、第１のタイプのオーディオメディアアイテムの第３のオーディオメディアアイテム（例えば、１８３０Ｂ）とは異なる。いくつかの実施形態では、第１のタイプのオーディオメディアアイテム再生の第２の要求を受信したことに応答して、基準の第１のセットが満たされないという判定に従って、電子デバイスは、第２のアフォーダンスの表示を取り止める。いくつかの実施形態では、第１のタイプの追加のオーディオメディアアイテムのアフォーダンスは、所定の数の要求に対してのみ表示される。
いくつかの実施形態では、第１のタイプの個別のオーディオメディアアイテムを識別しない第１のタイプのオーディオメディアアイテムを再生するための第２の所定の数（例えば、３、５）の要求を受信した後、電子デバイスは、第１のタイプのオーディオメディアアイテムを再生するための第３の要求（例えば、１８５０Ｂ）を受信する。いくつかの実施形態では、第３の要求は、第１のタイプのオーディオメディアアイテムを識別し、第１のタイプの個別のオーディオメディアアイテムを識別しない。いくつかの実施形態では、第３の要求を受信したことに応答して、電子デバイスは、第３の要求（例えば、デフォルトのオーディオメディアアイテム、所定のオーディオメディアアイテム）の受信前に選択された第１のタイプのオーディオメディアアイテムの第５のオーディオメディアアイテム（例えば、１８４０）（例えば、第１のタイプの第１のオーディオメディアアイテムと同じアイテム、第１のタイプの異なるアイテム）を表示する。いくつかの実施形態では、第５のオーディオメディアアイテムは、最近の再生及び再生の頻度からなるグループから選択される１つ以上の要因に基づいて選択された（例えば、予め選択された）。特定のタイプのオーディオメディアアイテムを再生するための所定の数の要求の後に、特定のタイプのオーディオメディアアイテムの所定のオーディオメディアアイテムを再生することは、より効率的なユーザエクスペリエンスを提供する。この方法は、ユーザが既に第２の所定の回数要求した後に、特定のタイプのオーディオメディアアイテムのセット（例えば、あるカテゴリのサウンド（例えば、癒やしサウンド））からオーディオメディアアイテムを選択しなければならないユーザの認識的負担を軽減し、それにより、より効率的なヒューマンマシンインタフェースを作り出す。これにより、追加のユーザ入力を必要とせずに所定のオーディオメディアアイテムが自動的に再生されるため、入力及び追加要求の数が減るため、デバイスのバッテリも節約できる。
いくつかの実施形態では、第１のタイプのオーディオメディアアイテムは、インストゥルメンタル又は声のオーディオ要素を含まないオーディオメディアアイテムである（例えば、オーディオメディアアイテムは自然音、非人工音である）。いくつかの実施形態では、再生中、オーディオメディアアイテムは一時停止することができるが、早送りすることはできない。いくつかの実施形態では、オーディオメディアアイテムは、生成されたホワイトノイズを含む。
いくつかの実施形態では、第１のタイプのオーディオメディアアイテムは、ランダムに選択され、配列された複数のオーディオセグメントを含むオーディオメディアアイテムである（例えば、オーディオメディアアイテムは、複数の利用可能なオーディオセグメントからランダムに選択され、ランダムに選択されたセグメントをランダムに選択された順序で配列することによって生成された）。
いくつかの実施形態では、電子デバイスはマイクロフォンを含む。いくつかの実施形態では、第１のタイプのオーディオメディアアイテムの再生要求は、マイクロフォンを介して検出された音声入力（例えば、１８５０Ｂ）である。
いくつかの実施形態では、電子デバイスはタッチ感知面を含む。いくつかの実施形態では、第１のタイプのオーディオメディアアイテムの再生要求は、タッチ感知面を介して検出された１つ以上の入力のセットである。
方法１９００（例えば、図１９）に関して上記したプロセスの詳細はまた、前述した／後述する方法にも類似の方式で適用可能であることに留意されたい。例えば、方法１９００は、任意選択的に、方法１５００、及び１７００に関して前述した様々な方法の特性のうちの１つ以上を含む。例えば、方法１７００に記載の複数の構成要素を有する制御可能外部デバイスは、方法１５００及び１７００に記載のインタフェースを使用して構成及びアクセスすることができる、方法１５００及び１７００の制御可能外部デバイスであり得る。簡潔にするために、これらの詳細は、以下で繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。これらの実施形態は、本技術の原理、及びその実際の適用を最もよく説明するために、選択及び記載されている。それにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技術及び様々な実施形態を最も良好に利用することが可能となる。
添付図面を参照して、本開示及び例を十分に説明してきたが、様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。このような変更及び修正は、特許請求の範囲によって定義されるとおりの本開示及び実施例の範囲内に含まれるものと理解されるべきである。
上述のように、本技術の一態様は、制御可能外部デバイスの管理を改善するために、様々なソースから入手可能なデータを収集及び使用することである。本開示は、いくつかの例において、この収集されたデータは、特定の人を一意に特定する個人情報データ、又は特定の人に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを想到している。そのような個人情報データとしては、人口統計データ、位置ベースのデータ、電話番号、電子メールアドレス、ツイッターＩＤ、自宅の住所、ユーザの健康又はフィットネスのレベルに関するデータ若しくは記録（例えば、バイタルサイン測定値、投薬情報、運動情報）、誕生日、あるいは任意の他の識別情報又は個人情報を挙げることができる。
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、パーソナル情報データを使用して、デバイスの改善された管理及び監視を提供することができ、一般にセキュリティ（ホームセキュリティなど）を改善できる。したがって、そのような個人情報データの使用は、配信されるコンテンツの意図的な制御を可能にする。更には、ユーザに利益をもたらす、個人情報データに関する他の使用もまた、本開示によって想到される。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスについての洞察を提供するために使用することができ、あるいは、ウェルネスの目標を追求するための技術を使用している個人への、積極的なフィードバックとして使用することもできる。
本開示は、そのような個人情報データの収集、分析、開示、伝送、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び／又はプライバシー慣行を遵守するものとなることを想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能とするべきであり、データの収集及び／又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更には、そのような収集／共有は、ユーザに告知して同意を得た後に実施されるべきである。更には、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。更には、ポリシー及び慣行は、収集及び／又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はアクセスは、医療保険の相互運用性と説明責任に関する法律（Health Insurance Portability and Accountability Act、ＨＩＰＡＡ）などの、連邦法及び／又は州法によって管理することができ、その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国の異なる個人データのタイプに関して、異なるプライバシー慣行が保たれるべきである。
前述のことがらにも関わらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するように、ハードウェア要素及び／又はソフトウェア要素を提供することができると想到する。例えば、制御可能外部デバイスを管理する場合、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択できるように構成され得る。「オプトイン」及び「オプトアウト」の選択肢を提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを想到する。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
更には、本開示の意図は、個人情報データを、非意図的若しくは無許可アクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなった時点で削除することによって、危険性を最小限に抑えることができる。更には、適用可能な場合、特定の健康関連アプリケーションにおいて、ユーザのプライバシーを保護するために、データの非特定化を使用することができる。非特定化は、適切な場合には、特定の識別子（例えば、生年月日など）を除去すること、記憶されたデータの量又は特異性を制御すること（例えば、位置データを住所レベルよりも都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって情報集約すること）及び／又は他の方法によって、容易にすることができる。
それゆえ、本開示は、１つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものではあるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することもまた可能であることを想到している。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部分が欠如することにより、実施不可能となるものではない。例えば、コンテンツ（ビデオコンテンツ）は、ユーザに関連付けられたデバイスによりリクエストされたコンテンツ、コンテンツ配信サービスで使用可能な他の非個人情報、若しくは公的に使用可能な情報などの、非個人情報データ又は個人情報の最小限の量のみに基づいて嗜好を推測することにより、選択してユーザに配信することができる。

Claims (10)

  1. 方法であって、
    表示デバイスを備えた電子デバイスにおいて、
    前記電子デバイスが第１の制御可能外部デバイスを制御するように構成されていない間に、前記第１の制御可能外部デバイスを制御するように前記電子デバイスを構成するための要求に対応する１つ以上の入力の第１のセットを検出することと、
    １つ以上の入力の前記第１のセットを検出したことに応答して、前記第１の制御可能外部デバイスを制御するように前記電子デバイスを構成するためのプロセスを開始することであって、前記プロセスは、
    前記第１の制御可能外部デバイスに対応する情報を受信することと、
    前記受信された情報に基づいて、前記第１の制御可能外部デバイスが、前記第１の制御可能外部デバイスの複数の下位構成要素に関連付けられた複数の制御可能機能に関連付けられているという判定に従って、前記表示デバイスに、前記第１の制御可能外部デバイス及び前記複数の下位構成要素を含むグループに対応する第１のアクセサリアフォーダンスを表示することと、
    前記受信された情報に基づいて、前記第１の制御可能外部デバイスが前記複数の下位構成要素と関連付けられていないという判定に従って、前記表示デバイスに、前記第１の制御可能外部デバイスに対応する第２のアクセサリアフォーダンスを表示することと、を含むことと、
    前記表示デバイスに、前記第１のアクセサリアフォーダンス又は前記第２のアクセサリアフォーダンスを表示している間に、第２の入力を検出することと、
    前記第２の入力を検出したことに応答して、
    前記第２の入力が前記第１のアクセサリアフォーダンスの選択に対応するという判定に従って、前記表示デバイスに、前記第１の制御可能外部デバイス及び前記複数の下位構成要素に対応する複数の制御アフォーダンスを含む第１のアクセサリインタフェースと、制御再構成アフォーダンスであって、選択されると、前記第１のアクセサリインタフェースから前記複数の制御アフォーダンスのうちの少なくとも第１の制御アフォーダンスを除去するためのプロセスを開始する制御再構成アフォーダンスと、を表示することと、
    前記第２の入力が前記第２のアクセサリアフォーダンスの選択に対応するという判定に従って、前記表示デバイスに、前記制御再構成アフォーダンスを表示することなく、前記第１の制御可能外部デバイスの制御を含む第２のアクセサリインタフェースを表示することと、を含む、方法。
  2. 前記第１のアクセサリインタフェースは、グループ制御アフォーダンスであって、選択されると、前記複数の下位構成要素の各下位構成要素の対応する状態に影響を及ぼすコマンドを前記第１の制御可能外部デバイスに送信するグループ制御アフォーダンスを含む、請求項１に記載の方法。
  3. 前記第１の制御アフォーダンスの選択に対応する第３の入力を検出することと、
    前記第３の入力を検出したことに応答して、前記複数の下位構成要素の各下位構成要素の対応する状態に影響を及ぼすコマンドを前記第１の制御可能外部デバイスに送信することと、を更に含む、請求項２に記載の方法。
  4. 前記第１のアクセサリインタフェースの前記複数の制御アフォーダンスは、前記複数の下位構成要素のうちの第１の下位構成要素に関連付けられた第１の制御アフォーダンスと、前記複数の下位構成要素のうちの第２の下位構成要素に関連付けられた第２の制御アフォーダンスとを含み、前記方法は、
    前記第１のアクセサリインタフェースを表示している間に、前記第１の制御アフォーダンスに対応する第４の入力を検出することと、
    前記第４の入力を検出したことに応答して、前記第２の下位構成要素の状態に影響を及ぼすコマンドを前記第１の制御可能外部デバイスに送信することなく、前記第１の下位構成要素の状態に影響を及ぼすコマンドを前記第１の制御可能外部デバイスに送信することと、を更に含む、請求項１乃至３のいずれか１項に記載の方法。
  5. 前記第１のアクセサリインタフェースは、アクセサリ除去アフォーダンスを含み、前記方法は、
    前記アクセサリ除去アフォーダンスに対応する第５の入力を検出することと、
    前記アクセサリ除去アフォーダンスに対応する前記第５の入力を検出したことに応答して、前記第１の制御可能外部デバイスをもはや制御しないように前記電子デバイスを構成するためのプロセスを開始することであって、
    アラート基準であって、前記第１の制御可能外部デバイスが、前記電子デバイスが現在制御するように構成されている少なくとも１つの他の下位構成要素を含む複合外部デバイスの下位構成要素デバイスであるときに満たされる基準を含むアラート基準のセットが満たされたという判定に従って、前記第１の制御可能外部デバイスをもはや制御しないように前記電子デバイスを構成するための前記プロセスを完了することはまた、前記少なくとも１つの他の下位構成要素デバイスをもはや制御しないように前記電子デバイスを構成することであるというインジケーションを表示することと、
    アラート基準の前記セットが満たされないという判定に従って、前記第１の制御可能外部デバイスをもはや制御しないように前記電子デバイスを構成するためのプロセスを完了することはまた、前記少なくとも１つの他の下位構成要素デバイスをもはや制御しないように前記電子デバイスを構成することであるという前記インジケーションを表示することを取り止めることと、を含むことと、を更に含む、請求項１乃至４のいずれか１項に記載の方法。
  6. 前記複数の制御アフォーダンスは、第１のタイプの下位構成要素に対応する１つ以上の制御アフォーダンスと、第２のタイプの下位構成要素に対応する１つ以上の制御アフォーダンスとを含み、前記方法は、
    前記第１のアクセサリインタフェースを表示している間に、前記制御再構成アフォーダンスに対応する入力を含む、１つ以上の入力の第２のセットを検出することと、
    １つ以上の入力の前記第２のセットを検出したことに応答して、
    前記第１のアクセサリインタフェースの表示を停止し、前記第１のアクセサリアフォーダンスの表示を停止することと、
    第３のアクセサリアフォーダンスであって、選択されると、第１のタイプの下位構成要素に対応する前記１つ以上の制御アフォーダンスを含む第３のアクセサリインタフェースを表示する第３のアクセサリアフォーダンスを表示することと、
    第４のアクセサリアフォーダンスであって、選択されると、第２のタイプの下位構成要素に対応する前記１つ以上の制御アフォーダンスを含む第４のアクセサリインタフェースを表示する第４のアクセサリアフォーダンスを表示することと、を更に含む、請求項１乃至５のいずれか１項に記載の方法。
  7. 前記第３のアクセサリインタフェースは再グループ化アフォーダンスを含み、前記方法は、
    前記第３のアクセサリインタフェースを表示している間に、前記再グループ化アフォーダンスに対応する入力を含む、１つ以上の入力の第３のセットを検出することと、
    １つ以上の入力の前記第３のセットを検出したことに応答して、
    前記第３のアクセサリアフォーダンス及び前記第４のアクセサリアフォーダンスの表示を停止することと、
    前記第１のアクセサリアフォーダンスであって、選択されると、前記複数の制御アフォーダンスを含む前記第１のアクセサリインタフェースを表示する前記第１のアクセサリアフォーダンスを再表示することと、を更に含む、請求項６に記載の方法。
  8. コンピュータに請求項１乃至７のいずれか１項に記載の方法を実行させるコンピュータプログラム。
  9. 請求項８に記載のコンピュータプログラムを記憶するメモリと、
    前記メモリに記憶された前記コンピュータプログラムを実行可能な１つ以上のプロセッサと、を備える電子デバイス。
  10. 請求項１乃至７のいずれか１項に記載の方法を実行するための手段を備える電子デバイス。
JP2022014389A 2019-05-31 2022-02-01 制御可能外部デバイスを管理するためのユーザインタフェース Active JP7231767B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023022576A JP2023062082A (ja) 2019-05-31 2023-02-16 制御可能外部デバイスを管理するためのユーザインタフェース

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962855895P 2019-05-31 2019-05-31
US62/855,895 2019-05-31
US16/584,743 US10904029B2 (en) 2019-05-31 2019-09-26 User interfaces for managing controllable external devices
US16/584,743 2019-09-26
US16/586,002 US10779085B1 (en) 2019-05-31 2019-09-27 User interfaces for managing controllable external devices
US16/586,002 2019-09-27
JP2021026630A JP7019081B2 (ja) 2019-05-31 2021-02-22 制御可能外部デバイスを管理するためのユーザインタフェース

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021026630A Division JP7019081B2 (ja) 2019-05-31 2021-02-22 制御可能外部デバイスを管理するためのユーザインタフェース

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023022576A Division JP2023062082A (ja) 2019-05-31 2023-02-16 制御可能外部デバイスを管理するためのユーザインタフェース

Publications (2)

Publication Number Publication Date
JP2022058822A JP2022058822A (ja) 2022-04-12
JP7231767B2 true JP7231767B2 (ja) 2023-03-01

Family

ID=72425688

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2020558885A Active JP6934577B2 (ja) 2019-05-31 2020-03-24 制御可能外部デバイスを管理するためのユーザインタフェース
JP2021026630A Active JP7019081B2 (ja) 2019-05-31 2021-02-22 制御可能外部デバイスを管理するためのユーザインタフェース
JP2022014389A Active JP7231767B2 (ja) 2019-05-31 2022-02-01 制御可能外部デバイスを管理するためのユーザインタフェース
JP2023022576A Pending JP2023062082A (ja) 2019-05-31 2023-02-16 制御可能外部デバイスを管理するためのユーザインタフェース

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2020558885A Active JP6934577B2 (ja) 2019-05-31 2020-03-24 制御可能外部デバイスを管理するためのユーザインタフェース
JP2021026630A Active JP7019081B2 (ja) 2019-05-31 2021-02-22 制御可能外部デバイスを管理するためのユーザインタフェース

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023022576A Pending JP2023062082A (ja) 2019-05-31 2023-02-16 制御可能外部デバイスを管理するためのユーザインタフェース

Country Status (7)

Country Link
US (4) US10904029B2 (ja)
EP (2) EP3869312A1 (ja)
JP (4) JP6934577B2 (ja)
KR (4) KR102275853B1 (ja)
CN (3) CN112506346B (ja)
AU (5) AU2020257092B2 (ja)
WO (1) WO2020242563A1 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016036436A1 (en) 2014-09-02 2016-03-10 Apple Inc. Stopwatch and timer user interfaces
US11782570B2 (en) * 2017-02-23 2023-10-10 Jue-Hsuan Hsiao Integration platform of internet of things and virtual device
FR3063364B1 (fr) * 2017-02-28 2022-08-19 Mathieu Dufourcq Salle de sport de type "fitness"
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
KR102352721B1 (ko) 2018-05-07 2022-01-19 애플 인크. 라이브 비디오 피드들 및 기록된 비디오를 보기 위한 사용자 인터페이스들
USD926797S1 (en) * 2019-02-15 2021-08-03 Canva Pty Ltd Display screen or portion thereof with a graphical user interface
USD926205S1 (en) * 2019-02-15 2021-07-27 Canva Pty Ltd Display screen or portion thereof with a graphical user interface
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
EP4231124A1 (en) 2019-05-31 2023-08-23 Apple Inc. User interfaces for audio media control
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
USD946011S1 (en) * 2019-08-14 2022-03-15 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD946010S1 (en) * 2019-08-14 2022-03-15 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD921669S1 (en) * 2019-09-09 2021-06-08 Apple Inc. Display screen or portion thereof with animated graphical user interface
JP7335794B2 (ja) * 2019-11-20 2023-08-30 シュナイダーエレクトリックホールディングス株式会社 情報処理装置及び設定装置
US11686493B2 (en) 2019-12-04 2023-06-27 Ademco Inc. Digital HVAC controller for navigating information based on two or more inputs
US11280512B2 (en) * 2019-12-04 2022-03-22 Ademco Inc. Digital HVAC controller with carousel screens
USD1018575S1 (en) * 2019-12-09 2024-03-19 Caterpillar Inc. Display screen having a graphical user interface
USD950575S1 (en) * 2020-01-28 2022-05-03 Johnson Controls Tyco IP Holdings LLP Display screen or portion thereof with graphical user interface
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
USD944829S1 (en) 2020-05-14 2022-03-01 Lutron Technology Company Llc Display screen or portion thereof with graphical user interface
USD947234S1 (en) 2020-07-23 2022-03-29 Lutron Technology Company Llc Display screen or portion thereof with animated graphical user interface
USD960896S1 (en) * 2020-07-27 2022-08-16 Lutron Technology Company Llc Display screen or portion thereof with graphical user interface
USD960897S1 (en) 2020-07-27 2022-08-16 Lutron Technology Company Llc Display screen or portion thereof with graphical user interface
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
USD988354S1 (en) * 2020-09-29 2023-06-06 Yokogawa Electric Corporation Display screen or portion thereof with transitional graphical user interface
USD989091S1 (en) * 2020-09-29 2023-06-13 Huawei Technologies Co., Ltd. Display screen or portion thereof with graphical user interface
USD971952S1 (en) * 2020-12-21 2022-12-06 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD995560S1 (en) * 2021-01-08 2023-08-15 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
WO2022155609A1 (en) * 2021-01-18 2022-07-21 Apple Inc. Configuring accessories
US11758035B2 (en) 2021-01-18 2023-09-12 Apple Inc. User interface for configuring external accessories with accessory device management applications
USD1037267S1 (en) * 2021-03-09 2024-07-30 Trolex Corporation Display screen or portion thereof with graphical user interface
USD997184S1 (en) * 2021-03-19 2023-08-29 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP1712493S (ja) * 2021-03-25 2022-04-13 操作画像
US12003659B2 (en) 2021-04-15 2024-06-04 Apple Inc. Interfaces and devices for dynamically-available media playback
CN113157511B (zh) * 2021-04-27 2024-06-11 深圳创维－Rgb电子有限公司 外设检测方法、装置及可读存储介质
USD1038958S1 (en) 2021-08-17 2024-08-13 Beijing Kuaimajiabian Technology Co., Ltd. Display screen or portion thereof with an animated graphical user interface
USD997185S1 (en) * 2021-09-16 2023-08-29 7ollar Corp FedNow IP Holdings Display screen portion with animated graphical user interface
USD997955S1 (en) * 2021-09-22 2023-09-05 Axiomatic Data LLC Display panel portion with a computer icon
EP4387213A1 (en) * 2021-11-23 2024-06-19 Samsung Electronics Co., Ltd. Electronic device for providing notification and operation method thereof
WO2023189342A1 (ja) 2022-03-31 2023-10-05 三菱ケミカル株式会社 炭素材組成物及びその製造方法、並びに負極及び二次電池
USD1038962S1 (en) * 2022-05-26 2024-08-13 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD1035680S1 (en) * 2022-06-06 2024-07-16 Apple Inc. Display screen or portion thereof with graphical user interface
US20240077991A1 (en) * 2022-09-02 2024-03-07 Apple Inc. Content output devices and user interfaces
CN117879981A (zh) * 2022-10-12 2024-04-12 华为技术有限公司 显示方法及电子设备
KR20240057213A (ko) * 2022-10-24 2024-05-02 삼성전자주식회사 이웃 디바이스를 제어 가능한 전자 디바이스 및 그 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140236325A1 (en) 2013-02-20 2014-08-21 Panasonic Corporation Control method for information apparatus and computer-readable recording medium
WO2014128800A1 (ja) 2013-02-20 2014-08-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報端末の制御方法及びプログラム
JP2017041008A (ja) 2015-08-18 2017-02-23 ヤマハ株式会社 制御装置
US20170359189A1 (en) 2016-06-12 2017-12-14 Apple Inc. Automatically Grouping Accessories
US20170357434A1 (en) 2016-06-12 2017-12-14 Apple Inc. User interface for managing controllable external devices

Family Cites Families (790)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB412212A (en) 1932-12-19 1934-06-19 Ralph Dunstan Sansome A new or improved method of, and means for, covering the exposed surfaces of cast metal goods
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
US5086385A (en) 1989-01-31 1992-02-04 Custom Command Systems Expandable home automation system
JP3128126B2 (ja) 1990-02-21 2001-01-29 カシオ計算機株式会社 ストップウォッチ
US5202961A (en) 1990-06-08 1993-04-13 Apple Computer, Inc. Sequential information controller
JPH04175921A (ja) 1990-11-09 1992-06-23 Hitachi Ltd 宅内情報盤
JP3465914B2 (ja) 1992-12-01 2003-11-10 松下電器産業株式会社 シーン制御処理装置
EP0626635B1 (en) 1993-05-24 2003-03-05 Sun Microsystems, Inc. Improved graphical user interface with method for interfacing to remote devices
US6456306B1 (en) 1995-06-08 2002-09-24 Nortel Networks Limited Method and apparatus for displaying health status of network devices
US5795301A (en) 1995-08-31 1998-08-18 Seiko Epson Corporation Display method used in portable pulse measuring device
US6140987A (en) * 1996-09-18 2000-10-31 Intellinet, Inc. User interface for home automation system
US20030093790A1 (en) 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
US5974235A (en) 1996-10-31 1999-10-26 Sensormatic Electronics Corporation Apparatus having flexible capabilities for analysis of video information
US20020002039A1 (en) 1998-06-12 2002-01-03 Safi Qureshey Network-enabled audio device
CN1151704C (zh) 1998-01-23 2004-05-26 音响株式会社 声像定位装置和方法
US6323846B1 (en) 1998-01-26 2001-11-27 University Of Delaware Method and apparatus for integrating manual input
US7831930B2 (en) 2001-11-20 2010-11-09 Universal Electronics Inc. System and method for displaying a user interface for a remote control application
KR20010041425A (ko) 1998-12-29 2001-05-15 요트.게.아. 롤페즈 분포된 네트워크 장치를 갖는 홈 제어 시스템
US6901439B1 (en) 1999-01-22 2005-05-31 Leviton Manufacturing Co., Inc. Method of adding a device to a network
US6262724B1 (en) 1999-04-15 2001-07-17 Apple Computer, Inc. User interface for presenting media information
US7293280B1 (en) 1999-07-08 2007-11-06 Microsoft Corporation Skimming continuous multimedia content
AUPQ217399A0 (en) 1999-08-12 1999-09-02 Honeywell Limited Realtime digital video server
JP2001067099A (ja) 1999-08-25 2001-03-16 Olympus Optical Co Ltd 音声再生装置
KR100346263B1 (ko) 1999-11-05 2002-07-26 엘지전자주식회사 멀티미디어 스트림의 브라우징, 편집, 인덱싱을 위한 다단계 위치/구간 지정 방법
US20010032777A1 (en) 1999-12-30 2001-10-25 Finch Marshall A. Air-gap slide switch
EP1133119B1 (en) 2000-03-10 2006-12-13 Nokia Corporation Proximity based service adaption
KR100351815B1 (ko) 2000-03-13 2002-09-11 엘지전자 주식회사 홈 네트워크 환경에서의 기기 제어 방법
JP4325071B2 (ja) 2000-04-07 2009-09-02 ソニー株式会社 デジタルビデオ再生方法及びデジタルビデオ再生装置
JP4434424B2 (ja) 2000-04-18 2010-03-17 株式会社ルネサステクノロジ ホームエレクトロニクスシステム、ホームサーバ装置およびコンピュータをホームサーバ装置として機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体
US6483986B1 (en) 2000-05-26 2002-11-19 Keen Personal Media, Inc. Method and apparatus for recording streaming video data upon selection of alternative subject matter
US20050275626A1 (en) 2000-06-21 2005-12-15 Color Kinetics Incorporated Entertainment lighting system
KR20020050264A (ko) 2000-09-08 2002-06-26 요트.게.아. 롤페즈 컬러링된 슬라이더 바를 제공하는 재생 장치
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US6912429B1 (en) 2000-10-19 2005-06-28 Destiny Networks, Inc. Home automation system and method
AU2002225810A1 (en) 2000-11-02 2002-05-15 Sony Electronics Inc. Content and application download based on a home network system configuration profile
US6678413B1 (en) 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US7380216B2 (en) 2000-11-30 2008-05-27 International Business Machines Corporation Zoom-capable scrollbar
US7401351B2 (en) 2000-12-14 2008-07-15 Fuji Xerox Co., Ltd. System and method for video navigation and client side indexing
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
TW591353B (en) 2001-02-23 2004-06-11 Asulab Sa Portable object including means for activating an electronic function and method for controlling such an electronic function
US7428023B2 (en) 2001-04-19 2008-09-23 Digeo, Inc. Remote control device with integrated display screen for controlling a digital video recorder
US7904814B2 (en) 2001-04-19 2011-03-08 Sharp Laboratories Of America, Inc. System for presenting audio-video content
US6757517B2 (en) 2001-05-10 2004-06-29 Chin-Chi Chang Apparatus and method for coordinated music playback in wireless ad-hoc networks
JP4293583B2 (ja) 2001-07-13 2009-07-08 株式会社バンダイナムコゲームス 情報配信システムおよび情報記憶媒体
JP2003228780A (ja) 2001-11-28 2003-08-15 Matsushita Electric Ind Co Ltd ホームセキュリティシステム
US20030110511A1 (en) 2001-12-11 2003-06-12 Schutte Mark E. Controlling personal video recording functions from interactive television
CN1266927C (zh) 2001-12-14 2006-07-26 皇家飞利浦电子股份有限公司 使用便携式设备启动交互的方法以及所使用的便携式设备
US20030112938A1 (en) 2001-12-17 2003-06-19 Memcorp, Inc. Telephone answering machine and method employing caller identification data
EP1370115B1 (en) 2002-06-07 2009-07-15 Panasonic Corporation Sound image control system
US6792323B2 (en) 2002-06-27 2004-09-14 Openpeak Inc. Method, system, and computer program product for managing controlled residential or non-residential environments
US7933945B2 (en) 2002-06-27 2011-04-26 Openpeak Inc. Method, system, and computer program product for managing controlled residential or non-residential environments
US7656393B2 (en) 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
JP2004096397A (ja) 2002-08-30 2004-03-25 Ntt Docomo Inc 電子機器の遠隔制御方法
JP3978599B2 (ja) 2002-09-19 2007-09-19 三和シヤッター工業株式会社 ホームネットワークシステム
US20040095377A1 (en) 2002-11-18 2004-05-20 Iris Technologies, Inc. Video information analyzer
JP4340566B2 (ja) 2003-04-01 2009-10-07 株式会社リコー Ｗｅｂページ生成装置、組み込み装置、Ｗｅｂページ生成の制御方法、Ｗｅｂページ生成プログラム及び記録媒体
JP4062171B2 (ja) 2003-05-28 2008-03-19 ソニー株式会社 積層構造の製造方法
GB0312465D0 (en) 2003-05-30 2003-07-09 Therefore Ltd A data input method for a computing device
US7571014B1 (en) 2004-04-01 2009-08-04 Sonos, Inc. Method and apparatus for controlling multimedia players in a multi-zone system
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
EP1513084A1 (de) 2003-09-02 2005-03-09 Liechti Ag Verfahren zur zeitlichen Akzeptanz von Einrichtungen, eine hierzu verwendbare Anordnung sowie Gerätschaften
US7683940B2 (en) 2003-09-12 2010-03-23 Canon Kabushiki Kaisha Streaming non-continuous video data
US7363028B2 (en) 2003-11-04 2008-04-22 Universal Electronics, Inc. System and method for controlling device location determination
US9754480B2 (en) 2003-11-04 2017-09-05 Universal Electronics Inc. System and method for controlling device location determination
CA2546670C (en) 2003-12-01 2012-03-13 Samsung Electronics Co., Ltd. Home network system and method therefor
US20050163345A1 (en) 2003-12-03 2005-07-28 Safehouse International Limited Analysing image data
US7305438B2 (en) 2003-12-09 2007-12-04 International Business Machines Corporation Method and system for voice on demand private message chat
US7079454B2 (en) 2003-12-23 2006-07-18 Alexander Wellen Tactile timepiece
EP1555772A3 (en) 2004-01-15 2013-07-17 Yamaha Corporation Remote control method of external devices
US7292245B2 (en) 2004-01-20 2007-11-06 Sensitron, Inc. Method and apparatus for time series graph display
US7697729B2 (en) 2004-01-29 2010-04-13 Authentec, Inc. System for and method of finger initiated actions
US7092768B1 (en) 2004-03-09 2006-08-15 Liquid Sky Studios, Inc. Distributed control system
US9374607B2 (en) 2012-06-26 2016-06-21 Sonos, Inc. Media playback system with guest access
US8028323B2 (en) 2004-05-05 2011-09-27 Dryden Enterprises, Llc Method and system for employing a first device to direct a networked audio device to obtain a media item
JP2005333294A (ja) 2004-05-19 2005-12-02 Funai Electric Co Ltd 遠隔見守りシステムの撮像設定装置
US8462961B1 (en) 2004-05-27 2013-06-11 Singlewire Software, LLC Method and system for broadcasting audio transmissions over a network
US7197121B2 (en) 2004-06-30 2007-03-27 Glenayre Electronics, Inc. Audio chunking
US20060013554A1 (en) 2004-07-01 2006-01-19 Thomas Poslinski Commercial storage and retrieval
US7730223B1 (en) * 2004-07-30 2010-06-01 Apple Inc. Wireless home and office appliance management and integration
US20100081375A1 (en) 2008-09-30 2010-04-01 Apple Inc. System and method for simplified control of electronic devices
US7562299B2 (en) 2004-08-13 2009-07-14 Pelco, Inc. Method and apparatus for searching recorded video
US8566879B2 (en) 2004-09-28 2013-10-22 Sony Corporation Method and apparatus for navigating video content
US7254516B2 (en) 2004-12-17 2007-08-07 Nike, Inc. Multi-sensor monitoring of athletic performance
US7683889B2 (en) 2004-12-21 2010-03-23 Microsoft Corporation Pressure based selection
JP2006185154A (ja) 2004-12-27 2006-07-13 Matsushita Electric Ind Co Ltd 機器管理装置
US20060171453A1 (en) 2005-01-04 2006-08-03 Rohlfing Thomas R Video surveillance system
US7593782B2 (en) 2005-01-07 2009-09-22 Apple Inc. Highly portable media device
US20060161621A1 (en) 2005-01-15 2006-07-20 Outland Research, Llc System, method and computer program product for collaboration and synchronization of media content on a plurality of media players
US20060174035A1 (en) 2005-01-28 2006-08-03 At&T Corp. System, device, & method for applying COS policies
KR20160150116A (ko) 2005-03-04 2016-12-28 애플 인크. 다기능 휴대용 장치
US7843491B2 (en) 2005-04-05 2010-11-30 3Vr Security, Inc. Monitoring and presenting video surveillance data
US7769819B2 (en) 2005-04-20 2010-08-03 Videoegg, Inc. Video editing with timeline representations
US8244179B2 (en) 2005-05-12 2012-08-14 Robin Dua Wireless inter-device data processing configured through inter-device transmitted data
CN100440947C (zh) 2005-05-13 2008-12-03 海尔集团公司 一种多功能电视机
US9743266B2 (en) 2005-05-23 2017-08-22 Invention Science Fund I, Llc Device pairing via device to device contact
SG127770A1 (en) 2005-05-31 2006-12-29 Creactive Technology Ltd Methods of invoking various functions of a digitalmedia player using a single switch of the digital media player
US20060280186A1 (en) 2005-06-10 2006-12-14 Interdigital Technology Corporation All IP network with server for dynamically downloading management policies to diverse IP networks and converged IP communication units
JP2006350819A (ja) 2005-06-17 2006-12-28 Toshiba Corp 家電機器制御システム
AU2005202866A1 (en) 2005-06-29 2007-01-18 Canon Kabushiki Kaisha Storing video data in a video file
US20070033632A1 (en) 2005-07-19 2007-02-08 March Networks Corporation Temporal data previewing system
US7567898B2 (en) 2005-07-26 2009-07-28 Broadcom Corporation Regulation of volume of voice in conjunction with background sound
JP2007058663A (ja) 2005-08-25 2007-03-08 Aiphone Co Ltd インターホンシステム
US8892629B2 (en) 2005-09-01 2014-11-18 Samsung Electronics Co., Ltd. System and method for displaying a virtual meeting room
US7415310B2 (en) 2005-09-15 2008-08-19 Intermatic Incorporated System for home automation
US7849323B2 (en) 2005-11-09 2010-12-07 Emc Corporation Password presentation for multimedia devices
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
KR101263392B1 (ko) 2006-01-09 2013-05-21 삼성전자주식회사 홈네트워크 원격 제어기의 비밀키를 이용한 소유권 공유방법 및 장치
US8954852B2 (en) 2006-02-03 2015-02-10 Sonic Solutions, Llc. Adaptive intervals in navigating content and/or media
KR20080100342A (ko) 2006-02-10 2008-11-17 스트랜즈, 아이엔씨. 동적 양방향 엔터테인먼트
US8516087B2 (en) 2006-02-14 2013-08-20 At&T Intellectual Property I, L.P. Home automation system and method
US8001219B2 (en) 2006-03-16 2011-08-16 Exceptional Innovation, Llc User control interface for convergence and automation system
DE102006033134A1 (de) 2006-07-18 2008-01-24 Abb Patent Gmbh Anzeige- und Bediengerät der Gebäudesystemtechnik
US8572169B2 (en) 2006-08-28 2013-10-29 Myspace, Llc System, apparatus and method for discovery of music within a social network
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7771112B2 (en) 2006-09-10 2010-08-10 Nike, Inc. Watch band or other wrist-borne device assemblies
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8645463B2 (en) 2006-09-25 2014-02-04 Cisco Technology, Inc. Methods and apparatuses for managing resources within a virtual room
US20080091717A1 (en) 2006-09-27 2008-04-17 Zachary Adam Garbow Generation of Collaborative Playlist Based Upon Musical Preference Data from Multiple Digital Media Players
US7983614B2 (en) 2006-09-29 2011-07-19 Sony Ericsson Mobile Communications Ab Handover for audio and video playback devices
US20230057851A1 (en) 2006-12-29 2023-02-23 Kip Prod P1 Lp Display inserts, overlays, and graphical user interfaces for multimedia systems
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US20080168395A1 (en) 2007-01-07 2008-07-10 Bas Ording Positioning a Slider Icon on a Portable Multifunction Device
US8519963B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture on a touch screen display
WO2008104995A2 (en) 2007-02-28 2008-09-04 Raja Raman A method and system for close range communication using audio tones
JP4312804B2 (ja) 2007-03-01 2009-08-12 株式会社日立国際電気 記録内容表示プログラム及び記録内容表示装置
DE602007007581D1 (de) 2007-04-17 2010-08-19 Harman Becker Automotive Sys Akustische Lokalisierung eines Sprechers
US8325936B2 (en) 2007-05-04 2012-12-04 Bose Corporation Directionally radiating sound in a vehicle
US8483413B2 (en) 2007-05-04 2013-07-09 Bose Corporation System and method for directionally radiating sound
US8068925B2 (en) 2007-06-28 2011-11-29 Apple Inc. Dynamic routing of audio among multiple audio devices
EP2018032A1 (en) 2007-07-20 2009-01-21 Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO Identification of proximate mobile devices
US8200681B2 (en) 2007-08-22 2012-06-12 Microsoft Corp. Collaborative media recommendation and sharing technique
US8760400B2 (en) 2007-09-07 2014-06-24 Apple Inc. Gui applications for use with 3D remote controller
EP2056627A1 (en) 2007-10-30 2009-05-06 SonicEmotion AG Method and device for improved sound field rendering accuracy within a preferred listening area
KR101407636B1 (ko) 2007-11-05 2014-06-16 삼성전자주식회사 영상 표시 장치 및 그 제어 방법
US8818941B2 (en) 2007-11-11 2014-08-26 Microsoft Corporation Arrangement for synchronizing media files with portable devices
US8943539B2 (en) 2007-11-21 2015-01-27 Rovi Guides, Inc. Enabling a friend to remotely modify user data
US8539357B2 (en) 2007-11-21 2013-09-17 Qualcomm Incorporated Media preferences
US8775647B2 (en) 2007-12-10 2014-07-08 Deluxe Media Inc. Method and system for use in coordinating multimedia devices
US20090153289A1 (en) 2007-12-12 2009-06-18 Eric James Hope Handheld electronic devices with bimodal remote control functionality
JP2008099330A (ja) 2007-12-18 2008-04-24 Sony Corp 情報処理装置、携帯電話機
US8724600B2 (en) 2008-01-07 2014-05-13 Tymphany Hong Kong Limited Systems and methods for providing a media playback in a networked environment
WO2009086599A1 (en) 2008-01-07 2009-07-16 Avega Systems Pty Ltd A user interface for managing the operation of networked media playback devices
KR101503714B1 (ko) 2008-02-05 2015-03-20 삼성전자주식회사 Ｇｕｉ 제공방법 및 이를 적용한 멀티미디어 기기
US20090232028A1 (en) 2008-03-11 2009-09-17 Aaron Baalbergen Configuration systems and methods for utilizing location information to configure devices in application systems
JP2011523727A (ja) 2008-03-31 2011-08-18 パケットビデオ コーポレーション ネットワークでメディアを管理、制御及び／又はレンダリングするシステム及び方法
JP2009295147A (ja) 2008-05-07 2009-12-17 Hoya Corp スクロール表示可能な情報処理装置
US20090299810A1 (en) 2008-05-09 2009-12-03 Jardine Joseph M Combining tasks and events
GB2460306B (en) 2008-05-29 2013-02-13 Intrasonics Sarl Data embedding system
US8839387B2 (en) 2009-01-28 2014-09-16 Headwater Partners I Llc Roaming services network and overlay networks
US8666086B2 (en) 2008-06-06 2014-03-04 777388 Ontario Limited System and method for monitoring/controlling a sound masking system from an electronic floorplan
US20090304205A1 (en) 2008-06-10 2009-12-10 Sony Corporation Of Japan Techniques for personalizing audio levels
US8977710B2 (en) 2008-06-18 2015-03-10 Qualcomm, Incorporated Remote selection and authorization of collected media transmission
US20170185277A1 (en) 2008-08-11 2017-06-29 Icontrol Networks, Inc. Automation system user interface
KR101524616B1 (ko) 2008-07-07 2015-06-02 엘지전자 주식회사 자이로센서를 구비한 휴대 단말기 및 그 제어방법
KR101446521B1 (ko) 2008-08-12 2014-11-03 삼성전자주식회사 터치 스크린의 정보 스크롤 제어 방법 및 장치
US8213463B2 (en) 2008-09-04 2012-07-03 Savant Systems, Llc Location-based sharing of multimedia control resources
US20100064255A1 (en) 2008-09-05 2010-03-11 Apple Inc. Contextual menus in an electronic device
US20100070490A1 (en) 2008-09-17 2010-03-18 Eloy Technology, Llc System and method for enhanced smart playlists with aggregated media collections
WO2010054373A2 (en) 2008-11-10 2010-05-14 Google Inc. Multisensory speech detection
US20100138007A1 (en) 2008-11-21 2010-06-03 Qwebl, Inc. Apparatus and method for integration and setup of home automation
FR2939554B1 (fr) 2008-12-10 2015-08-21 Somfy Sas Procede de fonctionnement d'un systeme domotique
KR101453144B1 (ko) 2008-12-18 2014-10-27 닛본 덴끼 가부시끼가이샤 슬라이드바 디스플레이 제어 장치 및 슬라이드바 디스플레이 제어 방법
USD736254S1 (en) 2008-12-26 2015-08-11 Sony Corporation Display panel or screen with an icon
KR101467796B1 (ko) 2009-01-12 2014-12-10 엘지전자 주식회사 이동단말기 및 그 제어 방법
US8363866B2 (en) 2009-01-30 2013-01-29 Panasonic Automotive Systems Company Of America Audio menu navigation method
US20100201815A1 (en) 2009-02-09 2010-08-12 Vitamin D, Inc. Systems and methods for video monitoring
US8243949B2 (en) 2009-04-14 2012-08-14 Plantronics, Inc. Network addressible loudspeaker and audio play
KR101549011B1 (ko) 2009-04-21 2015-09-01 엘지전자 주식회사 이동 단말기 및 이것의 방송 정보 디스플레이 방법
CN102449560B (zh) 2009-04-26 2016-12-21 耐克创新有限合伙公司 运动手表
US9141087B2 (en) 2009-04-26 2015-09-22 Nike, Inc. Athletic watch
US8214494B1 (en) 2009-05-18 2012-07-03 Alarm.Com Incorporated Network device management technology
KR20100132705A (ko) 2009-06-10 2010-12-20 삼성전자주식회사 컨텐츠 리스트 제공방법 및 이를 적용한 멀티미디어 기기
US8281244B2 (en) 2009-06-11 2012-10-02 Apple Inc. User interface for media playback
US8938675B2 (en) 2009-06-16 2015-01-20 Harman International Industries, Incorporated System for automated generation of audio/video control interfaces
KR101816113B1 (ko) 2009-07-16 2018-01-08 블루핀 랩스, 인코포레이티드 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체
CN101989072B (zh) 2009-07-31 2012-10-03 宁波家天下智能系统有限公司 一种家居设备控制器
US8935204B2 (en) 2009-08-14 2015-01-13 Aframe Media Services Limited Metadata tagging of moving and still image content
KR20110022980A (ko) 2009-08-28 2011-03-08 한국산업기술대학교산학협력단 기상 및 시간 정보를 이용하여 감성조명을 제어하기 위한 장치 및 그 방법
WO2011027964A1 (en) 2009-09-01 2011-03-10 Lg Electronics Inc. Method for controlling external device and remote controller thereof
KR101078141B1 (ko) 2009-09-08 2011-10-28 주식회사 팬택 합성 메뉴를 표시하는 이동 단말기
US8594980B2 (en) * 2009-09-18 2013-11-26 Verizon Patent And Licensing Inc. Method and apparatus of template model view generation for home monitoring and control
ITMI20091600A1 (it) 2009-09-18 2011-03-19 March Networks Corp Tolleranza ai guasti in un sistema di video sorveglianza
KR20110047764A (ko) 2009-10-30 2011-05-09 삼성전자주식회사 이동 단말을 이용하여 홈 네트워크 시스템을 제어하기 위한 방법 및 장치
US20110138284A1 (en) 2009-12-03 2011-06-09 Microsoft Corporation Three-state touch input system
JP2011124665A (ja) 2009-12-08 2011-06-23 Mitsubishi Electric Corp リモートコントロール装置及び設備機器システム
KR101450106B1 (ko) 2009-12-09 2014-10-14 나이키 이노베이트 씨.브이. 심박수 정보를 이용하는 운동 수행 모니터링 시스템
KR20110067492A (ko) 2009-12-14 2011-06-22 삼성전자주식회사 Ｇｕｉ 제공방법 및 이를 적용한 멀티미디어 기기
US8458780B1 (en) 2009-12-21 2013-06-04 Emc Corporation Pluggable login architecture and dynamic resource recognition
EP3091535B1 (en) 2009-12-23 2023-10-11 Google LLC Multi-modal input on an electronic device
KR20110074024A (ko) 2009-12-24 2011-06-30 삼성전자주식회사 멀티미디어 기기
KR101049909B1 (ko) 2009-12-28 2011-07-15 (주)블루다임 실시간 필기 공유방식의 통신 방법 및 그 시스템
KR20110077260A (ko) 2009-12-30 2011-07-07 주식회사 아이리버 애플리케이션과 상호작용하는 컨트롤 키를 제공하는 모바일 디바이스 및 그 방법
US8943415B2 (en) 2010-01-08 2015-01-27 Microsoft Corporation Third party control of location information access
KR20110093040A (ko) 2010-02-11 2011-08-18 엘지전자 주식회사 피사체 감시 장치 및 방법
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US20110252357A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Concurrently Open Software Applications
US8787618B2 (en) 2010-04-13 2014-07-22 Sony Corporation Content information processing device, content information processing method, content information processing program, and personal digital assistant
US8111589B2 (en) 2010-04-15 2012-02-07 Joel Vidal Digital wristwatch, digital watch, and digital clock
US8638222B2 (en) 2010-04-19 2014-01-28 Microsoft Corporation Controllable device selection based on controller location
CN102985915B (zh) * 2010-05-10 2016-05-11 网际网路控制架构网络有限公司 控制系统用户接口
EP2570977A4 (en) 2010-05-11 2017-11-29 Panasonic Corporation Electrical device control system, server, electrical device, and electrical device control method
US8789131B2 (en) 2010-05-14 2014-07-22 Lg Electronics Inc. Electronic device and method of sharing contents thereof with other devices
WO2011146898A2 (en) 2010-05-21 2011-11-24 Bologh Mark J Internet system for ultra high video quality
US20110291971A1 (en) 2010-05-28 2011-12-01 Funai Electric Co., Ltd. Highly Integrated Touch Screen Handheld Device
DE202010010266U1 (de) 2010-07-06 2010-10-14 Holzma Plattenaufteiltechnik Gmbh Plattenaufteilanlage
EP2609750A4 (en) 2010-08-26 2014-10-08 Tarik Taleb SYSTEM AND METHOD FOR CREATING A CUSTOMIZED MULTIMEDIA CONTENT CHANNEL FOR A SOCIAL NETWORK
US8854318B2 (en) 2010-09-01 2014-10-07 Nokia Corporation Mode switching
US9602849B2 (en) 2010-09-17 2017-03-21 Futurewei Technologies, Inc. Method and apparatus for scrub preview services
JP5627092B2 (ja) 2010-09-29 2014-11-19 株式会社セキュリティハウス・センター セキュリティシステム
US8923997B2 (en) 2010-10-13 2014-12-30 Sonos, Inc Method and apparatus for adjusting a speaker system
EP2633647B1 (en) 2010-10-27 2019-05-01 Telefonaktiebolaget LM Ericsson (publ) Authorizing an electronic device to control a media rendering unit
US20120115608A1 (en) 2010-11-05 2012-05-10 Howard Pfeifer Method and apparatus for controlling an audio parameter of a plurality of wagering game machines
KR101695398B1 (ko) 2010-12-01 2017-01-11 삼성에스디에스 주식회사 서브 단말에서의 홈 오토메이션 구성 기기 제어 장치 및 방법
JP5649425B2 (ja) 2010-12-06 2015-01-07 株式会社東芝 映像検索装置
US20130340097A1 (en) 2010-12-10 2013-12-19 David M. GOWEL Systems and methods for integrating personal social networks within an organization
WO2012085794A1 (en) 2010-12-22 2012-06-28 Koninklijke Philips Electronics N.V. Control of building automation systems
KR101924974B1 (ko) 2011-01-04 2018-12-04 삼성전자주식회사 이동통신 단말기에서 주변 디바이스를 원격 제어하기 위한 장치 및 방법
US20120169583A1 (en) 2011-01-05 2012-07-05 Primesense Ltd. Scene profiles for non-tactile user interfaces
KR101841574B1 (ko) 2011-01-06 2018-03-23 삼성전자 주식회사 동영상 장면 검색 방법 및 이를 지원하는 휴대 단말기
US8655345B2 (en) 2011-01-08 2014-02-18 Steven K. Gold Proximity-enabled remote control
US9049494B2 (en) 2011-01-31 2015-06-02 Cbs Interactive, Inc. Media playback control
WO2012104288A1 (en) 2011-02-03 2012-08-09 Telefonaktiebolaget L M Ericsson (Publ) A device having a multipoint sensing surface
US20120210226A1 (en) 2011-02-11 2012-08-16 Sony Network Entertainment International Llc Method to playback a recently-played asset via a second display
US20120222092A1 (en) 2011-02-25 2012-08-30 Qualcomm Incorporated Controlling access to media for an electronic device
FR2973186A1 (fr) 2011-03-22 2012-09-28 Sagemcom Broadband Sas Procede et dispositif de configuration sur la base de regles de gestion
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
US9727124B2 (en) 2011-04-19 2017-08-08 Apple Inc. Power saving application update in a portable electronic device
US8489065B2 (en) 2011-05-03 2013-07-16 Robert M Green Mobile device controller application for any security system
US9141616B2 (en) 2011-05-06 2015-09-22 Google Inc. Physical confirmation for network-provided content
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US8638385B2 (en) 2011-06-05 2014-01-28 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
WO2012169176A1 (ja) 2011-06-07 2012-12-13 パナソニック株式会社 電子機器
JP2013007921A (ja) 2011-06-24 2013-01-10 Sony Corp 音制御装置、プログラム及び制御方法
US8639706B1 (en) 2011-07-01 2014-01-28 Google Inc. Shared metadata for media files
US9639506B2 (en) * 2011-07-07 2017-05-02 Honeywell International Inc. Interface for home energy manager
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
US20130027289A1 (en) 2011-07-27 2013-01-31 Lg Electronics Inc. Electronic device
US10706096B2 (en) 2011-08-18 2020-07-07 Apple Inc. Management of local and remote media items
US8750677B2 (en) 2011-08-23 2014-06-10 Microsoft Corporation Method for transferring media playback from a different device
KR101962445B1 (ko) 2011-08-30 2019-03-26 삼성전자 주식회사 터치 스크린을 갖는 휴대 단말기 및 그의 사용자 인터페이스 제공 방법
US9286384B2 (en) 2011-09-21 2016-03-15 Sonos, Inc. Methods and systems to share media
US9052810B2 (en) 2011-09-28 2015-06-09 Sonos, Inc. Methods and apparatus to manage zones of a multi-zone media playback system
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US8917877B2 (en) 2011-10-12 2014-12-23 Sony Corporation Distance-based rendering of media files
KR101820734B1 (ko) 2011-10-14 2018-03-13 삼성전자 주식회사 모바일 단말기를 위한 동적 잠금 해제 방법 및 장치
CN103068095A (zh) 2011-10-21 2013-04-24 扬升照明股份有限公司 照明系统及照明系统的控制方法
JP5908253B2 (ja) 2011-10-28 2016-04-26 シャープ株式会社 機器制御装置及び機器制御方法
US9582178B2 (en) * 2011-11-07 2017-02-28 Immersion Corporation Systems and methods for multi-pressure interaction on touch-sensitive surfaces
US8839109B2 (en) 2011-11-14 2014-09-16 Utc Fire And Security Americas Corporation, Inc. Digital video system with intelligent video selection timeline
US9031847B2 (en) 2011-11-15 2015-05-12 Microsoft Technology Licensing, Llc Voice-controlled camera operations
US8655385B2 (en) 2011-11-18 2014-02-18 Blackberry Limited Social networking methods and apparatus for use in facilitating participation in user-relevant social groups
FR2983177B1 (fr) 2011-11-29 2014-06-06 Airbus Operations Sas Dispositif de dialogue interactif entre un operateur d'un aeronef et un systeme de guidage dudit aeronef.
EP2602677B1 (en) 2011-12-05 2018-02-21 Nxp B.V. Localization method, computer program product and localization device
US9245020B2 (en) 2011-12-14 2016-01-26 Microsoft Technology Licensing, Llc Collaborative media sharing
US20130162411A1 (en) 2011-12-22 2013-06-27 Qualcomm Incorporated Method and apparatus to adapt a remote control user interface
US20130225152A1 (en) 2011-12-23 2013-08-29 Microsoft Corporation Automatically quieting mobile devices
US20130305354A1 (en) 2011-12-23 2013-11-14 Microsoft Corporation Restricted execution modes
US9247492B2 (en) 2011-12-29 2016-01-26 Sonos, Inc. Systems and methods for multi-network audio control
US9191699B2 (en) 2011-12-29 2015-11-17 Sonos, Inc. Systems and methods for connecting an audio controller to a hidden audio network
US9436929B2 (en) 2012-01-24 2016-09-06 Verizon Patent And Licensing Inc. Collaborative event playlist systems and methods
US9431980B2 (en) 2012-01-30 2016-08-30 Echostar Ukraine Llc Apparatus, systems and methods for adjusting output audio volume based on user location
GB2500566A (en) 2012-01-31 2013-10-02 Avolites Ltd Automated lighting control system allowing three dimensional control and user interface gesture recognition
JP5906097B2 (ja) 2012-01-31 2016-04-20 キヤノン株式会社 電子機器、その制御方法、プログラム、及び記録媒体
US9418658B1 (en) 2012-02-08 2016-08-16 Amazon Technologies, Inc. Configuration of voice controlled assistant
KR101527038B1 (ko) 2012-02-24 2015-06-08 엘지전자 주식회사 이동 단말기 및 그 제어 방법, 이를 위한 기록 매체
US8725113B2 (en) 2012-03-12 2014-05-13 Google Inc. User proximity control of devices
US8751577B2 (en) 2012-03-15 2014-06-10 Google Inc. Methods and systems for ordering and voting on shared media playlists
US10469897B2 (en) 2012-03-19 2019-11-05 Sonos, Inc. Context-based user music menu systems and methods
CA2870050C (en) 2012-04-09 2019-02-05 The Dgroup Inc. Systems and methods for providing electronic cues for time-based media
US20130268593A1 (en) 2012-04-10 2013-10-10 Google Inc. Determining music in social events via automatic crowdsourcing
US10142122B1 (en) * 2012-04-11 2018-11-27 Google Llc User interfaces, systems and methods for configuring smart devices for interoperability with a smart hub device
KR20130115611A (ko) 2012-04-12 2013-10-22 엘지전자 주식회사 조명 장치 및 디바이스를 이용한 조명 제어 방법
GB201206564D0 (en) 2012-04-13 2012-05-30 Intrasonics Sarl Event engine synchronisation
KR101883703B1 (ko) 2012-04-16 2018-07-31 삼성전자 주식회사 친구 찾기 서비스 제공 방법 및 시스템
US20140150029A1 (en) 2012-04-18 2014-05-29 Scorpcast, Llc System and methods for providing user generated video reviews
US9507327B2 (en) 2012-04-20 2016-11-29 Liaison Home Automation, Llc Systems and methods for controlling home and commercial environments including one touch and intuitive functionality
KR20130123053A (ko) 2012-05-02 2013-11-12 삼성전자주식회사 멀티미디어 확장 탐색 방법과 그 멀티미디어 재생 장치
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US9632685B2 (en) 2012-05-31 2017-04-25 Eric Qing Li Method of navigating through a media program displayed on a portable electronic device in a magnified time scale
US10156455B2 (en) 2012-06-05 2018-12-18 Apple Inc. Context-aware voice guidance
US8971556B2 (en) 2012-06-10 2015-03-03 Apple Inc. Remotely controlling a hearing device
US9306810B2 (en) 2012-06-11 2016-04-05 WiFiZapper, Inc. WiFi zapper smart phone application
US9071453B2 (en) 2012-06-11 2015-06-30 Apple Inc. Location-based device automation
US9433032B1 (en) 2012-06-14 2016-08-30 Cisco Technology, Inc. Interface selection for quality of service enforcement
US8880648B1 (en) 2012-06-27 2014-11-04 Audible, Inc. Automated transition of content consumption across devices
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US10437454B2 (en) 2012-07-09 2019-10-08 Facebook, Inc. Dynamically scaled navigation system for social network data
US8886785B2 (en) 2012-07-17 2014-11-11 The Procter & Gamble Company Home network of connected consumer devices
US9621371B2 (en) 2012-07-24 2017-04-11 Honeywell International Inc. Wireless sensor device with wireless remote programming
US8995687B2 (en) 2012-08-01 2015-03-31 Sonos, Inc. Volume interactions for connected playback devices
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
US9736265B2 (en) 2012-08-09 2017-08-15 Facebook, Inc. Handling notifications
KR101971911B1 (ko) 2012-08-16 2019-04-24 삼성전자주식회사 이미지를 디스플레이하기 위한 방법 및 그 전자 장치
EP2885956A1 (en) 2012-08-16 2015-06-24 Koninklijke Philips N.V. Controlling a system comprising one or more controllable device
JP2014045258A (ja) 2012-08-24 2014-03-13 Toshiba Corp 遠隔操作装置
JP6051681B2 (ja) 2012-08-24 2016-12-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9230076B2 (en) 2012-08-30 2016-01-05 Microsoft Technology Licensing, Llc Mobile device child share
US9397852B2 (en) 2012-08-31 2016-07-19 Verizon Patent And Licensing Inc. Connected home user interface systems and methods
US8954853B2 (en) 2012-09-06 2015-02-10 Robotic Research, Llc Method and system for visualization enhancement for situational awareness
EP3355561B1 (en) 2012-09-10 2021-04-28 Samsung Electronics Co., Ltd. Method for connecting mobile terminal and external display and apparatus implementing the same
US20140075311A1 (en) 2012-09-11 2014-03-13 Jesse William Boettcher Methods and apparatus for controlling audio volume on an electronic device
US9432210B2 (en) 2012-09-12 2016-08-30 Zuli, Inc. System for monitor and control of equipment
KR101992189B1 (ko) 2012-09-19 2019-06-24 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10042603B2 (en) 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
KR102070196B1 (ko) 2012-09-20 2020-01-30 삼성전자 주식회사 사용자 디바이스에서 상황 인식 서비스 제공 방법 및 장치
US20140087685A1 (en) 2012-09-21 2014-03-27 Cheryl Kellond More efficient display and control for wearable sports instrumentation
US9251787B1 (en) 2012-09-26 2016-02-02 Amazon Technologies, Inc. Altering audio to improve automatic speech recognition
JP2014071835A (ja) 2012-10-01 2014-04-21 Fujitsu Ltd 電子機器及び処理制御方法
RU2533445C2 (ru) 2012-10-02 2014-11-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Автоматическое распознавание и съемка объекта
CN102915630A (zh) 2012-10-10 2013-02-06 鸿富锦精密工业（深圳）有限公司 远程门铃控制系统及其智能门铃装置
JP2014087126A (ja) 2012-10-22 2014-05-12 Sharp Corp 電力管理装置、電力管理装置の制御方法および電力管理装置の制御プログラム
US10057400B1 (en) 2012-11-02 2018-08-21 Majen Tech, LLC Lock screen interface for a mobile device apparatus
US9703471B2 (en) 2012-11-06 2017-07-11 D&M Holdings, Inc. Selectively coordinated audio player system
CN103347116A (zh) 2012-11-09 2013-10-09 北京深思洛克软件技术股份有限公司 一种在智能手机中设置多安全模式的系统和方法
CN102932216A (zh) 2012-11-12 2013-02-13 北京圣岩迅科技发展有限公司 智能家居无线网元管理系统
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US8745500B1 (en) 2012-12-10 2014-06-03 VMIX Media, Inc. Video editing, enhancement and distribution platform for touch screen computing devices
KR102058918B1 (ko) 2012-12-14 2019-12-26 삼성전자주식회사 홈 모니터링 방법 및 장치
US20150243163A1 (en) 2012-12-14 2015-08-27 Biscotti Inc. Audio Based Remote Control Functionality
KR102037416B1 (ko) 2012-12-17 2019-10-28 삼성전자주식회사 외부 기기 관리 방법, 외부 기기의 동작 방법, 호스트 단말, 관리 서버 및 외부 기기
JP6103350B2 (ja) 2012-12-18 2017-03-29 カシオ計算機株式会社 運動支援装置、運動支援方法および運動支援プログラム
US10320803B2 (en) 2012-12-28 2019-06-11 Dish Technologies Llc Determining eligibility for multiple client media streaming
US9294853B1 (en) 2012-12-28 2016-03-22 Google Inc. Audio control process
US10691230B2 (en) 2012-12-29 2020-06-23 Apple Inc. Crown input for a wearable electronic device
EP2939098B1 (en) 2012-12-29 2018-10-10 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
US11513675B2 (en) 2012-12-29 2022-11-29 Apple Inc. User interface for manipulating user interface objects
CN103914238B (zh) 2012-12-30 2017-02-08 杭州网易云音乐科技有限公司 一种实现界面上多控件整合的方法和装置
US20150189425A1 (en) 2013-01-01 2015-07-02 Aliphcom Mobile device speaker control
US20150189426A1 (en) 2013-01-01 2015-07-02 Aliphcom Mobile device speaker control
US11431834B1 (en) 2013-01-10 2022-08-30 Majen Tech, LLC Screen interface for a mobile device apparatus
US10051103B1 (en) 2013-01-10 2018-08-14 Majen Tech, LLC Screen interface for a mobile device apparatus
KR102002420B1 (ko) 2013-01-18 2019-10-01 삼성전자주식회사 이동기기를 이용하는 스마트 홈 시스템
KR101822463B1 (ko) 2013-01-21 2018-01-26 삼성전자주식회사 복수 개의 아이콘들을 화면상에 배치하는 장치 및 이의 운용 방법
EP2759921B1 (en) 2013-01-25 2020-09-23 Morpho, Inc. Image display apparatus, image displaying method and program
US9319019B2 (en) 2013-02-11 2016-04-19 Symphonic Audio Technologies Corp. Method for augmenting a listening experience
KR20140104215A (ko) 2013-02-20 2014-08-28 삼성전자주식회사 자동 페어링 기능을 갖는 무선 네트워크 오디오 시스템 및 이를 이용한 자동 페어링 방법
CN104247445B (zh) 2013-02-20 2018-10-12 松下电器（美国）知识产权公司 便携信息终端的控制方法
KR102047696B1 (ko) 2013-02-20 2019-11-22 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
CN104285502B (zh) 2013-02-20 2016-12-28 松下电器（美国）知识产权公司 便携信息终端的控制方法和程序
MY181880A (en) * 2013-02-20 2021-01-12 Panasonic Ip Corp America Method for controlling information apparatus and program
US20140245160A1 (en) 2013-02-22 2014-08-28 Ubiquiti Networks, Inc. Mobile application for monitoring and controlling devices
JP5963695B2 (ja) 2013-03-01 2016-08-03 株式会社Ｊ−ＷＡＶＥｉ メッセージ送信プログラム、メッセージ送信装置、及びメッセージ配信システム
KR20140109020A (ko) 2013-03-05 2014-09-15 한국전자통신연구원 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법
US9319149B2 (en) 2013-03-13 2016-04-19 Aliphcom Proximity-based control of media devices for media presentations
US9806712B2 (en) 2013-03-14 2017-10-31 Control4 Corporation Systems and methods for gesture-based lighting control
US10219093B2 (en) 2013-03-14 2019-02-26 Michael Luna Mono-spatial audio processing to provide spatial messaging
US9179199B2 (en) 2013-03-14 2015-11-03 Apple Inc. Media playback across multiple devices
US9866924B2 (en) 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9247380B1 (en) 2013-03-15 2016-01-26 Google Inc. Location based mobile device profiles
US9628414B1 (en) 2013-03-15 2017-04-18 Google Inc. User state based engagement
US9113300B2 (en) 2013-03-15 2015-08-18 Apple Inc. Proximity fence
US9087234B2 (en) 2013-03-15 2015-07-21 Nike, Inc. Monitoring fitness using a mobile device
GB2512821A (en) 2013-03-19 2014-10-15 Simm Tronic Ltd Method and apparatus for control of building functions by means of mobile computing devices
JP2014186961A (ja) 2013-03-25 2014-10-02 Toshiba Lighting & Technology Corp 電気機器制御システム
EP2784611A2 (en) 2013-03-25 2014-10-01 Toshiba Lighting & Technology Corporation Electrical equipment control apparatus and electrical equipment control system
US10694149B2 (en) 2013-03-26 2020-06-23 Verizon Patent And Licensing Inc. Web based security system
JP5714783B2 (ja) 2013-03-29 2015-05-07 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 携帯情報端末の制御方法及びプログラム
CN103260079A (zh) 2013-04-12 2013-08-21 深圳市龙视传媒有限公司 一种多屏互动的控制方法及控制装置
US9247363B2 (en) 2013-04-16 2016-01-26 Sonos, Inc. Playback queue transfer in a media playback system
EP4006860A1 (en) 2013-04-23 2022-06-01 Canary Connect, Inc. Security and/or monitoring devices and systems
US9021526B1 (en) 2013-05-03 2015-04-28 Amazon Technologies, Inc. Video navigation preview
EP2997798A1 (en) 2013-05-13 2016-03-23 Koninklijke Philips N.V. Device with a graphical user interface for controlling lighting properties
AU2013101046A4 (en) 2013-05-23 2013-09-19 Nowww.Us Pty Ltd A process for Encrypted Login to a Secure Computer Network, for the Creation of a Session of Encrypted Communications Between Computers and a Device Including a Mobile Phone Logged into a Network, for the Persistence of Encrypted Communications between Communication Devices, and for the Termination of Communications.
DE102013105375A1 (de) 2013-05-24 2014-11-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Tonsignalerzeuger, Verfahren und Computerprogramm zum Bereitstellen eines Tonsignals
KR102161230B1 (ko) 2013-05-28 2020-09-29 삼성전자주식회사 멀티미디어 콘텐츠 검색을 위한 사용자 인터페이스 방법 및 장치
US9798510B2 (en) 2013-05-29 2017-10-24 Sonos, Inc. Connected state indicator
US9735978B2 (en) 2013-05-29 2017-08-15 Sonos, Inc. Playback queue control via a playlist on a mobile device
EP3005649B1 (en) 2013-06-06 2019-03-13 Google LLC Systems, methods, and media for presenting media content
US9979438B2 (en) 2013-06-07 2018-05-22 Apple Inc. Controlling a media device using a mobile device
US9654073B2 (en) * 2013-06-07 2017-05-16 Sonos, Inc. Group volume control
KR20140143555A (ko) 2013-06-07 2014-12-17 삼성전자주식회사 휴대 장치의 잠금 화면 상에서 빠른 어플리케이션 실행 방법 및 이를 위한 휴대 장치
EP2992418B1 (en) 2013-06-08 2022-02-16 Apple Inc. Device, method, and graphical user interface for synchronizing two or more displays
US10474240B2 (en) 2013-06-10 2019-11-12 Honeywell International Inc. Frameworks, devices and methods configured for enabling gesture-based interaction between a touch/gesture controlled display and other networked devices
EP3650961A1 (en) 2013-06-11 2020-05-13 Apple Inc. An electronic watch having a rotary input mechanism
KR102318442B1 (ko) 2013-06-18 2021-10-28 삼성전자주식회사 사용자 단말 장치 및 그 홈 네트워크 관리 방법
US10564813B2 (en) 2013-06-18 2020-02-18 Samsung Electronics Co., Ltd. User terminal apparatus and management method of home network thereof
WO2014204222A1 (ko) * 2013-06-18 2014-12-24 삼성전자 주식회사 사용자 단말 장치 및 그 홈 네트워크 관리 방법
WO2014204286A1 (en) 2013-06-21 2014-12-24 Samsung Electronics Co., Ltd. User terminal and driving method thereof, control device and driving method thereof, and control system of controlled device
KR102155680B1 (ko) * 2013-06-21 2020-09-14 삼성전자주식회사 사용자 단말장치, 제어장치, 사용자 단말장치의 구동방법, 제어장치의 구동방법 및 제어대상장치의 제어시스템
WO2014208057A1 (ja) 2013-06-24 2014-12-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報通知方法、情報端末、およびプログラム
US20140375819A1 (en) 2013-06-24 2014-12-25 Pivotal Vision, Llc Autonomous video management system
US9454251B1 (en) 2013-06-26 2016-09-27 Google Inc. Methods, systems, and media for controlling a remote device using a touch screen of a mobile device in a display inhibited state
CN105308682B (zh) 2013-06-28 2019-01-01 皇家飞利浦有限公司 用于蓝牙聚会模式的系统、方法和设备
KR102152643B1 (ko) 2013-07-04 2020-09-08 엘지이노텍 주식회사 모바일디바이스를 이용한 조명 시스템
WO2015008409A1 (ja) 2013-07-19 2015-01-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報端末の制御方法及びプログラム
KR101560448B1 (ko) 2013-07-24 2015-10-16 한국과학기술원 스크린 록 환경에서 특정 어플리케이션 호출을 위한 방법
US9912978B2 (en) 2013-07-29 2018-03-06 Apple Inc. Systems, methods, and computer-readable media for transitioning media playback between multiple electronic devices
US9575720B2 (en) 2013-07-31 2017-02-21 Google Inc. Visual confirmation for a recognized voice-initiated action
KR101444091B1 (ko) 2013-08-06 2014-09-26 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
CN104345950B (zh) 2013-08-08 2019-02-05 联想(北京)有限公司 一种信息处理的方法及电子设备
US9948690B2 (en) 2013-08-15 2018-04-17 Comcast Cable Communications, Llc Caching media in a media fling system
US8914752B1 (en) 2013-08-22 2014-12-16 Snapchat, Inc. Apparatus and method for accelerated display of ephemeral messages
US9575621B2 (en) 2013-08-26 2017-02-21 Venuenext, Inc. Game event display with scroll bar and play event icons
US10282068B2 (en) 2013-08-26 2019-05-07 Venuenext, Inc. Game event display with a scrollable graphical game play feed
US9202029B2 (en) 2013-08-27 2015-12-01 Maan ALDUAIJI Computer device, a method for controlling a login status of a computer device and a server
GB2535008B (en) 2013-08-30 2020-05-13 Hewlett Packard Entpr Dev Lp Thermal profile based on temperature information for computing device location
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
KR20150031010A (ko) 2013-09-13 2015-03-23 삼성전자주식회사 잠금 화면 제공 장치 및 방법
CN105531671A (zh) 2013-09-13 2016-04-27 高通股份有限公司 对用户界面的前台访问具有确定性控制的无线通信设备
CN105531646A (zh) 2013-09-17 2016-04-27 皇家飞利浦有限公司 手势驱动的范围和值的同时选择
US10025463B2 (en) 2013-09-18 2018-07-17 Vivint, Inc. Systems and methods for home automation scene control
US20150089359A1 (en) 2013-09-25 2015-03-26 At&T Mobility Ii Llc Intelligent Adaptation of Home Screens
CN104469512B (zh) 2013-09-25 2018-02-16 浙江大华技术股份有限公司 一种视频播放器及其控制视频播放的方法
JP6133186B2 (ja) 2013-09-26 2017-05-24 京セラ株式会社 機器制御装置、機器制御方法および制御システム
US9933920B2 (en) 2013-09-27 2018-04-03 Sonos, Inc. Multi-household support
US9258524B2 (en) 2013-09-30 2016-02-09 International Business Machines Corporation Streaming playback within a live video conference
US9288596B2 (en) 2013-09-30 2016-03-15 Sonos, Inc. Coordinator device for paired or consolidated players
US9979995B2 (en) 2013-09-30 2018-05-22 Google Llc Visual hot watch spots in content item playback
US9654545B2 (en) 2013-09-30 2017-05-16 Sonos, Inc. Group coordinator device selection
US9977591B2 (en) 2013-10-01 2018-05-22 Ambient Consulting, LLC Image with audio conversation system and method
US10180776B2 (en) 2013-10-01 2019-01-15 Ambient Consulting, LLC Image grouping with audio commentaries system and method
US10469624B2 (en) 2013-10-07 2019-11-05 Bose Corporation User interface control in a networked audio system
WO2015054291A1 (en) 2013-10-09 2015-04-16 Mobile Technology Corporation, LLC Systems and methods for using spatial and temporal analysis to associate data sources with mobile devices
KR102092316B1 (ko) 2013-10-14 2020-03-23 한화테크윈 주식회사 모니터링 방법
US9063640B2 (en) 2013-10-17 2015-06-23 Spotify Ab System and method for switching between media items in a plurality of sequences of media items
US10540418B2 (en) 2013-10-25 2020-01-21 Turner Broadcasting System, Inc. Concepts for providing an enhanced media presentation
US20160253145A1 (en) 2013-10-31 2016-09-01 Lg Electronics Inc. Electronic device and method for controlling the same
US9727215B2 (en) 2013-11-11 2017-08-08 Htc Corporation Method for performing multimedia management utilizing tags, and associated apparatus and associated computer program product
KR20150055275A (ko) 2013-11-13 2015-05-21 삼성전자주식회사 팜 터치를 이용한 전자장치 제어 방법 및 장치
US20150142587A1 (en) 2013-11-20 2015-05-21 Honeywell International Inc. System and Method of Dynamic Correlation View for Cloud Based Incident Analysis and Pattern Detection
US9111076B2 (en) 2013-11-20 2015-08-18 Lg Electronics Inc. Mobile terminal and control method thereof
CN105794231B (zh) 2013-11-22 2018-11-06 苹果公司 免提波束方向图配置
WO2015077767A1 (en) 2013-11-25 2015-05-28 Daniel Ryan System and method for communication with a mobile device via a positioning system including rf communication devices and modulated beacon light sources
JP6259368B2 (ja) 2013-11-28 2018-01-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 携帯端末の制御方法
US10768784B2 (en) 2013-12-06 2020-09-08 Vivint, Inc. Systems and methods for rules-based automations and notifications
WO2015089116A1 (en) 2013-12-11 2015-06-18 Honeywell International Inc. Building automation control systems
US9319782B1 (en) 2013-12-20 2016-04-19 Amazon Technologies, Inc. Distributed speaker synchronization
US9781180B2 (en) 2013-12-20 2017-10-03 Verizon Patent And Licensing Inc. Redistributing broadcasted content
US9563328B2 (en) 2013-12-23 2017-02-07 Microsoft Technology Licensing, Llc Information surfacing with visual cues indicative of relevance
JP6143887B2 (ja) 2013-12-26 2017-06-07 株式会社東芝 方法、電子機器およびプログラム
JP5597762B1 (ja) 2013-12-27 2014-10-01 パナソニック株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
JP2017508312A (ja) 2013-12-30 2017-03-23 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 近さ依存のメディア再生
KR20150079106A (ko) 2013-12-31 2015-07-08 삼성전자주식회사 디스플레이 장치, 단말 장치 및 그 제어 방법
CN104766021A (zh) 2014-01-04 2015-07-08 深圳富泰宏精密工业有限公司 权限控制系统及方法
KR102277752B1 (ko) 2014-01-06 2021-07-16 삼성전자주식회사 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
US20150193196A1 (en) 2014-01-06 2015-07-09 Alpine Electronics of Silicon Valley, Inc. Intensity-based music analysis, organization, and user interface for audio reproduction devices
US20150193127A1 (en) 2014-01-07 2015-07-09 Opentv Inc. Systems and methods of displaying integrated home automation modules
KR20150082824A (ko) 2014-01-08 2015-07-16 삼성전자주식회사 장치 제어 방법 및 제어 장치
US9872368B2 (en) 2014-01-10 2018-01-16 Panasonic Intellectual Property Corporation Of America Control method for mobile device
US20150198938A1 (en) 2014-01-15 2015-07-16 Green Edge Technologies, Inc. Systems, devices, methods and graphical user interface for configuring a building automation system
US20150205511A1 (en) 2014-01-17 2015-07-23 Apple Inc. Systems And Methods For An Animated Graphical User Interface
KR102210433B1 (ko) 2014-01-21 2021-02-01 삼성전자주식회사 전자 장치 및 이의 음성 인식 방법
US10114892B2 (en) 2014-01-22 2018-10-30 Google Llc Creating a single playlist with multiple authors
DE112014006235T5 (de) 2014-01-22 2016-10-13 Apple Inc. Koordiniertes Weiterreichen einer Audiodatenübermittlung
SG11201500538YA (en) 2014-01-29 2015-09-29 Panasonic Ip Corp America Method for controlling information apparatus and program
US20150223005A1 (en) 2014-01-31 2015-08-06 Raytheon Company 3-dimensional audio projection
US10212143B2 (en) 2014-01-31 2019-02-19 Dropbox, Inc. Authorizing an untrusted client device for access on a content management system
US20150222680A1 (en) 2014-02-04 2015-08-06 Ford Global Technologies, Llc Local network media sharing
US9185117B2 (en) 2014-02-07 2015-11-10 Bank Of America Corporation User authentication by geo-location and proximity to user's close network
US20150229782A1 (en) 2014-02-11 2015-08-13 Nxp B.V. Notification volume adjustment based on distance from paired device
JP6392522B2 (ja) 2014-02-14 2018-09-19 京セラ株式会社 操作端末、プログラム、及び方法
EP2911149B1 (en) 2014-02-19 2019-04-17 Nokia Technologies OY Determination of an operational directive based at least in part on a spatial audio property
US9728230B2 (en) 2014-02-20 2017-08-08 International Business Machines Corporation Techniques to bias video thumbnail selection using frequently viewed segments
US9372610B2 (en) 2014-02-21 2016-06-21 Sonos, Inc. Media system controller interface
US10885510B2 (en) 2014-02-21 2021-01-05 Paypal, Inc. Facilitating payments using wearable devices
KR102166781B1 (ko) 2014-02-22 2020-10-16 삼성전자주식회사 요청 정보에 따른 장치 제어 방법 및 이를 지원하는 장치
US9893903B2 (en) 2014-02-24 2018-02-13 Microsoft Technology Licensing, Llc Creating connections and shared spaces
US20150242597A1 (en) 2014-02-24 2015-08-27 Google Inc. Transferring authorization from an authenticated device to an unauthenticated device
US9408008B2 (en) 2014-02-28 2016-08-02 Sonos, Inc. Playback zone representations
US9679054B2 (en) 2014-03-05 2017-06-13 Sonos, Inc. Webpage media playback
WO2015134755A2 (en) 2014-03-07 2015-09-11 Ubiquiti Networks, Inc. Devices and methods for networked living and work spaces
KR20150104985A (ko) 2014-03-07 2015-09-16 삼성전자주식회사 사용자 단말 및 오디오 시스템, 그리고 이의 스피커 제어 방법
US20150253735A1 (en) 2014-03-10 2015-09-10 Icon Health & Fitness, Inc. Watch with Multiple Sections for Tracking Multiple Parameters
US20150261493A1 (en) 2014-03-11 2015-09-17 Sonos, Inc. Playback Zone Representations
US9574763B2 (en) 2014-03-12 2017-02-21 Kaipo Chen Multifunctional home monitoring system combined with lighting device
CN104917666B (zh) 2014-03-13 2019-08-06 腾讯科技（深圳）有限公司 一种制作个性化动态表情的方法和装置
US9450812B2 (en) 2014-03-14 2016-09-20 Dechnia, LLC Remote system configuration via modulated audio
US9888207B2 (en) 2014-03-17 2018-02-06 Microsoft Technology Licensing, Llc Automatic camera selection
US9431021B1 (en) 2014-03-27 2016-08-30 Amazon Technologies, Inc. Device grouping for audio based interactivity
US9338514B2 (en) 2014-03-28 2016-05-10 Sonos, Inc. Account aware media preferences
US9661058B2 (en) * 2014-08-10 2017-05-23 Belkin International Inc. Grouping of network devices
US9392104B2 (en) 2014-04-15 2016-07-12 Google Inc. Limiting user interaction with a computing device based on proximity of a user
US10444715B2 (en) 2014-05-01 2019-10-15 Belkin International, Inc. Controlling settings and attributes related to operation of devices in a network
US10554439B2 (en) * 2014-05-01 2020-02-04 Belkin International, Inc. Controlling settings and attributes related to operation of devices in a network
TWI523578B (zh) 2014-04-25 2016-02-21 Cincon Electronics Co Ltd A system and method for grouping a fixture on a DALI system using a handheld device
US10129599B2 (en) 2014-04-28 2018-11-13 Sonos, Inc. Media preference database
US9680960B2 (en) 2014-04-28 2017-06-13 Sonos, Inc. Receiving media content based on media preferences of multiple users
US9413606B1 (en) 2014-05-07 2016-08-09 Dropbox, Inc. Automation of networked devices
US20150324552A1 (en) 2014-05-12 2015-11-12 Sonos, Inc. Share Restriction for Media Items
US10032364B2 (en) 2014-05-15 2018-07-24 Savant Systems, Llc Standalone wireless lighting application
KR102185702B1 (ko) 2014-05-16 2020-12-02 삼성전자주식회사 컨텐츠 출력 장치, 모바일 장치 및 그 제어 방법
US9876652B2 (en) 2014-05-20 2018-01-23 Savant Systems, Llc Automatic configuration of control device user interface in a home automation system
US20150339917A1 (en) 2014-05-21 2015-11-26 Qualcomm Incorporated Triggering commands on a target device in response to broadcasted event notifications
KR102454196B1 (ko) 2014-05-27 2022-10-14 삼성전자 주식회사 디스플레이 제어 방법 및 이를 제공하는 전자 장치
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US10055567B2 (en) 2014-05-30 2018-08-21 Apple Inc. Proximity unlock and lock operations for electronic devices
WO2015184387A1 (en) 2014-05-30 2015-12-03 Apple Inc. Accessory management system using environment model
US9185062B1 (en) 2014-05-31 2015-11-10 Apple Inc. Message user interfaces for capture and transmittal of media and location content
KR102302350B1 (ko) 2014-06-02 2021-09-15 삼성전자 주식회사 보안 기능을 제공하는 방법 및 장치
US9654536B2 (en) 2014-06-04 2017-05-16 Sonos, Inc. Cloud queue playback policy
US20150355818A1 (en) 2014-06-04 2015-12-10 Sonos, Inc. Continuous Playback Queue
WO2015186981A1 (en) 2014-06-05 2015-12-10 Samsung Electronics Co., Ltd. Wearable device, main unit of wearable device, fixing unit of wearable device, and control method of wearable device
TW201547326A (zh) 2014-06-12 2015-12-16 Best Multimedia Technology Co Ltd U 智能家庭系統及燈光控制方法
US9084003B1 (en) 2014-06-19 2015-07-14 Google Inc. Methods, systems, and media for media playback
FR3022646B1 (fr) 2014-06-20 2017-11-10 Somfy Sas Procede de fonctionnement d'un dispositif de commande d'une installation domotique d'un batiment et dispositif de commande.
CN104298188A (zh) 2014-06-22 2015-01-21 福建省科正智能科技有限公司 离家控制系统
US9807223B2 (en) 2014-06-23 2017-10-31 Verizon Patent And Licensing Inc. Visual voice mail application variations
JP6367374B2 (ja) 2014-06-24 2018-08-01 アップル インコーポレイテッド 音楽再生中ユーザインターフェース
CN117331482A (zh) 2014-06-24 2024-01-02 苹果公司 输入设备和用户界面交互
US9535986B2 (en) 2014-06-27 2017-01-03 Sonos, Inc. Application launch
JP6137102B2 (ja) 2014-06-30 2017-05-31 キヤノンマーケティングジャパン株式会社 情報処理装置、及びその制御方法、プログラム
US9779613B2 (en) 2014-07-01 2017-10-03 Sonos, Inc. Display and control of pre-determined audio content playback
US9519413B2 (en) 2014-07-01 2016-12-13 Sonos, Inc. Lock screen media playback control
US10051364B2 (en) 2014-07-03 2018-08-14 Qualcomm Incorporated Single channel or multi-channel audio control interface
US9170707B1 (en) 2014-09-30 2015-10-27 Google Inc. Method and system for generating a smart time-lapse video clip
US9213903B1 (en) 2014-07-07 2015-12-15 Google Inc. Method and system for cluster-based video monitoring and event categorization
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9784417B1 (en) 2014-07-21 2017-10-10 Astro, Inc. Multi-purpose lightbulb
CN104155938B (zh) 2014-07-21 2018-01-09 惠州Tcl移动通信有限公司 一种家居设备管理方法及系统
KR101698098B1 (ko) 2014-07-23 2017-01-19 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US9671997B2 (en) 2014-07-23 2017-06-06 Sonos, Inc. Zone grouping
WO2016014120A1 (en) 2014-07-24 2016-01-28 Hewlett-Packard Development Company, L.P. Device authentication agent
US9750116B2 (en) 2014-07-29 2017-08-29 Lumifi, Inc. Automated and pre-configured set up of light scenes
US9811102B2 (en) 2014-07-31 2017-11-07 Antonino Gulli' System and methods for monitoring and reducing the consumption of electricity with a network of smart sensors
US9596603B2 (en) 2014-08-01 2017-03-14 Qualcomm Connected Experiences, Inc. Distributed bulk onboarding process
US10645459B2 (en) 2014-08-04 2020-05-05 Live View Technologies Devices, systems, and methods for remote video retrieval
US9898175B2 (en) 2014-08-05 2018-02-20 Fibar Group S.A. Home network manager for home automation
JP2016038615A (ja) 2014-08-05 2016-03-22 株式会社未来少年 端末装置及び管理サーバ
US10339293B2 (en) 2014-08-15 2019-07-02 Apple Inc. Authenticated device used to unlock another device
KR102393815B1 (ko) 2014-08-29 2022-05-03 하만인터내셔날인더스트리스인코포레이티드 무선 스피커 시스템
JP2016051661A (ja) 2014-09-01 2016-04-11 パナソニックＩｐマネジメント株式会社 照明制御装置及び照明システム
US10082892B2 (en) 2014-09-02 2018-09-25 Apple Inc. Button functionality
US10275138B2 (en) 2014-09-02 2019-04-30 Sonos, Inc. Zone recognition
WO2016036436A1 (en) 2014-09-02 2016-03-10 Apple Inc. Stopwatch and timer user interfaces
CN110072131A (zh) 2014-09-02 2019-07-30 苹果公司 音乐用户界面
US9680982B2 (en) * 2014-09-03 2017-06-13 Fibar Group S.A. Emergency communication device
US10158946B2 (en) 2014-09-04 2018-12-18 PWV Inc Speaker discovery and assignment
EP2993928B1 (en) 2014-09-04 2017-11-01 Nokia Technologies OY Device selection to establish a wireless communication
US20160073482A1 (en) * 2014-09-05 2016-03-10 Qualcomm Incorporated Implementing a target lighting scene in an internet of things environment using a mobile light output device
US10042336B2 (en) * 2014-09-09 2018-08-07 Savant Systems, Llc User-defined scenes for home automation
US20170097621A1 (en) 2014-09-10 2017-04-06 Crestron Electronics, Inc. Configuring a control sysem
KR102192419B1 (ko) 2014-09-11 2020-12-17 삼성전자주식회사 웨어러블 장치를 사용하여 전자 장치를 제어하는 방법 및 전자 장치의 동작 방법
US9940016B2 (en) 2014-09-13 2018-04-10 Microsoft Technology Licensing, Llc Disambiguation of keyboard input
US10310704B2 (en) 2014-09-18 2019-06-04 Ademco Inc. System and method to have location based personalized UI updates on mobile app for connected users in security, video and home automation applications
JP2016063520A (ja) 2014-09-22 2016-04-25 東芝ライテック株式会社 家電制御装置、家電制御システム及び家電制御方法
CN104361657B (zh) 2014-09-22 2016-06-08 三星电子（中国）研发中心 一种智能锁及智能锁的使用方法
US10631123B2 (en) 2014-09-24 2020-04-21 James Thomas O'Keeffe System and method for user profile enabled smart building control
US9196432B1 (en) 2014-09-24 2015-11-24 James Thomas O'Keeffe Smart electrical switch with audio capability
KR102258052B1 (ko) 2014-09-25 2021-05-28 삼성전자주식회사 전자 장치에서 다른 전자 장치와 컨텐츠를 공유하기 위한 장치 및 방법
WO2016052888A1 (en) 2014-09-29 2016-04-07 Lg Electronics Inc. Mobile terminal and method of controlling the same
WO2016054036A1 (en) 2014-09-30 2016-04-07 The Chamberlain Group, Inc. Garage monitor
WO2016052876A1 (en) 2014-09-30 2016-04-07 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
JP6517022B2 (ja) 2014-09-30 2019-05-22 株式会社西電通 安否確認システム、インターホン、及び集合住宅
US9812128B2 (en) 2014-10-09 2017-11-07 Google Inc. Device leadership negotiation among voice interface devices
WO2016057117A1 (en) 2014-10-10 2016-04-14 Thomson Licensing Method and apparatus for control of media content delivery
CN104820631A (zh) 2014-10-29 2015-08-05 小米科技有限责任公司 对外部设备状态的呈现方法、装置及用户终端
US10055094B2 (en) * 2014-10-29 2018-08-21 Xiaomi Inc. Method and apparatus for dynamically displaying device list
CN105657483B (zh) 2014-11-10 2019-06-04 扬智科技股份有限公司 多媒体播放系统、多媒体文件分享方法及其控制方法
US10424341B2 (en) 2014-11-12 2019-09-24 Massachusetts Institute Of Technology Dynamic video summarization
US10713699B1 (en) 2014-11-14 2020-07-14 Andersen Corporation Generation of guide materials
JP5853180B1 (ja) 2014-11-21 2016-02-09 パナソニックＩｐマネジメント株式会社 宅内監視システム
JP5866540B1 (ja) 2014-11-21 2016-02-17 パナソニックＩｐマネジメント株式会社 監視システム及び監視システムにおける監視方法
RU2707874C2 (ru) 2014-11-25 2019-12-02 Филипс Лайтинг Холдинг Б.В. Управление освещением на основе близости
US9812126B2 (en) 2014-11-28 2017-11-07 Microsoft Technology Licensing, Llc Device arbitration for listening devices
US20160156992A1 (en) 2014-12-01 2016-06-02 Sonos, Inc. Providing Information Associated with a Media Item
KR102246556B1 (ko) 2014-12-02 2021-04-30 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
US9864570B2 (en) 2014-12-09 2018-01-09 Harman International Industries, Incorporated Proximity based temporary audio sharing
GB2533101B (en) 2014-12-09 2017-03-15 Haandle Ltd Distributing a network access policy
US10505752B2 (en) * 2014-12-15 2019-12-10 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling group action
KR102212212B1 (ko) 2014-12-17 2021-02-04 삼성전자주식회사 휴대 장치 및 휴대 장치의 위치 정보 제어방법
JP2016119600A (ja) 2014-12-22 2016-06-30 オリンパス株式会社 編集装置及び編集方法
US10445055B2 (en) 2014-12-23 2019-10-15 Lg Electronics Inc. Mobile terminal, audio output device and audio output system comprising same
KR102250090B1 (ko) 2014-12-24 2021-05-10 삼성전자주식회사 영상 데이터를 송수신하는 디바이스 및 그 방법
US20160187995A1 (en) 2014-12-30 2016-06-30 Tyco Fire & Security Gmbh Contextual Based Gesture Recognition And Control
CN104503688B (zh) 2014-12-31 2018-03-02 小米科技有限责任公司 智能硬件设备的控制实现方法及装置
US9112849B1 (en) 2014-12-31 2015-08-18 Spotify Ab Methods and systems for dynamic creation of hotspots for media control
EP3243326A4 (en) 2015-01-05 2018-06-27 PWV Inc. Discovery, control, and streaming of multi-channel audio playback with enhanced times synchronization
KR101522311B1 (ko) 2015-01-12 2015-05-22 주식회사 지오멕스소프트 미리보기 기능을 갖춘 감시카메라 영상 반출 시스템
KR102315339B1 (ko) 2015-02-02 2021-10-20 삼성전자주식회사 디스플레이 장치의 이의 디스플레이 방법
US10116601B2 (en) 2015-02-06 2018-10-30 Jamdeo Canada Ltd. Methods and devices for display device notifications
JP2016157292A (ja) 2015-02-25 2016-09-01 株式会社キャストルーム コンテンツ再生装置、コンテンツ再生システム及びプログラム
US9329831B1 (en) 2015-02-25 2016-05-03 Sonos, Inc. Playback expansion
US9715619B2 (en) 2015-03-14 2017-07-25 Microsoft Technology Licensing, Llc Facilitating aligning a user and camera for user authentication
US10080111B2 (en) 2015-03-19 2018-09-18 Facebook, Inc. Techniques for communication using audio stickers
CN104702792A (zh) 2015-03-20 2015-06-10 小米科技有限责任公司 终端屏幕的状态控制方法及装置、电子设备
US9891880B2 (en) 2015-03-31 2018-02-13 Sonos, Inc. Information display regarding playback queue subscriptions
CN104898603B (zh) 2015-04-07 2017-12-26 联想(北京)有限公司 信息处理方法及电子设备
US9483230B1 (en) 2015-04-09 2016-11-01 Sonos, Inc. Wearable device zone group control
US10404532B2 (en) 2015-04-10 2019-09-03 Comcast Cable Commnications, LLC Virtual gateway control and management
USD765118S1 (en) 2015-04-13 2016-08-30 Apple Inc. Display screen or portion thereof with graphical user interface
WO2016176834A1 (en) 2015-05-06 2016-11-10 Eyespage Inc. Lock screen graphical user interface
US10097902B2 (en) 2015-05-06 2018-10-09 Blackfire Research Corporation System and method for using multiple audio input devices for synchronized and position-based audio
US11113022B2 (en) 2015-05-12 2021-09-07 D&M Holdings, Inc. Method, system and interface for controlling a subwoofer in a networked audio system
KR20160143136A (ko) 2015-06-04 2016-12-14 엘지전자 주식회사 위치 기반 알림 시스템 및 그것의 제어방법
US10300394B1 (en) 2015-06-05 2019-05-28 Amazon Technologies, Inc. Spectator audio analysis in online gaming environments
USD773510S1 (en) 2015-06-05 2016-12-06 Apple Inc. Display screen or portion thereof with graphical user interface
DK179360B1 (en) 2015-06-07 2018-05-22 Apple Inc Devices, methods and graphical user interfaces for providing and interacting with notifications
US10387104B2 (en) 2015-06-07 2019-08-20 Apple Inc. Audio control for web browser
US10271084B2 (en) 2015-06-07 2019-04-23 Apple Inc. Video recording and replay
US9727749B2 (en) 2015-06-08 2017-08-08 Microsoft Technology Licensing, Llc Limited-access functionality accessible at login screen
US20160364600A1 (en) 2015-06-10 2016-12-15 Microsoft Technology Licensing, Llc Biometric Gestures
US20160366481A1 (en) * 2015-06-12 2016-12-15 Samsung Electronics Co., Ltd. Method and apparatus for service oriented input and output
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
JP6516585B2 (ja) 2015-06-24 2019-05-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御装置、その方法及びプログラム
KR20170006579A (ko) 2015-07-08 2017-01-18 삼성전자주식회사 전자 장치 및 전자 장치에서의 아이콘 변경 방법
GB2540226A (en) 2015-07-08 2017-01-11 Nokia Technologies Oy Distributed audio microphone array and locator configuration
KR20170008601A (ko) * 2015-07-14 2017-01-24 삼성전자주식회사 어플리케이션 운용 방법 및 이를 이용하는 전자 장치
US9948980B2 (en) 2015-07-20 2018-04-17 Google Llc Synchronizing audio content to audio and video devices
CN105187940B (zh) 2015-07-29 2018-05-29 广东欧珀移动通信有限公司 一种播放系统的播放列表切换控制方法及装置
AU2016300832A1 (en) 2015-07-30 2018-03-22 Brightgreen Pty Ltd Multiple input touch dimmer lighting control
US9454336B1 (en) 2015-08-04 2016-09-27 Samsung Electronics Co., Ltd. System and method for improving user experience with proximity estimation
US9880735B2 (en) * 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
CN105069118B (zh) 2015-08-11 2018-04-03 北京思特奇信息技术股份有限公司 一种基于gis配置的应用场景管理方法及系统
CN105159107B (zh) 2015-08-17 2019-01-04 广州市果豆科技有限责任公司 一种智能家居控制方法、控制装置及控制系统
JP2018523862A (ja) 2015-08-18 2018-08-23 グーグル エルエルシー 時系列エクスプローラ
US9858739B1 (en) 2015-08-19 2018-01-02 Alarm.Com Incorporated Home monitoring system triggered rules
US10219026B2 (en) 2015-08-26 2019-02-26 Lg Electronics Inc. Mobile terminal and method for playback of a multi-view video
KR20170027999A (ko) 2015-09-03 2017-03-13 삼성전자주식회사 사용자 단말 장치, 시스템 및 그 제어 방법
US9704537B2 (en) 2015-09-03 2017-07-11 Echostar Technologies L.L.C. Methods and systems for coordinating home automation activity
US9628275B2 (en) 2015-09-04 2017-04-18 Blackberry Limited Communication device, method and system for establishing communications using the subscriber identity data of another communication device
US10296128B1 (en) 2015-09-04 2019-05-21 Google Llc Multi-state press and hold user interface
US10120531B2 (en) 2015-09-08 2018-11-06 Apple Inc. User interfaces for navigating and playing content
US10257198B2 (en) 2015-09-11 2019-04-09 Arris Enterprises Llc Password input method for devices with limited user interface
US9313556B1 (en) 2015-09-14 2016-04-12 Logitech Europe S.A. User interface for video summaries
US10299017B2 (en) 2015-09-14 2019-05-21 Logitech Europe S.A. Video searching for filtered and tagged motion
US9710639B1 (en) 2015-09-14 2017-07-18 Google Inc. Single input unlock for computing devices
KR102538348B1 (ko) 2015-09-17 2023-05-31 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 제어 방법
US9875081B2 (en) 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
KR20170034603A (ko) 2015-09-21 2017-03-29 삼성전자주식회사 알림 이벤트를 제어하는 시스템 및 그 방법
EP3354015A1 (en) 2015-09-23 2018-08-01 Edoardo Rizzi Communication device and method
DE112016004512T5 (de) 2015-09-30 2018-07-12 Apple Inc. Koordinierte steuerung der medienwiedergabe
US11587559B2 (en) * 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US9646471B2 (en) 2015-09-30 2017-05-09 Apple Inc. User interface using tactile output
KR102520402B1 (ko) 2015-10-27 2023-04-12 엘지전자 주식회사 와치 타입 이동 단말기 및 그 동작 방법
CN105263114B (zh) 2015-10-29 2018-10-02 广东美的制冷设备有限公司 智能家居控制的回家模式判断方法、控制设备及系统
US9819674B2 (en) 2015-10-29 2017-11-14 Ricoh Company, Ltd. System, apparatus and method for secure operation of image forming device
JP6685695B2 (ja) 2015-10-30 2020-04-22 キヤノン株式会社 端末及び撮像装置
CN105338368B (zh) 2015-11-02 2019-03-15 腾讯科技（北京）有限公司 一种视频的直播流转点播数据的方法、装置及系统
KR102459127B1 (ko) 2015-11-11 2022-10-27 삼성전자 주식회사 전자 장치 및 정보 제공방법
CN105549947B (zh) 2015-12-21 2019-03-29 联想(北京)有限公司 一种音频设备的控制方法及电子设备
KR20170074552A (ko) 2015-12-22 2017-06-30 삼성전자주식회사 터치 디스플레이를 포함하는 스피커 장치
US11244683B2 (en) 2015-12-23 2022-02-08 Booktrack Holdings Limited System and method for the creation and playback of soundtrack-enhanced audiobooks
US10091017B2 (en) 2015-12-30 2018-10-02 Echostar Technologies International Corporation Personalized home automation control based on individualized profiling
US10353754B2 (en) 2015-12-31 2019-07-16 Entefy Inc. Application program interface analyzer for a universal interaction platform
CN105553796A (zh) 2015-12-31 2016-05-04 杭州智蚁科技有限公司 一种基于手机定位的智能家居控制方法及系统
US20170189803A1 (en) 2016-01-04 2017-07-06 Sphero, Inc. Task-oriented feedback using a modular sensing device
KR102501759B1 (ko) 2016-01-05 2023-02-20 삼성전자주식회사 오디오 출력 장치 및 오디오 출력 장치의 동작 방법
US10284980B1 (en) 2016-01-05 2019-05-07 Sonos, Inc. Intelligent group identification
US10303422B1 (en) 2016-01-05 2019-05-28 Sonos, Inc. Multiple-device setup
KR102383130B1 (ko) 2016-01-18 2022-04-08 삼성전자주식회사 기능을 제어하는 방법 및 이를 지원하는 전자 장치
US9912977B2 (en) 2016-02-04 2018-03-06 The Directv Group, Inc. Method and system for controlling a user receiving device using voice commands
US9898250B1 (en) 2016-02-12 2018-02-20 Amazon Technologies, Inc. Controlling distributed audio outputs to enable voice output
WO2017141976A1 (ja) 2016-02-15 2017-08-24 ヘルスセンシング株式会社 睡眠状態測定装置及び方法、位相コヒーレンス算出装置、生体振動信号測定装置、ストレス状態測定装置及び睡眠状態測定装置及び心拍波形抽出方法
US10097919B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Music service selection
KR20170100358A (ko) 2016-02-25 2017-09-04 삼성전자주식회사 전자 장치, 음향 출력 시스템 및 음향 출력 시스템을 위한 전자 장치 제어 방법
JP2017173998A (ja) 2016-03-22 2017-09-28 大阪瓦斯株式会社 セキュリティシステム
WO2017197010A1 (en) 2016-05-10 2017-11-16 Google Llc Implementations for voice assistant on devices
US10861305B2 (en) 2016-05-20 2020-12-08 Vivint, Inc. Drone enabled street watch
US10832665B2 (en) 2016-05-27 2020-11-10 Centurylink Intellectual Property Llc Internet of things (IoT) human interface apparatus, system, and method
US10121515B2 (en) 2016-06-06 2018-11-06 Avigilon Corporation Method, system and computer program product for interactively identifying same individuals or objects present in video recordings
CN106096349A (zh) 2016-06-07 2016-11-09 惠州Tcl移动通信有限公司 一种基于锁屏快速开启应用的方法及移动终端
US10742648B2 (en) 2016-06-09 2020-08-11 Logmein, Inc. Mobile device access to a protected machine
US10742645B2 (en) 2016-06-09 2020-08-11 Logmein, Inc. Proximity detection for mobile device access to protected resources
US10440058B2 (en) 2016-06-09 2019-10-08 LGS Innovations LLC Methods and systems for controlling traffic to VPN servers
US10831357B2 (en) 2016-06-12 2020-11-10 Apple Inc. Device, method, and graphical user interface for media playback
US10511456B2 (en) * 2016-06-12 2019-12-17 Apple Inc. Presenting accessory group controls
US10257474B2 (en) 2016-06-12 2019-04-09 Apple Inc. Network configurations for integrated accessory control
WO2017218192A1 (en) 2016-06-12 2017-12-21 Apple Inc. User interface for managing controllable external devices
DK179034B1 (en) 2016-06-12 2017-09-04 Apple Inc Devices, methods, and graphical user interfaces for dynamically adjusting presentation of audio outputs
KR102520097B1 (ko) * 2016-06-12 2023-04-11 애플 인크. 제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스
DK201670616A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices and Methods for Accessing Prevalent Device Functions
EP3255536B1 (en) 2016-06-12 2020-08-19 Apple Inc. Devices, methods, and graphical user interfaces for dynamically adjusting presentation of user interfaces
US10310725B2 (en) 2016-06-12 2019-06-04 Apple Inc. Generating scenes based on accessory state
US9846564B1 (en) 2016-06-21 2017-12-19 Google Inc. Mesh network of nearby mobile devices as a combined speaker system for audio
US10327037B2 (en) 2016-07-05 2019-06-18 Pluto Inc. Methods and systems for generating and providing program guides and content
JP6909990B2 (ja) 2016-07-06 2021-07-28 パナソニックＩｐマネジメント株式会社 表示制御システム、表示制御方法、及び表示制御プログラム
US10263802B2 (en) 2016-07-12 2019-04-16 Google Llc Methods and devices for establishing connections with remote cameras
US20180018081A1 (en) 2016-07-12 2018-01-18 Google Inc. Methods and Systems for Presenting Smart Home Information in a User Interface
US10762446B2 (en) 2016-08-02 2020-09-01 Ebay Inc. Access control for a digital event
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10057698B2 (en) 2016-09-02 2018-08-21 Bose Corporation Multiple room communication system and method
US10042595B2 (en) 2016-09-06 2018-08-07 Apple Inc. Devices, methods, and graphical user interfaces for wireless pairing with peripheral devices and displaying status information concerning the peripheral devices
US9794720B1 (en) 2016-09-22 2017-10-17 Sonos, Inc. Acoustic position measurement
US10521107B2 (en) 2016-09-24 2019-12-31 Apple Inc. Devices, methods, and graphical user interfaces for selecting and interacting with different device modes
US10628482B2 (en) 2016-09-30 2020-04-21 Spotify Ab Methods and systems for adapting playlists
KR20180038241A (ko) 2016-10-06 2018-04-16 한화테크윈 주식회사 영상 제공 장치 및 방법
JP6827758B2 (ja) 2016-10-12 2021-02-10 東芝映像ソリューション株式会社 移動式アシスト装置及び移動式アシスト方法
KR102546763B1 (ko) 2016-10-17 2023-06-22 한화비전 주식회사 영상 제공 장치 및 방법
CN106656689B (zh) 2016-10-17 2018-10-30 珠海格力电器股份有限公司 一种基于终端的智能家居的控制方法和终端
US10386999B2 (en) 2016-10-26 2019-08-20 Google Llc Timeline-video relationship presentation for alert events
US11238290B2 (en) 2016-10-26 2022-02-01 Google Llc Timeline-video relationship processing for alert events
CN106383645A (zh) 2016-10-31 2017-02-08 维沃移动通信有限公司 一种音乐播放的控制方法及移动终端
US10783883B2 (en) 2016-11-03 2020-09-22 Google Llc Focus session at a voice interface device
US10785328B2 (en) 2016-11-15 2020-09-22 International Business Machines Corporation Efficient collaborations in global enterprise environment
US10339769B2 (en) 2016-11-18 2019-07-02 Google Llc Server-provided visual output at a voice interface device
US9820323B1 (en) 2016-11-22 2017-11-14 Bose Corporation Wireless audio tethering system
US11418406B2 (en) 2016-11-25 2022-08-16 Sony Corporation Information processing apparatus and information processing method
KR102674150B1 (ko) 2016-12-27 2024-06-10 한화비전 주식회사 가변 이벤트 검출 조건을 가지는 촬상 장치
US10115396B2 (en) 2017-01-03 2018-10-30 Logitech Europe, S.A. Content streaming system
KR20180085931A (ko) 2017-01-20 2018-07-30 삼성전자주식회사 음성 입력 처리 방법 및 이를 지원하는 전자 장치
US10586433B2 (en) 2017-02-13 2020-03-10 Google Llc Automatic detection of zones of interest in a video
US20180232705A1 (en) 2017-02-15 2018-08-16 Microsoft Technology Licensing, Llc Meeting timeline management tool
KR102638911B1 (ko) 2017-02-24 2024-02-22 삼성전자 주식회사 복수의 IoT 장치들을 제어하기 위한 방법 및 장치
US10070093B1 (en) 2017-02-24 2018-09-04 Microsoft Technology Licensing, Llc Concurrent viewing of live content and recorded content
US10523625B1 (en) 2017-03-09 2019-12-31 Snap Inc. Restricted group content collection
CN107015781B (zh) 2017-03-28 2021-02-19 联想(北京)有限公司 语音识别方法和系统
KR102414122B1 (ko) 2017-04-19 2022-06-29 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 그 동작 방법
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10200969B2 (en) 2017-05-09 2019-02-05 Qualcomm Incorporated Methods and apparatus for selectively providing alerts to paired devices
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
US20180329586A1 (en) 2017-05-15 2018-11-15 Apple Inc. Displaying a set of application views
CN109463004B (zh) 2017-05-16 2023-07-21 苹果公司 数字助理服务的远场延伸
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
EP3593538B1 (en) 2017-05-16 2021-12-08 Apple Inc. Credential delegation
CN109287140B (zh) * 2017-05-16 2020-07-28 苹果公司 计算机实现的方法、计算机可读存储介质和电子设备
CN110392913B (zh) 2017-05-16 2023-09-29 谷歌有限责任公司 在共用的启用语音的装置上处理呼叫
AU2018201254B1 (en) 2017-05-16 2018-07-26 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
CN111694485B (zh) * 2017-05-16 2023-10-31 苹果公司 用于在用户界面之间导航的设备、方法和图形用户界面
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US11509944B2 (en) 2017-05-18 2022-11-22 Nbcuniversal Media, Llc System and method for presenting contextual clips for distributed content
US20200186378A1 (en) 2017-05-19 2020-06-11 Curtis Wayne Six Smart hub system
JP2018200624A (ja) 2017-05-29 2018-12-20 富士通株式会社 音声入出力制御プログラム、方法、及び装置
US10778463B2 (en) 2017-05-30 2020-09-15 Harman International Industries, Incorporated Displaying information for a smart-device-enabled environment
CN107219976B (zh) 2017-05-31 2020-07-28 Oppo广东移动通信有限公司 应用显示方法及相关产品
KR102313755B1 (ko) 2017-06-07 2021-10-18 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10693918B2 (en) 2017-06-15 2020-06-23 Palo Alto Networks, Inc. Radio access technology based security in service provider networks
WO2018232333A1 (en) 2017-06-15 2018-12-20 Lutron Electronics Co., Inc. Communicating with and controlling load control systems
CN107197441A (zh) 2017-06-20 2017-09-22 北京小米移动软件有限公司 智能家居设备的工作模式控制方法和装置
US10460671B2 (en) 2017-07-04 2019-10-29 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Lltd Scanning driving circuit and display apparatus
US10771270B2 (en) 2017-07-20 2020-09-08 Slack Technologies, Inc. Channeling messaging communications in a selected group-based communication interface
US11134227B2 (en) 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
CN107613235B (zh) 2017-09-25 2019-12-27 北京达佳互联信息技术有限公司 视频录制方法和装置
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US20190130185A1 (en) 2017-11-01 2019-05-02 International Business Machines Corporation Visualization of Tagging Relevance to Video
KR102490376B1 (ko) 2017-11-06 2023-01-25 삼성전자 주식회사 전자 장치 및 전자 장치 간 음성으로 기능을 실행하는 방법
US20190138951A1 (en) 2017-11-09 2019-05-09 Facebook, Inc. Systems and methods for generating multi-contributor content posts for events
CN110024412B (zh) 2017-11-10 2020-12-25 腾讯科技（深圳）有限公司 一种视频直播的方法、装置和系统
US10728624B2 (en) 2017-12-29 2020-07-28 Rovi Guides, Inc. Systems and methods for modifying fast-forward speeds based on the user's reaction time when detecting points of interest in content
US10298643B1 (en) 2018-01-17 2019-05-21 Hulu, LLC Live edge detection during video playback
CN108289239A (zh) 2018-01-22 2018-07-17 维沃移动通信有限公司 一种多媒体文件播放控制方法及移动终端
KR20190102509A (ko) 2018-02-26 2019-09-04 삼성전자주식회사 음성 명령을 수행하는 방법 및 시스템
WO2019173697A1 (en) 2018-03-08 2019-09-12 Bose Corporation Prioritizing delivery of location-based personal audio
US20190332400A1 (en) 2018-04-30 2019-10-31 Hootsy, Inc. System and method for cross-platform sharing of virtual assistants
US11157075B2 (en) 2018-05-01 2021-10-26 Dell Products, L.P. Gaze-activated voice services for interactive workspaces
CN112313924B (zh) 2018-05-07 2024-09-10 谷歌有限责任公司 提供用于控制各种连接设备的复合图形助理界面
KR102352721B1 (ko) 2018-05-07 2022-01-19 애플 인크. 라이브 비디오 피드들 및 기록된 비디오를 보기 위한 사용자 인터페이스들
US11169668B2 (en) 2018-05-16 2021-11-09 Google Llc Selecting an input mode for a virtual assistant
CN108958608B (zh) 2018-07-10 2022-07-15 广州视源电子科技股份有限公司 电子白板的界面元素操作方法、装置及交互智能设备
KR102607666B1 (ko) 2018-08-08 2023-11-29 삼성전자 주식회사 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치
US11316709B2 (en) 2018-10-08 2022-04-26 Google Llc Multi-source smart-home device control
US10924446B1 (en) 2018-10-08 2021-02-16 Facebook, Inc. Digital story reply container
EP3669283B1 (en) 2018-10-22 2021-04-07 Google LLC Network source identification via audio signals
US20200135191A1 (en) 2018-10-30 2020-04-30 Bby Solutions, Inc. Digital Voice Butler
US10929099B2 (en) 2018-11-02 2021-02-23 Bose Corporation Spatialized virtual personal assistant
CN109461462B (zh) 2018-11-02 2021-12-17 王佳一 音频分享方法及装置
US10885912B2 (en) 2018-11-13 2021-01-05 Motorola Solutions, Inc. Methods and systems for providing a corrected voice command
KR20200055983A (ko) 2018-11-14 2020-05-22 삼성전자주식회사 장치로부터 방사되는 전자기 신호를 측정하기 위한 방법 및 그 전자 장치
CN113794800B (zh) 2018-11-23 2022-08-26 华为技术有限公司 一种语音控制方法及电子设备
WO2020122949A1 (en) 2018-12-14 2020-06-18 Google Llc Graphical user interface indicator for broadcaster presence
US11635928B2 (en) 2019-01-04 2023-04-25 Apple Inc. User interfaces for content streaming
CA3131489A1 (en) 2019-02-27 2020-09-03 Louisiana-Pacific Corporation Fire-resistant manufactured-wood based siding
US10708653B1 (en) 2019-03-19 2020-07-07 Bose Corporation Entry presence detection for audio-video products and devices
KR20200111853A (ko) 2019-03-19 2020-10-05 삼성전자주식회사 전자 장치 및 전자 장치의 음성 인식 제어 방법
US10958975B2 (en) 2019-03-27 2021-03-23 Rovi Guides, Inc. Method and apparatus for identifying a single user requesting conflicting content and resolving said conflict
CN111817943B (zh) 2019-04-12 2022-06-14 腾讯科技（深圳）有限公司 一种基于即时通讯应用的数据处理方法和装置
US11100933B2 (en) 2019-04-17 2021-08-24 Tempus Labs, Inc. Collaborative artificial intelligence method and system
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
EP4231124A1 (en) 2019-05-31 2023-08-23 Apple Inc. User interfaces for audio media control
US20200379716A1 (en) 2019-05-31 2020-12-03 Apple Inc. Audio media user interface
US11968268B2 (en) 2019-07-30 2024-04-23 Dolby Laboratories Licensing Corporation Coordination of audio devices
US20210064317A1 (en) 2019-08-30 2021-03-04 Sony Interactive Entertainment Inc. Operational mode-based settings for presenting notifications on a user display
US20210065134A1 (en) 2019-08-30 2021-03-04 Microsoft Technology Licensing, Llc Intelligent notification system
US11172328B2 (en) 2019-09-27 2021-11-09 Sonos, Inc. Systems and methods for device localization
US11152011B2 (en) 2019-11-27 2021-10-19 Summit Wireless Technologies, Inc. Voice detection with multi-channel interference cancellation
CN112882823B (zh) 2019-11-29 2024-07-05 华为技术有限公司 屏幕显示方法及电子设备
US10963145B1 (en) 2019-12-30 2021-03-30 Snap Inc. Prioritizing display of user icons associated with content
US11745585B2 (en) 2020-04-20 2023-09-05 Thinkware Corporation Vehicle infotainment apparatus using widget and operation method thereof
EP3959590B1 (en) 2020-05-11 2024-03-06 Apple Inc. User interface for accessory control
US20210349680A1 (en) 2020-05-11 2021-11-11 Apple Inc. User interface for audio message
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
WO2022059362A1 (ja) 2020-09-18 2022-03-24 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理システム
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11523166B1 (en) 2020-11-30 2022-12-06 Amazon Technologies, Inc. Controlling interface of a multi-input modality device
US20220365667A1 (en) 2021-05-15 2022-11-17 Apple Inc. User interfaces for managing accessories
US20220377431A1 (en) 2021-05-19 2022-11-24 Apple Inc. Methods and user interfaces for auditory features
US11928387B2 (en) 2021-05-19 2024-03-12 Apple Inc. Managing target sound playback
US20230098814A1 (en) 2021-09-24 2023-03-30 Apple Inc. Media controls user interface
CN113835583A (zh) 2021-09-27 2021-12-24 维沃移动通信有限公司 显示方法、装置及电子设备
US20230393714A1 (en) 2022-06-03 2023-12-07 Apple Inc. User interfaces for managing accessories
US20240080642A1 (en) 2022-09-06 2024-03-07 Apple Inc. Interfaces for device interactions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140236325A1 (en) 2013-02-20 2014-08-21 Panasonic Corporation Control method for information apparatus and computer-readable recording medium
WO2014128800A1 (ja) 2013-02-20 2014-08-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報端末の制御方法及びプログラム
JP2017041008A (ja) 2015-08-18 2017-02-23 ヤマハ株式会社 制御装置
US20170359189A1 (en) 2016-06-12 2017-12-14 Apple Inc. Automatically Grouping Accessories
US20170357434A1 (en) 2016-06-12 2017-12-14 Apple Inc. User interface for managing controllable external devices

Also Published As

Publication number Publication date
AU2024205162A1 (en) 2024-08-15
EP3869312A1 (en) 2021-08-25
CN112334862A (zh) 2021-02-05
KR20210087572A (ko) 2021-07-12
JP2021101340A (ja) 2021-07-08
JP2023062082A (ja) 2023-05-02
AU2023203357A1 (en) 2023-06-29
WO2020242563A1 (en) 2020-12-03
US20230403509A1 (en) 2023-12-14
JP6934577B2 (ja) 2021-09-15
US11785387B2 (en) 2023-10-10
CN112965597A (zh) 2021-06-15
JP2021519987A (ja) 2021-08-12
US10779085B1 (en) 2020-09-15
JP2022058822A (ja) 2022-04-12
KR102353685B1 (ko) 2022-01-19
CN112506346A (zh) 2021-03-16
AU2023203357B2 (en) 2024-05-30
AU2021201403A1 (en) 2021-03-25
US12114142B2 (en) 2024-10-08
AU2020257092A1 (en) 2020-12-17
KR20220010589A (ko) 2022-01-25
KR102275853B1 (ko) 2021-07-12
AU2021201403B2 (en) 2021-11-04
KR20200138796A (ko) 2020-12-10
AU2020257092B2 (en) 2021-09-09
KR20240073144A (ko) 2024-05-24
US10904029B2 (en) 2021-01-26
US20200413197A1 (en) 2020-12-31
CN112506346B (zh) 2022-12-23
AU2021261941B2 (en) 2023-03-30
JP7019081B2 (ja) 2022-02-14
US20200382332A1 (en) 2020-12-03
AU2021261941A1 (en) 2021-12-02
KR102666493B1 (ko) 2024-05-20
EP3769200A1 (en) 2021-01-27

Similar Documents

Publication Publication Date Title
JP7231767B2 (ja) 制御可能外部デバイスを管理するためのユーザインタフェース
US20220276912A1 (en) Multiple notification user interface
DK181308B1 (en) Methods and interfaces for home media control
JP7236585B2 (ja) 音声メッセージのためのユーザインタフェース
DK201870060A1 (en) METHODS AND INTERFACES FOR HOME MEDIA CONTROL

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230216

R150 Certificate of patent or registration of utility model

Ref document number: 7231767

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150