JP7547560B2 - Multi-Participant Live Communication User Interface - Google Patents

Multi-Participant Live Communication User Interface Download PDF

Info

Publication number
JP7547560B2
JP7547560B2 JP2023097196A JP2023097196A JP7547560B2 JP 7547560 B2 JP7547560 B2 JP 7547560B2 JP 2023097196 A JP2023097196 A JP 2023097196A JP 2023097196 A JP2023097196 A JP 2023097196A JP 7547560 B2 JP7547560 B2 JP 7547560B2
Authority
JP
Japan
Prior art keywords
communication session
participant
user interface
participants
live video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023097196A
Other languages
Japanese (ja)
Other versions
JP2023120280A (en
Inventor
オーエス， マルセル ヴァン
リー ブロウトン，
ピート キャラウェイ，
パブロ エフ． カロ，
ジャエ ウー チャン，
アリソン ドライヤー，
アラン ダイ，
クレイグ フェデリギ，
ロバート ガルシア，
ニコラス ブイ． キング，
ステファン オー． レメイ，
ジョン ローチ，
ホアン ファム，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DKPA201870364A external-priority patent/DK201870364A1/en
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2023120280A publication Critical patent/JP2023120280A/en
Priority to JP2024146741A priority Critical patent/JP2024170463A/en
Application granted granted Critical
Publication of JP7547560B2 publication Critical patent/JP7547560B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1818—Conference organisation arrangements, e.g. handling schedules, setting up parameters needed by nodes to attend a conference, booking network resources, notifying involved parties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/48—Message addressing, e.g. address format or anonymous messages, aliases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/043—Real-time or near real-time messaging, e.g. instant messaging [IM] using or handling presence information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Description

本出願は、「ＭＵＬＴＩ－ＰＡＲＴＩＣＩＰＡＮＴ ＬＩＶＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ」と題する、２０１８年５月７日に出願された米国仮特許出願第６２／６６８，２２９号に関し、その全体が参照により本明細書に組み込まれる。 This application is related to U.S. Provisional Patent Application No. 62/668,229, filed May 7, 2018, entitled "MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE," which is hereby incorporated by reference in its entirety.

本開示は、概して、コンピュータユーザインターフェースに関し、より具体的には、複数の参加者が関与するライブ通信の技術に関する。 The present disclosure relates generally to computer user interfaces and, more specifically, to techniques for live communications involving multiple participants.

ユーザは、個人的及びビジネス上の理由で他人と仮想的に通信するために、電子デバイスをますます使用している。電子デバイスの大半が、ユーザ間及び複数の参加者間のライブ通信を提供することができる。例として、一部の電子デバイスは、ライブ通信を表示し制御する対話式インターフェースを提供する。 Users are increasingly using electronic devices to virtually communicate with others for personal and business reasons. Most electronic devices are capable of providing live communication between users and between multiple participants. As an example, some electronic devices provide interactive interfaces to view and control the live communication.

しかし、電子デバイスを使用する複数の参加者が関与するライブ通信のための一部の技術は、一般に煩雑で非効率である。例えば、一部の既存の技術では、複数回のキー押圧又は打鍵を含み得る、複雑で時間のかかるユーザインターフェースが使用される。既存の技術では、必要以上の時間を要し、ユーザの時間及びデバイスの電力が浪費される。この後者の問題は、バッテリ動作式デバイスにおいて特に重大である。 However, some techniques for live communication involving multiple participants using electronic devices are generally cumbersome and inefficient. For example, some existing techniques use complex and time-consuming user interfaces that may involve multiple key presses or strokes. Existing techniques take more time than necessary, wasting user time and device power. This latter problem is particularly acute in battery-operated devices.

したがって、本技術は、複数の参加者が関与するライブ通信のための、より速く、より効率的な方法及びインターフェースを伴う電子デバイスを提供する。そのような方法及びインターフェースは、任意選択的に、複数の参加者が関与するライブ通信のための他の方法を補完したり、置き換えたりする。そのような方法及びインターフェースは、ユーザの認知的負担を軽減し、より効率的なヒューマン－マシンインターフェースを実現する。バッテリ動作式コンピューティングデバイスの場合、そのような方法及びインターフェースにより、電力が節約され、バッテリ充電間隔が長くなる。 The present technology thus provides electronic devices with faster, more efficient methods and interfaces for live communication involving multiple participants. Such methods and interfaces, optionally, complement or replace other methods for live communication involving multiple participants. Such methods and interfaces reduce the cognitive burden on the user and provide a more efficient human-machine interface. For battery-operated computing devices, such methods and interfaces conserve power and extend the time between battery charges.

一部の実施形態では、ディスプレイを備える電子デバイスにて方法が実行される。この方法は、メッセージングアプリケーションのメッセージングユーザインターフェースを表示することであって、メッセージングユーザインターフェースは３人以上の参加者間のメッセージ会話における複数のメッセージを含むメッセージ領域を含む、ことと、３人以上の参加者に利用可能なライブ通信セッションがアクティブであることを示す第１のデータを受信することと、３人以上の参加者間のライブ通信セッションがアクティブであることを示す第１のデータの受信に応じて、ライブ通信セッションがアクティブであることを示す通知を表示することと、ライブ通信セッションがアクティブであることを示す通知を表示している間に、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータを受信することと、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータの受信に応じて、通知の表示を中止するか、又はライブ通信セッションがアクティブでなくなったことを示すように通知を更新することと、を含むことができる。 In some embodiments, a method is performed on an electronic device having a display. The method may include displaying a messaging user interface of a messaging application, the messaging user interface including a message area including a plurality of messages in a message conversation between three or more participants; receiving first data indicating that a live communication session available to the three or more participants is active; in response to receiving the first data indicating that the live communication session between the three or more participants is active, displaying a notification indicating that the live communication session is active; while displaying the notification indicating that the live communication session is active, receiving second data indicating that the live communication session between the three or more participants is no longer active; and in response to receiving the second data indicating that the live communication session between the three or more participants is no longer active, ceasing to display the notification or updating the notification to indicate that the live communication session is no longer active.

一部の実施形態では、非一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、３人以上の参加者間のメッセージ会話における複数のメッセージを含むメッセージ領域を含む、メッセージングアプリケーションのメッセージングユーザインターフェースを表示し、３人以上の参加者に利用可能なライブ通信セッションがアクティブであることを示す第１のデータを受信し、３人以上の参加者間のライブ通信セッションがアクティブであることを示す第１のデータの受信に応じて、ライブ通信セッションがアクティブであることを示す通知を表示し、ライブ通信セッションがアクティブであることを示す通知を表示している間に、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータを受信し、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータの受信に応じて、通知の表示を中止するか、又はライブ通信セッションがアクティブでなくなったことを示すように通知を更新する、ための命令を含む。 In some embodiments, a non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for displaying a messaging user interface of a messaging application including a message area including a plurality of messages in a message conversation between three or more participants, receiving first data indicating that a live communication session available to the three or more participants is active, displaying a notification indicating that the live communication session is active in response to receiving the first data indicating that the live communication session between the three or more participants is active, receiving second data indicating that the live communication session between the three or more participants is no longer active while displaying the notification indicating that the live communication session is active, and in response to receiving the second data indicating that the live communication session between the three or more participants is no longer active, ceasing to display the notification or updating the notification to indicate that the live communication session is no longer active.

一部の実施形態では、一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、３人以上の参加者間のメッセージ会話における複数のメッセージを含むメッセージ領域を含む、メッセージングアプリケーションのメッセージングユーザインターフェースを表示し、３人以上の参加者に利用可能なライブ通信セッションがアクティブであることを示す第１のデータを受信する、ための命令を含む。３人以上の参加者間のライブ通信セッションがアクティブであることを示す第１のデータの受信に応じて、ライブ通信セッションがアクティブであることを示す通知を表示し、ライブ通信セッションがアクティブであることを示す通知を表示している間に、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータを受信することと、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータの受信に応じて、通知の表示を中止するか、又はライブ通信セッションがアクティブでなくなったことを示すように通知を更新することと、を含むことができる。 In some embodiments, a temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for displaying a messaging user interface of a messaging application including a message area including a plurality of messages in a message conversation between the three or more participants, and receiving first data indicating that a live communication session available to the three or more participants is active. In response to receiving the first data indicating that the live communication session between the three or more participants is active, the method may include displaying a notification indicating that the live communication session is active, receiving second data indicating that the live communication session between the three or more participants is no longer active while displaying the notification indicating that the live communication session is active, and in response to receiving the second data indicating that the live communication session between the three or more participants is no longer active, ceasing to display the notification or updating the notification to indicate that the live communication session is no longer active.

一部の実施形態では、電子デバイスは、ディスプレイと、１つ以上のプロセッサと、メモリと、を備える。メモリは、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、３人以上の参加者間のメッセージ会話における複数のメッセージを含むメッセージ領域を含む、メッセージングアプリケーションのメッセージングユーザインターフェースを表示し、３人以上の参加者に利用可能なライブ通信セッションがアクティブであることを示す第１のデータを受信する、ための命令を含む。３人以上の参加者間のライブ通信セッションがアクティブであることを示す第１のデータの受信に応じて、ライブ通信セッションがアクティブであることを示す通知を表示し、ライブ通信セッションがアクティブであることを示す通知を表示している間に、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータを受信することと、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータの受信に応じて、通知の表示を中止するか、又はライブ通信セッションがアクティブでなくなったことを示すように通知を更新することと、を含むことができる。 In some embodiments, an electronic device includes a display, one or more processors, and a memory. The memory stores one or more programs configured to be executed by the one or more processors. The one or more programs include instructions for displaying a messaging user interface of a messaging application including a message area including a plurality of messages in a message conversation between the three or more participants, and receiving first data indicating that a live communication session available to the three or more participants is active. In response to receiving the first data indicating that the live communication session between the three or more participants is active, the method may include displaying a notification indicating that the live communication session is active, receiving second data indicating that the live communication session between the three or more participants is no longer active while displaying the notification indicating that the live communication session is active, and in response to receiving the second data indicating that the live communication session between the three or more participants is no longer active, ceasing to display the notification or updating the notification to indicate that the live communication session is no longer active.

一部の実施形態では、電子デバイスは、ディスプレイと、３人以上の参加者間のメッセージ会話における複数のメッセージを含むメッセージ領域を含む、メッセージングアプリケーションのメッセージングユーザインターフェースを表示する手段と、３人以上の参加者に利用可能なライブ通信セッションがアクティブであることを示す第１のデータを受信する手段と、３人以上の参加者間のライブ通信セッションがアクティブであることを示す第１のデータの受信に応じて、ライブ通信セッションがアクティブであることを示す通知を表示する手段と、ライブ通信セッションがアクティブであることを示す通知を表示している間に、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータを受信する手段と、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータの受信に応じて、通知の表示を中止するか、又はライブ通信セッションがアクティブでなくなったことを示すように通知を更新する手段と、を備える。 In some embodiments, the electronic device comprises: means for displaying a messaging user interface of a messaging application including a display and a message area including a plurality of messages in a message conversation between the three or more participants; means for receiving first data indicating that a live communication session available to the three or more participants is active; means for displaying a notification indicating that the live communication session is active in response to receiving the first data indicating that the live communication session between the three or more participants is active; means for receiving second data indicating that the live communication session between the three or more participants is no longer active while displaying the notification indicating that the live communication session is active; and means for ceasing display of the notification or updating the notification to indicate that the live communication session is no longer active in response to receiving the second data indicating that the live communication session between the three or more participants is no longer active.

一部の実施形態では、ディスプレイを備える電子デバイスにて方法が行われる。この方法は、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信することと、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信したことに応じて、ライブ通信セッションにおいて複数の参加者の表現を同時に表示することを含む、ライブ通信ユーザインターフェースを表示することと、を含み、ライブ通信セッションにおいて複数の参加者の表現を表示することは、ライブ通信セッションにおける参加者の数が参加者の閾数よりも多いとの判定を受けて、電子デバイスのユーザ以外の第１の複数の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで同時に表示する一方、第１の複数の参加者に含まれない１人以上の参加者を含む第２の複数の参加者の表現をオーバーフロー領域に表示し、オーバーフロー領域に表示される１人以上の他の参加者の表現は、それぞれの閾値サイズよりも小さなサイズで表示される、ことと、ライブ通信セッションにおける参加者の数が参加者の閾数以下であるとの判定を受けて、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズ以下の１つ以上のサイズで表示することなく、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで表示することと、を含むことができる。 In some embodiments, a method is performed on an electronic device having a display. The method includes receiving a request to display a user interface for a live communication session between two or more participants; and, in response to receiving the request to display the user interface for the live communication session between the two or more participants, displaying a live communication user interface including simultaneously displaying representations of a plurality of participants in the live communication session, wherein displaying the representations of the plurality of participants in the live communication session can include, in response to a determination that a number of participants in the live communication session is greater than a threshold number of participants, simultaneously displaying representations of a first plurality of participants other than a user of the electronic device at one or more sizes greater than a respective threshold size while displaying representations of a second plurality of participants including one or more participants not included in the first plurality of participants in an overflow area, the representations of the one or more other participants displayed in the overflow area being displayed at sizes smaller than the respective threshold size; and, in response to a determination that the number of participants in the live communication session is equal to or less than the threshold number of participants, displaying representations of participants other than a user of the electronic device at one or more sizes greater than a respective threshold size without displaying representations of participants other than a user of the electronic device at one or more sizes less than a respective threshold size.

一部の実施形態では、非一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信し、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信したことに応じて、ライブ通信セッションにおいて複数の参加者の表現を同時に表示することを含む、ライブ通信ユーザインターフェースを表示する、ための命令を含み、ライブ通信セッションにおいて複数の参加者の表現を表示することは、ライブ通信セッションにおける参加者の数が参加者の閾数よりも多いとの判定を受けて、電子デバイスのユーザ以外の第１の複数の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで同時に表示する一方、第１の複数の参加者に含まれない１人以上の参加者を含む第２の複数の参加者の表現をオーバーフロー領域に表示し、オーバーフロー領域に表示される１人以上の他の参加者の表現は、それぞれの閾値サイズよりも小さなサイズで表示される、ことと、ライブ通信セッションにおける参加者の数が参加者の閾数以下であるとの判定を受けて、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズ以下の１つ以上のサイズで表示することなく、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで表示することと、を含む。 In some embodiments, a non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for receiving a request to display a user interface for a live communication session between two or more participants, and displaying a live communication user interface including simultaneously displaying representations of a plurality of participants in the live communication session in response to receiving the request to display a user interface for a live communication session between two or more participants, the displaying of the representations of the plurality of participants in the live communication session including: simultaneously displaying representations of a first plurality of participants other than the user of the electronic device at one or more sizes greater than a respective threshold size while displaying representations of a second plurality of participants including one or more participants not included in the first plurality of participants in an overflow area, the representations of the one or more other participants displayed in the overflow area being displayed at sizes smaller than the respective threshold sizes in response to a determination that the number of participants in the live communication session is equal to or less than the threshold number of participants; and displaying representations of participants other than the user of the electronic device at one or more sizes greater than the respective threshold sizes without displaying representations of participants other than the user of the electronic device at one or more sizes less than the respective threshold sizes in response to a determination that the number of participants in the live communication session is equal to or less than the threshold number of participants.

一部の実施形態では、一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信し、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信したことに応じて、ライブ通信セッションにおいて複数の参加者の表現を同時に表示することを含む、ライブ通信ユーザインターフェースを表示する、ための命令含み、ライブ通信セッションにおいて複数の参加者の表現を表示することは、ライブ通信セッションにおける参加者の数が参加者の閾数よりも多いとの判定を受けて、電子デバイスのユーザ以外の第１の複数の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで同時に表示する一方、第１の複数の参加者に含まれない１人以上の参加者を含む第２の複数の参加者の表現をオーバーフロー領域に表示し、オーバーフロー領域に表示される１人以上の他の参加者の表現は、それぞれの閾値サイズよりも小さなサイズで表示される、ことと、ライブ通信セッションにおける参加者の数が参加者の閾数以下であるとの判定を受けて、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズ以下の１つ以上のサイズで表示することなく、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで表示することと、を含む。 In some embodiments, a temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for receiving a request to display a user interface for a live communication session between two or more participants, and displaying a live communication user interface, including simultaneously displaying representations of a plurality of participants in the live communication session in response to receiving the request to display a user interface for a live communication session between two or more participants, the displaying of the representations of the plurality of participants in the live communication session including: simultaneously displaying representations of a first plurality of participants other than the user of the electronic device at one or more sizes greater than a respective threshold size while displaying representations of a second plurality of participants including one or more participants not included in the first plurality of participants in an overflow area, the representations of the one or more other participants displayed in the overflow area being displayed at sizes smaller than the respective threshold sizes, and displaying representations of participants other than the user of the electronic device at one or more sizes greater than the respective threshold sizes without displaying representations of participants other than the user of the electronic device at one or more sizes less than the respective threshold sizes in response to a determination that the number of participants in the live communication session is equal to or less than the threshold number of participants.

一部の実施形態では、電子デバイスは、ディスプレイと、１つ以上のプロセッサと、メモリと、を備える。メモリは、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信し、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信したことに応じて、ライブ通信セッションにおいて複数の参加者の表現を同時に表示することを含む、ライブ通信ユーザインターフェースを表示する、ための命令を含み、ライブ通信セッションにおいて複数の参加者の表現を表示することは、ライブ通信セッションにおける参加者の数が参加者の閾数よりも多いとの判定を受けて、電子デバイスのユーザ以外の第１の複数の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで同時に表示する一方、第１の複数の参加者に含まれない１人以上の参加者を含む第２の複数の参加者の表現をオーバーフロー領域に表示し、オーバーフロー領域に表示される１人以上の他の参加者の表現は、それぞれの閾値サイズよりも小さなサイズで表示される、ことと、ライブ通信セッションにおける参加者の数が参加者の閾数以下であるとの判定を受けて、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズ以下の１つ以上のサイズで表示することなく、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで表示することと、を含む。 In some embodiments, an electronic device includes a display, one or more processors, and a memory. The memory stores one or more programs configured to be executed by the one or more processors. The one or more programs include instructions for receiving a request to display a user interface for a live communication session between two or more participants, and displaying a live communication user interface including simultaneously displaying representations of a plurality of participants in the live communication session in response to receiving the request to display a user interface for a live communication session between two or more participants, the displaying of the representations of the plurality of participants in the live communication session including: simultaneously displaying representations of a first plurality of participants other than the user of the electronic device at one or more sizes greater than a respective threshold size while displaying representations of a second plurality of participants including one or more participants not included in the first plurality of participants in an overflow area, the representations of the one or more other participants displayed in the overflow area being displayed at sizes smaller than the respective threshold sizes in response to a determination that the number of participants in the live communication session is equal to or less than the threshold number of participants; and displaying representations of participants other than the user of the electronic device at one or more sizes greater than the respective threshold sizes without displaying representations of participants other than the user of the electronic device at one or more sizes less than the respective threshold sizes in response to a determination that the number of participants in the live communication session is equal to or less than the threshold number of participants.

一部の実施形態では、電子デバイスは、ディスプレイと、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信する手段と、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信したことに応じて、ライブ通信セッションにおいて複数の参加者の表現を同時に表示することを含む、ライブ通信ユーザインターフェースを表示する手段と、を備え、ライブ通信セッションにおいて複数の参加者の表現を表示することは、ライブ通信セッションにおける参加者の数が参加者の閾数よりも多いとの判定を受けて、電子デバイスのユーザ以外の第１の複数の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで同時に表示する一方、第１の複数の参加者に含まれない１人以上の参加者を含む第２の複数の参加者の表現をオーバーフロー領域に表示し、オーバーフロー領域に表示される１人以上の他の参加者の表現は、それぞれの閾値サイズよりも小さなサイズで表示される、手段と、ライブ通信セッションにおける参加者の数が参加者の閾数以下であるとの判定を受けて、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズ以下の１つ以上のサイズで表示することなく、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで表示する、手段と、を備える。 In some embodiments, an electronic device includes a display, means for receiving a request to display a user interface for a live communication session between two or more participants, and means for displaying a live communication user interface including simultaneously displaying representations of a plurality of participants in the live communication session in response to receiving the request to display a user interface for the live communication session between two or more participants, the displaying of the representations of the plurality of participants in the live communication session including: simultaneously displaying representations of a first plurality of participants other than the user of the electronic device at one or more sizes greater than the respective threshold sizes while displaying representations of a second plurality of participants including one or more participants not included in the first plurality of participants in an overflow area, the representations of the one or more other participants displayed in the overflow area being displayed at sizes smaller than the respective threshold sizes in response to a determination that the number of participants in the live communication session is equal to or less than the threshold number of participants; and means for displaying representations of participants other than the user of the electronic device at one or more sizes greater than the respective threshold sizes without displaying representations of participants other than the user of the electronic device at one or more sizes less than the respective threshold sizes in response to a determination that the number of participants in the live communication session is equal to or less than the threshold number of participants.

一部の実施形態では、ディスプレイを備える電子デバイスにて方法が行われる。方法は、ライブビデオ通信セッションにおける第１の参加者の表現と、ライブビデオ通信セッションにおける第２の参加者の表現と、ライブビデオ通信セッションにおける第３の参加者の表現とを同時に表示するライブビデオ通信ユーザインターフェースを表示することと、ライブビデオ通信ユーザインターフェースを表示している間に、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータを受信することと、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に応じて、ライブビデオ通信ユーザインターフェースにおいて第１の参加者の表現のサイズ及び／又は位置を変更することと、ライブビデオ通信ユーザインターフェースにおいて第２の参加者の表現のサイズ及び／又は位置を変更することと、ライブビデオ通信ユーザインターフェースにおいて第３の参加者の表現のサイズ及び／又は位置を変更することと、を含むことができる。 In some embodiments, a method is performed on an electronic device having a display. The method may include displaying a live video communication user interface simultaneously displaying a representation of a first participant in the live video communication session, a representation of a second participant in the live video communication session, and a representation of a third participant in the live video communication session; receiving data while displaying the live video communication user interface indicating that an activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session; in response to receiving the data indicating that an activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session, modifying a size and/or position of the representation of the first participant in the live video communication user interface, modifying a size and/or position of the representation of the second participant in the live video communication user interface, and modifying a size and/or position of the representation of the third participant in the live video communication user interface.

一部の実施形態では、非一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、ライブビデオ通信セッションにおける第１の参加者の表現と、ライブビデオ通信セッションにおける第２の参加者の表現と、ライブビデオ通信セッションにおける第３の参加者の表現とを同時に表示するライブビデオ通信ユーザインターフェースを表示し、ライブビデオ通信ユーザインターフェースを表示している間に、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータを受信し、ライブビデオ通信セッションにおける第２の参加者の活動レベルがライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に応じて、ライブビデオ通信ユーザインターフェースにおいて第１の参加者の表現のサイズ及び／又は位置を変更し、ライブビデオ通信ユーザインターフェースにおいて第２の参加者の表現のサイズ及び／又は位置を変更し、ライブビデオ通信ユーザインターフェースにおいて第３の参加者の表現のサイズ及び／又は位置を変更する、ための命令を含む。 In some embodiments, a non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for displaying a live video communication user interface simultaneously displaying a representation of a first participant in the live video communication session, a representation of a second participant in the live video communication session, and a representation of a third participant in the live video communication session, receiving data while displaying the live video communication user interface indicating that an activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session, and in response to receiving the data indicating that an activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session, modifying a size and/or position of the representation of the first participant in the live video communication user interface, modifying a size and/or position of the representation of the second participant in the live video communication user interface, and modifying a size and/or position of the representation of the third participant in the live video communication user interface.

一部の実施形態では、一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、ライブビデオ通信セッションにおける第１の参加者の表現と、ライブビデオ通信セッションにおける第２の参加者の表現と、ライブビデオ通信セッションにおける第３の参加者の表現とを同時に表示するライブビデオ通信ユーザインターフェースを表示し、ライブビデオ通信ユーザインターフェースを表示している間に、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータを受信し、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に応じて、ライブビデオ通信ユーザインターフェースにおいて第１の参加者の表現のサイズ及び／又は位置を変更し、ライブビデオ通信ユーザインターフェースにおいて第２の参加者の表現のサイズ及び／又は位置を変更し、ライブビデオ通信ユーザインターフェースにおいて第３の参加者の表現のサイズ及び／又は位置を変更する、ための命令を含む。 In some embodiments, a temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for displaying a live video communication user interface simultaneously displaying a representation of a first participant in the live video communication session, a representation of a second participant in the live video communication session, and a representation of a third participant in the live video communication session, receiving data while displaying the live video communication user interface indicating that an activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session, and in response to receiving the data indicating that an activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session, modifying a size and/or position of the representation of the first participant in the live video communication user interface, modifying a size and/or position of the representation of the second participant in the live video communication user interface, and modifying a size and/or position of the representation of the third participant in the live video communication user interface.

一部の実施形態では、電子デバイスは、ディスプレイと、１つ以上のプロセッサと、メモリと、を備える。メモリは、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、ライブビデオ通信セッションにおける第１の参加者の表現と、ライブビデオ通信セッションにおける第２の参加者の表現と、ライブビデオ通信セッションにおける第３の参加者の表現とを同時に表示するライブビデオ通信ユーザインターフェースを表示し、ライブビデオ通信ユーザインターフェースを表示している間に、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータを受信し、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に応じて、ライブビデオ通信ユーザインターフェースにおいて第１の参加者の表現のサイズ及び／又は位置を変更し、ライブビデオ通信ユーザインターフェースにおいて第２の参加者の表現のサイズ及び／又は位置を変更し、ライブビデオ通信ユーザインターフェースにおいて第３の参加者の表現のサイズ及び／又は位置を変更する、ための命令を含む。 In some embodiments, the electronic device comprises a display, one or more processors, and a memory. The memory stores one or more programs configured to be executed by the one or more processors. The one or more programs include instructions for displaying a live video communication user interface simultaneously displaying a representation of a first participant in the live video communication session, a representation of a second participant in the live video communication session, and a representation of a third participant in the live video communication session, receiving data while displaying the live video communication user interface indicating that an activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session, and in response to receiving the data indicating that an activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session, modifying a size and/or position of the representation of the first participant in the live video communication user interface, modifying a size and/or position of the representation of the second participant in the live video communication user interface, and modifying a size and/or position of the representation of the third participant in the live video communication user interface.

一部の実施形態では、電子デバイスは、ディスプレイと、ライブビデオ通信セッションにおける第１の参加者の表現と、ライブビデオ通信セッションにおける第２の参加者の表現と、ライブビデオ通信セッションにおける第３の参加者の表現とを同時に表示するライブビデオ通信ユーザインターフェースを表示する手段と、ライブビデオ通信ユーザインターフェースを表示している間に、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータを受信する手段と、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に応じて、ライブビデオ通信ユーザインターフェースにおいて第１の参加者の表現のサイズ及び／又は位置を変更し、ライブビデオ通信ユーザインターフェースにおいて第２の参加者の表現のサイズ及び／又は位置を変更し、ライブビデオ通信ユーザインターフェースにおいて第３の参加者の表現のサイズ及び／又は位置を変更する、手段と、を備える。 In some embodiments, the electronic device comprises a display; means for displaying a live video communication user interface simultaneously displaying a representation of a first participant in the live video communication session, a representation of a second participant in the live video communication session, and a representation of a third participant in the live video communication session; means for receiving data indicating that an activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session while displaying the live video communication user interface; and means for modifying a size and/or position of the representation of the first participant in the live video communication user interface, modifying a size and/or position of the representation of the second participant in the live video communication user interface, and modifying a size and/or position of the representation of the third participant in the live video communication user interface in response to receiving the data indicating that an activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session.

一部の実施形態では、ディスプレイを備える電子デバイスにて方法が実行される。この方法は、メッセージングアプリケーションのメッセージングユーザインターフェースであって、３人以上の参加者を含むメッセージ会話における参加者間の複数のメッセージを含むメッセージ領域と、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始するための、メッセージ領域とは別個のアフォーダンスと、を含む、メッセージングユーザインターフェースを表示することと、アフォーダンスの選択に対応する入力を検出することと、アフォーダンスの選択に対応する入力の検出に応じて、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始する処理を開始することであって、ライブビデオ通信セッションは、メッセージ会話の参加者を含む、開始することと、を含むことができる。 In some embodiments, a method is performed on an electronic device having a display. The method may include displaying a messaging user interface of a messaging application including a message area including a plurality of messages between participants in a message conversation including three or more participants and an affordance, separate from the message area, for initiating a live video communication session in a live video communication application; detecting an input corresponding to a selection of the affordance; and in response to detecting the input corresponding to the selection of the affordance, initiating a process to initiate a live video communication session in the live video communication application, the live video communication session including the participants of the message conversation.

一部の実施形態では、非一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、メッセージングアプリケーションのメッセージングユーザインターフェースであって、３人以上の参加者を含むメッセージ会話における参加者間の複数のメッセージを含むメッセージ領域と、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始するための、メッセージ領域とは別個のアフォーダンスと、を含む、メッセージングユーザインターフェースを表示し、アフォーダンスの選択に対応する入力を検出し、アフォーダンスの選択に対応する入力の検出に応じて、ライブビデオ通信アプリケーションにおいて、メッセージ会話の参加者を含むライブビデオ通信セッションを開始する処理を開始する、ための命令を含む。 In some embodiments, a non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for displaying a messaging user interface of a messaging application including a message area including a plurality of messages between participants in a message conversation including three or more participants and an affordance, separate from the message area, for initiating a live video communication session in a live video communication application; detecting an input corresponding to a selection of the affordance; and in response to detecting the input corresponding to the selection of the affordance, initiating a process in the live video communication application to initiate a live video communication session including the participants of the message conversation.

一部の実施形態では、一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、メッセージングアプリケーションのメッセージングユーザインターフェースであって、３人以上の参加者を含むメッセージ会話における参加者間の複数のメッセージを含むメッセージ領域と、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始するための、メッセージ領域とは別個のアフォーダンスと、を含む、メッセージングユーザインターフェースを表示し、表示し、アフォーダンスの選択に対応する入力を検出し、アフォーダンスの選択に対応する入力の検出に応じて、ライブビデオ通信アプリケーションにおいて、メッセージ会話の参加者を含むライブビデオ通信セッションを開始する処理を開始する、ための命令を含む。 In some embodiments, a temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for displaying a messaging user interface of a messaging application including a message area including a plurality of messages between participants in a message conversation including three or more participants and an affordance, separate from the message area, for initiating a live video communication session in a live video communication application; detecting an input corresponding to a selection of the affordance; and in response to detecting the input corresponding to the selection of the affordance, initiating a process in the live video communication application to initiate a live video communication session including the participants of the message conversation.

一部の実施形態では、電子デバイスは、ディスプレイと、１つ以上のプロセッサと、メモリと、を備える。メモリは、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、メッセージングアプリケーションのメッセージングユーザインターフェースであって、３人以上の参加者を含むメッセージ会話における参加者間の複数のメッセージを含むメッセージ領域と、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始するための、メッセージ領域とは別個のアフォーダンスと、を含む、メッセージングユーザインターフェースを表示し、アフォーダンスの選択に対応する入力を検出し、アフォーダンスの選択に対応する入力の検出に応じて、ライブビデオ通信アプリケーションにおいて、メッセージ会話の参加者を含むライブビデオ通信セッションを開始する処理を開始する、ための命令を含む。 In some embodiments, an electronic device includes a display, one or more processors, and a memory. The memory stores one or more programs configured to be executed by the one or more processors. The one or more programs include instructions for displaying a messaging user interface of a messaging application including a message area including a plurality of messages between participants in a message conversation including three or more participants, and an affordance, separate from the message area, for initiating a live video communication session in a live video communication application; detecting an input corresponding to a selection of the affordance; and in response to detecting the input corresponding to the selection of the affordance, initiating a process in the live video communication application to initiate a live video communication session including the participants of the message conversation.

一部の実施形態では、電子デバイスは、ディスプレイと、メッセージングアプリケーションのメッセージングユーザインターフェースを表示する手段であって、メッセージングユーザインターフェースは、３人以上の参加者を含むメッセージ会話における参加者間の複数のメッセージを含むメッセージ領域と、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始するための、メッセージ領域とは別個のアフォーダンスと、を含む、手段と、アフォーダンスの選択に対応する入力を検出する手段と、アフォーダンスの選択に対応する入力の検出に応じて、ライブビデオ通信アプリケーションにおいて、メッセージ会話の参加者を含むライブビデオ通信セッションを開始する処理を開始する手段と、を備える。 In some embodiments, the electronic device includes a display; means for displaying a messaging user interface of a messaging application, the messaging user interface including a message area including a plurality of messages between participants in a message conversation including three or more participants, and an affordance, separate from the message area, for initiating a live video communication session in the live video communication application; means for detecting an input corresponding to a selection of the affordance; and means for initiating a process in the live video communication application to initiate a live video communication session including the participants of the message conversation in response to detecting the input corresponding to the selection of the affordance.

一部の実施形態では、ディスプレイを備える電子デバイスにて方法が実行される。この方法は、ライブビデオ通信アプリケーションのユーザインターフェースであって、３人以上の参加者グループに対応する第１の参加者アフォーダンスを含む、それぞれ１人以上の参加者に対応する複数の参加者アフォーダンスと、新規のライブビデオ通信セッションを開始するための新規セッションアフォーダンスと、を含む、ユーザインターフェースを表示することと、新規のライブビデオ通信セッションを開始する処理を開始するための要求に対応する入力を検出することと、入力の検出に応じて、入力が第１の参加者アフォーダンスの選択に対応することを受けて、３人以上の参加者グループを含む新規のライブビデオ通信セッションを開始する処理を開始することと、入力が新規セッションアフォーダンスの選択に対応することを受けて、２人以上の参加者を選択する処理を開始し、デバイスに関連する参加者と、２人以上の選択された参加者とを含む新規のライブビデオ通信セッションを開始することと、を含むことができる。 In some embodiments, a method is performed on an electronic device having a display. The method may include displaying a user interface of a live video communication application, the user interface including a plurality of participant affordances, each corresponding to one or more participants, including a first participant affordance corresponding to a group of three or more participants, and a new session affordance for starting a new live video communication session; detecting an input corresponding to a request to initiate a process to initiate a new live video communication session; in response to detecting the input, initiating a process to initiate a new live video communication session including the group of three or more participants in response to the input corresponding to a selection of the first participant affordance; and initiating a process to select two or more participants in response to the input corresponding to a selection of the new session affordance, and starting a new live video communication session including a participant associated with the device and the two or more selected participants.

一部の実施形態では、非一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインターフェースであって、３人以上の参加者グループに対応する第１の参加者アフォーダンスを含む、それぞれ１人以上の参加者に対応する複数の参加者アフォーダンスと、新規のライブビデオ通信セッションを開始するための新規セッションアフォーダンスと、を含む、ライブビデオ通信ユーザインターフェースを表示し、新規のライブビデオ通信セッションを開始する処理を開始するための要求に対応する入力を検出し、入力の検出に応じて、入力が第１の参加者アフォーダンスの選択に対応することを受けて、３人以上の参加者グループを含む新規のライブビデオ通信セッションを開始する処理を開始し、入力が新規セッションアフォーダンスの選択に対応することを受けて、２人以上の参加者を選択する処理を開始し、デバイスに関連する参加者と、２人以上の選択された参加者とを含む新規のライブビデオ通信セッションを開始する、ための命令を含む。 In some embodiments, a non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for displaying a live video communication user interface of a live video communication application, the live video communication user interface including a plurality of participant affordances, each corresponding to one or more participants, including a first participant affordance corresponding to a group of three or more participants, and a new session affordance for starting a new live video communication session; detecting an input corresponding to a request to start a process to start a new live video communication session; in response to detecting the input, initiating a process to start a new live video communication session including the group of three or more participants in response to the input corresponding to a selection of the first participant affordance; initiating a process to select two or more participants in response to the input corresponding to a selection of the new session affordance; and initiating a new live video communication session including a participant associated with the device and the two or more selected participants.

一部の実施形態では、一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインターフェースであって、３人以上の参加者グループに対応する第１の参加者アフォーダンスを含む、それぞれ１人以上の参加者に対応する複数の参加者アフォーダンスと、新規のライブビデオ通信セッションを開始するための新規セッションアフォーダンスと、を含む、ライブビデオ通信ユーザインターフェースを表示し、新規のライブビデオ通信セッションを開始する処理を開始するための要求に対応する入力を検出し、入力の検出に応じて、入力が第１の参加者アフォーダンスの選択に対応することを受けて、３人以上の参加者グループを含む新規のライブビデオ通信セッションを開始する処理を開始し、入力が新規セッションアフォーダンスの選択に対応することを受けて、２人以上の参加者を選択する処理を開始し、デバイスに関連する参加者と、２人以上の選択された参加者とを含む新規のライブビデオ通信セッションを開始する、ための命令を含む。 In some embodiments, a temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for displaying a live video communication user interface of a live video communication application, the live video communication user interface including a plurality of participant affordances, each corresponding to one or more participants, including a first participant affordance corresponding to a group of three or more participants, and a new session affordance for starting a new live video communication session; detecting an input corresponding to a request to start a process to start a new live video communication session; in response to detecting the input, initiating a process to start a new live video communication session including the group of three or more participants in response to the input corresponding to a selection of the first participant affordance; initiating a process to select two or more participants in response to the input corresponding to a selection of the new session affordance; and initiating a new live video communication session including a participant associated with the device and the two or more selected participants.

一部の実施形態では、電子デバイスは、ディスプレイと、１つ以上のプロセッサと、メモリと、を備える。メモリは、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインターフェースであって、３人以上の参加者グループに対応する第１の参加者アフォーダンスを含む、それぞれ１人以上の参加者に対応する複数の参加者アフォーダンスと、新規のライブビデオ通信セッションを開始するための新規セッションアフォーダンスと、を含む、ライブビデオ通信ユーザインターフェースを表示し、新規のライブビデオ通信セッションを開始する処理を開始するための要求に対応する入力を検出し、入力の検出に応じて、入力が第１の参加者アフォーダンスの選択に対応することを受けて、３人以上の参加者グループを含む新規のライブビデオ通信セッションを開始する処理を開始し、入力が新規セッションアフォーダンスの選択に対応することを受けて、２人以上の参加者を選択する処理を開始し、デバイスに関連する参加者と、２人以上の選択された参加者とを含む新規のライブビデオ通信セッションを開始する、ための命令を含む。 In some embodiments, the electronic device includes a display, one or more processors, and a memory. The memory stores one or more programs configured to be executed by the one or more processors. The one or more programs include instructions for displaying a live video communication user interface of a live video communication application, the live video communication user interface including a plurality of participant affordances, each corresponding to one or more participants, including a first participant affordance corresponding to a group of three or more participants, and a new session affordance for starting a new live video communication session; detecting an input corresponding to a request to start a process to start a new live video communication session; in response to detecting the input, initiating a process to start a new live video communication session including the group of three or more participants in response to the input corresponding to a selection of the first participant affordance; initiating a process to select two or more participants in response to the input corresponding to a selection of the new session affordance; and initiating a new live video communication session including a participant associated with the device and the two or more selected participants.

一部の実施形態では、電子デバイスは、ディスプレイと、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインターフェースを表示する手段であって、ライブビデオ通信ユーザインターフェースは、３人以上の参加者グループに対応する第１の参加者アフォーダンスを含む、それぞれ１人以上の参加者に対応する複数の参加者アフォーダンスと、新規のライブビデオ通信セッションを開始するための新規セッションアフォーダンスと、を含む、手段と、新規のライブビデオ通信セッションを開始する処理を開始するための要求に対応する入力を検出する手段と、入力の検出に応じて、入力が第１の参加者アフォーダンスの選択に対応することを受けて、３人以上の参加者グループを含む新規のライブビデオ通信セッションを開始する処理を開始し、入力が新規セッションアフォーダンスの選択に対応することによって、２人以上の参加者を選択する処理を開始し、デバイスに関連する参加者と、２人以上の選択された参加者とを含む新規のライブビデオ通信セッションを開始する手段と、を備える。 In some embodiments, the electronic device includes a display, a means for displaying a live video communication user interface of a live video communication application, the live video communication user interface including a plurality of participant affordances, each corresponding to one or more participants, including a first participant affordance corresponding to a group of three or more participants, and a new session affordance for starting a new live video communication session, and a means for detecting an input corresponding to a request to start a process to start a new live video communication session, and in response to detecting the input, starting a process to start a new live video communication session including the group of three or more participants in response to the input corresponding to a selection of the first participant affordance, starting a process to select two or more participants by the input corresponding to a selection of the new session affordance, and starting a new live video communication session including a participant associated with the device and the two or more selected participants.

これらの機能を実行する実行可能命令は、任意選択的に、非一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。これらの機能を実行する実行可能命令は、任意選択的に、一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。 Executable instructions to perform these functions are optionally included in a non-transitory computer-readable storage medium or other computer program product configured to be executed by one or more processors. Executable instructions to perform these functions are optionally included in a transitory computer-readable storage medium or other computer program product configured to be executed by one or more processors.

このため、電子デバイスは、複数の参加者が関与するライブ通信のための、より速く、より効率的な方法及びインターフェースが提供されることで、そのようなデバイスの有効性、効率性、及びユーザ満足度が高められる。そのような方法及びインターフェースは、複数の参加者が関与するライブ通信のための他の方法を補完したり、置き換えたりすることができる。 Thus, electronic devices are provided with faster, more efficient methods and interfaces for live communication involving multiple participants, thereby increasing the effectiveness, efficiency, and user satisfaction of such devices. Such methods and interfaces may complement or replace other methods for live communication involving multiple participants.

説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきである。ここで、類似の参照番号は、それらの図の全てを通じて、対応する部分を指す。 For a better understanding of the various embodiments described, reference should be made to the following Detailed Description in conjunction with the following drawings, in which like reference numerals refer to corresponding parts throughout the various views:

一部の実施形態による、タッチ感知ディスプレイを備えるポータブル多機能デバイスを示すブロック図である。1 is a block diagram illustrating a portable multifunction device with a touch-sensitive display in accordance with some embodiments. 一部の実施形態による、イベント処理のための例示的な構成要素を示すブロック図である。FIG. 2 is a block diagram illustrating example components for event processing, in accordance with some embodiments. 一部の実施形態による、タッチスクリーンを有するポータブル多機能デバイスを示す図である。1 illustrates a portable multifunction device having a touch screen according to some embodiments. 一部の実施形態による、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。1 is a block diagram of an exemplary multifunction device with a display and a touch-sensitive surface in accordance with some embodiments. 一部の実施形態による、ポータブル多機能デバイス上のアプリケーションのメニュー用の例示的なユーザインターフェースを示す図である。1 illustrates an exemplary user interface for a menu of applications on a portable multifunction device in accordance with some embodiments. 一部の実施形態による、ディスプレイとは別個のタッチ感知面を備える多機能デバイスのための例示的なユーザインターフェースを示す図である。1 illustrates an exemplary user interface for a multifunction device with a touch-sensitive surface separate from the display in accordance with some embodiments. 一部の実施形態による、パーソナル電子デバイスを示す図である。FIG. 1 illustrates a personal electronic device according to some embodiments. 一部の実施形態による、パーソナル電子デバイスを示すブロック図である。FIG. 1 is a block diagram illustrating a personal electronic device according to some embodiments. 一部の実施形態による、タッチ感知ディスプレイ及び強度センサを有するパーソナル電子デバイスの例示的な構成要素を示す図である。FIG. 1 illustrates example components of a personal electronic device having a touch-sensitive display and an intensity sensor in accordance with some embodiments. 一部の実施形態による、タッチ感知ディスプレイ及び強度センサを有するパーソナル電子デバイスの例示的な構成要素を示す図である。FIG. 1 illustrates example components of a personal electronic device having a touch-sensitive display and an intensity sensor in accordance with some embodiments. 一部の実施形態による、パーソナル電子デバイスの例示的な構成要素及びユーザインターフェースを示す図である。FIG. 2 illustrates exemplary components and a user interface of a personal electronic device according to some embodiments. 一部の実施形態による、パーソナル電子デバイスの例示的な構成要素及びユーザインターフェースを示す図である。FIG. 2 illustrates exemplary components and a user interface of a personal electronic device according to some embodiments. 一部の実施形態による、パーソナル電子デバイスの例示的な構成要素及びユーザインターフェースを示す図である。FIG. 2 illustrates exemplary components and a user interface of a personal electronic device according to some embodiments. 一部の実施形態による、パーソナル電子デバイスの例示的な構成要素及びユーザインターフェースを示す図である。FIG. 2 illustrates exemplary components and a user interface of a personal electronic device according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments.

以下の説明では、例示的な方法、パラメータなどが記載される。しかし、そのような説明の目的は、本開示の範囲を限定することではなく、例示的な実施形態の説明を提供することであることを理解されたい。 In the following description, example methods, parameters, and the like are described. However, it should be understood that the purpose of such description is not to limit the scope of the present disclosure, but to provide a description of example embodiments.

複数の参加者が関与するライブ通信のための効率的な方法及びインターフェースを提供する電子デバイスが必要とされている。そのような技術は、複数の参加者が関与するライブ通信に参加するユーザの認知的負担を軽減することができ、そのことで生産性を高めることができる。更に、そのような技術は、通常であれば冗長なユーザ入力のために浪費される、プロセッサ及びバッテリの電力を低減することができる。 There is a need for electronic devices that provide efficient methods and interfaces for live communications involving multiple participants. Such techniques can reduce the cognitive burden on users participating in live communications involving multiple participants, thereby increasing productivity. Furthermore, such techniques can reduce processor and battery power that is otherwise wasted on redundant user input.

以下の図１Ａ及び図１Ｂ、図２、図３、図４Ａ及び図４Ｂ、並びに図５Ａ～図５Ｈは、複数の参加者間のライブ通信セッションの技術を行う例示的なデバイスの説明を提供する。図６Ａ～図６ＡＦは、イベント通知を管理する例示的なユーザインターフェースを示す。図７Ａ～図７Ｆは、一部の実施形態による、複数の参加者間のライブ通信セッションの方法を示すフロー図である。図６Ａ～図６ＡＦのユーザインターフェースは、図７Ａ～図７Ｆの処理を含む後述の処理を示すために使用される。 The following Figures 1A-1B, 2, 3, 4A-4B, and 5A-5H provide a description of an exemplary device for performing techniques for a live communication session between multiple participants. Figures 6A-6AF show an exemplary user interface for managing event notifications. Figures 7A-7F are flow diagrams illustrating a method for a live communication session between multiple participants according to some embodiments. The user interfaces of Figures 6A-6AF are used to illustrate the processes described below, including the processes of Figures 7A-7F.

図８Ａ～図８ＢＫは、複数の参加者間のライブ通信セッション用の例示的なユーザインターフェースを示す。図９Ａ～図９Ｋは、一部の実施形態による、複数の参加者間のライブ通信セッションを行う方法を示すフロー図である。図８Ａ～図８ＢＫのユーザインターフェースは、図９Ａ～図９Ｋの処理を含む後述の処理を示すために使用される。 FIGS. 8A-8BK show example user interfaces for a live communication session between multiple participants. FIGS. 9A-9K are flow diagrams illustrating a method for conducting a live communication session between multiple participants according to some embodiments. The user interfaces of FIGS. 8A-8BK are used to illustrate the processes described below, including the processes of FIGS. 9A-9K.

図１０Ａ～図１０Ｓは、複数の参加者間のライブ通信セッション用の例示的なユーザインターフェースを示す。図１１Ａ～図１１Ｆは、一部の実施形態による、複数の参加者間のライブ通信セッションを行う方法を示すフロー図である。図１０Ａ～図１０Ｓのユーザインターフェースは、図１１Ａ～図１１Ｆの処理を含む後述の処理を示すために使用される。 10A-10S illustrate exemplary user interfaces for a live communication session between multiple participants. FIGs. 11A-11F are flow diagrams illustrating a method for conducting a live communication session between multiple participants according to some embodiments. The user interfaces of FIGs. 10A-10S are used to illustrate the processes described below, including the processes of FIGs. 11A-11F.

図１２Ａ～図１２Ｎは、複数の参加者間のライブ通信セッション用の例示的なユーザインターフェースを示す。図１３Ａ～図１３Ｄは、一部の実施形態による、複数の参加者間のライブ通信セッションを行う方法を示すフロー図である。図１２Ａ～図１２Ｎのユーザインターフェースは、図１３Ａ～図１３Ｄの処理を含む後述の処理を示すために使用される。 12A-12N illustrate exemplary user interfaces for a live communication session between multiple participants. FIGs. 13A-13D are flow diagrams illustrating a method for conducting a live communication session between multiple participants, according to some embodiments. The user interfaces of FIGs. 12A-12N are used to illustrate the processes described below, including the processes of FIGs. 13A-13D.

図１４Ａ～図１４Ｉは、複数の参加者間のライブ通信セッション用の例示的なユーザインターフェースを示す。図１５Ａ～図１５Ｃは、一部の実施形態による、複数の参加者間のライブ通信セッションを行う方法を示すフロー図である。図１４Ａ～図１４Ｉのユーザインターフェースは、図１５Ａ～図１５Ｃの処理を含む後述の処理を示すために使用される。 14A-14I illustrate exemplary user interfaces for a live communication session between multiple participants. FIGs. 15A-15C are flow diagrams illustrating a method for conducting a live communication session between multiple participants, according to some embodiments. The user interfaces of FIGs. 14A-14I are used to illustrate the processes described below, including the processes of FIGs. 15A-15C.

以下の説明では様々な要素を説明するために「第１」、「第２」などの用語が使用されるが、これらの要素はこれらの用語によって限定されるべきではない。これらの用語は、１つの要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第１のタッチを第２のタッチと称することができ、同様に、第２のタッチを第１のタッチと称することができる。第１のタッチ及び第２のタッチは共にタッチであるが、同じタッチではない。 In the following description, terms such as "first" and "second" are used to describe various elements, but these elements should not be limited by these terms. These terms are used only to distinguish one element from another. For example, a first touch can be referred to as a second touch, and similarly, a second touch can be referred to as a first touch, without departing from the scope of the various embodiments described. A first touch and a second touch are both touches, but are not the same touch.

本明細書で説明される様々な実施形態の説明で使用される用語は、特定の実施形態を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施形態の説明及び添付の特許請求の範囲で使用されるように、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図される。本明細書で使用されるように、用語「ａｎｄ／ｏｒ（及び／又は）」は、関連する列挙された項目のうちの１つ以上の任意かつ全ての可能な組み合わせを指し、かつこれを含むことも理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（備える）」は、本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在若しくは追加を除外しないことが更に理解されるであろう。 The terms used in the description of the various embodiments described herein are for the purpose of describing particular embodiments only and are not intended to be limiting. As used in the description of the various embodiments described and in the appended claims, the singular forms "a", "an" and "the" are intended to include the plural forms as well, unless the context clearly indicates otherwise. As used herein, the term "and/or" is also understood to refer to and include any and all possible combinations of one or more of the associated listed items. It will be further understood that the terms "includes", "including", "comprises" and/or "comprising" as used herein specify the presence of stated features, integers, steps, operations, elements, and/or components, but do not exclude the presence or addition of one or more other features, integers, steps, operations, elements, components, and/or groups thereof.

任意選択的に、用語「ｉｆ（～場合に）」は、文脈に応じて「ｗｈｅｎ（～ときに）」、「ｕｐｏｎ（～すると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～との判定に応じて）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（～の検出に応じて）」を意味すると解釈される。同様に、語句「ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ（～と判定される場合）」又は「ｉｆ［ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］ｉｓ ｄｅｔｅｃｔｅｄ（［述べられる条件又はイベント］が検出される場合）」は、任意選択的に、文脈によって、「ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ（～と決定すると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～との判定に応じて）」、「ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］（［述べられる条件又はイベント］を検出すると）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］（［述べられる条件又はイベント］の検出に応じて）」を意味するものと解釈される。 Optionally, the term "if" is interpreted to mean "when," "upon," "in response to determining," or "in response to detecting," depending on the context. Similarly, the phrases "if it is determined" or "if [a stated condition or event] is detected" are, optionally, depending on the context, interpreted to mean "upon determining," "in response to determining," "upon detecting [the stated condition or event]," or "in response to detecting [the stated condition or event]."

電子デバイス、そのようなデバイス用のユーザインターフェース、及びそのようなデバイスを使用するための関連する処理の実施形態が説明される。一部の実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、モバイル電話機などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態には、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）及びｉＰａｄ（登録商標）デバイスが挙げられるが、これらに限定されない。タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えるラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスは、任意選択的に、使用される。一部の実施形態では、デバイスがポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えるデスクトップコンピュータであることもまた、理解されたい。 Embodiments of electronic devices, user interfaces for such devices, and associated processes for using such devices are described. In some embodiments, the device is a portable communication device, such as a mobile telephone, that also includes other functions, such as a PDA function and/or a music player function. Exemplary embodiments of portable multifunction devices include, but are not limited to, the iPhone, iPod Touch, and iPad devices from Apple Inc. of Cupertino, California. Other portable electronic devices, such as laptops or tablet computers with touch-sensitive surfaces (e.g., touchscreen displays and/or touchpads), are optionally used. It should also be understood that in some embodiments, the device is not a portable communication device, but a desktop computer with a touch-sensitive surface (e.g., touchscreen displays and/or touchpads).

以下の議論では、ディスプレイとタッチ感知面とを含む電子デバイスが説明される。しかし、電子デバイスは、物理的なキーボード、マウス及び／又はジョイスティックなどの、１つ以上の他の物理的なユーザインターフェースデバイスを任意選択的に含むことを理解されたい。 In the following discussion, electronic devices are described that include a display and a touch-sensitive surface. However, it should be understood that the electronic device optionally includes one or more other physical user interface devices, such as a physical keyboard, a mouse, and/or a joystick.

このデバイスは、一般的に、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上などの様々なアプリケーションをサポートする。 The device typically supports a variety of applications, such as one or more of drawing applications, presentation applications, word processing applications, website creation applications, disc authoring applications, spreadsheet applications, gaming applications, telephony applications, videoconferencing applications, email applications, instant messaging applications, training support applications, photo management applications, digital camera applications, digital video camera applications, web browsing applications, digital music player applications, and/or digital video player applications.

デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理的なユーザインターフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、任意選択的に、調節及び／又は変更される。このように、デバイスの共通の（タッチ感知面などの）物理的なアーキテクチャは、ユーザにとって直感的かつ透過的なユーザインターフェースを備える様々なアプリケーションを、任意選択的にサポートする。 The various applications executing on the device optionally use at least one common physical user interface device, such as a touch-sensitive surface. One or more features of the touch-sensitive surface and corresponding information displayed on the device are optionally adjusted and/or changed for each application and/or within each application. In this manner, the common physical architecture (such as the touch-sensitive surface) of the device optionally supports various applications with user interfaces that are intuitive and transparent to the user.

ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、一部の実施形態による、タッチ感知ディスプレイシステム１１２を備えるポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれる場合があり、「タッチ感知ディスプレイシステム」として既知であるか又は呼ばれる場合もある。デバイス１００は、（１つ以上のコンピュータ可読記憶媒体を任意選択的に含む）メモリ１０２、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インターフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、他の入力制御デバイス１１６及び外部ポート１２４を含む。デバイス１００は、１つ以上の光センサ１６４を任意選択的に含む。デバイス１００は、デバイス１００（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）上の接触の強度を検出するための、１つ以上の接触強度センサ１６５を任意選択的に含む。デバイス１００は、デバイス１００上に触知出力を生成する（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などの、タッチ感知面上に触知出力を生成する）ための、１つ以上の触知出力生成器１６７を、任意選択的に含む。これらの構成要素は、１つ以上の通信バス又は信号ライン１０３を介して任意選択的に通信する。 Attention is now directed to an embodiment of a portable device with a touch-sensitive display. FIG. 1A is a block diagram illustrating a portable multifunction device 100 with a touch-sensitive display system 112, according to some embodiments. The touch-sensitive display 112 may be conveniently referred to as a "touch screen" and may also be known or referred to as a "touch-sensitive display system." The device 100 includes memory 102 (optionally including one or more computer-readable storage media), a memory controller 122, one or more processing units (CPUs) 120, a peripherals interface 118, an RF circuit 108, an audio circuit 110, a speaker 111, a microphone 113, an input/output (I/O) subsystem 106, other input control devices 116, and an external port 124. The device 100 optionally includes one or more light sensors 164. Device 100 optionally includes one or more contact intensity sensors 165 for detecting the intensity of a contact on device 100 (e.g., a touch-sensitive surface such as touch-sensitive display system 112 of device 100). Device 100 optionally includes one or more tactile output generators 167 for generating a tactile output on device 100 (e.g., generating a tactile output on a touch-sensitive surface such as touch-sensitive display system 112 of device 100 or touchpad 355 of device 300). These components optionally communicate via one or more communication buses or signal lines 103.

本明細書及び特許請求の範囲で使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指接触）の力若しくは圧力（単位面積あたりの力）、又はタッチ感知面上の接触の力若しくは圧力の代替（代用）を指す。接触の強度は、少なくとも４つの異なる値を含み、より典型的には、何百もの（例えば、少なくとも２５６個の）異なる値を含む値範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組み合わせを使用して決定（又は、測定）される。例えば、タッチ感知面の下にある又はこれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々な点における力を測定するために使用される。一部の実装形態では、複数の力センサからの力測定値は、接触の力の推定値を判定するために組み合わされる（例えば、加重平均）。同様に、スタイラスの感圧性先端部は、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。代わりに、タッチ感知面上で検出される接触領域のサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化が、タッチ感知面上の接触の力又は圧力の代替として、任意選択的に用いられる。一部の実装形態では、接触の力又は圧力に対する代替的測定値は、強度閾値を超えているかを判定するために直接使用される（例えば、強度閾値は、代替的測定値に対応する単位で説明される）。一部の実装形態では、接触の力又は圧力に対する代替的測定値は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超えているかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。接触の強度をユーザ入力の属性として使用することによって、アフォーダンスを表示するための（例えば、タッチ感知ディスプレイ上で）、及び／又はユーザ入力を受信するための（例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタンなどの物理的／機械的制御部を介して）面積が制限されている、低減されたサイズのデバイス上では別途ユーザによってアクセスすることができない可能性がある、追加的なデバイス機能に、ユーザがアクセスできるようになる。 As used herein and in the claims, the term "intensity" of a contact on a touch-sensitive surface refers to the force or pressure (force per unit area) of a contact (e.g., finger contact) on the touch-sensitive surface, or a substitute (proxy) for the force or pressure of a contact on the touch-sensitive surface. The intensity of a contact has a value range that includes at least four different values, and more typically includes hundreds (e.g., at least 256) different values. The intensity of a contact is optionally determined (or measured) using various techniques and various sensors or combinations of sensors. For example, one or more force sensors under or adjacent to the touch-sensitive surface are optionally used to measure the force at various points on the touch-sensitive surface. In some implementations, the force measurements from multiple force sensors are combined (e.g., weighted average) to determine an estimate of the force of the contact. Similarly, a pressure-sensitive tip of a stylus is optionally used to determine the pressure of the stylus on the touch-sensitive surface. Instead, the size and/or change in a contact area detected on the touch-sensitive surface, the capacitance and/or change in the capacitance of the touch-sensitive surface proximate the contact, and/or the resistance and/or change in the capacitance of the touch-sensitive surface proximate the contact, are optionally used as a proxy for the force or pressure of the contact on the touch-sensitive surface. In some implementations, the proxy measure for the force or pressure of the contact is used directly to determine whether an intensity threshold is exceeded (e.g., the intensity threshold is described in units corresponding to the proxy measure). In some implementations, the proxy measure for the force or pressure of the contact is converted to an estimated force or pressure, and the estimated force or pressure is used to determine whether an intensity threshold is exceeded (e.g., the intensity threshold is a pressure threshold measured in units of pressure). Using the intensity of contact as an attribute of user input allows a user to access additional device functionality that may not otherwise be accessible by the user on a reduced-size device that has a limited area for displaying affordances (e.g., on a touch-sensitive display) and/or receiving user input (e.g., via a touch-sensitive display, touch-sensitive surface, or physical/mechanical controls such as knobs or buttons).

本明細書及び特許請求の範囲で使用されるとき、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）のデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素がタッチに敏感なユーザの表面（例えば、ユーザの指、手のひら、又は手の他の部分）に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性の認識された変化に相当する触知として、ユーザによって解釈される。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、任意選択的に、ユーザによって、物理的なアクチュエータボタンの「ダウンクリック」又は「アップクリック」として解釈される。一部の場合、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面と関連付けられた物理的なアクチュエータボタンの移動がない時でさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触知を感じるであろう。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。よって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」、「ダウンクリック」、「粗さ」）に対応するものとして説明されるとき、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの説明された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。 As used herein and in the claims, the term "tactile output" refers to a physical displacement of a device relative to a previous position of the device, a physical displacement of a component of the device (e.g., a touch-sensitive surface) relative to another component of the device (e.g., a housing), or a displacement of a component relative to the center of mass of the device, that is to be detected by a user with the user's sense of touch. For example, in a situation where a device or a component of the device is in contact with a touch-sensitive user surface (e.g., a user's finger, palm, or other part of the hand), the tactile output generated by the physical displacement is interpreted by the user as a tactile sensation corresponding to a perceived change in a physical characteristic of the device or a component of the device. For example, movement of a touch-sensitive surface (e.g., a touch-sensitive display or trackpad) is optionally interpreted by the user as a "down-click" or "up-click" of a physical actuator button. In some cases, the user will feel a tactile sensation such as a "down-click" or "up-click" even when there is no movement of a physical actuator button associated with the touch-sensitive surface that is physically pressed (e.g., displaced) by the user's action. As another example, movement of the touch-sensitive surface is optionally interpreted or sensed by a user as "roughness" of the touch-sensitive surface, even when there is no change in the smoothness of the touch-sensitive surface. Such user interpretation of touch depends on the user's personal sensory perception, but there are many sensory perceptions of touch that are common to a majority of users. Thus, when a tactile output is described as corresponding to a particular sensory perception of a user (e.g., an "up click," a "down click," a "roughness"), unless otherwise noted, the generated tactile output corresponds to a physical displacement of the device, or a component of the device, that produces the described sensory perception for a typical (or average) user.

デバイス１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス１００は、示されているものよりも多くの構成要素又は少ない構成要素を任意選択的に有すること、２つ以上の構成要素を任意選択的に組み合わせること、又は構成要素の異なる構成若しくは配置を任意選択的に有することを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア又はハードウェア及びソフトウェアの双方の組み合わせで実装される。 It should be understood that device 100 is merely one example of a portable multifunction device, and that device 100 optionally has more or fewer components than those shown, optionally combines two or more components, or optionally has a different configuration or arrangement of components. The various components shown in FIG. 1A are implemented in hardware, software, or a combination of both hardware and software, including one or more signal processing circuits and/or application specific integrated circuits.

メモリ１０２は、高速ランダムアクセスメモリを任意選択的に含み、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリもまた、任意選択的に含む。メモリコントローラ１２２は、任意選択的に、デバイス１００の他の構成要素によるメモリ１０２へのアクセスを制御する。 Memory 102 optionally includes high-speed random access memory, and optionally also includes non-volatile memory, such as one or more magnetic disk storage devices, flash memory devices, or other non-volatile solid-state memory devices. Memory controller 122 optionally controls access to memory 102 by other components of device 100.

周辺機器インターフェース１１８を使用して、本デバイスの入力及び出力周辺機器を、ＣＰＵ１２０及びメモリ１０２に結合することができる。１つ以上のプロセッサ１２０は、デバイス１００のための様々な機能を実行するため並びにデータを処理するために、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる、又は実行する。一部の実施形態では、周辺機器インターフェース１１８、ＣＰＵ１２０及びメモリコントローラ１２２は、チップ１０４などの単一チップ上に任意選択的に実装される。一部の他の実施形態では、それらは別々のチップ上に任意選択的に実装される。 A peripheral interface 118 can be used to couple input and output peripherals of the device to the CPU 120 and memory 102. The one or more processors 120 operate or execute various software programs and/or instruction sets stored in the memory 102 to perform various functions for the device 100 and to process data. In some embodiments, the peripheral interface 118, the CPU 120, and the memory controller 122 are optionally implemented on a single chip, such as the chip 104. In some other embodiments, they are optionally implemented on separate chips.

ＲＦ（radio frequency、無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、それらの機能を実行するための周知の回路を任意選択的に含み、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、参加者識別モジュール（ＳＩＭ）カード、メモリなどが挙げられるが、これらに限定されない。ＲＦ回路１０８は任意選択的に、ワールドワイドウェブ（ＷＷＷ）とも称されるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワーク、及び他のデバイスと無線通信によって通信する。ＲＦ回路１０８は、近距離通信無線などによる近距離通信（near field communication、ＮＦＣ）フィールドを検出するための周知の回路を任意選択的に含む。無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちの任意のものを任意選択的に使用し、それらの通信規格、通信プロトコル、及び通信技術としては、移動通信用のグローバルシステム（Global System for Mobile Communications、ＧＳＭ（登録商標））、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケット接続（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケット接続（high-speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ，Ｄａｔａ－Ｏｎｌｙ（ＥＶ－ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、２重セルＨＳＰＡ（Dual-Cell HSPA、ＤＣ－ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離無線通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ－ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＴＬＥ）、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ－Ｆｉ）（登録商標）（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、ＩＥＥＥ ８０２．１１ｎ、及び／又はＩＥＥＥ ８０２．１１ａｃ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ－ＭＡＸ、電子メール用のプロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／又はポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、及び／又はショートメッセージサービス（Short Message Service、ＳＭＳ）、あるいは本文書の出願日現在までにまだ開発されていない通信プロトコルを含めた任意の他の好適な通信プロトコルが挙げられるが、これらに限定されない。 The radio frequency (RF) circuitry 108 transmits and receives RF signals, also called electromagnetic signals. The RF circuitry 108 converts electrical signals to electromagnetic signals or electromagnetic signals to electrical signals and communicates with communication networks and other communication devices via electromagnetic signals. The RF circuitry 108 optionally includes well-known circuitry for performing their functions, including, but not limited to, an antenna system, an RF transceiver, one or more amplifiers, a tuner, one or more oscillators, a digital signal processor, a CODEC chipset, a participant identification module (SIM) card, memory, and the like. The RF circuitry 108 optionally communicates by wireless communication with networks, such as the Internet, also referred to as the World Wide Web (WWW), an intranet, and/or wireless networks, such as cellular telephone networks, wireless local area networks (LANs) and/or metropolitan area networks (MANs), and other devices. The RF circuitry 108 optionally includes well-known circuitry for detecting near field communication (NFC) fields, such as by near field communication radio. The wireless communication optionally uses any of a number of communication standards, protocols, and technologies, including Global System for Mobile Communications (GSM), Enhanced Data GSM Environment (EDGE), high-speed downlink packet access (HSDPA), high-speed uplink packet access (HSUPA), Evolution, Data-Only (EV-DO), HSPA, HSPA+, Dual-Cell HSPA (DC-HSPA), long term evolution (LTE), near field communication (NFC), wideband code division multiple access (W-CDMA), code division multiple access (CDMA), time division multiple access (T ... access (TDMA), Bluetooth, Bluetooth Low Energy (BTLE), Wireless Fidelity (Wi-Fi) (e.g., IEEE 802.11a, IEEE 802.11b, IEEE 802.11g, IEEE 802.11n, and/or IEEE 802.11ac), voice over Internet Protocol (VoIP), Wi-MAX, protocols for email (e.g., Internet message access protocol (IMAP) and/or post office protocol (POP)), instant messaging (e.g., extensible messaging and presence protocol (XMPP), Session Initiation Protocol for Instant Messaging and Presence Extensions, and/or Session Initiation Protocol for Instant Messaging and Presence Extensions). Examples of suitable communication protocols include, but are not limited to, SIMPLE, Instant Messaging and Presence Leveraging Extensions (SIMPLE), Instant Messaging and Presence Service (IMPS), and/or Short Message Service (SMS), or any other suitable communication protocol, including communication protocols not yet developed as of the filing date of this document.

オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインターフェースを提供する。オーディオ回路１１０は、周辺機器インターフェース１１８からオーディオデータを受信し、そのオーディオデータを電気信号に変換し、その電気信号をスピーカ１１１に送信する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。オーディオ回路１１０はまた、マイクロフォン１１３により音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、オーディオデータを処理のために周辺機器インターフェース１１８に送信する。オーディオデータは任意選択的に、周辺機器インターフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、並びに／又はメモリ１０２及び／若しくはＲＦ回路１０８へ送信される。一部の実施形態では、オーディオ回路１１０はヘッドセットジャック（例えば、図２の２１２）を更に備える。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば、片耳又は両耳用のヘッドホン）及び入力（例えば、マイクロフォン）の双方を有するヘッドセットなどの、取り外し可能なオーディオ入出力周辺機器と、の間のインターフェースを提供する。 The audio circuit 110, speaker 111, and microphone 113 provide an audio interface between the user and the device 100. The audio circuit 110 receives audio data from the peripherals interface 118, converts the audio data into an electrical signal, and transmits the electrical signal to the speaker 111. The speaker 111 converts the electrical signal into human audible sound waves. The audio circuit 110 also receives an electrical signal converted from sound waves by the microphone 113. The audio circuit 110 converts the electrical signal into audio data and transmits the audio data to the peripherals interface 118 for processing. The audio data is optionally obtained from and/or transmitted to the memory 102 and/or the RF circuit 108 by the peripherals interface 118. In some embodiments, the audio circuit 110 further comprises a headset jack (e.g., 212 in FIG. 2). The headset jack provides an interface between the audio circuitry 110 and a removable audio input/output peripheral, such as an output-only headphone or a headset that has both an output (e.g., a single-ear or binaural headphone) and an input (e.g., a microphone).

Ｉ／Ｏサブシステム１０６は、周辺機器インターフェース１１８に、タッチスクリーン１１２及び他の入力制御デバイス１１６などのデバイス１００の入出力周辺機器を結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、深度カメラコントローラ１６９、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び他の入力若しくは制御デバイスのための１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、電気信号を、他の入力制御デバイス１１６から受信／他の入力制御デバイス１１６に送信する。他の入力制御デバイス１１６は、物理的なボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイアル、スライダスイッチ、ジョイスティック、クリックホイールなどを任意選択的に含む。一部の代替的実施形態では、入力コントローラ（単数又は複数）１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される（又は、いずれにも結合されない）。１つ以上のボタン（例えば、図２の２０８）は、スピーカ１１１及び／又はマイクロフォン１１３の音量調節のためのアップ／ダウンボタンを任意選択的に含む。１つ以上のボタンは、プッシュボタン（例えば、図２の２０６）を任意選択的に含む。 The I/O subsystem 106 couples input/output peripherals of the device 100, such as the touch screen 112 and other input control devices 116, to the peripheral interface 118. The I/O subsystem 106 optionally includes one or more input controllers 160 for a display controller 156, a light sensor controller 158, a depth camera controller 169, an intensity sensor controller 159, a haptic feedback controller 161, and other input or control devices. The one or more input controllers 160 receive/send electrical signals to the other input control devices 116. The other input control devices 116 optionally include physical buttons (e.g., push buttons, rocker buttons, etc.), dials, slider switches, joysticks, click wheels, etc. In some alternative embodiments, the input controller(s) 160 are optionally coupled to any of (or none of) a keyboard, an infrared port, a USB port, and a pointer device such as a mouse. The one or more buttons (e.g., 208 in FIG. 2) optionally include up/down buttons for adjusting the volume of the speaker 111 and/or microphone 113. The one or more buttons optionally include a push button (e.g., 206 in FIG. 2).

２００５年１２月２３日に出願された、米国特許第７，６５７，８４９号である米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」（この特許は、その全体が参照により本明細書に組み込まれる）に記載されているように、任意選択的に、プッシュボタンの素早い押圧により、タッチスクリーン１１２のロックが解除されるか、又はデバイスのロック解除にタッチスクリーン上のジェスチャを用いる処理が任意選択的に開始される。プッシュボタン（例えば、２０６）をより長く押圧することにより、任意選択的にデバイス１００の電源がオンオフされる。複数のボタンのうちの１つ以上の機能は、任意選択的に、ユーザカスタマイズ可能である。タッチスクリーン１１２は、仮想ボタン又はソフトボタン及び１つ以上のソフトキーボードを実装するために使用される。 Optionally, a quick press of a push button unlocks the touch screen 112 or optionally initiates a process of using gestures on the touch screen to unlock the device, as described in U.S. Patent Application Serial No. 11/322,549, U.S. Patent No. 7,657,849, filed December 23, 2005, entitled "Unlocking a Device by Performing Gestures on an Unlock Image," which is incorporated herein by reference in its entirety. A longer press of a push button (e.g., 206) optionally powers the device 100 on and off. The functions of one or more of the buttons are optionally user customizable. The touch screen 112 is used to implement virtual or soft buttons and one or more soft keyboards.

タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インターフェース及び出力インターフェースを提供する。ディスプレイコントローラ１５６は、電気信号を、タッチスクリーン１１２から受信かつ／又はタッチスクリーン１１２に送信する。タッチスクリーン１１２は、ユーザに視覚的出力を表示する。視覚的出力は、グラフィック、テキスト、アイコン、ビデオ及びこれらの任意の組み合わせ（総称して「グラフィック」と称する）を任意選択的に含む。一部の実施形態では、任意選択的に、視覚的出力の一部又は全てはユーザインターフェースオブジェクトに対応する。 The touch-sensitive display 112 provides an input and output interface between the device and a user. The display controller 156 receives and/or transmits electrical signals to the touch screen 112. The touch screen 112 displays visual output to the user. The visual output optionally includes graphics, text, icons, video, and any combination thereof (collectively referred to as "graphics"). In some embodiments, optionally, some or all of the visual output corresponds to user interface objects.

タッチスクリーン１１２は、触覚及び／又は触知の接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、若しくはセンサのセットを有している。タッチスクリーン１１２及びディスプレイコントローラ１５６は（メモリ１０２内の任意の関連モジュール及び／又は命令セットと共に）、タッチスクリーン１１２上で接触（及び任意の接触の移動又は中止）を検出し、その検出された接触をタッチスクリーン１１２上に表示されたユーザインターフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ又は画像）との対話に変換する。例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触点は、ユーザの指に対応する。 Touchscreen 112 has a touch-sensitive surface, sensor, or set of sensors that accepts input from a user based on haptic and/or tactile contact. Touchscreen 112 and display controller 156 (along with any associated modules and/or instruction sets in memory 102) detects contacts (and any movement or cessation of contact) on touchscreen 112 and translates the detected contacts into interactions with user interface objects (e.g., one or more soft keys, icons, web pages, or images) displayed on touchscreen 112. In an exemplary embodiment, the point of contact between touchscreen 112 and the user corresponds to the user's finger.

タッチスクリーン１１２は任意選択的にＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術又はＬＥＤ（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチスクリーン１１２及びディスプレイコントローラ１５６は、静電容量技術、抵抗性技術、赤外線技術、及び表面超音波技術、並びに、タッチスクリーン１１２との１つ以上の接触点を決定するための他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在公知の若しくは後日に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びその任意の移動又は中止を、任意選択的に検出する。例示的な実施形態では、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．によるｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）において見られるような、投影型相互静電容量感知技術が使用されている。 The touch screen 112 optionally uses LCD (liquid crystal display), LPD (light emitting polymer display) or LED (light emitting diode) technology, although other display technologies are used in other embodiments. The touch screen 112 and display controller 156 optionally detect contact and any movement or cessation thereof using any of a number of now known or later developed touch sensing technologies, including, but not limited to, capacitive, resistive, infrared, and surface ultrasonic technologies, as well as other proximity sensor arrays or other elements for determining one or more points of contact with the touch screen 112. In an exemplary embodiment, projected mutual capacitance sensing technology is used, such as that found in the iPhone® and iPod Touch® by Apple Inc. of Cupertino, California.

タッチスクリーン１１２の一部の実施形態におけるタッチ感知ディスプレイは、任意選択的に、米国特許第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、同第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、及び／若しくは同第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、並びに／又は米国特許出願公開第２００２／００１５０２４（Ａ１）号に記載されているマルチタッチ感知タッチパッドに類似する。これらの文献は、それらの全体が参照により本明細書に組み込まれる。しかし、タッチスクリーン１１２は、デバイス１００からの視覚的出力を表示するのに対して、タッチ感知タッチパッドは、視覚的出力を提供しない。 The touch-sensitive display in some embodiments of touchscreen 112 is optionally similar to the multi-touch-sensing touchpad described in U.S. Pat. Nos. 6,323,846 (Westerman et al.), 6,570,557 (Westerman et al.), and/or 6,677,932 (Westerman), and/or U.S. Patent Application Publication No. 2002/0015024 (A1), which are incorporated by reference in their entireties. However, touchscreen 112 displays visual output from device 100, whereas a touch-sensitive touchpad does not provide visual output.

タッチスクリーン１１２の一部の実施形態におけるタッチ感知ディスプレイは、以下の出願で説明されている。（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の同第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の同第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の同第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の同第１１／０３８，５９０号、「Ｍｏｄｅ－Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の同第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の同第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の同第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ－Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日出願の同第１１／３６７，７４９号、「Ｍｕｌｔｉ－Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ－Ｈｅｌｄ Ｄｅｖｉｃｅ」。これらの出願の全てにおいて、その全体が参照により本明細書に組み込まれる。 Touch-sensitive displays in some embodiments of touch screen 112 are described in the following applications: (1) U.S. Patent Application No. 11/381,313, filed May 2, 2006, entitled "Multipoint Touch Surface Controller"; (2) U.S. Patent Application No. 10/840,862, filed May 6, 2004, entitled "Multipoint Touchscreen"; (3) U.S. Patent Application No. 10/903,964, filed July 30, 2004, entitled "Gestures For Touch Sensitive Input Devices"; (4) U.S. Patent Application No. 11/048,264, filed January 31, 2005, entitled "Gestures For Touch Sensitive Input Devices"; "Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices", (5) U.S. Patent No. 11/038,590, filed January 18, 2005, entitled "Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices", (6) U.S. Patent No. 11/228,758, filed September 16, 2005, entitled "Virtual Input Device Placement On A Touch Screen User Interface", (7) U.S. Patent No. 11/228,700, filed September 16, 2005, entitled "Operation Of A Computer With A Touch Screen (8) U.S. Patent No. 11/228,737, filed September 16, 2005, entitled "Activating Virtual Keys Of A Touch-Screen Virtual Keyboard," and (9) U.S. Patent No. 11/367,749, filed March 3, 2006, entitled "Multi-Functional Hand-Held Device." All of these applications are incorporated herein by reference in their entirety.

タッチスクリーン１１２は、任意選択的に、１００ｄｐｉを超えるビデオ解像度を有する。一部の実施形態では、タッチスクリーンは約１６０ｄｐｉのビデオ解像度を有する。ユーザは、スタイラス、指などの任意の好適な物体又は付属器を使用して、タッチスクリーン１１２と任意選択的に接触する。一部の実施形態では、ユーザインターフェースは、主として指に基づく接触及びジェスチャによって機能するように設計され、タッチスクリーン上の指の接触面積が広いことにより、スタイラスに基づく入力よりも精度が低いことがある。一部の実施形態では、デバイスは、指に基づく粗い入力を、ユーザの望むアクションを行うために正確なポインタ／カーソル位置又はコマンドに変換する。 Touchscreen 112 optionally has a video resolution of greater than 100 dpi. In some embodiments, the touchscreen has a video resolution of approximately 160 dpi. A user optionally contacts touchscreen 112 using any suitable object or appendage, such as a stylus, finger, etc. In some embodiments, the user interface is designed to function primarily through finger-based contact and gestures, which may be less precise than stylus-based input due to the large contact area of a finger on the touchscreen. In some embodiments, the device translates the coarse finger-based input into precise pointer/cursor position or commands to perform the user's desired action.

一部の実施形態では、タッチスクリーンに加えて、デバイス１００は、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッドを任意選択的に含む。一部の実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚的出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン１１２とは別個のタッチ感知面又はタッチスクリーンによって形成されたタッチ感知面の拡張部である。 In some embodiments, in addition to the touchscreen, device 100 optionally includes a touchpad for activating or deactivating certain functions. In some embodiments, the touchpad is a touch-sensitive area of the device that, unlike the touchscreen, does not display visual output. The touchpad is optionally a touch-sensitive surface separate from touchscreen 112 or an extension of the touch-sensitive surface formed by the touchscreen.

デバイス１００はまた、様々な構成要素に電力を供給するための電力システム１６２を含む。電力システム１６２は任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配と関連付けられた任意の他の構成要素を含む。 The device 100 also includes a power system 162 for providing power to the various components. The power system 162 optionally includes a power management system, one or more power sources (e.g., battery, alternating current (AC)), a recharging system, a power outage detection circuit, a power converter or inverter, a power status indicator (e.g., a light emitting diode (LED)), and any other components associated with the generation, management, and distribution of power within the portable device.

デバイス１００はまた、任意選択的に、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に結合された光センサを示す。光センサ１６４は、電荷結合デバイス（ＣＣＤ）又は相補的金属酸化物半導体（ＣＭＯＳ）フォトトランジスタを、任意選択的に含む。光センサ１６４は、１つ以上のレンズを通して投影された、環境からの光を受光し、その光を、画像を表現するデータに変換する。撮像モジュール１４３（カメラモジュールとも称する）と連携して、光センサ１６４は、静止画像又はビデオを任意選択的にキャプチャする。一部の実施形態では、タッチスクリーンディスプレイを静止画像及び／又はビデオ画像取得のためのビューファインダとして有効化するように、光センサは、デバイスの前面にあるタッチスクリーンディスプレイ１１２とは反対側である、デバイス１００の背面に配置される。一部の実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ながらそのユーザの画像をテレビ会議のために任意選択的に得るように、デバイスの前面に光センサが配置される。一部の実施形態では、光センサ１６４の位置は、テレビ会議と、静止画像及び／又はビデオ画像の取得との双方のために、単一の光センサ１６４がタッチスクリーンディスプレイと共に使用されるように、ユーザによって（例えば、デバイス筐体内のレンズ及びセンサを回転させることによって）変更することができる。 Optionally, device 100 also includes one or more light sensors 164. FIG. 1A shows a light sensor coupled to light sensor controller 158 in I/O subsystem 106. Light sensor 164 optionally includes a charge-coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) phototransistor. Light sensor 164 receives light from the environment, projected through one or more lenses, and converts the light into data representing an image. In conjunction with imaging module 143 (also referred to as a camera module), light sensor 164 optionally captures still images or video. In some embodiments, the light sensor is located on the back of device 100, opposite touchscreen display 112 on the front of the device, to enable the touchscreen display as a viewfinder for still and/or video image acquisition. In some embodiments, the light sensor is located on the front of the device, so that the user can optionally obtain an image of the user for videoconference while viewing other videoconference participants on the touchscreen display. In some embodiments, the position of the optical sensor 164 can be changed by a user (e.g., by rotating the lens and sensor within the device housing) such that a single optical sensor 164 is used in conjunction with a touch screen display for both video conferencing and still and/or video image capture.

デバイス１００はまた、１つ以上の深度カメラセンサ１７５を任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の深度カメラコントローラ１６９に結合された深度カメラセンサを示す。深度カメラセンサ１７５は、ビューポイント（例えば、深度カメラセンサ）からのシーン中のオブジェクト（例えば、顔）の３次元モデルを作成するように環境からデータを受信する。一部の実施形態では、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、深度カメラセンサ１７５は、任意選択的に、撮像モジュール１４３によってキャプチャされる画像の異なる部分の深度マップを決定するように使用される。一部の実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ながら深度情報を伴うそのユーザの画像をテレビ会議のために任意選択的に得るように、及び深度マップデータを伴う自撮り画像をキャプチャするために、デバイス１００の前面に深度カメラセンサが配置される。一部の実施形態では、深度カメラセンサ１７５は、デバイスの背面、又はデバイス１００の背面及び前面に配置される。一部の実施形態では、テレビ会議と、静止画像及び／又はビデオ画像の取得との双方のために、単一の深度カメラセンサ１７５がタッチスクリーンディスプレイと共に使用されるように、深度カメラセンサ１７５の位置は、ユーザによって（例えば、デバイス筐体内のレンズ及びセンサを回転させることによって）変更することができる。 Device 100 also optionally includes one or more depth camera sensors 175. FIG. 1A shows a depth camera sensor coupled to depth camera controller 169 in I/O subsystem 106. Depth camera sensor 175 receives data from the environment to create a three-dimensional model of an object (e.g., a face) in a scene from a viewpoint (e.g., depth camera sensor). In some embodiments, in conjunction with imaging module 143 (also called camera module), depth camera sensor 175 is optionally used to determine a depth map of different portions of an image captured by imaging module 143. In some embodiments, a depth camera sensor is located on the front of device 100 so that the user can optionally obtain an image of the user with depth information for a video conference while viewing other video conference participants on a touch screen display, and to capture a selfie image with depth map data. In some embodiments, depth camera sensor 175 is located on the back of the device, or on the back and front of device 100. In some embodiments, the position of the depth camera sensor 175 can be changed by the user (e.g., by rotating the lens and sensor within the device housing) so that a single depth camera sensor 175 is used in conjunction with a touch screen display for both video conferencing and still and/or video image capture.

一部の実施形態では、深度マップ（例えば、深度マップ画像）は、ビューポイント（例えば、カメラ、光センサ、深度カメラセンサ）からのシーン中のオブジェクトの距離に関する情報（例えば、値）を含む。深度マップの一実施形態では、各深度ピクセルは、ビューポイントのＺ軸において対応する２次元ピクセルが配置される位置を定義する。一部の実施形態では、深度マップは、各ピクセルが値（例えば、０～２５５）によって定義されるピクセルで構成される。例えば、「０」値は、「３次元」シーン中の最も離れた位置に配置されるピクセルを表し、「２５５」値は、「３次元」シーン中のビューポイント（例えば、カメラ、光センサ、深度カメラセンサ）の最も近くに配置されるピクセルを表す。他の実施形態では、深度マップは、シーン中のオブジェクトとビューポイントの平面との間の距離を表す。一部の実施形態では、深度マップは、深度カメラからのビューにおける関心のあるオブジェクトの様々な特徴の相対深度（例えば、ユーザの顔の目、鼻、口、耳の相対深度）に関する情報を含む。一部の実施形態では、深度マップは、関心のあるオブジェクトのｚ方向の輪郭をデバイスが判定することを可能にする情報を含む。 In some embodiments, a depth map (e.g., a depth map image) contains information (e.g., values) regarding the distance of objects in a scene from a viewpoint (e.g., a camera, light sensor, depth camera sensor). In one embodiment of a depth map, each depth pixel defines where a corresponding two-dimensional pixel is located in the z-axis of the viewpoint. In some embodiments, a depth map is composed of pixels, where each pixel is defined by a value (e.g., 0-255). For example, a value of "0" represents a pixel located furthest away in a "three-dimensional" scene, and a value of "255" represents a pixel located closest to the viewpoint (e.g., a camera, light sensor, depth camera sensor) in a "three-dimensional" scene. In other embodiments, a depth map represents the distance between an object in a scene and the plane of the viewpoint. In some embodiments, a depth map contains information regarding the relative depth of various features of an object of interest in the view from a depth camera (e.g., the relative depth of the eyes, nose, mouth, and ears of a user's face). In some embodiments, a depth map contains information that allows a device to determine the z-direction contour of an object of interest.

デバイス１００はまた、１つ以上の接触強度センサ１６５を任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された、接触強度センサを示す。接触強度センサ１６５は、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面又は他の強度センサ（例えば、タッチ感知面上の接触の力（又は圧力）を測定するために使用するセンサ）を、任意選択的に含む。接触強度センサ１６５は、周辺環境からの接触強度情報（例えば、圧力情報又は圧力情報の代用）を受信する。一部の実施形態では、少なくとも１つの接触強度センサが、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又は、それに近接している。一部の実施形態では、少なくとも１つの接触強度センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２とは反対側である、デバイス１００の背面に配置されている。 Device 100 also optionally includes one or more contact intensity sensors 165. FIG. 1A shows a contact intensity sensor coupled to intensity sensor controller 159 in I/O subsystem 106. Contact intensity sensor 165 optionally includes one or more piezoresistive strain gauges, capacitive force sensors, electrical force sensors, piezoelectric force sensors, optical force sensors, capacitive touch-sensitive surfaces, or other intensity sensors (e.g., sensors used to measure the force (or pressure) of a contact on a touch-sensitive surface). Contact intensity sensor 165 receives contact intensity information (e.g., pressure information or a proxy for pressure information) from the surrounding environment. In some embodiments, at least one contact intensity sensor is located on or proximate to a touch-sensitive surface (e.g., touch-sensitive display system 112). In some embodiments, at least one contact intensity sensor is located on the back of device 100, opposite touchscreen display 112 located on the front of device 100.

デバイス１００はまた、１つ以上の近接センサ１６６を任意選択的に含む。図１Ａは、周辺機器インターフェース１１８と結合された近接センサ１６６を示す。あるいは、近接センサ１６６は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。近接センサ１６６は、本明細書に参照によって組み込まれる、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、同第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び同第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で説明されるように、任意選択的に機能する。一部の実施形態では、多機能デバイスがユーザの耳の近くに配置されている場合（例えば、ユーザが通話している場合）、近接センサは、タッチスクリーン１１２をオフにし無効にする。 Device 100 also optionally includes one or more proximity sensors 166. FIG. 1A shows proximity sensor 166 coupled to peripherals interface 118. Alternatively, proximity sensor 166 is optionally coupled to input controller 160 within I/O subsystem 106. The proximity sensor 166 may be implemented using the same or similar technology as disclosed in U.S. patent application Ser. No. 11/241,839, entitled "Proximity Detector In Handheld Device," Ser. No. 11/240,788, entitled "Proximity Detector In Handheld Device," Ser. No. 11/620,702, entitled "Using Ambient Light Sensor To Augment Proximity Sensor Output," and Ser. No. 11/586,862, entitled "Automated Response To And Sensing Of User Activity In Portable Wireless Device," all of which are incorporated herein by reference. Optionally, the proximity sensor functions as described in "Devices" and "Methods and Systems For Automatic Configuration Of Peripherals" in US Pat. No. 11/638,251. In some embodiments, when the multifunction device is placed near the user's ear (e.g., when the user is making a phone call), the proximity sensor turns off and disables the touch screen 112.

デバイス１００はまた、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された触知出力生成器を示す。触知出力生成器１６７は、スピーカ又は他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気アクティブポリマー、圧電アクチュエータ、静電アクチュエータ若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などの、エネルギを直線運動に変換する電気機械デバイスを、任意選択的に含む。接触強度センサ１６５は、触知フィードバックモジュール１３３から触覚フィードバック生成命令を受信し、デバイス１００のユーザが感知できる触知出力をデバイス１００上で生成する。一部の実施形態では、少なくとも１つの触知出力生成器が、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は横方向（例えば、デバイス１００の表面と同じ平面内の前後）に動かすことによって、触知出力を生成する。一部の実施形態では、少なくとも１つの触知出力生成器センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２とは反対側である、デバイス１００の背面に配置されている。 Device 100 also optionally includes one or more tactile output generators 167. FIG. 1A shows a tactile output generator coupled to tactile feedback controller 161 in I/O subsystem 106. Tactile output generator 167 optionally includes one or more electroacoustic devices, such as speakers or other audio components, and/or electromechanical devices that convert energy into linear motion, such as motors, solenoids, electroactive polymers, piezoelectric actuators, electrostatic actuators, or other tactile output generating components (e.g., components that convert electrical signals into tactile output on the device). Contact intensity sensor 165 receives tactile feedback generation commands from tactile feedback module 133 and generates a tactile output on device 100 that can be sensed by a user of device 100. In some embodiments, at least one tactile output generator is disposed on or proximate to a touch-sensitive surface (e.g., touch-sensitive display system 112) and optionally generates a tactile output by moving the touch-sensitive surface vertically (e.g., in/out of the surface of device 100) or laterally (e.g., back and forth in the same plane as the surface of device 100). In some embodiments, at least one tactile output generator sensor is disposed on the back of device 100, opposite touchscreen display 112, which is disposed on the front of device 100.

デバイス１００はまた、１つ以上の加速度計１６８を任意選択的に含む。図１Ａは、周辺機器インターフェース１１８に結合された加速度計１６８を示す。あるいは、加速度計１６８は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に任意選択的に結合される。加速度計１６８は、任意選択的に、共にその全体が参照により本明細書に組み込まれる米国特許出願公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ－ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び同第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」で説明されるように機能する。一部の実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、縦置き表示又は横置き表示でタッチスクリーンディスプレイ上に表示される。デバイス１００は、加速度計（単数又は複数）１６８に加えて、磁気計並びにデバイス１００の位置及び方位（例えば、縦置き又は横置き）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ若しくは他のグローバルナビゲーションシステム）受信機を任意選択的に含む。 Device 100 also optionally includes one or more accelerometers 168. FIG. 1A shows accelerometer 168 coupled to peripherals interface 118. Alternatively, accelerometer 168 is optionally coupled to input controller 160 in I/O subsystem 106. The accelerometer 168 optionally functions as described in U.S. Patent Application Publication Nos. 20050190059, "Acceleration-based Theft Detection System for Portable Electronic Devices," and 20060017692, "Methods And Apparatuses For Operating A Portable Device Based On An Accelerometer," both of which are incorporated by reference in their entireties. In some embodiments, information is displayed on the touchscreen display in portrait or landscape orientation based on analysis of data received from one or more accelerometers. In addition to the accelerometer(s) 168, the device 100 optionally includes a magnetometer and a GPS (or GLONASS or other global navigation system) receiver for obtaining information regarding the location and orientation (e.g., portrait or landscape) of the device 100.

一部の実施形態では、メモリ１０２に記憶されたソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System、ＧＰＳ）モジュール（又は命令セット）１３５及びアプリケーション（又は命令セット）１３６を含む。更に、一部の実施形態では、図１Ａ及び図３に示すように、メモリ１０２（図１Ａ）又はメモリ３７０（図３）は、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、以下の、現在アクティブ状態のアプリケーションがある場合、どのアプリケーションがアクティブかを示す、アクティブアプリケーション状態、どのアプリケーション、ビュー又は他の情報がタッチスクリーンディスプレイ１１２の様々な領域を占めているかを示す、表示状態、デバイスの様々なセンサ及び入力制御デバイス１１６から取得される情報を含む、センサ状態、並びに、デバイスの位置及び／又は姿勢に関する位置情報、の１つ以上を含む。 In some embodiments, the software components stored in memory 102 include an operating system 126, a communication module (or instruction set) 128, a touch/motion module (or instruction set) 130, a graphics module (or instruction set) 132, a text input module (or instruction set) 134, a Global Positioning System (GPS) module (or instruction set) 135, and an application (or instruction set) 136. Additionally, in some embodiments, as shown in FIGS. 1A and 3, memory 102 (FIG. 1A) or memory 370 (FIG. 3) stores device/global internal state 157. Device/global internal state 157 includes one or more of the following: active application state, indicating which applications, if any, are currently active; display state, indicating which applications, views, or other information are occupying various regions of touchscreen display 112; sensor state, including information obtained from various sensors of the device and input control devices 116; and location information regarding the location and/or orientation of the device.

オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ（登録商標）、ＲＴＸＣ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ（登録商標）、ｉＯＳ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ（登録商標）などの組み込みオペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御及び管理するための様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。 Operating system 126 (e.g., an embedded operating system such as Darwin®, RTXC®, LINUX®, UNIX®, OS X®, iOS®, WINDOWS®, or VxWorks®) includes various software components and/or drivers for controlling and managing common system tasks (e.g., memory management, storage device control, power management, etc.) and facilitating communication between various hardware and software components.

通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素も含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えば、インターネット、無線ＬＡＮなど）を通して間接的に、他のデバイスに結合するように適応している。一部の実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同じか、若しくは同様のマルチピン（例えば、３０ピン）コネクタ、及び／又は互換性のあるマルチピン（例えば、３０ピン）コネクタである。 The communications module 128 also includes various software components for facilitating communication with other devices via one or more external ports 124 and for processing data received by the RF circuitry 108 and/or the external ports 124. The external ports 124 (e.g., Universal Serial Bus (USB), FIREWIRE, etc.) are adapted to couple to other devices directly or indirectly through a network (e.g., Internet, wireless LAN, etc.). In some embodiments, the external ports are multi-pin (e.g., 30-pin) connectors the same as or similar to the 30-pin connector used on iPod (trademark of Apple Inc.) devices and/or compatible multi-pin (e.g., 30-pin) connectors.

接触／動きモジュール１３０は、（ディスプレイコントローラ１５６と連携して）タッチスクリーン１１２及び他のタッチ感知デバイス（例えば、タッチパッド又は物理的なクリックホイール）との接触を任意選択的に検出する。接触／動きモジュール１３０は、接触が生じたかを判定すること（例えば、指を下ろすイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替）を判定すること、接触の移動があるかを判定し、タッチ感知面に亘る移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が中止したかを判定すること（例えば、指を上げるイベント又は接触の中止を検出すること）などの、接触の検出に関する様々な動作を行うための、様々なソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データにより表される接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、並びに／又は加速度（大きさ及び／又は方向における変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。一部の実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。 Contact/motion module 130 (in cooperation with display controller 156) optionally detects contact with touch screen 112 and other touch-sensing devices (e.g., a touchpad or physical click wheel). Contact/motion module 130 includes various software components for performing various operations related to contact detection, such as determining if contact has occurred (e.g., detecting a finger down event), determining the strength of the contact (e.g., the force or pressure of the contact, or a substitute for the force or pressure of the contact), determining if there is movement of the contact and tracking the movement across the touch-sensitive surface (e.g., detecting one or more finger drag events), and determining if the contact has ceased (e.g., detecting a finger up event or cessation of contact). Contact/motion module 130 receives contact data from the touch-sensitive surface. Determining the movement of the contact point represented by the set of contact data optionally includes determining the speed (magnitude), velocity (magnitude and direction), and/or acceleration (change in magnitude and/or direction) of the contact point. These actions are optionally applied to a single contact (e.g., one finger contact) or multiple simultaneous contacts (e.g., "multi-touch"/multiple finger contacts). In some embodiments, contact/motion module 130 and display controller 156 detect contacts on a touchpad.

一部の実施形態では、接触／動きモジュール１３０は、ユーザによって動作が行われたかを判定するための（例えば、ユーザがアイコン上で「クリック」したかを判定するための）、１つ以上の強度閾値のセットを使用する。一部の実施形態では、少なくとも強度閾値のサブセットが、ソフトウェアパラメータに従って決定される（例えば、強度閾値は、特定の物理的なアクチュエータのアクティブ化閾値によって決定されず、デバイス１００の物理的なハードウェアを変更することなく調整し得る）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値を、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の所定の閾値のうちのいずれかに設定することができる。加えて、一部の実装形態では、デバイスのユーザには、強度閾値のセットのうちの１つ以上を調整するためのソフトウェア設定が提供される（例えば、個々の強度閾値を調整することによって、及び／又はシステムレベルのクリック「強度」パラメータで一度に複数の強度閾値を調整することによって）。 In some embodiments, the contact/motion module 130 uses a set of one or more intensity thresholds for determining whether an action has been taken by the user (e.g., whether the user has "clicked" on an icon). In some embodiments, at least a subset of the intensity thresholds are determined according to software parameters (e.g., the intensity thresholds are not determined by the activation thresholds of a particular physical actuator and may be adjusted without modifying the physical hardware of the device 100). For example, the mouse "click" threshold of a trackpad or touchscreen display may be set to any of a wide range of predefined thresholds without modifying the hardware of the trackpad or touchscreen display. Additionally, in some implementations, a user of the device is provided with a software setting for adjusting one or more of the set of intensity thresholds (e.g., by adjusting individual intensity thresholds and/or by adjusting multiple intensity thresholds at once with a system-level click "intensity" parameter).

接触／動きモジュール１３０は、ユーザによるジェスチャ入力を任意選択的に検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン（例えば、検出される接触の異なる動き、タイミング、及び／又は強度）を有する。したがって、ジェスチャは、任意選択的に、特定の接触パターンの検出によって検出される。例えば、指のタップジェスチャを検出することは、（例えば、アイコンの位置での）指を下ろすイベントを検出し、続いてその指を下ろすイベントと同じ位置（又は、実質的に同じ位置）で指を上げる（リフトオフ）イベントを検出することを含む。別の例として、タッチ感知面上での指のスワイプジェスチャを検出することは、指を下ろすイベントを検出し、続いて、１つ以上の、指をドラッグするイベントを検出し、その後、続いて指を上げる（リフトオフ）イベントを検出することを含む。 Contact/motion module 130 optionally detects gesture input by a user. Different gestures on a touch-sensitive surface have different contact patterns (e.g., different movements, timing, and/or strength of detected contacts). Thus, gestures are optionally detected by detection of a particular contact pattern. For example, detecting a finger tap gesture includes detecting a finger down event (e.g., at an icon location) followed by a finger lift off event at the same location (or substantially the same location) as the finger down event. As another example, detecting a finger swipe gesture on a touch-sensitive surface includes detecting a finger down event followed by one or more finger drag events followed by a finger lift off event.

グラフィックモジュール１３２は、表示されるグラフィックの視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を変更するための構成要素を含む、タッチスクリーン１１２又は他のディスプレイ上にグラフィックをレンダリングして表示するための、様々な既知のソフトウェア構成要素を含む。本明細書で使用されるとき、用語「グラフィック」は、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインターフェースオブジェクトなど）、デジタル画像、ビデオ、及びアニメーションなどを含むがこれらに限定されない、ユーザに対して表示することができる任意のオブジェクトを含む。 Graphics module 132 includes various known software components for rendering and displaying graphics on touch screen 112 or other display, including components for modifying the visual effects (e.g., brightness, transparency, saturation, contrast, or other visual characteristics) of the displayed graphics. As used herein, the term "graphics" includes any object that can be displayed to a user, including, but not limited to, text, web pages, icons (such as user interface objects including soft keys), digital images, videos, and animations.

一部の実施形態では、グラフィックモジュール１３２は、使用されることとなるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する１つ以上のコードを受信し、その後に、ディスプレイコントローラ１５６に出力するスクリーンの画像データを生成する。 In some embodiments, the graphics module 132 stores data representing the graphics to be used. Each graphic is optionally assigned a corresponding code. The graphics module 132 receives one or more codes specifying the graphics to be displayed, including, as appropriate, coordinate data and other graphic characteristic data, from an application or the like, and then generates screen image data for output to the display controller 156.

触覚フィードバックモジュール１３３は、デバイス１００とのユーザ対話に応じてデバイス１００上の１つ以上の位置で触知出力を生成するために、触知出力生成器（単数又は複数）１６７によって使用される命令を生成するための様々なソフトウェア構成要素を含む。 The tactile feedback module 133 includes various software components for generating instructions used by the tactile output generator(s) 167 to generate tactile outputs at one or more locations on the device 100 in response to user interaction with the device 100.

テキスト入力モジュール１３４は、任意選択的に、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。 Text input module 134 is optionally a component of graphics module 132 and provides a soft keyboard for entering text in various applications (e.g., contacts 137, email 140, IM 141, browser 147, and any other application requiring text input).

ＧＰＳモジュール１３５は、デバイスの位置を決定し、この情報を、様々なアプリケーションでの使用のために提供する（例えば、位置に基づく発信での使用のために電話１３８へ、写真／ビデオメタデータとしてカメラ１４３へ、並びに、天気ウィジェット、ローカルイエローページウィジェット及びマップ／ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ）。 The GPS module 135 determines the location of the device and provides this information for use by various applications (e.g., to the phone 138 for use in location-based calling, to the camera 143 as photo/video metadata, and to applications that provide location-based services, such as a weather widget, a local yellow pages widget, and a maps/navigation widget).

アプリケーション１３６は、以下のモジュール（若しくは命令セット）、又はそれらのサブセット若しくはスーパーセットを任意選択的に含む。
●連絡先モジュール１３７（場合により、アドレス帳又は連絡先リストとも呼ばれる）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダーモジュール１４８、
●天気ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作成するためのウィジェット作成モジュール１５０、
●検索モジュール１５１、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを統合した、ビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●マップモジュール１５４及び／又は
●オンラインビデオモジュール１５５。 Application 136 optionally includes the following modules (or sets of instructions), or a subset or superset thereof:
Contacts module 137 (sometimes referred to as an address book or contact list);
● Telephone module 138,
● videoconferencing module 139;
● email client module 140;
● Instant messaging (IM) module 141;
training support module 142;
A camera module 143 for still and/or video images,
Image management module 144;
●Video player module,
●Music player module,
Browser module 147,
● Calendar module 148,
A widget module 149, optionally including one or more of a weather widget 149-1, a stock price widget 149-2, a calculator widget 149-3, an alarm clock widget 149-4, a dictionary widget 149-5 and other widgets obtained by the user, as well as user-created widgets 149-6;
A widget creation module 150 for creating user-created widgets 149-6;
Search module 151,
A video and music player module 152 that combines a video player module and a music player module;
Memo module 153,
• A map module 154 and/or • An online video module 155 .

任意選択的にメモリ１０２内に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。 Examples of other applications 136 that may optionally be stored in memory 102 include other word processing applications, other image editing applications, drawing applications, presentation applications, JAVA-enabled applications, encryption, digital rights management, voice recognition, and voice duplication.

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と共に、連絡先モジュール１３７は、（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２に記憶される）アドレス帳又は連絡先リストを管理するために任意選択的に用いられ、それには、アドレス帳に名前（単数又は複数）を加えること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、住所（単数又は複数）、又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類かつ並べ替えること、電話番号若しくは電子メールアドレスを提供して、電話１３８、テレビ会議モジュール１３９、電子メール１４０、又はＩＭ１４１による通信を開始する及び／又は容易にすること、などが含まれる。 The contacts module 137, along with the touch screen 112, the display controller 156, the contact/motion module 130, the graphics module 132, and the text input module 134, are optionally used to manage an address book or contact list (e.g., stored in the memory 102 or in the application internal state 192 of the contacts module 137 in the memory 370), including adding a name(s) to the address book, deleting a name(s) from the address book, associating a phone number(s), email address(es), address(es), or other information with a name, associating an image with a name, categorizing and sorting names, providing phone numbers or email addresses to initiate and/or facilitate communication by phone 138, videoconferencing module 139, email 140, or IM 141, and the like.

ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電話モジュール１３８は、任意選択的に、電話番号に対応する一連の文字を入力し、連絡先モジュール１３７内の１つ以上の電話番号にアクセスし、入力された電話番号を修正し、対応する電話番号をダイアルし、会話を行い、そして、会話が完了したときに接続を切るか又は電話を切るために、使用される。前述のように、無線通信は、複数の通信規格、プロトコル、及び技術のうちの任意のものを任意選択的に使用する。 In conjunction with the RF circuitry 108, audio circuitry 110, speaker 111, microphone 113, touch screen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, the telephone module 138 is optionally used to enter a series of characters corresponding to a telephone number, access one or more telephone numbers in the contact module 137, modify an entered telephone number, dial a corresponding telephone number, conduct a conversation, and disconnect or hang up when the conversation is completed. As previously mentioned, the wireless communication optionally uses any of a number of communication standards, protocols, and technologies.

ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先モジュール１３７、及び電話モジュール１３８と連携して、テレビ会議モジュール１３９は、ユーザの指示に従って、ユーザと１人以上の他の参加者との間のテレビ会議を開始し、遂行し、終了するための、実行可能な命令を含む。 In conjunction with the RF circuitry 108, audio circuitry 110, speaker 111, microphone 113, touch screen 112, display controller 156, light sensor 164, light sensor controller 158, contact/motion module 130, graphics module 132, text input module 134, contacts module 137, and telephone module 138, the videoconferencing module 139 contains executable instructions for initiating, conducting, and terminating a videoconference between a user and one or more other participants in accordance with the user's instructions.

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電子メールクライアントモジュール１４０は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理するための、実行可能な命令を含む。画像管理モジュール１４４と連携して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールを作成及び送信することを非常に容易にする。 In conjunction with the RF circuitry 108, touch screen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, the email client module 140 contains executable instructions for creating, sending, receiving, and managing emails in response to user instructions. In conjunction with the image management module 144, the email client module 140 makes it very easy to create and send emails with still or video images captured by the camera module 143.

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、インスタントメッセージングモジュール１４１は、インスタントメッセージに対応する文字列を入力したり、入力済の文字を修正したり、（例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス（ＳＭＳ）若しくはマルチメディアメッセージサービス（ＭＭＳ）プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用して）対応するインスタントメッセージを送信したり、インスタントメッセージを受信したり、受信したインスタントメッセージを閲覧したりするための、実行可能な命令を含む。一部の実施形態では、送信及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ並びに／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるような、グラフィック、写真、オーディオファイル、ビデオファイル、及び／若しくは他の添付ファイルを含む。本明細書において使用するとき、「インスタントメッセージング」とは、電話ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）及びインターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）の双方を指す。 In cooperation with the RF circuitry 108, the touch screen 112, the display controller 156, the contact/motion module 130, the graphics module 132, and the text input module 134, the instant messaging module 141 includes executable instructions for inputting text corresponding to an instant message, modifying inputted text, sending the corresponding instant message (e.g., using Short Message Service (SMS) or Multimedia Message Service (MMS) protocols for telephone-based instant messaging, or using XMPP, SIMPLE, or IMPS for Internet-based instant messaging), receiving instant messages, and viewing received instant messages. In some embodiments, the sent and/or received instant messages optionally include graphics, photos, audio files, video files, and/or other attachments, such as those supported by MMS and/or Enhanced Messaging Service (EMS). As used herein, "instant messaging" refers to both telephone-based messaging (e.g., messages sent using SMS or MMS) and Internet-based messaging (e.g., messages sent using XMPP, SIMPLE, or IMPS).

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、マップモジュール１５４及び音楽プレーヤモジュールと連携して、トレーニングサポートモジュール１４２は、（例えば、時間、距離及び／又はカロリー消費目標を有する）トレーニングを作成する、トレーニングセンサ（スポーツデバイス）と通信する、トレーニングセンサデータを受信する、トレーニングをモニタするために使用されるセンサを較正する、トレーニングのための音楽を選択して再生する、及びトレーニングデータを表示し、記憶し、送信するための、実行可能な命令を含む。 In conjunction with the RF circuitry 108, touch screen 112, display controller 156, contact/motion module 130, graphics module 132, text input module 134, GPS module 135, map module 154 and music player module, the training support module 142 includes executable instructions for creating workouts (e.g., having time, distance and/or calorie burn goals), communicating with training sensors (sports devices), receiving training sensor data, calibrating sensors used to monitor workouts, selecting and playing music for workouts, and displaying, storing and transmitting training data.

タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と連携して、カメラモジュール１４３は、静止画像若しくは（ビデオストリームを含む）ビデオをキャプチャしてメモリ１０２にそれらを記憶する、静止画像若しくはビデオの特性を修正する、又はメモリ１０２から静止画像若しくはビデオを削除するための、実行可能な命令を含む。 In conjunction with the touch screen 112, the display controller 156, the light sensor(s) 164, the light sensor controller 158, the contact/motion module 130, the graphics module 132, and the image management module 144, the camera module 143 contains executable instructions to capture still images or video (including video streams) and store them in the memory 102, modify characteristics of the still images or video, or delete the still images or video from the memory 102.

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４及びカメラモジュール１４３と連携して、画像管理モジュール１４４は、静止画像及び／又はビデオ画像を配置し、修正し（例えば、編集し）又は別の方法で操作し、ラベルを付け、削除し、（例えば、デジタルスライドショー又はアルバムにおいて）提示し、記憶するための、実行可能な命令を含む。 In conjunction with the touch screen 112, display controller 156, contact/motion module 130, graphics module 132, text input module 134, and camera module 143, image management module 144 contains executable instructions for arranging, modifying (e.g., editing) or otherwise manipulating, labeling, deleting, presenting (e.g., in a digital slide show or album), and storing still and/or video images.

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ブラウザモジュール１４７は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付及び他のファイルを検索し、リンク付けし、受信し、表示することを含むユーザの指示に従ってインターネットを閲覧するための実行可能な命令を含む。 In conjunction with the RF circuitry 108, touch screen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, the browser module 147 contains executable instructions for browsing the Internet according to user instructions, including retrieving, linking, receiving, and displaying web pages or portions thereof, as well as attachments and other files linked to web pages.

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、カレンダーモジュール１４８は、ユーザの指示に従い、カレンダー及びカレンダーに関連付けられたデータ（例えば、カレンダー項目、ｔｏ ｄｏリストなど）を作成し、表示し、修正し、記憶するための実行可能な命令を含む。 In conjunction with the RF circuitry 108, touch screen 112, display controller 156, contact/motion module 130, graphics module 132, text input module 134, email client module 140, and browser module 147, the calendar module 148 contains executable instructions for creating, displaying, modifying, and storing calendars and data associated with the calendars (e.g., calendar items, to-do lists, etc.) according to user instructions.

ＲＦ回路１０８、タッチ画面１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、ウィジェットモジュール１４９は、ユーザによって任意選択的にダウンロードされて使用されるミニアプリケーション（例えば、天気ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、及び辞書ウィジェット１４９－５）、又はユーザによって作成されるミニアプリケーション（例えば、ユーザ作成ウィジェット１４９－６）である。一部の実施形態では、ウィジェットは、ＨＴＭＬ（Hypertext Markup Language、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Cascading Style Sheets、カスケーディングスタイルシート）ファイル及びＪａｖａＳｃｒｉｐｔファイルを含む。一部の実施形態では、ウィジェットは、ＸＭＬ（拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。 In conjunction with the RF circuitry 108, touch screen 112, display controller 156, touch/motion module 130, graphics module 132, text input module 134, and browser module 147, widget module 149 is a mini-application that is optionally downloaded and used by the user (e.g., weather widget 149-1, stock price widget 149-2, calculator widget 149-3, alarm clock widget 149-4, and dictionary widget 149-5) or created by the user (e.g., user-created widget 149-6). In some embodiments, widgets include HTML (Hypertext Markup Language) files, CSS (Cascading Style Sheets) files, and JavaScript files. In some embodiments, widgets include XML (Extensible Markup Language) files and JavaScript files (e.g., Yahoo! widgets).

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、ウィジェット作成モジュール１５０は、任意選択的に、ウィジェットを作成する（例えば、ウェブページのユーザ指定箇所をウィジェットに変える）ために、ユーザによって使用される。 In conjunction with the RF circuitry 108, the touch screen 112, the display controller 156, the contact/motion module 130, the graphics module 132, the text input module 134, and the browser module 147, the widget creation module 150 is optionally used by a user to create a widget (e.g., turn a user-specified portion of a web page into a widget).

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、検索モジュール１５１は、ユーザの指示に従い、１つ以上の検索基準（例えば、１つ以上のユーザ指定の検索語句）と一致する、メモリ１０２内のテキスト、音楽、音、画像、ビデオ、及び／又は他のファイルを検索するための、実行可能な命令を含む。 In cooperation with the touch screen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, the search module 151 contains executable instructions for searching the memory 102 for text, music, sound, images, video, and/or other files matching one or more search criteria (e.g., one or more user-specified search terms) in accordance with a user's instructions.

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８及びブラウザモジュール１４７と連携して、ビデオ及び音楽プレーヤモジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能な命令、並びにビデオを（タッチスクリーン１１２上又は外部ポート１２４を介して接続された外部のディスプレイ上に）表示、提示又は別の方法で再生するための実行可能な命令を含む。一部の実施形態では、デバイス１００は、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を任意選択的に含む。 In conjunction with the touch screen 112, display controller 156, contact/motion module 130, graphics module 132, audio circuitry 110, speaker 111, RF circuitry 108, and browser module 147, the video and music player module 152 includes executable instructions that allow a user to download and play pre-recorded music and other sound files stored in one or more file formats, such as MP3 or AAC files, as well as executable instructions for displaying, presenting, or otherwise playing videos (on the touch screen 112 or on an external display connected via external port 124). In some embodiments, device 100 optionally includes the functionality of an MP3 player, such as an iPod (trademark of Apple Inc.).

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２及びテキスト入力モジュール１３４と連携して、メモモジュール１５３は、ユーザの指示に従って、メモ、ｔｏ ｄｏリストなどを作成し、管理するための実行可能な命令を含む。 In conjunction with the touch screen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, the notes module 153 contains executable instructions for creating and managing notes, to-do lists, and the like, as directed by the user.

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連携して、マップモジュール１５４は、任意選択的に、ユーザの指示に従い、マップ及びマップに関連付けられたデータ（例えば、運転方向、特定の位置又はその近くの店舗及び他の見所のデータ、並びに他の位置ベースのデータ）を受信し、表示し、修正し、及び記憶するために、使用される。 In conjunction with the RF circuitry 108, the touch screen 112, the display controller 156, the contact/motion module 130, the graphics module 132, the text input module 134, the GPS module 135, and the browser module 147, the map module 154 is used to receive, display, modify, and store maps and data associated with the maps (e.g., driving directions, data for stores and other points of interest at or near a particular location, and other location-based data), optionally in accordance with user instructions.

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０及びブラウザモジュール１４７と連携して、オンラインビデオモジュール１５５は、ユーザに、Ｈ．２６４などの１つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、（例えば、ストリーミング及び／又はダウンロードにより）受信し、（例えば、タッチスクリーン上で又は外部ポート１２４を介して接続された外部のディスプレイ上で）再生し、特定のオンラインビデオへのリンクを含む電子メールを送信し、別の方法で管理させることを可能にする命令を含む。一部の実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。オンラインビデオアプリケーションの追加の説明は、２００７年６月２０日に出願された米国特許仮出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日に出願された米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」に見出すことができ、それらの内容の全体が参照により本明細書に組み込まれる。 In conjunction with the touch screen 112, the display controller 156, the contact/motion module 130, the graphics module 132, the audio circuitry 110, the speaker 111, the RF circuitry 108, the text input module 134, the email client module 140, and the browser module 147, the online video module 155 includes instructions that enable a user to access, view, receive (e.g., by streaming and/or downloading), play (e.g., on the touch screen or on an external display connected via the external port 124), and send and otherwise manage emails containing links to particular online videos in one or more file formats, such as H.264. In some embodiments, the instant messaging module 141 is used to send links to particular online videos, rather than the email client module 140. Additional description of online video applications can be found in U.S. Provisional Patent Application No. 60/936,562, entitled "Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos," filed June 20, 2007, and U.S. Patent Application No. 11/968,067, entitled "Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos," filed December 31, 2007, the contents of which are incorporated herein by reference in their entireties.

上記で特定されたモジュール及びアプリケーションのそれぞれは、１つ以上の上記の機能を実行するための実行可能な命令セット及び本出願に記載の方法（例えば、コンピュータにより実装される方法及び本明細書に記載の他の情報処理方法）に対応する。これらのモジュール（例えば、命令セット）は、別個のソフトウェアプログラム手順、又はモジュールとして実装される必要はなく、それゆえ、様々な実施形態では、これらのモジュールの様々なサブセットは、任意選択的に組み合わされるか、又は他の方式で再編成される。例えば、ビデオプレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わせて、単一のモジュールとなる（例えば、図１Ａのビデオ及び音楽プレーヤモジュール１５２）。一部の実施形態では、メモリ１０２は、上記で特定されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ１０２は、前述されていない追加のモジュール及びデータ構造を任意選択的に記憶する。 Each of the above-identified modules and applications corresponds to an executable instruction set and method described herein (e.g., computer-implemented methods and other information processing methods described herein) for performing one or more of the above-identified functions. These modules (e.g., instruction sets) need not be implemented as separate software program procedures or modules, and thus, in various embodiments, various subsets of these modules are optionally combined or otherwise rearranged. For example, a video player module is optionally combined with a music player module into a single module (e.g., video and music player module 152 of FIG. 1A). In some embodiments, memory 102 optionally stores a subset of the above-identified modules and data structures. Additionally, memory 102 optionally stores additional modules and data structures not previously described.

一部の実施形態では、デバイス１００は、デバイス上の所定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドを通じて排他的に行われるデバイスである。デバイス１００の動作のための主要な入力制御デバイスとしてタッチスクリーン及び／又はタッチパッドを使用することによって、デバイス１００上の物理的な入力制御デバイス（プッシュボタン、ダイアルなど）の数が任意選択的に削減される。 In some embodiments, device 100 is a device in which operation of a given set of functions on the device is performed exclusively through a touchscreen and/or touchpad. By using the touchscreen and/or touchpad as the primary input control device for operation of device 100, the number of physical input control devices (push buttons, dials, etc.) on device 100 is optionally reduced.

タッチスクリーン及び／又はタッチパッドを通じて排他的に行われる所定の機能のセットは、任意選択的にユーザインターフェース間のナビゲーションを含む。一部の実施形態では、タッチパッドは、ユーザによってタッチされたとき、デバイス１００上で表示される任意のユーザインターフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。そのような実施形態では、「メニューボタン」はタッチパッドを使用して実装される。一部の他の実施形態では、メニューボタンは、タッチパッドの代わりに、物理的なプッシュボタン又は他の物理的な入力制御デバイスである。 The set of predetermined functions performed exclusively through the touchscreen and/or touchpad optionally includes navigation between user interfaces. In some embodiments, the touchpad, when touched by a user, navigates device 100 to a main menu, a home menu, or a root menu from any user interface displayed on device 100. In such embodiments, a "menu button" is implemented using the touchpad. In some other embodiments, the menu button is a physical push button or other physical input control device instead of a touchpad.

図１Ｂは、一部の実施形態による、イベント処理のための例示的な構成要素を示すブロック図である。一部の実施形態では、メモリ１０２（図１Ａ）又はメモリ３７０（図３）は、イベントソータ１７０（例えば、オペレーティングシステム１２６内）及び対応するアプリケーション１３６－１（例えば、前述のアプリケーション１３７～１５１、１５５、３８０～３９０のうちのいずれか）を含む。 FIG. 1B is a block diagram illustrating exemplary components for event processing, according to some embodiments. In some embodiments, memory 102 (FIG. 1A) or memory 370 (FIG. 3) includes an event sorter 170 (e.g., in operating system 126) and a corresponding application 136-1 (e.g., any of applications 137-151, 155, 380-390 described above).

イベントソータ１７０は、イベント情報を受信し、イベント情報が配信されるアプリケーション１３６－１及びアプリケーション１３６－１のアプリケーションビュー１９１を決定する。イベントソータ１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。一部の実施形態では、アプリケーション１３６－１には、アプリケーションがアクティブ又は実行中のときに、タッチ感知ディスプレイ１１２上に表示される現在のアプリケーションビュー（単数又は複数）を示す、アプリケーション内部状態１９２が含まれる。一部の実施形態では、デバイス／グローバル内部状態１５７は、どのアプリケーションが現在アクティブであるかを判定するためにイベントソータ１７０によって使用され、アプリケーション内部状態１９２は、イベント情報の配信先となるアプリケーションビュー１９１を決定するために、イベントソータ１７０によって使用される。 Event sorter 170 receives the event information and determines which application 136-1 and application view 191 of application 136-1 to deliver the event information to. Event sorter 170 includes an event monitor 171 and an event dispatcher module 174. In some embodiments, application 136-1 includes application internal state 192 that indicates the current application view(s) that are displayed on touch-sensitive display 112 when the application is active or running. In some embodiments, device/global internal state 157 is used by event sorter 170 to determine which application is currently active, and application internal state 192 is used by event sorter 170 to determine which application is currently active, and application internal state 192 is used by event sorter 170 to determine which application view 191 to deliver the event information to.

一部の実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６－１が実行を再開するときに使用される再開情報、アプリケーション１３６－１によって表示されているか又は表示の準備がされている情報を示すユーザインターフェース状態情報、ユーザがアプリケーション１３６－１の前の状態又はビューに戻ることを可能にするための状態待ち行列、及びユーザが行った従前のアクションのリドゥ／アンドゥ待ち行列、のうちの１つ以上などの追加の情報を含む。 In some embodiments, application internal state 192 includes additional information such as one or more of resume information used when application 136-1 resumes execution, user interface state information indicating information being displayed or prepared for display by application 136-1, a state queue to allow the user to return to a previous state or view of application 136-1, and a redo/undo queue of previous actions taken by the user.

イベントモニタ１７１は、周辺機器インターフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイ１１２上のユーザタッチ）の情報を含む。周辺機器インターフェース１１８は、Ｉ／Ｏサブシステム１０６又は近接センサ１６６、加速度計（単数又は複数）１６８及び／若しくは（オーディオ回路１１０を通じて）マイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インターフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２又はタッチ感知面からの情報を含む。 Event monitor 171 receives event information from peripherals interface 118. The event information includes information of a sub-event (e.g., a user touch on touch-sensitive display 112 as part of a multi-touch gesture). Peripherals interface 118 transmits information it receives from I/O subsystem 106 or sensors such as proximity sensor 166, accelerometer(s) 168, and/or microphone 113 (through audio circuitry 110). Information that peripherals interface 118 receives from I/O subsystem 106 includes information from touch-sensitive display 112 or a touch-sensitive surface.

一部の実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インターフェース１１８に要求を送信する。それに応じて、周辺機器インターフェース１１８はイベント情報を送信する。他の実施形態では、周辺機器インターフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回るかつ／又は所定の期間よりも長い入力を受信すること）があるときのみ、イベント情報を送信する。 In some embodiments, event monitor 171 sends requests to peripherals interface 118 at predetermined intervals. In response, peripherals interface 118 sends event information. In other embodiments, peripherals interface 118 sends event information only when there is a significant event (e.g., receiving an input above a predetermined noise threshold and/or for longer than a predetermined period of time).

一部の実施形態では、イベントソータ１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。 In some embodiments, event sorter 170 also includes a hit view determination module 172 and/or an active event recognizer determination module 173.

ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイ１１２が１つ以上のビューを表示したときに、１つ以上のビュー内のどこにおいてサブイベントが発生したかを判定するためのソフトウェア手順を提供する。ビューは、制御部及びユーザがディスプレイ上で見ることができる他の要素で構成される。 Hit view determination module 172 provides software procedures for determining where in one or more views a sub-event occurred when touch-sensitive display 112 displays one or more views. A view consists of controls and other elements that a user can see on the display.

アプリケーションに関連付けられたユーザインターフェースの別の態様は、本明細書においてアプリケーションビュー又はユーザインターフェースウィンドウと呼ばれる場合があるビューのセットであり、それらの中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに任意選択的に対応する。例えば、タッチが検出される最下位レベルのビューは任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは任意選択的に、タッチに基づくジェスチャを開始する初期のタッチのヒットビューに少なくとも部分的に基づいて判定される。 Another aspect of a user interface associated with an application is the set of views, sometimes referred to herein as application views or user interface windows, in which information is displayed and in which touch-based gestures occur. The application view (of the respective application) in which the touch is detected optionally corresponds to a programmatic level within the programmatic or view hierarchy of the application. For example, the lowest-level view in which the touch is detected is optionally referred to as a hit view, and the set of events that are recognized as suitable inputs are optionally determined based at least in part on the hit view of the initial touch that initiates the touch-based gesture.

ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層において編成された複数のビューを有するとき、ヒットビュー判定モジュール１７２は、サブイベントを処理するべき階層内の最下位のビューとしてヒットビューを特定する。ほとんどの状況では、ヒットビューは、最初のサブイベント（例えば、イベント又は潜在的なイベントを形成する一続きのサブイベントにおける最初のサブイベント）が発生する最下位レベルのビューである。ヒットビューがヒットビュー判定モジュール１７２によって特定されると、ヒットビューは典型的には、それがヒットビューとして特定された、同じタッチ又は入力ソースに関連する全てのサブイベントを受信する。 Hit view determination module 172 receives information related to sub-events of a touch-based gesture. When an application has multiple views organized in a hierarchy, hit view determination module 172 identifies the hit view as the lowest view in the hierarchy that should process the sub-events. In most situations, the hit view is the lowest level view in which the first sub-event occurs (e.g., the first sub-event in a sequence of sub-events that form an event or potential event). Once a hit view is identified by hit view determination module 172, the hit view typically receives all sub-events related to the same touch or input source for which it was identified as the hit view.

アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定の一続きを受信すべきかを判定する。一部の実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定の一続きを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理的な位置を含む全てのビューはアクティブに関与しているビューであると判定し、したがって、全てのアクティブに関与しているビューは、サブイベントの特定の一続きを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連付けられた領域に完全に限定されたとしても、階層の上位のビューは、依然としてアクティブに関与しているビューであり続ける。 Active event recognizer determination module 173 determines which view(s) in the view hierarchy should receive a particular sequence of sub-events. In some embodiments, active event recognizer determination module 173 determines that only the hit view should receive a particular sequence of sub-events. In other embodiments, active event recognizer determination module 173 determines that all views that contain the physical location of the sub-event are actively participating views, and therefore all actively participating views should receive a particular sequence of sub-events. In other embodiments, even if the touch sub-event is completely confined to the area associated with one particular view, views higher in the hierarchy still remain actively participating views.

イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えば、イベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。一部の実施形態では、イベントディスパッチャモジュール１７４は、対応するイベント受信部１８２により取得されるイベント情報をイベント待ち行列に記憶する。 Event dispatcher module 174 dispatches event information to an event recognizer (e.g., event recognizer 180). In embodiments that include active event recognizer determination module 173, event dispatcher module 174 delivers the event information to the event recognizer determined by active event recognizer determination module 173. In some embodiments, event dispatcher module 174 stores event information obtained by a corresponding event receiver 182 in an event queue.

一部の実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。あるいは、アプリケーション１３６－１が、イベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型のモジュール、又は接触／動きモジュール１３０などの、メモリ１０２に記憶された別のモジュールの一部である。 In some embodiments, operating system 126 includes event sorter 170. Alternatively, application 136-1 includes event sorter 170. In yet other embodiments, event sorter 170 is a stand-alone module or part of another module stored in memory 102, such as contact/motion module 130.

一部の実施形態では、アプリケーション１３６－１は、それぞれがアプリケーションのユーザインターフェースの対応するビュー内で発生するタッチイベントを処理する命令を含む、複数のイベント処理部１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６－１のそれぞれのアプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。一般的には、対応するアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、アプリケーション１３６－１が方法及び他の性質をそれから継承する、ユーザインターフェースキット又は上位レベルのオブジェクトなどの別個のモジュールの一部である。一部の実施形態では、対応するイベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８及び／又はイベントソータ１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、データ更新部１７６、オブジェクト更新部１７７、又はＧＵＩ更新部１７８を任意選択的に利用若しくは呼び出す。あるいは代わりに、アプリケーションビュー１９１のうちの１つ以上は、１つ以上の対応するイベント処理部１９０を含む。また、一部の実施形態では、データ更新部１７６、オブジェクト更新部１７７及びＧＵＩ更新部１７８のうちの１つ以上は、対応するアプリケーションビュー１９１に含まれる。 In some embodiments, application 136-1 includes multiple event handlers 190 and one or more application views 191, each of which includes instructions for handling touch events that occur within a corresponding view of the application's user interface. Each application view 191 of application 136-1 includes one or more event recognizers 180. Typically, a corresponding application view 191 includes multiple event recognizers 180. In other embodiments, one or more of the event recognizers 180 are part of a separate module, such as a user interface kit or a higher-level object, from which application 136-1 inherits methods and other properties. In some embodiments, the corresponding event handler 190 includes one or more of a data updater 176, an object updater 177, a GUI updater 178, and/or event data 179 received from event sorter 170. Event handler 190 optionally utilizes or calls data updater 176, object updater 177, or GUI updater 178 to update application internal state 192. Alternatively, one or more of the application views 191 include one or more corresponding event handlers 190. Also, in some embodiments, one or more of the data updater 176, the object updater 177, and the GUI updater 178 are included in the corresponding application view 191.

対応するイベント認識部１８０は、イベントソータ１７０からイベント情報（例えば、イベントデータ１７９）を受信し、イベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。一部の実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。 A corresponding event recognizer 180 receives event information (e.g., event data 179) from event sorter 170 and identifies an event from the event information. Event recognizer 180 includes an event receiver 182 and an event comparator 184. In some embodiments, event recognizer 180 also includes at least a subset of metadata 183 and event delivery instructions 188 (optionally including sub-event delivery instructions).

イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの動きに関する情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。一部の実施形態では、イベントは、１つの方位から別の方位への（例えば、縦置きから横置きへの、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の方位（デバイスの姿勢とも呼ばれる）についての対応する情報を含む。 Event receiver 182 receives event information from event sorter 170. The event information includes information about a sub-event, e.g., a touch or a touch movement. Depending on the sub-event, the event information also includes additional information, such as the location of the sub-event. When the sub-event involves a touch movement, the event information also optionally includes the speed and direction of the sub-event. In some embodiments, the event includes a rotation of the device from one orientation to another (e.g., from portrait to landscape or vice versa), and the event information includes corresponding information about the device's current orientation (also called the device's attitude).

イベント比較部１８４は、イベント情報を所定のイベント又はサブイベント定義と比較し、その比較に基づいて、イベント又はサブイベントを判定し、又はイベント若しくはサブイベントの状態を判定若しくは更新する。一部の実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えば、イベント１（１８７－１）、イベント２（１８７－２）などのイベントの定義（例えば、所定の一連のサブイベント）を含む。一部の実施形態では、イベント（１８７）におけるサブイベントは、例えば、タッチの始め、タッチの終わり、タッチの移動、タッチの停止及び複数のタッチを含む。一例では、イベント１（１８７－１）の定義は、表示されたオブジェクト上でのダブルタップである。ダブルタップは、例えば、所定の段階での表示されたオブジェクト上の第１のタッチ（タッチの開始）、所定の段階での第１のリフトオフ（タッチの終了）、所定の段階での表示オブジェクト上の第２のタッチ（タッチの開始）、及び所定の段階での第２のリフトオフ（タッチの終了）を含む。別の例では、イベント２（１８７－２）の定義は、表示されたオブジェクト上のドラッグ操作である。このドラッグ操作は、例えば、所定の段階での表示オブジェクト上のタッチ（又は、接触）、タッチ感知ディスプレイ１１２を横切るタッチの移動、及びタッチのリフトオフ（タッチの終了）を含む。一部の実施形態では、イベントはまた、１つ以上の関連付けられたイベント処理部１９０に関する情報も含む。 The event comparator 184 compares the event information with a predefined event or sub-event definition and determines the event or sub-event, or determines or updates the state of the event or sub-event, based on the comparison. In some embodiments, the event comparator 184 includes an event definition 186. The event definition 186 includes event definitions (e.g., a predefined set of sub-events), such as, for example, event 1 (187-1), event 2 (187-2), etc. In some embodiments, the sub-events in the event (187) include, for example, a start of touch, an end of touch, a movement of touch, a stop of touch, and multiple touches. In one example, the definition of event 1 (187-1) is a double tap on a displayed object. The double tap includes, for example, a first touch (start of touch) on a displayed object at a predefined stage, a first lift-off (end of touch) at a predefined stage, a second touch (start of touch) on a displayed object at a predefined stage, and a second lift-off (end of touch) at a predefined stage. In another example, the definition of event 2 (187-2) is a drag operation on a displayed object. The drag operation includes, for example, a touch (or contact) on a display object at a given stage, a movement of the touch across the touch-sensitive display 112, and a lift-off of the touch (end of the touch). In some embodiments, the event also includes information regarding one or more associated event handlers 190.

一部の実施形態では、イベント定義１８７は、それぞれのユーザインターフェースオブジェクトに対するイベントの定義を含む。一部の実施形態では、イベント比較部１８４は、サブイベントにどのユーザインターフェースオブジェクトが関連付けられているかを判定するヒットテストを行う。例えば、３つのユーザインターフェースオブジェクトがタッチ感知ディスプレイ１１２上に表示されるアプリケーションビューにおいて、タッチ感知ディスプレイ１１２上でタッチが検出されると、イベント比較部１８４は、３つのユーザインターフェースオブジェクトのうちどれがタッチ（サブイベント）に関連付けられているかを判定するためのヒットテストを行う。表示されたそれぞれのオブジェクトが、対応するイベント処理部１９０と関連付けられている場合、イベント比較部は、ヒットテストの結果を使用して、どのイベント処理部１９０がアクティブ化されるべきかを判定する。例えば、イベント比較部１８４は、オブジェクトと関連付けられたイベント処理部及びヒットテストをトリガするサブイベントを選択する。 In some embodiments, event definition 187 includes a definition of an event for each user interface object. In some embodiments, event comparator 184 performs a hit test to determine which user interface object is associated with the sub-event. For example, in an application view in which three user interface objects are displayed on touch-sensitive display 112, when a touch is detected on touch-sensitive display 112, event comparator 184 performs a hit test to determine which of the three user interface objects is associated with the touch (sub-event). If each displayed object is associated with a corresponding event handler 190, event comparator 184 uses the results of the hit test to determine which event handler 190 should be activated. For example, event comparator 184 selects an event handler associated with the object and a sub-event that triggers the hit test.

一部の実施形態では、対応するイベント（１８７）の定義はまた、一連のサブイベントがイベント認識部のイベント種類に対応するか否かが判定される後まで、イベント情報の配信を遅延させる遅延アクションを含む。 In some embodiments, the definition of the corresponding event (187) also includes a delay action that delays delivery of the event information until after it has been determined whether the set of sub-events corresponds to the event type of the event recognizer.

対応するイベント認識部１８０が、一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判定したとき、対応するイベント認識部１８０は、イベント不可能、イベント失敗又はイベント終了の状態に入り、その後は、続くタッチに基づくジェスチャのサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部がもしあれば、そのイベント認識部が進行中のタッチに基づくジェスチャのサブイベントの追跡及び処理を続行する。 When the corresponding event recognizer 180 determines that the set of sub-events does not match any of the events in the event definition 186, the corresponding event recognizer 180 enters an event disabled, event failed, or event finished state and thereafter ignores the sub-events of the subsequent touch-based gesture. In this situation, other event recognizers, if any, that remain active for the hit view continue to track and process the sub-events of the ongoing touch-based gesture.

一部の実施形態では、対応するイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を行うべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ及び／又はリストを有するメタデータ１８３を含む。一部の実施形態では、メタデータ１８３は、イベント認識部が相互にどのように対話するか、又は対話することが可能とされているかについて示す、構成可能なプロパティ、フラグ、及び／又はリストを含む。一部の実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す、構成可能なプロパティ、フラグ、及び／又はリストを含む。 In some embodiments, the corresponding event recognizer 180 includes metadata 183 with configurable properties, flags, and/or lists that indicate to actively participating event recognizers how the event delivery system should handle sub-event delivery. In some embodiments, metadata 183 includes configurable properties, flags, and/or lists that indicate how the event recognizers interact or are enabled to interact with each other. In some embodiments, metadata 183 includes configurable properties, flags, and/or lists that indicate how sub-events are delivered to various levels in a view or programmatic hierarchy.

一部の実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントと関連付けられたイベント処理部１９０をアクティブ化する。一部の実施形態では、それぞれのイベント認識部１８０は、イベントと関連付けられたイベント情報をイベント処理部１９０に配信する。イベント処理部１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。一部の実施形態では、イベント認識部１８０は、認識されたイベントと関連付けられたフラグを投入し、フラグと関連付けられたイベント処理部１９０は、フラグを捕らえ、所定の処理を行う。 In some embodiments, each event recognizer 180 activates an event handler 190 associated with an event when one or more specific sub-events of the event are recognized. In some embodiments, each event recognizer 180 delivers event information associated with the event to the event handler 190. Activating the event handler 190 is separate from sending (and postponing sending) the sub-events to the respective hit view. In some embodiments, the event recognizer 180 pops a flag associated with the recognized event, and the event handler 190 associated with the flag captures the flag and performs a predetermined process.

一部の実施形態では、イベント配信命令１８８は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューに、イベント情報を配信する。一連のサブイベントと、又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を行う。 In some embodiments, the event delivery instructions 188 include sub-event delivery instructions that deliver event information about a sub-event without activating an event handler. Instead, the sub-event delivery instructions deliver the event information to an event handler associated with the set of sub-events or to an actively participating view. The event handler associated with the set of sub-events or to an actively participating view receives the event information and performs the predetermined processing.

一部の実施形態では、データ更新部１７６は、アプリケーション１３６－１で使用されるデータを作成及び更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新する、又はビデオプレーヤモジュールで使用されるビデオファイルを記憶する。一部の実施形態では、オブジェクト更新部１７７は、アプリケーション１３６－１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部１７７は、新規のユーザインターフェースオブジェクトを作成する、又はユーザインターフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送る。 In some embodiments, data updater 176 creates and updates data used by application 136-1. For example, data updater 176 updates phone numbers used by contacts module 137 or stores video files used by a video player module. In some embodiments, object updater 177 creates and updates objects used by application 136-1. For example, object updater 177 creates new user interface objects or updates the positions of user interface objects. GUI updater 178 updates the GUI. For example, GUI updater 178 prepares display information and sends the display information to graphics module 132 for display on the touch-sensitive display.

一部の実施形態では、イベント処理部（単数又は複数）１９０は、データ更新部１７６、オブジェクト更新部１７７及びＧＵＩ更新部１７８を含むか又はそれらへのアクセスを有する。一部の実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８は、それぞれのアプリケーション１３６－１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。 In some embodiments, the event handler(s) 190 includes or has access to a data updater 176, an object updater 177, and a GUI updater 178. In some embodiments, the data updater 176, the object updater 177, and the GUI updater 178 are included in a single module of the respective application 136-1 or application view 191. In other embodiments, they are included in two or more software modules.

タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の議論はまた、入力デバイスで多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用され、その全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、任意選択的に単一若しくは複数のキーボードの押圧若しくは保持に適合されたマウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触移動、ペンスタイラス入力、デバイスの移動、口頭による指示、検出された眼球の動き、バイオメトリック入力、並びに／又はそれらのいずれかの組み合わせは、任意選択的に、認識されることになるイベントを定義するサブイベントに対応する入力として利用される。 It should be understood that the foregoing discussion regarding event processing of a user's touch on a touch-sensitive display also applies to other forms of user input for operating multifunction device 100 with an input device, not all of which are initiated on a touch screen. For example, mouse movements and mouse button presses, optionally adapted to single or multiple keyboard presses or holds, touch movements such as tapping, dragging, scrolling on a touchpad, pen stylus input, device movements, verbal cues, detected eye movements, biometric input, and/or any combination thereof, are optionally utilized as inputs corresponding to sub-events that define the event to be recognized.

図２は、一部の実施形態による、タッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、ユーザインターフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを任意選択的に表示する。本実施形態、並びに後述する他の実施形態では、ユーザは、例えば、１本以上の指２０２（図には、正確な縮尺率では描かれていない）又は１つ以上のスタイラス２０３（図には、正確な縮尺率では描かれていない）を用いて、グラフィック上でジェスチャを行うことにより、グラフィックのうちの１つ以上を選択することができる。一部の実施形態では、ユーザが１つ以上のグラフィックとの接触を断ったときに、その１つ以上のグラフィックの選択が生じる。一部の実施形態では、ジェスチャは、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上方へ及び／又は下方へ）、並びに／又は、デバイス１００と接触した指のローリング（右から左へ、左から右へ、上方へ及び／若しくは下方へ）を、任意選択的に含む。一部の実装形態又は状況では、グラフィックとの不測の接触は、グラフィックを選択しない。例えば、選択に対応するジェスチャがタップであるとき、アプリケーションアイコンの上をスイープするスワイプジェスチャは任意選択的に、対応するアプリケーションを選択しない。 FIG. 2 illustrates portable multifunction device 100 having touch screen 112, according to some embodiments. The touch screen optionally displays one or more graphics in user interface (UI) 200. In this embodiment, as well as other embodiments described below, a user can select one or more of the graphics by making a gesture on the graphics, for example with one or more fingers 202 (not drawn to scale) or one or more styluses 203 (not drawn to scale). In some embodiments, selection of one or more graphics occurs when the user loses contact with the one or more graphics. In some embodiments, the gesture optionally includes one or more taps, one or more swipes (left to right, right to left, upward and/or downward), and/or rolling of a finger in contact with device 100 (right to left, left to right, upward and/or downward). In some implementations or situations, accidental contact with a graphic does not select the graphic. For example, a swipe gesture sweeping over an application icon optionally does not select the corresponding application when the gesture corresponding to selection is a tap.

デバイス１００はまた、「ホーム」即ちメニューボタン２０４などの、１つ以上の物理的なボタンも任意選択的に含む。前述のように、メニューボタン２０４は、デバイス１００上で任意選択的に、実行するアプリケーションのセット内の任意のアプリケーション１３６へのナビゲーションに、任意選択的に、使用される。あるいは、一部の実施形態では、メニューボタンは、タッチスクリーン１１２に表示されたＧＵＩにおけるソフトキーとして実装されている。 The device 100 also optionally includes one or more physical buttons, such as a "home" or menu button 204. As previously mentioned, the menu button 204 is optionally used for navigation to any application 136 within a set of applications optionally executing on the device 100. Alternatively, in some embodiments, the menu button is implemented as a soft key in a GUI displayed on the touch screen 112.

一部の実施形態では、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスへの電源をオン／オフし、またデバイスをロックするためのプッシュボタン２０６、音量調整ボタン（単数又は複数）２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、所定の時間にわたってボタンを押し下げた状態で保持することによってデバイス上の電源をオン／オフし、ボタンを押し下げて、所定の時間が経過する前にボタンを解放することによってデバイスをロックする、及び／又は、デバイスのロックを解除する、若しくはロック解除処理を開始するように用いられる。代替実施形態では、デバイス１００はまた、マイクロフォン１１３を通して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力を受け入れる。デバイス１００はまた、任意選択的に、タッチスクリーン１１２上の接触の強度を検出するための１つ以上の接触強度センサ１６５、及び／又は、デバイス１００のユーザに対する触知出力を生成するための１つ以上の触知出力生成器１６７も含む。 In some embodiments, device 100 includes a touch screen 112, a menu button 204, a push button 206 for turning power to the device on/off and locking the device, a volume control button(s) 208, a subscriber identity module (SIM) card slot 210, a headset jack 212, and an external port 124 for docking/charging. Push button 206 is optionally used to turn power on/off on the device by pressing and holding the button down for a predetermined period of time, to lock the device by pressing and releasing the button before the predetermined period of time has elapsed, and/or to unlock the device or initiate an unlocking process. In an alternative embodiment, device 100 also accepts verbal input through microphone 113 to activate or deactivate some functions. Device 100 also optionally includes one or more contact intensity sensors 165 for detecting the intensity of a contact on touch screen 112 and/or one or more tactile output generators 167 for generating a tactile output for a user of device 100.

図３は、一部の実施形態による、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。一部の実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアモジュールデバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワーク若しくは他の通信インターフェース３６０、メモリ３７０、及びこれらの構成要素を相互接続するための１つ以上の通信バス３２０を一般的に含む。通信バス３２０は、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることがある）を、任意選択的に含む。デバイス３００は、一般的にはタッチスクリーンディスプレイであるディスプレイ３４０を含む、入出力（Ｉ／Ｏ）インターフェース３３０を含む。Ｉ／Ｏインターフェース３３０はまた、キーボード及び／又はマウス（又は他のポインティングデバイス）３５０並びにタッチパッド３５５、デバイス３００上に触知出力を生成するための（例えば、図１Ａを参照して前述された触知出力生成器（単数又は複数）１６７と同様の）触知出力生成器３５７、センサ３５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ及び／又は図１Ａを参照して前述された接触強度センサ（単数又は複数）１６５と同様の接触強度センサ）を任意選択的に含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、また、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを任意選択的に含む。メモリ３７０は、ＣＰＵ（単数又は複数）３１０からリモートに配置される１つ以上の記憶デバイスを任意選択的に含む。一部の実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２に記憶されたプログラム、モジュール、及びデータ構造、又はそれらのサブセットに類似する、プログラム、モジュール、及びデータ構造を記憶する。更に、メモリ３７０は任意選択的に、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８及び／又はスプレッドシートモジュール３９０を任意選択的に記憶するが、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、これらのモジュールを任意選択的に記憶しない。 3 is a block diagram of an exemplary multifunction device with a display and a touch-sensitive surface, according to some embodiments. Device 300 need not be portable. In some embodiments, device 300 is a laptop computer, a desktop computer, a tablet computer, a multimedia module device, a navigation device, an educational device (such as a child's learning toy), a gaming system, or a control device (e.g., a home or commercial controller). Device 300 typically includes one or more processing units (CPUs) 310, one or more network or other communication interfaces 360, memory 370, and one or more communication buses 320 for interconnecting these components. Communication bus 320 optionally includes circuitry (sometimes called a chipset) that interconnects and controls communication between system components. Device 300 includes input/output (I/O) interfaces 330, including a display 340, which is typically a touchscreen display. I/O interface 330 also optionally includes a keyboard and/or mouse (or other pointing device) 350 as well as a touchpad 355, a tactile output generator 357 (e.g., similar to tactile output generator(s) 167 described above with reference to FIG. 1A) for generating tactile output on device 300, sensors 359 (e.g., light sensors, acceleration sensors, proximity sensors, touch sensitive sensors and/or contact intensity sensors similar to contact intensity sensor(s) 165 described above with reference to FIG. 1A). Memory 370 includes high speed random access memory such as DRAM, SRAM, DDR RAM or other random access solid state memory devices, and optionally includes non-volatile memory such as one or more magnetic disk storage devices, optical disk storage devices, flash memory devices or other non-volatile solid state storage devices. Memory 370 optionally includes one or more storage devices located remotely from CPU(s) 310. In some embodiments, memory 370 stores programs, modules, and data structures similar to, or a subset of, the programs, modules, and data structures stored in memory 102 of portable multifunction device 100 (FIG. 1A). Additionally, memory 370 optionally stores additional programs, modules, and data structures not present in memory 102 of portable multifunction device 100. For example, memory 370 of device 300 optionally stores drawing module 380, presentation module 382, word processing module 384, website creation module 386, disk authoring module 388, and/or spreadsheet module 390, while memory 102 of portable multifunction device 100 (FIG. 1A) optionally does not store these modules.

上記で特定された図３の要素のそれぞれは任意選択的に、前述のメモリデバイスのうちの１つ以上に記憶される。上記で特定されたモジュールのうちのそれぞれは、前述した機能を実行する命令セットに対応する。上記で特定されたモジュール又はプログラム（例えば、命令セット）は別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、それゆえ、様々な実施形態では、これらのモジュールの様々なサブセットが組み合わされるか、又は他の方式で任意選択的に再編成される。一部の実施形態では、メモリ３７０は、上記で特定されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ３７０は、前述されていない追加のモジュール及びデータ構造を任意選択的に記憶する。 Each of the elements of FIG. 3 identified above is optionally stored in one or more of the memory devices mentioned above. Each of the modules identified above corresponds to an instruction set that performs the functions described above. The modules or programs (e.g., instruction sets) identified above need not be implemented as separate software programs, procedures, or modules, and thus, in various embodiments, various subsets of these modules are optionally combined or otherwise rearranged. In some embodiments, memory 370 optionally stores a subset of the modules and data structures identified above. Additionally, memory 370 optionally stores additional modules and data structures not described above.

次に、例えば、ポータブル多機能デバイス１００上に任意選択的に実装されるユーザインターフェースの実施形態に注目する。 We now turn our attention to embodiments of user interfaces that may be optionally implemented on portable multifunction device 100, for example.

図４Ａは、一部の実施形態による、ポータブル多機能デバイス１００上のアプリケーションのメニューに関する例示的なユーザインターフェースを示す。同様のユーザインターフェースが、デバイス３００上に任意選択的に実装される。一部の実施形態では、ユーザインターフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー及びＷｉ－Ｆｉ信号などの無線通信（単数又は複数）のための信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈインジケータ４０５、
●バッテリ状態インジケータ４０６、
●下記などの、頻繁に利用されるアプリケーション用のアイコンを含むトレー４０８、
○不在着信又はオーディオメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８用のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０用のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７用のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされた、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称されるビデオ及び音楽プレーヤモジュール１５２用のアイコン４２２、及び
●下記などの他のアプリケーション用のアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１用のアイコン４２４、
○「カレンダー」とラベル付けされた、カレンダーモジュール１４８用のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４用のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３用のアイコン４３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール１５５用のアイコン４３２、
○「株価」とラベル付けされた、株価ウィジェット１４９－２用のアイコン４３４、
○「マップ」とラベル付けされた、マップモジュール１５４用のアイコン４３６、
○「天気」とラベル付けされた、天気ウィジェット１４９－１用のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９－４用のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２用のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３用のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６に関する設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション若しくはモジュール用のアイコン４４６。 4A shows an exemplary user interface for a menu of applications on portable multifunction device 100, according to some embodiments. A similar user interface is optionally implemented on device 300. In some embodiments, user interface 400 includes the following elements, or a subset or superset thereof:
signal strength indicator(s) 402 for wireless communication(s), such as cellular and Wi-Fi signals;
● Time 404,
Bluetooth indicator 405,
● battery status indicator 406,
A tray 408 containing icons for frequently used applications, such as:
○ An icon 416 for the phone module 138, labeled "Phone", optionally including an indicator 414 of the number of missed calls or audiomail messages;
○ An icon 418 for the email client module 140, labeled "Mail", optionally including an indicator 410 of the number of unread emails;
○ An icon 420 for the browser module 147, labeled "Browser", and ○ An icon 422 for the video and music player module 152, also referred to as the iPod (trademark of Apple Inc.) module 152, labeled "iPod", and ● Icons for other applications, such as:
○ An icon 424 for the IM module 141, labeled "Messages";
○ An icon 426 for the calendar module 148, labeled "Calendar";
○ An icon 428 for the image management module 144, labeled "Photos";
○ An icon 430 for the camera module 143, labeled "Camera",
○ An icon 432 for the online video module 155, labeled "Online Video";
○ An icon 434 for stock price widget 149-2, labeled "Stock Price"
○ An icon 436 for the map module 154, labeled "Map";
○ An icon 438 for the weather widget 149-1, labeled "Weather";
○ An icon 440 for the alarm clock widget 149-4, labeled "Clock",
○ An icon 442 for the training support module 142, labeled "Training Support";
o An icon 444 for a notes module 153, labeled "Notes," and o An icon 446 for a settings application or module, labeled "Settings," which provides access to settings related to the device 100 and its various applications 136.

図４Ａに示されるアイコンのラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽プレーヤモジュール１５２用のアイコン４２２は、「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。一部の実施形態では、それぞれのアプリケーションアイコンのラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。一部の実施形態では、特定のアプリケーションアイコンのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。 Note that the icon labels shown in FIG. 4A are merely exemplary. For example, icon 422 for video and music player module 152 is labeled "Music" or "Music Player." Other labels are optionally used for the various application icons. In some embodiments, the label of each application icon includes the name of the application that corresponds to the respective application icon. In some embodiments, the label of a particular application icon is different from the name of the application that corresponds to the particular application icon.

図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）とは別個のタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を備えるデバイス（例えば、図３のデバイス３００）上の、例示的なユーザインターフェースを示す。デバイス３００はまた、タッチ感知面４５１上の接触の強度を検出するための１つ以上の接触強度センサ（例えば、センサ３５９のうちの１つ以上）及び／又はデバイス３００のユーザに対して触知出力を生成するための１つ以上の触知出力生成器３５７を任意選択的に含む。 4B illustrates an exemplary user interface on a device (e.g., device 300 of FIG. 3) that includes a touch-sensitive surface 451 (e.g., tablet or touchpad 355 of FIG. 3) that is separate from a display 450 (e.g., touchscreen display 112). Device 300 also optionally includes one or more contact intensity sensors (e.g., one or more of sensors 359) for detecting the intensity of a contact on touch-sensitive surface 451 and/or one or more tactile output generators 357 for generating a tactile output for a user of device 300.

以下の例のうちのいくつかはタッチスクリーンディスプレイ１１２上での入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して説明されるが、一部の実施形態では、デバイスは、図４Ｂに示されるように、ディスプレイとは別個のタッチ感知面上での入力を検出する。一部の実施形態では、このタッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の主軸（例えば、図４Ｂの４５３）に対応する主軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、タッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を、ディスプレイ上のそれぞれの位置に対応する位置にて検出する（例えば、図４Ｂでは、４６０は４６８に対応し、４６２は４７０に対応する）。このように、タッチ感知面がディスプレイとは別個のものである場合、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されるユーザ入力（例えば、接触４６０及び４６２、並びにそれらの移動）が、多機能デバイスのディスプレイ（例えば、図４Ｂでの４５０）上のユーザインターフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインターフェースに任意選択的に使用されることを理解されたい。 Although some of the following examples are described with reference to input on touch screen display 112 (where the touch-sensitive surface and display are combined), in some embodiments, the device detects input on a touch-sensitive surface that is separate from the display, as shown in FIG. 4B. In some embodiments, this touch-sensitive surface (e.g., 451 in FIG. 4B) has a major axis (e.g., 452 in FIG. 4B) that corresponds to a major axis (e.g., 453 in FIG. 4B) on the display (e.g., 450). According to these embodiments, the device detects contact with touch-sensitive surface 451 (e.g., 460 and 462 in FIG. 4B) at locations that correspond to respective locations on the display (e.g., in FIG. 4B, 460 corresponds to 468 and 462 corresponds to 470). In this manner, when the touch-sensitive surface is separate from the display, user input (e.g., contacts 460 and 462 and their movement) detected by the device on the touch-sensitive surface (e.g., 451 in FIG. 4B ) is used by the device to operate a user interface on the display (e.g., 450 in FIG. 4B ) of the multifunction device. It should be understood that similar methods are optionally used for the other user interfaces described herein.

更に加えて、以下の例は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャ）を参照して説明されるが、一部の実施形態では、それらの指入力のうちの１つ以上が、別の入力デバイスからの入力（例えば、マウスに基づく入力又はスタイラス入力）で置き換えられることを理解されたい。例えば、スワイプジェスチャは、（例えば、接触の代わりに）マウスクリックと任意選択的に置き換えられ、その後、スワイプの経路に沿って（例えば、接触の移動の代わりに）カーソルの移動が行われる。別の例として、タップジェスチャは任意選択的に、カーソルがタップジェスチャの位置の上に配置される間のマウスクリックに置き換えられる（例えば、接触の検出と、それに続く接触の検出の中止の代わりに）。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが任意選択的に同時に使用される、又はマウスと指の接触とが任意選択的に同時に使用されることを理解されたい。 Additionally, although the following examples are described primarily with reference to finger input (e.g., finger contact, finger tap gesture, finger swipe gesture), it should be understood that in some embodiments, one or more of the finger inputs are replaced with input from another input device (e.g., mouse-based input or stylus input). For example, a swipe gesture is optionally replaced with a mouse click (e.g., instead of a contact) followed by cursor movement (e.g., instead of a contact movement) along the path of the swipe. As another example, a tap gesture is optionally replaced with a mouse click while the cursor is positioned over the location of the tap gesture (e.g., instead of a contact detection followed by cessation of contact detection). Similarly, it should be understood that when multiple user inputs are detected simultaneously, multiple computer mice are optionally used simultaneously, or a mouse and finger contacts are optionally used simultaneously.

図５Ａは、例示的なパーソナル電子デバイス５００を示す。デバイス５００は、本体５０２を含む。一部の実施形態では、デバイス５００は、デバイス１００及び３００（例えば、図１Ａ～図４Ｂ）に関して記載した特徴の一部又は全てを含むことができる。一部の実施形態では、デバイス５００は、タッチ感知ディスプレイスクリーン５０４（以下では、タッチスクリーン５０４）を有する。タッチスクリーン５０４の代わりに、又はそれに追加して、デバイス５００は、ディスプレイ及びタッチ感知面を有する。デバイス１００及びデバイス３００と同様に、一部の実施形態では、タッチスクリーン５０４（又はタッチ感知面）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出するための１つ以上の強度センサを有する。タッチスクリーン５０４（又は、タッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス５００のユーザインターフェースは、タッチの強度に基づいてタッチに応答することができ、これは、異なる強度のタッチが、デバイス５００上で異なるユーザインターフェース動作を呼び出すことができることを意味する。 5A illustrates an exemplary personal electronic device 500. Device 500 includes a body 502. In some embodiments, device 500 can include some or all of the features described with respect to devices 100 and 300 (e.g., FIGS. 1A-4B). In some embodiments, device 500 has a touch-sensitive display screen 504 (hereinafter, touch screen 504). Instead of, or in addition to, touch screen 504, device 500 has a display and a touch-sensitive surface. Similar to devices 100 and 300, in some embodiments, touch screen 504 (or touch-sensitive surface) optionally includes one or more intensity sensors for detecting the intensity of a contact (e.g., a touch) being applied. The one or more intensity sensors of touch screen 504 (or touch-sensitive surface) can provide output data representative of the intensity of the touch. A user interface of device 500 can respond to a touch based on the intensity of the touch, meaning that touches of different intensities can invoke different user interface actions on device 500.

タッチ強度を検出して処理する例示的な技術は、例えば、関連出願である、２０１３年５月８日出願の「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」と題された国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号（国際公開第２０１３／１６９８４９号として公開）、及び２０１３年１１月１１日出願の「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」と題された同第ＰＣＴ／ＵＳ２０１３／０６９４８３号（国際公開第２０１４／１０５２７６号として公開）にみられ、それらのそれぞれ全体が参照により本明細書に組み込まれる。 Exemplary techniques for detecting and processing touch intensity are described, for example, in related applications, International Patent Application No. PCT/US2013/040061, entitled "Device, Method, and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application," filed May 8, 2013 (published as WO 2013/169849), and "Device, Method, and Graphical User Interface for Transitioning Between Touch Input to No. PCT/US2013/069483 (published as WO 2014/105276), entitled "Display Output Relationships," each of which is incorporated herein by reference in its entirety.

一部の実施形態では、デバイス５００は、１つ以上の入力機構５０６及び５０８を有する。入力機構５０６及び５０８は、含まれる場合には、物理的なものとすることができる。物理的な入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。一部の実施形態では、デバイス５００は、１つ以上のアタッチメント機構を有する。かかるアタッチメント機構は、含まれる場合には、例えば、デバイス５００を、帽子、アイウェア、イヤリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計バンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどに、取り付けることを可能にする。これらのアタッチメント機構は、ユーザによってデバイス５００が着用されることを可能にする。 In some embodiments, device 500 has one or more input mechanisms 506 and 508. Input mechanisms 506 and 508, if included, can be physical. Examples of physical input mechanisms include push buttons and rotatable mechanisms. In some embodiments, device 500 has one or more attachment mechanisms. Such attachment mechanisms, if included, can allow device 500 to be attached to, for example, hats, eyewear, earrings, necklaces, shirts, jackets, bracelets, watch bands, chains, pants, belts, shoes, wallets, backpacks, etc. These attachment mechanisms allow device 500 to be worn by a user.

図５Ｂは、例示的なパーソナル電子デバイス５００を示す。一部の実施形態では、デバイス５００は、図１Ａ、図１Ｂ及び図３に関して記載した構成要素の一部又は全てを含むことができる。デバイス５００は、Ｉ／Ｏ部５１４を１つ以上のコンピュータプロセッサ５１６及びメモリ５１８に動作可能に結合するバス５１２を有する。Ｉ／Ｏ部５１４は、ディスプレイ５０４に接続することができ、ディスプレイ５０４は、タッチ感知構成要素５２２と、任意選択的に、強度センサ５２４（例えば、接触強度センサ）と、を有し得る。更に、Ｉ／Ｏ部５１４は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（ＮＦＣ）、セルラー及び／又は他の無線通信技術を使用して、アプリケーション及びオペレーティングシステムのデータを受信するための通信ユニット５３０に接続し得る。デバイス５００は、入力機構５０６及び／又は５０８を含むことができる。入力機構５０６は、任意選択的に、例えば、回転可能入力デバイス、又は押圧可能かつ回転可能な入力デバイスである。入力機構５０８は、任意選択的に、一部の例では、ボタンである。 5B illustrates an exemplary personal electronic device 500. In some embodiments, the device 500 may include some or all of the components described with respect to FIGS. 1A, 1B, and 3. The device 500 has a bus 512 operably coupling an I/O unit 514 to one or more computer processors 516 and a memory 518. The I/O unit 514 may be connected to a display 504, which may have a touch-sensing component 522 and, optionally, an intensity sensor 524 (e.g., a contact intensity sensor). Additionally, the I/O unit 514 may connect to a communication unit 530 for receiving application and operating system data using Wi-Fi, Bluetooth, Near Field Communication (NFC), cellular, and/or other wireless communication technologies. The device 500 may include an input mechanism 506 and/or 508. The input mechanism 506 is optionally, for example, a rotatable input device, or a pressable and rotatable input device. The input mechanism 508 is optionally, in some examples, a button.

入力機構５０８は、任意選択的に、一部の例では、マイクロフォンである。パーソナル電子デバイス５００は、任意選択的に、ＧＰＳセンサ５３２、加速度計５３４、方向センサ５４０（例えば、コンパス）、ジャイロスコープ５３６、動きセンサ５３８、及び／又はこれらの組み合わせなどの様々なセンサを含むものであり、それらの全てはＩ／Ｏ部５１４に動作可能に接続できる。 The input mechanism 508 is optionally, in some examples, a microphone. The personal electronic device 500 optionally includes various sensors, such as a GPS sensor 532, an accelerometer 534, an orientation sensor 540 (e.g., a compass), a gyroscope 536, a motion sensor 538, and/or combinations thereof, all of which may be operably connected to the I/O section 514.

パーソナル電子デバイス５００のメモリ５１８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、それらの命令は、１つ以上のコンピュータプロセッサ５１６によって実行されると、例えば、コンピュータプロセッサに、処理７００、９００、１１００、１３００及び１５００（図７Ａ～図７Ｆ、図９Ａ～図９Ｋ、図１１Ａ～図１１Ｆ、図１３Ａ～図１３Ｄ、及び図１５Ａ～図１５Ｃ）を含む、以下に説明する技術を行わせることができる。コンピュータ可読記憶媒体は、命令実行システム、装置若しくはデバイスによって、又はこれらと関連して使用するためのコンピュータ実行可能命令を有形的に収容又は記憶することができる、任意の媒体とすることができる。一部の例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。一部の例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体には、磁気的記憶装置、光学的記憶装置及び／又は半導体記憶装置を挙げることができるが、これらに限定されない。そのような記憶装置の例には、磁気ディスク、ＣＤ、ＤＶＤ又はＢｌｕ－ｒａｙ技術に基づく光ディスク、及び、フラッシュ、ソリッドステートドライブなどの永続的ソリッドステートメモリが挙げられる。パーソナル電子デバイス５００は、図５Ｂの構成要素及び構成に限定されるものではなく、他の構成要素又は追加的構成要素を、複数の構成で含み得る。 The memory 518 of the personal electronic device 500 may include one or more non-transitory computer-readable storage media for storing computer-executable instructions that, when executed by one or more computer processors 516, may, for example, cause the computer processors to perform the techniques described below, including processes 700, 900, 1100, 1300, and 1500 (FIGS. 7A-7F, 9A-9K, 11A-11F, 13A-13D, and 15A-15C). A computer-readable storage medium may be any medium that can tangibly contain or store computer-executable instructions for use by or in connection with an instruction execution system, apparatus, or device. In some examples, the storage medium is a transient computer-readable storage medium. In some examples, the storage medium is a non-transitory computer-readable storage medium. Non-transitory computer-readable storage media may include, but are not limited to, magnetic storage devices, optical storage devices, and/or semiconductor storage devices. Examples of such storage devices include magnetic disks, optical disks based on CDs, DVDs or Blu-ray technology, and persistent solid-state memory such as flash, solid-state drives, etc. Personal electronic device 500 is not limited to the components and configuration of FIG. 5B and may include other or additional components in multiple configurations.

本明細書において使用するとき、用語「アフォーダンス」は、デバイス１００、３００及び／又は５００（図１、図３及び図５Ａ～図５Ｂ）のディスプレイ画面上に任意選択的に表示されるユーザ対話式のグラフィカルユーザインターフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン及びテキスト（例えば、ハイパーリンク）はそれぞれ、任意選択的に、アフォーダンスを構成する。 As used herein, the term "affordance" refers to a user-interactive graphical user interface object that is optionally displayed on a display screen of device 100, 300, and/or 500 (FIGS. 1, 3, and 5A-5B). For example, images (e.g., icons), buttons, and text (e.g., hyperlinks) each, optionally, constitute an affordance.

本明細書において使用するとき、用語「フォーカスセレクタ」は、ユーザが対話しているユーザインターフェースの現在の部分を示す入力要素を指す。カーソル又は他の位置マーカを含む一部の実装例において、カーソルは「フォーカスセレクタ」として機能し、カーソルが特定のユーザインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインターフェース要素）の上にあるときにタッチ感知面（例えば、図３のタッチパッド３５５、又は図４Ｂのタッチ感知面４５１）上で入力（例えば、押圧入力）が検出されたとき、特定のユーザインターフェース要素は、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインターフェース要素との直接的な対話を可能にするタッチスクリーンディスプレイ（例えば、図１Ａでのタッチ感知ディスプレイシステム１１２、又は図４Ａでのタッチスクリーン１１２）を含む一部の実装例では、タッチスクリーン上で検出される接触が「フォーカスセレクタ」としての役割を果たすことにより、入力（例えば、接触による押圧入力）が、タッチスクリーンディスプレイ上の特定のユーザインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインターフェース要素）の位置で検出されると、その特定のユーザインターフェース要素が、検出された入力に従って調節される。一部の実装形態では、タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに（例えば、タブキー又は矢印キーを使用してフォーカスを１つのボタンから別のボタンに移動させることによって）ユーザインターフェースの１つの領域からユーザインターフェースの別の領域にフォーカスが移動され、それらの実装形態では、フォーカスセレクタは、ユーザインターフェースの異なる領域間のフォーカスの移動に従って移動する。フォーカスセレクタによってとられる具体的な形態とは関わりなく、フォーカスセレクタは、全般的に、ユーザの意図したユーザインターフェースとの対話を通信するために（例えば、ユーザが対話することを意図しているユーザインターフェースの要素をデバイスに示すことによって）、ユーザによって制御されるユーザインターフェース要素（又はタッチスクリーンディスプレイ上の接触）である。例えば、押圧入力がタッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で検出されたときの、対応するボタンの上にあるフォーカスセレクタ（例えば、カーソル、接触又は選択ボックス）の位置は、（デバイスのディスプレイ上に示されている他のユーザインターフェース要素ではなく）対応するボタンをユーザがアクティブ化しようとしていることを示すものである。 As used herein, the term "focus selector" refers to an input element that indicates the current portion of a user interface with which a user is interacting. In some implementations involving a cursor or other position marker, the cursor acts as a "focus selector" such that when an input (e.g., a press input) is detected on a touch-sensitive surface (e.g., touchpad 355 in FIG. 3 or touch-sensitive surface 451 in FIG. 4B) while the cursor is over a particular user interface element (e.g., a button, window, slider, or other user interface element), the particular user interface element is adjusted according to the detected input. In some implementations involving a touchscreen display (e.g., touch-sensitive display system 112 in FIG. 1A or touchscreen 112 in FIG. 4A) that allows direct interaction with user interface elements on the touchscreen display, contact detected on the touchscreen acts as a "focus selector" such that when an input (e.g., a press input by contact) is detected at the location of a particular user interface element (e.g., a button, window, slider, or other user interface element) on the touchscreen display, the particular user interface element is adjusted according to the detected input. In some implementations, focus is moved from one region of the user interface to another region of the user interface (e.g., by using a tab key or arrow keys to move focus from one button to another) without corresponding cursor movement or contact movement on the touchscreen display, and in those implementations, the focus selector moves to follow the movement of focus between different regions of the user interface. Regardless of the specific form taken by the focus selector, the focus selector is generally a user interface element (or contact on a touchscreen display) that is controlled by the user to communicate the user's intended interaction with the user interface (e.g., by indicating to the device which element of the user interface the user intends to interact with). For example, the position of the focus selector (e.g., cursor, contact, or selection box) over a corresponding button when a press input is detected on a touch-sensitive surface (e.g., a touchpad or touchscreen) indicates that the user intends to activate the corresponding button (and not another user interface element shown on the device's display).

本明細書及び特許請求の範囲において使用するとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく接触の特性を指す。一部の実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、所定の数の強度サンプル、あるいは所定のイベントに対する（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増加を検出する前若しくは後、及び／又は接触の強度の減少を検出する前若しくは後）所定の時間の間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）に収集された強度サンプルのセットに任意選択的に基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均値（mean value）、接触の強度の平均値（average value）、接触の強度の上位１０％の値、接触の強度の最大値の半分の値、接触の強度の最大値の９０％の値など、のうちの１つ以上に基づく。一部の実施形態では、（例えば、特性強度が経時的な接触の強度の平均であるときに）特性強度を判定するために、接触の持続期間が使用される。一部の実施形態では、操作がユーザによって行われたかを判定するために、特性強度を１つ以上の強度閾値のセットと比較する。例えば、１つ以上の強度閾値のセットは、任意選択的に、第１の強度閾値及び第２の強度閾値を含む。この例では、第１の閾値を超えない特性強度を有する接触の結果として第１の動作が行われ、第１の強度閾値を超えるが第２の強度閾値を超えない特性強度を有する接触の結果として第２の動作が行われ、第２の閾値を超える特性強度を有する接触の結果として第３の動作が行われる。一部の実施形態では、特性強度と１つ以上の閾値との間の比較が、第１の動作又は第２の動作のいずれを行うかを判定するために使用されるのではなく、１つ以上の動作を行うか否か（例えば、各動作を行うのか、又は各動作を行うことを見合わせるのか）を判定するために使用される。 As used herein and in the claims, the term "characteristic intensity" of a contact refers to a characteristic of the contact based on one or more intensities of the contact. In some embodiments, the characteristic intensity is based on a plurality of intensity samples. The characteristic intensity is optionally based on a predetermined number of intensity samples or a set of intensity samples collected during a predetermined time (e.g., 0.05, 0.1, 0.2, 0.5, 1, 2, 5, 10 seconds) for a given event (e.g., after detecting the contact, before detecting lift-off of the contact, before or after detecting the start of movement of the contact, before detecting the end of the contact, before or after detecting an increase in the intensity of the contact, and/or before or after detecting a decrease in the intensity of the contact). The characteristic intensity of the contact is optionally based on one or more of the following: a maximum value of the intensity of the contact, a mean value of the intensity of the contact, an average value of the intensity of the contact, the top 10% of the values of the intensity of the contact, a half value of the maximum value of the intensity of the contact, a 90% value of the maximum value of the intensity of the contact, etc. In some embodiments, the duration of the contact is used to determine the characteristic intensity (e.g., when the characteristic intensity is an average of the intensity of the contact over time). In some embodiments, the characteristic intensity is compared to a set of one or more intensity thresholds to determine whether an operation was performed by the user. For example, the set of one or more intensity thresholds optionally includes a first intensity threshold and a second intensity threshold. In this example, a contact having a characteristic intensity that does not exceed the first threshold results in a first action, a contact having a characteristic intensity that exceeds the first intensity threshold but not the second intensity threshold results in a second action, and a contact having a characteristic intensity that exceeds the second threshold results in a third action. In some embodiments, the comparison between the characteristic intensity and the one or more thresholds is used to determine whether to perform one or more actions (e.g., to perform each action or to forgo performing each action), rather than to determine whether to perform the first action or the second action.

図５Ｃは、複数の強度センサ５２４Ａ～５２４Ｄによる、タッチ感知ディスプレイ画面５０４上での複数の接触５５２Ａ～５５２Ｅの検出を示す。図５Ｃは、追加的に、強度単位に対する、強度センサ５２４Ａ～５２４Ｄの現在の強度測定値を示す強度図を含む。この例では、強度センサ５２４Ａ及び５２４Ｄの強度測定値は、それぞれ、９強度単位であり、強度センサ５２４Ｂ及び５２４Ｃの強度測定値は、それぞれ、７強度単位である。一部の実装例では、合計の強度は、複数の強度センサ５２４Ａ～５２４Ｄの強度測定値の和であり、この例では、３２強度単位である。一部の実施形態では、各接触には、合計の強度の一部分である、それぞれの強度が割り当てられる。図５Ｄは、力の中心５５４からの接触５５２Ａ～５５２Ｅの距離に基づく、接触５５２Ａ～５５２Ｅへの合計の強度の割り当てを示す。この例では、接触５５２Ａ、５５２Ｂ及び５５２Ｅのそれぞれに、合計の強度のうち８強度単位の接触の強度が割り当てられ、接触５５２Ｃ及び５５２Ｄのそれぞれに、合計の強度のうち４強度単位の接触の強度が割り当てられる。より一般的には、一部の実装例では、各接触ｊは、所定の数学関数Ｉｊ＝Ａ・（Ｄｊ／ΣＤｉ）に従って、合計の強度Ａの一部分である、それぞれの強度Ｉｊが割り当てられ、ここで、Ｄｊは、力の中心からそれぞれの接触ｊまでの距離であり、ΣＤｉは、力の中心から全てのそれぞれ接触（例えば、ｉ＝１から最後まで）までの距離の和である。図５Ｃ～図５Ｄを参照して説明した動作は、デバイス１００、３００又は５００と類似若しくは同一の電子デバイスを使用して行うことができる。一部の実施形態では、接触の特性強度は、接触の１つ以上の強度に基づく。一部の実施形態では、強度センサを使用して、単一の特性強度（例えば、単一の接触の単一の特性強度）を判定する。強度図は、表示されるユーザインターフェースの一部分ではないが、読み手のために、図５Ｃ～図５Ｄに含まれていることに留意されたい。 5C illustrates the detection of multiple contacts 552A-552E on the touch-sensitive display screen 504 by multiple intensity sensors 524A-524D. FIG. 5C additionally includes an intensity diagram illustrating the current intensity measurements of intensity sensors 524A-524D versus intensity units. In this example, the intensity measurements of intensity sensors 524A and 524D are each 9 intensity units, and the intensity measurements of intensity sensors 524B and 524C are each 7 intensity units. In some implementations, the total intensity is the sum of the intensity measurements of the multiple intensity sensors 524A-524D, which in this example is 32 intensity units. In some embodiments, each contact is assigned a respective intensity that is a portion of the total intensity. FIG. 5D illustrates the assignment of the total intensity to contacts 552A-552E based on the distance of contacts 552A-552E from the center of force 554. In this example, each of contacts 552A, 552B, and 552E is assigned a contact intensity of 8 intensity units of the total intensity, and each of contacts 552C and 552D is assigned a contact intensity of 4 intensity units of the total intensity. More generally, in some implementations, each contact j is assigned a respective intensity Ij that is a portion of the total intensity A according to a predetermined mathematical function Ij=A·(Dj/ΣDi), where Dj is the distance from the center of force to the respective contact j, and ΣDi is the sum of the distances from the center of force to all respective contacts (e.g., from i=1 to the end). The operations described with reference to Figures 5C-5D can be performed using electronic devices similar or identical to device 100, 300, or 500. In some embodiments, the characteristic intensity of a contact is based on one or more intensities of the contact. In some embodiments, an intensity sensor is used to determine a single characteristic intensity (e.g., a single characteristic intensity of a single contact). Note that the intensity plots are not part of the displayed user interface, but are included in Figures 5C-5D for the reader's convenience.

一部の実施形態では、ジェスチャの一部は、特性強度を判定する目的で特定される。例えば、タッチ感知面は、任意選択的に、接触の強度が増加する、開始位置から遷移して終了位置まで達する連続的なスワイプ接触を受け取る。この例では、終了位置における接触の特性強度は、任意選択的に、連続的なスワイプ接触全体ではなく、そのスワイプ接触の一部分のみ（例えば、終了位置におけるスワイプ接触の部分のみ）に基づく。一部の実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムをそのスワイプ接触の強度に適用する。例えば、平滑化アルゴリズムは任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。一部の状況では、それらの平滑化アルゴリズムは、特性強度を判定する目的で、スワイプ接触の強度の小幅な上昇又は低下を除去する。 In some embodiments, a portion of the gesture is identified for purposes of determining the characteristic intensity. For example, the touch-sensitive surface optionally receives successive swipe contacts that transition from a start position to an end position, where the intensity of the contacts increases. In this example, the characteristic intensity of the contacts at the end position is optionally based on only a portion of the swipe contacts (e.g., only the portion of the swipe contact at the end position) rather than the entire successive swipe contacts. In some embodiments, a smoothing algorithm is optionally applied to the intensity of the swipe contacts before determining the characteristic intensity of the contacts. For example, the smoothing algorithm optionally includes one or more of an unweighted moving average smoothing algorithm, a triangular smoothing algorithm, a median filter smoothing algorithm, and/or an exponential smoothing algorithm. In some circumstances, the smoothing algorithms remove small increases or decreases in the intensity of the swipe contacts for purposes of determining the characteristic intensity.

タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押圧強度閾値、深い押圧強度閾値、及び／又は１つ以上の他の強度閾値などの１つ以上の強度閾値に対して特徴付けする。一部の実施形態では、軽い押圧強度閾値は、物理的なマウスのボタン又はトラックパッドをクリックすることと一般的に関連付けられた操作をデバイスが行う強度に対応する。一部の実施形態では、深い押圧強度閾値は、物理的なマウスのボタン又はトラックパッドをクリックすることと典型的に関連付けられた操作とは異なる操作をデバイスが行う強度に対応する。一部の実施形態では、軽い押圧強度閾値を下回る（例えば、かつ、それを下回ると接触が検出されなくなるわずかな接触検出強度閾値を上回る）特性強度で接触が検出される場合、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値に関連付けられた動作を行うことなく、タッチ感知面上の接触の移動に従って、フォーカスセレクタを移動させる。全般的には、特に明記しない限り、これらの強度閾値は、ユーザインターフェース図の異なるセット間でも一貫している。 The intensity of the contact on the touch-sensitive surface is optionally characterized against one or more intensity thresholds, such as a contact-detection intensity threshold, a light pressure intensity threshold, a deep pressure intensity threshold, and/or one or more other intensity thresholds. In some embodiments, the light pressure intensity threshold corresponds to an intensity at which the device performs an operation typically associated with clicking a physical mouse button or trackpad. In some embodiments, the deep pressure intensity threshold corresponds to an intensity at which the device performs an operation different from an operation typically associated with clicking a physical mouse button or trackpad. In some embodiments, if the contact is detected with a characteristic intensity below the light pressure intensity threshold (e.g., and above a slight contact-detection intensity threshold below which the contact is not detected), the device moves a focus selector in accordance with the movement of the contact on the touch-sensitive surface without performing an action associated with the light pressure intensity threshold or the deep pressure intensity threshold. Generally, unless otherwise specified, these intensity thresholds are consistent across different sets of user interface diagrams.

軽い押圧強度閾値を下回る強度から、軽い押圧強度閾値と深い押圧強度閾値との間の強度への接触の特性強度の増加は、「軽い押圧」入力と呼ばれる場合がある。深い押圧強度閾値を下回る強度から、深い押圧強度閾値を上回る強度への接触の特性強度の増加は、「深い押圧」入力と呼ばれる場合がある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押圧強度閾値との間の強度への接触の特性強度の増加は、タッチ面上の接触の検出と呼ばれる場合がある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれる場合がある。一部の実施形態では、接触検出強度閾値はゼロである。一部の実施形態では、接触検出強度閾値はゼロより大きい。 An increase in the characteristic intensity of a contact from an intensity below the light pressure intensity threshold to an intensity between the light pressure intensity threshold and the deep pressure intensity threshold may be referred to as a "light press" input. An increase in the characteristic intensity of a contact from an intensity below the deep pressure intensity threshold to an intensity above the deep pressure intensity threshold may be referred to as a "deep press" input. An increase in the characteristic intensity of a contact from an intensity below the contact detection intensity threshold to an intensity between the contact detection intensity threshold and the light pressure intensity threshold may be referred to as detecting a contact on the touch surface. A decrease in the characteristic intensity of a contact from an intensity above the contact detection intensity threshold to an intensity below the contact detection intensity threshold may be referred to as detecting a lift-off of the contact from the touch surface. In some embodiments, the contact detection intensity threshold is zero. In some embodiments, the contact detection intensity threshold is greater than zero.

本明細書で説明される一部の実施形態では、１つ以上の操作は、それぞれの押圧入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（又は、複数の接触）で行われるそれぞれの押圧入力を検出したことに応じて行われ、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（又は、複数の接触）の強度の増加を検出したことに少なくとも部分的に基づいて検出される。一部の実施形態では、それぞれの動作は、押圧入力強度閾値を上回る、それぞれの接触の強度の増加（例えば、それぞれの押圧入力の「ダウンストローク」）の検出に応じて行われる。一部の実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増加、及び後続の押圧入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、後続の押圧入力閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押圧入力の「アップストローク」）の検出に応じて行われる。 In some embodiments described herein, one or more operations are performed in response to detecting a gesture including a respective press input or in response to detecting a respective press input made with a respective contact (or multiple contacts), where the respective press input is detected based at least in part on detecting an increase in intensity of the contact (or multiple contacts) above a press input intensity threshold. In some embodiments, the respective action is performed in response to detecting an increase in intensity of the respective contact (e.g., a "downstroke" of the respective press input) above the press input intensity threshold. In some embodiments, the press input includes an increase in intensity of the respective contact above the press input intensity threshold and a subsequent decrease in intensity of the contact below the press input intensity threshold, where the respective action is performed in response to detecting a subsequent decrease in intensity of the respective contact below the press input intensity threshold (e.g., an "upstroke" of the respective press input).

図５Ｅ～図５Ｈは、図５Ｅの軽い押圧強度閾値（例えば、「ＩＴＬ」）未満の強度から図５Ｈの深い押圧強度閾値（例えば、「ＩＴＤ」）を上回る強度に至る、接触５６２の強度の増加に対応する押圧入力を含む、ジェスチャの検出を示す。接触５６２によって行われたジェスチャは、所定の領域５７４に表示されたアプリケーションアイコン５７２Ａ～５７２Ｄを含む、表示されたユーザインターフェース５７０上において、カーソル５７６が、アプリ２に対応するアプリケーションアイコン５７２Ｂ上に表示されているときに、タッチ感知面５６０上で検出される。一部の実施形態では、ジェスチャは、タッチ感知ディスプレイ５０４上で検出される。強度センサは、タッチ感知面５６０上に接触の強度を検出する。デバイスは、接触５６２の強度が、深い押圧強度閾値（例えば、「ＩＴＤ」）を超えてピークに達したと判定する。接触５６２は、タッチ感知面５６０上で維持されている。ジェスチャの検出に応じて、かつジェスチャ中に深い押圧強度閾値（例えば、「ＩＴＤ」）を上回る強度を有する接触５６２に応じて、図５Ｆ～図５Ｈに示すように、アプリ２に関して最近開いた文書の縮小表現５７８Ａ～５７８Ｃ（例えば、サムネイル）を表示する。一部の実施形態では、１つ以上の強度閾値と比較される強度は、接触の特性強度である。接触５６２の強度図は、表示されるユーザインターフェースの一部分ではないが、読み手のために、図５Ｅ～図５Ｈに含まれていることに留意されたい。 5E-5H illustrate detection of a gesture including a press input corresponding to an increase in intensity of contact 562 from an intensity below a light pressure intensity threshold (e.g., "IT L ") in FIG. 5E to an intensity above a deep pressure intensity threshold (e.g., "IT D ") in FIG. 5H. The gesture made by contact 562 is detected on touch-sensitive surface 560 when cursor 576 is displayed over application icon 572B corresponding to app2 on displayed user interface 570, which includes application icons 572A-572D displayed in predetermined region 574. In some embodiments, the gesture is detected on touch-sensitive display 504. An intensity sensor detects the intensity of the contact on touch-sensitive surface 560. The device determines that the intensity of contact 562 peaks above the deep pressure intensity threshold (e.g., "IT D "). Contact 562 is maintained on touch-sensitive surface 560. In response to detecting the gesture, and in response to contact 562 having an intensity above a deep pressure intensity threshold (e.g., "IT D ") during the gesture, display reduced representations 578A-578C (e.g., thumbnails) of recently opened documents for app2, as shown in Figures 5F-5H. In some embodiments, the intensity that is compared to the one or more intensity thresholds is a characteristic intensity of the contact. Note that the intensity diagrams of contact 562 are not part of the displayed user interface, but are included in Figures 5E-5H for the reader's benefit.

一部の実施形態では、表現５７８Ａ～５７８Ｃの表示には、アニメーションを含む。例えば、表現５７８Ａは、最初、図５Ｆに示すように、アプリケーションアイコン５７２Ｂの近くに表示されている。アニメーションが進行するにつれて、図５Ｇに示すように、表現５７８Ａは上方へ移動し、アプリケーションアイコン５７２Ｂの近くに表現５７８Ｂが表示される。次いで、図５Ｈに示すように、表現５７８Ａが上方へ移動し、表現５７８Ａに向けて表現５７８Ｂが上方へ移動し、アプリケーションアイコン５７２Ｂの近くに表現５７８Ｃが表示される。表現５７８Ａ～５７８Ｃは、アイコン５７２Ｂの上方にアレイを形成する。一部の実施形態では、アニメーションは、図５Ｆ～図５Ｇに示すように、接触５６２の強度に応じて進行し、ここで、接触５６２の強度が深い押圧強度閾値（例えば、「ＩＴＤ」）に向けて増加するにつれて、表現５７８Ａ～５７８Ｃが現れ、そして上方へ移動する。一部の実施形態では、アニメーションの進行が基づく強度は、接触の特性強度である。図５Ｅ～図５Ｈを参照して説明した動作は、デバイス１００、３００又は５００と類似する若しくは同一の電子デバイスを使用して行うことができる。 In some embodiments, the display of representations 578A-578C includes an animation. For example, representation 578A is initially displayed near application icon 572B, as shown in FIG. 5F. As the animation progresses, representation 578A moves up and representation 578B is displayed near application icon 572B, as shown in FIG. 5G. Then, representation 578A moves up and representation 578B moves up toward representation 578A and representation 578C is displayed near application icon 572B, as shown in FIG. 5H. Representations 578A-578C form an array above icon 572B. In some embodiments, the animation progresses as a function of the intensity of contact 562, as shown in FIG. 5F-5G, where representations 578A-578C appear and move upward as the intensity of contact 562 increases toward a deep pressure intensity threshold (e.g., "IT D "). In some embodiments, the intensity on which the animation progression is based is a characteristic intensity of the contact. The operations described with reference to FIGS. 5E-5H may be performed using electronic devices similar to or identical to devices 100, 300, or 500.

一部の実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある不測の入力を回避するために、強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との所定の関連性を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりもＸ強度単位低いか、又は、ヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％若しくは何らかの妥当な比率である）。したがって、一部の実施形態では、押圧入力は、押圧入力強度閾値を上回る対応する接触の強度の増加、及び後続の、押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、対応する動作は、そのヒステリシス強度閾値を下回る、後続の対応する接触の強度の減少（例えば、対応する押圧入力の「アップストローク」）を検出したことに応じて、行われる。同様に、一部の実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増加、及び任意選択的に、後続するヒステリシス強度以下の強度への接触の強度の減少を検出する場合にのみ検出され、対応する動作は、その押圧入力の検出（例えば、状況に応じて、接触の強度の増加、又は接触の強度の減少）に応じて、行われる。 In some embodiments, the device employs intensity hysteresis to avoid accidental inputs, sometimes referred to as "jitter," and the device defines or selects a hysteresis intensity threshold having a predetermined relationship to the press input intensity threshold (e.g., the hysteresis intensity threshold is X intensity units below the press input intensity threshold, or the hysteresis intensity threshold is 75%, 90%, or some reasonable percentage of the press input intensity threshold). Thus, in some embodiments, the press input includes a corresponding increase in the intensity of the contact above the press input intensity threshold and a subsequent decrease in the intensity of the contact below a hysteresis intensity threshold corresponding to the press input intensity threshold, and a corresponding action is taken in response to detecting a subsequent corresponding decrease in the intensity of the contact below the hysteresis intensity threshold (e.g., an "upstroke" of the corresponding press input). Similarly, in some embodiments, a pressure input is detected only when the device detects an increase in the intensity of the contact from an intensity below the hysteresis intensity threshold to an intensity above the pressure input intensity threshold, and optionally a subsequent decrease in the intensity of the contact to an intensity below the hysteresis intensity, and a corresponding action is taken in response to detection of the pressure input (e.g., an increase in the intensity of the contact or a decrease in the intensity of the contact, as the case may be).

説明を容易にするために、押圧入力強度閾値に関連付けられた押圧入力に応じて、又はその押圧入力を含むジェスチャに応じて行われる動作の説明は、押圧入力強度閾値を上回る接触の強度の増加、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増加、押圧入力強度閾値を下回る接触の強度の減少、及び／又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じて、任意選択的にトリガされる。加えて、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて動作が行われるとして説明される例では、その動作は、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る、接触の強度の減少を検出したことに応じて、任意選択的に行われる。 For ease of explanation, an action is described as being performed in response to a press input associated with a press input intensity threshold or in response to a gesture including the press input, optionally triggered in response to detecting any of an increase in the intensity of the contact above the press input intensity threshold, an increase in the intensity of the contact from an intensity below a hysteresis intensity threshold to an intensity above the press input intensity threshold, a decrease in the intensity of the contact below the press input intensity threshold, and/or a decrease in the intensity of the contact below a hysteresis intensity threshold corresponding to the press input intensity threshold. Additionally, in an example where an action is described as being performed in response to detecting a decrease in the intensity of the contact below a press input intensity threshold, the action is optionally performed in response to detecting a decrease in the intensity of the contact below a hysteresis intensity threshold corresponding to and lower than the press input intensity threshold.

本明細書で使用するとき、「インストール済みアプリケーション」とは、電子デバイス（例えば、デバイス１００、３００、及び／又は５００）にダウンロードされており、かつ、そのデバイス上で起動される（例えば、開かれた状態になる）準備が整っているソフトウェアアプリケーションを指す。一部の実施形態では、ダウンロードされたアプリケーションは、ダウンロードされたパッケージからプログラム部分を抽出して、その抽出部分をコンピュータシステムのオペレーティングシステムと統合するインストールプログラムによって、インストール済みアプリケーションになる。 As used herein, an "installed application" refers to a software application that has been downloaded to an electronic device (e.g., devices 100, 300, and/or 500) and is ready to be launched (e.g., opened) on the device. In some embodiments, a downloaded application becomes an installed application by an installation program that extracts program portions from a downloaded package and integrates the extracted portions with the computer system's operating system.

本明細書で使用するとき、用語「開いているアプリケーション」又は「実行中のアプリケーション」は、（例えば、デバイス／グローバル内部状態１５７及び／又はアプリケーション内部状態１９２の一部としての）状態情報が保持されている、ソフトウェアアプリケーションを指す。開いている又は実行中のアプリケーションは、任意選択的に、以下の種類のアプリケーションのうちいずれか１つである。
●そのアプリケーションが使用されているデバイスのディスプレイ画面上に、現時点で表示されている、アクティブなアプリケーション、
●現時点で表示されていないが、そのアプリケーションに関する１つ以上の処理が１つ以上のプロセッサによって処理されている、バックグラウンドアプリケーション（又はバックグラウンド処理）、及び
●稼働していないが、メモリ（それぞれ、揮発性及び／又は不揮発性）内に記憶された、そのアプリケーションの実行を再開するために使用することができる状態情報を有する、中止又は休止状態のアプリケーション。 As used herein, the terms "open application" or "running application" refer to a software application for which state information is maintained (e.g., as part of device/global internal state 157 and/or application internal state 192). An open or running application is, optionally, any one of the following types of applications:
● The active application currently displayed on the display screen of the device on which the application is being used;
- Background applications (or background processes), which are not currently displayed but one or more processes related to the application are being processed by one or more processors; and - Suspended or hibernated applications, which are not running but have state information stored in memory (respectively volatile and/or non-volatile) that can be used to resume execution of the application.

本明細書で使用するとき、用語「閉じているアプリケーション」は、状態情報が保持されていないソフトウェアアプリケーションを指す（例えば、閉じているアプリケーションに関する状態情報はデバイスのメモリに記憶されていない）。したがって、アプリケーションを閉じることは、そのアプリケーションに関するアプリケーション処理を停止及び／又は除去すること、並びに、そのアプリケーションに関する状態情報をデバイスのメモリから除去することを含む。一般的には、第１のアプリケーション中に第２のアプリケーションを開いても、第１のアプリケーションが閉じられることはない。第２のアプリケーションが表示され、第１のアプリケーションの表示が中止されると、第１のアプリケーションはバックグラウンドアプリケーションになる。 As used herein, the term "closed application" refers to a software application for which no state information is retained (e.g., no state information for a closed application is stored in the device's memory). Thus, closing an application includes stopping and/or removing application processing for that application, as well as removing state information for that application from the device's memory. Generally, opening a second application during a first application does not close the first application. Once the second application is displayed and the first application ceases to be displayed, the first application becomes a background application.

ここで、ポータブル多機能デバイス１００、デバイス３００又はデバイス５００などの電子デバイス上で実装されるユーザインターフェース（「ＵＩ」）及び関連処理の実施形態に着目する。 Attention is now directed to embodiments of user interfaces ("UI") and associated processes implemented on an electronic device such as portable multifunction device 100, device 300 or device 500.

図６Ａ～図６ＡＦは、一部の実施形態による、（例えば、メッセージングアプリケーションから）ライブ通信セッションを開始し、セッションに参加するための例示的なユーザインターフェースを示す。これらの図のユーザインターフェースは、図７Ａ～図７Ｆの処理を含む後述する処理を示すために使用される。 FIGS. 6A-6AF illustrate example user interfaces for initiating and joining a live communication session (e.g., from a messaging application) according to some embodiments. The user interfaces in these figures are used to illustrate the processes described below, including the processes of FIGS. 7A-7F.

図６Ａは、タッチ感知ディスプレイ６０２を備えるデバイス６００を示す。一部の実施形態では、デバイス６００は、デバイス１００、３００、及び５００の１つ以上の特徴を含む。一部の実施形態では、デバイス６００は、カメラ６０３も含み、カメラは、少なくとも、光スペクトルの一部分（例えば、可視光、赤外光、又は紫外光）を表すデータをキャプチャできる画像センサを含む。一部の実施形態では、カメラ６０３は、複数の画像センサ及び／又は他の種類のセンサを含む。感知された光を表すデータをキャプチャするのに加えて、一部の実施形態では、カメラ６０３は、深度データなどの他の種類のデータをキャプチャすることができる。例えば、一部の実施形態では、カメラ６０３は、スペックル、飛行時間、視差又はフォーカスに基づく技術を用いて、深度データもキャプチャする。デバイス６００がカメラ６０３を使用してキャプチャする画像データは、カメラの視野内のシーンについての光スペクトルの一部分に対応するデータを含む。加えて、一部の実施形態では、キャプチャされる画像データは、光データについての深度データも含む。一部の他の実施形態では、キャプチャされる画像データは、光スペクトルの一部分のデータについての深度データを判定又は生成するのに十分なデータを含む。 6A illustrates a device 600 with a touch-sensitive display 602. In some embodiments, device 600 includes one or more features of devices 100, 300, and 500. In some embodiments, device 600 also includes a camera 603, which includes an image sensor capable of capturing data representative of at least a portion of the light spectrum (e.g., visible light, infrared light, or ultraviolet light). In some embodiments, camera 603 includes multiple image sensors and/or other types of sensors. In addition to capturing data representative of the sensed light, in some embodiments, camera 603 can capture other types of data, such as depth data. For example, in some embodiments, camera 603 also captures depth data using speckle, time-of-flight, parallax, or focus-based techniques. Image data that device 600 captures using camera 603 includes data corresponding to a portion of the light spectrum for a scene within the camera's field of view. In addition, in some embodiments, the captured image data also includes depth data for the light data. In some other embodiments, the captured image data includes sufficient data to determine or generate depth data for the data in a portion of the light spectrum.

一部の例では、電子デバイス６００は、赤外線カメラ、サーモグラフィーカメラ、又はそれらの組み合わせなどの深度カメラを（例えば、カメラ６０３の一部として）含む。一部の例では、デバイスは、赤外線フラッドライト、構造化光プロジェクタ、又はそれらの組み合わせなどの発光装置（例えば、光プロジェクタ）を更に含む。発光装置は、任意選択的に、可視光カメラ及び深度カメラ（例えば、ＩＲカメラ）による画像のキャプチャ中に被写体を照明するために使用され、深度カメラ及び可視光カメラからの情報は、可視光カメラによってキャプチャされる被写体の異なる部分の深度マップを判定するために使用される。一部の実施形態では、深度マップ（例えば、深度マップ画像）は、ビューポイント（例えば、カメラ）からシーン中のオブジェクトまでの距離に関する情報（例えば、値）を含む。深度マップの一実施形態では、各深度ピクセルは、ビューポイントのＺ軸において対応する２次元ピクセルが配置される位置を定義する。一部の例では、深度マップはピクセルで構成され、各ピクセルは値（例えば、０～２５５）によって定義される。例えば、「０」値は、「３次元」シーンにおいて最も離れた位置に配置されるピクセルを表し、「２５５」値は、「３次元」シーンにおいてビューポイント（例えば、カメラ）の最も近くに配置されるピクセルを表す。他の例では、深度マップは、シーン中のオブジェクトとビューポイントの平面との間の距離を表す。）一部の実施形態では、深度マップは、深度カメラからのビューにおける関心のあるオブジェクトの様々な特徴の相対深度（例えば、ユーザの顔の目、鼻、口、耳の相対深度）に関する情報を含む。一部の実施形態では、深度マップは、関心のあるオブジェクトのｚ方向の輪郭をデバイスが判定することを可能にする情報を含む。一部の実施形態では、本明細書で説明する照明効果は、背面画像用の２つのカメラ（例えば、２つの可視光カメラ）からの視差情報と、前面画像（例えば、自撮り画像）用の可視光カメラからの画像データに合成された深度カメラからの深度情報と、を用いて表示される。一部の実施形態では、２つの可視光カメラを使用して深度情報を判定するときと、深度カメラを使用して深度情報を判定するときとで、同じユーザインターフェースが使用され、照明効果を生成するときに使用する情報を全く異なる技術を用いて判定するときでも、一貫したエクスペリエンスがユーザにもたらされる。一部の実施形態では、照明効果の１つを適用してカメラユーザインターフェースを表示している間に、デバイスは、カメラ切り替えアフォーダンスの選択を検出し、前面カメラ（例えば、深度カメラ及び可視光カメラ）から背面カメラ（例えば、互いに離間した２つの可視光カメラ）（又はその逆）に切り替える一方で、照明効果を適用するためのユーザインターフェースコントローラの表示を維持し、前面カメラの視野の表示を背面カメラの視野に置き換える（又はその逆）。 In some examples, the electronic device 600 includes a depth camera (e.g., as part of the camera 603), such as an infrared camera, a thermographic camera, or a combination thereof. In some examples, the device further includes a light emitting device (e.g., a light projector), such as an infrared floodlight, a structured light projector, or a combination thereof. The light emitting device is optionally used to illuminate the subject during capture of the image by the visible light camera and the depth camera (e.g., an IR camera), and information from the depth camera and the visible light camera is used to determine a depth map of different portions of the subject captured by the visible light camera. In some embodiments, the depth map (e.g., a depth map image) includes information (e.g., values) about the distance from the viewpoint (e.g., a camera) to objects in the scene. In one embodiment of the depth map, each depth pixel defines a location in the Z-axis of the viewpoint where a corresponding two-dimensional pixel is located. In some examples, the depth map is composed of pixels, each pixel defined by a value (e.g., 0 to 255). For example, a value of "0" represents a pixel located farthest away in a "3D" scene, and a value of "255" represents a pixel located closest to the viewpoint (e.g., camera) in a "3D" scene. In other examples, the depth map represents the distance between an object in a scene and the plane of the viewpoint.) In some embodiments, the depth map includes information about the relative depth of various features of an object of interest in a view from the depth camera (e.g., the relative depth of the eyes, nose, mouth, and ears of a user's face). In some embodiments, the depth map includes information that allows the device to determine the z-direction contour of the object of interest. In some embodiments, the lighting effects described herein are displayed using disparity information from two cameras (e.g., two visible light cameras) for the rear image and depth information from the depth camera combined with image data from a visible light camera for the front image (e.g., a selfie image). In some embodiments, the same user interface is used when determining depth information using two visible light cameras and when determining depth information using a depth camera, providing a consistent experience to the user even when completely different techniques are used to determine the information used in generating the lighting effects. In some embodiments, while applying one of the lighting effects and displaying the camera user interface, the device detects a selection of a camera switching affordance and switches from the front camera (e.g., a depth camera and a visible light camera) to the rear camera (e.g., two visible light cameras spaced apart from each other) (or vice versa), while maintaining the display of the user interface controller for applying the lighting effects, and replacing the display of the front camera's field of view with the rear camera's field of view (or vice versa).

図６Ａに示すように、デバイス６００は、メッセージングアプリケーションのメッセージングユーザインターフェース６０４を表示する。メッセージングユーザインターフェース６０４は、３人以上の参加者を含む参加者グループ（「Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍ」）間のメッセージ会話におけるメッセージ６０８Ａ～６０８Ｄを含むメッセージ領域６０６を含む。 As shown in FIG. 6A, the device 600 displays a messaging user interface 604 of a messaging application. The messaging user interface 604 includes a message area 606 that includes messages 608A-608D in a message conversation between a group of participants ("The Dream Team") that includes three or more participants.

メッセージングユーザインターフェース６０４を表示している間に、デバイス６００は、ライブ通信セッションがグループＴｈｅ Ｄｒｅａｍ Ｔｅａｍの参加者に利用可能であって、ライブ通信セッションがアクティブであることを示すデータ（例えば、ライブ通信セッションに参加するための招待）を受信する。一部の実施形態では、ライブ通信セッションは、オーディオ通信セッション又はオーディオ／ビデオ通信セッションである。 While displaying the messaging user interface 604, the device 600 receives data (e.g., an invitation to join the live communication session) indicating that a live communication session is available to participants of the group The Dream Team and that the live communication session is active. In some embodiments, the live communication session is an audio communication session or an audio/video communication session.

ライブ通信セッションがアクティブであることを示すデータの受信に応じて、デバイス６００は、ライブ通信セッションがアクティブであることを示す通知を表示する。図６Ｂに示すように、通知は、参加者Ｐａｂｌｏからのメッセージとして、Ｐａｂｌｏがライブ通信セッションを開始したことを示す通知６１４をメッセージ領域６０６に含む。通知６１４は、テキスト「ビデオ」及びビデオカメラアイコンによって、ライブ通信セッションの種類を示す。通知６１４はまた、ライブ通信セッションにおける現在アクティブな参加者の数（「１人アクティブ」）も示す。一部の実施形態では、通知６１４は、ライブ通信セッションにおいて現在アクティブな参加者の１人以上の名前を示す。通知６１４はライブ通信参加アフォーダンス６１４Ａをも含み、同アフォーダンスは、選択されると、通知６１４によって表されるライブ通信セッションに参加する処理をデバイス６００に開始させる。ライブ通信セッションに参加する技術については、以下でより詳細に説明する。 In response to receiving the data indicating that the live communication session is active, the device 600 displays a notification indicating that the live communication session is active. As shown in FIG. 6B, the notification includes a notification 614 in the message area 606 as a message from participant Pablo indicating that Pablo has started a live communication session. The notification 614 indicates the type of live communication session with the text "Video" and a video camera icon. The notification 614 also indicates the number of participants currently active in the live communication session ("1 active"). In some embodiments, the notification 614 indicates one or more names of participants currently active in the live communication session. The notification 614 also includes a live communication join affordance 614A that, when selected, causes the device 600 to begin a process of joining the live communication session represented by the notification 614. Techniques for joining a live communication session are described in more detail below.

任意選択的に、ライブ通信セッションがアクティブであることを示すデータの受信に応じて、デバイス６００は、ライブ通信セッションがアクティブであることを示すオーディオ出力を生成する。一部の実施形態では、オーディオ出力は、メッセージングアプリケーションに関連するオーディオ出力（例えば、受信メッセージ通知）、及び電話アプリケーションに関連するオーディオ出力（例えば、着信音）とは異なる。一部の実施形態では、オーディオ出力は、メッセージ通知に関連するオーディオと、着信通知に関連するオーディオとのハイブリッドである。一部の実施形態では、オーディオ出力は、通話及びメッセージ通知の両方のオーディオ出力とオーディオ特性（例えば、共通の音質、音色、リズム）を共有する。 Optionally, in response to receiving data indicating that a live communication session is active, device 600 generates an audio output indicating that a live communication session is active. In some embodiments, the audio output is distinct from audio output associated with a messaging application (e.g., an incoming message notification) and audio output associated with a phone application (e.g., a ringtone). In some embodiments, the audio output is a hybrid of audio associated with a message notification and audio associated with an incoming call notification. In some embodiments, the audio output shares audio characteristics (e.g., a common tone quality, timbre, rhythm) with the audio output of both the phone call and the message notification.

ライブ通信セッションがアクティブであることを示すデータの受信に応じて、デバイス６００は、ライブ通信アフォーダンス６１０をも表示する。一部の実施形態では、ライブ通信アフォーダンス６１０は、ライブ通信セッションが開始される前に、（例えば、グレーアウト状態で）表示され、ライブ通信セッションが開始されると、視覚的に強調（例えば、ハイライト）又は修正（例えば、非グレーアウト状態に）される。一部の実施形態では、ライブ通信アフォーダンス６１０又はオプションアフォーダンス６１２の選択によって、ライブ通信セッションに参加する処理が開始する。一部の実施形態では、通知６１４及び／又はライブ通信アフォーダンス６１０は、（例えば、ユーザが恐らく既に注目しているアクティブなメッセージ会話に表示されるので、）オーディオ及び／又は触覚出力（例えば、電話着信出力）を伴わずに表示される。 In response to receiving data indicating that a live communication session is active, device 600 also displays live communication affordance 610. In some embodiments, live communication affordance 610 is displayed (e.g., grayed out) before the live communication session is initiated and is visually emphasized (e.g., highlighted) or modified (e.g., ungrayed) once the live communication session is initiated. In some embodiments, selection of live communication affordance 610 or option affordance 612 initiates a process to join the live communication session. In some embodiments, notification 614 and/or live communication affordance 610 are displayed without audio and/or haptic output (e.g., incoming phone call output) (e.g., because they are displayed in an active messaging conversation that the user is likely already focusing on).

図６Ｃに示すように、メッセージ領域６０６内のメッセージ会話に追加メッセージが加えられると、通知６１４は、メッセージ領域６０６の異なる位置へと上に移動する。一部の実施形態では、デバイス６００は、メッセージ領域外の位置に通知６１４を移動させる（例えば、通知６１４は、メッセージから、メッセージ領域６０６外の、ディスプレイ６０２の上部のバナーに移行する）。 As shown in FIG. 6C, as additional messages are added to a message conversation in the messages area 606, the notification 614 moves up to a different location in the messages area 606. In some embodiments, the device 600 moves the notification 614 to a location outside of the messages area (e.g., the notification 614 transitions from a message to a banner at the top of the display 602, outside of the messages area 606).

一部の実施形態では、デバイス６００は、通知再配置基準が満たされたことに応じて、通知６１４を移動させる。一部の実施形態では、通知再配置基準は、所定時間が経過すること（例えば、通知６１４が表示された後に経過すること）、メッセージングユーザインターフェース６０４の表示を中止すること、メッセージングアプリケーションが閉じられること、及び／又は、（例えば、新規の着信メッセージがメッセージ領域６０６を占めることによって）通知６１４の全体又は通知６１４の一部分がメッセージ領域６０６内で隠されること、からなる群から選択される１つ以上の基準を含む。一部の実施形態では、通知６１４は、ディスプレイ６０２の下部、右側、又は左側に移動される。一部の実施形態では、通知６１４は、ライブ通信セッションが利用可能であることを示すデータの受信に直接応じて、ディスプレイ６１２の上部付近に表示されるバナー通知である。 In some embodiments, the device 600 moves the notification 614 in response to a notification relocation criterion being met. In some embodiments, the notification relocation criterion includes one or more criteria selected from the group consisting of a predetermined time passing (e.g., passing after the notification 614 is displayed), ceasing to display the messaging user interface 604, the messaging application being closed, and/or the entire notification 614 or a portion of the notification 614 being obscured within the message area 606 (e.g., by a new incoming message taking over the message area 606). In some embodiments, the notification 614 is moved to the bottom, right, or left of the display 602. In some embodiments, the notification 614 is a banner notification that is displayed near the top of the display 612 in direct response to receiving data indicating that a live communication session is available.

一部の実施形態では、デバイス６００は、ライブ通信セッションへの参加のリマインダを示すリマインダデータ（例えば、参加者によって会話中に又は所定時間後に送られるリマインダ）を受信する。図６Ｄに示すように、ライブ通信セッションへの参加のリマインダを示すデータの受信に応じて、デバイス６００は、全画面通知６１６を表示し、オーディオ出力６１８を出力する。一部の実施形態では、オーディオ出力６１８は、メッセージングアプリケーションに関連するオーディオ出力（例えば、受信メッセージ通知）、及び電話アプリケーションに関連するオーディオ出力（例えば、着信音）とは異なる。一部の実施形態では、オーディオ出力６１８は、メッセージ通知に関連するオーディオと、着信通知に関連するオーディオとのハイブリッドである。一部の実施形態では、オーディオ出力６１８は、電話アプリケーションに関連するオーディオ出力（例えば、着信音）よりも短く、メッセージングアプリケーションに関連するオーディオ出力（例えば、受信メッセージ通知）よりも長い。一部の実施形態では、着信音は、対応するオーディオ出力の複数回の再現を含み、オーディオ出力６１８は、対応するオーディオ出力の一回の再現である。一部の実施形態では、オーディオ出力６１８は、通話及びメッセージ通知の両方のオーディオ出力とオーディオ特性（例えば、共通の音質、音色、リズム）を共有する。一部の実施形態では、デバイス６００は、触覚出力を出力する。図６Ｄに示すように、全画面通知６１６は、グループの名称（「ＴＨＥ ＤＲＥＡＭ ＴＥＡＭ」）と、ライブ通信セッションにおける現在アクティブな参加者の名前（「ＰＡＢＬＯ、ＳＴＥＰＨＥＮ」）と、ライブ通信セッションを最初に開始した又はリマインダを発した参加者の名前（「ＰＡＢＬＯ」）と、を含む。一部の実施形態では、全画面通知６１６は、ライブ通信セッションに参加するように招待された参加者の名前を（例えば、グループに加わった順序に従って）含む。全画面通知６１６はまた、ライブ通信セッションに参加するための回答アフォーダンス６２０（例えば、ライブ通信セッションに直ちに参加する、又はライブ通信セッションに参加するためのオプションを含むメニューを表示する）と、全画面通知６１６を拒否するための「後で」アフォーダンス６２２と、メッセージングユーザインターフェース６０４に戻ったり、Ｄｒｅａｍ Ｔｅａｍグループにメッセージを送ったりするメッセージアフォーダンス６２４と、をも含む。全画面通知はまた、（例えば、ユーザが参加すると、ライブ通信セッションにおける他の参加者が見るであろうユーザの画像のプレビューとしての）画像（例えば、カメラ６０３からのデバイス６００のユーザのビデオ）をも含む。 In some embodiments, device 600 receives reminder data (e.g., a reminder sent by a participant during a conversation or after a predetermined time) indicating a reminder to join the live communication session. As shown in FIG. 6D, in response to receiving the data indicating the reminder to join the live communication session, device 600 displays a full screen notification 616 and outputs audio output 618. In some embodiments, audio output 618 is distinct from audio output associated with a messaging application (e.g., an incoming message notification) and audio output associated with a telephony application (e.g., a ringtone). In some embodiments, audio output 618 is a hybrid of audio associated with a message notification and audio associated with an incoming call notification. In some embodiments, audio output 618 is shorter than audio output associated with a telephony application (e.g., a ringtone) and longer than audio output associated with a messaging application (e.g., an incoming message notification). In some embodiments, a ringtone includes multiple reproductions of a corresponding audio output, and audio output 618 is a single reproduction of a corresponding audio output. In some embodiments, the audio output 618 shares audio characteristics (e.g., common tone quality, timbre, rhythm) with the audio output of both the call and message notifications. In some embodiments, the device 600 outputs a haptic output. As shown in FIG. 6D, the full screen notification 616 includes the name of the group ("THE DREAM TEAM"), the names of the currently active participants in the live communication session ("PABLO, STEPHEN"), and the name of the participant who originally initiated the live communication session or issued a reminder ("PABLO"). In some embodiments, the full screen notification 616 includes the names of the participants invited to join the live communication session (e.g., according to the order in which they joined the group). The full-screen notification 616 also includes an answer affordance 620 to join the live communication session (e.g., join the live communication session immediately or display a menu with options to join the live communication session), a "later" affordance 622 to decline the full-screen notification 616, and a message affordance 624 to return to the messaging user interface 604 or send a message to the Dream Team group. The full-screen notification also includes an image (e.g., video of the user of the device 600 from the camera 603) (e.g., as a preview of the image of the user that other participants in the live communication session will see if the user joins).

図６Ｄに示すように、デバイス６００は、「後で」アフォーダンス６２２の選択に対応するユーザ入力６５０Ａ（例えば、タップ）を受ける（例えば、検出する）。図６Ｅに示すように、ユーザ入力６５０Ａに応じて、デバイス６００は、全画面通知６１６の表示を中止し、メッセージングユーザインターフェース６０４に戻る。 As shown in FIG. 6D, the device 600 receives (e.g., detects) a user input 650A (e.g., a tap) corresponding to a selection of the "later" affordance 622. As shown in FIG. 6E, in response to the user input 650A, the device 600 ceases displaying the full-screen notification 616 and returns to the messaging user interface 604.

図６Ｅに示すように、デバイス６００は、オプションアフォーダンス６１２の選択に対応するユーザ入力６５０Ｂ（例えば、タップ）を受ける（例えば、検出する）。ユーザ入力６５０Ｂを受けたことに応じて、デバイス６００は、オーディオアフォーダンス６２６Ａ、ビデオ参加アフォーダンス６２６Ｂ、及びグループ詳細アフォーダンス６２６Ｃを含むようにメッセージングユーザインターフェース６０４のヘッダを拡張する。 6E, the device 600 receives (e.g., detects) a user input 650B (e.g., a tap) corresponding to a selection of the option affordance 612. In response to receiving the user input 650B, the device 600 expands the header of the messaging user interface 604 to include an audio affordance 626A, a video join affordance 626B, and a group details affordance 626C.

図６Ｆに示すように、デバイス６００は、ビデオ参加アフォーダンス６２６Ｂの選択に対応するユーザ入力６５０Ｃ（例えば、タップ）を受ける（例えば、検出する）。一部の実施形態では、デバイス６００は、（例えば、追加入力を必要とせずに）ユーザ入力６５０Ｂを受けたことに直接応じて、ライブ通信セッションに参加する。一部の実施形態では、デバイス６００はライブ通信セッションに参加し、ビデオ及びオーディオの両方を送信する。一部の実施形態では、デバイス６００はライブ通信セッションに参加し、（ビデオを送信せずに）オーディオのみを送信する。一部の実施形態では、オーディオアフォーダンス６２６Ａの選択に応じて、デバイス６００は、オーディオのみでライブ通信セッションに参加するか、グループ参加者との別個の電話会議通話を開始する。 As shown in FIG. 6F, device 600 receives (e.g., detects) user input 650C (e.g., a tap) corresponding to selection of video join affordance 626B. In some embodiments, device 600 joins the live communication session in direct response to receiving user input 650B (e.g., without requiring additional input). In some embodiments, device 600 joins the live communication session and transmits both video and audio. In some embodiments, device 600 joins the live communication session and transmits only audio (without transmitting video). In some embodiments, in response to selection of audio affordance 626A, device 600 joins the live communication session audio-only or initiates a separate conference call with group participants.

図６Ｇに示すように、ユーザ入力６５０Ｃを受けたことに応じて、デバイス６００は、ライブ通信アプリケーションのライブ通信インターフェース６２８を表示する。ライブ通信インターフェース６２８は、グループの表示（「ＴＨＥ ＤＲＥＡＭ ＴＥＡＭ」）、画像（例えば、デバイス６００の前面のカメラ（例えば、カメラ６０３）からのデバイス６００のユーザのビデオ）、ライブ通信セッションで現在アクティブな参加者の表示（「ＰＡＢＬＯ、ＳＴＥＰＨＥＮ」）、ライブ通信セッションを開始した参加者の表示（「ＰＡＢＬＯからのビデオ通話」）、及び通話制御メニュー６３０を含む。通話コントロールメニュー６３０は、ハンドルアフォーダンス６３１、効果アフォーダンス６３２、通話アフォーダンス６３４、及びメニューアフォーダンス６３６、及びを含む。 6G, in response to receiving user input 650C, device 600 displays a live communication interface 628 of a live communication application. Live communication interface 628 includes a representation of the group ("THE DREAM TEAM"), an image (e.g., video of the user of device 600 from a camera (e.g., camera 603) on the front of device 600), a representation of the participant currently active in the live communication session ("PABLO, STEPHEN"), a representation of the participant who initiated the live communication session ("Video Call from PABLO"), and a call control menu 630. Call control menu 630 includes a handle affordance 631, an effect affordance 632, a call affordance 634, and a menu affordance 636.

図６Ｇに示すように、デバイス６００は、メニューアフォーダンス６３６上のユーザ入力６５０Ｄを受ける（例えば、検出する）。図６Ｈに示すように、ユーザ入力６５０Ｄに応じて、デバイス６００は、ライブ通信セッションに関する追加情報及びコントローラを表示するように通話コントロールメニュー６３０を拡張する。一部の実施形態では、デバイス６００は、ハンドルアフォーダンス６３１付近から始まる上方向スワイプに応じて、通話コントロールメニュー６３０を拡張する。通話コントロールメニュー６３０は、拡張されると、オーディオオン／オフアフォーダンス６３８、オーディオソースメニューアフォーダンス６４０、ビデオオン／オフアフォーダンス６４２、グループ名称６４４（グループ内の参加者の数の表示を伴う）、グループメッセージアフォーダンス６４６、グループ参加者に対応するアフォーダンス６４８Ａ～６４８Ｅを含むリスト６４８、及び参加者追加アフォーダンス６５２を更に含む。一部の実施形態では、グループメッセージアフォーダンス６４６の選択を受けたことに応じて、デバイス６００は、グループ参加者にメッセージを送るためのメッセージングユーザインターフェース６０４（例えば、図６Ｆ）を起動及び／又は表示する。 As shown in FIG. 6G, the device 600 receives (e.g., detects) a user input 650D on the menu affordance 636. As shown in FIG. 6H, in response to the user input 650D, the device 600 expands the call control menu 630 to display additional information and controls related to the live communication session. In some embodiments, the device 600 expands the call control menu 630 in response to an upward swipe beginning near the handle affordance 631. When expanded, the call control menu 630 further includes an audio on/off affordance 638, an audio source menu affordance 640, a video on/off affordance 642, a group name 644 (with an indication of the number of participants in the group), a group message affordance 646, a list 648 including affordances 648A-648E corresponding to group participants, and an add participant affordance 652. In some embodiments, in response to receiving a selection of the group message affordance 646, the device 600 launches and/or displays a messaging user interface 604 (e.g., FIG. 6F) for sending a message to group participants.

図６Ｈに示すように、リスト６４８の参加者のアフォーダンスは、ライブ通信セッションに関するそれぞれの参加者の通信状態の表示を含む。表現６４８Ａは、参加者Ｐａｂｌｏがライブ通信セッションに接続しており、ビデオデータ（例えば、ビデオ及びオーディオデータを含むライブメディアストリーム）を提供していることを示す。表現６４８Ｂは、参加者Ｓｔｅｐｈｅｎが接続しており、オーディオデータ（例えば、ビデオなし）を提供していることを示す。表現６４８Ｃ及び６４８Ｄは、参加者Ｍａｒｃｅｌ及びＡｌｌｉｓｏｎがそれぞれ、ライブ通信セッションに接続していない（例えば、ビデオ及びオーディオデータを提供していない）ことを示す。接続していない参加者は、ライブ通信セッションに一度も参加したことがないか、ライブ通信セッションに従前に参加していたがセッションから退出したかのいずれかである。例示的な参加者通信状態の種類としては、オーディオ専用（例えば、参加者はオーディオのみを用いた通信である）と、ビデオ（例えば、参加者は、ビデオとオーディオを用いて通話している）と、ビデオの一時停止（例えば、参加者のビデオは一時停止している）と、未復号ビデオ（例えば、遅延問題、ビデオストリームの形式の問題などのために、参加者のビデオストリームを処理することができない）と、退出（例えば、参加者は、ライブ通信セッションから退出した）と、参加待ち（例えば、参加者はライブ通信セッションに招待されたが、ライブ通信セッションに未だ参加していない）と、が挙げられる。 As shown in FIG. 6H, the affordances of the participants in list 648 include an indication of the communication status of each participant with respect to the live communication session. Representation 648A indicates that participant Pablo is connected to the live communication session and is providing video data (e.g., a live media stream including video and audio data). Representation 648B indicates that participant Stephen is connected and is providing audio data (e.g., no video). Representations 648C and 648D indicate that participants Marcel and Allison, respectively, are not connected to the live communication session (e.g., are not providing video or audio data). Participants who are not connected have either never participated in the live communication session or previously participated in the live communication session but have left the session. Exemplary participant communication state types include audio only (e.g., a participant is communicating using audio only), video (e.g., a participant is talking using video and audio), video paused (e.g., a participant's video is paused), undecoded video (e.g., a participant's video stream cannot be processed due to latency issues, video stream format issues, etc.), leaving (e.g., a participant has left a live communication session), and waiting to join (e.g., a participant has been invited to a live communication session but has not yet joined the live communication session).

一部の実施形態では、ライブビデオ通信の参加者は、通信セッションに現在接続しているグループ参加者と、ライブビデオ通信セッションに現在接続していないグループ参加者とを含む。つまり、接続状態にかかわらず、グループ参加者の全てが、ライブ通信セッションの参加者とされる。ライブ通信セッションがアクティブであると、参加者は、ライブ通信セッションに参加（接続）したり、セッションから退出（接続解除）したりすることができる。 In some embodiments, participants in a live video communication include group participants who are currently connected to the communication session and group participants who are not currently connected to the live video communication session. That is, all group participants, regardless of connection state, are considered participants in the live communication session. When a live communication session is active, participants can join (connect) and leave (disconnect) the live communication session.

図６Ｉに示すように、デバイス６００は、ビデオオン／オフアフォーダンス６４２の選択に対応するユーザ入力６５０Ｅ（例えば、タップ）を受ける（例えば、検出する）。図６Ｊに示すように、ユーザ入力６５０Ｅを受けたことに応じて、デバイス６００は、ビデオオフ状態を示すようにビデオオン／オフアフォーダンス６４２を修正し、通話アフォーダンス６３４を修正して図６Ｉのビデオカメラの表現を図６Ｊの電話の表現に修正することで、オーディオのみの状態を示すようにする。オーディオ専用状態では、デバイス６００は、オーディオのみでライブ通信セッションに参加する（例えば、デバイス６００はビデオデータを提供しない）。 As shown in FIG. 6I, device 600 receives (e.g., detects) user input 650E (e.g., a tap) corresponding to selection of video on/off affordance 642. As shown in FIG. 6J, in response to receiving user input 650E, device 600 modifies video on/off affordance 642 to indicate a video off state and modifies call affordance 634 to indicate an audio-only state by modifying the representation of the video camera in FIG. 6I to a representation of a phone in FIG. 6J. In the audio-only state, device 600 participates in a live communication session audio-only (e.g., device 600 does not provide video data).

図６Ｊに示すように、デバイス６００は、通話アフォーダンス６３４の選択に対応するユーザ入力６５０Ｆ（例えば、タップ）を受ける（例えば、検出する）。図６Ｋに示すように、ユーザ入力６５０Ｆを受けたことに応じて、デバイス６００は、オーディオ専用モードでライブ通信セッションに参加するための接続を開始する。図６Ｋに示すように、デバイス６００は、拡張された通話コントロールメニュー６３０の表示を中止し（例えば、デバイス６００は通話コントロールメニュー６３０を縮小し）、接続画面６５４を表示する。一部の実施形態では、デバイス６００は、ビデオ参加アフォーダンス６２６Ｂ上のユーザ入力６５０Ｃに応じて、ライブ通信セッションに参加するための接続を開始し、接続画面６５４を表示する。一部の実施形態では、通知６１４は、アフォーダンスを含む（例えば、通知６１４上の「参加」アイコン又は通知６１４全体が選択可能となる）。一部の実施形態では、デバイス６００は、通知６１４の選択に応じて、ライブ通信セッションに参加するための接続を開始し、接続画面６５４を表示する。 As shown in FIG. 6J, the device 600 receives (e.g., detects) a user input 650F (e.g., a tap) corresponding to a selection of the call affordance 634. As shown in FIG. 6K, in response to receiving the user input 650F, the device 600 initiates a connection to join a live communication session in an audio-only mode. As shown in FIG. 6K, the device 600 stops displaying the expanded call control menu 630 (e.g., the device 600 collapses the call control menu 630) and displays a connection screen 654. In some embodiments, in response to a user input 650C on the video join affordance 626B, the device 600 initiates a connection to join a live communication session and displays a connection screen 654. In some embodiments, the notification 614 includes an affordance (e.g., a "join" icon on the notification 614 or the entire notification 614 is selectable). In some embodiments, in response to a selection of the notification 614, the device 600 initiates a connection to join a live communication session and displays a connection screen 654.

図６Ｌに示すように、デバイス６００がライブ通信セッションに参加した後に、デバイス６００は、デバイス６００のユーザの表現６５８、参加者Ｐａｂｌｏ（例えば、ライブ通信セッションを開始した参加者）の表現６７０Ａ、及び参加者Ｓｔｅｐｈｅｎの表現６７０Ｂを含む、ライブ通信ユーザインターフェース６５６を表示する。リスト６４８に示される通信状態にしたがって、参加者Ｐａｂｌｏの表現６７０Ａは、ライブビデオストリームを含む。参加者Ｓｔｅｐｈｅｎはオーディオデータのみを提供しているので、参加者Ｐａｂｌｏの表現６７０Ｂはアバターを含む。一部の実施形態では、ライブ通信ユーザインターフェース６５６上の表現のレイアウトは、ライブ通信セッションに現在接続している参加者（例えば、２人の参加者及びデバイス６００のユーザ）の数に基づく。図６Ｌに示すレイアウトは、表現６７０Ａの位置に対応する第１の位置と、表現６７０Ｂの位置に対応する第２の位置とを有する、２対１のレイアウトとして呼ばれる。 As shown in FIG. 6L, after the device 600 joins the live communication session, the device 600 displays a live communication user interface 656 including a representation 658 of the user of the device 600, a representation 670A of participant Pablo (e.g., the participant who initiated the live communication session), and a representation 670B of participant Stephen. According to the communication state shown in the list 648, the representation 670A of participant Pablo includes a live video stream. Since participant Stephen is only providing audio data, the representation 670B of participant Pablo includes an avatar. In some embodiments, the layout of the representations on the live communication user interface 656 is based on the number of participants (e.g., the two participants and the user of the device 600) currently connected to the live communication session. The layout shown in FIG. 6L is referred to as a two-to-one layout, with a first position corresponding to the position of the representation 670A and a second position corresponding to the position of the representation 670B.

一部の実施形態では、デバイス６００がライブ通信セッションに参加すると、デバイス６００は参加者の数（例えば、アクティブ又は完全（アクティブ及び招待されている）のいずれか）が所定の閾数を超えているかを判定する。参加者の数が閾値を超えているとの判定を受けて、デバイス６００は、以下でより詳細に説明するように、オーバーフロー表現（例えば、サムネイル）を伴うオーバーフロー領域を表示する。あるいは、参加者の数が閾値を超えていないとの判定を受けて、デバイス６００は、オーバーフロー表現を伴うオーバーフロー領域を表示しない。 In some embodiments, when device 600 joins a live communication session, device 600 determines whether the number of participants (e.g., either active or full (active and invited)) exceeds a predetermined threshold number. Upon determining that the number of participants exceeds the threshold, device 600 displays an overflow area with an overflow representation (e.g., thumbnails), as described in more detail below. Alternatively, upon determining that the number of participants does not exceed the threshold, device 600 does not display an overflow area with an overflow representation.

デバイス６００がライブ通信セッションに参加すると、デバイス６００は、ライブメディアストリームを他の参加者（例えば、ライブ通信セッションに参加している参加者）に送信する。別のデバイスに関連する参加者がライブ通信セッションに参加しており、デバイス６００も参加すると、デバイス６００は、その参加者に対応するメディアストリームを受信する。 When device 600 participates in a live communication session, device 600 transmits a live media stream to other participants (e.g., participants participating in the live communication session). When a participant associated with another device participates in the live communication session and device 600 also participates, device 600 receives a media stream corresponding to that participant.

図６Ｌに示すように、ライブ通信ユーザインターフェース６５６を表示している間に、デバイス６００は、ディスプレイ６０２上でユーザ入力６５０Ｇ（例えば、タップ）を受ける（例えば、検出する）。図６Ｍに示すように、ユーザ入力６５０Ｇを受けたことに応じて、デバイス６００は、通話コントロールメニュー６３０を表示する。表現６７０Ａ及び６７０Ｂは、サイズが小さくなり、表現６７０Ｂ及び６５８は、通話コントロールメニュー６３０が表現と重ならないように、ディスプレイ６０２上で上方に移動される。表現６７０Ａ及び６７０Ｂが上下に並べられて重なり合わない図６Ｌに示す構成とは対照的に、通話コントロールメニュー６３０が図６Ｍに表示されると、表現６７０Ａ及び６７０Ｂは、互いにオフセットとなって重なり合う。 As shown in FIG. 6L, while displaying the live communication user interface 656, the device 600 receives (e.g., detects) a user input 650G (e.g., a tap) on the display 602. As shown in FIG. 6M, in response to receiving the user input 650G, the device 600 displays the call control menu 630. Representations 670A and 670B are reduced in size and representations 670B and 658 are moved upward on the display 602 such that the call control menu 630 does not overlap the representations. In contrast to the configuration shown in FIG. 6L, where representations 670A and 670B are stacked one on top of the other and do not overlap, when the call control menu 630 is displayed in FIG. 6M, representations 670A and 670B are offset from one another and overlap.

図６Ｎに示すように、デバイス６００は、通話コントロールアフォーダンス６３０内のメニューアフォーダンス６３６上のユーザ入力６５０Ｈ（例えば、タップ）を受ける（例えば、検出する）。図６Ｏに示すように、ユーザ入力６５０Ｈを受けたことに応じて、デバイス６００は、（例えば、図６Ｈに関して記載したように、）通話コントロールメニュー６３０を拡張する。一部の実施形態では、デバイス６００は、通話コントロールメニュー６３０においてライブ通信セッションに接続していない参加者の表現にリマインダアフォーダンスを表示する。図６Ｏに示すように、リスト６４８は、参加者Ｍａｒｃｅｌ及びＡｌｌｉｓｏｎがライブ通信セッションに接続していないことを示す。参加者Ｍａｒｃｅｌ及びＡｌｌｉｓｏｎ（例えば、参加者Ｍａｒｃｅｌ及びＡｌｌｉｓｏｎに関連するデバイス）はライブ通信セッションに接続していないので、拡張された通話コントロールメニュー６３０は、リスト６４８内の、参加者Ｍａｒｃｅｌ及びＡｌｌｉｓｏｎの表現６４８Ｃ及び６４８Ｄのそれぞれにて発信アフォーダンス６６２、６６４を含む。発信アフォーダンス６６２又は６６４の選択に応じて、デバイス６００は、選択された発信アフォーダンスに対応する参加者に関連するデバイスで通知（例えば、通話又は発信などのオーディオ出力）を提供させる。一部の実施形態では、通知は、参加者に送られた従前の通知とは異なる新規の通知である。一部の実施形態では、新規の通知は、従前の通知よりも干渉的である（例えば、オーディオ又は触覚出力を伴わないバナー通知に比べて、オーディオ着信音、触覚出力、又は全画面通知などである）。このようにして、（例えば、図６Ｄに示した全画面通知によってデバイス６００のユーザがリマインドされる方法と同様に、）ライブ通信セッションがアクティブであり、参加者が参加できることを、ユーザが、ライブ通信セッションに参加していない参加者にリマインドすることができる。 As shown in FIG. 6N, the device 600 receives (e.g., detects) a user input 650H (e.g., a tap) on the menu affordance 636 in the call control affordance 630. As shown in FIG. 6O, in response to receiving the user input 650H, the device 600 expands the call control menu 630 (e.g., as described with respect to FIG. 6H). In some embodiments, the device 600 displays a reminder affordance on the representation of the participant who is not connected to the live communication session in the call control menu 630. As shown in FIG. 6O, the list 648 indicates that participants Marcel and Allison are not connected to the live communication session. Because participants Marcel and Allison (e.g., devices associated with participants Marcel and Allison) are not connected to the live communication session, the expanded call control menu 630 includes call affordances 662, 664 on the representations 648C and 648D of participants Marcel and Allison, respectively, in the list 648. In response to the selection of an origination affordance 662 or 664, the device 600 causes a notification (e.g., an audio output, such as a call or a call) to be provided on a device associated with the participant corresponding to the selected origination affordance. In some embodiments, the notification is a new notification that is different from a previous notification sent to the participant. In some embodiments, the new notification is more intrusive than the previous notification (e.g., an audio ringtone, a haptic output, or a full-screen notification, as compared to a banner notification without audio or haptic output). In this manner, a user can remind participants not participating in a live communication session that the live communication session is active and available for them to join (e.g., similar to how a user of the device 600 is reminded by the full-screen notification shown in FIG. 6D ).

図６Ｏに示すように、デバイス６００は、ビデオオン／オフアフォーダンス６４２の選択に対応するユーザ入力６５０Ｉ（例えば、タップ）を受ける（例えば、検出する）。ユーザ入力６５０Ｉを受けたことに応じて、デバイス６００は、（例えば、デバイス６００上のカメラからの）ライブビデオストリームをライブ通信セッションに提供し、図６Ｐに示すように、ビデオがオンであることを示すようにビデオオン／オフアフォーダンス６４２を修正する。図６Ｑでは、デバイス６００は、通話コントロールメニュー６３０を縮小するためのユーザ入力６５０Ｊ（例えば、下方向スワイプ）をディスプレイ６０２上で受ける（例えば、検出する）。図６Ｒに示すように、通話コントロールメニュー６３０が縮小されると、デバイス６００のユーザに対応する表現６５８は、デバイス６００のカメラ６０３からのビデオを含む。 As shown in FIG. 6O, the device 600 receives (e.g., detects) a user input 650I (e.g., a tap) corresponding to a selection of the video on/off affordance 642. In response to receiving the user input 650I, the device 600 provides a live video stream (e.g., from a camera on the device 600) to the live communication session and modifies the video on/off affordance 642 to indicate that the video is on, as shown in FIG. 6P. In FIG. 6Q, the device 600 receives (e.g., detects) a user input 650J (e.g., a downward swipe) on the display 602 to collapse the call control menu 630. As shown in FIG. 6R, when the call control menu 630 is collapsed, a representation 658 corresponding to the user of the device 600 includes video from the camera 603 of the device 600.

図６Ｓに示すように、デバイス６００は、通話アフォーダンス６３４の選択に対応するユーザ入力６５０Ｋ（例えば、タップ）を受ける（例えば、検出する）。ユーザ入力６５０Ｋに応じて、デバイス６００は、ライブ通信セッションから接続解除する。図６Ｔは、デバイス６００がライブ通信セッションから接続解除した後に表示されるメッセージングアプリケーションのメッセージングユーザインターフェース６０４の実施形態を示す。デバイス６００はライブ通信セッションから接続解除しているが、ライブ通信セッションはアクティブなままである。一部の実施形態では、ライブビデオ通信セッションを開始した参加者がセッションから退出した場合でも、ライブ通信セッションは、参加者の少なくとも１人が接続している限り、アクティブなままである。図６Ｔに示すように、デバイス６００は、通知６１４及びライブ通信アフォーダンス６１０の表示を維持し、ライブ通信セッションがアクティブであることを示す。通知６１４は、ライブ通信セッションの継続時間（例えば、ライブ通信セッションが開始されてからの時間に相当する３分４２秒）を示すように更新される。 As shown in FIG. 6S, the device 600 receives (e.g., detects) a user input 650K (e.g., a tap) corresponding to a selection of the call affordance 634. In response to the user input 650K, the device 600 disconnects from the live communication session. FIG. 6T illustrates an embodiment of a messaging user interface 604 of a messaging application that is displayed after the device 600 disconnects from the live communication session. Although the device 600 has disconnected from the live communication session, the live communication session remains active. In some embodiments, the live communication session remains active as long as at least one of the participants remains connected, even if the participant who initiated the live video communication session leaves the session. As shown in FIG. 6T, the device 600 maintains the display of the notification 614 and the live communication affordance 610 to indicate that the live communication session is active. The notification 614 is updated to indicate the duration of the live communication session (e.g., 3 minutes and 42 seconds, which corresponds to the time since the live communication session began).

ライブ通信セッションがアクティブであることを示す通知６１４を表示している間に、デバイス６００は、ライブ通信セッションがアクティブでなくなった（例えば、終了した）ことを示すデータを受信する。一部の実施形態では、ライブ通信セッションに参加者が接続していない（例えば、ライブ通信セッションを開始した、又はセッションに参加したいずれの参加者をも接続していない）と、ライブ通信セッションは終了する。ライブ通信セッションがアクティブでなくなったことを示すデータの受信に応じて、デバイス６００は、通知６１４の表示を中止するか、及び／又はライブ通信セッションがアクティブでなくなったことを示すように通知６１４を更新する。図６Ｕは、ライブ通信セッションが終了した後に（例えば、ライブ通信セッションがアクティブでなくなったことを示すデータの受信に応じて）表示されるメッセージングアプリケーションのメッセージングユーザインターフェース６０４の実施形態を示す。図６Ｕに示すように、通知６１４は、ライブ通信セッションがアクティブでなくなったことを示す表示（例えば、テキスト「通話終了」）を含むように更新され、ライブ通信アフォーダンス６１０は削除される。一部の実施形態では、ライブ通信アフォーダンス６１０及び／又は通知６１４は、ライブ通信セッションがアクティブでなくなったことを示すようにグレーアウトされる。一部の実施形態では、通知６１４は、ライブ通信セッションが終了した後には選択不能となる。一部の実施形態では、ライブ通信セッションが終了した後に、通知６１４は選択可能なままであり、グループとの新規のライブ通信セッションを開始するために選択することができる。一部の実施形態では、デバイス６００がライブ通信セッションに参加しなかった場合、デバイス６００はユーザがライブ通信セッションを見逃したことを示すように通知６１４を更新する（例えば「不在通話」）。 While displaying notification 614 indicating that the live communication session is active, device 600 receives data indicating that the live communication session is no longer active (e.g., has ended). In some embodiments, the live communication session ends when no participants are connected to the live communication session (e.g., no participants who initiated or joined the live communication session are connected). In response to receiving the data indicating that the live communication session is no longer active, device 600 ceases displaying notification 614 and/or updates notification 614 to indicate that the live communication session is no longer active. FIG. 6U illustrates an embodiment of a messaging user interface 604 of a messaging application that is displayed after the live communication session has ended (e.g., in response to receiving data indicating that the live communication session is no longer active). As shown in FIG. 6U, notification 614 is updated to include an indication that the live communication session is no longer active (e.g., the text "Call Ended") and live communication affordance 610 is removed. In some embodiments, live communication affordance 610 and/or notification 614 are grayed out to indicate that the live communication session is no longer active. In some embodiments, the notification 614 becomes non-selectable after the live communication session ends. In some embodiments, the notification 614 remains selectable after the live communication session ends and can be selected to start a new live communication session with the group. In some embodiments, if the device 600 did not participate in the live communication session, the device 600 updates the notification 614 to indicate that the user missed the live communication session (e.g., "Missed Call").

図６Ｕに示すように、デバイス６００は、戻るアフォーダンス６１１の選択に対応するユーザ入力６５０Ｌ（例えば、タップ）を受ける（例えば、検出する）。図６Ｖに示すように、ユーザ入力６５０Ｌを受けたことに応じて、デバイス６００は、メッセージングアプリケーションのユーザインターフェース６７１を表示し、同インターフェースは、それぞれのメッセージ会話にアクセスするためのアフォーダンス６７３Ａ～６７３Ｇのリスト６７３を含む。アフォーダンス６７３Ｄは、３人の参加者（Ｍａｔｔｈｅｗ、Ｄａｎｉｅｌｌｅ、及びデバイス６００のユーザ）のグループ間のメッセージ会話に対応する。アフォーダンス６７３Ｄは、ライブ通信インジケータ６７５を含み、同インジケータは、このグループに対してアクティブなライブ通信セッションがあることを示す。対照的に、Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍに対してのライブ通信セッションがアクティブではないので、Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍに対応するアフォーダンス６７３Ａは、ライブ通信インジケータ６７５を含まない。 As shown in FIG. 6U, the device 600 receives (e.g., detects) a user input 650L (e.g., a tap) corresponding to a selection of the back affordance 611. As shown in FIG. 6V, in response to receiving the user input 650L, the device 600 displays a messaging application user interface 671 that includes a list 673 of affordances 673A-673G for accessing respective message conversations. Affordance 673D corresponds to a message conversation between a group of three participants (Matthew, Danielle, and the user of the device 600). Affordance 673D includes a live communication indicator 675, which indicates that there is an active live communication session for the group. In contrast, affordance 673A corresponding to The Dream Team does not include a live communication indicator 675 because no live communication session is active for The Dream Team.

図６Ｗに目を向けると、デバイス６００は、メッセージングユーザインターフェース６０４以外のインターフェースを表示するものとして示される。図６Ｗでは、デバイス６００は、デバイス６００がロック状態であることを示すロック画面６６８を表示している。ロック画面６６８は、通知６７７Ａ及び６７７Ｂを含む。通知６７７Ａは、ユーザＪｏｈｎ Ａｐｐｌｅｓｅｅｄからのメッセージが５分前に受信されたことを示している。通知６７７Ｂは、参加できなくなったライブ通信セッション（例えば、不在ビデオ通話）を表す。不在ビデオ通話の通知は、招待された参加者（Ｊｏｈｎ、Ａｍｙ、Ｒｏｄｒｉｇｏ）、ライブ通信セッションの状態（「不在」）、及びライブ通信セッションが開始された時間か終了された時間のいずれか（「１時間前」）の表示を含む。ロック状態では、デバイス６００は、アクティブなアプリケーションを表示しない。 Turning to FIG. 6W, device 600 is shown displaying an interface other than messaging user interface 604. In FIG. 6W, device 600 displays a lock screen 668 indicating that device 600 is in a locked state. Lock screen 668 includes notifications 677A and 677B. Notification 677A indicates that a message from user John Appleseed was received 5 minutes ago. Notification 677B represents a live communication session that was no longer available (e.g., a missed video call). The missed video call notification includes an indication of the invited participants (John, Amy, Rodrigo), the state of the live communication session ("Absent"), and either the time the live communication session started or ended ("1 hour ago"). In the locked state, device 600 does not display any active applications.

デバイス６００は、ロック状態である間に、参加できるライブ通信セッションがあることを示すデータを受信する。一部の実施形態では、参加できるライブ通信セッションがあることを示すデータを受信するデバイス６００の応答は、デバイス６００のコンテキスト、利用可能なライブ通信セッション、又は他の要因（単数又は複数）に依存する。一部の実施形態では、ライブ通信セッションが２人の参加者間で利用可能である（例えば、１対１の通信セッション）ことを受けて、デバイス６００は、第１の種類の通知を表示する。図６Ｘに示すように、第１の種類の通知は、全画面通知６７２及びオーディオ出力６７４を含む。一部の実施形態では、オーディオ出力６７４は、通話通知に関連するオーディオ出力及びメッセージ通知に関連するオーディオ出力とは異なる。一部の実施形態では、オーディオ出力６７４は、通話及びメッセージ通知の両方のオーディオ出力とオーディオ特性（例えば、共通の音質、音色、リズム）を共有する。あるいは、ライブ通信セッションが３人以上の参加者間で利用可能であること（例えば、グループライブ通信セッション）を受けて、デバイス６００は、第２の種類の通知を表示する。図６Ｙに示すように、第２の種類の通知は、バナー通知６７６（例えば、全画面ではない）及び触覚出力６７８（例えば、オーディオ出力なし）を含む。一部の実施形態では、ライブ通信セッションが３人以上の参加者間で利用可能であること（例えば、グループライブ通信セッション）を受けて、デバイス６００は、（例えば、図６Ｅに示す全画面通知６１６と同様の）全画面通知を最初に表示した後に、バナー通知６７６を表示する（例えば、バナー通知に移行する）。一部の実施形態では、通知６７６は、選択されると（例えば、図６Ｆ～図６Ｌを参照して前述したような）対応するライブ通信セッションに参加する処理を開始するアフォーダンスを含む。 While in the locked state, the device 600 receives data indicating that a live communication session is available to join. In some embodiments, the response of the device 600 to receiving the data indicating that a live communication session is available to join depends on the context of the device 600, the available live communication sessions, or other factor(s). In some embodiments, in response to a live communication session being available between two participants (e.g., a one-to-one communication session), the device 600 displays a first type of notification. As shown in FIG. 6X, the first type of notification includes a full screen notification 672 and an audio output 674. In some embodiments, the audio output 674 is different from the audio output associated with the call notification and the audio output associated with the message notification. In some embodiments, the audio output 674 shares audio characteristics (e.g., common sound quality, timbre, rhythm) with the audio output of both the call and the message notification. Alternatively, in response to a live communication session being available between three or more participants (e.g., a group live communication session), the device 600 displays a second type of notification. As shown in FIG. 6Y, the second type of notification includes a banner notification 676 (e.g., not full screen) and a haptic output 678 (e.g., no audio output). In some embodiments, upon receipt of a live communication session being available between three or more participants (e.g., a group live communication session), the device 600 displays (e.g., transitions to) the banner notification 676 after first displaying a full screen notification (e.g., similar to the full screen notification 616 shown in FIG. 6E). In some embodiments, the notification 676 includes an affordance that, when selected, initiates a process to join the corresponding live communication session (e.g., as described above with reference to FIGS. 6F-6L).

不在ビデオ通話に対応する通知６７７Ｂとは対照的に、通知６７６は、アクティブなライブ通信セッションに対応する。通知６７６は、グループ（Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍ）、通知の提示をトリガするアクションを行った参加者（Ｐａｂｌｏ）、及びライブ通信セッションが開始された時間（「今」）の表示を含む。一部の実施形態では、通知６７６は、ライブ通信セッションが開始された時間、及びライブ通信セッションの状態を正確に反映するように更新される。一部の実施形態では、通知６７６によって表されるライブ通信セッションが終了すると、通知６７６のテキストは、「ＰＡＢＬＯからのビデオ通話に参加」から「ＰＡＢＬＯからの不在ビデオ通話」に更新される。 In contrast to notification 677B, which corresponds to a missed video call, notification 676 corresponds to an active live communication session. Notification 676 includes an indication of the group (The Dream Team), the participant who took the action that triggered the presentation of the notification (Pablo), and the time the live communication session began ("Now"). In some embodiments, notification 676 is updated to accurately reflect the time the live communication session began and the state of the live communication session. In some embodiments, when the live communication session represented by notification 676 ends, the text of notification 676 is updated from "Joined in video call from PABLO" to "Missed video call from PABLO".

一部の実施形態では、アクティブなアプリケーションが表示されていない（図６Ｗの場合のように）との判定を受けて、デバイス６００は、参加できるライブ通信セッションがあることを示すデータの受信に応じて全画面通知を表示する。一部の実施形態では、アクティブなアプリケーション（例えば、メッセージングアプリケーション）が表示されていないとの判定を受けて、デバイス６００は非全画面通知（例えば、バナー通知）を表示する。 In some embodiments, upon determining that no active application is displayed (as in FIG. 6W), device 600 displays a full screen notification in response to receiving data indicating that there is a live communication session in which to participate. In some embodiments, upon determining that no active application (e.g., a messaging application) is displayed, device 600 displays a non-full screen notification (e.g., a banner notification).

一部の実施形態では、デバイス６００のユーザにアラートを出すとの判定を受けて、デバイス６００は、アラート（例えば、通知又はオーディオ若しくは触覚出力）を出力し、ユーザのデバイス６００にアラートを出さないとの決定にしたがって、デバイス６００は、アラートの出力を控える。一部の実施形態では、ユーザにアラートを出すとの判定は、外乱基準（例えば、デバイスが、ロックされているかロック解除されているか）に基づく。一部の実施形態では、（例えば、図６Ｙに示すように）デバイス６００がロックされていることを受けて、デバイスは、アラート（例えば、触覚出力６７８）を出力し、（例えば、図６Ｚに示すように）デバイス６００がロック解除されていることによって、デバイス６００は、通知（例えば、バナー通知６７６を表示し、（例えば、触覚出力なし）アラートの提供を控える。 In some embodiments, in response to a determination to alert a user of the device 600, the device 600 outputs an alert (e.g., a notification or an audio or haptic output), and in response to a determination not to alert the user of the device 600, the device 600 refrains from outputting an alert. In some embodiments, the determination to alert the user is based on disturbance criteria (e.g., whether the device is locked or unlocked). In some embodiments, in response to the device 600 being locked (e.g., as shown in FIG. 6Y), the device outputs an alert (e.g., a haptic output 678), and in response to the device 600 being unlocked (e.g., as shown in FIG. 6Z), the device 600 displays a notification (e.g., a banner notification 676) and refrains from providing an alert (e.g., no haptic output).

一部の実施形態では、外乱基準は、（例えば、デバイス６００の前面のセンサからのデータに基づいて）ユーザがデバイス６００を見ているか否かを示す。図６ＡＡは、デバイス６００を保持しているユーザ６８４を示す。ユーザの視線６８０は、デバイス６００に向いていない。デバイス６００は、ユーザ６８４がデバイス６００を見ていないかを判定し、ユーザ６８４がデバイス６００を見ていないとの判定を受けて、デバイス６００は、非視覚的通知６８２（例えば、触覚又はオーディオ出力）を提供する。図６ＡＢに示すように、ユーザの視線６８０は、デバイス６００に向いている。ユーザ６８４がデバイス６００を見ているとの判定を受けて、デバイス６００は、非視覚的通知の提供を控える（例えば、デバイス６００は、触覚又はオーディオ出力を伴わずにバナー通知を表示する）。一部の実施形態では、デバイス６００は、ユーザの顔を識別するように構成された画像センサを用いて、ユーザがデバイス６００を見ているかを判定する。 In some embodiments, the disturbance criteria indicates whether the user is looking at the device 600 (e.g., based on data from a sensor on the front of the device 600). FIG. 6AA shows a user 684 holding the device 600. The user's line of sight 680 is not directed toward the device 600. The device 600 determines whether the user 684 is not looking at the device 600, and upon determining that the user 684 is not looking at the device 600, the device 600 provides a non-visual notification 682 (e.g., a haptic or audio output). As shown in FIG. 6AB, the user's line of sight 680 is directed toward the device 600. Upon determining that the user 684 is looking at the device 600, the device 600 refrains from providing a non-visual notification (e.g., the device 600 displays a banner notification without a haptic or audio output). In some embodiments, the device 600 determines whether the user is looking at the device 600 using an image sensor configured to identify the user's face.

図６ＡＣ～図６ＡＦに目を向けると、デバイス６００Ａは、ディスプレイ６０２Ａ（例えば、タッチ感知ディスプレイ）、回転可能な入力機構６０１Ａ、及び機械式ボタン６０１Ｂを含む。一部の実施形態では、デバイス６００Ａは、デバイス１００、３００、５００、及び６００の特徴を含む。一部の実施形態では、デバイス６００Ａは、（例えば、双方向無線通信によって）デバイス６００と通信する。一部の実施形態では、デバイス６００Ａは、デバイス６００とペアリング関係にある。 6AC-6AF, device 600A includes a display 602A (e.g., a touch-sensitive display), a rotatable input mechanism 601A, and a mechanical button 601B. In some embodiments, device 600A includes features of devices 100, 300, 500, and 600. In some embodiments, device 600A communicates with device 600 (e.g., via two-way wireless communication). In some embodiments, device 600A is in a paired relationship with device 600.

一部の実施形態では、デバイス６００Ａは、その３人以上の参加者に利用可能なライブ通信セッションがアクティブであることを示すデータを（例えば、デバイス６００から）受信する。図６ＡＣに示すように、ライブ通信セッションがアクティブであることを示すデータの受信に応じて、デバイス６００Ａはユーザインターフェース６０４Ａを表示し、同インターフェースは、通知６０５、ライブ通信参加アフォーダンス６０７、及び拒否アフォーダンス６０９を含む。一部の実施形態では、通知６０５は、前述した通知６１４の特徴（例えば、参加者の名前、参加者の数、通知をトリガした参加者の名前）を含む。一部の実施形態では、デバイス６００Ａは、ライブ通信セッションがアクティブであることを示すデータの受信に応じて、オーディオ及び／又は触覚出力を生成する。一部の実施形態では、デバイス６００Ａは、ライブ通信セッションがアクティブであることを示すデータの受信に応じて、デバイス６００によって生成されるオーディオ及び／又は触覚出力とは異なるオーディオ及び／又は触覚出力を生成する。一部の実施形態では、ライブ通信セッションがアクティブであることを示す初期データの受信に応じて、ライブ通信セッションがアクティブであることを示す通知（例えば、表示、オーディオ及び／又は触覚出力）が（例えば、デバイス６００Ａではなく）デバイス６００にて提供され、ライブ通信セッションがアクティブであるとのリマインダを示すリマインダデータの受信に応じて、通知がデバイス６００とデバイス６００Ａの両方にて提供される。一部の実施形態では、ライブ通信セッションがアクティブであることを示す初期データの受信に応じて、ライブ通信セッションがアクティブであることを示す通知（例えば、表示、オーディオ及び／又は触覚出力）がデバイス６００とデバイス６００Ａの両方にて提供され、ライブ通信セッションがアクティブであるとのリマインダを示すリマインダデータの受信に応じて、通知が（例えば、デバイス６００Ａではなく）デバイス６００にて提供される。 In some embodiments, device 600A receives data (e.g., from device 600) indicating that a live communication session available to the three or more participants is active. As shown in FIG. 6AC, in response to receiving the data indicating that the live communication session is active, device 600A displays user interface 604A, which includes notification 605, live communication join affordance 607, and decline affordance 609. In some embodiments, notification 605 includes the features of notification 614 described above (e.g., name of participant, number of participants, name of participant who triggered the notification). In some embodiments, device 600A generates audio and/or haptic output in response to receiving the data indicating that the live communication session is active. In some embodiments, device 600A generates audio and/or haptic output that is different from the audio and/or haptic output generated by device 600 in response to receiving the data indicating that the live communication session is active. In some embodiments, in response to receiving initial data indicating that a live communication session is active, a notification (e.g., a visual, audio, and/or tactile output) indicating that the live communication session is active is provided at device 600 (e.g., rather than device 600A), and in response to receiving reminder data indicating a reminder that the live communication session is active, a notification is provided at both device 600 and device 600A. In some embodiments, in response to receiving initial data indicating that a live communication session is active, a notification (e.g., a visual, audio, and/or tactile output) indicating that the live communication session is active is provided at both device 600 and device 600A, and in response to receiving reminder data indicating a reminder that the live communication session is active, a notification is provided at device 600 (e.g., rather than device 600A).

一部の実施形態では、デバイス６００Ａは、ライブ通信参加アフォーダンス６０７の選択に対応するユーザ入力（例えば、ライブ通信アフォーダンス６１７上のタップ）を受ける。ライブ通信参加アフォーダンス６０７の選択を受けたことに応じて、デバイス６００Ａは、デバイス６００及び／又はデバイス６００Ａに、ライブ通信セッションに参加させるか、ライブ通信セッションに参加する処理を開始させる。一部の実施形態では、ライブ通信アフォーダンス６０７の選択を受けたことに応じて、デバイス６００Ａは、ライブ通信ユーザインターフェース６２８（図６Ｇ）、６５４（図６Ｋ）、又は６５６（図６Ｌ）をデバイス６００に表示させる。 In some embodiments, device 600A receives user input (e.g., a tap on live communication affordance 617) corresponding to a selection of live communication join affordance 607. In response to receiving the selection of live communication join affordance 607, device 600A causes device 600 and/or device 600A to join a live communication session or initiate a process to join a live communication session. In some embodiments, in response to receiving the selection of live communication affordance 607, device 600A causes device 600 to display live communication user interface 628 (FIG. 6G), 654 (FIG. 6K), or 656 (FIG. 6L).

図６ＡＤは、ライブ通信セッションに参加した後にデバイス６００Ａに表示されたユーザインターフェース６０４Ａを示す。一部の実施形態では、デバイス６００Ａは、ユーザがデバイス６００Ａを介してライブ通信セッションにオーディオ入力を提供するためのマイクロフォンを含む。図６ＡＤでは、ユーザインターフェース６０４Ａは、音量コントローラ６１１、ライブ通信セッションの参加者の表示６１３（「ＰＡＢＬＯ他２人」）及び継続時間（「９分４５秒」）、通話終了アフォーダンス６１５、オーディオオン／オフアフォーダンス６１７、及びメニューアフォーダンス６１９を含む。 6AD illustrates a user interface 604A displayed on device 600A after joining a live communication session. In some embodiments, device 600A includes a microphone for a user to provide audio input to the live communication session via device 600A. In FIG. 6AD, user interface 604A includes a volume control 611, an indication 613 of participants in the live communication session ("PABLO and 2 others") and duration ("9 minutes 45 seconds"), an end call affordance 615, an audio on/off affordance 617, and a menu affordance 619.

図６ＡＥでは、デバイス６００Ａは、ユーザ入力６５０Ｍ（例えば、メニューアフォーダンス６１９又はその付近で始まる上方向スワイプジェスチャ）を受ける（例えば、検出する）。図６ＡＦに示すように、ユーザ入力６５０Ｍを受けたことに応じて、デバイス６００Ａは、表示６１３（「４人のパーティ」）を修正し、キーパッドアフォーダンス６２１、（例えば、デバイス６００を使用してライブ通信セッションに参加するための）オーディオソースアフォーダンス６２３、及びライブ通信セッションの参加者（例えば、参加した及び／又は招待した参加者）のリスト６２５を表示する。一部の実施形態では、デバイス６０４Ａは、（例えば、ライブ通信セッションに参加するのに先立って）図６ＡＣのユーザインターフェース６０４上でユーザ入力６５０Ｍを受けたことに応じて、リスト６２５を表示する。一部の実施形態では、リスト６２５は、参加者の通信状態の表示を含む。一部の実施形態では、リスト６２５は、ライブ通信セッションに参加していない参加者にリマインダ通知を送るために選択できるリマインダアフォーダンスを含む。 In FIG. 6AE, device 600A receives (e.g., detects) user input 650M (e.g., an upward swipe gesture beginning at or near menu affordance 619). As shown in FIG. 6AF, in response to receiving user input 650M, device 600A modifies display 613 ("Party of 4") and displays keypad affordance 621, audio source affordance 623 (e.g., for joining a live communication session using device 600), and list 625 of participants (e.g., joined and/or invited participants) of the live communication session. In some embodiments, device 604A displays list 625 in response to receiving user input 650M on user interface 604 of FIG. 6AC (e.g., prior to joining the live communication session). In some embodiments, list 625 includes an indication of the communication status of the participants. In some embodiments, list 625 includes a reminder affordance that can be selected to send a reminder notification to participants not participating in the live communication session.

図７Ａ～図７Ｆは、一部の実施形態による方法を示すフロー図である。方法７００は、ディスプレイを備えるデバイス（例えば、１００、３００、５００又は６００）にて行われる。方法７００の一部の動作は任意選択的に組み合わされ、一部の動作の順序は任意選択的に変更され、一部の動作は任意選択的に省略される。 7A-7F are flow diagrams illustrating a method according to some embodiments. Method 700 is performed on a device (e.g., 100, 300, 500, or 600) that includes a display. Some operations of method 700 are optionally combined, some operations are optionally reordered, and some operations are optionally omitted.

後述するように、方法７００はとりわけ、複数の参加者間のライブ通信セッション用の対話式通知（例えば、６１４、６７２、６７６）を提供する直感的な方法を提供する。この方法は、複数の参加者間のライブ通信セッションの通知を提供する革新的な技術を使用するユーザの認知的負担を軽減することで、より効率的なヒューマン－マシンインターフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザが複数の参加者間のライブ通信セッションの通知と迅速に対話できることは、より速く、より効率的であり、よって、電力を節約し、バッテリ充電間隔を長くする。 As described below, method 700 provides, among other things, an intuitive way to provide interactive notifications (e.g., 614, 672, 676) for live communication sessions between multiple participants. This method creates a more efficient human-machine interface by reducing the cognitive burden on a user using innovative techniques to provide notifications of live communication sessions between multiple participants. For battery-operated computing devices, being able to quickly interact with notifications of live communication sessions between multiple participants is faster and more efficient, thus conserving power and increasing the time between battery charges.

ブロック７０２では、デバイスは、メッセージングアプリケーションのメッセージングユーザインターフェース（例えば、６０４）を表示する。メッセージングユーザインターフェース（例えば、６０４）は、メッセージ領域（例えば、６０６）を含む。メッセージ領域は、３人以上の参加者間のメッセージ会話における複数のメッセージ（例えば、６０８Ａ～６０８Ｄ）を含む。 At block 702, the device displays a messaging user interface (e.g., 604) of a messaging application. The messaging user interface (e.g., 604) includes a message area (e.g., 606). The message area includes a number of messages (e.g., 608A-608D) in a message conversation between three or more participants.

ブロック７０４では、デバイスは、その３人以上の参加者に利用可能なライブ通信セッション（例えば、オーディオ通信セッション又はオーディオ／ビデオ通信セッション）がアクティブであることを示す第１のデータを受信する。一部の実施形態では、ライブ通信セッションの参加者は、「現在参加済」（例えば、ライブメディアストリームを他の参加者に提供しており、「接続済」又は「アクティブ」とも呼ばれる）、又は「現在未参加」（例えば、セッションに参加したことがない参加者、又はセッションに従前に参加していたが、セッションから退出した参加者であり、「未接続」又は「招待済」とも呼ばれる）の状態を有する。一部の実施形態では、ライブ通信セッションの参加者は、ライブ通信セッションに現在参加している参加者と、ライブ通信セッションに現在参加していない参加者と（例えば、６４８Ａ～６４８Ｄ）を含む。ライブ通信セッションがアクティブであると、参加者は、ライブ通信セッションに参加する（接続する）又はライブ通信セッションから退出する（から接続解除する）。別のデバイスに関連する参加者がライブ通信セッションに参加すると、デバイスは、その参加者に対応するメディアストリームを受信する。デバイスのユーザがライブ通信セッションに参加すると、デバイスは、ライブメディアストリームを他の参加者（例えば、ライブ通信セッションに参加している参加者）に送信する。一部の実施形態では、（例えば、ライブ通信セッションを開始した参加者がセッションから退出した場合でも、）ライブ通信セッションは、参加者の少なくとも１人が接続されている限り、アクティブなままである。 At block 704, the device receives first data indicating that a live communication session (e.g., an audio communication session or an audio/video communication session) available to the three or more participants is active. In some embodiments, participants in the live communication session have a state of "currently participating" (e.g., providing a live media stream to other participants, also referred to as "connected" or "active") or "currently not participating" (e.g., a participant who has never participated in the session, or a participant who previously participated in the session but has left the session, also referred to as "not connected" or "invited"). In some embodiments, participants in the live communication session include participants who are currently participating in the live communication session and participants who are not currently participating in the live communication session (e.g., 648A-648D). When a live communication session is active, participants may join (connect) or leave (disconnect) the live communication session. When a participant associated with another device joins the live communication session, the device receives a media stream corresponding to that participant. When a user of a device joins a live communication session, the device transmits live media streams to other participants (e.g., participants participating in the live communication session). In some embodiments, the live communication session remains active as long as at least one of the participants remains connected (e.g., even if the participant who initiated the live communication session leaves the session).

ブロック７０６では、３人以上の参加者間のライブ通信セッションがアクティブであることを示す第１のデータの受信に応じて、デバイスは、ライブ通信セッションがアクティブであることを示す通知（例えば、６１４）を表示する。一部の実施形態では、ライブ通信セッションがアクティブであることを示す通知は、ライブ通信参加アフォーダンス（例えば、６１４Ａ）を含む。一部の実施形態では、通知は、ライブ通信セッションにおける参加者の数（例えば、セッションにおけるアクティブな参加者の数、セッションに招待された参加者の数）の表示を含む。一部の実施形態では、通知は、通知の提示をトリガするアクションをディスプレイ上で行った参加者（例えば、ライブ通信セッションを開始した参加者、又は、ライブ通信セッションへの参加をデバイスのユーザにリマインドするための「再発信」ボタンなどを選択した参加者）の表示（例えば、名前、イニシャル、写真、又はアバター）を含む。一部の実施形態では、３人以上の参加者間のライブ通信セッションがアクティブであることを示す第１のデータの受信に応じて、デバイスは、デバイスの１つ以上のオーディオ出力装置によって、ライブ通信セッションがアクティブであることを示すオーディオ出力（例えば、６１８）を生成し、ライブ通信セッションがアクティブであることを示すオーディオ出力は、着信通知に関連するオーディオ出力及びメッセージ通知に関連するオーディオ出力とは異なる。一部の実施形態では、ライブ通信セッションがアクティブであることを示すオーディオ出力は、着信及びメッセージ通知の両方のオーディオ出力とオーディオ特性（例えば、共通の音質、音色、リズム）を共有する。ライブ通信セッションがアクティブであることを示す通知（例えば、６１４）を表示すること及び／又はオーディオ出力（例えば、６１８）を生成することにより、ユーザにライブ通信セッションの現在の状態に関するフィードバックが提供され、（例えば、通知が参加アフォーダンスを含むときに）ユーザが通知をアクティブ化する場合に、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 In block 706, in response to receiving the first data indicating that a live communication session between three or more participants is active, the device displays a notification (e.g., 614) indicating that the live communication session is active. In some embodiments, the notification indicating that the live communication session is active includes a live communication join affordance (e.g., 614A). In some embodiments, the notification includes an indication of the number of participants in the live communication session (e.g., the number of active participants in the session, the number of participants invited to the session). In some embodiments, the notification includes an indication (e.g., name, initials, photo, or avatar) of a participant who took an action on the display that triggered the presentation of the notification (e.g., a participant who initiated the live communication session or selected a "call me again" button, etc., to remind the user of the device to join the live communication session). In some embodiments, in response to receiving first data indicating that a live communication session between three or more participants is active, the device generates, via one or more audio output devices of the device, an audio output (e.g., 618) indicating that the live communication session is active, where the audio output indicating that the live communication session is active is distinct from the audio output associated with the incoming call notification and the audio output associated with the message notification. In some embodiments, the audio output indicating that the live communication session is active shares audio characteristics (e.g., common quality, timbre, rhythm) with the audio output of both the incoming call and the message notification. Displaying the notification (e.g., 614) and/or generating the audio output (e.g., 618) indicating that the live communication session is active provides the user with feedback regarding the current state of the live communication session, and provides the user with visual feedback indicating that a particular action associated with the notification and/or the live communication session will occur if the user activates the notification (e.g., when the notification includes a join affordance). Providing improved visual feedback to the user enhances usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces power usage and improves battery life of the device by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック７０４では、デバイスは、ライブ通信セッションがアクティブであることを示す通知をメッセージ領域（例えば、６０６）の第１の位置に表示する。一部の実施形態では、ライブ通信セッションがアクティブであることを示す通知（例えば、６１４）は、ライブ通信参加アフォーダンス（例えば、６１４Ａ）を含む。 Optionally, at block 704, the device displays a notification in a first position of a message area (e.g., 606) indicating that the live communication session is active. In some embodiments, the notification (e.g., 614) indicating that the live communication session is active includes a live communication join affordance (e.g., 614A).

ブロック７１０では、ライブ通信セッションがアクティブであることを示す通知（例えば、６１４）を表示している間に、デバイスは、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータを受信する。 In block 710, while displaying a notification (e.g., 614) indicating that the live communication session is active, the device receives second data indicating that the live communication session between the three or more participants is no longer active.

任意選択的に、ブロック７１２では、デバイスは、ライブ通信セッションがアクティブであることを示す通知を、第１の位置（例えば、メッセージ領域６０６の下部）から第２の位置（例えば、メッセージ領域６０６の中央若しくは上部、又はディスプレイ（６０２）の上部、下部、右側、及び／又は左側）に移動させる。一部の実施形態では、通知再配置基準が満たされたことに応じて、通知（例えば、６１４）の移動が起きる。一部の実施形態では、通知再配置基準は、所定時間が経過すること（例えば、通知が表示された後に経過すること）、メッセージングユーザインターフェース（例えば、６０４）の表示を中止すること、メッセージングアプリケーションが閉じられること、又は、新規の着信メッセージがメッセージ領域（例えば、６０６）を占めることによって、通知（例えば、６１４）の全体又は通知（例えば、６１４）の一部分がメッセージ領域（例えば、６０６）内で隠されること、などの１つ以上の基準を含む。ライブ通信セッションがアクティブであることを示す通知を移動することにより、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、選択された場合に、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供され、操作を行うために必要な入力の数が減る。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、操作を行うために必要な入力の数が減ることにより、デバイスの操作性が更に高められ、ユーザ－デバイスインターフェースを（例えば、よりアクセス可能な入力をユーザにもたらし、入力の数が減ることで）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at block 712, the device moves a notification indicating that a live communication session is active from a first position (e.g., the bottom of the message area 606) to a second position (e.g., the center or top of the message area 606, or the top, bottom, right, and/or left side of the display (602)). In some embodiments, the movement of the notification (e.g., 614) occurs in response to notification relocation criteria being met. In some embodiments, the notification relocation criteria include one or more criteria such as a predetermined time passing (e.g., passing after the notification is displayed), ceasing to display the messaging user interface (e.g., 604), the messaging application being closed, or a new incoming message occupying the message area (e.g., 606) such that the entire notification (e.g., 614) or a portion of the notification (e.g., 614) is obscured within the message area (e.g., 606). Moving the notification indicating that a live communication session is active provides the user with feedback regarding the current state of the live communication session, and provides the user with visual feedback indicating that a particular action associated with the notification and/or the live communication session will occur if selected, reducing the number of inputs required to perform the action. Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as allowing the user to use the device more quickly and efficiently, thereby reducing device power usage and improving battery life. Additionally, reducing the number of inputs required to perform the action further enhances device usability and makes the user-device interface more efficient (e.g., by providing the user with more accessible inputs and reducing the number of inputs), as well as allowing the user to use the device more quickly and efficiently, thereby reducing device power usage and improving battery life.

任意選択的に、ブロック７１４及び７１６では、デバイスは、ライブ通信参加アフォーダンス（例えば、６１４Ａ又は６２６Ｂ）の選択に対応する第１のユーザ入力（例えば、６５０Ｃ）を受ける。ライブ通信参加アフォーダンスの選択に対応する第１のユーザ入力を受けたことに応じて、デバイスは、ライブ通信セッションに参加する（例えば、ライブ通信セッションに参加し、電子デバイスからビデオとオーディオの両方を送信する、及び／又はライブ通信セッションに参加し、電子デバイスから（ビデオを送信せずに）オーディオのみを送信する）。通知に含まれるライブ通信参加アフォーダンスの選択を受けたことに応じてライブ通信に参加することにより、ライブ通信セッションに参加する操作を行うために必要な入力の数が減る。操作を行うために必要な入力の数が減ることにより、デバイスの操作性が更に高められ、ユーザ－デバイスインターフェースを（例えば、よりアクセス可能な入力をユーザにもたらし、ライブ通信セッションに参加するのに必要な入力の数が減ることで）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 714 and 716, the device receives a first user input (e.g., 650C) corresponding to a selection of a join live communication affordance (e.g., 614A or 626B). In response to receiving the first user input corresponding to a selection of the join live communication affordance, the device joins the live communication session (e.g., joins the live communication session and transmits both video and audio from the electronic device, and/or joins the live communication session and transmits only audio (without transmitting video) from the electronic device). Joining the live communication in response to receiving a selection of the join live communication affordance included in the notification reduces the number of inputs required to perform the operation of joining the live communication session. Reducing the number of inputs required to perform the operation further enhances the usability of the device and makes the user-device interface more efficient (e.g., by providing the user with more accessible inputs and reducing the number of inputs required to join the live communication session), as well as reducing the power usage of the device and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック７１８及び７２０では、デバイスは、ライブ通信セッションへの参加のリマインダを示すリマインダデータ（例えば、図６Ｄ）（例えば、会話中に参加者によって又は所定時間後に送られるリマインダ）を受信する。ライブ通信への参加のリマインダ（例えば、リマインダは会話中の参加者によって送られる）を示すリマインダデータの受信に応じて、デバイスは、デバイスの１つ以上のオーディオ出力装置によって、ライブ通信セッションがアクティブであることを示すオーディオ出力（例えば、６１８）（例えば、着信音出力）を生成する。一部の実施形態では、オーディオ出力（例えば、６１８）は、通知（例えば、６１６）の再表示に連携して生成される。一部の実施形態では、通知の表示は、リマインダデータが受信される時に進行中である。一部の実施形態では、ライブ通信セッションがアクティブであることを示すオーディオ出力は、電話着信通知に関連するオーディオ出力及びメッセージ通知に関連するオーディオ出力とは異なる。一部の実施形態では、ライブ通信セッションがアクティブであることを示すオーディオ出力は、電話着信及びメッセージ通知の両方のオーディオ出力とオーディオ特性（例えば、共通の音質、音色、リズム）を共有する。一部の実施形態では、ライブ通信セッションがアクティブであることを示す初期オーディオ出力は、ライブ通信セッションがアクティブであることを示すリマインダオーディオ出力（例えば、参加者が「発信」アフォーダンスを選択していることに基づいて生成されるオーディオ出力）とは異なる（例えば、より短い、より静かである、又はより弱い）。一部の実施形態では、ライブ通信セッションがアクティブであることを示す初期オーディオ出力は、電話着信に使用される繰り返されるオーディオ出力の一回の繰り返しであり、ライブ通信セッションがアクティブであることを示すリマインダオーディオ出力は、電話着信に使用される繰り返されるオーディオ出力の複数回の繰り返しである、又は電話着信に使用されるオーディオ出力と同じである。一部の実施形態では、ライブ通信への参加のリマインダを示すリマインダデータの受信に応じて、デバイスは、リマインダを開始したライブ通信セッションにおける参加者の表示（例えば、名前、イニシャル、写真、又はアバター）を表示する。所定条件が満たされるときにオーディオ出力を含むリマインダを生成することにより、視覚的通知（例えば、６１４）を見逃した場合にユーザはライブ通信セッションが利用可能であることを迅速に認識することができるようになる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 718 and 720, the device receives reminder data (e.g., FIG. 6D) indicating a reminder to join the live communication session (e.g., a reminder sent by a participant during the conversation or after a predetermined time). In response to receiving the reminder data indicating a reminder to join the live communication (e.g., a reminder sent by a participant during the conversation), the device generates, by one or more audio output devices of the device, an audio output (e.g., 618) indicating that the live communication session is active (e.g., a ringtone output). In some embodiments, the audio output (e.g., 618) is generated in coordination with a redisplay of the notification (e.g., 616). In some embodiments, the display of the notification is in progress when the reminder data is received. In some embodiments, the audio output indicating that the live communication session is active is different from the audio output associated with the incoming call notification and the audio output associated with the message notification. In some embodiments, the audio output indicating that the live communication session is active shares audio characteristics (e.g., a common sound quality, timbre, rhythm) with the audio output of both the incoming call and the message notification. In some embodiments, the initial audio output indicating that a live communication session is active is different (e.g., shorter, quieter, or weaker) than the reminder audio output indicating that a live communication session is active (e.g., audio output generated based on a participant selecting the "call" affordance). In some embodiments, the initial audio output indicating that a live communication session is active is a single repetition of the repeated audio output used for incoming phone calls, and the reminder audio output indicating that a live communication session is active is multiple repetitions of the repeated audio output used for incoming phone calls, or is the same as the audio output used for incoming phone calls. In some embodiments, in response to receiving reminder data indicating a reminder to participate in a live communication, the device displays a representation (e.g., name, initials, photo, or avatar) of a participant in the live communication session that initiated the reminder. Generating a reminder that includes an audio output when a predetermined condition is met allows a user to quickly recognize that a live communication session is available if they miss a visual notification (e.g., 614). By performing an optimized operation without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

任意選択的に、ブロック７２２及び７２４では、通知がメニューアクセスアフォーダンス（例えば、６２６Ｂ）を含む実施形態では、デバイスは、メニューアクセスアフォーダンスの選択に対応する第２のユーザ入力（例えば、６５０Ｃ）を受ける。デバイスは、メニューアクセスアフォーダンスの選択に対応する第２のユーザ入力を受けたことに応じて、ビデオ参加オプション（例えば、６３４）（例えば、アフォーダンス、ドロップダウンメニュー、チェックボックス）、及びオーディオ専用オプション（例えば、６４２）（例えば、アフォーダンス、ドロップダウン、チェックボックス）を含むメニュー（例えば、６３０）を表示する。メニューアクセスアフォーダンスの選択を受けたことに応じて、ライブ通信セッションに参加するための異なるオプションを含むメニューを表示することより、表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御オプションが提供される。表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御オプションを提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 722 and 724, in an embodiment in which the notification includes a menu access affordance (e.g., 626B), the device receives a second user input (e.g., 650C) corresponding to a selection of the menu access affordance. In response to receiving the second user input corresponding to a selection of the menu access affordance, the device displays a menu (e.g., 630) including a video join option (e.g., 634) (e.g., affordance, drop-down menu, checkbox) and an audio-only option (e.g., 642) (e.g., affordance, drop-down, checkbox). By displaying a menu including different options for joining the live communication session in response to receiving a selection of the menu access affordance, additional control options are provided without cluttering the UI with additional controllers being displayed. Providing additional control options without cluttering the UI with additional displayed controllers enhances usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces power usage and improves battery life of the device by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック７２６及び７２８では、デバイスは、メニュー（例えば、６３０）を表示している間に、第３のユーザ入力を受ける。ビデオ参加オプション（例えば、６３４）の選択に対応する第３のユーザ入力（例えば、６５０Ｆ）を受けて、デバイスは、電子デバイスから送信されるオーディオ及びビデオを用いるライブ通信セッションに参加する。一部の実施形態では、デバイスは、オーディオ専用及び／又はビデオ専用で参加したいかを確認するようにユーザを促す（例えば、「ビデオで参加したいですか？」）。所定条件が満たされるときに（例えば、ビデオ参加オプションが選択されることに応じて）、電子デバイスから送信されるオーディオ及びビデオを用いるライブ通信セッションに参加することにより、ユーザは、ユーザがデバイスの追加入出力を選択又は修正する（例えば、カメラをオンにする、及び／又はマイクロフォンをオンにする）必要なしに、オーディオ及びビデオを用いるライブ通信セッションに参加することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 726 and 728, the device receives a third user input while displaying the menu (e.g., 630). Upon receiving a third user input (e.g., 650F) corresponding to a selection of a video join option (e.g., 634), the device joins the live communication session with audio and video transmitted from the electronic device. In some embodiments, the device prompts the user to confirm whether they want to join audio-only and/or video-only (e.g., "Do you want to join with video?"). By joining the live communication session with audio and video transmitted from the electronic device when a predetermined condition is met (e.g., in response to the video join option being selected), the user can join the live communication session with audio and video without the user having to select or modify additional inputs and outputs of the device (e.g., turn on the camera and/or turn on the microphone). By performing an optimized operation without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

任意選択的に、ブロック７３０では、第３のユーザ入力がオーディオ専用参加オプション（例えば、６４２）の選択に対応することを受けて、デバイスは、電子デバイスからビデオデータを送信することなく、電子デバイスから送信されるオーディオ（例えば、デバイスの１つ以上のマイクロフォンによって録音されるオーディオ）を用いてライブ通信セッションに参加する。一部の実施形態では、デバイスは、ユーザがオーディオのみを用いてライブ通信に参加したことを示すインジケータ（例えば、図６Ｌの６５８）を表示する。このことは、ビデオが共有されていないという安心感をユーザに与える）。所定条件が満たされるときに、電子デバイスから送信されるオーディオを用いてライブ通信セッションに参加することにより、ユーザは、ユーザがデバイスの追加入出力を選択又は修正する（例えば、カメラをオフにする、及び／又は、マイクロフォンをオンにする）必要なく、オーディオのみを用いてライブ通信セッションに参加することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in block 730, in response to a third user input corresponding to a selection of an audio-only join option (e.g., 642), the device joins the live communication session using audio transmitted from the electronic device (e.g., audio recorded by one or more microphones of the device) without transmitting video data from the electronic device. In some embodiments, the device displays an indicator (e.g., 658 in FIG. 6L) indicating that the user has joined the live communication using audio only. This provides the user with peace of mind that video is not being shared.) By joining the live communication session using audio transmitted from the electronic device when a predetermined condition is met, the user can join the live communication session using audio only without the user having to select or modify additional inputs and outputs of the device (e.g., turn off the camera and/or turn on the microphone). By performing an optimized operation without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

ブロック７３２では、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータの受信に応じて、デバイスは、通知（例えば、６１４）の表示を中止するか、又はライブ通信セッションがアクティブでなくなったことを示すように通知を更新する。一部の実施形態では、ライブ通信セッションがアクティブである間、通知は、ライブ通信セッションの現在の継続時間を示すように更新される。一部の実施形態では、ライブ通信セッションがアクティブではなくなると、通知はセッションの継続時間の表示を中止し、セッションが終了したとの通知（例えば、「通話終了」）を表示する。ライブ通信セッションがアクティブでなくなったことを示すデータの受信に応じて通知の表示を中止することにより、通知及び／又はライブ通信セッションに関連する特定の動作が利用可能でなくなったことを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、ライブ通信セッションがアクティブでなくなったことを示すデータの受信に応じて通知の表示を中止することにより、条件のセットが満たされたときに、更なるユーザ入力なしに、動作が自動的に行われる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、ユーザインターフェース上の不要な要素を減らし、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 At block 732, in response to receiving second data indicating that the live communication session between the three or more participants is no longer active, the device either ceases displaying the notification (e.g., 614) or updates the notification to indicate that the live communication session is no longer active. In some embodiments, while the live communication session is active, the notification is updated to indicate the current duration of the live communication session. In some embodiments, when the live communication session is no longer active, the notification ceases displaying the session duration and displays a notification that the session has ended (e.g., "call ended"). By ceasing to display the notification in response to receiving data indicating that the live communication session is no longer active, visual feedback is provided to the user indicating that the notification and/or certain actions related to the live communication session are no longer available. Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. Additionally, by ceasing to display the notification upon receipt of data indicating that the live communication session is no longer active, an action is taken automatically without further user input when a set of conditions are met. Taking an optimized action without requiring further user input when a set of conditions are met enhances usability of the device, makes the user-device interface more efficient (e.g., by reducing unnecessary elements on the user interface, assisting the user in providing appropriate inputs when operating/interacting with the device, and reducing user errors), and also reduces power usage and improves battery life of the device by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック７３６、７３８、及び７４０では、デバイスは、２人以上の参加者間で第２のライブ通信セッションが利用可能であることを示す第３のデータを受信する。第２のライブ通信セッションが２人の参加者間で利用可能であることを受けて、デバイスは、第２のライブ通信がアクティブであることを示す第１の種類の通知（例えば、６７２）（例えば、全画面通知）を表示する。一部の実施形態では、第１の種類の通知（例えば、６７２）は、ビデオ（例えば、６３４）、オーディオ専用（例えば、６４３）及び／又は辞退（例えば、６２２）のオプションを伴うメニュー（例えば、６３０）を含む。第２のライブ通信セッションが３人以上の参加者間で利用可能であることを受けて、デバイスは、第２のライブ通信がアクティブであることを示す、第１の種類の通知とは異なる第２の種類の通知（例えば、６７６）を表示する。一部の実施形態では、第２の種類の通知は、全画面ではない、又は持続的な全画面ではない、バナー通知（例えば、６７６）である。任意選択的に、ブロック７４２では、デバイスは、第２の種類の通知を第１の状態（例えば、全画面状態６７２）で最初に表示する。任意選択的に、ステップ７４４では、デバイスは、第２の種類の通知（例えば、６７２）を第２の状態（例えば、６７６）（例えば、持続性の全画面ではない状態（例えば、ディスプレイの上縁に配置される持続性バナー）に移行させる。所定条件が満たされるときに基づいて、ライブ通信セッションがアクティブであるとの特定の種類の通知を表示することにより、所定条件に基づいてユーザにもたらす注意散漫の減少をより多く及び／又はより少なくもたらす一方で、ユーザにライブ通信セッションが利用可能であることを迅速に認識させることを可能にする（例えば、２人の参加者間で利用可能なライブ通信セッションがあるときに全画面通知を表示し、２人の参加者間で利用可能なライブ通信セッションがあるときにバナーを表示する）。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 736, 738, and 740, the device receives third data indicating that a second live communication session is available between two or more participants. In response to the second live communication session being available between the two participants, the device displays a first type of notification (e.g., 672) (e.g., a full screen notification) indicating that the second live communication is active. In some embodiments, the first type of notification (e.g., 672) includes a menu (e.g., 630) with options for video (e.g., 634), audio only (e.g., 643), and/or decline (e.g., 622). In response to the second live communication session being available between three or more participants, the device displays a second type of notification (e.g., 676) different from the first type of notification indicating that the second live communication is active. In some embodiments, the second type of notification is a banner notification (e.g., 676) that is not full screen or is not persistent full screen. Optionally, at block 742, the device initially displays the second type of notification in the first state (eg, full screen state 672). Optionally, in step 744, the device transitions the second type of notification (e.g., 672) to a second state (e.g., 676) (e.g., a persistent non-full screen state (e.g., a persistent banner located at the top edge of the display). Displaying a particular type of notification that a live communication session is active based on when a predefined condition is met allows the user to be quickly made aware that a live communication session is available (e.g., displaying a full screen notification when there is a live communication session available between two participants and displaying a banner when there is a live communication session available between two participants) while providing more and/or less distraction to the user based on the predefined condition. By performing an optimized operation when a set of conditions is met without requiring further user input, the usability of the device is enhanced, the user-device interface is made more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and in addition, by allowing the user to use the device more quickly and efficiently, the device uses less power and improves battery life.

任意選択的に、ブロック７４６、７４８、７５０、及び７５２では、デバイスは、第３のライブ通信セッションが利用可能であることを示す第４のデータを受信する。第３のライブ通信セッションが利用可能であることを示す第４のデータの受信に応じて、アクティブなアプリケーション（例えば、メッセージングアプリケーション、又はオペレーティングシステムの開発者以外のアプリケーション開発者によって提供された第三者アプリケーションなどの、（例えば、デバイスのロック画面（例えば、６６８）又はホーム画面（例えば、１４００）の代わりの）アプリケーション）が表示されているとの判定を受けてに、デバイスは、第３のライブ通信セッションが利用可能であることを示す第３の種類（例えば、非全画面状態（例えば、ディスプレイの上縁に配置されるバナー））の通知（例えば、６１４又は６７６）を表示する。第３のライブ通信セッションが利用可能であることを示す第４のデータの受信に応じて、アクティブなアプリケーションが表示されていない（例えば、図６Ｗ）との判定を受けて、デバイスは、第３のライブ通信セッションが利用可能であることを示す第４の種類の通知（例えば、６７８又は全画面通知（例えば、６１６））を提供する。所定条件が満たされるときに基づいた、ライブ通信セッションの特定の種類の通知を表示することにより、所定条件に基づいてユーザに対する精査の減少をより多く及び／又はより少なくもたらす（例えば、デバイスがアプリケーションを表示しているときに全画面通知を表示し、デバイスがアプリケーションを表示していないときにバナーを表示する）一方で、ユーザにライブ通信セッションが利用可能であることを迅速に認識させることを可能にする。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 746, 748, 750, and 752, the device receives fourth data indicating that a third live communication session is available. In response to receiving the fourth data indicating that a third live communication session is available, and upon a determination that an active application (e.g., an application (e.g., in place of the device's lock screen (e.g., 668) or home screen (e.g., 1400)), such as a messaging application or a third party application provided by an application developer other than the operating system developer) is displayed, the device displays a notification (e.g., 614 or 676) of a third type (e.g., a non-full screen state (e.g., a banner located at the top edge of the display)) indicating that a third live communication session is available. In response to receiving the fourth data indicating that a third live communication session is available, and upon a determination that an active application is not displayed (e.g., FIG. 6W), the device provides a fourth type (e.g., 678 or a full screen notification (e.g., 616)) indicating that a third live communication session is available. Displaying a particular type of notification of a live communication session based on when a predefined condition is met allows the user to be quickly made aware that a live communication session is available while providing more and/or less scrutiny to the user based on the predefined condition (e.g., displaying a full screen notification when the device is displaying an application and displaying a banner when the device is not displaying an application). Taking an optimized action without requiring further user input when a set of conditions is met enhances the usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces the device's power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック７５４、７５６、７５８、及び７６０では、デバイスは、第４のライブ通信セッションが利用可能であることを示す第５のデータを受信する。第４のライブ通信セッションが利用可能であることを示す第５のデータの受信に応じて、電子デバイスの現在の状況（例えば、デバイスの現在の動作モード（例えば、デバイスがおやすみ（do-not-disturb、ＤＮＤ）モードであるか、特定のアプリケーション又はハードウェアが操作上アクティブであるか、デバイスがロックされている、又はロック解除されているか、ユーザがディスプレイを見ていることをデバイスの１つ以上のセンサが検出するか）がアラート報知基準を満たすとの判定を受けて、デバイスは、第４のライブ通信セッションが利用可能であるとの非視覚的通知（例えば、６７８）（例えば、オーディオ又は触覚出力）を提供している間に、第４のライブ通信セッションが利用可能であるとの通知（例えば、６７６）を表示する。一部の実施形態では、出力又はアラートは、通知（例えば、６１４）に対応する。第４のライブ通信セッションが利用可能であることを示す第５のデータの受信に応じて、かつ電子デバイスの現在の状況がアラート報知基準を満たさないとの判定を受けて、デバイスは、第４のライブ通信セッションが利用可能であるとの非視覚的通知（例えば、６７８）を提供せずに、第４のライブ通信セッションが利用可能であるとの通知（例えば、６１４）を表示する。一部の実施形態では、第１の種類のアラートが報知されない一方、第２の種類のアラート（例えば、バナー通知（例えば、６７６）などの視覚的アラート）が報知される。一部の実施形態では、デバイスの関連する状況は、デバイスがロック状態にあるかロック解除状態にあるかである。一部の実施形態では、デバイスがロックされていると、第１の種類のアラート（例えば、オーディオ又は触覚出力）が報知され、デバイスがロックされていないと（例えば、ユーザが能動的にデバイスを操作している／デバイスと対話していると）、アラートが報知されない（例えば、抑制される）。一部の実施形態では、デバイスの関連する状況は、ユーザがディスプレイを見ていることを（例えば、１つ以上のセンサ（例えば、カメラ、赤外線センサ）によって）デバイスが検出するか否かである。一部の実施形態では、デバイスがロックされていると、第１の種類のアラート（例えば、オーディオ又は触覚出力）が報知される。一部の実施形態では、ユーザがディスプレイを見ていないこと（例えば、図６ＡＡ）をデバイスが検出すると、第１の種類のアラート（例えば、６８２）が生成される。一部の実施形態では、ユーザが能動的にデバイスを操作している／デバイスと対話している（例えば、図６ＡＢ）と、第１の種類のアラートは生成されない（例えば、抑制される）。 Optionally, at blocks 754, 756, 758, and 760, the device receives fifth data indicating that a fourth live communication session is available. In response to receiving the fifth data indicating that a fourth live communication session is available, and in response to a determination that a current state of the electronic device (e.g., a current operating mode of the device (e.g., whether the device is in do-not-disturb (DND) mode, whether a particular application or hardware is operationally active, whether the device is locked or unlocked, one or more sensors of the device detect that a user is looking at the display) meets the alerting criteria, the device displays a notification (e.g., 676) that a fourth live communication session is available while providing a non-visual notification (e.g., 678) (e.g., an audio or haptic output) that a fourth live communication session is available. In some embodiments, the output or alert corresponds to the notification (e.g., 614). In response to receiving the fifth data indicating that a fourth live communication session is available, and in response to a determination that a current state of the electronic device does not meet the alerting criteria, the device displays a notification (e.g., 676) that a fourth live communication session is available while providing a non-visual notification (e.g., 678) (e.g., an audio or haptic output) that a fourth live communication session is available. In some embodiments, the device displays a notification (e.g., 614) that an option is available. In some embodiments, the first type of alert is not raised, while a second type of alert (e.g., a visual alert such as a banner notification (e.g., 676) is raised). In some embodiments, the relevant status of the device is whether the device is locked or unlocked. In some embodiments, when the device is locked, the first type of alert (e.g., audio or haptic output) is raised, and when the device is unlocked (e.g., when the user is actively manipulating/interacting with the device), the alert is not raised (e.g., suppressed). In some embodiments, the relevant status of the device is whether the device detects (e.g., via one or more sensors (e.g., camera, infrared sensor)) that the user is looking at the display. In some embodiments, when the device is locked, the first type of alert (e.g., audio or haptic output) is raised. In some embodiments, when the device detects that the user is not looking at the display (e.g., FIG. 6AA), the first type of alert (e.g., 682) is generated. In some embodiments, when a user is actively operating/interacting with the device (e.g., FIG. 6AB), the first type of alert is not generated (e.g., suppressed).

一部の実施形態では、アラート報知基準は、アラート報知基準が満たされるためにはデバイスがロックされているという要件を含む。一部の実施形態では、アラート報知基準は、アラート報知基準が満たされるためにデバイスがデバイスに関するユーザの注目を検出しないという要件を含む。（例えば、電子デバイスの入力装置によって検出されるユーザ入力に基づいて、視線追跡、顔追跡などによって検出されたユーザの視線（例えば、６８０）に基づいて）。所定条件が満たされるときに基づいて、通知（例えば、６１４）を表示し、非視覚的通知を提供するかを判定することにより、所定に基づいてより多くの及び／又はより少ない割り込みをもたらす一方、ユーザにライブ通信が利用可能であることを迅速に認識させることを可能にする。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 In some embodiments, the alert notification criteria include a requirement that the device be locked for the alert notification criteria to be met. In some embodiments, the alert notification criteria include a requirement that the device not detect user attention on the device for the alert notification criteria to be met. (e.g., based on user input detected by an input device of the electronic device, based on user gaze (e.g., 680) detected by eye tracking, face tracking, etc.). Determining whether to display a notification (e.g., 614) and provide a non-visual notification based on when a predetermined condition is met allows the user to quickly recognize that a live communication is available while providing more and/or less interruption based on a predetermined. Taking an optimized action when a set of conditions is met without requiring further user input enhances the usability of the device, making the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

なお、方法７００に関して前述した処理（例えば、図７Ａ～図７Ｆ）の詳細はまた、後述する方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００は、任意選択的に、方法９００、１１００、１３００、及び１５００に関して後述する様々な方法の特性の１つ以上を含む。例えば、方法７００は、方法１３００及び１５００を使用してライブ通信セッションを起動し、ライブ通信セッションの開始及び実行は、方法９００及び１１００を含むことができる。簡潔にするために、これらの詳細は、以下では繰り返さない。 It should be noted that the details of the processes (e.g., FIGS. 7A-7F) described above with respect to method 700 are also applicable in a similar manner to the methods described below. For example, method 700 optionally includes one or more of the features of the various methods described below with respect to methods 900, 1100, 1300, and 1500. For example, method 700 may initiate a live communication session using methods 1300 and 1500, and initiating and running the live communication session may include methods 900 and 1100. For the sake of brevity, these details will not be repeated below.

図８Ａ～図８ＢＫは、一部の実施形態による、ライブ通信セッション用の例示的なユーザインターフェースを示す。これらの図のユーザインターフェースは、図９Ａ～図９Ｋの処理を含む後述する処理を示すために使用される。 FIGS. 8A-8BK show example user interfaces for a live communication session, according to some embodiments. The user interfaces in these figures are used to illustrate the processes described below, including the processes of FIGS. 9A-9K.

図８Ａは、グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍ間のメッセージ会話用のメッセージングユーザインターフェース６０４を表示しているデバイス６００を示す。（例えば、ライブ通信アフォーダンス６１０がないことによって示されるように、）グループ参加者間のライブ通信セッションはアクティブではない。図８Ａに示すように、メッセージングユーザインターフェース６０４のヘッダは、（前述したように）ビデオ参加アフォーダンス６２６Ｂを示すように拡張される。図８Ａに示すように、デバイス６００は、参加者グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍの参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求に対応するユーザ入力８５０Ａ（例えば、ビデオ参加アフォーダンス６２６Ｂ上のタップ）を受ける。図８Ａに示すように、要求は、新規のライブビデオ通信セッションを開始するための要求を含む。一部の実施形態では、要求は、（例えば、図６Ｆに関して前述したような）既存のライブ通信セッションに参加するための要求を含む。 8A illustrates the device 600 displaying a messaging user interface 604 for a message conversation between the group The Dream Team. A live communication session between the group participants is not active (e.g., as indicated by the absence of live communication affordance 610). As illustrated in FIG. 8A, the header of the messaging user interface 604 is expanded to show the video join affordance 626B (as previously described). As illustrated in FIG. 8A, the device 600 receives a user input 850A (e.g., a tap on the video join affordance 626B) corresponding to a request to display a user interface for a live communication session between the participants of the participant group The Dream Team. As illustrated in FIG. 8A, the request includes a request to start a new live video communication session. In some embodiments, the request includes a request to join an existing live communication session (e.g., as previously described with respect to FIG. 6F).

ユーザ入力６５０Ａに応じて、デバイス６００は、メッセージ領域６０６内のメッセージ８００と、ライブ通信セッションが開始されていることを示す表示８０２とを表示する。一部の実施形態では、メッセージ８００は、通知６１４の前述した特性の一部を含む。ライブ通信セッションが開始されると、デバイス６００は、ライブ通信ユーザインターフェース８０４を表示し、同インターフェースは、ライブ通信セッションにおける複数の参加者の表現を同時に含む。 In response to user input 650A, device 600 displays a message 800 in message area 606 and an indication 802 that a live communication session is beginning. In some embodiments, message 800 includes some of the aforementioned characteristics of notification 614. Once the live communication session is beginning, device 600 displays a live communication user interface 804, which includes a representation of multiple participants in the live communication session simultaneously.

ライブ通信セッションにおける参加者の数が参加者の閾数よりも多い（例えば、デバイス６００のユーザを含めて５人よりも多い参加者）との判定を受けて、デバイス６００は、デバイス６００のユーザ以外の第１の複数の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズ（例えば、異なる３つのサイズ）で同時に表示する一方、第１の複数の参加者に含まれない１人以上の参加者を含む第２の複数の参加者の表現をオーバーフロー領域に表示し、オーバーフロー領域に表示される１人以上の他の参加者の表現は、それぞれの閾値サイズよりも小さなサイズで表示される。 Upon determining that the number of participants in the live communication session is greater than a threshold number of participants (e.g., greater than five participants including the user of device 600), device 600 simultaneously displays representations of a first plurality of participants other than the user of device 600 at one or more sizes (e.g., three different sizes) greater than their respective threshold sizes, while displaying representations of a second plurality of participants in an overflow area, the second plurality including one or more participants not included in the first plurality, and the representations of the one or more other participants displayed in the overflow area at sizes smaller than their respective threshold sizes.

図８Ａ～図８ＢＫに示す実施形態では、参加者の閾数は、（デバイス６００のユーザを含む）５人の参加者である。グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍが１５人の参加者を含むので、デバイス６００は、ライブ通信セッションにおける参加者の数が、参加者の閾数よりも多いと判定する。図８Ｃに示すように、この判定を受けて、ライブ通信ユーザインターフェース８０４は、キャンバス領域８１１に表示される、デバイス６００のユーザ以外の４人のそれぞれの参加者の４つの主要表現８１０Ａ～８１０Ｄ（集合的に８１０）の４対１のレイアウトと、デバイス６００のカメラのビューのユーザ表現８０６（デバイス６００のユーザに対応する）と、デバイス６００のユーザ及びキャンバス領域８１１に表される参加者以外の、ライブ通信セッションの参加者に対応するオーバーフロー表現８２２Ａ～８２２Ｊ（集合的に８２２）を伴うオーバーフロー領域８２０とを含み、それらのサブセット（例えば、８２２Ａ～８２２Ｄ）は常に表示されている。一部の実施形態では、レイアウトは、ユーザインターフェース８０４の異なる位置に参加者の表現が固定される、複数の所定レイアウトのうちの１つである。図８ＡＷは、ユーザインターフェース８０４の別の実施形態を示す。図８ＡＷに示す実施形態では、オーバーフロー領域８２０は、ライブ通信セッションにおけるデバイス６００のユーザ以外の参加者全てのオーバーフロー表現を含み、キャンバス領域８１１に表される参加者もオーバーフロー領域８２０に表される。 In the embodiment shown in Figures 8A-8BK, the threshold number of participants is five participants (including the user of device 600). Because group The Dream Team includes 15 participants, device 600 determines that the number of participants in the live communication session is greater than the threshold number of participants. As shown in Figure 8C, in response to this determination, live communication user interface 804 includes a four-to-one layout of four primary representations 810A-810D (collectively 810) of four respective participants other than the user of device 600 displayed in canvas area 811, a user representation 806 of the view of the camera of device 600 (corresponding to the user of device 600), and an overflow area 820 with overflow representations 822A-822J (collectively 822) corresponding to participants in the live communication session other than the user of device 600 and the participants represented in canvas area 811, a subset of which (e.g., 822A-822D) are always displayed. In some embodiments, the layout is one of a number of predefined layouts in which representations of participants are fixed to different locations on the user interface 804. FIG. 8AW illustrates another embodiment of the user interface 804. In the embodiment illustrated in FIG. 8AW, an overflow area 820 includes overflow representations of all participants in the live communication session other than the user of the device 600, and participants represented in the canvas area 811 are also represented in the overflow area 820.

グループ参加者の数が５人以下である場合、ライブ通信セッションにおける参加者の数が５人以下であるとの判定を受けて、デバイス６００は、オーバーフロー領域にオーバーフロー表現を表示することなく、参加者の主要表現及びデバイス６００のユーザの表現を表示する。 If the number of group participants is five or less, upon determining that the number of participants in the live communication session is five or less, device 600 displays the primary representations of the participants and a representation of the user of device 600 without displaying overflow representations in the overflow area.

主要表現８１０はそれぞれ、所定の３つの表現サイズ（小、中、及び大）のうちの１つで表示される。主要表現８１０Ａは小サイズで表示され、主要表現８１０Ｂは大サイズで表示され、主要表現８１０Ｃ及び主要表現８１０Ｄは中サイズで表示される。図８Ｃでは、主要表現８１０はそれぞれ、少なくとも１つの他の主要表現と重なる。オーバーフロー表現８２２は全て、主要表現８１０に関連する小さな表現サイズよりも小さな同じサイズで表示される。図示の実施形態では、上述したそれぞれの閾値サイズは、オーバーフロー表現８２２のサイズよりも大きく、主要表現８１０の小さな表現サイズよりも小さい。ユーザ表現８０６は、オーバーフロー表現８２２と同じサイズであり、オーバーフロー領域８２０と並べられたり、同領域内に表示されたりする。 Each of the primary representations 810 is displayed in one of three predetermined representation sizes (small, medium, and large). Primary representation 810A is displayed in a small size, primary representation 810B is displayed in a large size, and primary representations 810C and 810D are displayed in a medium size. In FIG. 8C, each of the primary representations 810 overlaps at least one other primary representation. The overflow representations 822 are all displayed in the same size, which is smaller than the small representation size associated with the primary representation 810. In the illustrated embodiment, each of the threshold sizes mentioned above is larger than the size of the overflow representation 822 and smaller than the small representation size of the primary representation 810. The user representation 806 is the same size as the overflow representation 822 and is aligned with or displayed within the overflow region 820.

図８Ｃに示すように、ライブ通信セッションユーザインターフェース８０４は、３つの全体オーバーフロー表現と、１つの部分オーバーフロー表現とを一度に表示する。残りのオーバーフロー表現は隠されており、（例えば、ユーザ入力、又は話したり若しくは動いたりすることによって参加者が能動的に参加するなどの検出イベントのいずれかに応じて）オーバーフロー領域８２０をスクロールすることによって表示することができる。図８Ｃでは、オーバーフロー表現８２０Ｄは、より多くのオーバーフロー表現が存在すること、及び／又はオーバーフロー領域８２０をスクロールできることを示すように部分的に網掛けされている。一部の実施形態では、オーバーフロー領域８２０内のオーバーフロー表現８２２の順序は、参加者がライブ通信セッションに参加する順序に依存する。一部の実施形態では、オーバーフロー領域８２０内のオーバーフロー表現８２２の順序は、時間とともに（例えば、ライブ通信セッションに対して参加者が参加したり退出したりするときに、又は、詳細については後述するように、例えば、オーバーフロー表現のユーザの選択若しくはオーバーフロー領域に表される参加者による能動的な参加によって、キャンバス領域８１１に参加者が出入りするときに、）変化する。一部の実施形態では、オーバーフロー領域８２０内のオーバーフロー表現の順序は固定されている（例えば、オーバーフロー表現が表示される順序は、時間と共に変化しない）。一部の実施形態では、オーバーフロー表現の順序は、グループに関連するリストの順序（例えば、グループが作成されたときに、参加者がグループに追加された順序）に基づく。一部の実施形態では、主要表現８１０の表示（例えば、ライブビデオフィード）は、オーバーフロー表現８２２の表示よりも高いレートで更新される。 As shown in FIG. 8C, the live communication session user interface 804 displays three full overflow representations and one partial overflow representation at a time. The remaining overflow representations are hidden and can be displayed by scrolling the overflow area 820 (e.g., in response to either user input or a detected event such as a participant actively joining by speaking or moving). In FIG. 8C, the overflow representation 820D is partially shaded to indicate that there are more overflow representations and/or that the overflow area 820 can be scrolled. In some embodiments, the order of the overflow representations 822 in the overflow area 820 depends on the order in which participants join the live communication session. In some embodiments, the order of the overflow representations 822 in the overflow area 820 changes over time (e.g., as participants join and leave the live communication session, or as participants enter and leave the canvas area 811, e.g., due to a user selection of an overflow representation or active participation by a participant represented in the overflow area, as described in more detail below). In some embodiments, the order of the overflow representations in the overflow area 820 is fixed (e.g., the order in which the overflow representations are displayed does not change over time). In some embodiments, the order of the overflow representations is based on the order of the list associated with the group (e.g., the order in which participants were added to the group when the group was created). In some embodiments, the display of the main representation 810 (e.g., a live video feed) is updated at a higher rate than the display of the overflow representation 822.

図８Ｃは、ライブ通信セッションを開始した直後、及び（デバイス６００に関連する参加者以外の）参加者のいずれかがライブ通信セッションに参加する前の、ライブ通信セッションインターフェース８０４を示す。図８Ｃに示すように、主要表現８１０及びオーバーフロー表現８２２は、ライブ通信セッションに接続されていない参加者用のプレースホルダを含む。図８Ｃに示すように、プレースホルダは、参加者の名前（例えば、名前、又は名前と名字とのイニシャル）の表示及び色付きオブジェクトを伴う表現を含む。一部の実施形態では、色付きオブジェクトそれぞれの色及び／又はパターンは異なるか、所定の色及び／又はパターンのセットから選択される。任意選択的に、プレースホルダは、参加者がライブ通信セッションへの接続を待っていることを示す状態インジケータと、ライブ通信セッションが利用可能であるとのリマインダを対応する参加者に送るためのリマインダアフォーダンス（「発信」）とを含む。一部の実施形態では、リマインダアフォーダンスは、最初はプレースホルダに含まれず、所定時間後に対応する参加者がライブ通信セッションに参加していないとの判定を受けて表示される。 8C illustrates the live communication session interface 804 immediately after starting a live communication session and before any of the participants (other than the participant associated with device 600) have joined the live communication session. As shown in FIG. 8C, the main representation 810 and the overflow representation 822 include placeholders for participants who are not connected to the live communication session. As shown in FIG. 8C, the placeholders include representations with a representation of the participant's name (e.g., first name, or first and last initials) and colored objects. In some embodiments, the color and/or pattern of each of the colored objects is different or selected from a set of predefined colors and/or patterns. Optionally, the placeholders include a status indicator indicating that the participant is waiting to connect to the live communication session and a reminder affordance ("call") for sending a reminder to the corresponding participant that the live communication session is available. In some embodiments, the reminder affordance is not included in the placeholder initially and is displayed after a predefined time following a determination that the corresponding participant is not participating in the live communication session.

図８Ｃに示すように、デバイス６００は、主要表現８１０Ｃの選択に対応するユーザ入力８５０Ａ（例えば、タップ）を受ける（例えば、検出する）。図８Ｄに示すように、ユーザ入力８５０Ａを受けたことに応じて、デバイス６００は、追加識別情報（例えば、参加者の名前、Ｍａｒｃｅｌ）と、ライブ通信セッションが利用可能であるとのリマインダを対応する参加者に送るためのリマインダアフォーダンス８０８Ａとを含むように、主要表現８１０Ｃを修正する。 As shown in FIG. 8C, the device 600 receives (e.g., detects) a user input 850A (e.g., a tap) corresponding to a selection of the primary representation 810C. As shown in FIG. 8D, in response to receiving the user input 850A, the device 600 modifies the primary representation 810C to include additional identification information (e.g., the participant's name, Marcel) and a reminder affordance 808A for sending a reminder to the corresponding participant that a live communication session is available.

図８Ｄは、主要表現８１０Ｂに対応する参加者がライブ通信セッションに参加することも示している。一部の実施形態では、デバイス６００は、主要表現８２２Ｂに対応する参加者がライブ通信セッションに参加したことを示すデータを受信する。図８Ｄに示すように、主要表現８２２Ｂに対応する参加者がライブ通信セッションに参加したことに応じて、デバイス６００は、主要表現８２２Ｂのプレースホルダを、対応する参加者からのライブビデオデータに置き換える。一部の実施形態（例えば、図８ＡＸ）では、デバイス６００は、参加者に対応するオーバーフロー表現８２２Ｂを参加者からのライブビデオデータに置き換える。本明細書で使用する場合、「参加者からのライブビデオデータ」（又はその等価物）との文言は、参加者に関連するデバイス（例えば、スマートフォン、ラップトップコンピュータ、デスクトップコンピュータ若しくはタブレットコンピュータ）又は参加者に関連するアカウント（例えば、電子メールアカウント若しくはクラウドストレージアカウント）に関連するデバイスによって送信されるライブビデオデータを含む。 FIG. 8D also illustrates that the participant corresponding to the primary representation 810B joins the live communication session. In some embodiments, the device 600 receives data indicating that the participant corresponding to the primary representation 822B has joined the live communication session. As shown in FIG. 8D, in response to the participant corresponding to the primary representation 822B joining the live communication session, the device 600 replaces the placeholder of the primary representation 822B with live video data from the corresponding participant. In some embodiments (e.g., FIG. 8AX), the device 600 replaces the overflow representation 822B corresponding to the participant with live video data from the participant. As used herein, the phrase "live video data from a participant" (or its equivalent) includes live video data sent by a device associated with the participant (e.g., a smart phone, a laptop computer, a desktop computer, or a tablet computer) or an account associated with the participant (e.g., an email account or a cloud storage account).

図８Ｄに示すように、デバイス６００は、リマインダアフォーダンス８０８の選択に対応するユーザ入力８５０Ｂ（例えば、タップ）を受ける（例えば、検出する）。入力８５０Ｂに応じて、デバイス６００は、ライブ通信セッションが利用可能であることを示す新規の通知（例えば、通話、着信音など）を対応する参加者に関連するデバイスにて生じさせる命令を送り、ここで、新規の通知は、参加者に送られた従前の通知とは異なる。一部の実施形態では、新規の通知は、従前の通知よりも干渉的である（例えば、オーディオ又は触覚出力を伴わないバナー通知に比べて、オーディオ発信、触覚出力、又は全画面通知などである）。図８Ｄでは、デバイス６００はまた、（例えば、主要表現８１０Ｂによって表される参加者など、ライブ通信セッションに現在接続されている別の参加者から送られるリマインダ、又はデバイス６００のユーザによって従前に送られたリマインダなどによって、）ライブ通信セッションが利用可能であることを、主要表現８１０Ｄに対応する参加者が現在リマインドされていることを示すように、主要表現８１０Ｄ上にリマインダアフォーダンス８０８Ｂをも表示する。デバイス６００はまた、（例えば、図８Ｅに示すように、「発信」を「発信中」に置き換えることによって、）対応する参加者が通知されていることを示すように、リマインダアフォーダンス８０８Ａを修正する。 As shown in FIG. 8D , device 600 receives (e.g., detects) user input 850B (e.g., a tap) corresponding to selection of reminder affordance 808. In response to input 850B, device 600 sends instructions to cause a new notification (e.g., a phone call, a ringtone, etc.) to occur at a device associated with the corresponding participant indicating that a live communication session is available, where the new notification is different from a previous notification sent to the participant. In some embodiments, the new notification is more intrusive than the previous notification (e.g., an audio outage, a haptic output, or a full-screen notification, etc., compared to a banner notification without audio or haptic output). In FIG. 8D, device 600 also displays reminder affordance 808B on primary representation 810D to indicate that the participant corresponding to primary representation 810D is currently being reminded that a live communication session is available (e.g., by a reminder sent by another participant currently connected to the live communication session, such as the participant represented by primary representation 810B, or by a reminder previously sent by the user of device 600). Device 600 also modifies reminder affordance 808A to indicate that the corresponding participant has been notified (e.g., by replacing "calling" with "calling" as shown in FIG. 8E).

図８Ｅに示すように、ライブ通信セッションが開始してから所定時間が経過したとの判定を受けて、デバイス６００は、オーバーフロー表現８２２の表示を中止し、ユーザ表現８０６のサイズを大きくする。一部の実施形態では、主要表現８１０は、オーバーフロー表現８２２が削除されると、サイズ変更及び／又は移動される。図示の実施形態では、主要表現８１０Ｄは下に移動される。一部の実施形態では、デバイス６００は、ライブ通信セッションに現在参加している参加者の数が、参加者の閾数（例えば、デバイス６００のユーザを含めて５人の参加者）以下であるとの判定を受けて、オーバーフロー表現８２２の表示を中止する。 As shown in FIG. 8E, upon determining that a predetermined amount of time has elapsed since the live communication session began, device 600 ceases displaying overflow representation 822 and increases the size of user representation 806. In some embodiments, main representation 810 is resized and/or moved once overflow representation 822 is removed. In the illustrated embodiment, main representation 810D is moved down. In some embodiments, device 600 ceases displaying overflow representation 822 upon determining that the number of participants currently participating in the live communication session is equal to or less than a threshold number of participants (e.g., five participants including the user of device 600).

図８Ｅに対応する時点で、ライブ通信セッションに２人の参加者が参加している。一部の実施形態では、更なる時間の後に、デバイス６００は、主要表現８１０の１つの表示を中止し、ライブ通信ユーザインターフェース８０４のレイアウトを３対１のレイアウトに変更する。一部の実施形態では、４対１のレイアウト及び３対１のレイアウトは、主要表現８１０の相対的な配置が類似する所定レイアウトのセットに含まれる。一部の実施形態では、主要表現の相対的に類似する配置を有することにより、セット内のレイアウト間で移行があるときに、ユーザディスプレイ６０２上の類似の位置に主要表現が留まる配置が含まれる（例えば、１つのレイアウト中の表現の位置が、同じセットの別のレイアウト中の表現の位置と重なる）。 At a time corresponding to FIG. 8E, two participants are participating in the live communication session. In some embodiments, after a further time, the device 600 ceases displaying one of the primary representations 810 and changes the layout of the live communication user interface 804 to a 3:1 layout. In some embodiments, the 4:1 layout and the 3:1 layout are included in a set of predefined layouts that have similar relative placements of the primary representations 810. In some embodiments, having a relatively similar placement of the primary representations includes placements where the primary representations remain in similar positions on the user display 602 when there is a transition between layouts in the set (e.g., the position of a representation in one layout overlaps the position of a representation in another layout of the same set).

一部の実施形態では、デバイス６００は、対応する参加者がライブ通信セッションに参加しているか（例えば、対応する参加者が参加している場合には、表現が削除されない）、参加者がリマインドされているか（例えば、リマインドされている参加者の表現は、対応するリマインダアフォーダンスを選択した後の所定時間の間は削除されない）、参加者リスト中の参加者の配置（例えば、リスト内の前の参加者の表現は、リスト内の後の参加者の表現よりも先に削除される）、及びライブ通信ユーザインターフェース８０４上の表現の配置（例えば、ディスプレイ６０２の上部により近い表現が、ディスプレイ６０２上のより下方の表現よりも先に削除される）に基づいて、どの主要表現を削除するかを判定する。図８Ｆに示すように、デバイス６００は、主要表現８１０Ａの表示を中止し、（例えば、表現８１０Ｂと表現８１０Ｃとの重なりを小さくするように）主要表現８１０Ｂを上に移動させる一方、残りの表現の相対的な上下順序を維持する（例えば、表現８１０Ｂは、表現８１０Ｃよりも大きく、表現８１０Ｃの上方にあり、表現８１０Ｃは、表現８１０Ｄの上方にあり、表現８１０Ｄと同じサイズである）。図８Ｆはまた、リマインダアフォーダンス８０８Ａが「再発信」に修正されることも示し、同アフォーダンスは、対応する参加者が、少なくとも１度リマインドされ、現在はリマインドされていないことを示す。リマインダアフォーダンス８０８Ｂもまた、対応する参加者が、デバイス６００のユーザによってではないが、従前にリマインドされたことを示すように、（例えば、「発信中」から「発信」に、及び異なる色に）修正される。 In some embodiments, the device 600 determines which primary representation to remove based on whether the corresponding participant is participating in the live communication session (e.g., the representation is not removed if the corresponding participant is participating), whether the participant is being reminded (e.g., a representation of a reminded participant is not removed for a predetermined time after selecting the corresponding reminder affordance), the placement of the participant in the participant list (e.g., a representation of an earlier participant in the list is removed before a representation of a later participant in the list), and the placement of the representation on the live communication user interface 804 (e.g., a representation closer to the top of the display 602 is removed before a representation further down on the display 602). As shown in FIG. 8F, device 600 stops displaying primary representation 810A and moves primary representation 810B up (e.g., to reduce overlap between representations 810B and 810C) while maintaining the relative vertical order of the remaining representations (e.g., representation 810B is larger than and above representation 810C, which is above and the same size as representation 810D). FIG. 8F also shows that reminder affordance 808A is modified to "Resend," indicating that the corresponding participant has been reminded at least once and is not currently being reminded. Reminder affordance 808B is also modified (e.g., from "Calling" to "Calling," and a different color) to indicate that the corresponding participant was previously reminded, but not by the user of device 600.

図８Ｆに対応する時点で、ライブ通信セッションには、依然として２人の参加者のみが参加している。一部の実施形態では、更なる時間の後に、デバイス６００は、別の主要表現８１０の表示を中止し、ライブ通信ユーザインターフェース８０４のレイアウトを（例えば、図８Ｅ～図８Ｆに示す、４対１及び３対１のレイアウトと同じ所定レイアウトのセットにおける）２対１のレイアウトに変更する。図８Ｇに示すように、デバイス６００は、主要表現８１０Ｄの表示を中止し、主要表現８１０Ｂ及び８１０Ｃを拡大する。図８Ｇは、デバイス６００のユーザ以外の２人の参加者の主要表現が等しいサイズで上下に並んでいる、３人の参加者（例えば、２対１）のレイアウトを示す。主要表現８１０Ｂ及び８１０Ｃの上下順序は、主要表現８１０Ｂが主要表現８１０Ｃの上方にある状態で維持される。図８Ｆのレイアウトでは、主要表現間の重なり合いはなく、ユーザ表現８０６は主要表現８１０Ｃに重なっている。 At the time corresponding to FIG. 8F, only two participants are still participating in the live communication session. In some embodiments, after a further time, the device 600 stops displaying the other primary representation 810 and changes the layout of the live communication user interface 804 to a 2:1 layout (e.g., in the same set of predefined layouts as the 4:1 and 3:1 layouts shown in FIGS. 8E-8F). As shown in FIG. 8G, the device 600 stops displaying primary representation 810D and enlarges primary representations 810B and 810C. FIG. 8G shows a three-participant (e.g., 2:1) layout in which the primary representations of the two participants other than the user of the device 600 are equally sized and one above the other. The vertical order of primary representations 810B and 810C is maintained, with primary representation 810B above primary representation 810C. In the layout of FIG. 8F, there is no overlap between the primary representations, and the user representation 806 overlaps primary representation 810C.

図８Ｇに対応する時点で、ライブ通信セッションには、依然として２人の参加者のみが参加している。一部の実施形態では、更なる時間の後に、デバイス６００は、別の主要表現の表示を中止し、ライブ通信ユーザインターフェース８０４のレイアウトを１対１のレイアウトに変更する。図８Ｈに示すように、デバイス６００は、主要表現８１０Ｃの表示を中止し、主要表現８１０Ｂを全画面サイズに拡大する。一部の実施形態では、デバイス６００は、リマインダアフォーダンス８０８Ａの選択後の所定時間で図８Ｇのレイアウトから図８Ｈのレイアウトに変更する。図８Ｈは、残りの主要表現８１０Ｂが全画面で表示され、ユーザ表現８０６が重なっている、２人の参加者の（例えば、１対１の）レイアウトである。図８Ｈに示すように、残りの主要表現８１０Ｂ及びユーザ表現８０６は、図８Ｅ～図８Ｇにそれぞれ示す４対１、３対１、２対１のレイアウトにおける正方形状の主要表現８１０及びユーザ表現８０６と比べて、（例えば、プロフィールの向きの）縦長の矩形である。 At the time corresponding to FIG. 8G, only two participants are still participating in the live communication session. In some embodiments, after a further time, the device 600 stops displaying the alternative primary representation and changes the layout of the live communication user interface 804 to a one-to-one layout. As shown in FIG. 8H, the device 600 stops displaying the primary representation 810C and expands the primary representation 810B to full screen size. In some embodiments, the device 600 changes from the layout of FIG. 8G to the layout of FIG. 8H at a predetermined time after the selection of the reminder affordance 808A. FIG. 8H is a two-participant (e.g., one-to-one) layout with the remaining primary representation 810B displayed full screen and overlaid by the user representation 806. As shown in FIG. 8H, the remaining primary representation 810B and user representation 806 are vertically rectangular (e.g., in profile orientation) compared to the square-shaped primary representation 810 and user representation 806 in the 4:1, 3:1, and 2:1 layouts shown in FIGS. 8E-8G, respectively.

図８Ｉに目を向けると、第３の参加者Ｓｔｅｐｈｅｎがライブ通信セッションに参加している。図８Ｉに示すように、参加者Ｓｔｅｐｈｅｎがライブ通信セッションに参加したことに応じて、デバイス６００は、図８Ｈの１対１のレイアウトの表示から、直近で参加した参加者の主要表現８１０Ｅが（デバイス６００のユーザ以外の）既存の参加者の表現８１０Ｂの参加者の上方にある２対１のレイアウトに移行する。一部の実施形態では、デバイス６００は、図８Ｉに示すように、参加者がライブ通信セッションに参加したことを示す通知８１２を表示する、及び／又はオーディオ若しくは触覚出力を生成する。一部の実施形態では、参加者Ｓｔｅｐｈｅｎがライブ通信セッションに参加したときに新規の主要表現が表示されるので、デバイス６００は、参加者がライブ通信セッションに参加したことを示す表示の役割を主要表現８１０Ｅが果たすために、通知８１２の表示又はオーディオ若しくは触覚出力の生成を控える。 Turning to FIG. 8I, a third participant, Stephen, joins the live communication session. As shown in FIG. 8I, in response to participant Stephen joining the live communication session, device 600 transitions from displaying the one-to-one layout of FIG. 8H to a two-to-one layout in which the primary representation 810E of the most recently joined participant is above the participant in the representation 810B of the existing participant (other than the user of device 600). In some embodiments, device 600 displays a notification 812 and/or generates an audio or haptic output indicating that the participant has joined the live communication session, as shown in FIG. 8I. In some embodiments, because a new primary representation is displayed when participant Stephen joins the live communication session, device 600 refrains from displaying notification 812 or generating an audio or haptic output in order for primary representation 810E to serve as an indication that the participant has joined the live communication session.

参加者Ｓｔｅｐｈｅｎは、オーディオ専用モードでライブ通信セッションに参加し、ビデオなしのライブオーディオデータを提供する。参加者Ｓｔｅｐｈｅｎのオーディオ専用通信状態は、主要表現８１０Ｅ及び通知８１２によって示される。主要表現８１０Ｅは、参加者の名前及び参加者に関連するアバターの表示によって、オーディオ専用通信状態を示す。通知８１２は、テキスト（「この通話にオーディオで参加した」）で通信状態を示す。図８Ｊに示すように、デバイス６００は、（例えば、参加者Ｓｔｅｐｈｅｎがライブ通信セッションに参加してから所定時間後に）通知８１２の表示を中止する。 Participant Stephen joins the live communication session in audio-only mode, providing live audio data without video. Participant Stephen's audio-only communication state is indicated by main representation 810E and notification 812. Main representation 810E indicates the audio-only communication state by displaying the participant's name and an avatar associated with the participant. Notification 812 indicates the communication state in text ("Joined in this call with audio"). As shown in FIG. 8J, device 600 ceases displaying notification 812 (e.g., a predetermined time after participant Stephen joins the live communication session).

一部の実施形態では、オーディオのみで参加した参加者が能動的に参加している（例えば、発話している）ことを示すデータの受信に応じて、デバイス６００は、発話している参加者の表現に視覚的表示を表示する。図８Ｊでは、参加者Ｓｔｅｐｈｅｎが発話していることを示すように、主要表現８１０Ｅ内の代表画像（例えば、アバター）が（例えば「ボイスサークル」で）アニメーション表示される。 In some embodiments, in response to receiving data indicating that an audio-only participant is actively participating (e.g., speaking), device 600 displays a visual indication on the representation of the speaking participant. In FIG. 8J, a representative image (e.g., an avatar) in primary representation 810E is animated (e.g., in a "voice circle") to indicate that participant Stephen is speaking.

図８Ｋに目を向けると、第４の参加者Ｍａｒｃｅｌがライブ通信セッションに参加している。図８Ｋに示すように、第４の参加者がライブ通信セッションに参加したことに応じて、デバイス６００は、２対１のレイアウトの表示から、直近で参加した参加者の主要表現８１０Ｆが（デバイス６００のユーザ以外の）既存の参加者の主要表現８１０Ｂ及び８１０Ｅの上方にある、（例えば、図８Ｆに示すような）３対１のレイアウトに移行する。 Turning to FIG. 8K, a fourth participant, Marcel, joins the live communication session. As shown in FIG. 8K, in response to the fourth participant joining the live communication session, the device 600 transitions from displaying a 2:1 layout to a 3:1 layout (e.g., as shown in FIG. 8F) in which a primary representation 810F of the most recently joined participant is above the primary representations 810B and 810E of existing participants (other than the user of the device 600).

参加者Ｍａｒｃｅｌは、ビデオモードでライブ通信セッションに参加し、ライブビデオ及びオーディオデータを提供する。参加者Ｍａｒｃｅｌのビデオ通信状態は、主要表現８１０Ｆによって示される。主要表現８１０Ｆは、ライブビデオストリームの表示によってビデオ通信状態を示す。図８Ｋに示すように、デバイス６００は、参加者Ｍａｒｃｅｌがライブ通信セッションに参加したことを示す通知を直ちに表示しない。 Participant Marcel joins the live communication session in video mode and provides live video and audio data. Participant Marcel's video communication state is shown by main representation 810F, which shows the video communication state by displaying a live video stream. As shown in FIG. 8K, device 600 does not immediately display a notification that participant Marcel has joined the live communication session.

図８Ｌに目を向けると、第５の参加者Ｈｏａｎがライブ通信セッションに参加している。図８Ｌに示すように、参加者Ｈｏａｎがライブ通信セッションに参加したことに応じて、デバイス６００は、３対１のレイアウトから、直近で参加した参加者の主要表現８１０Ｇが、最小の主要表現であって主要表現８１０Ｆの上方及び右に配置される、４対１のレイアウトに移行する。一部の実施形態では、参加者Ｍａｒｃｅｌ及びＨｏａｎの両方が、所定猶予時間内にライブ通信セッションに参加したとの判定を受けて、デバイス６００は、図８Ｌに示すように、参加者Ｍａｒｃｅｌ及びＨｏａｎがライブ通信セッションに参加したことを示す組み合わせ通知８１６を表示する。一部の実施形態では、組み合わせ通知８１６は、参加者が同じ通信状態（例えば、ビデオ）で参加したとの判定を受けて表示される。 Turning to FIG. 8L, a fifth participant, Hoan, joins the live communication session. As shown in FIG. 8L, in response to participant Hoan joining the live communication session, device 600 transitions from a 3:1 layout to a 4:1 layout in which the primary representation 810G of the most recently joined participant is the smallest primary representation and is positioned above and to the right of primary representation 810F. In some embodiments, upon determining that participants Marcel and Hoan have both joined the live communication session within the predefined grace period, device 600 displays a combined notification 816, as shown in FIG. 8L, indicating that participants Marcel and Hoan have joined the live communication session. In some embodiments, combined notification 816 is displayed upon determining that participants joined in the same communication state (e.g., video).

主要表現８１０Ｇに表示されるライブビデオストリーム及び通知８１６におけるビデオカメラの表現８１６Ａによって示すように、参加者Ｈｏａｎは、参加者Ｈｏａｎに関連するライブビデオ及びオーディオデータをデバイス６００が受信するように、ビデオモードでライブ通信セッションに参加する。 As shown by the live video stream displayed in the main representation 810G and the representation 816A of the video camera in the notification 816, participant Hoan participates in the live communication session in video mode such that device 600 receives live video and audio data related to participant Hoan.

図８Ｌに示すように、デバイス６００は、ディスプレイ６０２上の主要表現８１０Ｆの位置でユーザ入力８５０Ｃ（例えば、ダブルタップ）を受ける（例えば、検出する）。一部の実施形態では、図８Ｍに示すように、ユーザ入力８５０Ｃを受けたことに応じて、デバイス６００は、（４対１のレイアウトを維持しながら、）主要表現８１０Ｆを最大の表現サイズに拡大し、主要表現８１０Ｅを中サイズに縮小する。図８Ｍに示すように、デバイス６００は、（例えば、参加者Ｈｏａｎがライブ通信セッションに参加してから所定時間後に）通知８１６の表示を中止する。 As shown in FIG. 8L, device 600 receives (e.g., detects) user input 850C (e.g., a double tap) at the location of primary representation 810F on display 602. In some embodiments, as shown in FIG. 8M, in response to receiving user input 850C, device 600 expands primary representation 810F to a maximum representation size (while maintaining the 4:1 layout) and shrinks primary representation 810E to a medium size. As shown in FIG. 8M, device 600 ceases displaying notification 816 (e.g., a predetermined time after participant Hoan joins the live communication session).

一部の実施形態では、レイアウトの構成は、参加者がライブ通信セッションに能動的に参加していることを示すデータの受信に応じて動的に変更される。図８Ｍでは、デバイス６００は、主要表現８１０Ｇに対応する参加者Ｈｏａｎが能動的に参加していることを示すデータを受信する。図８Ｍに示すように、主要表現８１０Ｇに対応する参加者Ｈｏａｎが能動的に参加していることを示すデータの受信に応じて、デバイス６００は、主要表現８１０Ｇを小さな表現サイズから中位の表現サイズに拡大し、主要表現８１０Ｂを中位の表現サイズから小の表現サイズに縮小する。このようにして、４対１のレイアウトは、１つの小サイズの表現、２つの中サイズの表現、及び１つの大サイズの表現を維持する。 In some embodiments, the configuration of the layout is dynamically altered in response to receiving data indicating that participants are actively participating in the live communication session. In FIG. 8M, device 600 receives data indicating that participant Hoan, corresponding to primary representation 810G, is actively participating. As shown in FIG. 8M, in response to receiving data indicating that participant Hoan, corresponding to primary representation 810G, is actively participating, device 600 enlarges primary representation 810G from a small representation size to a medium representation size and reduces primary representation 810B from a medium representation size to a small representation size. In this manner, the 4:1 layout maintains one small representation, two medium representations, and one large representation.

図８Ｍに示すように、デバイス６００は、ディスプレイ６０２上の主要表現８１０Ｇの位置でユーザ入力８５０Ｄ（例えば、ダブルタップ）を受ける（例えば、検出する）。一部の実施形態では、図８Ｎに示すように、ユーザ入力８５０Ｄを受けたことに応じて、デバイス６００は、主要表現８１０Ｇを拡大し、表示される他の主要表現の前方の最前面に主要表現８１０Ｇを押し出す。拡大された主要表現８１０Ｇの後方の背景は、ユーザ表現８０６を除いてグレーアウト表示される。 As shown in FIG. 8M, device 600 receives (e.g., detects) a user input 850D (e.g., a double tap) at the location of primary representation 810G on display 602. In some embodiments, as shown in FIG. 8N, in response to receiving user input 850D, device 600 enlarges primary representation 810G, pushing primary representation 810G to the forefront in front of other displayed primary representations. The background behind enlarged primary representation 810G is grayed out, except for user representation 806.

図８Ｏに示すように、デバイス６００は、キャンセルアフォーダンス８１８上のユーザ入力８５０Ｅ（例えば、タップ）を受ける（例えば、検出する）。図８Ｐに示すように、ユーザ入力８５０Ｅを受けたことに応じて、デバイス６００は、主要表現８１０Ｇのサイズを小さくし、中の表現サイズに縮小された主要表現８０１Ｆの代わりに主要表現８１０Ｇが大サイズの主要表現を占める点を除いて、ユーザ入力８５０Ｄに先立って表示された４対１のレイアウトに表示を戻す。 As shown in FIG. 8O, device 600 receives (e.g., detects) user input 850E (e.g., a tap) on cancel affordance 818. As shown in FIG. 8P, in response to receiving user input 850E, device 600 reduces the size of primary representation 810G and returns the display to the 4:1 layout displayed prior to user input 850D, except that primary representation 810G occupies the large primary representation in place of primary representation 801F, which has been reduced to a medium representation size.

図８Ｑに目を向けると、第６の参加者がライブ通信セッションに参加する。図８Ｑに示すように、第６の参加者がライブ通信セッションに参加したことに応じて、かつ接続している参加者の数が所定の閾値である５人の参加者を超えたことを受けて、デバイス６００は、第６の参加者のオーバーフロー表現８２２Ａをオーバーフロー領域８２０に表示し、ユーザ表現８０６を、オーバーフロー表現８２２Ａがユーザ表現８０６の左となるようにオーバーフロー領域８２０に移動させる。図８Ｑに示すように、オーバーフロー表現８２２Ａ及びユーザ表現８０６は、オーバーフロー領域８２０の中央に並べられる。一部の実施形態では、デバイス６００は、最小の主要表現（例えば、８１０Ｂ）を、新規に参加した参加者（例えば、第６の参加者）の表現に置き換え、置き換えられた参加者のオーバーフロー表現をオーバーフロー領域８２０に表示する（例えば、表現８１０Ｂは、サイズが縮小され、オーバーフロー領域８２０内のオーバーフロー表現８２２Ａの位置に移動される）。一部の実施形態では、第６の参加者がライブ通信セッションに参加したことに応じて、かつ接続している参加者の数が所定の閾値である５人の参加者を超えたことを受けて、デバイス６００は、例えば図８ＡＹに示すように、現在参加している参加者又は参加者全て（現在参加している参加者及び招待されている参加者）のオーバーフロー表現をオーバーフロー領域に表示する。 Turning to FIG. 8Q, a sixth participant joins the live communication session. As shown in FIG. 8Q, in response to the sixth participant joining the live communication session and in response to the number of connected participants exceeding the predetermined threshold of five participants, the device 600 displays an overflow representation 822A of the sixth participant in the overflow area 820 and moves the user representation 806 into the overflow area 820 such that the overflow representation 822A is to the left of the user representation 806. As shown in FIG. 8Q, the overflow representation 822A and the user representation 806 are aligned to the center of the overflow area 820. In some embodiments, the device 600 replaces the smallest primary representation (e.g., 810B) with the representation of the newly joined participant (e.g., the sixth participant) and displays the overflow representation of the replaced participant in the overflow area 820 (e.g., the representation 810B is reduced in size and moved to the position of the overflow representation 822A in the overflow area 820). In some embodiments, in response to a sixth participant joining the live communication session, and in response to the number of connected participants exceeding a predetermined threshold of five participants, the device 600 displays an overflow representation of the currently joined participants or all participants (currently joined participants and invited participants) in the overflow area, as shown, for example, in FIG. 8AY.

図８Ｑに示すように、オーバーフロー領域８２０及び主要表現８１０は重なり合わない。一部の実施形態では、オーバーフロー領域のための空間を作るために、デバイス６００は、主要表現の１つ以上のサイズを小さくする、及び／又は上下に平行移動させる。一部の実施形態では、デバイス６００は、中サイズの主要表現のサイズを小さくし、小及び大サイズの主要表現のサイズを維持する。一部の実施形態では、デバイス６００は、主要表現間の上下のへだたりを小さくする、及び／又は上下の重なりを大きくする。 As shown in FIG. 8Q, overflow region 820 and primary representation 810 do not overlap. In some embodiments, to make room for the overflow region, device 600 reduces the size and/or translates vertically one or more of the primary representations. In some embodiments, device 600 reduces the size of the medium-sized primary representation and maintains the size of the small and large primary representations. In some embodiments, device 600 reduces the vertical gap and/or increases the vertical overlap between the primary representations.

図８Ｒに目を向けると、第７の参加者がライブ通信セッションに参加している。第７の参加者がライブ通信セッションに参加したことに応じて、デバイス６００は、第７の参加者のオーバーフロー表現８２２Ｂをオーバーフロー領域８２０内のオーバーフロー表現８２２Ａの左に追加する。図８Ｒに示すように、オーバーフロー表現８２２Ａ及びユーザ表現８０６は、オーバーフロー表現８２２Ａ及び８２２Ｂ並びにユーザ表現８０６がオーバーフロー領域８２０の中央に並べられるように、（図８Ｑと比べて）右に移動される。一部の実施形態では、第７の参加者のオーバーフロー表現８２２Ｂは、オーバーフロー表現８２２Ａの右側の、オーバーフロー表現８２２Ａとユーザ表現８０６との間に追加される。図８ＡＺに示す実施形態では、第７の参加者がライブ通信セッションに参加したことに応じて、デバイス６００は、最小の主要表現（例えば、図８ＡＹの８１０Ｈ）を主要表現８１０Ｉに置き換え、参加者Ｐａｂｌｏに対応するオーバーフロー表現８２２Ｆをプレースホルダからライブビデオストリームに変更する。 Turning to FIG. 8R, a seventh participant joins the live communication session. In response to the seventh participant joining the live communication session, the device 600 adds an overflow representation 822B of the seventh participant to the left of the overflow representation 822A in the overflow area 820. As shown in FIG. 8R, the overflow representation 822A and the user representation 806 are moved to the right (relative to FIG. 8Q) such that the overflow representations 822A and 822B and the user representation 806 are aligned to the center of the overflow area 820. In some embodiments, the overflow representation 822B of the seventh participant is added to the right of the overflow representation 822A, between the overflow representation 822A and the user representation 806. In the embodiment shown in FIG. 8AZ, in response to a seventh participant joining the live communication session, the device 600 replaces the minimal primary representation (e.g., 810H in FIG. 8AY) with primary representation 810I and changes the overflow representation 822F corresponding to participant Pablo from a placeholder to a live video stream.

図８Ｓに示すように、第８の参加者がライブ通信セッションに参加している。第８の参加者がライブ通信セッションに参加したことに応じて、デバイス６００は、第８の参加者のオーバーフロー表現８２２Ｃをオーバーフロー領域８２０内のオーバーフロー表現８２２Ｂの左に追加する。図８Ｓに示すように、オーバーフロー表現８２２Ａ及び８２２Ｂ並びにユーザ表現８０６は、オーバーフロー表現８２２Ａ、８２２Ｂ及び８２２Ｃ並びにユーザ表現８０６がオーバーフロー領域８２０の中央に並べられるように、（図８Ｑと比べて）右に移動される。 As shown in FIG. 8S, an eighth participant joins the live communication session. In response to the eighth participant joining the live communication session, the device 600 adds an overflow representation 822C of the eighth participant to the left of the overflow representation 822B in the overflow region 820. As shown in FIG. 8S, the overflow representations 822A and 822B and the user representation 806 are shifted to the right (relative to FIG. 8Q) such that the overflow representations 822A, 822B, and 822C and the user representation 806 are aligned to the center of the overflow region 820.

図８Ｔに目を向けると、第９の参加者がライブ通信セッションに参加している。第９の参加者がライブ通信セッションに参加したことに応じて、デバイス６００は、第９の参加者のオーバーフロー表現８２２Ｄをオーバーフロー領域８２０内のオーバーフロー表現８２２Ｃの左に追加する。図８Ｔに示すように、オーバーフロー表現８２２Ｄ、８２２Ｃ、及び８２２Ｂ並びにユーザ表現８０６は、完全に表示される。オーバーフロー表現８２２Ａは、部分的に表示され、右側部分にユーザ表現８０６が重なる。オーバーフロー表現８２２Ａは、オーバーフロー表現８２２Ａがユーザ表現８０６に出会う位置で（例えば、陰影効果によって）網掛けされる。図示の実施形態では、オーバーフロー表現８２２及びユーザ表現８０６のサイズは、第７、第８、及び第９の参加者がライブ通信セッションに参加したときと同じままである。図８Ｔは、（オーバーフロー表現８２２Ａ、８２２Ｂ、８２２Ｃ及び８２２Ｄによってそれぞれ表される）参加者Ｍａｒｙ、Ｍｉｃｋ、Ｊｏｈｎ、及びＴｏｍがライブ通信に参加したことを示す組み合わせ通知８２４をデバイス６００が表示することを示す。一部の実施形態では、（例えば、第９の参加者を超える）追加の参加者がライブ通信セッションに参加するときに、既存のオーバーフロー表現がオーバーフロー領域８２０内で右にシフトして新規のオーバーフロー表現のための空間を作り、ユーザ表現８０６はオーバーフロー領域８２０の右側に完全に表示されたままで、新規に参加した参加者のオーバーフロー表現が既存のオーバーフロー表現の左端に追加される（例えば、既存のオーバーフロー表現は、右に、ユーザ表現８０６の「下」へとスクロールされる）。一部の実施形態では、新規に参加した参加者のオーバーフロー表現は、ユーザ表現８０６がオーバーフロー領域８２０の右側に完全に表示されたままで、既存のオーバーフロー表現の右端に追加される。一部の実施形態では、オーバーフロー領域が完全に占められている場合、既存のオーバーフロー表現の右端に追加される新規に参加した参加者の表現は直ちに表示されない（例えば、新規のオーバーフロー表現は、オーバーフロー表現を左にスクロールすることに応じて表示される）。 Turning to FIG. 8T, a ninth participant has joined the live communication session. In response to the ninth participant joining the live communication session, the device 600 adds an overflow representation 822D of the ninth participant to the left of the overflow representation 822C in the overflow area 820. As shown in FIG. 8T, the overflow representations 822D, 822C, and 822B and the user representation 806 are fully displayed. The overflow representation 822A is partially displayed, overlapping the user representation 806 on the right portion. The overflow representation 822A is shaded (e.g., by a shading effect) where the overflow representation 822A meets the user representation 806. In the illustrated embodiment, the size of the overflow representation 822 and the user representation 806 remains the same as when the seventh, eighth, and ninth participants joined the live communication session. 8T illustrates the device 600 displaying a combined notification 824 indicating that participants Mary, Mick, John, and Tom (represented by overflow representations 822A, 822B, 822C, and 822D, respectively) have joined the live communication. In some embodiments, as additional participants (e.g., beyond the ninth participant) join the live communication session, the existing overflow representations shift to the right within the overflow region 820 to make room for the new overflow representations, while the user representation 806 remains fully displayed on the right side of the overflow region 820, and the overflow representation of the newly joined participant is added to the left end of the existing overflow representations (e.g., the existing overflow representations are scrolled to the right, "below" the user representation 806). In some embodiments, the overflow representation of the newly joined participant is added to the right end of the existing overflow representations, while the user representation 806 remains fully displayed on the right side of the overflow region 820. In some embodiments, if the overflow area is fully occupied, a representation of a newly joined participant that is added to the right edge of an existing overflow representation is not immediately displayed (e.g., the new overflow representation is displayed in response to scrolling the overflow representation to the left).

図８Ｕに目を向けると、デバイス６００は、オーバーフロー表現８２２Ｂに対応する参加者がライブ通信セッションに能動的に参加していることを示すデータを受信する。一部の実施形態では、デバイス６００は、能動的に参加している参加者の活動レベルが、主要表現によって表される参加者の活動レベルを超えて上昇したとの判定に応じて、主要表現を能動的に参加している参加者の表現に置き換える。図示の実施形態では、オーバーフロー表現８２２Ｂに対応する参加者がライブ通信セッションに能動的に参加していることを示すデータの受信に応じて、デバイス６００は、最小の主要表現を、能動的に参加している参加者の表現に置き換え、置き換えられた主要表現に対応する参加者のオーバーフロー表現を表示する。図８Ｕに示すように、主要表現８１０Ｂ（最小の主要表現）は網掛けされるかフェードし始め、能動的に参加している参加者のオーバーフロー表現８２２Ｂは網掛けされるかフェードアウトし始めてサイズを縮小され、主要表現８１０Ｂ（置き換えられる主要表現）の参加者に対応する新規のオーバーフロー表現８２２Ｅがディスプレイ６０２の左縁からオーバーフロー表現８２２Ｄの左へとオーバーフロー領域８２０に入るときに、オーバーフロー表現８２２Ｃ及び８２２Ｄは右にシフトされる。一部の実施形態では、主要表現８１０Ｂは、（例えば、置き換えられることを強調するように）僅かに拡大される。図８Ｖ～図８Ｗに示すように、主要表現８１０Ｂは、能動的に参加している参加者の主要表現８１０Ｈに置き換えられ、オーバーフロー表現８２２Ｂは削除されるまで収縮し続け、オーバーフロー表現８２２Ｅが完全に表示され、削除されたオーバーフロー表現８２２Ｂによって従前に占められていたオーバーフロー領域８２０の位置をオーバーフロー表現８２２Ｃが占めるまで、オーバーフロー表現８２２Ｃ及び８２２Ｄは右にシフトし続ける。図８Ｕ～図８Ｗでは、オーバーフロー表現８２２Ａ及びユーザ表現８０６は同じ位置のままである。 8U, device 600 receives data indicating that a participant corresponding to overflow representation 822B is actively participating in the live communication session. In some embodiments, device 600 replaces the primary representation with a representation of the actively participating participant in response to determining that the activity level of the actively participating participant has risen above the activity level of the participant represented by the primary representation. In the illustrated embodiment, in response to receiving data indicating that a participant corresponding to overflow representation 822B is actively participating in the live communication session, device 600 replaces the minimal primary representation with a representation of the actively participating participant and displays an overflow representation of the participant corresponding to the replaced primary representation. 8U, primary representation 810B (the smallest primary representation) begins to shade or fade, overflow representations 822B of actively participating participants begin to shade or fade out and are reduced in size, and overflow representations 822C and 822D are shifted to the right as a new overflow representation 822E corresponding to the participant in primary representation 810B (the replacing primary representation) enters overflow region 820 from the left edge of display 602 to the left of overflow representation 822D. In some embodiments, primary representation 810B is enlarged slightly (e.g., to emphasize that it is being replaced). As shown in Figures 8V-8W, the primary representation 810B is replaced by the actively participating participant's primary representation 810H, the overflow representation 822B continues to shrink until it is deleted, and overflow representations 822C and 822D continue to shift to the right until overflow representation 822E is fully displayed and overflow representation 822C occupies the position in the overflow region 820 previously occupied by the deleted overflow representation 822B. In Figures 8U-8W, overflow representation 822A and user representation 806 remain in the same position.

一部の実施形態では、デバイス６００のユーザが能動的に参加することに応じて、デバイス６００はユーザ表現８０６を視覚的に区別する。図ＡＺに示す実施形態では、デバイス６００は、ユーザ表現８０６の周囲に太い境界を表示し、ユーザ表現８０６の下でイニシャルバーを強調する。 In some embodiments, device 600 visually distinguishes user representation 806 in response to active participation by the user of device 600. In the embodiment shown in Figure AZ, device 600 displays a thick border around user representation 806 and highlights an initial bar below user representation 806.

図８Ｘに目を向けると、デバイス６００は、縦置き（垂直）の向きから横置き（水平）の向きに回転される。図８Ｘに示すように、デバイス６００が回転されるのに応じて、デバイス６００は、デバイス６００の回転に先立って占められていたディスプレイ６０２のそれぞれの領域内の表現を維持する（例えば、ユーザ表現並びに各主要表現及びオーバーフロー表現は、デバイス６００の回転の前後でディスプレイ６０２上の同じ領域を占める）。表現内の画像は、参加者が横置きの向きに対して直立となるように回転される。一部の実施形態では、デバイス６００は、主要表現又は主要表現内の画像のアニメーション化された回転（例えば、デバイス６００の回転方向とは反対に９０度）を表示する。オーバーフロー表現が正方形ではない一部の実施形態では、デバイス６００が回転されると、参加者のビデオデータは、それぞれのオーバーフロー表現にユーザの顔を含む（例えば、センタリングする）ようにトリミング及び／又は平行移動される。主要表現が正方形ではない一部の実施形態では、デバイス６００が回転されると、参加者のビデオデータは、それぞれの主要表現にユーザの顔をセンタリングするようにトリミング及び／又は平行移動される。一部の実施形態では、参加者のビデオデータは、（例えば、受信されたビデオデータが、表示される表現とは異なるアスペクト比又は形式を有するときなど、デバイス６００が回転されるか否かにかかわらず）ユーザの顔を含むようにトリミングされる。 Turning to FIG. 8X, device 600 is rotated from a portrait (vertical) orientation to a landscape (horizontal) orientation. As shown in FIG. 8X, as device 600 is rotated, device 600 maintains the representations in their respective areas of display 602 that were occupied prior to device 600 rotation (e.g., the user representation and each of the main and overflow representations occupy the same areas on display 602 before and after device 600 rotation). The images in the representations are rotated so that the participant is upright relative to the landscape orientation. In some embodiments, device 600 displays an animated rotation (e.g., 90 degrees opposite the direction of device 600 rotation) of the main representation or an image in the main representation. In some embodiments where the overflow representation is not square, as device 600 is rotated, the participant's video data is cropped and/or translated to include (e.g., center) the user's face in the respective overflow representation. In some embodiments where the primary representations are not square, when device 600 is rotated, the participants' video data is cropped and/or translated to center the user's face in their respective primary representations. In some embodiments, the participants' video data is cropped to include the user's face (whether or not device 600 is rotated, e.g., when the received video data has a different aspect ratio or format than the displayed representation).

図８Ｘに示すように、主要表現８１０Ｈに対応する参加者は、能動的に参加し始める。これに応じて、デバイス６００は、図８Ｙに示すように、主要表現８１０Ｈを拡大し、主要表現８１０Ｅのサイズを小さくする。図８ＢＡ～図８ＢＢに示す実施形態では、デバイス６００は、アクティブな参加者に対応するオーバーフロー表現８２２Ｆを視覚的に区別する（例えば、強調されたイニシャルバー）。 As shown in FIG. 8X, the participant corresponding to the primary representation 810H begins to actively participate. In response, the device 600 expands the primary representation 810H and reduces the size of the primary representation 810E, as shown in FIG. 8Y. In the embodiment shown in FIGS. 8BA-BB, the device 600 visually distinguishes the overflow representation 822F corresponding to the active participant (e.g., an emphasized initial bar).

一部の実施形態では、参加者がライブ通信セッションに参加したことに応じて、デバイス６００は、既存の主要表現を新規に参加した参加者の主要表現に置き換え、置き換えられた参加者をオーバーフロー領域８２０に移動する。図８Ｚに目を向けると、参加者Ｐａｂｌｏがライブ通信セッションに参加している。これに応じて、デバイス６００は、最小の主要表現８１０Ｅ（Ｓｔｅｐｈｅｎ）を、新規に参加した参加者Ｐａｂｌｏの主要表現８１０Ｉに置き換え、オーバーフロー表現８２２Ｆ（Ｓｔｅｐｈｅｎ）をオーバーフロー領域８２０に表示する。オーバーフロー表現８２２Ｆのための場所を作るために、オーバーフロー表現８２２Ａ、８２２Ｃ、８２２Ｄ、及び８２２Ｅは、（例えば、図８Ｚに示すデバイス６００の向きに応じて上方に）スクロールされる。図８Ｚに示すように、オーバーフロー表現８２２Ａは見ることができなくなり、オーバーフロー表現８２２Ｃはユーザ表現８０６によって部分的に隠される。 In some embodiments, in response to a participant joining the live communication session, the device 600 replaces the existing primary representation with the primary representation of the newly joined participant and moves the replaced participant to the overflow area 820. Turning to FIG. 8Z, participant Pablo joins the live communication session. In response, the device 600 replaces the smallest primary representation 810E (Stephen) with the primary representation 810I of the newly joined participant Pablo and displays the overflow representation 822F (Stephen) in the overflow area 820. To make room for the overflow representation 822F, the overflow representations 822A, 822C, 822D, and 822E are scrolled (e.g., upwards, depending on the orientation of the device 600 shown in FIG. 8Z). As shown in FIG. 8Z, the overflow representation 822A is no longer visible and the overflow representation 822C is partially obscured by the user representation 806.

図８ＡＡに目を向けると、デバイス６００は、横置き（水平）の向きから縦置き（垂直）の向きに回転される。これに応じて、デバイス６００は、表現内の参加者の画像を回転させる一方で、各表現によって占められるディスプレイ上の領域を維持する（例えば、デバイス６００は、デバイスが縦置きの向きから横置きの向きに回転されることに応じて行われた回転を反転させる）。 Turning to FIG. 8AA, device 600 is rotated from a landscape (horizontal) orientation to a portrait (vertical) orientation. In response, device 600 rotates the images of the participants in the representations while preserving the area on the display occupied by each representation (e.g., device 600 reverses the rotation made in response to the device being rotated from a portrait orientation to a landscape orientation).

図８ＡＢでは、主要表現８１０Ｇに対応する参加者は、ライブ通信セッションを退出（接続解除）している。任意選択的に、図８ＢＣに示す実施形態に示すように、これに応じて、デバイス６００は、参加者がライブ通信セッションから退出したことを示す通知８２８を表示する。参加者の数が５人よりも多いままであるので、デバイス６００は、オーバーフロー領域８２０の表示を伴う４対１のレイアウトを維持する。図８ＡＣに示すように、主要表現８１０Ｇは、活動レベルが次に最も高い参加者Ｓｔｅｐｈｅｎの主要表現８１０Ｊに置き換えられ、参加者Ｓｔｅｐｈｅｎに対応するオーバーフロー表現８２２Ｆは、オーバーフロー領域８２０から削除される。オーバーフロー表現８２２Ｆが削除されると、残りのオーバーフロー表現８２２Ａ、８２２Ｃ、８２２Ｄ、８２２Ｅは、左にスクロールされる。図８ＢＤに示す実施形態では、参加者Ｈｏａｎのオーバーフロー表現８２２Ｄは、参加者Ｈｏａｎが接続していないことを示すプレースホルダと、参加者Ｈｏａｎに再参加を要求するためのリマインダアフォーダンスとを表示するように更新される。 In FIG. 8AB, the participant corresponding to the main representation 810G has left (disconnected) the live communication session. Optionally, as shown in the embodiment shown in FIG. 8BC, in response, the device 600 displays a notification 828 indicating that the participant has left the live communication session. Since the number of participants remains greater than five, the device 600 maintains the four-to-one layout with the display of the overflow area 820. As shown in FIG. 8AC, the main representation 810G is replaced with the main representation 810J of the participant Stephen with the next highest activity level, and the overflow representation 822F corresponding to the participant Stephen is removed from the overflow area 820. Once the overflow representation 822F is removed, the remaining overflow representations 822A, 822C, 822D, 822E are scrolled to the left. In the embodiment shown in FIG. 8BD, participant Hoan's overflow representation 822D is updated to display a placeholder indicating that participant Hoan is not connected and a reminder affordance to request participant Hoan to rejoin.

一部の実施形態では、ライブ通信セッションから参加者が退出するときに、ライブ通信の参加者の数が６人から５人に減ると、デバイス６００はオーバーフロー領域８２０の表示を中止し、任意選択的に、主要表現の１つ以上のサイズ及び／又は上下間隔を大きくする。 In some embodiments, when a participant leaves the live communication session, and the number of participants in the live communication drops from six to five, the device 600 ceases displaying the overflow region 820 and, optionally, increases the size and/or vertical spacing of one or more of the primary representations.

図８ＡＣでは、デバイス６００は、参加者Ａｌｌｉｓｏｎのオーバーフロー表現８２２Ｅの選択に対応するユーザ入力８５０Ｆ（例えば、ダブルタップ）を受ける（例えば、検出する）。図８ＡＤに示すように、ユーザ入力８５０Ｆを受けたことに応じて、デバイス６００は、現在表示されている主要表現８１０の４対１のレイアウトの前方に参加者Ａｌｌｉｓｏｎの拡大表現８３０を表示する。拡大表現８３０の表示は、拡大表現８３０が４対１のレイアウトの主要表現から前に押し出されない点を除いて、図８Ｎの拡大表現８１０Ｇの表示と同様である。 In FIG. 8AC, the device 600 receives (e.g., detects) a user input 850F (e.g., a double tap) corresponding to a selection of the overflow representation 822E of participant Allison. As shown in FIG. 8AD, in response to receiving the user input 850F, the device 600 displays an enlarged representation 830 of participant Allison in front of the currently displayed primary representation 810 in a 4-to-1 layout. The display of the enlarged representation 830 is similar to the display of the enlarged representation 810G of FIG. 8N, except that the enlarged representation 830 is not pushed forward from the primary representation in the 4-to-1 layout.

図８ＡＤに示すように、デバイス６００は、閉じるアフォーダンス８１８の選択に対応するユーザ入力８５０Ｇ（例えば、タップ）を受ける（例えば、検出する）。図８ＡＥ～図８ＡＦに示すように、ユーザ入力８５０Ｆを受けたことに応じて、デバイス６００は、参加者Ｓｔｅｐｈｅｎ（例えば、現在の主要表現を伴う参加者のうちの活動状態が最も低い参加者）の主要表現８１０Ｊの代わりに、参加者Ａｌｌｉｓｏｎの主要表現８１０Ｋを表示する。主要表現８１０Ｋ（少なくとも最初に）は、縁の下部分に沿ってリボン（又は帯）８４２Ａを含み、それは、参加者の名前と、（例えば、図８ＡＤに示すように）表現を拡大するためのアフォーダンスとを含む。図８ＡＥ～図８ＡＦは、主要表現８１０Ｊを主要表現８１０Ｋに置き換える例示的なアニメーションを示す。主要表現８１０Ｋは、最初に（図８ＡＣの主要表現８１０Ｊと同じように）小さな表現サイズで表示され、その後に中の表現サイズに拡大される一方、主要表現８１０Ｈは、中から小に縮小される。参加者Ａｌｌｉｓｏｎに対応するオーバーフロー表現８２２Ｅは、サイズが小さくなる、及び／又はフェードアウトする一方、置き換えられた参加者のオーバーフロー表現８２２Ｆは、オーバーフロー領域８２０内に平行移動する。一部の実施形態では、主要表現８１０Ｊの表示を中止し、主要表現８１０Ｋを表示することは、主要表現８１０Ｊから主要表現８１０Ｋへのクロスフェード、及び／又は「フラッシュ」効果を生じる色合を含む。図８ＢＥ～図８ＢＨは、主要表現８１０Ｊがフラッシュ効果を伴って削除される実施形態を示す。 As shown in FIG. 8AD, the device 600 receives (e.g., detects) a user input 850G (e.g., a tap) corresponding to a selection of the close affordance 818. As shown in FIG. 8AE-8AF, in response to receiving the user input 850F, the device 600 displays a primary representation 810K of participant Allison in place of a primary representation 810J of participant Stephen (e.g., the least active participant with a current primary representation). The primary representation 810K (at least initially) includes a ribbon (or band) 842A along a lower portion of the edge, which includes the participant's name and an affordance for expanding the representation (e.g., as shown in FIG. 8AD). FIG. 8AE-8AF show an example animation of replacing the primary representation 810J with the primary representation 810K. Primary representation 810K is initially displayed at a small representation size (similar to primary representation 810J in FIG. 8AC) and then scaled up to a medium representation size, while primary representation 810H is scaled down from medium to small. Overflow representation 822E corresponding to participant Allison scales down in size and/or fades out, while overflow representation 822F of the replaced participant translates into overflow region 820. In some embodiments, ceasing to display primary representation 810J and displaying primary representation 810K includes a cross-fade from primary representation 810J to primary representation 810K and/or a color tint that creates a "flash" effect. FIGS. 8BE-8BH show an embodiment in which primary representation 810J is removed with a flash effect.

一部の実施形態では、オーバーフロー領域８２０は、スクロール可能である。図８ＢＨ～図ＢＩに示す実施形態を参照すると、デバイス６００は、対応するオーバーフロー表現が現在表示されていない又は完全には表示されていない参加者による能動的な参加に応じて、オーバーフロー領域８２０内でオーバーフロー表現８２２をスクロールする。図８ＢＨに示すように、（主要表現８１０Ｉに対応する）参加者のオーバーフロー表現８２２Ｆは、オーバーフロー領域８２０内で部分的に隠される。図８ＢＨでは、主要表現８１０Ｉに対応する参加者は、ライブ通信セッションに能動的に参加する。図８ＢＩに示すように、主要表現８１０Ｉに対応する参加者が能動的に参加していることを示すデータの受信に応じて、デバイス６００は主要表現８１０Ｉを拡大し、（例えば、オーバーフロー領域８２０の表示部分の中央付近に）オーバーフロー表現８２２Ｆが完全に表示されるようにオーバーフロー表現８２２をスクロールし、オーバーフロー表現８２２Ｆの下部分にあるイニシャルバーを強調することによってオーバーフロー表現８２２Ｆを視覚的に示す。 In some embodiments, the overflow region 820 is scrollable. With reference to the embodiment illustrated in FIG. 8BH-FIG. 8BI, the device 600 scrolls the overflow representation 822 within the overflow region 820 in response to active participation by a participant whose corresponding overflow representation is not currently displayed or is not fully displayed. As illustrated in FIG. 8BH, the overflow representation 822F of a participant (corresponding to the main representation 810I) is partially obscured within the overflow region 820. In FIG. 8BH, the participant corresponding to the main representation 810I actively participates in the live communication session. As illustrated in FIG. 8BI, in response to receiving data indicating that the participant corresponding to the main representation 810I is actively participating, the device 600 enlarges the main representation 810I, scrolls the overflow representation 822 so that the overflow representation 822F is fully displayed (e.g., near the center of the displayed portion of the overflow region 820), and visually indicates the overflow representation 822F by highlighting the initial bar at the bottom portion of the overflow representation 822F.

図８ＡＧに目を向けると、デバイス６００は、ディスプレイ６０２と接触したままで、オーバーフロー領域８２０上で右から左に水平に移動される接触８５０Ｈを検出する。図８ＡＨに示すように、接触８５０Ｈを受けたことに応じて、デバイス６００は、オーバーフロー表現８２２Ｆがディスプレイ６０２の左縁から部分的に外れ、ユーザ表現８０６がオーバーフロー表現８２２Ａに重ならなくなるように、オーバーフロー表現８２２をディスプレイ６０２上で左にスクロールする。ＩＳＥ、接触８５０Ｈ及びオーバーフロー表現８２２は、同じだけ水平に移動する。 Turning to FIG. 8AG, device 600 detects contact 850H, which remains in contact with display 602 and is moved horizontally from right to left on overflow region 820. As shown in FIG. 8AH, in response to receiving contact 850H, device 600 scrolls overflow representation 822 to the left on display 602 such that overflow representation 822F is partially off the left edge of display 602 and user representation 806 no longer overlaps overflow representation 822A. ISE, contact 850H and overflow representation 822 move horizontally the same amount.

オーバーフロー領域８２０をスクロールしている間、主要表現８１０は変化しないままである。また、ユーザ表現８０６は、オーバーフロー領域８２０内に留まる。 While scrolling the overflow region 820, the main representation 810 remains unchanged. Also, the user representation 806 remains within the overflow region 820.

図８ＢＪ～図８ＢＫに示す実施形態では、接触８５０Ｈは、オーバーフロー領域８２０の左側で始まり、水平に右に移動される。これに応じて、デバイス６００は、オーバーフロー表現８２２をディスプレイ６０２上で右にスクロールする。図８ＢＪ～図８ＢＫでは、デバイス６００は、表現がユーザ表現８０６に達すると、同表現をディスプレイ６０２から削除する（例えば、表示しなくなる）。 In the embodiment shown in Figures 8BJ-8BK, contact 850H begins on the left side of overflow region 820 and is moved horizontally to the right. In response, device 600 scrolls overflow representation 822 to the right on display 602. In Figures 8BJ-8BK, device 600 removes (e.g., ceases to display) the representation from display 602 when it reaches user representation 806.

図８ＡＨに目を向けると、デバイス６００は、主要表現８１０が表示されていないディスプレイ６０２上の位置でユーザ入力８５０Ｉ（例えば、タップ）を受ける（例えば、検出する）。図８ＡＩに示すように、ユーザ入力８５０Ｉを受けたことに応じて、デバイス６００は、（例えば、ライブ通信セッションから退出するための）通話アフォーダンス８３４、効果アフォーダンス８３６、メニューアフォーダンス８３８、及びハンドルアフォーダンス８４０を含む通話コントロールメニュー８３２を表示する。 8AH, device 600 receives (e.g., detects) user input 850I (e.g., a tap) at a location on display 602 where primary representation 810 is not displayed. As shown in FIG. 8AI, in response to receiving user input 850I, device 600 displays call control menu 832 including call affordance 834 (e.g., for exiting a live communication session), effects affordance 836, menu affordance 838, and handle affordance 840.

図８ＡＩに示すように、通話コントロールメニュー８３２は、オーバーフロー領域８２０及び主要表現８１０とは重ならない。通話コントロールメニュー８３２のための場所を作るために、デバイス６００は、主要表現８１０の１つ以上のサイズを小さくする、及び／又は上下に平行移動させ（例えば、キャンバス領域８１１のサイズを小さくする）、オーバーフロー領域８２０をディスプレイ６０２上で上方に移動させる。一部の実施形態では、デバイス６００は、中サイズの主要表現のサイズを小さくし、小及び大サイズの主要表現のサイズを維持する。一部の実施形態では、デバイス６００は、主要表現間の上下のへだたりを小さくする、及び／又は上下の重なりを大きくする。 As shown in FIG. 8AI, the call control menu 832 does not overlap the overflow region 820 and the primary representation 810. To make room for the call control menu 832, the device 600 reduces the size and/or translates vertically one or more of the primary representations 810 (e.g., reduces the size of the canvas area 811) and moves the overflow region 820 up on the display 602. In some embodiments, the device 600 reduces the size of the medium-sized primary representation and maintains the size of the small and large primary representations. In some embodiments, the device 600 reduces the vertical gap and/or increases the vertical overlap between the primary representations.

ユーザ入力８５０Ｉを受けたことに応じて、デバイス６００は、主要表現のそれぞれにリボン８４２Ａ～８４２Ｄをも表示する。リボン８４２Ａ～８４２Ｄは、対応する参加者の名前と、（例えば、図８Ｏに示すように）表現を拡大するためのアフォーダンスとを含む。一部の実施形態では、リボン８４２Ａ～８４２Ｄの上下高さは、主要表現間の上下の重なり量と同じである。 In response to receiving user input 850I, device 600 also displays ribbons 842A-842D in each of the primary representations. Ribbons 842A-842D include the name of the corresponding participant and an affordance for expanding the representation (e.g., as shown in FIG. 8O). In some embodiments, the vertical height of ribbons 842A-842D is the same as the amount of vertical overlap between the primary representations.

図８ＡＪに示すように、デバイス６００は、メニューアフォーダンス８３８の選択に対応するユーザ入力８５０Ｊ（例えば、タップ）を受ける（例えば、検出する）。一部の実施形態では、ユーザ入力８５０Ｊは、（例えば、ハンドルアフォーダンス８４０上で）通話コントロールメニュー８３２から開始する上方向スワイプを含む。図８ＡＫに示すように、ユーザ入力８５０Ｊに応じて、デバイス６００は、図６Ｈの通話コントロールメニュー６３０に関して説明した追加情報及びコントローラに類似する、ライブ通信セッションに関する追加情報及びコントローラを表示するように、通話コントロールメニュー８３２を拡張する。 As shown in FIG. 8AJ, the device 600 receives (e.g., detects) a user input 850J (e.g., a tap) corresponding to a selection of the menu affordance 838. In some embodiments, the user input 850J includes an upward swipe starting from the call control menu 832 (e.g., on the handle affordance 840). As shown in FIG. 8AK, in response to the user input 850J, the device 600 expands the call control menu 832 to display additional information and controls related to the live communication session, similar to the additional information and controls described with respect to the call control menu 630 of FIG. 6H.

図８ＡＬに示すように、デバイス６００は、効果アフォーダンス８３６の選択に対応するユーザ入力８５０Ｋ（例えば、タップ）を受ける（例えば、検出する）。図８ＡＭに示すように、ユーザ入力８５０Ｋを受けたことに応じて、デバイス６００は、デバイス６００のユーザの、カメラ６０３からの拡大画像８４３を表示し、通話コントロールメニュー８３２を修正する。修正された通話コントロールメニュー８３２では、効果アフォーダンス８３６は強調され、効果オプションアフォーダンス８４４Ａ～８４４Ｅが表示される。図８ＡＮでは、デバイス６００は、効果オプションアフォーダンス８４４Ａの選択に対応するユーザ入力８５０Ｌ（例えば、タップ）を受ける（例えば、検出する）。図８ＡＯに示すように、ユーザ入力８５０Ｌを受けたことに応じて、デバイス６００は、アバターオプションアフォーダンス８４６Ａ～８４６Ｃを含むように通話コントロールメニュー８３２を修正する。図８ＡＯでは、デバイス６００は、アバターアフォーダンス８４６Ｃの選択に対応するユーザ入力８５０Ｍ（例えば、タップ）を受ける（例えば、検出する）。図８ＡＰに示すように、ユーザ入力８５０Ｍを受けたことに応じて、デバイス６００は、画像８４３中のユーザの顔の上に効果８４３Ａを表示し、通話コントロールメニュー８３２をスクロールして現在選択されているアバターのアフォーダンス８４６Ｃを通話コントロールメニュー８３２の中心に配置する。図８ＡＰでは、デバイス６００は、キャンセルアフォーダンス８４８上でユーザ入力８５０Ｎ（例えば、タップ）を受ける（例えば、検出する）。図８ＡＱに示すように、ユーザ入力８５０Ｎを受けたことに応じて、デバイス６００は、通話コントロールメニュー８３２を図８ＡＮの構成に戻し、拡大画像８４３上の効果８４３Ａの表示を維持する。図８ＡＱでは、デバイス６００は、ディスプレイ６０２上で拡大画像８４３及び通話コントロールメニュー８３２の外側でユーザ入力８５０Ｏ（例えば、タップ）を受ける（例えば、検出する）。図８ＡＲに示すように、ユーザ入力８５０Ｏを受けたことに応じて、デバイス６００は、拡大画像８４３の表示を中止し、主要表現８０６におけるユーザの画像上に効果８４３Ａを表示する。効果８４３Ａがアクティブ化されると、図８ＡＲのように、デバイス６００のユーザのライブビデオストリームは効果８４３Ａを含む。 As shown in FIG. 8AL, device 600 receives (e.g., detects) user input 850K (e.g., a tap) corresponding to selection of effect affordance 836. As shown in FIG. 8AM, in response to receiving user input 850K, device 600 displays a magnified image 843 from camera 603 of the user of device 600 and modifies call control menu 832. In the modified call control menu 832, effect affordance 836 is highlighted and effect option affordances 844A-844E are displayed. In FIG. 8AN, device 600 receives (e.g., detects) user input 850L (e.g., a tap) corresponding to selection of effect option affordance 844A. As shown in FIG. 8AO, in response to receiving user input 850L, device 600 modifies call control menu 832 to include avatar option affordances 846A-846C. In Figure 8AO, device 600 receives (e.g., detects) user input 850M (e.g., a tap) corresponding to selection of avatar affordance 846C. As shown in Figure 8AP, in response to receiving user input 850M, device 600 displays effect 843A over the user's face in image 843 and scrolls call control menu 832 to center the currently selected avatar affordance 846C on the call control menu 832. In Figure 8AP, device 600 receives (e.g., detects) user input 850N (e.g., a tap) on cancel affordance 848. As shown in Figure 8AQ, in response to receiving user input 850N, device 600 returns call control menu 832 to the configuration of Figure 8AN and maintains the display of effect 843A on enlarged image 843. In FIG. 8AQ, device 600 receives (e.g., detects) user input 850O (e.g., a tap) on display 602 outside of expanded image 843 and call control menu 832. As shown in FIG. 8AR, in response to receiving user input 850O, device 600 ceases displaying expanded image 843 and displays effect 843A over the image of the user in primary representation 806. When effect 843A is activated, as in FIG. 8AR, the user's live video stream of device 600 includes effect 843A.

図８ＡＲに示すように、通話コントロールメニュー８３２は、メディアアフォーダンス８４４Ｅを含む。デバイス６００は、メディアアフォーダンス８４４Ｅの選択に対応するユーザ入力８５０Ｐ（例えば、タップ）を受ける（例えば、検出する）。図８ＡＳに示すように、ユーザ入力８５０Ｐを受けたことに応じて、デバイス６００は、メディアオプションアフォーダンス８５２Ａ～８５２Ｄを含むように通話コントロールメニュー８３２を修正する。図８ＡＳでは、デバイス６００は、メディアオプションアフォーダンス８５２Ａ（スケッチ）の選択に対応するユーザ入力８５０Ｑ（例えば、タップ）を受ける（例えば、検出する）。ユーザ入力８５０Ｑを受けたことに応じて、デバイス６００は、メディアオプションアフォーダンス８５２Ａに関連するメディアコンテンツの表現をキャンバス領域８１１に表示する。 As shown in FIG. 8AR, the call control menu 832 includes a media affordance 844E. The device 600 receives (e.g., detects) a user input 850P (e.g., a tap) corresponding to a selection of the media affordance 844E. As shown in FIG. 8AS, in response to receiving the user input 850P, the device 600 modifies the call control menu 832 to include media option affordances 852A-852D. In FIG. 8AS, the device 600 receives (e.g., detects) a user input 850Q (e.g., a tap) corresponding to a selection of the media option affordance 852A (sketch). In response to receiving the user input 850Q, the device 600 displays a representation of the media content associated with the media option affordance 852A in the canvas area 811.

図８ＡＴに示すように、ユーザ入力８５０Ｑを受けたことに応じて、デバイス６００は、主要表現８１０Ｋ（例えば、最小の主要表現）を、選択されたメディアアイテムの表現８１０Ｌに置き換える。図８ＡＴでは、デバイス６００は、通話コントロールメニュー８３２をしまう要求に対応するユーザ入力８５０Ｒ（例えば、通話コントロールメニュー８３２上での下方向スワイプ）を受ける（例えば、検出する）。図８ＡＵに示すように、ユーザ入力８５０Ｒを受けたことに応じて、デバイス６００は、コール制御メニュー８３２の表示を中止する。 As shown in FIG. 8AT, in response to receiving user input 850Q, device 600 replaces primary representation 810K (e.g., a minimal primary representation) with representation 810L of the selected media item. In FIG. 8AT, device 600 receives (e.g., detects) user input 850R (e.g., a downward swipe on call control menu 832) corresponding to a request to dismiss call control menu 832. As shown in FIG. 8AU, in response to receiving user input 850R, device 600 ceases displaying call control menu 832.

一部の実施形態では、メディアオプションアフォーダンス８５２Ａの選択によって、関連するメディアコンテンツがライブ通信セッションの他の参加者と共有される（例えば、別の参加者のデバイスのディスプレイ上のキャンバス領域に表示される）。一部の実施形態では、ライブ通信セッションの参加者は、（例えば、ライブ通信アプリケーションのユーザインターフェースにおける一続きの１つ以上の入力によって）共有メディアコンテンツと相互作用することができる。図８ＡＶは、表現８１０Ｌのメディアコンテンツに追加特徴８１０Ｌ－１が追加された実施形態を示す。一部の実施形態では、表現８０１Ｌに関連するメディアコンテンツとの参加者の対話に応じて、デバイス６００は、（例えば、主要表現が拡大された後に選択されたり、表現に対応する参加者が能動的に参加したりする方法と同様に）表現８０１Ｌを拡大する。図８ＡＶに示すように、表現８１０Ｌは、（図８ＡＴと比べて）関連するメディアコンテンツとの参加者の対話に応じて拡大される。図８ＡＶはまた、ライブ通信セッションで共有される他のコンテンツ（例えば、２人の参加者間のゲーム）の表現８１０Ｍをも示す。 In some embodiments, selection of the media option affordance 852A causes the associated media content to be shared with other participants in the live communication session (e.g., displayed in a canvas area on the display of another participant's device). In some embodiments, participants in the live communication session can interact with the shared media content (e.g., by a sequence of one or more inputs in a user interface of the live communication application). FIG. 8AV illustrates an embodiment in which an additional feature 810L-1 is added to the media content of the representation 810L. In some embodiments, in response to a participant's interaction with the media content associated with the representation 801L, the device 600 expands the representation 801L (e.g., similar to how a main representation is expanded and then selected, or the participant corresponding to the representation actively participates). As shown in FIG. 8AV, the representation 810L expands in response to the participant's interaction with the associated media content (compared to FIG. 8AT). FIG. 8AV also illustrates a representation 810M of other content (e.g., a game between two participants) shared in the live communication session.

図９Ａ～図９Ｋは、一部の実施形態による方法を示すフロー図である。方法９００は、ディスプレイを備えるデバイス（例えば、１００、３００、５００又は６００）にて行われる。方法９００の一部の動作は任意選択的に組み合わされ、一部の動作の順序は任意選択的に変更され、一部の動作は任意選択的に省略される。 9A-9K are flow diagrams illustrating a method according to some embodiments. Method 900 is performed on a device (e.g., 100, 300, 500, or 600) that includes a display. Some operations of method 900 are optionally combined, some operations are optionally reordered, and some operations are optionally omitted.

後述するように、方法９００は、とりわけ、適応的かつインテリジェントなライブ通信ユーザインターフェースを提供する直感的な方法を提供する。加えて、とりわけ、方法９００は、ユーザがライブ通信ユーザインターフェースと対話するための直感的な方法を提供する。この方法は、ライブ通信における参加者の数に基づく適応的かつインテリジェントなライブ通信インターフェースを提供することによりユーザの認知的負担を軽減することで、より効率的なヒューマン－マシンインターフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザが、ライブ通信における所定数の参加者に基づいてライブ通信ユーザインターフェースを見ることができるようになることにより、より速くなり、より効率的に電力が節約され、バッテリ充電間隔が長くなる。 As described below, method 900 provides, among other things, an intuitive way to provide an adaptive and intelligent live communications user interface. Additionally, among other things, method 900 provides an intuitive way for a user to interact with the live communications user interface. The method reduces the cognitive burden on the user by providing an adaptive and intelligent live communications interface based on the number of participants in the live communications, thereby creating a more efficient human-machine interface. For battery-operated computing devices, allowing a user to view a live communications user interface based on a predefined number of participants in the live communications is faster, more efficient, conserves power, and extends the time between battery charges.

ブロック９０１では、デバイスは、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求（例えば、８５０Ａ）を受ける。 In block 901, the device receives a request (e.g., 850A) to display a user interface for a live communication session between two or more participants.

ブロック９０２では、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受けたことに応じて、デバイスは、ライブ通信セッションに複数の参加者の表現（例えば、８１０Ａ～８１０Ｄ）を同時に表示することを含め、ライブ通信ユーザインターフェース（例えば、８０４）を表示し、ライブ通信セッションにおいて複数の参加者の表現を表示することは、ブロック９０２及び９０３を含む。一部の実施形態では、ライブ通信セッションユーザインターフェースは、ライブ通信セッションに招待されたがライブ通信セッションにまだ参加していない第１の参加者（例えば、電子デバイスのユーザ以外の参加者であって、通信セッションにまだ参加しておらず、通信セッションに参加するための招待が送られた参加者））に関連するプレースホルダ（例えば、図８Ｃの８１０Ａ）（例えば、グラフィックのプレースホルダ（例えば、画像又は仮想アバター）、テキストのプレースホルダ（例えば、名前又はイニシャル））を含む。一部の実施形態では、ライブビデオストリームを含むライブメディアストリームを参加者が共有している場合、表現は、ライブビデオストリームの画像（例えば、図８Ｄの８１０Ｂ）を含む。一部の実施形態では、オーディオのみのライブビデオストリームを参加者が共有している場合、表現は、それぞれの参加者のアバターを含む（例えば、図８Ｉの８１０Ｂ）。一部の実施形態では、ライブ通信セッションにおける複数の参加者の表現は、オーディオ専用状態（例えば、参加者がオーディオのみを用いて通信している）、ビデオ状態（例えば、参加者がビデオ及びオーディオを用いて発話している）、ビデオ一時停止状態（例えば、参加者のビデオが一時停止されている）、ビデオ未復号状態（例えば、遅延の問題、ビデオストリームの形式の問題などのために、参加者のビデオストリームを処理できない）、退出状態（例えば、参加者がライブ通信セッションから退出している）、及び参加待ち状態（例えば、参加者がライブ通信セッションに招待されたが、ライブ通信にまだ参加していない）からなるグループから選択される、ユーザ通信状態を含む。 In block 902, in response to receiving a request to display a user interface for a live communication session between two or more participants, the device displays a live communication user interface (e.g., 804), including simultaneously displaying representations (e.g., 810A-810D) of the multiple participants in the live communication session, and displaying representations of the multiple participants in the live communication session includes blocks 902 and 903. In some embodiments, the live communication session user interface includes a placeholder (e.g., 810A in FIG. 8C) (e.g., a graphic placeholder (e.g., an image or virtual avatar), a text placeholder (e.g., a name or initials)) associated with a first participant invited to the live communication session but not yet participating in the live communication session (e.g., a participant other than the user of the electronic device who has not yet participated in the communication session and to whom an invitation to join the communication session has been sent). In some embodiments, if the participant is sharing a live media stream that includes a live video stream, the representation includes an image (e.g., 810B in FIG. 8D) of the live video stream. In some embodiments, if a participant is sharing an audio-only live video stream, the representation includes an avatar of each participant (e.g., 810B in FIG. 8I). In some embodiments, the representation of multiple participants in a live communication session includes a user communication state selected from the group consisting of an audio-only state (e.g., a participant is communicating using audio only), a video state (e.g., a participant is speaking using video and audio), a video paused state (e.g., a participant's video is paused), a video not decoded state (e.g., a participant's video stream cannot be processed due to latency issues, video stream format issues, etc.), a leaving state (e.g., a participant has left the live communication session), and a waiting to join state (e.g., a participant has been invited to the live communication session but has not yet joined the live communication).

ブロック９０３では、ライブ通信セッションにおける参加者の数が参加者の閾数よりも多いとの判定を受けて、デバイスは、電子デバイスのユーザ以外の第１の複数の参加者の表現（例えば、８１０Ａ～８１０Ｄ）を、それぞれの閾値サイズよりも大きな１つ以上のサイズで同時に表示する一方、第２の複数の参加者の表現（例えば、８２２）をオーバーフロー領域（例えば、８２０）に表示し、第２の複数の参加者は、第１の複数の参加者に含まれない１人以上の参加者を含み、オーバーフロー領域に表示される１人以上の他の参加者の表現は、それぞれの閾値サイズよりも小さなサイズで表示される。一部の実施形態では、現在アクティブな参加者（例えば、図８Ｊの８１０Ｅ）（例えば、最もアクティブな参加者、アクティブな参加者の基準セットを満たすように発話している又は移動している参加者）が、第１の複数の参加者の一部として表示される。一部の実施形態では、現在アクティブな参加者は、ユーザインターフェースのメイン領域（例えば、８１１）（例えば、第１の複数の参加者が表示される領域）に表示される。一部の実施形態では、メイン領域に現在表示されていない参加者（例えば、図８Ｕの８２２Ｂに対応する参加者）が現在アクティブな参加者になった場合、その参加者の表現（例えば、図８Ｖの８１０Ｈ）は、メイン領域に表示される。一部の実施形態では、第１の複数の参加者の表現（例えば、８１０）は２つ以上の異なるサイズで表示され（例えば、よりアクティブな参加者又はより最近にアクティブな参加者が、よりアクティブではない参加者又はより最近にアクティブではない参加者よりも大きなサイズで表示され）、オーバーフロー領域内の第２の複数の参加者の表現（例えば、８２２）は同じサイズで表示される。 In block 903, upon determining that the number of participants in the live communication session is greater than the threshold number of participants, the device simultaneously displays representations of a first plurality of participants (e.g., 810A-810D) other than the user of the electronic device at one or more sizes greater than their respective threshold sizes while displaying representations of a second plurality of participants (e.g., 822) in an overflow area (e.g., 820), the second plurality of participants including one or more participants not included in the first plurality of participants, the representations of the one or more other participants displayed in the overflow area being displayed at sizes less than their respective threshold sizes. In some embodiments, the currently active participant (e.g., 810E in FIG. 8J) (e.g., the most active participant, the participant speaking or moving to meet a set of criteria for an active participant) is displayed as part of the first plurality of participants. In some embodiments, the currently active participant is displayed in a main area (e.g., 811) of the user interface (e.g., the area in which the first plurality of participants are displayed). In some embodiments, if a participant not currently displayed in the main area (e.g., the participant corresponding to 822B in FIG. 8U) becomes the currently active participant, then a representation of that participant (e.g., 810H in FIG. 8V) is displayed in the main area. In some embodiments, the representations of the first plurality of participants (e.g., 810) are displayed in two or more different sizes (e.g., more active or more recently active participants are displayed in a larger size than less active or less recently active participants), and the representations of the second plurality of participants in the overflow area (e.g., 822) are displayed in the same size.

一部の実施形態では、オーバーフロー領域（例えば、８２０）は、第１の複数の参加者の表現（例えば、８１０Ａ～８１０Ｄ）を更に含む（例えば、ユーザインターフェースのメイン領域に表示される参加者の表現もオーバーフロー領域に表示される）（例えば、図８ＡＸ）。一部の実施形態では、オーバーフロー領域（例えば、８２０）は、ライブ通信セッションに現在接続されていない、ライブ通信セッションの招待者用のプレースホルダ表現（例えば、図８ＡＷの８２２Ａ）（例えば、アバター、名前、イニシャル）を更に含む。所定の条件が満たされるかに基づいて（例えば、ライブ通信セッションがある数の参加者よりも多いかに基づいて）参加者の表現を異なるように表示することにより、ライブ通信セッションにおける参加者の表現をより容易に又はより効率的に見ることをユーザに可能にさせる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 In some embodiments, the overflow area (e.g., 820) further includes representations (e.g., 810A-810D) of a first plurality of participants (e.g., representations of participants displayed in the main area of the user interface are also displayed in the overflow area) (e.g., FIG. 8AX). In some embodiments, the overflow area (e.g., 820) further includes placeholder representations (e.g., 822A in FIG. 8AW) (e.g., avatars, names, initials) for invitees to the live communication session who are not currently connected to the live communication session. Displaying the representations of participants differently based on whether a predetermined condition is met (e.g., based on whether the live communication session has more than a certain number of participants) allows a user to more easily or efficiently view the representations of participants in the live communication session. By performing an optimized operation without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

任意選択的に、ブロック９０４及び９０５では、デバイスは、第１の複数の参加者の表現（例えば、８１０Ａ～８１０Ｄ）の表示（例えば、表現の配置、複数の位置、サイズ、位置、視覚的表示、視覚コンテンツ、及び／又はビデオフィード）を第１のレートで更新し（例えば、第１の複数の参加者の表現は、毎秒２４、３０、若しくは６０フレームなどの典型的なビデオリフレッシュレート又はそれよりも高いフレームレートで更新されるライブビデオフィードである）、オーバーフロー領域内の第２の複数の参加者（例えば、８２２）の表現の表示（例えば、表現の配置、複数の位置、サイズ、位置、表現の視覚的表示、表現の視覚的コンテンツ、及び／又はビデオフィード）を第２のレートで更新し、第２のレートは第１のレートよりも低い。）（例えば、オーバーフロー領域内のサムネイルは時間とともに更新されるが、毎秒１、５、又は１０フレームなど、キャンバス領域８１１内の複数の参加者の表現のビデオリフレッシュレートよりも低いレートで更新される）。表現のセットの表示を異なるレートで更新することにより、デバイスに、表現のセットを表現の他のセットよりも速いレートで提供するように処理パワーを節約しながらライブ通信における表現の現在の状態に関するフィードバックをユーザに提供することを可能にさせ、そのことによって、優先度がより高い表現のセットをより高いレートで見る能力をユーザに証明する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in blocks 904 and 905, the device updates a display (e.g., arrangement, positions, sizes, locations, visual indications, visual content, and/or video feeds) of a first plurality of participants' representations (e.g., 810A-810D) at a first rate (e.g., the representations of the first plurality of participants are live video feeds updated at a typical video refresh rate or a higher frame rate, such as 24, 30, or 60 frames per second) and updates a display (e.g., arrangement, positions, sizes, locations, visual indications, visual content, and/or video feeds) of a second plurality of participants' representations (e.g., 822) in the overflow area at a second rate, the second rate being lower than the first rate) (e.g., thumbnails in the overflow area are updated over time but at a rate lower than the video refresh rate of the representations of the plurality of participants in the canvas area 811, such as 1, 5, or 10 frames per second). Updating the display of sets of representations at different rates allows the device to provide feedback to the user regarding the current state of the representations in the live communication while conserving processing power to provide a set of representations at a faster rate than other sets of representations, thereby demonstrating to the user the ability to view the higher priority set of representations at a higher rate. Providing improved visual feedback to the user enhances usability of the device and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing the device's power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９０６では、デバイスは、第２の複数の参加者の表現（例えば、８２２）をオーバーフロー領域（例えば、８２０）に表示しながら、電子デバイスのカメラのビュー（例えば、自己ビューカメラのビュー）の表現（例えば、８０６）をオーバーフロー領域に表示する。電子デバイスのカメラのビューの表現を表示することにより、ユーザカメラのビューの現在の状態に関する視覚的フィードバック（例えば、ユーザがライブ通信セッションにおける他の参加者に示しているもの）がユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at block 906, the device displays a representation (e.g., 806) of the electronic device's camera view (e.g., self-view camera view) in the overflow area while displaying a representation (e.g., 822) of the second plurality of participants in the overflow area (e.g., 820). Displaying the representation of the electronic device's camera view provides the user with visual feedback regarding the current state of the user camera view (e.g., what the user is showing to other participants in the live communication session). Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９０７、９０８、９０９、及び９１０では、デバイスは、オーバーフロー領域に対応する入力（例えば、８５０Ｈ）（例えば、水平の指ドラッグ）を検出する。オーバーフロー領域に対応する入力の検出に応じて、デバイスは、第２の複数の参加者の表現のサブセット（例えば、図８ＢＪ～図８ＢＫの８２２Ｇ及び８２２Ｈ）の表示を中止するため（例えば、隠すため）に、オーバーフロー領域をスクロールする（例えば、入力を受けて第２の複数の参加者の表現を第１の方向にスクロールする）。オーバーフロー領域をスクロールしている間に、デバイスは、電子デバイスのカメラのビューの表現（例えば、８０６）をオーバーフロー領域内に維持する（例えば、図８ＢＪ～図ＢＫ）。一部の実施形態では、オーバーフロー領域をスクロールすることは、デバイスのカメラのビューの表現の下にスクロールするように見える、第２の複数の参加者の１つ以上の表現のアニメーションを表示することを含む。オーバーフロー領域をスクロールしている間に電子デバイスのカメラのビューの表現の表示を維持することにより、ユーザにオーバーフロー領域内の参加者の表現をスクロールする能力を許容しながら、電子デバイスのカメラのビューの現在の状態に関する連続的なフィードバック（例えば、ユーザがライブ通信セッションにおける他の参加者に示しているもの）がユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 907, 908, 909, and 910, the device detects an input (e.g., 850H) (e.g., a horizontal finger drag) corresponding to the overflow region. In response to detecting the input corresponding to the overflow region, the device scrolls the overflow region (e.g., receives the input and scrolls the representations of the second plurality of participants in a first direction) to cease displaying (e.g., hide) a subset of the representations of the second plurality of participants (e.g., 822G and 822H in FIGS. 8BJ-8BK). While scrolling the overflow region, the device maintains a representation of a view of the camera of the electronic device (e.g., 806) within the overflow region (e.g., FIGS. 8BJ-8BK). In some embodiments, scrolling the overflow region includes displaying an animation of one or more representations of the second plurality of participants that appear to scroll beneath the representation of the view of the camera of the device. By maintaining display of a representation of the electronic device's camera view while scrolling the overflow region, continuous feedback is provided to the user regarding the current state of the electronic device's camera view (e.g., what the user is showing to other participants in a live communication session) while allowing the user the ability to scroll through the participant representations in the overflow region. Providing improved visual feedback to the user enhances usability of the device and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９１１、９１２、及び９１３では、オーバーフロー領域内の第２の複数の参加者の表現のうちのある表現（例えば、図８ＡＣの８２２Ｅ）の選択に対応する入力（例えば、８５０Ｆ）（例えば、オーバーフロー領域８２０内の表現に対応するタップジェスチャ、又はオーバーフロー領域８２０内の表現に対応する強度閾値を超える特性強度を有するジェスチャ）を検出する。オーバーフロー領域内の第２の複数の参加者の表現のうちのある表現の選択に対応する入力の検出に応じて、デバイスは、第１の複数の参加者の表現のうちのある表現（例えば、図８ＡＣの８１０Ｊ）の表示を、オーバーフロー領域内の選択された表現に対応する参加者の表現（例えば、図８ＡＥの８１０Ｋ）に置き換える（例えば、メイン表示における最近最もアクティブではない参加者を置き換える）。一部の実施形態では、第１の複数の参加者の表現のうちのある表現の表示を、オーバーフロー領域内の選択された表現に対応する参加者の表現に置き換えることは、オーバーフロー領域内の第２の複数の参加者の表現のうちの選択された表現の表示を中止することを含む。一部の実施形態では、オーバーフロー領域内の選択された表現の表示を中止することは、選択された表現が収縮するアニメーションを含む。一部の実施形態では、オーバーフロー領域内の他の表現は、選択された表現が表示されていた隙間を埋めるように平行移動される。一部の実施形態では、第１の複数の参加者の表現のうちのある表現の表示を、オーバーフロー領域内の選択された表現に対応する参加者の表現に置き換えることは、選択された表現に対応する参加者の表現を第１のサイズで表示した後に、選択された表現に対応する参加者の表現を、第１のサイズよりも大きな第２のサイズに拡大することを含む。一部の実施形態では、選択された参加者の表現は、キャンバス領域内の（キャンバス領域内で活動レベルが最も低い参加者に対応する）最小の表現を置き換えた後に、サイズが（例えば、中の表現サイズに）自動的に大きくなる一方、（キャンバス領域内で活動レベルが次に低い参加者に対応する）他の表現は、サイズが（例えば、小の表現サイズに）小さくなる。 Optionally, at blocks 911, 912, and 913, an input (e.g., 850F) corresponding to a selection of a representation (e.g., 822E of FIG. 8AC) of the second plurality of participant representations in the overflow region (e.g., a tap gesture corresponding to the representation in the overflow region 820, or a gesture having a characteristic intensity exceeding an intensity threshold corresponding to the representation in the overflow region 820) is detected. In response to detecting the input corresponding to a selection of a representation of the second plurality of participant representations in the overflow region, the device replaces the display of a representation of the first plurality of participant representations (e.g., 810J of FIG. 8AC) with a representation of a participant corresponding to the selected representation in the overflow region (e.g., 810K of FIG. 8AE) (e.g., replacing the least recently active participant in the main display). In some embodiments, replacing the display of a representation of the first plurality of participant representations with a representation of a participant corresponding to the selected representation in the overflow region includes ceasing to display the selected representation of the second plurality of participant representations in the overflow region. In some embodiments, ceasing to display the selected representation in the overflow area includes an animation of the selected representation shrinking. In some embodiments, other representations in the overflow area are translated to fill the gap where the selected representation was displayed. In some embodiments, replacing the display of a representation of one of the first plurality of participant representations with a representation of the participant corresponding to the selected representation in the overflow area includes displaying the representation of the participant corresponding to the selected representation in a first size and then enlarging the representation of the participant corresponding to the selected representation to a second size larger than the first size. In some embodiments, the representation of the selected participant automatically increases in size (e.g., to a medium representation size) after replacing the smallest representation in the canvas area (corresponding to the participant with the lowest activity level in the canvas area), while the other representations (corresponding to the participant with the next lowest activity level in the canvas area) decrease in size (e.g., to a small representation size).

オーバーフロー領域内の選択された表現に対応する表現の表示を置き換えること、及び／又はオーバーフロー領域内の選択された表現の表示を中止することにより、ＵＩを雑然とさせることなく追加制御オプションを提供し、表現をユーザの選択された表現にユーザが迅速に置き換えることを支援することによって、ユーザはデバイス及び表現の表示をよりコントロールすることができるようになる。表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御できるようにすることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Replacing the display of a representation corresponding to the selected representation in the overflow region and/or ceasing to display the selected representation in the overflow region allows the user more control over the device and the display of the representation by providing additional control options without cluttering the UI and assisting the user in quickly replacing the representation with the user's selected representation. Providing additional control without cluttering the UI with additional displayed controls enhances usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９１４では、デバイスは、第１の複数の参加者の表現のうちのある表現に影響を与える第１のアニメーション効果を表示する（例えば、図８ＡＡ～図８ＡＣ）（例えば、表現は、任意選択的に「フラッシュ」効果を生じさせるクロスフェード及び色合を伴って、より大きくなった後に小さくなる）。任意選択的に、ブロック９１５では、デバイスは、第１のアニメーション効果とアニメーション特性を共有する、第２の複数の参加者の表現のうちの選択された表現に影響を与える第２のアニメーション効果を表示する（例えば、図８ＢＦ～図８ＢＨ）（例えば、メイン表示からのフェーディング／収縮のレートは、オーバーフロー表示の点滅レートに対応することができる）。第１のアニメーションに対応する第２のアニメーションを表示することにより、どの表現が切り替えられる及び／又は置き換えられるかを迅速に識別するための視覚的フィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in block 914, the device displays a first animation effect affecting a representation of the first plurality of participants (e.g., FIGS. 8AA-8AC) (e.g., the representation gets larger and then smaller, optionally with cross-fading and color shading creating a "flash" effect). Optionally, in block 915, the device displays a second animation effect affecting a selected representation of the second plurality of participants' representations (e.g., FIGS. 8BF-8BH) that shares animation characteristics with the first animation effect (e.g., the rate of fading/shrinking from the main display can correspond to the blinking rate of the overflow display). Displaying a second animation that corresponds to the first animation provides visual feedback to quickly identify which representation is being switched and/or replaced. Providing improved visual feedback to the user enhances usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces power usage and improves battery life of the device by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９１６では更に、オーバーフロー領域に対応する入力（例えば、８５０Ｈ）の検出に応じて、デバイスは、第２の複数の参加者の新規の（例えば、従前に隠れていた）表現（例えば、図８ＡＧ～図８ＡＨの８２２Ａ）をオーバーフロー領域に表示する。入力に応じて参加者の新規の表現をオーバーフロー領域に表示することにより、表示される表現のアクセス可能性を高めることによって、ユーザはより容易かつより効率的に表現を見ることができるようになる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, block 916 further includes, in response to detecting an input (e.g., 850H) corresponding to the overflow region, the device displays new (e.g., previously hidden) representations (e.g., 822A in Figs. 8AG-8AH) of the second plurality of participants in the overflow region. Displaying new representations of participants in the overflow region in response to the input allows a user to view the representations more easily and efficiently by increasing the accessibility of the displayed representations. The device's usability is enhanced by performing an optimized operation without requiring further user input when a set of conditions are met, making the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing the device's power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９１７では、新規の参加者がライブ通信セッションに参加した又は追加されたことを示すデータの受信に応じて、デバイスは、オーバーフロー領域内の第２の複数の参加者の一続きの表現の最後にて、新規の参加者の表現（例えば、図８Ｒの８２２Ｂ）をオーバーフロー領域に表示する。 Optionally, at block 917, in response to receiving data indicating that a new participant has joined or been added to the live communication session, the device displays a representation of the new participant (e.g., 822B in FIG. 8R) in the overflow area at the end of the series of representations of the second plurality of participants in the overflow area.

任意選択的に、ブロック９１８、９１９、９２０、及び９２１では、デバイスは、第２の複数の参加者における第１の参加者の活動（例えば、発話、移動）レベルに関する第２のデータを受信する。第２のデータの受信に応じて、デバイスは、第２の複数の参加者における第１の参加者の活動レベルが上昇することによって、オーバーフロー領域内の第２の複数の参加者の表現における第１の参加者の表現に対応する表現（例えば、図８Ｕの８２２Ｂ）の視覚特性（例えば、サイズ、ハイライト表現（例えば、表示境界）、アニメーション（例えば、脈動するアバター）、画像を前面に押し出す）を強調する（例えば、増加又は開始する）。第２のデータの受信に応じて、デバイスは、第２の複数の参加者における第１の参加者の活動レベルが低下することによって、オーバーフロー領域内の第２の複数の参加者の表現における第１の参加者に対応する表現の視覚特性（例えば、サイズ、ハイライト表現（例えば、表示境界）、アニメーション（例えば、脈動するアバター）が画像を前面に押し出す）の強調を抑える（例えば、増加又は開始する）。所定条件が満たされるときに視覚的表示を強調する及び／又は強調を抑えることにより、ユーザは、最もアクティブである及び／又は最もアクティブではない参加者を含む参加者の活動レベルを迅速に認識することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、所定条件が満たされるときに強調する及び／又は強調を抑えることにより、各参加者の活動レベルを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 918, 919, 920, and 921, the device receives second data regarding an activity (e.g., speaking, moving) level of a first participant in the second plurality of participants. In response to receiving the second data, the device enhances (e.g., increases or begins to enhance) visual characteristics (e.g., size, highlighting (e.g., display border), animation (e.g., pulsating avatar), image foreground) of a representation (e.g., 822B of FIG. 8U) corresponding to the first participant's representation in the representations of the second plurality of participants in the overflow area due to an increase in the activity level of the first participant in the second plurality of participants. In response to receiving the second data, the device de-emphasizes (e.g., increases or begins to enhance) visual characteristics (e.g., size, highlighting (e.g., display border), animation (e.g., pulsating avatar), image foreground) of a representation (e.g., 822B of FIG. 8U) corresponding to the first participant's representation in the representations of the second plurality of participants in the overflow area due to a decrease in the activity level of the first participant in the second plurality of participants. By enhancing and/or de-emphasizing the visual indication when a predetermined condition is met, a user can quickly recognize the activity level of the participants, including the most and/or least active participants. By performing an optimized operation without requiring further user input when a set of conditions is met, the operability of the device is enhanced, the user-device interface is made more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved. In addition, by enhancing and/or de-emphasizing when a predetermined condition is met, visual feedback is provided to the user indicating the activity level of each participant. By providing the user with improved visual feedback, the operability of the device is enhanced, the user-device interface is made more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

任意選択的に、ブロック９２２及び９２３では、ライブ通信ユーザインターフェースを表示している間に、デバイスは、第２の複数の参加者のうちの現在アクティブな参加者となる第２の参加者（例えば、最もアクティブな参加者、アクティブな参加者の基準のセットを満たすように発話している又は移動している参加者）を検出する。第２の複数の参加者のうちの現在アクティブな参加者となる第２の参加者を検出したことに応じて、かつ第２の複数の参加者のうちの第２の参加者の表現がオーバーフロー領域に現在表示されていないとの判定を受けて、デバイスは、第２の複数の参加者のうちの第２の参加者の表現（例えば、図８ＢＨ～図８ＢＩの８２２Ｆ）をオーバーフロー領域に表示するように、オーバーフロー領域をスクロールする。オーバーフロー領域にアクティブな参加者を表示するようにオーバーフロー領域を動的にスクロールすることにより、いかなる追加入力をも選択せずに、オーバーフロー領域においてアクティブな参加者の表現を見ることが可能になる。操作を行うために必要な入力の数が減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in blocks 922 and 923, while displaying the live communication user interface, the device detects a second participant of the second plurality of participants to be the currently active participant (e.g., the most active participant, a participant speaking or moving to meet a set of criteria for an active participant). In response to detecting the second participant of the second plurality of participants to be the currently active participant, and upon determining that a representation of the second participant of the second plurality of participants is not currently displayed in the overflow region, the device scrolls the overflow region to display a representation of the second participant of the second plurality of participants (e.g., 822F in Figures 8BH-8BI) in the overflow region. Dynamically scrolling the overflow region to display the active participants in the overflow region allows a representation of the active participant to be viewed in the overflow region without selecting any additional input. Reducing the number of inputs required to perform an operation enhances usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and reduces the device's power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

ブロック９２４では、ライブ通信セッションが、参加者の閾数以下の参加者の数を含むとの判定を受けて、デバイスは、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズ以下の１つ以上のサイズで表示することなく、それぞれの閾値サイズよりも大きな１つ以上のサイズで表示する（例えば、図８Ｐ）。一部の実施形態では、電子デバイスは、（例えば、ライブ通信セッション用のユーザインターフェースを表示するに先立って）ライブビデオ通信セッションの複数の参加者のそれぞれの参加者に関連する複数のライブメディアストリームを受信する。一部の実施形態では、受信したライブメディアストリームの数は、ライブビデオ通信セッションに現在参加している参加者の数に対応し、デバイスを使用している参加者を含まない。所定の条件が満たされるかに基づいて参加者の表現を異なるように表示する（例えば、ライブ通信セッションが参加者の数以下であるか否かに基づいて、オーバーフロー領域を伴わずに表現を表示する）ことにより、ユーザはライブ通信セッションにおける参加者の表現をより容易に又はより効率的に見ることができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 At block 924, upon determining that the live communication session includes a number of participants that is equal to or less than the threshold number of participants, the device displays representations of participants other than the user of the electronic device at one or more sizes greater than the respective threshold size without displaying representations of participants other than the user of the electronic device at one or more sizes less than the respective threshold size (e.g., FIG. 8P). In some embodiments, the electronic device receives (e.g., prior to displaying a user interface for the live communication session) a number of live media streams associated with each of the multiple participants of the live video communication session. In some embodiments, the number of received live media streams corresponds to the number of participants currently participating in the live video communication session, not including the participant using the device. By displaying the representations of the participants differently based on whether a predetermined condition is met (e.g., displaying the representations without an overflow area based on whether the live communication session is equal to or less than the number of participants), a user may more easily or more efficiently view the representations of the participants in the live communication session. By performing an optimized operation without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

一部の実施形態では、ライブ通信セッションにおける参加者の数が参加者の第２の閾数よりも少ないとの判定を受けて、リモート参加者（例えば、ユーザ以外の参加者）の複数の表現は、いずれも互いに重なり合わない（例えば、図８Ｊ）。一部の実施形態では、ライブ通信セッションにおける参加者の数が参加者の第２の閾数以上であるとの判定を受けて、リモート参加者（例えば、ユーザ以外の参加者）の複数の表現の少なくとも一部は、互いに重なり合う（例えば、図８Ｋ）。 In some embodiments, upon determining that the number of participants in the live communication session is less than the second threshold number of participants, none of the multiple representations of the remote participants (e.g., participants other than the user) overlap with one another (e.g., FIG. 8J). In some embodiments, upon determining that the number of participants in the live communication session is greater than or equal to the second threshold number of participants, at least a portion of the multiple representations of the remote participants (e.g., participants other than the user) overlap with one another (e.g., FIG. 8K).

任意選択的に、ブロック９２５及び９２６では、ライブ通信セッションにおける参加者の数が参加者の第２の閾数よりも少ない（例えば、電子デバイスのユーザを含む２人の参加者（例えば、他の１人の参加者））との判定を受けて、デバイスは、デバイスのユーザ以外の参加者の表現の少なくとも１つを第１のアスペクト比（例えば、図８Ｈの８１０Ｂ）（例えば、長方形のアスペクト比）で表示する。ライブ通信セッションにおける参加者の数が参加者の第２の閾数よりも多い（例えば、３人以上の参加者）との判定を受けて、デバイスは、デバイスのユーザ以外の参加者の表現の少なくとも１つを、第１のアスペクト比とは異なる第２のアスペクト比（例えば、正方形のアスペクト比）で表示する（例えば、図８Ｉの８１０Ｂ）。所定の条件が満たされることに基づき、ライブ通信セッションにおける参加者の数に基づいて異なるアスペクト比で参加者の表現を表示することにより、デバイスは表現及び／又は表現の編成のサイズを最大化することで参加者の数に基づいてより良好なユーザエクスペリエンスを提供することができ、インテリジェントなライブ通信ユーザインターフェースを提供することができるようになり、このことでユーザはデバイス上の表現をより容易かつより効率的に見ることができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 925 and 926, upon a determination that the number of participants in the live communication session is less than a second threshold number of participants (e.g., two participants including the user of the electronic device (e.g., one other participant)), the device displays at least one of the representations of the participants other than the user of the device in a first aspect ratio (e.g., 810B of FIG. 8H) (e.g., a rectangular aspect ratio). Upon a determination that the number of participants in the live communication session is more than a second threshold number of participants (e.g., three or more participants), the device displays at least one of the representations of the participants other than the user of the device in a second aspect ratio different from the first aspect ratio (e.g., a square aspect ratio) (e.g., 810B of FIG. 8I). By displaying representations of participants in different aspect ratios based on the number of participants in a live communication session based on the satisfaction of a predefined condition, the device can provide a better user experience by maximizing the size of the representations and/or the organization of the representations based on the number of participants, and can provide an intelligent live communication user interface, allowing the user to more easily and efficiently view the representations on the device. By performing an optimized operation without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and in addition, the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９２７及び９２８では、ライブ通信セッションにおける参加者の数が参加者の第２の閾数よりも少ない（例えば、２人の参加者）との判定を受けて、デバイスは、デバイスのカメラのビュー（例えば、デバイスのカメラからのセルフビュー）の表現を第３のアスペクト比（例えば、長方形のアスペクト比）で表示する（例えば、図８Ｈの８０６）。ライブ通信セッションにおける参加者の数が参加者の第２の閾数以上である（例えば、３人以上の参加者）との判定を受けて、デバイスは、デバイスのカメラのビュー（例えば、デバイスのカメラからのセルフビュー）の表現を、第３のアスペクト比とは異なる第４のアスペクト比（例えば、正方形のアスペクト比）で表示する（例えば、図８Ｊの８０６）。所定の条件が満たされることに基づき、ライブ通信セッションにおける参加者の数に基づいて異なるアスペクト比でデバイスのカメラのビューの表現を表示することにより、デバイスは、ユーザに対するカメラのビューの表現のサイズを最大化し、ユーザがデバイス上の表現をより容易かつより効率的に見ることができるようにすることによって、インテリジェントなライブ通信ユーザインターフェースを提供することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 927 and 928, upon determining that the number of participants in the live communication session is less than a second threshold number of participants (e.g., two participants), the device displays a representation of the device's camera view (e.g., a self-view from the device's camera) in a third aspect ratio (e.g., a rectangular aspect ratio) (e.g., 806 in FIG. 8H). Upon determining that the number of participants in the live communication session is equal to or greater than the second threshold number of participants (e.g., three or more participants), the device displays a representation of the device's camera view (e.g., a self-view from the device's camera) in a fourth aspect ratio (e.g., a square aspect ratio) that is different from the third aspect ratio (e.g., 806 in FIG. 8J). By displaying the representation of the device's camera view in different aspect ratios based on the number of participants in the live communication session based on a predetermined condition being met, the device can provide an intelligent live communication user interface by maximizing the size of the representation of the camera view to the user and allowing the user to more easily and efficiently view the representation on the device. By performing an optimized operation without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

任意選択的に、ブロック９２９及び９３０では、ライブ通信セッションにおける参加者の数が第１の数の参加者となることを受けて、デバイスは、参加者の表現を第１のレイアウト（例えば、配置又はパターン）で表示する（例えば、図８Ｊ）。一部の実施形態では、第１のレイアウトは、ユーザの表現がユーザインターフェースの様々な位置に固定される、複数の所定レイアウトのうちの１つ（例えば、ランダムに選択されるレイアウト）である。一部の実施形態では、（例えば、デバイスのユーザ以外の）第１の複数の参加者の表現のレイアウト（例えば、配置）は、ライブ通信セッションにおける参加者の数に基づいて決定される。ライブ通信セッションにおける参加者の数が第２の数の参加者となることを受けて、デバイスは、参加者の表現を、第２のレイアウトとは異なる第２のレイアウトで表示する（例えば、図８Ｋ）（例えば、参加者がライブ通信セッションに参加する／から退出すると、レイアウトが変更される）。一部の実施形態では、第１のレイアウト及び第２のレイアウトは、ユーザの表現の類似する相対配置を有する所定レイアウトのファミリーに含まれる。（例えば、所定レイアウトのファミリーは、一緒にうまく機能するレイアウトを含む）。一部の実施形態では、所定レイアウトのファミリーは、複数の可能な参加者数用のレイアウト要素（例えば、デバイスのユーザ以外の１人の参加者用の第１の要素（例えば、１アップレイアウト）、デバイスのユーザ以外の２人の参加者用の第２の要素（例えば、２アップレイアウト）などを含む。一部の実施形態では、電子デバイスは、所定レイアウトの複数のファミリーを含み、各ファミリーの要素は、共通の特性を共有する。ユーザの数に基づいてユーザの表現の類似する相対配置を有する異なるレイアウトで表現を表示することにより、ユーザは、高い視認性で、より容易かつより効率的に表現を見ることができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 929 and 930, in response to the number of participants in the live communication session becoming a first number of participants, the device displays the representations of the participants in a first layout (e.g., arrangement or pattern) (e.g., FIG. 8J). In some embodiments, the first layout is one of a number of predefined layouts (e.g., randomly selected layouts) in which the user's representations are fixed at various positions in the user interface. In some embodiments, the layout (e.g., arrangement) of the representations of the first plurality of participants (e.g., other than the user of the device) is determined based on the number of participants in the live communication session. In response to the number of participants in the live communication session becoming a second number of participants, the device displays the representations of the participants in a second layout (e.g., FIG. 8K) that is different from the second layout (e.g., the layout changes as participants join/leave the live communication session). In some embodiments, the first layout and the second layout are included in a family of predefined layouts that have similar relative arrangements of the user's representations. (e.g., the family of predefined layouts includes layouts that work well together). In some embodiments, a family of predefined layouts includes layout elements for multiple possible numbers of participants (e.g., a first element for one participant other than the user of the device (e.g., a 1-up layout), a second element for two participants other than the user of the device (e.g., a 2-up layout), etc.). In some embodiments, an electronic device includes multiple families of predefined layouts, with elements in each family sharing a common characteristic. By displaying the representations in different layouts with similar relative placement of the users' representations based on the number of users, users can more easily and more efficiently view the representations with high visibility. By performing an optimized operation without requiring further user input when a set of conditions is met, the usability of the device is enhanced, making the user-device interface more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９３１、９３２、９２３及び９３４では、デバイスのユーザ以外の参加者の表現を表示している間に、デバイスは、ライブ通信セッションにおける参加者の数が増えたことを示すデータを受信する。ライブ通信セッションにおける参加者の数が増えたことを示すデータの受信に応じて、デバイスは、デバイスのユーザ以外の参加者の表現の１つ以上のサイズを小さくする（例えば、図８Ｊ～図８Ｋ）。ライブ通信セッションにおける参加者の数が増えたことを示すデータの受信に応じて、デバイスは、ライブ通信セッションにおける新規の参加者（例えば、元の表示よりも前に、最近グループに参加したばかりの参加者）の１人以上の表現を表示する（例えば、図８Ｊ～図８Ｋ）。 Optionally, at blocks 931, 932, 923, and 934, while displaying representations of participants other than the device user, the device receives data indicating that the number of participants in the live communication session has increased. In response to receiving the data indicating that the number of participants in the live communication session has increased, the device reduces the size of one or more of the representations of participants other than the device user (e.g., FIGS. 8J-8K). In response to receiving the data indicating that the number of participants in the live communication session has increased, the device displays one or more representations of new participants in the live communication session (e.g., participants who recently joined the group prior to the original display) (e.g., FIGS. 8J-8K).

１つ以上の表現のサイズを小さくし、新規の表現を表示することにより、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、新規の参加者がライブ通信に参加したことを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 By reducing the size of one or more representations and displaying new representations, feedback is provided to the user regarding the current state of the live communication session, and visual feedback is provided to the user indicating that a new participant has joined the live communication. Providing improved visual feedback to the user enhances usability of the device and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing power usage and improving battery life of the device by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９３５及び９３６では、デバイスは、第１のリマインダアフォーダンス（例えば、８０８）の選択に対応する入力（例えば、８５０Ｂ）を受ける。第１のリマインダアフォーダンスの選択に対応する入力を受けたことに応じて、デバイスは、第１の参加者に送られた従前の通知とは異なる新規の通知（例えば、通話、着信音など）を第１の参加者に送る（例えば、第２の通知は、第１の通知よりも干渉性が高い）。リマインダアフォーダンスの選択に対応する入力を受けたことに応じて、その参加者に送られた従前の通知とは異なる通知を第１の参加者に送ることにより、操作を行うために必要な入力の数が減る。操作を行うために必要な入力の数（例えば、ユーザが参加者にリマインドするのに必要なオプションの数）を減らすことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、更なるユーザ入力を伴わずに、第１の通知とは異なる通知を送るなどの動作を自動的に行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in blocks 935 and 936, the device receives an input (e.g., 850B) corresponding to a selection of a first reminder affordance (e.g., 808). In response to receiving the input corresponding to the selection of the first reminder affordance, the device sends a new notification (e.g., a call, a ringtone, etc.) to the first participant that is different from a previous notification sent to the first participant (e.g., the second notification is more intrusive than the first notification). By sending a notification to the first participant that is different from a previous notification sent to the participant in response to receiving the input corresponding to the selection of the reminder affordance, the number of inputs required to perform an operation is reduced. Reducing the number of inputs required to perform an operation (e.g., the number of options a user needs to remind a participant) enhances the usability of the device and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing power usage and improving battery life of the device by allowing the user to use the device more quickly and efficiently. Additionally, automatically performing an action such as sending a notification different from the first notification without further user input enhances usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and allows the user to use the device more quickly and efficiently, thereby reducing power usage and improving battery life of the device.

プレースホルダと第１の複数の参加者の表現とが第１のレイアウトで配置される実施形態では、任意選択的に、ブロック９３７、９３８及び９３９では、デバイスは、第１の参加者がライブ通信セッションに所定時間の間に参加しなかった（例えば、所定時間後にライブ通信に参加していない）との判定を受けて、プレースホルダの表示を中止する（図８Ｅ及び図８Ｆ）。更に、第１の参加者がライブ通信セッションに所定時間の間に参加しなかったとの判定を受けて、デバイスは、第１の複数の参加者の表現の配置を、第１のレイアウトとは異なる第２のレイアウトに変更する（例えば、参加者の表現の１つ以上を拡大及び／又は移動することを含む（例えば、第１の参加者がレイアウトに含まれないレイアウトを表示する）。一部の実施形態では、デバイスは、第１の参加者がライブ通信セッションに所定時間の間に参加しなかったとの判定を行うために、サーバ又は他の装置からデータを受信する。一部の実施形態では、デバイスは、ユーザのいかなる表現をも表示しなかったことを理由に、第１の参加者がライブ通信セッションに所定時間の間に参加しなかったとの判定を行うことができる。所定条件が満たされるときに、プレースホルダの表示を中止し、表現の配置を変更することにより、ユーザは、表示されている参加者及び／又はプレースホルダの視認性を最大化しながら、他のユーザが通話に参加するとき又は参加しないときを迅速に認識することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、プレースホルダの表示を中止し、表示の配置を変更することにより、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 In an embodiment in which the placeholder and representations of a first plurality of participants are arranged in a first layout, optionally, in blocks 937, 938 and 939, the device ceases displaying the placeholder upon determining that the first participant has not participated in the live communication session for a predetermined period of time (e.g., has not participated in the live communication after a predetermined period of time) (Figures 8E and 8F). Further, upon a determination that the first participant has not participated in the live communication session for a predetermined time, the device changes the arrangement of the representations of the first of the plurality of participants to a second layout different from the first layout (e.g., including zooming in and/or moving one or more of the participant representations (e.g., displaying a layout in which the first participant is not included in the layout). In some embodiments, the device receives data from a server or other device to make the determination that the first participant has not participated in the live communication session for a predetermined time. In some embodiments, the device may make the determination that the first participant has not participated in the live communication session for a predetermined time because it has not displayed any representations of the user. By ceasing to display the placeholders and changing the arrangement of the representations when a predetermined condition is met, a user may quickly recognize when other users are joining or not joining the call while maximizing the visibility of the displayed participants and/or placeholders. By performing an optimized operation without requiring further user input when a set of conditions are met, the device The device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently. Additionally, by ceasing the display of the placeholder and rearranging the display, feedback is provided to the user regarding the current state of the live communication session, and visual feedback is provided to the user indicating that a notification and/or a specific action related to the live communication session will be performed. Providing the user with improved visual feedback enhances the device's usability and makes the user-device interface more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９４０では、第１の参加者がライブ通信セッションに参加したとの判定を受けて、デバイスは、第１の参加者の表現を伴う第１のプレースホルダの表示を修正する（例えば、図８Ｃ～図８Ｄの８１０Ｂ）（例えば、プレースホルダは参加者の名前を伴うことができる）。一部の実施形態では、デバイスは、この判定を行うためのデータをサーバ又は他の装置から受信することができる。一部の実施形態では、デバイスは、ユーザのいかなる表現も表示していないために、この判定を行うことができる。一部の実施形態では、アニメーションが生じる。参加者の表現を伴う第１のプレースホルダの表示を修正することにより、ユーザはどのユーザが通話に参加したかを迅速に認識することができ、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at block 940, upon a determination that a first participant has joined the live communication session, the device modifies the display of a first placeholder with a representation of the first participant (e.g., 810B in FIGS. 8C-8D) (e.g., the placeholder may be accompanied by the participant's name). In some embodiments, the device may receive data from a server or other device to make this determination. In some embodiments, the device may make this determination because it is not displaying any representation of the user. In some embodiments, animation occurs. Modifying the display of the first placeholder with the representation of the participants allows the user to quickly recognize which users have joined the call, provides the user with feedback regarding the current state of the live communication session, and provides the user with visual feedback indicating that a notification and/or a particular action related to the live communication session will be taken. Providing improved visual feedback to the user enhances usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces power usage and improves battery life of the device by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９４１及び９４２では、ライブ通信セッションにおける複数の参加者の表現を表示している間に、デバイスは、ライブ通信セッションにおける参加者の数の変化を検出する。ライブ通信セッションにおける参加者の数の変化の検出に応じて、ライブ通信セッションにおける参加者の数が変化したことを示す通知（例えば、８１２）を表示する。一部の実施形態では、参加者がライブ通信セッションから退出するときの通知は、退出する参加者の表現がプレースホルダのグラフィック（例えば、参加者の名前又はイニシャルを含むグラフィック）に置き換えられ、その後（例えば、所定時間後）に消える、アニメーションである。一部の実施形態では、新規の参加者がライブ通信セッションに参加するときの通知は、後に（例えば、所定時間後に）新規の参加者の表現（例えば、新規の参加者のデバイスから送信されるビデオデータに基づく表現）に置き換えられる、新規の参加者用のプレースホルダ（例えば、参加者の名前又はイニシャルを含むグラフィック）の表示である。一部の実施形態では、ライブ通信セッションにおける参加者の数が変化したことを示す通知は、ライブ通信セッションに参加している参加者の数が参加者の閾数を超えているとの判定を受けて表示される（例えば、オーバーフロー領域が、表現の所定の最大数（例えば、電子デバイスのユーザ以外に３つ又は４つの表現よりも多くを含むとき）。一部の実施形態では、デバイスは、ライブ通信セッションにおける参加者の数が変化したとの通知を表示しないで済ます（例えば、通知は、新規に参加した参加者の表現の表示、又はセッションから退出した参加者の表現の表示の削除など、参加者がライブ通信セッションに参加した又はセッションから退出したとの別の可視表示があるときには表示されない）。一部の実施形態では、デバイスは、通知を表示せずに（例えば、参加者がライブ通信セッションに参加した又はセッションから退出したとの可視表示がないときに）、ライブ通信セッションにおける参加者の数が変化したことを示すオーディオ出力を提供する。一部の実施形態では、通知は、ライブ通信セッションに参加した又はセッションから退出した参加者の表示（例えば、名前）を含む。一部の実施形態では、閾値時間内に複数の参加者がライブ通信セッションに参加した及び／又はセッションから退出した場合、デバイスは、閾値時間内にライブ通信セッションに参加した及び／又はセッションから退出した参加者の数を示す単一の通知を生成する。一部の実施形態では、ライブ通信セッションに参加する参加者及びライブ通信セッションから退出する参加者は、別々の通知にグループ化される。一部の実施形態では、参加者がライブ通信セッションから退出する又はセッションに参加するときに、デバイスは、ライブ通信セッションに参加する及び／又はセッションから退出する追加参加者に関する情報を通知が含むべきかを判定するために、閾値時間が経過するまで通知の表示を遅らせる。ライブ通信セッションにおける参加者の数が変化したことを示す通知を表示することにより、ライブ通信セッションにおける参加者の数の現在の状態に関するフィードバックがユーザに提供され、ライブ通信セッションにおける参加者の数に変化が生じたことを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in blocks 941 and 942, while displaying representations of multiple participants in the live communication session, the device detects a change in the number of participants in the live communication session. In response to detecting a change in the number of participants in the live communication session, a notification (e.g., 812) is displayed indicating that the number of participants in the live communication session has changed. In some embodiments, the notification when a participant leaves the live communication session is an animation in which the representation of the leaving participant is replaced with a placeholder graphic (e.g., a graphic including the participant's name or initials) that then disappears (e.g., after a predetermined time). In some embodiments, the notification when a new participant joins the live communication session is the display of a placeholder for the new participant (e.g., a graphic including the participant's name or initials) that is later (e.g., after a predetermined time) replaced with a representation of the new participant (e.g., a representation based on video data transmitted from the new participant's device). In some embodiments, a notification indicating that the number of participants in the live communication session has changed is displayed upon determining that the number of participants participating in the live communication session exceeds a threshold number of participants (e.g., when the overflow area includes more than a predetermined maximum number of representations (e.g., more than three or four representations other than the user of the electronic device). In some embodiments, the device may forgo displaying a notification that the number of participants in the live communication session has changed (e.g., the notification is not displayed when there is another visual indication that a participant has joined or left the live communication session, such as displaying a representation of a newly joined participant or removing a representation of a participant who has left the session). In some embodiments, the device may provide an audio output indicating that the number of participants in the live communication session has changed without displaying a notification (e.g., in the absence of a visual indication that a participant has joined or left the live communication session). In some embodiments, the notification includes an indication (e.g., name) of a participant who has joined or left the live communication session. In some embodiments, if multiple participants have joined and/or left the live communication session within the threshold time, the device may select a participant who has joined and/or left the live communication session within the threshold time. In some embodiments, participants joining and leaving the live communication session are grouped into separate notifications. In some embodiments, when a participant leaves or joins the live communication session, the device delays displaying the notification until a threshold time has elapsed to determine whether the notification should include information about additional participants joining and/or leaving the live communication session. Displaying a notification indicating that the number of participants in the live communication session has changed provides the user with feedback regarding the current state of the number of participants in the live communication session and provides visual feedback to the user indicating that a change has occurred in the number of participants in the live communication session. Providing improved visual feedback to the user enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９４３、９４４、９４５及び９４６では、デバイスは、ライブ通信セッションにおける複数の参加者の表現の一部として、デバイスのカメラのビュー（例えば、セルフビュー）の表現を第１のサイズで表示する（例えば、図８ＡＨの８０６）。ライブ通信セッションにおける複数の参加者の表現を表示している間に、デバイスは、第１のメニュー（例えば、８３２）を表示するための選択に対応する第１の入力（例えば、８５０Ｉ）（例えば、背景上の単一のタップ又は上方向スワイプに基づいてトリガされる）を受ける。第１のメニューを表示するための選択に対応する入力を受けたことに応じて、デバイスは、ライブ通信ユーザインターフェース（例えば、８０４）に第１のメニュー（例えば、通話コントロールメニュー８３２）を表示し、第１のメニューは、ライブ通信セッションにおける参加者の表現上に視覚的効果（例えば、創作カメラ）を表示するためのオプション（例えば、８３６）を含む。一部の実施形態では、メニューは、（例えば、前面カメラから背面カメラへの）通話切替カメラを終了するためなどの他のオプションを含む。視覚的効果（例えば、８４２）を表示するためのオプションの選択に対応する第２の入力（例えば、８５０Ｋ）を受けたことに応じて、デバイスは、デバイスのカメラのビューの表現（例えば、８４２）を、第１のサイズよりも大きい第２のサイズで（例えば、参加者の表現上にオーバーレイするように）表示する。 Optionally, at blocks 943, 944, 945, and 946, the device displays a representation of the device's camera view (e.g., self-view) at a first size as part of the representations of the participants in the live communication session (e.g., 806 in FIG. 8AH). While displaying the representations of the participants in the live communication session, the device receives a first input (e.g., 850I) (e.g., triggered based on a single tap or upward swipe on the background) corresponding to a selection to display a first menu (e.g., 832). In response to receiving the input corresponding to a selection to display the first menu, the device displays a first menu (e.g., call control menu 832) in a live communication user interface (e.g., 804), the first menu including an option (e.g., 836) for displaying a visual effect (e.g., creative camera) on the representations of the participants in the live communication session. In some embodiments, the menu includes other options, such as for terminating the call switching camera (e.g., from the front camera to the back camera). In response to receiving a second input (e.g., 850K) corresponding to a selection of an option to display a visual effect (e.g., 842), the device displays a representation of the device's camera's view (e.g., 842) at a second size larger than the first size (e.g., overlaid on the representation of the participant).

任意選択的に、ブロック９４７、９４８及び９４９では、デバイスは、ライブ通信セッションにおける複数の参加者の表現のうちの第１の表現（例えば、図８Ｌの８１０Ｆ）を拡大するための選択に対応する第３の入力（例えば、８５０Ｃ）（例えば、メイン領域内の表現上のダブルタップ、又は強度閾値を超える特性強度を有する入力）を受ける。ライブ通信セッションにおける複数の参加者の表現のうちの第１の表現を拡大するための選択に対応する第３の入力を受けたことに応じて、デバイスは、第１の表現を拡大する（例えば、図８Ｍの８１０Ｆ）。デバイスは、ライブ通信ユーザインターフェースにおいて複数の参加者の表現のうちの第１の表現とは異なる少なくとも１つの表現（例えば、図８Ｌ～図８Ｍの８１０Ｅ）のサイズを小さくする。表示される表現のセットにおける１つ以上の表現のサイズを動的に小さくし、選択された表現を拡大することにより、ユーザが、縮小される表現を最小限にしながら、拡大された表現に着目し、同表現を容易に見ることができる、改善されたフィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 947, 948, and 949, the device receives a third input (e.g., 850C) (e.g., a double tap on the representation in the main area or an input having a characteristic intensity exceeding an intensity threshold) corresponding to a selection to enlarge a first one of the representations of the multiple participants in the live communication session (e.g., 810F of FIG. 8L). In response to receiving the third input corresponding to a selection to enlarge a first one of the representations of the multiple participants in the live communication session, the device enlarges the first representation (e.g., 810F of FIG. 8M). The device reduces the size of at least one representation (e.g., 810E of FIG. 8L-8M) that is different from the first one of the representations of the multiple participants in the live communication user interface. By dynamically reducing the size of one or more representations in the set of displayed representations and enlarging the selected representation, improved feedback is provided that allows a user to focus on and easily view the enlarged representation while minimizing the representations that are reduced in size. Providing improved visual feedback to the user enhances usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces power usage and improves battery life of the device by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９５０、９５１、９５２及び９５３では、デバイスは、電子デバイスの向きの変化（例えば、第１の方向へ（例えば、時計回りで９０度の変化））を示すデータを受信する。電子デバイスの向きの変化を示すデータの受信に応じて、デバイスは、（例えば、第２の方向へ（例えば、画像を直立に維持するように、第１の方向とは反対方向へ））ライブ通信セッションにおける複数の参加者の表現の表示を回転させる（例えば、図８Ｗ～図８Ｘ）。デバイスは、表示を回転させる間、ライブ通信セッションにおける複数の参加者の表現の従前の表示の相対的な特性（例えば、他の表示の、ユーザインターフェースオブジェクト（例えば、表現）のサイズ、位置、配置等）を維持する。特定の条件（例えば、ユーザがデバイスを回転していることを示すデータ）が満たされるときに、デバイスを自動的に回転させ、従前に表示された表現の相対的な特性を維持することにより、ユーザは、表現の配置、サイズ、又は位置の変化を伴わずに、視覚的錯乱を最小限にして、回転された表現を従前と同じ表示位置で見ることができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 950, 951, 952, and 953, the device receives data indicating a change in orientation of the electronic device (e.g., in a first direction (e.g., a 90 degree change clockwise)). In response to receiving the data indicating a change in orientation of the electronic device, the device rotates a display of the representations of the multiple participants in the live communication session (e.g., in a second direction (e.g., opposite the first direction to keep the images upright)) (e.g., FIGS. 8W-8X). While rotating the display, the device maintains relative characteristics of the previous display of the representations of the multiple participants in the live communication session (e.g., sizes, positions, arrangements, etc. of user interface objects (e.g., representations) of other displays). By automatically rotating the device and maintaining the relative characteristics of the previously displayed representations when certain conditions are met (e.g., data indicating that the user is rotating the device), the user can view the rotated representations in the same display position as before, with minimal visual confusion, and without any change in the arrangement, size, or position of the representations. By performing an optimized operation without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

任意選択的に、ブロック９５４では、電子デバイスの向きの変化（例えば、縦置きの向きから横置きの向きへ）を示す第１のデータの受信に応じて、デバイスは、ライブ通信セッションにおける複数の参加者の表現のうちの第１の表現の表示を、第１の表現内の顔の位置に基づいて変更する（例えば、図８ＡＺ～図８ＢＡの８２２Ｃ）（例えば、表現が正方形ではない場合、縦置きの表現（参加者の顔は、表現の上部に偏ることがある）から横置きの表現に移るときに、参加者の顔が表現の中心となるように表示を調整する）。 Optionally, at block 954, in response to receiving first data indicating a change in orientation of the electronic device (e.g., from a portrait orientation to a landscape orientation), the device modifies the display of a first representation of a plurality of participant representations in the live communication session based on the position of the face within the first representation (e.g., 822C in Figures 8AZ-8BA) (e.g., adjusting the display so that the participant's face is centered in the representation when moving from a portrait representation (where the participant's face may be biased toward the top of the representation) to a landscape representation if the representation is not square).

任意選択的に、ブロック９５５及び９５６では、複数の参加者の表現のうちの第２の表現を表示している間に、デバイスは、ライブ通信セッションにおける複数の参加者の表現のうちの少なくとも１つの表現のアスペクト比を変更するための要求を受ける。ライブ通信セッションにおける複数の参加者の表現のうちの少なくとも１つの表現のアスペクト比を変更するための要求を受けたことに応じて、デバイスは、第２の表現のアスペクト比を第６のアスペクト比から第７のアスペクト比（例えば、正方形又は円形のアスペクト比）に変更するが、第２の表現は、第７のアスペクト比である間は、電子デバイスにより受信されるライブメディアストリームの第２の部分（例えば、第１の部分よりも少ない部分、トリミングされた部分）を含み、第２の部分は、ライブメディアストリーム中で検出される顔を含むように選択される（例えば、図８ＡＺ～図８ＢＡの８２２Ｃ）。一部の実施形態では、電子デバイスは、ライブビデオフィードに基づいて表現のアスペクト比を変更し、検出される顔が表現からトリミングされて失われないように、ライブビデオフィードのうちの検出される顔を含む部分を選択することによって、ライブビデオフィードの一部分をトリミングする。参加者の表現内に顔のビューを維持することにより、アスペクト比を変更するときにユーザに他の参加者の顔を見ることを可能にさせるフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 955 and 956, while displaying a second representation of the representations of the multiple participants, the device receives a request to change an aspect ratio of at least one of the representations of the multiple participants in the live communication session. In response to receiving the request to change the aspect ratio of at least one of the representations of the multiple participants in the live communication session, the device changes the aspect ratio of the second representation from the sixth aspect ratio to a seventh aspect ratio (e.g., a square or circular aspect ratio), while the second representation, while in the seventh aspect ratio, includes a second portion (e.g., a smaller portion than the first portion, a cropped portion) of the live media stream received by the electronic device, the second portion being selected to include a face detected in the live media stream (e.g., 822C in FIGS. 8AZ-8BA). In some embodiments, the electronic device crops a portion of the live video feed by changing the aspect ratio of the representation based on the live video feed and selecting a portion of the live video feed that includes the detected face such that the detected face is not cropped out of the representation. Maintaining a view of the face within the participant's representation provides feedback to the user that allows the user to see the faces of other participants when changing the aspect ratio. Providing improved visual feedback to the user enhances usability of the device and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９５７、９５８、９５９、９６０、及び９６１では、ライブ通信セッションにおける複数の参加者の表現を表示している間に、デバイスは、メニュー（例えば、８３２）を表示するための要求に対応する第４の入力（例えば、８５０Ｉ）（例えば、背景上の単一のタップ又は上方向スワイプに基づいてトリガされる）を受ける。第４の入力を受けたことに応じて、デバイスは、ライブ通信セッション用のユーザインターフェースにメニュー（例えば、８３２）を表示する。デバイスは、（例えば、メニューを収容するために、メニューとの重なりを避けるために、）ライブ通信セッションにおける複数の参加者の表現のうちの少なくとも第３の表現（例えば、図８ＡＩの８１０Ｈ）を移動させる。デバイスは、（例えば、メニューを収容するために、メニューとの重なりを避けるために、）ライブ通信セッションにおける複数の参加者の表現のうちの少なくとも第４の表現（例えば、図８ＡＩの８１０Ｆ）（例えば、第３の表現と同じ表現、第３の表現とは異なる表現）のサイズを変更する。一部の実施形態では、表現は、画面の下部にメニューが表示されるときに上に移動され、サイズ変更される。一部の実施形態では、メニューを表示するときに、複数の表現のうちの少なくとも１つの表現がサイズ変更されない。一部の実施形態では、表現は、３つの所定の画像サイズを（例えば、「小」を１つ、「中」を２つ、及び「大」を１つ）有する表現であり、１つのサイズの表現（例えば、「中」画像（単数又は複数））のみがサイズ変更され、「小」及び「大」の表現は同じサイズに維持される。メニューを表示しているときに、１つ以上の表現を移動させ、ライブ通信セッションにおける１つ以上の表現のサイズを変更することにより、ライブ通信ユーザインターフェース内の表現の視認性を維持しながら追加制御オプションが提供される。表示される追加コントローラによってライブ通信ユーザインターフェースを雑然とさせることなく、追加制御オプションを提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 957, 958, 959, 960, and 961, while displaying the representations of the multiple participants in the live communication session, the device receives a fourth input (e.g., 850I) (e.g., triggered based on a single tap or an upward swipe on the background) corresponding to a request to display a menu (e.g., 832). In response to receiving the fourth input, the device displays the menu (e.g., 832) in a user interface for the live communication session. The device moves at least a third representation (e.g., 810H of FIG. 8AI) of the representations of the multiple participants in the live communication session (e.g., to accommodate the menu, to avoid overlap with the menu). The device resizes at least a fourth representation (e.g., 810F of FIG. 8AI) of the representations of the multiple participants in the live communication session (e.g., the same representation as the third representation, a different representation from the third representation) (e.g., to accommodate the menu, to avoid overlap with the menu). In some embodiments, the representations are moved up and resized when a menu is displayed at the bottom of the screen. In some embodiments, at least one of the representations is not resized when displaying a menu. In some embodiments, the representations are of three predefined image sizes (e.g., one "small", two "medium" and one "large"), and only one size of the representation (e.g., the "medium" image(s)) is resized, while the "small" and "large" representations remain the same size. By moving one or more representations and resizing one or more representations in a live communication session when displaying a menu, additional control options are provided while maintaining visibility of the representations in the live communication user interface. Providing additional control options without cluttering the live communication user interface with additional displayed controls enhances the usability of the device and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、デバイスは、オーバーフロー領域に表される第２の複数の参加者における第１の参加者の活動レベルが、第１の複数の参加者の表現のうちの第１の表現に対応する参加者の活動レベルを超えて上昇する（例えば、オーバーフロー領域に表される参加者が、キャンバス領域に表される参加者のうちの１人の活動レベルを超えて活動レベルが上昇するように通話し始める）ことを示すデータを受信し、それに応じて、第１の複数の参加者の表現のうちの第１の表現の表示を、第２の複数の参加者における第１の参加者の表現に置き換え（例えば、キャンバス領域内で活動レベルが最も低い参加者を発話している参加者の表現に置き換え）、オーバーフロー領域内の第１の参加者の表現の表示を中止する。一部の実施形態では、オーバーフロー領域内の第１の参加者の表現の表示を中止することは、表現が収縮するアニメーションを含む。一部の実施形態では、オーバーフロー領域内の他の表現は、表現が表示されていた隙間を埋めるように平行移動される。一部の実施形態では、第１の複数の参加者の表現のうちの第１の表現の表示を置き換えることは、置き換えられた第１の表現に対応する参加者の表現をオーバーフロー領域に表示することを含む。 In some embodiments, the device receives data indicating that an activity level of a first participant in the second plurality of participants represented in the overflow area rises above an activity level of a participant corresponding to a first representation in the representations of the first plurality of participants (e.g., a participant represented in the overflow area begins speaking such that the activity level rises above an activity level of one of the participants represented in the canvas area), and in response, replaces the display of the first representation in the representations of the first plurality of participants with a representation of the first participant in the second plurality of participants (e.g., replaces the least active participant in the canvas area with a representation of the speaking participant) and ceases displaying the representation of the first participant in the overflow area. In some embodiments, ceasing to display the representation of the first participant in the overflow area includes an animation of the representation shrinking. In some embodiments, other representations in the overflow area are translated to fill the gap where the representation was displayed. In some embodiments, replacing the display of the first representation in the representations of the first plurality of participants includes displaying in the overflow area a representation of the participant corresponding to the replaced first representation.

一部の実施形態では、ライブ通信セッションにおける複数の参加者の表現を表示している間に、デバイスは、メニューを表示するための要求に対応する入力を受ける。メニューを表示するための要求に対応する入力を受けたことに応じて、デバイスは、ライブ通信ユーザインターフェースにメニューを表示する。メニューは、コンテンツアイテム（例えば、ゲーム、ビデオ、スケッチ）を選択するためのオプションを含む。一部の実施形態では、デバイスは、コンテンツアイテムの選択に対応する入力を受け、コンテンツアイテムの選択に対応する入力を受けたことに応じて、デバイスは、それぞれの閾値サイズよりも大きなサイズで表示される参加者の表現（例えば、キャンバス領域内の参加者の表現）を、それぞれの閾値サイズよりも大きなサイズのコンテンツアイテムの表現に置き換える（例えば、コンテンツアイテムは、キャンバス領域内の位置のうちの１つに表示される）。 In some embodiments, while displaying representations of multiple participants in a live communication session, the device receives an input corresponding to a request to display a menu. In response to receiving the input corresponding to the request to display the menu, the device displays a menu in the live communication user interface. The menu includes options for selecting a content item (e.g., a game, a video, a sketch). In some embodiments, the device receives an input corresponding to a selection of the content item, and in response to receiving the input corresponding to a selection of the content item, the device replaces representations of the participants displayed at a size larger than their respective threshold size (e.g., representations of the participants in the canvas area) with representations of the content item at a size larger than their respective threshold size (e.g., the content item is displayed in one of the positions in the canvas area).

一部の実施形態では、第２の複数の参加者の表現をオーバーフロー領域に表示することは、第１の数の参加者（例えば、合計６人の参加者）がライブ通信セッションに参加しているとの判定を受けて、表現の第１のセット（例えば、最もアクティブではない参加者の表現と、デバイスのカメラのビューの表現とを含む、２つの表現）をオーバーフロー領域に表示し、第１の数の参加者とは異なる第２の数の参加者（例えば、合計７人の参加者）がライブ通信セッションに参加しているとの判定を受けて、表現の第１のセットとは異なる表現の第２のセット（例えば、最もアクティブではない２人の参加者の表現と、デバイスのカメラのビューの表現とを含む、３つの表現）をオーバーフロー領域に表示し、表現の第２のセットは、表現の第１のセットとは異なる数の表現を含む。 In some embodiments, displaying the representations of the second plurality of participants in the overflow area includes, upon a determination that a first number of participants (e.g., a total of six participants) are participating in the live communication session, displaying a first set of representations (e.g., two representations including a representation of the least active participant and a representation of a view of the device's camera) in the overflow area, and upon a determination that a second number of participants (e.g., a total of seven participants) different from the first number of participants are participating in the live communication session, displaying a second set of representations (e.g., three representations including a representation of the two least active participants and a representation of a view of the device's camera) in the overflow area that is different from the first set of representations, the second set of representations including a different number of representations than the first set of representations.

なお、方法９００に関して前述した処理（例えば、図９Ａ～図９Ｋ）の詳細はまた、後述する／前述した方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法９００は、任意選択的に、方法７００、１１００、１３００、及び１５００に関して前述した様々な方法の特性の１つ以上を含む。 It should be noted that the details of the processes (e.g., FIGS. 9A-9K) described above with respect to method 900 are also applicable in a similar manner to the methods described below/above. For example, method 900 optionally includes one or more of the characteristics of the various methods described above with respect to methods 700, 1100, 1300, and 1500.

図１０Ａ～図１０Ｓは、一部の実施形態による、特に、ライブ通信セッションのユーザインターフェースを動的に調整する、例示的な技術を示す。これらの図のユーザインターフェースは、図１１Ａ～図１１Ｆの処理を含む後述する処理を示すために使用される。 10A-10S illustrate example techniques, in particular for dynamically adjusting a user interface of a live communication session, according to some embodiments. The user interfaces in these figures are used to illustrate the processes described below, including the processes of FIGS. 11A-11F.

図１０Ａは、アクティブなライブ通信セッションのユーザインターフェース１０００を表示しているデバイス６００を示す。ユーザインターフェース１０００は、キャンバス領域１００１に表示されるライブ通信セッションの５人の参加者の表現を含む。表現１０１０Ａは、ライブ通信セッションに接続していない参加者用のプレースホルダを含む。表現１０１０Ｂは、オーディオデータのみを提供している参加者の代表画像を含む。表現１０１０Ｃ及び１０１０Ｄは、それぞれ２人の参加者からのライブビデオフィードを含む。表現１００２は、デバイス６００のカメラ６０３からのビューを含む。 FIG. 10A shows device 600 displaying a user interface 1000 of an active live communication session. User interface 1000 includes representations of five participants of the live communication session displayed in canvas area 1001. Representation 1010A includes placeholders for participants who are not connected to the live communication session. Representation 1010B includes representative images of participants who are providing only audio data. Representations 1010C and 1010D each include live video feeds from two participants. Representation 1002 includes a view from camera 603 of device 600.

各参加者は、ユーザインターフェース１０００のレイアウトを決定するために使用される活動レベルを有する。一部の実施形態では、参加者の活動レベルは、参加者のデバイスから受信されるオーディオ及び／又はビデオフィード（例えば、ビデオフィード中の動き又は音）に基づく。一部の実施形態では、参加者の活動レベルは、参加者のデバイスから受信されるオーディオフィードからフィルタリングされたオーディオ（例えば、バックグラウンドノイズをフィルタリングしたオーディオ又は発話オーディオを分離／増幅するようにフィルタリングされたオーディオ）に基づく。一部の実施形態では、参加者の活動レベルは、参加者のデバイスから受信されるビデオフィードにおいて識別される、移動基準のセットを満たす移動（例えば、特定の種類の移動（手の移動、頭／顔の移動、背景の移動（例えば、参加者以外の移動）ではない移動）に基づく。 Each participant has an activity level that is used to determine the layout of the user interface 1000. In some embodiments, a participant's activity level is based on audio and/or video feeds (e.g., movements or sounds in the video feed) received from the participant's device. In some embodiments, a participant's activity level is based on audio filtered from the audio feed received from the participant's device (e.g., audio filtered to remove background noise or audio filtered to isolate/amplify speech audio). In some embodiments, a participant's activity level is based on movements that meet a set of movement criteria (e.g., certain types of movements (hand movements, head/face movements, movements that are not background movements (e.g., non-participant movements)) identified in the video feed received from the participant's device.

一部の実施形態では、参加者の活動レベルは、第１の参加者のデバイスにて検出される活動を示すデータ（例えば、第１の参加者が、参加者のデバイスにてユーザインターフェースアクション（例えば、注目アフォーダンス又は視覚的効果アフォーダンスの選択）を行ったことを示すデータ）に基づく。一部の実施形態では、活動レベルは、外部の電子装置（例えば、サーバ）で決定された後にデバイス６００に送信される。 In some embodiments, the participant activity level is based on data indicative of activity detected at the first participant's device (e.g., data indicating that the first participant performed a user interface action (e.g., selecting an attention affordance or a visual effect affordance) at the participant's device). In some embodiments, the activity level is determined at an external electronic device (e.g., a server) and then transmitted to device 600.

図１０Ａに示すように、ライブ通信セッションの参加者の活動レベルは、表現で、最高から最低まで、表現１０１０Ｃ、表現１０１０Ｄ、表現１０１０Ｂ、及び表現１０１０Ａの順序となる。図１０Ａ～図１０Ｏの右側に示す表は参加者を最高から最低まで活動レベルの降順にリスト化しており、キャンバス領域１００１に表される参加者のうち、リストの先頭の参加者（１）が最も高い活動レベルを有し、リストの末尾の人（４）は最も低い活動レベルを有している。図１０Ａ～図１０Ｏでは、活動レベルが最も高い参加者に対応する表現は、キャンバス領域１００１内の最も大きな表現であり、キャンバス領域１００１に表される参加者のうちの活動レベルが最も低い参加者に対応する表現は、最も小さい。図１０Ａ～図１０Ｏでは、活動レベルが２番目に高い参加者及び３番目に高い参加者に対応する表現は、キャンバス領域１００１に表される参加者のうちの活動レベルが最も高い参加者の表現のサイズと、活動レベルが最も低い参加者の表現のサイズとの間のサイズである。 As shown in FIG. 10A, the activity levels of the participants in the live communication session are, in representations, ordered from highest to lowest: representation 1010C, representation 1010D, representation 1010B, and representation 1010A. The table shown on the right side of FIGS. 10A-10O lists the participants in descending order of activity level, from highest to lowest, with the participant at the top of the list (1) having the highest activity level and the person at the bottom of the list (4) having the lowest activity level among the participants represented in the canvas area 1001. In FIGS. 10A-10O, the representation corresponding to the most active participant is the largest representation in the canvas area 1001, and the representation corresponding to the least active participant among the participants represented in the canvas area 1001 is the smallest. In FIGS. 10A-10O, the representations corresponding to the second and third most active participants are between the size of the representation of the most active participant and the size of the representation of the least active participant among the participants represented in the canvas area 1001.

一部の実施形態では、参加者の活動レベルは、他の参加者に対して変化する。ユーザインターフェース１０００を表示している間に、デバイス６００は、表現１０１０Ｂに対応する参加者Ｓｔｅｐｈｅｎの活動レベルが、表現１０１０Ｄに対応する参加者Ｎｉｃｈｏｌａｓの活動レベルを超えて上昇したことを示すデータを受信する。図１０Ｂに示すように、表現１０１０Ｂの活動レベルは、表現１０１０Ｄの活動レベルを超えて上昇するが、２番目に高い活動レベルを有するので、サイズが変化しない。図１０Ｂでは、参加者Ｓｔｅｐｈｅｎは発話し続け、活動レベルが最も高い参加者になる。これに応じて、図１０Ｃに示すように、表現１０１０Ｂのサイズは大きくなり、表現１０１０Ｃのサイズは小さくなり、表現１０１０Ａは（例えば、表現１００２Ｂのサイズの増加による表現１０１０Ｂとの過度な重なりを避けるように）右にシフトする。一部の実施形態では、デバイス６００は、ユーザインターフェース１０００上の３つ以上の表現のサイズ及び／又は位置を変更する。 In some embodiments, the activity level of a participant changes relative to other participants. While displaying the user interface 1000, the device 600 receives data indicating that the activity level of participant Stephen, corresponding to representation 1010B, has risen above the activity level of participant Nicholas, corresponding to representation 1010D. As shown in FIG. 10B, the activity level of representation 1010B rises above the activity level of representation 1010D, but does not change size because it has the second highest activity level. In FIG. 10B, participant Stephen continues to speak and becomes the participant with the highest activity level. In response, as shown in FIG. 10C, representation 1010B increases in size, representation 1010C decreases in size, and representation 1010A shifts to the right (e.g., to avoid excessive overlap with representation 1010B due to the increase in size of representation 1002B). In some embodiments, the device 600 changes the size and/or position of three or more representations on the user interface 1000.

図１０Ｃに示すように、表現１０１０Ａ～１０１０Ｄは、互いに重なり合う。一部の実施形態では、１つ以上の表現１０１０Ａ～１０１０Ｄは、表現のサイズが大きくなるときに、参加者の顔を邪魔することを避ける、及び／又は所定の最大重なりを超える重なりが生じることを避けるために、サイズが縮小され、及び／又は移動される。一部の実施形態では、表現１０１０Ａ～１０１０Ｄの前後（別名、「ｚオーダー」）は、表現のサイズが大きくなるとき（例えば、参加者がアクティブに参加しているとき）に変化しない。一部の実施形態では、表現１０１０は、（例えば、対応する参加者による能動的な参加、又は表現を選択するデバイス６００でのユーザ入力（例えば、前述した図８Ｍのユーザ入力８５０Ｃに応じて））サイズを変更するときに１つ以上の表現の順序を変更する（例えば、後から前又は前から後に移動する）。例えば、一部の実施形態では、表現１０１０Ｂは、図１０Ｂ～図１０Ｃにおいてサイズが大きくなるときに、表現１０１０Ｃ及び／又は表現１０１０Ａの前に移動する。 As shown in FIG. 10C, representations 1010A-1010D overlap one another. In some embodiments, one or more of representations 1010A-1010D are reduced in size and/or moved to avoid obscuring a participant's face and/or to avoid overlapping beyond a predetermined maximum overlap as the representations increase in size. In some embodiments, the front to back (a.k.a. "z-order") of representations 1010A-1010D does not change as the representations increase in size (e.g., when a participant is actively participating). In some embodiments, representations 1010 change order (e.g., move from back to front or front to back) of one or more representations as they change size (e.g., in response to active participation by a corresponding participant or user input at device 600 selecting a representation (e.g., user input 850C of FIG. 8M described above)). For example, in some embodiments, representation 1010B moves in front of representation 1010C and/or representation 1010A as it increases in size in FIG. 10B-10C.

一部の実施形態では、参加者の表現は、サイズ／又は位置を変更するときに、ディスプレイ６０２上のほぼ同じ領域に留まる。図１０Ａ～図１０Ｃに示すように、表現１０１０Ａ～１０１０Ｄがサイズ及び／又は位置を変更した後に、各表現は、サイズ及び／又は位置を変更するに先立って占めていた領域の少なくとも一部を占める。 In some embodiments, the representations of the participants remain in approximately the same area on the display 602 when they change size and/or position. As shown in FIGS. 10A-10C, after the representations 1010A-1010D change size and/or position, each representation occupies at least a portion of the area it occupied prior to changing size and/or position.

図１０Ｄに目を向けると、表現１０１０Ｂの参加者Ｓｔｅｐｈｅｎは通話を止め始め、図１０Ｅに示すように、表現１０１０Ａのライブビデオフィード中の参加者が物理的に移動し始める。参加者の動きが、ライブビデオフィード中で検出される。一部の実施形態では、参加者のライブビデオフィード内で検出された動き（例えば、参加者の物理的移動を示す動き）に基づいて、参加者がライブ通信セッションに能動的に参加していると判定される。一部の実施形態では、参加者の移動は、参加者の活動レベルの上昇をもたらす。一部の実施形態では、動きが１つ以上の基準（例えば、継続時間、大きさ、方向、又は所定のジェスチャ）を満たすことによって、参加者が能動的に参加していると判定される。 Turning to FIG. 10D, participant Stephen in representation 1010B begins to hang up, and participants in the live video feed of representation 1010A begin to physically move, as shown in FIG. 10E. Participant movement is detected in the live video feed. In some embodiments, a participant is determined to be actively participating in the live communication session based on movement detected in the participant's live video feed (e.g., movement indicative of the participant's physical movement). In some embodiments, the participant's movement results in an increase in the participant's activity level. In some embodiments, a participant is determined to be actively participating by the movement meeting one or more criteria (e.g., duration, magnitude, direction, or a predefined gesture).

図１０Ｆに示すように、表現１０１０Ａの参加者が能動的に参加していることを示すデータの受信に応じて、デバイス６００は、表現１０１０Ａのサイズを大きくし、表現１０１０Ｄのサイズを小さくする。表現１０１０Ｂは、同じ大きさのまま、下方に移動される。このようにして、表現１０１０Ａは最小の表現から中サイズの表現に移行し、表現１０１０Ｄは最小の表現に移行する。 As shown in FIG. 10F, in response to receiving data indicating that the participant in representation 1010A is actively participating, device 600 increases the size of representation 1010A and decreases the size of representation 1010D. Representation 1010B remains the same size and is moved downward. In this manner, representation 1010A transitions from a smallest representation to a medium-sized representation and representation 1010D transitions to a smallest representation.

一部の実施形態では、表現１０１０Ａの参加者（例えば、活動レベルが最も低い参加者）が能動的に参加していることを示すデータの受信に応じて、デバイス６００は、表現１０１０Ａのサイズを最小の表現から最大の表現に大きくし、表現１０１０Ｂのサイズを小さくする。一部の実施形態では、表現１０１０Ａは、表現１０１０Ａに対応する参加者が、能動的に参加している直近の参加者になることによって、最小の表現から最大の表現に大きくなる。例えば、一部の実施形態では、表現１０１０Ａに対応する参加者が、能動的に参加する直近の参加者になることによって、デバイス６００は、図１０Ｅに示すレイアウト及び相対的な表現サイズから、図１０Ｇに示すレイアウト及び相対的な表現サイズに移行する（以下に記載する）。 In some embodiments, in response to receiving data indicating that a participant in representation 1010A (e.g., the participant with the lowest activity level) is actively participating, device 600 increases the size of representation 1010A from the smallest representation to the largest representation and decreases the size of representation 1010B. In some embodiments, representation 1010A increases from the smallest representation to the largest representation due to the participant corresponding to representation 1010A becoming the most recently actively participating participant. For example, in some embodiments, due to the participant corresponding to representation 1010A becoming the most recently actively participating participant, device 600 transitions from the layout and relative representation sizes shown in FIG. 10E to the layout and relative representation sizes shown in FIG. 10G (described below).

一部の実施形態では、参加者は、ライブ通信セッションに提供されるライブビデオフィードに視覚的効果を適用することによって、ライブ通信セッションに能動的に参加する。一部の実施形態では、参加者は、参加者のデバイスのユーザインターフェースによって、視覚的効果を適用する。一部の実施形態では、参加者は、参加者のライブメディアフィードに含まれる視覚的効果に基づいて、ライブ通信セッションに能動的に参加していると判定される。図１０Ｆに示すように、表現１０１０Ａのライブビデオフィードに、視覚的効果（ロボットの顔）が適用される。結果として、表現１０１０Ａの参加者は能動的に参加していると判定され、参加者の活動レベルが上昇する。図１０Ｆ～図１０Ｈに示すように、表現１０１０Ａの参加者が能動的に参加しているとの判定を受けて、デバイス６００は、表現１０１０Ａのサイズを最大の表現サイズに大きくし、表現１０１０Ｂのサイズを中の表現サイズに小さくする。表現１０１０Ａに関連する参加者の活動レベルが上昇することにより、表現１０１０Ａと表現１０１Ｂの相対的なｚオーダーも変化し、表現１０１０Ｂの前に表現１０１０Ａが移動する。 In some embodiments, a participant actively participates in a live communication session by applying visual effects to a live video feed provided to the live communication session. In some embodiments, a participant applies visual effects through a user interface of the participant's device. In some embodiments, a participant is determined to be actively participating in a live communication session based on visual effects included in the participant's live media feed. As shown in FIG. 10F, a visual effect (a robot face) is applied to the live video feed of representation 1010A. As a result, the participant of representation 1010A is determined to be actively participating and the activity level of the participant increases. As shown in FIGS. 10F-10H, upon determining that the participant of representation 1010A is actively participating, device 600 increases the size of representation 1010A to a maximum representation size and decreases the size of representation 1010B to a medium representation size. An increase in the activity level of the participant associated with representation 1010A also changes the relative z-order of representation 1010A and representation 1010B, moving representation 1010A in front of representation 1010B.

図１０Ｈでは、デバイス６００は、表現１０１０Ｃ上でユーザ入力１０５０Ａ（例えば、タップ）を受ける（例えば、検出する）。図１０Ｉ～図１０Ｊに示すように、ユーザ入力１０５０Ａに応じて、デバイス６００は、表現１０１０Ｃのサイズを最大の表現サイズに大きくする。加えて、表現１０１０Ｄに対応する参加者が能動的に参加（例えば、発話）し始めたことで、表現１０１０Ｄが中サイズに大きくなり、表現１０１０Ｂが小サイズに縮小する。 In FIG. 10H, device 600 receives (e.g., detects) user input 1050A (e.g., a tap) on representation 1010C. As shown in FIGS. 10I-10J, in response to user input 1050A, device 600 increases the size of representation 1010C to its maximum representation size. Additionally, the participant corresponding to representation 1010D begins to actively participate (e.g., speak), causing representation 1010D to grow to a medium size and representation 1010B to shrink to a small size.

図１０Ｊでは、デバイス６００は、参加者の表現が表示されていないディスプレイ６０２上の位置でユーザ入力１０５０Ｂ（例えば、タップ）を受ける（例えば、検出する）。図１０Ｋに示すように、ユーザ入力１０５０Ｂに応じて、デバイス６００は、前述した通話コントロールメニュー６３０に類似する通話コントロールメニュー１００４を表示する。 In FIG. 10J, the device 600 receives (e.g., detects) a user input 1050B (e.g., a tap) at a location on the display 602 where no representation of a participant is displayed. As shown in FIG. 10K, in response to the user input 1050B, the device 600 displays a call control menu 1004 that is similar to the call control menu 630 described above.

図１０Ｋに示すように、キャンバス領域１００１のサイズは、通話コントロールメニュー１００４が表示されるときに、通話コントロールメニュー１００４が表現１０１０に重ならないように縮小される。通話コントロールメニュー１００４のための場所を作るために、デバイス６００は、表現の１つ以上のサイズを小さくする、及び／又は上方に平行移動させることによって、表現１０１０のレイアウトを修正する。一部の実施形態では、デバイス６００は、中サイズの表現１０１０Ａ及び１０１０Ｄのサイズを小さくし、小及び大の主要表現、それぞれ１０１０Ｂ及び１０１０Ｃのサイズを維持する。一部の実施形態では、デバイス６００は、表現間（例えば、表現１０１０Ａと表現１０１０Ｃとの間）の上下のへだたりを小さくする。 10K, the size of the canvas area 1001 is reduced so that the call control menu 1004 does not overlap the representation 1010 when it is displayed. To make room for the call control menu 1004, the device 600 modifies the layout of the representations 1010 by reducing the size and/or translating upward one or more of the representations. In some embodiments, the device 600 reduces the size of the medium representations 1010A and 1010D and maintains the size of the small and large primary representations, 1010B and 1010C, respectively. In some embodiments, the device 600 reduces the vertical gap between the representations (e.g., between representations 1010A and 1010C).

ユーザ入力１０５０Ｂを受けたことに応じて、デバイス６００はまた、デバイス６００のユーザの表現１００２を除く各表現上にリボン１０１２Ａ～１０１２Ｄをも表示する。各リボンは、対応する参加者の名前と、表現を拡大するためのアフォーダンスとを含む。 In response to receiving user input 1050B, device 600 also displays ribbons 1012A-1012D on each representation except for representation 1002 of the user of device 600. Each ribbon includes the name of the corresponding participant and an affordance for enlarging the representation.

図１０Ｌに目を向けると、デバイス６００は横置き（水平）の向きで示されている。参加者の相対的な活動レベルは、図１０Ｊにあるのと同じである。図１０Ｊの縦置き（垂直）の向きと比べて、表現は、縦置き（垂直）の向きの場合と同じ、ディスプレイ６０２のそれぞれのエリアを占めており、表現内の画像は、参加者が直立に見えるように回転される。一部の実施形態では、図１０Ｊの縦置きの向きから図１０Ｌの横置きの向きへのデバイス６００の回転に応じて、デバイス６００は、表現又は表現内の画像のアニメーション化された回転（例えば、デバイス６００の回転方向とは反対に９０度）を表示する。 Turning to FIG. 10L, device 600 is shown in a landscape (horizontal) orientation. The relative activity levels of the participants are the same as in FIG. 10J. Compared to the portrait (vertical) orientation of FIG. 10J, the representations occupy the same respective areas of display 602 as in the portrait (vertical) orientation, and the images in the representations are rotated so that the participants appear upright. In some embodiments, in response to rotating device 600 from the portrait orientation of FIG. 10J to the landscape orientation of FIG. 10L, device 600 displays an animated rotation of the representations or images in the representations (e.g., 90 degrees opposite to the direction of rotation of device 600).

図１０Ｍに目を向けると、図１０Ｊに示すレイアウト及び活動レベルから始まり、第６の参加者Ｐａｂｌｏがライブ通信セッションに参加する。図１０Ｍに示すように、第６の参加者がライブ通信セッションに参加したことに応じて、かつライブ通信セッションの接続参加者の数が、接続参加者の所定の閾値である５人の接続参加者よりも多いと判定されたことを受けて、デバイス６００は、活動レベルが最も低い参加者に対応する表現１０１０Ｂの画像を新規の接続参加者の画像に置き換える。デバイス６００は、任意選択的に、新規の接続参加者がライブ通信セッションに参加したとの通知を提供し、新規の接続参加者のオーバーフロー表現１０２２Ａをオーバーフロー領域１０２０に表示する。図１０Ｍ～図１０Ｏに示すように、オーバーフロー領域１０２０が表示されるときに、キャンバス領域１００１のサイズは縮小される。少なくとも一部の表現１０１０Ａ～１０１０Ｄのサイズが小さくなり、及び／又はディスプレイ６０２上で移動する。 Turning to FIG. 10M, starting with the layout and activity level shown in FIG. 10J, a sixth participant, Pablo, joins the live communication session. As shown in FIG. 10M, in response to the sixth participant joining the live communication session, and in response to determining that the number of connected participants in the live communication session is greater than the predetermined threshold of connected participants of five connected participants, the device 600 replaces the image of the representation 1010B corresponding to the participant with the lowest activity level with an image of the new connected participant. The device 600 optionally provides a notification that a new connected participant has joined the live communication session and displays an overflow representation 1022A of the new connected participant in the overflow area 1020. As shown in FIGS. 10M-10O, when the overflow area 1020 is displayed, the canvas area 1001 is reduced in size. At least some of the representations 1010A-1010D are reduced in size and/or moved on the display 602.

図１０Ｎに示すように、オーバーフロー表現１０１０Ａは、主要表現（例えば、図１０Ｎのオーバーフロー領域１０２０の上方の表現）によって表されていない参加者に対応する。図１０Ｎでは、デバイス６００は、オーバーフロー表現１０２２Ａ上でユーザ入力１０５０Ｃ（例えば、タップ）を受ける（例えば、検出する）。図１０Ｏに示すように、ユーザ入力１０５０Ｃに応じて、デバイス６００は、表現１０１０Ａ内の画像を、選択されたオーバーフロー表現１０２２Ａに対応する参加者の画像に置き換え、置き換えられた参加者（Ｈｏａｎ）に対応するオーバーフロー表現１０２２Ｂを表示する。 As shown in FIG. 10N, overflow representation 1010A corresponds to a participant not represented by a primary representation (e.g., the representation above overflow region 1020 in FIG. 10N). In FIG. 10N, device 600 receives (e.g., detects) user input 1050C (e.g., a tap) on overflow representation 1022A. As shown in FIG. 10O, in response to user input 1050C, device 600 replaces the image in representation 1010A with the image of the participant corresponding to the selected overflow representation 1022A and displays overflow representation 1022B corresponding to the replaced participant (Hoan).

一部の実施形態では、デバイス６００は、（例えば、ユーザ入力１０５０Ｃに応じる代わりに）オーバーフロー表現１０２２Ａに対応する参加者による能動的な参加に応じて、図１０Ｎの表現１０１０Ａ内の画像をオーバーフロー表現１０２２Ａに対応する参加者の画像に置き換える。一部の実施形態では、デバイス６００は、オーバーフロー表現１０２２Ａに対応する参加者の活動レベルが、図１０Ｎの表現１０１０Ａに対応する参加者の活動レベルを超えて上昇したとの判定に応じて、図１０Ｎの表現１０１０Ａ内の画像をオーバーフロー表現１０２２Ａに対応する参加者の画像に置き換える。 In some embodiments, device 600 replaces the image in representation 1010A of FIG. 10N with the image of the participant corresponding to overflow representation 1022A in response to active participation by the participant corresponding to overflow representation 1022A (e.g., instead of in response to user input 1050C). In some embodiments, device 600 replaces the image in representation 1010A of FIG. 10N with the image of the participant corresponding to overflow representation 1022A in response to a determination that the activity level of the participant corresponding to overflow representation 1022A has risen above the activity level of the participant corresponding to representation 1010A of FIG. 10N.

図１０Ｐに目を向けると、ディスプレイ１０１４を備えるデバイス１００８が示されている。一部の実施形態では、ディスプレイ１０１４は、デバイス６００のディスプレイ６０２とは異なる特性（例えば、サイズ及び／又はアスペクト比）を有する。デバイス１００８は、部分１０１６Ａ（例えば、キャンバス領域）と部分１０１６Ｂとの２つの部分に分割されたユーザインターフェース１０１６を表示する。部分１０１６Ａは、デバイス６００のディスプレイ６０２とほぼ同じアスペクト比を有する。部分１０１６Ａのアスペクト比によって、部分１０１６Ａは、図１０Ｏの表現１０１０Ａ～１０１０Ｄの参加者に対応する表現１０３０Ａ～１０３０Ｄを含む。図１０Ｐに示すように、表現１０３０Ａ～１０３０Ｄのレイアウト（例えば、相対的なサイズ、位置、間隔、及び重なり）は、図１０Ｏの表現１０１０Ａ～１０１０Ｄのレイアウトと同様である。 10P, a device 1008 is shown with a display 1014. In some embodiments, the display 1014 has different characteristics (e.g., size and/or aspect ratio) than the display 602 of the device 600. The device 1008 displays a user interface 1016 that is divided into two portions: a portion 1016A (e.g., a canvas area) and a portion 1016B. The portion 1016A has approximately the same aspect ratio as the display 602 of the device 600. Due to the aspect ratio of the portion 1016A, the portion 1016A includes representations 1030A-1030D that correspond to the participants of the representations 1010A-1010D of FIG. 10O. As shown in FIG. 10P, the layout (e.g., relative size, position, spacing, and overlap) of the representations 1030A-1030D is similar to the layout of the representations 1010A-1010D of FIG. 10O.

図１０Ｐに示すように、デバイス１００８は、仕切り１０１８を右に移動させるためのユーザ入力１０５０Ｄ（例えば、右方向スワイプ）を受ける（例えば、検出する）。これに応じて、デバイス１００８は、部分１０１６Ｂのサイズを小さくし、部分１０１６Ａのサイズを大きくする。図１０Ｐ～図１０Ｓに示すように、表現１０３０は拡大され、表現１０３０間の水平間隔は大きくなる。図１０Ｓに示すように、デバイス１００８は、（前述した効果アフォーダンス６３２、通話アフォーダンス６３４、及びメニューアフォーダンス６３６と類似する）効果アフォーダンス１０２６、通話アフォーダンス１０２８、及びメニューアフォーダンス１０３４を伴うメニュー１０２４を表示する。 As shown in FIG. 10P, the device 1008 receives (e.g., detects) a user input 1050D (e.g., a right swipe) to move the divider 1018 to the right. In response, the device 1008 decreases the size of the portion 1016B and increases the size of the portion 1016A. As shown in FIGS. 10P-10S, the representations 1030 are enlarged and the horizontal spacing between the representations 1030 increases. As shown in FIG. 10S, the device 1008 displays a menu 1024 with effect affordance 1026, call affordance 1028, and menu affordance 1034 (similar to effect affordance 632, call affordance 634, and menu affordance 636 described above).

図１１Ａ～図１１Ｆは、一部の実施形態による方法を示すフロー図である。方法１１００は、ディスプレイを備えるデバイス（例えば、１００、３００、５００又は６００）にて実行される。方法１１００の一部の動作は、任意選択的に、組み合わされ、一部の動作の順序は、任意選択的に、変更され、一部の動作は、任意選択的に、省略される。 11A-11F are flow diagrams illustrating a method according to some embodiments. Method 1100 is performed on a device (e.g., 100, 300, 500, or 600) that includes a display. Some operations of method 1100 are optionally combined, the order of some operations is optionally changed, and some operations are optionally omitted.

後述するように、方法１１００は、ライブ通信セッションにおける１人以上のアクティブな参加者を強調する、適応的かつインテリジェントなライブ通信ユーザインターフェースを提供する直感的な方法を提供する。この方法は、ライブ通信セッションにおけるアクティブな参加者を見るためのユーザの認知的負担を軽減することで、より効率的なヒューマンーマシンインターフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザがアクティブな参加者をより速く、より効率的に見ることができることにより、電力が節約され、バッテリ充電間隔が長くなる。 As described below, method 1100 provides an intuitive way to provide an adaptive and intelligent live communication user interface that highlights one or more active participants in a live communication session. The method reduces the cognitive burden on a user to view the active participants in a live communication session, creating a more efficient human-machine interface. For battery-operated computing devices, allowing a user to view the active participants faster and more efficiently conserves power and extends the time between battery charges.

ブロック１１０２では、デバイスは、ライブビデオ通信セッションにおける第１の参加者の表現（例えば、１０１０Ｃ）と、ライブビデオ通信セッションにおける第２の参加者の表現（例えば、１０１０Ｂ）と、ライブビデオ通信セッションにおける第３の参加者の表現（例えば、１０１０Ｄ）とを同時に表示するライブビデオ通信ユーザインターフェース（例えば、１０００）を表示する。一部の実施形態では、参加者がライブビデオストリームを含むライブメディアストリームを共有している場合、表現は、ライブビデオストリームの画像を含む（例えば、１０１０Ｃ）。一部の実施形態では、参加者がオーディオのみのライブビデオストリームを共有している場合、表現は、それぞれの参加者のアバターを含む（例えば、１０１０Ｂ）。一部の実施形態では、参加者がライブビデオ通信セッションに現在参加していない場合、表現は、プレースホルダ画像（例えば、アバター）を含む（例えば、１０１０Ａ）。一部の実施形態では、ライブ通信インターフェースは、キャンバス領域を含む（例えば、１００１）（例えば、キャンバス領域（例えば、メイン領域）は、オーバーフロー領域とは異なる）。一部の実施形態では、キャンバス領域は、オーバーフロー領域の隣にある。一部の実施形態では、ライブ通信セッションにおける第１の参加者の表現と、ライブ通信セッションにおける第２の参加者の表現と、ライブ通信セッションにおける第３の参加者の表現とが、キャンバス領域に表示される（例えば、図１０Ａ）。 In block 1102, the device displays a live video communication user interface (e.g., 1000) that simultaneously displays a representation of a first participant in the live video communication session (e.g., 1010C), a representation of a second participant in the live video communication session (e.g., 1010B), and a representation of a third participant in the live video communication session (e.g., 1010D). In some embodiments, if the participants are sharing a live media stream that includes a live video stream, the representation includes an image of the live video stream (e.g., 1010C). In some embodiments, if the participants are sharing an audio-only live video stream, the representation includes an avatar of the respective participant (e.g., 1010B). In some embodiments, if the participants are not currently participating in the live video communication session, the representation includes a placeholder image (e.g., avatar) (e.g., 1010A). In some embodiments, the live communication interface includes a canvas area (e.g., 1001) (e.g., the canvas area (e.g., main area) is different from the overflow area). In some embodiments, the canvas area is adjacent to the overflow area. In some embodiments, a representation of a first participant in the live communication session, a representation of a second participant in the live communication session, and a representation of a third participant in the live communication session are displayed in the canvas area (e.g., FIG. 10A).

ブロック１１０４では、ライブビデオ通信ユーザインターフェースを表示している間に、デバイスは、ライブビデオ通信セッションにおける第２の参加者（例えば、１０１０Ｂ）の活動レベルが、ライブビデオ通信セッションにおける第１の参加者（例えば、１０１０Ｃ）の活動レベルを超えて上昇したことを示すデータを受信する。一部の実施形態では、第１の参加者が能動的に参加していることを示すデータが、外部ソース（例えば、サーバ）から受信される。一部の実施形態では、デバイスは、受信されるデータ（例えば、第１の参加者に関連するライブメディアフィードによるライブビデオ又はライブオーディオ）に基づいて、第１の参加者が能動的に参加していると判定する。一部の実施形態では、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータを受信するに先立ち、第１の参加者、第２の参加者、及び第３の参加者の表現のうちの１つ以上は、参加者の少なくとも１つの他の表現と重なる（例えば、図１０Ａの１０１０Ｂ、１０１０Ｃ、及び１０１０Ｄ）。 In block 1104, while displaying the live video communication user interface, the device receives data indicating that an activity level of a second participant (e.g., 1010B) in the live video communication session has increased beyond an activity level of a first participant (e.g., 1010C) in the live video communication session. In some embodiments, the data indicating that the first participant is actively participating is received from an external source (e.g., a server). In some embodiments, the device determines that the first participant is actively participating based on the received data (e.g., live video or live audio from a live media feed associated with the first participant). In some embodiments, prior to receiving the data indicating that an activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session, one or more of the representations of the first participant, the second participant, and the third participant overlap with at least one other representation of the participants (e.g., 1010B, 1010C, and 1010D in FIG. 10A).

一部の実施形態では、少なくとも第１の参加者の活動レベルは、第１の参加者のデバイスから受信されるオーディオ及び／又はビデオフィード（例えば、ビデオフィード中の動き又はオーディオ）（の関数）、及び／又は第１の参加者のデバイスにて検出される活動を示すデータ（例えば、第１の参加者が第１の参加者のデバイスでユーザインターフェースアクション（例えば、注目アフォーダンスの選択）を行ったことを示すデータ）に基づく。一部の実施形態では、活動レベルは、外部の電子装置（例えば、サーバ）で判定された後に電子デバイスに送信される。一部の実施形態では、少なくとも第１の参加者の活動レベルは、第１の参加者のデバイスから受信されるオーディオフィードからフィルタリングされたオーディオ（例えば、バックグラウンドノイズをフィルタリングしたオーディオ又は発話オーディオを分離／増幅するようにフィルタリングされたオーディオ）に基づく。一部の実施形態では、少なくとも第１の参加者の活動レベルは、第１の参加者のデバイスから受信されたビデオフィードにおいて識別される（例えば、サーバで識別される、電子デバイスにて識別される）、移動基準のセットを満たす移動（特定の種類の移動（例えば、手の移動、頭／顔の移動、背景の移動（例えば、参加者以外の移動）ではない移動）に基づく（例えば、図１０Ｅの１０１０Ａ）。 In some embodiments, the activity level of at least the first participant is based on (a function of) an audio and/or video feed (e.g., movement or audio in the video feed) received from the first participant's device and/or data indicative of activity detected at the first participant's device (e.g., data indicating that the first participant has taken a user interface action (e.g., selection of an attention affordance) at the first participant's device). In some embodiments, the activity level is determined at an external electronic device (e.g., a server) and then transmitted to the electronic device. In some embodiments, the activity level of at least the first participant is based on filtered audio (e.g., audio filtered to remove background noise or audio filtered to isolate/amplify speech audio) from an audio feed received from the first participant's device. In some embodiments, the activity level of at least the first participant is identified in a video feed received from the first participant's device (e.g., identified at a server, identified at an electronic device) based on movements that meet a set of movement criteria (e.g., certain types of movements (e.g., hand movements, head/face movements, movements that are not background movements (e.g., non-participant movements)) (e.g., 1010A in FIG. 10E).

ブロック１１０６では、ライブビデオ通信セッションにおける第２の参加者（例えば、図１０Ａの１０１０Ｂ）の活動レベルが、ライブビデオ通信セッションにおける第１の参加者（例えば、図１０Ａの１０１０Ｃ）の活動レベルを超えて上昇したことを示すデータの受信に応じて、デバイスは、（ブロック１１０８で）ライブビデオ通信ユーザインターフェースにおいて第１の参加者の表現のサイズ及び／又は位置を変更し、（ブロック１１１０で）ライブビデオ通信ユーザインターフェースにおいて第２の参加者の表現のサイズ及び／又は位置を変更し、（ブロック１１１２で）ライブビデオ通信ユーザインターフェースにおいて第３の参加者の表現（例えば、１０１０Ｄ）のサイズ及び／又は位置を変更する。所定条件が満たされるときに表現のサイズ及び／又は位置を変更することにより、ユーザは最もアクティブである及び／又は最もアクティブではない参加者を含む参加者の活動レベルを迅速に認識することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、所定条件が満たされるときにのみ表現のサイズ及び／又は位置を変更することにより、ユーザがアクティブな参加者を判定したりアクティブな参加者に注目したりするために必要な入力の数が減る。入力の数が更に減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 At block 1106, in response to receiving data indicating that the activity level of a second participant in the live video communication session (e.g., 1010B of FIG. 10A) has risen above the activity level of a first participant in the live video communication session (e.g., 1010C of FIG. 10A), the device resizes and/or positions (at block 1108) a representation of the first participant in the live video communication user interface, resizes and/or positions (at block 1110) a representation of the second participant in the live video communication user interface, and resizes and/or positions (at block 1112) a representation of a third participant (e.g., 1010D) in the live video communication user interface. By resizing and/or positioning the representations when predetermined conditions are met, a user can quickly recognize the activity levels of participants, including the most and/or least active participants. By performing an optimized operation without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently. Additionally, by changing the size and/or position of the representation only when a predefined condition is met, the number of inputs required by the user to determine and focus on active participants is reduced. The further reduction in the number of inputs enhances the device's usability, makes the user-device interface more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に応じて、ライブビデオ通信ユーザインターフェースにおける第１の参加者の表現（例えば、図１０Ａの１０１０Ｃ）のサイズが変更され、ライブビデオ通信ユーザインターフェースにおける第２の参加者の表現（例えば、図１０Ａの１０１０Ｂ）のサイズが変更され、ライブビデオ通信ユーザインターフェースにおける第３の参加者の表現（例えば、図１０Ａの１０１０Ｄ）のサイズが変更される。一部の実施形態では、（例えば、活動スコアに基づいて）最もアクティブではない参加者が最もアクティブな参加者になった場合、デバイスは、最もアクティブな参加者の表現のサイズを大きくし、他の全ての表現のサイズを小さくする（例えば、図１０Ｅ～図１０Ｆ）。一部の実施形態では、（例えば、活動スコアに基づいて）最もアクティブな参加者が最もアクティブではない参加者になった場合、デバイスは、最もアクティブではない参加者の表現のサイズを小さくし、他の全ての表現のサイズを大きくする。一部の実施形態では、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に応じて、ライブ通信ユーザインターフェースにおける第１の参加者の表現の位置が変更され、ライブ通信ユーザインターフェースにおける第２の参加者の表現の位置が変更され、ライブ通信ユーザインターフェースにおける第３の参加者の表現の位置が変更される。一部の実施形態では、（例えば、活動スコアに基づいて）最もアクティブではない参加者が最もアクティブな参加者になる場合、全ての位置を交換する（例えば、最もアクティブな参加者の表現が上に又は被さるように移動し、他が下に又は被さるように移動する）。一部の実施形態では、（例えば、活動スコアに基づいて）最もアクティブな参加者が最もアクティブではない参加者になった場合、最もアクティブではない参加者の表現が下に及び／又は被さるように移動し、他の表現が上に又は被さるように移動する。 In some embodiments, in response to receiving data indicating that an activity level of a second participant in the live video communication session has increased beyond an activity level of a first participant in the live video communication session, the representation of the first participant in the live video communication user interface (e.g., 1010C of FIG. 10A) is resized, the representation of the second participant in the live video communication user interface (e.g., 1010B of FIG. 10A) is resized, and the representation of the third participant in the live video communication user interface (e.g., 1010D of FIG. 10A) is resized. In some embodiments, if the least active participant (e.g., based on activity scores) becomes the most active participant, the device increases the size of the representation of the most active participant and decreases the size of all other representations (e.g., FIGS. 10E-10F). In some embodiments, if the most active participant (e.g., based on activity scores) becomes the least active participant, the device decreases the size of the representation of the least active participant and increases the size of all other representations. In some embodiments, in response to receiving data indicating that an activity level of a second participant in the live video communication session has risen above an activity level of a first participant in the live video communication session, the position of the representation of the first participant in the live communication user interface is changed, the position of the representation of the second participant in the live communication user interface is changed, and the position of the representation of the third participant in the live communication user interface is changed. In some embodiments, if the least active participant (e.g., based on activity scores) becomes the most active participant, all positions are swapped (e.g., the most active participant's representation moves up or overlays and the others move down or overlays). In some embodiments, if the most active participant (e.g., based on activity scores) becomes the least active participant, the least active participant's representation moves down and/or overlays and the others move up or overlays.

一部の実施形態では、第１、第２及び第３の参加者のうち、活動レベルが（現在）最も高い参加者の表現（例えば、図１０Ａの１０１０Ｃ）の一部分に、ライブ通信ユーザインターフェースにおける第１、第２及び第３の参加者のうちの別の参加者の表現の一部分が重なる（例えば、最もアクティブな表現の一部分が他の表現の下にある）。一部の実施形態では、活動レベルが最も低い参加者の表現は、他のいずれの参加者の表現も重ならずに表示される（これは、例えば、活動レベルが最も低い参加者の表現が参加者の表現のうち最小の表現であるので、活動レベルが最も低い参加者の表現が不明瞭になりすぎることを避けるように他の参加者の表現の上に保たれるためである）。一部の実施形態では、活動レベルが最も低い参加者の表現（例えば、図１０Ｉの１０１０Ｂ）は、活動レベルが最も高い参加者の表現（例えば、図１０Ｉの１０１０Ａ）の少なくとも一部分に重なるように表示される。一部の実施形態では、第１、第２及び第３の参加者のうち、活動レベルが（現時点で）最も低い参加者の表現（例えば、図１０Ｈの１０１０Ｄ）の一部分が、ライブ通信ユーザインターフェースにおいて第１、第２及び第３の参加者のうちの別の参加者の表現（例えば、図１０Ｈの１０１０Ｃ）の一部分と重なる（例えば、最もアクティブではない表現の一部分が他の表現の下にある）。 In some embodiments, a portion of the representation of the first, second, and third participant that is (currently) the most active (e.g., 1010C in FIG. 10A ) overlaps a portion of the representation of another of the first, second, and third participants in the live communication user interface (e.g., a portion of the most active representation is below the other representations). In some embodiments, the representation of the least active participant is displayed without overlapping any of the other participant's representations (e.g., because the representation of the least active participant is the smallest of the participant's representations and is therefore kept above the other participant's representations to avoid obscuring the least active participant's representation too much). In some embodiments, the representation of the least active participant (e.g., 1010B in FIG. 10I ) overlaps at least a portion of the representation of the most active participant (e.g., 1010A in FIG. 10I ). In some embodiments, a portion of the representation (e.g., 1010D in FIG. 10H) of the first, second, and third participant with the (currently) lowest level of activity overlaps with a portion of the representation (e.g., 1010C in FIG. 10H) of another of the first, second, and third participants in the live communication user interface (e.g., a portion of the least active representation is below the other representation).

任意選択的に、ブロック１１１４では、デバイスは、第２の参加者のビデオフィード（及び／又は第３の参加者のビデオフィード）から得られる（例えば、解析により得られる）顔認識データに基づいて、第１の参加者の表現のサイズ及び／又は位置を変更し、第１の参加者の表現のサイズ及び／又は位置を変更することは、第２の参加者の顔を不明瞭にする（及び／又は第３の参加者の顔を不明瞭にする）ことをもたらさない。ライブ通信セッションにおける参加者の表現のサイズ及び／又は位置を、別の参加者の顔を不明瞭にせずに変更することにより、ライブ通信セッションにおける他の参加者の顔を隠さずに参加者の現在の活動レベルに関するフィードバックがユーザに提供されることで、ユーザは活動レベルが変化した参加者のサイズ又は位置を変更するときに他の参加者の顔を見ることができる。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in block 1114, the device resizes and/or positions the representation of the first participant based on facial recognition data obtained (e.g., obtained by analysis) from the video feed of the second participant (and/or the video feed of the third participant), where resizing and/or positioning the representation of the first participant does not result in obscuring the face of the second participant (and/or obscuring the face of the third participant). Resizes and/or positions the representation of a participant in a live communication session without obscuring the face of another participant, providing feedback to the user regarding the participant's current activity level without obscuring the faces of other participants in the live communication session, allowing the user to view the faces of the other participants when resizing or positioning a participant whose activity level has changed. Providing improved visual feedback to the user enhances usability of the device and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as allowing the user to use the device more quickly and efficiently, thereby reducing power usage and improving battery life of the device.

任意選択的に、ブロック１１１６では、デバイスが第１の参加者の表現（例えば、図１０Ａ～図１０Ｃの１０１０Ｂ）のサイズ及び／又は位置を変更することは、表現のサイズを第１のサイズから第２のサイズに徐々に（例えば、ある時間にわたって徐々に）大きくすることを含む。表現のサイズ及び／又は位置を変更することにより、ユーザインターフェースの変更を最小限にしながら、参加者の現在の活動レベルに関するフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。表現のサイズを徐々に大きくすることにより、参加者の活動レベルが変化するときに、サイズの急激な変化がユーザにもたらす錯乱を最小限にしながら、活動レベルが変化していることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in block 1116, the device changing the size and/or location of the representation of the first participant (e.g., 1010B in FIGS. 10A-10C) includes gradually (e.g., gradually over a period of time) increasing the size of the representation from a first size to a second size. Changing the size and/or location of the representation provides feedback to the user regarding the participant's current activity level while minimizing changes to the user interface. Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. Increasing the size of the representation gradually provides visual feedback to the user indicating that the activity level is changing while minimizing the confusion that abrupt changes in size can cause to the user as the participant's activity level changes. Providing improved visual feedback to the user enhances usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces power usage and improves battery life of the device by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１１１８では、デバイスは、キャンバスサイズ変更イベント（例えば、１０５０Ｂ、図１０Ｊ～図１０Ｋ）（例えば、デバイスの回転、ライブビデオ通信ユーザインターフェースへの追加要素の導入（例えば、参加者に連絡するための１つ以上の通話アフォーダンス、キャンバス領域外に表示される参加者の表現の追加）、キャンバス領域のサイズを変更するための要求に対応するユーザ入力）を検出する。任意選択的に、ブロック１１２０では、デバイスは、キャンバスサイズ変更イベントの検出に応じて、（任意選択的に、ブロック１１２４で）キャンバス領域（例えば、１００１）のサイズを変更する。キャンバスサイズ変更イベントの検出に応じて、デバイスは、第１、第２及び第３の参加者の表現（例えば、図１０Ｋの１０１０Ｂ、１０１０Ｃ及び１０１０Ｄ）のレイアウトを修正する。一部の実施形態では、表現のレイアウトは、（例えば、キャンバス領域のサイズが縮小されるときに表現間の間隔が小さくなるように）表現の位置をシフトする及び／又は表現のサイズを変更することによって修正される。キャンバス領域のサイズ変更に基づいてレイアウトをインテリジェントに修正することにより、キャンバスサイズを変更するときに、表示される表現の変更を最小限にして、ユーザの表現を見ることをユーザに可能にさせることで、表示されたプレゼンテーションをユーザに見せる間のユーザにもたらす錯乱を小さくする。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at block 1118, the device detects a canvas resize event (e.g., 1050B, FIGS. 10J-10K) (e.g., a user input corresponding to a rotation of the device, introduction of an additional element to the live video communication user interface (e.g., one or more call affordances for contacting a participant, addition of a representation of a participant that is displayed outside the canvas area), or a request to resize the canvas area). Optionally, at block 1120, the device resizes the canvas area (e.g., 1001) in response to detecting the canvas resize event (optionally at block 1124). In response to detecting the canvas resize event, the device modifies the layout of the representations of the first, second, and third participants (e.g., 1010B, 1010C, and 1010D in FIG. 10K). In some embodiments, the layout of the representations is modified by shifting the positions of the representations and/or resizing the representations (e.g., such that the spacing between the representations is reduced when the size of the canvas area is reduced). Intelligently modifying the layout based on resizing of the canvas area minimizes changes to the displayed representation when changing the canvas size, allowing the user to view the user's representation, thereby reducing user confusion while showing the displayed presentation to the user. By performing an optimized operation without requiring further user input when a set of conditions are met, the usability of the device is enhanced, making the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as allowing the user to use the device more quickly and efficiently, thereby reducing device power usage and improving battery life.

任意選択的に、ブロック１１２６では、デバイスは更に、キャンバスサイズ変更イベントの検出に応じて、第１、第２及び第３の参加者の表現（例えば、図１０Ｋの１０１０Ｂ、１０１０Ｃ、１０１０Ｄ）の１つ以上のサイズを変更する。一部の実施形態では、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に先立って、ライブ通信ユーザインターフェースにおける第１、第２、及び第３の参加者の表現は、ｚオーダー（例えば、画面から出る軸線）によって表示される（例えば、図１０Ｋの１０１０Ｂ、１０１０Ｃ、及び１０１０Ｄ）（例えば、「ｚオーダー」は、ディスプレイの面と垂直な仮想軸線に関する参加者の表現の順序を指す）（例えば、２つの表現の位置が重なり合うとき、表現のｚオーダーは、どのオブジェクトが他のオブジェクトの前に表示されるかを決定する）。ブロック１１２８では、デバイスは、第１、第２及び第３の参加者の表現（例えば、図１０Ｋの１０１０Ｂ、１０１０Ｃ及び１０１０Ｄ）のｚオーダーを維持する。 Optionally, at block 1126, the device further resizes one or more of the representations of the first, second, and third participants (e.g., 1010B, 1010C, 1010D of FIG. 10K) in response to detecting the canvas resize event. In some embodiments, prior to receiving data indicating that the activity level of the second participant in the live video communication session has increased beyond the activity level of the first participant in the live video communication session, the representations of the first, second, and third participants in the live communication user interface are displayed in a z-order (e.g., an axis extending out of the screen) (e.g., 1010B, 1010C, and 1010D of FIG. 10K) (e.g., "z-order" refers to the ordering of the representations of the participants with respect to an imaginary axis perpendicular to the plane of the display) (e.g., when the positions of two representations overlap, the z-order of the representations determines which objects are displayed in front of other objects). In block 1128, the device maintains the z-order of the representations of the first, second, and third participants (e.g., 1010B, 1010C, and 1010D in FIG. 10K).

一部の実施形態では、ライブ通信ユーザインターフェースにおける第１の参加者の表現（例えば、図１０Ｂの１０１０Ｂ）のサイズ及び／又は位置を変更した後に、第１の参加者の変更された表現は、第１の参加者の表現のサイズ又は位置の少なくとも一方を変更する前にライブ通信ユーザインターフェースにおいて第１の参加者の表現が占めていた領域（例えば、ディスプレイ上の全体エリア、位置、ピクセルなど）の少なくとも一部分を占める。一部の実施形態では、サイズを変更した後に、参加者は、参加者が従前に表示されていたのと同じディスプレイ上の領域に表示される（例えば、表現の少なくとも一部分（例えば、一部、ピクセル、位置など）が、変更する前に接触していたディスプレイ上の従前の位置に接触し続ける）。一部の実施形態では、表現は、アクティブな参加者を強調する一方、表現の配置／全体的な位置を維持する（例えば、表現は、サイズが大きく／小さくなるにつれてシフトするが、他の画像に対する位置は維持する）。一部の実施形態では、ライブ通信ユーザインターフェースにおける第２の参加者の表現（例えば、図１０Ｂの１０１０Ｃ）のサイズ及び／又は位置を変更した後に、第２の参加者の変更された表現は、第２の参加者の表現のサイズ又は位置の少なくとも一方を変更する前にライブ通信ユーザインターフェースにおいて第２の参加者の表現が占めていた領域（例えば、ディスプレイ上の全体エリア、位置、ピクセルなど）の少なくとも一部分を占める。一部の実施形態では、サイズを変更した後に、参加者は、参加者が従前に表示されていたのと同じディスプレイ上の領域に表示される（例えば、表現の少なくとも一部分（例えば、一部、ピクセル、位置など）が、変更する前に従前に接触していたディスプレイ上の位置に接触し続ける）。一部の実施形態では、表現は、アクティブな参加者を強調する一方、表現の配置／全体的な位置を維持する（例えば、表現は、サイズが大きく／小さくなるにつれてシフトするが、他の画像に対する位置は維持する）。一部の実施形態では、ライブ通信ユーザインターフェースにおける第３の参加者の表現（例えば、図１０Ｂの１０１０Ｄ）のサイズ及び／又は位置を変更した後に、第３の参加者の変更された表現は、第３の参加者の表現のサイズ又は位置の少なくとも一方を変更する前にライブ通信ユーザインターフェースにおいて第３の参加者の表現が（例えば、変更の前に）占めていた領域（例えば、ディスプレイ上の全体エリア、位置、ピクセルなど）の少なくとも一部分を占める。一部の実施形態では、サイズを変更した後に、参加者は、参加者が従前に表示されていたのと同じディスプレイ上の領域に表示される（例えば、表現の少なくとも一部分（例えば、一部、ピクセル、位置など）が、変更する前に従前に接触していたディスプレイ上の位置に接触し続ける）。一部の実施形態では、表現は、アクティブな参加者を強調する一方、配置及び／又は全体的な位置を維持する（例えば、表現は、サイズが大きく／小さくなるにつれてシフトが、他の画像に対する位置は維持する）。 In some embodiments, after changing the size and/or location of the representation of the first participant (e.g., 1010B in FIG. 10B) in the live communication user interface, the changed representation of the first participant occupies at least a portion of the area (e.g., overall area, position, pixels, etc. on the display) that the representation of the first participant occupied in the live communication user interface before changing at least one of the size or location of the representation of the first participant. In some embodiments, after changing the size, the participant is displayed in the same area on the display in which the participant was previously displayed (e.g., at least a portion (e.g., part, pixel, position, etc.) of the representation continues to touch the previous location on the display that it was touching before the change). In some embodiments, the representation maintains the placement/overall position of the representation while emphasizing the active participant (e.g., the representation shifts as it gets larger/smaller in size, but maintains its position relative to other images). In some embodiments, after resizing and/or repositioning the representation of the second participant (e.g., 1010C in FIG. 10B ) in the live communication user interface, the modified representation of the second participant occupies at least a portion of the area (e.g., overall area, position, pixels, etc. on the display) that the representation of the second participant occupied in the live communication user interface before modifying at least one of the size or position of the representation of the second participant. In some embodiments, after resizing, the participant is displayed in the same area on the display in which the participant was previously displayed (e.g., at least a portion (e.g., part, pixel, position, etc.) of the representation continues to touch the location on the display that it was previously touching before the modification). In some embodiments, the representation maintains the placement/overall position of the representation while emphasizing the active participant (e.g., the representation shifts as it gets larger/smaller in size, but maintains its position relative to other images). In some embodiments, after changing the size and/or location of the third participant's representation (e.g., 1010D in FIG. 10B ) in the live communication user interface, the changed representation of the third participant occupies at least a portion of the area (e.g., total area, position, pixels, etc. on the display) that the third participant's representation occupied in the live communication user interface (e.g., before the change) before changing at least one of the size or location of the third participant's representation. In some embodiments, after the change in size, the participant is displayed in the same area on the display in which the participant was previously displayed (e.g., at least a portion (e.g., part, pixel, position, etc.) of the representation continues to touch the location on the display that it was previously touching before the change). In some embodiments, the representation maintains its placement and/or overall position while emphasizing the active participant (e.g., the representation shifts as it gets larger/smaller in size but maintains its position relative to other images).

表現のサイズ及び／又は位置を変更した後に、表現が従前に占めていた領域の少なくとも一部分を占める表現を表示することにより、ユーザインターフェースへの変更を最小限にして、ユーザは参加者の活動レベルを認識することができ、そのことでライブ通信セッションにおける参加者の表現に注目するユーザの能力が高められる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 By displaying the representation occupying at least a portion of the area previously occupied by the representation after changing its size and/or position, the user can recognize the activity level of the participants with minimal changes to the user interface, thereby enhancing the user's ability to focus on the participants' expressions in a live communication session. By performing an optimized operation when a set of conditions are met, without requiring further user input, the usability of the device is enhanced, making the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing the device's power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１１３０では、デバイスは、ライブ通信ユーザインターフェースにおいて第４の参加者の表現（例えば、図１０Ｅの１０１０Ｄ）を表示する。任意選択的に、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に応じて、デバイスは、（ブロック１１３２で）ライブ通信ユーザインターフェースにおける第４の参加者の表現のサイズ及び／又は位置を変更する。一部の実施形態では、第４の表現は、他の全てがサイズ又は位置を変更するときに、サイズ及び／又は位置を変更する。一部の実施形態では、（例えば、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示す第１のデータの受信に応じて）第４の表現が変化する。一部の実施形態では、第４の表現などの一部の表現は、他の表現が変化しているときでも、それらサイズ及び位置を維持することができる。 Optionally, at block 1130, the device displays a representation of the fourth participant (e.g., 1010D of FIG. 10E) in the live communication user interface. Optionally, in response to receiving data indicating that an activity level of a second participant in the live video communication session has risen above an activity level of a first participant in the live video communication session, the device changes (at block 1132) a size and/or position of the representation of the fourth participant in the live communication user interface. In some embodiments, the fourth representation changes size and/or position when all others change size or position. In some embodiments, the fourth representation changes (e.g., in response to receiving first data indicating that an activity level of a second participant in the live video communication session has risen above an activity level of a first participant in the live video communication session). In some embodiments, some representations, such as the fourth representation, may maintain their size and position even when other representations are changing.

任意選択的に、ブロック１１３４、１１３６、１１３８、１１４０、及び１１４２では、ライブビデオ通信ユーザインターフェースにおける第１の参加者の表現のサイズ及び／又は位置を変更した後に、デバイスは、ライブビデオ通信セッションにおける第１の参加者の活動レベルが、ライブビデオ通信セッションにおける第２の参加者の活動レベルを超えて上昇したことを示す第２のデータを受信する。ライブビデオ通信セッションにおける第１の参加者の活動レベルが、ライブビデオ通信セッションにおける第２の参加者の活動レベルを超えて上昇したことを示す第２のデータの受信に応じて、デバイスは、ライブビデオ通信ユーザインターフェースにおいて第１の参加者の表現のサイズ及び／又は位置を変更する。デバイスは、ライブビデオ通信ユーザインターフェースにおいて第２の参加者の表現のサイズ及び／又は位置を変更する。デバイスは、ライブビデオ通信セッションにおける第３の参加者の表現のサイズ及び位置を維持する。一部の実施形態では、参加者の活動レベルの変化に応じて、キャンバス（例えば、メイン領域）に表示されている表現のうちの一部の表現は維持されるが、他の表現は、サイズ又は位置が変化する（例えば、２つの表現が判定に基づいて位置を交換してもよく、他の表現はサイズ又は位置を交換してもよい）。一部の実施形態では、維持される表現は、変更される表現に対応する参加者の活動レベルよりも活動レベルが低い参加者に対応する。所定条件が満たされるときに、一部の表現のサイズ及び／又は位置を維持する一方で、他の表現のサイズ及び／又は表現を変更することにより、ユーザは、ユーザインターフェースの変更を最小限にして、参加者の活動レベルを認識することができ、そのことで、ライブ通信セッションにおける参加者の表現に注目するユーザの能力が高められる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 1134, 1136, 1138, 1140, and 1142, after changing the size and/or position of the representation of the first participant in the live video communication user interface, the device receives second data indicating that an activity level of the first participant in the live video communication session has increased beyond an activity level of a second participant in the live video communication session. In response to receiving the second data indicating that an activity level of the first participant in the live video communication session has increased beyond an activity level of a second participant in the live video communication session, the device changes the size and/or position of the representation of the first participant in the live video communication user interface. The device changes the size and/or position of the representation of the second participant in the live video communication user interface. The device maintains the size and position of a representation of a third participant in the live video communication session. In some embodiments, in response to changes in the activity level of the participants, some of the representations displayed in the canvas (e.g., main area) are maintained while others change size or position (e.g., the two representations may swap positions based on the determination, and the other representations may swap size or position). In some embodiments, the representations that are maintained correspond to participants with a lower activity level than the activity level of the participant corresponding to the representation that is changed. By maintaining the size and/or position of some representations while changing the size and/or representation of others when a predefined condition is met, the user can perceive the activity level of the participants with minimal changes to the user interface, thereby enhancing the user's ability to focus on the participants' representations in a live communication session. By performing an optimized operation without requiring further user input when a set of conditions is met, the usability of the device is enhanced, making the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as allowing the user to use the device more quickly and efficiently, thereby reducing the device's power usage and improving battery life.

任意選択的に、ブロック１１４４及び１１４６では、デバイスは、ライブ通信セッションにおける第２の参加者の活動レベルが、ライブ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示す第１のデータの受信に応じて、（例えば、現在、第２の参加者がよりアクティブであるときに）ライブ通信ユーザインターフェースにおける第２の参加者の表現の視覚的表示（例えば、ハイライト表現（例えば、表示境界）、アニメーション（例えば、アバターの脈動）、前面に画像を押し出す、サイズを大きくする）を強調する（例えば、増加又は開始する）。ライブ通信セッションにおける第２の参加者の活動レベルが、ライブ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示す第１のデータの受信に応じて、デバイスは、（例えば、現在、第１の参加者がよりアクティブでないときに）ライブ通信ユーザインターフェースにおける第１の参加者の表現の視覚的表示（例えば、ハイライト表現（例えば、表示境界）、アニメーション（例えば、アバターの脈動）、後ろに画像を引っ込める、サイズを小さくする）の強調を抑える（例えば、減少又は中止する）。所定条件が満たされるときに視覚的表示を強調する及び／又は強調を抑えることにより、ユーザは最もアクティブである及び／又は最もアクティブではない参加者を含む参加者の活動レベルを迅速に認識することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、所定条件が満たされるときに強調する及び／又は強調を抑えることにより、各参加者の活動レベルを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 1144 and 1146, the device, in response to receiving the first data indicating that the activity level of the second participant in the live communication session has risen above the activity level of the first participant in the live communication session, enhances (e.g., increases or initiates) a visual display (e.g., highlighting (e.g., display border), animation (e.g., pulsating avatar), pushing an image to the front, increasing size) of the second participant's representation in the live communication user interface (e.g., when the second participant is now more active). In response to receiving the first data indicating that the activity level of the second participant in the live communication session has risen above the activity level of the first participant in the live communication session, the device de-emphasizes (e.g., decreases or ceases) a visual display (e.g., highlighting (e.g., display border), animation (e.g., pulsating avatar), pulling an image to the back, decreasing size) of the first participant's representation in the live communication user interface (e.g., when the first participant is now less active). By highlighting and/or de-highlighting the visual indication when a predetermined condition is met, a user can quickly recognize the activity level of participants, including the most and/or least active participants. By performing an optimized operation without requiring further user input when a set of conditions is met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently. In addition, by highlighting and/or de-highlighting when a predetermined condition is met, visual feedback is provided to the user indicating the activity level of each participant. By providing the user with improved visual feedback, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に先立ち（受信の前に）、第１の参加者の表現は、第１のサイズ（例えば、３つ以上の所定のサイズのセットにおける中サイズ、セットの最大サイズ）で表示され、第２の参加者の表現は、第１のサイズよりも小さな第２のサイズ（例えば、３つ以上の所定のサイズのセットにおける最小サイズ、セットの中サイズ）（例えば、小さな表現）で表示される。任意選択的に、ブロック１１４８では、デバイスは、第２の参加者の表現のサイズを第２のサイズから第１のサイズに大きくする。表現のサイズ及び／又は位置をより小さなサイズからより大きなサイズに大きくすることにより、参加者の活動レベルが変化するときに、活動レベルが変化していること示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 In some embodiments, prior to receiving data indicating that an activity level of a second participant in the live video communication session has increased above an activity level of a first participant in the live video communication session, a representation of the first participant is displayed at a first size (e.g., a medium size in a set of three or more predetermined sizes, a maximum size of the set) and a representation of the second participant is displayed at a second size (e.g., a minimum size in a set of three or more predetermined sizes, a medium size of the set) smaller than the first size (e.g., a small representation). Optionally, at block 1148, the device increases the size of the representation of the second participant from the second size to the first size. Increasing the size and/or position of the representation from a smaller size to a larger size provides visual feedback to the user as the activity level of the participants changes, indicating that the activity level is changing. Providing improved visual feedback to the user enhances usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces power usage and improves battery life of the device by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１１５０及び１１５２では、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信の後に、デバイスは、第１の参加者の表現に対応する入力（例えば、８５０Ｃ）（例えば、表現上のタップ）を検出する。第１の参加者の表現に対応する入力の検出に応じて（例えば、ユーザは、ライブ通信ユーザインターフェース上（例えば、オーバーフロー領域、キャンバス領域など）に表示されるいずれかの表現のサイズを変更することができる）、デバイスは、第１の参加者（例えば、図８Ｌ～図８Ｍの８１０Ｆ）の活動レベルを上昇させる（例えば、活動レベルの値を増加させる）。 Optionally, at blocks 1150 and 1152, after receiving data indicating that an activity level of a second participant in the live video communication session has increased beyond an activity level of a first participant in the live video communication session, the device detects an input (e.g., 850C) corresponding to a representation of the first participant (e.g., a tap on the representation). In response to detecting the input corresponding to the representation of the first participant (e.g., a user may resize any representation displayed on the live communication user interface (e.g., an overflow area, a canvas area, etc.)), the device increases the activity level (e.g., increases the value of the activity level) of the first participant (e.g., 810F in FIGS. 8L-8M).

ブロック１１５４及び１１５６では、デバイスは、ライブ通信セッションにおける第４の参加者が、第１、第２及び第３の参加者のうちの活動レベルが最も低い参加者よりもアクティブであることを示すデータを受信する。ライブ通信セッションにおける第４の参加者が、第１、第２及び第３の参加者のうちの活動レベルが最も低い参加者よりもアクティブであることを示すデータの受信に応じて、第１、第２及び第３の参加者のうちの活動レベルが最も低い参加者の表現（例えば、図１０Ｎの１０１０Ａ）の表示を、第４の参加者の表現（例えば、図１０Ｏの１０１０Ａ）の表示に置き換える。一部の実施形態では、ブロック１１５８では、デバイスは、第４の参加者の表現を、第１、第２及び第３の参加者のうちの活動レベルが最も低い参加者の表現のサイズよりも大きなサイズで表示する。所定条件が満たされるときに、活動レベルが最も低い参加者の表現の表示を、表現の第１のセットに表示されていない参加者に置き換えることにより、表示されていないユーザが、表現の第１のセットに表示されているユーザよりもアクティブであるときに、ユーザに、ライブ通信セッションにおける最もアクティブではない参加者へのユーザの注目を減少させる一方、ライブ通信セッションにおける最もアクティブな参加者の表現に注目させることができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。新規に表示される参加者のサイズを大きくすることにより、ユーザインターフェースへの変更を最小限にしながら、新規の参加者に対する、表示される他の参加者（例えば、表現の第１のサブセット）の現在の活動レベルに関するフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 At blocks 1154 and 1156, the device receives data indicating that a fourth participant in the live communication session is more active than the least active one of the first, second, and third participants. In response to receiving the data indicating that the fourth participant in the live communication session is more active than the least active one of the first, second, and third participants, the device replaces the display of a representation of the least active one of the first, second, and third participants (e.g., 1010A of FIG. 10N) with a display of a representation of the fourth participant (e.g., 1010A of FIG. 10O). In some embodiments, at block 1158, the device displays the representation of the fourth participant at a size larger than the size of the representation of the least active one of the first, second, and third participants. By replacing the display of the representation of the least active participant with a participant not displayed in the first set of representations when a predefined condition is met, the user may be directed to the representation of the most active participant in the live communication session while reducing the user's attention to the least active participant in the live communication session when the non-displayed user is more active than the user displayed in the first set of representations. By performing an optimized operation without requiring further user input when a set of conditions is met, the usability of the device is enhanced, making the user-device interface more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing the device's power usage and improving battery life by allowing the user to use the device more quickly and efficiently. By increasing the size of the newly displayed participant, feedback is provided to the user regarding the current activity level of the other displayed participants (e.g., the first subset of representations) relative to the new participant while minimizing changes to the user interface. Providing improved visual feedback to the user enhances usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces power usage and improves battery life of the device by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１１６０では、デバイスは、（例えば、ライブ通信セッションユーザインターフェース内の（例えば、セルフビュー）電子デバイスのカメラのビューの表現（例えば、１００２）を表示する。任意選択的に、ブロック１１６２では、デバイスは、ライブ通信セッションにおける第２の参加者の活動レベルが、ライブ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示す第１のデータの受信に更に応じて、任意選択的に、ブロック１１６４で、ライブ通信セッションユーザインターフェースにおいて電子デバイスのカメラのビューの表現（例えば、１００２）のサイズを維持する。一部の実施形態では、セルフビューは、他の参加者の活動レベルの変化に基づいて変化しない）。条件のセットが満たされたときに、他の表現が変化してもよい一方で、デバイスのカメラのビューの表現のサイズを維持することにより、ユーザは、レイアウトの変更を引き続き最小限にしながら、表現を見ることができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at block 1160, the device displays a representation of the electronic device camera view (e.g., 1002) (e.g., a self-view) within a live communication session user interface. Optionally, at block 1162, the device further responsive to receiving first data indicating that an activity level of a second participant in the live communication session has risen above an activity level of a first participant in the live communication session, optionally, at block 1164, maintains a size of the representation of the electronic device camera view (e.g., 1002) in the live communication session user interface. In some embodiments, the self-view does not change based on changes in the activity levels of other participants). Maintaining the size of the representation of the device camera view while other representations may change when a set of conditions is met allows the user to view the representation while still minimizing layout changes. By performing an optimized operation without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

なお、方法１１００に関して前述した処理（例えば、図１１Ａ～図１１Ｆ）の詳細はまた、後述する／前述した方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法１１００は、任意選択的に、方法７００、９００、１３００、又は１５００に関して前述した様々な方法の特性の１つ以上を含む。 It should be noted that the details of the processes (e.g., FIGS. 11A-11F) described above with respect to method 1100 are also applicable in a similar manner to the methods described below/above. For example, method 1100 optionally includes one or more of the characteristics of the various methods described above with respect to methods 700, 900, 1300, or 1500.

図１２Ａ～図１２Ｎは、一部の実施形態による、特に、メッセージングアプリケーションからライブ通信セッションを開始するための例示的なユーザインターフェースを示す。これらの図にあるユーザインターフェースは、図１３Ａ～図１３Ｄの処理を含む後述する処理を示すために使用される。 12A-12N illustrate exemplary user interfaces according to some embodiments, particularly for initiating a live communication session from a messaging application. The user interfaces in these figures are used to illustrate the processes described below, including the processes of FIGS. 13A-13D.

図１２Ａは、メッセージングアプリケーションのメッセージングユーザインターフェース１２００を表示している（前述したような）デバイス６００を示す。メッセージングユーザインターフェース１２００は、メッセージ会話に関与する参加者１５人のグループ（「Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍ」）内の参加者間のメッセージをメッセージ領域１２０２に含む。メッセージングユーザインターフェース１２００は、メッセージ会話の参加者全て（例えば、Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍグループの参加者全て）とのライブ通信セッションを開始するための全通話アフォーダンス１２０６と、Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍグループに関する追加情報にアクセスするためのグループ連絡先情報アフォーダンス１２０８とを含む。 12A illustrates device 600 (as described above) displaying a messaging user interface 1200 of a messaging application. Messaging user interface 1200 includes messages in a message area 1202 between participants in a group of 15 participants ("The Dream Team") involved in a messaging conversation. Messaging user interface 1200 includes an all-call affordance 1206 for initiating a live communication session with all participants in the messaging conversation (e.g., all participants in The Dream Team group) and a group contact information affordance 1208 for accessing additional information about The Dream Team group.

図１２Ａに示すように、デバイス６００は、全通話アフォーダンス１２０６の選択に対応するユーザ入力１２５０Ａ（例えば、タップ）を受ける（例えば、検出する）。ユーザ入力１２５０Ａを受けたことに応じて、デバイス６００は、ライブ通信セッションに参加者として含まれる、メッセージ会話の参加者全てとのライブ通信セッションを開始する。一部の実施形態では、ユーザ入力１２５０Ａを受けたことに応じて、デバイス６００は、ライブ通信セッションがアクティブであるとの通知をグループのメンバーに関連するデバイスに表示させる命令を送る。このようにして、全通話アフォーダンス１２０６は、メッセージ会話グループの参加者全てとのライブ通信セッションを直ちに開始する。 12A, the device 600 receives (e.g., detects) a user input 1250A (e.g., a tap) corresponding to a selection of the all-call affordance 1206. In response to receiving the user input 1250A, the device 600 initiates a live communication session with all participants of the message conversation who are included as participants in the live communication session. In some embodiments, in response to receiving the user input 1250A, the device 600 sends instructions that cause devices associated with the members of the group to display a notification that a live communication session is active. In this manner, the all-call affordance 1206 immediately initiates a live communication session with all participants of the message conversation group.

図１２Ｂは、ライブ通信セッションが開始されている間のメッセージングアプリケーションのメッセージングユーザインターフェース１２００を示す。メッセージングユーザインターフェース１２００は、メッセージ領域１２０２にあるメッセージ１２１２と、ライブ通信セッションがアクティブであることを示す、ディスプレイ６０２の上部にある視覚インジケータ１２１４とを含む。 FIG. 12B illustrates a messaging user interface 1200 of a messaging application while a live communication session has been initiated. The messaging user interface 1200 includes a message 1212 in a message area 1202 and a visual indicator 1214 at the top of the display 602 that indicates that a live communication session is active.

一部の実施形態では、ユーザ入力１２５０Ａを受けたことに応じて、デバイス６００は、ライブ通信アプリケーションを起動する。図１２Ｃに示すように、ライブ通信セッションが始まった後に、デバイス６００は、ライブ通信アプリケーションのライブ通信ユーザインターフェース１２１６を表示する。ライブ通信ユーザインターフェース１２１６は、グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍによって開始されたライブ通信セッションに対応する。 In some embodiments, in response to receiving user input 1250A, device 600 launches a live communication application. As shown in FIG. 12C, after the live communication session begins, device 600 displays a live communication user interface 1216 of the live communication application. Live communication user interface 1216 corresponds to the live communication session initiated by group The Dream Team.

図１２Ｃに示すように、ライブ通信ユーザインターフェース１２１６は、対応する４人の参加者（例えば、グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍの参加者リスト中の最初の４人の参加者）の主要表現１２１０Ａ～１２１０Ｄ（集合的に１２１０）と、デバイス６００のユーザのユーザ表現１２１８とを含む。ライブ通信ユーザインターフェース１２１６は、ライブ通信セッションの参加者（例えば、Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍグループの各メンバー）に対応するオーバーフロー表現１２２２を伴うオーバーフロー領域１２２０も含む。主要表現１２１０Ｂは、ビデオデータを伴うライブ通信セッションにＡｌｌｉｓｏｎが参加したことを示す、参加者Ａｌｌｉｓｏｎからのライブビデオを含む。 As shown in FIG. 12C, the live communication user interface 1216 includes main representations 1210A-1210D (collectively 1210) of four corresponding participants (e.g., the first four participants in the participant list of group The Dream Team) and a user representation 1218 of the user of device 600. The live communication user interface 1216 also includes an overflow area 1220 with overflow representations 1222 corresponding to the participants of the live communication session (e.g., each member of the group The Dream Team). The main representation 1210B includes live video from participant Allison indicating that Allison has joined the live communication session with video data.

主要表現１２０１Ａ、１２１０Ｃ、及び１２１０Ｄは、対応する参加者がライブ通信セッションに参加していない（例えば、接続されていない）ことを示すプレースホルダを含む。プレースホルダは、参加者の名前（例えば、名前、又は名前と名字のイニシャル）のテキスト表現を含む。任意選択的に、プレースホルダは、参加者がライブ通信セッションへの接続を待っていることを示す状態インジケータと、ライブ通信セッションが利用可能であるとのリマインダを対応する参加者に送るためのリマインダアフォーダンス（例えば、「発信」８０８Ａ）とを含む。一部の実施形態では、リマインダアフォーダンスは、プレースホルダに最初は含まれず、所定時間後に対応する参加者がライブ通信セッションに参加していないとの判定を受けて表示される。 Primary representations 1201A, 1210C, and 1210D include a placeholder indicating that the corresponding participant is not participating (e.g., not connected) in the live communication session. The placeholder includes a textual representation of the participant's name (e.g., first name, or first and last initial). Optionally, the placeholder includes a status indicator indicating that the participant is waiting to connect to the live communication session, and a reminder affordance (e.g., "Call" 808A) for sending the corresponding participant a reminder that the live communication session is available. In some embodiments, the reminder affordance is not initially included in the placeholder and is displayed after a predetermined time following a determination that the corresponding participant is not participating in the live communication session.

一部の実施形態では、デバイス６００は、リマインダアフォーダンスの選択に対応する入力（例えば、リマインダアフォーダンス上のタップ）を検出し、これに応じて、ライブ通信セッションが利用可能であることを示す新規の通知（例えば、通話、着信音など）を対応する参加者に関連するデバイスにて生じさせる命令を送り、新規の通知は、参加者に送られた従前の通知とは異なる。一部の実施形態では、新規の通知は、従前の通知よりも干渉的である（例えば、オーディオ又は触覚出力を伴わないバナー通知に比べて、オーディオ発信、触覚出力、又は全画面通知などである）。一部の実施形態では、リマインダアフォーダンスは、（例えば、主要表現内にリマインダアフォーダンスを表示するために使用される同一の基準にしたがって）オーバーフロー表現１２２２内に表示される。一部の実施形態では、オーバーフロー表現上でのリマインダアフォーダンスの選択により、主要表現上に表示されるリマインダアフォーダンスに関して前述したのと同じ応答（例えば、対応する参加者へのより干渉的な新規の通知）がもたらされる。 In some embodiments, the device 600 detects an input corresponding to a selection of the reminder affordance (e.g., a tap on the reminder affordance) and, in response, sends an instruction to cause a new notification (e.g., a call, a ringtone, etc.) to occur at a device associated with the corresponding participant indicating that a live communication session is available, the new notification being different from the previous notification sent to the participant. In some embodiments, the new notification is more intrusive than the previous notification (e.g., an audio call, a haptic output, or a full-screen notification, etc., compared to a banner notification without audio or haptic output). In some embodiments, the reminder affordance is displayed in the overflow representation 1222 (e.g., according to the same criteria used to display the reminder affordance in the main representation). In some embodiments, selection of the reminder affordance on the overflow representation results in the same response (e.g., a new, more intrusive notification to the corresponding participant) as described above for a reminder affordance displayed on the main representation.

一部の実施形態では、プレースホルダによって表される参加者の１人がライブ通信セッションに参加したとの判定に応じて、デバイス６００は、ユーザに関連する表現を修正する（例えば、プレースホルダをライブビデオに置き換える、例えば、図８Ｃ～図８Ｄを参照）。一部の実施形態では、表現の修正はアニメーションを含む。一部の実施形態では、デバイス６００は、参加者がセッションに参加したかを判定するためのデータをサーバ又は他の装置から受信する。一部の実施形態では、デバイス６００は、参加者に関連するライブメディアデータの受信に基づいて、参加者がセッションに参加したと判定する。 In some embodiments, in response to determining that one of the participants represented by the placeholder has joined the live communication session, device 600 modifies a representation associated with the user (e.g., replaces the placeholder with live video, e.g., see FIGS. 8C-8D). In some embodiments, the modified representation includes animation. In some embodiments, device 600 receives data from a server or other device to determine whether a participant has joined the session. In some embodiments, device 600 determines that a participant has joined the session based on receiving live media data associated with the participant.

一部の実施形態では、プレースホルダによって表される参加者の１人が、所定時間の間にライブ通信セッションに参加しなかったとの判定を受けて、デバイス６００は、ライブ通信セッションユーザインターフェース１２１６に表示される表現のレイアウトを変更する（例えば、デバイス６００は、所定時間の間にライブ通信セッションに参加しなかった参加者に対応する表現の表示を中止し、より少ない主要表現を有するレイアウトを表示したり、参加者の表現を別の参加者の表現に置き換えたりする。例えば、図８Ｅ～図８Ｆを参照）。一部の実施形態では、デバイス６００は、参加者が所定時間の間にライブ通信セッションに参加しなかったかを判定するためのデータをサーバ又は他の装置から受信する。一部の実施形態では、デバイス６００は、参加者に関連するライブメディアデータを受信していないことに基づいて、参加者が所定時間の間にライブ通信セッションに参加しなかったかを判定する。 In some embodiments, upon determining that one of the participants represented by the placeholders has not participated in the live communication session for a predetermined time, the device 600 alters the layout of the representations displayed in the live communication session user interface 1216 (e.g., the device 600 ceases displaying a representation corresponding to the participant that has not participated in the live communication session for a predetermined time and displays a layout having fewer key representations and/or replaces the participant's representation with a representation of another participant; see, e.g., FIGS. 8E-8F). In some embodiments, the device 600 receives data from a server or other device to determine whether the participant has not participated in the live communication session for a predetermined time. In some embodiments, the device 600 determines whether the participant has not participated in the live communication session for a predetermined time based on not receiving live media data associated with the participant.

図１２Ｄは、グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍとのライブ通信セッション中である後の時間のライブ通信ユーザインターフェース１２１６を示す。図１２Ｄに示すように、ライブ通信ユーザインターフェース１２１６は、前述した通話コントロールメニュー６３０に類似する通話コントロールメニュー１２２４を含む。前述したように、一部の実施形態では、通話コントロールメニュー１２２４は、ユーザ入力（例えば、ディスプレイ６０２上のタップ又はスワイプアップ）に応じて表示される。図１２Ｄに示すように、デバイス６００は、通話コントロールメニュー１２２４を拡張するための要求に対応するユーザ入力１２５０Ｂ（例えば、スワイプアップ）を受ける（例えば、検出する）。図１２Ｅに示すように、ユーザ入力１２５０Ｂに応じて、デバイス６００は、通話コントロールメニュー１２２４を拡張する。拡張された通話コントロールメニュー１２２４は、図６Ｉ～図６Ｋに関して説明した拡張された通話コントロールメニュー６３０と類似する。図１２Ｅに示すように、通話コントロールメニュー１２２４は、参加者Ｈｏａｎに関連するリマインダアフォーダンス１２２６を含む。一部の実施形態では、デバイス６００は、リマインダアフォーダンス１２２６の選択に対応する入力（例えば、リマインダアフォーダンス１２２６上のタップ）を検出し、これに応じて、ライブ通信セッションが利用可能であることを示す新規の通知（例えば、通話、着信音など）を参加者Ｈｏａｎに関連するデバイスにて生じさせる命令を送り、新規の通知は、参加者Ｈｏａｎに送られた従前の通知とは異なる。一部の実施形態では、新規の通知は、従前の通知よりも干渉的である（例えば、オーディオ又は触覚出力を伴わないバナー通知に比べて、オーディオ発信、触覚出力、又は全画面通知などである）。 12D illustrates the live communication user interface 1216 at a later time during a live communication session with the group The Dream Team. As shown in FIG. 12D, the live communication user interface 1216 includes a call control menu 1224 that is similar to the call control menu 630 described above. As previously described, in some embodiments, the call control menu 1224 is displayed in response to a user input (e.g., a tap or swipe up on the display 602). As shown in FIG. 12D, the device 600 receives (e.g., detects) a user input 1250B (e.g., a swipe up) that corresponds to a request to expand the call control menu 1224. As shown in FIG. 12E, in response to the user input 1250B, the device 600 expands the call control menu 1224. The expanded call control menu 1224 is similar to the expanded call control menu 630 described with respect to FIGS. 6I-6K. As shown in FIG. 12E, the call control menu 1224 includes a reminder affordance 1226 associated with participant Hoan. In some embodiments, the device 600 detects an input corresponding to a selection of the reminder affordance 1226 (e.g., a tap on the reminder affordance 1226) and, in response, sends an instruction to cause a new notification (e.g., a call, a ringtone, etc.) to occur at a device associated with participant Hoan indicating that a live communication session is available, the new notification being different from a previous notification sent to participant Hoan. In some embodiments, the new notification is more intrusive than the previous notification (e.g., an audio call, a haptic output, or a full screen notification, etc., compared to a banner notification without audio or haptic output).

図１２Ｆは、メッセージグループＴｈｅ Ｄｒｅａｍ Ｔｅａｍとのライブ通信セッションの開始前のライブ通信ユーザインターフェース１２１６を再び示す。図１２Ｆに示すように、デバイス６００は、グループ連絡先アフォーダンス１２０８の選択に対応するユーザ入力１２５０Ｃ（例えば、タップ）を受ける（例えば、検出する）。図１２Ｇに示すように、ユーザ入力１２５０Ｃを受けたことに応じて、デバイス６００は、グループ連絡先ユーザインターフェース１２２８を表示し、同インターフェースは、ライブ通信セッションアフォーダンス１２３０と、グループ参加者リスト１２３２とを含む、Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍグループに関する追加情報を示す。グループ連絡先ユーザインターフェース１２２８は、連絡先追加アフォーダンス１２３４も含む。一部の実施形態では、連絡先追加アフォーダンス１２３４の選択に対応する入力（例えば、タップ）の検出に応じて、デバイス６００は、（例えば、キーボードを用いて参加者の名前を入力するためのテキスト入力欄を有するユーザインターフェース、及び／又は連絡先リストなどのメニューから参加者を選択するための参加者追加アフォーダンスを表示することによって（例えば、図１４Ｆを参照して後述するような））ライブ通信セッションに新規連絡先を追加する処理を開始する。 12F again illustrates the live communication user interface 1216 prior to initiation of a live communication session with the message group The Dream Team. As shown in FIG. 12F, the device 600 receives (e.g., detects) a user input 1250C (e.g., a tap) corresponding to a selection of the group contacts affordance 1208. As shown in FIG. 12G, in response to receiving the user input 1250C, the device 600 displays a group contacts user interface 1228, which shows additional information about the The Dream Team group, including a live communication session affordance 1230 and a group participants list 1232. The group contacts user interface 1228 also includes an add contact affordance 1234. In some embodiments, in response to detecting an input (e.g., a tap) corresponding to a selection of the add contact affordance 1234, the device 600 initiates a process to add a new contact to the live communication session (e.g., by displaying a user interface having a text entry field for entering the participant's name using a keyboard and/or an add participant affordance for selecting a participant from a menu such as a contact list (e.g., as described below with reference to FIG. 14F)).

図１２Ｈに示すように、デバイス６００は、ライブ通信セッションアフォーダンス１２３０の選択に対応するユーザ入力１２５０Ｄ（例えば、タップ）を受ける（例えば、検出する）。ユーザ入力１２５０Ｄを受けたことに応じて、デバイス６００は、ライブ通信アプリケーションを起動し、グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍの参加者とのライブ通信セッションを開始する（例えば、図１２Ｃに示すように）。 As shown in FIG. 12H, the device 600 receives (e.g., detects) a user input 1250D (e.g., a tap) corresponding to a selection of the live communication session affordance 1230. In response to receiving the user input 1250D, the device 600 launches a live communication application and initiates a live communication session with participants of the group The Dream Team (e.g., as shown in FIG. 12C).

ユーザはまた、グループ連絡先ユーザインターフェース１２２８上のグループ参加者の表現を選択して、対応する参加者に関する追加情報及びオプションにアクセスすることもできる。図１２Ｉに示すように、デバイス６００は、参加者Ａｌｌｉｓｏｎのリストアイテム１２３２Ｂの選択に対応するユーザ入力１２５０Ｅ（例えば、タップ）を受ける（例えば、検出する）。ユーザ入力１２５０Ｅに応じて、デバイス６００は、選択された参加者に関連する追加情報と、様々な通信モードによって参加者と個人的に通信するためのオプション１２３８Ａ～１２３８Ｅとを有する、個人連絡先ユーザインターフェース１２３６を表示する。図１２Ｊに示すように、個人連絡先ユーザインターフェース１２３６は、特に、個人的なメッセージ会話、個人的な電話通話、及び参加者Ａｌｌｉｓｏｎとの個人的なライブ通信セッション（例えば、ビデオ通信）をそれぞれ開始するためのアフォーダンス１２３８Ａ、１２３８Ｂ及び１２３８Ｃを含む。 A user may also select a representation of a group participant on the group contacts user interface 1228 to access additional information and options regarding the corresponding participant. As shown in FIG. 12I, the device 600 receives (e.g., detects) a user input 1250E (e.g., a tap) corresponding to a selection of the list item 1232B of participant Allison. In response to the user input 1250E, the device 600 displays a personal contacts user interface 1236 having additional information related to the selected participant and options 1238A-1238E for privately communicating with the participant by various communication modes. As shown in FIG. 12J, the personal contacts user interface 1236 includes affordances 1238A, 1238B, and 1238C for initiating, among other things, a personal message conversation, a personal phone call, and a personal live communication session (e.g., video communication) with participant Allison, respectively.

一部の実施形態では、デバイス６００は、ユーザ入力１２５０Ｅの特性強度が閾値強度を超えるかを判定する。図１２Ｋに示すように、ユーザ入力１２５０Ｅの特性強度が閾値強度を超えるとの判定を受けて、デバイス６００は、参加者Ａｌｌｉｓｏｎとの個人通信用の様々な通信モードに対応するオプション１２４２Ａ～１２４２Ｅを伴って、グループ連絡先ユーザインターフェース１２２８の上にメニュー１２４０を表示する。 In some embodiments, the device 600 determines whether the characteristic intensity of the user input 1250E exceeds a threshold intensity. As shown in FIG. 12K, upon determining that the characteristic intensity of the user input 1250E exceeds the threshold intensity, the device 600 displays a menu 1240 above the group contacts user interface 1228 with options 1242A-1242E corresponding to various communication modes for personal communication with participant Allison.

図１２Ｌ～図１２Ｎはそれぞれ、例示的な４対１、３対１、及び２対１のレイアウトを示す。一部の実施形態では、ライブ通信セッションが５人の参加者（デバイス６００のユーザを含む）を含むことを受けて、デバイス６００は、図１２Ｌに示す初期レイアウトのうちの１つを表示する。一部の実施形態では、ライブ通信セッションが４人の参加者（デバイス６００のユーザを含む）を含むことを受けて、デバイス６００は、図１２Ｍに示す初期レイアウトのうちの１つを表示する。一部の実施形態では、ライブ通信セッションが３人の参加者（デバイス６００のユーザを含む）を含むことを受けて、デバイス６００は、図１２Ｎに示す初期レイアウトのうちの１つを表示する。一部の実施形態では、デバイス６００は、招待及び／又は接続された参加者の数に基づいて、ライブ通信セッションを開始するときの初期レイアウトとして（例えば、図１２Ｃに示すレイアウトの代わりに）、図１２Ｌ～図１２Ｎに示すレイアウトのうちの１つに参加者の表現を表示する。例えば、一部の実施形態では、デバイス６００は、ライブ通信セッションが合計４人の参加者を含むことを受けて、図１２Ｍに示すレイアウトのうちの１つに従って参加者の表現を表示する。 12L-12N show exemplary 4-to-1, 3-to-1, and 2-to-1 layouts, respectively. In some embodiments, in response to a live communication session including five participants (including the user of device 600), device 600 displays one of the initial layouts shown in FIG. 12L. In some embodiments, in response to a live communication session including four participants (including the user of device 600), device 600 displays one of the initial layouts shown in FIG. 12M. In some embodiments, in response to a live communication session including three participants (including the user of device 600), device 600 displays one of the initial layouts shown in FIG. 12N. In some embodiments, device 600 displays representations of participants in one of the layouts shown in FIG. 12L-12N as the initial layout when initiating a live communication session (e.g., instead of the layout shown in FIG. 12C) based on the number of invited and/or connected participants. For example, in some embodiments, device 600 displays representations of participants according to one of the layouts shown in FIG. 12M in response to a live communication session including a total of four participants.

図１３Ａ～図１３Ｄは、一部の実施形態による方法を示すフロー図である。方法１３００は、ディスプレイを備えるデバイス（例えば、１００、３００、５００又は６００）にて実行される。方法１３００の一部の動作は、任意選択的に、組み合わされ、一部の動作の順序は、任意選択的に、変更され、一部の動作は、任意選択的に、省略される。 13A-13D are flow diagrams illustrating a method according to some embodiments. Method 1300 is performed on a device (e.g., 100, 300, 500, or 600) that includes a display. Some operations of method 1300 are optionally combined, the order of some operations is optionally changed, and some operations are optionally omitted.

後述するように、方法１３００は、複数の参加者間のライブ通信セッションを開始し、セッションと対話するための直感的な方法を提供する。この方法は、複数の参加者間のライブ通信セッションのインテリジェントな開始及びセッションとの対話を提供することにより、ユーザの認知的負担を軽減することで、より効率的なヒューマン－マシンインターフェースを作り出す。バッテリ動作式の電子デバイスの場合、ユーザがライブ通信セッションと、より速くかつ効率的に対話し、セッションを開始することができることにより、電力が節約され、電池の充電間隔が長くなる。 As described below, method 1300 provides an intuitive way to initiate and interact with live communication sessions between multiple participants. The method reduces the cognitive burden on the user by providing intelligent initiation and interaction with live communication sessions between multiple participants, creating a more efficient human-machine interface. For battery-operated electronic devices, the ability of the user to more quickly and efficiently interact with and initiate live communication sessions conserves power and extends the time between battery charges.

ブロック１３０２では、デバイスは、メッセージングアプリケーションのメッセージングユーザインターフェース（例えば、１２００）を表示する。メッセージングユーザインターフェースは、３人以上の参加者を含むメッセージ会話における参加者間の複数のメッセージを含むメッセージ領域（例えば、１２０２）を含む。メッセージングユーザインターフェースは、メッセージ領域（例えば、１２０２）とは別個の、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始するためのアフォーダンス（例えば、１２０６）（例えば、メッセージ詳細アフォーダンス又はライブビデオ通信アプリケーションのグラフィック表示を伴うアフォーダンス）を含む。一部の実施形態では、アフォーダンスは、メッセージングアプリケーションにおける参加者全てとライブ通信セッションを直ちに開始する全通話アフォーダンス（例えば、１２０６）である。一部の実施形態では、アフォーダンスは、ライブ通信セッションに参加者を招待するためのグループ連絡先ユーザインターフェースを表示するグループ連絡先アフォーダンス（例えば、１２０８）である。 At block 1302, the device displays a messaging user interface (e.g., 1200) of a messaging application. The messaging user interface includes a message area (e.g., 1202) that includes multiple messages between participants in a message conversation involving three or more participants. The messaging user interface includes an affordance (e.g., 1206) for initiating a live video communication session in a live video communication application (e.g., a message details affordance or an affordance with a graphical representation of the live video communication application) separate from the message area (e.g., 1202). In some embodiments, the affordance is an all-call affordance (e.g., 1206) that immediately initiates a live communication session with all participants in the messaging application. In some embodiments, the affordance is a group contacts affordance (e.g., 1208) that displays a group contacts user interface for inviting participants to the live communication session.

ブロック１３４０では、デバイスは、アフォーダンス（例えば、１２０６）の選択に対応する入力（例えば、１２５０Ａ）を検出する。ブロック１３０６では、デバイスは、アフォーダンスの選択に対応する入力の検出に応じて、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始する処理を開始し、ライブビデオ通信セッションは、メッセージ会話の参加者を含む。一部の実施形態では、ライブビデオ通信アプリケーションは起動され（例えば、１２１６）、新規のライブビデオ通信セッションは、アフォーダンスの選択に応じて直接開始される。一部の実施形態では、アフォーダンスの選択に応じてメッセージングアプリケーションのメニュー（例えば、１２２８）が表示され、ライブビデオ通信アプリケーションを起動し、新規のライブビデオ通信セッションを開始するように、メニューオプション（例えば、１２３０）が選択される。（例えば、入力の検出によって）所定条件が満たされるときに、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始する処理を自動的に開始することにより、ユーザはライブ通信セッションを開始することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、表示される追加コントローラ（例えば、グループチャットＵＩ）によってＵＩを雑然とさせることなく、ライブ通信を開始する処理を開始するための追加コントローラ（例えば、アフォーダンス）を提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 At block 1340, the device detects an input (e.g., 1250A) corresponding to the selection of an affordance (e.g., 1206). At block 1306, the device, in response to the detection of the input corresponding to the selection of the affordance, initiates a process to initiate a live video communication session in a live video communication application, the live video communication session including the participants of the message conversation. In some embodiments, the live video communication application is launched (e.g., 1216) and a new live video communication session is initiated directly in response to the selection of the affordance. In some embodiments, in response to the selection of the affordance, a menu (e.g., 1228) of the messaging application is displayed and a menu option (e.g., 1230) is selected to launch the live video communication application and initiate a new live video communication session. A user can initiate a live communication session by automatically initiating a process to initiate a live video communication session in the live video communication application when a predetermined condition is met (e.g., by detection of the input). By performing an optimized operation without requiring further user input when a set of conditions is met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved. In addition, by providing an additional control (e.g., an affordance) for initiating the process of initiating live communication without cluttering the UI with additional controls (e.g., a group chat UI) that are displayed, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

任意選択的に、ブロック１３０８では、デバイスは、メッセージングユーザインターフェース（例えば、１２００）からライブ通信アプリケーションのユーザインターフェース（例えば、１２１６）に移行する（例えば、ユーザ入力の検出に応じて直ちに移行する）。任意選択的に、ブロック１３１０では、デバイスは、ライブ通信セッションを開始する。任意選択的に、ブロック１３１２では、デバイスは、グループ連絡先ユーザインターフェース（例えば、１２２８）を表示し、グループ連絡先ユーザインターフェース（例えば、メッセージングユーザインターフェースの少なくとも一部分を表示し続けている間に表示されるインターフェース、又はメッセージングユーザインターフェースに置き換わる別個のインターフェース）は、ライブ通信セッションを開始するためのグループ連絡先アフォーダンス（例えば、１２３０）を含む。（例えば、入力の検出によって）所定条件が満たされるときに、自動的にメッセージングユーザインターフェースから移行し、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始することにより、ユーザはライブ通信セッションを直ちに開始することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、所定条件が満たされるときに、メッセージングユーザインターフェースから移行し、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始することにより、操作を行うために必要な入力の数が減る。操作を行うために必要な入力の数が減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in block 1308, the device transitions (e.g., immediately upon detection of user input) from a messaging user interface (e.g., 1200) to a user interface (e.g., 1216) of a live communication application. Optionally, in block 1310, the device initiates a live communication session. Optionally, in block 1312, the device displays a group contacts user interface (e.g., 1228), where the group contacts user interface (e.g., an interface displayed while continuing to display at least a portion of the messaging user interface, or a separate interface that replaces the messaging user interface) includes a group contacts affordance (e.g., 1230) for initiating a live communication session. The user can initiate a live communication session immediately by automatically transitioning out of the messaging user interface and initiating a live video communication session in the live video communication application when a predetermined condition is met (e.g., by detection of input). By performing an optimized operation without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved. In addition, by transitioning from a messaging user interface and initiating a live video communication session in a live video communication application when a predetermined condition is met, the number of inputs required to perform the operation is reduced. By reducing the number of inputs required to perform the operation, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

一部の実施形態では、グループ連絡先ユーザインターフェースは、メッセージ会話の参加者（例えば、個人参加者リスト）のうちの第１の参加者に関連する第１の参加者アフォーダンス（例えば、１２３２Ｂ）を含む複数の参加者アフォーダンス（例えば、１２３２）を更に含む。一部の実施形態では、グループ連絡先ユーザインターフェースは、新規連絡先アフォーダンス（例えば、１２３４）を更に含む。任意選択的に、ブロック１３１４では、デバイスは、ライブ通信アプリケーションにおいてライブ通信セッションを開始する。追加コントローラが必要とされるときに、表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御オプション（例えば、アフォーダンス）を提供するグループ連絡先ユーザインターフェースを表示することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 In some embodiments, the group contacts user interface further includes a plurality of participant affordances (e.g., 1232), including a first participant affordance (e.g., 1232B) associated with a first one of the participants (e.g., individual participant list) of the message conversation. In some embodiments, the group contacts user interface further includes a new contact affordance (e.g., 1234). Optionally, at block 1314, the device initiates a live communication session in the live communication application. Displaying a group contacts user interface that provides additional control options (e.g., affordances) without cluttering the UI with additional controllers displayed when the additional controllers are needed enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１３１６では、デバイスは、ライブ通信セッション参加者のうちの第１の参加者（例えば、電子デバイスのユーザ以外の参加者、通信セッションに参加しておらず、通信セッションに参加するための招待を送られた参加者）に関連するプレースホルダ（例えば、図１２Ｃの１２１０Ａ）（例えば、グラフィックプレースホルダ（例えば、画像又は仮想アバター）、テキストプレースホルダ（例えば、名前又はイニシャル）を含む（例えば、最初に含む）ライブ通信セッションユーザインターフェース（例えば、１２１６）（例えば、ライブ通信プレースホルダ用のインターフェース）を表示する。一部の実施形態では、ライブ通信セッションユーザインターフェースは、第２の参加者に関連する第２のプレースホルダを更に含む。一部の実施形態では、第１のプレースホルダは、ライブ通信セッション参加者のうちの第１の参加者用の第１のリマインダアフォーダンス（例えば、発信ボタン）を含む（例えば、図１２Ｃ）。一部の実施形態では、ライブ通信セッションユーザインターフェースは、第２の参加者に関連する第２のプレースホルダを更に含む（例えば、１２１０Ｃ）。一部の実施形態では、第１のプレースホルダ及び第２のプレースホルダは、第１のレイアウトに従って配置される。ライブ通信が開始されるときにライブ通信セッションユーザインターフェースを表示することにより、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、ライブ通信インターフェースに関連する操作が行われ得ることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in block 1316, the device displays a live communication session user interface (e.g., 1216) (e.g., an interface for a live communication placeholder) that includes (e.g., initially includes) a placeholder (e.g., 1210A of FIG. 12C) (e.g., a graphic placeholder (e.g., an image or virtual avatar), a text placeholder (e.g., a name or initials) associated with a first one of the live communication session participants (e.g., a participant other than the user of the electronic device, a participant not participating in the communication session and sent an invitation to join the communication session). In some embodiments, the live communication session user interface further includes a second placeholder associated with a second participant. In some embodiments, the first placeholder includes a first reminder affordance (e.g., a call button) for the ... FIG. 12C). In some embodiments, the live communication session user interface further includes a second reminder affordance (e.g., a call button) for the first one of the live communication session participants. The session user interface further includes a second placeholder associated with the second participant (e.g., 1210C). In some embodiments, the first placeholder and the second placeholder are arranged according to the first layout. Displaying the live communication session user interface when live communication is initiated provides the user with feedback regarding the current state of the live communication session and provides the user with visual feedback indicating that an action related to the live communication interface may be taken. Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１３１８では、第１の参加者がライブ通信セッションに参加したとの判定を受けて、デバイスは、第１のプレースホルダ（例えば、図１２Ｃの１２１０Ａ）の表示を第１の参加者の表現（例えば、図１２Ｄの１２１０Ａ）に置き換える（例えば、プレースホルダが参加者の名前を伴うことができる）。一部の実施形態では、アニメーションが生じる（例えば、図８Ｔ～図８Ｗ）。一部の実施形態では、デバイスは、この判定を行うためのデータをサーバ又は他の装置から受信する。一部の実施形態では、デバイスは、ユーザのいかなる表現をも表示していないために、この判定を行う。参加者の表現を伴う第１のプレースホルダの表示を修正することにより、ユーザはどのユーザが通話に参加したかを迅速に認識することができ、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at block 1318, upon a determination that a first participant has joined the live communication session, the device replaces the display of the first placeholder (e.g., 1210A of FIG. 12C) with a representation of the first participant (e.g., 1210A of FIG. 12D) (e.g., the placeholder can be accompanied by the participant's name). In some embodiments, animation occurs (e.g., FIGS. 8T-8W). In some embodiments, the device receives data from a server or other device to make this determination. In some embodiments, the device makes this determination because it is not displaying any representation of the user. Modifying the display of the first placeholder with the representation of the participant allows the user to quickly recognize which user has joined the call, provides the user with feedback regarding the current state of the live communication session, and provides the user with visual feedback indicating that a notification and/or a particular action related to the live communication session will be taken. Providing improved visual feedback to the user enhances usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces power usage and improves battery life of the device by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１３２０では、第１の参加者がライブ通信セッションに所定時間の間に参加しなかった（例えば、所定時間後にライブ通信に参加していない）との判定を受けて、デバイスは、（任意選択的にブロック１３２２で）第１のプレースホルダの表示を中止し、任意選択的にブロック１３２４で、デバイスは、第２のプレースホルダの配置を、第１のレイアウトとは異なる第２のレイアウトに変更する（例えば、第１の参加者がレイアウトに含まれないレイアウトを表示する）。一部の実施形態では、デバイスは、この判定を行うためのデータをサーバ又は他の装置から受信することができる。一部の実施形態では、デバイスは、ユーザのいかなる表現をも表示していないために、この判定を行うことができる。所定条件が満たされるときに、プレースホルダの表示を中止し、表示の配置を変更することにより、ユーザは、表示される参加者及び／又はプレースホルダの視認性を最大化しながら、他のユーザが通話に参加しているとき又は参加していないときを迅速に認識することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、プレースホルダの表示を中止し、表示の配置を変更することにより、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at block 1320, upon a determination that the first participant has not joined the live communication session for a predetermined time (e.g., has not joined the live communication after a predetermined time), the device (optionally at block 1322) ceases displaying the first placeholder, and optionally at block 1324, the device changes the arrangement of the second placeholder to a second layout different from the first layout (e.g., displays a layout in which the first participant is not included in the layout). In some embodiments, the device may receive data from a server or other device to make this determination. In some embodiments, the device may make this determination because it is not displaying any representation of the user. By ceasing to display the placeholder and changing the arrangement of the display when a predetermined condition is met, the user may quickly recognize when other users are or are not participating in the call while maximizing the visibility of the displayed participants and/or placeholders. By performing an optimized operation without requiring further user input when a set of conditions is met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently. Additionally, by ceasing to display the placeholder and rearranging the display, feedback is provided to the user regarding the current state of the live communication session, and visual feedback is provided to the user indicating that a notification and/or a specific action related to the live communication session will be performed. By providing the user with improved visual feedback, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１３２６及び１３２８では、デバイスは、第１のリマインダアフォーダンス（例えば、８０８）の選択に対応する入力（例えば、８５０Ｂ）を受ける。第１のリマインダアフォーダンスの選択に対応する入力を受けたことに応じて、デバイスは、第１の参加者に送られた従前の通知とは異なる新規の通知（例えば、通話、着信音など）を第１の参加者に送る（例えば、第２の通知は、第１の通知よりも干渉性が高い）。リマインダアフォーダンスの選択に対応する入力を受けたことに応じて、その参加者に送られた従前の通知とは異なる通知を第１の参加者に送ることにより、操作を行うために必要な入力の数が減る。操作を行うために必要な入力の数（例えば、ユーザが参加者を呼ぶのに必要なオプションの数）が減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、更なるユーザ入力を伴わずに、第１の通知とは異なる通知を送るなどの動作を自動的に行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in blocks 1326 and 1328, the device receives an input (e.g., 850B) corresponding to a selection of a first reminder affordance (e.g., 808). In response to receiving the input corresponding to the selection of the first reminder affordance, the device sends a new notification (e.g., a call, a ringtone, etc.) to the first participant that is different from a previous notification sent to the first participant (e.g., the second notification is more intrusive than the first notification). By sending a notification to the first participant that is different from a previous notification sent to the participant in response to receiving the input corresponding to the selection of the reminder affordance, the number of inputs required to perform an operation is reduced. Reducing the number of inputs required to perform an operation (e.g., the number of options a user needs to call a participant) enhances the usability of the device and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing the power usage of the device and improving battery life by allowing the user to use the device more quickly and efficiently. Additionally, automatically performing an action such as sending a notification different from the first notification without further user input enhances usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and allows the user to use the device more quickly and efficiently, thereby reducing power usage and improving battery life of the device.

任意選択的に、ブロック１３３０及び１３３２では、デバイスは、ライブ通信セッションを開始するためのグループ連絡先アフォーダンス（例えば、１２０８）の選択に対応する入力（例えば、１２５０Ｃ）を受ける。ライブ通信セッションを開始するためのグループ連絡先アフォーダンスの選択に対応する入力の検出に応じて、デバイスは、ライブ通信アプリケーションにおいてライブ通信セッションを開始する。（例えば、ライブ通信アプリケーションのユーザインターフェースに移行する）。一部の実施形態では、グループ連絡先ユーザインターフェースは、ライブ通信セッション用の参加者リスト（例えば、１２３２）を含む。一部の実施形態では、参加者リストは、所与の参加者とのビデオ又はオーディオ会議に個人的に参加する若しくは同会議を開始するためのオプション及び／又はアフォーダンスの提供を伴わずに提供される。一部の実施形態では、メッセージングユーザインターフェースは、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始するための２つのアフォーダンス、つまり、選択されると、グループ連絡先ユーザインターフェースの表示をもたらす第１のアフォーダンスと、選択されると、ライブ通信アプリケーションのユーザインターフェースへの移行及びその開始（例えば、ライブ通信セッションを直ちに開始する）をもたらす第２のアフォーダンスとを含む）。追加コントローラが必要とされるときに、表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御オプション（例えば、アフォーダンス）を提供するグループ連絡先アフォーダンスの選択に応じてライブ通信アプリケーションにおいてライブ通信セッションを開始することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、グループ連絡先アフォーダンスの選択に応じてライブ通信アプリケーションにおいてライブ通信セッションを開始することにより、操作を行うために必要な入力の数を減らすことができる。操作を行うために必要な入力の数が減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 1330 and 1332, the device receives an input (e.g., 1250C) corresponding to a selection of a group contacts affordance (e.g., 1208) to initiate a live communication session. In response to detecting the input corresponding to a selection of the group contacts affordance to initiate a live communication session, the device initiates the live communication session in the live communication application (e.g., transitions to a user interface of the live communication application). In some embodiments, the group contacts user interface includes a participant list (e.g., 1232) for the live communication session. In some embodiments, the participant list is provided without providing an option and/or affordance for personally joining or initiating a video or audio conference with a given participant. In some embodiments, the messaging user interface includes two affordances for initiating a live video communication session in the live video communication application: a first affordance that, when selected, results in the display of a group contacts user interface, and a second affordance that, when selected, results in transition to and initiation of a user interface of the live communication application (e.g., immediately starting the live communication session). Initiating a live communication session in a live communication application in response to selection of a group contact affordance that provides additional control options (e.g., affordances) without cluttering the UI with additional controllers that are displayed when the additional controllers are needed enhances device usability, makes the user-device interface more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. Initiating a live communication session in a live communication application in response to selection of a group contact affordance can reduce the number of inputs required to perform an operation. Reducing the number of inputs required to perform an operation enhances device usability, makes the user-device interface more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１３３４、１３３６、１３３８、及び１３４０では、デバイスは、通信を開始した後に、第１の参加者がライブ通信セッションに所定時間の間に参加しなかったとの判定に応じて、第１の参加者に関連するリマインダオプションを表示する。一部の実施形態では、リマインダオプションは、グループ連絡先ユーザインターフェースの第１の参加者アフォーダンスの上又は付近に表示される。所定条件が満たされるときに、参加者に関連するリマインダオプションを表示することにより、ユーザは通話に参加していないユーザを迅速に認識し、それらの特定のユーザを呼ぶことができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。第１の参加者に関連するリマインダオプションを表示している間に、デバイスは、リマインダオプションの選択に対応する入力を受ける。リマインダオプションの選択に対応する入力を受けることに応じて、デバイスは、そこで、ライブ通信セッションが第１の参加者に利用可能であることを示す通知（例えば、第１の参加者のデバイスに（例えば、可聴、可視、触覚）通知を出力させる通知）を送る。その参加者に関連するリマインダオプションの選択に対応する入力を受けたことに応じて、第１の参加者に通知を送ることにより、操作を行うために必要な入力の数が減る。操作を行うために必要な入力の数（例えば、ユーザが参加者を呼ぶのに必要なオプションの数）が減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 1334, 1336, 1338, and 1340, the device displays a reminder option associated with the first participant in response to determining that the first participant has not joined the live communication session for a predetermined time after initiating communication. In some embodiments, the reminder option is displayed on or near the first participant affordance of the group contact user interface. By displaying the reminder option associated with the participant when a predetermined condition is met, the user can quickly identify users who are not participating in the call and call those particular users. By performing an optimized operation without requiring further user input when a set of conditions is met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and in addition, the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently. While displaying the reminder option associated with the first participant, the device receives an input corresponding to a selection of the reminder option. In response to receiving an input corresponding to the selection of the reminder option, the device then sends a notification (e.g., a notification that causes the first participant's device to output a (e.g., audible, visual, tactile) notification) indicating that a live communication session is available to the first participant. Sending a notification to the first participant in response to receiving an input corresponding to the selection of a reminder option associated with that participant reduces the number of inputs required to perform an action. Reducing the number of inputs required to perform an action (e.g., the number of options a user needs to call a participant) enhances usability of the device and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing power usage and improving battery life of the device by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１３４２及び１３４４では、デバイスは、メッセージ会話の第１の参加者に関連する第１の参加者アフォーダンス（例えば、１２３２Ｂ）の選択に対応する入力（例えば、１２５０Ｅ）を検出する。一部の実施形態では、これらの参加者は、ライブ通信セッションの参加者である（例えば、ライブ通信セッションの参加者は、メッセージ会話からのユーザとは異なる１人以上のユーザを含むことができ、メッセージ会話からの参加者を含まないこともできる）。メッセージ会話の第１の参加者に関連する第１の参加者アフォーダンスの選択に対応する入力の検出に応じて、デバイスは、第１の参加者の特性を含む個人参加者ユーザインターフェース（例えば、１２３６）を表示する（例えば、個人参加者ユーザインターフェースは、個人ユーザに関する詳細（例えば、名前、イニシャルなどのユーザ識別子、ユーザ連絡先情報、ユーザに連絡するための通信モード）を有する）。追加コントローラが必要とされるときに、表示される追加コントローラによってＵＩ（例えば、グループコンタクトＵＩ）を雑然とさせることなく、入力の検出に応じて個人参加者ユーザインターフェース（例えば、グループ連絡先ＵＩ上の各個人参加者用の参加者アフォーダンス）を表示することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 1342 and 1344, the device detects an input (e.g., 1250E) corresponding to a selection of a first participant affordance (e.g., 1232B) associated with a first participant of the message conversation. In some embodiments, these participants are participants of a live communication session (e.g., participants of a live communication session may include one or more users different from the users from the message conversation, and may not include participants from the message conversation). In response to detecting an input corresponding to a selection of the first participant affordance associated with the first participant of the message conversation, the device displays an individual participant user interface (e.g., 1236) including characteristics of the first participant (e.g., the individual participant user interface has details about the individual user (e.g., a user identifier such as name, initials, etc., user contact information, communication mode for contacting the user)). Displaying an individual participant user interface (e.g., participant affordances for each individual participant on a group contact UI) in response to detection of an input, without cluttering the UI (e.g., a group contact UI) with additional controllers that are displayed when the additional controllers are needed, enhances usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces power usage and improves battery life of the device by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１３４６及び１３４８では、デバイスは、通信モードを選択するためのオプションの選択に対応する入力（例えば、強度閾値を超える特性強度を有する入力）を検出する（例えば、１２３８Ａ～１２３８Ｃ）。通信モードオプションの選択に対応する入力の検出に応じて、デバイスは、第１の参加者用の通勤モードを選択する処理を開始する。一部の実施形態では、処理の開始は、複数の通信オプションアフォーダンス（例えば、メールアフォーダンス、通話アフォーダンス、メッセージングアフォーダンス）の表示を含む。 Optionally, at blocks 1346 and 1348, the device detects an input (e.g., an input having a characteristic intensity above an intensity threshold) corresponding to a selection of an option for selecting a communication mode (e.g., 1238A-1238C). In response to detecting the input corresponding to a selection of the communication mode option, the device initiates a process to select a commute mode for the first participant. In some embodiments, the initiation of the process includes displaying a number of communication option affordances (e.g., an email affordance, a call affordance, a messaging affordance).

任意選択的に、ブロック１３５０及び１３５２では、デバイスは、新規の連絡先アフォーダンス（例えば、１２３４）の選択に対応する入力を検出する。新規の連絡先アフォーダンスの選択に対応する入力の検出に応じて、デバイスは、ライブ通信セッションに新規の連絡先を追加する処理を開始する（例えば、追加する新規の連絡先を選択するためのユーザインターフェースを表示する）。ライブ通信セッションに新規の連絡先を追加する処理を開始することにより、ユーザはどのユーザが通話に追加されるかを迅速に認識することができ、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 1350 and 1352, the device detects an input corresponding to a selection of a new contact affordance (e.g., 1234). In response to detecting an input corresponding to a selection of the new contact affordance, the device initiates a process to add a new contact to the live communication session (e.g., displays a user interface for selecting a new contact to add). Initiating a process to add a new contact to the live communication session allows the user to quickly recognize which user is being added to the call, provides the user with feedback regarding the current state of the live communication session, and provides the user with notifications and/or visual feedback indicating that a particular action related to the live communication session will occur. Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

なお、方法１３００に関して前述した処理（例えば、図１３Ａ～図１３Ｄ）の詳細はまた、後述する／前述した方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法１３００は、任意選択的に、方法７００、９００、１１００、又は１５００に関して説明した様々な方法の特性の１つ以上を含む。 It should be noted that the details of the processes described above with respect to method 1300 (e.g., FIGS. 13A-13D) are also applicable in a similar manner to the methods described below/above. For example, method 1300 optionally includes one or more of the characteristics of the various methods described with respect to methods 700, 900, 1100, or 1500.

図１４Ａ～図１４Ｉは、一部の実施形態による、特に、ライブ通信アプリケーションからライブ通信セッションを開始するための例示的なユーザインターフェースを示す。これらの図にあるユーザインターフェースは、図１５Ａ～図１５Ｃにおける処理を含む後述する処理を示すために使用される。 14A-14I illustrate exemplary user interfaces according to some embodiments, particularly for initiating a live communication session from a live communication application. The user interfaces in these figures are used to illustrate the processes described below, including the processes in FIGS. 15A-15C.

図１４Ａは、アプリケーションを起動するためのアフォーダンスを伴うユーザインターフェース１４００（例えば、ホーム画面又はスプリングボード）を表示している（前述したような）デバイス６００を示す。図１４Ａに示すように、デバイス６００は、ライブ通信アプリケーションアフォーダンス１４０２の選択に対応するユーザ入力１４５０Ａ（例えば、タップ）を受ける（例えば、検出する）。 14A illustrates a device 600 (as previously described) displaying a user interface 1400 (e.g., a home screen or springboard) with an affordance for launching an application. As shown in FIG. 14A, the device 600 receives (e.g., detects) a user input 1450A (e.g., a tap) corresponding to a selection of a live communications application affordance 1402.

図１４Ｂに示すように、ユーザ入力１４５０Ａを受けたことに応じて、デバイス６００は、ライブビデオ通信アプリケーションを起動し、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインターフェース１４０４を表示する。ライブビデオ通信ユーザインターフェースは、それぞれの参加者又は参加者グループに対応する参加者アフォーダンス１４０８Ａ～１４０８Ｋのリスト１４０８を含む。一部の実施形態では、ライブ通信アプリケーションにおいてそれぞれの参加者又は参加者グループ（例えば、デバイス６００のユーザ以外の２人以上の参加者）との従前（例えば、最近）のライブ通信セッションに基づいて、参加者アフォーダンスがリスト１４０８に含まれる。一部の実施形態では、従前のライブ通信セッションは、デバイス６００のユーザ又は別の参加者のいずれかによって、成功裏に接続され試みられた通信を含む。ライブビデオ通信ユーザインターフェース１４０４は、新規のライブ通信セッションの参加者を選択するための新規セッションアフォーダンス１４０６を含む。 14B, in response to receiving user input 1450A, device 600 launches a live video communication application and displays a live video communication user interface 1404 of the live video communication application. The live video communication user interface includes a list 1408 of participant affordances 1408A-1408K corresponding to respective participants or participant groups. In some embodiments, participant affordances are included in list 1408 based on a previous (e.g., recent) live communication session with the respective participant or participant group (e.g., two or more participants other than the user of device 600) in the live communication application. In some embodiments, the previous live communication session includes a successfully connected and attempted communication, either by the user of device 600 or another participant. Live video communication user interface 1404 includes a new session affordance 1406 for selecting a participant for a new live communication session.

一部の実施形態では、別のアプリケーション（例えば、メッセージアプリケーション（アフォーダンス１４０８Ａ、例えば、グループチャット参加者リスト）、電話アプリケーション（アフォーダンス１４０８Ｃ、例えば、会議通話の参加者）、カレンダーアプリケーション（アフォーダンス１４０８Ｂ、例えば、カレンダーイベントの出席者）、又は電子メールアプリケーション（アフォーダンス１４０８Ｄ、例えば、電子メールの受信者リスト））に関連する参加者グループに基づいて、参加者アフォーダンスがリスト１４０８に含まれる。例えば、参加者アフォーダンス１４０８Ａは、従前又は既存のグループメッセージ会話（例えば、テキスト又はインスタントメッセージ）の参加者グループに対応しており、リスト１４０８に提案として表示される（例えば、ユーザは、参加者グループを手動で作成する必要がない）。一部の実施形態では、参加者アフォーダンスは、電話アプリケーションに関連する電話会議通話の参加者グループに対応する。参加者アフォーダンス１４０８Ａ～１４０８Ｋは、参加者又は参加者グループの表示、状態インジケータ、詳細アフォーダンス、及び、任意選択的に、関連する日付を含む。図１４Ｂに示すように、状態インジケータは、参加者又はグループのソース（例えば、「メッセージより」、「電話より」、「カレンダーより」、「メールより」）、又は関連する通信の通信状態（例えば、ビデオ、オーディオ、不在など）を識別する。一部の実施形態では、参加者又はグループのソースは、グラフィック又はテキスト表示、特定のアプリケーションに関連する色、又はアプリケーションに関するロゴ（例えば、電話アイコン、ビデオカメラアイコン、又は吹き出しアイコン）によって示される。 In some embodiments, participant affordances are included in list 1408 based on participant groups associated with another application (e.g., a messaging application (affordance 1408A, e.g., a group chat participant list), a telephony application (affordance 1408C, e.g., participants in a conference call), a calendar application (affordance 1408B, e.g., attendees of a calendar event), or an email application (affordance 1408D, e.g., a list of email recipients)). For example, participant affordance 1408A corresponds to a participant group of a prior or existing group messaging conversation (e.g., text or instant messaging) and is displayed as a suggestion in list 1408 (e.g., the user does not have to manually create a participant group). In some embodiments, the participant affordance corresponds to a participant group of a conference call associated with the telephony application. Participant affordances 1408A-1408K include an indication of a participant or participant group, a status indicator, a details affordance, and, optionally, an associated date. As shown in FIG. 14B, the status indicator identifies the source of the participant or group (e.g., "From Message," "From Phone," "From Calendar," "From Mail") or the communication state of the associated communication (e.g., video, audio, missed, etc.). In some embodiments, the source of the participant or group is indicated by a graphic or textual display, a color associated with a particular application, or a logo associated with the application (e.g., a phone icon, a video camera icon, or a speech bubble icon).

一部の実施形態では、デバイス６００は、アクティブなライブ通信セッションが存在するグループに関連する参加者アフォーダンスを視覚的に区別する。図１４Ｂでは、参加者アフォーダンス１４０８Ｅは、ライブ通信セッションが現在アクティブであるグループに関連する。アクティブなライブ通信セッションは、他の参加者アフォーダンスに表示される非太字表記のテキスト及びコンタクト詳細アイコン（例えば、１４０８Ａ－１）と比べて、参加者アフォーダンス１４０８Ｅにおける太字表記テキストによる参加者の名前、ビデオカメラアイコン１４０８Ｅ－１、及び「参加するためにタップ」メッセージによって示される。 In some embodiments, the device 600 visually distinguishes participant affordances associated with groups for which there is an active live communication session. In FIG. 14B, participant affordance 1408E is associated with a group in which a live communication session is currently active. The active live communication session is indicated by the participant's name in bold text, video camera icon 1408E-1, and a "tap to join" message in participant affordance 1408E compared to non-bold text and contact details icons (e.g., 1408A-1) displayed in the other participant affordances.

一部の実施形態では、従前のライブ通信セッションに関連する参加者アフォーダンスの外観は、対応するライブ通信セッションにデバイスのユーザが参加したか否かに基づく。図１４Ｂでは、参加者アフォーダンス１４０８Ｈは、デバイス６００のユーザが参加しなかった従前のライブ通信セッションに関連する。結果として、参加者アフォーダンス１４０８Ｈは、デバイス６００のユーザが参加した従前のライブ通信セッションに関連する他の参加者アフォーダンス（例えば、１４０８Ｆ）の非イタリック表記のテキストと区画して、イタリック表記のテキストを含む。 In some embodiments, the appearance of a participant affordance associated with a prior live communication session is based on whether the user of the device participated in the corresponding live communication session. In FIG. 14B, participant affordance 1408H is associated with a prior live communication session in which the user of device 600 did not participate. As a result, participant affordance 1408H includes italicized text in contrast to the non-italicized text of other participant affordances (e.g., 1408F) associated with a prior live communication session in which the user of device 600 participated.

図１４Ｃに示すように、デバイス６００は、１５人の参加者を含む前述した参加者グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍ用の参加者アフォーダンス１４０８Ａの選択に対応するユーザ入力１４５０Ｂ（例えば、タップ）を受ける（例えば、検出する）。 As shown in FIG. 14C, the device 600 receives (e.g., detects) a user input 1450B (e.g., a tap) corresponding to a selection of a participant affordance 1408A for the participant group The Dream Team, previously described, which includes 15 participants.

ユーザ入力１４５０Ｂを受けたことに応じて、デバイス６００は、選択された参加者アフォーダンス１４０８Ａ（Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍ）に対応する参加者との新規のライブビデオ通信セッションを開始する処理を開始する。一部の実施形態では、新規のライブビデオ通信セッションは、参加者アフォーダンス１４０８Ａの選択に応じて直ちに開始される。例えば、図１４Ｄに示すように、ユーザ入力１４５０Ｂを受けたことに応じて、デバイス６００は、ライブ通信ユーザインターフェース１４１０を表示し、更なるユーザ入力を伴わずにグループＴｈｅ Ｄｒｅａｍ Ｔｅａｍとのライブ通信セッションを開始する。ライブ通信ユーザインターフェース１４１０は、デバイス６００のユーザの表現（例えば、デバイス６００の前面にあるカメラからのビデオ）と、議論した通話コントロールメニュー６３０に類似する通話コントロールメニュー１４１２とを含む。 In response to receiving user input 1450B, device 600 begins processing to initiate a new live video communication session with the participant corresponding to the selected participant affordance 1408A (The Dream Team). In some embodiments, the new live video communication session is initiated immediately in response to the selection of participant affordance 1408A. For example, as shown in FIG. 14D, in response to receiving user input 1450B, device 600 displays live communication user interface 1410 and initiates a live communication session with group The Dream Team without further user input. Live communication user interface 1410 includes a representation of the user of device 600 (e.g., video from a camera on the front of device 600) and a call control menu 1412 similar to call control menu 630 discussed.

一部の実施形態では、参加者アフォーダンス１４０８Ａの選択に応じて、ライブビデオ通信アプリケーションのメニューが表示され、新規のライブビデオ通信セッションを開始するようにメニューオプションが選択される。例えば、一部の実施形態では、デバイス６００は、ライブ通信セッションを開始せずに、（図１４Ｄに示すように）ライブ通信ユーザインターフェース１４１０を表示する。代わりに、ライブ通信ユーザインターフェース１４１０を表示している間に、デバイス６００は、通話コントロールメニュー１４１２上の通話アフォーダンス１４１４の選択に対応するユーザ入力（例えば、タップ）を受け（例えば、検出し）、ライブ通信開始アフォーダンス１４１４の選択に応じて、グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍとのライブ通信セッションを開始する。 In some embodiments, in response to selection of participant affordance 1408A, a menu of a live video communication application is displayed and a menu option is selected to start a new live video communication session. For example, in some embodiments, device 600 displays live communication user interface 1410 (as shown in FIG. 14D ) without starting a live communication session. Instead, while displaying live communication user interface 1410, device 600 receives (e.g., detects) a user input (e.g., a tap) corresponding to selection of call affordance 1414 on call control menu 1412, and in response to selection of start live communication affordance 1414, starts a live communication session with group The Dream Team.

図１４Ｅはまた、ライブ通信ユーザインターフェース１４０４をも示す。（図１４Ｃに示すような）リスト１４０８中の参加者アフォーダンスの選択を受ける代わりに、デバイス６００は、新規セッションアフォーダンス１４０６の選択に対応するユーザ入力１４５０Ｃ（例えば、タップ）を受ける（例えば、検出する）。ユーザ入力１４５０Ｃに応じて、かつユーザ入力１４５０Ｃが新規セッションアフォーダンス１４０６の選択に対応することを受けて、デバイス６００は、参加者を選択し、選択された参加者とデバイス６００のユーザとの新規のライブビデオ通信セッションを開始する処理を開始する。図１４Ｆに示すように、ライブ通信ユーザインターフェース１４０４は、ユーザインターフェース１４１６に置き換えられ、同ユーザインターフェースは、キーボード１４２０を用いて参加者の名前を入力するためのテキスト入力欄１４１８と、メニュー（例えば、連絡先リスト）から参加者を選択するための参加者追加アフォーダンス１４２２と、オーディオ専用アフォーダンス１４２４と、ビデオアフォーダンス１４２６とを含む。 14E also shows the live communication user interface 1404. Instead of receiving a selection of a participant affordance in the list 1408 (as shown in FIG. 14C), the device 600 receives (e.g., detects) a user input 1450C (e.g., a tap) corresponding to a selection of the new session affordance 1406. In response to the user input 1450C, and in response to the user input 1450C corresponding to a selection of the new session affordance 1406, the device 600 begins a process of selecting a participant and initiating a new live video communication session with the selected participant and the user of the device 600. As shown in FIG. 14F, the live communication user interface 1404 is replaced with a user interface 1416 that includes a text entry field 1418 for entering a participant's name using a keyboard 1420, an add participant affordance 1422 for selecting a participant from a menu (e.g., a contact list), an audio-only affordance 1424, and a video affordance 1426.

図１４Ｆでは、テキスト入力欄１４１８へのテキスト「ＪＯＥ」の入力に応じて、デバイス６００は、連絡先「ＪＯＥ ＳＭＩＴＨ」について２つの通信オプション１４１７Ａ及び１４１７Ｂを表示する。一部の実施形態では、デバイス６００は、ライブ通信セッションに参加できるデバイスに関連する通信オプションを視覚的に区別する。図１４Ｆでは、通信オプション１４１７Ｂによって表される通信モード（例えば、電子メール）は、太字表記のテキストによって示されるように、ライブ通信セッションに参加できるデバイスに関連する。対照的に、通信オプション１４１７Ａによって表される通信モード（例えば、家庭電話）は、ライブ通信セッションに参加できるデバイスに通信モードが関連していないことを示すように、通常（非太字表記）テキストで表示される。 In FIG. 14F, in response to entering the text "JOE" into text entry field 1418, device 600 displays two communication options 1417A and 1417B for contact "JOE SMITH." In some embodiments, device 600 visually distinguishes communication options associated with devices that can participate in the live communication session. In FIG. 14F, the communication mode represented by communication option 1417B (e.g., email) is associated with a device that can participate in the live communication session, as indicated by the bolded text. In contrast, the communication mode represented by communication option 1417A (e.g., home phone) is displayed in normal (non-bolded) text to indicate that the communication mode is not associated with a device that can participate in the live communication session.

図１４Ｇに示すように、Ｊｏｅ、Ａｓｈｌｅｙ、及びＳａｍという名前の参加者が選択されている。デバイス６００は、ビデオアフォーダンス１４２６の選択に対応するユーザ入力１４５０Ｄ（例えば、タップ）を受ける（例えば、検出する）。 As shown in FIG. 14G, participants named Joe, Ashley, and Sam are selected. The device 600 receives (e.g., detects) user input 1450D (e.g., a tap) corresponding to the selection of the video affordance 1426.

ユーザ入力１４５０Ｄを受けたことに応じて、デバイス６００は、（図１４Ｈに示すように）選択された参加者との新規のライブ通信セッションを開始し、ビデオ及びオーディオデータを含むライブメディアストリームを提供する。一部の実施形態では、オーディオ専用アフォーダンス１４２４の選択に対応するユーザ入力を受けたことに応じて、デバイス６００は、選択された参加者との新規のライブ通信セッションを開始し、ビデオデータを伴わずオーディオデータを含むライブメディアストリームを提供する。 In response to receiving user input 1450D, device 600 initiates a new live communication session with the selected participant (as shown in FIG. 14H) and provides a live media stream that includes video and audio data. In some embodiments, in response to receiving user input corresponding to a selection of audio-only affordance 1424, device 600 initiates a new live communication session with the selected participant and provides a live media stream that includes audio data without accompanying video data.

一部の実施形態では、新規のライブ通信セッションが開始された後に、デバイス６００は、ライブ通信アプリケーション以外のアプリケーションにおいて、新規のライブ通信セッションの表現を表示する。参加者Ｊｏｅ、Ａｓｈｌｅｙ、及びＳａｍとのライブ通信セッションを開始した後に、デバイス６００のユーザは、メッセージングアプリケーションにナビゲートする。図１４Ｉに示すように、ライブ通信セッションを開始した後に、デバイス６００は、メッセージングアプリケーションのメッセージングインターフェース１４２８を表示する。メッセージングユーザインターフェース１４２８は、ライブ通信セッションの参加者を含むグループメッセージ会話を表示し、ライブ通信セッションが開始したことを示すメッセージ１４３０がメッセージ領域１４３２に表示される。一部の実施形態では、ライブ通信セッションを開始した後に、デバイス６００は、ライブ通信セッションの参加者を含むグループを、メッセージングアプリケーションにおけるメッセージ会話のリストに表示する。一部の実施形態では、デバイス６００は、メッセージ会話のリスト中のグループの選択に応じて、（前述した）メッセージングユーザインターフェース１４２８を表示する。 In some embodiments, after a new live communication session is initiated, the device 600 displays a representation of the new live communication session in an application other than the live communication application. After initiating a live communication session with participants Joe, Ashley, and Sam, the user of the device 600 navigates to a messaging application. As shown in FIG. 14I, after initiating the live communication session, the device 600 displays a messaging interface 1428 of the messaging application. The messaging user interface 1428 displays a group message conversation that includes the participants of the live communication session, and a message 1430 indicating that a live communication session has started is displayed in a message area 1432. In some embodiments, after initiating a live communication session, the device 600 displays a group that includes the participants of the live communication session in a list of message conversations in the messaging application. In some embodiments, the device 600 displays the messaging user interface 1428 (described above) in response to a selection of a group in the list of message conversations.

図１５Ａ～図１５Ｃは、一部の実施形態による方法を示すフロー図である。方法１５００は、ディスプレイを備えるデバイス（例えば、１００、３００、５００又は６００）にて行われる。方法１５００の一部の動作は、任意選択的に、組み合わされ、一部の動作の順序は、任意選択的に、変更され、一部の動作は、任意選択的に、省略される。 15A-15C are flow diagrams illustrating a method according to some embodiments. Method 1500 is performed on a device (e.g., 100, 300, 500, or 600) that includes a display. Some operations of method 1500 are optionally combined, the order of some operations is optionally changed, and some operations are optionally omitted.

後述するように、方法１５００は、複数の参加者間のライブ通信セッションを開始し、セッションと対話する直感的な方法を提供する。この方法は、複数の参加者間のライブ通信セッションのインテリジェントな開始及びセッションとの対話を提供するための、ユーザの認知的負担を軽減することで、より効率的なヒューマン－マシンインターフェースを作り出す。バッテリ動作式の電子デバイスの場合、ユーザがライブ通信セッションと、より速くかつ効率的に対話し、セッションを開始することができることにより、電力が節約され、電池の充電間隔が長くなる。 As described below, method 1500 provides an intuitive way to initiate and interact with live communication sessions between multiple participants. The method reduces the cognitive burden on the user to provide intelligent initiation and interaction with live communication sessions between multiple participants, creating a more efficient human-machine interface. For battery-operated electronic devices, the ability of the user to more quickly and efficiently interact with and initiate live communication sessions conserves power and extends the time between battery charges.

ブロック１５０２では、デバイスは、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインターフェース（例えば、１４０４）を表示する。ブロック１５０４では、ライブビデオ通信ユーザインターフェースは、それぞれ１人以上の参加者に対応する複数の参加者アフォーダンス（例えば、１４０８Ａ～１４０８Ｋ）を含み、複数の参加者アフォーダンスは、３人以上の参加者グループに対応する第１の参加者アフォーダンス（例えば、１４０８Ａ）を含む。ブロック１５０６では、ライブビデオ通信ユーザインターフェースは、新規のライブビデオ通信セッションを開始するための新規セッションアフォーダンス（例えば、１４０６）を含む。一部の実施形態では、参加者アフォーダンスは、従前（例えば、最近）のビデオ通信（例えば、（デバイスを使用している参加者又は外部デバイスに関連する参加者によって）成功裏に接続された又は試みられた）に対応し、ビデオ通信の参加者（単数又は複数）の表示（例えば、１４０８Ｆ）を含む。一部の実施形態では、参加者アフォーダンスは、別の通信アプリケーション（例えば、メッセージングアプリケーション又は電話アプリケーション（例えば、最近の会議通話））に関連するグループを表す。一部の実施形態では、ライブ通信ユーザインターフェースは、最近のライブ通信セッションのリスト（例えば、最近のビデオチャットのリストは、個人及び／又はグループのチャットであることができる）を含む。最近のライブ通信セッションのリストを含むライブ通信ユーザインターフェースを表示することにより、ユーザは、ユーザ又はデバイスが関与した（例えば、招待された、参加した、通信したなど）最近のライブ通信セッションに迅速にアクセス及びセッションを実現することができ、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 At block 1502, the device displays a live video communication user interface (e.g., 1404) of a live video communication application. At block 1504, the live video communication user interface includes a plurality of participant affordances (e.g., 1408A-1408K), each corresponding to one or more participants, including a first participant affordance (e.g., 1408A) corresponding to a group of three or more participants. At block 1506, the live video communication user interface includes a new session affordance (e.g., 1406) for initiating a new live video communication session. In some embodiments, the participant affordance corresponds to a previous (e.g., recent) video communication (e.g., successfully connected or attempted (by a participant using the device or a participant associated with an external device)) and includes an indication (e.g., 1408F) of the participant(s) of the video communication. In some embodiments, the participant affordance represents a group associated with another communication application (e.g., a messaging application or a telephony application (e.g., a recent conference call)). In some embodiments, the live communication user interface includes a list of recent live communication sessions (e.g., a list of recent video chats, which can be individual and/or group chats). Displaying a live communication user interface that includes a list of recent live communication sessions allows a user to quickly access and facilitate recent live communication sessions in which the user or device has been involved (e.g., invited, joined, communicated, etc.), provides feedback to the user regarding the current state of the live communication sessions, and provides visual feedback to the user indicating notifications and/or specific actions related to the live communication sessions to be taken. Providing improved visual feedback to the user enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、複数の参加者アフォーダンスは、ライブビデオ通信アプリケーションとは異なる第２のアプリケーション（例えば、電話アプリケーション、メッセージングアプリケーション）からのデータ（例えば、利用データ）に基づいて判定される、提案される参加者グループ（例えば、ユーザによって手動で選択／作成されなかった提案される参加者グループ）に対応する第２の参加者アフォーダンス（例えば、１４０８Ｂ）を含む。 In some embodiments, the plurality of participant affordances includes a second participant affordance (e.g., 1408B) corresponding to a suggested participant group (e.g., a suggested participant group not manually selected/created by the user) determined based on data (e.g., usage data) from a second application (e.g., a telephony application, a messaging application) different from the live video communication application.

一部の実施形態では、提案される参加者グループは、第２のアプリケーションにおいて行われたグループ会話（例えば、グループメッセージングセッション、グループ会議通話）の参加者（例えば、１４０８Ａ）又は第２のアプリケーションにおいて行われた会議通話の参加者（例えば、１４０８Ｃ）に対応する。提案される参加者グループに対応するアフォーダンスを含むライブ通信ユーザインターフェースを表示することにより、ユーザは提案されるグループとのライブ通信に迅速にアクセスし、通信を開始することができ、選択されたグループの各メンバーを含むライブ通信セッションの設定に関連する操作を行うために必要な入力の数が減る。操作を行うために必要な入力の数が減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、提案されるグループに対応するアフォーダンスを表示することにより、表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御操作が提供される。表示される追加コントローラによってＵＩを雑然とさせることなく追加制御操作を提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 In some embodiments, the suggested participant group corresponds to participants (e.g., 1408A) of a group conversation (e.g., group messaging session, group conference call) conducted in the second application or participants (e.g., 1408C) of a conference call conducted in the second application. Displaying a live communication user interface including an affordance corresponding to the suggested participant group allows a user to quickly access and initiate live communication with the suggested group and reduces the number of inputs required to perform operations related to setting up a live communication session including each member of the selected group. Reducing the number of inputs required to perform operations enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. Additionally, displaying an affordance corresponding to the suggested group provides additional control operations without cluttering the UI with additional controllers displayed. Providing additional control operations without cluttering the UI with additional displayed controllers enhances usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces power usage and improves battery life of the device by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、第２の参加者アフォーダンスは、第２のアプリケーション（例えば、提案のためのソースアプリケーション）の表示（例えば、グラフィック又はテキスト表示（例えば、「メッセージから提案される」）、特定のアプリケーションに関する色、又はアプリケーションに関するロゴ）を含む。ライブ通信アプリケーションとは異なるアプリケーションにおけるグループ会話の参加者に対応する、提案される参加者グループに対応するアフォーダンスを更に含むライブ通信ユーザインターフェースを表示することにより、ユーザは提案されるグループとのライブ通信に迅速にアクセスし、通信を開始することができ、選択されたグループの各メンバーを含むライブ通信セッションの設定に関連する操作（例えば、異なるアプリケーションをナビゲートするなど）を行うために必要な入力の数が減る。操作を行うために必要な入力の数が減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。一部の実施形態では、複数の参加者アフォーダンスは、ライブビデオ通信アプリケーションとは異なり、第２のアプリケーションとも異なる、第３のアプリケーション（例えば、電話アプリケーション、メッセージングアプリケーション、電子メールアプリケーション、カレンダーアプリケーション）からのデータ（例えば、利用データ）に基づいて決定される第２の提案される参加者グループ（例えば、ユーザによって手動で選択／作成されなかった提案される参加者グループ）（最近のカレンダーイベントからのグループ又は最近のメールイベントからのグループ）に対応する第３の参加者アフォーダンスを含む。提案されるグループが由来するアプリケーションの表示を含む第２の参加者アフォーダンスを表示することにより、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、第２のアプリケーションに関連する特定の動作を示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。一部の実施形態では、ライブ通信ユーザインターフェースは、参加者選択アフォーダンス（例えば、「＋」）を更に含む。 In some embodiments, the second participant affordance includes a representation of the second application (e.g., a source application for the suggestion) (e.g., a graphical or textual representation (e.g., "Suggested from message"), a color associated with the particular application, or a logo associated with the application). Displaying a live communication user interface that further includes an affordance corresponding to a suggested participant group that corresponds to participants of the group conversation in an application different from the live communication application allows a user to quickly access and initiate live communication with the suggested group, and reduces the number of inputs required to perform operations associated with setting up a live communication session with each member of the selected group (e.g., navigating different applications, etc.). Reducing the number of inputs required to perform operations enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. In some embodiments, the plurality of participant affordances includes a third participant affordance corresponding to a second suggested participant group (e.g., a suggested participant group not manually selected/created by the user) (e.g., a group from a recent calendar event or a group from a recent mail event) determined based on data (e.g., usage data) from a third application (e.g., a phone application, a messaging application, an email application, a calendar application) that is distinct from the live video communication application and distinct from the second application. Displaying the second participant affordance including an indication of the application from which the suggested group originates provides the user with feedback regarding the current state of the live communication session and provides the user with visual feedback indicating a particular action related to the second application. Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the live communication user interface further includes a participant selection affordance (e.g., "+").

ブロック１５０８では、デバイスは、新規のライブビデオ通信セッションを開始する処理を開始するための要求に対応する入力（例えば、１４５０Ｂ）を検出する。ブロック１５１０、１５１２、及び１５１４では、デバイスは、入力の検出に応じて、入力が第１の参加者アフォーダンス（例えば、１４０８Ａ）の選択に対応することを受けて、３人以上の参加者グループを含む新規のライブビデオ通信セッションを開始する処理を開始する。一部の実施形態では、新規のライブビデオ通信セッションは、第１の参加者アフォーダンスの選択に応じて直ちに開始される（例えば、図１４Ｄ）。一部の実施形態では、第１の参加者アフォーダンスの選択に応じて、ライブビデオ通信アプリケーションのメニュー（例えば、１４１６）が表示され、新規のライブビデオ通信セッションを開始するようにメニューオプションが選択される。入力の検出に応じて、デバイスは、入力が新規セッションアフォーダンスの選択に対応することを受けて、２人以上の参加者を選択する処理を開始し、デバイスに関連する参加者と、２人以上の選択された参加者とを含む新規のライブビデオ通信セッションを開始する（例えば、図１４Ｆ）。一部の実施形態では、ユーザインターフェースは、参加者を選択するための第１のアフォーダンス（例えば、１４２２）と、ライブビデオ通信セッションを開始する（例えば、第２のアフォーダンスの選択に応じて、ライブビデオ通信セッション直ちに開始する）ための第２のアフォーダンス（例えば、１４２４及び１４２６）とを含む別のユーザインターフェースに置き換えられる。一部の実施形態では、連絡先情報をテキスト欄（例えば、１４１８）に入力する、又は連絡先のリストから連絡先を選択することによって、参加者は選択される。一部の実施形態では、新規のライブビデオ通信セッションは、アフォーダンス（例えば、１４０８Ａ）の選択に応じて直ちに開始される。所定条件が満たされるときに、新規のライブ通信を開始する処理を開始することにより、デバイスは、選択された参加者の数に基づいて異なるライブビデオ通信セッションをユーザに提供することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、所定条件が満たされるときに、新規のライブ通信を開始する異なる処理を開始することにより、操作を行うために必要な入力の数が減る。操作を行うために必要な入力の数が減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 At block 1508, the device detects an input (e.g., 1450B) corresponding to a request to start a process to start a new live video communication session. At blocks 1510, 1512, and 1514, in response to detecting the input, the device starts a process to start a new live video communication session including a group of three or more participants in response to the input corresponding to a selection of a first participant affordance (e.g., 1408A). In some embodiments, the new live video communication session is started immediately in response to the selection of the first participant affordance (e.g., FIG. 14D). In some embodiments, in response to the selection of the first participant affordance, a menu (e.g., 1416) of the live video communication application is displayed and a menu option is selected to start a new live video communication session. In response to detecting the input, the device starts a process to select two or more participants in response to the input corresponding to a selection of a new session affordance, and starts a new live video communication session including the participant associated with the device and the two or more selected participants (e.g., FIG. 14F). In some embodiments, the user interface is replaced with another user interface that includes a first affordance (e.g., 1422) for selecting participants and a second affordance (e.g., 1424 and 1426) for initiating a live video communication session (e.g., in response to selection of the second affordance, immediately starting the live video communication session). In some embodiments, participants are selected by entering contact information into a text field (e.g., 1418) or by selecting a contact from a list of contacts. In some embodiments, a new live video communication session is immediately started in response to selection of an affordance (e.g., 1408A). By initiating a process to start a new live communication when a predetermined condition is met, the device can provide the user with different live video communication sessions based on the number of participants selected. By performing an optimized operation without requiring further user input when a set of conditions is met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved. In addition, by initiating a different process that initiates a new live communication when a predefined condition is met, the number of inputs required to perform the operation is reduced. By reducing the number of inputs required to perform the operation, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

任意選択的に、ブロック１５１６、１５１８、１５２０、１５２２、１５２４、及び１５２６では、デバイスは、参加者選択アフォーダンスの選択に対応する第２の入力を受ける。参加者選択アフォーダンスの選択に対応する第２のユーザ入力を受けたことに応じて、デバイスは、１人以上の参加者を識別するためのテキスト入力欄（例えば、１４１８）（例えば、宛先：欄）、キーボード（例えば、１４２０）、オーディオ専用アフォーダンス（例えば、１４２４）、ビデオアフォーダンス（例えば、１４２６）を含むグループ選択ユーザインターフェース（例えば、１４１６）を表示する。グループ選択ユーザインターフェースを表示している間に、デバイスは、第３のユーザ入力選択を受ける。第３のユーザ入力を受けたことに応じて、デバイスは、第３のユーザ入力がオーディオ専用アフォーダンスの選択に対応することを受けて、電子デバイスからビデオデータを送信せずに、電子デバイスから送信されるオーディオ（例えば、デバイスの１つ以上のマイクロフォンによって録音されるオーディオ）を用いて新規のライブ通信セッションを開始する。所定条件が満たされるときに（例えば、オーディオ専用アフォーダンスの選択に応じて）、電子デバイスから送信されるオーディオを用いて新規のライブ通信セッションを開始することにより、ユーザは、ユーザがデバイスの追加入出力（例えば、カメラをオフにする、及び／又は、マイクロフォンをオンにする）を選択又は修正する必要なしに、オーディオを用いるライブ通信セッションに参加することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。一部の実施形態では、システムは、オーディオのみを用いてライブ通信にユーザが参加したことを示すインジケータを表示する。一部の実施形態では、デバイスは、ユーザがオーディオのみ、又はビデオ及びオーディオを使用したいかを判定するために、「ビデオを用いて接続したいですか」などのフレーズをユーザディスプレイに表示する。このことは、ユーザに、ビデオが共有されていないという安心感を与えることができる）。第３のユーザ入力を受けたことに応じて、かつ第３のユーザ入力がビデオアフォーダンスの選択に対応していることを受けて、デバイスは、電子デバイスから送信されるオーディオ及びビデオを用いて新規のライブ通信セッションを開始する。所定条件が満たされるときに（例えば、ビデオアフォーダンスオプションが選択されることに応じて）、電子デバイスから送信されるオーディオ及びビデオを用いるライブ通信セッションを開始することにより、ユーザは、ユーザがデバイスの追加入出力（例えば、カメラをオンにする、及び／又は、マイクロフォンをオンにする）を選択又は修正する必要なしに、オーディオ及びビデオを用いるライブ通信セッションに参加することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 1516, 1518, 1520, 1522, 1524, and 1526, the device receives a second input corresponding to a selection of a participant selection affordance. In response to receiving the second user input corresponding to a selection of the participant selection affordance, the device displays a group selection user interface (e.g., 1416) including a text entry field (e.g., 1418) for identifying one or more participants (e.g., a To: field), a keyboard (e.g., 1420), an audio-only affordance (e.g., 1424), and a video affordance (e.g., 1426). While displaying the group selection user interface, the device receives a third user input selection. In response to receiving the third user input, the device initiates a new live communication session using audio transmitted from the electronic device (e.g., audio recorded by one or more microphones of the device) without transmitting video data from the electronic device in response to the third user input corresponding to a selection of the audio-only affordance. By initiating a new live communication session with audio transmitted from the electronic device when a predefined condition is met (e.g., in response to selection of an audio-only affordance), a user can participate in a live communication session with audio without the user having to select or modify additional inputs and outputs of the device (e.g., turning off the camera and/or turning on the microphone). By performing an optimized operation when a set of conditions is met, without requiring further user input, the device is more user-friendly, making the user-device interface more efficient (e.g., by assisting the user to provide appropriate inputs when operating/interacting with the device and reducing user errors), as well as allowing the user to use the device more quickly and efficiently, thereby reducing device power usage and improving battery life. In some embodiments, the system displays an indicator that the user has joined the live communication using audio only. In some embodiments, the device displays a phrase such as "Do you want to connect using video" on the user display to determine whether the user wants to use audio only or video and audio. This can reassure the user that video is not being shared. In response to receiving the third user input, and in response to the third user input corresponding to the selection of the video affordance, the device initiates a new live communication session with audio and video transmitted from the electronic device. Initiating a live communication session with audio and video transmitted from the electronic device when a predetermined condition is met (e.g., in response to the video affordance option being selected) allows a user to participate in a live communication session with audio and video without the user having to select or modify additional inputs and outputs of the device (e.g., turning on a camera and/or turning on a microphone). By performing an optimized operation when a set of conditions is met without requiring further user input, the device is more user-friendly and the user-device interface is more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as allowing the user to use the device more quickly and efficiently, thereby reducing the device's power usage and improving battery life.

任意選択的に、ブロック１５２８及び１５３０では、デバイスは、新規のライブ通信セッションを開始する。新規のライブ通信セッションを開始した後に、デバイスは、ライブ通信セッションとは異なる第４のアプリケーション（例えば、メッセージ又は電話アプリケーション）において新規のライブ通信セッションの表現を表示する。一部の実施形態では、ライブ通信参加者は、メッセージングアプリケーションにおいてメッセージ会話のリスト中のグループメッセージのグループ参加者として表示される。一部の実施形態では、メッセージ会話のリスト中のグループメッセージは、グループ参加者を含むアクティブなライブ通信セッションがあるかの表示を含む（例えば、１４０８Ｅ）。一部の実施形態では、ライブ通信参加者は、電話アプリケーション又は通話アプリケーションにおける最近の通話のリスト中のグループ通話のグループ参加者として表示される。一部の実施形態では、ライブ通信参加者は、カレンダーアプリケーションにおいてカレンダーイベントの招待者として表示される。ライブ通信セッションとは異なるアプリケーションにおいてライブ通信セッションの表現を表示することにより、複数のアプリケーションにおいてライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、ユーザが単に、一部の実施形態で、表現を一度にアクティブ化する（例えば、ライブ通信セッションにおけるその別の新規のライブ通信セッションを、従前のライブ通信セッションにいた同じ参加者と別のアプリケーションから後で開始する）場合に、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 1528 and 1530, the device starts a new live communication session. After starting the new live communication session, the device displays a representation of the new live communication session in a fourth application (e.g., a messaging or phone application) that is different from the live communication session. In some embodiments, the live communication participants are displayed as group participants of a group message in a list of message conversations in the messaging application. In some embodiments, the group message in the list of message conversations includes an indication of whether there is an active live communication session that includes the group participants (e.g., 1408E). In some embodiments, the live communication participants are displayed as group participants of a group call in a list of recent calls in a phone application or a calling application. In some embodiments, the live communication participants are displayed as invitees to a calendar event in a calendar application. Displaying a representation of the live communication session in a different application than the live communication session provides the user with feedback regarding the current state of the live communication session in multiple applications, and provides the user with visual feedback indicating that notifications and/or specific actions related to the live communication session will occur if the user simply activates the representation at once, in some embodiments (e.g., later starts another new live communication session in the live communication session from a different application with the same participants who were in the previous live communication session). Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、複数の参加者アフォーダンス（例えば、１４０８）は、３人以上の参加者グループに対応する第４の参加者アフォーダンス（例えば、１４０８Ａ、１４０８Ｅ）を含む。一部の実施形態では、第４の参加者アフォーダンスがアクティブなライブ通信セッションに対応するとの判定を受けて（例えば、１４０８Ｅ）、第４の参加者アフォーダンスは、第１の視覚的外観（例えば、第１の視覚的外観は、参加者アフォーダンスのフォント色若しくはフォントスタイル、又は参加者アフォーダンス若しくはその付近に表示されるアイコン若しくはグリフである）を伴って表示され、第４の参加者アフォーダンスがアクティブではないライブ通信セッションに対応するとの判定を受けて（例えば、１４０８Ａ）、第４の参加者アフォーダンスは、第１の視覚的外観とは異なる第２の視覚的外観（例えば、第２の視覚的外観は、第１の視覚的外観とは異なるフォント色若しくはフォントスタイルであり、又は第２の視覚的外観は、潜在的な参加者の表現の付近に表示されるアイコン若しくはグリフを含まず、若しくは第１の視覚的外観とは異なるアイコン若しくはグリフを含む）を伴って表示される。一部の実施形態では、従前のライブ通信セッションに関連する参加者アフォーダンスの外観は、デバイスのユーザが対応するライブ通信セッションに参加したか否かに基づく（例えば、見逃したライブ通信セッションの参加者アフォーダンス（例えば、１４０８Ｈ）は、デバイス６００のユーザが参加したライブ通信セッションの参加者アフォーダンス（例えば、１４０８Ｆ）におけるのとは異なるか又は同アフォーダンスには含まれないフォント色、フォントスタイル、アイコン、グリフなどを含み、参加者アフォーダンスは、デバイスのユーザがセッションに参加した場合には１色のテキストを含み、セッションが終了する前にデバイスのユーザがセッションに参加しなかった場合には異なる色のテキストを含む）。一部の実施形態では、アクティブなライブ通信セッションに関連する参加者アフォーダンスの外観は、セッションがアクティブではなくなると、（例えば、太字表記のテキスト及びビデオカメラアイコンから、ビデオカメラアイコンを伴わない非太字表記のテキストに）変化する。 In some embodiments, the plurality of participant affordances (e.g., 1408) includes a fourth participant affordance (e.g., 1408A, 1408E) corresponding to a group of three or more participants. In some embodiments, upon a determination that the fourth participant affordance corresponds to an active live communication session (e.g., 1408E), the fourth participant affordance is displayed with a first visual appearance (e.g., the first visual appearance is a font color or font style of the participant affordance, or an icon or glyph displayed at or near the participant affordance), and upon a determination that the fourth participant affordance corresponds to an inactive live communication session (e.g., 1408A), the fourth participant affordance is displayed with a second visual appearance different from the first visual appearance (e.g., the second visual appearance is a font color or font style different from the first visual appearance, or the second visual appearance does not include an icon or glyph displayed near the representation of the potential participant, or includes an icon or glyph different from the first visual appearance). In some embodiments, the appearance of participant affordances associated with a prior live communication session is based on whether the user of the device participated in the corresponding live communication session (e.g., the participant affordances (e.g., 1408H) of a missed live communication session include font colors, font styles, icons, glyphs, etc. that are different from or not included in the participant affordances (e.g., 1408F) of a live communication session in which the user of the device 600 participated, and the participant affordances include text of one color if the user of the device joined the session and text of a different color if the user of the device did not join the session before the session ended). In some embodiments, the appearance of participant affordances associated with an active live communication session changes (e.g., from bold text and a video camera icon to non-bold text without the video camera icon) when the session is no longer active.

一部の実施形態では、２人以上の参加者を選択する処理を開始することは、潜在的な参加者（例えば、連絡先リスト中の連絡先）の表現（例えば、１４１７Ａ、１４１７Ｂ）を表示することを含む。一部の実施形態では、潜在的な参加者がライブ通信セッションに参加できるデバイスに関連するとの判定を受けて、潜在的な参加者の表現は、第１の視覚的外観（例えば、第１の視覚的外観は、潜在的な参加者の表現のフォント色若しくはフォントスタイル、又は潜在的な参加者の表現の付近に表示されるアイコン若しくはグリフである）を伴って表示され、参加者がライブ通信セッションに参加できるデバイスに関連しないとの判定を受けて、潜在的な参加者の表現は、第１の視覚的外観とは異なる第２の視覚的外観（例えば、第２の視覚的外観は、第１の視覚的外観のフォント色若しくはフォントスタイルとは異なるフォント色若しくはフォントスタイルであり、又は第２の視覚的外観は、潜在的な参加者の表現の付近に表示されるアイコン若しくはグリフを含まない、若しくは第１の視覚的外観とは異なるアイコン若しくはグリフを含む）を伴って表示される。 In some embodiments, initiating a process of selecting two or more participants includes displaying a representation (e.g., 1417A, 1417B) of a potential participant (e.g., a contact in a contact list). In some embodiments, upon a determination that the potential participant is associated with a device capable of participating in the live communication session, the representation of the potential participant is displayed with a first visual appearance (e.g., the first visual appearance is a font color or font style of the representation of the potential participant, or an icon or glyph displayed in the vicinity of the representation of the potential participant), and upon a determination that the participant is not associated with a device capable of participating in the live communication session, the representation of the potential participant is displayed with a second visual appearance different from the first visual appearance (e.g., the second visual appearance is a font color or font style different from the font color or font style of the first visual appearance, or the second visual appearance does not include an icon or glyph displayed in the vicinity of the representation of the potential participant, or includes an icon or glyph different from the first visual appearance).

なお、方法１５００に関して前述した処理（例えば、図１５Ａ～図１５Ｃ）の詳細はまた、前述した方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法１５００は、任意選択的に、方法７００、９００、１１００、又は１３００に関して前述した様々な方法の特性の１つ以上を含む。 It should be noted that the details of the processes (e.g., FIGS. 15A-15C) described above with respect to method 1500 are also applicable in a similar manner to the methods described above. For example, method 1500 optionally includes one or more of the characteristics of the various methods described above with respect to methods 700, 900, 1100, or 1300.

説明を目的とした上述した説明は、特定の実施形態を参照して説明されてきた。しかしながら、上記例示的な議論は、包括的であることを意図しておらず、又は発明を開示された厳密な形式に限定することを意図していない。上記教示を考慮して多くの修正及び変形が可能である。技術の原理及びそれらの実際の適用を最良に説明するために実施形態が選択及び説明されてきた。それによって、他の当業者は、考えられる特定の使用に適切な様々な修正で、技術及び様々な実施形態を最良に利用することが可能である。 The foregoing description has been described with reference to specific embodiments for purposes of illustration. However, the illustrative discussion above is not intended to be exhaustive or to limit the invention to the precise form disclosed. Many modifications and variations are possible in light of the above teachings. The embodiments have been chosen and described to best explain the principles of the technology and their practical application so that others skilled in the art can best utilize the technology and various embodiments with various modifications appropriate to the particular use contemplated.

開示及び例が添付図面を参照して完全に説明されてきたが、様々な変更及び修正が当業者にとって明らかであることに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるように、開示及び例の範囲内に含まれるものとして理解されることになる。 Although the disclosure and examples have been fully described with reference to the accompanying drawings, it should be noted that various changes and modifications will be apparent to those skilled in the art. Such changes and modifications are to be understood as being included within the scope of the disclosure and examples, as defined by the claims.

上述のように、本技術の一態様は、マルチメディア通信を向上させるために、様々なソースから入手可能なデータを収集及び使用することである。本開示は、場合によっては、この収集されたデータは、特定の人を一意的に特定するか、又はその人に連絡するか、若しくはその人の位置を特定するために用いることができる個人情報データを含み得ることを企図している。そのような個人情報データは、人口統計データ、位置ベースのデータ、電話番号、電子メールアドレス、ツイッターＩＤ、住所、ユーザの健康又はフィットネスレベル（例えば、バイタルサイン測定、服薬情報、運動情報）に関するデータ若しくは記録、誕生日、又は任意の他の識別情報若しくは個人情報を含むことができる。 As discussed above, one aspect of the present technology is the collection and use of data available from various sources to enhance multimedia communications. The present disclosure contemplates that, in some cases, this collected data may include personal information data that uniquely identifies a particular person or that can be used to contact or locate that person. Such personal information data may include demographic data, location-based data, phone numbers, email addresses, Twitter IDs, addresses, data or records regarding the user's health or fitness level (e.g., vital sign measurements, medication information, exercise information), birth date, or any other identifying or personal information.

本開示は、この技術のそのような個人情報データの使用は、ユーザの利益のために使用できることを理解する。例えば、個人情報データは、ユーザ間のマルチメディア通信を容易にするために使用することができる。これにより、そのような個人情報データの使用は、そのような通信を向上させることをユーザに可能にさせる。更に、ユーザに利益のある個人情報データの他の使用もまた、本開示により意図されている。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスついての洞察を提供するために使用されてもよく、あるいはウェルネスの目標を追求するために技術を使用する個人に有益なフィードバックとして使用されてもよい。 This disclosure appreciates that the use of such personal information data in the technology can be used to the benefit of the user. For example, personal information data can be used to facilitate multimedia communications between users, thereby enabling users to enhance such communications. Additionally, other uses of personal information data that benefit users are also contemplated by this disclosure. For example, health and fitness data can be used to provide insight into the overall wellness of a user, or can be used as beneficial feedback to individuals using the technology to pursue wellness goals.

本開示は、そのような個人情報データの収集、分析、開示、伝送、記憶又は他の使用の責任を担うエンティティが、確固たるプライバシーポリシー及び／又はプライバシー慣行を遵守することを企画する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための業界又は政府の要件を満たすか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し常に使用すべきである。そのようなポリシーは、ユーザは容易にアクセスすることができ、データの収集及び／又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いて、共有又は販売されるべきではない。更に、そのような収集／共有は、ユーザに告知して同意を得た後にのみ実施すべきである。加えて、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じるべきである。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。加えて、ポリシー及び慣行は、収集かつ／又はアクセスされる特定の種類の個人情報データに適合され、また、管轄権特有の考慮を含む、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国において、ある健康データの収集又はアクセスは、例えば、Ｈｅａｌｔｈ Ｉｎｓｕｒａｎｃｅ Ｐｏｒｔａｂｉｌｉｔｙ ａｎｄ Ａｃｃｏｕｎｔａｂｉｌｉｔｙ Ａｃｔ（ＨＩＰＡＡ）などの、連邦法及び／又は州法によって管理されてもよく、他の国における健康データは、他の規制及び政策の影響下にあってもよく、それに従って対処されるべきである。したがって、異なるプライバシー慣行を、各国の異なる個人データの種類に対して保つべきである。 This disclosure contemplates that entities responsible for the collection, analysis, disclosure, transmission, storage or other use of such personal information data shall adhere to robust privacy policies and/or practices. Specifically, such entities should implement and always use privacy policies and practices that are generally recognized as meeting or exceeding industry or government requirements for keeping personal information data strictly confidential. Such policies should be readily accessible to users and updated as data collection and/or use changes. Personal information from users should be collected for the entity's lawful and legitimate use and should not be shared or sold except for those lawful uses. Furthermore, such collection/sharing should only be carried out after the user has been informed and consented to. In addition, such entities should take all necessary measures to protect and secure access to such personal information data and to ensure that others having access to that personal information data comply with their privacy policies and procedures. Furthermore, such entities may subject themselves to third-party assessments to attest to their adherence to widely accepted privacy policies and practices. Additionally, policies and practices should be tailored to the specific types of personal information data collected and/or accessed, and should conform to applicable laws and standards, including jurisdiction-specific considerations. For example, in the United States, the collection or access of certain health data may be governed by federal and/or state laws, such as the Health Insurance Portability and Accountability Act (HIPAA), while health data in other countries may be subject to other regulations and policies and should be addressed accordingly. Thus, different privacy practices should be maintained for different types of personal data in each country.

前述のことがらにもかかわらず、本開示はまた、ユーザが、個人情報データの使用又は個人情報データへのアクセスを選択的に阻止する実施形態も企図している。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するために、ハードウェア要素及び／又はソフトウェア要素を提供することができると想到する。例えば、マルチメディア通信の場合、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択することができるように構成することができる。別の例では、ユーザは、位置データ及び／又は利用可能性を提供しないことを選択することができる。更に別の例では、ユーザは、通信セッションの記録時間の長さが維持されるように制限すること、又はそのようなデータの保持を完全に禁じることを選択することができる。「オプトイン」及び「オプトアウト」オプションを提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを企画している。例えば、アプリのダウンロード時に、ユーザの個人情報データがアクセスされることがユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。 Notwithstanding the foregoing, the present disclosure also contemplates embodiments in which a user selectively blocks use of or access to personal information data. That is, the present disclosure contemplates that hardware and/or software elements may be provided to prevent or block access to such personal information data. For example, in the case of multimedia communications, the present technology may be configured to allow a user to select to "opt-in" or "opt-out" of participating in the collection of personal information data during registration for the service or at any time thereafter. In another example, a user may choose not to provide location data and/or availability. In yet another example, a user may choose to limit the amount of recorded time of a communication session to be maintained or to prohibit retention of such data entirely. In addition to providing "opt-in" and "opt-out" options, the present disclosure contemplates providing notice regarding access or use of personal information. For example, a user may be notified upon download of an app that their personal information data will be accessed, and then again immediately prior to the personal information data being accessed by the app.

更に、本開示の意図は、個人情報データを、意図しない又は不正なアクセス若しくは使用の危険性を最小にする方法で管理かつ取り扱うべきであることである。リスクは、データの収集を制限し、データが必要ではなくなった時点でデータを削除することによって、最小化することができる。加えて、及び適用可能な場合には、ある健康関連アプリケーションにおいても、データ非特定化を、ユーザのプライバシーを保護するために使用することができる。非特定化は、適切な場合には、特定の識別子（例えば、生年月日など）を除去すること、記憶されたデータの量又は特異性を制御すること（例えば、位置データを住所レベルよりも都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって情報集約すること）及び／又は他の方法によって、容易にすることができる。 Further, it is the intent of this disclosure that personal information data should be managed and handled in a manner that minimizes the risk of unintended or unauthorized access or use. Risk can be minimized by limiting collection of data and deleting data when it is no longer needed. Additionally, and where applicable, in certain health-related applications, data de-identification can be used to protect user privacy. De-identification can be facilitated by removing certain identifiers (e.g., date of birth, etc.) where appropriate, controlling the amount or specificity of data stored (e.g., collecting location data at a city level rather than an address level), controlling how data is stored (e.g., aggregating data across users), and/or other methods.

したがって、本開示は、１つ以上の様々な開示された実施形態を実施するために個人情報データの使用を広範に網羅しているが、本開示は、それらの様々な実施形態がまた、そのような個人情報データにアクセスすることを必要とせずに実施されることも可能であることも企図している。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部分の欠如により、実施不可能となるものではない。例えば、ユーザに関連付けられたデバイスにより要求されたコンテンツ、通信サービスプロバイダで使用可能な他の非個人情報、若しくは公的に使用可能な情報などの、非個人情報データ又は個人情報の最小限の量のみに基づいて、通信セッションを確立することができる。 Thus, while this disclosure broadly encompasses the use of personal information data to implement one or more of the various disclosed embodiments, this disclosure also contemplates that the various embodiments may also be implemented without requiring access to such personal information data. That is, various embodiments of the technology are not rendered inoperable by the absence of all or a portion of such personal information data. For example, a communication session may be established based only on a minimal amount of non-personal information or personal information, such as content requested by a device associated with a user, other non-personal information available to a communications service provider, or publicly available information.

Claims (13)

ディスプレイを備える電子デバイスにおいて、
メッセージングアプリケーションのメッセージングユーザインターフェースを表示することであって、前記メッセージングユーザインターフェースは、
３人以上の参加者を含むメッセージ会話における参加者間の複数のメッセージを含むメッセージ領域と、
ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始するための、前記メッセージ領域とは別個のアフォーダンスと、を含む、ことと、
前記アフォーダンスの選択に対応する入力を検出することと、
前記アフォーダンスの選択に対応する前記入力の検出に応じて、前記ライブビデオ通信アプリケーションにおいて前記ライブビデオ通信セッションを開始する処理を開始することであって、前記ライブビデオ通信セッションは、前記メッセージ会話の前記参加者を含み、前記ライブビデオ通信アプリケーションにおいて前記ライブビデオ通信セッションを開始する前記処理を開始することは、前記ライブビデオ通信アプリケーションにおいて前記ライブビデオ通信セッションを開始することを含む、ことと、
前記ライブビデオ通信セッションを開始した後に、
第１の参加者が所定期間の間、前記ライブビデオ通信セッションに参加していないとの判定に応じて、前記ライブビデオ通信アプリケーションにおいて前記第１の参加者に関連付けられたリマインダオプションを表示することと、
前記第１の参加者に関連付けられた前記リマインダオプションを表示している間に、前記リマインダオプションの選択に対応する入力を受けることと、
前記リマインダオプションの選択に対応する前記入力を受けたことに応じて、前記ライブビデオ通信セッションに参加していない第２の参加者に前記ライブビデオ通信セッションが利用可能であることを示す通知を送ることなく、前記第１の参加者に前記ライブビデオ通信セッションが利用可能であることを示す通知を送ることと、
を含む、方法。 In an electronic device having a display,
Displaying a messaging user interface of a messaging application, the messaging user interface comprising:
a message area containing a plurality of messages between participants in a message conversation involving three or more participants;
an affordance, separate from the message area, for initiating a live video communication session in a live video communication application;
Detecting an input corresponding to a selection of the affordance;
initiating, in response to detecting the input corresponding to a selection of the affordance, a process for initiating the live video communication session in the live video communication application, the live video communication session including the participants of the message conversation, wherein initiating the process for initiating the live video communication session in the live video communication application includes initiating the live video communication session in the live video communication application ;
After initiating the live video communication session,
displaying a reminder option associated with the first participant in the live video communication application in response to determining that the first participant has not participated in the live video communication session for a predetermined period of time;
receiving an input corresponding to a selection of the reminder option associated with the first participant while displaying the reminder option associated with the first participant;
in response to receiving the input corresponding to a selection of the reminder option, sending a notification to the first participant indicating that the live video communication session is available, without sending a notification to a second participant not participating in the live video communication session indicating that the live video communication session is available;
A method comprising: 前記ライブビデオ通信アプリケーションにおいて前記ライブビデオ通信セッションを開始する前記処理を開始することは、前記メッセージングユーザインターフェースから前記ライブビデオ通信アプリケーションのユーザインターフェースに移行することを含む、請求項１に記載の方法。 The method of claim 1 , wherein initiating the process of initiating the live video communication session in the live video communication application includes transitioning from the messaging user interface to a user interface of the live video communication application. 前記ライブビデオ通信アプリケーションにおいて前記ライブビデオ通信セッションを開始する前記処理を開始することは、前記ライブビデオ通信セッションを開始するためのグループ連絡先アフォーダンスを含むグループ連絡先ユーザインターフェースを表示することを含み、
前記方法は、
前記ライブビデオ通信セッションを開始する前に、
前記ライブビデオ通信セッションを開始するための前記グループ連絡先アフォーダンスの選択に対応する入力を検出することと、
前記ライブビデオ通信セッションを開始するための前記グループ連絡先アフォーダンスの選択に対応する前記入力の検出に応じて、前記ライブビデオ通信アプリケーションにおいて前記ライブビデオ通信セッションを開始することと、
を更に含む、請求項１に記載の方法。 initiating the process of initiating the live video communication session in the live video communication application includes displaying a group contacts user interface including a group contacts affordance for initiating the live video communication session;
The method comprises:
prior to initiating said live video communication session;
detecting an input corresponding to a selection of the group contacts affordance to initiate the live video communication session;
initiating the live video communication session in the live video communication application in response to detecting the input corresponding to a selection of the group contacts affordance for initiating the live video communication session;
The method of claim 1 further comprising: 前記グループ連絡先ユーザインターフェースは、前記メッセージ会話の前記参加者のうちの前記第１の参加者に関連する第１の参加者アフォーダンスを含む複数の参加者アフォーダンスを更に含み、
前記方法は、
前記メッセージ会話の前記第１の参加者に関連する前記第１の参加者アフォーダンスの選択に対応する入力を検出することと、
前記メッセージ会話の前記第１の参加者に関連する前記第１の参加者アフォーダンスの選択に対応する前記入力の検出に応じて、前記第１の参加者の特性を含む個人参加者ユーザインターフェースを表示することと、
を更に含む、請求項３に記載の方法。 the group contact user interface further includes a plurality of participant affordances including a first participant affordance associated with the first one of the participants in the message conversation;
The method comprises:
Detecting an input corresponding to a selection of the first participant affordance associated with the first participant of the message conversation;
In response to detecting the input corresponding to a selection of the first participant affordance associated with the first participant of the message conversation, displaying an individual participant user interface including characteristics of the first participant;
The method of claim 3 further comprising: 前記第１の参加者アフォーダンスは、前記メッセージ会話の前記第１の参加者に連絡するための通信モードを選択するためのオプションを含み、
前記方法は、
前記通信モードを選択するための前記オプションの選択に対応する入力を検出することと、
前記通信モードを選択するための前記オプションの選択に対応する前記入力の検出に応じて、前記第１の参加者に連絡するための通信モードを選択する処理を開始することと、
を更に含む、請求項４に記載の方法。 the first participant affordance includes an option for selecting a communication mode for contacting the first participant of the message conversation;
The method comprises:
detecting an input corresponding to a selection of the option for selecting the communication mode;
in response to detecting the input corresponding to a selection of the option for selecting the communication mode, initiating a process for selecting a communication mode for contacting the first participant;
The method of claim 4 further comprising: 前記グループ連絡先ユーザインターフェースは、新規連絡先アフォーダンスを更に含み、
前記方法は、
前記新規連絡先アフォーダンスの選択に対応する入力を検出することと、
前記新規連絡先アフォーダンスの選択に対応する前記入力の検出に応じて、前記ライブビデオ通信セッションに新規の連絡先を追加する処理を開始することと、
を更に含む、請求項３から５のいずれか１項に記載の方法。 the group contacts user interface further includes a new contact affordance;
The method comprises:
Detecting an input corresponding to a selection of the new contact affordance;
In response to detecting the input corresponding to a selection of the new contact affordance, initiate a process to add a new contact to the live video communication session;
The method of claim 3 , further comprising : 前記ライブビデオ通信セッションを開始する前記処理を開始することは、
前記ライブビデオ通信アプリケーションにおいて前記ライブビデオ通信セッションを開始した後に、前記ライブビデオ通信セッションの参加者のうちの前記第１の参加者に関連する第１のプレースホルダを含むライブビデオ通信セッションユーザインターフェースを表示することを含む、請求項１から６のいずれか１項に記載の方法。 Initiating the process of initiating the live video communication session includes:
7. The method of claim 1, further comprising: after initiating the live video communication session in the live video communication application, displaying a live video communication session user interface including a first placeholder associated with the first one of the participants in the live video communication session. 前記第１のプレースホルダは、前記ライブビデオ通信セッションの参加者のうちの前記第１の参加者の第１のリマインダアフォーダンスを含み、
前記方法は、
前記第１のリマインダアフォーダンスの選択に対応する入力を受けることと、
前記第１のリマインダアフォーダンスの選択に対応する前記入力を受けたことに応じて、前記第１の参加者に送られた従前の通知とは異なる新規の通知を前記第１の参加者に送ることと、
を更に含む、請求項７に記載の方法。 the first placeholder includes a first reminder affordance for the first one of the participants in the live video communication session;
The method comprises:
receiving an input corresponding to a selection of the first reminder affordance;
In response to receiving the input corresponding to a selection of the first reminder affordance, sending a new notification to the first participant, the new notification being different from a previous notification sent to the first participant;
The method of claim 7 further comprising: 前記ライブビデオ通信セッションユーザインターフェースは、第３の参加者に関連する第２のプレースホルダを更に含み、前記第１のプレースホルダ及び前記第２のプレースホルダは、第１のレイアウトに従って配置され、
前記方法は、
前記第１の参加者が所定期間の間、前記ライブビデオ通信セッションに参加していないとの判定を受けて、
前記第１のプレースホルダの表示を中止することと、
前記第２のプレースホルダの配置を、前記第１のレイアウトとは異なる第２のレイアウトに変更することと、
を更に含む、請求項７又は８に記載の方法。 the live video communication session user interface further includes a second placeholder associated with a third participant, the first placeholder and the second placeholder being arranged according to a first layout;
The method comprises:
upon determining that the first participant has not participated in the live video communication session for a predetermined period of time ,
ceasing to display the first placeholder; and
changing an arrangement of the second placeholders to a second layout different from the first layout;
The method of claim 7 or 8 , further comprising: 前記第１の参加者が前記ライブビデオ通信セッションに参加したとの判定を受けて、前記第１のプレースホルダの前記表示を前記第１の参加者の表現に修正することを更に含む、請求項７から９のいずれか１項に記載の方法。 10. The method of claim 7, further comprising modifying the display of the first placeholder to a representation of the first participant upon determining that the first participant has joined the live video communication session. 請求項１から１０のいずれか１項に記載の方法をコンピュータに実行させるコンピュータプログラム。 A computer program product causing a computer to carry out the method according to any one of claims 1 to 10 . 請求項１１に記載のコンピュータプログラムを格納するメモリと、
前記メモリに格納された前記コンピュータプログラムを実行可能な１つ以上のプロセッサと、
を含む、電子デバイス。 A memory for storing the computer program according to claim 11 ;
one or more processors capable of executing the computer programs stored in the memory;
2. An electronic device comprising: 請求項１から１０のいずれか１項に記載の方法を行う手段を備える、電子デバイス。備える、電子デバイス。 An electronic device comprising means for carrying out the method according to any one of claims 1 to 10. An electronic device comprising:
JP2023097196A 2018-05-07 2023-06-13 Multi-Participant Live Communication User Interface Active JP7547560B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024146741A JP2024170463A (en) 2018-05-07 2024-08-28 Multi-Participant Live Communication User Interface

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
US201862668229P 2018-05-07 2018-05-07
US62/668,229 2018-05-07
US201862679925P 2018-06-03 2018-06-03
US62/679,925 2018-06-03
DKPA201870363 2018-06-12
DKPA201870362 2018-06-12
DKPA201870364A DK201870364A1 (en) 2018-05-07 2018-06-12 MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
DKPA201870364 2018-06-12
DKPA201870363 2018-06-12
DKPA201870362A DK180130B1 (en) 2018-05-07 2018-06-12 MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
JP2019194597A JP6998353B2 (en) 2018-05-07 2019-10-25 Multi-participant live communication user interface
JP2021206121A JP7297044B2 (en) 2018-05-07 2021-12-20 Multi-participant live communication user interface

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021206121A Division JP7297044B2 (en) 2018-05-07 2021-12-20 Multi-participant live communication user interface

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024146741A Division JP2024170463A (en) 2018-05-07 2024-08-28 Multi-Participant Live Communication User Interface

Publications (2)

Publication Number Publication Date
JP2023120280A JP2023120280A (en) 2023-08-29
JP7547560B2 true JP7547560B2 (en) 2024-09-09

Family

ID=68466048

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2018183504A Active JP6609361B2 (en) 2018-05-07 2018-09-28 Multi-participant live communication user interface
JP2019194597A Active JP6998353B2 (en) 2018-05-07 2019-10-25 Multi-participant live communication user interface
JP2021206121A Active JP7297044B2 (en) 2018-05-07 2021-12-20 Multi-participant live communication user interface
JP2023097196A Active JP7547560B2 (en) 2018-05-07 2023-06-13 Multi-Participant Live Communication User Interface
JP2024146741A Pending JP2024170463A (en) 2018-05-07 2024-08-28 Multi-Participant Live Communication User Interface

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2018183504A Active JP6609361B2 (en) 2018-05-07 2018-09-28 Multi-participant live communication user interface
JP2019194597A Active JP6998353B2 (en) 2018-05-07 2019-10-25 Multi-participant live communication user interface
JP2021206121A Active JP7297044B2 (en) 2018-05-07 2021-12-20 Multi-participant live communication user interface

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024146741A Pending JP2024170463A (en) 2018-05-07 2024-08-28 Multi-Participant Live Communication User Interface

Country Status (3)

Country Link
JP (5) JP6609361B2 (en)
CN (6) CN110457096B (en)
WO (1) WO2019217477A1 (en)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917632B2 (en) 2010-04-07 2014-12-23 Apple Inc. Different rate controller configurations for different cameras of a mobile device
KR102373510B1 (en) * 2017-08-11 2022-03-11 삼성전자주식회사 Display device for visualizing contents as the display is rotated and control method thereof
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
JP6946499B2 (en) * 2020-03-06 2021-10-06 株式会社日立製作所 Speech support device, speech support method, and speech support program
US11580984B2 (en) * 2020-03-20 2023-02-14 At&T Intellectual Property I, L.P. Virtual assistant-initiated conversations
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
KR102565399B1 (en) 2020-06-09 2023-08-08 애플 인크. User interfaces for messages
GB2611962A (en) * 2020-08-12 2023-04-19 Dten Inc Mode control and content sharing
EP4201049A1 (en) * 2020-08-19 2023-06-28 Google LLC Visual status notification on edge of display
WO2022091298A1 (en) * 2020-10-29 2022-05-05 株式会社パルケ Online conference assistance device, online conference assistance program, and online conference assistance system
JP7043110B1 (en) * 2020-10-29 2022-03-29 株式会社パルケ Online conferencing support equipment, online conferencing support programs, and online conferencing support systems
CN112288996B (en) * 2020-11-13 2022-08-09 中铁广州工程局集团深圳工程有限公司 High-voltage offline early warning protection method and system, computer equipment and storage medium thereof
WO2022118746A1 (en) * 2020-12-04 2022-06-09 ソニーグループ株式会社 Information processing apparatus, information processing method, program, and information processing system
JP7199791B2 (en) * 2020-12-18 2023-01-06 グリー株式会社 Information processing system, information processing method and computer program
JP6883140B1 (en) 2020-12-18 2021-06-09 グリー株式会社 Information processing system, information processing method and computer program
US11909921B1 (en) * 2020-12-21 2024-02-20 Meta Platforms, Inc. Persistent digital video streaming
US12301979B2 (en) 2021-01-31 2025-05-13 Apple Inc. User interfaces for wide angle video conference
US11943072B2 (en) * 2021-03-30 2024-03-26 Snap Inc. Providing a room preview within a virtual conferencing system
CN117527739B (en) * 2021-05-15 2025-07-11 苹果公司 Real-time communication user interface
US11928303B2 (en) 2021-05-15 2024-03-12 Apple Inc. Shared-content session user interfaces
CN117321575A (en) * 2021-05-17 2023-12-29 苹果公司 Apparatus, method and graphical user interface for automatically providing shared content to an application
US12449961B2 (en) 2021-05-18 2025-10-21 Apple Inc. Adaptive video conference user interfaces
EP4324192A1 (en) * 2021-05-18 2024-02-21 Apple Inc. Adaptive video conference user interfaces
CN115221160A (en) * 2021-06-29 2022-10-21 达闼科技（北京）有限公司 Information synchronization method, device, storage medium and electronic device for terminal equipment
CN113873192B (en) * 2021-09-14 2024-04-30 北京达佳互联信息技术有限公司 Session display method, device, computer equipment and medium
CN115857736A (en) 2021-09-23 2023-03-28 北京字跳网络技术有限公司 An interactive method, device, electronic equipment and medium
US12368946B2 (en) 2021-09-24 2025-07-22 Apple Inc. Wide angle video conference
US12267622B2 (en) 2021-09-24 2025-04-01 Apple Inc. Wide angle video conference
CN115914162B (en) * 2021-09-30 2024-10-29 上海掌门科技有限公司 Method, device, medium and program product for providing group status
US11770422B2 (en) * 2021-12-18 2023-09-26 Zoom Video Communications, Inc. Real-time engagement analytics for communication sessions
CA3242150A1 (en) * 2021-12-23 2023-06-29 8Seats Group Pty Ltd ELECTRONIC MESSAGING METHOD AND DEVICE
CN115396716B (en) * 2022-08-23 2024-01-26 北京字跳网络技术有限公司 A live video processing method, device, equipment and medium
CN115529485B (en) * 2022-09-14 2024-06-18 北京字跳网络技术有限公司 Live video processing method, device, equipment and medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009502048A (en) 2005-06-10 2009-01-22 ティー−モバイル・ユーエスエー・インコーポレーテッド Preferred contact group-centric interface
US20120182381A1 (en) 2010-10-14 2012-07-19 Umberto Abate Auto Focus
US20120304079A1 (en) 2011-05-26 2012-11-29 Google Inc. Providing contextual information and enabling group communication for participants in a conversation
WO2014168616A1 (en) 2013-04-10 2014-10-16 Thomson Licensing Tiering and manipulation of peer's heads in a telepresence system
JP2016001446A (en) 2014-06-12 2016-01-07 モイ株式会社 Conversion image providing device, conversion image providing method, and program
JP2016167806A (en) 2015-03-06 2016-09-15 Ｌｉｎｅ株式会社 CONFERENCE SERVICE PROVIDING METHOD AND COMPUTER PROGRAM THEREOF

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
JPH06282405A (en) * 1993-03-29 1994-10-07 Nippon Telegr & Teleph Corp <Ntt> Participant video display window control method
US7185054B1 (en) * 1993-10-01 2007-02-27 Collaboration Properties, Inc. Participant display and selection in video conference calls
JPH09265457A (en) * 1996-03-29 1997-10-07 Hitachi Ltd Online conversation system
AU759440B2 (en) 1998-01-26 2003-04-17 Apple Inc. Method and apparatus for integrating manual input
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
JP2003101981A (en) * 2001-09-21 2003-04-04 Hitachi Software Eng Co Ltd Electronic cooperative work system and program for cooperative work system
JP4352381B2 (en) * 2003-09-19 2009-10-28 日本ビクター株式会社 Video phone equipment
US20050099492A1 (en) * 2003-10-30 2005-05-12 Ati Technologies Inc. Activity controlled multimedia conferencing
JP2005303736A (en) * 2004-04-13 2005-10-27 Ntt Communications Kk Video display method in video conference system, user terminal used in video conference system, and program for user terminal used in video conference system
JP4994646B2 (en) * 2005-11-29 2012-08-08 京セラ株式会社 Communication terminal, communication system, and communication terminal display method
JP4832869B2 (en) * 2005-11-29 2011-12-07 京セラ株式会社 Communication terminal and display method thereof
JP4973908B2 (en) * 2005-11-29 2012-07-11 京セラ株式会社 Communication terminal and display method thereof
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
EP2597868B1 (en) * 2007-09-24 2017-09-13 Qualcomm Incorporated Enhanced interface for voice and video communications
US8818175B2 (en) * 2010-03-08 2014-08-26 Vumanity Media, Inc. Generation of composited video programming
US8725880B2 (en) * 2010-04-07 2014-05-13 Apple, Inc. Establishing online communication sessions between client computing devices
CN103384235B (en) * 2012-05-04 2017-09-29 腾讯科技（深圳）有限公司 Data are presented during multi-conference method, server and system
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
CN103458215B (en) * 2012-05-29 2016-11-23 国基电子（上海）有限公司 System, mobile phone, electronic installation and the changing method of Switch Video call
CN104903834B (en) 2012-12-29 2019-07-05 苹果公司 For equipment, method and the graphic user interface in touch input to transition between display output relation
US8848026B2 (en) * 2013-02-01 2014-09-30 Maitland M. DeLand Video conference call conversation topic sharing system
JP6111898B2 (en) * 2013-06-28 2017-04-12 富士電機株式会社 Image display device, monitoring system, and image display program
CN104869046A (en) * 2014-02-20 2015-08-26 陈时军 Information exchange method and information exchange device
CN104010158A (en) * 2014-03-11 2014-08-27 宇龙计算机通信科技(深圳)有限公司 Mobile terminal and implementation method of multi-party video call
US20160014059A1 (en) * 2015-09-30 2016-01-14 Yogesh Chunilal Rathod Presenting one or more types of interface(s) or media to calling and/or called user while acceptance of call
US9207835B1 (en) * 2014-05-31 2015-12-08 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9971500B2 (en) * 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
WO2015187941A1 (en) * 2014-06-05 2015-12-10 Reel, Inc. Apparatus and method for sharing content items among a plurality of mobile devices
JP2016024557A (en) * 2014-07-17 2016-02-08 本田技研工業株式会社 Program and method for exchanging messages, and electronic apparatus
CN104331246A (en) * 2014-11-19 2015-02-04 广州三星通信技术研究有限公司 Device and method for split screen display in terminal
KR20160092820A (en) * 2015-01-28 2016-08-05 엘지전자 주식회사 Mobile terminal and method for controlling the same
US9380264B1 (en) * 2015-02-16 2016-06-28 Siva Prasad Vakalapudi System and method for video communication
JP6172610B2 (en) * 2015-03-17 2017-08-02 パナソニックＩｐマネジメント株式会社 Video conferencing system
US10061467B2 (en) * 2015-04-16 2018-08-28 Microsoft Technology Licensing, Llc Presenting a message in a communication session
US20160308920A1 (en) * 2015-04-16 2016-10-20 Microsoft Technology Licensing, Llc Visual Configuration for Communication Session Participants
CN105094957A (en) * 2015-06-10 2015-11-25 小米科技有限责任公司 Video conversation window control method and apparatus
CN104980578B (en) * 2015-06-11 2018-01-23 广东欧珀移动通信有限公司 A kind of event-prompting method and mobile terminal
CN105204846B (en) * 2015-08-26 2019-07-09 小米科技有限责任公司 Display methods, device and the terminal device of video pictures in more people's videos
CN105554429A (en) * 2015-11-19 2016-05-04 掌赢信息科技（上海）有限公司 Video conversation display method and video conversation equipment
US10609093B2 (en) * 2016-05-06 2020-03-31 Facebook, Inc. Instantaneous call sessions over a communications application
US20170353508A1 (en) * 2016-06-03 2017-12-07 Avaya Inc. Queue organized interactive participation
CN107491257B (en) * 2016-06-12 2021-05-18 苹果公司 Apparatus and method for accessing common device functions
JP6634965B2 (en) * 2016-06-20 2020-01-22 株式会社リコー Communication terminal, communication system, communication control method, and program
US20170371496A1 (en) * 2016-06-22 2017-12-28 Fuji Xerox Co., Ltd. Rapidly skimmable presentations of web meeting recordings
JP6179834B1 (en) * 2016-09-27 2017-08-16 パナソニックＩｐマネジメント株式会社 Video conferencing equipment
US20180123986A1 (en) * 2016-11-01 2018-05-03 Microsoft Technology Licensing, Llc Notification of a Communication Session in a Different User Experience
CN107728876B (en) * 2017-09-20 2019-08-09 深圳市金立通信设备有限公司 A kind of method of split screen display available, terminal and computer readable storage medium
CN107704177B (en) * 2017-11-07 2020-04-21 Oppo广东移动通信有限公司 Interface display method and device and terminal
CN107992248B (en) * 2017-11-27 2020-09-29 北京小米移动软件有限公司 Message display method and device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009502048A (en) 2005-06-10 2009-01-22 ティー−モバイル・ユーエスエー・インコーポレーテッド Preferred contact group-centric interface
US20120182381A1 (en) 2010-10-14 2012-07-19 Umberto Abate Auto Focus
US20120304079A1 (en) 2011-05-26 2012-11-29 Google Inc. Providing contextual information and enabling group communication for participants in a conversation
WO2014168616A1 (en) 2013-04-10 2014-10-16 Thomson Licensing Tiering and manipulation of peer's heads in a telepresence system
JP2016001446A (en) 2014-06-12 2016-01-07 モイ株式会社 Conversion image providing device, conversion image providing method, and program
JP2016167806A (en) 2015-03-06 2016-09-15 Ｌｉｎｅ株式会社 CONFERENCE SERVICE PROVIDING METHOD AND COMPUTER PROGRAM THEREOF

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LINE（ライン）無料通話を楽しもう！その２，[online]，2017年09月23日，インターネット＜URL：https://web.archive.org/web/20170923013859/https://octoba.net/archives/line-call2.html＞，[2024年5月31日検索]
ＬＩＮＥ研究所，新機能徹底網羅！ＬＩＮＥ１２０％活用ガイド 最新版 ，株式会社コスミック出版，2018年03月24日，78-80ページ
森嶋 良子，ＬＩＮＥ Ｐｅｒｆｅｃｔ ＧｕｉｄｅＢｏｏｋ ［２０１４年改訂版］，株式会社ソーテック社，2013年12月31日，127ページ

Also Published As

Publication number Publication date
JP2024170463A (en) 2024-12-10
CN111367603A (en) 2020-07-03
JP2019197520A (en) 2019-11-14
CN110457095B (en) 2022-12-27
CN112214275A (en) 2021-01-12
JP6609361B2 (en) 2019-11-20
JP7297044B2 (en) 2023-06-23
CN110457095A (en) 2019-11-15
CN110457096A (en) 2019-11-15
CN110457104A (en) 2019-11-15
WO2019217477A1 (en) 2019-11-14
CN112214275B (en) 2021-10-29
CN110457096B (en) 2021-01-01
JP2020039139A (en) 2020-03-12
JP2023120280A (en) 2023-08-29
JP6998353B2 (en) 2022-01-18
JP2022043185A (en) 2022-03-15
CN110457091A (en) 2019-11-15
CN110457104B (en) 2024-12-06

Similar Documents

Publication Publication Date Title
JP7547560B2 (en) Multi-Participant Live Communication User Interface
DK180130B1 (en) MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
AU2023248185B2 (en) Multi-participant live communication user interface
AU2021203903B2 (en) Multi-participant live communication user interface
KR102894113B1 (en) Multi-participant live communication user interface

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230620

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240729

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240828

R150 Certificate of patent or registration of utility model

Ref document number: 7547560

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150