JP7285291B2 - creative camera - Google Patents
creative camera Download PDFInfo
- Publication number
- JP7285291B2 JP7285291B2 JP2021166686A JP2021166686A JP7285291B2 JP 7285291 B2 JP7285291 B2 JP 7285291B2 JP 2021166686 A JP2021166686 A JP 2021166686A JP 2021166686 A JP2021166686 A JP 2021166686A JP 7285291 B2 JP7285291 B2 JP 7285291B2
- Authority
- JP
- Japan
- Prior art keywords
- avatar
- camera
- representation
- subject
- user interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 claims description 594
- 238000000034 method Methods 0.000 claims description 227
- 230000033001 locomotion Effects 0.000 claims description 128
- 230000008859 change Effects 0.000 claims description 94
- 210000004209 hair Anatomy 0.000 claims description 68
- 230000015654 memory Effects 0.000 claims description 50
- 238000009499 grossing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005562 fading Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 238000000844 transformation Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 293
- 230000004044 response Effects 0.000 description 184
- 238000004891 communication Methods 0.000 description 182
- 210000003128 head Anatomy 0.000 description 93
- 230000008569 process Effects 0.000 description 53
- 230000006399 behavior Effects 0.000 description 41
- 238000003860 storage Methods 0.000 description 41
- 230000003213 activating effect Effects 0.000 description 35
- 230000006870 function Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 28
- 238000012545 processing Methods 0.000 description 24
- 230000009471 action Effects 0.000 description 22
- 241000283973 Oryctolagus cuniculus Species 0.000 description 19
- 230000002093 peripheral effect Effects 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 18
- 230000007704 transition Effects 0.000 description 18
- 238000001514 detection method Methods 0.000 description 15
- 241000258957 Asteroidea Species 0.000 description 13
- 230000001815 facial effect Effects 0.000 description 13
- 239000000203 mixture Substances 0.000 description 13
- 230000007423 decrease Effects 0.000 description 12
- 230000007246 mechanism Effects 0.000 description 12
- 241000699666 Mus <mouse, genus> Species 0.000 description 11
- 238000007726 management method Methods 0.000 description 11
- 230000003068 static effect Effects 0.000 description 11
- 239000011521 glass Substances 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 8
- 230000000977 initiatory effect Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000004913 activation Effects 0.000 description 7
- 230000001149 cognitive effect Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 210000005069 ears Anatomy 0.000 description 5
- 230000036541 health Effects 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000021317 sensory perception Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013503 de-identification Methods 0.000 description 2
- 230000000881 depressing effect Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- ZPUCINDJVBIVPJ-LJISPDSOSA-N cocaine Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 238000005201 scrubbing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000009528 vital sign measurement Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
- H04L51/046—Interoperability with other network applications or services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00095—Systems or arrangements for the transmission of the picture signal
- H04N1/00103—Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites
- H04N1/00106—Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites using land mobile radio networks, e.g. mobile telephone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
- H04N2201/3263—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of a graphical motif or symbol, e.g. Christmas symbol, logo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3273—Display
Description
（関連出願の相互参照）
本出願は、２０１８年５月７日に出願された「Ｃｒｅａｔｉｖｅ Ｃａｍｅｒａ」と題する米国仮特許出願第６２／６６８，２２７号に関連する。この出願の内容は、参照によりその全体が本明細書に組み込まれる。
(Cross reference to related applications)
This application is related to US Provisional Patent Application No. 62/668,227, entitled "Creative Camera," filed May 7, 2018. The contents of this application are incorporated herein by reference in their entirety.
本開示は、一般に、コンピュータユーザインタフェースに関し、より具体的には、ビジュアルエフェクトを表示するための技術に関する。 TECHNICAL FIELD This disclosure relates generally to computer user interfaces, and more particularly to techniques for displaying visual effects.
ビジュアルエフェクトを用いて、電子デバイスを使用してメディアをキャプチャ及び視聴する際のユーザエクスペリエンスを向上させる。ビジュアルエフェクトは、画像データの外観を変えることができ、又は画像内にキャプチャされた環境の理想化された、又は完全に架空の表現を表すことができる。 Visual effects are used to enhance the user experience when capturing and viewing media using electronic devices. A visual effect can change the appearance of the image data, or represent an idealized or entirely fictional representation of the environment captured in the image.
しかしながら、電子デバイスを使用してビジュアルエフェクトを表示するための一部の技術は、一般的に扱いにくく非効率である。例えば、一部の既存の技術では、複数回のキー押下又は打鍵を含む場合がある、複雑かつ時間のかかるユーザインタフェースが使用されている。既存の技術では、必要以上の時間が必要であり、ユーザの時間及びデバイスの電力を浪費する。後者の問題は、バッテリ動作デバイスにおいては特に重大である。 However, some techniques for displaying visual effects using electronic devices are generally cumbersome and inefficient. For example, some existing technologies use complex and time-consuming user interfaces that may involve multiple key presses or keystrokes. Existing techniques require more time than necessary, wasting user time and device power. The latter problem is particularly acute in battery operated devices.
したがって、本技術は、電子デバイスに、ビジュアルエフェクトを表示するためのより速くより効率的な方法及びインタフェースを提供する。そのような方法及びインタフェースは、ビジュアルエフェクトを表示するための他の方法を、任意選択的に補完又は置換する。そのような方法及びインタフェースは、ユーザの認知負担を軽減し、より効率的なヒューマン－マシンインタフェースを生成する。バッテリ動作コンピューティングデバイスの場合には、そのような方法及びインタフェースにより、電力が節約され、バッテリを充電する間隔が増す。 Accordingly, the present technology provides electronic devices with faster and more efficient methods and interfaces for displaying visual effects. Such methods and interfaces optionally complement or replace other methods for displaying visual effects. Such methods and interfaces reduce the cognitive burden on users and produce more efficient human-machine interfaces. In the case of battery-operated computing devices, such methods and interfaces conserve power and increase intervals between battery charging.
方法について説明する。方法は、カメラと、表示装置と、１つ以上の入力デバイスとを有する電子デバイスにおいて実行される。方法は、表示装置を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンスを含むメッセージングユーザインタフェースを表示することと、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力を検出することと、第１の入力を検出したことに応じて、キャプチャアフォーダンスを含むカメラユーザインタフェースを表示することと、１つ以上の入力デバイスを介して、キャプチャアフォーダンスに向けられた第２の入力を検出することと、第２の入力を検出したことに応じて、カメラを使用して画像データをキャプチャすることと、キャプチャアフォーダンスの表示を停止することと、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示することと、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力を検出することと、第３の入力を検出したことに応じて、キャプチャされた画像データを第１の参加者に送信する処理を開始することと、を含む。 I will explain how. The method is performed in an electronic device having a camera, a display, and one or more input devices. A method includes displaying, via a display device, a messaging user interface including a camera affordance of a message conversation including at least a first participant, and via one or more input devices directed to the camera affordance. detecting a first input; displaying a camera user interface including a capture affordance in response to detecting the first input; capturing image data using the camera in response to detecting the second input; stopping displaying the capture affordance; displaying the transmit affordance at a position within the camera user interface occupied by the camera user interface; detecting, via one or more input devices, a third input directed to the transmit affordance; and initiating a process of transmitting the captured image data to the first participant in response to detecting the .
非一時的コンピュータ可読記憶媒体について説明する。非一時的コンピュータ可読記憶媒体は、カメラと、表示装置と、１つ以上の入力デバイスとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンスを含むメッセージングユーザインタフェースを表示し、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力を検出し、第１の入力を検出したことに応じて、キャプチャアフォーダンスを含むカメラユーザインタフェースを表示し、１つ以上の入力デバイスを介して、キャプチャアフォーダンスに向けられた第２の入力を検出し、第２の入力を検出したことに応じて、カメラを使用して画像データをキャプチャし、キャプチャアフォーダンスの表示を停止し、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示し、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力を検出し、第３の入力を検出したことに応じて、キャプチャされた画像データを第１の参加者に送信する処理を開始する、命令を含む。 A non-transitory computer-readable storage medium is described. A non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device comprising a camera, a display, and one or more input devices. , one or more programs display, via a display device, a messaging user interface including camera affordances of a message conversation including at least a first participant, and via one or more input devices, display camera affordances. detecting a first input directed to the capture affordance; displaying a camera user interface including a capture affordance in response to detecting the first input; A camera user that detects a second input and, in response to detecting the second input, captures image data using the camera, stops displaying the capture affordance, and was previously occupied by the capture affordance. displaying a transmit affordance at a location within the interface; detecting a third input directed to the transmit affordance via one or more input devices; and capturing a third input in response to detecting the third input Instructions are included to initiate a process of transmitting image data to the first participant.
一時的コンピュータ可読記憶媒体について説明する。一時的コンピュータ可読記憶媒体は、カメラと、表示装置と、１つ以上の入力デバイスとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンスを含むメッセージングユーザインタフェースを表示し、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力を検出し、第１の入力を検出したことに応じて、キャプチャアフォーダンスを含むカメラユーザインタフェースを表示し、１つ以上の入力デバイスを介して、キャプチャアフォーダンスに向けられた第２の入力を検出し、第２の入力を検出したことに応じて、カメラを使用して画像データをキャプチャし、キャプチャアフォーダンスの表示を停止し、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示し、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力を検出し、第３の入力を検出したことに応じて、キャプチャされた画像データを第１の参加者に送信する処理を開始する、命令を含む。 A temporary computer-readable storage medium is described. A temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device comprising a camera, a display, and one or more input devices; One or more programs display a messaging user interface including camera affordances of a message conversation including at least the first participant via a display device and direct camera affordances via one or more input devices. detecting a first input directed to the capture affordance; displaying a camera user interface including a capture affordance in response to detecting the first input; 2, and in response to detecting a second input, capture image data using the camera, stop displaying the capture affordance, and the camera user interface previously occupied by the capture affordance. displaying the transmit affordance at a position within the , detecting a third input directed to the transmit affordance via one or more input devices, and in response to detecting the third input, the captured image Instructions are included to initiate a process of transmitting data to the first participant.
電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、１つ以上の入力デバイスと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、表示装置を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンスを含むメッセージングユーザインタフェースを表示し、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力を検出し、第１の入力を検出したことに応じて、キャプチャアフォーダンスを含むカメラユーザインタフェースを表示し、１つ以上の入力デバイスを介して、キャプチャアフォーダンスに向けられた第２の入力を検出し、第２の入力を検出したことに応じて、カメラを使用して画像データをキャプチャし、キャプチャアフォーダンスの表示を停止し、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示し、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力を検出し、第３の入力を検出したことに応じて、キャプチャされた画像データを第１の参加者に送信する処理を開始する、命令を含む。 An electronic device will be described. The electronic device includes a camera, a display device, one or more input devices, one or more processors, and a memory storing one or more programs configured to be executed by the one or more processors. , wherein the one or more programs display a messaging user interface, including camera affordances, of a message conversation including at least the first participant via a display device; and via one or more input devices; detecting a first input directed to a camera affordance; displaying a camera user interface including a capture affordance in response to detecting the first input; Detecting a directed second input and, in response to detecting the second input, capturing image data using the camera, discontinuing display of the capture affordance, and retrieving data previously occupied by the capture affordance. displaying a transmit affordance at a location within the camera user interface, detecting a third input directed to the transmit affordance via one or more input devices, and in response to detecting the third input, Instructions are included to initiate a process of transmitting the captured image data to the first participant.
電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、１つ以上の入力デバイスと、表示装置を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンスを含むメッセージングユーザインタフェースを表示する手段と、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力を検出する手段と、第１の入力を検出したことに応じて、キャプチャアフォーダンスを含むカメラユーザインタフェースを表示する手段と、１つ以上の入力デバイスを介して、キャプチャアフォーダンスに向けられた第２の入力を検出する手段と、第２の入力を検出したことに応じて、カメラを使用して画像データをキャプチャし、キャプチャアフォーダンスの表示を停止し、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示する手段と、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力を検出する手段と、第３の入力を検出したことに応じて、キャプチャされた画像データを第１の参加者に送信する処理を開始する手段と、を含む。 An electronic device will be described. The electronic device comprises a camera, a display, one or more input devices, means for displaying, via the display, a messaging user interface including camera affordances of a message conversation including at least a first participant; means for detecting a first input directed to a camera affordance via one or more input devices; and means for displaying a camera user interface including a capture affordance in response to detecting the first input. , means for detecting, via one or more input devices, a second input directed to the capture affordance; in response to detecting the second input, capturing image data using the camera; means for stopping display of the capture affordance and displaying the transmit affordance at a position within the camera user interface previously occupied by the capture affordance; and means, in response to detecting a third input, for initiating a process of transmitting the captured image data to the first participant.
方法について説明する。方法は、カメラと表示装置とを有する電子デバイスにおいて実行される。方法は、表示装置を介してカメラユーザインタフェースを表示することであって、カメラユーザインタフェースは、カメラを介してキャプチャされた画像データの表現を含むカメラ表示領域と、第１のカメラ表示モードに関連付けられた第１のアフォーダンスと、を含む、ことと、被写体がカメラの視野内に位置し、かつ、被写体及び背景の表現がカメラ表示領域に表示される間に、第１のアフォーダンスに向けられたジェスチャを検出することと、第１のアフォーダンス向けられたジェスチャを検出したことに応じて、第１のカメラ表示モードをアクティブ化することであって、第１のカメラ表示モードをアクティブ化することは、複数のアバターオプションのうちの選択された１つを含むアバター選択領域を表示することと、選択されたアバターオプションの表現を、カメラ表示領域内の被写体の表現上に表示することと、を含む、ことと、第１のカメラ表示モードがアクティブである間に、被写体の姿勢の変化を検出することと、被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更することと、を含む。 I will explain how. The method is performed in an electronic device having a camera and a display. The method includes displaying a camera user interface via a display device, the camera user interface associated with a camera display area containing a representation of image data captured via the camera and a first camera display mode. and directed to the first affordance while the subject is located within the field of view of the camera and a representation of the subject and background are displayed in the camera display area. Detecting the gesture and activating a first camera display mode in response to detecting a gesture directed to the first affordance, wherein activating the first camera display mode comprises: , displaying an avatar selection area including a selected one of a plurality of avatar options; and displaying a representation of the selected avatar option over a representation of the subject within the camera display area. , detecting a change in the pose of the subject while the first camera display mode is active, and responsive to detecting the change in the pose of the subject while maintaining display of the background, changing the appearance of the displayed representation of the selected avatar option based on the detected change in pose of the .
非一時的コンピュータ可読記憶媒体について説明する。非一時的コンピュータ読み可読記憶媒体は、カメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、カメラを介してキャプチャされた画像データの表現を含むカメラ表示領域と、第１のカメラ表示モードに関連付けられた第１のアフォーダンスと、を含む、カメラユーザインタフェースを表示し、被写体がカメラの視野内に位置し、かつ、被写体及び背景の表現がカメラ表示領域に表示される間に、第１のアフォーダンスに向けられたジェスチャを検出し、第１のアフォーダンス向けられたジェスチャを検出したことに応じて、第１のカメラ表示モードをアクティブ化し、第１のカメラ表示モードをアクティブ化することは、複数のアバターオプションのうちの選択された１つを含むアバター選択領域を表示することと、選択されたアバターオプションの表現を、カメラ表示領域内の被写体の表現上に表示することと、を含み、第１のカメラ表示モードがアクティブである間に、被写体の姿勢の変化を検出し、被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する、命令を含む。 A non-transitory computer-readable storage medium is described. A non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device comprising a camera and a display, the one or more programs comprising: displaying, via a display device, a camera user interface including a camera display area containing a representation of image data captured via the camera and a first affordance associated with a first camera display mode; Detecting a gesture directed to the first affordance and performing the gesture directed to the first affordance while the subject is positioned within the field of view of the camera and representations of the subject and background are displayed in the camera display area. In response to detecting, activating a first camera display mode, activating the first camera display mode displays an avatar selection area including a selected one of a plurality of avatar options. and displaying a representation of the selected avatar option over the representation of the subject within the camera display area, and detecting a change in pose of the subject while the first camera display mode is active. and, in response to detecting a change in the subject's pose, altering the appearance of the displayed representation of the selected avatar option based on the detected change in the subject's pose while maintaining the display of the background. , including instructions.
一時的コンピュータ可読記憶媒体について説明する。一時的コンピュータ読み可読記憶媒体は、カメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、カメラを介してキャプチャされた画像データの表現を含むカメラ表示領域と、第１のカメラ表示モードに関連付けられた第１のアフォーダンスと、を含む、カメラユーザインタフェースを表示し、被写体がカメラの視野内に位置し、かつ、被写体及び背景の表現がカメラ表示領域に表示される間に、第１のアフォーダンスに向けられたジェスチャを検出し、第１のアフォーダンス向けられたジェスチャを検出したことに応じて、第１のカメラ表示モードをアクティブ化し、第１のカメラ表示モードをアクティブ化することは、複数のアバターオプションのうちの選択された１つを含むアバター選択領域を表示することと、選択されたアバターオプションの表現を、カメラ表示領域内の被写体の表現上に表示することと、を含み、第１のカメラ表示モードがアクティブである間に、被写体の姿勢の変化を検出し、被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する、命令を含む。 A temporary computer-readable storage medium is described. A temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device comprising a camera and a display, the one or more programs displaying, via the device, a camera user interface including a camera display area containing a representation of image data captured via the camera and a first affordance associated with a first camera display mode; is within the field of view of the camera and representations of the subject and background are displayed in the camera display area; activating the first camera display mode, activating the first camera display mode displaying an avatar selection area including the selected one of the plurality of avatar options; and displaying a representation of the selected avatar option over the representation of the subject within the camera display area, and detecting a change in pose of the subject while the first camera display mode is active. , in response to detecting a change in the subject's pose, changing the appearance of the displayed representation of the selected avatar option based on the detected change in the subject's pose while maintaining the display of the background; including instructions.
電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、表示装置を介して、カメラを介してキャプチャされた画像データの表現を含むカメラ表示領域と、第１のカメラ表示モードに関連付けられた第１のアフォーダンスと、を含む、カメラユーザインタフェースを表示し、被写体がカメラの視野内に位置し、かつ、被写体及び背景の表現がカメラ表示領域に表示される間に、第１のアフォーダンスに向けられたジェスチャを検出し、第１のアフォーダンス向けられたジェスチャを検出したことに応じて、第１のカメラ表示モードをアクティブ化し、第１のカメラ表示モードをアクティブ化することは、複数のアバターオプションのうちの選択された１つを含むアバター選択領域を表示することと、選択されたアバターオプションの表現を、カメラ表示領域内の被写体の表現上に表示することと、を含み、第１のカメラ表示モードがアクティブである間に、被写体の姿勢の変化を検出し、被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する、命令を含む。 An electronic device will be described. The electronic device includes a camera, a display device, one or more processors, and memory storing one or more programs configured to be executed by the one or more processors, and one or more The program provides, via a display device, a camera user interface including a camera display area containing a representation of image data captured via the camera and a first affordance associated with a first camera display mode. displaying, detecting a gesture directed at the first affordance while the subject is within the field of view of the camera and representations of the subject and background are displayed in the camera display area; activating the first camera display mode in response to detecting the gesture, and activating the first camera display mode includes an avatar selection area including a selected one of a plurality of avatar options; and displaying a representation of the selected avatar option over the representation of the subject within the camera display area, and while the first camera display mode is active, the pose of the subject. Appearance of the displayed representation of the selected avatar option based on the detected change in the subject's pose, while maintaining the display of the background, in response to detecting a change in the subject's pose change, including instructions.
電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、１つ以上の入力デバイスと、表示装置を介してカメラユーザインタフェースを表示する手段であって、カメラユーザインタフェースは、カメラを介してキャプチャされた画像データの表現を含むカメラ表示領域と、第１のカメラ表示モードに関連付けられた第１のアフォーダンスと、を含む、手段と、被写体がカメラの視野内に位置し、かつ、被写体及び背景の表現がカメラ表示領域に表示される間に、第１のアフォーダンスに向けられたジェスチャを検出する手段と、第１のアフォーダンス向けられたジェスチャを検出したことに応じて、第１のカメラ表示モードをアクティブ化する手段であって、第１のカメラ表示モードをアクティブ化することは、複数のアバターオプションのうちの選択された１つを含むアバター選択領域を表示することと、選択されたアバターオプションの表現を、カメラ表示領域内の被写体の表現上に表示することと、を含む、手段と、第１のカメラ表示モードがアクティブである間に、被写体の姿勢の変化を検出する手段と、被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する手段と、を含む。 An electronic device will be described. The electronic device includes a camera, a display, one or more input devices, and a means for displaying a camera user interface via the display, the camera user interface displaying image data captured via the camera. a camera display area including a representation; and a first affordance associated with a first camera display mode; means for detecting a gesture directed at the first affordance while displayed in the region; and means for activating a first camera display mode in response to detecting the gesture directed at the first affordance. and activating the first camera display mode includes displaying an avatar selection area including a selected one of the plurality of avatar options; displaying on a representation of a subject within a display area; means for detecting a change in pose of the subject while the first camera display mode is active; and responsive to the detection, means for modifying the appearance of the displayed representation of the selected avatar option based on the detected change in pose of the subject while maintaining the display of the background.
方法について説明する。方法は、表示装置を有する電子デバイスにおいて実行される。方法は、表示装置を介して、メディアアイテムの表現を含むメディア表示領域と、エフェクトアフォーダンスとを含む、メディアユーザインタフェースを表示することと、エフェクトアフォーダンスに向けられたジェスチャを検出することと、エフェクトアフォーダンス向けられたジェスチャを検出したことに応じて、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプションを表示することと、を、を含み、メディアアイテムが対応する深度データに関連付けられているとの判定に従って、複数のエフェクトオプションが、深度データに基づいてエフェクトを適用するためのそれぞれのエフェクトオプションを含み、画像データが深度データを含まないとの判定に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない、ことを含む。 I will explain how. The method is performed in an electronic device having a display. A method includes, via a display device, displaying a media user interface including a media display area including a representation of a media item and an effect affordance; detecting a gesture directed at the effect affordance; displaying multiple effect options for applying effects to the media item concurrently with the representation of the media item in response to detecting a directed gesture, and depth data to which the media item corresponds. a plurality of effect options, including a respective effect option for applying an effect based on the depth data, and a respective effect option, according to a determination that the image data does not include depth data. Including that the option is not available for activation in multiple effect options.
非一時的コンピュータ可読記憶媒体について説明する。非一時的コンピュータ読み可読記憶媒体は、表示装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、メディアアイテムの表現を含むメディア表示領域と、エフェクトアフォーダンスとを含む、メディアユーザインタフェースを表示し、エフェクトアフォーダンスに向けられたジェスチャを検出し、エフェクトアフォーダンス向けられたジェスチャを検出したことに応じて、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプションを表示する命令を含み、メディアアイテムが対応する深度データに関連付けられているとの判定に従って、複数のエフェクトオプションが、深度データに基づいてエフェクトを適用するためのそれぞれのエフェクトオプションを含み、画像データが深度データを含まないとの判定に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない、ことを含む。 A non-transitory computer-readable storage medium is described. The non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device with a display device, the one or more programs configured to display the display device. display a media user interface including a media display area containing representations of media items and effect affordances via, detect gestures directed to effect affordances, and in response to detecting gestures directed to effect affordances comprising instructions for displaying multiple effect options for applying effects to the media item concurrently with the representation of the media item, the multiple effect options in accordance with a determination that the media item is associated with corresponding depth data; includes each effect option for applying an effect based on depth data, and each effect option is not available for activation in more than one effect option, subject to determination that the image data does not include depth data; Including.
一時的コンピュータ可読記憶媒体について説明する。一時的コンピュータ可読記憶媒体は、表示装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、メディアアイテムの表現を含むメディア表示領域と、エフェクトアフォーダンスとを含む、メディアユーザインタフェースを表示し、エフェクトアフォーダンスに向けられたジェスチャを検出し、エフェクトアフォーダンス向けられたジェスチャを検出したことに応じて、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプションを表示する命令を含み、メディアアイテムが対応する深度データに関連付けられているとの判定に従って、複数のエフェクトオプションが、深度データに基づいてエフェクトを適用するためのそれぞれのエフェクトオプションを含み、画像データが深度データを含まないとの判定に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない、ことを含む。 A temporary computer-readable storage medium is described. The temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device with a display, the one or more programs being read through the display. , a media display area including a representation of the media item, and an effect affordance, detecting a gesture directed to the effect affordance; in response to detecting the gesture directed to the effect affordance; including instructions for displaying a plurality of effect options for applying an effect to the media item concurrently with the representation of the media item, the plurality of effect options subject to determining that the media item is associated with corresponding depth data; Include each effect option for applying an effect based on the depth data, and that each effect option is not available for activation in more than one effect option, subject to the determination that the image data does not contain depth data. include.
電子デバイスについて説明する。電子デバイスは、表示装置と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、表示装置を介して、メディアアイテムの表現を含むメディア表示領域と、エフェクトアフォーダンスとを含む、メディアユーザインタフェースを表示し、エフェクトアフォーダンスに向けられたジェスチャを検出し、エフェクトアフォーダンス向けられたジェスチャを検出したことに応じて、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプションを表示する命令を含み、メディアアイテムが対応する深度データに関連付けられているとの判定に従って、複数のエフェクトオプションが、深度データに基づいてエフェクトを適用するためのそれぞれのエフェクトオプションを含み、画像データが深度データを含まないとの判定に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない、ことを含む。 An electronic device will be described. The electronic device includes a display device, one or more processors, and memory storing one or more programs configured to be executed by the one or more processors, the one or more programs comprising: displaying, via a display device, a media user interface including a media display area containing representations of media items and effect affordances; detecting gestures directed to effect affordances; detecting gestures directed to effect affordances; optionally, including instructions for displaying multiple effect options for applying effects to the media item concurrently with the representation of the media item, and according to determining that the media item is associated with corresponding depth data; contains a respective effect option for applying an effect based on depth data, and each effect option is activated in multiple effect options according to the determination that the image data does not contain depth data. including not available.
電子デバイスについて説明する。電子デバイスは、表示装置と、１つ以上の入力デバイスと、表示装置を介して、メディアアイテムの表現を含むメディア表示領域と、エフェクトアフォーダンスとを含む、メディアユーザインタフェースを表示する手段と、エフェクトアフォーダンスに向けられたジェスチャを検出する手段と、エフェクトアフォーダンス向けられたジェスチャを検出したことに応じて、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプションを表示する手段と、を含み、メディアアイテムが対応する深度データに関連付けられているとの判定に従って、複数のエフェクトオプションが、深度データに基づいてエフェクトを適用するためのそれぞれのエフェクトオプションを含み、画像データが深度データを含まないとの判定に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない、ことを含む。 An electronic device will be described. The electronic device comprises means for displaying a media user interface, including a display, one or more input devices, a media display area containing representations of media items via the display, and an effect affordance. means for detecting a gesture directed to an effect affordance and, in response to detecting a gesture directed to an effect affordance, displaying multiple effect options for applying an effect to the media item concurrently with the representation of the media item; , wherein the plurality of effect options includes respective effect options for applying an effect based on the depth data, according to a determination that the media item is associated with corresponding depth data, and the image data is the depth data. each effect option is not available for activation in a plurality of effect options.
方法について説明する。方法は、表示装置を有する電子デバイスにおいて実行される。方法は、表示装置を介して、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインタフェースを表示することであって、ライブビデオ通信ユーザインタフェースが、ライブビデオ通信セッションに参加する被写体の表現と、第１のアフォーダンスとを含む、ことと、第１のアフォーダンスに向けられたジェスチャを検出することと、第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、カメラエフェクトモードをアクティブ化し、ライブビデオ通信セッションに参加する被写体の表現のサイズを増大させることと、を含む。 I will explain how. The method is performed in an electronic device having a display. The method includes displaying, via a display device, a live video communications user interface of a live video communications application, the live video communications user interface including a representation of a subject participating in a live video communications session and a first affordance. detecting a gesture directed at the first affordance; activating a camera effects mode in response to detecting the gesture directed at the first affordance; and performing a live video communication session. and increasing the size of the representation of the subject participating in the.
非一時的コンピュータ可読記憶媒体について説明する。非一時的コンピュータ可読記憶媒体は、表示装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、ライブビデオ通信アプリケーションの、ライブビデオ通信セッションに参加する被写体の表現と、第１のアフォーダンスとを含むライブビデオ通信ユーザインタフェースを、表示装置を介して表示し、第１のアフォーダンスに向けられたジェスチャを検出し、第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、カメラエフェクトモードをアクティブ化し、ライブビデオ通信セッションに参加する被写体の表現のサイズを増大させる、命令を含む。 A non-transitory computer-readable storage medium is described. The non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device with a display, the one or more programs being a live video communication application. displaying, via a display device, a live video communication user interface including a representation of a subject participating in a live video communication session and a first affordance of, detecting a gesture directed at the first affordance; Instructions are included for activating a camera effects mode and increasing the size of a representation of a subject participating in a live video communication session in response to detecting a gesture directed at one affordance.
一時的コンピュータ可読記憶媒体について説明する。一時的コンピュータ読み可読記憶媒体は、表示装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、ライブビデオ通信アプリケーションの、ライブビデオ通信セッションに参加する被写体の表現と、第１のアフォーダンスとを含むライブビデオ通信ユーザインタフェースを、表示装置を介して表示し、第１のアフォーダンスに向けられたジェスチャを検出し、第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、カメラエフェクトモードをアクティブ化し、ライブビデオ通信セッションに参加する被写体の表現のサイズを増大させる、命令を含む。 A temporary computer-readable storage medium is described. A temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device with a display, the one or more programs being a live video communication application. displaying, via a display device, a live video communication user interface including a representation of a subject participating in a live video communication session and a first affordance of, detecting a gesture directed at the first affordance; Instructions are included for activating a camera effects mode and increasing the size of a representation of a subject participating in a live video communication session in response to detecting a gesture directed at one affordance.
電子デバイスについて説明する。電子デバイスは、表示装置と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、ライブビデオ通信アプリケーションの、ライブビデオ通信セッションに参加する被写体の表現と、第１のアフォーダンスとを含む、ライブビデオ通信ユーザインタフェースを、表示装置を介して表示し、第１のアフォーダンスに向けられたジェスチャを検出するし、第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、カメラエフェクトモードをアクティブ化し、ライブビデオ通信セッションに参加する被写体の表現のサイズを増大させる、命令を含む。 An electronic device will be described. The electronic device includes a display device, one or more processors, and memory storing one or more programs configured to be executed by the one or more processors, the one or more programs comprising: Displaying, via a display device, a live video communications user interface including a representation of a subject participating in a live video communications session and a first affordance of a live video communications application, and gesturing toward the first affordance. and, in response to detecting a gesture directed at the first affordance, activate a camera effects mode and increase the size of the representation of the subject participating in the live video communication session.
電子デバイスについて説明する。電子デバイスは、表示装置と、１つ以上の入力デバイスと、表示装置を介して、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインタフェースを表示する手段であって、ライブビデオ通信ユーザインタフェースが、ライブビデオ通信セッションに参加する被写体の表現と、第１のアフォーダンスとを含む、手段と、第１のアフォーダンスに向けられたジェスチャを検出する手段と、第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、カメラエフェクトモードをアクティブ化し、ライブビデオ通信セッションに参加する被写体の表現のサイズを増大させる、手段と、を含む。 An electronic device will be described. The electronic device comprises a display, one or more input devices, and means for displaying, via the display, a live video communications user interface of a live video communications application, the live video communications user interface means for detecting a gesture directed at the first affordance; and in response to detecting the gesture directed at the first affordance. for activating the camera effects mode and increasing the size of the representation of the subject participating in the live video communication session.
方法について説明する。方法は、カメラと表示装置とを有する電子デバイスにおいて実行される。方法は、表示装置を介して、１つ以上のカメラを介してキャプチャされた画像データの表現を表示することであって、表現が被写体の表現を含み、かつ、画像データが被写体の深度データを含む深度データに対応する、ことと、表示装置を介して、被写体の表現の少なくとも一部の代わりに表示される仮想アバターの表現を表示することとであって、仮想アバターは、被写体の深度データに基づいて決定される、被写体の表現に対してシミュレーションされた深度に配置される、ことと、を含み、仮想アバターの表現を表示することは、深度データに基づいて、仮想アバターの第１の部分が、深度ベース表示基準であって、仮想アバターの第１の部分が被写体の対応する第１の部分の前にあるシミュレーションされた深度を有することを、被写体の深度データが示すという要求を含む、深度ベース表示基準のセットを満たすとの判定に従って、深度ベース表示基準が満たされるように、仮想アバターの表現の一部として、被写体の第１の部分の代わりに表示される仮想アバターの第１の部分の表現を含めることと、深度データに基づいて、仮想アバターの第１の部分が、被写体の第１の部分に対する深度ベース表示基準のセットを満たさないとの判定に従って、仮想アバターの表現から、仮想アバターの第１の部分の表現を除外し、仮想アバターの第１の部分によって占有されていたであろう領域に、被写体の第１の部分を表示することと、を含む。 I will explain how. The method is performed in an electronic device having a camera and a display. The method is to display, via a display device, a representation of image data captured via one or more cameras, the representation including a representation of an object, and the image data including depth data of the object. and displaying, via a display device, a representation of a virtual avatar displayed in place of at least a portion of the representation of the subject, the virtual avatar representing the depth data of the subject. positioned at a simulated depth relative to the representation of the subject, wherein displaying the representation of the virtual avatar is based on the depth data at a first depth of the virtual avatar Portions are depth-based display criteria, including a request that the depth data of the subject indicates that the first portion of the virtual avatar has a simulated depth that is in front of the corresponding first portion of the subject. , the first portion of the virtual avatar displayed in place of the first portion of the subject as part of the representation of the virtual avatar such that the depth-based display criteria are satisfied, according to the determination that the set of depth-based display criteria are satisfied. and determining, based on the depth data, that the first portion of the virtual avatar does not meet a set of depth-based presentation criteria for the first portion of the subject. , excluding the representation of the first portion of the virtual avatar and displaying the first portion of the subject in an area that would have been occupied by the first portion of the virtual avatar.
非一時的コンピュータ可読記憶媒体について説明する。非一時的コンピュータ読み可読記憶媒体は、カメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、１つ以上のカメラを介してキャプチャされた画像データの表現を表示し、表現が被写体の表現を含み、かつ、画像データが被写体の深度データを含む深度データに対応し、表示装置を介して、被写体の表現の少なくとも一部の代わりに表示される仮想アバターの表現を表示する命令を含み、仮想アバターは、被写体の深度データに基づいて決定された被写体の表現に対してシミュレーションされた深度に配置され、仮想アバターの表現を表示することは、深度データに基づいて、仮想アバターの第１の部分が、深度ベース表示基準であって、仮想アバターの第１の部分が被写体の対応する第１の部分の前にあるシミュレーションされた深度を有することを、被写体の深度データが示すという要求を含む、深度ベース表示基準のセットを満たすとの判定に従って、深度ベース表示基準が満たされるように、仮想アバターの表現の一部として、被写体の第１の部分の代わりに表示される仮想アバターの第１の部分の表現を含めることと、深度データに基づいて、仮想アバターの第１の部分が、被写体の第１の部分に対する深度ベース表示基準のセットを満たさないとの判定に従って、仮想アバターの表現から、仮想アバターの第１の部分の表現を除外し、仮想アバターの第１の部分によって占有されていたであろう領域に、被写体の第１の部分を表示することと、を含む。 A non-transitory computer-readable storage medium is described. A non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device comprising a camera and a display, the one or more programs comprising: displaying, via a display device, a representation of image data captured via one or more cameras, the representation comprising a representation of a subject, and the image data corresponding to depth data comprising depth data of the subject; comprising instructions for displaying, via a display device, a representation of a virtual avatar displayed in place of at least a portion of the representation of the subject, the virtual avatar relative to the representation of the subject determined based on the depth data of the subject; Positioned at the simulated depth and displaying a representation of the virtual avatar is based on the depth data, a first portion of the virtual avatar is depth-based display criteria and a first portion of the virtual avatar is a subject. Depth-based display criteria are satisfied according to a determination to satisfy a set of depth-based display criteria including a requirement that the depth data of the subject indicate that it has a simulated depth that is in front of the corresponding first portion of including as part of a representation of the virtual avatar a representation of the first portion of the virtual avatar displayed in place of the first portion of the subject; does not satisfy the set of depth-based display criteria for the first portion of the subject, excluding the representation of the first portion of the virtual avatar from the representation of the virtual avatar; and displaying the first portion of the subject in the area that would have been occupied by the portion.
一時的コンピュータ可読記憶媒体について説明する。一時的コンピュータ可読記憶媒体は、カメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、１つ以上のカメラを介してキャプチャされた画像データの表現を表示し、表現が被写体の表現を含み、かつ、画像データが被写体の深度データを含む深度データに対応し、表示装置を介して、被写体の表現の少なくとも一部の代わりに表示される仮想アバターの表現を表示する命令を含み、仮想アバターは、被写体の深度データに基づいて決定された被写体の表現に対してシミュレーションされた深度に配置され、仮想アバターの表現を表示することは、深度データに基づいて、仮想アバターの第１の部分が、深度ベース表示基準であって、仮想アバターの第１の部分が被写体の対応する第１の部分の前にあるシミュレーションされた深度を有することを、被写体の深度データが示すという要求を含む、深度ベース表示基準のセットを満たすとの判定に従って、深度ベース表示基準が満たされるように、仮想アバターの表現の一部として、被写体の第１の部分の代わりに表示される仮想アバターの第１の部分の表現を含めることと、深度データに基づいて、仮想アバターの第１の部分が、被写体の第１の部分に対する深度ベース表示基準のセットを満たさないとの判定に従って、仮想アバターの表現から、仮想アバターの第１の部分の表現を除外し、仮想アバターの第１の部分によって占有されていたであろう領域に、被写体の第１の部分を表示することと、を含む。 A temporary computer-readable storage medium is described. A temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device comprising a camera and a display, the one or more programs being executed by the display. display a representation of image data captured via one or more cameras, the representation comprising a representation of an object and the image data corresponding to depth data comprising depth data of the object; display a representation of the virtual avatar displayed in place of at least a portion of the representation of the subject, the virtual avatar being simulated against the representation of the subject determined based on the depth data of the subject. displaying a representation of the virtual avatar based on the depth data, wherein a first portion of the virtual avatar is depth-based display criteria, and a first portion of the virtual avatar is subject correspondence; Depth-based display criteria are satisfied according to a determination to satisfy a set of depth-based display criteria including requiring that the depth data of the subject indicate that it has a simulated depth prior to the first portion that including as part of a representation of the virtual avatar a representation of the first portion of the virtual avatar displayed in place of the first portion of the subject; and based on the depth data, the first portion of the virtual avatar. does not satisfy a set of depth-based display criteria for the first portion of the subject, excluding the representation of the first portion of the virtual avatar from the representation of the virtual avatar, and and displaying a first portion of the subject in the area that would have been occupied.
電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、表示装置を介して、１つ以上のカメラを介してキャプチャされた画像データの表現を、表示し、表現が被写体の表現を含み、かつ、画像データが被写体の深度データを含む深度データに対応し、表示装置を介して、被写体の表現の少なくとも一部の代わりに表示される仮想アバターの表現を表示する命令を含み、仮想アバターは、被写体の深度データに基づいて決定された被写体の表現に対してシミュレーションされた深度に配置され、仮想アバターの表現を表示することは、深度データに基づいて、仮想アバターの第１の部分が、深度ベース表示基準であって、仮想アバターの第１の部分が被写体の対応する第１の部分の前にあるシミュレーションされた深度を有することを、被写体の深度データが示すという要求を含む、深度ベース表示基準のセットを満たすとの判定に従って、深度ベース表示基準が満たされるように、仮想アバターの表現の一部として、被写体の第１の部分の代わりに表示される仮想アバターの第１の部分の表現を含めることと、深度データに基づいて、仮想アバターの第１の部分が、被写体の第１の部分に対する深度ベース表示基準のセットを満たさないとの判定に従って、仮想アバターの表現から、仮想アバターの第１の部分の表現を除外し、と、仮想アバターの第１の部分によって占有されていたであろう領域に、被写体の第１の部分を表示することと、を含む。 An electronic device will be described. The electronic device includes a camera, a display device, one or more processors, and memory storing one or more programs configured to be executed by the one or more processors, and one or more The program displays, via the display device, a representation of image data captured via one or more cameras, the representation comprising a representation of a subject, and the image data comprising depth data of the subject. and includes instructions for displaying, via a display device, a representation of a virtual avatar displayed in place of at least a portion of the representation of the subject, the virtual avatar representing the subject determined based on the depth data of the subject. Displaying a representation of the virtual avatar positioned at a simulated depth relative to the representation may be performed based on the depth data such that a first portion of the virtual avatar is a depth-based display criterion and a first portion of the virtual avatar is a depth-based display criterion. depth-based display criteria, including the requirement that the depth data of the subject indicate that the portion of the depth-based display has a simulated depth that is in front of the corresponding first portion of the subject. including, as part of the representation of the virtual avatar, a representation of the first portion of the virtual avatar displayed in place of the first portion of the subject, such that the display criteria are met; excluding the representation of the first portion of the virtual avatar from the representation of the virtual avatar pursuant to a determination that the first portion of the avatar does not meet a set of depth-based display criteria for the first portion of the subject; displaying the first portion of the subject in an area that would have been occupied by the first portion of the virtual avatar.
電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、表示装置を介して、１つ以上のカメラを介してキャプチャされた画像データの表現を表示する手段であって、表現が被写体の表現を含み、かつ、画像データが被写体の深度データを含む深度データに対応する、手段と、表示装置を介して、被写体の表現の少なくとも一部の代わりに表示される仮想アバターの表現を表示する手段であって、仮想アバターは、被写体の深度データに基づいて決定された被写体の表現に対してシミュレーションされた深度に配置される、手段と、を含み、仮想アバターの表現を表示することは、深度データに基づいて、仮想アバターの第１の部分が、深度ベース表示基準であって、仮想アバターの第１の部分が被写体の対応する第１の部分の前にあるシミュレーションされた深度を有することを、被写体の深度データが示すという要求を含む、深度ベース表示基準のセットを満たすとの判定に従って、深度ベース表示基準が満たされるように、仮想アバターの表現の一部として、被写体の第１の部分の代わりに表示される仮想アバターの第１の部分の表現を含めることと、深度データに基づいて、仮想アバターの第１の部分が、被写体の第１の部分に対する深度ベース表示基準のセットを満たさないとの判定に従って、仮想アバターの表現から、仮想アバターの第１の部分の表現を除外し、仮想アバターの第１の部分によって占有されていたであろう領域に、被写体の第１の部分を表示することと、を含む。 An electronic device will be described. The electronic device is a camera, a display, and means for displaying, via the display, a representation of image data captured via one or more cameras, the representation comprising a representation of a subject, and means for displaying, via a display device, a representation of a virtual avatar displayed in place of at least a portion of the representation of the subject, wherein the image data corresponds to the depth data comprising depth data of the subject; the avatar is positioned at a simulated depth relative to the representation of the subject determined based on the depth data of the subject, and displaying the representation of the virtual avatar comprises: Depth data of the subject, wherein the first portion of the virtual avatar is depth-based display criteria, and that the first portion of the virtual avatar has a simulated depth in front of the corresponding first portion of the subject; is displayed in place of the first portion of the subject as part of the representation of the virtual avatar such that the depth-based display criteria are satisfied, according to a determination that the set of depth-based display criteria are satisfied, including a request that the and according to determining, based on the depth data, that the first portion of the virtual avatar does not meet a set of depth-based display criteria for the first portion of the subject. , excluding the representation of the first portion of the virtual avatar from the representation of the virtual avatar and displaying the first portion of the subject in an area that would have been occupied by the first portion of the virtual avatar; including.
これらの機能を実行するための実行可能命令は、任意選択的に、非一時的コンピュータ可読記憶媒体、又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。これらの機能を実行するための実行可能命令は、任意選択的に、一時的コンピュータ可読記憶媒体、又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。 Executable instructions for performing these functions are optionally contained on a non-transitory computer-readable storage medium or other computer program product configured to be executed by one or more processors. Executable instructions for performing these functions are optionally contained on a temporary computer-readable storage medium or other computer program product configured to be executed by one or more processors.
このため、ビジュアルエフェクトを表示するための、より速く、より効率的な方法及びインタフェースがデバイスに提供され、それによって、そのようなデバイスの有効性、効率、及びユーザ満足度が増す。そのような方法及びインタフェースは、ビジュアルエフェクトを表示するための他の方法を補完又は置換できる。 Thus, devices are provided with faster, more efficient methods and interfaces for displaying visual effects, thereby increasing the effectiveness, efficiency, and user satisfaction of such devices. Such methods and interfaces can complement or replace other methods for displaying visual effects.
説明される様々な実施形態を良好に理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきである。ここで、類似の参照番号は、それらの図全体を通じて、対応する部分を指す。 For a better understanding of the various described embodiments, reference should be made to the following detailed description in conjunction with the following drawings. Here, like reference numerals refer to corresponding parts throughout the figures.
以下の説明では、例示的な方法、パラメータなどが記載される。しかし、そのような説明の目的は、本開示の範囲を制限することではなく、例示的な実施形態の説明を提供することであることを理解されたい。 The following description describes exemplary methods, parameters, and the like. It should be understood, however, that the purpose of such description is not to limit the scope of this disclosure, but to provide description of example embodiments.
ビジュアルエフェクトを表示するための効率的な方法及びインタフェースを提供する電子デバイスが必要とされている。例えば、ビジュアルエフェクトを表示するためのプログラムがすでに存在するが、これらのプログラムは、ユーザが様々なアプリケーションにおいてビジュアルエフェクトを表示することができる、以下の技術に比べて非効率で使いにくい。かかる技術によって、アプリケーションにおいてビジュアルエフェクトを表示するユーザの認知負担を軽減し、それによって生産性を向上させることができる。更に、そのような技術は、通常であれば冗長なユーザ入力に対して浪費される、プロセッサ及びバッテリの電力を低減することができる。 What is needed is an electronic device that provides an efficient method and interface for displaying visual effects. For example, programs already exist for displaying visual effects, but these programs are inefficient and difficult to use compared to the following techniques that allow users to display visual effects in a variety of applications. Such techniques can reduce a user's cognitive burden of displaying visual effects in an application, thereby increasing productivity. In addition, such techniques can reduce processor and battery power that would otherwise be wasted on redundant user input.
以下、図１Ａ～図１Ｂ、図２、図３、図４Ａ～図４Ｂ、及び図５Ａ～図５Ｂは、イベント通知を管理する技術を実行するための例示的なデバイスの説明を提供する。 1A-1B, 2, 3, 4A-4B, and 5A-5B, below, provide descriptions of exemplary devices for implementing techniques for managing event notifications.
図６Ａ～図６ＢＱは、メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。図７Ａ及び図７Ｂは、一部の実施形態に係る、メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。図６Ａ～図６ＢＱのユーザインタフェースを使用して、図７Ａ及び図７Ｂの処理を含む、以下で説明する処理を示す。 6A-6BQ illustrate exemplary user interfaces for displaying visual effects in a messaging application. 7A and 7B are flow diagrams illustrating methods for displaying visual effects in a messaging application, according to some embodiments. The user interfaces of FIGS. 6A-6BQ are used to illustrate the processes described below, including the processes of FIGS. 7A and 7B.
図８Ａ～図８ＢＱは、カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。図９Ａ及び図９Ｂは、一部の実施形態に係る、カメラアプリケーションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。図８Ａ～図８ＢＱのユーザインタフェースを使用して、図９Ａ及び図９Ｂの処理を含む、以下で説明する処理を示す。 8A-8BQ illustrate exemplary user interfaces for displaying visual effects in a camera application. 9A and 9B are flow diagrams illustrating methods for displaying visual effects in a camera application, according to some embodiments. The user interfaces of FIGS. 8A-8BQ are used to illustrate the processes described below, including the processes of FIGS. 9A and 9B.
図１０Ａ～図１０ＡＬは、カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。図１１Ａ及び図１１Ｂは、一部の実施形態に係る、メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。図１０Ａ～図１０ＡＬのユーザインタフェースを使用して、図１１Ａ及び図１１Ｂのプロセスを含む、以下で説明する処理を示す。 10A-10AL show exemplary user interfaces for displaying visual effects in a camera application. 11A and 11B are flow diagrams illustrating methods for displaying visual effects in a media item viewing mode, according to some embodiments. The user interfaces of FIGS. 10A-10AL are used to illustrate the processes described below, including the processes of FIGS. 11A and 11B.
図１２Ａ～図１２ＡＰは、ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。図１３Ａ及び図１３Ｂは、一部の実施形態に係る、ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。図１２Ａ～図１２ＡＰのユーザインタフェースを使用して、図１３Ａ及び１３Ｂのプロセスを含む、以下で説明するプロセスを示す。 12A-12AP illustrate exemplary user interfaces for displaying visual effects in a live video communication session. 13A and 13B are flow diagrams illustrating methods for displaying visual effects in a live video communication session, according to some embodiments. The user interfaces of FIGS. 12A-12AP are used to illustrate the processes described below, including the processes of FIGS. 13A and 13B.
図１４Ａ～図１４Ｍは、カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。図１５Ａ及び図１５Ｂは、一部の実施形態に係る、カメラアプリケーションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。図１４Ａ～図１４Ｍのユーザインタフェースを使用して、図１５Ａ及び図１５Ｂのプロセスを含む、以下で説明するプロセスを示す。 14A-14M show exemplary user interfaces for displaying visual effects in a camera application. 15A and 15B are flow diagrams illustrating methods for displaying visual effects in a camera application, according to some embodiments. The user interfaces of FIGS. 14A-14M are used to illustrate the processes described below, including the processes of FIGS. 15A and 15B.
以下の説明では、さまざまな要素を説明するために「第１」、「第２」などの用語が使用されるが、これらの要素はこれらの用語によって限定されるべきではない。これらの用語は、１つの要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第１のタッチは第２のタッチと称することができ、同様に、第２のタッチは第１のタッチと称し得る。第１のタッチ及び第２のタッチは共にタッチであるが、同じタッチではない。 Although the following description uses the terms "first", "second", etc. to describe various elements, these elements should not be limited by these terms. These terms are only used to distinguish one element from another. For example, a first touch could be termed a second touch, and, similarly, a second touch could be termed a first touch, without departing from the scope of various described embodiments. The first touch and the second touch are both touches, but not the same touch.
本明細書で説明される様々な実施形態の説明で使用される用語は、特定の実施形態を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施形態の説明及び添付の特許請求の範囲で使用されるように、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図される。本明細書で使用されるように、用語「ａｎｄ／ｏｒ（及び／又は）」は、関連する列挙された項目のうちの１つ以上の任意のすべての可能な組合せを指し、かつこれを含むことをもまた理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む）」は、本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。 The terminology used in the description of the various embodiments described herein is for the purpose of describing particular embodiments only and is not intended to be limiting. As used in the description of the various embodiments described and in the appended claims, the singular forms "a," "an," and "the" do not clearly indicate to the contrary the context To the extent possible, it is also intended to include plural forms. As used herein, the term "and/or" refers to and includes any and all possible combinations of one or more of the associated listed items. It should also be understood that The terms "includes," "including," "comprises," and/or "comprising," as used herein, refer to the features, integers, steps, specify the presence of acts, elements and/or components but do not exclude the presence or addition of one or more other features, integers, steps, acts, elements, components and/or groups thereof will be further understood.
任意選択的に、用語「ｉｆ（～場合に）」は、文脈に応じて「ｗｈｅｎ（～時に）」、「ｕｐｏｎ（～すると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～という判定に応じて）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（～を検出したことに応じて）」を意味すると解釈される。同様に、語句「ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ（～と判定される場合）」又は「ｉｆ（ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ）ｉｓ ｄｅｔｅｃｔｅｄ（（述べられる条件又はイベント）が検出される場合）」は、任意選択で、文脈に依存して「ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ（～と判定すると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～と判定したことに応じて）」、「ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ（ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ）（（述べられる条件又はイベント）を検出すると）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ）（（述べられる条件又はイベント）を検出したことに応じて）」を意味するものと解釈される。 Optionally, the term "if" is changed to "when", "upon", "in response to determining" depending on the context. , or to mean "in response to detecting". Similarly, the phrases "if it is determined" or "if (a stated condition or event) is detected" can optionally be , "upon determining", "in response to determining", "upon detecting (the stated condition or event)" depending on the context or "in response to detecting (the stated condition or event)".
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用するための関連するプロセスの実施形態を説明する。一部の実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、モバイル電話機などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態には、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）及びｉＰａｄ（登録商標）デバイスが挙げられるが、これらに限定されない。タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えたラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスも、任意選択的に、使用される。一部の実施形態では、デバイスがポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えたデスクトップコンピュータであることもまた理解されたい。 Embodiments of electronic devices, user interfaces for such devices, and associated processes for using such devices are described. In some embodiments, the device is a portable communication device such as a mobile phone that also includes PDA functionality and/or other functionality such as music player functionality. Exemplary embodiments of portable multifunction devices include Apple Inc. of Cupertino, Calif.; iPhone(R), iPod Touch(R) and iPad(R) devices. Other portable electronic devices such as laptops or tablet computers with touch-sensitive surfaces (eg, touch screen displays and/or touch pads) are also optionally used. It should also be appreciated that in some embodiments the device is not a portable communication device, but a desktop computer with a touch-sensitive surface (eg, touchscreen display and/or touchpad).
以下の議論では、ディスプレイ及びタッチ感知面を含む電子デバイスが説明される。しかしながら、電子デバイスが物理キーボード、マウス、及び／又はジョイスティックなどの、１つ以上の他の物理ユーザインタフェースデバイスを任意選択的に含むことを理解されたい。 In the discussion that follows, electronic devices that include displays and touch-sensitive surfaces are described. However, it should be understood that the electronic device optionally includes one or more other physical user interface devices such as physical keyboards, mice and/or joysticks.
このデバイスは、一般的に、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上などの様々なアプリケーションをサポートする。 The device is commonly used in drawing applications, presentation applications, word processing applications, website creation applications, disc authoring applications, spreadsheet applications, gaming applications, telephony applications, video conferencing applications, e-mail applications, instant messaging applications, training It supports various applications such as one or more of a support application, a photo management application, a digital camera application, a digital video camera application, a web browsing application, a digital music player application and/or a digital video player application.
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、任意選択的に、調節及び／又は変更される。このように、デバイスの共通の（タッチ感知面などの）物理アーキテクチャは、ユーザにとって直観的かつ透過的なユーザインタフェースを備える様々なアプリケーションを、任意選択的にサポートする。 Various applications running on the device optionally use at least one common physical user interface device, such as a touch-sensitive surface. One or more functions of the touch-sensitive surface and corresponding information displayed on the device are optionally adjusted and/or changed from application to application and/or within each application. In this way, the common physical architecture of the device (such as the touch-sensitive surface) optionally supports a variety of applications with user interfaces that are intuitive and transparent to the user.
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、一部の実施形態による、タッチ感知ディスプレイシステム１１２を備えるポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれる場合があり、「タッチ感知ディスプレイシステム」として既知であるか又は呼ばれる場合もある。デバイス１００は、（１つ以上のコンピュータ可読記憶媒体を任意選択的に含む）メモリ１０２、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、他の入力制御デバイス１１６、及び外部ポート１２４を含む。デバイス１００は、１つ以上の光センサ１６４を任意選択的に含む。デバイス１００は、デバイス１００（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）上の接触の強度を検出するための、１つ以上の接触強度センサ１６５を任意選択的に含む。デバイス１００は、デバイス１００上に触知出力を生成する（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などの、タッチ感知面上に触知出力を生成する）ための、１つ以上の触知出力生成器１６７を、任意選択的に含む。これらの構成要素は、１つ以上の通信バス又は信号ライン１０３を介して任意選択的に通信する。
Attention is now directed to embodiments of portable devices with touch-sensitive displays. FIG. 1A is a block diagram illustrating portable
本明細書及び特許請求の範囲で使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指接触）の力若しくは圧力（単位面積当りの力）、又はタッチ感知面上の接触の力若しくは圧力の代替物（代用物）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、何百もの（例えば、少なくとも２５６個の）別個の値を含む値範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組合せを使用して判定（又は、測定）される。例えば、タッチ感知面の下に又はこれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々な点における力を測定するために使用される。一部の実装形態では、複数の力センサからの力測定値は、接触の力の推定値を判定するために組み合わされる（例えば、加重平均）。同様に、スタイラスの感圧性先端部は、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触領域のサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化が、タッチ感知面上の接触の力又は圧力の代替物として、任意選択的に用いられる。一部の実装形態では、接触の力又は圧力に対する代替的測定値は、強度閾値を超えているかを判定するために直接使用される（例えば、強度閾値は、代替的測定値に対応する単位で説明される）。一部の実装形態では、接触の力又は圧力に対する代替的測定値は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超えているかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。接触の強度をユーザ入力の属性として使用することによって、アフォーダンスを表示するための（例えば、タッチ感知ディスプレイ上で）、及び／又は、ユーザ入力を受信するための（例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタンなどの物理的／機械的制御部を介して）、面積が制限されている、低減されたサイズのデバイス上で別途ユーザによってアクセスすることができないことがある追加的なデバイス機能へのユーザのアクセスが可能となる。 As used herein and in the claims, the term "strength" of contact on the touch-sensitive surface refers to the force or pressure (force per unit area) of contact (e.g., finger contact) on the touch-sensitive surface. ), or a substitute for contact force or pressure on a touch-sensitive surface. The intensity of contact has a value range that includes at least four distinct values, and more typically includes hundreds (eg, at least 256) distinct values. The strength of contact is optionally determined (or measured) using various techniques and various sensors or combinations of sensors. For example, one or more force sensors under or adjacent to the touch-sensitive surface are optionally used to measure force at various points on the touch-sensitive surface. In some implementations, force measurements from multiple force sensors are combined (eg, weighted average) to determine a contact force estimate. Similarly, the stylus' pressure-sensitive tip is optionally used to determine the pressure of the stylus on the touch-sensitive surface. Alternatively, the size and/or change in the contact area detected on the touch-sensitive surface, the capacitance and/or change in the touch-sensitive surface proximate to the contact, and/or the resistance and/or changes in the touch-sensitive surface proximate to the contact. /or variations thereof are optionally used as a substitute for contact force or pressure on the touch-sensitive surface. In some implementations, the alternative measurement for contact force or pressure is used directly to determine if an intensity threshold has been exceeded (e.g., the intensity threshold is in units corresponding to the alternative measurement). explained). In some implementations, the alternative measurement for contact force or pressure is converted to an estimated force or pressure, and the estimated force or pressure is used to determine if the intensity threshold is exceeded. (eg, the intensity threshold is the pressure threshold measured in units of pressure). for displaying affordances (e.g., on touch-sensitive displays) and/or for receiving user input (e.g., touch-sensitive displays, touch-sensitive Additional devices that may not otherwise be accessible by the user on a reduced size device that has a limited area (via physical/mechanical controls such as faces or knobs or buttons). User access to functionality is enabled.
本明細書及び特許請求の範囲で使用されるとき、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの前の位置に対するデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）のデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素がタッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性における認識された変化に相当する触感として、ユーザによって解釈される。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、任意選択的に、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として解釈される。一部の場合では、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触知感を感じる。別の実施例として、タッチ感知面の移動は、任意選択的に、タッチ感知面の平滑度において変化がないときでさえ、ユーザによってタッチ感知面の「粗さ」として解釈又は感知される。ユーザによるそのようなタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。よって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」、「ダウンクリック」、「粗さ」）に対応するものとして説明されるとき、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの説明された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。 As used herein and in the claims, the term "tactile output" refers to the physical displacement of the device relative to its previous position, the configuration of the device, to be detected by the user in the user's sense of touch. Refers to the physical displacement of an element (eg, touch-sensitive surface) relative to another component of a device (eg, housing), or the displacement of a component relative to the device's center of mass. Tactile output produced by physical displacement, e.g., in situations where a device or device component is in contact with a touch-sensitive surface of a user (e.g., a finger, palm, or other portion of a user's hand) is interpreted by the user as a tactile sensation corresponding to a perceived change in the physical properties of the device or device component. For example, movement of a touch-sensitive surface (eg, a touch-sensitive display or trackpad) is optionally interpreted by the user as a "down-click" or "up-click" of a physical actuator button. In some cases, a user may "down-click" or "up-click" even when there is no physical actuator button movement associated with the touch-sensitive surface that is physically pressed (e.g., displaced) by the user's motion. A tactile sensation such as a "click" is felt. As another example, movement of the touch-sensitive surface is optionally interpreted or perceived by the user as "roughness" of the touch-sensitive surface, even when there is no change in the smoothness of the touch-sensitive surface. A user's interpretation of such touches depends on the user's personal sensory perception, but there are many sensory perceptions of touch that are common to the majority of users. Thus, when a tactile output is described as corresponding to a particular sensory perception of a user (e.g., "up-click", "down-click", "roughness"), the generated Tactile output corresponds to physical displacement of the device, or components of the device, that produce the described sensory perception of a typical (or average) user.
デバイス１００は、ポータブル多機能デバイスの一実施例に過ぎず、デバイス１００は、示されているものよりも多くの構成要素又は少ない構成要素を任意選択的に有し、２つ以上の構成要素を任意選択的に組み合せて、又は構成要素の異なる構成若しくは配置を任意選択的に有することを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア又はハードウェア及びソフトウェアの双方の組み合わせで実装される。
メモリ１０２は、高速ランダムアクセスメモリを任意選択的に含み、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリもまた任意選択的に含む。メモリコントローラ１２２は、任意選択的に、デバイス１００の他の構成要素によるメモリ１０２へのアクセスを制御する。
Memory 102 optionally includes high speed random access memory and optionally also non-volatile memory such as one or more magnetic disk storage devices, flash memory devices or other non-volatile solid state memory devices.
周辺機器インタフェース１１８を使用して、本デバイスの入力及び出力周辺機器を、ＣＰＵ１２０及びメモリ１０２に接続することができる。１つ以上のプロセッサ１２０は、デバイス１００のための様々な機能を実行するため並びにデータを処理するために、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる、又は実行する。一部の実施形態では、周辺機器インタフェース１１８、ＣＰＵ１２０、及びメモリコントローラ１２２は、チップ１０４などの単一チップ上に任意選択的に実装される。一部の他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
ＲＦ（ｒａｄｉｏ ｒｅｑｕｅｎｃｙ）（無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（ＳＩＭ）カード、及びメモリなどを含むがこれらに限定されない、それらの機能を実行するための周知の回路を任意選択的に含む。ＲＦ回路１０８は任意選択で、ワールドワイドウェブ（ＷＷＷ）とも称されるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークと、他のデバイスと無線通信によって通信する。ＲＦ回路１０８は、近距離通信無線などによる近距離通信（ＮＦＣ）（near field communication）フィールドを検出するための周知の回路を任意選択的に含む。無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを、任意選択的に使用し、それらの通信規格、通信プロトコル、及び通信技術としては、移動通信用のグローバルシステム（Global System for Mobile Communications、ＧＳＭ（登録商標））、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケット接続（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケット接続（high-speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ，Ｄａｔａ－Ｏｎｌｙ（ＥＶ－ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、２重セルＨＳＰＡ（Dual-Cell HSPA、ＤＣ－ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離無線通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ－ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）Ｌｏｗ Ｅｎｅｒｇｙ（ＢＴＬＥ）、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ－Ｆｉ）（登録商標）（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、ＩＥＥＥ ８０２．１１ｎ、及び／又はＩＥＥＥ ８０２．１１ａｃ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ－ＭＡＸ、電子メール用のプロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／又はポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、及び／又はショートメッセージサービス（Short Message Service、ＳＭＳ）、あるいは本文書の出願日現在までにまだ開発されていない通信プロトコルを含めた任意の他の好適な通信プロトコルが挙げられるが、これらに限定されない。
Radio frequency (RF)
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８から音声データを受信し、その音声データを電気信号に変換し、その電気信号をスピーカ１１１に送信する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。オーディオ回路１１０はまた、マイクロフォン１１３により音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号を音声データに変換し、音声データを処理のために周辺機器インタフェース１１８に送信する。音声データは任意選択で、周辺機器インタフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、並びに／又はメモリ１０２及び／若しくはＲＦ回路１０８へ送信される。一部の実施形態では、オーディオ回路１１０はヘッドセットジャック（例えば、図２の２１２）を更に含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば、片耳又は両耳用のヘッドホン）及び入力（例えば、マイクロフォン）の双方を有するヘッドセットなどの、取り外し可能なオーディオ入出力周辺機器と、の間のインタフェースを提供する。
Ｉ／Ｏサブシステム１０６は、周辺機器インタフェース１１８に、タッチスクリーン１１２及び他の入力制御デバイス１１６などのデバイス１００の入出力周辺機器を結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び他の入力若しくは制御デバイスのための１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、電気信号を、他の入力制御デバイス１１６から受信／他の入力制御デバイス１１６に送信する。他の入力制御デバイス１１６は、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイアル、スライダスイッチ、ジョイスティック、クリックホイールなどを任意選択的に含む。一部の代替的実施形態では、入力コントローラ（単数又は複数）１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに連結される（又は、いずれにも連結されない）。１つ以上のボタン（例えば、図２の２０８）は、スピーカ１１１及び／又はマイクロフォン１１３の音量調節のためのアップ／ダウンボタンを任意選択的に含む。１つ以上のボタンは、プッシュボタン（例えば、図２の２０６）を任意選択的に含む。
I/
２００５年１２月２３日に出願された、米国特許第７，６５７，８４９号である米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」（この特許は、その全体が本明細書において参照により組み込まれる）に記載されているように、任意選択的に、プッシュボタンの素早い押圧により、タッチスクリーン１１２のロックを解除するか、又はデバイスのロック解除にタッチスクリーン上のジェスチャを用いる処理を任意選択的に開始する。プッシュボタン（例えば、２０６）をより長く押圧することにより、任意選択的にデバイス１００の電源をオンオフする。ボタンのうちの１つ以上の機能は、任意選択的に、ユーザカスタマイズ可能である。タッチスクリーン１１２は、仮想ボタン又はソフトボタン及び１つ以上のソフトキーボードを実装するために使用される。
U.S. patent application Ser. No. 11/322,549, "Unlocking a Device by Performing Gestures on an Unlock Image," filed Dec. 23, 2005, U.S. Pat. No. 7,657,849; Optionally, a quick press of a push button unlocks the touch screen 112 or unlocks the device to unlock the touch screen, as described in the entirety of which is incorporated herein by reference. Optionally initiate a process using the above gesture. A longer press on the push button (eg, 206) optionally powers the
タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、電気信号を、タッチスクリーン１１２から受信及び／又はタッチスクリーン１１２に送信する。タッチスクリーン１１２は、ユーザに視覚出力を表示する。視覚出力は、グラフィック、テキスト、アイコン、ビデオ及びこれらの任意の組み合わせ（総称して「グラフィック」と称する）を任意選択的に含む。一部の実施形態では、任意選択的に、視覚出力の一部又はすべてはユーザインタフェースオブジェクトに対応する。 Touch-sensitive display 112 provides an input and output interface between the device and the user. Display controller 156 receives and/or sends electrical signals to touchscreen 112 . Touch screen 112 displays visual output to the user. Visual output optionally includes graphics, text, icons, video, and any combination thereof (collectively referred to as "graphics"). In some embodiments, optionally some or all of the visual output corresponds to user interface objects.
タッチスクリーン１１２は、触覚及び／又は触知接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、若しくはセンサのセットを有している。タッチスクリーン１１２及びディスプレイコントローラ１５６は（メモリ１０２内の任意の関連モジュール及び／又は命令セットと共に）、タッチスクリーン１１２上で接触（及び任意の接触の移動又は中断）を検出し、その検出された接触をタッチスクリーン１１２上に表示されたユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ又は画像）との対話に変換する。例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触点は、ユーザの指に対応する。 Touch screen 112 has a touch-sensitive surface, sensor, or set of sensors that accepts input from a user based on tactile and/or tactile contact. Touchscreen 112 and display controller 156 (together with any associated modules and/or instruction sets in memory 102) detect contact (and any movement or interruption of contact) on touchscreen 112 and into interactions with user interface objects (eg, one or more softkeys, icons, web pages, or images) displayed on touch screen 112 . In an exemplary embodiment, the contact point between touch screen 112 and the user corresponds to the user's finger.
タッチスクリーン１１２は任意選択的に、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術又はＬＥＤ（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチスクリーン１１２及びディスプレイコントローラ１５６は、静電容量技術、抵抗性技術、赤外線技術、及び表面超音波技術、並びに、タッチスクリーン１１２との１つ以上の接触点を判定するための他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在公知の若しくは後日に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及び任意の移動又はその中断を、任意選択的に検出する。例示的な実施形態では、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．によるｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）において見られるような、投影型相互静電容量感知技術が使用されている。 The touch screen 112 optionally uses LCD (Liquid Crystal Display) technology, LPD (Light Emitting Polymer Display) technology or LED (Light Emitting Diode) technology, although in other embodiments other display technologies are used. The touchscreen 112 and display controller 156 use capacitive, resistive, infrared, and surface ultrasonic technologies, as well as other proximity sensor arrays for determining one or more points of contact with the touchscreen 112. or other elements, optionally detecting contact and any movement or interruption thereof using any of a number of now-known or later-developed touch-sensing technologies. to detect. In an exemplary embodiment, Apple Inc. of Cupertino, Calif. Projected mutual-capacitance sensing technology is used, such as that found in the iPhone® and iPod Touch® by Apple.
タッチスクリーン１１２の一部の実施形態におけるタッチ感知ディスプレイは、任意選択的に、以下の米国特許、第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、及び／又は第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、及び／又は米国特許出願公開第２００２／００１５０２４（Ａ１）号に記載されているマルチタッチ感知タッチパッドに類似する。これらの文献は、それぞれその全体が本明細書において参照により組み込まれている。しかし、タッチスクリーン１１２は、デバイス１００からの視覚出力を表示するのに対して、タッチ感知タッチパッドは、視覚出力を提供しない。
The touch-sensitive display in some embodiments of the touch screen 112 optionally includes the following U.S. Pat. /or similar to the multi-touch sensing touchpads described in Westerman 6,677,932 and/or US Patent Application Publication No. 2002/0015024A1. Each of these documents is incorporated herein by reference in its entirety. However, the touchscreen 112 displays visual output from the
タッチスクリーン１１２の一部の実施形態におけるタッチ感知ディスプレイは、以下の出願で説明されている。（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の同第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の同第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の同第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の同第１１／０３８，５９０号、「Ｍｏｄｅ－Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の同第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の同第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の同第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ－Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日出願の同第１１／３６７，７４９号、「Ｍｕｌｔｉ－Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ－Ｈｅｌｄ Ｄｅｖｉｃｅ」。これらの出願のすべては、全体が参照により本明細書に組み込まれる。 Touch sensitive displays in some embodiments of touch screen 112 are described in the following applications. (1) U.S. Patent Application Serial No. 11/381,313, filed May 2, 2006, entitled "Multipoint Touch Surface Controller"; Multipoint Touchscreen," (3) 10/903,964, filed Jul. 30, 2004; "Gestures For Touch Sensitive Input Devices," (4) 11/048, filed Jan. 31, 2005, 264, "Gestures For Touch Sensitive Input Devices," (5) Serial No. 11/038,590, filed Jan. 18, 2005, "Mode-Based Graphical User Interfaces For Touch Sensitive Input De vices”, (6) 2005 11/228,758, filed September 16, 2005, "Virtual Input Device Placement On A Touch Screen User Interface," (7) 11/228,700, filed September 16, 2005, " Operation Of A Computer With A Touch Screen Interface," (8) Serial No. 11/228,737, filed September 16, 2005, "Activating Virtual Keys Of A Touch-Screen Virtual Keyboard." , and (9) 2006 Serial No. 11/367,749, filed March 3, "Multi-Functional Hand-Held Device." All of these applications are incorporated herein by reference in their entireties.
タッチスクリーン１１２は、任意選択的に、１００ｄｐｉを超えるビデオ解像度を有する。一部の実施形態では、タッチスクリーンは約１６０ｄｐｉのビデオ解像度を有する。ユーザは、スタイラス、指などの任意の好適な物体又は付属器を使用して、タッチスクリーン１１２と任意選択的に接触する。一部の実施形態では、ユーザインタフェースは、主として指に基づく接触及びジェスチャと作用するように設計され、タッチスクリーン上の指の接触面積が広いことに起因して、スタイラスを基準とした入力よりも精度が低いことがある。一部の実施形態では、デバイスは、指に基づく粗い入力を正確なポインタ／カーソル位置又はユーザの望むアクションを実行するためのコマンドに変換する。 Touch screen 112 optionally has a video resolution greater than 100 dpi. In some embodiments, the touch screen has a video resolution of approximately 160 dpi. A user optionally contacts touchscreen 112 using any suitable object or accessory, such as a stylus, finger, or the like. In some embodiments, the user interface is designed to work primarily with finger-based contacts and gestures, and due to the larger finger contact area on the touch screen, is more flexible than stylus-based input. Accuracy may be low. In some embodiments, the device converts coarse finger-based input into precise pointer/cursor positions or commands to perform user-desired actions.
一部の実施形態では、タッチスクリーンに加えて、デバイス１００は、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッドを任意選択的に含む。一部の実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン１１２とは別個のタッチ感知面又はタッチスクリーンによって形成されたタッチ感知面の拡張部である。
In some embodiments, in addition to the touchscreen,
デバイス１００はまた、様々な構成要素に電力を供給するための電力システム１６２を含む。電力システム１６２は任意選択で、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配と関連付けられた任意の他の構成要素を含む。
デバイス１００はまた任意選択で、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に接続された光センサを示す。光センサ１６４は、電荷結合デバイス（ＣＣＤ）又は相補的金属酸化物半導体（ＣＭＯＳ）フォトトランジスタを、任意選択的に含む。光センサ１６４は、１つ以上のレンズを通して投影された、環境からの光を受光し、その光を、画像を表現するデータに変換する。撮像モジュール１４３（カメラモジュールとも称する）と併用して、光センサ１６４は、静止画像又はビデオを任意選択的にキャプチャする。一部の実施形態では、タッチスクリーンディスプレイを静止画像及び／又はビデオ画像取得のためのビューファインダとして有効化するように、光センサは、デバイスの前面のタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。一部の実施形態では、任意選択的に、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見るのと同時に、そのユーザの画像をテレビ会議のために得るように、デバイスの前面に光センサが配置されている。一部の実施形態では、光センサ１６４の位置は、ユーザによって（例えば、デバイス筐体内のレンズ及びセンサを回転させることによって）変更することができ、それにより、テレビ会議並びに静止画像及び／又はビデオ画像の取得の双方のために、単一の光センサ１６４を、タッチスクリーンディスプレイと共に使用する。
デバイス１００はまた、１つ以上の深度カメラセンサ１７５を任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内のカメラコントローラ１６９に結合された、深度カメラセンサを示す。深度カメラセンサ１７５は、環境からデータを受信して、視点（例えば、深度カメラセンサ）からのシーン内のオブジェクト（例えば、顔）の３次元モデルを生成する。一部の実施形態では、撮像モジュール１４３（カメラモジュールとも呼ばれる）と共に深度カメラセンサ１７５を任意選択的に使用して、撮像モジュール１４３によってキャプチャされた画像の異なる部分の深度マップを判定する。一部の実施形態では、深度カメラセンサがデバイス１００の前面に配置され、ユーザが、タッチスクリーンディスプレイ上で他のテレビ会議参加者を見ている間に、かつ、深度マップデータを用いて自撮りをキャプチャできるように、深度情報を有するユーザの画像を、テレビ会議のために任意選択的に取得することができる。一部の実施形態では、深度カメラセンサ１７５は、デバイスの背面、又はデバイス１００の背面及び前面に配置される。一部の実施形態では、深度カメラ１７５の位置をユーザが（例えば、デバイス筐体内のレンズ及びセンサを回転させることによって）変更することができ、深度カメラセンサ１７５を、テレビ会議並びに静止画像及び／又はビデオ画像の取得の両方のために、タッチスクリーンディスプレイと共に使用することができる。
一部の実施形態では、深度マップ（例えば、深度マップ画像）は、視点（例えば、カメラ、光センサ、深度カメラセンサ）からのシーン内のオブジェクトの距離に関する情報（例えば、値）を含む。深度マップの一実施形態では、各深度ピクセルは、その対応する２次元ピクセルが配置される、視点のＺ軸内の位置を規定する。一部の実施形態では、深度マップは、各ピクセルが値（例えば、０～２５５）によって定義されるピクセルから構成される。例えば、「０」値は、「３次元」シーンにおける最も離れた位置に配置されるピクセルを表し、「２５５」値は、「３次元」シーンにおける視点（例えば、カメラ、光センサ、深度カメラセンサ）に最も近いピクセルを表す。他の実施形態では、深度マップは、シーン内のオブジェクトと視点の平面との間の距離を表す。一部の実施形態では、深度マップは、深度カメラの視点における関心あるオブジェクトの様々な特徴の相対的深度（例えば、ユーザの顔の目、鼻、口、耳の相対的深度）についての情報を含む。一部の実施形態では、深度マップは、ｚ方向の関心あるオブジェクトの輪郭をデバイスが判定することを可能にする情報を含む。 In some embodiments, a depth map (eg, depth map image) contains information (eg, values) about the distance of objects in a scene from a viewpoint (eg, camera, light sensor, depth camera sensor). In one embodiment of the depth map, each depth pixel defines the position within the Z-axis of the viewpoint at which its corresponding two-dimensional pixel is located. In some embodiments, the depth map consists of pixels where each pixel is defined by a value (eg, 0-255). For example, a '0' value represents the farthest located pixel in a '3D' scene, and a '255' value represents a point of view (e.g., camera, light sensor, depth camera sensor) in a '3D' scene. ) represents the closest pixel. In other embodiments, the depth map represents the distance between objects in the scene and the plane of the viewpoint. In some embodiments, the depth map provides information about the relative depths of various features of the object of interest (e.g., the relative depths of the eyes, nose, mouth, and ears on the user's face) at the perspective of the depth camera. include. In some embodiments, the depth map contains information that allows the device to determine the contour of the object of interest in the z-direction.
デバイス１００はまた、１つ以上の接触強度センサ１６５を任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された、接触強度センサを示す。接触強度センサ１６５は、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面又は他の強度センサ（例えば、タッチ感知面上の接触の力（又は圧力）を測定するために使用するセンサ）を、任意選択的に含む。接触強度センサ１６５は、周辺環境から接触強度情報（例えば、圧力情報又は圧力情報の代用物）を受信する。一部の実施形態において、少なくとも１つの接触強度センサが、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又は、それに近接している。一部の実施形態では、少なくとも１つの接触強度センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。
デバイス１００はまた、１つ以上の近接センサ１６６を任意選択的に含む。図１Ａは、周辺機器インタフェース１１８に結合された近接センサ１６６を示す。あるいは、近接センサ１６６は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に接続される。近接センサ１６６は、任意選択的に、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、同第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び同第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で説明されるように任意選択的に実行してもよく、これらはその全体が参照により本明細書に組み込まれる。一部の実施形態において、多機能デバイスがユーザの耳の近くに配置されている場合（例えば、ユーザが電話通話を行っている場合）、近接センサは、タッチスクリーン１１２をオフにし無効にする。
デバイス１００はまた、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に連結された触知出力生成器を示す。触知出力生成器１６７は、スピーカ又は他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などの、エネルギを直線運動に変換する電気機械デバイスを、任意選択的に含む。接触強度センサ１６５は、触覚フィードバックモジュール１３３から触覚フィードバック生成命令を受信し、デバイス１００のユーザが感知できる触知出力をデバイス１００上で生成する。一部の実施形態において、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は横方向（例えば、デバイス１００の表面と同じ平面内の前後）に動かすことによって、触知出力を生成する。一部の実施形態において、少なくとも１つの触知出力生成器センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。
デバイス１００はまた、１つ以上の加速度計１６８を任意選択的に含む。図１Ａは、周辺機器インタフェース１１８に結合された加速度計１６８を示す。あるいは、加速度計１６８は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に任意選択的に結合される。加速度計１６８は、任意選択的に、米国特許出願公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ－ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び同第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」で説明されるように機能するものであり、これらの文献の双方は、全体が参照により本明細書に組み込まれる。一部の実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、縦長表示又は横長表示でタッチスクリーンディスプレイ上に表示される。デバイス１００は、加速度計（単数又は複数）１６８に加えて、磁気計並びにデバイス１００の位置及び向き（例えば、縦方向又は横方向）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信機を任意選択的に含む。
一部の実施形態では、メモリ１０２に記憶されたソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System）（ＧＰＳ）モジュール（又は命令セット）１３５及びアプリケーション（又は命令セット）１３６を含む。更に、一部の実施形態において、図１Ａ及び図３に示すように、メモリ１０２（図１Ａ）又はメモリ３７０（図３）は、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、以下の１つ以上を含む：現在アクティブ状態のアプリケーションがある場合、どのアプリケーションがアクティブかを示す、アクティブアプリケーション状態、どのアプリケーション、ビュー又は他の情報がタッチスクリーンディスプレイ１１２の様々な領域を占領しているかを示す、表示状態、デバイスの様々なセンサ及び入力制御デバイス１１６から取得される情報を含む、センサ状態、並びに、デバイスの位置及び／又は姿勢に関する位置情報。
In some embodiments, the software components stored in memory 102 include
オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ（登録商標）、ＲＴＸＣ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ（登録商標）、ｉＯＳ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ（登録商標）などの組み込みオペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御及び管理するための様々なソフトウェアコンポーネント及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。 operating system 126 (e.g., Darwin®, RTXC®, LINUX®, UNIX®, OS X®, iOS®, WINDOWS®, or Embedded operating systems such as VxWorks®) include various software components and/or drivers for controlling and managing common system tasks (e.g., memory management, storage device control, power management, etc.), It facilitates communication between various hardware and software components.
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus）（ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えば、インターネット、無線ＬＡＮなど）を通して間接的に、他のデバイスに連結するように適応している。一部の実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同じか、若しくは同様のマルチピン（例えば、３０ピン）コネクタ、及び／又は互換性のあるマルチピン（例えば、３０ピン）コネクタである。
接触／動きモジュール１３０は、（ディスプレイコントローラ１５６と連携して）タッチスクリーン１１２及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を任意選択的に検出する。接触／動きモジュール１３０は、接触が生じたか否かを判定すること（例えば、指を下ろすイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定すること、接触の移動が存在するか否かを判定し、タッチ感知面を横断する移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が停止したか否かを判定すること（例えば、指を上げるイベント又は接触の中断を検出すること）などの、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データにより表される接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、並びに／又は加速度（大きさ及び／又は方向における変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。一部の実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
Contact/motion module 130 (in conjunction with display controller 156) optionally detects contact with touchscreen 112 and other touch-sensitive devices (eg, touchpads or physical click wheels). The contact/
一部の実施形態では、接触／動きモジュール１３０は、ユーザによって動作が実行されたか否かを判定するための（例えば、ユーザがアイコン上で「クリック」したか否かを判定するための）、１つ以上の強度閾値のセットを使用する。一部の実施形態では、強度閾値の少なくともサブセットは、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によっては判定されず、デバイス１００の物理ハードウェアを変更することなく調整することができる）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の予め定義された閾値のうちのいずれかに設定されてもよい。加えて、一部の実装形態では、デバイスのユーザは、強度閾値のセットのうちの１つ以上を調整するためのソフトウェア設定が提供される（例えば、個々の強度閾値を調整することによって、及び／又はシステムレベルのクリック「強度」パラメータで一度に複数の強度閾値を調整することによって）。
In some embodiments, the contact/
接触／動きモジュール１３０は、ユーザによるジェスチャ入力を任意選択的に検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン（例えば、検出される接触の異なる動き、タイミング、及び／又は強度）を有する。このように、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指のタップジェスチャを検出することは、（例えば、アイコンの位置での）指を下ろすイベントを検出し、続いてその指を下ろすイベントと同じ位置（又は、実質的に同じ位置）で指を上げる（リフトオフ）イベントを検出することを含む。別の実施例として、タッチ感知面上での指のスワイプジェスチャを検出することは、指を下ろすイベントを検出し、続いて、１つ以上の、指をドラッグするイベントを検出し、その後、続いて指を上げる（リフトオフ）イベントを検出することを含む。
Contact/
グラフィックモジュール１３２は、表示されるグラフィックの視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を変更するための構成要素を含む、タッチスクリーン１１２又は他のディスプレイ上にグラフィックをレンダリングして表示するための、様々な既知のソフトウェア構成要素を含む。本明細書で使用されるとき、用語「グラフィック」は、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなどを含むがこれらに限定はされない、ユーザに対して表示することができる任意のオブジェクトを含む。
The
一部の実施形態では、グラフィックモジュール１３２は、使用予定のグラフィックを表すデータを記憶する。各グラフィックは任意選択で、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次いで、ディスプレイコントローラ１５６に出力する画面の画像データを生成する。
In some embodiments,
触覚フィードバックモジュール１３３は、デバイス１００とのユーザ対話に応じて、デバイス１００上の１つ以上の位置で触知出力を生成するために、触知出力生成器（単数又は複数）１６７によって使用される命令を生成する様々なソフトウェア構成要素を含む。
テキスト入力モジュール１３４は任意選択的に、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの位置を判定し、この情報を、様々なアプリケーションでの使用のために提供する（例えば、位置に基づく電話での使用のために電話１３８へ、写真／ビデオメタデータとしてカメラ１４３へ、並びに、天気ウィジェット、ローカルイエローページウィジェット及び地図／ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ）。
アプリケーション１３６は、以下のモジュール（若しくは命令セット）、又はそれらのサブセット若しくはスーパーセットを任意選択的に含む。
●連絡先モジュール１３７（場合により、アドレス帳又は連絡先リストとも呼ぶ）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●天気ウィジェット１４９－１、株式ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作成するためのウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを統合した、ビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、及び／又は
●オンラインビデオモジュール１５５。
- the contacts module 137 (sometimes called an address book or contact list);
a
a
-
an instant messaging (IM)
●
- a
an
● video player module,
● music player module,
the
a
Of the weather widget 149-1, stocks widget 149-2, calculator widget 149-3, alarm clock widget 149-4, dictionary widget 149-5 and other widgets obtained by the user, and user created widgets 149-6
- a
a
- a video and
●
• a
任意選択的にメモリ１０２内に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
Examples of
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と共に、連絡先モジュール１３７は、（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２に記憶される）アドレスブック又は連絡先リストを管理するために任意選択的に用いられ、それには、アドレスブックに名前（単数又は複数）を加えること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、住所（単数又は複数）、又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類かつ並べ替えること、電話番号又は電子メールアドレスを提供して、電話１３８、テレビ会議モジュール１３９、電子メール１４０、又はＩＭ１４１による通信を開始する及び／又は容易にすること、などが含まれる。
In conjunction with touch screen 112 , display controller 156 ,
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電話モジュール１３８は、任意選択的に、電話番号に対応する一連の文字を入力し、連絡先モジュール１３７内の１つ以上の電話番号にアクセスし、入力された電話番号を修正し、対応する電話番号をダイアルし、会話を行い、そして、会話が完了した際に接続を切るか又は電話を切るために、使用する。上述のように、無線通信は、複数の通信規格、プロトコル、及び技術のうちのいずれかを任意選択的に使用する。
In conjunction with
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先モジュール１３７、及び電話モジュール１３８と連携して、テレビ会議モジュール１３９は、ユーザの指示に従って、ユーザと１人以上の他の参加者との間のテレビ会議を開始し、遂行し、終了するための、実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電子メールクライアントモジュール１４０は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理するための、実行可能な命令を含む。画像管理モジュール１４４と連携して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールを作成及び送信することを非常に容易にする。
In conjunction with
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、インスタントメッセージングモジュール１４１は、インスタントメッセージに対応する文字列を入力したり、入力済の文字を修正したり、（例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス（ＳＭＳ）若しくはマルチメディアメッセージサービス（ＭＭＳ）プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用して）対応するインスタントメッセージを送信したり、インスタントメッセージを受信したり、及び受信したインスタントメッセージを閲覧したりする、実行可能な命令を含む。一部の実施形態では、送信及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるような、グラフィック、写真、音声ファイル、ビデオファイル、及び／又は他の添付ファイルを含む。本明細書において使用するとき、「インスタントメッセージング」とは、電話ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）及びインターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）の双方を指す。
In conjunction with
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４及び音楽プレーヤモジュールと連携して、トレーニングサポートモジュール１４２は、（例えば、時間、距離及び／又はカロリー消費目標を有する）トレーニングを作成する、トレーニングセンサ（スポーツデバイス）と通信することと、トレーニングセンサデータを受信することと、トレーニングをモニタするために使用されるセンサを較正することと、トレーニングのための音楽を選択し、再生することと、トレーニングデータを表示し、記憶し、送信すること。
In conjunction with
タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と連携して、カメラモジュール１４３は、静止画像若しくは（ビデオストリームを含む）ビデオをキャプチャしてメモリ１０２にそれらを記憶する、静止画像若しくはビデオの特性を変更する、又はメモリ１０２から静止画像若しくはビデオを削除する、実行可能な命令を含む。
In conjunction with touch screen 112, display controller 156, light sensor(s) 164, light sensor controller 158, touch/
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４及びカメラモジュール１４３と連携して、画像管理モジュール１４４は、静止画像及び／又はビデオ画像を配置し、修正し（例えば、編集し）又は別の方法で操作し、ラベルを付け、削除し、（例えば、デジタルスライドショー又はアルバムにおいて）提示し、記憶するための、実行可能な命令を含む。
In conjunction with touch screen 112, display controller 156, touch/
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及び、テキスト入力モジュール１３４と連携して、ブラウザモジュール１４７は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付及び他のファイルを検索し、リンク付けし、受信し、表示することを含むユーザの指示に従い、インターネットを閲覧する実行可能な命令を含む。
In conjunction with
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、カレンダモジュール１４８は、ユーザの指示に従い、カレンダ及びカレンダに関連付けられたデータ（例えば、カレンダ項目、ｔｏ ｄｏリストなど）を作成し、表示し、変更し、記憶する実行可能な命令を含む。
In conjunction with
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と併せて、ウィジェットモジュール１４９は、ユーザによって任意選択的にダウンロードされて使用されるミニアプリケーション（例えば、気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、及び辞書ウィジェット１４９－５）、又はユーザによって作成されるミニアプリケーション（例えば、ユーザ作成ウィジェット１４９－６）である。一部の実施形態では、ウィジェットは、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）（ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ）（カスケーディングスタイルシート）ファイル及びＪａｖａＳｃｒｉｐｔファイルを含む。一部の実施形態では、ウィジェットは、ＸＭＬ（拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
In conjunction with
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、ウィジェットクリエータモジュール１５０は、任意選択的に、ウィジェットを作成する（例えば、ウェブページのユーザ指定箇所をウィジェットに変える）ために、ユーザによって使用する。
In conjunction with
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、検索モジュール１５１は、ユーザの指示に従い、１つ以上の検索基準（例えば、１つ以上のユーザ指定の検索語句）と一致する、メモリ１０２内のテキスト、音楽、音、画像、ビデオ、及び／又は他のファイルを検索するための、実行可能な命令を含む。
In conjunction with touch screen 112 , display controller 156 , touch/
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８及びブラウザモジュール１４７と連携して、ビデオ及び音楽プレーヤモジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能な命令、並びにビデオを（タッチスクリーン１１２上又は外部ポート１２４を介して接続された外部のディスプレイ上に）表示、提示又は別の方法で再生するための実行可能な命令を含む。一部の実施形態では、デバイス１００は、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を任意選択的に含む。
In conjunction with touch screen 112, display controller 156, touch/
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２及びテキスト入力モジュール１３４と連携して、メモモジュール１５３は、ユーザの指示に従って、メモ、ｔｏ ｄｏリストなどを作成し、管理するための実行可能な命令を含む。
In conjunction with touch screen 112, display controller 156, touch/
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連携して、地図モジュール１５４は、任意選択的に、ユーザの指示に従い、地図及び地図に関連付けられたデータ（例えば、運転方向、特定の位置又はその近くの店舗及び他の見所のデータ、並びに他の位置ベースのデータ）を受信し、表示し、変更し、及び記憶するために、使用する。
In conjunction with
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０及びブラウザモジュール１４７と連携して、オンラインビデオモジュール１５５は、ユーザがＨ．２６４などの１つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、（例えば、ストリーミング及び／又はダウンロードにより）受信し、（例えば、タッチスクリーン上で又は外部ポート１２４を介して接続された外部のディスプレイ上で）再生し、特定のオンラインビデオへのリンクを含む電子メールを送信し、別の方法で管理することが可能となる命令を含む。一部の実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。オンラインビデオアプリケーションの追加の説明は、２００７年６月２０日に出願された米国特許仮出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日に出願された米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」に見出すことができ、これらの出願の内容はその全体が本明細書において参照により組み込まれている。
In conjunction with touch screen 112, display controller 156, touch/
上記で特定されたモジュール及びアプリケーションのそれぞれは、１つ以上の上記の機能を実行する実行可能な命令セット及び本出願に記載の方法（例えば、コンピュータにより実装される方法及び本明細書に記載の他の情報処理方法）に対応する。これらのモジュール（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、それゆえ、様々な実施形態では、任意選択的に、これらのモジュールの様々な部分集合を組み合わせるか、又は他の方式で再編成する。例えば、ビデオプレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わせて、単一のモジュール（例えば、図１Ａのビデオ及び音楽プレーヤモジュール１５２）とする。一部の実施形態では、メモリ１０２は、上記で特定されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ１０２は、上述していない追加のモジュール及びデータ構造を任意選択的に記憶する。
Each of the modules and applications identified above may comprise a set of executable instructions and methods described herein (e.g., computer-implemented methods and methods described herein) that perform one or more of the functions described above. other information processing methods). These modules (eg, instruction sets) need not be implemented as separate software programs, procedures, or modules, and thus various embodiments optionally include various subsets of these modules. are combined or otherwise reorganized. For example, a video player module is optionally combined with a music player module into a single module (eg, video and
一部の実施形態では、デバイス１００は、デバイス上で予め定義された機能の組の動作がタッチスクリーン及び／又はタッチパッドを通じて排他的に実行されるデバイスである。デバイス１００の動作のための主要な入力制御デバイスとしてタッチスクリーン及び／又はタッチパッドを使用することによって、デバイス１００上の物理的な入力制御デバイス（プッシュボタン、ダイアルなど）の数が任意選択で削減される。
In some embodiments,
タッチスクリーン及び／又はタッチパッドを通じて排他的に実行される予め定義された機能のセットは、ユーザインタフェース間のナビゲーションを任意選択的に含む。一部の実施形態では、タッチパッドは、ユーザによってタッチされると、デバイス１００上で表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。そのような実施形態では、「メニューボタン」はタッチパッドを使用して実装される。一部の他の実施形態では、メニューボタンは、タッチパッドの代わりに、物理プッシュボタン又は他の物理入力制御デバイスである。
A predefined set of functions performed exclusively through a touchscreen and/or touchpad optionally includes navigation between user interfaces. In some embodiments, the touchpad navigates
図１Ｂは、一部の実施形態に従った、イベント処理のための例示的な構成要素を示すブロック図である。一部の実施形態では、メモリ１０２（図１Ａ）又はメモリ３７０（図３）は、イベントソータ１７０（例えば、オペレーティングシステム１２６内）及び対応するアプリケーション１３６－１（例えば、上述のアプリケーション１３７～１５１、１５５、３８０～３９０のうちのいずれか）を含む。 FIG. 1B is a block diagram illustrating exemplary components for event processing, according to some embodiments. In some embodiments, memory 102 (FIG. 1A) or memory 370 (FIG. 3) includes event sorter 170 (eg, within operating system 126) and corresponding applications 136-1 (eg, applications 137-151, 155, any of 380-390).
イベントソート部１７０は、イベント情報を受信し、イベント情報が配信されるアプリケーション１３６－１及びアプリケーション１３６－１のアプリケーションビュー１９１を判定する。イベントソート部１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。一部の実施形態では、アプリケーション１３６－１には、アプリケーションがアクティブ又は実行中のときに、タッチ感知ディスプレイ１１２上に表示される現在のアプリケーションビュー（単数又は複数）を示す、アプリケーション内部状態１９２が含まれる。一部の実施形態では、デバイス／グローバル内部状態１５７は、いずれのアプリケーション（単数又は複数）が現在アクティブであるかを判定するために、イベントソータ１７０によって使用され、アプリケーション内部状態１９２は、イベント情報の配信先となるアプリケーションビュー１９１を決定するために、イベントソータ１７０によって使用される。
Event sorting unit 170 receives event information and determines application 136-1 to which event information is delivered and application view 191 of application 136-1. Event sorter 170 includes event monitor 171 and
一部の実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６－１が実行を再開するときに使用される再開情報、アプリケーション１３６－１によって表示されているか又は表示の準備がされている情報を示すユーザインタフェース状態情報、ユーザがアプリケーション１３６－１の前の状態又はビューに戻ることを可能にするための状態待ち行列、及びユーザが行った前のアクションのリドゥ／アンドゥ待ち行列、のうちの１つ以上などの追加の情報を含む。
In some embodiments, application
イベントモニタ１７１は、周辺機器インタフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイ１１２上のユーザタッチ）についての情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６８、及び／若しくは（オーディオ回路１１０を通じて）マイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２又はタッチ感知面からの情報を含む。
一部の実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送信する。それに応じて、周辺機器インタフェース１１８はイベント情報を送信する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回るかつ／又は所定の期間よりも長い入力を受信すること）が存在するときのみ、イベント情報を送信する。 In some embodiments, event monitor 171 sends requests to peripherals interface 118 at predetermined intervals. In response, peripherals interface 118 transmits event information. In other embodiments, peripherals interface 118 transmits event information only when there is a significant event (eg, receiving input above a predetermined noise threshold and/or for longer than a predetermined period of time). .
いくつかの実施形態では、イベントソータ１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。
In some embodiments, event sorter 170 also includes hit
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイ１１２が２つ以上のビューを表示した際に、１つ以上のビュー内のどこにおいてサブイベントが発生したかを判定するためのソフトウェア手続きを提供する。ビューは、制御部及びユーザがディスプレイ上で見ることが可能な他の要素で構成される。
Hit
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書においてアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれる場合があるビューのセットであり、それらの中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに任意選択的に対応する。例えば、タッチが検出される最下位レベルのビューは任意選択で、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントの組は任意選択で、タッチに基づくジェスチャを開始する初期のタッチのヒットビューに少なくとも部分的に基づいて判定される。 Another aspect of the user interface associated with an application is a set of views, sometimes referred to herein as application views or user interface windows, in which information is displayed and touch-based gestures occur. The application view (of the respective application) in which the touch is detected optionally corresponds to a program level within the application's program hierarchy or view hierarchy. For example, the lowest-level view where touches are detected is optionally called the hit view, and the set of events recognized as appropriate input is optionally the initial touch that initiates a touch-based gesture. is determined based at least in part on the hit views of the .
ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層において編成された複数のビューを有するとき、ヒットビュー判定モジュール１７２は、サブイベントを処理するべき階層内の最下位のビューとしてヒットビューを特定する。ほとんどの状況では、ヒットビューは、最初のサブイベント（例えば、イベント又は潜在的なイベントを形成するサブイベントのシーケンスにおける最初のサブイベント）が発生する最下位レベルのビューである。ヒットビューがヒットビュー判定モジュール１７２によって特定されると、ヒットビューは、それがヒットビューとして特定された、同じタッチ又は入力ソースに関連するすべてのサブイベントを一般的に受信する。
The hit
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。一部の実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含むすべてのビューはアクティブに関わっているビューであると判定し、したがって、すべてのアクティブに関わっているビューは、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントがある特定のビューに関連付けられた領域に完全に限定されたとしても、階層の上位のビューは、依然としてアクティブに関わっているビューであり続ける。
Active event
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えば、イベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態において、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。一部の実施形態では、イベントディスパッチャモジュール１７４は、対応するイベント受信部１８２により取得されるイベント情報をイベント待ち行列に記憶する。
一部の実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。あるいは、アプリケーション１３６－１が、イベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型のモジュール、又は接触／動きモジュール１３０などの、メモリ１０２に記憶された別のモジュールの一部である。
In some embodiments,
一部の実施形態では、アプリケーション１３６－１は、それぞれがアプリケーションのユーザインタフェースの対応するビュー内で発生するタッチイベントを処理する命令を含む、複数のイベントハンドラ１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６－１のそれぞれのアプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。一般的には、対応するアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインタフェースキット又はアプリケーション１３６－１がメソッド及び他の性質をそれから継承する上位レベルのオブジェクトなどの、別々のモジュールの一部である。一部の実施形態では、対応するイベントハンドラ１９０は、データアップデーター１７６、オブジェクトアップデーター１７７、ＧＵＩアップデーター１７８及び／又はイベントソータ１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベントハンドラ１９０は、アプリケーション内部状態１９２を更新するために、データアップデーター１７６、オブジェクトアップデーター１７７、又はＧＵＩアップデーター１７８を任意選択的に、利用若しくは呼び出す。あるいは、アプリケーションビュー１９１のうちの１つ以上は、１つ以上の対応するイベントハンドラ１９０を含む。また、一部の実施形態では、データアップデーター１７６、オブジェクトアップデーター１７７及びＧＵＩアップデーター１７８のうちの１つ以上は、対応するアプリケーションビュー１９１に含まれる。
In some embodiments, application 136-1 includes
対応するイベント認識部１８０は、イベントソータ１７０からイベント情報（例えば、イベントデータ１７９）を受信し、イベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。一部の実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択でサブイベント配信命令を含む）の少なくともサブセットも含む。
A
イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの動きについての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択で、サブイベントの速さ及び方向を含む。一部の実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへの、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ばれる）についての対応する情報を含む。
The
イベント比較部１８４は、イベント情報を予め定義されたイベント又はサブイベント定義と比較し、比較に基づいて、イベント又はサブイベントを判定し、又はイベント若しくはサブイベントの状態を判定若しくは更新する。一部の実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えば、イベント１（１８７－１）、イベント２（１８７－２）などのイベントの定義（例えば、予め定義された一連のサブイベント）を含む。一部の実施形態では、イベント１８７におけるサブイベントは、例えば、タッチの始め、タッチの終わり、タッチの移動、タッチの停止及び複数のタッチを含む。一実施例では、イベント１（１８７－１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階の間の表示されたオブジェクト上の第１のタッチ（タッチの開始）、所定の段階の間の第１のリフトオフ（タッチの終了）、所定の段階の間の表示オブジェクト上の第２のタッチ（タッチの開始）、及び所定の段階の間の第２のリフトオフ（タッチの終了）を含む。別の実施例では、イベント２（１８７－２）の定義は、表示されたオブジェクト上のドラッグ操作である。このドラッグ操作は、例えば、所定の段階の間の表示オブジェクト上でのタッチ（又は、接触）、タッチ感知ディスプレイ１１２を横断するタッチの移動、及びタッチのリフトオフ（タッチの終了）を含む。一部の実施形態において、イベントはまた、１つ以上の関連付けられたイベントハンドラ１９０に関する情報も含む。
The
一部の実施形態において、イベント定義１８７は、それぞれのユーザインタフェースオブジェクトに関するイベントの定義を含む。一部の実施形態において、イベント比較部１８４は、サブイベントに関連付けられたユーザインタフェースオブジェクトを判定するヒットテストを実行する。例えば、３つのユーザインタフェースオブジェクトがタッチ感知ディスプレイ１１２上に表示されるアプリケーションビューにおいて、タッチ感知ディスプレイ１１２上でタッチが検出されると、イベント比較部１８４は、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）に関連付けられているかを判定するためのヒットテストを行う。表示されたそれぞれのオブジェクトが、対応するイベントハンドラ１９０と関連付けられている場合、イベント比較部は、ヒットテストの結果を使用して、どのイベントハンドラ１９０がアクティブ化されるべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトと関連付けられたイベントハンドラを選択する。
In some embodiments, event definitions 187 include definitions of events for respective user interface objects. In some embodiments,
一部の実施形態では、対応するイベント（１８７）についての定義はまた、一連のサブイベントがイベント認識部のイベントタイプに対応するか否かが判定される後まで、イベント情報の配信を遅延させる遅延アクションを含む。 In some embodiments, the definition for the corresponding event (187) also delays the delivery of event information until after it has been determined whether a series of sub-events corresponds to the event recognizer's event type. Includes delayed action.
対応するイベント認識部１８０が、一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判断したとき、対応するイベント認識部１８０は、イベント不可能、イベント失敗又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部がもしあれば、そのイベント認識部が進行中のタッチに基づくジェスチャのサブイベントの追跡及び処理を続行する。
When the
一部の実施形態では、対応するイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ及び／又はリストを有するメタデータ１８３を含む。一部の実施形態では、メタデータ１８３は、イベント認識部が相互にどのように対話するか又は対話することが可能とされているかについて示す構成可能なプロパティ、フラグ、及び／又はリストを含む。一部の実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
In some embodiments, the
一部の実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントと関連付けられたイベントハンドラ１９０をアクティブ化する。一部の実施形態では、それぞれのイベント認識部１８０は、イベントと関連付けられたイベント情報をイベントハンドラ１９０に配信する。イベントハンドラ１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。一部の実施形態では、イベント認識部１８０は、認識されたイベントと関連付けられたフラグを投入し、フラグと関連付けられたイベントハンドラ１９０は、フラグを捕らえ、予め定義された処理を実行する。
In some embodiments, each
一部の実施形態では、イベント配信命令１８８は、イベントハンドラをアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベントハンドラに、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベントに又はアクティブに関与しているビューと関連付けられたイベントハンドラは、イベント情報を受信し、予め定義された処理を実行する。
In some embodiments,
一部の実施形態では、データアップデーター１７６は、アプリケーション１３６－１で使用されるデータを作成及び更新する。例えば、データアップデーター１７６は、連絡先モジュール１３７で使用される電話番号を更新するか、又はビデオプレーヤモジュールで使用されるビデオファイルを記憶する。一部の実施形態において、オブジェクトアップデーター１７７は、アプリケーション１３６－１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクトアップデーター１７７は、新たなユーザインタフェースオブジェクトを作成するか、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩアップデーター１７８は、ＧＵＩを更新する。例えば、ＧＵＩアップデーター１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送信する。
In some embodiments, data updater 176 creates and updates data used by application 136-1. For example, the data updater 176 updates phone numbers used by the
一部の実施形態では、イベントハンドラ（単数又は複数）１９０は、データアップデーター１７６、オブジェクトアップデーター１７７、及びＧＵＩアップデーター１７８を含むか、又はそれらへのアクセスを有する。一部の実施形態では、データアップデーター１７６、オブジェクトアップデーター１７７、及びＧＵＩアップデーター１７８は、それぞれのアプリケーション１３６－１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。 In some embodiments, event handler(s) 190 includes or has access to data updater 176 , object updater 177 , and GUI updater 178 . In some embodiments, data updater 176 , object updater 177 , and GUI updater 178 are included in a single module of each application 136 - 1 or application view 191 . In other embodiments, they are contained in two or more software modules.
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の議論はまた、入力デバイスで多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、そのすべてがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、単一若しくは複数のキーボードの押圧若しくは保持に任意選択的に連携されたマウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触移動、ペンスタイラス入力、デバイスの移動、口頭による指示検出された眼球運動、バイオメトリック入力、並びに／又はそれらのいずれかの組合せは、任意選択的に、認識されることになるイベントを定義するサブイベントに対応する入力として利用される。
The foregoing discussion of event handling of a user's touch on a touch-sensitive display also applies to other forms of user input for operating
図２は、一部の実施形態に係る、タッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、ユーザインタフェース（user interface）（ＵＩ）２００内に１つ以上のグラフィックを、任意選択的に表示する。本実施形態、並びに後述する実施形態において、ユーザは、例えば、１本以上の指２０２（図には、正確な縮尺率では描かれていない）又は１つ以上のスタイラス２０３（図には、正確な縮尺率では描かれていない）を用いて、グラフィック上でジェスチャを行うことにより、グラフィックのうちの１つ以上を選択することができる。一部の実施形態では、ユーザが１つ以上のグラフィックとの接触を断った際に、その１つ以上のグラフィックの選択が生じる。一部の実施形態では、ジェスチャは、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上方向へ及び／又は下方向へ）、並びに／又は、デバイス１００と接触した指のローリング（右から左へ、左から右へ、上方向へ及び／若しくは下方向へ）を、任意選択的に含む。一部の実現形態又は状況では、グラフィックとの不測の接触は、グラフィックを選択しない。例えば、選択に対応するジェスチャがタップであるとき、アプリケーションアイコンの上をスイープするスワイプジェスチャは任意選択で、対応するアプリケーションを選択しない。
FIG. 2 illustrates portable
デバイス１００はまた、「ホーム」又はメニューボタン２０４などの、１つ以上の物理ボタンも任意選択的に含む。前述のように、メニューボタン２０４は、デバイス１００上で任意選択的に、実行するアプリケーションのセット内の任意のアプリケーション１３６へのナビゲーションに任意選択的に、使用される。あるいは、一部の実施形態では、メニューボタンは、タッチスクリーン１１２に表示されたＧＵＩにおけるソフトキーとして実装されている。
一部の実施形態において、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスへの電源をオン／オフしてデバイスをロックするためのプッシュボタン２０６、音量調整ボタン（単数又は複数）２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、ボタンを押し下げて、既定の時間にわたってボタンを押し下げた状態で保持することによってデバイス上の電源をオン／オフし、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックし、及び／又は、デバイスのロックを解除する、若しくは、ロック解除処理を開始するように、任意選択的に用いられる。代替実施形態では、デバイス１００はまた、マイクロフォン１１３を通して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力を受ける。デバイス１００はまた、タッチスクリーン１１２上の接触の強度を検出するための１つ以上の接触強度センサ１６５、及び／又は、デバイス１００のユーザに対する触知出力を生成するための１つ以上の触知出力生成器１６７も、任意選択的に含む。
In some embodiments, the
図３は、一部の実施形態に従った、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。一部の実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディア再生デバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワーク若しくは他の通信インタフェース３６０、メモリ３７０、及びこれらの構成要素を相互接続するための１つ以上の通信バス３２０を一般的に含む。通信バス３２０は、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることがある）を、任意選択的に含む。デバイス３００は、一般的にはタッチスクリーンディスプレイであるディスプレイ３４０を含む、入出力（Ｉ／Ｏ）インタフェース３３０を含む。Ｉ／Ｏインタフェース３３０はまた、キーボード及び／又はマウス（又は他のポインティングデバイス）３５０並びにタッチパッド３５５、デバイス３００上に触知出力を生成するための（例えば、図１Ａを参照して上述された触知出力生成器（単数又は複数）１６７と同様の）触知出力生成器３５７、センサ３５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ及び／又は図１Ａを参照して上述された接触強度センサ（単数又は複数）１６５と同様の接触強度センサ）を任意選択的に含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、また、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを任意選択的に含む。メモリ３７０は、ＣＰＵ（単数又は複数）３１０からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。一部の実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２に記憶されたプログラム、モジュール及びデータ構造、又はそれらのサブセットに類似する、プログラム、モジュール及びデータ構造を記憶する。更に、メモリ３７０は、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を任意選択的に記憶する。例えば、デバイス３００のメモリ３７０は、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８及び／又はスプレッドシートモジュール３９０を任意選択的に記憶するが、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、これらのモジュールを任意選択的に記憶しない。
FIG. 3 is a block diagram of an exemplary multifunction device with a display and touch-sensitive surface, according to some embodiments;
上記で特定された図３の要素のそれぞれは任意選択的に、前述のメモリデバイスのうち１つ以上に記憶される。上記で特定されたモジュールのうちのそれぞれは、上述した機能を実行する命令セットに対応する。上記で特定されたモジュール又はプログラム（例えば、命令セット）は、任意選択的に、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、それゆえ、様々な実施形態では、これらのモジュールの様々なサブセットを組み合わせるか、又は他の方式で再編成する。一部の実施形態では、メモリ３７０は、上記で特定されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。 Each of the above-identified elements of FIG. 3 are optionally stored in one or more of the aforementioned memory devices. Each of the modules identified above corresponds to a set of instructions that perform the functions described above. The modules or programs (e.g., instruction sets) identified above need not optionally be implemented as separate software programs, procedures, or modules; thus, in various embodiments, these modules combine or otherwise rearrange various subsets of . In some embodiments, memory 370 optionally stores a subset of the modules and data structures identified above. In addition, memory 370 optionally stores additional modules and data structures not described above.
ここで、例えばポータブル多機能デバイス１００上に、任意選択的に実装されるユーザインタフェースの実施形態に着目する。
Attention is now directed to embodiments of user interfaces that are optionally implemented, for example, on
図４Ａは、一部の実施形態に係る、ポータブル多機能デバイス１００上のアプリケーションのメニューに関する例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス３００上に任意選択的に実装される。一部の実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー及びＷｉ－Ｆｉ信号などの無線通信（単数又は複数）のための信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈ（登録商標）インジケータ４０５、
●バッテリ状態インジケータ４０６、
●下記などの、頻繁に利用されるアプリケーション用のアイコンを含むトレー４０８、
○不在着信又は音声メールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされる、電話モジュール１３８用のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０用のアイコン４１８、
○「ブラウザ」とラベル付けされる、ブラウザモジュール１４７用のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされる、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称されるビデオ及び音楽プレーヤモジュール１５２用のアイコン４２２、及び
●下記などの、他のアプリケーション用のアイコン、
○「メッセージ」とラベル付けされるＩＭモジュール１４１のためのアイコン４２４、
○「カレンダ」とラベル付けされる、カレンダモジュール１４８用のアイコン４２６、
○「写真」とラベル付けされる、画像管理モジュール１４４用のアイコン４２８、
○「カメラ」とラベル付けされる、カメラモジュール１４３用のアイコン４３０、
○「オンラインビデオ」とラベル付けされる、オンラインビデオモジュール１５５用のアイコン４３２、
○「株価」とラベル付けされる、株価ウィジェット１４９－２用のアイコン４３４、
○「地図」とラベル付けされる、地図モジュール１５４用のアイコン４３６、
○「天気」とラベル付けされる、天気ウィジェット１４９－１用のアイコン４３８、
○「時計」とラベル付けされる、アラーム時計ウィジェット１４９－４用のアイコン４４０、
○「トレーニングサポート」とラベル付けされる、トレーニングサポートモジュール１４２用のアイコン４４２、
○「メモ」とラベル付けされる、メモモジュール１５３用のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６に関する設定へのアクセスを提供する、「設定」とラベル付けされる、設定アプリケーション若しくはモジュール用のアイコン４４６。
FIG. 4A illustrates an exemplary user interface for a menu of applications on
- signal strength indicator(s) 402 for wireless communication(s) such as cellular and Wi-Fi signals;
●
- Bluetooth(R)
-
• a
o an icon 416 for the
o an icon 418 for the
o icon 420 for
o an
o icon 442 for
図４Ａに示されるアイコンのラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽プレーヤモジュール１５２用のアイコン４２２は、「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。一部の実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。一部の実施形態では、特定のアプリケーションアイコンのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
Note that the icon labels shown in FIG. 4A are merely exemplary. For example,
図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）から分離するタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を備えるデバイス（例えば、図３のデバイス３００）上の、例示的なユーザインタフェースを示す。デバイス３００はまた、タッチ感知面４５１上の接触の強度を検出するための１つ以上の接触強度センサ（例えば、センサ３５９のうちの１つ以上）及び／又はデバイス３００のユーザに対して触知出力を生成するための１つ以上の触知出力生成器３５７を任意選択的に含む。
FIG. 4B shows an exemplary display on a device (eg,
以下の実施例のうちのいくつかはタッチスクリーンディスプレイ１１２上での入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して説明されるが、一部の実施形態では、デバイスは、図４Ｂに示されるように、ディスプレイとは別個のタッチ感知面上での入力を検出する。一部の実施形態では、このタッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の主軸（例えば、図４Ｂの４５３）に対応する主軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、タッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図４Ｂでは、４６０は４６８に対応し、４６２は４７０に対応する）にて検出する。このように、タッチ感知面がディスプレイから分離するものである場合、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されたユーザ入力（例えば、接触４６０及び４６２、並びにそれらの移動）が、多機能デバイスのディスプレイ（例えば、図４Ｂでの４５０）上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
Although some of the examples below are described with reference to input on the touch screen display 112 (where the touch sensitive surface and display are combined), in some embodiments the device , as shown in FIG. 4B, detects input on a touch-sensitive surface separate from the display. In some embodiments, this touch-sensitive surface (eg, 451 in FIG. 4B) has a major axis (eg, 452 in FIG. 4B) that corresponds to a major axis (eg, 453 in FIG. 4B) on the display (eg, 450). have According to these embodiments, the device directs contact with touch-sensitive surface 451 (eg, 460 and 462 in FIG. 4B) to positions corresponding to respective locations on the display (eg, 460 and 468 in FIG. 4B). , and 462 corresponds to 470). Thus, if the touch-sensitive surface is separate from the display, user input (e.g.,
更に加えて、以下の実施例は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャ）を参照して説明されるが、一部の実施形態では、それらの指入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスに基づく入力又はスタイラス入力）で置き換えられることを理解されたい。例えば、スワイプジェスチャは、マウスクリックと任意選択的に置き換えられ（例えば、接触の代わりに）、その後、スワイプの経路に沿って（例えば、接触の移動の代わりに）カーソルの移動が行われる。別の実施例として、タップジェスチャは任意選択で、カーソルがタップジェスチャの位置の上に位置する間のマウスクリックと置き換えられる（例えば、接触の検出、それに続いて接触の検出を停止する代わりに）。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスは任意選択で同時に使用され、又はマウス及び指の接触が任意選択で同時に使用されることを理解されたい。 Additionally, although the following examples are described primarily with reference to finger input (e.g., finger contact, finger tap gesture, finger swipe gesture), in some embodiments those finger inputs It should be appreciated that one or more of the inputs may be replaced with input from another input device (eg, mouse-based or stylus input). For example, a swipe gesture is optionally replaced with a mouse click (eg, instead of contact) followed by cursor movement along the path of the swipe (eg, instead of contact movement). As another example, the tap gesture is optionally replaced with a mouse click while the cursor is positioned over the location of the tap gesture (e.g., instead of detecting contact followed by stopping detecting contact). . Similarly, when multiple user inputs are detected simultaneously, it should be understood that multiple computer mice are optionally used simultaneously, or mouse and finger contact are optionally used simultaneously.
図５Ａは、例示的なパーソナル電子デバイス５００を示す。デバイス５００は、本体５０２を含む。一部の実施形態では、デバイス５００は、デバイス１００及び３００（例えば、図１Ａ～図４Ｂ）に関して記載した特徴のうちの一部又はすべてを含むことができる。一部の実施形態では、デバイス５００は、タッチ感知ディスプレイスクリーン５０４、以後、タッチスクリーン５０４とする、を有する。タッチスクリーン５０４の代わりに、又はそれに追加して、デバイス５００は、ディスプレイ及びタッチ感知面を有する。デバイス１００及びデバイス３００と同様に、一部の実施形態では、タッチスクリーン５０４（又はタッチ感知面）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出するための１つ以上の強度センサを有する。タッチスクリーン５０４（又は、タッチ感知面）の１つ以上の強度センサは、タッチの強度を表現する出力データを提供することができる。デバイス５００のユーザインタフェースは、タッチの強度に基づいてタッチに応答することができ、これは、異なる強度のタッチは、デバイス５００上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
FIG. 5A shows an exemplary personal
タッチ強度を検出して処理するための例示的な技術は、例えば、関連出願である、２０１３年５月８日出願の「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」と題された国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号（国際公開第２０１３／１６９８４９号として公開）、及び２０１３年１１月１１日出願の「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」と題された同第ＰＣＴ／ＵＳ２０１３／０６９４８３号（国際公開第２０１４／１０５２７６号として公開）にみられ、これらの文献のそれぞれは、全体が参照により本明細書に組み込まれる。 Exemplary techniques for detecting and processing touch strength are described, for example, in related application "Device, Method, and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application," filed May 8, 2013. International Patent Application PCT / US2013 / 040061 (released as international open to 2013/169849) and "Device, Method, And GRAPHICAL USER Interfac". E for TRANSITIONG BETWEEN TOUCH INPUT TO PCT/US2013/069483 (published as International Publication No. WO 2014/105276) entitled "Display Output Relationships", each of which is hereby incorporated by reference in its entirety.
一部の実施形態では、デバイス５００は、１つ以上の入力機構５０６及び入力機構５０８を有する。入力機構５０６及び５０８は、含まれる場合には、物理的なものとすることができる。物理入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。一部の実施形態では、デバイス５００は、１つ以上のアタッチメント機構を有する。かかるアタッチメント機構は、含まれる場合には、例えば、デバイス５００を、帽子、アイウェア、イヤリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計バンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどに、取り付けることを可能にする。これらのアタッチメント機構は、ユーザによってデバイス５００が着用されることを可能にし得る。
In some embodiments,
図５Ｂは、例示的なパーソナル電子デバイス５００を示す。一部の実施形態では、デバイス５００は、図１Ａ、図１Ｂ及び図３に関して記載した構成要素の一部又はすべてを含むことができる。デバイス５００は、Ｉ／Ｏ部５１４を１つ以上のコンピュータプロセッサ５１６及びメモリ５１８に動作可能に結合するバス５１２を有する。Ｉ／Ｏ部５１４は、ディスプレイ５０４に接続することができ、ディスプレイ５０４は、タッチ感知構成要素５２２と、任意選択的に、強度センサ５２４（例えば、接触強度センサ）と、を有し得る。更に、Ｉ／Ｏ部５１４は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離通信（ＮＦＣ）、セルラー及び／又は他の無線通信技術を使用して、アプリケーション及びオペレーティングシステムのデータを受信するための通信ユニット５３０に接続し得る。デバイス５００は、入力機構５０６及び／又は入力機構５０８を含むことができる。入力機構５０６は、任意選択的に、例えば、回転可能入力デバイス、又は押下可能かつ回転可能な入力デバイスである。入力機構５０８は、任意選択的に、一部の実施例では、ボタンである。
FIG. 5B shows an exemplary personal
入力機構５０８は、任意選択的に、一部の実施例では、マイクロフォンである。パーソナル電子デバイス５００は、任意選択的に、ＧＰＳセンサ５３２、加速度計５３４、方向センサ５４０（例えば、コンパス）、ジャイロスコープ５３６、動きセンサ５３８及び／又はこれらの組み合わせなどの、様々なセンサを含むものであり、それらのすべては、Ｉ／Ｏ部５１４に動作可能に接続できる。
パーソナル電子デバイス５００のメモリ５１８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、それらの命令は、１つ以上のコンピュータプロセッサ５１６によって実行されると、例えば、コンピュータプロセッサに、プロセス７００、９００、１１００、１３００及び１５００（図７Ａ～図７Ｂ、図９Ａ～図９Ｂ、図１１Ａ～図１１Ｂ、図１３Ａ～図１３Ｂ、及び図１５Ａ～図１５Ｂ）を含む、以下に説明する技術を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置若しくはデバイスによって、又はこれらと関連して使用するためのコンピュータ実行可能命令を有形的に収容又は記憶することができる、任意の媒体とすることができる。一部の例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。一部の例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体には、磁気的記憶装置、光学的記憶装置及び／又は半導体記憶装置を挙げることができるが、これらに限定されない。そのような記憶装置の例には、磁気ディスク、ＣＤ、ＤＶＤ又はＢｌｕ－ｒａｙ技術に基づく光ディスク、及び、フラッシュ、ソリッドステートドライブなどの永続的ソリッドステートメモリが挙げられる。パーソナル電子デバイス５００は、図５Ｂの構成要素及び構成に限定されるものではなく、他の構成要素又は追加的構成要素を、複数の構成で含み得る。
本明細書において使用するとき、用語「アフォーダンス」は、デバイス１００、３００及び／又は５００（図１Ａ、図３及び図５Ａ～図５Ｂ）のディスプレイ画面上に任意選択的に表示されるユーザ対話式のグラフィックユーザインタフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン及びテキスト（例えば、ハイパーリンク）はそれぞれ、任意選択的に、アフォーダンスを構成する。 As used herein, the term “affordance” refers to a user-interactive Refers to a graphic user interface object in the . For example, images (eg, icons), buttons and text (eg, hyperlinks) each optionally constitute affordances.
本明細書において使用するとき、用語「フォーカスセレクタ」は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他の位置マーカを含む一部の実現例において、タッチ感知面（例えば、図３のタッチパッド３５５、又は図４Ｂのタッチ感知面４５１）上で入力（例えば、押圧入力）が検出された時に、カーソルが特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の上にある時、カーソルは「フォーカスセレクタ」として機能し、特定のユーザインタフェース要素が、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接的な対話を可能にする、タッチスクリーンディスプレイ（例えば、図１Ａでのタッチ感知ディスプレイシステム１１２、又は図４Ａでのタッチスクリーン１１２）を含む一部の実現例では、タッチスクリーン上で検出される接触が「フォーカスセレクタ」としての役割を果たすことにより、入力（例えば、接触による押圧入力）が、タッチスクリーンディスプレイ上の特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の位置で検出されると、その特定のユーザインタフェース要素が、検出された入力に従って調節される。一部の実現形態では、タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、（例えば、タブキー又は矢印キーを使用してフォーカスを１つのボタンから別のボタンに移動させることによって）ユーザインタフェースの１つの領域からユーザインタフェースの別の領域にフォーカスが移動され、それらの実現形態では、フォーカスセレクタは、ユーザインタフェースの異なる領域の間のフォーカスの移動に従って移動する。フォーカスセレクタによってとられる具体的な形態とは関わりなく、フォーカスセレクタは、全般的に、ユーザの意図したユーザインタフェースとの対話を通信するために（例えば、ユーザが対話することを意図しているユーザインタフェースの要素をデバイスに示すことによって）、ユーザによって制御されるユーザインタフェース要素（又はタッチスクリーンディスプレイ上の接触）である。例えば、押圧入力がタッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で検出されたときに、対応するボタンの上にあるフォーカスセレクタ（例えば、カーソル、接触又は選択ボックス）の位置は、（デバイスのディスプレイ上に示されている他のユーザインタフェース要素ではなく）対応するボタンをユーザがアクティブ化しようとしていることを示すものである。
As used herein, the term "focus selector" refers to an input element that indicates the current portion of the user interface with which the user is interacting. In some implementations that include a cursor or other position marker, an input (eg, press input) is detected on a touch-sensitive surface (eg,
本明細書及び特許請求の範囲において使用するとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく接触の特性を指す。一部の実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、予め定義された数の強度サンプル、あるいは予め定義されたイベントに対する（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度における増大を検出する前若しくは後、及び／又は接触の強度における減少を検出する前若しくは後）予め定められた時間期間の間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）に収集された強度サンプルのセットに任意選択的に基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均値（mean value）、接触の強度の平均値（average value）、接触の強度の上位１０％値、接触の強度の最大値の半分の値、接触の強度の最大値の９０％の値など、のうちの１つ以上に基づく。一部の実施形態では、特性強度を判定するために、（例えば、特性強度が経時的な接触の強度の平均であるとき）接触の持続期間が使用される。一部の実施形態では、動作がユーザによって実行されたか否かを判定するために、特性強度を１つ以上の強度閾値のセットと比較する。例えば、１つ以上の強度閾値のセットは、任意選択的に、第１の強度閾値及び第２の強度閾値を含む。この実施例では、第１の閾値を越えない特性強度を有する接触の結果として第１の動作が実行され、第１の強度閾値を越え、第２の強度閾値を越えない特性強度を有する接触の結果として第２の動作が実行され、第２の閾値を越える特性強度を有する接触の結果として第３の動作が実行される。一部の実施形態では、特性強度と１つ以上の閾値との間の比較が、第１の動作又は第２の動作のいずれを実行するかを判定するために使用されるのではなく、１つ以上の動作を実行するか否か（例えば、各動作を実行するのか、又は各動作の実行を見合わせるのか）を判定するために使用される。 As used herein and in the claims, the term "characteristic strength" of contact refers to a characteristic of contact based on one or more strengths of contact. In some embodiments, the characteristic intensity is based on multiple intensity samples. The characteristic intensity can be a predefined number of intensity samples, or for a predefined event (e.g., after detecting contact, before detecting lift-off of the contact, before or after detecting the start of movement of the contact, before detecting the end of the contact, before or after detecting an increase in the intensity of the contact, and/or before or after detecting a decrease in the intensity of the contact) for a predetermined time period (e.g., 0.05, 0 .1, 0.2, 0.5, 1, 2, 5, 10 seconds). The characteristic strength of contact is optionally a maximum strength of contact, a mean value of strength of contact, an average value of strength of contact, an average value of strength of contact, a top 10% value of strength of contact, a contact based on one or more of half the maximum strength of the contact, 90% of the maximum strength of contact, and so on. In some embodiments, the duration of contact is used to determine the characteristic strength (eg, when the characteristic strength is the average strength of contact over time). In some embodiments, the characteristic intensity is compared to a set of one or more intensity thresholds to determine if the action was performed by the user. For example, the set of one or more intensity thresholds optionally includes a first intensity threshold and a second intensity threshold. In this example, the first action is performed as a result of a contact having a characteristic intensity that does not exceed the first threshold, and the contact having a characteristic intensity that exceeds the first intensity threshold and does not exceed the second intensity threshold. A second action is performed as a result, and a third action is performed as a result of a contact having a characteristic strength exceeding a second threshold. In some embodiments, rather than the comparison between the characteristic strength and one or more thresholds being used to determine whether to perform the first action or the second action, It is used to determine whether to perform one or more actions (eg, to perform each action or to forgo each action).
一部の実施形態では、特性強度を判定する目的で、ジェスチャの一部が特定される。例えば、タッチ感知面は、任意選択的に、接触の強度が増加する、開始位置から遷移して終了位置まで達する連続的なスワイプ接触を受け取る。この実施例では、終了位置における接触の特性強度は、任意選択的に、連続的なスワイプ接触全体ではなく、そのスワイプ接触の一部分のみ（例えば、終了位置におけるスワイプ接触の部分のみ）に基づく。一部の実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムをそのスワイプ接触の強度に適用する。例えば、平滑化アルゴリズムは任意選択で、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。一部の状況では、それらの平滑化アルゴリズムは、特性強度を判定する目的で、スワイプ接触の強度における小幅な上昇又は低下を除去する。 In some embodiments, a portion of the gesture is identified for purposes of determining characteristic strength. For example, the touch-sensitive surface optionally receives successive swipe contacts transitioning from a starting position to an ending position with increasing strength of the contact. In this example, the characteristic strength of a contact at the end location is optionally based on only a portion of that swipe contact (eg, only the portion of the swipe contact at the end location) rather than the entire continuous swipe contact. In some embodiments, a smoothing algorithm is optionally applied to the strength of the swipe contact prior to determining the characteristic strength of the contact. For example, the smoothing algorithms optionally include one or more of an unweighted moving average smoothing algorithm, a triangular smoothing algorithm, a median filter smoothing algorithm, and/or an exponential smoothing algorithm. In some situations, those smoothing algorithms remove small increases or decreases in the strength of swipe contacts for the purpose of determining characteristic strength.
タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押圧強度閾値、深い押圧強度閾値、及び／又は１つ以上の他の強度閾値などの１つ以上の強度閾値に対して特徴付けする。一部の実施形態では、軽い押圧強度閾値は、物理マウスのボタン又はトラックパッドをクリックすることと一般的に関連付けられた操作をデバイスが実行する強度に対応する。一部の実施形態では、深い押圧強度閾値は、物理マウスのボタン又はトラックパッドをクリックすることと典型的に関連付けられた操作とは異なる操作をデバイスが実行する強度に対応する。一部の実施形態では、軽い押圧強度閾値を下回る（例えば、かつ、それを下回ると接触がもはや検出されないわずかな接触検出強度閾値を上回る）特性強度で接触が検出される場合、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値に関連付けられた動作を実行することなく、タッチ感知面上の接触の移動に従って、フォーカスセレクタを移動させる。概して、特に明記しない限り、これらの強度閾値は、ユーザインタフェース図の異なるセット間で一貫している。 The intensity of contact on the touch-sensitive surface is optionally scaled to one or more intensity thresholds, such as a touch detection intensity threshold, a light press intensity threshold, a deep press intensity threshold, and/or one or more other intensity thresholds. characterize against. In some embodiments, the light pressure intensity threshold corresponds to the intensity with which the device performs operations commonly associated with clicking a physical mouse button or trackpad. In some embodiments, the deep press intensity threshold corresponds to the intensity at which the device performs operations that differ from those typically associated with clicking a physical mouse button or trackpad. In some embodiments, if touch is detected with a characteristic intensity below a light pressure intensity threshold (e.g., and above a slight touch detection intensity threshold below which touch is no longer detected), the device detects a light pressure. A focus selector is moved according to the movement of the contact on the touch-sensitive surface without performing the actions associated with the pressure intensity threshold or the deep pressure intensity threshold. Generally, unless otherwise stated, these intensity thresholds are consistent across different sets of user interface diagrams.
軽い押圧強度閾値を下回る強度から、軽い押圧強度閾値と深い押圧強度閾値との間の強度への接触の特性強度の増大は、「軽い押圧」入力と呼ばれる場合がある。深い押圧強度閾値を下回る強度から、深い押圧強度閾値を上回る強度への接触の特性強度の増大は、「深い押圧」入力と呼ばれる場合がある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押圧強度閾値との間の強度への接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれる場合がある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれる場合がある。一部の実施形態では、接触検出強度閾値はゼロである。一部の実施形態では、接触検出強度閾値はゼロより大きい。 Increasing the characteristic strength of a contact from an intensity below the light pressure threshold to an intensity between the light pressure threshold and the deep pressure threshold may be referred to as a "light pressure" input. Increasing the characteristic strength of a contact from an intensity below the deep pressure threshold to an intensity above the deep pressure threshold is sometimes referred to as a "deep pressure" input. Increasing the characteristic strength of a touch from an intensity below the touch detection intensity threshold to an intensity between the touch detection intensity threshold and the light pressure intensity threshold may be referred to as detecting contact on the touch surface. A decrease in the characteristic strength of the contact from an intensity above the contact detection intensity threshold to an intensity below the contact detection intensity threshold may be referred to as detecting lift-off of the contact from the touch surface. In some embodiments, the contact detection strength threshold is zero. In some embodiments, the contact detection strength threshold is greater than zero.
本明細書で説明される一部の実施形態では、１つ以上の操作は、それぞれの押圧入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（又は、複数の接触）で実行されるそれぞれの押圧入力を検出したことに応じて実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（又は、複数の接触）の強度における増大を検出したことに少なくとも部分的に基づいて検出される。一部の実施形態では、それぞれの動作は、押圧入力強度閾値を上回る、それぞれの接触の強度の増大（例えば、それぞれの押圧入力の「ダウンストローク」）の検出に応じて実行される。一部の実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及び後続の押圧入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、後続の押圧入力閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押圧入力の「アップストローク」）の検出に応じて実行される。 In some embodiments described herein, one or more operations are performed in response to detecting a gesture comprising a respective pressure input or on a respective contact (or multiple contacts). and each pressure input is based at least in part on detecting an increase in the intensity of the contact (or contacts) above a pressure input intensity threshold. detected. In some embodiments, the respective action is performed in response to detecting an increase in strength of the respective contact (eg, a "downstroke" of the respective pressure input) above a pressure input strength threshold. In some embodiments, the pressure input includes increasing the strength of each contact above the pressure input strength threshold and subsequently decreasing the strength of the contact below the pressure input strength threshold, wherein each action is Execution is performed in response to detection of a decrease in the intensity of the respective touch below the input threshold (eg, an "upstroke" of the respective pressure input).
一部の実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある不測の入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との予め定義された関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりもＸ強度単位低いか、又はヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくは何らかの妥当な比率である）。よって、一部の実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及び後続の押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、そのヒステリシス強度閾値を下回る後続のそれぞれの接触の強度の減少（例えば、それぞれの押圧入力の「アップストローク」）の検出に応じて実行される。同様に、一部の実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、ヒステリシス強度以下の強度への後続の接触の強度の減少を検出するときのみ検出され、それぞれの動作は、その押圧入力の検出（例えば、状況に応じて、接触の強度の増大、又は接触の強度の減少）に応じて実行される。 In some embodiments, the device employs intensity hysteresis to avoid unintended inputs, sometimes referred to as "jitter," wherein the device has a hysteresis intensity that has a predefined relationship with a pressing input intensity threshold. Define or select a threshold (e.g., the hysteresis intensity threshold is X intensity units below the pressure input intensity threshold, or the hysteresis intensity threshold is 75%, 90%, or some reasonable ratio of the pressure input intensity threshold ). Thus, in some embodiments, the pressure inputs include an increase in strength of each contact above a pressure input strength threshold and a decrease in strength of contacts below a hysteresis strength threshold corresponding to subsequent pressure input strength thresholds, A respective action is performed in response to detection of a subsequent decrease in the strength of the respective contact below its hysteresis strength threshold (eg, an "upstroke" of the respective pressure input). Similarly, in some embodiments, a pressure input causes the device to increase the intensity of the contact from an intensity below the hysteresis intensity threshold to an intensity above the pressure input intensity threshold, and optionally an intensity below the hysteresis intensity. Each action is detected only when it detects a decrease in the strength of a subsequent touch on the is executed.
説明を容易にするために、押圧入力強度閾値と関連付けられた押圧入力に応じて、又は押圧入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、及び／又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じてトリガされる。加えて、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて動作が実行されるとして説明される実施例では、動作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。 For ease of explanation, descriptions of actions performed in response to a pressure input associated with a pressure input intensity threshold, or in response to a gesture involving a pressure input, are optionally described as above the pressure input intensity threshold. increasing the intensity of the contact, increasing the intensity of the contact from an intensity below the hysteresis intensity threshold to an intensity above the pressure input intensity threshold, decreasing the intensity of the contact below the pressure input intensity threshold, and/or corresponding to the pressure input intensity threshold. Triggered in response to detecting any decrease in the intensity of the touch below the hysteresis intensity threshold. Additionally, in embodiments described as performing an action in response to detecting a decrease in the strength of a contact below a pressure input strength threshold, the action optionally corresponds to the pressure input strength threshold, and in response to detecting a decrease in the intensity of the touch below a lower hysteresis intensity threshold.
ここで、ポータブル多機能デバイス１００、デバイス３００、又はデバイス５００などの電子デバイス上に実装されるユーザインタフェース（「ＵＩ」）及び関連するプロセスの実施形態に着目する。
Attention is now directed to embodiments of user interfaces (“UIs”) and associated processes implemented on electronic devices such as
図６Ａ～図６ＢＱは、一部の実施形態に係る、メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。それらの図におけるユーザインタフェースは、図７Ａ～図７Ｂにおける処理を含む、以下で説明される処理を例示するために使用される。 6A-6BQ illustrate exemplary user interfaces for displaying visual effects in a messaging application, according to some embodiments. The user interfaces in those figures are used to illustrate the processes described below, including the processes in FIGS. 7A-7B.
図６Ａは、一部の場合ではタッチ感知ディスプレイである、ディスプレイ６０１を有するデバイス６００を描く。一部の実施形態では、デバイス６００はまた、光スペクトルの一部（例えば、可視光、赤外光、又は紫外光）を表すデータをキャプチャできるイメージセンサを、最低限に含むカメラ６０２を含む。一部の実施形態では、カメラ６０２は、複数の画像センサ及び／又は他のタイプのセンサを含む。一部の実施形態では、カメラ６０２は、検出された光を表すデータをキャプチャすることに加えて、深度データなどの、他のタイプのデータをキャプチャすることができる。例えば、一部の実施形態では、カメラ６０２はまた、スペックル、飛行時間、視差、又は焦点に基づく技術を使用して、深度データをキャプチャする。デバイス６００がカメラ６０２を使用してキャプチャする画像データは、カメラの視野内のシーンに対する光スペクトルの一部に対応するデータを含む。加えて、一部の実施形態では、キャプチャされた画像データはまた、光データの深度データを含む。一部の他の実施形態では、キャプチャされた画像データは、光スペクトルの一部のデータに対する深度データを決定、又は生成するのに十分なデータを含む。一部の実施形態では、デバイス６００は、デバイス１００、３００、又は５００の１つ以上の特徴を含む。
FIG. 6A depicts a
一部の例では、電子デバイス６００は、赤外線カメラ、サーモグラフィーカメラ、又はそれらの組み合わせなどの、深度カメラを含む。一部の例では、デバイスは、ＩＲフラッド光などの発光デバイス（例えば、光プロジェクタ）、構造化光プロジェクタ、又はそれらの組み合わせを更に含む。発光デバイスは、任意選択的に、可視光カメラ及び深度カメラ（例えば、ＩＲカメラ）による画像のキャプチャ中に被写体を照明するために使用され、深度カメラ及び可視光カメラからの情報は、可視光カメラによってキャプチャされた被写体の異なる部分の深度マップを決定するために使用される。一部の実施形態では、深度マップ（例えば、深度マップ画像）は、視点（例えば、カメラ）からのシーン内のオブジェクトの距離に関する情報（例えば、値）を含む。深度マップの一実施形態では、各深度ピクセルは、その対応する２次元ピクセルが位置する、視点のＺ軸内の位置を規定する。一部の例では、深度マップは、各ピクセルが値（例えば、０～２５５）によって定義されるピクセルから構成される。例えば、「０」値は、「３次元」シーンにおける最も離れた位置に配置されたピクセルを表し、「２５５」値は、「３次元」シーンにおける視点（例えば、カメラ）に最も近いピクセルを表す。他の例では、深度マップは、シーン内のオブジェクトと視点の平面との間の距離を表す。一部の実施形態では、深度マップは、深度カメラの視点における関心あるオブジェクトの様々な特徴の相対的深度（例えば、ユーザの顔の目、鼻、口、耳の相対的な深度）についての情報を含む。一部の実施形態では、深度マップは、ｚ方向の関心あるオブジェクトの輪郭をデバイスが判定することを可能にする情報を含む。一部の実施形態では、本明細書に記載の照明エフェクトは、背面画像用の２つのカメラ（例えば、２つの可視光カメラ）からの視差情報を使用して、及び正面画像（例えば、自撮り画像）用の可視光カメラからの画像データに結合された深度カメラからの深度情報を使用して、表示される。一部の実施形態では、２つの可視光カメラを使用して深度情報を判定し、深度カメラを使用して深度情報を判定する場合には、同じユーザインタフェースが使用されて、照明エフェクトを生成する際に使用される情報を判定するために著しく異なる技術を使用する場合でさえも、ユーザーに一貫性のある体験を提供する。一部の実施形態では、適用される照明エフェクトのうちの１つを用いてカメラユーザインタフェースを表示している間に、デバイスは、ライティングエフェクトを適用し、正面カメラの視野の表示を背面カメラの視界に（又はその逆）置換するためのユーザインタフェース制御の表示を維持しながら、カメラスイッチングアフォーダンスの選択を検出し、正面カメラ（例えば、深度カメラ及び可視光カメラ）から背面カメラ（例えば、互いに離間した２つの可視光カメラ）に（又はその逆）切り替える。
In some examples,
図６Ａでは、デバイス６００は、メッセージングアプリケーションのメッセージングユーザインタフェース６０３を表示している。メッセージングユーザインタフェース６０３は、メッセージ会話において参加者（受信者識別子６０６によって表される）に伝送されるメッセージ６０５を含むメッセージ表示領域６０４を含む。メッセージングユーザインタフェース６０３はまた、メッセージ会話の参加者に送信するための入力（例えば、テキスト入力、マルチメディア入力など）を表示するためのメッセージ作成フィールド６０８を含む。メッセージングユーザインタフェース６０３はまた、カメラアプリケーションアフォーダンス６０９、アプリケーションドックアフォーダンス６１０、キーボード表示領域６１２、及びテキスト提案領域６１４を含む。
In FIG. 6A,
図６Ｂでは、デバイス６００は、カメラアプリケーションアフォーダンス６０９に対応する位置において入力６１６（例えば、ディスプレイ６０１上のタッチ入力）を検出する。
6B,
図６Ｃでは、入力６１６を検出したことに応じて、デバイス６００は、カメラアプリケーションアフォーダンス６０９に関連付けられたカメラアプリケーションを起動し、カメラアプリケーションユーザインタフェース６１５を表示する。カメラアプリケーションユーザインタフェース６１５は、例えば、カメラ（例えば、背面カメラ又はカメラ６０２）の視野内に位置するオブジェクトを表すストリーミングされた画像データ（例えば、ライブカメラプレビュー、ライブカメラ記録、若しくはライブビデオ通信セッション）、又は、例えば写真若しくはビデオ録画などのメディアアイテム、などの画像データの表現を表示する、画像表示領域６２０を含む。図６Ｃに示す実施形態では、画像表示領域６２０は、デバイス６００の背面カメラからのライブカメラプレビュー６２０－１'を示す。
In FIG. 6C , in response to detecting
カメラアプリケーションユーザインタフェース６１５はまた、カメラ固有アフォーダンス６１７、及びカメラアプリケーションユーザインタフェース６１５を終了させるための完了アフォーダンス６１８を含む、画像表示領域６２０の上の領域を含む。カメラ固有アフォーダンスには、カメラフラッシュ機能に関連付けられたアフォーダンス６１７－１、カメラモード機能に関連付けられたアフォーダンス６１７－２、タイマー機能に関連付けられたアフォーダンス６１７－３、及びフィルタ機能に関連付けられたアフォーダンス６１７－４が含まれる。
Camera
カメラアプリケーションユーザインタフェース６１５はまた、画像表示領域６２０の下に配置されたカメラオプション領域６２５を含む。カメラオプション領域６２５は、カメラ（例えば、背面カメラとカメラ６０２）間を切り替えるためのカメラセレクタアフォーダンス６２７、及びカメラが画像データを記録できる異なるキャプチャモードに関連付けられたカメラオプションアフォーダンス６１９を含む。例えば、ビデオアフォーダンス６１９－１は、カメラのビデオ録画キャプチャモードをアクティブ化するための機能に関連付けられ、写真アフォーダンス６１９－２は、カメラの静止画像キャプチャモードをアクティブ化するための機能に関連付けられる。図６Ｃ～図６ＡＸに関して以下に論じる実施形態では、デバイス６００は、写真アフォーダンス６１９－２に関連付けられた操作の静止画像キャプチャモードにある。しかしながら、特に明記しない限り、これらの実施形態はまた、ビデオアフォーダンス６１９－１に関連付けられたビデオ録画モードに適用される。
Camera
カメラオプション領域６２５は、画像表示領域６２０にビジュアルエフェクトを表示するためにデバイス６００が有効化又は無効化されるデバイス６００のモードを、有効化又は無効化するためのエフェクトアフォーダンス６２２を更に含む。デバイス６００のこのモードは、本明細書ではしばしばエフェクトモードと呼ばれる。
カメラオプション領域６２５はまた、画像表示領域６２０に表される画像データをキャプチャするために選択可能なキャプチャアフォーダンス６２１を含む。一部の実施形態では、デバイス６００は、現在有効化されているキャプチャモード（例えば、ビデオ録画キャプチャモード又は画像キャプチャモード）に基づく方法で、画像データをキャプチャする。一部の実施形態では、デバイス６００は、キャプチャアフォーダンス６２１上で検出されたジェスチャのタイプに応じて、画像データをキャプチャする。例えば、デバイス６００がキャプチャアフォーダンス６２１上でタップジェスチャを検出した場合、デバイス６００は、タップジェスチャが発生した時点で画像表示領域６２０に表された画像データの静止画像をキャプチャする。デバイス６００がキャプチャアフォーダンス６２１上でタップアンドホールドジェスチャを検出した場合、デバイス６００は、タップアンドホールドジェスチャが持続する期間中、画像表示領域６２０に表される画像データのビデオ録画をキャプチャする。一部の実施形態では、指がアフォーダンスから持ち上げられると、ビデオ録画が停止する。一部の実施形態では、ビデオ録画は、アフォーダンスに対応する位置において後続の入力（例えば、タップ入力）が検出されるまで続く。一部の実施形態では、キャプチャされた画像（例えば、静止画像又はビデオ録画）は、メッセージ作成フィールド６０８内に挿入され、続いてメッセージ会話の参加者に送信される。一部の実施形態では、キャプチャされた画像は、メッセージ作成フィールド６０８内にキャプチャされた画像を挿入することなく、メッセージ会話の参加者に直接送信される。
図６Ｄでは、デバイス６００は、エフェクトアフォーダンス６２２上の入力６２３（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。
In FIG. 6D,
図６Ｅでは、デバイス６００は、入力６２３を検出したことに応じて、カメラ６０２をアクティブ化し（例えば、背面カメラから切り替えて）、画像表示領域６２０を更新して、カメラ６０２からのライブカメラプレビュー６２０－１を表示し、カメラ６０２の視野内に位置する被写体６３２、及び被写体６３２の背後に表示された背景６３６の表現を示す。本明細書で論じるように、一部の実施形態では、カメラ６０２を使用してキャプチャされた画像データは、カメラ６０２の視野内のオブジェクトの深度を決定するために使用され得る深度データを含む。一部の実施形態では、デバイス６００は、検出されたこれらのオブジェクトの深度に基づいてオブジェクト（例えば、画像データ内の）を解析し、この判定を使用して、本明細書で論じるビジュアルエフェクトを適用する。例えば、デバイス６００は、被写体６３２をライブカメラプレビュー６２０－１の前景にあるものとして、ユーザの背後に位置するオブジェクトをライブカメラプレビュー６２０－１の背景にあるものとして、分類することができる。これらの背景オブジェクトは、ここでは背景６３６と総称する。
6E, in response to detecting
デバイス６００はまた、表示のためにビジュアルエフェクトを有効化していることを示すエフェクトアフォーダンス６２２を強調表示し、カメラオプションアフォーダンス６１９をビジュアルエフェクトオプションアフォーダンス６２４に置換することによってカメラオプション領域６２５を更新する。ビジュアルエフェクトオプションアフォーダンスは、アバターエフェクトアフォーダンス６２４－１及びステッカーエフェクトアフォーダンス６２４－２を含む。ビジュアルエフェクトオプションアフォーダンス６２４は、画像表示領域６２０に表示される画像に適用できる異なるビジュアルエフェクトに対応する。ビジュアルエフェクトオプションアフォーダンス（例えば、６２４－１又は６２４－２）のうちの１つを選択することにより、選択されたビジュアルエフェクトオプションアフォーダンスに対応するビジュアルエフェクトオプションと共に、メニューが表示される。
ユーザは、エフェクトアフォーダンス６２２を選択することによって、デバイス６００のエフェクトモードを有効化又は無効化することができる。エフェクトアフォーダンス６２２が強調表示されると、デバイス６００のエフェクトモードが有効化され、画像表示領域６２０にビジュアルエフェクトを表示する。ユーザが強調表示されたアフォーダンス６２２上をタップすると、エフェクトアフォーダンス６２２はもはや強調表示されず、画像表示領域６２０における表示のためにビジュアルエフェクトが有効化されないように、エフェクトモードが無効化される。一部の実施形態では、エフェクトモードが有効化されると、デバイス６００は、画像表示領域６２０に示される画像を更新して、画像に適用されている１つ以上のビジュアルエフェクト（ライブ画像ストリームに適用されるビジュアルエフェクトを含む）を表示し、エフェクトモードが無効化されると、デバイス６００は、画像表示領域６２０に示される画像からビジュアルエフェクトを除去するか、又は隠す。
A user can enable or disable the effects mode of
図６Ｆでは、デバイス６００は、アバターエフェクトアフォーダンス６２４－１上の入力６２６（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。
In FIG. 6F,
図６Ｇでは、入力６２６を検出したことに応じて、デバイス６００は、アバターオプション６３０のスクロール可能リストと共に、アバターオプションメニュー６２８を表示する。アバターオプションメニュー６２８はまた、アバターオプション６３０のうちの選択された１つを示すための選択領域６２９を含む。図６Ｇに示すように、ロボットアバターオプション６３０－３が選択領域６２９に配置され、ロボットアバターオプション６３０－１が選択されていることを示す。図６Ｇに示す別のアバターオプション６３０は、カスタマイズされた女性アバターオプション６３０－１、ヌルアバターオプション６３０－２、ウサギアバターオプション６３０－４、及びエイリアンアバターオプション６３０－５を含む。以下で詳細に論じるように、ヌルアバターオプション６３０－２は、アバターが画像表示領域６２０内の被写体上に表示されないためのアバターオプションに対応する。一部の実施形態では、ヌルアバターオプション６３０－２は、アバターオプションメニュー６２８が表示されているときに、デフォルトで選択されるアバターオプションである。
6G, in response to detecting
アバターオプション６３０は、画像表示領域６２０内の被写体の表現に適用される仮想アバタービジュアルエフェクトに対応する。具体的には、各アバターオプション６３０は、選択されると、画像表示領域内の被写体の顔の上に転置される仮想アバターに対応し、他方、画像表示領域内の画像の他の部分（背景、又はユーザの身体などのユーザの他の部分など）は表示されたままとなる。カメラ６０２の視野内に位置するユーザ（例えば、被写体６３２）は、様々な顔の特徴の動き（例えば、ウインク、舌の突き出し、笑顔など）を含む顔の姿勢（例えば、回転又は向き）を変更することによって、仮想アバターの視覚的態様を制御することができる。仮想アバターの表示及び動きを制御するための詳細は、米国特許出願第１５／８７０，１９５号に提供されており、これは、すべての目的のために参照により本明細書に組み込まれる。
一部の実施形態では、仮想アバターは、グラフィックに描くことができるユーザーの表現（例えば、ユーザーのグラフィック表現）である。一部の実施形態では、仮想アバターは非写実的（例えば、漫画的である）である。一部の実施形態では、仮想アバターは、１つ以上のアバター特徴（例えば、アバター顔部特徴）を有するアバター顔部を含む。一部の実施形態では、アバター特徴は、ユーザの物理的特徴の検出された動きが（例えば、深度検出カメラなどのカメラに基づいて判定されるように）、アバター特徴（例えば、特徴のグラフィック表現に影響を及ぼす）に影響を及ぼすように、ユーザの顔の１つ以上の物理的特徴に対応する（例えば、マッピングされる）。 In some embodiments, the virtual avatar is a representation of the user that can be graphically drawn (eg, a graphical representation of the user). In some embodiments, the virtual avatar is non-photorealistic (eg, cartoonish). In some embodiments, the virtual avatar includes an avatar face having one or more avatar features (eg, avatar facial features). In some embodiments, the avatar features are avatar features (e.g., graphical representations of the features, such that the detected movement of the user's physical features is determined (e.g., based on a camera, such as a depth-sensing camera). correspond to (eg, be mapped to) one or more physical features of the user's face to affect (e.g., affect).
一部の例では、ユーザは、カメラセンサ（例えば、カメラモジュール１４３、光センサ１６４）、及び任意選択的に深度センサ（例えば、深度カメラセンサ１７５）を使用して、仮想アバターの特性又は特徴を操作することができる。ユーザの物理的特徴（顔の特徴など）及び位置（頭の位置、頭の回転、又は頭の傾きなど）が変化すると、電子デバイスは、その変化を検出し、仮想アバターの表示された画像を変更して、ユーザの身体的特徴及び位置の変化を反映する。一部の実施形態では、ユーザの身体的特徴及び位置に対する変化は、様々な表現、感情、コンテキスト、トーン、又は他の非言語コミュニケーションを示す。一部の実施形態では、電子デバイスは、これらの表現、感情、コンテキスト、トーン、又は他の非言語コミュニケーションを表すために、仮想アバターの表示された画像を変更する。
In some examples, the user uses a camera sensor (eg,
一部の実施形態では、仮想アバターは、カスタマイズ可能なアバター（例えば、カスタマイズ可能なアバター８３５）である。カスタマイズ可能なアバターは、例えば、所望の外観（例えば、ユーザーのように見える）を達成するために、ユーザーが選択し、カスタマイズできる仮想アバターである。カスタマイズ可能なアバターは、一般的に、動物又は他の非人間オブジェクトの擬人化構成物などの非人間キャラクタではなく、人間キャラクタの外観を有する。加えて、アバターの特徴は、アバター編集ユーザインタフェース（例えば、図８ＡＡ～図８ＡＢに関して以下に論じるアバター編集ユーザインタフェースなど）を使用して、必要に応じて、作成又は変更することができる。一部の実施形態では、カスタマイズ可能なアバターを、カスタマイズされた物理的外観、物理的構成物、又はモデル化された挙動を達成するように、生成及び構成することができる。 In some embodiments, the virtual avatar is a customizable avatar (eg, customizable avatar 835). A customizable avatar is, for example, a virtual avatar that can be selected and customized by a user to achieve a desired appearance (eg, look like the user). Customizable avatars generally have the appearance of human characters rather than non-human characters such as anthropomorphic constructs of animals or other non-human objects. Additionally, avatar characteristics can be created or modified as desired using an avatar editing user interface (eg, such as the avatar editing user interface discussed below with respect to FIGS. 8AA-8AB). In some embodiments, customizable avatars can be created and configured to achieve customized physical appearances, physical constructs, or modeled behaviors.
一部の実施形態では、仮想アバターはカスタマイズ不可能なアバターである。カスタマイズ不可能なアバターは、ユーザによって選択できる仮想アバターであるが、以下でより詳細に説明するように、それらの外観は顔追跡を介して変更することができるものの、一般的には本来構成可能ではない。代わりに、カスタマイズ不可能なアバターは予め構成されており、一般にユーザによって変更できる特徴成分を有しない。一部の実施形態では、カスタマイズ不可能なアバターは、動物又は他の非人間オブジェクトの擬人化構成物（例えば、ロボットアバター６３３、ウサギアバター６３４を参照）などの非人間キャラクタの外観を有する。カスタマイズ不可能なアバターは、ユーザが作成できず、又は、物理的外観、物理的構成物、若しくはカスタマイズ不可能なアバターのモデル化された挙動において著しい変更を達成するように変更することができない。
In some embodiments, the virtual avatar is a non-customizable avatar. Non-customizable avatars are virtual avatars that can be selected by the user, but are generally configurable in nature, although their appearance can be changed via face tracking, as described in more detail below. isn't it. Instead, non-customizable avatars are pre-configured and generally do not have characteristics that can be changed by the user. In some embodiments, the non-customizable avatar has the appearance of a non-human character, such as an anthropomorphic construct of an animal or other non-human object (see, eg,
図６Ｇでは、ロボットアバター６３０－３が選択されているので、デバイス６００は、画像表示領域６２０に表示された被写体６３２（例えば、ユーザ）の顔に配置されたロボットアバター６３３を表示する。デバイス６００は、アバターがカメラ６０２の視野内を移動する際に被写体の顔に固定されたままになるようにアバターを表示する。デバイス６００はまた、表示された被写体の身体及び背景６３６を画像表示領域６２０に示される画像内に維持しながら、顔の姿勢又は表情の変化を含むユーザの顔の検出された変化に基づいて、アバターを継続的に変更する。
In FIG. 6G, robot avatar 630 - 3 is selected, so
図６Ｈに示すように、デバイス６００がユーザの頭部がカメラ６０２の視野を越えて移動したことを検出した場合、デバイス６００は、例えば、選択されたアバター（例えば、ロボットアバター）の表現６４０を含むプロンプト６３８と、ユーザにカメラ６０２の視野内に頭部を再配置するように指示するメッセージ６４２とを表示する。一部の実施形態では、プロンプト６３８が、ぼやけた背景６４４（ユーザ６３２及び背景６３６をぼかすことを含む）と共に表示される。一部の実施形態では、プロンプト６３８を表示することは、画像表示領域６２０の中心位置に戻っていく選択されたアバターのアニメーションを表示すること、及びアバター特徴の物理モデルに基づいて停止するように見える、アバター及びその特徴の遅くなった動きを示すことを含む。
As shown in FIG. 6H, when the
いったんデバイス６００がカメラ６０２の視野に戻るユーザの頭部を検出すると、デバイスは、図６Ｉに示すように、ユーザの顔において検出された変化に基づいて、選択されたアバター（例えば、ロボットアバター６３３）を更新し続ける。一部の実施形態では、デバイス６００がカメラ６０２の視野に戻るユーザの顔を検出すると、デバイス６００は、画像表示領域６２０の中心位置からユーザの顔の位置に移動するアバター６３３を表示し、検出されたユーザの顔の変化に基づいてアバターの変更を再開する。
Once
図６Ｉ～図６Ｋでは、デバイス６００は、アバターオプション６３０の表示されたリスト上の入力６４４（例えば、ディスプレイ６０１上のスクロールジェスチャ）を検出する。入力６４４がディスプレイ６０１を横切って左方向に移動すると、デバイス６００は、左にスクロールして追加のアバターオプション（例えば、うんちアバターオプション及びキツネアバターオプション）を明らかにするアバターオプション６３０を表示する。一部の実施形態では、アバターオプションのうちの１つが選択領域６２９に入ると、デバイスは、その時点における入力６４４の終了が、選択領域６２９内に現在位置しているアバターオプションの選択をもたらし得ることをユーザに示すための触覚フィードバック（例えば、音声出力を伴う、又は伴わない触知出力）を生成する。例えば、図６Ｋでは、デバイス６００は、エイリアンアバターオプション６３０－５が選択領域６２９内に位置するときに、触覚フィードバック６４６を生成する。
6I-6K,
図６Ｊでは、デバイス６００は、入力６４４の終了を検出し、エイリアンアバターオプション６３０－５が選択領域６２９内に位置していると判定する。結果として、デバイス６００は、被写体の身体及び背景６３６の表示を維持しながら、ロボットアバター６３３を、選択されたエイリアンアバターオプション６３０－５に対応するエイリアンアバター６３５に置換する。一部の実施形態では、以前に選択されたアバター（例えば、ロボットアバター６３３）を現在選択されているアバター（例えば、エイリアンアバター６３５）に置換することは、オフスクリーン（例えば、画像表示領域６２０の外）で移動する、以前に選択されたアバターのアニメーション、及びアバターオプションメニュー６２８から画像表示領域６２０内のユーザの顔に移動する、現在選択されているアバターのアニメーション、を表示することを含む。一部の実施形態では、現在選択されているアバターの顔追跡は、アバターがアバターオプションメニュー６２８からユーザーの顔に移動すると開始する。一部の実施形態では、アバターの切り替え操作が発生している間、背景をぼかしている。
6J,
図６Ｍ～図６Ｎでは、デバイス６００は、アバターオプションメニュー６２８上の垂直ジェスチャ６４６（例えば、ディスプレイ６０１上の垂直スワイプ又はタッチアンドドラッグ）を検出し、これに応じて、図６Ｎに示すように、アバターオプションメニュー６２８を拡大ビュー６２８－１に拡大する。図６Ｎでは、アバターオプション６３０はマトリクス状に配置されており、図６Ｏに示すように、選択されて（例えば、ジェスチャ６４８はロボットアバターオプション６３０－３を選択する）、画像表示領域６２０に異なるアバターを表示することができる。
6M-6N,
図６Ｐに示すように、ジェスチャ６４８に応じて、デバイス６００は、選択されたロボットアバターオプション６３０－３（選択領域６２９に配置される）を含むアバターオプションメニュー６２８、及び画像表示領域６２０内のユーザの頭部に表示されるロボットアバター６３３を示す（例えば、メニューを逆拡大することによって）。
As shown in FIG. 6P, in response to
図６Ｑでは、デバイス６００は、クローズアイコン６５０上の入力６４９（例えば、ディスプレイ６０１上のタップジェスチャ）を検出して、アプリケーションオプションメニュー６２８をクローズし、画像表示領域６２０上の画像ストリーム（例えば、ライブカメラプレビュー）内のユーザの顔のロボットアバター６３３の表示を維持しながら、カメラオプション領域６２５を示している図６Ｒ示すカメラユーザインタフェース６１５に戻る。カメラオプション領域６２５は、キャプチャアフォーダンス６２１、ビジュアルエフェクトオプションアフォーダンス６２４、及び強調表示エフェクトアフォーダンス６２２を示す。図６Ｓ及び図６Ｔに以下示すように、ユーザは、アバターメニューアフォーダンス６２４－１を選択して、アバターオプションメニュー６２８を再度表示することができる。
6Q,
例えば、図６Ｓでは、デバイス６００は、アバターエフェクトアフォーダンス６２４－１上の入力６５２（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。図６Ｔでは、入力６５２を検出したことに応じて、デバイス６００は、キャプチャアフォーダンス６２１、エフェクトアフォーダンス６２２、及びビジュアルエフェクトオプションアフォーダンス６２４を含むカメラオプション領域６２５を置換するアバターオプション６３０を有する、アバターオプションメニュー６２８を表示する。アバターオプションメニュー６２８は、前述したように、クローズアフォーダンス６５０を選択することによって再びクローズして、図６Ｕに示すように、カメラアプリケーションユーザインタフェース６１５に再び戻ることができる。
For example, in FIG. 6S,
図６Ｕでは、デバイス６００は、ステッカーエフェクトアフォーダンス６２４－２上の入力６５４（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。図６Ｖでは、入力６５４を検出したことに応じて、デバイス６００は、ステッカー６５８のスクロール可能リストを有するステッカーオプションメニュー６５６を表示する。ステッカーは、ユーザが選択できて、画像表示領域６２０内の画像に適用される、静的なグラフィカルオブジェクトである。一部の実施形態では、ステッカーは、選択されたステッカー上で開始し、ステッカーを所望の位置にドラッグし、次いでドラッグを終了（例えば、指をリフト）することによってステッカーを所望の位置に配置する、タッチアンドドラッグジェスチャによって選択することができる。一部の実施形態では、ステッカーはタップジェスチャによって選択することができ、次いで対応するステッカーが画像表示領域６２０上の位置に表示される。このような実施形態の一例は図６Ｗ～図６Ｘに示され、次いで画像表示領域６２０の中央に表示されるヘルメットステッカー６５８－１上のタップジェスチャ６６０を示している。
In FIG. 6U,
図６Ｙ～図６Ｚは、ステッカーを新しい位置にドラッグすることによって、配置されたステッカー（例えば、ステッカー６５８－１）を画像表示領域６２０上に再配置できることを示す（ステッカー６５８－１を図６Ｚの新しい位置に動かしているジェスチャ６６２参照）。
FIGS. 6Y-6Z illustrate that a placed sticker (eg, sticker 658-1) can be repositioned on
図６ＡＡは、配置されたステッカー（例えば、ステッカー６５８－１）が、２本指のジェスチャ６６４を使用して回転できることを示す。
FIG. 6AA shows that a placed sticker (eg, sticker 658-1) can be rotated using a two-
図６ＡＢは、配置されたステッカー（例えば、ステッカー６５８－１）が、ピンチ又はデピンチジェスチャを使用してサイズ変更できることを示す。図６ＡＢでは、ヘルメットステッカー６５８－１が、デピンチジェスチャ６６６に応じて拡大されている。サイズ変更され、回転され、再配置されたヘルメットステッカー６５８－１が、図６ＡＣのロボットアバターの頭部上に配置されて示されている。
FIG. 6AB shows that a placed sticker (eg, sticker 658-1) can be resized using a pinch or depinch gesture. 6AB, helmet sticker 658-1 is expanded in response to
図６ＡＤでは、デバイス６００は、クローズアイコン６７０上の入力６６８（例えば、ディスプレイ６０１上のタップジェスチャ）を検出して、ステッカーオプションメニュー６５６をクローズし、図６ＡＥに示すように、キャプチャアフォーダンス６２１を示すカメラオプション領域６２５、ビジュアルエフェクトオプションアフォーダンス６２４、及びビジュアルエフェクトが表示可能にされていることを示す強調表示エフェクトアフォーダンス６２２を含む、カメラアプリケーションユーザインタフェース６１５に戻る。図６ＡＥでは、デバイス６００は、画像表示領域６２０上の画像にユーザの表現を示すが、ロボットアバター６３３（例えば、アバターオプションメニュー６２８から選択された）及びヘルメットステッカー６５８－１（例えば、ステッカーオプションメニュー６５６から選択された）を含むビジュアルエフェクトを用いて変更される。ビジュアルエフェクトの表示は動的である。例えば、デバイス６００は、ユーザの顔の検出された変化に応じてロボットアバター６３３を連続的に変更する。一部の実施形態では、ステッカー６５８－１の位置決めはまた、以下に一層詳細に論じるように、動的であり、かつユーザの検出された動きに基づいて変化する。
6AD,
ビジュアルエフェクトがデバイス６００に対して有効化されている（例えば、エフェクトアフォーダンス６２２が強調表示されている）ときに、強調表示されたエフェクトアフォーダンス６２２を選択解除する（例えば、強調表示されているときにアフォーダンス６２２を選択して、ビジュアルエフェクトを無効化する）ことによって、適用されたビジュアルエフェクト（例えば、アバター及びステッカーなど）を画像表示領域６２０から除去する、又は隠すことができる。例えば、図６ＡＦでは、デバイスは、強調表示エフェクトアフォーダンス６２２上の入力６７２（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。これに応答して、デバイス６００は、カメラ６０２の視野内に被写体６３２及び背景６３６を含む画像ストリーム（例えば、ライブカメラプレビュー６２０－１）の表示を維持しながら、図６ＡＧに示すように、表示されたビジュアルエフェクト（例えば、図６ＡＦのヘルメットステッカー６５８－１及びロボットアバター６３３）を画像表示領域６２０から除去する。
Deselecting the highlighted
一部の実施形態では、ビジュアルエフェクトモードが（例えば強調表示エフェクトアフォーダンス６２２を選択解除することにより）無効化された後、除去されたビジュアルエフェクトは、例えば、所定の時間内にエフェクトアフォーダンス６２２を再選択することによって、復元することができる。例えば、図６ＡＨでは、デバイスは、非強調表示エフェクトアフォーダンス６２２上の入力６７４（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。入力６７４を検出したことに応じて、デバイス６００は、図６ＡＩに示すように、被写体６３２の身体及び背景６３６を含む画像ストリーム（例えば、ライブカメラプレビュー６２０－１）を表示し続けながら、エフェクトアフォーダンス６２２を強調表示し、ヘルメットステッカー６５８－１及びロボットアバター６３３を再表示する。
In some embodiments, after the visual effects mode is disabled (e.g., by deselecting highlight effect affordance 622), the removed visual effect may reappear
図６ＡＪでは、デバイス６００は、キャプチャアフォーダンス６２１上の入力６７６（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。入力６７６を検出したことに応じて、デバイス６００は、図６ＡＪのライブカメラプレビュー６２０－１の画像をキャプチャし、図６ＡＫのメディアアイテム６２０－２（例えば、デバイス６００がキャプチャアフォーダンス６２１上の入力６７６を検出した時間におけるライブカメラプレビュー６２０－１の状態の静止画像）を表示する。
In FIG. 6AJ,
一部の実施形態では、画像がキャプチャされる（例えば、メディアアイテムとして記憶される）と、デバイス６００は、深度データをメディアアイテム内に符号化する。深度データをメディアに記憶することにより、深度ベースのエフェクト（例えば、ｚ方向におけるオブジェクト（例えば、ユーザの顔）の位置に基づくエフェクト）を後で適用することが可能になる。一部の実施形態では、エフェクトが適用されている間に画像がキャプチャされると、他のデバイスとの互換性を改善するために、そのエフェクトが視覚（例えば、ＲＧＢ）情報に直接符号化される。
In some embodiments, when an image is captured (eg, stored as a media item),
図６ＡＫでは、デバイス６００は、画像表示領域６２０にキャプチャされた画像（例えば、メディアアイテム６２０－２）を示すカメラアプリケーションユーザインタフェース６１５を表示する（例えば、メディアアイテム６２０－２は、画像表示領域６２０に示されるライブカメラプレビュー６２０－１を置換する）。メディアアイテム６２０－２は、キャプチャアフォーダンス６２１が選択された時点でのライブカメラプレビュー６２０－１の表現である。このように、メディアアイテム６２０－２は、被写体６３２の顔、及び背景６３６の上に表示されるヘルメットステッカー６５８－１及びロボットアバター６３３を含む。
6AK,
デバイス６００はまた、カメラ固有アフォーダンス（例えば、図６ＡＪに示すアフォーダンス６１７）を、再撮影アフォーダンス６７９、及び、受信者識別子６０６に置換し、受信者識別子６０６は、以下に論じるように、ユーザが続いてメディアアイテムを送信すべき、メディアアイテム６２０－２の現在選択されている受信者を示す。
デバイス６００は、ビジュアルエフェクトオプションアフォーダンス６２４を含むカメラオプション領域６２５を表示する。ビジュアルエフェクトオプションアフォーダンス６２４を選択して、それぞれのオプションメニューを表示することができ、メニューを使用して、キャプチャされたメディアアイテム６２０－２（並びに、後述する録画されたビデオメディアアイテム６２０－４）を変更することができる。
デバイス６００はまた、カメラオプション領域６２５を更新して、キャプチャアフォーダンス６２１及びカメラセレクタアフォーダンス６２７を、マークアップアフォーダンス６７７、編集アフォーダンス６７８、及び送信アフォーダンス６８０に置換する。マークアフォーダンス６７７は、ユーザがメディアアイテム６２０－２をマークアップすることを可能にする。編集アフォーダンス６７８により、ユーザが、画像を切り取ること、又はメディアアイテム６２０－２の他の特性を調整することによってなどで、メディアアイテム６２０－２を編集することが可能になる。図６ＡＫに示すように、送信アフォーダンス６８０がキャプチャアフォーダンス６２１をディスプレイ上でに置換するように、キャプチャアフォーダンス６２１が表示された同じ位置／領域内に、送信アフォーダンス６８０が表示される。
送信アフォーダンス６８０は、受信者識別子６０６によって示される受信者にメディアアイテム６２０－２を、ユーザが直ちに送信することを可能にする。例えば、図６ＡＬでは、デバイス６００は、送信アフォーダンス６８０上の入力６８２（例えば、ディスプレイ６０１上のタップジェスチャ）を検出し、図６ＡＭのメッセージングユーザインタフェース６０３に示すように、受信者識別子６０６に対応する連絡先であるＪｏｈｎに、メディアアイテム６２０－２を直ちに送信する。一部の実施形態では、デバイス６００は、メッセージングユーザインタフェース６０３を表示することなくメディアアイテム６２０－２を送信する。図６ＡＭに示すなどの一部の実施形態では、デバイスは、メディアアイテム６２０－２を送信し、メディアアイテム６２０－２を有するメッセージングユーザインタフェース６０３をメッセージ表示領域６０４に表示して、メディアアイテム６２０－２がメッセージ会話の参加者（例えば、Ｊｏｈｎ）に送信されたこと、及びキーボード表示領域６１２の上方に配置されたアプリケーションドック６９０を表示していること、を示す。アプリケーションドック６９０は、異なるアプリケーションにアクセスするために選択可能なアプリケーションアフォーダンス６９２を含む。
Send
一部の実施形態では、メディアアイテム６２０－２は、メッセージング会話の参加者に直ちには送信されない。例えば、図６ＡＮでは、送信アフォーダンス６８０を選択する代わりに、ユーザは完了アフォーダンス６１８を選択する。完了アフォーダンス６１８上の入力６８４（例えば、ディスプレイ６０１上のタップジェスチャ）を検出したことに応じて、デバイス６００は、図６ＡＯに示すように、メッセージングユーザインタフェース６０３のメッセージ作成フィールド６０８に、メディアアイテム６８５の表現を表示する。この実施形態（図６ＡＯ～図６ＡＲに示す）では、アプリケーションドック６９０を表示する代わりに、デバイス６００は、メッセージを送信する前に、キーボード表示領域６１２と一緒にテキスト提案領域６１４を表示し、ユーザがテキスト（例えば、６８７）を作成するか、又は任意選択的に他のメッセージコンテンツ（例えば、マルチメディアコンテンツ）を追加できるようにする。送信アイコン６８８上の入力６８６（例えば、ディスプレイ６０１上のタップジェスチャ）を検出したことに応じて、デバイス６００は、図６ＡＱ～図６ＡＲに示すように、メディアアイテム６８５の表現をメッセージ会話の参加者に送信する。
In some embodiments, media item 620-2 is not immediately sent to participants in the messaging conversation. For example, in FIG. 6AN, instead of selecting Send
一部の実施形態では、メディアアイテム６８５を送信することは、メディアアイテムに符号化された深度データを有するメディアアイテムを送信することを含む。深度データと共にメディアアイテムをメディアに記憶することにより、深度ベースのエフェクト（例えば、ｚ方向におけるオブジェクト（例えば、ユーザの顔）の位置に基づくエフェクト）を、後で適用すること（例えば、受信者が後で適用すること）が可能になる。一部の実施形態では、メディアアイテムが送信されると、他のデバイスとの互換性を向上させるために、そのエフェクトが視覚（例えばＲＧＢ）情報に直接符号化される。
In some embodiments, transmitting
一部の実施形態では、メディアアイテム６８５の表現を送信した後、デバイス６００は、図６ＡＲに示すように、キーボード表示領域６１２の上方に表示されるテキスト提案領域６１４を有するメッセージングユーザインタフェース６０３を表示する。アプリケーションドックアフォーダンス６１０上の入力６９４（例えば、ディスプレイ６０１上のタップジェスチャ）を受信したことに応じて、デバイス６００は、図６ＡＴに示すように、テキスト提案領域６１４をアプリケーションドック６９０に置換する。
In some embodiments, after sending the representation of
一部の実施形態では、ユーザがメッセージ作成フィールド６０８又ははキーボード領域６１２（メッセージのテキストを作成することに関連付けられた動作）を選択するまで、アプリケーションドック６９０はメッセージングユーザインタフェース６０３に表示されたままである。例えば、図６ＡＵに示すように、デバイス６００は、キーボード表示領域６１２上の入力６９６（例えば、デバイス６０１上のタップジェスチャ）を検出する。これに応じて、図６ＡＶに示すように、デバイス６００は、アプリケーションドック６９０を除去し、キーボード表示領域６１２の上方にテキスト提案領域６１４を表示する。一部の実施形態では、入力６９６が（キーボード表示領域６１２の代わりに）メッセージ作成フィールド上の入力である場合、デバイス６００はまた、図６ＡＶに示すように、アプリケーションドック６９０を除去し、テキスト提案領域６１４を表示する。
In some embodiments,
図６ＡＷは、アプリケーションドックアフォーダンス６１０が選択された後（例えば、図６ＡＳの入力６９４に応じて）のメッセージングユーザインタフェース６０３を示す。アプリケーションドック６９０は、キーボード選択領域６１２の上方に表示される（例えば、テキスト提案領域６１４を置換する）。アプリケーションアフォーダンス６９２－１上の入力６９８（例えば、ディスプレイ６０１上のタップジェスチャ）を検出したことに応じて、デバイス６００は、テキスト提案領域６１４及びキーボード表示領域６１２によって以前に占有されていた位置にアプリケーション表示領域６９９を表示する。アプリケーション表示領域６９９は、アプリケーションドック６９０を任意選択的に含み、アプリケーションドック６９０は、図６ＡＸに示すように、選択されたアプリケーションアフォーダンス（例えば、アプリケーションアフォーダンス６９２－１）の表示６１００を含む。
FIG. 6AW shows
一部の実施形態では、アプリケーション表示領域６９９は、メッセージングユーザインタフェース６０３で使用するために選択できるグラフィカルオブジェクト６１０２を含む。一部の実施形態では、アプリケーション表示領域６９９に表示されるグラフィカルオブジェクトのタイプは、アプリケーション表示領域の表示を呼び出すために選択されたアプリケーションアフォーダンスに依存する。図６ＡＸに示す実施形態では、選択されたアプリケーションアフォーダンス６９２－１は、アバターアプリケーションに対応する。したがって、アプリケーション表示領域６９９に表示されるグラフィカルオブジェクト６１０２－１及び６１０２－２は、メッセージングユーザインタフェースで使用するために選択できるアバターに対応する。アプリケーションドック６１０から選択されたアプリケーションアフォーダンスがステッカーアプリケーションに対応する場合、グラフィカルオブジェクト６１０２は、メッセージングユーザーインタフェースで使用するために選択できるステッカーに対応する。
In some embodiments,
前述したように、図６Ｃ～図６ＡＸに関して説明した先の実施形態は、写真アフォーダンス６１９－２に関連付けられた動作の静止画像キャプチャモードで動作するデバイス６００に関して論じられる。しかしながら、特に明記しない限り、これらの実施形態はまた、デバイスがビデオアフォーダンス６１９－１に関連付けられたビデオ録画モードで動作しているときのデバイス６００の動作に適用される。このようにして、ビデオアフォーダンス６１９－１に関連付けられたビデオ録画モードで動作しているときにデバイス６００に適用される先の実施形態の多くを示す、図６ＡＹ～図６ＢＱの下記の説明は、冗長性を避けるために必要に応じて省略されている。
As noted above, the previous embodiments described with respect to FIGS. 6C-6AX are discussed with respect to
図６ＡＹ～図６ＡＺは、カメラアプリケーションユーザインタフェース６１５のビデオアフォーダンス６１９－１上の入力６１０４を検出したことに応じて、デバイス６００がビデオ録画モードに切り替わることを示す。ビデオ録画モードに切り替えると、デバイス６００は、カメラ固有アフォーダンス６１７－２、６１７－３、及び６１７－４を除外し、タイマ６１２２を表示する。
6AY-
図６ＡＺ～図６ＢＢは、エフェクトアフォーダンス６２２上の入力６１０６に応じてエフェクトモードを有効化し、次いでビデオ記録モードが有効化されている間に、カメラオプション領域６２５にビジュアルエフェクトオプションアフォーダンス６２４を表示するデバイス６００を示す。
6AZ-6BB show a
図６ＢＣ～図６ＢＥは、アバターエフェクトアフォーダンス６２４－１上の入力６１０８を検出したことに応じて、アバターオプションメニュー６２８を表示するデバイス６００を示す。アバターオプションメニュー６２８は、ビデオモード中に被写体の顔に対応するアバターを表示するために選択できる、アバターオプション６３０を含む。ロボットアバターオプション６３０－３が選択されると、デバイス６００は、被写体の身体及び背景６３６の表示を維持しながら、ロボットアバター６３３を被写体の顔に表示する。クローズアイコン６５０は入力６１１０により選択され、アバターオプションメニュー６２８をクローズし、強調表示されたエフェクトアフォーダンス６２２及び表示されたビジュアルエフェクトオプションアフォーダンス６２４を有するカメラオプション領域６２５に戻る。
6BC-
図６ＢＦ～図６ＢＨは、画像表示領域６２０に表された画像データの録画されたビデオを生成するデバイス６００を示す。デバイス６００は、キャプチャアフォーダンス６２１上の入力６１１２を検出し、画像表示領域６２０に表された画像データのキャプチャを開始する。一部の実施形態では、デバイス６００は、デバイス６００のビデオ録画モードが有効化されているとの判定に基づいて、画像データのビデオ記録を生成する。一部の実施形態では、デバイス６００は、キャプチャアフォーダンス６２１上で検出された入力６１１２に基づいて、ビデオ録画又は任意選択で静止画像キャプチャを生成する。例えば、入力６１１２がタップジェスチャとして検出されると、デバイス６００は、画像表示領域６２０に表される画像データの静止画像をキャプチャする。入力６１１２がタップアンドホールドジェスチャとして検出された場合、デバイス６００は、一層詳細に上述したように、画像データのビデオ録画をキャプチャする。
6BF-6BH illustrate
図６ＢＧでは、キャプチャアフォーダンス６２１上の入力６１１２を検出したことに応じて、デバイス６００は、被写体、背景、及びビジュアルエフェクトを含む画像表示領域６２０に表される画像データを記録するための処理を開始する。デバイス６００はまた、カメラエフェクト領域６２５を除去し、画像表示領域６２０を拡張し、並びに停止アフォーダンス６１１４、及び任意選択的に、ライブカメラ記録の静止画像をキャプチャするための画像キャプチャアフォーダンス６１１６を表示することによって、カメラアプリケーションユーザーインタフェース６１５を変更する。図６ＢＧ及び図６ＢＨでは、画像表示領域６２０は、上述のようになされた様々な選択に従って有効化されるビジュアルエフェクト（例えば、ロボットアバター６３３）の追加を伴う、カメラ６０２の視野内のオブジェクトのライブカメラ記録６２０－３を表す。ステッカー及びフルスクリーンエフェクトを含むこともできる、これらのビジュアルエフェクトは、ライブ画像データの一部として画像表示領域６２０に表示され、結果としてのメディアアイテムの一部を形成するために記録される。本明細書で論じるように、これらのビジュアルエフェクトは、メディアアイテムが記録された後、メディアアイテムに任意選択的に表示又は隠すことができる。
In FIG. 6BG, in response to detecting
図６ＢＨでは、デバイス６００は、ユーザの顔の変化を検出し、ライブ画像ストリームを記録しながら、ユーザの顔の検出された変化に基づいてロボットアバター６３３を変更する。停止アフォーダンス６１１４上の入力６１１８を検出したことに応じて、デバイス６００は、画像表示領域６２０に表される画像データの記録を停止し、図６ＢＩに示す再生インタフェースを表示する。
In FIG. 6BH, the
図６ＢＩでは、デバイス６００は、画像表示領域６２０に記録されたビデオメディアアイテム６２０－４を表示し、再撮影アフォーダンス６７９及び受信者識別子６０６を表示し、受信者識別子は、本明細書で論じるように、ユーザが続いてメディアアイテムを送信すべき、ビデオアイテム６２０－４の現在選択されている受信者を示す。
In FIG. 6BI,
デバイス６００はまた、停止アフォーダンス６１１４及び画像キャプチャアフォーダンス６１１６を除去し、記録されたビデオメディアアイテム６２０－４用のビデオスクラバ６１２０、エフェクトアフォーダンス６２２、編集アフォーダンス６７８、マークアップアフォーダンス６７７、及び送信アフォーダンス６８０を有するカメラオプション領域６２５を表示する。カメラオプション領域６２５はまた、ビジュアルエフェクトオプションアフォーダンス６２４を含む。ビジュアルエフェクトオプションアフォーダンス６２４を選択して、キャプチャされたメディアアイテム６２０－４を変更するために使用できる、それぞれのオプションメニューを表示することができる。図６ＢＪ～図６ＢＮは、キャプチャされたビデオメディアアイテム６２０－４においてビジュアルエフェクトを変更する例を示す。図６ＢＩに示すように、送信アフォーダンス６８０がキャプチャアフォーダンス６１１６をディスプレイ上でに置換するように、キャプチャアフォーダンス６１１６が表示された同じ位置／領域内に、送信アフォーダンス６８０が表示される。
図６ＢＪ～図６ＢＮは、アバターエフェクトアフォーダンス６２４－１上の入力６１２４を検出したことに応じて、アバターオプションメニュー６２８を表示するデバイス６００を示す。図６ＢＫに示すように、アバターオプションメニュー６２８は、選択されたロボットアバターオプション６３０－３を含むアバターオプション６３０を示す。図６ＢＬに示すように、デバイス６００は、入力６１２６を検出してウサギアバターオプション６３０－４を選択し、ビデオメディアアイテム６２０－４を更新して、図６ＢＭに示すように、被写体の身体及び背景６３６をなおも表示しながら、被写体の頭部に配置されたウサギアバター６３４を示す。図６ＢＮに示すように、クローズアイコン６５０上の入力６１２８を検出したことに応じて、デバイス６００は、アバターオプションメニュー６２８をクローズし、図６ＢＯのカメラオプション領域６２５を表示する。ビデオスクラバ６１２０を含むカメラオプション領域６２５は、図６ＢＪのロボットアバター６３３の表示から、ウサギアバター６３４の表示に更新される。一部の実施形態では、ビデオスクラバ６１２０に向けられた入力（例えば、ビデオスクラバ６１２０の位置で開始する接触の動きを含むスワイプ入力又はドラッグ入力）に応じて、デバイスは、録画されたビデオを通じてスクラブする（例えば、ビデオのプレビューの外観を変更し、及び入力に従って、スクラバを移動させるか又はスクラバ内の再生ヘッドを移動させる）。一部の実施形態では、記録されたビデオを通じてスクラブすることは、ビデオに適用されるエフェクトが経時的にどのように影響を及ぼすか（例えば、ステッカー及び／又はアバターが、ユーザの頭部／顔が動くにつれて、どのように動き、及び／又は表現を変化させるか、若しくは１つ以上のカメラの視野内の表現を変化させるか）を示す。一部の実施形態では、ビデオスクラバ６１２０は、ビデオをクロッピングする（例えば、ビデオスクラバの両端の編集アフォーダンスをドラッグすることにより、ビデオスクラバの開始又は終了時間を変更する）ための選択可能なアフォーダンスを含む。例えば、図８ＡＷのビデオスクラバ８１２０に向けられたユーザ入力に応じて、デバイスは、図８ＡＷ～８ＡＺに示すように、アバター及びステッカーを用いて、しかし入力（例えば、タッチ感知ディスプレイ上の接触の動きの大きさ及び方向）の変化に基づいて決定されたレートで、ビデオを通じてスクラブし得る。上述したビデオスクラバ６１２０（及び後述するビデオスクラバ８１２０）との相互作用は、本明細書に記載する他のスクラバとの相互作用に対するのと同様の方法で、任意選択的に適用される。
6BJ-6BN illustrate
図６ＡＫ～図６ＡＯに関して上述したように、ビデオメディアアイテム６２０－４を、図６ＢＰ及び図６ＢＱに示すように、送信アフォーダンス６８０上の入力（例えば、入力６１３０）を検出したことに応じて、メッセージ会話の参加者に直ちに送信することができる。ビデオメディアアイテム６２０－４の表現は、完了アフォーダンス６１８の入力に応じて、メッセージ作成フィールド６０８に表示することができる。
As described above with respect to FIGS. 6AK-6AO, video media item 620-4, as shown in FIGS. Can be sent immediately to conversation participants. A representation of video media item 620 - 4 may be displayed in
図７Ａ～図７Ｂは、一部の実施形態に係る、電子デバイスを使用してメッセージングアプリケーションにビジュアルエフェクトを表示するための方法を示すフロー図である。方法７００は、カメラ、表示装置、及び１つ以上の入力デバイスを備えたデバイス（例えば、１００、３００、５００、６００）にて実行される。方法７００におけるいくつか動作は、任意選択的に組み合わせられ、いくつかの動作の順序は任意選択的に変更され、いくつかの動作は任意選択的に省略される。
7A-7B are flow diagrams illustrating methods for displaying visual effects in a messaging application using an electronic device, according to some embodiments.
以下に説明するように、方法７００は、メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための直感的な仕方を提供する。この方法は、メッセージングアプリケーションにおいて送信する画像にビジュアルエフェクトを適用するためユーザの認知負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスでは、画像にビジュアルエフェクトをユーザーがより迅速かつ効率的に表示できるようにすることで、電力を節約し、バッテリ充電間の時間を増大させる。
As described below,
電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンス（例えば、６０９、カメラアプリケーションをアクティブ化するための機能に関連付けられた選択可能なアイコン）を含むメッセージングユーザインタフェース（例えば、６０３）を表示する（７０２）。 An electronic device (e.g., 600) associates, via a display (e.g., 601), a message conversation including at least a first participant with a camera affordance (e.g., 609, a function for activating a camera application). display 702 a messaging user interface (e.g., 603) including selectable icons that
電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力（例えば、６１６、カメラアフォーダンスに対応する位置におけるタッチスクリーンディスプレイ上のタッチジェスチャ）を検出する（７０４）。 An electronic device (eg, 600) receives a first input (eg, 616, a touch gesture on a touch screen display at a location corresponding to the camera affordance) directed to the camera affordance via one or more input devices. Detect (704).
第１の入力（例えば、６１６）を検出したことに応じて、電子デバイス（例えば、６００）は、カメラユーザインタフェース（例えば、６１５）を表示する（７０６）。カメラユーザインタフェースは、キャプチャアフォーダンス（例えば、電子デバイスのカメラを使用して画像データをキャプチャするための機能に関連付けられた選択可能なアイコン、６２１）を含む（７０８）。 In response to detecting the first input (eg, 616), the electronic device (eg, 600) displays (706) the camera user interface (eg, 615). The camera user interface includes (708) capture affordances (eg, selectable icons associated with functions for capturing image data using the electronic device's camera, 621).
一部の実施形態では、カメラユーザインタフェース（例えば、６１５）は、キャプチャされた画像データに表示するためにビジュアルエフェクトが有効化されるモードに関連付けられたエフェクトモードアフォーダンス（例えば、６２２、画像データを変更するために様々なビジュアルエフェクトが利用可能なモードをアクティブ化するための機能に関連付けられた選択可能なアイコン）を含む（７１０）。カメラユーザインタフェースにエフェクトモードアフォーダンスを含めることにより、ユーザが、カメラユーザインタフェースを介して特定のエフェクト（例えば、ビジュアルエフェクト）を画像に適用できることを認識することが可能になる。デバイスの追加の制御を提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ビジュアルエフェクトを、カメラの視野内の画像データの表現に付加することができる。一部の実施形態では、ビジュアルエフェクトを、キャプチャされた画像データに付加することができる。一部の実施形態では、ビジュアルエフェクトは深度データに基づく。一部の実施形態では、電子デバイスは、１つ以上の入力デバイスを介して、エフェクトモードアフォーダンスの選択（たとえば、６２３）を検出する。一部の実施形態では、エフェクトモードアフォーダンスの選択を検出したことに応じて、電子デバイスは、第１のカメラモード（例えば、標準カメラモード）から、第１のカメラモードとは異なる第２のカメラモード（例えば、エフェクトカメラモード、画像データを変更するために様々なビジュアルエフェクトを利用できるモード）に、電子デバイスを遷移させる。一部の実施形態では、デバイスが第２のカメラモードにある間に、第２のカメラモードが動作しているという視覚表示が表示される（例えば、エフェクトモードアフォーダンスが強調表示される）。 In some embodiments, the camera user interface (eg, 615) displays effects mode affordances (eg, 622, image data associated with modes in which visual effects are enabled for display on the captured image data). Selectable icons associated with functions for activating modes in which various visual effects are available to change (710). Including effect mode affordances in the camera user interface allows users to recognize that certain effects (eg, visual effects) can be applied to images via the camera user interface. By providing additional control of the device, the usability of the device is improved and the user-device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device and preventing user error). ), and in addition reduce power usage and improve battery life of the device by allowing the user to use the device more quickly and efficiently. In some embodiments, visual effects can be added to the representation of image data within the camera's field of view. In some embodiments, visual effects can be added to the captured image data. In some embodiments, visual effects are based on depth data. In some embodiments, the electronic device detects selection of effects mode affordances (eg, 623) via one or more input devices. In some embodiments, in response to detecting selection of an effects mode affordance, the electronic device switches from a first camera mode (eg, standard camera mode) to a second camera mode different from the first camera mode. Transitioning the electronic device into a mode (eg, effects camera mode, a mode in which various visual effects can be used to modify the image data). In some embodiments, while the device is in the second camera mode, a visual indication is displayed that the second camera mode is operating (eg, effects mode affordances are highlighted).
一部の実施形態では、エフェクトモードアフォーダンス（例えば、６２２）の選択（例えば、６２３）を検出することに更に応じて、電子デバイス（例えば、６００）は、１つ以上のカメラモードアフォーダンスを表示することを停止する。一部の実施形態では、エフェクトモードアフォーダンスの選択を検出したことに更に応じて、電子デバイスは、複数のエフェクトオプションアフォーダンス（例えば、６２４、ビジュアルエフェクトを生成するための機能にそれぞれ関連付けられた選択可能なアイコン）を表示する。一部の実施形態では、エフェクトオプションアフォーダンスは、１つ以上のカメラモードアフォーダンスによって以前に占有されていた、カメラユーザインタフェース（例えば、６１５）内の位置に、ステッカーアフォーダンス（例えば、６２４－２）及び／又はアバターアフォーダンス（例えば、６２４－１）を含む。一部の実施形態では、エフェクトオプションアフォーダンスが表示される位置は、カメラモードアフォーダンスが以前に表示された特定の領域（例えば、カメラエフェクト領域６２５）内の任意の位置である。一部の実施形態では、それぞれのエフェクトオプションアフォーダンスが表示される位置は、それぞれのカメラモードアフォーダンスがその領域に表示されたのと同じ位置である。一部の実施形態では、エフェクトオプションアフォーダンスを表示することは、カメラモードアフォーダンスをエフェクトオプションアフォーダンスに置換することを含む。 In some embodiments, further in response to detecting the selection (eg, 623) of the effects mode affordance (eg, 622), the electronic device (eg, 600) displays one or more camera mode affordances. stop doing that. In some embodiments, further in response to detecting selection of an effect mode affordance, the electronic device generates a plurality of effect option affordances (e.g., 624, selectable affordances each associated with a function for generating a visual effect). icon). In some embodiments, effect option affordances are placed in positions within the camera user interface (eg, 615) previously occupied by one or more camera mode affordances (eg, 624-2) and sticker affordances (eg, 624-2). /or include avatar affordances (eg, 624-1). In some embodiments, the location where the effect option affordance is displayed is any location within a particular region (eg, camera effects region 625) where the camera mode affordance was previously displayed. In some embodiments, the position where each effect option affordance is displayed is the same position where each camera mode affordance is displayed in that region. In some embodiments, displaying the effect option affordance includes replacing the camera mode affordance with the effect option affordance.
一部の実施形態では、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、エフェクトオプションアフォーダンスの第１のもの（例えば、ステッカーアフォーダンス６２４－２）の選択（例えば、６５４）を検出する。一部の実施形態では、エフェクトオプションアフォーダンスのうちの第１のものの選択を検出したことに応じて、電子デバイスは、複数のエフェクトオプションアフォーダンス（例えば、６２４）を表示することを停止し、複数の選択可能なグラフィックアイコン（例えば、６５８、ステッカー）を表示する。エフェクトオプションアフォーダンスのうちの第１のものの選択を検出したことに応じて、複数のエフェクトオプションアフォーダンスの表示を停止し、複数の選択可能なグラフィックアイコンを表示することにより、ユーザは、エフェクトオプションアフォーダンスのうちの第１のものがグラフィックアイコン（例えば、ステッカー）オプションに関連することを迅速かつ容易に認識することができ、それによって、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ステッカーを表示することは、エフェクトオプションのアフォーダンスの上に領域（例えば、ステッカーメニュー６５６）を表示することを含み、この領域は、カメラユーザインタフェースに表される画像上に表示するために選択できる複数のステッカーオプションを含む。一部の実施形態では、ユーザは、ステッカー上をタップすることによってステッカー（例えば、６５８－１）を選択し（例えば、６６０）、ステッカーは画像上に自動的に表示される（例えば、画像の中心などのデフォルト位置に）。一部の実施形態では、ユーザは、ステッカーをタッチし、ステッカーをステッカーメニューから画像上にドラッグすることによって、ステッカーを選択する。一部の実施形態では、キャプチャアフォーダンスを表示している間に、エフェクトオプションアフォーダンスのうちの第１のものの選択を検出したことに更に応じて、電子デバイスは、キャプチャアフォーダンスの表示を停止する。 In some embodiments, the electronic device (eg, 600) selects (eg, 654) the first of the effect option affordances (eg, sticker affordance 624-2) via one or more input devices. to detect In some embodiments, in response to detecting selection of a first one of the effect option affordances, the electronic device stops displaying the plurality of effect option affordances (eg, 624) and Display selectable graphic icons (eg, 658, stickers). By stopping displaying the plurality of effect option affordances and displaying a plurality of selectable graphic icons in response to detecting selection of a first one of the effect option affordances, the user is prompted to select one of the effect option affordances. It can be quickly and easily recognized that the first of these is associated with graphic icon (e.g. sticker) options, thereby improving the usability of the device and making the user device interface (e.g. (by assisting the user in providing appropriate input when interacting/interacting, reducing user error), as well as allowing the user to use the device more quickly and efficiently. Reduce device power usage and improve battery life by enabling In some embodiments, displaying the stickers includes displaying an area (e.g., sticker menu 656) over the affordances of the effects options, which area is displayed on the image represented in the camera user interface. Includes multiple sticker options that you can choose to display. In some embodiments, the user selects a sticker (eg, 658-1) by tapping on the sticker (eg, 660), and the sticker is automatically displayed on the image (eg, on the image). to the default position, such as center). In some embodiments, the user selects the sticker by touching the sticker and dragging the sticker from the sticker menu onto the image. In some embodiments, further in response to detecting selection of the first one of the effect option affordances while displaying the capture affordances, the electronic device stops displaying the capture affordances.
一部の実施形態では、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、エフェクトオプションアフォーダンスのうちの第２のもの（例えば、アバターアフォーダンス６２４－１）の選択（例えば、６２６）を検出する。一部の実施形態では、エフェクトオプションアフォーダンスのうちの第２のものの選択を検出したことに応じて、電子デバイスは、複数のエフェクトオプションアフォーダンス（例えば、６２４）の表示を停止し、複数のアバターアフォーダンス（例えば、直線配置で表示される６３０）（例えば、アバターを表すアフォーダンス）を有するアバター選択領域（例えば、アバターメニュー６２８）を表示する。エフェクトオプションアフォーダンスのうちの第２のものの選択を検出したことに応じて、複数のエフェクトオプションアフォーダンスの表示を停止し、アバター選択領域を表示することにより、ユーザは、エフェクトオプションアフォーダンスのうちの第２がアバター選択に関連することを迅速かつ容易に認識することができ、それによって、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、アバターアフォーダンスは、カスタマイズ可能、カスタマイズ不可能、又はそれらの組み合わせであるアバターに対応する。一部の実施形態では、アバター選択領域を表示することは、エフェクトオプションアフォーダンスの上に領域（例えば、アバターメニュー６２８）を表示することを含み、この領域は、カメラユーザインタフェースに表される画像上に対応するアバターを表示するために選択できる複数のアバターアフォーダンスを含む。 In some embodiments, the electronic device (eg, 600) selects (eg, 626) is detected. In some embodiments, in response to detecting selection of a second one of the effect option affordances, the electronic device stops displaying the plurality of effect option affordances (eg, 624) and displays the plurality of avatar affordances. Display an avatar selection area (eg, avatar menu 628) having (eg, affordances representing avatars) (eg, 630 displayed in a linear arrangement). By stopping displaying the plurality of effect option affordances and displaying an avatar selection area in response to detecting selection of a second one of the effect option affordances, the user can select the second one of the effect option affordances. associated with avatar selection, thereby improving device usability and user device interfaces (e.g., providing appropriate input when manipulating/interacting with the device). reduce user error), and reduce device power usage by allowing users to use the device more quickly and efficiently. , to improve battery life. In some embodiments, avatar affordances correspond to avatars that are customizable, non-customizable, or a combination thereof. In some embodiments, displaying the avatar selection area includes displaying an area (e.g., avatar menu 628) above the effects option affordance, which area is located on the image represented in the camera user interface. Contains multiple avatar affordances that can be selected to display an avatar corresponding to the .
一部の実施形態では、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、アバター選択領域（例えば、６２８）上のスワイプ入力（例えば、６４６、垂直スワイプジェスチャ）を検出する。一部の実施形態では、アバター選択領域上のスワイプ入力を検出したことに応じて、電子デバイスは、アバター選択領域（例えば、６２８－１）のサイズを増大させ、マトリックス状に配置された複数のアバターアフォーダンス（例えば、６３０）を表示する。アバター選択領域上のスワイプ入力を検出したことに応じて、アバター選択領域のサイズを増大させ、複数のアバターアフォーダンスをマトリクス状に表示することにより、ユーザは、アバター選択領域では（同時に）見えない、１つ以上の追加選択可能なアバターを（同時に）見ることができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、アバター表示領域のサイズを増大することは、アバター表示領域の全画面表示を提示するために、アバター表示領域にマトリックス状に表示されたアバターアフォーダンスを用いて、アバター表示領域を垂直方向に拡張することを含む。 In some embodiments, an electronic device (eg, 600) detects swipe input (eg, 646, vertical swipe gesture) over an avatar selection area (eg, 628) via one or more input devices. . In some embodiments, in response to detecting a swipe input over the avatar selection area, the electronic device increases the size of the avatar selection area (eg, 628-1) to provide a matrix of multiple Display avatar affordances (eg, 630). By increasing the size of the avatar selection area and displaying multiple avatar affordances in a matrix in response to detecting a swipe input on the avatar selection area, the user is (simultaneously) invisible in the avatar selection area; One or more additional selectable avatars can be viewed (simultaneously). By providing additional control options without cluttering the user interface with additional displayed controls, the usability of the device is improved and the user device interface (e.g., appropriate inputs when operating/interacting with the device) and make it more efficient (by reducing user error), as well as reduce the power usage of the device by allowing the user to use the device more quickly and efficiently reduce and improve battery life. In some embodiments, increasing the size of the avatar display area is achieved by using avatar affordances displayed in a matrix in the avatar display area to present a full screen display of the avatar display area. vertically.
一部の実施形態では、カメラユーザインタフェース（例えば、６１５）は、画像データの第１の表現（例えば、ライブカメラプレビュー６２０－１）を更に含む。画像データの第１の表現（例えば、ライブカメラプレビュー）を提供することにより、変更を保存／確認する前に、ユーザによってなされた１つ以上の（画像への）変更についての視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、エフェクトモードアフォーダンス（例えば、６２４－１、６２４－２）の選択を検出したことに更に応じて、電子デバイス（例えば、６００）は、画像データの第１の表現が、第２のカメラ（例えば、背面カメラ）から取得された画像データに対応するとの判定に従って、画像データの第１の表現の表示を停止し、画像データの第２の表現（例えば、ライブカメラプレビュー）を表示し、この画像データの第２の表現は、カメラ（例えば、正面カメラ）から取得された画像データに対応する。一部の実施形態では、正面カメラに対応する画像データの表現は、正面カメラの視野内に位置するユーザの表現を含む。 In some embodiments, the camera user interface (eg, 615) further includes a first representation of image data (eg, live camera preview 620-1). Provide visual feedback about one or more changes (to an image) made by a user before saving/confirming the changes by providing a first representation of the image data (e.g., a live camera preview) . By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. In some embodiments, further in response to detecting selection of effects mode affordances (eg, 624-1, 624-2), the electronic device (eg, 600) determines that the first representation of the image data is Stop displaying the first representation of the image data and display the second representation of the image data (eg, a live camera preview) in accordance with a determination that it corresponds to image data obtained from a second camera (eg, a rear camera). , and this second representation of image data corresponds to image data obtained from a camera (eg, a front-facing camera). In some embodiments, the representation of the image data corresponding to the front camera includes a representation of the user located within the field of view of the front camera.
一部の実施形態では、電子デバイス（例えば、６００）が第２のカメラモード（例えば、エフェクトカメラモード、画像データを変更するための様々なビジュアルエフェクトを利用できるモード）である間に、電子デバイスは、第１のカメラモード（例えば、通常モード、非エフェクトモード）への遷移要求（例えば、アクティブなビジュアルエフェクトアフォーダンスの選択）を受信する。一部の実施形態では、電子デバイスは、第１のカメラモードへの遷移要求を受信したことに応じて、電子デバイスを第２のカメラモードから第１のカメラモードに遷移させる。一部の実施形態では、電子デバイスは、第１のビジュアルエフェクトがアクティブである（例えば、キャプチャされた画像データ又はキャプチャ用の画像データのプレビューにアクティブに適用されている）ことに従って、第１のビジュアルエフェクトを非アクティブ化する（例えば、無効化する、表示された第１のビジュアルエフェクトの表示を停止する）。 In some embodiments, while the electronic device (e.g., 600) is in a second camera mode (e.g., effects camera mode, a mode in which various visual effects are available to modify image data), receives a request (eg, selection of an active visual effects affordance) to transition to a first camera mode (eg, normal mode, no effects mode). In some embodiments, the electronic device transitions the electronic device from the second camera mode to the first camera mode in response to receiving a request to transition to the first camera mode. In some embodiments, the electronic device applies the first visual effect according to the first visual effect being active (e.g., being actively applied to a preview of captured image data or image data for capture). Deactivate the visual effect (eg, disable, stop displaying the first visual effect displayed).
一部の実施形態では、第１のビジュアルエフェクトを非アクティブ化した後、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、エフェクトモードアフォーダンス（例えば、６２４－１、６２４－２）の後続の選択を検出する。一部の実施形態では、エフェクトモードアフォーダンスの後続の選択を検出したことに応じて、電子デバイスは、第１のビジュアルエフェクトを非アクティブ化した後の所定の時間内に、エフェクトモードアフォーダンスの後続の選択が発生したとの判定に従って、第１のビジュアルエフェクトを再アクティブ化する。第１のビジュアルエフェクトを非アクティブ化した後の所定の時間内に、エフェクトモードアフォーダンスの後続の選択が発生したとの判定に従って、第１のビジュアルエフェクトを再アクティブ化することにより、ユーザは、（例えば、エフェクトを再選択／再生成する必要なく）以前のビジュアルエフェクトに迅速かつ容易に戻ることができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、画像からビジュアルエフェクトを除去するエフェクトモードアフォーダンスを選択した後、所定の時間内にエフェクトモードアフォーダンスが再び選択されると、除去されたビジュアルエフェクトが画像に復元される。 In some embodiments, after deactivating the first visual effect, the electronic device (eg, 600), via one or more input devices, effects mode affordances (eg, 624-1, 624- 2) Detect subsequent selections. In some embodiments, in response to detecting the subsequent selection of the effects mode affordance, the electronic device selects the subsequent selection of the effects mode affordance within a predetermined amount of time after deactivating the first visual effect. Reactivating the first visual effect upon determining that the selection has occurred. By reactivating the first visual effect upon determining that a subsequent selection of an effect mode affordance occurred within a predetermined amount of time after deactivating the first visual effect, the user ( For example, one can quickly and easily return to a previous visual effect (without having to reselect/regenerate the effect). By providing additional control options without cluttering the user interface with additional visible controls, the usability of the device is improved and the user device interface (e.g., appropriate inputs when manipulating/interacting with the device) and make it more efficient (by reducing user error), as well as reduce the power usage of the device by allowing the user to use the device more quickly and efficiently reduce and improve battery life. In some embodiments, after selecting an effects mode affordance that removes a visual effect from an image, if the effects mode affordance is selected again within a predetermined amount of time, the removed visual effect is restored to the image.
電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、キャプチャアフォーダンス（例えば、６２１）に向けられた第２の入力（例えば、６７６、キャプチャアフォーダンスに対応する位置におけるタッチスクリーンディスプレイ上のタッチジェスチャ）を検出する（７１２）。 The electronic device (e.g., 600) receives a second input (e.g., 676, directed to the capture affordance (e.g., 621) via one or more input devices on the touch screen display at a location corresponding to the capture affordance. touch gesture) is detected (712).
電子デバイス（例えば、６００）は、第２の入力（７１４）を検出したことに応じて、カメラ（例えば６０２）を使用して画像データをキャプチャする（７１６）。一部の実施形態では、画像データをキャプチャすることは、第１のキャプチャモード基準（例えば、閾値持続時間よりも小さい）を満たす第２の入力の特性（例えば、接触の持続時間）の値に従って、第１の画像キャプチャモード（例えば、写真キャプチャモード、静止画像キャプチャモード）で画像データをキャプチャすることを含む。一部の実施形態では、画像データをキャプチャすることは、第２のキャプチャモード基準（例えば、第２の閾値持続時間よりも大きい）を満たす第２の入力の特性の値に従って、第２の画像キャプチャモード（例えば、ビデオキャプチャモード、連続キャプチャモード）で画像データをキャプチャすることを含む。一部の実施形態では、キャプチャアフォーダンス（例えば、６２１）は、多機能キャプチャアフォーダンスである。一部の実施形態では、キャプチャアフォーダンス上でタップが検出されると、電子デバイスは写真（例えば、静止画像）をキャプチャする。一部の実施形態では、電子デバイスは、キャプチャアフォーダンス上でプレスアンドホールドジェスチャが検出されると、ビデオ（例えば、連続画像）をキャプチャする。 The electronic device (eg, 600) captures (716) image data using the camera (eg, 602) in response to detecting the second input (714). In some embodiments, capturing image data is according to a value of a characteristic (eg, duration of contact) of the second input that satisfies a first capture mode criterion (eg, less than threshold duration). , capturing image data in a first image capture mode (eg, photo capture mode, still image capture mode). In some embodiments, capturing the image data includes capturing the second image according to the value of the characteristic of the second input that satisfies a second capture mode criterion (eg, greater than a second threshold duration). Including capturing image data in a capture mode (eg, video capture mode, continuous capture mode). In some embodiments, the capture affordance (eg, 621) is a multi-function capture affordance. In some embodiments, the electronic device captures a picture (eg, still image) when a tap is detected on the capture affordance. In some embodiments, the electronic device captures video (eg, continuous images) when a press-and-hold gesture is detected on the capture affordance.
第２の入力（例えば、６７６）を検出すること（７１４）に応答して、電子デバイス（例えば、６００）は、キャプチャアフォーダンス（例えば、６２１）の表示を停止する（７１８）。 In response to detecting (714) the second input (eg, 676), the electronic device (eg, 600) stops displaying (718) the capture affordance (eg, 621).
一部の実施形態では、電子デバイス（例えば、６００）は、カメラ（例えば、６０２）を使用して画像データをキャプチャした後、マークアップアフォーダンス（例えば、６７７）、編集アフォーダンス（例えば、６７８）、及び再撮影アフォーダンス（例えば、６７９）を表示する。一部の実施形態では、電子デバイスは、マークアップアフォーダンス、編集アフォーダンス、及び再撮影アフォーダンスを表示している間に、１つ以上の入力デバイスを介して、第４のユーザ入力を受信する。一部の実施形態では、電子デバイスは、第４のユーザ入力を検出したことに応じて、編集アフォーダンスに対応する第４のユーザ入力に従って、キャプチャされた画像データを編集するための処理を開始する。一部の実施形態では、編集のための処理は、キャプチャされた画像データを編集するための１つ以上のアフォーダンスを表示することを含む。一部の実施形態では、電子デバイスは、第４のユーザ入力を検出したことに応じて、マークアップアフォーダンスに対応する第４のユーザ入力に従って、キャプチャされた画像データをマークアップするための処理を開始する。一部の実施形態では、編集のための処理は、キャプチャされた画像データをマークアップするための１つ以上のアフォーダンスを表示することを含む。一部の実施形態では、電子デバイスは、第４のユーザ入力を検出したことに応じて、再撮影アフォーダンスに対応する第４のユーザ入力に従って、キャプチャされた画像データを再撮影するための処理を開始する。一部の実施形態では、キャプチャされた画像データを再撮影する処理を開始することは、新たな画像データをキャプチャし、キャプチャされた画像データを新しい画像データに置換することを含む。 In some embodiments, an electronic device (eg, 600) captures image data using a camera (eg, 602) and then performs markup affordances (eg, 677), editing affordances (eg, 678), and display the retake affordance (eg, 679). In some embodiments, the electronic device receives a fourth user input via one or more input devices while displaying the markup affordance, editing affordance, and recapture affordance. In some embodiments, in response to detecting a fourth user input, the electronic device initiates processing to edit the captured image data according to the fourth user input corresponding to the editing affordance. . In some embodiments, processing for editing includes displaying one or more affordances for editing the captured image data. In some embodiments, in response to detecting a fourth user input, the electronic device performs processing to mark up the captured image data according to the fourth user input corresponding to the markup affordance. Start. In some embodiments, processing for editing includes displaying one or more affordances for marking up the captured image data. In some embodiments, in response to detecting a fourth user input, the electronic device performs processing to recapture the captured image data according to the fourth user input corresponding to the recapture affordance. Start. In some embodiments, initiating the process of recapturing the captured image data includes capturing new image data and replacing the captured image data with the new image data.
第２の入力（例えば、６７６）を検出すること（７１４）に応じて、電子デバイス（例えば、６００）は、キャプチャアフォーダンス（例えば、６２１）によって以前に占有されていたカメラユーザインタフェース（例えば、６１５）内の位置に、送信アフォーダンス（例えば、６８０、キャプチャされた画像データを会話中の参加者に送信するための、又は後続の送信前に、キャプチャされた画像データを作成領域に提示するための機能に関連付けられた選択可能なアイコン）を表示する（７２０）。キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示することにより、キャプチャされた画像を意図する受信者に送信する準備ができているという視覚フィードバックを提供する。ユーザインタフェースを雑然とさせることなく視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、送信アフォーダンス（例えば、６８０）が表示される位置は、キャプチャアフォーダンスが以前に表示された特定の領域（例えば、カメラエフェクト領域６２５）内の任意の位置である。一部の実施形態では、送信アフォーダンスが表示される位置は、キャプチャアフォーダンスがその領域内に表示されたのと同じ位置である。一部の実施形態では、送信アフォーダンスを表示することは、キャプチャアフォーダンスを送信アフォーダンスに置換することを含む。 In response to detecting (714) a second input (eg, 676), the electronic device (eg, 600) fetches the camera user interface (eg, 615) previously occupied by the capture affordance (eg, 621). ), a transmission affordance (e.g., 680, for transmitting captured image data to a participant in a conversation, or for presenting captured image data in a creation area prior to a subsequent transmission). Selectable icons associated with the features are displayed (720). Providing visual feedback that the captured image is ready to be sent to the intended recipient by displaying the send affordance in a position in the camera user interface previously occupied by the capture affordance. By providing visual feedback to the user without cluttering the user interface, the usability of the device is improved and the user device interface (e.g., the user interface to provide appropriate input when operating/interacting with the device). and reduce user error), as well as reduce device power usage and battery life by allowing users to use the device more quickly and efficiently improve. In some embodiments, the location where the transmit affordance (eg, 680) is displayed is any location within a particular region (eg, camera effects region 625) where the capture affordance was previously displayed. In some embodiments, the position where the transmit affordance is displayed is the same position where the capture affordance was displayed within that region. In some embodiments, displaying the send affordance includes replacing the capture affordance with the send affordance.
一部の実施形態では、送信アフォーダンス（例えば、６８０）を表示している間に、電子デバイス（例えば、６００）は、第１の参加者の表現（例えば、アイコン、写真、アバター、又は第１の参加者に関連付けられた他の識別子）を表示する（７２２）。送信アフォーダンスを表示している間に第１の参加者の表現を表示することにより、ユーザは、意図する受信者を迅速かつ容易に認識することができ、それによって、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、第１の参加者の表現は、キャプチャされた写真が第１の参加者に送信されることをユーザに示すインジケーションとして働く。一部の実施形態では、第１の参加者の表現は、カメラ（例えば、６０２）を使用して画像データをキャプチャする前には表示されない（７２４）。一部の実施形態では、カメラユーザインタフェース（例えば、６１５）は、画像データをキャプチャする前に表示されるカメラ固有アフォーダンス（例えば、フィルタ、照明オプション、タイマオプションなどに対応する６１９）を含む。一部の実施形態では、第１の参加者の表現を表示することで、表示されたカメラ固有アフォーダンスを第１の参加者の表現に置き換える。 In some embodiments, while displaying the transmission affordance (eg, 680), the electronic device (eg, 600) displays a representation (eg, icon, photo, avatar, or first participant) of the first participant. other identifiers associated with the participants in the ) are displayed (722). By displaying a representation of the first participant while displaying the send affordance, the user can quickly and easily recognize the intended recipient, thereby improving the usability of the device. , make the user device interface more efficient (e.g., by helping the user to provide appropriate input when operating/interacting with the device, and reducing user error); It also reduces device power usage and improves battery life by allowing it to be used more quickly and efficiently. In some embodiments, the representation of the first participant serves as an indication to the user that the captured photo will be sent to the first participant. In some embodiments, a representation of the first participant is not displayed (724) prior to capturing image data using the camera (eg, 602). In some embodiments, the camera user interface (eg, 615) includes camera-specific affordances (eg, 619 corresponding to filters, lighting options, timer options, etc.) displayed prior to capturing image data. In some embodiments, displaying a representation of the first participant replaces the displayed camera-specific affordance with the representation of the first participant.
電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力（例えば、送信アフォーダンス６８０に対応する位置におけるタッチスクリーンディスプレイ上のタッチジェスチャ）を検出する（７２６）。 An electronic device (eg, 600) detects a third input (eg, a touch gesture on a touch screen display at a location corresponding to the transmit affordance 680) directed to the transmit affordance via one or more input devices. (726).
第３の入力を検出したことに応じて、電子デバイス（例えば、６００）は、（例えば、後続の送信前に、作成領域内でキャプチャされた画像データを即座に送信又は提示する）処理を開始し（７２８）、キャプチャされた画像データを第１の参加者に送信する。 In response to detecting a third input, the electronic device (e.g., 600) initiates processing (e.g., immediately transmitting or presenting image data captured within the authoring area prior to subsequent transmission). 728 and transmit the captured image data to the first participant.
一部の実施形態では、電子デバイス（例えば、６００）は、送信アフォーダンス（例えば、６８０）に向けられた第３の入力を検出する前に、完了アフォーダンス（例えば、カメラユーザインタフェースをクローズしてメッセージングユーザインタフェースを表示するための機能に関連付けられた選択可能なアイコン）を表示する。一部の実施形態では、電子デバイスは、１つ以上の入力デバイスを介して、完了アフォーダンスの選択を検出する。一部の実施形態では、電子デバイスは、完了アフォーダンスの選択を検出したことに応じて、メッセージ作成領域（例えば６０８）を有するメッセージングユーザーインタフェース（例えば、６０３）を表示する。一部の実施形態では、電子デバイスは、完了アフォーダンスの選択を検出したことに応じて、キャプチャされた画像データの表現をメッセージ作成領域に表示する。一部の実施形態では、完了アフォーダンスを選択すると、カメラユーザインタフェースをクローズし、キャプチャされた画像データを送信することなく、キャプチャされた画像データをメッセージングユーザインタフェースのメッセージ作成フィールドに表示する。 In some embodiments, the electronic device (e.g., 600) closes the completion affordance (e.g., the camera user interface for messaging) before detecting a third input directed to the send affordance (e.g., 680). display selectable icons) associated with functions for displaying user interfaces. In some embodiments, the electronic device detects selection of completion affordances via one or more input devices. In some embodiments, the electronic device displays a messaging user interface (eg, 603) having a message composition area (eg, 608) in response to detecting selection of a completion affordance. In some embodiments, the electronic device displays a representation of the captured image data in the message composition area in response to detecting selection of the completion affordance. In some embodiments, selecting the completion affordance closes the camera user interface and displays the captured image data in the message compose field of the messaging user interface without sending the captured image data.
一部の実施形態では、電子デバイス（例えば、６００）は、第３のユーザ入力を検出する前に、第１の画像キャプチャモード（例えば、写真キャプチャモード、ビデオキャプチャモード）にある。一部の実施形態では、電子デバイスは、第３のユーザ入力を検出したことに更に応じて、第１の画像キャプチャモードを維持する。一部の実施形態では、電子デバイスは、複数のモード（例えば、写真キャプチャモード、ビデオキャプチャモード）に従って画像データをキャプチャするように構成（例えば、ユーザ構成）することができる。一部の実施形態では、電子デバイスが第１のカメラモード（例えば、標準カメラモード、非エフェクトカメラモード）から第２のカメラモード（例えば、エフェクトカメラモード）に遷移する場合でさえも、画像キャプチャモードの選択は持続的である。 In some embodiments, the electronic device (eg, 600) is in a first image capture mode (eg, photo capture mode, video capture mode) prior to detecting the third user input. In some embodiments, the electronic device maintains the first image capture mode further in response to detecting a third user input. In some embodiments, the electronic device can be configured (eg, user-configured) to capture image data according to multiple modes (eg, photo capture mode, video capture mode). In some embodiments, image capture is performed even when the electronic device transitions from a first camera mode (e.g., standard camera mode, non-effects camera mode) to a second camera mode (e.g., effects camera mode). Mode selection is persistent.
一部の実施形態では、キャプチャされた画像データを第１の参加者に送信する処理を開始することは、（例えば、メッセージングユーザインタフェース６１５を表示することなく）キャプチャされた画像データを第１の参加者に送信することを含む。一部の実施形態では、カメラユーザインタフェースから送信アフォーダンス（例えば、６８０）を選択すると、中間ユーザインタフェースを表示することなく、又はユーザからの更なる入力を要求することなく、メッセージ会話の他の参加者にキャプチャされた画像データを直ちに送信する。 In some embodiments, initiating the process of sending the captured image data to the first participant sends the captured image data to the first participant (eg, without displaying messaging user interface 615). Including sending to participants. In some embodiments, selecting a Send Affordance (e.g., 680) from the camera user interface causes other participation in the message conversation without displaying an intermediate user interface or requesting further input from the user. Immediately send the captured image data to the person.
一部の実施形態では、キャプチャされた画像データを第１の参加者に送信する処理を開始することは、メッセージングユーザインタフェース（例えば、６１５）を再表示することを含み、メッセージングユーザインタフェースは、キーボード領域（例えば、６１２）及びアプリケーションメニューアフォーダンス（例えば、６１０、アプリケーションメニューユーザインタフェースを表示するための機能に関連付けられた選択可能なアイコン）を更に含む。キャプチャされた画像データを第１の参加者に送信する処理を開始することの一部としてメッセージングユーザインタフェースを再表示することにより、キャプチャされた画像データがメッセージ会話を介して送信されているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、アプリケーションメニューアフォーダンスは、メッセージングユーザインタフェース内のメッセージ作成フィールドに隣接して表示される。一部の実施形態では、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、アプリケーションメニューアフォーダンスの選択を検出する。一部の実施形態では、アプリケーションメニューアフォーダンスの選択を検出したことに応じて、電子デバイスは、キーボード領域に隣接する（例えば、その上方の）アプリケーションメニュー領域であって、複数のアプリケーションアフォーダンス（例えば、それぞれのアプリケーションアフォーダンスに関連付けられたアプリケーションを開始するための機能にそれぞれ関連付けられた選択可能なアイコン）を有する、アプリケーションメニュー領域を表示する。一部の実施形態では、アプリケーションアフォーダンスは、ステッカーアフォーダンス及びアバターアフォーダンスを含む。 In some embodiments, initiating the process of sending the captured image data to the first participant includes redisplaying a messaging user interface (eg, 615), wherein the messaging user interface includes a keyboard Further includes a region (eg, 612) and an application menu affordance (eg, 610, selectable icons associated with functions for displaying an application menu user interface). Visualization that the captured image data is being sent over the message conversation by redisplaying the messaging user interface as part of initiating the process of sending the captured image data to the first participant. provide feedback. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. In some embodiments, the application menu affordance is displayed adjacent to the message compose field within the messaging user interface. In some embodiments, an electronic device (eg, 600) detects selection of an application menu affordance via one or more input devices. In some embodiments, in response to detecting selection of an application menu affordance, the electronic device selects multiple application affordances (e.g., An application menu area is displayed having selectable icons each associated with a function for starting an application associated with a respective application affordance. In some embodiments, application affordances include sticker affordances and avatar affordances.
一部の実施形態では、電子デバイス（例えば、６００）は、メッセージングユーザインタフェース（例えば、６１５）上の第４の入力を検出する。一部の実施形態では、第４の入力が、キーボード領域（例えば、６１２）の位置、又はメッセージングユーザインタフェース内のメッセージ作成領域（例えば、６０８）の位置に対応するとの判定に従って、電子デバイスは、アプリケーションメニュー領域の表示を停止し、アプリケーションメニュー領域によって以前に占有されていたメッセージングユーザインタフェース内の位置に、テキスト提案領域（例えば、ユーザが便利に選択するための推奨ワードのリストを有する領域）を表示する。 In some embodiments, the electronic device (eg, 600) detects a fourth input on the messaging user interface (eg, 615). In some embodiments, upon determining that the fourth input corresponds to the location of the keyboard area (eg, 612) or the location of the message composition area (eg, 608) within the messaging user interface, the electronic device: Stop displaying the application menu area and place a text suggestion area (e.g., an area with a list of suggested words for the user to conveniently select) at the location in the messaging user interface previously occupied by the application menu area. indicate.
一部の実施形態では、電子デバイス（例えば、６００）は、アプリケーションメニュー領域内の複数のアプリケーションアフォーダンス（例えば、ステッカーアフォーダンス又はアバターアフォーダンス）のうちの１つの選択を検出する。一部の実施形態では、アプリケーションアフォーダンス（例えば、６１０）の選択を検出したことに応じて、電子デバイスは、キーボード領域（例えば、６１２）の表示を停止し、キーボード領域によって以前に占有されていたメッセージングユーザインタフェース（例えば、６１５）内の位置にアプリケーション表示領域を表示し、アプリケーション表示領域は、選択されたアプリケーションアフォーダンスに対応する複数のグラフィカルオブジェクト（例えば、アバター又はステッカー）を含む。一部の実施形態では、選択されたアプリケーションアフォーダンスはステッカーアフォーダンスであり、アプリケーション表示領域に表示されるグラフィカルオブジェクトはステッカーである。一部の実施形態では、選択されたアプリケーションアフォーダンスはアバターアフォーダンスであり、アプリケーション表示領域に表示されるグラフィカルオブジェクトは、アバター（例えば、カスタマイズ可能なアバター、及び／又はカスタマイズ不可能なアバター）である。 In some embodiments, an electronic device (eg, 600) detects selection of one of multiple application affordances (eg, sticker affordances or avatar affordances) within an application menu area. In some embodiments, in response to detecting selection of an application affordance (eg, 610), the electronic device stops displaying the keyboard area (eg, 612) previously occupied by the keyboard area. An application display area is displayed at a location within the messaging user interface (eg, 615), the application display area including a plurality of graphical objects (eg, avatars or stickers) corresponding to the selected application affordance. In some embodiments, the selected application affordance is a sticker affordance and the graphical object displayed in the application display area is a sticker. In some embodiments, the selected application affordance is an avatar affordance and the graphical object displayed in the application display area is an avatar (eg, a customizable avatar and/or a non-customizable avatar).
なお、方法７００に関して上述された処理（例えば、図７Ａ～図７Ｂ）の詳細はまた、以下で説明される方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法９００、１１００、１３００、及び１５００は、方法７００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラアプリケーションユーザインタフェース、メディアユーザーインタフェース、及びライブビデオ通信セッションのためのユーザーインタフェースにおいて画像データに表示される。簡潔にするために、これらの詳細は、以下では繰り返さない。
Note that the details of the processing (eg, FIGS. 7A-7B) described above with respect to
図８Ａ～図８ＢＱは、一部の実施形態に係る、カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図９Ａ及び図９Ｂの処理を含めた、以下で説明される処理を示すために用いられる。 8A-8BQ illustrate exemplary user interfaces for displaying visual effects in a camera application, according to some embodiments. The user interfaces of these figures are used to illustrate the processes described below, including the processes of Figures 9A and 9B.
図８Ａでは、デバイス６００は、ホーム画面８００を示し、カメラアプリケーションアフォーダンス８０２上の入力８０１を検出する。
In FIG. 8A,
図８Ｂでは、入力８０１を検出したことに応じて、デバイス６００は、カメラアプリケーションアフォーダンス８０２に関連付けられたカメラアプリケーションを起動し、カメラアプリケーションユーザインタフェース８１５を表示する。カメラアプリケーションユーザインタフェース８１５は、図６Ａ～図６ＢＱに示す実施形態に関して上述した、カメラアプリケーションユーザインタフェース６１５に類似する。
In FIG. 8B, in response to detecting
カメラアプリケーションユーザインタフェース８１５は、例えば、カメラ（例えば、背面カメラ又はカメラ６０２）の視野内に位置するオブジェクトを表すストリーミングされた画像データ（例えば、ライブカメラプレビュー、ライブカメラ記録、若しくはライブビデオ通信セッション）、又は、例えば写真若しくはビデオ録画などのメディアアイテム、などの画像データの表現を表示する画像表示領域８２０を含む。図８Ｂに示す実施形態では、画像表示領域８２０は、デバイス６００の背面カメラからのライブカメラプレビュー８２０－１'を示す。
The camera
カメラアプリケーションユーザインタフェース８１５はまた、カメラ固有アフォーダンス８１７を含む画像表示領域８２０の上の領域を含む。カメラ固有アフォーダンスには、カメラフラッシュ機能に関連付けられたアフォーダンス８１７－１、カメラモード機能に関連付けられたアフォーダンス８１７－２、タイマー機能に関連付けられたアフォーダンス８１７－３、及びフィルタ機能に関連付けられたアフォーダンス８１７－４が含まれる。
Camera
カメラアプリケーションユーザインタフェース８１５はまた、（画像表示領域６２０と同様に）画像表示領域８２０の下に配置されたカメラオプション領域８２５を（カメラオプション領域６２５と同様に）含む。カメラオプション領域８２５は、カメラ（例えば、背面カメラとカメラ６０２）間を切り替えるためのカメラセレクタアフォーダンス８２７、及びカメラが画像データを記録できる異なるキャプチャモードに関連付けられたカメラオプションアフォーダンス８１９を含む。例えば、ビデオアフォーダンス８１９－１は、カメラのビデオ録画キャプチャモードをアクティブ化するための機能に関連付けられ、写真アフォーダンス８１９－２は、カメラの静止画像キャプチャモードをアクティブ化するための機能に関連付けられる。図８Ｂ～図８ＡＱに関して以下に論じる実施形態では、デバイス６００は、写真アフォーダンス８１９－２に関連付けられた操作の静止画像キャプチャモードにある。しかしながら、特に明記しない限り、これらの実施形態はまた、ビデオアフォーダンス８１９－１に関連付けられたビデオ録画モードに適用される。
Camera
カメラオプション領域８２５は、画像表示領域８２０にビジュアルエフェクトを表示するためにデバイス６００が有効化又は無効化されるデバイス６００のモード（ビジュアルエフェクトモード、エフェクトモード）を、有効化又は無効化するためのエフェクトアフォーダンス８２２を更に含む。エフェクトアフォーダンス８２２は、エフェクトアフォーダンス６２２に類似しており、従って、特に明記しない限り、エフェクトアフォーダンス６２２と同じ機能を有する。したがって、エフェクトアフォーダンス８２２は、ビジュアルエフェクトの表示を可能化するために選択され、ビジュアルエフェクトの表示を無効化するために選択解除される。
A
カメラオプション領域８２５はまた、上述したキャプチャアフォーダンス６２１と同様に機能するキャプチャアフォーダンス８２１を含む。キャプチャアフォーダンス８２１を、画像表示領域８２０に表される画像データをキャプチャするために選択することができる。一部の実施形態では、デバイス６００は、現在有効化されているキャプチャオプション（例えば、ビデオ録画キャプチャモード又は画像キャプチャモード）に基づく方法で、画像データをキャプチャする。一部の実施形態では、デバイス６００は、キャプチャアフォーダンス８２１上で検出されたジェスチャのタイプに応じて画像データをキャプチャする。例えば、デバイス６００がキャプチャアフォーダンス８２１上でタップジェスチャを検出した場合、デバイス６００は、タップジェスチャが発生した時点で画像表示領域８２０に表された画像データの静止画像をキャプチャする。デバイス６００がキャプチャアフォーダンス８２１上でタップアンドホールドジェスチャを検出した場合、デバイス６００は、タップアンドホールドジェスチャが持続する期間中、画像表示領域８２０に表される画像データのビデオ録画をキャプチャする。一部の実施形態では、指がアフォーダンスから持ち上げられると、ビデオ録画が停止する。一部の実施形態では、ビデオ録画は、アフォーダンスに対応する位置において後続の入力（例えば、タップ入力）が検出されるまで続く。一部の実施形態では、キャプチャされた画像（例えば、静止画像又はビデオ録画）は、例えば、メッセージングアプリケーションを使用して、他のデバイスと共有することができる。
図８Ｃでは、デバイス６００は、エフェクトアフォーダンス８２２上の入力８２３を検出する。
In FIG. 8C,
図８Ｄでは、デバイス６００は、入力８２３を検出したことに応じて、カメラ６０２をアクティブ化し（例えば、背面カメラから切り替えて）、画像表示領域８２０を更新して、カメラ６０２からのライブカメラプレビュー８２０－１を表示し、カメラ６０２の視野内に位置する被写体８３２、及び被写体８３２の背後に表示された背景８３６の表現を示す。本明細書で論じるように、一部の実施形態では、カメラ６０２を使用してキャプチャされた画像データは、カメラ６０２の視野内のオブジェクトの深度を決定するために使用され得る深度データを含む。一部の実施形態では、デバイス６００は、検出されたこれらのオブジェクトの深度に基づいてオブジェクト（例えば、画像データ内の）を解析し、この判定を使用して、本明細書で論じるビジュアルエフェクトを適用する。例えば、デバイス６００は、被写体８３２をライブカメラプレビュー８２０－１の前景にあるものとして、ユーザの背後に位置するオブジェクトをライブカメラプレビュー８２０－１の背景にあるものとして、分類することができる。これらの背景オブジェクトは、ここでは背景８３６と総称する。
In FIG. 8D, in response to detecting
デバイス６００はまた、表示のためにビジュアルエフェクトが有効化されていることを示すエフェクトアフォーダンス８２２を強調表示し、カメラオプションアフォーダンス８１９をビジュアルエフェクトオプションアフォーダンス８２４に置換することによってカメラオプション領域８２５を更新する。ビジュアルエフェクトオプションアフォーダンスは、アバターエフェクトアフォーダンス８２４－１及びステッカーエフェクトアフォーダンス８２４－２を含む。ビジュアルエフェクトオプションアフォーダンス８２４は、上述のビジュアルエフェクトオプションアフォーダンス６２４と同様である。ビジュアルエフェクトオプションアフォーダンス８２４は、画像表示領域８２０に表示される画像に適用できる異なるビジュアルエフェクトに対応する。ビジュアルエフェクトオプションアフォーダンス（例えば、８２４－１又は８２４－２）のうちの１つを選択することによって、選択されたビジュアルエフェクトオプションアフォーダンスに対応するビジュアルエフェクトオプションと共に、メニューが表示される。
図８Ｅ～図８Ｆでは、デバイス６００は、アバターエフェクトアフォーダンス８２４－１上の入力８２６を検出し、アバターオプションメニュー８２８を表示する。アバターオプションメニュー８２８は、アバターオプションメニュー６２８と同様である。アバターオプションメニュー８２８は、アバターオプション８３０のスクロール可能なリスト、及びアバターオプション８３０のうちの選択された１つを示すための選択領域８２９を含む。表示されるアバターオプションは、カスタマイズ可能な女性アバター８３０－１、ヌルアバターオプション８３０－２、ロボットアバターオプション８３０－３、ウサギアバターオプション８３０－４、及び第２のカスタマイズ可能な女性アバター８３０－５、を含む。図８Ｆに示すように、ヌルアバターオプション８３０－２が、デフォルトアバターオプション８３０として選択される。これにより、画像表示領域８２０に表示される被写体８３２の表現は、被写体の顔にアバターが表示されないで示される。アバターオプション８３０は、アバターオプション８３０－３若しくは８３０－４のように予め構成することができ、又はアバターオプション８３０－１若しくは８３０－５などのカスタマイズ可能なアバターとすることができる。
8E-8F,
アバターオプション８３０は、アバターオプション６３０と同様の機能を有する。このように、アバターオプション８３０は、画像表示領域８２０内の被写体の表現に適用される仮想アバタービジュアルエフェクトに対応する。具体的には、各アバターオプション８３０は、選択されると、画像表示領域内の被写体の顔に転置される仮想アバターに対応し、他方、画像表示領域内の画像の他の部分（背景、又はユーザの身体などのユーザの他の部分など）は表示されたままとなる。カメラ６０２の視野内に位置するユーザ（例えば、被写体８３２）は、上述したように、顔の姿勢（例えば、回転又は向き）を変更することによって、仮想アバターの視覚的態様を制御することができる。
アバターオプション８３０は、アバターオプションメニュー８２８上のジェスチャによってスクロールすることができる。例えば、図８Ｈに示すように、ロボットアバターオプション８３０－３を選択すると、次いで、画像表示領域８２０内の被写体の顔にロボットアバター８３３として表示される、水平ジェスチャ８４４ａを図８Ｇに示す。水平ジェスチャ８４４ｂを介して継続的にスクロールすることにより、追加のアバターオプション８３０を表示されたアバターオプションメニュー８２８上にスクロールする。一部の実施形態では、ユーザがアバターオプション８３０をスクロールすると、画像表示領域８２０は、アバターの背後に表される画像データに適用されるぼかしエフェクト８０３を含むアバター（例えば、図８Ｊのロボットアバター８３３）を示す。
図８Ｋでは、デバイス６００は、選択される直前（例えば、ジェスチャ８４４ｂがまだ終了していない）に、選択領域８２９内に配置されたカスタマイズ可能な女性アバターオプション８３０－５、及びカスタマイズ可能な女性アバターオプション８３０－５の下方に表示された編集アフォーダンス８０４を表示する。デバイス６００は、ぼかしエフェクト８０３を有するロボットアバター８３３を表示し続ける。一部の実施形態では、カスタマイズ可能なアバターオプションが選択領域８２９に配置されると、デバイス６００は、選択領域８２９に編集アフォーダンス８０４を表示する。編集アフォーダンス８０４を、図８ＡＡに関して以下に論じるものような、アバター編集ユーザインタフェースを表示するために選択することができる。
In FIG. 8K,
図８Ｌは、アバターオプション８３０－５が選択された後である（例えば、ジェスチャ８４４ｂが終了した）。デバイス６００は、（ぼかしエフェクト８０３を継続しながら）画像表示領域８２０からロボットアバター８３３を除去し、選択領域８２９内のアバターオプション８３０－５から現れて、画像表示領域８２０（例えば、画像表示領域８２０の中央の位置、又は被写体の顔に対応する位置）に移動する、カスタマイズ可能な女性アバター８３５のアニメーションを表示し、アバター８３５は、被写体の顔への検出された変化に基づいて変更される。一部の実施形態では、アニメーションは、静的外観（例えば、表示されたアバターオプションと一致するステッカーと同様）から始まり、次いで、ユーザの顔への変化を検出するデバイス６００に基づいてアバター（例えば、８３５）が修正される、動的状態（図８Ｌに示す）に遷移していく、アバター（例えば、８３５）を含む。一部の実施形態では、アバターの静的から動的への遷移は、アバターが選択領域から移動する前に発生する。一部の実施形態では、アバターの静的から動的への遷移は、アバターが選択領域８２９から画像表示領域８２０に移動するときに発生する。
FIG. 8L is after avatar option 830-5 has been selected (eg, gesture 844b has ended). The
図８Ｍ及び図８Ｎに示すように、アバター８３５が被写体の顔に適用されると、デバイス６００は、カメラ６０２の視野内の顔の位置への変化を含む、被写体の顔の検出された変化に基づいてアバター８３５を変更する。
As shown in FIGS. 8M and 8N, when
一部の実施形態では、デバイス６００がカメラ６０２の視野内に被写体の顔をもはや検出しなくなると、デバイス６００は、背景にぼかしエフェクト８０３（ぼかしエフェクト６４４と同様）を再度適用し、カメラ６０２の視野に顔を戻すようにユーザに指示するプロンプト８３８を表示する。図８Ｐに示す実施形態では、デバイス６００は、選択されたアバター（例えば、カスタマイズ可能な女性アバター）の表現８４０を含むプロンプト８３８、及びカメラ６０２の視野内で頭部を再配置するようにユーザーに指示するメッセージ８４２を表示する。一部の実施形態では、プロンプト８３８を表示することは、画像表示領域８２０の中心位置に戻っていく選択されたアバター（例えば、８３５）のアニメーションを表示すること、及びアバター特徴の物理モデルに基づいて停止するように見える、アバター及びその特徴の遅くなった動きを示すことを含む。
In some embodiments, when the
一部の実施形態では、デバイス６００がカメラ６０２の視野に戻るユーザの顔を検出すると、デバイス６００は、画像表示領域８２０の中心位置からユーザの顔の位置に移動するアバター８３５を表示し、検出されたユーザの顔の変化に基づいてアバターの変更を再開する。
In some embodiments, when the
一部の実施形態では、アバターオプションメニュー８２８を垂直ジェスチャ（例えば、８０５）で拡大して、図８Ｑ～８Ｔに示すアバターオプションメニューの拡大バージョンを表示することができる。アバターオプションメニューの拡大バージョンは、異なるタイプのアバター（例えば、カスタマイズ可能及びカスタマイズ不可能）を含む、一層多数のアバターオプション８３０を表示する。拡大されたアバター表示メニューにおいて、新規アバターオプション（例えば、ロボットアバターオプション８３０－３）を選択することができる。次いで、デバイス６００は、図８Ｕに示すように、アバターオプションメニューの拡大バージョンが元の（例えば、凝縮された）状態に戻ったときに、対応するアバター（例えば、ロボットアバター８３３）をユーザの顔に表示する。
In some embodiments, the
一部の実施形態では、デバイス６００は、画像表示領域８２０上のスワイプジェスチャを検出したことに応じて、ユーザの頭部上に異なるアバターを表示する。例えば、図８Ｖでは、デバイス６００は、画像表示領域８２０を横切って右方向に移動するスワイプジェスチャ８０６を検出する。スワイプジェスチャ８０６を検出したことに応じて、デバイス６００は、アバターオプションメニュー８２８内のアバターオプション８３０をスクロールする。一部の実施形態では、スクロールの大きさはスワイプジェスチャの大きさによって決定される。これにより、ユーザはスワイプジェスチャの大きさに基づいて複数のアバターをスクロールすることができる。加えて、スクロールの方向、及び画像表示領域８２０上のアバターの対応する動きは、スワイプジェスチャ８０６の方向に基づいて決定される。したがって、アバターオプションのスクロール、及び遷移するアバターの対応する動きは、スワイプが左方向にある場合には、左方向にあり得て、又はスワイプが右方向にある場合には、右方向にあり得る（図８Ｖ及び図８Ｗに示すように）。
In some embodiments,
アバターオプション８３０をスクロールし始めると、現在選択されているアバターオプション（例えば、図８Ｖのロボットアバターオプション８３０－３）は選択領域８２９を離れ、スクロールが継続すると、新規アバターオプション（例えば、図８Ｗのアバターオプション８３０－１）は選択領域８２９に入る。アバターオプションをスクロールすると、デバイス６００はまた、次のアバター（例えば、カスタマイズ可能なアバター８３１）が左から画像表示領域８２０に入って、ユーザーの顔に移動している間に、ユーザの顔から離れて画像表示領域８２０の右側に出ていく、現在選択されているアバター（例えば、ロボットアバター８３３）のアニメーションを、画像表示領域８２０に表示する。一部の実施形態では、デバイス６００は、アバターが画像表示領域８２０を横切ってスクロールされている間に、画像表示領域８２０にぼかしエフェクト８０３を適用する。
As scrolling through
図８Ｖ及び図８Ｗに示す実施形態では、ヌルアバターオプション８３０－２は選択されず、現在選択されているアバターから画像表示領域８２０に現れる新規アバターへの遷移をより良く示す。しかしながら、ヌルアバターオプション８３０－２は、画像表示領域８２０上のスワイプジェスチャにより選択できることを理解されたい。このような場合には、背景がぼやけている間に現在選択されているアバターを画面外に移動させた後、次いでぼかしエフェクトを除去してアバターなしのユーザーの顔を表示する。
In the embodiment shown in FIGS. 8V and 8W, null avatar option 830-2 is not selected to better illustrate the transition from the currently selected avatar to the new avatar appearing in
図８Ｘ及び図８Ｙは、異なるカスタマイズ可能なアバターオプション（例えば、カスタマイズ可能なアバターオプション８３０－５）及び対応する表示されたカスタマイズ可能なアバター８３５の選択を示す。カスタマイズ可能なアバターオプション８３０－５が選択領域８２９に表示されると、編集アフォーダンス８０４が表示される。編集アフォーダンス８０４は、図８ＡＡに示すアバター編集ユーザインタフェース８０８を表示するために（例えば、入力８０７を介して）選択できる。アバター編集ユーザインタフェース８０８は、選択された編集アフォーダンス８０４に関連付けられたカスタマイズ可能なアバターオプション（例えば、８３０－５）に対応するアバター（例えば、カスタマイズ可能なアバター８３５）を編集するためのインタフェースを提供する。
8X and 8Y illustrate selection of different customizable avatar options (eg, customizable avatar option 830-5) and corresponding displayed
一部の実施形態では、適用されるビジュアルエフェクトは、適用されたカスタムアバター８３５の下方の被写体の首部に示される影８５１、又は眼鏡の光反射などの照明エフェクトを含むことができる。デバイス６００がアバター８３５を変更してユーザのリアルタイム動作を反映すると、デバイス６００はまた、モデル化された光源とアバター８３５との相対位置に基づいて、反射陰影の表示位置を移動させることを含む、アバター８３５上及び被写体上に投影された照明エフェクトを変更する。
In some embodiments, the applied visual effects may include a
図８ＡＡに示すように、アバター編集ユーザインタフェース８０８は、カスタマイズ可能なアバター８３５の表現、並びに現在選択されているアバター特徴オプション及びアバター８３５を変更するために選択できる利用可能な機能オプションを表す様々なアバター特徴オプション８１０（例えば、顔色オプション８１０－１及び顔形状オプション８１０－２）を含む。アバター特徴オプションは、特定のアバター特徴、具体的には強調表示されたアバター頭部アフォーダンス８０９－１によって示されるアバター頭部特徴などの、現在選択されているアバター特徴の態様に対する値に対応する。アバター編集ユーザインタフェース８０８は、アバター８３５に表される、選択された顔色オプション８１０－１ａ及び選択された顔形状オプション８１０－２ａを示す。表示されるアバター特徴オプションは、異なるアバター特徴を選択することによって変更できる。例えば、図８ＡＢでは、デバイス６００は、アバター髪部アフォーダンス８０９－２が選択されると、アバター編集ユーザインタフェース８０８を更新して、異なるアバター髪部特徴オプション（例えば、髪部テクスチャオプション８１１－１及び髪部色オプション８１１－２）を表示する。
As shown in FIG. 8AA, the avatar
デバイス６００は、異なるアバター特徴オプションが選択されると、アバター８３５を変更する。例えば、図８ＡＢでは、デバイス６００は、ストレート髪部テクスチャオプション８１１－２ａの選択を検出し、選択されたストレート髪部テクスチャオプションを有するようにアバター８３５を更新する。一部の実施形態では、デバイス６００は、ユーザの顔の検出された変化に応じて、アバター編集ユーザインタフェース８０８に示されるアバター８３５の表現を変更する。
完了アフォーダンス８１２の選択を検出したことに応じて、デバイス６００は、アバター編集ユーザインタフェース８０８を出て、カメラアプリケーションユーザインタフェース８１５に戻り、アバター編集ユーザーインタフェースで選択された髪部テクスチャオプションに基づいて、選択されたアバターオプション８３０－５及び対応するアバター８３５を示す。
In response to detecting selection of
図８ＡＤ～図８ＡＦは、新たにカスタマイズされたアバターを作成して、アバターオプションメニュー８２８に追加することができる実施形態を示す。新規アバターアフォーダンス８１３の選択を検出したことに応じて、デバイス６００は、図８ＡＥに示すように、選択されたアバター特徴オプションを含まないデフォルトアバターの表現を有するアバター編集ユーザインタフェース８０８を表示する。デバイス６００は、アバター特徴オプションのユーザ選択に基づいてデフォルトアバターを変更し、アバターオプションメニュー８２８から選択可能な新規アバターとしてアバターを保存することができる。それゆえ、図８ＡＦでは、デバイス６００は、取消アフォーダンスの選択を検出し、図８ＡＧに示すように、変更されたアバターをアバターオプションメニュー８２８に保存することをやめる。
8AD-8AF illustrate embodiments in which a new customized avatar can be created and added to the
図８ＡＧのキャンセルアイコン８５０の選択を検出したことに応じて、デバイス６００は、アバターオプションメニュー８２８をクローズし、図８ＡＨに示すようにカメラオプション領域８２５を表示する。
In response to detecting selection of cancel icon 850 of FIG. 8AG,
ステッカーエフェクトアフォーダンス８２４－２の選択を検出したことに応じて、デバイス６００は、図８ＡＩのステッカー８５８のスクロール可能なリストを有するステッカーオプションメニュー８５６を表示する。ステッカーオプションメニュー８５６及びステッカー８５８は、上述のステッカーオプションメニュー６５６及びステッカー６５８と同様のものである。ステッカーは、ユーザが選択できて、画像表示領域８２０内の画像に適用される、静的なグラフィカルオブジェクトである。一部の実施形態では、ステッカーはタップジェスチャによって選択することができ、次いで、対応するステッカーは画像表示領域８２０上の位置に表示される。一部の実施形態では、ステッカーは、選択されたステッカー上で開始し、ステッカーを所望の位置にドラッグし、次いでドラッグを終了（例えば、指をリフト）することによってステッカーを所望の位置に配置する、タッチアンドドラッグジェスチャによって選択することができる。このような実施形態の一例が図８ＡＩ～図８ＡＫに示されており、ヘルメットステッカー８５８－１が選択され（例えば、入力８５３）、カスタムアバター８３５の上方の（例えば、離れた）位置にドラッグされている。図８ＡＫでは、デバイス６００は、被写体８３２が、図８ＡＪに示す位置から横方向に移動するのを検出する。これに応じて、デバイス６００は、被写体の表現の横方向の動き（例えば、方向及び大きさ）に基づいて横方向に動くヘルメットステッカー８５８－１及びアバター８３５の両方を表示する。
In response to detecting selection of sticker effect affordance 824-2,
図８ＡＫでは、デバイス６００は、クローズアフォーダンス８５５上の入力８５４を検出する。これに応じて、デバイス６００は、ステッカーオプションメニュー８５６をクローズして、図８ＡＬのカメラオプション領域８２５を表示する。図８ＡＬでは、デバイス６００は、被写体８３２が、頭を傾けて画面の中心にシフトして戻ることを示す。被写体８３２のこの動きを検出したことに応じて、デバイス６００は、図８ＡＬのカスタマイズ可能なアバター８３５の上方にヘルメットステッカー８５８－１を表示し、被写体の頭部の画面中心への動きに基づいて（図８ＡＫに示す位置から）横方向にシフトさせる。デバイス６００は、ヘルメットステッカー８５８－１を、アバター８３５に対して相対的な間隔を維持しながら表示する。しかしながら、図８ＡＬに示すように、ヘルメットステッカー８５８－１は、被写体の頭部の回転（例えば、傾斜）に応じて回転しない（例えば、傾かない）が、アバター８３５は回転する（例えば、傾く）。
In FIG. 8AK,
図８ＡＬでは、デバイス６００は、ビジュアルエフェクト（例えば、カスタマイズされたアバター８３５及びヘルメットステッカー８５８－１）を含む、画像表示領域８２０に表示されたライブカメラプレビュー８２０－１の画像、並びに、被写体８３２及び背景８３６を含む他の画像データを、デバイス６００にキャプチャさせるキャプチャアフォーダンス８２１の選択を検出する。
8AL,
図８ＡＭでは、デバイス６００は、画像表示領域８２０にキャプチャされた画像（例えば、メディアアイテム８２０－２）を示すカメラアプリケーションユーザインタフェース８１５を表示する（例えば、メディアアイテム８２０－２は、画像表示領域８２０に示されるライブカメラプレビュー８２０－１を置換する）。メディアアイテム８２０－２は、キャプチャアフォーダンス８２１が選択された時点での、ライブカメラプレビュー８２０－１の表現である。このように、メディアアイテム８２０－２は、被写体８３２の顔及び背景８３６の上に表示されるヘルメットステッカー８５８－１及びアバター８３５を含む。
8AM,
デバイス６００はまた、カメラ固有アフォーダンス（例えば、図８ＡＬに示すアフォーダンス８１７）を再撮影アフォーダンス８７９に置換し、キャプチャされたメディアアイテム８２０－２を保存するためのアフォーダンス８１８を保存する。
デバイス６００はまた、カメラオプション領域８２５を更新して、キャプチャアフォーダンス８２１及びカメラセレクタアフォーダンス８２７を、マークアップアフォーダンス８７７、編集アフォーダンス８７８、及び共有アフォーダンス８８０に置換する。マークアップアフォーダンス８７７は、ユーザがメディアアイテム８２０－２をマークアップすることを可能にする。編集アフォーダンス８７８により、ユーザが、画像を切り取ること、又はメディアアイテム８２０－２の他の特性を調整することによってなどで、メディアアイテム８２０－２を編集することが可能になる。共有アフォーダンス８８０は、ユーザが、例えばメッセージングアプリケーション又は電子メールアプリケーションなどの別のデバイスに、メディアアイテム８２０－２を送信することを可能にする。
デバイス６００は、ビジュアルエフェクトオプションアフォーダンス８２４を含むカメラオプション領域８２５を表示する。ビジュアルエフェクトオプションアフォーダンス８２４を選択して、それぞれのオプションメニューを表示することができ、オプションメニューを使用して、キャプチャされたメディアアイテム８２０－２（並びに、後述する記録されたビデオメディアアイテム８２０－４）を変更することができる。例えば、図８ＡＮ～図８ＡＰは、ステッカーをメディアアイテム８２０－２に追加するデバイス６００を示す。図８ＡＯのステッカーオプションメニュー８５６をデバイス６００に表示させる、ステッカーエフェクトアフォーダンス８２４－２が、図８ＡＮで選択され、図８ＡＰに示すメディアアイテム８２０－２内の被写体８３２上に配置された、ウサギステッカー８５８－２の選択も示す。ステッカーオプションメニュー８５６は、図８ＡＰではクローズされており、図８ＡＱではカメラオプション領域８２５を表示している。
図８ＡＱでは、デバイス６００はまた、他のビジュアルエフェクト（例えば、アバター８３５及びヘルメットステッカー８５８－１）と一緒に、被写体８３２上に配置されたウサギステッカー８５８－２を含むメディアアイテム８２０－２を表示する。
In FIG. 8AQ,
ステッカーは、メディアアイテム８２０－２（静止画）について上述したのと同様の方法で、ビデオフォーマット内の記録されたメディアアイテムに追加することができる。例えば、図８ＡＲは、ビデオメディアアイテム８２０－４が記録されたビデオである実施形態を示す。メディアアイテム８２０－４は、メディアアイテム６２０－４について上述したのと同様の方法で作成することができる。 Stickers can be added to recorded media items in video format in a manner similar to that described above for media item 820-2 (still images). For example, FIG. 8AR shows an embodiment in which video media item 820-4 is a recorded video. Media item 820-4 can be created in a manner similar to that described above for media item 620-4.
図８ＡＲでは、デバイス６００は、記録されたビデオメディアアイテム８２０－４を画像表示領域８２０に表示する。デバイス６００はまた、記録されたビデオメディアアイテム８２０－４用のビデオスクラバ８１２０、エフェクトアフォーダンス８２２、編集アフォーダンス８７８、マークアップアフォーダンス８７７、及び共有アフォーダンス８８０を有するカメラオプション領域８２５を表示する。カメラオプション領域８２５はまた、ビジュアルエフェクトオプションアフォーダンス８２４を含む。ビジュアルエフェクトオプションアフォーダンス８２４を選択して、キャプチャされたメディアアイテム８２０－４を変更するために使用できる、それぞれのオプションメニューを表示することができる。例えば、図８ＡＲ～図８ＡＶは、デバイス６００がステッカー８５８－２及び８５８－３をメディアアイテム８２０－４に追加することを示す。
8AR,
一部の実施形態では、表示されるステッカーは、ビデオメディアアイテム（又はライブビデオストリーム）において異なってモデル化された挙動を有することができる。例えば、一部のステッカーは、ディスプレイ（例えば、６０１）に適用されている外観を有し、画像データ内のオブジェクトが移動する際に静的に保たれる。このようなステッカーの例が、図８ＡＸ～図８ＢＣのハートステッカー８５８－３によって表示されている。一部の実施形態では、デバイス６００が、メディアアイテム、ライブカメラプレビュー、又はカメラ６０２の視野内の被写体の表現のすべて又は一部（例えば、頭部又は顔）の存在を検出しない場合、ステッカーが、メディアアイテム（例えば、８２０－４）又はライブカメラプレビュー（例えば、８２０－１）に配置されると、ステッカーはこの静的な挙動を有する。例えば、被写体の顔が完全に画面から外れていて（例えば、カメラ６０２の視野内で検出されていない）、ステッカーが画像表示領域８２０上に配置されている場合、いったん顔がカメラ６０２の視野内で検出され、前に配置されたステッカーと共に画像表示領域８２０上に表示されると、ステッカーは静止していて、被写体の顔のいかなる動きも追跡しない。
In some embodiments, displayed stickers may have behavior modeled differently in video media items (or live video streams). For example, some stickers have appearances that are applied to the display (eg, 601) and remain static as objects in the image data move. An example of such a sticker is represented by heart sticker 858-3 in FIGS. 8AX-8BC. In some embodiments, if
他のステッカーは、ディスプレイに適用されていて、画像内のオブジェクト（例えば、アバター又は被写体の表現を含む、カメラの視野内のアイテム）に追従して動いている外観を有する。一部の実施形態では、ステッカーは、ステッカーが追従するオブジェクトから離れた位置に配置される。このようなステッカーの例が、図８ＡＫ及び８ＡＸ～図８ＢＣのヘルメットステッカー８５８－１によって表示されている。ヘルメットステッカー８５８－１は、被写体８３２の横方向の動きに追従するが、被写体の回転運動には追従しない。このようなステッカーの別の例が、図８ＢＥ～８ＢＱのヒトデステッカー８５８－５によって表示されている。被写体の顔から離れて配置されると、ヒトデステッカー８５８－５は、顔に対する相対的な位置を維持しながら被写体の顔の動きに追従する（例えば、ヒトデのステッカー８５８－５は、被写体の顔の前方、後方、及び左右の動きには追従するが、被写体の顔の回転運動には追従しない）。
Other stickers have the appearance of being applied to the display and following and moving objects in the image (eg, items in the field of view of the camera, including avatars or representations of subjects). In some embodiments, the sticker is positioned away from the object it follows. An example of such a sticker is represented by helmet sticker 858-1 in FIGS. 8AK and 8AX-8BC. Helmet sticker 858-1 follows lateral movement of
しかし、他のステッカーは、カメラ６０２の視野内のオブジェクトに適用されている外観を有し、視野内のオブジェクトに追従するように（例えば、ステッカーが画像内のオブジェクトに合わせた深度の外観を有しながら）移動する。このようなステッカーの例が、図８ＡＸ～図８ＢＣのウサギステッカー８５８－２によって表示されている。ウサギステッカー８５８－２は、被写体（具体的には、被写体の肩）の横方向及び回転運動と共に動く。このようなステッカーの別の例が、図８ＢＧ～図８ＢＭの眼鏡ステッカー８５８－４によって表示されている。図８ＢＧ～図８ＢＭの被写体の顔に配置されると、眼鏡ステッカー８５８－４は、被写体の顔の横方向の動き（例えば、左右、上／下）、被写体の顔の前後の動き、及び被写体の顔の回転運動に追従する。眼鏡ステッカー８５８－４は、被写体の顔に物理的に貼り付けられている（例えば、接着されている）外観を有する。
Other stickers, however, have appearances that are applied to objects within the field of view of
一部の実施形態では、ステッカーの挙動は、メディアアイテム内のオブジェクト（又はライブカメラプレビュー又はカメラの視野）に対するその位置に基づいて変化する。一部の実施形態では、ステッカーの挙動は、オブジェクトに対するステッカーの位置の変化を検出したことに応じて変化する。そのようなステッカーの例を図８ＢＥ～図８ＢＱに示し、以下に一層詳細に説明する。 In some embodiments, the behavior of the sticker changes based on its position relative to the object (or live camera preview or camera view) within the media item. In some embodiments, the behavior of the sticker changes in response to detecting a change in the position of the sticker relative to the object. Examples of such stickers are shown in Figures 8BE-8BQ and are described in more detail below.
図８ＡＷ～図８ＢＣは、アバター８３５、ヘルメットステッカー８５８－１、ウサギステッカー８５８－２、及びハートステッカー８５８－３を含む、メディアアイテム８２０－４のビデオ再生及び編集を示す。再生中にメディアアイテム８２０－４が進行すると、ハートステッカー８５８－３は、ディスプレイ６０１に貼り付けられていて動かない外観を有しながら、静止したままである。ヘルメットステッカー８５８－１は、ディスプレイに貼り付けられている外観を有するが、アバター８３５の位置の変化に応じて移動する（例えば、変形する）。ウサギステッカー８５８－２は、メディアアイテム８２０－４内の被写体８３２の肩に貼り付けられている外観を有する。肩が動くと、ウサギステッカー８５８－２は、向き及び表示サイズを含む位置を変更して、メディアアイテム８２０－４の再生中に被写体の肩に追従している外観を与える。
8AW-8BC show video playback and editing of media item 820-4, including
一部の実施形態では、３次元で（例えば、深度センサからの深度情報を介して）追跡されている、それぞれのオブジェクト（例えば、デバイスのユーザの顔、手、又は他の身体の部分）を含む、１つ以上のカメラの視野の表現の位置に適用されるステッカー又は他の仮想オブジェクトは、１つ以上のカメラの視野内で、それぞれのオブジェクトが横方向に（例えば、左右に、及び／又は上下に）移動すると、横方向に（例えば、左右に、及び／又は上下に）移動することに加えて、１つ以上のカメラからのそれぞれのオブジェクトの距離、及び／又は１つ以上のカメラに対するそれぞれのオブジェクトの向きが変化すると、仮想オブジェクトのサイズ及び／又は向きが変化するように、それぞれのオブジェクトに付着している。例えば、図８ＡＳ～図８ＡＴに示すように、ウサギステッカー８５８－２が被写体の肩の表現上に配置されている。図８ＡＸ～図８ＡＹでは、肩がカメラの上方及びカメラに向かって動くにつれて、ウサギステッカー８５８－２は、肩と共に横方向（上方）に動き、肩がカメラに向かって動くにつれて拡大する。一部の実施形態では、３次元で（例えば、深度センサからの深度情報を介して）追跡されている、それぞれのオブジェクト（例えば、デバイスのユーザの顔、手、又は他の身体の部分）から離れている（例えば、遠隔の）、１つ以上のカメラの視野の表現の位置に適用されるステッカー又は他の仮想オブジェクトは、１つ以上のカメラからのそれぞれのオブジェクトの距離、及び／又は１つ以上のカメラに対するそれぞれのオブジェクトの向きが変化しても、仮想オブジェクトのサイズ及び／又は向きが変化しないように、オブジェクトに付着することなく、１つ以上のカメラの視界内で、それぞれのオブジェクトが横方向に（例えば、左右に、及び／又は上下に）移動すると、横方向に（例えば、左右に、及び／又は上下に）移動する。例えば、図８ＡＸ及び図８ＡＹに示すように、ヘルメットステッカー８５８－１は、被写体の表現から離れた位置に配置される。図８ＡＸ及び図８ＡＹでは、被写体の表現が横向きにカメラに近づいて動くにつれて、ヘルメットステッカー８５８－１は、ユーザの表現の動きに基づいて横方向に移動するが、向き又はサイズは変化しない。 In some embodiments, each object (e.g., face, hand, or other body part of the user of the device) being tracked in three dimensions (e.g., via depth information from a depth sensor) is Stickers or other virtual objects applied to the position of the representation of one or more cameras' fields of view, including: or up and down), in addition to moving laterally (e.g., left and right and/or up and down), the distance of each object from one or more cameras, and/or one or more cameras attached to each object such that the size and/or orientation of the virtual object changes as the orientation of the respective object with respect to changes. For example, as shown in FIGS. 8AS-8AT, a rabbit sticker 858-2 is placed over a shoulder representation of the subject. In FIGS. 8AX-8AY, as the shoulder moves above and towards the camera, the rabbit sticker 858-2 moves laterally (upward) with the shoulder and expands as the shoulder moves towards the camera. In some embodiments, from each object (e.g., face, hand, or other body part of the user of the device) being tracked in three dimensions (e.g., via depth information from a depth sensor) Stickers or other virtual objects applied to locations in the representation of the field of view of one or more cameras that are distant (e.g., remote) may vary depending on the distance of each object from the one or more cameras, and/or 1 each object within the field of view of one or more cameras without adhering to the object such that the size and/or orientation of the virtual object does not change as the orientation of each object with respect to the one or more cameras changes; moves laterally (eg, left-right and/or up-down), it moves laterally (eg, left-right and/or up-down). For example, as shown in FIGS. 8AX and 8AY, helmet sticker 858-1 is positioned away from the representation of the subject. In FIGS. 8AX and 8AY, as the subject's representation moves sideways toward the camera, helmet sticker 858-1 moves laterally based on the movement of the user's representation, but does not change orientation or size.
図８ＡＹでは、デバイス６００は、スクラバ８１２０上の入力８８２（例えば、スワイプ又はドラッグジェスチャ）を検出し、入力に基づいてメディアアイテム８２０－４をスクラブする。図８ＡＺに示すように、入力８８２に応じて、デバイス６００は、メディアアイテム８２０－４を通じて反転して、図８ＡＸで以前に表示されたメディアアイテム８２０－４の部分を表示する。デバイス６００は、編集アフォーダンス８７８上の入力８８４を検出する。
In FIG. 8AY,
図８ＢＡでは、デバイス６００は、編集モードに入り（メディアアイテム８２０－４を編集するために）、ビデオスクラバ８１２０の端部に（入力８８３を介して）アフォーダンス８８５をドラッグすることによってビデオをクロッピングするために選択可能なアフォーダンス８８５を表示して、ビデオスクラバの終了時間を変更する。
In FIG. 8BA,
図８ＢＢに示すように、ビデオスクラバ８１２０は、入力８８３に応じてトリミングされる。デバイス６００は、完了アフォーダンス８８７上の入力８８６を検出し、編集モードを終了させる。
As shown in FIG. 8BB,
図８ＢＣでは、ビデオスクラバ８１２０は、トリミングされて示されている（例えば、図８ＡＺの編集モードに入る前よりも長さが短い）。デバイス６００は、エフェクトアフォーダンス８２２上の入力８８８を検出し、エフェクトモードを終了させる。
In FIG. 8BC, the
図８ＢＤに表すように、メディアアイテム８２０－４に表示されるビジュアルエフェクトビジュアルエフェクトは、エフェクトアフォーダンス８２２を選択解除する入力８８８を検出したことに応じて表示から隠される。
As depicted in FIG. 8BD, the visual effect visual effect displayed on media item 820-4 is hidden from display in response to detecting
一部の実施形態では、ステッカーは、ステッカーの配置の条件（例えば、他のオブジェクトに対するステッカーの位置、ステッカーが配置されたときのオブジェクトの存在（又は不存在）など）に基づいて決定される挙動を有することができる。例えば、一部の実施形態では、ステッカーは、オブジェクト又は領域から離れて配置される場合には第１のタイプの挙動を、オブジェクト又は領域上に配置される場合には第２のタイプの挙動を有することができる。一部の実施形態では、ステッカーが配置されるときにオブジェクトが存在しない場合には、ステッカーは、第３のタイプの挙動を有することができる。一部の実施形態では、ステッカーの挙動は、（例えば、オブジェクトに対する）ステッカーの配置の変化に基づいて変化し得る。 In some embodiments, the sticker has behavior that is determined based on the conditions of placement of the sticker (e.g., the position of the sticker relative to other objects, the presence (or absence) of the object when the sticker is placed, etc.). can have For example, in some embodiments, a sticker behaves in a first type when placed away from an object or area and behaves in a second type when placed on an object or area. can have In some embodiments, a sticker can have a third type of behavior if no object is present when the sticker is placed. In some embodiments, the behavior of the sticker may change based on changes in the placement of the sticker (eg, relative to the object).
例えば、図８ＢＥ～図８ＢＱは、ライブカメラプレビュー８２０－１に表示される様々なステッカーの挙動を示す例示的な実施形態を示し、被写体の顔に対するステッカーの配置の変化に基づいてステッカーの挙動を変更する。図８ＢＥ～図８ＢＱに示す実施形態では、ステッカーの挙動は、被写体の顔に対するステッカーの位置に基づいて決定される。 For example, FIGS. 8BE-8BQ illustrate an exemplary embodiment showing the behavior of various stickers displayed in the live camera preview 820-1, where the behavior of the stickers is changed based on changes in the placement of the stickers relative to the subject's face. change. In the embodiment shown in FIGS. 8BE-8BQ, the behavior of the sticker is determined based on the position of the sticker relative to the subject's face.
図８ＢＥでは、デバイス６００は、図８Ｄに示すものと同様の外観であるが、画像表示領域８２０に表示されたステッカー８５８を有する、カメラアプリケーションユーザインタフェース８１５を表示する。画像表示領域８２０は、カメラ６０２の視野内に位置する被写体８３２の表現、及び被写体８３２の背後に表示された背景８３６を示している、カメラ６０２からのライブカメラプレビュー８２０－１を示す。眼鏡ステッカー８５８－４、ヒトデステッカー８５８－５、及び野球ステッカー８５８－６は、被写体８３２の顔から離れて（例えば、上にではなく）、それぞれ配置されて表示される。図８ＢＥ～図８ＢＱに示すステッカーは、本明細書で論じる様々な実施形態に従って、画像表示領域内に配置され、移動させることができる。
In FIG. 8BE, the
ステッカー８５８が被写体の顔から離れて（例えば、その上ではなく）配置される場合、ステッカー８５８は第１の種類の挙動を有する。例えば、ステッカーは、横方向（例えば、横から横、及び上／下）、前方（例えば、カメラ６０２に向かう）、及び後方（例えば、カメラ６０２から離れる）の被写体の顔の動きには追従するが、被写体の顔の回転運動には追従しない（例えば、被写体の顔のピッチ及びヨーに追従しない）。 Sticker 858 has a first type of behavior when sticker 858 is placed away from (eg, not on) the subject's face. For example, the sticker follows the subject's facial movements in lateral (e.g., side-to-side and up/down), forward (e.g., toward camera 602), and backward (e.g., away from camera 602). but does not follow the rotational motion of the subject's face (eg, it does not follow the pitch and yaw of the subject's face).
図８ＢＦでは、デバイス６００は、眼鏡ステッカー８５８－４上の入力８８９（例えば、ディスプレイ６０１上のタッチアンドドラッグジェスチャ）を検出する。入力８８９を検出したことに応じて、デバイス６００は、図８ＢＧ及び図８ＢＨに示すように、入力と共に移動する眼鏡ステッカー８５８－４を（例えば、入力８８９の動きの向き及び大きさで）表示する。
In FIG. 8BF,
一部の実施形態では、デバイス６００は、ステッカーが追従しているオブジェクトに対応する位置にステッカーが移動したときにインジケーションを提供する。例えば、図８ＢＧでは、デバイス６００は、眼鏡ステッカー８５８－４が、被写体の顔から離れた位置から被写体の顔の位置に移動していることを示す。デバイス６００は、眼鏡ステッカー８５８－４が被写体の顔に移動すると、被写体の顔の周りにブラケット８９０を表示し、任意選択的に、触覚フィードバック８９２（例えば、音声出力を伴う、又は伴わない触知出力）を生成する。一部の実施形態では、ブラケット８９０は、眼鏡ステッカー８５８－４が被写体の顔に表示されることになるように（眼鏡ステッカー８５８－４の変更された挙動がもたらされるように）、眼鏡ステッカー８５８－４を配置できる領域の視覚的表示を提供する。このように、ユーザがステッカーを被写体の顔に配置されることになる配置領域（例えば、ブラケットの内側）にステッカーをドラッグしている間に、ブラケット８９０（及び触覚フィードバック８９２）をユーザーに示すことができる。一部の実施形態では、触覚フィードバック８９２は、眼鏡ステッカー８５８－４が、被写体の顔の外側の領域（例えば、ステッカーが第１のタイプの挙動を有する領域）から、被写体の顔の領域（例えば、ステッカーが第２のタイプの挙動を有する領域）に移動したことを示す。
In some embodiments,
一部の実施形態では、ステッカーが追従しているオブジェクトに対応する位置にステッカー（又は他のビジュアルエフェクト）の位置が移動することをデバイス６００が検出すると、デバイス６００は、オブジェクトの位置に基づいてステッカーの外観を変更し、ステッカーの挙動を変更する（一部の実施形態では、ステッカーの挙動は、入力８８９の終了を検出した後に変更される）。デバイス６００はまた、ステッカーが追従しているオブジェクトに対応する位置からオブジェクトから離れた位置にステッカーが移動すると、ステッカーの外観及び挙動を逆の方法で変更する。
In some embodiments, when the
図８ＢＨでは、デバイス６００が被写体の顔の眼鏡ステッカー８５８－４の位置を検出すると（例えば、ブラケット８９０内に位置する）、デバイス６００は、被写体の顔の位置（例えば、サイズ及び向き）に基づいてステッカーを変更する。例えば、眼鏡ステッカー８５８－４は、サイズが（例えば、被写体の顔のサイズに比例して適合するように）増大し、図８ＢＧの静的位置から図８ＢＨの被写体の顔の位置と一致するように回転する。一部の実施形態では、ステッカーは、被写体の鼻に対応する平面上に配置され、顔が動くとその位置の座標を変換する。一部の実施形態では、顔メッシュ（例えば、深度マスク）を使用して鼻の点を決定する。一部の実施形態では、ステッカーは、平面上に配置されるが、被写体の顔の形状には適合しない。
In FIG. 8BH, when
デバイス６００はまた、ステッカーの挙動を第２の種類の挙動（例えば、第１の種類の挙動とは異なる挙動）に変更する。図８ＢＨに示すように、挙動の第２のタイプは、横方向の動き及び前後方向の動きに加えて、ステッカーが被写体の顔の回転運動に追従して（例えば、顔のピッチ及びヨーに追従して）、顔のその３Ｄ位置を維持する挙動を含むことができる。他のステッカーの挙動は変化しない。このように、野球ステッカー８５８－６及びヒトデステッカー８５８－５は、被写体の顔には配置されれないので、挙動の第１のタイプを有し続けている。代わりに、ヒトデステッカー８５８－５及び野球ステッカー８５８－６は、顔からの相対的間隔を維持し続ける。
一部の実施形態では、ブラケット８９０は入力８８９と共に持続し、入力８８９は被写体の顔に（例えば、ブラケット内に）配置される。このように、デバイス６００が入力８８９の終了を検出すると、デバイス６００は、図８ＢＩに示すように、ブラケット８９０の表示を停止する。
In some embodiments,
図８ＢＩ及び図８ＢＪは、被写体の顔と共に眼鏡ステッカー８５８－４を回転しているデバイス６００を示しているが、ヒトデステッカー８５８－５及び野球ステッカー８５８－６は静止したままである（眼鏡ステッカー８５８－４とは異なり、それらは被写体の顔の回転運動に追従しない）。
8BI and
図８ＢＫでは、被写体はカメラ６０２に近づくように動く。眼鏡ステッカー８５８－４は、被写体の顔の前方への動きと共に動き、被写体の顔との回転位置を維持する。同様に、野球ステッカー８５８－６及びヒトデステッカー８５８－５は、被写体の顔に対する相対的間隔を維持しながら、被写体の顔の前方への動きと共に動く。野球ステッカー８５８－６及びヒトデステッカー８５８－５は、被写体の顔と共に回転しない。
In FIG. 8BK, the subject moves closer to
図８ＢＫでは、デバイス６００は、キャプチャアフォーダンス８２１上で入力８９３を検出し、これに応じて、ライブカメラプレビュー８２０－１の画像をキャプチャする。
In FIG. 8BK,
図８ＢＬでは、デバイス６００は、画像表示領域８２０にキャプチャされた画像（例えば、メディアアイテム８２０－５）を示すカメラアプリケーションユーザインタフェース８１５を表示する（例えば、メディアアイテム８２０－５は、画像表示領域８２０に示されるライブカメラプレビュー８２０－１を置換する）。メディアアイテム８２０－５は、キャプチャアフォーダンス８２１が選択された時点でのライブカメラプレビュー８２０－１の表現である。図８ＢＬに示す実施形態は、図８ＡＭに示したものと同様であるが、（メディアアイテム８２０－２の代わりに）メディアアイテム８２０－５を有し、メディアアイテム８２０－５は、被写体８３２の顔及び背景８３６に対して表示される、眼鏡ステッカー８５８－４、ヒトデステッカー８５８－５、及び野球ステッカー８５８－６を含む。
In FIG. 8BL,
本明細書で論じるように、ビジュアルエフェクトの表示は、異なる実施形態にわたって同様である。例えば、他に明記しない限り、ビジュアルエフェクトは、カメラアプリケーション、メッセージングアプリケーション、アバター編集アプリケーション、ライブビデオメッセージングアプリケーション、又は本明細書で論じる任意の他のアプリケーションにおける同様の方法で、表示及び操作することができる。加えて、画像データの異なるタイプにわたって、同様の方法でビジュアルエフェクトを表示及び操作することができる。例えば、特に明記しない限り、ビジュアルエフェクトは、ライブカメラプレビュー、メディアアイテム、ストリーミングされた画像データ、又は本明細書で論じられる任意の他の画像データにおける同様の方法で、表示及び操作することができる。例えば、図８ＢＬ～図８ＢＱは、ライブカメラプレビュー８２０－１について上述したのと同様の方法で、メディアアイテム８２０－５にステッカーを表示することを示す。具体的には、図８ＢＬ～図８ＢＱは、ライブ画像プレビュー８２０－１に関して上述したのと同様の方法で、メディアアイテム（例えば、８２０－５）内のステッカーを再配置し、それに応じてそれらのそれぞれの挙動を変更できることを表す。 As discussed herein, the display of visual effects is similar across different embodiments. For example, unless stated otherwise, visual effects may be displayed and manipulated in a similar manner in a camera application, messaging application, avatar editing application, live video messaging application, or any other application discussed herein. can. Additionally, visual effects can be displayed and manipulated in a similar manner across different types of image data. For example, unless otherwise stated, visual effects can be displayed and manipulated in a similar manner in live camera previews, media items, streamed image data, or any other image data discussed herein. . For example, FIGS. 8BL-8BQ show displaying stickers on media item 820-5 in a manner similar to that described above for live camera preview 820-1. Specifically, FIGS. 8BL-8BQ rearrange stickers within a media item (eg, 820-5) in a manner similar to that described above with respect to live image preview 820-1, and their Indicates that each behavior can be changed.
図８ＢＭでは、デバイス６００は、眼鏡のステッカー８５８－４上の入力８９４を検出し、ブラケット８９０を表示する。図８ＢＮでは、入力８９４は、眼鏡ステッカー８５８－４を被写体の顔から動かして外す。眼鏡ステッカーを顔から動かして外すと、デバイス６００は、触覚フィードバック８９２を生成し、ブラケット８９０の表示を停止し、眼鏡ステッカー８５８－４をその元の形状（例えば、眼鏡ステッカーが図８ＢＥの被写体の顔から離れて配置されたときからわずかに傾斜した形状）に変更して戻す。デバイス６００はまた、眼鏡ステッカー８５８－４の挙動を、第１のタイプの挙動（ステッカーが追跡しているオブジェクトから離れた配置されたステッカーに関連付けられた挙動）に変更して戻し、変更された挙動に基づいてステッカーの外観を変更する。このように、眼鏡ステッカー８５８－４は、（図８ＢＥ～図８ＢＧの眼鏡ステッカー８５８－４のサイズと比較して）図８ＢＮ～８ＢＱのより大きいサイズを有して表示され、ヒトデステッカー８５８－５及び野球ステッカー８５８－６のサイズ変化と同様に、図８ＢＪ～８ＢＫの被写体の顔の前方への動きに基づいて、眼鏡ステッカー８５８－４のメディアアイテム８２０－５内の被写体の顔の位置に対する相対的間隔を維持する。
In FIG. 8BM,
図８ＢＯ～図８ＢＱは、メディアアイテム８２０－５内の被写体の顔に異なるステッカーを配置すること、及び異なるステッカーが、被写体の顔に動かされたことに応じて、ステッカーの異なる挙動に基づいて変更されることを表す。例えば、図８ＢＯでは、デバイス６００は、野球ステッカー８５８－６上の入力８９５を検出する。野球ステッカー８５８－６が図８ＢＰの被写体の顔にドラッグされると、デバイス６００は、ブラケット８９０を表示し、触覚フィードバック８９２（例えば、触知出力）を生成し、被写体の顔の角度に基づいて野球ステッカー８５８－６を再配置する。言い換えれば、野球ステッカー８５８－６の挙動は、眼鏡ステッカー８５８－４が被写体の顔に配置されたときの被写体の顔の回転運動に追従する方法と同様に、被写体の顔の回転運動に追従するように変化する。
8BO-8BQ are modified based on placing different stickers on the subject's face in media item 820-5 and different behavior of the stickers in response to being moved to the subject's face. It means that For example, in FIG. 8BO,
図８ＢＱでは、入力８９５が終了し、デバイス６００はブラケット８９０の表示を停止する。
In FIG. 8BQ,
図９Ａ～図９Ｂは、一部の実施形態に係る、電子デバイスを使用してカメラアプリケーションにビジュアルエフェクトを表示するための方法を示すフロー図である。方法９００は、カメラと表示装置とを備えたデバイス（例えば、１００、３００、５００、６００）にて実行される。方法９００におけるいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作の順序は任意選択的に変更され、いくつかの動作は任意選択的に省略される。
9A-9B are flow diagrams illustrating methods for displaying visual effects in a camera application using an electronic device, according to some embodiments.
以下に説明するように、方法９００は、カメラアプリケーションにビジュアルエフェクトを表示するための直感的な仕方を提供する。かかる方法は、カメラアプリケーションにおいて閲覧される画像にビジュアルエフェクトを適用するためのユーザの認知負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスでは、画像にビジュアルエフェクトをユーザーがより迅速かつ効率的に表示できるようにすることで、電力を節約し、バッテリ充電間の時間を増大させる。
As described below,
電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、カメラユーザインタフェース（例えば、８１５）を表示する（９０２）。カメラユーザインタフェースは、カメラ（例えば、６０２）を介してキャプチャされた画像データの表現（例えば、８３５）を含む、カメラ表示領域（例えば、８２０）を含む（９０４）。 An electronic device (eg, 600) displays (902) a camera user interface (eg, 815) via a display (eg, 601). The camera user interface includes (904) a camera display area (eg, 820) that contains a representation (eg, 835) of image data captured via the camera (eg, 602).
一部の実施形態では、画像データは、深度データ（キャプチャされた画像又はビデオの深度アスペクト（例えば、ＲＧＢデータから独立した深度データ）を含む画像データ）を含む（９０６）。一部の実施形態では、画像データは、少なくとも２つの成分、すなわち、キャプチャされた画像の視覚特性を符号化するＲＧＢ成分、及びキャプチャされた画像内の要素の相対的な空間的関係についての情報を符号化する深度データ（例えば、深度データは、ユーザが前景にあることを符号化し、ユーザの背後に位置する木などの背景要素は、背景にある）を含む。一部の実施形態では、深度データは深度マップである。一部の実施形態では、深度マップ（例えば、深度マップ画像）は、視点（例えば、カメラ）からのシーン内のオブジェクトの距離に関する情報（例えば、値）を含む。深度マップの一実施形態では、各深度ピクセルは、その対応する２次元ピクセルが位置する、視点のＺ軸内の位置を規定する。一部の例では、深度マップは、各ピクセルが値（例えば、０～２５５）によって定義されるピクセルから構成される。例えば、「０」値は、「３次元」シーンにおける最も離れた位置に配置されたピクセルを表し、「２５５」値は、「３次元」シーンにおける視点（例えば、カメラ）に最も近いピクセルを表す。他の例では、深度マップは、シーン内のオブジェクトと視点の平面との間の距離を表す。一部の実施形態では、深度マップは、深度カメラの視点における関心あるオブジェクトの様々な特徴の相対的深度（例えば、ユーザの顔の目、鼻、口、耳の相対的な深度）についての情報を含む。一部の実施形態では、深度マップは、ｚ方向の関心あるオブジェクトの輪郭をデバイスが判定することを可能にする情報を含む。 In some embodiments, the image data includes 906 depth data (image data that includes a depth aspect of a captured image or video (eg, depth data independent of RGB data)). In some embodiments, the image data has at least two components: RGB components that encode visual properties of the captured image, and information about the relative spatial relationships of elements within the captured image. (eg, depth data encodes that the user is in the foreground, and background elements such as trees located behind the user are in the background). In some embodiments the depth data is a depth map. In some embodiments, a depth map (eg, depth map image) contains information (eg, values) about the distance of objects in the scene from the viewpoint (eg, camera). In one embodiment of the depth map, each depth pixel defines the position within the Z-axis of the viewpoint at which its corresponding two-dimensional pixel is located. In some examples, the depth map consists of pixels where each pixel is defined by a value (eg, 0-255). For example, a '0' value represents the farthest located pixel in a '3D' scene, and a '255' value represents a pixel closest to the viewpoint (e.g. camera) in a '3D' scene. . In another example, the depth map represents the distance between objects in the scene and the plane of the viewpoint. In some embodiments, the depth map provides information about the relative depths of various features of the object of interest (e.g., the relative depths of the eyes, nose, mouth, ears on the user's face) in the perspective of the depth camera. including. In some embodiments, the depth map contains information that allows the device to determine the contour of the object of interest in the z-direction.
一部の実施形態では、深度データは、カメラ表示領域（例えば、８２０）内の被写体の表現を含む、第１の深度成分（例えば、カメラ表示領域内の被写体の空間位置を符号化する深度データの第１の部分、前景又は特定のオブジェクトなどの、深度マップの離散部分を形成する複数の深度ピクセル）を有する。一部の実施形態では、深度データは、第１の深度成分とは別個の、第２の深度成分（例えば、カメラ表示領域内の背景の空間位置を符号化する深度データの第２の部分、背景などの、深度マップの離散部分を形成する複数の深度ピクセル）を有し、第２の深度アスペクトは、カメラ表示領域における背景の表現を含む。一部の実施形態では、第１の深度アスペクト及び第２の深度アスペクトは、カメラ表示領域内の被写体とカメラ表示領域内の背景との間の空間的関係を判定するために使用される。この空間的関係は、被写体を背景から識別するために使用することができる。この識別は、例えば、異なるビジュアルエフェクト（例えば、深度成分を有するビジュアルエフェクト）を被写体及び背景に適用するために利用することができる。一部の実施形態では、第１の深度成分に対応しない画像データのすべての領域（例えば、深度カメラの範囲外である画像データの領域）は、深度マップからセグメント化される（例えば、除外される）。 In some embodiments, the depth data includes a first depth component (e.g., depth data encoding the spatial position of the object within the camera display area) that includes a representation of the object within the camera display area (e.g., 820). , a plurality of depth pixels forming a discrete portion of the depth map, such as the foreground or a particular object. In some embodiments, the depth data includes a second depth component separate from the first depth component (e.g., a second portion of the depth data encoding the spatial location of the background within the camera viewing area; A plurality of depth pixels forming a discrete portion of the depth map, such as the background, and the second depth aspect includes a representation of the background in the camera viewing area. In some embodiments, the first depth aspect and the second depth aspect are used to determine the spatial relationship between the subject within the camera viewing area and the background within the camera viewing area. This spatial relationship can be used to distinguish the subject from the background. This identification can be used, for example, to apply different visual effects (eg, visual effects with depth components) to the subject and background. In some embodiments, all regions of image data that do not correspond to the first depth component (eg, regions of image data that are outside the range of the depth camera) are segmented (eg, excluded) from the depth map. ).
一部の実施形態では、カメラ（例えば、６０２）を介してキャプチャされた画像データの表現（例えば、８３５）は、ライブカメラプレビュー（例えば、カメラの視野にあるものを表す画像データのストリーム）である。 In some embodiments, a representation (eg, 835) of image data captured via a camera (eg, 602) is a live camera preview (eg, a stream of image data representing what is in the camera's field of view). be.
一部の実施形態では、第１のカメラ表示モードがアクティブである間に、電子デバイス（例えば、６００）は、カメラ表示領域（例えば、８２０）上のスワイプジェスチャを検出する。一部の実施形態では、カメラ表示領域上のスワイプジェスチャを検出したことに応じて、例えば、電子デバイス（例えば、６００）は、カメラ表示領域内の選択されたアバターオプションの表示された表現の外観を、第１の外観（例えば、現在選択されているアバターオプションに基づく外観）から、第２の外観（例えば、異なるアバターオプション（例えば、ヌルアバターオプション、又は異なるタイプ（例えば、カスタマイズ可能な、カスタマイズ不可能な）のアバターを含む、異なるアバターに対応するアバターオプション）基づく外観）に変更し、第２の外観は、複数のアバターオプションのうちの異なる１つ（例えば、アバター選択領域に含まれる異なるアバターオプション）に対応する。カメラ表示領域上のスワイプジェスチャを検出したことに応じて、選択されたアバターオプションの表示された表現の外観を変更することによって、選択されたアバターの表現を変更するための迅速かつ容易な方法をユーザに提供する。追加表示されたコントロールによりユーザインタフェース（ＵＩ）を雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, the electronic device (eg, 600) detects a swipe gesture on the camera viewing area (eg, 820) while the first camera viewing mode is active. In some embodiments, in response to detecting a swipe gesture over the camera display area, for example, the electronic device (eg, 600) displays the appearance of the displayed representation of the selected avatar option within the camera display area. from a first appearance (e.g., an appearance based on currently selected avatar options) to a second appearance (e.g., a different avatar option (e.g., null avatar option), or a different type (e.g., customizable, customized avatar options corresponding to different avatars, including avatars that are not possible), and the second appearance changes to a different one of the multiple avatar options (e.g., a different avatar included in the avatar selection area). avatar option). A quick and easy way to change the expression of the selected avatar by changing the appearance of the displayed expression of the selected avatar option in response to detecting a swipe gesture on the camera viewing area. Provide to users. By providing additional control options without cluttering the user interface (UI) with additional displayed controls, the usability of the device is improved and the user device interface (e.g., when operating/interacting with the device) is make the device more efficient (by assisting the user in providing appropriate input and reducing user error), as well as by allowing the user to use the device more quickly and efficiently. reduce power usage and improve battery life.
一部の実施形態では、複数のアバターオプションのうちの異なる一つがヌルアバターオプションである場合、デバイス（例えば、６００）は、アバターの表現を被写体の表現上に表示することを停止する（例えば、デバイスは、ユーザの頭部の画像データを仮想アバターに置換することをやめる）。一部の実施形態では、複数のアバターオプションのうちの異なる１つが、異なるアバターキャラクタ（カスタマイズ可能又はカスタマイズ不可能なアバターキャラクタを含む）のアバターオプションである場合、デバイスは、選択されたアバターキャラクタを異なるアバターキャラクタに置換する（例えば、デバイスは、アバターの表現を異なるアバターの表現に置換する）。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、画面の中心に移動する異なるアバターキャラクターのアニメーションを表示することを含む。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、ユーザの頭部に移動する異なるアバターキャラクターのアニメーションを表示することを含む。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、選択されたアバターが置換されている間に背景をぼかすことを含む。選択されたアバターキャラクターが異なるアバターキャラクターに置換されると／されている間に、アニメーションを表示する（例えば、異なるアバターキャラクタが画面の中央に移動し、異なるアバターキャラクタがユーザの頭部に移動して背景をぼかす）ことにより、アバターキャラクターが変更されているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、現在選択されているアバターオプションは第１のタイプのアバター（例えば、カスタマイズ可能なアバター）に対応し、異なるアバターオプションは第２のタイプのアバター（例えばカスタマイズ不可能なアバター）に対応する。 In some embodiments, if a different one of the multiple avatar options is a null avatar option, the device (eg, 600) stops displaying the representation of the avatar over the representation of the subject (eg, The device ceases to replace the image data of the user's head with the virtual avatar). In some embodiments, if a different one of the multiple avatar options is an avatar option for a different avatar character (including customizable or non-customizable avatar characters), the device selects the selected avatar character. Replace with a different avatar character (eg, the device replaces representations of the avatar with representations of a different avatar). In some embodiments, replacing the selected avatar character with a different avatar character includes displaying an animation of the different avatar character moving to the center of the screen. In some embodiments, replacing the selected avatar character with a different avatar character includes displaying an animation of the different avatar character moving to the user's head. In some embodiments, replacing the selected avatar character with a different avatar character includes blurring the background while the selected avatar is being replaced. Display an animation while the selected avatar character is/is replaced by a different avatar character (e.g., a different avatar character moves to the center of the screen, a different avatar character moves to the user's head, etc.). background blur) to provide visual feedback that the avatar character is being changed. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. In some embodiments, the currently selected avatar option corresponds to a first type of avatar (eg, customizable avatar) and a different avatar option corresponds to a second type of avatar (eg, non-customizable avatar). ).
一部の実施形態では、カメラ表示領域（例えば、８２０）内の選択されたアバターオプションの表示された表現の外観を、第１の外観から第２の外観に変更することは、選択されたアバターオプションの表現の、第１の外観を有する第１のバージョンを移動してディスプレイから外すことを含む。一部の実施形態では、カメラ表示領域内の選択されたアバターオプションの表示された表現の外観を、第１の外観から第２の外観に変更することは、選択されたアバターオプションの表現の、第２の外観を有する第２のバージョンをディスプレイの中心に実質的に移動することを含む。選択されたアバターオプションの表現の第１のバージョンを移動してディスプレイから外し、選択されたアバターオプションの表現の第２のバージョンをディスプレイの中心に実質的に移動させることにより、第１のバージョンが第２のバージョンに置換されているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, changing the appearance of the displayed representation of the selected avatar option in the camera display area (eg, 820) from the first appearance to the second appearance is Including moving a first version having a first appearance of the representation of the option off the display. In some embodiments, changing the appearance of the displayed representation of the selected avatar option in the camera display area from the first appearance to the second appearance is performed by: Including substantially moving a second version having a second appearance to the center of the display. By moving the first version of the representation of the selected avatar options off the display and substantially moving the second version of the representation of the selected avatar options to the center of the display, the first version is Provides visual feedback that it has been replaced by the second version. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently.
一部の実施形態では、選択されたアバターオプションの表示された表現の外観を、第１の外観から第２の外観に変更することは、選択されたアバターの表現の、第１の外観を有する第１のバージョンを移動してディスプレイから外すことを含む。一部の実施形態では、選択されたアバターオプションの表示された表現の外観を、第１の外観から第２の外観に変更することは、選択されたアバターオプションの表現の、第２の外観を有する第２のバージョンを、カメラ表示領域（例えば、８２０）内に表示された被写体の表現の実質的に位置に移動させることを含む。選択されたアバターオプションの表現の第１のバージョンを移動してディスプレイから外し、選択されたアバターオプションの表現の第２のバージョンをカメラ表示領域に表示された被写体の表現の位置に実質的な移動させることにより、第１のバージョンが第２のバージョンに置換されているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, changing the appearance of the displayed representation of the selected avatar option from the first appearance to the second appearance has the first appearance of the representation of the selected avatar. Including moving the first version off the display. In some embodiments, changing the appearance of the displayed representation of the selected avatar option from the first appearance to the second appearance changes the appearance of the representation of the selected avatar option to the second appearance. moving the second version having a substantially position of the representation of the subject displayed within the camera display area (eg, 820). Moving the first version of the representation of the selected avatar option off the display and substantially moving the second version of the representation of the selected avatar option to the position of the representation of the subject displayed in the camera viewing area. providing visual feedback that the first version has been replaced by the second version. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently.
一部の実施形態では、選択されたアバターオプションの表示された表現の外観を、第１の外観から第２の外観に変更することは、カメラ表示領域（例えば、８２０）に表示された背景の視覚的外観を変更する（例えば、背景をぼかす、背景の彩度を減じる）ことを含む。 In some embodiments, changing the appearance of the displayed representation of the selected avatar option from the first appearance to the second appearance is performed by changing the appearance of the background displayed in the camera display area (eg, 820). Including changing the visual appearance (eg, blurring the background, desaturating the background).
カメラユーザインタフェース（９０８）はまた、第１のカメラ表示モード（例えば、ユーザの頭部の画像データを仮想アバターに置き換えるモード）に関連付けられた第１のアフォーダンス（例えば、仮想アバターに対応するアフォーダンス）を含む。
The
一部の実施形態では、カメラユーザインタフェース（例えば、８１５）は、ステッカー表示モード（例えば、ステッカーを画像データに適用することが可能なモード）に関連付けられたステッカーアフォーダンス（例えば、８２４－２、ステッカーの表示を有効化するための機能に対応するアフォーダンス）を更に含む。一部の実施形態では、カメラ表示領域（例えば、８２０）に画像データ（及び、任意選択的に、選択されたアバターオプションの表現）を表示している間に、電子デバイス（例えば、６００）は、ステッカーアフォーダンスに向けられたジェスチャ（例えば、図８ＡＨ）を検出する。一部の実施形態では、ステッカーアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイスはステッカー表示モードをアクティブ化し、ステッカー表示モードをアクティブ化することは、複数のステッカーオプション（例えば、８５８のステッカー）を含むステッカー選択領域（例えば８５６）を表示することと、ステッカー選択領域内の複数のステッカーオプション（例えば、８５８－２のステッカー）のうちの１つの選択を検出することと、選択を検出したことに応じて、選択されたステッカーオプションの表現（例えば、８５８－２）をカメラ表示領域内の画像データ上に表示することと、を含む。一部の実施形態では、画像データ上に表示される選択されたステッカーオプションは、表示画面（例えば、６０１）上に配置された外観（例えば、デバイスの画面上に物理的ステッカーを配置するユーザの外観と同様な）を有し、移動したり、又は画像データに表されたオブジェクトと対話したりすることはない。一部の実施形態では、画像データ上に表示される選択されたステッカーオプションは、表示画面上に配置された外観（例えば、デバイスの画面上に物理的ステッカーを配置するユーザの外観と同様な）を有するが、画像データに表示されるオブジェクトの移動に基づいて移動する。例えば、ステッカーはディスプレイ上に配置されているように見え、画像データ（例えば、人物）に表されたオブジェクトと対話するが、ステッカーの動きは、ｘ及びｙ軸に沿った動きに制限される。換言すれば、ステッカーは、デバイスの画面に適用されるように見えるが、画像データに表されたオブジェクトによって画面上を移動することができる（例えば、画像データ内の人物がステッカーに触れる、又は画面を横切ってステッカーをドラッグするように見える）。一部の実施形態では、画像データ上に表示される選択されたステッカーオプションは、画像データの一部を形成する対話型オブジェクトとして画像データ内に挿入される外観を有する。画像データの一部を形成する対話型オブジェクトとして画像データに挿入される外観を提供することによって、選択されたステッカーが画像内の対話型オブジェクトとして作用できるという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。そのような実施形態では、ステッカーは、画像データに表されるオブジェクトとの対話に基づいて移動するように見える。例えば、ステッカーは、オブジェクトが人の肩に座っているように見え得る。人が動くと、ステッカーは人の肩と共に動き、人の肩の上に座っているような外観を維持する。これには、ｘ軸及びｙ軸に沿った移動、並びに、ｚ軸に沿った移動を含む。 In some embodiments, the camera user interface (eg, 815) displays a sticker affordance (eg, 824-2, sticker Affordances corresponding to functionality for enabling the display of In some embodiments, while displaying image data (and optionally representations of selected avatar options) in a camera display area (e.g., 820), the electronic device (e.g., 600) , detects gestures directed at the sticker affordance (eg, FIG. 8AH). In some embodiments, the electronic device activates a sticker display mode in response to detecting a gesture directed to the sticker affordance, and activating the sticker display mode includes multiple sticker options (e.g., 858 displaying a sticker selection area (e.g., 856) containing stickers of 858-2); detecting selection of one of a plurality of sticker options (e.g., stickers of 858-2) in the sticker selection area; responsive to the detection, displaying a representation of the selected sticker option (eg, 858-2) over the image data within the camera display area. In some embodiments, the selected sticker option displayed on the image data is an appearance placed on the display screen (e.g., 601) (e.g., the user placing a physical sticker on the screen of the device). appearance) and does not move or interact with objects represented in the image data. In some embodiments, the selected sticker option displayed on the image data is the appearance placed on the display screen (e.g., similar to the appearance of a user placing a physical sticker on the screen of a device). , but moves based on the movement of objects displayed in the image data. For example, a sticker appears to be placed on a display and interacts with an object represented in the image data (eg, a person), but movement of the sticker is restricted to movement along the x and y axes. In other words, the sticker appears to be applied to the screen of the device, but can be moved on the screen by objects represented in the image data (e.g., a person in the image data touches the sticker or ). In some embodiments, the selected sticker option displayed on the image data has the appearance of being inserted into the image data as an interactive object forming part of the image data. By providing an appearance that is inserted into the image data as an interactive object forming part of the image data, visual feedback is provided that the selected sticker can act as an interactive object within the image. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. In such embodiments, the sticker appears to move based on interaction with the object represented in the image data. For example, a sticker may appear to have an object sitting on a person's shoulder. As the person moves, the sticker moves with the person's shoulder and maintains the appearance of sitting on the person's shoulder. This includes movement along the x- and y-axes, as well as movement along the z-axis.
一部の実施形態では、カメラ表示領域（例えば、８２０）の画像データ上に、選択されたステッカーオプション（例えば、８５８－１、８５８－２、８５８－３、８５８－４、８５８－５、８５８－６）の表現を表示している間に、デバイス（例えば、６００）は、１つ以上のカメラ（例えば、６０２）の視野内の被写体（例えば、８３２）の横方向の動きを検出する。１つ以上のカメラの視野内の被写体の横方向の動きを検出したことに応じて、デバイスは、１つ以上のカメラの視界内の被写体の動きに従って、（例えば、ステッカーの被写体との関係にかかわらず）選択されたステッカーオプションの表現を横方向に移動させる（例えば、図８ＡＶ～図８ＡＹのヘルメットステッカー８５８－１を参照）。選択されたステッカーオプションの表現を、１つ以上のカメラの視野内の被写体の横方向の動きに従って横方向に移動させることによって、選択されたステッカーが画像内の対話型オブジェクトとして作用できるという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, a selected sticker option (eg, 858-1, 858-2, 858-3, 858-4, 858-5, 858 -6), the device (eg, 600) detects lateral motion of an object (eg, 832) within the field of view of one or more cameras (eg, 602). In response to detecting lateral movement of a subject within the field of view of the one or more cameras, the device follows the movement of the subject within the field of view of the one or more cameras (e.g., relative to the subject of the sticker). regardless) laterally shifts the representation of the selected sticker option (see, eg, helmet sticker 858-1 in FIGS. 8AV-8AY). Visual feedback that the selected sticker can act as an interactive object in the image by laterally moving the representation of the selected sticker option according to the lateral movement of the subject within the field of view of one or more cameras. I will provide a. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently.
一部の実施形態では、カメラ表示領域（例えば、８２０）の画像データ上に、選択されたステッカーオプション（例えば、８５８－１、８５８－２、８５８－３、８５８－４、８５８－５、８５８－６）の表現を表示している間に、デバイス（例えば、６００）は、１つ以上のカメラ（例えば、６０２）の視野内の被写体（例えば、８３２）の回転（例えば、ディスプレイに垂直な軸に対する回転、例えば、頭部を回転させる被写体）を検出する。デバイスは、１つ以上のカメラの視野内の被写体の回転を検出したことに応じて、以下のステップのうちの１つ以上を実行する。選択されたステッカーオプションの表現が、被写体に対して第１の関係を有する（第１の関係で配置されていた）（例えば、ステッカーは、最初に（又は現在）被写体に対応するディスプレイ上の位置に配置されていた、例えば、ステッカーは、被写体の顔の表現上、又は他の指定された領域（例えば、ブラケット（例えば、８９０））上に配置されている）を有する（例えば、配置された）との判定に従って、デバイスは、選択されたステッカーオプションの表現を、被写体の回転の大きさ及び向きに従って回転させる（例えば、ステッカーが回転し、被写体の顔のピッチ及びヨーに追従するようにひねる）（例えば、図８ＢＨ～図８ＢＭの眼鏡ステッカー８５８－４を参照）。選択されたステッカーオプションの表現が、被写体に対して第１の関係（例えば、ステッカーは、最初に（又は現在）被写体から離れたディスプレイ上の位置に配置されていた、例えば、ステッカーは、被写体の顔の表現又は他の指定された領域の外に置かれた）を有しない（例えば、配置されていなかった）との判定に従って、デバイスは、選択されたステッカーオプションの表現を、被写体の回転の大きさ及び向きに従って回転させることをやめる（例えば、図８ＢＥ～図８ＢＮのヒトデステッカー８５８－５及び野球ステッカー８５８－６を参照）。選択されたステッカーオプションの表現が被写体と第１の関係を有するかどうかに基づいて、選択されたステッカーオプションの表現を選択的に回転させることによって、選択されたステッカーオプションの挙動についての視覚フィードバックを提供し、選択されたステッカーオプションが画像内の対話型オブジェクトとして機能できることを示す。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, a selected sticker option (eg, 858-1, 858-2, 858-3, 858-4, 858-5, 858 -6), the device (eg, 600) rotates (eg, perpendicular to the display) an object (eg, 832) within the field of view of one or more cameras (eg, 602). Detect rotation about an axis, eg subject turning head). The device performs one or more of the following steps in response to detecting rotation of an object within the field of view of one or more cameras. The representation of the selected sticker option has the first relationship (was placed in the first relationship) to the subject (e.g., the sticker is initially (or currently) located at the position on the display corresponding to the subject For example, the sticker is placed on a representation of the subject's face, or on another designated area (e.g., bracket (e.g., 890)). ), the device rotates the representation of the selected sticker option according to the magnitude and orientation of the subject's rotation (e.g., the sticker rotates and twists to follow the pitch and yaw of the subject's face). ) (see, eg, eyeglass sticker 858-4 in FIGS. 8BH-8BM). A representation of the selected sticker option has a first relationship to the subject (e.g., the sticker was initially (or currently) placed at a position on the display away from the subject, e.g. (e.g., was not positioned), the device changes the representation of the selected sticker option to the rotation of the subject. Stop rotating according to size and orientation (see, eg, starfish sticker 858-5 and baseball sticker 858-6 in FIGS. 8BE-8BN). Providing visual feedback about the behavior of the selected sticker option by selectively rotating the representation of the selected sticker option based on whether the representation of the selected sticker option has a first relationship with the subject. to indicate that the selected sticker option can act as an interactive object within the image. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently.
一部の実施形態では、カメラ表示領域（例えば、８２０）の画像データ上に、選択されたステッカーオプション（例えば、８５８－１、８５８－２、８５８－３、８５８－４、８５８－５、８５８－６）の表現を表示している間に、デバイス（例えば、６００）は、１つ以上のカメラ（例えば、６０２）に向かう（又はカメラから離れる）被写体（例えば、８３２）の動きを検出する。デバイスは、１つ以上のカメラに向かう（又はカメラから離れる）被写体の動きを検出したことに応じて、以下の手順のうちの１つ以上を実行する。選択されたステッカーオプションの表現が、被写体に対して第１の関係（例えば、ステッカーは、最初に（又は現在）被写体に対応するディスプレイ上の位置に配置されていた、例えば、ステッカーは、被写体の顔の表現がカメラの視野内に存在した（例えば、検出された）ときに配置された）を有する（例えば、配置された）との判定に従って、デバイスは、１つ以上のカメラに向かう（又はカメラから離れる）被写体の動きの大きさに従って、選択されたステッカーオプションの表現を拡大する（又は縮小する）。例えば、ウサギステッカー８５８－２は、被写体の肩の表現がカメラに向かって移動することに応じて、図８ＡＸ及び８ＡＹに示すように拡大する。別の例では、ヒトデステッカー８５８－５及び野球ステッカー８５８－６は、被写体が図８ＢＪ～図８ＢＫのカメラに向かって移動するにつれて拡大する。選択されたステッカーオプションの表現が、被写体に対して第１の関係（例えば、ステッカーは、最初に（又は現在）被写体から離れたディスプレイ上の位置に配置されていた。例えば、ステッカーは、被写体の顔の表現がカメラの視野内に存在しない（例えば、検出されない）ときに配置された）を有しない（例えば、配置されなかった）との判定に従って、デバイスは、１つ以上のカメラに向かう（又はカメラから離れる）被写体の動きの大きさに従って、選択されたステッカーオプションの表現を拡大することを停止する（例えば、図８ＡＶ～図８ＡＹのヘルメットステッカー８５８－１及びハートステッカー８５８－３を参照）。選択されたステッカーオプションの表現が被写体と第１の関係を有するかどうかに基づいて、選択されたステッカーオプションの表現を選択的に拡大（又は縮小）させることによって、選択されたステッカーオプションの挙動についての視覚フィードバックを提供し、選択されたステッカーオプションが画像内の対話型オブジェクトとして機能できることを示す。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, a selected sticker option (eg, 858-1, 858-2, 858-3, 858-4, 858-5, 858 - 6) while displaying the representation, the device (eg, 600) detects movement of the object (eg, 832) toward (or away from) one or more cameras (eg, 602); . In response to detecting motion of a subject toward (or away from) one or more cameras, the device performs one or more of the following procedures. A representation of the selected sticker option has a first relationship to the subject (e.g., the sticker was initially (or currently) placed at a position on the display corresponding to the subject; The device faces one or more cameras (or Scale up (or scale down) the representation of the selected sticker option according to the amount of motion of the subject (away from the camera). For example, rabbit sticker 858-2 expands as shown in FIGS. 8AX and 8AY as the subject's shoulder representation moves toward the camera. In another example, starfish sticker 858-5 and baseball sticker 858-6 expand as the subject moves toward the camera of FIGS. 8BJ-8BK. A representation of the selected sticker option has a first relationship to the subject (e.g., the sticker was initially (or currently) placed at a position on the display away from the subject. Upon determining that the facial representation is not (e.g., not positioned) when not in the camera's field of view (e.g., not detected), the device points to one or more cameras ( (or away from the camera) stops enlarging the representation of the selected sticker option (see, for example, helmet sticker 858-1 and heart sticker 858-3 in FIGS. 8AV-8AY). . behavior of the selected sticker option by selectively expanding (or contracting) the representation of the selected sticker option based on whether the representation of the selected sticker option has a first relationship with the subject; to indicate that the selected sticker option can act as an interactive object within the image. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently.
被写体がカメラ（例えば、６０２）の視野内に位置し、かつ、被写体及び背景（例えば、被写体以外のカメラの視野内のオブジェクト）の表現がカメラ表示領域（例えば、８２０）内に表示されている間に、電子デバイス（例えば、６００）は、第１のアフォーダンスに向けられたジェスチャを検出する（９１０）。一部の実施形態では、電子デバイスは、被写体が視野内に位置していることを検出（例えば、認識）する。 A subject is located within the field of view of the camera (eg, 602) and a representation of the subject and background (eg, objects within the field of view of the camera other than the subject) are displayed within the camera display area (eg, 820). Meanwhile, the electronic device (eg, 600) detects 910 a gesture directed at the first affordance. In some embodiments, the electronic device detects (eg, recognizes) that an object is located within the field of view.
一部の実施形態では、カメラユーザインタフェース（例えば、８１５）は、キャプチャアフォーダンスを表示している間に、カメラの視野のライブプレビューの表現（例えば、カメラの視野にあるものを表す画像データのストリーム）を含むカメラ表示領域（例えば、８２０）を更に含む。一部の実施形態では、被写体がカメラの視野内に位置し（例えば、電子デバイスは、被写体が視野に位置していることを検出／認識する）、被写体と背景の表現（例えば、被写体以外のカメラの視野内のオブジェクト）がカメラ表示領域に表示されている間に、電子デバイス（例えば、６００）は、選択されたアバターの表現を、カメラ表示領域内の被写体の表現上に表示する（例えば、ユーザの表示された頭部又は顔の部分が、選択されたアバターに対応する仮想アバターの頭部に置換される（又は、それによって（不透明に、透明に、半透明に）重ね合わせられる）。一部の実施形態では、電子デバイスは、選択されたアバターの表現を、カメラ表示領域内の被写体の表現上に表示している間に、アバター選択領域を表示する要求を受信する。一部の実施形態では、アバター選択領域を表示する要求を受信したことに応じて、電子デバイスは、キャプチャアフォーダンスの表示を停止し、複数のアバターアフォーダンスを有するアバター選択領域（例えば、アバターメニュー８２８）を（例えば、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に）表示する。一部の実施形態では、アバター選択領域がもはや表示されていないことに応じて（又は、それと共に）、キャプチャアフォーダンスが表示される（例えば、再表示される）。 In some embodiments, the camera user interface (e.g., 815) displays a live preview representation of the camera's field of view (e.g., a stream of image data representing what is in the camera's field of view) while displaying the capture affordances. ), further including a camera viewing area (eg, 820). In some embodiments, the subject is located within the field of view of the camera (e.g., the electronic device detects/recognizes that the subject is located in the field of view) and a representation of the subject and background (e.g., While the object within the field of view of the camera is displayed in the camera display area, the electronic device (eg, 600) displays a representation of the selected avatar over the representation of the subject within the camera display area (eg, , the user's displayed head or face portion is replaced with (or overlaid (opaquely, transparently, translucently) by) the head of the virtual avatar corresponding to the selected avatar. In some embodiments, the electronic device receives a request to display the avatar selection area while displaying a representation of the selected avatar over a representation of the subject within the camera display area. In the embodiment of , in response to receiving a request to display an avatar selection area, the electronic device stops displaying capture affordances and displays an avatar selection area (e.g., avatar menu 828) having multiple avatar affordances (e.g., avatar menu 828) ( (e.g., at a location in the camera user interface previously occupied by the capture affordance) In some embodiments, in response to (or in conjunction with) the avatar selection area being no longer displayed, the capture The affordance is displayed (eg, redisplayed).
一部の実施形態では、カメラユーザインタフェース（例えば、８１５）は、キャプチャアフォーダンス（例えば、８２１）を表示している間に、カメラの視野のライブプレビューの表現（例えば、カメラの視野にあるものを表す画像データのストリーム）を含むカメラ表示領域（例えば、８２０）を更に含む。一部の実施形態では、被写体がカメラの視野内に位置し、かつ、被写体と背景の表現（例えば、被写体以外のカメラの視野内のオブジェクト）がカメラ表示領域に表示されている間に、電子デバイス（例えば、６００）は、選択されたアバターの表現を、カメラ表示領域内の被写体の表現上に表示する（例えば、ユーザの表示された頭部又は顔の部分が、選択されたアバターに対応する仮想アバターの頭部に置換される（又は、それによって（不透明に、透明に、半透明に）重ね合わせられる）。一部の実施形態では、電子デバイスは、被写体が視野内に位置していることを検出（例えば、認識）する。一部の実施形態では、電子デバイスは、選択されたアバターの表現をカメラ表示領域内の被写体の表現上に表示している間に、被写体の姿勢（例えば、位置及び／又は向き）の変化を検出する。一部の実施形態では、姿勢の変化は、ユーザが頭部又は任意の顔の特徴を動かすときに検出される。一部の実施形態では、電子デバイスは、（例えば、方法９００及び図９Ａ～図９Ｂに関して説明したように）被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する。背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更することにより、ユーザは、アバターの動きが、ユーザの検出された動きに対応する、及び／又はそれに基づいていることを迅速かつ容易に認識することができる。追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
In some embodiments, the camera user interface (e.g., 815) displays a live preview representation of the camera's field of view (e.g., what is in the camera's field of view) while displaying the capture affordances (e.g., 821). It also includes a camera display area (eg, 820) that contains a stream of image data to represent. In some embodiments, the electronic The device (eg, 600) displays a representation of the selected avatar over a representation of the subject within the camera display area (eg, the displayed head or face portion of the user corresponds to the selected avatar). (or superimposed (opaquely, transparently, semi-transparently)) on the head of a virtual avatar that represents the subject. In some embodiments, the electronic device detects (eg, recognizes) the subject's pose ( position and/or orientation).In some embodiments, a change in posture is detected when the user moves the head or any facial feature.In some embodiments, a change in posture is detected. , the electronic device, in response to detecting a change in subject pose (eg, as described with respect to
第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイス（例えば、６００）は、第１のカメラ表示モードをアクティブ化する。第１のカメラ表示モードをアクティブ化することは、アバター選択領域（例えば、８２９）を表示すること（９１４）を含む（例えば、複数のアバターオプションのうちの選択された１つ（例えば、カメラユーザインタフェース（例えば、８１５）のカメラ表示領域（例えば、８２０）内のユーザの頭部上に現れるように選択できる異なる仮想アバターを表すアフォーダンス）を含む）。 In response to detecting a gesture directed at the first affordance, the electronic device (eg, 600) activates the first camera viewing mode. Activating the first camera display mode includes displaying (914) an avatar selection area (eg, 829) (eg, selecting one of a plurality of avatar options (eg, camera user affordances representing different virtual avatars that can be selected to appear on the user's head within the camera viewing area (eg, 820) of the interface (eg, 815)).
一部の実施形態では、アバター選択領域（例えば、８２９）は、選択されたアバターオプションの表現を、カメラディスプレイ内の被写体の表現上に表示することを停止するためのオプションを更に含む。一部の実施形態では、電子デバイス（例えば、６００）は、選択されたアバターオプションの表現を、カメラ表示領域内（例えば、８２０）の被写体の表現上に表示することを停止するためのオプションの選択に対応するユーザ入力を受信する。一部の実施形態では、選択されたアバターオプションの表現を、カメラ表示領域の被写体の表現上に表示することを停止するためのオプションの選択に対応するユーザ入力を受信したことに応じて、電子デバイスは、選択されたアバターオプションの表現をカメラ表示領域の被写体の表現上に表示することを停止する。 In some embodiments, the avatar selection area (eg, 829) further includes an option to stop displaying a representation of the selected avatar option over the representation of the subject in the camera display. In some embodiments, the electronic device (eg, 600) provides an option to stop displaying a representation of the selected avatar option over the representation of the subject within the camera display area (eg, 820). Receive user input corresponding to the selection. In some embodiments, the electronic The device stops displaying a representation of the selected avatar option over the representation of the subject in the camera viewing area.
一部の実施形態では、アバター選択領域（例えば、８２９）は、ヌルアバターオプション（例えば、８３０－２）を含む。ヌルアバターオプションが選択されると、アバターは、カメラ表示領域（例えば、８２０）内の被写体の表現上に表示されない（例えば、デバイスは、ユーザの頭部の画像データを仮想アバターに置換することをやめる）。一部の実施形態では、アバター選択領域は、「キャンセル」アフォーダンス（例えば、アバター選択領域の角に位置する「ｘ」アイコン）を含む。キャンセルアフォーダンスが選択されると、デバイスは、アバター選択領域の表示を停止し、任意選択的に、被写体の表現上への任意の選択されたアバターの表示を停止する（例えば、デバイスは、ユーザの頭部の画像データを仮想アバターに置換するのをやめる）。 In some embodiments, the avatar selection area (eg, 829) includes a null avatar option (eg, 830-2). If the null avatar option is selected, no avatar will be displayed over the subject's representation in the camera display area (eg, 820) (eg, the device may choose to replace the image data of the user's head with a virtual avatar). stop). In some embodiments, the avatar selection area includes a "cancel" affordance (eg, an "x" icon located in the corner of the avatar selection area). When the cancel affordance is selected, the device stops displaying the avatar selection area and optionally stops displaying any selected avatars on the representation of the subject (e.g., the device stops displaying the user's stop replacing head image data with virtual avatars).
一部の実施形態では、第１のカメラ表示モード（例えば、ユーザの頭部の画像データが仮想アバターに置換されるアバター表示モード）をアクティブ化することは、選択されたアバターオプションの表現をカメラ表示領域（例えば、８２０）内の被写体の表現上に表示する前に、選択されたアバターオプションの表現を被写体の表現上に表示することなく、被写体の表現をカメラ表示領域に表示すること（９１６）を、更に含む。一部の実施形態では、アバター表示モードに入った後、デバイスは、アバターなしで（例えば、デバイスはユーザーの頭部の画像データを仮想アバターに置換するのをやめる）被写体の表現を最初に表示する。一部の実施形態では、アバター表示モードに入るときに最初に選択されるアバターオプションは、ヌルアバターオプションに対応する。ヌルアバターオプションが選択されると、デバイスは、被写体の頭部の画像データを仮想アバターに置換することをやめる。 In some embodiments, activating a first camera display mode (eg, an avatar display mode in which image data of the user's head is replaced with a virtual avatar) causes a representation of the selected avatar options to appear in the camera. Displaying 916 a representation of the subject in the camera display area without displaying a representation of the selected avatar option over the representation of the subject prior to displaying it over the representation of the subject in the display area (e.g., 820). ), further including In some embodiments, after entering avatar display mode, the device initially displays a representation of the subject without an avatar (e.g., the device stops replacing image data of the user's head with a virtual avatar). do. In some embodiments, the avatar option initially selected when entering avatar display mode corresponds to the null avatar option. When the null avatar option is selected, the device stops replacing the subject's head image data with the virtual avatar.
第１のカメラ表示モードをアクティブ化することは、カメラ表示領域（例えば、８２０）内の被写体の表現上に、選択されたアバターオプションの表現を表示すること（９１８）を含む（例えば、ユーザの表示された頭部又は顔の部分が、選択されたアバターに対応する仮想アバターの頭部に置換される（又は、それによって（不透明に、透明に、半透明に）重ねら合わせられる）。選択されたアバターオプションの表現をカメラ表示領域内の被写体の表現上に表示することにより、ユーザは、選択されたアバターオプションが被写体の表現に関連することを迅速かつ容易に認識することができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、選択されたアバターオプションの表現を被写体の表現上に表示することは、電子デバイス（例えば、６００）の１つ以上の深度カメラを使用して取得される深度情報を使用することを含む。 Activating the first camera display mode includes displaying (918) a representation of the selected avatar option (e.g., the user's The displayed head or face part is replaced with (or overlaid (opaquely, transparently, translucently) by) the head of the virtual avatar corresponding to the selected avatar. By displaying a representation of the selected avatar option over the representation of the subject within the camera display area, the user can quickly and easily recognize that the selected avatar option relates to the representation of the subject. By providing the user with enhanced visual feedback, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. In an embodiment of , displaying a representation of the selected avatar option on the representation of the subject uses depth information obtained using one or more depth cameras of the electronic device (e.g., 600). including.
一部の実施形態では、第１のカメラ表示モードをアクティブ化することは、選択されたアバターオプションを、アバター選択領域（例えば、８２９）に静的外観（例えば、アバター外観がユーザの顔の検出された変化に基づいて変化しない）で表示することを更に含む。一部の実施形態では、第１のカメラ表示モードをアクティブにすることは、選択されたアバターオプションを、被写体の姿勢の検出された変化に基づいて変化する（例えば、アバターは、ユーザの顔の検出された変化を反映するように変化する）動的外観を有するように更新することを更に含む。一部の実施形態では、第１のカメラ表示モードをアクティブにすることは、アバター選択領域からカメラ表示領域（例えば、８２０）内の被写体の表現（例えば、ユーザの顔の表現）に移動する動的外観を有する、選択されたアバターのアニメーションを表示することを更に含む。一部の実施形態では、アバターは、アバター選択領域からカメラ表示領域内のユーザーの顔へのアニメーション移動中に、ユーザーの顔の変化を追跡し続ける。 In some embodiments, activating the first camera display mode places the selected avatar option in the avatar selection area (eg, 829) with a static appearance (eg, the avatar appearance is the detection of the user's face). (not changed based on the changes made). In some embodiments, activating the first camera display mode changes the selected avatar option based on a detected change in the pose of the subject (e.g., the avatar changes the shape of the user's face). Updating to have a dynamic appearance that changes to reflect the detected change. In some embodiments, activating the first camera display mode includes moving from the avatar selection area to a representation of the subject (eg, a representation of the user's face) within the camera display area (eg, 820). displaying an animation of the selected avatar having a masculine appearance. In some embodiments, the avatar keeps track of changes in the user's face during the animated move from the avatar selection area to the user's face in the camera viewing area.
一部の実施形態では、選択されたアバターオプションを、被写体の姿勢の検出された変化に基づいて変化する動的外観を有するように更新することは、被写体の姿勢の検出された変化に基づいてアバターオプションの外観を変更する前に、静的外観を有するアバターオプションの姿勢に対応する（例えば、一致する）初期姿勢と共に、動的外観を有するアバターオプションを最初に表示することを含む。 In some embodiments, updating the selected avatar option to have a dynamic appearance that changes based on the detected change in the subject's pose is performed based on the detected change in the subject's pose. This includes initially displaying avatar options with dynamic appearances, with initial poses corresponding to (eg, matching) the poses of avatar options with static appearances, before changing the appearance of the avatar options.
第１のカメラ表示モードがアクティブである間に、電子デバイス（例えば、６００）は、姿勢の変化（例えば、被写体の位置及び／又は向き）を検出する（９２０）。一部の実施形態では、姿勢の変化は、ユーザが頭部又は任意の顔の特徴を動かすときに検出される。 While the first camera view mode is active, the electronic device (eg, 600) detects a change in pose (eg, subject position and/or orientation) (920). In some embodiments, a change in posture is detected when the user moves the head or any facial feature.
被写体の姿勢の変化を検出したことに応じて、電子デバイス（例えば、６００）は、背景（例えば、８３６）の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する（９２２）（例えば、ユーザ上に表示された仮想アバターは、背景をなおも表示しながら、ユーザの頭部及び顔の変化が表示された仮想アバターの変化に影響を及ぼすように、ユーザの頭部及び顔の検出された変化に応答する）。背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更することにより、ユーザは、アバターの動きが、ユーザの検出された動きに対応する、及び／又はそれに基づいていることを迅速かつ容易に認識することができる。追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、カメラユーザインタフェースは、図６Ａ～図６ＢＱ及び図９Ａ～図９Ｂに示す実施形態に関して説明したカメラユーザインタフェースの１つ以上の特徴／機能を含む。例えば、カメラユーザインタフェース（例えば、８１５）は、エフェクトモードアフォーダンス（例えば、６２２）を含むことができる。 In response to detecting a change in the pose of the subject, the electronic device (eg, 600) selects an image based on the detected change in pose of the subject while maintaining display of the background (eg, 836). Change the appearance of the displayed representation of the avatar option (922) (e.g., the virtual avatar displayed on the user changes to a virtual avatar in which changes in the user's head and face are displayed while still displaying the background). response to detected changes in the user's head and face to affect changes in ). By changing the appearance of the displayed representation of the selected avatar option based on the detected change in the pose of the subject, while maintaining the display of the background, the user is able to see how the avatar's movements correspond to the user's detected movement. It can be quickly and easily recognized that it corresponds to and/or is based on the By providing additional control options, the usability of the device is improved and the user-device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, preventing user error). In addition, it reduces the power usage of the device and improves battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the camera user interface includes one or more features/functions of the camera user interface described with respect to the embodiments shown in FIGS. 6A-6BQ and 9A-9B. For example, a camera user interface (eg, 815) can include an effects mode affordance (eg, 622).
一部の実施形態では、電子デバイス（例えば、６００）は、アバター選択領域（例えば、８２９）上の水平スワイプジェスチャを検出する。一部の実施形態では、水平スワイプジェスチャを検出したことに応じて、電子デバイスは、複数のアバターオプションに新規アバターオプションを追加するための機能に関連付けられたアバター作成アフォーダンスを表示する。水平スワイプジェスチャを検出したことに応じて、複数のアバターオプションに新規アバターオプションを追加するための機能に関連付けられたアバター作成アフォーダンスを表示することにより、ユーザは、アバター選択領域からアバター作成アフォーダンスに迅速かつ容易にアクセスすることができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、アバター選択領域上の水平スワイプジェスチャが、表示されたアバターオプションをスクロールしてアバター作成アフォーダンスを明らかにする。一部の実施形態では、アバター作成アフォーダンスを選択して、新規アバターを作成することができる。新規アバターが作成されると、作成されたアバターを表す新規アバターオプションが、アバター選択領域内の複数のアバターオプション（例えば、８３０）に追加される。 In some embodiments, the electronic device (eg, 600) detects a horizontal swipe gesture over the avatar selection area (eg, 829). In some embodiments, in response to detecting the horizontal swipe gesture, the electronic device displays an avatar creation affordance associated with functionality for adding new avatar options to multiple avatar options. By displaying an avatar creation affordance associated with functionality for adding a new avatar option to multiple avatar options in response to detecting a horizontal swipe gesture, the user can quickly navigate from the avatar selection area to the avatar creation affordance. and easily accessible. By providing additional control options without cluttering the user interface with additional visible controls, the usability of the device is improved and the user device interface (e.g., appropriate inputs when manipulating/interacting with the device) and make it more efficient (by reducing user error), as well as reduce the power usage of the device by allowing the user to use the device more quickly and efficiently reduce and improve battery life. In some embodiments, a horizontal swipe gesture over the avatar selection area scrolls through displayed avatar options to reveal avatar creation affordances. In some embodiments, an avatar creation affordance can be selected to create a new avatar. When a new avatar is created, a new avatar option representing the created avatar is added to the plurality of avatar options (eg, 830) within the avatar selection area.
一部の実施形態では、第１のカメラ表示モードがアクティブである間に、電子デバイス（例えば、６００）は、アバター選択領域（例えば、８２９）上のスワイプジェスチャを検出する。一部の実施形態では、アバター選択領域上のスワイプジェスチャを検出したことに応じて、電子デバイスは、カメラ表示領域（例えば、８２０）内の選択されたアバターオプションの表示された表現の外観を、第１の外観（例えば、現在選択されているアバターオプションに基づく外観）から、第２の外観（例えば、異なるアバターオプション（例えば、ヌルアバターオプション、又は異なるタイプ（例えば、カスタマイズ可能な、カスタマイズ不可能な）のアバターを含む、異なるアバターに対応するアバターオプション）基づく外観）に変更し、第２の外観は、複数のアバターオプションのうちの異なる１つ（例えば、アバター選択領域に含まれる異なるアバターオプション）に対応する。アバター選択領域上のスワイプジェスチャを検出したことに応じて、選択されたアバターオプションの表示された表現の外観を変更することにより、ユーザは、選択されたアバターオプションの外観を迅速かつ容易に変更することができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、複数のアバターオプションのうちの異なる一つがヌルアバターオプション（例えば、８３０－２）である場合、デバイスは、アバターの表現を被写体の表現上に表示することを停止する（例えば、デバイスは、ユーザの頭部の画像データを仮想アバターに置換することをやめる）。一部の実施形態では、複数のアバターオプションのうちの異なる１つが、異なるアバターキャラクタ（カスタマイズ可能又はカスタマイズ不可能なアバターキャラクタを含む）のアバターオプションである場合、デバイスは、選択されたアバターキャラクタを異なるアバターキャラクタに置換する（例えば、デバイスは、アバターの表現を異なるアバターの表現に置換する）。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、画面の中心に移動する異なるアバターキャラクターのアニメーションを表示することを含む。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、ユーザの頭部に移動する異なるアバターキャラクターのアニメーションを表示することを含む。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、選択されたアバターが置換されている間に背景（例えば、８３６）をぼかすことを含む。一部の実施形態では、現在選択されているアバターオプションは第１のタイプのアバター（例えば、カスタマイズ可能なアバター）に対応し、異なるアバターオプションは第２のタイプのアバター（例えばカスタマイズ不可能なアバター）に対応する。 In some embodiments, the electronic device (eg, 600) detects a swipe gesture on the avatar selection area (eg, 829) while the first camera display mode is active. In some embodiments, in response to detecting a swipe gesture over the avatar selection area, the electronic device changes the appearance of the displayed representation of the selected avatar option in the camera display area (e.g., 820) to From a first appearance (e.g., an appearance based on currently selected avatar options) to a second appearance (e.g., a different avatar option (e.g., null avatar option) or a different type (e.g., customizable, non-customizable) Avatar options corresponding to different avatars, including the avatar of the ), and the second appearance changes to a different one of the multiple avatar options (e.g., a different avatar option included in the avatar selection area). ). By changing the appearance of the displayed representation of the selected avatar option in response to detecting a swipe gesture over the avatar selection area, the user quickly and easily changes the appearance of the selected avatar option. be able to. By providing additional control options without cluttering the user interface with additional visible controls, the usability of the device is improved and the user device interface (e.g., appropriate inputs when manipulating/interacting with the device) and make it more efficient (by reducing user error), as well as reduce the power usage of the device by allowing the user to use the device more quickly and efficiently reduce and improve battery life. In some embodiments, if a different one of the multiple avatar options is a null avatar option (eg, 830-2), the device stops displaying the avatar's representation over the subject's representation ( For example, the device stops replacing image data of the user's head with a virtual avatar). In some embodiments, if a different one of the multiple avatar options is an avatar option for a different avatar character (including customizable or non-customizable avatar characters), the device selects the selected avatar character. Replace with a different avatar character (eg, the device replaces representations of the avatar with representations of a different avatar). In some embodiments, replacing the selected avatar character with a different avatar character includes displaying an animation of the different avatar character moving to the center of the screen. In some embodiments, replacing the selected avatar character with a different avatar character includes displaying an animation of the different avatar character moving to the user's head. In some embodiments, replacing the selected avatar character with a different avatar character includes blurring the background (eg, 836) while the selected avatar is being replaced. In some embodiments, the currently selected avatar option corresponds to a first type of avatar (eg, customizable avatar) and a different avatar option corresponds to a second type of avatar (eg, non-customizable avatar). ).
一部の実施形態では、第１のカメラ表示モードがアクティブである間に、被写体がカメラの視野内にもはや位置していない（例えば、顔の追跡が失われた）との判定に応じて、電子デバイス（例えば、６００）は、カメラ表示領域（例えば、８２０）内の中心位置に移動する選択されたアバターオプションの表現のアニメーションを表示する。被写体がもはやカメラの視野内に位置していないという判定に応じて、カメラ表示領域の中心位置に移動する選択されたアバターオプションの表現のアニメーションを表示することにより、ユーザがもはやカメラによって検出されていないという視覚フィードバックを、ユーザに提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ユーザがカメラの視野内でもはや検出されなくなると、アバターはカメラ表示領域の中心に移動する。一部の実施形態では、ユーザがカメラの視野内でもはや検出されなくなると、背景はぼやける。 In some embodiments, in response to determining that the subject is no longer within the field of view of the camera (e.g., face tracking is lost) while the first camera display mode is active: The electronic device (eg, 600) displays an animated representation of the selected avatar option moving to a centered position within the camera viewing area (eg, 820). In response to a determination that the subject is no longer located within the field of view of the camera, the user is no longer detected by the camera by displaying an animation of a representation of the selected avatar option moving to a center position in the camera viewing area. Provide the user with visual feedback that there is no By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. In some embodiments, the avatar moves to the center of the camera viewing area when the user is no longer detected within the camera's field of view. In some embodiments, the background blurs when the user is no longer detected within the field of view of the camera.
一部の実施形態では、第１のカメラ表示モードがアクティブである間に、被写体がカメラの視野内にもはや位置していない（例えば、顔の追跡が失われた）との判定に応じて、電子デバイス（例えば、６００）は、カメラ表示領域（例えば、８２０）に表示された背景（例えば、８３６）の視覚的外観を変更する（例えば、背景をぼかす、背景の彩度を減じる）。 In some embodiments, in response to determining that the subject is no longer within the field of view of the camera (e.g., face tracking is lost) while the first camera display mode is active: The electronic device (eg, 600) modifies the visual appearance (eg, blurs the background, desaturates the background) of the background (eg, 836) displayed in the camera display area (eg, 820).
一部の実施形態では、第１のカメラ表示モードがアクティブであり、選択されたアバターオプションの表現（例えば、アバター選択領域から選択されたカスタマイズ可能なアバターオプションの表現）が、カメラ表示領域（例えば、８２０）内の被写体の表示上に表示されている（例えば、ユーザの頭部の画像データがカスタマイズ可能なアバターに置換されている）間に、電子デバイス（例えば、６００）は、アバター選択領域（例えば、８２９）内の選択されたアバターオプション上のタッチジェスチャ（例えば、タップジェスチャ）を検出する。一部の実施形態では、タッチジェスチャを検出したことに応じて、電子デバイスは、選択されたアバターオプションを編集するために複数のオプション（例えば、カスタマイズ可能なアバターの様々な特徴を変更するために選択可能な編集アフォーダンス）を有するアバター編集ユーザインタフェース（例えば、選択されたアバターオプション（例えば、選択されたカスタマイズ可能なアバター）の１つ以上の特徴を編集するためのユーザーインターフェース）を表示する。アバター選択領域内の選択されたアバターオプション上のタッチジェスチャを検出したことに応じてアバター編集ユーザインタフェースを表示することにより、ユーザは、アバター編集ユーザインタフェースに迅速かつ容易にアクセスしてアバターを編集することができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, a first camera display mode is active and representations of selected avatar options (e.g., representations of customizable avatar options selected from the avatar selection area) are displayed in the camera display area (e.g., , 820) (e.g., the image data of the user's head is replaced with a customizable avatar), the electronic device (e.g., 600) displays the avatar selection area Detect a touch gesture (eg, tap gesture) on the selected avatar option in (eg, 829). In some embodiments, in response to detecting a touch gesture, the electronic device displays multiple options to edit selected avatar options (e.g., to change various characteristics of the customizable avatar). display an avatar editing user interface (e.g., a user interface for editing one or more features of the selected avatar options (e.g., the selected customizable avatar)) with selectable editing affordances). By displaying the avatar editing user interface in response to detecting a touch gesture over the selected avatar option within the avatar selection area, the user can quickly and easily access the avatar editing user interface to edit the avatar. be able to. By providing additional control options without cluttering the user interface with additional displayed controls, the usability of the device is improved and the user device interface (e.g., appropriate inputs when operating/interacting with the device) and make it more efficient (by reducing user error), as well as reduce the power usage of the device by allowing the user to use the device more quickly and efficiently reduce and improve battery life.
一部の実施形態では、カメラユーザインタフェース（例えば、８１５）は、第２のカメラ表示モード（例えば、仮想エフェクト（例えば、ステッカー）が画像データに適用されるモード）に関連付けられた第２のアフォーダンス（例えば、８２４－２、ステッカーを表示するための機能に対応するアフォーダンス）を更に含む。一部の実施形態では、被写体がカメラ（例えば、６０２）の視野内に位置し、かつ、被写体の表現及び背景（例えば、８３６）がカメラ表示領域（例えば、８２０）内に表示されている間に、電子デバイス（例えば、６００）は、第２のアフォーダンスに向けられたジェスチャを検出する。一部の実施形態では、第２のアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイスは、第２のカメラ表示モードをアクティブ化し、第２のカメラ表示モードをアクティブ化することは、複数のグラフィカルオブジェクト（例えば、ステッカー）を含むビジュアルエフェクト選択領域を表示することを含む。 In some embodiments, the camera user interface (eg, 815) displays a second affordance associated with a second camera display mode (eg, a mode in which virtual effects (eg, stickers) are applied to the image data). (eg, 824-2, affordances corresponding to functionality for displaying stickers). In some embodiments, while the subject is within the field of view of the camera (eg, 602) and a representation of the subject and the background (eg, 836) are displayed within the camera display area (eg, 820) Then, the electronic device (eg, 600) detects a gesture directed at the second affordance. In some embodiments, in response to detecting a gesture directed at the second affordance, the electronic device activates the second camera display mode and does not activate the second camera display mode. , including displaying a visual effects selection area that includes a plurality of graphical objects (eg, stickers).
一部の実施形態では、電子デバイス（例えば、６００）は、第２のカメラ表示モードがアクティブである間に、ビジュアルエフェクト選択領域（例えば、８２４）内の複数のグラフィカルオブジェクト（例えば、ステッカー）のうちの１つの選択を検出する。一部の実施形態では、選択を検出したことに応じて、電子デバイスは、選択されたグラフィカルオブジェクトの表現をカメラ表示領域（例えば、８２０）内に表示する。一部の実施形態では、選択されたステッカーは、ライブカメラプレビュー（例えば、８２０－１）中にカメラ表示領域に表示される。一部の実施形態では、ライブカメラプレビューにステッカーを表示することは、カメラ表示領域のデフォルト位置（例えば、画面の中心）にステッカーを直ちに表示することを含む。一部の実施形態では、ライブカメラプレビューにステッカーを表示することは、ビジュアルエフェクト選択領域からカメラ表示領域上の位置に移動するステッカーのアニメーションを表示することを含む。一部の実施形態では、このアニメーションは、ステッカーのユーザ選択のドラッグジェスチャ（例えば、ユーザがステッカーにタッチして、それをカメラ表示領域上の位置にドラッグするジェスチャ）に基づいて決定される。 In some embodiments, the electronic device (eg, 600), while the second camera display mode is active, displays a plurality of graphical objects (eg, stickers) within the visual effects selection area (eg, 824). Detect the selection of one of In some embodiments, in response to detecting the selection, the electronic device displays a representation of the selected graphical object within the camera display area (eg, 820). In some embodiments, the selected sticker is displayed in the camera display area during live camera preview (eg, 820-1). In some embodiments, displaying the sticker in the live camera preview includes immediately displaying the sticker in the default position of the camera display area (eg, center of the screen). In some embodiments, displaying the sticker in the live camera preview includes displaying an animation of the sticker moving from the visual effects selection area to a position on the camera display area. In some embodiments, this animation is determined based on a user-selected dragging gesture of the sticker (eg, a gesture in which the user touches the sticker and drags it to a position on the camera viewing area).
一部の実施形態では、カメラ（例えば、６０２）を介してキャプチャされた画像データの表現は、メディアアイテム（例えば、８２０－２、静止画像又は記録されたビデオ）である。一部の実施形態では、カメラユーザインタフェース（例えば、８１５）は、第３のカメラ表示モード（例えば、仮想エフェクト（例えば、ステッカー）が写真や録画されたビデオに適用されるモード）に関連付けられた第３のアフォーダンス（例えば、ステッカーを表示するための機能に対応するアフォーダンス）を更に含む。一部の実施形態では、電子デバイス（例えば、６００）は、第３のアフォーダンスに向けられたジェスチャを検出する。一部の実施形態では、第３のアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイスは、第３のカメラ表示モードをアクティブ化し、第３のカメラ表示モードをアクティブ化することは、複数のグラフィカルオブジェクト（例えば、ステッカー）を含むビジュアルエフェクト選択領域を表示することを含む。 In some embodiments, representations of image data captured via a camera (eg, 602) are media items (eg, 820-2, still images or recorded video). In some embodiments, the camera user interface (e.g., 815) is associated with a third camera display mode (e.g., a mode in which virtual effects (e.g., stickers) are applied to photos and recorded videos). Further includes a third affordance (eg, an affordance corresponding to functionality for displaying stickers). In some embodiments, the electronic device (eg, 600) detects gestures directed at the third affordance. In some embodiments, in response to detecting a gesture directed at the third affordance, the electronic device activates the third camera display mode and does not activate the third camera display mode. , including displaying a visual effects selection area that includes a plurality of graphical objects (eg, stickers).
一部の実施形態では、電子デバイス（例えば、６００）は、第３のカメラ表示モードがアクティブである間に、ビジュアルエフェクト選択領域内の複数のグラフィカルオブジェクト（例えば、ステッカー）のうちの１つの選択を検出する。一部の実施形態では、電子デバイスは、選択を検出したことに応じて、選択されたグラフィカルオブジェクトの表現を、カメラ表示領域（例えば、８２０）のメディアアイテム（例えば、８２０－２）上に表示する。一部の実施形態では、選択されたステッカーは、写真又は記録されたビデオを見るときにカメラ表示領域に表示される。一部の実施形態では、写真又は記録されたビデオ上にステッカーを表示することは、カメラ表示領域のデフォルト位置（例えば、画面の中心）にステッカーを直ちに表示することを含む。一部の実施形態では、写真又は記録されたビデオ上にステッカーを表示することは、ビジュアルエフェクト選択領域からカメラ表示領域上の位置に移動するステッカーのアニメーションを表示することを含む。一部の実施形態では、このアニメーションは、ステッカーのユーザ選択のドラッグジェスチャ（例えば、ユーザがステッカーにタッチして、それをカメラ表示領域上の位置にドラッグするジェスチャ）に基づいて決定される。 In some embodiments, the electronic device (eg, 600) selects one of a plurality of graphical objects (eg, stickers) within the visual effects selection area while the third camera display mode is active. to detect In some embodiments, in response to detecting the selection, the electronic device displays a representation of the selected graphical object on the media item (eg, 820-2) in the camera display area (eg, 820). do. In some embodiments, the selected sticker is displayed in the camera display area when viewing a photo or recorded video. In some embodiments, displaying the sticker on the photo or recorded video includes immediately displaying the sticker in the default position of the camera viewing area (eg, center of the screen). In some embodiments, displaying the sticker on the photo or recorded video includes displaying an animation of the sticker moving from the visual effects selection area to a position on the camera display area. In some embodiments, this animation is determined based on a user-selected dragging gesture of the sticker (eg, a gesture in which the user touches the sticker and drags it to a position on the camera viewing area).
方法９００に関して上述された処理（例えば、図９Ａ及び図９Ｂ）の詳細はまた、上記及び以下で説明される方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００は、方法９００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、メッセージングアプリケーションユーザインタフェースにおいて画像データに表示される。別の例では、方法１１００は、方法９００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、メディアユーザインタフェースにおいて画像データに表示される。別の例では、方法１３００は、方法９００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターのようなビジュアルエフェクトが、ライブビデオ通信セッションのためのユーザインタフェースにおいて画像データに表示される。別の例では、方法１５００は、方法９００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラユーザインタフェースに対して画像データに表示される。簡潔にするために、これらの詳細は、以下では繰り返さない。
Note that the details of the processing described above with respect to method 900 (eg, FIGS. 9A and 9B) are also applicable in an analogous manner to the methods described above and below. For example,
図１０Ａ～図１０ＡＬは、一部の実施形態に係る、メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。それらの図におけるユーザインタフェースは、図１１Ａ～図１１Ｂにおける処理を含む、以下で説明される処理を例示するために使用される。 10A-10AL illustrate exemplary user interfaces for displaying visual effects in a media item viewing mode, according to some embodiments. The user interfaces in those figures are used to illustrate the processes described below, including the processes in FIGS. 11A-11B.
図１０Ａにおいて、デバイス６００は、ホーム画面１０００を示し、メディアビューアアプリケーションアフォーダンス１００２上の入力１００１を検出する。
In FIG. 10A,
図１０Ｂでは、入力１００１の検出に応じて、デバイス６００は、メディアビューアアプリケーションアフォーダンス１００２に関連付けられたメディアビューアプリケーションを起動し、メディアユーザインタフェース１００５を表示する。メディアユーザインタフェース１００５は、記憶メディアアイテム１００６のうちの選択された１つに対応するメディアアイテムを表示するための、一連の記憶メディアアイテム１００６及びメディア表示領域１００８を含む。図１０Ｂにおいて、メディア表示領域１００８は、選択された記憶メディアアイテム１００６－１に対応するメディアアイテム１０１０を示す。
In FIG. 10B, in response to detecting
メディアアイテム１０１０は、符号化された深度データを含まない（例えば、キャプチャされたメディアアイテム内に深度データを符号化しないカメラ（例えば、カメラ６０２以外のカメラなど）によってキャプチャされた）画像である。これにより、メディアアイテム１０１０は、本明細書で説明するように、画像で特定のビジュアルエフェクトを可能にするために使用される深度データを含まない。
図１０Ｃでは、デバイス６００は、編集アフォーダンス１０１２上の入力１０１１を検出する。これに応じて、図１０Ｄで、デバイス６００は、編集オプション表示領域１０１４を表示する。編集オプション表示領域には、エフェクトアフォーダンス１０１６（エフェクトアフォーダンス６２２、８２２と同様）、メディア編集アフォーダンス１０１８、及びマークアップアフォーダンス１０２０を含む。
In FIG. 10C,
図１０Ｅではに、デバイス６００は、エフェクトアフォーダンス１０１６上の入力１０２１を検出し、表示されたメディアアイテム（例えば、メディアアイテム１０１０）に関連付けられた任意のビジュアルエフェクトが表示されるビジュアルエフェクトモードを有効化する。図１０Ｅに示す実施形態では、メディアアイテム１０１０はビジュアルエフェクトを含まず、特に、メディアアイテム１０１０が深度データを含まないので、画像１０１０は深度ベースのビジュアルエフェクトを含まない。
In FIG. 10E,
図１０Ｆでは、エフェクトアフォーダンス１０１６をアクティブ化する入力１０２１を検出したことに応じて、デバイス６００は、エフェクトアフォーダンス１０１６を強調表示し、編集オプション表示領域１０１４を拡大してエフェクトオプションアフォーダンス１０２４を表示する。図１０Ｆに示す実施形態では、メディアアイテム１０１０はビジュアルエフェクトを可能にする深度データを含まないので、アバターエフェクトアフォーダンス１０２４－１及びステッカーエフェクトアフォーダンス１０２４－２は選択不可能として示されているのに対して、残りのビジュアルエフェクトオプションアフォーダンス１０２４－３、１０２４－４、及び１０２４－５は選択可能である。一部の実施形態では、メディアアイテムがビジュアルエフェクトを可能化する深度データを含まない場合、アバターエフェクトアフォーダンス１０２４－１及びステッカーエフェクトアフォーダンス１０２４－２は表示されない。
10F, in response to detecting
メディアアイテム１０１０は深度ベースのビジュアルエフェクトを可能化するための深度データを含まないので、エフェクトアフォーダンス１０１６が選択されても、深度ベースのビジュアルエフェクトはメディアアイテム１０１０に表示されない。これにより、メディアアイテム１０１０は、図１０Ｆでは変更されないままである。
Because the
図１０Ｇでは、デバイス６００は、取消アフォーダンス１０２６上の入力１０２５を検出し、図１０Ｈに示すユーザインタフェースに戻る。
In FIG. 10G,
図１０Ｈでは、デバイス６００は、記憶されたメディアアイテム１００６－２上の入力１０２７を検出し、記憶されたメディアアイテム１００６－２を選択する。
In FIG. 10H,
図１０Ｉでは、デバイス６００は、メディアアイテム１０２８をメディア表示領域１００８に表示する。メディアアイテム１０２８は、被写体１０３２及び背景１０３６を示す選択された記憶メディアアイテム１００６－２に対応する。メディアアイテム１０２８は、キャプチャされたメディアアイテム内に深度データを符号化するカメラ（例えば、カメラ６０２）によってキャプチャされた画像である。本明細書で説明するように、メディアアイテム内に符号化された深度データは、ビジュアルエフェクト、特に深度成分を有するビジュアルエフェクトを表示することを可能にする。
10I,
図１０Ｉでは、エフェクトモードがメディアアイテム１０２８に対して有効化されていないため、ビジュアルエフェクトはメディアアイテム１０２８に表示されない。しかしながら、デバイス６００は、エフェクトアイコン１０２９を表示して、メディアアイテム１０２８が深度データを含み、ビジュアルエフェクトを表示することができることを示す。
In FIG. 10I, no visual effects are displayed on
図１０Ｊでは、デバイスは、編集アフォーダンス１０１２上の入力１０３０を検出し、図１０Ｋでは、強調表示されていない状態のエフェクトアフォーダンス１０１６を示すオプション表示領域１０１４を編集して、ビジュアルエフェクトがメディアアイテム１０２８の表示を有効化できないことを示す。
In FIG. 10J, the device detects
図１０Ｌでは、デバイス６００は、ビジュアルエフェクトモードを有効化するエフェクトアフォーダンス１０１６上の入力１０３３を検出する。図１０Ｍに示すように、ビジュアルエフェクトモードが有効化されると、デバイス６００は、エフェクトアフォーダンス１０１６を強調表示し、編集オプション表示領域１０１４を拡大してエフェクトオプションアフォーダンス１０２４を表示する。図１０Ｍに示す実施形態では、メディアアイテム１０２８は深度ベースのビジュアルエフェクトを有効化する深度データを含むので、アバターエフェクトアフォーダンス１０２４－１及びステッカーエフェクトアフォーダンス１０２４－２が選択可能として示され、ビジュアルエフェクトがメディアアイテム１０２８に表示される。図１０Ｍに示す実施形態では、表示されたビジュアルエフェクトは、カスタマイズ可能なアバター１０３７、被写体の首部上のアバター１０３７の下方に表示される影１０３８、ヘルメットステッカー１０３９、及びウサギステッカー１０４０を含む。
In FIG. 10L,
一部の実施形態では、デバイス６００は、メディアアイテム１０２８の深度データに符号化された、カメラ６０２の視野内に位置するユーザの顔の検出された変化に基づいてアバター１０３７を変更する。このように、メディアアイテム１０２８はこの実施形態では静止画像として説明されているが、メディアアイテム１０２８は静止画像に限定されず、深度データを有する録画ビデオを含む録画ビデオなどの他のメディアアイテムを含むことができることを理解されるべきである。同様に、デバイス６００は、深度データに符号化されたメディアアイテム内のオブジェクトの位置における検出された変化に基づいて、メディアアイテム１０２８に適用されるステッカーの位置を変更することができる。
In some embodiments,
深度ベースのビジュアルエフェクトを含むビジュアルエフェクトを、メディアアイテム１０２８に適用し、本明細書で論じる実施形態に従って編集することができる。例えば、本明細書に開示された様々な実施形態では、アバターエフェクトアフォーダンス１０２４－１は、選択されたアバター（例えば、アバター１０３７）を除去、変更、及び／又は切り替えるために選択することができる。加えて、ステッカーエフェクトアフォーダンス１０２４－２は、本明細書に開示された様々な実施形態に従って、メディアアイテム１０２８に対し、ステッカーを除外し、変更し、及び／又は追加するように選択することができる。
Visual effects, including depth-based visual effects, can be applied to
図１０Ｎ～図１０Ｐは、ハートステッカー１０４２をメディアアイテム１０２８に追加するデバイス６００を示す。これらの処理は、図６Ｕ～図６ＡＤ、図８ＡＨ～図８ＡＫ、及び図８ＡＲ～図８ＡＹに関して、上記で一層詳細に論じている。簡潔性のために、これらの処理の詳細は、ここでは繰り返さない。
10N-
図１０Ｑでは、デバイス６００は、マークアップアフォーダンス１０２０上の入力１０４３を検出する。図１０Ｒでは、デバイス６００は、表示された編集オプション表示領域１０１４を、マークアップエフェクトをメディアアイテム１０２８に追加するための様々な選択可能なマークアップオプション１０４５を含むマークアップオプションメニュー１０４４に置換する。図１０Ｓ～図１０Ｔは、テキストアフォーダンス１０４５－１を選択することによって、テキスト１０４６をメディアアイテム１０２８に追加するための処理を示す。
10Q,
図１０Ｕでは、デバイス６００は、編集アフォーダンス１０１２上の入力１０４７を検出する。図１０Ｖでは、デバイス６００は、表示された編集オプション表示領域１０１４を、様々な画像編集アフォーダンス１０５０を含む画像編集メニュー１０４８に置換する。図１０Ｖ～図１０Ｙは、ビビッド色フィルタを適用するために、フィルタアフォーダンス１０５０－１を選択し、次いでビビッドフィルタオプション１０５２を選択することによって、メディアアイテム１０２８を編集するための処理を示す。ビビッド色フィルタは、メディアアイテム１０２８内の背景１０３６と、適用されたビジュアルエフェクト（例えば、アバター１０３７上の髪部）の両方に変更を適用する。一部の実施形態では、フィルタは、アバターの外観及び１つ以上のカメラの視野の表現を同様の方法で変更して、アバターと１つ以上のカメラの視野の表現との間の類似性を高める（例えば、コミックブックフィルタ、スケッチ描画フィルタ、白黒フィルタ、グレースケールフィルタなどを適用する）。一部の実施形態では、アバターは、アバターの外観と１つ以上のカメラの視野の表現との両方を変更するフィルタを適用することによって、１つ以上のカメラの視界にある現実の世界とは一致しない漫画のような外観を有し、このアバターの外観は、１つ以上のカメラの視野の表現の残部と一体化される。一部の実施形態では、フィルタは、１つ以上のカメラの視野の表現の現実感を低減するフィルタ（例えば、スケッチフィルタ又はコミックブックフィルタ）である。一部の実施形態では、フィルタは、アバターの外観及び１つ以上のカメラの視野の表現の外観の両方の３Ｄ効果を低減する（例えば、平坦化する）フィルタである。
In FIG. 10U,
図１０Ｚでは、新しいハートステッカー１０４２、テキスト１０４６を表示するように編集されて、ビビッドな色フィルタが適用される、メディアアイテム１０２８を示す。
FIG. 10Z shows
図１０ＡＡ～図１０ＡＤは、デバイス６００がアバター１０３７からアバター１０５４に切り替わることを示す。これらの処理は、図６Ｇ～図６Ｑ、図６ＢＤ～図６ＢＥ、図６ＢＫ～図６ＢＮ、及び図８Ｆ～図８ＡＧに関して、上記で一層詳細に論じている。簡潔性のために、これらの処理の詳細は、ここでは繰り返さない。
10AA-
図１０ＡＥでは、デバイス６００は、ステッカー（例えば、１０３９、１０４０、１０４２）、アバター１０５４、テキスト１０４６、及びビビッド色フィルタが適用されたメディアアイテム１０２８を表示する。メディアアイテム１０２８の色フィルタは、新規アバター１０５４がメディアアイテム１０２８に表示されると、新規アバター１０５４の髪部に影響を及ぼす。
In FIG. 10AE,
図１０ＡＥでは、デバイス６００は、エフェクトオプションアフォーダンス１０２４上のスワイプジェスチャ１０５５を検出し、これに応じて、エフェクトオプションアフォーダンス１０２４をスクロールして図１０ＡＦのスクリーンエフェクトアフォーダンス１０２４－３を表示する。
In FIG. 10AE,
図１０ＡＧでは、デバイス６００は、スクリーンエフェクトアフォーダンス１０２４－３上の入力１０５７を検出し、これに応じて、スクリーンエフェクトメニュー１０６０を表示する。スクリーンエフェクトメニュー１０６０は、メディアアイテム１０２８にフルスクリーンビジュアルエフェクトを適用するために選択可能な、様々なスクリーンエフェクトオプション１０６２を含む。図１０ＡＨでは、ヌルエフェクトオプション１０６２－１が選択され（例えば、１０６３）、デバイス６００は、メディアアイテム１０２８にスクリーンエフェクトを表示しない。
In FIG. 10AG,
図１０ＡＩでは、デバイス６００は、風船エフェクトオプション１０６２－２上の入力１０６４を検出する。図１０ＡＪ～図ＡＬでは、デバイス６００は、風船１０６５のアニメーションエフェクトをメディアアイテム１０２８に表示する。一部の実施形態では、アニメーションエフェクトは、メディアアイテム１０２８に符号化された深度データを強調する方法で適用される。例えば、図１０ＡＪ～図１０ＡＬでは、風船のうちのいくつかは、被写体１０６２及びビジュアルエフェクト（例えば、ウサギステッカー１０４０、アバター１０５４、テキスト１０４６）の前に現れるように表示される。風船のうちのいくつかは、被写体１０６２及びビジュアルエフェクト（例えば、ウサギステッカー１０４０、アバター１０５４、ハートステッカー１０４２）の背後にある深度で現れるように表示される。
In FIG. 10AI,
一部の実施形態では、スクリーンエフェクトは、メディアアイテム１０２８内のオブジェクト及びビジュアルエフェクトの深度に基づいて、メディアアイテム１０２８内のビジュアルエフェクト及びオブジェクトと対話することができる。例えば、紙吹雪スクリーンエフェクトは、メディアアイテム１０２８（例えば、被写体１０６２）及びビジュアルエフェクト（ステッカー及びアバター）内のオブジェクトの前及び背後に落ちていく、並びにこれらのオブジェクト及びビジュアルエフェクトの上部にも落ちていく、紙吹雪を示すことができる。例えば、紙吹雪が、落ちていく紙吹雪の物理モデルに基づいて、アバター上に落ちていく、及びアバターの側を落ちていくさまを表示することができる。
In some embodiments, screen effects can interact with visual effects and objects within
図１１Ａ及び図１１Ｂは、一部の実施形態に係る、電子デバイスを使用してメディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。方法１１００は、表示装置を有するデバイス（例えば、１００、３００、５００、６００）において実行される。方法１１００におけるいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作の順序は任意選択的に変更され、いくつかの動作は任意選択的に省略される。
11A and 11B are flow diagrams illustrating methods for displaying visual effects in a media item viewing mode using an electronic device, according to some embodiments.
以下に説明するように、方法１１００は、メディアアイテム視聴モードでビジュアルエフェクトを表示するための直感的な仕方を提供する。この方法は、画像又はビデオにビジュアルエフェクトを表示している際のユーザへの認知負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスでは、ビジュアルエフェクトをユーザーがより迅速かつ効率的に表示できるようにすることで、電力を節約し、バッテリ充電間の時間を増大させる。
As described below,
電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、メディアユーザインタフェース（例えば、１００５）を表示する（１１０２）。メディアユーザインタフェースは、メディアアイテム（例えば、静止画像又はビデオ）の表現（例えば、１０１０）を含む、メディア表示領域（例えば、１００８）を含む（１１０４）。一部の実施形態では、メディアアイテムに対応する深度データは、エフェクトアフォーダンスの事前選択を検出した後に、電子デバイスのカメラによって取得される。 An electronic device (eg, 600) displays (1102) a media user interface (eg, 1005) via a display (eg, 601). The media user interface includes (1104) a media display area (eg, 1008) that includes a representation (eg, 1010) of a media item (eg, still image or video). In some embodiments, the depth data corresponding to the media item is obtained by the electronic device's camera after detecting the pre-selection of the effect affordance.
一部の実施形態では、メディアアイテムは、記録された画像又はビデオであり、エフェクトは、メディアアイテムが記録された後に深度データに基づいて適用される。一部の実施形態では、画像データがキャプチャされた（例えば、記録された）後に、ステッカー、仮想アバター、及びフルスクリーンエフェクトなどのビジュアルエフェクトを画像データに追加し、又は異なるビジュアルエフェクトに変更する（例えば、ステッカーを仮想アバターに置換する）ことができる。 In some embodiments, the media item is a recorded image or video and effects are applied based on depth data after the media item is recorded. In some embodiments, after the image data is captured (e.g., recorded), visual effects such as stickers, virtual avatars, and full-screen effects are added to the image data or changed to different visual effects ( For example, stickers can be replaced with virtual avatars).
メディアユーザインタフェース（例えば、１００５）は、エフェクトアフォーダンス（例えば、１０１６、画像表示モードをアクティブ化するための機能（例えば、画像データが深度データを含む場合に、深度データを表示するモード）に関連するアフォーダンス）を含む（１１０６）。 A media user interface (e.g., 1005) is associated with an effect affordance (e.g., 1016, a function for activating an image display mode (e.g., a mode for displaying depth data if the image data includes depth data). affordances) (1106).
電子デバイス（例えば、６００）は、エフェクトアフォーダンス（例えば、１０１６）に向けられたジェスチャ（例えば、１０２１）を検出する（１１０８）。一部の実施形態では、それぞれのエフェクトオプション（例えば、１０２４－１）は、メディアアイテム内に（例えば、その上に重ね合わせる）アバターを表示するためのエフェクトに対応する（１１１０）。一部の実施形態では、アバターをメディアアイテムに表示するときに、人の頭部の画像データが仮想アバターに置換される。人の頭部の画像データが仮想アバターに置換されたメディアアイテムにアバターを表示することにより、アバターが、置換されている人に関係がある、及び／又は関連付けられているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、アバターのカスタマイズ可能である。一部の実施形態において、アバターのカスタマイズ不可能である。 An electronic device (eg, 600) detects (1108) a gesture (eg, 1021) directed at an effect affordance (eg, 1016). In some embodiments, each effect option (eg, 1024-1) corresponds to an effect for displaying an avatar within (eg, overlaid on) the media item (1110). In some embodiments, image data of a person's head is replaced with a virtual avatar when the avatar is displayed in the media item. Displaying an avatar in a media item in which image data of a person's head has been replaced with a virtual avatar provides visual feedback that the avatar is related to and/or associated with the person being replaced. . By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. In some embodiments, the avatar is customizable. In some embodiments, avatars are not customizable.
一部の実施形態では、それぞれのエフェクトオプション（例えば、１０２４－３）は、メディアアイテム内を（例えば、その上にアニメーション風に重ね合わせられて）動く複数の仮想オブジェクト（例えば、１０６２、紙吹雪、風船など）を表示するためのエフェクトに対応する（１１１２）。一部の実施形態では、メディアアイテム内を移動する複数のオブジェクトの軌跡は、メディアアイテム内の（例えば、表される、特定される）オブジェクト（例えば、元の画像又はビデオ内の人物などの、仮想アバターではない、メディアアイテムに適用されるエフェクトの生成物であるオブジェクトではなく、元のメディアアイテムに符号化されたオブジェクト）のうちの少なくとも１つの存在、又はメディアアイテムに適用されたビジュアルエフェクト（例えば、アバター）に基づいて変更される。一部の実施形態では、紙吹雪又は風船などのオブジェクトが、画像内のユーザの前、背後、及び／又はユーザ上に表示される。一部の実施形態において、画像は、アバターなどの他のエフェクトを含み、紙吹雪又は風船などのオブジェクトは、アバターの前、背後、及び／又はアバター上に着地する。 In some embodiments, each effect option (eg, 1024-3) is represented by multiple virtual objects (eg, 1062, confetti) moving within (eg, animatedly superimposed on) the media item. , balloons, etc.) (1112). In some embodiments, the trajectory of a plurality of objects moving within the media item is the trajectory of the objects (eg, represented, identified) within the media item (eg, a person in the original image or video). objects that are not virtual avatars, objects that are products of effects applied to media items, but objects encoded in the original media items); avatar). In some embodiments, objects such as confetti or balloons are displayed in front of, behind, and/or on the user in the image. In some embodiments, the image includes other effects, such as an avatar, and objects such as confetti or balloons that land in front of, behind, and/or on the avatar.
一部の実施形態では、それぞれのエフェクトオプション（例えば、１０２４－２）は、メディアアイテム内に（例えば、その上に重ね合わせられる）１つ以上の選択可能なグラフィックアイコン（例えば、１０４２、ステッカー）を表示するためのエフェクトに対応する（１１１４）。 In some embodiments, each effect option (eg, 1024-2) is associated with one or more selectable graphic icons (eg, 1042, stickers) within (eg, overlaid on) the media item. (1114).
エフェクトアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイス（例えば、６００）は、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプション（例えば、ステッカーアフォーダンス、アバターアフォーダンス）を表示し（１１１６）、（例えば、パラグラフ［１７９］及び［３３８］に記載するように）メディアアイテムが対応する深度データに関連付けられているとの判定（１１１８）に従って、複数のエフェクトオプションが、深度データに基づいてエフェクト（例えば、ステッカー、仮想アバター、フルスクリーンエフェクトなど）を適用するためのそれぞれのエフェクトオプション（例えば、１０２４）を含む、ことを含んでいる。一部の実施形態では、ジェスチャを検出したことに応じて、電子デバイスは、画像表示モード（例えば、深度データに基づく画像表示モード）をアクティブ化する。 In response to detecting a gesture directed to an effect affordance, the electronic device (eg, 600) provides multiple effect options (eg, sticker affordance, Avatar Affordances) are displayed 1116, and a plurality of effects according to determining 1118 that the media item is associated with corresponding depth data (e.g., as described in paragraphs [179] and [338]). Options include including respective effect options (eg, 1024) for applying effects (eg, stickers, virtual avatars, full-screen effects, etc.) based on depth data. In some embodiments, in response to detecting the gesture, the electronic device activates an image display mode (eg, an image display mode based on depth data).
一部の実施形態では、深度データに基づいてメディアアイテム（例えば、静止画像又はビデオ）上に表示できる複数のステッカーオプション（例えば、１０４２）を表示するために、ステッカーアフォーダンス（例えば１０２４－２）が選択可能である。例えば、ステッカーをメディアアイテム上に配置し、メディアアイテムに関連付けられた深度データに基づいて変更することができる。一部の実施形態では、ステッカーは、ビデオ内のオブジェクトの相対位置に関連付けられる。ビデオ内のオブジェクトの動きは、オブジェクトの動きに基づいて、ステッカーの表示されたアスペクト（例えば、サイズ、向き、位置など）を変更するために使用される深度成分を有する。例えば、ステッカーはオブジェクト上に表示され、オブジェクトがカメラ（例えば、６０２）から離れて（例えば、後方に）移動するにつれてステッカーは小さくなっていき、ステッカーがオブジェクトと共にカメラから遠ざかっていく外観を与える。一部の実施形態では、深度データに基づいてメディアアイテム上に表示できる複数のアバターオプション（例えば、図１０ＡＢ）を表示するために、アバターアフォーダンス（例えば、１０２４－１）が選択可能である。例えば、アバターを画像又はビデオ内の顔に表示し、画像又はビデオ内の顔に関連付けられた深度データに基づいて修正することができる。例えば、顔が前方、後方、左右、又は画像データの深度成分に影響を及ぼす他の方法で動くと、深度データに基づいてアバターが表示及び変更される。このように、顔が動くにつれて、同じ方法でアバターが動いて表示される。 In some embodiments, a sticker affordance (eg, 1024-2) is used to display multiple sticker options (eg, 1042) that can be displayed on a media item (eg, still image or video) based on depth data. It is selectable. For example, stickers can be placed on media items and modified based on depth data associated with the media items. In some embodiments, stickers are associated with relative positions of objects in the video. Object motion in the video has a depth component that is used to change the displayed aspect (eg, size, orientation, position, etc.) of the sticker based on the object's motion. For example, a sticker may be displayed on an object, and as the object moves away (eg, backwards) from the camera (eg, 602), the sticker becomes smaller, giving the appearance that the sticker moves away from the camera with the object. In some embodiments, an avatar affordance (eg, 1024-1) is selectable to display multiple avatar options (eg, FIG. 10AB) that can be displayed on the media item based on depth data. For example, an avatar can be displayed on a face in an image or video and modified based on depth data associated with the face in the image or video. For example, the avatar is displayed and changed based on the depth data as the face moves forward, backward, left and right, or in other ways that affect the depth component of the image data. In this way, as the face moves, the avatar is displayed moving in the same way.
エフェクトアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイス（例えば、６００）は、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプション（例えば、１０２４、ステッカーアフォーダンス、アバターアフォーダンス）を表示し（１１１６）、画像データが深度データを含まないとの判定（１１２０）に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない（例えば、それぞれのエフェクトオプションが、表示された複数のエフェクトオプションから除外されているか、又は表示された複数のエフェクトオプションにおいて無効化されている）、ことを含んでいる。画像データが深度データを含まないとの判定に従って、複数のエフェクトオプションでアクティブ化するために利用可能でないそれぞれのエフェクトオプションは、画像データが必要な深度データを含まないというフィードバックを提供する。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに操作を行うことにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、深度データに対応するアフォーダンス（例えば、エフェクトアフォーダンス）は、表示されないか、又は画像データが深度データを含まない場合には選択できない。
In response to detecting a gesture directed to an effect affordance, the electronic device (eg, 600) displays multiple effect options (eg, 1024, sticker affordances, avatar affordances) are displayed 1116 and, following a
一部の実施形態では、複数のエフェクトオプション（例えば、１０２４）は、メディアアイテムに（例えば、その上に重ね合わせられて）ラベルを付加するためのオプション（例えば、１０２０）を含む。一部の実施形態では、テキストラベルを画像又はビデオに追加することができる。一部の実施形態では、複数のエフェクトオプションは、メディアアイテムに（例えば、その上に重ね合わせられて）１つ以上の画像フィルタを適用するためのオプションを含む。 In some embodiments, the plurality of effect options (eg, 1024) includes an option (eg, 1020) for adding a label to (eg, overlaid on) the media item. In some embodiments, text labels can be added to images or videos. In some embodiments, the plurality of effects options includes options for applying one or more image filters to (eg, overlaid on) the media item.
方法１１００に関して上述された処理（例えば、図１１Ａ～図１１Ｂ）の詳細はまた、上記及び以下で説明される方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００は、方法１１００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、メッセージングアプリケーションユーザインタフェースにおいて画像データに表示される。別の例では、方法９００は、方法１１００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラアプリケーションユーザインタフェースに対するユーザインタフェース内の画像データに表示される。別の例では、方法１３００は、方法１１００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターのようなビジュアルエフェクトが、ライブビデオ通信セッションのためのユーザインタフェースにおいて画像データに表示される。別の例では、方法１５００は、方法１１００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラユーザインタフェースに対して画像データに表示される。簡潔にするために、これらの詳細は、以下では繰り返さない。
Note that details of the processes described above with respect to method 1100 (eg, FIGS. 11A-11B) are also applicable in an analogous manner to the methods described above and below. For example,
図１２Ａ～図１２ＡＰは、一部の実施形態に係る、ライブビデオ通信セッションにおけるビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。それらの図におけるユーザインタフェースは、図１３Ａ～図１３Ｂにおける処理を含む、以下で説明される処理を例示するために使用される。 12A-12AP illustrate exemplary user interfaces for displaying visual effects in a live video communication session, according to some embodiments. The user interfaces in those figures are used to illustrate the processes described below, including the processes in FIGS. 13A-13B.
図１２Ａでは、デバイス６００は、２人以上の参加者間のライブビデオ通信セッション（例えば、ストリーミングビデオ通信）に対するユーザインタフェース１２００を示す。ユーザインタフェース１２００では、デバイスは、ライブビデオ通信セッションにおける参加者を表す参加者画像データ１２０４を表示する。ウィンドウ１２０２では、デバイス６００は、デバイス６００のカメラ（例えば、カメラ６０２）によって取得されたデータ、及びライブビデオ通信セッションの他の参加者に送信されているビデオデータの表現を含む、デバイス画像データ１２０１を表示する。図１２Ａでは、デバイス画像データ１２０１は、ビデオ通信セッションの参加者でもある（例えば、外部電子デバイス（例えば、デバイス６００に類似のデバイス）を使用している）ユーザを表す。図１２Ａでは、デバイス画像データ１２０１は、デバイス６００のカメラ６０２を使用してキャプチャされる。しかしながら、一部の実施形態では、デバイス画像データ１２０１を、デバイス６００の背面カメラを使用してキャプチャすることができる。
In FIG. 12A,
図１２Ｂでは、デバイス６００は、ユーザインタフェース１２００上の入力１２０５を検出し、これに応じて、エフェクトアフォーダンス１２０８、カメラセレクタアフォーダンス１２１０、及びエンドアフォーダンス１２１２を有する、図１２Ｃの、オプション表示領域１２０６を表示する。エンドアフォーダンス１２１２は、ライブビデオ通信セッションを終了させるための機能に関連付けられ、カメラセレクタアフォーダンス１２１０は、カメラ（例えば、背面カメラ及びカメラ６０２）間を切り替えるための機能に関連付けられている。エフェクトアフォーダンス１２０８は、エフェクトアフォーダンス６２２、８２２及び１０１６と同様であり、デバイス６００がユーザインタフェース１２００にビジュアルエフェクトを表示するために有効化又は無効化される、デバイス６００のモード（ビジュアルエフェクトモード、エフェクトモード）を有効化又は無効化するために選択可能である。
In FIG. 12B,
図１２Ｄでは、デバイス６００は、エフェクトアフォーダンス１２０８上の入力１２１３を検出する。
In FIG. 12D,
図１２Ｅでは、デバイス６００は、入力１２１３を検出したことに応じて、ビジュアルエフェクトモードを可能化する。デバイス６００は、参加者画像データ１２０４をウインドウ１２０２に表示することによって、デバイス画像データ１２０１及び参加者画像データ１２０４の表示位置を切り替え、ユーザインタフェース１２００内の別の位置に任意選択的に移動する。デバイス６００はまた、エフェクトアフォーダンス１２０８を強調表示し、ビジュアルエフェクトオプションアフォーダンス１２１４を含むようにオプション表示領域１２０６を拡大する。ビジュアルエフェクトオプションアフォーダンス１２１４は、上述したビジュアルエフェクトオプションアフォーダンス６２４、８２４、及び１０２４と同様であり、エフェクトアフォーダンス１２０８が有効化されているときに表示される。
In FIG. 12E,
図１２Ｆでは、デバイス６００は、アバターエフェクトアフォーダンス１２１４－１上の入力１２１５を検出する。図１２Ｇでは、それに応じて、デバイス６００は、選択可能なアバターオプション１２１８のスクロール可能なリストを含むアバターオプションメニュー１２１６を表示する。アバターオプションメニュー１２１６は、アバターオプションメニュー６２８及び８２８と同様であり、アバターオプション１２１８は、アバターオプション６３０及び８３０と同様である。
In FIG. 12F,
アバターオプション１２１８は、図６Ｇ～図６Ｑ、図６ＢＤ～図６ＢＥ、図６ＢＫ～図６ＢＮ、及び図８Ｆ～図８ＡＧに関して上述したのと同様の方法で、対応するアバターを、デバイス画像データ１２０１内の被写体の顔に適用するために選択されてもよい。一部の実施形態では、アバターオプション１２１８は、参加者画像データ１２０４に表示された参加者に対するのと同様の方法で、対応するアバターを適用するように選択できる。
図１２Ｇでは、ヌルアバターオプション１２１８－１が選択されている（例えば、選択領域１２１９内に位置している）ので、アバターはデバイス画像データ１２０１内のユーザの顔に表示されない。
In FIG. 12G, null avatar option 1218-1 is selected (eg, located within selection area 1219), so no avatar is displayed on the user's face in
図１２Ｈ～図１２Ｐは、様々なアバターオプションを選択し、その間で切り替えて、デバイス画像データ１２０１内のユーザの顔に対応するアバターを表示するための処理を示す。例えば、デバイス６００は、デバイス画像データ１２０１に他のオブジェクト（例えば、ユーザの身体及び背景１２２６）の表示を維持している間に、ロボットアバターオプション１２１８－２の選択を受信し、デバイス画像データ１２０１内のユーザーの顔に、ロボットアバター１２２２を表示する。デバイス６００は、カメラ６０２を使用してユーザの顔の検出された変化に基づいてロボットアバター１２２２の外観を変更する。デバイス６００は、エイリアンアバターオプション１２１８－３の選択を受信し、表示されたアバターをエイリアンアバター１２２３に遷移させる。デバイスは、ロボットアバターオプション１２１８－２の後続の選択を受信し、表示されたアバターをロボットアバター１２２２に再び遷移させる。一部の実施形態では、ユーザは、ヌルアバターオプション１２１８－０を選択することによって、デバイス画像データ１２０１内のアバターを除去（又は表示することをやめる）するよう選択することができる。これらの処理は、図６Ｇ～図６Ｑ、図６ＢＤ～図６ＢＥ、図６ＢＫ～図６ＢＮ、及び図８Ｆ～図８ＡＧに関して、上記で一層詳細に論じている。簡潔性のために、これらの処理の詳細は、ここでは繰り返さない。
12H-12P illustrate the process for selecting and switching between various avatar options to display an avatar corresponding to the user's face in
図１２Ｐのクローズアイコン１２２０の選択を（入力１２２１を介して）検出した後、デバイス６００は、アバターオプションメニュー１２１６をクローズし、図１２Ｑのオプション表示領域１２０６を再表示する。デバイス６００は、デバイス画像データ１２０１内のユーザの頭部上にロボットアバター１２２２を表示し、カメラ６０２を使用してユーザの顔の検出された変化に基づいてアバターを変更する。
After detecting selection of
図１２Ｒでは、デバイス６００は、ステッカーエフェクトアフォーダンス１２１４－２の選択１２２７を検出し、図１２Ｓでは、ステッカー１２３０を有するステッカーオプションメニュー１２２８を表示する。ステッカーオプションメニュー１２２８は、ステッカーオプションメニュー６５６及び８５６と同様であり、ステッカー１２３０は、ステッカー６５８及び８５８と同様である。
12R,
ステッカー１２３０は、図６Ｕ～図６ＡＤ、図８ＡＨ～図８ＡＫ、及び図８ＡＲ～図８ＡＹに関して上述したのと同様の方法で、対応するステッカーをデバイス画像データ１２０１に適用するために選択されてもよい。一部の実施形態では、ステッカー１２３０を参加者画像データ１２０４に適用することができる。
図１２Ｔ～図１２ＡＡは、デバイス画像データ１２０１にステッカーを適用し、変更する処理を示す。デバイス６００は、眼鏡ステッカー１２３０－１の選択を検出し、眼鏡ステッカー１２３０－１をデバイス画像データ１２０１に表示する。デバイス６００はまた、後続のジェスチャを検出して、ロボットアバター１２２２上の眼鏡ステッカー１２３０－１を移動させ、サイズを変更し、及び配置する。これらの処理は、図６Ｕ～図６ＡＤ、図８ＡＨ～図８ＡＫ、及び図８ＡＲ～図８ＡＹに関して、上記で一層詳細に論じている。簡潔性のために、これらの処理の詳細は、ここでは繰り返さない。
12T-12AA illustrate the process of applying and modifying stickers to
一部の実施形態では、選択されたステッカー１２３０は、ユーザーがデバイス画像データ１２０１にステッカーを配置するまで、ライブ通信セッションの他の参加者には見ることができない。一部の実施形態では、配置されたステッカー１２３０に対する変更は、変更が完了するまで他の参加者には見えない。一部の実施形態では、いったん選択されたステッカーがユーザインタフェース１２００内のデバイス画像データ１２０１上に現れると、たとえユーザがステッカー１２３０をまだ配置していないとしても、ビデオ通信セッションの参加者はステッカーを見ることができる。同様に、たとえユーザがステッカーの配置をまだ変更していても、ステッカーの継続的な変更がライブビデオ通信セッションの他の参加者に見えるように、配置されたステッカーに対する変更が可視化される。
In some embodiments, the selected
図１２ＡＢでは、ロボットアバター１２２２、眼鏡ステッカー１２３０－１がデバイス画像データ１２０１に適用され、オプション表示領域１２０６が表示される。デバイス６００は、ユーザインタフェース１２００上のジェスチャ１２３２を検出し、これに応じて、デバイス画像データ１２０１が、ユーザインタフェース１２００内の別の位置に任意選択的に移動するウインドウ１２０２内に表示されるように、図１２ＡＣでは、デバイス画像データ１２０１及び参加者画像データ１２０４の表示位置を切り替える。ビジュアルエフェクト（例えば、ロボットアバター１２２２及び眼鏡ステッカー１２３０－１）は、ウィンドウ１２０２に配置されたデバイス画像データ１２０１に表示される。
In FIG. 12AB,
図１２ＡＤに示すように、ウィンドウ１２０２上のジェスチャ１２３３を受信したことに応じて（参加者画像データ１２０４を用いて位置を再び切り替えることにより）、デバイス画像データ１２０１を再拡大することができる。デバイス６００は、図１２ＡＥで切り替えられたデバイス画像データ１２０１及び参加者画像データ１２０４を、表示されたビジュアルエフェクト及びオプション表示領域１２０６と共に示す。エフェクトモードが有効化されているので、オプション表示領域１２０６が表示されると、ビジュアルエフェクトオプションアフォーダンス１２１４も表示される。
As shown in FIG. 12AD, in response to receiving
ライブビデオ通信セッションにおけるビジュアルエフェクトを表示するための前述の説明は、３人以上の参加者を有するライブビデオ通信セッションにも適用される。図１２ＡＦ～図１２ＡＰは、このような実施形態においてビジュアルエフェクトを適用するための様々な方法を示す。 The above description for displaying visual effects in a live video communication session also applies to live video communication sessions with three or more participants. Figures 12AF-12AP illustrate various methods for applying visual effects in such embodiments.
図１２ＡＦでは、デバイス６００は、デバイス画像データ１２０１をユーザウィンドウ１２５１に、及びそれぞれの参加者画像データ１２０４－１～１２０４－４をそれぞれの参加者ウィンドウ１２５５－１～１２５５－４に有するユーザインタフェース１２００表示する。
In FIG. 12AF,
図１２ＡＧでは、デバイス６００は、ユーザインタフェース１２００上の入力１２５６を受信し、これに応じて、図１２ＡＨで、エフェクトアフォーダンス１２０８、カメラセレクタアフォーダンス１２１０、及びエンドアフォーダンス１２１２を有する、オプション表示領域１２０６を表示する。デバイス６００が入力１２５６を受信するときにはエフェクトモードが有効化されていないので、オプション表示領域１２０６が、ビジュアルエフェクトオプションアフォーダンス１２１４なしで表示される。
In FIG. 12AG,
図１２ＡＩでは、デバイス６００は、ビジュアルエフェクトモードを有効化する、エフェクトアフォーダンス１２０８上の入力１２５７を検出する。次いで、デバイス６００は、図１２ＡＪに示すように、拡大表示に拡張してユーザウィンドウ１２５１を表示し、ウィンドウ１２５１の背後にぼかしエフェクト１２５８を適用もしながら、オプション表示領域１２０６を拡張してビジュアルエフェクトオプションアフォーダンスス１２１４を表示する。拡張ウィンドウ１２５１は、図１２ＡＩに示すビューに戻るように選択可能なリターンアイコン１２６０を含む。
In FIG. 12AI,
上述したように、ビジュアルエフェクトは、ビジュアルエフェクトオプションアフォーダンス１２１４を使用してデバイス画像データ１２０１に適用することができる。例えば、デバイス６００は、図１２Ｒ～図１２ＡＢに関して上述したものと一致する方法で、ステッカーを貼り付けることができる。図１２ＡＫ～図１２ＡＮは、デバイス画像データ１２５１内のユーザの顔に追加カスタマイズ可能なアバター１２６２を示す。例えば、図１２ＡＫでは、ヌルアバターオプション１２１８－１（アバターを表示することをやめるか、又は表示されたアバターを除去するかを選択可能）を含むアバターオプション１２１８を有するアバターオプションメニュー１２１６、カスタマイズ不可能なロボットアバターオプション１２１８－２、カスタマイズ可能なアバターオプション１２１８－３、及び新規アバターアフォーダンス１２６６（新規アバターアフォーダンス８１３と同様の方法で新規アバターを作成するために選択可能）を、デバイス６００に表示させる、アバターエフェクトアフォーダンス１２１４－１が選択される（１２６４）。カスタマイズ可能なアバターオプション１２１８－３は、上述したカスタマイズ可能なアバターオプション８３０－５と同様の方法でカスタマイズできる。
As described above, visual effects can be applied to
図１２ＡＭ～図１２ＡＮでは、カスタマイズ可能なアバターオプション１２１８－３が選択され、デバイス６００は、カスタマイズ可能なアバター１２７３を、ウィンドウ１２５１に表示されたデバイス画像データ１２０１内のユーザの顔に表示する。デバイス６００は、カメラ６０２の視野内に位置するユーザの顔の検出された変化に基づいて、カスタマイズ可能なアバター１２７３を変更する。デバイスは、本明細書で前述した先の実施形態に関して説明したように、ユーザの顔がカメラ６０２の視野内で検出されない場合を示す。
12AM-12AN, customizable avatar option 1218-3 is selected and
図１２ＡＮでは、デバイス６００は、リターンアイコン１２６０上の入力１２７４を検出し、これに応じて、図１２ＡＯに示すように、適用されたビジュアルエフェクト（例えば、カスタマイズ可能なアバター１２７３）を含みながら、デバイス画像データ１２０１をウィンドウ１２５１に表示する。図１２ＡＯに示す実施形態では、デバイス画像データ１２０１及び適用されたビジュアルエフェクトは、ライブビデオ通信セッションの他の参加者が見ることができる。ビジュアルエフェクトが有効化されるので、ビジュアルエフェクトオプションアフォーダンス１２１４及びエフェクトアフォーダンス１２０８が強調表示されて、オプション表示領域１２０６が表示される。
In FIG. 12AN,
図１２ＡＯでは、デバイスは、ユーザインタフェース１２００上の入力１２７５を検出し、それに応じて、オプション表示領域１２０６を隠し、図１２ＡＰに示すように、様々な参加者ウィンドウ１２５５の位置をシフトし、サイズ変更する。一部の実施形態では、デバイス６００は、参加者が話しているときに、それぞれの参加者ウィンドウを拡大する。例えば、図１２ＡＰでは、デバイス６００は、参加者画像データ１２０４－２に表された女性からの音声１２７６（例えば、笑い声）を検出し、それに応じて、女性の参加者ウィンドウ１２５５－２を拡大する。
In FIG. 12AO, the device detects
図１３Ａ～図１３Ｂは、一部の実施形態に係る、電子デバイスを使用してライブビデオ通信セッションアプリケーションにビジュアルエフェクトを表示するための方法を示すフロー図である。方法１３００は、表示装置を備えたデバイス（例えば、１００、３００、５００、６００）において実行される。方法１３００におけるいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作の順序は任意選択的に変更され、いくつかの動作は任意選択的に省略される。
13A-13B are flow diagrams illustrating methods for displaying visual effects in a live video communication session application using an electronic device, according to some embodiments.
以下に説明するように、方法１３００は、ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための直感的な方法を提供する。この方法は、ビジュアルエフェクトを表示している際のユーザへの認知負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスでは、ビジュアルエフェクトをユーザーがより迅速かつ効率的に表示できるようにすることで、電力を節約し、バッテリ充電間の時間を増大させる。
As described below,
電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインタフェース（例えば、１２００）を表示する（１３０２）。ライブビデオ通信ユーザインタフェースは、ライブビデオ通信セッションに参加している被写体の表現（例えば、１２０１）を含む（１３０４）。ライブビデオ通信セッションに参加している被写体の表現を含むことにより、ユーザは、ライブビデオ通信セッションの他の参加者（単数又は複数）を迅速かつ容易に認識することができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ライブビデオ通信セッションに参加している被写体の表現は、電子デバイスに関連付けられたカメラ（例えば、６０２）によってキャプチャされた画像データを含む（１３０６）。一部の実施形態では、被写体は電子デバイスのユーザである。一部の実施形態では、ライブビデオ通信セッションに参加している被写体の表現は、第２の電子デバイスから電子デバイスに伝送された画像データを含む。一部の実施形態では、第２の電子デバイスは別のユーザのデバイスであり、被写体は他のユーザである。 An electronic device (eg, 600) displays (1302) a live video communications user interface (eg, 1200) of a live video communications application via a display (eg, 601). A live video communication user interface includes (1304) a representation (eg, 1201) of a subject participating in a live video communication session. By including representations of subjects participating in a live video communication session, users can quickly and easily recognize other participant(s) in the live video communication session. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. In some embodiments, the representation of the subject participating in the live video communication session includes (1306) image data captured by a camera (eg, 602) associated with the electronic device. In some embodiments, the subject is the user of the electronic device. In some embodiments, the representation of the subject participating in the live video communication session includes image data transmitted from the second electronic device to the electronic device. In some embodiments, the second electronic device is another user's device and the subject is the other user.
一部の実施形態では、ライブビデオ通信ユーザインタフェース（例えば、１２００）は、ライブビデオ通信セッションにおける第２の参加者の表現（例えば、１２０４）、及びライブビデオ通信セッションにおける第３の参加者の表現を更に含む。一部の実施形態では、ライブビデオ通信セッションにおける第２及び第３の参加者の表現の表示サイズが、参加者のすべての表現が画面上に収まるように調整される。第２及び第３の参加者の表現のサイズを画面に合わせるように調整することにより、ユーザは、ユーザの表現に適用されるビジュアルエフェクトに対する彼らの反応を同時に見ることができ、それによって（例えば、ユーザが手動入力なしに他の参加者の反応を容易に見ることを可能にすることにより）、デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力消費を低減し、装置のバッテリ寿命を改善する。 In some embodiments, the live video communication user interface (eg, 1200) includes a representation of a second participant in the live video communication session (eg, 1204) and a representation of a third participant in the live video communication session. further includes In some embodiments, the display size of the representations of the second and third participants in the live video communication session is adjusted so that all representations of the participants fit on the screen. By adjusting the size of the representations of the second and third participants to fit the screen, the user can simultaneously see their reactions to the visual effects applied to their representation, thereby (e.g. , by allowing users to easily see the reactions of other participants without manual input), improve device usability, make user-device interfaces more efficient, and allow users to interact with their devices. It reduces power consumption and improves the battery life of the device by allowing it to be used more quickly and efficiently.
ライブビデオ通信ユーザインタフェース（例えば、１２００）は、第１のアフォーダンス（例えば、１２０８、エフェクトアフォーダンス）（例えば、カメラエフェクトモード（例えば、様々なカメラエフェクトをライブビデオ通信セッション内のユーザの表現に適用できるモード）をアクティブ化するための機能に関連付けられたアフォーダンス）を含む（１３０８）。 A live video communication user interface (e.g., 1200) provides a first affordance (e.g., 1208, effect affordance) (e.g., a camera effects mode (e.g., various camera effects can be applied to a user's presentation within a live video communication session). Affordances associated with the function for activating the mode) (1308).
一部の実施形態では、電子デバイス（例えば、６００）は、第１のアフォーダンス（例えば、１２０８）を表示する前に、ライブビデオ通信ユーザインタフェース（例えば、１２００）上の第１の入力（例えば、１２０５）（例えば、ビデオ通話オプションを表示するためのライブビデオ通信ユーザインタフェース上のタップジェスチャ）を検出し、この第１の入力は、ライブビデオ通信セッションに関連付けられた１つ以上のオプション（例えば、通話を終了するオプション、カメラビューを切り替えるオプションなど）を表示する要求に対応する。一部の実施形態では、電子デバイスは、第１の入力を検出したことに応じて、ライブビデオ通信セッションに関連付けられた１つ以上のオプション（例えば、１２０８、１２１０、１２１２）を表示する。一部の実施形態では、電子デバイスは、第１のアフォーダンス（例えば、１２０８）を表示する。 In some embodiments, the electronic device (eg, 600) receives a first input (eg, 1205) (e.g., a tap gesture on a live video communication user interface to display video call options), where the first input is one or more options associated with the live video communication session (e.g., respond to requests to display options to end a call, switch camera views, etc.). In some embodiments, the electronic device displays one or more options (eg, 1208, 1210, 1212) associated with the live video communication session in response to detecting the first input. In some embodiments, the electronic device displays a first affordance (eg, 1208).
電子デバイス（例えば、６００）は、第１のアフォーダンス（例えば、１２０８）に向けられたジェスチャ（例えば、１２１３）を検出する（１３１０）。第１のアフォーダンスに向けられたジェスチャを検出する（１３１２）ことに応じて、電子デバイスはカメラエフェクトモードをアクティブ化する（１３１４）。 An electronic device (eg, 600) detects (1310) a gesture (eg, 1213) directed at a first affordance (eg, 1208). In response to detecting (1312) a gesture directed at the first affordance, the electronic device activates (1314) a camera effects mode.
一部の実施形態では、第１のアフォーダンス（例えば、１２０８）に向けられたジェスチャを検出したことに応じて、電子デバイス（例えば、６００）は、ビジュアルエフェクトの第１のタイプに関連付けられた第１のビジュアルエフェクトアフォーダンス、及びビジュアルエフェクトの第１のタイプとは異なるビジュアルエフェクトの第２のタイプに関連付けられた第２のビジュアルエフェクトアフォーダンス、並びに任意選択的に、ビジュアルエフェクトの第１のタイプ及びビジュアルエフェクトの第２のタイプとは異なる、ビジュアルエフェクトの第３のタイプに関連付けられた第３のビジュアル関連付けられたエフェクトアフォーダンス（例えば、ステッカーアフォーダンス１２１４－２、アバターアフォーダンス１２１４－１、フルスクリーンエフェクトにアフォーダンス）を表示する。一部の実施形態では、ステッカーアフォーダンスは、ステッカーがライブビデオ通信セッションに参加している被写体の表現内に表示されるビジュアルエフェクトに関連付けられている。一部の実施形態では、アバターアフォーダンスは、仮想アバターがライブビデオ通信セッションに参加している被写体の表現上に表示されるビジュアルエフェクトに関連付けられている。一部の実施形態では、フルスクリーンエフェクトは、ライブビデオ通信セッションの参加者の前、背後、及び／又はその上に、紙吹雪又は風船などのグラフィカルオブジェクトが表示されるビジュアルエフェクトを含む。 In some embodiments, in response to detecting a gesture directed at a first affordance (eg, 1208), the electronic device (eg, 600) generates a first gesture associated with the first type of visual effect. one visual effect affordance and a second visual effect affordance associated with a second type of visual effect different from the first type of visual effect, and optionally the first type of visual effect and the visual A third visual associated effect affordance associated with a third type of visual effect that is different from the second type of effect (e.g., sticker affordance 1214-2, avatar affordance 1214-1, full screen effect affordance ). In some embodiments, the sticker affordance is associated with a visual effect in which the sticker is displayed within a representation of a subject participating in a live video communication session. In some embodiments, avatar affordances are associated with visual effects displayed over a representation of a subject whose virtual avatar is participating in a live video communication session. In some embodiments, full-screen effects include visual effects in which graphical objects such as confetti or balloons are displayed in front of, behind, and/or over participants in a live video communication session.
一部の実施形態では、電子デバイス（例えば、６００）は、あるタイプのビジュアルエフェクトに関連付けられたアフォーダンス（例えば、ステッカーアフォーダンス１２１４－２、アバターアフォーダンス１２１４－１、フルスクリーンエフェクトに関連付けられたアフォーダンス）のうちの１つの選択（例えば、１２１５）を検出する。一部の実施形態では、ビジュアルエフェクトに関連付けられたアフォーダンスの選択を検出したことに応じて、電子デバイスは、ビジュアルエフェクトに対応する複数のビジュアルエフェクトオプション（１２１８）を表示する。ビジュアルエフェクトに関連付けられたアフォーダンスの選択を検出したことに応じて、ビジュアルエフェクトに対応する複数のビジュアルエフェクトオプションを表示することにより、ユーザは、対応するビジュアルエフェクトオプションに迅速かつ容易にアクセスすることができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ステッカーアフォーダンスは、静止グラフィカルオブジェクト（例えば、帽子、星、眼鏡など）の表現（例えば、ライブビデオ通信セッションに参加している被写体の表現）を画像データに表示することを含む、ビジュアルエフェクトに関連付けられる。一部の実施形態では、アバターアフォーダンスは、人の頭部の画像データが仮想アバターのグラフィック表現に置換されるように、仮想アバター（例えば、カスタマイズ可能な仮想アバター、又はカスタマイズ不可能な仮想アバター）の表現を表示することを含むビジュアルエフェクトと関連付けられる。一部の実施形態では、フルスクリーンエフェクトは、紙吹雪又は風船などのグラフィカルオブジェクトが、ライブビデオ通信セッションの参加者の前、背後、及び／又はその上に表示されるビジュアルエフェクトを含む。 In some embodiments, the electronic device (eg, 600) displays affordances associated with certain types of visual effects (eg, sticker affordances 1214-2, avatar affordances 1214-1, affordances associated with full-screen effects). Detects the selection (eg, 1215) of one of the . In some embodiments, in response to detecting selection of affordances associated with a visual effect, the electronic device displays multiple visual effect options (1218) corresponding to the visual effect. By displaying a plurality of visual effect options corresponding to the visual effect in response to detecting a selection of affordances associated with the visual effect, the user can quickly and easily access the corresponding visual effect options. can. By providing additional control options without cluttering the user interface with additional visible controls, the usability of the device is improved and the user device interface (e.g., appropriate inputs when manipulating/interacting with the device) and make it more efficient (by reducing user error), as well as reduce the power usage of the device by allowing the user to use the device more quickly and efficiently reduce and improve battery life. In some embodiments, sticker affordances refer to displaying representations of static graphical objects (eg, hats, stars, eyeglasses, etc.) (eg, representations of subjects participating in a live video communication session) in the image data. associated with a visual effect, including In some embodiments, an avatar affordance is a virtual avatar (eg, a customizable virtual avatar or a non-customizable virtual avatar) such that image data of a person's head is replaced with a graphical representation of the virtual avatar. associated with a visual effect that involves displaying a representation of In some embodiments, full-screen effects include visual effects in which graphical objects such as confetti or balloons are displayed in front of, behind, and/or over participants in a live video communication session.
電子デバイス（例えば、６００）は、第１のアフォーダンスに向けられたジェスチャを検出すること（１３１２）に応じて、ライブビデオ通信セッションに参加している被写体の表現（例えば、１２０１）のサイズを増大させる（１３１６）。第１のアフォーダンスに向けられたジェスチャを検出すること（１３１２）に応じて、ライブビデオ通信セッションに参加している被写体の表現のサイズを増大させることにより、ユーザは、被写体の表現のサイズを迅速かつ容易に調整することができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、被写体の表現のサイズを増大することは、被写体の表示された表現の位置を、ライブビデオ通信セッションにおいて表示された参加者の位置に切り替えることを含む。 An electronic device (eg, 600) increases the size of a representation (eg, 1201) of a subject participating in a live video communication session in response to detecting (1312) a gesture directed at a first affordance. (1316). By increasing the size of the representation of the subject participating in the live video communication session in response to detecting 1312 a gesture directed to the first affordance, the user can quickly increase the size of the representation of the subject. and can be easily adjusted. By providing additional control options without cluttering the user interface with additional displayed controls, the usability of the device is improved and the user device interface (e.g., appropriate inputs when operating/interacting with the device) and make it more efficient (by reducing user error), as well as reduce the power usage of the device by allowing the user to use the device more quickly and efficiently reduce and improve battery life. In some embodiments, increasing the size of the representation of the subject includes switching the position of the displayed representation of the subject to the positions of the displayed participants in the live video communication session.
一部の実施形態では、カメラエフェクトモードがアクティブ化されている間に（１３１８）、電子デバイス（例えば、６００）は、エフェクトオプションアフォーダンス（例えば、ライブビデオ通信セッションに参加している被写体の表現にビジュアルエフェクトを表示するための機能に関連付けられた選択可能なアイコン）の選択を検出する（１３２０）。一部の実施形態では、エフェクトオプションアフォーダンスは、ステッカーアフォーダンス、アバターアフォーダンス、又は紙吹雪若しくは風船などのフルスクリーンエフェクトに関連付けられたアフォーダンスである。 In some embodiments, while the camera effects mode is activated 1318, the electronic device (e.g., 600) provides effects option affordances (e.g., to representation of a subject participating in a live video communication session). A selectable icon associated with a function for displaying a visual effect) is detected (1320). In some embodiments, the effect option affordance is a sticker affordance, an avatar affordance, or an affordance associated with a full screen effect such as confetti or balloons.
一部の実施形態では、エフェクトオプションアフォーダンスの選択を検出したことに応じて、電子デバイスは、ライブビデオ通信セッションに参加している被写体の表現の外観を、選択されたエフェクトオプションアフォーダンスに関連付けられたビジュアルエフェクト（例えば、ステッカー、アバター、又はフルスクリーンエフェクトを表示すること）に基づいて変更する（１３２２）。選択されたエフェクトオプションアフォーダンスに関連付けられたビジュアルエフェクトに基づいて、ライブビデオ通信セッションに参加している被写体の表現の外観を変更することにより、選択されたビジュアルエフェクトの適用が成功したという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ステッカーアフォーダンスの選択を検出すること応じて、ライブビデオ通信セッションに参加しているユーザーの表現が、選択されたステッカーを表示するように変更される。一部の実施形態では、アバターアフォーダンスの選択を検出すること応じて、ライブビデオ通信セッションに参加しているユーザーの表現が、ユーザの顔に位置するアバターを表示するように変更される。一部の実施形態では、フルスクリーンエフェクトに関連付けられたアフォーダンスの選択を検出することに応じて、フルスクリーンエフェクトが、ライブビデオ通信セッションに参加しているユーザの表現に表示される（例えば、紙吹雪が、ユーザの表現の前、背後、及びその上に落ちていくように表示される）。
In some embodiments, in response to detecting selection of an effect option affordance, the electronic device modifies the appearance of the representation of the subject participating in the live video communication session as associated with the selected effect option affordance.
一部の実施形態では、電子デバイス（例えば、６００）は、ライブビデオ通信ユーザインタフェース（例えば、１２００）上の、ライブビデオ通信セッションに参加している被写体の表現のサイズを縮小する要求に対応する第２の入力を検出する。一部の実施形態では、第２の入力を検出したことに応じて、電子デバイスは、選択されたエフェクトオプションアフォーダンスに関連付けられたビジュアルエフェクトに基づく変更された外観を有する、ライブビデオ通信セッションに参加している被写体の表現と、ライブビデオ通信セッションにおけるそれぞれの参加者の１つ以上の表現と、同時に表示する。第２の入力を検出したことに応じて、ライブビデオ通信セッションに参加している被写体の表現と、ライブビデオ通信セッションのそれぞれの参加者の１つ以上の表現とを同時に表示することにより、ユーザは、ライブビデオ通信の他の参加者を迅速かつ容易に（同時に）視認することができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ライブビデオ通信セッションにおけるユーザの表現が、ライブビデオ通信セッションにおける他の参加者の表現と共に画面上に表示されるように、縮小される。 In some embodiments, an electronic device (eg, 600) responds to a request to reduce the size of a representation of a subject participating in a live video communication session on a live video communication user interface (eg, 1200). A second input is detected. In some embodiments, in response to detecting the second input, the electronic device joins a live video communication session with an altered appearance based on visual effects associated with the selected effect option affordance. Simultaneously display a representation of the subject playing and one or more representations of each participant in the live video communication session. by simultaneously displaying a representation of a subject participating in the live video communication session and one or more representations of each participant in the live video communication session in response to detecting a second input; can quickly and easily view (simultaneously) other participants in a live video communication. By providing additional control options without cluttering the user interface with additional visible controls, the usability of the device is improved and the user device interface (e.g., appropriate inputs when manipulating/interacting with the device) and make it more efficient (by reducing user error), as well as reduce the power usage of the device by allowing the user to use the device more quickly and efficiently reduce and improve battery life. In some embodiments, a representation of the user in the live video communication session is scaled down so that it is displayed on-screen along with representations of other participants in the live video communication session.
一部の実施形態では、カメラエフェクトモードがアクティブ化されている間に（１３１８）、電子デバイス（例えば、６００）は、ライブビデオ通信セッションに参加している被写体の表現（例えば、１２０１）の外観を変更して（１３２４）１つ以上のビジュアルエフェクトを表示する。一部の実施形態では、ビジュアルエフェクトがステッカーエフェクトである場合、ライブビデオ通信セッションに参加している被写体の表現の外観は、静的なグラフィカルオブジェクト（例えば、ステッカー）の表示を含むように変更される。一部の実施形態では、静的グラフィカルオブジェクト（例えば、ステッカー）は、ライブビデオ通信セッションに参加している被写体の表現と対話する。一部の実施形態では、ビジュアルエフェクトがアバターエフェクトである場合、ライブビデオ通信セッションに参加している被写体の表現の外観は、被写体の頭部を置換する仮想アバター（例えば、カスタマイズ可能な仮想アバター、又はカスタマイズ不可能な仮想アバター）の表現を表示するように変更される。一部の実施形態では、ビジュアルエフェクトがフルスクリーンエフェクトである場合、ライブビデオ通信セッションに参加している被写体の表現の外観は、ライブビデオ通信セッションの参加者の前、背後、及び／又はその上に表示されるグラフィカルオブジェクト（例えば、グラフィックな紙吹雪、又はグラフィックな風船）を表示するように変更される。 In some embodiments, while the camera effects mode is activated (1318), the electronic device (eg, 600) displays the appearance of a representation (eg, 1201) of the subject participating in the live video communication session. is changed 1324 to display one or more visual effects. In some embodiments, when the visual effect is a sticker effect, the appearance of the representation of the subject participating in the live video communication session is modified to include the display of static graphical objects (e.g., stickers). be. In some embodiments, static graphical objects (eg, stickers) interact with representations of subjects participating in a live video communication session. In some embodiments, when the visual effect is an avatar effect, the appearance of the representation of the subject participating in the live video communication session is a virtual avatar that replaces the subject's head (e.g., a customizable virtual avatar, or a non-customizable virtual avatar) representation. In some embodiments, when the visual effect is a full screen effect, the appearance of the representation of the subject participating in the live video communication session is in front of, behind and/or above the participants in the live video communication session. is modified to display a graphical object (eg, a graphical confetti or a graphical balloon) displayed in the .
一部の実施形態では、変更された外観は、ライブビデオ通信セッションの他の参加者に送信／伝送される。一部の実施形態では、データを送信することは、選択されたビジュアルエフェクトに基づいて行われた変更を表すデータ（例えば、別個のデータ）と一緒に、画像データ（例えば、カメラの視野からの画像データのリアルタイムストリーム）を送信することを含む。一部の実施形態では、データを送信することは、選択されたビジュアルエフェクトに基づいて行われた変更を表すデータと結合されたカメラの視野からの画像データを含む、コンポジットビデオデータを送信することを含む。 In some embodiments, the modified look is sent/transmitted to other participants in the live video communication session. In some embodiments, transmitting the data includes image data (e.g., from a camera's field of view) along with data (e.g., separate data) representing changes made based on the selected visual effect. transmitting a real-time stream of image data). In some embodiments, transmitting data comprises transmitting composite video data including image data from a camera's field of view combined with data representing changes made based on the selected visual effect. including.
一部の実施形態では、カメラエフェクトモードがアクティブ化されている間に、電子デバイス（例えば、６００）は、ライブビデオ通信セッションに参加している被写体の表現（例えば、１２００）の外観を変更して仮想アバターを表示する。一部の実施形態では、電子デバイスは、電子デバイスの１つ以上のカメラ（例えば、６０２）の視野内の顔の変化を検出する。一部の実施形態では、電子デバイスは、顔の検出された変化に基づいて、仮想アバターの外観を変更する。顔の検出された変化に基づいて仮想アバターの外観を変更することにより、仮想アバターが顔に基づいている／関連付けられているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、仮想アバターは、ライブビデオ通信セッションに参加している被写体の動きを反映するように変更される。一部の実施形態では、顔の変化は、本明細書で論じるように、１つ以上の深度カメラ及び／又は深度マップを使用して検出される。 In some embodiments, the electronic device (eg, 600) modifies the appearance of a representation (eg, 1200) of a subject participating in a live video communication session while the camera effects mode is activated. to display a virtual avatar. In some embodiments, the electronic device detects facial changes within the field of view of one or more cameras (eg, 602) of the electronic device. In some embodiments, the electronic device modifies the appearance of the virtual avatar based on detected changes in the face. Changing the appearance of the virtual avatar based on detected changes in the face provides visual feedback that the virtual avatar is based on/associated with the face. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. In some embodiments, the virtual avatar is modified to reflect the movements of the subject participating in the live video communication session. In some embodiments, facial changes are detected using one or more depth cameras and/or depth maps as discussed herein.
一部の実施形態では、カメラエフェクトモードがアクティブ化されている間に、電子デバイス（例えば、６００）は、ライブビデオ通信セッションに参加している被写体の表現に第１のビジュアルエフェクト（例えば、ステッカー）を表示する。一部の実施形態では、電子デバイスは、第１のビジュアルエフェクトに対応する入力（例えば、タッチ入力）を検出する。一部の実施形態では、第１のビジュアルエフェクトに対応する入力を検出したことに応じて、入力が第１のタイプ（例えば、タッチアンドドラッグジェスチャ）であるとの判定に従って、電子デバイスは、大きさ（例えば、ジェスチャが移動する距離）及び入力の方向に基づいて、ライブビデオ通信セッションに参加している被写体の表現における第１のビジュアルエフェクトの位置を変更する。一部の実施形態では、第１のビジュアルエフェクトに対応する入力を検出したことに応じて、入力が第２のタイプ（例えば、ピンチ又はデピンチジェスチャ）であるとの判定に従って、電子デバイスは、入力の大きさ（例えば、ピンチ／デピンチジェスチャの接触点間の調整された距離）に基づいて、第１のビジュアルエフェクトのサイズを変更する。入力の大きさに基づいてライブビデオ通信セッションに参加している被写体の表現における第１のビジュアルエフェクトの位置を変更するか、又は入力のタイプに基づく入力の大きさ（例えば、ピンチ／デピンチジェスチャの接触点間の調整された距離）に基づいて第１のビジュアルエフェクトのサイズを変更することにより、ユーザは、（入力のタイプを単に変更することによって）ビジュアルエフェクトの位置又はサイズを迅速かつ容易に調整することができる。操作を行うために必要な入力の数を低減することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, while the camera effects mode is activated, the electronic device (eg, 600) applies a first visual effect (eg, sticker ). In some embodiments, the electronic device detects input (eg, touch input) corresponding to the first visual effect. In some embodiments, in response to detecting input corresponding to a first visual effect and determining that the input is of a first type (eg, a touch-and-drag gesture), the electronic device performs a large The position of the first visual effect in the representation of the subject participating in the live video communication session is changed based on the motion (eg, distance traveled by the gesture) and the direction of the input. In some embodiments, in response to detecting input corresponding to a first visual effect and following determining that the input is of a second type (eg, a pinch or de-pinch gesture), the electronic device: Resize the first visual effect based on the magnitude of the input (eg, the adjusted distance between contact points of the pinch/de-pinch gesture). Change the position of the first visual effect in the representation of the subject participating in the live video communication session based on the magnitude of the input, or change the magnitude of the input based on the type of input (e.g. pinch/de-pinch gesture). By resizing the first visual effect based on the adjusted distance between the contact points of the user, the user can quickly and easily position or size the visual effect (by simply changing the type of input). can be adjusted to By reducing the number of inputs required to perform an operation, the usability of the device is improved and the user device interface (e.g. assisting the user to provide appropriate input when operating/interacting with the device). and reduce user error), as well as reduce device power usage and improve battery life by allowing users to use the device more quickly and efficiently. do.
一部の実施形態では、第１のビジュアルエフェクトの位置を変更することは、以下の手順のうちの１つ以上を含む。入力（例えば、８８９）の終了を検出する前に、入力の大きさ及び方向に基づいて第１のビジュアルエフェクト（例えば、８５８－４）の動きを表示すること、第１のビジュアルエフェクト（例えば、ステッカー（８５８－４））が所定の位置（例えば、被写体の表情の一部（例えば、被写体の顔）に対応する位置）の境界領域を横切って移動したという判定に従って、第１のビジュアルエフェクトが境界領域を横切った（例えば、横切っている）というインジケーションを生成する（例えば、ブラケットを表示する（例えば、８９０）、又は触覚応答（例えば、８９２）を生成する）こと（例えば、図８ＢＧに示すように、被写体の顔の表現の回りにブラケットを表示する）。一部の実施形態では、所定の位置の境界領域内に交差しているとき（又は後に）、デバイスは所定の位置の周囲にブラケットを表示し、及び／又は触覚フィードバック（例えば、触知出力）を生成して、ステッカーが被写体の顔に配置され、ジェスチャの終了時に被写体の顔に配置されることになる（例えば、ステッカーが被写体の顔の表現との関係を有することになる、例えば、ステッカーがユーザーの顔とのステッカーの関係に基づく挙動を有することになる）ことを示す。一部の実施形態では、所定の位置の境界領域外へ交差しているとき（又は後に）、デバイスは、所定の位置の周囲にブラケットを表示し、及び／又はステッカーがもはや被写体の顔に配置されていないことを示す触覚フィードバックを生成し、ジェスチャが終了しても被写体の顔に配置されることはない（例えば、ステッカーが被写体の顔の表現と異なる関係を有することになる、例えば、ステッカーは、ユーザーの顔に対するステッカーの関係に基づいて異なる挙動を有することになる、例えば、ステッカーは被写体の顔から離れた位置に配置されることになる）ことを示す。一部の実施形態では、インジケーションは、触覚フィードバック（例えば、触知出力及び／若しくは音声出力）、又は視覚フィードバック（例えば、境界領域の視覚的表現、所定位置の周囲に表示されるブラケット）のうちの少なくとも１つである。 In some embodiments, changing the position of the first visual effect includes one or more of the following procedures. Displaying movement of the first visual effect (eg, 858-4) based on the magnitude and direction of the input before detecting the end of the input (eg, 889); Upon determining that the sticker (858-4)) has moved across a bounding area of a predetermined location (eg, a location corresponding to a portion of the subject's expression (eg, the subject's face)), the first visual effect is activated. Generating an indication (e.g., displaying a bracket (e.g., 890) or generating a tactile response (e.g., 892)) that the boundary region has been crossed (e.g., crossed) (e.g., display brackets around the subject's facial representation, as shown). In some embodiments, the device displays brackets around the predetermined position and/or haptic feedback (e.g., tactile output) when (or after) crossing within the bounding area of the predetermined position. so that the sticker will be placed on the subject's face, and will be placed on the subject's face at the end of the gesture (e.g., the sticker will have a relationship with the subject's facial expression, e.g., the sticker will have behavior based on the sticker's relationship to the user's face). In some embodiments, when (or after) crossing outside the bounding area of the given position, the device displays a bracket around the given position and/or the sticker is no longer placed on the subject's face. generates haptic feedback indicating that the gesture has ended and is not placed on the subject's face (e.g. the sticker would have a different relationship to the subject's facial representation, e.g. the sticker will have different behavior based on the relationship of the sticker to the user's face, e.g., the sticker will be positioned away from the subject's face. In some embodiments, the indication is tactile feedback (e.g., tactile output and/or audio output) or visual feedback (e.g., visual representation of bounding areas, brackets displayed around predetermined positions). at least one of
第１のビジュアルエフェクトが境界領域を横切った（又は、横切っている）というインジケーションを生成することにより、ユーザにジェスチャを終了させてモデル化された挙動を試みることを要求することなく、ステッカーの挙動及び配置が変更されたという視覚フィードバック及び／又は触覚を、ユーザに提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 By generating an indication that the first visual effect has crossed (or is crossing) the bounding area, the sticker is displayed without requiring the user to finish the gesture and attempt the modeled behavior. Provide visual feedback and/or tactile feedback to the user that behavior and placement have changed. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently.
一部の実施形態では、第１のビジュアルエフェクトの位置を変更することは、第１の位置から第２の位置へ、第１のビジュアルエフェクトの動きを表示することを含む。一部の実施形態では、第１のビジュアルエフェクトのサイズを変更することは、第１の表示サイズから第２の表示サイズへ、第１のビジュアルエフェクトの遷移を表示することを含む。一部の実施形態では、ステッカーがディスプレイ上で動かされているか、又はサイズ変更される場合、ユーザ及びライブビデオ通信セッションの他の参加者が、ステッカーが変更されているときの中間の移動／サイズ変更を含む変更を見ることができるように、ステッカーの移動及び／又はサイズ変更が表示される。 In some embodiments, changing the position of the first visual effect includes displaying movement of the first visual effect from the first position to the second position. In some embodiments, resizing the first visual effect includes displaying a transition of the first visual effect from a first display size to a second display size. In some embodiments, if the sticker is moved or resized on the display, the user and other participants in the live video communication session will be able to see the intermediate movement/size of the sticker as it is being changed. The moving and/or resizing of the sticker is displayed so that the changes, including the changes, can be seen.
一部の実施形態では、第１のビジュアルエフェクトの位置を変更することは、中間位置で現れる第１のビジュアルエフェクトを表示することなく、第１の位置での出現から第２の位置での出現へ、第１のビジュアルエフェクトを遷移させることを含む。一部の実施形態では、第１のビジュアルエフェクトのサイズを変更することは、中間サイズを有する第１のビジュアルエフェクトを表示することなく、第１の表示サイズから第２の表示サイズへ、第１のビジュアルエフェクトを遷移させることを含む。一部の実施形態では、ステッカーをディスプレイ上で動かされているか、又はサイズ変更している間に、ステッカーの移動及び／又はサイズ変更が表示され、ユーザのみが、ステッカーが変更されているときの中間の移動／サイズ変更を含む変化を見ることができるが、ライブビデオ通信セッションの他の参加者は、ステッカーの中間の動き／サイズ変更を見ることができない。このように、他の参加者は、変更後のステッカー（又は、ステッカーへの更新）のみを見る。 In some embodiments, changing the position of the first visual effect is from an appearance at the first position to an appearance at the second position without displaying the first visual effect appearing at an intermediate position. to, transitioning the first visual effect. In some embodiments, changing the size of the first visual effect comprises displaying the first visual effect from the first display size to the second display size without displaying the first visual effect having an intermediate size. including transitioning the visual effects of In some embodiments, the moving and/or resizing of the sticker is displayed while the sticker is being moved or resized on the display, and only the user can see when the sticker is being changed. Changes including intermediate movement/resizing can be seen, but other participants in the live video communication session cannot see intermediate movement/resizing of the sticker. In this way, other participants only see the modified sticker (or updates to the sticker).
一部の実施形態では、複数の参加者がライブビデオ通信セッションに参加しており、複数の参加者は、被写体（例えば、電子デバイスのユーザ）及び第１の遠隔参加者（例えば、第１の電子デバイスから離れた第２の電子デバイスのユーザ）を含む。一部の実施形態では、ライブビデオ通信ユーザインタフェース（例えば、１２００）は、第１の遠隔参加者の表現を更に含む。一部の実施形態では、第１の遠隔参加者の表現は、遠隔デバイス／遠隔カメラから受信した画像データ又はビデオデータを含む。一部の実施形態では、電子デバイスは、第１のアフォーダンスに向けられたジェスチャを検出したことに更に応じて、第１の遠隔参加者の表現のサイズを縮小する。 In some embodiments, multiple participants participate in a live video communication session, wherein the multiple participants include a subject (eg, a user of an electronic device) and a first remote participant (eg, a first user of a second electronic device away from the electronic device). In some embodiments, the live video communication user interface (eg, 1200) further includes a representation of the first remote participant. In some embodiments, the representation of the first remote participant includes image data or video data received from a remote device/remote camera. In some embodiments, the electronic device reduces the size of the representation of the first remote participant further in response to detecting a gesture directed at the first affordance.
一部の実施形態では、複数の参加者がライブビデオ通信セッションに参加しており、複数の参加者は、被写体（例えば、電子デバイスのユーザ）及び第１の遠隔参加者（例えば、第１の電子デバイスから離れた第２の電子デバイスのユーザ）を含み、被写体の表現は、電子デバイス（例えば、６００）のカメラ（例えば、６０２）の視野のライブプレビュー（例えば、カメラの視野内にあるものを表す画像データのストリーム）である。一部の実施形態では、電子デバイスは、選択されたエフェクトオプションアフォーダンスに関連付けられたビジュアルエフェクトに基づいてライブビデオ通信セッションに参加している被写体の表現（例えば、１２０１）の外観を変更した後、ライブビデオ通信セッションに参加している被写体の表現の変更された外観に対応するデータを、複数の参加者のうちの少なくとも遠隔参加者に伝送する。一部の実施形態では、データを送信することは、選択されたビジュアルエフェクトに基づいて行われた変更を表すデータ（例えば、別個のデータ）と一緒に、画像データ（例えば、カメラの視野からの画像データのリアルタイムストリーム）を送信することを含む。一部の実施形態では、データを送信することは、選択されたビジュアルエフェクトに基づいて行われた変更を表すデータと結合されたカメラの視野からの画像データを含む、コンポジットビデオデータを送信することを含む。 In some embodiments, multiple participants participate in a live video communication session, wherein the multiple participants include a subject (eg, a user of an electronic device) and a first remote participant (eg, a first user of a second electronic device away from the electronic device), and the representation of the subject is a live preview of the field of view of the camera (e.g., 602) of the electronic device (e.g., 600) (e.g., what is within the camera's field of view). is a stream of image data representing In some embodiments, after the electronic device modifies the appearance of the representation (eg, 1201) of the subject participating in the live video communication session based on the visual effect associated with the selected effect option affordance, Data corresponding to the altered appearance of a representation of a subject participating in a live video communication session is transmitted to at least a remote participant of the plurality of participants. In some embodiments, transmitting the data includes image data (e.g., from a camera's field of view) along with data (e.g., separate data) representing changes made based on the selected visual effect. transmitting a real-time stream of image data). In some embodiments, transmitting data comprises transmitting composite video data including image data from a camera's field of view combined with data representing changes made based on the selected visual effect. including.
一部の実施形態では、電子デバイス（例えば、６００）は、第１アフォーダンスなしでライブビデオ通信ユーザインタフェース（例えば、１２００）を表示する。一部の実施形態では、電子デバイスは、ライブビデオ通信ユーザインタフェース（例えば、１２０６）上のタッチ入力（例えば、ビデオコールオプションを表示するライブビデオ通信ユーザインタフェース上のタップジェスチャ）を検出する。一部の実施形態では、タッチ入力を検出したことに応じて、カメラエフェクトモードがアクティブ化されているとの判定に従って、電子デバイスは、第１のアフォーダンスと複数のビジュアルエフェクトアフォーダンス（例えば、ステッカーアフォーダンス、アバターアフォーダンス、フルスクリーンエフェクトに関連付けられたアフォーダンス）とを含むライブビデオ通信オプションユーザインタフェースを表示する。一部の実施形態では、タッチ入力を検出したことに応じて、カメラエフェクトモードがアクティブ化されていないとの判定に従って、電子デバイスは、第１のアフォーダンスを含み、かつ、複数のビジュアルエフェクトアフォーダンスを除く、ライブビデオ通信オプションユーザインタフェースを表示する。第１のアフォーダンスを含み、及び複数のビジュアルエフェクトアフォーダンスを含むか、又は複数のビジュアルエフェクトアフォーダンスを除外するかのいずれかの、ライブビデオ通信オプションユーザーインタフェースを表示することにより、カメラエフェクトモードがアクティブ化されているか否かの判定に基づいて、カメラエフェクトモードが現在アクティブ化されているか否かを示す。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに操作を行うことにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, an electronic device (eg, 600) displays a live video communication user interface (eg, 1200) without a first affordance. In some embodiments, the electronic device detects touch input (eg, a tap gesture on the live video communications user interface that displays video call options) on the live video communications user interface (eg, 1206). In some embodiments, in response to detecting touch input and following determining that the camera effects mode is activated, the electronic device provides a first affordance and a plurality of visual effects affordances (e.g., sticker affordances). , avatar affordances, and affordances associated with full-screen effects). In some embodiments, in response to detecting touch input and following a determination that the camera effects mode is not activated, the electronic device includes the first affordance and renders the plurality of visual effects affordances. View the live video communication option user interface, except. A camera effects mode is activated by displaying a live video communication options user interface that includes a first affordance and either includes a plurality of visual effects affordances or excludes a plurality of visual effects affordances. indicates whether the camera effects mode is currently activated based on the determination of whether the camera effects mode is currently activated. By performing an operation when a set of conditions are met, without the need for further user input, the usability of the device is improved and the user device interface (e.g., the appropriate making the device more efficient (by assisting the user in providing input and reducing user error), as well as powering the device by allowing the user to use the device more quickly and efficiently; Reduce usage and improve battery life.
方法１３００に関して上述された処理（例えば、図１３Ａ～図１３Ｂ）の詳細はまた、上記及び以下で説明される方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００は、方法１３００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、メッセージングアプリケーションユーザインタフェースにおいて画像データに表示される。別の例では、方法９００は、方法１３００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラユーザインタフェースにおいて画像データに表示される。別の例では、方法１１００は、方法１３００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、メディアユーザインタフェースにおいて画像データに表示される。別の例では、方法１５００は、方法１３００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラユーザインタフェースに対して画像データに表示される。簡潔にするために、これらの詳細は、以下では繰り返さない。
Note that the details of the processing described above with respect to method 1300 (eg, FIGS. 13A-13B) are also applicable in a similar manner to the methods described above and below. For example,
図１４Ａ～図１４Ｍは、一部の実施形態に係る、カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図１５Ａ～図１５Ｂにおける処理を含む、以下で説明する処理を例示するために使用される。 14A-14M illustrate exemplary user interfaces for displaying visual effects in a camera application, according to some embodiments. The user interfaces in these figures are used to illustrate the processes described below, including the processes in FIGS. 15A-15B.
図１４Ａは、図８Ａ～図８ＢＱに関して上述したカメラアプリケーションユーザインタフェース８１５と同様の、カメラアプリケーションユーザインタフェース１４０５の実施形態を示す。カメラアプリケーションユーザインタフェース１４０５は、例えば、カメラ（例えば、背面カメラ又はカメラ６０２）の視野内に位置するオブジェクトを表すストリーミングされた画像データ（例えば、ライブカメラプレビュー、ライブカメラ記録、若しくはライブビデオ通信セッション）、又は、例えば写真若しくはビデオ録画などのメディアアイテム、などの画像データの表現を表示する（画像表示領域８２０と同様の）画像表示領域１４２０を含む。図１４Ａに示す実施形態では、画像表示領域１４２０は、カメラ６０２からのライブカメラプレビュー１４２０－１を示す。
FIG. 14A shows an embodiment of a camera
図１４Ａに示す実施形態は、図８Ｆに示すものと同様である。画像表示領域１４２０は、カメラ６０２の視野内に位置する被写体１４２２の表現、及び被写体１４２２の表現の背後に表示される背景１４２６を示す。本明細書で論じるように、一部の実施形態では、カメラ６０２を使用してキャプチャされた画像データは、カメラ６０２の視野内のオブジェクトの深度を決定するために使用され得る深度データを含む。一部の実施形態では、デバイス６００は、検出されたこれらのオブジェクトの深度に基づいてオブジェクト（例えば、画像データ内の）を解析し、この判定を使用して、本明細書で論じるビジュアルエフェクトを適用する。例えば、デバイス６００は、被写体１４２２の表現をライブカメラプレビュー１４２０－１の前景にあるものとして、ユーザの背後に位置するオブジェクトをライブカメラプレビュー１４２０－１の背景にあるものとして、分類することができる。これらの背景オブジェクトは、ここでは背景１４２６と総称する。
The embodiment shown in Figure 14A is similar to that shown in Figure 8F.
図１４Ａ及び図１４Ｂでは、被写体１４２２の表記は帽子１４２３を着用して示され、ひさしが被写体１４２２の前に突き出ており、被写体１４２２の表現上にアバターは表示されない。デバイス６００は、画像表示領域１４２０に仮想アバターを表示するように選択できるアバターオプション１４１０を有するアバターオプションメニュー１４０８（アバターオプションメニュー８２８と同様）を表示する。
In FIGS. 14A and 14B, the representation of subject 1422 is shown wearing a
図１４Ｂでは、デバイス６００は、アバターオプション１４１０－１上の入力１４１１を検出する。それに応じて、図１４Ｃでは、デバイス６００は、選択領域１４２９にアバターオプション１４１０－１を表示し、アバターオプション１４１０－１が選択されていることを示す触覚フィードバック１４１２（例えば、音声出力を含む又は含まない触知出力）を生成する。
In FIG. 14B,
図１４Ｃに示すように、デバイス６００はまた、選択されたアバターオプション１４１０－１に対応する仮想アバター１４２１を表示するためにライブカメラプレビュー１４２０－１を更新する。アバター１４２１は、被写体１４２２及び背景１４２６の表現の他の部分の表示を維持しながら、被写体の帽子１４２３を含む被写体１４２２の表現の一部を重ね合わせられて表示される。図１４Ａ～図１４Ｋに示すように、デバイス６００は、（例えば、被写体の検出された動きに基づいて）被写体１４２２の表現及びアバター１４２１に対して判定された空間的関係に応じて、アバター１４２１を動的に変更して、アバター１４２１の特定の部分を隠すか又は表示する。これによって、アバター１４２１の外観が、被写体１４２２の表現の頭部上に物理的に配置される。
As shown in FIG. 14C,
一部の実施形態では、アバター１４２１の動的変更は、カメラ６０２の視野内のオブジェクト（被写体（被写体１４２２の表現に対応する）及び背景（背景１４２６に対応する）を含む）の初期深度マップをキャプチャするために、１つ以上の深度センサ（例えば、深度カメラセンサ１７５）を使用して達成される。次いで、初期深度マップが変更され（例えば、初期深度マップのぼかし、フェーディング、又は平滑化遷移のうちの１つ以上を使用して）、アバターの表示部分と非表示部分との間の突然の遷移のインスタンスを減少させる。これにより、特に、アバターの様々な部分が被写体の動きに応じて隠され又は表示されるので、より流動的でアバター１４２１の動的外観を提供する。
In some embodiments, the dynamic modification of the
図１４Ｃでは、アバター１４２１は、アバター頭部の下方に位置して被写体の首部の表現上に表示される影１４３０を含み、被写体１４２２の表現上のアバター１４２１の存在によって投影された影を表す。一部の実施形態では、影１４３０の位置は、アバターの形状、並びに被写体１４２２の表現、アバター１４２１、及び光源（例えば、カメラ６０２の視野内で検出された光源、又はシミュレーションされた光源）の相対位置に基づいて決定される。
In FIG. 14C,
デバイス６００は、被写体の肩の表現の前及び背後に垂れ下がった長い髪部を有するアバター１４２１を表示する。被写体の肩の表現に対する髪部の特定の部分の位置は、被写体１４２２の表現（及び被写体１４２２の表現の特定の部分（例えば、被写体の首部及び／又は肩の表現））の深度位置に対するアバター１４２１（アバター髪部を含む）の空間的位置を示す深度データに基づいて決定される。一部の実施形態では、動的に表示されるアバターの部分（例えば、アバターの一部は、被写体１４２２の表現との空間的関係に応じて表示又は非表示のいずれかとすることができる）は、被写体１４２２の表現に隣接する位置においてブレンドエフェクト１４３２を有するように示される。このブレンドエフェクトは、アバターの部分と被写体１４２２の表現との間の表示された遷移を滑らかにする。
The
デバイス６００は、被写体の頭部と顔の検出された変化に応じて、アバター１４２１を変更する。例えば、図１４Ｄ～図１４Ｆに示すように、デバイス６００は、ウインクして笑顔になりながら、横を向いた被写体の頭部を検出し、これに応じて、アバターの動きに基づいて影１４３０の位置を調整もしながら、アバター１４２１を変更してこれらの同じ動きを反映する（例えば、アバター１４２１は、アバター頭部がウインクと笑顔と共に斜めに向いて示される）。アバター頭部の動きは、被写体１４２２の表現に対するアバター髪部の空間的位置に影響を及ぼす。その結果、デバイス６００は、変更された空間的関係に基づいてアバターのいくつかの部分を動的に変更する。例えば、頭部が回転するにつれて、デバイス６００は、被写体の肩の表現上、及び／又は被写体の首部の表現の背後にわたって移動する、参照番号１４２４－１に示すアバター髪部の一部を表示する（例えば、デバイス６００は、アバターの髪部の一部を隠す）。逆に、アバター頭部が回転するにつれて、デバイス６００はまた、アバター頭部を回す前に、以前は隠されていた（例えば、被写体の首部又は肩の表現の背後に以前は隠されていた）、参照番号１４２４－２に示すアバター髪部の部分も表示する（例えば、明らかにする）。このように、デバイス６００は、それに応じてアバターの動きに影響を及ぼすユーザーの位置の変化に基づいて、アバターの動的部分（アバター髪部の一部など）を隠すか、又は表示する。
一部の実施形態では、アバター１４２１の部分は、被写体１４２２、又は深度マップ内の任意の他のオブジェクトの表現に対するいかなる空間的関係にかかわらず、持続的に表示される。例えば、被写体１４２２の表現は、被写体１４２２の表現の前に突き出したひさしを含む帽子１４２３を着用しているが、アバター頭部１４２１－３及びアバター顔部１４２１－４は、被写体の頭部及び帽子１４２３の表現の前に持続的に表示される。これにより、カメラ６０２の視野内のオブジェクト、特に、被写体１４２２の表現上のオブジェクト（又は被写体の表現の一部）が、アバター１４２１の一部（具体的には、被写体１４２２の表現上に配置されたアバター１４２１の外観をレンダリングするように常に表示されるべきアバター１４２１の部分）を通り抜けて現れることを防止する。一部の実施形態では、アバター１４２１の持続的に表示される部分には、アバターの顔（１４２１－４）、頭部（１４２１－３）、及びアバターの髪部の部分（１４２１－１）を含むことができる。
In some embodiments, portions of
別の例として、図１４Ｄは、カメラ６０２に向かって被写体１４２２の表現の前に差し出された被写体の手１４２５の表現を示す。手１４２５の表現は被写体１４２２の表現のかなり手前に配置されているが、手１４２５の表現の空間位置が、アバター髪部分１４２１－１よりも明らかにカメラ６０２に近いにもかかわらず、アバター髪部の部分１４２１－１は、手１４２５の表示の一部の上に表示される。明瞭にするため、アバター髪部分１４２１－１が動的（例えば、持続的に表示されていない）であった場合、以下に論じるアバター髪部（例えば、１４２１－２）の動的部分と同様に、アバター髪部分１４２１－１は図１４Ｄの手１４２５の表現の背後に隠され得る。
As another example, FIG. 14D shows a representation of subject's
図１４Ｅは、被写体の肩の表現に近い、被写体１４２２に向かって戻された手１４２５の表現を示す。手１４２５の表現が被写体１４２２の表現に近づくにつれて、デバイス６００は、手１４２５の表現の空間的位置がアバター髪部の動的部分内に移動すると判定する。その結果、デバイス６００は、手１４２５の表現の前に配置された追加のアバター髪部１４２１－２を表示する。同様に、図１４Ｆは、被写体１４２２の表現に一層近づくように配置された手１４２５の表現、及び手１４２５の表現の前に表示されたより大量の髪部を示す。図１４Ｄ～図１４Ｆでは、アバター髪部と被写体の右肩１４２２－１の表現との空間的関係は、頭部を回転した後も変化しないので、被写体の右肩１４２２－１の表現の前に位置する髪部の量は変化しない。
FIG. 14E shows a representation of
図１４Ｇでは、被写体はニュートラルな表情を有する正面向きの位置に戻り、デバイス６００は、それに応じてアバター１４２１を変更する。
In FIG. 14G, the subject returns to a front-facing position with a neutral expression and
図１４Ｈでは、被写体が見上げると、デバイス６００はそれに応じてアバター１４２１を変更する。デバイス６００は、アバター頭部の下側を明らかにするために頭部が上方に傾いたアバター１４２１を示し、アバター１４２１は、被写体の首部の表現がアバター１４２１と交差する位置においてブレンドエフェクト１４３４を含む。一部の実施形態では、ブレンドエフェクト１４３４は、ブレンドエフェクト１４３２と同様である。図１４Ｈでは、影１４３０もまた、アバターの頭部の傾斜した位置に基づいて調節される（例えば、アバターの顎の下に動かされる）。アバター１４２１が見上げているとき、被写体の首部の表現の背後に位置するアバター髪部は、被写体の首部の表現の背後に隠れたままであり、被写体の首部の表現を通り抜けて突き出ることはない。
In FIG. 14H, when the subject looks up,
図１４Ｉ～図１４Ｊは、本開示の一実施形態に係る、異なるアバターの選択を示す。 14I-14J illustrate selection of different avatars according to one embodiment of the present disclosure.
図１４Ｋ～図１４Ｍでは、デバイス６００は、被写体の頭部及び首部の表現上に配置されたユニコーンアバター１４３５を有する被写体１４２２の表現を示す。ユニコーンアバター１４３５は、頭部分１４３５－１、及びたてがみ１４３５－３を含む首部分１４３５－２を含む。被写体の首部の表現が表示されないように、首部分１４３５－２は、被写体の首部の表現の周りに表示される。ユニコーン首部分１４３５－２が被写体の首部の表現の基部と出会うところで、ブレンドエフェクト１４３８が表示される。ブレンドエフェクト１４３８は、本明細書で論じる他のブレンドエフェクトと同様である。
14K-14M, the
ユニコーンアバター１４３５はまた、ユニコーンアバター１４３５の一部上、及び被写体１４３２の表現上に表示される影１４３６（例えば、アバターによって被写体の表現上へ投影される影の表現）を含む。一部の実施形態では、表示された影は、アバターの形状、及びアバターと被写体１４３２の表現との光源（例えば、カメラ６０２の視野内で検出された光源、又はシミュレーションされた光源）に対する相対的位置に基づいて決定された形状及び位置を有する。図１４Ｋ～図１４Ｍに示すように、影１４３６はユニコーンアバター１４３５の動きに応じて移動する。図１４Ｋでは、影１４３６は、（ユニコーンアバターの顔の細長い形状のために）細長い形状を有し、首部分１４３５－２上及び被写体１４２２の表現の胸部上に配置される。図１４Ｌでは、頭部分１４３５－１が側方に回転すると、追加の首部分１４３５－２及びたてがみ１４３５－３を明らかにする。図１４Ｋのユニコーンアバター１４３５の背面上に位置していた、たてがみ１４３５－３の部分１４３５－４は、被写体の肩１４２２－１及びアバター首部分１４３５－２の前に位置してここでは示されている。影１４３６が横に移動すると、頭部分１４３５－１の下に（例えば、首部分１４３５－２上に）、次いで被写体１４２２の表現の肩の上に部分的に配置される。図１４Ｍでは、頭部分１４３５－１は前方を向いて傾斜しており、影１４３６は頭部分１４３５－１の下に（首部分１４３５－２上に）位置しており、頭部分１４３５－１の上向き傾斜のためにサイズが縮小されている。加えて、頭部が上方に傾けられると、たてがみ１４３５－３は首部分１４３５－２の背面上に位置したままであり、首部分を通り抜けては表示されない。
The
図１５Ａ～図１５Ｂは、一部の実施形態に係る、電子デバイスを使用してカメラアプリケーションにビジュアルエフェクトを表示するための方法を示すフロー図である。方法１５００は、１つ以上のカメラと表示装置とを備えたデバイス（例えば、１００、３００、５００、６００）において実行される。方法１５００におけるいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作の順序は任意選択的に変更され、いくつかの動作は任意選択的に省略される。
15A-15B are flow diagrams illustrating methods for displaying visual effects in a camera application using an electronic device, according to some embodiments.
以下に説明するように、方法１５００は、カメラアプリケーションにビジュアルエフェクトを表示するための直感的な仕方を提供する。この方法は、カメラアプリケーションにおいて閲覧される画像にビジュアルエフェクトを適用するためのユーザの認知負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスでは、画像にビジュアルエフェクトをユーザーがより迅速かつ効率的に表示できるようにすることで、電力を節約し、バッテリ充電間の時間を増大させる。
As described below,
電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、１つ以上のカメラ（例えば、６０２）を介してキャプチャされた画像データ（例えば、１４２０－１）の表現を表示する（１５０２）。一部の実施形態では、表現は、被写体（例えば、１４２２）の表現（例えば、被写体の少なくとも一部の表現）を含み、画像データは被写体の深度データ（例えば、被写体の他の部分及び／又は１つ以上のカメラの視野内の他のオブジェクトに対する、被写体の１つ以上の部分を位置決めする相対的深度についての情報）を含む深度データに対応する（例えば、画像データは、可視光カメラ及び深度カメラによってキャプチャされたデータを含む）。一部の実施形態では、深度データは、深度マップ又は深度マスクの形態である。 An electronic device (eg, 600) displays, via a display (eg, 601), a representation of image data (eg, 1420-1) captured via one or more cameras (eg, 602). (1502). In some embodiments, the representation includes a representation of the subject (eg, 1422) (eg, a representation of at least a portion of the subject), and the image data is depth data of the subject (eg, other portions of the subject and/or information about the relative depth positioning one or more portions of a subject with respect to other objects within the field of view of one or more cameras (e.g., the image data corresponds to the visible light camera and the depth data). including data captured by cameras). In some embodiments the depth data is in the form of a depth map or depth mask.
一部の実施形態では、電子デバイス（例えば、６００）は、１つ以上の深度センサ（例えば、１７５、６０２）を含む。一部の実施形態では、仮想アバター（例えば、１４２１）の表現を表示する前に、電子デバイスは、１つ以上の深度センサを介して、被写体に対する初期深度データ（例えば、１つ以上のカメラ（例えば、６０２）によってキャプチャされた画像データに対応する初期若しくは未変更深度マップ及び／又は深度マスク、被写体の初期又は未変更の深度マスク）をキャプチャする。電子デバイスは、被写体に対する初期深度データを変更することによって、被写体の深度データを生成する。一部の実施形態では、初期深度データを変更することにより、特に、被写体の姿勢が電子デバイスに関して変化するときに、仮想アバターの第１の部分（例えば、１４２１－２）の表現を含むこと、又は除外することの間の突然の遷移のインスタンスを減少させることができる。被写体の初期深度データを変更することにより、ユーザの姿勢が変化するときに、仮想アバターの表現の表示中のより滑らかな遷移が可能になり、それによって被写体において検出された変化の（仮想アバターに対する対応する変化によって表される）視覚フィードバックを改善することができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, the electronic device (eg, 600) includes one or more depth sensors (eg, 175, 602). In some embodiments, prior to displaying a representation of the virtual avatar (eg, 1421), the electronic device receives initial depth data (eg, one or more cameras) for the subject via one or more depth sensors. For example, capture an initial or unmodified depth map and/or depth mask corresponding to the image data captured by 602), the initial or unmodified depth mask of the subject). The electronic device generates depth data for the subject by modifying initial depth data for the subject. In some embodiments, modifying the initial depth data to include a representation of the first portion (e.g., 1421-2) of the virtual avatar, particularly when the pose of the subject changes with respect to the electronic device; Or instances of abrupt transitions between exclusions can be reduced. Altering the initial depth data of the subject allows for smoother transitions during display of the representation of the virtual avatar when the user's pose changes, thereby allowing changes detected in the subject (relative to the virtual avatar) to be smoother. Visual feedback (represented by corresponding changes) can be improved. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently.
一部の実施形態では、被写体の初期深度データを変更することは、初期深度奥行きデータをぼかすこと（例えば、深度データの異なるレベル間の遷移をブレンドするために、初期深度データをデフォーカスすること、例えば、初期深度マスクの値（例えば、グレースケール値）をぼかすこと）、初期深度データをフェードアウトすること（例えば、深度値を減少させるために深度データを下向きに変調すること）、及び初期深度データをスムージングすること（例えば、特に初期深度データの異なる深度層間の遷移において初期深度データをブレンドするために数学的関数を適用すること）からなる群から選択された、最初深度データ上に１つ以上の変換を実行することを含む。 In some embodiments, modifying the initial depth data of the subject includes blurring the initial depth data (e.g., defocusing the initial depth data to blend transitions between different levels of depth data). , e.g., blurring the values of the initial depth mask (e.g., grayscale values), fading out the initial depth data (e.g., modulating the depth data downward to decrease depth values), and initial depth one on the initial depth data selected from the group consisting of smoothing the data (e.g., applying a mathematical function to blend the initial depth data, particularly at transitions between different depth layers of the initial depth data); Including performing the above transformations.
電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、被写体の表現（例えば、１４２２、１４２３）の少なくとも一部の代わりに（例えば、仮想アバターの少なくとも一部が、被写体の少なくとも一部を部分的又は完全に重ね合わせられて（例えば、不明瞭化されて））表示される（例えば、塞ぐか、又はその上部に表示される）仮想アバター（例えば、１４２１）の表現（例えば、表わされるときに、構成物の一部又はすべてを含むことができる仮想アバター構成物の視覚表現）を表示する（１５０４）。被写体の表現の少なくとも一部の上に仮想アバターの視覚表現を表示することにより、仮想アバターが被写体に重ね合わせられたときにどのように見えるかの視覚フィードバックをユーザに提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、仮想アバターは、被写体の深度データに基づいて決定された被写体の表現に対してシミュレーションされた深度に（例えば、仮想アバターが、ユーザインタフェースの深度範囲で、被写体の表現の少し前に表示されるように選択された位置に）配置される。 An electronic device (eg, 600), via a display device (eg, 601), instead of at least a portion of a representation (eg, 1422, 1423) of a subject (eg, at least a portion of a virtual avatar A representation (e.g., 1421) of a virtual avatar (e.g., 1421) displayed (e.g., occluded or displayed on top of it) at least partially or fully overlaid (e.g., obscured) For example, display 1504 a visual representation of the virtual avatar composition, which may include some or all of the composition when presented. Displaying a visual representation of the virtual avatar over at least a portion of the representation of the subject provides the user with visual feedback of what the virtual avatar will look like when superimposed on the subject. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. In some embodiments, the virtual avatar is at a simulated depth for the representation of the subject determined based on the depth data of the subject (e.g., the virtual avatar is at the depth range of the user interface). (in a position chosen to appear slightly earlier).
一部の実施形態では、深度データに基づいて、仮想アバターの第１の部分（例えば、１４２１－２）（例えば、アバター髪部分）が深度ベース表示基準のセットを満たすとの判定に従って、デバイス（例えば、６００）は、仮想アバター（例えば、１４２１）の表現の一部として、被写体の第１の部分（例えば、被写体の表現の第１の部分）の代わりに表示される、仮想アバター（例えば、１４２１－２）の第１の部分の表現を含める（１５０６）（例えば、図１４Ｅに示すように、被写体の手１４２５の表現の一部にわたってアバター髪部の部分１４２１－２が表示される）。仮想アバターの第１の部分は、被写体の一部によって不明瞭化されていないので、深度ベース表示基準を満たすと、仮想アバターの第１の部分が表示される。表示される前に仮想アバターの第１の部分が不明瞭化されているかどうかを判定することにより、ユーザに可視化される仮想アバターの一部を表示するだけで、ユーザデバイスインタフェースをより効率的にすることが可能になる。仮想アバターの可視部分の視覚フィードバックを提供することにより、ユーザは、仮想アバターが被写体の上に重ね合わされたときに結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、深度ベース表示基準が満たされるように（例えば、深度ベース基準のセットは、仮想アバターの一部が、被写体の一部（例えば、被写体の耳）によって不明瞭化しない位置に表示されるときに満たされる基準を含む）、深度ベースの表示基準は、被写体の深度データが、仮想アバターの第１の部分が被写体の対応する第１の部分（例えば、被写体の表現の対応する第１の部分）（例えば、首部、肩、及び／又は身体）の前にあるシミュレーションされた深度を有することを示すという要求を含む。
In some embodiments, the device ( For example, 600) is a virtual avatar (e.g., 1421-2) includes 1506 a representation of the first portion of 1421-2 (eg, avatar hair portion 1421-2 is displayed over a portion of the representation of the subject's
一部の実施形態では、深度データに基づいて、仮想アバターの第１の部分（例えば、１４２１－２）が、被写体の第１の部分（例えば、１４２５）に対する深度ベース表示基準のセットを満たさないとの判定（例えば、被写体の深度データが、仮想アバターの第１の部分が被写体の対応する第１の部分の背後にあるシミュレーションされた深度を有することを示すため）に従って、デバイス（例えば、６００）は、仮想アバター（例えば、１４２１）の表現から、仮想アバターの第１の部分の表現を除外する（１５０８）（例えば、髪部が領域１４２４－１で被写体の肩１４２２－１の背後に位置するため、髪部が表示されない）（例えば、追加のアバター髪部１４２１－２は、手１４２５の背後に位置する配置するため、図１４Ｄでは示されない）。一部の実施形態では、電子デバイスはまた、仮想アバターの第１の部分によって占められていたであろう領域内に、被写体の第１の部分（例えば、被写体の表現の第１の部分）を表示する（例えば、仮想アバターの第１の部分の表現を、その部分が被写体によって不明瞭化されるべきであるため、仮想アバターの表現の一部として含めるのをやめる）。仮想アバターの第１の部分が、被写体の一部によって不明瞭化されているので、深度ベース表示基準を満たさない場合には、仮想アバターの第１の部分は、仮想アバターの表示された表現から除外される。表示される前に仮想アバターの第１の部分が不明瞭化されているかどうかを判定することにより、ユーザに可視化される仮想アバターの一部を除外することによって、ユーザデバイスインタフェースをより効率的にすることが可能になる。仮想アバターの視覚フィードバックを提供することにより、ユーザは、仮想アバターが被写体の上に重ね合わされたときに結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, based on the depth data, the first portion of the virtual avatar (eg, 1421-2) does not meet the set of depth-based display criteria for the first portion of the subject (eg, 1425) (e.g., because the depth data of the subject indicates that the first portion of the virtual avatar has a simulated depth behind the corresponding first portion of the subject), the device (e.g., 600 ) excludes (1508) from the representation of the virtual avatar (eg, 1421) the representation of the first portion of the virtual avatar (eg, hair located behind the subject's shoulders 1422-1 in region 1424-1). (eg, additional avatar hair 1421-2 is not shown in FIG. 14D for placement behind hand 1425). In some embodiments, the electronic device also moves the first portion of the subject (eg, the first portion of the representation of the subject) into the area that would have been occupied by the first portion of the virtual avatar. Display (eg, stop including a representation of the first part of the virtual avatar as part of the representation of the virtual avatar, since that part should be obscured by the subject). Because the first portion of the virtual avatar is obscured by part of the subject, the first portion of the virtual avatar is removed from the displayed representation of the virtual avatar if the depth-based display criteria are not met. Excluded. Making a user device interface more efficient by excluding a portion of a virtual avatar that is visible to a user by determining whether a first portion of the virtual avatar is obscured before being displayed it becomes possible to By providing visual feedback of the virtual avatar, the user can see the resulting image when the virtual avatar is superimposed over the subject. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently.
一部の実施形態では、仮想アバター（例えば、１４２１）（例えば、アバター頭部）の第１の部分は、被写体の動きに基づいて動く。一部の実施形態では、仮想アバターの第１の部分は、被写体の頭部の動き又は被写体の頭部の表現に基づいて動く。 In some embodiments, a first portion of the virtual avatar (eg, 1421) (eg, avatar head) moves based on motion of the subject. In some embodiments, the first portion of the virtual avatar moves based on the subject's head movement or representation of the subject's head.
一部の実施形態では、仮想アバターの表現は、仮想アバターの第２の部分が、被写体の表現の対応する第２の部分の前又は背後にあるシミュレーションされた深度を有することを、深度データが示すか否かにかかわらず、被写体の表現の第２の部分（例えば、１４２５、１４２３）の上に表示される仮想アバターの第２の部分（例えば、１４２１－１、１４２１－３、１４２１－４、１４３５－１）（例えば、アバター頭部（１４２１－３）の上部）の表現を含む。アバター頭部の上部などの仮想アバターの第２の部分の表現が、永続的に表示される。これにより、たとえ被写体の表現がアバターよりもカメラ（例えば、６０２）により近くに位置するオブジェクトを含んでいても、仮想アバターの第２の部分を常に表示することができる（例えば、被写体の頭部の表現上に位置する帽子（１４２３）は、アバター（１４２１）によって覆われることになる）。仮想アバターの一部を持続的に表示することにより、ユーザが、特定のオブジェクトを無視するためにデバイスの深度設定を調整する必要なしに選択されたアバターを表示できるようにすることによって、デバイスのより多くの制御をユーザに提供することができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなくデバイスの追加の制御を提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、仮想アバターの第２の部分（例えば、アバター頭部）は、被写体の表現の対応する第２の部分の代わりに持続的に表示される。一部の実施形態では、仮想アバターの部分と被写体の表現の部分との空間的関係が、仮想アバターの部分が被写体の部分によって不明瞭化されるべきであることを示し得る場合でも、深度ベース基準に関係なく表示されるアバターの部分は、仮想アバターを通り抜けて突き出る被写体の表現の部分例えば、帽子（１４２３）、被写体の髪部）を表示するのを避けるため、被写体の上方に持続的に表示される。一部の実施形態では、仮想アバターの第２の部分（例えば、アバター頭部）は、被写体（例えば、１４２２）の動き（例えば、被写体の頭部の動きに基づいて、又は被写体の頭部の表現の動きに基づいて）に基づいて動く。 In some embodiments, the representation of the virtual avatar indicates that the second portion of the virtual avatar has a simulated depth in front of or behind the corresponding second portion of the representation of the subject. A second portion of the virtual avatar (eg, 1421-1, 1421-3, 1421-4) displayed above the second portion of the subject's representation (eg, 1425, 1423), whether shown or not. , 1435-1) (eg, the top of the avatar's head (1421-3)). A representation of a second portion of the virtual avatar, such as the top of the avatar's head, is permanently displayed. This allows a second part of the virtual avatar to always be displayed (e.g. the subject's head The hat (1423) located on the representation of will be covered by the avatar (1421)). of the device by persistently displaying a portion of the virtual avatar, allowing the user to view a selected avatar without having to adjust the device's depth settings to ignore certain objects. More control can be provided to the user. By providing additional control of the device without cluttering the user interface with additional displayed controls, the usability of the device is improved and the user device interface (e.g., making the device more efficient (by assisting the user in providing input and reducing user error), as well as powering the device by allowing the user to use the device more quickly and efficiently; Reduce usage and improve battery life. In some embodiments, a second portion of the virtual avatar (eg, the avatar head) is persistently displayed in place of the corresponding second portion of the subject's representation. In some embodiments, even if the spatial relationship between portions of the virtual avatar and portions of the subject's representation may indicate that portions of the virtual avatar should be obscured by portions of the subject, depth-based The portion of the avatar that is displayed regardless of the criteria should be continuously above the subject to avoid displaying portions of the subject's representation that protrude through the virtual avatar (e.g., hat (1423), subject's hair). Is displayed. In some embodiments, the second portion of the virtual avatar (eg, avatar head) is based on movement of the subject (eg, 1422) (eg, movement of the subject's head, or movement of the subject's head). based on the movement of the expression).
一部の実施形態では、仮想アバター（例えば、１４２１－２）の第１の部分（例えば、深度データに基づいて含まれるか又は除外される部分）は、第１のアバター特徴の第１のサブ部分（例えば、アバター髪部、アバター耳、アバターアクセサリー（例えば、アバターイヤリング）などの仮想アバターの要素）であり、仮想アバターの第２の部分（例えば、１４２１－１、１４２１－３、１４２１－４、１４３５－１、１４３５－２）は、（例えば、深度データに基づいて含まれるか又は除外される部分、すなわち、深度データとは独立して含まれる）は、第１のアバター特徴（例えば、アバター髪部）の第２のサブ部分である。一部の実施形態では、第１のサブ部分は、前方に面して（例えば、カメラに面して）、仮想アバターが中立位置（例えば、被写体の顔又は頭部の姿勢に変化が検出されなかったときの仮想アバターの表示位置）にあるときに（例えば、図１４Ｋに示すように）、仮想アバターの背面上に位置する仮想アバター（例えば、１４３５）の部分（例えば、１４３５－３）である。一部の実施形態では、第２のサブ部分（例えば、１４３５－２）は、仮想アバターの前面上に配置される仮想アバターの部分であるか、又は、仮想アバターが前方に面して中立位置にあるときには、仮想アバターの背面上に配置されない。一部の実施形態では、第１のアバター特徴はアバター髪部であり、第２のサブ部分は、仮想アバター頭部（例えば、１４２１－３）の前面上に表示されるアバター髪部（例えば、１４２１－１）（例えば、切り下げ前髪）の前面部であり、第１のサブ部分は、被写体の首部、及び／又は肩（例えば、１４２２－１）などの被写体（例えば、１４２２）の一部によって少なくとも部分的に不明瞭化されているアバター髪部の後面部（例えば、背面の長髪部）である。 In some embodiments, a first portion (eg, included or excluded based on depth data) of the virtual avatar (eg, 1421-2) is a first sub-feature of the first avatar feature. part (e.g., elements of the virtual avatar such as avatar hair, avatar ears, avatar accessories (e.g., avatar earrings)) and second parts of the virtual avatar (e.g., 1421-1, 1421-3, 1421-4). , 1435-1, 1435-2) are (eg, included or excluded based on the depth data, i.e., included independently of the depth data) the first avatar feature (eg, A second sub-portion of the avatar hair). In some embodiments, the first sub-portion is forward-facing (e.g., facing the camera) such that the virtual avatar is in a neutral position (e.g., when a change in the subject's face or head pose is detected). 14K), the portion (eg, 1435-3) of the virtual avatar (eg, 1435) located on the back of the virtual avatar (eg, as shown in FIG. 14K). be. In some embodiments, the second sub-portion (eg, 1435-2) is the portion of the virtual avatar that is positioned on the front of the virtual avatar or is in a neutral position with the virtual avatar facing forward. , it is not placed on the back of the virtual avatar. In some embodiments, the first avatar feature is the avatar hair and the second sub-portion is the avatar hair (eg, 1421-1) is the front part of the (eg, cut-down bangs), and the first sub-part is the front part of the subject (eg, 1422), such as the subject's neck and/or shoulders (eg, 1422-1). 3 is a back portion of the avatar hair (eg, back long hair) that is at least partially obscured.
一部の実施形態では、仮想アバター（例えば、１４２１、１４３５）は、仮想アバターの第１の部分（例えば、１４２１－１）を含むアバター髪部特徴（例えば、長いアバター髪部）を含む。電子デバイス（例えば、６００）は、アバター髪部特徴の第２の部分のシミュレーションされた深度が、被写体の深度データに基づき、被写体の表現（例えば、首部、肩、及び／又は身体）の第３の部分（例えば、１４２２－１）の前又は背後にあるか否かに基づいて、アバター髪部特徴（例えば、１４２１－１）の第１の部分を表示し、アバター髪部特徴（例えば、１４２１－２）の第２の部分を条件的に表示する（例えば、アバター髪部特徴の持続的部分の表現を表示し、仮想アバターの第１の部分を深度に応じて可変的に含める（又は除外する））ことによって仮想アバターの表現を表示する。アバター髪部特徴の第１の部分及び髪部特徴の第２の部分が、被写体の首部、肩又は身体などの、被写体の表現の第３の部分の前又は背後にあるかどうかを判定する。表示する前に髪部特徴の第２の部分の可視性を判定することにより、ユーザに可視化されるアバター髪部特徴の一部を表示するだけで、ユーザデバイスインタフェースをより効率的にすることが可能になる。仮想アバターの視覚フィードバックを提供することにより、ユーザは、アバター髪部特徴が被写体の表現と共に表示されるときに、結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, the virtual avatar (eg, 1421, 1435) includes an avatar hair feature (eg, long avatar hair) that includes the first portion (eg, 1421-1) of the virtual avatar. The electronic device (eg, 600) determines that the simulated depth of the second portion of the avatar hair feature is based on the depth data of the subject, and the third depth of the subject's representation (eg, neck, shoulders, and/or body). display the first part of the avatar hair feature (eg, 1421-1) based on whether it is in front of or behind the part (eg, 1422-1) of the avatar hair feature (eg, 1421 - conditionally displaying the second part of 2) (e.g., displaying a representation of the persistent part of the avatar hair features and variably including (or excluding) the first part of the virtual avatar depending on depth; )) to display a representation of the virtual avatar. A determination is made as to whether the first portion of the avatar hair feature and the second portion of the hair feature are in front of or behind a third portion of the subject's representation, such as the subject's neck, shoulders, or body. By determining the visibility of the second portion of the hair feature prior to display, it is possible to make the user device interface more efficient by only displaying a portion of the avatar hair feature that is visible to the user. be possible. By providing visual feedback of the virtual avatar, the user can see the resulting image when the avatar hair features are displayed along with a representation of the subject. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently.
一部の実施形態では、仮想アバターは、仮想アバターの第１の部分（例えば、１４３５－４）を含むアバター首部特徴（例えば、１４３５－３）（例えば、馬のようなアバター（例えば、ユニコーン又は馬）の首部、例えば、アバターたてがみ）を含む。電子デバイスは、被写体の深度データに基づき、アバター首部特徴の部分のシミュレーションされた深度が、被写体の表現（首部又は肩）の第４の部分（例えば、１４２２－１）の前又は背後にあるか否かに基づいて、アバター首部特徴の一部を条件的に表示することによって、仮想アバター（例えば、１４３５）の表現を表示する（例えば、アバター首部特徴の持続的部分の表現を表示し、仮想アバターの第１の部分を深度に応じて可変的に含める（又は除外する））。アバター首部特徴の部分が、被写体の首部などの、被写体の表現の第４の部分の前又は背後にあるかどうかを判断する。表示する前に首部特徴の一部の可視性を判定することにより、ユーザに可視化されるアバター首部特徴の一部を表示するだけで、ユーザデバイスインタフェースをより効率的にすることが可能になる。仮想アバターの視覚フィードバックを提供することにより、ユーザは、アバター髪部特徴が被写体の表現と共に表示されるときに、結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, the virtual avatar has an avatar neck feature (eg, 1435-3) that includes a first portion (eg, 1435-4) of the virtual avatar (eg, a horse-like avatar (eg, a unicorn or (horse) neck, e.g. avatar mane). Based on the depth data of the subject, the electronic device determines whether the simulated depth of the portion of the avatar neck feature is in front of or behind the fourth portion (eg, 1422-1) of the subject's representation (neck or shoulders). Display a representation of the virtual avatar (eg, 1435) by conditionally displaying a portion of the avatar neck feature based on whether the virtual Variable inclusion (or exclusion) of the first part of the avatar depending on depth). Determine whether a portion of the avatar neck feature is in front of or behind a fourth portion of the subject's representation, such as the subject's neck. Determining the visibility of the portion of the neck feature prior to display allows the user device interface to be more efficient by only displaying the portion of the avatar neck feature that is visible to the user. By providing visual feedback of the virtual avatar, the user can see the resulting image when the avatar hair features are displayed along with a representation of the subject. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently.
一部の実施形態では、被写体の表現の部分（例えば、被写体の頭部）が、１つ以上のカメラに（直接的に）面する姿勢を有する（例えば、被写体の頭部がカメラに面して前方に配置される）ときには、仮想アバター（例えば、１４２１、１４３５）の第１の部分（例えば、１４２１－２、１４３５－３）は、表示されない仮想アバター（例えば、アバター首部の背後）の不明瞭な部分（例えば、１４３５－４）を含む。ユーザーはアバターの不明確な部分を見ることができ得ないため、アバターの不明瞭な部分は表示されない。表示する前に仮想アバターの第１の部分の可視性を判定することにより、ユーザに可視化されるアバター首部特徴の一部を表示するだけで、ユーザデバイスインタフェースをより効率的にすることが可能になる。仮想アバターの視覚フィードバックを提供することにより、ユーザは、アバター髪部特徴が被写体の表現と共に表示されるときに、結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、仮想アバターの不明瞭な部分は、被写体の首部又は頭部の背後に位置するアバターの首部の背後（例えば、１４３５－２、１４３５－３）、又は仮想アバターの部分（例えば、アバターの髪部の背後）を含む。一部の実施形態では、これによって、アバターの首部の背後（又はアバター頭部の背面上のアバターの部分、若しくは被写体の首部の背後に位置する部分）が、被写体の頭部が傾け上げられたとき（例えば、見上げる）に、被写体の首部の表現を通り抜けて突き出て表示されることを防止する。 In some embodiments, a portion of the subject's representation (e.g., the subject's head) has a pose that faces (directly) one or more cameras (e.g., the subject's head faces the camera). 1421, 1435), the first part (eg, 1421-2, 1435-3) of the virtual avatar (eg, 1421, 1435) is positioned behind the invisible virtual avatar (eg, behind the avatar's neck). Contains clear parts (eg, 1435-4). The avatar ambiguity is not displayed because the user cannot see the avatar ambiguity. Determining the visibility of the first portion of the virtual avatar prior to display allows the user device interface to be more efficient by only displaying a portion of the avatar neck features that are visible to the user. Become. By providing visual feedback of the virtual avatar, the user can see the resulting image when the avatar hair features are displayed along with a representation of the subject. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. In some embodiments, the obscured portion of the virtual avatar is behind the neck of the avatar located behind the subject's neck or head (eg, 1435-2, 1435-3), or the portion of the virtual avatar ( For example, behind the avatar's hair). In some embodiments, this causes the back of the avatar's neck (or the portion of the avatar on the back of the avatar's head, or the portion located behind the subject's neck) to tilt the subject's head up. to prevent the display from protruding through the representation of the subject's neck when (e.g., looking up).
一部の実施形態では、仮想アバター（例えば、１４２１）の表現を表示することは、仮想アバターの第１の部分（例えば、１４２１－１）に隣接する（例えば、及び被写体（例えば、１４２２－１）の表現の少なくとも一部に隣接する）仮想アバターの第３の部分（例えば、１４３２）の視覚的外観を、アバターの外観及び被写体の表現の外観の両方に基づく外観に変更すること（例えば、ブレンド、ぼかし、フェザリング、又は隠蔽度を徐々に変化させること）を更に含む。一部の実施形態では、アバター髪部の部分が、被写体の表示された表現の肩（１４２２－１）と交差する、仮想アバターの表現の部分において、アバター髪部（例えば、１４３２）の一部が、被写体（例えば、１４２２）の表現とブレンドされる。一部の実施形態では、アバター頭部の下部が被写体の首部の表示された表現（例えば、図１４Ｈ）と交差する、仮想アバターの表現の部分において、アバター頭部の下部が、被写体の表現とブレンドされる（例えば、１４３４）。 In some embodiments, displaying a representation of the virtual avatar (eg, 1421) is adjacent (eg, and subject (eg, 1422-1) to the first portion (eg, 1421-1) of the virtual avatar. changing the visual appearance of a third portion (e.g., 1432) of the virtual avatar (adjacent at least a portion of the representation of ) to an appearance based on both the appearance of the avatar and the appearance of the subject's representation (e.g., blending, blurring, feathering, or gradually changing the degree of obscurity). In some embodiments, a portion of the avatar hair (eg, 1432) in the portion of the virtual avatar representation where the avatar hair portion crosses the shoulders (1422-1) of the displayed representation of the subject. is blended with a representation of the object (eg, 1422). In some embodiments, in portions of the virtual avatar representation where the avatar head bottom intersects the subject's neck representation (e.g., FIG. 14H), the avatar head bottom is aligned with the subject's representation. blended (eg, 1434).
一部の実施形態では、電子デバイス（例えば、６００）は、被写体（例えば、１４２２）の頭部分の姿勢の変化（例えば、被写体の頭部が側方に向く）を検出する。被写体の頭部分の姿勢の変化を検出する電子デバイスに応じて、電子デバイスは、深度データ及び姿勢の変化に基づいて、仮想アバターの表現（例えば、アバターの髪部）から除外される、仮想アバター（例えば、１４２１－２）の量（例えば、仮想アバターの表現に含まれるか又は除外されるかのいずれかのサイズ）を変更する（例えば、増大又は減少する）。被写体の頭部分の姿勢の変化に基づいて、表示された仮想アバターを更新することにより、仮想アバターの視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、変更は、アバター頭部（例えば、１４２１－３）を被写体の頭部の動きに合わせるように側方に回すときに、仮想アバター（例えば、１４２１）の表現に表示されるアバターの髪部の量を増加又は減少させることを含む。一部の実施形態では、アバターの第１の部分（例えば、アバターの髪部）の表示量は、アバターの一部が、姿勢の変化に応じて被写体の表現の一部によって不明瞭化されるかどうかによって変更される。例えば、アバター頭部の回転に応じて、アバター頭部の一部がユーザ首部又は肩（例えば、１４２２－１）によって不明瞭化されると、アバターの髪部の一部の表示量（例えば、サイズ）が減少する（例えば、頭部を回転させることで被写体の肩（例えば、１４２４－１）の背後にアバター髪部が配置されるので、アバター頭部を回転させることにより、被写体の肩の前に位置する以前に表示された髪部がもはや表示されなくなる）。加えて、被写体の肩、首部又は頭部の背後に以前に隠れていた頭部の部分（例えば、１４２４－２）が、アバター頭部が側方に回転した結果、可視化されると、アバター髪部の部分の表示量が増大する（例えば、アバターの頭部を回転させることによりアバター髪部が被写体の肩の前に配置されるため、ここで被写体の肩の背後に位置する髪部が可視化される）。 In some embodiments, the electronic device (eg, 600) detects a change in the pose of the subject's (eg, 1422) head portion (eg, the subject's head turns to the side). In response to the electronic device detecting a change in pose of the subject's head portion, the electronic device is excluded from the representation of the virtual avatar (e.g., the avatar's hair) based on the depth data and the pose change. (eg, 1421-2) (eg, the size of either included or excluded from the representation of the virtual avatar) is changed (eg, increased or decreased). Visual feedback of the virtual avatar is provided by updating the displayed virtual avatar based on changes in the pose of the subject's head. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. In some embodiments, the change is displayed in the representation of the virtual avatar (eg, 1421) as the avatar head (eg, 1421-3) is turned sideways to match the movement of the subject's head. This includes increasing or decreasing the amount of hair on the avatar. In some embodiments, the amount of representation of the first part of the avatar (eg, the avatar's hair) is such that part of the avatar is obscured by part of the subject's representation as the pose changes. changed depending on whether For example, depending on the rotation of the avatar head, when part of the avatar head is obscured by the user's neck or shoulders (eg, 1422-1), the amount of display of part of the avatar's hair (eg, size) is reduced (e.g., rotating the head places the avatar hair behind the subject's shoulders (e.g., 1424-1), so rotating the avatar head reduces the size of the subject's shoulders. Previously displayed hairs located in front are no longer visible). In addition, when portions of the head that were previously hidden behind the subject's shoulders, neck, or head (eg, 1424-2) become visible as a result of the avatar head being rotated to the side, the avatar hair is removed. (For example, by rotating the avatar's head, the avatar's hair is placed in front of the subject's shoulders, so the hair behind the subject's shoulders is now visible.) is done).
一部の実施形態では、デバイス（例えば、６００）は、被写体の姿勢の変化を検出する（１５１０）。被写体（例えば、１４２２）の姿勢の変化を検出したこと（例えば、ユーザの肩（例えば、１４２２－１）上の手（例えば、１４２５）の動きを検出したことこと、例えば、被写体の頭部の回転又は傾きを検出したこと）に応じて、電子デバイス（例えば、６００）は、姿勢の変化に基づいて、仮想アバター（例えば、１４２１）の表示された表現を変更する（１５１２）。被写体の姿勢の変化に基づいて、表示された仮想アバターを更新することにより、仮想アバターの視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、被写体の姿勢の変化を考慮に入れた深度データに基づいて、仮想アバター（例えば、１４２１）の第１の部分（例えば、１４２１－２）が深度ベース表示基準のセットを満たすとの判定に従って、電子デバイスは、仮想アバターの第１の部分（例えば、１４２１－２）を除外した第１の外観（例えば、図１４Ｄ）（例えば、仮想アバターの第１の部分が、被写体（例えば、１４２５）の表現によって不明瞭化されているため、表示されていない外観）（例えば、アバターの髪部の一部が、被写体の手、首部、及び／又は肩の背後に隠れている）から、仮想アバターの第１の部分を含む第２の外観（例えば、図１４Ｅ）に、仮想アバターの表現の外観を更新する（１５１４）。一部の実施形態では、被写体の姿勢の変化を考慮に入れた深度データに基づいて、仮想アバターの第１の部分が深度ベース表示基準のセットを満たさないとの判定に従って、電子デバイスは、仮想アバターの第１の部分を含む第３の外観（例えば、図１４Ｃ）から、仮想アバターの第１の部分を除外した第４の外観（例えば、１４Ｄ）に、仮想アバターの表現の外観を更新する（１５１６）（例えば、１４２４－１は、表示される髪部の量の減少を示す）。一部の実施形態では、仮想アバターの第１の部分は、被写体の動きに基づいて動的に隠される（例えば、被写体の動きに基づいて、アバターの隠れた部分を表示されるようにでき、及びアバターの表示された部分を隠されるようにできる）。 In some embodiments, a device (eg, 600) detects (1510) a change in the subject's pose. Detecting a change in the posture of the subject (eg, 1422) (eg, detecting movement of a hand (eg, 1425) on the user's shoulder (eg, 1422-1); In response to detecting a rotation or tilt), the electronic device (eg, 600) changes (1512) the displayed representation of the virtual avatar (eg, 1421) based on the change in pose. Visual feedback of the virtual avatar is provided by updating the displayed virtual avatar based on changes in the pose of the subject. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. In some embodiments, a first portion (eg, 1421-2) of the virtual avatar (eg, 1421) uses a set of depth-based display criteria based on depth data that takes into account changes in subject pose. In accordance with the determination that the electronic device satisfies (e.g., appearances not shown because they are obscured by the representation of (e.g., 1425)) (e.g., part of the avatar's hair is hidden behind the subject's hands, neck, and/or shoulders) ) to a second appearance (eg, FIG. 14E) that includes the first portion of the virtual avatar (1514). In some embodiments, following a determination that the first portion of the virtual avatar does not meet a set of depth-based display criteria based on the depth data that takes into account changes in the subject's pose, the electronic device performs a virtual Update the appearance of the representation of the virtual avatar from a third appearance including the first portion of the avatar (eg, FIG. 14C) to a fourth appearance excluding the first portion of the virtual avatar (eg, 14D). (1516) (eg, 1424-1 indicates a reduction in the amount of displayed hair). In some embodiments, the first portion of the virtual avatar is dynamically hidden based on movement of the subject (e.g., hidden portions of the avatar can be made visible based on movement of the subject, and visible parts of the avatar can be hidden).
一部の実施形態では、電子デバイス（例えば、６００）は、被写体（例えば、１４２２）の表現の一部の変化（例えば、姿勢の変化（例えば、向き、回転、並進など）、例えば、表情の変化）を検出する。電子デバイスは、被写体の表現の一部において検出された変化に基づいて、仮想アバター（例えば、１４２１、１４３５）の外観を変更する（例えば、リアルタイムで、被写体の表現の一部において検出された変化に基づいて、仮想アバターの位置及び／又は表情を変更する）。被写体の表現の変化に基づいて、表示された仮想アバターを更新することにより、仮想アバターの視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。 In some embodiments, the electronic device (e.g., 600) changes some representation of the subject (e.g., 1422) (e.g., pose changes (e.g., orientation, rotation, translation, etc.), e.g., facial expressions). change). The electronic device modifies the appearance of the virtual avatar (e.g., 1421, 1435) based on the detected change in the portion of the subject's representation (e.g., in real-time, the detected change in the portion of the subject's representation). change the position and/or facial expression of the virtual avatar based on the Visual feedback of the virtual avatar is provided by updating the displayed virtual avatar based on changes in the representation of the subject. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently.
一部の実施形態では、電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、被写体の表現の少なくとも第５の部分（例えば、被写体の胸、首部、又は肩）上に表示される、仮想アバター（例えば、１４２１、１４３５）によって投影された影（例えば、１４３０、１４３６）の表現を表示する。このデバイスは、被写体の表現の部分の上に仮想表現によって投影された影の表現を表示して、シミュレーションされた光源で表示された仮想アバターのより現実的な表現を提供する。仮想アバターの視覚フィードバックを提供することにより、ユーザは、結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、仮想アバターによって投影された影の表現は、１００％未満の不透明度を有する被写体の表現上に重ね合わせられる。一部の実施形態では、表示された仮想アバターとシミュレーションされた光源との相対位置に基づいて判定される被写体の部分は、任意選択的に、カメラの視野内で検出された光源に基づいて判定される。一部の実施形態では、影の表示された表現の１つ以上の特性（例えば、位置、強度、形状など）は、仮想アバターの形状に基づく。一部の実施形態では、表示された影の形状は、異なるアバターが異なる形状の陰を投影して見えるように、仮想アバターの形状に基づいて決定される。 In some embodiments, the electronic device (e.g., 600) displays, via a display (e.g., 601), over at least a fifth portion of the subject's representation (e.g., the subject's chest, neck, or shoulders) Display a representation of the shadows (eg, 1430, 1436) cast by the displayed virtual avatars (eg, 1421, 1435). The device displays a shadow representation projected by the virtual representation over portions of the subject's representation to provide a more realistic representation of the virtual avatar displayed with simulated light sources. By providing visual feedback of the virtual avatar, the user can see the resulting image. By providing improved visual feedback to the user, the usability of the device is improved and the user device interface (e.g., assisting the user in providing appropriate input when operating/interacting with the device, (by reducing errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. In some embodiments, a representation of the shadow cast by the virtual avatar is overlaid on a representation of the subject with less than 100% opacity. In some embodiments, the portion of the subject determined based on the relative position of the displayed virtual avatar and the simulated light source is optionally determined based on the light source detected within the field of view of the camera. be done. In some embodiments, one or more properties (eg, position, intensity, shape, etc.) of the displayed representation of the shadow are based on the shape of the virtual avatar. In some embodiments, the shape of the displayed shadow is determined based on the shape of the virtual avatar such that different avatars appear to project differently shaped shadows.
一部の実施形態では、影（例えば、１４３０、１４３６）の表示された表現の１つ以上の特性（例えば、位置、強度、形状など）は、１つ以上のカメラ（例えば、６０２）の視野内の照明条件（例えば、周囲光の検出量、検出された光源など）に基づく。一部の実施形態では、影の位置は、カメラの視野内の光源の位置に基づいて決定される。例えば、光源（例えば、検出された光源、又はモデル化された光源）が、カメラの視野内の被写体（例えば、１４２２）の表現の背後に配置される場合、影は、被写体の表現に対して光源の位置とは反対の被写体の表現上に配置される。一部の実施形態では、影の強度は、１つ以上のカメラの視野内で検出された照明条件の明るさに基づいて決定される（例えば、より明るい照明条件では影がより強く（明瞭に、より暗くなど）、より暗い照明条件では強さが少なくなる）。 In some embodiments, one or more characteristics (eg, position, intensity, shape, etc.) of the displayed representation of shadows (eg, 1430, 1436) are captured by the field of view of one or more cameras (eg, 602). based on the lighting conditions within (e.g., detected amount of ambient light, detected light sources, etc.). In some embodiments, the shadow position is determined based on the position of the light source within the field of view of the camera. For example, if a light source (e.g., a detected light source or a modeled light source) is placed behind a representation of an object (e.g., 1422) within the field of view of the camera, the shadow will be cast relative to the representation of the object. It is placed on the representation of the object opposite to the position of the light source. In some embodiments, the shadow intensity is determined based on the brightness of the lighting conditions detected within the field of view of one or more cameras (e.g., brighter lighting conditions produce stronger shadows (clearer , darker, etc.), less intensity in darker lighting conditions).
一部の実施形態では、影（例えば、１４３０、１４３６）の表示された表現の１つ以上の特性（例えば、位置、強度、形状など）は、深度データに基づく。一部の実施形態では、（例えば、深度マップ又は深度マスクの形式の）深度データを使用して影の位置及び／又は形状が決定されて、１つ以上のカメラの視野内の被写体（例えば、１４２２）の表現の３次元位置決めに基づく、影エフェクトのより現実的な表現を提供する（例えば、アバターから被写体へのシミュレーションされた距離、及び光源からアバターへのシミュレーションされた距離に基づいて、アバターの影が被写体上に落ちるように見えるように）。 In some embodiments, one or more characteristics (eg, position, intensity, shape, etc.) of the displayed representation of shadows (eg, 1430, 1436) are based on depth data. In some embodiments, depth data (e.g., in the form of depth maps or depth masks) is used to determine the location and/or shape of shadows to determine the location and/or shape of objects (e.g., 1422) provides a more realistic representation of shadow effects (e.g., based on the simulated distance from the avatar to the subject and the simulated distance from the light source to the avatar, the avatar (so that the shadow of the image appears to fall on the subject).
なお、方法１５００に関して上述された処理（例えば、図１５Ａ～図１５Ｂ）の詳細はまた、以下で説明される方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００は、方法１５００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、仮想アバターなどのビジュアルエフェクトが、メッセージングアプリケーションユーザインタフェースにおいて画像データに表示される。別の例では、方法９００は、方法１５００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、仮想アバターなどのビジュアルエフェクトが、カメラユーザインタフェースにおいて画像データに表示される。別の例では、方法１１００は、方法１５００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、仮想アバターなどのビジュアルエフェクトが、メディアユーザインタフェースにおいて画像データに表示される。別の例では、方法１３００は、方法１５００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、仮想アバターなどのビジュアルエフェクトが、ライブビデオ通信セッションのためのユーザインタフェースにおいて画像データに表示される。簡潔にするために、これらの詳細は、以下では繰り返さない。
Note that the details of the processing described above with respect to method 1500 (eg, FIGS. 15A-15B) are also applicable in an analogous manner to the methods described below. For example,
上述の説明は、説明の目的で、特定の実施形態を参照して説明されてきた。しかしながら、上記例示的な議論は、包括的であることを意図しておらず、又は発明を開示された簡易的な形式に限定することを意図していない。上記教示を考慮して多くの修正及び変形が可能である。技術の原理及びそれらの実際の適用を最良に説明するために実施形態が選択及び説明されてきた。それによって、他の当業者は、考えられる特定の使用に適切な様々な修正で、技術及び様々な実施形態を最良に利用することが可能である。 The foregoing description, for purposes of explanation, has been described with reference to specific embodiments. However, the illustrative discussion above is not intended to be exhaustive or to limit the invention to the simple form disclosed. Many modifications and variations are possible in light of the above teaching. The embodiments have been chosen and described in order to best explain the principles of the technology and their practical application. Others skilled in the art are thereby enabled to best utilize the techniques and various embodiments with various modifications appropriate to the particular uses envisioned.
開示及び実施例が添付図面を参照して完全に説明されてきたが、様々な変更及び修正が当業者にとって明らかであることに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるように、開示及び実施例の範囲内に含まれるものとして理解されることになる。 Although the disclosure and examples have been fully described with reference to the accompanying drawings, it should be noted that various changes and modifications will become apparent to those skilled in the art. Such changes and modifications are intended to be included within the scope of the disclosure and examples, as defined by the claims.
上述のように、本技術の一態様は、他のユーザとの共有のために、様々なソースから入手可能なデータを収集及び使用することである。本開示は、場合によっては、この収集されたデータは、特定の人を一意的に特定するか、又はその人に連絡するか、若しくはその人のロケーションを特定するために用いることができる個人情報データを含んでよいことを企図している。このような個人情報データには、人口統計データ、ロケーションベースのデータ、電話番号、電子メールアドレス、ツイッターＩＤ、ホームアドレス、ユーザの健康又はフィットネスのレベル（例えば、バイタルサイン測定、服薬情報、運動情報）に関するデータ若しくは記録、誕生日、又は任意の他の識別情報若しくは個人情報を含むことができる。 As noted above, one aspect of the present technology is the collection and use of data available from various sources for sharing with other users. This disclosure indicates that, in some cases, this collected data is personal information that uniquely identifies a particular person or can be used to contact that person or identify that person's location. It is contemplated that it may contain data. Such personal data may include demographic data, location-based data, phone number, email address, Twitter ID, home address, user's health or fitness level (e.g., vital sign measurements, medication information, exercise information, ), date of birth, or any other identifying or personal information.
本開示は、この技術のそのような個人情報データを使用してユーザを利することができることを理解する。例えば、個人情報データを使用して、会話中のユーザをよりよく表現することができる。更に、ユーザを利する個人情報データに関する他の使用もまた、本開示により意図されている。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスついての洞察を提供するために使用されてもよく、あるいはウェルネスの目標を追求するために技術を使用して個人に積極的なフィードバックとして使用されてもよい。 The present disclosure understands that such personal information data of this technology can be used to benefit users. For example, personal information data can be used to better represent a user in a conversation. Further, other uses of personal information data that benefit users are also contemplated by this disclosure. For example, health and fitness data may be used to provide insight into a user's overall wellness, or as positive feedback to individuals using technology to pursue wellness goals. may be used.
本開示は、そのような個人情報データの収集、分析、開示、伝送、記憶又は他の使用に応答するエンティティが、確固たるプライバシーポリシー及び／又はプライバシー慣行を遵守することとなることを企画する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための業界又は政府の要件を満たすか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し常に使用すべきである。このようなポリシーは、ユーザが容易にアクセスすることができ、データの収集及び／又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いて、共有又は販売されるべきではない。更に、そのような収集／共有は、ユーザに告知して同意を得た後にのみ実施すべきである。加えて、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じるべきである。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。加えて、ポリシー及び慣行は、収集かつ／又はアクセスされる特定の種類の個人情報データに適合され、また、管轄権特有の考慮を含む、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国において、ある健康データの収集又はアクセスは、例えば、Ｈｅａｌｔｈ Ｉｎｓｕｒａｎｃｅ Ｐｏｒｔａｂｉｌｉｔｙ ａｎｄ Ａｃｃｏｕｎｔａｂｉｌｉｔｙ Ａｃｔ（ＨＩＰＡＡ）なのどの、連邦法及び／又は州法によって管理されてもよく、他の国における健康データは、他の規制及び政策の影響下にあってもよく、それに従って対処されるべきである。したがって、異なるプライバシー慣行を、各国の異なる個人データの種類に対して保つべきである。 This disclosure contemplates that entities responding to the collection, analysis, disclosure, transmission, storage or other use of such personal data will adhere to robust privacy policies and/or practices. Specifically, such entities will, at all times, implement privacy policies and practices that are generally recognized as meeting or exceeding industry or governmental requirements for the confidentiality and confidentiality of personal information data. should be used. Such policies should be easily accessible to users and updated as data collection and/or use changes. Personal information from users should be collected for the entity's lawful and legitimate use and should not be shared or sold except for those lawful uses. Further, such collection/sharing should only occur after informing and obtaining consent from the user. In addition, such entities protect and secure access to such Personal Data and ensure that others who have access to that Personal Data comply with their privacy policies and procedures. all necessary measures should be taken to Further, such entities may themselves be evaluated by third parties to certify their adherence to widely accepted privacy policies and practices. In addition, policies and practices should be tailored to the specific types of personal information data collected and/or accessed and to be consistent with applicable laws and standards, including jurisdiction-specific considerations. For example, in the United States, collection or access to certain health data may be governed by federal and/or state laws, such as, for example, the Health Insurance Portability and Accountability Act (HIPAA); may be subject to regulatory and policy ramifications and should be dealt with accordingly. Different privacy practices should therefore be maintained for different types of personal data in each country.
前述のことがらにもかかわらず、本開示はまた、ユーザが、個人情報データの使用又は個人情報データへのアクセスを選択的に阻止する実施形態も企図している。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するために、ハードウェア要素及び／又はソフトウェア要素を提供することができると想到する。例えば、アバターを送信する場合、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択することを可能にするように構成することができる。「オプトイン」及び「オプトアウト」オプションを提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを企画している。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。 Notwithstanding the foregoing, the present disclosure also contemplates embodiments in which a user selectively prevents use of or access to personal information data. That is, the present disclosure contemplates that hardware and/or software elements may be provided to prevent or inhibit access to such personal information data. For example, when submitting an avatar, the technology may allow users to choose to “opt-in” or “opt-out” of participation in the collection of personal data during registration for the service or at any time thereafter. can be configured to In addition to providing "opt-in" and "opt-out" options, this disclosure contemplates providing notice regarding access or use of personal information. For example, the user may be notified upon downloading an app that will access the user's personal data, and then reminded again just before the personal data is accessed by the app.
更に、本開示の意図は、個人情報データを、意図しない又は不正なアクセス又は使用の危険性を最小にする方法で管理かつ取り扱うべきであることである。リスクは、データの収集を制限し、データがもはや必要ではなくなった時点でデータを削除することによって、最小化することができる。加えて、適用可能な場合には、ある健康関連アプリケーションにおいても、データ非特定化は、ユーザのプライバシーを保護するために使用することができる。非特定化は、適切な場合には、特定の識別子（例えば、生年月日など）を除去すること、記憶されたデータの量又は特異性を制御すること（例えば、位置データを住所レベルよりも都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって情報集約すること）及び／又は他の方法によって、容易にすることができる。 Further, it is the intent of this disclosure that personal information data should be managed and handled in a manner that minimizes the risk of unintended or unauthorized access or use. Risk can be minimized by limiting data collection and deleting data when it is no longer needed. Additionally, where applicable, data de-identification can also be used to protect user privacy in certain health-related applications. De-identification includes, where appropriate, removing certain identifiers (e.g. date of birth, etc.), controlling the amount or specificity of data stored (e.g. location data rather than address level). city level), controlling how data is stored (e.g., aggregating data across users), and/or in other ways.
したがって、本開示は、１つ以上の様々な開示された実施形態を実施するための個人情報データの使用を広範に網羅しているが、本開示は、それらの様々な実施形態がまた、そのような個人情報データにアクセスすることを必要とせずに実施されることも可能であることも企図している。すなわち、本技術の様々な実施形態は、そのような個人情報データのすべて又は一部分の欠如により、実施不可能となるものではない。 Thus, while this disclosure broadly covers the use of personal information data to implement one or more of the various disclosed embodiments, this disclosure does not disclose that those various embodiments also It is also contemplated that it can be performed without the need to access such personal information data. That is, the lack of all or part of such personal information data does not render the various embodiments of the present technology inoperable.
Claims (20)
１つ以上のカメラと表示装置とを有する電子デバイスにおいて、
前記表示装置を介して、前記１つ以上のカメラを介してキャプチャされた画像データの表現を表示することであって、前記表現が被写体の表現を含み、かつ、前記画像データが前記被写体の深度データを含む深度データに対応する、ことと、
前記表示装置を介して、前記被写体の前記表現の少なくとも一部の代わりに表示される仮想アバターの表現を表示することであって、前記仮想アバターは、前記被写体の前記深度データに基づいて決定される、前記被写体の前記表現に対してシミュレーションされた深度に配置される、ことと、を含み、前記仮想アバターの前記表現を表示することは、
前記深度データに基づいて、前記仮想アバターの第１の部分が、深度ベース表示基準であって、前記仮想アバターの前記第１の部分が前記被写体の対応する第１の部分の前にあるシミュレーションされた深度を有することを、前記被写体の前記深度データが示すという要求を含む、深度ベース表示基準のセットを満たすとの判定に従って、前記深度ベース表示基準が満たされるように、前記仮想アバターの前記表現の一部として、前記被写体の前記第１の部分の代わりに表示される前記仮想アバターの前記第１の部分の表現を含めることと、
前記深度データに基づいて、前記仮想アバターの前記第１の部分が、前記被写体の前記第１の部分に対する前記深度ベース表示基準のセットを満たさないとの判定に従って、前記仮想アバターの前記表現から、前記仮想アバターの前記第１の部分の前記表現を除外し、前記仮想アバターの前記第１の部分が占有していたであろう領域に、前記被写体の前記第１の部分を表示することと、を含み、
前記仮想アバターの前記表現は、前記仮想アバターの第２の部分が、前記被写体の前記表現の対応する第２の部分の前又は背後にあるシミュレーションされた深度を有することを、前記深度データが示すか否かにかかわらず、前記被写体の前記表現の前記第２の部分の上方に表示される前記仮想アバターの前記第２の部分の表現を含み、前記方法は、さらに、
前記被写体の姿勢の変化を検出することと、
前記被写体の姿勢の前記変化を検出したことに応じて、前記仮想アバターの前記表示された表現を、前記姿勢の変化に基づいて変更することであって、
前記被写体の姿勢の前記変化を考慮に入れた前記深度データに基づいて、前記仮想アバターの前記第１の部分が前記深度ベース表示基準のセットを満たすとの判定に従って、前記仮想アバターの前記第１の部分を除外した第１の外観から、前記仮想アバターの前記第１の部分を含めた第２の外観に、前記仮想アバターの前記表現の外観を更新すること、及び
前記被写体の姿勢の前記変化を考慮に入れた前記深度データに基づいて、前記仮想アバターの前記第１の部分が前記深度ベース表示基準のセットを満たさないとの判定に従って、前記仮想アバターの前記第１の部分を含めた第３の外観から、前記仮想アバターの前記第１の部分を除外した第４の外観に、前記仮想アバターの前記表現の前記外観を更新すること、を含む、こと、を含む方法。 a method,
In an electronic device having one or more cameras and a display,
displaying, via the display device, a representation of image data captured via the one or more cameras, the representation comprising a representation of an object, and the image data representing the depth of the object. corresponding to depth data containing data;
displaying, via the display device, a representation of a virtual avatar displayed in place of at least a portion of the representation of the subject, the virtual avatar being determined based on the depth data of the subject; positioned at a depth simulated with respect to the representation of the subject, and displaying the representation of the virtual avatar;
Based on the depth data, a first portion of the virtual avatar is simulated with depth-based display criteria and the first portion of the virtual avatar is in front of a corresponding first portion of the subject. the representation of the virtual avatar such that the depth-based display criteria are satisfied according to a determination that it satisfies a set of depth-based display criteria including a request that the depth data of the subject indicates that the subject has a depth of including a representation of the first portion of the virtual avatar displayed in place of the first portion of the subject as part of
from the representation of the virtual avatar, in accordance with determining, based on the depth data, that the first portion of the virtual avatar does not meet the set of depth-based display criteria for the first portion of the subject; excluding the representation of the first portion of the virtual avatar and displaying the first portion of the subject in an area that would have been occupied by the first portion of the virtual avatar; , including
The depth data indicates that the representation of the virtual avatar has a simulated depth in which a second portion of the virtual avatar is in front of or behind a corresponding second portion of the representation of the subject. a representation of the second portion of the virtual avatar displayed above the second portion of the representation of the subject, whether or not the method further comprises:
detecting a change in posture of the subject;
responsive to detecting the change in pose of the subject, changing the displayed representation of the virtual avatar based on the change in pose;
the first portion of the virtual avatar in accordance with a determination that the first portion of the virtual avatar satisfies the set of depth-based display criteria based on the depth data that takes into account the change in pose of the subject; updating the appearance of the representation of the virtual avatar from a first appearance excluding the portion of the virtual avatar to a second appearance including the first portion of the virtual avatar; and the change in pose of the subject. a first portion of the virtual avatar, according to a determination that the first portion of the virtual avatar does not meet the set of depth-based display criteria, based on the depth data that takes into account and updating the appearance of the representation of the virtual avatar from the appearance of 3 to a fourth appearance excluding the first portion of the virtual avatar.
前記仮想アバターの前記表現を表示することは、前記アバター髪部特徴の第２の部分のシミュレーションされた深度が、前記被写体の前記深度データに基づき、前記被写体の前記表現の第３の部分の前又は背後にあるか否かに基づいて、前記アバター髪部特徴の第１の部分を表示し、かつ、前記アバター髪部特徴の前記第２の部分を条件的に表示すること、を含む、請求項１～５のいずれか１項に記載の方法。 the virtual avatar includes an avatar hair feature that includes the first portion of the virtual avatar;
displaying the representation of the virtual avatar includes: determining a simulated depth of a second portion of the avatar hair features before a third portion of the representation of the subject based on the depth data of the subject; or displaying the first portion of the avatar hair feature and conditionally displaying the second portion of the avatar hair feature based on whether or not it is behind. Item 6. The method according to any one of items 1 to 5.
前記仮想アバターの前記表現を表示することは、前記アバター首部特徴の部分のシミュレーションされた深度が、前記被写体の前記深度データに基づき、前記被写体の前記表現の第４の部分の前又は背後にあるか否かに基づいて、前記アバター首部特徴の前記部分を条件的に表示すること、を含む、請求項１～６のいずれか１項に記載の方法。 the virtual avatar includes an avatar neck feature that includes the first portion of the virtual avatar;
displaying the representation of the virtual avatar, wherein a simulated depth of the portion of the avatar neck feature is in front of or behind a fourth portion of the representation of the subject based on the depth data of the subject; The method of any one of claims 1-6, comprising conditionally displaying the portion of the avatar neck feature based on whether or not the avatar neck feature.
前記被写体の前記頭部分の姿勢の前記変化を検出したことに応じて、前記深度データ及び姿勢の前記変化に基づいて、前記仮想アバターの前記表現から除外される前記仮想アバターの量を変更することと、を更に含む、請求項１～８のいずれか１項に記載の方法。 detecting a change in posture of the subject's head;
Responsive to detecting the change in pose of the head portion of the subject, changing an amount of the virtual avatar excluded from the representation of the virtual avatar based on the depth data and the change in pose. The method of any one of claims 1-8, further comprising:
前記仮想アバターの前記表現を表示する前に、前記１つ以上の深度センサを介して、前記被写体の初期深度データをキャプチャすることと、
前記被写体に対する前記初期深度データを変更することによって、前記被写体に対する前記深度データを生成することと、
を更に含む、請求項１～１０のいずれか１項に記載の方法。 The electronic device includes one or more depth sensors, and the method includes:
capturing initial depth data of the subject via the one or more depth sensors prior to displaying the representation of the virtual avatar;
generating the depth data for the subject by modifying the initial depth data for the subject;
The method of any one of claims 1-10, further comprising
前記被写体の前記表現の前記部分における前記検出された変化に基づいて、前記仮想アバターの外観を変更することと、
を更に含む、請求項１～１２のいずれか１項に記載の方法。 detecting a change in the portion of the representation of the subject;
changing the appearance of the virtual avatar based on the detected change in the portion of the representation of the subject;
The method of any one of claims 1-12, further comprising
を更に含む、請求項１～１３のいずれか１項に記載の方法。 displaying, via the display device, a representation of a shadow cast by the virtual avatar displayed over at least a fifth portion of the representation of the subject;
The method of any one of claims 1-13, further comprising
１つ以上のカメラと、
表示装置と、
請求項１８に記載のコンピュータプログラムを記憶したメモリと、
前記メモリに記憶されたコンピュータプログラムを実行する機能を有する１つ以上のプロセッサと、を備える電子デバイス。 an electronic device,
one or more cameras;
a display device;
a memory storing a computer program according to claim 18;
and one or more processors capable of executing computer programs stored in said memory.
１つ以上のカメラと、
表示装置と、
請求項１～１７のいずれか１項に記載の方法を実行する手段と、
を備える、電子デバイス。 an electronic device,
one or more cameras;
a display device;
means for carrying out the method of any one of claims 1-17;
An electronic device comprising:
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023083816A JP7349044B2 (en) | 2018-05-07 | 2023-05-22 | creative camera |
| JP2023146062A JP7404587B2 (en) | 2018-05-07 | 2023-09-08 | creative camera |
| JP2023210355A JP2024028968A (en) | 2018-05-07 | 2023-12-13 | creative camera |
Applications Claiming Priority (14)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862668227P | 2018-05-07 | 2018-05-07 | |
| US62/668,227 | 2018-05-07 | ||
| US201862679934P | 2018-06-03 | 2018-06-03 | |
| US62/679,934 | 2018-06-03 | ||
| DKPA201870366 | 2018-06-12 | ||
| DKPA201870367 | 2018-06-12 | ||
| DKPA201870366 | 2018-06-12 | ||
| DKPA201870368 | 2018-06-12 | ||
| DKPA201870368 | 2018-06-12 | ||
| DKPA201870367 | 2018-06-12 | ||
| US16/110,514 | 2018-08-23 | ||
| US16/110,514 US10375313B1 (en) | 2018-05-07 | 2018-08-23 | Creative camera |
| JP2018182607A JP7073238B2 (en) | 2018-05-07 | 2018-09-27 | Creative camera |
| JP2020193703A JP6960513B2 (en) | 2018-05-07 | 2020-11-20 | Creative camera |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020193703A Division JP6960513B2 (en) | 2018-05-07 | 2020-11-20 | Creative camera |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023083816A Division JP7349044B2 (en) | 2018-05-07 | 2023-05-22 | creative camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022008997A JP2022008997A (en) | 2022-01-14 |
| JP7285291B2 true JP7285291B2 (en) | 2023-06-01 |
Family
ID=87579418
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021166686A Active JP7285291B2 (en) | 2018-05-07 | 2021-10-11 | creative camera |
| JP2023083816A Active JP7349044B2 (en) | 2018-05-07 | 2023-05-22 | creative camera |
| JP2023146062A Active JP7404587B2 (en) | 2018-05-07 | 2023-09-08 | creative camera |
| JP2023210355A Pending JP2024028968A (en) | 2018-05-07 | 2023-12-13 | creative camera |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023083816A Active JP7349044B2 (en) | 2018-05-07 | 2023-05-22 | creative camera |
| JP2023146062A Active JP7404587B2 (en) | 2018-05-07 | 2023-09-08 | creative camera |
| JP2023210355A Pending JP2024028968A (en) | 2018-05-07 | 2023-12-13 | creative camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (4) | JP7285291B2 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013101528A (en) | 2011-11-09 | 2013-05-23 | Sony Corp | Information processing apparatus, display control method, and program |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014222439A (en) | 2013-05-14 | 2014-11-27 | ソニー株式会社 | Information processing apparatus, part generating and using method, and program |
| JP6628354B2 (en) | 2015-09-07 | 2020-01-08 | 株式会社ハイスピードボーイズ | Server device, program, and communication system |
| US11237717B2 (en) | 2015-11-04 | 2022-02-01 | Sony Corporation | Information processing device and information processing method |
| DK179978B1 (en) | 2016-09-23 | 2019-11-27 | Apple Inc. | Image data for enhanced user interactions |
-
2021
- 2021-10-11 JP JP2021166686A patent/JP7285291B2/en active Active
-
2023
- 2023-05-22 JP JP2023083816A patent/JP7349044B2/en active Active
- 2023-09-08 JP JP2023146062A patent/JP7404587B2/en active Active
- 2023-12-13 JP JP2023210355A patent/JP2024028968A/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013101528A (en) | 2011-11-09 | 2013-05-23 | Sony Corp | Information processing apparatus, display control method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023116485A (en) | 2023-08-22 |
| JP2022008997A (en) | 2022-01-14 |
| JP2024028968A (en) | 2024-03-05 |
| JP7404587B2 (en) | 2023-12-25 |
| JP2023175756A (en) | 2023-12-12 |
| JP7349044B2 (en) | 2023-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11178335B2 (en) | Creative camera | |
| US20220070385A1 (en) | Creative camera | |
| JP6960513B2 (en) | Creative camera | |
| AU2022215297B2 (en) | Creative camera | |
| JP7285291B2 (en) | creative camera | |
| KR102357342B1 (en) | Creative camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211021 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211021 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230420 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230522 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7285291 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |