JP7073238B2 - クリエイティブカメラ - Google Patents
クリエイティブカメラ Download PDFInfo
- Publication number
- JP7073238B2 JP7073238B2 JP2018182607A JP2018182607A JP7073238B2 JP 7073238 B2 JP7073238 B2 JP 7073238B2 JP 2018182607 A JP2018182607 A JP 2018182607A JP 2018182607 A JP2018182607 A JP 2018182607A JP 7073238 B2 JP7073238 B2 JP 7073238B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- representation
- avatar
- subject
- affordance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 claims description 601
- 238000000034 method Methods 0.000 claims description 251
- 230000004044 response Effects 0.000 claims description 164
- 230000033001 locomotion Effects 0.000 claims description 130
- 230000008859 change Effects 0.000 claims description 86
- 238000001514 detection method Methods 0.000 claims description 60
- 230000015654 memory Effects 0.000 claims description 52
- 230000003213 activating effect Effects 0.000 claims description 38
- 230000014509 gene expression Effects 0.000 claims description 24
- 230000003068 static effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 302
- 238000004891 communication Methods 0.000 description 194
- 210000003128 head Anatomy 0.000 description 96
- 230000008569 process Effects 0.000 description 63
- 230000006870 function Effects 0.000 description 46
- 238000003860 storage Methods 0.000 description 45
- 230000006399 behavior Effects 0.000 description 42
- 230000009471 action Effects 0.000 description 35
- 230000036544 posture Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 25
- 230000003287 optical effect Effects 0.000 description 24
- 239000000203 mixture Substances 0.000 description 21
- 230000007704 transition Effects 0.000 description 20
- 241000283973 Oryctolagus cuniculus Species 0.000 description 19
- 230000002093 peripheral effect Effects 0.000 description 19
- 238000003825 pressing Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 15
- 230000001815 facial effect Effects 0.000 description 13
- 230000007246 mechanism Effects 0.000 description 13
- 241000258957 Asteroidea Species 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 238000007726 management method Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 11
- 241000699666 Mus <mouse, genus> Species 0.000 description 10
- 238000009499 grossing Methods 0.000 description 9
- 230000001149 cognitive effect Effects 0.000 description 7
- 230000000977 initiatory effect Effects 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 230000036541 health Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 210000005069 ears Anatomy 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 230000002085 persistent effect Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 241000699670 Mus sp. Species 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000004308 accommodation Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 238000010079 rubber tapping Methods 0.000 description 3
- 230000021317 sensory perception Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 235000019577 caloric intake Nutrition 0.000 description 1
- ZPUCINDJVBIVPJ-LJISPDSOSA-N cocaine Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- JTJMJGYZQZDUJJ-UHFFFAOYSA-N phencyclidine Chemical compound C1CCCCN1C1(C=2C=CC=CC=2)CCCCC1 JTJMJGYZQZDUJJ-UHFFFAOYSA-N 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005201 scrubbing Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000009528 vital sign measurement Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
- H04L51/046—Interoperability with other network applications or services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00095—Systems or arrangements for the transmission of the picture signal
- H04N1/00103—Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites
- H04N1/00106—Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites using land mobile radio networks, e.g. mobile telephone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
- H04N2201/3263—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of a graphical motif or symbol, e.g. Christmas symbol, logo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3273—Display
Description
関連出願の相互参照
本出願は、２０１８年５月７日に出願された「Ｃｒｅａｔｉｖｅ Ｃａｍｅｒａ」と題する米国仮特許出願第６２／６６８，２２７号に関連する。この出願の内容は、参照によりその全体が本明細書に組み込まれる。
本出願は、２０１８年５月７日に出願された「Ｃｒｅａｔｉｖｅ Ｃａｍｅｒａ」と題する米国仮特許出願第６２／６６８，２２７号に関連する。この出願の内容は、参照によりその全体が本明細書に組み込まれる。
本開示は、一般に、コンピュータユーザインタフェースに関し、より具体的には、ビジュアルエフェクトを表示するための技術に関する。
ビジュアルエフェクトを用いて、電子デバイスを使用してメディアをキャプチャ及び視聴する際のユーザエクスペリエンスを向上させる。ビジュアルエフェクトは、画像データの外観を変えることができ、又は画像内にキャプチャされた環境の理想化された、又は完全に架空の表現を表すことができる。
しかしながら、電子デバイスを使用してビジュアルエフェクトを表示するための一部の技術は、一般的に扱いにくく非効率である。例えば、一部の既存の技術では、複数回のキー押下又は打鍵を含む場合がある、複雑かつ時間のかかるユーザインタフェースが使用されている。既存の技術では、必要以上の時間が必要であり、ユーザの時間及びデバイスの電力を浪費する。後者の問題は、バッテリ動作デバイスにおいては特に重大である。
したがって、本技術は、電子デバイスに、ビジュアルエフェクトを表示するためのより速くより効率的な方法及びインタフェースを提供する。そのような方法及びインタフェースは、ビジュアルエフェクトを表示するための他の方法を、任意選択的に補完又は置換する。そのような方法及びインタフェースは、ユーザの認知負担を軽減し、より効率的なヒューマン－マシンインタフェースを生成する。バッテリ動作コンピューティングデバイスの場合には、そのような方法及びインタフェースにより、電力が節約され、バッテリを充電する間隔が増す。
方法について説明する。方法は、カメラと、表示装置と、１つ以上の入力デバイスとを有する電子デバイスにおいて実行される。方法は、表示装置を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンスを含むメッセージングユーザインタフェースを表示することと、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力を検出することと、第１の入力を検出したことに応じて、キャプチャアフォーダンスを含むカメラユーザインタフェースを表示することと、１つ以上の入力デバイスを介して、キャプチャアフォーダンスに向けられた第２の入力を検出することと、第２の入力を検出したことに応じて、カメラを使用して画像データをキャプチャすることと、キャプチャアフォーダンスの表示を停止することと、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示することと、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力を検出することと、第３の入力を検出したことに応じて、キャプチャされた画像データを第１の参加者に送信する処理を開始することと、を含む。
非一時的コンピュータ可読記憶媒体について説明する。非一時的コンピュータ可読記憶媒体は、カメラと、表示装置と、１つ以上の入力デバイスとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンスを含むメッセージングユーザインタフェースを表示し、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力を検出し、第１の入力を検出したことに応じて、キャプチャアフォーダンスを含むカメラユーザインタフェースを表示し、１つ以上の入力デバイスを介して、キャプチャアフォーダンスに向けられた第２の入力を検出し、第２の入力を検出したことに応じて、カメラを使用して画像データをキャプチャし、キャプチャアフォーダンスの表示を停止し、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示し、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力を検出し、第３の入力を検出したことに応じて、キャプチャされた画像データを第１の参加者に送信する処理を開始する、命令を含む。
一時的コンピュータ可読記憶媒体について説明する。一時的コンピュータ可読記憶媒体は、カメラと、表示装置と、１つ以上の入力デバイスとを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンスを含むメッセージングユーザインタフェースを表示し、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力を検出し、第１の入力を検出したことに応じて、キャプチャアフォーダンスを含むカメラユーザインタフェースを表示し、１つ以上の入力デバイスを介して、キャプチャアフォーダンスに向けられた第２の入力を検出し、第２の入力を検出したことに応じて、カメラを使用して画像データをキャプチャし、キャプチャアフォーダンスの表示を停止し、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示し、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力を検出し、第３の入力を検出したことに応じて、キャプチャされた画像データを第１の参加者に送信する処理を開始する、命令を含む。
電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、１つ以上の入力デバイスと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、表示装置を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンスを含むメッセージングユーザインタフェースを表示し、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力を検出し、第１の入力を検出したことに応じて、キャプチャアフォーダンスを含むカメラユーザインタフェースを表示し、１つ以上の入力デバイスを介して、キャプチャアフォーダンスに向けられた第２の入力を検出し、第２の入力を検出したことに応じて、カメラを使用して画像データをキャプチャし、キャプチャアフォーダンスの表示を停止し、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示し、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力を検出し、第３の入力を検出したことに応じて、キャプチャされた画像データを第１の参加者に送信する処理を開始する、命令を含む。
電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、１つ以上の入力デバイスと、表示装置を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンスを含むメッセージングユーザインタフェースを表示する手段と、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力を検出する手段と、第１の入力を検出したことに応じて、キャプチャアフォーダンスを含むカメラユーザインタフェースを表示する手段と、１つ以上の入力デバイスを介して、キャプチャアフォーダンスに向けられた第２の入力を検出する手段と、第２の入力を検出したことに応じて、カメラを使用して画像データをキャプチャし、キャプチャアフォーダンスの表示を停止し、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示する手段と、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力を検出する手段と、第３の入力を検出したことに応じて、キャプチャされた画像データを第１の参加者に送信する処理を開始する手段と、を含む。
方法について説明する。方法は、カメラと表示装置とを有する電子デバイスにおいて実行される。方法は、表示装置を介してカメラユーザインタフェースを表示することであって、カメラユーザインタフェースは、カメラを介してキャプチャされた画像データの表現を含むカメラ表示領域と、第１のカメラ表示モードに関連付けられた第１のアフォーダンスと、を含む、ことと、被写体がカメラの視野内に位置し、かつ、被写体及び背景の表現がカメラ表示領域に表示される間に、第１のアフォーダンスに向けられたジェスチャを検出することと、第１のアフォーダンス向けられたジェスチャを検出したことに応じて、第１のカメラ表示モードをアクティブ化することであって、第１のカメラ表示モードをアクティブ化することは、複数のアバターオプションのうちの選択された１つを含むアバター選択領域を表示することと、選択されたアバターオプションの表現を、カメラ表示領域内の被写体の表現上に表示することと、を含む、ことと、第１のカメラ表示モードがアクティブである間に、被写体の姿勢の変化を検出することと、被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更することと、を含む。
非一時的コンピュータ可読記憶媒体について説明する。非一時的コンピュータ読み可読記憶媒体は、カメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、カメラを介してキャプチャされた画像データの表現を含むカメラ表示領域と、第１のカメラ表示モードに関連付けられた第１のアフォーダンスと、を含む、カメラユーザインタフェースを表示し、被写体がカメラの視野内に位置し、かつ、被写体及び背景の表現がカメラ表示領域に表示される間に、第１のアフォーダンスに向けられたジェスチャを検出し、第１のアフォーダンス向けられたジェスチャを検出したことに応じて、第１のカメラ表示モードをアクティブ化し、第１のカメラ表示モードをアクティブ化することは、複数のアバターオプションのうちの選択された１つを含むアバター選択領域を表示することと、選択されたアバターオプションの表現を、カメラ表示領域内の被写体の表現上に表示することと、を含み、第１のカメラ表示モードがアクティブである間に、被写体の姿勢の変化を検出し、被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する、命令を含む。
一時的コンピュータ可読記憶媒体について説明する。一時的コンピュータ読み可読記憶媒体は、カメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、カメラを介してキャプチャされた画像データの表現を含むカメラ表示領域と、第１のカメラ表示モードに関連付けられた第１のアフォーダンスと、を含む、カメラユーザインタフェースを表示し、被写体がカメラの視野内に位置し、かつ、被写体及び背景の表現がカメラ表示領域に表示される間に、第１のアフォーダンスに向けられたジェスチャを検出し、第１のアフォーダンス向けられたジェスチャを検出したことに応じて、第１のカメラ表示モードをアクティブ化し、第１のカメラ表示モードをアクティブ化することは、複数のアバターオプションのうちの選択された１つを含むアバター選択領域を表示することと、選択されたアバターオプションの表現を、カメラ表示領域内の被写体の表現上に表示することと、を含み、第１のカメラ表示モードがアクティブである間に、被写体の姿勢の変化を検出し、被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する、命令を含む。
電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、表示装置を介して、カメラを介してキャプチャされた画像データの表現を含むカメラ表示領域と、第１のカメラ表示モードに関連付けられた第１のアフォーダンスと、を含む、カメラユーザインタフェースを表示し、被写体がカメラの視野内に位置し、かつ、被写体及び背景の表現がカメラ表示領域に表示される間に、第１のアフォーダンスに向けられたジェスチャを検出し、第１のアフォーダンス向けられたジェスチャを検出したことに応じて、第１のカメラ表示モードをアクティブ化し、第１のカメラ表示モードをアクティブ化することは、複数のアバターオプションのうちの選択された１つを含むアバター選択領域を表示することと、選択されたアバターオプションの表現を、カメラ表示領域内の被写体の表現上に表示することと、を含み、第１のカメラ表示モードがアクティブである間に、被写体の姿勢の変化を検出し、被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する、命令を含む。
電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、１つ以上の入力デバイスと、表示装置を介してカメラユーザインタフェースを表示する手段であって、カメラユーザインタフェースは、カメラを介してキャプチャされた画像データの表現を含むカメラ表示領域と、第１のカメラ表示モードに関連付けられた第１のアフォーダンスと、を含む、手段と、被写体がカメラの視野内に位置し、かつ、被写体及び背景の表現がカメラ表示領域に表示される間に、第１のアフォーダンスに向けられたジェスチャを検出する手段と、第１のアフォーダンス向けられたジェスチャを検出したことに応じて、第１のカメラ表示モードをアクティブ化する手段であって、第１のカメラ表示モードをアクティブ化することは、複数のアバターオプションのうちの選択された１つを含むアバター選択領域を表示することと、選択されたアバターオプションの表現を、カメラ表示領域内の被写体の表現上に表示することと、を含む、手段と、第１のカメラ表示モードがアクティブである間に、被写体の姿勢の変化を検出する手段と、被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する手段と、を含む。
方法について説明する。方法は、表示装置を有する電子デバイスにおいて実行される。方法は、表示装置を介して、メディアアイテムの表現を含むメディア表示領域と、エフェクトアフォーダンスとを含む、メディアユーザインタフェースを表示することと、エフェクトアフォーダンスに向けられたジェスチャを検出することと、エフェクトアフォーダンス向けられたジェスチャを検出したことに応じて、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプションを表示することと、を、を含み、メディアアイテムが対応する深度データに関連付けられているとの判定に従って、複数のエフェクトオプションが、深度データに基づいてエフェクトを適用するためのそれぞれのエフェクトオプションを含み、画像データが深度データを含まないとの判定に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない、ことを含む。
非一時的コンピュータ可読記憶媒体について説明する。非一時的コンピュータ読み可読記憶媒体は、表示装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、メディアアイテムの表現を含むメディア表示領域と、エフェクトアフォーダンスとを含む、メディアユーザインタフェースを表示し、エフェクトアフォーダンスに向けられたジェスチャを検出し、エフェクトアフォーダンス向けられたジェスチャを検出したことに応じて、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプションを表示する命令を含み、メディアアイテムが対応する深度データに関連付けられているとの判定に従って、複数のエフェクトオプションが、深度データに基づいてエフェクトを適用するためのそれぞれのエフェクトオプションを含み、画像データが深度データを含まないとの判定に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない、ことを含む。
一時的コンピュータ可読記憶媒体について説明する。一時的コンピュータ可読記憶媒体は、表示装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、メディアアイテムの表現を含むメディア表示領域と、エフェクトアフォーダンスとを含む、メディアユーザインタフェースを表示し、エフェクトアフォーダンスに向けられたジェスチャを検出し、エフェクトアフォーダンス向けられたジェスチャを検出したことに応じて、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプションを表示する命令を含み、メディアアイテムが対応する深度データに関連付けられているとの判定に従って、複数のエフェクトオプションが、深度データに基づいてエフェクトを適用するためのそれぞれのエフェクトオプションを含み、画像データが深度データを含まないとの判定に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない、ことを含む。
電子デバイスについて説明する。電子デバイスは、表示装置と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、表示装置を介して、メディアアイテムの表現を含むメディア表示領域と、エフェクトアフォーダンスとを含む、メディアユーザインタフェースを表示し、エフェクトアフォーダンスに向けられたジェスチャを検出し、エフェクトアフォーダンス向けられたジェスチャを検出したことに応じて、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプションを表示する命令を含み、メディアアイテムが対応する深度データに関連付けられているとの判定に従って、複数のエフェクトオプションが、深度データに基づいてエフェクトを適用するためのそれぞれのエフェクトオプションを含み、画像データが深度データを含まないとの判定に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない、ことを含む。
電子デバイスについて説明する。電子デバイスは、表示装置と、１つ以上の入力デバイスと、表示装置を介して、メディアアイテムの表現を含むメディア表示領域と、エフェクトアフォーダンスとを含む、メディアユーザインタフェースを表示する手段と、エフェクトアフォーダンスに向けられたジェスチャを検出する手段と、エフェクトアフォーダンス向けられたジェスチャを検出したことに応じて、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプションを表示する手段と、を含み、メディアアイテムが対応する深度データに関連付けられているとの判定に従って、複数のエフェクトオプションが、深度データに基づいてエフェクトを適用するためのそれぞれのエフェクトオプションを含み、画像データが深度データを含まないとの判定に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない、ことを含む。
方法について説明する。方法は、表示装置を有する電子デバイスにおいて実行される。方法は、表示装置を介して、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインタフェースを表示することであって、ライブビデオ通信ユーザインタフェースが、ライブビデオ通信セッションに参加する被写体の表現と、第１のアフォーダンスとを含む、ことと、第１のアフォーダンスに向けられたジェスチャを検出することと、第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、カメラエフェクトモードをアクティブ化し、ライブビデオ通信セッションに参加する被写体の表現のサイズを増大させることと、を含む。
非一時的コンピュータ可読記憶媒体について説明する。非一時的コンピュータ可読記憶媒体は、表示装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、ライブビデオ通信アプリケーションの、ライブビデオ通信セッションに参加する被写体の表現と、第１のアフォーダンスとを含むライブビデオ通信ユーザインタフェースを、表示装置を介して表示し、第１のアフォーダンスに向けられたジェスチャを検出し、第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、カメラエフェクトモードをアクティブ化し、ライブビデオ通信セッションに参加する被写体の表現のサイズを増大させる、命令を含む。
一時的コンピュータ可読記憶媒体について説明する。一時的コンピュータ読み可読記憶媒体は、表示装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、ライブビデオ通信アプリケーションの、ライブビデオ通信セッションに参加する被写体の表現と、第１のアフォーダンスとを含むライブビデオ通信ユーザインタフェースを、表示装置を介して表示し、第１のアフォーダンスに向けられたジェスチャを検出し、第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、カメラエフェクトモードをアクティブ化し、ライブビデオ通信セッションに参加する被写体の表現のサイズを増大させる、命令を含む。
電子デバイスについて説明する。電子デバイスは、表示装置と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、ライブビデオ通信アプリケーションの、ライブビデオ通信セッションに参加する被写体の表現と、第１のアフォーダンスとを含む、ライブビデオ通信ユーザインタフェースを、表示装置を介して表示し、第１のアフォーダンスに向けられたジェスチャを検出するし、第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、カメラエフェクトモードをアクティブ化し、ライブビデオ通信セッションに参加する被写体の表現のサイズを増大させる、命令を含む。
電子デバイスについて説明する。電子デバイスは、表示装置と、１つ以上の入力デバイスと、表示装置を介して、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインタフェースを表示する手段であって、ライブビデオ通信ユーザインタフェースが、ライブビデオ通信セッションに参加する被写体の表現と、第１のアフォーダンスとを含む、手段と、第１のアフォーダンスに向けられたジェスチャを検出する手段と、第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、カメラエフェクトモードをアクティブ化し、ライブビデオ通信セッションに参加する被写体の表現のサイズを増大させる、手段と、を含む。
方法について説明する。方法は、カメラと表示装置とを有する電子デバイスにおいて実行される。方法は、表示装置を介して、１つ以上のカメラを介してキャプチャされた画像データの表現を表示することであって、表現が被写体の表現を含み、かつ、画像データが被写体の深度データを含む深度データに対応する、ことと、表示装置を介して、被写体の表現の少なくとも一部の代わりに表示される仮想アバターの表現を表示することとであって、仮想アバターは、被写体の深度データに基づいて決定される、被写体の表現に対してシミュレーションされた深度に配置される、ことと、を含み、仮想アバターの表現を表示することは、深度データに基づいて、仮想アバターの第１の部分が、深度ベース表示基準であって、仮想アバターの第１の部分が被写体の対応する第１の部分の前にあるシミュレーションされた深度を有することを、被写体の深度データが示すという要求を含む、深度ベース表示基準のセットを満たすとの判定に従って、深度ベース表示基準が満たされるように、仮想アバターの表現の一部として、被写体の第１の部分の代わりに表示される仮想アバターの第１の部分の表現を含めることと、深度データに基づいて、仮想アバターの第１の部分が、被写体の第１の部分に対する深度ベース表示基準のセットを満たさないとの判定に従って、仮想アバターの表現から、仮想アバターの第１の部分の表現を除外し、仮想アバターの第１の部分によって占有されていたであろう領域に、被写体の第１の部分を表示することと、を含む。
非一時的コンピュータ可読記憶媒体について説明する。非一時的コンピュータ読み可読記憶媒体は、カメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、１つ以上のカメラを介してキャプチャされた画像データの表現を表示し、表現が被写体の表現を含み、かつ、画像データが被写体の深度データを含む深度データに対応し、表示装置を介して、被写体の表現の少なくとも一部の代わりに表示される仮想アバターの表現を表示する命令を含み、仮想アバターは、被写体の深度データに基づいて決定された被写体の表現に対してシミュレーションされた深度に配置され、仮想アバターの表現を表示することは、深度データに基づいて、仮想アバターの第１の部分が、深度ベース表示基準であって、仮想アバターの第１の部分が被写体の対応する第１の部分の前にあるシミュレーションされた深度を有することを、被写体の深度データが示すという要求を含む、深度ベース表示基準のセットを満たすとの判定に従って、深度ベース表示基準が満たされるように、仮想アバターの表現の一部として、被写体の第１の部分の代わりに表示される仮想アバターの第１の部分の表現を含めることと、深度データに基づいて、仮想アバターの第１の部分が、被写体の第１の部分に対する深度ベース表示基準のセットを満たさないとの判定に従って、仮想アバターの表現から、仮想アバターの第１の部分の表現を除外し、仮想アバターの第１の部分によって占有されていたであろう領域に、被写体の第１の部分を表示することと、を含む。
一時的コンピュータ可読記憶媒体について説明する。一時的コンピュータ可読記憶媒体は、カメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、表示装置を介して、１つ以上のカメラを介してキャプチャされた画像データの表現を表示し、表現が被写体の表現を含み、かつ、画像データが被写体の深度データを含む深度データに対応し、表示装置を介して、被写体の表現の少なくとも一部の代わりに表示される仮想アバターの表現を表示する命令を含み、仮想アバターは、被写体の深度データに基づいて決定された被写体の表現に対してシミュレーションされた深度に配置され、仮想アバターの表現を表示することは、深度データに基づいて、仮想アバターの第１の部分が、深度ベース表示基準であって、仮想アバターの第１の部分が被写体の対応する第１の部分の前にあるシミュレーションされた深度を有することを、被写体の深度データが示すという要求を含む、深度ベース表示基準のセットを満たすとの判定に従って、深度ベース表示基準が満たされるように、仮想アバターの表現の一部として、被写体の第１の部分の代わりに表示される仮想アバターの第１の部分の表現を含めることと、深度データに基づいて、仮想アバターの第１の部分が、被写体の第１の部分に対する深度ベース表示基準のセットを満たさないとの判定に従って、仮想アバターの表現から、仮想アバターの第１の部分の表現を除外し、仮想アバターの第１の部分によって占有されていたであろう領域に、被写体の第１の部分を表示することと、を含む。
電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含み、１つ以上のプログラムは、表示装置を介して、１つ以上のカメラを介してキャプチャされた画像データの表現を、表示し、表現が被写体の表現を含み、かつ、画像データが被写体の深度データを含む深度データに対応し、表示装置を介して、被写体の表現の少なくとも一部の代わりに表示される仮想アバターの表現を表示する命令を含み、仮想アバターは、被写体の深度データに基づいて決定された被写体の表現に対してシミュレーションされた深度に配置され、仮想アバターの表現を表示することは、深度データに基づいて、仮想アバターの第１の部分が、深度ベース表示基準であって、仮想アバターの第１の部分が被写体の対応する第１の部分の前にあるシミュレーションされた深度を有することを、被写体の深度データが示すという要求を含む、深度ベース表示基準のセットを満たすとの判定に従って、深度ベース表示基準が満たされるように、仮想アバターの表現の一部として、被写体の第１の部分の代わりに表示される仮想アバターの第１の部分の表現を含めることと、深度データに基づいて、仮想アバターの第１の部分が、被写体の第１の部分に対する深度ベース表示基準のセットを満たさないとの判定に従って、仮想アバターの表現から、仮想アバターの第１の部分の表現を除外し、と、仮想アバターの第１の部分によって占有されていたであろう領域に、被写体の第１の部分を表示することと、を含む。
電子デバイスについて説明する。電子デバイスは、カメラと、表示装置と、表示装置を介して、１つ以上のカメラを介してキャプチャされた画像データの表現を表示する手段であって、表現が被写体の表現を含み、かつ、画像データが被写体の深度データを含む深度データに対応する、手段と、表示装置を介して、被写体の表現の少なくとも一部の代わりに表示される仮想アバターの表現を表示する手段であって、仮想アバターは、被写体の深度データに基づいて決定された被写体の表現に対してシミュレーションされた深度に配置される、手段と、を含み、仮想アバターの表現を表示することは、深度データに基づいて、仮想アバターの第１の部分が、深度ベース表示基準であって、仮想アバターの第１の部分が被写体の対応する第１の部分の前にあるシミュレーションされた深度を有することを、被写体の深度データが示すという要求を含む、深度ベース表示基準のセットを満たすとの判定に従って、深度ベース表示基準が満たされるように、仮想アバターの表現の一部として、被写体の第１の部分の代わりに表示される仮想アバターの第１の部分の表現を含めることと、深度データに基づいて、仮想アバターの第１の部分が、被写体の第１の部分に対する深度ベース表示基準のセットを満たさないとの判定に従って、仮想アバターの表現から、仮想アバターの第１の部分の表現を除外し、仮想アバターの第１の部分によって占有されていたであろう領域に、被写体の第１の部分を表示することと、を含む。
これらの機能を実行するための実行可能命令は、任意選択的に、非一時的コンピュータ可読記憶媒体、又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。これらの機能を実行するための実行可能命令は、任意選択的に、一時的コンピュータ可読記憶媒体、又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
このため、ビジュアルエフェクトを表示するための、より速く、より効率的な方法及びインタフェースがデバイスに提供され、それによって、そのようなデバイスの有効性、効率、及びユーザ満足度が増す。そのような方法及びインタフェースは、ビジュアルエフェクトを表示するための他の方法を補完又は置換できる。
説明される様々な実施形態を良好に理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきである。ここで、類似の参照番号は、それらの図全体を通じて、対応する部分を指す。
以下の説明では、例示的な方法、パラメータなどが記載される。しかし、そのような説明の目的は、本開示の範囲を制限することではなく、例示的な実施形態の説明を提供することであることを理解されたい。
ビジュアルエフェクトを表示するための効率的な方法及びインタフェースを提供する電子デバイスが必要とされている。例えば、ビジュアルエフェクトを表示するためのプログラムがすでに存在するが、これらのプログラムは、ユーザが様々なアプリケーションにおいてビジュアルエフェクトを表示することができる、以下の技術に比べて非効率で使いにくい。かかる技術によって、アプリケーションにおいてビジュアルエフェクトを表示するユーザの認知負担を軽減し、それによって生産性を向上させることができる。更に、そのような技術は、通常であれば冗長なユーザ入力に対して浪費される、プロセッサ及びバッテリの電力を低減することができる。
以下、図１Ａ～図１Ｂ、図２、図３、図４Ａ～図４Ｂ、及び図５Ａ～図５Ｂは、イベント通知を管理する技術を実行するための例示的なデバイスの説明を提供する。
図６Ａ～図６ＢＱは、メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。図７Ａ及び図７Ｂは、一部の実施形態に係る、メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。図６Ａ～図６ＢＱのユーザインタフェースを使用して、図７Ａ及び図７Ｂの処理を含む、以下で説明する処理を示す。
図８Ａ～図８ＢＱは、カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。図９Ａ及び図９Ｂは、一部の実施形態に係る、カメラアプリケーションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。図８Ａ～図８ＢＱのユーザインタフェースを使用して、図９Ａ及び図９Ｂの処理を含む、以下で説明する処理を示す。
図１０Ａ～図１０ＡＬは、カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。図１１Ａ及び図１１Ｂは、一部の実施形態に係る、メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。図１０Ａ～図１０ＡＬのユーザインタフェースを使用して、図１１Ａ及び図１１Ｂのプロセスを含む、以下で説明する処理を示す。
図１２Ａ～図１２ＡＰは、ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。図１３Ａ及び図１３Ｂは、一部の実施形態に係る、ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。図１２Ａ～図１２ＡＰのユーザインタフェースを使用して、図１３Ａ及び１３Ｂのプロセスを含む、以下で説明するプロセスを示す。
図１４Ａ～図１４Ｍは、カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。図１５Ａ及び図１５Ｂは、一部の実施形態に係る、カメラアプリケーションにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。図１４Ａ～図１４Ｍのユーザインタフェースを使用して、図１５Ａ及び図１５Ｂのプロセスを含む、以下で説明するプロセスを示す。
以下の説明では、さまざまな要素を説明するために「第１」、「第２」などの用語が使用されるが、これらの要素はこれらの用語によって限定されるべきではない。これらの用語は、１つの要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第１のタッチは第２のタッチと称することができ、同様に、第２のタッチは第１のタッチと称し得る。第１のタッチ及び第２のタッチは共にタッチであるが、同じタッチではない。
本明細書で説明される様々な実施形態の説明で使用される用語は、特定の実施形態を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施形態の説明及び添付の特許請求の範囲で使用されるように、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図される。本明細書で使用されるように、用語「ａｎｄ／ｏｒ（及び／又は）」は、関連する列挙された項目のうちの１つ以上の任意のすべての可能な組合せを指し、かつこれを含むことをもまた理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む）」は、本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
任意選択的に、用語「ｉｆ（～場合に）」は、文脈に応じて「ｗｈｅｎ（～時に）」、「ｕｐｏｎ（～すると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～という判定に応じて）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（～を検出したことに応じて）」を意味すると解釈される。同様に、語句「ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ（～と判定される場合）」又は「ｉｆ（ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ）ｉｓ ｄｅｔｅｃｔｅｄ（（述べられる条件又はイベント）が検出される場合）」は、任意選択で、文脈に依存して「ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ（～と判定すると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～と判定したことに応じて）」、「ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ（ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ）（（述べられる条件又はイベント）を検出すると）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ）（（述べられる条件又はイベント）を検出したことに応じて）」を意味するものと解釈される。
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用するための関連するプロセスの実施形態を説明する。一部の実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、モバイル電話機などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態には、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）及びｉＰａｄ（登録商標）デバイスが挙げられるが、これらに限定されない。タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えたラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスも、任意選択的に、使用される。一部の実施形態では、デバイスがポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えたデスクトップコンピュータであることもまた理解されたい。
以下の議論では、ディスプレイ及びタッチ感知面を含む電子デバイスが説明される。しかしながら、電子デバイスが物理キーボード、マウス、及び／又はジョイスティックなどの、１つ以上の他の物理ユーザインタフェースデバイスを任意選択的に含むことを理解されたい。
このデバイスは、一般的に、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上などの様々なアプリケーションをサポートする。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、任意選択的に、調節及び／又は変更される。このように、デバイスの共通の（タッチ感知面などの）物理アーキテクチャは、ユーザにとって直観的かつ透過的なユーザインタフェースを備える様々なアプリケーションを、任意選択的にサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、一部の実施形態による、タッチ感知ディスプレイシステム１１２を備えるポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれる場合があり、「タッチ感知ディスプレイシステム」として既知であるか又は呼ばれる場合もある。デバイス１００は、（１つ以上のコンピュータ可読記憶媒体を任意選択的に含む）メモリ１０２、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、他の入力制御デバイス１１６、及び外部ポート１２４を含む。デバイス１００は、１つ以上の光センサ１６４を任意選択的に含む。デバイス１００は、デバイス１００（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）上の接触の強度を検出するための、１つ以上の接触強度センサ１６５を任意選択的に含む。デバイス１００は、デバイス１００上に触知出力を生成する（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などの、タッチ感知面上に触知出力を生成する）ための、１つ以上の触知出力生成器１６７を、任意選択的に含む。これらの構成要素は、１つ以上の通信バス又は信号ライン１０３を介して任意選択的に通信する。
本明細書及び特許請求の範囲で使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指接触）の力若しくは圧力（単位面積当りの力）、又はタッチ感知面上の接触の力若しくは圧力の代替物（代用物）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、何百もの（例えば、少なくとも２５６個の）別個の値を含む値範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組合せを使用して判定（又は、測定）される。例えば、タッチ感知面の下に又はこれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々な点における力を測定するために使用される。一部の実装形態では、複数の力センサからの力測定値は、接触の力の推定値を判定するために組み合わされる（例えば、加重平均）。同様に、スタイラスの感圧性先端部は、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触領域のサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化が、タッチ感知面上の接触の力又は圧力の代替物として、任意選択的に用いられる。一部の実装形態では、接触の力又は圧力に対する代替的測定値は、強度閾値を超えているかを判定するために直接使用される（例えば、強度閾値は、代替的測定値に対応する単位で説明される）。一部の実装形態では、接触の力又は圧力に対する代替的測定値は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超えているかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。接触の強度をユーザ入力の属性として使用することによって、アフォーダンスを表示するための（例えば、タッチ感知ディスプレイ上で）、及び／又は、ユーザ入力を受信するための（例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタンなどの物理的／機械的制御部を介して）、面積が制限されている、低減されたサイズのデバイス上で別途ユーザによってアクセスすることができないことがある追加的なデバイス機能へのユーザのアクセスが可能となる。
本明細書及び特許請求の範囲で使用されるとき、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの前の位置に対するデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）のデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素がタッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性における認識された変化に相当する触感として、ユーザによって解釈される。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、任意選択的に、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として解釈される。一部の場合では、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触知感を感じる。別の実施例として、タッチ感知面の移動は、任意選択的に、タッチ感知面の平滑度において変化がないときでさえ、ユーザによってタッチ感知面の「粗さ」として解釈又は感知される。ユーザによるそのようなタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。よって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」、「ダウンクリック」、「粗さ」）に対応するものとして説明されるとき、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの説明された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
デバイス１００は、ポータブル多機能デバイスの一実施例に過ぎず、デバイス１００は、示されているものよりも多くの構成要素又は少ない構成要素を任意選択的に有し、２つ以上の構成要素を任意選択的に組み合せて、又は構成要素の異なる構成若しくは配置を任意選択的に有することを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア又はハードウェア及びソフトウェアの双方の組み合わせで実装される。
メモリ１０２は、高速ランダムアクセスメモリを任意選択的に含み、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリもまた任意選択的に含む。メモリコントローラ１２２は、任意選択的に、デバイス１００の他の構成要素によるメモリ１０２へのアクセスを制御する。
周辺機器インタフェース１１８を使用して、本デバイスの入力及び出力周辺機器を、ＣＰＵ１２０及びメモリ１０２に接続することができる。１つ以上のプロセッサ１２０は、デバイス１００のための様々な機能を実行するため並びにデータを処理するために、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる、又は実行する。一部の実施形態では、周辺機器インタフェース１１８、ＣＰＵ１２０、及びメモリコントローラ１２２は、チップ１０４などの単一チップ上に任意選択的に実装される。一部の他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
ＲＦ（ｒａｄｉｏ ｒｅｑｕｅｎｃｙ）（無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（ＳＩＭ）カード、及びメモリなどを含むがこれらに限定されない、それらの機能を実行するための周知の回路を任意選択的に含む。ＲＦ回路１０８は任意選択で、ワールドワイドウェブ（ＷＷＷ）とも称されるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークと、他のデバイスと無線通信によって通信する。ＲＦ回路１０８は、近距離通信無線などによる近距離通信（ＮＦＣ）（near field communication）フィールドを検出するための周知の回路を任意選択的に含む。無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを、任意選択的に使用し、それらの通信規格、通信プロトコル、及び通信技術としては、移動通信用のグローバルシステム（Global System for Mobile Communications、ＧＳＭ（登録商標））、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケット接続（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケット接続（high-speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ，Ｄａｔａ－Ｏｎｌｙ（ＥＶ－ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、２重セルＨＳＰＡ（Dual-Cell HSPA、ＤＣ－ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離無線通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ－ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）Ｌｏｗ Ｅｎｅｒｇｙ（ＢＴＬＥ）、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ－Ｆｉ）（登録商標）（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、ＩＥＥＥ ８０２．１１ｎ、及び／又はＩＥＥＥ ８０２．１１ａｃ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ－ＭＡＸ、電子メール用のプロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／又はポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、及び／又はショートメッセージサービス（Short Message Service、ＳＭＳ）、あるいは本文書の出願日現在までにまだ開発されていない通信プロトコルを含めた任意の他の好適な通信プロトコルが挙げられるが、これらに限定されない。
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８から音声データを受信し、その音声データを電気信号に変換し、その電気信号をスピーカ１１１に送信する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。オーディオ回路１１０はまた、マイクロフォン１１３により音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号を音声データに変換し、音声データを処理のために周辺機器インタフェース１１８に送信する。音声データは任意選択で、周辺機器インタフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、並びに／又はメモリ１０２及び／若しくはＲＦ回路１０８へ送信される。一部の実施形態では、オーディオ回路１１０はヘッドセットジャック（例えば、図２の２１２）を更に含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば、片耳又は両耳用のヘッドホン）及び入力（例えば、マイクロフォン）の双方を有するヘッドセットなどの、取り外し可能なオーディオ入出力周辺機器と、の間のインタフェースを提供する。
Ｉ／Ｏサブシステム１０６は、周辺機器インタフェース１１８に、タッチスクリーン１１２及び他の入力制御デバイス１１６などのデバイス１００の入出力周辺機器を結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び他の入力若しくは制御デバイスのための１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、電気信号を、他の入力制御デバイス１１６から受信／他の入力制御デバイス１１６に送信する。他の入力制御デバイス１１６は、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイアル、スライダスイッチ、ジョイスティック、クリックホイールなどを任意選択的に含む。一部の代替的実施形態では、入力コントローラ（単数又は複数）１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに連結される（又は、いずれにも連結されない）。１つ以上のボタン（例えば、図２の２０８）は、スピーカ１１１及び／又はマイクロフォン１１３の音量調節のためのアップ／ダウンボタンを任意選択的に含む。１つ以上のボタンは、プッシュボタン（例えば、図２の２０６）を任意選択的に含む。
２００５年１２月２３日に出願された、米国特許第７，６５７，８４９号である米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」（この特許は、その全体が本明細書において参照により組み込まれる）に記載されているように、任意選択的に、プッシュボタンの素早い押圧により、タッチスクリーン１１２のロックを解除するか、又はデバイスのロック解除にタッチスクリーン上のジェスチャを用いる処理を任意選択的に開始する。プッシュボタン（例えば、２０６）をより長く押圧することにより、任意選択的にデバイス１００の電源をオンオフする。ボタンのうちの１つ以上の機能は、任意選択的に、ユーザカスタマイズ可能である。タッチスクリーン１１２は、仮想ボタン又はソフトボタン及び１つ以上のソフトキーボードを実装するために使用される。
タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、電気信号を、タッチスクリーン１１２から受信及び／又はタッチスクリーン１１２に送信する。タッチスクリーン１１２は、ユーザに視覚出力を表示する。視覚出力は、グラフィック、テキスト、アイコン、ビデオ及びこれらの任意の組み合わせ（総称して「グラフィック」と称する）を任意選択的に含む。一部の実施形態では、任意選択的に、視覚出力の一部又はすべてはユーザインタフェースオブジェクトに対応する。
タッチスクリーン１１２は、触覚及び／又は触知接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、若しくはセンサのセットを有している。タッチスクリーン１１２及びディスプレイコントローラ１５６は（メモリ１０２内の任意の関連モジュール及び／又は命令セットと共に）、タッチスクリーン１１２上で接触（及び任意の接触の移動又は中断）を検出し、その検出された接触をタッチスクリーン１１２上に表示されたユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ又は画像）との対話に変換する。例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン１１２は任意選択的に、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術又はＬＥＤ（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチスクリーン１１２及びディスプレイコントローラ１５６は、静電容量技術、抵抗性技術、赤外線技術、及び表面超音波技術、並びに、タッチスクリーン１１２との１つ以上の接触点を判定するための他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在公知の若しくは後日に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及び任意の移動又はその中断を、任意選択的に検出する。例示的な実施形態では、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．によるｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）において見られるような、投影型相互静電容量感知技術が使用されている。
タッチスクリーン１１２の一部の実施形態におけるタッチ感知ディスプレイは、任意選択的に、以下の米国特許、第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、及び／又は第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、及び／又は米国特許出願公開第２００２／００１５０２４（Ａ１）号に記載されているマルチタッチ感知タッチパッドに類似する。これらの文献は、それぞれその全体が本明細書において参照により組み込まれている。しかし、タッチスクリーン１１２は、デバイス１００からの視覚出力を表示するのに対して、タッチ感知タッチパッドは、視覚出力を提供しない。
タッチスクリーン１１２の一部の実施形態におけるタッチ感知ディスプレイは、以下の出願で説明されている。（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の同第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の同第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の同第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の同第１１／０３８，５９０号、「Ｍｏｄｅ－Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の同第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の同第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の同第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ－Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日出願の同第１１／３６７，７４９号、「Ｍｕｌｔｉ－Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ－Ｈｅｌｄ Ｄｅｖｉｃｅ」。これらの出願のすべては、全体が参照により本明細書に組み込まれる。
タッチスクリーン１１２は、任意選択的に、１００ｄｐｉを超えるビデオ解像度を有する。一部の実施形態では、タッチスクリーンは約１６０ｄｐｉのビデオ解像度を有する。ユーザは、スタイラス、指などの任意の好適な物体又は付属器を使用して、タッチスクリーン１１２と任意選択的に接触する。一部の実施形態では、ユーザインタフェースは、主として指に基づく接触及びジェスチャと作用するように設計され、タッチスクリーン上の指の接触面積が広いことに起因して、スタイラスを基準とした入力よりも精度が低いことがある。一部の実施形態では、デバイスは、指に基づく粗い入力を正確なポインタ／カーソル位置又はユーザの望むアクションを実行するためのコマンドに変換する。
一部の実施形態では、タッチスクリーンに加えて、デバイス１００は、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッドを任意選択的に含む。一部の実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン１１２とは別個のタッチ感知面又はタッチスクリーンによって形成されたタッチ感知面の拡張部である。
デバイス１００はまた、様々な構成要素に電力を供給するための電力システム１６２を含む。電力システム１６２は任意選択で、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配と関連付けられた任意の他の構成要素を含む。
デバイス１００はまた任意選択で、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に接続された光センサを示す。光センサ１６４は、電荷結合デバイス（ＣＣＤ）又は相補的金属酸化物半導体（ＣＭＯＳ）フォトトランジスタを、任意選択的に含む。光センサ１６４は、１つ以上のレンズを通して投影された、環境からの光を受光し、その光を、画像を表現するデータに変換する。撮像モジュール１４３（カメラモジュールとも称する）と併用して、光センサ１６４は、静止画像又はビデオを任意選択的にキャプチャする。一部の実施形態では、タッチスクリーンディスプレイを静止画像及び／又はビデオ画像取得のためのビューファインダとして有効化するように、光センサは、デバイスの前面のタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。一部の実施形態では、任意選択的に、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見るのと同時に、そのユーザの画像をテレビ会議のために得るように、デバイスの前面に光センサが配置されている。一部の実施形態では、光センサ１６４の位置は、ユーザによって（例えば、デバイス筐体内のレンズ及びセンサを回転させることによって）変更することができ、それにより、テレビ会議並びに静止画像及び／又はビデオ画像の取得の双方のために、単一の光センサ１６４を、タッチスクリーンディスプレイと共に使用する。
デバイス１００はまた、１つ以上の深度カメラセンサ１７５を任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内のカメラコントローラ１６９に結合された、深度カメラセンサを示す。深度カメラセンサ１７５は、環境からデータを受信して、視点（例えば、深度カメラセンサ）からのシーン内のオブジェクト（例えば、顔）の３次元モデルを生成する。一部の実施形態では、撮像モジュール１４３（カメラモジュールとも呼ばれる）と共に深度カメラセンサ１７５を任意選択的に使用して、撮像モジュール１４３によってキャプチャされた画像の異なる部分の深度マップを判定する。一部の実施形態では、深度カメラセンサがデバイス１００の前面に配置され、ユーザが、タッチスクリーンディスプレイ上で他のテレビ会議参加者を見ている間に、かつ、深度マップデータを用いて自撮りをキャプチャできるように、深度情報を有するユーザの画像を、テレビ会議のために任意選択的に取得することができる。一部の実施形態では、深度カメラセンサ１７５は、デバイスの背面、又はデバイス１００の背面及び前面に配置される。一部の実施形態では、深度カメラ１７５の位置をユーザが（例えば、デバイス筐体内のレンズ及びセンサを回転させることによって）変更することができ、深度カメラセンサ１７５を、テレビ会議並びに静止画像及び／又はビデオ画像の取得の両方のために、タッチスクリーンディスプレイと共に使用することができる。
一部の実施形態では、深度マップ（例えば、深度マップ画像）は、視点（例えば、カメラ、光センサ、深度カメラセンサ）からのシーン内のオブジェクトの距離に関する情報（例えば、値）を含む。深度マップの一実施形態では、各深度ピクセルは、その対応する２次元ピクセルが配置される、視点のＺ軸内の位置を規定する。一部の実施形態では、深度マップは、各ピクセルが値（例えば、０～２５５）によって定義されるピクセルから構成される。例えば、「０」値は、「３次元」シーンにおける最も離れた位置に配置されるピクセルを表し、「２５５」値は、「３次元」シーンにおける視点（例えば、カメラ、光センサ、深度カメラセンサ）に最も近いピクセルを表す。他の実施形態では、深度マップは、シーン内のオブジェクトと視点の平面との間の距離を表す。一部の実施形態では、深度マップは、深度カメラの視点における関心あるオブジェクトの様々な特徴の相対的深度（例えば、ユーザの顔の目、鼻、口、耳の相対的深度）についての情報を含む。一部の実施形態では、深度マップは、ｚ方向の関心あるオブジェクトの輪郭をデバイスが判定することを可能にする情報を含む。
デバイス１００はまた、１つ以上の接触強度センサ１６５を任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された、接触強度センサを示す。接触強度センサ１６５は、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面又は他の強度センサ（例えば、タッチ感知面上の接触の力（又は圧力）を測定するために使用するセンサ）を、任意選択的に含む。接触強度センサ１６５は、周辺環境から接触強度情報（例えば、圧力情報又は圧力情報の代用物）を受信する。一部の実施形態において、少なくとも１つの接触強度センサが、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又は、それに近接している。一部の実施形態では、少なくとも１つの接触強度センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。
デバイス１００はまた、１つ以上の近接センサ１６６を任意選択的に含む。図１Ａは、周辺機器インタフェース１１８に結合された近接センサ１６６を示す。あるいは、近接センサ１６６は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に接続される。近接センサ１６６は、任意選択的に、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、同第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び同第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で説明されるように任意選択的に実行してもよく、これらはその全体が参照により本明細書に組み込まれる。一部の実施形態において、多機能デバイスがユーザの耳の近くに配置されている場合（例えば、ユーザが電話通話を行っている場合）、近接センサは、タッチスクリーン１１２をオフにし無効にする。
デバイス１００はまた、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に連結された触知出力生成器を示す。触知出力生成器１６７は、スピーカ又は他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などの、エネルギを直線運動に変換する電気機械デバイスを、任意選択的に含む。接触強度センサ１６５は、触覚フィードバックモジュール１３３から触覚フィードバック生成命令を受信し、デバイス１００のユーザが感知できる触知出力をデバイス１００上で生成する。一部の実施形態において、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は横方向（例えば、デバイス１００の表面と同じ平面内の前後）に動かすことによって、触知出力を生成する。一部の実施形態において、少なくとも１つの触知出力生成器センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２の反対側である、デバイス１００の背面に配置されている。
デバイス１００はまた、１つ以上の加速度計１６８を任意選択的に含む。図１Ａは、周辺機器インタフェース１１８に結合された加速度計１６８を示す。あるいは、加速度計１６８は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に任意選択的に結合される。加速度計１６８は、任意選択的に、米国特許出願公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ－ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び同第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」で説明されるように機能するものであり、これらの文献の双方は、全体が参照により本明細書に組み込まれる。一部の実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、縦長表示又は横長表示でタッチスクリーンディスプレイ上に表示される。デバイス１００は、加速度計（単数又は複数）１６８に加えて、磁気計並びにデバイス１００の位置及び向き（例えば、縦方向又は横方向）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信機を任意選択的に含む。
一部の実施形態では、メモリ１０２に記憶されたソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System）（ＧＰＳ）モジュール（又は命令セット）１３５及びアプリケーション（又は命令セット）１３６を含む。更に、一部の実施形態において、図１Ａ及び図３に示すように、メモリ１０２（図１Ａ）又はメモリ３７０（図３）は、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、以下の１つ以上を含む：現在アクティブ状態のアプリケーションがある場合、どのアプリケーションがアクティブかを示す、アクティブアプリケーション状態、どのアプリケーション、ビュー又は他の情報がタッチスクリーンディスプレイ１１２の様々な領域を占領しているかを示す、表示状態、デバイスの様々なセンサ及び入力制御デバイス１１６から取得される情報を含む、センサ状態、並びに、デバイスの位置及び／又は姿勢に関する位置情報。
オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ（登録商標）、ＲＴＸＣ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ（登録商標）、ｉＯＳ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ（登録商標）などの組み込みオペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御及び管理するための様々なソフトウェアコンポーネント及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus）（ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えば、インターネット、無線ＬＡＮなど）を通して間接的に、他のデバイスに連結するように適応している。一部の実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同じか、若しくは同様のマルチピン（例えば、３０ピン）コネクタ、及び／又は互換性のあるマルチピン（例えば、３０ピン）コネクタである。
接触／動きモジュール１３０は、（ディスプレイコントローラ１５６と連携して）タッチスクリーン１１２及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を任意選択的に検出する。接触／動きモジュール１３０は、接触が生じたか否かを判定すること（例えば、指を下ろすイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定すること、接触の移動が存在するか否かを判定し、タッチ感知面を横断する移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が停止したか否かを判定すること（例えば、指を上げるイベント又は接触の中断を検出すること）などの、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データにより表される接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、並びに／又は加速度（大きさ及び／又は方向における変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。一部の実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
一部の実施形態では、接触／動きモジュール１３０は、ユーザによって動作が実行されたか否かを判定するための（例えば、ユーザがアイコン上で「クリック」したか否かを判定するための）、１つ以上の強度閾値のセットを使用する。一部の実施形態では、強度閾値の少なくともサブセットは、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によっては判定されず、デバイス１００の物理ハードウェアを変更することなく調整することができる）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の予め定義された閾値のうちのいずれかに設定されてもよい。加えて、一部の実装形態では、デバイスのユーザは、強度閾値のセットのうちの１つ以上を調整するためのソフトウェア設定が提供される（例えば、個々の強度閾値を調整することによって、及び／又はシステムレベルのクリック「強度」パラメータで一度に複数の強度閾値を調整することによって）。
接触／動きモジュール１３０は、ユーザによるジェスチャ入力を任意選択的に検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン（例えば、検出される接触の異なる動き、タイミング、及び／又は強度）を有する。このように、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指のタップジェスチャを検出することは、（例えば、アイコンの位置での）指を下ろすイベントを検出し、続いてその指を下ろすイベントと同じ位置（又は、実質的に同じ位置）で指を上げる（リフトオフ）イベントを検出することを含む。別の実施例として、タッチ感知面上での指のスワイプジェスチャを検出することは、指を下ろすイベントを検出し、続いて、１つ以上の、指をドラッグするイベントを検出し、その後、続いて指を上げる（リフトオフ）イベントを検出することを含む。
グラフィックモジュール１３２は、表示されるグラフィックの視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を変更するための構成要素を含む、タッチスクリーン１１２又は他のディスプレイ上にグラフィックをレンダリングして表示するための、様々な既知のソフトウェア構成要素を含む。本明細書で使用されるとき、用語「グラフィック」は、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなどを含むがこれらに限定はされない、ユーザに対して表示することができる任意のオブジェクトを含む。
一部の実施形態では、グラフィックモジュール１３２は、使用予定のグラフィックを表すデータを記憶する。各グラフィックは任意選択で、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次いで、ディスプレイコントローラ１５６に出力する画面の画像データを生成する。
触覚フィードバックモジュール１３３は、デバイス１００とのユーザ対話に応じて、デバイス１００上の１つ以上の位置で触知出力を生成するために、触知出力生成器（単数又は複数）１６７によって使用される命令を生成する様々なソフトウェア構成要素を含む。
テキスト入力モジュール１３４は任意選択的に、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの位置を判定し、この情報を、様々なアプリケーションでの使用のために提供する（例えば、位置に基づく電話での使用のために電話１３８へ、写真／ビデオメタデータとしてカメラ１４３へ、並びに、天気ウィジェット、ローカルイエローページウィジェット及び地図／ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ）。
アプリケーション１３６は、以下のモジュール（若しくは命令セット）、又はそれらのサブセット若しくはスーパーセットを任意選択的に含む。
●連絡先モジュール１３７（場合により、アドレス帳又は連絡先リストとも呼ぶ）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●天気ウィジェット１４９－１、株式ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作成するためのウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを統合した、ビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、及び／又は
●オンラインビデオモジュール１５５。
●連絡先モジュール１３７（場合により、アドレス帳又は連絡先リストとも呼ぶ）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●天気ウィジェット１４９－１、株式ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作成するためのウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを統合した、ビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、及び／又は
●オンラインビデオモジュール１５５。
任意選択的にメモリ１０２内に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と共に、連絡先モジュール１３７は、（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２に記憶される）アドレスブック又は連絡先リストを管理するために任意選択的に用いられ、それには、アドレスブックに名前（単数又は複数）を加えること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、住所（単数又は複数）、又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類かつ並べ替えること、電話番号又は電子メールアドレスを提供して、電話１３８、テレビ会議モジュール１３９、電子メール１４０、又はＩＭ１４１による通信を開始する及び／又は容易にすること、などが含まれる。
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電話モジュール１３８は、任意選択的に、電話番号に対応する一連の文字を入力し、連絡先モジュール１３７内の１つ以上の電話番号にアクセスし、入力された電話番号を修正し、対応する電話番号をダイアルし、会話を行い、そして、会話が完了した際に接続を切るか又は電話を切るために、使用する。上述のように、無線通信は、複数の通信規格、プロトコル、及び技術のうちのいずれかを任意選択的に使用する。
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先モジュール１３７、及び電話モジュール１３８と連携して、テレビ会議モジュール１３９は、ユーザの指示に従って、ユーザと１人以上の他の参加者との間のテレビ会議を開始し、遂行し、終了するための、実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電子メールクライアントモジュール１４０は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理するための、実行可能な命令を含む。画像管理モジュール１４４と連携して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールを作成及び送信することを非常に容易にする。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、インスタントメッセージングモジュール１４１は、インスタントメッセージに対応する文字列を入力したり、入力済の文字を修正したり、（例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス（ＳＭＳ）若しくはマルチメディアメッセージサービス（ＭＭＳ）プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用して）対応するインスタントメッセージを送信したり、インスタントメッセージを受信したり、及び受信したインスタントメッセージを閲覧したりする、実行可能な命令を含む。一部の実施形態では、送信及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるような、グラフィック、写真、音声ファイル、ビデオファイル、及び／又は他の添付ファイルを含む。本明細書において使用するとき、「インスタントメッセージング」とは、電話ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）及びインターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）の双方を指す。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４及び音楽プレーヤモジュールと連携して、トレーニングサポートモジュール１４２は、（例えば、時間、距離及び／又はカロリー消費目標を有する）トレーニングを作成する、トレーニングセンサ（スポーツデバイス）と通信することと、トレーニングセンサデータを受信することと、トレーニングをモニタするために使用されるセンサを較正することと、トレーニングのための音楽を選択し、再生することと、トレーニングデータを表示し、記憶し、送信すること。
タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と連携して、カメラモジュール１４３は、静止画像若しくは（ビデオストリームを含む）ビデオをキャプチャしてメモリ１０２にそれらを記憶する、静止画像若しくはビデオの特性を変更する、又はメモリ１０２から静止画像若しくはビデオを削除する、実行可能な命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４及びカメラモジュール１４３と連携して、画像管理モジュール１４４は、静止画像及び／又はビデオ画像を配置し、修正し（例えば、編集し）又は別の方法で操作し、ラベルを付け、削除し、（例えば、デジタルスライドショー又はアルバムにおいて）提示し、記憶するための、実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及び、テキスト入力モジュール１３４と連携して、ブラウザモジュール１４７は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付及び他のファイルを検索し、リンク付けし、受信し、表示することを含むユーザの指示に従い、インターネットを閲覧する実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、カレンダモジュール１４８は、ユーザの指示に従い、カレンダ及びカレンダに関連付けられたデータ（例えば、カレンダ項目、ｔｏ ｄｏリストなど）を作成し、表示し、変更し、記憶する実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と併せて、ウィジェットモジュール１４９は、ユーザによって任意選択的にダウンロードされて使用されるミニアプリケーション（例えば、気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、及び辞書ウィジェット１４９－５）、又はユーザによって作成されるミニアプリケーション（例えば、ユーザ作成ウィジェット１４９－６）である。一部の実施形態では、ウィジェットは、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）（ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ）（カスケーディングスタイルシート）ファイル及びＪａｖａＳｃｒｉｐｔファイルを含む。一部の実施形態では、ウィジェットは、ＸＭＬ（拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、ウィジェットクリエータモジュール１５０は、任意選択的に、ウィジェットを作成する（例えば、ウェブページのユーザ指定箇所をウィジェットに変える）ために、ユーザによって使用する。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、検索モジュール１５１は、ユーザの指示に従い、１つ以上の検索基準（例えば、１つ以上のユーザ指定の検索語句）と一致する、メモリ１０２内のテキスト、音楽、音、画像、ビデオ、及び／又は他のファイルを検索するための、実行可能な命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８及びブラウザモジュール１４７と連携して、ビデオ及び音楽プレーヤモジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能な命令、並びにビデオを（タッチスクリーン１１２上又は外部ポート１２４を介して接続された外部のディスプレイ上に）表示、提示又は別の方法で再生するための実行可能な命令を含む。一部の実施形態では、デバイス１００は、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を任意選択的に含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２及びテキスト入力モジュール１３４と連携して、メモモジュール１５３は、ユーザの指示に従って、メモ、ｔｏ ｄｏリストなどを作成し、管理するための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連携して、地図モジュール１５４は、任意選択的に、ユーザの指示に従い、地図及び地図に関連付けられたデータ（例えば、運転方向、特定の位置又はその近くの店舗及び他の見所のデータ、並びに他の位置ベースのデータ）を受信し、表示し、変更し、及び記憶するために、使用する。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０及びブラウザモジュール１４７と連携して、オンラインビデオモジュール１５５は、ユーザがＨ．２６４などの１つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、（例えば、ストリーミング及び／又はダウンロードにより）受信し、（例えば、タッチスクリーン上で又は外部ポート１２４を介して接続された外部のディスプレイ上で）再生し、特定のオンラインビデオへのリンクを含む電子メールを送信し、別の方法で管理することが可能となる命令を含む。一部の実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。オンラインビデオアプリケーションの追加の説明は、２００７年６月２０日に出願された米国特許仮出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日に出願された米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」に見出すことができ、これらの出願の内容はその全体が本明細書において参照により組み込まれている。
上記で特定されたモジュール及びアプリケーションのそれぞれは、１つ以上の上記の機能を実行する実行可能な命令セット及び本出願に記載の方法（例えば、コンピュータにより実装される方法及び本明細書に記載の他の情報処理方法）に対応する。これらのモジュール（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、それゆえ、様々な実施形態では、任意選択的に、これらのモジュールの様々な部分集合を組み合わせるか、又は他の方式で再編成する。例えば、ビデオプレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わせて、単一のモジュール（例えば、図１Ａのビデオ及び音楽プレーヤモジュール１５２）とする。一部の実施形態では、メモリ１０２は、上記で特定されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ１０２は、上述していない追加のモジュール及びデータ構造を任意選択的に記憶する。
一部の実施形態では、デバイス１００は、デバイス上で予め定義された機能の組の動作がタッチスクリーン及び／又はタッチパッドを通じて排他的に実行されるデバイスである。デバイス１００の動作のための主要な入力制御デバイスとしてタッチスクリーン及び／又はタッチパッドを使用することによって、デバイス１００上の物理的な入力制御デバイス（プッシュボタン、ダイアルなど）の数が任意選択で削減される。
タッチスクリーン及び／又はタッチパッドを通じて排他的に実行される予め定義された機能のセットは、ユーザインタフェース間のナビゲーションを任意選択的に含む。一部の実施形態では、タッチパッドは、ユーザによってタッチされると、デバイス１００上で表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。そのような実施形態では、「メニューボタン」はタッチパッドを使用して実装される。一部の他の実施形態では、メニューボタンは、タッチパッドの代わりに、物理プッシュボタン又は他の物理入力制御デバイスである。
図１Ｂは、一部の実施形態に従った、イベント処理のための例示的な構成要素を示すブロック図である。一部の実施形態では、メモリ１０２（図１Ａ）又はメモリ３７０（図３）は、イベントソータ１７０（例えば、オペレーティングシステム１２６内）及び対応するアプリケーション１３６－１（例えば、上述のアプリケーション１３７～１５１、１５５、３８０～３９０のうちのいずれか）を含む。
イベントソート部１７０は、イベント情報を受信し、イベント情報が配信されるアプリケーション１３６－１及びアプリケーション１３６－１のアプリケーションビュー１９１を判定する。イベントソート部１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。一部の実施形態では、アプリケーション１３６－１には、アプリケーションがアクティブ又は実行中のときに、タッチ感知ディスプレイ１１２上に表示される現在のアプリケーションビュー（単数又は複数）を示す、アプリケーション内部状態１９２が含まれる。一部の実施形態では、デバイス／グローバル内部状態１５７は、いずれのアプリケーション（単数又は複数）が現在アクティブであるかを判定するために、イベントソータ１７０によって使用され、アプリケーション内部状態１９２は、イベント情報の配信先となるアプリケーションビュー１９１を決定するために、イベントソータ１７０によって使用される。
一部の実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６－１が実行を再開するときに使用される再開情報、アプリケーション１３６－１によって表示されているか又は表示の準備がされている情報を示すユーザインタフェース状態情報、ユーザがアプリケーション１３６－１の前の状態又はビューに戻ることを可能にするための状態待ち行列、及びユーザが行った前のアクションのリドゥ／アンドゥ待ち行列、のうちの１つ以上などの追加の情報を含む。
イベントモニタ１７１は、周辺機器インタフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイ１１２上のユーザタッチ）についての情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６８、及び／若しくは（オーディオ回路１１０を通じて）マイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２又はタッチ感知面からの情報を含む。
一部の実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送信する。それに応じて、周辺機器インタフェース１１８はイベント情報を送信する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回るかつ／又は所定の期間よりも長い入力を受信すること）が存在するときのみ、イベント情報を送信する。
いくつかの実施形態では、イベントソータ１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイ１１２が２つ以上のビューを表示した際に、１つ以上のビュー内のどこにおいてサブイベントが発生したかを判定するためのソフトウェア手続きを提供する。ビューは、制御部及びユーザがディスプレイ上で見ることが可能な他の要素で構成される。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書においてアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれる場合があるビューのセットであり、それらの中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに任意選択的に対応する。例えば、タッチが検出される最下位レベルのビューは任意選択で、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントの組は任意選択で、タッチに基づくジェスチャを開始する初期のタッチのヒットビューに少なくとも部分的に基づいて判定される。
ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層において編成された複数のビューを有するとき、ヒットビュー判定モジュール１７２は、サブイベントを処理するべき階層内の最下位のビューとしてヒットビューを特定する。ほとんどの状況では、ヒットビューは、最初のサブイベント（例えば、イベント又は潜在的なイベントを形成するサブイベントのシーケンスにおける最初のサブイベント）が発生する最下位レベルのビューである。ヒットビューがヒットビュー判定モジュール１７２によって特定されると、ヒットビューは、それがヒットビューとして特定された、同じタッチ又は入力ソースに関連するすべてのサブイベントを一般的に受信する。
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。一部の実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含むすべてのビューはアクティブに関わっているビューであると判定し、したがって、すべてのアクティブに関わっているビューは、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントがある特定のビューに関連付けられた領域に完全に限定されたとしても、階層の上位のビューは、依然としてアクティブに関わっているビューであり続ける。
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えば、イベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態において、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。一部の実施形態では、イベントディスパッチャモジュール１７４は、対応するイベント受信部１８２により取得されるイベント情報をイベント待ち行列に記憶する。
一部の実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。あるいは、アプリケーション１３６－１が、イベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型のモジュール、又は接触／動きモジュール１３０などの、メモリ１０２に記憶された別のモジュールの一部である。
一部の実施形態では、アプリケーション１３６－１は、それぞれがアプリケーションのユーザインタフェースの対応するビュー内で発生するタッチイベントを処理する命令を含む、複数のイベントハンドラ１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６－１のそれぞれのアプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。一般的には、対応するアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインタフェースキット又はアプリケーション１３６－１がメソッド及び他の性質をそれから継承する上位レベルのオブジェクトなどの、別々のモジュールの一部である。一部の実施形態では、対応するイベントハンドラ１９０は、データアップデーター１７６、オブジェクトアップデーター１７７、ＧＵＩアップデーター１７８及び／又はイベントソータ１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベントハンドラ１９０は、アプリケーション内部状態１９２を更新するために、データアップデーター１７６、オブジェクトアップデーター１７７、又はＧＵＩアップデーター１７８を任意選択的に、利用若しくは呼び出す。あるいは、アプリケーションビュー１９１のうちの１つ以上は、１つ以上の対応するイベントハンドラ１９０を含む。また、一部の実施形態では、データアップデーター１７６、オブジェクトアップデーター１７７及びＧＵＩアップデーター１７８のうちの１つ以上は、対応するアプリケーションビュー１９１に含まれる。
対応するイベント認識部１８０は、イベントソータ１７０からイベント情報（例えば、イベントデータ１７９）を受信し、イベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。一部の実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択でサブイベント配信命令を含む）の少なくともサブセットも含む。
イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの動きについての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択で、サブイベントの速さ及び方向を含む。一部の実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへの、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ばれる）についての対応する情報を含む。
イベント比較部１８４は、イベント情報を予め定義されたイベント又はサブイベント定義と比較し、比較に基づいて、イベント又はサブイベントを判定し、又はイベント若しくはサブイベントの状態を判定若しくは更新する。一部の実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えば、イベント１（１８７－１）、イベント２（１８７－２）などのイベントの定義（例えば、予め定義された一連のサブイベント）を含む。一部の実施形態では、イベント１８７におけるサブイベントは、例えば、タッチの始め、タッチの終わり、タッチの移動、タッチの停止及び複数のタッチを含む。一実施例では、イベント１（１８７－１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階の間の表示されたオブジェクト上の第１のタッチ（タッチの開始）、所定の段階の間の第１のリフトオフ（タッチの終了）、所定の段階の間の表示オブジェクト上の第２のタッチ（タッチの開始）、及び所定の段階の間の第２のリフトオフ（タッチの終了）を含む。別の実施例では、イベント２（１８７－２）の定義は、表示されたオブジェクト上のドラッグ操作である。このドラッグ操作は、例えば、所定の段階の間の表示オブジェクト上でのタッチ（又は、接触）、タッチ感知ディスプレイ１１２を横断するタッチの移動、及びタッチのリフトオフ（タッチの終了）を含む。一部の実施形態において、イベントはまた、１つ以上の関連付けられたイベントハンドラ１９０に関する情報も含む。
一部の実施形態において、イベント定義１８７は、それぞれのユーザインタフェースオブジェクトに関するイベントの定義を含む。一部の実施形態において、イベント比較部１８４は、サブイベントに関連付けられたユーザインタフェースオブジェクトを判定するヒットテストを実行する。例えば、３つのユーザインタフェースオブジェクトがタッチ感知ディスプレイ１１２上に表示されるアプリケーションビューにおいて、タッチ感知ディスプレイ１１２上でタッチが検出されると、イベント比較部１８４は、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）に関連付けられているかを判定するためのヒットテストを行う。表示されたそれぞれのオブジェクトが、対応するイベントハンドラ１９０と関連付けられている場合、イベント比較部は、ヒットテストの結果を使用して、どのイベントハンドラ１９０がアクティブ化されるべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトと関連付けられたイベントハンドラを選択する。
一部の実施形態では、対応するイベント（１８７）についての定義はまた、一連のサブイベントがイベント認識部のイベントタイプに対応するか否かが判定される後まで、イベント情報の配信を遅延させる遅延アクションを含む。
対応するイベント認識部１８０が、一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判断したとき、対応するイベント認識部１８０は、イベント不可能、イベント失敗又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部がもしあれば、そのイベント認識部が進行中のタッチに基づくジェスチャのサブイベントの追跡及び処理を続行する。
一部の実施形態では、対応するイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ及び／又はリストを有するメタデータ１８３を含む。一部の実施形態では、メタデータ１８３は、イベント認識部が相互にどのように対話するか又は対話することが可能とされているかについて示す構成可能なプロパティ、フラグ、及び／又はリストを含む。一部の実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
一部の実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントと関連付けられたイベントハンドラ１９０をアクティブ化する。一部の実施形態では、それぞれのイベント認識部１８０は、イベントと関連付けられたイベント情報をイベントハンドラ１９０に配信する。イベントハンドラ１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。一部の実施形態では、イベント認識部１８０は、認識されたイベントと関連付けられたフラグを投入し、フラグと関連付けられたイベントハンドラ１９０は、フラグを捕らえ、予め定義された処理を実行する。
一部の実施形態では、イベント配信命令１８８は、イベントハンドラをアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベントハンドラに、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベントに又はアクティブに関与しているビューと関連付けられたイベントハンドラは、イベント情報を受信し、予め定義された処理を実行する。
一部の実施形態では、データアップデーター１７６は、アプリケーション１３６－１で使用されるデータを作成及び更新する。例えば、データアップデーター１７６は、連絡先モジュール１３７で使用される電話番号を更新するか、又はビデオプレーヤモジュールで使用されるビデオファイルを記憶する。一部の実施形態において、オブジェクトアップデーター１７７は、アプリケーション１３６－１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクトアップデーター１７７は、新たなユーザインタフェースオブジェクトを作成するか、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩアップデーター１７８は、ＧＵＩを更新する。例えば、ＧＵＩアップデーター１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送信する。
一部の実施形態では、イベントハンドラ（単数又は複数）１９０は、データアップデーター１７６、オブジェクトアップデーター１７７、及びＧＵＩアップデーター１７８を含むか、又はそれらへのアクセスを有する。一部の実施形態では、データアップデーター１７６、オブジェクトアップデーター１７７、及びＧＵＩアップデーター１７８は、それぞれのアプリケーション１３６－１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の議論はまた、入力デバイスで多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、そのすべてがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、単一若しくは複数のキーボードの押圧若しくは保持に任意選択的に連携されたマウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触移動、ペンスタイラス入力、デバイスの移動、口頭による指示検出された眼球運動、バイオメトリック入力、並びに／又はそれらのいずれかの組合せは、任意選択的に、認識されることになるイベントを定義するサブイベントに対応する入力として利用される。
図２は、一部の実施形態に係る、タッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、ユーザインタフェース（user interface）（ＵＩ）２００内に１つ以上のグラフィックを、任意選択的に表示する。本実施形態、並びに後述する実施形態において、ユーザは、例えば、１本以上の指２０２（図には、正確な縮尺率では描かれていない）又は１つ以上のスタイラス２０３（図には、正確な縮尺率では描かれていない）を用いて、グラフィック上でジェスチャを行うことにより、グラフィックのうちの１つ以上を選択することができる。一部の実施形態では、ユーザが１つ以上のグラフィックとの接触を断った際に、その１つ以上のグラフィックの選択が生じる。一部の実施形態では、ジェスチャは、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上方向へ及び／又は下方向へ）、並びに／又は、デバイス１００と接触した指のローリング（右から左へ、左から右へ、上方向へ及び／若しくは下方向へ）を、任意選択的に含む。一部の実現形態又は状況では、グラフィックとの不測の接触は、グラフィックを選択しない。例えば、選択に対応するジェスチャがタップであるとき、アプリケーションアイコンの上をスイープするスワイプジェスチャは任意選択で、対応するアプリケーションを選択しない。
デバイス１００はまた、「ホーム」又はメニューボタン２０４などの、１つ以上の物理ボタンも任意選択的に含む。前述のように、メニューボタン２０４は、デバイス１００上で任意選択的に、実行するアプリケーションのセット内の任意のアプリケーション１３６へのナビゲーションに任意選択的に、使用される。あるいは、一部の実施形態では、メニューボタンは、タッチスクリーン１１２に表示されたＧＵＩにおけるソフトキーとして実装されている。
一部の実施形態において、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスへの電源をオン／オフしてデバイスをロックするためのプッシュボタン２０６、音量調整ボタン（単数又は複数）２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、ボタンを押し下げて、既定の時間にわたってボタンを押し下げた状態で保持することによってデバイス上の電源をオン／オフし、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックし、及び／又は、デバイスのロックを解除する、若しくは、ロック解除処理を開始するように、任意選択的に用いられる。代替実施形態では、デバイス１００はまた、マイクロフォン１１３を通して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力を受ける。デバイス１００はまた、タッチスクリーン１１２上の接触の強度を検出するための１つ以上の接触強度センサ１６５、及び／又は、デバイス１００のユーザに対する触知出力を生成するための１つ以上の触知出力生成器１６７も、任意選択的に含む。
図３は、一部の実施形態に従った、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。一部の実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディア再生デバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワーク若しくは他の通信インタフェース３６０、メモリ３７０、及びこれらの構成要素を相互接続するための１つ以上の通信バス３２０を一般的に含む。通信バス３２０は、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることがある）を、任意選択的に含む。デバイス３００は、一般的にはタッチスクリーンディスプレイであるディスプレイ３４０を含む、入出力（Ｉ／Ｏ）インタフェース３３０を含む。Ｉ／Ｏインタフェース３３０はまた、キーボード及び／又はマウス（又は他のポインティングデバイス）３５０並びにタッチパッド３５５、デバイス３００上に触知出力を生成するための（例えば、図１Ａを参照して上述された触知出力生成器（単数又は複数）１６７と同様の）触知出力生成器３５７、センサ３５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ及び／又は図１Ａを参照して上述された接触強度センサ（単数又は複数）１６５と同様の接触強度センサ）を任意選択的に含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、また、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを任意選択的に含む。メモリ３７０は、ＣＰＵ（単数又は複数）３１０からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。一部の実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２に記憶されたプログラム、モジュール及びデータ構造、又はそれらのサブセットに類似する、プログラム、モジュール及びデータ構造を記憶する。更に、メモリ３７０は、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を任意選択的に記憶する。例えば、デバイス３００のメモリ３７０は、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８及び／又はスプレッドシートモジュール３９０を任意選択的に記憶するが、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、これらのモジュールを任意選択的に記憶しない。
上記で特定された図３の要素のそれぞれは任意選択的に、前述のメモリデバイスのうち１つ以上に記憶される。上記で特定されたモジュールのうちのそれぞれは、上述した機能を実行する命令セットに対応する。上記で特定されたモジュール又はプログラム（例えば、命令セット）は、任意選択的に、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、それゆえ、様々な実施形態では、これらのモジュールの様々なサブセットを組み合わせるか、又は他の方式で再編成する。一部の実施形態では、メモリ３７０は、上記で特定されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
ここで、例えばポータブル多機能デバイス１００上に、任意選択的に実装されるユーザインタフェースの実施形態に着目する。
図４Ａは、一部の実施形態に係る、ポータブル多機能デバイス１００上のアプリケーションのメニューに関する例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス３００上に任意選択的に実装される。一部の実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー及びＷｉ－Ｆｉ信号などの無線通信（単数又は複数）のための信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈ（登録商標）インジケータ４０５、
●バッテリ状態インジケータ４０６、
●下記などの、頻繁に利用されるアプリケーション用のアイコンを含むトレー４０８、
○不在着信又は音声メールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされる、電話モジュール１３８用のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０用のアイコン４１８、
○「ブラウザ」とラベル付けされる、ブラウザモジュール１４７用のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされる、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称されるビデオ及び音楽プレーヤモジュール１５２用のアイコン４２２、及び
●下記などの、他のアプリケーション用のアイコン、
○「メッセージ」とラベル付けされるＩＭモジュール１４１のためのアイコン４２４、
○「カレンダ」とラベル付けされる、カレンダモジュール１４８用のアイコン４２６、
○「写真」とラベル付けされる、画像管理モジュール１４４用のアイコン４２８、
○「カメラ」とラベル付けされる、カメラモジュール１４３用のアイコン４３０、
○「オンラインビデオ」とラベル付けされる、オンラインビデオモジュール１５５用のアイコン４３２、
○「株価」とラベル付けされる、株価ウィジェット１４９－２用のアイコン４３４、
○「地図」とラベル付けされる、地図モジュール１５４用のアイコン４３６、
○「天気」とラベル付けされる、天気ウィジェット１４９－１用のアイコン４３８、
○「時計」とラベル付けされる、アラーム時計ウィジェット１４９－４用のアイコン４４０、
○「トレーニングサポート」とラベル付けされる、トレーニングサポートモジュール１４２用のアイコン４４２、
○「メモ」とラベル付けされる、メモモジュール１５３用のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６に関する設定へのアクセスを提供する、「設定」とラベル付けされる、設定アプリケーション若しくはモジュール用のアイコン４４６。
●セルラー及びＷｉ－Ｆｉ信号などの無線通信（単数又は複数）のための信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈ（登録商標）インジケータ４０５、
●バッテリ状態インジケータ４０６、
●下記などの、頻繁に利用されるアプリケーション用のアイコンを含むトレー４０８、
○不在着信又は音声メールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされる、電話モジュール１３８用のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０用のアイコン４１８、
○「ブラウザ」とラベル付けされる、ブラウザモジュール１４７用のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされる、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称されるビデオ及び音楽プレーヤモジュール１５２用のアイコン４２２、及び
●下記などの、他のアプリケーション用のアイコン、
○「メッセージ」とラベル付けされるＩＭモジュール１４１のためのアイコン４２４、
○「カレンダ」とラベル付けされる、カレンダモジュール１４８用のアイコン４２６、
○「写真」とラベル付けされる、画像管理モジュール１４４用のアイコン４２８、
○「カメラ」とラベル付けされる、カメラモジュール１４３用のアイコン４３０、
○「オンラインビデオ」とラベル付けされる、オンラインビデオモジュール１５５用のアイコン４３２、
○「株価」とラベル付けされる、株価ウィジェット１４９－２用のアイコン４３４、
○「地図」とラベル付けされる、地図モジュール１５４用のアイコン４３６、
○「天気」とラベル付けされる、天気ウィジェット１４９－１用のアイコン４３８、
○「時計」とラベル付けされる、アラーム時計ウィジェット１４９－４用のアイコン４４０、
○「トレーニングサポート」とラベル付けされる、トレーニングサポートモジュール１４２用のアイコン４４２、
○「メモ」とラベル付けされる、メモモジュール１５３用のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６に関する設定へのアクセスを提供する、「設定」とラベル付けされる、設定アプリケーション若しくはモジュール用のアイコン４４６。
図４Ａに示されるアイコンのラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽プレーヤモジュール１５２用のアイコン４２２は、「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。一部の実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。一部の実施形態では、特定のアプリケーションアイコンのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）から分離するタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を備えるデバイス（例えば、図３のデバイス３００）上の、例示的なユーザインタフェースを示す。デバイス３００はまた、タッチ感知面４５１上の接触の強度を検出するための１つ以上の接触強度センサ（例えば、センサ３５９のうちの１つ以上）及び／又はデバイス３００のユーザに対して触知出力を生成するための１つ以上の触知出力生成器３５７を任意選択的に含む。
以下の実施例のうちのいくつかはタッチスクリーンディスプレイ１１２上での入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して説明されるが、一部の実施形態では、デバイスは、図４Ｂに示されるように、ディスプレイとは別個のタッチ感知面上での入力を検出する。一部の実施形態では、このタッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の主軸（例えば、図４Ｂの４５３）に対応する主軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、タッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図４Ｂでは、４６０は４６８に対応し、４６２は４７０に対応する）にて検出する。このように、タッチ感知面がディスプレイから分離するものである場合、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されたユーザ入力（例えば、接触４６０及び４６２、並びにそれらの移動）が、多機能デバイスのディスプレイ（例えば、図４Ｂでの４５０）上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
更に加えて、以下の実施例は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャ）を参照して説明されるが、一部の実施形態では、それらの指入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスに基づく入力又はスタイラス入力）で置き換えられることを理解されたい。例えば、スワイプジェスチャは、マウスクリックと任意選択的に置き換えられ（例えば、接触の代わりに）、その後、スワイプの経路に沿って（例えば、接触の移動の代わりに）カーソルの移動が行われる。別の実施例として、タップジェスチャは任意選択で、カーソルがタップジェスチャの位置の上に位置する間のマウスクリックと置き換えられる（例えば、接触の検出、それに続いて接触の検出を停止する代わりに）。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスは任意選択で同時に使用され、又はマウス及び指の接触が任意選択で同時に使用されることを理解されたい。
図５Ａは、例示的なパーソナル電子デバイス５００を示す。デバイス５００は、本体５０２を含む。一部の実施形態では、デバイス５００は、デバイス１００及び３００（例えば、図１Ａ～図４Ｂ）に関して記載した特徴のうちの一部又はすべてを含むことができる。一部の実施形態では、デバイス５００は、タッチ感知ディスプレイスクリーン５０４、以後、タッチスクリーン５０４とする、を有する。タッチスクリーン５０４の代わりに、又はそれに追加して、デバイス５００は、ディスプレイ及びタッチ感知面を有する。デバイス１００及びデバイス３００と同様に、一部の実施形態では、タッチスクリーン５０４（又はタッチ感知面）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出するための１つ以上の強度センサを有する。タッチスクリーン５０４（又は、タッチ感知面）の１つ以上の強度センサは、タッチの強度を表現する出力データを提供することができる。デバイス５００のユーザインタフェースは、タッチの強度に基づいてタッチに応答することができ、これは、異なる強度のタッチは、デバイス５００上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
タッチ強度を検出して処理するための例示的な技術は、例えば、関連出願である、２０１３年５月８日出願の「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」と題された国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号（国際公開第２０１３／１６９８４９号として公開）、及び２０１３年１１月１１日出願の「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」と題された同第ＰＣＴ／ＵＳ２０１３／０６９４８３号（国際公開第２０１４／１０５２７６号として公開）にみられ、これらの文献のそれぞれは、全体が参照により本明細書に組み込まれる。
一部の実施形態では、デバイス５００は、１つ以上の入力機構５０６及び入力機構５０８を有する。入力機構５０６及び５０８は、含まれる場合には、物理的なものとすることができる。物理入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。一部の実施形態では、デバイス５００は、１つ以上のアタッチメント機構を有する。かかるアタッチメント機構は、含まれる場合には、例えば、デバイス５００を、帽子、アイウェア、イヤリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計バンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどに、取り付けることを可能にする。これらのアタッチメント機構は、ユーザによってデバイス５００が着用されることを可能にし得る。
図５Ｂは、例示的なパーソナル電子デバイス５００を示す。一部の実施形態では、デバイス５００は、図１Ａ、図１Ｂ及び図３に関して記載した構成要素の一部又はすべてを含むことができる。デバイス５００は、Ｉ／Ｏ部５１４を１つ以上のコンピュータプロセッサ５１６及びメモリ５１８に動作可能に結合するバス５１２を有する。Ｉ／Ｏ部５１４は、ディスプレイ５０４に接続することができ、ディスプレイ５０４は、タッチ感知構成要素５２２と、任意選択的に、強度センサ５２４（例えば、接触強度センサ）と、を有し得る。更に、Ｉ／Ｏ部５１４は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離通信（ＮＦＣ）、セルラー及び／又は他の無線通信技術を使用して、アプリケーション及びオペレーティングシステムのデータを受信するための通信ユニット５３０に接続し得る。デバイス５００は、入力機構５０６及び／又は入力機構５０８を含むことができる。入力機構５０６は、任意選択的に、例えば、回転可能入力デバイス、又は押下可能かつ回転可能な入力デバイスである。入力機構５０８は、任意選択的に、一部の実施例では、ボタンである。
入力機構５０８は、任意選択的に、一部の実施例では、マイクロフォンである。パーソナル電子デバイス５００は、任意選択的に、ＧＰＳセンサ５３２、加速度計５３４、方向センサ５４０（例えば、コンパス）、ジャイロスコープ５３６、動きセンサ５３８及び／又はこれらの組み合わせなどの、様々なセンサを含むものであり、それらのすべては、Ｉ／Ｏ部５１４に動作可能に接続できる。
パーソナル電子デバイス５００のメモリ５１８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、それらの命令は、１つ以上のコンピュータプロセッサ５１６によって実行されると、例えば、コンピュータプロセッサに、プロセス７００、９００、１１００、１３００及び１５００（図７Ａ～図７Ｂ、図９Ａ～図９Ｂ、図１１Ａ～図１１Ｂ、図１３Ａ～図１３Ｂ、及び図１５Ａ～図１５Ｂ）を含む、以下に説明する技術を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置若しくはデバイスによって、又はこれらと関連して使用するためのコンピュータ実行可能命令を有形的に収容又は記憶することができる、任意の媒体とすることができる。一部の例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。一部の例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体には、磁気的記憶装置、光学的記憶装置及び／又は半導体記憶装置を挙げることができるが、これらに限定されない。そのような記憶装置の例には、磁気ディスク、ＣＤ、ＤＶＤ又はＢｌｕ－ｒａｙ技術に基づく光ディスク、及び、フラッシュ、ソリッドステートドライブなどの永続的ソリッドステートメモリが挙げられる。パーソナル電子デバイス５００は、図５Ｂの構成要素及び構成に限定されるものではなく、他の構成要素又は追加的構成要素を、複数の構成で含み得る。
本明細書において使用するとき、用語「アフォーダンス」は、デバイス１００、３００及び／又は５００（図１Ａ、図３及び図５Ａ～図５Ｂ）のディスプレイ画面上に任意選択的に表示されるユーザ対話式のグラフィックユーザインタフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン及びテキスト（例えば、ハイパーリンク）はそれぞれ、任意選択的に、アフォーダンスを構成する。
本明細書において使用するとき、用語「フォーカスセレクタ」は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他の位置マーカを含む一部の実現例において、タッチ感知面（例えば、図３のタッチパッド３５５、又は図４Ｂのタッチ感知面４５１）上で入力（例えば、押圧入力）が検出された時に、カーソルが特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の上にある時、カーソルは「フォーカスセレクタ」として機能し、特定のユーザインタフェース要素が、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接的な対話を可能にする、タッチスクリーンディスプレイ（例えば、図１Ａでのタッチ感知ディスプレイシステム１１２、又は図４Ａでのタッチスクリーン１１２）を含む一部の実現例では、タッチスクリーン上で検出される接触が「フォーカスセレクタ」としての役割を果たすことにより、入力（例えば、接触による押圧入力）が、タッチスクリーンディスプレイ上の特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の位置で検出されると、その特定のユーザインタフェース要素が、検出された入力に従って調節される。一部の実現形態では、タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、（例えば、タブキー又は矢印キーを使用してフォーカスを１つのボタンから別のボタンに移動させることによって）ユーザインタフェースの１つの領域からユーザインタフェースの別の領域にフォーカスが移動され、それらの実現形態では、フォーカスセレクタは、ユーザインタフェースの異なる領域の間のフォーカスの移動に従って移動する。フォーカスセレクタによってとられる具体的な形態とは関わりなく、フォーカスセレクタは、全般的に、ユーザの意図したユーザインタフェースとの対話を通信するために（例えば、ユーザが対話することを意図しているユーザインタフェースの要素をデバイスに示すことによって）、ユーザによって制御されるユーザインタフェース要素（又はタッチスクリーンディスプレイ上の接触）である。例えば、押圧入力がタッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で検出されたときに、対応するボタンの上にあるフォーカスセレクタ（例えば、カーソル、接触又は選択ボックス）の位置は、（デバイスのディスプレイ上に示されている他のユーザインタフェース要素ではなく）対応するボタンをユーザがアクティブ化しようとしていることを示すものである。
本明細書及び特許請求の範囲において使用するとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく接触の特性を指す。一部の実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、予め定義された数の強度サンプル、あるいは予め定義されたイベントに対する（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度における増大を検出する前若しくは後、及び／又は接触の強度における減少を検出する前若しくは後）予め定められた時間期間の間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）に収集された強度サンプルのセットに任意選択的に基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均値（mean value）、接触の強度の平均値（average value）、接触の強度の上位１０％値、接触の強度の最大値の半分の値、接触の強度の最大値の９０％の値など、のうちの１つ以上に基づく。一部の実施形態では、特性強度を判定するために、（例えば、特性強度が経時的な接触の強度の平均であるとき）接触の持続期間が使用される。一部の実施形態では、動作がユーザによって実行されたか否かを判定するために、特性強度を１つ以上の強度閾値のセットと比較する。例えば、１つ以上の強度閾値のセットは、任意選択的に、第１の強度閾値及び第２の強度閾値を含む。この実施例では、第１の閾値を越えない特性強度を有する接触の結果として第１の動作が実行され、第１の強度閾値を越え、第２の強度閾値を越えない特性強度を有する接触の結果として第２の動作が実行され、第２の閾値を越える特性強度を有する接触の結果として第３の動作が実行される。一部の実施形態では、特性強度と１つ以上の閾値との間の比較が、第１の動作又は第２の動作のいずれを実行するかを判定するために使用されるのではなく、１つ以上の動作を実行するか否か（例えば、各動作を実行するのか、又は各動作の実行を見合わせるのか）を判定するために使用される。
一部の実施形態では、特性強度を判定する目的で、ジェスチャの一部が特定される。例えば、タッチ感知面は、任意選択的に、接触の強度が増加する、開始位置から遷移して終了位置まで達する連続的なスワイプ接触を受け取る。この実施例では、終了位置における接触の特性強度は、任意選択的に、連続的なスワイプ接触全体ではなく、そのスワイプ接触の一部分のみ（例えば、終了位置におけるスワイプ接触の部分のみ）に基づく。一部の実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムをそのスワイプ接触の強度に適用する。例えば、平滑化アルゴリズムは任意選択で、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。一部の状況では、それらの平滑化アルゴリズムは、特性強度を判定する目的で、スワイプ接触の強度における小幅な上昇又は低下を除去する。
タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押圧強度閾値、深い押圧強度閾値、及び／又は１つ以上の他の強度閾値などの１つ以上の強度閾値に対して特徴付けする。一部の実施形態では、軽い押圧強度閾値は、物理マウスのボタン又はトラックパッドをクリックすることと一般的に関連付けられた操作をデバイスが実行する強度に対応する。一部の実施形態では、深い押圧強度閾値は、物理マウスのボタン又はトラックパッドをクリックすることと典型的に関連付けられた操作とは異なる操作をデバイスが実行する強度に対応する。一部の実施形態では、軽い押圧強度閾値を下回る（例えば、かつ、それを下回ると接触がもはや検出されないわずかな接触検出強度閾値を上回る）特性強度で接触が検出される場合、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値に関連付けられた動作を実行することなく、タッチ感知面上の接触の移動に従って、フォーカスセレクタを移動させる。概して、特に明記しない限り、これらの強度閾値は、ユーザインタフェース図の異なるセット間で一貫している。
軽い押圧強度閾値を下回る強度から、軽い押圧強度閾値と深い押圧強度閾値との間の強度への接触の特性強度の増大は、「軽い押圧」入力と呼ばれる場合がある。深い押圧強度閾値を下回る強度から、深い押圧強度閾値を上回る強度への接触の特性強度の増大は、「深い押圧」入力と呼ばれる場合がある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押圧強度閾値との間の強度への接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれる場合がある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれる場合がある。一部の実施形態では、接触検出強度閾値はゼロである。一部の実施形態では、接触検出強度閾値はゼロより大きい。
本明細書で説明される一部の実施形態では、１つ以上の操作は、それぞれの押圧入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（又は、複数の接触）で実行されるそれぞれの押圧入力を検出したことに応じて実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（又は、複数の接触）の強度における増大を検出したことに少なくとも部分的に基づいて検出される。一部の実施形態では、それぞれの動作は、押圧入力強度閾値を上回る、それぞれの接触の強度の増大（例えば、それぞれの押圧入力の「ダウンストローク」）の検出に応じて実行される。一部の実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及び後続の押圧入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、後続の押圧入力閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押圧入力の「アップストローク」）の検出に応じて実行される。
一部の実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある不測の入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との予め定義された関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりもＸ強度単位低いか、又はヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくは何らかの妥当な比率である）。よって、一部の実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及び後続の押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、そのヒステリシス強度閾値を下回る後続のそれぞれの接触の強度の減少（例えば、それぞれの押圧入力の「アップストローク」）の検出に応じて実行される。同様に、一部の実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、ヒステリシス強度以下の強度への後続の接触の強度の減少を検出するときのみ検出され、それぞれの動作は、その押圧入力の検出（例えば、状況に応じて、接触の強度の増大、又は接触の強度の減少）に応じて実行される。
説明を容易にするために、押圧入力強度閾値と関連付けられた押圧入力に応じて、又は押圧入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、及び／又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じてトリガされる。加えて、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて動作が実行されるとして説明される実施例では、動作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。
ここで、ポータブル多機能デバイス１００、デバイス３００、又はデバイス５００などの電子デバイス上に実装されるユーザインタフェース（「ＵＩ」）及び関連するプロセスの実施形態に着目する。
図６Ａ～図６ＢＱは、一部の実施形態に係る、メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。それらの図におけるユーザインタフェースは、図７Ａ～図７Ｂにおける処理を含む、以下で説明される処理を例示するために使用される。
図６Ａは、一部の場合ではタッチ感知ディスプレイである、ディスプレイ６０１を有するデバイス６００を描く。一部の実施形態では、デバイス６００はまた、光スペクトルの一部（例えば、可視光、赤外光、又は紫外光）を表すデータをキャプチャできるイメージセンサを、最低限に含むカメラ６０２を含む。一部の実施形態では、カメラ６０２は、複数の画像センサ及び／又は他のタイプのセンサを含む。一部の実施形態では、カメラ６０２は、検出された光を表すデータをキャプチャすることに加えて、深度データなどの、他のタイプのデータをキャプチャすることができる。例えば、一部の実施形態では、カメラ６０２はまた、スペックル、飛行時間、視差、又は焦点に基づく技術を使用して、深度データをキャプチャする。デバイス６００がカメラ６０２を使用してキャプチャする画像データは、カメラの視野内のシーンに対する光スペクトルの一部に対応するデータを含む。加えて、一部の実施形態では、キャプチャされた画像データはまた、光データの深度データを含む。一部の他の実施形態では、キャプチャされた画像データは、光スペクトルの一部のデータに対する深度データを決定、又は生成するのに十分なデータを含む。一部の実施形態では、デバイス６００は、デバイス１００、３００、又は５００の１つ以上の特徴を含む。
一部の例では、電子デバイス６００は、赤外線カメラ、サーモグラフィーカメラ、又はそれらの組み合わせなどの、深度カメラを含む。一部の例では、デバイスは、ＩＲフラッド光などの発光デバイス（例えば、光プロジェクタ）、構造化光プロジェクタ、又はそれらの組み合わせを更に含む。発光デバイスは、任意選択的に、可視光カメラ及び深度カメラ（例えば、ＩＲカメラ）による画像のキャプチャ中に被写体を照明するために使用され、深度カメラ及び可視光カメラからの情報は、可視光カメラによってキャプチャされた被写体の異なる部分の深度マップを決定するために使用される。一部の実施形態では、深度マップ（例えば、深度マップ画像）は、視点（例えば、カメラ）からのシーン内のオブジェクトの距離に関する情報（例えば、値）を含む。深度マップの一実施形態では、各深度ピクセルは、その対応する２次元ピクセルが位置する、視点のＺ軸内の位置を規定する。一部の例では、深度マップは、各ピクセルが値（例えば、０～２５５）によって定義されるピクセルから構成される。例えば、「０」値は、「３次元」シーンにおける最も離れた位置に配置されたピクセルを表し、「２５５」値は、「３次元」シーンにおける視点（例えば、カメラ）に最も近いピクセルを表す。他の例では、深度マップは、シーン内のオブジェクトと視点の平面との間の距離を表す。一部の実施形態では、深度マップは、深度カメラの視点における関心あるオブジェクトの様々な特徴の相対的深度（例えば、ユーザの顔の目、鼻、口、耳の相対的な深度）についての情報を含む。一部の実施形態では、深度マップは、ｚ方向の関心あるオブジェクトの輪郭をデバイスが判定することを可能にする情報を含む。一部の実施形態では、本明細書に記載の照明エフェクトは、背面画像用の２つのカメラ（例えば、２つの可視光カメラ）からの視差情報を使用して、及び正面画像（例えば、自撮り画像）用の可視光カメラからの画像データに結合された深度カメラからの深度情報を使用して、表示される。一部の実施形態では、２つの可視光カメラを使用して深度情報を判定し、深度カメラを使用して深度情報を判定する場合には、同じユーザインタフェースが使用されて、照明エフェクトを生成する際に使用される情報を判定するために著しく異なる技術を使用する場合でさえも、ユーザーに一貫性のある体験を提供する。一部の実施形態では、適用される照明エフェクトのうちの１つを用いてカメラユーザインタフェースを表示している間に、デバイスは、ライティングエフェクトを適用し、正面カメラの視野の表示を背面カメラの視界に（又はその逆）置換するためのユーザインタフェース制御の表示を維持しながら、カメラスイッチングアフォーダンスの選択を検出し、正面カメラ（例えば、深度カメラ及び可視光カメラ）から背面カメラ（例えば、互いに離間した２つの可視光カメラ）に（又はその逆）切り替える。
図６Ａでは、デバイス６００は、メッセージングアプリケーションのメッセージングユーザインタフェース６０３を表示している。メッセージングユーザインタフェース６０３は、メッセージ会話において参加者（受信者識別子６０６によって表される）に伝送されるメッセージ６０５を含むメッセージ表示領域６０４を含む。メッセージングユーザインタフェース６０３はまた、メッセージ会話の参加者に送信するための入力（例えば、テキスト入力、マルチメディア入力など）を表示するためのメッセージ作成フィールド６０８を含む。メッセージングユーザインタフェース６０３はまた、カメラアプリケーションアフォーダンス６０９、アプリケーションドックアフォーダンス６１０、キーボード表示領域６１２、及びテキスト提案領域６１４を含む。
図６Ｂでは、デバイス６００は、カメラアプリケーションアフォーダンス６０９に対応する位置において入力６１６（例えば、ディスプレイ６０１上のタッチ入力）を検出する。
図６Ｃでは、入力６１６を検出したことに応じて、デバイス６００は、カメラアプリケーションアフォーダンス６０９に関連付けられたカメラアプリケーションを起動し、カメラアプリケーションユーザインタフェース６１５を表示する。カメラアプリケーションユーザインタフェース６１５は、例えば、カメラ（例えば、背面カメラ又はカメラ６０２）の視野内に位置するオブジェクトを表すストリーミングされた画像データ（例えば、ライブカメラプレビュー、ライブカメラ記録、若しくはライブビデオ通信セッション）、又は、例えば写真若しくはビデオ録画などのメディアアイテム、などの画像データの表現を表示する、画像表示領域６２０を含む。図６Ｃに示す実施形態では、画像表示領域６２０は、デバイス６００の背面カメラからのライブカメラプレビュー６２０－１'を示す。
カメラアプリケーションユーザインタフェース６１５はまた、カメラ固有アフォーダンス６１７、及びカメラアプリケーションユーザインタフェース６１５を終了させるための完了アフォーダンス６１８を含む、画像表示領域６２０の上の領域を含む。カメラ固有アフォーダンスには、カメラフラッシュ機能に関連付けられたアフォーダンス６１７－１、カメラモード機能に関連付けられたアフォーダンス６１７－２、タイマー機能に関連付けられたアフォーダンス６１７－３、及びフィルタ機能に関連付けられたアフォーダンス６１７－４が含まれる。
カメラアプリケーションユーザインタフェース６１５はまた、画像表示領域６２０の下に配置されたカメラオプション領域６２５を含む。カメラオプション領域６２５は、カメラ（例えば、背面カメラとカメラ６０２）間を切り替えるためのカメラセレクタアフォーダンス６２７、及びカメラが画像データを記録できる異なるキャプチャモードに関連付けられたカメラオプションアフォーダンス６１９を含む。例えば、ビデオアフォーダンス６１９－１は、カメラのビデオ録画キャプチャモードをアクティブ化するための機能に関連付けられ、写真アフォーダンス６１９－２は、カメラの静止画像キャプチャモードをアクティブ化するための機能に関連付けられる。図６Ｃ～図６ＡＸに関して以下に論じる実施形態では、デバイス６００は、写真アフォーダンス６１９－２に関連付けられた操作の静止画像キャプチャモードにある。しかしながら、特に明記しない限り、これらの実施形態はまた、ビデオアフォーダンス６１９－１に関連付けられたビデオ録画モードに適用される。
カメラオプション領域６２５は、画像表示領域６２０にビジュアルエフェクトを表示するためにデバイス６００が有効化又は無効化されるデバイス６００のモードを、有効化又は無効化するためのエフェクトアフォーダンス６２２を更に含む。デバイス６００のこのモードは、本明細書ではしばしばエフェクトモードと呼ばれる。
カメラオプション領域６２５はまた、画像表示領域６２０に表される画像データをキャプチャするために選択可能なキャプチャアフォーダンス６２１を含む。一部の実施形態では、デバイス６００は、現在有効化されているキャプチャモード（例えば、ビデオ録画キャプチャモード又は画像キャプチャモード）に基づく方法で、画像データをキャプチャする。一部の実施形態では、デバイス６００は、キャプチャアフォーダンス６２１上で検出されたジェスチャのタイプに応じて、画像データをキャプチャする。例えば、デバイス６００がキャプチャアフォーダンス６２１上でタップジェスチャを検出した場合、デバイス６００は、タップジェスチャが発生した時点で画像表示領域６２０に表された画像データの静止画像をキャプチャする。デバイス６００がキャプチャアフォーダンス６２１上でタップアンドホールドジェスチャを検出した場合、デバイス６００は、タップアンドホールドジェスチャが持続する期間中、画像表示領域６２０に表される画像データのビデオ録画をキャプチャする。一部の実施形態では、指がアフォーダンスから持ち上げられると、ビデオ録画が停止する。一部の実施形態では、ビデオ録画は、アフォーダンスに対応する位置において後続の入力（例えば、タップ入力）が検出されるまで続く。一部の実施形態では、キャプチャされた画像（例えば、静止画像又はビデオ録画）は、メッセージ作成フィールド６０８内に挿入され、続いてメッセージ会話の参加者に送信される。一部の実施形態では、キャプチャされた画像は、メッセージ作成フィールド６０８内にキャプチャされた画像を挿入することなく、メッセージ会話の参加者に直接送信される。
図６Ｄでは、デバイス６００は、エフェクトアフォーダンス６２２上の入力６２３（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。
図６Ｅでは、デバイス６００は、入力６２３を検出したことに応じて、カメラ６０２をアクティブ化し（例えば、背面カメラから切り替えて）、画像表示領域６２０を更新して、カメラ６０２からのライブカメラプレビュー６２０－１を表示し、カメラ６０２の視野内に位置する被写体６３２、及び被写体６３２の背後に表示された背景６３６の表現を示す。本明細書で論じるように、一部の実施形態では、カメラ６０２を使用してキャプチャされた画像データは、カメラ６０２の視野内のオブジェクトの深度を決定するために使用され得る深度データを含む。一部の実施形態では、デバイス６００は、検出されたこれらのオブジェクトの深度に基づいてオブジェクト（例えば、画像データ内の）を解析し、この判定を使用して、本明細書で論じるビジュアルエフェクトを適用する。例えば、デバイス６００は、被写体６３２をライブカメラプレビュー６２０－１の前景にあるものとして、ユーザの背後に位置するオブジェクトをライブカメラプレビュー６２０－１の背景にあるものとして、分類することができる。これらの背景オブジェクトは、ここでは背景６３６と総称する。
デバイス６００はまた、表示のためにビジュアルエフェクトを有効化していることを示すエフェクトアフォーダンス６２２を強調表示し、カメラオプションアフォーダンス６１９をビジュアルエフェクトオプションアフォーダンス６２４に置換することによってカメラオプション領域６２５を更新する。ビジュアルエフェクトオプションアフォーダンスは、アバターエフェクトアフォーダンス６２４－１及びステッカーエフェクトアフォーダンス６２４－２を含む。ビジュアルエフェクトオプションアフォーダンス６２４は、画像表示領域６２０に表示される画像に適用できる異なるビジュアルエフェクトに対応する。ビジュアルエフェクトオプションアフォーダンス（例えば、６２４－１又は６２４－２）のうちの１つを選択することにより、選択されたビジュアルエフェクトオプションアフォーダンスに対応するビジュアルエフェクトオプションと共に、メニューが表示される。
ユーザは、エフェクトアフォーダンス６２２を選択することによって、デバイス６００のエフェクトモードを有効化又は無効化することができる。エフェクトアフォーダンス６２２が強調表示されると、デバイス６００のエフェクトモードが有効化され、画像表示領域６２０にビジュアルエフェクトを表示する。ユーザが強調表示されたアフォーダンス６２２上をタップすると、エフェクトアフォーダンス６２２はもはや強調表示されず、画像表示領域６２０における表示のためにビジュアルエフェクトが有効化されないように、エフェクトモードが無効化される。一部の実施形態では、エフェクトモードが有効化されると、デバイス６００は、画像表示領域６２０に示される画像を更新して、画像に適用されている１つ以上のビジュアルエフェクト（ライブ画像ストリームに適用されるビジュアルエフェクトを含む）を表示し、エフェクトモードが無効化されると、デバイス６００は、画像表示領域６２０に示される画像からビジュアルエフェクトを除去するか、又は隠す。
図６Ｆでは、デバイス６００は、アバターエフェクトアフォーダンス６２４－１上の入力６２６（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。
図６Ｇでは、入力６２６を検出したことに応じて、デバイス６００は、アバターオプション６３０のスクロール可能リストと共に、アバターオプションメニュー６２８を表示する。アバターオプションメニュー６２８はまた、アバターオプション６３０のうちの選択された１つを示すための選択領域６２９を含む。図６Ｇに示すように、ロボットアバターオプション６３０－３が選択領域６２９に配置され、ロボットアバターオプション６３０－１が選択されていることを示す。図６Ｇに示す別のアバターオプション６３０は、カスタマイズされた女性アバターオプション６３０－１、ヌルアバターオプション６３０－２、ウサギアバターオプション６３０－４、及びエイリアンアバターオプション６３０－５を含む。以下で詳細に論じるように、ヌルアバターオプション６３０－２は、アバターが画像表示領域６２０内の被写体上に表示されないためのアバターオプションに対応する。一部の実施形態では、ヌルアバターオプション６３０－２は、アバターオプションメニュー６２８が表示されているときに、デフォルトで選択されるアバターオプションである。
アバターオプション６３０は、画像表示領域６２０内の被写体の表現に適用される仮想アバタービジュアルエフェクトに対応する。具体的には、各アバターオプション６３０は、選択されると、画像表示領域内の被写体の顔の上に転置される仮想アバターに対応し、他方、画像表示領域内の画像の他の部分（背景、又はユーザの身体などのユーザの他の部分など）は表示されたままとなる。カメラ６０２の視野内に位置するユーザ（例えば、被写体６３２）は、様々な顔の特徴の動き（例えば、ウインク、舌の突き出し、笑顔など）を含む顔の姿勢（例えば、回転又は向き）を変更することによって、仮想アバターの視覚的態様を制御することができる。仮想アバターの表示及び動きを制御するための詳細は、米国特許出願第１５／８７０，１９５号に提供されており、これは、すべての目的のために参照により本明細書に組み込まれる。
一部の実施形態では、仮想アバターは、グラフィックに描くことができるユーザーの表現（例えば、ユーザーのグラフィック表現）である。一部の実施形態では、仮想アバターは非写実的（例えば、漫画的である）である。一部の実施形態では、仮想アバターは、１つ以上のアバター特徴（例えば、アバター顔部特徴）を有するアバター顔部を含む。一部の実施形態では、アバター特徴は、ユーザの物理的特徴の検出された動きが（例えば、深度検出カメラなどのカメラに基づいて判定されるように）、アバター特徴（例えば、特徴のグラフィック表現に影響を及ぼす）に影響を及ぼすように、ユーザの顔の１つ以上の物理的特徴に対応する（例えば、マッピングされる）。
一部の例では、ユーザは、カメラセンサ（例えば、カメラモジュール１４３、光センサ１６４）、及び任意選択的に深度センサ（例えば、深度カメラセンサ１７５）を使用して、仮想アバターの特性又は特徴を操作することができる。ユーザの物理的特徴（顔の特徴など）及び位置（頭の位置、頭の回転、又は頭の傾きなど）が変化すると、電子デバイスは、その変化を検出し、仮想アバターの表示された画像を変更して、ユーザの身体的特徴及び位置の変化を反映する。一部の実施形態では、ユーザの身体的特徴及び位置に対する変化は、様々な表現、感情、コンテキスト、トーン、又は他の非言語コミュニケーションを示す。一部の実施形態では、電子デバイスは、これらの表現、感情、コンテキスト、トーン、又は他の非言語コミュニケーションを表すために、仮想アバターの表示された画像を変更する。
一部の実施形態では、仮想アバターは、カスタマイズ可能なアバター（例えば、カスタマイズ可能なアバター８３５）である。カスタマイズ可能なアバターは、例えば、所望の外観（例えば、ユーザーのように見える）を達成するために、ユーザーが選択し、カスタマイズできる仮想アバターである。カスタマイズ可能なアバターは、一般的に、動物又は他の非人間オブジェクトの擬人化構成物などの非人間キャラクタではなく、人間キャラクタの外観を有する。加えて、アバターの特徴は、アバター編集ユーザインタフェース（例えば、図８ＡＡ～図８ＡＢに関して以下に論じるアバター編集ユーザインタフェースなど）を使用して、必要に応じて、作成又は変更することができる。一部の実施形態では、カスタマイズ可能なアバターを、カスタマイズされた物理的外観、物理的構成物、又はモデル化された挙動を達成するように、生成及び構成することができる。
一部の実施形態では、仮想アバターはカスタマイズ不可能なアバターである。カスタマイズ不可能なアバターは、ユーザによって選択できる仮想アバターであるが、以下でより詳細に説明するように、それらの外観は顔追跡を介して変更することができるものの、一般的には本来構成可能ではない。代わりに、カスタマイズ不可能なアバターは予め構成されており、一般にユーザによって変更できる特徴成分を有しない。一部の実施形態では、カスタマイズ不可能なアバターは、動物又は他の非人間オブジェクトの擬人化構成物（例えば、ロボットアバター６３３、ウサギアバター６３４を参照）などの非人間キャラクタの外観を有する。カスタマイズ不可能なアバターは、ユーザが作成できず、又は、物理的外観、物理的構成物、若しくはカスタマイズ不可能なアバターのモデル化された挙動において著しい変更を達成するように変更することができない。
図６Ｇでは、ロボットアバター６３０－３が選択されているので、デバイス６００は、画像表示領域６２０に表示された被写体６３２（例えば、ユーザ）の顔に配置されたロボットアバター６３３を表示する。デバイス６００は、アバターがカメラ６０２の視野内を移動する際に被写体の顔に固定されたままになるようにアバターを表示する。デバイス６００はまた、表示された被写体の身体及び背景６３６を画像表示領域６２０に示される画像内に維持しながら、顔の姿勢又は表情の変化を含むユーザの顔の検出された変化に基づいて、アバターを継続的に変更する。
図６Ｈに示すように、デバイス６００がユーザの頭部がカメラ６０２の視野を越えて移動したことを検出した場合、デバイス６００は、例えば、選択されたアバター（例えば、ロボットアバター）の表現６４０を含むプロンプト６３８と、ユーザにカメラ６０２の視野内に頭部を再配置するように指示するメッセージ６４２とを表示する。一部の実施形態では、プロンプト６３８が、ぼやけた背景６４４（ユーザ６３２及び背景６３６をぼかすことを含む）と共に表示される。一部の実施形態では、プロンプト６３８を表示することは、画像表示領域６２０の中心位置に戻っていく選択されたアバターのアニメーションを表示すること、及びアバター特徴の物理モデルに基づいて停止するように見える、アバター及びその特徴の遅くなった動きを示すことを含む。
いったんデバイス６００がカメラ６０２の視野に戻るユーザの頭部を検出すると、デバイスは、図６Ｉに示すように、ユーザの顔において検出された変化に基づいて、選択されたアバター（例えば、ロボットアバター６３３）を更新し続ける。一部の実施形態では、デバイス６００がカメラ６０２の視野に戻るユーザの顔を検出すると、デバイス６００は、画像表示領域６２０の中心位置からユーザの顔の位置に移動するアバター６３３を表示し、検出されたユーザの顔の変化に基づいてアバターの変更を再開する。
図６Ｉ～図６Ｋでは、デバイス６００は、アバターオプション６３０の表示されたリスト上の入力６４４（例えば、ディスプレイ６０１上のスクロールジェスチャ）を検出する。入力６４４がディスプレイ６０１を横切って左方向に移動すると、デバイス６００は、左にスクロールして追加のアバターオプション（例えば、うんちアバターオプション及びキツネアバターオプション）を明らかにするアバターオプション６３０を表示する。一部の実施形態では、アバターオプションのうちの１つが選択領域６２９に入ると、デバイスは、その時点における入力６４４の終了が、選択領域６２９内に現在位置しているアバターオプションの選択をもたらし得ることをユーザに示すための触覚フィードバック（例えば、音声出力を伴う、又は伴わない触知出力）を生成する。例えば、図６Ｋでは、デバイス６００は、エイリアンアバターオプション６３０－５が選択領域６２９内に位置するときに、触覚フィードバック６４６を生成する。
図６Ｊでは、デバイス６００は、入力６４４の終了を検出し、エイリアンアバターオプション６３０－５が選択領域６２９内に位置していると判定する。結果として、デバイス６００は、被写体の身体及び背景６３６の表示を維持しながら、ロボットアバター６３３を、選択されたエイリアンアバターオプション６３０－５に対応するエイリアンアバター６３５に置換する。一部の実施形態では、以前に選択されたアバター（例えば、ロボットアバター６３３）を現在選択されているアバター（例えば、エイリアンアバター６３５）に置換することは、オフスクリーン（例えば、画像表示領域６２０の外）で移動する、以前に選択されたアバターのアニメーション、及びアバターオプションメニュー６２８から画像表示領域６２０内のユーザの顔に移動する、現在選択されているアバターのアニメーション、を表示することを含む。一部の実施形態では、現在選択されているアバターの顔追跡は、アバターがアバターオプションメニュー６２８からユーザーの顔に移動すると開始する。一部の実施形態では、アバターの切り替え操作が発生している間、背景をぼかしている。
図６Ｍ～図６Ｎでは、デバイス６００は、アバターオプションメニュー６２８上の垂直ジェスチャ６４６（例えば、ディスプレイ６０１上の垂直スワイプ又はタッチアンドドラッグ）を検出し、これに応じて、図６Ｎに示すように、アバターオプションメニュー６２８を拡大ビュー６２８－１に拡大する。図６Ｎでは、アバターオプション６３０はマトリクス状に配置されており、図６Ｏに示すように、選択されて（例えば、ジェスチャ６４８はロボットアバターオプション６３０－３を選択する）、画像表示領域６２０に異なるアバターを表示することができる。
図６Ｐに示すように、ジェスチャ６４８に応じて、デバイス６００は、選択されたロボットアバターオプション６３０－３（選択領域６２９に配置される）を含むアバターオプションメニュー６２８、及び画像表示領域６２０内のユーザの頭部に表示されるロボットアバター６３３を示す（例えば、メニューを逆拡大することによって）。
図６Ｑでは、デバイス６００は、クローズアイコン６５０上の入力６４９（例えば、ディスプレイ６０１上のタップジェスチャ）を検出して、アプリケーションオプションメニュー６２８をクローズし、画像表示領域６２０上の画像ストリーム（例えば、ライブカメラプレビュー）内のユーザの顔のロボットアバター６３３の表示を維持しながら、カメラオプション領域６２５を示している図６Ｒ示すカメラユーザインタフェース６１５に戻る。カメラオプション領域６２５は、キャプチャアフォーダンス６２１、ビジュアルエフェクトオプションアフォーダンス６２４、及び強調表示エフェクトアフォーダンス６２２を示す。図６Ｓ及び図６Ｔに以下示すように、ユーザは、アバターメニューアフォーダンス６２４－１を選択して、アバターオプションメニュー６２８を再度表示することができる。
例えば、図６Ｓでは、デバイス６００は、アバターエフェクトアフォーダンス６２４－１上の入力６５２（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。図６Ｔでは、入力６５２を検出したことに応じて、デバイス６００は、キャプチャアフォーダンス６２１、エフェクトアフォーダンス６２２、及びビジュアルエフェクトオプションアフォーダンス６２４を含むカメラオプション領域６２５を置換するアバターオプション６３０を有する、アバターオプションメニュー６２８を表示する。アバターオプションメニュー６２８は、前述したように、クローズアフォーダンス６５０を選択することによって再びクローズして、図６Ｕに示すように、カメラアプリケーションユーザインタフェース６１５に再び戻ることができる。
図６Ｕでは、デバイス６００は、ステッカーエフェクトアフォーダンス６２４－２上の入力６５４（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。図６Ｖでは、入力６５４を検出したことに応じて、デバイス６００は、ステッカー６５８のスクロール可能リストを有するステッカーオプションメニュー６５６を表示する。ステッカーは、ユーザが選択できて、画像表示領域６２０内の画像に適用される、静的なグラフィカルオブジェクトである。一部の実施形態では、ステッカーは、選択されたステッカー上で開始し、ステッカーを所望の位置にドラッグし、次いでドラッグを終了（例えば、指をリフト）することによってステッカーを所望の位置に配置する、タッチアンドドラッグジェスチャによって選択することができる。一部の実施形態では、ステッカーはタップジェスチャによって選択することができ、次いで対応するステッカーが画像表示領域６２０上の位置に表示される。このような実施形態の一例は図６Ｗ～図６Ｘに示され、次いで画像表示領域６２０の中央に表示されるヘルメットステッカー６５８－１上のタップジェスチャ６６０を示している。
図６Ｙ～図６Ｚは、ステッカーを新しい位置にドラッグすることによって、配置されたステッカー（例えば、ステッカー６５８－１）を画像表示領域６２０上に再配置できることを示す（ステッカー６５８－１を図６Ｚの新しい位置に動かしているジェスチャ６６２参照）。
図６ＡＡは、配置されたステッカー（例えば、ステッカー６５８－１）が、２本指のジェスチャ６６４を使用して回転できることを示す。
図６ＡＢは、配置されたステッカー（例えば、ステッカー６５８－１）が、ピンチ又はデピンチジェスチャを使用してサイズ変更できることを示す。図６ＡＢでは、ヘルメットステッカー６５８－１が、デピンチジェスチャ６６６に応じて拡大されている。サイズ変更され、回転され、再配置されたヘルメットステッカー６５８－１が、図６ＡＣのロボットアバターの頭部上に配置されて示されている。
図６ＡＤでは、デバイス６００は、クローズアイコン６７０上の入力６６８（例えば、ディスプレイ６０１上のタップジェスチャ）を検出して、ステッカーオプションメニュー６５６をクローズし、図６ＡＥに示すように、キャプチャアフォーダンス６２１を示すカメラオプション領域６２５、ビジュアルエフェクトオプションアフォーダンス６２４、及びビジュアルエフェクトが表示可能にされていることを示す強調表示エフェクトアフォーダンス６２２を含む、カメラアプリケーションユーザインタフェース６１５に戻る。図６ＡＥでは、デバイス６００は、画像表示領域６２０上の画像にユーザの表現を示すが、ロボットアバター６３３（例えば、アバターオプションメニュー６２８から選択された）及びヘルメットステッカー６５８－１（例えば、ステッカーオプションメニュー６５６から選択された）を含むビジュアルエフェクトを用いて変更される。ビジュアルエフェクトの表示は動的である。例えば、デバイス６００は、ユーザの顔の検出された変化に応じてロボットアバター６３３を連続的に変更する。一部の実施形態では、ステッカー６５８－１の位置決めはまた、以下に一層詳細に論じるように、動的であり、かつユーザの検出された動きに基づいて変化する。
ビジュアルエフェクトがデバイス６００に対して有効化されている（例えば、エフェクトアフォーダンス６２２が強調表示されている）ときに、強調表示されたエフェクトアフォーダンス６２２を選択解除する（例えば、強調表示されているときにアフォーダンス６２２を選択して、ビジュアルエフェクトを無効化する）ことによって、適用されたビジュアルエフェクト（例えば、アバター及びステッカーなど）を画像表示領域６２０から除去する、又は隠すことができる。例えば、図６ＡＦでは、デバイスは、強調表示エフェクトアフォーダンス６２２上の入力６７２（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。これに応答して、デバイス６００は、カメラ６０２の視野内に被写体６３２及び背景６３６を含む画像ストリーム（例えば、ライブカメラプレビュー６２０－１）の表示を維持しながら、図６ＡＧに示すように、表示されたビジュアルエフェクト（例えば、図６ＡＦのヘルメットステッカー６５８－１及びロボットアバター６３３）を画像表示領域６２０から除去する。
一部の実施形態では、ビジュアルエフェクトモードが（例えば強調表示エフェクトアフォーダンス６２２を選択解除することにより）無効化された後、除去されたビジュアルエフェクトは、例えば、所定の時間内にエフェクトアフォーダンス６２２を再選択することによって、復元することができる。例えば、図６ＡＨでは、デバイスは、非強調表示エフェクトアフォーダンス６２２上の入力６７４（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。入力６７４を検出したことに応じて、デバイス６００は、図６ＡＩに示すように、被写体６３２の身体及び背景６３６を含む画像ストリーム（例えば、ライブカメラプレビュー６２０－１）を表示し続けながら、エフェクトアフォーダンス６２２を強調表示し、ヘルメットステッカー６５８－１及びロボットアバター６３３を再表示する。
図６ＡＪでは、デバイス６００は、キャプチャアフォーダンス６２１上の入力６７６（例えば、ディスプレイ６０１上のタップジェスチャ）を検出する。入力６７６を検出したことに応じて、デバイス６００は、図６ＡＪのライブカメラプレビュー６２０－１の画像をキャプチャし、図６ＡＫのメディアアイテム６２０－２（例えば、デバイス６００がキャプチャアフォーダンス６２１上の入力６７６を検出した時間におけるライブカメラプレビュー６２０－１の状態の静止画像）を表示する。
一部の実施形態では、画像がキャプチャされる（例えば、メディアアイテムとして記憶される）と、デバイス６００は、深度データをメディアアイテム内に符号化する。深度データをメディアに記憶することにより、深度ベースのエフェクト（例えば、ｚ方向におけるオブジェクト（例えば、ユーザの顔）の位置に基づくエフェクト）を後で適用することが可能になる。一部の実施形態では、エフェクトが適用されている間に画像がキャプチャされると、他のデバイスとの互換性を改善するために、そのエフェクトが視覚（例えば、ＲＧＢ）情報に直接符号化される。
図６ＡＫでは、デバイス６００は、画像表示領域６２０にキャプチャされた画像（例えば、メディアアイテム６２０－２）を示すカメラアプリケーションユーザインタフェース６１５を表示する（例えば、メディアアイテム６２０－２は、画像表示領域６２０に示されるライブカメラプレビュー６２０－１を置換する）。メディアアイテム６２０－２は、キャプチャアフォーダンス６２１が選択された時点でのライブカメラプレビュー６２０－１の表現である。このように、メディアアイテム６２０－２は、被写体６３２の顔、及び背景６３６の上に表示されるヘルメットステッカー６５８－１及びロボットアバター６３３を含む。
デバイス６００はまた、カメラ固有アフォーダンス（例えば、図６ＡＪに示すアフォーダンス６１７）を、再撮影アフォーダンス６７９、及び、受信者識別子６０６に置換し、受信者識別子６０６は、以下に論じるように、ユーザが続いてメディアアイテムを送信すべき、メディアアイテム６２０－２の現在選択されている受信者を示す。
デバイス６００は、ビジュアルエフェクトオプションアフォーダンス６２４を含むカメラオプション領域６２５を表示する。ビジュアルエフェクトオプションアフォーダンス６２４を選択して、それぞれのオプションメニューを表示することができ、メニューを使用して、キャプチャされたメディアアイテム６２０－２（並びに、後述する録画されたビデオメディアアイテム６２０－４）を変更することができる。
デバイス６００はまた、カメラオプション領域６２５を更新して、キャプチャアフォーダンス６２１及びカメラセレクタアフォーダンス６２７を、マークアップアフォーダンス６７７、編集アフォーダンス６７８、及び送信アフォーダンス６８０に置換する。マークアフォーダンス６７７は、ユーザがメディアアイテム６２０－２をマークアップすることを可能にする。編集アフォーダンス６７８により、ユーザが、画像を切り取ること、又はメディアアイテム６２０－２の他の特性を調整することによってなどで、メディアアイテム６２０－２を編集することが可能になる。図６ＡＫに示すように、送信アフォーダンス６８０がキャプチャアフォーダンス６２１をディスプレイ上でに置換するように、キャプチャアフォーダンス６２１が表示された同じ位置／領域内に、送信アフォーダンス６８０が表示される。
送信アフォーダンス６８０は、受信者識別子６０６によって示される受信者にメディアアイテム６２０－２を、ユーザが直ちに送信することを可能にする。例えば、図６ＡＬでは、デバイス６００は、送信アフォーダンス６８０上の入力６８２（例えば、ディスプレイ６０１上のタップジェスチャ）を検出し、図６ＡＭのメッセージングユーザインタフェース６０３に示すように、受信者識別子６０６に対応する連絡先であるＪｏｈｎに、メディアアイテム６２０－２を直ちに送信する。一部の実施形態では、デバイス６００は、メッセージングユーザインタフェース６０３を表示することなくメディアアイテム６２０－２を送信する。図６ＡＭに示すなどの一部の実施形態では、デバイスは、メディアアイテム６２０－２を送信し、メディアアイテム６２０－２を有するメッセージングユーザインタフェース６０３をメッセージ表示領域６０４に表示して、メディアアイテム６２０－２がメッセージ会話の参加者（例えば、Ｊｏｈｎ）に送信されたこと、及びキーボード表示領域６１２の上方に配置されたアプリケーションドック６９０を表示していること、を示す。アプリケーションドック６９０は、異なるアプリケーションにアクセスするために選択可能なアプリケーションアフォーダンス６９２を含む。
一部の実施形態では、メディアアイテム６２０－２は、メッセージング会話の参加者に直ちには送信されない。例えば、図６ＡＮでは、送信アフォーダンス６８０を選択する代わりに、ユーザは完了アフォーダンス６１８を選択する。完了アフォーダンス６１８上の入力６８４（例えば、ディスプレイ６０１上のタップジェスチャ）を検出したことに応じて、デバイス６００は、図６ＡＯに示すように、メッセージングユーザインタフェース６０３のメッセージ作成フィールド６０８に、メディアアイテム６８５の表現を表示する。この実施形態（図６ＡＯ～図６ＡＲに示す）では、アプリケーションドック６９０を表示する代わりに、デバイス６００は、メッセージを送信する前に、キーボード表示領域６１２と一緒にテキスト提案領域６１４を表示し、ユーザがテキスト（例えば、６８７）を作成するか、又は任意選択的に他のメッセージコンテンツ（例えば、マルチメディアコンテンツ）を追加できるようにする。送信アイコン６８８上の入力６８６（例えば、ディスプレイ６０１上のタップジェスチャ）を検出したことに応じて、デバイス６００は、図６ＡＱ～図６ＡＲに示すように、メディアアイテム６８５の表現をメッセージ会話の参加者に送信する。
一部の実施形態では、メディアアイテム６８５を送信することは、メディアアイテムに符号化された深度データを有するメディアアイテムを送信することを含む。深度データと共にメディアアイテムをメディアに記憶することにより、深度ベースのエフェクト（例えば、ｚ方向におけるオブジェクト（例えば、ユーザの顔）の位置に基づくエフェクト）を、後で適用すること（例えば、受信者が後で適用すること）が可能になる。一部の実施形態では、メディアアイテムが送信されると、他のデバイスとの互換性を向上させるために、そのエフェクトが視覚（例えばＲＧＢ）情報に直接符号化される。
一部の実施形態では、メディアアイテム６８５の表現を送信した後、デバイス６００は、図６ＡＲに示すように、キーボード表示領域６１２の上方に表示されるテキスト提案領域６１４を有するメッセージングユーザインタフェース６０３を表示する。アプリケーションドックアフォーダンス６１０上の入力６９４（例えば、ディスプレイ６０１上のタップジェスチャ）を受信したことに応じて、デバイス６００は、図６ＡＴに示すように、テキスト提案領域６１４をアプリケーションドック６９０に置換する。
一部の実施形態では、ユーザがメッセージ作成フィールド６０８又ははキーボード領域６１２（メッセージのテキストを作成することに関連付けられた動作）を選択するまで、アプリケーションドック６９０はメッセージングユーザインタフェース６０３に表示されたままである。例えば、図６ＡＵに示すように、デバイス６００は、キーボード表示領域６１２上の入力６９６（例えば、デバイス６０１上のタップジェスチャ）を検出する。これに応じて、図６ＡＶに示すように、デバイス６００は、アプリケーションドック６９０を除去し、キーボード表示領域６１２の上方にテキスト提案領域６１４を表示する。一部の実施形態では、入力６９６が（キーボード表示領域６１２の代わりに）メッセージ作成フィールド上の入力である場合、デバイス６００はまた、図６ＡＶに示すように、アプリケーションドック６９０を除去し、テキスト提案領域６１４を表示する。
図６ＡＷは、アプリケーションドックアフォーダンス６１０が選択された後（例えば、図６ＡＳの入力６９４に応じて）のメッセージングユーザインタフェース６０３を示す。アプリケーションドック６９０は、キーボード選択領域６１２の上方に表示される（例えば、テキスト提案領域６１４を置換する）。アプリケーションアフォーダンス６９２－１上の入力６９８（例えば、ディスプレイ６０１上のタップジェスチャ）を検出したことに応じて、デバイス６００は、テキスト提案領域６１４及びキーボード表示領域６１２によって以前に占有されていた位置にアプリケーション表示領域６９９を表示する。アプリケーション表示領域６９９は、アプリケーションドック６９０を任意選択的に含み、アプリケーションドック６９０は、図６ＡＸに示すように、選択されたアプリケーションアフォーダンス（例えば、アプリケーションアフォーダンス６９２－１）の表示６１００を含む。
一部の実施形態では、アプリケーション表示領域６９９は、メッセージングユーザインタフェース６０３で使用するために選択できるグラフィカルオブジェクト６１０２を含む。一部の実施形態では、アプリケーション表示領域６９９に表示されるグラフィカルオブジェクトのタイプは、アプリケーション表示領域の表示を呼び出すために選択されたアプリケーションアフォーダンスに依存する。図６ＡＸに示す実施形態では、選択されたアプリケーションアフォーダンス６９２－１は、アバターアプリケーションに対応する。したがって、アプリケーション表示領域６９９に表示されるグラフィカルオブジェクト６１０２－１及び６１０２－２は、メッセージングユーザインタフェースで使用するために選択できるアバターに対応する。アプリケーションドック６１０から選択されたアプリケーションアフォーダンスがステッカーアプリケーションに対応する場合、グラフィカルオブジェクト６１０２は、メッセージングユーザーインタフェースで使用するために選択できるステッカーに対応する。
前述したように、図６Ｃ～図６ＡＸに関して説明した先の実施形態は、写真アフォーダンス６１９－２に関連付けられた動作の静止画像キャプチャモードで動作するデバイス６００に関して論じられる。しかしながら、特に明記しない限り、これらの実施形態はまた、デバイスがビデオアフォーダンス６１９－１に関連付けられたビデオ録画モードで動作しているときのデバイス６００の動作に適用される。このようにして、ビデオアフォーダンス６１９－１に関連付けられたビデオ録画モードで動作しているときにデバイス６００に適用される先の実施形態の多くを示す、図６ＡＹ～図６ＢＱの下記の説明は、冗長性を避けるために必要に応じて省略されている。
図６ＡＹ～図６ＡＺは、カメラアプリケーションユーザインタフェース６１５のビデオアフォーダンス６１９－１上の入力６１０４を検出したことに応じて、デバイス６００がビデオ録画モードに切り替わることを示す。ビデオ録画モードに切り替えると、デバイス６００は、カメラ固有アフォーダンス６１７－２、６１７－３、及び６１７－４を除外し、タイマ６１２２を表示する。
図６ＡＺ～図６ＢＢは、エフェクトアフォーダンス６２２上の入力６１０６に応じてエフェクトモードを有効化し、次いでビデオ記録モードが有効化されている間に、カメラオプション領域６２５にビジュアルエフェクトオプションアフォーダンス６２４を表示するデバイス６００を示す。
図６ＢＣ～図６ＢＥは、アバターエフェクトアフォーダンス６２４－１上の入力６１０８を検出したことに応じて、アバターオプションメニュー６２８を表示するデバイス６００を示す。アバターオプションメニュー６２８は、ビデオモード中に被写体の顔に対応するアバターを表示するために選択できる、アバターオプション６３０を含む。ロボットアバターオプション６３０－３が選択されると、デバイス６００は、被写体の身体及び背景６３６の表示を維持しながら、ロボットアバター６３３を被写体の顔に表示する。クローズアイコン６５０は入力６１１０により選択され、アバターオプションメニュー６２８をクローズし、強調表示されたエフェクトアフォーダンス６２２及び表示されたビジュアルエフェクトオプションアフォーダンス６２４を有するカメラオプション領域６２５に戻る。
図６ＢＦ～図６ＢＨは、画像表示領域６２０に表された画像データの録画されたビデオを生成するデバイス６００を示す。デバイス６００は、キャプチャアフォーダンス６２１上の入力６１１２を検出し、画像表示領域６２０に表された画像データのキャプチャを開始する。一部の実施形態では、デバイス６００は、デバイス６００のビデオ録画モードが有効化されているとの判定に基づいて、画像データのビデオ記録を生成する。一部の実施形態では、デバイス６００は、キャプチャアフォーダンス６２１上で検出された入力６１１２に基づいて、ビデオ録画又は任意選択で静止画像キャプチャを生成する。例えば、入力６１１２がタップジェスチャとして検出されると、デバイス６００は、画像表示領域６２０に表される画像データの静止画像をキャプチャする。入力６１１２がタップアンドホールドジェスチャとして検出された場合、デバイス６００は、一層詳細に上述したように、画像データのビデオ録画をキャプチャする。
図６ＢＧでは、キャプチャアフォーダンス６２１上の入力６１１２を検出したことに応じて、デバイス６００は、被写体、背景、及びビジュアルエフェクトを含む画像表示領域６２０に表される画像データを記録するための処理を開始する。デバイス６００はまた、カメラエフェクト領域６２５を除去し、画像表示領域６２０を拡張し、並びに停止アフォーダンス６１１４、及び任意選択的に、ライブカメラ記録の静止画像をキャプチャするための画像キャプチャアフォーダンス６１１６を表示することによって、カメラアプリケーションユーザーインタフェース６１５を変更する。図６ＢＧ及び図６ＢＨでは、画像表示領域６２０は、上述のようになされた様々な選択に従って有効化されるビジュアルエフェクト（例えば、ロボットアバター６３３）の追加を伴う、カメラ６０２の視野内のオブジェクトのライブカメラ記録６２０－３を表す。ステッカー及びフルスクリーンエフェクトを含むこともできる、これらのビジュアルエフェクトは、ライブ画像データの一部として画像表示領域６２０に表示され、結果としてのメディアアイテムの一部を形成するために記録される。本明細書で論じるように、これらのビジュアルエフェクトは、メディアアイテムが記録された後、メディアアイテムに任意選択的に表示又は隠すことができる。
図６ＢＨでは、デバイス６００は、ユーザの顔の変化を検出し、ライブ画像ストリームを記録しながら、ユーザの顔の検出された変化に基づいてロボットアバター６３３を変更する。停止アフォーダンス６１１４上の入力６１１８を検出したことに応じて、デバイス６００は、画像表示領域６２０に表される画像データの記録を停止し、図６ＢＩに示す再生インタフェースを表示する。
図６ＢＩでは、デバイス６００は、画像表示領域６２０に記録されたビデオメディアアイテム６２０－４を表示し、再撮影アフォーダンス６７９及び受信者識別子６０６を表示し、受信者識別子は、本明細書で論じるように、ユーザが続いてメディアアイテムを送信すべき、ビデオアイテム６２０－４の現在選択されている受信者を示す。
デバイス６００はまた、停止アフォーダンス６１１４及び画像キャプチャアフォーダンス６１１６を除去し、記録されたビデオメディアアイテム６２０－４用のビデオスクラバ６１２０、エフェクトアフォーダンス６２２、編集アフォーダンス６７８、マークアップアフォーダンス６７７、及び送信アフォーダンス６８０を有するカメラオプション領域６２５を表示する。カメラオプション領域６２５はまた、ビジュアルエフェクトオプションアフォーダンス６２４を含む。ビジュアルエフェクトオプションアフォーダンス６２４を選択して、キャプチャされたメディアアイテム６２０－４を変更するために使用できる、それぞれのオプションメニューを表示することができる。図６ＢＪ～図６ＢＮは、キャプチャされたビデオメディアアイテム６２０－４においてビジュアルエフェクトを変更する例を示す。図６ＢＩに示すように、送信アフォーダンス６８０がキャプチャアフォーダンス６１１６をディスプレイ上でに置換するように、キャプチャアフォーダンス６１１６が表示された同じ位置／領域内に、送信アフォーダンス６８０が表示される。
図６ＢＪ～図６ＢＮは、アバターエフェクトアフォーダンス６２４－１上の入力６１２４を検出したことに応じて、アバターオプションメニュー６２８を表示するデバイス６００を示す。図６ＢＫに示すように、アバターオプションメニュー６２８は、選択されたロボットアバターオプション６３０－３を含むアバターオプション６３０を示す。図６ＢＬに示すように、デバイス６００は、入力６１２６を検出してウサギアバターオプション６３０－４を選択し、ビデオメディアアイテム６２０－４を更新して、図６ＢＭに示すように、被写体の身体及び背景６３６をなおも表示しながら、被写体の頭部に配置されたウサギアバター６３４を示す。図６ＢＮに示すように、クローズアイコン６５０上の入力６１２８を検出したことに応じて、デバイス６００は、アバターオプションメニュー６２８をクローズし、図６ＢＯのカメラオプション領域６２５を表示する。ビデオスクラバ６１２０を含むカメラオプション領域６２５は、図６ＢＪのロボットアバター６３３の表示から、ウサギアバター６３４の表示に更新される。一部の実施形態では、ビデオスクラバ６１２０に向けられた入力（例えば、ビデオスクラバ６１２０の位置で開始する接触の動きを含むスワイプ入力又はドラッグ入力）に応じて、デバイスは、録画されたビデオを通じてスクラブする（例えば、ビデオのプレビューの外観を変更し、及び入力に従って、スクラバを移動させるか又はスクラバ内の再生ヘッドを移動させる）。一部の実施形態では、記録されたビデオを通じてスクラブすることは、ビデオに適用されるエフェクトが経時的にどのように影響を及ぼすか（例えば、ステッカー及び／又はアバターが、ユーザの頭部／顔が動くにつれて、どのように動き、及び／又は表現を変化させるか、若しくは１つ以上のカメラの視野内の表現を変化させるか）を示す。一部の実施形態では、ビデオスクラバ６１２０は、ビデオをクロッピングする（例えば、ビデオスクラバの両端の編集アフォーダンスをドラッグすることにより、ビデオスクラバの開始又は終了時間を変更する）ための選択可能なアフォーダンスを含む。例えば、図８ＡＷのビデオスクラバ８１２０に向けられたユーザ入力に応じて、デバイスは、図８ＡＷ～８ＡＺに示すように、アバター及びステッカーを用いて、しかし入力（例えば、タッチ感知ディスプレイ上の接触の動きの大きさ及び方向）の変化に基づいて決定されたレートで、ビデオを通じてスクラブし得る。上述したビデオスクラバ６１２０（及び後述するビデオスクラバ８１２０）との相互作用は、本明細書に記載する他のスクラバとの相互作用に対するのと同様の方法で、任意選択的に適用される。
図６ＡＫ～図６ＡＯに関して上述したように、ビデオメディアアイテム６２０－４を、図６ＢＰ及び図６ＢＱに示すように、送信アフォーダンス６８０上の入力（例えば、入力６１３０）を検出したことに応じて、メッセージ会話の参加者に直ちに送信することができる。ビデオメディアアイテム６２０－４の表現は、完了アフォーダンス６１８の入力に応じて、メッセージ作成フィールド６０８に表示することができる。
図７Ａ～図７Ｂは、一部の実施形態に係る、電子デバイスを使用してメッセージングアプリケーションにビジュアルエフェクトを表示するための方法を示すフロー図である。方法７００は、カメラ、表示装置、及び１つ以上の入力デバイスを備えたデバイス（例えば、１００、３００、５００、６００）にて実行される。方法７００におけるいくつか動作は、任意選択的に組み合わせられ、いくつかの動作の順序は任意選択的に変更され、いくつかの動作は任意選択的に省略される。
以下に説明するように、方法７００は、メッセージングアプリケーションにおいてビジュアルエフェクトを表示するための直感的な仕方を提供する。この方法は、メッセージングアプリケーションにおいて送信する画像にビジュアルエフェクトを適用するためユーザの認知負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスでは、画像にビジュアルエフェクトをユーザーがより迅速かつ効率的に表示できるようにすることで、電力を節約し、バッテリ充電間の時間を増大させる。
電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、少なくとも第１の参加者を含むメッセージ会話の、カメラアフォーダンス（例えば、６０９、カメラアプリケーションをアクティブ化するための機能に関連付けられた選択可能なアイコン）を含むメッセージングユーザインタフェース（例えば、６０３）を表示する（７０２）。
電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、カメラアフォーダンスに向けられた第１の入力（例えば、６１６、カメラアフォーダンスに対応する位置におけるタッチスクリーンディスプレイ上のタッチジェスチャ）を検出する（７０４）。
第１の入力（例えば、６１６）を検出したことに応じて、電子デバイス（例えば、６００）は、カメラユーザインタフェース（例えば、６１５）を表示する（７０６）。カメラユーザインタフェースは、キャプチャアフォーダンス（例えば、電子デバイスのカメラを使用して画像データをキャプチャするための機能に関連付けられた選択可能なアイコン、６２１）を含む（７０８）。
一部の実施形態では、カメラユーザインタフェース（例えば、６１５）は、キャプチャされた画像データに表示するためにビジュアルエフェクトが有効化されるモードに関連付けられたエフェクトモードアフォーダンス（例えば、６２２、画像データを変更するために様々なビジュアルエフェクトが利用可能なモードをアクティブ化するための機能に関連付けられた選択可能なアイコン）を含む（７１０）。カメラユーザインタフェースにエフェクトモードアフォーダンスを含めることにより、ユーザが、カメラユーザインタフェースを介して特定のエフェクト（例えば、ビジュアルエフェクト）を画像に適用できることを認識することが可能になる。デバイスの追加の制御を提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ビジュアルエフェクトを、カメラの視野内の画像データの表現に付加することができる。一部の実施形態では、ビジュアルエフェクトを、キャプチャされた画像データに付加することができる。一部の実施形態では、ビジュアルエフェクトは深度データに基づく。一部の実施形態では、電子デバイスは、１つ以上の入力デバイスを介して、エフェクトモードアフォーダンスの選択（たとえば、６２３）を検出する。一部の実施形態では、エフェクトモードアフォーダンスの選択を検出したことに応じて、電子デバイスは、第１のカメラモード（例えば、標準カメラモード）から、第１のカメラモードとは異なる第２のカメラモード（例えば、エフェクトカメラモード、画像データを変更するために様々なビジュアルエフェクトを利用できるモード）に、電子デバイスを遷移させる。一部の実施形態では、デバイスが第２のカメラモードにある間に、第２のカメラモードが動作しているという視覚表示が表示される（例えば、エフェクトモードアフォーダンスが強調表示される）。
一部の実施形態では、エフェクトモードアフォーダンス（例えば、６２２）の選択（例えば、６２３）を検出することに更に応じて、電子デバイス（例えば、６００）は、１つ以上のカメラモードアフォーダンスを表示することを停止する。一部の実施形態では、エフェクトモードアフォーダンスの選択を検出したことに更に応じて、電子デバイスは、複数のエフェクトオプションアフォーダンス（例えば、６２４、ビジュアルエフェクトを生成するための機能にそれぞれ関連付けられた選択可能なアイコン）を表示する。一部の実施形態では、エフェクトオプションアフォーダンスは、１つ以上のカメラモードアフォーダンスによって以前に占有されていた、カメラユーザインタフェース（例えば、６１５）内の位置に、ステッカーアフォーダンス（例えば、６２４－２）及び／又はアバターアフォーダンス（例えば、６２４－１）を含む。一部の実施形態では、エフェクトオプションアフォーダンスが表示される位置は、カメラモードアフォーダンスが以前に表示された特定の領域（例えば、カメラエフェクト領域６２５）内の任意の位置である。一部の実施形態では、それぞれのエフェクトオプションアフォーダンスが表示される位置は、それぞれのカメラモードアフォーダンスがその領域に表示されたのと同じ位置である。一部の実施形態では、エフェクトオプションアフォーダンスを表示することは、カメラモードアフォーダンスをエフェクトオプションアフォーダンスに置換することを含む。
一部の実施形態では、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、エフェクトオプションアフォーダンスの第１のもの（例えば、ステッカーアフォーダンス６２４－２）の選択（例えば、６５４）を検出する。一部の実施形態では、エフェクトオプションアフォーダンスのうちの第１のものの選択を検出したことに応じて、電子デバイスは、複数のエフェクトオプションアフォーダンス（例えば、６２４）を表示することを停止し、複数の選択可能なグラフィックアイコン（例えば、６５８、ステッカー）を表示する。エフェクトオプションアフォーダンスのうちの第１のものの選択を検出したことに応じて、複数のエフェクトオプションアフォーダンスの表示を停止し、複数の選択可能なグラフィックアイコンを表示することにより、ユーザは、エフェクトオプションアフォーダンスのうちの第１のものがグラフィックアイコン（例えば、ステッカー）オプションに関連することを迅速かつ容易に認識することができ、それによって、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ステッカーを表示することは、エフェクトオプションのアフォーダンスの上に領域（例えば、ステッカーメニュー６５６）を表示することを含み、この領域は、カメラユーザインタフェースに表される画像上に表示するために選択できる複数のステッカーオプションを含む。一部の実施形態では、ユーザは、ステッカー上をタップすることによってステッカー（例えば、６５８－１）を選択し（例えば、６６０）、ステッカーは画像上に自動的に表示される（例えば、画像の中心などのデフォルト位置に）。一部の実施形態では、ユーザは、ステッカーをタッチし、ステッカーをステッカーメニューから画像上にドラッグすることによって、ステッカーを選択する。一部の実施形態では、キャプチャアフォーダンスを表示している間に、エフェクトオプションアフォーダンスのうちの第１のものの選択を検出したことに更に応じて、電子デバイスは、キャプチャアフォーダンスの表示を停止する。
一部の実施形態では、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、エフェクトオプションアフォーダンスのうちの第２のもの（例えば、アバターアフォーダンス６２４－１）の選択（例えば、６２６）を検出する。一部の実施形態では、エフェクトオプションアフォーダンスのうちの第２のものの選択を検出したことに応じて、電子デバイスは、複数のエフェクトオプションアフォーダンス（例えば、６２４）の表示を停止し、複数のアバターアフォーダンス（例えば、直線配置で表示される６３０）（例えば、アバターを表すアフォーダンス）を有するアバター選択領域（例えば、アバターメニュー６２８）を表示する。エフェクトオプションアフォーダンスのうちの第２のものの選択を検出したことに応じて、複数のエフェクトオプションアフォーダンスの表示を停止し、アバター選択領域を表示することにより、ユーザは、エフェクトオプションアフォーダンスのうちの第２がアバター選択に関連することを迅速かつ容易に認識することができ、それによって、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、アバターアフォーダンスは、カスタマイズ可能、カスタマイズ不可能、又はそれらの組み合わせであるアバターに対応する。一部の実施形態では、アバター選択領域を表示することは、エフェクトオプションアフォーダンスの上に領域（例えば、アバターメニュー６２８）を表示することを含み、この領域は、カメラユーザインタフェースに表される画像上に対応するアバターを表示するために選択できる複数のアバターアフォーダンスを含む。
一部の実施形態では、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、アバター選択領域（例えば、６２８）上のスワイプ入力（例えば、６４６、垂直スワイプジェスチャ）を検出する。一部の実施形態では、アバター選択領域上のスワイプ入力を検出したことに応じて、電子デバイスは、アバター選択領域（例えば、６２８－１）のサイズを増大させ、マトリックス状に配置された複数のアバターアフォーダンス（例えば、６３０）を表示する。アバター選択領域上のスワイプ入力を検出したことに応じて、アバター選択領域のサイズを増大させ、複数のアバターアフォーダンスをマトリクス状に表示することにより、ユーザは、アバター選択領域では（同時に）見えない、１つ以上の追加選択可能なアバターを（同時に）見ることができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、アバター表示領域のサイズを増大することは、アバター表示領域の全画面表示を提示するために、アバター表示領域にマトリックス状に表示されたアバターアフォーダンスを用いて、アバター表示領域を垂直方向に拡張することを含む。
一部の実施形態では、カメラユーザインタフェース（例えば、６１５）は、画像データの第１の表現（例えば、ライブカメラプレビュー６２０－１）を更に含む。画像データの第１の表現（例えば、ライブカメラプレビュー）を提供することにより、変更を保存／確認する前に、ユーザによってなされた１つ以上の（画像への）変更についての視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、エフェクトモードアフォーダンス（例えば、６２４－１、６２４－２）の選択を検出したことに更に応じて、電子デバイス（例えば、６００）は、画像データの第１の表現が、第２のカメラ（例えば、背面カメラ）から取得された画像データに対応するとの判定に従って、画像データの第１の表現の表示を停止し、画像データの第２の表現（例えば、ライブカメラプレビュー）を表示し、この画像データの第２の表現は、カメラ（例えば、正面カメラ）から取得された画像データに対応する。一部の実施形態では、正面カメラに対応する画像データの表現は、正面カメラの視野内に位置するユーザの表現を含む。
一部の実施形態では、電子デバイス（例えば、６００）が第２のカメラモード（例えば、エフェクトカメラモード、画像データを変更するための様々なビジュアルエフェクトを利用できるモード）である間に、電子デバイスは、第１のカメラモード（例えば、通常モード、非エフェクトモード）への遷移要求（例えば、アクティブなビジュアルエフェクトアフォーダンスの選択）を受信する。一部の実施形態では、電子デバイスは、第１のカメラモードへの遷移要求を受信したことに応じて、電子デバイスを第２のカメラモードから第１のカメラモードに遷移させる。一部の実施形態では、電子デバイスは、第１のビジュアルエフェクトがアクティブである（例えば、キャプチャされた画像データ又はキャプチャ用の画像データのプレビューにアクティブに適用されている）ことに従って、第１のビジュアルエフェクトを非アクティブ化する（例えば、無効化する、表示された第１のビジュアルエフェクトの表示を停止する）。
一部の実施形態では、第１のビジュアルエフェクトを非アクティブ化した後、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、エフェクトモードアフォーダンス（例えば、６２４－１、６２４－２）の後続の選択を検出する。一部の実施形態では、エフェクトモードアフォーダンスの後続の選択を検出したことに応じて、電子デバイスは、第１のビジュアルエフェクトを非アクティブ化した後の所定の時間内に、エフェクトモードアフォーダンスの後続の選択が発生したとの判定に従って、第１のビジュアルエフェクトを再アクティブ化する。第１のビジュアルエフェクトを非アクティブ化した後の所定の時間内に、エフェクトモードアフォーダンスの後続の選択が発生したとの判定に従って、第１のビジュアルエフェクトを再アクティブ化することにより、ユーザは、（例えば、エフェクトを再選択／再生成する必要なく）以前のビジュアルエフェクトに迅速かつ容易に戻ることができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、画像からビジュアルエフェクトを除去するエフェクトモードアフォーダンスを選択した後、所定の時間内にエフェクトモードアフォーダンスが再び選択されると、除去されたビジュアルエフェクトが画像に復元される。
電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、キャプチャアフォーダンス（例えば、６２１）に向けられた第２の入力（例えば、６７６、キャプチャアフォーダンスに対応する位置におけるタッチスクリーンディスプレイ上のタッチジェスチャ）を検出する（７１２）。
電子デバイス（例えば、６００）は、第２の入力（７１４）を検出したことに応じて、カメラ（例えば６０２）を使用して画像データをキャプチャする（７１６）。一部の実施形態では、画像データをキャプチャすることは、第１のキャプチャモード基準（例えば、閾値持続時間よりも小さい）を満たす第２の入力の特性（例えば、接触の持続時間）の値に従って、第１の画像キャプチャモード（例えば、写真キャプチャモード、静止画像キャプチャモード）で画像データをキャプチャすることを含む。一部の実施形態では、画像データをキャプチャすることは、第２のキャプチャモード基準（例えば、第２の閾値持続時間よりも大きい）を満たす第２の入力の特性の値に従って、第２の画像キャプチャモード（例えば、ビデオキャプチャモード、連続キャプチャモード）で画像データをキャプチャすることを含む。一部の実施形態では、キャプチャアフォーダンス（例えば、６２１）は、多機能キャプチャアフォーダンスである。一部の実施形態では、キャプチャアフォーダンス上でタップが検出されると、電子デバイスは写真（例えば、静止画像）をキャプチャする。一部の実施形態では、電子デバイスは、キャプチャアフォーダンス上でプレスアンドホールドジェスチャが検出されると、ビデオ（例えば、連続画像）をキャプチャする。
第２の入力（例えば、６７６）を検出すること（７１４）に応答して、電子デバイス（例えば、６００）は、キャプチャアフォーダンス（例えば、６２１）の表示を停止する（７１８）。
一部の実施形態では、電子デバイス（例えば、６００）は、カメラ（例えば、６０２）を使用して画像データをキャプチャした後、マークアップアフォーダンス（例えば、６７７）、編集アフォーダンス（例えば、６７８）、及び再撮影アフォーダンス（例えば、６７９）を表示する。一部の実施形態では、電子デバイスは、マークアップアフォーダンス、編集アフォーダンス、及び再撮影アフォーダンスを表示している間に、１つ以上の入力デバイスを介して、第４のユーザ入力を受信する。一部の実施形態では、電子デバイスは、第４のユーザ入力を検出したことに応じて、編集アフォーダンスに対応する第４のユーザ入力に従って、キャプチャされた画像データを編集するための処理を開始する。一部の実施形態では、編集のための処理は、キャプチャされた画像データを編集するための１つ以上のアフォーダンスを表示することを含む。一部の実施形態では、電子デバイスは、第４のユーザ入力を検出したことに応じて、マークアップアフォーダンスに対応する第４のユーザ入力に従って、キャプチャされた画像データをマークアップするための処理を開始する。一部の実施形態では、編集のための処理は、キャプチャされた画像データをマークアップするための１つ以上のアフォーダンスを表示することを含む。一部の実施形態では、電子デバイスは、第４のユーザ入力を検出したことに応じて、再撮影アフォーダンスに対応する第４のユーザ入力に従って、キャプチャされた画像データを再撮影するための処理を開始する。一部の実施形態では、キャプチャされた画像データを再撮影する処理を開始することは、新たな画像データをキャプチャし、キャプチャされた画像データを新しい画像データに置換することを含む。
第２の入力（例えば、６７６）を検出すること（７１４）に応じて、電子デバイス（例えば、６００）は、キャプチャアフォーダンス（例えば、６２１）によって以前に占有されていたカメラユーザインタフェース（例えば、６１５）内の位置に、送信アフォーダンス（例えば、６８０、キャプチャされた画像データを会話中の参加者に送信するための、又は後続の送信前に、キャプチャされた画像データを作成領域に提示するための機能に関連付けられた選択可能なアイコン）を表示する（７２０）。キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に送信アフォーダンスを表示することにより、キャプチャされた画像を意図する受信者に送信する準備ができているという視覚フィードバックを提供する。ユーザインタフェースを雑然とさせることなく視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、送信アフォーダンス（例えば、６８０）が表示される位置は、キャプチャアフォーダンスが以前に表示された特定の領域（例えば、カメラエフェクト領域６２５）内の任意の位置である。一部の実施形態では、送信アフォーダンスが表示される位置は、キャプチャアフォーダンスがその領域内に表示されたのと同じ位置である。一部の実施形態では、送信アフォーダンスを表示することは、キャプチャアフォーダンスを送信アフォーダンスに置換することを含む。
一部の実施形態では、送信アフォーダンス（例えば、６８０）を表示している間に、電子デバイス（例えば、６００）は、第１の参加者の表現（例えば、アイコン、写真、アバター、又は第１の参加者に関連付けられた他の識別子）を表示する（７２２）。送信アフォーダンスを表示している間に第１の参加者の表現を表示することにより、ユーザは、意図する受信者を迅速かつ容易に認識することができ、それによって、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、第１の参加者の表現は、キャプチャされた写真が第１の参加者に送信されることをユーザに示すインジケーションとして働く。一部の実施形態では、第１の参加者の表現は、カメラ（例えば、６０２）を使用して画像データをキャプチャする前には表示されない（７２４）。一部の実施形態では、カメラユーザインタフェース（例えば、６１５）は、画像データをキャプチャする前に表示されるカメラ固有アフォーダンス（例えば、フィルタ、照明オプション、タイマオプションなどに対応する６１９）を含む。一部の実施形態では、第１の参加者の表現を表示することで、表示されたカメラ固有アフォーダンスを第１の参加者の表現に置き換える。
電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、送信アフォーダンスに向けられた第３の入力（例えば、送信アフォーダンス６８０に対応する位置におけるタッチスクリーンディスプレイ上のタッチジェスチャ）を検出する（７２６）。
第３の入力を検出したことに応じて、電子デバイス（例えば、６００）は、（例えば、後続の送信前に、作成領域内でキャプチャされた画像データを即座に送信又は提示する）処理を開始し（７２８）、キャプチャされた画像データを第１の参加者に送信する。
一部の実施形態では、電子デバイス（例えば、６００）は、送信アフォーダンス（例えば、６８０）に向けられた第３の入力を検出する前に、完了アフォーダンス（例えば、カメラユーザインタフェースをクローズしてメッセージングユーザインタフェースを表示するための機能に関連付けられた選択可能なアイコン）を表示する。一部の実施形態では、電子デバイスは、１つ以上の入力デバイスを介して、完了アフォーダンスの選択を検出する。一部の実施形態では、電子デバイスは、完了アフォーダンスの選択を検出したことに応じて、メッセージ作成領域（例えば６０８）を有するメッセージングユーザーインタフェース（例えば、６０３）を表示する。一部の実施形態では、電子デバイスは、完了アフォーダンスの選択を検出したことに応じて、キャプチャされた画像データの表現をメッセージ作成領域に表示する。一部の実施形態では、完了アフォーダンスを選択すると、カメラユーザインタフェースをクローズし、キャプチャされた画像データを送信することなく、キャプチャされた画像データをメッセージングユーザインタフェースのメッセージ作成フィールドに表示する。
一部の実施形態では、電子デバイス（例えば、６００）は、第３のユーザ入力を検出する前に、第１の画像キャプチャモード（例えば、写真キャプチャモード、ビデオキャプチャモード）にある。一部の実施形態では、電子デバイスは、第３のユーザ入力を検出したことに更に応じて、第１の画像キャプチャモードを維持する。一部の実施形態では、電子デバイスは、複数のモード（例えば、写真キャプチャモード、ビデオキャプチャモード）に従って画像データをキャプチャするように構成（例えば、ユーザ構成）することができる。一部の実施形態では、電子デバイスが第１のカメラモード（例えば、標準カメラモード、非エフェクトカメラモード）から第２のカメラモード（例えば、エフェクトカメラモード）に遷移する場合でさえも、画像キャプチャモードの選択は持続的である。
一部の実施形態では、キャプチャされた画像データを第１の参加者に送信する処理を開始することは、（例えば、メッセージングユーザインタフェース６１５を表示することなく）キャプチャされた画像データを第１の参加者に送信することを含む。一部の実施形態では、カメラユーザインタフェースから送信アフォーダンス（例えば、６８０）を選択すると、中間ユーザインタフェースを表示することなく、又はユーザからの更なる入力を要求することなく、メッセージ会話の他の参加者にキャプチャされた画像データを直ちに送信する。
一部の実施形態では、キャプチャされた画像データを第１の参加者に送信する処理を開始することは、メッセージングユーザインタフェース（例えば、６１５）を再表示することを含み、メッセージングユーザインタフェースは、キーボード領域（例えば、６１２）及びアプリケーションメニューアフォーダンス（例えば、６１０、アプリケーションメニューユーザインタフェースを表示するための機能に関連付けられた選択可能なアイコン）を更に含む。キャプチャされた画像データを第１の参加者に送信する処理を開始することの一部としてメッセージングユーザインタフェースを再表示することにより、キャプチャされた画像データがメッセージ会話を介して送信されているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、アプリケーションメニューアフォーダンスは、メッセージングユーザインタフェース内のメッセージ作成フィールドに隣接して表示される。一部の実施形態では、電子デバイス（例えば、６００）は、１つ以上の入力デバイスを介して、アプリケーションメニューアフォーダンスの選択を検出する。一部の実施形態では、アプリケーションメニューアフォーダンスの選択を検出したことに応じて、電子デバイスは、キーボード領域に隣接する（例えば、その上方の）アプリケーションメニュー領域であって、複数のアプリケーションアフォーダンス（例えば、それぞれのアプリケーションアフォーダンスに関連付けられたアプリケーションを開始するための機能にそれぞれ関連付けられた選択可能なアイコン）を有する、アプリケーションメニュー領域を表示する。一部の実施形態では、アプリケーションアフォーダンスは、ステッカーアフォーダンス及びアバターアフォーダンスを含む。
一部の実施形態では、電子デバイス（例えば、６００）は、メッセージングユーザインタフェース（例えば、６１５）上の第４の入力を検出する。一部の実施形態では、第４の入力が、キーボード領域（例えば、６１２）の位置、又はメッセージングユーザインタフェース内のメッセージ作成領域（例えば、６０８）の位置に対応するとの判定に従って、電子デバイスは、アプリケーションメニュー領域の表示を停止し、アプリケーションメニュー領域によって以前に占有されていたメッセージングユーザインタフェース内の位置に、テキスト提案領域（例えば、ユーザが便利に選択するための推奨ワードのリストを有する領域）を表示する。
一部の実施形態では、電子デバイス（例えば、６００）は、アプリケーションメニュー領域内の複数のアプリケーションアフォーダンス（例えば、ステッカーアフォーダンス又はアバターアフォーダンス）のうちの１つの選択を検出する。一部の実施形態では、アプリケーションアフォーダンス（例えば、６１０）の選択を検出したことに応じて、電子デバイスは、キーボード領域（例えば、６１２）の表示を停止し、キーボード領域によって以前に占有されていたメッセージングユーザインタフェース（例えば、６１５）内の位置にアプリケーション表示領域を表示し、アプリケーション表示領域は、選択されたアプリケーションアフォーダンスに対応する複数のグラフィカルオブジェクト（例えば、アバター又はステッカー）を含む。一部の実施形態では、選択されたアプリケーションアフォーダンスはステッカーアフォーダンスであり、アプリケーション表示領域に表示されるグラフィカルオブジェクトはステッカーである。一部の実施形態では、選択されたアプリケーションアフォーダンスはアバターアフォーダンスであり、アプリケーション表示領域に表示されるグラフィカルオブジェクトは、アバター（例えば、カスタマイズ可能なアバター、及び／又はカスタマイズ不可能なアバター）である。
なお、方法７００に関して上述された処理（例えば、図７Ａ～図７Ｂ）の詳細はまた、以下で説明される方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法９００、１１００、１３００、及び１５００は、方法７００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラアプリケーションユーザインタフェース、メディアユーザーインタフェース、及びライブビデオ通信セッションのためのユーザーインタフェースにおいて画像データに表示される。簡潔にするために、これらの詳細は、以下では繰り返さない。
図８Ａ～図８ＢＱは、一部の実施形態に係る、カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図９Ａ及び図９Ｂの処理を含めた、以下で説明される処理を示すために用いられる。
図８Ａでは、デバイス６００は、ホーム画面８００を示し、カメラアプリケーションアフォーダンス８０２上の入力８０１を検出する。
図８Ｂでは、入力８０１を検出したことに応じて、デバイス６００は、カメラアプリケーションアフォーダンス８０２に関連付けられたカメラアプリケーションを起動し、カメラアプリケーションユーザインタフェース８１５を表示する。カメラアプリケーションユーザインタフェース８１５は、図６Ａ～図６ＢＱに示す実施形態に関して上述した、カメラアプリケーションユーザインタフェース６１５に類似する。
カメラアプリケーションユーザインタフェース８１５は、例えば、カメラ（例えば、背面カメラ又はカメラ６０２）の視野内に位置するオブジェクトを表すストリーミングされた画像データ（例えば、ライブカメラプレビュー、ライブカメラ記録、若しくはライブビデオ通信セッション）、又は、例えば写真若しくはビデオ録画などのメディアアイテム、などの画像データの表現を表示する画像表示領域８２０を含む。図８Ｂに示す実施形態では、画像表示領域８２０は、デバイス６００の背面カメラからのライブカメラプレビュー８２０－１'を示す。
カメラアプリケーションユーザインタフェース８１５はまた、カメラ固有アフォーダンス８１７を含む画像表示領域８２０の上の領域を含む。カメラ固有アフォーダンスには、カメラフラッシュ機能に関連付けられたアフォーダンス８１７－１、カメラモード機能に関連付けられたアフォーダンス８１７－２、タイマー機能に関連付けられたアフォーダンス８１７－３、及びフィルタ機能に関連付けられたアフォーダンス８１７－４が含まれる。
カメラアプリケーションユーザインタフェース８１５はまた、（画像表示領域６２０と同様に）画像表示領域８２０の下に配置されたカメラオプション領域８２５を（カメラオプション領域６２５と同様に）含む。カメラオプション領域８２５は、カメラ（例えば、背面カメラとカメラ６０２）間を切り替えるためのカメラセレクタアフォーダンス８２７、及びカメラが画像データを記録できる異なるキャプチャモードに関連付けられたカメラオプションアフォーダンス８１９を含む。例えば、ビデオアフォーダンス８１９－１は、カメラのビデオ録画キャプチャモードをアクティブ化するための機能に関連付けられ、写真アフォーダンス８１９－２は、カメラの静止画像キャプチャモードをアクティブ化するための機能に関連付けられる。図８Ｂ～図８ＡＱに関して以下に論じる実施形態では、デバイス６００は、写真アフォーダンス８１９－２に関連付けられた操作の静止画像キャプチャモードにある。しかしながら、特に明記しない限り、これらの実施形態はまた、ビデオアフォーダンス８１９－１に関連付けられたビデオ録画モードに適用される。
カメラオプション領域８２５は、画像表示領域８２０にビジュアルエフェクトを表示するためにデバイス６００が有効化又は無効化されるデバイス６００のモード（ビジュアルエフェクトモード、エフェクトモード）を、有効化又は無効化するためのエフェクトアフォーダンス８２２を更に含む。エフェクトアフォーダンス８２２は、エフェクトアフォーダンス６２２に類似しており、従って、特に明記しない限り、エフェクトアフォーダンス６２２と同じ機能を有する。したがって、エフェクトアフォーダンス８２２は、ビジュアルエフェクトの表示を可能化するために選択され、ビジュアルエフェクトの表示を無効化するために選択解除される。
カメラオプション領域８２５はまた、上述したキャプチャアフォーダンス６２１と同様に機能するキャプチャアフォーダンス８２１を含む。キャプチャアフォーダンス８２１を、画像表示領域８２０に表される画像データをキャプチャするために選択することができる。一部の実施形態では、デバイス６００は、現在有効化されているキャプチャオプション（例えば、ビデオ録画キャプチャモード又は画像キャプチャモード）に基づく方法で、画像データをキャプチャする。一部の実施形態では、デバイス６００は、キャプチャアフォーダンス８２１上で検出されたジェスチャのタイプに応じて画像データをキャプチャする。例えば、デバイス６００がキャプチャアフォーダンス８２１上でタップジェスチャを検出した場合、デバイス６００は、タップジェスチャが発生した時点で画像表示領域８２０に表された画像データの静止画像をキャプチャする。デバイス６００がキャプチャアフォーダンス８２１上でタップアンドホールドジェスチャを検出した場合、デバイス６００は、タップアンドホールドジェスチャが持続する期間中、画像表示領域８２０に表される画像データのビデオ録画をキャプチャする。一部の実施形態では、指がアフォーダンスから持ち上げられると、ビデオ録画が停止する。一部の実施形態では、ビデオ録画は、アフォーダンスに対応する位置において後続の入力（例えば、タップ入力）が検出されるまで続く。一部の実施形態では、キャプチャされた画像（例えば、静止画像又はビデオ録画）は、例えば、メッセージングアプリケーションを使用して、他のデバイスと共有することができる。
図８Ｃでは、デバイス６００は、エフェクトアフォーダンス８２２上の入力８２３を検出する。
図８Ｄでは、デバイス６００は、入力８２３を検出したことに応じて、カメラ６０２をアクティブ化し（例えば、背面カメラから切り替えて）、画像表示領域８２０を更新して、カメラ６０２からのライブカメラプレビュー８２０－１を表示し、カメラ６０２の視野内に位置する被写体８３２、及び被写体８３２の背後に表示された背景８３６の表現を示す。本明細書で論じるように、一部の実施形態では、カメラ６０２を使用してキャプチャされた画像データは、カメラ６０２の視野内のオブジェクトの深度を決定するために使用され得る深度データを含む。一部の実施形態では、デバイス６００は、検出されたこれらのオブジェクトの深度に基づいてオブジェクト（例えば、画像データ内の）を解析し、この判定を使用して、本明細書で論じるビジュアルエフェクトを適用する。例えば、デバイス６００は、被写体８３２をライブカメラプレビュー８２０－１の前景にあるものとして、ユーザの背後に位置するオブジェクトをライブカメラプレビュー８２０－１の背景にあるものとして、分類することができる。これらの背景オブジェクトは、ここでは背景８３６と総称する。
デバイス６００はまた、表示のためにビジュアルエフェクトが有効化されていることを示すエフェクトアフォーダンス８２２を強調表示し、カメラオプションアフォーダンス８１９をビジュアルエフェクトオプションアフォーダンス８２４に置換することによってカメラオプション領域８２５を更新する。ビジュアルエフェクトオプションアフォーダンスは、アバターエフェクトアフォーダンス８２４－１及びステッカーエフェクトアフォーダンス８２４－２を含む。ビジュアルエフェクトオプションアフォーダンス８２４は、上述のビジュアルエフェクトオプションアフォーダンス６２４と同様である。ビジュアルエフェクトオプションアフォーダンス８２４は、画像表示領域８２０に表示される画像に適用できる異なるビジュアルエフェクトに対応する。ビジュアルエフェクトオプションアフォーダンス（例えば、８２４－１又は８２４－２）のうちの１つを選択することによって、選択されたビジュアルエフェクトオプションアフォーダンスに対応するビジュアルエフェクトオプションと共に、メニューが表示される。
図８Ｅ～図８Ｆでは、デバイス６００は、アバターエフェクトアフォーダンス８２４－１上の入力８２６を検出し、アバターオプションメニュー８２８を表示する。アバターオプションメニュー８２８は、アバターオプションメニュー６２８と同様である。アバターオプションメニュー８２８は、アバターオプション８３０のスクロール可能なリスト、及びアバターオプション８３０のうちの選択された１つを示すための選択領域８２９を含む。表示されるアバターオプションは、カスタマイズ可能な女性アバター８３０－１、ヌルアバターオプション８３０－２、ロボットアバターオプション８３０－３、ウサギアバターオプション８３０－４、及び第２のカスタマイズ可能な女性アバター８３０－５、を含む。図８Ｆに示すように、ヌルアバターオプション８３０－２が、デフォルトアバターオプション８３０として選択される。これにより、画像表示領域８２０に表示される被写体８３２の表現は、被写体の顔にアバターが表示されないで示される。アバターオプション８３０は、アバターオプション８３０－３若しくは８３０－４のように予め構成することができ、又はアバターオプション８３０－１若しくは８３０－５などのカスタマイズ可能なアバターとすることができる。
アバターオプション８３０は、アバターオプション６３０と同様の機能を有する。このように、アバターオプション８３０は、画像表示領域８２０内の被写体の表現に適用される仮想アバタービジュアルエフェクトに対応する。具体的には、各アバターオプション８３０は、選択されると、画像表示領域内の被写体の顔に転置される仮想アバターに対応し、他方、画像表示領域内の画像の他の部分（背景、又はユーザの身体などのユーザの他の部分など）は表示されたままとなる。カメラ６０２の視野内に位置するユーザ（例えば、被写体８３２）は、上述したように、顔の姿勢（例えば、回転又は向き）を変更することによって、仮想アバターの視覚的態様を制御することができる。
アバターオプション８３０は、アバターオプションメニュー８２８上のジェスチャによってスクロールすることができる。例えば、図８Ｈに示すように、ロボットアバターオプション８３０－３を選択すると、次いで、画像表示領域８２０内の被写体の顔にロボットアバター８３３として表示される、水平ジェスチャ８４４ａを図８Ｇに示す。水平ジェスチャ８４４ｂを介して継続的にスクロールすることにより、追加のアバターオプション８３０を表示されたアバターオプションメニュー８２８上にスクロールする。一部の実施形態では、ユーザがアバターオプション８３０をスクロールすると、画像表示領域８２０は、アバターの背後に表される画像データに適用されるぼかしエフェクト８０３を含むアバター（例えば、図８Ｊのロボットアバター８３３）を示す。
図８Ｋでは、デバイス６００は、選択される直前（例えば、ジェスチャ８４４ｂがまだ終了していない）に、選択領域８２９内に配置されたカスタマイズ可能な女性アバターオプション８３０－５、及びカスタマイズ可能な女性アバターオプション８３０－５の下方に表示された編集アフォーダンス８０４を表示する。デバイス６００は、ぼかしエフェクト８０３を有するロボットアバター８３３を表示し続ける。一部の実施形態では、カスタマイズ可能なアバターオプションが選択領域８２９に配置されると、デバイス６００は、選択領域８２９に編集アフォーダンス８０４を表示する。編集アフォーダンス８０４を、図８ＡＡに関して以下に論じるものような、アバター編集ユーザインタフェースを表示するために選択することができる。
図８Ｌは、アバターオプション８３０－５が選択された後である（例えば、ジェスチャ８４４ｂが終了した）。デバイス６００は、（ぼかしエフェクト８０３を継続しながら）画像表示領域８２０からロボットアバター８３３を除去し、選択領域８２９内のアバターオプション８３０－５から現れて、画像表示領域８２０（例えば、画像表示領域８２０の中央の位置、又は被写体の顔に対応する位置）に移動する、カスタマイズ可能な女性アバター８３５のアニメーションを表示し、アバター８３５は、被写体の顔への検出された変化に基づいて変更される。一部の実施形態では、アニメーションは、静的外観（例えば、表示されたアバターオプションと一致するステッカーと同様）から始まり、次いで、ユーザの顔への変化を検出するデバイス６００に基づいてアバター（例えば、８３５）が修正される、動的状態（図８Ｌに示す）に遷移していく、アバター（例えば、８３５）を含む。一部の実施形態では、アバターの静的から動的への遷移は、アバターが選択領域から移動する前に発生する。一部の実施形態では、アバターの静的から動的への遷移は、アバターが選択領域８２９から画像表示領域８２０に移動するときに発生する。
図８Ｍ及び図８Ｎに示すように、アバター８３５が被写体の顔に適用されると、デバイス６００は、カメラ６０２の視野内の顔の位置への変化を含む、被写体の顔の検出された変化に基づいてアバター８３５を変更する。
一部の実施形態では、デバイス６００がカメラ６０２の視野内に被写体の顔をもはや検出しなくなると、デバイス６００は、背景にぼかしエフェクト８０３（ぼかしエフェクト６４４と同様）を再度適用し、カメラ６０２の視野に顔を戻すようにユーザに指示するプロンプト８３８を表示する。図８Ｐに示す実施形態では、デバイス６００は、選択されたアバター（例えば、カスタマイズ可能な女性アバター）の表現８４０を含むプロンプト８３８、及びカメラ６０２の視野内で頭部を再配置するようにユーザーに指示するメッセージ８４２を表示する。一部の実施形態では、プロンプト８３８を表示することは、画像表示領域８２０の中心位置に戻っていく選択されたアバター（例えば、８３５）のアニメーションを表示すること、及びアバター特徴の物理モデルに基づいて停止するように見える、アバター及びその特徴の遅くなった動きを示すことを含む。
一部の実施形態では、デバイス６００がカメラ６０２の視野に戻るユーザの顔を検出すると、デバイス６００は、画像表示領域８２０の中心位置からユーザの顔の位置に移動するアバター８３５を表示し、検出されたユーザの顔の変化に基づいてアバターの変更を再開する。
一部の実施形態では、アバターオプションメニュー８２８を垂直ジェスチャ（例えば、８０５）で拡大して、図８Ｑ～８Ｔに示すアバターオプションメニューの拡大バージョンを表示することができる。アバターオプションメニューの拡大バージョンは、異なるタイプのアバター（例えば、カスタマイズ可能及びカスタマイズ不可能）を含む、一層多数のアバターオプション８３０を表示する。拡大されたアバター表示メニューにおいて、新規アバターオプション（例えば、ロボットアバターオプション８３０－３）を選択することができる。次いで、デバイス６００は、図８Ｕに示すように、アバターオプションメニューの拡大バージョンが元の（例えば、凝縮された）状態に戻ったときに、対応するアバター（例えば、ロボットアバター８３３）をユーザの顔に表示する。
一部の実施形態では、デバイス６００は、画像表示領域８２０上のスワイプジェスチャを検出したことに応じて、ユーザの頭部上に異なるアバターを表示する。例えば、図８Ｖでは、デバイス６００は、画像表示領域８２０を横切って右方向に移動するスワイプジェスチャ８０６を検出する。スワイプジェスチャ８０６を検出したことに応じて、デバイス６００は、アバターオプションメニュー８２８内のアバターオプション８３０をスクロールする。一部の実施形態では、スクロールの大きさはスワイプジェスチャの大きさによって決定される。これにより、ユーザはスワイプジェスチャの大きさに基づいて複数のアバターをスクロールすることができる。加えて、スクロールの方向、及び画像表示領域８２０上のアバターの対応する動きは、スワイプジェスチャ８０６の方向に基づいて決定される。したがって、アバターオプションのスクロール、及び遷移するアバターの対応する動きは、スワイプが左方向にある場合には、左方向にあり得て、又はスワイプが右方向にある場合には、右方向にあり得る（図８Ｖ及び図８Ｗに示すように）。
アバターオプション８３０をスクロールし始めると、現在選択されているアバターオプション（例えば、図８Ｖのロボットアバターオプション８３０－３）は選択領域８２９を離れ、スクロールが継続すると、新規アバターオプション（例えば、図８Ｗのアバターオプション８３０－１）は選択領域８２９に入る。アバターオプションをスクロールすると、デバイス６００はまた、次のアバター（例えば、カスタマイズ可能なアバター８３１）が左から画像表示領域８２０に入って、ユーザーの顔に移動している間に、ユーザの顔から離れて画像表示領域８２０の右側に出ていく、現在選択されているアバター（例えば、ロボットアバター８３３）のアニメーションを、画像表示領域８２０に表示する。一部の実施形態では、デバイス６００は、アバターが画像表示領域８２０を横切ってスクロールされている間に、画像表示領域８２０にぼかしエフェクト８０３を適用する。
図８Ｖ及び図８Ｗに示す実施形態では、ヌルアバターオプション８３０－２は選択されず、現在選択されているアバターから画像表示領域８２０に現れる新規アバターへの遷移をより良く示す。しかしながら、ヌルアバターオプション８３０－２は、画像表示領域８２０上のスワイプジェスチャにより選択できることを理解されたい。このような場合には、背景がぼやけている間に現在選択されているアバターを画面外に移動させた後、次いでぼかしエフェクトを除去してアバターなしのユーザーの顔を表示する。
図８Ｘ及び図８Ｙは、異なるカスタマイズ可能なアバターオプション（例えば、カスタマイズ可能なアバターオプション８３０－５）及び対応する表示されたカスタマイズ可能なアバター８３５の選択を示す。カスタマイズ可能なアバターオプション８３０－５が選択領域８２９に表示されると、編集アフォーダンス８０４が表示される。編集アフォーダンス８０４は、図８ＡＡに示すアバター編集ユーザインタフェース８０８を表示するために（例えば、入力８０７を介して）選択できる。アバター編集ユーザインタフェース８０８は、選択された編集アフォーダンス８０４に関連付けられたカスタマイズ可能なアバターオプション（例えば、８３０－５）に対応するアバター（例えば、カスタマイズ可能なアバター８３５）を編集するためのインタフェースを提供する。
一部の実施形態では、適用されるビジュアルエフェクトは、適用されたカスタムアバター８３５の下方の被写体の首部に示される影８５１、又は眼鏡の光反射などの照明エフェクトを含むことができる。デバイス６００がアバター８３５を変更してユーザのリアルタイム動作を反映すると、デバイス６００はまた、モデル化された光源とアバター８３５との相対位置に基づいて、反射陰影の表示位置を移動させることを含む、アバター８３５上及び被写体上に投影された照明エフェクトを変更する。
図８ＡＡに示すように、アバター編集ユーザインタフェース８０８は、カスタマイズ可能なアバター８３５の表現、並びに現在選択されているアバター特徴オプション及びアバター８３５を変更するために選択できる利用可能な機能オプションを表す様々なアバター特徴オプション８１０（例えば、顔色オプション８１０－１及び顔形状オプション８１０－２）を含む。アバター特徴オプションは、特定のアバター特徴、具体的には強調表示されたアバター頭部アフォーダンス８０９－１によって示されるアバター頭部特徴などの、現在選択されているアバター特徴の態様に対する値に対応する。アバター編集ユーザインタフェース８０８は、アバター８３５に表される、選択された顔色オプション８１０－１ａ及び選択された顔形状オプション８１０－２ａを示す。表示されるアバター特徴オプションは、異なるアバター特徴を選択することによって変更できる。例えば、図８ＡＢでは、デバイス６００は、アバター髪部アフォーダンス８０９－２が選択されると、アバター編集ユーザインタフェース８０８を更新して、異なるアバター髪部特徴オプション（例えば、髪部テクスチャオプション８１１－１及び髪部色オプション８１１－２）を表示する。
デバイス６００は、異なるアバター特徴オプションが選択されると、アバター８３５を変更する。例えば、図８ＡＢでは、デバイス６００は、ストレート髪部テクスチャオプション８１１－２ａの選択を検出し、選択されたストレート髪部テクスチャオプションを有するようにアバター８３５を更新する。一部の実施形態では、デバイス６００は、ユーザの顔の検出された変化に応じて、アバター編集ユーザインタフェース８０８に示されるアバター８３５の表現を変更する。
完了アフォーダンス８１２の選択を検出したことに応じて、デバイス６００は、アバター編集ユーザインタフェース８０８を出て、カメラアプリケーションユーザインタフェース８１５に戻り、アバター編集ユーザーインタフェースで選択された髪部テクスチャオプションに基づいて、選択されたアバターオプション８３０－５及び対応するアバター８３５を示す。
図８ＡＤ～図８ＡＦは、新たにカスタマイズされたアバターを作成して、アバターオプションメニュー８２８に追加することができる実施形態を示す。新規アバターアフォーダンス８１３の選択を検出したことに応じて、デバイス６００は、図８ＡＥに示すように、選択されたアバター特徴オプションを含まないデフォルトアバターの表現を有するアバター編集ユーザインタフェース８０８を表示する。デバイス６００は、アバター特徴オプションのユーザ選択に基づいてデフォルトアバターを変更し、アバターオプションメニュー８２８から選択可能な新規アバターとしてアバターを保存することができる。それゆえ、図８ＡＦでは、デバイス６００は、取消アフォーダンスの選択を検出し、図８ＡＧに示すように、変更されたアバターをアバターオプションメニュー８２８に保存することをやめる。
図８ＡＧのキャンセルアイコン８５０の選択を検出したことに応じて、デバイス６００は、アバターオプションメニュー８２８をクローズし、図８ＡＨに示すようにカメラオプション領域８２５を表示する。
ステッカーエフェクトアフォーダンス８２４－２の選択を検出したことに応じて、デバイス６００は、図８ＡＩのステッカー８５８のスクロール可能なリストを有するステッカーオプションメニュー８５６を表示する。ステッカーオプションメニュー８５６及びステッカー８５８は、上述のステッカーオプションメニュー６５６及びステッカー６５８と同様のものである。ステッカーは、ユーザが選択できて、画像表示領域８２０内の画像に適用される、静的なグラフィカルオブジェクトである。一部の実施形態では、ステッカーはタップジェスチャによって選択することができ、次いで、対応するステッカーは画像表示領域８２０上の位置に表示される。一部の実施形態では、ステッカーは、選択されたステッカー上で開始し、ステッカーを所望の位置にドラッグし、次いでドラッグを終了（例えば、指をリフト）することによってステッカーを所望の位置に配置する、タッチアンドドラッグジェスチャによって選択することができる。このような実施形態の一例が図８ＡＩ～図８ＡＫに示されており、ヘルメットステッカー８５８－１が選択され（例えば、入力８５３）、カスタムアバター８３５の上方の（例えば、離れた）位置にドラッグされている。図８ＡＫでは、デバイス６００は、被写体８３２が、図８ＡＪに示す位置から横方向に移動するのを検出する。これに応じて、デバイス６００は、被写体の表現の横方向の動き（例えば、方向及び大きさ）に基づいて横方向に動くヘルメットステッカー８５８－１及びアバター８３５の両方を表示する。
図８ＡＫでは、デバイス６００は、クローズアフォーダンス８５５上の入力８５４を検出する。これに応じて、デバイス６００は、ステッカーオプションメニュー８５６をクローズして、図８ＡＬのカメラオプション領域８２５を表示する。図８ＡＬでは、デバイス６００は、被写体８３２が、頭を傾けて画面の中心にシフトして戻ることを示す。被写体８３２のこの動きを検出したことに応じて、デバイス６００は、図８ＡＬのカスタマイズ可能なアバター８３５の上方にヘルメットステッカー８５８－１を表示し、被写体の頭部の画面中心への動きに基づいて（図８ＡＫに示す位置から）横方向にシフトさせる。デバイス６００は、ヘルメットステッカー８５８－１を、アバター８３５に対して相対的な間隔を維持しながら表示する。しかしながら、図８ＡＬに示すように、ヘルメットステッカー８５８－１は、被写体の頭部の回転（例えば、傾斜）に応じて回転しない（例えば、傾かない）が、アバター８３５は回転する（例えば、傾く）。
図８ＡＬでは、デバイス６００は、ビジュアルエフェクト（例えば、カスタマイズされたアバター８３５及びヘルメットステッカー８５８－１）を含む、画像表示領域８２０に表示されたライブカメラプレビュー８２０－１の画像、並びに、被写体８３２及び背景８３６を含む他の画像データを、デバイス６００にキャプチャさせるキャプチャアフォーダンス８２１の選択を検出する。
図８ＡＭでは、デバイス６００は、画像表示領域８２０にキャプチャされた画像（例えば、メディアアイテム８２０－２）を示すカメラアプリケーションユーザインタフェース８１５を表示する（例えば、メディアアイテム８２０－２は、画像表示領域８２０に示されるライブカメラプレビュー８２０－１を置換する）。メディアアイテム８２０－２は、キャプチャアフォーダンス８２１が選択された時点での、ライブカメラプレビュー８２０－１の表現である。このように、メディアアイテム８２０－２は、被写体８３２の顔及び背景８３６の上に表示されるヘルメットステッカー８５８－１及びアバター８３５を含む。
デバイス６００はまた、カメラ固有アフォーダンス（例えば、図８ＡＬに示すアフォーダンス８１７）を再撮影アフォーダンス８７９に置換し、キャプチャされたメディアアイテム８２０－２を保存するためのアフォーダンス８１８を保存する。
デバイス６００はまた、カメラオプション領域８２５を更新して、キャプチャアフォーダンス８２１及びカメラセレクタアフォーダンス８２７を、マークアップアフォーダンス８７７、編集アフォーダンス８７８、及び共有アフォーダンス８８０に置換する。マークアップアフォーダンス８７７は、ユーザがメディアアイテム８２０－２をマークアップすることを可能にする。編集アフォーダンス８７８により、ユーザが、画像を切り取ること、又はメディアアイテム８２０－２の他の特性を調整することによってなどで、メディアアイテム８２０－２を編集することが可能になる。共有アフォーダンス８８０は、ユーザが、例えばメッセージングアプリケーション又は電子メールアプリケーションなどの別のデバイスに、メディアアイテム８２０－２を送信することを可能にする。
デバイス６００は、ビジュアルエフェクトオプションアフォーダンス８２４を含むカメラオプション領域８２５を表示する。ビジュアルエフェクトオプションアフォーダンス８２４を選択して、それぞれのオプションメニューを表示することができ、オプションメニューを使用して、キャプチャされたメディアアイテム８２０－２（並びに、後述する記録されたビデオメディアアイテム８２０－４）を変更することができる。例えば、図８ＡＮ～図８ＡＰは、ステッカーをメディアアイテム８２０－２に追加するデバイス６００を示す。図８ＡＯのステッカーオプションメニュー８５６をデバイス６００に表示させる、ステッカーエフェクトアフォーダンス８２４－２が、図８ＡＮで選択され、図８ＡＰに示すメディアアイテム８２０－２内の被写体８３２上に配置された、ウサギステッカー８５８－２の選択も示す。ステッカーオプションメニュー８５６は、図８ＡＰではクローズされており、図８ＡＱではカメラオプション領域８２５を表示している。
図８ＡＱでは、デバイス６００はまた、他のビジュアルエフェクト（例えば、アバター８３５及びヘルメットステッカー８５８－１）と一緒に、被写体８３２上に配置されたウサギステッカー８５８－２を含むメディアアイテム８２０－２を表示する。
ステッカーは、メディアアイテム８２０－２（静止画）について上述したのと同様の方法で、ビデオフォーマット内の記録されたメディアアイテムに追加することができる。例えば、図８ＡＲは、ビデオメディアアイテム８２０－４が記録されたビデオである実施形態を示す。メディアアイテム８２０－４は、メディアアイテム６２０－４について上述したのと同様の方法で作成することができる。
図８ＡＲでは、デバイス６００は、記録されたビデオメディアアイテム８２０－４を画像表示領域８２０に表示する。デバイス６００はまた、記録されたビデオメディアアイテム８２０－４用のビデオスクラバ８１２０、エフェクトアフォーダンス８２２、編集アフォーダンス８７８、マークアップアフォーダンス８７７、及び共有アフォーダンス８８０を有するカメラオプション領域８２５を表示する。カメラオプション領域８２５はまた、ビジュアルエフェクトオプションアフォーダンス８２４を含む。ビジュアルエフェクトオプションアフォーダンス８２４を選択して、キャプチャされたメディアアイテム８２０－４を変更するために使用できる、それぞれのオプションメニューを表示することができる。例えば、図８ＡＲ～図８ＡＶは、デバイス６００がステッカー８５８－２及び８５８－３をメディアアイテム８２０－４に追加することを示す。
一部の実施形態では、表示されるステッカーは、ビデオメディアアイテム（又はライブビデオストリーム）において異なってモデル化された挙動を有することができる。例えば、一部のステッカーは、ディスプレイ（例えば、６０１）に適用されている外観を有し、画像データ内のオブジェクトが移動する際に静的に保たれる。このようなステッカーの例が、図８ＡＸ～図８ＢＣのハートステッカー８５８－３によって表示されている。一部の実施形態では、デバイス６００が、メディアアイテム、ライブカメラプレビュー、又はカメラ６０２の視野内の被写体の表現のすべて又は一部（例えば、頭部又は顔）の存在を検出しない場合、ステッカーが、メディアアイテム（例えば、８２０－４）又はライブカメラプレビュー（例えば、８２０－１）に配置されると、ステッカーはこの静的な挙動を有する。例えば、被写体の顔が完全に画面から外れていて（例えば、カメラ６０２の視野内で検出されていない）、ステッカーが画像表示領域８２０上に配置されている場合、いったん顔がカメラ６０２の視野内で検出され、前に配置されたステッカーと共に画像表示領域８２０上に表示されると、ステッカーは静止していて、被写体の顔のいかなる動きも追跡しない。
他のステッカーは、ディスプレイに適用されていて、画像内のオブジェクト（例えば、アバター又は被写体の表現を含む、カメラの視野内のアイテム）に追従して動いている外観を有する。一部の実施形態では、ステッカーは、ステッカーが追従するオブジェクトから離れた位置に配置される。このようなステッカーの例が、図８ＡＫ及び８ＡＸ～図８ＢＣのヘルメットステッカー８５８－１によって表示されている。ヘルメットステッカー８５８－１は、被写体８３２の横方向の動きに追従するが、被写体の回転運動には追従しない。このようなステッカーの別の例が、図８ＢＥ～８ＢＱのヒトデステッカー８５８－５によって表示されている。被写体の顔から離れて配置されると、ヒトデステッカー８５８－５は、顔に対する相対的な位置を維持しながら被写体の顔の動きに追従する（例えば、ヒトデのステッカー８５８－５は、被写体の顔の前方、後方、及び左右の動きには追従するが、被写体の顔の回転運動には追従しない）。
しかし、他のステッカーは、カメラ６０２の視野内のオブジェクトに適用されている外観を有し、視野内のオブジェクトに追従するように（例えば、ステッカーが画像内のオブジェクトに合わせた深度の外観を有しながら）移動する。このようなステッカーの例が、図８ＡＸ～図８ＢＣのウサギステッカー８５８－２によって表示されている。ウサギステッカー８５８－２は、被写体（具体的には、被写体の肩）の横方向及び回転運動と共に動く。このようなステッカーの別の例が、図８ＢＧ～図８ＢＭの眼鏡ステッカー８５８－４によって表示されている。図８ＢＧ～図８ＢＭの被写体の顔に配置されると、眼鏡ステッカー８５８－４は、被写体の顔の横方向の動き（例えば、左右、上／下）、被写体の顔の前後の動き、及び被写体の顔の回転運動に追従する。眼鏡ステッカー８５８－４は、被写体の顔に物理的に貼り付けられている（例えば、接着されている）外観を有する。
一部の実施形態では、ステッカーの挙動は、メディアアイテム内のオブジェクト（又はライブカメラプレビュー又はカメラの視野）に対するその位置に基づいて変化する。一部の実施形態では、ステッカーの挙動は、オブジェクトに対するステッカーの位置の変化を検出したことに応じて変化する。そのようなステッカーの例を図８ＢＥ～図８ＢＱに示し、以下に一層詳細に説明する。
図８ＡＷ～図８ＢＣは、アバター８３５、ヘルメットステッカー８５８－１、ウサギステッカー８５８－２、及びハートステッカー８５８－３を含む、メディアアイテム８２０－４のビデオ再生及び編集を示す。再生中にメディアアイテム８２０－４が進行すると、ハートステッカー８５８－３は、ディスプレイ６０１に貼り付けられていて動かない外観を有しながら、静止したままである。ヘルメットステッカー８５８－１は、ディスプレイに貼り付けられている外観を有するが、アバター８３５の位置の変化に応じて移動する（例えば、変形する）。ウサギステッカー８５８－２は、メディアアイテム８２０－４内の被写体８３２の肩に貼り付けられている外観を有する。肩が動くと、ウサギステッカー８５８－２は、向き及び表示サイズを含む位置を変更して、メディアアイテム８２０－４の再生中に被写体の肩に追従している外観を与える。
一部の実施形態では、３次元で（例えば、深度センサからの深度情報を介して）追跡されている、それぞれのオブジェクト（例えば、デバイスのユーザの顔、手、又は他の身体の部分）を含む、１つ以上のカメラの視野の表現の位置に適用されるステッカー又は他の仮想オブジェクトは、１つ以上のカメラの視野内で、それぞれのオブジェクトが横方向に（例えば、左右に、及び／又は上下に）移動すると、横方向に（例えば、左右に、及び／又は上下に）移動することに加えて、１つ以上のカメラからのそれぞれのオブジェクトの距離、及び／又は１つ以上のカメラに対するそれぞれのオブジェクトの向きが変化すると、仮想オブジェクトのサイズ及び／又は向きが変化するように、それぞれのオブジェクトに付着している。例えば、図８ＡＳ～図８ＡＴに示すように、ウサギステッカー８５８－２が被写体の肩の表現上に配置されている。図８ＡＸ～図８ＡＹでは、肩がカメラの上方及びカメラに向かって動くにつれて、ウサギステッカー８５８－２は、肩と共に横方向（上方）に動き、肩がカメラに向かって動くにつれて拡大する。一部の実施形態では、３次元で（例えば、深度センサからの深度情報を介して）追跡されている、それぞれのオブジェクト（例えば、デバイスのユーザの顔、手、又は他の身体の部分）から離れている（例えば、遠隔の）、１つ以上のカメラの視野の表現の位置に適用されるステッカー又は他の仮想オブジェクトは、１つ以上のカメラからのそれぞれのオブジェクトの距離、及び／又は１つ以上のカメラに対するそれぞれのオブジェクトの向きが変化しても、仮想オブジェクトのサイズ及び／又は向きが変化しないように、オブジェクトに付着することなく、１つ以上のカメラの視界内で、それぞれのオブジェクトが横方向に（例えば、左右に、及び／又は上下に）移動すると、横方向に（例えば、左右に、及び／又は上下に）移動する。例えば、図８ＡＸ及び図８ＡＹに示すように、ヘルメットステッカー８５８－１は、被写体の表現から離れた位置に配置される。図８ＡＸ及び図８ＡＹでは、被写体の表現が横向きにカメラに近づいて動くにつれて、ヘルメットステッカー８５８－１は、ユーザの表現の動きに基づいて横方向に移動するが、向き又はサイズは変化しない。
図８ＡＹでは、デバイス６００は、スクラバ８１２０上の入力８８２（例えば、スワイプ又はドラッグジェスチャ）を検出し、入力に基づいてメディアアイテム８２０－４をスクラブする。図８ＡＺに示すように、入力８８２に応じて、デバイス６００は、メディアアイテム８２０－４を通じて反転して、図８ＡＸで以前に表示されたメディアアイテム８２０－４の部分を表示する。デバイス６００は、編集アフォーダンス８７８上の入力８８４を検出する。
図８ＢＡでは、デバイス６００は、編集モードに入り（メディアアイテム８２０－４を編集するために）、ビデオスクラバ８１２０の端部に（入力８８３を介して）アフォーダンス８８５をドラッグすることによってビデオをクロッピングするために選択可能なアフォーダンス８８５を表示して、ビデオスクラバの終了時間を変更する。
図８ＢＢに示すように、ビデオスクラバ８１２０は、入力８８３に応じてトリミングされる。デバイス６００は、完了アフォーダンス８８７上の入力８８６を検出し、編集モードを終了させる。
図８ＢＣでは、ビデオスクラバ８１２０は、トリミングされて示されている（例えば、図８ＡＺの編集モードに入る前よりも長さが短い）。デバイス６００は、エフェクトアフォーダンス８２２上の入力８８８を検出し、エフェクトモードを終了させる。
図８ＢＤに表すように、メディアアイテム８２０－４に表示されるビジュアルエフェクトビジュアルエフェクトは、エフェクトアフォーダンス８２２を選択解除する入力８８８を検出したことに応じて表示から隠される。
一部の実施形態では、ステッカーは、ステッカーの配置の条件（例えば、他のオブジェクトに対するステッカーの位置、ステッカーが配置されたときのオブジェクトの存在（又は不存在）など）に基づいて決定される挙動を有することができる。例えば、一部の実施形態では、ステッカーは、オブジェクト又は領域から離れて配置される場合には第１のタイプの挙動を、オブジェクト又は領域上に配置される場合には第２のタイプの挙動を有することができる。一部の実施形態では、ステッカーが配置されるときにオブジェクトが存在しない場合には、ステッカーは、第３のタイプの挙動を有することができる。一部の実施形態では、ステッカーの挙動は、（例えば、オブジェクトに対する）ステッカーの配置の変化に基づいて変化し得る。
例えば、図８ＢＥ～図８ＢＱは、ライブカメラプレビュー８２０－１に表示される様々なステッカーの挙動を示す例示的な実施形態を示し、被写体の顔に対するステッカーの配置の変化に基づいてステッカーの挙動を変更する。図８ＢＥ～図８ＢＱに示す実施形態では、ステッカーの挙動は、被写体の顔に対するステッカーの位置に基づいて決定される。
図８ＢＥでは、デバイス６００は、図８Ｄに示すものと同様の外観であるが、画像表示領域８２０に表示されたステッカー８５８を有する、カメラアプリケーションユーザインタフェース８１５を表示する。画像表示領域８２０は、カメラ６０２の視野内に位置する被写体８３２の表現、及び被写体８３２の背後に表示された背景８３６を示している、カメラ６０２からのライブカメラプレビュー８２０－１を示す。眼鏡ステッカー８５８－４、ヒトデステッカー８５８－５、及び野球ステッカー８５８－６は、被写体８３２の顔から離れて（例えば、上にではなく）、それぞれ配置されて表示される。図８ＢＥ～図８ＢＱに示すステッカーは、本明細書で論じる様々な実施形態に従って、画像表示領域内に配置され、移動させることができる。
ステッカー８５８が被写体の顔から離れて（例えば、その上ではなく）配置される場合、ステッカー８５８は第１の種類の挙動を有する。例えば、ステッカーは、横方向（例えば、横から横、及び上／下）、前方（例えば、カメラ６０２に向かう）、及び後方（例えば、カメラ６０２から離れる）の被写体の顔の動きには追従するが、被写体の顔の回転運動には追従しない（例えば、被写体の顔のピッチ及びヨーに追従しない）。
図８ＢＦでは、デバイス６００は、眼鏡ステッカー８５８－４上の入力８８９（例えば、ディスプレイ６０１上のタッチアンドドラッグジェスチャ）を検出する。入力８８９を検出したことに応じて、デバイス６００は、図８ＢＧ及び図８ＢＨに示すように、入力と共に移動する眼鏡ステッカー８５８－４を（例えば、入力８８９の動きの向き及び大きさで）表示する。
一部の実施形態では、デバイス６００は、ステッカーが追従しているオブジェクトに対応する位置にステッカーが移動したときにインジケーションを提供する。例えば、図８ＢＧでは、デバイス６００は、眼鏡ステッカー８５８－４が、被写体の顔から離れた位置から被写体の顔の位置に移動していることを示す。デバイス６００は、眼鏡ステッカー８５８－４が被写体の顔に移動すると、被写体の顔の周りにブラケット８９０を表示し、任意選択的に、触覚フィードバック８９２（例えば、音声出力を伴う、又は伴わない触知出力）を生成する。一部の実施形態では、ブラケット８９０は、眼鏡ステッカー８５８－４が被写体の顔に表示されることになるように（眼鏡ステッカー８５８－４の変更された挙動がもたらされるように）、眼鏡ステッカー８５８－４を配置できる領域の視覚的表示を提供する。このように、ユーザがステッカーを被写体の顔に配置されることになる配置領域（例えば、ブラケットの内側）にステッカーをドラッグしている間に、ブラケット８９０（及び触覚フィードバック８９２）をユーザーに示すことができる。一部の実施形態では、触覚フィードバック８９２は、眼鏡ステッカー８５８－４が、被写体の顔の外側の領域（例えば、ステッカーが第１のタイプの挙動を有する領域）から、被写体の顔の領域（例えば、ステッカーが第２のタイプの挙動を有する領域）に移動したことを示す。
一部の実施形態では、ステッカーが追従しているオブジェクトに対応する位置にステッカー（又は他のビジュアルエフェクト）の位置が移動することをデバイス６００が検出すると、デバイス６００は、オブジェクトの位置に基づいてステッカーの外観を変更し、ステッカーの挙動を変更する（一部の実施形態では、ステッカーの挙動は、入力８８９の終了を検出した後に変更される）。デバイス６００はまた、ステッカーが追従しているオブジェクトに対応する位置からオブジェクトから離れた位置にステッカーが移動すると、ステッカーの外観及び挙動を逆の方法で変更する。
図８ＢＨでは、デバイス６００が被写体の顔の眼鏡ステッカー８５８－４の位置を検出すると（例えば、ブラケット８９０内に位置する）、デバイス６００は、被写体の顔の位置（例えば、サイズ及び向き）に基づいてステッカーを変更する。例えば、眼鏡ステッカー８５８－４は、サイズが（例えば、被写体の顔のサイズに比例して適合するように）増大し、図８ＢＧの静的位置から図８ＢＨの被写体の顔の位置と一致するように回転する。一部の実施形態では、ステッカーは、被写体の鼻に対応する平面上に配置され、顔が動くとその位置の座標を変換する。一部の実施形態では、顔メッシュ（例えば、深度マスク）を使用して鼻の点を決定する。一部の実施形態では、ステッカーは、平面上に配置されるが、被写体の顔の形状には適合しない。
デバイス６００はまた、ステッカーの挙動を第２の種類の挙動（例えば、第１の種類の挙動とは異なる挙動）に変更する。図８ＢＨに示すように、挙動の第２のタイプは、横方向の動き及び前後方向の動きに加えて、ステッカーが被写体の顔の回転運動に追従して（例えば、顔のピッチ及びヨーに追従して）、顔のその３Ｄ位置を維持する挙動を含むことができる。他のステッカーの挙動は変化しない。このように、野球ステッカー８５８－６及びヒトデステッカー８５８－５は、被写体の顔には配置されれないので、挙動の第１のタイプを有し続けている。代わりに、ヒトデステッカー８５８－５及び野球ステッカー８５８－６は、顔からの相対的間隔を維持し続ける。
一部の実施形態では、ブラケット８９０は入力８８９と共に持続し、入力８８９は被写体の顔に（例えば、ブラケット内に）配置される。このように、デバイス６００が入力８８９の終了を検出すると、デバイス６００は、図８ＢＩに示すように、ブラケット８９０の表示を停止する。
図８ＢＩ及び図８ＢＪは、被写体の顔と共に眼鏡ステッカー８５８－４を回転しているデバイス６００を示しているが、ヒトデステッカー８５８－５及び野球ステッカー８５８－６は静止したままである（眼鏡ステッカー８５８－４とは異なり、それらは被写体の顔の回転運動に追従しない）。
図８ＢＫでは、被写体はカメラ６０２に近づくように動く。眼鏡ステッカー８５８－４は、被写体の顔の前方への動きと共に動き、被写体の顔との回転位置を維持する。同様に、野球ステッカー８５８－６及びヒトデステッカー８５８－５は、被写体の顔に対する相対的間隔を維持しながら、被写体の顔の前方への動きと共に動く。野球ステッカー８５８－６及びヒトデステッカー８５８－５は、被写体の顔と共に回転しない。
図８ＢＫでは、デバイス６００は、キャプチャアフォーダンス８２１上で入力８９３を検出し、これに応じて、ライブカメラプレビュー８２０－１の画像をキャプチャする。
図８ＢＬでは、デバイス６００は、画像表示領域８２０にキャプチャされた画像（例えば、メディアアイテム８２０－５）を示すカメラアプリケーションユーザインタフェース８１５を表示する（例えば、メディアアイテム８２０－５は、画像表示領域８２０に示されるライブカメラプレビュー８２０－１を置換する）。メディアアイテム８２０－５は、キャプチャアフォーダンス８２１が選択された時点でのライブカメラプレビュー８２０－１の表現である。図８ＢＬに示す実施形態は、図８ＡＭに示したものと同様であるが、（メディアアイテム８２０－２の代わりに）メディアアイテム８２０－５を有し、メディアアイテム８２０－５は、被写体８３２の顔及び背景８３６に対して表示される、眼鏡ステッカー８５８－４、ヒトデステッカー８５８－５、及び野球ステッカー８５８－６を含む。
本明細書で論じるように、ビジュアルエフェクトの表示は、異なる実施形態にわたって同様である。例えば、他に明記しない限り、ビジュアルエフェクトは、カメラアプリケーション、メッセージングアプリケーション、アバター編集アプリケーション、ライブビデオメッセージングアプリケーション、又は本明細書で論じる任意の他のアプリケーションにおける同様の方法で、表示及び操作することができる。加えて、画像データの異なるタイプにわたって、同様の方法でビジュアルエフェクトを表示及び操作することができる。例えば、特に明記しない限り、ビジュアルエフェクトは、ライブカメラプレビュー、メディアアイテム、ストリーミングされた画像データ、又は本明細書で論じられる任意の他の画像データにおける同様の方法で、表示及び操作することができる。例えば、図８ＢＬ～図８ＢＱは、ライブカメラプレビュー８２０－１について上述したのと同様の方法で、メディアアイテム８２０－５にステッカーを表示することを示す。具体的には、図８ＢＬ～図８ＢＱは、ライブ画像プレビュー８２０－１に関して上述したのと同様の方法で、メディアアイテム（例えば、８２０－５）内のステッカーを再配置し、それに応じてそれらのそれぞれの挙動を変更できることを表す。
図８ＢＭでは、デバイス６００は、眼鏡のステッカー８５８－４上の入力８９４を検出し、ブラケット８９０を表示する。図８ＢＮでは、入力８９４は、眼鏡ステッカー８５８－４を被写体の顔から動かして外す。眼鏡ステッカーを顔から動かして外すと、デバイス６００は、触覚フィードバック８９２を生成し、ブラケット８９０の表示を停止し、眼鏡ステッカー８５８－４をその元の形状（例えば、眼鏡ステッカーが図８ＢＥの被写体の顔から離れて配置されたときからわずかに傾斜した形状）に変更して戻す。デバイス６００はまた、眼鏡ステッカー８５８－４の挙動を、第１のタイプの挙動（ステッカーが追跡しているオブジェクトから離れた配置されたステッカーに関連付けられた挙動）に変更して戻し、変更された挙動に基づいてステッカーの外観を変更する。このように、眼鏡ステッカー８５８－４は、（図８ＢＥ～図８ＢＧの眼鏡ステッカー８５８－４のサイズと比較して）図８ＢＮ～８ＢＱのより大きいサイズを有して表示され、ヒトデステッカー８５８－５及び野球ステッカー８５８－６のサイズ変化と同様に、図８ＢＪ～８ＢＫの被写体の顔の前方への動きに基づいて、眼鏡ステッカー８５８－４のメディアアイテム８２０－５内の被写体の顔の位置に対する相対的間隔を維持する。
図８ＢＯ～図８ＢＱは、メディアアイテム８２０－５内の被写体の顔に異なるステッカーを配置すること、及び異なるステッカーが、被写体の顔に動かされたことに応じて、ステッカーの異なる挙動に基づいて変更されることを表す。例えば、図８ＢＯでは、デバイス６００は、野球ステッカー８５８－６上の入力８９５を検出する。野球ステッカー８５８－６が図８ＢＰの被写体の顔にドラッグされると、デバイス６００は、ブラケット８９０を表示し、触覚フィードバック８９２（例えば、触知出力）を生成し、被写体の顔の角度に基づいて野球ステッカー８５８－６を再配置する。言い換えれば、野球ステッカー８５８－６の挙動は、眼鏡ステッカー８５８－４が被写体の顔に配置されたときの被写体の顔の回転運動に追従する方法と同様に、被写体の顔の回転運動に追従するように変化する。
図８ＢＱでは、入力８９５が終了し、デバイス６００はブラケット８９０の表示を停止する。
図９Ａ～図９Ｂは、一部の実施形態に係る、電子デバイスを使用してカメラアプリケーションにビジュアルエフェクトを表示するための方法を示すフロー図である。方法９００は、カメラと表示装置とを備えたデバイス（例えば、１００、３００、５００、６００）にて実行される。方法９００におけるいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作の順序は任意選択的に変更され、いくつかの動作は任意選択的に省略される。
以下に説明するように、方法９００は、カメラアプリケーションにビジュアルエフェクトを表示するための直感的な仕方を提供する。かかる方法は、カメラアプリケーションにおいて閲覧される画像にビジュアルエフェクトを適用するためのユーザの認知負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスでは、画像にビジュアルエフェクトをユーザーがより迅速かつ効率的に表示できるようにすることで、電力を節約し、バッテリ充電間の時間を増大させる。
電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、カメラユーザインタフェース（例えば、８１５）を表示する（９０２）。カメラユーザインタフェースは、カメラ（例えば、６０２）を介してキャプチャされた画像データの表現（例えば、８３５）を含む、カメラ表示領域（例えば、８２０）を含む（９０４）。
一部の実施形態では、画像データは、深度データ（キャプチャされた画像又はビデオの深度アスペクト（例えば、ＲＧＢデータから独立した深度データ）を含む画像データ）を含む（９０６）。一部の実施形態では、画像データは、少なくとも２つの成分、すなわち、キャプチャされた画像の視覚特性を符号化するＲＧＢ成分、及びキャプチャされた画像内の要素の相対的な空間的関係についての情報を符号化する深度データ（例えば、深度データは、ユーザが前景にあることを符号化し、ユーザの背後に位置する木などの背景要素は、背景にある）を含む。一部の実施形態では、深度データは深度マップである。一部の実施形態では、深度マップ（例えば、深度マップ画像）は、視点（例えば、カメラ）からのシーン内のオブジェクトの距離に関する情報（例えば、値）を含む。深度マップの一実施形態では、各深度ピクセルは、その対応する２次元ピクセルが位置する、視点のＺ軸内の位置を規定する。一部の例では、深度マップは、各ピクセルが値（例えば、０～２５５）によって定義されるピクセルから構成される。例えば、「０」値は、「３次元」シーンにおける最も離れた位置に配置されたピクセルを表し、「２５５」値は、「３次元」シーンにおける視点（例えば、カメラ）に最も近いピクセルを表す。他の例では、深度マップは、シーン内のオブジェクトと視点の平面との間の距離を表す。一部の実施形態では、深度マップは、深度カメラの視点における関心あるオブジェクトの様々な特徴の相対的深度（例えば、ユーザの顔の目、鼻、口、耳の相対的な深度）についての情報を含む。一部の実施形態では、深度マップは、ｚ方向の関心あるオブジェクトの輪郭をデバイスが判定することを可能にする情報を含む。
一部の実施形態では、深度データは、カメラ表示領域（例えば、８２０）内の被写体の表現を含む、第１の深度成分（例えば、カメラ表示領域内の被写体の空間位置を符号化する深度データの第１の部分、前景又は特定のオブジェクトなどの、深度マップの離散部分を形成する複数の深度ピクセル）を有する。一部の実施形態では、深度データは、第１の深度成分とは別個の、第２の深度成分（例えば、カメラ表示領域内の背景の空間位置を符号化する深度データの第２の部分、背景などの、深度マップの離散部分を形成する複数の深度ピクセル）を有し、第２の深度アスペクトは、カメラ表示領域における背景の表現を含む。一部の実施形態では、第１の深度アスペクト及び第２の深度アスペクトは、カメラ表示領域内の被写体とカメラ表示領域内の背景との間の空間的関係を判定するために使用される。この空間的関係は、被写体を背景から識別するために使用することができる。この識別は、例えば、異なるビジュアルエフェクト（例えば、深度成分を有するビジュアルエフェクト）を被写体及び背景に適用するために利用することができる。一部の実施形態では、第１の深度成分に対応しない画像データのすべての領域（例えば、深度カメラの範囲外である画像データの領域）は、深度マップからセグメント化される（例えば、除外される）。
一部の実施形態では、カメラ（例えば、６０２）を介してキャプチャされた画像データの表現（例えば、８３５）は、ライブカメラプレビュー（例えば、カメラの視野にあるものを表す画像データのストリーム）である。
一部の実施形態では、第１のカメラ表示モードがアクティブである間に、電子デバイス（例えば、６００）は、カメラ表示領域（例えば、８２０）上のスワイプジェスチャを検出する。一部の実施形態では、カメラ表示領域上のスワイプジェスチャを検出したことに応じて、例えば、電子デバイス（例えば、６００）は、カメラ表示領域内の選択されたアバターオプションの表示された表現の外観を、第１の外観（例えば、現在選択されているアバターオプションに基づく外観）から、第２の外観（例えば、異なるアバターオプション（例えば、ヌルアバターオプション、又は異なるタイプ（例えば、カスタマイズ可能な、カスタマイズ不可能な）のアバターを含む、異なるアバターに対応するアバターオプション）基づく外観）に変更し、第２の外観は、複数のアバターオプションのうちの異なる１つ（例えば、アバター選択領域に含まれる異なるアバターオプション）に対応する。カメラ表示領域上のスワイプジェスチャを検出したことに応じて、選択されたアバターオプションの表示された表現の外観を変更することによって、選択されたアバターの表現を変更するための迅速かつ容易な方法をユーザに提供する。追加表示されたコントロールによりユーザインタフェース（ＵＩ）を雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、複数のアバターオプションのうちの異なる一つがヌルアバターオプションである場合、デバイス（例えば、６００）は、アバターの表現を被写体の表現上に表示することを停止する（例えば、デバイスは、ユーザの頭部の画像データを仮想アバターに置換することをやめる）。一部の実施形態では、複数のアバターオプションのうちの異なる１つが、異なるアバターキャラクタ（カスタマイズ可能又はカスタマイズ不可能なアバターキャラクタを含む）のアバターオプションである場合、デバイスは、選択されたアバターキャラクタを異なるアバターキャラクタに置換する（例えば、デバイスは、アバターの表現を異なるアバターの表現に置換する）。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、画面の中心に移動する異なるアバターキャラクターのアニメーションを表示することを含む。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、ユーザの頭部に移動する異なるアバターキャラクターのアニメーションを表示することを含む。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、選択されたアバターが置換されている間に背景をぼかすことを含む。選択されたアバターキャラクターが異なるアバターキャラクターに置換されると／されている間に、アニメーションを表示する（例えば、異なるアバターキャラクタが画面の中央に移動し、異なるアバターキャラクタがユーザの頭部に移動して背景をぼかす）ことにより、アバターキャラクターが変更されているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、現在選択されているアバターオプションは第１のタイプのアバター（例えば、カスタマイズ可能なアバター）に対応し、異なるアバターオプションは第２のタイプのアバター（例えばカスタマイズ不可能なアバター）に対応する。
一部の実施形態では、カメラ表示領域（例えば、８２０）内の選択されたアバターオプションの表示された表現の外観を、第１の外観から第２の外観に変更することは、選択されたアバターオプションの表現の、第１の外観を有する第１のバージョンを移動してディスプレイから外すことを含む。一部の実施形態では、カメラ表示領域内の選択されたアバターオプションの表示された表現の外観を、第１の外観から第２の外観に変更することは、選択されたアバターオプションの表現の、第２の外観を有する第２のバージョンをディスプレイの中心に実質的に移動することを含む。選択されたアバターオプションの表現の第１のバージョンを移動してディスプレイから外し、選択されたアバターオプションの表現の第２のバージョンをディスプレイの中心に実質的に移動させることにより、第１のバージョンが第２のバージョンに置換されているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、選択されたアバターオプションの表示された表現の外観を、第１の外観から第２の外観に変更することは、選択されたアバターの表現の、第１の外観を有する第１のバージョンを移動してディスプレイから外すことを含む。一部の実施形態では、選択されたアバターオプションの表示された表現の外観を、第１の外観から第２の外観に変更することは、選択されたアバターオプションの表現の、第２の外観を有する第２のバージョンを、カメラ表示領域（例えば、８２０）内に表示された被写体の表現の実質的に位置に移動させることを含む。選択されたアバターオプションの表現の第１のバージョンを移動してディスプレイから外し、選択されたアバターオプションの表現の第２のバージョンをカメラ表示領域に表示された被写体の表現の位置に実質的な移動させることにより、第１のバージョンが第２のバージョンに置換されているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、選択されたアバターオプションの表示された表現の外観を、第１の外観から第２の外観に変更することは、カメラ表示領域（例えば、８２０）に表示された背景の視覚的外観を変更する（例えば、背景をぼかす、背景の彩度を減じる）ことを含む。
カメラユーザインタフェース（９０８）はまた、第１のカメラ表示モード（例えば、ユーザの頭部の画像データを仮想アバターに置き換えるモード）に関連付けられた第１のアフォーダンス（例えば、仮想アバターに対応するアフォーダンス）を含む。
一部の実施形態では、カメラユーザインタフェース（例えば、８１５）は、ステッカー表示モード（例えば、ステッカーを画像データに適用することが可能なモード）に関連付けられたステッカーアフォーダンス（例えば、８２４－２、ステッカーの表示を有効化するための機能に対応するアフォーダンス）を更に含む。一部の実施形態では、カメラ表示領域（例えば、８２０）に画像データ（及び、任意選択的に、選択されたアバターオプションの表現）を表示している間に、電子デバイス（例えば、６００）は、ステッカーアフォーダンスに向けられたジェスチャ（例えば、図８ＡＨ）を検出する。一部の実施形態では、ステッカーアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイスはステッカー表示モードをアクティブ化し、ステッカー表示モードをアクティブ化することは、複数のステッカーオプション（例えば、８５８のステッカー）を含むステッカー選択領域（例えば８５６）を表示することと、ステッカー選択領域内の複数のステッカーオプション（例えば、８５８－２のステッカー）のうちの１つの選択を検出することと、選択を検出したことに応じて、選択されたステッカーオプションの表現（例えば、８５８－２）をカメラ表示領域内の画像データ上に表示することと、を含む。一部の実施形態では、画像データ上に表示される選択されたステッカーオプションは、表示画面（例えば、６０１）上に配置された外観（例えば、デバイスの画面上に物理的ステッカーを配置するユーザの外観と同様な）を有し、移動したり、又は画像データに表されたオブジェクトと対話したりすることはない。一部の実施形態では、画像データ上に表示される選択されたステッカーオプションは、表示画面上に配置された外観（例えば、デバイスの画面上に物理的ステッカーを配置するユーザの外観と同様な）を有するが、画像データに表示されるオブジェクトの移動に基づいて移動する。例えば、ステッカーはディスプレイ上に配置されているように見え、画像データ（例えば、人物）に表されたオブジェクトと対話するが、ステッカーの動きは、ｘ及びｙ軸に沿った動きに制限される。換言すれば、ステッカーは、デバイスの画面に適用されるように見えるが、画像データに表されたオブジェクトによって画面上を移動することができる（例えば、画像データ内の人物がステッカーに触れる、又は画面を横切ってステッカーをドラッグするように見える）。一部の実施形態では、画像データ上に表示される選択されたステッカーオプションは、画像データの一部を形成する対話型オブジェクトとして画像データ内に挿入される外観を有する。画像データの一部を形成する対話型オブジェクトとして画像データに挿入される外観を提供することによって、選択されたステッカーが画像内の対話型オブジェクトとして作用できるという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。そのような実施形態では、ステッカーは、画像データに表されるオブジェクトとの対話に基づいて移動するように見える。例えば、ステッカーは、オブジェクトが人の肩に座っているように見え得る。人が動くと、ステッカーは人の肩と共に動き、人の肩の上に座っているような外観を維持する。これには、ｘ軸及びｙ軸に沿った移動、並びに、ｚ軸に沿った移動を含む。
一部の実施形態では、カメラ表示領域（例えば、８２０）の画像データ上に、選択されたステッカーオプション（例えば、８５８－１、８５８－２、８５８－３、８５８－４、８５８－５、８５８－６）の表現を表示している間に、デバイス（例えば、６００）は、１つ以上のカメラ（例えば、６０２）の視野内の被写体（例えば、８３２）の横方向の動きを検出する。１つ以上のカメラの視野内の被写体の横方向の動きを検出したことに応じて、デバイスは、１つ以上のカメラの視界内の被写体の動きに従って、（例えば、ステッカーの被写体との関係にかかわらず）選択されたステッカーオプションの表現を横方向に移動させる（例えば、図８ＡＶ～図８ＡＹのヘルメットステッカー８５８－１を参照）。選択されたステッカーオプションの表現を、１つ以上のカメラの視野内の被写体の横方向の動きに従って横方向に移動させることによって、選択されたステッカーが画像内の対話型オブジェクトとして作用できるという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、カメラ表示領域（例えば、８２０）の画像データ上に、選択されたステッカーオプション（例えば、８５８－１、８５８－２、８５８－３、８５８－４、８５８－５、８５８－６）の表現を表示している間に、デバイス（例えば、６００）は、１つ以上のカメラ（例えば、６０２）の視野内の被写体（例えば、８３２）の回転（例えば、ディスプレイに垂直な軸に対する回転、例えば、頭部を回転させる被写体）を検出する。デバイスは、１つ以上のカメラの視野内の被写体の回転を検出したことに応じて、以下のステップのうちの１つ以上を実行する。選択されたステッカーオプションの表現が、被写体に対して第１の関係を有する（第１の関係で配置されていた）（例えば、ステッカーは、最初に（又は現在）被写体に対応するディスプレイ上の位置に配置されていた、例えば、ステッカーは、被写体の顔の表現上、又は他の指定された領域（例えば、ブラケット（例えば、８９０））上に配置されている）を有する（例えば、配置された）との判定に従って、デバイスは、選択されたステッカーオプションの表現を、被写体の回転の大きさ及び向きに従って回転させる（例えば、ステッカーが回転し、被写体の顔のピッチ及びヨーに追従するようにひねる）（例えば、図８ＢＨ～図８ＢＭの眼鏡ステッカー８５８－４を参照）。選択されたステッカーオプションの表現が、被写体に対して第１の関係（例えば、ステッカーは、最初に（又は現在）被写体から離れたディスプレイ上の位置に配置されていた、例えば、ステッカーは、被写体の顔の表現又は他の指定された領域の外に置かれた）を有しない（例えば、配置されていなかった）との判定に従って、デバイスは、選択されたステッカーオプションの表現を、被写体の回転の大きさ及び向きに従って回転させることをやめる（例えば、図８ＢＥ～図８ＢＮのヒトデステッカー８５８－５及び野球ステッカー８５８－６を参照）。選択されたステッカーオプションの表現が被写体と第１の関係を有するかどうかに基づいて、選択されたステッカーオプションの表現を選択的に回転させることによって、選択されたステッカーオプションの挙動についての視覚フィードバックを提供し、選択されたステッカーオプションが画像内の対話型オブジェクトとして機能できることを示す。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、カメラ表示領域（例えば、８２０）の画像データ上に、選択されたステッカーオプション（例えば、８５８－１、８５８－２、８５８－３、８５８－４、８５８－５、８５８－６）の表現を表示している間に、デバイス（例えば、６００）は、１つ以上のカメラ（例えば、６０２）に向かう（又はカメラから離れる）被写体（例えば、８３２）の動きを検出する。デバイスは、１つ以上のカメラに向かう（又はカメラから離れる）被写体の動きを検出したことに応じて、以下の手順のうちの１つ以上を実行する。選択されたステッカーオプションの表現が、被写体に対して第１の関係（例えば、ステッカーは、最初に（又は現在）被写体に対応するディスプレイ上の位置に配置されていた、例えば、ステッカーは、被写体の顔の表現がカメラの視野内に存在した（例えば、検出された）ときに配置された）を有する（例えば、配置された）との判定に従って、デバイスは、１つ以上のカメラに向かう（又はカメラから離れる）被写体の動きの大きさに従って、選択されたステッカーオプションの表現を拡大する（又は縮小する）。例えば、ウサギステッカー８５８－２は、被写体の肩の表現がカメラに向かって移動することに応じて、図８ＡＸ及び８ＡＹに示すように拡大する。別の例では、ヒトデステッカー８５８－５及び野球ステッカー８５８－６は、被写体が図８ＢＪ～図８ＢＫのカメラに向かって移動するにつれて拡大する。選択されたステッカーオプションの表現が、被写体に対して第１の関係（例えば、ステッカーは、最初に（又は現在）被写体から離れたディスプレイ上の位置に配置されていた。例えば、ステッカーは、被写体の顔の表現がカメラの視野内に存在しない（例えば、検出されない）ときに配置された）を有しない（例えば、配置されなかった）との判定に従って、デバイスは、１つ以上のカメラに向かう（又はカメラから離れる）被写体の動きの大きさに従って、選択されたステッカーオプションの表現を拡大することを停止する（例えば、図８ＡＶ～図８ＡＹのヘルメットステッカー８５８－１及びハートステッカー８５８－３を参照）。選択されたステッカーオプションの表現が被写体と第１の関係を有するかどうかに基づいて、選択されたステッカーオプションの表現を選択的に拡大（又は縮小）させることによって、選択されたステッカーオプションの挙動についての視覚フィードバックを提供し、選択されたステッカーオプションが画像内の対話型オブジェクトとして機能できることを示す。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
被写体がカメラ（例えば、６０２）の視野内に位置し、かつ、被写体及び背景（例えば、被写体以外のカメラの視野内のオブジェクト）の表現がカメラ表示領域（例えば、８２０）内に表示されている間に、電子デバイス（例えば、６００）は、第１のアフォーダンスに向けられたジェスチャを検出する（９１０）。一部の実施形態では、電子デバイスは、被写体が視野内に位置していることを検出（例えば、認識）する。
一部の実施形態では、カメラユーザインタフェース（例えば、８１５）は、キャプチャアフォーダンスを表示している間に、カメラの視野のライブプレビューの表現（例えば、カメラの視野にあるものを表す画像データのストリーム）を含むカメラ表示領域（例えば、８２０）を更に含む。一部の実施形態では、被写体がカメラの視野内に位置し（例えば、電子デバイスは、被写体が視野に位置していることを検出／認識する）、被写体と背景の表現（例えば、被写体以外のカメラの視野内のオブジェクト）がカメラ表示領域に表示されている間に、電子デバイス（例えば、６００）は、選択されたアバターの表現を、カメラ表示領域内の被写体の表現上に表示する（例えば、ユーザの表示された頭部又は顔の部分が、選択されたアバターに対応する仮想アバターの頭部に置換される（又は、それによって（不透明に、透明に、半透明に）重ね合わせられる）。一部の実施形態では、電子デバイスは、選択されたアバターの表現を、カメラ表示領域内の被写体の表現上に表示している間に、アバター選択領域を表示する要求を受信する。一部の実施形態では、アバター選択領域を表示する要求を受信したことに応じて、電子デバイスは、キャプチャアフォーダンスの表示を停止し、複数のアバターアフォーダンスを有するアバター選択領域（例えば、アバターメニュー８２８）を（例えば、キャプチャアフォーダンスによって以前に占有されていたカメラユーザインタフェース内の位置に）表示する。一部の実施形態では、アバター選択領域がもはや表示されていないことに応じて（又は、それと共に）、キャプチャアフォーダンスが表示される（例えば、再表示される）。
一部の実施形態では、カメラユーザインタフェース（例えば、８１５）は、キャプチャアフォーダンス（例えば、８２１）を表示している間に、カメラの視野のライブプレビューの表現（例えば、カメラの視野にあるものを表す画像データのストリーム）を含むカメラ表示領域（例えば、８２０）を更に含む。一部の実施形態では、被写体がカメラの視野内に位置し、かつ、被写体と背景の表現（例えば、被写体以外のカメラの視野内のオブジェクト）がカメラ表示領域に表示されている間に、電子デバイス（例えば、６００）は、選択されたアバターの表現を、カメラ表示領域内の被写体の表現上に表示する（例えば、ユーザの表示された頭部又は顔の部分が、選択されたアバターに対応する仮想アバターの頭部に置換される（又は、それによって（不透明に、透明に、半透明に）重ね合わせられる）。一部の実施形態では、電子デバイスは、被写体が視野内に位置していることを検出（例えば、認識）する。一部の実施形態では、電子デバイスは、選択されたアバターの表現をカメラ表示領域内の被写体の表現上に表示している間に、被写体の姿勢（例えば、位置及び／又は向き）の変化を検出する。一部の実施形態では、姿勢の変化は、ユーザが頭部又は任意の顔の特徴を動かすときに検出される。一部の実施形態では、電子デバイスは、（例えば、方法９００及び図９Ａ～図９Ｂに関して説明したように）被写体の姿勢の変化を検出したことに応じて、背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する。背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更することにより、ユーザは、アバターの動きが、ユーザの検出された動きに対応する、及び／又はそれに基づいていることを迅速かつ容易に認識することができる。追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
第１のアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイス（例えば、６００）は、第１のカメラ表示モードをアクティブ化する。第１のカメラ表示モードをアクティブ化することは、アバター選択領域（例えば、８２９）を表示すること（９１４）を含む（例えば、複数のアバターオプションのうちの選択された１つ（例えば、カメラユーザインタフェース（例えば、８１５）のカメラ表示領域（例えば、８２０）内のユーザの頭部上に現れるように選択できる異なる仮想アバターを表すアフォーダンス）を含む）。
一部の実施形態では、アバター選択領域（例えば、８２９）は、選択されたアバターオプションの表現を、カメラディスプレイ内の被写体の表現上に表示することを停止するためのオプションを更に含む。一部の実施形態では、電子デバイス（例えば、６００）は、選択されたアバターオプションの表現を、カメラ表示領域内（例えば、８２０）の被写体の表現上に表示することを停止するためのオプションの選択に対応するユーザ入力を受信する。一部の実施形態では、選択されたアバターオプションの表現を、カメラ表示領域の被写体の表現上に表示することを停止するためのオプションの選択に対応するユーザ入力を受信したことに応じて、電子デバイスは、選択されたアバターオプションの表現をカメラ表示領域の被写体の表現上に表示することを停止する。
一部の実施形態では、アバター選択領域（例えば、８２９）は、ヌルアバターオプション（例えば、８３０－２）を含む。ヌルアバターオプションが選択されると、アバターは、カメラ表示領域（例えば、８２０）内の被写体の表現上に表示されない（例えば、デバイスは、ユーザの頭部の画像データを仮想アバターに置換することをやめる）。一部の実施形態では、アバター選択領域は、「キャンセル」アフォーダンス（例えば、アバター選択領域の角に位置する「ｘ」アイコン）を含む。キャンセルアフォーダンスが選択されると、デバイスは、アバター選択領域の表示を停止し、任意選択的に、被写体の表現上への任意の選択されたアバターの表示を停止する（例えば、デバイスは、ユーザの頭部の画像データを仮想アバターに置換するのをやめる）。
一部の実施形態では、第１のカメラ表示モード（例えば、ユーザの頭部の画像データが仮想アバターに置換されるアバター表示モード）をアクティブ化することは、選択されたアバターオプションの表現をカメラ表示領域（例えば、８２０）内の被写体の表現上に表示する前に、選択されたアバターオプションの表現を被写体の表現上に表示することなく、被写体の表現をカメラ表示領域に表示すること（９１６）を、更に含む。一部の実施形態では、アバター表示モードに入った後、デバイスは、アバターなしで（例えば、デバイスはユーザーの頭部の画像データを仮想アバターに置換するのをやめる）被写体の表現を最初に表示する。一部の実施形態では、アバター表示モードに入るときに最初に選択されるアバターオプションは、ヌルアバターオプションに対応する。ヌルアバターオプションが選択されると、デバイスは、被写体の頭部の画像データを仮想アバターに置換することをやめる。
第１のカメラ表示モードをアクティブ化することは、カメラ表示領域（例えば、８２０）内の被写体の表現上に、選択されたアバターオプションの表現を表示すること（９１８）を含む（例えば、ユーザの表示された頭部又は顔の部分が、選択されたアバターに対応する仮想アバターの頭部に置換される（又は、それによって（不透明に、透明に、半透明に）重ねら合わせられる）。選択されたアバターオプションの表現をカメラ表示領域内の被写体の表現上に表示することにより、ユーザは、選択されたアバターオプションが被写体の表現に関連することを迅速かつ容易に認識することができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、選択されたアバターオプションの表現を被写体の表現上に表示することは、電子デバイス（例えば、６００）の１つ以上の深度カメラを使用して取得される深度情報を使用することを含む。
一部の実施形態では、第１のカメラ表示モードをアクティブ化することは、選択されたアバターオプションを、アバター選択領域（例えば、８２９）に静的外観（例えば、アバター外観がユーザの顔の検出された変化に基づいて変化しない）で表示することを更に含む。一部の実施形態では、第１のカメラ表示モードをアクティブにすることは、選択されたアバターオプションを、被写体の姿勢の検出された変化に基づいて変化する（例えば、アバターは、ユーザの顔の検出された変化を反映するように変化する）動的外観を有するように更新することを更に含む。一部の実施形態では、第１のカメラ表示モードをアクティブにすることは、アバター選択領域からカメラ表示領域（例えば、８２０）内の被写体の表現（例えば、ユーザの顔の表現）に移動する動的外観を有する、選択されたアバターのアニメーションを表示することを更に含む。一部の実施形態では、アバターは、アバター選択領域からカメラ表示領域内のユーザーの顔へのアニメーション移動中に、ユーザーの顔の変化を追跡し続ける。
一部の実施形態では、選択されたアバターオプションを、被写体の姿勢の検出された変化に基づいて変化する動的外観を有するように更新することは、被写体の姿勢の検出された変化に基づいてアバターオプションの外観を変更する前に、静的外観を有するアバターオプションの姿勢に対応する（例えば、一致する）初期姿勢と共に、動的外観を有するアバターオプションを最初に表示することを含む。
第１のカメラ表示モードがアクティブである間に、電子デバイス（例えば、６００）は、姿勢の変化（例えば、被写体の位置及び／又は向き）を検出する（９２０）。一部の実施形態では、姿勢の変化は、ユーザが頭部又は任意の顔の特徴を動かすときに検出される。
被写体の姿勢の変化を検出したことに応じて、電子デバイス（例えば、６００）は、背景（例えば、８３６）の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更する（９２２）（例えば、ユーザ上に表示された仮想アバターは、背景をなおも表示しながら、ユーザの頭部及び顔の変化が表示された仮想アバターの変化に影響を及ぼすように、ユーザの頭部及び顔の検出された変化に応答する）。背景の表示を維持しながら、被写体の姿勢の検出された変化に基づいて、選択されたアバターオプションの表示された表現の外観を変更することにより、ユーザは、アバターの動きが、ユーザの検出された動きに対応する、及び／又はそれに基づいていることを迅速かつ容易に認識することができる。追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、カメラユーザインタフェースは、図６Ａ～図６ＢＱ及び図９Ａ～図９Ｂに示す実施形態に関して説明したカメラユーザインタフェースの１つ以上の特徴／機能を含む。例えば、カメラユーザインタフェース（例えば、８１５）は、エフェクトモードアフォーダンス（例えば、６２２）を含むことができる。
一部の実施形態では、電子デバイス（例えば、６００）は、アバター選択領域（例えば、８２９）上の水平スワイプジェスチャを検出する。一部の実施形態では、水平スワイプジェスチャを検出したことに応じて、電子デバイスは、複数のアバターオプションに新規アバターオプションを追加するための機能に関連付けられたアバター作成アフォーダンスを表示する。水平スワイプジェスチャを検出したことに応じて、複数のアバターオプションに新規アバターオプションを追加するための機能に関連付けられたアバター作成アフォーダンスを表示することにより、ユーザは、アバター選択領域からアバター作成アフォーダンスに迅速かつ容易にアクセスすることができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、アバター選択領域上の水平スワイプジェスチャが、表示されたアバターオプションをスクロールしてアバター作成アフォーダンスを明らかにする。一部の実施形態では、アバター作成アフォーダンスを選択して、新規アバターを作成することができる。新規アバターが作成されると、作成されたアバターを表す新規アバターオプションが、アバター選択領域内の複数のアバターオプション（例えば、８３０）に追加される。
一部の実施形態では、第１のカメラ表示モードがアクティブである間に、電子デバイス（例えば、６００）は、アバター選択領域（例えば、８２９）上のスワイプジェスチャを検出する。一部の実施形態では、アバター選択領域上のスワイプジェスチャを検出したことに応じて、電子デバイスは、カメラ表示領域（例えば、８２０）内の選択されたアバターオプションの表示された表現の外観を、第１の外観（例えば、現在選択されているアバターオプションに基づく外観）から、第２の外観（例えば、異なるアバターオプション（例えば、ヌルアバターオプション、又は異なるタイプ（例えば、カスタマイズ可能な、カスタマイズ不可能な）のアバターを含む、異なるアバターに対応するアバターオプション）基づく外観）に変更し、第２の外観は、複数のアバターオプションのうちの異なる１つ（例えば、アバター選択領域に含まれる異なるアバターオプション）に対応する。アバター選択領域上のスワイプジェスチャを検出したことに応じて、選択されたアバターオプションの表示された表現の外観を変更することにより、ユーザは、選択されたアバターオプションの外観を迅速かつ容易に変更することができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、複数のアバターオプションのうちの異なる一つがヌルアバターオプション（例えば、８３０－２）である場合、デバイスは、アバターの表現を被写体の表現上に表示することを停止する（例えば、デバイスは、ユーザの頭部の画像データを仮想アバターに置換することをやめる）。一部の実施形態では、複数のアバターオプションのうちの異なる１つが、異なるアバターキャラクタ（カスタマイズ可能又はカスタマイズ不可能なアバターキャラクタを含む）のアバターオプションである場合、デバイスは、選択されたアバターキャラクタを異なるアバターキャラクタに置換する（例えば、デバイスは、アバターの表現を異なるアバターの表現に置換する）。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、画面の中心に移動する異なるアバターキャラクターのアニメーションを表示することを含む。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、ユーザの頭部に移動する異なるアバターキャラクターのアニメーションを表示することを含む。一部の実施形態では、選択されたアバターキャラクターを異なるアバターキャラクターに置換することは、選択されたアバターが置換されている間に背景（例えば、８３６）をぼかすことを含む。一部の実施形態では、現在選択されているアバターオプションは第１のタイプのアバター（例えば、カスタマイズ可能なアバター）に対応し、異なるアバターオプションは第２のタイプのアバター（例えばカスタマイズ不可能なアバター）に対応する。
一部の実施形態では、第１のカメラ表示モードがアクティブである間に、被写体がカメラの視野内にもはや位置していない（例えば、顔の追跡が失われた）との判定に応じて、電子デバイス（例えば、６００）は、カメラ表示領域（例えば、８２０）内の中心位置に移動する選択されたアバターオプションの表現のアニメーションを表示する。被写体がもはやカメラの視野内に位置していないという判定に応じて、カメラ表示領域の中心位置に移動する選択されたアバターオプションの表現のアニメーションを表示することにより、ユーザがもはやカメラによって検出されていないという視覚フィードバックを、ユーザに提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ユーザがカメラの視野内でもはや検出されなくなると、アバターはカメラ表示領域の中心に移動する。一部の実施形態では、ユーザがカメラの視野内でもはや検出されなくなると、背景はぼやける。
一部の実施形態では、第１のカメラ表示モードがアクティブである間に、被写体がカメラの視野内にもはや位置していない（例えば、顔の追跡が失われた）との判定に応じて、電子デバイス（例えば、６００）は、カメラ表示領域（例えば、８２０）に表示された背景（例えば、８３６）の視覚的外観を変更する（例えば、背景をぼかす、背景の彩度を減じる）。
一部の実施形態では、第１のカメラ表示モードがアクティブであり、選択されたアバターオプションの表現（例えば、アバター選択領域から選択されたカスタマイズ可能なアバターオプションの表現）が、カメラ表示領域（例えば、８２０）内の被写体の表示上に表示されている（例えば、ユーザの頭部の画像データがカスタマイズ可能なアバターに置換されている）間に、電子デバイス（例えば、６００）は、アバター選択領域（例えば、８２９）内の選択されたアバターオプション上のタッチジェスチャ（例えば、タップジェスチャ）を検出する。一部の実施形態では、タッチジェスチャを検出したことに応じて、電子デバイスは、選択されたアバターオプションを編集するために複数のオプション（例えば、カスタマイズ可能なアバターの様々な特徴を変更するために選択可能な編集アフォーダンス）を有するアバター編集ユーザインタフェース（例えば、選択されたアバターオプション（例えば、選択されたカスタマイズ可能なアバター）の１つ以上の特徴を編集するためのユーザーインターフェース）を表示する。アバター選択領域内の選択されたアバターオプション上のタッチジェスチャを検出したことに応じてアバター編集ユーザインタフェースを表示することにより、ユーザは、アバター編集ユーザインタフェースに迅速かつ容易にアクセスしてアバターを編集することができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、カメラユーザインタフェース（例えば、８１５）は、第２のカメラ表示モード（例えば、仮想エフェクト（例えば、ステッカー）が画像データに適用されるモード）に関連付けられた第２のアフォーダンス（例えば、８２４－２、ステッカーを表示するための機能に対応するアフォーダンス）を更に含む。一部の実施形態では、被写体がカメラ（例えば、６０２）の視野内に位置し、かつ、被写体の表現及び背景（例えば、８３６）がカメラ表示領域（例えば、８２０）内に表示されている間に、電子デバイス（例えば、６００）は、第２のアフォーダンスに向けられたジェスチャを検出する。一部の実施形態では、第２のアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイスは、第２のカメラ表示モードをアクティブ化し、第２のカメラ表示モードをアクティブ化することは、複数のグラフィカルオブジェクト（例えば、ステッカー）を含むビジュアルエフェクト選択領域を表示することを含む。
一部の実施形態では、電子デバイス（例えば、６００）は、第２のカメラ表示モードがアクティブである間に、ビジュアルエフェクト選択領域（例えば、８２４）内の複数のグラフィカルオブジェクト（例えば、ステッカー）のうちの１つの選択を検出する。一部の実施形態では、選択を検出したことに応じて、電子デバイスは、選択されたグラフィカルオブジェクトの表現をカメラ表示領域（例えば、８２０）内に表示する。一部の実施形態では、選択されたステッカーは、ライブカメラプレビュー（例えば、８２０－１）中にカメラ表示領域に表示される。一部の実施形態では、ライブカメラプレビューにステッカーを表示することは、カメラ表示領域のデフォルト位置（例えば、画面の中心）にステッカーを直ちに表示することを含む。一部の実施形態では、ライブカメラプレビューにステッカーを表示することは、ビジュアルエフェクト選択領域からカメラ表示領域上の位置に移動するステッカーのアニメーションを表示することを含む。一部の実施形態では、このアニメーションは、ステッカーのユーザ選択のドラッグジェスチャ（例えば、ユーザがステッカーにタッチして、それをカメラ表示領域上の位置にドラッグするジェスチャ）に基づいて決定される。
一部の実施形態では、カメラ（例えば、６０２）を介してキャプチャされた画像データの表現は、メディアアイテム（例えば、８２０－２、静止画像又は記録されたビデオ）である。一部の実施形態では、カメラユーザインタフェース（例えば、８１５）は、第３のカメラ表示モード（例えば、仮想エフェクト（例えば、ステッカー）が写真や録画されたビデオに適用されるモード）に関連付けられた第３のアフォーダンス（例えば、ステッカーを表示するための機能に対応するアフォーダンス）を更に含む。一部の実施形態では、電子デバイス（例えば、６００）は、第３のアフォーダンスに向けられたジェスチャを検出する。一部の実施形態では、第３のアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイスは、第３のカメラ表示モードをアクティブ化し、第３のカメラ表示モードをアクティブ化することは、複数のグラフィカルオブジェクト（例えば、ステッカー）を含むビジュアルエフェクト選択領域を表示することを含む。
一部の実施形態では、電子デバイス（例えば、６００）は、第３のカメラ表示モードがアクティブである間に、ビジュアルエフェクト選択領域内の複数のグラフィカルオブジェクト（例えば、ステッカー）のうちの１つの選択を検出する。一部の実施形態では、電子デバイスは、選択を検出したことに応じて、選択されたグラフィカルオブジェクトの表現を、カメラ表示領域（例えば、８２０）のメディアアイテム（例えば、８２０－２）上に表示する。一部の実施形態では、選択されたステッカーは、写真又は記録されたビデオを見るときにカメラ表示領域に表示される。一部の実施形態では、写真又は記録されたビデオ上にステッカーを表示することは、カメラ表示領域のデフォルト位置（例えば、画面の中心）にステッカーを直ちに表示することを含む。一部の実施形態では、写真又は記録されたビデオ上にステッカーを表示することは、ビジュアルエフェクト選択領域からカメラ表示領域上の位置に移動するステッカーのアニメーションを表示することを含む。一部の実施形態では、このアニメーションは、ステッカーのユーザ選択のドラッグジェスチャ（例えば、ユーザがステッカーにタッチして、それをカメラ表示領域上の位置にドラッグするジェスチャ）に基づいて決定される。
方法９００に関して上述された処理（例えば、図９Ａ及び図９Ｂ）の詳細はまた、上記及び以下で説明される方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００は、方法９００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、メッセージングアプリケーションユーザインタフェースにおいて画像データに表示される。別の例では、方法１１００は、方法９００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、メディアユーザインタフェースにおいて画像データに表示される。別の例では、方法１３００は、方法９００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターのようなビジュアルエフェクトが、ライブビデオ通信セッションのためのユーザインタフェースにおいて画像データに表示される。別の例では、方法１５００は、方法９００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラユーザインタフェースに対して画像データに表示される。簡潔にするために、これらの詳細は、以下では繰り返さない。
図１０Ａ～図１０ＡＬは、一部の実施形態に係る、メディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。それらの図におけるユーザインタフェースは、図１１Ａ～図１１Ｂにおける処理を含む、以下で説明される処理を例示するために使用される。
図１０Ａにおいて、デバイス６００は、ホーム画面１０００を示し、メディアビューアアプリケーションアフォーダンス１００２上の入力１００１を検出する。
図１０Ｂでは、入力１００１の検出に応じて、デバイス６００は、メディアビューアアプリケーションアフォーダンス１００２に関連付けられたメディアビューアプリケーションを起動し、メディアユーザインタフェース１００５を表示する。メディアユーザインタフェース１００５は、記憶メディアアイテム１００６のうちの選択された１つに対応するメディアアイテムを表示するための、一連の記憶メディアアイテム１００６及びメディア表示領域１００８を含む。図１０Ｂにおいて、メディア表示領域１００８は、選択された記憶メディアアイテム１００６－１に対応するメディアアイテム１０１０を示す。
メディアアイテム１０１０は、符号化された深度データを含まない（例えば、キャプチャされたメディアアイテム内に深度データを符号化しないカメラ（例えば、カメラ６０２以外のカメラなど）によってキャプチャされた）画像である。これにより、メディアアイテム１０１０は、本明細書で説明するように、画像で特定のビジュアルエフェクトを可能にするために使用される深度データを含まない。
図１０Ｃでは、デバイス６００は、編集アフォーダンス１０１２上の入力１０１１を検出する。これに応じて、図１０Ｄで、デバイス６００は、編集オプション表示領域１０１４を表示する。編集オプション表示領域には、エフェクトアフォーダンス１０１６（エフェクトアフォーダンス６２２、８２２と同様）、メディア編集アフォーダンス１０１８、及びマークアップアフォーダンス１０２０を含む。
図１０Ｅではに、デバイス６００は、エフェクトアフォーダンス１０１６上の入力１０２１を検出し、表示されたメディアアイテム（例えば、メディアアイテム１０１０）に関連付けられた任意のビジュアルエフェクトが表示されるビジュアルエフェクトモードを有効化する。図１０Ｅに示す実施形態では、メディアアイテム１０１０はビジュアルエフェクトを含まず、特に、メディアアイテム１０１０が深度データを含まないので、画像１０１０は深度ベースのビジュアルエフェクトを含まない。
図１０Ｆでは、エフェクトアフォーダンス１０１６をアクティブ化する入力１０２１を検出したことに応じて、デバイス６００は、エフェクトアフォーダンス１０１６を強調表示し、編集オプション表示領域１０１４を拡大してエフェクトオプションアフォーダンス１０２４を表示する。図１０Ｆに示す実施形態では、メディアアイテム１０１０はビジュアルエフェクトを可能にする深度データを含まないので、アバターエフェクトアフォーダンス１０２４－１及びステッカーエフェクトアフォーダンス１０２４－２は選択不可能として示されているのに対して、残りのビジュアルエフェクトオプションアフォーダンス１０２４－３、１０２４－４、及び１０２４－５は選択可能である。一部の実施形態では、メディアアイテムがビジュアルエフェクトを可能化する深度データを含まない場合、アバターエフェクトアフォーダンス１０２４－１及びステッカーエフェクトアフォーダンス１０２４－２は表示されない。
メディアアイテム１０１０は深度ベースのビジュアルエフェクトを可能化するための深度データを含まないので、エフェクトアフォーダンス１０１６が選択されても、深度ベースのビジュアルエフェクトはメディアアイテム１０１０に表示されない。これにより、メディアアイテム１０１０は、図１０Ｆでは変更されないままである。
図１０Ｇでは、デバイス６００は、取消アフォーダンス１０２６上の入力１０２５を検出し、図１０Ｈに示すユーザインタフェースに戻る。
図１０Ｈでは、デバイス６００は、記憶されたメディアアイテム１００６－２上の入力１０２７を検出し、記憶されたメディアアイテム１００６－２を選択する。
図１０Ｉでは、デバイス６００は、メディアアイテム１０２８をメディア表示領域１００８に表示する。メディアアイテム１０２８は、被写体１０３２及び背景１０３６を示す選択された記憶メディアアイテム１００６－２に対応する。メディアアイテム１０２８は、キャプチャされたメディアアイテム内に深度データを符号化するカメラ（例えば、カメラ６０２）によってキャプチャされた画像である。本明細書で説明するように、メディアアイテム内に符号化された深度データは、ビジュアルエフェクト、特に深度成分を有するビジュアルエフェクトを表示することを可能にする。
図１０Ｉでは、エフェクトモードがメディアアイテム１０２８に対して有効化されていないため、ビジュアルエフェクトはメディアアイテム１０２８に表示されない。しかしながら、デバイス６００は、エフェクトアイコン１０２９を表示して、メディアアイテム１０２８が深度データを含み、ビジュアルエフェクトを表示することができることを示す。
図１０Ｊでは、デバイスは、編集アフォーダンス１０１２上の入力１０３０を検出し、図１０Ｋでは、強調表示されていない状態のエフェクトアフォーダンス１０１６を示すオプション表示領域１０１４を編集して、ビジュアルエフェクトがメディアアイテム１０２８の表示を有効化できないことを示す。
図１０Ｌでは、デバイス６００は、ビジュアルエフェクトモードを有効化するエフェクトアフォーダンス１０１６上の入力１０３３を検出する。図１０Ｍに示すように、ビジュアルエフェクトモードが有効化されると、デバイス６００は、エフェクトアフォーダンス１０１６を強調表示し、編集オプション表示領域１０１４を拡大してエフェクトオプションアフォーダンス１０２４を表示する。図１０Ｍに示す実施形態では、メディアアイテム１０２８は深度ベースのビジュアルエフェクトを有効化する深度データを含むので、アバターエフェクトアフォーダンス１０２４－１及びステッカーエフェクトアフォーダンス１０２４－２が選択可能として示され、ビジュアルエフェクトがメディアアイテム１０２８に表示される。図１０Ｍに示す実施形態では、表示されたビジュアルエフェクトは、カスタマイズ可能なアバター１０３７、被写体の首部上のアバター１０３７の下方に表示される影１０３８、ヘルメットステッカー１０３９、及びウサギステッカー１０４０を含む。
一部の実施形態では、デバイス６００は、メディアアイテム１０２８の深度データに符号化された、カメラ６０２の視野内に位置するユーザの顔の検出された変化に基づいてアバター１０３７を変更する。このように、メディアアイテム１０２８はこの実施形態では静止画像として説明されているが、メディアアイテム１０２８は静止画像に限定されず、深度データを有する録画ビデオを含む録画ビデオなどの他のメディアアイテムを含むことができることを理解されるべきである。同様に、デバイス６００は、深度データに符号化されたメディアアイテム内のオブジェクトの位置における検出された変化に基づいて、メディアアイテム１０２８に適用されるステッカーの位置を変更することができる。
深度ベースのビジュアルエフェクトを含むビジュアルエフェクトを、メディアアイテム１０２８に適用し、本明細書で論じる実施形態に従って編集することができる。例えば、本明細書に開示された様々な実施形態では、アバターエフェクトアフォーダンス１０２４－１は、選択されたアバター（例えば、アバター１０３７）を除去、変更、及び／又は切り替えるために選択することができる。加えて、ステッカーエフェクトアフォーダンス１０２４－２は、本明細書に開示された様々な実施形態に従って、メディアアイテム１０２８に対し、ステッカーを除外し、変更し、及び／又は追加するように選択することができる。
図１０Ｎ～図１０Ｐは、ハートステッカー１０４２をメディアアイテム１０２８に追加するデバイス６００を示す。これらの処理は、図６Ｕ～図６ＡＤ、図８ＡＨ～図８ＡＫ、及び図８ＡＲ～図８ＡＹに関して、上記で一層詳細に論じている。簡潔性のために、これらの処理の詳細は、ここでは繰り返さない。
図１０Ｑでは、デバイス６００は、マークアップアフォーダンス１０２０上の入力１０４３を検出する。図１０Ｒでは、デバイス６００は、表示された編集オプション表示領域１０１４を、マークアップエフェクトをメディアアイテム１０２８に追加するための様々な選択可能なマークアップオプション１０４５を含むマークアップオプションメニュー１０４４に置換する。図１０Ｓ～図１０Ｔは、テキストアフォーダンス１０４５－１を選択することによって、テキスト１０４６をメディアアイテム１０２８に追加するための処理を示す。
図１０Ｕでは、デバイス６００は、編集アフォーダンス１０１２上の入力１０４７を検出する。図１０Ｖでは、デバイス６００は、表示された編集オプション表示領域１０１４を、様々な画像編集アフォーダンス１０５０を含む画像編集メニュー１０４８に置換する。図１０Ｖ～図１０Ｙは、ビビッド色フィルタを適用するために、フィルタアフォーダンス１０５０－１を選択し、次いでビビッドフィルタオプション１０５２を選択することによって、メディアアイテム１０２８を編集するための処理を示す。ビビッド色フィルタは、メディアアイテム１０２８内の背景１０３６と、適用されたビジュアルエフェクト（例えば、アバター１０３７上の髪部）の両方に変更を適用する。一部の実施形態では、フィルタは、アバターの外観及び１つ以上のカメラの視野の表現を同様の方法で変更して、アバターと１つ以上のカメラの視野の表現との間の類似性を高める（例えば、コミックブックフィルタ、スケッチ描画フィルタ、白黒フィルタ、グレースケールフィルタなどを適用する）。一部の実施形態では、アバターは、アバターの外観と１つ以上のカメラの視野の表現との両方を変更するフィルタを適用することによって、１つ以上のカメラの視界にある現実の世界とは一致しない漫画のような外観を有し、このアバターの外観は、１つ以上のカメラの視野の表現の残部と一体化される。一部の実施形態では、フィルタは、１つ以上のカメラの視野の表現の現実感を低減するフィルタ（例えば、スケッチフィルタ又はコミックブックフィルタ）である。一部の実施形態では、フィルタは、アバターの外観及び１つ以上のカメラの視野の表現の外観の両方の３Ｄ効果を低減する（例えば、平坦化する）フィルタである。
図１０Ｚでは、新しいハートステッカー１０４２、テキスト１０４６を表示するように編集されて、ビビッドな色フィルタが適用される、メディアアイテム１０２８を示す。
図１０ＡＡ～図１０ＡＤは、デバイス６００がアバター１０３７からアバター１０５４に切り替わることを示す。これらの処理は、図６Ｇ～図６Ｑ、図６ＢＤ～図６ＢＥ、図６ＢＫ～図６ＢＮ、及び図８Ｆ～図８ＡＧに関して、上記で一層詳細に論じている。簡潔性のために、これらの処理の詳細は、ここでは繰り返さない。
図１０ＡＥでは、デバイス６００は、ステッカー（例えば、１０３９、１０４０、１０４２）、アバター１０５４、テキスト１０４６、及びビビッド色フィルタが適用されたメディアアイテム１０２８を表示する。メディアアイテム１０２８の色フィルタは、新規アバター１０５４がメディアアイテム１０２８に表示されると、新規アバター１０５４の髪部に影響を及ぼす。
図１０ＡＥでは、デバイス６００は、エフェクトオプションアフォーダンス１０２４上のスワイプジェスチャ１０５５を検出し、これに応じて、エフェクトオプションアフォーダンス１０２４をスクロールして図１０ＡＦのスクリーンエフェクトアフォーダンス１０２４－３を表示する。
図１０ＡＧでは、デバイス６００は、スクリーンエフェクトアフォーダンス１０２４－３上の入力１０５７を検出し、これに応じて、スクリーンエフェクトメニュー１０６０を表示する。スクリーンエフェクトメニュー１０６０は、メディアアイテム１０２８にフルスクリーンビジュアルエフェクトを適用するために選択可能な、様々なスクリーンエフェクトオプション１０６２を含む。図１０ＡＨでは、ヌルエフェクトオプション１０６２－１が選択され（例えば、１０６３）、デバイス６００は、メディアアイテム１０２８にスクリーンエフェクトを表示しない。
図１０ＡＩでは、デバイス６００は、風船エフェクトオプション１０６２－２上の入力１０６４を検出する。図１０ＡＪ～図ＡＬでは、デバイス６００は、風船１０６５のアニメーションエフェクトをメディアアイテム１０２８に表示する。一部の実施形態では、アニメーションエフェクトは、メディアアイテム１０２８に符号化された深度データを強調する方法で適用される。例えば、図１０ＡＪ～図１０ＡＬでは、風船のうちのいくつかは、被写体１０６２及びビジュアルエフェクト（例えば、ウサギステッカー１０４０、アバター１０５４、テキスト１０４６）の前に現れるように表示される。風船のうちのいくつかは、被写体１０６２及びビジュアルエフェクト（例えば、ウサギステッカー１０４０、アバター１０５４、ハートステッカー１０４２）の背後にある深度で現れるように表示される。
一部の実施形態では、スクリーンエフェクトは、メディアアイテム１０２８内のオブジェクト及びビジュアルエフェクトの深度に基づいて、メディアアイテム１０２８内のビジュアルエフェクト及びオブジェクトと対話することができる。例えば、紙吹雪スクリーンエフェクトは、メディアアイテム１０２８（例えば、被写体１０６２）及びビジュアルエフェクト（ステッカー及びアバター）内のオブジェクトの前及び背後に落ちていく、並びにこれらのオブジェクト及びビジュアルエフェクトの上部にも落ちていく、紙吹雪を示すことができる。例えば、紙吹雪が、落ちていく紙吹雪の物理モデルに基づいて、アバター上に落ちていく、及びアバターの側を落ちていくさまを表示することができる。
図１１Ａ及び図１１Ｂは、一部の実施形態に係る、電子デバイスを使用してメディアアイテム視聴モードにおいてビジュアルエフェクトを表示するための方法を示すフロー図である。方法１１００は、表示装置を有するデバイス（例えば、１００、３００、５００、６００）において実行される。方法１１００におけるいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作の順序は任意選択的に変更され、いくつかの動作は任意選択的に省略される。
以下に説明するように、方法１１００は、メディアアイテム視聴モードでビジュアルエフェクトを表示するための直感的な仕方を提供する。この方法は、画像又はビデオにビジュアルエフェクトを表示している際のユーザへの認知負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスでは、ビジュアルエフェクトをユーザーがより迅速かつ効率的に表示できるようにすることで、電力を節約し、バッテリ充電間の時間を増大させる。
電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、メディアユーザインタフェース（例えば、１００５）を表示する（１１０２）。メディアユーザインタフェースは、メディアアイテム（例えば、静止画像又はビデオ）の表現（例えば、１０１０）を含む、メディア表示領域（例えば、１００８）を含む（１１０４）。一部の実施形態では、メディアアイテムに対応する深度データは、エフェクトアフォーダンスの事前選択を検出した後に、電子デバイスのカメラによって取得される。
一部の実施形態では、メディアアイテムは、記録された画像又はビデオであり、エフェクトは、メディアアイテムが記録された後に深度データに基づいて適用される。一部の実施形態では、画像データがキャプチャされた（例えば、記録された）後に、ステッカー、仮想アバター、及びフルスクリーンエフェクトなどのビジュアルエフェクトを画像データに追加し、又は異なるビジュアルエフェクトに変更する（例えば、ステッカーを仮想アバターに置換する）ことができる。
メディアユーザインタフェース（例えば、１００５）は、エフェクトアフォーダンス（例えば、１０１６、画像表示モードをアクティブ化するための機能（例えば、画像データが深度データを含む場合に、深度データを表示するモード）に関連するアフォーダンス）を含む（１１０６）。
電子デバイス（例えば、６００）は、エフェクトアフォーダンス（例えば、１０１６）に向けられたジェスチャ（例えば、１０２１）を検出する（１１０８）。一部の実施形態では、それぞれのエフェクトオプション（例えば、１０２４－１）は、メディアアイテム内に（例えば、その上に重ね合わせる）アバターを表示するためのエフェクトに対応する（１１１０）。一部の実施形態では、アバターをメディアアイテムに表示するときに、人の頭部の画像データが仮想アバターに置換される。人の頭部の画像データが仮想アバターに置換されたメディアアイテムにアバターを表示することにより、アバターが、置換されている人に関係がある、及び／又は関連付けられているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、アバターのカスタマイズ可能である。一部の実施形態において、アバターのカスタマイズ不可能である。
一部の実施形態では、それぞれのエフェクトオプション（例えば、１０２４－３）は、メディアアイテム内を（例えば、その上にアニメーション風に重ね合わせられて）動く複数の仮想オブジェクト（例えば、１０６２、紙吹雪、風船など）を表示するためのエフェクトに対応する（１１１２）。一部の実施形態では、メディアアイテム内を移動する複数のオブジェクトの軌跡は、メディアアイテム内の（例えば、表される、特定される）オブジェクト（例えば、元の画像又はビデオ内の人物などの、仮想アバターではない、メディアアイテムに適用されるエフェクトの生成物であるオブジェクトではなく、元のメディアアイテムに符号化されたオブジェクト）のうちの少なくとも１つの存在、又はメディアアイテムに適用されたビジュアルエフェクト（例えば、アバター）に基づいて変更される。一部の実施形態では、紙吹雪又は風船などのオブジェクトが、画像内のユーザの前、背後、及び／又はユーザ上に表示される。一部の実施形態において、画像は、アバターなどの他のエフェクトを含み、紙吹雪又は風船などのオブジェクトは、アバターの前、背後、及び／又はアバター上に着地する。
一部の実施形態では、それぞれのエフェクトオプション（例えば、１０２４－２）は、メディアアイテム内に（例えば、その上に重ね合わせられる）１つ以上の選択可能なグラフィックアイコン（例えば、１０４２、ステッカー）を表示するためのエフェクトに対応する（１１１４）。
エフェクトアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイス（例えば、６００）は、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプション（例えば、ステッカーアフォーダンス、アバターアフォーダンス）を表示し（１１１６）、（例えば、パラグラフ［１７９］及び［３３８］に記載するように）メディアアイテムが対応する深度データに関連付けられているとの判定（１１１８）に従って、複数のエフェクトオプションが、深度データに基づいてエフェクト（例えば、ステッカー、仮想アバター、フルスクリーンエフェクトなど）を適用するためのそれぞれのエフェクトオプション（例えば、１０２４）を含む、ことを含んでいる。一部の実施形態では、ジェスチャを検出したことに応じて、電子デバイスは、画像表示モード（例えば、深度データに基づく画像表示モード）をアクティブ化する。
一部の実施形態では、深度データに基づいてメディアアイテム（例えば、静止画像又はビデオ）上に表示できる複数のステッカーオプション（例えば、１０４２）を表示するために、ステッカーアフォーダンス（例えば１０２４－２）が選択可能である。例えば、ステッカーをメディアアイテム上に配置し、メディアアイテムに関連付けられた深度データに基づいて変更することができる。一部の実施形態では、ステッカーは、ビデオ内のオブジェクトの相対位置に関連付けられる。ビデオ内のオブジェクトの動きは、オブジェクトの動きに基づいて、ステッカーの表示されたアスペクト（例えば、サイズ、向き、位置など）を変更するために使用される深度成分を有する。例えば、ステッカーはオブジェクト上に表示され、オブジェクトがカメラ（例えば、６０２）から離れて（例えば、後方に）移動するにつれてステッカーは小さくなっていき、ステッカーがオブジェクトと共にカメラから遠ざかっていく外観を与える。一部の実施形態では、深度データに基づいてメディアアイテム上に表示できる複数のアバターオプション（例えば、図１０ＡＢ）を表示するために、アバターアフォーダンス（例えば、１０２４－１）が選択可能である。例えば、アバターを画像又はビデオ内の顔に表示し、画像又はビデオ内の顔に関連付けられた深度データに基づいて修正することができる。例えば、顔が前方、後方、左右、又は画像データの深度成分に影響を及ぼす他の方法で動くと、深度データに基づいてアバターが表示及び変更される。このように、顔が動くにつれて、同じ方法でアバターが動いて表示される。
エフェクトアフォーダンスに向けられたジェスチャを検出したことに応じて、電子デバイス（例えば、６００）は、メディアアイテムの表現と同時に、メディアアイテムにエフェクトを適用するための複数のエフェクトオプション（例えば、１０２４、ステッカーアフォーダンス、アバターアフォーダンス）を表示し（１１１６）、画像データが深度データを含まないとの判定（１１２０）に従って、それぞれのエフェクトオプションが、複数のエフェクトオプションにおいてアクティブ化に利用できない（例えば、それぞれのエフェクトオプションが、表示された複数のエフェクトオプションから除外されているか、又は表示された複数のエフェクトオプションにおいて無効化されている）、ことを含んでいる。画像データが深度データを含まないとの判定に従って、複数のエフェクトオプションでアクティブ化するために利用可能でないそれぞれのエフェクトオプションは、画像データが必要な深度データを含まないというフィードバックを提供する。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに操作を行うことにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、深度データに対応するアフォーダンス（例えば、エフェクトアフォーダンス）は、表示されないか、又は画像データが深度データを含まない場合には選択できない。
一部の実施形態では、複数のエフェクトオプション（例えば、１０２４）は、メディアアイテムに（例えば、その上に重ね合わせられて）ラベルを付加するためのオプション（例えば、１０２０）を含む。一部の実施形態では、テキストラベルを画像又はビデオに追加することができる。一部の実施形態では、複数のエフェクトオプションは、メディアアイテムに（例えば、その上に重ね合わせられて）１つ以上の画像フィルタを適用するためのオプションを含む。
方法１１００に関して上述された処理（例えば、図１１Ａ～図１１Ｂ）の詳細はまた、上記及び以下で説明される方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００は、方法１１００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、メッセージングアプリケーションユーザインタフェースにおいて画像データに表示される。別の例では、方法９００は、方法１１００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラアプリケーションユーザインタフェースに対するユーザインタフェース内の画像データに表示される。別の例では、方法１３００は、方法１１００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターのようなビジュアルエフェクトが、ライブビデオ通信セッションのためのユーザインタフェースにおいて画像データに表示される。別の例では、方法１５００は、方法１１００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラユーザインタフェースに対して画像データに表示される。簡潔にするために、これらの詳細は、以下では繰り返さない。
図１２Ａ～図１２ＡＰは、一部の実施形態に係る、ライブビデオ通信セッションにおけるビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。それらの図におけるユーザインタフェースは、図１３Ａ～図１３Ｂにおける処理を含む、以下で説明される処理を例示するために使用される。
図１２Ａでは、デバイス６００は、２人以上の参加者間のライブビデオ通信セッション（例えば、ストリーミングビデオ通信）に対するユーザインタフェース１２００を示す。ユーザインタフェース１２００では、デバイスは、ライブビデオ通信セッションにおける参加者を表す参加者画像データ１２０４を表示する。ウィンドウ１２０２では、デバイス６００は、デバイス６００のカメラ（例えば、カメラ６０２）によって取得されたデータ、及びライブビデオ通信セッションの他の参加者に送信されているビデオデータの表現を含む、デバイス画像データ１２０１を表示する。図１２Ａでは、デバイス画像データ１２０１は、ビデオ通信セッションの参加者でもある（例えば、外部電子デバイス（例えば、デバイス６００に類似のデバイス）を使用している）ユーザを表す。図１２Ａでは、デバイス画像データ１２０１は、デバイス６００のカメラ６０２を使用してキャプチャされる。しかしながら、一部の実施形態では、デバイス画像データ１２０１を、デバイス６００の背面カメラを使用してキャプチャすることができる。
図１２Ｂでは、デバイス６００は、ユーザインタフェース１２００上の入力１２０５を検出し、これに応じて、エフェクトアフォーダンス１２０８、カメラセレクタアフォーダンス１２１０、及びエンドアフォーダンス１２１２を有する、図１２Ｃの、オプション表示領域１２０６を表示する。エンドアフォーダンス１２１２は、ライブビデオ通信セッションを終了させるための機能に関連付けられ、カメラセレクタアフォーダンス１２１０は、カメラ（例えば、背面カメラ及びカメラ６０２）間を切り替えるための機能に関連付けられている。エフェクトアフォーダンス１２０８は、エフェクトアフォーダンス６２２、８２２及び１０１６と同様であり、デバイス６００がユーザインタフェース１２００にビジュアルエフェクトを表示するために有効化又は無効化される、デバイス６００のモード（ビジュアルエフェクトモード、エフェクトモード）を有効化又は無効化するために選択可能である。
図１２Ｄでは、デバイス６００は、エフェクトアフォーダンス１２０８上の入力１２１３を検出する。
図１２Ｅでは、デバイス６００は、入力１２１３を検出したことに応じて、ビジュアルエフェクトモードを可能化する。デバイス６００は、参加者画像データ１２０４をウインドウ１２０２に表示することによって、デバイス画像データ１２０１及び参加者画像データ１２０４の表示位置を切り替え、ユーザインタフェース１２００内の別の位置に任意選択的に移動する。デバイス６００はまた、エフェクトアフォーダンス１２０８を強調表示し、ビジュアルエフェクトオプションアフォーダンス１２１４を含むようにオプション表示領域１２０６を拡大する。ビジュアルエフェクトオプションアフォーダンス１２１４は、上述したビジュアルエフェクトオプションアフォーダンス６２４、８２４、及び１０２４と同様であり、エフェクトアフォーダンス１２０８が有効化されているときに表示される。
図１２Ｆでは、デバイス６００は、アバターエフェクトアフォーダンス１２１４－１上の入力１２１５を検出する。図１２Ｇでは、それに応じて、デバイス６００は、選択可能なアバターオプション１２１８のスクロール可能なリストを含むアバターオプションメニュー１２１６を表示する。アバターオプションメニュー１２１６は、アバターオプションメニュー６２８及び８２８と同様であり、アバターオプション１２１８は、アバターオプション６３０及び８３０と同様である。
アバターオプション１２１８は、図６Ｇ～図６Ｑ、図６ＢＤ～図６ＢＥ、図６ＢＫ～図６ＢＮ、及び図８Ｆ～図８ＡＧに関して上述したのと同様の方法で、対応するアバターを、デバイス画像データ１２０１内の被写体の顔に適用するために選択されてもよい。一部の実施形態では、アバターオプション１２１８は、参加者画像データ１２０４に表示された参加者に対するのと同様の方法で、対応するアバターを適用するように選択できる。
図１２Ｇでは、ヌルアバターオプション１２１８－１が選択されている（例えば、選択領域１２１９内に位置している）ので、アバターはデバイス画像データ１２０１内のユーザの顔に表示されない。
図１２Ｈ～図１２Ｐは、様々なアバターオプションを選択し、その間で切り替えて、デバイス画像データ１２０１内のユーザの顔に対応するアバターを表示するための処理を示す。例えば、デバイス６００は、デバイス画像データ１２０１に他のオブジェクト（例えば、ユーザの身体及び背景１２２６）の表示を維持している間に、ロボットアバターオプション１２１８－２の選択を受信し、デバイス画像データ１２０１内のユーザーの顔に、ロボットアバター１２２２を表示する。デバイス６００は、カメラ６０２を使用してユーザの顔の検出された変化に基づいてロボットアバター１２２２の外観を変更する。デバイス６００は、エイリアンアバターオプション１２１８－３の選択を受信し、表示されたアバターをエイリアンアバター１２２３に遷移させる。デバイスは、ロボットアバターオプション１２１８－２の後続の選択を受信し、表示されたアバターをロボットアバター１２２２に再び遷移させる。一部の実施形態では、ユーザは、ヌルアバターオプション１２１８－０を選択することによって、デバイス画像データ１２０１内のアバターを除去（又は表示することをやめる）するよう選択することができる。これらの処理は、図６Ｇ～図６Ｑ、図６ＢＤ～図６ＢＥ、図６ＢＫ～図６ＢＮ、及び図８Ｆ～図８ＡＧに関して、上記で一層詳細に論じている。簡潔性のために、これらの処理の詳細は、ここでは繰り返さない。
図１２Ｐのクローズアイコン１２２０の選択を（入力１２２１を介して）検出した後、デバイス６００は、アバターオプションメニュー１２１６をクローズし、図１２Ｑのオプション表示領域１２０６を再表示する。デバイス６００は、デバイス画像データ１２０１内のユーザの頭部上にロボットアバター１２２２を表示し、カメラ６０２を使用してユーザの顔の検出された変化に基づいてアバターを変更する。
図１２Ｒでは、デバイス６００は、ステッカーエフェクトアフォーダンス１２１４－２の選択１２２７を検出し、図１２Ｓでは、ステッカー１２３０を有するステッカーオプションメニュー１２２８を表示する。ステッカーオプションメニュー１２２８は、ステッカーオプションメニュー６５６及び８５６と同様であり、ステッカー１２３０は、ステッカー６５８及び８５８と同様である。
ステッカー１２３０は、図６Ｕ～図６ＡＤ、図８ＡＨ～図８ＡＫ、及び図８ＡＲ～図８ＡＹに関して上述したのと同様の方法で、対応するステッカーをデバイス画像データ１２０１に適用するために選択されてもよい。一部の実施形態では、ステッカー１２３０を参加者画像データ１２０４に適用することができる。
図１２Ｔ～図１２ＡＡは、デバイス画像データ１２０１にステッカーを適用し、変更する処理を示す。デバイス６００は、眼鏡ステッカー１２３０－１の選択を検出し、眼鏡ステッカー１２３０－１をデバイス画像データ１２０１に表示する。デバイス６００はまた、後続のジェスチャを検出して、ロボットアバター１２２２上の眼鏡ステッカー１２３０－１を移動させ、サイズを変更し、及び配置する。これらの処理は、図６Ｕ～図６ＡＤ、図８ＡＨ～図８ＡＫ、及び図８ＡＲ～図８ＡＹに関して、上記で一層詳細に論じている。簡潔性のために、これらの処理の詳細は、ここでは繰り返さない。
一部の実施形態では、選択されたステッカー１２３０は、ユーザーがデバイス画像データ１２０１にステッカーを配置するまで、ライブ通信セッションの他の参加者には見ることができない。一部の実施形態では、配置されたステッカー１２３０に対する変更は、変更が完了するまで他の参加者には見えない。一部の実施形態では、いったん選択されたステッカーがユーザインタフェース１２００内のデバイス画像データ１２０１上に現れると、たとえユーザがステッカー１２３０をまだ配置していないとしても、ビデオ通信セッションの参加者はステッカーを見ることができる。同様に、たとえユーザがステッカーの配置をまだ変更していても、ステッカーの継続的な変更がライブビデオ通信セッションの他の参加者に見えるように、配置されたステッカーに対する変更が可視化される。
図１２ＡＢでは、ロボットアバター１２２２、眼鏡ステッカー１２３０－１がデバイス画像データ１２０１に適用され、オプション表示領域１２０６が表示される。デバイス６００は、ユーザインタフェース１２００上のジェスチャ１２３２を検出し、これに応じて、デバイス画像データ１２０１が、ユーザインタフェース１２００内の別の位置に任意選択的に移動するウインドウ１２０２内に表示されるように、図１２ＡＣでは、デバイス画像データ１２０１及び参加者画像データ１２０４の表示位置を切り替える。ビジュアルエフェクト（例えば、ロボットアバター１２２２及び眼鏡ステッカー１２３０－１）は、ウィンドウ１２０２に配置されたデバイス画像データ１２０１に表示される。
図１２ＡＤに示すように、ウィンドウ１２０２上のジェスチャ１２３３を受信したことに応じて（参加者画像データ１２０４を用いて位置を再び切り替えることにより）、デバイス画像データ１２０１を再拡大することができる。デバイス６００は、図１２ＡＥで切り替えられたデバイス画像データ１２０１及び参加者画像データ１２０４を、表示されたビジュアルエフェクト及びオプション表示領域１２０６と共に示す。エフェクトモードが有効化されているので、オプション表示領域１２０６が表示されると、ビジュアルエフェクトオプションアフォーダンス１２１４も表示される。
ライブビデオ通信セッションにおけるビジュアルエフェクトを表示するための前述の説明は、３人以上の参加者を有するライブビデオ通信セッションにも適用される。図１２ＡＦ～図１２ＡＰは、このような実施形態においてビジュアルエフェクトを適用するための様々な方法を示す。
図１２ＡＦでは、デバイス６００は、デバイス画像データ１２０１をユーザウィンドウ１２５１に、及びそれぞれの参加者画像データ１２０４－１～１２０４－４をそれぞれの参加者ウィンドウ１２５５－１～１２５５－４に有するユーザインタフェース１２００表示する。
図１２ＡＧでは、デバイス６００は、ユーザインタフェース１２００上の入力１２５６を受信し、これに応じて、図１２ＡＨで、エフェクトアフォーダンス１２０８、カメラセレクタアフォーダンス１２１０、及びエンドアフォーダンス１２１２を有する、オプション表示領域１２０６を表示する。デバイス６００が入力１２５６を受信するときにはエフェクトモードが有効化されていないので、オプション表示領域１２０６が、ビジュアルエフェクトオプションアフォーダンス１２１４なしで表示される。
図１２ＡＩでは、デバイス６００は、ビジュアルエフェクトモードを有効化する、エフェクトアフォーダンス１２０８上の入力１２５７を検出する。次いで、デバイス６００は、図１２ＡＪに示すように、拡大表示に拡張してユーザウィンドウ１２５１を表示し、ウィンドウ１２５１の背後にぼかしエフェクト１２５８を適用もしながら、オプション表示領域１２０６を拡張してビジュアルエフェクトオプションアフォーダンスス１２１４を表示する。拡張ウィンドウ１２５１は、図１２ＡＩに示すビューに戻るように選択可能なリターンアイコン１２６０を含む。
上述したように、ビジュアルエフェクトは、ビジュアルエフェクトオプションアフォーダンス１２１４を使用してデバイス画像データ１２０１に適用することができる。例えば、デバイス６００は、図１２Ｒ～図１２ＡＢに関して上述したものと一致する方法で、ステッカーを貼り付けることができる。図１２ＡＫ～図１２ＡＮは、デバイス画像データ１２５１内のユーザの顔に追加カスタマイズ可能なアバター１２６２を示す。例えば、図１２ＡＫでは、ヌルアバターオプション１２１８－１（アバターを表示することをやめるか、又は表示されたアバターを除去するかを選択可能）を含むアバターオプション１２１８を有するアバターオプションメニュー１２１６、カスタマイズ不可能なロボットアバターオプション１２１８－２、カスタマイズ可能なアバターオプション１２１８－３、及び新規アバターアフォーダンス１２６６（新規アバターアフォーダンス８１３と同様の方法で新規アバターを作成するために選択可能）を、デバイス６００に表示させる、アバターエフェクトアフォーダンス１２１４－１が選択される（１２６４）。カスタマイズ可能なアバターオプション１２１８－３は、上述したカスタマイズ可能なアバターオプション８３０－５と同様の方法でカスタマイズできる。
図１２ＡＭ～図１２ＡＮでは、カスタマイズ可能なアバターオプション１２１８－３が選択され、デバイス６００は、カスタマイズ可能なアバター１２７３を、ウィンドウ１２５１に表示されたデバイス画像データ１２０１内のユーザの顔に表示する。デバイス６００は、カメラ６０２の視野内に位置するユーザの顔の検出された変化に基づいて、カスタマイズ可能なアバター１２７３を変更する。デバイスは、本明細書で前述した先の実施形態に関して説明したように、ユーザの顔がカメラ６０２の視野内で検出されない場合を示す。
図１２ＡＮでは、デバイス６００は、リターンアイコン１２６０上の入力１２７４を検出し、これに応じて、図１２ＡＯに示すように、適用されたビジュアルエフェクト（例えば、カスタマイズ可能なアバター１２７３）を含みながら、デバイス画像データ１２０１をウィンドウ１２５１に表示する。図１２ＡＯに示す実施形態では、デバイス画像データ１２０１及び適用されたビジュアルエフェクトは、ライブビデオ通信セッションの他の参加者が見ることができる。ビジュアルエフェクトが有効化されるので、ビジュアルエフェクトオプションアフォーダンス１２１４及びエフェクトアフォーダンス１２０８が強調表示されて、オプション表示領域１２０６が表示される。
図１２ＡＯでは、デバイスは、ユーザインタフェース１２００上の入力１２７５を検出し、それに応じて、オプション表示領域１２０６を隠し、図１２ＡＰに示すように、様々な参加者ウィンドウ１２５５の位置をシフトし、サイズ変更する。一部の実施形態では、デバイス６００は、参加者が話しているときに、それぞれの参加者ウィンドウを拡大する。例えば、図１２ＡＰでは、デバイス６００は、参加者画像データ１２０４－２に表された女性からの音声１２７６（例えば、笑い声）を検出し、それに応じて、女性の参加者ウィンドウ１２５５－２を拡大する。
図１３Ａ～図１３Ｂは、一部の実施形態に係る、電子デバイスを使用してライブビデオ通信セッションアプリケーションにビジュアルエフェクトを表示するための方法を示すフロー図である。方法１３００は、表示装置を備えたデバイス（例えば、１００、３００、５００、６００）において実行される。方法１３００におけるいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作の順序は任意選択的に変更され、いくつかの動作は任意選択的に省略される。
以下に説明するように、方法１３００は、ライブビデオ通信セッションにおいてビジュアルエフェクトを表示するための直感的な方法を提供する。この方法は、ビジュアルエフェクトを表示している際のユーザへの認知負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスでは、ビジュアルエフェクトをユーザーがより迅速かつ効率的に表示できるようにすることで、電力を節約し、バッテリ充電間の時間を増大させる。
電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインタフェース（例えば、１２００）を表示する（１３０２）。ライブビデオ通信ユーザインタフェースは、ライブビデオ通信セッションに参加している被写体の表現（例えば、１２０１）を含む（１３０４）。ライブビデオ通信セッションに参加している被写体の表現を含むことにより、ユーザは、ライブビデオ通信セッションの他の参加者（単数又は複数）を迅速かつ容易に認識することができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ライブビデオ通信セッションに参加している被写体の表現は、電子デバイスに関連付けられたカメラ（例えば、６０２）によってキャプチャされた画像データを含む（１３０６）。一部の実施形態では、被写体は電子デバイスのユーザである。一部の実施形態では、ライブビデオ通信セッションに参加している被写体の表現は、第２の電子デバイスから電子デバイスに伝送された画像データを含む。一部の実施形態では、第２の電子デバイスは別のユーザのデバイスであり、被写体は他のユーザである。
一部の実施形態では、ライブビデオ通信ユーザインタフェース（例えば、１２００）は、ライブビデオ通信セッションにおける第２の参加者の表現（例えば、１２０４）、及びライブビデオ通信セッションにおける第３の参加者の表現を更に含む。一部の実施形態では、ライブビデオ通信セッションにおける第２及び第３の参加者の表現の表示サイズが、参加者のすべての表現が画面上に収まるように調整される。第２及び第３の参加者の表現のサイズを画面に合わせるように調整することにより、ユーザは、ユーザの表現に適用されるビジュアルエフェクトに対する彼らの反応を同時に見ることができ、それによって（例えば、ユーザが手動入力なしに他の参加者の反応を容易に見ることを可能にすることにより）、デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし、加えて、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力消費を低減し、装置のバッテリ寿命を改善する。
ライブビデオ通信ユーザインタフェース（例えば、１２００）は、第１のアフォーダンス（例えば、１２０８、エフェクトアフォーダンス）（例えば、カメラエフェクトモード（例えば、様々なカメラエフェクトをライブビデオ通信セッション内のユーザの表現に適用できるモード）をアクティブ化するための機能に関連付けられたアフォーダンス）を含む（１３０８）。
一部の実施形態では、電子デバイス（例えば、６００）は、第１のアフォーダンス（例えば、１２０８）を表示する前に、ライブビデオ通信ユーザインタフェース（例えば、１２００）上の第１の入力（例えば、１２０５）（例えば、ビデオ通話オプションを表示するためのライブビデオ通信ユーザインタフェース上のタップジェスチャ）を検出し、この第１の入力は、ライブビデオ通信セッションに関連付けられた１つ以上のオプション（例えば、通話を終了するオプション、カメラビューを切り替えるオプションなど）を表示する要求に対応する。一部の実施形態では、電子デバイスは、第１の入力を検出したことに応じて、ライブビデオ通信セッションに関連付けられた１つ以上のオプション（例えば、１２０８、１２１０、１２１２）を表示する。一部の実施形態では、電子デバイスは、第１のアフォーダンス（例えば、１２０８）を表示する。
電子デバイス（例えば、６００）は、第１のアフォーダンス（例えば、１２０８）に向けられたジェスチャ（例えば、１２１３）を検出する（１３１０）。第１のアフォーダンスに向けられたジェスチャを検出する（１３１２）ことに応じて、電子デバイスはカメラエフェクトモードをアクティブ化する（１３１４）。
一部の実施形態では、第１のアフォーダンス（例えば、１２０８）に向けられたジェスチャを検出したことに応じて、電子デバイス（例えば、６００）は、ビジュアルエフェクトの第１のタイプに関連付けられた第１のビジュアルエフェクトアフォーダンス、及びビジュアルエフェクトの第１のタイプとは異なるビジュアルエフェクトの第２のタイプに関連付けられた第２のビジュアルエフェクトアフォーダンス、並びに任意選択的に、ビジュアルエフェクトの第１のタイプ及びビジュアルエフェクトの第２のタイプとは異なる、ビジュアルエフェクトの第３のタイプに関連付けられた第３のビジュアル関連付けられたエフェクトアフォーダンス（例えば、ステッカーアフォーダンス１２１４－２、アバターアフォーダンス１２１４－１、フルスクリーンエフェクトにアフォーダンス）を表示する。一部の実施形態では、ステッカーアフォーダンスは、ステッカーがライブビデオ通信セッションに参加している被写体の表現内に表示されるビジュアルエフェクトに関連付けられている。一部の実施形態では、アバターアフォーダンスは、仮想アバターがライブビデオ通信セッションに参加している被写体の表現上に表示されるビジュアルエフェクトに関連付けられている。一部の実施形態では、フルスクリーンエフェクトは、ライブビデオ通信セッションの参加者の前、背後、及び／又はその上に、紙吹雪又は風船などのグラフィカルオブジェクトが表示されるビジュアルエフェクトを含む。
一部の実施形態では、電子デバイス（例えば、６００）は、あるタイプのビジュアルエフェクトに関連付けられたアフォーダンス（例えば、ステッカーアフォーダンス１２１４－２、アバターアフォーダンス１２１４－１、フルスクリーンエフェクトに関連付けられたアフォーダンス）のうちの１つの選択（例えば、１２１５）を検出する。一部の実施形態では、ビジュアルエフェクトに関連付けられたアフォーダンスの選択を検出したことに応じて、電子デバイスは、ビジュアルエフェクトに対応する複数のビジュアルエフェクトオプション（１２１８）を表示する。ビジュアルエフェクトに関連付けられたアフォーダンスの選択を検出したことに応じて、ビジュアルエフェクトに対応する複数のビジュアルエフェクトオプションを表示することにより、ユーザは、対応するビジュアルエフェクトオプションに迅速かつ容易にアクセスすることができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ステッカーアフォーダンスは、静止グラフィカルオブジェクト（例えば、帽子、星、眼鏡など）の表現（例えば、ライブビデオ通信セッションに参加している被写体の表現）を画像データに表示することを含む、ビジュアルエフェクトに関連付けられる。一部の実施形態では、アバターアフォーダンスは、人の頭部の画像データが仮想アバターのグラフィック表現に置換されるように、仮想アバター（例えば、カスタマイズ可能な仮想アバター、又はカスタマイズ不可能な仮想アバター）の表現を表示することを含むビジュアルエフェクトと関連付けられる。一部の実施形態では、フルスクリーンエフェクトは、紙吹雪又は風船などのグラフィカルオブジェクトが、ライブビデオ通信セッションの参加者の前、背後、及び／又はその上に表示されるビジュアルエフェクトを含む。
電子デバイス（例えば、６００）は、第１のアフォーダンスに向けられたジェスチャを検出すること（１３１２）に応じて、ライブビデオ通信セッションに参加している被写体の表現（例えば、１２０１）のサイズを増大させる（１３１６）。第１のアフォーダンスに向けられたジェスチャを検出すること（１３１２）に応じて、ライブビデオ通信セッションに参加している被写体の表現のサイズを増大させることにより、ユーザは、被写体の表現のサイズを迅速かつ容易に調整することができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、被写体の表現のサイズを増大することは、被写体の表示された表現の位置を、ライブビデオ通信セッションにおいて表示された参加者の位置に切り替えることを含む。
一部の実施形態では、カメラエフェクトモードがアクティブ化されている間に（１３１８）、電子デバイス（例えば、６００）は、エフェクトオプションアフォーダンス（例えば、ライブビデオ通信セッションに参加している被写体の表現にビジュアルエフェクトを表示するための機能に関連付けられた選択可能なアイコン）の選択を検出する（１３２０）。一部の実施形態では、エフェクトオプションアフォーダンスは、ステッカーアフォーダンス、アバターアフォーダンス、又は紙吹雪若しくは風船などのフルスクリーンエフェクトに関連付けられたアフォーダンスである。
一部の実施形態では、エフェクトオプションアフォーダンスの選択を検出したことに応じて、電子デバイスは、ライブビデオ通信セッションに参加している被写体の表現の外観を、選択されたエフェクトオプションアフォーダンスに関連付けられたビジュアルエフェクト（例えば、ステッカー、アバター、又はフルスクリーンエフェクトを表示すること）に基づいて変更する（１３２２）。選択されたエフェクトオプションアフォーダンスに関連付けられたビジュアルエフェクトに基づいて、ライブビデオ通信セッションに参加している被写体の表現の外観を変更することにより、選択されたビジュアルエフェクトの適用が成功したという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ステッカーアフォーダンスの選択を検出すること応じて、ライブビデオ通信セッションに参加しているユーザーの表現が、選択されたステッカーを表示するように変更される。一部の実施形態では、アバターアフォーダンスの選択を検出すること応じて、ライブビデオ通信セッションに参加しているユーザーの表現が、ユーザの顔に位置するアバターを表示するように変更される。一部の実施形態では、フルスクリーンエフェクトに関連付けられたアフォーダンスの選択を検出することに応じて、フルスクリーンエフェクトが、ライブビデオ通信セッションに参加しているユーザの表現に表示される（例えば、紙吹雪が、ユーザの表現の前、背後、及びその上に落ちていくように表示される）。
一部の実施形態では、電子デバイス（例えば、６００）は、ライブビデオ通信ユーザインタフェース（例えば、１２００）上の、ライブビデオ通信セッションに参加している被写体の表現のサイズを縮小する要求に対応する第２の入力を検出する。一部の実施形態では、第２の入力を検出したことに応じて、電子デバイスは、選択されたエフェクトオプションアフォーダンスに関連付けられたビジュアルエフェクトに基づく変更された外観を有する、ライブビデオ通信セッションに参加している被写体の表現と、ライブビデオ通信セッションにおけるそれぞれの参加者の１つ以上の表現と、同時に表示する。第２の入力を検出したことに応じて、ライブビデオ通信セッションに参加している被写体の表現と、ライブビデオ通信セッションのそれぞれの参加者の１つ以上の表現とを同時に表示することにより、ユーザは、ライブビデオ通信の他の参加者を迅速かつ容易に（同時に）視認することができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、ライブビデオ通信セッションにおけるユーザの表現が、ライブビデオ通信セッションにおける他の参加者の表現と共に画面上に表示されるように、縮小される。
一部の実施形態では、カメラエフェクトモードがアクティブ化されている間に（１３１８）、電子デバイス（例えば、６００）は、ライブビデオ通信セッションに参加している被写体の表現（例えば、１２０１）の外観を変更して（１３２４）１つ以上のビジュアルエフェクトを表示する。一部の実施形態では、ビジュアルエフェクトがステッカーエフェクトである場合、ライブビデオ通信セッションに参加している被写体の表現の外観は、静的なグラフィカルオブジェクト（例えば、ステッカー）の表示を含むように変更される。一部の実施形態では、静的グラフィカルオブジェクト（例えば、ステッカー）は、ライブビデオ通信セッションに参加している被写体の表現と対話する。一部の実施形態では、ビジュアルエフェクトがアバターエフェクトである場合、ライブビデオ通信セッションに参加している被写体の表現の外観は、被写体の頭部を置換する仮想アバター（例えば、カスタマイズ可能な仮想アバター、又はカスタマイズ不可能な仮想アバター）の表現を表示するように変更される。一部の実施形態では、ビジュアルエフェクトがフルスクリーンエフェクトである場合、ライブビデオ通信セッションに参加している被写体の表現の外観は、ライブビデオ通信セッションの参加者の前、背後、及び／又はその上に表示されるグラフィカルオブジェクト（例えば、グラフィックな紙吹雪、又はグラフィックな風船）を表示するように変更される。
一部の実施形態では、変更された外観は、ライブビデオ通信セッションの他の参加者に送信／伝送される。一部の実施形態では、データを送信することは、選択されたビジュアルエフェクトに基づいて行われた変更を表すデータ（例えば、別個のデータ）と一緒に、画像データ（例えば、カメラの視野からの画像データのリアルタイムストリーム）を送信することを含む。一部の実施形態では、データを送信することは、選択されたビジュアルエフェクトに基づいて行われた変更を表すデータと結合されたカメラの視野からの画像データを含む、コンポジットビデオデータを送信することを含む。
一部の実施形態では、カメラエフェクトモードがアクティブ化されている間に、電子デバイス（例えば、６００）は、ライブビデオ通信セッションに参加している被写体の表現（例えば、１２００）の外観を変更して仮想アバターを表示する。一部の実施形態では、電子デバイスは、電子デバイスの１つ以上のカメラ（例えば、６０２）の視野内の顔の変化を検出する。一部の実施形態では、電子デバイスは、顔の検出された変化に基づいて、仮想アバターの外観を変更する。顔の検出された変化に基づいて仮想アバターの外観を変更することにより、仮想アバターが顔に基づいている／関連付けられているという視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、仮想アバターは、ライブビデオ通信セッションに参加している被写体の動きを反映するように変更される。一部の実施形態では、顔の変化は、本明細書で論じるように、１つ以上の深度カメラ及び／又は深度マップを使用して検出される。
一部の実施形態では、カメラエフェクトモードがアクティブ化されている間に、電子デバイス（例えば、６００）は、ライブビデオ通信セッションに参加している被写体の表現に第１のビジュアルエフェクト（例えば、ステッカー）を表示する。一部の実施形態では、電子デバイスは、第１のビジュアルエフェクトに対応する入力（例えば、タッチ入力）を検出する。一部の実施形態では、第１のビジュアルエフェクトに対応する入力を検出したことに応じて、入力が第１のタイプ（例えば、タッチアンドドラッグジェスチャ）であるとの判定に従って、電子デバイスは、大きさ（例えば、ジェスチャが移動する距離）及び入力の方向に基づいて、ライブビデオ通信セッションに参加している被写体の表現における第１のビジュアルエフェクトの位置を変更する。一部の実施形態では、第１のビジュアルエフェクトに対応する入力を検出したことに応じて、入力が第２のタイプ（例えば、ピンチ又はデピンチジェスチャ）であるとの判定に従って、電子デバイスは、入力の大きさ（例えば、ピンチ／デピンチジェスチャの接触点間の調整された距離）に基づいて、第１のビジュアルエフェクトのサイズを変更する。入力の大きさに基づいてライブビデオ通信セッションに参加している被写体の表現における第１のビジュアルエフェクトの位置を変更するか、又は入力のタイプに基づく入力の大きさ（例えば、ピンチ／デピンチジェスチャの接触点間の調整された距離）に基づいて第１のビジュアルエフェクトのサイズを変更することにより、ユーザは、（入力のタイプを単に変更することによって）ビジュアルエフェクトの位置又はサイズを迅速かつ容易に調整することができる。操作を行うために必要な入力の数を低減することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、第１のビジュアルエフェクトの位置を変更することは、以下の手順のうちの１つ以上を含む。入力（例えば、８８９）の終了を検出する前に、入力の大きさ及び方向に基づいて第１のビジュアルエフェクト（例えば、８５８－４）の動きを表示すること、第１のビジュアルエフェクト（例えば、ステッカー（８５８－４））が所定の位置（例えば、被写体の表情の一部（例えば、被写体の顔）に対応する位置）の境界領域を横切って移動したという判定に従って、第１のビジュアルエフェクトが境界領域を横切った（例えば、横切っている）というインジケーションを生成する（例えば、ブラケットを表示する（例えば、８９０）、又は触覚応答（例えば、８９２）を生成する）こと（例えば、図８ＢＧに示すように、被写体の顔の表現の回りにブラケットを表示する）。一部の実施形態では、所定の位置の境界領域内に交差しているとき（又は後に）、デバイスは所定の位置の周囲にブラケットを表示し、及び／又は触覚フィードバック（例えば、触知出力）を生成して、ステッカーが被写体の顔に配置され、ジェスチャの終了時に被写体の顔に配置されることになる（例えば、ステッカーが被写体の顔の表現との関係を有することになる、例えば、ステッカーがユーザーの顔とのステッカーの関係に基づく挙動を有することになる）ことを示す。一部の実施形態では、所定の位置の境界領域外へ交差しているとき（又は後に）、デバイスは、所定の位置の周囲にブラケットを表示し、及び／又はステッカーがもはや被写体の顔に配置されていないことを示す触覚フィードバックを生成し、ジェスチャが終了しても被写体の顔に配置されることはない（例えば、ステッカーが被写体の顔の表現と異なる関係を有することになる、例えば、ステッカーは、ユーザーの顔に対するステッカーの関係に基づいて異なる挙動を有することになる、例えば、ステッカーは被写体の顔から離れた位置に配置されることになる）ことを示す。一部の実施形態では、インジケーションは、触覚フィードバック（例えば、触知出力及び／若しくは音声出力）、又は視覚フィードバック（例えば、境界領域の視覚的表現、所定位置の周囲に表示されるブラケット）のうちの少なくとも１つである。
第１のビジュアルエフェクトが境界領域を横切った（又は、横切っている）というインジケーションを生成することにより、ユーザにジェスチャを終了させてモデル化された挙動を試みることを要求することなく、ステッカーの挙動及び配置が変更されたという視覚フィードバック及び／又は触覚を、ユーザに提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、第１のビジュアルエフェクトの位置を変更することは、第１の位置から第２の位置へ、第１のビジュアルエフェクトの動きを表示することを含む。一部の実施形態では、第１のビジュアルエフェクトのサイズを変更することは、第１の表示サイズから第２の表示サイズへ、第１のビジュアルエフェクトの遷移を表示することを含む。一部の実施形態では、ステッカーがディスプレイ上で動かされているか、又はサイズ変更される場合、ユーザ及びライブビデオ通信セッションの他の参加者が、ステッカーが変更されているときの中間の移動／サイズ変更を含む変更を見ることができるように、ステッカーの移動及び／又はサイズ変更が表示される。
一部の実施形態では、第１のビジュアルエフェクトの位置を変更することは、中間位置で現れる第１のビジュアルエフェクトを表示することなく、第１の位置での出現から第２の位置での出現へ、第１のビジュアルエフェクトを遷移させることを含む。一部の実施形態では、第１のビジュアルエフェクトのサイズを変更することは、中間サイズを有する第１のビジュアルエフェクトを表示することなく、第１の表示サイズから第２の表示サイズへ、第１のビジュアルエフェクトを遷移させることを含む。一部の実施形態では、ステッカーをディスプレイ上で動かされているか、又はサイズ変更している間に、ステッカーの移動及び／又はサイズ変更が表示され、ユーザのみが、ステッカーが変更されているときの中間の移動／サイズ変更を含む変化を見ることができるが、ライブビデオ通信セッションの他の参加者は、ステッカーの中間の動き／サイズ変更を見ることができない。このように、他の参加者は、変更後のステッカー（又は、ステッカーへの更新）のみを見る。
一部の実施形態では、複数の参加者がライブビデオ通信セッションに参加しており、複数の参加者は、被写体（例えば、電子デバイスのユーザ）及び第１の遠隔参加者（例えば、第１の電子デバイスから離れた第２の電子デバイスのユーザ）を含む。一部の実施形態では、ライブビデオ通信ユーザインタフェース（例えば、１２００）は、第１の遠隔参加者の表現を更に含む。一部の実施形態では、第１の遠隔参加者の表現は、遠隔デバイス／遠隔カメラから受信した画像データ又はビデオデータを含む。一部の実施形態では、電子デバイスは、第１のアフォーダンスに向けられたジェスチャを検出したことに更に応じて、第１の遠隔参加者の表現のサイズを縮小する。
一部の実施形態では、複数の参加者がライブビデオ通信セッションに参加しており、複数の参加者は、被写体（例えば、電子デバイスのユーザ）及び第１の遠隔参加者（例えば、第１の電子デバイスから離れた第２の電子デバイスのユーザ）を含み、被写体の表現は、電子デバイス（例えば、６００）のカメラ（例えば、６０２）の視野のライブプレビュー（例えば、カメラの視野内にあるものを表す画像データのストリーム）である。一部の実施形態では、電子デバイスは、選択されたエフェクトオプションアフォーダンスに関連付けられたビジュアルエフェクトに基づいてライブビデオ通信セッションに参加している被写体の表現（例えば、１２０１）の外観を変更した後、ライブビデオ通信セッションに参加している被写体の表現の変更された外観に対応するデータを、複数の参加者のうちの少なくとも遠隔参加者に伝送する。一部の実施形態では、データを送信することは、選択されたビジュアルエフェクトに基づいて行われた変更を表すデータ（例えば、別個のデータ）と一緒に、画像データ（例えば、カメラの視野からの画像データのリアルタイムストリーム）を送信することを含む。一部の実施形態では、データを送信することは、選択されたビジュアルエフェクトに基づいて行われた変更を表すデータと結合されたカメラの視野からの画像データを含む、コンポジットビデオデータを送信することを含む。
一部の実施形態では、電子デバイス（例えば、６００）は、第１アフォーダンスなしでライブビデオ通信ユーザインタフェース（例えば、１２００）を表示する。一部の実施形態では、電子デバイスは、ライブビデオ通信ユーザインタフェース（例えば、１２０６）上のタッチ入力（例えば、ビデオコールオプションを表示するライブビデオ通信ユーザインタフェース上のタップジェスチャ）を検出する。一部の実施形態では、タッチ入力を検出したことに応じて、カメラエフェクトモードがアクティブ化されているとの判定に従って、電子デバイスは、第１のアフォーダンスと複数のビジュアルエフェクトアフォーダンス（例えば、ステッカーアフォーダンス、アバターアフォーダンス、フルスクリーンエフェクトに関連付けられたアフォーダンス）とを含むライブビデオ通信オプションユーザインタフェースを表示する。一部の実施形態では、タッチ入力を検出したことに応じて、カメラエフェクトモードがアクティブ化されていないとの判定に従って、電子デバイスは、第１のアフォーダンスを含み、かつ、複数のビジュアルエフェクトアフォーダンスを除く、ライブビデオ通信オプションユーザインタフェースを表示する。第１のアフォーダンスを含み、及び複数のビジュアルエフェクトアフォーダンスを含むか、又は複数のビジュアルエフェクトアフォーダンスを除外するかのいずれかの、ライブビデオ通信オプションユーザーインタフェースを表示することにより、カメラエフェクトモードがアクティブ化されているか否かの判定に基づいて、カメラエフェクトモードが現在アクティブ化されているか否かを示す。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに操作を行うことにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
方法１３００に関して上述された処理（例えば、図１３Ａ～図１３Ｂ）の詳細はまた、上記及び以下で説明される方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００は、方法１３００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、メッセージングアプリケーションユーザインタフェースにおいて画像データに表示される。別の例では、方法９００は、方法１３００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラユーザインタフェースにおいて画像データに表示される。別の例では、方法１１００は、方法１３００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、メディアユーザインタフェースにおいて画像データに表示される。別の例では、方法１５００は、方法１３００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、ステッカー及び仮想アバターなどのビジュアルエフェクトが、カメラユーザインタフェースに対して画像データに表示される。簡潔にするために、これらの詳細は、以下では繰り返さない。
図１４Ａ～図１４Ｍは、一部の実施形態に係る、カメラアプリケーションにおいてビジュアルエフェクトを表示するための例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図１５Ａ～図１５Ｂにおける処理を含む、以下で説明する処理を例示するために使用される。
図１４Ａは、図８Ａ～図８ＢＱに関して上述したカメラアプリケーションユーザインタフェース８１５と同様の、カメラアプリケーションユーザインタフェース１４０５の実施形態を示す。カメラアプリケーションユーザインタフェース１４０５は、例えば、カメラ（例えば、背面カメラ又はカメラ６０２）の視野内に位置するオブジェクトを表すストリーミングされた画像データ（例えば、ライブカメラプレビュー、ライブカメラ記録、若しくはライブビデオ通信セッション）、又は、例えば写真若しくはビデオ録画などのメディアアイテム、などの画像データの表現を表示する（画像表示領域８２０と同様の）画像表示領域１４２０を含む。図１４Ａに示す実施形態では、画像表示領域１４２０は、カメラ６０２からのライブカメラプレビュー１４２０－１を示す。
図１４Ａに示す実施形態は、図８Ｆに示すものと同様である。画像表示領域１４２０は、カメラ６０２の視野内に位置する被写体１４２２の表現、及び被写体１４２２の表現の背後に表示される背景１４２６を示す。本明細書で論じるように、一部の実施形態では、カメラ６０２を使用してキャプチャされた画像データは、カメラ６０２の視野内のオブジェクトの深度を決定するために使用され得る深度データを含む。一部の実施形態では、デバイス６００は、検出されたこれらのオブジェクトの深度に基づいてオブジェクト（例えば、画像データ内の）を解析し、この判定を使用して、本明細書で論じるビジュアルエフェクトを適用する。例えば、デバイス６００は、被写体１４２２の表現をライブカメラプレビュー１４２０－１の前景にあるものとして、ユーザの背後に位置するオブジェクトをライブカメラプレビュー１４２０－１の背景にあるものとして、分類することができる。これらの背景オブジェクトは、ここでは背景１４２６と総称する。
図１４Ａ及び図１４Ｂでは、被写体１４２２の表記は帽子１４２３を着用して示され、ひさしが被写体１４２２の前に突き出ており、被写体１４２２の表現上にアバターは表示されない。デバイス６００は、画像表示領域１４２０に仮想アバターを表示するように選択できるアバターオプション１４１０を有するアバターオプションメニュー１４０８（アバターオプションメニュー８２８と同様）を表示する。
図１４Ｂでは、デバイス６００は、アバターオプション１４１０－１上の入力１４１１を検出する。それに応じて、図１４Ｃでは、デバイス６００は、選択領域１４２９にアバターオプション１４１０－１を表示し、アバターオプション１４１０－１が選択されていることを示す触覚フィードバック１４１２（例えば、音声出力を含む又は含まない触知出力）を生成する。
図１４Ｃに示すように、デバイス６００はまた、選択されたアバターオプション１４１０－１に対応する仮想アバター１４２１を表示するためにライブカメラプレビュー１４２０－１を更新する。アバター１４２１は、被写体１４２２及び背景１４２６の表現の他の部分の表示を維持しながら、被写体の帽子１４２３を含む被写体１４２２の表現の一部を重ね合わせられて表示される。図１４Ａ～図１４Ｋに示すように、デバイス６００は、（例えば、被写体の検出された動きに基づいて）被写体１４２２の表現及びアバター１４２１に対して判定された空間的関係に応じて、アバター１４２１を動的に変更して、アバター１４２１の特定の部分を隠すか又は表示する。これによって、アバター１４２１の外観が、被写体１４２２の表現の頭部上に物理的に配置される。
一部の実施形態では、アバター１４２１の動的変更は、カメラ６０２の視野内のオブジェクト（被写体（被写体１４２２の表現に対応する）及び背景（背景１４２６に対応する）を含む）の初期深度マップをキャプチャするために、１つ以上の深度センサ（例えば、深度カメラセンサ１７５）を使用して達成される。次いで、初期深度マップが変更され（例えば、初期深度マップのぼかし、フェーディング、又は平滑化遷移のうちの１つ以上を使用して）、アバターの表示部分と非表示部分との間の突然の遷移のインスタンスを減少させる。これにより、特に、アバターの様々な部分が被写体の動きに応じて隠され又は表示されるので、より流動的でアバター１４２１の動的外観を提供する。
図１４Ｃでは、アバター１４２１は、アバター頭部の下方に位置して被写体の首部の表現上に表示される影１４３０を含み、被写体１４２２の表現上のアバター１４２１の存在によって投影された影を表す。一部の実施形態では、影１４３０の位置は、アバターの形状、並びに被写体１４２２の表現、アバター１４２１、及び光源（例えば、カメラ６０２の視野内で検出された光源、又はシミュレーションされた光源）の相対位置に基づいて決定される。
デバイス６００は、被写体の肩の表現の前及び背後に垂れ下がった長い髪部を有するアバター１４２１を表示する。被写体の肩の表現に対する髪部の特定の部分の位置は、被写体１４２２の表現（及び被写体１４２２の表現の特定の部分（例えば、被写体の首部及び／又は肩の表現））の深度位置に対するアバター１４２１（アバター髪部を含む）の空間的位置を示す深度データに基づいて決定される。一部の実施形態では、動的に表示されるアバターの部分（例えば、アバターの一部は、被写体１４２２の表現との空間的関係に応じて表示又は非表示のいずれかとすることができる）は、被写体１４２２の表現に隣接する位置においてブレンドエフェクト１４３２を有するように示される。このブレンドエフェクトは、アバターの部分と被写体１４２２の表現との間の表示された遷移を滑らかにする。
デバイス６００は、被写体の頭部と顔の検出された変化に応じて、アバター１４２１を変更する。例えば、図１４Ｄ～図１４Ｆに示すように、デバイス６００は、ウインクして笑顔になりながら、横を向いた被写体の頭部を検出し、これに応じて、アバターの動きに基づいて影１４３０の位置を調整もしながら、アバター１４２１を変更してこれらの同じ動きを反映する（例えば、アバター１４２１は、アバター頭部がウインクと笑顔と共に斜めに向いて示される）。アバター頭部の動きは、被写体１４２２の表現に対するアバター髪部の空間的位置に影響を及ぼす。その結果、デバイス６００は、変更された空間的関係に基づいてアバターのいくつかの部分を動的に変更する。例えば、頭部が回転するにつれて、デバイス６００は、被写体の肩の表現上、及び／又は被写体の首部の表現の背後にわたって移動する、参照番号１４２４－１に示すアバター髪部の一部を表示する（例えば、デバイス６００は、アバターの髪部の一部を隠す）。逆に、アバター頭部が回転するにつれて、デバイス６００はまた、アバター頭部を回す前に、以前は隠されていた（例えば、被写体の首部又は肩の表現の背後に以前は隠されていた）、参照番号１４２４－２に示すアバター髪部の部分も表示する（例えば、明らかにする）。このように、デバイス６００は、それに応じてアバターの動きに影響を及ぼすユーザーの位置の変化に基づいて、アバターの動的部分（アバター髪部の一部など）を隠すか、又は表示する。
一部の実施形態では、アバター１４２１の部分は、被写体１４２２、又は深度マップ内の任意の他のオブジェクトの表現に対するいかなる空間的関係にかかわらず、持続的に表示される。例えば、被写体１４２２の表現は、被写体１４２２の表現の前に突き出したひさしを含む帽子１４２３を着用しているが、アバター頭部１４２１－３及びアバター顔部１４２１－４は、被写体の頭部及び帽子１４２３の表現の前に持続的に表示される。これにより、カメラ６０２の視野内のオブジェクト、特に、被写体１４２２の表現上のオブジェクト（又は被写体の表現の一部）が、アバター１４２１の一部（具体的には、被写体１４２２の表現上に配置されたアバター１４２１の外観をレンダリングするように常に表示されるべきアバター１４２１の部分）を通り抜けて現れることを防止する。一部の実施形態では、アバター１４２１の持続的に表示される部分には、アバターの顔（１４２１－４）、頭部（１４２１－３）、及びアバターの髪部の部分（１４２１－１）を含むことができる。
別の例として、図１４Ｄは、カメラ６０２に向かって被写体１４２２の表現の前に差し出された被写体の手１４２５の表現を示す。手１４２５の表現は被写体１４２２の表現のかなり手前に配置されているが、手１４２５の表現の空間位置が、アバター髪部分１４２１－１よりも明らかにカメラ６０２に近いにもかかわらず、アバター髪部の部分１４２１－１は、手１４２５の表示の一部の上に表示される。明瞭にするため、アバター髪部分１４２１－１が動的（例えば、持続的に表示されていない）であった場合、以下に論じるアバター髪部（例えば、１４２１－２）の動的部分と同様に、アバター髪部分１４２１－１は図１４Ｄの手１４２５の表現の背後に隠され得る。
図１４Ｅは、被写体の肩の表現に近い、被写体１４２２に向かって戻された手１４２５の表現を示す。手１４２５の表現が被写体１４２２の表現に近づくにつれて、デバイス６００は、手１４２５の表現の空間的位置がアバター髪部の動的部分内に移動すると判定する。その結果、デバイス６００は、手１４２５の表現の前に配置された追加のアバター髪部１４２１－２を表示する。同様に、図１４Ｆは、被写体１４２２の表現に一層近づくように配置された手１４２５の表現、及び手１４２５の表現の前に表示されたより大量の髪部を示す。図１４Ｄ～図１４Ｆでは、アバター髪部と被写体の右肩１４２２－１の表現との空間的関係は、頭部を回転した後も変化しないので、被写体の右肩１４２２－１の表現の前に位置する髪部の量は変化しない。
図１４Ｇでは、被写体はニュートラルな表情を有する正面向きの位置に戻り、デバイス６００は、それに応じてアバター１４２１を変更する。
図１４Ｈでは、被写体が見上げると、デバイス６００はそれに応じてアバター１４２１を変更する。デバイス６００は、アバター頭部の下側を明らかにするために頭部が上方に傾いたアバター１４２１を示し、アバター１４２１は、被写体の首部の表現がアバター１４２１と交差する位置においてブレンドエフェクト１４３４を含む。一部の実施形態では、ブレンドエフェクト１４３４は、ブレンドエフェクト１４３２と同様である。図１４Ｈでは、影１４３０もまた、アバターの頭部の傾斜した位置に基づいて調節される（例えば、アバターの顎の下に動かされる）。アバター１４２１が見上げているとき、被写体の首部の表現の背後に位置するアバター髪部は、被写体の首部の表現の背後に隠れたままであり、被写体の首部の表現を通り抜けて突き出ることはない。
図１４Ｉ～図１４Ｊは、本開示の一実施形態に係る、異なるアバターの選択を示す。
図１４Ｋ～図１４Ｍでは、デバイス６００は、被写体の頭部及び首部の表現上に配置されたユニコーンアバター１４３５を有する被写体１４２２の表現を示す。ユニコーンアバター１４３５は、頭部分１４３５－１、及びたてがみ１４３５－３を含む首部分１４３５－２を含む。被写体の首部の表現が表示されないように、首部分１４３５－２は、被写体の首部の表現の周りに表示される。ユニコーン首部分１４３５－２が被写体の首部の表現の基部と出会うところで、ブレンドエフェクト１４３８が表示される。ブレンドエフェクト１４３８は、本明細書で論じる他のブレンドエフェクトと同様である。
ユニコーンアバター１４３５はまた、ユニコーンアバター１４３５の一部上、及び被写体１４３２の表現上に表示される影１４３６（例えば、アバターによって被写体の表現上へ投影される影の表現）を含む。一部の実施形態では、表示された影は、アバターの形状、及びアバターと被写体１４３２の表現との光源（例えば、カメラ６０２の視野内で検出された光源、又はシミュレーションされた光源）に対する相対的位置に基づいて決定された形状及び位置を有する。図１４Ｋ～図１４Ｍに示すように、影１４３６はユニコーンアバター１４３５の動きに応じて移動する。図１４Ｋでは、影１４３６は、（ユニコーンアバターの顔の細長い形状のために）細長い形状を有し、首部分１４３５－２上及び被写体１４２２の表現の胸部上に配置される。図１４Ｌでは、頭部分１４３５－１が側方に回転すると、追加の首部分１４３５－２及びたてがみ１４３５－３を明らかにする。図１４Ｋのユニコーンアバター１４３５の背面上に位置していた、たてがみ１４３５－３の部分１４３５－４は、被写体の肩１４２２－１及びアバター首部分１４３５－２の前に位置してここでは示されている。影１４３６が横に移動すると、頭部分１４３５－１の下に（例えば、首部分１４３５－２上に）、次いで被写体１４２２の表現の肩の上に部分的に配置される。図１４Ｍでは、頭部分１４３５－１は前方を向いて傾斜しており、影１４３６は頭部分１４３５－１の下に（首部分１４３５－２上に）位置しており、頭部分１４３５－１の上向き傾斜のためにサイズが縮小されている。加えて、頭部が上方に傾けられると、たてがみ１４３５－３は首部分１４３５－２の背面上に位置したままであり、首部分を通り抜けては表示されない。
図１５Ａ～図１５Ｂは、一部の実施形態に係る、電子デバイスを使用してカメラアプリケーションにビジュアルエフェクトを表示するための方法を示すフロー図である。方法１５００は、１つ以上のカメラと表示装置とを備えたデバイス（例えば、１００、３００、５００、６００）において実行される。方法１５００におけるいくつかの動作は、任意選択的に組み合わせられ、いくつかの動作の順序は任意選択的に変更され、いくつかの動作は任意選択的に省略される。
以下に説明するように、方法１５００は、カメラアプリケーションにビジュアルエフェクトを表示するための直感的な仕方を提供する。この方法は、カメラアプリケーションにおいて閲覧される画像にビジュアルエフェクトを適用するためのユーザの認知負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作コンピューティングデバイスでは、画像にビジュアルエフェクトをユーザーがより迅速かつ効率的に表示できるようにすることで、電力を節約し、バッテリ充電間の時間を増大させる。
電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、１つ以上のカメラ（例えば、６０２）を介してキャプチャされた画像データ（例えば、１４２０－１）の表現を表示する（１５０２）。一部の実施形態では、表現は、被写体（例えば、１４２２）の表現（例えば、被写体の少なくとも一部の表現）を含み、画像データは被写体の深度データ（例えば、被写体の他の部分及び／又は１つ以上のカメラの視野内の他のオブジェクトに対する、被写体の１つ以上の部分を位置決めする相対的深度についての情報）を含む深度データに対応する（例えば、画像データは、可視光カメラ及び深度カメラによってキャプチャされたデータを含む）。一部の実施形態では、深度データは、深度マップ又は深度マスクの形態である。
一部の実施形態では、電子デバイス（例えば、６００）は、１つ以上の深度センサ（例えば、１７５、６０２）を含む。一部の実施形態では、仮想アバター（例えば、１４２１）の表現を表示する前に、電子デバイスは、１つ以上の深度センサを介して、被写体に対する初期深度データ（例えば、１つ以上のカメラ（例えば、６０２）によってキャプチャされた画像データに対応する初期若しくは未変更深度マップ及び／又は深度マスク、被写体の初期又は未変更の深度マスク）をキャプチャする。電子デバイスは、被写体に対する初期深度データを変更することによって、被写体の深度データを生成する。一部の実施形態では、初期深度データを変更することにより、特に、被写体の姿勢が電子デバイスに関して変化するときに、仮想アバターの第１の部分（例えば、１４２１－２）の表現を含むこと、又は除外することの間の突然の遷移のインスタンスを減少させることができる。被写体の初期深度データを変更することにより、ユーザの姿勢が変化するときに、仮想アバターの表現の表示中のより滑らかな遷移が可能になり、それによって被写体において検出された変化の（仮想アバターに対する対応する変化によって表される）視覚フィードバックを改善することができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、被写体の初期深度データを変更することは、初期深度奥行きデータをぼかすこと（例えば、深度データの異なるレベル間の遷移をブレンドするために、初期深度データをデフォーカスすること、例えば、初期深度マスクの値（例えば、グレースケール値）をぼかすこと）、初期深度データをフェードアウトすること（例えば、深度値を減少させるために深度データを下向きに変調すること）、及び初期深度データをスムージングすること（例えば、特に初期深度データの異なる深度層間の遷移において初期深度データをブレンドするために数学的関数を適用すること）からなる群から選択された、最初深度データ上に１つ以上の変換を実行することを含む。
電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、被写体の表現（例えば、１４２２、１４２３）の少なくとも一部の代わりに（例えば、仮想アバターの少なくとも一部が、被写体の少なくとも一部を部分的又は完全に重ね合わせられて（例えば、不明瞭化されて））表示される（例えば、塞ぐか、又はその上部に表示される）仮想アバター（例えば、１４２１）の表現（例えば、表わされるときに、構成物の一部又はすべてを含むことができる仮想アバター構成物の視覚表現）を表示する（１５０４）。被写体の表現の少なくとも一部の上に仮想アバターの視覚表現を表示することにより、仮想アバターが被写体に重ね合わせられたときにどのように見えるかの視覚フィードバックをユーザに提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、仮想アバターは、被写体の深度データに基づいて決定された被写体の表現に対してシミュレーションされた深度に（例えば、仮想アバターが、ユーザインタフェースの深度範囲で、被写体の表現の少し前に表示されるように選択された位置に）配置される。
一部の実施形態では、深度データに基づいて、仮想アバターの第１の部分（例えば、１４２１－２）（例えば、アバター髪部分）が深度ベース表示基準のセットを満たすとの判定に従って、デバイス（例えば、６００）は、仮想アバター（例えば、１４２１）の表現の一部として、被写体の第１の部分（例えば、被写体の表現の第１の部分）の代わりに表示される、仮想アバター（例えば、１４２１－２）の第１の部分の表現を含める（１５０６）（例えば、図１４Ｅに示すように、被写体の手１４２５の表現の一部にわたってアバター髪部の部分１４２１－２が表示される）。仮想アバターの第１の部分は、被写体の一部によって不明瞭化されていないので、深度ベース表示基準を満たすと、仮想アバターの第１の部分が表示される。表示される前に仮想アバターの第１の部分が不明瞭化されているかどうかを判定することにより、ユーザに可視化される仮想アバターの一部を表示するだけで、ユーザデバイスインタフェースをより効率的にすることが可能になる。仮想アバターの可視部分の視覚フィードバックを提供することにより、ユーザは、仮想アバターが被写体の上に重ね合わされたときに結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、深度ベース表示基準が満たされるように（例えば、深度ベース基準のセットは、仮想アバターの一部が、被写体の一部（例えば、被写体の耳）によって不明瞭化しない位置に表示されるときに満たされる基準を含む）、深度ベースの表示基準は、被写体の深度データが、仮想アバターの第１の部分が被写体の対応する第１の部分（例えば、被写体の表現の対応する第１の部分）（例えば、首部、肩、及び／又は身体）の前にあるシミュレーションされた深度を有することを示すという要求を含む。
一部の実施形態では、深度データに基づいて、仮想アバターの第１の部分（例えば、１４２１－２）が、被写体の第１の部分（例えば、１４２５）に対する深度ベース表示基準のセットを満たさないとの判定（例えば、被写体の深度データが、仮想アバターの第１の部分が被写体の対応する第１の部分の背後にあるシミュレーションされた深度を有することを示すため）に従って、デバイス（例えば、６００）は、仮想アバター（例えば、１４２１）の表現から、仮想アバターの第１の部分の表現を除外する（１５０８）（例えば、髪部が領域１４２４－１で被写体の肩１４２２－１の背後に位置するため、髪部が表示されない）（例えば、追加のアバター髪部１４２１－２は、手１４２５の背後に位置する配置するため、図１４Ｄでは示されない）。一部の実施形態では、電子デバイスはまた、仮想アバターの第１の部分によって占められていたであろう領域内に、被写体の第１の部分（例えば、被写体の表現の第１の部分）を表示する（例えば、仮想アバターの第１の部分の表現を、その部分が被写体によって不明瞭化されるべきであるため、仮想アバターの表現の一部として含めるのをやめる）。仮想アバターの第１の部分が、被写体の一部によって不明瞭化されているので、深度ベース表示基準を満たさない場合には、仮想アバターの第１の部分は、仮想アバターの表示された表現から除外される。表示される前に仮想アバターの第１の部分が不明瞭化されているかどうかを判定することにより、ユーザに可視化される仮想アバターの一部を除外することによって、ユーザデバイスインタフェースをより効率的にすることが可能になる。仮想アバターの視覚フィードバックを提供することにより、ユーザは、仮想アバターが被写体の上に重ね合わされたときに結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、仮想アバター（例えば、１４２１）（例えば、アバター頭部）の第１の部分は、被写体の動きに基づいて動く。一部の実施形態では、仮想アバターの第１の部分は、被写体の頭部の動き又は被写体の頭部の表現に基づいて動く。
一部の実施形態では、仮想アバターの表現は、仮想アバターの第２の部分が、被写体の表現の対応する第２の部分の前又は背後にあるシミュレーションされた深度を有することを、深度データが示すか否かにかかわらず、被写体の表現の第２の部分（例えば、１４２５、１４２３）の上に表示される仮想アバターの第２の部分（例えば、１４２１－１、１４２１－３、１４２１－４、１４３５－１）（例えば、アバター頭部（１４２１－３）の上部）の表現を含む。アバター頭部の上部などの仮想アバターの第２の部分の表現が、永続的に表示される。これにより、たとえ被写体の表現がアバターよりもカメラ（例えば、６０２）により近くに位置するオブジェクトを含んでいても、仮想アバターの第２の部分を常に表示することができる（例えば、被写体の頭部の表現上に位置する帽子（１４２３）は、アバター（１４２１）によって覆われることになる）。仮想アバターの一部を持続的に表示することにより、ユーザが、特定のオブジェクトを無視するためにデバイスの深度設定を調整する必要なしに選択されたアバターを表示できるようにすることによって、デバイスのより多くの制御をユーザに提供することができる。追加表示されたコントロールによりユーザインタフェースを雑然とさせることなくデバイスの追加の制御を提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、仮想アバターの第２の部分（例えば、アバター頭部）は、被写体の表現の対応する第２の部分の代わりに持続的に表示される。一部の実施形態では、仮想アバターの部分と被写体の表現の部分との空間的関係が、仮想アバターの部分が被写体の部分によって不明瞭化されるべきであることを示し得る場合でも、深度ベース基準に関係なく表示されるアバターの部分は、仮想アバターを通り抜けて突き出る被写体の表現の部分例えば、帽子（１４２３）、被写体の髪部）を表示するのを避けるため、被写体の上方に持続的に表示される。一部の実施形態では、仮想アバターの第２の部分（例えば、アバター頭部）は、被写体（例えば、１４２２）の動き（例えば、被写体の頭部の動きに基づいて、又は被写体の頭部の表現の動きに基づいて）に基づいて動く。
一部の実施形態では、仮想アバター（例えば、１４２１－２）の第１の部分（例えば、深度データに基づいて含まれるか又は除外される部分）は、第１のアバター特徴の第１のサブ部分（例えば、アバター髪部、アバター耳、アバターアクセサリー（例えば、アバターイヤリング）などの仮想アバターの要素）であり、仮想アバターの第２の部分（例えば、１４２１－１、１４２１－３、１４２１－４、１４３５－１、１４３５－２）は、（例えば、深度データに基づいて含まれるか又は除外される部分、すなわち、深度データとは独立して含まれる）は、第１のアバター特徴（例えば、アバター髪部）の第２のサブ部分である。一部の実施形態では、第１のサブ部分は、前方に面して（例えば、カメラに面して）、仮想アバターが中立位置（例えば、被写体の顔又は頭部の姿勢に変化が検出されなかったときの仮想アバターの表示位置）にあるときに（例えば、図１４Ｋに示すように）、仮想アバターの背面上に位置する仮想アバター（例えば、１４３５）の部分（例えば、１４３５－３）である。一部の実施形態では、第２のサブ部分（例えば、１４３５－２）は、仮想アバターの前面上に配置される仮想アバターの部分であるか、又は、仮想アバターが前方に面して中立位置にあるときには、仮想アバターの背面上に配置されない。一部の実施形態では、第１のアバター特徴はアバター髪部であり、第２のサブ部分は、仮想アバター頭部（例えば、１４２１－３）の前面上に表示されるアバター髪部（例えば、１４２１－１）（例えば、切り下げ前髪）の前面部であり、第１のサブ部分は、被写体の首部、及び／又は肩（例えば、１４２２－１）などの被写体（例えば、１４２２）の一部によって少なくとも部分的に不明瞭化されているアバター髪部の後面部（例えば、背面の長髪部）である。
一部の実施形態では、仮想アバター（例えば、１４２１、１４３５）は、仮想アバターの第１の部分（例えば、１４２１－１）を含むアバター髪部特徴（例えば、長いアバター髪部）を含む。電子デバイス（例えば、６００）は、アバター髪部特徴の第２の部分のシミュレーションされた深度が、被写体の深度データに基づき、被写体の表現（例えば、首部、肩、及び／又は身体）の第３の部分（例えば、１４２２－１）の前又は背後にあるか否かに基づいて、アバター髪部特徴（例えば、１４２１－１）の第１の部分を表示し、アバター髪部特徴（例えば、１４２１－２）の第２の部分を条件的に表示する（例えば、アバター髪部特徴の持続的部分の表現を表示し、仮想アバターの第１の部分を深度に応じて可変的に含める（又は除外する））ことによって仮想アバターの表現を表示する。アバター髪部特徴の第１の部分及び髪部特徴の第２の部分が、被写体の首部、肩又は身体などの、被写体の表現の第３の部分の前又は背後にあるかどうかを判定する。表示する前に髪部特徴の第２の部分の可視性を判定することにより、ユーザに可視化されるアバター髪部特徴の一部を表示するだけで、ユーザデバイスインタフェースをより効率的にすることが可能になる。仮想アバターの視覚フィードバックを提供することにより、ユーザは、アバター髪部特徴が被写体の表現と共に表示されるときに、結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、仮想アバターは、仮想アバターの第１の部分（例えば、１４３５－４）を含むアバター首部特徴（例えば、１４３５－３）（例えば、馬のようなアバター（例えば、ユニコーン又は馬）の首部、例えば、アバターたてがみ）を含む。電子デバイスは、被写体の深度データに基づき、アバター首部特徴の部分のシミュレーションされた深度が、被写体の表現（首部又は肩）の第４の部分（例えば、１４２２－１）の前又は背後にあるか否かに基づいて、アバター首部特徴の一部を条件的に表示することによって、仮想アバター（例えば、１４３５）の表現を表示する（例えば、アバター首部特徴の持続的部分の表現を表示し、仮想アバターの第１の部分を深度に応じて可変的に含める（又は除外する））。アバター首部特徴の部分が、被写体の首部などの、被写体の表現の第４の部分の前又は背後にあるかどうかを判断する。表示する前に首部特徴の一部の可視性を判定することにより、ユーザに可視化されるアバター首部特徴の一部を表示するだけで、ユーザデバイスインタフェースをより効率的にすることが可能になる。仮想アバターの視覚フィードバックを提供することにより、ユーザは、アバター髪部特徴が被写体の表現と共に表示されるときに、結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、被写体の表現の部分（例えば、被写体の頭部）が、１つ以上のカメラに（直接的に）面する姿勢を有する（例えば、被写体の頭部がカメラに面して前方に配置される）ときには、仮想アバター（例えば、１４２１、１４３５）の第１の部分（例えば、１４２１－２、１４３５－３）は、表示されない仮想アバター（例えば、アバター首部の背後）の不明瞭な部分（例えば、１４３５－４）を含む。ユーザーはアバターの不明確な部分を見ることができ得ないため、アバターの不明瞭な部分は表示されない。表示する前に仮想アバターの第１の部分の可視性を判定することにより、ユーザに可視化されるアバター首部特徴の一部を表示するだけで、ユーザデバイスインタフェースをより効率的にすることが可能になる。仮想アバターの視覚フィードバックを提供することにより、ユーザは、アバター髪部特徴が被写体の表現と共に表示されるときに、結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、仮想アバターの不明瞭な部分は、被写体の首部又は頭部の背後に位置するアバターの首部の背後（例えば、１４３５－２、１４３５－３）、又は仮想アバターの部分（例えば、アバターの髪部の背後）を含む。一部の実施形態では、これによって、アバターの首部の背後（又はアバター頭部の背面上のアバターの部分、若しくは被写体の首部の背後に位置する部分）が、被写体の頭部が傾け上げられたとき（例えば、見上げる）に、被写体の首部の表現を通り抜けて突き出て表示されることを防止する。
一部の実施形態では、仮想アバター（例えば、１４２１）の表現を表示することは、仮想アバターの第１の部分（例えば、１４２１－１）に隣接する（例えば、及び被写体（例えば、１４２２－１）の表現の少なくとも一部に隣接する）仮想アバターの第３の部分（例えば、１４３２）の視覚的外観を、アバターの外観及び被写体の表現の外観の両方に基づく外観に変更すること（例えば、ブレンド、ぼかし、フェザリング、又は隠蔽度を徐々に変化させること）を更に含む。一部の実施形態では、アバター髪部の部分が、被写体の表示された表現の肩（１４２２－１）と交差する、仮想アバターの表現の部分において、アバター髪部（例えば、１４３２）の一部が、被写体（例えば、１４２２）の表現とブレンドされる。一部の実施形態では、アバター頭部の下部が被写体の首部の表示された表現（例えば、図１４Ｈ）と交差する、仮想アバターの表現の部分において、アバター頭部の下部が、被写体の表現とブレンドされる（例えば、１４３４）。
一部の実施形態では、電子デバイス（例えば、６００）は、被写体（例えば、１４２２）の頭部分の姿勢の変化（例えば、被写体の頭部が側方に向く）を検出する。被写体の頭部分の姿勢の変化を検出する電子デバイスに応じて、電子デバイスは、深度データ及び姿勢の変化に基づいて、仮想アバターの表現（例えば、アバターの髪部）から除外される、仮想アバター（例えば、１４２１－２）の量（例えば、仮想アバターの表現に含まれるか又は除外されるかのいずれかのサイズ）を変更する（例えば、増大又は減少する）。被写体の頭部分の姿勢の変化に基づいて、表示された仮想アバターを更新することにより、仮想アバターの視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、変更は、アバター頭部（例えば、１４２１－３）を被写体の頭部の動きに合わせるように側方に回すときに、仮想アバター（例えば、１４２１）の表現に表示されるアバターの髪部の量を増加又は減少させることを含む。一部の実施形態では、アバターの第１の部分（例えば、アバターの髪部）の表示量は、アバターの一部が、姿勢の変化に応じて被写体の表現の一部によって不明瞭化されるかどうかによって変更される。例えば、アバター頭部の回転に応じて、アバター頭部の一部がユーザ首部又は肩（例えば、１４２２－１）によって不明瞭化されると、アバターの髪部の一部の表示量（例えば、サイズ）が減少する（例えば、頭部を回転させることで被写体の肩（例えば、１４２４－１）の背後にアバター髪部が配置されるので、アバター頭部を回転させることにより、被写体の肩の前に位置する以前に表示された髪部がもはや表示されなくなる）。加えて、被写体の肩、首部又は頭部の背後に以前に隠れていた頭部の部分（例えば、１４２４－２）が、アバター頭部が側方に回転した結果、可視化されると、アバター髪部の部分の表示量が増大する（例えば、アバターの頭部を回転させることによりアバター髪部が被写体の肩の前に配置されるため、ここで被写体の肩の背後に位置する髪部が可視化される）。
一部の実施形態では、デバイス（例えば、６００）は、被写体の姿勢の変化を検出する（１５１０）。被写体（例えば、１４２２）の姿勢の変化を検出したこと（例えば、ユーザの肩（例えば、１４２２－１）上の手（例えば、１４２５）の動きを検出したことこと、例えば、被写体の頭部の回転又は傾きを検出したこと）に応じて、電子デバイス（例えば、６００）は、姿勢の変化に基づいて、仮想アバター（例えば、１４２１）の表示された表現を変更する（１５１２）。被写体の姿勢の変化に基づいて、表示された仮想アバターを更新することにより、仮想アバターの視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、被写体の姿勢の変化を考慮に入れた深度データに基づいて、仮想アバター（例えば、１４２１）の第１の部分（例えば、１４２１－２）が深度ベース表示基準のセットを満たすとの判定に従って、電子デバイスは、仮想アバターの第１の部分（例えば、１４２１－２）を除外した第１の外観（例えば、図１４Ｄ）（例えば、仮想アバターの第１の部分が、被写体（例えば、１４２５）の表現によって不明瞭化されているため、表示されていない外観）（例えば、アバターの髪部の一部が、被写体の手、首部、及び／又は肩の背後に隠れている）から、仮想アバターの第１の部分を含む第２の外観（例えば、図１４Ｅ）に、仮想アバターの表現の外観を更新する（１５１４）。一部の実施形態では、被写体の姿勢の変化を考慮に入れた深度データに基づいて、仮想アバターの第１の部分が深度ベース表示基準のセットを満たさないとの判定に従って、電子デバイスは、仮想アバターの第１の部分を含む第３の外観（例えば、図１４Ｃ）から、仮想アバターの第１の部分を除外した第４の外観（例えば、１４Ｄ）に、仮想アバターの表現の外観を更新する（１５１６）（例えば、１４２４－１は、表示される髪部の量の減少を示す）。一部の実施形態では、仮想アバターの第１の部分は、被写体の動きに基づいて動的に隠される（例えば、被写体の動きに基づいて、アバターの隠れた部分を表示されるようにでき、及びアバターの表示された部分を隠されるようにできる）。
一部の実施形態では、電子デバイス（例えば、６００）は、被写体（例えば、１４２２）の表現の一部の変化（例えば、姿勢の変化（例えば、向き、回転、並進など）、例えば、表情の変化）を検出する。電子デバイスは、被写体の表現の一部において検出された変化に基づいて、仮想アバター（例えば、１４２１、１４３５）の外観を変更する（例えば、リアルタイムで、被写体の表現の一部において検出された変化に基づいて、仮想アバターの位置及び／又は表情を変更する）。被写体の表現の変化に基づいて、表示された仮想アバターを更新することにより、仮想アバターの視覚フィードバックを提供する。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
一部の実施形態では、電子デバイス（例えば、６００）は、表示装置（例えば、６０１）を介して、被写体の表現の少なくとも第５の部分（例えば、被写体の胸、首部、又は肩）上に表示される、仮想アバター（例えば、１４２１、１４３５）によって投影された影（例えば、１４３０、１４３６）の表現を表示する。このデバイスは、被写体の表現の部分の上に仮想表現によって投影された影の表現を表示して、シミュレーションされた光源で表示された仮想アバターのより現実的な表現を提供する。仮想アバターの視覚フィードバックを提供することにより、ユーザは、結果として得られる画像を見ることができる。改善された視覚フィードバックをユーザに提供することにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。一部の実施形態では、仮想アバターによって投影された影の表現は、１００％未満の不透明度を有する被写体の表現上に重ね合わせられる。一部の実施形態では、表示された仮想アバターとシミュレーションされた光源との相対位置に基づいて判定される被写体の部分は、任意選択的に、カメラの視野内で検出された光源に基づいて判定される。一部の実施形態では、影の表示された表現の１つ以上の特性（例えば、位置、強度、形状など）は、仮想アバターの形状に基づく。一部の実施形態では、表示された影の形状は、異なるアバターが異なる形状の陰を投影して見えるように、仮想アバターの形状に基づいて決定される。
一部の実施形態では、影（例えば、１４３０、１４３６）の表示された表現の１つ以上の特性（例えば、位置、強度、形状など）は、１つ以上のカメラ（例えば、６０２）の視野内の照明条件（例えば、周囲光の検出量、検出された光源など）に基づく。一部の実施形態では、影の位置は、カメラの視野内の光源の位置に基づいて決定される。例えば、光源（例えば、検出された光源、又はモデル化された光源）が、カメラの視野内の被写体（例えば、１４２２）の表現の背後に配置される場合、影は、被写体の表現に対して光源の位置とは反対の被写体の表現上に配置される。一部の実施形態では、影の強度は、１つ以上のカメラの視野内で検出された照明条件の明るさに基づいて決定される（例えば、より明るい照明条件では影がより強く（明瞭に、より暗くなど）、より暗い照明条件では強さが少なくなる）。
一部の実施形態では、影（例えば、１４３０、１４３６）の表示された表現の１つ以上の特性（例えば、位置、強度、形状など）は、深度データに基づく。一部の実施形態では、（例えば、深度マップ又は深度マスクの形式の）深度データを使用して影の位置及び／又は形状が決定されて、１つ以上のカメラの視野内の被写体（例えば、１４２２）の表現の３次元位置決めに基づく、影エフェクトのより現実的な表現を提供する（例えば、アバターから被写体へのシミュレーションされた距離、及び光源からアバターへのシミュレーションされた距離に基づいて、アバターの影が被写体上に落ちるように見えるように）。
なお、方法１５００に関して上述された処理（例えば、図１５Ａ～図１５Ｂ）の詳細はまた、以下で説明される方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００は、方法１５００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、仮想アバターなどのビジュアルエフェクトが、メッセージングアプリケーションユーザインタフェースにおいて画像データに表示される。別の例では、方法９００は、方法１５００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、仮想アバターなどのビジュアルエフェクトが、カメラユーザインタフェースにおいて画像データに表示される。別の例では、方法１１００は、方法１５００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、仮想アバターなどのビジュアルエフェクトが、メディアユーザインタフェースにおいて画像データに表示される。別の例では、方法１３００は、方法１５００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、仮想アバターなどのビジュアルエフェクトが、ライブビデオ通信セッションのためのユーザインタフェースにおいて画像データに表示される。簡潔にするために、これらの詳細は、以下では繰り返さない。
上述の説明は、説明の目的で、特定の実施形態を参照して説明されてきた。しかしながら、上記例示的な議論は、包括的であることを意図しておらず、又は発明を開示された簡易的な形式に限定することを意図していない。上記教示を考慮して多くの修正及び変形が可能である。技術の原理及びそれらの実際の適用を最良に説明するために実施形態が選択及び説明されてきた。それによって、他の当業者は、考えられる特定の使用に適切な様々な修正で、技術及び様々な実施形態を最良に利用することが可能である。
開示及び実施例が添付図面を参照して完全に説明されてきたが、様々な変更及び修正が当業者にとって明らかであることに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるように、開示及び実施例の範囲内に含まれるものとして理解されることになる。
上述のように、本技術の一態様は、他のユーザとの共有のために、様々なソースから入手可能なデータを収集及び使用することである。本開示は、場合によっては、この収集されたデータは、特定の人を一意的に特定するか、又はその人に連絡するか、若しくはその人のロケーションを特定するために用いることができる個人情報データを含んでよいことを企図している。このような個人情報データには、人口統計データ、ロケーションベースのデータ、電話番号、電子メールアドレス、ツイッターＩＤ、ホームアドレス、ユーザの健康又はフィットネスのレベル（例えば、バイタルサイン測定、服薬情報、運動情報）に関するデータ若しくは記録、誕生日、又は任意の他の識別情報若しくは個人情報を含むことができる。
本開示は、この技術のそのような個人情報データを使用してユーザを利することができることを理解する。例えば、個人情報データを使用して、会話中のユーザをよりよく表現することができる。更に、ユーザを利する個人情報データに関する他の使用もまた、本開示により意図されている。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスついての洞察を提供するために使用されてもよく、あるいはウェルネスの目標を追求するために技術を使用して個人に積極的なフィードバックとして使用されてもよい。
本開示は、そのような個人情報データの収集、分析、開示、伝送、記憶又は他の使用に応答するエンティティが、確固たるプライバシーポリシー及び／又はプライバシー慣行を遵守することとなることを企画する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための業界又は政府の要件を満たすか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し常に使用すべきである。このようなポリシーは、ユーザが容易にアクセスすることができ、データの収集及び／又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いて、共有又は販売されるべきではない。更に、そのような収集／共有は、ユーザに告知して同意を得た後にのみ実施すべきである。加えて、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じるべきである。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。加えて、ポリシー及び慣行は、収集かつ／又はアクセスされる特定の種類の個人情報データに適合され、また、管轄権特有の考慮を含む、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国において、ある健康データの収集又はアクセスは、例えば、Ｈｅａｌｔｈ Ｉｎｓｕｒａｎｃｅ Ｐｏｒｔａｂｉｌｉｔｙ ａｎｄ Ａｃｃｏｕｎｔａｂｉｌｉｔｙ Ａｃｔ（ＨＩＰＡＡ）なのどの、連邦法及び／又は州法によって管理されてもよく、他の国における健康データは、他の規制及び政策の影響下にあってもよく、それに従って対処されるべきである。したがって、異なるプライバシー慣行を、各国の異なる個人データの種類に対して保つべきである。
前述のことがらにもかかわらず、本開示はまた、ユーザが、個人情報データの使用又は個人情報データへのアクセスを選択的に阻止する実施形態も企図している。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するために、ハードウェア要素及び／又はソフトウェア要素を提供することができると想到する。例えば、アバターを送信する場合、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択することを可能にするように構成することができる。「オプトイン」及び「オプトアウト」オプションを提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを企画している。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
更に、本開示の意図は、個人情報データを、意図しない又は不正なアクセス又は使用の危険性を最小にする方法で管理かつ取り扱うべきであることである。リスクは、データの収集を制限し、データがもはや必要ではなくなった時点でデータを削除することによって、最小化することができる。加えて、適用可能な場合には、ある健康関連アプリケーションにおいても、データ非特定化は、ユーザのプライバシーを保護するために使用することができる。非特定化は、適切な場合には、特定の識別子（例えば、生年月日など）を除去すること、記憶されたデータの量又は特異性を制御すること（例えば、位置データを住所レベルよりも都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって情報集約すること）及び／又は他の方法によって、容易にすることができる。
したがって、本開示は、１つ以上の様々な開示された実施形態を実施するための個人情報データの使用を広範に網羅しているが、本開示は、それらの様々な実施形態がまた、そのような個人情報データにアクセスすることを必要とせずに実施されることも可能であることも企図している。すなわち、本技術の様々な実施形態は、そのような個人情報データのすべて又は一部分の欠如により、実施不可能となるものではない。
Claims (19)
- 方法であって、
カメラと表示装置とを有する電子デバイスにおいて、
前記表示装置を介して、カメラユーザインタフェースを表示することであって、前記カメラユーザインタフェースは、
前記カメラを介してキャプチャされた画像データの表現を含むカメラ表示領域であって、前記表現は、被写体の表現、及び背景内に物体表現を含む背景の表現を含み、前記画像データは、前記被写体の深度データに対応する、カメラ表示領域と、
第１のカメラ表示モードに関連付けられた第１のアフォーダンスと、を含む、表示することと、
前記深度データに基づいて、前記被写体を識別することと、
前記被写体が前記カメラの視野内に位置し、かつ、前記被写体の前記表現、及び前記背景内に前記物体表現を含む前記背景の表現が前記カメラ表示領域に表示されている間に、前記第１のアフォーダンスに向けられたジェスチャを検出することと、
前記第１のアフォーダンスに向けられた前記ジェスチャを検出したことに応じて、前記第１のカメラ表示モードをアクティブ化することであって、複数のアバターオプションを含むアバター選択領域を表示することを含む、前記第１のカメラ表示モードをアクティブ化することと、
前記複数のアバターオプションのうちの１つの選択を検出することに応じて、前記識別された被写体の前記表現のうち少なくとも第２の部分の表示を維持している間に、前記選択されたアバターオプションの表現を、前記カメラ表示領域内の前記識別された被写体の前記表現の第１の部分の上に表示することと、
前記第１のカメラ表示モードがアクティブである間に、前記被写体の姿勢の変化を検出することと、
前記被写体の姿勢の前記変化を検出したことに応じて、前記識別された被写体の前記表現の前記第２の部分の表示、及び前記背景の前記表現のうち少なくとも一部の表示を維持しながら、前記被写体の姿勢の前記検出された変化に基づいて、前記選択されたアバターオプションの前記表示された表現の外観を変更することと、
前記カメラ表示領域の前記識別された被写体の前記表現の前記第１の部分に、前記選択されたアバターオプションの前記表現を表示する間に、及び前記識別された被写体の前記表現の少なくとも前記第２の部分の表示を維持している間に、前記選択されたアバターオプションの前記表現と同時に前記表示装置を介して表示されているフィルタアフォーダンスに向けたジェスチャを検出することと、
前記フィルタアフォーダンスに向けた前記ジェスチャを検出することに応じて、フィルタモードをアクティブ化することであって、前記フィルタモードをアクティブ化することは、
選択されたフィルタアフォーダンスと関連するフィルタに基づいて前記選択されたアバターオプションの表示された表現の外観を変更することであって、前記選択されたアバターオプションの表示された表現に前記フィルタを適用することを含む、ことと、
前記選択されたフィルタアフォーダンスと関連する前記フィルタに基づいて前記背景の表現の少なくとも一部の外観を変更することであって、前記背景内の前記物体表現の外観を、第１の外観を有するものから、前記第１の外観と異なる第２の外観を有するものへ変更することを含み、前記第２の外観は、前記選択されたフィルタアフォーダンスと関連するフィルタを、表示されている前記背景内の前記物体表現に適用したものである、ことと、を含む、前記フィルタモードをアクティブ化することと、
を含む、方法。 - 前記第１のカメラ表示モードをアクティブ化することは、
前記選択されたアバターオプションの前記表現を前記カメラ表示領域内の前記被写体の前記表現の前記第１の部分の上に表示する前に、
前記選択されたアバターオプションの前記表現を前記被写体の前記表現の前記第１の部分の上に表示することなく、前記被写体の前記表現を前記カメラ表示領域に表示すること、
を更に含む、請求項１に記載の方法。 - 前記アバター選択領域は、前記選択されたアバターオプションの前記表現を、前記カメラ表示領域内の前記被写体の前記表現の前記第１の部分の上に表示することを停止するためのオプションを更に含み、前記方法は、
前記選択されたアバターオプションの前記表現を、前記カメラ表示領域内の前記被写体の前記表現の前記第１の部分の上に表示することを停止するための前記オプションの選択に対応するユーザ入力を受信することと、
前記選択されたアバターオプションの前記表現を、前記カメラ表示領域内の前記被写体の前記表現の前記第１の部分の上に表示することを停止するための前記オプションの選択に対応するユーザ入力を受信したことに応じて、前記選択されたアバターオプションの前記表現を、前記カメラ表示領域内の前記被写体の前記表現の前記第１の部分の上に表示することを停止することと、
を更に含む、請求項１又は２に記載の方法。 - 前記アバター選択領域上の水平スワイプジェスチャを検出することと、
前記水平スワイプジェスチャを検出したことに応じて、前記複数のアバターオプションに新規アバターオプションを追加するための機能に関連付けられたアバター作成アフォーダンスを表示することと、
を更に含む、請求項１から３のいずれか１項に記載の方法。 - 前記第１のカメラ表示モードがアクティブである間に、前記アバター選択領域上のスワイプジェスチャを検出することと、
前記アバター選択領域上の前記スワイプジェスチャを検出したことに応じて、前記カメラ表示領域内の前記選択されたアバターオプションの前記表示された表現の外観を、第１の外観から、前記複数のアバターオプションのうちの異なる１つに対応する第２の外観に変更することと、
を更に含む、請求項１から４のいずれか１項に記載の方法。 - 前記カメラを介してキャプチャされた画像データの前記表現は、ライブカメラプレビューである、請求項１から５のいずれか１項に記載の方法。
- 前記第１のカメラ表示モードがアクティブである間に、前記カメラ表示領域上のスワイプジェスチャを検出することと、
前記カメラ表示領域上の前記スワイプジェスチャを検出したことに応じて、前記カメラ表示領域内の前記選択されたアバターオプションの前記表示された表現の外観を、第１の外観から、前記複数のアバターオプションのうちの異なる１つに対応する第２の外観に変更することと、
を更に含む、請求項６に記載の方法。 - 前記第１のカメラ表示モードをアクティブ化することは、
前記選択されたアバターオプションの表現を、前記アバター選択領域に静的外観で表示することと、
前記選択されたアバターオプションの表現を、前記被写体の姿勢の前記検出された変化に基づいて変化する動的外観を有するように更新することと、
前記アバター選択領域から前記カメラ表示領域内の前記被写体の前記表現の前記第１の部分に移動する前記動的外観を有する、前記選択されたアバターオプションの表現のアニメーションを表示することと、
を更に含む、請求項１から７のいずれか１項に記載の方法。 - 前記第１のカメラ表示モードがアクティブである間に、
前記被写体が前記カメラの前記視野内にもはや位置していないとの判定に応じて、前記カメラ表示領域内の中心位置に移動していく前記選択されたアバターオプションの前記表現のアニメーションを表示すること、
を更に含む、請求項１から８のいずれか１項に記載の方法。 - 前記第１のカメラ表示モードがアクティブである間に、
前記被写体が前記カメラの前記視野内にもはや位置していないとの判定に応じて、前記カメラ表示領域に表示された前記背景の視覚的外観を変更すること、を更に含む、請求項１から９のいずれか１項に記載の方法。 - 前記カメラユーザインタフェースは、第２のカメラ表示モードに関連付けられた第２のアフォーダンスを更に含み、前記方法は、
前記被写体が前記カメラの前記視野内に位置し、かつ、前記被写体の前記表現及び前記背景の前記表現が前記カメラ表示領域に表示されている間に、前記第２のアフォーダンスに向けられたジェスチャを検出することと、
前記第２のアフォーダンスに向けられた前記ジェスチャを検出したことに応じて、前記第２のカメラ表示モードをアクティブ化することであって、複数のグラフィカルオブジェクトを含むビジュアルエフェクト選択領域を表示することを含む、アクティブ化することと、
前記第２のカメラ表示モードがアクティブである間に、前記ビジュアルエフェクト選択領域内の前記複数のグラフィカルオブジェクトのうちの１つの選択を検出することと、
前記選択を検出したことに応じて、前記選択されたグラフィカルオブジェクトの表現を前記カメラ表示領域内に表示することと、
を更に含む、請求項１から１０のいずれか１項に記載の方法。 - 前記カメラを介してキャプチャされた画像データの前記表現はメディアアイテムであり、前記カメラユーザインタフェースは、第３のカメラ表示モードに関連付けられた第３のアフォーダンスを更に含み、前記方法は、
前記第３のアフォーダンスに向けられたジェスチャを検出することと、
前記第３のアフォーダンスに向けられた前記ジェスチャを検出したことに応じて、前記第３のカメラ表示モードをアクティブ化することであって、前記第３のカメラ表示モードをアクティブ化することは、
複数のグラフィカルオブジェクトを含むビジュアルエフェクト選択領域を表示することを含む、アクティブ化することと、
前記第３のカメラ表示モードがアクティブである間に、前記ビジュアルエフェクト選択領域内の前記複数のグラフィカルオブジェクトのうちの１つの選択を検出することと、
前記選択を検出したことに応じて、前記選択されたグラフィカルオブジェクトの表現を、前記カメラ表示領域の前記メディアアイテム上に表示することと、
を更に含む、請求項１～５のいずれか１項に記載の方法。 - 前記カメラユーザインタフェースは、ステッカー表示モードに関連付けられたステッカーアフォーダンスを更に含み、前記方法は、
前記画像データを前記カメラ表示領域に表示している間に、前記ステッカーアフォーダンスに向けられたジェスチャを検出することと、
前記ステッカーアフォーダンスに向けられた前記ジェスチャを検出したことに応じて、前記ステッカー表示モードをアクティブ化することであって、複数のステッカーオプションを含むステッカー選択領域を表示することを含む、前記ステッカー表示モードをアクティブ化することと、
前記ステッカー選択領域内の前記複数のステッカーオプションのうちの１つの選択を検出することと、
前記選択を検出したことに応じて、前記カメラ表示領域内の前記画像データ上に、前記選択されたステッカーオプションの表現を表示することと、
を更に含む、請求項１から１０のいずれか１項に記載の方法。 - 前記カメラ表示領域内の前記画像データ上に、前記選択されたステッカーオプションの前記表現を表示している間に、
前記カメラの前記視野内の前記被写体の横方向の動きを検出することと、
前記カメラの前記視野内の前記被写体の前記横方向の動きを検出したことに応じて、前記カメラの前記視野内の前記被写体の前記動きに従って、前記選択されたステッカーオプションの前記表現を横方向に移動させることと、
を更に含む、請求項１３に記載の方法。 - 前記カメラ表示領域内の前記画像データ上に、前記選択されたステッカーオプションの前記表現を表示している間に、
前記カメラの前記視野内の前記被写体の回転を検出することと、
前記カメラの前記視野内の前記被写体の前記回転を検出したことに応じて、
前記選択されたステッカーオプションの前記表現が前記被写体に対して第１の関係を有するとの判定に従って、前記被写体の前記回転の大きさ及び方向に従い、前記選択されたステッカーオプションの前記表現を回転させることと、
前記選択されたステッカーオプションの前記表現が前記被写体に対して前記第１の関係を有しないとの判定に従って、前記被写体の前記回転の前記大きさ及び方向に従い、前記選択されたステッカーオプションの前記表現を回転させることをやめることと、
を更に含む、請求項１３又は１４に記載の方法。 - 前記カメラ表示領域内の前記画像データ上に、前記選択されたステッカーオプションの前記表現を表示している間に、
前記カメラへ向かう前記被写体の動きを検出することと、
前記カメラへ向かう前記被写体の前記動きを検出したことに応じて、
前記選択されたステッカーオプションの前記表現が前記被写体に対して第１の関係を有するとの判定に従って、前記カメラに向かう前記被写体の動きの大きさに従い、前記選択されたステッカーオプションの前記表現を拡大させることと、
前記選択されたステッカーオプションの前記表現が前記被写体に対して前記第１の関係を有しないとの判定に従って、前記カメラに向かう前記被写体の動きの前記大きさに従い、前記選択されたステッカーオプションの前記表現を拡大させることをやめることと、
を更に含む、請求項１３から１５のいずれか１項に記載の方法。 - コンピュータに請求項１から１６のいずれか１項に記載の方法を実行させる、コンピュータプログラム。
- 電子デバイスであって、
カメラと、
表示装置と、
請求項１７に記載のコンピュータプログラムを記憶するメモリと、
前記メモリに記憶された前記コンピュータプログラムを実行可能な１つ以上のプロセッサと、を備える、電子デバイス。 - 電子デバイスであって、
カメラと、
表示装置と、
１つ以上の入力デバイスと、
請求項１から１６のいずれか１項に記載の方法を実行する手段と、
を備える、電子デバイス。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020193703A JP6960513B2 (ja) | 2018-05-07 | 2020-11-20 | クリエイティブカメラ |
| JP2021166686A JP7285291B2 (ja) | 2018-05-07 | 2021-10-11 | クリエイティブカメラ |
Applications Claiming Priority (12)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862668227P | 2018-05-07 | 2018-05-07 | |
| US62/668,227 | 2018-05-07 | ||
| US201862679934P | 2018-06-03 | 2018-06-03 | |
| US62/679,934 | 2018-06-03 | ||
| DKPA201870368 | 2018-06-12 | ||
| DKPA201870366 | 2018-06-12 | ||
| DKPA201870367 | 2018-06-12 | ||
| DKPA201870366 | 2018-06-12 | ||
| DKPA201870368 | 2018-06-12 | ||
| DKPA201870367 | 2018-06-12 | ||
| US16/110,514 US10375313B1 (en) | 2018-05-07 | 2018-08-23 | Creative camera |
| US16/110,514 | 2018-08-23 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020193703A Division JP6960513B2 (ja) | 2018-05-07 | 2020-11-20 | クリエイティブカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019197519A JP2019197519A (ja) | 2019-11-14 |
| JP7073238B2 true JP7073238B2 (ja) | 2022-05-23 |
Family
ID=68466052
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018182607A Active JP7073238B2 (ja) | 2018-05-07 | 2018-09-27 | クリエイティブカメラ |
| JP2020193703A Active JP6960513B2 (ja) | 2018-05-07 | 2020-11-20 | クリエイティブカメラ |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020193703A Active JP6960513B2 (ja) | 2018-05-07 | 2020-11-20 | クリエイティブカメラ |
Country Status (6)
| Country | Link |
|---|---|
| EP (2) | EP3627450A1 (ja) |
| JP (2) | JP7073238B2 (ja) |
| KR (2) | KR102315413B1 (ja) |
| CN (5) | CN110460797A (ja) |
| AU (1) | AU2019266049B2 (ja) |
| WO (1) | WO2019217003A1 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930298A (zh) * | 2019-11-29 | 2020-03-27 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像处理设备及存储介质 |
| CN111415635B (zh) * | 2020-03-16 | 2021-08-20 | 安博思华智能科技有限责任公司 | 一种大屏显示方法、装置、介质和电子设备 |
| US11604562B2 (en) * | 2020-06-10 | 2023-03-14 | Snap Inc. | Interface carousel for use with image processing software development kit |
| CN112034986A (zh) * | 2020-08-31 | 2020-12-04 | 深圳传音控股股份有限公司 | 基于ar的交互方法、终端设备以及可读存储介质 |
| CN112135059B (zh) | 2020-09-30 | 2021-09-28 | 北京字跳网络技术有限公司 | 拍摄方法、装置、电子设备和存储介质 |
| US20230103161A1 (en) * | 2021-09-24 | 2023-03-30 | Apple Inc. | Devices, methods, and graphical user interfaces for tracking mitigation in three-dimensional environments |
| KR102395940B1 (ko) * | 2021-12-28 | 2022-05-09 | 주식회사 직방 | 메타버스 기반의 오피스 환경에서 유저영상데이터 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 제어 시스템 |
| EP4273669A1 (en) * | 2022-05-06 | 2023-11-08 | Nokia Technologies Oy | Monitoring of facial characteristics |
| WO2024004052A1 (ja) * | 2022-06-28 | 2024-01-04 | 楽天モバイル株式会社 | 動画に提供情報を重畳する動画配信 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012120080A (ja) | 2010-12-03 | 2012-06-21 | Chuo Univ | 立体写真撮影装置 |
Family Cites Families (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3859005A (en) | 1973-08-13 | 1975-01-07 | Albert L Huebner | Erosion reduction in wet turbines |
| US4826405A (en) | 1985-10-15 | 1989-05-02 | Aeroquip Corporation | Fan blade fabrication system |
| JP2740145B2 (ja) | 1995-09-12 | 1998-04-15 | コナミ株式会社 | 多方向操作スイッチ及びこれを用いたドライビングゲーム機 |
| EP1717681B1 (en) | 1998-01-26 | 2015-04-29 | Apple Inc. | Method for integrating manual input |
| US7688306B2 (en) | 2000-10-02 | 2010-03-30 | Apple Inc. | Methods and apparatuses for operating a portable device based on an accelerometer |
| US7218226B2 (en) | 2004-03-01 | 2007-05-15 | Apple Inc. | Acceleration-based theft detection system for portable electronic devices |
| US6677932B1 (en) | 2001-01-28 | 2004-01-13 | Finger Works, Inc. | System and method for recognizing touch typing under limited tactile feedback conditions |
| US6570557B1 (en) | 2001-02-10 | 2003-05-27 | Finger Works, Inc. | Multi-touch system and method for emulating modifier keys via fingertip chords |
| US7657849B2 (en) | 2005-12-23 | 2010-02-02 | Apple Inc. | Unlocking a device by performing gestures on an unlock image |
| US8099462B2 (en) * | 2008-04-28 | 2012-01-17 | Cyberlink Corp. | Method of displaying interactive effects in web camera communication |
| FR2958487A1 (fr) * | 2010-04-06 | 2011-10-07 | Alcatel Lucent | Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video |
| US8744420B2 (en) * | 2010-04-07 | 2014-06-03 | Apple Inc. | Establishing a video conference during a phone call |
| CN102447873A (zh) * | 2010-10-13 | 2012-05-09 | 张明 | 哈哈视频网络视频聊天娱乐辅助系统 |
| CN102075727A (zh) * | 2010-12-30 | 2011-05-25 | 中兴通讯股份有限公司 | 一种可视电话中图像处理方法和装置 |
| US9153031B2 (en) * | 2011-06-22 | 2015-10-06 | Microsoft Technology Licensing, Llc | Modifying video regions using mobile device input |
| JP2013101528A (ja) * | 2011-11-09 | 2013-05-23 | Sony Corp | 情報処理装置、表示制御方法、およびプログラム |
| CN105653031B (zh) * | 2011-11-23 | 2019-10-01 | 英特尔公司 | 带有多个视图、显示器以及物理学的姿势输入 |
| US8941707B2 (en) * | 2011-12-01 | 2015-01-27 | Tangome, Inc. | Video messaging |
| US9204099B2 (en) * | 2012-02-01 | 2015-12-01 | Magor Communications Corporation | Videoconferencing system providing virtual physical context |
| CN104170318B (zh) * | 2012-04-09 | 2018-06-01 | 英特尔公司 | 使用交互化身的通信 |
| WO2013169849A2 (en) | 2012-05-09 | 2013-11-14 | Industries Llc Yknots | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
| AU2013368443B2 (en) | 2012-12-29 | 2016-03-24 | Apple Inc. | Device, method, and graphical user interface for transitioning between touch input to display output relationships |
| US9094576B1 (en) * | 2013-03-12 | 2015-07-28 | Amazon Technologies, Inc. | Rendered audiovisual communication |
| US10168882B2 (en) * | 2013-06-09 | 2019-01-01 | Apple Inc. | Device, method, and graphical user interface for switching between camera interfaces |
| US20150033192A1 (en) * | 2013-07-23 | 2015-01-29 | 3M Innovative Properties Company | Method for creating effective interactive advertising content |
| CN104869346A (zh) * | 2014-02-26 | 2015-08-26 | 中国移动通信集团公司 | 一种视频通话中的图像处理方法及电子设备 |
| WO2015144209A1 (en) * | 2014-03-25 | 2015-10-01 | Metaio Gmbh | Method and system for representing a virtual object in a view of a real environment |
| US9207835B1 (en) * | 2014-05-31 | 2015-12-08 | Apple Inc. | Message user interfaces for capture and transmittal of media and location content |
| WO2016145129A1 (en) * | 2015-03-09 | 2016-09-15 | Ventana 3D, Llc | Avatar control system |
| US20160321833A1 (en) * | 2015-04-29 | 2016-11-03 | Seerslab, Inc. | Method and apparatus for generating moving photograph based on moving effect |
| CN105611215A (zh) * | 2015-12-30 | 2016-05-25 | 掌赢信息科技（上海）有限公司 | 一种视频通话方法及装置 |
| US11320982B2 (en) * | 2016-05-18 | 2022-05-03 | Apple Inc. | Devices, methods, and graphical user interfaces for messaging |
| KR101831516B1 (ko) * | 2016-06-08 | 2018-02-22 | 주식회사 시어스랩 | 멀티 스티커를 이용한 영상 생성 방법 및 장치 |
| DK179978B1 (en) * | 2016-09-23 | 2019-11-27 | Apple Inc. | IMAGE DATA FOR ENHANCED USER INTERACTIONS |
| CN117193618A (zh) * | 2016-09-23 | 2023-12-08 | 苹果公司 | 头像创建和编辑 |
| CN106792147A (zh) * | 2016-12-08 | 2017-05-31 | 天脉聚源(北京)传媒科技有限公司 | 一种图像替换方法及装置 |
| CN107944397A (zh) * | 2017-11-27 | 2018-04-20 | 腾讯音乐娱乐科技（深圳）有限公司 | 视频录制方法、装置及计算机可读存储介质 |
| WO2019164266A1 (en) * | 2018-02-23 | 2019-08-29 | Samsung Electronics Co., Ltd. | Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same |
-
2018
- 2018-09-27 JP JP2018182607A patent/JP7073238B2/ja active Active
- 2018-09-28 CN CN201811157549.6A patent/CN110460797A/zh active Pending
- 2018-09-28 CN CN202110530629.7A patent/CN113114970A/zh active Pending
- 2018-09-28 CN CN201910692978.1A patent/CN110460799B/zh active Active
- 2018-09-28 CN CN201911202668.3A patent/CN110933355B/zh active Active
- 2018-09-28 CN CN201911219525.3A patent/CN110944141B/zh active Active
-
2019
- 2019-03-26 KR KR1020217019525A patent/KR102315413B1/ko active IP Right Grant
- 2019-03-26 EP EP19204230.7A patent/EP3627450A1/en active Pending
- 2019-03-26 KR KR1020207031855A patent/KR102270766B1/ko active IP Right Grant
- 2019-03-26 AU AU2019266049A patent/AU2019266049B2/en active Active
- 2019-03-26 WO PCT/US2019/024067 patent/WO2019217003A1/en unknown
- 2019-03-26 EP EP19724959.2A patent/EP3590251A1/en not_active Ceased
-
2020
- 2020-11-20 JP JP2020193703A patent/JP6960513B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012120080A (ja) | 2010-12-03 | 2012-06-21 | Chuo Univ | 立体写真撮影装置 |
Non-Patent Citations (1)
| Title |
|---|
| 【Ｂ６１２】顔認識クマ・ネコスタンプとキラキラやハートが舞い散るＡＲ背景機能が追加、２０１７年１月２２日、ＵＲＬ：ｈｔｔｐｓ：／／ａｐｐｔｏｐｉ．ｊｐ２０１７／０１／２２ｂ６１２ |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110944141B (zh) | 2020-12-08 |
| JP2019197519A (ja) | 2019-11-14 |
| AU2019266049B2 (en) | 2020-12-03 |
| KR102270766B1 (ko) | 2021-06-30 |
| CN110460799B (zh) | 2021-05-07 |
| AU2019266049A1 (en) | 2020-11-26 |
| JP2021051757A (ja) | 2021-04-01 |
| KR20200132995A (ko) | 2020-11-25 |
| WO2019217003A1 (en) | 2019-11-14 |
| JP6960513B2 (ja) | 2021-11-05 |
| KR20210080616A (ko) | 2021-06-30 |
| EP3627450A1 (en) | 2020-03-25 |
| CN110944141A (zh) | 2020-03-31 |
| CN110460797A (zh) | 2019-11-15 |
| CN110933355B (zh) | 2021-05-07 |
| KR102315413B1 (ko) | 2021-10-21 |
| CN113114970A (zh) | 2021-07-13 |
| EP3590251A1 (en) | 2020-01-08 |
| CN110933355A (zh) | 2020-03-27 |
| CN110460799A (zh) | 2019-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11178335B2 (en) | Creative camera | |
| US20220070385A1 (en) | Creative camera | |
| JP6960513B2 (ja) | クリエイティブカメラ | |
| AU2022215297B2 (en) | Creative camera | |
| JP7404587B2 (ja) | クリエイティブカメラ | |
| KR102357342B1 (ko) | 크리에이티브 카메라 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181009 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190118 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190207 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190723 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200406 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200703 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200720 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201120 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20201120 |
|
| C11 | Written invitation by the commissioner to file amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C11 Effective date: 20201207 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210104 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210107 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20210122 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20210128 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210603 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210811 |
|
| C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20210908 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220304 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220314 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220413 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220413 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220511 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7073238 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |