JP7397899B2 - Devices, methods and graphical user interfaces for system-wide behavior of 3D models - Google Patents
Devices, methods and graphical user interfaces for system-wide behavior of 3D models Download PDFInfo
- Publication number
- JP7397899B2 JP7397899B2 JP2022036354A JP2022036354A JP7397899B2 JP 7397899 B2 JP7397899 B2 JP 7397899B2 JP 2022036354 A JP2022036354 A JP 2022036354A JP 2022036354 A JP2022036354 A JP 2022036354A JP 7397899 B2 JP7397899 B2 JP 7397899B2
- Authority
- JP
- Japan
- Prior art keywords
- user interface
- cameras
- representation
- displaying
- touch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 267
- 230000033001 locomotion Effects 0.000 claims description 619
- 230000004044 response Effects 0.000 claims description 370
- 230000000007 visual effect Effects 0.000 claims description 206
- 230000003190 augmentative effect Effects 0.000 claims description 143
- 230000009471 action Effects 0.000 claims description 96
- 230000008859 change Effects 0.000 claims description 79
- 230000006399 behavior Effects 0.000 description 217
- 230000008569 process Effects 0.000 description 88
- 238000010586 diagram Methods 0.000 description 67
- 238000001514 detection method Methods 0.000 description 63
- 230000001976 improved effect Effects 0.000 description 62
- 238000013519 translation Methods 0.000 description 53
- 230000007704 transition Effects 0.000 description 34
- 238000004891 communication Methods 0.000 description 25
- 230000004913 activation Effects 0.000 description 22
- 230000007423 decrease Effects 0.000 description 21
- 238000012545 processing Methods 0.000 description 21
- 230000002093 peripheral effect Effects 0.000 description 20
- 238000007726 management method Methods 0.000 description 17
- 230000002829 reductive effect Effects 0.000 description 16
- 238000006073 displacement reaction Methods 0.000 description 15
- 241000699666 Mus <mouse, genus> Species 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000009466 transformation Effects 0.000 description 13
- 230000003247 decreasing effect Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 238000005562 fading Methods 0.000 description 11
- 230000003993 interaction Effects 0.000 description 11
- 238000012549 training Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 10
- 230000035807 sensation Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 8
- 230000003213 activating effect Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000009499 grossing Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000002441 reversible effect Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000000977 initiatory effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 230000021317 sensory perception Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 241001422033 Thestylus Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000001747 exhibiting effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000010355 oscillation Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- 230000005355 Hall effect Effects 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 235000019577 caloric intake Nutrition 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000881 depressing effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000004579 marble Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000006903 response to temperature Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/014—Force feedback applied to GUI
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Telephone Function (AREA)
Description
本発明は、一般に、限定されるわけではないが様々な状況で仮想オブジェクトを表示する電子デバイスなど、仮想オブジェクトを表示する電子デバイスに関する。 TECHNICAL FIELD The present invention generally relates to electronic devices that display virtual objects, including but not limited to electronic devices that display virtual objects in a variety of situations.
拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。仮想／拡張現実環境と対話するには、コンピュータシステム及び他の電子コンピューティングデバイスのタッチ感知面などの入力デバイスを使用する。例示的なタッチ感知面としては、タッチパッド、タッチ感知遠隔制御装置、及びタッチスクリーンディスプレイが挙げられる。これらの表面を使用して、ディスプレイ上で、ユーザーインターフェース及びその中のオブジェクトを操作する。例示的なユーザーインターフェースオブジェクトは、デジタル画像、ビデオ、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの制御要素を含む。 The development of computer systems for augmented reality has progressed significantly in recent years. An exemplary augmented reality environment includes at least some virtual elements that replace or enhance the physical world. Input devices, such as touch-sensitive surfaces on computer systems and other electronic computing devices, are used to interact with virtual/augmented reality environments. Exemplary touch-sensitive surfaces include touch pads, touch-sensitive remote controls, and touch screen displays. These surfaces are used to manipulate the user interface and objects therein on the display. Exemplary user interface objects include digital images, video, text, icons, and control elements such as buttons and other graphics.
しかし、少なくともいくつかの仮想要素を含む環境（例えばアプリケーション、拡張現実環境、混合現実環境、及び仮想現実環境）と対話する方法及びインターフェースは、煩雑で、非効率で、限定されたものである。例えば、拡張現実環境で仮想オブジェクトを向き及び位置決めするために一連の入力を使用すると、時間がかかり、かなりの認知上の負担がユーザーにかかり、仮想／拡張現実環境のエクスペリエンスが損なわれる。更に、これらの方法は、必要以上に時間がかかり、それによりエネルギーを浪費する。後者の問題は、バッテリ動作デバイスにおいては特に重要である。 However, methods and interfaces for interacting with environments that include at least some virtual elements (eg, applications, augmented reality environments, mixed reality environments, and virtual reality environments) are cumbersome, inefficient, and limited. For example, using a series of inputs to orient and position virtual objects in an augmented reality environment is time consuming and places a significant cognitive burden on the user, detracting from the experience of the virtual/augmented reality environment. Furthermore, these methods are unnecessarily time consuming, thereby wasting energy. The latter issue is particularly important in battery operated devices.
したがって、仮想オブジェクトと対話するための改善された方法及びインターフェースを備えたコンピュータシステムが必要とされている。このような方法及びインターフェースは、任意選択的に、仮想オブジェクトと対話するための従来の方法を補完する、又はこれらに取って代わるものである。このような方法及びインターフェースは、ユーザーからの入力の数、範囲、及び／又は種類を減少させ、より効率的な人間機械インターフェースを生成する。バッテリ動作デバイスでは、このような方法及びインターフェースにより、電力が節約され、バッテリの充電間の時間が長くなる。 Accordingly, there is a need for computer systems with improved methods and interfaces for interacting with virtual objects. Such methods and interfaces optionally complement or replace traditional methods for interacting with virtual objects. Such methods and interfaces reduce the number, scope, and/or type of input from the user, creating a more efficient human-machine interface. In battery operated devices, such methods and interfaces conserve power and increase the time between battery charges.
仮想オブジェクトと対話するためのインターフェース（例えば、拡張現実（ＡＲ）のためのユーザーインターフェース及び関連する非ＡＲインターフェース）に関連する上記の不具合及びその他の問題は、開示するコンピュータシステムによって軽減又は解消される。いくつかの実施形態では、コンピュータシステムは、デスクトップコンピュータを含む。いくつかの実施形態では、コンピュータシステムは、ポータブルである（例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである）。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス（例えば腕時計などのウェアラブル電子デバイス）を含む。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する（かつ／又はこれと通信している）。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」とも呼ばれる）を有する（かつ／又はこれと通信している）。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザーインターフェース（ＧＵＩ）、１つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザーは、部分的には、タッチ感知面におけるスタイラス及び／又は指による接触及びジェスチャを通してＧＵＩと対話する。いくつかの実施形態では、機能は、任意選択的に、ゲームプレイ、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシート作成、電話、ビデオ会議、電子メール、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽再生、メモ取り、及び／又はデジタルビデオ再生を含む。これらの機能を実行するための実行可能命令は、任意選択的に、非一時的コンピュータ可読記憶媒体、又は１つ以上のプロセッサによって実行されるように構成されたその他のコンピュータプログラム製品に含まれる。 The above deficiencies and other problems associated with interfaces for interacting with virtual objects (e.g., user interfaces for augmented reality (AR) and related non-AR interfaces) are reduced or eliminated by the disclosed computer system. . In some embodiments, the computer system includes a desktop computer. In some embodiments, the computer system is portable (eg, a notebook computer, tablet computer, or handheld device). In some embodiments, the computer system includes a personal electronic device (eg, a wearable electronic device such as a wristwatch). In some embodiments, the computer system has (and/or is in communication with) a touchpad. In some embodiments, the computer system has (and/or is in communication with) a touch-sensitive display (also referred to as a "touch screen" or "touch screen display"). In some embodiments, a computer system includes a graphical user interface (GUI), one or more processors, a memory, and one or more modules, programs, or instructions stored in the memory for performing multiple functions. Have a set. In some embodiments, the user interacts with the GUI, in part, through stylus and/or finger contacts and gestures on the touch-sensitive surface. In some embodiments, the functionality optionally includes gameplay, image editing, drawing, presenting, word processing, spreadsheet creation, phone calls, video conferencing, email, instant messaging, training support, and digital photography. , digital video recording, web browsing, digital music playback, note taking, and/or digital video playback. Executable instructions for performing these functions are optionally contained in a non-transitory computer-readable storage medium or other computer program product configured for execution by one or more processors.
いくつかの実施形態によれば、方法は、ディスプレイ、タッチ感知面、及び１つ以上のカメラを有するコンピュータシステムで実行される。この方法は、ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示することを含む。この方法は、また、ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示している間に、ディスプレイ上における仮想オブジェクトの表現に対応したタッチ感知面上の場所で接触による第１の入力を検出することを含む。この方法は、また、接触による第１の入力を検出したことに応答して、接触による第１の入力が第１の基準を満足するとの判定にしたがって、第１のユーザーインターフェース領域の少なくとも一部分の表示を１つ以上のカメラの視野の表現で置き換えることを含む、ディスプレイに第２のユーザーインターフェース領域を表示することと、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に、仮想オブジェクトの表現を連続的に表示することと、を含む。 According to some embodiments, the method is performed on a computer system having a display, a touch-sensitive surface, and one or more cameras. The method includes displaying a representation of a virtual object in a first user interface area on a display. The method also includes, while displaying a first representation of the virtual object in a first user interface area on the display, a touch-sensitive surface at a location on the touch-sensitive surface corresponding to the representation of the virtual object on the display. The method includes detecting a first input. The method also includes, in response to detecting the first contact input, controlling the at least a portion of the first user interface area in accordance with a determination that the first contact input satisfies the first criteria. displaying a second user interface area on the display, including replacing the display with a representation of the field of view of the one or more cameras; and displaying the second user interface area from displaying the first user interface area. continuously displaying a representation of the virtual object while switching to the virtual object.
いくつかの実施形態によれば、方法は、ディスプレイ、タッチ感知面、及び１つ以上のカメラを有するコンピュータシステムで実行される。この方法は、ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示することを含む。この方法は、また、ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示している間に、ディスプレイ上の仮想オブジェクトの第１の表現に対応するタッチ感知面上の場所で第１の接触による第１の入力を検出することを含む。この方法は、また、第１の接触による第１の入力を検出したことに応答して、第１の接触による第１の入力が第１の基準を満足するとの判定にしたがって、第１のユーザーインターフェース領域とは異なる第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示することを含む。この方法は、また、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示している間に、第２の入力を検出することと、第２の入力を検出したことに応答して、第２の入力が第２のユーザーインターフェース領域内で仮想オブジェクトを操作する要求に対応しているとの判定にしたがって、第２の入力に基づいて第２のユーザーインターフェース領域内で仮想オブジェクトの第２の表現の表示特性を変化させることと、第２の入力が拡張現実環境内に仮想オブジェクトを表示する要求に対応しているとの判定にしたがって、１つ以上のカメラの視野の表現とともに仮想オブジェクトの第３の表現を表示することと、を含む。 According to some embodiments, the method is performed on a computer system having a display, a touch-sensitive surface, and one or more cameras. The method includes displaying a first representation of a virtual object in a first user interface area on a display. The method also includes, while displaying a first representation of the virtual object in a first user interface area on the display, a location on the touch-sensitive surface corresponding to the first representation of the virtual object on the display. detecting a first input due to a first touch at the contact point. The method also includes, in response to detecting the first input due to the first contact, the first user according to a determination that the first input due to the first contact satisfies the first criterion. including displaying a second representation of the virtual object in a second user interface area that is different from the interface area. The method also includes detecting a second input while displaying a second representation of the virtual object in the second user interface area, and in response to detecting the second input. , determining that the second input corresponds to a request to manipulate a virtual object within the second user interface area; 2 and determining that the second input corresponds to a request to display a virtual object within an augmented reality environment. displaying a third representation of the object.
いくつかの実施形態によれば、方法は、ディスプレイ及びタッチ感知面を有するコンピュータシステムで実行される。この方法は、第１のユーザーインターフェースを表示する要求に応答して、第１のアイテムの表現とともに第１のユーザーインターフェースを表示することを含む。この方法は、また、第１のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、第１のアイテムが第１のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに第１のアイテムの表現を表示することを含む。この方法は、また、第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、視覚的な指示なしで第１のアイテムの表現を表示することを含む。この方法は、また、第１のアイテムの表現を表示した後で、第２のアイテムを含む第２のユーザーインターフェースを表示する要求を受信することを含む。この方法は、また、第２のユーザーインターフェースを表示する要求に応答して、第２のアイテムの表現とともに第２のユーザーインターフェースを表示することを含む。この方法は、また、第２のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、第２のアイテムが第２のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに第２のアイテムの表現を表示することを含む。この方法は、また、第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、視覚的な指示なしで第２のアイテムの表現を表示することを含む。 According to some embodiments, the method is performed on a computer system having a display and a touch sensitive surface. The method includes displaying the first user interface with a representation of the first item in response to a request to display the first user interface. The method also indicates that the first item corresponds to the first respective virtual three-dimensional object according to the determination that the first item corresponds to the respective virtual three-dimensional object. including displaying a representation of the first item with visual instructions. The method also includes displaying a representation of the first item without visual indication in accordance with the determination that the first item does not correspond to the respective virtual three-dimensional object. The method also includes, after displaying the representation of the first item, receiving a request to display a second user interface that includes a second item. The method also includes displaying the second user interface with the representation of the second item in response to the request to display the second user interface. The method also indicates that the second item corresponds to the second respective virtual three-dimensional object according to the determination that the second item corresponds to the respective virtual three-dimensional object. including displaying a representation of the second item with visual instructions. The method also includes displaying a representation of the second item without visual indication in accordance with the determination that the second item does not correspond to the respective virtual three-dimensional object.
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上の入力デバイス、及び１つ以上のカメラを有するコンピュータシステムで実行される。この方法は、１つ以上のカメラの視野の少なくとも一部分を含む第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求を受信することを含む。この方法は、また、仮想オブジェクトを第１のユーザーインターフェース領域に表示する要求に応答して、表示生成コンポーネントを介して第１のユーザーインターフェース領域に含まれる１つ以上のカメラの視野の少なくとも一部分の上に仮想オブジェクトの表現を表示することを含み、ここで、１つ以上のカメラの視野は、１つ以上のカメラが位置している物理的環境のビューである。仮想オブジェクトの表現を表示することは、オブジェクト配置基準が満足されていないとの判定にしたがって、仮想オブジェクトの表現を、第１の１組の視覚特性で、かつ物理的環境のうちのどの部分が１つ以上のカメラの視野内に表示されているかとは無関係の第１の向きで、表示することであり、オブジェクト配置基準が、満たされるためには、仮想オブジェクトの配置場所が１つ以上のカメラの視野内で特定されることを必要とする、こと、及びオブジェクト配置基準が満足されたとの判定にしたがって、仮想オブジェクトの表現を、第１の１組の視覚特性とは別個の第２の１組の視覚特性で、かつ１つ以上のカメラの視野内で検出された物理的環境内のプレーンに対応する第２の向きで、表示すること、を含む。 According to some embodiments, the method is performed on a computer system having a display generation component, one or more input devices, and one or more cameras. The method includes receiving a request to display a virtual object in a first user interface area that includes at least a portion of the field of view of one or more cameras. The method also includes, in response to a request to display a virtual object in the first user interface area, at least a portion of the field of view of the one or more cameras included in the first user interface area via the display generation component. displaying a representation of the virtual object on the display, wherein the field of view of the one or more cameras is a view of the physical environment in which the one or more cameras are located. Displaying the representation of the virtual object includes displaying the representation of the virtual object with the first set of visual characteristics and determining which portion of the physical environment is located in accordance with the determination that the object placement criterion is not satisfied. The virtual object must be displayed in a first orientation independent of whether it is displayed within the field of view of one or more cameras, and the object placement criterion is met if the virtual object is placed in one or more locations. locating the virtual object within the field of view of the camera, and upon determining that the object placement criterion is satisfied, the representation of the virtual object is determined by a second set of visual characteristics distinct from the first set of visual characteristics. displaying with a set of visual characteristics and a second orientation corresponding to a plane in the physical environment detected within the field of view of the one or more cameras.
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上の入力デバイス、１つ以上のカメラ、及び１つ以上のカメラを含むデバイスの姿勢の変化を検出する１つ以上の姿勢センサを有するコンピュータシステムで実行される。この方法は、物理的環境の拡張現実ビューを１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に表示する要求を受信することを含む。この方法は、また、物理的環境の拡張現実ビューを表示する要求を受信したことに応答して、１つ以上のカメラの視野の表現を表示することと、物理的環境の拡張現実ビューについて較正基準が満足されていないとの判定にしたがって、物理的環境における１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示することと、を含み、較正ユーザーインターフェースオブジェクトを表示することは、較正ユーザーインターフェースオブジェクトを表示している間に、１つ以上の姿勢センサを介して、物理的環境における１つ以上のカメラの姿勢の変化を検出することと、物理的環境における１つ以上のカメラの姿勢の変化を検出したことに応答して、物理的環境における１つ以上のカメラの姿勢の検出した変化にしたがって較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整することと、を含む。この方法は、また、物理的環境における１つ以上のカメラの姿勢の検出した変化にしたがってディスプレイ上を移動する較正ユーザーインターフェースオブジェクトを表示している間に、較正基準が満たされたことを検出することを含む。この方法は、また、較正基準が満たされたことを検出したことに応答して、較正ユーザーインターフェースオブジェクトを表示することを停止することを含む。 According to some embodiments, a method includes a display generation component, one or more input devices, one or more cameras, and one or more poses for detecting a change in pose of a device including the one or more cameras. It is executed on a computer system with a sensor. The method includes receiving a request to display an augmented reality view of a physical environment in a first user interface area that includes a representation of the field of view of one or more cameras. The method also includes displaying a representation of the field of view of the one or more cameras in response to receiving a request to display an augmented reality view of the physical environment; displaying a calibration user interface object that is dynamically animated according to movement of the one or more cameras in the physical environment in accordance with the determination that the criterion is not satisfied; The displaying includes detecting, via the one or more pose sensors, a change in pose of the one or more cameras in the physical environment while displaying the calibrated user interface object; in response to detecting a change in the pose of the one or more cameras, adjusting at least one display parameter of the calibration user interface object according to the detected change in the pose of the one or more cameras in the physical environment; ,including. The method also detects that a calibration criterion is met while displaying a calibration user interface object that moves on the display according to a detected change in the pose of one or more cameras in a physical environment. Including. The method also includes ceasing to display the calibration user interface object in response to detecting that the calibration criteria have been met.
いくつかの実施形態によれば、表示生成コンポーネントと、タッチ感知面を含む１つ以上の入力デバイスとを有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントによって、仮想三次元オブジェクトの第１の視点の表現を第１のユーザーインターフェース領域に表示することを含む。この方法は、また、仮想三次元オブジェクトの第１の視点の表現をディスプレイ上の第１のユーザーインターフェース領域に表示している間に、仮想三次元オブジェクトの第１の視点から視認不能である仮想三次元オブジェクトの部分を表示するために表示に対して仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出することを含む。この方法は、また、第１の入力を検出したことに応答して、第１の入力が三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、仮想三次元オブジェクトを、第１の軸に対して、第１の入力の大きさに基づいて決定され、かつ第１の軸に対する閾値回転量を超える量の仮想三次元オブジェクトの回転を制約する移動に課される限界によって制約された量だけ、回転させることと、第１の入力が、第１の軸とは異なる第２の軸の周りで三次元オブジェクトを回転させる要求に対応しているとの判定にしたがって、仮想三次元オブジェクトを第２の軸に対して第１の入力の大きさに基づいて決定された量だけ回転させることと、を含み、それぞれの閾値を超える大きさを有する入力について、デバイスは、仮想三次元オブジェクトを第２の軸に対して閾値回転量を超える量だけ回転させる。 According to some embodiments, the computer system executes on a computer system having a display generation component and one or more input devices including a touch sensitive surface. The method includes displaying, by a display generation component, a first perspective representation of the virtual three-dimensional object in the first user interface area. The method also includes, while displaying a first perspective representation of the virtual three-dimensional object in a first user interface area on the display, a virtual three-dimensional object that is not visible from the first perspective of the virtual three-dimensional object. The method includes detecting a first input corresponding to a request to rotate the virtual three-dimensional object relative to the display to display a portion of the three-dimensional object. The method also includes, in response to detecting the first input, determining that the first input corresponds to a request to rotate the three-dimensional object about the first axis. moving the three-dimensional object with respect to the first axis to constrain rotation of the virtual three-dimensional object by an amount determined based on the magnitude of the first input and exceeding a threshold rotation amount with respect to the first axis; the first input corresponds to a request to rotate the three-dimensional object about a second axis different from the first axis; and rotating the virtual three-dimensional object relative to the second axis by an amount determined based on the magnitude of the first input in accordance with the determination, for each input having a magnitude that exceeds the threshold. , the device rotates the virtual three-dimensional object about the second axis by an amount that exceeds a threshold rotation amount.
いくつかの実施形態によれば、方法は、表示生成コンポーネント及びタッチ感知面を有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントを介して、第１のジェスチャ認識基準を満たす入力に応答して実施される第１のオブジェクト操作挙動、及び第２のジェスチャ認識基準を満たす入力に応答して実行される第２のオブジェクト操作挙動を含む複数のオブジェクト操作挙動と関連付けられたユーザーインターフェースオブジェクトを含む第１のユーザーインターフェース領域を表示することを含む。この方法は、また、第１のユーザーインターフェース領域を表示する間に、タッチ感知面にわたる１つ以上の接触の移動を検出することを含む、ユーザーインターフェースオブジェクトに向けられた入力の第１の部分を検出することと、タッチ感知面において１つ以上の接触が検出されている間に、第１のジェスチャ認識基準と第２のジェスチャ認識基準の両方に関して１つ以上の接触の移動を評価することと、を含む。この方法は、また、入力の第１の部分を検出したことに応答して、入力の第１の部分に基づいてユーザーインターフェースオブジェクトの外観を更新することであり、入力の第１の部分が第２のジェスチャ認識基準を満たす前に第１のジェスチャ認識基準を満足するとの判定にしたがって、入力の第１の部分に基づいて第１のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変化させること、及び第２のジェスチャ認識基準の閾値を増大させることによって第２のジェスチャ認識基準を更新することと、入力が第１のジェスチャ認識基準を満たす前に第２のジェスチャ認識基準を満足するとの判定にしたがって、入力の第１の部分に基づいて第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変化させること、及び第１のジェスチャ認識基準の閾値を増大させることによって第１のジェスチャ認識基準を更新すること、を含む、ことを含む。 According to some embodiments, the method is performed on a computer system having a display generation component and a touch sensitive surface. The method includes, via a display generation component, a first object manipulation behavior performed in response to input satisfying a first gesture recognition criterion; and a first object manipulation behavior performed in response to input satisfying a second gesture recognition criterion. displaying a first user interface region that includes user interface objects associated with a plurality of object manipulation behaviors, including a second object manipulation behavior that includes a second object manipulation behavior; The method also includes detecting movement of one or more contacts across the touch-sensitive surface while displaying the first user interface area. detecting; and evaluating movement of the one or more contacts with respect to both a first gesture recognition criterion and a second gesture recognition criterion while the one or more contacts are detected at the touch-sensitive surface. ,including. The method also includes, in response to detecting the first portion of the input, updating the appearance of the user interface object based on the first portion of the input, wherein the first portion of the input is the first portion of the input. changing the appearance of the user interface object according to the first object manipulation behavior based on the first portion of the input in accordance with the determination that the first gesture recognition criterion is satisfied before the second gesture recognition criterion is satisfied; and updating the second gesture recognition criterion by increasing a threshold of the second gesture recognition criterion; and determining that the input satisfies the second gesture recognition criterion before satisfying the first gesture recognition criterion. Thus, changing the appearance of the user interface object according to the second object manipulation behavior based on the first portion of the input, and increasing the threshold of the first gesture recognition criterion. updating, including, including;
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上の入力デバイス、１つ以上の音声出力生成器、及び１つ以上のカメラを有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントを介して、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示することを含み、この表示することは、仮想オブジェクトの表現と、１つ以上のカメラの視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的関係を維持することを含む。この方法は、また、１つ以上のカメラの視野を調整するデバイスの移動を検出することを含む。この方法は、また、１つ以上のカメラの視野を調整するデバイスの移動を検出したことに応答して、１つ以上のカメラの視野が調整されるにつれて、仮想オブジェクトと１つ以上のカメラの視野内で検出されるプレーンとの間の第１の空間的関係にしたがって、第１のユーザーインターフェース領域内の仮想オブジェクトの表現の表示を調整することと、デバイスの移動が仮想オブジェクトの閾値量より大きな量を１つ以上のカメラの視野の表示部分の外部に移動させるとの判定にしたがって、１つ以上の音声出力生成器を介して、第１の音声警報を生成することと、を含む。 According to some embodiments, the method is performed on a computer system having a display generation component, one or more input devices, one or more audio output generators, and one or more cameras. The method includes displaying, via a display generation component, a representation of the virtual object in a first user interface area that includes a representation of the field of view of the one or more cameras, the displaying comprising: displaying a representation of the virtual object. and a plane detected within a physical environment captured within a field of view of the one or more cameras. The method also includes detecting movement of the device that adjusts the field of view of the one or more cameras. The method also includes, in response to detecting movement of the device that adjusts the field of view of the one or more cameras, the virtual object and the one or more cameras as the field of view of the one or more cameras is adjusted. adjusting the display of the representation of the virtual object in the first user interface area according to a first spatial relationship with a plane detected in the field of view; and generating, via the one or more audio output generators, a first audio alert in accordance with the determination that the large amount moves outside of a viewing portion of the field of view of the one or more cameras.
いくつかの実施形態によれば、電子デバイスは、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な姿勢の変化を検出する１つ以上の姿勢センサと、１つ以上のプロセッサと、１つ以上のプログラムを記憶したメモリとを含み、１つ以上のプログラムは、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書に記載する方法のうちのいずれかの動作を実行する、又はその実行を引き起こす命令を含む。いくつかの実施形態によれば、コンピュータ可読記憶媒体は、命令を記憶しており、これらの命令は、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な１つ以上の姿勢センサとを備えた電子デバイスによって実行されたときに、このデバイスに、本明細書に記載する方法のうちのいずれかの動作を実行させる、又はその実行を引き起こさせる。いくつかの実施形態によれば、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な１つ以上の姿勢センサと、メモリと、メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサとを備えた電子デバイスのグラフィカルユーザーインターフェースは、本明細書に記載する方法のうちのいずれかに記載するように、入力に応答して更新される本明細書に記載する方法のいずれかで表示される要素のうちの１つ以上を含む。いくつかの実施形態によれば、電子デバイスは、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な姿勢の変化を検出する１つ以上の姿勢センサと、本明細書に記載する方法のうちのいずれかの動作を実行する、又はその実行を引き起こす手段とを含む。いくつかの実施形態によれば、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な姿勢の変化を検出する１つ以上の姿勢センサとを備えた電子デバイスで使用される情報処理装置は、本明細書に記載する方法のうちのいずれかの動作を実行する、又はその実行を引き起こす手段を含む。 According to some embodiments, an electronic device includes a display generation component, optionally one or more input devices, optionally one or more touch-sensitive surfaces, and optionally one or more touch-sensitive surfaces. one or more sensors for detecting intensity of contact with the camera, optionally one or more audio output generators, and optionally one or more device orientations for detecting intensity of contact with the touch-sensitive surface. a sensor, optionally one or more tactile output generators, optionally one or more posture sensors for detecting changes in posture, one or more processors, and one or more stored programs. one or more programs configured to be executed by one or more processors, the one or more programs configured to perform any of the methods described herein. Contains instructions that execute or cause the execution of. According to some embodiments, a computer-readable storage medium stores instructions that connect the display generation component, the optional one or more input devices, and the optional one or more input devices. the touch-sensitive surface, optionally one or more cameras, one or more sensors that detect the intensity of contact with the optional touch-sensitive surface, and optionally one or more audio outputs. performed by an electronic device comprising a generator, optionally one or more device orientation sensors, optionally one or more tactile output generators, and optionally one or more orientation sensors. causes the device to perform or cause the performance of any of the methods described herein. According to some embodiments, a display generation component, optionally one or more input devices, optionally one or more touch-sensitive surfaces, and optionally one or more cameras; optionally one or more sensors for detecting intensity of contact with the touch-sensitive surface; optionally one or more audio output generators; optionally one or more device orientation sensors; optionally one or more tactile output generators, optionally one or more posture sensors, a memory, and one or more processors for executing one or more programs stored in the memory. A graphical user interface of an electronic device provided with elements displayed in any of the ways described herein that is updated in response to input as described in any of the ways described herein. including one or more of the following. According to some embodiments, an electronic device includes a display generation component, optionally one or more input devices, optionally one or more touch-sensitive surfaces, and optionally one or more touch-sensitive surfaces. one or more sensors for detecting intensity of contact with the camera, optionally one or more audio output generators, and optionally one or more device orientations for detecting intensity of contact with the touch-sensitive surface. a sensor, optionally one or more tactile output generators, optionally one or more posture sensors that detect a change in posture, and operation of any of the methods described herein. or means for causing the execution. According to some embodiments, a display generation component, optionally one or more input devices, optionally one or more touch-sensitive surfaces, and optionally one or more cameras; optionally one or more sensors for detecting intensity of contact with the touch-sensitive surface; optionally one or more audio output generators; optionally one or more device orientation sensors; An information processing apparatus for use in an electronic device comprising one or more selective tactile output generators and optionally one or more posture sensors for detecting changes in posture is described herein. means for performing or causing the performance of any of the methods.
したがって、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な１つ以上の姿勢センサとを備えた電子デバイスに、様々なコンテキストで仮想オブジェクトを表示するための改善された方法及びインターフェースが与えられ、これにより、これらのデバイスの有効性、効率、及びユーザー満足度が向上する。これらの方法及びインターフェースは、様々なコンテキストで仮想オブジェクトを表示する従来の方法を補完する、又はそれらに取って代わることができる。 Accordingly, a display generation component, an optional one or more input devices, an optional one or more touch-sensitive surfaces, an optional one or more cameras, and an optional touch-sensitive surface. one or more sensors for detecting the intensity of contact with the device; optionally one or more audio output generators; optionally one or more device orientation sensors; and optionally one or more device orientation sensors. An electronic device with a tactile output generator and optionally one or more pose sensors is provided with an improved method and interface for displaying virtual objects in a variety of contexts, thereby providing an improved method and interface for displaying virtual objects in a variety of contexts. device effectiveness, efficiency, and user satisfaction. These methods and interfaces can complement or replace traditional methods of displaying virtual objects in various contexts.
記載する様々な実施形態をより良好に理解するためには、以下で、全ての図面を通じて対応する部品を同じ参照番号で示す以下の図面と関連付けて、発明を実施するための形態を参照されたい。 For a better understanding of the various embodiments described, reference is made below to the Detailed Description of the Invention in conjunction with the following drawings in which corresponding parts are designated by the same reference numerals throughout all the drawings: .
仮想オブジェクトは、仮想環境における三次元オブジェクトのグラフィック表現である。仮想オブジェクトと対話して、仮想オブジェクトをアプリケーションユーザーインターフェース（例えば拡張現実環境を表示しない二次元アプリケーションユーザーインターフェース）のコンテキストに表示される状態から、拡張現実環境（例えば物理的世界では入手できない追加情報をユーザーに提供する補足情報によって物理的世界のビューを拡張する環境）のコンテキストに表示される状態に移行させる従来の方法は、複数の別個の入力（例えばジェスチャ及びボタン押圧のシーケンスなど）が所期の結果（例えば拡張現実環境において本物のように、又は望ましいように見えるように仮想オブジェクトのサイズ、場所及び／又は向きを調節するなど）をもたらすことを必要とすることが多い。更に、従来の入力方法は、拡張現実環境を表示することを求める要求を受信してから拡張現実環境を表示するまでに、１つ以上のデバイスカメラを起動して物理的世界のビューをキャプチャするのに必要な時間、並びに／又は拡張現実環境に置かれる可能性がある仮想オブジェクトに関連して物理的世界のビューを分析及び特徴づける（例えば物理的世界のキャプチャされたビュー内でプレーン及び／又は表面を検出する）のに必要な時間による遅延を伴うことが多い。本明細書の実施形態は、様々なコンテキストで仮想オブジェクトを表示し、かつ／又は（例えばアプリケーションユーザーインターフェースのコンテキストで仮想オブジェクトを表示する状態から拡張現実環境で仮想オブジェクトを表示する状態にスイッチングする入力をユーザーが提供できるようにすること、拡張現実環境に仮想オブジェクトを表示する前に（例えば三次元ステージング環境で）仮想オブジェクトの表示特性をユーザーが変更できるようにすること、ユーザーがシステム全体で複数のアプリケーションにわたって仮想オブジェクトを容易に識別できるようにする指示を提供すること、オブジェクトの配置情報を決定しながらオブジェクトの視覚特性を改変すること、較正に必要なデバイスの動きを示すアニメーション化された較正ユーザーインターフェースオブジェクトを提供すること、表示される仮想オブジェクトの軸の周りの回転を制約すること、第１のオブジェクトの操作挙動についての閾値移動大きさが満たされるときに第２のオブジェクトの操作挙動についての閾値移動大きさを増大させること、及び仮想オブジェクトが表示される視野の外に移動したことを示す音声警報を提供することなどによって）これらの仮想オブジェクトと対話する直観的な方法をユーザーに提供する。 A virtual object is a graphical representation of a three-dimensional object in a virtual environment. You can interact with virtual objects to provide additional information that is not available in the augmented reality environment (e.g., a two-dimensional application user interface that does not display an augmented reality environment) from the virtual object as it appears in the context of an application user interface (e.g., a two-dimensional application user interface that does not display an augmented reality environment). Traditional methods of transitioning to a state that is displayed in the context of an environment (an environment that augments the view of the physical world with supplementary information provided to the user) require multiple discrete inputs (e.g. sequences of gestures and button presses, etc.) results, such as adjusting the size, location, and/or orientation of virtual objects to appear realistic or desirable in an augmented reality environment. Additionally, traditional input methods include activating one or more device cameras to capture a view of the physical world between receiving a request to display an augmented reality environment and displaying the augmented reality environment. Analyze and characterize the view of the physical world in relation to the virtual objects that may be placed in the augmented reality environment (e.g. the plane and/or within the captured view of the physical world) or detecting the surface). Embodiments herein provide inputs for displaying virtual objects in various contexts and/or for switching from displaying virtual objects in the context of an application user interface to displaying virtual objects in an augmented reality environment (e.g., Allowing a user to modify the display characteristics of a virtual object before displaying it in an augmented reality environment (e.g., in a three-dimensional staging environment); providing instructions that allow virtual objects to be easily identified across applications; modifying visual characteristics of objects while determining object placement information; and animated calibrations that demonstrate device movements required for calibration. providing a user interface object; constraining rotation about an axis of a displayed virtual object; for the manipulation behavior of the second object when a threshold movement magnitude for the manipulation behavior of the first object is satisfied; Provide users with an intuitive way to interact with these virtual objects (such as by increasing the threshold movement magnitude of do.
本明細書に記載するシステム、方法、及びＧＵＩは、複数の方法で仮想／拡張現実環境とのユーザーインターフェース対話を改善する。例えば、本明細書に記載するシステム、方法、及びＧＵＩは、拡張現実環境に仮想オブジェクトを表示し、様々な入力に応じて、拡張現実環境に表示される仮想オブジェクトの見た目を調整することを容易にする。 The systems, methods, and GUIs described herein improve user interface interaction with virtual/augmented reality environments in multiple ways. For example, the systems, methods, and GUIs described herein facilitate displaying virtual objects in an augmented reality environment and adjusting the appearance of virtual objects displayed in the augmented reality environment in response to various inputs. Make it.
以下、図１Ａ～図１Ｂ、図２、及び図３は、例示的なデバイスの説明を提供する。図４Ａ～図４Ｂ、図５Ａ～図５ＡＴ、図６Ａ～図６ＡＪ、図７Ａ～図７Ｐ、図１１Ａ～図１１Ｖ、図１２Ａ～図１２Ｌ、図１３Ａ～図１３Ｍ、図１４Ａ～図１４Ｚ、及び図１５Ａ～図１５ＡＩは、様々なコンテキストで仮想オブジェクトを表示する例示的なユーザーインターフェースを示す図である。図８Ａ～図８Ｅは、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示するプロセスを示す図である。図９Ａ～図９Ｄは、第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示し、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示し、１つ以上のカメラの視野の表現によって仮想オブジェクトの第３の表現を表示するプロセスを示す図である。図１０Ａ～図１０Ｄは、アイテムが仮想三次元オブジェクトに対応することを示す視覚的な指示とともにアイテムを表示するプロセスを示す図である。図１６Ａ～図１６Ｇは、オブジェクト配置基準が満たされるかどうかに応じて異なる視覚特性を備えた仮想オブジェクトを表示するプロセスを示す図である。図１７Ａ～図１７Ｄは、デバイスの１つ以上のカメラの動きにしたがって動的にアニメーション化された較正ユーインオブジェクトを表示するプロセスを示す図である。図１８Ａ～図１８Ｉは、仮想オブジェクトの軸の周りの回転を制約するプロセスを示す図である。図１４ＡＡ～図１４ＡＤ及び図１９Ａ～図１９Ｈは、第１のオブジェクトの操作挙動について第１の閾値移動大きさが満たされるとの判定にしたがって、第２のオブジェクトの操作挙動について必要とされる第２の閾値移動大きさを増大させるプロセスを示す図である。図２０Ａ～図２０Ｆは、デバイスの動きによって仮想オブジェクトが１つ以上のデバイスカメラの表示される視野の外に移動するとの判定にしたがって、音声警報を生成するプロセスを示す図である。図５Ａ～図５ＡＴ、図６Ａ～図６ＡＪ、図７Ａ～図７Ｐ、図１１Ａ～図１１Ｖ、図１２Ａ～図１２Ｌ、図１３Ａ～図１３Ｍ、図１４Ａ～図１４Ｚ、及び図１５Ａ～図１５ＡＩのユーザーインターフェースを使用して、図８Ａ～図８Ｅ、図９Ａ～図９Ｄ、図１０Ａ～図１０Ｄ、図１４ＡＡ～図１４ＡＤ、図１６Ａ～図１６Ｇ、図１７Ａ～図１７Ｄ、図１８Ａ～図１８Ｉ、図１９Ａ～図１９Ｈ、及び図２０Ａ～図２０Ｆのプロセスを説明する。
例示的なデバイス
Below, FIGS. 1A-1B, 2, and 3 provide a description of exemplary devices. 4A to 4B, 5A to 5AT, 6A to 6AJ, 7A to 7P, 11A to 11V, 12A to 12L, 13A to 13M, 14A to 14Z, and 15A-15AI are illustrations of example user interfaces displaying virtual objects in various contexts. 8A-8E are diagrams illustrating a process of displaying a representation of a virtual object while switching from displaying a first user interface area to displaying a second user interface area. 9A-9D display a first representation of a virtual object in a first user interface area, display a second representation of the virtual object in a second user interface area, and display the field of view of one or more cameras. FIG. 4 is a diagram illustrating a process of displaying a third representation of a virtual object by a representation of . 10A-10D are diagrams illustrating a process for displaying an item with a visual indication that the item corresponds to a virtual three-dimensional object. 16A-16G are diagrams illustrating a process for displaying virtual objects with different visual characteristics depending on whether object placement criteria are met. 17A-17D are diagrams illustrating a process for displaying a dynamically animated calibration object according to the movement of one or more cameras of a device. 18A-18I are diagrams illustrating the process of constraining rotation about a virtual object's axis. FIGS. 14AA to 14AD and FIGS. 19A to 19H show the required change in the operational behavior of the second object according to the determination that the first threshold movement magnitude is satisfied for the operational behavior of the first object. FIG. 2 is a diagram illustrating a process of increasing the threshold shift magnitude of 2; 20A-20F are diagrams illustrating a process for generating an audio alert in accordance with a determination that device movement causes a virtual object to move outside the displayed field of view of one or more device cameras. Users of Figures 5A to 5AT, Figures 6A to 6AJ, Figures 7A to 7P, Figures 11A to 11V, Figures 12A to 12L, Figures 13A to 13M, Figures 14A to 14Z, and Figures 15A to 15AI 8A-8E, 9A-9D, 10A-10D, 14AA-14AD, 16A-16G, 17A-17D, 18A-18I, 19A The processes in FIGS. 19H to 19H and 20A to 20F will be described.
exemplary device
次に、添付の図面にその実施例を示す実施形態を詳細に参照する。以下の詳細な説明では、記載する様々な実施形態が完全に理解されるように、多数の具体的な詳細を記載する。しかし、記載する様々な実施形態は、これらの具体的な詳細がなくても実施することができることは、当業者には明らかであろう。その他、周知の方法、手順、コンポーネント、回路、及びネットワークについては、実施形態の態様を不要に曖昧にしないよう、詳細には説明しない。 Reference will now be made in detail to the embodiments, examples of which are illustrated in the accompanying drawings. In the detailed description that follows, numerous specific details are set forth to provide a thorough understanding of the various embodiments described. However, it will be apparent to those skilled in the art that the various described embodiments may be practiced without these specific details. In other instances, well-known methods, procedures, components, circuits, and networks have not been described in detail so as not to unnecessarily obscure aspects of the embodiments.
本明細書では、一部の例において第１、第２などの用語を使用して様々な要素を説明するが、これらの要素は、これらの用語によって限定されないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用されているものである。例えば、記載する様々な実施形態の範囲を逸脱することなく、第１の接点は、第２の接点と称することもでき、同様に、第２の接点を第１の接点と称することもできる。第１の接点及び第２の接点は両方とも接点であるが、文脈が明らかにそうでないことを示していない限り、両者は同じ接点ではない。 Although various elements are described herein using the terms first, second, etc. in some examples, it will also be understood that these elements are not limited by these terms. These terms are only used to distinguish one element from another. For example, a first contact may be referred to as a second contact, and similarly, a second contact may be referred to as a first contact without departing from the scope of the various embodiments described. Although the first contact and the second contact are both contacts, they are not the same contact unless the context clearly indicates otherwise.
本明細書に記載する様々な実施形態の説明で使用する用語は、特定の実施形態を説明することのみを目的とするものであり、限定することを意図したものではない。記載する様々な実施形態の説明及び添付の特許請求の範囲で使用する単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が明らかにそうでないことを示していない限り、複数形も含むものとして意図されている。また、本明細書で使用する「及び／又は」という用語は、関連する列挙したアイテムのうちの１つ以上の任意の全ての可能な組合せを指し、これらを含むことも理解されたい。更に、本明細書で使用する「含む」、「含み」、「備える」、及び／又は「備え」という用語は、記載する特徴、整数、ステップ、動作、要素、及び／又は構成要素が存在することは指定するが、１つ以上のその他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループが存在すること、又は追加されることを除外しないことも理解されるであろう。 The terminology used in the description of various embodiments herein is for the purpose of describing particular embodiments only and is not intended to be limiting. As used in the description of the various described embodiments and the appended claims, the singular forms "a," "an," and "the" also include the plural forms unless the context clearly dictates otherwise. is intended to include. It is also to be understood that the term "and/or" as used herein refers to and includes any and all possible combinations of one or more of the associated listed items. Furthermore, as used herein, the terms "comprising," "including," "comprising," and/or "comprising" refer to the presence of the recited feature, integer, step, act, element, and/or component. It is also understood that specifying that, does not exclude the presence or addition of one or more other features, integers, steps, operations, elements, components, and/or groups thereof. Probably.
本明細書で使用する「～場合」という用語は、任意選択的に、文脈に応じて「～とき」、又は「～すると」、又は「～と判定したことに応答して」、又は「～を検出したことに応答して」を意味するものと解釈される。同様に、「～と判定された場合」又は「（記載する条件又はイベント）が検出された場合」という表現は、任意選択的に、文脈に応じて「～と判定すると」、又は「～と判定したことに応答して」、又は「（記載する条件又はイベント）が検出されると」、又は「（記載する条件又はイベント）を検出したことに応答して」を意味するものと解釈される。 As used herein, the term "if" optionally means "when," "in response to," or "in response to a determination that," or "in response to," depending on the context. "in response to the detection of the Similarly, the expressions "if it is determined that" or "if (the described condition or event) is detected" may optionally be used as "if it is determined that" or "if (the described condition or event) is detected," depending on the context. or “in response to the detection of (the described condition or event)” or “in response to the detection of (the described condition or event).” Ru.
電子デバイス、それらのデバイスのユーザーインターフェース、及びそれらのデバイスを使用するための関連するプロセスの実施形態を記載する。いくつかの実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ社製のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）といったデバイスを含むが、これらに限定されない。タッチ感知面（例えばタッチスクリーンディスプレイ及び／又はタッチパッド）を有するラップトップ又はタブレットコンピュータなど、他のポータブル電子デバイスも、任意選択的に使用される。また、いくつかの実施形態では、デバイスは、ポータブル通信デバイスではなく、タッチ感知面（例えばタッチスクリーンディスプレイ及び／又はタッチパッド）を有するデスクトップコンピュータであることも理解されたい。 Embodiments of electronic devices, user interfaces for those devices, and associated processes for using the devices are described. In some embodiments, the device is a portable communication device, such as a mobile phone, that also includes other functionality, such as PDA functionality and/or music player functionality. Exemplary embodiments of portable multifunction devices include, but are not limited to, devices such as the iPhone®, iPod Touch®, and iPad® manufactured by Apple Inc. of Cupertino, California, USA. . Other portable electronic devices, such as laptops or tablet computers with touch-sensitive surfaces (eg, touch screen displays and/or touch pads), are also optionally used. It should also be understood that in some embodiments, the device is a desktop computer with a touch-sensitive surface (eg, a touch screen display and/or touch pad) rather than a portable communication device.
以下の説明では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかし、電子デバイスは、任意選択的に、物理的キーボード、マウス、及び／又はジョイスティックなどの１つ以上の他の物理的ユーザーインターフェースデバイスを含むことを理解されたい。 The following description describes electronic devices that include displays and touch-sensitive surfaces. However, it should be understood that the electronic device optionally includes one or more other physical user interface devices, such as a physical keyboard, mouse, and/or joystick.
デバイスは、一般に、メモ取りアプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、ビデオ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレイヤアプリケーション及び／又はデジタルビデオプレイヤアプリケーションのうちの１つ以上など、様々なアプリケーションをサポートする。 Devices typically include note-taking applications, drawing applications, presentation applications, word processing applications, website creation applications, disc authoring applications, spreadsheet applications, gaming applications, telephone applications, video conferencing applications, email applications, instant messaging applications, Various applications are supported, such as one or more of a training support application, a photo management application, a digital camera application, a digital video camera application, a web browsing application, a digital music player application, and/or a digital video player application.
このデバイスで実行される様々なアプリケーションは、任意選択的に、タッチ感知面などの少なくとも１つの共通の物理的ユーザーインターフェースデバイスを使用する。タッチ感知面の１つ以上の機能、並びにデバイスに表示される対応する情報は、任意選択的に、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、調節及び／又は変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザーにとって直観的かつ透過的なユーザーインターフェースを備える様々なアプリケーションをサポートする。 The various applications running on the device optionally use at least one common physical user interface device, such as a touch-sensitive surface. One or more functions of the touch-sensitive surface and corresponding information displayed on the device are optionally adjusted and/or changed from application to application and/or within each application. In this way, a common physical architecture of the device (such as a touch-sensitive surface) supports a variety of applications, optionally with a user interface that is intuitive and transparent to the user.
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注目する。図１Ａは、いくつかの実施形態による、タッチ感知ディスプレイシステム１１２を備えるポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイシステム１１２は、便宜上「タッチスクリーン」と呼ばれることもあり、単にタッチ感知ディスプレイと呼ばれることもある。デバイス１００は、メモリ１０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インターフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、その他の入力又は制御デバイス１１６、及び外部ポート１２４を含む。デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。デバイス１００は、任意選択的に、デバイス１００（例えばデバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）上の接触の強度を検出する１つ以上の強度センサ１６５を含む。デバイス１００は、任意選択的に、デバイス１００上で触知出力を生成する（例えばデバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上で触知出力を生成する）１つ以上の触知出力生成器１６７を含む。これらのコンポーネントは、任意選択的に、１つ以上の通信バス又は信号ライン１０３を介して通信する。
Attention is now directed to embodiments of portable devices that include touch-sensitive displays. FIG. 1A is a block diagram illustrating a
デバイス１００は、ポータブル多機能デバイスの１実施例に過ぎず、デバイス１００は、任意選択的に、示しているよりコンポーネントの数が多い、若しくは少ないことも、任意選択的に、２つ以上のコンポーネントを組みあわせることも、又は、任意選択的に、コンポーネントの異なる構成若しくは配置を有することもあることを理解されたい。図１Ａに示す様々なコンポーネントは、１つ以上の信号処理回路及び／又は特定用途向け集積回路など、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組合せで実装される。
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性固体状態メモリデバイスなどの不揮発性メモリも含む。ＣＰＵ（単数又は複数）１２０及び周辺機器インターフェース１１８などデバイス１００の他のコンポーネントによるメモリ１０２へのアクセスは、任意選択的に、メモリコントローラ１２２によって制御される。
Memory 102 optionally includes high speed random access memory, and optionally also non-volatile memory, such as one or more magnetic disk storage devices, flash memory devices, or other non-volatile solid state memory devices. include. Access to memory 102 by other components of
周辺機器インターフェース１１８を使用して、デバイスの入力及び出力周辺機器を、ＣＰＵ（単数又は複数）１２０及びメモリ１０２に結合することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる、又は実行して、デバイス１００のための様々な機能を実行し、データを処理する。
いくつかの実施形態では、周辺機器インターフェース１１８、ＣＰＵ（単数又は複数）１２０、及びメモリコントローラ１２２は、任意選択的に、チップ１０４などの単一チップ上に実装される。いくつかの他の実施形態では、それらは、任意選択的に、別々のチップ上に実装される。
In some embodiments,
ＲＦ（radio frequency、高周波）回路１０８は、電磁信号とも呼ばれるＲＦ信号を受信及び送信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらに限定されるわけではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（ＳＩＭ）カード、及びメモリなど、これらの機能を実行する周知の回路を含む。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。無線通信は、任意選択的に、これらに限定されるわけではないが、移動通信用のグローバルシステム（Global System for Mobile Communication、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケット接続（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケット接続（high-speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ、Ｄａｔａ－Ｏｎｌｙ（ＥＶ－ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（ＤＣ－ＨＳＰＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離無線通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ－ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ－Ｆｉ）（例えばＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ａｃ、ＩＥＥＥ ８０２．１１ａｘ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、及び／又はＩＥＥＥ ８０２．１１ｎ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ－ＭＡＸ、電子メール用プロトコル（例えばインターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／又はポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and presence protorol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンスレバレッジング拡張用セッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、並びに／若しくはショートメッセージサービス（Short Message Service、ＳＭＳ）など、複数の通信規格、プロトコル、及び技術のうちのいずれか、又は本文書の出願日現在でまだ開発されていない通信プロトコルを含む任意のその他の適当な通信プロトコルを使用する。
RF (radio frequency)
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザーとデバイス１００との間のオーディオインターフェースを提供する。オーディオ回路１１０は、周辺機器インターフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に伝送する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。また、オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インターフェース１１８に伝送する。オーディオデータは、任意選択的に、周辺機器インターフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、かつ／又はメモリ１０２及び／若しくはＲＦ回路１０８に伝送される。いくつかの実施形態では、オーディオ回路１１０は、ヘッドセットジャック（例えば図２の２１２）も含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば片耳又は両耳用のヘッドホン）及び入力（例えばマイクロフォン）の両方を有するヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインターフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチ感知ディスプレイシステム１１２及びその他の入力又は制御デバイス１１６などのデバイス１００上の入出力周辺機器を周辺機器インターフェース１１８に結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び他の入力又は制御デバイスのための１つ以上の入力コントローラ１６０を含む。この１つ以上の入力コントローラ１６０は、他の入力又は制御デバイス１１６から電気信号を受信し、それらに電気信号を送信する。その他の入力又は制御デバイス１１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。一部の代替の実施形態では、入力コントローラ（単数又は複数）１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、スタイラス、及び／又はマウスなどのポインタデバイスのうちのいずれかと結合される（又は、いずれにも結合されない）。１つ以上のボタン（例えば図２の２０８）は、任意選択的に、スピーカ１１１及び／又はマイクロフォン１１３のボリューム制御のためのアップ／ダウンボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば図２の２０６）を含む。
I/
タッチ感知ディスプレイシステム１１２は、デバイスとユーザーとの間の入力インターフェース及び出力インターフェースを提供する。ディスプレイコントローラ１５６は、タッチ感知ディスプレイシステム１１２から電気信号を受信し、かつ／又はタッチ感知ディスプレイシステム１１２に電気信号を送信する。タッチ感知ディスプレイシステム１１２は、ユーザーに視覚出力を表示する。視覚出力は、任意選択的に、グラフィック、テキスト、アイコン、ビデオ、及びこれらの任意の組合せ（「グラフィック」と総称する）を含む。いくつかの実施形態では、視覚出力の一部又は全ては、ユーザーインターフェースオブジェクトに対応する。本明細書で使用する「アフォーダンス」という用語は、ユーザー対話型のグラフィカルユーザーインターフェースオブジェクト（例えばそのグラフィカルユーザーインターフェースオブジェクトに向けられた入力に対して応答するように構成されたグラフィカルユーザーインターフェースオブジェクト）を指す。ユーザー対話型のグラフィカルユーザーインターフェースオブジェクトの例としては、これらに限定されるわけではないが、ボタン、スライダ、アイコン、選択可能メニューアイテム、スイッチ、ハイパーリンク、又はその他のユーザーインターフェース制御が挙げられる。
Touch
タッチ感知ディスプレイシステム１１２は、触覚及び／又は触知接触に基づくユーザーからの入力を受け付けるタッチ感知面、センサ、又はセンサセットを有する。タッチ感知ディスプレイシステム１１２及びディスプレイコントローラ１５６（任意の関連するモジュール及び／又はメモリ１０２内の命令セットも含む）は、タッチ感知ディスプレイシステム１１２上の接触（及びその接触の任意の動き又は中断）を検出し、検出した接触をタッチ感知ディスプレイシステム１１２に表示されるユーザーインターフェースオブジェクト（例えば１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との対話に変換する。いくつかの実施形態では、タッチ感知ディスプレイシステム１１２とユーザーとの間の接触点は、ユーザーの指又はスタイラスに対応する。
Touch-
タッチ感知ディスプレイシステム１１２は、任意選択的に、ＬＣＤ（liquid crystal display、液晶ディスプレイ）技術、ＬＰＤ（light emitting polymer display、発光ポリマーディスプレイ）技術、又はＬＥＤ（light emitting diode、発光ダイオード）技術を使用するが、他の実施形態では、他の表示技術を使用する。タッチ感知ディスプレイシステム１１２及びディスプレイコントローラ１５６は、任意選択的に、これらに限定されるわけではないが、静電容量技術、抵抗性技術、赤外線技術、及び表面音響波技術、並びにタッチ感知ディスプレイシステム１１２との１つ以上の接触点を決定するその他の近接センサレイ又は他の要素など、現在既知の、又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触と、接触の任意の動き又は中断とを検出する。いくつかの実施形態では、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ社製のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）などの、投影型相互静電容量感知技術が使用される。
Touch-
タッチ感知ディスプレイシステム１１２は、任意選択的に、１００ｄｐｉを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンのビデオ解像度は、４００ｄｐｉを超える（例えば５００ｄｐｉ、８００ｄｐｉ、又はそれより高い）。ユーザーは、任意選択的に、スタイラス、指などの任意の好適なオブジェクト又は付属物を使用して、タッチ感知ディスプレイシステム１１２に接触する。いくつかの実施形態では、ユーザーインターフェースは、指による接触及びジェスチャで機能するように設計されるが、指による接触及びジェスチャは、指がタッチスクリーンと接触する面積が大きいために、スタイラスによる入力よりも精度が低くなる可能性がある。いくつかの実施形態では、デバイスは、指による粗い入力を、精密なポインタ／カーソル位置、又はユーザーの望むアクションを実行するコマンドに変換する。
Touch
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッド（図示せず）を含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチ感知ディスプレイシステム１１２から分離したタッチ感知面、又はタッチスクリーンによって形成されるタッチ感知面の延長部である。
In some embodiments, in addition to a touch screen,
デバイス１００は、また、様々なコンポーネントに電力を供給する電力システム１６２を含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えばバッテリ、交流（ＡＣ））、再充電システム、電源異常検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば発光ダイオード（ＬＥＤ））、並びにポータブルデバイスにおける電力の生成、管理及び分配に関連するその他の任意のコンポーネントを含む。
また、デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に結合された光センサを示している。光センサ１６４（単数又は複数）は、任意選択的に、電荷結合デバイス（charge-coupled device、ＣＣＤ）又は相補的金属酸化物半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）フォトトランジスタを含む。光センサ１６４（単数又は複数）は、１つ以上のレンズを通じて投影される環境からの光を受光し、この光を画像を表すデータに変換する。撮像モジュール１４３（カメラモジュールとも呼ばれる）と協働して、光センサ（単数又は複数）１６４は、任意選択的に、静止画像及び／又はビデオをキャプチャする。いくつかの実施形態では、光センサを、デバイスの前面上のタッチ感知ディスプレイシステム１１２の反対側のデバイス１００の背面上に位置付けて、タッチスクリーンを静止画像及び／又はビデオ画像取得を取得するビューファインダとして使用することができるようにする。いくつかの実施形態では、別の光センサを、デバイスの前面に位置付けて、ユーザーの画像が取得されるようにする（例えば自撮りのため、ユーザーがビデオ会議に参加しながらタッチスクリーン上で他のビデオ会議参加者を見るためなど）。
また、デバイス１００は、任意選択的に、１つ以上の接触強度センサ１６５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された接触強度センサを示している。接触強度センサ（単数又は複数）１６５は、任意選択的に、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又はその他の強度センサ（例えばタッチ感知面上の接触の力（又は圧力）を測定するために使用されるセンサ）を含む。接触強度センサ（単数又は複数）１６５は、環境から接触強度情報（例えば圧力情報又は圧力情報の代わりになるもの）を受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接している。いくつかの実施形態では、少なくとも１つの接触強度センサは、デバイス１００の前面上に位置するタッチスクリーンディスプレイシステム１１２の反対側のデバイス１００の背面上に位置する。
また、デバイス１００は、任意選択的に、１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インターフェース１１８に結合された近接センサ１６６を示している。あるいは、近接センサ１６６は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。いくつかの実施形態では、多機能デバイスがユーザーの耳の近くに配置されているとき（例えばユーザーが電話しているとき）に、近接センサは、タッチ感知ディスプレイシステム１１２をオフにして、使用不可状態にする。
また、デバイス１００は、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された触知出力生成器を示している。いくつかの実施形態では、触知出力生成器（単数又は複数）１６７は、スピーカ若しくはその他のオーディオコンポーネントなどの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ若しくはその他の触知出力生成コンポーネント（例えば電気信号をデバイス上での触知出力に変換するコンポーネント）などのエネルギーを直線状の動きに変換する電気機械デバイスを含む。触知出力生成器（単数又は複数）１６７は、触覚フィードバックモジュール１３３から触知フィードバック生成命令を受信し、デバイス１００のユーザーが感知できる触知出力をデバイス１００上で生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向に（例えばデバイス１００の表面の内／外に）、又は横方向に（例えばデバイス１００の表面と同じプレーン内で前後に）移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス１００の前面上に位置するタッチ感知ディスプレイシステム１１２の反対側のデバイス１００の背面上に位置する。
また、デバイス１００は、任意選択的に、１つ以上の加速度計１６８を含む。図１Ａは、周辺機器インターフェース１１８に結合された加速度計１６８を示している。あるいは、加速度計１６８は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。いくつかの実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、タッチスクリーンディスプレイに横長表示又は縦長表示で表示される。デバイス１００は、任意選択的に、加速度計（単数又は複数）１６８に加えて、磁気計（図示せず）並びにデバイス１００の位置及び向き（例えば縦長又は横長）に関する情報を取得するＧＰＳ（又はＧＬＯＮＡＳＳ若しくはその他のグローバルナビゲーションシステム）受信機（図示せず）を含む。
いくつかの実施形態では、メモリ１０２に記憶されたソフトウェアコンポーネントは、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、触覚フィードバックモジュール（又は命令セット）１３３、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System、ＧＰＳ）モジュール（又は命令セット）１３５、及びアプリケーション（又は命令セット）１３６を含む。更に、いくつかの実施形態では、図１Ａ及び図３に示すように、メモリ１０２は、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示す、アクティブアプリケーション状態、タッチ感知ディスプレイシステム１１２の様々な領域を、どんなアプリケーション、ビュー、又はその他の情報が占有しているかを示す表示状態、デバイスの様々なセンサ及びその他の入力又は制御デバイス１１６から取得される情報を含むセンサ状態、並びにデバイスの位置及び／又は姿勢に関する位置及び／又は姿勢情報、のうちの１つ以上を含む。
In some embodiments, the software components stored in memory 102 include an
オペレーティングシステム１２６（例えばｉＯＳ、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ（登録商標）、ＯＳ Ｘ、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓなどの組み込みオペレーティングシステム）は、全体的なシステムタスク（例えばメモリ管理、記憶デバイス制御、電力管理など）を制御及び管理する様々なソフトウェアコンポーネント及び／又はドライバを含み、様々なハードウェアコンポーネントとソフトウェアコンポーネントとの間の通信を円滑化する。 Operating system 126 (e.g., an embedded operating system such as iOS, Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS, or VxWorks) performs overall system tasks (e.g., memory management, storage devices, etc.). control, power management, etc.) and facilitate communication between various hardware and software components.
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を円滑化し、また、ＲＦ回路１０８及び／又は外部ポート１２４が受信するデータを処理する様々なソフトウェアコンポーネントも含む。外部ポート１２４（例えばユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに連結するように適合されている。いくつかの実施形態では、外部ポートは、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ社製のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）といったいくつかのデバイスで使用される３０ピンコネクタと同じである、又はこれに類似している、及び／又はこれと互換性のあるマルチピン（例えば３０ピン）コネクタである。いくつかの実施形態では、外部ポートは、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ社製のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）といったいくつかのデバイスで使用されるＬｉｇｈｔｎｉｎｇコネクタと同じである、又はこれに類似している、及び／又はこれと互換性のあるＬｉｇｈｔｎｉｎｇコネクタである。
接触／動きモジュール１３０は、任意選択的に、タッチ感知ディスプレイシステム１１２との接触を（ディスプレイコントローラ１５６と協働して）検出し、また他のタッチ感知デバイス（例えばタッチパッド又は物理クリックホイール）との接触を検出する。接触／動きモジュール１３０は、接触が発生したかを判定する（例えば指が下りるイベントを検出する）、接触の強度（例えば接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定する、接触の移動があるかを判定してタッチ感知面にわたるその移動を追跡する（例えば１つ以上の指のドラッグイベントを検出する）、接触が終了したかどうかを判定する（例えば指が上がるイベント又は接触の中断を検出する）など、（例えば指又はスタイラスによる）接触の検出に関連する様々な動作を実行する様々なソフトウェアコンポーネントを含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を決定することを含む。これらの動作は、任意選択的に、個別の接触（例えば１本の指による接触又は１つのスタイラスによる接触）、又は複数の同時接触（例えば「マルチタッチ」／複数本の指による接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
Contact/
接触／動きモジュール１３０は、任意選択的に、ユーザーによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、及び／又は強度が異なる）。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指のタップジェスチャの検出は、（例えばアイコンの位置で）指が下りるイベントを検出した後に、指が下りるイベントと同じ位置（又は実質的に同じ位置）で指が上がる（リフトオフ）イベントを検出することを含む。別の実施例では、タッチ感知面上の指のスワイプジェスチャの検出は、指が下りるイベントを検出した後に、１つ以上の指のドラッグイベントを検出し、その後に、指が上がる（リフトオフ）イベントを検出することを含む。スタイラスについても同様に、タップ、スワイプ、ドラッグ、及びその他のジェスチャは、任意選択的に、そのスタイラスについての特定の接触パターンを検出することによって検出される。
Touch/
いくつかの実施形態では、指のタップジェスチャの検出は、指が下りるイベントを検出してから指が上がるイベントを検出するまでの時間の長さに依存するが、指が下りるイベントを検出してから指が上がるイベントを検出するまでの間の指の接触の強度には左右されない。いくつかの実施形態では、タップジェスチャは、タップ中の指の接触の強度が、軽い押圧又は深い押圧の強度閾値など所与の強度閾値（公称接触検出強度閾値よりも大きい）を満たすかどうかに関わりなく、指が下りるイベントから指が上がるイベントまでの間の時間の長さが所定の値よりも小さい（例えば０．１秒、０．２秒、０．３秒、０．４秒、又は０．５秒よりも短い）との判定にしたがって検出される。したがって、指のタップジェスチャは、その特定の入力基準が満たされるために接触の特性強度が所与の強度閾値を満たすことを必要としない、特定の入力基準を満たせばよい。明確にするために、指が下りるイベントが検出されるためには、タップジェスチャにおける指の接触は、通常は、それを下回ると接触が検出されない公称接触検出強度閾値を満たす必要がある。同様の分析は、スタイラスによる接触またはその他の接触によるタップジェスチャの検出にも当てはまる。デバイスがタッチ感知面上をホバリングする指又はスタイラスの接触を検出することができる場合には、公称接触検出強度閾値は、任意選択的に、指又はスタイラスとタッチ感知面との間の物理的接触に対応しない。 In some embodiments, detection of a finger tap gesture depends on the length of time between detecting a finger down event and detecting a finger up event, but detecting a finger down event It does not depend on the strength of the finger contact between when the finger is raised and when the finger lift event is detected. In some embodiments, the tap gesture depends on whether the intensity of the finger contact during the tap meets a given intensity threshold (greater than a nominal contact detection intensity threshold), such as a light press or deep press intensity threshold. Regardless, the length of time between the finger down event and the finger up event is less than a predetermined value (e.g. 0.1 seconds, 0.2 seconds, 0.3 seconds, 0.4 seconds, or 0.5 seconds). Thus, a finger tap gesture need only satisfy a particular input criterion without requiring that the characteristic intensity of the contact meet a given intensity threshold for that particular input criterion to be met. To be clear, in order for a finger down event to be detected, a finger contact in a tap gesture must typically meet a nominal contact detection strength threshold below which the contact will not be detected. A similar analysis applies to the detection of tap gestures by stylus or other contacts. If the device is capable of detecting the contact of a finger or stylus hovering over a touch-sensitive surface, the nominal touch detection strength threshold is optionally determined by physical contact between the finger or stylus and the touch-sensitive surface. does not correspond to
同じ概念が、他のタイプのジェスチャにも同様に当てはまる。例えば、スワイプジェスチャ、ピンチジェスチャ、デピンチジェスチャ、及び／又は長押しジェスチャは、任意選択的に、ジェスチャに含まれる接触の強度と無関係であるか、又はジェスチャを行う接触（単数又は複数）が認識されるのに強度閾値に到達することを必要としない基準が満たされることに基づいて、検出される。例えば、スワイプジェスチャは、１つ以上の接触の移動量に基づいて検出され、ピンチジェスチャは、２つ以上の接触の互いに向かう移動に基づいて検出され、デピンチジェスチャは、２つ以上の接触の互いに遠ざかる移動に基づいて検出され、長押しジェスチャは、移動量が閾値移動量未満であるタッチ感知面上の接触の持続時間に基づいて検出される。したがって、特定のジェスチャ認識基準が、その特定のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としないという記述は、ジェスチャにおける接触（単数又は複数）がそれぞれの強度閾値に達しない場合にもその特定のジェスチャ認識基準を満たすことができ、またジェスチャにおける接触のうちの１つ以上がそれぞれの強度閾値に達しない、又はそれを超えない状況でも満たすことができることを意味している。いくつかの実施形態では、タップジェスチャは、接触が所定の期間中にそれぞれの強度閾値を上回る又は下回るかどうか関わらず、指が下りるイベント及び指が上がるイベントがその所定の期間内に検出されたとの判定に基づいて検出され、スワイプジェスチャは、接触の移動の終わりにその接触がそれぞれの強度閾値を上回る場合でも、接触の移動が所定の大きさよりも大きいとの判定に基づいて検出される。ジェスチャの検出が、ジェスチャを行う接触の強度の影響を受ける実施態様（例えば、デバイスが、接触の強度が強度閾値を上回るときには早めに長押しを検出する、又は接触の強度が高いときにはタップ入力の検出を遅らせる）でも、接触が特定の強度閾値に達しない状況でそのジェスチャを認識する基準を満たすことができる限り（例えば、ジェスチャを認識するためにかかる時間の長さが変化する場合でも）、これらのジェスチャの検出は、接触が特定の強度閾値に到達することを必要としない。 The same concept applies to other types of gestures as well. For example, swipe gestures, pinch gestures, depinch gestures, and/or press and hold gestures are optionally independent of the intensity of the contact involved in the gesture, or the contact(s) making the gesture is recognized. detection is based on a criterion being met that does not require an intensity threshold to be reached in order to be detected. For example, a swipe gesture is detected based on the amount of movement of one or more contacts, a pinch gesture is detected based on the movement of two or more contacts toward each other, and a de-pinch gesture is detected based on the amount of movement of two or more contacts. A long press gesture is detected based on the movement away from each other, and a long press gesture is detected based on the duration of contact on the touch-sensitive surface where the amount of movement is less than a threshold amount of movement. Therefore, a statement that a particular gesture recognition criterion does not require that the intensity of the contact(s) meet a respective intensity threshold for the particular gesture recognition criterion to be met does not mean that the contact(s) in the gesture a particular gesture recognition criterion can be met even if the contacts in the gesture do not reach or exceed the respective intensity threshold. However, it means that it can be fulfilled. In some embodiments, a tap gesture occurs when a finger down event and a finger up event are detected within a predetermined time period, regardless of whether the contact is above or below a respective intensity threshold during the predetermined time period. A swipe gesture is detected based on a determination that the contact movement is greater than a predetermined magnitude, even if at the end of the contact movement the contact exceeds a respective intensity threshold. Implementations in which gesture detection is influenced by the intensity of the contact that makes the gesture (e.g., the device detects a long press earlier when the intensity of the contact is above an intensity threshold, or the device detects a long press earlier when the intensity of the contact is above an intensity threshold, or delay detection), as long as the criteria for recognizing that gesture can be met in situations where the touch does not reach a certain intensity threshold (e.g., even if the length of time it takes to recognize the gesture changes). Detection of these gestures does not require the touch to reach a particular intensity threshold.
いくつかの状況では、接触強度閾値、持続時間閾値、及び移動閾値を、様々に異なる組合せで組み合わせて、同じ入力要素又は領域に向けられた２つ以上の異なるジェスチャを区別するヒューリスティックスを作成して、同じ入力要素との複数の異なる対話によってより豊かなユーザー対話及び応答のセットを提供することができるようにする。ジェスチャ認識基準の特定のセットが、その特定のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としないという記述は、ジェスチャがそれぞれの強度閾値を超える強度を有する接触を含むときに満たされる基準を有する他のジェスチャを識別するための他の強度に依存するジェスチャ認識基準をそれと同時に評価することを排除しない。例えば、いくつかの状況では、そのジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としない第１のジェスチャの第１のジェスチャ認識基準が、接触（単数又は複数）がそれぞれの強度閾値に到達することに依存する第２のジェスチャの第２のジェスチャ認識基準と競合する。このような競合時には、ジェスチャは、任意選択的に、第２のジェスチャの第２のジェスチャ認識基準が先に満たされた場合には、第１のジェスチャの第１のジェスチャ認識基準を満足しているものとは認識されない。例えば、接触が所定の移動量を移動する前にそれぞれの強度閾値に達した場合には、スワイプジェスチャではなく深押しジェスチャが検出される。逆に、接触が所定の移動量を移動した後でそれぞれの強度閾値に達した場合には、深押しジェスチャではなくスワイプジェスチャが検出される。このような状況でも、やはり、第１のジェスチャの第１のジェスチャ認識基準は、第１のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としない。これは、ジェスチャの終わりまで接触がそれぞれの強度閾値を下回ったままであったとしたら（例えばそれぞれの強度閾値を上回る強度まで増大しない接触を有するスワイプジェスチャの場合）、そのジェスチャは、第１のジェスチャ認識基準によってスワイプジェスチャとして認識されているはずであるからである。したがって、その特定のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としない特定のジェスチャ認識基準は、（Ａ）いくつかの状況では、（例えばタップジェスチャの）強度閾値に関して接触の強度を無視し、かつ／又は（Ｂ）いくつかの状況では、競合する強度依存ジェスチャ認識基準（例えば長押しジェスチャの認識基準）のセットがある入力を強度依存ジェスチャに対応するものとして認識した後で、その特定のジェスチャ認識基準がその入力に対応するジェスチャ（例えば深押しジェスチャと認識をめぐって競合する長押しジェスチャ）を認識した場合には、その特定のジェスチャ認識基準（例えば長押しジェスチャの認識基準）が満たされないという意味で、依然として強度閾値に関して接触の強度に依存する。 In some situations, contact intensity thresholds, duration thresholds, and movement thresholds may be combined in different combinations to create heuristics that distinguish between two or more different gestures directed at the same input element or region. , allowing multiple different interactions with the same input element to provide a richer set of user interactions and responses. A statement that a particular set of gesture recognition criteria does not require that the intensity of the contact(s) meet the respective intensity threshold for the particular set of gesture recognition criteria to be met means that the gesture does not meet the respective intensity threshold. It does not preclude simultaneously evaluating other intensity-dependent gesture recognition criteria for identifying other gestures whose criteria are met when they involve a contact with an intensity greater than . For example, in some situations, a first gesture recognition criterion for a first gesture that does not require the intensity of the contact(s) to meet a respective intensity threshold for that gesture recognition criterion to be satisfied. A second gesture recognition criterion for a second gesture that depends on the contact(s) reaching a respective intensity threshold. Upon such a conflict, a gesture may optionally satisfy the first gesture recognition criterion of the first gesture if the second gesture recognition criterion of the second gesture is satisfied first. It is not recognized as being present. For example, a deep press gesture rather than a swipe gesture is detected if the contact reaches the respective intensity threshold before moving a predetermined amount of travel. Conversely, if the contact reaches the respective intensity threshold after moving a predetermined amount of travel, a swipe gesture rather than a deep press gesture is detected. In such a situation, the first gesture recognition criterion for the first gesture still requires that the intensity of the contact(s) meet the respective intensity threshold for the first gesture recognition criterion to be satisfied. I don't. This means that if the contact remains below the respective intensity threshold until the end of the gesture (e.g. for a swipe gesture with contacts that do not increase in intensity above the respective intensity threshold), then the gesture This is because it should be recognized as a swipe gesture according to the standards. Accordingly, a particular gesture recognition criterion that does not require that the intensity of the contact(s) meet a respective intensity threshold for that particular gesture recognition criterion to be satisfied may (A) in some circumstances ( (B) ignore the intensity of the contact with respect to an intensity threshold (e.g. for a tap gesture), and/or (B) After recognizing a dependent gesture as corresponding to a dependent gesture, if that particular gesture recognition criterion recognizes a gesture corresponding to that input (e.g. a long press gesture that competes for recognition with a deep press gesture), that particular gesture It still depends on the intensity of the touch with respect to the intensity threshold, in the sense that the recognition criteria (e.g. the recognition criterion of a long press gesture) are not met.
グラフィックモジュール１３２は、表示されるグラフィックの視覚的影響（例えば、輝度、透明度、彩度、コントラスト、又はその他の視覚特性）を変更するコンポーネントなど、タッチ感知ディスプレイシステム１１２又はその他のディスプレイ上でグラフィックをレンダリング及び表示する様々な既知のソフトウェアコンポーネントを含む。本明細書で使用する「グラフィック」という用語は、これらに限定されるわけではないが、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザーインターフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなど、ユーザーに対して表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール１３２は、使用されるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて座標データ及び他のグラフィック特性データと共に表示されるグラフィックを指定する１つ以上のコードを受信し、次いで、ディスプレイコントローラ１５６に出力するスクリーン画像データを生成する。
In some embodiments,
触覚フィードバックモジュール１３３は、デバイス１００とのユーザー対話に応答して、触知出力生成器（単数又は複数）１６７を使用してデバイス１００上の１つ以上の位置で触知出力を生成する命令（例えば触覚フィードバックコントローラ１６１によって使用される命令）を生成する様々なソフトウェアコンポーネントを含む。
テキスト入力モジュール１３４は、任意選択的にグラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とするその他の任意のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの場所を決定し、この情報を、様々なアプリケーションで使用されるように提供する（例えば、電話１３８に提供して場所に基づくダイヤル発呼に使用する、写真／ビデオのメタデータとしてカメラ１４３に提供する、並びに天気ウィジェット、地域の電話帳ウィジェット、及び地図／ナビゲーションウィジェットなど場所に基づくサービスを提供するアプリケーションに提供するなど）。
The
アプリケーション１３６は、任意選択的に、以下のモジュール（又は命令セット）又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（アドレス帳又は連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●ビデオ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／若しくはビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●天気ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、目覚まし時計ウィジェット１４９－４、辞書ウィジェット１４９－５、及びユーザーが取得したその他のウィジェット、並びにユーザー作成ウィジェット１４９－６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
●ユーザー作成ウィジェット１４９－６を作成するウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●任意選択的にビデオプレーヤーモジュール及び音楽プレーヤモジュールで構成される、ビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、並びに／又は
●オンラインビデオモジュール１５５。
● contacts module 137 (sometimes called address book or contact list);
●
●
-
● Instant messaging (IM)
●
-
●
●
●
- Weather widget 149-1, stock price widget 149-2, calculator widget 149-3, alarm clock widget 149-4, dictionary widget 149-5, and other widgets acquired by users and user-created widgets 149-6. a
- a
●
- a video and
●
●
任意選択的にメモリ１０２に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
Examples of
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、連絡先モジュール１３７は、アドレス帳に名前（単数又は複数）を追加する、アドレス帳から名前（単数又は複数）を削除する、電話番号（単数又は複数）、メールアドレス（単数又は複数）、物理アドレス（単数又は複数）又はその他の情報を名前と関連付ける、画像を名前と関連付ける、名前を分類して整理する、電話番号及び／又は電子メールアドレスを提供して、電話１３８、ビデオ会議１３９、電子メール１４０又はＩＭ１４１によって通信を開始及び／又は円滑化するなど、（例えばメモリ１０２又はメモリ３７０の連絡先モジュール１３７のアプリケーション内部状態１９２に記憶される）アドレス帳又は連絡先リストを管理するための実行可能命令を含む。
In conjunction with the touch-
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、電話モジュール１３８は、電話番号に対応する一連の文字を入力し、アドレス帳１３７内の１つ以上の電話番号にアクセスし、入力されている電話番号を修正し、それぞれの電話番号をダイヤルし、会話を実行し、会話が完了したときに切断する、又は電話を切る実行可能命令を含む。上述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
In conjunction with the
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先リスト１３７、及び電話モジュール１３８に関連して、ビデオ会議モジュール１３９は、ユーザーの命令にしたがってユーザーと１人以上の他の参加者との間のビデオ会議を開始し、行い、終了する実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、電子メールクライアントモジュール１４０は、ユーザーの命令に応答して電子メールを作成し、送信し、受信し、管理する実行可能命令を含む。画像管理モジュール１４４に関連して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールを作成及び送信することを非常に容易にする。
In conjunction with the
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、インスタントメッセージングモジュール１４１は、インスタントメッセージに対応する一連の文字を入力し、以前に入力された文字を修正し、（例えば電話によるインスタントメッセージ用のショートメッセージサービス（Short Message Service、ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコルを使用して、又はインターネットによるインスタントメッセージ用のＸＭＰＰ、ＳＩＭＰＬＥ、Ａｐｐｌｅ Ｐｕｓｈ Ｎｏｔｉｆｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ（ＡＰＮｓ）若しくはＩＭＰＳを使用して）それぞれのインスタントメッセージを伝送し、インスタントメッセージを受信し、受信したインスタントメッセージを見る実行可能命令を含む。いくつかの実施形態では、伝送及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるグラフィック、写真、オーディオファイル、ビデオファイル、及び／又はその他の添付物を含む。本明細書で使用する「インスタントメッセージ」は、電話によるメッセージ（例えばＳＭＳ又はＭＭＳを使用して送信されるメッセージ）及びインターネットによるメッセージ（例えばＸＭＰＰ、ＳＩＭＰＬＥ、ＡＰＮｓ、又はＩＭＰＳを使用して送信されるメッセージ）の両方を指す。
In conjunction with the
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、並びにビデオ及び音楽プレーヤモジュール１５２に関連して、トレーニングサポートモジュール１４２は、（例えば時間、距離、及び／又はカロリー消費目標を有する）トレーニングを作成し、（スポーツデバイス及びスマートウォッチの）トレーニングセンサと通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択して再生し、トレーニングデータを表示、記憶、及び伝送する実行可能命令を含む。
A training support module in conjunction with the
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４に関連して、カメラモジュール１４３は、静止画像若しくはビデオ（ビデオストリームを含む）をキャプチャして、それらをメモリ１０２に記憶し、静止画像若しくはビデオの特性を修正し、かつ／又はメモリ１０２から静止画像若しくはビデオを削除する実行可能命令を含む。
In conjunction with touch-
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３に関連して、画像管理モジュール１４４は、静止画像及び／又はビデオ画像を配置し、修正（例えば編集）するなどして操作し、ラベル付けし、削除し、（例えばデジタルスライドショーで、又はアルバムとして）提示し、記憶する実行可能命令を含む。
In conjunction with touch-
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、ブラウザモジュール１４７は、ウェブページ又はその一部、並びにウェブページにリンクされた添付物及びその他のファイルを検索する、それらにリンクする、受信する、及び表示するなど、ユーザーの命令にしたがってインターネットを閲覧する実行可能命令を含む。
In conjunction with the
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７に関連して、カレンダモジュール１４８は、ユーザーの命令にしたがって、カレンダ及びカレンダに関連するデータ（例えばカレンダ項目、ＴｏＤｏリストなど）を作成し、表示し、修正し、記憶する実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７に関連して、ウィジェットモジュール１４９は、任意選択的にユーザーによってダウンロードされて使用されるミニアプリケーション（例えば気象ウィジェット１４９－１、株式ウィジェット１４９－２、計算機ウィジェット１４９－３、目覚まし時計ウィジェット１４９－４、及び辞書ウィジェット１４９－５）であるか、又はユーザーによって作成されるミニアプリケーション（例えばユーザー作成ウィジェット１４９－６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Hypertext Markup Language、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Cascading Style Sheets、カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔ（登録商標）ファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Extensible Markup Language、拡張可能マークアップ言語）ファイル、及びＪａｖａＳｃｒｉｐｔファイル（例えばＹａｈｏｏ！ウィジェット）を含む。
In conjunction with
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７に関連して、ウィジェットクリエータモジュール１５０は、ウィジェットを作成する（例えばウェブページのユーザー指定部分をウィジェットにする）実行可能命令を含む。
In conjunction with
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、検索モジュール１５１は、ユーザーの命令にしたがって、１つ以上の検索基準（例えば１つ以上のユーザー指定の検索語）と一致する、メモリ１０２内のテキスト、音楽、音声、画像、ビデオ、及び／又はその他のファイルを検索する実行可能命令を含む。
In conjunction with touch-
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７に関連して、ビデオ及び音楽プレーヤモジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された記録された音楽又はその他の音声ファイルをユーザーがダウンロードして再生することを可能にする実行可能命令、及び（例えばタッチ感知ディスプレイシステム１１２上で、又は無線で、若しくは外部ポート１２４を介して接続された外部のディスプレイ上で）ビデオを表示したり提示したりするなどして再生する実行可能命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ社の商標）などのＭＰ３プレーヤの機能を含む。
In conjunction with touch-
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、メモモジュール１５３は、ユーザーの命令にしたがって、メモ、ＴｏＤｏリストなどを作成して管理する実行可能命令を含む。
In conjunction with touch-
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７に関連して、地図モジュール１５４は、ユーザーの命令にしたがって、地図及び地図に関連するデータ（例えば、運転方向、特定の場所又はその付近の店舗及びその他の対象地点についてのデータ、並びにその他の場所に基づくデータ）を受信し、表示し、修正し、記憶する実行可能命令を含む。
In conjunction with
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７に関連して、オンラインビデオモジュール１５５は、ユーザーがＨ．２６４などの１つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、（例えばストリーミング及び／又はダウンロードによって）受信し、（例えばタッチスクリーン１１２上で、又は無線で、若しくは外部ポート１２４を介して接続された外部のディスプレイ上で）再生し、特定のオンラインビデオへのリンクを有する電子メールを送信し、またその他の方法で管理することを可能にする実行可能命令を含む。いくつかの実施形態では、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１を使用して、特定のオンラインビデオへのリンクを送信する。
In connection with touch
上記で特定したモジュール及びアプリケーションの各々は、上述した１つ以上の機能を実行する実行可能命令のセット、及び本願で説明する方法（例えば本明細書で説明するコンピュータ実施方法及びその他の情報処理方法）に対応する。これらのモジュール（すなわち命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、様々な実施形態では、これらのモジュールの様々なサブセットを、任意選択的に、組み合わせるなどして再構成する。いくつかの実施形態では、メモリ１０２は、任意選択的に、上記で特定したモジュール及びデータ構造のサブセットを記憶する。更に、メモリ１０２は、任意選択的に、上記で説明していない追加のモジュール及びデータ構造を記憶する。 Each of the modules and applications identified above may include a set of executable instructions to perform one or more of the functions described above and methods described herein (e.g., computer-implemented methods and other information processing methods described herein). ). These modules (i.e., instruction sets) need not be implemented as separate software programs, procedures, or modules; therefore, in various embodiments, various subsets of these modules may optionally be combined. etc. to reconfigure. In some embodiments, memory 102 optionally stores a subset of the modules and data structures identified above. Additionally, memory 102 optionally stores additional modules and data structures not described above.
いくつかの実施形態では、デバイス１００は、そのデバイスにおける所定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドのみを通じて実行されるデバイスである。デバイス１００が動作するための主要な入力制御デバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力制御デバイス（プッシュボタン、ダイヤルなど）の数が削減される。
In some embodiments,
タッチスクリーン及び／又はタッチパッドを通じてのみ実行される所定の機能のセットは、任意選択的に、ユーザーインターフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザーによってタッチされたときに、デバイス１００上に表示される任意のユーザーインターフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力制御デバイスである。
The predetermined set of functions performed exclusively through the touch screen and/or touch pad optionally includes navigation between user interfaces. In some embodiments, the touchpad, when touched by a user, navigates the
図１Ｂは、いくつかの実施形態によるイベントハンドリングのための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、（例えばオペレーティングシステム１２６の）イベントソータ１７０及びそれぞれのアプリケーション１３６－１（例えば上述したアプリケーション１３６、１３７～１５５、３８０～３９０のうちのいずれか）を含む。
FIG. 1B is a block diagram illustrating example components for event handling according to some embodiments. In some embodiments, memory 102 (FIG. 1A) or 370 (FIG. 3) stores event sorter 170 (e.g., of operating system 126) and respective applications 136-1 (e.g.,
イベントソータ１７０は、イベント情報を受信し、イベント情報の送達先となるアプリケーション１３６－１及びアプリケーション１３６－１のアプリケーションビュー１９１を決定する。イベントソータ１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６－１は、アプリケーションがアクティブである、又は実行中であるときにタッチ感知ディスプレイシステム１１２に表示される現在のアプリケーションビュー（単数又は複数）を示す、アプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７をイベントソータ１７０が使用して、どのアプリケーション（単数又は複数）が現在アクティブであるかを判定し、アプリケーション内部状態１９２をイベントソータ１７０が使用して、イベント情報の送達先となるアプリケーションビュー１９１を決定する。
Event sorter 170 receives event information and determines application 136-1 and application view 191 of application 136-1 to which the event information will be delivered. Event sorter 170 includes an
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６－１が実行を再開するときに使用される再開情報、アプリケーション１３６－１によって表示されている、又は表示される準備ができている情報を示すユーザーインターフェース状態情報、ユーザーがアプリケーション１３６－１の以前の状態又はビューに戻ることを可能にする状態待ち行列、及びユーザーが行った以前のアクションのリドゥ／アンドゥ待ち行列のうちの１つ以上などの追加の情報を含む。
In some embodiments, application
イベントモニタ１７１は、周辺機器インターフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えばマルチタッチジェスチャの一部としてのタッチ感知ディスプレイシステム１１２上のユーザーのタッチ）についての情報を含む。周辺機器インターフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６８、及び／若しくは（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を伝送する。周辺機器インターフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイシステム１１２又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インターフェース１１８に要求を送信する。それに応答して、周辺機器インターフェース１１８は、イベント情報を伝送する。他の実施形態では、周辺機器インターフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回り、及び／又は所定の持続時間よりも長い入力を受信すること）があったときのみ、イベント情報を伝送する。
In some embodiments, event monitor 171 sends requests to
いくつかの実施形態では、イベントソータ１７０は、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。
In some embodiments, event sorter 170 includes a hit
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイシステム１１２が２つ以上のビューを表示するときに、１つ以上のビュー内のどこでサブイベントが発生したかを決定するソフトウェア手順を提供する。ビューは、ユーザーがディスプレイ上で見ることができる制御要素およびその他の要素で構成される。
Hit
アプリケーションに関連するユーザーインターフェースの別の態様は、その中に情報が表示され、タッチによるジェスチャが行われる、本明細書でアプリケーションビュー又はユーザーインターフェースィンドウと呼ぶこともあるビューのセットである。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。 Another aspect of a user interface associated with an application is a set of views, sometimes referred to herein as application views or user interface windows, in which information is displayed and touch gestures are made. The application view (of the respective application) in which the touch is detected optionally corresponds to a programmatic level within the programmatic or view hierarchy of the application. For example, the lowest level view in which a touch is detected is optionally called the hit view, and the set of events that are recognized as appropriate input is optionally the initial determined based at least in part on the hit view of the touch.
ヒットビュー判定モジュール１７２は、タッチによるジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するときには、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント（すなわちイベント又は潜在的なイベントを形成するサブイベントのシーケンスのうちの最初のサブイベント）が発生する最下位レベルビューである。ヒットビューがヒットビュー判定モジュールによって特定されると、そのヒットビューは、通常は、それがヒットビューとして特定されたのと同じタッチ又は入力源に関連する全てのサブイベントを受信する。
The hit
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連する領域に完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
Active event
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３によって判定されたイベント認識部にイベント情報を送達する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部モジュール１８２によって取得されるイベント情報を、イベント待ち行列に記憶する。
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。あるいは、アプリケーション１３６－１が、イベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型モジュール、又は接触／動きモジュール１３０などのメモリ１０２に記憶された別のモジュールの一部である。
In some embodiments,
いくつかの実施形態では、アプリケーション１３６－１は、アプリケーションのユーザーインターフェースのそれぞれのビュー内で発生するタッチイベントを処理する命令をそれぞれ含む、複数のイベントハンドラ１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６－１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。通常は、それぞれのアプリケーションビュー１９１が、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上が、ユーザーインターフェースキット（図示せず）、又はアプリケーション１３６－１がメソッド及びその他の性質をそこから継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベントハンドラ１９０は、データアップデーター１７６、オブジェクトアップデーター１７７、ＧＵＩアップデーター１７８、及び／又はイベントソータ１７０から受信するイベントデータ１７９のうちの１つ以上を含む。イベントハンドラ１９０は、任意選択的に、データアップデーター１７６、オブジェクトアップデーター１７７、又はＧＵＩアップデーター１７８を利用して、又は呼び出して、アプリケーション内部状態１９２を更新する。あるいは、アプリケーションビュー１９１のうちの１つ以上は、それぞれ１つ以上のイベントハンドラ１９０を含む。また、いくつかの実施形態では、データアップデーター１７６、オブジェクトアップデーター１７７、及びＧＵＩアップデーター１７８のうちの１つ以上は、それぞれのアプリケーションビュー１９１に含まれる。
In some embodiments, the application 136-1 includes a plurality of
それぞれのイベント認識部１８０は、イベントソータ１７０からイベント情報（例えばイベントデータ１７９）を受信し、そのイベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０は、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。
Each
イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、例えばタッチ又はタッチの移動などのサブイベントに関する情報を含む。サブイベントによっては、イベント情報は、サブイベントの位置などの追加の情報も含む。サブイベントがタッチの動きに関するものであるときには、イベント情報は、任意選択的に、サブイベントの速さ及び方向も含む。いくつかの実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ぶ）についての対応する情報を含む。
The
イベント比較部１８４は、イベント情報を所定のイベント又はサブイベントの定義と比較し、この比較に基づいて、イベント又はサブイベントを決定する、又はイベント若しくはサブイベントの状態を決定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７－１）及びイベント２（１８７－２）などのイベント（例えば所定のサブイベントのシーケンス）の定義を含む。いくつかの実施形態では、イベント１８７のサブイベントは、例えば、タッチ開始、タッチ終了、タッチ移動、タッチ取消し、及び複数タッチを含む。１実施例では、イベント１（１８７－１）の定義は、表示されたオブジェクト上でのダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上での所定の期間にわたる第１のタッチ（タッチ開始）と、所定の期間にわたる第１のリフトオフ（タッチ終了）と、表示されたオブジェクト上での所定の期間にわたる第２のタッチ（タッチ開始）と、所定の期間にわたる第２のリフトオフ（タッチ終了）とを含む。別の実施例では、イベント２（１８７－２）の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、表示されたオブジェクト上での所定の期間にわたるタッチ（又は接触）と、タッチ感知ディスプレイシステム１１２にわたるタッチの移動と、タッチのリフトオフ（タッチ終了）とを含む。いくつかの実施形態では、イベントは、１つ以上の関連付けられたイベントハンドラ１９０についての情報も含む。
The
いくつかの実施形態では、イベント定義１８７は、それぞれのユーザーインターフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザーインターフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、３つのユーザーインターフェースオブジェクトがタッチ感知ディスプレイシステム１１２に表示されるアプリケーションビューでは、タッチ感知ディスプレイシステム１１２上でタッチが検出されると、イベント比較部１８４は、ヒットテストを実行して、３つのユーザーインターフェースオブジェクトのうちのどれがタッチ（サブイベント）と関連付けられているかを判定する。表示された各オブジェクトが、それぞれイベントハンドラ１９０と関連付けられている場合には、イベント比較部は、ヒットテストの結果を使用して、どのイベントハンドラ１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトと関連付けられたイベントハンドラを選択する。
In some embodiments, event definition 187 includes a definition of an event for each user interface object. In some embodiments,
いくつかの実施形態では、それぞれのイベント１８７の定義は、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するか否かが判定されるまで、イベント情報の送達を遅延させる遅延アクションも含む。 In some embodiments, each event 187 definition also includes a delay action that delays delivery of event information until it is determined whether the sequence of sub-events corresponds to the event recognizer's event type.
それぞれのイベント認識部１８０が一連のサブイベントがイベント定義１８６のいずれのイベントとも一致しないと判断した場合には、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態になり、その後は、タッチによるジェスチャの後続のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
If each
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベント送達システムがどのようにしてサブイベント送達を実行すべきかをアクティブに関わりがあるイベント認識部に対して示す構成可能なプロパティ、フラグ及び／又はリストを有するメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することができるようになっているかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における様々なレベルに送達されるかどうかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
In some embodiments, each
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されたときに、イベントと関連付けられたイベントハンドラ１９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントと関連付けられたイベント情報を、イベントハンドラ１９０に送達する。イベントハンドラ１９０をアクティブ化することは、サブイベントをそれぞれのヒットビューに送信すること（及び遅らせて送信すること）とは異なる。いくつかの実施形態では、イベント認識部１８０は、認識したイベントと関連付けられたフラグを投入し、そのフラグと関連付けられたイベントハンドラ１９０は、そのフラグを捕らえ、所定のプロセスを実行する。
In some embodiments, each
いくつかの実施形態では、イベント配信命令１８８は、イベントハンドラをアクティブ化せずにサブイベントについてのイベント情報を送達するサブイベント配信命令を含む。このサブイベント配信命令は、その代わりに、一連のサブイベントと関連付けられたイベントハンドラ、又はアクティブに関わりがあるビューに、イベント情報を送達する。一連のサブイベント又はアクティブに関わりがあるビューと関連付けられたイベントハンドラは、イベント情報を受信し、所定のプロセスを実行する。
In some embodiments,
いくつかの実施形態では、データアップデーター１７６は、アプリケーション１３６－１で使用されるデータを作成及び更新する。例えば、データアップデーター１７６は、連絡先モジュール１３７で使用される電話番号を更新する、又はビデオ及び音楽プレーヤモジュール１５２で使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクトアップデーター１７７は、アプリケーション１３６－１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクトアップデーター１７７は、新たなユーザーインターフェースオブジェクトを作成する、又はユーザーインターフェースオブジェクトの位置を更新する。ＧＵＩアップデーター１７８は、ＧＵＩを更新する。例えば、ＧＵＩアップデーター１７８は、表示情報を準備し、この表示情報をタッチ感知ディスプレイ上に表示するためにグラフィックモジュール１３２に送信する。
In some embodiments, data updater 176 creates and updates data used by application 136-1. For example, data updater 176 updates phone numbers used by
いくつかの実施形態では、イベントハンドラ（単数又は複数）１９０は、データアップデーター１７６、オブジェクトアップデーター１７７及びＧＵＩアップデーター１７８を含む、又はそれらへのアクセスを有する。いくつかの実施形態では、データアップデーター１７６、オブジェクトアップデーター１７７、及びＧＵＩアップデーター１７８は、それぞれのアプリケーション１３６－１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。 In some embodiments, event handler(s) 190 includes or has access to data updater 176, object updater 177, and GUI updater 178. In some embodiments, data updater 176, object updater 177, and GUI updater 178 are included in a single module of each application 136-1 or application view 191. In other embodiments, they are included in more than one software module.
タッチ感知ディスプレイ上のユーザーのタッチのイベント処理に関する以上の説明は、その全てがタッチスクリーン上で開始されるとは限らない、入力デバイスを備える多機能デバイス１００を動作させるためのその他の形態のユーザー入力にも当てはまることを理解されたい。例えば、任意選択的に１回又は複数回のキーボードの押圧又は保持と連携したマウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、並びに／又はそれらの任意の組合せを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
The above description of event processing of user touches on a touch-sensitive display may be useful for other forms of user operation of
図１Ｃは、いくつかの実施形態による触知出力モジュールを示すブロック図である。いくつかの実施形態では、Ｉ／Ｏサブシステム１０６（例えば触覚フィードバックコントローラ１６１（図１Ａ）及び／又はその他の入力コントローラ（単数又は複数）１６０（図１Ａ）は、図１Ｃに示す例示的な構成要素のうちの少なくともいくつかを含む。いくつかの実施形態では、周辺機器インターフェース１１８は、図１Ｃに示す例示的な構成要素のうちの少なくともいくつかを含む。
FIG. 1C is a block diagram illustrating a tactile output module according to some embodiments. In some embodiments, the I/O subsystem 106 (e.g., haptic feedback controller 161 (FIG. 1A) and/or other input controller(s) 160 (FIG. 1A) is configured as shown in FIG. 1C). In some embodiments,
いくつかの実施形態では、触知出力モジュールは、触覚フィードバックモジュール１３３を含む。いくつかの実施形態では、触覚フィードバックモジュール１３３は、電子デバイス上のソフトウェアアプリケーションからのユーザーインターフェースフィードバックのために触覚出力（例えば、表示されたユーザーインターフェースに対応するユーザー入力に応答するフィードバック、並びに電子デバイスのユーザーインターフェースの動作の性能又はイベントの発生を示す警告及びその他の通知）を集成し、結合する。触覚フィードバックモジュール１３３は、波形モジュール１２３（触知出力を生成するために使用される波形を提供する）、ミキサ１２５（異なるチャネルの波形など複数の波形を混合する）、圧縮機１２７（波形のダイナミックレンジを縮小又は圧縮する）、低域通過フィルタ１２９（波形の高周波信号成分をフィルタリングによって除去する）、及び熱コントローラ１３１（熱的条件にしたがって波形を調整する）のうちの１つ以上を含む。いくつかの実施形態では、触覚フィードバックモジュール１３３は、触覚フィードバックコントローラ１６１（図１Ａ）に含まれる。いくつかの実施形態では、触覚フィードバックモジュール１３３の別のユニット（又は触覚フィードバックモジュール１３３の別の実施態様）が、オーディオコントローラ（例えば図１Ａのオーディオ回路１１０）にも含まれ、オーディオ信号を生成するために使用される。いくつかの実施形態では、単一の触覚フィードバックモジュール１３３を使用して、オーディオ信号を生成し、触知出力の波形を生成する。
In some embodiments, the tactile output module includes a
いくつかの実施形態では、触覚フィードバックモジュール１３３は、トリガモジュール１２１（例えば、生成する触知出力を決定し、対応する触知出力を生成するプロセスを開始するソフトウェアアプリケーション、オペレーティングシステム、又はその他のソフトウェアモジュール）も含む。いくつかの実施形態では、トリガモジュール１２１は、（例えば波形モジュール１２３による）波形の生成を開始するトリガ信号を生成する。例えば、トリガモジュール１２１は、予め設定されたタイミング基準に基づいてトリガ信号を生成する。いくつかの実施形態では、トリガモジュール１２１は、触覚フィードバックモジュール１３３の外部からトリガ信号を受信し（例えば、いくつかの実施形態では、触覚フィードバックモジュール１３３は、触覚フィードバックモジュール１３３の外部に位置するハードウェア入力処理モジュール１４６からトリガ信号を受信する）、このトリガ信号を、触覚フィードバックモジュール１３３内の他の構成要素（例えば波形モジュール１２３）、又はユーザーインターフェース要素（例えばアプリケーション内のアプリケーションアイコン又はアフォーダンス）のアクティブ化に基づいて（例えばトリガモジュール１２１によって）動作をトリガするソフトウェアアプリケーション、又はハードウェア入力デバイス（例えばホームボタン又は強度感知タッチスクリーンなどの強度感知入力面）に中継する。いくつかの実施形態では、トリガモジュール１２１は、（例えば、図１Ａ及び図３の触覚フィードバックモジュール１３３から）触知フィードバック生成命令も受信する。いくつかの実施形態では、トリガモジュール１２１は、触覚フィードバックモジュール１３３（又は触覚フィードバックモジュール１３３内のトリガモジュール１２１）が（例えば図１Ａ及び図３の触覚フィードバックモジュール１３３から）触知フィードバック命令を受信したのに応答して、トリガ信号を生成する。
In some embodiments, the
波形モジュール１２３は、（例えばトリガモジュール１２１から）トリガ信号を入力として受信し、トリガ信号を受信したのに応答して、１つ以上の触知出力を生成するための波形（例えば、図４Ｆ～図４Ｇを参照して以下で更に詳細に述べる波形など、波形モジュール１２３によって使用されるように指定された波形の所定のセットから選択された波形）を提供する。 Waveform module 123 receives a trigger signal as input (e.g., from trigger module 121) and generates a waveform (e.g., FIGS. 4F-4F) for generating one or more tactile outputs in response to receiving the trigger signal. A waveform selected from a predetermined set of designated waveforms is provided for use by waveform module 123, such as a waveform described in further detail below with reference to FIG. 4G.
ミキサ１２５は、（例えば波形モジュール１２３から）入力として波形を受信し、これらの波形を混合する。例えば、ミキサ１２５が２つ以上の波形（例えば第１のチャネルの第１の波形及び第１の波形と少なくとも部分的に重なる第２のチャネルの第２の波形）を受信したときには、ミキサ１２５は、この２つ以上の波形の和に対応する合成波形を出力する。また、いくつかの実施形態では、ミキサ１２５は、（例えば、特定の波形（単数又は複数）のスケールを増大させ、かつ／又は残りの波形のスケールを低減させることによって）この２つ以上の波形のうちの１つ以上の波形を修正して、特定の波形（単数又は複数）を２つ以上の波形のうちの残りの波形より強調する。いくつかの状況では、ミキサ１２５は、合成波形から除去する１つ以上の波形を選択する（例えば、触知出力生成器１６７によって同時に出力されることが要求されている４つ以上のソースからの波形があるときには、最も古いソースの波形を除去する）。 Mixer 125 receives waveforms as input (eg, from waveform module 123) and mixes the waveforms. For example, when mixer 125 receives two or more waveforms (e.g., a first waveform of a first channel and a second waveform of a second channel that at least partially overlaps the first waveform), mixer 125 , outputs a composite waveform corresponding to the sum of these two or more waveforms. In some embodiments, the mixer 125 also increases the scale of the two or more waveforms (e.g., by increasing the scale of a particular waveform(s) and/or decreasing the scale of the remaining waveforms). One or more of the waveforms are modified to emphasize particular waveform(s) over the remaining waveforms of the two or more waveforms. In some situations, mixer 125 selects one or more waveforms to remove from the composite waveform (e.g., signals from four or more sources that are required to be simultaneously output by tactile output generator 167). If there are waveforms, remove the oldest source waveform).
圧縮機１２７は、波形（例えばミキサ１２５からの合成波形）を入力として受信し、これらの波形を修正する。いくつかの実施形態では、圧縮機１２７は、波形に対応する触知出力が減少するように、（例えば触知出力生成器１６７（図１Ａ）又は３５７（図３）の物理的仕様にしたがって）波形を減少させる。いくつかの実施形態では、圧縮機１２７は、波形に対して所定の最大振幅を課すことなどによって、波形を制限する。例えば、圧縮機１２７は、所定の振幅閾値を超えない波形部分の振幅を維持する一方で、所定の振幅閾値を超える波形部分の振幅を減少させる。いくつかの実施形態では、圧縮機１２７は、波形のダイナミックレンジを減少させる。いくつかの実施形態では、圧縮機１２７は、合成波形が触知出力生成器１６７の性能仕様（例えば、力及び／又は可動質量変位の限界）内に留まるように、波形のダイナミックレンジを動的に減少させる。
Compressor 127 receives waveforms (eg, the composite waveform from mixer 125) as input and modifies these waveforms. In some embodiments, the compressor 127 is configured such that the tactile output corresponding to the waveform is reduced (e.g., according to the physical specifications of the tactile output generator 167 (FIG. 1A) or 357 (FIG. 3)). Reduce waveform. In some embodiments, compressor 127 limits the waveform, such as by imposing a predetermined maximum amplitude on the waveform. For example, compressor 127 reduces the amplitude of portions of the waveform that exceed a predetermined amplitude threshold while maintaining the amplitude of portions of the waveform that do not exceed a predetermined amplitude threshold. In some embodiments, compressor 127 reduces the dynamic range of the waveform. In some embodiments, the compressor 127 dynamically adjusts the dynamic range of the waveform such that the resultant waveform remains within the performance specifications (e.g., force and/or moveable mass displacement limits) of the
低域通過フィルタ１２９は、波形（例えば圧縮機１２７からの圧縮波形）を入力として受信し、これらの波形をフィルタリング（例えば平滑化）する（例えば、波形の高周波信号成分を除去又は低減する）。例えば、いくつかの場合には、圧縮機１２７は、圧縮波形中に、触知出力の生成を妨害し、かつ／又は圧縮波形にしたがって触知出力を生成したときに触知出力生成器１６７の性能仕様を超える外来信号（例えば高周波信号成分）を含む。低域通過フィルタ１２９は、波形中のこのような外来信号を低減又は除去する。
Low pass filter 129 receives waveforms (eg, compressed waveforms from compressor 127) as input and filters (eg, smoothes) these waveforms (eg, removes or reduces high frequency signal components of the waveforms). For example, in some cases, the compressor 127 interferes with the generation of tactile output during the compression waveform and/or the
熱コントローラ１３１は、波形（例えば、低域通過フィルタ１２９からのフィルタリングされた波形）を入力として受信し、これらの波形を、デバイス１００の熱的条件にしたがって（例えば、触覚フィードバックコントローラ１６１の温度などデバイス１００内で検出される内部温度、及び／又はデバイス１００によって検出される外部温度に基づいて）調整する。例えば、いくつかの場合には、触覚フィードバックコントローラ１６１の出力は、温度に応じて変化する（例えば、触覚フィードバックコントローラ１６１は、同じ波形を受信したのに応答して、触覚フィードバックコントローラ１６１が第１の温度であるときには第１の触知出力を生成し、触覚フィードバックコントローラ１６１が第１の温度とは別個の第２の温度であるときには第２の触知出力を生成する）。例えば、触知出力の大きさ（又は振幅）は、温度に応じて変化することもある。温度変化の影響を低下させるために、波形を修正する（例えば、波形の振幅を、温度に基づいて増大又は減少させる）。
Thermal controller 131 receives as input waveforms (e.g., the filtered waveform from low-pass filter 129) and converts these waveforms according to the thermal conditions of device 100 (e.g., the temperature of
いくつかの実施形態では、触覚フィードバックモジュール１３３（例えばトリガモジュール１２１）は、ハードウェア入力処理モジュール１４６に結合される。いくつかの実施形態では、図１Ａの他の入力コントローラ（単数又は複数）１６０が、ハードウェア入力処理モジュール１４６を含む。いくつかの実施形態では、ハードウェア入力処理モジュール１４６は、ハードウェア入力デバイス１４５（例えば、ホームボタン、又は強度感知タッチスクリーンなどの強度感知入力面など、図１Ａの他の入力又は制御デバイス１１６）から入力を受信する。いくつかの実施形態では、ハードウェア入力デバイス１４５は、タッチ感知ディスプレイシステム１１２（図１Ａ）、キーボード／マウス３５０（図３）、タッチパッド３５５（図３）、他の入力若しくは制御デバイス１１６（図１Ａ）のうちの１つ、又は強度感知ホームボタンなど、本明細書に記載する任意の入力デバイスである。いくつかの実施形態では、ハードウェア入力デバイス１４５は、タッチ感知ディスプレイシステム１１２（図１Ａ）、キーボード／マウス３５０（図３）、又はタッチパッド３５５（図３）ではなく、強度感知ホームボタンからなる。いくつかの実施形態では、ハードウェア入力デバイス１４５（例えば強度感知ホームボタン又はタッチスクリーン）からの入力に応答して、ハードウェア入力処理モジュール１４６は、ホームボタンの「クリック」（例えば「ダウンクリック」又は「アップクリック」）に対応する入力など、所定の入力基準を満たすユーザー入力が検出されたことを示す１つ以上のトリガ信号を、触覚フィードバックモジュール１３３に提供する。いくつかの実施形態では、触覚フィードバックモジュール１３３は、ホームボタンの「クリック」に対応する入力に応答して、ホームボタンの「クリック」に対応する波形を提供して、物理ホームボタンを押す触覚フィードバックをシミュレートする。
In some embodiments, haptic feedback module 133 (eg, trigger module 121) is coupled to hardware
いくつかの実施形態では、触覚出力モジュールは、触知出力の生成を制御する触覚フィードバックコントローラ１６１（例えば図１Ａの触覚フィードバックコントローラ１６１）を含む。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、複数の触知出力生成器に結合され、この複数の触知出力生成器のうちの１つ以上の触知出力生成器を選択し、選択した１つ以上の触知出力生成器に波形を送信して、触知出力を生成する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、ハードウェア入力デバイス１４５のアクティブ化に対応する触知出力要求、及びソフトウェアイベントに対応する触知出力要求（例えば触覚フィードバックモジュール１３３からの触知出力要求）を調整し、（例えば、特定の波形（単数又は複数）のスケールを増大させ、かつ／又は残りの波形のスケールを低減させて、ハードウェア入力デバイス１４５のアクティブ化に対応する触知出力をソフトウェアイベントに対応する触知出力よりも優先することなどによって）２つ以上の波形のうちの１つ以上の波形を修正して、特定の波形（単数又は複数）を２つ以上の波形のうちの残りの波形より強調する。
In some embodiments, the haptic output module includes a haptic feedback controller 161 (eg,
いくつかの実施形態では、図１Ｃに示すように、触覚フィードバックコントローラ１６１の出力は、デバイス１００のオーディオ回路（例えば図１Ａのオーディオ回路１１０）に結合され、デバイス１００のオーディオ回路にオーディオ信号を提供する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、触知出力を生成するために使用される波形と、触知出力の生成に関連して音声出力を提供するために使用されるオーディオ信号の両方を提供する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、オーディオ信号及び／又は（触知出力を生成するために使用される）波形を、（例えばオーディオ信号及び／又は波形を遅延させることによって）音声出力及び触知出力が同期するように修正する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、デジタル波形を、増幅器１６３及び／又は触知出力生成器１６７によって受信されるアナログ信号に変換するために使用される、デジタルアナログ変換器を含む。
In some embodiments, as shown in FIG. 1C, the output of
いくつかの実施形態では、触知出力モジュールは、増幅器１６３を含む。いくつかの実施形態では、増幅器１６３は、（例えば触覚フィードバックコントローラ１６１から）波形を受信し、これらの波形を増幅した後で、これらの増幅した波形を触知出力生成器１６７（例えば触知出力生成器１６７（図１Ａ）又は３５７（図３））に送信する。例えば、増幅器１６３は、受信した波形を、触知出力生成器１６７の物理的仕様に応じた信号レベルに増幅し（例えば、触知出力生成器１６７に送信される信号が触覚フィードバックコントローラ１６１から受信した波形に対応する触知出力を生成するように、触知出力を生成する触知出力生成器１６７が必要とする電圧及び／又は電流に増幅し）、この増幅した波形を触知出力生成器１６７に送信する。これに応答して、触知出力生成器１６７は、（例えば、可動質量をその可動質量の中立位置を基準として１つ以上の方向に往復させることによって）触覚出力を生成する。
In some embodiments, the tactile output module includes an
いくつかの実施形態では、触知出力モジュールは、触知出力生成器１６７に結合されたセンサ１６９を含む。センサ１６９は、触知出力生成器１６７又は触知出力生成器１６７の１つ以上の構成要素（例えば、触覚出力を生成するために使用される膜などの１つ以上の可動部）の状態又は状態変化（例えば、機械的位置、物理的変位、及び／又は移動）を検出する。いくつかの実施形態では、センサ１６９は、磁場センサ（例えばホール効果センサ）、又はその他の変位及び／若しくは移動センサである。いくつかの実施形態では、センサ１６９は、触覚フィードバックコントローラ１６１に情報（例えば触知出力生成器１６７の１つ以上の部分の位置、変位、及び／又は移動）を提供し、触覚フィードバックコントローラ１６１は、センサ１６９から提供される触知出力生成器１６７の状態に関する情報にしたがって、触覚フィードバックコントローラ１６１から出力される波形（例えば、任意選択的に増幅器１６３を介して触知出力生成器１６７に送信される波形）を調整する。
In some embodiments, the tactile output module includes a sensor 169 coupled to a
図２は、いくつかの実施形態による、タッチスクリーン（例えば図１Ａのタッチ感知ディスプレイシステム１１２）を有するポータブル多機能デバイス１００を示す図である。タッチスクリーンは、任意選択的に、ユーザーインターフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。これらの実施形態、並びに以下で述べるその他の実施形態では、ユーザーは、例えば、１本以上の指２０２（図では一定の縮尺では描かれていない）又は１つ以上のスタイラス２０３（図では一定の縮尺では描かれていない）によってグラフィック上でジェスチャを行うことによってグラフィックのうちの１つ以上を選択することができる。いくつかの実施形態では、１つ以上のグラフィックの選択は、ユーザーがその１つ以上のグラフィックとの接触を断ったときに行われる。いくつかの実施形態では、ジェスチャは、任意選択的に、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上方向へ、及び／又は下方向へ）、及び／又はデバイス１００と接触している指のローリング（右から左へ、左から右へ、上方向へ、及び／又は下方向へ）を含む。いくつかの実装形態又は状況では、グラフィックとの不慮の接触では、グラフィックは選択されない。例えば、選択に対応するジェスチャがタップであるときには、アプリケーションアイコンの上をスイープするスワイプジェスチャでは、任意選択的に、対応するアプリケーションは選択されない。
FIG. 2 is a diagram illustrating a
また、デバイス１００は、任意選択的に、「ホーム」又はメニューボタン２０４などの１つ以上の物理ボタンも含む。前述のように、メニューボタン２０４は、任意選択的に、デバイス１００上で任意選択的に実行されるアプリケーションのセット内の任意のアプリケーション１３６にナビゲートするために使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーンディスプレイに表示されるＧＵＩ内のソフトキーとして実装される。
いくつかの実施形態では、デバイス１００は、タッチスクリーンディスプレイ、メニューボタン２０４（ホームボタン２０４と呼ばれることもある）、デバイスの電源オン／オフ及びデバイスのロックのためのプッシュボタン２０６、ボリューム調節ボタン（単数又は複数）２０８、加入者識別モジュール（Subscriber Identity Module、ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、並びにドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、所定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、所定の期間が経過する前にボタンを解放することによって、デバイスをロックするため、及び／又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。また、いくつかの実施形態では、デバイス１００は、マイクロフォン１１３を通して、いくつかの機能をアクティブ化又は非アクティブ化するための口頭入力を受け付ける。また、デバイス１００は、任意選択的に、タッチ感知ディスプレイシステム１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、及び／又はデバイス１００のユーザーに対する触知出力を生成する１つ以上の触知出力生成器１６７も含む。
In some embodiments, the
図３は、いくつかの実施形態による、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育用デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、一般的には、１つ以上の処理ユニット（ＣＰＵ）３１０と、１つ以上のネットワーク又は他の通信インターフェース３６０と、メモリ３７０と、これらのコンポーネントを相互接続する１つ以上の通信バス３２０とを含む。通信バス３２０は、システムコンポーネント間の通信を相互接続及び制御する回路（チップセットと呼ばれることがある）を、任意選択的に含む。デバイス３００は、一般的にはタッチスクリーンディスプレイであるディスプレイ３４０を含む、入出力（Ｉ／Ｏ）インターフェース３３０を含む。Ｉ／Ｏインターフェース３３０はまた任意選択で、キーボード及び／又はマウス（又は、他のポインティングデバイス）３５０、並びにタッチパッド３５５、デバイス３００上で触知出力を生成する触知出力生成器３５７（例えば、図１Ａを参照して上記説明された触知出力生成器１６７と同様の）、センサ３５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び／又は図１Ａを参照して上記説明された接触強度センサ１６５と同様の接触強度センサ）を含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、また任意選択で、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、ＣＰＵ３１０からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２に記憶されたプログラム、モジュール、及びデータ構造、又はそれらのサブセットに類似の、プログラム、モジュール、及びデータ構造を記憶する。更に、メモリ３７０は任意選択で、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は任意選択で、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を記憶するが、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は任意選択で、それらのモジュールを記憶しない。
FIG. 3 is a block diagram of an exemplary multifunction device having a display and a touch-sensitive surface, according to some embodiments.
上記識別された図３における要素の各々は任意選択で、前に言及したメモリデバイスのうちの１つ以上に記憶される。上記識別されたモジュールのうちの各々は、上記説明された機能を実行する命令セットに対応する。上記識別されたモジュール又はプログラム（すなわち、命令セット）は、別々のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、よって、それらのモジュールの様々なサブセットは任意選択で、様々な実施形態において組み合わされ、又はその他の方式で再配置される。いくつかの実施形態では、メモリ３７０は、上記で識別されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。 Each of the elements in FIG. 3 identified above is optionally stored in one or more of the previously mentioned memory devices. Each of the modules identified above corresponds to a set of instructions that perform the functions described above. The modules or programs (i.e., instruction sets) identified above need not be implemented as separate software programs, procedures, or modules, and thus various subsets of those modules may optionally be implemented in various embodiments. combined or otherwise rearranged. In some embodiments, memory 370 optionally stores a subset of the modules and data structures identified above. Additionally, memory 370 optionally stores additional modules and data structures not described above.
ここで、ポータブル多機能デバイス１００上に任意選択で実装されるユーザーインターフェース（「ＵＩ」）の実施形態に留意する。
Attention is now drawn to embodiments of a user interface (“UI”) optionally implemented on
図４Ａは、いくつかの実施形態による、ポータブル多機能デバイス１００上のアプリケーションのメニューのための例示的なユーザーインターフェース４００を示す。同様のユーザーインターフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザーインターフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びＷｉ－Ｆｉ信号などの無線通信のための信号強度インジケータ、
●時間、
●Ｂｌｕｅｔｏｏｔｈインジケータ、
●バッテリ状態インジケータ、
●下記などの、頻繁に使用されるアプリケーションのためのアイコンを有するトレー４０８：
○不在着信又は音声メールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされる、電話モジュール１３８用のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされる、電子メールクライアントモジュール１４０用のアイコン４１８、
○「ブラウザ」とラベル付けされる、ブラウザモジュール１４７用のアイコン４２０、及び
○「音楽」とラベル付けされるビデオ及び音楽プレイヤモジュール１５２のためのアイコン４２２、並びに
●下記などの、その他のアプリケーションのためのアイコン：
○「メッセージ」とラベル付けされるＩＭモジュール１４１のためのアイコン４２４、
○「カレンダ」とラベル付けされる、カレンダモジュール１４８用のアイコン４２６、
○「写真」とラベル付けされる、画像管理モジュール１４４用のアイコン４２８、
○「カメラ」とラベル付けされる、カメラモジュール１４３用のアイコン４３０、
○「オンラインビデオ」とラベル付けされる、オンラインビデオモジュール１５５用のアイコン４３２、
○「株式」とラベル付けされる、株式ウィジェット１４９－２用のアイコン４３４、
○「地図」とラベル付けされる、地図モジュール１５４用のアイコン４３６、
○「気象」とラベル付けされる、気象ウィジェット１４９－１用のアイコン４３８、
○「時計」とラベル付けされる、目覚まし時計ウィジェット１４９－４用のアイコン４４０、
○「トレーニングサポート」とラベル付けされる、トレーニングサポートモジュール１４２用のアイコン４４２、
○「メモ」とラベル付けされる、メモモジュール１５３用のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６に関する設定へのアクセスを提供する、設定アプリケーション若しくはモジュール用のアイコン４４６。
FIG. 4A shows an
● Signal strength indicators for wireless communications such as cellular signals and Wi-Fi signals,
●Time,
●Bluetooth indicator,
●Battery status indicator,
●
o an
o an
o an
図４Ａに表示されたアイコンのラベルは単なる例に過ぎないことに留意されたい。例えば、他のラベルが任意選択で、様々なアプリケーションアイコンに使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンのラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。 Note that the icon labels displayed in FIG. 4A are merely examples. For example, other labels are optionally used for various application icons. In some embodiments, the label of each application icon includes the name of the application corresponding to the respective application icon. In some embodiments, the label of a particular application icon is different from the name of the application that corresponds to the particular application icon.
図４Ｂは、ディスプレイ４５０と分離したタッチ感知面４５１（例えば、タブレット又はタッチパッド３５５、図３）を有するデバイス（例えば、デバイス３００、図３）上の例示的なユーザーインターフェースを示す。以下の実施例のうちの多くはタッチスクリーンディスプレイ１１２上の入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すように、ディスプレイと分離したタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂにおける４５１）は、ディスプレイ（例えば、４５０）上の主軸（例えば、図４Ｂにおける４５３）に対応する主軸（例えば、図４Ｂにおける４５２）を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図４Ｂにおいて、４６０は４６８に対応し、４６２は４７０に対応する）におけるタッチ感知面４５１との接触（例えば、図４Ｂにおける４６０及び４６２）を検出する。このように、タッチ感知面がディスプレイと分離しているとき、タッチ感知面（例えば、図４Ｂにおける４５１）上でデバイスによって検出されたユーザー入力（例えば、接触４６０及び４６２、及びそれらの移動）は、多機能デバイスのディスプレイ（例えば、図４Ｂにおける４５０）上でユーザーインターフェースを操作するためにデバイスによって使用される。同様の方法が、本明細書に記載の他のユーザーインターフェースに任意選択的に使用されることを理解されたい。
FIG. 4B shows an example user interface on a device (eg,
これに加えて、以下の説明は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャなど）を参照して説明されるが、いくつかの実施形態では、それらの指入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスに基づく入力又はスタイラス入力）で置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、マウスクリックと置き換えられ（例えば、接触の代わりに）、それに続いて、スワイプの経路に沿ってカーソルの移動が行われる（例えば、接触の移動の代わりに）。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置の上に位置する間はマウスクリックと置き換えられる（例えば、接触を検出して、それに続いて接触の検出を停止する代わりに）。同様に、複数のユーザー入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。 In addition, although the following description is primarily described with reference to finger inputs (e.g., finger contacts, finger tap gestures, finger swipe gestures, etc.), in some embodiments, those It should be appreciated that one or more of the finger inputs may be replaced with input from another input device (eg, mouse-based input or stylus input). For example, a swipe gesture is optionally replaced with a mouse click (e.g., instead of a contact), followed by cursor movement along the path of the swipe (e.g., instead of a contact movement). ). As another example, a tap gesture is optionally replaced with a mouse click while the cursor is positioned over the location of the tap gesture (e.g., detecting contact and subsequently stopping detecting contact). instead). Similarly, it will be appreciated that when multiple user inputs are detected simultaneously, multiple computer mice are optionally used simultaneously, or mouse and finger contacts are optionally used simultaneously. sea bream.
本明細書にて使用されるとき、用語「フォーカスセレクタ」とは、ユーザーが対話しているユーザーインターフェースの現在の部分を示す入力要素を指す。カーソル又は他のロケーションマーカを含むいくつかの実装形態において、カーソルは「フォーカスセレクタ」として機能し、これにより、カーソルが特定のユーザーインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザーインターフェース要素）の上にある間に、タッチ感知面（例えば、図３のタッチパッド３５５、又は図４Ｂのタッチ感知面４５１）上で入力（例えば、押圧入力）が検出されると、この特定のユーザーインターフェース要素が、検出された入力にしたがって調整される。タッチスクリーンディスプレイ上のユーザーインターフェース要素との直接的な対話を可能にする、タッチスクリーンディスプレイ（例えば、図１Ａのタッチ感知ディスプレイシステム１１２、又は図６Ａのタッチスクリーン）を含むいくつかの実装形態では、タッチスクリーン上で検出された接触が「フォーカスセレクタ」として機能し、これにより、タッチスクリーンディスプレイ上の特定のユーザーインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザーインターフェース要素）の場所で入力（例えば、接触による押圧入力）が検出されると、この特定のユーザーインターフェース要素が、検出された入力にしたがって調節される。いくつかの実装形態では、（例えば、タブキー又は矢印キーを使用してフォーカスを１つのボタンから別のボタンに移動させることによって）タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、フォーカスがユーザーインターフェースの１つの領域からユーザーインターフェースの別の領域に移動され、これらの実装形態では、フォーカスセレクタは、ユーザーインターフェースの異なる領域の間のフォーカスの移動にしたがって移動する。フォーカスセレクタによってとられる具体的な形態とは関わりなく、フォーカスセレクタは一般的に、ユーザーの意図したユーザーインターフェースとの対話を通信するために（例えば、ユーザーが対話することを意図しているユーザーインターフェースの要素をデバイスに示すことによって）、ユーザーによって制御されるユーザーインターフェース要素（又は、タッチスクリーンディスプレイ上の接触）である。例えば、押圧入力がタッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で検出されたときに、対応するボタンの上にあるフォーカスセレクタ（例えば、カーソル、接触又は選択ボックス）の位置は、（デバイスのディスプレイ上に表示されている他のユーザーインターフェース要素ではなく）対応するボタンをユーザーがアクティブ化しようとしていることを示すものである。
As used herein, the term "focus selector" refers to an input element that indicates the current portion of a user interface with which a user is interacting. In some implementations that include a cursor or other location marker, the cursor functions as a "focus selector," which allows the cursor to point to a particular user interface element (e.g., a button, window, slider, or other user interface element). ), when an input (e.g., a press input) is detected on a touch-sensitive surface (e.g.,
本明細書及び特許請求の範囲で使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触又はスタイラスの接触）の力若しくは圧力（単位面積当りの力）、又はタッチ感知面上の接触の力若しくは圧力の代替するもの（プロキシ）を指す。接触の強度は、少なくとも４つの異なる値を含み、より典型的には、何百もの（例えば、少なくとも２５６個の）異なる値を含む値範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組合せを使用して判定（又は、測定）される。例えば、タッチ感知面の下に又はこれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々な点における力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値は、推定される接触の力を判定するために組み合わされる（例えば、加重平均又は合計）。同様に、タッチ感知面上のスタイラスの圧力を判定するために、スタイラスの圧力感知チップが、任意選択的に用いられる。あるいは、タッチ感知面上で検出される接触領域のサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化が、タッチ感知面上の接触の力又は圧力の代替物として、任意選択的に用いられる。いくつかの実装形態では、接触の力又は圧力に対する代替的測定値は、強度閾値を超えているかを判定するために直接使用される（例えば、強度閾値は、代替的測定値に対応する単位で記述される）。いくつかの実装形態では、接触の力又は圧力に対する代替的測定値は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超えているかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。接触の強度をユーザー入力の属性として使用することは、アフォーダンスを（例えば、タッチ感知ディスプレイ上に）表示するため、及び／又はユーザー入力を（例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタンなどの物理的／機械的制御を介して）受信する面積が制限された、低減されたサイズのデバイスにおいて、ユーザーによるアクセスが他の場合に容易には不可能であり得る、追加のデバイス機能へのユーザーのアクセスを可能にする。 As used herein and in the claims, the term "intensity" of a contact on a touch-sensitive surface refers to the force or pressure (of a contact (e.g., a finger contact or a stylus contact) on a touch-sensitive surface). (force per unit area) or a proxy for the force or pressure of contact on a touch-sensitive surface. The intensity of contact has a value range that includes at least four different values, and more typically includes hundreds (eg, at least 256) different values. The intensity of contact is optionally determined (or measured) using various techniques and various sensors or combinations of sensors. For example, one or more force sensors below or adjacent to the touch-sensitive surface are optionally used to measure forces at various points on the touch-sensitive surface. In some implementations, force measurements from multiple force sensors are combined (eg, a weighted average or sum) to determine an estimated contact force. Similarly, a pressure sensitive tip of the stylus is optionally used to determine the pressure of the stylus on the touch sensitive surface. Alternatively, the size and/or change in the contact area detected on the touch-sensitive surface, the capacitance and/or change in the touch-sensitive surface proximate the contact, and/or the resistance and/or change in the touch-sensitive surface proximate the contact. /or variations thereof are optionally used as a substitute for contact force or pressure on the touch-sensitive surface. In some implementations, an surrogate measurement of contact force or pressure is used directly to determine whether an intensity threshold is exceeded (e.g., the intensity threshold is in units corresponding to the surrogate measurement). described). In some implementations, the alternative measurement of contact force or pressure is converted to an estimated force or pressure, and the estimated force or pressure is used to determine whether an intensity threshold is exceeded. (eg, the intensity threshold is a pressure threshold measured in units of pressure). Using the intensity of contact as an attribute of user input can be used to display affordances (e.g., on a touch-sensitive display) and/or to display user input (e.g., on a touch-sensitive display, touch-sensitive surface, or knob or button). Access to additional device functionality that may not otherwise be readily possible in devices of reduced size with limited reception area (through physical/mechanical controls such as Allow users to access.
いくつかの実施形態では、接触／動きモジュール１３０は、ユーザーによって操作が実行されたか否かを判定するための（例えば、ユーザーがアイコン上で「クリック」したか否かを判定するための）、１つ以上の強度閾値のセットを使用する。いくつかの実施形態では、少なくとも強度閾値のサブセットは、ソフトウェアパラメータにしたがって決定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって決定されず、デバイス１００の物理ハードウェアを変更することなく調節されてもよい）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の所定の閾値のうちのいずれかに設定することができる。加えて、いくつかの実装形態では、デバイスのユーザーは、強度閾値の組のうちの１つ以上を調節するソフトウェア設定が提供される（例えば、個々の強度閾値を調節することによって、及び／又はシステムレベルのクリック「強度」パラメータで一度に複数の強度閾値を調節することによって）。
In some embodiments, the touch/
本明細書及び特許請求の範囲で使用されるとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、所定の数の強度サンプル、あるいは所定のイベント（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終わりを検出する前、接触の強度の増加を検出する前若しくは後、及び／又は接触の強度の減少を検出する前若しくは後）に対する予め定められた時間期間の間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）に収集された強度サンプルの組に基づく。接触の特性強度は任意選択で、接触の強度の最大値、接触の強度の平均値（mean value）、接触の強度の平均値（average value）、接触の強度の上位１０％値、接触の強度の最大値の半分の値、接触の強度の最大値の９０％の値、所定の期間にわたって、又は所定の時間において開始した接触の強度を低域通過フィルタリングすることによって生成された値などのうちの１つ以上に基づく。いくつかの実施形態では、特性強度を決定するために、（例えば、特性強度が経時的な接触の強度の平均であるとき）接触の持続期間が使用される。いくつかの実施形態では、操作がユーザーによって実行されたか否かを判定するために、特性強度を１つ以上の強度閾値のセットと比較する。例えば、１つ以上の強度閾値のセットは、第１の強度閾値及び第２の強度閾値を含むことができる。この実施例では、第１の閾値を上回らない特性強度との接触の結果として第１の操作が実行され、第１の強度閾値を上回り第２の強度閾値を上回らない特性強度との接触の結果として第２の操作が実行され、第２の強度閾値を上回る特性強度との接触の結果として第３の操作が実行される。いくつかの実施形態では、特性強度と１つ以上の強度閾値との間の比較が、第１の操作又は第２の操作のいずれを実行するかを決定するために使用されるのではなく、１つ以上の操作を実行するかどうか（例えば、それぞれのオプションを実行するのか、又はそれぞれの操作の実行を取り止めるのか）を決定するために使用される。 As used herein and in the claims, the term "characteristic intensity" of a contact refers to a characteristic of the contact that is based on one or more strengths of the contact. In some embodiments, the characteristic intensity is based on multiple intensity samples. The characteristic intensity is optionally determined by a predetermined number of intensity samples or by a predetermined event (e.g., after detecting a touch, before detecting liftoff of a touch, before or after detecting the start of movement of a touch, for a predetermined period of time (e.g. 0.05, before or after detecting the end of the contact, before or after detecting an increase in the intensity of the contact, and/or before or after detecting a decrease in the intensity of the contact). 0.1, 0.2, 0.5, 1, 2, 5, 10 seconds). The characteristic strength of contact is optional, and is the maximum value of contact strength, the mean value of contact strength, the average value of contact strength, the top 10% value of contact strength, and the contact strength. a value of half the maximum value of , a value of 90% of the maximum value of the contact intensity, a value generated by low-pass filtering the contact intensity over a given period or starting at a given time, etc. Based on one or more of the following. In some embodiments, the duration of the contact is used to determine the characteristic strength (eg, when the characteristic strength is the average of the strength of the contact over time). In some embodiments, the characteristic strength is compared to a set of one or more strength thresholds to determine whether the operation was performed by the user. For example, the set of one or more intensity thresholds can include a first intensity threshold and a second intensity threshold. In this example, the first operation is performed as a result of contact with a characteristic intensity that does not exceed a first threshold, and the first operation is performed as a result of contact with a characteristic intensity that exceeds a first intensity threshold and does not exceed a second intensity threshold. A second operation is performed as a result of contact with a characteristic intensity above a second intensity threshold, and a third operation is performed as a result of contact with a characteristic intensity above a second intensity threshold. In some embodiments, instead of a comparison between a characteristic intensity and one or more intensity thresholds being used to determine whether to perform the first operation or the second operation, It is used to decide whether to perform one or more operations (eg, to perform the respective option or to cancel the execution of the respective operation).
いくつかの実施形態では、ジェスチャの一部は、特性強度を決定する目的で識別される。例えば、タッチ感知面は、開始場所から遷移して終了場所まで達する連続的なスワイプ接触（例えば、ドラッグジェスチャ）を受け取る場合があり、この終了場所で接触の強度が増加する。この実施例では、終了場所における接触の特性強度は、連続的なスワイプ接触全体ではなく、そのスワイプ接触の一部分のみ（例えば、スワイプ接触の終了場所における部分のみ）に基づいてもよい。いくつかの実施形態では、接触の特性強度を決定する前に、平滑化アルゴリズムをそのスワイプ接触の強度に適用してもよい。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を決定する目的で、スワイプ接触の強度の小幅な上昇又は低下を除外する。 In some embodiments, a portion of the gesture is identified for the purpose of determining characteristic strength. For example, a touch-sensitive surface may receive a continuous swipe contact (eg, a drag gesture) that transitions from a starting location to an ending location, where the intensity of the contact increases. In this example, the characteristic strength of the contact at the end location may be based on only a portion of the swipe contact (eg, only the portion of the swipe contact at the end location) rather than the entire continuous swipe contact. In some embodiments, a smoothing algorithm may be applied to the strength of the swipe contact before determining the characteristic strength of the touch. For example, the smoothing algorithm optionally includes one or more of an unweighted moving average smoothing algorithm, a triangular smoothing algorithm, a median filter smoothing algorithm, and/or an exponential smoothing algorithm. In some situations, these smoothing algorithms exclude small increases or decreases in the strength of swipe contacts for the purpose of determining characteristic strength.
本明細書で説明されるユーザーインターフェースの図は任意選択で、１つ以上の強度閾値（例えば、接触検出強度閾値ＩＴ０、軽い押圧強度閾値ＩＴＬ、深い押圧強度閾値ＩＴＤ（例えば、少なくとも最初はＩＴＬよりも高い）、及び／又は１つ以上の他の強度閾値（例えば、ＩＴＬよりも低い強度閾値ＩＴＨ））に対する、タッチ感知面上の接触の現在の強度を示す、様々な強度の図を含む。この強度の図は、概して示されたユーザーインターフェースの一部ではなくて、図の解釈を支援するために提供される。いくつかの実施形態では、軽い押圧強度閾値は、物理マウスのボタン又はトラックパッドのクリックに通常は関連付けられた操作をデバイスが実行する強度に相当する。いくつかの実施形態では、深い押圧強度閾値は、物理マウスのボタン又はトラックパッドのクリックに通常は関連付けられた操作とは異なる操作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押圧強度閾値を下回る（例えば、それを下回ると接触がもはや検出されない名目上の接触検出強度閾値ＩＴ０を上回る）特性強度で接触が検出されるとき、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値と関連付けられた操作を実行することなく、タッチ感知面上の接触の移動にしたがってフォーカスセレクタを移動させる。概して、特に明記されない限り、これらの強度閾値は、ユーザーインターフェースの形態の異なるセットの間で一貫している。 The user interface diagrams described herein optionally include one or more intensity thresholds (e.g., a touch detection intensity threshold IT 0 , a light press intensity threshold IT L , a deep press intensity threshold IT D (e.g., at least initially is higher than IT L ), and/or one or more other intensity thresholds (e.g., an intensity threshold IT H lower than IT L )). Includes intensity diagram. This intensity diagram is generally not part of the illustrated user interface and is provided to aid in the interpretation of the diagram. In some embodiments, the light press intensity threshold corresponds to an intensity at which the device performs an operation typically associated with a physical mouse button or trackpad click. In some embodiments, the deep press intensity threshold corresponds to an intensity at which the device performs an operation that is different from the operation normally associated with a physical mouse button or trackpad click. In some embodiments, when a touch is detected with a characteristic intensity below a light press intensity threshold (e.g., above a nominal touch detection intensity threshold IT 0 below which a touch is no longer detected), the device: The focus selector is moved in accordance with the movement of the contact on the touch-sensitive surface without performing operations associated with light or deep press intensity thresholds. Generally, unless specified otherwise, these intensity thresholds are consistent between different sets of user interface configurations.
いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力の間の接触強度に基づく基準に依存する。例えば、いくつかの「軽い押圧」入力について、入力の間の第１の強度閾値を超える接触の強度は第１の応答をトリガする。いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力の間の接触強度及び時間に基づく基準の両方を含む基準に依存する。例えば、いくつかの「深い押圧」入力について、入力の間の軽い押圧に対する第１の強度閾値より大きい第２の強度閾値を超える接触の強度は、第１の強度閾値を満たすことと第２の強度閾値を満たすこととの間で遅延時間が経過した場合のみ、第２の応答をトリガする。この遅延時間は典型的には、継続時間が２００ｍｓ（ミリ秒）よりも短い（例えば、第２の強度閾値の大きさに依存して、４０ｍｓ、１００ｍｓ、又は１２０ｍｓであり、遅延時間は第２の強度閾値が増加するにつれて増加する）。この遅延時間は、深い押圧入力の偶発的な認識を回避するのを助ける。別の実施例として、いくつかの「深い押圧」について、第１の強度閾値が満たされる時間の後に発生する、感度が低下した時間期間が存在する。感度が低下した時間期間の間、第２の強度閾値は増加する。第２の強度閾値のこの一時的な増加もまた、偶発的な深い押圧入力を回避するのを助ける。他の深い押圧入力について、深い押圧入力の検出に対する応答は、時間に基づく基準に依存しない。 In some embodiments, the response of the device to inputs detected by the device depends on criteria based on the strength of contact between the inputs. For example, for some "light press" inputs, the intensity of the contact that exceeds a first intensity threshold during the input triggers a first response. In some embodiments, a device's response to an input detected by the device depends on criteria that include both contact strength and time-based criteria during the input. For example, for some "deep press" inputs, the intensity of the contact exceeds a second intensity threshold that is greater than the first intensity threshold for light presses during the input, satisfying the first intensity threshold and A second response is triggered only if a delay time elapses between meeting the intensity threshold. This delay time is typically less than 200ms (milliseconds) in duration (e.g., 40ms, 100ms, or 120ms, depending on the magnitude of the second intensity threshold); increases as the intensity threshold increases). This delay time helps avoid accidental recognition of deep press inputs. As another example, for some "deep presses" there is a time period of reduced sensitivity that occurs after the time the first intensity threshold is met. During the time period of decreased sensitivity, the second intensity threshold increases. This temporary increase in the second intensity threshold also helps avoid accidental deep press inputs. For other deep press inputs, the response to detection of a deep press input does not depend on time-based criteria.
いくつかの実施形態では、入力強度閾値及び／又は対応する出力のうちの１つ以上は、ユーザー設定、接触の動き、入力タイミング、実行しているアプリケーション、強度が加わる速度、同時に行われる入力の数、ユーザー履歴、環境要因（例えば、周囲ノイズ）、フォーカスセレクタの位置などの１つ以上の要因に基づいて変化する。例示的な要因が、米国特許出願第１４／３９９，６０６号及び第１４／６２４，２９６号に記載されており、それらの全体が参照により本明細書に組み込まれている。 In some embodiments, one or more of the input intensity thresholds and/or the corresponding outputs are based on user settings, contact movement, input timing, the application being executed, the rate at which the intensity is applied, and the number of simultaneous inputs. the focus selector position. Exemplary factors are described in US Patent Application Serial Nos. 14/399,606 and 14/624,296, each of which is incorporated herein by reference in its entirety.
例えば、図４Ｃは、経時的なタッチ入力４７６の強度に部分的に基づいて経時的に変化する動的強度閾値４８０を示す。動的強度閾値４８０は、２つの成分、タッチ入力４７６が最初に検出されるときから所定の遅延時間ｐ１の後に経時的に減衰する第１の成分４７４、及び経時的にタッチ入力４７６の強度を追跡する第２の成分４７８の合計である。第１の成分４７４の初期の高強度閾値は、「深い押圧」応答を偶発的にトリガすることを削減すると共に、タッチ入力４７６が十分な強度を提供する場合に即時的な「深い押圧」応答をなおも可能にする。第２の成分４７８は、タッチ入力における段階的な強度変動によって「深い押圧」応答を意図せずにトリガすることを削減する。いくつかの実施形態では、タッチ入力４７６が動的強度閾値４８０を満たすとき（例えば、図４Ｃのポイント４８１において）、「深い押圧」応答がトリガされる。
For example, FIG. 4C shows a
図４Ｄは、別の動的強度閾値４８６（例えば、強度閾値ＩＤ）を示す。図４Ｄはまた、２つの他の強度閾値、第１の強度閾値ＩＴＨ及び第２の強度閾値ＩＬを示す。図４Ｄにおいて、タッチ入力４８４が時間ｐ２の前に第１の強度閾値ＩＴＨ及び第２の強度閾値ＩＴＬを満たすが、時間４８２において遅延時間ｐ２が経過するまでは応答が提供されない。また、図４Ｄでは、動的強度閾値４８６は、所定の遅延時間ｐ１が時間４８２から経過した後（第２の強度閾値ＩＴＬと関連付けられた応答がトリガされたとき）の時間４８８において開始する減衰で、経時的に減衰する。このタイプの動的強度閾値は、第１の強度閾値ＩＨ又は第２の強度閾値ＩＬなど、より低い強度閾値と関連付けられた応答をトリガした直後、又はそれと同時に動的強度閾値ＩＤと関連付けられた応答を偶発的にトリガすることを削減する。
FIG. 4D shows another dynamic intensity threshold 486 (eg, intensity threshold ID ). FIG. 4D also shows two other intensity thresholds, a first intensity threshold ITH and a second intensity threshold IL . In FIG. 4D,
図４Ｅは、更なる別の動的強度閾値４９２（例えば、強度閾値ＩＤ）を示す。図４Ｅにおいて、強度閾値ＩＴＬと関連付けられた応答は、タッチ入力４９０が最初に検出されるときから遅延時間ｐ２が経過した後にトリガされる。同時に、動的強度閾値４９２は、タッチ入力４９０が最初に検出されるときから所定の遅延時間ｐ１が経過した後に減衰する。よって、タッチ入力４９０を解放することなく、強度閾値ＩＬと関連付けられた応答をトリガした後のタッチ入力４９０の強度の減少と、その後に続くタッチ入力４９０の強度における増加は、タッチ入力４９０の強度が別の強度閾値、例えば、強度閾値ＩＬを下回るときでさえ強度閾値ＩＴＤと関連付けられた応答をトリガすることができる（例えば、時間４９４において）。
FIG. 4E shows yet another dynamic intensity threshold 492 (eg, intensity threshold ID ). In FIG. 4E, the response associated with intensity threshold IT L is triggered after a delay time p2 has elapsed from when
軽い押圧強度閾値ＩＴＬを下回る強度から軽い押圧強度閾値ＩＴＬと深い押圧強度閾値ＩＴＤとの間の強度への接触の特性強度の増加は、「軽い押圧」入力と称される場合がある。深い押圧強度閾値ＩＴＤを下回る強度から深い押圧強度閾値ＩＴＤを上回る強度への接触の特性強度の増加は、「深い押圧」入力と称される場合がある。接触検出強度閾値ＩＴ０を下回る強度から接触検出強度閾値ＩＴ０と軽い押圧強度閾値ＩＴＬとの間の強度への接触の特性強度の増加は、タッチ面上の接触の検出と称される場合がある。接触検出強度閾値ＩＴ０を上回る強度から接触検出強度閾値ＩＴ０を下回る強度への接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と称される場合がある。いくつかの実施形態では、ＩＴ０はゼロである。いくつかの実施形態では、ＩＴ０はゼロよりも大きい。いくつかの図では、タッチ感知面上の接触の強度を表すために、影付きの円又は楕円が使用される。いくつかの図では、それぞれの接触の強度を指定することなく、タッチ感知面上のそれぞれの接触を表すために、影なしの円又は楕円が使用される。 An increase in the characteristic intensity of contact from an intensity below the light press intensity threshold IT L to an intensity between the light press intensity threshold IT L and the deep press intensity threshold IT D may be referred to as a "light press" input. . An increase in the characteristic intensity of the contact from an intensity below the deep press intensity threshold IT D to an intensity above the deep press intensity threshold IT D may be referred to as a "deep press" input. An increase in the characteristic intensity of a touch from an intensity below the touch detection intensity threshold IT 0 to an intensity between the touch detection intensity threshold IT 0 and the light pressure intensity threshold IT L is referred to as the detection of a touch on the touch surface. There is. A decrease in the characteristic intensity of a touch from an intensity above the touch detection intensity threshold IT 0 to an intensity below the touch detection intensity threshold IT 0 may be referred to as detecting a lift-off of the touch from the touch surface. In some embodiments, IT 0 is zero. In some embodiments, IT 0 is greater than zero. In some figures, shaded circles or ellipses are used to represent the intensity of contact on the touch-sensitive surface. In some figures, unshaded circles or ellipses are used to represent each touch on the touch-sensitive surface without specifying the intensity of each touch.
本明細書で説明されるいくつかの実施形態では、１つ以上の操作は、それぞれの押圧入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（若しくは、複数の接触）で実行されるそれぞれの押圧入力を検出したことに応じて実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（又は、複数の接触）の強度における増加を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの操作は、押圧入力強度閾値を上回るそれぞれの接触の強度における増加を検出したことに応じて実行される（例えば、それぞれの操作は、それぞれの押圧入力の「ダウンストローク」上で実行される）。いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度における増加、及び押圧入力強度閾値を下回る接触の強度におけるその後の減少を含み、それぞれの操作は、押圧入力閾値を下回るそれぞれの接触の強度におけるその後の減少を検出したことに応じて実行される（例えば、それぞれの操作は、それぞれの押圧入力の「アップストローク」上で実行される）。 In some embodiments described herein, one or more operations are performed in response to detecting a gesture that includes each press input or on each contact (or contacts). each press input is performed in response to detecting a respective press input, the respective press input being based at least in part on detecting an increase in the intensity of the contact (or contacts) above a press input intensity threshold. Detected. In some embodiments, each operation is performed in response to detecting an increase in the intensity of the respective contact above a pressure input intensity threshold (e.g., the respective operation is performed in response to detecting an increase in the intensity of the respective pressure input). stroke). In some embodiments, the press input includes an increase in the intensity of each contact above the press input intensity threshold and a subsequent decrease in the intensity of the contact below the press input intensity threshold, and each operation (e.g., the respective operation is performed on the "upstroke" of the respective press input).
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との所定の関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりも低いＸ強度単位であり、又はヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくは何らかの妥当な比率である）。よって、いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度における増加、及び押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度におけるその後の減少を含み、それぞれの操作は、ヒステリシス強度閾値を下回るそれぞれの接触の強度におけるその後の減少を検出したことに応じて実行される（例えば、それぞれの操作は、それぞれの押圧入力の「アップストローク」上で実行される）。同様に、いくつかの実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増加、及び任意選択的に、ヒステリシス強度以下の強度への後続の接触の強度の減少を検出するときのみ検出され、それぞれの操作は、その押圧入力の検出（例えば、状況に応じて、接触の強度の増加、又は接触の強度の減少）に応じて実行される。 In some embodiments, the device employs intensity hysteresis to avoid accidental input, which may be referred to as "jitter," and the device employs a hysteresis intensity threshold that has a predetermined relationship with a pressed input intensity threshold. (e.g., the hysteresis intensity threshold is X intensity units lower than the press input intensity threshold, or the hysteresis intensity threshold is 75%, 90%, or some reasonable proportion of the press input intensity threshold. ). Thus, in some embodiments, the press input includes an increase in the intensity of each contact above a press input intensity threshold and a subsequent decrease in the intensity of the contact below a hysteresis intensity threshold corresponding to the press input intensity threshold; Each operation is performed in response to detecting a subsequent decrease in the intensity of the respective contact below a hysteresis intensity threshold (e.g., each operation is performed on the "upstroke" of the respective press input) ). Similarly, in some embodiments, the press input causes the device to increase the intensity of the contact from an intensity below the hysteresis intensity threshold to an intensity above the press input intensity threshold, and optionally to an intensity below the hysteresis intensity. Each operation is detected only when detecting a decrease in the intensity of a subsequent contact to the is executed.
説明を容易にするために、押圧入力強度閾値と関連付けられた押圧入力に応じて、又は押圧入力を含むジェスチャに応じて実行される操作の説明は任意選択で、押圧入力強度閾値を上回る接触の強度の増加、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増加、押圧入力強度閾値を下回る接触の強度の減少、又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じてトリガされる。加えて、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて操作が実行されるとして説明される実施例では、操作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。上記説明されたように、いくつかの実施形態では、それらの応答のトリガはまた、満たされる時間に基づく基準（例えば、ある遅延時間が、第１の強度閾値が満たされることと第２の強度閾値が満たされることとの間で経過してしまっている）に依存する。 For ease of explanation, descriptions of operations performed in response to a press input associated with a press input intensity threshold, or in response to a gesture that includes a press input, are optional, and the description of operations performed in response to a press input intensity threshold associated with a press input intensity threshold is optional. an increase in the intensity of the contact from an intensity below the hysteresis intensity threshold to an intensity above the press input intensity threshold, a decrease in the intensity of the contact below the press input intensity threshold, or a hysteresis intensity threshold corresponding to the press input intensity threshold. Triggered in response to detecting a decrease in the intensity of contact below. Additionally, in embodiments described as having an operation performed in response to detecting a decrease in the intensity of the contact below a press input intensity threshold, the operation optionally corresponds to the press input intensity threshold; and in response to detecting a decrease in the intensity of the contact below a hysteresis intensity threshold. As explained above, in some embodiments, the triggering of those responses is also based on time-based criteria being met (e.g., a certain delay time that a first intensity threshold is met and a second intensity threshold is met). (depending on the amount of time that has elapsed between the threshold being met).
本明細書及び特許請求の範囲で使用されるとき、用語「触知出力」は、ユーザーの触覚でユーザーによって検出されることになる、デバイスの従前の位置に対するデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、デバイスの別の構成要素（例えば、筐体）に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザーの表面（例えば、ユーザーの指、手のひら、又は手の他の部分）に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性の認識された変化に相当する触感として、ユーザーによって解釈される。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、任意選択的に、ユーザーによって物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」と解釈される。いくつかの場合、ユーザーの移動により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がない時でさえ、ユーザーは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の実施例として、タッチ感知面の動きは、タッチ感知面の平滑度に変化がない場合であっても、ユーザーによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザーによるタッチの解釈は、ユーザーの個人的な感覚認知に左右されるが、大多数のユーザーに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザーの特定の感覚認知（例えば、「アップクリック」、「ダウンクリック」、「粗さ」）に対応するものとして説明されるとき、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザーの説明された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。触覚フィードバックをユーザーに提供するために触知出力を使用することは、デバイスの操作性を高め、ユーザーデバイスインターフェースを更に効率的にし（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。 As used herein and in the claims, the term "tactile output" refers to a physical displacement of a device relative to a previous position of the device, a configuration of the device that would be detected by the user at the user's sense of touch. Refers to the physical displacement of an element (e.g., a touch-sensitive surface) relative to another component of the device (e.g., the housing), or the displacement of a component relative to the center of mass of the device. tactile sensations generated by physical displacement, for example, in situations where the device or a component of the device is in contact with a touch-sensitive surface of the user (e.g., the user's fingers, palm, or other part of the hand) The output is interpreted by the user as a tactile sensation corresponding to a perceived change in a physical property of the device or a component of the device. For example, movement of a touch-sensitive surface (eg, a touch-sensitive display or trackpad) is optionally interpreted by the user as a "down click" or "up click" of a physical actuator button. In some cases, the user may "click down" or "click up" even when there is no movement of the physical actuator button associated with the touch-sensitive surface that is physically pressed (e.g., displaced) by the user's movement. ” I feel a tactile sensation. As another example, movement of a touch-sensitive surface is optionally interpreted or perceived by a user as a "roughness" of the touch-sensitive surface, even if there is no change in the smoothness of the touch-sensitive surface. be done. Although such a user's interpretation of touch depends on the user's personal sensory perception, there are many sensory perceptions of touch that are common to the majority of users. Therefore, when tactile output is described as corresponding to a specific sensory perception of the user (e.g., "up click," "down click," "roughness"), unless otherwise stated, the generated The tactile output corresponds to a physical displacement of the device, or a component of the device, that produces the described sensory perception of a typical (or average) user. Using tactile output to provide tactile feedback to the user increases the usability of the device and makes the user device interface more efficient (e.g., providing appropriate input when operating/interacting with the device). In addition, it reduces power usage by allowing the user to use the device even more quickly and efficiently (by assisting the user in reducing user errors), and reduces the device's battery. Improve lifespan.
いくつかの実施形態では、触知出力パターンは、触知出力の振幅、触知出力の移動波形の形状、触知出力の周波数、及び／又は触知出力の期間などの触知出力の特性を指定する。 In some embodiments, the tactile output pattern includes characteristics of the tactile output, such as amplitude of the tactile output, shape of a moving waveform of the tactile output, frequency of the tactile output, and/or duration of the tactile output. specify.
異なる触知出力パターンを有する触知出力がデバイスによって（例えば、触知出力を生成するために可動質量を移動させる１つ以上の触知出力生成器を介して）生成されるとき、触知出力は、デバイスを保持又はタッチするユーザーに異なる触覚感覚を引き起こすことができる。ユーザーの感覚が触知出力のユーザーの知覚に基づく一方で、ほとんどのユーザーは、デバイスによって生成される触知出力の波形、周波数及び振幅の変化を識別することが可能である。したがって、波形、周波数及び振幅は、異なる操作が実行されたことをユーザーに知らせるように調整することができる。このようにして、所与の環境（例えば、グラフィカルな特徴及びオブジェクトを含むユーザーインターフェース、仮想境界及び仮想オブジェクトを有する擬似的な物理環境、物理境界及び物理オブジェクトを有する現実の物理環境、並びに／又は上記のいずれかの組合せ）におけるオブジェクトの、特性（例えば、サイズ、材質、重量、剛性、平滑度など）、挙動（例えば、振動、変位、加速、回転、拡大など）、及び／又は対話（例えば、衝突、付着、反発、引き付け、摩擦など）をシミュレートするように設計、選択、及び／又は加工された触知出力パターンを有する触知出力は、いくつかの状況では、デバイスのユーザーの操作の入力誤りを削減して効率性を増大させる、有益なフィードバックをユーザーに提供する。加えて、擬似的な物理的特性（例えばオブジェクトの入力された出発点又は選択）とは無関係であるフィードバックに対応するために、触知出力は、任意選択的に、発生する。そのような触知出力は、いくつかの状況では、ユーザーのデバイス操作の入力誤りを削減し、効率性を増大させる有益なフィードバックをユーザーに提供する。 Tactile output when tactile output having different tactile output patterns is generated by a device (e.g., via one or more tactile output generators that move a movable mass to generate the tactile output) can cause different tactile sensations to the user when holding or touching the device. While user sensation is based on the user's perception of the tactile output, most users are able to discern changes in the waveform, frequency and amplitude of the tactile output produced by the device. Accordingly, the waveform, frequency and amplitude can be adjusted to inform the user that different operations have been performed. In this way, a given environment (e.g., a user interface including graphical features and objects, a simulated physical environment with virtual boundaries and objects, a real physical environment with physical boundaries and objects, and/or properties (e.g., size, material, weight, stiffness, smoothness, etc.), behavior (e.g., vibration, displacement, acceleration, rotation, magnification, etc.), and/or interactions (e.g., In some situations, tactile output has a tactile output pattern designed, selected, and/or engineered to simulate (e.g., impact, adhesion, repulsion, attraction, friction, etc.) Provide useful feedback to users that reduces input errors and increases efficiency. In addition, tactile output is optionally generated to accommodate feedback that is independent of simulated physical characteristics (eg, an entered starting point or selection of an object). Such tactile output, in some situations, provides useful feedback to the user that reduces input errors and increases the efficiency of the user's operation of the device.
いくつかの実施形態では、適切な触知出力パターンを有する触知出力は、ユーザーインターフェース内又はデバイス内のシーンの背後の関心イベントの発生に対する合図としての役割を果たす。関心イベントの例は、デバイス上又はユーザーインターフェース内で提供されるアフォーダンス（例えば、実ボタン、仮想ボタン、又はトグルスイッチ）のアクティブ化、要求された操作の成功又は失敗、ユーザーインターフェース内の境界に到達すること又は超えること、新たな状態に入ること、オブジェクト間の入力の焦点を切り替えること、新たなモードのアクティブ化、入力閾値に到達すること又は超えること、入力又はジェスチャのタイプの検出又は認識などを含む。いくつかの実施形態では、触知出力は、リダイレクション又は中断入力が時宜を得て検出されない限り発生する、近いうち起こるイベント又は結果に対する警告又はアラートしての役割を果たすように提供される。触知出力はまた、他のコンテキストでも使用されて、ユーザー体験を豊かにし、視覚若しくは運動上の困難をかかえるユーザーへのデバイスのアクセシビリティ若しくは他のアクセシビリティの必要性を改善し、並びに／又はユーザーインターフェース及び／若しくはデバイスの効率性及び機能性を改善する。触知出力は任意選択で、音声出力及び／又は視認可能なユーザーインターフェースの変更を伴い、それは、ユーザーがユーザーインターフェース及び／又はデバイスと対話するときのユーザーの体験を更に高め、ユーザーインターフェース及び／又はデバイスの状態に関する情報の搬送を更に促進し、並びにデバイスのユーザーの操作の入力誤りを削減し、効率性を増大させる。 In some embodiments, a tactile output with an appropriate tactile output pattern serves as a cue for the occurrence of an event of interest within a user interface or behind a scene within a device. Examples of events of interest are activation of affordances provided on the device or within the user interface (e.g., real buttons, virtual buttons, or toggle switches), success or failure of a requested operation, reaching a boundary within the user interface. entering or exceeding a new state, switching the focus of input between objects, activating a new mode, reaching or exceeding an input threshold, detecting or recognizing a type of input or gesture, etc. including. In some embodiments, a tactile output is provided to serve as a warning or alert for an impending event or outcome that will occur unless a redirection or interruption input is detected in a timely manner. Tactile output may also be used in other contexts to enrich the user experience, improve the accessibility of devices to users with visual or motor disabilities or other accessibility needs, and/or improve the user interface. and/or improve the efficiency and functionality of the device. The tactile output optionally involves audio output and/or visible user interface changes that further enhance the user's experience when the user interacts with the user interface and/or the device, and that It further facilitates the conveyance of information regarding the state of the device, as well as reduces input errors and increases the efficiency of the user's operation of the device.
図４Ｆ～４Ｈは、個々に、又は、組み合わせて、そのまま又は、１つ以上の変換（例えば、変調、増幅、切捨てなど）によって使用して、上述のような、及び本明細書において論ずるユーザーインターフェース及び方法に関して記載されている各種のシナリオの、そして、各種の目的のための、適切な触覚フィードバックを作り出すことができる一組のサンプル触知出力パターンを提供する。触知出力のパレットのこの例は、３つの波形及び８つの周波数のセットが触知出力パターンの配列を作るためにどのように用いることができるかについて示す。これらの図に表示される触知出力パターンに加えて、例えば、示すように、図４Ｉ～４Ｋのフルタップ８０Ｈｚ、フルタップ２００Ｈｚ、ミニタップ８０Ｈｚ、ミニタップ２００Ｈｚ、マイクロタップ８０Ｈｚ及びマイクロタップ２００Ｈｚに対する触知出力パターンのための利得値を変えることによって、これらの触知出力パターンのそれぞれは振幅において任意選択的に調整され、そして、それは１．０、０．７５、０．５及び０．２５の利得を有する異型によって各々示される。図４Ｉ～４Ｋに示すように、触知出力パターンの獲得を変えることで、パターンの周波数を変えるか又は波形の形状を変えることなくパターンの振幅が変わる。いくつかの実施形態では、触知出力パターンの周波数も変えることは振幅を低くする結果にもなり、なぜなら、いくつかの触知出力生成器はどれだけの力が可動質量に加えられ得るかによって制限され、したがって質量のより高い周波数の移動は振幅をより低くすることを強いられて、波形を作るために必要な加速は、触知出力生成器の操作上の力の範囲外の力を必要とはしない（例えば、２３０Ｈｚ、２７０Ｈｚ及び３００Ｈｚでのフルタップのピーク振幅は、８０Ｈｚ、１００Ｈｚ、１２５Ｈｚ、及び２００Ｈｚでのフルタップの振幅より低い）ことを確実にするからである。
4F-4H, individually or in combination, may be used alone or with one or more transformations (e.g., modulation, amplification, truncation, etc.) to provide a user interface as described above and discussed herein. A set of sample tactile output patterns are provided that can create suitable tactile feedback for various scenarios and for various purposes as described with respect to and methods. This example of a tactile output palette shows how a set of three waveforms and eight frequencies can be used to create an array of tactile output patterns. In addition to the tactile output patterns displayed in these figures, for example, the tactile output patterns for
図４Ｆ～４Ｋは、特定の波形を有する触知出力パターンを示す。触知出力パターンの波形は、可動質量が通過してその触知出力パターンで触知出力を生成する時間に対して、中立位置（例えば、ｘｚｅｒｏ）と比べた物理的変位のパターンを表す。例えば、図４Ｆに示す第１のセットの触知出力パターン（例えば、「フルタップ」の触知出力パターン）はそれぞれ、２つの完全サイクルがある発振（例えば、中立位置で開始及び終了し、中立位置を３回交差する発振）を含む波形を有する。図４Ｇに示す第２のセットの触知出力パターン（例えば、「ミニタップ」の触知出力パターン）はそれぞれ、１つの完全サイクルがある発振（例えば、中立位置で開始及び終了し、中立位置を１回交差する発振）を含む波形を有する。図４Ｈに示す第３のセットの触知出力パターン（例えば、「マイクロタップ」の触知出力パターン）はそれぞれ、完全サイクルの２分の１を含む発振（例えば、中立位置で開始及び終了し、中立位置と交差しない発振）を含む波形を有する。触知出力パターンの波形はまた、触知出力の開始及び終了において可動質量の段階的な高速化及び減速を表すスタートバッファ及びエンドバッファを含む。図４Ｆ～４Ｋに表示される例示波形は、可動質量の移動の最大及び最小限の範囲を表すｘｍｉｎ及びｘｍａｘ値を含む。より大きい可動質量を有するより大きな電子デバイスに対して、質量の移動のより大きいかより小さい最小限及び最大範囲があり得る。図４Ｆ～４Ｋに示す例は１次元における質量の移動を記載しているが、しかしながら、同様の原則が、二次元又は三次元の可動質量の移動にも当てはまる。 4F-4K show tactile output patterns with specific waveforms. The waveform of the tactile output pattern represents a pattern of physical displacement relative to a neutral position (eg, xzero) relative to the time that the movable mass passes and produces a tactile output with that tactile output pattern. For example, each of the first set of tactile output patterns shown in FIG. It has a waveform that includes oscillations that cross three times. The second set of tactile output patterns (e.g., "mini-tap" tactile output patterns) shown in FIG. It has a waveform that includes oscillations that cross each other. The third set of tactile output patterns (e.g., "micro-tap" tactile output patterns) shown in FIG. It has a waveform that includes (oscillations that do not intersect with the neutral position). The waveform of the tactile output pattern also includes start and end buffers representing stepwise speed-up and deceleration of the moving mass at the beginning and end of the tactile output. The example waveforms displayed in FIGS. 4F-4K include xmin and xmax values that represent maximum and minimum ranges of movement of the moving mass. For larger electronic devices with larger moving masses, there may be larger or smaller minimum and maximum ranges of mass movement. The examples shown in FIGS. 4F-4K describe the movement of a mass in one dimension, however, similar principles apply to the movement of a moving mass in two or three dimensions.
図４Ｆ～４Ｋに示すように、各触知出力パターンはまた、その特性周波数を有する触知出力からユーザーによって感じられる触覚感覚の「ピッチ」に影響を及ぼす、対応する特性周波数を有する。連続触知出力に対して、特性周波数は、触知出力生成器の可動質量によって所与の時間周期の間に完了するサイクル（例えば、秒当たりのサイクル）の数を表す。不連続の触知出力に対しては、不連続の出力信号が（例えば、０．５、１又は２サイクルで）発生し、そして特性周波数値は、可動質量がその特性周波数を有する触知出力を生成するためにどれくらい急速に移動することを必要とするかについて、条件付ける。図４Ｆ～４Ｈに示すように、各タイプの触知出力（例えば、それぞれの波形（例えば、フルタップ、ミニタップ又はマイクロタップなどのそれぞれの波形により定義される）に対して、より高い周波数値は、可動質量によるより速い移動に対応し、したがって、一般に、触知出力を完了するためのより短い時間（例えば、不連続の触知出力のためのサイクルの所要数を完了する時間を含め、スタート及びエンドバッファ時間を加えたもの）に対応する。例えば、８０Ｈｚの特性周波数を有するフルタップは、１００Ｈｚの特性周波数を有するフルタップよりも完了するのにより長くかかる（例えば、図４Ｆの３５．４ｍｓ対２８．３ｍｓ）。加えて、所与の周波数に対して、それぞれの周波数でより多くのサイクルをその波形に有する触知出力は、同じそれぞれの周波数でより少ないサイクルをその波形に有する触知出力よりも、完了するのにより長くかかる。例えば、１５０Ｈｚのフルタップは１５０Ｈｚのミニタップより完了するのにより長くかかり（例えば、１９．４ｍｓ対１２．８ｍｓ）、そして、１５０Ｈｚのミニタップは１５０Ｈｚのマイクロタップより完了するのにより長くかかる（例えば、１２．８ｍｓ対９．４ｍｓ）。しかしながら、異なる周波数を有する触知出力パターンに対しては、この規則は、あてはめることができない（例えば、より多いサイクルだがより高い周波数を有する触知出力は、より少ないサイクルだがより低い周波数を有する触知出力よりも完了する時間が短くなり得て、そして、逆もまたそうである）。例えば、３００Ｈｚで、フルタップは、ミニタップと同じほどかかる（例えば、９．９ｍｓ）。 As shown in FIGS. 4F-4K, each tactile output pattern also has a corresponding characteristic frequency that affects the "pitch" of the tactile sensation felt by the user from the tactile output with that characteristic frequency. For continuous tactile output, the characteristic frequency represents the number of cycles (eg, cycles per second) completed during a given period of time by the movable mass of the tactile output generator. For discrete tactile outputs, a discrete output signal is generated (e.g. at 0.5, 1 or 2 cycles) and the characteristic frequency value is the tactile output at which the movable mass has that characteristic frequency. conditions on how quickly it needs to move to produce . As shown in FIGS. 4F-4H, for each type of tactile output (e.g., defined by a respective waveform (e.g., full-tap, mini-tap, or micro-tap), the higher frequency value is Accommodates faster movement by the movable mass and therefore generally requires less time to complete a tactile output (e.g., starting and For example, a full tap with a characteristic frequency of 80 Hz takes longer to complete than a full tap with a characteristic frequency of 100 Hz (e.g., 35.4 ms vs. 28.4 ms in Figure 4F). Additionally, for a given frequency, a tactile output that has more cycles in its waveform at each frequency than a tactile output that has fewer cycles in its waveform at the same respective frequency. , takes longer to complete. For example, a 150Hz full tap takes longer to complete than a 150Hz minitap (e.g., 19.4ms vs. 12.8ms), and a 150Hz minitap takes longer to complete than a 150Hz microtap. However, for tactile output patterns with different frequencies, this rule cannot be applied (e.g., with more cycles but a higher frequency). (A tactile output may take less time to complete than a tactile output that has fewer cycles but a lower frequency, and vice versa). For example, at 300 Hz, a full tap will take as little time to complete as a mini tap. (e.g. 9.9ms).
図４Ｆ～４Ｋに示すように、触知出力パターンはまた、触覚の信号に含まれるエネルギー量に影響を及ぼす特性振幅、すなわち、その特性振幅を有する触知出力によるユーザーによって感じられることができる触覚感覚の「強さ」を有する。いくつかの実施形態では、触知出力パターンの特性振幅は、触知出力を生成するときに、中立位置からの可動質量の最大の変位を表す絶対値又は正規化値に関連する。いくつかの実施形態では、触知出力パターンの特性振幅は、各種の条件（例えば、ユーザーインターフェース前後関係及び挙動に基づいてカスタマイズされる）及び／又は予め設定された測定基準（例えば、入力ベースの測定基準及び／又はユーザーインターフェースベースの測定基準）にしたがって、例えば、固定であるか動的に決定されたゲイン係数（例えば、０と１間の値）によって調節可能である。いくつかの実施形態では、入力ベースの測定基準（例えば、強度変化測定基準又は入力速度測定基準）は、入力（例えば、押圧入力の接触の特性強度の変化率又はタッチ感知面全体の接触の移動の率）の特性を、触知出力の生成をトリガする入力の間、測定する。いくつかの実施形態では、触知出力の生成をトリガするユーザーインターフェース変化の間、ユーザーインターフェースベースの測定基準（例えば、境界全体速度測定基準）は、ユーザーインターフェース要素（例えば、ユーザーインターフェースの、隠れているか可視の境界全体の要素の移動の速度）の特性を測定する。いくつかの実施形態では、触知出力パターンの特性振幅は「エンベロープ」によって調整することができ、隣接するサイクルのピークは異なる振幅を有することができて、ここで、上記の波形の１つは、時間につれて変化するエンベロープパラメータ（例えば、０から１まで）による乗算によって更に修正され、触知出力が発生しているのにつれて、時間とともに段階的に触知出力の部分の振幅を調整する。 As shown in FIGS. 4F-4K, the tactile output pattern also has a characteristic amplitude that influences the amount of energy contained in the tactile signal, i.e., the tactile sensation that can be felt by the user due to the tactile output having that characteristic amplitude. It has a sense of "strength". In some embodiments, the characteristic amplitude of the tactile output pattern is related to an absolute or normalized value that represents the maximum displacement of the movable mass from a neutral position when generating the tactile output. In some embodiments, the characteristic amplitude of the tactile output pattern is determined based on various conditions (e.g., customized based on user interface context and behavior) and/or preset metrics (e.g., input-based metric and/or user interface-based metric), for example by a fixed or dynamically determined gain factor (eg, a value between 0 and 1). In some embodiments, the input-based metric (e.g., an intensity change metric or an input velocity metric) is based on the input (e.g., the characteristic rate of change in intensity of a contact of a press input or the movement of a contact across a touch-sensitive surface). rate) during the input that triggers the generation of the tactile output. In some embodiments, during a user interface change that triggers the generation of a tactile output, a user interface-based metric (e.g., a boundary-wide velocity metric) Measure the characteristics (speed of movement of an element across its visible boundaries). In some embodiments, the characteristic amplitude of the tactile output pattern can be adjusted by an "envelope," where the peaks of adjacent cycles can have different amplitudes, where one of the waveforms described above is , further modified by multiplication by a time-varying envelope parameter (eg, from 0 to 1) to adjust the amplitude of the portion of the tactile output in steps over time as the tactile output is occurring.
特性周波数、振幅及び波形だけが、説明の便宜上図４Ｆ～４Ｋのサンプル触知出力パターンで表されているが、他の周波数、振幅及び波形を有する触知出力パターンも類似の目的のために用いることができる。例えば、０．５～４サイクルの間の波形を用いることができる。６０Ｈｚ～４００Ｈｚの範囲の他の周波数も同様に用いることができる。
ユーザーインターフェース及び関連するプロセス
Although only characteristic frequencies, amplitudes, and waveforms are represented in the sample tactile output patterns of FIGS. 4F-4K for convenience of illustration, tactile output patterns having other frequencies, amplitudes, and waveforms may be used for similar purposes. be able to. For example, a waveform between 0.5 and 4 cycles can be used. Other frequencies in the range of 60Hz to 400Hz can be used as well.
User interface and related processes
ここで、ディスプレイとタッチ感知面と、（任意選択的に）触知出力を生成するための１つ以上の触知出力生成器と、（任意選択的に）タッチ感知面との接触の強度を検出するための１つ以上のセンサとを備える、ポータブル多機能デバイス１００又はデバイス３００などの電子デバイス上で実装され得る、ユーザーインターフェース（「ＵＩ」）及び関連プロセスの実施形態に注意を向ける。
wherein the intensity of contact between the display and the touch-sensitive surface, (optionally) one or more tactile output generators for generating a tactile output, and (optionally) the touch-sensitive surface; Attention is directed to embodiments of user interfaces ("UI") and related processes that may be implemented on an electronic device, such as
図５Ａ～５ＡＴは、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替える間に、仮想オブジェクトの表現を表示するための、いくつかの実施形態による、例示ユーザーインターフェースを図示する。これらの図のユーザーインターフェースは、図８Ａ～８Ｅ、９Ａ～９Ｄ、１０Ａ～１０Ｄ、１６Ａ～１６Ｇ、１７Ａ～１７Ｄ、１８Ａ～１８Ｉ、１９Ａ～１９Ｈ及び２０Ａ～２０Ｆのプロセスを含む、以下に説明するプロセスを図示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して述べられる。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する表現的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上の図に表示されるユーザーインターフェースを表示する間に、タッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
5A-5AT illustrate example methods for displaying a representation of a virtual object while switching from displaying a first user interface area to displaying a second user interface area, according to some embodiments. 3 illustrates a user interface. The user interfaces in these figures are representative of the processes described below, including the processes of FIGS. used to illustrate. For convenience of explanation, some of the embodiments are described with reference to operations performed on a device having a touch-
図５Ａは、図５Ｂ～５ＡＴに関して記載されているユーザーインターフェースが用いられる現実の前後関係を図示する。 FIG. 5A illustrates a real-world context in which the user interface described with respect to FIGS. 5B-5AT is used.
図５Ａは、テーブル５００４が位置する物理スペース５００２を図示する。デバイス１００は、ユーザーによってユーザーの手５００６に保持される。
FIG. 5A illustrates a
図５Ｂは、ディスプレイ１１２上に表示されたメッセージ送信ユーザーインターフェース５００８を図示する。メッセージ送信ユーザーインターフェース５００８は、受信したテキストメッセージ５０１２を含むメッセージバブル５０１０、送信したテキストメッセージ５０１６を含むメッセージバブル５０１４、メッセージにおいて受信した仮想オブジェクト（例えば、仮想椅子５０２０）を含むメッセージバブル５０１８及び仮想椅子５０２０が拡張現実視において（例えば、デバイス１００の１つ以上のカメラの視野の表現の範囲内で）見えるオブジェクトであることを示す仮想オブジェクトインジケータ５０２２を含む。メッセージ送信ユーザーインターフェース５００８は、メッセージ入力を表示するように構成されるメッセージ入力領域５０２４も含む。
FIG. 5B illustrates a message sending
図５Ｃ～５Ｇは、メッセージ送信ユーザーインターフェース５００８の一部をデバイス１００の１つ以上のカメラの視野により置き換えさせる入力を、図示する。図５Ｃにおいて、デバイス１００のタッチスクリーン１１２との接触５０２６が検出される。接触の特性強度は、強度レベルメータ５０２８で示すように、接触検出強度閾値ＩＴ０を上回り、かつ、ヒント押圧強度閾値ＩＴＨを下回る。図５Ｄにおいて、強度レベルメータ５０２８で示すように、ヒント押圧強度閾値ＩＴＨを上回る接触５０２６の特性強度の増加によって、メッセージバブル５０１８の領域が増大し、仮想椅子５０２０のサイズが増大し、そしてメッセージ送信ユーザーインターフェース５００８がメッセージバブル５０１８の後方でぼやけ始めている（例えば、接触の特性強度を増加させる効果の視覚フィードバックをユーザーに提供するために）。図５Ｅにおいて、強度レベルメータ５０２８で示すように、軽い押圧強度閾値ＩＴＬを上回る接触５０２６の特性強度の増加によって、メッセージバブル５０１８がプラッタ５０３０に置き換えられ、仮想椅子５０２０のサイズが更に増大し、そしてプラッタ５０３０の後方のメッセージ送信ユーザーインターフェース５００８のぼやけを増加させている。図５Ｆにおいて、強度レベルメータ５０２８で示すように、深い押圧強度閾値ＩＴＤを上回る接触５０２６の特性強度の増加によって、デバイス１００の触知出力生成器１６７に触知出力を（５０３２で図示されるように）出力させ、メッセージ送信ユーザーインターフェース５００８の一部をデバイス１００の１つ以上のカメラの視野に置き換えるための基準が満たされたことを示す。
5C-5G illustrate input that causes a portion of the
いくつかの実施形態では、接触５０２６の特性強度が深い押圧強度閾値ＩＴＤに到達する前に、図５Ｆで図示するように、図５Ｃ～５Ｅに図示される進行は可逆である。例えば、図５Ｄ及び／又は５Ｅに図示される増加の後に接触５０２６の特性強度を低下させることは、接触５０２６の減少した強度レベルに対応するインターフェース状態が表示されるようにする（例えば、図５Ｅで示すインターフェースは接触の減少した特性強度が軽い押圧強度閾値ＩＴＬを上回るという判定にしたがって示され、図５Ｄで示すインターフェースは接触の減少した特性強度がヒント押圧強度閾値ＩＴＨを上回るという判定にしたがって示され、そして、図５Ｃで示すインターフェースは接触の減少した特性強度がヒント押圧強度閾値ＩＴＨを下回るという判定にしたがって示される）。いくつかの実施形態では、図５Ｄ及び／又は５Ｅに図示される増加の後に接触５０２６の特性強度を低下させることにより、図５Ｃで示すインターフェースが再表示させられる。
In some embodiments, the progression illustrated in FIGS. 5C-5E is reversible, as illustrated in FIG. 5F, before the characteristic intensity of the
図５Ｆ～５Ｊは、メッセージ送信ユーザーインターフェースの一部がデバイス１００の１つ以上のカメラ（以下「カメラ」）の視野と置き換えられるアニメーション化された遷移を図示する。図５Ｆから図５Ｇまでに、接触５０２６はタッチスクリーン１１２からリフトオフし、そして、仮想椅子５０２０は図５Ｉのその最終位置の方へ回転した。図５Ｇにおいて、カメラの視野５０３４は、プラッタ５０３０の図へとフェードインし始めた（点線によって示されるように）。図５Ｈにおいて、カメラの視野５０３４（例えば、カメラによって取り込まれる物理スペース５００２のビューを示す）は、プラッタ５０３０の図に、フェードインを完了した。図５Ｈから図５Ｉまでに、仮想椅子５０２０は、図５Ｉのその最終位置の方へ、その回転を続けた。図５Ｉにおいて、触知出力生成器１６７は、触知出力を（５０３６で図示されるように）出力して、少なくとも１つのプレーン（例えば、床面５０３８）がカメラの視野５０３４において検出されたことを示した。仮想椅子５０２０は、検出されたプレーンに（例えば、仮想オブジェクトが検出水平面（例えば床面５０３８）上の直立した向きに置かれるように構成されるというデバイス１００による決定にしたがって）配置される。仮想椅子５０２０のサイズは、メッセージ送信ユーザーインターフェースの一部がディスプレイ１１２上のカメラの視野５０３４の表現に変わるにつれて、ディスプレイ１１２で連続的に調整される。例えば、カメラの視野５０３４に示す物理スペース５００２に対する仮想椅子５０２０の縮尺は、仮想椅子５０２０の所定の「実世界」サイズ及び／又はカメラの視野５０３４のオブジェクト（例えばテーブル５００４）の検出サイズに基づいて、決定される。図５Ｊにおいて、仮想椅子５０２０は、カメラの視野５０３４の検出床面に対する所定の向きを有するその最終位置で示される。いくつかの実施形態では、仮想椅子５０２０の最初のランディング位置は、カメラの視野の検出されたプレーンに対して所定の位置、例えば検出されたプレーンの空き領域の中央）である。いくつかの実施形態では、接触５０２６のランディング位置は、接触５０２６のリフトオフ位置にしたがって決定される（例えば、接触５０２６の最初のリフトオフ位置は、拡張現実環境に遷移するための基準が図５Ｆにおいて満たされた後、タッチスクリーン１１２全体の接触５０２６の移動により接触５０２６の最初のタッチダウン位置と異なってもよい）。
5F-5J illustrate an animated transition in which a portion of the messaging user interface is replaced with the field of view of one or more cameras (hereinafter “cameras”) of
図５Ｋ～５Ｌは、カメラの視野５０３４を調整するデバイス１００の移動（例えば、ユーザーの手５００６による）を図示する。デバイス１００が物理スペース５００２に対して移動されるにつれて、カメラの表示された視野５０３４は変化し、そして、仮想椅子５０２０はカメラの表示された視野５０３４の床面５０３８に対して同じ位置及び向きで付着したままである。
5K-5L illustrate movement of device 100 (eg, by a user's hand 5006) to adjust camera field of
図５Ｍ～５Ｑは、カメラの表示された視野５０３４の床面５０３８にわたる仮想椅子５０２０の移動を生じさせる入力を図示する。図５Ｎにおいて、デバイス１００のタッチスクリーン１１２との接触５０４０は、仮想椅子５０２０に対応する位置で検出される。図５Ｎ～５Ｏにおいて、接触５０４０が矢印５０４２によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０４０によってドラッグされる。仮想椅子５０２０が接触５０４０によって移動されるにつれて、カメラの視野５０３４に示すように仮想椅子５０２０のサイズは変化して、物理スペース５００２に対する仮想椅子５０２０の縮尺を維持する。例えば、図５Ｎ～５Ｐで、仮想椅子５０２０がカメラの視野５０３４の前景から、カメラの視野５０３４においてデバイス１００からはより遠くてテーブル５００４にはより近い位置へ移動するにつれて、仮想椅子５０２０のサイズは減少する（例えば、それによって、カメラの視野５０３４のテーブル５００４に対する椅子の縮尺は維持される）。加えて、仮想椅子５０２０が接触５０４０によって移動されるにつれて、カメラの視野５０３４において識別されるプレーンは強調される。例えば、図５Ｏにおいて床平面５０３８が強調される。図５Ｏ～５Ｐにおいて、接触５０４０が矢印５０４４によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０４０によってドラッグされ続ける。図５Ｑにおいて、接触５０４０は、タッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、図５Ｎ～５Ｑに示すように、あたかも仮想椅子５０２０が接触５０４０によって床面５０３８にわたってドラッグされるかのように、仮想椅子５０２０の移動パスはカメラの視野５０３４の床面５０３８によって拘束される。いくつかの実施形態では、図５Ｎ～５Ｐに関して記載されている接触５０４０は、図５Ｃ～５Ｆに関して記載されている接触５０２６の継続である（例えば、接触５０２６のリフトオフは無く、メッセージ送信ユーザーインターフェース５００８の一部がカメラの視野５０３４によって置き換られるようにさせるのと同じ接触はまた、カメラの視野５０３４の仮想椅子５０２０をドラッグする）。
5M-5Q illustrate inputs that cause movement of the
図５Ｑ～５Ｕは、床面５０３８からカメラの視野５０３４において検出される異なるプレーン（例えば、テーブル面５０４６）への、仮想椅子５０２０の移動を引き起こす入力を図示する。図５Ｒにおいて、デバイス１００のタッチスクリーン１１２との接触５０５０は、仮想椅子５０２０に対応する位置で検出される。図５Ｒ～５Ｓにおいて、接触５０４８が矢印５０５０によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０４８によってドラッグされる。仮想椅子５０２０が接触５０４８によって移動されるにつれて、仮想椅子５０２０のサイズが変化してカメラの視野５０３４に示すように物理スペース５００２に対する仮想椅子５０２０の縮尺を維持する。加えて、仮想椅子５０２０が接触５０４０によって移動されるにつれて、テーブル基準面５０４６は強調される（例えば、図５Ｓに示すように）。図５Ｓ～５Ｔにおいて、接触５０４８が矢印５０５２によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０４０によってドラッグされ続ける。図５Ｕにおいて、接触５０４８はタッチスクリーン１１２からリフトオフしており、そして、仮想椅子５０２０は前と同じ方向に向かっている直立した向きのテーブル基準面５０４６に配置される。
5Q-5U illustrate inputs that cause movement of
図５Ｕ～５ＡＤはタッチスクリーンディスプレイ１１２の端に仮想椅子５０２０をドラッグする入力を図示し、これによりカメラの視野５０３４が表示されないようにする。図５Ｖにおいて、デバイス１００のタッチスクリーン１１２との接触５０５４は、仮想椅子５０２０に対応する位置で検出される。図５Ｖ～５Ｗにおいて、接触５０５４が矢印５０５６によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０５４によってドラッグされる。図５Ｗ～５Ｘにおいて、接触５０５４が矢印５０５８によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は図５Ｘに表示される位置に接触５０５４によってドラッグされ続ける。
5U-5AD illustrate input for dragging a
図５Ｕ～５Ｘに図示される接触５０５４による入力は、図５Ｙ～５ＡＤに示すように、カメラの視野５０３４をプラッタ５０３０に表示することから、カメラの視野５０３４を表示するのを中止して、メッセージ送信ユーザーインターフェース５００８を完全に表示することに戻るという遷移を引き起こす。図５Ｙにおいて、カメラの視野５０３４は、プラッタ５０３０においてフェードアウトを開始する。図５Ｙ～５Ｚにおいて、プラッタ５０３０は、メッセージバブル５０１８に遷移する。図５Ｚにおいて、カメラの視野５０３４は、もはや表示されない。図５ＡＡにおいて、メッセージ送信ユーザーインターフェース５００８はぼやけなくなり、メッセージバブル５０１８のサイズはメッセージバブル５０１８の元のサイズに（例えば、図５Ｂに示すように）戻る。
The input by
図５ＡＡ～５ＡＤは、図５ＡＡの接触５０５４に対応する位置からメッセージ送信ユーザーインターフェース５００８（例えば、図５Ｂに示すように）の仮想椅子５０２０の元の位置へ仮想椅子５０２０が移動するにつれて発生する、仮想椅子５０２０のアニメーション化された遷移を、図示する。図５ＡＢにおいて、接触５０５４は、タッチスクリーン１１２からリフトオフしている。図５ＡＢ～５ＡＣにおいて、仮想椅子５０２０は、段階的にサイズが増加して、図５ＡＤのその最終位置の方へ回転する。
5AA-5AD occur as
図５Ｂ～５ＡＤにおいて、仮想椅子５０２０は、メッセージ送信ユーザーインターフェース５００８の中で、また、カメラの表示された視野５０３４の中で、実質的に同じ三次元外観を有し、そして仮想椅子５０２０は、メッセージ送信ユーザーインターフェース５００８を表示することからカメラの視野５０３４を表示することへの遷移の間、及び逆遷移の間、その同じ三次元外観を維持する。いくつかの実施形態では、仮想椅子５０２０の表現は、アプリケーションユーザーインターフェース（例えば、メッセージ送信ユーザーインターフェース）において、拡張現実環境において（例えば、カメラの示された視野において）とは異なる外観を有する。例えば、仮想椅子５０２０は任意選択的にアプリケーションユーザーインターフェースにおいて二次元であるかより在来の型にのっとった見え方を有し、その一方で、拡張現実環境では三次元及びより現実的で質感のある見え方を有し、そして、アプリケーションユーザーインターフェースを表示することと拡張現実環境を表示することの間の遷移の間の、仮想椅子５０２０の中間の外観は、二次元の見え方と仮想椅子５０２０の三次元の見え方の間の一連の内挿された外観である。
5B-5AD, the
図５ＡＥは、インターネットブラウザユーザーインターフェース５０６０を図示する。インターネットブラウザユーザーインターフェース５０６０は、ウェブブラウザのためのＵＲＬ／検索入力を表示するように構成されるＵＲＬ／検索入力領域５０６２及びブラウザ制御５０６４（例えば、バックボタン及びフォワードボタンを含むナビゲーション制御、共有インターフェースを表示するための共有制御、ブックマークインターフェースを表示するためのブックマーク制御及びタブインターフェースを表示するためのタブ制御）を含む。インターネットブラウザユーザーインターフェース５０６０は、ウェブオブジェクト５０６６、５０６８、５０７０、５０７２、５０７４及び５０７６も含む。いくつかの実施形態では、それぞれのウェブオブジェクトはリンクを含み、それによって、それぞれのウェブオブジェクト上のタップ入力に応答して、ウェブオブジェクトに対応するリンクの張られたインターネット位置がインターネットブラウザユーザーインターフェース５０６０に（例えば、それぞれのウェブオブジェクトの表示を置き換えて）表示される。ウェブオブジェクト５０６６、５０６８及び５０７２は、仮想オブジェクトインジケータ５０７８、５０８０及び５０８２によってそれぞれ示されるように、三次元仮想オブジェクトの二次元の表現を含む。ウェブオブジェクト５０７０、５０７４及び５０７６は、二次元画像を含む（しかし、仮想オブジェクトインジケータの欠如によって示されるように、ウェブオブジェクト５０７０、５０７４及び５０７６の二次元画像は三次元仮想オブジェクトに対応しない）。ウェブオブジェクト５０６８に対応する仮想オブジェクトは、ランプオブジェクト５０８４である。
FIG. 5AE illustrates an internet
図５ＡＦ～５ＡＨは、インターネットブラウザユーザーインターフェース５０６０の一部をカメラの視野５０３４により置き換えさせる入力を、図示する。図５ＡＦにおいて、デバイス１００のタッチスクリーン１１２との接触５０８６が検出される。接触の特性強度は、強度レベルメータ５０２８で示すように、接触検出強度閾値ＩＴ０を上回り、そして、ヒント押圧強度閾値ＩＴＨを下回る。図５ＡＧにおいて、強度レベルメータ５０２８で示すように、軽い押圧強度閾値ＩＴＬを上回る接触５０２６の特性強度の増加により、カメラの視野５０３４がウェブオブジェクト５０６８に表示させられた（例えば、仮想ランプ５０８４によりオーバレイされた）。図５ＡＨにおいて、強度レベルメータ５０２８で示すように、深い押圧強度閾値ＩＴＤを上回る接触５０８６の特性強度の増加により、カメラの視野５０３４が、（例えば、ＵＲＬ／検索入力領域５０６２及びブラウザ制御５０６４だけを残して）インターネットブラウザユーザーインターフェース５０６０のより大きな部分を置き換え、そして、デバイス１００の触知出力生成器１６７は（５０８８で図示されるように）触知出力を出力して、インターネットブラウザユーザーインターフェース５０６０の一部をカメラの視野５０３４に置き換えるための基準が満たされたことを示す。いくつかの実施形態では、図５ＡＦ～５ＡＨに関して記載されている入力に応答して、カメラの視野５０３４は、タッチスクリーンディスプレイ１１２上のインターネットブラウザユーザーインターフェース５０６を完全に置き換える。
5AF-5AH illustrate input that causes a portion of the Internet
図５ＡＩ～５ＡＭは、仮想ランプ５０８４の移動を生じさせる入力を図示する。図５ＡＩ～５ＡＪにおいて、接触５０８６が矢印５０９０によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は接触５０８６によってドラッグされる。仮想ランプ５０８４が接触５０８６によって移動されるにつれて、仮想ランプ５０８４のサイズは不変であり、そして、仮想ランプ５０８４のパスは任意選択的に、カメラの視野において捕えられる物理スペースの構造によって拘束されない。仮想ランプ５０８４が接触５０８６によって移動されるにつれて、カメラの視野５０３４において識別される平面は強調される。例えば、仮想ランプ５０８４が床平面５０３８の上を移動するにつれて、床平面５０３８は図５ＡＪにおいて強調される。図５ＡＪ～５ＡＫにおいて、接触５０８６が矢印５０９２によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は接触５０８６によってドラッグされ続ける。図５ＡＫ～５ＡＬにおいて、接触５０８６が矢印５０９４によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は接触５０８６によってドラッグされ続け、床平面５０３８は強調されなくなり、そして、仮想ランプ５０８４がテーブル５００４の上を移動するにつれて、テーブル面５０４６が強調される。図５ＡＭにおいて、接触５０８６は、タッチスクリーン１１２からリフトオフしている。接触５０８６がリフトオフしてしまうと、仮想ランプ５０８６のサイズはカメラの視野５０３４のテーブル５００４に対して正しい縮尺を有するように調整され、そして、仮想ランプ５０８６はカメラの視野５０３４のテーブル面５０４６上の直立した向きに置かれる。
5AI-5AM illustrate inputs that cause movement of
図５ＡＭ～５ＡＱはタッチスクリーンディスプレイ１１２の端に仮想ランプ５０８４をドラッグする入力を図示し、これによりカメラの視野５０３４が表示されないようにし、インターネットブラウザユーザーインターフェース５０６０を復活させる。図５ＡＮにおいて、デバイス１００のタッチスクリーン１１２との接触５０９６は、仮想ランプ５０８４に対応する位置で検出される。図５ＡＮ～５ＡＯにおいて、接触５０９６が矢印５０９８によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は接触５０９６によってドラッグされる。図５ＡＯ～５ＡＰにおいて、接触５０５４が矢印５１００によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は図５ＡＰに表示される位置に接触５０９６によってドラッグされ続ける。図５ＡＱにおいて、接触５０９６は、タッチスクリーン１１２からリフトオフしている。
5AM-5AQ illustrate input for dragging a
図５ＡＭ～５ＡＰに図示される接触５０９６による入力は、図５ＡＱ～５ＡＴに示すように、カメラの視野５０３４を表示することから、カメラの視野５０３４を表示するのを中止して、インターネットブラウザユーザーインターフェース５０６０を完全に表示することに戻るという遷移を引き起こす。図５ＡＲにおいて、カメラの視野５０３４は（点線によって示されるように）フェードアウトし始める。図５ＡＲ～５ＡＴにおいて、仮想ランプ５０８４は、サイズが増加して、インターネットブラウザユーザーインターフェース５０６０のその元の位置の方へ移動する。図５ＡＳにおいて、カメラの視野５０３４はもはや表示されず、インターネットブラウザユーザーインターフェース５０６０は（点線によって示されるように）フェードインし始める。図５ＡＴにおいて、インターネットブラウザユーザーインターフェース５０６０は完全に表示され、そして、仮想ランプ５０８４はインターネットブラウザユーザーインターフェース５０６０内でその元のサイズ及び位置に戻っている。
Input via
図６Ａ～６ＡＪは、いくつかの実施形態にしたがって、第１のユーザーインターフェース領域の仮想オブジェクトの第１の表現、第２のユーザーインターフェース領域の仮想オブジェクトの第２の表現及び１つ以上のカメラの視野の表現を有する仮想オブジェクトの第３の表現を表示するための例示ユーザーインターフェースを図示する。これらの図におけるユーザーインターフェースは、図８Ａ～８Ｅ、９Ａ～９Ｄ、１０Ａ～１０Ｄ、１６Ａ～１６Ｇ、１７Ａ～１７Ｄ、１８Ａ～１８Ｉ、１９Ａ～１９Ｈ及び２０Ａ～２０Ｆにおけるプロセスを含む、以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する表現的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上の図に表示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
6A-6AJ illustrate a first representation of a virtual object in a first user interface area, a second representation of the virtual object in a second user interface area, and one or more cameras, according to some embodiments. FIG. 7 illustrates an example user interface for displaying a third representation of a virtual object having a representation of a field of view. The user interfaces in these figures are representative of the processes described below, including the processes in FIGS. Used to illustrate. For convenience of explanation, some of the embodiments are discussed with reference to operations performed on a device having a touch-
図６Ａは、受信したテキストメッセージ５０１２を含むメッセージバブル５０１０、送信したテキストメッセージ５０１６を含むメッセージバブル５０１４、メッセージにおいて受信した仮想オブジェクト（例えば、仮想椅子５０２０）を含むメッセージバブル５０１８及び仮想椅子５０２０が拡張現実視において（例えば、デバイス１００の１つ以上の表示されたカメラの視野の範囲内で）見えるオブジェクトであることを示す仮想オブジェクトインジケータ５０２２を含む、メッセージ送信ユーザーインターフェース５００８を図示する。メッセージ送信ユーザーインターフェース５００８は、図５Ｂに関して更に詳細に記載される。
FIG. 6A shows
図６Ｂ～６Ｃは、仮想椅子５０２０の回転を生じさせる入力を図示する。図６Ｂにおいて、デバイス１００のタッチスクリーン１１２との接触６００２が検出される。接触６００２は、矢印６００４によって示されるパスに沿って、タッチスクリーン１１２にわたって移動する。図６Ｃにおいて、接触の移動に応答して、メッセージ送信ユーザーインターフェース５００８は上方へスクロールされて（メッセージバブル５０１０をディスプレイからスクロールオフさせ、メッセージバブル５０１４及び５０１８を上方へスクロールさせ、付加的なメッセージバブル６００５を現し）、そして、仮想椅子５０２０は回転する（例えば、上方へ傾けられる）。仮想椅子５０２０の回転の大きさ及び方向は、矢印６００４によって示されるパスに沿った接触６００２の移動に対応する。図６Ｄにおいて、接触６００２は、タッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、メッセージバブル５０１８内の仮想椅子５０２０のこの回転の挙動が、仮想椅子５０２０がデバイス１００のカメラの視野を含む拡張現実環境において見える仮想オブジェクトであるという徴候として、使われる。
6B-6C illustrate inputs that cause rotation of
図６Ｅ～６Ｌは、メッセージ送信ユーザーインターフェース５００８をステージングユーザーインターフェース６０１０により置き換えさせ、そして仮想椅子５０２０の向きをその後変える入力を、図示する。図６Ｅにおいて、デバイス１００のタッチスクリーン１１２との接触６００６が検出される。強度レベルメータ５０２８で示すように、接触の特性強度は、接触検出強度閾値ＩＴ０を上回り、そして、ヒント押圧強度閾値ＩＴＨを下回る。図６Ｆにおいて、強度レベルメータ５０２８で示すように、ヒント押圧強度閾値ＩＴＨを上回る接触６００６の特性強度の増加によって、メッセージバブル５０１８の領域が増大し、仮想椅子５０２０のサイズが増大し、そしてメッセージ送信ユーザーインターフェース５００８がメッセージバブル５０１８（例えば、接触の特性強度を増加させる効果の視覚フィードバックをユーザーに提供する）の後方でぼやけ始めた。図６Ｇにおいて、強度レベルメータ５０２８で示すように、軽い押圧強度閾値ＩＴＬを上回る接触６００６の特性強度の増加によって、メッセージバブル５０１８がプラッタ６００８に置き換えられ、仮想椅子５０２０のサイズが更に増大し、そしてプラッタ６００８の後方のメッセージ送信ユーザーインターフェース５００８のぼやけを増加させた。図６Ｈにおいて、強度レベルメータ５０２８で示すように、深い押圧強度閾値ＩＴＤを上回る接触６００６の特性強度の増加により、メッセージ送信ユーザーインターフェース５００８が表示されなくなり、ステージングユーザーインターフェース６０１０のフェードイン（点線によって示される）が起動される。加えて、図６Ｈで示すように、深い押圧強度閾値ＩＴＤを上回る接触６００６の特性強度の増加によって、デバイス１００の触知出力生成器１６７に触知出力を（６０１２で図示されるように）出力させ、メッセージ送信ユーザーインターフェース５００８をステージングユーザーインターフェース６０１０に置き換えるための基準が満たされたことを示す。
6E-6L illustrate input that causes message sending
いくつかの実施形態では、接触６００６の特性強度が深い押圧強度閾値ＩＴＤに及ぶ前に、図６Ｈで図示するように、図６Ｅ～６Ｇに図示される進行は可逆である。例えば、図６Ｆ及び／又は６Ｇに図示される増加の後に接触６００６の特性強度を低下させることは、接触６００６の減少した強度レベルに、対応するインターフェース状態が表示されるようにする（例えば、図６Ｇで示すインターフェースは接触の減少した特性強度が軽い押圧強度閾値ＩＴＬを上回るという判定にしたがって示され、図６Ｆで示すインターフェースは接触の減少した特性強度がヒント押圧強度閾値ＩＴＨを上回るという判定にしたがって示され、そして、図６Ｅで示すインターフェースは接触の減少した特性強度がヒント押圧強度閾値ＩＴＨを下回るという判定にしたがって示される）。いくつかの実施形態では、図６Ｆ及び／又は６Ｇに図示される増加の後に接触６００６の特性強度を低下させることにより、図６Ｅで示すインターフェースが再表示させられる。
In some embodiments, the progression illustrated in FIGS. 6E-6G is reversible, as illustrated in FIG. 6H, before the characteristic intensity of
図６Ｉにおいて、ステージングユーザーインターフェース６０１０が表示される。ステージングユーザーインターフェース６０１０は、仮想椅子５０２０が表示されるステージ６０１４を含む。図６Ｈ～６Ｉから、仮想椅子５０２０は、図６Ｈの仮想椅子５０２０の位置から図６Ｉの仮想椅子５０２０の位置への遷移を示すために、アニメーション化される。例えば、仮想椅子５０２０は、ステージ６０１４（例えば、このようなその仮想椅子は、ステージ６０１４によってサポートされるように見える）に対して所定の位置、向き及び／又は距離に回転される。ステージングユーザーインターフェース６０１０はまた、（例えば、バック制御６０１６に対応する位置に入力されるタップによって）アクティブ化されると、前に表示されたユーザーインターフェース（例えば、メッセージ送信ユーザーインターフェース５００８）を再表示させる、バック制御６０１６を含む。ステージングユーザーインターフェース６０１０はまた、現在のディスプレイモード（例えば、現在のディスプレイモードは強調された「３Ｄ」インジケータによって示されるように、ステージングユーザーインターフェースモードである）を示し、そして、アクティブ化されると選択されたディスプレイモードに遷移する、トグル制御６０１８を含む。例えば、ステージングユーザーインターフェース６０１０が表示されている間に、トグル制御６０１８に対応する位置（例えば、テキスト「ワールド」を含むトグル制御６０１８の一部に対応する位置）での接触により入力されるタップによって、ステージングユーザーインターフェース６０１０はカメラの視野と置き換えられる。ステージングユーザーインターフェース６０１０はまた、（例えば、共有インターフェースを表示するための）シェア制御６０２０を含む。
In FIG. 6I, a
図６Ｊ～６Ｌは、接触６００６の移動によって生じるステージ６０１４に対する仮想椅子５０２０の回転を図示する。図６Ｊ～６Ｋにおいて、接触６００６が矢印６０２２によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は（例えば、接触６０６６の移動に対して垂直である第１の軸のまわりを）回転する。図６Ｋ～６Ｌにおいて、矢印６０２４によって示されるパスに沿って、そして、その後矢印６０２５によって示されるパスに沿って接触６００６が移動するにつれて、仮想椅子５０２０は（例えば、接触６０６６の移動に対して垂直である第２の軸のまわりを）回転する。図６Ｍにおいて、接触６００６はタッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、図６Ｊ～６Ｌに示すように、仮想椅子５０２０の回転はステージ６０１４の表面によって拘束される。例えば、仮想椅子５０２０の少なくとも１つの脚部は、仮想椅子の回転の間、ステージ６０１４の表面と接触したままである。いくつかの実施形態では、ステージ６０１４の表面は、仮想椅子５０２０の動きに特定の制約をもたらすことのない、仮想椅子５０２０の自由回転及び垂直並進移動の基準系としての役割を果たす。
6J-6L illustrate rotation of
図６Ｎ～６Ｏは、仮想椅子５０２０の表示されたサイズを調整する入力を図示する。図６Ｎにおいて、タッチスクリーン１１２との第１の接触６０２６及び第２の接触６０３０が検出される。第１の接触６０２６は矢印６０２８によって示されるパスに沿って移動し、そして、第１の接触６０２６の移動と同時に、第２の接触６０３０は矢印６０３２によって示されるパスに沿って移動する。図６Ｎ～６Ｏにおいて、第１の接触６０２６及び第２の接触６０３０が、それぞれ（例えば、デピンチジェスチャにおいて）、矢印６０２８及び６０３２によって示されるパスに沿って移動するにつれて、仮想椅子５０２０の表示されるサイズは増大する。図６Ｐにおいて、第１の接触６０３０及び第２の接触６０２６はタッチスクリーン１１２からリフトオフしており、そして、仮想椅子５０２０は接触６０２６及び６０３０のリフトオフの後増大したサイズを維持する。
6N-6O illustrate inputs that adjust the displayed size of
図６Ｑ～６Ｕは、ステージングユーザーインターフェース６０１０をデバイス１００の１つ以上のカメラの視野６０３６により置き換えさせる入力を、図示する。図６Ｑにおいて、デバイス１００のタッチスクリーン１１２との接触６０３４が検出される。強度レベルメータ５０２８で示すように、接触の特性強度は、接触検出強度閾値ＩＴ０を上回り、そして、ヒント押圧強度閾値ＩＴＨを下回る。図６Ｒにおいて、強度レベルメータ５０２８で示すように、ヒント押圧強度閾値ＩＴＨを上回る接触５０２６の特性強度の増加により、ステージングユーザーインターフェース６０１０が（点線によって示されるように）仮想椅子５０２０の後方でぼやけ始めた。図６Ｓにおいて、強度レベルメータ５０２８で示すように、軽い押圧強度閾値ＩＴＬを上回る接触６０３４の特性強度の増加により、ステージングユーザーインターフェース６０１０が表示されなくなり、カメラの視野６０３６のフェードイン（点線によって示される）が起動される。図６Ｔにおいて、強度レベルメータ５０２８で示すように、深い押圧強度閾値ＩＴＤを上回る接触６０３４の特性強度の増加により、カメラの視野６０３６が表示させられる。加えて、図６Ｔで示すように、深い押圧強度閾値ＩＴＤを上回る接触６０３４の特性強度の増加によって、デバイス１００の触知出力生成器１６７に触知出力を（６０３８で図示されるように）出力させ、ステージングユーザーインターフェース６０１０の表示をカメラの視野６０３６の表示に置き換えるための基準が満たされたことを示す。図６Ｕにおいて、接触６０３４はタッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、接触６０３４の特性強度が深い押圧強度閾値ＩＴＤに及ぶ前に、図６Ｔで図示するように、図６Ｑ～６Ｔに図示される進行は可逆である。例えば、接触６０３４の特性強度を図６Ｒ及び／又は６Ｓに図示される増加の後に低下させることは、表示される接触６０３４の減少した強度レベルに対応するインターフェース状態を引き起こす。
6Q-6U illustrate input that causes the
図６Ｑ～６Ｕから、仮想椅子５０２０は検出されたプレーンに（例えば、デバイス１００による仮想椅子５０２０が床面５０３８などの検出水平面上の直立した向きに置かれるように構成されるという決定にしたがって）配置され、そして、仮想椅子５０２０のサイズは調整される（例えば、カメラの視野６０３６で示す物理スペース５００２に対する仮想椅子５０２０の縮尺は、仮想椅子５０２０の所定の「実世界」サイズ及び／又はカメラの視野６０３６のオブジェクト（例えばテーブル５００４）の検出サイズに基づいて、決定される）。ステージングインターフェース６０１０が表示された間に、（例えば、図６Ｊ～６Ｋに関して記載されているように）仮想椅子５０２０の回転によって生じる仮想椅子５０２０の向きは、仮想椅子５０２０がステージングユーザーインターフェース６０１０からカメラの視野６０３６まで遷移するのにつれて維持される。例えば、床面５０３８に対する仮想椅子５０２０の向きは、ステージ５０１４の表面に対する仮想椅子５０２０の最終的な向きと同じである。いくつかの実施形態では、ステージングユーザーインターフェースの仮想オブジェクト５０２０のサイズの調整は、仮想椅子５０２０のサイズが物理スペース５００２のサイズに対して視野６０３６において調整されるときに、考慮される。
From FIGS. 6Q-6U,
図６Ｖ～６Ｙは、カメラの視野６０３６をステージングユーザーインターフェース６０１０により置き換えさせる入力を、図示する。図６Ｖにおいて、トグル制御６０１８（例えば、テキスト「３Ｄ」を含むトグル制御６０１８の一部に対応する位置）に対応する位置で、接触６０４０による入力（例えば、タップ入力）が検出される。図６Ｗ～６Ｙにおいて、接触６０４０による入力に応答して、カメラの視野６０３６は（図６Ｗの点線によって示すように）フェードアウトし、ステージングユーザーインターフェース６０１０は（図６Ｘの点線によって示すように）フェードインし、そして、ステージングユーザーインターフェース６０１０は（図６Ｙに示すように）完全に表示される。図６Ｖ～６Ｙから、仮想椅子５０２０のサイズは調整され、そして、仮想椅子５０２０の位置は変化する（例えば、仮想椅子５０２０をステージングユーザーインターフェースのための所定の位置及びサイズに戻すために）。
6V-6Y illustrate input that causes camera field of
図６Ｚ～６ＡＣは、ステージングユーザーインターフェース６０１０をメッセージ送信ユーザーインターフェース５００８により置き換えさせる入力を、図示する。図６Ｚにおいて、接触６０４２による入力（例えば、タップ入力）は、バック制御６０１６に対応する位置で検出される。図６ＡＡ～６ＡＣにおいて、接触６０４２による入力に応答して、ステージングユーザーインターフェース６０１０は（図６ＡＡの点線によって示すように）フェードアウトし、メッセージ送信ユーザーインターフェース５００８は（図６ＡＢの点線によって示すように）フェードインし、そして、メッセージ送信ユーザーインターフェース５００８は（図６ＡＣに示すように）完全に表示される。図６Ｚ～６ＡＢから、仮想椅子５０２０のサイズ、向き及び位置は、ディスプレイ上で連続的に調整される（例えば、仮想椅子５０２０をメッセージ送信ユーザーインターフェース５００８のための所定の位置、サイズ及び向きに戻すために）。
6Z-6AC illustrate inputs that cause staging
図６ＡＤ～６ＡＪは、メッセージ送信ユーザーインターフェース５００８を（例えば、ステージングユーザーインターフェース６０１０の表示をバイパスして）カメラの視野６０３６により置き換えさせる入力を、図示する。図６ＡＤにおいて、接触６０４４は仮想椅子５０２０に対応する位置で検出される。接触６０４４による入力は、長いタッチジェスチャ（その間は接触６０４４が、少なくとも所定の閾値時間に対して閾値移動量未満の仮想オブジェクト５０２０の表現に対応するタッチ感知面上の場所に維持される）とそれに続く（上方へ仮想椅子５０２０をドラッグする）上方へのスワイプジェスチャを含む。図６ＡＤ～６ＡＥに示すように、仮想椅子５０２０は接触６０４４が矢印６０４６によって示されるパスに沿って移動するにつれて、上方へドラッグされる。図６ＡＥにおいて、メッセージ送信ユーザーインターフェース５００８は仮想椅子５０２０の後方でフェードアウトする。図６ＡＥ～６ＡＦに示すように、接触６０４４が矢印６０４８によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は上方へドラッグされ続ける。図６ＡＦにおいて、カメラの視野５０３６は、仮想椅子５０２０の後方でフェードインする。図６ＡＧにおいて、長いタッチジェスチャとそれに続く上方へのスワイプジェスチャを含む接触６０４４による入力に応答して、カメラの視野５０３６は完全に表示される。図６ＡＨにおいて、接触６０４４はタッチスクリーン１１２からリフトオフする。図６ＡＨ～６ＡＪにおいて、接触６０４４のリフトオフに応答して、仮想椅子５０２０は、（例えば、仮想椅子５０２０がもはや接触によって高速されないか又はドラッグされないので）リリースされて、プレーン（例えば、水平の（床）表面が仮想椅子５０２０に対応するという判定にしたがって、床面５０３８）に落ちる。加えて、図６ＡＪで図示するように、デバイス１００の触知出力生成器１６７は、触知出力を（６０５０で図示するように）出力して、仮想椅子５０２０が床面５０３８にランディングしたことを示す。
6AD-6AJ illustrate input that causes message sending
図７Ａ～７Ｐは、いくつかの実施形態にしたがって、アイテムが仮想三次元オブジェクトに対応することを示すための視覚的な指示を有するアイテムを表示するための、例示ユーザーインターフェースを図示する。これらの図におけるユーザーインターフェースは、図８Ａ～８Ｅ、９Ａ～９Ｄ、１０Ａ～１０Ｄ、１６Ａ～１６Ｇ、１７Ａ～１７Ｄ、１８Ａ～１８Ｉ、１９Ａ～１９Ｈ及び２０Ａ～２０Ｆにおけるプロセスを含む、以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する表現的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上の図に表示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
7A-7P illustrate example user interfaces for displaying items with visual indications to indicate that the items correspond to virtual three-dimensional objects, according to some embodiments. The user interfaces in these figures are representative of the processes described below, including the processes in FIGS. Used to illustrate. For convenience of explanation, some of the embodiments are discussed with reference to operations performed on a device having a touch-
図７Ａは、アプリケーションのメニューのためのユーザーインターフェース４００が表示される間に検出される入力を図示する。入力は要求に対応して、第１のユーザーインターフェース（例えば、インターネットブラウザユーザーインターフェース５０６０）を表示する。図７Ａにおいて、接触７０００による入力（例えば、タップ入力）がブラウザモジュール１４７のためのアイコン４２０に対応する位置で検出される。入力に応答して、図７Ｂに示すように、インターネットブラウザユーザーインターフェース５０６０が表示される。
FIG. 7A illustrates inputs detected while a
図７Ｂは、（例えば、図５ＡＥに関して詳細に説明したような）インターネットブラウザユーザーインターフェース５０６０を図示する。インターネットブラウザユーザーインターフェース５０６０は、ウェブオブジェクト５０６６、５０６８、５０７０、５０７２、５０７４及び５０７６を含む。ウェブオブジェクト５０６６、５０６８及び５０７２はそれぞれ、仮想オブジェクトインジケータ５０７８、５０８０及び５０８２によって示されるような、三次元仮想オブジェクトの二次元の表現を含む。ウェブオブジェクト５０７０、５０７４及び５０７６は、二次元画像を含む（しかし、ウェブオブジェクト５０７０、５０７４及び５０７６の二次元画像は、仮想オブジェクトインジケータの欠如によって示されるように、三次元仮想オブジェクトに対応しない）。
FIG. 7B illustrates an Internet browser user interface 5060 (eg, as described in detail with respect to FIG. 5AE). Internet
図７Ｃ～７Ｄは、インターネットブラウザユーザーインターフェース５０６０の並進移動（例えば、スクロール）が生じさせる入力を図示する。図７Ｂにおいて、タッチスクリーン１１２との接触７００２が検出される。図７Ｃ～７Ｄにおいて、接触７００２が矢印７００４によって示されるパスに沿って移動するにつれて、ウェブオブジェクト５０６６、５０６８、５０７０、５０７２、５０７４及び５０７６は上方へスクロールし、付加的なウェブオブジェクト７００３及び７００５を現す。加えて、接触７００２が矢印７００４によって示されるパスに沿って移動するにつれて、仮想オブジェクトインジケータ５０７８、５０８０及び５０８２をそれぞれ含むウェブオブジェクト５０６６、５０６８及び５０７２の仮想オブジェクトは、入力の（上方へ垂直な）方向にしたがって回転する（例えば、上方へ傾く）。例えば、仮想ランプ５０８４は、図７Ｃの第１の向きから図７Ｄの第２の向きまで上方へ傾く。ウェブオブジェクト５０７０、５０７４及び５０７６の二次元画像は、接触がインターネットブラウザユーザーインターフェース５０６０をスクロールするにつれて回転はしない。図７Ｅにおいて、接触７００２はタッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、ウェブオブジェクト５０６６、５０６８及び５０７２で表されるオブジェクトの回転挙動は、これらのウェブオブジェクトが拡張現実環境において見える対応する三次元仮想オブジェクトを有するという視覚的な指示として使われ、その一方で、ウェブオブジェクト５０７０、５０７４及び５０７６で表されるオブジェクトのこのような回転挙動の欠如は、これらのウェブオブジェクトが拡張現実環境において見える対応する三次元仮想オブジェクトを有しないという視覚的な指示として使われる。
7C-7D illustrate the inputs that translation (eg, scrolling) of the Internet
図７Ｆ～７Ｇは、仮想オブジェクトが物理的世界に対するデバイス１００の向きの変化に応答してディスプレイ上で回転する視差効果を図示する。
7F-7G illustrate a parallax effect in which virtual objects rotate on the display in response to changes in the orientation of the
図７Ｆ１は、デバイス１００が実質的に垂直向きとなるように、ユーザー７００６によってユーザーの手５００６に保持されるデバイス１００を図示する。図７Ｆ２は、デバイス１００が図７Ｆ１において図示される向きにあるときにデバイス１００によって表示される、インターネットブラウザユーザーインターフェース５０６０を図示する。
FIG. 7F1 illustrates
図７Ｇ１は、デバイス１００が実質的に横向きとなるように、ユーザー７００６によってユーザーの手５００６に保持されるデバイス１００を図示する。図７Ｇ２は、デバイス１００が図７Ｇ１において図示される向きにあるときにデバイス１００によって表示される、インターネットブラウザユーザーインターフェース５０６０を図示する。図７Ｆ２から図７Ｇ２までに、仮想オブジェクトインジケータ５０７８、５０８０及び５０８２をそれぞれ含むウェブオブジェクト５０６６、５０６８及び５０７２の仮想オブジェクトの向きは、デバイスの方向の変化にしたがって回転する（例えば、上方へ傾く）。例えば、仮想ランプ５０８４は、物理空間におけるデバイス向きの同時並行の変化にしたがって、図７Ｆ２の第１の向きから図７Ｇ２の第２の向きまで上方へ傾く。ウェブオブジェクト５０７０、５０７４及び５０７６の二次元画像は、デバイスの向きが変化するにつれて回転はしない。いくつかの実施形態では、ウェブオブジェクト５０６６、５０６８及び５０７２で表されるオブジェクトの回転挙動は、これらのウェブオブジェクトが拡張現実環境において見える対応する三次元仮想オブジェクトを有するという視覚的な指示として使われ、その一方で、ウェブオブジェクト５０７０、５０７４及び５０７６で表されるオブジェクトのこのような回転挙動の欠如は、これらのウェブオブジェクトが拡張現実環境において見える対応する三次元仮想オブジェクトを有しないという視覚的な指示として使われる。
FIG. 7G1 illustrates
図７Ｈ～７Ｌは、第２のユーザーインターフェース（例えば、メッセージ送信ユーザーインターフェース５００８）を表示する要求に対応する入力を図示する。図７Ｈにおいて、接触７００８がディスプレイ１１２の下側縁部に対応する位置で検出される。図７Ｈ～７Ｉにおいて、接触７００８は、矢印７０１０によって示されるパスに沿って、上方へ移動する。図７Ｉ～７Ｊにおいて、接触７００８は、矢印７０１２によって示されるパスに沿って上方へ移動し続ける。図７Ｈ～７Ｊにおいて、接触７００８が上方へディスプレイ１１２の下側縁部から上方へ移動するにつれて、図７Ｉに示すように、インターネットブラウザユーザーインターフェース５０６０のサイズは減少し、そして、図７Ｊで、マルチタスキングユーザーインターフェース７０１２が（例えば、接触７００８による上方へのエッジスワイプジェスチャに応答して）表示される。マルチタスキングユーザーインターフェース７０１２は、保持された状態（例えば、保持された状態は、それぞれのアプリケーションがデバイス上で実行されるフォアグラウンドのアプリケーション用であったときの、それぞれのアプリケーションの最後の状態である）及び各種の制御インターフェース（例えば、図７Ｊで図示するように、制御センターユーザーインターフェース７０１４、インターネットブラウザユーザーインターフェース５０６０及びメッセージ送信ユーザーインターフェース５００８）を有する各種のアプリケーションの中からインターフェースの選択を可能にするように、構成される。図７Ｋにおいて、接触７００８はタッチスクリーン１１２からリフトオフする。図７Ｌにおいて、接触７０１６による入力（例えば、タップ入力）がメッセージ送信ユーザーインターフェース５００８に対応する位置で検出される。接触７０１６による入力に応答して、図７Ｍで図示するように、メッセージ送信ユーザーインターフェース５００８が表示される。
7H-7L illustrate input corresponding to a request to display a second user interface (eg, message sending user interface 5008). In FIG. 7H, a
図７Ｍは、メッセージで受け取られる仮想オブジェクト（例えば、仮想椅子５０２０）と、仮想椅子５０２０が仮想三次元オブジェクト（例えば、拡張現実ビューにおいて見えるオブジェクト及び／又は異なる角度から見えるオブジェクト）であることを示すための仮想オブジェクトインジケータ５０２２とを含むメッセージバブル５０１８を含む、（例えば、図５Ｂに関する更なる詳細にて説明したような）メッセージ送信ユーザーインターフェース５００８を図示する。メッセージ送信ユーザーインターフェース５００８はまた、送信したテキストメッセージを含むメッセージバブル６００５及び絵文字７０２０を含む受信したテキストメッセージを含むメッセージバブル７０１８を含む。絵文字７０２０は、仮想三次元オブジェクトに対応しない二次元画像である。このために、絵文字７０２０は、仮想オブジェクトインジケータなしで表示される。
FIG. 7M shows a virtual object (e.g., virtual chair 5020) received in the message and that
図７Ｎは、マップ７０２４を含むマップユーザーインターフェース７０２２、第１の関心地点のための関心地点情報領域７０２６及び第２の関心地点のための関心地点情報領域７０３２を図示する。例えば、第１の関心地点及び第２の関心地点は、検索入力領域７０２５の検索入力「Ａｐｐｌｅ」に対応するマップ７０２４によって示される領域の中であるかすぐ近くの検索結果である。第１の関心地点情報領域７０２６において、第１の関心地点オブジェクト７０２８が仮想オブジェクトインジケータ７０３０によって表示されて、第１の関心地点オブジェクト７０２８が仮想三次元オブジェクトであることを示す。第２の関心地点情報領域７０３２において、第２の関心地点オブジェクト７０３４は仮想オブジェクトインジケータなしで表示され、それは第２の関心地点オブジェクト７０３４が拡張現実ビューにおいて見える仮想三次元オブジェクトに対応しないからである。
FIG. 7N illustrates a
図７Ｏは、ファイル管理制御７０３８、ファイル管理検索入力領域７０４０、第１のファイル（例えば、ポータブルドキュメントフォーマット（ＰＤＦ）ファイル）のためのファイル情報領域７０４２、第２のファイル（例えば、写真ファイル）のためのファイル情報領域７０４４、第３のファイル（例えば、仮想椅子オブジェクト）のためのファイル情報領域７０４６及び第４のファイル（例えば、ＰＤＦファイル）のためのファイル情報領域７０４８を含む、ファイル管理ユーザーインターフェース７０３６を図示する。第３のファイル情報領域７０４６は、第３のファイルが仮想三次元オブジェクトに対応することを示すためにファイル情報領域７０４６のファイルプレビューオブジェクト７０４５に隣接して表示される仮想オブジェクトインジケータ７０５０を含む。第１のファイル情報領域７０４２、第２のファイル情報領域７０４４及び第４のファイル情報領域７０４８は、これらのファイル情報領域に対応するファイルが拡張現実環境において見える対応する仮想三次元オブジェクトを有しないので、仮想オブジェクトインジケータなしで表示される。
FIG. 7O shows a
図７Ｐは、電子メールナビゲーション制御７０５４、電子メール情報領域７０５６及び第１のアタッチメント７０６０の表現及び第２のアタッチメント７０６２の表現を含む電子メールコンテンツ領域７０５８を含む電子メールユーザーインターフェース７０５２を図示する。第１のアタッチメント７０６０の表現は、第１のアタッチメントが拡張現実環境において見える仮想三次元オブジェクトであることを示すための仮想オブジェクトインジケータ７０６４を含む。第２のアタッチメントが拡張現実環境において見える仮想三次元オブジェクトでないので、第２のアタッチメント７０６２は仮想オブジェクトインジケータなしで表示される。
FIG. 7P illustrates an
図８Ａ～８Ｅは、いくつかの実施形態にしたがって、仮想オブジェクトの表現を表示すると共に第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替える、方法８００を図示しているフローチャートである。方法８００は、ディスプレイ、タッチ感知面及び１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面から反対側のデバイスの側の１つ以上の背面カメラ）を有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル型多機能デバイス１００）で実行される。いくつかの実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面はディスプレイ上にあるか又はディスプレイと統合される。いくつかの実施形態では、ディスプレイは、タッチ感知面から分離している。方法８００のいくつかの操作は任意選択的に組み合わされ、かつ／又は、いくつかの操作の順序は任意選択的に変更される。
8A-8E illustrate a
方法８００は、仮想オブジェクトの表現を第１のユーザーインターフェース領域に表示するデバイスのタッチ感知面で接触によって入力を検出することに関する。入力に応答して、デバイスは、第１のユーザーインターフェース領域の少なくとも一部の表示をデバイスの１つ以上のカメラの視野に置き換えると共に、連続的に仮想オブジェクトの表現を表示するべきかどうか判定するための基準を使用する。第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野に置き換えると共に、連続的に仮想オブジェクトの表現を表示するべきかどうか判定するための基準を使用することにより、入力に応答して複数の異なるタイプの操作の実行することが可能となる。入力に応答して（例えば、ユーザーインターフェースの少なくとも一部の表示を１つ以上のカメラの視野に置き換えるか、又は第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野の表現に置き換えることなく、第１のユーザーインターフェース領域の表示を維持することによって）複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することのできる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
デバイスは、ディスプレイ１１２上の第１のユーザーインターフェース領域（例えば、二次元のグラフィックユーザーインターフェース又は一部（例えば、家具画像の一覧可能なリスト、１つ以上の選択可能なオブジェクトを含んでいる画像など））に仮想オブジェクトの表現（例えば、仮想椅子５０２０、仮想ランプ５０８４、靴、家具、手工具、装飾、人々、絵文字、ゲームキャラクタ、仮想家具などの、三次元オブジェクトのグラフィック表現）を表示する（８０２）。例えば、第１のユーザーインターフェース領域は、図５Ｂで示すメッセージ送信ユーザーインターフェース５００８又は図５ＡＥで示すインターネットブラウザユーザーインターフェース５０６０である。いくつかの実施形態では、第１のユーザーインターフェース領域は、デバイスを囲んでいる物理的環境の画像以外のバックグラウンドを含む（例えば、第１のユーザーインターフェース領域のバックグラウンドは、予め選択された背景色／パターンであるか、又は、１つ以上のカメラによって並行して取り込まれる出力像と異なり、かつ１つ以上のカメラの視野の有効なコンテンツと異なる背景画像である）。
The device displays a first user interface area (e.g., a two-dimensional graphical user interface or portion (e.g., an indexable list of furniture images, an image containing one or more selectable objects, etc.) on the display 112. )) displays a representation of a virtual object (e.g., a graphical representation of a three-dimensional object, such as a
ディスプレイ上の第１のユーザーインターフェース領域の仮想オブジェクトの第１の表現を表示すると共に、デバイスは、ディスプレイ上の仮想オブジェクトの表現に対応するタッチ感知面１１２上の位置で、接触による第１の入力を検出する（８０４）（例えば、接触はタッチスクリーンディスプレイ上の仮想オブジェクトの第１の表現上で検出されるか、又は、接触は、仮想オブジェクトの第１の表現を有する第１のユーザーインターフェース領域において並行して表示され、そして、接触によって起動されると仮想オブジェクトのＡＲビューの表示をトリガするように構成されるアフォーダンス上で、検出される）。例えば、第１の入力は、図５Ｃ～５Ｆに関して記載されている接触５０２０による入力又は図５ＡＦ～５ＡＬに関して記載されている接触５０８６による入力である。
While displaying a first representation of the virtual object in a first user interface area on the display, the device generates a first input by contact at a location on the touch-
接触によって第１の入力を検出することに応答して（８０６）、接触による第１の入力が第１の（例えば、ＡＲトリガ）基準を満たすという判定にしたがって（例えば、ＡＲトリガ基準は、スワイプ入力、タッチホールド入力、押圧入力、タップ入力、所定の強度閾値以上の強度を有する激しい押圧又は、カメラのアクティブ化、デバイスを囲んでいる物理的環境の拡張現実（ＡＲ）ビューの表示、物理的環境の拡張現実ビュー内部の仮想オブジェクトの三次元の配置及び／若しくは上記のアクションの２つ以上の組合せをトリガすることに関連した、所定の別のタイプの入力ジェスチャを識別するように構成される基準である）、デバイスは、第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野の表現に置き換えることを含むディスプレイ上の第２のユーザーインターフェース領域を表示し、そして、デバイスは、仮想オブジェクトの表現を連続的に表示すると共に、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替える。例えば、ディスプレイ上の第２のユーザーインターフェース領域は、図５Ｈに関して記載されているプラッタ５０３０のカメラの視野５０３４又は図５ＡＨに関して記載されているカメラの視野５０３４である。図５Ｃ～５Ｉにおいて、接触５０２６による入力が深い押圧強度閾値ＩＴＤを上回って増加する特性強度を有するという判定にしたがって、仮想椅子オブジェクト５０２０は、連続的に表示されると共に、第１のユーザーインターフェース領域（メッセージ送信ユーザーインターフェース５００８）を表示することから、メッセージ送信ユーザーインターフェース５００８の一部の表示をプラッタ５０３０のカメラの視野５０３４に置き換える第２のユーザーインターフェース領域を表示することに切り替える。図５ＡＦ～５ＡＨにおいて、接触５０８６による入力が深い押圧強度閾値ＩＴＤを上回って増加する特性強度を有するという判定にしたがって、仮想ランプオブジェクト５０８４は、連続的に表示されると共に、第１のユーザーインターフェース領域（インターネットブラウザユーザーインターフェース５０６０）を表示することから、インターネットブラウザユーザーインターフェース５０６０の一部の表示をカメラの視野５０３４に置き換える第２のユーザーインターフェース領域を表示することに切り替える。
In response to detecting a first input by touch (806), the first input by touch meets a first (e.g., AR trigger) criterion (e.g., the AR trigger criterion is a swipe input, touch-hold input, press input, tap input, hard press with an intensity above a predetermined intensity threshold, or activation of a camera, display of an augmented reality (AR) view of the physical environment surrounding the device, physical configured to identify another predetermined type of input gesture associated with three-dimensional positioning of the virtual object within the augmented reality view of the environment and/or triggering a combination of two or more of the above actions; (reference), the device displays a second user interface area on the display that includes replacing the display of at least a portion of the first user interface area with a representation of the field of view of the one or more cameras; The device continuously displays the representation of the virtual object and switches from displaying the first user interface area to displaying the second user interface area. For example, the second user interface area on the display is the
いくつかの実施形態では、連続的に仮想オブジェクトの表現を表示することは、仮想オブジェクトの表現の表示を維持するか又は仮想オブジェクトの第２の表現に変化している仮想オブジェクトの第１の表現のアニメーション化された遷移（例えば、異なるサイズの、異なる視角からの、異なる描画スタイルの、又は、ディスプレイ上の異なる位置の、仮想オブジェクトのビュー）を表示することを含む。いくつかの実施形態では、１つ以上のカメラの視野５０３４は、デバイスの位置及び向きが（例えば、図５Ｋ～５Ｌで図示されるように）物理的環境に対して変化するときにリアルタイムに更新される、デバイスを囲んでいる物理的環境５００２のライブ画像を表示する。いくつかの実施形態では、第２のユーザーインターフェース領域は、ディスプレイ上の第１のユーザーインターフェース領域を完全に置き換える。
In some embodiments, continuously displaying the representation of the virtual object includes maintaining the display of the representation of the virtual object or changing the representation of the virtual object to the second representation of the virtual object. (e.g., views of the virtual object at different sizes, from different viewing angles, in different drawing styles, or at different positions on the display). In some embodiments, the field of
いくつかの実施形態では、第２のユーザーインターフェース領域は、第１のユーザーインターフェース領域の一部に重なる（例えば、第１のユーザーインターフェース領域の一部は、ディスプレイの端に沿って、又は、ディスプレイの境界周辺に示される）。いくつかの実施形態では、第２のユーザーインターフェース領域は、第１のユーザーインターフェース領域の隣にポップアップする。いくつかの実施形態では、第１のユーザーインターフェース領域の中のバックグラウンドは、カメラの視野５０３４のコンテンツと置き換えられる。いくつかの実施形態では、デバイスは、第１のユーザーインターフェース領域で示す第１の向きから第２の向き（例えば、１つ以上のカメラの視野において捕えられる物理的環境の一部の現在の向きに対して所定の向き）まで（例えば、図５Ｅ～５Ｉで図示されるように）移動して回転している仮想オブジェクトを示す、アニメーション化された遷移を表示する。例えば、アニメーションは、仮想オブジェクトの二次元の表現を表示すると共に第１のユーザーインターフェース領域を表示することから、仮想オブジェクトの三次元の表現を表示すると共に第２のユーザーインターフェース領域を表示することへの遷移を含む。いくつかの実施形態では、仮想オブジェクトの三次元の表現は、二次元のグラフィカルユーザーインターフェース（例えば、第１のユーザーインターフェース領域）に示すように仮想オブジェクトの形状及び向きに基づいて予め定義されるアンカー平面を有する。拡張現実ビュー（例えば、第２のユーザーインターフェース領域）に遷移するときに、仮想オブジェクトの三次元の表現はディスプレイ上の仮想オブジェクトの元の位置からディスプレイ上の新しい位置まで（例えば、拡張現実ビューの中央又は拡張現実ビューの別の所定の位置まで）移動されて、サイズ変更されて、方向変更されて、そして、移動の間、又は、移動の終了後、仮想オブジェクトの三次元の表現が１つ以上のカメラの視野において識別される所定のプレーン（例えば、仮想オブジェクトの三次元の表現のためのサポートプレーンとして役割を果たすことができる直立壁又は水平床面などの物理表面）に対する所定の位置及び／又は向きにあるように、仮想オブジェクトの三次元の表現は方向変更される。
In some embodiments, the second user interface area overlaps a portion of the first user interface area (e.g., a portion of the first user interface area overlaps the edge of the display or (shown around the border). In some embodiments, a second user interface area pops up next to the first user interface area. In some embodiments, the background in the first user interface area is replaced with the content of the camera's field of
いくつかの実施形態では、第１の基準は、少なくとも所定の時間（例えば、長い押圧の時間閾値）の間に閾値移動量未満で仮想オブジェクトの表現に対応する、タッチ感知面上の場所に接触が維持されるときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（８０８）。いくつかの実施形態では、接触が別のタイプのジェスチャ（例えば、タップ）を認識するための基準を満たすという判定にしたがって、デバイスはＡＲユーザーインターフェースをトリガさせること以外の別の所定の機能を実行すると共に仮想オブジェクトの表示を維持する。連続的に仮想オブジェクトの表現を表示すると共に第１のユーザーインターフェース領域の少なくとも一部の表示をカメラの視野に置き換えるべきかどうかを判定することは、接触が少なくとも所定の時間の間に閾値移動量未満で仮想オブジェクトの表現に対応するタッチ感知面上の場所に維持されるかどうかに応じて、入力に応答した複数の異なるタイプの操作の実行を可能にする。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。 In some embodiments, the first criterion is touching a location on the touch-sensitive surface that corresponds to a representation of the virtual object with less than a threshold amount of movement for at least a predetermined amount of time (e.g., a long press time threshold). includes criteria that are met when (e.g., according to a determination that is the case) is maintained (808). In some embodiments, the device performs another predetermined function other than causing the AR user interface to trigger in accordance with the determination that the contact meets criteria for recognizing another type of gesture (e.g., a tap). and maintain the display of virtual objects. Continuously displaying a representation of the virtual object and determining whether the display of at least a portion of the first user interface area should be replaced with the field of view of the camera is configured such that the contact is at least a threshold amount of movement for at least a predetermined period of time. Allows the execution of several different types of operations in response to input, depending on whether or not it is maintained in a location on the touch-sensitive surface that corresponds to the representation of the virtual object. Enabling the performance of multiple different types of operations in response to input increases the efficiency with which users can perform these operations, thereby increasing the usability of the device, as well as increasing the improves device battery life by reducing power usage and allowing users to use their devices more quickly and efficiently.
いくつかの実施形態では、第１の基準は、接触の特性強度が第１の強度閾値（例えば、軽い押圧強度閾値ＩＴＬ又は深い押圧強度閾値ＩＴＤ）を上回って増加するときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（８１０）。例えば、図５Ｃ～５Ｆに関して記載されているように、基準は、強度レベルメータ５０２８によって示されるように、接触５０２６の特性強度が深い押圧強度閾値ＩＴＤを上回って増加するときに満たされる。いくつかの実施形態では、接触が別のタイプのジェスチャ（例えば、タップ）を認識するための基準を満たすという判定にしたがって、デバイスはＡＲユーザーインターフェースをトリガさせること以外の別の所定の機能を実行すると共に仮想オブジェクトの表示を維持する。いくつかの実施形態では、第１の基準は、第１の入力がタップ入力でない（例えば、入力が、時間的閾値より大きい接触のタッチダウンとタップ接触のリフトオフの間の経過時間を有する）ことを要求する。連続的に仮想オブジェクトの表現を表示すると共に第１のユーザーインターフェース領域の少なくとも一部の表示をカメラの視野に置き換えるべきかどうかを判定することは、接触の特性強度が第１の強度閾値を上回って増加するかどうかに応じて、入力に応答した複数の異なるタイプの操作の実行を可能にする。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
In some embodiments, the first criterion is (e.g., when the characteristic intensity of the contact increases above a first intensity threshold (e.g., light press intensity threshold IT L or deep press intensity threshold IT D )) 810) includes criteria that are met (according to a determination that such is the case). For example, as described with respect to FIGS. 5C-5F, the criterion is met when the characteristic intensity of the
いくつかの実施形態では、第１の基準は、接触の移動が所定の移動基準に合うときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（８１２）（例えば、接触が所定の閾値位置（例えば、第１のユーザーインターフェース領域の境界に対応する位置、接触の元の位置から間隔をおいた閾値距離である位置など）を越えたタッチ感知面にわたって移動する、接触が所定の閾値速度より大きい速度で移動する、接触の移動が押圧入力によって終了する、などである）。いくつかの実施形態では、仮想オブジェクトの表現は接触の移動の初期部分の間、接触によってドラッグされ、そして仮想オブジェクトは、第１の基準が満たされようとしていることを示すために所定の移動の基準を接触の移動が満たそうとするときに、接触とともに移動するのを止め、そして、接触の移動が続いて所定の移動の基準が接触の連続的な移動によって満たされる場合、第２のユーザーインターフェース領域を表示して、拡張現実ビューの範囲内に仮想オブジェクトを表示する遷移が始まる。いくつかの実施形態では、仮想オブジェクトが第１の入力の初期部分の間ドラッグされるときに、オブジェクトサイズ及びビューイング視点は変化せず、そして、いったん拡張現実ビューが表示されて仮想オブジェクトが拡張現実ビューの位置にドロップされると、仮想オブジェクトは、拡張現実ビューの仮想オブジェクトのドロップオフの位置によって表される物理的位置に依存したサイズ及びビューイング視点によって表示される。連続的に仮想オブジェクトの表現を表示すると共に第１のユーザーインターフェース領域の少なくとも一部の表示をカメラの視野に置き換えるべきかどうかを判定することは、接触の移動が所定の移動基準を満たすかどうかに応じて、入力に応答した複数の異なるタイプの操作の実行を可能にする。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。 In some embodiments, the first criterion includes a criterion that is met (812) when the movement of the contact meets a predetermined movement criterion (e.g., according to a determination that The contact moves across the touch-sensitive surface beyond a threshold location (e.g., a location corresponding to the boundary of the first user interface area, a location that is a threshold distance spaced apart from the original location of the contact, etc.). moving at a speed greater than a threshold speed, contact movement being terminated by a press input, etc.). In some embodiments, the representation of the virtual object is dragged by the contact during an initial portion of the contact movement, and the virtual object is dragged by the contact during an initial portion of the movement of the contact, and the virtual object the second user stops moving with the contact when the movement of the contact attempts to satisfy the criterion, and if the movement of the contact continues and the predetermined movement criterion is satisfied by continued movement of the contact; A transition begins to display the interface area and display the virtual object within the augmented reality view. In some embodiments, the object size and viewing perspective do not change when the virtual object is dragged during the initial portion of the first input, and once the augmented reality view is displayed and the virtual object is expanded. When dropped into a position in the real view, the virtual object is displayed with a size and viewing perspective that is dependent on the physical position represented by the drop-off position of the virtual object in the augmented reality view. Determining whether to continuously display a representation of the virtual object and replace the display of at least a portion of the first user interface area with the field of view of the camera includes determining whether the movement of the contact satisfies a predetermined movement criterion. Depending on the input, it is possible to perform several different types of operations in response to input. Enabling the performance of multiple different types of operations in response to input increases the efficiency with which users can perform these operations, thereby increasing the usability of the device, as well as increasing the improves device battery life by reducing power usage and allowing users to use their devices more quickly and efficiently.
いくつかの実施形態では、接触によって第１の入力を検出することに応答して、接触による第１の入力が第１の基準を満たしたという判定にしたがって、デバイスは、１つ以上の触知出力生成器１６７で、触知出力（例えば、図５Ｆに関して記載されている触知出力５０３２又は図５ＡＨに関して記載されている触知出力５０８８）を出力して、第１の入力によって第１の基準が満たされていることを示す（８１４）。いくつかの実施形態では、触覚は１つ以上のカメラの視野が画面に現れる前に発生する。例えば、触覚は、１つ以上のカメラのアクティブ化及び１つ以上のカメラの視野の次のプレーン検出をトリガする第１の基準が満たされていることを示す。カメラがアクティブ化されて視野が表示に利用可能となるために時間かかるので、触覚は、デバイスが必要な入力を検出したというユーザーに対する非視覚信号としての役割を果たし、デバイスが準備できるとすぐに拡張現実ユーザーインターフェースを提示する。
In some embodiments, in response to detecting the first input through contact, the device detects one or more tactile inputs in accordance with the determination that the first input through contact satisfies the first criteria.
触知出力を出力して（例えば、ユーザーインターフェースの少なくとも一部の表示をカメラの視野に置き換えるために）基準が満たされていることを示すことは、与えられている入力が基準を満たすことを示すためのフィードバックをユーザー提供する。改良された触知フィードバックを提供することは、デバイスの操作性を高め（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。 Outputting tactile output to indicate that a criterion has been met (e.g., to replace the display of at least a portion of a user interface with a camera's field of view) indicates that the input being provided satisfies the criterion. Users provide feedback to show. Providing improved tactile feedback can improve device usability (e.g., by assisting the user in providing appropriate input when operating/interacting with the device and reducing user errors). ), in addition, it reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、第１の入力の少なくとも初期部分を（例えば、接触を検出するか、又は第１の基準を満たすことのないそれぞれの所定の基準を満たす接触によって入力を検出するか、又は第１の基準を満たす入力を検出することを含んで）検出することに応答して、デバイスは１つ以上のカメラの視野を分析して、１つ以上のカメラの視野の１つ以上のプレーン（例えば、床面５０３８、テーブル面５０４６、壁など）を検出する（８１６）。いくつかの実施形態では、１つ以上のカメラは第１の入力の少なくとも一部を検出することに応答してアクティブ化され、カメラがアクティブ化されると同時にプレーン検出が同時に起動される。いくつかの実施形態では、１つ以上のカメラの視野の表示は、１つ以上のカメラのアクティブ化の後に（例えば、１つ以上のカメラがアクティブ化される時から少なくとも１つのプレーンがカメラの視野において検出される時まで）遅らされる。いくつかの実施形態では、１つ以上のカメラの視野の表示は１つ以上のカメラがアクティブ化される時に起動され、そしてプレーン検出は、視野がディスプレイに（例えば、第２のユーザーインターフェース領域に）すでに見えたあと、完了する。いくつかの実施形態では、１つ以上のカメラの視野のそれぞれのプレーンを検出した後に、デバイスは、１つ以上のカメラの視野に対するそれぞれのプレーンの相対位置に基づいて、仮想オブジェクトの表現のサイズ及び／又は位置を決定する。いくつかの実施形態では、電子デバイスが移動されるにつれて、仮想オブジェクトの表現のサイズ及び／又は位置は、１つ以上のカメラの視野の位置が（例えば、図５Ｋ～５Ｌに関して記載されているように）それぞれのプレーンに対して変化するにつれて更新される。カメラの視野において検出されるそれぞれのプレーンの位置に基づいて（例えば、カメラの視野に対する仮想オブジェクトのサイズ及び／又は位置の更なるユーザー入力を要求せずに）仮想オブジェクトの表現のサイズ及び／又は位置を決定することは、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, at least an initial portion of the first input (e.g., detecting a touch or detecting an input by a touch that satisfies a respective predetermined criterion without satisfying the first criterion; or detecting an input that satisfies the first criterion), the device analyzes the field of view of the one or more cameras to detect the field of view of the one or more cameras. A plane (eg,
いくつかの実施形態では、１つ以上のカメラの視野を分析して１つ以上のカメラの視野の１つ以上のプレーンを検出することは、ディスプレイ上の仮想オブジェクトの表現に対応するタッチ感知面上の場所での接触の検出に応答して（例えば、仮想椅子５０２０に対応するタッチスクリーン１１２上の位置での接触５０２６の検出に応答して）起動される（８１８）。例えば、カメラのアクティブ化及びカメラの視野のプレーンの検出は、第１の基準が第１の入力によって満たされる前に（例えば、図５Ｆに関して記載されているように、接触５０２６の特性強度が深い押圧強度閾値ＩＴＤを上回って増加する前に）、そして、第２のユーザーインターフェース領域が表示される前に、始まる。仮想オブジェクトとの任意のインタラクションの検出に際してプレーン検出を始めることによって、プレーン検出はＡＲトリガ基準が満たされる前に完了することができ、したがって、ＡＲトリガ基準が第１の入力によって満たされるときに、拡張現実ビューに仮想オブジェクト遷移を見るにあたってユーザーには目に見える遅延がない。分析を起動して仮想オブジェクトの表現の位置での接触の検出に応答して（例えば、カメラの視野の分析を起動するための更なるユーザー入力を必要とせずに）カメラの視野の１つ以上のプレーンを検出することは、デバイスの有効性を強化し、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, analyzing the field of view of the one or more cameras to detect one or more planes of the field of view of the one or more cameras includes a touch-sensitive surface corresponding to a representation of the virtual object on the display. is activated (818) in response to the detection of a contact at a location on the touch screen 112 (eg, in response to the detection of a
いくつかの実施形態では、１つ以上のカメラの視野を分析して１つ以上のカメラの視野の１つ以上のプレーンを検出することは、接触によって、第１の基準が第１の入力によって満たされていることを検出することに応答して（例えば、図５Ｆに関して記載されているように、接触５０２６の特性強度が深い押圧強度閾値ＩＴＤを上回って増加することを検出することに応答して）起動される（８２０）。例えば、カメラのアクティブ化及びカメラの視野のプレーンの検出は、第１の基準が第１の入力によって満たされるときに始まり、そして、カメラの視野は平面検出が完了する前に表示される。ＡＲトリガ基準が満たされる際にカメラアクティブ化及びプレーン検出を始めることによって、カメラ及びプレーン検出は不必要にアクティブ化されずまた続行されず、それがバッテリ電力を節約してバッテリ寿命及びカメラ寿命を延ばす。
In some embodiments, analyzing the field of view of the one or more cameras to detect the one or more planes of the field of view of the one or more cameras includes, by contact, the first reference being determined by the first input. (e.g., in response to detecting that the characteristic strength of the
いくつかの実施形態では、１つ以上のカメラの視野を分析して１つ以上のカメラの視野の１つ以上のプレーンを検出することは、第１の入力の初期部分が第１の基準を満たすことのないプレーン検出トリガ基準を満たすことを検出することに応答して、起動される（８２２）。例えば、カメラのアクティブ化及びカメラの視野のプレーンの検出は、いくつかの基準（例えば、ＡＲトリガ基準より厳しくない基準）が第１の入力の初期部分によって満たされるときに始まり、そして、カメラの視野は平面検出が完了する前に任意選択的に表示される。接触の検出の際ではなくむしろ特定の基準が満たされた後に、カメラアクティブ化及びプレーン検出を始めることによって、カメラ及びプレーン検出は不必要にアクティブ化されずまた続行されず、それがバッテリ電力を節約してバッテリ寿命及びカメラ寿命を延ばす。ＡＲトリガ基準が満たされる前にカメラアクティブ化及びプレーン検出を始めることによって、ＡＲトリガ基準が第１の入力によって満たされると、拡張現実ビューへの仮想オブジェクト遷移を表示するための遅延（カメラアクティブ化及びプレーン検出による）は減じられる。 In some embodiments, analyzing the field of view of the one or more cameras to detect the one or more planes of the field of view of the one or more cameras includes an initial portion of the first input that matches the first reference. is activated (822) in response to detecting that an unsatisfied plane detection trigger criterion is met. For example, activation of the camera and detection of the plane of view of the camera begins when some criterion (e.g., a criterion less stringent than the AR trigger criteria) is met by an initial portion of the first input, and The field of view is optionally displayed before plane detection is completed. By initiating camera activation and plane detection not upon detection of a contact, but rather after certain criteria are met, camera and plane detection are not activated or continued unnecessarily, which conserves battery power. Save money and extend battery life and camera life. By starting camera activation and plane detection before the AR trigger criteria are met, a delay (camera activation and plane detection) are reduced.
いくつかの実施形態では、デバイスは、仮想オブジェクト（例えば、仮想椅子５０２０）が１つ以上のカメラの視野５０３４において検出されるそれぞれのプレーンに対する所定の角度（例えば、仮想椅子５０２０の４本の脚部の下側を床面５０３８から切り離している距離が無い（又はわずかな距離である）ような）で配向されるように、それぞれの方法で第２のユーザーインターフェース領域に仮想オブジェクトの表現を表示する（８２４）。例えば、それぞれのプレーンに対する仮想オブジェクトの向き及び／又は位置は、二次元のグラフィカルユーザーインターフェースに示すように、仮想オブジェクトの形状及び向きに基づいて予め定義される（例えば、それぞれのプレーンは拡張現実ビューの仮想オブジェクトの三次元表現のための支持面として役割を果たすことができる水平物理表面（例えば、花瓶をサポートする水平テーブル面）に対応するか、又は、それぞれのプレーンは、拡張現実ビューの仮想オブジェクトの三次元表現のための支持面として役割を果たすことができる垂直物理表面（例えば、仮想画枠を懸下する水平壁）である）。いくつかの実施形態では、仮想オブジェクトの向き及び／又は位置は、仮想オブジェクトのそれぞれの表面又は境界（例えば、底面、底部境界点、側面及び／又は側部境界点）によって画定される。いくつかの実施形態では、それぞれのプレーンに対応するアンカー平面は、仮想オブジェクトの一組の特性の中の１つの特性であり、仮想オブジェクトが表すことになっている物理的オブジェクトの性質にしたがって指定される。いくつかの実施形態では、仮想オブジェクトは、１つ以上のカメラの視野において検出される複数のプレーンに対して所定の向き及び／又は位置に配置される（例えば、仮想オブジェクトの複数のそれぞれの側は、カメラの視野において検出されるそれぞれのプレーンと関連付けられる）。いくつかの実施形態では、仮想オブジェクトのために予め定義される向き及び／又は位置が仮想オブジェクトの横下部プレーンに対して定められる場合、仮想オブジェクトの下部プレーンは、カメラの視野において検出される床平面に表示される（例えば、仮想オブジェクトの水平下部プレーンは、床平面から距離ゼロで床平面と平行である）。いくつかの実施形態では、仮想オブジェクトのために予め定義される向き及び／又は位置が仮想オブジェクトの垂直バックプレーンに対して定められる場合、仮想オブジェクトの背面は、１つ以上のカメラの視野において検出される壁面に対して配置される（例えば、仮想オブジェクトの垂直バックプレーンは、壁面から距離ゼロで壁面と平行である）。いくつかの実施形態では、仮想オブジェクトは、それぞれのプレーンに対して固定の距離かつ／又はそれぞれのプレーンに対してゼロ又は直角以外の角度で配置される。カメラの視野において検出されるプレーンに対して（例えば、カメラの視野の平面に対して仮想オブジェクトを表示するための更なるユーザー入力を必要とせずに）仮想オブジェクトの表現を表示することは、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device detects a predetermined angle (e.g., four legs of the virtual chair 5020) relative to each plane in which the virtual object (e.g., the virtual chair 5020) is detected in the field of
いくつかの実施形態では、１つ以上のカメラの視野のそれぞれのプレーンを検出することに応答して、デバイスは、１つ以上の触知出力生成器１６７で、触知出力を出力して、１つ以上のカメラの視野のそれぞれのプレーンの検出を示す（８２６）。いくつかの実施形態では、それぞれの触知出力は、カメラの視野において検出される各プレーン（例えば、床面５０３８及び／又はテーブル面５０４６）に発生する。いくつかの実施形態では、プレーン検出が完了するときに、触知出力は発生する。いくつかの実施形態では、触知出力には、第２のユーザーインターフェース部に示される視野の視野平面の視覚的な指示（例えば、検出された視野平面の瞬間的な強調表示）が伴う。触知出力を出力してカメラの視野におけるプレーンの検出を示すことは、ユーザーにプレーンが検出されたことを示すためのフィードバックを提供する。改良された触知フィードバックを提供することはデバイスの操作性を高め（例えば、ユーザーが適切な入力を提供するのを支援しかつ仮想オブジェクトを配置するための必要な追加入力を減らすことによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, in response to detecting each plane of the field of view of the one or more cameras, the device outputs a tactile output at one or more
いくつかの実施形態では、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替えると共に、デバイスは、仮想オブジェクトの表現が第２のユーザーインターフェース領域に遷移する（例えば、移動し、回転し、サイズ変更し、及び／又は異なるスタイルに再描画されるなど）につれて、それぞれのプレーンに対して所定の位置に（例えば、図５Ｆ～５Ｉで図示されるように）、アニメーションを表示し（８２８）、そして、それぞれのプレーンに対して所定の角度で仮想オブジェクトの表現を表示することと連動して（例えば、それぞれのプレーンに対して所定の向き及び／又は位置で、そして拡張現実ビューに表示される最終状態に達するそのサイズ、回転角及び外観で）、デバイスは、１つ以上の触知出力生成器１６７で触知出力を出力して、第２のユーザーインターフェース領域のそれぞれのプレーンに対して所定の角度で仮想オブジェクトの表示を示す。例えば、図５Ｉで図示するように、デバイスは、床面５０３８に対して所定の角度で仮想椅子５０２０を表示することと連動して、触知出力５０３６を出力する。いくつかの実施形態では、発生する触知出力は、仮想オブジェクト又は仮想オブジェクトによって表される物理オブジェクトの、重量（例えば、重い対軽い）、材料（例えば、金属、綿、木、大理石、液体、ゴム、ガラス）、サイズ（例えば、大きい対小さい）、形状（例えば、薄い対厚い、長い対短い、丸い対とがったなど）、弾性（例えば、弾力あり対固い）、性質（例えば、陽気対厳粛、穏やか対力強いなど）及び他の特性を反映している特徴（例えば、振動数、サイクル数、変調、振幅、付随する音声波など）を有するように、構成される。例えば、触知出力は図４Ｆ～４Ｋで図示される触知出力パターンの１つ以上を使用する。いくつかの実施形態では、１つ以上の特性に対する経時的な１つ以上の変化を含む予め設定されたプロフィールは仮想オブジェクト（例えば、絵文字）に対応する。例えば、「よく弾む」触知出力プロフィールは、「にこにこした」絵文字仮想オブジェクトのために提供される。触知出力を出力してそれぞれのプレーンに対して仮想オブジェクトの表現の配置を示すことは、ユーザーにフィードバックを提供して、仮想オブジェクトの表現がそれぞれのプレーンに対して自動的に配置されたことを示す。改良された触知フィードバックを提供することはデバイスの操作性を高め（例えば、ユーザーが適切な入力を提供するのを支援しかつ仮想オブジェクトを配置するための必要な追加入力を減らすことによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, upon switching from displaying the first user interface area to displaying the second user interface area, the device causes the representation of the virtual object to transition to the second user interface area ( (e.g., as it is moved, rotated, resized, and/or redrawn to a different style, etc.) and in position relative to its respective plane (e.g., as illustrated in FIGS. 5F-5I) , displaying an animation (828), and in conjunction with displaying a representation of the virtual object at a predetermined angle relative to each plane (e.g., at a predetermined orientation and/or position relative to each plane). , and its size, rotation angle, and appearance to reach the final state displayed in the augmented reality view), the device outputs a tactile output at one or more
いくつかの実施形態（８３０）において、触知出力は、仮想オブジェクトの特性（例えば、サイズ、密度、質量及び／又は材料などの擬似的な物理的特性）に対応する触知出力プロフィールを有する。いくつかの実施形態では、触知出力プロフィールは、仮想オブジェクトの１つ以上の特性（例えば、重量、材料、サイズ、形状及び／又は弾力）に基づいて変化する特性（例えば、周波数、サイクル数、変調、振幅、付随する音声波など）を有する。例えば、触知出力は図４Ｆ～４Ｋで図示される触知出力パターンの１つ以上を使用する。いくつかの実施形態では、触知出力の振幅及び／又は期間は、仮想オブジェクトのサイズ、重量及び／又は質量が増加するにつれて増加する。いくつかの実施形態では、触知出力パターンは、仮想オブジェクトが構成される仮想材料に基づいて選択される。仮想オブジェクトの特性に対応するプロフィールを有する触知出力を出力することは、ユーザーにフィードバックを提供して仮想オブジェクトの特性に関する情報を示す。改良された触知フィードバックを提供することはデバイスの操作性を高め（例えば、ユーザーが適切な入力を提供するのを支援しかつ仮想オブジェクトを配置するための必要な追加入力を減らして、特性に関する表示された情報とのユーザーインターフェースを混乱させることなくユーザーが仮想オブジェクトの特性を知覚することを可能にする感覚情報を提供することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。 In some embodiments (830), the tactile output has a tactile output profile that corresponds to properties of the virtual object (eg, simulated physical properties such as size, density, mass, and/or material). In some embodiments, the tactile output profile includes characteristics (e.g., frequency, number of cycles, modulation, amplitude, accompanying sound waves, etc.). For example, the tactile output uses one or more of the tactile output patterns illustrated in FIGS. 4F-4K. In some embodiments, the amplitude and/or duration of the tactile output increases as the size, weight, and/or mass of the virtual object increases. In some embodiments, the tactile output pattern is selected based on the virtual material from which the virtual object is constructed. Outputting a tactile output having a profile corresponding to the characteristics of the virtual object provides feedback to the user indicating information regarding the characteristics of the virtual object. Providing improved tactile feedback enhances the usability of the device (e.g., assisting the user in providing appropriate input and reducing the additional input required to position virtual objects, By providing sensory information that allows the user to perceive the properties of virtual objects without confusing the user interface with displayed information), in addition it allows the user to use the device even more quickly and efficiently. Reduce power usage and improve device battery life by allowing more power to be used.
いくつかの実施形態において、第２のユーザーインターフェース領域の仮想オブジェクトの表現を調整すると共に、デバイスは、（図５Ｋ～５Ｌで図示するように）１つ以上のカメラの視野５０３４を調整するデバイスの移動（例えば、デバイスの横方向の移動及び／又は回転）を検出し（８３２）、そして、デバイスの移動を検出することに応答して、デバイスは、第２のユーザーインターフェース領域の仮想オブジェクト（例えば、仮想椅子５０２０）の表現を、仮想オブジェクトと１つ以上のカメラの視野のそれぞれのプレーン（例えば、床面５０３８）の間の固定された空間関係（例えば、向き及び／又は位置）にしたがって、１つ以上のカメラの視野が調整されるにつれて、調整する（例えば、仮想オブジェクトは、仮想オブジェクトの表現とプレーンの間の固定角が維持される（例えば、仮想オブジェクトがプレーン上の固定位置にとどまるか又は視野平面に沿って転がるように見える）ような向き及び位置によってディスプレイ上に表示される）。例えば、図５Ｋ～５Ｌで、カメラの視野５０３４を含む第２のユーザーインターフェース領域の仮想椅子５０２０は、デバイス１００が移動されるにつれて、床面５０３８に対して固定された向き及び位置を維持する。いくつかの実施形態では、仮想オブジェクトは周囲の物理的環境５００２に対して静止していてかつ変化しないように見え、すなわち、仮想オブジェクトの表現は、デバイスの位置及び／又は向きが変化するにつれて、デバイスが周囲の物理的環境に対して移動すると１つ以上のカメラの視野が変化するので、ディスプレイ上のサイズ、位置及び／又は向きが変化する。仮想オブジェクトとそれぞれのプレーンの間の固定関係にしたがって（例えば、それぞれのプレーンに対して仮想オブジェクトの位置を維持するための更なるユーザー入力を必要とせずに）仮想オブジェクトの表現を調整することはデバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, while adjusting the representation of the virtual object in the second user interface area, the device adjusts the field of
いくつかの実施形態では、（例えば、第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野の表現に置き換えることに対応するときに、）デバイスは、仮想オブジェクト（例えば、仮想椅子５０２０）の表現が連続的に表示されるにつれて、（例えば、５Ｆ～５Ｉで図示するように）アニメーション（例えば、移動、１つ以上の軸の周りの回転及び／又はスケーリング）を表示すると共に第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替える（８３４）。例えば、アニメーションは、仮想オブジェクトの二次元の表現を表示すると共に第１のユーザーインターフェース領域を表示することから、仮想オブジェクトの三次元の表現を表示すると共に第２のユーザーインターフェース領域を表示することへの遷移を含む。いくつかの実施形態では、仮想オブジェクトの三次元の表現は、１つ以上のカメラの視野において捕えられる物理的環境の一部の現在の向きに対して予め定義される向きを有する。いくつかの実施形態では、拡張現実ビューに遷移するときに、仮想オブジェクトの表現はディスプレイ上の初期位置からディスプレイ上の新しい位置（例えば、拡張現実ビューの中央又は拡張現実ビューの別の所定の位置）まで移動され、サイズ変更され、方向変更されて、移動の間、又は、移動の終了後、仮想オブジェクトがカメラの視野において検出されるプレーン（例えば、仮想オブジェクトの表現を支持することができる直立壁又は水平床面などの物理表面）に対して固定角であるように、方向変更される。いくつかの実施形態では、アニメーション化された遷移が発生するにつれて、仮想オブジェクトの照明及び／又は仮想オブジェクトによる影投射は（例えば、１つ以上のカメラの視野において検出される環境照明と一致するように）調整される。仮想オブジェクトの表現としてアニメーションを表示すると共に第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域に切り替えることは、第１の入力が第１の基準を満たすことを示すためのフィードバックをユーザーに提供する。改良されたフィードバックを提供することは、デバイスの操作性を高め（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device (e.g., when responsive to replacing the display of at least a portion of the first user interface area with a representation of the field of view of one or more cameras) displays a virtual object (e.g., displaying an animation (e.g., translation, rotation about one or more axes and/or scaling) as the representation of the virtual chair 5020) is continuously displayed (e.g., as illustrated at 5F-5I); and switching from displaying the first user interface area to displaying the second user interface area (834). For example, the animation may move from displaying a two-dimensional representation of the virtual object and displaying a first user interface area to displaying a three-dimensional representation of the virtual object and displaying a second user interface area. Contains transitions. In some embodiments, the three-dimensional representation of the virtual object has a predefined orientation relative to the current orientation of the portion of the physical environment captured in the field of view of one or more cameras. In some embodiments, when transitioning to an augmented reality view, the representation of the virtual object changes from its initial position on the display to a new position on the display (e.g., the center of the augmented reality view or another predetermined position in the augmented reality view). ), resized, and reoriented to a plane in which the virtual object is detected in the camera's field of view during or after the movement (e.g., an upright plane that can support the representation of the virtual object). reoriented so that it is at a fixed angle with respect to a physical surface (such as a wall or a horizontal floor). In some embodiments, as the animated transition occurs, the lighting of the virtual object and/or the shadow cast by the virtual object (e.g., to match the ambient lighting detected in the field of view of one or more cameras). ) adjusted. Displaying the animation as a representation of the virtual object and switching from displaying the first user interface area to the second user interface area provides feedback to indicate that the first input satisfies the first criteria. Provide to users. Providing improved feedback enhances the usability of the device (e.g., by assisting the user in providing appropriate input and reducing user errors when operating/interacting with the device); Additionally, it reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、ディスプレイ上に第２のユーザーインターフェース領域を表示すると共に、デバイスは第２の接触（例えば、接触５０４０）によって第２の入力を検出し（８３６）、そこにおいて、第２の入力は（任意選択的に、仮想オブジェクトの表現を選択するための第２の接触による押圧又はタッチ入力、及び）（例えば、図５Ｎ～５Ｐで図示するように）ディスプレイにわたる第１のパスに沿った第２の接触の移動を含み、そして、第２の接触によって第２の入力を検出することに応答して、デバイスは、第１のパスに対応する（例えば、同じものであるか、又はそれに拘束された）２本目のパスに沿った第２のユーザーインターフェース領域に仮想オブジェクト（例えば、仮想椅子５０２０）の表現を移動する。いくつかの実施形態では、第２の接触は第１の接触とは異なり、第１の接触のリフトオフの後に（例えば、（図５Ｃ～５Ｆの接触５０２６のリフトオフの後に検出される）図５Ｎ～５Ｐの接触５０４０で示すように）検出される。いくつかの実施形態では、第２の接触は、（例えば、（ＡＲトリガ基準を満たして、その後、タッチスクリーン１１２を横切って仮想ランプ５０８４を移動する）接触５０８６による入力で示すように）タッチ感知面上で連続的に維持される第１の接触と同じである。いくつかの実施形態では、仮想オブジェクト上のスワイプ入力は仮想オブジェクトを回転させると共に、仮想オブジェクトの移動は任意選択的にカメラの視野のプレーンによって拘束される（例えば、スワイプ入力は、カメラの視野の床面上の椅子の表現を回転させる）。入力を検出することに応答して仮想オブジェクトの表現を移動することは、仮想オブジェクトの表示された位置がユーザー入力に応答して移動可能なことを示すためのフィードバックをユーザーに提供する。改良されたフィードバックを提供することは、デバイスの操作性を高め（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, while displaying a second user interface area on the display, the device detects (836) a second input by a second contact (e.g., contact 5040), wherein the second (optionally, a second contact press or touch input to select a representation of the virtual object) in a first pass across the display (e.g., as illustrated in FIGS. 5N-5P). and in response to detecting a second input by the second contact, the device moves the second input along the first path (e.g., is the same, moving a representation of a virtual object (eg, virtual chair 5020) to a second user interface area along a second path (or constrained thereto); In some embodiments, the second contact is different from the first contact and occurs after lift-off of the first contact (e.g., detected after lift-off of
いくつかの実施形態では、仮想オブジェクトの表現が接触の移動及び仮想オブジェクトに対応するそれぞれのプレーンに基づいて２本目のパスに沿って移動するにつれて、デバイスは仮想オブジェクトの表現のサイズを（例えば、視野の仮想オブジェクトの正確な視点を維持するために、仮想オブジェクトの表現からユーザーまでの仮想距離に基づいて）調整する（８３８）。例えば、図５Ｎ～５Ｐで、仮想椅子５０２０のサイズは、仮想椅子が、デバイス１００から離れてかつテーブル５００４の方へカメラの視野５０３４の中により深く移動するにつれて、減少する。仮想オブジェクトの表現が接触の移動及び仮想オブジェクトに対応するプレーンに基づいて第２のパスに沿って移動するにつれて、（例えば、仮想オブジェクトの表現をカメラの視野の環境に対して現実的なサイズに維持するように仮想オブジェクトの表現のサイズを調整するための更なるユーザー入力必要とせずに）仮想オブジェクトの表現のサイズを調整することは、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device changes the size of the virtual object representation (e.g., (based on the virtual distance from the representation of the virtual object to the user) to maintain an accurate perspective of the virtual object in the field of view (838). For example, in FIGS. 5N-5P, the size of the
いくつかの実施形態では、仮想オブジェクトの表現が（例えば、図５ＡＩ～５ＡＬで図示するように）第２のパスに沿って移動するにつれて、デバイスは仮想オブジェクト（例えば、仮想ランプ５０８４）の表現の第１のサイズを維持し（８４０）、デバイスは第２の接触（例えば、図５ＡＬ～午前５時で図示するように、第２の接触のリフトオフを検出することを含む）によって第２の入力の終了を検出し、そして、第２の接触によって第２の入力の終了を検出することに応答して、デバイスは第２のユーザーインターフェース領域のドロップオフの位置（例えば、テーブル面５０４６に）に仮想オブジェクトの表現を配置して、第１のサイズとは異なる第２のサイズで第２のユーザーインターフェース領域のドロップオフの位置に仮想オブジェクトの表現を表示する（例えば、図５ＡＭの仮想ランプ５０８４のサイズは、接触５０８６による入力の終了の後、接触５０８６による入力の終了の前の図５ＡＬの仮想ランプ５０８４のサイズとは異なる）。例えば、接触によってドラッグされている間、オブジェクトはそのサイズ及びビューイング視点を変えず、そして、オブジェクトが拡張現実ビューのその最終位置下ろされると、オブジェクトはカメラの視野に表示される仮想オブジェクトのドロップオフの位置に対応する物理的環境の物理的位置に基づいて決定されるサイズ及びビューイング視点によって表示され、それにより、ドロップオフの位置がカメラの視野の第１の位置であるという決定にしたがって、オブジェクトは第２のサイズを有する、そして、ドロップオフの位置がカメラの視野の第２の位置であるという決定にしたがって、オブジェクトは第２のサイズと異なる第３のサイズを有し、そこにおいて、第２及び第３のサイズは１つ以上のカメラからのドロップオフの位置の距離に基づいて選択される。仮想オブジェクトを移動する第２の入力の終了の検出に応答して、（例えば、仮想オブジェクトをカメラの視野の環境に対して現実的なサイズに維持するように仮想オブジェクトのサイズを調整するための更なるユーザー入力必要とせずに）仮想オブジェクトの表現を変更されたサイズで表示することは、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device changes the representation of the virtual object (e.g., virtual lamp 5084) as the representation of the virtual object moves along the second path (e.g., as illustrated in FIGS. 5AI-5AL). Maintaining the first size (840), the device receives a second input by a second contact (e.g., including detecting lift-off of the second contact, as illustrated in FIG. 5AL-5:00 AM). and in response to detecting the end of the second input by the second contact, the device moves the second user interface area to a drop-off position (e.g., on table surface 5046). positioning a representation of the virtual object to display the representation of the virtual object at a drop-off location in a second user interface area at a second size that is different than the first size (e.g., in the
いくつかの実施形態では、ディスプレイにわたる第１のパスに沿った第２の接触の移動が第２の基準を満たす（例えば、第１のパスの終わりに、接触は、ディスプレイの端（例えば、下端、上端、又は側端）の閾値距離内若しくはそれの外側か、又は第２のユーザーインターフェース領域の端にある）という判定にしたがって、デバイス（８４２）は、１つ以上のカメラの視野の表現を含んでいる第２のユーザーインターフェース領域を表示することをやめ、そして、仮想オブジェクトの表現を有する（完全な）第１のユーザーインターフェース領域を再表示する（例えば、第１のユーザーインターフェース領域の一部が以前第２のユーザーインターフェース領域と並行して表示されている場合、第２のユーザーインターフェース領域がもはや表示されなくなった後に、デバイスは完全な第１のユーザーインターフェース領域を表示する）。例えば、図５Ｖ～５Ｘで図示するように、タッチスクリーン１１２の端に仮想椅子５０５４をドラッグする接触５０５４の移動に応答して、カメラの視野５０３４は表示されなくなり、図５Ｙ～５ＡＤで図示するように、完全なメッセージ送信ユーザーインターフェース５００８が再表示される。いくつかの実施形態では、接触がディスプレイの端又は第２のユーザーインターフェース領域の端に接近するにつれて、第２のユーザーインターフェース領域がフェードアウトし（例えば、図５Ｘ～５Ｙで図示されるように）、かつ／又は、第１のユーザーインターフェース領域（の表示されないか又はブロックされる部分）がフェードインする（例えば、図５Ｚ～５ＡＡで図示されるように）。いくつかの実施形態では、非ＡＲビュー（例えば、第１のユーザーインターフェース領域）からＡＲビュー（例えば、第２のユーザーインターフェース領域）まで遷移するためのジェスチャ及びＡＲビューから非ＡＲビューまで遷移するためのジェスチャは、同一である。例えば、現在表示されているユーザーインターフェースの閾値位置を越えた（例えば、現在表示されているユーザーインターフェース領域の境界の閾値距離の範囲内、又は、現在表示されているユーザーインターフェース領域の境界を越えた）仮想オブジェクト上のドラッグジェスチャは、現在表示されているユーザーインターフェース領域から相手方ユーザーインターフェース領域への（例えば、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することへの、あるいは、第２のユーザーインターフェース領域を表示することから第１のユーザーインターフェース領域を表示することへの）遷移を引き起こす。いくつかの実施形態では、視覚的な指示（例えば、現在表示されているユーザーインターフェース領域をフェードアウトさせて、相手方ユーザーインターフェースをフェードインさせる）は、第１／第２の基準が満たされる前に表示され、そして、入力が続いて、かつ入力（例えば、接触のリフトオフ）の終了が検出される前に第１／第２の基準が満たされない場合はその逆にできる。入力基準を満たす入力を検出することに応答して第１のユーザーインターフェースを再表示することは、第２のユーザーインターフェースを追加的な表示された制御（例えば、第２のユーザーインターフェースから第１のユーザーインターフェースを表示するための制御）で混乱させることのない追加的な制御オプションを提供する。第２のユーザーインターフェースを追加的な表示された制御で混乱させることのない追加的な制御オプションを提供することはデバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, movement of the second contact along the first path across the display satisfies the second criterion (e.g., at the end of the first pass, the contact moves toward an edge of the display (e.g., bottom edge)). , top edge, or side edge), or at the edge of the second user interface area), the device (842) causes the device (842) to display a representation of the field of view of the one or more cameras. ceasing to display the containing second user interface area and redisplaying the (complete) first user interface area with the representation of the virtual object (e.g. a portion of the first user interface area was previously displayed in parallel with the second user interface area, the device displays the complete first user interface area after the second user interface area is no longer displayed). For example, in response to a movement of the
いくつかの実施形態では、第１のユーザーインターフェース領域を再表示することに対応する時間に、デバイスは、第２のユーザーインターフェース領域に仮想オブジェクトの表現を表示することから第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示する（例えば、図５ＡＢ～５ＡＤの仮想椅子５０２０のアニメーションで図示するように）ことへのアニメーション化された遷移（例えば、移動、１つ以上の軸のまわりの回転及び／又はスケーリング）を表示する（８４４）。第２のユーザーインターフェースの仮想オブジェクトの表現を表示することから第１のユーザーインターフェースの仮想オブジェクトの表現を表示することへのアニメーション化された遷移を（例えば、更にユーザー入力が第１のユーザーインターフェースの仮想オブジェクトを再位置付けすることを必要とせずに）表示することはデバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。 In some embodiments, at a time corresponding to redisplaying the first user interface area, the device changes the representation of the virtual object from displaying the representation of the virtual object in the second user interface area to the first user interface area. Animated transitions (e.g., translation, rotation about one or more axes and/or or scaling) (844). An animated transition from displaying a representation of a virtual object in a second user interface to displaying a representation of a virtual object in a first user interface (e.g., when further user input is Displaying virtual objects (without the need to reposition them) increases the usability of the device, in addition it reduces power usage by allowing users to use the device more quickly and efficiently. and improve your device's battery life.
いくつかの実施形態では、第２の接触が第１のパスに沿って移動するにつれて、デバイスは、接触の現在位置に対応する１つ以上のカメラの視野において識別される１つ以上のそれぞれのプレーンの外観を変える（例えば、１つ以上のプレーンの外観を強調し、マークし、輪郭を描き、かつ／又は、さもなければ視覚的に変える）（８４６）。例えば、接触５０４２が図５Ｏ～５Ｐの矢印５０４２及び５０４４で示すようにパスに沿って仮想椅子５０２０をドラッグするにつれて、床面５０３８は強調される（例えば、接触５０４２の移動の前の図５Ｍと比較して）。いくつかの実施形態では、接触がカメラの視野において検出される第１のプレーンに対応する位置にあるという判定にしたがって、第１のプレーンが強調される。接触がカメラの視野で検出される第２のプレーンに対応する位置へ（例えば、図５Ｓ～５Ｕで図示するように）移動したという判定にしたがって、第１のプレーン（例えば、床面５０３８）は強調されなくなり、そして第２のプレーン（例えば、テーブル面５０４６）が強調される。いくつかの実施形態では、複数のプレーンが同時に強調される。いくつかの実施形態では、複数の視覚的に変更されたプレーンの第１のプレーンは、他のプレーンが視覚的に変えられる方法とは異なった方法で視覚的に変更されて、接触が第１のプレーンに対応する位置にあることを示す。カメラの視野において識別される１つ以上のそれぞれのプレーンの外観を変えることは、プレーン（例えば、これに対して仮想オブジェクトを配置することができる）が識別されたことを示すためのフィードバックをユーザーに提供する。改良された視覚フィードバックを提供することは、デバイスの操作性を高め（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, as the second contact moves along the first path, the device causes each of the one or more cameras identified in the field of view of the one or more cameras to correspond to the current location of the contact Altering the appearance of the planes (eg, highlighting, marking, delineating, and/or otherwise visually altering the appearance of one or more planes) (846). For example, as
いくつかの実施形態では、接触によって第１の入力を検出することに応答して、接触による第１の入力が第３の（例えば、ステージングユーザーインターフェースディスプレイ）基準（例えば、ステージングユーザーインターフェースディスプレイ基準は、スワイプ入力、タッチホールド入力、押圧入力、タップ入力又は所定の強度閾値を上回った強度を有する激しい押圧を識別するように構成される基準である）を満たすという判定にしたがって、デバイスはディスプレイ上に第３のユーザーインターフェース領域を表示して、第１のユーザーインターフェース領域の少なくとも一部の表示を（例えば、仮想オブジェクトの２Ｄ画像を置き換える仮想オブジェクトの三次元モデルを含んで）置き換えることを含む（８４８）。いくつかの実施形態では、ステージングユーザーインターフェース（例えば、図６Ｉに関して記載されているステージングユーザーインターフェース６０１０）を表示すると共に、デバイスは、ステージングユーザーインターフェースに対応する仮想オブジェクトの表現の外観を、（例えば、方法９００を参照して下記でより詳細に説明するように）検出される入力に基づいて更新する。いくつかの実施形態では、仮想オブジェクトがステージングユーザーインターフェースで表示されている間に別の入力が検出され、その入力が第２のユーザーインターフェース領域を表示することに遷移するための基準を満たすときに、デバイスは連続的に仮想オブジェクトを表示すると共に、ステージングユーザーインターフェースの表示を第２のユーザーインターフェース領域に置き換える。更なる詳細を方法９００に関して記載する。第１の入力が第３の基準を満たすという判定にしたがって第３のユーザーインターフェースを表示することは、第１のユーザーインターフェースを追加的な表示された制御（例えば、第１のユーザーインターフェースから第３のユーザーインターフェースを表示するための制御）で混乱させることのない追加的な制御オプションを提供する。第２のユーザーインターフェースを追加的な表示された制御で混乱させることのない追加的な制御オプションを提供することはデバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, in response to detecting the first input by contact, the first input by contact causes a third (e.g., staging user interface display) reference (e.g., the staging user interface display reference is , a swipe input, a touch-and-hold input, a press input, a tap input, or a criterion configured to identify a hard press having an intensity above a predetermined intensity threshold. displaying a third user interface area to replace the display of at least a portion of the first user interface area (e.g., including a three-dimensional model of the virtual object replacing a 2D image of the virtual object) (848); ). In some embodiments, while displaying a staging user interface (e.g., staging
いくつかの実施形態では、接触による第１の入力（例えば、第１のユーザーインターフェース領域をスクロールすることに対応するスワイプ入力又は要求に対応して第１のユーザーインターフェース領域のコンテンツに対応するウェブページ又は電子メールを表示するタップ入力）が第１の（例えば、ＡＲトリガ）基準を満たさないという判定にしたがって、デバイスは、第１のユーザーインターフェース領域の少なくとも一部の表示を（例えば、図６Ｂ～６Ｃに関して記載されているように）１つ以上のカメラの視野の表現に置き換えることなく第１のユーザーインターフェース領域の表示を維持する（８５０）。第１のユーザーインターフェース領域の表示を維持するべきであるか又は連続的に仮想オブジェクトの表現を表示するべきかどうか決定するための第１の基準を使用すると共に、第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野に置き換えることで、入力に応答して複数の異なるタイプの操作を実行することが可能になる。入力に応答して（例えば、ユーザーインターフェースの少なくとも一部の表示を１つ以上のカメラの視野に置き換えるか又は第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野の表現に置き換えることなく第１のユーザーインターフェース領域の表示を維持することによって）複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。 In some embodiments, a web page corresponding to the content of the first user interface area in response to a first input by contact (e.g., a swipe input corresponding to scrolling the first user interface area or a request to scroll the first user interface area) or a tap input that displays an email) does not meet the first (e.g., AR trigger) criteria, the device causes the device to display at least a portion of the first user interface area (e.g., in FIGS. 6B-6B). 6C) maintains the display of the first user interface area without replacing it with a representation of the field of view of the one or more cameras (850). using the first criteria to determine whether to maintain the display of the first user interface area or to continuously display the representation of the virtual object; By replacing some of the displays with the field of view of one or more cameras, it is possible to perform multiple different types of operations in response to input. in response to input (e.g., replacing the display of at least a portion of the user interface with a field of view of one or more cameras, or replacing the display of at least a portion of a first user interface area with a field of view of one or more cameras; Enabling the performance of multiple different types of operations (by maintaining the display of the first user interface area without replacing the first user interface area) increases the efficiency with which users can perform these operations; Thereby, it enhances the operability of the device, in addition it reduces power usage and improves the battery life of the device by allowing the user to use the device more quickly and efficiently.
図８Ａ～８Ｅの動作について記載された特定の順序は単なる例にすぎず、記載された順序が操作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書において記載されている操作を再び順序付けする各種の方法を認識するであろう。加えて、本明細書において記載されている他の方法（例えば、方法９００及び１０００）に関して本明細書において記載されている他のプロセスの詳細はまた、図８Ａ～８Ｅに関して上述した方法８００にも、類似の様式で適用できる点に留意されたい。例えば、方法８００を参照して上述した接触、入力、仮想オブジェクト、ユーザーインターフェース領域、強度閾値、触知出力、視野、移動及び／又はアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法９００、１０００、１６０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書に記載される接触、入力、仮想オブジェクト、ユーザーインターフェース領域、強度閾値、触知出力、視野、移動及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、これらの詳細はここで繰り返さない。
It is understood that the particular order described for the operations of FIGS. 8A-8E is merely an example and is not intended to indicate that the described order is the only order in which the operations may be performed. I want to be Those skilled in the art will recognize various ways to reorder the operations described herein. Additionally, other process details described herein with respect to other methods described herein (e.g.,
図９Ａ～９Ｄは、いくつかの実施形態による、第１のユーザーインターフェース領域の仮想オブジェクトの第１の表現、第２のユーザーインターフェース領域の仮想オブジェクトの第２の表現及び１つ以上のカメラの視野の表現を有する仮想オブジェクトの第３の表現を表示する方法９００を図示しているフローチャートである。方法９００は、ディスプレイ、タッチ感知面及び１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面から反対側のデバイスの側上の１つ以上の後面カメラ）を有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル型多機能デバイス１００）で実行される。いくつかの実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面はディスプレイ上にあるか又はディスプレイと統合される。いくつかの実施形態では、ディスプレイは、タッチ感知面から分離している。方法９００のいくつかの操作は任意選択的に組み合わされ、かつ／又は、いくつかの操作の順序は任意選択的に変更される。
9A-9D illustrate a first representation of a virtual object in a first user interface area, a second representation of a virtual object in a second user interface area, and one or more camera fields of view, according to some embodiments. 9 is a flowchart illustrating a
後述するように、方法９００は、第１のユーザーインターフェース（例えば、二次元のグラフィックユーザーインターフェース）の仮想オブジェクトの表現を表示するデバイスのタッチ感知面での接触によって入力を検出することに関する。第１の入力に応答して、デバイスは、第２のユーザーインターフェース（例えば、仮想オブジェクトの三次元表現を移動し、サイズ変更し、かつ／又は方向変更することができるステージングユーザーインターフェース）に仮想オブジェクトの第２の表現を表示するべきかどうか決定するための基準を使用する。第２のユーザーインターフェースに仮想オブジェクトの第２の表現を表示すると共に、第２の入力に応答して、デバイスは第２の入力に基づいて仮想オブジェクトの第２の表現の表示特性を変えるか又はデバイスの１つ以上のカメラの視野を含む第３のユーザーインターフェースの仮想オブジェクトの第３の表現を表示する。入力に応答して（例えば、仮想オブジェクトの表示特性を変えるか又は第３のユーザーインターフェースに仮想オブジェクトを表示することによって）複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することが出来る効率を増大させ、それによって、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
As described below,
デバイスは、ディスプレイ１１２上の第１のユーザーインターフェース領域（例えば、二次元のグラフィックユーザーインターフェース又は一部（例えば、家具画像の一覧可能なリスト、１つ以上の選択可能なオブジェクトを含んでいる画像など））に仮想オブジェクトの表現（例えば、仮想椅子５０２０、仮想ランプ５０８４、靴、家具、手工具、装飾、人々、絵文字、ゲームキャラクタ、仮想家具などの、三次元オブジェクトのグラフィック表現）を表示する（９０２）。例えば、第１のユーザーインターフェース領域は、図６Ａで示すメッセージ送信ユーザーインターフェース５００８である。いくつかの実施形態では、第１のユーザーインターフェース領域は、デバイスを囲んでいる物理的環境の画像以外のバックグラウンドを含む（例えば、第１のユーザーインターフェース領域のバックグラウンドは、予め選択された背景色／パターンであるか、又は、１つ以上のカメラによって並行して取り込まれる出力像と異なり、かつ１つ以上のカメラの視野の有効なコンテンツと異なる背景画像である）。
The device displays a first user interface area (e.g., a two-dimensional graphical user interface or portion (e.g., an indexable list of furniture images, an image containing one or more selectable objects, etc.) on the display 112. )) displays a representation of a virtual object (e.g., a graphical representation of a three-dimensional object, such as a
ディスプレイ上の第１のユーザーインターフェース領域の仮想オブジェクトの第１の表現を表示すると共に、デバイスは、ディスプレイ上の仮想オブジェクトの第１の表現に対応するタッチ感知面上の場所で、第１の接触による第１の入力を検出する（９０４）（例えば、第１の接触はタッチスクリーンディスプレイ上の仮想オブジェクトの第１の表現上で検出されるか、又は、第１の接触は、仮想オブジェクトの第１の表現を有する第１のユーザーインターフェース領域において並行して表示され、そして、接触によって起動されると仮想オブジェクトのＡＲビュー（例えば、カメラの視野６０３６）及び／又は仮想オブジェクト（例えば、仮想椅子５０２０）の表現を含むステージングユーザーインターフェース６０１０の表示をトリガするように構成されるアフォーダンス（例えば、トグル制御６０１８）上で、検出される）。例えば、第１の入力は、図６Ｅ～６Ｉに関して記載されている接触６００６による入力である。
While displaying a first representation of a virtual object in a first user interface area on the display, the device makes a first contact at a location on the touch-sensitive surface that corresponds to the first representation of the virtual object on the display. detecting (904) a first input by (e.g., the first touch is detected on a first representation of the virtual object on a touch screen display, or the first touch is detected on a first representation of the
第１の接触によって、そして、第１の接触による第１の入力が第１の（例えば、ステージング－トリガ）基準を満たすという判定にしたがって第１の入力を検出することに応答して、（例えば、ステージング－トリガ基準は、入力されるスワイプを識別するように構成される基準、タッチホールド入力、押圧入力、タップ入力、接触のタッチダウン、接触の最初の移動又はカメラのアクティブ化及び／又はカメラの視野の視野平面の検出をトリガすることと関係している別のタイプの所定の入力ジェスチャである）、デバイスは、第１のユーザーインターフェース領域と異なる第２のユーザーインターフェース領域の仮想オブジェクトの第２の表現を表示する（９０６）（例えば、第２のユーザーインターフェース領域は、カメラの視野を含まないで、そして、ユーザー入力に応答して仮想オブジェクトの三次元表現が操作される（例えば、回転されて、移動される）ことができる、擬似的な三次元空間を含むステージングユーザーインターフェース６０１０である）。例えば、図６Ｅ～６Ｈで、接触６００６による入力が深い押圧強度閾値ＩＴＤを上回って増加する特性強度を有するという判定にしたがって、メッセージ送信ユーザーインターフェース５００８（例えば、図６Ｅに示すように）とは異なるステージングユーザーインターフェース６０１０（例えば、図６Ｉに示すように）で、仮想椅子オブジェクト５０２０は、表示される。
in response to detecting the first input by the first contact and in accordance with a determination that the first input by the first contact satisfies a first (e.g., staging-trigger) criterion (e.g., , staging-trigger criteria are criteria configured to identify an input swipe, a touch-hold input, a press input, a tap input, a touch-down, a first movement of a touch or a camera activation and/or a camera another type of predetermined input gesture associated with triggering the detection of a field of view plane in a field of view), the device detects a second user interface area of the virtual object in a second user interface area that is different from the first user interface area. displaying (906) a representation of the virtual object (e.g., the second user interface area does not include the field of view of the camera) and the three-dimensional representation of the virtual object is manipulated (e.g., rotation) in response to user input. A staging
いくつかの実施形態では、第１の入力を検出することに応答して、そして、第１の入力がステージングトリガ基準を満たすという判定にしたがって、デバイスは、第１のユーザーインターフェース領域で示す第１の向き（例えば、図６Ｅのメッセージ送信ユーザーインターフェース５００８で示す仮想椅子５０２０の第１の向き）から、デバイスを囲んでいる物理的環境に対してデバイスの現在の向きから独立して方向付けられるディスプレイ上の仮想的なプレーンに基づいて決定される第２の向き（例えば、図６Ｉで示すステージ平面６０１４に基づいて決定される仮想椅子５０２０の第２の向き）まで、移動されて方向変更されている仮想オブジェクトの三次元表現を示す第１のアニメーション化された遷移を表示する。例えば、仮想オブジェクトの三次元の表現は（例えば、二次元のグラフィカルユーザーインターフェースで示す仮想オブジェクトの形状及び向きづけに基づいて）プレーンから所定の向き及び／又は距離を有し、そして、ステージングビュー（例えば、ステージングユーザーインターフェース６０１０）に遷移するときに、三次元の表現はディスプレイ上の仮想オブジェクトの元の位置からディスプレイ上の新しい位置（例えば、仮想ステージ６０１４の中心）まで移動され、サイズ変更され、方向変更され、そして、移動の間、又は、移動の終了後、デバイスを囲んでいる物理的環境から独立して定められる所定のステージング仮想的なプレーン６０１４に対して仮想オブジェクトが固定角であるように、三次元の表現は方向変更される。
In some embodiments, in response to detecting the first input and in accordance with the determination that the first input satisfies the staging trigger criteria, the device controls the first (e.g., the first orientation of the
第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示すると共に、デバイスは第２の入力（例えば、図６Ｑ～６Ｔで図示される接触６０３４による入力）を検出する（９０８）。いくつかの実施形態では、第２の入力を検出することは、仮想オブジェクトの第２の表現に対応するタッチスクリーン上の位置で１つ以上の第２の接触を検出すること、第２の接触によって起動されるとデバイスを囲んでいる物理的環境の拡張現実ビューの表示をトリガするように構成されるアフォーダンス上で第２の接触を検出すること、第２の接触の移動を検出すること、及び／又は第２の接触のリフトオフを検出することを含む。いくつかの実施形態では、第２の入力は、同じ接触による第１の入力の継続（例えば、第２の入力は、図６Ｅ～６Ｉで図示する接触６００６の後の、図６Ｑ～６Ｔで図示する接触６０３４による入力である（例えば、接触のリフトオフなしで））、又は完全に異なる接触による別々の入力（例えば、第２の入力は、図６Ｅ～６Ｉで図示する接触６００６による第１の入力の後の、図６Ｑ～６Ｔで図示する接触６０３４による入力である（接触のリフトオフによる））、又は追加の接触による入力の継続（例えば、第２の入力は、図６Ｅ～６Ｉで図示する接触６００６による第１の入力の後の、図６Ｊ～６Ｌで図示する接触６００６による入力である）である。例えば、第２の入力は、スワイプ入力、第２のタップ入力、第２の押圧入力、第１の入力に続いた押圧入力、第２のタッチホールド入力、第１の入力から続く維持されたタッチ、などの継続でもよい。
While displaying a second representation of the virtual object in the second user interface area, the device detects a second input (eg, input via
第２の入力を検出することに応答して（９１０）、第２の入力が（例えば、拡張現実ビューに遷移せずに）第２のユーザーインターフェース領域の仮想オブジェクトを操作する要求に対応するという決定にしたがって、デバイスは第２の入力に基づいて第２のユーザーインターフェース領域の中の仮想オブジェクトの第２の表現の表示特性を変更し、そして、第２の入力が拡張現実環境に仮想オブジェクトを表示する要求に対応するという決定にしたがって、デバイスは１つ以上のカメラの視野の表現を有する仮想オブジェクトの第３の表現を表示する（例えば、デバイスは、１つ以上のカメラの視野６０３６を含む第３のユーザーインターフェースを表示し、デバイスを囲んでいる物理的環境５００２の物理的なプレーン（例えば、床）に対応するカメラの視野の中で検出される仮想的なプレーン（例えば、床面５０３８）上に、仮想オブジェクトの三次元表現（例えば、仮想椅子５０２０）を配置する）。
In response to detecting (910) a second input, the second input corresponds to a request to manipulate the virtual object in the second user interface area (e.g., without transitioning to an augmented reality view). In accordance with the determination, the device changes display characteristics of the second representation of the virtual object in the second user interface area based on the second input, and the second input changes the display characteristics of the second representation of the virtual object in the augmented reality environment. In accordance with the decision to respond to the request to display, the device displays a third representation of the virtual object having a representation of the one or more camera fields of view (e.g., the device includes the one or more camera fields of
いくつかの実施形態では、第２のユーザーインターフェース領域の仮想オブジェクトを操作する要求に対応する第２の入力は、第２のユーザーインターフェース領域の仮想オブジェクトの第２の表現に対応するタッチ感知面上の場所での第２の接触によるピンチ又はスワイプである。例えば、第２の入力は、図６Ｊ～６Ｌに図示する接触６００６による入力又は図６Ｎ～６Ｏに図示する接触６０２６及び６０３０による入力である。
In some embodiments, the second input corresponding to the request to manipulate the virtual object in the second user interface area is on the touch-sensitive surface corresponding to the second representation of the virtual object in the second user interface area. A pinch or swipe with a second touch at the location. For example, the second input is the input by
いくつかの実施形態では、仮想オブジェクトを拡張現実環境に表示する要求に対応する第２の入力は、第２のユーザーインターフェース領域の仮想オブジェクトの表現に対応するタッチ感知面上の場所での、又は、そこからの、タップ入力、押圧入力又はタッチホールド若しくは押圧入力に続くドラッグ入力である。例えば、第２の入力は、図６Ｑ～６Ｔで図示する接触６０３４によって入力される深い押圧である。
In some embodiments, the second input corresponding to the request to display the virtual object in the augmented reality environment is at a location on the touch-sensitive surface that corresponds to the representation of the virtual object in the second user interface area, or , a tap input, a press input, or a drag input following a touch-hold or press input. For example, the second input is a deep press input by
いくつかの実施形態では、第２の入力に基づいて第２のユーザーインターフェース領域の中で仮想オブジェクトの第２の表現の表示特性を変えることは、１つ以上の軸のまわりを回転すること（例えば、垂直及び／又は横スワイプを経て）、サイズ変更すること（例えば、サイズ変更するピンチ）、１つ以上の軸のまわりで傾けること（例えば、デバイスを傾けることによって）、視点を変化させること（例えば、１つ以上の視野面を検出するための１つ以上のカメラの視野の分析のためにいくつかの実施形態において使われる、水平にデバイスを動かすことによって）、及び／又は仮想オブジェクトの表現の色を変えることを含む。例えば、仮想オブジェクトの第２の表現の表示特性を変えることは、図６Ｊ～６Ｋで図示するように、接触６００６によって水平スワイプジェスチャに応答して仮想椅子５０２０を回転させること、図６Ｋ～６Ｌで図示するように、接触６００６によって斜めのスワイプジェスチャに応答して仮想椅子５０２０を回転させること、又は図６Ｎ～６Ｏで図示するように、接触６０２６及び６０３０によってデピンチジェスチャに応答して仮想椅子５０２０のサイズを増加させることを含む。いくつかの実施形態において、仮想オブジェクトの第２の表現の表示特性が変えられる量は、第２の入力特性が変化する量（例えば、接触による移動の距離又は速度、接触の強度、接触の期間など）と相関している。
In some embodiments, changing the display characteristics of the second representation of the virtual object within the second user interface area based on the second input includes rotating about one or more axes ( (e.g., via vertical and/or horizontal swipes), resizing (e.g., pinch to resize), tilting around one or more axes (e.g., by tilting the device), changing perspective. (e.g., by moving the device horizontally, as used in some embodiments for analysis of the field of view of one or more cameras to detect one or more viewing planes), and/or of virtual objects. Including changing the color of the expression. For example, changing the display characteristics of the second representation of the virtual object may include rotating the
いくつかの実施形態では、第２の入力が拡張現実環境に（例えば、図６Ｔに関して記載されている１つ以上のカメラの視野６０３６に）仮想オブジェクトを表示する要求に対応するという決定にしたがって、デバイスは、ディスプレイ上の仮想的なプレーンに対するそれぞれの向き（例えば、図６Ｒに示す仮想椅子５０２０の向き）から、１つ以上のカメラの視野において捕えられる物理的環境の部分の現在の向きに基づいて決定される第３の方向（例えば、図６Ｔに示す仮想椅子５０２０の向き）まで方向変更される、仮想オブジェクトの三次元表現を示す第２のアニメーション化された遷移を表示する。例えば、仮想オブジェクトの三次元の表現は、仮想オブジェクトの三次元表現が、カメラの視野において捕えられる物理的環境５００２（例えば、仮想オブジェクトの三次元表現を支持することができる直立壁又は水平床面などの物理表面）のライブ画像において識別される所定のプレーン（例えば、床面５０３８）に対して固定角であるように、方向変更される。いくつかの実施形態では、拡張現実ビューの仮想オブジェクトの向きは、少なくとも１つの態様においてステージングユーザーインターフェースの仮想オブジェクトの向きによって拘束される。例えば、三次元座標系の少なくとも１つの軸のまわりの仮想オブジェクトの回転角度は、仮想オブジェクトをステージングユーザーインターフェースから拡張現実ビューに遷移するときに維持される（例えば、図６Ｑ～６Ｕに関して記載されているように、図６Ｊ～６Ｋに関して記載されている仮想椅子５０２０の回転は維持される）。いくつかの実施形態では、第２のユーザーインターフェース領域の仮想オブジェクトの表現上への光投射源は仮想光源である。いくつかの実施形態では、第３のユーザーインターフェース領域の仮想オブジェクトの第３の表現は、（例えば、１つ以上のカメラの視野において検出され、かつ／又はそれから判定されるような）実世界光源によって照らされる。
In some embodiments, in accordance with the determination that the second input corresponds to a request to display a virtual object in the augmented reality environment (e.g., in the field of view of one or
いくつかの実施形態では、第１の基準は、第１の入力が仮想オブジェクトインジケータ５０２２（例えば、ディスプレイ上の仮想オブジェクトの表現に重ねてかつ／又はそれと隣接して表示されるアイコンなどのインジケータ）に対応するタッチ感知面上の場所に第１の接触によって入力されるタップを含むときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（９１２）。例えば、仮想オブジェクトインジケータ５０２２は、それが一致する仮想オブジェクトがステージングビュー（例えば、ステージングユーザーインターフェース６０１０）及び拡張現実ビュー（例えば、カメラの視野６０３６）において見えるという表示を、（例えば、方法１０００に関して下記により詳細に説明するように）提供する。第１の入力が入力されるタップを含むかどうかに応じて、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示するかどうかを決定することにより、第１の入力に応答して複数の異なるタイプの操作を実行することができる。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
In some embodiments, the first criterion is that the first input is a virtual object indicator 5022 (e.g., an indicator such as an icon displayed over and/or adjacent to a representation of the virtual object on a display). (e.g., according to a determination that such is the case) (912). For example,
いくつかの実施形態では、第１の基準は、少なくとも所定の時間（例えば、長いプレスの時間閾値）の間に閾値移動量未満で仮想オブジェクトの第１の表現に対応する、タッチ感知面上の場所に第１の接触が維持されるときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（９１４）。例えば、第１の基準は、タッチホールド入力によって満たされる。いくつかの実施形態では、第１の基準は、基準が満たされるために、少なくとも所定の閾値時間の間に閾値移動量未満で仮想オブジェクトの表現に対応するタッチ感知面上の場所に第１の接触が維持された後に第１の接触の移動を必要とする基準を含む。例えば、第１の基準は、タッチホールド入力に続くドラッグ入力によって満たされる。仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示するべきかどうかを決定することは、接触が少なくとも所定の時間の間に閾値移動量未満で仮想オブジェクトの表現に対応するタッチ感知面上の場所に維持されるかどうかに応じて、入力に応答した複数の異なるタイプの操作の実行を可能にする。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。 In some embodiments, the first criterion is that the touch-sensitive surface corresponds to a first representation of the virtual object with less than a threshold amount of movement for at least a predetermined period of time (e.g., a long press time threshold). Includes criteria that are met when a first contact is maintained at the location (e.g., in accordance with a determination that such is the case) (914). For example, the first criterion is met by touch and hold input. In some embodiments, the first criterion is such that the first criterion is at a location on the touch-sensitive surface corresponding to the representation of the virtual object less than a threshold amount of movement for at least a predetermined threshold time for the criterion to be met. Includes criteria requiring movement of the first contact after contact is maintained. For example, the first criterion is met by a touch and hold input followed by a drag input. Determining whether the second representation of the virtual object should be displayed in the second user interface area comprises: determining whether the second representation of the virtual object is to be displayed in the second user interface area; Allows the execution of several different types of operations in response to input, depending on whether it is kept in place or not. Enabling the performance of multiple different types of operations in response to input increases the efficiency with which users can perform these operations, thereby increasing the usability of the device, as well as increasing the improves device battery life by reducing power usage and allowing users to use their devices more quickly and efficiently.
いくつかの実施形態では、第１の基準は、第１の接触の特性強度が第１の強度閾値（例えば、深い押圧強度閾値ＩＴＤ）を上回って増加するときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（９１６）。例えば、図６Ｑ～６Ｔに関して記載されているように、基準は、強度レベルメータ５０２８によって示されるように、接触６０３４の特性強度が深い押圧強度閾値ＩＴＤを上回って増加するときに満たされる。いくつかの実施形態では、接触が別のタイプのジェスチャ（例えば、タップ）を認識するための基準を満たすという判定にしたがって、デバイスは第２の（例えば、ステージング）ユーザーインターフェースをトリガさせること以外の別の所定の機能を実行すると共に仮想オブジェクトの表示を維持する。いくつかの実施形態では、第１の基準は、第１の入力がタップ入力でない（例えば、接触のリフトオフの前に閾値強度を上回ったものに達する激しいタップ入力が、接触の最初のタッチダウンのタップ時間閾値の範囲内で検出される）ことを必要とする。いくつかの実施形態では、第１の基準は、基準が満たされるために、第１の接触の強度が第１の強度閾値を超えた後に第１の接触の移動を必要とする基準を含む。例えば、第１の基準は、押圧入力に続くドラッグ入力によって満たされる。接触の特性強度が第１の強度閾値を上回って増加するかどうかに応じて、第２のユーザーインターフェース領域に仮想オブジェクトを表示するかどうかを決定することにより、第１の入力に応答して複数の異なるタイプの操作を実行することができる。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
In some embodiments, the first criterion is (e.g., when the characteristic intensity of the first contact increases above a first intensity threshold (e.g., deep press intensity threshold IT D )). (916) including the criteria to be met (according to the determination). For example, as described with respect to FIGS. 6Q-6T, the criterion is met when the characteristic intensity of the
一部の実施形態では、第１の接触による第１の入力の検出に応答して、第１の接触による第１の入力が第２の基準（例えば、インターフェーススクロール基準）を満たすことの判定に応じて（ただし、第２の基準は、第１の入力が閾値距離よりも長くにわたるタッチ感知面と交差する方向の第１の接触の移動を含むことを必要とする（例えば、第２の基準は、垂直スワイプ又は水平ジェスチャなどのスワイプジェスチャによって満たされる））、デバイスは、第１のユーザーインターフェース領域（及び仮想オブジェクトの表現）を第１の接触の移動方向に対応する方向にスクロールする（９１８）（例えば、第１の基準は満たされず、仮想オブジェクトの表現を第２のユーザーインターフェース領域に表示することは見合わせられる）。例えば、図６Ｂ～６Ｃに関して説明したように、接触６００２による上向きの垂直スワイプジェスチャは、メッセージングユーザーインターフェース５００８及び仮想椅子５０２０を上方へスクロールさせる一部の実施形態では、第１の基準が満たされるために、第１の基準も、第１の入力が閾値距離よりも長くにわたる第１の接触の移動を含むことを必要とし、デバイスは、第１の入力の初期部分がオブジェクト選択基準（例えば、仮想オブジェクトの表現に対するタッチ保持又は押圧）を満たすか否かに基づいて、第１の入力が、第１の基準（例えば、ステージングトリガ基準）、又は第２の基準（例えば、インターフェーススクロール基準）を満たすか否かを判定する。一部の実施形態では、第２の基準は、仮想オブジェクト及び仮想オブジェクトのＡＲアイコン）の位置の外側のタッチ位置で開始されるスワイプ入力によって満たされる。第１の入力が第２の基準を満たすか否かによって、第１の入力に応答して第１のユーザーインターフェース領域をスクロールするか否かを判定することで、第１の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, in response to detecting the first input by the first contact, the method includes determining that the first input by the first contact satisfies a second criterion (e.g., an interface scrolling criterion). (e.g., the second criterion requires that the first input includes movement of the first contact in a direction intersecting the touch-sensitive surface for greater than a threshold distance) is filled by a swipe gesture, such as a vertical swipe or a horizontal gesture), the device scrolls (918) the first user interface area (and the representation of the virtual object) in a direction corresponding to the direction of movement of the first contact. ) (e.g., the first criterion is not met and displaying the representation of the virtual object in the second user interface area is forgone). For example, as described with respect to FIGS. 6B-6C, an upward vertical swipe gesture by
一部の実施形態では、第１の接触による第１の入力の検出に応答して、第１の接触による第１の入力が第３の（例えば、ＡＲトリガ）基準を満たすことの判定に応じて、デバイスは、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現と共に表示する（９２０）。例えば、図６ＡＤ～６ＡＧに関して説明したように、接触６０４４による長いタッチ入力とそれに続く仮想椅子５０２０をドラッグする接触６０４４による上向きのドラッグ入力によって、仮想椅子５０２０は、カメラの視野６０３６と共に表示される。
In some embodiments, in response to detecting the first input by the first contact, the first input by the first contact satisfies a third (e.g., AR trigger) criterion. Then, the device displays (920) a third representation of the virtual object along with a representation of the field of view of the one or more cameras. For example, as described with respect to FIGS. 6AD-6AG, a long touch input with
一部の実施形態では、第３の基準は、例えば、１つ以上のカメラがアクティブ状態にあり、デバイスの向きが規定の範囲（例えば、既定の元の向きから、１つ以上の軸まわりの規定の回転角）内に収まり、接触による入力が選択入力（例えば、長いタッチ）とそれに続くドラッグ入力を含む（（例えば、ディスプレイの縁部から所定の距離内まで）ディスプレイ上で仮想オブジェクトを移動させる接触の移動）、接触の特性強度はＡＲトリガ強度閾値（例えば、ライト押圧閾値ＩＴＬ又はディープ押圧閾値ＩＴＤ））を超えて増大し、接触の持続時間はＡＲトリガ持続時間閾値（例えば、長い押圧閾値）を超えて増大し、及び／又はこの接触により移動する距離はＡＲトリガ距離閾値（例えば、長いスワイプ閾値）を超えて増大する、という判定に応じて満足させられる基準を含む。一部の実施形態では、第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース６０１０）に仮想オブジェクトの表現を表示する制御（例えば、トグル制御６０１８）は、仮想オブジェクトの表現及び１つ以上のカメラの視野６０３６を含むユーザーインターフェース（例えば、第２のユーザーインターフェース領域のうちの少なくとも一部に置き換わる第３のユーザーインターフェース領域）に表示される。
In some embodiments, the third criterion is, e.g., one or more cameras are active and the device orientation is within a defined range (e.g., from a default original orientation, about one or more axes). moving the virtual object on the display (e.g., to within a predetermined distance from the edge of the display), and the contact input includes a selection input (e.g., a long touch) followed by a drag input (e.g., to within a predetermined distance from the edge of the display) movement of the contact), the characteristic intensity of the contact increases above an AR trigger intensity threshold (e.g., light press threshold IT L or deep press threshold IT D )), and the duration of the contact increases beyond an AR trigger duration threshold (e.g. and/or the distance traveled by this contact increases beyond an AR triggering distance threshold (e.g., a long swipe threshold). In some embodiments, a control (e.g., toggle control 6018) that displays a representation of the virtual object in a second user interface area (e.g., staging user interface 6010) includes a representation of the virtual object and one or more cameras. Displayed in a user interface (eg, a third user interface area that replaces at least a portion of the second user interface area) that includes a field of
一部の実施形態では、第１のユーザーインターフェース領域（例えば、非ＡＲ、非ステージング、タッチスクリーンＵＩビュー）から第３のユーザーインターフェース領域（例えば、拡張現実ビュー）へ直接に遷移する際に、デバイスは、ディスプレイ上のタッチスクリーンＵＩ（例えば、非ＡＲ、非ステージングビュー）に表されるそれぞれの向きから１つ以上のカメラの視野内に取り込まれた物理的環境の一部の現在の向きに対して予め定められている向きへ仮想オブジェクトの三次元表現の向きが変えられることを示すアニメーション化された遷移を表示する。例えば、図６ＡＤ～６ＡＪに示すように、第１のユーザーインターフェース領域（例えば、図６ＡＤに示すようなメッセージングユーザーインターフェース５００８）から第３のユーザーインターフェース領域（例えば、図６ＡＪに示すようなカメラの視野６０３６を含む拡張現実ユーザーインターフェース）へ直接に遷移する際に、仮想椅子５０２０は、図６ＡＤ～６ＡＨに示すような第１の向きから（例えば、図６ＡＪに示すような）カメラの視野６０３６内に取り込まれるような物理的環境５００２内の床面５０３８に対する所定の向きへ変化する。例えば、仮想オブジェクトの三次元表現は、仮想オブジェクトの三次元表現が物理的環境５００２のライブ画像中で識別される所定のプレーン（例えば、仮想オブジェクトの三次元表現を支持することができる垂直壁又は水平床面（例えば、床面５０３８）などの物理的表面）に対して一定の角度であるように向きが変えられる。第１の入力が第３の基準を満たすか否かによって、第１の入力に応答してカメラの視野と共に仮想オブジェクトの第３の表現を表示するか否かを判定することで、第１の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, when transitioning directly from a first user interface area (e.g., a non-AR, non-staging, touchscreen UI view) to a third user interface area (e.g., an augmented reality view), the device for the current orientation of a portion of the physical environment captured within the field of view of one or more cameras from each orientation represented in a touchscreen UI (e.g., non-AR, non-staging view) on a display. displaying an animated transition indicating that the three-dimensional representation of the virtual object is reoriented to a predetermined orientation. For example, as shown in FIGS. 6AD-6AJ, from a first user interface area (e.g.,
一部の実施形態では、第１の接触による第１の入力の検出に応答して、デバイスは、１つ以上のデバイス方向センサによって、デバイスの現在のデバイス向き（例えば、デバイスの周囲の物理的環境に対する向き）を決定し（９２２）、第３の基準（例えば、ＡＲトリガ基準）は、第３の基準が満たされるために、現在のデバイス向きが第１の向き範囲内にあることを必要とする（例えば、デバイスとグラウンドの間の角度が、（介在状態をバイパスするために）デバイスがグラウンドに対して十分に平行であることを示す閾値角度未満であるときに、第２の基準は満たされる）。一部の実施形態では、第１の基準（例えば、ステージングトリガ基準）は、第１の基準が満たされるために、現在のデバイスの向きが第２の向き範囲内にあることを必要とする（例えば、デバイスとグラウンドの間の角度が、まず介在状態に行くためにデバイスがグラウンドに対して十分に直立であることを示す閾値から９０度の値の範囲内にあるときに、第１の基準は満たされる。デバイスの向きがある向き範囲内にあるか否かによって、第１の入力に応答してカメラの視野と共に仮想オブジェクトの第３の表現を表示するか否かを判定することで、第１の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, in response to detecting the first input by the first contact, the device detects a current device orientation of the device (e.g., a physical location around the device) by one or more device orientation sensors. an orientation relative to the environment), and a third criterion (e.g., an AR trigger criterion) requires that the current device orientation be within the first orientation range for the third criterion to be satisfied. (e.g., when the angle between the device and ground is less than a threshold angle indicating that the device is sufficiently parallel to ground (to bypass intervening conditions), the second criterion is It is filled). In some embodiments, a first criterion (e.g., a staging trigger criterion) requires that the current device orientation be within a second orientation range for the first criterion to be satisfied ( For example, the first criterion is when the angle between the device and the ground is within a value of 90 degrees from a threshold indicating that the device is sufficiently upright to the ground to go to the intervening state. is satisfied.Determining whether to display a third representation of the virtual object along with the camera field of view in response to the first input depending on whether the orientation of the device is within an orientation range; A plurality of different types of actions may be performed in response to the first input. Enabling the performance of multiple different types of actions in response to the input increases the efficiency with which a user can perform these actions. , thereby improving device operability, and further reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently.
一部の実施形態では、仮想オブジェクトの第２の表現の少なくとも１つの表示特性（例えば、サイズ、形状、ヨー軸、ピッチ軸、ロール軸など周りのそれぞれの角度）は、仮想オブジェクトの第３の表現に適用される（９２４）。例えば、図６Ｑ～６Ｕに関して説明したように、仮想椅子５０２０の第３の表現が（例えば、図６Ｕに示すような）カメラの視野６０３６を含む拡張現実ビューに表示されるときに、図６Ｊ～６Ｋに関して説明したように、ステージングユーザーインターフェース６０１０に適用される仮想椅子５０２０の第２の表現の回転は維持される。一部の実施形態では、拡張現実ビューにおける仮想オブジェクトの向きは、少なくとも１つの態様におけるステージングユーザーインターフェースにおける仮想オブジェクトの向きによって制約される。例えば、仮想オブジェクトをステージングビューから拡張現実ビューに遷移するときに、所定の三次元座標系の少なくとも１つの軸（例えば、ヨー、ピッチ、又はロール軸）の周りの仮想オブジェクトの回転角度は維持される。一部の実施形態では、仮想オブジェクトの第２の表現がユーザー入力によっていくつかのやり方で操作（例えば、サイズ、形状、テクスチャ、向き等が変更）される場合、仮想オブジェクトの第２の表現の少なくとも１つの表示特性は、仮想オブジェクトの第３の表現にのみ適用される。言い換えれば、オブジェクトが、１つ以上のやり方で拡張現実ビューに示されるときに又は拡張現実ビュー内でオブジェクトの外観を制約するために使用されるときに、ステージングビューになされる変化は、維持される。（例えば、仮想オブジェクトの第２の表現及び仮想オブジェクトの第３の表現に同一の表示特性を適用するために更なるユーザー入力を必要とせずに）仮想オブジェクトの第２の表現の少なくとも１つの表示特性を仮想オブジェクトの第３の表現に適用することにより、（例えば、仮想オブジェクトの大きなバージョンが第２のユーザーインターフェースに表示されている間にユーザーが第２の仮想オブジェクトに回転を適用することを可能にし、１つ以上のカメラの視野の表現と共に表示される仮想オブジェクトの第３の表現に回転を適用することによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, at least one display characteristic (e.g., size, shape, respective angle about a yaw axis, pitch axis, roll axis, etc.) of the second representation of the virtual object is different from a third representation of the virtual object. applied to the expression (924). For example, as described with respect to FIGS. 6Q-6U, when a third representation of
一部の実施形態では、（例えば、第１の接触の検出、又は第１の基準を満たさずにそれぞれの所定の基準を満たす第１の接触による入力の検出、あるいは第１の基準を満たす入力の検出を含む）第１の接触による第１の入力のうちの少なくとも初期部分の検出に応答して（９２６）、デバイスは、１つ以上のカメラを起動し（例えば、ディスプレイ上にカメラの視野を直ちに表示することなくカメラを起動し）、デバイスは、１つ以上のカメラの視野を分析して、１つ以上のカメラの視野内の１つ以上のプレーンを検出する。一部の実施形態では、（例えば、拡張現実環境に仮想オブジェクトを表示する要求に対応する第２の入力が検出されるまで、少なくとも１つの視野平面が検出されるまで、又は仮想オブジェクトに対して定められるアンカー平面に対応する視野平面が検出されるまで）１つ以上のカメラの視野６０３６を表示することは、１つ以上のカメラの起動後に遅延される。一部の実施形態では、１つ以上のカメラの視野６０３６は、１つ以上のカメラの起動に対応する時点で（例えば、それと同時に）表示される。一部の実施形態では、１つ以上のカメラの視野内でプレーンが検出される前（例えば、接触による第１の入力の検出に応答して判定に応じて１つ以上のカメラの視野が表示される前）に、１つ以上のカメラの視野６０３６が表示される。（例えば、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現と共に表示する前に）カメラを起動しカメラの視野を分析して、第１の入力の初期部分の検出に応答して１つ以上の視野平面の検出することで、（例えば、カメラの視野内のそれぞれのプレーンに対する仮想オブジェクトの第３の表現の位置及び／又は向きを決定するのに必要な時間を減少させることによって）デバイスの効率高め、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, (e.g., detecting a first contact, or detecting an input due to a first contact that satisfies a respective predetermined criterion without satisfying the first criterion, or detecting an input that satisfies the first criterion) In response to detecting (926) at least an initial portion of the first input by the first contact (including detecting a the device analyzes the field of view of the one or more cameras to detect one or more planes within the field of view of the one or more cameras. In some embodiments, until at least one viewing plane is detected (e.g., until a second input corresponding to a request to display a virtual object in an augmented reality environment is detected, or Displaying the field of
一部の実施形態では、デバイスは、１つ以上のカメラの視野内のそれぞれのプレーン（例えば、床面５０３８）の検出に応答して、１つ以上の触知出力生成器１６７を用いて、１つ以上のカメラの視野内のそれぞれのプレーンの検出を示す触知出力を出力する（９２８）。一部の実施形態では、視野平面が識別される前に、視野６０３６が示され得る。一部の実施形態では、追加のユーザーインターフェース制御及び／又はアイコンは、少なくとも１つの視野平面が検出された後に又は視野平面の全部が識別された後に、視野内で実世界画像上に重ね合わされる。カメラの視野内でプレーンを検出したことを示す触知出力を出力することで、プレーンが検出されたことを示すフィードバックをユーザーに提供する。改善された触覚的フィードバックを提供することにより、（例えば、適切な入力を提供するようにユーザーを支援し、仮想オブジェクトを配置する不要な追加の入力を減少させることによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device uses one or more
一部の実施形態では、ディスプレイ上の仮想オブジェクトの第３の表現のサイズは、仮想オブジェクトのシミュレートされた実世界サイズと、１つ以上のカメラと１つ以上のカメラの視野６０３６内の場所との間の距離とに基づいて決定され（９３０）、それと共に仮想オブジェクト（例えば、仮想椅子５０２０）の第３の表現は、一定の空間的関係（例えば、仮想オブジェクトが付される床面５０３８などのプレーン）を有する。一部の実施形態では、仮想オブジェクトの第３の表現のサイズは、１つ以上のカメラの視野に対する仮想オブジェクトの第３の表現のサイズの縮尺が維持されるように制約される。一部の実施形態では、１つ以上の物理的寸法パラメータ（例えば、長さ、幅、深さ、及び／又は半径）は、仮想オブジェクトについて定義される。一部の実施形態では、第２のユーザーインターフェース（例えば、ステージングユーザーインターフェース）において、仮想オブジェクトは、その定義された物理的寸法パラメータによって制約されない（例えば、仮想オブジェクトのサイズは、ユーザー入力に応答して変更可能である）。一部の実施形態では、仮想オブジェクトの第３の表現は、その定義された寸法パラメータによって制約される。視野内に表される物理的環境に対する拡張現実ビュー内の仮想オブジェクトの位置を変更するためのユーザー入力が検出されたとき、又は視野のズームレベルを変更するためのユーザー入力が検出されたとき、又はデバイスの周囲の物理的環境に対して移動させるためのユーザー入力が検出されたとき、仮想オブジェクトの外観（例えば、サイズ、ビューイング視点）は、（例えば、仮想オブジェクトのアンカー平面と拡張現実環境内のものとの間の一定の空間的関係によって表現されるような）仮想オブジェクトと物理的環境との間の一定の空間的関係と、仮想オブジェクトの所定の寸法パラメータ及び物理的環境の実際の寸法に基づく一定の縮尺とによって制約されるやり方で変化する。（例えば、仮想オブジェクトの実世界サイズをシミュレートするために仮想オブジェクトの第３の表現をリサイズように更なるユーザー入力を必要とせずに）仮想オブジェクトのシミュレートされた実世界サイズと、１つ以上のカメラと１つ以上のカメラの視野内の場所との間の距離に基づいて仮想オブジェクトの第３の表現のサイズを決定することにより、デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the size of the third representation of the virtual object on the display is determined by the simulated real-world size of the virtual object and the location within the field of
一部の実施形態では、仮想オブジェクトを拡張現実環境内に表示する要求に対応する第２の入力は、（例えば、距離閾値を超えて増大する距離だけ、定められた境界を越えて、及び／又ディスプレイ若しくは第２のユーザーインターフェース領域の縁部（例えば、底縁、上縁、及び又は側縁）の閾値距離内にある位置まで）仮想オブジェクトの第２の表現を（選択して）ドラッグする入力を含む（９３２）。仮想オブジェクトを拡張現実環境内に表示する要求に対応する第２の入力の検出に応答して、仮想オブジェクトの第３の表現をカメラの視野の表現と共に表示することによって、第２のユーザーインターフェースを追加の表示された制御（例えば、第２のユーザーインターフェースから拡張現実環境を表示する制御）で乱すことなく追加の制御オプションを提供する。第２のユーザーインターフェースを追加の表示された制御で乱すことなく追加の制御オプションを提供することによって、デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, the second input corresponding to a request to display a virtual object within an augmented reality environment (e.g., by an increasing distance above a distance threshold, beyond a defined boundary, and/or and (selectively) dragging a second representation of the virtual object to a position that is within a threshold distance of an edge (e.g., a bottom edge, a top edge, and/or a side edge) of the display or second user interface area. Contains input (932). the second user interface by displaying a third representation of the virtual object along with a representation of the field of view of the camera in response to detecting a second input corresponding to a request to display the virtual object within the augmented reality environment; Additional displayed controls (e.g., controls for displaying an augmented reality environment from a second user interface) provide additional control options without clutter. Improves the usability of the device by providing additional control options without cluttering the secondary user interface with additional visible controls, and also allows the user to use the device more quickly and efficiently. Reduce your device's power usage and improve battery life by enabling
一部の実施形態では、第２のユーザーインターフェース領域（例えば、図６Ｚに示すようなステージングユーザーインターフェース６０１０）に仮想オブジェクトの第２の表現を表示しつつ、デバイスは、第１のユーザーインターフェース領域を再表示するそれぞれの基準を満たす第４の入力（例えば、仮想オブジェクトの第２の表現に対応するタッチ感知面上の場所、又はタッチ感知面上の別の場所（例えば、第２のユーザーインターフェース領域の底部又は縁部）でのタップ、強い押圧、又はタッチ保持及びドラッグ入力、並びに／あるいは第１のユーザーインターフェースの領域に復帰する制御に対応するタッチ感知面上の位置での入力）を検出し（９３４）、この第４の入力の検出に応答して、デバイスは、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示するのを中止し、デバイスは、第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を再表示する。例えば、図６Ｚ～６ＡＣに示すように、ステージングユーザーインターフェース６０１０に表示されたバック制御６０１６に対応する位置での接触６０４２による入力に応答して、デバイスは、第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース６０１０）に仮想椅子５０２０の第２の表現を表示するのを中止し、デバイスは、第１のユーザーインターフェース領域（例えば、メッセージングユーザーインターフェース５００８）に仮想椅子５０２０の第１の表現を再表示する。一部の実施形態では、仮想オブジェクトの第１の表現は、ステージングビュー及び／又は拡張現実ビューに遷移する前に示されたものと同じ外観、位置、及び／又は向きで第１のユーザーインターフェース領域に表示される。例えば、図６ＡＣにおいて、仮想椅子５０２０は、図６Ａにおけるメッセージングユーザーインターフェース５００８に表示される仮想椅子５０２０と同じ向きでメッセージングユーザーインターフェース５００８に表示される。一部の実施形態では、デバイスは、第１のユーザーインターフェース領域における仮想オブジェクトの表示に戻るように遷移する際に、仮想オブジェクトをスクリーン上に連続的に表示する。例えば、図６Ｙ～６Ｃにおいて、仮想椅子５０２０は、ステージングユーザーインターフェース６０１０の表示からメッセージングユーザーインターフェース５００８の表示への遷移中に連続的に表示される。第２のユーザーインターフェースに仮想オブジェクトの第２の表現を表示しつつ検出された第４の入力が第１のユーザーインターフェースを再表示する基準を満たすか否かによって、第１のユーザーインターフェースに仮想オブジェクトの第１の表現を再表示するか否かを判定することで、第４の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device displays a second representation of the virtual object in a second user interface area (e.g., a
一部の実施形態では、（例えば、図６Ｕに示すように）１つ以上のカメラの視野５０３６の表現と共に仮想オブジェクトの第３の表現を表示しつつ、デバイスは、第２のユーザーインターフェース領域を再表示するそれぞれの基準を満たす第５の入力（例えば、仮想オブジェクトの第３の表現に対応するタッチ感知面上の位置又はタッチ感知面上の別の位置でのタップ、強い押圧、又はタッチ及びドラッグ入力、並びに／あるいは第２のユーザーインターフェース領域の表示に復帰する制御に対応するタッチ感知面上の場所での入力）を検出し（９３６）、この第５の入力の検出に応答して、デバイスは、仮想オブジェクトの第３の表現及び１つ以上のカメラの視野の表現を表示するのを中止し、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を再表示する。例えば、図６Ｖ～図６Ｙに示すように、カメラの視野６０３６を含む第３のユーザーインターフェースに表示されるトグル制御６０１８に対応する位置での接触６０４０による入力に応答して、デバイスは、カメラの視野６０３６を表示するのを中止し、ステージングユーザーインターフェース６０１０を再表示する。一部の実施形態では、仮想オブジェクトの第２の表現は、拡張現実ビューに示されるものと同じ向きで第２のユーザーインターフェース領域に表示される。一部の実施形態では、デバイスは、第２のユーザーインターフェース領域における仮想オブジェクトの表示に戻るように遷移する際に、仮想オブジェクトをスクリーン上に連続的に表示する。例えば、図６Ｖ～６Ｙにおいて、仮想椅子５０２０は、カメラの視野６０３６の表示からステージングユーザーインターフェース６０１０の表示への遷移中に連続的に表示される。カメラの視野と共に仮想オブジェクトの第３の表現を表示しつつ検出された第５の入力が、第２のユーザーインターフェースを再表示する基準を満たすか否かによって、第２のユーザーインターフェースに仮想オブジェクトの第２の表現を再表示するか否かを判定することで、第５の入力に応答して複数の異なるタイプの動作の実行を可能にする。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device displays the third representation of the virtual object along with the representation of the one or more camera fields of view 5036 (e.g., as shown in FIG. 6U), while the device displays the second user interface area. a fifth input that satisfies the respective criteria for redisplay (e.g., a tap, a hard press, or a touch and detecting (936) a drag input and/or an input at a location on the touch-sensitive surface corresponding to a control to return the second user interface area to display, and in response to detecting the fifth input; The device ceases displaying the third representation of the virtual object and the representation of the field of view of the one or more cameras and redisplays the second representation of the virtual object in the second user interface area. For example, as shown in FIGS. 6V-6Y, in response to input by a
一部の実施形態では、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現６０３６と共に表示しつつ、デバイスは、第１のユーザーインターフェース領域（例えば、メッセージングユーザーインターフェース５００８）を再表示するそれぞれの基準を満たす第６の入力を検出し（９３８）、この第６の入力の検出に応答して、デバイスは、（例えば、図６Ｕに示すような）仮想オブジェクト（例えば、仮想椅子５０２０）の第３の表現及び１つ以上のカメラの視野６０３６の表現を表示するのを中止し、デバイスは、（例えば、図６ＡＣに示すように）仮想オブジェクトの第１の表現を第１のユーザーインターフェースの領域に再表示する。一部の実施形態では、第６の入力は、例えば、仮想オブジェクトの第３の表現の表現に対応するタッチ感知面上の場所又はタッチ感知面上の別の位置でのタップ、強い押圧、又はタッチ及びドラッグ入力であり、並びに／あるいは第１のユーザーインターフェース領域の表示に復帰する制御に対応するタッチ感知面上の位置での入力である。一部の実施形態では、仮想オブジェクトの第１の表現は、ステージングビュー及び／又は拡張現実ビューに遷移する前に示されたものと同じ外観及び位置で第１のユーザーインターフェース領域に表示される。一部の実施形態では、デバイスは、第１のユーザーインターフェース領域における仮想オブジェクトの表示に戻るように遷移する際に、仮想オブジェクトをスクリーン上に連続的に表示する。カメラの視野と共に仮想オブジェクトの第３の表現を表示しつつ検出された第６の入力が第１のユーザーインターフェースを再表示する基準を満たすか否かによって、第１のユーザーインターフェースに仮想オブジェクトの第１の表現を再表示するか否かを判定することで、第６の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device redisplays the first user interface area (e.g., messaging user interface 5008) while displaying the third representation of the virtual object along with the one or more camera field of
一部の実施形態では、第１の接触による第１の入力の検出に応答し、第１の接触による入力が第１の基準を満たすという判定に応じて、デバイスは、第１のユーザーインターフェース領域（例えば、メッセージングユーザーインターフェース５００８）の表示から第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース６０１０）の表示へ遷移するときに、第１のユーザーインターフェース領域内の仮想オブジェクトの第１の表現を第２のユーザーインターフェース領域内の仮想オブジェクトの第２の表現に変形するアニメーション（例えば、移動、１つ以上の軸を中心にした回転、及び／又はスケーリング）の表示を含んで、仮想オブジェクトを連続的に表示する（９４０）。例えば、図６Ｅ～６Ｉにおいて、仮想椅子５０２０は、メッセージングユーザーインターフェース５００８の表示からステージングユーザーインターフェース６０１０の表示への遷移中に連続的に表示され、アニメーション化される（例えば、仮想椅子５０２０の向きが変化する）。一部の実施形態では、仮想オブジェクトは、（例えば、第１のユーザーインターフェース領域に示されるような仮想オブジェクトの第１の表現の形状及び向きに基づいて定められる）カメラの視野内のプレーンに対する定められた向き、位置、及び／又は距離を有し、第２のユーザーインターフェース領域に遷移するときに、仮想オブジェクトの第１の表現は、ディスプレイ上の新しい位置（例えば、第２のユーザーインターフェース領域内の仮想ステージングプレーンの中心）で仮想オブジェクトの第２の表現に移動し、リサイズし、及び／又は向きを変え、移動中又は移動終了時に、デバイスの周囲の物理的環境から独立して定められる所定の仮想ステージングプレーンに対して仮想オブジェクトが所定の角度であるように、仮想オブジェクトは向きを変える。第１のユーザーインターフェースにおける仮想オブジェクトの第１の表現が第２のユーザーインターフェースにおける仮想オブジェクトの第２の表現に変形するときにアニメーションを表示することにより、第１の入力が第１の基準を満たすことを示すフィードバックをユーザーに提供する。改善されたフィードバックを提供することにより、（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, in response to detecting the first input by the first contact and in response to determining that the input by the first contact satisfies the first criteria, the device controls the first user interface area. When transitioning from displaying a second user interface area (e.g., messaging user interface 5008) to displaying a second user interface area (e.g., staging user interface 6010), the first representation of the virtual object in the first user interface area is Continuously displaying an animation (e.g., translation, rotation about one or more axes, and/or scaling) that transforms the virtual object into a second representation of the virtual object within a second user interface area. (940). For example, in FIGS. 6E-6I,
一部の実施形態では、第２の接触による第２の入力の検出に応答し、第２の接触による第２の入力が拡張現実環境に仮想オブジェクトを表示する要求に対応するという判定に応じて、デバイスは、第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース６０１０）の表示から１つ以上のカメラの視野６０３６を含む第３のユーザーインターフェース領域の表示へ遷移するときに、第２のユーザーインターフェース領域内の仮想オブジェクトの第２の表現を、１つ以上のカメラの視野を含む第３のユーザーインターフェース領域内の仮想オブジェクトの第３の表現に変形するアニメーション（例えば、移動、１つ以上の軸を中心にした回転、及び／又はスケーリング）の表示を含んで仮想オブジェクトを連続的に表示する（９４２）。例えば、図６Ｑ～６Ｕにおいて、仮想椅子５０２０は、ステージングユーザーインターフェース６０１０の表示からカメラの視野６０３６の表示への遷移中に連続的に表示され、アニメーション化される（例えば、仮想椅子５０２０の位置及びサイズが変化する）。一部の実施形態では、仮想オブジェクトは、１つ以上のカメラの視野内で検出される視野平面（例えば、ユーザーインターフェースオブジェクトの三次元表現を支持することができる垂直壁又は水平床面などの物理的表面）に対して仮想オブジェクトが所定の向き、位置、及び／又は距離にあるように向きを変える。第２のユーザーインターフェースにおける仮想オブジェクトの第２の表現が第３のユーザーインターフェースにおける仮想オブジェクトの第３の表現に変形するときにアニメーションを表示することで、仮想オブジェクトを拡張現実環境に表示する要求に第２の入力が対応することを示すフィードバックをユーザーに提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, in response to detecting the second input by the second contact, and in response to determining that the second input by the second contact corresponds to a request to display the virtual object in the augmented reality environment. , when the device transitions from displaying a second user interface area (e.g., staging user interface 6010) to displaying a third user interface area including one or more camera fields of
図９Ａ～９Ｄにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法８００、９００、１６０００、１７０００、１８０００、１９０００、及び２００００）に関して本明細書に記載される他のプロセスの詳細は、図９Ａ～９Ｄに関して上記した方法９００にも、同様に適用可能であることに留意されたい。例えば、方法９００を参照して上記した接触、入力、仮想オブジェクト、ユーザーインターフェース領域、強度閾値、視野、触知出力、移動、及び／又はアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法８００、９００、１６０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書に記載した接触、入力、仮想オブジェクト、ユーザーインターフェース領域、強度閾値、視野、触知出力、移動、及び／又はアニメーションの特徴のうちの１つ以上を有する。簡潔にするために、これらの詳細はここでは繰り返さない。
It is understood that the particular order described for the operations in FIGS. 9A-9D is merely an example and that the described order is not intended to indicate that the operations are the only order in which the operations may be performed. I want to be Those skilled in the art will recognize various ways to reorder the operations described herein. In addition, other process details described herein with respect to other methods described herein (e.g.,
図１０Ａ～１０Ｄは、一部の実施形態による、アイテムが仮想三次元オブジェクトに対応することを示すために視覚的な指示と共にアイテムを表示する方法１０００を示すフロー図である。方法１０００は、ディスプレイ及びタッチ感知面（例えば、ディスプレイとタッチ感知面の両方としての役割を果たすタッチスクリーンディスプレイ）を有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル多機能デバイス１００）で実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるか又はこれに組み込まれている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法１０００の一部の動作は任意選択で組み合わされ、及び／又は一部の動作の順序は任意選択で変更される。
10A-10D are flow diagrams illustrating a
以下に説明するように、方法１０００は、第１及び第２のユーザーインターフェースにアイテムを表示することに関する。各アイテムは、アイテムがそれぞれの仮想三次元オブジェクトに対応するか否かによって、アイテムが仮想三次元オブジェクトに対応することを示す視覚的な指示と共に、又は視覚的な指示なしで表示される。アイテムが仮想三次元オブジェクトであるか否かユーザーに指示を与えることで、（例えば、アイテムが仮想三次元オブジェクトであるか否かによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが第１のアイテムに対して動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
As described below,
デバイスは、第１のアイテム（例えば、アイコン、サムネイル画像、画像、絵文字、添付物、ステッカー、アプリアイコン、アバター等）を含む第１のユーザーインターフェースを表示する要求を受信する（１００２）。例えば、一部の実施形態では、要求は、第１のアイテムの表現を第１のアイテムに関連付けられた所定の環境に表示するユーザーインターフェース（例えば、図７Ｂに示すような、インターネットブラウザユーザーインターフェース５０６０）を開く（例えば、図７に関して説明したような）入力である。所定の環境は、任意選択で、アプリケーション（例えば、電子メールアプリケーション、メッセージングアプリケーション、ブラウザアプリケーション、ワード処理アプリケーション、電子リーダアプリケーション等）のユーザーインターフェース、又はシステムユーザーインターフェース（例えば、ロック画面、通知インターフェース、サジェスチョンインターフェース、コントロールパネルユーザーインターフェース、ホーム画面ユーザーインターフェース等）である。
A device receives a request to display a first user interface that includes a first item (eg, an icon, thumbnail image, image, emoji, attachment, sticker, app icon, avatar, etc.) (1002). For example, in some embodiments, the request includes a user interface (e.g., Internet
第１のユーザーインターフェースを表示する要求に応答して、デバイスは、第１のユーザーインターフェース（例えば、図７Ｂで示すように、インターネットブラウザユーザーインターフェース５０６０）を第１のアイテムの表現と共に表示する（１００４）。第１のアイテムがそれぞれの仮想三次元オブジェクトに対応するとの判定に応じて、デバイスは、第１のアイテムがそれぞれの第１の仮想三次元オブジェクトに対応することを示すために、第１のアイテムの表現を視覚的な指示と共に表示する（例えば、第１のアイテム、輪郭、及び／又はテキストの表現に対応する位置で表示されるアイコン及び／又は背景パネルなどの画像）。第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定に応じて、デバイスは、第１のアイテムの表現を視覚的な指示なしで表示する。例えば、インターネットブラウザユーザーインターフェース５０６０では、図７Ｂに示すように、（仮想三次元ランプオブジェクト５０８４の表現を含む）ウェブオブジェクト５０６８は、仮想ランプ８０８４が仮想三次元オブジェクトであることを示すために視覚的な指示（仮想オブジェクトインジケータ５０８０）と共に表示され、ウェブオブジェクト５０７４は、ウェブオブジェクト５０７４が仮想三次元オブジェクトに対応するアイテムを含んでいないので、視覚的なオブジェクインジケータなしで表示される。
In response to the request to display the first user interface, the device displays (1004) a first user interface (e.g., Internet
第１のアイテムの表現を表示した後に、デバイスは、第２のアイテム（例えば、アイコン、サムネイル画像、画像、絵文字、添付物、ステッカー、アプリアイコン、アバター等）を含む第２のユーザーインターフェース（例えば、図７Ｍに示すような、メッセージングユーザーインターフェース５００８）を表示するために要求（例えば、図７Ｈ～７Ｌに関して説明したような入力）を受信する（１００６）。第２のアイテムは第１のアイテムとは異なり、第２のユーザーインターフェースは第１のユーザーインターフェースとは異なる。例えば、一部の実施形態では、要求は、第２のアイテムに関連付けられた所定の環境に第２のアイテムの表現を表示するユーザーインターフェースを開く別の入力である。所定の環境は、任意選択で、第１のアイテムを示すのに使用されるアプリケーション以外のアプリケーション（例えば、電子メールアプリケーション、メッセージングアプリケーション、ブラウザアプリケーション、ワード処理アプリケーション、電子リーダアプリケーション等）のユーザーインターフェースであり、又は第１のアイテムを示すのに使用されるシステムユーザーインターフェース以外のシステムユーザーインターフェース（例えば、ロック画面、通知インターフェース、サジェスチョンインターフェース、コントロールパネルユーザーインターフェース、ホーム画面ユーザーインターフェース等）にある。
After displaying the representation of the first item, the device displays a second user interface (e.g., , a request (eg, input as described with respect to FIGS. 7H-7L) is received (1006) to display a
第２のユーザーインターフェースを表示する要求に応答して、デバイスは、第２のユーザーインターフェース（例えば、図７Ｍで示すように、メッセージングユーザーインターフェース５００８）を第２のアイテムの表現と共に表示する（１００８）。第２のアイテムがそれぞれの仮想三次元オブジェクトに対応するとの判定に応じて、デバイスは、第２のアイテムがそれぞれの第２の仮想三次元オブジェクトに対応することを示すために、第２のアイテムの表現を視覚的な指示（例えば、第１のアイテムが仮想三次元オブジェクトに対応することを示す同一の視覚的な指示）と共に表示する。第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定に応じて、デバイスは、第２のアイテムの表現を視覚的な指示なしで表示する。例えば、メッセージングユーザーインターフェース５００８において、図７Ｍに示すように、仮想三次元椅子オブジェクト５０２０は、仮想椅子５０２０が仮想三次元オブジェクトであることを示す視覚的な指示（仮想オブジェクトインジケータ５０２２）と共に表示され、絵文字７０２０は、仮想三次元オブジェクトに対応するアイテムを絵文字７０２０が含んでいないので、視覚的なオブジェクトインジケータなしで表示される。
In response to the request to display the second user interface, the device displays (1008) a second user interface (e.g.,
一部の実施形態では、第１のアイテムがそれぞれの第１の仮想三次元オブジェクトに対応することを示すために、第１のアイテム（例えば、仮想ランプ５０８４）の表現を視覚的な指示（例えば、仮想オブジェクトインジケータ５０８０）と共に表示することは、（例えば、方向センサ（例えば、デバイス１００の１つ以上の加速度計１６８）により検出されるような）第１のデバイス向きから第２のデバイス向きへの変化という結果になるデバイスの移動の検出に応答して、第１のデバイス向きから第２のデバイス向きへの変化に対応する第１のアイテムの移動（例えば、第１のユーザーインターフェースに対する第１のアイテムの傾斜及び／又は第１のアイテムの移動）を表示することを含む（１０１０）。例えば、第１のデバイス向きは、図７Ｆ１に示すようなデバイス１００の向きであり、第２のデバイス向きは、図７Ｇ１に示すようなデバイス１００の向きである。図７Ｆ１～図７Ｇ１に示す移動に応答して、第１のアイテム（例えば、仮想ランプ５０８４）は、（例えば、図７Ｆ２～図７Ｇ２に示すように）傾斜する。一部の実施形態では、第２のオブジェクトが仮想三次元オブジェクトに対応する場合、第２のオブジェクトは、（例えば、第２のオブジェクトも仮想三次元オブジェクトに対応することを示すために）上記のようにデバイスの移動の検出にも応答する。
In some embodiments, a representation of the first item (e.g., virtual lamp 5084) is provided with a visual indication (e.g., , virtual object indicator 5080) from a first device orientation (e.g., as detected by an orientation sensor (e.g., one or
第１のデバイス向きから第２のデバイス向きへの変化に対応する第１のアイテムの移動を表示することによって、仮想三次元オブジェクトの挙動を示すユーザーへの視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、ユーザーが、更なる入力を行う必要がない向きから仮想三次元オブジェクトを見ることを可能にすることによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 Visual feedback to a user indicating the behavior of the virtual three-dimensional object is provided by displaying a movement of the first item corresponding to a change from a first device orientation to a second device orientation. Improved device usability by providing improved visual feedback to the user (e.g., by allowing the user to view virtual three-dimensional objects from an orientation without the need for further input) It also reduces device power usage and improves battery life by allowing users to use their devices more quickly and efficiently.
一部の実施形態では、第１のアイテムがそれぞれの第１の仮想三次元オブジェクトに対応することを示すための視覚的な指示と共に第１のアイテムの表現を表示することは、第１のアイテムの表現が第１のユーザーインターフェースに表示されている間に第１のユーザーインターフェースをスクロールする第１の接触による第１の入力（例えば、第１の方向の第１のユーザーインターフェース上のスワイプ入力、又はスクロールバー端部上のスクロールボタンに対するタッチ保持入力）の検出に応答して、デバイスは、第１のユーザーインターフェースのスクロールに応じてディスプレイ上で第１のアイテムの表現を並進し（例えば、第１のユーザーインターフェースになされるスクロール量に基づく距離だけ、及びスクロールの反対方向に、第１のアイテムのアンカー位置を移動させる（例えば、第１のユーザーインターフェースがタッチ感知面をわたって移動する接触によって上方にドラッグされるときに、第１のアイテムの表現は、第１のユーザーインターフェースと共にディスプレイ上で上方に移動する））、このデバイスは、第１のユーザーインターフェースがスクロールされる方向に応じて第１のユーザーインターフェース（又はディスプレイ）によって定められるプレーンに対して第１のアイテムの表現を回転することを含む（１０１２）。例えば、図７Ｃ～７Ｄに示すように、仮想ランプ５０８４の表現がインターネットブラウザユーザーインターフェース５０６０に表示されている間にインターネットブラウザユーザーインターフェース５０６０をスクロールする接触７００２による入力の検出に応答して、仮想ランプ５０８４はインターネットブラウザユーザーインターフェース５０６０のスクロールにしたがって並進させられ、仮想ランプ５０８４は接触７００２の移動経路の方向にしたがってディスプレイ１１２に対して回転する。一部の実施形態では、第１のユーザーインターフェースが上方にドラッグされているとの判定に応じて、第１のアイテムの表現が第１のユーザーインターフェースと共に上方に移動し、第１のユーザーインターフェース上に示すような第１のアイテムのビューイング視点が、ユーザーが異なる視野角（例えば、低い角度）から第１のアイテムを見ているかのように変化する。一部の実施形態では、第２のユーザーインターフェースが上方にドラッグされているとの判定に応じて、第２のアイテムの表現は第２のユーザーインターフェースと共に上方に移動し、第２のユーザーインターフェース上に示すような第２のアイテムのビューイング視点が、ユーザーが異なる視野角（例えば、低い角度）から第２のアイテムを見ているかのように変化する。
In some embodiments, displaying the representation of the first item with a visual indication to indicate that the first item corresponds to a respective first virtual three-dimensional object comprises: a first input by a first touch that scrolls the first user interface while a representation of is displayed on the first user interface (e.g., a swipe input on the first user interface in a first direction; or a touch-and-hold input to a scroll button on a scroll bar end), the device translates a representation of the first item on the display in response to scrolling the first user interface (e.g., moving the anchor position of the first item by a distance based on the amount of scrolling made to the first user interface and in the opposite direction of the scrolling (e.g., by a touch that the first user interface moves across a touch-sensitive surface). When dragged upwards, the representation of the first item moves upwards on the display together with the first user interface), the device (1012), including rotating a representation of the first item relative to a plane defined by a user interface (or display) of the first item. For example, as shown in FIGS. 7C-7D, in response to detecting an input by a
移動が第１のデバイス向きから第２のデバイス向きへの変化に対応する場合、アイテムの移動を表示することによって、デバイス向きの変化を示すユーザーへの視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、ユーザーが、更なる入力を行う必要がない向きから仮想三次元オブジェクトを見ることを可能にすることによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 If the movement corresponds to a change from the first device orientation to the second device orientation, displaying the movement of the item provides visual feedback to the user indicating the change in device orientation. Improved device usability by providing improved visual feedback to the user (e.g., by allowing the user to view virtual three-dimensional objects from an orientation without the need for further input) It also reduces device power usage and improves battery life by allowing users to use their devices more quickly and efficiently.
一部の実施形態では、第１のユーザーインターフェース（例えば、図７Ｂに示すようなインターネットブラウザユーザーインターフェース５０６０）に第１のアイテム（例えば、ランプオブジェクト５０８４）の表現を視覚的な指示（例えば、視覚的なオブジェクトインジケータ５０８０）と共に表示しつつ、デバイスは、第３のアイテムの表現を表示する（１０１４）ものであり、第３のアイテムが仮想三次元オブジェクトに対応していない（例えば、第３のアイテムは、拡張現実環境内でレンダリングできる任意の三次元オブジェクトに対応していない）ことを示すために、第３のアイテムの表現は、視覚的な指示なしで表示される。例えば、インターネットブラウザユーザーインターフェース５０６０において、図７Ｂで示すように、ウェブオブジェクト５０７４、５０７０、及び５０７６は、ウェブオブジェクト５０７４、５０７０、及び５０７６が仮想三次元オブジェクトに対応していないため、視覚的なオブジェクトインジケータなしで表示される。
In some embodiments, a representation of the first item (e.g., lamp object 5084) is provided to the first user interface (e.g., Internet
第１のユーザーインターフェースに、第１のアイテムが仮想三次元オブジェクトであることを示すための視覚的な指示と共に第１のアイテムを表示すると共に、視覚的な指示なしで表示される第３のアイテムを表示することで、（例えば、ユーザーが対話しているアイテムが仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが第１のユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 displaying the first item in the first user interface with a visual indication to indicate that the first item is a virtual three-dimensional object; and a third item being displayed without the visual indication. (e.g., by assisting the user in providing appropriate input depending on whether the item with which the user is interacting is a virtual three-dimensional object or not) increase the efficiency with which the device can be used to perform operations, thereby improving the usability of the device, and further reducing the power usage of the device by allowing the user to use the device more quickly and efficiently; Improve battery life.
一部の実施形態では、第２のユーザーインターフェース（例えば、図７Ｍに示すようなメッセージングユーザーインターフェース５００８）に、第２のアイテム（例えば、仮想椅子５０２０）の表現を視覚的な指示（例えば、仮想オブジェクトインジケータ５０２２）と共に表示しつつ、デバイスは、第４のアイテム（例えば、絵文字７０２０）の表現を表示し（１０１６）、第４のアイテムがそれぞれの仮想三次元オブジェクトに対応していないことを示すために、第４のアイテムの表現は視覚的な指示なしで表示される。
In some embodiments, a second user interface (e.g.,
第２のユーザーインターフェースに、第２のアイテムが仮想三次元オブジェクトであることを示すための視覚的な指示と共に第２のアイテムを表示すると共に、視覚的な指示なしで表示される第４のアイテムを表示することで、（例えば、ユーザーが対話しているアイテムが仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが第２のユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 displaying the second item in the second user interface with a visual indication to indicate that the second item is a virtual three-dimensional object; and a fourth item being displayed without the visual indication. (e.g., by assisting the user in providing appropriate input depending on whether the item the user is interacting with is a virtual three-dimensional object or not). increase the efficiency with which the device can be used to perform operations, thereby improving the usability of the device, and further reducing the power usage of the device by allowing the user to use the device more quickly and efficiently; Improve battery life.
一部の実施形態において（１０１８）、第１のユーザーインターフェース（例えば、図７Ｂに示すようなインターネットブラウザユーザーインターフェース５０６０）は、第１のアプリケーション（例えば、インターネットブラウザアプリケーション）に対応し、第２のユーザーインターフェース（例えば、図７Ｍに示すようなメッセージングユーザーインターフェース５００８）は、第１のアプリケーションとは別個の第２のアプリケーション（例えば、メッセージングアプリケーション）に対応し、視覚的な指示（例えば、仮想オブジェクトインジケータ５０８０）と共に表示される第１のアイテム（例えば、ランプオブジェクト５０８４）の表現、及び視覚的な指示（例えば、仮想オブジェクトインジケータ５０２２）と共に表示される第２のアイテム（例えば、仮想椅子５０２２）の表現は、所定の１組の視覚特性及び／又は挙動特性を共有する（例えば、同じインジケータアイコンを使用し、同じテクスチャ若しくはレンダリングのスタイル、及び／又は所定のタイプの入力によって引き起こされるときの挙動を有する）。例えば、仮想オブジェクトインジケータ５０８０及び仮想オブジェクトインジケータ５０２２のためのアイコンは、同一のシンボルを含む。
In some embodiments (1018), a first user interface (e.g., Internet
第１のアイテム及び第２のアイテムの視覚的な指示が所定の１組の視覚特性及び／又は挙動特性を共有するように、第１のアプリケーションの第１のユーザーインターフェースに第１のアイテムを視覚的な指示と共に表示すると共に、第２のアプリケーションの第２のユーザーインターフェースに第２のアイテムを視覚的な指示と共に表示することによって、（例えば、ユーザーが対話しているアイテムが仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが第２のユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 visualizing the first item in the first user interface of the first application such that the visual indications of the first item and the second item share a predetermined set of visual and/or behavioral characteristics; displaying the second item with visual instructions and displaying the second item with visual instructions on a second user interface of the second application (e.g., if the item with which the user is interacting is a virtual three-dimensional object); increasing the efficiency with which the user can perform operations with the second user interface (by assisting the user in providing appropriate input depending on the presence or absence), thereby improving the usability of the device; Reduce device power usage and improve battery life by allowing users to use their devices faster and more efficiently.
一部の実施形態では、第１のユーザーインターフェースは、インターネットブラウザアプリケーションのユーザーインターフェース（例えば、図７Ｂに示すような、インターネットブラウザユーザーインターフェース５０６０）であり（１０２０）、第１のアイテムは、ウェブページの要素である（例えば、第１のアイテムは、埋込画像、ハイパーリンク、アプレット、絵文字、埋め込まれたメディアオブジェクト等としてウェブページ内で表される）。例えば、第１のアイテムは、ウェブオブジェクト５０６８の仮想ランプオブジェクト５０８４である。
In some embodiments, the first user interface is an Internet browser application user interface (e.g., Internet
ウェブページ要素が仮想三次元オブジェクトであることを示す視覚的な指示と共にウェブページ要素を表示することによって、（例えば、ユーザーが対話しているウェブページ要素が仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーがインターネットブラウザアプリケーションを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying a web page element with a visual indication that the web page element is a virtual three-dimensional object (e.g., depending on whether the web page element with which a user is interacting is a virtual three-dimensional object or not) Increase the efficiency with which users can perform actions with Internet browser applications (by assisting users in providing appropriate input), thereby improving the usability of the device, and also allowing users to use the device more quickly and Reduce your device's power usage and improve battery life by allowing it to be used more efficiently.
一部の実施形態では、第１のユーザーインターフェースは、電子メールアプリケーションユーザーインターフェース（例えば、図７Ｐに示すような電子メールユーザーインターフェース７０５２）であり（１０２２）、第１のアイテムは、電子メールに対する添付物（例えば、添付物７０６０）である。
In some embodiments, the first user interface is an email application user interface (e.g.,
電子メール添付物が仮想三次元オブジェクトであることを示す視覚的な指示と共に電子メール添付物を表示することによって、（例えば、ユーザーが対話している電子メール添付物が仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが電子メールアプリケーションユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying an email attachment with a visual indication that the email attachment is a virtual three-dimensional object (e.g., indicating that the email attachment with which a user is interacting is a virtual three-dimensional object) Increases the efficiency with which users can perform actions with email application user interfaces (by assisting users in providing appropriate input depending on whether the user Reduce device power usage and improve battery life by allowing devices to be used more quickly and efficiently.
一部の実施形態では、第１のユーザーインターフェースは、メッセージングアプリケーションユーザーインターフェース（例えば、図７Ｍに示すようなメッセージングユーザーインターフェース５００８）であり（１０２４）、第１のアイテムは、メッセージ中の添付物又は要素（例えば、仮想椅子５０２０）である（例えば、第１のアイテムは、画像、ハイパーリンク、ミニプログラム、絵文字、メディアオブジェクト等である）。
In some embodiments, the first user interface is a messaging application user interface (e.g.,
メッセージの添付物又は要素が仮想三次元オブジェクトであることを示す視覚的な指示と共にメッセージの添付物又は要素を表示することによって、（例えば、ユーザーが対話しているメッセージの添付物又は要素が仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーがメッセージングユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying a message attachment or element with a visual indication that the message attachment or element is a virtual three-dimensional object (e.g., the message attachment or element with which the user is interacting is improve the efficiency with which users can perform actions with messaging user interfaces (by assisting users in providing appropriate input depending on whether the object is a three-dimensional object or not), thereby improving the usability of the device; Additionally, it reduces device power usage and improves battery life by allowing users to use their devices more quickly and efficiently.
一部の実施形態では、第１のユーザーインターフェースは、ファイル管理アプリケーションユーザーインターフェース（例えば、図７Ｏに示すようなファイル管理ユーザーインターフェース７０３６）であり（１０２６）、第１のアイテムは、ファイルプレビューオブジェクト（例えば、ファイル情報領域７０４６中のファイルプレビューオブジェクト７０４５）である。
In some embodiments, the first user interface is a file management application user interface (e.g., file
ファイルプレビューオブジェクトが仮想三次元オブジェクトであることを示す視覚的な指示と共にファイルプレビューオブジェクトを表示することによって、（例えば、ユーザーが対話しているファイルプレビューオブジェクトが仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーがファイル管理アプリケーションユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying a file preview object with a visual indication that the file preview object is a virtual three-dimensional object (e.g., depending on whether the file preview object with which the user is interacting is a virtual three-dimensional object or not) Increase the efficiency with which users can perform operations with file management application user interfaces (by assisting users in providing appropriate inputs), thereby improving the usability of the device, and further enabling users to Reduce device power usage and improve battery life by allowing quick and efficient use.
一部の実施形態では、第１のユーザーインターフェースは、地図アプリケーションユーザーインターフェース（例えば、地図アプリケーションユーザーインターフェース７０２４）であり（１０２８）、第１のアイテムは、地図内の対象地点の表現（例えば、対象地点オブジェクト７０２８）である（例えば、地図上の位置に対応する特徴の三次元表現（例えば、地図上の位置に対応する地形及び／又は構造物の三次元表現が挙げられる）、又は作動時に地図の三次元表現を表示させる制御）。 In some embodiments, the first user interface is a map application user interface (e.g., map application user interface 7024) (1028), and the first item is a representation of a point of interest in the map (e.g., a point object 7028) (e.g., a three-dimensional representation of a feature that corresponds to a location on a map (e.g., a three-dimensional representation of terrain and/or structures that correspond to a location on a map), or that when activated control to display a three-dimensional representation of).
地図内の対象地点の表現が仮想三次元オブジェクトであることを示す視覚的な指示と共に対象地点の表現を表示することによって、（例えば、ユーザーが対話している対象地点の表現が仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが地図アプリケーションユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying the representation of the point of interest in the map with a visual indication that the representation of the point of interest is a virtual three-dimensional object (e.g., if the representation of the point of interest with which the user is interacting is a virtual three-dimensional object) increasing the efficiency with which a user can perform actions with a map application user interface (by assisting the user in providing appropriate input depending on whether the map is a map application user interface), thereby improving the usability of the device; Reduce device power usage and improve battery life by allowing users to use their devices faster and more efficiently.
一部の実施形態では、第１のアイテムがそれぞれの仮想三次元オブジェクトに対応するという視覚的な指示は、それぞれの三次元オブジェクトの表現に向けられる入力を必要とせずに発生する第１のアイテムのアニメーション（例えば、経時的に第１のアイテムに適用される連続的な移動又は視覚的効果の変化（例えば、スパークリング、きらめき等））を含む（１０３０）。 In some embodiments, the visual indication that the first item corresponds to the respective virtual three-dimensional object occurs without requiring input directed to the representation of the respective three-dimensional object. (e.g., continuous movement or changes in visual effects (e.g., sparkling, shimmering, etc.) applied to the first item over time) (1030).
それぞれの三次元オブジェクトの表現に向けられる入力なしで発生する第１のアイテムのアニメーションを表示することにより、（例えば、ユーザーが第１のアイテムの三次元態様を見るために必要な入力数を減少させることによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying the animation of the first item that occurs without input directed to the representation of the respective three-dimensional object (e.g., reducing the number of inputs required for the user to see the three-dimensional aspect of the first item) It also reduces device power usage and improves battery life by allowing users to use the device more quickly and efficiently.
一部の実施形態では、デバイスは、第２のアイテムがそれぞれの仮想三次元オブジェクトに対応することを示すための視覚的な指示（例えば、仮想オブジェクトインジケータ５０２２）と共に第２のアイテム（例えば、仮想椅子５０２０）の表現を表示しつつ、第２のアイテムの表現に対応するタッチ感知面上の場所での第２の接触による第２の入力（例えば、図５Ｃ～５Ｆに関して説明したような入力）を検出し（１０３２）、第２の接触による第２の入力の検出に応答して、及び第２の接触による第２の入力が第１の（例えば、ＡＲトリガ）基準を満たすとの判定に応じて、デバイスは、第２のユーザーインターフェース（例えば、メッセージングユーザーインターフェース５００８）のうちの少なくとも一部の表示を（例えば、図５Ｆ～５Ｉに関して説明した）１つ以上のカメラの視野５０３６の表現で置き換えることを含めて、ディスプレイ上に第３のユーザーインターフェース領域を表示し、第２のユーザーインターフェースの表示から第３のユーザーインターフェース領域の表示に切り替えつつ第２の仮想三次元オブジェクトを連続的に表示する。（例えば、方法８００を参照して本明細書により詳細に説明されるように）。一部の実施形態では、デバイスは、（例えば、動作８３４を参照して本明細書により詳細に説明するように）第２のユーザーインターフェースの一部を１つ以上のカメラの視野の表現と共に表示することから切り替えつつ、仮想オブジェクトの表現が連続的に表示されるようにアニメーションを表示する。 In some embodiments, the device displays the second item (e.g., virtual a second input (e.g., an input as described with respect to FIGS. 5C-5F) by a second contact at a location on the touch-sensitive surface that corresponds to a representation of a second item while displaying a representation of a chair 5020); (1032), in response to detecting the second input due to the second touch, and determining that the second input due to the second touch satisfies the first (e.g., AR trigger) criteria. In response, the device displays at least a portion of the second user interface (e.g., messaging user interface 5008) with a representation of one or more camera fields of view 5036 (e.g., as described with respect to FIGS. 5F-5I). displaying a third user interface area on the display, including replacing the display, and continuously displaying the second virtual three-dimensional object while switching from displaying the second user interface to displaying the third user interface area; do. (eg, as described in more detail herein with reference to method 800). In some embodiments, the device displays a portion of the second user interface with a representation of the field of view of the one or more cameras (e.g., as described in more detail herein with reference to act 834). The animation is displayed so that the representation of the virtual object is displayed continuously while switching from one to the next.
第３のユーザーインターフェース領域を表示するか否かを判定する第１の基準を用いることで、第２の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 Using the first criteria to determine whether to display the third user interface area allows multiple different types of actions to be performed in response to the second input. By allowing users to perform multiple different types of actions in response to input, they increase the efficiency with which users can perform these actions, thereby improving the usability of the device and also allowing users to use the device more quickly. Reduce device power usage and improve battery life by enabling efficient use.
一部の実施形態では、（例えば、方法９００を参照して本明細書により詳細に記載するように）第２のアイテムがそれぞれの仮想三次元オブジェクトに対応することを示すために第２のアイテム（例えば、仮想椅子５０２０）を視覚的な指示（例えば、仮想オブジェクトインジケータ５０２２）と共に表示しつつ、デバイスは、第２のアイテムの表現に対応するタッチ感知面上の場所で第３の接触による第３の入力（例えば、図６Ｅ～６Ｉに関して説明したような入力）を検出し（１０３４）、第３の接触による第３の入力の検出に応答し、第３の接触による第３の入力が第１の（例えば、ステージングトリガ）基準を満たすとの判定に応じて、デバイスは、第２のユーザーインターフェースとは異なる第４のユーザーインターフェース（例えば、方法９００を参照してより詳細に説明したようなステージングユーザーインターフェース６０１０）に第２の仮想三次元オブジェクトを表示する。一部の実施形態では、第２の仮想三次元オブジェクトを第４のユーザーインターフェース（例えば、図６Ｉに示すように、ステージングユーザーインターフェース６０１０）に表示しつつ、デバイスは、第４の入力を検出し、この第４の入力の検出に応答して、第４の入力が第４のユーザーインターフェースにおける第２の仮想三次元オブジェクトを操作する要求に対応しているとの判定に応じて、デバイスは、（例えば、図６Ｊ～６Ｍに関して説明したような及び／又は図６Ｎ～６Ｐに関して説明したような）第４の入力に基づいて、第４のユーザーインターフェースにおける第２の仮想三次元オブジェクトの表示特性を変化させ、第４の入力が拡張現実環境内に第２の仮想オブジェクトを表示させる要求（例えば、第２のユーザーインターフェース領域内の仮想オブジェクトの表現に対応するタッチ感知面上の場所における又はその場所からのタップ入力、押圧入力、又はタッチ保持若しくは押圧入力とそれに続くドラッグ入力）に対応するとの判定に応じて、このデバイスは、（例えば、図６Ｑ～６Ｕに関して説明したように）１つ以上のカメラの視野の表現と共に第２の仮想三次元オブジェクトを表示する。
In some embodiments, the second item is used to indicate that the second item corresponds to a respective virtual three-dimensional object (e.g., as described in more detail herein with reference to method 900). While displaying a virtual chair (e.g., virtual chair 5020) with a visual indication (e.g., virtual object indicator 5022), the device causes a third contact to occur at a location on the touch-sensitive surface that corresponds to the representation of the second item. detecting (1034) a third input (e.g., an input as described with respect to FIGS. 6E-6I); and in response to detecting the third input by the third touch, the third input by the third touch 1 (e.g., a staging trigger), the device may display a fourth user interface that is different from the second user interface (e.g., as described in more detail with reference to method 900). A second virtual three-dimensional object is displayed on a staging user interface (6010). In some embodiments, while displaying the second virtual three-dimensional object on a fourth user interface (e.g., staging
第２の三次元オブジェクトを第４のユーザーインターフェース（例えば、ステージングユーザーインターフェース６０１０）に表示しつつ、第４の入力に応答して、デバイスは、第４の入力に基づいて第２の三次元オブジェクトの表示特性を変化させる、又はデバイスの１つ以上のカメラの視野の表現と共に第２の三次元オブジェクトを表示する。（例えば、第２の三次元オブジェクトの表示特性を変化させることによって、又はデバイスの１つ以上のカメラの視野の表現と共に第２の三次元オブジェクトを表示することによって）入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 While displaying the second three-dimensional object on a fourth user interface (e.g., staging user interface 6010), in response to the fourth input, the device displays the second three-dimensional object based on the fourth input. or displaying a second three-dimensional object along with a representation of the field of view of one or more cameras of the device. (e.g., by changing the display characteristics of the second three-dimensional object or by displaying the second three-dimensional object in conjunction with a representation of the field of view of one or more cameras of the device) Enabling the performance of different types of operations increases the efficiency with which the user can perform these operations, thereby improving the usability of the device and further enabling the user to use the device more quickly and efficiently Reduce device power usage and improve battery life by enabling
図１０Ａ～１０Ｄにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法８００、９００、１６０００、１７０００、１８０００、１９０００、及び２００００）に関して本明細書に記載される他のプロセスの詳細は、図１０Ａ～１０Ｄに関して上記した方法１０００にも、同様に適用可能であることに留意されたい。例えば、方法１０００を参照して上記した接触、入力、仮想オブジェクト、ユーザーインターフェース、ユーザーインターフェース領域、視野、移動、及び／又はアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法８００、９００、１６０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書に記載した接触、入力、仮想オブジェクト、ユーザーインターフェース、ユーザーインターフェース領域、視野、移動、及び／又はアニメーションの特徴のうちの１つ以上を有する。簡潔にするために、これらの詳細はここでは繰り返さない。
It is understood that the particular order described for the operations in FIGS. 10A-10D is merely an example and that the described order is not intended to indicate that the operations are the only order in which the operations may be performed. I want to be Those skilled in the art will recognize various ways to reorder the operations described herein. In addition, details of other processes described herein with respect to other methods described herein (e.g.,
図１１Ａ～１１Ｖは、オブジェクト配置基準が満たされるか否かに応じて異なる視覚特性を有する仮想オブジェクトを表示するユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ～８Ｅ、図９Ａ～９Ｄ、図１０Ａ～１０Ｄ、図１６Ａ～１６Ｇ、図１７Ａ～１７Ｄ、図１８Ａ～１８Ｉ、図１９Ａ～１９Ｈ、及び図２０Ａ～２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
11A-11V illustrate examples of user interfaces that display virtual objects with different visual characteristics depending on whether object placement criteria are met. The user interfaces in these figures are similar to the processes in FIGS. is used to illustrate the process described below, including: For convenience of explanation, some of the embodiments are discussed with reference to operations performed on a device having a touch-
図１１Ａ～１１Ｅは、ステージングビューに仮想オブジェクトを表示する入力を示す。例えば、三次元オブジェクトの二次元二次元（例えば、サムネイル）表現がユーザーインターフェース（例えば、電子メールユーザーインターフェース７０５２、ファイル管理ユーザーインターフェース７０３６、地図ユーザーインターフェース７０２２、メッセージングユーザーインターフェース５００８、インターネットブラウザユーザーインターフェース５０６０、又はサードパーティアプリケーションユーザーインターフェース）に表示されている間に、入力が検出される。
11A-11E illustrate inputs for displaying virtual objects in staging views. For example, a two-dimensional two-dimensional (e.g., thumbnail) representation of a three-dimensional object may be used in a user interface (e.g.,
図１１Ａにおいて、インターネットブラウザユーザーインターフェース５０６０は、三次元仮想オブジェクト１１００２（椅子）の二次元表現を含む。接触１１００４による入力（例えば、タップ入力）は、仮想オブジェクト１１００２に対応する位置で検出される。タップ入力に応答して、インターネットブラウザユーザーインターフェース５０６０の表示は、ステージングユーザーインターフェース６０１０の表示によって置き換えられる。
In FIG. 11A, Internet
図１１Ｂ～１１Ｅは、インターネットブラウザユーザーインターフェース５０６０がステージングユーザーインターフェース６０１０の表示によって置き換えられるときに生じる遷移を示す。一部の実施形態では、仮想オブジェクト１０００２は、遷移中に、徐々にビューにフェードインし、及び／又はステージングユーザーインターフェース６０１０の制御（例えば、バック制御６０１６、トグル制御６０１８、及び／又は共有制御６０２０）は、徐々にビューにフェードインする。例えば、（例えば、仮想オブジェクト１１００２の三次元表現がディスプレイ上にレンダリングされるのに必要な期間中、制御の表示を遅延させるために）仮想オブジェクト１１００２がビューにフェードインした後に、ステージングユーザーインターフェース６０１０の制御がビューにフェードインする。一部の実施形態では、仮想オブジェクト１１００２の「フェードイン」は、仮想オブジェクト１１００２の低解像度、二次元、及び／又はホログラフィックバージョンを表示することとそれに続く仮想オブジェクト１１００２の最終的な三次元表現を表示することを含む。図１１Ｂ～１１Ｄは、仮想オブジェクト１１００２の徐々のフェードインを示す。図１１Ｄには、仮想オブジェクト１１００２の影１１００６が表示されている。図１１Ｄ～１１Ｅは、制御６０１６、６０１８、及び６０２０の徐々のフェードインを示す。
11B-11E illustrate the transition that occurs when Internet
図１１Ｆ～１１Ｇは、仮想オブジェクト１１００２の三次元表現をデバイス１００の１つ以上のカメラの視野６０３６を含むユーザーインターフェースに表示させる入力を示す。図１１Ｆにおいて、接触１１００８による入力は、トグル制御６０１８に対応する位置で検出される。この入力に応答して、図１１Ｇに示すように、ステージングユーザーインターフェース６０１０の表示が、カメラの視野６０３６を含むユーザーインターフェースの表示に置き換えられる。
11F-11G illustrate input that causes a three-dimensional representation of
図１１Ｇ～１１Ｈに示すように、カメラの視野６０３６が最初に表示されるときに（例えば、仮想オブジェクトに対応するプレーンが、カメラの視野６０３６内で検出されていないときに）、仮想オブジェクトの半透明表現が表示されてもよい。
As shown in FIGS. 11G-11H, when camera field of
図１１Ｇ～１１Ｈは、カメラの視野６０３６を含むユーザーインターフェースに表示される仮想オブジェクト１１００２の半透明表現を示す。仮想オブジェクト１１００２の半透明表現は、ディスプレイ１１２に対して一定の位置に表示される。例えば、図１１Ｇから図１１Ｈまで、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）デバイス１００が物理的環境５００２に対して移動させられるとき、仮想オブジェクト１１００２は、ディスプレイ１１２に対して一定の位置のままである。
11G-11H illustrate a translucent representation of a
一部の実施形態では、仮想オブジェクトに対応するプレーンがカメラの視野６０３６内で検出されたとの判定に応じて、検出されたプレーン上に仮想オブジェクトが配置される。
In some embodiments, the virtual object is placed on the detected plane in response to determining that a plane corresponding to the virtual object is detected within the camera's field of
図１１Ｉにおいて、仮想オブジェクト１１００２に対応するプレーンが、カメラの視野６０３６内で検出されており、検出されたプレーン上に仮想オブジェクト１１００２が配置される。（例えば、少なくとも１つのプレーン（例えば、床面５０３８）がカメラの視野６０３６内で検出されたことを示すために）デバイスは、１１０１０で示すように、触知出力を生成している。仮想オブジェクト１１００２がカメラの視野６０３６内で検出されるプレーンに対してある位置に配置されるとき、仮想オブジェクト１１００２は、１つ以上のカメラによって取り込まれた物理的環境５００２に対して一定の位置のままである。図１１Ｉから図１１Ｊまで、（例えば、カメラの視野６０３６内に表示されたテーブル５００４の変化した位置によって示されるように）デバイス１００が、物理的環境５００２に対して移動させられるとき、仮想オブジェクト１１００２は、物理的環境５００２に対して一定の位置のままである。
In FIG. 11I, a plane corresponding to
一部の実施形態では、カメラの視野６０３６が表示される間、（例えば、入力が受信されない期間が経過との判定に応じて）制御（例えば、バック制御６０１６、トグル制御６０１８、及び／又は共有制御６０２０）は、表示されるのを中止する。図１１Ｊ～１１Ｌにおいて、制御６０１６、６０１８、及び６０２０は、（例えば、図１１Ｋに示すように）徐々にフェードアウトし、（例えば、図１１Ｌに示すように）カメラの視野６０３６が表示されるディスプレイ１１２の部分を増大させる。
In some embodiments, while camera field of
図１１Ｍ～１１Ｓは、仮想オブジェクトがカメラの視野６０３６を含むユーザーインターフェース内で表示されるときに、仮想オブジェクト１１００２を操作する入力を示す。
11M-11S illustrate inputs that manipulate
図１１Ｍ～１１Ｎにおいて、仮想オブジェクト１１００２のシミュレートされた物理的サイズを変更する接触１１０１２及び１１０１４による入力（例えば、デピンチジェスチャ）が検出される。入力の検出に応答して、制御６０１６、６０１８、及び６０２０が再表示される。接触１１０１２は矢印１１０１６で示す経路に沿って移動し、接触１１０１４は矢印１１０１８で示す経路に沿って移動し、仮想オブジェクト１１００２のサイズは増大する。
In FIGS. 11M-11N, input through
図１１Ｎ～１１Ｐにおいて、仮想オブジェクト１１００２のシミュレートされた物理的サイズを変更する接触１１０１２～１１０４による入力（例えば、ピンチジェスチャ）が検出される。（図１１Ｎ～１１Ｏ及び１１Ｏ～１１Ｐに示すように）接触１１０１２は矢印１１０２０で示す経路に沿って移動し、接触１１０１４は矢印１１０２２示す経路に沿って移動し、仮想オブジェクト１１００２のサイズが減少する。図１１Ｏに示すように、仮想オブジェクト１１００２のサイズが、物理的環境５００２に対してその元のサイズ（例えば、図１１Ｉに示すように、物理的環境５００２内の検出されたプレーン上に最初に配置されたときの仮想オブジェクト１１００２のサイズ）に調整されるとき、（例えば、仮想オブジェクト１１００２がその元のサイズに戻ったことを示すフィードバックを提供するために）（１１０２４で示すような）触知出力が発生する。図１１Ｑにおいて、接触１１０１２及び１１０１４は、タッチスクリーンディスプレイ１１２からリフトオフされている。
In FIGS. 11N-11P, inputs (eg, pinch gestures) through contacts 11012-1104 that change the simulated physical size of
図１１Ｒにおいて、仮想オブジェクト１１００２を物理的環境５００２に対して元のサイズに戻すための入力（例えば、二重タップ入力）が検出される。入力は、接触１１０２６によって示すように、仮想オブジェクト１１００２に対応する位置で検出される。この入力に応答して、仮想オブジェクト１１００２は、図１１Ｒに示す縮小サイズから、図１１Ｓに示すような仮想オブジェクト１１００２の元のサイズに調整される。図１１Ｓに示すように、仮想オブジェクト１１００２のサイズが、物理的環境５００２に対してその元のサイズに調整されるとき、（例えば、仮想オブジェクト１１００２がその元のサイズに戻ったことを示すフィードバックを提供するために）（１１０２８で示すような）触知出力が発生する。
In FIG. 11R, an input (eg, a double tap input) is detected to restore
図１１Ｔにおいて、接触１１０３０による入力は、トグル制御６０１８に対応する位置で検出される。この入力に応答して、図１１Ｕに示すように、カメラの視野６０３６を含むユーザーインターフェースの表示は、ステージングユーザーインターフェース６０１０によって置き換えられる。
In FIG. 11T, input by
図１１Ｕにおいて、接触１１０３２による入力が、バック制御６０１６に対応する位置で検出される。この入力に応答して、図１１Ｖに示すように、ステージングユーザーインターフェース６０１０の表示は、インターネットブラウザユーザーインターフェース５０６０によって置き換えられる。
In FIG. 11U, input by
図１２Ａ～１２Ｌは、デバイスの１つ以上のカメラの移動に応じて動的にアニメーション化される較正ユーザーインターフェースオブジェクトを表示するユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ～８Ｅ、図９Ａ～９Ｄ、図１０Ａ～１０Ｄ、図１６Ａ～１６Ｇ、図１７Ａ～１７Ｄ、図１８Ａ～１８Ｉ、図１９Ａ～１９Ｈ、及び図２０Ａ～２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
12A-12L illustrate example user interfaces that display calibration user interface objects that are dynamically animated in response to movement of one or more cameras of a device. The user interfaces in these figures are similar to the processes in FIGS. is used to illustrate the process described below, including: For convenience of explanation, some of the embodiments are discussed with reference to operations performed on a device having a touch-
一部の実施形態によれば、１つ以上のカメラの視野を含むユーザーインターフェースに仮想オブジェクトを表示するように要求を受信しているが、デバイスの較正のために追加データが必要とされる場合、較正ユーザーインターフェースオブジェクトが表示される。 According to some embodiments, if a request is received to display a virtual object on a user interface that includes a field of view of one or more cameras, but additional data is required for device calibration. , a calibration user interface object is displayed.
図１２Ａは、１つ以上のカメラの視野６０３６を含むユーザーインターフェースに仮想オブジェクト１１００２を表示することを要求する入力を示す。接触１２００２による入力は、トグル制御６０１８に対応する位置で検出される。図１２Ｂに示すように、この入力に応答して、ステージングユーザーインターフェース６０１０の表示は、カメラの視野６０３６を含むユーザーインターフェースの表示によって置き換えられる。仮想オブジェクト１１００２の半透明表現は、カメラの視野６０３６を含むユーザーインターフェースに表示される。（例えば、仮想オブジェクト１１００２に対応するプレーンがカメラの視野６０３６内で検出されていないので）較正が必要とされるが、（例えば、以下に説明するように、プロンプト及び／又は較正オブジェクトの挙動を強調するために）カメラの視野６０３６はぼかされる。
FIG. 12A shows an input requesting to display a
図１２Ｂ～１２Ｄは、（例えば、較正が必要とされるとの判定に応じて表示される）ユーザーにデバイスの移動を促す動画像及びテキストを示す。動画像は、デバイス１００の表現１２００４と、デバイス１００の左右の移動が必要とされることを示す矢印１２００６及び１２００８と、（例えば、仮想オブジェクト１１００２に対応するプレーンを検出するためにプレーンに対してデバイス１００が移動しなければならないことを示すための）プレーンの表現１２０１０とを含む。テキストプロンプト１２０１２は、較正が必要なデバイス１００の移動に関する情報を提供する。図１２Ｂ～１２Ｃ、１２Ｃ～１２Ｄにおいて、デバイス１００の表現１２００４及び矢印１２００６は、較正が必要なデバイス１００の移動の指示を与えるために、プレーンの表現１２０１０に対して調整される。図１２Ｃから図１２Ｄまで、デバイス１００は、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）物理的環境５００２に対して移動させられる。デバイス１００の移動を検出した結果として、図１２Ｅ－１に示すように、較正ユーザーインターフェースオブジェクト１２０１４（立方体の輪郭）が表示される。
12B-12D illustrate animated images and text prompting the user to move the device (eg, displayed in response to a determination that calibration is required). The video image includes a
図１２Ｅ－１から１２Ｉ－１は、それぞれ図１２Ｅ－２から１２Ｉ－２に示すように、物理的環境５００２に対するデバイス１００の移動に対応する較正ユーザーインターフェースオブジェクト１２０１４の挙動を示す。較正ユーザーインターフェースオブジェクト１２０１４は、（例えば、較正に役立つ移動に関してユーザーにフィードバックを提供するために）デバイス１００の移動（例えば、横移動）に応じてアニメーション化される（例えば、立方体の輪郭が回転する）。図１２Ｅ－１において、較正ユーザーインターフェースオブジェクト１２０１４は、デバイス１００のカメラの視野６０３６を含むユーザーインターフェース内の第１の回転角度で示される。図１２Ｅ－２には、物理的環境５００２に対して第１の位置でユーザーの手５００６で保持されたデバイス１００が示されている。図１２Ｅ－２から図１２Ｆ－２まで、デバイス１００は物理的環境５００２に対して（右へ）横に移動している。移動の結果として、図１２Ｆ－１に示すように、デバイス１００によって表示されるようなカメラの視野６０３６は更新され、較正ユーザーインターフェースオブジェクト１２０１４は（図１２Ｅ－１におけるその位置に対して）回転している。図１２Ｆ－２から図１２Ｇ－２まで、デバイス１００は、物理的環境５００２に対してその右方に移動を継続している。移動の結果として、図１２Ｇ－１に示すように、デバイス１００によって表示されるようなカメラの視野６０３６は再び更新され、較正ユーザーインターフェースオブジェクト１２０１４は更に回転させられる。図１２Ｇ－２から図１２Ｈ－２まで、デバイス１００は、物理的環境５００２に対して上方に移動している。移動の結果として、デバイス１００によって表示されるようなカメラの視野６０３６は更新される。図１２Ｇ－１から図１２Ｈ－１に示すように、較正ユーザーインターフェースオブジェクト１２０１４は、（例えば、デバイスの垂直移動が較正に寄与しないという指示をユーザーに与えるために）図１２Ｇ－２から図１２Ｈ－２に示すデバイスの上方移動に応じて回転しない。図１２Ｈ－２から図１２Ｉ－２まで、デバイス１００は、物理的環境５００２に対して更に右方に移動している。移動の結果として、図１２Ｉ－１に示すように、デバイス１００によって表示されるようなカメラの視野６０３６は再び更新され、較正ユーザーインターフェースオブジェクト１２０１４は回転させられる。
12E-1 through 12I-1 illustrate the behavior of calibration
図１２Ｊにおいて、（例えば、図１２Ｅ～１２Ｉに示すような）デバイス１００の移動は、必要な較正を満足している（例えば、仮想オブジェクト１１００２に対応するプレーンは、カメラの視野６０３６内で検出されている）。仮想オブジェクト１１００２は検出されたプレーン上に配置され、カメラの視野６０３６はぼかされるのを中止する。触知出力生成器は、プレーン（例えば、床面５０３８）がカメラの視野６０３６内で検出されたことを示す（１２０１６で示すような）触知出力を出力する。床面５０３８は、検出されたプレーンの指示を与えるように強調される。
In FIG. 12J, the movement of device 100 (e.g., as shown in FIGS. 12E-12I) satisfies the required calibration (e.g., the plane corresponding to
仮想オブジェクト１１００２がカメラの視野６０３６内で検出されるプレーンに対してある位置に配置されているとき、仮想オブジェクト１１００２は、１つ以上のカメラによって取り込まれた物理的環境５００２に対して一定の位置のままである。（図１２Ｋ－２～図１２Ｌ－２に示すように）デバイス１００は、物理的環境５００２に対して移動させられるとき、（図１２Ｋ－１～図１２Ｌ－１に示すように）仮想オブジェクト１１００２は、物理的環境５００２に対して一定の位置のままである。
When the
図１３Ａ～１３Ｍは、軸を中心にした仮想オブジェクトの回転を制約するユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ～８Ｅ、図９Ａ～９Ｄ、図１０Ａ～１０Ｄ、図１６Ａ～１６Ｇ、図１７Ａ～１７Ｄ、図１８Ａ～１８Ｉ、図１９Ａ～１９Ｈ、及び図２０Ａ～２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
13A-13M illustrate examples of user interfaces that constrain the rotation of a virtual object about an axis. The user interfaces in these figures are similar to the processes in FIGS. is used to illustrate the process described below, including: For convenience of explanation, some of the embodiments are discussed with reference to operations performed on a device having a touch-
図１３Ａにおいて、仮想オブジェクト１１００２は、ステージングユーザーインターフェース６０１０に示されている。ｘ軸、ｙ軸、及びｚ軸は、仮想オブジェクト１１００２に対して示されている。
In FIG. 13A,
図１３Ｂ～１３Ｃは、図１３Ａに示されるｙ軸周りに仮想オブジェクト１１００２を回転させるための入力を示す。図１３Ｂにおいて、接触１３００２による入力は、仮想オブジェクト１１００２に対応する位置で検出される。入力は、矢印１３００４で示す経路に沿って距離ｄ１だけ移動する。入力が経路に沿って移動するとき、仮想オブジェクト１１００２は、図１３Ｂに示される位置までｙ軸周りに（例えば、３５度だけ）回転する。ステージングユーザーインターフェース６０１０において、仮想オブジェクト１１００２に対応する影１３００６が表示される。図１３Ｂから図１３Ｃへ、影１３００６は、仮想オブジェクト１１００２の位置変化に応じて変化する。
13B-13C illustrate inputs for rotating
接触１３００２がタッチスクリーン１１２からリフトオフされた後、仮想オブジェクト１１００２は、（例えば、仮想オブジェクト１１００２が物理的オブジェクトのように振る舞う印象を与えるために、接触１３００２の移動により付与される「運動量」に応じて）図１３Ｃ～１３Ｄに示すように、回転し続ける。
After the
図１３Ｅ～１３Ｆは、図１３Ａに示すｘ軸周りに仮想オブジェクト１１００２を回転させる入力を示す。図１３Ｅにおいて、接触１３００８による入力は、仮想オブジェクト１１００２に対応する位置で検出される。入力は、矢印１３０１０で示す経路に沿って距離ｄ１だけ移動する。入力が経路に沿って移動するとき、仮想オブジェクト１１００２は、図１３Ｆに示される位置までｘ軸周りに（例えば、５度だけ）回転する。接触１３００８は、接触１３００２が１３Ｂ～１３Ｃから移動したのと同じ距離ｄ１だけ図１３Ｅ～１３Ｆのｘ軸に沿って移動するが、図１３Ｅ～１３Ｆにおけるｘ軸周りの仮想オブジェクト１１００２の回転角は、図１３Ｂ～１３Ｃにおけるｙ軸周りの仮想オブジェクト１１００２ の回転角よりも小さい。
13E-13F illustrate input to rotate
図１３Ｆ～１３Ｇは、図１３Ａに示すｘ軸周りに仮想オブジェクト１１００２を回転させる更なる入力を示す。図１３Ｆにおいて、接触１３００８はその移動を続け、矢印１３０１２で示す経路に沿って（距離ｄ１よりも大きい）距離ｄ２だけ移動する。入力が経路に沿って移動するとき、仮想オブジェクト１１００２は、図１３Ｇに示す位置までｘ軸周りに（２５度だけ）回転する。図１３Ｅ～１３Ｇに示すように、距離ｄ１＋ｄ２だけの接触１３００８の移動により、仮想オブジェクト１１００２はｘ軸周りに３０度回転する一方、図１３Ｂ～１３Ｃにおいて、距離ｄ１だけの接触１３００４の移動により、仮想オブジェクト１１００２はｙ軸回りに３５度回転する。
13F-13G illustrate further input to rotate
（例えば、接触１３００８の移動により、回転限界を越えて達する仮想オブジェクト１１００２の回転量を引き起こしたことを示すために）接触１３００８がタッチスクリーン１１２からリフトオフされた後、仮想オブジェクト１１００２は、図１３Ｇ～１３Ｈに示すように、接触１３００８の移動によって引き起こされる回転の方向とは反対の方向に回転する。
After the
図１３Ｇ～１３Ｉにおいて、影１３００６は、（例えば、オブジェクトを下から見たときには、仮想オブジェクト１１００２は影を投じないため）示されていない。
In FIGS. 13G-13I,
図１３Ｉにおいて、（例えば、図１３Ａに示すように）仮想オブジェクト１１００２をそれが本来表示されていた視点に復帰させる入力（例えば、二重タップ入力）が検出される。入力は、接触１３０１４によって示すように、仮想オブジェクト１１００２に対応する位置で行われる。この入力に応答して、仮想オブジェクト１１００２は、（図１３Ｅ～１３Ｈから生じた回転を逆にするために）ｙ軸周りに回転させられると共に、（図１３Ｂ～１３Ｄから生じた回転を逆にするために）ｘ軸周りに回転させられる。図１３Ｊにおいて、接触１３０１６による入力により、仮想オブジェクト１１００２は元々表示されていた視点に復帰する。
In FIG. 13I, an input (eg, a double tap input) is detected that causes
一部の実施形態では、ステージングユーザーインターフェース６０１０が表示されている間に、仮想オブジェクト１１００２のサイズを調整するための入力が受信される。例えば、仮想オブジェクト１１００２のサイズを調整するための入力は、仮想オブジェクト１１００２のサイズを増大させる（例えば、図６Ｎ～６Ｏに関して説明したような）デピンチジェスチャ、又は仮想オブジェクト１１００２のサイズを減少させるピンチジェスチャである。
In some embodiments, input to adjust the size of
図１３Ｊにおいて、ステージングユーザーインターフェース６０１０の表示をカメラの視野６０３６を含むユーザーインターフェースの表示に置き換えるための入力が受信される。接触１３０１６による入力は、トグル制御６０１８に対応する位置で検出される。この入力に応答して、ステージングユーザーインターフェース６０１０の表示は、図１３Ｋに示すように、カメラの視野６０３６を含むユーザーインターフェースに置き換えられる。
In FIG. 13J, input is received to replace the display of the
図１３Ｋにおいて、仮想オブジェクト１１００２は、カメラの視野６０３６を含むユーザーインターフェースに表示される。仮想オブジェクト１１００２に対応するプレーンがカメラの視野６０３６内で検出されたことを示すために（１３０１８で示すように）触知出力が発生する。カメラの視野６０３６を含むユーザーインターフェースにおける仮想オブジェクト１１００２の回転角は、ステージングユーザーインターフェース６０１０における仮想オブジェクト１１００２の回転角に対応する。
In FIG. 13K,
カメラの視野６０３６を含むユーザーインターフェースが表示されるとき、図１３Ｌ～１３Ｍで示すように、横移動を含む入力は、カメラの視野６０３６を含むユーザーインターフェース内の仮想オブジェクト１１００２の横移動を引き起こす。図１３Ｌにおいて、接触１３０２０は仮想オブジェクト１１００２に対応する位置で検出され、接触は矢印１３０２２で示す経路に沿って移動する。接触が移動すると、仮想オブジェクト１１００２は、（図１３Ｌに示すような）第１の位置から（図１３Ｍに示すような）第２の位置へ接触１３０２０の移動に対応する経路に沿って移動する。
When a user interface that includes a camera's field of
一部の実施形態では、図５ＡＪ～５ＡＭに関して説明したように、カメラの視野６０３６を含むユーザーインターフェースが表示されるときに提供される入力は、仮想オブジェクト１１００２を第１のプレーン（例えば、床面５０３８）から第２のプレーン（例えば、テーブル基準面５０４６）への移動させることができる。
In some embodiments, as described with respect to FIGS. 5AJ-5AM, the input provided when the user interface including the camera field of
図１４Ａ～１４Ｚは、移動の第１の閾値大きさが第１のオブジェクト操作挙動について満たされるとの判定に応じて、第２のオブジェクト操作挙動に必要な移動の第２の閾値大きさを増大させるユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ～８Ｅ、図９Ａ～９Ｄ、図１０Ａ～１０Ｄ、図１４ＡＡ～１４ＡＤ、図１６Ａ～１６Ｇ、図１７Ａ～１７Ｄ、図１８Ａ～１８Ｉ、図１９Ａ～１９Ｈ、及び図２０Ａ～２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
14A-14Z illustrate increasing a second threshold magnitude of movement required for a second object manipulation behavior in response to a determination that the first threshold magnitude of movement is satisfied for the first object manipulation behavior. An example of a user interface is shown below. The user interfaces in these figures are as shown in FIGS. It is used to illustrate the processes described below, including those in 20A-20F. For convenience of explanation, some of the embodiments are discussed with reference to operations performed on a device having a touch-
図１４Ａにおいて、仮想オブジェクト１１００２は、カメラの視野６０３６を含むユーザーインターフェースに表示される。図１４Ｂ～１４Ｚに関して更に説明するように、並進移動量計１４００２、スケーリング移動量計１４００４、回転移動量計１４００６を用いて、オブジェクトの操作挙動（例えば、並進動作、スケーリング動作、及び／又は回転動作）に対応するそれぞれの移動の大きさを示す。並進移動量計１４００２は、タッチスクリーンディスプレイ１１２上に１組の接触の横（例えば、左向き又は右向きの）移動の大きさを示す。スケーリング移動量計１４００４は、タッチスクリーンディスプレイ１１２上に１組の接触におけるそれぞれの接触間の距離の増加又は減少の大きさ（例えば、ピンチジェスチャ又はデピンチジェスチャの大きさ）を示す。回転移動量計１４００６は、タッチスクリーンディスプレイ１１２上に１組の接触の回転移動の大きさを示す。
In FIG. 14A, a
図１４Ｂ～１４Ｅは、１つ以上のカメラの視野６０３６を含むユーザーインターフェースにおいて仮想オブジェクト１１００２を回転させる入力を示す。仮想オブジェクト１１００２を回転させる入力は、第１の接触１４００８が矢印１４０１０で示す経路に沿って時計方向に回転移動し、第２の接触１４０１２が矢印１４０１４で示す経路に沿って時計方向に回転移動するジェスチャを含む。図１４Ｂでは、タッチスクリーン１１２との接触１４００８及び１４０１２が検出される。図１４Ｃにおいて、接触１４００８は、矢印１４０１０で示す経路に沿って移動しており、接触１４０１２は、矢印１４０１２で示す経路に沿って移動している。図１４Ｃでは、接触１４００８及び接触１４０１２の回転移動の大きさが、まだ閾値ＲＴに達していないので、仮想オブジェクト１１００２は、まだ入力に応答して回転していない。図１４Ｄにおいて、接触１４００８及び接触１４０１２の回転移動の大きさは閾値ＲＴを超えて増大しており、仮想オブジェクト１１００２は入力に応答して（図１４Ｂに示す仮想オブジェクト１１００２の位置に対して）回転している。回転移動の大きさが閾値ＲＴを超えて増大するとき、仮想オブジェクト１１００２をスケーリングするのに必要な移動の大きさは増大し（例えば、スケーリング閾値ＳＴは、スケーリング移動量計１４００４で示すように、ＳＴからＳＴ'に増大しており）、仮想オブジェクト１１００２を並進するのに必要な移動の大きさは増大する（例えば、並進移動量計１４００２で示すように、並進閾値ＴＴは、ＴＴからＴＴ'に増大している）。図１４Ｅにおいて、接触１４００８及び接触１４０１２は、それぞれ矢印１４０１０及び１４０１４で示す回転経路に沿って移動し続けており、仮想オブジェクト１１００２は入力に応答して回転し続けている。図１４Ｆにおいて、接触１４００８及び１４０１２は、タッチスクリーン１１２からリフトオフされている。
14B-14E illustrate input to rotate
図１４Ｇ～１４Ｉは、１つ以上のカメラの視野６０３６を含むユーザーインターフェース内の仮想オブジェクト１１００２をスケーリングする（例えば、そのサイズを増大する）入力を示す。仮想オブジェクト１１００２のサイズを増大させる入力は、（例えば、接触１４０１６と接触１４０２０との間の距離が増大するように）第１の接触１４０１６が矢印１４０１８で示す経路に沿って移動し、第２の接触１４０２０が矢印１４０２２で示す経路に沿って移動するジェスチャを含む。図１４Ｇでは、タッチスクリーン１１２との接触１４０１６及び１４０２０が検出される。図１４Ｈにおいて、接触１４０１６は矢印１４０１８で示す経路に沿って移動しており、接触１４０２０は矢印１４０２２で示す経路に沿って移動している。図１４Ｈにおいて、接触１４０２０から離れた接触１４０１６の移動の大きさは、閾値ＳＴに達していないので、仮想オブジェクト１１００２のサイズは、入力に応答してまだ調整されていない。図１４Ｉにおいて、接触１４０１６及び接触１４０２０のスケーリング移動の大きさは閾値ＳＴを超えて増大しており、仮想オブジェクト１１００２のサイズはその入力に応答して（図１４Ｈに示す仮想オブジェクト１１００２のサイズに対して）増大している。スケーリング移動の大きさが閾値ＳＴを超えて増大するとき、仮想オブジェクト１１００２を回転させるのに必要な移動の大きさは増大し（例えば、回転移動量計１４００６で示すように、回転閾値ＲＴはＲＴからＲＴ'へ増大しており）、仮想オブジェクト１１００２を並進するのに必要な移動の大きさは増大する（例えば、並進移動量計１４００２で示すように、並進閾値ＴＴはＴＴからＴＴ'へ増大している）。図１４Ｊにおいて、接触１４０１６及び１４０２０はタッチスクリーン１１２からリフトオフしている。
14G-14I illustrate input to scale (eg, increase the size of) a
図１４Ｋ～１４Ｍは、１つ以上のカメラの視野６０３６を含むユーザーインターフェース内で仮想オブジェクト１１００２を並進させる（例えば、仮想オブジェクト１１００２を左へ移動させる）入力を示す。仮想オブジェクト１１００２を移動させる入力は、（例えば、接触１４０２４及び接触１４０２８が共に左方へ移動するように）第１の接触１４０２４が矢印１４０２６で示す経路に沿って移動し、第２の接触１４０２８が矢印１４３０で示す経路に沿って移動するジェスチャを含む。図１４Ｋでは、タッチスクリーン１１２との接触１４０２４及び１４０２８が検出される。図１４Ｌにおいて、接触１４０２４は矢印１４０２６で示す経路に沿って移動しており、接触１４０２８は矢印１４０３０で示す経路に沿って移動している。図１４Ｌにおいて、接触１４０２４及び１４０２８の左方移動の大きさは閾値ＴＴに達していないので、仮想オブジェクト１１００２は、まだ入力に応答して移動させられていない。図１４Ｍにおいて、接触１４０２４及び接触１４０２８の左方移動の大きさは閾値ＴＴを超えて増大しており、仮想オブジェクト１１００２は、接触１４０２４及び１４０２８の移動の方向に移動させられている。並進移動の大きさが閾値ＴＴを超えて増大するとき、仮想オブジェクト１１００２をスケーリングするのに必要な移動の大きさは増大しており（例えば、スケーリング移動量計１４００４で示すように、スケーリング閾値ＳＴは、ＳＴからＳＴ'に増大している）、仮想オブジェクト１１００２を回転させるのに必要な移動の大きさは増大している（例えば、回転移動量計１４００６で示すように、回転閾値ＲＴは、ＲＴからＲＴ'に増大している）。図１４Ｎにおいて、接触１４０２４及び１４０２８はタッチスクリーン１１２からリフトオフされている。
14K-14M illustrate input to translate virtual object 11002 (eg, move
図１４Ｏ～１４Ｚは、仮想オブジェクト１１００２を並進させる（例えば、仮想オブジェクト１１００２を右に移動させる）、仮想オブジェクト１１００２をスケーリングする（例えば、仮想オブジェクト１１００２のサイズを増大させる）、及び仮想オブジェクト１１００２を回転させるジェスチャを含む入力を示す。図１４Ｏでは、タッチスクリーン１１２との接触１４０３２及び１４０３６が検出される。図１４Ｏ～１４Ｐにおいて、接触１４０３２は矢印１４０３４で示す経路に沿って移動し、接触１４０３６は矢印１４０３８で示す経路に沿って移動する。接触１４０３２及び１４０３６の右方移動の大きさは、閾値ＴＴを超えて増大しており、仮想オブジェクト１１００２は接触１４０３２及び１４０３６の移動方向に移動させられている。接触１４０３２及び１４０３６の移動による閾値ＴＴの満足の結果として、仮想オブジェクト１１００２をスケーリングするのに必要な移動の大きさはＳＴ'に増大し、仮想オブジェクト１１００２を回転させるのに必要な移動の大きさはＲＴ'になる。（図１４Ｑにおける並進移動量計１４００２で示される高ウォーターマーク１４０４３によって示すように）閾値ＴＴを満足した後、接触１４０３２及び１４０３６の任意の横移動により、仮想オブジェクト１１００２の横移動を引き起こす。
14O-14Z illustrate translating virtual object 11002 (e.g., moving
図１４Ｑ～１４Ｒにおいて、接触１４０３２は矢印１４０４０で示す経路に沿って移動し、接触１４０３６は矢印１４０４２で示す経路に沿って移動する。図１４Ｒにおいて、接触１４０３６から離れた接触１４０３２の移動の大きさは、元のスケーリング閾値ＳＴを超えているが、増大したスケーリング閾値ＳＴ'に達していない。増大したスケーリング移動閾値ＳＴ'が効果的であるとき、接触１４０３６から離れた接触１４０３２の移動の大きさが増大したスケーリング移動閾値ＳＴ'を超えて増大するまでスケーリングは起こらず、したがって、仮想オブジェクト１１００２のサイズは、図１４Ｑ～１４Ｒから変化していない。図１４Ｒ～１４Ｓにおいて、接触１４０３２が矢印１４０４４で示す経路に沿って移動し、接触１４０３６が矢印１４０４６で示す経路に沿って移動するとき、接触１４０３２と１４０４６の間の距離は増大し続ける。図１４Ｓにおいて、接触１４０３６から離れた接触１４０３２の移動の大きさは、増大したスケーリング閾値ＳＴ'を超えており、仮想オブジェクト１１００２のサイズは増大している。（図１４Ｔにおけるスケーリング移動量計１４００４で示す高ウォーターマーク１４０４７によって示すように）閾値ＳＴ'が満足された後、接触１４０３２及び１４０３６の任意のスケーリング移動によって、仮想オブジェクト１１００２のスケーリングを引き起こす。
In FIGS. 14Q-14R, contact 14032 moves along the path indicated by
図１４Ｔ～１４Ｕにおいて、接触１４０３２は矢印１４０４８で示す経路に沿って移動し、接触１４０３６は矢印１４０５０で示す経路に沿って移動する。（並進移動量計１４００２で示す高ウォーターマーク１４０４３によって示すように）閾値ＴＴが満たされているので、仮想オブジェクト１１００２は、接触１４０３２及び１４０３６の横移動の方向に自由に移動する。
14T-14U, contact 14032 moves along the path indicated by
図１４Ｖ～１４Ｗにおいて、接触１４０３２は矢印１４０５２で示す経路に沿って移動し、接触１４０３６は矢印１４０５４で示す経路に沿って移動する。接触１４０３２及び１４０３６の移動は、並進移動（接触１４０３２及び１４０３６の左方移動）と、スケーリング移動（接触１４０３２と接触１４０３６との間の距離を減少させる移動（例えば、ピンチジェスチャ））とを含む。（並進移動量計１４００２で示される高ウォーターマーク１４０４３によって示すように）並進閾値ＴＴが満足させられたため、仮想オブジェクト１１００２は、接触１４０３２及び１４０３６の横移動の方向に自由に移動し、（スケーリング移動量計１４００４で示される高ウォーターマーク１４０４７によって示すように）増大したスケーリング閾値ＳＴ'が満足させられたため、仮想オブジェクト１１００２は、接触１４０３２の接触１４０３６の方への移動に応じて自由にスケーリングする。図１４Ｖから１４Ｗまで、仮想オブジェクト１１００２のサイズは減少しており、仮想オブジェクト１１００２は、矢印１４０５２で示す経路に沿った接触１４０３２の移動、及び矢印１４０５４で示す経路に沿った接触１４０３６の移動に応じて左方に移動している。
14V-14W, contact 14032 moves along the path indicated by
図１４Ｘ～１４Ｚでは、接触１４０３２が矢印１４０５６で示す経路に沿って反時計方向に回転移動し、接触１４０３６が矢印１４０５８で示す経路に沿って反時計方向に回転移動する。図１４Ｙにおいて、接触１４０３２及び接触１４０３６の回転移動の大きさは、元のスケーリング閾値ＲＴを超えているが、増大したスケーリング閾値ＲＴ'に達していない。増大したスケーリング移動閾値ＲＴ'が効果的であるとき、接触１４０３２及び１４０３６の回転移動の大きさが増大した回転移動閾値ＲＴ'を超えて増大するまで仮想オブジェクト１１００２の回転は起こらず、したがって、仮想オブジェクト１１００２は、図１４Ｘ～１４Ｙから回転していない。図１４Ｙ～１４Ｚにおいて、接触１４０３２が矢印１４０６０で示す経路に沿って移動し、接触１４０３６が矢印１４０６２で示す経路に沿って移動するとき、接触１４０３２及び１４０４６は反時計方向に回転移動し続ける。図１４Ｚにおいて、接触１４０３２及び接触１４０３６の回転移動の大きさは増大したスケーリング閾値ＲＴ'を超えおり、仮想オブジェクト１１００２は入力に応答して回転している。
14X-14Z, contact 14032 rotates counterclockwise along the path indicated by
図１４ＡＡ～１４ＡＤは、移動の第１の閾値大きさが第１のオブジェクト操作挙動について満たされるとの判定に応じて、第２のオブジェクト操作挙動に必要な移動の第２の閾値大きさを増大させる動作を示すフロー図である。図１４ＡＡ～１４ＡＤに関して説明する動作は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）、及びタッチ感知面（例えば、タッチ感知面、又は表示生成コンポーネントとタッチ感知面の両方としての役割を果たすタッチスクリーンディスプレイ）を有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル多機能デバイス１００）で実行される。図１４ＡＡ～１４ＡＤに関して説明した一部の動作は任意選択で組み合わされ、及び／又は一部の動作の順序は任意選択で変更される。
14AA-14AD increase a second threshold magnitude of movement required for a second object manipulation behavior in response to a determination that the first threshold magnitude of movement is satisfied for the first object manipulation behavior. FIG. The operations described with respect to FIGS. 14AA-14AD may serve as a display-generating component (e.g., a display, a projector, a heads-up display, etc.) and a touch-sensitive surface (e.g., a touch-sensitive surface, or both a display-generating component and a touch-sensitive surface). (e.g.,
動作１４０６６で、１つ以上の接触の移動を含むユーザー入力の第１の部分が検出される。動作１４０６８で、（例えば、仮想オブジェクト１１００２に対応する位置における）１つ以上の接触の移動が、オブジェクト回転閾値（例えば、回転移動量計１４００６が示す回転閾値ＲＴ）を超えて増大するか否かが判定される。１つ以上の接触の移動が（例えば、図１４Ｂ～１４Ｄに関して説明するように）オブジェクト回転閾値を超えて増大しているとの判定に応じて、流れは動作１４０７０に進む。１つ以上の接触の移動がオブジェクト回転閾値を超えて増大していないとの判定に応じて、流れは動作１４０７４に進む。
At
動作１４０７０で、オブジェクト（例えば、仮想オブジェクト１１００２）は、（例えば、図１４Ｂ～１４Ｄに関して説明したように）ユーザー入力の第１の部分に基づいて回転させられる。動作１４０７２で、オブジェクト並進閾値は（例えば、図１４Ｄに関して説明したように、ＴＴからＴＴ'まで）増大し、オブジェクトスケーリング閾値は（例えば、図１４Ｄに関して説明したように、ＳＴからＳＴ'まで）まで増大する。流れは、Ａで示すように、動作１４０７２から図１４ＡＢの動作１４０８６に進む。
At
動作１４０７４で、（例えば、仮想オブジェクト１１００２に対応する位置での）１つ以上の接触の移動が、オブジェクト並進閾値（例えば、並進移動量計１４００２によって示す並進閾値ＴＴ）を超えて増大しているか否かが判定される。（例えば、図１４Ｋ～１４Ｍに関して説明するように）１つ以上の接触の移動がオブジェクト並進閾値を超えて増大するとの判定に応じて、流れは動作１４０７６へ進む。１つ以上の接触の移動がオブジェクト並進閾値を超えて増大していないとの判定に応じて、流れは動作１４０８０へ進む。
In
動作１４０７６で、オブジェクト（例えば、仮想オブジェクト１１００２）は、（例えば、図１４Ｋ～１４Ｍに関して説明したように）ユーザー入力の第１の部分に基づいて並進される。動作１４０７８で、オブジェクト回転閾値は（例えば、図１４Ｍに関して説明したように、ＲＴからＲＴ'へ）増大させられ、オブジェクトスケーリング閾値は（例えば、図１４Ｍに関して説明したように、ＳＴからＳＴ'へ）増大させられる。Ｂに示すように、流れは、動作１４０７８から図１４ＡＣの動作１４１００に進む。
At
動作１４０８０で、（例えば、仮想オブジェクト１１００２に対応する位置での）１つ以上の接触の移動は、オブジェクトスケーリング閾値（例えば、スケーリング移動量計１４００４で示すスケーリング閾値ＳＴ）を超えて増大するか否かが判定される。１つ以上の接触の移動が（例えば、図１４Ｇ～１４Ｉに関して説明したような）オブジェクトスケーリング閾値を超えて増大するとの判定に応じて、流れは動作１４０８２に進む。１つ以上の接触の移動がオブジェクトスケーリング閾値を超えて増大していないとの判定に応じて、流れは動作１４０８５に進む。
At
動作１４０８２で、オブジェクト（例えば、仮想オブジェクト１１００２）は、（例えば、図１４Ｇ～１４Ｉに関して説明したように）ユーザー入力の第１の部分に基づいてスケーリングされる。動作１４０８４では、オブジェクト回転閾値は（例えば、図１４Ｉに関して説明するように、ＲＴからＲＴ'に）増大し、オブジェクト並進閾値は（例えば、図１４Ｉに関して説明するように、ＴＴからＴＴ'に）増大する。Ｃで示すように、流れは動作１４０８４から図１４ＡＤの動作１４１１４へ進む。
At
動作１４０８５で、１つ以上の接触の移動を含むユーザー入力の追加部分が検出される。流れは、動作１４０８６から動作１４０６６へ進む。
At
図１４ＡＢにおいて、動作１４０８６で、１つ以上の接触の移動を含むユーザー入力の追加部分が検出される。流れは、動作１４０８６から動作１４０８８へ進む。
In FIG. 14AB, additional portions of user input including movement of one or more contacts are detected at
動作１４０８８で、１つ以上の接触の移動が回転運動であるか否かが判定される。１つ以上の接触の移動が回転運動であるとの判定に応じて、流れは動作１４０９０に進む。１つ以上の接触の移動が回転運動でないとの判定に応じて、流れは動作１４０９２に進む。
At
動作１４０９０で、オブジェクト（例えば、仮想オブジェクト１１００２）は、（例えば、図１４Ｄ～１４Ｅに関して説明したように）ユーザー入力の追加部分に基づいて回転させられる。回転閾値が予め満たされていたので、オブジェクトは、追加の回転入力に応じて自由に回転する。
At
動作１４０９２で、１つ以上の接触の移動が、増大したオブジェクト並進閾値（例えば、図１４Ｄの並進移動量計１４００２によって示す並進閾値ＴＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が、増大したオブジェクト並進閾値を超えて増大しているとの判定に応じて、流れは動作１４０９４に進む。１つ以上の接触の移動が増大したオブジェクト並進閾値を超えて増大していないとの判定に応じて、流れは動作１４０９６に進む。
At
動作１４０９４では、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいて並進される。
At
動作１４０９６では、１つ以上の接触の移動が、増大したオブジェクトスケーリング閾値（例えば、図１４Ｄのスケーリング移動量計１４００４によって示されるスケーリング閾値ＳＴ'）を超えて増大しているか否か判定される。１つ以上の接触の移動が、増大したオブジェクトスケーリング閾値を超えて増大しているとの判定に応じて、流れは動作１４０９８に進む。１つ以上の接触の移動が、増大したオブジェクトスケーリング閾値を超えて増大していないとの判定に応じて、流れは動作１４０８６に戻る。
In
動作１４０９８で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいてスケーリングされる。
At
図１４ＡＣにおいて、動作１４１００で、１つ以上の接触の移動を含むユーザー入力の追加部分が検出される。流れは、動作１４１００から動作１４１０２に進む。
In FIG. 14AC, at
動作１４１０２で、１つ以上の接触の移動が並進移動であるか否か判定される。１つ以上の接触の移動が並進移動であるとの判定に応じて、流れは動作１４０１０４に進む。１つ以上の接触の移動が並進移動でないとの判定に応じて、流れは動作１４１０６に進む。
At
動作１４１０４で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいて並進させられる。並進閾値が予め満たされていたので、オブジェクトは、追加の並進入力に応じて自由に並進する。
At
動作１４１０６で、１つ以上の接触の移動が、増大したオブジェクト回転閾値（例えば、図１４Ｍの回転移動量計１４００６で示す回転閾値ＲＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が、増大したオブジェクト回転閾値を超えて増大しているとの判定に応じて、流れは動作１４１０８に進む。１つ以上の接触の移動が、増大したオブジェクト回転閾値を超えて増大していないとの判定に応じて、流れは動作１４１１０に進む。
At
動作１４１０８で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいて回転させられる。
At
動作１４１１０で、１つ以上の接触の移動が増大したオブジェクトスケーリング閾値（例えば、図１４Ｍのスケーリング移動量計１４００４で示すスケーリング閾値ＳＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が増大したオブジェクトスケーリング閾値を超えて増大しているとの判定に応じて、流れは動作１４１１２に進む。１つ以上の接触の移動が増大したオブジェクトスケーリング閾値を超えて増大していないとの判定に応じて、流れは動作１４１００に戻る。
At
動作１４１１２で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいてスケーリングされる。
At
図１４ＡＤにおいて、動作１４１１４で、１つ以上の接触の移動を含むユーザー入力の追加部分が検出される。流れは、動作１４１１４から動作１４１１６に進む。
In FIG. 14AD, additional portions of user input including movement of one or more contacts are detected at
動作１４１１６で、１つ以上の接触の移動がスケーリング移動であるか否かが判定される。１つ以上の接触の移動がスケーリング移動であるとの判定に応じて、流れは動作１４０１１８に進む。１つ以上の接触の移動がスケーリング移動でないとの判定に応じて、流れは動作１４１２０に進む。
At
動作１４１１８で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいてスケーリングされる。スケーリング閾値が予め満たされていたので、オブジェクトは、追加のスケーリング入力に応じて自由にスケーリングされる。
At
動作１４１２０で、１つ以上の接触の移動が、増大したオブジェクト回転閾値（例えば、図１４Ｉの回転移動量計１４００６で示す回転閾値ＲＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が、増大したオブジェクト回転閾値を超えて増大しているとの判定に応じて、流れは動作１４１２２に進む。１つ以上の接触の移動が、増大したオブジェクト回転閾値を超えて増大していないとの判定に応じて、流れは動作１４１２４に進む。
At
動作１４１２２で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいて回転させられる。
At
動作１４１２４で、１つ以上の接触の移動が、増大したオブジェクト並進閾値（例えば、図１４Ｉの並進移動量計１４００２で示す並進閾値ＴＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が、増大したオブジェクト並進閾値を超えて増大しているとの判定に応じて、流れは動作１４１２６に進む。１つ以上の接触の移動が、増大したオブジェクト並進閾値を超えて増大していないとの判定に応じて、流れは動作１４１１４に進む。
At
図１５Ａ～１５ＡＩは、デバイスが移動することで、１つ以上のデバイスカメラの表示された視野の外に仮想オブジェクトが移動したという判定に応じて音声警報を生成するユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ～８Ｅ、図９Ａ～９Ｄ、図１０Ａ～１０Ｄ、図１６Ａ～１６Ｇ、図１７Ａ～１７Ｄ、図１８Ａ～１８Ｉ、図１９Ａ～１９Ｈ、及び図２０Ａ～２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
15A-15AI illustrate an example user interface that generates an audio alert in response to a determination that movement of the device causes a virtual object to move outside the displayed field of view of one or more device cameras. The user interfaces in these figures are similar to the processes in FIGS. is used to illustrate the process described below, including: For convenience of explanation, some of the embodiments are discussed with reference to operations performed on a device having a touch-
図１５Ａ～１５ＡＩは、アクセシビリティ特徴がアクティブであるときに行われるユーザーインターフェース及びデバイスの動作を示す。一部の実施形態では、アクセシビリティ特徴は、（例えば、能力に制限のあるユーザーが上記の入力ジェスチャを行うためにデバイス特徴にアクセスする容易性を高めるために）デバイス特徴にアクセスするために減少した数の入力又は代替入力が使用可能であるモードを含む。例えば、アクセシビリティモードは、利用可能なデバイスを介して動作を前進又は逆転させるために第１の入力ジェスチャ（例えば、スワイプ入力）が使用され、現在示されている動作を実行するために選択入力（例えば、二重タップ入力）が使用されるスイッチ制御モードである。ユーザーがデバイスと対話すると、（例えば、操作が行われたことを示すため、デバイスのステージングユーザーインターフェース又は１つ以上のカメラの視野に対して仮想オブジェクト１１００２の現在の表示状態を示すため等、ユーザーにフィードバックを提供するために）音声警報が生成される。
15A-15AI illustrate user interface and device operations that occur when accessibility features are active. In some embodiments, accessibility features have been reduced to access device features (e.g., to increase the ease with which users with limited capabilities can access device features to perform the input gestures described above). Includes modes in which numeric or alternative inputs are available. For example, accessibility mode is where a first input gesture (e.g., a swipe input) is used to advance or reverse an action through an available device, and a selection input (e.g., a swipe input) is used to perform the currently indicated action. For example, the switch control mode in which a double tap input) is used. When the user interacts with the device (e.g., to indicate that an action has taken place, to indicate the current display state of the
図１５Ａにおいて、メッセージングユーザーインターフェース５００８は、三次元仮想オブジェクト１１００２の二次元表現を含む。（例えば、現在選択されている動作が、仮想オブジェクト１１００２上で実行される動作であることを示すために）選択カーソル１５００１が、三次元仮想オブジェクト１１００２の周囲に示されている。現在指示されている動作（例えば、ステージングユーザーインターフェース６０１０における仮想オブジェクト１１００２の三次元表現の表示）を行うために、接触１５００２による入力（例えば、二重タップ入力）が検出される。図１５Ｂに示すように、この入力に応答して、メッセージングユーザーインターフェース５０６０の表示は、ステージングユーザーインターフェース６０１０の表示によって置き換えられる。
In FIG. 15A,
図１５Ｂにおいて、仮想オブジェクト１１００２は、ステージングユーザーインターフェース６０１０に表示される。デバイスの状態を示すために、１５００８で示すように、（例えば、デバイススピーカ１１１によって）音声警報が生成される。例えば、音声警報１５００８は、１５０１０で示すように、「現在、椅子はステージングビューで示されている」というアナウンスを含む。
In FIG. 15B,
図１５Ｂには、（例えば、現在選択されている動作が、共有動作であることを示すために）選択カーソル１５００１が、共有制御６０２０の周囲に示されている。接触１５００４による入力（例えば、矢印１５００６で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
In FIG. 15B, a sel
図１５Ｃには、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２を上方に傾斜させる動作であることを示すために）チルトアップ制御１５０１２が表示されている。デバイスの状態を示すために、１５０１４で示すように、音声警報が生成される。例えば、音声警報は、１５０１６で示すように、「選択済み：チルトアップボタン」というアナウンスを含む。接触１５０１８による入力（例えば、矢印１５０２０で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
In FIG. 15C, a tilt up
図１５Ｄには、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２を下方に傾斜させる動作であることを示すために）チルトダウン制御１５０２２が表示されている。音声警報は、１５０２４に示すように、デバイスの状態を示すために生成される。例えば、音声警報は、１５０２６で示すように、「選択済み：チルトダウンボタン」というアナウンスを含む。接触１５０２８による入力（例えば、二重タップ入力）が検出される。この入力に応答して、選択された動作が実行される（例えば、仮想オブジェクト１１００２は、ステージングビュー内で下方に傾斜させられる）。
In FIG. 15D, a tilt down
図１５Ｅにおいて、仮想オブジェクト１１００２は、ステージングビューにおいて下方に傾斜している。デバイスの状態を示すために、１５０３０に示すように、音声警報が生成される。例えば、音声警報は、「椅子が下に５度傾斜している」というアナウンスを含む。１５０３２に示すように、現在、椅子は画面に向かって１０度傾斜している。
In FIG. 15E,
図１５Ｆにおいて、接触１５０３４による入力（例えば、矢印１５０３６で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。 In FIG. 15F, an input by contact 15034 (eg, a rightward swipe along the path indicated by arrow 15036) is detected. In response to this input, the selected operation advances to the next operation.
図１５Ｇには、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２を時計回りに回転させる動作であることを示すために）時計回り回転制御１５０３８が表示されている。音声警報１５０４０は、１５０４２で示すように、「選択済み：時計回りにボタンを回転させる」というアナウンスを含む。接触１５０４４による入力（例えば、矢印１５０４６で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
In FIG. 15G, a
図１５Ｈにおいて、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２を反時計回りに回転させる動作であることを示すために）反時計回り回転制御１５０４８が表示される。音声警報１５０５０は、１５０５２で示すように、「選択済み：反時計回りにボタンを回転させる」というアナウンスを含む。接触１５０５４による入力（例えば、二重タップ入力）が検出される。この入力に応答して、選択された動作が実行される（例えば、図１５Ｉに示すように、仮想オブジェクト１１００２は、ステージングビュー内で反時計回りに回転させられる）。
In FIG. 15H, a
図１５Ｉにおいて、１５０５８に示すように、音声警報１５０５６は、「椅子を反時計回りに５度回転します。次に、椅子をスクリーンから離れるように５度回転します。」というアナウンスを含む。
In FIG. 15I, as shown at 15058,
図１５Ｊにおいて、接触１５０６０による入力（例えば、矢印１５０６２で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。 In FIG. 15J, an input by contact 15060 (eg, a rightward swipe along the path indicated by arrow 15062) is detected. In response to this input, the selected operation advances to the next operation.
図１５Ｋにおいて、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２をズームする動作であることを示すために）ズーム制御１５０６４が表示される。音声警報１５０６６は、１５０６８で示すように、「縮尺：調節可能」というアナウンスを含む。アナウンスにおいて制御名と併用されるキーワード「調整可能」は、制御を動作させるのにスワイプ入力（例えば、垂直スワイプ入力）が使用可能であることを示す。例えば、上向きのスワイプ入力は、矢印５０７２で示す経路に沿って接触５０７０が上方に移動するときに、接触５０７０によって与えられる。この入力に応答して、ズーム操作が行われる（例えば、図１５Ｋ～１５Ｌに示すように、仮想オブジェクト１１００２のサイズが増大する）。
In FIG. 15K, a
図１５Ｌにおいて、音声警報１５０７４は、１５０７６で示すように、「現在、椅子は元のサイズの１５０パーセントに調整されている」というアナウンスを含む。仮想オブジェクト１１００２のサイズを縮小する入力（例えば、下向きのスワイプ入力）は、矢印５０７８で示す経路に沿って下方に移動する接触５０７８により与えられる。入力に応答して、ズーム操作が実行される（例えば、図１５Ｌ～１５Ｍに示すように、仮想オブジェクト１１００２のサイズは縮小される）。
In FIG. 15L,
図１５Ｍにおいて、音声警報１５０８２は、１５０８４で示すように、「現在、椅子は元のサイズの１００パーセントに調整されている」というアナウンスを含む。仮想オブジェクト１１００２のサイズは、ステージングビュー６０１０において元々表示されたサイズに調整されるので、（例えば、仮想オブジェクト１１００２がその元のサイズに復帰したことを示すフィードバックを提供するために）（１５０８６で示すような）触知出力が発生する。
In FIG. 15M,
図１５Ｎにおいて、接触１５０８８による入力（例えば、矢印１５０９０で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。 In FIG. 15N, an input by contact 15088 (eg, a rightward swipe along the path indicated by arrow 15090) is detected. In response to this input, the selected operation advances to the next operation.
図１５Ｏにおいて、（例えば、現在選択されている動作が先のユーザーインターフェースに復帰する動作であることを示すために）選択カーソル１５００１がバック制御６０１６の周囲に示される。音声警報１５０９２は、１５０９４で示すように、「選択済み：復帰ボタン」というアナウンスを含む。接触１５０９６による入力（例えば、矢印１５０９８で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
In FIG. 15O, a
図１５Ｐには、（例えば、現在選択されている動作が、ステージングユーザーインターフェース６０１０の表示とカメラの視野６０３６を含むユーザーインターフェースの表示との間でトグルする動作であることを示すために）選択カーソル１５００１が、トグル制御６０１８の周囲に示されている。音声警報１５０９８は、５０１００で示すように、「選択済み：ワールドビュー／ステージングビュートグル」というアナウンスを含む。接触１５１０２による入力（例えば、二重タップ入力）が検出される。（図１５Ｑに示すように）この入力に応答して、ステージングユーザーインターフェース６０１０の表示は、カメラの視野６０３６を含むユーザーインターフェースの表示によって置き換えられる。
FIG. 15P shows a selection cursor (e.g., to indicate that the currently selected action is to toggle between displaying the
図１５Ｑ～１５Ｔは、（例えば、仮想オブジェクト１１００２に対応するプレーンは、カメラの視野６０３６内でまだ検出されていないので）カメラの視野６０３６が表示されるときに発生する較正シーケンスを示す。較正シーケンス中に、仮想オブジェクト１１００２の半透明表現が表示され、カメラの視野６０３６がぼかされ、（デバイス１００の表現１２００４及びプレーンの表現１２０１０を含む）動画像を含むプロンプトが表示されて、ユーザーにデバイスの移動を促す。図１５Ｑにおいて、音声警報１５１０２は、５０１０４で示すように、「プレーンを検出するためにデバイスを移動させる」というアナウンスを含む。図１５Ｑから図１５Ｒまで、デバイス１００は、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）物理的環境５００２に対して移動する。デバイス１００の移動の検出の結果として、図１５Ｓで示すように、較正ユーザーインターフェースオブジェクト１２０１４が表示される。
15Q-15T illustrate the calibration sequence that occurs when camera field of
図１５Ｓにおいて、音声警報１５１０６は、５０１０８で示すように、「プレーンを検出するためにデバイスを移動させる」というアナウンスを含む。図１５Ｓ～１５Ｔにおいて、較正ユーザーインターフェースオブジェクト１２０１４は、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）デバイス１００が物理的環境５００２に対して移動するときに回転する。図１５Ｔにおいて、カメラの視野６０３６内で検出される仮想オブジェクト１１００２に対応するプレーンについて十分な動きが生じており、音声警報１５１１０は、５０１１２で示すように、「プレーンが検出された」というアナウンスを含む。図１５Ｕ～１５Ｖにおいて、仮想オブジェクト１１００２の半透明性は減少し、仮想オブジェクト１１００２は検出されたプレーン上に配置される。
In FIG. 15S,
図１５Ｖにおいて、音声警報１５１１４は、５０１１６で示すように、「現在、椅子は、１００パーセント可視でワールドに投影され、スクリーンの１０パーセントを占める」というアナウンスを含む。触知出力生成器は、仮想オブジェクト１１００２がプレーン上に配置されていることを示す触知出力を（１５１１８で示すように）出力する。仮想オブジェクト１１００２は、物理的環境５００２に対して一定の位置に表示される。
In FIG. 15V,
図１５Ｖ～１５Ｗにおいて、デバイス１００は、仮想オブジェクト１１００２がカメラの視野６０３６内でもはや見えないように（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）物理的環境５００２に対して移動させられる。カメラの視野６０３６の外に仮想オブジェクト１１００２が移動する結果として、音声警報１５１２２は、５０１２４に示すように、「椅子がスクリーン上にない」というアナウンスを含む。
15V-15W, the
図１５Ｗ～１５Ｘにおいて、デバイス１００は、仮想オブジェクト１１００２が図１５Ｘのカメラの視野６０３６内で再び見えるように物理的環境５００２対して移動されている。仮想オブジェクト１１００２がカメラの視野６０３６内に移動する結果として、音声警報１５１１８は、５０１２０に示すように、「現在、椅子は、１００パーセント可視でワールドに投影され、スクリーンの１０パーセントを占める」というアナウンスを含んで生成される。
In FIGS. 15W-15X,
図１５Ｘ～１５Ｙにおいて、デバイス１００は、（例えば、カメラの視野６０３６内に投影されるときにデバイス１００が仮想オブジェクト１１００２に対して「より近い」ように、及び仮想オブジェクト１１００２が図１５Ｙのカメラの視野６０３６内で部分的に見えるように）物理的環境５００２に対して移動されている。カメラの視野６０３６の外に部分的に仮想オブジェクト１１００２が移動する結果として、音声警報１５１２６は、５０１２８に示すように、「椅子は、９０パーセント可視であり、スクリーンの２０パーセントを占める」というアナウンスを含む。
In FIGS. 15X-15Y, the
一部の実施形態では、仮想オブジェクト１１００２に対応する位置で与えられる入力により、仮想オブジェクト１１００２についての言語情報を含む音声メッセージが提供される。反対に、仮想オブジェクト１１００２及び制御から離れている位置で入力が与えられるときは、仮想オブジェクト１１００２についての言語情報を含む音声メッセージは提供されない。図１５Ｚにおいて、ユーザーインターフェースにおける制御又は仮想オブジェクト１１００２の位置に対応しない位置で接触１５１３２が検出されることを示すために、音声出力１５１３０（例えば「クリック」又は「機械音」）が発生する。図１５ＡＡにおいて、接触１５１３４による入力は、仮想オブジェクト１１００２の位置に対応する位置で検出される。この入力に応答して、５０１３８に示すように、（例えば、仮想オブジェクト１１００２の状態を示す）仮想オブジェクト１１００２に対応する音声警報１５１３６は、「椅子は、９０パーセント可視であり、スクリーンの２０パーセントを占める」というアナウンスを含んで生成される。
In some embodiments, input provided at a location corresponding to
図１５ＡＢ～１５ＡＩは、カメラの視野６０３６を含むユーザーインターフェースが表示されている間に、スイッチ制御モードにおいて動作を選択及び実行する入力を示す。
15AB-15AI illustrate inputs for selecting and performing operations in switch control mode while a user interface including camera field of
図１５ＡＢにおいて、接触１５１４０による入力（例えば、矢印１５１４２で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、図１５ＡＣで示すように、動作が選択される。 In FIG. 15AB, an input by contact 15140 (eg, a rightward swipe along the path indicated by arrow 15142) is detected. In response to this input, an action is selected as shown in FIG. 15AC.
図１５ＡＣにおいて、（例えば、現在選択されている動作が、仮想オブジェクト１１００２を右に移動させる動作であることを示すために）右方横移動制御１５１４４が表示される。音声警報１５１４６は、１５１４８で示されるように、「選択済み：右ボタンを移動する」というアナウンスを含む。接触１５１５０による入力（例えば、二重タップ入力）が検出される。この入力に応答して、選択された動作が実行される（例えば、仮想オブジェクト１１００２は、図１５ＡＤに示すように、カメラの視野６０３６内で右に移動させられる）。
In FIG. 15AC, a right
図１５ＡＤにおいて、仮想オブジェクト１１００２の移動は、１５１５４で示すように、「椅子は、１００パーセント可視であり、スクリーンの３０パーセントを占める」というアナウンスを含む音声警報１５１５２によって報告される。
In FIG. 15AD, movement of
図１５ＡＥにおいて、接触１５１５６による入力（例えば、矢印１５１５８で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。 In FIG. 15AE, an input by contact 15156 (eg, a rightward swipe along the path indicated by arrow 15158) is detected. In response to this input, the selected operation advances to the next operation.
図１５ＡＦにおいて、（例えば、現在選択されている動作が、仮想オブジェクト１１００２を左に移動させる動作であることを示すために）左方横移動制御１５１６０が表示される。音声警報１５１６２は、１５１６４で示されるように、「選択済み：左に移動する」というアナウンスを含む。接触１５１６６による入力（例えば、矢印１５１６８で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
In FIG. 15AF, a left
図１５ＡＧにおいて、（例えば、現在選択されている動作が、仮想オブジェクト１１００２を時計回りに回転させる動作であることを示すために）時計回り回転制御１５１７０が表示される。音声警報１５１７２は、１５１７４で示すように、「選択済み：時計回りに回転する」というアナウンスを含む。接触１５１７６による入力（例えば、矢印１５１７８で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
In FIG. 15AG, a
図１５ＡＨにおいて、（例えば、現在選択されている動作が、仮想オブジェクト１１００２を時計回りに回転させる動作であることを示すために）反時計回り回転制御１５１８０が表示される。音声警報１５１８２は、１５１８４で示すように、「選択済み：反時計回りに回転する」というアナウンスを含む。接触１５１８６による入力（例えば、二重タップ入力）が検出される。この入力に応答して、選択された動作が実行される（例えば、図１５ＡＩで示すように、仮想オブジェクト１１００２は反時計回りに回転させられる）。
In FIG. 15AH, a
図１５ＡＩにおいて、音声警報１５１９０は、「椅子は反時計回りに５度だけ回転した」というアナウンスを含む。１５１６４で示すように、椅子は、現在、スクリーンに対してゼロ度だけ回転している。
In FIG. 15AI,
一部の実施形態では、オブジェクト（例えば、仮想オブジェクト１１００２）の少なくとも１つの表面（例えば、下側面）で反射が生じる。反射は、デバイス１００の１つ以上のカメラによって取り込まれる画像データを使用して生成される。例えば、反射は、１つ以上のカメラの視野６０３６内で検出される水プレーン（例えば、床面５０３８）に対応する取り込まれた画像データ（例えば、画像、画像のセット、及び／又は動画）のうちの少なくとも一部に基づく。一部の実施形態では、反射の発生は、（例えば、取り込まれた画像データを仮想の球のモデル上にマッピングすることにより）取り込まれた画像データを含む球状モデルを生成することを含む。
In some embodiments, reflection occurs on at least one surface (eg, the bottom surface) of the object (eg, virtual object 11002). The reflections are generated using image data captured by one or more cameras of
一部の実施形態では、オブジェクトの表面で生じる反射は、（例えば、プレーンにより近い表面の一部が、プレーンからより遠い表面の一部よりも大きい反射率の大きさを有するように）反射勾配を含む。一部の実施形態では、オブジェクトの表面で生じる反射の反射率の大きさは、表面に対応するテクスチャの反射率値に基づく。例えば、表面の非反射部では反射が生じない。 In some embodiments, reflections that occur at the surface of an object are defined by a reflection gradient (e.g., such that a portion of the surface closer to the plane has a larger reflectance magnitude than a portion of the surface farther from the plane). including. In some embodiments, the reflectance magnitude of the reflection that occurs at the surface of the object is based on the reflectance value of the texture corresponding to the surface. For example, no reflection occurs on non-reflective portions of the surface.
一部の実施形態では、反射は、経時的に調整される。例えば、反射は、オブジェクトを移動及び／又はスケーリングする入力を受信したときに調整される（例えば、オブジェクトが移動するとき、オブジェクトの反射は、オブジェクトに対応する位置にあるプレーンの一部を反射するように調整される）。一部の実施形態では、反射は、オブジェクトが（例えば、ｚ軸周りに）回転しているときには調整されない。 In some embodiments, the reflection is adjusted over time. For example, the reflection is adjusted when it receives input that moves and/or scales the object (e.g., when the object moves, the object's reflection reflects the part of the plane at the position corresponding to the object. ). In some embodiments, reflections are not adjusted when the object is rotating (eg, about the z-axis).
一部の実施形態では、（例えば、オブジェクトに対応するカメラの視野６０３６内で検出されるプレーン上の）決定された位置でオブジェクトを表示する前に、オブジェクトの表面上で反射は生じない。例えば、（例えば、図１１Ｇ～１１Ｈに関して説明するように）オブジェクトの半透明表現が表示されるとき、及び／又は（例えば、図１２Ｂ～１２Ｉに関して説明するように）較正が実行されているとき、オブジェクトの表面上で反射は生じない。
In some embodiments, no reflections occur on the surface of the object prior to displaying the object at the determined position (eg, on a plane detected within the camera's field of
一部の実施形態では、オブジェクトの反射は、カメラの視野６０３６内で検出される１つ以上のプレーン上で生じる。一部の実施形態では、オブジェクトの反射は、カメラの視野６０３６内で生じない。
In some embodiments, the reflection of the object occurs on one or more planes detected within the camera's field of
図１６Ａ～１６Ｇは、オブジェクト配置基準が満たされているか否かによって異なる視覚特性を用いる１つ以上のカメラの視野を含むユーザーインターフェースに仮想オブジェクトを表示する方法１６０００を示すフロー図である。方法１６０００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）と、１つ以上の入力デバイス（例えば、タッチ感知面、又は表示生成コンポーネントとタッチ感知面の両方としての役割を果たすタッチスクリーンディスプレイ）と、１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面とは反対のデバイスの側の１つ以上の背面カメラ）とを有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル多機能デバイス１００）で実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるか又はこれに組み込まれている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法１６０００の一部の動作は任意選択で組み合わされ、及び／又は一部の動作の順序は任意選択で変更される。
16A-16G are flow diagrams illustrating a
デバイスは、（例えば、仮想オブジェクトの移動可能な表現を含むステージングユーザーインターフェースが表示されている間に、及びカメラの視野が表示される前に）１つ以上のカメラの視野のうちの少なくとも一部を含む第１のユーザーインターフェース領域（例えば、拡張現実ビューインターフェース）に仮想オブジェクト（例えば、三次元モデルの表現）を表示する要求を受信する（１６００２）（例えば、この要求は、タッチスクリーンディスプレイ上の仮想オブジェクトの表現上で検出される接触による入力であり、あるいはこの接触は、仮想オブジェクトの表現と同時に表示され、第１の接触により引き起こされるときにＡＲビューの表示をトリガするように構成されているアフォーダンス（例えば、「ＡＲビュー」又は「ワールドビュー」ボタン上のタップ）で検出される）。例えば、図１１Ｆに関して説明したように、要求は、１つ以上のカメラの視野６０３６内に仮想オブジェクト１１００２を表示するための入力である。
The device controls at least a portion of the field of view of the one or more cameras (e.g., while a staging user interface including a movable representation of the virtual object is displayed and before the field of view of the camera is displayed). A request is received (16002) to display a virtual object (e.g., a representation of a three-dimensional model) in a first user interface area (e.g., an augmented reality view interface) that includes a virtual object (e.g., a representation of a three-dimensional model) on a touch screen display. the input is a contact detected on the representation of the virtual object, or the contact is displayed simultaneously with the representation of the virtual object and is configured to trigger the display of the AR view when triggered by the first contact; affordances (e.g., detected with a tap on the “AR View” or “World View” button). For example, as described with respect to FIG. 11F, the request is an input to display
第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求（例えば、デバイスの周囲の物理的環境のビューに仮想オブジェクトを表示する要求）に応答して、デバイスは、表示生成コンポーネントを介して、第１のユーザーインターフェース領域に含まれる１つ以上のカメラの視野のうちの少なくとも一部の上に仮想オブジェクトの表現を表示する（１６００４）（例えば、１つ以上のカメラの視野は、第１のユーザーインターフェースの領域に仮想オブジェクトを表示する要求に応答して表示される）ものであり、１つ以上のカメラの視野は、１つ以上のカメラが位置する物理的環境のビューである。例えば、図１１Ｇに関して説明したように、仮想オブジェクト１１００２は、１つ以上のカメラが位置する物理的環境５００２のビューである１つ以上のカメラの視野６０３６内に表示される。仮想オブジェクトの表現を表示することは、オブジェクト配置基準が満たされるために、１つ以上のカメラの視野内で仮想オブジェクトの配置位置（例えば、プレーン）が識別されることを必要とするオブジェクトの配置基準が満たされていないとの判定に応じて（例えば、第１のユーザーインターフェース領域内で１つ以上のカメラの視野に対して仮想オブジェクトを配置する位置又はプレーンでデバイスが識別されていない（例えば、プレーン識別がまだ進行中であり、又はプレーンを識別するのに十分な画像データがない）とき、オブジェクト配置基準は満たされていない）、第１の１組の視覚特性（例えば、第１の半透明レベル、又は第１の輝度レベル、又は第１の彩度レベル等）を伴うと共に、物理的環境の一部が１つ以上のカメラの視野内に表示されることから独立している第１の向きを伴って、仮想オブジェクトの表現を表示することを含んでおり、例えば、物理的環境（例えば、ステージングビューに設定された向き）から独立していると共に、カメラの視野内で生じる変化（例えば、物理的環境に対するデバイスの移動による変化）から独立して、仮想オブジェクトは、所定のプレーンに相対的である向きでカメラの視野の上で浮いている。例えば、図１１Ｇ～１１Ｈでは、仮想オブジェクト１１００２についての配置位置がカメラの視野６０３６内で識別されていないので、仮想オブジェクト１１００２の半透明バージョンが表示される。（図１１Ｇ～１１Ｈに示すように）デバイスが移動するとき、仮想オブジェクト１１００２の向きは変化しない。一部の実施形態では、オブジェクト配置基準は、視野が安定しており、物理的環境の静止画を提供するという要件を含む（例えば、カメラは少なくとも閾値時間中に閾値量よりも少なく移動し、及び／又は要求が受信されて以来少なくとも所定の時間が経過しており、及び／又は十分に前のデバイスの移動でプレーン検出のためにカメラが較正されている。オブジェクト配置基準が満たされている（例えば、第１のユーザーインターフェース領域内に、１つ以上のカメラの視野に対して仮想オブジェクトを配置する位置又は面をデバイスが識別していないときに、オブジェクト配置基準は満たされている）との判定に応じて、デバイスは、第１の１組の視覚特性とは異なるの（例えば、第２の半透明性レベル、又は第２の輝度レベル、又は第２の彩度レベル等で）第２の１組の視覚特性を有すると共に、１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応する第２の向きを有する、仮想オブジェクトの表現を表示する。例えば、図１１Ｉでは、仮想オブジェクト１１００２の配置位置は、カメラの視野６０３６内で識別されているので（例えば、物理的環境５００２内の床面５０３８に対応するプレーン）、仮想オブジェクト１１００２の非半透明バージョンが表示される。仮想オブジェクト１１００２の向き（例えば、タッチスクリーンディスプレイ１１２上の位置）は、図１１Ｈに示す第１の向きから図１１Ｉに示す第２の向きへ変化している。（図１１Ｉから図１１Ｊに示すように）デバイスが移動するとき、仮想オブジェクト１１００２の向きは、（仮想オブジェクト１１００２が物理的環境５００２に対して一定の向きで現在表示されているため）変化する。オブジェクト配置基準が満たされるかどうかに応じて、仮想オブジェクトを第１の１組の視覚特性又は第２の１組の視覚特性と共に表示することにより、（例えば、仮想オブジェクトを表示する要求が受信されているが、１つ以上のカメラの視野内に仮想オブジェクトを配置するために追加の時間及び／又は較正情報が必要されていることを示すために）ユーザーに視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、プレーンに対応する第２の向きでオブジェクトを配置する前に、適切な入力を提供し、仮想オブジェクトを操作する入力をしようするのを防ぐようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In response to a request to display a virtual object in a first user interface area (e.g., a request to display a virtual object in a view of the physical environment surrounding the device), the device, through a display generation component, displays a virtual object in a first user interface area. displaying (16004) a representation of a virtual object over at least a portion of the field of view of one or more cameras included in a user interface area of the first user interface (e.g., the field of view of the one or more cameras is (displayed in response to a request to display a virtual object in a region of the virtual object), and the field of view of the one or more cameras is a view of the physical environment in which the one or more cameras are located. For example, as described with respect to FIG. 11G, the
一部の実施形態では、デバイスは、仮想オブジェクトの表現が第１の１組の視覚特性及び第１の向きを伴って表示されている間に、オブジェクト配置基準が満たされていることを検出する（１６００６）（例えば、仮想オブジェクトが、デバイスの周囲の物理的環境のビューの上に半透明状態でサスペンドされている間に、仮想オブジェクトを配置するプレーンが識別される）。オブジェクト配置基準の検出を開始するのに更なるユーザー入力を必要とせずに、仮想オブジェクトが第１の１組の視覚特性を伴って（例えば、半透明状態で）表示されている間に、オブジェクト配置基準が満たされていることを検出することで、オブジェクト配置に必要な入力数を減少させる。動作を行うために必要な入力の数を減少させることにより、デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, the device detects that the object placement criterion is met while the representation of the virtual object is displayed with the first set of visual characteristics and the first orientation. (16006) (eg, a plane is identified in which to place the virtual object while the virtual object is suspended semi-transparently above a view of the physical environment around the device). While the virtual object is displayed with the first set of visual characteristics (e.g., in a translucent state) without requiring further user input to initiate detection of object placement criteria, the object Detecting when placement criteria are met reduces the number of inputs required for object placement. Improves device usability by reducing the number of inputs required to perform an action, making the user device interface more efficient and allowing users to use the device more quickly and efficiently Reduce your device's power usage and improve battery life.
一部の実施形態では、オブジェクトの配置基準が満たされていることの検出に応答して、デバイスは、表示生成コンポーネントを介して、第１の向きから第２の向きへ移る（例えば、回転する、スケーリングする、並進する、及び／又は上記の組合せ）と共に第１の１組の視覚特性を有することから第２の１組の視覚特性を有することへ変化する仮想オブジェクトの表現を示すアニメーション化された遷移を表示する（１６００８）。例えば、仮想オブジェクトを配置するプレーンがカメラの視野内で識別されると、仮想オブジェクトはその向き、サイズ、半透明性（等）を可視的に調整してそのプレーン上に配置される。（例えば、第１のユーザーインターフェース内で仮想オブジェクトの向きを変えるために更なるユーザー入力を必要とすることなく）第１の向きから第２の向きへアニメーション化された遷移を表示することで、オブジェクト配置に必要な入力数を減少させる。動作を行うために必要な入力の数を減少させることにより、デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, in response to detecting that object placement criteria are met, the device moves (e.g., rotates) from the first orientation to the second orientation via the display generation component. , scaling, translating, and/or a combination of the above) showing a representation of a virtual object changing from having a first set of visual characteristics to having a second set of visual characteristics. Display the transition (16008). For example, once a plane in which to place a virtual object is identified within the field of view of the camera, the virtual object is placed on that plane with visibly adjusting its orientation, size, translucency (etc.). displaying an animated transition from a first orientation to a second orientation (e.g., without requiring further user input to reorient the virtual object within the first user interface); Reduce the number of inputs required for object placement. Improves device usability by reducing the number of inputs required to perform an action, making the user device interface more efficient and allowing users to use the device more quickly and efficiently Reduce your device's power usage and improve battery life.
一部の実施形態では、オブジェクト配置基準が満たされていることの検出（１６０１０）は、１つ以上のカメラの視野内で平面が識別されたことの検出、（例えば、カメラの視野内の物理的環境の実質的に静止したビューに導く）少なくとも閾値時間にわたるデバイスと物理的環境との間の閾値移動量未満の検出、及び第１のユーザーインターフェース領域に仮想オブジェクトを表示させる要求を受信してから少なくとも所定の時間が経過したことの検出のうちの１つ以上を含む。（例えば、プレーンを検出するユーザー入力を必要とせずに１つ以上のカメラの視野内でプレーンを検出することによって）オブジェクト配置基準が満たされていることを検出することで、オブジェクト配置に必要な入力数を減少させる。動作を行うために必要な入力の数を減少させることにより、デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, detecting that the object placement criteria are met (16010) includes detecting that a plane has been identified within the field of view of one or more cameras (e.g., a physical plane within the field of view of the camera). detecting less than a threshold amount of movement between the device and the physical environment for at least a threshold amount of time (leading to a substantially stationary view of the physical environment), and receiving a request to display the virtual object in the first user interface area; detecting that at least a predetermined amount of time has elapsed since. Detecting that object placement criteria are met (e.g., by detecting a plane within the field of view of one or more cameras without requiring user input to detect the plane) Reduce the number of inputs. Improves device usability by reducing the number of inputs required to perform an action, making the user device interface more efficient and allowing users to use the device more quickly and efficiently Reduce your device's power usage and improve battery life.
一部の実施形態では、デバイスは、１つ以上のカメラの視野内で取り込まれた物理的環境の第１の部分（例えば、物理的環境の第１の部分は、半透明の仮想オブジェクトを通じてユーザーに見える）にわたって、仮想オブジェクトの表現が、第１の１組の視覚特性及び第１の向きを伴って表示される間に（例えば、仮想オブジェクトが、デバイスの周囲の物理的環境のビューの上に半透明状態でサスペンドされている間に）１つ以上のカメラの第１の移動（例えば、デバイスの周囲の物理的環境に対するデバイスの回転及び／又は並進）を検出する（１６０１２）。例えば、図１１Ｇ～１１Ｈにおいて、１つ以上のカメラは、仮想オブジェクト１１００２の半透明表現が表示されている間、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）移動する。カメラの視野６０３６内に取り込まれ、ユーザーインターフェースに表示される物理的環境の壁及びテーブルは、半透明性の仮想オブジェクト１１００２を通して見える。１つ以上のカメラの第１の移動を検出することに応答して、デバイスは、１つ以上のカメラの視野内に取り込まれる物理的環境の第２の部分にわたって第１の１組の視覚特性及び第１の向きを伴って仮想オブジェクトの表現を表示し（１６０１４）、ただし、物理的環境の第２の部分は、物理的環境の第１の部分とは異なる。例えば、カメラの視野内に示される物理的環境の上で浮かんでいる仮想オブジェクトの半透明バージョンが表示されている間に、カメラの視野内の物理的環境のビューは、デバイスが物理的環境に対して移動するときに、（例えば、半透明性の仮想オブジェクトの背後で）シフト及びスケーリングする。したがって、デバイスの移動中、仮想オブジェクトの半透明バージョンは、カメラの視野内の物理的環境のビューの並進及びスケーリングの結果として、視野内で表される物理的環境の異なる部分の上に重ね合わされる。例えば、図１１Ｈにおいて、カメラの視野６０３６は、図１１Ｇに表示される物理的環境５００２の第１の部分とは異なるの物理的環境５００２の第２の部分を表示する。図１１Ｇ～１１Ｈにおいて１つ以上のカメラの移動が生じるときに、仮想オブジェクト１１００２の半透明表現の向きは変化しない。１つ以上のカメラの移動の検出に応答して第１の向きで仮想オブジェクトを表示することにより、（例えば、１つ以上のカメラの視野内で取り込まれた物理的環境の一部が１つ以上のカメラの移動に応じて変化するときに、仮想オブジェクトは物理的環境に対して一定の位置にまだ配置されておらず、したがって移動しないことを示すために）ユーザーに視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、プレーンに対応する第２の向きでオブジェクトを配置する前に、仮想オブジェクトを操作する入力をしようするのを防ぐようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device captures a first portion of the physical environment captured within the field of view of the one or more cameras (e.g., the first portion of the physical environment is visible to the user through a translucent virtual object). while a representation of the virtual object is displayed with a first set of visual characteristics and a first orientation (e.g., the virtual object is displayed above a view of the device's surrounding physical environment). detecting (16012) a first movement of one or more cameras (eg, a rotation and/or translation of the device relative to a physical environment around the device); For example, in FIGS. 11G-11H, one or more cameras are operated while a translucent representation of
一部の実施形態では、デバイスは、１つ以上のカメラの視野内に取り込まれる物理的環境の第３の部分（例えば、物理的環境の第３の部分（例えば、仮想オブジェクトを支持する検出されたプレーンの一部）の直接ビューは、仮想オブジェクトによって遮られる）にわたって、仮想オブジェクトの表現が第２の１組の視覚特性及び第２の向きを伴って表示される間に（例えば、オブジェクト配置基準が満たされ、仮想オブジェクトがカメラの視野内の物理的環境内で検出されるプレーン上に配置された後に）、１つ以上のカメラの第２の移動（例えば、デバイスの周囲の物理的環境に対するデバイスの回転及び／又は並進）を検出する（１６０１６）。例えば、図１１Ｉ～１１Ｊにおいて、１つ以上のカメラは、仮想オブジェクト１１００２の非半透明表現が表示されている間に、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）移動する。デバイスの第２の移動の検出に応答して、デバイスは、１つ以上のカメラの視野内に取り込まれる物理的環境がデバイスの第２の移動に応じて移動する（例えば、シフトする及びスケーリングする）間、１つ以上のカメラの視野内に取り込まれる物理的環境の第３の部分にわたって第２の１組の視覚特性及び第２の向きを伴った仮想オブジェクトの表現の表示を維持し（１６０１８）、第２の向きは、１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応し続ける。例えば、仮想オブジェクトの非半透明性バージョンが、カメラの視野内で示される物理的環境内で検出されるプレーン上の静止位置でドロップされた後、仮想オブジェクトの位置及び向きは、カメラの視野内の物理的環境に対して固定され、仮想オブジェクトは、デバイスが物理的環境に対して移動するときにカメラの視野内の物理的環境と共にシフト及びスケーリングする（例えば、仮想オブジェクト１１００２の非半透明表現は、図１１Ｉ～１１Ｊ中で１つ以上のカメラの移動が起こるときに、物理的環境５００２内の床面に対してある向きで固定されたままである）。１つ以上のカメラの移動の検出に応答して第２の向きで仮想オブジェクトの表示を維持することにより、（例えば、仮想オブジェクトは、物理的環境に対して一定の位置に配置され、したがって、１つ以上のカメラの移動に応じて、１つ以上のカメラの視野内に取り込まれる物理的環境の一部が変化するときに移動することを示すために）ユーザーに視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、プレーンに対応する第２の向きで配置された仮想オブジェクトについての適切な入力を提供するようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device captures a third portion of the physical environment (e.g., a third portion of the physical environment (e.g., a detected object supporting a virtual object) that is captured within the field of view of the one or more cameras. the direct view of a portion of the plane) that is occluded by the virtual object), while a representation of the virtual object is displayed with a second set of visual characteristics and a second orientation (e.g., object positioning). A second movement of the one or more cameras (e.g., after the criteria are met and the virtual object is placed on a plane that is detected within the physical environment within the field of view of the camera) 16016). For example, in FIGS. 11I-11J, one or more cameras are moved while a non-transparent representation of
一部の実施形態では、オブジェクト配置基準が満たされている（例えば、オブジェクト配置基準は、第１のユーザーインターフェース領域内の１つ以上のカメラの視野に対して仮想オブジェクトを配置する位置又はプレーンでデバイスが識別されていないときに満たされる）との判定に応じて、デバイスは、（例えば、下げられた半透明性レベル、又はより高い輝度レベル、又はより高い彩度レベル等で）第２の１組の視覚特性を有すると共に１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応する第２の向きを有する仮想オブジェクトの表現を表示すると共に、（例えば、デバイスの１つ以上の触知出力発生器を用いて）触知出力を生成する（１６０２０）（例えば、触知出力の発生は、仮想オブジェクトの非半透明の外観への遷移の完了、並びに物理的環境内で検出されるプレーン上のドロップ位置に在る仮想オブジェクトの回転及び並進の完了と同期される）。例えば、図１１Ｉに示すように、仮想オブジェクト１１００２に対応するプレーン（例えば、床面５０３８）に付された仮想オブジェクト１１００２の非半透明表現を表示すると共に、１１０１０で示す触知出力が生成される。オブジェクト配置基準が満たされているとの判定に応じて、触知出力を生成することにより、（例えば、仮想オブジェクトを配置する動作がうまく実行されたことを示す）改善された触覚的フィードバックをユーザーに提供する。改善されたフィードバックをユーザーに提供することにより、（例えば、ユーザーインターフェースを表示情報で乱すことなくオブジェクト配置基準が満たされたことをユーザーが知覚することを可能にする感覚情報を提供することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, object placement criteria are met (e.g., the object placement criteria are locations or planes in which to place the virtual object relative to the field of view of the one or more cameras within the first user interface area). In response to the determination that the device is not identified (satisfied when the device is not identified), the device may perform a second displaying a representation of a virtual object having a set of visual characteristics and a second orientation corresponding to a plane in the physical environment detected within the field of view of one or more cameras (e.g., one of the devices); generating (16020) a tactile output (using one or more tactile output generators) (e.g., generation of the tactile output may occur upon completion of the transition to a non-transparent appearance of the virtual object, as well as within the physical environment); (synchronized with the completion of the rotation and translation of the virtual object at the drop position on the plane detected by ). For example, as shown in FIG. 11I, a non-transparent representation of
一部の実施形態では、第２の１組の視覚特性を伴うと共に１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応する第２の向きを伴った仮想オブジェクトの表現を表示している間に、デバイスは、１つ以上のカメラの視野内で検出される物理的環境内のプレーンの少なくとも位置又は向きに関する更新を受信する（１６０２２）（例えば、更新されたプレーンの位置及び向きは、最初のプレーン検出結果を使用して仮想オブジェクトを配置した後に蓄積された追加データ、又はより時間がかかる計算方法（例えば、より少ない近似等）に基づくより正確な計算の結果である）。１つ以上のカメラの視野内で検出される物理的環境内のプレーンの少なくとも位置又は向きに関する更新の受信に応答して、デバイスは、更新に応じて仮想オブジェクトの表現の少なくとも位置及び／又は向きを調整する（例えば、更新されたプレーンにより近い仮想オブジェクトを徐々に移動（例えば、並進及び回転）させる）（１６０２４）。（例えば、プレーンに対して仮想オブジェクトを配置するユーザー入力を必要とせずに）物理的環境内のプレーンに関する更新の受信に応答して仮想オブジェクトの位置及び／又は向きを調整することにより、仮想オブジェクトの調整に必要な入力数を減少させる。動作を行うために必要な入力の数を減少させることにより、デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, a representation of the virtual object with a second set of visual characteristics and a second orientation corresponding to a plane in the physical environment detected within the field of view of the one or more cameras. While displaying the updated plane, the device receives (16022) an update regarding at least the position or orientation of a plane in the physical environment detected within the field of view of the one or more cameras (e.g., The position and orientation may be the result of additional data accumulated after positioning the virtual object using the initial plane detection results, or more accurate calculations based on more time-consuming calculation methods (e.g. fewer approximations). be). In response to receiving an update regarding at least the position or orientation of a plane in the physical environment detected within the field of view of the one or more cameras, the device determines at least the position and/or orientation of the representation of the virtual object in response to the update. (eg, gradually move (eg, translate and rotate) the virtual object closer to the updated plane) (16024). By adjusting the position and/or orientation of the virtual object in response to receiving updates regarding a plane in the physical environment (e.g., without requiring user input to position the virtual object relative to the plane) Reduce the number of inputs required for adjustment. Improves device usability by reducing the number of inputs required to perform an action, making the user device interface more efficient and allowing users to use the device more quickly and efficiently Reduce your device's power usage and improve battery life.
一部の実施形態では、第１の１組の視覚特性は、第１のサイズと、第１の半透明レベルとを含み（１６０２６）（例えば、ＡＲビューの中におろされてしまう前、オブジェクトは、ディスプレイに対する一定のサイズと、一定の高い半透明レベルとを有し）、第２の１組の視覚特性は、第１のサイズとは異なるの第２のサイズ（例えば、ＡＲビューにおろされると、オブジェクトは、物理的環境内のサイズ及びドロップ位置に関してシミュレートされた物理的サイズで表示される）と、第１の半透明レベル（例えば、オブジェクトは、ＡＲビューにおいてもはや半透明でない）よりも低い（例えばそれよりも不透明な）第２の半透明レベルとを含む（１６０２８）。例えば、図１１Ｈにおいて、仮想オブジェクト１１００２の半透明表現は第１のサイズで示され、図１１Ｉにおいて、仮想オブジェクト１１００４の非半透明表現は第２の（より小さい）サイズで示される。オブジェクト配置基準が満たされたか否かに応じて、第１のサイズ及び第１の半透明レベル、又は第２のサイズ及び第２の半透明レベルで、仮想オブジェクトを表示することにより、（例えば、仮想オブジェクトを表示する要求が受信されているが、１つ以上のカメラの視野内に仮想オブジェクトを配置するために追加の時間及び／又は較正情報が必要とされていることを示すために）ユーザーへの視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、適切な入力を提供し、プレーンに対応する第２の向きでオブジェクトを配置する前に仮想オブジェクトを操作する入力をしようするのを防ぐようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the first set of visual characteristics includes a first size and a first translucency level (16026) (e.g., the object has a constant size for the display and a constant high level of translucency), and a second set of visual characteristics differs from the first size (e.g. the object is displayed at a simulated physical size with respect to its size in the physical environment and the drop location) and a first translucency level (e.g., the object is no longer translucent in the AR view). (16028) and a second translucency level that is less than (eg, more opaque than). For example, in FIG. 11H, a translucent representation of
一部の実施形態では、仮想オブジェクトが、１つ以上のカメラの視野のうちの少なくとも一部を含まないそれぞれのユーザーインターフェース（例えば、ステージングユーザーインターフェース）に表示されている間に（例えば、仮想オブジェクトは、デバイスの物理的環境から独立している向きを有する仮想ステージに対して向けられる）、１つ以上のカメラの視野のうちの少なくとも一部を含む第１のユーザーインターフェース領域（例えば、ＡＲビュー）に仮想オブジェクトを表示する要求が受信される（１６０３０）。第１の向きは、仮想オブジェクトの向きに対応し、一方、仮想オブジェクトは、要求が受信された時点でそれぞれのユーザーインターフェースに表示される。例えば、図１１Ｆに関して説明したように、（カメラの視野を含まない）ステージングユーザーインターフェース６０１０が表示されている間に、カメラの視野６０３６を含むユーザーインターフェースに仮想オブジェクト１１００２を表示する要求が受信される。図１１Ｇの仮想オブジェクト１１００２の向き（仮想オブジェクト１１００２は、カメラの視野６０３６を含むユーザーインターフェース内に表示される）は、図１１Ｆの仮想オブジェクト１１００２の向きに対応する（仮想オブジェクト１１００２は、ステージングユーザーインターフェース６０１０に表示される）。（予め表示した）インターフェース（例えば、ステージングユーザーインターフェース）に表示されるような仮想オブジェクトの向きに対応する向きで、第１のユーザーインターフェース（例えば、表示される拡張現実ビュー）に仮想オブジェクトを表示することにより、（例えば、ステージングユーザーインターフェースが表示されている間に与えられたオブジェクト操作入力を使用して、ＡＲビュー内にオブジェクトの向きを確立することができることを示すために）ユーザーに視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、プレーンに対応する第２の向きでオブジェクトを配置する前に、適切な入力を提供し、仮想オブジェクトを操作する入力をしようするのを防ぐようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, while the virtual object is displayed in a respective user interface (e.g., a staging user interface) that does not include at least a portion of the field of view of one or more cameras (e.g., the virtual object a first user interface area that includes at least a portion of the field of view of one or more cameras (e.g., an AR view oriented with respect to a virtual stage having an orientation that is independent of the physical environment of the device); ) is received (16030). The first orientation corresponds to an orientation of the virtual object while the virtual object is displayed in a respective user interface at the time the request is received. For example, as described with respect to FIG. 11F, while the staging user interface 6010 (which does not include a camera field of view) is being displayed, a request to display
一部の実施形態では、第１の向きは、所定の向き（例えば、１つ以上のカメラの視野のうちの少なくとも一部を含まないそれぞれのユーザーインターフェース内に最初に仮想オブジェクトを表示するときに仮想オブジェクトが表示される向きなどのデフォルトの向き）に対応する（１６０３２）。第１のユーザーインターフェース（例えば、表示される拡張現実ビュー）に第１の１組の視覚特性及び所定の向きを伴って仮想オブジェクトを表示することで（例えば、ステージングユーザーインターフェースに確立される向きに応じて半透明表現をレンダリングするのではなく、予め生成された仮想オブジェクトの半透明表現を表示することを可能にすることによって）、デバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, the first orientation is a predetermined orientation (e.g., when initially displaying the virtual object within the respective user interface that does not include at least a portion of the field of view of the one or more cameras). (16032) corresponds to the default orientation (such as the orientation in which the virtual object is displayed). By displaying a virtual object with a first set of visual characteristics and a predetermined orientation in a first user interface (e.g., a displayed augmented reality view) (e.g., an orientation established in a staging user interface). (by enabling display of pre-generated translucent representations of virtual objects rather than rendering translucent representations accordingly), reducing device power usage and improving battery life.
一部の実施形態では、第１のユーザーインターフェース領域（例えば、ＡＲビュー）に第２の１組の視覚特性と１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応する第２の向きとを伴って仮想オブジェクトを表示する間に、デバイスは、１つ以上のカメラの視野内に取り込まれる物理的環境に対して第１のシミュレートされた物理的サイズから第２のシミュレートされた物理的サイズへ（例えば、デフォルトサイズの８０％からデフォルトサイズの１２０％へ、又はその逆へ）（例えば、スケーリング入力（例えば、仮想オブジェクトに向けられるピンチ又はデピンチジェスチャ）の結果として）仮想オブジェクトのシミュレートされた物理的サイズを変更する要求を検出する（１６０３４）。例えば、仮想オブジェクト１１００２のシミュレートされた物理的サイズを減少させる入力は、図１１Ｎ～１１Ｐに関して説明したようなピンチジェスチャである。仮想オブジェクトのシミュレートされた物理的サイズを変更する要求の検出に応答して、デバイスは、第１のシミュレートされた物理的サイズから第２のシミュレートされた物理的サイズへ仮想オブジェクトのシミュレートされた物理的サイズの徐々の変化に応じて、第１のユーザーインターフェース領域内の仮想オブジェクトの表現の表示サイズを徐々に変化させ（１６０３６）（例えば、１つ以上のカメラの視野内で取り込まれる物理的環境の表示サイズが変わらないままである一方で、仮想オブジェクトの表示サイズは拡大又は縮小し）、第１のユーザーインターフェース領域内の仮想オブジェクトの表現の表示サイズが徐々に変化している間、仮想オブジェクトのシミュレートされた物理的サイズが所定のシミュレートされた物理的サイズ（例えば、デフォルトサイズの１００％）に達したとの判定に応じて、デバイスは、仮想オブジェクトのシミュレートされた物理的サイズが所定のシミュレートされた物理的サイズに達したことを示すための触知出力を生成する。例えば、図１１Ｎ～１１Ｐに関して説明したように、ピンチジェスチャ入力に応答して、仮想オブジェクト１１００２の表現の表示サイズが徐々に減少する。図１１Ｏにおいて、仮想オブジェクト１１００２の表現の表示サイズが、仮想オブジェクト１１００２のサイズ（例えば、図１１Ｉに示すように、１つ以上のカメラの視野６０３６を含むユーザーインターフェースに当初表示されたような仮想オブジェクト１１００２のサイズ）の１００％に達したときに、１１０２４で示すように触知出力が生成される。仮想オブジェクトのシミュレートされた物理的サイズが所定のシミュレートされた物理的サイズに達したとの判定に応じて触知出力を生成することにより、（例えば、仮想オブジェクトのシミュレートされたサイズを所定サイズに戻す更なる入力が必要とされないことを示すために）ユーザーにフィードバックを提供する。改善された触覚的フィードバックを提供することにより、（例えば、ユーザーインターフェースを表示情報で乱すことなく仮想オブジェクトの所定のシミュレートされた物理的サイズに達したことをユーザーが知覚することを可能にする感覚情報を提供することによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the first user interface area (e.g., an AR view) has a second set of visual characteristics corresponding to a plane in the physical environment detected within the field of view of the one or more cameras. While displaying the virtual object with a second orientation, the device adjusts the virtual object from a first simulated physical size to a second simulated physical size relative to a physical environment captured within the field of view of the one or more cameras. The result of a scaling input (e.g., a pinch or de-pinch gesture directed at a virtual object) to a simulated physical size (e.g., from 80% of the default size to 120% of the default size, or vice versa) detecting (16034) a request to change the simulated physical size of a virtual object (as a virtual object); For example, the input that reduces the simulated physical size of
いくつかの実施形態では、所定の擬似的な物理サイズとは異なるの仮想オブジェクトの第２の擬似的な物理サイズ（例えば、スケーリング入力（例えば、仮想オブジェクトへ向けられたピンチ又はデピンチジェスチャ）の結果として、デフォルトサイズの１２０％、又は、デフォルトサイズの８０％）において、第１のユーザーインターフェース領域（例えば、ＡＲビュー）内に仮想オブジェクトを表示している間、デバイスは、仮想オブジェクトを所定の擬似的な物理サイズへ戻す要求を検出する（例えば、（仮想オブジェクト、又は、仮想オブジェクトの外部の）タッチスクリーン上におけるタップ又は二重タップ入力を検出する）（１６０３８）。例えば、（図１１Ｎ～図１１Ｐに関して説明されるように、）ピンチ入力が、仮想オブジェクト１１００２を小型化した後、（図１１Ｒに関して説明されるように、）仮想オブジェクト１１００２に対応する場所において、二重タップ入力が検出される。仮想オブジェクトを所定の擬似的な物理サイズへ戻す要求を検出することに応じて、デバイスは、仮想オブジェクトの擬似的な物理サイズの変化にしたがって、第１のユーザーインターフェース領域内の仮想オブジェクトの表現の表示サイズを、所定の擬似的な物理サイズへ変更する（例えば、表示された仮想オブジェクトのサイズが拡大又は縮小する一方、１つ以上のカメラの視野においてキャプチャされた物理的環境の表示サイズは変わらないままである）（１６０４０）。例えば、図１１Ｒに関して説明される二重タップ入力に応じて、仮想オブジェクト１１００２のサイズは、図１１Ｉに表示されるような仮想オブジェクト１１００２のサイズ（１つ以上のカメラの視野６０３６を含むユーザーインターフェースに元々表示されていたような仮想オブジェクト１１００２のサイズ）へ戻る。いくつかの実施形態では、仮想オブジェクトの擬似的な物理サイズが、所定の擬似的な物理サイズ（例えば、デフォルトサイズの１００％）に達したとの判定にしたがって、デバイスは、仮想オブジェクトの擬似的な物理サイズが、所定の擬似的な物理サイズに達したことを示す触知出力を生成する。（例えば、表示サイズを調節するために提供された入力が、仮想オブジェクトを、所定の擬似的な物理サイズにおいて表示するために十分である場合を推定するようにユーザーへ要求するのではなく、表示サイズを、所定の擬似的な物理サイズへ正確に調節するオプションを提供することによって、）仮想オブジェクトを所定の擬似的な物理サイズへ戻す要求を検出することに応じて、仮想オブジェクトの表示サイズを、所定のサイズへ変更することは、オブジェクトを表示するために必要とされる入力数を、所定のサイズへ低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、さらに、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, a second pseudo-physical size of the virtual object that is different from the predetermined pseudo-physical size (e.g., a scaling input (e.g., a pinch or de-pinch gesture directed toward the virtual object)) As a result, while displaying a virtual object within a first user interface area (e.g., an AR view) at 120% of the default size, or 80% of the default size, the device may A request to revert to a pseudo physical size is detected (eg, a tap or double tap input on a touch screen (of the virtual object or external to the virtual object) is detected) (16038). For example, after a pinch input reduces the size of virtual object 11002 (as described with respect to FIGS. 11N-11P), a pinch input reduces the size of virtual object 11002 (as described with respect to FIG. Double tap input is detected. In response to detecting a request to return the virtual object to a predetermined pseudo-physical size, the device adjusts the representation of the virtual object in the first user interface area according to the change in the pseudo-physical size of the virtual object. Changing the display size to a predetermined pseudo-physical size (e.g., the displayed virtual object grows or shrinks in size while the display size of the physical environment captured in the field of view of one or more cameras changes) (16040). For example, in response to a double-tap input as described with respect to FIG. The size of the
いくつかの実施形態では、デバイスは、物理的環境に対する１つ以上のカメラのそれぞれの位置及び向き（例えば、オブジェクト配置基準が満たされる時における現在の位置及び向き）にしたがって、第２の１組の視覚特性を用いて第２の仮想オブジェクトの表現の方位を設定するためのプレーンを選択し、プレーンを選択することは、（例えば、デバイスが、物理的環境における第１の方向を示す結果として）１つ以上のカメラの視野においてキャプチャされた物理的環境の第１の部分の上方に仮想オブジェクトの表現が表示された（例えば、半透明のオブジェクトのベースが、物理的環境の第１の部分におけるプレーンとオーバラップしている）場合に、オブジェクト配置基準が満たされているとの判定にしたがって、（例えば、オブジェクトのベースと、ディスプレイ上の第１のプレーンとの間のより大きな接近と、第１のプレーンと、物理ワールドにおける物理的環境の第１の部分との間のより大きな接近にしたがって）１つ以上のカメラの視野における物理的環境において検出された多数のプレーンのうちの第１のプレーンを、第２の１組の視覚特性を用いて仮想オブジェクトの第２の表現の向きを設定するためのプレーンとして選択することと、（例えば、デバイスが、物理的環境における第２の方向を示す結果として）１つ以上のカメラの視野においてキャプチャされた物理的環境の第２の部分の上方に仮想オブジェクトの表現が表示された（例えば、半透明のオブジェクトのベースが、物理的環境の第２の部分におけるプレーンとオーバラップしている）場合に、オブジェクト配置基準が満たされているとの判定にしたがって、（例えば、オブジェクトのベースと、ディスプレイ上の第２のプレーンとの間のより大きな接近、及び、第２のプレーンと、物理ワールドにおける物理的環境の第２の部分との間のより大きな接近にしたがって、）１つ以上のカメラの視野における物理的環境において検出された多数のプレーンのうちの第２のプレーンを、視覚特性の第２の１組を用いて仮想オブジェクトの第２の表現の向きを設定するためのプレーンとして選択することとを含み、物理的環境の第１の部分は、物理的境の第２の部分とは異なり、第１のプレーンは、第２のプレーンとは異なる（１６０４２）。（例えば、検出された多くのプレーンのうちのどれが、仮想オブジェクトが設定されたプレーンであるかを指定するユーザー入力を必要とすることなく、）仮想オブジェクトが設定されるプレーンとして、第１のプレーン又は第２のプレーンを選択することは、プレーンを選択するために必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device configures the second set according to the respective positions and orientations of the one or more cameras relative to the physical environment (e.g., the current positions and orientations at the time the object placement criteria are met). Selecting a plane for orienting the representation of the second virtual object using the visual properties of ) a representation of the virtual object is displayed above a first portion of the physical environment captured in the field of view of one or more cameras (e.g., the base of a translucent object is (e.g., greater proximity between the base of the object and a first plane on the display). The first of a number of planes detected in the physical environment in the field of view of the one or more cameras (according to the greater proximity between the first plane and the first part of the physical environment in the physical world) selecting a plane for orienting a second representation of a virtual object using a second set of visual characteristics (e.g. a representation of a virtual object is displayed above a second portion of the physical environment captured in the field of view of one or more cameras (e.g., the base of a translucent object according to the determination that the object placement criterion is met (e.g., the distance between the base of the object and the second plane on the display) (according to the greater proximity and the greater proximity between the second plane and the second part of the physical environment in the physical world) selecting a second plane of the planes as a plane for orienting a second representation of the virtual object using a second set of visual properties; is different from the second part of the physical boundary, and the first plane is different from the second plane (16042). The first plane is selected as the plane in which the virtual object is set (e.g., without requiring user input to specify which of many detected planes is the plane in which the virtual object is set). Selecting a plane or a second plane reduces the number of inputs required to select a plane. Reducing the number of inputs required to perform an operation increases the usability of the device and makes the user device interface more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、デバイスは、第２の１組の視覚特性と第２の向きを用いて、第１のユーザーインターフェース領域（例えば、ＡＲビュー）内に仮想オブジェクトを表示することと同時に、スナップショットアフォーダンス（例えば、カメラシャッターボタン）を表示する（１６０４４）。スナップショットアフォーダンスの活性化に応じて、デバイスは、１つ以上のカメラの視野における物理的環境における配置場所において、第２の１組の視覚特性と、１つ以上のカメラのビューの視野内で検出された物理的環境におけるプレーンに対応する第２の向きとを用いて、仮想オブジェクトの表現の現在のビューを含むスナップショット画像をキャプチャする（１６０４６）。現在のオブジェクトのビューのスナップショット画像をキャプチャするためスナップショットアフォーダンスを表示することは、オブジェクトのスナップショット画像をキャプチャするために必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device simultaneously displays the virtual object within the first user interface area (e.g., an AR view) using a second set of visual characteristics and a second orientation; A snapshot affordance (eg, camera shutter button) is displayed (16044). In response to activation of the snapshot affordance, the device has a second set of visual characteristics at a location in the physical environment in the field of view of the one or more cameras; A snapshot image is captured (16046) that includes a current view of the representation of the virtual object using a second orientation corresponding to a plane in the detected physical environment. Displaying a snapshot affordance to capture a snapshot image of the current view of an object reduces the number of inputs required to capture a snapshot image of the object. Reducing the number of inputs required to perform an operation increases the usability of the device and makes the user device interface more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、デバイスは、第１のユーザーインターフェース領域内に、第２の１組の視覚特性を有する仮想オブジェクトの表現とともに、１つ以上の制御アフォーダンス（例えば、ステージングユーザーインターフェースへスイッチバックするためのアフォーダンス、ＡＲビューワから出るためのアフォーダンス、スナップショットをキャプチャするためのアフォーダンス等）を表示する（１６０４８）。例えば、図１１Ｊでは、バック制御６０１６、トグル制御６０１８、及びシェア制御６０２０を含む制御のセットが表示される。第２の１組の視覚特性を有する仮想オブジェクトの表現とともに、１つ以上の制御アフォーダンスを表示している間、デバイスは、制御フェイディング基準が満たされている（例えば、閾値時間の間、（例えば、デバイスの移動及びカメラの視野に対する更新とともに、又は、デバイスの移動及びカメラの視野に対する更新なく）タッチ感知面においてユーザー入力が検出されなかった）ことを検出する（１６０５０）。制御フェージング基準が満たされていることを検出することに応じて、デバイスは、１つ以上のカメラの視野を含む第１のユーザーインターフェース領域内に、第２の１組の視角特性を有する仮想オブジェクトの表現の表示を継続している間、１つ以上の制御アフォーダンスを表示することを停止する（１６０５２）。例えば、図１１Ｋ～図１１Ｌに関して説明されるように、閾値時間の間、ユーザー入力が検出されない場合、制御６０１６、６０１８、６０２０は、徐々に、フェードアウトし、表示されないようになる。いくつかの実施形態において、制御アフォーダンスがフェードアウェイされた後、タッチ感知面におけるタップ入力、又は、仮想オブジェクトとの相互作用が、デバイスに対して、第１のユーザーインターフェース領域内に、仮想オブジェクトの表現と同時に、制御アフォーダンスを再表示させる。制御フェージング基準が満たされているとの判定に応じて、制御の表示を自動的に停止することは、制御の表示を停止するために必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device includes one or more control affordances (e.g., a switchback to a staging user interface) along with a representation of a virtual object having a second set of visual characteristics within the first user interface area. (16048). For example, in FIG. 11J, a set of controls is displayed that includes a
いくつかの実施形態では、第１のユーザーインターフェース領域内に仮想オブジェクトを表示するための要求に応じて、第１のユーザーインターフェース領域に含まれている１つ以上のカメラの視野の少なくとも一部の上方に、仮想オブジェクトの表現を表示する前に、（例えば、１つ以上のカメラの視野においてキャプチャされた物理的環境のための寸法及び空間関係データを生成するために、異なる視野角度からの十分な量の画像が存在しないので、）較正基準が満たされていないとの判定にしたがって、デバイスは、物理的環境に対してデバイスを移動させるための、ユーザーのためのプロンプトを表示する（例えば、方法１７０００を参照して以下により詳細に説明されるように、（例えば、較正ユーザーインターフェースオブジェクトが１つ以上のカメラの視野の、ぶれた画像にオーバレイされる）第１のユーザーインターフェース領域内に、デバイスを移動させるための視覚的なプロンプトを表示し、オプションとして、較正ユーザーインターフェースオブジェクト（例えば、デバイスの移動にしたがって移動する弾力性ワイヤフレームボール又は立方体）を表示する）（１６０５４）。物理的環境に対してデバイスをユーザーが移動させるためのプロンプトを表示することは、（例えば、カメラの視野に仮想オブジェクトを配置するための情報を取得するために、デバイスの移動が必要とされることを示すために、）視覚的フィードバックをユーザーへ提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが較正入力を提供することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する）。
In some embodiments, in response to a request to display a virtual object within the first user interface area, at least a portion of the field of view of one or more cameras included in the first user interface area Above, before displaying a representation of the virtual object, sufficient data from different viewing angles are generated to generate dimensional and spatial relationship data for the physical environment captured in the field of view of one or more cameras (e.g. Upon determining that the calibration criteria are not met (because there is no sufficient amount of images), the device displays a prompt for the user to move the device relative to the physical environment (e.g. within a first user interface region (e.g., in which a calibration user interface object is overlaid on a blurred image of the field of view of one or more cameras), as described in more detail below with reference to
図１６Ａ～図１６Ｇにおける動作が説明されている特定の順序は単なる例であり、説明された順序は、これら動作が実行され得る唯一の順序であることを示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１７０００、１８０００、１９０００、及び２００００）に関して本明細書で説明された他の処理の詳細はまた、図１６Ａ～図１６Ｇに関して上述された方法１６０００に類似の方式でも適用可能であることが注目されるべきである。例えば、方法１６０００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡潔のために、これら詳細は、本明細書では繰り返されない。
It is understood that the particular order in which the operations in FIGS. 16A-16G are described is merely an example, and the described order is not intended to indicate that the operations are the only order in which the operations may be performed. It should be. Those skilled in the art will recognize various techniques for reordering the operations described herein. In addition, other processing details described herein with respect to other methods described herein (e.g.,
図１７Ａ～図１７Ｄは、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化される較正ユーザーインターフェースオブジェクトを表示する方法１７０００を例示するフロー図である。方法１７０００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）、１つ以上の入力デバイス（例えば、タッチ感知面、又は、表示生成コンポーネントとタッチ感知面との両方として役立つタッチスクリーンディスプレイ）、１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面から反対側のデバイスの側面上の１つ以上の背面カメラ）、及び、１つ以上のカメラを含むデバイスの姿勢における変化（例えば、周囲の物理的環境に対する向き（例えば、回転、ヨー、及び／又は、傾斜角度）及び位置）を検出するための１つ以上の姿勢センサ（例えば、加速度計、ジャイロスコープ、及び／又は、磁力計）、を有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００）において実行される。方法１７０００におけるいくつかの動作は、オプションで、組み合わされ、及び／又は、いくつかの動作の順序は、オプションで、変更される。
17A-17D are flow diagrams illustrating a
デバイスは、１つ以上のカメラの視野（例えば、視野は、物理的環境の少なくとも一部をキャプチャする）の表現を含む第１のユーザーインターフェース領域内に、物理的環境（例えば、１つ以上のカメラを含むデバイスの周囲の物理的環境）の拡張現実ビューを表示するための要求を受信する（１７００２）。いくつかの実施形態では、この要求は、仮想オブジェクトのステージングビューから、仮想オブジェクトの、拡張現実ビューへ切り換えるためのボタンにおいて検出されたタップ入力である。いくつかの実施形態では、この要求は、二次元ユーザーインターフェース内に、仮想オブジェクトの表現の隣に表示される、拡張現実アフォーダンスの選択である。いくつかの実施形態では、この要求は、拡張現実測定アプリケーション（例えば、物理的環境の測定を容易にする測定アプリ）の活性化である。例えば、この要求は、図１２Ａに関して説明されるように、１つ以上のカメラの視野６０３６に、仮想オブジェクト１１００２を表示するために、トグル６０１８において検出されたタップ入力である。
The device includes a first user interface area that includes a representation of the one or more cameras' fields of view (e.g., the fields of view capture at least a portion of the physical environment). A request to display an augmented reality view of a physical environment surrounding a device (including a camera) is received (17002). In some embodiments, the request is a detected tap input on a button to switch from a staging view of the virtual object to an augmented reality view of the virtual object. In some embodiments, the request is the selection of an augmented reality affordance to be displayed next to the representation of the virtual object within the two-dimensional user interface. In some embodiments, the request is activation of an augmented reality measurement application (eg, a measurement app that facilitates measurements of the physical environment). For example, the request is a detected tap input on
物理的環境の拡張現実ビューを表示するための要求を受信することに応じて、デバイスは、１つ以上のカメラの視野の表現を表示する（例えば、デバイスは、較正基準が満たされていない場合、１つ以上のカメラの視野に、物理的環境のぶれたバージョンを表示する）（１７００４）。例えば、デバイスは、図１２Ｅ－１に図示されるように、１つ以上のカメラの視野６０３６のぶれた表現を表示する。（例えば、１つ以上のカメラの視野においてキャプチャされた物理的環境のための寸法及び空間関係データを生成するために、（例えば、異なる視野角度からの）十分な量の画像データが存在しないので、仮想オブジェクトに対応するプレーンが、１つ以上のカメラの視野内で検出されないので、及び／又は、カメラから利用可能な画像データに基づいて、プレーン検出を開始又はプレーン検出とともに進めるための十分な情報が存在しないので、）物理的環境の拡張現実ビューのための較正基準が満たされていないとの判定にしたがって、デバイスは、（例えば、表示生成コンポーネントによって、及び、（例えば、視野のぶれたバージョンのような）１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内に）物理的環境における１つ以上のカメラの移動にしたがって動的にアニメーション化される較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）を表示する。例えば、図１２Ｅ－１ないし図１２Ｉ－１において、較正ユーザーインターフェースオブジェクト１２０１４が表示される。１つ以上のカメラの移動に従う較正ユーザーインターフェースオブジェクトのアニメーションは、例えば、図１２Ｅ－１ないし図１２Ｆ－１に関して説明される。いくつかの実施形態では、１つ以上のカメラの視野において、１つ以上のプレーン（例えば、床、壁、テーブル等）を検出するために、１つ以上のカメラの視野を分析することは、拡張現実ビューの表現を表示するための要求に対応する入力の初期部分が受信された場合に生じる。いくつかの実施形態では、分析することは、この要求を受信する前（例えば、仮想オブジェクトがステージングビューに表示されている間）に生じる。較正ユーザーインターフェースオブジェクトを表示することは、較正ユーザーインターフェースオブジェクトを表示している間、１つ以上の姿勢センサによって、物理的環境における１つ以上のカメラの姿勢（例えば、場所及び／又は向き（例えば、回転、傾斜、ヨー角））における変化を検出することと、物理的環境における１つ以上のカメラの姿勢における変化を検出することに応じて、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）の少なくとも１つの表示パラメータ（例えば、ディスプレイにおける向き、サイズ、回転、又は場所）を調節することと、を含む。例えば、図１２Ｅ－２ないし図１２Ｆ－２にそれぞれ対応する図１２Ｅ－１ないし図１２Ｆ－１は、物理的環境５００２に対するデバイス１００の横移動と、デバイスの１つ以上のカメラの、表示された視野６０３６における対応する変化とを例示する。図１２Ｅ－２ないし図１２Ｆ－２では、較正ユーザーインターフェースオブジェクト１２０１４は、１つ以上のカメラの移動に応じて回転する。
In response to receiving a request to display an augmented reality view of the physical environment, the device displays a representation of the field of view of one or more cameras (e.g., if the calibration criteria are not met, the device , displaying a blurred version of the physical environment in the field of view of one or more cameras) (17004). For example, the device displays a blurred representation of one or more cameras' fields of
物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、ディスプレイ上を移動する較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）を表示している間、デバイスは、較正基準が満たされていないことを検出する（１７００６）。例えば、図１２Ｅ～図１２Ｊに関して説明されるように、デバイスは、図１２Ｅ－１ないし図１２Ｉ－１から生じるデバイスの移動に応じて、較正基準が満たされていることを判定する。 displaying a calibrated user interface object (e.g., a scan prompt object such as a bouncy cube or wireframe object) that moves on the display according to a detected change in the pose of the one or more cameras in the physical environment; During the process, the device detects that the calibration criteria are not met (17006). For example, as described with respect to FIGS. 12E-12J, the device determines that the calibration criteria are met in response to movement of the device resulting from FIGS. 12E-1 through 12I-1.
較正基準が満たされていることを検出することに応じて、デバイスは、較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）の表示を停止する（１７００８）。いくつかの実施形態では、デバイスが、較正ユーザーインターフェースオブジェクトの表示を停止した後、デバイスは、カメラの視野の表現を、ぶれなく表示する。いくつかの実施形態では、仮想オブジェクトの表現は、カメラの視野のぶれのない表現の上方に表示される。例えば、図１２Ｊにおいて、図１２Ｅ－１ないし図１２Ｉ－１に関して説明されるデバイスの移動に応じて、較正ユーザーインターフェースオブジェクト１２０１４は、もはや表示されず、仮想オブジェクト１１００２が、カメラの視野の、ぶれのない表現６０３６にわたって表示される。１つ以上のカメラ（例えば、デバイスの物理的環境をキャプチャするデバイスカメラ）の移動にしたがって較正ユーザーインターフェースオブジェクトの表示パラメータを調節することは、（例えば、較正のためにデバイスの移動が必要とされていることを示すために）視覚的フィードバックをユーザーへ提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、較正基準を満たすために必要とされる情報を提供する方式で、ユーザーがデバイスを移動させることを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In response to detecting that the calibration criteria are met, the device stops displaying the calibration user interface object (e.g., a scan prompt object such as a resilient cube or wireframe object) (17008). . In some embodiments, after the device stops displaying the calibration user interface objects, the device displays a representation of the camera's field of view without blur. In some embodiments, a representation of the virtual object is displayed above a steady representation of the camera's field of view. For example, in FIG. 12J, in response to the movement of the device described with respect to FIGS. 12E-1 through 12I-1, calibration
いくつかの実施形態では、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内に、物理的環境（例えば、１つ以上のカメラを含むデバイスの周囲の物理的環境）の拡張現実ビューを表示するための要求は、物理的環境の拡張現実ビューにおける仮想三次元オブジェクト（例えば、三次元モデルを有する仮想オブジェクト）の表現を表示するための要求を含む（１７０１０）。いくつかの実施形態では、この要求は、仮想オブジェクトのステージングビューから、仮想オブジェクトの拡張現実ビューへ切り換えるためのボタンにおいて検出されたタップ入力である。いくつかの実施形態では、この要求は、二次元ユーザーインターフェース内に、仮想オブジェクトの表現の隣に表示される拡張現実アフォーダンスの選択である。例えば、図１２Ａでは、トグル制御６０１８に対応する場所における接触１２００２による入力は、図１２Ｂに図示されるように、カメラの視野６０３６を含むユーザーインターフェース内に、仮想オブジェクト１１００２を表示するための要求である。拡張現実ビューにおいて仮想オブジェクトを表示するための要求に応じて、物理的環境の拡張現実ビューを表示することは、（例えば、物理的環境と仮想オブジェクトとの両方のビューを表示するために）必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、（例えば、ユーザーが較正入力を提供することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, an extension of the physical environment (e.g., the physical environment around the device that includes the one or more cameras) within a first user interface area that includes a representation of the field of view of the one or more cameras. The request to display a reality view includes a request to display a representation of a virtual three-dimensional object (eg, a virtual object having a three-dimensional model) in an augmented reality view of the physical environment (17010). In some embodiments, the request is a detected tap input on a button to switch from a staging view of the virtual object to an augmented reality view of the virtual object. In some embodiments, the request is the selection of an augmented reality affordance to be displayed next to the representation of the virtual object within the two-dimensional user interface. For example, in FIG. 12A, input by
いくつかの実施形態では、デバイスは、較正ユーザーインターフェースオブジェクトの表示を停止した後、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内に、仮想三次元オブジェクトの表現を（例えば、較正基準が満たされた後に）表示する（１７０１２）。いくつかの実施形態では、この要求に応じて、較正が完了し、カメラの視野が十分鮮明に表示された後、仮想オブジェクトは、１つ以上のカメラの視野内で識別された所定のプレーン（例えば、仮想オブジェクトの三次元表現のためのサポートプレーンとして役立ち得る垂直壁又は水平床面のような物理的なプレーン）に対して所定の位置及び／又は向きへドロップする。例えば、図１２Ｊにおいて、デバイスは、図１２Ｅ～図１２Ｉに表示された較正ユーザーインターフェースオブジェクト１２０１４を表示することを停止し、仮想オブジェクト１１００２は、カメラの視野６０３６を含むユーザーインターフェース内に表示される。較正ユーザーインターフェースオブジェクトの表示の停止後、表示された拡張現実ビューで仮想オブジェクトを表示することは、（例えば、較正基準が満たされていることを示すために）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することと、較正基準が満たされる前に仮想オブジェクトを操作するための入力の提供を試みることを回避することとを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, after the device stops displaying the calibrated user interface object, the device displays a representation of the virtual three-dimensional object (e.g., , after the calibration criteria are met) (17012). In some embodiments, in response to this request, after the calibration is complete and the camera's field of view is sufficiently sharp, the virtual object is moved to a predetermined plane ( (e.g., a physical plane such as a vertical wall or a horizontal floor surface that can serve as a support plane for a three-dimensional representation of a virtual object) into a predetermined position and/or orientation. For example, in FIG. 12J, the device stops displaying the calibration
いくつかの実施形態では、デバイスは、較正ユーザーインターフェースオブジェクトと同時に（例えば、較正ユーザーインターフェースオブジェクトの後方に）、第１のユーザーインターフェース領域内に、仮想三次元オブジェクトの表現を（例えば、較正基準が満たされる前に）表示し、仮想三次元オブジェクトの表現は、物理的環境における１つ以上のカメラの移動中（例えば、較正ユーザーインターフェースオブジェクトが、１つ以上のカメラの移動にしたがって、第１のユーザーインターフェース領域内で移動されている間）、第１のユーザーインターフェース領域内の固定位置にとどまる（例えば、仮想三次元オブジェクトは、物理的環境における場所に配置されない）（１７０１４）。例えば、図１２Ｅ－１ないし図１２Ｉ－１において、仮想オブジェクト１１００２の表現は、較正ユーザーインターフェースオブジェクト１２０１４と同時に表示される。（例えば、図１２Ｅ－１ないし図１２Ｆ－１及び対応する図１２Ｅ－２ないし図１２Ｆ－２に例示されるように）１つ以上のカメラを含むデバイス１００が移動すると、仮想オブジェクト１１００２は、１つ以上のカメラの視野６０３６を含むユーザーインターフェース内の固定場所にとどまる。仮想オブジェクトを較正ユーザーインターフェースオブジェクトと同時に表示することは、（例えば、較正が実行されているオブジェクトを示すために）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、仮想オブジェクトが配置されるプレーンに対応する較正入力を、ユーザーが提供することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device displays a representation of the virtual three-dimensional object (e.g., with a calibration reference in the first user interface area) simultaneously with (e.g., behind the calibration user interface object) the calibration user interface object. the representation of the virtual three-dimensional object (e.g., when the user interface object is calibrated during the movement of one or more cameras in the physical environment). (e.g., the virtual three-dimensional object is not placed in a location in the physical environment) (17014). For example, in FIGS. 12E-1 through 12I-1, a representation of
いくつかの実施形態では、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内に、物理的環境（例えば、１つ以上のカメラを含むデバイスの周囲の物理的環境）の拡張現実ビューを表示するための要求は、１つ以上のカメラの視野にキャプチャされた物理的環境におけるいずれの仮想三次元オブジェクト（例えば、三次元モデルを有する仮想オブジェクト）の表現の表示も要求することなく、（例えば、１つ以上のユーザーインターフェースオブジェクト、及び／又は、制御（例えば、プレーン、オブジェクト、ポインタ、アイコン、マーカ等の輪郭）を用いて、）１つ以上のカメラの視野の表現を表示するための要求を含む（１７０１６）。いくつかの実施形態では、この要求は、二次元ユーザーインターフェース内に、仮想オブジェクトの表現の隣に表示される、拡張現実アフォーダンスの選択である。いくつかの実施形態では、この要求は、拡張現実ビュー測定アプリケーション（例えば、物理的環境の測定を容易にする測定アプリ）の活性化である。いずれの仮想三次元オブジェクトの表現の表示も要求することなく、１つ以上のカメラの視野の表現を表示するための要求は、（例えば、仮想オブジェクトが表示されるか否かに関わらず、較正が必要とされることを示すために、同じ較正ユーザーインターフェースオブジェクトを使用することによって）フィードバックを提供する。改善されたフィードバックをユーザーへ提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, an extension of the physical environment (e.g., the physical environment around the device that includes the one or more cameras) within a first user interface area that includes a representation of the field of view of the one or more cameras. A request to display a real view may require displaying a representation of any virtual three-dimensional object (e.g., a virtual object having a three-dimensional model) in the physical environment captured in the field of view of one or more cameras. (e.g., using one or more user interface objects and/or controls (e.g., planes, contours of objects, pointers, icons, markers, etc.)) without displaying a representation of the field of view of one or more cameras; (17016). In some embodiments, the request is the selection of an augmented reality affordance to be displayed next to the representation of the virtual object within the two-dimensional user interface. In some embodiments, the request is activation of an augmented reality view measurement application (eg, a measurement app that facilitates measurements of the physical environment). A request to display a representation of the field of view of one or more cameras without requiring the display of a representation of any virtual three-dimensional object (e.g., regardless of whether the virtual object is displayed, the calibration provide feedback (by using the same calibration user interface object to indicate that calibration is required). Providing improved feedback to users enhances device usability and makes user device interfaces more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、物理的環境の拡張現実ビューを表示するための要求を受信することに応じて、デバイスは、１つ以上のカメラの視野の表現を表示し（例えば、較正基準が満たされない場合、１つ以上のカメラの視野における物理的環境のぶれたバージョンを表示し）、（例えば、１つ以上のカメラの視野においてキャプチャされた物理的環境のための寸法及び空間関係データを生成するために（例えば、異なる視野角度からの）十分な量の画像データが存在するので、仮想オブジェクトに対応するプレーンが、１つ以上のカメラの視野内で検出されたので、及び／又は、カメラからの利用可能な画像データに基づいて、プレーン検出を開始又はプレーン検出とともに進めるための十分な情報が存在するので、）物理的環境の拡張現実ビューのために較正基準が満たされているとの判定にしたがって、デバイスは、較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）の表示を控える（１７０１８）。いくつかの実施形態では、仮想三次元オブジェクトが、ステージングユーザーインターフェース内に表示されている間に、プレーンに関する物理的環境のスキャンが始まる。これによって、デバイスは、（例えば、物理的空間における１つ以上のプレーンを検出するために十分なデータを提供するために、カメラの視野が十分移動した）いくつかの状況において、拡張現実ビューを表示する前に、物理的空間における１つ以上のプレーンを検出することが可能となり、これによって、較正ユーザーインターフェースは、表示される必要がなくなる。物理的環境の拡張現実ビューのために、較正基準が満たされているとの判定にしたがって、較正ユーザーインターフェースオブジェクトの表示を控えることは、視覚的フィードバックをユーザーへ提供する（例えば、較正ユーザーインターフェースオブジェクトの不在は、較正基準が満たされており、較正のためにデバイスの移動は必要とされないことを示す）。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、較正の目的のために、ユーザーがデバイスの不要な移動を回避することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, in response to receiving a request to display an augmented reality view of the physical environment, the device displays a representation of the field of view of one or more cameras (e.g., if calibration criteria are met). display a blurred version of the physical environment in the field of view of the one or more cameras) and generate dimensional and spatial relationship data for the physical environment captured in the field of view of the one or more cameras (e.g., if not a plane corresponding to the virtual object is detected within the field of view of one or more cameras, and/or the camera It is assumed that the calibration criteria are met for the augmented reality view of the physical environment (as there is sufficient information to initiate or proceed with plane detection based on the available image data from the According to the determination, the device refrains from displaying a calibration user interface object (eg, a scan prompt object such as a bouncy cube or wireframe object) (17018). In some embodiments, scanning of the physical environment for planes begins while the virtual three-dimensional object is displayed within the staging user interface. This allows the device to display augmented reality views in some situations (e.g., the camera's field of view has moved enough to provide enough data to detect one or more planes in physical space). It is possible to detect one or more planes in physical space before displaying, so that the calibration user interface does not need to be displayed. For augmented reality views of the physical environment, withholding the display of the calibration user interface object according to a determination that the calibration criteria are met provides visual feedback to the user (e.g., the calibration user interface object The absence of indicates that the calibration criteria are met and no movement of the device is required for calibration). Providing improved visual feedback to the user can enhance the usability of the device (e.g., by helping the user avoid unnecessary movements of the device for calibration purposes) and improve user experience. Make device interfaces more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、デバイスは、（例えば、較正ユーザーインターフェースオブジェクトの隣の）拡張現実ビューの較正を改善するために、ユーザーによって講じられ得る動作に関する情報を提供する較正ユーザーインターフェースオブジェクトと同時に、第１のユーザーインターフェース領域内に、テキストオブジェクト（例えば、現在検出されているエラー状態を記述しているテキスト記述、及び／又は、（例えば、検出されたエラー状態を修正するために）ユーザー動作を要求するテキストプロンプト）を（例えば、較正基準が満たされる前に）表示する（１７０２０）。いくつかの実施形態では、テキストオブジェクトは、「移動しすぎ」、「下に細かく」、「もっと近くに移動して下さい」等のような、デバイスの移動のためのプロンプトを（現在、検出されているエラー状態とともに）ユーザーへ提供する。いくつかの実施形態では、デバイスは、較正処理中のユーザーの動作と、ユーザーの動作に基づいて検出された新たなエラー状態とにしたがって、テキストオブジェクトを更新する。較正ユーザーインターフェースオブジェクトと同時にテキストを表示することは、（例えば、較正のために必要とされる移動のタイプを示す文字指示を提供する）視覚的フィードバックをユーザーへ提供する。改善された視覚的フィードバックをユーザーへ提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合、ユーザー誤りを低減する）。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device concurrently with a calibration user interface object provides information regarding actions that may be taken by the user to improve the calibration of the augmented reality view (e.g., next to the calibration user interface object). A text object (e.g., a text description describing a currently detected error condition) and/or a user action (e.g., to correct a detected error condition) within the first user interface area. 17020) (e.g., before the calibration criteria are met). In some embodiments, the text object displays prompts for device movement (currently detected), such as "Move too far," "Move down finer," "Move closer," etc. (along with any error conditions) provided to the user. In some embodiments, the device updates the text object according to user actions during the calibration process and new error conditions detected based on the user actions. Displaying text simultaneously with the calibration user interface object provides visual feedback to the user (eg, providing textual instructions indicating the type of movement required for calibration). Providing improved visual feedback to users can enhance device usability and make user device interfaces more efficient (e.g., assisting users in providing appropriate input and providing reduce user error). This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、較正基準が満たされていること（例えば、較正ユーザーインターフェースオブジェクトが表示される前に満たされている基準、又は、較正ユーザーインターフェースオブジェクトが表示され、ある期間、アニメーション化された後に満たされた基準）を検出することに応じて、デバイスは、（例えば、較正ユーザーインターフェースオブジェクトが最初に表示されたのであれば、較正ユーザーインターフェースオブジェクトの表示を停止した後に、）１つ以上のカメラの視野においてキャプチャされた物理的環境において検出されたプレーンの視覚的な指示を表示する（例えば、検出されたプレーンの周囲の輪郭を表示する、又は、検出されたプレーンを強調する）（１７０２２）。例えば、図１２Ｊでは、１つ以上のカメラの表示された視野６０３６においてキャプチャされると、物理的環境５００２においてプレーンが検出されたことを示すために、プレーン（床面５０３８）が強調されている。検出されたプレーンを示す視覚的な指示を表示することは、（例えば、デバイスカメラによってキャプチャされた物理的環境においてプレーンが検出されたことを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, calibration criteria are met (e.g., criteria are met before the calibration user interface object is displayed, or the calibration user interface object is displayed and animated for a period of time). (e.g., after stopping displaying the calibration user interface object, if the calibration user interface object was initially displayed) Displaying a visual indication of the detected plane in the physical environment captured in the field of view of the camera (e.g., displaying a contour around the detected plane or highlighting the detected plane) 17022). For example, in FIG. 12J, a plane (floor plane 5038) is highlighted to indicate that the plane is detected in the
いくつかの実施形態では、物理的環境の拡張現実ビューを表示するための要求を受信することに応じて、較正基準が満たされていないとの判定にしたがって、較正ユーザーインターフェースオブジェクトを表示する前に、デバイスは、（例えば、表示生成コンポーネントによって、及び、１つ以上のカメラの視野の表現（例えば、視野のぶれたバージョン）を含む第１のユーザーインターフェース領域内に、）プレーンの表現に対して移動するデバイスの表現（例えば、プレーンの表現に対するデバイスの表現の移動は、ユーザーによって影響されるべき、必要とされるデバイスの移動を示す）を含むアニメーション化されたプロンプトオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）を表示する（１７０２４）。例えば、アニメーション化されたプロンプトオブジェクトは、図１２Ｂ～図１２Ｄに関して説明されるように、プレーンの表現１２０１０に対して移動するデバイス１００の表現１２００４を含む。いくつかの実施形態では、デバイスは、デバイスが、デバイスの移動を検出した（例えば、較正を進めることができる手法で、ユーザーが、デバイスの移動を開始したことを示す）場合、アニメーション化されたプロンプトオブジェクトの表示を停止する。いくつかの実施形態では、デバイスが、デバイスの移動を検出した場合、かつ、デバイスの較正に関して更にユーザーをガイドする較正が完了される前に、デバイスは、アニメーション化されたプロンプトオブジェクトの表示を、較正ユーザーインターフェースオブジェクトと置き換える。例えば、図１２Ｃ～図１２Ｅに関して説明されるように、（図１２Ｃ～図１２Ｄに図示されるように）デバイスの移動が検出された場合、デバイス１００の表現１２００４を含むアニメーション化されたプロンプトは、表示が停止され、較正ユーザーインターフェースオブジェクト１２０１４が、図１２Ｅに表示される。プレーンの表現に対して移動するデバイスの表現を含む、アニメーション化されたプロンプトオブジェクトを表示することは、（例えば、較正のために必要とされるデバイスの移動のタイプを例示するための）視覚的フィードバックをユーザーへ提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、較正基準を満たすために必要とされる情報を提供する方式で、ユーザーがデバイスを移動させることを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, in response to receiving a request to display an augmented reality view of the physical environment, prior to displaying the calibration user interface object according to a determination that the calibration criteria are not met. , the device generates a representation of the plane (e.g., by a display generation component and in a first user interface area that includes a representation of one or more camera fields of view (e.g., a blurred version of the field of view)). Animated prompt objects (e.g. elastic A scan prompt object, such as a cube or wireframe object) is displayed (17024). For example, the animated prompt object includes a
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢において検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、物理的環境における１つ以上のカメラの第１の量の移動にしたがって、較正ユーザーインターフェースオブジェクトを第１の量、移動させることと、物理的環境における１つ以上のカメラの第２の量の移動にしたがって、較正ユーザーインターフェースオブジェクトを第２の量、移動させることとを含み、第１の量は、第２の量とは異なり（例えば、第２の量よりも大きく）、第１の量の移動は、第２の量の移動とは異なる（例えば、第２の量よりも大きい）（例えば、第１及び第２の量の移動は、物理的環境における同じ方向における移動に基づいて測定される）。較正ユーザーインターフェースオブジェクトを、１つ以上の（デバイス）カメラの移動の大きさに対応する量、移動させることは、（例えば、較正ユーザーインターフェースオブジェクトの移動が、較正のために必要とされるデバイスの移動のためのガイドであることをユーザーへ示す）視覚的フィードバックを提供する（１７０２６）。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, adjusting at least one display parameter of the calibration user interface object according to a detected change in the pose of the one or more cameras in the physical environment includes adjusting the at least one display parameter of the calibration user interface object according to the detected change in the pose of the one or more cameras in the physical environment. moving a calibrated user interface object a first amount in accordance with movement of the camera a first amount; and moving the calibrated user interface object in accordance with movement of the one or more cameras in the physical environment a second amount. and moving a second amount, the first amount being different from (e.g., greater than) the second amount, and moving the first amount being a second amount. different from (e.g., greater than a second amount) the movement (e.g., the first and second amounts of movement are measured based on movement in the same direction in the physical environment). Moving the calibration user interface object by an amount that corresponds to the amount of movement of one or more (device) cameras (e.g., the movement of the calibration user interface object Provide visual feedback (17026) indicating to the user that the navigation is guided. Providing improved visual feedback to the user (e.g., by assisting the user in providing appropriate input and reducing user error when operating/interacting with the device) Improve device usability and make user device interfaces more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、１つ以上のカメラの姿勢において検出された変化が、第１のタイプの移動（例えば、左側、右側、又は前後側のような横方向移動）に対応する（そして、第２のタイプの移動（例えば、上方、下方、及び上下移動のような垂直移動）に対応しない）との判定にしたがって、第１のタイプの移動に基いて、較正ユーザーインターフェースオブジェクトを移動させること（例えば、（例えば、較正ユーザーインターフェースオブジェクトによって、垂直軸の周りに較正ユーザーインターフェースオブジェクトを回転させることのように）第１の方式で較正ユーザーインターフェースオブジェクトを移動させること）と、１つ以上のカメラの姿勢における検出された変化が、第２のタイプの移動に対応する（そして、第１のタイプの移動に対応しない）との判定にしたがって、第２のタイプの移動に基づいて、較正ユーザーインターフェースオブジェクトを移動させることを控えること（例えば、較正ユーザーインターフェースオブジェクトを第１の方式で移動させることを控えること、すなわち、較正ユーザーインターフェースオブジェクトを静止させたままに維持すること）とを含む（１７０２８）。例えば、（図１２Ｆ－１ないし図１２Ｇ－１、及び図１２Ｆ－２ないし図１２Ｇ－２に関して説明されるように、）１つ以上のカメラを含むデバイス１００の横方向移動は、較正ユーザーインターフェースオブジェクト１２０１４を回転させる一方、（例えば、図１２Ｇ－１ないし図１２Ｈ－１及び図１２Ｇ－２ないし図１２Ｈ－２に関して説明されるように、）デバイス１００の垂直移動は、較正ユーザーインターフェースオブジェクト１２０１４を回転させない。デバイスカメラの姿勢における検出された変化が、第２のタイプの移動に対応しているとの判定にしたがって、較正ユーザーインターフェースオブジェクトの移動を控えることは、（例えば、１つ以上のカメラの第２のタイプの移動が、較正のために必要とされていないことをユーザーへ示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが不要な入力を提供することを回避することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, adjusting at least one display parameter of the calibration user interface object according to a detected change in the one or more camera poses in the physical environment comprises: in the one or more camera poses. The detected change corresponds to a first type of movement (e.g., a lateral movement such as left, right, or front-to-back) and a second type of movement (e.g., upward, downward, and up-down). moving the calibration user interface object based on the first type of movement (e.g., the calibration user interface object does not correspond to a vertical axis movement); moving the calibration user interface object in a first manner (such as rotating the calibration user interface object around) and the detected change in the pose of the one or more cameras causing a second type of movement. (and does not correspond to the first type of movement), refraining from moving the calibration user interface object based on the second type of movement (e.g., the calibration user interface object (17028) including refraining from moving the calibrated user interface object in a first manner, i.e., maintaining the calibration user interface object stationary. For example, lateral movement of
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、第１のユーザーインターフェース領域の上方における較正ユーザーインターフェースオブジェクトの特徴的な表示場所（例えば、地理的中心の場所、又は、ディスプレイ上の較正ユーザーインターフェースオブジェクトの軸）を変更することなく、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトを移動（例えば、回転及び／又は傾斜）させることを含む（例えば、較正ユーザーインターフェースオブジェクトは、ディスプレイ上の固定場所へアンカーされる一方、物理的環境は、較正ユーザーインターフェースオブジェクトの真下の１つ以上のカメラの視野内で移動する）（１７０３０）。例えば、図１２Ｅ－１ないし図１２Ｉ－１では、較正ユーザーインターフェースオブジェクト１２０１４は、ディスプレイ１１２に対して固定された場所にとどまりながら回転する。較正ユーザーインターフェースオブジェクトの特徴的な表示場所を変更することなく、較正ユーザーインターフェースオブジェクトを移動させることは、（例えば、較正ユーザーインターフェースオブジェクトが、表示された拡張現実環境に対する場所に配置された仮想オブジェクトとは異なることを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを回避し、ユーザー入力誤りを低減することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, adjusting at least one display parameter of the calibration user interface object according to a detected change in the pose of the one or more cameras in the physical environment comprises: in one or more camera poses in the physical environment without changing the characteristic display location of the calibrated user interface object in the physical environment (e.g., the location of the geographic center or the axis of the calibrated user interface object on the display). moving (e.g., rotating and/or tilting) the calibration user interface object in accordance with the detected change (e.g., the calibration user interface object is anchored to a fixed location on the display while the physical environment is , moving within the field of view of one or more cameras directly below the calibration user interface object) (17030). For example, in FIGS. 12E-1 through 12I-1, calibration
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、物理的環境における１つ以上のカメラの移動方向に垂直な軸の周りに較正ユーザーインターフェースオブジェクトを回転させることを含む（例えば、（例えば、カメラを含む）デバイスがｘ－ｙ面上を前後に移動している場合、較正ユーザーインターフェースオブジェクトは、ｚ軸の周りに回転するか、又は、（例えば、カメラを含む）デバイスがｘ軸（例えば、ｘ軸は、物理的環境に対する水平方向として定義され、例えば、タッチスクリーンディスプレイのプレーン内に位置する）に沿って左右交互に移動している場合、較正ユーザーインターフェースオブジェクトは、ｙ軸の周りに回転する）（１７０３２）。例えば、図１２Ｅ－１ないし図１２Ｇ－１では、較正ユーザーインターフェースオブジェクト１２０１４は、図１２Ｅ－２ないし図１２Ｇ－２に図示されるように、デバイスの横方向移動に垂直な垂直軸の周りに回転する。デバイスカメラの移動に垂直な軸の周りに較正ユーザーインターフェースオブジェクトを回転させることは、（例えば、較正ユーザーインターフェースオブジェクトの移動が、較正のために必要とされるデバイスの移動のためのガイドであることをユーザーへ示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, adjusting at least one display parameter of the calibration user interface object according to a detected change in the pose of one or more cameras in the physical environment includes adjusting at least one display parameter of the calibration user interface object according to a detected change in the pose of one or more cameras in the physical environment. Calibration user interface includes rotating the calibrated user interface object around an axis perpendicular to the direction of camera movement (e.g., if the device (e.g., containing the camera) is moving back and forth on the x-y plane, the calibrated user interface An object may be rotated about the z-axis, or a device (e.g., including a camera) may be rotated about the x-axis (e.g., the x-axis is defined as the horizontal direction relative to the physical environment, e.g. The calibration user interface object rotates about the y-axis (17032) when moving alternately left and right along the y-axis (located at ). For example, in FIGS. 12E-1 through 12G-1, the calibration
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、１つ以上のカメラの視野内で検出された変化の速度（例えば、物理的環境の移動速度）にしたがって判定された速度で較正ユーザーインターフェースオブジェクトを移動させることを含む（１７０３４）。デバイスカメラの姿勢における変化にしたがって判定された速度で較正ユーザーインターフェースオブジェクトを移動させることは、（例えば、較正ユーザーインターフェースオブジェクトの移動が、較正のために必要とされるデバイスの移動のためのガイドであることをユーザーへを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, adjusting at least one display parameter of the calibration user interface object according to a detected change in the pose of the one or more cameras in the physical environment includes adjusting the at least one display parameter of the calibration user interface object within the field of view of the one or more cameras. (17034), including moving the calibrated user interface object at a rate determined according to a rate of change detected at the location (e.g., a rate of movement of the physical environment). Moving the calibration user interface object at a speed determined according to a change in the pose of the device camera (e.g., the movement of the calibration user interface object is a guide for the movement of the device required for calibration) Provide visual feedback (indicating something to the user). Providing improved visual feedback to the user (e.g., by assisting the user in providing appropriate input and reducing user error when operating/interacting with the device) Improve device usability and make user device interfaces more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、１つ以上のカメラの視野内で検出された変化（例えば、物理的環境の移動速度）の方向にしたがって判定された方向において、較正ユーザーインターフェースオブジェクトを移動させることを含む（例えば、デバイスは、右から左へのデバイスの移動のために較正ユーザーインターフェースオブジェクトを時計回りに回転させ、左から右へのデバイスの移動のために較正ユーザーインターフェースオブジェクトを反時計回りに回転させるか、又は、デバイスは、右から左へのデバイスの移動のために較正ユーザーインターフェースオブジェクトを反時計回りに回転させ、左から右へのデバイスの移動のために較正ユーザーインターフェースオブジェクトを時計回りに回転させる）（１７０３６）。デバイスカメラの姿勢における変化にしたがって判定された方向において較正ユーザーインターフェースオブジェクトを移動させることは、（例えば、較正ユーザーインターフェースオブジェクトの移動が、較正のために必要とされるデバイスの移動のためのガイドであることをユーザーへ示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, adjusting at least one display parameter of the calibration user interface object according to a detected change in the pose of the one or more cameras in the physical environment includes adjusting the at least one display parameter of the calibration user interface object within the field of view of the one or more cameras. (e.g., the device moves the calibrated user interface object in a direction determined according to the direction of a change (e.g., the speed of movement of the physical environment) detected in the device (e.g., the device moves from right to left) Rotate the calibrated user interface object clockwise for device movement from left to right, or rotate the calibrated user interface object counterclockwise for device movement from right to left. Rotate the calibration user interface object counterclockwise for movement of the device from left to right and rotate the calibration user interface object clockwise for device movement from left to right) (17036). Moving the calibration user interface object in a direction determined according to a change in the pose of the device camera (e.g., the movement of the calibration user interface object is a guide for the movement of the device required for calibration) provide visual feedback (indicating something to the user). Providing improved visual feedback to the user (e.g., by assisting the user in providing appropriate input and reducing user error when operating/interacting with the device) Improve device usability and make user device interfaces more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
図１７Ａ～図１７Ｄにおける動作が説明されている特定の順序は、単なる例であり、説明された順序は、動作が実行され得る唯一の順序を示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１８０００、１９０００、及び２００００）に関して本明細書で説明された他の処理の詳細はまた、図１７Ａ～図１７Ｄに関して上述された方法１７０００に対して類似した方式でも適用可能であることが注目されるべきである。例えば、方法１７０００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１８０００、１９０００、及び２００００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡潔のために、これら詳細は、本明細書では繰り返されない。
It should be understood that the particular order in which the operations in FIGS. 17A-17D are described is merely an example and that the described order is not intended to represent the only order in which the operations may be performed. It is. Those skilled in the art will recognize various techniques for reordering the operations described herein. In addition, other processing details described herein with respect to other methods described herein (e.g.,
図１８Ａ～図１８Ｉは、軸の周りの仮想オブジェクトの回転を拘束する方法１８０００を例示するフロー図である。方法１８０００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）と、１つ以上の入力デバイス（例えば、タッチ感知面、又は、表示生成コンポーネントとタッチ感知面との両方として役立つタッチスクリーンディスプレイ）と、１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面から反対側のデバイスの側面上の１つ以上の背面カメラ）と、１つ以上のカメラを含むデバイスの姿勢（例えば、周囲の物理的環境に対する向き（例えば、回転、ヨー、及び／又は、傾斜角度）及び位置）における変化を検出するための１つ以上の姿勢センサ（たとえば、加速度計、ジャイロスコープ、及び／又は、磁力計）と、を有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００）において実行される。方法１８０００におけるいくつかの動作は、オプションで、組み合わされるか、及び／又は、いくつかの動作の順序が、オプションで、変更される。
18A-18I are flow diagrams illustrating a
デバイスは、表示生成コンポーネントによって、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース又は拡張現実ユーザーインターフェース）内に、仮想三次元オブジェクトの第１の視点の表現を表示する（１８００２）。例えば、図１３Ｂに図示されるように、仮想オブジェクト１１００２が、ステージングユーザーインターフェース６０１０内に図示される。
The device displays (18002) a first perspective representation of a virtual three-dimensional object within a first user interface area (eg, a staging user interface or an augmented reality user interface) with a display generation component. For example, as illustrated in FIG. 13B,
ディスプレイ上の第１のユーザーインターフェース領域内に、視覚的な三次元オブジェクトの第１の視点の表現を表示している間、デバイスは、仮想三次元オブジェクトの第１の視点から見えない仮想三次元オブジェクトの一部を表示するために、ディスプレイ（例えば、タッチスクリーンディスプレイのプレーンのような表示生成コンポーネントに対応する表示面）に対して仮想三次元オブジェクトを回転させるための要求に対応する第１の入力（例えば、タッチ感知面における（例えば、１本又は２本の指の接触による）スワイプ入力、又は、旋回入力（例えば、２本指回転、又は、別の指接触の周りの１本指の接触旋回））を検出する（１８００４）。例えば、この要求は、図１３Ｂ～図１３Ｃに関して説明されるような入力、又は、図１３Ｅ～図１３Ｆに関して説明されるような入力である。 While displaying a first perspective representation of a visual three-dimensional object in a first user interface area on the display, the device displays a virtual three-dimensional object that is invisible from the first perspective of the virtual three-dimensional object. a first responsive to a request to rotate a virtual three-dimensional object relative to a display (e.g., a display surface corresponding to a display-generating component such as a plane of a touch screen display) to display a portion of the object; Input (e.g., swipe input (e.g., with one or two finger contacts) on a touch-sensitive surface, or rotational input (e.g., two-finger rotation, or one-finger contact around another finger touch) Contact rotation)) is detected (18004). For example, the request is an input as described with respect to FIGS. 13B-13C or an input as described with respect to FIGS. 13E-13F.
第１の入力を検出することに応じて（１８００６）、第１の入力が、第１の軸（例えば、ｘ軸のような水平方向におけるディスプレイのプレーン（例えば、ｘ－ｙ面）に平行である第１の軸）の周りに三次元オブジェクトを回転させるための要求に対応しているとの判定にしたがって、デバイスは、第１の入力の大きさ（例えば、タッチ感知面（例えば、ディスプレイのｘ－ｙ面に対する対応するｘ－ｙ面）の垂直軸（例えば、ｙ軸）に沿ったスワイプ入力の速度及び／又は距離）に基づいて判定された量、第１の軸に対して仮想三次元オブジェクトを回転させ、第１の軸に対する閾値回転量よりも大きい、仮想三次元オブジェクトの回転を限定する移動に対する制限によって拘束される（例えば、第１の軸の周りの回転は、第１の軸の周り＋／－３０度の範囲に限定され、この範囲を超える回転は、第１の入力の大きさに関わらず禁止される）。例えば、図１３Ｅ～図１３Ｇに関して説明されるように、仮想オブジェクト１１００２の回転は、制限によって拘束される。第１の入力が、第１の軸とは異なる第２の軸（例えば、ｙ軸のような垂直方向におけるディスプレイのプレーン（例えば、ｘ－ｙ面）に平行である第２の軸）の周りに三次元オブジェクトを回転させるための要求に対応するとの判定にしたがって、デバイスは、仮想三次元オブジェクトを、第１の入力の大きさに基づいて判定された量（例えば、タッチ感知面（例えば、ディスプレイのｘ－ｙ面に対する対応するｘ－ｙ面）の水平軸（例えば、ｘ軸）に沿ったスワイプ入力の速度及び／又は距離）、第２の軸に対して回転させ、それぞれの閾値を超える大きさを有する入力については、デバイスは、閾値回転量よりも多く、第２の軸に対して仮想三次元オブジェクトを回転させる。いくつかの実施形態では、第２の軸に対する回転のために、デバイスは、第１の軸に対する回転に対する拘束よりも大きな拘束を回転に課す（例えば、三次元オブジェクトは、３０度の代わりに６０度回転することを許容される）。いくつかの実施形態では、第２の軸に対する回転のために、デバイスは、回転に対して拘束を課さず、これによって、三次元オブジェクトは、第２の軸の周りに自由に回転できるようになる（例えば、１つ以上の接触の移動を含む速い又は長いスワイプ入力のような十分高い大きさを伴う入力について、三次元オブジェクトは、第２の軸に対して３６０度よりも大きく回転することができる）。例えば、図１３Ｅ～図１３Ｇに関して説明された入力に応じた、ｘ軸の周りの仮想オブジェクト１１００２の回転量よりも大きな、仮想オブジェクト１１００２の回転量が、図１３Ｂ～図１３Ｃに関して説明される入力に応じて、ｙ軸の周りで生じる。入力が、オブジェクトを、第１の軸の周り、又は、第２の軸の周りに回転させるための要求であるかに依存して、オブジェクトを、閾値量へ拘束された量、回転させるか、又は、オブジェクトを、閾値量よりも多く回転させるかを決定することは、異なるタイプの回転動作を制御する機能を改善する。表示された追加の制御を用いて、ユーザーインターフェースを混乱させることなく追加の制御オプションを提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。
In response to detecting (18006) the first input, the first input is parallel to a plane (e.g., xy plane) of the display in a horizontal direction, such as the first axis (e.g., the x-axis). Upon determining that the device is responsive to a request to rotate a three-dimensional object about a first axis), the device may rotate a three-dimensional object about a first axis (e.g., a touch-sensitive surface (e.g., a An amount determined based on the velocity and/or distance of the swipe input along a vertical axis (e.g., the y-axis) of the corresponding x-y plane), a virtual cubic with respect to the first axis Rotates the source object and is constrained by a restriction on movement that limits the rotation of the virtual three-dimensional object to be greater than a threshold amount of rotation about the first axis (e.g., rotation about the first axis is limited to a range of +/-30 degrees around the axis; rotation beyond this range is prohibited regardless of the magnitude of the first input). For example, rotation of
いくつかの実施形態では、第１の入力を検出することに応じて（１８００８）、第１の入力が、第１の方向（例えば、ｙ方向、タッチ感知面における垂直方向）におけるタッチ感知面を介した接触の第１の移動を含んでおり、第１の方向における接触の第１の移動が、第１の軸に対して仮想オブジェクトの表現を回転させるための第１の基準を満たしているとの判定であって、第１の基準は、第１の基準が満たされるために、第１の入力が、第１の方向における第１の閾値移動量よりも多くを含むとの要件を含む（例えば、デバイスは、デバイスが、第１の方向において、第１の閾値移動量よりも多くを検出するまで、第１の軸の周りの三次元オブジェクトの回転を開始しない）、判定にしたがって、デバイスは、第１の入力が、三次元オブジェクトを第１の軸（例えば、ｘ軸、ディスプレイに平行な水平軸、又は、仮想オブジェクトを介した水平軸）の周りに回転させるための要求に対応していると判定し、第１の入力が、第２の方向（例えば、ｘ方向、タッチ感知面における水平方向）におけるタッチ感知面にわたる接触の第２の移動を含んでおり、第２の方向における接触の第２の移動が、第２の軸に対して仮想オブジェクトの表現を回転させるための第２の基準を満たしているとの判定であって、第２の基準は、第２の基準が満たされるために、第１の入力が、第２の方向における第２の閾値移動量よりも多くを含むとの要件を含む（例えば、デバイスは、デバイスが、第２の方向において、第２の閾値移動量よりも多くを検出するまで、第２の軸の周りの三次元オブジェクトの回転を開始しない）、判定にしたがって、デバイスは、第１の入力が、三次元オブジェクトを第２の軸（例えば、ディスプレイに平行な垂直軸、又は、仮想オブジェクトを介した垂直軸）の周りに回転させるための要求に対応していると判定し、第１の閾値は、第２の閾値よりも大きい（例えば、ユーザーは、垂直軸の周りの回転をトリガする（例えば、オブジェクトを回転させる）ために水平方向にスワイプするのではなく、水平軸の周りの回転をトリガする（例えば、オブジェクトをユーザーに対して前方又は後方に傾ける）ために、垂直方向に多くの量スワイプする必要がある）。オブジェクトを、閾値量へ拘束された量、回転させるか、又は、オブジェクトを、閾値量よりも多く、回転させるかを判定することは、入力が、第１の軸又は第２の軸の周りにオブジェクトを回転させるための要求であるか否かに依存して、オブジェクトを回転させるための要求に対応する入力に応じて、異なるタイプの回転動作を制御する機能を改善する。表示された追加の制御を用いてユーザーインターフェースを混乱させることなく追加の制御オプションを提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。 In some embodiments, in response to detecting the first input (18008), the first input causes the touch-sensitive surface to move in a first direction (e.g., the y-direction, perpendicular to the touch-sensitive surface). the first movement of the contact in the first direction, the first movement of the contact in the first direction meeting a first criterion for rotating the representation of the virtual object about the first axis. and the first criterion includes a requirement that the first input includes more than a first threshold amount of movement in the first direction in order for the first criterion to be satisfied. (e.g., the device does not begin rotating the three-dimensional object about the first axis until the device detects more than a first threshold amount of movement in the first direction), according to the determination: The device is responsive to a request where the first input is to rotate a three-dimensional object about a first axis (e.g., an x-axis, a horizontal axis parallel to the display, or a horizontal axis via a virtual object). determining that the first input includes a second movement of the contact across the touch-sensitive surface in a second direction (e.g., an x-direction, a horizontal direction on the touch-sensitive surface); determining that a second movement of contact in satisfies a second criterion for rotating a representation of a virtual object about a second axis, the second criterion includes a requirement that the first input includes more than a second threshold amount of movement in the second direction for The device does not start rotating the three-dimensional object about the second axis until the first input detects more than a threshold amount of movement in the second axis). the first threshold is greater than the second threshold; (For example, rather than swiping horizontally to trigger a rotation around a vertical axis (e.g., rotate an object), the user can swipe horizontally to trigger a rotation around a horizontal axis (e.g., to rotate an object) swipe vertically) to tilt forward or backward). Determining whether to rotate an object by an amount constrained to a threshold amount or to rotate an object by more than a threshold amount is based on the input being about a first axis or a second axis. Depending on whether the request is to rotate an object or not, the ability to control different types of rotation operations is improved depending on the input corresponding to the request to rotate the object. Providing additional control options without cluttering the user interface with additional displayed controls enhances the usability of the device and makes the user device interface more efficient.
いくつかの実施形態（１８０１０）では、第１の軸に対する仮想三次元オブジェクトの回転は、第１の入力の第１の入力パラメータ（例えば、スワイプ距離、又はスワイプ速度）の特徴値と、第１の軸の周りの仮想三次元オブジェクトへ適用された回転量との間の第１の一致角度で生じ、第２の軸に対する仮想三次元オブジェクトの回転は、第２の入力ジェスチャの第１の入力パラメータ（例えば、スワイプ距離、又はスワイプ速度）の特徴値と、第２の軸の周りの仮想三次元オブジェクトへ適用された回転量との間の第２の一致角度で生じ、第１の一致角度は、第２の一致角度よりも、第１の入力パラメータに対する仮想三次元オブジェクトの、より少ない回転しか含まない（例えば、第１の軸の周りの回転は、第２の軸の周りの回転よりも、高い摩擦又は引っ掛かりを有する）。例えば、仮想オブジェクト１１００２の第１の回転量は、（図１３Ｂ～図１３Ｃに関して説明されるように、）ｙ軸の周りの回転のための、スワイプ距離ｄ１のスワイプ入力に応じて生じ、第１の回転量よりも少ない、仮想オブジェクト１１００２の第２の回転量は、（図１３Ｅ～図１３Ｇに関して説明されるように、）ｘ軸の周りの回転のための、スワイプ距離ｄ１のスワイプ入力に応じて生じる。入力に応じて、より多い、又は、より少ない角度回転で、仮想オブジェクトを回転させることは、入力が、第１の軸又は第２の軸の周りにオブジェクトを回転させるための要求であるか否かに依存してオブジェクトを回転させるための要求に対応する入力に応じて、異なるタイプの回転動作を制御する機能を改善する。表示された追加の制御を用いてユーザーインターフェースを混乱させることなく追加の制御オプションを提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。
In some embodiments (18010), the rotation of the virtual three-dimensional object about the first axis is based on a feature value of a first input parameter (e.g., swipe distance or swipe velocity) of the first input; the rotation of the virtual three-dimensional object about the second axis occurs at a first coincidence angle between the amount of rotation applied to the virtual three-dimensional object about the axis of the first input gesture and the rotation of the virtual three-dimensional object about the second axis a second matching angle between a feature value of a parameter (e.g., swipe distance or swiping speed) and an amount of rotation applied to the virtual three-dimensional object about a second axis, the first matching angle involves less rotation of the virtual three-dimensional object with respect to the first input parameter than the second coincident angle (e.g., the rotation about the first axis is less than the rotation about the second axis). (also have high friction or snagging). For example, a first amount of rotation of
いくつかの実施形態では、デバイスは、第１の入力の終了を検出する（例えば、入力は、タッチ感知面上の１つ以上の接触の移動を含み、第１の入力の終了の検出は、タッチ感知面からの１つ以上の接触のリフトオフを検出することを含む）（１８０１２）。第１の入力の終了を検出した後（例えば、検出に応じて）、デバイスは、入力の終了を検出する前に、第１の入力の大きさに基づいて（例えば、接触のリフトオフの直前の、接触の移動の速度に基づいて）、三次元オブジェクトの回転を継続する（１８０１４）。これは、三次元オブジェクトが第１の軸に対して回転しているとの判定にしたがって、第１の軸に対するオブジェクトの回転を、第１の軸に対する三次元オブジェクトの回転の大きさに比例した第１の量、遅くする（例えば、第１の摩擦係数を用いて、擬似的な摩擦のような第１の擬似的な物理的パラメータに基づいて、第１の軸の周りの三次元オブジェクトの回転を遅くする）ことと、三次元オブジェクトが第２の軸に対して回転しているとの判定にしたがって、第２の軸に対するオブジェクトの回転を、第２の軸に対する三次元オブジェクトの回転の大きさに比例した第２の量、遅くする（例えば、第１の摩擦係数よりも小さな第２の摩擦係数を用いて、擬似的な摩擦のような第２の擬似的な物理的パラメータに基づいて、第２の軸の周りの三次元オブジェクトの回転を遅くする）こととを含み、第２の量は、第１の量とは異なる。例えば、図１３Ｃ～図１３Ｄでは、仮想オブジェクト１１００２は、図１３Ｂ～図１３Ｃに関して説明されるように、仮想オブジェクト１１００２の回転をもたらした接触１３００２のリフトオフ後、回転を継続する。いくつかの実施形態では、第２の量は、第１の量よりも大きい。いくつかの実施形態では、第２の量は、第１の量未満である。入力の終了の検出後、仮想オブジェクトの回転を、第１の量又は第２の量、遅くすることは、入力が、第１の軸又は第２の軸の周りにオブジェクトを回転させるための要求であるか否かに基づいて、第１の軸及び第２の軸の周りの回転のために、異なる方式で回転動作が仮想オブジェクトへ適用されたことを示す視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、プレーンに対応する第２の向きにおけるオブジェクトの配置前に、ユーザーが適切な入力を提供することと、仮想オブジェクトを操作するために入力を提供する試みを回避することとを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device detects an end of the first input (e.g., the input includes movement of one or more contacts on a touch-sensitive surface, and detecting the end of the first input comprises: detecting lift-off of one or more contacts from a touch-sensitive surface) (18012). After detecting the end of the first input (e.g., in response to the detection), the device may detect the end of the input based on the magnitude of the first input (e.g., just prior to contact liftoff) before detecting the end of the input. , based on the speed of movement of the contact), the rotation of the three-dimensional object continues (18014). This is based on the determination that the three-dimensional object is rotating with respect to the first axis, and the rotation of the object with respect to the first axis is proportional to the magnitude of the rotation of the three-dimensional object with respect to the first axis. of a three-dimensional object about a first axis based on a first pseudo-physical parameter, such as pseudo-friction, using a first amount, e.g., a first friction coefficient. and the rotation of the three-dimensional object about the second axis according to the determination that the three-dimensional object is rotating about the second axis. a second amount proportional to the magnitude, slowing down (e.g., based on a second pseudo-physical parameter such as pseudo-friction, using a second coefficient of friction that is smaller than the first coefficient of friction) and slowing rotation of the three-dimensional object about a second axis), the second amount being different from the first amount. For example, in FIGS. 13C-13D,
いくつかの実施形態では、デバイスは、第１の入力の終了を検出する（例えば、入力は、タッチ感知面における１つ以上の接触の移動を含み、第１の入力の終了を検出することは、タッチ感知面からの１つ以上の接触のリフトオフを検出することを含む）（１８０１６）。第１の入力の終了を検出した後（例えば、検出に応じて）（１８０１８）、三次元オブジェクトが、第１の軸に対して、それぞれの回転閾値を超えて回転したとの判定にしたがって、デバイスは、第１の軸に対する三次元オブジェクトの回転の少なくとも一部を反転させ、三次元オブジェクトが、第１の軸に対して、それぞれの回転閾値を超えて回転していないとの判定にしたがって、デバイスは、第１の軸に対する三次元オブジェクトの回転を反転させることを控える（例えば、第１の軸に対する三次元オブジェクトの回転を停止させる、及び／又は、入力の終了を検出する前、入力の大きさによって判定された大きさ、入力の動きの方向に、第１の軸に対して三次元オブジェクトの回転を継続させる）。例えば、図１３Ｅ～図１３Ｇを参照して説明されるように、仮想オブジェクト１１００２を、回転閾値を超えて回転させた後、図１３Ｇ～図１３Ｈによって例示されるように、仮想オブジェクト１１００２の回転が反転される。いくつかの実施形態では、三次元オブジェクトの回転を反転させる量は、三次元オブジェクトがそれぞれの回転閾値をどれくらい超えたのかに基づいて決定される（例えば、三次元オブジェクトの回転は、もしそれぞれの回転閾値を超えて回転した三次元オブジェクトの回転の量がより小さく、もしそれぞれの回転閾値を超えて回転した三次元オブジェクトの回転の量が、第１の軸に対して回転を反転させる小さな量と比べて、より大きいのであれば、第１の軸に対して、より大きな量、反転される）。いくつかの実施形態では、回転の反転は、より大きな力で引っ張る弾性効果のような擬似的な物理パラメータによって駆動され、更に、三次元オブジェクトは、第１の軸に対するそれぞれの回転閾値を超えて回転される。いくつかの実施形態では、回転の反転は、それぞれの回転閾値を超えて回転された、第１の軸に対する回転の方向に基づいて判定された回転の方向にある（例えば、三次元オブジェクトが回転され、オブジェクトの頂部が、ディスプレイ内へ戻ったのであれば、回転の反転は、オブジェクトの頂部を、ディスプレイ外側へ進めて回転させ、オブジェクトの頂部が、ディスプレイ外側へ進められて回転されるように、三次元オブジェクトが回転されたのであれば、回転の反転は、オブジェクトの頂部を、ディスプレイ内へ戻して回転させ、三次元オブジェクトが回転され、オブジェクトの右側が、ディスプレイ内に戻ったのであれば、回転の反転は、ディスプレイ外側へ進むオブジェクトの右側を回転させ、及び／又は、オブジェクトの左側が、ディスプレイ外側へ進められて回転されるように、三次元オブジェクトが回転されたのであれば、回転の反転は、オブジェクトの左側を、ディスプレイ内へ戻して回転させる）。いくつかの実施形態では、例えば、第２の軸に対する回転が、それぞれの角度範囲へ拘束されている場合、第２の軸の周りの回転のために、同様のラバーバンディング（例えば、回転の条件付き反転）が実行される。いくつかの実施形態では、例えば、三次元オブジェクトがデバイスによって３６０度回転することを許可されるように、第２の軸に対する回転が拘束されていない場合、（例えば、デバイスは、第２の軸に対する回転について回転閾値を課さないので）第２の軸の周りの回転のためにラバーバンディングは実行されない。入力の終了を検出した後、第１の軸に関して三次元オブジェクトの回転の少なくとも一部を反転すること、又は、第１の軸に関して三次元オブジェクトの回転の一部を反転することを控えることは、オブジェクトが回転閾値を超えて回転したか否かに依存して、仮想オブジェクトの回転へ適用可能な回転閾値を示す視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが、回転閾値を超えて仮想オブジェクトを回転させるための入力を提供する試みを回避することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device detects the end of the first input (e.g., the input includes movement of one or more contacts on the touch-sensitive surface, and detecting the end of the first input , detecting lift-off of one or more contacts from a touch-sensitive surface) (18016). After detecting (e.g., in response to detecting) (18018) the end of the first input, and in accordance with a determination that the three-dimensional object has been rotated about the first axis by more than a respective rotation threshold; The device reverses at least a portion of the rotation of the three-dimensional object about the first axis, and in accordance with the determination that the three-dimensional object is not rotated about the first axis by more than a respective rotation threshold. , the device refrains from reversing the rotation of the three-dimensional object about the first axis (e.g., stops the rotation of the three-dimensional object about the first axis, and/or before detecting the end of the input continues the rotation of the three-dimensional object about the first axis in the direction of the input movement, as determined by the magnitude of the input motion. For example, after rotating
いくつかの実施形態（１８０２０）では、第１の入力が、三次元オブジェクトを、第１の軸及び第２の軸とは異なる第３の軸（例えば、ｚ軸のような、ディスプレイのプレーン（例えば、ｘ－ｙ面）に垂直な第３の軸）の周りに回転させるための要求に対応するとの判定にしたがって、デバイスは、仮想三次元オブジェクトを第３の軸に対して回転させることを控える（例えば、ｚ軸の周りの回転が禁止され、オブジェクトをｚ軸の周りに回転させるための要求は、デバイスによって無視される）。いくつかの実施形態では、デバイスは、アラート（例えば、入力の失敗を示す触知出力）を提供する。回転入力が、仮想オブジェクトを第３の軸の周りに回転させるための要求に対応しているとの判定にしたがって仮想オブジェクトの回転を控えることは、第３の軸の周りの回転が制限されていることを示す視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが仮想オブジェクトを第３の軸の周りに回転させるための入力を提供する試みを回避することを支援することによって）、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments (18020), the first input moves the three-dimensional object along a third axis (e.g., a plane of the display, such as the z-axis) that is different from the first and second axes. For example, in response to a determination that the device corresponds to a request to rotate the virtual three-dimensional object about the third axis (e.g., a third axis perpendicular to the refrain (e.g., rotation around the z-axis is prohibited and requests to rotate the object around the z-axis are ignored by the device). In some embodiments, the device provides an alert (eg, a tactile output indicating a failed input). Refraining from rotating the virtual object in accordance with a determination that the rotation input corresponds to a request to rotate the virtual object about the third axis means that rotation about the third axis is restricted. Provide visual feedback to indicate that Providing improved visual feedback to the user (e.g., by assisting the user in avoiding attempts to provide input to rotate the virtual object about a third axis) improve usability and make user device interfaces more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、デバイスは、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）内に、仮想三次元オブジェクトの第１の視点の表現を表示しながら、仮想三次元オブジェクトによって投じられた影の表現を表示する（１８０２２）。デバイスは、第１の軸及び／又は第２の軸に対する仮想三次元オブジェクトの回転にしたがって、影の表現の形状を変化させる。例えば、仮想オブジェクト１１００２の影１３００６の形状は、仮想オブジェクト１１００２が回転すると、図１３Ｂ～図１３Ｆから変化する。いくつかの実施形態では、仮想オブジェクトの所定の底側をサポートするステージングユーザーインターフェース内に、目に見えない基本プレーンに対する仮想オブジェクトの現在の向きを示すために、影がシフトし、形状を変化させる。いくつかの実施形態では、仮想三次元オブジェクトの表面は、ステージングユーザーインターフェース内に表現される仮想空間における所定の方向に配置された擬似的な光源からの光を反射するように見える。仮想オブジェクトの回転にしたがって影の形状を変化させることは、（例えば、仮想オブジェクトが向けられた仮想的なプレーン（例えば、ステージングビューのステージ）を示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは（例えば、第１の軸又は第２の軸の周りに回転させるためのスワイプ入力のための適切な命令をユーザーが判定することを支援することによって）、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device displays a first perspective representation of the virtual three-dimensional object within a first user interface area (e.g., a staging user interface) while A representation of the shadow is displayed (18022). The device changes the shape of the shadow representation according to rotation of the virtual three-dimensional object with respect to the first axis and/or the second axis. For example, the shape of the
いくつかの実施形態では、第１のユーザーインターフェース領域内で、仮想三次元オブジェクトを回転させている間（１８０２４）、仮想三次元オブジェクトの所定の底部を明示する第２の視点とともに、仮想三次元オブジェクトが表示されるとの判定にしたがって、デバイスは、仮想三次元オブジェクトの第２の視点の表現とともに、影の表現の表示を控える。例えば、デバイスは、仮想オブジェクトが（例えば、図１３Ｇ～図１３Ｉに関して説明されるように、）下方から見られた場合、仮想オブジェクトの影を表示しない。仮想オブジェクトの底部が表示されているとの判定にしたがって、仮想オブジェクトの影の表示を控えることは、（例えば、仮想プレーン（例えば、ステージングビューのステージ）にもはや対応していない位置へオブジェクトが回転したことを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, while rotating (18024) the virtual three-dimensional object within the first user interface area, the virtual three-dimensional object is Following the determination that the object is to be displayed, the device refrains from displaying the second perspective representation of the virtual three-dimensional object as well as the shadow representation. For example, the device does not display a shadow of a virtual object when the virtual object is viewed from below (eg, as described with respect to FIGS. 13G-13I). Refraining from displaying the virtual object's shadow according to a determination that the bottom of the virtual object is visible (e.g., when the object is rotated to a position that no longer corresponds to the virtual plane (e.g., the stage in a staging view) Provide visual feedback (showing what you have done). Providing improved visual feedback to users enhances device usability and makes user device interfaces more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングビュー）内で、仮想三次元オブジェクトを回転させた後、デバイスは、第１のユーザーインターフェース領域における仮想三次元オブジェクトをリセットするための要求に対応する第２の入力を検出する（例えば、第２の入力は、第１のユーザーインターフェース領域における二重タップである）（１８０２６）。第２の入力を検出することに応じて、デバイスは、第１のユーザーインターフェース領域における仮想三次元オブジェクトの所定の元の視点（例えば、第１の視点、又は、第１の視点とは異なるのデフォルトの開始視点（例えば、第１の視点は、ステージングユーザーインターフェース内に、ユーザー操作後に表示される視点である））の表現を（例えば、仮想オブジェクトの回転及びリサイズによって）表示する（例えば、二重タップに応じて、デバイスは、仮想オブジェクトの向きを、所定の元の向き（例えば、ユーザーにプレーンする正面側、所定の基本プレーンにとどまる底面側では直立）へリセットする）（１８０２８）。例えば、図１３Ｉ～図１３Ｊは、仮想オブジェクト１１００２の視点を、（図１３Ｂ～図１３Ｇに関して説明される回転入力の結果として）アラートされた視点から、（図１３Ａに図示された視点仮想オブジェクト１１００２と同じである）図１３Ｊにおける元の視点へ変化させる入力を例示する。いくつかの実施形態では、仮想三次元オブジェクトをリセットする命令に対応する第２の入力を検出することに応じて、デバイスはまた、仮想三次元オブジェクトのデフォルト表示サイズを反映させるために、仮想三次元オブジェクトをリサイズする。いくつかの実施形態では、二重タップ入力は、ステージングユーザーインターフェースにおける仮想オブジェクトの向き及びサイズの両方をリセットする一方、二重タップ入力は、サイズのみをリセットするが、拡張現実ユーザーインターフェースにおける仮想オブジェクトの向きをリセットしない。いくつかの実施形態では、デバイスは、拡張現実ユーザーインターフェース内の仮想オブジェクトのサイズをリセットするために、二重タップが、仮想オブジェクトへ向けられることを必要とする一方、デバイスは、二重タップが仮想オブジェクトにおいて検出され、二重タップが仮想オブジェクトの周りで検出されることに応じて、仮想オブジェクトの向き及びサイズをリセットする。拡張現実ビューでは、１本指のスワイプが、（例えば、ステージングビューにおけるものとは異なり）仮想オブジェクトを回転させるのではなく、仮想オブジェクトをドラッグする。仮想オブジェクトをリセットするための要求を検出することに応じて、仮想オブジェクトの所定の元の視点を表示することは、（例えば、オブジェクトの特性を調節するために提供された入力が、所定の元の視点へいつオブジェクトを返すのかを推定することをユーザーへ要求するのではなく、オブジェクトをリセットするためのオプションを提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高める。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, after rotating the virtual three-dimensional object within the first user interface area (e.g., staging view), the device resets the virtual three-dimensional object in the first user interface area. (eg, the second input is a double tap in the first user interface area) (18026). In response to detecting the second input, the device detects a predetermined original perspective (e.g., a first perspective or a different perspective than the first perspective) of the virtual three-dimensional object in the first user interface area. Display (e.g., by rotating and resizing the virtual object) a representation of the default starting viewpoint (e.g., the first viewpoint is the viewpoint that will be displayed after user interaction within the staging user interface); In response to the double tap, the device resets the orientation of the virtual object to a predetermined original orientation (eg, front side plane to the user, upright with bottom side remaining in a predetermined base plane) (18028). For example, FIGS. 13I-13J change the viewpoint of
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）内に仮想三次元オブジェクトを表示している間、デバイスは、仮想三次元オブジェクトをリサイズするための要求に対応する第３の入力を検出する（例えば、第３の入力は、第１のユーザーインターフェース領域上に提示された仮想オブジェクトへ向けられたピンチ又はデピンチジェスチャであり、第３の入力は、リサイズ動作を開始するための基準（例えば、（方法１９０００を参照して以下により詳細に説明されるような）元又は増強された基準）を満たす大きさを有する）（１８０３０）。第３の入力を検出することに応じて、デバイスは、入力の大きさにしたがって、第１のユーザーインターフェース領域における仮想三次元オブジェクトの表現のサイズを調節する（１８０３２）。例えば、（図６Ｎ～図６Ｏに関して説明されるように、）デピンチジェスチャを含む入力に応じて、仮想オブジェクト１１００２のサイズが減少される。いくつかの実施形態では、仮想三次元オブジェクトの表現のサイズが調節された場合、デバイスは、仮想オブジェクトの現在のズームレベルを示すためのインジケータを表示する。いくつかの実施形態では、デバイスは、第３の入力が終了すると、ズームレベルを示すインジケータの表示を停止する。オブジェクトをリサイズするための入力の大きさにしたがって、仮想オブジェクトのサイズを調節することは、（例えば、オブジェクトを、所望の量、リサイズするためのオプションを提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, while displaying a virtual three-dimensional object within a first user interface area (e.g., a staging user interface), the device receives a first response to a request to resize the virtual three-dimensional object. detecting a third input (e.g., the third input is a pinch or de-pinch gesture directed at a virtual object presented on the first user interface area; the third input initiates a resizing operation; (18030) having a size that satisfies criteria (eg, original or augmented criteria (as described in more detail below with reference to method 19000)) for. In response to detecting the third input, the device adjusts the size of the representation of the virtual three-dimensional object in the first user interface area according to the size of the input (18032). For example, in response to an input that includes a de-pinch gesture (as described with respect to FIGS. 6N-6O), the size of
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）における仮想三次元オブジェクトの表現のサイズを調節している間、デバイスは、仮想三次元オブジェクトのサイズが、仮想三次元オブジェクトの所定のデフォルトの表示サイズに達したことを検出する（１８０３４）。仮想三次元オブジェクトのサイズが、仮想三次元オブジェクトの所定のデフォルトの表示サイズに達したことを検出することに応じて、デバイスは、仮想三次元オブジェクトが、所定のデフォルトの表示サイズで表示されていることを示すために触知出力（例えば、ディスクリートな触知出力）を生成する（１８０３６）。図１１Ｏは、仮想オブジェクト１１００２のサイズが、（例えば、図１１Ｍ～図１１Ｏに関して説明されるように、）仮想オブジェクト１１００２の以前に所定のサイズに達したことを検出することに応じて提供された触知出力１１０２４の例を提供する。いくつかの実施形態では、二重タップ入力に応じて、仮想オブジェクトのサイズが、デフォルトの表示サイズへリセットされた場合、デバイスは、同じ触知出力を生成する。仮想オブジェクトのサイズが、所定のデフォルトの表示サイズに達したとの判定にしたがって触知出力を生成することは、ユーザーに（例えば、仮想オブジェクトの擬似的なされたサイズを、所定のサイズへ戻すために、さらなる入力は必要とされないことを示す）フィードバックを提供する。改善された触覚フィードバックを提供することは、（例えば、表示された情報でユーザーインターフェースを混乱させることなく、仮想オブジェクトの所定の擬似的なされた物理サイズへ到達したことを、ユーザーが知覚することを可能にする、知覚情報を提供することによって、）デバイスの操作性を高める。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, while adjusting the size of the representation of the virtual three-dimensional object in the first user interface area (e.g., a staging user interface), the device adjusts the size of the virtual three-dimensional object to Detecting that a predetermined default display size of the object has been reached (18034). In response to detecting that the size of the virtual three-dimensional object has reached the predetermined default display size of the virtual three-dimensional object, the device displays the virtual three-dimensional object at the predetermined default display size. A tactile output (eg, a discrete tactile output) is generated to indicate the presence (18036). FIG. 11O is provided in response to detecting that the size of
いくつかの実施形態では、ズームレベル（例えば、現在のズームレベルに対応する値を示すスライダ）を示す視覚的な指示が、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）内に表示される。仮想三次元オブジェクトの表現のサイズが調節されると、ズームレベルを示す視覚的な指示が、仮想三次元オブジェクトの表現の、調節されたサイズにしたがって調節される。 In some embodiments, a visual indication indicating a zoom level (e.g., a slider indicating a value corresponding to the current zoom level) is displayed within the first user interface area (e.g., a staging user interface). . When the size of the representation of the virtual three-dimensional object is adjusted, the visual indication indicating the zoom level is adjusted according to the adjusted size of the representation of the virtual three-dimensional object.
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）において仮想三次元オブジェクトの第３の視点の表現を表示している間、デバイスは、１つ以上のカメラ（例えば、デバイスに埋め込まれたカメラ）の視野を含む第２のユーザーインターフェース領域（例えば、拡張現実ユーザーインターフェース）内に、仮想三次元オブジェクトを表示することを求める要求に対応する第４の入力を検出する（１８０４２）。第４の入力を検出することに応じて、デバイスは、表示生成コンポーネントによって、第２のユーザーインターフェース領域に含まれる１つ以上のカメラの視野の少なくとも一部の上方に、仮想オブジェクトの表現を表示し（例えば、１つ以上のカメラの視野は、第２のユーザーインターフェース領域において仮想オブジェクトを表示するための要求に応じて表示される）、１つ以上のカメラの視野は、１つ以上のカメラが配置された物理的環境の視野である（１８０４４）。仮想オブジェクトの表現を表示することは、仮想三次元オブジェクトを、第１の軸（例えば、ｘ軸のような水平方向において、ディスプレイのプレーン（例えば、ｘ－ｙ面）に平行な軸）の周りに、所定の角度へ（例えば、０度のようなデフォルトのヨー角度へ、又は、１つ以上のカメラの視野においてキャプチャされた物理的環境において検出されたプレーンに揃えられた角度へ（例えば、平行に））回転させることを含む。いくつかの実施形態では、デバイスは、第１の軸に対して、所定の角度まで徐々に回転させ、第２の軸（例えば、ｙ軸のような垂直方向において、ディスプレイのプレーン（例えば、ｘ－ｙ面）に平行な軸）に対する仮想三次元オブジェクトの現在の角度を維持する三次元オブジェクトのアニメーションを表示する。１つ以上のカメラの視野において仮想オブジェクトを表示するための要求に応じて、仮想オブジェクトを、第１の軸の周りに（例えば、仮想オブジェクトを、プレーンに対して所定の向きへ位置変えするために、さらなる入力を必要とすることなく）所定の角度へ回転させることは、デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, while displaying a third perspective representation of a virtual three-dimensional object in a first user interface area (e.g., a staging user interface), the device controls one or more cameras (e.g., detecting a fourth input corresponding to a request to display a virtual three-dimensional object within a second user interface area (e.g., an augmented reality user interface) that includes a field of view of a camera embedded in the device; 18042). In response to detecting the fourth input, the device causes the display generation component to display a representation of the virtual object above at least a portion of the field of view of the one or more cameras included in the second user interface area. (e.g., the field of view of the one or more cameras is displayed in response to a request for displaying a virtual object in a second user interface area); is the field of view of the physical environment in which the is located (18044). Displaying a representation of a virtual object may include moving the virtual three-dimensional object around a first axis (e.g., an axis parallel to the plane of the display (e.g., the xy plane) in a horizontal direction, such as the x-axis). , to a predetermined angle (e.g., to a default yaw angle such as 0 degrees, or to an angle aligned with a detected plane in the physical environment captured in the field of view of one or more cameras (e.g., parallel)). In some embodiments, the device is gradually rotated to a predetermined angle with respect to a first axis, and rotated in a vertical direction, such as a second axis (e.g., y-axis), to a plane of the display (e.g., x Display an animation of a three-dimensional object that maintains the current angle of the virtual three-dimensional object with respect to an axis (axis parallel to the -y plane). In response to a request to display the virtual object in the field of view of one or more cameras, the virtual object may be repositioned about a first axis (e.g., to reposition the virtual object in a predetermined orientation relative to a plane). Rotation to a predetermined angle (without requiring further input) increases the operability of the device. Reducing the number of inputs required to perform an operation increases the usability of the device and makes the user device interface more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）内に、仮想三次元オブジェクトの第４の視点の表現を表示している間、デバイスは、仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースへ戻す要求に対応する第５の入力を検出する（１８０４６）。第５の入力を検出することに応じて、デバイス（１８０４８）は、仮想三次元オブジェクトの二次元表現に対応する仮想三次元オブジェクトの視点を示すために、仮想三次元オブジェクトを（例えば、仮想三次元オブジェクトの二次元表現と、二次元ユーザーインターフェースとを表示する前に）回転させ、仮想三次元オブジェクトの二次元表現に対応するそれぞれの視点を示すために、仮想三次元オブジェクトが回転された後、仮想三次元オブジェクトの二次元表現を表示する。いくつかの実施形態では、デバイスは、仮想三次元オブジェクトの二次元表現に対応する仮想三次元オブジェクトの視点を示すために、徐々に回転する三次元オブジェクトのアニメーションを表示する。いくつかの実施形態では、デバイスはまた、二次元ユーザーインターフェースにおいて表示された仮想三次元オブジェクトの二次元表現のサイズに一致させるために、回転中又は回転後、仮想三次元オブジェクトをリサイズする。いくつかの実施形態では、二次元ユーザーインターフェースにおける二次元表現（例えば、仮想オブジェクトのサムネイル画像）の位置へ向かって移動し、その位置に落ち着く、回転された仮想三次元オブジェクトを示すために、アニメーション化された遷移が表示される。仮想三次元オブジェクトの二次元表現の表示に戻すための入力に応じて、仮想三次元オブジェクトの二次元表現に対応する視点へ仮想三次元オブジェクトを回転させることは、（例えば、表示されたオブジェクトが二次元であることを示すために）フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが、適切な入力を提供することと、二次元オブジェクトを、二次元オブジェクトの回転が利用可能ではない軸に沿って回転させるための入力を提供する試みを回避することとを支援することによって）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, while displaying a fourth perspective representation of the virtual three-dimensional object within the first user interface area (e.g., a staging user interface), the device displays two views of the virtual three-dimensional object. A fifth input corresponding to a request to return to a two-dimensional user interface including a dimensional representation is detected (18046). In response to detecting the fifth input, the device (18048) displays the virtual three-dimensional object (e.g., a virtual three-dimensional After the virtual three-dimensional object is rotated (before displaying the two-dimensional representation of the original object and the two-dimensional user interface) and the respective viewpoints corresponding to the two-dimensional representation of the virtual three-dimensional object , displaying a two-dimensional representation of a virtual three-dimensional object. In some embodiments, the device displays an animation of the three-dimensional object that rotates gradually to indicate a perspective of the virtual three-dimensional object that corresponds to a two-dimensional representation of the virtual three-dimensional object. In some embodiments, the device also resizes the virtual three-dimensional object during or after rotation to match the size of the two-dimensional representation of the virtual three-dimensional object displayed in the two-dimensional user interface. In some embodiments, an animation is used to illustrate a rotated virtual three-dimensional object moving toward and settling into a position of a two-dimensional representation (e.g., a thumbnail image of the virtual object) in a two-dimensional user interface. The converted transition will be displayed. Rotating the virtual three-dimensional object to a viewpoint corresponding to the two-dimensional representation of the virtual three-dimensional object in response to an input to return to the display of the two-dimensional representation of the virtual three-dimensional object (e.g., when the displayed object is provide feedback (to show that it is two-dimensional). Providing improved visual feedback to the user (e.g., when the user provides appropriate input and rotates a two-dimensional object along an axis for which rotation of the two-dimensional object is not available) Enhance device usability (by avoiding attempts to provide input for devices and making user device interfaces more efficient). This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、仮想三次元オブジェクトの第１の視点の表現を表示する前に、デバイスは、それぞれの視点からの仮想三次元オブジェクトのビューの表現（例えば、仮想三次元オブジェクトに対応する二次元画像のような静的表現）を含む仮想三次元オブジェクトの表現（例えば、サムネイル又はアイコン）を含むユーザーインターフェースを表示する（１８０５０）。仮想三次元オブジェクトの表現を表示している間、デバイスは、仮想三次元オブジェクト（例えば、仮想三次元オブジェクトの表現に関するタップ入力又は他の選択入力）を表示するための要求を検出する（１８０５２）。仮想三次元オブジェクトを表示するための要求を検出することに応じて、デバイスは、仮想三次元オブジェクトの表現のそれぞれの視点を一致させるために、仮想三次元オブジェクトの表現の表示を、回転された仮想三次元オブジェクトと置き換える（１８０５４）。図１１Ａ～図１１Ｅは、仮想オブジェクト１１００２の表現を表示するユーザーインターフェース５０６０の例を提供する。仮想オブジェクト１１００２を表示するための要求に応じて、図１１Ａに関して説明されるように、ユーザーインターフェース５０６０のディスプレイは、図１１Ｅに図示されるように、ステージングユーザーインターフェース６０１０における仮想オブジェクト１１００２の表示によって置き換えられる。図１１Ｅにおける仮想オブジェクト１１００２の視点は、図１１Ａにおける仮想オブジェクト１１００２の表現の視点と同じである。いくつかの実施形態では、仮想三次元オブジェクトの表現は、仮想三次元オブジェクトを用いて置き換えられる前に、（例えば、仮想三次元オブジェクトのサイズに一致するサイズへ）スケールアップされる。いくつかの実施形態では、仮想三次元オブジェクトは、先ず、仮想三次元オブジェクトの表現のサイズで表示され、後続して、スケールアップされる。いくつかの実施形態では、仮想三次元オブジェクトの表現から仮想三次元オブジェクトへの遷移中、仮想三次元オブジェクトの表現と、仮想三次元オブジェクトとの間の円滑な遷移を生成するように、デバイスは、仮想三次元オブジェクトの表現を徐々に拡大し、仮想三次元オブジェクトの表現を、仮想三次元オブジェクトを用いてクロスフェードし、その後、仮想三次元オブジェクトを徐々に拡大する。いくつかの実施形態では、仮想三次元オブジェクトの初期場所は、仮想三次元オブジェクトの表現の場所に対応するように選択される。いくつかの実施形態では、仮想三次元オブジェクトの表現は、仮想三次元オブジェクトが表示される場所に対応するように選択された場所へシフトされる。仮想三次元オブジェクトの（二次元）表現の表示を、（二次元）表示の視点に一致するように回転された仮想三次元オブジェクトに置き換えることは、（例えば、三次元オブジェクトが、仮想三次元オブジェクトの二次元表現と同じオブジェクトであることを示すために）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, prior to displaying the first perspective representation of the virtual three-dimensional object, the device displays a representation of the view of the virtual three-dimensional object from each perspective (e.g., corresponding to the virtual three-dimensional object). A user interface is displayed (18050) that includes a representation (eg, a thumbnail or icon) of a virtual three-dimensional object, including a static representation, such as a two-dimensional image. While displaying the representation of the virtual three-dimensional object, the device detects (18052) a request to display the virtual three-dimensional object (e.g., a tap input or other selection input regarding the representation of the virtual three-dimensional object). . In response to detecting the request to display the virtual three-dimensional object, the device rotates the display of the virtual three-dimensional object representation to match the respective viewpoints of the virtual three-dimensional object representation. Replace with a virtual three-dimensional object (18054). 11A-11E provide an example of a
いくつかの実施形態では、第１のユーザーインターフェースを表示する前に、デバイスは、仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースを表示する（１８０５６）。仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースを表示している間、デバイスは、仮想三次元オブジェクトの二次元表現に対応するタッチ感知面上の場所において、プレビュー基準を満たす（例えば、プレビュー基準は、押圧入力の強度が第１の強度閾値（例えば、弱い押圧強度閾値）を超えることを必要とする、及び／又は、プレビュー基準は、押圧入力の持続時間が第１の持続時間閾値を超えることを必要とする）タッチ入力（例えば、接触の強度の増加）の第１の部分を検出する（１８０５８）。タッチ入力の第１の部分がプレビュー基準を満たすことを検出することに応じて、デバイスは、仮想三次元オブジェクトの二次元表現よりも大きな仮想三次元オブジェクトのプレビューを表示する（例えば、プレビューは、仮想三次元オブジェクトの異なる視点を示すためにアニメーション化される）（１８０６０）。いくつかの実施形態では、デバイスは、（例えば、入力の持続時間又は圧力に基づいて、又は、あらかじめ決定されたアニメーションの速度に基づいて）徐々に拡大する三次元オブジェクトのアニメーションを表示する。（例えば、現在表示されているユーザーインターフェースの表示を、異なるユーザーインターフェースと置き換えることなく）仮想三次元オブジェクトのプレビューを表示することは、（例えば、ユーザーが、仮想三次元オブジェクトを表示し、ユーザーインターフェース同士の間でのナビゲーションのための入力を提供する必要無しに仮想三次元オブジェクトの二次元表現を見るように戻せるようにすることによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高める。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, prior to displaying the first user interface, the device displays a two-dimensional user interface that includes a two-dimensional representation of the virtual three-dimensional object (18056). While displaying a two-dimensional user interface that includes a two-dimensional representation of a virtual three-dimensional object, the device satisfies the preview criteria (e.g., The preview criterion requires that the intensity of the press input exceeds a first intensity threshold (e.g., a weak press intensity threshold), and/or the preview criterion requires that the duration of the press input exceeds a first duration threshold. detecting (18058) a first portion of a touch input (e.g., an increase in the intensity of the contact) (e.g., an increase in the intensity of the contact); In response to detecting that the first portion of the touch input meets the preview criteria, the device displays a preview of the virtual three-dimensional object that is larger than the two-dimensional representation of the virtual three-dimensional object (e.g., the preview is (18060) (animated to show different perspectives of the virtual three-dimensional object). In some embodiments, the device displays an animation of the three-dimensional object that gradually expands (e.g., based on the duration or pressure of the input, or based on a predetermined speed of the animation). Displaying a preview of a virtual 3D object (e.g., without replacing the currently displayed user interface display with a different user interface) Enhances the usability of the device by allowing one to return to viewing two-dimensional representations of virtual three-dimensional objects without having to provide input for navigation between them. Reducing the number of inputs required to perform an operation increases the operability of the device. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、仮想三次元オブジェクトのプレビューを表示している間、デバイスは、（例えば、継続的に維持されている同じ接触によって）タッチ入力の第２の部分を検出する（１８０６２）。タッチ入力の第２の部分を検出することに応じて（１８０６４）、タッチ入力の第２の部分がメニュー表示基準を満たす（例えば、メニュー表示基準は、接触が、所定の方向へ、（例えば、上方へ）閾値量よりも多く移動することを必要とする）との判定にしたがって、デバイスは、仮想オブジェクトに関連付けられた複数の動作に対応する複数の選択可能なオプション（例えば、共有メニュー）（例えば、仮想オブジェクトを、別のデバイス又はユーザーと共有する様々な手段のような共有オプション）を表示し、タッチ入力の第２の部分がステージング基準（例えば、ステージング基準は、接触の強度が、第１の閾値強度よりも大きな第２の閾値強度（例えば、深い押圧強度閾値）を超えることを必要とする）を満たすとの判定にしたがって、デバイスは、仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースの表示を、仮想三次元オブジェクトを含む第１のユーザーインターフェースに置き換える。仮想オブジェクトに関連付けられたメニューを表示すること、又は、仮想三次元オブジェクトの二次元表示を含む二次元ユーザーインターフェースの表示を、仮想三次元オブジェクトを含む第１のユーザーインターフェースと置き換えることは、ステージング基準が満たされているか否かに依存して、入力に応じて、多数の異なるタイプの動作の実行を可能にする。第１のタイプの入力を用いて、多数の異なるタイプの動作の実行を可能にすることは、効率を高め、これによって、ユーザーは、これらの操作を実行することができる。これによって、デバイスの操作性を高める。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, while displaying a preview of the virtual three-dimensional object, the device detects (18062) a second portion of the touch input (e.g., by the same continuously maintained contact). . In response to detecting (18064) the second portion of the touch input, the second portion of the touch input satisfies menu display criteria (e.g., the menu display criteria indicates that the contact is in a predetermined direction (e.g., Upon determining that the virtual object requires more than a threshold amount of movement), the device selects multiple selectable options (e.g., a shared menu) that correspond to multiple actions associated with the virtual object ( For example, the second part of the touch input may display sharing options (e.g., various means of sharing the virtual object with another device or user), and the second part of the touch input may display staging criteria (e.g., the staging criteria may indicate that the intensity of the contact is In accordance with a determination that a second threshold strength (e.g., a deep press strength threshold) greater than one threshold strength is satisfied, the device generates a two-dimensional representation of the virtual three-dimensional object. The display of the dimensional user interface is replaced with a first user interface that includes a virtual three-dimensional object. Displaying a menu associated with a virtual object or replacing the display of a two-dimensional user interface that includes a two-dimensional display of a virtual three-dimensional object with a first user interface that includes a virtual three-dimensional object is a staging criterion. Depending on whether or not is satisfied, depending on the input, allows the execution of a number of different types of operations. Enabling the performance of a large number of different types of operations using the first type of input increases efficiency, thereby allowing the user to perform these operations. This improves the operability of the device. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、第１のユーザーインターフェースが、複数の制御（例えば、ワールドビューへの切り替えのため、戻る等のためのボタン）を含む（１８０６６）。第１のユーザーインターフェースを表示する前に、デバイスは、仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースを表示する（１８０６８）。第１のユーザーインターフェースにおいて、仮想三次元オブジェクト表示するための要求を検出することに応じて、デバイスは（１８０７０）、仮想三次元オブジェクトに関連付けられた１つ以上の制御のセットを表示することなく、第１のユーザーインターフェース内に、仮想三次元オブジェクトを表示し、第１のユーザーインターフェース内に仮想三次元オブジェクトを表示した後、デバイスは、１つ以上の制御のセットを表示する。例えば、図１１Ａ～図１１Ｅに関して説明されるように、仮想オブジェクト１１００２の二次元表現を含むユーザーインターフェース５０６０のディスプレイは、ステージングユーザーインターフェース６０１０の前に表示される。（図１１Ａに関して説明されるように、）ステージングユーザーインターフェース６０１０内に、仮想オブジェクト１１００２を表示するための要求に応じて、ステージングユーザーインターフェース６０１０の制御６０１６、６０１８、６０２０なしで（図１１Ｂ～図１１Ｃに図示されるように）仮想オブジェクト１１００２が表示される。図１１Ｄ～図１１Ｅでは、ステージングユーザーインターフェース６０１０の制御６０１６、６０１８、６０２０が、ユーザーインターフェース内のビューへフェードする。いくつかの実施形態では、１つ以上の制御のセットが、デバイスの１つ以上のカメラの視野において検出されたプレーンに対して固定された位置に仮想三次元オブジェクトが配置されている、拡張現実環境において仮想三次元オブジェクトを表示するための制御を含む。いくつかの実施形態では、第１のユーザーインターフェースにおいて仮想三次元オブジェクトを表示するための要求を検出することに応じて、仮想三次元オブジェクトが、第１のユーザーインターフェース内に表示される準備ができていない（例えば、仮想オブジェクトの三次元モデルが、第１のユーザーインターフェースが表示される準備ができている時に、完全にロードされない）（例えば、仮想オブジェクトのロード時間が、閾値時間よりも長い（例えば、顕著であり、ユーザーに知覚可能である））との判定にしたがって、デバイスは、第１のユーザーインターフェース内に、複数の制御を表示することなく、第１のユーザーインターフェースの一部（例えば、第１のユーザーインターフェースの背景ウィンドウ）を表示し、（例えば、第１のユーザーインターフェースの一部が、制御なしで表示された後）仮想三次元オブジェクトが、第１のユーザーインターフェース内に表示される準備ができているとの判定にしたがって、デバイスは、第１のユーザーインターフェース内に、仮想三次元オブジェクトを表示（例えば、フェードイン）しデバイスは、仮想三次元オブジェクトが第１のユーザーインターフェース内に表示された後、制御を表示（例えば、フェードイン）する。第１のユーザーインターフェース内に、仮想三次元オブジェクトを表示するための要求を検出することに応じて、仮想三次元オブジェクトが表示される準備ができている（例えば、第１のユーザーインターフェースが表示される準備ができている場合、仮想オブジェクトの三次元モデルがロードされた）、（例えば、仮想オブジェクトのロード時間が、閾値時間よりも短い（例えば、無視することができ、ユーザーに知覚可能ではない））との判定にしたがって、デバイスは、第１のユーザーインターフェース上における複数の制御とともに、第１のユーザーインターフェースを表示し、デバイスは、複数の制御を用いて、第１のユーザーインターフェース内に、仮想三次元オブジェクトを表示する（例えば、フェードインしない）。いくつかの実施形態では、（例えば、「戻る」要求に応じて）二次元ユーザーインターフェースへ戻るために、ステージングユーザーインターフェースを出た場合、制御は、仮想三次元オブジェクトが仮想三次元オブジェクトの二次元表現へ変換される前に先ずフェードアウトする。ユーザーインターフェース内に、仮想三次元オブジェクトを表示した後、制御を表示することは、（例えば、仮想オブジェクトを操作するための制御が、仮想オブジェクトをロードするために必要とされる時間長さの間、利用可能ではないことを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、仮想オブジェクトのためのロード時間中、操作動作が利用可能ではない間、ユーザーがオブジェクトを操作するための入力の提供を回避することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the first user interface includes a plurality of controls (eg, buttons for switching to world view, back, etc.) (18066). Prior to displaying the first user interface, the device displays a two-dimensional user interface that includes a two-dimensional representation of the virtual three-dimensional object (18068). In response to detecting a request to display a virtual three-dimensional object in the first user interface, the device (18070) displays a set of one or more controls associated with the virtual three-dimensional object. , displaying the virtual three-dimensional object within the first user interface, and after displaying the virtual three-dimensional object within the first user interface, the device displays a set of one or more controls. For example, as described with respect to FIGS. 11A-11E, a display of
図１８Ａ～図１８Ｉにおける動作が説明された特定の順序は、単なる例であり、説明された順序は、動作が実行され得る唯一の順序であることを示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（方法８００、９００、１０００、１６０００、１７０００、１９０００、及び２００００）に関して本明細書で説明される他の処理の詳細はまた、図１８Ａ～図１８Ｉに関して上述された方法１８０００と類似の方式で適用可能であることが注目されるべきである。例えば、方法１８０００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、８００、９００、１０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡潔のために、これら詳細は、本明細書では繰り返されない。
It is understood that the particular order in which the operations in FIGS. 18A-18I are described is merely an example and that the described order is not intended to indicate that the operations are the only order in which the operations may be performed. Should. Those skilled in the art will recognize various techniques for reordering the operations described herein. In addition, other processing details described herein with respect to other methods described herein (
図１９Ａ～図１９Ｈは、第１の閾値移動大きさが、第１のオブジェクト操作挙動のために満たされているとの判定にしたがって、第２のオブジェクト操作挙動のために必要な第２の閾値移動大きさを増加させる方法１９０００を例示するフロー図である。方法１９０００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）とタッチ感知面（例えば、タッチ感知面、又は、表示生成コンポーネントとタッチ感知面との両方として役立つタッチスクリーンディスプレイ）とを有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００、）において実行される。方法１９０００におけるいくつかの動作は、オプションで、組み合わされるか、及び／又は、いくつかの動作の順序は、オプションで、変更される。
19A to 19H illustrate the second threshold required for the second object manipulation behavior according to the determination that the first threshold movement magnitude is satisfied for the first object manipulation behavior. FIG. 19 is a flow diagram illustrating a
デバイスは、第１のジェスチャ認識基準（例えば、回転基準）を満たす入力に応じて実行される第１のオブジェクト操作挙動（例えば、それぞれの軸の周りのユーザーインターフェースオブジェクトの回転）と、第２のジェスチャ認識基準（例えば、変換基準とスケーリング基準とのうちの１つ）を満たす入力に応じて実行される第２のオブジェクト操作挙動（例えば、ユーザーインターフェースオブジェクトの変換、又は、ユーザーインターフェースオブジェクトのスケーリングのうちの１つ）とを含む、複数のオブジェクト操作挙動に関連付けられたユーザーインターフェースオブジェクト（例えば、仮想オブジェクトの表現を含むユーザーインターフェース領域）を含む第１のユーザーインターフェース領域を、表示生成コンポーネントを介して表示する（１９００２）。例えば、表示された仮想オブジェクト１１００２は、（例えば、図１４Ｂ～図１４Ｅに関して説明されるような）それぞれの軸の周りの回転、（例えば、図１４Ｋ～図１４Ｍに関して説明されるような）変換、及び（図１４Ｇ～図１４Ｉに関して説明されるような）スケーリングを含む操作挙動に関連付けられる。
The device performs a first object manipulation behavior (e.g., rotation of a user interface object about a respective axis) performed in response to input that satisfies a first gesture recognition criterion (e.g., a rotation criterion); a second object manipulation behavior (e.g., transforming a user interface object or scaling a user interface object) performed in response to an input that satisfies a gesture recognition criterion (e.g., one of a transformation criterion and a scaling criterion); a first user interface area that includes a user interface object (e.g., a user interface area that includes a representation of a virtual object) associated with a plurality of object manipulation behaviors, including a first user interface area that includes a representation of a virtual object; Display (19002). For example, the displayed
第１のユーザーインターフェース領域を表示している間、デバイスは、タッチ感知面にわたる１つ以上の接触の移動を検出することを含むユーザーインターフェースオブジェクトへ向けられた入力の第１の部分を検出し（例えば、デバイスは、ユーザーインターフェースオブジェクトの表示位置に対応するタッチ感知面上の場所における１つ以上の接触を検出し）、１つ以上の接触が、タッチ感知面上で検出されている間、デバイスは、第１のジェスチャ認識基準と第２のジェスチャ認識基準との両方に関する１つ以上の接触の移動を評価する（１９００４）。 While displaying the first user interface area, the device detects a first portion of input directed to the user interface object, including detecting movement of one or more contacts across the touch-sensitive surface; For example, the device detects one or more contacts at a location on the touch-sensitive surface that corresponds to a displayed position of the user interface object), and while the one or more contacts are detected on the touch-sensitive surface, the device evaluates (19004) movement of the one or more contacts with respect to both the first gesture recognition criterion and the second gesture recognition criterion.
入力の第１の部分を検出することに応じて、デバイスは、入力の第１の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新する。これは、第２のジェスチャ認識基準を満たす前に、入力の第１の部分が第１のジェスチャ認識基準を満たしているとの判定にしたがって、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変化させる（例えば、ユーザーインターフェースオブジェクトを回転させる）ことと、（例えば、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変化せることなく、）第２のジェスチャ認識基準のための閾値を増加させる（例えば、第２のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させる）ことによって、第２のジェスチャ認識基準を更新することとを含む（１９００６）。例えば、図１４Ｅにおいて、仮想オブジェクト１１００２は、（スケーリング基準が満たされる前に）回転基準が満たされているとの判定にしたがって回転され、スケーリング基準のための閾値ＳＴが、ＳＴ'へ増加される。いくつかの実施形態では、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、変換及びスケーリングのための基準は、移動パラメータのための増加された閾値を用いて更新され、）すでに認識され、このオブジェクトを操作するために使用されているジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスされる。この入力が、第１のジェスチャ認識基準を満たす前に、第２のジェスチャ認識基準を満たすとの判定にしたがって、デバイスは、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変化させ（例えば、ユーザーインターフェースオブジェクトを変換するか、又は、ユーザーインターフェースオブジェクトをリサイズし）、（例えば、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変化させることなく）第１のジェスチャ認識基準のための閾値を増加させる（例えば、第１のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させる）ことによって、第１のジェスチャ認識基準を更新する。例えば、図１４Ｉにおいて、仮想オブジェクト１１００２のサイズは、（回転基準が満たされる前に）スケーリング基準が満たされているとの判定にしたがって増加し、回転基準のための閾値ＲＴが、ＲＴ'へ増加される。いくつかの実施形態では、オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされる前に、（オブジェクトを回転するためのジェスチャを認識するための基準が以前に満たされていないと仮定して、）回転のためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける回転動作を開始することは比較的容易である。オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされると、オブジェクトにおける回転操作を開始することはより困難になり、（例えば、オブジェクトを回転させるための基準は、移動パラメータのための増加された閾値を用いて更新され、）すでに認識され、このオブジェクトを操作するために使用されているジェスチャに対応する操作挙動へ向けて、オブジェクト操作挙動がバイアスされる。いくつかの実施形態では、ユーザーインターフェースオブジェクトの外観は、入力のそれぞれの移動パラメータの値にしたがって（例えば、異なるサイズ、位置、視点、反射、影等を示して）動的及び連続的に変更される。いくつかの実施形態では、デバイスは、移動パラメータ（例えば、各タイプの操作挙動のためのそれぞれの移動パラメータ）と、ユーザーインターフェースオブジェクトの外観に対してなされた変更（例えば、各タイプの操作挙動のための外観のそれぞれの態様）との間でプリセットされた調和（例えば、各タイプの操作挙動のためのそれぞれの調和）に従う。入力された移動が、第２のオブジェクト操作のための第２の閾値を超えて増加した場合、第１のオブジェクト操作のために必要とされる入力移動のための第１の閾値を増加させることは、（例えば、ユーザーが、第１のオブジェクト操作を実行するための入力の提供を試みている間、第２のオブジェクト操作を誤って実行することを回避することを支援することによって）デバイスの操作性を高める。異なるタイプのオブジェクト操作を制御するユーザーの能力を改善することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。
In response to detecting the first portion of the input, the device updates the appearance of the user interface object based on the first portion of the input. This is based on the first portion of the input (e.g., the input changing the appearance of the user interface object (e.g., rotating the user interface object) according to a first object manipulation behavior (e.g., based on the orientation and/or size of the first portion of the user interface object); increasing the threshold for the second gesture recognition criterion (e.g., increasing the movement parameter (e.g. movement distance) in the second gesture recognition criterion) without changing the appearance of the user interface object according to the object manipulation behavior of , speed, etc.) and updating the second gesture recognition criteria (19006). For example, in FIG. 14E,
いくつかの実施形態では、入力の第１の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新した後、デバイスは、（例えば、入力の第１の部分において連続的に維持されている同じ接触、又は、入力の第１の部分における接触の終了（例えば、リフトオフ）後に検出された異なる接触によって）入力の第２の部分を検出する（１９００８）。いくつかの実施形態では、入力の第２の部分は、ユーザーインターフェースオブジェクトへ向けられた連続的に検出された入力に基づいて検出される。入力の第２の部分を検出することに応じて、デバイスは、入力の第２の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新する（１９０１０）。これは、入力の第１の部分が、第１のジェスチャ認識基準を満たし、入力の第２の部分が、更新された第２のジェスチャ認識基準を満たさないとの判定にしたがって、（例えば、入力の第２の部分が、第１のジェスチャ認識基準又は元の第２のジェスチャ認識基準を満たすか否かを考慮することなく、）入力の第２の部分に基づいて（例えば、入力の第２の部分の方向及び／又は大きさに基づいて）、第２のオブジェクト操作挙動にしたがって、（例えば、入力の第２の部分が、更新される前の元の第２のジェスチャ認識基準を満たしていても）ユーザーインターフェースオブジェクトの外観を変更することなく、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、入力の第１の部分が、第２のジェスチャ認識基準を満たし、入力の第２の部分が、更新された第１のジェスチャ認識基準を満たさないとの判定にしたがって、（例えば、入力の第２の部分が、第２のジェスチャ認識基準又は元の第１のジェスチャ認識基準を満たすか否かを考慮することなく、）入力の第２の部分に基づいて（例えば、入力の第２の部分の方向及び／又は大きさに基づいて）、第１のオブジェクト操作挙動にしたがって、（例えば、入力の第２の部分が、更新される前の元の第１のジェスチャ認識を満たしていても）ユーザーインターフェースオブジェクトの外観を変更することなく、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、を含む。 In some embodiments, after updating the appearance of the user interface object based on the first portion of the input, the device updates the appearance of the user interface object based on the first portion of the input (e.g., the same contact that is continuously maintained in the first portion of the input, Alternatively, a second portion of the input is detected (19008) by a different touch detected after termination of the contact (eg, liftoff) on the first portion of the input. In some embodiments, the second portion of input is detected based on sequentially detected input directed to the user interface object. In response to detecting the second portion of the input, the device updates the appearance of the user interface object based on the second portion of the input (19010). This occurs according to a determination that a first portion of the input satisfies the first gesture recognition criterion and a second portion of the input does not satisfy the updated second gesture recognition criterion (e.g., the input based on the second part of the input (e.g., without considering whether the second part of the input satisfies the first gesture recognition criterion or the original second gesture recognition criterion). (e.g., the second part of the input satisfies the original second gesture recognition criteria before being updated) according to the second object manipulation behavior (based on the orientation and/or size of the part of the input). modifying the appearance of the user interface object according to the first object manipulation behavior without changing the appearance of the user interface object; and the first portion of the input satisfies the second gesture recognition criterion. , following a determination that the second portion of the input does not satisfy the updated first gesture recognition criterion (e.g., the second portion of the input does not satisfy the second gesture recognition criterion or the original first gesture recognition criterion). the first object manipulation based on the second portion of the input (e.g., based on the orientation and/or magnitude of the second portion of the input) without regard to whether the gesture recognition criteria are met; the second object manipulation behavior without changing the appearance of the user interface object (e.g., even if the second part of the input satisfies the original first gesture recognition before being updated). changing the appearance of the user interface object according to the method.
いくつかの実施形態（１９０１２）では、入力の第１の部分が、第１のジェスチャ認識基準を満たした後、入力の第２の部分に基づいて、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観が変更される一方、入力の第２の部分は、（例えば、閾値が増加される前に、第２のジェスチャ認識基準における入力の移動パラメータに関する元の閾値を用いて、）第２のジェスチャ認識基準が更新される前に、第２のジェスチャ認識基準を満たす入力を含んでいる（例えば、入力の第２の部分は、更新された第２のジェスチャ認識基準を満たす入力を含んでいない）。 In some embodiments (19012), after the first portion of the input satisfies the first gesture recognition criteria, the user interface is configured according to the first object manipulation behavior based on the second portion of the input. While the appearance of the object is changed, the second portion of the input is changed to a second portion (e.g., using the original threshold for the movement parameter of the input in the second gesture recognition criterion before the threshold is increased). (e.g., the second portion of the input includes input that satisfies the updated second gesture recognition criteria). not present).
いくつかの実施形態（１９０１４）では、ユーザーインターフェースオブジェクトの外観は、入力の第１の部分が、第２のジェスチャ認識基準を満たした後、入力の第２の部分に基づいて、第２のオブジェクト操作挙動にしたがって変更される一方、入力の第２の部分は、（例えば、閾値が増加される前に、第１のジェスチャ認識基準における入力の移動パラメータのための元の閾値を用いて、）第１のジェスチャ認識基準が更新される前に、第１のジェスチャ認識基準を満たす入力を含む（例えば、入力の第２の部分は、更新された第１のジェスチャ認識基準を満たす入力を含まない）。 In some embodiments (19014), the appearance of the user interface object changes to the second object based on the second portion of the input after the first portion of the input satisfies the second gesture recognition criteria. while the second part of the input is changed according to the manipulation behavior (e.g., with the original threshold for the movement parameter of the input in the first gesture recognition criterion before the threshold is increased) includes input that satisfies the first gesture recognition criterion before the first gesture recognition criterion is updated (e.g., the second portion of the input does not contain input that satisfies the updated first gesture recognition criterion) ).
いくつかの実施形態（１９０１６）では、ユーザーインターフェースオブジェクトの外観は、入力の第１の部分が、第１のジェスチャ認識基準を満たした後、入力の第２の部分に基づいて、第１のオブジェクト操作挙動にしたがって変更される一方、入力の第２の部分は、（例えば、第１のジェスチャ認識基準における入力の移動パラメータのための元の閾値を用いた）第１のジェスチャ認識基準を満たす入力を含まない。例えば、第１のジェスチャ認識基準が満たされると、入力は、第１のオブジェクト操作挙動を引き起こすために、もはや第１のジェスチャ認識基準を満たし続ける必要はない。 In some embodiments (19016), the appearance of the user interface object changes from the first object based on the second portion of the input after the first portion of the input satisfies the first gesture recognition criteria. the second portion of the input is modified according to the manipulation behavior, while the second portion of the input satisfies the first gesture recognition criterion (e.g., using the original thresholds for the movement parameters of the input in the first gesture recognition criterion). Does not include. For example, once the first gesture recognition criterion is met, the input no longer needs to continue to satisfy the first gesture recognition criterion in order to cause the first object manipulation behavior.
いくつかの実施形態（１９０１８）では、ユーザーインターフェースオブジェクトの外観は、入力の第１の部分が、第２のジェスチャ認識基準を満たした後、入力の第２の部分に基づいて、第２のオブジェクト操作挙動にしたがって変更される一方、入力の第２の部分は、（例えば、第２のジェスチャ認識基準における入力の移動パラメータのための元の閾値を用いた）第２のジェスチャ認識基準を満たす入力を含まない。例えば、第２のジェスチャ認識基準が満たされると、入力は、第２のオブジェクト操作挙動を引き起こすために、もはや第２のジェスチャ認識基準を満たし続ける必要はない。入力の第２の部分が、増加された閾値を超えて増加する移動を含む場合に、第１のオブジェクト操作挙動を実行することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、増加された基準を満たすことによって第１のオブジェクト操作を実行した後、第２のオブジェクト操作を意図的に実行する能力をユーザーに提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を改善し、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments (19018), the appearance of the user interface object changes to the second object based on the second portion of the input after the first portion of the input satisfies the second gesture recognition criteria. the second portion of the input is modified according to the manipulation behavior, while the second portion of the input satisfies the second gesture recognition criterion (e.g., using the original threshold for the movement parameter of the input in the second gesture recognition criterion). Does not include. For example, once the second gesture recognition criterion is met, the input no longer needs to continue to satisfy the second gesture recognition criterion in order to cause the second object manipulation behavior. Performing the first object manipulation behavior when the second portion of the input includes increasing movement beyond the increased threshold (e.g., providing new input to the user) enhance the usability of the device (by providing the user with the ability to intentionally perform a second object operation after performing a first object operation by meeting increased criteria without requiring the user to do so); . Reducing the number of inputs required to perform an operation improves the usability of the device and makes the user device interface more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、入力の第２の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新することは入力の第１の部分が、第２のジェスチャ認識基準を満たし、入力の第２の部分が、更新された第１のジェスチャ認識基準を満たすとの判定にしたがって、入力の第２の部分に基づいて、第１のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更し、入力の第２の部分に基づいて、第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更することと、入力の第１の部分が、第１のジェスチャ認識基準を満たし、入力の第２の部分が、更新された第２のジェスチャ認識基準を満たすとの判定にしたがって、入力の第２の部分に基づいて、第１のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更し、入力の第２の部分に基づいて、第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更することと、を含む（１９０２０）。例えば、第１のジェスチャ認識基準がまず満たされ、その後、入力が更新された第２のジェスチャ認識基準を満たした後、入力は、第１及び第２の両方のオブジェクト操作挙動を引き起こすことができる。例えば、第２のジェスチャ認識基準がまず満たされ、その後、入力が更新された第１のジェスチャ認識基準を満たした後、入力は、第１及び第２の両方のオブジェクト操作挙動を引き起こすことができる。第２のジェスチャ認識基準及び更新された第１のジェスチャ認識基準が満たされた後に検出された入力の一部に応じて、第１のオブジェクト操作挙動及び第２のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、増加された閾値を満たした後、第１のオブジェクト操作及び第２のオブジェクト操作を使用して、オブジェクトを自由に操作する能力を、ユーザーへ提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, updating the appearance of the user interface object based on the second portion of the input includes determining whether the first portion of the input satisfies a second gesture recognition criterion and the second portion of the input changes the appearance of the user interface object according to the first object manipulation behavior based on the second portion of the input, and changes the appearance of the user interface object according to the first object manipulation behavior based on the second portion of the input. changing the appearance of a user interface object according to a second object manipulation behavior based on the first portion of the input, the first portion of the input satisfying the first gesture recognition criterion; modifying the appearance of the user interface object according to the first object manipulation behavior based on the second portion of the input in accordance with the determination that the updated second gesture recognition criterion is satisfied; and modifying the appearance of the user interface object according to the second object manipulation behavior based on the second object manipulation behavior (19020). For example, after a first gesture recognition criterion is first met and then the input satisfies an updated second gesture recognition criterion, the input can cause both the first and second object manipulation behavior. . For example, after the second gesture recognition criterion is first met and then the input satisfies the updated first gesture recognition criterion, the input can cause both the first and second object manipulation behavior. . Update the object according to the first object manipulation behavior and the second object manipulation behavior in response to the second gesture recognition criterion and the portion of the input detected after the updated first gesture recognition criterion is satisfied. (e.g., using the first object operation and the second object operation after satisfying the increased threshold without requiring the user to provide new input) (by providing the user with the ability to freely operate the device). Reducing the number of inputs required to perform an operation increases the usability of the device and makes the user device interface more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、入力の第２の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新した後（例えば、第１のジェスチャ認識基準と更新された第２のジェスチャ認識基準との両方が満たされた後、又は、第２のジェスチャ認識基準と更新された第１のジェスチャ認識基準との両方が満たされた後）、デバイスは、（例えば、入力の第１及び第２の部分において連続的に維持されている同じ接触によって、又は、入力の第１の部分及び第２の部分の接触の終了（例えば、リフトオフ）後に検出された異なる接触によって）入力の第３の部分を検出する（１９０２２）。入力の第３の部分を検出することに応じて、デバイスは、入力の第３の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新する（１９０２４）。これは、入力の第３の部分に基づいて、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、入力の第３の部分に基づいて、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することとを含む。例えば、第１のジェスチャ認識基準と更新された第２のジェスチャ認識基準との両方が満たされた後、又は、第２のジェスチャ認識基準と更新された第１のジェスチャ認識基準との両方が満たされた後、入力は、元の又は更新された第１及び第２のジェスチャ認識基準の閾値を考慮せずに、後続して、第１及び第２のオブジェクト操作挙動をともに引き起こすことができる。第２のジェスチャ認識基準及び更新された第１のジェスチャ認識基準が満たされた後に検出された入力の一部に応じて、第１のオブジェクト操作挙動及び第２のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、増加された閾値を満たすことによって、第１のオブジェクト操作タイプを実行する意図を確証した後、第１のオブジェクト操作及び第２のオブジェクト操作を使用して、オブジェクトを自由に操作する能力を、ユーザーへ提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, after updating the appearance of the user interface object based on the second portion of the input (e.g., after both the first gesture recognition criterion and the updated second gesture recognition criterion are met) or after both the second gesture recognition criterion and the updated first gesture recognition criterion are met), the device (e.g., detecting (19022 ). In response to detecting the third portion of the input, the device updates the appearance of the user interface object based on the third portion of the input (19024). This includes changing the appearance of a user interface object according to a first object manipulation behavior based on a third part of the input, and changing the appearance of a user interface object according to a first object manipulation behavior based on a third part of the input. Therefore, it includes changing the appearance of user interface objects. For example, after both the first gesture recognition criterion and the updated second gesture recognition criterion are met, or after both the second gesture recognition criterion and the updated first gesture recognition criterion are met. The input may subsequently cause both the first and second object manipulation behaviors without considering the original or updated first and second gesture recognition criterion thresholds. Update the object according to the first object manipulation behavior and the second object manipulation behavior in response to the second gesture recognition criterion and the portion of the input detected after the updated first gesture recognition criterion is satisfied. performing the first object operation type after establishing the intent to perform the first object operation type (e.g., by satisfying the increased threshold without requesting the user to provide new input). (by providing the user with the ability to freely manipulate objects using the second object manipulation and the second object manipulation). Reducing the number of inputs required to perform an operation increases the usability of the device and makes the user device interface more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態（１９０２６）では、入力の第３の部分は、第１のジェスチャ認識基準を満たす入力、又は、第２のジェスチャ認識基準を満たす入力を含まない。例えば、第１のジェスチャ認識基準と更新された第２のジェスチャ認識基準との両方が満たされた後、又は、第２のジェスチャ認識基準と更新された第１のジェスチャ認識基準との両方が満たされた後、入力は、元の又は更新された第１及び第２のジェスチャ認識基準の閾値を考慮せずに、後続して、第１及び第２のオブジェクト操作挙動をともに引き起こすことができる。第２のジェスチャ認識基準及び更新された第１のジェスチャ認識基準が満たされた後に検出された入力の一部に応じて、第１のオブジェクト操作挙動及び第２のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、高められた基準を満たした後、第１のオブジェクト操作及び第２のオブジェクト操作を使用して、オブジェクトを自由に操作する能力を、ユーザーへ提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments (19026), the third portion of input does not include input that meets the first gesture recognition criterion or input that meets the second gesture recognition criterion. For example, after both the first gesture recognition criterion and the updated second gesture recognition criterion are met, or after both the second gesture recognition criterion and the updated first gesture recognition criterion are met. The input may subsequently cause both the first and second object manipulation behaviors without considering the original or updated first and second gesture recognition criterion thresholds. Update the object according to the first object manipulation behavior and the second object manipulation behavior in response to the second gesture recognition criterion and the portion of the input detected after the updated first gesture recognition criterion is satisfied. (e.g., using the first object operation and the second object operation after satisfying the increased criteria, without requiring the user to provide new input) (by providing the user with the ability to freely operate the device). Reducing the number of inputs required to perform an operation increases the usability of the device and makes the user device interface more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、複数のオブジェクト操作挙動が、第３のジェスチャ認識基準（例えば、スケーリング基準）を満たす入力に応じて実行される第３のオブジェクト操作挙動（例えば、ユーザーインターフェースオブジェクトの、それぞれの軸の周りの回転）を含む（１９０２８）。入力の第１の部分に基づいてユーザーインターフェースオブジェクトの外観を更新することは、第２のジェスチャ認識基準を満たす前に、又は、第３のジェスチャ認識基準を満たす前に、入力の第１の部分が、第１のジェスチャ認識基準を満たすとの判定にしたがって、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更する（例えば、ユーザーインターフェースオブジェクトを回転させる）ことと、（例えば、第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変化させることなく）第２のジェスチャ認識基準のための閾値を増加させること（例えば、第２のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって第２のジェスチャ認識基準を更新することとを含む（１９０３０）。例えば、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、移動パラメータのための増加された閾値を用いて、変換及びスケーリングのための基準が更新され、）すでに認識され、このオブジェクトを操作するために使用されるジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスされる。デバイスは、第３のジェスチャ認識基準のための閾値を増加させる（例えば、第３のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させる）ことによって、第３のジェスチャ認識基準を更新する。例えば、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、移動パラメータのための増加された閾値を用いて、変換及びスケーリングのための基準が更新され、）すでに認識され、このオブジェクトを操作するために使用されるジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスさせる。第１のジェスチャ認識基準を満たす前に、又は、第３のジェスチャ基準を満たす前に、入力が、第２のジェスチャ認識基準を満たすとの判定にしたがって、デバイスは、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更（例えば、ユーザーインターフェースオブジェクトを変換、又は、ユーザーインターフェースオブジェクトをリサイズ）し、（例えば、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を更新することなく）第１のジェスチャ認識基準のための閾値を増加させること（例えば、第１のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって、第１のジェスチャ認識基準を更新する。例えば、オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされる前に、（オブジェクトを回転させるためのジェスチャを認識するための基準が以前に満たされていないと仮定して、）回転のためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける回転動作を開始することは比較的容易である。オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされると、オブジェクトにおける回転動作を開始することはより困難になり、（例えば、オブジェクトを回転させるための基準は、移動パラメータのための増加された閾値を用いて更新され、）すでに認識され、このオブジェクトを操作するために使用されているジェスチャに対応する操作挙動へ向けて、オブジェクト操作挙動がバイアスされる。いくつかの実施形態では、ユーザーインターフェースオブジェクトの外観は、入力のそれぞれの移動パラメータの値にしたがって（例えば、異なるサイズ、位置、視点、反射、影等を示して）動的及び連続的に変更される。いくつかの実施形態では、デバイスは、移動パラメータ（例えば、操作挙動の各タイプのためのそれぞれの移動パラメータ）と、ユーザーインターフェースオブジェクトの外観に対してなされた変更（例えば、操作挙動の各タイプのための外観のそれぞれの態様）との間であらかじめ設定された調和（例えば、操作挙動の各タイプのためのそれぞれの調和）に従う。デバイスは、第３のジェスチャ認識基準のための閾値を増加させること（例えば、第３のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって、第３のジェスチャ認識基準を更新する。例えば、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、移動パラメータのための増加された閾値を用いて、変換及びスケーリングのための基準が更新され、）すでに認識され、このオブジェクトを操作するために使用されるジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスされる。第１のジェスチャ認識基準を満たす前に、又は、第２のジェスチャ基準を満たす前に、入力が、第３のジェスチャ認識基準を満たすとの判定にしたがって、デバイスは、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）第３のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更（例えば、ユーザーインターフェースオブジェクトをリサイズ）し、（例えば、第１のオブジェクト操作挙動及び第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を更新することなく、）デバイスは、第１のジェスチャ認識基準のための閾値を増加させること（例えば、第１のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって、第１のジェスチャ認識基準を更新する。例えば、オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされる前に、（オブジェクトを回転させるためのジェスチャを認識するための基準が以前に満たされていないと仮定して、）回転のためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける回転動作を開始することは比較的容易である。オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされると、オブジェクトにおける回転動作を開始することはより困難になり、（例えば、オブジェクトを回転させるための基準は、移動パラメータのための増加された閾値を用いて更新され、）すでに認識され、このオブジェクトを操作するために使用されているジェスチャに対応する操作挙動へ向けて、オブジェクト操作挙動がバイアスされる。いくつかの実施形態では、ユーザーインターフェースオブジェクトの外観は、入力のそれぞれの移動パラメータの値にしたがって（例えば、異なるサイズ、位置、視点、反射、影等を示して）動的及び連続的に変更される。いくつかの実施形態では、デバイスは、移動パラメータ（例えば、操作挙動の各タイプのためのそれぞれの移動パラメータ）と、ユーザーインターフェースオブジェクトの外観に対してなされた変更（例えば、操作挙動の各タイプのための外観のそれぞれの態様）との間であらかじめ設定された調和（例えば、操作挙動の各タイプのためのそれぞれの調和）に従う。デバイスは、第２のジェスチャ認識基準のための閾値を増加させること（例えば、第２のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって第２のジェスチャ認識基準を更新する。例えば、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、移動パラメータのための増加された閾値を用いて、変換及びスケーリングのための基準が更新され、）すでに認識され、このオブジェクトを操作するために使用されるジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスさせる。対応する第３のジェスチャ認識基準が満たされた場合にのみ、検出された入力の一部に応じて、第３のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、第１のオブジェクト操作又は第２のオブジェクト操作を実行するための入力の提供を試みている間に、ユーザーが誤って第３のオブジェクト操作を実行することを回避することを支援することによって）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the plurality of object manipulation behaviors are performed in response to input satisfying a third gesture recognition criterion (e.g., a scaling criterion). (19028). Updating the appearance of the user interface object based on the first portion of the input includes updating the appearance of the user interface object based on the first portion of the input before satisfying the second gesture recognition criterion; or before satisfying the third gesture recognition criterion. a first object manipulation based on the first portion of the input (e.g., based on the orientation and/or size of the first portion of the input) in accordance with the determination that the first gesture recognition criterion satisfies the first gesture recognition criterion. changing the appearance of the user interface object according to the behavior (e.g., rotating the user interface object); and changing the appearance of the user interface object (e.g., without changing the appearance of the user interface object according to the second object manipulation behavior). the second gesture by increasing the threshold for the gesture recognition criterion (e.g., by increasing the threshold required for the movement parameter (e.g., movement distance, speed, etc.) in the second gesture recognition criterion). and updating recognition criteria (19030). For example, before the criteria for recognizing a gesture for rotating an object are met, the gesture for translation or scaling (assuming that the criteria for translation or scaling were not previously met) is By meeting the criteria for recognition, it is relatively easy to initiate a transformation or scaling operation on an object. Once the criteria for recognizing a gesture to rotate an object is met, it becomes more difficult to initiate a transformation or scaling operation on the object (e.g. with an increased threshold for the movement parameter). Criteria for translation and scaling are updated to bias object manipulation toward manipulation behavior that corresponds to gestures already recognized and used to manipulate this object. The device increases the threshold for the third gesture recognition criterion (e.g., increases the threshold required for the movement parameter (e.g., movement distance, speed, etc.) in the third gesture recognition criterion). The third gesture recognition standard is updated by: For example, before the criteria for recognizing a gesture for rotating an object are met, the gesture for translation or scaling (assuming that the criteria for translation or scaling were not previously met) is By meeting the criteria for recognition, it is relatively easy to initiate a transformation or scaling operation on an object. Once the criteria for recognizing a gesture to rotate an object is met, it becomes more difficult to initiate a transformation or scaling operation on the object (e.g. with an increased threshold for the movement parameter). Criteria for translation and scaling are updated to bias object manipulation toward manipulation behavior that corresponds to gestures already recognized and used to manipulate this object. In accordance with the determination that the input satisfies the second gesture recognition criterion before the first gesture recognition criterion is satisfied or before the third gesture recognition criterion is satisfied, the device change the appearance of the user interface object (e.g., transform the user interface object or resizing the interface object) and increasing the threshold for the first gesture recognition criterion (e.g., without updating the appearance of the user interface object according to the first object manipulation behavior); updating the first gesture recognition criterion by increasing a required threshold for a movement parameter (eg, movement distance, speed, etc.) in the gesture recognition criterion; For example, before the criteria for recognizing gestures for translating or scaling an object are met (assuming that the criteria for recognizing gestures for rotating an object were not previously met) It is relatively easy to initiate a rotational motion in an object by meeting the criteria for recognizing a gesture for rotation. Once the criteria for recognizing gestures to transform or scale an object are met, it becomes more difficult to initiate a rotational action on the object (e.g., the criteria for rotating an object are (updated with an increased threshold of ) to bias object manipulation behavior toward manipulation behavior corresponding to gestures that have already been recognized and used to manipulate this object. In some embodiments, the appearance of the user interface object is dynamically and continuously changed (e.g., exhibiting different sizes, positions, viewpoints, reflections, shadows, etc.) according to the values of the respective movement parameters of the input. Ru. In some embodiments, the device determines the movement parameters (e.g., respective movement parameters for each type of manipulation behavior) and the changes made to the appearance of the user interface object (e.g., for each type of manipulation behavior). (for example, a respective harmony for each type of operational behavior). The device increases the threshold for the third gesture recognition criterion (e.g., increases the threshold required for the movement parameter (e.g., movement distance, speed, etc.) in the third gesture recognition criterion). ), the third gesture recognition criterion is updated. For example, before the criteria for recognizing a gesture for rotating an object are met, the gesture for translation or scaling (assuming that the criteria for translation or scaling were not previously met) is By meeting the criteria for recognition, it is relatively easy to initiate a transformation or scaling operation on an object. Once the criteria for recognizing a gesture to rotate an object is met, it becomes more difficult to initiate a transformation or scaling operation on the object (e.g. with an increased threshold for the movement parameter). Criteria for translation and scaling are updated to bias object manipulation toward manipulation behavior that corresponds to gestures already recognized and used to manipulate this object. In accordance with the determination that the input satisfies the third gesture recognition criterion before the first gesture recognition criterion is satisfied or before the second gesture recognition criterion is satisfied, the device modifying the appearance of the user interface object (e.g., resizing the user interface object) according to a third object manipulation behavior based on (e.g., based on the orientation and/or size of the first portion of the input); For example, the device may increase the threshold for the first gesture recognition criterion (e.g., without updating the appearance of the user interface object according to the first object manipulation behavior and the second object manipulation behavior). updating the first gesture recognition criterion by increasing a required threshold for a movement parameter (eg, movement distance, speed, etc.) in the first gesture recognition criterion; For example, before the criteria for recognizing gestures for translating or scaling an object are met (assuming that the criteria for recognizing gestures for rotating an object were not previously met) It is relatively easy to initiate a rotational motion in an object by meeting the criteria for recognizing a gesture for rotation. Once the criteria for recognizing gestures to transform or scale an object are met, it becomes more difficult to initiate a rotational action on the object (e.g., the criteria for rotating an object are (updated with an increased threshold of ) to bias object manipulation behavior toward manipulation behavior corresponding to gestures that have already been recognized and used to manipulate this object. In some embodiments, the appearance of the user interface object is dynamically and continuously changed (e.g., exhibiting different sizes, positions, viewpoints, reflections, shadows, etc.) according to the values of the respective movement parameters of the input. Ru. In some embodiments, the device determines the movement parameters (e.g., respective movement parameters for each type of manipulation behavior) and the changes made to the appearance of the user interface object (e.g., for each type of manipulation behavior). (for example, a respective harmony for each type of operational behavior). The device may increase the threshold for the second gesture recognition criterion (e.g., increase the threshold required for a movement parameter (e.g., movement distance, speed, etc.) in the second gesture recognition criterion. ) updates the second gesture recognition criterion. For example, before the criteria for recognizing a gesture for rotating an object are met, the gesture for translation or scaling (assuming that the criteria for translation or scaling were not previously met) is By meeting the criteria for recognition, it is relatively easy to initiate a transformation or scaling operation on an object. Once the criteria for recognizing a gesture to rotate an object is met, it becomes more difficult to initiate a transformation or scaling operation on the object (e.g. with an increased threshold for the movement parameter). Criteria for translation and scaling are updated to bias object manipulation toward manipulation behavior that corresponds to gestures already recognized and used to manipulate this object. Updating the object according to the third object manipulation behavior in response to a portion of the detected input only if a corresponding third gesture recognition criterion is fulfilled (e.g., the first object manipulation behavior or by helping users avoid accidentally performing a third object operation while attempting to provide input to perform a second object operation). . Reducing the number of inputs required to perform an operation increases the usability of the device and makes the user device interface more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、複数のオブジェクト操作挙動は、第３のジェスチャ認識基準を満たす入力に応じて実行される第３のオブジェクト操作挙動を含み（１９０３２）、第１のジェスチャ認識基準又は第２のジェスチャ認識基準を満たす前に、入力の第１の部分は、第３のジェスチャ認識基準を満たしておらず、入力の第１の部分が、第１のジェスチャ認識基準又は第２のジェスチャ認識基準を満たした後、デバイスは、第３のジェスチャ認識基準のための閾値を増加させることによって、第３のジェスチャ認識基準を更新し、入力の第２の部分は、更新された第１のジェスチャ認識基準又は更新された第２のジェスチャ認識基準を満たす前に、更新された第３のジェスチャ認識基準を満たしていない（例えば、デバイスは、入力の第１の部分が、第１又は第２のジェスチャ認識基準のうちの１つを満たした後、第３のジェスチャ認識基準のための閾値を増加させることによって、第３のジェスチャ認識基準を更新した）。入力の第３の部分を検出することに応じて（１９０３４）、（例えば、入力の第３の部分が、（例えば、更新された、又は、元の）第１又は第２のジェスチャ認識基準を満たしているか否かを考慮することなく、）更新された第３のジェスチャ認識基準を満たすとの判定にしたがって、デバイスは、（例えば、（例えば、たとえ入力の第３の部分が元の第１及び第２のジェスチャ認識基準を満たさなくても）第１及び第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更しながら）入力の第３の部分に基づいて（例えば、入力の第３の部分の方向及び／又は大きさに基づいて）、第３のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を更新する。入力の第３の部分が、更新された第３のジェスチャ認識基準を満たさないとの判定にしたがって、デバイスは、（例えば、（例えば、たとえ入力の第３の部分が元の第１及び第２のジェスチャ認識基準を満たさなくても）第１及び第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更しながら）入力の第３の部分に基づいて、第３のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することを控える。第２のジェスチャ認識基準、更新された第１のジェスチャ認識基準、及び、更新された第３のジェスチャ認識基準が満たされた後に検出された入力の一部に応じて、第１のオブジェクト操作挙動、第２のオブジェクト操作挙動、及び第３のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、増加された閾値を満たすことによって、第１、第２、及び第３の３つすべてのオブジェクト操作タイプを実行する意図を確立した後、ユーザーへ、第１、第２、及び第３のオブジェクト操作タイプを使用して、オブジェクトを自由に操作する能力をユーザーへ提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the plurality of object manipulation behaviors include a third object manipulation behavior performed in response to an input satisfying a third gesture recognition criterion (19032), the first gesture recognition criterion or the second gesture recognition criterion. The first portion of the input does not satisfy the third gesture recognition criterion before the first portion of the input satisfies the first gesture recognition criterion or the second gesture recognition criterion. , the device updates the third gesture recognition criterion by increasing the threshold for the third gesture recognition criterion, and the second part of the input is the updated first gesture recognition criterion. The updated third gesture recognition criterion is not met before the criterion or the updated second gesture recognition criterion is met (e.g., the device recognizes that the first portion of the input After meeting one of the recognition criteria, the third gesture recognition criterion was updated by increasing the threshold for the third gesture recognition criterion). In response to detecting (19034) the third portion of the input (e.g., the third portion of the input matches the (e.g., updated or original) first or second gesture recognition criteria). In accordance with the determination that the updated third gesture recognition criterion is satisfied (without regard to whether the third portion of the input is based on the third portion of the input (e.g., while changing the appearance of the user interface object according to the first and second object manipulation behaviors) even if the second gesture recognition criterion is not satisfied. updating the appearance of the user interface object according to a third object manipulation behavior (based on the orientation and/or size of the portion of the object). In accordance with the determination that the third portion of the input does not meet the updated third gesture recognition criteria, the device may (e.g., based on the third portion of the input (while changing the appearance of the user interface object according to the first and second object manipulation behaviors) according to the third object manipulation behavior; Refrain from changing the appearance of user interface objects. the first object manipulation behavior in response to a portion of the input detected after the second gesture recognition criterion, the updated first gesture recognition criterion, and the updated third gesture recognition criterion are met; , the second object manipulation behavior, and the third object manipulation behavior (e.g., satisfying the increased threshold without requiring the user to provide new input). After establishing the intent to perform all three of the first, second, and third object operation types by: (by providing the user with the ability to freely manipulate objects) enhance the usability of the device. Reducing the number of inputs required to perform an operation increases the usability of the device and makes the user device interface more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態（１９０３６）では、入力の第３の部分は、更新された第３のジェスチャ認識基準を満たした。入力の第３の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新した後（例えば、第１のジェスチャ認識基準、及び、更新された第２及び第３のジェスチャ認識基準の両方が満たされた後、又は、第２のジェスチャ認識基準、及び、更新された第１及び第３のジェスチャ認識基準の両方が満たされた後）、デバイスは、（例えば、入力の第１、第２、及び第３の部分において連続的に維持されている同じ接触によって、又は、入力の第１の部分、第２及び第３の部分における接触の終了（例えば、リフトオフ）後に検出された異なる接触によって、）入力の第４の部分を検出する（１９０３８）。入力の第４の部分を検出することに応じて、デバイスは、入力の第４の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新する（１９０４０）。これは、入力の第４の部分に基づいて、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、入力の第４の部分に基づいて、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、入力の第４の部分に基づいて、第３のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、を含む。例えば、第１のジェスチャ認識基準、及び、更新された第２及び第３のジェスチャ認識基準が満たされた後、又は、第２のジェスチャ認識基準、及び、更新された第１及び第３のジェスチャ認識基準が満たされた後、入力は、元の又は更新された第１、第２、及び第３のジェスチャ認識基準における閾値を考慮することなく、後続して、３つすべてのタイプの操作挙動を引き起こし得る。 In some embodiments (19036), the third portion of the input met an updated third gesture recognition criterion. After updating the appearance of the user interface object based on the third portion of the input (e.g., after both the first gesture recognition criterion and the updated second and third gesture recognition criteria are met) , or after both the second gesture recognition criterion and the updated first and third gesture recognition criteria are met), the device (e.g., of the input (by the same contact maintained continuously in the first, second, and third parts of the input) or by different contacts detected after termination (e.g., lift-off) of the contact in the first, second, and third parts of the input). A fourth portion is detected (19038). In response to detecting the fourth portion of the input, the device updates the appearance of the user interface object based on the fourth portion of the input (19040). This includes changing the appearance of a user interface object according to a first object manipulation behavior based on a fourth part of the input, and changing the appearance of a user interface object according to a first object manipulation behavior based on a fourth part of the input. Accordingly, the method includes changing the appearance of the user interface object, and based on the fourth portion of the input, changing the appearance of the user interface object according to the third object manipulation behavior. For example, after the first gesture recognition criterion and the updated second and third gesture recognition criteria are met, or the second gesture recognition criterion and the updated first and third gesture After the recognition criteria are met, the input is subsequently processed for all three types of manipulation behavior without considering the thresholds in the original or updated first, second, and third gesture recognition criteria. can cause
いくつかの実施形態では、入力の第４の部分は第１のジェスチャ認識基準を満たす入力、第２のジェスチャ認識基準を満たす入力、又は、第３のジェスチャ認識基準を満たす入力を含まない（１９０４２）。例えば、第１のジェスチャ認識基準、及び、更新された第２及び第３のジェスチャ認識基準が満たされた後、又は、第２のジェスチャ認識基準、及び、更新された第１及び第３のジェスチャ認識基準が満たされた後、入力は、元の又は更新された第１、第２、及び第３のジェスチャ認識基準における閾値を考慮することなく、後続して、３つすべてのタイプの操作挙動を引き起こし得る。ジェスチャのために同時に検出される接触数を必要とすることは、（例えば、必要とされる同時検出される接触数未満の入力を提供している間、ユーザーが誤ってオブジェクト操作を実行することを回避することを支援することによって）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the fourth portion of input does not include input that meets the first gesture recognition criterion, input that meets the second gesture recognition criterion, or input that meets the third gesture recognition criterion (19042 ). For example, after the first gesture recognition criterion and the updated second and third gesture recognition criteria are met, or the second gesture recognition criterion and the updated first and third gesture After the recognition criteria are met, the input is subsequently processed for all three types of manipulation behavior without considering the thresholds in the original or updated first, second, and third gesture recognition criteria. can cause Requiring a number of concurrently detected contacts for a gesture (e.g., the user may accidentally perform an object manipulation while providing less than the required number of concurrently detected contacts) improve the usability of your device (by helping you avoid problems). Reducing the number of inputs required to perform an operation increases the usability of the device and makes the user device interface more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態（１９０４４）では、第１のジェスチャ認識基準及び第２のジェスチャ認識基準（及び第３のジェスチャ認識基準）はともに、満たされるために、同時に検出される第１の接触数（例えば、２つの接触）を必要とする。いくつかの実施形態では、変換のために、１本指ジェスチャもまた使用され得、１本指変換閾値は、２本指変換閾値よりも低い。いくつかの実施形態では、２本指変換ジェスチャのために設定された元の及び更新された移動閾値は、接触の重心によるそれぞれ４０ポイント及び７０ポイントの移動である。いくつかの実施形態では、２本指回転ジェスチャのために設定された元の及び更新された移動閾値は、それぞれ接触による１２度及び１８度の回転移動である。いくつかの実施形態では、２本指スケーリングジェスチャのために設定された元の及び更新された移動閾値は、それぞれ５０ポイント（接触間距離）及び９０ポイントである。いくつかの実施形態では、１本指ドラッグジェスチャのために設定された閾値は３０ポイントである。 In some embodiments (19044), the first gesture recognition criterion and the second gesture recognition criterion (and the third gesture recognition criterion) are both satisfied when the first number of contacts detected simultaneously ( e.g., two contacts). In some embodiments, one-finger gestures may also be used for translation, and the one-finger translation threshold is lower than the two-finger translation threshold. In some embodiments, the original and updated movement thresholds set for a two-finger translation gesture are 40 points and 70 points of movement, respectively, by the centroid of the contact. In some embodiments, the original and updated movement thresholds set for a two-finger rotation gesture are 12 degrees and 18 degrees of rotational movement on contact, respectively. In some embodiments, the original and updated movement thresholds set for a two-finger scaling gesture are 50 points (distance between contacts) and 90 points, respectively. In some embodiments, the threshold set for a one finger drag gesture is 30 points.
いくつかの実施形態（１９０４６）では、第１のオブジェクト操作挙動は、ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変更し（例えば、（例えば、ピンチジェスチャが、（例えば、元の又は更新された）第１のジェスチャ認識基準に基づいて認識された後に、互いに向かう接触の移動のような）ピンチジェスチャによってオブジェクトをリサイズし）、第２のオブジェクト操作挙動が、ユーザーインターフェースオブジェクトの回転角度を変化させる（例えば、（例えば、ツイスト／旋回ジェスチャが（例えば、元の又は更新された）第２のジェスチャ認識基準によって認識された後、例えば共通の地点の周りの接触の移動のような）ツイスト／旋回ジェスチャによって外部又は内部軸の周りのユーザーインターフェースオブジェクトのビューイング視点を変化させる）。例えば、第１のオブジェクト操作挙動は、図１４Ｇ～図１４Ｉに関して説明されるように、仮想オブジェクト１１００２の表示サイズを変更し、第２のオブジェクト操作挙動は、図１４Ｂ～図１４Ｅに関して説明されるように、仮想オブジェクト１１００２の回転角度を変化させる。いくつかの実施形態では、第２のオブジェクト操作挙動は、ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変更し（例えば、（例えば、ピンチジェスチャが、（例えば、元の又は更新された）第２のジェスチャ認識基準に基づいて認識された後に、互いに向かう接触の移動のような）ピンチジェスチャによってオブジェクトをリサイズし）、第１のオブジェクト操作挙動が、ユーザーインターフェースオブジェクトの回転角度を変化させる（例えば、（例えば、ツイスト／旋回ジェスチャが（例えば、元の又は更新された）第１のジェスチャ認識基準によって認識された後の、例えば共通の地点の周りの接触の移動のような）ツイスト／旋回ジェスチャによって外部又は内部軸の周りのユーザーインターフェースオブジェクトのビューイング視点を変化させる）。
In some embodiments (19046), the first object manipulation behavior changes the zoom level or display size of the user interface object (e.g., the pinch gesture (e.g., original or updated) After being recognized based on the first gesture recognition criterion, the second object manipulation behavior changes the rotation angle of the user interface object (such as a pinch gesture (such as a movement of contacts toward each other)), and the second object manipulation behavior changes the rotation angle of the user interface object ( For example, a twist/swivel gesture (e.g., movement of the contact around a common point) after the twist/swivel gesture is recognized by a second gesture recognition criterion (e.g., original or updated). changing the viewing perspective of user interface objects around an external or internal axis). For example, a first object manipulation behavior changes the display size of
いくつかの実施形態（１９０４８）では、第１のオブジェクト操作挙動は、ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変更し（例えば、（例えば、ピンチジェスチャが、（例えば、元の又は更新された）第１のジェスチャ認識基準に基づいて認識された後に、互いに向かう接触の移動のような）ピンチジェスチャによってオブジェクトをリサイズし）、第２のオブジェクト操作挙動が、第１のユーザーインターフェース領域におけるユーザーインターフェースオブジェクトの位置を変化させる（例えば、（例えば、ドラッグジェスチャが（例えば、元の又は更新された）第２のジェスチャ認識基準によって認識された後、例えばそれぞれの方向における接触の移動のような）１本指又は２本指のドラッグジェスチャによってユーザーインターフェースオブジェクトをドラッグする）。例えば、第１のオブジェクト操作挙動は、図１４Ｇ～図１４Ｉに関して説明されるように、仮想オブジェクト１１００２の表示サイズを変更し、第２のオブジェクト操作挙動は、図１４Ｂ～図１４Ｅに関して説明されるように、ユーザーインターフェースにおける仮想オブジェクト１１００２の位置を変化させる。いくつかの実施形態では、第２のオブジェクト操作挙動は、ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変更し（例えば、（例えば、ピンチジェスチャが、（例えば、元の又は更新された）第２のジェスチャ認識基準に基づいて認識された後に、互いに向かう接触の移動のような）ピンチジェスチャによってオブジェクトをリサイズし）、第１のオブジェクト操作挙動が、第１のユーザーインターフェース領域におけるユーザーインターフェースオブジェクトの位置を変化させる（例えば、（例えば、ドラッグジェスチャが（例えば、元の又は更新された）第１のジェスチャ認識基準によって認識された後、例えばそれぞれの方向における接触の移動のような）１本指又は２本指のドラッグジェスチャによってユーザーインターフェースオブジェクトをドラッグする）。
In some embodiments (19048), the first object manipulation behavior changes the zoom level or display size of the user interface object (e.g., a pinch gesture (e.g., original or updated) resizing the object by a pinch gesture (such as a movement of contact toward each other) after being recognized based on the first gesture recognition criteria; (e.g., after the drag gesture is recognized by the (e.g., original or updated) second gesture recognition criterion, e.g., the movement of the contact in the respective direction) Drag user interface objects with a finger or two-finger drag gesture). For example, a first object manipulation behavior changes the display size of
いくつかの実施形態（１９０５０）では、第１のオブジェクト操作挙動は、第１のユーザーインターフェース領域におけるユーザーインターフェースオブジェクトの位置を変更し（例えば、（例えば、ドラッグジェスチャが（例えば、元の又は更新された）第１のジェスチャ認識基準によって認識された後の、例えばそれぞれの方向における接触の移動のような）１本指又は２本指のドラッグジェスチャによってオブジェクトをドラッグし）、第２のオブジェクト操作挙動が、ユーザーインターフェースオブジェクトの回転角度を変化させる（例えば、（例えば、ツイスト／旋回ジェスチャが（例えば、元の又は更新された）第２のジェスチャ認識基準によって認識された後、例えば共通の地点の周りの接触の移動のような）ツイスト／旋回ジェスチャによって外部又は内部軸の周りのユーザーインターフェースオブジェクトのビューイング視点を変化させる）。例えば、第１のオブジェクト操作挙動は、図１４Ｂ～図１４Ｅに関して説明されるように、ユーザーインターフェースにおける仮想オブジェクト１１００２の位置を変更し、第２のオブジェクト操作挙動は、図１４Ｂ～図１４Ｅに関して説明されるように、仮想オブジェクト１１００２の回転角度を変化させる。いくつかの実施形態では、第２のオブジェクト操作挙動が、第１のユーザーインターフェース領域におけるユーザーインターフェースオブジェクトの位置を変化させ（例えば、（例えば、ドラッグジェスチャが（例えば、元の又は更新された）第２のジェスチャ認識基準によって認識された後、例えばそれぞれの方向における接触の移動のような）１本指又は２本指のドラッグジェスチャによってオブジェクトをドラッグし）、第１のオブジェクト操作挙動が、ユーザーインターフェースオブジェクトの回転角度を変化させる（例えば、（例えば、ツイスト／旋回ジェスチャが（例えば、元の又は更新された）第１のジェスチャ認識基準によって認識された後、例えば共通の地点の周りの接触の移動のような）ツイスト／旋回ジェスチャによって外部又は内部軸の周りのユーザーインターフェースオブジェクトのビューイング視点を変化させる）。
In some embodiments (19050), the first object manipulation behavior changes the position of the user interface object in the first user interface area (e.g., when a drag gesture (e.g., original or updated) and) a second object manipulation behavior (dragging the object by a one-finger or two-finger drag gesture, e.g. movement of the contact in each direction) after being recognized by the first gesture recognition criterion); changes the rotation angle of the user interface object (e.g. around a common point, e.g. after the twist/swivel gesture is recognized by the (e.g. original or updated) second gesture recognition criterion) changing the viewing perspective of user interface objects around external or internal axes by twist/swivel gestures (such as movement of contacts). For example, a first object manipulation behavior changes the position of the
いくつかの実施形態（１９０５２）では、入力の第１の部分及び入力の第２の部分が、複数の連続して維持された接触によって提供される。デバイスは、複数の連続的に維持された接触のリフトオフを検出した後、追加の第１及び第２のオブジェクト操作挙動を開始するために、（例えば、元の閾値を備えた）第１のジェスチャ認識基準及び第２のジェスチャ認識基準を再確立する（１９０５４）。例えば、接触のリフトオフの後、デバイスは、新たに検出されたタッチ入力のための回転、変換、及びスケーリングのためのジェスチャ認識閾値を再確立する。入力が、接触のリフトオフによって終了された後、入力移動のための閾値を再確立することは、（例えば、新たな入力が提供される毎に、増加された移動閾値を再設定することによって、オブジェクト操作を実行するために必要とされる入力の程度を低減することによって）デバイスの操作性を高める。操作を実行するために必要とされる入力の程度を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments (19052), the first portion of input and the second portion of input are provided by a plurality of consecutively maintained contacts. After the device detects lift-off of multiple consecutively maintained contacts, the device detects a first gesture (e.g., with the original threshold) to initiate additional first and second object manipulation behaviors. The recognition criteria and the second gesture recognition criteria are re-established (19054). For example, after touch liftoff, the device reestablishes gesture recognition thresholds for rotation, translation, and scaling for newly detected touch inputs. Reestablishing the threshold for input movement after the input has been terminated by contact lift-off (e.g., by resetting the increased movement threshold each time a new input is provided) Increase the usability of the device (by reducing the degree of input required to perform object operations). Reducing the degree of input required to perform an operation increases the usability of the device and makes the user device interface more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態（１９０５６）では、第１のジェスチャ認識基準は、第１の軸の周りの回転に対応し、第２のジェスチャ認識基準は、第１の軸に直交する第２の軸の周りの回転に対応する。いくつかの実施形態では、異なるタイプのジェスチャのための閾値を更新する代わりに、更新することはまた、（例えば、ツイスト／旋回ジェスチャのような）認識されたジェスチャタイプに対応する操作挙動のタイプ内の（例えば、第１の軸の周りの回転と、異なる軸の周りの回転のような）操作挙動の異なるサブタイプのために設定された閾値に当てはまる。例えば、第１の軸の周りの回転が認識され実行されると、異なる軸の周りの回転の閾値セットが更新され（例えば、増加され）、異なる軸の周りの回転をトリガするために、後続する入力によって超えられる必要がある。入力移動が、第２の軸の周りにオブジェクトを回転させるために必要な入力移動のための閾値を超えて増加した場合、第１の軸の周りにオブジェクトを回転させるために必要な入力移動のための閾値を増加させることは、（例えば、第１の軸の周りにオブジェクトを回転させることを試みている間に、ユーザーが誤って第２の軸の周りにオブジェクトを回転させることを回避することを支援することによって）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments (19056), the first gesture recognition criterion corresponds to rotation about a first axis, and the second gesture recognition criterion corresponds to rotation about a second axis orthogonal to the first axis. Responds to rotations around it. In some embodiments, instead of updating thresholds for different types of gestures, updating also includes determining the type of manipulation behavior that corresponds to the recognized gesture type (e.g., twist/swivel gesture). thresholds set for different subtypes of manipulation behavior (such as rotations about a first axis and rotations about different axes) within For example, once a rotation about a first axis is recognized and performed, a threshold set for rotations about a different axis is updated (e.g., increased) and used for subsequent rotations about a different axis. need to be exceeded by input. If the input movement increases above the threshold for the input movement required to rotate the object around the second axis, then the input movement required to rotate the object around the first axis increases Increasing the threshold for (e.g. avoids a user accidentally rotating an object around a second axis while trying to rotate an object around a first axis) improve the usability of the device (by assisting users with this). Reducing the number of inputs required to perform an operation increases the usability of the device and makes the user device interface more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
図１９Ａ～図１９Ｈにおける動作が説明された特定の順序は、単なる例であり、説明された順序は、動作が実行され得る唯一の順序であることを示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１７０００、１８０００、２００００）に関して本明細書で説明された他の処理の詳細はまた、図１９Ａ～図１９Ｈに関して上述された方法１９０００に類似する方式でも適用可能であることが注目されるべきである。例えば、方法１９０００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１７０００、１８０００、２００００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡略のために、これら詳細は、本明細書において繰り返されない。
It is understood that the particular order in which the operations in FIGS. 19A-19H are described is merely an example, and the described order is not intended to indicate that the operations are the only order in which the operations may be performed. Should. Those skilled in the art will recognize various techniques for reordering the operations described herein. In addition, other processing details described herein with respect to other methods described herein (e.g.,
図２０Ａ～図２０Ｆは、デバイスの移動が、仮想オブジェクトを、１つ以上のデバイスカメラの表示される視野の外側へ移動させるとの判定にしたがって、音声警報を生成する方法２００００を例示するフロー図である。方法２００００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）と、１つ以上の入力デバイス（例えば、タッチ感知面、又は、表示生成コンポーネントとタッチ感知面との両方として役立つタッチスクリーンディスプレイ）と、１つ以上の音声出力生成器と、１つ以上のカメラとを有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００）において実行される。方法２００００におけるいくつかの動作は、オプションで、組み合わされ、及び／又は、いくつかの動作の順序は、オプションで、変更される。
20A-20F are flow diagrams illustrating a
デバイスは（例えば、カメラを含むデバイスの周りの物理的環境の拡張現実ビューに仮想オブジェクトを配置するための要求に応じて（例えば、仮想オブジェクトのステージングビューを用いて表示された「ワールド」ボタン上のタップに応じて））、表示生成コンポーネントによって、１つ以上のカメラの視野の表現を含む仮想オブジェクトの表現を、第１のユーザーインターフェース領域内に表示し（例えば、第１のユーザーインターフェース領域は、カメラを含むデバイスを囲む物理的環境の、拡張現実ビューを表示するユーザーインターフェースである）、この表示することは、仮想オブジェクトの表現と、１つ以上のカメラの視野においてキャプチャされた物理的環境において検出されたプレーンとの間の第１の空間的な関係を維持することを含む（例えば、仮想オブジェクトは、仮想オブジェクトの表現とプレーンとの間の固定された角度が維持されるように、ディスプレイ上に、向き及び位置とともに表示される（例えば、仮想オブジェクトは、プレーン上の固定された場所にとどまる、又は、視野面に沿って回転するように見える）（２０００２）。例えば、図１５Ｖに図示されるように、仮想オブジェクト１１００２は、１つ以上のカメラの視野６０３６を含むユーザーインターフェース領域において表示される。
The device (e.g. on the "World" button displayed using a staging view of the virtual object (e.g. (e.g., the first user interface area is , a user interface that displays an augmented reality view of the physical environment surrounding a device that includes a camera), which displays a representation of virtual objects and the physical environment captured in the field of view of one or more cameras. maintaining a first spatial relationship between the virtual object and the detected plane (e.g., the virtual object is configured such that a fixed angle between the representation of the virtual object and the plane is maintained). 15V (e.g., the virtual object appears to remain at a fixed location on the plane or rotate along the viewing plane) on the display (20002). As shown,
デバイスは、１つ以上のカメラの視野を調節するデバイスの移動（例えば、１つ以上のカメラを含むデバイスの横移動及び／又は回転）を検出する（２０００４）。例えば、図１５Ｖ～図１５Ｗに関して説明されるように、デバイス１００の移動は、１つ以上のカメラの視野を調節する。
The device detects movement of the device (eg, lateral movement and/or rotation of the device including the one or more cameras) that adjusts the field of view of the one or more cameras (20004). For example, as described with respect to FIGS. 15V-15W, movement of
１つ以上のカメラの視野を調節するデバイスの移動を検出することに応じて（２０００６）、１つ以上のカメラの視野が調節されると、デバイスは、仮想オブジェクトと、１つ以上のカメラの視野内で検出されたプレーンとの間の第１の空間的な関係（例えば、向き及び／又は位置）にしたがって、第１のユーザーインターフェース領域において、仮想オブジェクトの表現の表示を調節し、（例えば、仮想オブジェクトの表現と、１つ以上のカメラの視野においてキャプチャされた物理的環境内で検出されたプレーンとの間の空間的な関係が、デバイスの移動中、物理的環境に対して固定され続けるので、）デバイスの移動が、閾値量（例えば、１００％、５０％、又は２０％）より多くの仮想オブジェクトを、１つ以上のカメラの視野の表示部分の外側へ移動させるとの判定にしたがって、デバイスは、１つ以上の音声出力生成器によって、第１の音声警報（例えば、閾値量より多くの仮想オブジェクトが、カメラビューにはもはや表示されないことを示す音声アナウンスメント）を生成する。例えば、図１５Ｗに関して説明されるように、仮想オブジェクト１１００２を、１つ以上のカメラの視野６０３６の表示部分の外側へ移動させるデバイス１００の移動に応じて、音声警報１５１１８が生成される。デバイスの移動が、仮想オブジェクトを、表示された拡張現実ビューの外側へ移動させるとの判定にしたがって音声出力を生成することは、デバイスの移動が、拡張現実ビューに関して、仮想オブジェクトの表示に対して影響を与えた程度を示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、仮想オブジェクトがディスプレイを離れたか否かをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In response to detecting movement of the device that adjusts the field of view of the one or more cameras (20006), when the field of view of the one or more cameras is adjusted, the device adjusts the field of view of the one or more cameras. adjusting the display of a representation of the virtual object in a first user interface area according to a first spatial relationship (e.g., orientation and/or position) with a plane detected in the field of view; , the spatial relationship between the representation of the virtual object and the plane detected in the physical environment captured in the field of view of the one or more cameras is fixed relative to the physical environment during movement of the device. (continuing) to determine that movement of the device moves more than a threshold amount (e.g., 100%, 50%, or 20%) of the virtual object outside of the visible portion of the field of view of the one or more cameras. Accordingly, the device generates a first audio alert (eg, an audio announcement indicating that more than a threshold amount of virtual objects are no longer displayed in the camera view) by one or more audio output generators. For example, as described with respect to FIG. 15W, an
いくつかの実施形態では、第１の音声警報を出力することは、１つ以上のカメラの視野の表示された部分において見えるままである仮想オブジェクトの量（例えば、見えるままである仮想オブジェクトの量は、現在のビューイング視点からの仮想オブジェクトの合計サイズに対して測定される（例えば、２０％、２５％、５０％等））（例えば、音声出力は、「オブジェクトｘは、２０％見えています」と言う）を示す音声出力を生成することを含む（２０００８）。例えば、図１５Ｘ～図１５Ｙに関して説明されるように、仮想オブジェクト１１００２を、１つ以上のカメラの視野６０３６の表示部分の外側に部分的に移動させるデバイス１００の移動に応じて、「椅子は９０％見え、スクリーンの２０％を占有しています」を示すアナウンスメント１５１２８を含む音声警報１５１２６が生成される。表示された拡張現実ビューにおいて見える仮想オブジェクトの量を示す音声出力を生成することは、（例えば、デバイスの移動が変化した程度と、仮想オブジェクトが見える度合とを示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、仮想オブジェクトがディスプレイを離れたか否かをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, outputting the first audible alert includes determining the amount of the virtual object that remains visible in the displayed portion of the field of view of the one or more cameras (e.g., the amount of the virtual object that remains visible). is measured relative to the total size of the virtual object from the current viewing viewpoint (e.g., 20%, 25%, 50%, etc.) 20008). For example, as described with respect to FIGS. 15X-15Y, in response to movement of
いくつかの実施形態では、第１の音声警報を出力することは、仮想オブジェクトによって閉じ込められた視野の表示部分の量（例えば、仮想オブジェクトによって占有されている物理的環境の拡張現実ビューの量（例えば、２０％、２５％、５０％等））（例えば、音声出力は、「ワールドビューの１５％を占有するオブジェクトｘ」と言うアナウンスメントを含む）を示す音声出力を生成することを含む（２００１０）。いくつかの実施形態では、音声出力はまた、仮想オブジェクトの表示状態における変化を引き起こした、ユーザーによって実行されるアクションの説明を含む。例えば、音声出力は、「デバイスが左に移動しました。オブジェクトｘは２０％見え、ワールドビューの１５％を占有しています。」と言うアナウンスメントを含む。例えば、図１５Ｙでは、「椅子は９０パーセント見え、スクリーンの２０パーセントを占有しています」を示すアナウンスメント１５１２８を含む音声警報１５１２６が生成される。仮想オブジェクトによって閉じ込められた拡張現実ビューの量を示す音声出力を生成することは、（例えば、デバイスの移動が、拡張現実ビューが閉じ込まれている度合いを変化させた程度を示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、ディスプレイに対する仮想オブジェクトのサイズをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, outputting the first audio alert includes determining the amount of the visible portion of the field of view confined by the virtual object (e.g., the amount of the augmented reality view of the physical environment occupied by the virtual object). (e.g., 20%, 25%, 50%, etc.)) (e.g., the audio output includes an announcement that "object x occupies 15% of the world view"). 20010). In some embodiments, the audio output also includes a description of the action performed by the user that caused the change in the virtual object's display state. For example, the audio output includes an announcement that says, "Device has moved to the left. Object x is 20% visible and occupies 15% of the world view." For example, in FIG. 15Y, an
いくつかの実施形態では、デバイスは、１つ以上のカメラの視野の表現に対応するタッチ感知面上の場所における接触による入力を検出する（例えば、物理的環境の拡張現実ビューを表示するタッチスクリーンの一部におけるタップ入力又は二重タップ入力を検出する）（２００１２）。この入力を検出することに応じて、また、仮想オブジェクトによって占有されていない１つ以上のカメラの視野の第１の部分に対応するタッチ感知面上の第１の場所において入力が検出されたとの判定にしたがって、デバイスは、第２の音声警報（例えば、タップされた領域における仮想オブジェクトの位置決めの失敗を示すクリック又は機械音）を生成する（２００１４）。例えば、図１５Ｚに関して説明されるように、仮想オブジェクト１１００２によって占有されていない１つ以上のカメラの視野６０３６の一部に対応するタッチスクリーン１１２上の場所において検出された入力に応じて、デバイスは、音声警報１５１３０を生成する。いくつかの実施形態では、入力を検出することに応じて、仮想オブジェクトによって占有されている１つ以上のカメラの視野の第２の部分に対応する第２の場所において入力が検出されたとの判定にしたがって、第２の音声警報を生成することを控える。いくつかの実施形態では、仮想オブジェクトの位置決めのユーザーの失敗を示す第２の音声警報を生成する代わりに、デバイスは、ユーザーが仮想オブジェクトを位置決めしたことを示す異なる音声警報を生成する。いくつかの実施形態では、第２の音声警報を生成する代わりに、デバイスは、仮想オブジェクトにおいて実行される動作（例えば、「オブジェクトｘが選択されました。」、「オブジェクトｘは、デフォルトサイズへリサイズされました」、「オブジェクトｘは、デフォルトの向きへ回転されました」等）、又は仮想オブジェクトの状態（例えば、「オブジェクトｘ、２０％見え、ワールドビューの１５％を占有しています。）を説明するオーディオアナウンスメントを出力する。仮想オブジェクトによって占有されない表示された拡張現実ビューの一部に対応する場所において入力が検出されることに応じて音声出力を生成することは、（例えば、（例えば、仮想オブジェクトに関する情報を取得するため、及び／又は、操作を実行するため）異なる場所において提供されねばならない入力を示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、入力が成功裡に仮想オブジェクトへ接続したか否かをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device detects touch input at a location on a touch-sensitive surface that corresponds to a representation of the field of view of one or more cameras (e.g., a touch screen displaying an augmented reality view of the physical environment). (20012). In response to detecting the input, the input is also detected at a first location on the touch-sensitive surface corresponding to a first portion of the field of view of the one or more cameras that is not occupied by the virtual object. According to the determination, the device generates a second audio alert (eg, a click or mechanical sound indicating failure to position the virtual object in the tapped area) (20014). For example, as described with respect to FIG. 15Z, in response to input detected at a location on
いくつかの実施形態では、第１の音声警報を出力することは、仮想オブジェクトに関して実行された動作を示す音声出力を生成し（例えば、音声出力を生成する前に、デバイスは、現在選択されている動作を判定し、現在選択されている操作を実行するとのユーザーの意思を確認する入力（例えば、二重タップ）に応じて、操作を実行する）、動作の実行後に、結果として得られる仮想オブジェクトの状態を生成することを含む（２００１６）。例えば、音声出力は、「デバイスは左へ移動しました。オブジェクトｘは２０％見え、ワールドビューの１５％を占有しています」、「オブジェクトｘは、３０度、時計回りに回転され、オブジェクトは、ｙ軸の周りに５０度回転されました」、又は、「オブジェクトｘは２０％拡大され、ワールドビューの５０％を占有しています」と言うアナウンスメントを含む。例えば、図１５ＡＨ～図１５ＡＩに関して説明されるように、仮想オブジェクト１１００２に関する回転動作の実行に応じて、「椅子が反時計周りに５度回転されました。椅子は今、スクリーンに対してゼロ度回転されました」を示すアナウンスメント１５１９２を含む音声警報１５１９０が生成される。仮想オブジェクトにおいて実行された動作を示す音声出力を生成することは、提供された入力が仮想オブジェクトへどのように影響を与えるのかを示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、動作がどのようにして仮想オブジェクトを変えたのかをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, outputting the first audio alert includes generating an audio output that indicates an action performed with respect to the virtual object (e.g., before generating the audio output, the device determines whether the currently selected In response to an input (e.g., a double tap), the resulting virtual It includes generating a state of the object (20016). For example, the audio output could be, "The device has moved to the left. Object x is 20% visible and occupies 15% of the world view," or "Object x has been rotated 30 degrees clockwise and , rotated 50 degrees around the y-axis,'' or, ``Object x has been expanded by 20% and occupies 50% of the world view.'' For example, as described with respect to FIGS. 15AH-15AI, in response to performing a rotation operation with respect to
いくつかの実施形態（２００１８）では、動作の実行後、結果として得られる仮想オブジェクトの状態は１つ以上のカメラの視野にキャプチャされた物理的環境に対応する基準フレームに対する第１の音声警報において出力されたオーディオに説明されている（例えば、オブジェクトを操作した後（例えば、接触ベースのジェスチャ又はデバイスの移動に応じて）、デバイスは、（例えば、物理的環境の拡張現実ビューへ最初に配置された場合、仮想オブジェクトの最初の位置／向きに対して、３０度回転された、６０度回転された、又は左へ移動したような）オブジェクトの新たな状態を説明する音声を生成する）。例えば、図１５ＡＨ～図１５ＡＩに関して説明されるように、仮想オブジェクト１１００２に対する回転動作のパフォーマンスに応じて、「椅子は反時計回りに５度回転されました。椅子は今、スクリーンに対してゼロ度回転されました。」を示すアナウンスメント１５１９２を含む音声警報１５１９０が生成される。いくつかの実施形態では、この動作は、（例えば、１つ以上のカメラの視野においてキャプチャされた物理的環境の一部の表現に対する仮想オブジェクトの移動を引き起こす）物理的環境に対するデバイスの移動と、物理的環境に対するデバイスの移動に応じた仮想オブジェクトの新たな状態を説明する音声とを含む。オブジェクトに対して動作が実行された後、仮想オブジェクトの状態を示す音声出力を生成することは、動作がどのように仮想オブジェクトを変えたのかをユーザーに感知させることを可能にするフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、動作がどのように仮想オブジェクトを変えたのかをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments (20018), after performing the operation, the state of the resulting virtual object is determined in a first audio alert relative to a reference frame corresponding to the physical environment captured in the field of view of one or more cameras. After interacting with an object (e.g. in response to a touch-based gesture or movement of the device), the device is first placed into an augmented reality view of the physical environment (e.g., as described in the output audio) If the virtual object is rotated 30 degrees, rotated 60 degrees, or moved to the left relative to the virtual object's initial position/orientation, it generates audio that describes the new state of the object. For example, as described with respect to FIGS. 15AH-15AI, depending on the performance of a rotation motion on
いくつかの実施形態では、デバイスは、第１の音声警報の生成後、１つ以上のカメラの視野を更に調節するデバイスの追加の移動（例えば、１つ以上のカメラを含むデバイスの横移動及び／又は回転）を検出する（２００２０）。例えば、図１５Ｗ～図１５Ｘに関して説明されるように、デバイス１００の移動は更に、（１５Ｖ～１５Ｗからのデバイス１００の移動に応じて生じる１つ以上のカメラの視野の調節にしたがって）１つ以上のカメラの視野を更に調節する。１つ以上のカメラ（２００２２）の視野を更に調節するデバイスの追加の移動を検出することに応じて、デバイスは、１つ以上のカメラの視野が更に調節されると、仮想オブジェクトと、１つ以上のカメラの視野内で検出されたプレーンとの間の第１の空間的な関係（例えば、向き及び／又は位置）にしたがって、第１のユーザーインターフェース領域における仮想オブジェクトの表現の表示を調節し、（例えば、仮想オブジェクトの表現と、１つ以上のカメラの視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の空間的な関係は、物理的環境に対するデバイスの移動中、固定されたままであるので、）デバイスの追加の移動が、仮想オブジェクトの第２の閾値より多い量（例えば、５０％、８０％、又は１００％）を、１つ以上のカメラの視野の表示された部分内に移動させるとの判定にしたがって、デバイスは、１つ以上の音声出力生成器によって、第３の音声警報（例えば、仮想オブジェクトの閾値より多い量が、カメラ視野へ戻されることを示すアナウンスメントを含む音声出力）を生成する。例えば、図１５Ｘに関して説明されるように、仮想オブジェクト１１００２を、１つ以上のカメラの視野６０３６の表示された部分へ移動させるデバイス１００の移動に応じて、（例えば、「椅子が今、ワールドに投影されており、１００％見え、スクリーンの１０パーセントを占有しています」と言うアナウンスメントを含む）音声警報１５１２２が生成される。デバイスの移動が、仮想オブジェクトを、表示された拡張現実ビューへ移動させるとの判定にしたがって、音声出力を生成することは、デバイスの移動が、拡張現実ビューに関して、仮想オブジェクトの表示に対して影響を与えた程度を示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、仮想オブジェクトがディスプレイの中へ移動したか否かをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device is configured to perform additional movements of the device that further adjust the field of view of the one or more cameras (e.g., lateral movements of the device including the one or more cameras and /or rotation) is detected (20020). For example, as described with respect to FIGS. 15W-15X, movement of
いくつかの実施形態では、第１のユーザーインターフェース領域における仮想オブジェクトと、仮想オブジェクトへ適用可能な複数のオブジェクト操作タイプのうちの第１のオブジェクト操作タイプとの表現が、仮想オブジェクトのために現在選択されていることを表示している間、デバイスは、仮想オブジェクトへ適用可能な別のオブジェクト操作タイプへ切り換える要求を検出する（例えば、１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所における接触（例えば、水平方向における接触の移動を含む）によるスワイプ入力を検出する）（２００２４）。例えば、図１５ＡＧに関して説明されるように、時計回りの回転制御１５１７０が現在選択されている一方、（仮想オブジェクト１５１６０を反時計回りに回転させるために）反時計回り回転制御１５１８０へ切り換えるためのスワイプ入力が選択される。仮想オブジェクトへ適用可能な別のオブジェクト操作タイプへ切り換えるための要求を検出することに応じて、デバイスは、仮想オブジェクトへ適用可能な複数のオブジェクト操作タイプの中から、第２のオブジェクト操作タイプを命名する音声出力（例えば、音声出力は、「オブジェクトをｘ軸の周りに回転させて下さい」、「オブジェクトをリサイズして下さい」、又は「プレーン上でオブジェクトを移動させて下さい」等と言うアナウンスメントを含む）を生成し、第２のオブジェクト操作タイプは、第１のオブジェクト操作タイプとは異なる（２００２６）。例えば、図１５ＡＨにおいて、図１５ＡＧに関して説明された要求の検出に応じて、アナウンスメント１５１８４（「選択されました：反時計回りに回転させて下さい」）を含む音声警報１５１８２が生成される。いくつかの実施形態では、デバイスは、同じ方向における連続したスワイプ入力に応じて、所定の適用可能なオブジェクト操作タイプのリストを反復する。いくつかの実施形態では、直前のスワイプ入力から逆方向におけるスワイプ入力を検出することに応じて、デバイスは、仮想オブジェクトへ提供可能な、以前にアナウンスされたオブジェクト操作タイプ（例えば、最後にアナウンスされたオブジェクト操作タイプの前のもの）を命名するアナウンスメントを含む音声出力を生成する。いくつかの実施形態では、デバイスは、仮想オブジェクトへ適用可能な各オブジェクト操作タイプのための対応する制御を表示しない（例えば、ジェスチャによって開始される動作（例えば、回転、リサイズ、変換等）のために表示されたボタン又は制御は存在しない）。オブジェクト操作タイプを切り換える要求に応じて音声出力を生成することは、切換動作が実行されたことを示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、切換入力が成功裡に実行されたことを確認する情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, a representation of the virtual object in the first user interface area and a first object manipulation type of the plurality of object manipulation types applicable to the virtual object is currently selected for the virtual object. The device detects a request to switch to another object manipulation type applicable to the virtual object (e.g., a first user displaying a representation of the field of view of one or more cameras). (20024) detecting a swipe input by contact (eg, including movement of the contact in a horizontal direction) at a location on the touch-sensitive surface that corresponds to a portion of the interface area; For example, while
いくつかの実施形態では、仮想オブジェクトへ適用可能な複数のオブジェクト操作タイプの中から、第２のオブジェクト操作タイプを命名する音声出力（例えば、音声出力は、「オブジェクトをｘ軸の周りに回転させて下さい」、「オブジェクトをリサイズして下さい」、又は「プレーン上でオブジェクトを移動させて下さい」等と言うアナウンスメントを含む）を生成した後（２００２８）、デバイスは、現在選択されているオブジェクト操作タイプに対応するオブジェクト操作挙動を実行するための要求を検出する（例えば、１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所における接触による二重タップ入力を検出する）。例えば、図１５ＡＨに関して説明されるように、仮想オブジェクト１１００２を反時計回りに回転させるための二重タップ入力が検出される。現在選択されているオブジェクト操作タイプに対応するオブジェクト操作挙動を実行するための要求を検出することに応じて、デバイスは、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行する（例えば、仮想オブジェクトをｙ軸の周りに５度回転させる、又は、オブジェクトのサイズを５％増加させる、又は、オブジェクトをプレーン上で２０画素移動させる）、（例えば、第２のオブジェクト操作タイプにしたがって第１のユーザーインターフェース領域における仮想オブジェクトの表現の表示を調節する）（２００３０）。例えば、図１５ＡＩにおいて、１５ＡＨに関して説明された要求の検出に応じて、仮想オブジェクト１１００２が、反時計回りに回転される。いくつかの実施形態では、デバイスは、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行することに加えて、仮想オブジェクトに関して実行されたオブジェクト操作挙動と、オブジェクト操作挙動の実行後、結果として得られる仮想オブジェクトの状態とを示すアナウンスメントを含む音声出力を出力する。例えば、図１５ＡＩにおいて、アナウンスメント１５１９２（「椅子が５度反時計回りに回転しました。椅子は今、スクリーンに対してゼロ度回転されました。」）を含む音声出力１５１９０が生成される。動作が選択されている間に検出された入力に応じてオブジェクト操作動作を実行することは、操作を実行するための追加の制御オプションを提供する（例えば、ユーザーが、２接触入力を必要とするのではなく、タップ入力を提供することによって操作を実行することを可能にする）。表示された追加制御でユーザーインターフェースを乱すことなく、入力を提供するための追加の制御オプションを提供することは、（例えば、マルチコンタクトジェスチャへ提供するための制限された能力を有するユーザーへ、オブジェクトを操作するためのオプションを提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, an audio output naming a second object manipulation type from among multiple object manipulation types that can be applied to the virtual object (e.g., an audio output that says "Rotate the object about the x-axis") (20028), the device automatically displays the currently selected object. detecting a request to perform an object manipulation behavior that corresponds to a manipulation type (e.g., a location on a touch-sensitive surface that corresponds to a portion of a first user interface area that displays a representation of the field of view of one or more cameras; detect double tap input due to touch). For example, a double tap input to rotate
いくつかの実施形態では、仮想オブジェクトへ適用可能な別のオブジェクト操作タイプへ切り換えるための要求を検出することに応じて（２００３２）、第２のオブジェクト操作タイプが連続的に調節可能な操作タイプであるとの判定にしたがって、デバイスは、第２のオブジェクト操作タイプが連続的に調節可能な操作タイプであることを示すために、第２のオブジェクト操作タイプを命名する音声出力と連携して音声警報を生成し（例えば、第２のオブジェクト操作タイプを命名するオーディオアナウンスメント（例えば、オブジェクトをｙ軸の周りに時計回りに回転させて下さい）の後、「調節可能」と言う音声出力を出力し）、デバイスは、（例えば、１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所における接触によって二重タップ入力を検出した後、）１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所におけるスワイプ入力を検出することを含む、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行するための要求を検出し、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行するための要求を検出することに応じて、デバイスは、スワイプ入力の大きさに対応する量、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行する（例えば、スワイプ入力の大きさが、第１の量であるか、第１の量よりも大きい第２の量であるかに依存して、仮想オブジェクトをｙ軸の周りに５度又は１０度回転させるか、又は、オブジェクトのサイズを、５％又は１０％増加させるか、又は、オブジェクトをプレーン上で２０画素又は４０画素移動させる）。例えば、図１５Ｊ～図１５Ｋに関して説明されるように、時計回りの回転制御１５０３８が現在選択されている間、ズーム制御１５０６４へ切り換えるスワイプ入力が検出される。アナウンスメント１５０６８（「スケール：調節可能」）を含む音声警報１５０６６が生成される。図１５Ｋ～図１５Ｌに関して説明されるように、仮想オブジェクト１１００２へズームインするためのスワイプ入力が検出され、この入力に応じて、仮想オブジェクト１１００２に対してズーム動作が実行される（図１５Ｋ～図１５Ｌの例示的な例では、ステージングビューインターフェース６０１０が表示されている間、連続的に調節可能な操作のための入力が検出されるが、１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所において類似の入力が検出され得ることが認識されるであろう）。いくつかの実施形態では、デバイスは、第２のオブジェクト操作挙動を実行することに加えて、仮想オブジェクトに関して実行されたオブジェクト操作挙動の量と、その量までのオブジェクト操作挙動の実行後、結果として得られる仮想オブジェクトの状態とを示すオーディオアナウンスメントを出力する。スワイプ入力に応じてオブジェクト操作動作を実行することは、動作を実行するための追加の制御オプションを提供する（例えば、２接触入力を必要とするのではなく、スワイプ入力を提供することによって、ユーザーが操作を実行することを可能にする）。表示された追加の制御でユーザーインターフェースを乱すことなく、入力を提供するための追加の制御オプションを提供することは、（例えば、マルチコンタクトジェスチャを提供する制限された能力を有するユーザーへ、オブジェクトを操作するためのオプションを提供することによって、）ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, in response to detecting a request to switch to another object operation type applicable to the virtual object (20032), the second object operation type is a continuously adjustable operation type. In accordance with the determination that the second object manipulation type is a continuously adjustable manipulation type, the device produces an audio alert in conjunction with an audio output naming the second object manipulation type. (e.g., an audio announcement naming the second object manipulation type (e.g., rotate the object clockwise around the y-axis), followed by an audio output that says "adjustable"). ), the device detects a double tap input (e.g., by contact at a location on the touch-sensitive surface that corresponds to a portion of the first user interface area displaying a representation of the field of view of the one or more cameras; ) corresponding to a second object manipulation type, comprising detecting a swipe input at a location on the touch-sensitive surface that corresponds to a portion of the first user interface area that displays a representation of the field of view of the one or more cameras; detecting a request to perform an object manipulation behavior, and in response to detecting a request to perform an object manipulation behavior corresponding to a second object manipulation type, the device responds to a magnitude of the swipe input; amount, a second object manipulation type (e.g., whether the magnitude of the swipe input is a first amount or a second amount that is greater than the first amount) Depending on the case, rotate the virtual object by 5 or 10 degrees around the y-axis, or increase the size of the object by 5% or 10%, or move the object by 20 or 40 pixels on the plane. ). For example, as described with respect to FIGS. 15J-15K, a swipe input to switch to zoom
いくつかの実施形態では、第１のユーザーインターフェース領域において仮想オブジェクトの表現を表示する前に、デバイスは、第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）において仮想オブジェクトの表現を表示し、第２のユーザーインターフェース領域は、１つ以上のカメラの視野の表現を含んでいない（例えば、第２のユーザーインターフェース領域は、カメラの視野においてキャプチャされた物理的環境において検出されたプレーンに対する固定された関係を維持することなく、仮想オブジェクトが操作（例えば、回転、リサイズ、及び移動）され得るステージングユーザーインターフェースである）（２００３４）。第２のユーザーインターフェース領域における仮想オブジェクトと、仮想オブジェクトへ適用可能な複数の動作のうちの第１の動作との表現が、仮想オブジェクトのために現在選択されていることを表示している間、デバイスは、（例えば、第２のユーザーインターフェース領域における仮想オブジェクトへ適用可能なオブジェクト操作タイプ（例えば、リサイズ、回転、傾斜等）へ、又は、第２のユーザーインターフェース領域における仮想オブジェクトへ適用可能なユーザーインターフェース動作（例えば、２Ｄユーザーインターフェースへ戻る、物理的環境における拡張現実ビューへオブジェクトをドロップする）へ切り換える要求を含む）仮想オブジェクトへ適用可能な別の動作へ切り換える要求を検出する（例えば、第１のユーザーインターフェース領域に対応するタッチ感知面上の場所における接触（例えば、水平方向における接触の移動を含む）によるスワイプ入力を検出することを含む要求を検出すること）（２００３６）。例えば、図１５Ｆ～図１５Ｇに関して説明されるように、ステージングユーザーインターフェース６０１０が表示され、チルトダウン制御１５０２２が現在選択されている間、時計回り制御１５０３８へ切り換えるためのスワイプ入力が検出される。第２のユーザーインターフェース領域において仮想オブジェクトへ適用可能な別の動作へ切り換える要求を検出することに応じて、デバイスは、仮想オブジェクトへ適用可能な複数の動作のうち第２の動作を命名する音声出力を生成し（例えば、音声出力は、「ｘ軸の周りにオブジェクトを回転させて下さい」、「オブジェクトをリサイズして下さい」、「ディスプレイへ向けてオブジェクトを傾けて下さい」、又は「拡張現実ビューでオブジェクトを表示して下さい」等）と言うアナウンスメントを含む）、第２の動作は、第１の動作とは異なる（２００３８）。いくつかの実施形態では、デバイスは、同じ方向における連続したスワイプ入力に応じて、所定の適用可能な動作のリストを反復する。例えば、図１５Ｇでは、図１５Ｆに関して説明された要求の検出に応じて、アナウンスメント１５０４２（「選択されました：時計回り回転ボタン」）を含む音声警報１５０４０が生成される。操作タイプを切り換える要求に応じて、選択された操作タイプを命名する音声出力を生成することは、切換入力が成功裡に受信されたことを示すフィードバックをユーザーへ提供する。操作タイプを切り換える要求に応じて、選択された動作タイプを命名する音声出力を生成することは、切換入力が成功裡に受信されたことを示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、選択された制御が変更された場合をユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, before displaying the representation of the virtual object in the first user interface area, the device displays the representation of the virtual object in a second user interface area (e.g., a staging user interface); The second user interface area does not include a representation of the field of view of one or more cameras (e.g., the second user interface area does not include a representation of the field of view of one or more cameras) (20034) is a staging user interface in which virtual objects can be manipulated (e.g., rotated, resized, and moved) without maintaining relationships. while a representation of the virtual object and a first action of the plurality of actions applicable to the virtual object in the second user interface area indicates that it is currently selected for the virtual object; The device (e.g., to the object manipulation types (e.g., resize, rotate, tilt, etc.) applicable to the virtual object in the second user interface area or to the user applicable to the virtual object in the second user interface area) Detecting a request to switch to another action applicable to the virtual object (including a request to switch to an interface action (e.g., returning to a 2D user interface, dropping the object into an augmented reality view of the physical environment)); detecting a swipe input by a contact (e.g., including movement of the contact in a horizontal direction) at a location on a touch-sensitive surface corresponding to a user interface area of the screen (20036). For example, as described with respect to FIGS. 15F-15G, staging
いくつかの実施形態では、第１のユーザーインターフェース領域において仮想オブジェクトの表現を表示する前に（２００４０）、１つ以上のカメラの視野の表現を含まない第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）（例えば、第２のユーザーインターフェース領域は、物理的環境におけるプレーンに対して固定された関係を維持することなく、仮想オブジェクトが操作（例えば、回転、リサイズ、及び移動）され得るステージングユーザーインターフェース領域である）において仮想オブジェクトの表現を表示している間、デバイスは、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域における仮想オブジェクトの表現を表示するための要求を検出する（例えば、現在選択されている動作が「拡張現実ビューにおいてオブジェクトを表示して下さい」である場合、及び、デバイスが、（例えば、二重タップ入力の直前に受信された）スワイプ入力に応じて、現在選択されている動作を命名するオーディオアナウンスメントを丁度出力した後、二重タップ入力を検出する）。例えば、図１５Ｐ～図１５Ｖに関して説明されるように、ステージングユーザーインターフェース６０１０が表示され、トグル制御６０１８が選択されている間、１つ以上のカメラの視野６０３６の表現を含むユーザーインターフェース領域へ、仮想オブジェクト１１００２の表現を表示するために二重タップ入力が検出される。１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内で、仮想オブジェクトの表現を表示するための要求を検出することに応じて、デバイスは、仮想オブジェクトの表現と、１つ以上のカメラの視野においてキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的な関係にしたがって、第１のユーザーインターフェース領域内に、仮想オブジェクトの表現を表示し（例えば、仮想オブジェクトが、拡張現実ビューにおいて表現された物理的環境へドロップされた場合、ステージングビューにおける仮想オブジェクトの回転角度及びサイズが、拡張現実ビューにおいて維持され、視野においてキャプチャされた物理的環境において検出されたプレーンの向きにしたがって、拡張現実ビューにおける傾斜角度がリセットされる）、デバイスは、仮想オブジェクトが、１つ以上のカメラの視野においてキャプチャされた物理的環境に関して拡張現実ビューに配置されたことを示す第４の音声警報を生成する。例えば、図１５Ｖに関して説明されるように、１つ以上のカメラの視野６０３６の表現を含むユーザーインターフェース領域内に、仮想オブジェクト１１００２の表現を表示するための入力に応じて、仮想オブジェクト１１００２の表現が、１つ以上のカメラの視野６０３６を含むユーザーインターフェース領域内に表示され、アナウンスメント１５１１６（「椅子は今、ワールドに投影され、１００パーセント見え、スクリーンの１０パーセントを占有しています」）を含む音声警報１５１１４が生成される。拡張現実ビューにオブジェクトを配置するための要求に応じて音声出力を生成することは、仮想オブジェクトを配置する動作が成功裡に実行されたことを示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、拡張現実ビューにオブジェクトが表示されたことをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, prior to displaying the representation of the virtual object in the first user interface area (20040), a second user interface area that does not include a representation of the field of view of the one or more cameras (e.g., a staging user interface) (e.g., a second user interface area is a staging user interface in which virtual objects can be manipulated (e.g., rotated, resized, and moved) without maintaining a fixed relationship to a plane in the physical environment) while displaying a representation of the virtual object in the first user interface region, the device detects a request to display a representation of the virtual object in a first user interface region that includes a representation of the field of view of one or more cameras. (For example, if the currently selected action is "Display object in augmented reality view," and the device , detecting a double-tap input after just outputting an audio announcement naming the currently selected action). For example, while staging
いくつかの実施形態では、第３の音声警報は、１つ以上のカメラの視野の一部に対する仮想オブジェクトの外観についての情報を示す（例えば、第３の音声警報は、「オブジェクトｘはワールドに配置され、オブジェクトｘは３０％見え、スクリーンの９０％を占有しています。」と言うアナウンスメントを含む音声出力を含む。）（２００４２）。例えば、図１５Ｖに関して説明されるように、アナウンスメント１５１１６（「椅子は今、ワールドに投影され、１００パーセント見え、スクリーンの１０％を占有しています」）を含む音声警報１５１１４が生成される。表示された拡張現実ビューに対して見える仮想オブジェクトの外観を示す音声出力を生成することは、（例えば、拡張現実ビューにおけるオブジェクトの配置が仮想オブジェクトの外観へ影響を与えた程度を示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、拡張現実ビューにおいて、オブジェクトが、どのように表示されているのかをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the third audio alert indicates information about the appearance of the virtual object relative to a portion of the field of view of the one or more cameras (e.g., the third audio alert indicates "Object x is in the world"). Object x is 30% visible and occupies 90% of the screen.'' (20042). For example, as described with respect to FIG. 15V, an
いくつかの実施形態では、デバイスは、１つ以上のカメラの視野においてキャプチャされた物理的環境に関して拡張現実ビューにおける仮想オブジェクトの配置と連携して触知出力を生成する（２００４４）。例えば、オブジェクトが、カメラの視野内で検出されたプレーンに配置された場合、デバイスは、プレーン上へのオブジェクトのランディングを示す触知出力を生成する。いくつかの実施形態では、デバイスは、オブジェクトが、オブジェクトのリサイズ中に、所定のデフォルトサイズに達した場合に、触知出力を生成する。いくつかの実施形態では、デバイスは、仮想オブジェクトに関して実行される各動作のために（例えば、事前設定された角度量までの各回転のために、異なるプレーン上へ仮想オブジェクトをドラッグするために、オブジェクトを元の向き及び／又はサイズへリセットする等のために）触知出力を生成する。いくつかの実施形態では、これら触知出力は、実行された動作を説明する対応する音声警報と、仮想オブジェクトの結果状態とに先行する。例えば、図１５Ｖに関して説明されるように、触知出力１５１１８は、１つ以上のカメラの視野６０３６における仮想オブジェクト１１００２の配置と連携して生成される。１つ以上のカメラによってキャプチャされた物理的環境に対する仮想オブジェクトの配置と連携して触知出力を生成することは、（例えば、仮想オブジェクトを配置する動作が成功裡に実行されたことを示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された情報でユーザーインターフェースを乱すことなく、仮想オブジェクトの配置がなされたことをユーザーが感知することを可能にするセンサ情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device generates tactile output in conjunction with placement of the virtual object in the augmented reality view with respect to the physical environment captured in the field of view of the one or more cameras (20044). For example, if an object is placed in a plane detected within the camera's field of view, the device generates a tactile output indicating the object's landing on the plane. In some embodiments, the device generates a tactile output when the object reaches a predetermined default size during resizing of the object. In some embodiments, the device performs the following operations: for each operation performed with respect to the virtual object (e.g., for each rotation up to a preset angular amount, to drag the virtual object onto a different plane; generate a tactile output (such as to reset an object to its original orientation and/or size); In some embodiments, these tactile outputs are preceded by corresponding audio alerts that describe the action performed and the resulting state of the virtual object. For example, as described with respect to FIG. 15V,
いくつかの実施形態では、デバイスは、１つ以上のカメラの視野の表現と同時に（例えば、第１のユーザーインターフェース領域内の異なる場所において表示された複数の制御のうち）第１の制御を、第１のユーザーインターフェース領域内の第１の場所において表示する（２００４６）。制御フェージング基準が満たされている（例えば、タッチ入力がタッチ感知面において検出されることなく、第１のユーザーインターフェース領域が、少なくとも閾値時間表示された場合に、制御フェージング基準が満たされている）との判定にしたがって、デバイスは、第１のユーザーインターフェース領域内に、１つ以上のカメラの視野の表現の表示を維持しながら、第１のユーザーインターフェース領域内に、（例えば、第１のユーザーインターフェース領域内に、他のすべての制御とともに）第１の制御を表示することを停止する（例えば、ユーザーが物理的環境に対してデバイスを移動させた場合、制御は再表示されない）（２００４８）。第１のユーザーインターフェース領域内に第１の制御を表示することなく、第１のユーザーインターフェース領域を表示している間、デバイスは、第１のユーザーインターフェース領域内の第１の場所に対応するタッチ感知面上のそれぞれの場所においてタッチ入力を検出する（２００５０）。タッチ入力の検出に応じて、デバイスは、第１の制御（例えば、「ステージングビューへ戻る」又は「オブジェクトをｙ軸の周りに回転させる」）に対応する動作を指定する音声出力を含む第５の音声警報を生成する（２００５２）。いくつかの実施形態では、デバイスはまた、タッチ入力を検出することに応じて、第１の場所において、第１の制御を再表示する。いくつかの実施形態では、ディスプレイ上の制御の通常の場所においてタッチ入力がなされると、制御を再表示し、制御を、現在選択されている制御にすることは、ユーザーがディスプレイ上の制御の場所を認識すると、制御にアクセスするために、一連のスワイプ入力を使用して利用可能な制御をスキャンするよりも、より迅速な手法を提供する。制御フェージング基準が満たされていることを判定することに応じて、制御を表示することを自動的に停止することは、制御の表示を停止するために必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device displays a first control (e.g., of a plurality of controls displayed at different locations within the first user interface area) simultaneously with the representation of the field of view of the one or more cameras. Displaying (20046) in a first location within a first user interface area. A control fading criterion is met (e.g., a control fading criterion is met if the first user interface area is displayed for at least a threshold amount of time without a touch input being detected at the touch-sensitive surface). In accordance with the determination, the device displays a representation of the field of view of the one or more cameras in the first user interface area (e.g., the first user Stop displaying the first control (with all other controls within the interface area) (e.g., the control does not redisplay if the user moves the device relative to the physical environment) (20048) . While displaying the first user interface area without displaying the first control within the first user interface area, the device may touch the first user interface area corresponding to the first location within the first user interface area. Touch input is detected at each location on the sensing surface (20050). In response to detecting the touch input, the device generates a fifth audio output that includes an action corresponding to the first control (e.g., "return to staging view" or "rotate object about the y-axis"). A voice warning is generated (20052). In some embodiments, the device also redisplays the first control at the first location in response to detecting the touch input. In some embodiments, when a touch input is made at the control's normal location on the display, redisplaying the control and making the control the currently selected control may cause the user to Location awareness provides a faster method for accessing controls than using a series of swipe inputs to scan through available controls. Automatically ceasing displaying a control in response to determining that a control fading criterion is met reduces the number of inputs required to stop displaying the control. Reducing the number of inputs required to perform an operation increases the usability of the device and makes the user device interface more efficient. This further reduces power usage and improves the device's battery life by allowing the user to use the device more quickly and efficiently.
図２０Ａ～図２０Ｆにおける動作が説明されている特定の順序は単なる例であり、説明された順序は、動作が実行され得る唯一の順序を示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１７０００、１８０００、及び２００００）に関して本明細書で説明された他の処理の詳細はまた、図２０Ａ～図２０Ｆに関して上述された方法２００００へ類似した方式でも適用可能であることが理解されるべきである。例えば、方法２００００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１７０００、１８０００、及び１９０００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡潔のために、これら詳細は、本明細書では繰り返されない。
It should be understood that the particular order in which the operations in FIGS. 20A-20F are described is merely an example, and that the described order is not intended to represent the only order in which the operations may be performed. be. Those skilled in the art will recognize various techniques for reordering the operations described herein. In addition, other processing details described herein with respect to other methods described herein (e.g.,
図８Ａ～図８Ｅ、図９Ａ～図９Ｄ、図１０Ａ～図１０Ｄ、図１６Ａ～図１６Ｇ、図１７Ａ～図１７Ｄ、図１８Ａ～図１８Ｉ、図１９Ａ～図１９Ｈ、及び図２０Ａ～図２０Ｆを参照して上述された動作は、オプションで、図１Ａ～図１Ｂに図示されたコンポーネントによって実施される。例えば、表示動作８０２、８０６、９０２、９０６、９１０、１００４、１００８、１６００４、１７００４、１８００２、１９００２、及び２０００２、検出動作８０４、９０４、９０８、１７００６、１８００４、１９００４、及び２０００４、変更動作９１０、受信動作１００２、１００６、１６００２、及び１７００２、停止動作１７００８、回転動作１８００６、更新動作１９００６、調節動作２０００６、及び生成動作２０００６は、オプションで、イベントソータ１７０、イベントレコグナイザ１８０、イベントハンドラ１９０によって実施される。イベントソータ１７０におけるイベントモニタ１７１は、タッチ感知ディスプレイ１１２上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６－１へ伝達する。アプリケーション１３６－１のそれぞれのイベントレコグナイザ１８０は、イベント情報を、それぞれのイベント定義１８６と比較し、タッチ感知面上の第１の場所における第１の接触（又は、デバイスの回転）が、ユーザーインターフェース上のオブジェクトの選択、又は、１つの向きから別の向きへのデバイスの回転のような所定のイベント又はサブイベントに対応するか否かを判定する。所定のそれぞれのイベント又はサブイベントが検出された場合、イベントレコグナイザ１８０は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ１９０を活性化する。イベントハンドラ１９０は、オプションで、アプリケーション内部状態１９２を更新するために、データ更新部１７６又はオブジェクト更新部１７７を使用するか、又は呼び出す。いくつかの実施形態では、イベントハンドラ１９０は、アプリケーションによって表示されているものを更新するために、それぞれのＧＵＩ更新部１７８へアクセスする。同様に、他の処理が、図１Ａ～図１Ｂに描写されたコンポーネントに基づいてどのようにして実施され得るかが当業者に明らかになるだろう。
See FIGS. 8A-8E, 9A-9D, 10A-10D, 16A-16G, 17A-17D, 18A-18I, 19A-19H, and 20A-20F. The operations described above are optionally performed by the components illustrated in FIGS. 1A-1B. For example,
前述した説明は、説明の目的のために、特定の実施形態に関して説明されている。しかしながら、上記の例示的な議論は、網羅的であるとも、又は、開示された正確な形態に本発明を限定するとも意図されていない。上記の教示を考慮して、多くの修正及び変形が可能である。実施形態は、本発明の原理及びその実際のアプリケーションを最も良く説明するために、そしてこれによって、当業者が、本発明及び説明された様々な実施形態を、考慮される特定の用途へ適合されているような様々な修正を用いて、最も良く使用することを可能にするために、選択され説明された。 The foregoing description has been described in terms of specific embodiments for purposes of explanation. However, the above exemplary discussion is not intended to be exhaustive or to limit the invention to the precise form disclosed. Many modifications and variations are possible in light of the above teaching. The embodiments are presented in order to best explain the principles of the invention and its practical application, and to enable those skilled in the art to adapt the invention and the various embodiments described to the particular use contemplated. It has been selected and described to enable its best use, with various modifications such as:
Claims (16)
表示生成コンポーネント、１つ以上の入力デバイス、１つ以上のカメラ、及び前記１つ以上のカメラを含むデバイスの姿勢の変化を検出する１つ以上の姿勢センサを有する前記デバイスにおいて、
前記１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に前記物理的環境の前記拡張現実ビューを表示する要求を受信することと、
前記物理的環境の前記拡張現実ビューを表示する前記要求を受信したことに応答して、前記１つ以上のカメラの前記視野の前記表現を表示し、前記物理的環境の前記拡張現実ビューに対して較正基準が満たされていないとの判定にしたがって、前記物理的環境における前記１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示することと、を含み、前記較正ユーザーインターフェースオブジェクトを表示することが、
前記較正ユーザーインターフェースオブジェクトを表示している間に、前記物理的環境における前記１つ以上のカメラの姿勢の変化を、前記１つ以上の姿勢センサを介して検出すること、及び
前記物理的環境における前記１つ以上のカメラの姿勢の前記変化を検出したことに応答して、前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整すること、を含み、前記調整することが、
前記１つ以上のカメラの姿勢の前記検出した変化が前記物理的環境における前記１つ以上のカメラの横移動に対応しているとの判定にしたがって、前記１つ以上のカメラの前記視野の前記表現を有する前記較正ユーザーインターフェースオブジェクトを同時に表示しながら、前記横移動に基づいて前記較正ユーザーインターフェースオブジェクトを動かすことと、
前記１つ以上のカメラの姿勢の前記検出した変化が前記物理的環境における前記１つ以上のカメラの垂直移動に対応しているとの判定にしたがって、前記１つ以上のカメラの前記視野の前記表現を有する前記較正ユーザーインターフェースオブジェクトを同時に表示しながら、前記垂直移動に基づいて前記較正ユーザーインターフェースオブジェクトを動かすことを見合わせることと、を含み、
前記方法が、更に、
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがってディスプレイ上を動く前記較正ユーザーインターフェースオブジェクトを表示している間に、前記較正基準が満たされたことを検出することと、
前記較正基準が満たされたことを検出したことに応答して、前記較正ユーザーインターフェースオブジェクトを表示することを停止することと、を含む、方法。 A method of calibrating an augmented reality view of a physical environment, the method comprising:
The device has a display generation component, one or more input devices, one or more cameras, and one or more posture sensors that detect changes in the posture of the device including the one or more cameras;
receiving a request to display the augmented reality view of the physical environment in a first user interface area that includes a representation of the field of view of the one or more cameras;
In response to receiving the request to display the augmented reality view of the physical environment, displaying the representation of the field of view of the one or more cameras; displaying a calibration user interface object dynamically animated according to movement of the one or more cameras in the physical environment in accordance with a determination that a calibration criterion is not met in the physical environment; displaying the calibration user interface object;
detecting, via the one or more pose sensors, a change in the pose of the one or more cameras in the physical environment while displaying the calibrated user interface object; and In response to detecting the change in the pose of the one or more cameras, displaying at least one of the calibrated user interface objects according to the detected change in the pose of the one or more cameras in the physical environment. adjusting a parameter, the adjusting comprising:
of the field of view of the one or more cameras in accordance with a determination that the detected change in the pose of the one or more cameras corresponds to a lateral movement of the one or more cameras in the physical environment. moving the calibration user interface object based on the lateral movement while simultaneously displaying the calibration user interface object having a representation;
of the field of view of the one or more cameras in accordance with a determination that the detected change in the pose of the one or more cameras corresponds to a vertical movement of the one or more cameras in the physical environment. forgoing moving the calibration user interface object based on the vertical movement while simultaneously displaying the calibration user interface object having a representation;
The method further comprises:
detecting that the calibration criterion is met while displaying the calibration user interface object moving on a display according to the detected change in the pose of the one or more cameras in the physical environment; And,
and ceasing to display the calibration user interface object in response to detecting that the calibration criteria have been met.
前記較正基準が満たされていないとの判定にしたがって、前記較正ユーザーインターフェースオブジェクトを表示する前に、プレーンの表現に対して動く前記デバイスの表現を含むアニメーション化されたプロンプトオブジェクトを表示することを含む、請求項１から８のいずれか一項に記載の方法。 In response to receiving the request to display the augmented reality view of the physical environment;
displaying an animated prompt object that includes a representation of the device that moves relative to a plane representation, prior to displaying the calibration user interface object in accordance with a determination that the calibration criterion is not met; , a method according to any one of claims 1 to 8 .
前記物理的環境における前記１つ以上のカメラの第１の移動の大きさにしたがって、第１の量だけ前記較正ユーザーインターフェースオブジェクトを動かすことと、
前記物理的環境における前記１つ以上のカメラの第２の移動の大きさにしたがって、第２の量だけ前記較正ユーザーインターフェースオブジェクトを動かすことと、を含み、前記第１の量が、前記第２の量とは異なり、前記第１の移動の大きさが、前記第２の移動の大きさとは異なる、請求項１から９のいずれか一項に記載の方法。 adjusting at least one display parameter of the calibration user interface object according to the detected change in the pose of the one or more cameras in the physical environment;
moving the calibration user interface object by a first amount in accordance with a first magnitude of movement of the one or more cameras in the physical environment;
moving the calibration user interface object by a second amount in accordance with a second magnitude of movement of the one or more cameras in the physical environment, wherein the first amount 10. A method according to any preceding claim, wherein the magnitude of the first movement is different from the magnitude of the second movement.
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出される変化にしたがって、前記第１のユーザーインターフェース領域にわたる前記較正ユーザーインターフェースオブジェクトの特徴的な表示場所を変えることなく、前記較正ユーザーインターフェースオブジェクトを動かすことを含む、請求項１から１０のいずれか一項に記載の方法。 adjusting at least one display parameter of the calibration user interface object according to the detected change in the pose of the one or more cameras in the physical environment;
the calibration user interface without changing the characteristic display location of the calibration user interface object across the first user interface area according to the detected change in the pose of the one or more cameras in the physical environment; 11. A method according to any preceding claim, comprising moving an object.
前記物理的環境における前記１つ以上のカメラの移動方向に対して直交する軸の周りで前記較正ユーザーインターフェースオブジェクトを回転させることを含む、請求項１から１１のいずれか一項に記載の方法。 adjusting at least one display parameter of the calibration user interface object according to the detected change in the pose of the one or more cameras in the physical environment;
12. A method according to any preceding claim, comprising rotating the calibration user interface object about an axis orthogonal to the direction of movement of the one or more cameras in the physical environment.
前記１つ以上のカメラの前記視野内で検出された変化率にしたがって決定された速度で前記較正ユーザーインターフェースオブジェクトを動かすことを含む、請求項１から１２のいずれか一項に記載の方法。 adjusting at least one display parameter of the calibration user interface object according to the detected change in the pose of the one or more cameras in the physical environment;
13. A method according to any preceding claim, comprising moving the calibration user interface object at a rate determined according to a rate of change detected in the field of view of the one or more cameras.
前記１つ以上のカメラの前記視野内で検出された変化の方向にしたがって決定された方向に前記較正ユーザーインターフェースオブジェクトを動かすことを含む、請求項１から１３のいずれか一項に記載の方法。 adjusting at least one display parameter of the calibration user interface object according to the detected change in the pose of the one or more cameras in the physical environment;
14. A method according to any preceding claim, comprising moving the calibration user interface object in a direction determined according to a direction of changes detected within the field of view of the one or more cameras.
１つ以上の入力デバイスと、
１つ以上のカメラと、
前記１つ以上のカメラを含むデバイスの姿勢の変化を検出する１つ以上の姿勢センサと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１から１４のいずれか一項に記載の方法を実行する命令を含む、コンピュータシステム。 a display generation component;
one or more input devices;
one or more cameras;
one or more posture sensors that detect changes in the posture of a device including the one or more cameras ;
one or more processors;
a memory storing one or more programs, the one or more programs configured to be executed by the one or more processors, the one or more programs 15. A computer system comprising instructions for carrying out a method according to any one of claims 1 to 14 .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023204027A JP2024026250A (en) | 2018-01-24 | 2023-12-01 | Device, method, and graphical user interface for system-wide behavior for 3d model |
Applications Claiming Priority (10)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862621529P | 2018-01-24 | 2018-01-24 | |
| US62/621,529 | 2018-01-24 | ||
| US201862679951P | 2018-06-03 | 2018-06-03 | |
| US62/679,951 | 2018-06-03 | ||
| DKPA201870346 | 2018-06-11 | ||
| DKPA201870346A DK201870346A1 (en) | 2018-01-24 | 2018-06-11 | Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models |
| US16/145,035 US11099707B2 (en) | 2018-01-24 | 2018-09-27 | Devices, methods, and graphical user interfaces for system-wide behavior for 3D models |
| US16/145,035 | 2018-09-27 | ||
| JP2020540320A JP7039714B2 (en) | 2018-01-24 | 2019-01-23 | Devices, methods, and graphical user interfaces for system-wide behavior of 3D models |
| PCT/US2019/014791 WO2019147699A2 (en) | 2018-01-24 | 2019-01-23 | Devices, methods, and graphical user interfaces for system-wide behavior for 3d models |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020540320A Division JP7039714B2 (en) | 2018-01-24 | 2019-01-23 | Devices, methods, and graphical user interfaces for system-wide behavior of 3D models |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023204027A Division JP2024026250A (en) | 2018-01-24 | 2023-12-01 | Device, method, and graphical user interface for system-wide behavior for 3d model |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022091798A JP2022091798A (en) | 2022-06-21 |
| JP7397899B2 true JP7397899B2 (en) | 2023-12-13 |
Family
ID=67395660
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020540320A Active JP7039714B2 (en) | 2018-01-24 | 2019-01-23 | Devices, methods, and graphical user interfaces for system-wide behavior of 3D models |
| JP2022036354A Active JP7397899B2 (en) | 2018-01-24 | 2022-03-09 | Devices, methods and graphical user interfaces for system-wide behavior of 3D models |
| JP2023204027A Pending JP2024026250A (en) | 2018-01-24 | 2023-12-01 | Device, method, and graphical user interface for system-wide behavior for 3d model |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020540320A Active JP7039714B2 (en) | 2018-01-24 | 2019-01-23 | Devices, methods, and graphical user interfaces for system-wide behavior of 3D models |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023204027A Pending JP2024026250A (en) | 2018-01-24 | 2023-12-01 | Device, method, and graphical user interface for system-wide behavior for 3d model |
Country Status (4)
| Country | Link |
|---|---|
| JP (3) | JP7039714B2 (en) |
| KR (3) | KR20240075927A (en) |
| AU (3) | AU2019212150B2 (en) |
| WO (1) | WO2019147699A2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3993449A1 (en) * | 2020-11-02 | 2022-05-04 | Inter IKEA Systems B.V. | Method and device for communicating a soundscape in an environment |
| KR102442715B1 (en) * | 2020-12-02 | 2022-09-14 | 한국전자기술연구원 | Apparatus and method for reproducing augmented reality image based on divided rendering image |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080071559A1 (en) | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
| US20130234926A1 (en) | 2012-03-07 | 2013-09-12 | Qualcomm Incorporated | Visually guiding motion to be performed by a user |
| JP2015001875A (en) | 2013-06-17 | 2015-01-05 | ソニー株式会社 | Image processing apparatus, image processing method, program, print medium, and print-media set |
| JP2016521892A (en) | 2013-06-11 | 2016-07-25 | クアルコム，インコーポレイテッド | Interactive and automatic 3D object scanning method for database creation |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3761106B2 (en) * | 1996-03-04 | 2006-03-29 | シャープ株式会社 | Image forming apparatus having magnification setting device |
| JP2004046326A (en) | 2002-07-09 | 2004-02-12 | Dainippon Screen Mfg Co Ltd | Device and method for displaying picture and program |
| JP2007047294A (en) | 2005-08-08 | 2007-02-22 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image display device |
| US9244562B1 (en) * | 2009-07-31 | 2016-01-26 | Amazon Technologies, Inc. | Gestures and touches on force-sensitive input devices |
| US10198854B2 (en) | 2009-08-14 | 2019-02-05 | Microsoft Technology Licensing, Llc | Manipulation of 3-dimensional graphical objects for view in a multi-touch display |
| US8922583B2 (en) * | 2009-11-17 | 2014-12-30 | Qualcomm Incorporated | System and method of controlling three dimensional virtual objects on a portable computing device |
| JP2012089112A (en) | 2010-09-22 | 2012-05-10 | Nikon Corp | Image display device |
| KR101852428B1 (en) | 2011-03-09 | 2018-04-26 | 엘지전자 주식회사 | Mobile twrminal and 3d object control method thereof |
| US8581901B2 (en) * | 2011-07-28 | 2013-11-12 | Adobe Systems Incorporated | Methods and apparatus for interactive rotation of 3D objects using multitouch gestures |
| JP5966834B2 (en) | 2012-02-29 | 2016-08-10 | 株式会社Ｊｖｃケンウッド | Image processing apparatus, image processing method, and image processing program |
| EP2847661A2 (en) * | 2012-05-09 | 2015-03-18 | Apple Inc. | Device, method, and graphical user interface for moving and dropping a user interface object |
| US9159153B2 (en) * | 2012-06-05 | 2015-10-13 | Apple Inc. | Method, system and apparatus for providing visual feedback of a map view change |
| JP6214981B2 (en) | 2012-10-05 | 2017-10-18 | 株式会社ファイン | Architectural image display device, architectural image display method, and computer program |
| US20140282220A1 (en) * | 2013-03-14 | 2014-09-18 | Tim Wantland | Presenting object models in augmented reality images |
| US9286727B2 (en) * | 2013-03-25 | 2016-03-15 | Qualcomm Incorporated | System and method for presenting true product dimensions within an augmented real-world setting |
| US9245387B2 (en) * | 2013-04-12 | 2016-01-26 | Microsoft Technology Licensing, Llc | Holographic snap grid |
| US10175483B2 (en) * | 2013-06-18 | 2019-01-08 | Microsoft Technology Licensing, Llc | Hybrid world/body locked HUD on an HMD |
| JP5937128B2 (en) | 2014-03-17 | 2016-06-22 | 富士フイルム株式会社 | Augmented reality providing system, method and program |
| US9495008B2 (en) * | 2014-06-27 | 2016-11-15 | Amazon Technologies, Inc. | Detecting a primary user of a device |
| US9436369B2 (en) * | 2014-09-26 | 2016-09-06 | Disney Enterprises, Inc. | Touch interface for precise rotation of an object |
| JP6154543B2 (en) * | 2015-01-30 | 2017-06-28 | 技術研究組合次世代３Ｄ積層造形技術総合開発機構 | 3D modeling system, information processing apparatus, 3D modeling model arrangement method, and 3D modeling model arrangement program |
| JP6292344B2 (en) | 2015-03-23 | 2018-03-14 | 株式会社村田製作所 | Touch input device |
| US10176641B2 (en) * | 2016-03-21 | 2019-01-08 | Microsoft Technology Licensing, Llc | Displaying three-dimensional virtual objects based on field of view |
-
2019
- 2019-01-23 AU AU2019212150A patent/AU2019212150B2/en active Active
- 2019-01-23 KR KR1020247015723A patent/KR20240075927A/en active Application Filing
- 2019-01-23 JP JP2020540320A patent/JP7039714B2/en active Active
- 2019-01-23 KR KR1020207024313A patent/KR102397481B1/en active IP Right Grant
- 2019-01-23 KR KR1020227015606A patent/KR102666508B1/en active IP Right Grant
- 2019-01-23 WO PCT/US2019/014791 patent/WO2019147699A2/en unknown
-
2022
- 2022-03-01 AU AU2022201389A patent/AU2022201389B2/en active Active
- 2022-03-09 JP JP2022036354A patent/JP7397899B2/en active Active
-
2023
- 2023-12-01 JP JP2023204027A patent/JP2024026250A/en active Pending
-
2024
- 2024-01-10 AU AU2024200149A patent/AU2024200149A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080071559A1 (en) | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
| US20130234926A1 (en) | 2012-03-07 | 2013-09-12 | Qualcomm Incorporated | Visually guiding motion to be performed by a user |
| JP2016521892A (en) | 2013-06-11 | 2016-07-25 | クアルコム，インコーポレイテッド | Interactive and automatic 3D object scanning method for database creation |
| JP2015001875A (en) | 2013-06-17 | 2015-01-05 | ソニー株式会社 | Image processing apparatus, image processing method, program, print medium, and print-media set |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2019212150A1 (en) | 2020-08-20 |
| KR20220065899A (en) | 2022-05-20 |
| KR20200110788A (en) | 2020-09-25 |
| WO2019147699A2 (en) | 2019-08-01 |
| AU2024200149A1 (en) | 2024-01-25 |
| AU2022201389B2 (en) | 2023-10-12 |
| AU2019212150B2 (en) | 2021-12-16 |
| KR102666508B1 (en) | 2024-05-20 |
| KR20240075927A (en) | 2024-05-29 |
| JP2022091798A (en) | 2022-06-21 |
| JP2021518935A (en) | 2021-08-05 |
| KR102397481B1 (en) | 2022-05-12 |
| WO2019147699A8 (en) | 2020-08-06 |
| JP2024026250A (en) | 2024-02-28 |
| AU2022201389A1 (en) | 2022-03-24 |
| WO2019147699A3 (en) | 2019-09-19 |
| JP7039714B2 (en) | 2022-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210333979A1 (en) | Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models | |
| JP7097991B2 (en) | Devices and methods for measuring using augmented reality | |
| JP6745852B2 (en) | Devices, methods, and graphical user interfaces for system-wide behavior of 3D models | |
| KR102540163B1 (en) | Systems, methods, and graphical user interfaces for interacting with augmented and virtual reality environments | |
| AU2019101597A4 (en) | Devices, methods, and graphical user interfaces for system-wide behavior for 3D models | |
| JP7397899B2 (en) | Devices, methods and graphical user interfaces for system-wide behavior of 3D models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220407 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220407 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230303 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231102 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231201 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7397899 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |