JP7039714B2 - Devices, methods, and graphical user interfaces for system-wide behavior of 3D models - Google Patents
Devices, methods, and graphical user interfaces for system-wide behavior of 3D models Download PDFInfo
- Publication number
- JP7039714B2 JP7039714B2 JP2020540320A JP2020540320A JP7039714B2 JP 7039714 B2 JP7039714 B2 JP 7039714B2 JP 2020540320 A JP2020540320 A JP 2020540320A JP 2020540320 A JP2020540320 A JP 2020540320A JP 7039714 B2 JP7039714 B2 JP 7039714B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- input
- user interface
- axis
- displaying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/014—Force feedback applied to GUI
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Description
［技術分野］
本発明は、一般に、限定されるわけではないが様々な状況で仮想オブジェクトを表示する電子デバイスなど、仮想オブジェクトを表示する電子デバイスに関する。
[Technical field]
The present invention generally relates to electronic devices that display virtual objects, such as, but not limited to, electronic devices that display virtual objects in various situations.
拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。仮想／拡張現実環境と対話するには、コンピュータシステム及び他の電子コンピューティングデバイスのタッチ感知面などの入力デバイスを使用する。例示的なタッチ感知面としては、タッチパッド、タッチ感知遠隔制御装置、及びタッチスクリーンディスプレイが挙げられる。これらの表面を使用して、ディスプレイ上で、ユーザーインターフェース及びその中のオブジェクトを操作する。例示的なユーザーインターフェースオブジェクトは、デジタル画像、ビデオ、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの制御要素を含む。 The development of computer systems for augmented reality has made remarkable progress in recent years. An exemplary augmented reality environment contains at least some virtual elements that replace or enhance the physical world. To interact with virtual / augmented reality environments, use input devices such as the touch-sensitive surfaces of computer systems and other electronic computing devices. Exemplary touch-sensitive surfaces include touchpads, touch-sensitive remote controls, and touchscreen displays. These surfaces are used to manipulate the user interface and the objects within it on the display. Exemplary user interface objects include digital images, videos, text, icons, and control elements such as buttons and other graphics.
しかし、少なくともいくつかの仮想要素を含む環境（例えばアプリケーション、拡張現実環境、混合現実環境、及び仮想現実環境）と対話する方法及びインターフェースは、煩雑で、非効率で、限定されたものである。例えば、拡張現実環境で仮想オブジェクトを向き及び位置決めするために一連の入力を使用すると、時間がかかり、かなりの認知上の負担がユーザーにかかり、仮想／拡張現実環境のエクスペリエンスが損なわれる。更に、これらの方法は、必要以上に時間がかかり、それによりエネルギーを浪費する。後者の問題は、バッテリ動作デバイスにおいては特に重要である。 However, the methods and interfaces for interacting with environments containing at least some virtual elements (eg applications, augmented reality environments, mixed reality environments, and virtual reality environments) are cumbersome, inefficient, and limited. For example, using a set of inputs to orient and position a virtual object in an augmented reality environment is time consuming, places a significant cognitive burden on the user, and compromises the experience in the virtual / augmented reality environment. Moreover, these methods take longer than necessary, thereby wasting energy. The latter problem is especially important for battery-powered devices.
したがって、仮想オブジェクトと対話するための改善された方法及びインターフェースを備えたコンピュータシステムが必要とされている。このような方法及びインターフェースは、任意選択的に、仮想オブジェクトと対話するための従来の方法を補完する、又はこれらに取って代わるものである。このような方法及びインターフェースは、ユーザーからの入力の数、範囲、及び／又は種類を減少させ、より効率的な人間機械インターフェースを生成する。バッテリ動作デバイスでは、このような方法及びインターフェースにより、電力が節約され、バッテリの充電間の時間が長くなる。 Therefore, there is a need for computer systems with improved methods and interfaces for interacting with virtual objects. Such methods and interfaces optionally complement or replace conventional methods for interacting with virtual objects. Such methods and interfaces reduce the number, range, and / or types of input from the user, producing a more efficient human-machine interface. In battery-powered devices, such methods and interfaces save power and increase the time between battery charges.
仮想オブジェクトと対話するためのインターフェース（例えば、拡張現実（ＡＲ）のためのユーザーインターフェース及び関連する非ＡＲインターフェース）に関連する上記の不具合及びその他の問題は、開示するコンピュータシステムによって軽減又は解消される。いくつかの実施形態では、コンピュータシステムは、デスクトップコンピュータを含む。いくつかの実施形態では、コンピュータシステムは、ポータブルである（例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである）。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス（例えば腕時計などのウェアラブル電子デバイス）を含む。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する（かつ／又はこれと通信している）。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」とも呼ばれる）を有する（かつ／又はこれと通信している）。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザーインターフェース（ＧＵＩ）、１つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザーは、部分的には、タッチ感知面におけるスタイラス及び／又は指による接触及びジェスチャを通してＧＵＩと対話する。いくつかの実施形態では、機能は、任意選択的に、ゲームプレイ、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシート作成、電話、ビデオ会議、電子メール、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽再生、メモ取り、及び／又はデジタルビデオ再生を含む。これらの機能を実行するための実行可能命令は、任意選択的に、非一時的コンピュータ可読記憶媒体、又は１つ以上のプロセッサによって実行されるように構成されたその他のコンピュータプログラム製品に含まれる。 The above glitches and other problems related to interfaces for interacting with virtual objects (eg, user interfaces for augmented reality (AR) and related non-AR interfaces) are mitigated or eliminated by the disclosing computer system. .. In some embodiments, the computer system comprises a desktop computer. In some embodiments, the computer system is portable (eg, a notebook computer, tablet computer, or handheld device). In some embodiments, the computer system comprises a personal electronic device (eg, a wearable electronic device such as a wristwatch). In some embodiments, the computer system has (and / or communicates with) a touchpad. In some embodiments, the computer system has (and / or communicates with) a touch-sensitive display (also referred to as a "touch screen" or "touch screen display"). In some embodiments, the computer system is a graphical user interface (GUI), one or more processors, memory, and one or more modules, programs, or instructions stored in memory for performing multiple functions. Have a set. In some embodiments, the user interacts with the GUI, in part, through a stylus and / or finger contact and gesture on the touch-sensitive surface. In some embodiments, the features are optionally gameplay, image editing, drawing, presenting, word processing, spreadsheet creation, phone, video conference, email, instant messaging, training support, digital photography. Includes digital video recording, web browsing, digital music playback, note-taking, and / or digital video playback. Executable instructions for performing these functions are optionally included in non-temporary computer-readable storage media or other computer program products configured to be executed by one or more processors.
いくつかの実施形態によれば、方法は、ディスプレイ、タッチ感知面、及び１つ以上のカメラを有するコンピュータシステムで実行される。この方法は、ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示することを含む。この方法は、また、ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示している間に、ディスプレイ上における仮想オブジェクトの表現に対応したタッチ感知面上の場所で接触による第１の入力を検出することを含む。この方法は、また、接触による第１の入力を検出したことに応答して、接触による第１の入力が第１の基準を満足するとの判定にしたがって、第１のユーザーインターフェース領域の少なくとも一部分の表示を１つ以上のカメラの視野の表現で置き換えることを含む、ディスプレイに第２のユーザーインターフェース領域を表示することと、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に、仮想オブジェクトの表現を連続的に表示することと、を含む。 According to some embodiments, the method is performed on a computer system having a display, a touch sensitive surface, and one or more cameras. This method involves displaying a representation of a virtual object in a first user interface area on the display. This method is also by contact at a location on the touch sensitive surface corresponding to the representation of the virtual object on the display while displaying the first representation of the virtual object in the first user interface area on the display. Includes detecting the first input. This method also comprises at least a portion of the first user interface area in response to the detection of the first input by contact, as determined by the determination that the first input by contact satisfies the first criterion. Displaying a second user interface area from displaying a second user interface area on the display and displaying a first user interface area, including replacing the display with a representation of the field of view of one or more cameras. Includes the continuous display of a representation of a virtual object while switching to doing.
いくつかの実施形態によれば、方法は、ディスプレイ、タッチ感知面、及び１つ以上のカメラを有するコンピュータシステムで実行される。この方法は、ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示することを含む。この方法は、また、ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示している間に、ディスプレイ上の仮想オブジェクトの第１の表現に対応するタッチ感知面上の場所で第１の接触による第１の入力を検出することを含む。この方法は、また、第１の接触による第１の入力を検出したことに応答して、第１の接触による第１の入力が第１の基準を満足するとの判定にしたがって、第１のユーザーインターフェース領域とは異なる第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示することを含む。この方法は、また、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示している間に、第２の入力を検出することと、第２の入力を検出したことに応答して、第２の入力が第２のユーザーインターフェース領域内で仮想オブジェクトを操作する要求に対応しているとの判定にしたがって、第２の入力に基づいて第２のユーザーインターフェース領域内で仮想オブジェクトの第２の表現の表示特性を変化させることと、第２の入力が拡張現実環境内に仮想オブジェクトを表示する要求に対応しているとの判定にしたがって、１つ以上のカメラの視野の表現とともに仮想オブジェクトの第３の表現を表示することと、を含む。 According to some embodiments, the method is performed on a computer system having a display, a touch sensitive surface, and one or more cameras. This method involves displaying a first representation of a virtual object in a first user interface area on a display. This method also provides a location on the touch sensitive surface that corresponds to the first representation of the virtual object on the display while displaying the first representation of the virtual object in the first user interface area on the display. Includes detecting the first input due to the first contact in. This method also responds to the detection of the first input by the first contact and according to the determination that the first input by the first contact satisfies the first criterion, the first user. Includes displaying a second representation of a virtual object in a second user interface area that is different from the interface area. This method also responds to detecting the second input and detecting the second input while displaying the second representation of the virtual object in the second user interface area. , The second of the virtual objects in the second user interface area based on the second input, according to the determination that the second input corresponds to the request to operate the virtual object in the second user interface area. Virtually along with the representation of the field of view of one or more cameras, according to changing the display characteristics of the representation in 2 and determining that the second input corresponds to the request to display the virtual object in the augmented real environment. Includes displaying a third representation of the object.
いくつかの実施形態によれば、方法は、ディスプレイ及びタッチ感知面を有するコンピュータシステムで実行される。この方法は、第１のユーザーインターフェースを表示する要求に応答して、第１のアイテムの表現とともに第１のユーザーインターフェースを表示することを含む。この方法は、また、第１のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、第１のアイテムが第１のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに第１のアイテムの表現を表示することを含む。この方法は、また、第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、視覚的な指示なしで第１のアイテムの表現を表示することを含む。この方法は、また、第１のアイテムの表現を表示した後で、第２のアイテムを含む第２のユーザーインターフェースを表示する要求を受信することを含む。この方法は、また、第２のユーザーインターフェースを表示する要求に応答して、第２のアイテムの表現とともに第２のユーザーインターフェースを表示することを含む。この方法は、また、第２のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、第２のアイテムが第２のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに第２のアイテムの表現を表示することを含む。この方法は、また、第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、視覚的な指示なしで第２のアイテムの表現を表示することを含む。 According to some embodiments, the method is performed on a computer system having a display and a touch sensitive surface. The method comprises displaying the first user interface with a representation of the first item in response to a request to display the first user interface. This method also indicates that the first item corresponds to each of the first virtual 3D objects, according to the determination that the first item corresponds to each virtual 3D object. Includes displaying the representation of the first item with visual instructions. The method also includes displaying the representation of the first item without visual instruction, according to the determination that the first item does not correspond to each virtual 3D object. The method also includes receiving a request to display a second user interface containing the second item after displaying the representation of the first item. The method also includes displaying the second user interface with a representation of the second item in response to a request to display the second user interface. This method also indicates that the second item corresponds to each of the second virtual 3D objects, according to the determination that the second item corresponds to each virtual 3D object. Includes displaying the representation of the second item with visual instructions. The method also includes displaying the representation of the second item without visual instruction, according to the determination that the second item does not correspond to each virtual 3D object.
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上の入力デバイス、及び１つ以上のカメラを有するコンピュータシステムで実行される。この方法は、１つ以上のカメラの視野の少なくとも一部分を含む第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求を受信することを含む。この方法は、また、仮想オブジェクトを第１のユーザーインターフェース領域に表示する要求に応答して、表示生成コンポーネントを介して第１のユーザーインターフェース領域に含まれる１つ以上のカメラの視野の少なくとも一部分の上に仮想オブジェクトの表現を表示することを含み、ここで、１つ以上のカメラの視野は、１つ以上のカメラが位置している物理的環境のビューである。仮想オブジェクトの表現を表示することは、オブジェクト配置基準が満足されていないとの判定にしたがって、仮想オブジェクトの表現を、第１の１組の視覚特性で、かつ物理的環境のうちのどの部分が１つ以上のカメラの視野内に表示されているかとは無関係の第１の向きで、表示することであり、オブジェクト配置基準が、満たされるためには、仮想オブジェクトの配置場所が１つ以上のカメラの視野内で特定されることを必要とする、こと、及びオブジェクト配置基準が満足されたとの判定にしたがって、仮想オブジェクトの表現を、第１の１組の視覚特性とは別個の第２の１組の視覚特性で、かつ１つ以上のカメラの視野内で検出された物理的環境内のプレーンに対応する第２の向きで、表示すること、を含む。 According to some embodiments, the method is performed on a computer system having a display generation component, one or more input devices, and one or more cameras. The method comprises receiving a request to display a virtual object in a first user interface area that includes at least a portion of the field of view of one or more cameras. This method also responds to a request to display a virtual object in the first user interface area, at least a portion of the field of view of one or more cameras contained in the first user interface area via the display generation component. Including displaying a representation of a virtual object above, where the field of view of one or more cameras is a view of the physical environment in which the one or more cameras are located. Displaying the representation of a virtual object, according to the determination that the object placement criteria are not satisfied, makes the representation of the virtual object a first set of visual characteristics and which part of the physical environment It is to display in the first orientation, regardless of whether it is displayed in the field of view of one or more cameras, and in order for the object placement criteria to be met, one or more virtual objects are placed in one or more places. According to the determination that it needs to be identified in the field of view of the camera and that the object placement criteria are satisfied, the representation of the virtual object is a second set separate from the first set of visual characteristics. Includes displaying with a set of visual characteristics and in a second orientation corresponding to a plane in the physical environment detected within the field of view of one or more cameras.
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上の入力デバイス、１つ以上のカメラ、及び１つ以上のカメラを含むデバイスの姿勢の変化を検出する１つ以上の姿勢センサを有するコンピュータシステムで実行される。この方法は、物理的環境の拡張現実ビューを１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に表示する要求を受信することを含む。この方法は、また、物理的環境の拡張現実ビューを表示する要求を受信したことに応答して、１つ以上のカメラの視野の表現を表示することと、物理的環境の拡張現実ビューについて較正基準が満足されていないとの判定にしたがって、物理的環境における１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示することと、を含み、較正ユーザーインターフェースオブジェクトを表示することは、較正ユーザーインターフェースオブジェクトを表示している間に、１つ以上の姿勢センサを介して、物理的環境における１つ以上のカメラの姿勢の変化を検出することと、物理的環境における１つ以上のカメラの姿勢の変化を検出したことに応答して、物理的環境における１つ以上のカメラの姿勢の検出した変化にしたがって較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整することと、を含む。この方法は、また、物理的環境における１つ以上のカメラの姿勢の検出した変化にしたがってディスプレイ上を移動する較正ユーザーインターフェースオブジェクトを表示している間に、較正基準が満たされたことを検出することを含む。この方法は、また、較正基準が満たされたことを検出したことに応答して、較正ユーザーインターフェースオブジェクトを表示することを停止することを含む。 According to some embodiments, the method is a display generation component, one or more input devices, one or more cameras, and one or more postures that detect changes in the posture of a device including one or more cameras. Performed on a computer system with sensors. The method comprises receiving a request to display an augmented reality view of the physical environment in a first user interface area that includes a representation of the field of view of one or more cameras. This method also displays a representation of the field of view of one or more cameras in response to a request to display the augmented reality view of the physical environment and calibrates the augmented reality view of the physical environment. A calibrated user interface object, including displaying a dynamically animated calibrated user interface object as one or more cameras move in a physical environment, according to the determination that the criteria are not met. Displaying is to detect changes in the posture of one or more cameras in a physical environment through one or more attitude sensors while displaying a calibrated user interface object, and to display in the physical environment. Adjusting at least one display parameter of the calibrated user interface object according to the detected changes in the posture of one or more cameras in the physical environment in response to detecting changes in the posture of one or more cameras. ,including. This method also detects that calibration criteria have been met while displaying a calibration user interface object that moves on the display according to the detected changes in the attitude of one or more cameras in the physical environment. Including that. The method also includes stopping the display of the calibration user interface object in response to detecting that the calibration criteria have been met.
いくつかの実施形態によれば、表示生成コンポーネントと、タッチ感知面を含む１つ以上の入力デバイスとを有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントによって、仮想三次元オブジェクトの第１の視点の表現を第１のユーザーインターフェース領域に表示することを含む。この方法は、また、仮想三次元オブジェクトの第１の視点の表現をディスプレイ上の第１のユーザーインターフェース領域に表示している間に、仮想三次元オブジェクトの第１の視点から視認不能である仮想三次元オブジェクトの部分を表示するために表示に対して仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出することを含む。この方法は、また、第１の入力を検出したことに応答して、第１の入力が三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、仮想三次元オブジェクトを、第１の軸に対して、第１の入力の大きさに基づいて決定され、かつ第１の軸に対する閾値回転量を超える量の仮想三次元オブジェクトの回転を制約する移動に課される限界によって制約された量だけ、回転させることと、第１の入力が、第１の軸とは異なる第２の軸の周りで三次元オブジェクトを回転させる要求に対応しているとの判定にしたがって、仮想三次元オブジェクトを第２の軸に対して第１の入力の大きさに基づいて決定された量だけ回転させることと、を含み、それぞれの閾値を超える大きさを有する入力について、デバイスは、仮想三次元オブジェクトを第２の軸に対して閾値回転量を超える量だけ回転させる。 According to some embodiments, it is performed on a computer system having a display generation component and one or more input devices including a touch sensitive surface. This method involves displaying a representation of a first perspective of a virtual 3D object in a first user interface area by means of a display generation component. This method is also invisible from the first viewpoint of the virtual 3D object while displaying the representation of the first viewpoint of the virtual 3D object in the first user interface area on the display. It involves detecting a first input corresponding to a request to rotate a virtual 3D object with respect to the display to display a portion of the 3D object. This method is also virtual, according to the determination that the first input corresponds to the request to rotate the 3D object around the first axis in response to the detection of the first input. To move a 3D object to a movement that constrains the rotation of a virtual 3D object that is determined based on the size of the 1st input with respect to the 1st axis and exceeds the threshold rotation amount with respect to the 1st axis. Rotate by the amount constrained by the limits imposed, and the first input corresponds to the requirement to rotate the 3D object around a second axis that is different from the first axis. For inputs having a size that exceeds their respective thresholds, including rotating the virtual 3D object by an amount determined based on the size of the first input with respect to the second axis according to the determination. , The device rotates the virtual 3D object by an amount exceeding the threshold rotation amount with respect to the second axis.
いくつかの実施形態によれば、方法は、表示生成コンポーネント及びタッチ感知面を有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントを介して、第１のジェスチャ認識基準を満たす入力に応答して実施される第１のオブジェクト操作挙動、及び第２のジェスチャ認識基準を満たす入力に応答して実行される第２のオブジェクト操作挙動を含む複数のオブジェクト操作挙動と関連付けられたユーザーインターフェースオブジェクトを含む第１のユーザーインターフェース領域を表示することを含む。この方法は、また、第１のユーザーインターフェース領域を表示する間に、タッチ感知面にわたる１つ以上の接触の移動を検出することを含む、ユーザーインターフェースオブジェクトに向けられた入力の第１の部分を検出することと、タッチ感知面において１つ以上の接触が検出されている間に、第１のジェスチャ認識基準と第２のジェスチャ認識基準の両方に関して１つ以上の接触の移動を評価することと、を含む。この方法は、また、入力の第１の部分を検出したことに応答して、入力の第１の部分に基づいてユーザーインターフェースオブジェクトの外観を更新することであり、入力の第１の部分が第２のジェスチャ認識基準を満たす前に第１のジェスチャ認識基準を満足するとの判定にしたがって、入力の第１の部分に基づいて第１のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変化させること、及び第２のジェスチャ認識基準の閾値を増大させることによって第２のジェスチャ認識基準を更新することと、入力が第１のジェスチャ認識基準を満たす前に第２のジェスチャ認識基準を満足するとの判定にしたがって、入力の第１の部分に基づいて第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変化させること、及び第１のジェスチャ認識基準の閾値を増大させることによって第１のジェスチャ認識基準を更新すること、を含む、ことを含む。 According to some embodiments, the method is performed on a computer system having a display generation component and a touch sensitive surface. This method is performed via the display generation component in response to an input that meets the first gesture recognition criteria, a first object manipulation behavior that is performed in response to an input that meets the first gesture recognition criteria, and an input that meets the second gesture recognition criteria. 2. Displaying a first user interface area containing a user interface object associated with a plurality of object operation behaviors including the second object operation behavior. This method also comprises detecting the movement of one or more contacts across the touch-sensitive surface while displaying the first user interface area, the first part of the input directed to the user interface object. To detect and to evaluate the movement of one or more contacts with respect to both the first and second gesture recognition criteria while one or more contacts are being detected on the touch-sensitive surface. ,including. This method also updates the appearance of the user interface object based on the first part of the input in response to discovering the first part of the input, where the first part of the input is the first. Changing the appearance of the user interface object according to the first object manipulation behavior based on the first part of the input, according to the determination that the first gesture recognition criterion is satisfied before satisfying the second gesture recognition criterion. And to update the second gesture recognition criterion by increasing the threshold of the second gesture recognition criterion, and to determine that the input satisfies the second gesture recognition criterion before it meets the first gesture recognition criterion. Therefore, the first gesture recognition criterion is set by changing the appearance of the user interface object according to the second object manipulation behavior based on the first part of the input, and by increasing the threshold of the first gesture recognition criterion. Including, including updating.
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上の入力デバイス、１つ以上の音声出力生成器、及び１つ以上のカメラを有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントを介して、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示することを含み、この表示することは、仮想オブジェクトの表現と、１つ以上のカメラの視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的関係を維持することを含む。この方法は、また、１つ以上のカメラの視野を調整するデバイスの移動を検出することを含む。この方法は、また、１つ以上のカメラの視野を調整するデバイスの移動を検出したことに応答して、１つ以上のカメラの視野が調整されるにつれて、仮想オブジェクトと１つ以上のカメラの視野内で検出されるプレーンとの間の第１の空間的関係にしたがって、第１のユーザーインターフェース領域内の仮想オブジェクトの表現の表示を調整することと、デバイスの移動が仮想オブジェクトの閾値量より大きな量を１つ以上のカメラの視野の表示部分の外部に移動させるとの判定にしたがって、１つ以上の音声出力生成器を介して、第１の音声警報を生成することと、を含む。 According to some embodiments, the method is performed on a computer system having a display generation component, one or more input devices, one or more audio output generators, and one or more cameras. This method involves displaying a representation of a virtual object in a first user interface area that contains a representation of the field of view of one or more cameras via a display generation component, which display is a representation of the virtual object. Includes maintaining a first spatial relationship between and a plane detected within the physical environment captured within the field of view of one or more cameras. The method also includes detecting the movement of a device that adjusts the field of view of one or more cameras. This method also adjusts the field of view of one or more cameras. As the field of view of one or more cameras is adjusted in response to detecting the movement of the device, the virtual object and one or more cameras Adjusting the display of the representation of the virtual object in the first user interface area according to the first spatial relationship with the plane detected in the field of view, and moving the device from the threshold amount of the virtual object. It comprises generating a first audio alarm via one or more audio output generators according to the determination to move a large amount out of the display portion of the field of view of the one or more cameras.
いくつかの実施形態によれば、電子デバイスは、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な姿勢の変化を検出する１つ以上の姿勢センサと、１つ以上のプロセッサと、１つ以上のプログラムを記憶したメモリとを含み、１つ以上のプログラムは、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書に記載する方法のうちのいずれかの動作を実行する、又はその実行を引き起こす命令を含む。いくつかの実施形態によれば、コンピュータ可読記憶媒体は、命令を記憶しており、これらの命令は、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な１つ以上の姿勢センサとを備えた電子デバイスによって実行されたときに、このデバイスに、本明細書に記載する方法のうちのいずれかの動作を実行させる、又はその実行を引き起こさせる。いくつかの実施形態によれば、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な１つ以上の姿勢センサと、メモリと、メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサとを備えた電子デバイスのグラフィカルユーザーインターフェースは、本明細書に記載する方法のうちのいずれかに記載するように、入力に応答して更新される本明細書に記載する方法のいずれかで表示される要素のうちの１つ以上を含む。いくつかの実施形態によれば、電子デバイスは、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な姿勢の変化を検出する１つ以上の姿勢センサと、本明細書に記載する方法のうちのいずれかの動作を実行する、又はその実行を引き起こす手段とを含む。いくつかの実施形態によれば、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な姿勢の変化を検出する１つ以上の姿勢センサとを備えた電子デバイスで使用される情報処理装置は、本明細書に記載する方法のうちのいずれかの動作を実行する、又はその実行を引き起こす手段を含む。 According to some embodiments, the electronic device includes a display generation component, one or more optional input devices, one or more optional touch-sensitive surfaces, and one or more optional. Suitable for one or more sensors that detect the strength of contact between the camera and the optional touch sensing surface, one or more optional audio output generators, and one or more optional devices. Stores sensors, one or more optional tactile output generators, one or more attitude sensors that detect arbitrary selective attitude changes, one or more processors, and one or more programs. One or more programs are configured to be executed by one or more processors, and one or more programs operate in any of the methods described herein. Includes instructions that execute or trigger that execution. According to some embodiments, the computer-readable storage medium stores instructions, which are a display generation component, one or more optional input devices, and an optional one. One or more sensors that detect the strength of contact between the above touch-sensitive surfaces, one or more optional cameras, and one or more optional touch-sensitive surfaces, and one or more optional audio outputs. Performed by an electronic device with a generator, one or more optional device orientation sensors, one or more optional tactile output generators, and one or more optional attitude sensors. When done, cause the device to perform or trigger any of the actions described herein. According to some embodiments, a display generation component, one or more optional input devices, one or more optional touch-sensitive surfaces, and one or more optional cameras. One or more sensors that detect the strength of contact with the optional touch-sensitive surface, one or more optional audio output generators, and one or more optional device-oriented sensors, optionally. It comprises one or more selective tactile output generators, one or more optional attitude sensors, a memory, and one or more processors that execute one or more programs stored in the memory. The electronic device's graphical user interface is an element displayed in any of the methods described herein that are updated in response to input, as described in any of the methods described herein. Includes one or more of. According to some embodiments, the electronic device includes a display generation component, one or more optional input devices, one or more optional touch sensing surfaces, and one or more optional. Suitable for one or more sensors that detect the strength of contact between the camera and the optional touch sensing surface, one or more optional audio output generators, and one or more optional devices. Sensors, one or more optional tactile output generators, one or more attitude sensors that detect arbitrary selective attitude changes, and the operation of any of the methods described herein. Includes means of performing or inducing such execution. According to some embodiments, a display generation component, one or more optional input devices, one or more optional touch-sensitive surfaces, and one or more optional cameras. One or more sensors that detect the strength of contact with the optional touch-sensitive surface, one or more optional audio output generators, and one or more optional device-oriented sensors, optionally. Information processing devices used in electronic devices with one or more selective tactile output generators and one or more attitude sensors for detecting arbitrary selective attitude changes are described herein. Includes means of performing or inducing the action of any of the methods of doing so.
したがって、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な１つ以上の姿勢センサとを備えた電子デバイスに、様々なコンテキストで仮想オブジェクトを表示するための改善された方法及びインターフェースが与えられ、これにより、これらのデバイスの有効性、効率、及びユーザー満足度が向上する。これらの方法及びインターフェースは、様々なコンテキストで仮想オブジェクトを表示する従来の方法を補完する、又はそれらに取って代わることができる。 Thus, a display generation component, one or more optional input devices, one or more optional touch-sensitive surfaces, one or more optional cameras, and an optional touch-sensitive surface. One or more sensors that detect the strength of contact with, one or more optional audio output generators, one or more optional device oriented sensors, and one or more optional sensors. Electronic devices equipped with a tactile output generator and one or more optional attitude sensors are provided with improved methods and interfaces for displaying virtual objects in various contexts, thereby providing them. Improves device effectiveness, efficiency, and user satisfaction. These methods and interfaces can complement or replace traditional methods of displaying virtual objects in various contexts.
記載する様々な実施形態をより良好に理解するためには、以下で、全ての図面を通じて対応する部品を同じ参照番号で示す以下の図面と関連付けて、発明を実施するための形態を参照されたい。 In order to better understand the various embodiments described, please refer to the embodiments below for carrying out the invention in association with the following drawings in which the corresponding parts are referred to by the same reference number throughout all the drawings. ..
仮想オブジェクトは、仮想環境における三次元オブジェクトのグラフィック表現である。仮想オブジェクトと対話して、仮想オブジェクトをアプリケーションユーザーインターフェース（例えば拡張現実環境を表示しない二次元アプリケーションユーザーインターフェース）のコンテキストに表示される状態から、拡張現実環境（例えば物理的世界では入手できない追加情報をユーザーに提供する補足情報によって物理的世界のビューを拡張する環境）のコンテキストに表示される状態に移行させる従来の方法は、複数の別個の入力（例えばジェスチャ及びボタン押圧のシーケンスなど）が所期の結果（例えば拡張現実環境において本物のように、又は望ましいように見えるように仮想オブジェクトのサイズ、場所及び／又は向きを調節するなど）をもたらすことを必要とすることが多い。更に、従来の入力方法は、拡張現実環境を表示することを求める要求を受信してから拡張現実環境を表示するまでに、１つ以上のデバイスカメラを起動して物理的世界のビューをキャプチャするのに必要な時間、並びに／又は拡張現実環境に置かれる可能性がある仮想オブジェクトに関連して物理的世界のビューを分析及び特徴づける（例えば物理的世界のキャプチャされたビュー内でプレーン及び／又は表面を検出する）のに必要な時間による遅延を伴うことが多い。本明細書の実施形態は、様々なコンテキストで仮想オブジェクトを表示し、かつ／又は（例えばアプリケーションユーザーインターフェースのコンテキストで仮想オブジェクトを表示する状態から拡張現実環境で仮想オブジェクトを表示する状態にスイッチングする入力をユーザーが提供できるようにすること、拡張現実環境に仮想オブジェクトを表示する前に（例えば三次元ステージング環境で）仮想オブジェクトの表示特性をユーザーが変更できるようにすること、ユーザーがシステム全体で複数のアプリケーションにわたって仮想オブジェクトを容易に識別できるようにする指示を提供すること、オブジェクトの配置情報を決定しながらオブジェクトの視覚特性を改変すること、較正に必要なデバイスの動きを示すアニメーション化された較正ユーザーインターフェースオブジェクトを提供すること、表示される仮想オブジェクトの軸の周りの回転を制約すること、第１のオブジェクトの操作挙動についての閾値移動大きさが満たされるときに第２のオブジェクトの操作挙動についての閾値移動大きさを増大させること、及び仮想オブジェクトが表示される視野の外に移動したことを示す音声警報を提供することなどによって）これらの仮想オブジェクトと対話する直観的な方法をユーザーに提供する。 A virtual object is a graphic representation of a three-dimensional object in a virtual environment. From the state in which the virtual object is displayed in the context of the application user interface (for example, a two-dimensional application user interface that does not display the augmented reality environment) by interacting with the virtual object, additional information that is not available in the augmented reality environment (for example, the physical world) can be obtained. The traditional way to move to a state that is displayed in the context of an environment that augments the view of the physical world with supplemental information provided to the user requires multiple separate inputs (such as a sequence of gestures and button presses). It is often necessary to bring about the result of (eg, adjusting the size, location and / or orientation of virtual objects to look real or desirable in an augmented reality environment). In addition, traditional input methods activate one or more device cameras to capture a view of the physical world between receiving a request to display an augmented reality environment and displaying the augmented reality environment. Analyzes and characterizes the view of the physical world in relation to the time required for it, and / or virtual objects that may be placed in an augmented reality environment (eg, planes and / or planes within a captured view of the physical world. Or often with a delay due to the time required to detect the surface). An embodiment of the present specification is an input that displays virtual objects in various contexts and / or switches from displaying virtual objects in the context of an application user interface to displaying virtual objects in an extended real environment. Allowing users to provide users, allowing users to change the display characteristics of virtual objects before displaying them in an enhanced real environment (eg in a three-dimensional staging environment), multiple users throughout the system Providing instructions that make it easy to identify virtual objects across applications, modifying the visual properties of objects while determining object placement information, and animated calibrations that show the movement of the device required for calibration. Providing a user interface object, constraining the rotation around the axis of the displayed virtual object, and the operational behavior of the second object when the threshold movement magnitude for the operational behavior of the first object is met. Provides users with an intuitive way to interact with these virtual objects (for example, by increasing the threshold movement magnitude of the) and providing a voice alert to indicate that the virtual objects have moved out of the visible field of view. do.
本明細書に記載するシステム、方法、及びＧＵＩは、複数の方法で仮想／拡張現実環境とのユーザーインターフェース対話を改善する。例えば、本明細書に記載するシステム、方法、及びＧＵＩは、拡張現実環境に仮想オブジェクトを表示し、様々な入力に応じて、拡張現実環境に表示される仮想オブジェクトの見た目を調整することを容易にする。 The systems, methods, and GUIs described herein improve user interface interactions with virtual / augmented reality environments in multiple ways. For example, the systems, methods, and GUIs described herein display virtual objects in an augmented reality environment, making it easy to adjust the appearance of the virtual objects displayed in the augmented reality environment in response to various inputs. To.
以下、図１Ａ～図１Ｂ、図２、及び図３は、例示的なデバイスの説明を提供する。図４Ａ～図４Ｂ、図５Ａ～図５ＡＴ、図６Ａ～図６ＡＪ、図７Ａ～図７Ｐ、図１１Ａ～図１１Ｖ、図１２Ａ～図１２Ｌ、図１３Ａ～図１３Ｍ、図１４Ａ～図１４Ｚ、及び図１５Ａ～図１５ＡＩは、様々なコンテキストで仮想オブジェクトを表示する例示的なユーザーインターフェースを示す図である。図８Ａ～図８Ｅは、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示するプロセスを示す図である。図９Ａ～図９Ｄは、第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示し、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示し、１つ以上のカメラの視野の表現によって仮想オブジェクトの第３の表現を表示するプロセスを示す図である。図１０Ａ～図１０Ｄは、アイテムが仮想三次元オブジェクトに対応することを示す視覚的な指示とともにアイテムを表示するプロセスを示す図である。図１６Ａ～図１６Ｇは、オブジェクト配置基準が満たされるかどうかに応じて異なる視覚特性を備えた仮想オブジェクトを表示するプロセスを示す図である。図１７Ａ～図１７Ｄは、デバイスの１つ以上のカメラの動きにしたがって動的にアニメーション化された較正ユーインオブジェクトを表示するプロセスを示す図である。図１８Ａ～図１８Ｉは、仮想オブジェクトの軸の周りの回転を制約するプロセスを示す図である。図１４ＡＡ～図１４ＡＤ及び図１９Ａ～図１９Ｈは、第１のオブジェクトの操作挙動について第１の閾値移動大きさが満たされるとの判定にしたがって、第２のオブジェクトの操作挙動について必要とされる第２の閾値移動大きさを増大させるプロセスを示す図である。図２０Ａ～図２０Ｆは、デバイスの動きによって仮想オブジェクトが１つ以上のデバイスカメラの表示される視野の外に移動するとの判定にしたがって、音声警報を生成するプロセスを示す図である。図５Ａ～図５ＡＴ、図６Ａ～図６ＡＪ、図７Ａ～図７Ｐ、図１１Ａ～図１１Ｖ、図１２Ａ～図１２Ｌ、図１３Ａ～図１３Ｍ、図１４Ａ～図１４Ｚ、及び図１５Ａ～図１５ＡＩのユーザーインターフェースを使用して、図８Ａ～図８Ｅ、図９Ａ～図９Ｄ、図１０Ａ～図１０Ｄ、図１４ＡＡ～図１４ＡＤ、図１６Ａ～図１６Ｇ、図１７Ａ～図１７Ｄ、図１８Ａ～図１８Ｉ、図１９Ａ～図１９Ｈ、及び図２０Ａ～図２０Ｆのプロセスを説明する。
例示的なデバイス
Hereinafter, FIGS. 1A-1B, 2 and 3 provide a description of an exemplary device. 4A-4B, 5A-5AT, 6A-6AJ, 7A-7P, 11A-11V, 12A-12L, 13A-13M, 14A-14Z, and FIGS. 15A-15AI are diagrams illustrating exemplary user interfaces for displaying virtual objects in various contexts. 8A-8E are diagrams illustrating a process of displaying a representation of a virtual object while switching from displaying a first user interface area to displaying a second user interface area. 9A-9D display the first representation of the virtual object in the first user interface area, display the second representation of the virtual object in the second user interface area, and view the field of one or more cameras. It is a figure which shows the process which displays the 3rd representation of a virtual object by the representation of. 10A-10D are diagrams illustrating the process of displaying an item with visual instructions indicating that the item corresponds to a virtual 3D object. 16A-16G are diagrams illustrating a process of displaying virtual objects with different visual characteristics depending on whether the object placement criteria are met. 17A-17D are diagrams illustrating the process of displaying a dynamically animated calibration Uin object according to the movement of one or more cameras on the device. 18A-18I are diagrams showing a process of constraining rotation around the axis of a virtual object. 14AA to 14AD and 19A to 19H are required for the operation behavior of the second object according to the determination that the first threshold movement magnitude is satisfied for the operation behavior of the first object. It is a figure which shows the process which increases the threshold value movement magnitude of 2. 20A-20F are diagrams showing a process of generating a voice alert according to the determination that the movement of the device causes the virtual object to move out of the field of view displayed by one or more device cameras. 5A-5AT, 6A-6AJ, 7A-7P, 11A-11V, 12A-12L, 13A-13M, 14A-14Z, and 15A-15AI users. 8A-8E, 9A-9D, 10A-10D, 14AA-14AD, 16A-16G, 17A-17D, 18A-18I, 19A using the interface. The processes of FIGS. 19H and 20A to 20F will be described.
Illustrative device
次に、添付の図面にその実施例を示す実施形態を詳細に参照する。以下の詳細な説明では、記載する様々な実施形態が完全に理解されるように、多数の具体的な詳細を記載する。しかし、記載する様々な実施形態は、これらの具体的な詳細がなくても実施することができることは、当業者には明らかであろう。その他、周知の方法、手順、コンポーネント、回路、及びネットワークについては、実施形態の態様を不要に曖昧にしないよう、詳細には説明しない。 Next, the embodiments shown in the accompanying drawings will be referred to in detail. In the following detailed description, a number of specific details are provided so that the various embodiments described may be fully understood. However, it will be apparent to those skilled in the art that the various embodiments described may be practiced without these specific details. Other well-known methods, procedures, components, circuits, and networks will not be described in detail so as not to unnecessarily obscure aspects of the embodiments.
本明細書では、一部の例において第１、第２などの用語を使用して様々な要素を説明するが、これらの要素は、これらの用語によって限定されないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用されているものである。例えば、記載する様々な実施形態の範囲を逸脱することなく、第１の接点は、第２の接点と称することもでき、同様に、第２の接点を第１の接点と称することもできる。第１の接点及び第２の接点は両方とも接点であるが、文脈が明らかにそうでないことを示していない限り、両者は同じ接点ではない。 Although various elements are described herein using terms such as first and second in some examples, it will also be appreciated that these elements are not limited by these terms. These terms are used only to distinguish one element from another. For example, without departing from the scope of the various embodiments described, the first contact may be referred to as a second contact, and similarly, the second contact may be referred to as a first contact. The first and second contacts are both contacts, but they are not the same contact unless the context clearly indicates that they are not.
本明細書に記載する様々な実施形態の説明で使用する用語は、特定の実施形態を説明することのみを目的とするものであり、限定することを意図したものではない。記載する様々な実施形態の説明及び添付の特許請求の範囲で使用する単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が明らかにそうでないことを示していない限り、複数形も含むものとして意図されている。また、本明細書で使用する「及び／又は」という用語は、関連する列挙したアイテムのうちの１つ以上の任意の全ての可能な組合せを指し、これらを含むことも理解されたい。更に、本明細書で使用する「含む」、「含み」、「備える」、及び／又は「備え」という用語は、記載する特徴、整数、ステップ、動作、要素、及び／又は構成要素が存在することは指定するが、１つ以上のその他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループが存在すること、又は追加されることを除外しないことも理解されるであろう。 The terms used in the description of the various embodiments described herein are for the purpose of describing a particular embodiment only and are not intended to be limiting. The singular forms "a", "an", and "the" used in the description of the various embodiments described and in the appended claims are also plural unless the context clearly indicates otherwise. Intended to include. It is also appreciated that the term "and / or" as used herein refers to and includes any and all possible combinations of one or more of the related listed items. In addition, the terms "include", "include", "provide", and / or "prepare" as used herein include the features, integers, steps, actions, elements, and / or components described. It is also understood that this does not preclude the existence or addition of one or more other features, integers, steps, actions, elements, components, and / or groups thereof. There will be.
本明細書で使用する「～場合」という用語は、任意選択的に、文脈に応じて「～とき」、又は「～すると」、又は「～と判定したことに応答して」、又は「～を検出したことに応答して」を意味するものと解釈される。同様に、「～と判定された場合」又は「（記載する条件又はイベント）が検出された場合」という表現は、任意選択的に、文脈に応じて「～と判定すると」、又は「～と判定したことに応答して」、又は「（記載する条件又はイベント）が検出されると」、又は「（記載する条件又はイベント）を検出したことに応答して」を意味するものと解釈される。 As used herein, the term "case" is optionally used in response to a determination of "when", "to", or "to" or "to", depending on the context. Is interpreted to mean "in response to the detection of." Similarly, the expressions "when determined to be" or "when (condition or event to be described) are detected" are optionally "determined to be" or "to" depending on the context. It is interpreted to mean "in response to the determination", "when (the condition or event to be described) is detected", or "in response to the detection of (the condition or event to be described)". To.
電子デバイス、それらのデバイスのユーザーインターフェース、及びそれらのデバイスを使用するための関連するプロセスの実施形態を記載する。いくつかの実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ社製のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）といったデバイスを含むが、これらに限定されない。タッチ感知面（例えばタッチスクリーンディスプレイ及び／又はタッチパッド）を有するラップトップ又はタブレットコンピュータなど、他のポータブル電子デバイスも、任意選択的に使用される。また、いくつかの実施形態では、デバイスは、ポータブル通信デバイスではなく、タッチ感知面（例えばタッチスクリーンディスプレイ及び／又はタッチパッド）を有するデスクトップコンピュータであることも理解されたい。 Described are electronic devices, user interfaces for those devices, and embodiments of related processes for using those devices. In some embodiments, the device is a portable communication device, such as a mobile phone, that also includes other functions such as a PDA function and / or a music player function. Exemplary embodiments of portable multifunction devices include, but are not limited to, devices such as iPhone®, iPod Touch®, and iPad® manufactured by Apple, Cupertino, Calif., USA. .. Other portable electronic devices, such as laptops or tablet computers with touch sensitive surfaces (eg touch screen displays and / or touchpads), are also optionally used. It should also be appreciated that in some embodiments, the device is not a portable communication device, but a desktop computer having a touch sensitive surface (eg, a touch screen display and / or a touch pad).
以下の説明では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかし、電子デバイスは、任意選択的に、物理的キーボード、マウス、及び／又はジョイスティックなどの１つ以上の他の物理的ユーザーインターフェースデバイスを含むことを理解されたい。 In the following description, an electronic device including a display and a touch sensing surface will be described. However, it should be understood that electronic devices optionally include one or more other physical user interface devices such as physical keyboards, mice, and / or joysticks.
デバイスは、一般に、メモ取りアプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、ビデオ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレイヤアプリケーション及び／又はデジタルビデオプレイヤアプリケーションのうちの１つ以上など、様々なアプリケーションをサポートする。 Devices generally include note-taking applications, drawing applications, presentation applications, word processing applications, website creation applications, disk authoring applications, spreadsheet applications, gaming applications, phone applications, video conferencing applications, email applications, instant messaging applications, etc. Supports a variety of applications, including training support applications, photo management applications, digital camera applications, digital video camera applications, web browsing applications, digital music player applications and / or one or more of digital video player applications.
このデバイスで実行される様々なアプリケーションは、任意選択的に、タッチ感知面などの少なくとも１つの共通の物理的ユーザーインターフェースデバイスを使用する。タッチ感知面の１つ以上の機能、並びにデバイスに表示される対応する情報は、任意選択的に、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、調節及び／又は変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザーにとって直観的かつ透過的なユーザーインターフェースを備える様々なアプリケーションをサポートする。 Various applications running on this device optionally use at least one common physical user interface device, such as a touch sensitive surface. One or more functions of the touch-sensitive surface, as well as the corresponding information displayed on the device, are optionally adjusted and / or modified on an application-by-application basis and / or within each application. Thus, the device's common physical architecture (such as touch-sensitive surfaces) optionally supports a variety of applications with user-intuitive and transparent user interfaces.
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注目する。図１Ａは、いくつかの実施形態による、タッチ感知ディスプレイシステム１１２を備えるポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイシステム１１２は、便宜上「タッチスクリーン」と呼ばれることもあり、単にタッチ感知ディスプレイと呼ばれることもある。デバイス１００は、メモリ１０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インターフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、その他の入力又は制御デバイス１１６、及び外部ポート１２４を含む。デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。デバイス１００は、任意選択的に、デバイス１００（例えばデバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）上の接触の強度を検出する１つ以上の強度センサ１６５を含む。デバイス１００は、任意選択的に、デバイス１００上で触知出力を生成する（例えばデバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上で触知出力を生成する）１つ以上の触知出力生成器１６７を含む。これらのコンポーネントは、任意選択的に、１つ以上の通信バス又は信号ライン１０３を介して通信する。
Here, attention is paid to an embodiment of a portable device including a touch-sensitive display. FIG. 1A is a block diagram showing a
デバイス１００は、ポータブル多機能デバイスの１実施例に過ぎず、デバイス１００は、任意選択的に、示しているよりコンポーネントの数が多い、若しくは少ないことも、任意選択的に、２つ以上のコンポーネントを組みあわせることも、又は、任意選択的に、コンポーネントの異なる構成若しくは配置を有することもあることを理解されたい。図１Ａに示す様々なコンポーネントは、１つ以上の信号処理回路及び／又は特定用途向け集積回路など、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組合せで実装される。
The
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性固体状態メモリデバイスなどの不揮発性メモリも含む。ＣＰＵ（単数又は複数）１２０及び周辺機器インターフェース１１８などデバイス１００の他のコンポーネントによるメモリ１０２へのアクセスは、任意選択的に、メモリコントローラ１２２によって制御される。
The memory 102 optionally includes high speed random access memory and optionally also non-volatile memory such as one or more magnetic disk storage devices, flash memory devices, or other non-volatile solid state memory devices. include. Access to the memory 102 by other components of the
周辺機器インターフェース１１８を使用して、デバイスの入力及び出力周辺機器を、ＣＰＵ（単数又は複数）１２０及びメモリ１０２に結合することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる、又は実行して、デバイス１００のための様々な機能を実行し、データを処理する。
The
いくつかの実施形態では、周辺機器インターフェース１１８、ＣＰＵ（単数又は複数）１２０、及びメモリコントローラ１２２は、任意選択的に、チップ１０４などの単一チップ上に実装される。いくつかの他の実施形態では、それらは、任意選択的に、別々のチップ上に実装される。
In some embodiments, the
ＲＦ（radio frequency、高周波）回路１０８は、電磁信号とも呼ばれるＲＦ信号を受信及び送信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらに限定されるわけではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（ＳＩＭ）カード、及びメモリなど、これらの機能を実行する周知の回路を含む。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。無線通信は、任意選択的に、これらに限定されるわけではないが、移動通信用のグローバルシステム（Global System for Mobile Communication、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケット接続（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケット接続（high-speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ、Ｄａｔａ－Ｏｎｌｙ（ＥＶ－ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（ＤＣ－ＨＳＰＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離無線通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ－ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ－Ｆｉ）（例えばＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ａｃ、ＩＥＥＥ ８０２．１１ａｘ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、及び／又はＩＥＥＥ ８０２．１１ｎ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ－ＭＡＸ、電子メール用プロトコル（例えばインターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／又はポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and presence protorol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンスレバレッジング拡張用セッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、並びに／若しくはショートメッセージサービス（Short Message Service、ＳＭＳ）など、複数の通信規格、プロトコル、及び技術のうちのいずれか、又は本文書の出願日現在でまだ開発されていない通信プロトコルを含む任意のその他の適当な通信プロトコルを使用する。
The RF (radio frequency)
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザーとデバイス１００との間のオーディオインターフェースを提供する。オーディオ回路１１０は、周辺機器インターフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に伝送する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。また、オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インターフェース１１８に伝送する。オーディオデータは、任意選択的に、周辺機器インターフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、かつ／又はメモリ１０２及び／若しくはＲＦ回路１０８に伝送される。いくつかの実施形態では、オーディオ回路１１０は、ヘッドセットジャック（例えば図２の２１２）も含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば片耳又は両耳用のヘッドホン）及び入力（例えばマイクロフォン）の両方を有するヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインターフェースを提供する。
The
Ｉ／Ｏサブシステム１０６は、タッチ感知ディスプレイシステム１１２及びその他の入力又は制御デバイス１１６などのデバイス１００上の入出力周辺機器を周辺機器インターフェース１１８に結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び他の入力又は制御デバイスのための１つ以上の入力コントローラ１６０を含む。この１つ以上の入力コントローラ１６０は、他の入力又は制御デバイス１１６から電気信号を受信し、それらに電気信号を送信する。その他の入力又は制御デバイス１１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。一部の代替の実施形態では、入力コントローラ（単数又は複数）１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、スタイラス、及び／又はマウスなどのポインタデバイスのうちのいずれかと結合される（又は、いずれにも結合されない）。１つ以上のボタン（例えば図２の２０８）は、任意選択的に、スピーカ１１１及び／又はマイクロフォン１１３のボリューム制御のためのアップ／ダウンボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば図２の２０６）を含む。
The I /
タッチ感知ディスプレイシステム１１２は、デバイスとユーザーとの間の入力インターフェース及び出力インターフェースを提供する。ディスプレイコントローラ１５６は、タッチ感知ディスプレイシステム１１２から電気信号を受信し、かつ／又はタッチ感知ディスプレイシステム１１２に電気信号を送信する。タッチ感知ディスプレイシステム１１２は、ユーザーに視覚出力を表示する。視覚出力は、任意選択的に、グラフィック、テキスト、アイコン、ビデオ、及びこれらの任意の組合せ（「グラフィック」と総称する）を含む。いくつかの実施形態では、視覚出力の一部又は全ては、ユーザーインターフェースオブジェクトに対応する。本明細書で使用する「アフォーダンス」という用語は、ユーザー対話型のグラフィカルユーザーインターフェースオブジェクト（例えばそのグラフィカルユーザーインターフェースオブジェクトに向けられた入力に対して応答するように構成されたグラフィカルユーザーインターフェースオブジェクト）を指す。ユーザー対話型のグラフィカルユーザーインターフェースオブジェクトの例としては、これらに限定されるわけではないが、ボタン、スライダ、アイコン、選択可能メニューアイテム、スイッチ、ハイパーリンク、又はその他のユーザーインターフェース制御が挙げられる。
The touch-
タッチ感知ディスプレイシステム１１２は、触覚及び／又は触知接触に基づくユーザーからの入力を受け付けるタッチ感知面、センサ、又はセンサセットを有する。タッチ感知ディスプレイシステム１１２及びディスプレイコントローラ１５６（任意の関連するモジュール及び／又はメモリ１０２内の命令セットも含む）は、タッチ感知ディスプレイシステム１１２上の接触（及びその接触の任意の動き又は中断）を検出し、検出した接触をタッチ感知ディスプレイシステム１１２に表示されるユーザーインターフェースオブジェクト（例えば１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との対話に変換する。いくつかの実施形態では、タッチ感知ディスプレイシステム１１２とユーザーとの間の接触点は、ユーザーの指又はスタイラスに対応する。
The touch-
タッチ感知ディスプレイシステム１１２は、任意選択的に、ＬＣＤ（liquid crystal display、液晶ディスプレイ）技術、ＬＰＤ（light emitting polymer display、発光ポリマーディスプレイ）技術、又はＬＥＤ（light emitting diode、発光ダイオード）技術を使用するが、他の実施形態では、他の表示技術を使用する。タッチ感知ディスプレイシステム１１２及びディスプレイコントローラ１５６は、任意選択的に、これらに限定されるわけではないが、静電容量技術、抵抗性技術、赤外線技術、及び表面音響波技術、並びにタッチ感知ディスプレイシステム１１２との１つ以上の接触点を決定するその他の近接センサレイ又は他の要素など、現在既知の、又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触と、接触の任意の動き又は中断とを検出する。いくつかの実施形態では、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ社製のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）などの、投影型相互静電容量感知技術が使用される。
The touch-
タッチ感知ディスプレイシステム１１２は、任意選択的に、１００ｄｐｉを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンのビデオ解像度は、４００ｄｐｉを超える（例えば５００ｄｐｉ、８００ｄｐｉ、又はそれより高い）。ユーザーは、任意選択的に、スタイラス、指などの任意の好適なオブジェクト又は付属物を使用して、タッチ感知ディスプレイシステム１１２に接触する。いくつかの実施形態では、ユーザーインターフェースは、指による接触及びジェスチャで機能するように設計されるが、指による接触及びジェスチャは、指がタッチスクリーンと接触する面積が大きいために、スタイラスによる入力よりも精度が低くなる可能性がある。いくつかの実施形態では、デバイスは、指による粗い入力を、精密なポインタ／カーソル位置、又はユーザーの望むアクションを実行するコマンドに変換する。
The touch-
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッド（図示せず）を含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチ感知ディスプレイシステム１１２から分離したタッチ感知面、又はタッチスクリーンによって形成されるタッチ感知面の延長部である。
In some embodiments, in addition to the touch screen, the
デバイス１００は、また、様々なコンポーネントに電力を供給する電力システム１６２を含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えばバッテリ、交流（ＡＣ））、再充電システム、電源異常検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば発光ダイオード（ＬＥＤ））、並びにポータブルデバイスにおける電力の生成、管理及び分配に関連するその他の任意のコンポーネントを含む。
The
また、デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に結合された光センサを示している。光センサ１６４（単数又は複数）は、任意選択的に、電荷結合デバイス（charge-coupled device、ＣＣＤ）又は相補的金属酸化物半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）フォトトランジスタを含む。光センサ１６４（単数又は複数）は、１つ以上のレンズを通じて投影される環境からの光を受光し、この光を画像を表すデータに変換する。撮像モジュール１４３（カメラモジュールとも呼ばれる）と協働して、光センサ（単数又は複数）１６４は、任意選択的に、静止画像及び／又はビデオをキャプチャする。いくつかの実施形態では、光センサを、デバイスの前面上のタッチ感知ディスプレイシステム１１２の反対側のデバイス１００の背面上に位置付けて、タッチスクリーンを静止画像及び／又はビデオ画像取得を取得するビューファインダとして使用することができるようにする。いくつかの実施形態では、別の光センサを、デバイスの前面に位置付けて、ユーザーの画像が取得されるようにする（例えば自撮りのため、ユーザーがビデオ会議に参加しながらタッチスクリーン上で他のビデオ会議参加者を見るためなど）。
Further, the
また、デバイス１００は、任意選択的に、１つ以上の接触強度センサ１６５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された接触強度センサを示している。接触強度センサ（単数又は複数）１６５は、任意選択的に、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又はその他の強度センサ（例えばタッチ感知面上の接触の力（又は圧力）を測定するために使用されるセンサ）を含む。接触強度センサ（単数又は複数）１６５は、環境から接触強度情報（例えば圧力情報又は圧力情報の代わりになるもの）を受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接している。いくつかの実施形態では、少なくとも１つの接触強度センサは、デバイス１００の前面上に位置するタッチスクリーンディスプレイシステム１１２の反対側のデバイス１００の背面上に位置する。
The
また、デバイス１００は、任意選択的に、１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インターフェース１１８に結合された近接センサ１６６を示している。あるいは、近接センサ１６６は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。いくつかの実施形態では、多機能デバイスがユーザーの耳の近くに配置されているとき（例えばユーザーが電話しているとき）に、近接センサは、タッチ感知ディスプレイシステム１１２をオフにして、使用不可状態にする。
The
また、デバイス１００は、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された触知出力生成器を示している。いくつかの実施形態では、触知出力生成器（単数又は複数）１６７は、スピーカ若しくはその他のオーディオコンポーネントなどの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ若しくはその他の触知出力生成コンポーネント（例えば電気信号をデバイス上での触知出力に変換するコンポーネント）などのエネルギーを直線状の動きに変換する電気機械デバイスを含む。触知出力生成器（単数又は複数）１６７は、触覚フィードバックモジュール１３３から触知フィードバック生成命令を受信し、デバイス１００のユーザーが感知できる触知出力をデバイス１００上で生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向に（例えばデバイス１００の表面の内／外に）、又は横方向に（例えばデバイス１００の表面と同じプレーン内で前後に）移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス１００の前面上に位置するタッチ感知ディスプレイシステム１１２の反対側のデバイス１００の背面上に位置する。
The
また、デバイス１００は、任意選択的に、１つ以上の加速度計１６８を含む。図１Ａは、周辺機器インターフェース１１８に結合された加速度計１６８を示している。あるいは、加速度計１６８は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。いくつかの実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、タッチスクリーンディスプレイに横長表示又は縦長表示で表示される。デバイス１００は、任意選択的に、加速度計（単数又は複数）１６８に加えて、磁気計（図示せず）並びにデバイス１００の位置及び向き（例えば縦長又は横長）に関する情報を取得するＧＰＳ（又はＧＬＯＮＡＳＳ若しくはその他のグローバルナビゲーションシステム）受信機（図示せず）を含む。
The
いくつかの実施形態では、メモリ１０２に記憶されたソフトウェアコンポーネントは、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、触覚フィードバックモジュール（又は命令セット）１３３、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System、ＧＰＳ）モジュール（又は命令セット）１３５、及びアプリケーション（又は命令セット）１３６を含む。更に、いくつかの実施形態では、図１Ａ及び図３に示すように、メモリ１０２は、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示す、アクティブアプリケーション状態、タッチ感知ディスプレイシステム１１２の様々な領域を、どんなアプリケーション、ビュー、又はその他の情報が占有しているかを示す表示状態、デバイスの様々なセンサ及びその他の入力又は制御デバイス１１６から取得される情報を含むセンサ状態、並びにデバイスの位置及び／又は姿勢に関する位置及び／又は姿勢情報、のうちの１つ以上を含む。
In some embodiments, the software components stored in the memory 102 are operating
オペレーティングシステム１２６（例えばｉＯＳ、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ（登録商標）などの組み込みオペレーティングシステム）は、全体的なシステムタスク（例えばメモリ管理、記憶デバイス制御、電力管理など）を制御及び管理する様々なソフトウェアコンポーネント及び／又はドライバを含み、様々なハードウェアコンポーネントとソフトウェアコンポーネントとの間の通信を円滑化する。 The operating system 126 (eg, an embedded operating system such as iOS, Darwin, RTXC, LINUX® , UNIX®, OS X, WINDOWS®, or VxWorks® ) is the overall system. It includes various software components and / or drivers that control and manage tasks (eg, memory management, storage device control, power management, etc.) and facilitate communication between various hardware and software components.
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を円滑化し、また、ＲＦ回路１０８及び／又は外部ポート１２４が受信するデータを処理する様々なソフトウェアコンポーネントも含む。外部ポート１２４（例えばユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに連結するように適合されている。いくつかの実施形態では、外部ポートは、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ社製のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）といったいくつかのデバイスで使用される３０ピンコネクタと同じである、又はこれに類似している、及び／又はこれと互換性のあるマルチピン（例えば３０ピン）コネクタである。いくつかの実施形態では、外部ポートは、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ社製のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）といったいくつかのデバイスで使用されるＬｉｇｈｔｎｉｎｇ（登録商標）コネクタと同じである、又はこれに類似している、及び／又はこれと互換性のあるＬｉｇｈｔｎｉｎｇ（登録商標）コネクタである。
The
接触／動きモジュール１３０は、任意選択的に、タッチ感知ディスプレイシステム１１２との接触を（ディスプレイコントローラ１５６と協働して）検出し、また他のタッチ感知デバイス（例えばタッチパッド又は物理クリックホイール）との接触を検出する。接触／動きモジュール１３０は、接触が発生したかを判定する（例えば指が下りるイベントを検出する）、接触の強度（例えば接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定する、接触の移動があるかを判定してタッチ感知面にわたるその移動を追跡する（例えば１つ以上の指のドラッグイベントを検出する）、接触が終了したかどうかを判定する（例えば指が上がるイベント又は接触の中断を検出する）など、（例えば指又はスタイラスによる）接触の検出に関連する様々な動作を実行する様々なソフトウェアコンポーネントを含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を決定することを含む。これらの動作は、任意選択的に、個別の接触（例えば１本の指による接触又は１つのスタイラスによる接触）、又は複数の同時接触（例えば「マルチタッチ」／複数本の指による接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
The contact /
接触／動きモジュール１３０は、任意選択的に、ユーザーによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、及び／又は強度が異なる）。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指のタップジェスチャの検出は、（例えばアイコンの位置で）指が下りるイベントを検出した後に、指が下りるイベントと同じ位置（又は実質的に同じ位置）で指が上がる（リフトオフ）イベントを検出することを含む。別の実施例では、タッチ感知面上の指のスワイプジェスチャの検出は、指が下りるイベントを検出した後に、１つ以上の指のドラッグイベントを検出し、その後に、指が上がる（リフトオフ）イベントを検出することを含む。スタイラスについても同様に、タップ、スワイプ、ドラッグ、及びその他のジェスチャは、任意選択的に、そのスタイラスについての特定の接触パターンを検出することによって検出される。
The contact /
いくつかの実施形態では、指のタップジェスチャの検出は、指が下りるイベントを検出してから指が上がるイベントを検出するまでの時間の長さに依存するが、指が下りるイベントを検出してから指が上がるイベントを検出するまでの間の指の接触の強度には左右されない。いくつかの実施形態では、タップジェスチャは、タップ中の指の接触の強度が、軽い押圧又は深い押圧の強度閾値など所与の強度閾値（公称接触検出強度閾値よりも大きい）を満たすかどうかに関わりなく、指が下りるイベントから指が上がるイベントまでの間の時間の長さが所定の値よりも小さい（例えば０．１秒、０．２秒、０．３秒、０．４秒、又は０．５秒よりも短い）との判定にしたがって検出される。したがって、指のタップジェスチャは、その特定の入力基準が満たされるために接触の特性強度が所与の強度閾値を満たすことを必要としない、特定の入力基準を満たせばよい。明確にするために、指が下りるイベントが検出されるためには、タップジェスチャにおける指の接触は、通常は、それを下回ると接触が検出されない公称接触検出強度閾値を満たす必要がある。同様の分析は、スタイラスによる接触またはその他の接触によるタップジェスチャの検出にも当てはまる。デバイスがタッチ感知面上をホバリングする指又はスタイラスの接触を検出することができる場合には、公称接触検出強度閾値は、任意選択的に、指又はスタイラスとタッチ感知面との間の物理的接触に対応しない。 In some embodiments, the detection of a finger tap gesture depends on the length of time between detecting a finger-down event and detecting a finger-up event, but detecting a finger-down event. It does not depend on the strength of finger contact between the time when the finger is raised and the time when the event is detected. In some embodiments, the tap gesture determines whether the strength of finger contact during tapping meets a given strength threshold (greater than the nominal touch detection strength threshold), such as a light or deep pressure strength threshold. Regardless, the length of time between the finger-down event and the finger-up event is less than a given value (eg 0.1 seconds, 0.2 seconds, 0.3 seconds, 0.4 seconds, or It is detected according to the determination (shorter than 0.5 seconds). Therefore, the finger tap gesture may meet a particular input criterion, which does not require the characteristic strength of the contact to meet a given intensity threshold in order for that particular input criterion to be met. For clarity, the finger contact in the tap gesture must meet the nominal contact detection intensity threshold, where no contact is normally detected below that, in order for the finger descent event to be detected. Similar analysis applies to the detection of tap gestures by stylus contact or other contact. If the device is capable of detecting contact with a finger or stylus hovering over the touch-sensitive surface, the nominal contact detection intensity threshold is optionally the physical contact between the finger or stylus and the touch-sensitive surface. Does not correspond to.
同じ概念が、他のタイプのジェスチャにも同様に当てはまる。例えば、スワイプジェスチャ、ピンチジェスチャ、デピンチジェスチャ、及び／又は長押しジェスチャは、任意選択的に、ジェスチャに含まれる接触の強度と無関係であるか、又はジェスチャを行う接触（単数又は複数）が認識されるのに強度閾値に到達することを必要としない基準が満たされることに基づいて、検出される。例えば、スワイプジェスチャは、１つ以上の接触の移動量に基づいて検出され、ピンチジェスチャは、２つ以上の接触の互いに向かう移動に基づいて検出され、デピンチジェスチャは、２つ以上の接触の互いに遠ざかる移動に基づいて検出され、長押しジェスチャは、移動量が閾値移動量未満であるタッチ感知面上の接触の持続時間に基づいて検出される。したがって、特定のジェスチャ認識基準が、その特定のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としないという記述は、ジェスチャにおける接触（単数又は複数）がそれぞれの強度閾値に達しない場合にもその特定のジェスチャ認識基準を満たすことができ、またジェスチャにおける接触のうちの１つ以上がそれぞれの強度閾値に達しない、又はそれを超えない状況でも満たすことができることを意味している。いくつかの実施形態では、タップジェスチャは、接触が所定の期間中にそれぞれの強度閾値を上回る又は下回るかどうか関わらず、指が下りるイベント及び指が上がるイベントがその所定の期間内に検出されたとの判定に基づいて検出され、スワイプジェスチャは、接触の移動の終わりにその接触がそれぞれの強度閾値を上回る場合でも、接触の移動が所定の大きさよりも大きいとの判定に基づいて検出される。ジェスチャの検出が、ジェスチャを行う接触の強度の影響を受ける実施態様（例えば、デバイスが、接触の強度が強度閾値を上回るときには早めに長押しを検出する、又は接触の強度が高いときにはタップ入力の検出を遅らせる）でも、接触が特定の強度閾値に達しない状況でそのジェスチャを認識する基準を満たすことができる限り（例えば、ジェスチャを認識するためにかかる時間の長さが変化する場合でも）、これらのジェスチャの検出は、接触が特定の強度閾値に到達することを必要としない。 The same concept applies to other types of gestures as well. For example, swipe gestures, pinch gestures, depinch gestures, and / or long press gestures are optionally independent of the strength of the contact contained in the gesture or recognized by the contact (s) making the gesture. Detected on the basis that criteria that do not require reaching the intensity threshold to be met are met. For example, a swipe gesture is detected based on the amount of movement of one or more contacts, a pinch gesture is detected based on the reciprocal movement of two or more contacts, and a depinch gesture is a depinch gesture of two or more contacts. Detected on the basis of movement away from each other, long press gestures are detected based on the duration of contact on the touch-sensitive surface where the movement amount is less than the threshold movement amount. Therefore, the statement that a particular gesture recognition criterion does not require the strength of the contact (s) to meet the respective intensity thresholds in order for that particular gesture recognition criterion to be met is the statement that the contact (s) in the gesture. A situation in which a particular gesture recognition criterion can be met even if multiple) do not reach their respective intensity thresholds, and one or more of the contacts in the gesture do not reach or exceed their respective intensity thresholds. But it means that it can be met. In some embodiments, the tap gesture detects a finger-down event and a finger-up event within a predetermined period of time, regardless of whether the contact is above or below the respective intensity thresholds. The swipe gesture is detected based on the determination that the movement of the contact is greater than a predetermined magnitude, even if the contact exceeds the respective intensity thresholds at the end of the movement of the contact. Gesture detection is affected by the strength of the contact making the gesture (eg, the device detects a long press early when the strength of the contact exceeds the strength threshold, or tap input when the strength of the contact is high). (Delaying detection), but as long as the criteria for recognizing the gesture can be met in situations where the contact does not reach a certain intensity threshold (eg, even if the length of time it takes to recognize the gesture changes). Detection of these gestures does not require the contact to reach a particular strength threshold.
いくつかの状況では、接触強度閾値、持続時間閾値、及び移動閾値を、様々に異なる組合せで組み合わせて、同じ入力要素又は領域に向けられた２つ以上の異なるジェスチャを区別するヒューリスティックスを作成して、同じ入力要素との複数の異なる対話によってより豊かなユーザー対話及び応答のセットを提供することができるようにする。ジェスチャ認識基準の特定のセットが、その特定のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としないという記述は、ジェスチャがそれぞれの強度閾値を超える強度を有する接触を含むときに満たされる基準を有する他のジェスチャを識別するための他の強度に依存するジェスチャ認識基準をそれと同時に評価することを排除しない。例えば、いくつかの状況では、そのジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としない第１のジェスチャの第１のジェスチャ認識基準が、接触（単数又は複数）がそれぞれの強度閾値に到達することに依存する第２のジェスチャの第２のジェスチャ認識基準と競合する。このような競合時には、ジェスチャは、任意選択的に、第２のジェスチャの第２のジェスチャ認識基準が先に満たされた場合には、第１のジェスチャの第１のジェスチャ認識基準を満足しているものとは認識されない。例えば、接触が所定の移動量を移動する前にそれぞれの強度閾値に達した場合には、スワイプジェスチャではなく深押しジェスチャが検出される。逆に、接触が所定の移動量を移動した後でそれぞれの強度閾値に達した場合には、深押しジェスチャではなくスワイプジェスチャが検出される。このような状況でも、やはり、第１のジェスチャの第１のジェスチャ認識基準は、第１のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としない。これは、ジェスチャの終わりまで接触がそれぞれの強度閾値を下回ったままであったとしたら（例えばそれぞれの強度閾値を上回る強度まで増大しない接触を有するスワイプジェスチャの場合）、そのジェスチャは、第１のジェスチャ認識基準によってスワイプジェスチャとして認識されているはずであるからである。したがって、その特定のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としない特定のジェスチャ認識基準は、（Ａ）いくつかの状況では、（例えばタップジェスチャの）強度閾値に関して接触の強度を無視し、かつ／又は（Ｂ）いくつかの状況では、競合する強度依存ジェスチャ認識基準（例えば長押しジェスチャの認識基準）のセットがある入力を強度依存ジェスチャに対応するものとして認識した後で、その特定のジェスチャ認識基準がその入力に対応するジェスチャ（例えば深押しジェスチャと認識をめぐって競合する長押しジェスチャ）を認識した場合には、その特定のジェスチャ認識基準（例えば長押しジェスチャの認識基準）が満たされないという意味で、依然として強度閾値に関して接触の強度に依存する。 In some situations, contact strength thresholds, duration thresholds, and movement thresholds can be combined in various different combinations to create heuristics that distinguish between two or more different gestures directed at the same input element or region. Allows a richer set of user dialogues and responses to be provided by multiple different dialogues with the same input element. The statement that a particular set of gesture recognition criteria does not require the strength of the contact (s) to meet each strength threshold in order for that particular gesture recognition criterion to be met is that the gesture does not require each strength threshold to be met. It does not preclude the simultaneous evaluation of other strength-dependent gesture recognition criteria to identify other gestures that have criteria that are met when including contacts with intensities greater than. For example, in some situations, the first gesture recognition criterion of the first gesture does not require the contact (s) intensity to meet the respective intensity thresholds in order for the gesture recognition criterion to be met. It competes with the second gesture recognition criterion of the second gesture, which depends on the contact (s) reaching each intensity threshold. During such a conflict, the gesture optionally satisfies the first gesture recognition criterion of the first gesture if the second gesture recognition criterion of the second gesture is met first. It is not recognized as being. For example, if the contact reaches each intensity threshold before moving a predetermined amount of movement, a deep push gesture is detected instead of a swipe gesture. Conversely, if the contact reaches each intensity threshold after moving a predetermined amount of movement, a swipe gesture is detected instead of a deep push gesture. Even in such a situation, the first gesture recognition criterion of the first gesture still requires that the strength of the contact (s) satisfy the respective intensity thresholds in order for the first gesture recognition criterion to be met. Do not. This is because if the contact remains below each intensity threshold until the end of the gesture (for example, in the case of a swipe gesture with a contact that does not increase to an intensity above each intensity threshold), the gesture recognizes the first gesture. This is because it should be recognized as a swipe gesture by the standard. Therefore, certain gesture recognition criteria that do not require the contact (s) strength to meet their respective intensity thresholds in order for that particular gesture recognition criterion to be met are (A) in some situations (A). Ignore the strength of the contact with respect to the intensity threshold (eg for tap gestures) and / or (B) in some situations, intensify the input with a set of competing intensity-dependent gesture recognition criteria (eg, long-press gesture recognition criteria). If, after recognizing a dependent gesture, the particular gesture recognition criterion recognizes the gesture corresponding to that input (eg, a deep press gesture and a long press gesture that competes for recognition), that particular gesture. It still depends on the strength of the contact with respect to the intensity threshold in the sense that the recognition criteria (eg, the recognition criteria for long press gestures) are not met.
グラフィックモジュール１３２は、表示されるグラフィックの視覚的影響（例えば、輝度、透明度、彩度、コントラスト、又はその他の視覚特性）を変更するコンポーネントなど、タッチ感知ディスプレイシステム１１２又はその他のディスプレイ上でグラフィックをレンダリング及び表示する様々な既知のソフトウェアコンポーネントを含む。本明細書で使用する「グラフィック」という用語は、これらに限定されるわけではないが、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザーインターフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなど、ユーザーに対して表示することができる任意のオブジェクトを含む。
The
いくつかの実施形態では、グラフィックモジュール１３２は、使用されるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて座標データ及び他のグラフィック特性データと共に表示されるグラフィックを指定する１つ以上のコードを受信し、次いで、ディスプレイコントローラ１５６に出力するスクリーン画像データを生成する。
In some embodiments, the
触覚フィードバックモジュール１３３は、デバイス１００とのユーザー対話に応答して、触知出力生成器（単数又は複数）１６７を使用してデバイス１００上の１つ以上の位置で触知出力を生成する命令（例えば触覚フィードバックコントローラ１６１によって使用される命令）を生成する様々なソフトウェアコンポーネントを含む。
The
テキスト入力モジュール１３４は、任意選択的にグラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とするその他の任意のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
The
ＧＰＳモジュール１３５は、デバイスの場所を決定し、この情報を、様々なアプリケーションで使用されるように提供する（例えば、電話１３８に提供して場所に基づくダイヤル発呼に使用する、写真／ビデオのメタデータとしてカメラ１４３に提供する、並びに天気ウィジェット、地域の電話帳ウィジェット、及び地図／ナビゲーションウィジェットなど場所に基づくサービスを提供するアプリケーションに提供するなど）。
The
アプリケーション１３６は、任意選択的に、以下のモジュール（又は命令セット）又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（アドレス帳又は連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●ビデオ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／若しくはビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●天気ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、目覚まし時計ウィジェット１４９－４、辞書ウィジェット１４９－５、及びユーザーが取得したその他のウィジェット、並びにユーザー作成ウィジェット１４９－６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
●ユーザー作成ウィジェット１４９－６を作成するウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●任意選択的にビデオプレーヤーモジュール及び音楽プレーヤモジュールで構成される、ビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、並びに／又は
●オンラインビデオモジュール１５５。
● Contact Module 137 (sometimes called an address book or contact list),
●
●
●
● Instant messaging (IM)
●
●
●
●
●
● Of the weather widget 149-1, stock price widget 149-2, computer widget 149-3, alarm clock widget 149-4, dictionary widget 149-5, and other user-acquired widgets, as well as user-created widgets 149-6.
●
●
● Video and
●
●
任意選択的にメモリ１０２に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
Examples of
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、連絡先モジュール１３７は、アドレス帳に名前（単数又は複数）を追加する、アドレス帳から名前（単数又は複数）を削除する、電話番号（単数又は複数）、メールアドレス（単数又は複数）、物理アドレス（単数又は複数）又はその他の情報を名前と関連付ける、画像を名前と関連付ける、名前を分類して整理する、電話番号及び／又は電子メールアドレスを提供して、電話１３８、ビデオ会議１３９、電子メール１４０又はＩＭ１４１によって通信を開始及び／又は円滑化するなど、（例えばメモリ１０２又はメモリ３７０の連絡先モジュール１３７のアプリケーション内部状態１９２に記憶される）アドレス帳又は連絡先リストを管理するための実行可能命令を含む。
In connection with the touch-
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、電話モジュール１３８は、電話番号に対応する一連の文字を入力し、アドレス帳１３７内の１つ以上の電話番号にアクセスし、入力されている電話番号を修正し、それぞれの電話番号をダイヤルし、会話を実行し、会話が完了したときに切断する、又は電話を切る実行可能命令を含む。上述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
In connection with the
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先リスト１３７、及び電話モジュール１３８に関連して、ビデオ会議モジュール１３９は、ユーザーの命令にしたがってユーザーと１人以上の他の参加者との間のビデオ会議を開始し、行い、終了する実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、電子メールクライアントモジュール１４０は、ユーザーの命令に応答して電子メールを作成し、送信し、受信し、管理する実行可能命令を含む。画像管理モジュール１４４に関連して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールを作成及び送信することを非常に容易にする。
In connection with the
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、インスタントメッセージングモジュール１４１は、インスタントメッセージに対応する一連の文字を入力し、以前に入力された文字を修正し、（例えば電話によるインスタントメッセージ用のショートメッセージサービス（Short Message Service、ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコルを使用して、又はインターネットによるインスタントメッセージ用のＸＭＰＰ、ＳＩＭＰＬＥ、Ａｐｐｌｅ Ｐｕｓｈ Ｎｏｔｉｆｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ（ＡＰＮｓ）若しくはＩＭＰＳを使用して）それぞれのインスタントメッセージを伝送し、インスタントメッセージを受信し、受信したインスタントメッセージを見る実行可能命令を含む。いくつかの実施形態では、伝送及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるグラフィック、写真、オーディオファイル、ビデオファイル、及び／又はその他の添付物を含む。本明細書で使用する「インスタントメッセージ」は、電話によるメッセージ（例えばＳＭＳ又はＭＭＳを使用して送信されるメッセージ）及びインターネットによるメッセージ（例えばＸＭＰＰ、ＳＩＭＰＬＥ、ＡＰＮｓ、又はＩＭＰＳを使用して送信されるメッセージ）の両方を指す。
In connection with the
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、並びにビデオ及び音楽プレーヤモジュール１５２に関連して、トレーニングサポートモジュール１４２は、（例えば時間、距離、及び／又はカロリー消費目標を有する）トレーニングを作成し、（スポーツデバイス及びスマートウォッチの）トレーニングセンサと通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択して再生し、トレーニングデータを表示、記憶、及び伝送する実行可能命令を含む。
Training support module in relation to
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４に関連して、カメラモジュール１４３は、静止画像若しくはビデオ（ビデオストリームを含む）をキャプチャして、それらをメモリ１０２に記憶し、静止画像若しくはビデオの特性を修正し、かつ／又はメモリ１０２から静止画像若しくはビデオを削除する実行可能命令を含む。
In connection with the touch-
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３に関連して、画像管理モジュール１４４は、静止画像及び／又はビデオ画像を配置し、修正（例えば編集）するなどして操作し、ラベル付けし、削除し、（例えばデジタルスライドショーで、又はアルバムとして）提示し、記憶する実行可能命令を含む。
In connection with the touch-
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、ブラウザモジュール１４７は、ウェブページ又はその一部、並びにウェブページにリンクされた添付物及びその他のファイルを検索する、それらにリンクする、受信する、及び表示するなど、ユーザーの命令にしたがってインターネットを閲覧する実行可能命令を含む。
In connection with the
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７に関連して、カレンダモジュール１４８は、ユーザーの命令にしたがって、カレンダ及びカレンダに関連するデータ（例えばカレンダ項目、ＴｏＤｏリストなど）を作成し、表示し、修正し、記憶する実行可能命令を含む。
In connection with the
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７に関連して、ウィジェットモジュール１４９は、任意選択的にユーザーによってダウンロードされて使用されるミニアプリケーション（例えば気象ウィジェット１４９－１、株式ウィジェット１４９－２、計算機ウィジェット１４９－３、目覚まし時計ウィジェット１４９－４、及び辞書ウィジェット１４９－５）であるか、又はユーザーによって作成されるミニアプリケーション（例えばユーザー作成ウィジェット１４９－６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Hypertext Markup Language、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Cascading Style Sheets、カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔ（登録商標）ファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Extensible Markup Language、拡張可能マークアップ言語）ファイル、及びＪａｖａＳｃｒｉｐｔファイル（例えばＹａｈｏｏ！ウィジェット）を含む。
In connection with the
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７に関連して、ウィジェットクリエータモジュール１５０は、ウィジェットを作成する（例えばウェブページのユーザー指定部分をウィジェットにする）実行可能命令を含む。
In connection with the
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、検索モジュール１５１は、ユーザーの命令にしたがって、１つ以上の検索基準（例えば１つ以上のユーザー指定の検索語）と一致する、メモリ１０２内のテキスト、音楽、音声、画像、ビデオ、及び／又はその他のファイルを検索する実行可能命令を含む。
In connection with the touch-
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７に関連して、ビデオ及び音楽プレーヤモジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された記録された音楽又はその他の音声ファイルをユーザーがダウンロードして再生することを可能にする実行可能命令、及び（例えばタッチ感知ディスプレイシステム１１２上で、又は無線で、若しくは外部ポート１２４を介して接続された外部のディスプレイ上で）ビデオを表示したり提示したりするなどして再生する実行可能命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ社の商標）などのＭＰ３プレーヤの機能を含む。
In connection with the touch-
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、メモモジュール１５３は、ユーザーの命令にしたがって、メモ、ＴｏＤｏリストなどを作成して管理する実行可能命令を含む。
In connection with the touch-
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７に関連して、地図モジュール１５４は、ユーザーの命令にしたがって、地図及び地図に関連するデータ（例えば、運転方向、特定の場所又はその付近の店舗及びその他の対象地点についてのデータ、並びにその他の場所に基づくデータ）を受信し、表示し、修正し、記憶する実行可能命令を含む。
In connection with the
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７に関連して、オンラインビデオモジュール１５５は、ユーザーがＨ．２６４などの１つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、（例えばストリーミング及び／又はダウンロードによって）受信し、（例えばタッチスクリーン１１２上で、又は無線で、若しくは外部ポート１２４を介して接続された外部のディスプレイ上で）再生し、特定のオンラインビデオへのリンクを有する電子メールを送信し、またその他の方法で管理することを可能にする実行可能命令を含む。いくつかの実施形態では、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１を使用して、特定のオンラインビデオへのリンクを送信する。
In connection with the touch-
上記で特定したモジュール及びアプリケーションの各々は、上述した１つ以上の機能を実行する実行可能命令のセット、及び本願で説明する方法（例えば本明細書で説明するコンピュータ実施方法及びその他の情報処理方法）に対応する。これらのモジュール（すなわち命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、様々な実施形態では、これらのモジュールの様々なサブセットを、任意選択的に、組み合わせるなどして再構成する。いくつかの実施形態では、メモリ１０２は、任意選択的に、上記で特定したモジュール及びデータ構造のサブセットを記憶する。更に、メモリ１０２は、任意選択的に、上記で説明していない追加のモジュール及びデータ構造を記憶する。 Each of the modules and applications identified above is a set of executable instructions that perform one or more of the functions described above, as well as the methods described herein (eg, computer implementation methods and other information processing methods described herein). ) Corresponds. These modules (ie, instruction sets) do not need to be implemented as separate software programs, procedures, or modules, and therefore, in various embodiments, various subsets of these modules are optionally combined. And so on. In some embodiments, memory 102 optionally stores a subset of the modules and data structures identified above. Further, the memory 102 optionally stores additional modules and data structures not described above.
いくつかの実施形態では、デバイス１００は、そのデバイスにおける所定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドのみを通じて実行されるデバイスである。デバイス１００が動作するための主要な入力制御デバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力制御デバイス（プッシュボタン、ダイヤルなど）の数が削減される。
In some embodiments, the
タッチスクリーン及び／又はタッチパッドを通じてのみ実行される所定の機能のセットは、任意選択的に、ユーザーインターフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザーによってタッチされたときに、デバイス１００上に表示される任意のユーザーインターフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力制御デバイスである。
A set of predetermined functions performed only through the touch screen and / or touchpad optionally includes navigation between user interfaces. In some embodiments, the touchpad navigates the
図１Ｂは、いくつかの実施形態によるイベントハンドリングのための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、（例えばオペレーティングシステム１２６の）イベントソータ１７０及びそれぞれのアプリケーション１３６－１（例えば上述したアプリケーション１３６、１３７～１５５、３８０～３９０のうちのいずれか）を含む。 FIG. 1B is a block diagram showing exemplary components for event handling according to some embodiments. In some embodiments, memory 102 (FIG. 1A) or 370 (FIG. 3) is the event sorter 170 (eg, operating system 126) and the respective application 136-1 (eg, applications 136-137-155, 380 described above). (Any of 390) is included.
イベントソータ１７０は、イベント情報を受信し、イベント情報の送達先となるアプリケーション１３６－１及びアプリケーション１３６－１のアプリケーションビュー１９１を決定する。イベントソータ１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６－１は、アプリケーションがアクティブである、又は実行中であるときにタッチ感知ディスプレイシステム１１２に表示される現在のアプリケーションビュー（単数又は複数）を示す、アプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７をイベントソータ１７０が使用して、どのアプリケーション（単数又は複数）が現在アクティブであるかを判定し、アプリケーション内部状態１９２をイベントソータ１７０が使用して、イベント情報の送達先となるアプリケーションビュー１９１を決定する。
The event sorter 170 receives the event information and determines the application view 191 of the application 136-1 and the application 136-1 to which the event information is delivered. The event sorter 170 includes an
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６－１が実行を再開するときに使用される再開情報、アプリケーション１３６－１によって表示されている、又は表示される準備ができている情報を示すユーザーインターフェース状態情報、ユーザーがアプリケーション１３６－１の以前の状態又はビューに戻ることを可能にする状態待ち行列、及びユーザーが行った以前のアクションのリドゥ／アンドゥ待ち行列のうちの１つ以上などの追加の情報を含む。
In some embodiments, the application
イベントモニタ１７１は、周辺機器インターフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えばマルチタッチジェスチャの一部としてのタッチ感知ディスプレイシステム１１２上のユーザーのタッチ）についての情報を含む。周辺機器インターフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６８、及び／若しくは（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を伝送する。周辺機器インターフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイシステム１１２又はタッチ感知面からの情報を含む。
The event monitor 171 receives event information from the
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インターフェース１１８に要求を送信する。それに応答して、周辺機器インターフェース１１８は、イベント情報を伝送する。他の実施形態では、周辺機器インターフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回り、及び／又は所定の持続時間よりも長い入力を受信すること）があったときのみ、イベント情報を伝送する。
In some embodiments, the
いくつかの実施形態では、イベントソータ１７０は、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。
In some embodiments, the event sorter 170 includes a hit
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイシステム１１２が２つ以上のビューを表示するときに、１つ以上のビュー内のどこでサブイベントが発生したかを決定するソフトウェア手順を提供する。ビューは、ユーザーがディスプレイ上で見ることができる制御要素およびその他の要素で構成される。
The hit
アプリケーションに関連するユーザーインターフェースの別の態様は、その中に情報が表示され、タッチによるジェスチャが行われる、本明細書でアプリケーションビュー又はユーザーインターフェースィンドウと呼ぶこともあるビューのセットである。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。 Another aspect of an application-related user interface is a set of views, sometimes referred to herein as application views or user interface windows, in which information is displayed and gestures are made by touch. The application view (for each application) for which touch is detected optionally corresponds to the program level within the application's program hierarchy or view hierarchy. For example, the lowest level view where a touch is detected is optionally called a hit view, and a set of events that are recognized as appropriate input is optionally an initial start of a touch gesture. Determined at least in part based on the hit view of the touch.
ヒットビュー判定モジュール１７２は、タッチによるジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するときには、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント（すなわちイベント又は潜在的なイベントを形成するサブイベントのシーケンスのうちの最初のサブイベント）が発生する最下位レベルビューである。ヒットビューがヒットビュー判定モジュールによって特定されると、そのヒットビューは、通常は、それがヒットビューとして特定されたのと同じタッチ又は入力源に関連する全てのサブイベントを受信する。
The hit
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連する領域に完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
The active event recognition
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３によって判定されたイベント認識部にイベント情報を送達する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部モジュール１８２によって取得されるイベント情報を、イベント待ち行列に記憶する。
The
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。あるいは、アプリケーション１３６－１が、イベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型モジュール、又は接触／動きモジュール１３０などのメモリ１０２に記憶された別のモジュールの一部である。
In some embodiments, the
いくつかの実施形態では、アプリケーション１３６－１は、アプリケーションのユーザーインターフェースのそれぞれのビュー内で発生するタッチイベントを処理する命令をそれぞれ含む、複数のイベントハンドラ１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６－１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。通常は、それぞれのアプリケーションビュー１９１が、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上が、ユーザーインターフェースキット（図示せず）、又はアプリケーション１３６－１がメソッド及びその他の性質をそこから継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベントハンドラ１９０は、データアップデーター１７６、オブジェクトアップデーター１７７、ＧＵＩアップデーター１７８、及び／又はイベントソータ１７０から受信するイベントデータ１７９のうちの１つ以上を含む。イベントハンドラ１９０は、任意選択的に、データアップデーター１７６、オブジェクトアップデーター１７７、又はＧＵＩアップデーター１７８を利用して、又は呼び出して、アプリケーション内部状態１９２を更新する。あるいは、アプリケーションビュー１９１のうちの１つ以上は、それぞれ１つ以上のイベントハンドラ１９０を含む。また、いくつかの実施形態では、データアップデーター１７６、オブジェクトアップデーター１７７、及びＧＵＩアップデーター１７８のうちの１つ以上は、それぞれのアプリケーションビュー１９１に含まれる。
In some embodiments, application 136-1 includes a plurality of
それぞれのイベント認識部１８０は、イベントソータ１７０からイベント情報（例えばイベントデータ１７９）を受信し、そのイベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０は、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。
Each
イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、例えばタッチ又はタッチの移動などのサブイベントに関する情報を含む。サブイベントによっては、イベント情報は、サブイベントの位置などの追加の情報も含む。サブイベントがタッチの動きに関するものであるときには、イベント情報は、任意選択的に、サブイベントの速さ及び方向も含む。いくつかの実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ぶ）についての対応する情報を含む。
The
イベント比較部１８４は、イベント情報を所定のイベント又はサブイベントの定義と比較し、この比較に基づいて、イベント又はサブイベントを決定する、又はイベント若しくはサブイベントの状態を決定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７－１）及びイベント２（１８７－２）などのイベント（例えば所定のサブイベントのシーケンス）の定義を含む。いくつかの実施形態では、イベント１８７のサブイベントは、例えば、タッチ開始、タッチ終了、タッチ移動、タッチ取消し、及び複数タッチを含む。１実施例では、イベント１（１８７－１）の定義は、表示されたオブジェクト上でのダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上での所定の期間にわたる第１のタッチ（タッチ開始）と、所定の期間にわたる第１のリフトオフ（タッチ終了）と、表示されたオブジェクト上での所定の期間にわたる第２のタッチ（タッチ開始）と、所定の期間にわたる第２のリフトオフ（タッチ終了）とを含む。別の実施例では、イベント２（１８７－２）の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、表示されたオブジェクト上での所定の期間にわたるタッチ（又は接触）と、タッチ感知ディスプレイシステム１１２にわたるタッチの移動と、タッチのリフトオフ（タッチ終了）とを含む。いくつかの実施形態では、イベントは、１つ以上の関連付けられたイベントハンドラ１９０についての情報も含む。
The
いくつかの実施形態では、イベント定義１８７は、それぞれのユーザーインターフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザーインターフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、３つのユーザーインターフェースオブジェクトがタッチ感知ディスプレイシステム１１２に表示されるアプリケーションビューでは、タッチ感知ディスプレイシステム１１２上でタッチが検出されると、イベント比較部１８４は、ヒットテストを実行して、３つのユーザーインターフェースオブジェクトのうちのどれがタッチ（サブイベント）と関連付けられているかを判定する。表示された各オブジェクトが、それぞれイベントハンドラ１９０と関連付けられている場合には、イベント比較部は、ヒットテストの結果を使用して、どのイベントハンドラ１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトと関連付けられたイベントハンドラを選択する。
In some embodiments, the event definition 187 includes an event definition for each user interface object. In some embodiments, the
いくつかの実施形態では、それぞれのイベント１８７の定義は、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するか否かが判定されるまで、イベント情報の送達を遅延させる遅延アクションも含む。 In some embodiments, the definition of each event 187 also includes a delayed action that delays the delivery of event information until it is determined whether the sequence of sub-events corresponds to the event type of the event recognizer.
それぞれのイベント認識部１８０が一連のサブイベントがイベント定義１８６のいずれのイベントとも一致しないと判断した場合には、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態になり、その後は、タッチによるジェスチャの後続のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
When each
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベント送達システムがどのようにしてサブイベント送達を実行すべきかをアクティブに関わりがあるイベント認識部に対して示す構成可能なプロパティ、フラグ及び／又はリストを有するメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することができるようになっているかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における様々なレベルに送達されるかどうかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
In some embodiments, each
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されたときに、イベントと関連付けられたイベントハンドラ１９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントと関連付けられたイベント情報を、イベントハンドラ１９０に送達する。イベントハンドラ１９０をアクティブ化することは、サブイベントをそれぞれのヒットビューに送信すること（及び遅らせて送信すること）とは異なる。いくつかの実施形態では、イベント認識部１８０は、認識したイベントと関連付けられたフラグを投入し、そのフラグと関連付けられたイベントハンドラ１９０は、そのフラグを捕らえ、所定のプロセスを実行する。
In some embodiments, each
いくつかの実施形態では、イベント配信命令１８８は、イベントハンドラをアクティブ化せずにサブイベントについてのイベント情報を送達するサブイベント配信命令を含む。このサブイベント配信命令は、その代わりに、一連のサブイベントと関連付けられたイベントハンドラ、又はアクティブに関わりがあるビューに、イベント情報を送達する。一連のサブイベント又はアクティブに関わりがあるビューと関連付けられたイベントハンドラは、イベント情報を受信し、所定のプロセスを実行する。
In some embodiments, the
いくつかの実施形態では、データアップデーター１７６は、アプリケーション１３６－１で使用されるデータを作成及び更新する。例えば、データアップデーター１７６は、連絡先モジュール１３７で使用される電話番号を更新する、又はビデオ及び音楽プレーヤモジュール１５２で使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクトアップデーター１７７は、アプリケーション１３６－１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクトアップデーター１７７は、新たなユーザーインターフェースオブジェクトを作成する、又はユーザーインターフェースオブジェクトの位置を更新する。ＧＵＩアップデーター１７８は、ＧＵＩを更新する。例えば、ＧＵＩアップデーター１７８は、表示情報を準備し、この表示情報をタッチ感知ディスプレイ上に表示するためにグラフィックモジュール１３２に送信する。
In some embodiments, the data updater 176 creates and updates the data used in application 136-1. For example, the data updater 176 updates the phone number used by the
いくつかの実施形態では、イベントハンドラ（単数又は複数）１９０は、データアップデーター１７６、オブジェクトアップデーター１７７及びＧＵＩアップデーター１７８を含む、又はそれらへのアクセスを有する。いくつかの実施形態では、データアップデーター１７６、オブジェクトアップデーター１７７、及びＧＵＩアップデーター１７８は、それぞれのアプリケーション１３６－１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。 In some embodiments, the event handler (s) 190 comprises, or has access to, a data updater 176, an object updater 177 and a GUI updater 178. In some embodiments, the data updater 176, the object updater 177, and the GUI updater 178 are contained in a single module of application 136-1 or application view 191 respectively. In other embodiments, they are included in two or more software modules.
タッチ感知ディスプレイ上のユーザーのタッチのイベント処理に関する以上の説明は、その全てがタッチスクリーン上で開始されるとは限らない、入力デバイスを備える多機能デバイス１００を動作させるためのその他の形態のユーザー入力にも当てはまることを理解されたい。例えば、任意選択的に１回又は複数回のキーボードの押圧又は保持と連携したマウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、並びに／又はそれらの任意の組合せを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
The above description of user touch event handling on a touch-sensitive display is not entirely initiated on the touch screen, but is another form of user for operating a
図１Ｃは、いくつかの実施形態による触知出力モジュールを示すブロック図である。いくつかの実施形態では、Ｉ／Ｏサブシステム１０６（例えば触覚フィードバックコントローラ１６１（図１Ａ）及び／又はその他の入力コントローラ（単数又は複数）１６０（図１Ａ）は、図１Ｃに示す例示的な構成要素のうちの少なくともいくつかを含む。いくつかの実施形態では、周辺機器インターフェース１１８は、図１Ｃに示す例示的な構成要素のうちの少なくともいくつかを含む。
FIG. 1C is a block diagram showing tactile output modules according to some embodiments. In some embodiments, the I / O subsystem 106 (eg, tactile feedback controller 161 (FIG. 1A) and / or other input controller (s) 160 (FIG. 1A) is an exemplary configuration shown in FIG. 1C. Includes at least some of the elements. In some embodiments, the
いくつかの実施形態では、触知出力モジュールは、触覚フィードバックモジュール１３３を含む。いくつかの実施形態では、触覚フィードバックモジュール１３３は、電子デバイス上のソフトウェアアプリケーションからのユーザーインターフェースフィードバックのために触覚出力（例えば、表示されたユーザーインターフェースに対応するユーザー入力に応答するフィードバック、並びに電子デバイスのユーザーインターフェースの動作の性能又はイベントの発生を示す警告及びその他の通知）を集成し、結合する。触覚フィードバックモジュール１３３は、波形モジュール１２３（触知出力を生成するために使用される波形を提供する）、ミキサ１２５（異なるチャネルの波形など複数の波形を混合する）、圧縮機１２７（波形のダイナミックレンジを縮小又は圧縮する）、低域通過フィルタ１２９（波形の高周波信号成分をフィルタリングによって除去する）、及び熱コントローラ１３１（熱的条件にしたがって波形を調整する）のうちの１つ以上を含む。いくつかの実施形態では、触覚フィードバックモジュール１３３は、触覚フィードバックコントローラ１６１（図１Ａ）に含まれる。いくつかの実施形態では、触覚フィードバックモジュール１３３の別のユニット（又は触覚フィードバックモジュール１３３の別の実施態様）が、オーディオコントローラ（例えば図１Ａのオーディオ回路１１０）にも含まれ、オーディオ信号を生成するために使用される。いくつかの実施形態では、単一の触覚フィードバックモジュール１３３を使用して、オーディオ信号を生成し、触知出力の波形を生成する。
In some embodiments, the tactile output module includes a
いくつかの実施形態では、触覚フィードバックモジュール１３３は、トリガモジュール１２１（例えば、生成する触知出力を決定し、対応する触知出力を生成するプロセスを開始するソフトウェアアプリケーション、オペレーティングシステム、又はその他のソフトウェアモジュール）も含む。いくつかの実施形態では、トリガモジュール１２１は、（例えば波形モジュール１２３による）波形の生成を開始するトリガ信号を生成する。例えば、トリガモジュール１２１は、予め設定されたタイミング基準に基づいてトリガ信号を生成する。いくつかの実施形態では、トリガモジュール１２１は、触覚フィードバックモジュール１３３の外部からトリガ信号を受信し（例えば、いくつかの実施形態では、触覚フィードバックモジュール１３３は、触覚フィードバックモジュール１３３の外部に位置するハードウェア入力処理モジュール１４６からトリガ信号を受信する）、このトリガ信号を、触覚フィードバックモジュール１３３内の他の構成要素（例えば波形モジュール１２３）、又はユーザーインターフェース要素（例えばアプリケーション内のアプリケーションアイコン又はアフォーダンス）のアクティブ化に基づいて（例えばトリガモジュール１２１によって）動作をトリガするソフトウェアアプリケーション、又はハードウェア入力デバイス（例えばホームボタン又は強度感知タッチスクリーンなどの強度感知入力面）に中継する。いくつかの実施形態では、トリガモジュール１２１は、（例えば、図１Ａ及び図３の触覚フィードバックモジュール１３３から）触知フィードバック生成命令も受信する。いくつかの実施形態では、トリガモジュール１２１は、触覚フィードバックモジュール１３３（又は触覚フィードバックモジュール１３３内のトリガモジュール１２１）が（例えば図１Ａ及び図３の触覚フィードバックモジュール１３３から）触知フィードバック命令を受信したのに応答して、トリガ信号を生成する。
In some embodiments, the
波形モジュール１２３は、（例えばトリガモジュール１２１から）トリガ信号を入力として受信し、トリガ信号を受信したのに応答して、１つ以上の触知出力を生成するための波形（例えば、図４Ｆ～図４Ｇを参照して以下で更に詳細に述べる波形など、波形モジュール１２３によって使用されるように指定された波形の所定のセットから選択された波形）を提供する。 The waveform module 123 receives a trigger signal (for example, from the trigger module 121) as an input, and in response to receiving the trigger signal, the waveform module 123 generates a waveform for generating one or more tactile outputs (for example, FIGS. 4F to 4F). Provided are waveforms selected from a predetermined set of waveforms designated for use by the waveform module 123, such as waveforms described in more detail below with reference to FIG. 4G.
ミキサ１２５は、（例えば波形モジュール１２３から）入力として波形を受信し、これらの波形を混合する。例えば、ミキサ１２５が２つ以上の波形（例えば第１のチャネルの第１の波形及び第１の波形と少なくとも部分的に重なる第２のチャネルの第２の波形）を受信したときには、ミキサ１２５は、この２つ以上の波形の和に対応する合成波形を出力する。また、いくつかの実施形態では、ミキサ１２５は、（例えば、特定の波形（単数又は複数）のスケールを増大させ、かつ／又は残りの波形のスケールを低減させることによって）この２つ以上の波形のうちの１つ以上の波形を修正して、特定の波形（単数又は複数）を２つ以上の波形のうちの残りの波形より強調する。いくつかの状況では、ミキサ１２５は、合成波形から除去する１つ以上の波形を選択する（例えば、触知出力生成器１６７によって同時に出力されることが要求されている４つ以上のソースからの波形があるときには、最も古いソースの波形を除去する）。
The mixer 125 receives the waveform as an input (eg, from the waveform module 123) and mixes these waveforms. For example, when the mixer 125 receives two or more waveforms (eg, the first waveform of the first channel and the second waveform of the second channel that at least partially overlaps the first waveform), the mixer 125 , Outputs a composite waveform corresponding to the sum of these two or more waveforms. Also, in some embodiments, the mixer 125 is responsible for the two or more waveforms (eg, by increasing the scale of a particular waveform (s) and / or reducing the scale of the remaining waveforms). One or more of the waveforms are modified to emphasize a particular waveform (s) over the rest of the two or more waveforms. In some situations, the mixer 125 selects one or more waveforms to remove from the composite waveform (eg, from four or more sources that are required to be output simultaneously by the
圧縮機１２７は、波形（例えばミキサ１２５からの合成波形）を入力として受信し、これらの波形を修正する。いくつかの実施形態では、圧縮機１２７は、波形に対応する触知出力が減少するように、（例えば触知出力生成器１６７（図１Ａ）又は３５７（図３）の物理的仕様にしたがって）波形を減少させる。いくつかの実施形態では、圧縮機１２７は、波形に対して所定の最大振幅を課すことなどによって、波形を制限する。例えば、圧縮機１２７は、所定の振幅閾値を超えない波形部分の振幅を維持する一方で、所定の振幅閾値を超える波形部分の振幅を減少させる。いくつかの実施形態では、圧縮機１２７は、波形のダイナミックレンジを減少させる。いくつかの実施形態では、圧縮機１２７は、合成波形が触知出力生成器１６７の性能仕様（例えば、力及び／又は可動質量変位の限界）内に留まるように、波形のダイナミックレンジを動的に減少させる。 The compressor 127 receives a waveform (eg, a composite waveform from the mixer 125) as an input and corrects these waveforms. In some embodiments, the compressor 127 is such that the tactile output corresponding to the waveform is reduced (eg, according to the physical specifications of the tactile output generator 167 (FIG. 1A) or 357 (FIG. 3)). Decrease the waveform. In some embodiments, the compressor 127 limits the waveform, such as by imposing a predetermined maximum amplitude on the waveform. For example, the compressor 127 maintains the amplitude of the waveform portion that does not exceed the predetermined amplitude threshold value, while reducing the amplitude of the waveform portion that exceeds the predetermined amplitude threshold value. In some embodiments, the compressor 127 reduces the dynamic range of the waveform. In some embodiments, the compressor 127 dynamically adjusts the dynamic range of the waveform so that the composite waveform remains within the performance specifications of the tactile output generator 167 (eg, the limits of force and / or movable mass displacement). To reduce.
低域通過フィルタ１２９は、波形（例えば圧縮機１２７からの圧縮波形）を入力として受信し、これらの波形をフィルタリング（例えば平滑化）する（例えば、波形の高周波信号成分を除去又は低減する）。例えば、いくつかの場合には、圧縮機１２７は、圧縮波形中に、触知出力の生成を妨害し、かつ／又は圧縮波形にしたがって触知出力を生成したときに触知出力生成器１６７の性能仕様を超える外来信号（例えば高周波信号成分）を含む。低域通過フィルタ１２９は、波形中のこのような外来信号を低減又は除去する。
The low frequency pass filter 129 receives waveforms (eg, compressed waveforms from the compressor 127) as inputs and filters (eg, smoothes) these waveforms (eg, removes or reduces high frequency signal components of the waveform). For example, in some cases, the compressor 127 interferes with the generation of the tactile output during the compressed waveform and / or produces the tactile output according to the compressed waveform of the
熱コントローラ１３１は、波形（例えば、低域通過フィルタ１２９からのフィルタリングされた波形）を入力として受信し、これらの波形を、デバイス１００の熱的条件にしたがって（例えば、触覚フィードバックコントローラ１６１の温度などデバイス１００内で検出される内部温度、及び／又はデバイス１００によって検出される外部温度に基づいて）調整する。例えば、いくつかの場合には、触覚フィードバックコントローラ１６１の出力は、温度に応じて変化する（例えば、触覚フィードバックコントローラ１６１は、同じ波形を受信したのに応答して、触覚フィードバックコントローラ１６１が第１の温度であるときには第１の触知出力を生成し、触覚フィードバックコントローラ１６１が第１の温度とは別個の第２の温度であるときには第２の触知出力を生成する）。例えば、触知出力の大きさ（又は振幅）は、温度に応じて変化することもある。温度変化の影響を低下させるために、波形を修正する（例えば、波形の振幅を、温度に基づいて増大又は減少させる）。
The thermal controller 131 receives waveforms (eg, filtered waveforms from the low pass filter 129) as inputs and receives these waveforms according to the thermal conditions of the device 100 (eg, the temperature of the tactile feedback controller 161). Adjust (based on the internal temperature detected within the
いくつかの実施形態では、触覚フィードバックモジュール１３３（例えばトリガモジュール１２１）は、ハードウェア入力処理モジュール１４６に結合される。いくつかの実施形態では、図１Ａの他の入力コントローラ（単数又は複数）１６０が、ハードウェア入力処理モジュール１４６を含む。いくつかの実施形態では、ハードウェア入力処理モジュール１４６は、ハードウェア入力デバイス１４５（例えば、ホームボタン、又は強度感知タッチスクリーンなどの強度感知入力面など、図１Ａの他の入力又は制御デバイス１１６）から入力を受信する。いくつかの実施形態では、ハードウェア入力デバイス１４５は、タッチ感知ディスプレイシステム１１２（図１Ａ）、キーボード／マウス３５０（図３）、タッチパッド３５５（図３）、他の入力若しくは制御デバイス１１６（図１Ａ）のうちの１つ、又は強度感知ホームボタンなど、本明細書に記載する任意の入力デバイスである。いくつかの実施形態では、ハードウェア入力デバイス１４５は、タッチ感知ディスプレイシステム１１２（図１Ａ）、キーボード／マウス３５０（図３）、又はタッチパッド３５５（図３）ではなく、強度感知ホームボタンからなる。いくつかの実施形態では、ハードウェア入力デバイス１４５（例えば強度感知ホームボタン又はタッチスクリーン）からの入力に応答して、ハードウェア入力処理モジュール１４６は、ホームボタンの「クリック」（例えば「ダウンクリック」又は「アップクリック」）に対応する入力など、所定の入力基準を満たすユーザー入力が検出されたことを示す１つ以上のトリガ信号を、触覚フィードバックモジュール１３３に提供する。いくつかの実施形態では、触覚フィードバックモジュール１３３は、ホームボタンの「クリック」に対応する入力に応答して、ホームボタンの「クリック」に対応する波形を提供して、物理ホームボタンを押す触覚フィードバックをシミュレートする。
In some embodiments, the tactile feedback module 133 (eg, the trigger module 121) is coupled to the hardware
いくつかの実施形態では、触覚出力モジュールは、触知出力の生成を制御する触覚フィードバックコントローラ１６１（例えば図１Ａの触覚フィードバックコントローラ１６１）を含む。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、複数の触知出力生成器に結合され、この複数の触知出力生成器のうちの１つ以上の触知出力生成器を選択し、選択した１つ以上の触知出力生成器に波形を送信して、触知出力を生成する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、ハードウェア入力デバイス１４５のアクティブ化に対応する触知出力要求、及びソフトウェアイベントに対応する触知出力要求（例えば触覚フィードバックモジュール１３３からの触知出力要求）を調整し、（例えば、特定の波形（単数又は複数）のスケールを増大させ、かつ／又は残りの波形のスケールを低減させて、ハードウェア入力デバイス１４５のアクティブ化に対応する触知出力をソフトウェアイベントに対応する触知出力よりも優先することなどによって）２つ以上の波形のうちの１つ以上の波形を修正して、特定の波形（単数又は複数）を２つ以上の波形のうちの残りの波形より強調する。
In some embodiments, the tactile output module includes a
いくつかの実施形態では、図１Ｃに示すように、触覚フィードバックコントローラ１６１の出力は、デバイス１００のオーディオ回路（例えば図１Ａのオーディオ回路１１０）に結合され、デバイス１００のオーディオ回路にオーディオ信号を提供する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、触知出力を生成するために使用される波形と、触知出力の生成に関連して音声出力を提供するために使用されるオーディオ信号の両方を提供する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、オーディオ信号及び／又は（触知出力を生成するために使用される）波形を、（例えばオーディオ信号及び／又は波形を遅延させることによって）音声出力及び触知出力が同期するように修正する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、デジタル波形を、増幅器１６３及び／又は触知出力生成器１６７によって受信されるアナログ信号に変換するために使用される、デジタルアナログ変換器を含む。
In some embodiments, as shown in FIG. 1C, the output of the
いくつかの実施形態では、触知出力モジュールは、増幅器１６３を含む。いくつかの実施形態では、増幅器１６３は、（例えば触覚フィードバックコントローラ１６１から）波形を受信し、これらの波形を増幅した後で、これらの増幅した波形を触知出力生成器１６７（例えば触知出力生成器１６７（図１Ａ）又は３５７（図３））に送信する。例えば、増幅器１６３は、受信した波形を、触知出力生成器１６７の物理的仕様に応じた信号レベルに増幅し（例えば、触知出力生成器１６７に送信される信号が触覚フィードバックコントローラ１６１から受信した波形に対応する触知出力を生成するように、触知出力を生成する触知出力生成器１６７が必要とする電圧及び／又は電流に増幅し）、この増幅した波形を触知出力生成器１６７に送信する。これに応答して、触知出力生成器１６７は、（例えば、可動質量をその可動質量の中立位置を基準として１つ以上の方向に往復させることによって）触覚出力を生成する。
In some embodiments, the tactile output module comprises an
いくつかの実施形態では、触知出力モジュールは、触知出力生成器１６７に結合されたセンサ１６９を含む。センサ１６９は、触知出力生成器１６７又は触知出力生成器１６７の１つ以上の構成要素（例えば、触覚出力を生成するために使用される膜などの１つ以上の可動部）の状態又は状態変化（例えば、機械的位置、物理的変位、及び／又は移動）を検出する。いくつかの実施形態では、センサ１６９は、磁場センサ（例えばホール効果センサ）、又はその他の変位及び／若しくは移動センサである。いくつかの実施形態では、センサ１６９は、触覚フィードバックコントローラ１６１に情報（例えば触知出力生成器１６７の１つ以上の部分の位置、変位、及び／又は移動）を提供し、触覚フィードバックコントローラ１６１は、センサ１６９から提供される触知出力生成器１６７の状態に関する情報にしたがって、触覚フィードバックコントローラ１６１から出力される波形（例えば、任意選択的に増幅器１６３を介して触知出力生成器１６７に送信される波形）を調整する。
In some embodiments, the tactile output module comprises a sensor 169 coupled to a
図２は、いくつかの実施形態による、タッチスクリーン（例えば図１Ａのタッチ感知ディスプレイシステム１１２）を有するポータブル多機能デバイス１００を示す図である。タッチスクリーンは、任意選択的に、ユーザーインターフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。これらの実施形態、並びに以下で述べるその他の実施形態では、ユーザーは、例えば、１本以上の指２０２（図では一定の縮尺では描かれていない）又は１つ以上のスタイラス２０３（図では一定の縮尺では描かれていない）によってグラフィック上でジェスチャを行うことによってグラフィックのうちの１つ以上を選択することができる。いくつかの実施形態では、１つ以上のグラフィックの選択は、ユーザーがその１つ以上のグラフィックとの接触を断ったときに行われる。いくつかの実施形態では、ジェスチャは、任意選択的に、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上方向へ、及び／又は下方向へ）、及び／又はデバイス１００と接触している指のローリング（右から左へ、左から右へ、上方向へ、及び／又は下方向へ）を含む。いくつかの実装形態又は状況では、グラフィックとの不慮の接触では、グラフィックは選択されない。例えば、選択に対応するジェスチャがタップであるときには、アプリケーションアイコンの上をスイープするスワイプジェスチャでは、任意選択的に、対応するアプリケーションは選択されない。
FIG. 2 is a diagram showing a
また、デバイス１００は、任意選択的に、「ホーム」又はメニューボタン２０４などの１つ以上の物理ボタンも含む。前述のように、メニューボタン２０４は、任意選択的に、デバイス１００上で任意選択的に実行されるアプリケーションのセット内の任意のアプリケーション１３６にナビゲートするために使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーンディスプレイに表示されるＧＵＩ内のソフトキーとして実装される。
The
いくつかの実施形態では、デバイス１００は、タッチスクリーンディスプレイ、メニューボタン２０４（ホームボタン２０４と呼ばれることもある）、デバイスの電源オン／オフ及びデバイスのロックのためのプッシュボタン２０６、ボリューム調節ボタン（単数又は複数）２０８、加入者識別モジュール（Subscriber Identity Module、ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、並びにドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、所定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、所定の期間が経過する前にボタンを解放することによって、デバイスをロックするため、及び／又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。また、いくつかの実施形態では、デバイス１００は、マイクロフォン１１３を通して、いくつかの機能をアクティブ化又は非アクティブ化するための口頭入力を受け付ける。また、デバイス１００は、任意選択的に、タッチ感知ディスプレイシステム１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、及び／又はデバイス１００のユーザーに対する触知出力を生成する１つ以上の触知出力生成器１６７も含む。
In some embodiments, the
図３は、いくつかの実施形態による、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育用デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、一般的には、１つ以上の処理ユニット（ＣＰＵ）３１０と、１つ以上のネットワーク又は他の通信インターフェース３６０と、メモリ３７０と、これらのコンポーネントを相互接続する１つ以上の通信バス３２０とを含む。通信バス３２０は、システムコンポーネント間の通信を相互接続及び制御する回路（チップセットと呼ばれることがある）を、任意選択的に含む。デバイス３００は、一般的にはタッチスクリーンディスプレイであるディスプレイ３４０を含む、入出力（Ｉ／Ｏ）インターフェース３３０を含む。Ｉ／Ｏインターフェース３３０はまた任意選択で、キーボード及び／又はマウス（又は、他のポインティングデバイス）３５０、並びにタッチパッド３５５、デバイス３００上で触知出力を生成する触知出力生成器３５７（例えば、図１Ａを参照して上記説明された触知出力生成器１６７と同様の）、センサ３５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び／又は図１Ａを参照して上記説明された接触強度センサ１６５と同様の接触強度センサ）を含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、また任意選択で、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、ＣＰＵ３１０からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２に記憶されたプログラム、モジュール、及びデータ構造、又はそれらのサブセットに類似の、プログラム、モジュール、及びデータ構造を記憶する。更に、メモリ３７０は任意選択で、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は任意選択で、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を記憶するが、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は任意選択で、それらのモジュールを記憶しない。
FIG. 3 is a block diagram of an exemplary multifunction device having a display and a touch sensitive surface, according to some embodiments. The
上記識別された図３における要素の各々は任意選択で、前に言及したメモリデバイスのうちの１つ以上に記憶される。上記識別されたモジュールのうちの各々は、上記説明された機能を実行する命令セットに対応する。上記識別されたモジュール又はプログラム（すなわち、命令セット）は、別々のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、よって、それらのモジュールの様々なサブセットは任意選択で、様々な実施形態において組み合わされ、又はその他の方式で再配置される。いくつかの実施形態では、メモリ３７０は、上記で識別されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。 Each of the identified elements in FIG. 3 is optionally stored in one or more of the previously mentioned memory devices. Each of the identified modules corresponds to an instruction set that performs the functions described above. The identified modules or programs (ie, instruction sets) need not be implemented as separate software programs, procedures, or modules, so that various subsets of those modules are optional and various embodiments. Combined or otherwise rearranged in. In some embodiments, memory 370 optionally stores a subset of the modules and data structures identified above. Further, the memory 370 optionally stores additional modules and data structures not described above.
ここで、ポータブル多機能デバイス１００上に任意選択で実装されるユーザーインターフェース（「ＵＩ」）の実施形態に留意する。
Here, attention should be paid to an embodiment of a user interface (“UI”) optionally implemented on the
図４Ａは、いくつかの実施形態による、ポータブル多機能デバイス１００上のアプリケーションのメニューのための例示的なユーザーインターフェース４００を示す。同様のユーザーインターフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザーインターフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びＷｉ－Ｆｉ信号などの無線通信のための信号強度インジケータ、
●時間、
●Ｂｌｕｅｔｏｏｔｈ（登録商標）インジケータ、
●バッテリ状態インジケータ、
●下記などの、頻繁に使用されるアプリケーションのためのアイコンを有するトレー４０８：
○不在着信又は音声メールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされる、電話モジュール１３８用のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされる、電子メールクライアントモジュール１４０用のアイコン４１８、
○「ブラウザ」とラベル付けされる、ブラウザモジュール１４７用のアイコン４２０、及び
○「音楽」とラベル付けされるビデオ及び音楽プレイヤモジュール１５２のためのアイコン４２２、並びに
●下記などの、その他のアプリケーションのためのアイコン：
○「メッセージ」とラベル付けされるＩＭモジュール１４１のためのアイコン４２４、
○「カレンダ」とラベル付けされる、カレンダモジュール１４８用のアイコン４２６、
○「写真」とラベル付けされる、画像管理モジュール１４４用のアイコン４２８、
○「カメラ」とラベル付けされる、カメラモジュール１４３用のアイコン４３０、
○「オンラインビデオ」とラベル付けされる、オンラインビデオモジュール１５５用のアイコン４３２、
○「株式」とラベル付けされる、株式ウィジェット１４９－２用のアイコン４３４、
○「地図」とラベル付けされる、地図モジュール１５４用のアイコン４３６、
○「気象」とラベル付けされる、気象ウィジェット１４９－１用のアイコン４３８、
○「時計」とラベル付けされる、目覚まし時計ウィジェット１４９－４用のアイコン４４０、
○「トレーニングサポート」とラベル付けされる、トレーニングサポートモジュール１４２用のアイコン４４２、
○「メモ」とラベル付けされる、メモモジュール１５３用のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６に関する設定へのアクセスを提供する、設定アプリケーション若しくはモジュール用のアイコン４４６。
FIG. 4A shows an
● Signal strength indicator for wireless communication such as cellular signal and Wi-Fi signal,
● Time,
● Bluetooth® indicator,
● Battery status indicator,
●
○
○
○
○
○
○
○
○
○
○
○
○
○
•
図４Ａに表示されたアイコンのラベルは単なる例に過ぎないことに留意されたい。例えば、他のラベルが任意選択で、様々なアプリケーションアイコンに使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンのラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。 Note that the icon label displayed in FIG. 4A is merely an example. For example, other labels are optional and used for various application icons. In some embodiments, the label of each application icon includes the name of the application corresponding to each application icon. In some embodiments, the label of a particular application icon is different from the name of the application that corresponds to the particular application icon.
図４Ｂは、ディスプレイ４５０と分離したタッチ感知面４５１（例えば、タブレット又はタッチパッド３５５、図３）を有するデバイス（例えば、デバイス３００、図３）上の例示的なユーザーインターフェースを示す。以下の実施例のうちの多くはタッチスクリーンディスプレイ１１２上の入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すように、ディスプレイと分離したタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂにおける４５１）は、ディスプレイ（例えば、４５０）上の主軸（例えば、図４Ｂにおける４５３）に対応する主軸（例えば、図４Ｂにおける４５２）を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図４Ｂにおいて、４６０は４６８に対応し、４６２は４７０に対応する）におけるタッチ感知面４５１との接触（例えば、図４Ｂにおける４６０及び４６２）を検出する。このように、タッチ感知面がディスプレイと分離しているとき、タッチ感知面（例えば、図４Ｂにおける４５１）上でデバイスによって検出されたユーザー入力（例えば、接触４６０及び４６２、及びそれらの移動）は、多機能デバイスのディスプレイ（例えば、図４Ｂにおける４５０）上でユーザーインターフェースを操作するためにデバイスによって使用される。同様の方法が、本明細書に記載の他のユーザーインターフェースに任意選択的に使用されることを理解されたい。
FIG. 4B shows an exemplary user interface on a device (eg,
これに加えて、以下の説明は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャなど）を参照して説明されるが、いくつかの実施形態では、それらの指入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスに基づく入力又はスタイラス入力）で置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、マウスクリックと置き換えられ（例えば、接触の代わりに）、それに続いて、スワイプの経路に沿ってカーソルの移動が行われる（例えば、接触の移動の代わりに）。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置の上に位置する間はマウスクリックと置き換えられる（例えば、接触を検出して、それに続いて接触の検出を停止する代わりに）。同様に、複数のユーザー入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。 In addition to this, the following description is primarily described with reference to finger input (eg, finger contact, finger tap gestures, finger swipe gestures, etc.), but in some embodiments, they are described. It should be appreciated that one or more of the finger inputs are replaced by inputs from another input device (eg, mouse-based input or stylus input). For example, a swipe gesture is optionally replaced with a mouse click (eg, instead of a touch), followed by a cursor move along the swipe path (eg, instead of a touch move). ). As another example, tap gestures are optionally replaced with mouse clicks while the cursor is hovering over the position of the tap gesture (eg, detect a contact and then stop detecting the contact). instead of). Similarly, it is understood that when multiple user inputs are detected simultaneously, multiple computer mice are optionally and simultaneously used, or mouse and finger contact is optionally and simultaneously used. sea bream.
本明細書にて使用されるとき、用語「フォーカスセレクタ」とは、ユーザーが対話しているユーザーインターフェースの現在の部分を示す入力要素を指す。カーソル又は他のロケーションマーカを含むいくつかの実装形態において、カーソルは「フォーカスセレクタ」として機能し、これにより、カーソルが特定のユーザーインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザーインターフェース要素）の上にある間に、タッチ感知面（例えば、図３のタッチパッド３５５、又は図４Ｂのタッチ感知面４５１）上で入力（例えば、押圧入力）が検出されると、この特定のユーザーインターフェース要素が、検出された入力にしたがって調整される。タッチスクリーンディスプレイ上のユーザーインターフェース要素との直接的な対話を可能にする、タッチスクリーンディスプレイ（例えば、図１Ａのタッチ感知ディスプレイシステム１１２、又は図６Ａのタッチスクリーン）を含むいくつかの実装形態では、タッチスクリーン上で検出された接触が「フォーカスセレクタ」として機能し、これにより、タッチスクリーンディスプレイ上の特定のユーザーインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザーインターフェース要素）の場所で入力（例えば、接触による押圧入力）が検出されると、この特定のユーザーインターフェース要素が、検出された入力にしたがって調節される。いくつかの実装形態では、（例えば、タブキー又は矢印キーを使用してフォーカスを１つのボタンから別のボタンに移動させることによって）タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、フォーカスがユーザーインターフェースの１つの領域からユーザーインターフェースの別の領域に移動され、これらの実装形態では、フォーカスセレクタは、ユーザーインターフェースの異なる領域の間のフォーカスの移動にしたがって移動する。フォーカスセレクタによってとられる具体的な形態とは関わりなく、フォーカスセレクタは一般的に、ユーザーの意図したユーザーインターフェースとの対話を通信するために（例えば、ユーザーが対話することを意図しているユーザーインターフェースの要素をデバイスに示すことによって）、ユーザーによって制御されるユーザーインターフェース要素（又は、タッチスクリーンディスプレイ上の接触）である。例えば、押圧入力がタッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で検出されたときに、対応するボタンの上にあるフォーカスセレクタ（例えば、カーソル、接触又は選択ボックス）の位置は、（デバイスのディスプレイ上に表示されている他のユーザーインターフェース要素ではなく）対応するボタンをユーザーがアクティブ化しようとしていることを示すものである。
As used herein, the term "focus selector" refers to an input element that indicates the current part of the user interface with which the user is interacting. In some implementations, including a cursor or other location marker, the cursor acts as a "focus selector", which allows the cursor to be a specific user interface element (eg, a button, window, slider, or other user interface element. ), While an input (eg, a pressing input) is detected on the touch sensing surface (eg,
本明細書及び特許請求の範囲で使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触又はスタイラスの接触）の力若しくは圧力（単位面積当りの力）、又はタッチ感知面上の接触の力若しくは圧力の代替するもの（プロキシ）を指す。接触の強度は、少なくとも４つの異なる値を含み、より典型的には、何百もの（例えば、少なくとも２５６個の）異なる値を含む値範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組合せを使用して判定（又は、測定）される。例えば、タッチ感知面の下に又はこれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々な点における力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値は、推定される接触の力を判定するために組み合わされる（例えば、加重平均又は合計）。同様に、タッチ感知面上のスタイラスの圧力を判定するために、スタイラスの圧力感知チップが、任意選択的に用いられる。あるいは、タッチ感知面上で検出される接触領域のサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化が、タッチ感知面上の接触の力又は圧力の代替物として、任意選択的に用いられる。いくつかの実装形態では、接触の力又は圧力に対する代替的測定値は、強度閾値を超えているかを判定するために直接使用される（例えば、強度閾値は、代替的測定値に対応する単位で記述される）。いくつかの実装形態では、接触の力又は圧力に対する代替的測定値は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超えているかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。接触の強度をユーザー入力の属性として使用することは、アフォーダンスを（例えば、タッチ感知ディスプレイ上に）表示するため、及び／又はユーザー入力を（例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタンなどの物理的／機械的制御を介して）受信する面積が制限された、低減されたサイズのデバイスにおいて、ユーザーによるアクセスが他の場合に容易には不可能であり得る、追加のデバイス機能へのユーザーのアクセスを可能にする。 As used herein and in the claims, the term "strength" of contact on a touch-sensitive surface refers to the force or pressure of contact on a touch-sensitive surface (eg, finger contact or stylus contact). Force per unit area), or a substitute for contact force or pressure on the touch-sensitive surface (proxy). The contact strength contains at least four different values and more typically has a value range containing hundreds (eg, at least 256) different values. Contact strength is optionally determined (or measured) using different methods and different sensors or combinations of sensors. For example, one or more force sensors below or adjacent to the touch sensing surface are optionally used to measure forces at various points on the touch sensing surface. In some implementations, force measurements from multiple force sensors are combined to determine the estimated contact force (eg, weighted average or sum). Similarly, a stylus pressure sensing chip is optionally used to determine the stylus pressure on the touch sensing surface. Alternatively, the size and / or its change in the contact area detected on the touch sensing surface, the capacitance and / or its change in the touch sensing surface close to the contact, and / or the resistance of the touch sensing surface close to the contact and / or / Or its changes are optionally used as an alternative to the force or pressure of contact on the touch-sensitive surface. In some embodiments, the alternative measurement for contact force or pressure is used directly to determine if the intensity threshold is exceeded (eg, the intensity threshold is the unit corresponding to the alternative measurement). Will be described). In some embodiments, alternative measurements for contact force or pressure are converted to estimated force or pressure and used to determine if the estimated force or pressure exceeds the intensity threshold. (For example, the intensity threshold is a pressure threshold measured in units of pressure). Using contact strength as an attribute of user input is to display affordances (eg, on a touch-sensitive display) and / or to display user input (eg, touch-sensitive display, touch-sensitive surface, or knob or button). To additional device features where user access may not be easily possible in other cases on devices of reduced size, with limited coverage (via physical / mechanical control, such as). Allows user access.
いくつかの実施形態では、接触／動きモジュール１３０は、ユーザーによって操作が実行されたか否かを判定するための（例えば、ユーザーがアイコン上で「クリック」したか否かを判定するための）、１つ以上の強度閾値のセットを使用する。いくつかの実施形態では、少なくとも強度閾値のサブセットは、ソフトウェアパラメータにしたがって決定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって決定されず、デバイス１００の物理ハードウェアを変更することなく調節されてもよい）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の所定の閾値のうちのいずれかに設定することができる。加えて、いくつかの実装形態では、デバイスのユーザーは、強度閾値の組のうちの１つ以上を調節するソフトウェア設定が提供される（例えば、個々の強度閾値を調節することによって、及び／又はシステムレベルのクリック「強度」パラメータで一度に複数の強度閾値を調節することによって）。
In some embodiments, the contact /
本明細書及び特許請求の範囲で使用されるとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、所定の数の強度サンプル、あるいは所定のイベント（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終わりを検出する前、接触の強度の増加を検出する前若しくは後、及び／又は接触の強度の減少を検出する前若しくは後）に対する予め定められた時間期間の間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）に収集された強度サンプルの組に基づく。接触の特性強度は任意選択で、接触の強度の最大値、接触の強度の平均値（mean value）、接触の強度の平均値（average value）、接触の強度の上位１０％値、接触の強度の最大値の半分の値、接触の強度の最大値の９０％の値、所定の期間にわたって、又は所定の時間において開始した接触の強度を低域通過フィルタリングすることによって生成された値などのうちの１つ以上に基づく。いくつかの実施形態では、特性強度を決定するために、（例えば、特性強度が経時的な接触の強度の平均であるとき）接触の持続期間が使用される。いくつかの実施形態では、操作がユーザーによって実行されたか否かを判定するために、特性強度を１つ以上の強度閾値のセットと比較する。例えば、１つ以上の強度閾値のセットは、第１の強度閾値及び第２の強度閾値を含むことができる。この実施例では、第１の閾値を上回らない特性強度との接触の結果として第１の操作が実行され、第１の強度閾値を上回り第２の強度閾値を上回らない特性強度との接触の結果として第２の操作が実行され、第２の強度閾値を上回る特性強度との接触の結果として第３の操作が実行される。いくつかの実施形態では、特性強度と１つ以上の強度閾値との間の比較が、第１の操作又は第２の操作のいずれを実行するかを決定するために使用されるのではなく、１つ以上の操作を実行するかどうか（例えば、それぞれのオプションを実行するのか、又はそれぞれの操作の実行を取り止めるのか）を決定するために使用される。 As used herein and in the claims, the term "characteristic strength" of a contact refers to the characteristic of a contact based on one or more strengths of the contact. In some embodiments, the characteristic intensities are based on multiple intensity samples. The characteristic strength is optionally a predetermined number of intensity samples, or a predetermined event (eg, after detecting a contact, before detecting a lift-off of a contact, before or after detecting the start of movement of a contact, or after contact. For a predetermined time period (eg, 0.05, before or after detecting the end of contact, before or after detecting an increase in contact strength, and / or before or after detecting a decrease in contact strength). Based on a set of intensity samples collected at 0.1, 0.2, 0.5, 1, 2, 5, 10 seconds). The contact characteristic strength is optional, the maximum value of the contact strength, the average value of the contact strength (mean value), the average value of the contact strength (average value), the top 10% value of the contact strength, and the contact strength. Of the half of the maximum value of, 90% of the maximum value of the contact strength, the value generated by low-pass filtering the contact strength initiated over a given time period or at a given time, etc. Based on one or more of. In some embodiments, the duration of contact is used to determine the property strength (eg, when the property strength is the average of the strength of the contact over time). In some embodiments, characteristic intensities are compared to one or more sets of intensity thresholds to determine if the operation was performed by the user. For example, a set of one or more intensity thresholds can include a first intensity threshold and a second intensity threshold. In this embodiment, the first operation is performed as a result of contact with a characteristic intensity that does not exceed the first threshold, and the result of contact with a characteristic intensity that exceeds the first intensity threshold and does not exceed the second intensity threshold. A second operation is performed as a result of contact with a characteristic strength above the second strength threshold. In some embodiments, the comparison between the characteristic intensity and one or more intensity thresholds is not used to determine whether to perform the first operation or the second operation. It is used to determine whether to perform one or more operations (eg, whether to perform each option or cancel each operation).
いくつかの実施形態では、ジェスチャの一部は、特性強度を決定する目的で識別される。例えば、タッチ感知面は、開始場所から遷移して終了場所まで達する連続的なスワイプ接触（例えば、ドラッグジェスチャ）を受け取る場合があり、この終了場所で接触の強度が増加する。この実施例では、終了場所における接触の特性強度は、連続的なスワイプ接触全体ではなく、そのスワイプ接触の一部分のみ（例えば、スワイプ接触の終了場所における部分のみ）に基づいてもよい。いくつかの実施形態では、接触の特性強度を決定する前に、平滑化アルゴリズムをそのスワイプ接触の強度に適用してもよい。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を決定する目的で、スワイプ接触の強度の小幅な上昇又は低下を除外する。 In some embodiments, some of the gestures are identified for the purpose of determining characteristic intensity. For example, the touch-sensitive surface may receive a continuous swipe contact (eg, drag gesture) that transitions from the start location to the end location, at which the strength of the contact increases. In this embodiment, the characteristic strength of the contact at the end location may be based on only a portion of the swipe contact (eg, only the portion at the end location of the swipe contact) rather than the entire continuous swipe contact. In some embodiments, a smoothing algorithm may be applied to the strength of the swipe contact before determining the characteristic strength of the contact. For example, the smoothing algorithm optionally includes one or more of an unweighted moving average smoothing algorithm, a triangular smoothing algorithm, a median filter smoothing algorithm, and / or an exponential smoothing algorithm. In some situations, these smoothing algorithms exclude a modest increase or decrease in the strength of the swipe contact for the purpose of determining the characteristic intensity.
本明細書で説明されるユーザーインターフェースの図は任意選択で、１つ以上の強度閾値（例えば、接触検出強度閾値ＩＴ０、軽い押圧強度閾値ＩＴＬ、深い押圧強度閾値ＩＴＤ（例えば、少なくとも最初はＩＴＬよりも高い）、及び／又は１つ以上の他の強度閾値（例えば、ＩＴＬよりも低い強度閾値ＩＴＨ））に対する、タッチ感知面上の接触の現在の強度を示す、様々な強度の図を含む。この強度の図は、概して示されたユーザーインターフェースの一部ではなくて、図の解釈を支援するために提供される。いくつかの実施形態では、軽い押圧強度閾値は、物理マウスのボタン又はトラックパッドのクリックに通常は関連付けられた操作をデバイスが実行する強度に相当する。いくつかの実施形態では、深い押圧強度閾値は、物理マウスのボタン又はトラックパッドのクリックに通常は関連付けられた操作とは異なる操作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押圧強度閾値を下回る（例えば、それを下回ると接触がもはや検出されない名目上の接触検出強度閾値ＩＴ０を上回る）特性強度で接触が検出されるとき、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値と関連付けられた操作を実行することなく、タッチ感知面上の接触の移動にしたがってフォーカスセレクタを移動させる。概して、特に明記されない限り、これらの強度閾値は、ユーザーインターフェースの形態の異なるセットの間で一貫している。 The user interface diagrams described herein are optional and have one or more intensity thresholds (eg, contact detection intensity threshold IT 0 , light pressing intensity threshold IT L , deep pressing intensity threshold IT D (eg, at least first). Indicates the current intensity of contact on the touch-sensitive surface to (eg, higher than ITL ) and / or one or more other intensity thresholds (eg, lower intensity threshold ITH ) than ITL ). Includes strength diagram. This intensity diagram is not generally part of the user interface shown and is provided to aid in the interpretation of the diagram. In some embodiments, the light press intensity threshold corresponds to the intensity with which the device performs an operation normally associated with a physical mouse button or trackpad click. In some embodiments, the deep press intensity threshold corresponds to the intensity with which the device performs an operation different from the operation normally associated with a physical mouse button or trackpad click. In some embodiments, the device detects contact at a characteristic intensity below a light pressing intensity threshold (eg, above the nominal contact detection intensity threshold IT 0 where contact is no longer detected). The focus selector is moved according to the movement of the contact on the touch sensing surface without performing the operation associated with the light or deep pressing intensity threshold. In general, these intensity thresholds are consistent across different sets of user interface morphologies, unless otherwise stated.
いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力の間の接触強度に基づく基準に依存する。例えば、いくつかの「軽い押圧」入力について、入力の間の第１の強度閾値を超える接触の強度は第１の応答をトリガする。いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力の間の接触強度及び時間に基づく基準の両方を含む基準に依存する。例えば、いくつかの「深い押圧」入力について、入力の間の軽い押圧に対する第１の強度閾値より大きい第２の強度閾値を超える接触の強度は、第１の強度閾値を満たすことと第２の強度閾値を満たすこととの間で遅延時間が経過した場合のみ、第２の応答をトリガする。この遅延時間は典型的には、継続時間が２００ｍｓ（ミリ秒）よりも短い（例えば、第２の強度閾値の大きさに依存して、４０ｍｓ、１００ｍｓ、又は１２０ｍｓであり、遅延時間は第２の強度閾値が増加するにつれて増加する）。この遅延時間は、深い押圧入力の偶発的な認識を回避するのを助ける。別の実施例として、いくつかの「深い押圧」について、第１の強度閾値が満たされる時間の後に発生する、感度が低下した時間期間が存在する。感度が低下した時間期間の間、第２の強度閾値は増加する。第２の強度閾値のこの一時的な増加もまた、偶発的な深い押圧入力を回避するのを助ける。他の深い押圧入力について、深い押圧入力の検出に対する応答は、時間に基づく基準に依存しない。 In some embodiments, the device's response to the input detected by the device depends on a criterion based on the contact strength between the inputs. For example, for some "light press" inputs, the intensity of the contact above the first intensity threshold between the inputs triggers the first response. In some embodiments, the device's response to an input detected by the device depends on a criterion that includes both contact strength and time-based criteria between the inputs. For example, for some "deep press" inputs, the intensity of the contact above the second intensity threshold, which is greater than the first intensity threshold for the light press between the inputs, satisfies the first intensity threshold and the second. Only if the delay time elapses between satisfying the intensity threshold will the second response be triggered. This delay time is typically less than 200 ms (milliseconds) (eg, 40 ms, 100 ms, or 120 ms, depending on the magnitude of the second intensity threshold, and the delay time is second. Increases as the intensity threshold of) increases). This delay time helps avoid accidental recognition of deep press inputs. As another embodiment, for some "deep presses", there is a desensitized time period that occurs after the time when the first intensity threshold is met. The second intensity threshold increases during the time period when the sensitivity is reduced. This temporary increase in the second intensity threshold also helps avoid accidental deep pressing inputs. For other deep press inputs, the response to the detection of deep press inputs does not depend on time-based criteria.
いくつかの実施形態では、入力強度閾値及び／又は対応する出力のうちの１つ以上は、ユーザー設定、接触の動き、入力タイミング、実行しているアプリケーション、強度が加わる速度、同時に行われる入力の数、ユーザー履歴、環境要因（例えば、周囲ノイズ）、フォーカスセレクタの位置などの１つ以上の要因に基づいて変化する。例示的な要因が、米国特許出願第１４／３９９，６０６号及び第１４／６２４，２９６号に記載されており、それらの全体が参照により本明細書に組み込まれている。
In some embodiments, one or more of the input intensity thresholds and / or corresponding outputs are user settings, contact movements, input timings, running applications, speeds at which intensity is applied, and simultaneous inputs. It varies based on one or more factors such as number, user history, environmental factors (eg, ambient noise), focus selector position, and so on. Exemplary factors are described in
例えば、図４Ｃは、経時的なタッチ入力４７６の強度に部分的に基づいて経時的に変化する動的強度閾値４８０を示す。動的強度閾値４８０は、２つの成分、タッチ入力４７６が最初に検出されるときから所定の遅延時間ｐ１の後に経時的に減衰する第１の成分４７４、及び経時的にタッチ入力４７６の強度を追跡する第２の成分４７８の合計である。第１の成分４７４の初期の高強度閾値は、「深い押圧」応答を偶発的にトリガすることを削減すると共に、タッチ入力４７６が十分な強度を提供する場合に即時的な「深い押圧」応答をなおも可能にする。第２の成分４７８は、タッチ入力における段階的な強度変動によって「深い押圧」応答を意図せずにトリガすることを削減する。いくつかの実施形態では、タッチ入力４７６が動的強度閾値４８０を満たすとき（例えば、図４Ｃのポイント４８１において）、「深い押圧」応答がトリガされる。
For example, FIG. 4C shows a
図４Ｄは、別の動的強度閾値４８６（例えば、強度閾値ＩＤ）を示す。図４Ｄはまた、２つの他の強度閾値、第１の強度閾値ＩＴＨ及び第２の強度閾値ＩＬを示す。図４Ｄにおいて、タッチ入力４８４が時間ｐ２の前に第１の強度閾値ＩＴＨ及び第２の強度閾値ＩＴＬを満たすが、時間４８２において遅延時間ｐ２が経過するまでは応答が提供されない。また、図４Ｄでは、動的強度閾値４８６は、所定の遅延時間ｐ１が時間４８２から経過した後（第２の強度閾値ＩＴＬと関連付けられた応答がトリガされたとき）の時間４８８において開始する減衰で、経時的に減衰する。このタイプの動的強度閾値は、第１の強度閾値ＩＨ又は第２の強度閾値ＩＬなど、より低い強度閾値と関連付けられた応答をトリガした直後、又はそれと同時に動的強度閾値ＩＤと関連付けられた応答を偶発的にトリガすることを削減する。
FIG. 4D shows another dynamic intensity threshold 486 (eg, intensity threshold ID ). FIG. 4D also shows two other intensity thresholds, a first intensity threshold ITH and a second intensity threshold IL . In FIG. 4D, the
図４Ｅは、更なる別の動的強度閾値４９２（例えば、強度閾値ＩＤ）を示す。図４Ｅにおいて、強度閾値ＩＴＬと関連付けられた応答は、タッチ入力４９０が最初に検出されるときから遅延時間ｐ２が経過した後にトリガされる。同時に、動的強度閾値４９２は、タッチ入力４９０が最初に検出されるときから所定の遅延時間ｐ１が経過した後に減衰する。よって、タッチ入力４９０を解放することなく、強度閾値ＩＬと関連付けられた応答をトリガした後のタッチ入力４９０の強度の減少と、その後に続くタッチ入力４９０の強度における増加は、タッチ入力４９０の強度が別の強度閾値、例えば、強度閾値ＩＬを下回るときでさえ強度閾値ＩＴＤと関連付けられた応答をトリガすることができる（例えば、時間４９４において）。
FIG. 4E shows yet another dynamic intensity threshold 492 (eg, intensity threshold ID ). In FIG. 4E, the response associated with the intensity threshold ITL is triggered after a delay time p2 has elapsed since the
軽い押圧強度閾値ＩＴＬを下回る強度から軽い押圧強度閾値ＩＴＬと深い押圧強度閾値ＩＴＤとの間の強度への接触の特性強度の増加は、「軽い押圧」入力と称される場合がある。深い押圧強度閾値ＩＴＤを下回る強度から深い押圧強度閾値ＩＴＤを上回る強度への接触の特性強度の増加は、「深い押圧」入力と称される場合がある。接触検出強度閾値ＩＴ０を下回る強度から接触検出強度閾値ＩＴ０と軽い押圧強度閾値ＩＴＬとの間の強度への接触の特性強度の増加は、タッチ面上の接触の検出と称される場合がある。接触検出強度閾値ＩＴ０を上回る強度から接触検出強度閾値ＩＴ０を下回る強度への接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と称される場合がある。いくつかの実施形態では、ＩＴ０はゼロである。いくつかの実施形態では、ＩＴ０はゼロよりも大きい。いくつかの図では、タッチ感知面上の接触の強度を表すために、影付きの円又は楕円が使用される。いくつかの図では、それぞれの接触の強度を指定することなく、タッチ感知面上のそれぞれの接触を表すために、影なしの円又は楕円が使用される。 The increase in the characteristic strength of contact from strength below the light press strength threshold IT L to strength between the light press strength threshold IT L and the deep press strength threshold IT D is sometimes referred to as the "light press" input. .. The increase in characteristic strength of contact from an intensity below the deep pressing intensity threshold IT D to an intensity above the deep pressing intensity threshold IT D is sometimes referred to as a "deep pressing" input. When the increase in the characteristic strength of the contact from the strength below the contact detection strength threshold IT 0 to the strength between the contact detection strength threshold IT 0 and the light pressing strength threshold IT L is referred to as the detection of contact on the touch surface. There is. The decrease in the characteristic strength of the contact from the strength above the contact detection strength threshold IT 0 to the strength below the contact detection strength threshold IT 0 may be referred to as the detection of lift-off of contact from the touch surface. In some embodiments, IT 0 is zero. In some embodiments, IT 0 is greater than zero. In some figures, shaded circles or ellipses are used to represent the strength of contact on the touch-sensitive surface. In some figures, shadowless circles or ellipses are used to represent each contact on the touch-sensitive surface without specifying the strength of each contact.
本明細書で説明されるいくつかの実施形態では、１つ以上の操作は、それぞれの押圧入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（若しくは、複数の接触）で実行されるそれぞれの押圧入力を検出したことに応じて実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（又は、複数の接触）の強度における増加を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの操作は、押圧入力強度閾値を上回るそれぞれの接触の強度における増加を検出したことに応じて実行される（例えば、それぞれの操作は、それぞれの押圧入力の「ダウンストローク」上で実行される）。いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度における増加、及び押圧入力強度閾値を下回る接触の強度におけるその後の減少を含み、それぞれの操作は、押圧入力閾値を下回るそれぞれの接触の強度におけるその後の減少を検出したことに応じて実行される（例えば、それぞれの操作は、それぞれの押圧入力の「アップストローク」上で実行される）。 In some embodiments described herein, one or more operations are performed in response to the detection of a gesture containing each press input, or at each contact (or multiple contacts). Each press input is executed in response to the detection of each press input, and each press input is at least partially based on the detection of an increase in the intensity of a contact (or multiple contacts) above the press input intensity threshold. Detected. In some embodiments, each operation is performed in response to detecting an increase in the strength of each contact above the press input intensity threshold (eg, each operation is "down" for each press input. Performed on the "stroke"). In some embodiments, the press input comprises an increase in the intensity of each contact above the press input intensity threshold and a subsequent decrease in the intensity of the contact below the press input intensity threshold, and each operation comprises a press input threshold. It is performed in response to the detection of a subsequent decrease in the strength of each contact below (eg, each operation is performed on the "upstroke" of each press input).
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との所定の関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりも低いＸ強度単位であり、又はヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくは何らかの妥当な比率である）。よって、いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度における増加、及び押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度におけるその後の減少を含み、それぞれの操作は、ヒステリシス強度閾値を下回るそれぞれの接触の強度におけるその後の減少を検出したことに応じて実行される（例えば、それぞれの操作は、それぞれの押圧入力の「アップストローク」上で実行される）。同様に、いくつかの実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増加、及び任意選択的に、ヒステリシス強度以下の強度への後続の接触の強度の減少を検出するときのみ検出され、それぞれの操作は、その押圧入力の検出（例えば、状況に応じて、接触の強度の増加、又は接触の強度の減少）に応じて実行される。 In some embodiments, the device employs intensity hysteresis to avoid accidental inputs, which may be referred to as "jitter", and the device has a hysteresis intensity threshold that has a predetermined relationship with the pressing input intensity threshold. (For example, the hysteresis intensity threshold is an X intensity unit lower than the pressing input intensity threshold, or the hysteresis intensity threshold is 75%, 90%, or some reasonable ratio of the pressing input intensity threshold. ). Thus, in some embodiments, the press input comprises an increase in the intensity of each contact above the press input intensity threshold and a subsequent decrease in the intensity of the contact below the hysteresis intensity threshold corresponding to the press input intensity threshold. Each operation is performed in response to detecting a subsequent decrease in the strength of each contact below the hysteresis strength threshold (eg, each operation is performed on the "upstroke" of each pressing input. Ru). Similarly, in some embodiments, the press input is such that the device increases the intensity of contact from an intensity below the hysteresis intensity threshold to an intensity above the press input intensity threshold, and optionally, an intensity below the hysteresis intensity. Detected only when detecting a decrease in the strength of subsequent contacts to, each operation responds to the detection of its pressing input (eg, increasing contact strength or decreasing contact strength, depending on the situation). Is executed.
説明を容易にするために、押圧入力強度閾値と関連付けられた押圧入力に応じて、又は押圧入力を含むジェスチャに応じて実行される操作の説明は任意選択で、押圧入力強度閾値を上回る接触の強度の増加、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増加、押圧入力強度閾値を下回る接触の強度の減少、又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じてトリガされる。加えて、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて操作が実行されるとして説明される実施例では、操作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。上記説明されたように、いくつかの実施形態では、それらの応答のトリガはまた、満たされる時間に基づく基準（例えば、ある遅延時間が、第１の強度閾値が満たされることと第２の強度閾値が満たされることとの間で経過してしまっている）に依存する。 For ease of explanation, the description of the operation performed in response to the press input associated with the press input intensity threshold or in response to a gesture involving the press input is optional and is for a contact that exceeds the press input intensity threshold. Increased strength, increased contact strength from strength below the hysteresis strength threshold to strength above the pressed input strength threshold, decreased contact strength below the pressed input strength threshold, or a hysteresis strength threshold corresponding to the pressed input strength threshold. Triggered in response to detecting a decrease in contact strength below. In addition, in the embodiments described as performing the operation in response to detecting a decrease in contact intensity below the press input intensity threshold, the operation optionally corresponds to the press input intensity threshold. And it is executed in response to the detection of the decrease in the intensity of the contact below the hysteresis intensity threshold lower than that. As described above, in some embodiments, the triggers for those responses are also time-based criteria (eg, certain delay times that meet the first intensity threshold and the second intensity. It depends on what has passed since the threshold was met).
本明細書及び特許請求の範囲で使用されるとき、用語「触知出力」は、ユーザーの触覚でユーザーによって検出されることになる、デバイスの従前の位置に対するデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、デバイスの別の構成要素（例えば、筐体）に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザーの表面（例えば、ユーザーの指、手のひら、又は手の他の部分）に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性の認識された変化に相当する触感として、ユーザーによって解釈される。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、任意選択的に、ユーザーによって物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」と解釈される。いくつかの場合、ユーザーの移動により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がない時でさえ、ユーザーは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の実施例として、タッチ感知面の動きは、タッチ感知面の平滑度に変化がない場合であっても、ユーザーによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザーによるタッチの解釈は、ユーザーの個人的な感覚認知に左右されるが、大多数のユーザーに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザーの特定の感覚認知（例えば、「アップクリック」、「ダウンクリック」、「粗さ」）に対応するものとして説明されるとき、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザーの説明された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。触覚フィードバックをユーザーに提供するために触知出力を使用することは、デバイスの操作性を高め、ユーザーデバイスインターフェースを更に効率的にし（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。 As used herein and in the claims, the term "tactile output" is the physical displacement of the device with respect to the previous position of the device, the configuration of the device, which will be detected by the user by the user's tactile sensation. Refers to the physical displacement of an element (eg, a touch-sensitive surface) with respect to another component of the device (eg, housing), or the displacement of the component with respect to the mass center of the device. For example, the tactile sensation generated by physical displacement in situations where the device or components of the device are in contact with a touch-sensitive user's surface (eg, the user's fingers, palm, or other part of the hand). The output is interpreted by the user as a tactile sensation that corresponds to a perceived change in the physical properties of the device or its components. For example, the movement of a touch-sensitive surface (eg, a touch-sensitive display or trackpad) is optionally interpreted by the user as a "down-click" or "up-click" of a physical actuator button. In some cases, the user "down-clicks" or "up-clicks" even when there is no physical actuator button movement associated with the touch-sensitive surface physically pressed (eg, displaced) by the user's movement. I feel the tactile sensation. As another embodiment, the movement of the touch-sensitive surface is optionally interpreted or sensed by the user as the "roughness" of the touch-sensitive surface, even if the smoothness of the touch-sensitive surface does not change. Will be done. The interpretation of touches by such users depends on the user's personal sensory perception, but there are many sensory perceptions common to the majority of users. Therefore, when the tactile output is described as corresponding to a particular sensory perception of the user (eg, "up-click", "down-click", "roughness"), it was generated unless otherwise stated. The tactile output corresponds to the physical displacement of the device, or component of the device, that produces the typical (or average) user's described sensory cognition. Using the tactile output to provide tactile feedback to the user enhances the usability of the device and makes the user device interface more efficient (eg, providing appropriate input when manipulating / interacting with the device). By assisting the user and reducing user error), in addition it reduces power consumption by allowing the user to use the device more quickly and efficiently, and the battery of the device. Improve lifespan.
いくつかの実施形態では、触知出力パターンは、触知出力の振幅、触知出力の移動波形の形状、触知出力の周波数、及び／又は触知出力の期間などの触知出力の特性を指定する。 In some embodiments, the tactile output pattern exhibits tactile output characteristics such as tactile output amplitude, tactile output moving waveform shape, tactile output frequency, and / or tactile output duration. specify.
異なる触知出力パターンを有する触知出力がデバイスによって（例えば、触知出力を生成するために可動質量を移動させる１つ以上の触知出力生成器を介して）生成されるとき、触知出力は、デバイスを保持又はタッチするユーザーに異なる触覚感覚を引き起こすことができる。ユーザーの感覚が触知出力のユーザーの知覚に基づく一方で、ほとんどのユーザーは、デバイスによって生成される触知出力の波形、周波数及び振幅の変化を識別することが可能である。したがって、波形、周波数及び振幅は、異なる操作が実行されたことをユーザーに知らせるように調整することができる。このようにして、所与の環境（例えば、グラフィカルな特徴及びオブジェクトを含むユーザーインターフェース、仮想境界及び仮想オブジェクトを有する擬似的な物理環境、物理境界及び物理オブジェクトを有する現実の物理環境、並びに／又は上記のいずれかの組合せ）におけるオブジェクトの、特性（例えば、サイズ、材質、重量、剛性、平滑度など）、挙動（例えば、振動、変位、加速、回転、拡大など）、及び／又は対話（例えば、衝突、付着、反発、引き付け、摩擦など）をシミュレートするように設計、選択、及び／又は加工された触知出力パターンを有する触知出力は、いくつかの状況では、デバイスのユーザーの操作の入力誤りを削減して効率性を増大させる、有益なフィードバックをユーザーに提供する。加えて、擬似的な物理的特性（例えばオブジェクトの入力された出発点又は選択）とは無関係であるフィードバックに対応するために、触知出力は、任意選択的に、発生する。そのような触知出力は、いくつかの状況では、ユーザーのデバイス操作の入力誤りを削減し、効率性を増大させる有益なフィードバックをユーザーに提供する。 When a tactile output with a different tactile output pattern is generated by the device (eg, via one or more tactile output generators that move the moving mass to generate the tactile output), the tactile output. Can cause different tactile sensations to the user holding or touching the device. While the user's sensation is based on the user's perception of the tactile output, most users are able to identify changes in the waveform, frequency and amplitude of the tactile output produced by the device. Therefore, the waveform, frequency and amplitude can be adjusted to inform the user that different operations have been performed. In this way, a given environment (eg, a user interface with graphical features and objects, a pseudo-physical environment with virtual boundaries and virtual objects, a real physical environment with physical boundaries and physical objects, and / or The characteristics (eg, size, material, weight, rigidity, smoothness, etc.), behavior (eg, vibration, displacement, acceleration, rotation, enlargement, etc.) and / or dialogue (eg, vibration, displacement, acceleration, rotation, expansion, etc.) of the object in any of the above combinations). , Collision, adhesion, repulsion, attraction, friction, etc.) The tactile output has a tactile output pattern designed, selected, and / or processed to simulate the user's operation of the device in some situations. Provide useful feedback to users to reduce typos and increase efficiency. In addition, the tactile output is optionally generated to accommodate feedback that is independent of the pseudo-physical properties (eg, the input starting point or selection of the object). Such tactile outputs provide useful feedback to the user in some situations, reducing typographical errors in the user's device operation and increasing efficiency.
いくつかの実施形態では、適切な触知出力パターンを有する触知出力は、ユーザーインターフェース内又はデバイス内のシーンの背後の関心イベントの発生に対する合図としての役割を果たす。関心イベントの例は、デバイス上又はユーザーインターフェース内で提供されるアフォーダンス（例えば、実ボタン、仮想ボタン、又はトグルスイッチ）のアクティブ化、要求された操作の成功又は失敗、ユーザーインターフェース内の境界に到達すること又は超えること、新たな状態に入ること、オブジェクト間の入力の焦点を切り替えること、新たなモードのアクティブ化、入力閾値に到達すること又は超えること、入力又はジェスチャのタイプの検出又は認識などを含む。いくつかの実施形態では、触知出力は、リダイレクション又は中断入力が時宜を得て検出されない限り発生する、近いうち起こるイベント又は結果に対する警告又はアラートしての役割を果たすように提供される。触知出力はまた、他のコンテキストでも使用されて、ユーザー体験を豊かにし、視覚若しくは運動上の困難をかかえるユーザーへのデバイスのアクセシビリティ若しくは他のアクセシビリティの必要性を改善し、並びに／又はユーザーインターフェース及び／若しくはデバイスの効率性及び機能性を改善する。触知出力は任意選択で、音声出力及び／又は視認可能なユーザーインターフェースの変更を伴い、それは、ユーザーがユーザーインターフェース及び／又はデバイスと対話するときのユーザーの体験を更に高め、ユーザーインターフェース及び／又はデバイスの状態に関する情報の搬送を更に促進し、並びにデバイスのユーザーの操作の入力誤りを削減し、効率性を増大させる。 In some embodiments, the tactile output with the appropriate tactile output pattern serves as a signal to the occurrence of an event of interest behind the scene in the user interface or device. Examples of interest events are activation of affordances (eg, real buttons, virtual buttons, or toggle switches) provided on the device or within the user interface, success or failure of the requested operation, reaching boundaries within the user interface. To or exceed, to enter a new state, to switch the focus of an input between objects, to activate a new mode, to reach or exceed an input threshold, to detect or recognize the type of input or gesture, etc. including. In some embodiments, the tactile output is provided to serve as a warning or alert for an upcoming event or outcome that occurs unless a redirection or interrupted input is timely detected. Tactile output is also used in other contexts to enrich the user experience, improve the accessibility of the device or the need for other accessibility to users with visual or motor difficulties, and / or the user interface. And / or improve the efficiency and functionality of the device. Tactile output is optional and involves changes in audio output and / or visible user interface, which further enhances the user's experience when interacting with the user interface and / or device, user interface and / or It further facilitates the transfer of information about the state of the device, reduces typographical errors in the user's operation of the device, and increases efficiency.
図４Ｆ～４Ｈは、個々に、又は、組み合わせて、そのまま又は、１つ以上の変換（例えば、変調、増幅、切捨てなど）によって使用して、上述のような、及び本明細書において論ずるユーザーインターフェース及び方法に関して記載されている各種のシナリオの、そして、各種の目的のための、適切な触覚フィードバックを作り出すことができる一組のサンプル触知出力パターンを提供する。触知出力のパレットのこの例は、３つの波形及び８つの周波数のセットが触知出力パターンの配列を作るためにどのように用いることができるかについて示す。これらの図に表示される触知出力パターンに加えて、例えば、示すように、図４Ｉ～４Ｋのフルタップ８０Ｈｚ、フルタップ２００Ｈｚ、ミニタップ８０Ｈｚ、ミニタップ２００Ｈｚ、マイクロタップ８０Ｈｚ及びマイクロタップ２００Ｈｚに対する触知出力パターンのための利得値を変えることによって、これらの触知出力パターンのそれぞれは振幅において任意選択的に調整され、そして、それは１．０、０．７５、０．５及び０．２５の利得を有する異型によって各々示される。図４Ｉ～４Ｋに示すように、触知出力パターンの獲得を変えることで、パターンの周波数を変えるか又は波形の形状を変えることなくパターンの振幅が変わる。いくつかの実施形態では、触知出力パターンの周波数も変えることは振幅を低くする結果にもなり、なぜなら、いくつかの触知出力生成器はどれだけの力が可動質量に加えられ得るかによって制限され、したがって質量のより高い周波数の移動は振幅をより低くすることを強いられて、波形を作るために必要な加速は、触知出力生成器の操作上の力の範囲外の力を必要とはしない（例えば、２３０Ｈｚ、２７０Ｈｚ及び３００Ｈｚでのフルタップのピーク振幅は、８０Ｈｚ、１００Ｈｚ、１２５Ｈｚ、及び２００Ｈｚでのフルタップの振幅より低い）ことを確実にするからである。 4F-4H are used individually or in combination, as is or by one or more transformations (eg, modulation, amplification, truncation, etc.), as described above, and the user interfaces discussed herein. And provide a set of sample tactile output patterns that can produce appropriate tactile feedback for the various scenarios described and for different purposes. This example of a palette of tactile outputs shows how a set of three waveforms and eight frequencies can be used to create an array of tactile output patterns. In addition to the tactile output patterns displayed in these figures, for example, as shown, tactile output patterns for full tap 80Hz, full tap 200Hz, mini tap 80Hz, mini tap 200Hz, micro tap 80Hz and micro tap 200Hz in FIGS. 4I-4K. Each of these tactile output patterns is optionally adjusted in amplitude by varying the gain value for, and it has gains of 1.0, 0.75, 0.5 and 0.25. Each is indicated by atypical. As shown in FIGS. 4I-4K, by changing the acquisition of the tactile output pattern, the amplitude of the pattern changes without changing the frequency of the pattern or the shape of the waveform. In some embodiments, changing the frequency of the tactile output pattern also results in lower amplitude, because some tactile output generators depend on how much force can be applied to the moving mass. Limited, and therefore movement of higher frequencies of mass is forced to lower the amplitude, the acceleration required to create the waveform requires a force outside the operational force of the tactile output generator. (For example, the peak amplitude of a full tap at 230 Hz, 270 Hz, and 300 Hz is lower than the amplitude of a full tap at 80 Hz, 100 Hz, 125 Hz, and 200 Hz).
図４Ｆ～４Ｋは、特定の波形を有する触知出力パターンを示す。触知出力パターンの波形は、可動質量が通過してその触知出力パターンで触知出力を生成する時間に対して、中立位置（例えば、ｘｚｅｒｏ）と比べた物理的変位のパターンを表す。例えば、図４Ｆに示す第１のセットの触知出力パターン（例えば、「フルタップ」の触知出力パターン）はそれぞれ、２つの完全サイクルがある発振（例えば、中立位置で開始及び終了し、中立位置を３回交差する発振）を含む波形を有する。図４Ｇに示す第２のセットの触知出力パターン（例えば、「ミニタップ」の触知出力パターン）はそれぞれ、１つの完全サイクルがある発振（例えば、中立位置で開始及び終了し、中立位置を１回交差する発振）を含む波形を有する。図４Ｈに示す第３のセットの触知出力パターン（例えば、「マイクロタップ」の触知出力パターン）はそれぞれ、完全サイクルの２分の１を含む発振（例えば、中立位置で開始及び終了し、中立位置と交差しない発振）を含む波形を有する。触知出力パターンの波形はまた、触知出力の開始及び終了において可動質量の段階的な高速化及び減速を表すスタートバッファ及びエンドバッファを含む。図４Ｆ～４Ｋに表示される例示波形は、可動質量の移動の最大及び最小限の範囲を表すｘｍｉｎ及びｘｍａｘ値を含む。より大きい可動質量を有するより大きな電子デバイスに対して、質量の移動のより大きいかより小さい最小限及び最大範囲があり得る。図４Ｆ～４Ｋに示す例は１次元における質量の移動を記載しているが、しかしながら、同様の原則が、二次元又は三次元の可動質量の移動にも当てはまる。 4F-4K show tactile output patterns with specific waveforms. The waveform of the tactile output pattern represents a pattern of physical displacement relative to a neutral position (eg, xzero) with respect to the time it takes for the moving mass to pass and generate a tactile output with that tactile output pattern. For example, the first set of tactile output patterns shown in FIG. 4F (eg, “full tap” tactile output patterns) each have two complete cycles of oscillation (eg, start and end at the neutral position, and the neutral position). It has a waveform including oscillation) that intersects three times. The second set of tactile output patterns shown in FIG. 4G (eg, "mini-tap" tactile output patterns) each have one complete cycle of oscillation (eg, start and end at the neutral position and 1 neutral position). It has a waveform that includes (oscillation that intersects times). The third set of tactile output patterns shown in FIG. 4H (eg, "microtap" tactile output patterns) each start and end at an oscillation (eg, in a neutral position) containing half of the full cycle. It has a waveform including oscillation) that does not intersect the neutral position. The waveform of the tactile output pattern also includes a start buffer and an end buffer that represent the stepwise increase and decrease of the movable mass at the start and end of the tactile output. The exemplary waveforms displayed in FIGS. 4F-4K include xmin and xmax values that represent the maximum and minimum range of movement of the movable mass. For larger electronic devices with larger moving mass, there can be a larger or smaller minimum and maximum range of mass transfer. The examples shown in FIGS. 4F-4K describe the movement of mass in one dimension, however, similar principles apply to the movement of moving mass in two or three dimensions.
図４Ｆ～４Ｋに示すように、各触知出力パターンはまた、その特性周波数を有する触知出力からユーザーによって感じられる触覚感覚の「ピッチ」に影響を及ぼす、対応する特性周波数を有する。連続触知出力に対して、特性周波数は、触知出力生成器の可動質量によって所与の時間周期の間に完了するサイクル（例えば、秒当たりのサイクル）の数を表す。不連続の触知出力に対しては、不連続の出力信号が（例えば、０．５、１又は２サイクルで）発生し、そして特性周波数値は、可動質量がその特性周波数を有する触知出力を生成するためにどれくらい急速に移動することを必要とするかについて、条件付ける。図４Ｆ～４Ｈに示すように、各タイプの触知出力（例えば、それぞれの波形（例えば、フルタップ、ミニタップ又はマイクロタップなどのそれぞれの波形により定義される）に対して、より高い周波数値は、可動質量によるより速い移動に対応し、したがって、一般に、触知出力を完了するためのより短い時間（例えば、不連続の触知出力のためのサイクルの所要数を完了する時間を含め、スタート及びエンドバッファ時間を加えたもの）に対応する。例えば、８０Ｈｚの特性周波数を有するフルタップは、１００Ｈｚの特性周波数を有するフルタップよりも完了するのにより長くかかる（例えば、図４Ｆの３５．４ｍｓ対２８．３ｍｓ）。加えて、所与の周波数に対して、それぞれの周波数でより多くのサイクルをその波形に有する触知出力は、同じそれぞれの周波数でより少ないサイクルをその波形に有する触知出力よりも、完了するのにより長くかかる。例えば、１５０Ｈｚのフルタップは１５０Ｈｚのミニタップより完了するのにより長くかかり（例えば、１９．４ｍｓ対１２．８ｍｓ）、そして、１５０Ｈｚのミニタップは１５０Ｈｚのマイクロタップより完了するのにより長くかかる（例えば、１２．８ｍｓ対９．４ｍｓ）。しかしながら、異なる周波数を有する触知出力パターンに対しては、この規則は、あてはめることができない（例えば、より多いサイクルだがより高い周波数を有する触知出力は、より少ないサイクルだがより低い周波数を有する触知出力よりも完了する時間が短くなり得て、そして、逆もまたそうである）。例えば、３００Ｈｚで、フルタップは、ミニタップと同じほどかかる（例えば、９．９ｍｓ）。 As shown in FIGS. 4F-4K, each tactile output pattern also has a corresponding characteristic frequency that affects the "pitch" of the tactile sensation felt by the user from the tactile output having that characteristic frequency. For continuous tactile outputs, the characteristic frequency represents the number of cycles (eg, cycles per second) completed during a given time cycle by the moving mass of the tactile output generator. For a discontinuous tactile output, a discontinuous output signal is generated (eg, in 0.5, 1 or 2 cycles), and the characteristic frequency value is the tactile output whose movable mass has that characteristic frequency. Condition how quickly you need to move to generate. As shown in FIGS. 4F-4H, for each type of tactile output (eg, defined by each waveform (eg, defined by each waveform such as full tap, mini tap or micro tap), higher frequency values are. Corresponds to faster movements due to moving mass, and therefore generally shorter time to complete tactile output (eg, including time to complete the required number of cycles for discontinuous tactile output). For example, a full tap with a characteristic frequency of 80 Hz takes longer to complete than a full tap with a characteristic frequency of 100 Hz (eg, 35.4 ms vs. 28. In Figure 4F). 3ms). In addition, for a given frequency, a tactile output having more cycles in its waveform at each frequency is more than a tactile output having less cycles in its waveform at the same each frequency. For example, a 150 Hz full tap takes longer to complete than a 150 Hz mini tap (eg, 19.4 ms vs. 12.8 ms), and a 150 Hz mini tap completes more than a 150 Hz micro tap. It takes longer (eg, 12.8 ms vs. 9.4 ms), however, for tactile output patterns with different frequencies, this rule cannot be applied (eg, with more cycles but higher frequencies). Tactile outputs can take less time to complete than tactile outputs with fewer cycles but lower frequencies, and vice versa). For example, at 300 Hz, a full tap is as much as a mini tap. Such (eg, 9.9 ms).
図４Ｆ～４Ｋに示すように、触知出力パターンはまた、触覚の信号に含まれるエネルギー量に影響を及ぼす特性振幅、すなわち、その特性振幅を有する触知出力によるユーザーによって感じられることができる触覚感覚の「強さ」を有する。いくつかの実施形態では、触知出力パターンの特性振幅は、触知出力を生成するときに、中立位置からの可動質量の最大の変位を表す絶対値又は正規化値に関連する。いくつかの実施形態では、触知出力パターンの特性振幅は、各種の条件（例えば、ユーザーインターフェース前後関係及び挙動に基づいてカスタマイズされる）及び／又は予め設定された測定基準（例えば、入力ベースの測定基準及び／又はユーザーインターフェースベースの測定基準）にしたがって、例えば、固定であるか動的に決定されたゲイン係数（例えば、０と１間の値）によって調節可能である。いくつかの実施形態では、入力ベースの測定基準（例えば、強度変化測定基準又は入力速度測定基準）は、入力（例えば、押圧入力の接触の特性強度の変化率又はタッチ感知面全体の接触の移動の率）の特性を、触知出力の生成をトリガする入力の間、測定する。いくつかの実施形態では、触知出力の生成をトリガするユーザーインターフェース変化の間、ユーザーインターフェースベースの測定基準（例えば、境界全体速度測定基準）は、ユーザーインターフェース要素（例えば、ユーザーインターフェースの、隠れているか可視の境界全体の要素の移動の速度）の特性を測定する。いくつかの実施形態では、触知出力パターンの特性振幅は「エンベロープ」によって調整することができ、隣接するサイクルのピークは異なる振幅を有することができて、ここで、上記の波形の１つは、時間につれて変化するエンベロープパラメータ（例えば、０から１まで）による乗算によって更に修正され、触知出力が発生しているのにつれて、時間とともに段階的に触知出力の部分の振幅を調整する。 As shown in FIGS. 4F-4K, the tactile output pattern is also a characteristic amplitude that affects the amount of energy contained in the tactile signal, i.e., a tactile sensation that can be felt by the user due to the tactile output having that characteristic amplitude. Has the "strength" of the senses. In some embodiments, the characteristic amplitude of the tactile output pattern is associated with an absolute or normalized value that represents the maximum displacement of the movable mass from the neutral position when generating the tactile output. In some embodiments, the characteristic amplitude of the tactile output pattern is various conditions (eg, customized based on user interface context and behavior) and / or preset metrics (eg, input-based). It can be adjusted according to metric and / or user interface based metric), for example, by a fixed or dynamically determined gain coefficient (eg, a value between 0 and 1). In some embodiments, the input-based metric (eg, intensity change metric or input velocity metric) is the input (eg, the rate of change in the characteristic strength of the contact of the pressing input or the movement of the contact across the touch-sensitive surface. The rate of) is measured during the input that triggers the generation of the tactile output. In some embodiments, during user interface changes that trigger the generation of tactile outputs, user interface-based metrics (eg, global overall velocity metrics) are hidden in user interface elements (eg, user interfaces). Measure the characteristics of the speed of movement of the elements across the visible boundary. In some embodiments, the characteristic amplitude of the tactile output pattern can be adjusted by an "envelope" and the peaks of adjacent cycles can have different amplitudes, where one of the above waveforms is Further modified by multiplication with an envelope parameter (eg, 0 to 1) that changes over time, the amplitude of the portion of the tactile output is adjusted stepwise over time as the tactile output is occurring.
特性周波数、振幅及び波形だけが、説明の便宜上図４Ｆ～４Ｋのサンプル触知出力パターンで表されているが、他の周波数、振幅及び波形を有する触知出力パターンも類似の目的のために用いることができる。例えば、０．５～４サイクルの間の波形を用いることができる。６０Ｈｚ～４００Ｈｚの範囲の他の周波数も同様に用いることができる。
ユーザーインターフェース及び関連するプロセス
Only characteristic frequencies, amplitudes and waveforms are represented in the sample tactile output patterns of FIGS. 4F-4K for convenience of explanation, but tactile output patterns with other frequencies, amplitudes and waveforms are also used for similar purposes. be able to. For example, waveforms between 0.5 and 4 cycles can be used. Other frequencies in the range of 60 Hz to 400 Hz can be used as well.
User interface and related processes
ここで、ディスプレイとタッチ感知面と、（任意選択的に）触知出力を生成するための１つ以上の触知出力生成器と、（任意選択的に）タッチ感知面との接触の強度を検出するための１つ以上のセンサとを備える、ポータブル多機能デバイス１００又はデバイス３００などの電子デバイス上で実装され得る、ユーザーインターフェース（「ＵＩ」）及び関連プロセスの実施形態に注意を向ける。
Here, the strength of contact between the display and the touch-sensitive surface, one or more tactile output generators for (arbitrarily) generating tactile output, and (arbitrarily) the touch-sensitive surface. Attention is paid to embodiments of user interfaces (“UI”) and related processes that can be implemented on electronic devices such as portable
図５Ａ～５ＡＴは、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替える間に、仮想オブジェクトの表現を表示するための、いくつかの実施形態による、例示ユーザーインターフェースを図示する。これらの図のユーザーインターフェースは、図８Ａ～８Ｅ、９Ａ～９Ｄ、１０Ａ～１０Ｄ、１６Ａ～１６Ｇ、１７Ａ～１７Ｄ、１８Ａ～１８Ｉ、１９Ａ～１９Ｈ及び２０Ａ～２０Ｆのプロセスを含む、以下に説明するプロセスを図示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して述べられる。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する表現的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上の図に表示されるユーザーインターフェースを表示する間に、タッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
5A-5AT are exemplary by some embodiments for displaying a representation of a virtual object while switching from displaying a first user interface area to displaying a second user interface area. Illustrate the user interface. The user interface of these figures comprises the processes of FIGS. 8A-8E, 9A-9D, 10A-10D, 16A-16G, 17A-17D, 18A-18I, 19A-19H and 20A-20F, described below. Is used to illustrate. For convenience of description, some of the embodiments are described with reference to operations performed on a device having a touch-
図５Ａは、図５Ｂ～５ＡＴに関して記載されているユーザーインターフェースが用いられる現実の前後関係を図示する。 FIG. 5A illustrates the actual context in which the user interfaces described for FIGS. 5B-5AT are used.
図５Ａは、テーブル５００４が位置する物理スペース５００２を図示する。デバイス１００は、ユーザーによってユーザーの手５００６に保持される。
FIG. 5A illustrates the
図５Ｂは、ディスプレイ１１２上に表示されたメッセージ送信ユーザーインターフェース５００８を図示する。メッセージ送信ユーザーインターフェース５００８は、受信したテキストメッセージ５０１２を含むメッセージバブル５０１０、送信したテキストメッセージ５０１６を含むメッセージバブル５０１４、メッセージにおいて受信した仮想オブジェクト（例えば、仮想椅子５０２０）を含むメッセージバブル５０１８及び仮想椅子５０２０が拡張現実視において（例えば、デバイス１００の１つ以上のカメラの視野の表現の範囲内で）見えるオブジェクトであることを示す仮想オブジェクトインジケータ５０２２を含む。メッセージ送信ユーザーインターフェース５００８は、メッセージ入力を表示するように構成されるメッセージ入力領域５０２４も含む。
FIG. 5B illustrates a message
図５Ｃ～５Ｇは、メッセージ送信ユーザーインターフェース５００８の一部をデバイス１００の１つ以上のカメラの視野により置き換えさせる入力を、図示する。図５Ｃにおいて、デバイス１００のタッチスクリーン１１２との接触５０２６が検出される。接触の特性強度は、強度レベルメータ５０２８で示すように、接触検出強度閾値ＩＴ０を上回り、かつ、ヒント押圧強度閾値ＩＴＨを下回る。図５Ｄにおいて、強度レベルメータ５０２８で示すように、ヒント押圧強度閾値ＩＴＨを上回る接触５０２６の特性強度の増加によって、メッセージバブル５０１８の領域が増大し、仮想椅子５０２０のサイズが増大し、そしてメッセージ送信ユーザーインターフェース５００８がメッセージバブル５０１８の後方でぼやけ始めている（例えば、接触の特性強度を増加させる効果の視覚フィードバックをユーザーに提供するために）。図５Ｅにおいて、強度レベルメータ５０２８で示すように、軽い押圧強度閾値ＩＴＬを上回る接触５０２６の特性強度の増加によって、メッセージバブル５０１８がプラッタ５０３０に置き換えられ、仮想椅子５０２０のサイズが更に増大し、そしてプラッタ５０３０の後方のメッセージ送信ユーザーインターフェース５００８のぼやけを増加させている。図５Ｆにおいて、強度レベルメータ５０２８で示すように、深い押圧強度閾値ＩＴＤを上回る接触５０２６の特性強度の増加によって、デバイス１００の触知出力生成器１６７に触知出力を（５０３２で図示されるように）出力させ、メッセージ送信ユーザーインターフェース５００８の一部をデバイス１００の１つ以上のカメラの視野に置き換えるための基準が満たされたことを示す。
5C-5G illustrate inputs that cause a portion of the message
いくつかの実施形態では、接触５０２６の特性強度が深い押圧強度閾値ＩＴＤに到達する前に、図５Ｆで図示するように、図５Ｃ～５Ｅに図示される進行は可逆である。例えば、図５Ｄ及び／又は５Ｅに図示される増加の後に接触５０２６の特性強度を低下させることは、接触５０２６の減少した強度レベルに対応するインターフェース状態が表示されるようにする（例えば、図５Ｅで示すインターフェースは接触の減少した特性強度が軽い押圧強度閾値ＩＴＬを上回るという判定にしたがって示され、図５Ｄで示すインターフェースは接触の減少した特性強度がヒント押圧強度閾値ＩＴＨを上回るという判定にしたがって示され、そして、図５Ｃで示すインターフェースは接触の減少した特性強度がヒント押圧強度閾値ＩＴＨを下回るという判定にしたがって示される）。いくつかの実施形態では、図５Ｄ及び／又は５Ｅに図示される増加の後に接触５０２６の特性強度を低下させることにより、図５Ｃで示すインターフェースが再表示させられる。
In some embodiments, the progressions illustrated in FIGS. 5C-5E are reversible, as illustrated in FIG. 5F, before the characteristic strength of the
図５Ｆ～５Ｊは、メッセージ送信ユーザーインターフェースの一部がデバイス１００の１つ以上のカメラ（以下「カメラ」）の視野と置き換えられるアニメーション化された遷移を図示する。図５Ｆから図５Ｇまでに、接触５０２６はタッチスクリーン１１２からリフトオフし、そして、仮想椅子５０２０は図５Ｉのその最終位置の方へ回転した。図５Ｇにおいて、カメラの視野５０３４は、プラッタ５０３０の図へとフェードインし始めた（点線によって示されるように）。図５Ｈにおいて、カメラの視野５０３４（例えば、カメラによって取り込まれる物理スペース５００２のビューを示す）は、プラッタ５０３０の図に、フェードインを完了した。図５Ｈから図５Ｉまでに、仮想椅子５０２０は、図５Ｉのその最終位置の方へ、その回転を続けた。図５Ｉにおいて、触知出力生成器１６７は、触知出力を（５０３６で図示されるように）出力して、少なくとも１つのプレーン（例えば、床面５０３８）がカメラの視野５０３４において検出されたことを示した。仮想椅子５０２０は、検出されたプレーンに（例えば、仮想オブジェクトが検出水平面（例えば床面５０３８）上の直立した向きに置かれるように構成されるというデバイス１００による決定にしたがって）配置される。仮想椅子５０２０のサイズは、メッセージ送信ユーザーインターフェースの一部がディスプレイ１１２上のカメラの視野５０３４の表現に変わるにつれて、ディスプレイ１１２で連続的に調整される。例えば、カメラの視野５０３４に示す物理スペース５００２に対する仮想椅子５０２０の縮尺は、仮想椅子５０２０の所定の「実世界」サイズ及び／又はカメラの視野５０３４のオブジェクト（例えばテーブル５００４）の検出サイズに基づいて、決定される。図５Ｊにおいて、仮想椅子５０２０は、カメラの視野５０３４の検出床面に対する所定の向きを有するその最終位置で示される。いくつかの実施形態では、仮想椅子５０２０の最初のランディング位置は、カメラの視野の検出されたプレーンに対して所定の位置、例えば検出されたプレーンの空き領域の中央）である。いくつかの実施形態では、接触５０２６のランディング位置は、接触５０２６のリフトオフ位置にしたがって決定される（例えば、接触５０２６の最初のリフトオフ位置は、拡張現実環境に遷移するための基準が図５Ｆにおいて満たされた後、タッチスクリーン１１２全体の接触５０２６の移動により接触５０２６の最初のタッチダウン位置と異なってもよい）。
5F-5J illustrate animated transitions in which part of the message sending user interface is replaced with the field of view of one or more cameras (hereinafter "cameras") of
図５Ｋ～５Ｌは、カメラの視野５０３４を調整するデバイス１００の移動（例えば、ユーザーの手５００６による）を図示する。デバイス１００が物理スペース５００２に対して移動されるにつれて、カメラの表示された視野５０３４は変化し、そして、仮想椅子５０２０はカメラの表示された視野５０３４の床面５０３８に対して同じ位置及び向きで付着したままである。
5K-5L illustrate the movement of the device 100 (eg, by the user's hand 5006) adjusting the field of
図５Ｍ～５Ｑは、カメラの表示された視野５０３４の床面５０３８にわたる仮想椅子５０２０の移動を生じさせる入力を図示する。図５Ｎにおいて、デバイス１００のタッチスクリーン１１２との接触５０４０は、仮想椅子５０２０に対応する位置で検出される。図５Ｎ～５Ｏにおいて、接触５０４０が矢印５０４２によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０４０によってドラッグされる。仮想椅子５０２０が接触５０４０によって移動されるにつれて、カメラの視野５０３４に示すように仮想椅子５０２０のサイズは変化して、物理スペース５００２に対する仮想椅子５０２０の縮尺を維持する。例えば、図５Ｎ～５Ｐで、仮想椅子５０２０がカメラの視野５０３４の前景から、カメラの視野５０３４においてデバイス１００からはより遠くてテーブル５００４にはより近い位置へ移動するにつれて、仮想椅子５０２０のサイズは減少する（例えば、それによって、カメラの視野５０３４のテーブル５００４に対する椅子の縮尺は維持される）。加えて、仮想椅子５０２０が接触５０４０によって移動されるにつれて、カメラの視野５０３４において識別されるプレーンは強調される。例えば、図５Ｏにおいて床平面５０３８が強調される。図５Ｏ～５Ｐにおいて、接触５０４０が矢印５０４４によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０４０によってドラッグされ続ける。図５Ｑにおいて、接触５０４０は、タッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、図５Ｎ～５Ｑに示すように、あたかも仮想椅子５０２０が接触５０４０によって床面５０３８にわたってドラッグされるかのように、仮想椅子５０２０の移動パスはカメラの視野５０３４の床面５０３８によって拘束される。いくつかの実施形態では、図５Ｎ～５Ｐに関して記載されている接触５０４０は、図５Ｃ～５Ｆに関して記載されている接触５０２６の継続である（例えば、接触５０２６のリフトオフは無く、メッセージ送信ユーザーインターフェース５００８の一部がカメラの視野５０３４によって置き換られるようにさせるのと同じ接触はまた、カメラの視野５０３４の仮想椅子５０２０をドラッグする）。
5M-5Q illustrate the inputs that result in the movement of the
図５Ｑ～５Ｕは、床面５０３８からカメラの視野５０３４において検出される異なるプレーン（例えば、テーブル面５０４６）への、仮想椅子５０２０の移動を引き起こす入力を図示する。図５Ｒにおいて、デバイス１００のタッチスクリーン１１２との接触５０５０は、仮想椅子５０２０に対応する位置で検出される。図５Ｒ～５Ｓにおいて、接触５０４８が矢印５０５０によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０４８によってドラッグされる。仮想椅子５０２０が接触５０４８によって移動されるにつれて、仮想椅子５０２０のサイズが変化してカメラの視野５０３４に示すように物理スペース５００２に対する仮想椅子５０２０の縮尺を維持する。加えて、仮想椅子５０２０が接触５０４０によって移動されるにつれて、テーブル基準面５０４６は強調される（例えば、図５Ｓに示すように）。図５Ｓ～５Ｔにおいて、接触５０４８が矢印５０５２によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０４０によってドラッグされ続ける。図５Ｕにおいて、接触５０４８はタッチスクリーン１１２からリフトオフしており、そして、仮想椅子５０２０は前と同じ方向に向かっている直立した向きのテーブル基準面５０４６に配置される。
5Q-5U illustrate the inputs that cause the
図５Ｕ～５ＡＤはタッチスクリーンディスプレイ１１２の端に仮想椅子５０２０をドラッグする入力を図示し、これによりカメラの視野５０３４が表示されないようにする。図５Ｖにおいて、デバイス１００のタッチスクリーン１１２との接触５０５４は、仮想椅子５０２０に対応する位置で検出される。図５Ｖ～５Ｗにおいて、接触５０５４が矢印５０５６によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０５４によってドラッグされる。図５Ｗ～５Ｘにおいて、接触５０５４が矢印５０５８によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は図５Ｘに表示される位置に接触５０５４によってドラッグされ続ける。
5U-5AD illustrate the input of dragging the
図５Ｕ～５Ｘに図示される接触５０５４による入力は、図５Ｙ～５ＡＤに示すように、カメラの視野５０３４をプラッタ５０３０に表示することから、カメラの視野５０３４を表示するのを中止して、メッセージ送信ユーザーインターフェース５００８を完全に表示することに戻るという遷移を引き起こす。図５Ｙにおいて、カメラの視野５０３４は、プラッタ５０３０においてフェードアウトを開始する。図５Ｙ～５Ｚにおいて、プラッタ５０３０は、メッセージバブル５０１８に遷移する。図５Ｚにおいて、カメラの視野５０３４は、もはや表示されない。図５ＡＡにおいて、メッセージ送信ユーザーインターフェース５００８はぼやけなくなり、メッセージバブル５０１８のサイズはメッセージバブル５０１８の元のサイズに（例えば、図５Ｂに示すように）戻る。
Since the input by the
図５ＡＡ～５ＡＤは、図５ＡＡの接触５０５４に対応する位置からメッセージ送信ユーザーインターフェース５００８（例えば、図５Ｂに示すように）の仮想椅子５０２０の元の位置へ仮想椅子５０２０が移動するにつれて発生する、仮想椅子５０２０のアニメーション化された遷移を、図示する。図５ＡＢにおいて、接触５０５４は、タッチスクリーン１１２からリフトオフしている。図５ＡＢ～５ＡＣにおいて、仮想椅子５０２０は、段階的にサイズが増加して、図５ＡＤのその最終位置の方へ回転する。
5AA-5AD occur as the
図５Ｂ～５ＡＤにおいて、仮想椅子５０２０は、メッセージ送信ユーザーインターフェース５００８の中で、また、カメラの表示された視野５０３４の中で、実質的に同じ三次元外観を有し、そして仮想椅子５０２０は、メッセージ送信ユーザーインターフェース５００８を表示することからカメラの視野５０３４を表示することへの遷移の間、及び逆遷移の間、その同じ三次元外観を維持する。いくつかの実施形態では、仮想椅子５０２０の表現は、アプリケーションユーザーインターフェース（例えば、メッセージ送信ユーザーインターフェース）において、拡張現実環境において（例えば、カメラの示された視野において）とは異なる外観を有する。例えば、仮想椅子５０２０は任意選択的にアプリケーションユーザーインターフェースにおいて二次元であるかより在来の型にのっとった見え方を有し、その一方で、拡張現実環境では三次元及びより現実的で質感のある見え方を有し、そして、アプリケーションユーザーインターフェースを表示することと拡張現実環境を表示することの間の遷移の間の、仮想椅子５０２０の中間の外観は、二次元の見え方と仮想椅子５０２０の三次元の見え方の間の一連の内挿された外観である。
In FIGS. 5B-5AD, the
図５ＡＥは、インターネットブラウザユーザーインターフェース５０６０を図示する。インターネットブラウザユーザーインターフェース５０６０は、ウェブブラウザのためのＵＲＬ／検索入力を表示するように構成されるＵＲＬ／検索入力領域５０６２及びブラウザ制御５０６４（例えば、バックボタン及びフォワードボタンを含むナビゲーション制御、共有インターフェースを表示するための共有制御、ブックマークインターフェースを表示するためのブックマーク制御及びタブインターフェースを表示するためのタブ制御）を含む。インターネットブラウザユーザーインターフェース５０６０は、ウェブオブジェクト５０６６、５０６８、５０７０、５０７２、５０７４及び５０７６も含む。いくつかの実施形態では、それぞれのウェブオブジェクトはリンクを含み、それによって、それぞれのウェブオブジェクト上のタップ入力に応答して、ウェブオブジェクトに対応するリンクの張られたインターネット位置がインターネットブラウザユーザーインターフェース５０６０に（例えば、それぞれのウェブオブジェクトの表示を置き換えて）表示される。ウェブオブジェクト５０６６、５０６８及び５０７２は、仮想オブジェクトインジケータ５０７８、５０８０及び５０８２によってそれぞれ示されるように、三次元仮想オブジェクトの二次元の表現を含む。ウェブオブジェクト５０７０、５０７４及び５０７６は、二次元画像を含む（しかし、仮想オブジェクトインジケータの欠如によって示されるように、ウェブオブジェクト５０７０、５０７４及び５０７６の二次元画像は三次元仮想オブジェクトに対応しない）。ウェブオブジェクト５０６８に対応する仮想オブジェクトは、ランプオブジェクト５０８４である。
FIG. 5AE illustrates an internet
図５ＡＦ～５ＡＨは、インターネットブラウザユーザーインターフェース５０６０の一部をカメラの視野５０３４により置き換えさせる入力を、図示する。図５ＡＦにおいて、デバイス１００のタッチスクリーン１１２との接触５０８６が検出される。接触の特性強度は、強度レベルメータ５０２８で示すように、接触検出強度閾値ＩＴ０を上回り、そして、ヒント押圧強度閾値ＩＴＨを下回る。図５ＡＧにおいて、強度レベルメータ５０２８で示すように、軽い押圧強度閾値ＩＴＬを上回る接触５０２６の特性強度の増加により、カメラの視野５０３４がウェブオブジェクト５０６８に表示させられた（例えば、仮想ランプ５０８４によりオーバレイされた）。図５ＡＨにおいて、強度レベルメータ５０２８で示すように、深い押圧強度閾値ＩＴＤを上回る接触５０８６の特性強度の増加により、カメラの視野５０３４が、（例えば、ＵＲＬ／検索入力領域５０６２及びブラウザ制御５０６４だけを残して）インターネットブラウザユーザーインターフェース５０６０のより大きな部分を置き換え、そして、デバイス１００の触知出力生成器１６７は（５０８８で図示されるように）触知出力を出力して、インターネットブラウザユーザーインターフェース５０６０の一部をカメラの視野５０３４に置き換えるための基準が満たされたことを示す。いくつかの実施形態では、図５ＡＦ～５ＡＨに関して記載されている入力に応答して、カメラの視野５０３４は、タッチスクリーンディスプレイ１１２上のインターネットブラウザユーザーインターフェース５０６を完全に置き換える。
5AF-5AH illustrate inputs that cause a portion of the Internet
図５ＡＩ～５ＡＭは、仮想ランプ５０８４の移動を生じさせる入力を図示する。図５ＡＩ～５ＡＪにおいて、接触５０８６が矢印５０９０によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は接触５０８６によってドラッグされる。仮想ランプ５０８４が接触５０８６によって移動されるにつれて、仮想ランプ５０８４のサイズは不変であり、そして、仮想ランプ５０８４のパスは任意選択的に、カメラの視野において捕えられる物理スペースの構造によって拘束されない。仮想ランプ５０８４が接触５０８６によって移動されるにつれて、カメラの視野５０３４において識別される平面は強調される。例えば、仮想ランプ５０８４が床平面５０３８の上を移動するにつれて、床平面５０３８は図５ＡＪにおいて強調される。図５ＡＪ～５ＡＫにおいて、接触５０８６が矢印５０９２によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は接触５０８６によってドラッグされ続ける。図５ＡＫ～５ＡＬにおいて、接触５０８６が矢印５０９４によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は接触５０８６によってドラッグされ続け、床平面５０３８は強調されなくなり、そして、仮想ランプ５０８４がテーブル５００４の上を移動するにつれて、テーブル面５０４６が強調される。図５ＡＭにおいて、接触５０８６は、タッチスクリーン１１２からリフトオフしている。接触５０８６がリフトオフしてしまうと、仮想ランプ５０８６のサイズはカメラの視野５０３４のテーブル５００４に対して正しい縮尺を有するように調整され、そして、仮想ランプ５０８６はカメラの視野５０３４のテーブル面５０４６上の直立した向きに置かれる。
5AI-5AM illustrate the inputs that cause the movement of the
図５ＡＭ～５ＡＱはタッチスクリーンディスプレイ１１２の端に仮想ランプ５０８４をドラッグする入力を図示し、これによりカメラの視野５０３４が表示されないようにし、インターネットブラウザユーザーインターフェース５０６０を復活させる。図５ＡＮにおいて、デバイス１００のタッチスクリーン１１２との接触５０９６は、仮想ランプ５０８４に対応する位置で検出される。図５ＡＮ～５ＡＯにおいて、接触５０９６が矢印５０９８によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は接触５０９６によってドラッグされる。図５ＡＯ～５ＡＰにおいて、接触５０５４が矢印５１００によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は図５ＡＰに表示される位置に接触５０９６によってドラッグされ続ける。図５ＡＱにおいて、接触５０９６は、タッチスクリーン１１２からリフトオフしている。
5 AM-5AQ illustrate the input of dragging the
図５ＡＭ～５ＡＰに図示される接触５０９６による入力は、図５ＡＱ～５ＡＴに示すように、カメラの視野５０３４を表示することから、カメラの視野５０３４を表示するのを中止して、インターネットブラウザユーザーインターフェース５０６０を完全に表示することに戻るという遷移を引き起こす。図５ＡＲにおいて、カメラの視野５０３４は（点線によって示されるように）フェードアウトし始める。図５ＡＲ～５ＡＴにおいて、仮想ランプ５０８４は、サイズが増加して、インターネットブラウザユーザーインターフェース５０６０のその元の位置の方へ移動する。図５ＡＳにおいて、カメラの視野５０３４はもはや表示されず、インターネットブラウザユーザーインターフェース５０６０は（点線によって示されるように）フェードインし始める。図５ＡＴにおいて、インターネットブラウザユーザーインターフェース５０６０は完全に表示され、そして、仮想ランプ５０８４はインターネットブラウザユーザーインターフェース５０６０内でその元のサイズ及び位置に戻っている。
Since the input by the
図６Ａ～６ＡＪは、いくつかの実施形態にしたがって、第１のユーザーインターフェース領域の仮想オブジェクトの第１の表現、第２のユーザーインターフェース領域の仮想オブジェクトの第２の表現及び１つ以上のカメラの視野の表現を有する仮想オブジェクトの第３の表現を表示するための例示ユーザーインターフェースを図示する。これらの図におけるユーザーインターフェースは、図８Ａ～８Ｅ、９Ａ～９Ｄ、１０Ａ～１０Ｄ、１６Ａ～１６Ｇ、１７Ａ～１７Ｄ、１８Ａ～１８Ｉ、１９Ａ～１９Ｈ及び２０Ａ～２０Ｆにおけるプロセスを含む、以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する表現的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上の図に表示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
6A-6AJ show a first representation of a virtual object in a first user interface area, a second representation of a virtual object in a second user interface area, and one or more cameras, according to some embodiments. Illustrated an exemplary user interface for displaying a third representation of a virtual object with a representation of the field of view. The user interfaces in these figures include the processes in FIGS. 8A-8E, 9A-9D, 10A-10D, 16A-16G, 17A-17D, 18A-18I, 19A-19H and 20A-20F, the processes described below. Is used to illustrate. For convenience of illustration, some of the embodiments are discussed with reference to operations performed on the device having the touch-
図６Ａは、受信したテキストメッセージ５０１２を含むメッセージバブル５０１０、送信したテキストメッセージ５０１６を含むメッセージバブル５０１４、メッセージにおいて受信した仮想オブジェクト（例えば、仮想椅子５０２０）を含むメッセージバブル５０１８及び仮想椅子５０２０が拡張現実視において（例えば、デバイス１００の１つ以上の表示されたカメラの視野の範囲内で）見えるオブジェクトであることを示す仮想オブジェクトインジケータ５０２２を含む、メッセージ送信ユーザーインターフェース５００８を図示する。メッセージ送信ユーザーインターフェース５００８は、図５Ｂに関して更に詳細に記載される。
FIG. 6A is an
図６Ｂ～６Ｃは、仮想椅子５０２０の回転を生じさせる入力を図示する。図６Ｂにおいて、デバイス１００のタッチスクリーン１１２との接触６００２が検出される。接触６００２は、矢印６００４によって示されるパスに沿って、タッチスクリーン１１２にわたって移動する。図６Ｃにおいて、接触の移動に応答して、メッセージ送信ユーザーインターフェース５００８は上方へスクロールされて（メッセージバブル５０１０をディスプレイからスクロールオフさせ、メッセージバブル５０１４及び５０１８を上方へスクロールさせ、付加的なメッセージバブル６００５を現し）、そして、仮想椅子５０２０は回転する（例えば、上方へ傾けられる）。仮想椅子５０２０の回転の大きさ及び方向は、矢印６００４によって示されるパスに沿った接触６００２の移動に対応する。図６Ｄにおいて、接触６００２は、タッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、メッセージバブル５０１８内の仮想椅子５０２０のこの回転の挙動が、仮想椅子５０２０がデバイス１００のカメラの視野を含む拡張現実環境において見える仮想オブジェクトであるという徴候として、使われる。
6B-6C illustrate the inputs that give rise to the rotation of the
図６Ｅ～６Ｌは、メッセージ送信ユーザーインターフェース５００８をステージングユーザーインターフェース６０１０により置き換えさせ、そして仮想椅子５０２０の向きをその後変える入力を、図示する。図６Ｅにおいて、デバイス１００のタッチスクリーン１１２との接触６００６が検出される。強度レベルメータ５０２８で示すように、接触の特性強度は、接触検出強度閾値ＩＴ０を上回り、そして、ヒント押圧強度閾値ＩＴＨを下回る。図６Ｆにおいて、強度レベルメータ５０２８で示すように、ヒント押圧強度閾値ＩＴＨを上回る接触６００６の特性強度の増加によって、メッセージバブル５０１８の領域が増大し、仮想椅子５０２０のサイズが増大し、そしてメッセージ送信ユーザーインターフェース５００８がメッセージバブル５０１８（例えば、接触の特性強度を増加させる効果の視覚フィードバックをユーザーに提供する）の後方でぼやけ始めた。図６Ｇにおいて、強度レベルメータ５０２８で示すように、軽い押圧強度閾値ＩＴＬを上回る接触６００６の特性強度の増加によって、メッセージバブル５０１８がプラッタ６００８に置き換えられ、仮想椅子５０２０のサイズが更に増大し、そしてプラッタ６００８の後方のメッセージ送信ユーザーインターフェース５００８のぼやけを増加させた。図６Ｈにおいて、強度レベルメータ５０２８で示すように、深い押圧強度閾値ＩＴＤを上回る接触６００６の特性強度の増加により、メッセージ送信ユーザーインターフェース５００８が表示されなくなり、ステージングユーザーインターフェース６０１０のフェードイン（点線によって示される）が起動される。加えて、図６Ｈで示すように、深い押圧強度閾値ＩＴＤを上回る接触６００６の特性強度の増加によって、デバイス１００の触知出力生成器１６７に触知出力を（６０１２で図示されるように）出力させ、メッセージ送信ユーザーインターフェース５００８をステージングユーザーインターフェース６０１０に置き換えるための基準が満たされたことを示す。
6E-6L illustrate inputs that cause the message sending
いくつかの実施形態では、接触６００６の特性強度が深い押圧強度閾値ＩＴＤに及ぶ前に、図６Ｈで図示するように、図６Ｅ～６Ｇに図示される進行は可逆である。例えば、図６Ｆ及び／又は６Ｇに図示される増加の後に接触６００６の特性強度を低下させることは、接触６００６の減少した強度レベルに、対応するインターフェース状態が表示されるようにする（例えば、図６Ｇで示すインターフェースは接触の減少した特性強度が軽い押圧強度閾値ＩＴＬを上回るという判定にしたがって示され、図６Ｆで示すインターフェースは接触の減少した特性強度がヒント押圧強度閾値ＩＴＨを上回るという判定にしたがって示され、そして、図６Ｅで示すインターフェースは接触の減少した特性強度がヒント押圧強度閾値ＩＴＨを下回るという判定にしたがって示される）。いくつかの実施形態では、図６Ｆ及び／又は６Ｇに図示される増加の後に接触６００６の特性強度を低下させることにより、図６Ｅで示すインターフェースが再表示させられる。
In some embodiments, the progressions illustrated in FIGS. 6E-6G are reversible, as illustrated in FIG. 6H, before the characteristic strength of
図６Ｉにおいて、ステージングユーザーインターフェース６０１０が表示される。ステージングユーザーインターフェース６０１０は、仮想椅子５０２０が表示されるステージ６０１４を含む。図６Ｈ～６Ｉから、仮想椅子５０２０は、図６Ｈの仮想椅子５０２０の位置から図６Ｉの仮想椅子５０２０の位置への遷移を示すために、アニメーション化される。例えば、仮想椅子５０２０は、ステージ６０１４（例えば、このようなその仮想椅子は、ステージ６０１４によってサポートされるように見える）に対して所定の位置、向き及び／又は距離に回転される。ステージングユーザーインターフェース６０１０はまた、（例えば、バック制御６０１６に対応する位置に入力されるタップによって）アクティブ化されると、前に表示されたユーザーインターフェース（例えば、メッセージ送信ユーザーインターフェース５００８）を再表示させる、バック制御６０１６を含む。ステージングユーザーインターフェース６０１０はまた、現在のディスプレイモード（例えば、現在のディスプレイモードは強調された「３Ｄ」インジケータによって示されるように、ステージングユーザーインターフェースモードである）を示し、そして、アクティブ化されると選択されたディスプレイモードに遷移する、トグル制御６０１８を含む。例えば、ステージングユーザーインターフェース６０１０が表示されている間に、トグル制御６０１８に対応する位置（例えば、テキスト「ワールド」を含むトグル制御６０１８の一部に対応する位置）での接触により入力されるタップによって、ステージングユーザーインターフェース６０１０はカメラの視野と置き換えられる。ステージングユーザーインターフェース６０１０はまた、（例えば、共有インターフェースを表示するための）シェア制御６０２０を含む。
In FIG. 6I, the staging
図６Ｊ～６Ｌは、接触６００６の移動によって生じるステージ６０１４に対する仮想椅子５０２０の回転を図示する。図６Ｊ～６Ｋにおいて、接触６００６が矢印６０２２によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は（例えば、接触６０６６の移動に対して垂直である第１の軸のまわりを）回転する。図６Ｋ～６Ｌにおいて、矢印６０２４によって示されるパスに沿って、そして、その後矢印６０２５によって示されるパスに沿って接触６００６が移動するにつれて、仮想椅子５０２０は（例えば、接触６０６６の移動に対して垂直である第２の軸のまわりを）回転する。図６Ｍにおいて、接触６００６はタッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、図６Ｊ～６Ｌに示すように、仮想椅子５０２０の回転はステージ６０１４の表面によって拘束される。例えば、仮想椅子５０２０の少なくとも１つの脚部は、仮想椅子の回転の間、ステージ６０１４の表面と接触したままである。いくつかの実施形態では、ステージ６０１４の表面は、仮想椅子５０２０の動きに特定の制約をもたらすことのない、仮想椅子５０２０の自由回転及び垂直並進移動の基準系としての役割を果たす。
6J-6L illustrate the rotation of the
図６Ｎ～６Ｏは、仮想椅子５０２０の表示されたサイズを調整する入力を図示する。図６Ｎにおいて、タッチスクリーン１１２との第１の接触６０２６及び第２の接触６０３０が検出される。第１の接触６０２６は矢印６０２８によって示されるパスに沿って移動し、そして、第１の接触６０２６の移動と同時に、第２の接触６０３０は矢印６０３２によって示されるパスに沿って移動する。図６Ｎ～６Ｏにおいて、第１の接触６０２６及び第２の接触６０３０が、それぞれ（例えば、デピンチジェスチャにおいて）、矢印６０２８及び６０３２によって示されるパスに沿って移動するにつれて、仮想椅子５０２０の表示されるサイズは増大する。図６Ｐにおいて、第１の接触６０３０及び第２の接触６０２６はタッチスクリーン１１２からリフトオフしており、そして、仮想椅子５０２０は接触６０２６及び６０３０のリフトオフの後増大したサイズを維持する。
6N-6O illustrate inputs that adjust the displayed size of the
図６Ｑ～６Ｕは、ステージングユーザーインターフェース６０１０をデバイス１００の１つ以上のカメラの視野６０３６により置き換えさせる入力を、図示する。図６Ｑにおいて、デバイス１００のタッチスクリーン１１２との接触６０３４が検出される。強度レベルメータ５０２８で示すように、接触の特性強度は、接触検出強度閾値ＩＴ０を上回り、そして、ヒント押圧強度閾値ＩＴＨを下回る。図６Ｒにおいて、強度レベルメータ５０２８で示すように、ヒント押圧強度閾値ＩＴＨを上回る接触５０２６の特性強度の増加により、ステージングユーザーインターフェース６０１０が（点線によって示されるように）仮想椅子５０２０の後方でぼやけ始めた。図６Ｓにおいて、強度レベルメータ５０２８で示すように、軽い押圧強度閾値ＩＴＬを上回る接触６０３４の特性強度の増加により、ステージングユーザーインターフェース６０１０が表示されなくなり、カメラの視野６０３６のフェードイン（点線によって示される）が起動される。図６Ｔにおいて、強度レベルメータ５０２８で示すように、深い押圧強度閾値ＩＴＤを上回る接触６０３４の特性強度の増加により、カメラの視野６０３６が表示させられる。加えて、図６Ｔで示すように、深い押圧強度閾値ＩＴＤを上回る接触６０３４の特性強度の増加によって、デバイス１００の触知出力生成器１６７に触知出力を（６０３８で図示されるように）出力させ、ステージングユーザーインターフェース６０１０の表示をカメラの視野６０３６の表示に置き換えるための基準が満たされたことを示す。図６Ｕにおいて、接触６０３４はタッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、接触６０３４の特性強度が深い押圧強度閾値ＩＴＤに及ぶ前に、図６Ｔで図示するように、図６Ｑ～６Ｔに図示される進行は可逆である。例えば、接触６０３４の特性強度を図６Ｒ及び／又は６Ｓに図示される増加の後に低下させることは、表示される接触６０３４の減少した強度レベルに対応するインターフェース状態を引き起こす。
6Q-6U illustrate inputs that cause the
図６Ｑ～６Ｕから、仮想椅子５０２０は検出されたプレーンに（例えば、デバイス１００による仮想椅子５０２０が床面５０３８などの検出水平面上の直立した向きに置かれるように構成されるという決定にしたがって）配置され、そして、仮想椅子５０２０のサイズは調整される（例えば、カメラの視野６０３６で示す物理スペース５００２に対する仮想椅子５０２０の縮尺は、仮想椅子５０２０の所定の「実世界」サイズ及び／又はカメラの視野６０３６のオブジェクト（例えばテーブル５００４）の検出サイズに基づいて、決定される）。ステージングインターフェース６０１０が表示された間に、（例えば、図６Ｊ～６Ｋに関して記載されているように）仮想椅子５０２０の回転によって生じる仮想椅子５０２０の向きは、仮想椅子５０２０がステージングユーザーインターフェース６０１０からカメラの視野６０３６まで遷移するのにつれて維持される。例えば、床面５０３８に対する仮想椅子５０２０の向きは、ステージ５０１４の表面に対する仮想椅子５０２０の最終的な向きと同じである。いくつかの実施形態では、ステージングユーザーインターフェースの仮想オブジェクト５０２０のサイズの調整は、仮想椅子５０２０のサイズが物理スペース５００２のサイズに対して視野６０３６において調整されるときに、考慮される。
From FIGS. 6Q-6U, the
図６Ｖ～６Ｙは、カメラの視野６０３６をステージングユーザーインターフェース６０１０により置き換えさせる入力を、図示する。図６Ｖにおいて、トグル制御６０１８（例えば、テキスト「３Ｄ」を含むトグル制御６０１８の一部に対応する位置）に対応する位置で、接触６０４０による入力（例えば、タップ入力）が検出される。図６Ｗ～６Ｙにおいて、接触６０４０による入力に応答して、カメラの視野６０３６は（図６Ｗの点線によって示すように）フェードアウトし、ステージングユーザーインターフェース６０１０は（図６Ｘの点線によって示すように）フェードインし、そして、ステージングユーザーインターフェース６０１０は（図６Ｙに示すように）完全に表示される。図６Ｖ～６Ｙから、仮想椅子５０２０のサイズは調整され、そして、仮想椅子５０２０の位置は変化する（例えば、仮想椅子５０２０をステージングユーザーインターフェースのための所定の位置及びサイズに戻すために）。
6V-6Y illustrate inputs that cause the camera's field of
図６Ｚ～６ＡＣは、ステージングユーザーインターフェース６０１０をメッセージ送信ユーザーインターフェース５００８により置き換えさせる入力を、図示する。図６Ｚにおいて、接触６０４２による入力（例えば、タップ入力）は、バック制御６０１６に対応する位置で検出される。図６ＡＡ～６ＡＣにおいて、接触６０４２による入力に応答して、ステージングユーザーインターフェース６０１０は（図６ＡＡの点線によって示すように）フェードアウトし、メッセージ送信ユーザーインターフェース５００８は（図６ＡＢの点線によって示すように）フェードインし、そして、メッセージ送信ユーザーインターフェース５００８は（図６ＡＣに示すように）完全に表示される。図６Ｚ～６ＡＢから、仮想椅子５０２０のサイズ、向き及び位置は、ディスプレイ上で連続的に調整される（例えば、仮想椅子５０２０をメッセージ送信ユーザーインターフェース５００８のための所定の位置、サイズ及び向きに戻すために）。
6Z-6AC illustrate inputs that cause the
図６ＡＤ～６ＡＪは、メッセージ送信ユーザーインターフェース５００８を（例えば、ステージングユーザーインターフェース６０１０の表示をバイパスして）カメラの視野６０３６により置き換えさせる入力を、図示する。図６ＡＤにおいて、接触６０４４は仮想椅子５０２０に対応する位置で検出される。接触６０４４による入力は、長いタッチジェスチャ（その間は接触６０４４が、少なくとも所定の閾値時間に対して閾値移動量未満の仮想オブジェクト５０２０の表現に対応するタッチ感知面上の場所に維持される）とそれに続く（上方へ仮想椅子５０２０をドラッグする）上方へのスワイプジェスチャを含む。図６ＡＤ～６ＡＥに示すように、仮想椅子５０２０は接触６０４４が矢印６０４６によって示されるパスに沿って移動するにつれて、上方へドラッグされる。図６ＡＥにおいて、メッセージ送信ユーザーインターフェース５００８は仮想椅子５０２０の後方でフェードアウトする。図６ＡＥ～６ＡＦに示すように、接触６０４４が矢印６０４８によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は上方へドラッグされ続ける。図６ＡＦにおいて、カメラの視野５０３６は、仮想椅子５０２０の後方でフェードインする。図６ＡＧにおいて、長いタッチジェスチャとそれに続く上方へのスワイプジェスチャを含む接触６０４４による入力に応答して、カメラの視野５０３６は完全に表示される。図６ＡＨにおいて、接触６０４４はタッチスクリーン１１２からリフトオフする。図６ＡＨ～６ＡＪにおいて、接触６０４４のリフトオフに応答して、仮想椅子５０２０は、（例えば、仮想椅子５０２０がもはや接触によって高速されないか又はドラッグされないので）リリースされて、プレーン（例えば、水平の（床）表面が仮想椅子５０２０に対応するという判定にしたがって、床面５０３８）に落ちる。加えて、図６ＡＪで図示するように、デバイス１００の触知出力生成器１６７は、触知出力を（６０５０で図示するように）出力して、仮想椅子５０２０が床面５０３８にランディングしたことを示す。
6AD-6AJ illustrate inputs that cause the message sending
図７Ａ～７Ｐは、いくつかの実施形態にしたがって、アイテムが仮想三次元オブジェクトに対応することを示すための視覚的な指示を有するアイテムを表示するための、例示ユーザーインターフェースを図示する。これらの図におけるユーザーインターフェースは、図８Ａ～８Ｅ、９Ａ～９Ｄ、１０Ａ～１０Ｄ、１６Ａ～１６Ｇ、１７Ａ～１７Ｄ、１８Ａ～１８Ｉ、１９Ａ～１９Ｈ及び２０Ａ～２０Ｆにおけるプロセスを含む、以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する表現的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上の図に表示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
7A-7P illustrate an exemplary user interface for displaying an item with visual instructions to indicate that the item corresponds to a virtual 3D object, according to some embodiments. The user interfaces in these figures include the processes in FIGS. 8A-8E, 9A-9D, 10A-10D, 16A-16G, 17A-17D, 18A-18I, 19A-19H and 20A-20F, the processes described below. Is used to illustrate. For convenience of illustration, some of the embodiments are discussed with reference to operations performed on the device having the touch-
図７Ａは、アプリケーションのメニューのためのユーザーインターフェース４００が表示される間に検出される入力を図示する。入力は要求に対応して、第１のユーザーインターフェース（例えば、インターネットブラウザユーザーインターフェース５０６０）を表示する。図７Ａにおいて、接触７０００による入力（例えば、タップ入力）がブラウザモジュール１４７のためのアイコン４２０に対応する位置で検出される。入力に応答して、図７Ｂに示すように、インターネットブラウザユーザーインターフェース５０６０が表示される。
FIG. 7A illustrates the inputs detected while the
図７Ｂは、（例えば、図５ＡＥに関して詳細に説明したような）インターネットブラウザユーザーインターフェース５０６０を図示する。インターネットブラウザユーザーインターフェース５０６０は、ウェブオブジェクト５０６６、５０６８、５０７０、５０７２、５０７４及び５０７６を含む。ウェブオブジェクト５０６６、５０６８及び５０７２はそれぞれ、仮想オブジェクトインジケータ５０７８、５０８０及び５０８２によって示されるような、三次元仮想オブジェクトの二次元の表現を含む。ウェブオブジェクト５０７０、５０７４及び５０７６は、二次元画像を含む（しかし、ウェブオブジェクト５０７０、５０７４及び５０７６の二次元画像は、仮想オブジェクトインジケータの欠如によって示されるように、三次元仮想オブジェクトに対応しない）。
FIG. 7B illustrates an internet browser user interface 5060 (eg, as described in detail with respect to FIG. 5AE). The internet
図７Ｃ～７Ｄは、インターネットブラウザユーザーインターフェース５０６０の並進移動（例えば、スクロール）が生じさせる入力を図示する。図７Ｂにおいて、タッチスクリーン１１２との接触７００２が検出される。図７Ｃ～７Ｄにおいて、接触７００２が矢印７００４によって示されるパスに沿って移動するにつれて、ウェブオブジェクト５０６６、５０６８、５０７０、５０７２、５０７４及び５０７６は上方へスクロールし、付加的なウェブオブジェクト７００３及び７００５を現す。加えて、接触７００２が矢印７００４によって示されるパスに沿って移動するにつれて、仮想オブジェクトインジケータ５０７８、５０８０及び５０８２をそれぞれ含むウェブオブジェクト５０６６、５０６８及び５０７２の仮想オブジェクトは、入力の（上方へ垂直な）方向にしたがって回転する（例えば、上方へ傾く）。例えば、仮想ランプ５０８４は、図７Ｃの第１の向きから図７Ｄの第２の向きまで上方へ傾く。ウェブオブジェクト５０７０、５０７４及び５０７６の二次元画像は、接触がインターネットブラウザユーザーインターフェース５０６０をスクロールするにつれて回転はしない。図７Ｅにおいて、接触７００２はタッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、ウェブオブジェクト５０６６、５０６８及び５０７２で表されるオブジェクトの回転挙動は、これらのウェブオブジェクトが拡張現実環境において見える対応する三次元仮想オブジェクトを有するという視覚的な指示として使われ、その一方で、ウェブオブジェクト５０７０、５０７４及び５０７６で表されるオブジェクトのこのような回転挙動の欠如は、これらのウェブオブジェクトが拡張現実環境において見える対応する三次元仮想オブジェクトを有しないという視覚的な指示として使われる。
7C-7D illustrate the inputs produced by translational movement (eg, scrolling) of the Internet
図７Ｆ～７Ｇは、仮想オブジェクトが物理的世界に対するデバイス１００の向きの変化に応答してディスプレイ上で回転する視差効果を図示する。
7F-7G illustrate the parallax effect in which a virtual object rotates on a display in response to changes in the orientation of the
図７Ｆ１は、デバイス１００が実質的に垂直向きとなるように、ユーザー７００６によってユーザーの手５００６に保持されるデバイス１００を図示する。図７Ｆ２は、デバイス１００が図７Ｆ１において図示される向きにあるときにデバイス１００によって表示される、インターネットブラウザユーザーインターフェース５０６０を図示する。
FIG. 7F1 illustrates the
図７Ｇ１は、デバイス１００が実質的に横向きとなるように、ユーザー７００６によってユーザーの手５００６に保持されるデバイス１００を図示する。図７Ｇ２は、デバイス１００が図７Ｇ１において図示される向きにあるときにデバイス１００によって表示される、インターネットブラウザユーザーインターフェース５０６０を図示する。図７Ｆ２から図７Ｇ２までに、仮想オブジェクトインジケータ５０７８、５０８０及び５０８２をそれぞれ含むウェブオブジェクト５０６６、５０６８及び５０７２の仮想オブジェクトの向きは、デバイスの方向の変化にしたがって回転する（例えば、上方へ傾く）。例えば、仮想ランプ５０８４は、物理空間におけるデバイス向きの同時並行の変化にしたがって、図７Ｆ２の第１の向きから図７Ｇ２の第２の向きまで上方へ傾く。ウェブオブジェクト５０７０、５０７４及び５０７６の二次元画像は、デバイスの向きが変化するにつれて回転はしない。いくつかの実施形態では、ウェブオブジェクト５０６６、５０６８及び５０７２で表されるオブジェクトの回転挙動は、これらのウェブオブジェクトが拡張現実環境において見える対応する三次元仮想オブジェクトを有するという視覚的な指示として使われ、その一方で、ウェブオブジェクト５０７０、５０７４及び５０７６で表されるオブジェクトのこのような回転挙動の欠如は、これらのウェブオブジェクトが拡張現実環境において見える対応する三次元仮想オブジェクトを有しないという視覚的な指示として使われる。
FIG. 7G1 illustrates the
図７Ｈ～７Ｌは、第２のユーザーインターフェース（例えば、メッセージ送信ユーザーインターフェース５００８）を表示する要求に対応する入力を図示する。図７Ｈにおいて、接触７００８がディスプレイ１１２の下側縁部に対応する位置で検出される。図７Ｈ～７Ｉにおいて、接触７００８は、矢印７０１０によって示されるパスに沿って、上方へ移動する。図７Ｉ～７Ｊにおいて、接触７００８は、矢印７０１２によって示されるパスに沿って上方へ移動し続ける。図７Ｈ～７Ｊにおいて、接触７００８が上方へディスプレイ１１２の下側縁部から上方へ移動するにつれて、図７Ｉに示すように、インターネットブラウザユーザーインターフェース５０６０のサイズは減少し、そして、図７Ｊで、マルチタスキングユーザーインターフェース７０１２が（例えば、接触７００８による上方へのエッジスワイプジェスチャに応答して）表示される。マルチタスキングユーザーインターフェース７０１２は、保持された状態（例えば、保持された状態は、それぞれのアプリケーションがデバイス上で実行されるフォアグラウンドのアプリケーション用であったときの、それぞれのアプリケーションの最後の状態である）及び各種の制御インターフェース（例えば、図７Ｊで図示するように、制御センターユーザーインターフェース７０１４、インターネットブラウザユーザーインターフェース５０６０及びメッセージ送信ユーザーインターフェース５００８）を有する各種のアプリケーションの中からインターフェースの選択を可能にするように、構成される。図７Ｋにおいて、接触７００８はタッチスクリーン１１２からリフトオフする。図７Ｌにおいて、接触７０１６による入力（例えば、タップ入力）がメッセージ送信ユーザーインターフェース５００８に対応する位置で検出される。接触７０１６による入力に応答して、図７Ｍで図示するように、メッセージ送信ユーザーインターフェース５００８が表示される。
7H-7L illustrate the input corresponding to the request to display the second user interface (eg, message sending user interface 5008). In FIG. 7H, the
図７Ｍは、メッセージで受け取られる仮想オブジェクト（例えば、仮想椅子５０２０）と、仮想椅子５０２０が仮想三次元オブジェクト（例えば、拡張現実ビューにおいて見えるオブジェクト及び／又は異なる角度から見えるオブジェクト）であることを示すための仮想オブジェクトインジケータ５０２２とを含むメッセージバブル５０１８を含む、（例えば、図５Ｂに関する更なる詳細にて説明したような）メッセージ送信ユーザーインターフェース５００８を図示する。メッセージ送信ユーザーインターフェース５００８はまた、送信したテキストメッセージを含むメッセージバブル６００５及び絵文字７０２０を含む受信したテキストメッセージを含むメッセージバブル７０１８を含む。絵文字７０２０は、仮想三次元オブジェクトに対応しない二次元画像である。このために、絵文字７０２０は、仮想オブジェクトインジケータなしで表示される。
FIG. 7M shows a virtual object received in a message (eg, virtual chair 5020) and a
図７Ｎは、マップ７０２４を含むマップユーザーインターフェース７０２２、第１の関心地点のための関心地点情報領域７０２６及び第２の関心地点のための関心地点情報領域７０３２を図示する。例えば、第１の関心地点及び第２の関心地点は、検索入力領域７０２５の検索入力「Ａｐｐｌｅ」に対応するマップ７０２４によって示される領域の中であるかすぐ近くの検索結果である。第１の関心地点情報領域７０２６において、第１の関心地点オブジェクト７０２８が仮想オブジェクトインジケータ７０３０によって表示されて、第１の関心地点オブジェクト７０２８が仮想三次元オブジェクトであることを示す。第２の関心地点情報領域７０３２において、第２の関心地点オブジェクト７０３４は仮想オブジェクトインジケータなしで表示され、それは第２の関心地点オブジェクト７０３４が拡張現実ビューにおいて見える仮想三次元オブジェクトに対応しないからである。
FIG. 7N illustrates a
図７Ｏは、ファイル管理制御７０３８、ファイル管理検索入力領域７０４０、第１のファイル（例えば、ポータブルドキュメントフォーマット（ＰＤＦ）ファイル）のためのファイル情報領域７０４２、第２のファイル（例えば、写真ファイル）のためのファイル情報領域７０４４、第３のファイル（例えば、仮想椅子オブジェクト）のためのファイル情報領域７０４６及び第４のファイル（例えば、ＰＤＦファイル）のためのファイル情報領域７０４８を含む、ファイル管理ユーザーインターフェース７０３６を図示する。第３のファイル情報領域７０４６は、第３のファイルが仮想三次元オブジェクトに対応することを示すためにファイル情報領域７０４６のファイルプレビューオブジェクト７０４５に隣接して表示される仮想オブジェクトインジケータ７０５０を含む。第１のファイル情報領域７０４２、第２のファイル情報領域７０４４及び第４のファイル情報領域７０４８は、これらのファイル情報領域に対応するファイルが拡張現実環境において見える対応する仮想三次元オブジェクトを有しないので、仮想オブジェクトインジケータなしで表示される。
FIG. 7O shows a
図７Ｐは、電子メールナビゲーション制御７０５４、電子メール情報領域７０５６及び第１のアタッチメント７０６０の表現及び第２のアタッチメント７０６２の表現を含む電子メールコンテンツ領域７０５８を含む電子メールユーザーインターフェース７０５２を図示する。第１のアタッチメント７０６０の表現は、第１のアタッチメントが拡張現実環境において見える仮想三次元オブジェクトであることを示すための仮想オブジェクトインジケータ７０６４を含む。第２のアタッチメントが拡張現実環境において見える仮想三次元オブジェクトでないので、第２のアタッチメント７０６２は仮想オブジェクトインジケータなしで表示される。
FIG. 7P illustrates an
図８Ａ～８Ｅは、いくつかの実施形態にしたがって、仮想オブジェクトの表現を表示すると共に第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替える、方法８００を図示しているフローチャートである。方法８００は、ディスプレイ、タッチ感知面及び１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面から反対側のデバイスの側の１つ以上の背面カメラ）を有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル型多機能デバイス１００）で実行される。いくつかの実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面はディスプレイ上にあるか又はディスプレイと統合される。いくつかの実施形態では、ディスプレイは、タッチ感知面から分離している。方法８００のいくつかの操作は任意選択的に組み合わされ、かつ／又は、いくつかの操作の順序は任意選択的に変更される。
8A-8E illustrate
方法８００は、仮想オブジェクトの表現を第１のユーザーインターフェース領域に表示するデバイスのタッチ感知面で接触によって入力を検出することに関する。入力に応答して、デバイスは、第１のユーザーインターフェース領域の少なくとも一部の表示をデバイスの１つ以上のカメラの視野に置き換えると共に、連続的に仮想オブジェクトの表現を表示するべきかどうか判定するための基準を使用する。第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野に置き換えると共に、連続的に仮想オブジェクトの表現を表示するべきかどうか判定するための基準を使用することにより、入力に応答して複数の異なるタイプの操作の実行することが可能となる。入力に応答して（例えば、ユーザーインターフェースの少なくとも一部の表示を１つ以上のカメラの視野に置き換えるか、又は第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野の表現に置き換えることなく、第１のユーザーインターフェース領域の表示を維持することによって）複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することのできる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
デバイスは、ディスプレイ１１２上の第１のユーザーインターフェース領域（例えば、二次元のグラフィックユーザーインターフェース又は一部（例えば、家具画像の一覧可能なリスト、１つ以上の選択可能なオブジェクトを含んでいる画像など））に仮想オブジェクトの表現（例えば、仮想椅子５０２０、仮想ランプ５０８４、靴、家具、手工具、装飾、人々、絵文字、ゲームキャラクタ、仮想家具などの、三次元オブジェクトのグラフィック表現）を表示する（８０２）。例えば、第１のユーザーインターフェース領域は、図５Ｂで示すメッセージ送信ユーザーインターフェース５００８又は図５ＡＥで示すインターネットブラウザユーザーインターフェース５０６０である。いくつかの実施形態では、第１のユーザーインターフェース領域は、デバイスを囲んでいる物理的環境の画像以外のバックグラウンドを含む（例えば、第１のユーザーインターフェース領域のバックグラウンドは、予め選択された背景色／パターンであるか、又は、１つ以上のカメラによって並行して取り込まれる出力像と異なり、かつ１つ以上のカメラの視野の有効なコンテンツと異なる背景画像である）。
The device is a first user interface area on the
ディスプレイ上の第１のユーザーインターフェース領域の仮想オブジェクトの第１の表現を表示すると共に、デバイスは、ディスプレイ上の仮想オブジェクトの表現に対応するタッチ感知面１１２上の位置で、接触による第１の入力を検出する（８０４）（例えば、接触はタッチスクリーンディスプレイ上の仮想オブジェクトの第１の表現上で検出されるか、又は、接触は、仮想オブジェクトの第１の表現を有する第１のユーザーインターフェース領域において並行して表示され、そして、接触によって起動されると仮想オブジェクトのＡＲビューの表示をトリガするように構成されるアフォーダンス上で、検出される）。例えば、第１の入力は、図５Ｃ～５Ｆに関して記載されている接触５０２０による入力又は図５ＡＦ～５ＡＬに関して記載されている接触５０８６による入力である。
While displaying the first representation of the virtual object in the first user interface area on the display, the device is at the position on the touch
接触によって第１の入力を検出することに応答して（８０６）、接触による第１の入力が第１の（例えば、ＡＲトリガ）基準を満たすという判定にしたがって（例えば、ＡＲトリガ基準は、スワイプ入力、タッチホールド入力、押圧入力、タップ入力、所定の強度閾値以上の強度を有する激しい押圧又は、カメラのアクティブ化、デバイスを囲んでいる物理的環境の拡張現実（ＡＲ）ビューの表示、物理的環境の拡張現実ビュー内部の仮想オブジェクトの三次元の配置及び／若しくは上記のアクションの２つ以上の組合せをトリガすることに関連した、所定の別のタイプの入力ジェスチャを識別するように構成される基準である）、デバイスは、第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野の表現に置き換えることを含むディスプレイ上の第２のユーザーインターフェース領域を表示し、そして、デバイスは、仮想オブジェクトの表現を連続的に表示すると共に、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替える。例えば、ディスプレイ上の第２のユーザーインターフェース領域は、図５Ｈに関して記載されているプラッタ５０３０のカメラの視野５０３４又は図５ＡＨに関して記載されているカメラの視野５０３４である。図５Ｃ～５Ｉにおいて、接触５０２６による入力が深い押圧強度閾値ＩＴＤを上回って増加する特性強度を有するという判定にしたがって、仮想椅子オブジェクト５０２０は、連続的に表示されると共に、第１のユーザーインターフェース領域（メッセージ送信ユーザーインターフェース５００８）を表示することから、メッセージ送信ユーザーインターフェース５００８の一部の表示をプラッタ５０３０のカメラの視野５０３４に置き換える第２のユーザーインターフェース領域を表示することに切り替える。図５ＡＦ～５ＡＨにおいて、接触５０８６による入力が深い押圧強度閾値ＩＴＤを上回って増加する特性強度を有するという判定にしたがって、仮想ランプオブジェクト５０８４は、連続的に表示されると共に、第１のユーザーインターフェース領域（インターネットブラウザユーザーインターフェース５０６０）を表示することから、インターネットブラウザユーザーインターフェース５０６０の一部の表示をカメラの視野５０３４に置き換える第２のユーザーインターフェース領域を表示することに切り替える。
In response to detecting the first input by contact (806), according to the determination that the first input by contact meets the first (eg, AR trigger) criterion (eg, the AR trigger criterion is swipe). Input, touch hold input, press input, tap input, intense press with intensity above a given intensity threshold or camera activation, augmented reality (AR) view display of the physical environment surrounding the device, physical Configured to identify another type of input gesture associated with triggering a three-dimensional placement of virtual objects inside an augmented reality view of an environment and / or a combination of two or more of the above actions. The device displays a second user interface area on the display, including replacing at least a portion of the display in the first user interface area with a representation of the field of view of one or more cameras. The device continuously displays the representation of the virtual object and switches from displaying the first user interface area to displaying the second user interface area. For example, the second user interface area on the display is the field of
いくつかの実施形態では、連続的に仮想オブジェクトの表現を表示することは、仮想オブジェクトの表現の表示を維持するか又は仮想オブジェクトの第２の表現に変化している仮想オブジェクトの第１の表現のアニメーション化された遷移（例えば、異なるサイズの、異なる視角からの、異なる描画スタイルの、又は、ディスプレイ上の異なる位置の、仮想オブジェクトのビュー）を表示することを含む。いくつかの実施形態では、１つ以上のカメラの視野５０３４は、デバイスの位置及び向きが（例えば、図５Ｋ～５Ｌで図示されるように）物理的環境に対して変化するときにリアルタイムに更新される、デバイスを囲んでいる物理的環境５００２のライブ画像を表示する。いくつかの実施形態では、第２のユーザーインターフェース領域は、ディスプレイ上の第１のユーザーインターフェース領域を完全に置き換える。
In some embodiments, displaying a representation of a virtual object in succession maintains the representation of the representation of the virtual object or changes to the second representation of the virtual object as the first representation of the virtual object. Includes displaying animated transitions of (eg, views of virtual objects of different sizes, from different viewing angles, different drawing styles, or at different positions on the display). In some embodiments, the field of
いくつかの実施形態では、第２のユーザーインターフェース領域は、第１のユーザーインターフェース領域の一部に重なる（例えば、第１のユーザーインターフェース領域の一部は、ディスプレイの端に沿って、又は、ディスプレイの境界周辺に示される）。いくつかの実施形態では、第２のユーザーインターフェース領域は、第１のユーザーインターフェース領域の隣にポップアップする。いくつかの実施形態では、第１のユーザーインターフェース領域の中のバックグラウンドは、カメラの視野５０３４のコンテンツと置き換えられる。いくつかの実施形態では、デバイスは、第１のユーザーインターフェース領域で示す第１の向きから第２の向き（例えば、１つ以上のカメラの視野において捕えられる物理的環境の一部の現在の向きに対して所定の向き）まで（例えば、図５Ｅ～５Ｉで図示されるように）移動して回転している仮想オブジェクトを示す、アニメーション化された遷移を表示する。例えば、アニメーションは、仮想オブジェクトの二次元の表現を表示すると共に第１のユーザーインターフェース領域を表示することから、仮想オブジェクトの三次元の表現を表示すると共に第２のユーザーインターフェース領域を表示することへの遷移を含む。いくつかの実施形態では、仮想オブジェクトの三次元の表現は、二次元のグラフィカルユーザーインターフェース（例えば、第１のユーザーインターフェース領域）に示すように仮想オブジェクトの形状及び向きに基づいて予め定義されるアンカー平面を有する。拡張現実ビュー（例えば、第２のユーザーインターフェース領域）に遷移するときに、仮想オブジェクトの三次元の表現はディスプレイ上の仮想オブジェクトの元の位置からディスプレイ上の新しい位置まで（例えば、拡張現実ビューの中央又は拡張現実ビューの別の所定の位置まで）移動されて、サイズ変更されて、方向変更されて、そして、移動の間、又は、移動の終了後、仮想オブジェクトの三次元の表現が１つ以上のカメラの視野において識別される所定のプレーン（例えば、仮想オブジェクトの三次元の表現のためのサポートプレーンとして役割を果たすことができる直立壁又は水平床面などの物理表面）に対する所定の位置及び／又は向きにあるように、仮想オブジェクトの三次元の表現は方向変更される。
In some embodiments, the second user interface area overlaps a portion of the first user interface area (eg, a portion of the first user interface area is along the edge of the display or on the display. Shown around the boundaries of). In some embodiments, the second user interface area pops up next to the first user interface area. In some embodiments, the background within the first user interface area is replaced with the content of the camera field of
いくつかの実施形態では、第１の基準は、少なくとも所定の時間（例えば、長い押圧の時間閾値）の間に閾値移動量未満で仮想オブジェクトの表現に対応する、タッチ感知面上の場所に接触が維持されるときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（８０８）。いくつかの実施形態では、接触が別のタイプのジェスチャ（例えば、タップ）を認識するための基準を満たすという判定にしたがって、デバイスはＡＲユーザーインターフェースをトリガさせること以外の別の所定の機能を実行すると共に仮想オブジェクトの表示を維持する。連続的に仮想オブジェクトの表現を表示すると共に第１のユーザーインターフェース領域の少なくとも一部の表示をカメラの視野に置き換えるべきかどうかを判定することは、接触が少なくとも所定の時間の間に閾値移動量未満で仮想オブジェクトの表現に対応するタッチ感知面上の場所に維持されるかどうかに応じて、入力に応答した複数の異なるタイプの操作の実行を可能にする。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。 In some embodiments, the first criterion contacts a location on the touch-sensitive surface that corresponds to the representation of the virtual object with less than the threshold movement amount for at least a predetermined time (eg, a long press time threshold). Includes criteria that are met when is maintained (eg, according to the determination that it is) (808). In some embodiments, the device performs another predetermined function other than triggering the AR user interface, according to the determination that the contact meets the criteria for recognizing another type of gesture (eg, tap). And keep the virtual object visible. Determining whether to continuously display a representation of a virtual object and replace at least a portion of the display in the first user interface area with the field of view of the camera is a threshold movement amount during at least a predetermined time of contact. Allows you to perform several different types of operations in response to input, depending on whether it is maintained in a location on the touch-sensitive surface that corresponds to the representation of the virtual object. Allowing users to perform different types of operations in response to input increases the efficiency with which users can perform these operations, thereby enhancing the usability of the device and, in addition, it. However, it improves the battery life of the device by reducing power consumption and allowing users to use the device faster and more efficiently.
いくつかの実施形態では、第１の基準は、接触の特性強度が第１の強度閾値（例えば、軽い押圧強度閾値ＩＴＬ又は深い押圧強度閾値ＩＴＤ）を上回って増加するときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（８１０）。例えば、図５Ｃ～５Ｆに関して記載されているように、基準は、強度レベルメータ５０２８によって示されるように、接触５０２６の特性強度が深い押圧強度閾値ＩＴＤを上回って増加するときに満たされる。いくつかの実施形態では、接触が別のタイプのジェスチャ（例えば、タップ）を認識するための基準を満たすという判定にしたがって、デバイスはＡＲユーザーインターフェースをトリガさせること以外の別の所定の機能を実行すると共に仮想オブジェクトの表示を維持する。いくつかの実施形態では、第１の基準は、第１の入力がタップ入力でない（例えば、入力が、時間的閾値より大きい接触のタッチダウンとタップ接触のリフトオフの間の経過時間を有する）ことを要求する。連続的に仮想オブジェクトの表現を表示すると共に第１のユーザーインターフェース領域の少なくとも一部の表示をカメラの視野に置き換えるべきかどうかを判定することは、接触の特性強度が第１の強度閾値を上回って増加するかどうかに応じて、入力に応答した複数の異なるタイプの操作の実行を可能にする。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
In some embodiments, the first criterion is when the characteristic strength of the contact increases above the first strength threshold (eg, light press strength threshold ITL or deep press strength threshold IT D ) (eg, for example). Includes criteria that are met (according to the determination that it is) (810). For example, as described for FIGS. 5C-5F, the criteria are met when the characteristic strength of the
いくつかの実施形態では、第１の基準は、接触の移動が所定の移動基準に合うときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（８１２）（例えば、接触が所定の閾値位置（例えば、第１のユーザーインターフェース領域の境界に対応する位置、接触の元の位置から間隔をおいた閾値距離である位置など）を越えたタッチ感知面にわたって移動する、接触が所定の閾値速度より大きい速度で移動する、接触の移動が押圧入力によって終了する、などである）。いくつかの実施形態では、仮想オブジェクトの表現は接触の移動の初期部分の間、接触によってドラッグされ、そして仮想オブジェクトは、第１の基準が満たされようとしていることを示すために所定の移動の基準を接触の移動が満たそうとするときに、接触とともに移動するのを止め、そして、接触の移動が続いて所定の移動の基準が接触の連続的な移動によって満たされる場合、第２のユーザーインターフェース領域を表示して、拡張現実ビューの範囲内に仮想オブジェクトを表示する遷移が始まる。いくつかの実施形態では、仮想オブジェクトが第１の入力の初期部分の間ドラッグされるときに、オブジェクトサイズ及びビューイング視点は変化せず、そして、いったん拡張現実ビューが表示されて仮想オブジェクトが拡張現実ビューの位置にドロップされると、仮想オブジェクトは、拡張現実ビューの仮想オブジェクトのドロップオフの位置によって表される物理的位置に依存したサイズ及びビューイング視点によって表示される。連続的に仮想オブジェクトの表現を表示すると共に第１のユーザーインターフェース領域の少なくとも一部の表示をカメラの視野に置き換えるべきかどうかを判定することは、接触の移動が所定の移動基準を満たすかどうかに応じて、入力に応答した複数の異なるタイプの操作の実行を可能にする。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。 In some embodiments, the first criterion comprises a criterion that is met when the movement of the contact meets a predetermined movement criterion (eg, according to a determination that it is) (812) (eg, the contact is predetermined). A contact that moves over a touch-sensitive surface beyond a threshold position (eg, a position corresponding to the boundary of a first user interface region, a position that is a threshold distance spaced from the original position of contact, etc.) It moves at a speed higher than the threshold speed, the movement of the contact is terminated by the pressing input, etc.). In some embodiments, the representation of the virtual object is dragged by the contact during the initial part of the movement of the contact, and the virtual object is of a predetermined movement to indicate that the first criterion is about to be met. A second user if the movement of the contact is about to meet the criteria, then stops moving with the contact, and the movement of the contact is followed and the criteria of the given movement is met by the continuous movement of the contact. The transition to display the interface area and display the virtual object within the range of the augmented reality view begins. In some embodiments, when the virtual object is dragged during the initial portion of the first input, the object size and viewing perspective do not change, and once the augmented reality view is displayed, the virtual object expands. When dropped at a position in the real view, the virtual object is displayed with a size and viewing perspective that depends on the physical position represented by the drop-off position of the virtual object in the augmented reality view. Determining whether the representation of the virtual object should be continuously displayed and at least a portion of the display in the first user interface area replaced with the field of view of the camera is whether the movement of the contact meets certain movement criteria. Allows you to perform several different types of operations in response to input. Allowing users to perform different types of operations in response to input increases the efficiency with which users can perform these operations, thereby enhancing the usability of the device and, in addition, it. However, it improves the battery life of the device by reducing power consumption and allowing users to use the device faster and more efficiently.
いくつかの実施形態では、接触によって第１の入力を検出することに応答して、接触による第１の入力が第１の基準を満たしたという判定にしたがって、デバイスは、１つ以上の触知出力生成器１６７で、触知出力（例えば、図５Ｆに関して記載されている触知出力５０３２又は図５ＡＨに関して記載されている触知出力５０８８）を出力して、第１の入力によって第１の基準が満たされていることを示す（８１４）。いくつかの実施形態では、触覚は１つ以上のカメラの視野が画面に現れる前に発生する。例えば、触覚は、１つ以上のカメラのアクティブ化及び１つ以上のカメラの視野の次のプレーン検出をトリガする第１の基準が満たされていることを示す。カメラがアクティブ化されて視野が表示に利用可能となるために時間かかるので、触覚は、デバイスが必要な入力を検出したというユーザーに対する非視覚信号としての役割を果たし、デバイスが準備できるとすぐに拡張現実ユーザーインターフェースを提示する。
In some embodiments, the device is tactile one or more according to the determination that the first input by contact meets the first criterion in response to detecting the first input by contact. The
触知出力を出力して（例えば、ユーザーインターフェースの少なくとも一部の表示をカメラの視野に置き換えるために）基準が満たされていることを示すことは、与えられている入力が基準を満たすことを示すためのフィードバックをユーザー提供する。改良された触知フィードバックを提供することは、デバイスの操作性を高め（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。 Outputting a tactile output (for example, to replace at least part of the display in the user interface with the field of view of the camera) indicates that the criteria are met that the given input meets the criteria. Provide user feedback to show. Providing improved tactile feedback enhances the usability of the device (eg, by assisting the user in providing appropriate input when manipulating / interacting with the device and reducing user error. ), In addition, it reduces power consumption and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、第１の入力の少なくとも初期部分を（例えば、接触を検出するか、又は第１の基準を満たすことのないそれぞれの所定の基準を満たす接触によって入力を検出するか、又は第１の基準を満たす入力を検出することを含んで）検出することに応答して、デバイスは１つ以上のカメラの視野を分析して、１つ以上のカメラの視野の１つ以上のプレーン（例えば、床面５０３８、テーブル面５０４６、壁など）を検出する（８１６）。いくつかの実施形態では、１つ以上のカメラは第１の入力の少なくとも一部を検出することに応答してアクティブ化され、カメラがアクティブ化されると同時にプレーン検出が同時に起動される。いくつかの実施形態では、１つ以上のカメラの視野の表示は、１つ以上のカメラのアクティブ化の後に（例えば、１つ以上のカメラがアクティブ化される時から少なくとも１つのプレーンがカメラの視野において検出される時まで）遅らされる。いくつかの実施形態では、１つ以上のカメラの視野の表示は１つ以上のカメラがアクティブ化される時に起動され、そしてプレーン検出は、視野がディスプレイに（例えば、第２のユーザーインターフェース領域に）すでに見えたあと、完了する。いくつかの実施形態では、１つ以上のカメラの視野のそれぞれのプレーンを検出した後に、デバイスは、１つ以上のカメラの視野に対するそれぞれのプレーンの相対位置に基づいて、仮想オブジェクトの表現のサイズ及び／又は位置を決定する。いくつかの実施形態では、電子デバイスが移動されるにつれて、仮想オブジェクトの表現のサイズ及び／又は位置は、１つ以上のカメラの視野の位置が（例えば、図５Ｋ～５Ｌに関して記載されているように）それぞれのプレーンに対して変化するにつれて更新される。カメラの視野において検出されるそれぞれのプレーンの位置に基づいて（例えば、カメラの視野に対する仮想オブジェクトのサイズ及び／又は位置の更なるユーザー入力を要求せずに）仮想オブジェクトの表現のサイズ及び／又は位置を決定することは、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, at least the initial portion of the first input (eg, the contact is detected, or the input is detected by a contact that meets each predetermined criterion that does not meet the first criterion, or In response to detection (or by detecting an input that meets the first criterion), the device analyzes the field of view of one or more cameras and one or more of the fields of view of one or more cameras. A plane (eg,
いくつかの実施形態では、１つ以上のカメラの視野を分析して１つ以上のカメラの視野の１つ以上のプレーンを検出することは、ディスプレイ上の仮想オブジェクトの表現に対応するタッチ感知面上の場所での接触の検出に応答して（例えば、仮想椅子５０２０に対応するタッチスクリーン１１２上の位置での接触５０２６の検出に応答して）起動される（８１８）。例えば、カメラのアクティブ化及びカメラの視野のプレーンの検出は、第１の基準が第１の入力によって満たされる前に（例えば、図５Ｆに関して記載されているように、接触５０２６の特性強度が深い押圧強度閾値ＩＴＤを上回って増加する前に）、そして、第２のユーザーインターフェース領域が表示される前に、始まる。仮想オブジェクトとの任意のインタラクションの検出に際してプレーン検出を始めることによって、プレーン検出はＡＲトリガ基準が満たされる前に完了することができ、したがって、ＡＲトリガ基準が第１の入力によって満たされるときに、拡張現実ビューに仮想オブジェクト遷移を見るにあたってユーザーには目に見える遅延がない。分析を起動して仮想オブジェクトの表現の位置での接触の検出に応答して（例えば、カメラの視野の分析を起動するための更なるユーザー入力を必要とせずに）カメラの視野の１つ以上のプレーンを検出することは、デバイスの有効性を強化し、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, analyzing the field of view of one or more cameras to detect one or more planes of the field of view of one or more cameras is a touch-sensitive surface that corresponds to the representation of a virtual object on the display. It is activated in response to the detection of contact at the above location (eg, in response to the detection of
いくつかの実施形態では、１つ以上のカメラの視野を分析して１つ以上のカメラの視野の１つ以上のプレーンを検出することは、接触によって、第１の基準が第１の入力によって満たされていることを検出することに応答して（例えば、図５Ｆに関して記載されているように、接触５０２６の特性強度が深い押圧強度閾値ＩＴＤを上回って増加することを検出することに応答して）起動される（８２０）。例えば、カメラのアクティブ化及びカメラの視野のプレーンの検出は、第１の基準が第１の入力によって満たされるときに始まり、そして、カメラの視野は平面検出が完了する前に表示される。ＡＲトリガ基準が満たされる際にカメラアクティブ化及びプレーン検出を始めることによって、カメラ及びプレーン検出は不必要にアクティブ化されずまた続行されず、それがバッテリ電力を節約してバッテリ寿命及びカメラ寿命を延ばす。
In some embodiments, analyzing the field of view of one or more cameras to detect one or more planes of the field of view of one or more cameras is by contact, the first criterion is by the first input. In response to detecting that it is satisfied (eg, as described for FIG. 5F, in response to detecting that the characteristic strength of the
いくつかの実施形態では、１つ以上のカメラの視野を分析して１つ以上のカメラの視野の１つ以上のプレーンを検出することは、第１の入力の初期部分が第１の基準を満たすことのないプレーン検出トリガ基準を満たすことを検出することに応答して、起動される（８２２）。例えば、カメラのアクティブ化及びカメラの視野のプレーンの検出は、いくつかの基準（例えば、ＡＲトリガ基準より厳しくない基準）が第１の入力の初期部分によって満たされるときに始まり、そして、カメラの視野は平面検出が完了する前に任意選択的に表示される。接触の検出の際ではなくむしろ特定の基準が満たされた後に、カメラアクティブ化及びプレーン検出を始めることによって、カメラ及びプレーン検出は不必要にアクティブ化されずまた続行されず、それがバッテリ電力を節約してバッテリ寿命及びカメラ寿命を延ばす。ＡＲトリガ基準が満たされる前にカメラアクティブ化及びプレーン検出を始めることによって、ＡＲトリガ基準が第１の入力によって満たされると、拡張現実ビューへの仮想オブジェクト遷移を表示するための遅延（カメラアクティブ化及びプレーン検出による）は減じられる。 In some embodiments, analyzing the field of view of one or more cameras to detect one or more planes of the field of view of one or more cameras is such that the initial part of the first input is the first criterion. It is triggered in response to detecting that the plane detection trigger criteria that do not meet are met (822). For example, camera activation and detection of the plane of the camera's field of view begin when some criteria (eg, criteria that are less stringent than the AR trigger criteria) are met by the initial portion of the first input, and of the camera. The field of view is optionally displayed before the plane detection is complete. By initiating camera activation and plane detection rather than during contact detection, but rather after certain criteria have been met, camera and plane detection is not unnecessarily activated or continued, which consumes battery power. Save money and extend battery life and camera life. Delay (camera activation) to display the virtual object transition to the augmented reality view when the AR trigger criteria are met by the first input by initiating camera activation and plane detection before the AR trigger criteria are met. And by plane detection) is reduced.
いくつかの実施形態では、デバイスは、仮想オブジェクト（例えば、仮想椅子５０２０）が１つ以上のカメラの視野５０３４において検出されるそれぞれのプレーンに対する所定の角度（例えば、仮想椅子５０２０の４本の脚部の下側を床面５０３８から切り離している距離が無い（又はわずかな距離である）ような）で配向されるように、それぞれの方法で第２のユーザーインターフェース領域に仮想オブジェクトの表現を表示する（８２４）。例えば、それぞれのプレーンに対する仮想オブジェクトの向き及び／又は位置は、二次元のグラフィカルユーザーインターフェースに示すように、仮想オブジェクトの形状及び向きに基づいて予め定義される（例えば、それぞれのプレーンは拡張現実ビューの仮想オブジェクトの三次元表現のための支持面として役割を果たすことができる水平物理表面（例えば、花瓶をサポートする水平テーブル面）に対応するか、又は、それぞれのプレーンは、拡張現実ビューの仮想オブジェクトの三次元表現のための支持面として役割を果たすことができる垂直物理表面（例えば、仮想画枠を懸下する水平壁）である）。いくつかの実施形態では、仮想オブジェクトの向き及び／又は位置は、仮想オブジェクトのそれぞれの表面又は境界（例えば、底面、底部境界点、側面及び／又は側部境界点）によって画定される。いくつかの実施形態では、それぞれのプレーンに対応するアンカー平面は、仮想オブジェクトの一組の特性の中の１つの特性であり、仮想オブジェクトが表すことになっている物理的オブジェクトの性質にしたがって指定される。いくつかの実施形態では、仮想オブジェクトは、１つ以上のカメラの視野において検出される複数のプレーンに対して所定の向き及び／又は位置に配置される（例えば、仮想オブジェクトの複数のそれぞれの側は、カメラの視野において検出されるそれぞれのプレーンと関連付けられる）。いくつかの実施形態では、仮想オブジェクトのために予め定義される向き及び／又は位置が仮想オブジェクトの横下部プレーンに対して定められる場合、仮想オブジェクトの下部プレーンは、カメラの視野において検出される床平面に表示される（例えば、仮想オブジェクトの水平下部プレーンは、床平面から距離ゼロで床平面と平行である）。いくつかの実施形態では、仮想オブジェクトのために予め定義される向き及び／又は位置が仮想オブジェクトの垂直バックプレーンに対して定められる場合、仮想オブジェクトの背面は、１つ以上のカメラの視野において検出される壁面に対して配置される（例えば、仮想オブジェクトの垂直バックプレーンは、壁面から距離ゼロで壁面と平行である）。いくつかの実施形態では、仮想オブジェクトは、それぞれのプレーンに対して固定の距離かつ／又はそれぞれのプレーンに対してゼロ又は直角以外の角度で配置される。カメラの視野において検出されるプレーンに対して（例えば、カメラの視野の平面に対して仮想オブジェクトを表示するための更なるユーザー入力を必要とせずに）仮想オブジェクトの表現を表示することは、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device has four legs of a virtual object (eg, virtual chair 5020) at a predetermined angle to each plane in which a virtual object (eg, virtual chair 5020) is detected in the field of
いくつかの実施形態では、１つ以上のカメラの視野のそれぞれのプレーンを検出することに応答して、デバイスは、１つ以上の触知出力生成器１６７で、触知出力を出力して、１つ以上のカメラの視野のそれぞれのプレーンの検出を示す（８２６）。いくつかの実施形態では、それぞれの触知出力は、カメラの視野において検出される各プレーン（例えば、床面５０３８及び／又はテーブル面５０４６）に発生する。いくつかの実施形態では、プレーン検出が完了するときに、触知出力は発生する。いくつかの実施形態では、触知出力には、第２のユーザーインターフェース部に示される視野の視野平面の視覚的な指示（例えば、検出された視野平面の瞬間的な強調表示）が伴う。触知出力を出力してカメラの視野におけるプレーンの検出を示すことは、ユーザーにプレーンが検出されたことを示すためのフィードバックを提供する。改良された触知フィードバックを提供することはデバイスの操作性を高め（例えば、ユーザーが適切な入力を提供するのを支援しかつ仮想オブジェクトを配置するための必要な追加入力を減らすことによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, in response to detecting each plane of the field of view of one or more cameras, the device outputs a tactile output with one or more
いくつかの実施形態では、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替えると共に、デバイスは、仮想オブジェクトの表現が第２のユーザーインターフェース領域に遷移する（例えば、移動し、回転し、サイズ変更し、及び／又は異なるスタイルに再描画されるなど）につれて、それぞれのプレーンに対して所定の位置に（例えば、図５Ｆ～５Ｉで図示されるように）、アニメーションを表示し（８２８）、そして、それぞれのプレーンに対して所定の角度で仮想オブジェクトの表現を表示することと連動して（例えば、それぞれのプレーンに対して所定の向き及び／又は位置で、そして拡張現実ビューに表示される最終状態に達するそのサイズ、回転角及び外観で）、デバイスは、１つ以上の触知出力生成器１６７で触知出力を出力して、第２のユーザーインターフェース領域のそれぞれのプレーンに対して所定の角度で仮想オブジェクトの表示を示す。例えば、図５Ｉで図示するように、デバイスは、床面５０３８に対して所定の角度で仮想椅子５０２０を表示することと連動して、触知出力５０３６を出力する。いくつかの実施形態では、発生する触知出力は、仮想オブジェクト又は仮想オブジェクトによって表される物理オブジェクトの、重量（例えば、重い対軽い）、材料（例えば、金属、綿、木、大理石、液体、ゴム、ガラス）、サイズ（例えば、大きい対小さい）、形状（例えば、薄い対厚い、長い対短い、丸い対とがったなど）、弾性（例えば、弾力あり対固い）、性質（例えば、陽気対厳粛、穏やか対力強いなど）及び他の特性を反映している特徴（例えば、振動数、サイクル数、変調、振幅、付随する音声波など）を有するように、構成される。例えば、触知出力は図４Ｆ～４Ｋで図示される触知出力パターンの１つ以上を使用する。いくつかの実施形態では、１つ以上の特性に対する経時的な１つ以上の変化を含む予め設定されたプロフィールは仮想オブジェクト（例えば、絵文字）に対応する。例えば、「よく弾む」触知出力プロフィールは、「にこにこした」絵文字仮想オブジェクトのために提供される。触知出力を出力してそれぞれのプレーンに対して仮想オブジェクトの表現の配置を示すことは、ユーザーにフィードバックを提供して、仮想オブジェクトの表現がそれぞれのプレーンに対して自動的に配置されたことを示す。改良された触知フィードバックを提供することはデバイスの操作性を高め（例えば、ユーザーが適切な入力を提供するのを支援しかつ仮想オブジェクトを配置するための必要な追加入力を減らすことによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device switches from displaying the first user interface area to displaying the second user interface area, and the device transitions the representation of the virtual object to the second user interface area ( As you move, rotate, resize, and / or redraw in different styles, for example, in place with respect to each plane (eg, as illustrated in FIGS. 5F-5I). , Displaying an animation (828), and in conjunction with displaying a representation of a virtual object at a given angle to each plane (eg, in a given orientation and / or position with respect to each plane). , And in its size, rotation angle and appearance to reach the final state displayed in the augmented reality view), the device outputs a tactile output with one or more
いくつかの実施形態（８３０）において、触知出力は、仮想オブジェクトの特性（例えば、サイズ、密度、質量及び／又は材料などの擬似的な物理的特性）に対応する触知出力プロフィールを有する。いくつかの実施形態では、触知出力プロフィールは、仮想オブジェクトの１つ以上の特性（例えば、重量、材料、サイズ、形状及び／又は弾力）に基づいて変化する特性（例えば、周波数、サイクル数、変調、振幅、付随する音声波など）を有する。例えば、触知出力は図４Ｆ～４Ｋで図示される触知出力パターンの１つ以上を使用する。いくつかの実施形態では、触知出力の振幅及び／又は期間は、仮想オブジェクトのサイズ、重量及び／又は質量が増加するにつれて増加する。いくつかの実施形態では、触知出力パターンは、仮想オブジェクトが構成される仮想材料に基づいて選択される。仮想オブジェクトの特性に対応するプロフィールを有する触知出力を出力することは、ユーザーにフィードバックを提供して仮想オブジェクトの特性に関する情報を示す。改良された触知フィードバックを提供することはデバイスの操作性を高め（例えば、ユーザーが適切な入力を提供するのを支援しかつ仮想オブジェクトを配置するための必要な追加入力を減らして、特性に関する表示された情報とのユーザーインターフェースを混乱させることなくユーザーが仮想オブジェクトの特性を知覚することを可能にする感覚情報を提供することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。 In some embodiments (830), the tactile output has a tactile output profile that corresponds to the properties of the virtual object (eg, pseudo-physical properties such as size, density, mass and / or material). In some embodiments, the tactile output profile varies based on one or more properties of the virtual object (eg, weight, material, size, shape and / or elasticity) (eg, frequency, number of cycles, etc.). Modulation, amplitude, accompanying audio waves, etc.). For example, the tactile output uses one or more of the tactile output patterns illustrated in FIGS. 4F-4K. In some embodiments, the amplitude and / or duration of the tactile output increases as the size, weight and / or mass of the virtual object increases. In some embodiments, the tactile output pattern is selected based on the virtual material in which the virtual object is composed. Outputting a tactile output with a profile corresponding to a virtual object's characteristics provides feedback to the user and provides information about the virtual object's characteristics. Providing improved tactile feedback enhances the usability of the device (eg, assists the user in providing the appropriate input and reduces the additional input required to place the virtual object, with respect to the characteristics. By providing sensory information that allows the user to perceive the characteristics of the virtual object without confusing the user interface with the displayed information), in addition it allows the user to make the device faster and more efficient. Reduce power usage and improve device battery life by allowing it to be used.
いくつかの実施形態において、第２のユーザーインターフェース領域の仮想オブジェクトの表現を調整すると共に、デバイスは、（図５Ｋ～５Ｌで図示するように）１つ以上のカメラの視野５０３４を調整するデバイスの移動（例えば、デバイスの横方向の移動及び／又は回転）を検出し（８３２）、そして、デバイスの移動を検出することに応答して、デバイスは、第２のユーザーインターフェース領域の仮想オブジェクト（例えば、仮想椅子５０２０）の表現を、仮想オブジェクトと１つ以上のカメラの視野のそれぞれのプレーン（例えば、床面５０３８）の間の固定された空間関係（例えば、向き及び／又は位置）にしたがって、１つ以上のカメラの視野が調整されるにつれて、調整する（例えば、仮想オブジェクトは、仮想オブジェクトの表現とプレーンの間の固定角が維持される（例えば、仮想オブジェクトがプレーン上の固定位置にとどまるか又は視野平面に沿って転がるように見える）ような向き及び位置によってディスプレイ上に表示される）。例えば、図５Ｋ～５Ｌで、カメラの視野５０３４を含む第２のユーザーインターフェース領域の仮想椅子５０２０は、デバイス１００が移動されるにつれて、床面５０３８に対して固定された向き及び位置を維持する。いくつかの実施形態では、仮想オブジェクトは周囲の物理的環境５００２に対して静止していてかつ変化しないように見え、すなわち、仮想オブジェクトの表現は、デバイスの位置及び／又は向きが変化するにつれて、デバイスが周囲の物理的環境に対して移動すると１つ以上のカメラの視野が変化するので、ディスプレイ上のサイズ、位置及び／又は向きが変化する。仮想オブジェクトとそれぞれのプレーンの間の固定関係にしたがって（例えば、それぞれのプレーンに対して仮想オブジェクトの位置を維持するための更なるユーザー入力を必要とせずに）仮想オブジェクトの表現を調整することはデバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device adjusts the representation of the virtual object in the second user interface area, and the device adjusts the field of
いくつかの実施形態では、（例えば、第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野の表現に置き換えることに対応するときに、）デバイスは、仮想オブジェクト（例えば、仮想椅子５０２０）の表現が連続的に表示されるにつれて、（例えば、５Ｆ～５Ｉで図示するように）アニメーション（例えば、移動、１つ以上の軸の周りの回転及び／又はスケーリング）を表示すると共に第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替える（８３４）。例えば、アニメーションは、仮想オブジェクトの二次元の表現を表示すると共に第１のユーザーインターフェース領域を表示することから、仮想オブジェクトの三次元の表現を表示すると共に第２のユーザーインターフェース領域を表示することへの遷移を含む。いくつかの実施形態では、仮想オブジェクトの三次元の表現は、１つ以上のカメラの視野において捕えられる物理的環境の一部の現在の向きに対して予め定義される向きを有する。いくつかの実施形態では、拡張現実ビューに遷移するときに、仮想オブジェクトの表現はディスプレイ上の初期位置からディスプレイ上の新しい位置（例えば、拡張現実ビューの中央又は拡張現実ビューの別の所定の位置）まで移動され、サイズ変更され、方向変更されて、移動の間、又は、移動の終了後、仮想オブジェクトがカメラの視野において検出されるプレーン（例えば、仮想オブジェクトの表現を支持することができる直立壁又は水平床面などの物理表面）に対して固定角であるように、方向変更される。いくつかの実施形態では、アニメーション化された遷移が発生するにつれて、仮想オブジェクトの照明及び／又は仮想オブジェクトによる影投射は（例えば、１つ以上のカメラの視野において検出される環境照明と一致するように）調整される。仮想オブジェクトの表現としてアニメーションを表示すると共に第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域に切り替えることは、第１の入力が第１の基準を満たすことを示すためのフィードバックをユーザーに提供する。改良されたフィードバックを提供することは、デバイスの操作性を高め（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device is a virtual object (eg, when corresponding to replacing at least a portion of the display in the first user interface area with a representation of the field of view of one or more cameras). As the representation of the virtual chair 5020) is displayed continuously, it displays an animation (eg, moving, rotating and / or scaling around one or more axes) (eg, as illustrated at 5F-5I). It switches from displaying the first user interface area to displaying the second user interface area (834). For example, an animation displays a two-dimensional representation of a virtual object and displays a first user interface area, to a three-dimensional representation of a virtual object and a second user interface area. Including the transition of. In some embodiments, the three-dimensional representation of the virtual object has a predefined orientation with respect to the current orientation of part of the physical environment captured in the field of view of one or more cameras. In some embodiments, when transitioning to an augmented reality view, the representation of the virtual object is from an initial position on the display to a new position on the display (eg, the center of the augmented reality view or another predetermined position in the augmented reality view). ), Resized, reoriented, and upright where the virtual object is detected in the camera's field of view during or after the move (eg, can support the representation of the virtual object). It is reoriented so that it has a fixed angle with respect to a physical surface such as a wall or horizontal floor. In some embodiments, as the animated transition occurs, the lighting of the virtual object and / or the shadow projection by the virtual object (eg, to match the ambient lighting detected in the field of view of one or more cameras). To) will be adjusted. Switching from displaying the first user interface area to the second user interface area while displaying the animation as a representation of the virtual object provides feedback to show that the first input meets the first criterion. Provide to users. Providing improved feedback enhances the usability of the device (eg, by assisting the user in providing appropriate input when manipulating / interacting with the device and reducing user error). In addition, it reduces power consumption and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、ディスプレイ上に第２のユーザーインターフェース領域を表示すると共に、デバイスは第２の接触（例えば、接触５０４０）によって第２の入力を検出し（８３６）、そこにおいて、第２の入力は（任意選択的に、仮想オブジェクトの表現を選択するための第２の接触による押圧又はタッチ入力、及び）（例えば、図５Ｎ～５Ｐで図示するように）ディスプレイにわたる第１のパスに沿った第２の接触の移動を含み、そして、第２の接触によって第２の入力を検出することに応答して、デバイスは、第１のパスに対応する（例えば、同じものであるか、又はそれに拘束された）２本目のパスに沿った第２のユーザーインターフェース領域に仮想オブジェクト（例えば、仮想椅子５０２０）の表現を移動する。いくつかの実施形態では、第２の接触は第１の接触とは異なり、第１の接触のリフトオフの後に（例えば、（図５Ｃ～５Ｆの接触５０２６のリフトオフの後に検出される）図５Ｎ～５Ｐの接触５０４０で示すように）検出される。いくつかの実施形態では、第２の接触は、（例えば、（ＡＲトリガ基準を満たして、その後、タッチスクリーン１１２を横切って仮想ランプ５０８４を移動する）接触５０８６による入力で示すように）タッチ感知面上で連続的に維持される第１の接触と同じである。いくつかの実施形態では、仮想オブジェクト上のスワイプ入力は仮想オブジェクトを回転させると共に、仮想オブジェクトの移動は任意選択的にカメラの視野のプレーンによって拘束される（例えば、スワイプ入力は、カメラの視野の床面上の椅子の表現を回転させる）。入力を検出することに応答して仮想オブジェクトの表現を移動することは、仮想オブジェクトの表示された位置がユーザー入力に応答して移動可能なことを示すためのフィードバックをユーザーに提供する。改良されたフィードバックを提供することは、デバイスの操作性を高め（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device detects a second input by a second contact (eg, contact 5040) while displaying a second user interface area on the display (836), where the second. The input is (optionally, a second touch press or touch input to select a representation of the virtual object, and) to the first path across the display (eg, as illustrated in FIGS. 5N-5P). The device corresponds to the first path (eg, the same or the same, in response to detecting the second input by the second contact, including the movement of the second contact along. Move the representation of the virtual object (eg, virtual chair 5020) to the second user interface area along the second path (or constrained by it). In some embodiments, the second contact is different from the first contact after the lift-off of the first contact (eg, detected after the lift-off of the
いくつかの実施形態では、仮想オブジェクトの表現が接触の移動及び仮想オブジェクトに対応するそれぞれのプレーンに基づいて２本目のパスに沿って移動するにつれて、デバイスは仮想オブジェクトの表現のサイズを（例えば、視野の仮想オブジェクトの正確な視点を維持するために、仮想オブジェクトの表現からユーザーまでの仮想距離に基づいて）調整する（８３８）。例えば、図５Ｎ～５Ｐで、仮想椅子５０２０のサイズは、仮想椅子が、デバイス１００から離れてかつテーブル５００４の方へカメラの視野５０３４の中により深く移動するにつれて、減少する。仮想オブジェクトの表現が接触の移動及び仮想オブジェクトに対応するプレーンに基づいて第２のパスに沿って移動するにつれて、（例えば、仮想オブジェクトの表現をカメラの視野の環境に対して現実的なサイズに維持するように仮想オブジェクトの表現のサイズを調整するための更なるユーザー入力必要とせずに）仮想オブジェクトの表現のサイズを調整することは、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, as the representation of the virtual object moves along the second path based on the movement of the contact and the respective plane corresponding to the virtual object, the device adjusts the size of the representation of the virtual object (eg,). Adjust (based on the virtual distance from the representation of the virtual object to the user) to maintain an accurate view of the virtual object in the field of view (838). For example, in FIGS. 5N-5P, the size of the
いくつかの実施形態では、仮想オブジェクトの表現が（例えば、図５ＡＩ～５ＡＬで図示するように）第２のパスに沿って移動するにつれて、デバイスは仮想オブジェクト（例えば、仮想ランプ５０８４）の表現の第１のサイズを維持し（８４０）、デバイスは第２の接触（例えば、図５ＡＬ～午前５時で図示するように、第２の接触のリフトオフを検出することを含む）によって第２の入力の終了を検出し、そして、第２の接触によって第２の入力の終了を検出することに応答して、デバイスは第２のユーザーインターフェース領域のドロップオフの位置（例えば、テーブル面５０４６に）に仮想オブジェクトの表現を配置して、第１のサイズとは異なる第２のサイズで第２のユーザーインターフェース領域のドロップオフの位置に仮想オブジェクトの表現を表示する（例えば、図５ＡＭの仮想ランプ５０８４のサイズは、接触５０８６による入力の終了の後、接触５０８６による入力の終了の前の図５ＡＬの仮想ランプ５０８４のサイズとは異なる）。例えば、接触によってドラッグされている間、オブジェクトはそのサイズ及びビューイング視点を変えず、そして、オブジェクトが拡張現実ビューのその最終位置下ろされると、オブジェクトはカメラの視野に表示される仮想オブジェクトのドロップオフの位置に対応する物理的環境の物理的位置に基づいて決定されるサイズ及びビューイング視点によって表示され、それにより、ドロップオフの位置がカメラの視野の第１の位置であるという決定にしたがって、オブジェクトは第２のサイズを有する、そして、ドロップオフの位置がカメラの視野の第２の位置であるという決定にしたがって、オブジェクトは第２のサイズと異なる第３のサイズを有し、そこにおいて、第２及び第３のサイズは１つ以上のカメラからのドロップオフの位置の距離に基づいて選択される。仮想オブジェクトを移動する第２の入力の終了の検出に応答して、（例えば、仮想オブジェクトをカメラの視野の環境に対して現実的なサイズに維持するように仮想オブジェクトのサイズを調整するための更なるユーザー入力必要とせずに）仮想オブジェクトの表現を変更されたサイズで表示することは、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, as the representation of the virtual object moves along the second path (eg, as illustrated in FIGS. 5AI-5AL), the device is a representation of the virtual object (eg, virtual lamp 5084). Maintaining the first size (840), the device receives a second input by a second contact (eg, including detecting lift-off of the second contact, as illustrated in FIGS. 5AL-5am). In response to detecting the end of the second input and detecting the end of the second input by the second contact, the device is in the drop-off position of the second user interface area (eg, on the table surface 5046). Place a representation of the virtual object to display the representation of the virtual object at a drop-off position in the second user interface area with a second size different from the first size (eg,
いくつかの実施形態では、ディスプレイにわたる第１のパスに沿った第２の接触の移動が第２の基準を満たす（例えば、第１のパスの終わりに、接触は、ディスプレイの端（例えば、下端、上端、又は側端）の閾値距離内若しくはそれの外側か、又は第２のユーザーインターフェース領域の端にある）という判定にしたがって、デバイス（８４２）は、１つ以上のカメラの視野の表現を含んでいる第２のユーザーインターフェース領域を表示することをやめ、そして、仮想オブジェクトの表現を有する（完全な）第１のユーザーインターフェース領域を再表示する（例えば、第１のユーザーインターフェース領域の一部が以前第２のユーザーインターフェース領域と並行して表示されている場合、第２のユーザーインターフェース領域がもはや表示されなくなった後に、デバイスは完全な第１のユーザーインターフェース領域を表示する）。例えば、図５Ｖ～５Ｘで図示するように、タッチスクリーン１１２の端に仮想椅子５０５４をドラッグする接触５０５４の移動に応答して、カメラの視野５０３４は表示されなくなり、図５Ｙ～５ＡＤで図示するように、完全なメッセージ送信ユーザーインターフェース５００８が再表示される。いくつかの実施形態では、接触がディスプレイの端又は第２のユーザーインターフェース領域の端に接近するにつれて、第２のユーザーインターフェース領域がフェードアウトし（例えば、図５Ｘ～５Ｙで図示されるように）、かつ／又は、第１のユーザーインターフェース領域（の表示されないか又はブロックされる部分）がフェードインする（例えば、図５Ｚ～５ＡＡで図示されるように）。いくつかの実施形態では、非ＡＲビュー（例えば、第１のユーザーインターフェース領域）からＡＲビュー（例えば、第２のユーザーインターフェース領域）まで遷移するためのジェスチャ及びＡＲビューから非ＡＲビューまで遷移するためのジェスチャは、同一である。例えば、現在表示されているユーザーインターフェースの閾値位置を越えた（例えば、現在表示されているユーザーインターフェース領域の境界の閾値距離の範囲内、又は、現在表示されているユーザーインターフェース領域の境界を越えた）仮想オブジェクト上のドラッグジェスチャは、現在表示されているユーザーインターフェース領域から相手方ユーザーインターフェース領域への（例えば、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することへの、あるいは、第２のユーザーインターフェース領域を表示することから第１のユーザーインターフェース領域を表示することへの）遷移を引き起こす。いくつかの実施形態では、視覚的な指示（例えば、現在表示されているユーザーインターフェース領域をフェードアウトさせて、相手方ユーザーインターフェースをフェードインさせる）は、第１／第２の基準が満たされる前に表示され、そして、入力が続いて、かつ入力（例えば、接触のリフトオフ）の終了が検出される前に第１／第２の基準が満たされない場合はその逆にできる。入力基準を満たす入力を検出することに応答して第１のユーザーインターフェースを再表示することは、第２のユーザーインターフェースを追加的な表示された制御（例えば、第２のユーザーインターフェースから第１のユーザーインターフェースを表示するための制御）で混乱させることのない追加的な制御オプションを提供する。第２のユーザーインターフェースを追加的な表示された制御で混乱させることのない追加的な制御オプションを提供することはデバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the movement of the second contact along the first path across the display meets the second criterion (eg, at the end of the first pass, the contact is at the edge of the display (eg, the bottom edge). , Top end, or side edge) within or outside the threshold distance, or at the edge of the second user interface area), the device (842) represents the field of view of one or more cameras. Stop displaying the second user interface area it contains and redisplay the (complete) first user interface area with the representation of the virtual object (eg, part of the first user interface area). If was previously displayed in parallel with the second user interface area, the device will display the full first user interface area after the second user interface area is no longer displayed). For example, as illustrated in FIGS. 5V-5X, the camera field of
いくつかの実施形態では、第１のユーザーインターフェース領域を再表示することに対応する時間に、デバイスは、第２のユーザーインターフェース領域に仮想オブジェクトの表現を表示することから第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示する（例えば、図５ＡＢ～５ＡＤの仮想椅子５０２０のアニメーションで図示するように）ことへのアニメーション化された遷移（例えば、移動、１つ以上の軸のまわりの回転及び／又はスケーリング）を表示する（８４４）。第２のユーザーインターフェースの仮想オブジェクトの表現を表示することから第１のユーザーインターフェースの仮想オブジェクトの表現を表示することへのアニメーション化された遷移を（例えば、更にユーザー入力が第１のユーザーインターフェースの仮想オブジェクトを再位置付けすることを必要とせずに）表示することはデバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, at the time corresponding to redisplaying the first user interface area, the device displays a representation of the virtual object in the second user interface area, thus in the first user interface area. An animated transition (eg, movement, rotation around one or more axes, and / /) to display a representation of a virtual object (eg, as illustrated in the animation of
いくつかの実施形態では、第２の接触が第１のパスに沿って移動するにつれて、デバイスは、接触の現在位置に対応する１つ以上のカメラの視野において識別される１つ以上のそれぞれのプレーンの外観を変える（例えば、１つ以上のプレーンの外観を強調し、マークし、輪郭を描き、かつ／又は、さもなければ視覚的に変える）（８４６）。例えば、接触５０４２が図５Ｏ～５Ｐの矢印５０４２及び５０４４で示すようにパスに沿って仮想椅子５０２０をドラッグするにつれて、床面５０３８は強調される（例えば、接触５０４２の移動の前の図５Ｍと比較して）。いくつかの実施形態では、接触がカメラの視野において検出される第１のプレーンに対応する位置にあるという判定にしたがって、第１のプレーンが強調される。接触がカメラの視野で検出される第２のプレーンに対応する位置へ（例えば、図５Ｓ～５Ｕで図示するように）移動したという判定にしたがって、第１のプレーン（例えば、床面５０３８）は強調されなくなり、そして第２のプレーン（例えば、テーブル面５０４６）が強調される。いくつかの実施形態では、複数のプレーンが同時に強調される。いくつかの実施形態では、複数の視覚的に変更されたプレーンの第１のプレーンは、他のプレーンが視覚的に変えられる方法とは異なった方法で視覚的に変更されて、接触が第１のプレーンに対応する位置にあることを示す。カメラの視野において識別される１つ以上のそれぞれのプレーンの外観を変えることは、プレーン（例えば、これに対して仮想オブジェクトを配置することができる）が識別されたことを示すためのフィードバックをユーザーに提供する。改良された視覚フィードバックを提供することは、デバイスの操作性を高め（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, as the second contact moves along the first path, the device is identified in the field of view of the one or more cameras corresponding to the current position of the contact, respectively. Change the appearance of planes (eg, highlight, mark, outline, and / or otherwise visually change the appearance of one or more planes) (846). For example, as the
いくつかの実施形態では、接触によって第１の入力を検出することに応答して、接触による第１の入力が第３の（例えば、ステージングユーザーインターフェースディスプレイ）基準（例えば、ステージングユーザーインターフェースディスプレイ基準は、スワイプ入力、タッチホールド入力、押圧入力、タップ入力又は所定の強度閾値を上回った強度を有する激しい押圧を識別するように構成される基準である）を満たすという判定にしたがって、デバイスはディスプレイ上に第３のユーザーインターフェース領域を表示して、第１のユーザーインターフェース領域の少なくとも一部の表示を（例えば、仮想オブジェクトの２Ｄ画像を置き換える仮想オブジェクトの三次元モデルを含んで）置き換えることを含む（８４８）。いくつかの実施形態では、ステージングユーザーインターフェース（例えば、図６Ｉに関して記載されているステージングユーザーインターフェース６０１０）を表示すると共に、デバイスは、ステージングユーザーインターフェースに対応する仮想オブジェクトの表現の外観を、（例えば、方法９００を参照して下記でより詳細に説明するように）検出される入力に基づいて更新する。いくつかの実施形態では、仮想オブジェクトがステージングユーザーインターフェースで表示されている間に別の入力が検出され、その入力が第２のユーザーインターフェース領域を表示することに遷移するための基準を満たすときに、デバイスは連続的に仮想オブジェクトを表示すると共に、ステージングユーザーインターフェースの表示を第２のユーザーインターフェース領域に置き換える。更なる詳細を方法９００に関して記載する。第１の入力が第３の基準を満たすという判定にしたがって第３のユーザーインターフェースを表示することは、第１のユーザーインターフェースを追加的な表示された制御（例えば、第１のユーザーインターフェースから第３のユーザーインターフェースを表示するための制御）で混乱させることのない追加的な制御オプションを提供する。第２のユーザーインターフェースを追加的な表示された制御で混乱させることのない追加的な制御オプションを提供することはデバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, in response to detecting a first input by contact, the first input by contact is a third (eg, staging user interface display) reference (eg, a staging user interface display reference). , Swipe input, touch hold input, press input, tap input or a criterion configured to identify intense press with an intensity above a predetermined intensity threshold). Includes displaying a third user interface area and replacing at least a portion of the display of the first user interface area (eg, including a three-dimensional model of the virtual object that replaces the 2D image of the virtual object) (848). ). In some embodiments, the staging user interface (eg, the staging
いくつかの実施形態では、接触による第１の入力（例えば、第１のユーザーインターフェース領域をスクロールすることに対応するスワイプ入力又は要求に対応して第１のユーザーインターフェース領域のコンテンツに対応するウェブページ又は電子メールを表示するタップ入力）が第１の（例えば、ＡＲトリガ）基準を満たさないという判定にしたがって、デバイスは、第１のユーザーインターフェース領域の少なくとも一部の表示を（例えば、図６Ｂ～６Ｃに関して記載されているように）１つ以上のカメラの視野の表現に置き換えることなく第１のユーザーインターフェース領域の表示を維持する（８５０）。第１のユーザーインターフェース領域の表示を維持するべきであるか又は連続的に仮想オブジェクトの表現を表示するべきかどうか決定するための第１の基準を使用すると共に、第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野に置き換えることで、入力に応答して複数の異なるタイプの操作を実行することが可能になる。入力に応答して（例えば、ユーザーインターフェースの少なくとも一部の表示を１つ以上のカメラの視野に置き換えるか又は第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野の表現に置き換えることなく第１のユーザーインターフェース領域の表示を維持することによって）複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。 In some embodiments, a first input by contact (eg, a swipe input corresponding to scrolling the first user interface area or a web page corresponding to the content of the first user interface area in response to a request). Alternatively, according to the determination that the tap input to display the e-mail does not meet the first (eg, AR trigger) criterion, the device displays at least a portion of the first user interface area (eg, FIGS. 6B-. Maintaining the display of the first user interface area without replacing it with a representation of the field of view of one or more cameras (as described with respect to 6C). At least the first user interface area, while using the first criterion for determining whether the display of the first user interface area should be maintained or the representation of the virtual object should be displayed continuously. Replacing some displays with the field of view of one or more cameras allows you to perform several different types of operations in response to input. In response to input (eg, replacing at least a portion of the display in the user interface with the field of view of one or more cameras, or replacing at least a portion of the display in the first user interface area with the field of view of one or more cameras). Allowing the execution of multiple different types of operations (by maintaining the display of the first user interface area without replacing with) increases the efficiency with which the user can perform these operations. It enhances the usability of the device, which in turn reduces power consumption and improves the battery life of the device by allowing users to use the device more quickly and efficiently.
図８Ａ～８Ｅの動作について記載された特定の順序は単なる例にすぎず、記載された順序が操作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書において記載されている操作を再び順序付けする各種の方法を認識するであろう。加えて、本明細書において記載されている他の方法（例えば、方法９００及び１０００）に関して本明細書において記載されている他のプロセスの詳細はまた、図８Ａ～８Ｅに関して上述した方法８００にも、類似の様式で適用できる点に留意されたい。例えば、方法８００を参照して上述した接触、入力、仮想オブジェクト、ユーザーインターフェース領域、強度閾値、触知出力、視野、移動及び／又はアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法９００、１０００、１６０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書に記載される接触、入力、仮想オブジェクト、ユーザーインターフェース領域、強度閾値、触知出力、視野、移動及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、これらの詳細はここで繰り返さない。
Understand that the particular order described for the operation of FIGS. 8A-8E is merely an example and is not intended to indicate that the order described is the only order in which the operation can be performed. I want to be. One of ordinary skill in the art will recognize various methods of reordering the operations described herein. In addition, details of the other processes described herein with respect to the other methods described herein (eg,
図９Ａ～９Ｄは、いくつかの実施形態による、第１のユーザーインターフェース領域の仮想オブジェクトの第１の表現、第２のユーザーインターフェース領域の仮想オブジェクトの第２の表現及び１つ以上のカメラの視野の表現を有する仮想オブジェクトの第３の表現を表示する方法９００を図示しているフローチャートである。方法９００は、ディスプレイ、タッチ感知面及び１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面から反対側のデバイスの側上の１つ以上の後面カメラ）を有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル型多機能デバイス１００）で実行される。いくつかの実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面はディスプレイ上にあるか又はディスプレイと統合される。いくつかの実施形態では、ディスプレイは、タッチ感知面から分離している。方法９００のいくつかの操作は任意選択的に組み合わされ、かつ／又は、いくつかの操作の順序は任意選択的に変更される。
9A-9D show a first representation of a virtual object in a first user interface region, a second representation of a virtual object in a second user interface region, and a view of one or more cameras, according to some embodiments. It is a flowchart which illustrates the
後述するように、方法９００は、第１のユーザーインターフェース（例えば、二次元のグラフィックユーザーインターフェース）の仮想オブジェクトの表現を表示するデバイスのタッチ感知面での接触によって入力を検出することに関する。第１の入力に応答して、デバイスは、第２のユーザーインターフェース（例えば、仮想オブジェクトの三次元表現を移動し、サイズ変更し、かつ／又は方向変更することができるステージングユーザーインターフェース）に仮想オブジェクトの第２の表現を表示するべきかどうか決定するための基準を使用する。第２のユーザーインターフェースに仮想オブジェクトの第２の表現を表示すると共に、第２の入力に応答して、デバイスは第２の入力に基づいて仮想オブジェクトの第２の表現の表示特性を変えるか又はデバイスの１つ以上のカメラの視野を含む第３のユーザーインターフェースの仮想オブジェクトの第３の表現を表示する。入力に応答して（例えば、仮想オブジェクトの表示特性を変えるか又は第３のユーザーインターフェースに仮想オブジェクトを表示することによって）複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することが出来る効率を増大させ、それによって、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
As described below,
デバイスは、ディスプレイ１１２上の第１のユーザーインターフェース領域（例えば、二次元のグラフィックユーザーインターフェース又は一部（例えば、家具画像の一覧可能なリスト、１つ以上の選択可能なオブジェクトを含んでいる画像など））に仮想オブジェクトの表現（例えば、仮想椅子５０２０、仮想ランプ５０８４、靴、家具、手工具、装飾、人々、絵文字、ゲームキャラクタ、仮想家具などの、三次元オブジェクトのグラフィック表現）を表示する（９０２）。例えば、第１のユーザーインターフェース領域は、図６Ａで示すメッセージ送信ユーザーインターフェース５００８である。いくつかの実施形態では、第１のユーザーインターフェース領域は、デバイスを囲んでいる物理的環境の画像以外のバックグラウンドを含む（例えば、第１のユーザーインターフェース領域のバックグラウンドは、予め選択された背景色／パターンであるか、又は、１つ以上のカメラによって並行して取り込まれる出力像と異なり、かつ１つ以上のカメラの視野の有効なコンテンツと異なる背景画像である）。
The device may be a first user interface area on the
ディスプレイ上の第１のユーザーインターフェース領域の仮想オブジェクトの第１の表現を表示すると共に、デバイスは、ディスプレイ上の仮想オブジェクトの第１の表現に対応するタッチ感知面上の場所で、第１の接触による第１の入力を検出する（９０４）（例えば、第１の接触はタッチスクリーンディスプレイ上の仮想オブジェクトの第１の表現上で検出されるか、又は、第１の接触は、仮想オブジェクトの第１の表現を有する第１のユーザーインターフェース領域において並行して表示され、そして、接触によって起動されると仮想オブジェクトのＡＲビュー（例えば、カメラの視野６０３６）及び／又は仮想オブジェクト（例えば、仮想椅子５０２０）の表現を含むステージングユーザーインターフェース６０１０の表示をトリガするように構成されるアフォーダンス（例えば、トグル制御６０１８）上で、検出される）。例えば、第１の入力は、図６Ｅ～６Ｉに関して記載されている接触６００６による入力である。
While displaying the first representation of the virtual object in the first user interface area on the display, the device is the first contact at the location on the touch sensitive surface corresponding to the first representation of the virtual object on the display. (904) (eg, the first contact is detected on the first representation of the virtual object on the touch screen display, or the first contact is the first of the virtual objects. AR view of a virtual object (eg, camera view 6036) and / or virtual object (eg, virtual chair 5020) displayed in parallel in a first user interface area having a representation of 1 and activated by contact. ) Is included on the affordance (eg, toggle control 6018) configured to trigger the display of the staging user interface 6010). For example, the first input is the input by
第１の接触によって、そして、第１の接触による第１の入力が第１の（例えば、ステージング－トリガ）基準を満たすという判定にしたがって第１の入力を検出することに応答して、（例えば、ステージング－トリガ基準は、入力されるスワイプを識別するように構成される基準、タッチホールド入力、押圧入力、タップ入力、接触のタッチダウン、接触の最初の移動又はカメラのアクティブ化及び／又はカメラの視野の視野平面の検出をトリガすることと関係している別のタイプの所定の入力ジェスチャである）、デバイスは、第１のユーザーインターフェース領域と異なる第２のユーザーインターフェース領域の仮想オブジェクトの第２の表現を表示する（９０６）（例えば、第２のユーザーインターフェース領域は、カメラの視野を含まないで、そして、ユーザー入力に応答して仮想オブジェクトの三次元表現が操作される（例えば、回転されて、移動される）ことができる、擬似的な三次元空間を含むステージングユーザーインターフェース６０１０である）。例えば、図６Ｅ～６Ｈで、接触６００６による入力が深い押圧強度閾値ＩＴＤを上回って増加する特性強度を有するという判定にしたがって、メッセージ送信ユーザーインターフェース５００８（例えば、図６Ｅに示すように）とは異なるステージングユーザーインターフェース６０１０（例えば、図６Ｉに示すように）で、仮想椅子オブジェクト５０２０は、表示される。
By the first contact and in response to detecting the first input according to the determination that the first input by the first contact meets the first (eg, staging-trigger) criterion (eg, staging-trigger). , Staging-trigger criteria are criteria configured to identify the swipe being input, touch hold input, press input, tap input, touch down of contact, first move of contact or activation of camera and / or camera. Another type of predetermined input gesture associated with triggering the detection of the field plane of the field of view), the device is a virtual object in a second user interface area that is different from the first user interface area.
いくつかの実施形態では、第１の入力を検出することに応答して、そして、第１の入力がステージングトリガ基準を満たすという判定にしたがって、デバイスは、第１のユーザーインターフェース領域で示す第１の向き（例えば、図６Ｅのメッセージ送信ユーザーインターフェース５００８で示す仮想椅子５０２０の第１の向き）から、デバイスを囲んでいる物理的環境に対してデバイスの現在の向きから独立して方向付けられるディスプレイ上の仮想的なプレーンに基づいて決定される第２の向き（例えば、図６Ｉで示すステージ平面６０１４に基づいて決定される仮想椅子５０２０の第２の向き）まで、移動されて方向変更されている仮想オブジェクトの三次元表現を示す第１のアニメーション化された遷移を表示する。例えば、仮想オブジェクトの三次元の表現は（例えば、二次元のグラフィカルユーザーインターフェースで示す仮想オブジェクトの形状及び向きづけに基づいて）プレーンから所定の向き及び／又は距離を有し、そして、ステージングビュー（例えば、ステージングユーザーインターフェース６０１０）に遷移するときに、三次元の表現はディスプレイ上の仮想オブジェクトの元の位置からディスプレイ上の新しい位置（例えば、仮想ステージ６０１４の中心）まで移動され、サイズ変更され、方向変更され、そして、移動の間、又は、移動の終了後、デバイスを囲んでいる物理的環境から独立して定められる所定のステージング仮想的なプレーン６０１４に対して仮想オブジェクトが固定角であるように、三次元の表現は方向変更される。
In some embodiments, in response to detecting the first input, and according to the determination that the first input meets the staging trigger criteria, the device is shown in the first user interface area. A display that is oriented independently of the device's current orientation with respect to the physical environment surrounding the device from the orientation of (eg, the first orientation of the
第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示すると共に、デバイスは第２の入力（例えば、図６Ｑ～６Ｔで図示される接触６０３４による入力）を検出する（９０８）。いくつかの実施形態では、第２の入力を検出することは、仮想オブジェクトの第２の表現に対応するタッチスクリーン上の位置で１つ以上の第２の接触を検出すること、第２の接触によって起動されるとデバイスを囲んでいる物理的環境の拡張現実ビューの表示をトリガするように構成されるアフォーダンス上で第２の接触を検出すること、第２の接触の移動を検出すること、及び／又は第２の接触のリフトオフを検出することを含む。いくつかの実施形態では、第２の入力は、同じ接触による第１の入力の継続（例えば、第２の入力は、図６Ｅ～６Ｉで図示する接触６００６の後の、図６Ｑ～６Ｔで図示する接触６０３４による入力である（例えば、接触のリフトオフなしで））、又は完全に異なる接触による別々の入力（例えば、第２の入力は、図６Ｅ～６Ｉで図示する接触６００６による第１の入力の後の、図６Ｑ～６Ｔで図示する接触６０３４による入力である（接触のリフトオフによる））、又は追加の接触による入力の継続（例えば、第２の入力は、図６Ｅ～６Ｉで図示する接触６００６による第１の入力の後の、図６Ｊ～６Ｌで図示する接触６００６による入力である）である。例えば、第２の入力は、スワイプ入力、第２のタップ入力、第２の押圧入力、第１の入力に続いた押圧入力、第２のタッチホールド入力、第１の入力から続く維持されたタッチ、などの継続でもよい。
While displaying a second representation of the virtual object in the second user interface area, the device detects a second input (eg, an input by
第２の入力を検出することに応答して（９１０）、第２の入力が（例えば、拡張現実ビューに遷移せずに）第２のユーザーインターフェース領域の仮想オブジェクトを操作する要求に対応するという決定にしたがって、デバイスは第２の入力に基づいて第２のユーザーインターフェース領域の中の仮想オブジェクトの第２の表現の表示特性を変更し、そして、第２の入力が拡張現実環境に仮想オブジェクトを表示する要求に対応するという決定にしたがって、デバイスは１つ以上のカメラの視野の表現を有する仮想オブジェクトの第３の表現を表示する（例えば、デバイスは、１つ以上のカメラの視野６０３６を含む第３のユーザーインターフェースを表示し、デバイスを囲んでいる物理的環境５００２の物理的なプレーン（例えば、床）に対応するカメラの視野の中で検出される仮想的なプレーン（例えば、床面５０３８）上に、仮想オブジェクトの三次元表現（例えば、仮想椅子５０２０）を配置する）。
In response to detecting the second input (910), the second input responds to a request to manipulate a virtual object in the second user interface area (eg, without transitioning to the augmented reality view). According to the decision, the device changes the display characteristics of the second representation of the virtual object in the second user interface area based on the second input, and the second input puts the virtual object into the augmented real environment. According to the decision to meet the display request, the device displays a third representation of the virtual object having a representation of the field of view of one or more cameras (eg, the device includes a field of
いくつかの実施形態では、第２のユーザーインターフェース領域の仮想オブジェクトを操作する要求に対応する第２の入力は、第２のユーザーインターフェース領域の仮想オブジェクトの第２の表現に対応するタッチ感知面上の場所での第２の接触によるピンチ又はスワイプである。例えば、第２の入力は、図６Ｊ～６Ｌに図示する接触６００６による入力又は図６Ｎ～６Ｏに図示する接触６０２６及び６０３０による入力である。
In some embodiments, the second input corresponding to the request to manipulate the virtual object in the second user interface area is on the touch-sensitive surface corresponding to the second representation of the virtual object in the second user interface area. A pinch or swipe by a second contact at the location of. For example, the second input is the input by the
いくつかの実施形態では、仮想オブジェクトを拡張現実環境に表示する要求に対応する第２の入力は、第２のユーザーインターフェース領域の仮想オブジェクトの表現に対応するタッチ感知面上の場所での、又は、そこからの、タップ入力、押圧入力又はタッチホールド若しくは押圧入力に続くドラッグ入力である。例えば、第２の入力は、図６Ｑ～６Ｔで図示する接触６０３４によって入力される深い押圧である。
In some embodiments, the second input corresponding to the request to display the virtual object in the augmented reality environment is at a location on the touch sensitive surface corresponding to the representation of the virtual object in the second user interface area, or. , From there, tap input, press input or touch hold or drag input following press input. For example, the second input is a deep press input by the
いくつかの実施形態では、第２の入力に基づいて第２のユーザーインターフェース領域の中で仮想オブジェクトの第２の表現の表示特性を変えることは、１つ以上の軸のまわりを回転すること（例えば、垂直及び／又は横スワイプを経て）、サイズ変更すること（例えば、サイズ変更するピンチ）、１つ以上の軸のまわりで傾けること（例えば、デバイスを傾けることによって）、視点を変化させること（例えば、１つ以上の視野面を検出するための１つ以上のカメラの視野の分析のためにいくつかの実施形態において使われる、水平にデバイスを動かすことによって）、及び／又は仮想オブジェクトの表現の色を変えることを含む。例えば、仮想オブジェクトの第２の表現の表示特性を変えることは、図６Ｊ～６Ｋで図示するように、接触６００６によって水平スワイプジェスチャに応答して仮想椅子５０２０を回転させること、図６Ｋ～６Ｌで図示するように、接触６００６によって斜めのスワイプジェスチャに応答して仮想椅子５０２０を回転させること、又は図６Ｎ～６Ｏで図示するように、接触６０２６及び６０３０によってデピンチジェスチャに応答して仮想椅子５０２０のサイズを増加させることを含む。いくつかの実施形態において、仮想オブジェクトの第２の表現の表示特性が変えられる量は、第２の入力特性が変化する量（例えば、接触による移動の距離又は速度、接触の強度、接触の期間など）と相関している。
In some embodiments, changing the display characteristics of a second representation of a virtual object within a second user interface area based on a second input is to rotate around one or more axes ( For example, via a vertical and / or horizontal swipe), resizing (eg, resizing pinch), tilting around one or more axes (eg, tilting the device), changing the field of view. (For example, by moving the device horizontally, which is used in some embodiments for the analysis of the field of view of one or more cameras to detect one or more fields of view), and / or of a virtual object. Includes changing the color of the expression. For example, changing the display characteristics of the second representation of a virtual object is to rotate the
いくつかの実施形態では、第２の入力が拡張現実環境に（例えば、図６Ｔに関して記載されている１つ以上のカメラの視野６０３６に）仮想オブジェクトを表示する要求に対応するという決定にしたがって、デバイスは、ディスプレイ上の仮想的なプレーンに対するそれぞれの向き（例えば、図６Ｒに示す仮想椅子５０２０の向き）から、１つ以上のカメラの視野において捕えられる物理的環境の部分の現在の向きに基づいて決定される第３の方向（例えば、図６Ｔに示す仮想椅子５０２０の向き）まで方向変更される、仮想オブジェクトの三次元表現を示す第２のアニメーション化された遷移を表示する。例えば、仮想オブジェクトの三次元の表現は、仮想オブジェクトの三次元表現が、カメラの視野において捕えられる物理的環境５００２（例えば、仮想オブジェクトの三次元表現を支持することができる直立壁又は水平床面などの物理表面）のライブ画像において識別される所定のプレーン（例えば、床面５０３８）に対して固定角であるように、方向変更される。いくつかの実施形態では、拡張現実ビューの仮想オブジェクトの向きは、少なくとも１つの態様においてステージングユーザーインターフェースの仮想オブジェクトの向きによって拘束される。例えば、三次元座標系の少なくとも１つの軸のまわりの仮想オブジェクトの回転角度は、仮想オブジェクトをステージングユーザーインターフェースから拡張現実ビューに遷移するときに維持される（例えば、図６Ｑ～６Ｕに関して記載されているように、図６Ｊ～６Ｋに関して記載されている仮想椅子５０２０の回転は維持される）。いくつかの実施形態では、第２のユーザーインターフェース領域の仮想オブジェクトの表現上への光投射源は仮想光源である。いくつかの実施形態では、第３のユーザーインターフェース領域の仮想オブジェクトの第３の表現は、（例えば、１つ以上のカメラの視野において検出され、かつ／又はそれから判定されるような）実世界光源によって照らされる。
In some embodiments, according to the determination that the second input corresponds to a request to display a virtual object in an augmented reality environment (eg, in the field of
いくつかの実施形態では、第１の基準は、第１の入力が仮想オブジェクトインジケータ５０２２（例えば、ディスプレイ上の仮想オブジェクトの表現に重ねてかつ／又はそれと隣接して表示されるアイコンなどのインジケータ）に対応するタッチ感知面上の場所に第１の接触によって入力されるタップを含むときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（９１２）。例えば、仮想オブジェクトインジケータ５０２２は、それが一致する仮想オブジェクトがステージングビュー（例えば、ステージングユーザーインターフェース６０１０）及び拡張現実ビュー（例えば、カメラの視野６０３６）において見えるという表示を、（例えば、方法１０００に関して下記により詳細に説明するように）提供する。第１の入力が入力されるタップを含むかどうかに応じて、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示するかどうかを決定することにより、第１の入力に応答して複数の異なるタイプの操作を実行することができる。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
In some embodiments, the first criterion is that the first input is a virtual object indicator 5022 (eg, an indicator such as an icon that is superimposed on and / or adjacent to the representation of the virtual object on the display). Includes criteria that are met (eg, according to the determination that it is) when the location on the touch sensitive surface corresponding to includes the tap entered by the first contact (912). For example, the
いくつかの実施形態では、第１の基準は、少なくとも所定の時間（例えば、長いプレスの時間閾値）の間に閾値移動量未満で仮想オブジェクトの第１の表現に対応する、タッチ感知面上の場所に第１の接触が維持されるときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（９１４）。例えば、第１の基準は、タッチホールド入力によって満たされる。いくつかの実施形態では、第１の基準は、基準が満たされるために、少なくとも所定の閾値時間の間に閾値移動量未満で仮想オブジェクトの表現に対応するタッチ感知面上の場所に第１の接触が維持された後に第１の接触の移動を必要とする基準を含む。例えば、第１の基準は、タッチホールド入力に続くドラッグ入力によって満たされる。仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示するべきかどうかを決定することは、接触が少なくとも所定の時間の間に閾値移動量未満で仮想オブジェクトの表現に対応するタッチ感知面上の場所に維持されるかどうかに応じて、入力に応答した複数の異なるタイプの操作の実行を可能にする。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。 In some embodiments, the first criterion corresponds to a first representation of a virtual object with less than a threshold movement during at least a predetermined time (eg, a long press time threshold), on a touch-sensitive surface. Includes criteria that are met when the first contact is maintained in place (eg, according to the determination that it is) (914). For example, the first criterion is satisfied by a touch hold input. In some embodiments, the first criterion is a location on the touch-sensitive surface that corresponds to the representation of the virtual object with less than the threshold movement amount during at least a predetermined threshold time for the criterion to be met. Includes criteria that require the movement of the first contact after the contact is maintained. For example, the first criterion is satisfied by a drag input following a touch hold input. Determining whether a second representation of a virtual object should be displayed in the second user interface area is a touch-sensitive surface that corresponds to the representation of the virtual object with less than a threshold movement of contact for at least a given amount of time. Allows you to perform several different types of operations in response to input, depending on whether they are kept in place above. Allowing users to perform different types of operations in response to input increases the efficiency with which users can perform these operations, thereby enhancing the usability of the device and, in addition, it. However, it improves the battery life of the device by reducing power consumption and allowing users to use the device faster and more efficiently.
いくつかの実施形態では、第１の基準は、第１の接触の特性強度が第１の強度閾値（例えば、深い押圧強度閾値ＩＴＤ）を上回って増加するときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（９１６）。例えば、図６Ｑ～６Ｔに関して記載されているように、基準は、強度レベルメータ５０２８によって示されるように、接触６０３４の特性強度が深い押圧強度閾値ＩＴＤを上回って増加するときに満たされる。いくつかの実施形態では、接触が別のタイプのジェスチャ（例えば、タップ）を認識するための基準を満たすという判定にしたがって、デバイスは第２の（例えば、ステージング）ユーザーインターフェースをトリガさせること以外の別の所定の機能を実行すると共に仮想オブジェクトの表示を維持する。いくつかの実施形態では、第１の基準は、第１の入力がタップ入力でない（例えば、接触のリフトオフの前に閾値強度を上回ったものに達する激しいタップ入力が、接触の最初のタッチダウンのタップ時間閾値の範囲内で検出される）ことを必要とする。いくつかの実施形態では、第１の基準は、基準が満たされるために、第１の接触の強度が第１の強度閾値を超えた後に第１の接触の移動を必要とする基準を含む。例えば、第１の基準は、押圧入力に続くドラッグ入力によって満たされる。接触の特性強度が第１の強度閾値を上回って増加するかどうかに応じて、第２のユーザーインターフェース領域に仮想オブジェクトを表示するかどうかを決定することにより、第１の入力に応答して複数の異なるタイプの操作を実行することができる。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
In some embodiments, the first criterion is that when the characteristic strength of the first contact increases above the first strength threshold (eg, deep press strength threshold IT D ) (eg, it is). Includes criteria that are met (according to the determination) (916). For example, as described for FIGS. 6Q-6T, the criteria are met when the characteristic strength of the
一部の実施形態では、第１の接触による第１の入力の検出に応答して、第１の接触による第１の入力が第２の基準（例えば、インターフェーススクロール基準）を満たすことの判定に応じて（ただし、第２の基準は、第１の入力が閾値距離よりも長くにわたるタッチ感知面と交差する方向の第１の接触の移動を含むことを必要とする（例えば、第２の基準は、垂直スワイプ又は水平ジェスチャなどのスワイプジェスチャによって満たされる））、デバイスは、第１のユーザーインターフェース領域（及び仮想オブジェクトの表現）を第１の接触の移動方向に対応する方向にスクロールする（９１８）（例えば、第１の基準は満たされず、仮想オブジェクトの表現を第２のユーザーインターフェース領域に表示することは見合わせられる）。例えば、図６Ｂ～６Ｃに関して説明したように、接触６００２による上向きの垂直スワイプジェスチャは、メッセージングユーザーインターフェース５００８及び仮想椅子５０２０を上方へスクロールさせる一部の実施形態では、第１の基準が満たされるために、第１の基準も、第１の入力が閾値距離よりも長くにわたる第１の接触の移動を含むことを必要とし、デバイスは、第１の入力の初期部分がオブジェクト選択基準（例えば、仮想オブジェクトの表現に対するタッチ保持又は押圧）を満たすか否かに基づいて、第１の入力が、第１の基準（例えば、ステージングトリガ基準）、又は第２の基準（例えば、インターフェーススクロール基準）を満たすか否かを判定する。一部の実施形態では、第２の基準は、仮想オブジェクト及び仮想オブジェクトのＡＲアイコン）の位置の外側のタッチ位置で開始されるスワイプ入力によって満たされる。第１の入力が第２の基準を満たすか否かによって、第１の入力に応答して第１のユーザーインターフェース領域をスクロールするか否かを判定することで、第１の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, in response to detection of a first input by a first contact, a determination that the first input by the first contact meets a second criterion (eg, an interface scroll criterion). Accordingly (although the second criterion is required to include the movement of the first contact in the direction in which the first input intersects the touch-sensitive surface over a threshold distance (eg, the second criterion). Is filled with a swipe gesture such as a vertical swipe or a horizontal gesture)), the device scrolls the first user interface area (and the representation of the virtual object) in the direction corresponding to the direction of movement of the first contact (918). (For example, the first criterion is not met and the representation of the virtual object is forgotten to be displayed in the second user interface area). For example, as described with respect to FIGS. 6B-6C, the upward vertical swipe gesture with
一部の実施形態では、第１の接触による第１の入力の検出に応答して、第１の接触による第１の入力が第３の（例えば、ＡＲトリガ）基準を満たすことの判定に応じて、デバイスは、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現と共に表示する（９２０）。例えば、図６ＡＤ～６ＡＧに関して説明したように、接触６０４４による長いタッチ入力とそれに続く仮想椅子５０２０をドラッグする接触６０４４による上向きのドラッグ入力によって、仮想椅子５０２０は、カメラの視野６０３６と共に表示される。
In some embodiments, in response to the detection of the first input by the first contact, depending on the determination that the first input by the first contact meets the third (eg, AR trigger) criterion. The device then displays a third representation of the virtual object, along with a representation of the field of view of one or more cameras (920). For example, as described for FIGS. 6AD-6AG, the
一部の実施形態では、第３の基準は、例えば、１つ以上のカメラがアクティブ状態にあり、デバイスの向きが規定の範囲（例えば、既定の元の向きから、１つ以上の軸まわりの規定の回転角）内に収まり、接触による入力が選択入力（例えば、長いタッチ）とそれに続くドラッグ入力を含む（（例えば、ディスプレイの縁部から所定の距離内まで）ディスプレイ上で仮想オブジェクトを移動させる接触の移動）、接触の特性強度はＡＲトリガ強度閾値（例えば、ライト押圧閾値ＩＴＬ又はディープ押圧閾値ＩＴＤ））を超えて増大し、接触の持続時間はＡＲトリガ持続時間閾値（例えば、長い押圧閾値）を超えて増大し、及び／又はこの接触により移動する距離はＡＲトリガ距離閾値（例えば、長いスワイプ閾値）を超えて増大する、という判定に応じて満足させられる基準を含む。一部の実施形態では、第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース６０１０）に仮想オブジェクトの表現を表示する制御（例えば、トグル制御６０１８）は、仮想オブジェクトの表現及び１つ以上のカメラの視野６０３６を含むユーザーインターフェース（例えば、第２のユーザーインターフェース領域のうちの少なくとも一部に置き換わる第３のユーザーインターフェース領域）に表示される。 In some embodiments, the third criterion is, for example, that one or more cameras are active and the orientation of the device is within a defined range (eg, from the default original orientation to one or more axes. Moves a virtual object on the display (eg, within a given distance from the edge of the display) that fits within the specified angle of rotation) and that the contact input contains a selective input (eg, a long touch) followed by a drag input (eg, within a given distance from the edge of the display). (Movement of contact to cause), the characteristic intensity of contact increases beyond the AR trigger intensity threshold (eg, light press threshold ITL or deep press threshold IT D ), and the duration of contact is the AR trigger duration threshold (eg, eg). Includes criteria that are satisfied in response to the determination that the distance traveled by this contact increases beyond a long pressing threshold) and / or travels by this contact exceeds an AR trigger distance threshold (eg, a long swipe threshold). In some embodiments, a control (eg, toggle control 6018) that displays a representation of a virtual object in a second user interface area (eg, staging user interface 6010) is a representation of the virtual object and one or more cameras. It is displayed in the user interface including the field of view 6036 (eg, a third user interface area that replaces at least a portion of the second user interface area).
一部の実施形態では、第１のユーザーインターフェース領域（例えば、非ＡＲ、非ステージング、タッチスクリーンＵＩビュー）から第３のユーザーインターフェース領域（例えば、拡張現実ビュー）へ直接に遷移する際に、デバイスは、ディスプレイ上のタッチスクリーンＵＩ（例えば、非ＡＲ、非ステージングビュー）に表されるそれぞれの向きから１つ以上のカメラの視野内に取り込まれた物理的環境の一部の現在の向きに対して予め定められている向きへ仮想オブジェクトの三次元表現の向きが変えられることを示すアニメーション化された遷移を表示する。例えば、図６ＡＤ～６ＡＪに示すように、第１のユーザーインターフェース領域（例えば、図６ＡＤに示すようなメッセージングユーザーインターフェース５００８）から第３のユーザーインターフェース領域（例えば、図６ＡＪに示すようなカメラの視野６０３６を含む拡張現実ユーザーインターフェース）へ直接に遷移する際に、仮想椅子５０２０は、図６ＡＤ～６ＡＨに示すような第１の向きから（例えば、図６ＡＪに示すような）カメラの視野６０３６内に取り込まれるような物理的環境５００２内の床面５０３８に対する所定の向きへ変化する。例えば、仮想オブジェクトの三次元表現は、仮想オブジェクトの三次元表現が物理的環境５００２のライブ画像中で識別される所定のプレーン（例えば、仮想オブジェクトの三次元表現を支持することができる垂直壁又は水平床面（例えば、床面５０３８）などの物理的表面）に対して一定の角度であるように向きが変えられる。第１の入力が第３の基準を満たすか否かによって、第１の入力に応答してカメラの視野と共に仮想オブジェクトの第３の表現を表示するか否かを判定することで、第１の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device makes a direct transition from a first user interface area (eg, non-AR, non-staging, touchscreen UI view) to a third user interface area (eg, augmented reality view). For the current orientation of a portion of the physical environment captured within the field of one or more cameras from each orientation represented by the touch screen UI on the display (eg, non-AR, non-staging view). Displays an animated transition that indicates that the orientation of the three-dimensional representation of the virtual object can be changed to a predetermined orientation. For example, as shown in FIGS. 6AD-6AJ, the first user interface area (for example, the
一部の実施形態では、第１の接触による第１の入力の検出に応答して、デバイスは、１つ以上のデバイス方向センサによって、デバイスの現在のデバイス向き（例えば、デバイスの周囲の物理的環境に対する向き）を決定し（９２２）、第３の基準（例えば、ＡＲトリガ基準）は、第３の基準が満たされるために、現在のデバイス向きが第１の向き範囲内にあることを必要とする（例えば、デバイスとグラウンドの間の角度が、（介在状態をバイパスするために）デバイスがグラウンドに対して十分に平行であることを示す閾値角度未満であるときに、第２の基準は満たされる）。一部の実施形態では、第１の基準（例えば、ステージングトリガ基準）は、第１の基準が満たされるために、現在のデバイスの向きが第２の向き範囲内にあることを必要とする（例えば、デバイスとグラウンドの間の角度が、まず介在状態に行くためにデバイスがグラウンドに対して十分に直立であることを示す閾値から９０度の値の範囲内にあるときに、第１の基準は満たされる。デバイスの向きがある向き範囲内にあるか否かによって、第１の入力に応答してカメラの視野と共に仮想オブジェクトの第３の表現を表示するか否かを判定することで、第１の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, in response to the detection of the first input by the first contact, the device is oriented by one or more device orientation sensors to the device's current device orientation (eg, physical around the device). (Orientation to the environment) is determined (922), and the third criterion (eg, AR trigger criterion) requires that the current device orientation be within the first orientation range in order for the third criterion to be met. The second criterion is, for example, when the angle between the device and the ground is less than the threshold angle indicating that the device is sufficiently parallel to the ground (to bypass the intervening state). It is filled). In some embodiments, the first criterion (eg, the staging trigger criterion) requires that the orientation of the current device be within the second orientation range in order for the first criterion to be met (eg, the staging trigger criterion). For example, the first criterion is when the angle between the device and the ground is within a value of 90 degrees from the threshold that indicates that the device is sufficiently upright with respect to the ground to first go to the intervening state. Is satisfied. By determining whether the orientation of the device is within a certain orientation range and whether to display a third representation of the virtual object along with the field of view of the camera in response to the first input. It is possible to perform a number of different types of actions in response to a first input. The efficiency with which a user can perform these actions by allowing them to perform a number of different types of actions in response to an input. Increases device usability, thereby reducing device power usage and improving battery life by allowing users to use the device faster and more efficiently.
一部の実施形態では、仮想オブジェクトの第２の表現の少なくとも１つの表示特性（例えば、サイズ、形状、ヨー軸、ピッチ軸、ロール軸など周りのそれぞれの角度）は、仮想オブジェクトの第３の表現に適用される（９２４）。例えば、図６Ｑ～６Ｕに関して説明したように、仮想椅子５０２０の第３の表現が（例えば、図６Ｕに示すような）カメラの視野６０３６を含む拡張現実ビューに表示されるときに、図６Ｊ～６Ｋに関して説明したように、ステージングユーザーインターフェース６０１０に適用される仮想椅子５０２０の第２の表現の回転は維持される。一部の実施形態では、拡張現実ビューにおける仮想オブジェクトの向きは、少なくとも１つの態様におけるステージングユーザーインターフェースにおける仮想オブジェクトの向きによって制約される。例えば、仮想オブジェクトをステージングビューから拡張現実ビューに遷移するときに、所定の三次元座標系の少なくとも１つの軸（例えば、ヨー、ピッチ、又はロール軸）の周りの仮想オブジェクトの回転角度は維持される。一部の実施形態では、仮想オブジェクトの第２の表現がユーザー入力によっていくつかのやり方で操作（例えば、サイズ、形状、テクスチャ、向き等が変更）される場合、仮想オブジェクトの第２の表現の少なくとも１つの表示特性は、仮想オブジェクトの第３の表現にのみ適用される。言い換えれば、オブジェクトが、１つ以上のやり方で拡張現実ビューに示されるときに又は拡張現実ビュー内でオブジェクトの外観を制約するために使用されるときに、ステージングビューになされる変化は、維持される。（例えば、仮想オブジェクトの第２の表現及び仮想オブジェクトの第３の表現に同一の表示特性を適用するために更なるユーザー入力を必要とせずに）仮想オブジェクトの第２の表現の少なくとも１つの表示特性を仮想オブジェクトの第３の表現に適用することにより、（例えば、仮想オブジェクトの大きなバージョンが第２のユーザーインターフェースに表示されている間にユーザーが第２の仮想オブジェクトに回転を適用することを可能にし、１つ以上のカメラの視野の表現と共に表示される仮想オブジェクトの第３の表現に回転を適用することによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, at least one display characteristic of the second representation of the virtual object (eg, each angle around the size, shape, yaw axis, pitch axis, roll axis, etc.) is the third of the virtual object. Applies to expression (924). For example, as described with respect to FIGS. 6Q-6U, when a third representation of the
一部の実施形態では、（例えば、第１の接触の検出、又は第１の基準を満たさずにそれぞれの所定の基準を満たす第１の接触による入力の検出、あるいは第１の基準を満たす入力の検出を含む）第１の接触による第１の入力のうちの少なくとも初期部分の検出に応答して（９２６）、デバイスは、１つ以上のカメラを起動し（例えば、ディスプレイ上にカメラの視野を直ちに表示することなくカメラを起動し）、デバイスは、１つ以上のカメラの視野を分析して、１つ以上のカメラの視野内の１つ以上のプレーンを検出する。一部の実施形態では、（例えば、拡張現実環境に仮想オブジェクトを表示する要求に対応する第２の入力が検出されるまで、少なくとも１つの視野平面が検出されるまで、又は仮想オブジェクトに対して定められるアンカー平面に対応する視野平面が検出されるまで）１つ以上のカメラの視野６０３６を表示することは、１つ以上のカメラの起動後に遅延される。一部の実施形態では、１つ以上のカメラの視野６０３６は、１つ以上のカメラの起動に対応する時点で（例えば、それと同時に）表示される。一部の実施形態では、１つ以上のカメラの視野内でプレーンが検出される前（例えば、接触による第１の入力の検出に応答して判定に応じて１つ以上のカメラの視野が表示される前）に、１つ以上のカメラの視野６０３６が表示される。（例えば、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現と共に表示する前に）カメラを起動しカメラの視野を分析して、第１の入力の初期部分の検出に応答して１つ以上の視野平面の検出することで、（例えば、カメラの視野内のそれぞれのプレーンに対する仮想オブジェクトの第３の表現の位置及び／又は向きを決定するのに必要な時間を減少させることによって）デバイスの効率高め、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments (eg, detection of a first contact, or detection of an input by a first contact that does not meet a first criterion but meets each predetermined criterion, or an input that meets a first criterion). In response to the detection of at least the initial portion of the first input by the first contact (including the detection of) (926), the device activates one or more cameras (eg, the field of view of the camera on the display). Launches the camera without immediately displaying), the device analyzes the field of view of one or more cameras to detect one or more planes within the field of view of one or more cameras. In some embodiments (eg, until a second input corresponding to the request to display the virtual object in the augmented reality environment is detected, at least one viewing plane is detected, or for the virtual object. Displaying the field of
一部の実施形態では、デバイスは、１つ以上のカメラの視野内のそれぞれのプレーン（例えば、床面５０３８）の検出に応答して、１つ以上の触知出力生成器１６７を用いて、１つ以上のカメラの視野内のそれぞれのプレーンの検出を示す触知出力を出力する（９２８）。一部の実施形態では、視野平面が識別される前に、視野６０３６が示され得る。一部の実施形態では、追加のユーザーインターフェース制御及び／又はアイコンは、少なくとも１つの視野平面が検出された後に又は視野平面の全部が識別された後に、視野内で実世界画像上に重ね合わされる。カメラの視野内でプレーンを検出したことを示す触知出力を出力することで、プレーンが検出されたことを示すフィードバックをユーザーに提供する。改善された触覚的フィードバックを提供することにより、（例えば、適切な入力を提供するようにユーザーを支援し、仮想オブジェクトを配置する不要な追加の入力を減少させることによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device uses one or more
一部の実施形態では、ディスプレイ上の仮想オブジェクトの第３の表現のサイズは、仮想オブジェクトのシミュレートされた実世界サイズと、１つ以上のカメラと１つ以上のカメラの視野６０３６内の場所との間の距離とに基づいて決定され（９３０）、それと共に仮想オブジェクト（例えば、仮想椅子５０２０）の第３の表現は、一定の空間的関係（例えば、仮想オブジェクトが付される床面５０３８などのプレーン）を有する。一部の実施形態では、仮想オブジェクトの第３の表現のサイズは、１つ以上のカメラの視野に対する仮想オブジェクトの第３の表現のサイズの縮尺が維持されるように制約される。一部の実施形態では、１つ以上の物理的寸法パラメータ（例えば、長さ、幅、深さ、及び／又は半径）は、仮想オブジェクトについて定義される。一部の実施形態では、第２のユーザーインターフェース（例えば、ステージングユーザーインターフェース）において、仮想オブジェクトは、その定義された物理的寸法パラメータによって制約されない（例えば、仮想オブジェクトのサイズは、ユーザー入力に応答して変更可能である）。一部の実施形態では、仮想オブジェクトの第３の表現は、その定義された寸法パラメータによって制約される。視野内に表される物理的環境に対する拡張現実ビュー内の仮想オブジェクトの位置を変更するためのユーザー入力が検出されたとき、又は視野のズームレベルを変更するためのユーザー入力が検出されたとき、又はデバイスの周囲の物理的環境に対して移動させるためのユーザー入力が検出されたとき、仮想オブジェクトの外観（例えば、サイズ、ビューイング視点）は、（例えば、仮想オブジェクトのアンカー平面と拡張現実環境内のものとの間の一定の空間的関係によって表現されるような）仮想オブジェクトと物理的環境との間の一定の空間的関係と、仮想オブジェクトの所定の寸法パラメータ及び物理的環境の実際の寸法に基づく一定の縮尺とによって制約されるやり方で変化する。（例えば、仮想オブジェクトの実世界サイズをシミュレートするために仮想オブジェクトの第３の表現をリサイズように更なるユーザー入力を必要とせずに）仮想オブジェクトのシミュレートされた実世界サイズと、１つ以上のカメラと１つ以上のカメラの視野内の場所との間の距離に基づいて仮想オブジェクトの第３の表現のサイズを決定することにより、デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the size of the third representation of the virtual object on the display is the simulated real-world size of the virtual object and its location within the field of
一部の実施形態では、仮想オブジェクトを拡張現実環境内に表示する要求に対応する第２の入力は、（例えば、距離閾値を超えて増大する距離だけ、定められた境界を越えて、及び／又ディスプレイ若しくは第２のユーザーインターフェース領域の縁部（例えば、底縁、上縁、及び又は側縁）の閾値距離内にある位置まで）仮想オブジェクトの第２の表現を（選択して）ドラッグする入力を含む（９３２）。仮想オブジェクトを拡張現実環境内に表示する要求に対応する第２の入力の検出に応答して、仮想オブジェクトの第３の表現をカメラの視野の表現と共に表示することによって、第２のユーザーインターフェースを追加の表示された制御（例えば、第２のユーザーインターフェースから拡張現実環境を表示する制御）で乱すことなく追加の制御オプションを提供する。第２のユーザーインターフェースを追加の表示された制御で乱すことなく追加の制御オプションを提供することによって、デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, a second input corresponding to a request to display a virtual object in an augmented reality environment (eg, by a distance that increases beyond a distance threshold, beyond a defined boundary, and / Also drag (select) a second representation of the virtual object to a position within a threshold distance of the display or the edge of the second user interface area (eg, the bottom edge, top edge, or side edge). Includes input (932). A second user interface by displaying a third representation of the virtual object along with a representation of the camera's field of view in response to the detection of a second input corresponding to the request to display the virtual object in an augmented reality environment. It provides additional control options without disruption with additional displayed controls (eg, controls that display an augmented reality environment from a second user interface). By providing additional control options without disturbing the second user interface with additional displayed controls, it improves the usability of the device and also allows the user to use the device faster and more efficiently. By enabling it, it reduces the power consumption of the device and improves battery life.
一部の実施形態では、第２のユーザーインターフェース領域（例えば、図６Ｚに示すようなステージングユーザーインターフェース６０１０）に仮想オブジェクトの第２の表現を表示しつつ、デバイスは、第１のユーザーインターフェース領域を再表示するそれぞれの基準を満たす第４の入力（例えば、仮想オブジェクトの第２の表現に対応するタッチ感知面上の場所、又はタッチ感知面上の別の場所（例えば、第２のユーザーインターフェース領域の底部又は縁部）でのタップ、強い押圧、又はタッチ保持及びドラッグ入力、並びに／あるいは第１のユーザーインターフェースの領域に復帰する制御に対応するタッチ感知面上の位置での入力）を検出し（９３４）、この第４の入力の検出に応答して、デバイスは、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示するのを中止し、デバイスは、第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を再表示する。例えば、図６Ｚ～６ＡＣに示すように、ステージングユーザーインターフェース６０１０に表示されたバック制御６０１６に対応する位置での接触６０４２による入力に応答して、デバイスは、第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース６０１０）に仮想椅子５０２０の第２の表現を表示するのを中止し、デバイスは、第１のユーザーインターフェース領域（例えば、メッセージングユーザーインターフェース５００８）に仮想椅子５０２０の第１の表現を再表示する。一部の実施形態では、仮想オブジェクトの第１の表現は、ステージングビュー及び／又は拡張現実ビューに遷移する前に示されたものと同じ外観、位置、及び／又は向きで第１のユーザーインターフェース領域に表示される。例えば、図６ＡＣにおいて、仮想椅子５０２０は、図６Ａにおけるメッセージングユーザーインターフェース５００８に表示される仮想椅子５０２０と同じ向きでメッセージングユーザーインターフェース５００８に表示される。一部の実施形態では、デバイスは、第１のユーザーインターフェース領域における仮想オブジェクトの表示に戻るように遷移する際に、仮想オブジェクトをスクリーン上に連続的に表示する。例えば、図６Ｙ～６Ｃにおいて、仮想椅子５０２０は、ステージングユーザーインターフェース６０１０の表示からメッセージングユーザーインターフェース５００８の表示への遷移中に連続的に表示される。第２のユーザーインターフェースに仮想オブジェクトの第２の表現を表示しつつ検出された第４の入力が第１のユーザーインターフェースを再表示する基準を満たすか否かによって、第１のユーザーインターフェースに仮想オブジェクトの第１の表現を再表示するか否かを判定することで、第４の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device displays the first user interface area while displaying a second representation of the virtual object in the second user interface area (eg, staging
一部の実施形態では、（例えば、図６Ｕに示すように）１つ以上のカメラの視野５０３６の表現と共に仮想オブジェクトの第３の表現を表示しつつ、デバイスは、第２のユーザーインターフェース領域を再表示するそれぞれの基準を満たす第５の入力（例えば、仮想オブジェクトの第３の表現に対応するタッチ感知面上の位置又はタッチ感知面上の別の位置でのタップ、強い押圧、又はタッチ及びドラッグ入力、並びに／あるいは第２のユーザーインターフェース領域の表示に復帰する制御に対応するタッチ感知面上の場所での入力）を検出し（９３６）、この第５の入力の検出に応答して、デバイスは、仮想オブジェクトの第３の表現及び１つ以上のカメラの視野の表現を表示するのを中止し、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を再表示する。例えば、図６Ｖ～図６Ｙに示すように、カメラの視野６０３６を含む第３のユーザーインターフェースに表示されるトグル制御６０１８に対応する位置での接触６０４０による入力に応答して、デバイスは、カメラの視野６０３６を表示するのを中止し、ステージングユーザーインターフェース６０１０を再表示する。一部の実施形態では、仮想オブジェクトの第２の表現は、拡張現実ビューに示されるものと同じ向きで第２のユーザーインターフェース領域に表示される。一部の実施形態では、デバイスは、第２のユーザーインターフェース領域における仮想オブジェクトの表示に戻るように遷移する際に、仮想オブジェクトをスクリーン上に連続的に表示する。例えば、図６Ｖ～６Ｙにおいて、仮想椅子５０２０は、カメラの視野６０３６の表示からステージングユーザーインターフェース６０１０の表示への遷移中に連続的に表示される。カメラの視野と共に仮想オブジェクトの第３の表現を表示しつつ検出された第５の入力が、第２のユーザーインターフェースを再表示する基準を満たすか否かによって、第２のユーザーインターフェースに仮想オブジェクトの第２の表現を再表示するか否かを判定することで、第５の入力に応答して複数の異なるタイプの動作の実行を可能にする。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device displays a third representation of the virtual object along with a representation of the field of
一部の実施形態では、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現６０３６と共に表示しつつ、デバイスは、第１のユーザーインターフェース領域（例えば、メッセージングユーザーインターフェース５００８）を再表示するそれぞれの基準を満たす第６の入力を検出し（９３８）、この第６の入力の検出に応答して、デバイスは、（例えば、図６Ｕに示すような）仮想オブジェクト（例えば、仮想椅子５０２０）の第３の表現及び１つ以上のカメラの視野６０３６の表現を表示するのを中止し、デバイスは、（例えば、図６ＡＣに示すように）仮想オブジェクトの第１の表現を第１のユーザーインターフェースの領域に再表示する。一部の実施形態では、第６の入力は、例えば、仮想オブジェクトの第３の表現の表現に対応するタッチ感知面上の場所又はタッチ感知面上の別の位置でのタップ、強い押圧、又はタッチ及びドラッグ入力であり、並びに／あるいは第１のユーザーインターフェース領域の表示に復帰する制御に対応するタッチ感知面上の位置での入力である。一部の実施形態では、仮想オブジェクトの第１の表現は、ステージングビュー及び／又は拡張現実ビューに遷移する前に示されたものと同じ外観及び位置で第１のユーザーインターフェース領域に表示される。一部の実施形態では、デバイスは、第１のユーザーインターフェース領域における仮想オブジェクトの表示に戻るように遷移する際に、仮想オブジェクトをスクリーン上に連続的に表示する。カメラの視野と共に仮想オブジェクトの第３の表現を表示しつつ検出された第６の入力が第１のユーザーインターフェースを再表示する基準を満たすか否かによって、第１のユーザーインターフェースに仮想オブジェクトの第１の表現を再表示するか否かを判定することで、第６の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device redisplays the first user interface area (eg, messaging user interface 5008) while displaying a third representation of the virtual object with a
一部の実施形態では、第１の接触による第１の入力の検出に応答し、第１の接触による入力が第１の基準を満たすという判定に応じて、デバイスは、第１のユーザーインターフェース領域（例えば、メッセージングユーザーインターフェース５００８）の表示から第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース６０１０）の表示へ遷移するときに、第１のユーザーインターフェース領域内の仮想オブジェクトの第１の表現を第２のユーザーインターフェース領域内の仮想オブジェクトの第２の表現に変形するアニメーション（例えば、移動、１つ以上の軸を中心にした回転、及び／又はスケーリング）の表示を含んで、仮想オブジェクトを連続的に表示する（９４０）。例えば、図６Ｅ～６Ｉにおいて、仮想椅子５０２０は、メッセージングユーザーインターフェース５００８の表示からステージングユーザーインターフェース６０１０の表示への遷移中に連続的に表示され、アニメーション化される（例えば、仮想椅子５０２０の向きが変化する）。一部の実施形態では、仮想オブジェクトは、（例えば、第１のユーザーインターフェース領域に示されるような仮想オブジェクトの第１の表現の形状及び向きに基づいて定められる）カメラの視野内のプレーンに対する定められた向き、位置、及び／又は距離を有し、第２のユーザーインターフェース領域に遷移するときに、仮想オブジェクトの第１の表現は、ディスプレイ上の新しい位置（例えば、第２のユーザーインターフェース領域内の仮想ステージングプレーンの中心）で仮想オブジェクトの第２の表現に移動し、リサイズし、及び／又は向きを変え、移動中又は移動終了時に、デバイスの周囲の物理的環境から独立して定められる所定の仮想ステージングプレーンに対して仮想オブジェクトが所定の角度であるように、仮想オブジェクトは向きを変える。第１のユーザーインターフェースにおける仮想オブジェクトの第１の表現が第２のユーザーインターフェースにおける仮想オブジェクトの第２の表現に変形するときにアニメーションを表示することにより、第１の入力が第１の基準を満たすことを示すフィードバックをユーザーに提供する。改善されたフィードバックを提供することにより、（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device responds to the detection of the first input by the first contact and, in response to the determination that the input by the first contact meets the first criterion, the device is in the first user interface area. When transitioning from the display of (eg, messaging user interface 5008) to the display of the second user interface area (eg, staging user interface 6010), the first representation of the virtual object in the first user interface area is first. Continuous virtual objects, including displaying animations (eg, moving, rotating around one or more axes, and / or scaling) that transform into a second representation of the virtual object within the two user interface areas. Displayed in (940). For example, in FIGS. 6E-6I, the
一部の実施形態では、第２の接触による第２の入力の検出に応答し、第２の接触による第２の入力が拡張現実環境に仮想オブジェクトを表示する要求に対応するという判定に応じて、デバイスは、第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース６０１０）の表示から１つ以上のカメラの視野６０３６を含む第３のユーザーインターフェース領域の表示へ遷移するときに、第２のユーザーインターフェース領域内の仮想オブジェクトの第２の表現を、１つ以上のカメラの視野を含む第３のユーザーインターフェース領域内の仮想オブジェクトの第３の表現に変形するアニメーション（例えば、移動、１つ以上の軸を中心にした回転、及び／又はスケーリング）の表示を含んで仮想オブジェクトを連続的に表示する（９４２）。例えば、図６Ｑ～６Ｕにおいて、仮想椅子５０２０は、ステージングユーザーインターフェース６０１０の表示からカメラの視野６０３６の表示への遷移中に連続的に表示され、アニメーション化される（例えば、仮想椅子５０２０の位置及びサイズが変化する）。一部の実施形態では、仮想オブジェクトは、１つ以上のカメラの視野内で検出される視野平面（例えば、ユーザーインターフェースオブジェクトの三次元表現を支持することができる垂直壁又は水平床面などの物理的表面）に対して仮想オブジェクトが所定の向き、位置、及び／又は距離にあるように向きを変える。第２のユーザーインターフェースにおける仮想オブジェクトの第２の表現が第３のユーザーインターフェースにおける仮想オブジェクトの第３の表現に変形するときにアニメーションを表示することで、仮想オブジェクトを拡張現実環境に表示する要求に第２の入力が対応することを示すフィードバックをユーザーに提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, in response to the determination that the second input from the second contact corresponds to the request to display the virtual object in the augmented real environment, in response to the detection of the second input by the second contact. , The device transitions from the display of the second user interface area (eg, the staging user interface 6010) to the display of the third user interface area including the
図９Ａ～９Ｄにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法８００、９００、１６０００、１７０００、１８０００、１９０００、及び２００００）に関して本明細書に記載される他のプロセスの詳細は、図９Ａ～９Ｄに関して上記した方法９００にも、同様に適用可能であることに留意されたい。例えば、方法９００を参照して上記した接触、入力、仮想オブジェクト、ユーザーインターフェース領域、強度閾値、視野、触知出力、移動、及び／又はアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法８００、９００、１６０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書に記載した接触、入力、仮想オブジェクト、ユーザーインターフェース領域、強度閾値、視野、触知出力、移動、及び／又はアニメーションの特徴のうちの１つ以上を有する。簡潔にするために、これらの詳細はここでは繰り返さない。
Understand that the particular order described for the actions in FIGS. 9A-9D is merely an example and the described order is not intended to indicate that the actions are the only order in which they can be performed. I want to be. Those of skill in the art will recognize various methods for reordering the operations described herein. In addition, details of the other processes described herein with respect to the other methods described herein (eg,
図１０Ａ～１０Ｄは、一部の実施形態による、アイテムが仮想三次元オブジェクトに対応することを示すために視覚的な指示と共にアイテムを表示する方法１０００を示すフロー図である。方法１０００は、ディスプレイ及びタッチ感知面（例えば、ディスプレイとタッチ感知面の両方としての役割を果たすタッチスクリーンディスプレイ）を有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル多機能デバイス１００）で実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるか又はこれに組み込まれている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法１０００の一部の動作は任意選択で組み合わされ、及び／又は一部の動作の順序は任意選択で変更される。
10A-10D are flow diagrams illustrating a
以下に説明するように、方法１０００は、第１及び第２のユーザーインターフェースにアイテムを表示することに関する。各アイテムは、アイテムがそれぞれの仮想三次元オブジェクトに対応するか否かによって、アイテムが仮想三次元オブジェクトに対応することを示す視覚的な指示と共に、又は視覚的な指示なしで表示される。アイテムが仮想三次元オブジェクトであるか否かユーザーに指示を与えることで、（例えば、アイテムが仮想三次元オブジェクトであるか否かによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが第１のアイテムに対して動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
As described below,
デバイスは、第１のアイテム（例えば、アイコン、サムネイル画像、画像、絵文字、添付物、ステッカー、アプリアイコン、アバター等）を含む第１のユーザーインターフェースを表示する要求を受信する（１００２）。例えば、一部の実施形態では、要求は、第１のアイテムの表現を第１のアイテムに関連付けられた所定の環境に表示するユーザーインターフェース（例えば、図７Ｂに示すような、インターネットブラウザユーザーインターフェース５０６０）を開く（例えば、図７に関して説明したような）入力である。所定の環境は、任意選択で、アプリケーション（例えば、電子メールアプリケーション、メッセージングアプリケーション、ブラウザアプリケーション、ワード処理アプリケーション、電子リーダアプリケーション等）のユーザーインターフェース、又はシステムユーザーインターフェース（例えば、ロック画面、通知インターフェース、サジェスチョンインターフェース、コントロールパネルユーザーインターフェース、ホーム画面ユーザーインターフェース等）である。
The device receives a request to display a first user interface that includes a first item (eg, an icon, a thumbnail image, an image, a pictogram, an attachment, a sticker, an app icon, an avatar, etc.) (1002). For example, in some embodiments, the request is a user interface that displays a representation of the first item in a given environment associated with the first item (eg, an internet
第１のユーザーインターフェースを表示する要求に応答して、デバイスは、第１のユーザーインターフェース（例えば、図７Ｂで示すように、インターネットブラウザユーザーインターフェース５０６０）を第１のアイテムの表現と共に表示する（１００４）。第１のアイテムがそれぞれの仮想三次元オブジェクトに対応するとの判定に応じて、デバイスは、第１のアイテムがそれぞれの第１の仮想三次元オブジェクトに対応することを示すために、第１のアイテムの表現を視覚的な指示と共に表示する（例えば、第１のアイテム、輪郭、及び／又はテキストの表現に対応する位置で表示されるアイコン及び／又は背景パネルなどの画像）。第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定に応じて、デバイスは、第１のアイテムの表現を視覚的な指示なしで表示する。例えば、インターネットブラウザユーザーインターフェース５０６０では、図７Ｂに示すように、（仮想三次元ランプオブジェクト５０８４の表現を含む）ウェブオブジェクト５０６８は、仮想ランプ８０８４が仮想三次元オブジェクトであることを示すために視覚的な指示（仮想オブジェクトインジケータ５０８０）と共に表示され、ウェブオブジェクト５０７４は、ウェブオブジェクト５０７４が仮想三次元オブジェクトに対応するアイテムを含んでいないので、視覚的なオブジェクインジケータなしで表示される。
In response to a request to display the first user interface, the device displays the first user interface (eg, Internet
第１のアイテムの表現を表示した後に、デバイスは、第２のアイテム（例えば、アイコン、サムネイル画像、画像、絵文字、添付物、ステッカー、アプリアイコン、アバター等）を含む第２のユーザーインターフェース（例えば、図７Ｍに示すような、メッセージングユーザーインターフェース５００８）を表示するために要求（例えば、図７Ｈ～７Ｌに関して説明したような入力）を受信する（１００６）。第２のアイテムは第１のアイテムとは異なり、第２のユーザーインターフェースは第１のユーザーインターフェースとは異なる。例えば、一部の実施形態では、要求は、第２のアイテムに関連付けられた所定の環境に第２のアイテムの表現を表示するユーザーインターフェースを開く別の入力である。所定の環境は、任意選択で、第１のアイテムを示すのに使用されるアプリケーション以外のアプリケーション（例えば、電子メールアプリケーション、メッセージングアプリケーション、ブラウザアプリケーション、ワード処理アプリケーション、電子リーダアプリケーション等）のユーザーインターフェースであり、又は第１のアイテムを示すのに使用されるシステムユーザーインターフェース以外のシステムユーザーインターフェース（例えば、ロック画面、通知インターフェース、サジェスチョンインターフェース、コントロールパネルユーザーインターフェース、ホーム画面ユーザーインターフェース等）にある。
After displaying the representation of the first item, the device has a second user interface (eg, an icon, thumbnail image, image, pictogram, attachment, sticker, app icon, avatar, etc.) that includes the second item. , A request (eg, an input as described for FIGS. 7H-7L) to display the
第２のユーザーインターフェースを表示する要求に応答して、デバイスは、第２のユーザーインターフェース（例えば、図７Ｍで示すように、メッセージングユーザーインターフェース５００８）を第２のアイテムの表現と共に表示する（１００８）。第２のアイテムがそれぞれの仮想三次元オブジェクトに対応するとの判定に応じて、デバイスは、第２のアイテムがそれぞれの第２の仮想三次元オブジェクトに対応することを示すために、第２のアイテムの表現を視覚的な指示（例えば、第１のアイテムが仮想三次元オブジェクトに対応することを示す同一の視覚的な指示）と共に表示する。第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定に応じて、デバイスは、第２のアイテムの表現を視覚的な指示なしで表示する。例えば、メッセージングユーザーインターフェース５００８において、図７Ｍに示すように、仮想三次元椅子オブジェクト５０２０は、仮想椅子５０２０が仮想三次元オブジェクトであることを示す視覚的な指示（仮想オブジェクトインジケータ５０２２）と共に表示され、絵文字７０２０は、仮想三次元オブジェクトに対応するアイテムを絵文字７０２０が含んでいないので、視覚的なオブジェクトインジケータなしで表示される。
In response to a request to display the second user interface, the device displays the second user interface (eg,
一部の実施形態では、第１のアイテムがそれぞれの第１の仮想三次元オブジェクトに対応することを示すために、第１のアイテム（例えば、仮想ランプ５０８４）の表現を視覚的な指示（例えば、仮想オブジェクトインジケータ５０８０）と共に表示することは、（例えば、方向センサ（例えば、デバイス１００の１つ以上の加速度計１６８）により検出されるような）第１のデバイス向きから第２のデバイス向きへの変化という結果になるデバイスの移動の検出に応答して、第１のデバイス向きから第２のデバイス向きへの変化に対応する第１のアイテムの移動（例えば、第１のユーザーインターフェースに対する第１のアイテムの傾斜及び／又は第１のアイテムの移動）を表示することを含む（１０１０）。例えば、第１のデバイス向きは、図７Ｆ１に示すようなデバイス１００の向きであり、第２のデバイス向きは、図７Ｇ１に示すようなデバイス１００の向きである。図７Ｆ１～図７Ｇ１に示す移動に応答して、第１のアイテム（例えば、仮想ランプ５０８４）は、（例えば、図７Ｆ２～図７Ｇ２に示すように）傾斜する。一部の実施形態では、第２のオブジェクトが仮想三次元オブジェクトに対応する場合、第２のオブジェクトは、（例えば、第２のオブジェクトも仮想三次元オブジェクトに対応することを示すために）上記のようにデバイスの移動の検出にも応答する。
In some embodiments, the representation of the first item (eg, virtual lamp 5084) is visually indicated (eg, to indicate that the first item corresponds to each first virtual three-dimensional object). , Virtual object indicator 5080) to display from a first device orientation (eg, as detected by a direction sensor (eg, one or
第１のデバイス向きから第２のデバイス向きへの変化に対応する第１のアイテムの移動を表示することによって、仮想三次元オブジェクトの挙動を示すユーザーへの視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、ユーザーが、更なる入力を行う必要がない向きから仮想三次元オブジェクトを見ることを可能にすることによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying the movement of the first item in response to the change from the first device orientation to the second device orientation, it provides visual feedback to the user showing the behavior of the virtual 3D object. Improve device usability by providing users with improved visual feedback (for example, by allowing users to view virtual 3D objects from orientations that do not require further input). In addition, it reduces the power consumption of the device and improves battery life by allowing the user to use the device more quickly and efficiently.
一部の実施形態では、第１のアイテムがそれぞれの第１の仮想三次元オブジェクトに対応することを示すための視覚的な指示と共に第１のアイテムの表現を表示することは、第１のアイテムの表現が第１のユーザーインターフェースに表示されている間に第１のユーザーインターフェースをスクロールする第１の接触による第１の入力（例えば、第１の方向の第１のユーザーインターフェース上のスワイプ入力、又はスクロールバー端部上のスクロールボタンに対するタッチ保持入力）の検出に応答して、デバイスは、第１のユーザーインターフェースのスクロールに応じてディスプレイ上で第１のアイテムの表現を並進し（例えば、第１のユーザーインターフェースになされるスクロール量に基づく距離だけ、及びスクロールの反対方向に、第１のアイテムのアンカー位置を移動させる（例えば、第１のユーザーインターフェースがタッチ感知面をわたって移動する接触によって上方にドラッグされるときに、第１のアイテムの表現は、第１のユーザーインターフェースと共にディスプレイ上で上方に移動する））、このデバイスは、第１のユーザーインターフェースがスクロールされる方向に応じて第１のユーザーインターフェース（又はディスプレイ）によって定められるプレーンに対して第１のアイテムの表現を回転することを含む（１０１２）。例えば、図７Ｃ～７Ｄに示すように、仮想ランプ５０８４の表現がインターネットブラウザユーザーインターフェース５０６０に表示されている間にインターネットブラウザユーザーインターフェース５０６０をスクロールする接触７００２による入力の検出に応答して、仮想ランプ５０８４はインターネットブラウザユーザーインターフェース５０６０のスクロールにしたがって並進させられ、仮想ランプ５０８４は接触７００２の移動経路の方向にしたがってディスプレイ１１２に対して回転する。一部の実施形態では、第１のユーザーインターフェースが上方にドラッグされているとの判定に応じて、第１のアイテムの表現が第１のユーザーインターフェースと共に上方に移動し、第１のユーザーインターフェース上に示すような第１のアイテムのビューイング視点が、ユーザーが異なる視野角（例えば、低い角度）から第１のアイテムを見ているかのように変化する。一部の実施形態では、第２のユーザーインターフェースが上方にドラッグされているとの判定に応じて、第２のアイテムの表現は第２のユーザーインターフェースと共に上方に移動し、第２のユーザーインターフェース上に示すような第２のアイテムのビューイング視点が、ユーザーが異なる視野角（例えば、低い角度）から第２のアイテムを見ているかのように変化する。
In some embodiments, displaying a representation of the first item with visual instructions to indicate that the first item corresponds to each first virtual three-dimensional object is the first item. First input by first contact that scrolls through the first user interface while the representation of is displayed in the first user interface (eg, swipe input on the first user interface in the first direction, Or in response to the detection of a touch-hold input to the scroll button on the end of the scroll bar), the device translates the representation of the first item on the display in response to scrolling of the first user interface (eg, first. Move the anchor position of the first item by a distance based on the amount of scrolling made to one user interface, and in the opposite direction of the scroll (eg, by contact moving the first user interface across the touch sensitive surface). When dragged upwards, the representation of the first item moves upwards on the display along with the first user interface)), this device is the first depending on the direction in which the first user interface is scrolled. Includes rotating the representation of the first item with respect to the plane defined by one user interface (or display) (1012). For example, as shown in FIGS. 7C-7D, the virtual lamp responds to detection of input by
移動が第１のデバイス向きから第２のデバイス向きへの変化に対応する場合、アイテムの移動を表示することによって、デバイス向きの変化を示すユーザーへの視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、ユーザーが、更なる入力を行う必要がない向きから仮想三次元オブジェクトを見ることを可能にすることによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 If the move corresponds to a change from the first device orientation to the second device orientation, displaying the movement of the item provides visual feedback to the user indicating the change in device orientation. Improve device usability by providing users with improved visual feedback (for example, by allowing users to view virtual 3D objects from orientations that do not require further input). In addition, it reduces the power consumption of the device and improves battery life by allowing the user to use the device more quickly and efficiently.
一部の実施形態では、第１のユーザーインターフェース（例えば、図７Ｂに示すようなインターネットブラウザユーザーインターフェース５０６０）に第１のアイテム（例えば、ランプオブジェクト５０８４）の表現を視覚的な指示（例えば、視覚的なオブジェクトインジケータ５０８０）と共に表示しつつ、デバイスは、第３のアイテムの表現を表示する（１０１４）ものであり、第３のアイテムが仮想三次元オブジェクトに対応していない（例えば、第３のアイテムは、拡張現実環境内でレンダリングできる任意の三次元オブジェクトに対応していない）ことを示すために、第３のアイテムの表現は、視覚的な指示なしで表示される。例えば、インターネットブラウザユーザーインターフェース５０６０において、図７Ｂで示すように、ウェブオブジェクト５０７４、５０７０、及び５０７６は、ウェブオブジェクト５０７４、５０７０、及び５０７６が仮想三次元オブジェクトに対応していないため、視覚的なオブジェクトインジケータなしで表示される。
In some embodiments, the first user interface (eg, Internet
第１のユーザーインターフェースに、第１のアイテムが仮想三次元オブジェクトであることを示すための視覚的な指示と共に第１のアイテムを表示すると共に、視覚的な指示なしで表示される第３のアイテムを表示することで、（例えば、ユーザーが対話しているアイテムが仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが第１のユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 A third item displayed in the first user interface with visual instructions to indicate that the first item is a virtual three-dimensional object, and without visual instructions. By displaying (for example, by assisting the user to provide the appropriate input depending on whether the item the user is interacting with is a virtual three-dimensional object), the user provides a first user interface. Increases the efficiency with which you can perform operations, thereby improving the usability of the device, and reducing the power consumption of the device by allowing users to use the device faster and more efficiently. Improve battery life.
一部の実施形態では、第２のユーザーインターフェース（例えば、図７Ｍに示すようなメッセージングユーザーインターフェース５００８）に、第２のアイテム（例えば、仮想椅子５０２０）の表現を視覚的な指示（例えば、仮想オブジェクトインジケータ５０２２）と共に表示しつつ、デバイスは、第４のアイテム（例えば、絵文字７０２０）の表現を表示し（１０１６）、第４のアイテムがそれぞれの仮想三次元オブジェクトに対応していないことを示すために、第４のアイテムの表現は視覚的な指示なしで表示される。
In some embodiments, the second user interface (eg,
第２のユーザーインターフェースに、第２のアイテムが仮想三次元オブジェクトであることを示すための視覚的な指示と共に第２のアイテムを表示すると共に、視覚的な指示なしで表示される第４のアイテムを表示することで、（例えば、ユーザーが対話しているアイテムが仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが第２のユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 A fourth item displayed in the second user interface with visual instructions to indicate that the second item is a virtual three-dimensional object, and without visual instructions. By displaying (for example, by helping the user provide the appropriate input depending on whether the item the user is interacting with is a virtual three-dimensional object), the user can provide a second user interface. Increases the efficiency with which you can perform operations, thereby improving the usability of the device, and reducing the power consumption of the device by allowing users to use the device faster and more efficiently. Improve battery life.
一部の実施形態において（１０１８）、第１のユーザーインターフェース（例えば、図７Ｂに示すようなインターネットブラウザユーザーインターフェース５０６０）は、第１のアプリケーション（例えば、インターネットブラウザアプリケーション）に対応し、第２のユーザーインターフェース（例えば、図７Ｍに示すようなメッセージングユーザーインターフェース５００８）は、第１のアプリケーションとは別個の第２のアプリケーション（例えば、メッセージングアプリケーション）に対応し、視覚的な指示（例えば、仮想オブジェクトインジケータ５０８０）と共に表示される第１のアイテム（例えば、ランプオブジェクト５０８４）の表現、及び視覚的な指示（例えば、仮想オブジェクトインジケータ５０２２）と共に表示される第２のアイテム（例えば、仮想椅子５０２２）の表現は、所定の１組の視覚特性及び／又は挙動特性を共有する（例えば、同じインジケータアイコンを使用し、同じテクスチャ若しくはレンダリングのスタイル、及び／又は所定のタイプの入力によって引き起こされるときの挙動を有する）。例えば、仮想オブジェクトインジケータ５０８０及び仮想オブジェクトインジケータ５０２２のためのアイコンは、同一のシンボルを含む。
In some embodiments (1018), the first user interface (eg, the internet
第１のアイテム及び第２のアイテムの視覚的な指示が所定の１組の視覚特性及び／又は挙動特性を共有するように、第１のアプリケーションの第１のユーザーインターフェースに第１のアイテムを視覚的な指示と共に表示すると共に、第２のアプリケーションの第２のユーザーインターフェースに第２のアイテムを視覚的な指示と共に表示することによって、（例えば、ユーザーが対話しているアイテムが仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが第２のユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 Visualize the first item in the first user interface of the first application so that the visual instructions of the first item and the second item share a predetermined set of visual and / or behavioral characteristics. By displaying the second item with visual instructions in the second user interface of the second application (for example, the item the user is interacting with is a virtual three-dimensional object). Increases the efficiency with which the user can perform actions using the second user interface (by assisting the user to provide the appropriate input, with or without), thereby improving the usability of the device, and further. Reduce device power usage and improve battery life by allowing users to use the device faster and more efficiently.
一部の実施形態では、第１のユーザーインターフェースは、インターネットブラウザアプリケーションのユーザーインターフェース（例えば、図７Ｂに示すような、インターネットブラウザユーザーインターフェース５０６０）であり（１０２０）、第１のアイテムは、ウェブページの要素である（例えば、第１のアイテムは、埋込画像、ハイパーリンク、アプレット、絵文字、埋め込まれたメディアオブジェクト等としてウェブページ内で表される）。例えば、第１のアイテムは、ウェブオブジェクト５０６８の仮想ランプオブジェクト５０８４である。
In some embodiments, the first user interface is the user interface of an internet browser application (eg, internet
ウェブページ要素が仮想三次元オブジェクトであることを示す視覚的な指示と共にウェブページ要素を表示することによって、（例えば、ユーザーが対話しているウェブページ要素が仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーがインターネットブラウザアプリケーションを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying the web page element with a visual indication that the web page element is a virtual three-dimensional object (for example, depending on whether the web page element the user is interacting with is a virtual three-dimensional object or not. Increases the efficiency with which users can perform actions using Internet browser applications (by assisting users to provide proper input), thereby improving the usability of the device, and also allowing the user to make the device faster and faster. Reduce device power usage and improve battery life by enabling efficient use.
一部の実施形態では、第１のユーザーインターフェースは、電子メールアプリケーションユーザーインターフェース（例えば、図７Ｐに示すような電子メールユーザーインターフェース７０５２）であり（１０２２）、第１のアイテムは、電子メールに対する添付物（例えば、添付物７０６０）である。
In some embodiments, the first user interface is an email application user interface (eg, an
電子メール添付物が仮想三次元オブジェクトであることを示す視覚的な指示と共に電子メール添付物を表示することによって、（例えば、ユーザーが対話している電子メール添付物が仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが電子メールアプリケーションユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying an email attachment with a visual indication that the email attachment is a virtual three-dimensional object (for example, the email attachment with which the user is interacting is a virtual three-dimensional object). Increases the efficiency with which users can perform actions using the email application user interface (by assisting the user to provide the appropriate input depending on whether or not they are present), thereby improving the usability of the device and even allowing the user to Reduce device power usage and improve battery life by allowing the device to be used faster and more efficiently.
一部の実施形態では、第１のユーザーインターフェースは、メッセージングアプリケーションユーザーインターフェース（例えば、図７Ｍに示すようなメッセージングユーザーインターフェース５００８）であり（１０２４）、第１のアイテムは、メッセージ中の添付物又は要素（例えば、仮想椅子５０２０）である（例えば、第１のアイテムは、画像、ハイパーリンク、ミニプログラム、絵文字、メディアオブジェクト等である）。
In some embodiments, the first user interface is a messaging application user interface (eg, a
メッセージの添付物又は要素が仮想三次元オブジェクトであることを示す視覚的な指示と共にメッセージの添付物又は要素を表示することによって、（例えば、ユーザーが対話しているメッセージの添付物又は要素が仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーがメッセージングユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying the message attachment or element with a visual indication that the message attachment or element is a virtual three-dimensional object (eg, the message attachment or element with which the user is interacting is virtual. Increases the efficiency with which users can perform actions using the messaging user interface (by assisting the user to provide the appropriate input depending on whether it is a three-dimensional object or not), thereby improving the usability of the device. In addition, it reduces the power consumption of the device and improves battery life by allowing the user to use the device more quickly and efficiently.
一部の実施形態では、第１のユーザーインターフェースは、ファイル管理アプリケーションユーザーインターフェース（例えば、図７Ｏに示すようなファイル管理ユーザーインターフェース７０３６）であり（１０２６）、第１のアイテムは、ファイルプレビューオブジェクト（例えば、ファイル情報領域７０４６中のファイルプレビューオブジェクト７０４５）である。
In some embodiments, the first user interface is a file management application user interface (eg, file
ファイルプレビューオブジェクトが仮想三次元オブジェクトであることを示す視覚的な指示と共にファイルプレビューオブジェクトを表示することによって、（例えば、ユーザーが対話しているファイルプレビューオブジェクトが仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーがファイル管理アプリケーションユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying the file preview object with a visual indication that the file preview object is a virtual three-dimensional object (for example, depending on whether the file preview object the user is interacting with is a virtual three-dimensional object or not. Increases the efficiency with which users can perform actions using the file management application user interface (by assisting the user to provide proper input), thereby improving the usability of the device and further allowing the user to make the device more accessible. It reduces device power usage and improves battery life by allowing it to be used quickly and efficiently.
一部の実施形態では、第１のユーザーインターフェースは、地図アプリケーションユーザーインターフェース（例えば、地図アプリケーションユーザーインターフェース７０２４）であり（１０２８）、第１のアイテムは、地図内の対象地点の表現（例えば、対象地点オブジェクト７０２８）である（例えば、地図上の位置に対応する特徴の三次元表現（例えば、地図上の位置に対応する地形及び／又は構造物の三次元表現が挙げられる）、又は作動時に地図の三次元表現を表示させる制御）。 In some embodiments, the first user interface is a map application user interface (eg, map application user interface 7024) (1028), and the first item is a representation of a target point in the map (eg, target). A point object 7028) (eg, a three-dimensional representation of a feature corresponding to a location on a map (eg, a three-dimensional representation of a terrain and / or a structure corresponding to a location on a map), or a map when activated. Control to display the three-dimensional representation of).
地図内の対象地点の表現が仮想三次元オブジェクトであることを示す視覚的な指示と共に対象地点の表現を表示することによって、（例えば、ユーザーが対話している対象地点の表現が仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが地図アプリケーションユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying the representation of the target point with a visual indication that the representation of the target point in the map is a virtual 3D object (for example, the representation of the target point with which the user is interacting is a virtual 3D object). Increases the efficiency with which users can perform actions using the map application user interface (by assisting the user to provide the appropriate input depending on whether or not they are), thereby improving the usability of the device and further. Reduce device power usage and improve battery life by allowing users to use the device faster and more efficiently.
一部の実施形態では、第１のアイテムがそれぞれの仮想三次元オブジェクトに対応するという視覚的な指示は、それぞれの三次元オブジェクトの表現に向けられる入力を必要とせずに発生する第１のアイテムのアニメーション（例えば、経時的に第１のアイテムに適用される連続的な移動又は視覚的効果の変化（例えば、スパークリング、きらめき等））を含む（１０３０）。 In some embodiments, the visual indication that the first item corresponds to each virtual 3D object is the first item that occurs without the need for input directed to the representation of each 3D object. Animation (eg, continuous movement or change in visual effect applied to the first item over time (eg, sparkling, glitter, etc.)) (1030).
それぞれの三次元オブジェクトの表現に向けられる入力なしで発生する第１のアイテムのアニメーションを表示することにより、（例えば、ユーザーが第１のアイテムの三次元態様を見るために必要な入力数を減少させることによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying an animation of the first item that occurs without input directed to the representation of each 3D object (eg, reducing the number of inputs the user needs to see the 3D aspect of the 1st item). It improves the usability of the device (by allowing it) and also reduces the power consumption of the device and improves battery life by allowing the user to use the device more quickly and efficiently.
一部の実施形態では、デバイスは、第２のアイテムがそれぞれの仮想三次元オブジェクトに対応することを示すための視覚的な指示（例えば、仮想オブジェクトインジケータ５０２２）と共に第２のアイテム（例えば、仮想椅子５０２０）の表現を表示しつつ、第２のアイテムの表現に対応するタッチ感知面上の場所での第２の接触による第２の入力（例えば、図５Ｃ～５Ｆに関して説明したような入力）を検出し（１０３２）、第２の接触による第２の入力の検出に応答して、及び第２の接触による第２の入力が第１の（例えば、ＡＲトリガ）基準を満たすとの判定に応じて、デバイスは、第２のユーザーインターフェース（例えば、メッセージングユーザーインターフェース５００８）のうちの少なくとも一部の表示を（例えば、図５Ｆ～５Ｉに関して説明した）１つ以上のカメラの視野５０３６の表現で置き換えることを含めて、ディスプレイ上に第３のユーザーインターフェース領域を表示し、第２のユーザーインターフェースの表示から第３のユーザーインターフェース領域の表示に切り替えつつ第２の仮想三次元オブジェクトを連続的に表示する。（例えば、方法８００を参照して本明細書により詳細に説明されるように）。一部の実施形態では、デバイスは、（例えば、動作８３４を参照して本明細書により詳細に説明するように）第２のユーザーインターフェースの一部を１つ以上のカメラの視野の表現と共に表示することから切り替えつつ、仮想オブジェクトの表現が連続的に表示されるようにアニメーションを表示する。
In some embodiments, the device has a second item (eg, virtual) with visual instructions (eg, virtual object indicator 5022) to indicate that the second item corresponds to each virtual three-dimensional object. The second input by the second contact at a location on the touch sensing surface corresponding to the representation of the second item while displaying the representation of the chair 5020) (eg, the input as described for FIGS. 5C-5F). (1032), in response to the detection of the second input by the second contact, and to determine that the second input by the second contact meets the first (eg, AR trigger) criterion. Correspondingly, the device displays at least a portion of the second user interface (eg, messaging user interface 5008) in representation of the field of
第３のユーザーインターフェース領域を表示するか否かを判定する第１の基準を用いることで、第２の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By using a first criterion for determining whether to display a third user interface area, it is possible to perform a plurality of different types of actions in response to a second input. By allowing users to perform different types of actions in response to input, they increase the efficiency with which users can perform these actions, thereby improving the usability of the device and allowing the user to perform the device faster. And by enabling efficient use, it reduces the power consumption of the device and improves battery life.
一部の実施形態では、（例えば、方法９００を参照して本明細書により詳細に記載するように）第２のアイテムがそれぞれの仮想三次元オブジェクトに対応することを示すために第２のアイテム（例えば、仮想椅子５０２０）を視覚的な指示（例えば、仮想オブジェクトインジケータ５０２２）と共に表示しつつ、デバイスは、第２のアイテムの表現に対応するタッチ感知面上の場所で第３の接触による第３の入力（例えば、図６Ｅ～６Ｉに関して説明したような入力）を検出し（１０３４）、第３の接触による第３の入力の検出に応答し、第３の接触による第３の入力が第１の（例えば、ステージングトリガ）基準を満たすとの判定に応じて、デバイスは、第２のユーザーインターフェースとは異なる第４のユーザーインターフェース（例えば、方法９００を参照してより詳細に説明したようなステージングユーザーインターフェース６０１０）に第２の仮想三次元オブジェクトを表示する。一部の実施形態では、第２の仮想三次元オブジェクトを第４のユーザーインターフェース（例えば、図６Ｉに示すように、ステージングユーザーインターフェース６０１０）に表示しつつ、デバイスは、第４の入力を検出し、この第４の入力の検出に応答して、第４の入力が第４のユーザーインターフェースにおける第２の仮想三次元オブジェクトを操作する要求に対応しているとの判定に応じて、デバイスは、（例えば、図６Ｊ～６Ｍに関して説明したような及び／又は図６Ｎ～６Ｐに関して説明したような）第４の入力に基づいて、第４のユーザーインターフェースにおける第２の仮想三次元オブジェクトの表示特性を変化させ、第４の入力が拡張現実環境内に第２の仮想オブジェクトを表示させる要求（例えば、第２のユーザーインターフェース領域内の仮想オブジェクトの表現に対応するタッチ感知面上の場所における又はその場所からのタップ入力、押圧入力、又はタッチ保持若しくは押圧入力とそれに続くドラッグ入力）に対応するとの判定に応じて、このデバイスは、（例えば、図６Ｑ～６Ｕに関して説明したように）１つ以上のカメラの視野の表現と共に第２の仮想三次元オブジェクトを表示する。
In some embodiments, a second item (eg, as described in more detail herein with reference to Method 900) to indicate that the second item corresponds to each virtual three-dimensional object. While displaying (eg, the virtual chair 5020) with visual instructions (eg, the virtual object indicator 5022), the device is a third touch at a location on the touch sensitive surface corresponding to the representation of the second item. Detects 3 inputs (eg, inputs as described for FIGS. 6E-6I) (1034), responds to detection of a third input by the third contact, and the third input by the third contact is the third. Depending on the determination that one (eg, staging trigger) criterion is met, the device is described in more detail with reference to a fourth user interface (eg, Method 900) that is different from the second user interface. Display a second virtual three-dimensional object in the staging user interface 6010). In some embodiments, the device detects a fourth input while displaying a second virtual three-dimensional object in a fourth user interface (eg, staging
第２の三次元オブジェクトを第４のユーザーインターフェース（例えば、ステージングユーザーインターフェース６０１０）に表示しつつ、第４の入力に応答して、デバイスは、第４の入力に基づいて第２の三次元オブジェクトの表示特性を変化させる、又はデバイスの１つ以上のカメラの視野の表現と共に第２の三次元オブジェクトを表示する。（例えば、第２の三次元オブジェクトの表示特性を変化させることによって、又はデバイスの１つ以上のカメラの視野の表現と共に第２の三次元オブジェクトを表示することによって）入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 In response to the fourth input while displaying the second 3D object in the 4th user interface (eg, staging user interface 6010), the device responds to the 4th input and the device is based on the 4th input. The display characteristics of the device are changed, or a second 3D object is displayed with a representation of the field of view of one or more cameras on the device. Multiple in response to input (eg, by changing the display characteristics of the second 3D object, or by displaying the second 3D object with a representation of the field of view of one or more cameras on the device). By allowing different types of actions to be performed, the efficiency with which the user can perform these actions is increased, thereby improving the usability of the device, and the user can use the device more quickly and efficiently. Reduces device power usage and improves battery life by enabling.
図１０Ａ～１０Ｄにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法８００、９００、１６０００、１７０００、１８０００、１９０００、及び２００００）に関して本明細書に記載される他のプロセスの詳細は、図１０Ａ～１０Ｄに関して上記した方法１０００にも、同様に適用可能であることに留意されたい。例えば、方法１０００を参照して上記した接触、入力、仮想オブジェクト、ユーザーインターフェース、ユーザーインターフェース領域、視野、移動、及び／又はアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法８００、９００、１６０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書に記載した接触、入力、仮想オブジェクト、ユーザーインターフェース、ユーザーインターフェース領域、視野、移動、及び／又はアニメーションの特徴のうちの１つ以上を有する。簡潔にするために、これらの詳細はここでは繰り返さない。
Understand that the particular order described for the operations in FIGS. 10A-10D is merely an example and the described order is not intended to indicate that the operation is the only order in which it can be performed. I want to be. Those of skill in the art will recognize various methods for reordering the operations described herein. In addition, details of the other processes described herein with respect to the other methods described herein (eg,
図１１Ａ～１１Ｖは、オブジェクト配置基準が満たされるか否かに応じて異なる視覚特性を有する仮想オブジェクトを表示するユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ～８Ｅ、図９Ａ～９Ｄ、図１０Ａ～１０Ｄ、図１６Ａ～１６Ｇ、図１７Ａ～１７Ｄ、図１８Ａ～１８Ｉ、図１９Ａ～１９Ｈ、及び図２０Ａ～２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
11A-11V show examples of user interfaces that display virtual objects with different visual characteristics depending on whether the object placement criteria are met. The user interfaces in these figures are the processes in FIGS. 8A-8E, 9A-9D, 10A-10D, 16A-16G, 17A-17D, 18A-18I, 19A-19H, and 20A-20F. It is used to illustrate the process described below, including. For convenience of description, some of the embodiments are discussed with reference to operations performed on the device having the touch-
図１１Ａ～１１Ｅは、ステージングビューに仮想オブジェクトを表示する入力を示す。例えば、三次元オブジェクトの二次元二次元（例えば、サムネイル）表現がユーザーインターフェース（例えば、電子メールユーザーインターフェース７０５２、ファイル管理ユーザーインターフェース７０３６、地図ユーザーインターフェース７０２２、メッセージングユーザーインターフェース５００８、インターネットブラウザユーザーインターフェース５０６０、又はサードパーティアプリケーションユーザーインターフェース）に表示されている間に、入力が検出される。
11A-11E show inputs to display virtual objects in the staging view. For example, a two-dimensional two-dimensional (eg, thumbnail) representation of a three-dimensional object is a user interface (eg,
図１１Ａにおいて、インターネットブラウザユーザーインターフェース５０６０は、三次元仮想オブジェクト１１００２（椅子）の二次元表現を含む。接触１１００４による入力（例えば、タップ入力）は、仮想オブジェクト１１００２に対応する位置で検出される。タップ入力に応答して、インターネットブラウザユーザーインターフェース５０６０の表示は、ステージングユーザーインターフェース６０１０の表示によって置き換えられる。
In FIG. 11A, the internet
図１１Ｂ～１１Ｅは、インターネットブラウザユーザーインターフェース５０６０がステージングユーザーインターフェース６０１０の表示によって置き換えられるときに生じる遷移を示す。一部の実施形態では、仮想オブジェクト１０００２は、遷移中に、徐々にビューにフェードインし、及び／又はステージングユーザーインターフェース６０１０の制御（例えば、バック制御６０１６、トグル制御６０１８、及び／又は共有制御６０２０）は、徐々にビューにフェードインする。例えば、（例えば、仮想オブジェクト１１００２の三次元表現がディスプレイ上にレンダリングされるのに必要な期間中、制御の表示を遅延させるために）仮想オブジェクト１１００２がビューにフェードインした後に、ステージングユーザーインターフェース６０１０の制御がビューにフェードインする。一部の実施形態では、仮想オブジェクト１１００２の「フェードイン」は、仮想オブジェクト１１００２の低解像度、二次元、及び／又はホログラフィックバージョンを表示することとそれに続く仮想オブジェクト１１００２の最終的な三次元表現を表示することを含む。図１１Ｂ～１１Ｄは、仮想オブジェクト１１００２の徐々のフェードインを示す。図１１Ｄには、仮想オブジェクト１１００２の影１１００６が表示されている。図１１Ｄ～１１Ｅは、制御６０１６、６０１８、及び６０２０の徐々のフェードインを示す。
11B-11E show the transitions that occur when the Internet
図１１Ｆ～１１Ｇは、仮想オブジェクト１１００２の三次元表現をデバイス１００の１つ以上のカメラの視野６０３６を含むユーザーインターフェースに表示させる入力を示す。図１１Ｆにおいて、接触１１００８による入力は、トグル制御６０１８に対応する位置で検出される。この入力に応答して、図１１Ｇに示すように、ステージングユーザーインターフェース６０１０の表示が、カメラの視野６０３６を含むユーザーインターフェースの表示に置き換えられる。
11F-11G show inputs that display a three-dimensional representation of
図１１Ｇ～１１Ｈに示すように、カメラの視野６０３６が最初に表示されるときに（例えば、仮想オブジェクトに対応するプレーンが、カメラの視野６０３６内で検出されていないときに）、仮想オブジェクトの半透明表現が表示されてもよい。
As shown in FIGS. 11G-11H, when the camera field of
図１１Ｇ～１１Ｈは、カメラの視野６０３６を含むユーザーインターフェースに表示される仮想オブジェクト１１００２の半透明表現を示す。仮想オブジェクト１１００２の半透明表現は、ディスプレイ１１２に対して一定の位置に表示される。例えば、図１１Ｇから図１１Ｈまで、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）デバイス１００が物理的環境５００２に対して移動させられるとき、仮想オブジェクト１１００２は、ディスプレイ１１２に対して一定の位置のままである。
11G-11H show translucent representations of the
一部の実施形態では、仮想オブジェクトに対応するプレーンがカメラの視野６０３６内で検出されたとの判定に応じて、検出されたプレーン上に仮想オブジェクトが配置される。
In some embodiments, the virtual object is placed on the detected plane in response to the determination that the plane corresponding to the virtual object has been detected within the camera's field of
図１１Ｉにおいて、仮想オブジェクト１１００２に対応するプレーンが、カメラの視野６０３６内で検出されており、検出されたプレーン上に仮想オブジェクト１１００２が配置される。（例えば、少なくとも１つのプレーン（例えば、床面５０３８）がカメラの視野６０３６内で検出されたことを示すために）デバイスは、１１０１０で示すように、触知出力を生成している。仮想オブジェクト１１００２がカメラの視野６０３６内で検出されるプレーンに対してある位置に配置されるとき、仮想オブジェクト１１００２は、１つ以上のカメラによって取り込まれた物理的環境５００２に対して一定の位置のままである。図１１Ｉから図１１Ｊまで、（例えば、カメラの視野６０３６内に表示されたテーブル５００４の変化した位置によって示されるように）デバイス１００が、物理的環境５００２に対して移動させられるとき、仮想オブジェクト１１００２は、物理的環境５００２に対して一定の位置のままである。
In FIG. 11I, the plane corresponding to the
一部の実施形態では、カメラの視野６０３６が表示される間、（例えば、入力が受信されない期間が経過との判定に応じて）制御（例えば、バック制御６０１６、トグル制御６０１８、及び／又は共有制御６０２０）は、表示されるのを中止する。図１１Ｊ～１１Ｌにおいて、制御６０１６、６０１８、及び６０２０は、（例えば、図１１Ｋに示すように）徐々にフェードアウトし、（例えば、図１１Ｌに示すように）カメラの視野６０３６が表示されるディスプレイ１１２の部分を増大させる。
In some embodiments, control (eg, back
図１１Ｍ～１１Ｓは、仮想オブジェクトがカメラの視野６０３６を含むユーザーインターフェース内で表示されるときに、仮想オブジェクト１１００２を操作する入力を示す。
11M-11S show inputs for manipulating the
図１１Ｍ～１１Ｎにおいて、仮想オブジェクト１１００２のシミュレートされた物理的サイズを変更する接触１１０１２及び１１０１４による入力（例えば、デピンチジェスチャ）が検出される。入力の検出に応答して、制御６０１６、６０１８、及び６０２０が再表示される。接触１１０１２は矢印１１０１６で示す経路に沿って移動し、接触１１０１４は矢印１１０１８で示す経路に沿って移動し、仮想オブジェクト１１００２のサイズは増大する。
In FIGS. 11M-11N, inputs (eg, depinch gestures) by
図１１Ｎ～１１Ｐにおいて、仮想オブジェクト１１００２のシミュレートされた物理的サイズを変更する接触１１０１２～１１０４による入力（例えば、ピンチジェスチャ）が検出される。（図１１Ｎ～１１Ｏ及び１１Ｏ～１１Ｐに示すように）接触１１０１２は矢印１１０２０で示す経路に沿って移動し、接触１１０１４は矢印１１０２２示す経路に沿って移動し、仮想オブジェクト１１００２のサイズが減少する。図１１Ｏに示すように、仮想オブジェクト１１００２のサイズが、物理的環境５００２に対してその元のサイズ（例えば、図１１Ｉに示すように、物理的環境５００２内の検出されたプレーン上に最初に配置されたときの仮想オブジェクト１１００２のサイズ）に調整されるとき、（例えば、仮想オブジェクト１１００２がその元のサイズに戻ったことを示すフィードバックを提供するために）（１１０２４で示すような）触知出力が発生する。図１１Ｑにおいて、接触１１０１２及び１１０１４は、タッチスクリーンディスプレイ１１２からリフトオフされている。
In FIGS. 11N-11P, inputs (eg, pinch gestures) by
図１１Ｒにおいて、仮想オブジェクト１１００２を物理的環境５００２に対して元のサイズに戻すための入力（例えば、二重タップ入力）が検出される。入力は、接触１１０２６によって示すように、仮想オブジェクト１１００２に対応する位置で検出される。この入力に応答して、仮想オブジェクト１１００２は、図１１Ｒに示す縮小サイズから、図１１Ｓに示すような仮想オブジェクト１１００２の元のサイズに調整される。図１１Ｓに示すように、仮想オブジェクト１１００２のサイズが、物理的環境５００２に対してその元のサイズに調整されるとき、（例えば、仮想オブジェクト１１００２がその元のサイズに戻ったことを示すフィードバックを提供するために）（１１０２８で示すような）触知出力が発生する。
In FIG. 11R, an input (eg, double tap input) for returning the
図１１Ｔにおいて、接触１１０３０による入力は、トグル制御６０１８に対応する位置で検出される。この入力に応答して、図１１Ｕに示すように、カメラの視野６０３６を含むユーザーインターフェースの表示は、ステージングユーザーインターフェース６０１０によって置き換えられる。
In FIG. 11T, the input by
図１１Ｕにおいて、接触１１０３２による入力が、バック制御６０１６に対応する位置で検出される。この入力に応答して、図１１Ｖに示すように、ステージングユーザーインターフェース６０１０の表示は、インターネットブラウザユーザーインターフェース５０６０によって置き換えられる。
In FIG. 11U, the input by the
図１２Ａ～１２Ｌは、デバイスの１つ以上のカメラの移動に応じて動的にアニメーション化される較正ユーザーインターフェースオブジェクトを表示するユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ～８Ｅ、図９Ａ～９Ｄ、図１０Ａ～１０Ｄ、図１６Ａ～１６Ｇ、図１７Ａ～１７Ｄ、図１８Ａ～１８Ｉ、図１９Ａ～１９Ｈ、及び図２０Ａ～２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
12A-12L show an example of a user interface displaying a calibrated user interface object that is dynamically animated in response to the movement of one or more cameras in the device. The user interfaces in these figures are the processes in FIGS. 8A-8E, 9A-9D, 10A-10D, 16A-16G, 17A-17D, 18A-18I, 19A-19H, and 20A-20F. It is used to illustrate the process described below, including. For convenience of illustration, some of the embodiments are discussed with reference to operations performed on the device having the touch-
一部の実施形態によれば、１つ以上のカメラの視野を含むユーザーインターフェースに仮想オブジェクトを表示するように要求を受信しているが、デバイスの較正のために追加データが必要とされる場合、較正ユーザーインターフェースオブジェクトが表示される。 According to some embodiments, a request is received to display a virtual object in a user interface that includes the field of view of one or more cameras, but additional data is needed to calibrate the device. , The calibration user interface object is displayed.
図１２Ａは、１つ以上のカメラの視野６０３６を含むユーザーインターフェースに仮想オブジェクト１１００２を表示することを要求する入力を示す。接触１２００２による入力は、トグル制御６０１８に対応する位置で検出される。図１２Ｂに示すように、この入力に応答して、ステージングユーザーインターフェース６０１０の表示は、カメラの視野６０３６を含むユーザーインターフェースの表示によって置き換えられる。仮想オブジェクト１１００２の半透明表現は、カメラの視野６０３６を含むユーザーインターフェースに表示される。（例えば、仮想オブジェクト１１００２に対応するプレーンがカメラの視野６０３６内で検出されていないので）較正が必要とされるが、（例えば、以下に説明するように、プロンプト及び／又は較正オブジェクトの挙動を強調するために）カメラの視野６０３６はぼかされる。
FIG. 12A shows an input requesting that the
図１２Ｂ～１２Ｄは、（例えば、較正が必要とされるとの判定に応じて表示される）ユーザーにデバイスの移動を促す動画像及びテキストを示す。動画像は、デバイス１００の表現１２００４と、デバイス１００の左右の移動が必要とされることを示す矢印１２００６及び１２００８と、（例えば、仮想オブジェクト１１００２に対応するプレーンを検出するためにプレーンに対してデバイス１００が移動しなければならないことを示すための）プレーンの表現１２０１０とを含む。テキストプロンプト１２０１２は、較正が必要なデバイス１００の移動に関する情報を提供する。図１２Ｂ～１２Ｃ、１２Ｃ～１２Ｄにおいて、デバイス１００の表現１２００４及び矢印１２００６は、較正が必要なデバイス１００の移動の指示を与えるために、プレーンの表現１２０１０に対して調整される。図１２Ｃから図１２Ｄまで、デバイス１００は、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）物理的環境５００２に対して移動させられる。デバイス１００の移動を検出した結果として、図１２Ｅ－１に示すように、較正ユーザーインターフェースオブジェクト１２０１４（立方体の輪郭）が表示される。
12B-12D show moving images and text that prompt the user (eg, displayed in response to a determination that calibration is required) to move the device. The moving image includes the
図１２Ｅ－１から１２Ｉ－１は、それぞれ図１２Ｅ－２から１２Ｉ－２に示すように、物理的環境５００２に対するデバイス１００の移動に対応する較正ユーザーインターフェースオブジェクト１２０１４の挙動を示す。較正ユーザーインターフェースオブジェクト１２０１４は、（例えば、較正に役立つ移動に関してユーザーにフィードバックを提供するために）デバイス１００の移動（例えば、横移動）に応じてアニメーション化される（例えば、立方体の輪郭が回転する）。図１２Ｅ－１において、較正ユーザーインターフェースオブジェクト１２０１４は、デバイス１００のカメラの視野６０３６を含むユーザーインターフェース内の第１の回転角度で示される。図１２Ｅ－２には、物理的環境５００２に対して第１の位置でユーザーの手５００６で保持されたデバイス１００が示されている。図１２Ｅ－２から図１２Ｆ－２まで、デバイス１００は物理的環境５００２に対して（右へ）横に移動している。移動の結果として、図１２Ｆ－１に示すように、デバイス１００によって表示されるようなカメラの視野６０３６は更新され、較正ユーザーインターフェースオブジェクト１２０１４は（図１２Ｅ－１におけるその位置に対して）回転している。図１２Ｆ－２から図１２Ｇ－２まで、デバイス１００は、物理的環境５００２に対してその右方に移動を継続している。移動の結果として、図１２Ｇ－１に示すように、デバイス１００によって表示されるようなカメラの視野６０３６は再び更新され、較正ユーザーインターフェースオブジェクト１２０１４は更に回転させられる。図１２Ｇ－２から図１２Ｈ－２まで、デバイス１００は、物理的環境５００２に対して上方に移動している。移動の結果として、デバイス１００によって表示されるようなカメラの視野６０３６は更新される。図１２Ｇ－１から図１２Ｈ－１に示すように、較正ユーザーインターフェースオブジェクト１２０１４は、（例えば、デバイスの垂直移動が較正に寄与しないという指示をユーザーに与えるために）図１２Ｇ－２から図１２Ｈ－２に示すデバイスの上方移動に応じて回転しない。図１２Ｈ－２から図１２Ｉ－２まで、デバイス１００は、物理的環境５００２に対して更に右方に移動している。移動の結果として、図１２Ｉ－１に示すように、デバイス１００によって表示されるようなカメラの視野６０３６は再び更新され、較正ユーザーインターフェースオブジェクト１２０１４は回転させられる。
12E-1 to 12I-1 show the behavior of the calibrated
図１２Ｊにおいて、（例えば、図１２Ｅ～１２Ｉに示すような）デバイス１００の移動は、必要な較正を満足している（例えば、仮想オブジェクト１１００２に対応するプレーンは、カメラの視野６０３６内で検出されている）。仮想オブジェクト１１００２は検出されたプレーン上に配置され、カメラの視野６０３６はぼかされるのを中止する。触知出力生成器は、プレーン（例えば、床面５０３８）がカメラの視野６０３６内で検出されたことを示す（１２０１６で示すような）触知出力を出力する。床面５０３８は、検出されたプレーンの指示を与えるように強調される。
In FIG. 12J, the movement of the device 100 (eg, as shown in FIGS. 12E-12I) satisfies the required calibration (eg, the plane corresponding to the
仮想オブジェクト１１００２がカメラの視野６０３６内で検出されるプレーンに対してある位置に配置されているとき、仮想オブジェクト１１００２は、１つ以上のカメラによって取り込まれた物理的環境５００２に対して一定の位置のままである。（図１２Ｋ－２～図１２Ｌ－２に示すように）デバイス１００は、物理的環境５００２に対して移動させられるとき、（図１２Ｋ－１～図１２Ｌ－１に示すように）仮想オブジェクト１１００２は、物理的環境５００２に対して一定の位置のままである。
When the
図１３Ａ～１３Ｍは、軸を中心にした仮想オブジェクトの回転を制約するユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ～８Ｅ、図９Ａ～９Ｄ、図１０Ａ～１０Ｄ、図１６Ａ～１６Ｇ、図１７Ａ～１７Ｄ、図１８Ａ～１８Ｉ、図１９Ａ～１９Ｈ、及び図２０Ａ～２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
13A-13M show examples of user interfaces that constrain the rotation of virtual objects around an axis. The user interfaces in these figures are the processes in FIGS. 8A-8E, 9A-9D, 10A-10D, 16A-16G, 17A-17D, 18A-18I, 19A-19H, and 20A-20F. It is used to illustrate the process described below, including. For convenience of illustration, some of the embodiments are discussed with reference to operations performed on the device having the touch-
図１３Ａにおいて、仮想オブジェクト１１００２は、ステージングユーザーインターフェース６０１０に示されている。ｘ軸、ｙ軸、及びｚ軸は、仮想オブジェクト１１００２に対して示されている。
In FIG. 13A, the
図１３Ｂ～１３Ｃは、図１３Ａに示されるｙ軸周りに仮想オブジェクト１１００２を回転させるための入力を示す。図１３Ｂにおいて、接触１３００２による入力は、仮想オブジェクト１１００２に対応する位置で検出される。入力は、矢印１３００４で示す経路に沿って距離ｄ１だけ移動する。入力が経路に沿って移動するとき、仮想オブジェクト１１００２は、図１３Ｂに示される位置までｙ軸周りに（例えば、３５度だけ）回転する。ステージングユーザーインターフェース６０１０において、仮想オブジェクト１１００２に対応する影１３００６が表示される。図１３Ｂから図１３Ｃへ、影１３００６は、仮想オブジェクト１１００２の位置変化に応じて変化する。
13B-13C show inputs for rotating the
接触１３００２がタッチスクリーン１１２からリフトオフされた後、仮想オブジェクト１１００２は、（例えば、仮想オブジェクト１１００２が物理的オブジェクトのように振る舞う印象を与えるために、接触１３００２の移動により付与される「運動量」に応じて）図１３Ｃ～１３Ｄに示すように、回転し続ける。
After the
図１３Ｅ～１３Ｆは、図１３Ａに示すｘ軸周りに仮想オブジェクト１１００２を回転させる入力を示す。図１３Ｅにおいて、接触１３００８による入力は、仮想オブジェクト１１００２に対応する位置で検出される。入力は、矢印１３０１０で示す経路に沿って距離ｄ１だけ移動する。入力が経路に沿って移動するとき、仮想オブジェクト１１００２は、図１３Ｆに示される位置までｘ軸周りに（例えば、５度だけ）回転する。接触１３００８は、接触１３００２が１３Ｂ～１３Ｃから移動したのと同じ距離ｄ１だけ図１３Ｅ～１３Ｆのｘ軸に沿って移動するが、図１３Ｅ～１３Ｆにおけるｘ軸周りの仮想オブジェクト１１００２の回転角は、図１３Ｂ～１３Ｃにおけるｙ軸周りの仮想オブジェクト１１００２ の回転角よりも小さい。
13E-13F show inputs to rotate the virtual object 1102 around the x-axis shown in FIG. 13A. In FIG. 13E, the input by
図１３Ｆ～１３Ｇは、図１３Ａに示すｘ軸周りに仮想オブジェクト１１００２を回転させる更なる入力を示す。図１３Ｆにおいて、接触１３００８はその移動を続け、矢印１３０１２で示す経路に沿って（距離ｄ１よりも大きい）距離ｄ２だけ移動する。入力が経路に沿って移動するとき、仮想オブジェクト１１００２は、図１３Ｇに示す位置までｘ軸周りに（２５度だけ）回転する。図１３Ｅ～１３Ｇに示すように、距離ｄ１＋ｄ２だけの接触１３００８の移動により、仮想オブジェクト１１００２はｘ軸周りに３０度回転する一方、図１３Ｂ～１３Ｃにおいて、距離ｄ１だけの接触１３００４の移動により、仮想オブジェクト１１００２はｙ軸回りに３５度回転する。
13F-13G show additional inputs to rotate the
（例えば、接触１３００８の移動により、回転限界を越えて達する仮想オブジェクト１１００２の回転量を引き起こしたことを示すために）接触１３００８がタッチスクリーン１１２からリフトオフされた後、仮想オブジェクト１１００２は、図１３Ｇ～１３Ｈに示すように、接触１３００８の移動によって引き起こされる回転の方向とは反対の方向に回転する。
After the
図１３Ｇ～１３Ｉにおいて、影１３００６は、（例えば、オブジェクトを下から見たときには、仮想オブジェクト１１００２は影を投じないため）示されていない。
In FIGS. 13G-13I, the
図１３Ｉにおいて、（例えば、図１３Ａに示すように）仮想オブジェクト１１００２をそれが本来表示されていた視点に復帰させる入力（例えば、二重タップ入力）が検出される。入力は、接触１３０１４によって示すように、仮想オブジェクト１１００２に対応する位置で行われる。この入力に応答して、仮想オブジェクト１１００２は、（図１３Ｅ～１３Ｈから生じた回転を逆にするために）ｙ軸周りに回転させられると共に、（図１３Ｂ～１３Ｄから生じた回転を逆にするために）ｘ軸周りに回転させられる。図１３Ｊにおいて、接触１３０１６による入力により、仮想オブジェクト１１００２は元々表示されていた視点に復帰する。
In FIG. 13I, an input (eg, double tap input) that returns the virtual object 11002 (eg, as shown in FIG. 13A) to the viewpoint from which it was originally displayed is detected. The input is made at the position corresponding to the
一部の実施形態では、ステージングユーザーインターフェース６０１０が表示されている間に、仮想オブジェクト１１００２のサイズを調整するための入力が受信される。例えば、仮想オブジェクト１１００２のサイズを調整するための入力は、仮想オブジェクト１１００２のサイズを増大させる（例えば、図６Ｎ～６Ｏに関して説明したような）デピンチジェスチャ、又は仮想オブジェクト１１００２のサイズを減少させるピンチジェスチャである。
In some embodiments, while the
図１３Ｊにおいて、ステージングユーザーインターフェース６０１０の表示をカメラの視野６０３６を含むユーザーインターフェースの表示に置き換えるための入力が受信される。接触１３０１６による入力は、トグル制御６０１８に対応する位置で検出される。この入力に応答して、ステージングユーザーインターフェース６０１０の表示は、図１３Ｋに示すように、カメラの視野６０３６を含むユーザーインターフェースに置き換えられる。
In FIG. 13J, an input is received to replace the display of the
図１３Ｋにおいて、仮想オブジェクト１１００２は、カメラの視野６０３６を含むユーザーインターフェースに表示される。仮想オブジェクト１１００２に対応するプレーンがカメラの視野６０３６内で検出されたことを示すために（１３０１８で示すように）触知出力が発生する。カメラの視野６０３６を含むユーザーインターフェースにおける仮想オブジェクト１１００２の回転角は、ステージングユーザーインターフェース６０１０における仮想オブジェクト１１００２の回転角に対応する。
In FIG. 13K, the
カメラの視野６０３６を含むユーザーインターフェースが表示されるとき、図１３Ｌ～１３Ｍで示すように、横移動を含む入力は、カメラの視野６０３６を含むユーザーインターフェース内の仮想オブジェクト１１００２の横移動を引き起こす。図１３Ｌにおいて、接触１３０２０は仮想オブジェクト１１００２に対応する位置で検出され、接触は矢印１３０２２で示す経路に沿って移動する。接触が移動すると、仮想オブジェクト１１００２は、（図１３Ｌに示すような）第１の位置から（図１３Ｍに示すような）第２の位置へ接触１３０２０の移動に対応する経路に沿って移動する。
When the user interface including the camera field of
一部の実施形態では、図５ＡＪ～５ＡＭに関して説明したように、カメラの視野６０３６を含むユーザーインターフェースが表示されるときに提供される入力は、仮想オブジェクト１１００２を第１のプレーン（例えば、床面５０３８）から第２のプレーン（例えば、テーブル基準面５０４６）への移動させることができる。
In some embodiments, as described with respect to FIGS. 5AJ-5AM, the input provided when the user interface including the camera field of
図１４Ａ～１４Ｚは、移動の第１の閾値大きさが第１のオブジェクト操作挙動について満たされるとの判定に応じて、第２のオブジェクト操作挙動に必要な移動の第２の閾値大きさを増大させるユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ～８Ｅ、図９Ａ～９Ｄ、図１０Ａ～１０Ｄ、図１４ＡＡ～１４ＡＤ、図１６Ａ～１６Ｇ、図１７Ａ～１７Ｄ、図１８Ａ～１８Ｉ、図１９Ａ～１９Ｈ、及び図２０Ａ～２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
14A-14Z increase the second threshold magnitude of movement required for the second object manipulation behavior in response to the determination that the first threshold magnitude of movement is satisfied for the first object manipulation behavior. Here is an example of a user interface to let you. The user interfaces in these figures are FIGS. 8A-8E, 9A-9D, 10A-10D, 14AA-14AD, 16A-16G, 17A-17D, 18A-18I, 19A-19H, and FIGS. It is used to illustrate the processes described below, including the processes at 20A-20F. For convenience of illustration, some of the embodiments are discussed with reference to operations performed on the device having the touch-
図１４Ａにおいて、仮想オブジェクト１１００２は、カメラの視野６０３６を含むユーザーインターフェースに表示される。図１４Ｂ～１４Ｚに関して更に説明するように、並進移動量計１４００２、スケーリング移動量計１４００４、回転移動量計１４００６を用いて、オブジェクトの操作挙動（例えば、並進動作、スケーリング動作、及び／又は回転動作）に対応するそれぞれの移動の大きさを示す。並進移動量計１４００２は、タッチスクリーンディスプレイ１１２上に１組の接触の横（例えば、左向き又は右向きの）移動の大きさを示す。スケーリング移動量計１４００４は、タッチスクリーンディスプレイ１１２上に１組の接触におけるそれぞれの接触間の距離の増加又は減少の大きさ（例えば、ピンチジェスチャ又はデピンチジェスチャの大きさ）を示す。回転移動量計１４００６は、タッチスクリーンディスプレイ１１２上に１組の接触の回転移動の大きさを示す。
In FIG. 14A, the
図１４Ｂ～１４Ｅは、１つ以上のカメラの視野６０３６を含むユーザーインターフェースにおいて仮想オブジェクト１１００２を回転させる入力を示す。仮想オブジェクト１１００２を回転させる入力は、第１の接触１４００８が矢印１４０１０で示す経路に沿って時計方向に回転移動し、第２の接触１４０１２が矢印１４０１４で示す経路に沿って時計方向に回転移動するジェスチャを含む。図１４Ｂでは、タッチスクリーン１１２との接触１４００８及び１４０１２が検出される。図１４Ｃにおいて、接触１４００８は、矢印１４０１０で示す経路に沿って移動しており、接触１４０１２は、矢印１４０１２で示す経路に沿って移動している。図１４Ｃでは、接触１４００８及び接触１４０１２の回転移動の大きさが、まだ閾値ＲＴに達していないので、仮想オブジェクト１１００２は、まだ入力に応答して回転していない。図１４Ｄにおいて、接触１４００８及び接触１４０１２の回転移動の大きさは閾値ＲＴを超えて増大しており、仮想オブジェクト１１００２は入力に応答して（図１４Ｂに示す仮想オブジェクト１１００２の位置に対して）回転している。回転移動の大きさが閾値ＲＴを超えて増大するとき、仮想オブジェクト１１００２をスケーリングするのに必要な移動の大きさは増大し（例えば、スケーリング閾値ＳＴは、スケーリング移動量計１４００４で示すように、ＳＴからＳＴ'に増大しており）、仮想オブジェクト１１００２を並進するのに必要な移動の大きさは増大する（例えば、並進移動量計１４００２で示すように、並進閾値ＴＴは、ＴＴからＴＴ'に増大している）。図１４Ｅにおいて、接触１４００８及び接触１４０１２は、それぞれ矢印１４０１０及び１４０１４で示す回転経路に沿って移動し続けており、仮想オブジェクト１１００２は入力に応答して回転し続けている。図１４Ｆにおいて、接触１４００８及び１４０１２は、タッチスクリーン１１２からリフトオフされている。
14B-14E show inputs to rotate
図１４Ｇ～１４Ｉは、１つ以上のカメラの視野６０３６を含むユーザーインターフェース内の仮想オブジェクト１１００２をスケーリングする（例えば、そのサイズを増大する）入力を示す。仮想オブジェクト１１００２のサイズを増大させる入力は、（例えば、接触１４０１６と接触１４０２０との間の距離が増大するように）第１の接触１４０１６が矢印１４０１８で示す経路に沿って移動し、第２の接触１４０２０が矢印１４０２２で示す経路に沿って移動するジェスチャを含む。図１４Ｇでは、タッチスクリーン１１２との接触１４０１６及び１４０２０が検出される。図１４Ｈにおいて、接触１４０１６は矢印１４０１８で示す経路に沿って移動しており、接触１４０２０は矢印１４０２２で示す経路に沿って移動している。図１４Ｈにおいて、接触１４０２０から離れた接触１４０１６の移動の大きさは、閾値ＳＴに達していないので、仮想オブジェクト１１００２のサイズは、入力に応答してまだ調整されていない。図１４Ｉにおいて、接触１４０１６及び接触１４０２０のスケーリング移動の大きさは閾値ＳＴを超えて増大しており、仮想オブジェクト１１００２のサイズはその入力に応答して（図１４Ｈに示す仮想オブジェクト１１００２のサイズに対して）増大している。スケーリング移動の大きさが閾値ＳＴを超えて増大するとき、仮想オブジェクト１１００２を回転させるのに必要な移動の大きさは増大し（例えば、回転移動量計１４００６で示すように、回転閾値ＲＴはＲＴからＲＴ'へ増大しており）、仮想オブジェクト１１００２を並進するのに必要な移動の大きさは増大する（例えば、並進移動量計１４００２で示すように、並進閾値ＴＴはＴＴからＴＴ'へ増大している）。図１４Ｊにおいて、接触１４０１６及び１４０２０はタッチスクリーン１１２からリフトオフしている。
14G-14I show inputs that scale (eg, increase in size) the
図１４Ｋ～１４Ｍは、１つ以上のカメラの視野６０３６を含むユーザーインターフェース内で仮想オブジェクト１１００２を並進させる（例えば、仮想オブジェクト１１００２を左へ移動させる）入力を示す。仮想オブジェクト１１００２を移動させる入力は、（例えば、接触１４０２４及び接触１４０２８が共に左方へ移動するように）第１の接触１４０２４が矢印１４０２６で示す経路に沿って移動し、第２の接触１４０２８が矢印１４３０で示す経路に沿って移動するジェスチャを含む。図１４Ｋでは、タッチスクリーン１１２との接触１４０２４及び１４０２８が検出される。図１４Ｌにおいて、接触１４０２４は矢印１４０２６で示す経路に沿って移動しており、接触１４０２８は矢印１４０３０で示す経路に沿って移動している。図１４Ｌにおいて、接触１４０２４及び１４０２８の左方移動の大きさは閾値ＴＴに達していないので、仮想オブジェクト１１００２は、まだ入力に応答して移動させられていない。図１４Ｍにおいて、接触１４０２４及び接触１４０２８の左方移動の大きさは閾値ＴＴを超えて増大しており、仮想オブジェクト１１００２は、接触１４０２４及び１４０２８の移動の方向に移動させられている。並進移動の大きさが閾値ＴＴを超えて増大するとき、仮想オブジェクト１１００２をスケーリングするのに必要な移動の大きさは増大しており（例えば、スケーリング移動量計１４００４で示すように、スケーリング閾値ＳＴは、ＳＴからＳＴ'に増大している）、仮想オブジェクト１１００２を回転させるのに必要な移動の大きさは増大している（例えば、回転移動量計１４００６で示すように、回転閾値ＲＴは、ＲＴからＲＴ'に増大している）。図１４Ｎにおいて、接触１４０２４及び１４０２８はタッチスクリーン１１２からリフトオフされている。
14K-14M show inputs to translate virtual object 11002 (eg, move
図１４Ｏ～１４Ｚは、仮想オブジェクト１１００２を並進させる（例えば、仮想オブジェクト１１００２を右に移動させる）、仮想オブジェクト１１００２をスケーリングする（例えば、仮想オブジェクト１１００２のサイズを増大させる）、及び仮想オブジェクト１１００２を回転させるジェスチャを含む入力を示す。図１４Ｏでは、タッチスクリーン１１２との接触１４０３２及び１４０３６が検出される。図１４Ｏ～１４Ｐにおいて、接触１４０３２は矢印１４０３４で示す経路に沿って移動し、接触１４０３６は矢印１４０３８で示す経路に沿って移動する。接触１４０３２及び１４０３６の右方移動の大きさは、閾値ＴＴを超えて増大しており、仮想オブジェクト１１００２は接触１４０３２及び１４０３６の移動方向に移動させられている。接触１４０３２及び１４０３６の移動による閾値ＴＴの満足の結果として、仮想オブジェクト１１００２をスケーリングするのに必要な移動の大きさはＳＴ'に増大し、仮想オブジェクト１１００２を回転させるのに必要な移動の大きさはＲＴ'になる。（図１４Ｑにおける並進移動量計１４００２で示される高ウォーターマーク１４０４３によって示すように）閾値ＴＴを満足した後、接触１４０３２及び１４０３６の任意の横移動により、仮想オブジェクト１１００２の横移動を引き起こす。
14O-14Z translate virtual object 11002 (eg, move
図１４Ｑ～１４Ｒにおいて、接触１４０３２は矢印１４０４０で示す経路に沿って移動し、接触１４０３６は矢印１４０４２で示す経路に沿って移動する。図１４Ｒにおいて、接触１４０３６から離れた接触１４０３２の移動の大きさは、元のスケーリング閾値ＳＴを超えているが、増大したスケーリング閾値ＳＴ'に達していない。増大したスケーリング移動閾値ＳＴ'が効果的であるとき、接触１４０３６から離れた接触１４０３２の移動の大きさが増大したスケーリング移動閾値ＳＴ'を超えて増大するまでスケーリングは起こらず、したがって、仮想オブジェクト１１００２のサイズは、図１４Ｑ～１４Ｒから変化していない。図１４Ｒ～１４Ｓにおいて、接触１４０３２が矢印１４０４４で示す経路に沿って移動し、接触１４０３６が矢印１４０４６で示す経路に沿って移動するとき、接触１４０３２と１４０４６の間の距離は増大し続ける。図１４Ｓにおいて、接触１４０３６から離れた接触１４０３２の移動の大きさは、増大したスケーリング閾値ＳＴ'を超えており、仮想オブジェクト１１００２のサイズは増大している。（図１４Ｔにおけるスケーリング移動量計１４００４で示す高ウォーターマーク１４０４７によって示すように）閾値ＳＴ'が満足された後、接触１４０３２及び１４０３６の任意のスケーリング移動によって、仮想オブジェクト１１００２のスケーリングを引き起こす。
In FIGS. 14Q-14R, the
図１４Ｔ～１４Ｕにおいて、接触１４０３２は矢印１４０４８で示す経路に沿って移動し、接触１４０３６は矢印１４０５０で示す経路に沿って移動する。（並進移動量計１４００２で示す高ウォーターマーク１４０４３によって示すように）閾値ＴＴが満たされているので、仮想オブジェクト１１００２は、接触１４０３２及び１４０３６の横移動の方向に自由に移動する。
In FIGS. 14T-14U, the
図１４Ｖ～１４Ｗにおいて、接触１４０３２は矢印１４０５２で示す経路に沿って移動し、接触１４０３６は矢印１４０５４で示す経路に沿って移動する。接触１４０３２及び１４０３６の移動は、並進移動（接触１４０３２及び１４０３６の左方移動）と、スケーリング移動（接触１４０３２と接触１４０３６との間の距離を減少させる移動（例えば、ピンチジェスチャ））とを含む。（並進移動量計１４００２で示される高ウォーターマーク１４０４３によって示すように）並進閾値ＴＴが満足させられたため、仮想オブジェクト１１００２は、接触１４０３２及び１４０３６の横移動の方向に自由に移動し、（スケーリング移動量計１４００４で示される高ウォーターマーク１４０４７によって示すように）増大したスケーリング閾値ＳＴ'が満足させられたため、仮想オブジェクト１１００２は、接触１４０３２の接触１４０３６の方への移動に応じて自由にスケーリングする。図１４Ｖから１４Ｗまで、仮想オブジェクト１１００２のサイズは減少しており、仮想オブジェクト１１００２は、矢印１４０５２で示す経路に沿った接触１４０３２の移動、及び矢印１４０５４で示す経路に沿った接触１４０３６の移動に応じて左方に移動している。
In FIGS. 14V-14W, the
図１４Ｘ～１４Ｚでは、接触１４０３２が矢印１４０５６で示す経路に沿って反時計方向に回転移動し、接触１４０３６が矢印１４０５８で示す経路に沿って反時計方向に回転移動する。図１４Ｙにおいて、接触１４０３２及び接触１４０３６の回転移動の大きさは、元のスケーリング閾値ＲＴを超えているが、増大したスケーリング閾値ＲＴ'に達していない。増大したスケーリング移動閾値ＲＴ'が効果的であるとき、接触１４０３２及び１４０３６の回転移動の大きさが増大した回転移動閾値ＲＴ'を超えて増大するまで仮想オブジェクト１１００２の回転は起こらず、したがって、仮想オブジェクト１１００２は、図１４Ｘ～１４Ｙから回転していない。図１４Ｙ～１４Ｚにおいて、接触１４０３２が矢印１４０６０で示す経路に沿って移動し、接触１４０３６が矢印１４０６２で示す経路に沿って移動するとき、接触１４０３２及び１４０４６は反時計方向に回転移動し続ける。図１４Ｚにおいて、接触１４０３２及び接触１４０３６の回転移動の大きさは増大したスケーリング閾値ＲＴ'を超えおり、仮想オブジェクト１１００２は入力に応答して回転している。
In FIGS. 14X-14Z, the
図１４ＡＡ～１４ＡＤは、移動の第１の閾値大きさが第１のオブジェクト操作挙動について満たされるとの判定に応じて、第２のオブジェクト操作挙動に必要な移動の第２の閾値大きさを増大させる動作を示すフロー図である。図１４ＡＡ～１４ＡＤに関して説明する動作は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）、及びタッチ感知面（例えば、タッチ感知面、又は表示生成コンポーネントとタッチ感知面の両方としての役割を果たすタッチスクリーンディスプレイ）を有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル多機能デバイス１００）で実行される。図１４ＡＡ～１４ＡＤに関して説明した一部の動作は任意選択で組み合わされ、及び／又は一部の動作の順序は任意選択で変更される。
14AA-14AD increase the second threshold magnitude of movement required for the second object manipulation behavior in response to the determination that the first threshold magnitude of movement is satisfied for the first object manipulation behavior. It is a flow diagram which shows the operation which makes it make. Operations described with respect to FIGS. 14AA-14AD serve as display generation components (eg, displays, projectors, heads-up displays, etc.) and touch-sensitive surfaces (eg, touch-sensitive surfaces, or both display-generating components and touch-sensitive surfaces. It is performed on an electronic device (eg,
動作１４０６６で、１つ以上の接触の移動を含むユーザー入力の第１の部分が検出される。動作１４０６８で、（例えば、仮想オブジェクト１１００２に対応する位置における）１つ以上の接触の移動が、オブジェクト回転閾値（例えば、回転移動量計１４００６が示す回転閾値ＲＴ）を超えて増大するか否かが判定される。１つ以上の接触の移動が（例えば、図１４Ｂ～１４Ｄに関して説明するように）オブジェクト回転閾値を超えて増大しているとの判定に応じて、流れは動作１４０７０に進む。１つ以上の接触の移動がオブジェクト回転閾値を超えて増大していないとの判定に応じて、流れは動作１４０７４に進む。
動作１４０７０で、オブジェクト（例えば、仮想オブジェクト１１００２）は、（例えば、図１４Ｂ～１４Ｄに関して説明したように）ユーザー入力の第１の部分に基づいて回転させられる。動作１４０７２で、オブジェクト並進閾値は（例えば、図１４Ｄに関して説明したように、ＴＴからＴＴ'まで）増大し、オブジェクトスケーリング閾値は（例えば、図１４Ｄに関して説明したように、ＳＴからＳＴ'まで）まで増大する。流れは、Ａで示すように、動作１４０７２から図１４ＡＢの動作１４０８６に進む。
At
動作１４０７４で、（例えば、仮想オブジェクト１１００２に対応する位置での）１つ以上の接触の移動が、オブジェクト並進閾値（例えば、並進移動量計１４００２によって示す並進閾値ＴＴ）を超えて増大しているか否かが判定される。（例えば、図１４Ｋ～１４Ｍに関して説明するように）１つ以上の接触の移動がオブジェクト並進閾値を超えて増大するとの判定に応じて、流れは動作１４０７６へ進む。１つ以上の接触の移動がオブジェクト並進閾値を超えて増大していないとの判定に応じて、流れは動作１４０８０へ進む。
In
動作１４０７６で、オブジェクト（例えば、仮想オブジェクト１１００２）は、（例えば、図１４Ｋ～１４Ｍに関して説明したように）ユーザー入力の第１の部分に基づいて並進される。動作１４０７８で、オブジェクト回転閾値は（例えば、図１４Ｍに関して説明したように、ＲＴからＲＴ'へ）増大させられ、オブジェクトスケーリング閾値は（例えば、図１４Ｍに関して説明したように、ＳＴからＳＴ'へ）増大させられる。Ｂに示すように、流れは、動作１４０７８から図１４ＡＣの動作１４１００に進む。
At
動作１４０８０で、（例えば、仮想オブジェクト１１００２に対応する位置での）１つ以上の接触の移動は、オブジェクトスケーリング閾値（例えば、スケーリング移動量計１４００４で示すスケーリング閾値ＳＴ）を超えて増大するか否かが判定される。１つ以上の接触の移動が（例えば、図１４Ｇ～１４Ｉに関して説明したような）オブジェクトスケーリング閾値を超えて増大するとの判定に応じて、流れは動作１４０８２に進む。１つ以上の接触の移動がオブジェクトスケーリング閾値を超えて増大していないとの判定に応じて、流れは動作１４０８５に進む。
Whether or not the movement of one or more contacts (eg, at the position corresponding to the virtual object 11002) increases beyond the object scaling threshold (eg, the scaling threshold ST indicated by the scaling movement meter 14004) in
動作１４０８２で、オブジェクト（例えば、仮想オブジェクト１１００２）は、（例えば、図１４Ｇ～１４Ｉに関して説明したように）ユーザー入力の第１の部分に基づいてスケーリングされる。動作１４０８４では、オブジェクト回転閾値は（例えば、図１４Ｉに関して説明するように、ＲＴからＲＴ'に）増大し、オブジェクト並進閾値は（例えば、図１４Ｉに関して説明するように、ＴＴからＴＴ'に）増大する。Ｃで示すように、流れは動作１４０８４から図１４ＡＤの動作１４１１４へ進む。
At
動作１４０８５で、１つ以上の接触の移動を含むユーザー入力の追加部分が検出される。流れは、動作１４０８６から動作１４０６６へ進む。
図１４ＡＢにおいて、動作１４０８６で、１つ以上の接触の移動を含むユーザー入力の追加部分が検出される。流れは、動作１４０８６から動作１４０８８へ進む。
In FIG. 14AB,
動作１４０８８で、１つ以上の接触の移動が回転運動であるか否かが判定される。１つ以上の接触の移動が回転運動であるとの判定に応じて、流れは動作１４０９０に進む。１つ以上の接触の移動が回転運動でないとの判定に応じて、流れは動作１４０９２に進む。
In
動作１４０９０で、オブジェクト（例えば、仮想オブジェクト１１００２）は、（例えば、図１４Ｄ～１４Ｅに関して説明したように）ユーザー入力の追加部分に基づいて回転させられる。回転閾値が予め満たされていたので、オブジェクトは、追加の回転入力に応じて自由に回転する。
At
動作１４０９２で、１つ以上の接触の移動が、増大したオブジェクト並進閾値（例えば、図１４Ｄの並進移動量計１４００２によって示す並進閾値ＴＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が、増大したオブジェクト並進閾値を超えて増大しているとの判定に応じて、流れは動作１４０９４に進む。１つ以上の接触の移動が増大したオブジェクト並進閾値を超えて増大していないとの判定に応じて、流れは動作１４０９６に進む。
In
動作１４０９４では、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいて並進される。
In
動作１４０９６では、１つ以上の接触の移動が、増大したオブジェクトスケーリング閾値（例えば、図１４Ｄのスケーリング移動量計１４００４によって示されるスケーリング閾値ＳＴ'）を超えて増大しているか否か判定される。１つ以上の接触の移動が、増大したオブジェクトスケーリング閾値を超えて増大しているとの判定に応じて、流れは動作１４０９８に進む。１つ以上の接触の移動が、増大したオブジェクトスケーリング閾値を超えて増大していないとの判定に応じて、流れは動作１４０８６に戻る。
In
動作１４０９８で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいてスケーリングされる。
At
図１４ＡＣにおいて、動作１４１００で、１つ以上の接触の移動を含むユーザー入力の追加部分が検出される。流れは、動作１４１００から動作１４１０２に進む。
In FIG. 14AC,
動作１４１０２で、１つ以上の接触の移動が並進移動であるか否か判定される。１つ以上の接触の移動が並進移動であるとの判定に応じて、流れは動作１４０１０４に進む。１つ以上の接触の移動が並進移動でないとの判定に応じて、流れは動作１４１０６に進む。
In
動作１４１０４で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいて並進させられる。並進閾値が予め満たされていたので、オブジェクトは、追加の並進入力に応じて自由に並進する。
At
動作１４１０６で、１つ以上の接触の移動が、増大したオブジェクト回転閾値（例えば、図１４Ｍの回転移動量計１４００６で示す回転閾値ＲＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が、増大したオブジェクト回転閾値を超えて増大しているとの判定に応じて、流れは動作１４１０８に進む。１つ以上の接触の移動が、増大したオブジェクト回転閾値を超えて増大していないとの判定に応じて、流れは動作１４１１０に進む。
In
動作１４１０８で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいて回転させられる。
At
動作１４１１０で、１つ以上の接触の移動が増大したオブジェクトスケーリング閾値（例えば、図１４Ｍのスケーリング移動量計１４００４で示すスケーリング閾値ＳＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が増大したオブジェクトスケーリング閾値を超えて増大しているとの判定に応じて、流れは動作１４１１２に進む。１つ以上の接触の移動が増大したオブジェクトスケーリング閾値を超えて増大していないとの判定に応じて、流れは動作１４１００に戻る。
In
動作１４１１２で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいてスケーリングされる。
At
図１４ＡＤにおいて、動作１４１１４で、１つ以上の接触の移動を含むユーザー入力の追加部分が検出される。流れは、動作１４１１４から動作１４１１６に進む。
In FIG. 14AD,
動作１４１１６で、１つ以上の接触の移動がスケーリング移動であるか否かが判定される。１つ以上の接触の移動がスケーリング移動であるとの判定に応じて、流れは動作１４０１１８に進む。１つ以上の接触の移動がスケーリング移動でないとの判定に応じて、流れは動作１４１２０に進む。
In
動作１４１１８で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいてスケーリングされる。スケーリング閾値が予め満たされていたので、オブジェクトは、追加のスケーリング入力に応じて自由にスケーリングされる。
At
動作１４１２０で、１つ以上の接触の移動が、増大したオブジェクト回転閾値（例えば、図１４Ｉの回転移動量計１４００６で示す回転閾値ＲＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が、増大したオブジェクト回転閾値を超えて増大しているとの判定に応じて、流れは動作１４１２２に進む。１つ以上の接触の移動が、増大したオブジェクト回転閾値を超えて増大していないとの判定に応じて、流れは動作１４１２４に進む。
In
動作１４１２２で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいて回転させられる。
In
動作１４１２４で、１つ以上の接触の移動が、増大したオブジェクト並進閾値（例えば、図１４Ｉの並進移動量計１４００２で示す並進閾値ＴＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が、増大したオブジェクト並進閾値を超えて増大しているとの判定に応じて、流れは動作１４１２６に進む。１つ以上の接触の移動が、増大したオブジェクト並進閾値を超えて増大していないとの判定に応じて、流れは動作１４１１４に進む。
In
図１５Ａ～１５ＡＩは、デバイスが移動することで、１つ以上のデバイスカメラの表示された視野の外に仮想オブジェクトが移動したという判定に応じて音声警報を生成するユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ～８Ｅ、図９Ａ～９Ｄ、図１０Ａ～１０Ｄ、図１６Ａ～１６Ｇ、図１７Ａ～１７Ｄ、図１８Ａ～１８Ｉ、図１９Ａ～１９Ｈ、及び図２０Ａ～２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
15A-15AI show examples of user interfaces that generate voice alerts in response to a determination that a virtual object has moved out of the displayed field of view of one or more device cameras as the device moves. The user interfaces in these figures are the processes in FIGS. 8A-8E, 9A-9D, 10A-10D, 16A-16G, 17A-17D, 18A-18I, 19A-19H, and 20A-20F. It is used to illustrate the process described below, including. For convenience of illustration, some of the embodiments are discussed with reference to operations performed on the device having the touch-
図１５Ａ～１５ＡＩは、アクセシビリティ特徴がアクティブであるときに行われるユーザーインターフェース及びデバイスの動作を示す。一部の実施形態では、アクセシビリティ特徴は、（例えば、能力に制限のあるユーザーが上記の入力ジェスチャを行うためにデバイス特徴にアクセスする容易性を高めるために）デバイス特徴にアクセスするために減少した数の入力又は代替入力が使用可能であるモードを含む。例えば、アクセシビリティモードは、利用可能なデバイスを介して動作を前進又は逆転させるために第１の入力ジェスチャ（例えば、スワイプ入力）が使用され、現在示されている動作を実行するために選択入力（例えば、二重タップ入力）が使用されるスイッチ制御モードである。ユーザーがデバイスと対話すると、（例えば、操作が行われたことを示すため、デバイスのステージングユーザーインターフェース又は１つ以上のカメラの視野に対して仮想オブジェクト１１００２の現在の表示状態を示すため等、ユーザーにフィードバックを提供するために）音声警報が生成される。
FIGS. 15A-15AI show user interface and device behavior when accessibility features are active. In some embodiments, accessibility features are reduced to access device features (eg, to increase the ease with which users with limited capabilities can access the device features to make the above input gestures). Includes modes in which number inputs or alternative inputs are available. For example, accessibility mode uses a first input gesture (eg, swipe input) to move forward or backward through an available device, and select input (eg, swipe input) to perform the currently shown action. For example, a switch control mode in which double tap input) is used. When the user interacts with the device (eg, to indicate the current display state of the
図１５Ａにおいて、メッセージングユーザーインターフェース５００８は、三次元仮想オブジェクト１１００２の二次元表現を含む。（例えば、現在選択されている動作が、仮想オブジェクト１１００２上で実行される動作であることを示すために）選択カーソル１５００１が、三次元仮想オブジェクト１１００２の周囲に示されている。現在指示されている動作（例えば、ステージングユーザーインターフェース６０１０における仮想オブジェクト１１００２の三次元表現の表示）を行うために、接触１５００２による入力（例えば、二重タップ入力）が検出される。図１５Ｂに示すように、この入力に応答して、メッセージングユーザーインターフェース５０６０の表示は、ステージングユーザーインターフェース６０１０の表示によって置き換えられる。
In FIG. 15A, the
図１５Ｂにおいて、仮想オブジェクト１１００２は、ステージングユーザーインターフェース６０１０に表示される。デバイスの状態を示すために、１５００８で示すように、（例えば、デバイススピーカ１１１によって）音声警報が生成される。例えば、音声警報１５００８は、１５０１０で示すように、「現在、椅子はステージングビューで示されている」というアナウンスを含む。
In FIG. 15B, the
図１５Ｂには、（例えば、現在選択されている動作が、共有動作であることを示すために）選択カーソル１５００１が、共有制御６０２０の周囲に示されている。接触１５００４による入力（例えば、矢印１５００６で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
In FIG. 15B, a
図１５Ｃには、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２を上方に傾斜させる動作であることを示すために）チルトアップ制御１５０１２が表示されている。デバイスの状態を示すために、１５０１４で示すように、音声警報が生成される。例えば、音声警報は、１５０１６で示すように、「選択済み：チルトアップボタン」というアナウンスを含む。接触１５０１８による入力（例えば、矢印１５０２０で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
FIG. 15C shows the tilt-up control 15012 (for example, to show that the currently selected action is the action of tilting the displayed
図１５Ｄには、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２を下方に傾斜させる動作であることを示すために）チルトダウン制御１５０２２が表示されている。音声警報は、１５０２４に示すように、デバイスの状態を示すために生成される。例えば、音声警報は、１５０２６で示すように、「選択済み：チルトダウンボタン」というアナウンスを含む。接触１５０２８による入力（例えば、二重タップ入力）が検出される。この入力に応答して、選択された動作が実行される（例えば、仮想オブジェクト１１００２は、ステージングビュー内で下方に傾斜させられる）。
FIG. 15D shows the tilt down control 15022 (for example, to show that the currently selected action is the action of tilting the displayed
図１５Ｅにおいて、仮想オブジェクト１１００２は、ステージングビューにおいて下方に傾斜している。デバイスの状態を示すために、１５０３０に示すように、音声警報が生成される。例えば、音声警報は、「椅子が下に５度傾斜している」というアナウンスを含む。１５０３２に示すように、現在、椅子は画面に向かって１０度傾斜している。
In FIG. 15E, the
図１５Ｆにおいて、接触１５０３４による入力（例えば、矢印１５０３６で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。 In FIG. 15F, an input by contact 15034 (eg, a rightward swipe along the path indicated by arrow 15036) is detected. In response to this input, the selected action proceeds to the next action.
図１５Ｇには、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２を時計回りに回転させる動作であることを示すために）時計回り回転制御１５０３８が表示されている。音声警報１５０４０は、１５０４２で示すように、「選択済み：時計回りにボタンを回転させる」というアナウンスを含む。接触１５０４４による入力（例えば、矢印１５０４６で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
In FIG. 15G, a
図１５Ｈにおいて、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２を反時計回りに回転させる動作であることを示すために）反時計回り回転制御１５０４８が表示される。音声警報１５０５０は、１５０５２で示すように、「選択済み：反時計回りにボタンを回転させる」というアナウンスを含む。接触１５０５４による入力（例えば、二重タップ入力）が検出される。この入力に応答して、選択された動作が実行される（例えば、図１５Ｉに示すように、仮想オブジェクト１１００２は、ステージングビュー内で反時計回りに回転させられる）。
In FIG. 15H, the
図１５Ｉにおいて、１５０５８に示すように、音声警報１５０５６は、「椅子を反時計回りに５度回転します。次に、椅子をスクリーンから離れるように５度回転します。」というアナウンスを含む。
In FIG. 15I, as shown in 15058, the
図１５Ｊにおいて、接触１５０６０による入力（例えば、矢印１５０６２で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。 In FIG. 15J, an input by contact 15060 (eg, a rightward swipe along the path indicated by arrow 15062) is detected. In response to this input, the selected action proceeds to the next action.
図１５Ｋにおいて、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２をズームする動作であることを示すために）ズーム制御１５０６４が表示される。音声警報１５０６６は、１５０６８で示すように、「縮尺：調節可能」というアナウンスを含む。アナウンスにおいて制御名と併用されるキーワード「調整可能」は、制御を動作させるのにスワイプ入力（例えば、垂直スワイプ入力）が使用可能であることを示す。例えば、上向きのスワイプ入力は、矢印５０７２で示す経路に沿って接触５０７０が上方に移動するときに、接触５０７０によって与えられる。この入力に応答して、ズーム操作が行われる（例えば、図１５Ｋ～１５Ｌに示すように、仮想オブジェクト１１００２のサイズが増大する）。
In FIG. 15K,
図１５Ｌにおいて、音声警報１５０７４は、１５０７６で示すように、「現在、椅子は元のサイズの１５０パーセントに調整されている」というアナウンスを含む。仮想オブジェクト１１００２のサイズを縮小する入力（例えば、下向きのスワイプ入力）は、矢印５０７８で示す経路に沿って下方に移動する接触５０７８により与えられる。入力に応答して、ズーム操作が実行される（例えば、図１５Ｌ～１５Ｍに示すように、仮想オブジェクト１１００２のサイズは縮小される）。
In FIG. 15L, the
図１５Ｍにおいて、音声警報１５０８２は、１５０８４で示すように、「現在、椅子は元のサイズの１００パーセントに調整されている」というアナウンスを含む。仮想オブジェクト１１００２のサイズは、ステージングビュー６０１０において元々表示されたサイズに調整されるので、（例えば、仮想オブジェクト１１００２がその元のサイズに復帰したことを示すフィードバックを提供するために）（１５０８６で示すような）触知出力が発生する。
In FIG. 15M, the
図１５Ｎにおいて、接触１５０８８による入力（例えば、矢印１５０９０で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。 In FIG. 15N, an input by contact 15088 (eg, a rightward swipe along the path indicated by arrow 15090) is detected. In response to this input, the selected action proceeds to the next action.
図１５Ｏにおいて、（例えば、現在選択されている動作が先のユーザーインターフェースに復帰する動作であることを示すために）選択カーソル１５００１がバック制御６０１６の周囲に示される。音声警報１５０９２は、１５０９４で示すように、「選択済み：復帰ボタン」というアナウンスを含む。接触１５０９６による入力（例えば、矢印１５０９８で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
In FIG. 15O, a
図１５Ｐには、（例えば、現在選択されている動作が、ステージングユーザーインターフェース６０１０の表示とカメラの視野６０３６を含むユーザーインターフェースの表示との間でトグルする動作であることを示すために）選択カーソル１５００１が、トグル制御６０１８の周囲に示されている。音声警報１５０９８は、５０１００で示すように、「選択済み：ワールドビュー／ステージングビュートグル」というアナウンスを含む。接触１５１０２による入力（例えば、二重タップ入力）が検出される。（図１５Ｑに示すように）この入力に応答して、ステージングユーザーインターフェース６０１０の表示は、カメラの視野６０３６を含むユーザーインターフェースの表示によって置き換えられる。
FIG. 15P shows the selection cursor (eg, to show that the currently selected action is an action that toggles between the display of the
図１５Ｑ～１５Ｔは、（例えば、仮想オブジェクト１１００２に対応するプレーンは、カメラの視野６０３６内でまだ検出されていないので）カメラの視野６０３６が表示されるときに発生する較正シーケンスを示す。較正シーケンス中に、仮想オブジェクト１１００２の半透明表現が表示され、カメラの視野６０３６がぼかされ、（デバイス１００の表現１２００４及びプレーンの表現１２０１０を含む）動画像を含むプロンプトが表示されて、ユーザーにデバイスの移動を促す。図１５Ｑにおいて、音声警報１５１０２は、５０１０４で示すように、「プレーンを検出するためにデバイスを移動させる」というアナウンスを含む。図１５Ｑから図１５Ｒまで、デバイス１００は、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）物理的環境５００２に対して移動する。デバイス１００の移動の検出の結果として、図１５Ｓで示すように、較正ユーザーインターフェースオブジェクト１２０１４が表示される。
FIGS. 15Q-15T show the calibration sequence that occurs when the camera's field of
図１５Ｓにおいて、音声警報１５１０６は、５０１０８で示すように、「プレーンを検出するためにデバイスを移動させる」というアナウンスを含む。図１５Ｓ～１５Ｔにおいて、較正ユーザーインターフェースオブジェクト１２０１４は、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）デバイス１００が物理的環境５００２に対して移動するときに回転する。図１５Ｔにおいて、カメラの視野６０３６内で検出される仮想オブジェクト１１００２に対応するプレーンについて十分な動きが生じており、音声警報１５１１０は、５０１１２で示すように、「プレーンが検出された」というアナウンスを含む。図１５Ｕ～１５Ｖにおいて、仮想オブジェクト１１００２の半透明性は減少し、仮想オブジェクト１１００２は検出されたプレーン上に配置される。
In FIG. 15S,
図１５Ｖにおいて、音声警報１５１１４は、５０１１６で示すように、「現在、椅子は、１００パーセント可視でワールドに投影され、スクリーンの１０パーセントを占める」というアナウンスを含む。触知出力生成器は、仮想オブジェクト１１００２がプレーン上に配置されていることを示す触知出力を（１５１１８で示すように）出力する。仮想オブジェクト１１００２は、物理的環境５００２に対して一定の位置に表示される。
In FIG. 15V, the
図１５Ｖ～１５Ｗにおいて、デバイス１００は、仮想オブジェクト１１００２がカメラの視野６０３６内でもはや見えないように（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）物理的環境５００２に対して移動させられる。カメラの視野６０３６の外に仮想オブジェクト１１００２が移動する結果として、音声警報１５１２２は、５０１２４に示すように、「椅子がスクリーン上にない」というアナウンスを含む。
In FIGS. 15V-15W,
図１５Ｗ～１５Ｘにおいて、デバイス１００は、仮想オブジェクト１１００２が図１５Ｘのカメラの視野６０３６内で再び見えるように物理的環境５００２対して移動されている。仮想オブジェクト１１００２がカメラの視野６０３６内に移動する結果として、音声警報１５１１８は、５０１２０に示すように、「現在、椅子は、１００パーセント可視でワールドに投影され、スクリーンの１０パーセントを占める」というアナウンスを含んで生成される。
In FIGS. 15W-15X, the
図１５Ｘ～１５Ｙにおいて、デバイス１００は、（例えば、カメラの視野６０３６内に投影されるときにデバイス１００が仮想オブジェクト１１００２に対して「より近い」ように、及び仮想オブジェクト１１００２が図１５Ｙのカメラの視野６０３６内で部分的に見えるように）物理的環境５００２に対して移動されている。カメラの視野６０３６の外に部分的に仮想オブジェクト１１００２が移動する結果として、音声警報１５１２６は、５０１２８に示すように、「椅子は、９０パーセント可視であり、スクリーンの２０パーセントを占める」というアナウンスを含む。
In FIGS. 15X-15Y, the
一部の実施形態では、仮想オブジェクト１１００２に対応する位置で与えられる入力により、仮想オブジェクト１１００２についての言語情報を含む音声メッセージが提供される。反対に、仮想オブジェクト１１００２及び制御から離れている位置で入力が与えられるときは、仮想オブジェクト１１００２についての言語情報を含む音声メッセージは提供されない。図１５Ｚにおいて、ユーザーインターフェースにおける制御又は仮想オブジェクト１１００２の位置に対応しない位置で接触１５１３２が検出されることを示すために、音声出力１５１３０（例えば「クリック」又は「機械音」）が発生する。図１５ＡＡにおいて、接触１５１３４による入力は、仮想オブジェクト１１００２の位置に対応する位置で検出される。この入力に応答して、５０１３８に示すように、（例えば、仮想オブジェクト１１００２の状態を示す）仮想オブジェクト１１００２に対応する音声警報１５１３６は、「椅子は、９０パーセント可視であり、スクリーンの２０パーセントを占める」というアナウンスを含んで生成される。
In some embodiments, the input given at the location corresponding to the
図１５ＡＢ～１５ＡＩは、カメラの視野６０３６を含むユーザーインターフェースが表示されている間に、スイッチ制御モードにおいて動作を選択及び実行する入力を示す。
FIGS. 15AB-15AI show inputs to select and perform an operation in switch control mode while the user interface including the camera field of
図１５ＡＢにおいて、接触１５１４０による入力（例えば、矢印１５１４２で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、図１５ＡＣで示すように、動作が選択される。 In FIG. 15AB, an input by contact 15140 (eg, a swipe to the right along the path indicated by arrow 15142) is detected. In response to this input, an action is selected, as shown in FIG. 15AC.
図１５ＡＣにおいて、（例えば、現在選択されている動作が、仮想オブジェクト１１００２を右に移動させる動作であることを示すために）右方横移動制御１５１４４が表示される。音声警報１５１４６は、１５１４８で示されるように、「選択済み：右ボタンを移動する」というアナウンスを含む。接触１５１５０による入力（例えば、二重タップ入力）が検出される。この入力に応答して、選択された動作が実行される（例えば、仮想オブジェクト１１００２は、図１５ＡＤに示すように、カメラの視野６０３６内で右に移動させられる）。
In FIG. 15AC, the right
図１５ＡＤにおいて、仮想オブジェクト１１００２の移動は、１５１５４で示すように、「椅子は、１００パーセント可視であり、スクリーンの３０パーセントを占める」というアナウンスを含む音声警報１５１５２によって報告される。
In FIG. 15AD, the movement of
図１５ＡＥにおいて、接触１５１５６による入力（例えば、矢印１５１５８で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。 In FIG. 15AE, an input by contact 15156 (eg, a swipe to the right along the path indicated by arrow 15158) is detected. In response to this input, the selected action proceeds to the next action.
図１５ＡＦにおいて、（例えば、現在選択されている動作が、仮想オブジェクト１１００２を左に移動させる動作であることを示すために）左方横移動制御１５１６０が表示される。音声警報１５１６２は、１５１６４で示されるように、「選択済み：左に移動する」というアナウンスを含む。接触１５１６６による入力（例えば、矢印１５１６８で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
In FIG. 15AF, the left
図１５ＡＧにおいて、（例えば、現在選択されている動作が、仮想オブジェクト１１００２を時計回りに回転させる動作であることを示すために）時計回り回転制御１５１７０が表示される。音声警報１５１７２は、１５１７４で示すように、「選択済み：時計回りに回転する」というアナウンスを含む。接触１５１７６による入力（例えば、矢印１５１７８で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
In FIG. 15AG, the
図１５ＡＨにおいて、（例えば、現在選択されている動作が、仮想オブジェクト１１００２を時計回りに回転させる動作であることを示すために）反時計回り回転制御１５１８０が表示される。音声警報１５１８２は、１５１８４で示すように、「選択済み：反時計回りに回転する」というアナウンスを含む。接触１５１８６による入力（例えば、二重タップ入力）が検出される。この入力に応答して、選択された動作が実行される（例えば、図１５ＡＩで示すように、仮想オブジェクト１１００２は反時計回りに回転させられる）。
In FIG. 15AH, the
図１５ＡＩにおいて、音声警報１５１９０は、「椅子は反時計回りに５度だけ回転した」というアナウンスを含む。１５１６４で示すように、椅子は、現在、スクリーンに対してゼロ度だけ回転している。
In FIG. 15AI, the
一部の実施形態では、オブジェクト（例えば、仮想オブジェクト１１００２）の少なくとも１つの表面（例えば、下側面）で反射が生じる。反射は、デバイス１００の１つ以上のカメラによって取り込まれる画像データを使用して生成される。例えば、反射は、１つ以上のカメラの視野６０３６内で検出される水プレーン（例えば、床面５０３８）に対応する取り込まれた画像データ（例えば、画像、画像のセット、及び／又は動画）のうちの少なくとも一部に基づく。一部の実施形態では、反射の発生は、（例えば、取り込まれた画像データを仮想の球のモデル上にマッピングすることにより）取り込まれた画像データを含む球状モデルを生成することを含む。
In some embodiments, reflections occur on at least one surface (eg, the bottom surface) of the object (eg, virtual object 11002). Reflections are generated using image data captured by one or more cameras in
一部の実施形態では、オブジェクトの表面で生じる反射は、（例えば、プレーンにより近い表面の一部が、プレーンからより遠い表面の一部よりも大きい反射率の大きさを有するように）反射勾配を含む。一部の実施形態では、オブジェクトの表面で生じる反射の反射率の大きさは、表面に対応するテクスチャの反射率値に基づく。例えば、表面の非反射部では反射が生じない。 In some embodiments, the reflections that occur on the surface of the object have a reflectance gradient (eg, such that some of the surfaces closer to the plane have greater reflectance than some of the surfaces farther from the plane). including. In some embodiments, the magnitude of the reflectance of the reflections that occur on the surface of the object is based on the reflectance value of the texture corresponding to the surface. For example, no reflection occurs in the non-reflective portion of the surface.
一部の実施形態では、反射は、経時的に調整される。例えば、反射は、オブジェクトを移動及び／又はスケーリングする入力を受信したときに調整される（例えば、オブジェクトが移動するとき、オブジェクトの反射は、オブジェクトに対応する位置にあるプレーンの一部を反射するように調整される）。一部の実施形態では、反射は、オブジェクトが（例えば、ｚ軸周りに）回転しているときには調整されない。 In some embodiments, the reflex is adjusted over time. For example, the reflection is adjusted when it receives an input that moves and / or scales the object (eg, when the object moves, the reflection of the object reflects part of the plane at the position corresponding to the object. Adjusted to). In some embodiments, the reflection is not adjusted when the object is rotating (eg, about the z-axis).
一部の実施形態では、（例えば、オブジェクトに対応するカメラの視野６０３６内で検出されるプレーン上の）決定された位置でオブジェクトを表示する前に、オブジェクトの表面上で反射は生じない。例えば、（例えば、図１１Ｇ～１１Ｈに関して説明するように）オブジェクトの半透明表現が表示されるとき、及び／又は（例えば、図１２Ｂ～１２Ｉに関して説明するように）較正が実行されているとき、オブジェクトの表面上で反射は生じない。
In some embodiments, no reflection occurs on the surface of the object prior to displaying the object at a determined position (eg, on a plane detected within the field of
一部の実施形態では、オブジェクトの反射は、カメラの視野６０３６内で検出される１つ以上のプレーン上で生じる。一部の実施形態では、オブジェクトの反射は、カメラの視野６０３６内で生じない。
In some embodiments, object reflections occur on one or more planes detected within the camera's field of
図１６Ａ～１６Ｇは、オブジェクト配置基準が満たされているか否かによって異なる視覚特性を用いる１つ以上のカメラの視野を含むユーザーインターフェースに仮想オブジェクトを表示する方法１６０００を示すフロー図である。方法１６０００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）と、１つ以上の入力デバイス（例えば、タッチ感知面、又は表示生成コンポーネントとタッチ感知面の両方としての役割を果たすタッチスクリーンディスプレイ）と、１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面とは反対のデバイスの側の１つ以上の背面カメラ）とを有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル多機能デバイス１００）で実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるか又はこれに組み込まれている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法１６０００の一部の動作は任意選択で組み合わされ、及び／又は一部の動作の順序は任意選択で変更される。
16A-16G are flow diagrams illustrating a
デバイスは、（例えば、仮想オブジェクトの移動可能な表現を含むステージングユーザーインターフェースが表示されている間に、及びカメラの視野が表示される前に）１つ以上のカメラの視野のうちの少なくとも一部を含む第１のユーザーインターフェース領域（例えば、拡張現実ビューインターフェース）に仮想オブジェクト（例えば、三次元モデルの表現）を表示する要求を受信する（１６００２）（例えば、この要求は、タッチスクリーンディスプレイ上の仮想オブジェクトの表現上で検出される接触による入力であり、あるいはこの接触は、仮想オブジェクトの表現と同時に表示され、第１の接触により引き起こされるときにＡＲビューの表示をトリガするように構成されているアフォーダンス（例えば、「ＡＲビュー」又は「ワールドビュー」ボタン上のタップ）で検出される）。例えば、図１１Ｆに関して説明したように、要求は、１つ以上のカメラの視野６０３６内に仮想オブジェクト１１００２を表示するための入力である。
The device is at least a portion of the field of view of one or more cameras (eg, while a staging user interface containing a mobile representation of a virtual object is displayed, and before the field of view of the camera is displayed). Receives a request to display a virtual object (eg, a representation of a three-dimensional model) in a first user interface area (eg, an augmented reality view interface) that includes (16002) (eg, this request is on a touch screen display). A contact input detected on the representation of the virtual object, or this contact is displayed at the same time as the representation of the virtual object and is configured to trigger the display of the AR view when triggered by the first contact. Affordable (eg detected by a tap on the "AR View" or "World View" buttons). For example, as described with respect to FIG. 11F, the request is an input for displaying the
第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求（例えば、デバイスの周囲の物理的環境のビューに仮想オブジェクトを表示する要求）に応答して、デバイスは、表示生成コンポーネントを介して、第１のユーザーインターフェース領域に含まれる１つ以上のカメラの視野のうちの少なくとも一部の上に仮想オブジェクトの表現を表示する（１６００４）（例えば、１つ以上のカメラの視野は、第１のユーザーインターフェースの領域に仮想オブジェクトを表示する要求に応答して表示される）ものであり、１つ以上のカメラの視野は、１つ以上のカメラが位置する物理的環境のビューである。例えば、図１１Ｇに関して説明したように、仮想オブジェクト１１００２は、１つ以上のカメラが位置する物理的環境５００２のビューである１つ以上のカメラの視野６０３６内に表示される。仮想オブジェクトの表現を表示することは、オブジェクト配置基準が満たされるために、１つ以上のカメラの視野内で仮想オブジェクトの配置位置（例えば、プレーン）が識別されることを必要とするオブジェクトの配置基準が満たされていないとの判定に応じて（例えば、第１のユーザーインターフェース領域内で１つ以上のカメラの視野に対して仮想オブジェクトを配置する位置又はプレーンでデバイスが識別されていない（例えば、プレーン識別がまだ進行中であり、又はプレーンを識別するのに十分な画像データがない）とき、オブジェクト配置基準は満たされていない）、第１の１組の視覚特性（例えば、第１の半透明レベル、又は第１の輝度レベル、又は第１の彩度レベル等）を伴うと共に、物理的環境の一部が１つ以上のカメラの視野内に表示されることから独立している第１の向きを伴って、仮想オブジェクトの表現を表示することを含んでおり、例えば、物理的環境（例えば、ステージングビューに設定された向き）から独立していると共に、カメラの視野内で生じる変化（例えば、物理的環境に対するデバイスの移動による変化）から独立して、仮想オブジェクトは、所定のプレーンに相対的である向きでカメラの視野の上で浮いている。例えば、図１１Ｇ～１１Ｈでは、仮想オブジェクト１１００２についての配置位置がカメラの視野６０３６内で識別されていないので、仮想オブジェクト１１００２の半透明バージョンが表示される。（図１１Ｇ～１１Ｈに示すように）デバイスが移動するとき、仮想オブジェクト１１００２の向きは変化しない。一部の実施形態では、オブジェクト配置基準は、視野が安定しており、物理的環境の静止画を提供するという要件を含む（例えば、カメラは少なくとも閾値時間中に閾値量よりも少なく移動し、及び／又は要求が受信されて以来少なくとも所定の時間が経過しており、及び／又は十分に前のデバイスの移動でプレーン検出のためにカメラが較正されている。オブジェクト配置基準が満たされている（例えば、第１のユーザーインターフェース領域内に、１つ以上のカメラの視野に対して仮想オブジェクトを配置する位置又は面をデバイスが識別していないときに、オブジェクト配置基準は満たされている）との判定に応じて、デバイスは、第１の１組の視覚特性とは異なるの（例えば、第２の半透明性レベル、又は第２の輝度レベル、又は第２の彩度レベル等で）第２の１組の視覚特性を有すると共に、１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応する第２の向きを有する、仮想オブジェクトの表現を表示する。例えば、図１１Ｉでは、仮想オブジェクト１１００２の配置位置は、カメラの視野６０３６内で識別されているので（例えば、物理的環境５００２内の床面５０３８に対応するプレーン）、仮想オブジェクト１１００２の非半透明バージョンが表示される。仮想オブジェクト１１００２の向き（例えば、タッチスクリーンディスプレイ１１２上の位置）は、図１１Ｈに示す第１の向きから図１１Ｉに示す第２の向きへ変化している。（図１１Ｉから図１１Ｊに示すように）デバイスが移動するとき、仮想オブジェクト１１００２の向きは、（仮想オブジェクト１１００２が物理的環境５００２に対して一定の向きで現在表示されているため）変化する。オブジェクト配置基準が満たされるかどうかに応じて、仮想オブジェクトを第１の１組の視覚特性又は第２の１組の視覚特性と共に表示することにより、（例えば、仮想オブジェクトを表示する要求が受信されているが、１つ以上のカメラの視野内に仮想オブジェクトを配置するために追加の時間及び／又は較正情報が必要されていることを示すために）ユーザーに視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、プレーンに対応する第２の向きでオブジェクトを配置する前に、適切な入力を提供し、仮想オブジェクトを操作する入力をしようするのを防ぐようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In response to a request to display a virtual object in the first user interface area (eg, a request to display the virtual object in a view of the physical environment around the device), the device first, through the display generation component. Display a representation of a virtual object on at least a portion of the field of view of one or more cameras contained in the user interface area of (16004) (eg, the field of view of one or more cameras is the first user interface. It is displayed in response to a request to display a virtual object in the area of), and the field of view of one or more cameras is a view of the physical environment in which the one or more cameras are located. For example, as described with respect to FIG. 11G, the
一部の実施形態では、デバイスは、仮想オブジェクトの表現が第１の１組の視覚特性及び第１の向きを伴って表示されている間に、オブジェクト配置基準が満たされていることを検出する（１６００６）（例えば、仮想オブジェクトが、デバイスの周囲の物理的環境のビューの上に半透明状態でサスペンドされている間に、仮想オブジェクトを配置するプレーンが識別される）。オブジェクト配置基準の検出を開始するのに更なるユーザー入力を必要とせずに、仮想オブジェクトが第１の１組の視覚特性を伴って（例えば、半透明状態で）表示されている間に、オブジェクト配置基準が満たされていることを検出することで、オブジェクト配置に必要な入力数を減少させる。動作を行うために必要な入力の数を減少させることにより、デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, the device detects that the object placement criteria are met while the representation of the virtual object is displayed with a first set of visual characteristics and a first orientation. (16006) (eg, the plane on which the virtual object is placed is identified while the virtual object is suspended in a translucent state over a view of the physical environment around the device). An object while the virtual object is displayed with a first set of visual characteristics (eg, in a translucent state) without requiring further user input to initiate detection of the object placement criteria. By detecting that the placement criteria are met, the number of inputs required for object placement is reduced. By reducing the number of inputs required to perform the operation, it improves the usability of the device, makes the user device interface more efficient, and allows the user to use the device faster and more efficiently. By doing so, the power consumption of the device is reduced and the battery life is improved.
一部の実施形態では、オブジェクトの配置基準が満たされていることの検出に応答して、デバイスは、表示生成コンポーネントを介して、第１の向きから第２の向きへ移る（例えば、回転する、スケーリングする、並進する、及び／又は上記の組合せ）と共に第１の１組の視覚特性を有することから第２の１組の視覚特性を有することへ変化する仮想オブジェクトの表現を示すアニメーション化された遷移を表示する（１６００８）。例えば、仮想オブジェクトを配置するプレーンがカメラの視野内で識別されると、仮想オブジェクトはその向き、サイズ、半透明性（等）を可視的に調整してそのプレーン上に配置される。（例えば、第１のユーザーインターフェース内で仮想オブジェクトの向きを変えるために更なるユーザー入力を必要とすることなく）第１の向きから第２の向きへアニメーション化された遷移を表示することで、オブジェクト配置に必要な入力数を減少させる。動作を行うために必要な入力の数を減少させることにより、デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, the device moves from a first orientation to a second orientation (eg, rotates) via the display generation component in response to detection that the placement criteria of the object are met. Animated showing the representation of a virtual object that changes from having a first set of visual traits to having a second set of visual traits) with, scaling, translation, and / or the above combinations). The transition is displayed (16008). For example, when the plane on which the virtual object is placed is identified in the field of view of the camera, the virtual object is placed on the plane by visually adjusting its orientation, size, translucency (etc.). By displaying an animated transition from the first orientation to the second orientation (for example, without requiring further user input to orient the virtual object within the first user interface). Reduce the number of inputs required for object placement. By reducing the number of inputs required to perform the operation, it improves the usability of the device, makes the user device interface more efficient, and allows the user to use the device faster and more efficiently. By doing so, the power consumption of the device is reduced and the battery life is improved.
一部の実施形態では、オブジェクト配置基準が満たされていることの検出（１６０１０）は、１つ以上のカメラの視野内で平面が識別されたことの検出、（例えば、カメラの視野内の物理的環境の実質的に静止したビューに導く）少なくとも閾値時間にわたるデバイスと物理的環境との間の閾値移動量未満の検出、及び第１のユーザーインターフェース領域に仮想オブジェクトを表示させる要求を受信してから少なくとも所定の時間が経過したことの検出のうちの１つ以上を含む。（例えば、プレーンを検出するユーザー入力を必要とせずに１つ以上のカメラの視野内でプレーンを検出することによって）オブジェクト配置基準が満たされていることを検出することで、オブジェクト配置に必要な入力数を減少させる。動作を行うために必要な入力の数を減少させることにより、デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, the detection that the object placement criteria are met (16010) is the detection that a plane has been identified in the field of view of one or more cameras (eg, physics in the field of view of the camera). Receives detection of less than the threshold movement between the device and the physical environment for at least a threshold time (leading to a substantially stationary view of the environment), and a request to display a virtual object in the first user interface area. Includes at least one or more of the detections that a predetermined time has elapsed from. Required for object placement by detecting that the object placement criteria are met (eg, by detecting the plane in the field of view of one or more cameras without the need for user input to detect the plane). Reduce the number of inputs. By reducing the number of inputs required to perform the operation, it improves the usability of the device, makes the user device interface more efficient, and allows the user to use the device faster and more efficiently. By doing so, the power consumption of the device is reduced and the battery life is improved.
一部の実施形態では、デバイスは、１つ以上のカメラの視野内で取り込まれた物理的環境の第１の部分（例えば、物理的環境の第１の部分は、半透明の仮想オブジェクトを通じてユーザーに見える）にわたって、仮想オブジェクトの表現が、第１の１組の視覚特性及び第１の向きを伴って表示される間に（例えば、仮想オブジェクトが、デバイスの周囲の物理的環境のビューの上に半透明状態でサスペンドされている間に）１つ以上のカメラの第１の移動（例えば、デバイスの周囲の物理的環境に対するデバイスの回転及び／又は並進）を検出する（１６０１２）。例えば、図１１Ｇ～１１Ｈにおいて、１つ以上のカメラは、仮想オブジェクト１１００２の半透明表現が表示されている間、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）移動する。カメラの視野６０３６内に取り込まれ、ユーザーインターフェースに表示される物理的環境の壁及びテーブルは、半透明性の仮想オブジェクト１１００２を通して見える。１つ以上のカメラの第１の移動を検出することに応答して、デバイスは、１つ以上のカメラの視野内に取り込まれる物理的環境の第２の部分にわたって第１の１組の視覚特性及び第１の向きを伴って仮想オブジェクトの表現を表示し（１６０１４）、ただし、物理的環境の第２の部分は、物理的環境の第１の部分とは異なる。例えば、カメラの視野内に示される物理的環境の上で浮かんでいる仮想オブジェクトの半透明バージョンが表示されている間に、カメラの視野内の物理的環境のビューは、デバイスが物理的環境に対して移動するときに、（例えば、半透明性の仮想オブジェクトの背後で）シフト及びスケーリングする。したがって、デバイスの移動中、仮想オブジェクトの半透明バージョンは、カメラの視野内の物理的環境のビューの並進及びスケーリングの結果として、視野内で表される物理的環境の異なる部分の上に重ね合わされる。例えば、図１１Ｈにおいて、カメラの視野６０３６は、図１１Ｇに表示される物理的環境５００２の第１の部分とは異なるの物理的環境５００２の第２の部分を表示する。図１１Ｇ～１１Ｈにおいて１つ以上のカメラの移動が生じるときに、仮想オブジェクト１１００２の半透明表現の向きは変化しない。１つ以上のカメラの移動の検出に応答して第１の向きで仮想オブジェクトを表示することにより、（例えば、１つ以上のカメラの視野内で取り込まれた物理的環境の一部が１つ以上のカメラの移動に応じて変化するときに、仮想オブジェクトは物理的環境に対して一定の位置にまだ配置されておらず、したがって移動しないことを示すために）ユーザーに視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、プレーンに対応する第２の向きでオブジェクトを配置する前に、仮想オブジェクトを操作する入力をしようするのを防ぐようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device is a first part of the physical environment captured within the field of view of one or more cameras (eg, the first part of the physical environment is the user through a translucent virtual object. While the representation of the virtual object is displayed with a first set of visual characteristics and a first orientation (eg, the virtual object is on a view of the physical environment around the device). Detects a first movement of one or more cameras (eg, rotation and / or translation of the device relative to the physical environment surrounding the device) (while suspended in a translucent state) (16012). For example, in FIGS. 11G-11H, one or more cameras are displayed while the translucent representation of
一部の実施形態では、デバイスは、１つ以上のカメラの視野内に取り込まれる物理的環境の第３の部分（例えば、物理的環境の第３の部分（例えば、仮想オブジェクトを支持する検出されたプレーンの一部）の直接ビューは、仮想オブジェクトによって遮られる）にわたって、仮想オブジェクトの表現が第２の１組の視覚特性及び第２の向きを伴って表示される間に（例えば、オブジェクト配置基準が満たされ、仮想オブジェクトがカメラの視野内の物理的環境内で検出されるプレーン上に配置された後に）、１つ以上のカメラの第２の移動（例えば、デバイスの周囲の物理的環境に対するデバイスの回転及び／又は並進）を検出する（１６０１６）。例えば、図１１Ｉ～１１Ｊにおいて、１つ以上のカメラは、仮想オブジェクト１１００２の非半透明表現が表示されている間に、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）移動する。デバイスの第２の移動の検出に応答して、デバイスは、１つ以上のカメラの視野内に取り込まれる物理的環境がデバイスの第２の移動に応じて移動する（例えば、シフトする及びスケーリングする）間、１つ以上のカメラの視野内に取り込まれる物理的環境の第３の部分にわたって第２の１組の視覚特性及び第２の向きを伴った仮想オブジェクトの表現の表示を維持し（１６０１８）、第２の向きは、１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応し続ける。例えば、仮想オブジェクトの非半透明性バージョンが、カメラの視野内で示される物理的環境内で検出されるプレーン上の静止位置でドロップされた後、仮想オブジェクトの位置及び向きは、カメラの視野内の物理的環境に対して固定され、仮想オブジェクトは、デバイスが物理的環境に対して移動するときにカメラの視野内の物理的環境と共にシフト及びスケーリングする（例えば、仮想オブジェクト１１００２の非半透明表現は、図１１Ｉ～１１Ｊ中で１つ以上のカメラの移動が起こるときに、物理的環境５００２内の床面に対してある向きで固定されたままである）。１つ以上のカメラの移動の検出に応答して第２の向きで仮想オブジェクトの表示を維持することにより、（例えば、仮想オブジェクトは、物理的環境に対して一定の位置に配置され、したがって、１つ以上のカメラの移動に応じて、１つ以上のカメラの視野内に取り込まれる物理的環境の一部が変化するときに移動することを示すために）ユーザーに視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、プレーンに対応する第２の向きで配置された仮想オブジェクトについての適切な入力を提供するようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device is detected in favor of a third part of the physical environment (eg, a third part of the physical environment (eg, a virtual object) that is captured within the field of view of one or more cameras. A direct view (part of the plane) is obstructed by the virtual object), while the representation of the virtual object is displayed with a second set of visual characteristics and a second orientation (eg, object placement). A second move of one or more cameras (eg, the physical environment around the device) after the criteria are met and the virtual object is placed on a plane that is detected within the physical environment within the field of view of the camera. (Rotation and / or translation of the device with respect to) is detected (16016). For example, in FIGS. 11I-11J, one or more cameras will be indicated (eg, by an altered position of table 5004 within the field of
一部の実施形態では、オブジェクト配置基準が満たされている（例えば、オブジェクト配置基準は、第１のユーザーインターフェース領域内の１つ以上のカメラの視野に対して仮想オブジェクトを配置する位置又はプレーンでデバイスが識別されていないときに満たされる）との判定に応じて、デバイスは、（例えば、下げられた半透明性レベル、又はより高い輝度レベル、又はより高い彩度レベル等で）第２の１組の視覚特性を有すると共に１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応する第２の向きを有する仮想オブジェクトの表現を表示すると共に、（例えば、デバイスの１つ以上の触知出力発生器を用いて）触知出力を生成する（１６０２０）（例えば、触知出力の発生は、仮想オブジェクトの非半透明の外観への遷移の完了、並びに物理的環境内で検出されるプレーン上のドロップ位置に在る仮想オブジェクトの回転及び並進の完了と同期される）。例えば、図１１Ｉに示すように、仮想オブジェクト１１００２に対応するプレーン（例えば、床面５０３８）に付された仮想オブジェクト１１００２の非半透明表現を表示すると共に、１１０１０で示す触知出力が生成される。オブジェクト配置基準が満たされているとの判定に応じて、触知出力を生成することにより、（例えば、仮想オブジェクトを配置する動作がうまく実行されたことを示す）改善された触覚的フィードバックをユーザーに提供する。改善されたフィードバックをユーザーに提供することにより、（例えば、ユーザーインターフェースを表示情報で乱すことなくオブジェクト配置基準が満たされたことをユーザーが知覚することを可能にする感覚情報を提供することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the object placement criteria are met (eg, the object placement criteria are at positions or planes where the virtual object is placed with respect to the field of view of one or more cameras within the first user interface area. Depending on the determination (satisfied when the device is not identified), the device will have a second (eg, at a reduced translucency level, or a higher brightness level, or a higher saturation level, etc.). It displays a representation of a virtual object that has a set of visual characteristics and a second orientation that corresponds to a plane in the physical environment that is detected within the field of view of one or more cameras (eg, one of the devices). Generate a tactile output (using one or more tactile output generators) (16020) (eg, the generation of a tactile output completes the transition of the virtual object to a non-transparent appearance, as well as within the physical environment. Synchronized with the completion of rotation and translation of the virtual object at the drop position on the plane detected by). For example, as shown in FIG. 11I, the non-translucent representation of the
一部の実施形態では、第２の１組の視覚特性を伴うと共に１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応する第２の向きを伴った仮想オブジェクトの表現を表示している間に、デバイスは、１つ以上のカメラの視野内で検出される物理的環境内のプレーンの少なくとも位置又は向きに関する更新を受信する（１６０２２）（例えば、更新されたプレーンの位置及び向きは、最初のプレーン検出結果を使用して仮想オブジェクトを配置した後に蓄積された追加データ、又はより時間がかかる計算方法（例えば、より少ない近似等）に基づくより正確な計算の結果である）。１つ以上のカメラの視野内で検出される物理的環境内のプレーンの少なくとも位置又は向きに関する更新の受信に応答して、デバイスは、更新に応じて仮想オブジェクトの表現の少なくとも位置及び／又は向きを調整する（例えば、更新されたプレーンにより近い仮想オブジェクトを徐々に移動（例えば、並進及び回転）させる）（１６０２４）。（例えば、プレーンに対して仮想オブジェクトを配置するユーザー入力を必要とせずに）物理的環境内のプレーンに関する更新の受信に応答して仮想オブジェクトの位置及び／又は向きを調整することにより、仮想オブジェクトの調整に必要な入力数を減少させる。動作を行うために必要な入力の数を減少させることにより、デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, a representation of a virtual object with a second set of visual characteristics and a second orientation corresponding to a plane in the physical environment detected within the field of view of one or more cameras. While displaying, the device receives updates regarding at least the position or orientation of planes in the physical environment detected within the field of view of one or more cameras (16022) (eg, of the updated planes). Positions and orientations are the result of additional data accumulated after placing the virtual object using the initial plane detection results, or more accurate calculations based on longer calculation methods (eg, less approximation). be). In response to receiving an update for at least the position or orientation of a plane in the physical environment detected within the field of view of one or more cameras, the device responds to the update with at least the position and / or orientation of the representation of the virtual object. (Eg, gradually move (eg, translate and rotate) virtual objects closer to the updated plane) (16024). A virtual object by adjusting the position and / or orientation of the virtual object in response to receiving updates for the plane in the physical environment (eg, without requiring user input to place the virtual object on the plane). Reduce the number of inputs required to adjust. By reducing the number of inputs required to perform the operation, it improves the usability of the device, makes the user device interface more efficient, and allows the user to use the device faster and more efficiently. By doing so, the power consumption of the device is reduced and the battery life is improved.
一部の実施形態では、第１の１組の視覚特性は、第１のサイズと、第１の半透明レベルとを含み（１６０２６）（例えば、ＡＲビューの中におろされてしまう前、オブジェクトは、ディスプレイに対する一定のサイズと、一定の高い半透明レベルとを有し）、第２の１組の視覚特性は、第１のサイズとは異なるの第２のサイズ（例えば、ＡＲビューにおろされると、オブジェクトは、物理的環境内のサイズ及びドロップ位置に関してシミュレートされた物理的サイズで表示される）と、第１の半透明レベル（例えば、オブジェクトは、ＡＲビューにおいてもはや半透明でない）よりも低い（例えばそれよりも不透明な）第２の半透明レベルとを含む（１６０２８）。例えば、図１１Ｈにおいて、仮想オブジェクト１１００２の半透明表現は第１のサイズで示され、図１１Ｉにおいて、仮想オブジェクト１１００４の非半透明表現は第２の（より小さい）サイズで示される。オブジェクト配置基準が満たされたか否かに応じて、第１のサイズ及び第１の半透明レベル、又は第２のサイズ及び第２の半透明レベルで、仮想オブジェクトを表示することにより、（例えば、仮想オブジェクトを表示する要求が受信されているが、１つ以上のカメラの視野内に仮想オブジェクトを配置するために追加の時間及び／又は較正情報が必要とされていることを示すために）ユーザーへの視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、適切な入力を提供し、プレーンに対応する第２の向きでオブジェクトを配置する前に仮想オブジェクトを操作する入力をしようするのを防ぐようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the first set of visual properties comprises a first size and a first translucency level (16026) (eg, an object before being dropped into an AR view). Has a constant size for the display and a constant high translucency level), the second set of visual characteristics is a second size (eg, AR view) that is different from the first size. The object is then displayed in the physical size simulated for its size and drop location in the physical environment) and the first translucency level (eg, the object is no longer translucent in the AR view). Includes a second translucency level that is lower (eg, more opaque than that) (16028). For example, in FIG. 11H, the translucent representation of
一部の実施形態では、仮想オブジェクトが、１つ以上のカメラの視野のうちの少なくとも一部を含まないそれぞれのユーザーインターフェース（例えば、ステージングユーザーインターフェース）に表示されている間に（例えば、仮想オブジェクトは、デバイスの物理的環境から独立している向きを有する仮想ステージに対して向けられる）、１つ以上のカメラの視野のうちの少なくとも一部を含む第１のユーザーインターフェース領域（例えば、ＡＲビュー）に仮想オブジェクトを表示する要求が受信される（１６０３０）。第１の向きは、仮想オブジェクトの向きに対応し、一方、仮想オブジェクトは、要求が受信された時点でそれぞれのユーザーインターフェースに表示される。例えば、図１１Ｆに関して説明したように、（カメラの視野を含まない）ステージングユーザーインターフェース６０１０が表示されている間に、カメラの視野６０３６を含むユーザーインターフェースに仮想オブジェクト１１００２を表示する要求が受信される。図１１Ｇの仮想オブジェクト１１００２の向き（仮想オブジェクト１１００２は、カメラの視野６０３６を含むユーザーインターフェース内に表示される）は、図１１Ｆの仮想オブジェクト１１００２の向きに対応する（仮想オブジェクト１１００２は、ステージングユーザーインターフェース６０１０に表示される）。（予め表示した）インターフェース（例えば、ステージングユーザーインターフェース）に表示されるような仮想オブジェクトの向きに対応する向きで、第１のユーザーインターフェース（例えば、表示される拡張現実ビュー）に仮想オブジェクトを表示することにより、（例えば、ステージングユーザーインターフェースが表示されている間に与えられたオブジェクト操作入力を使用して、ＡＲビュー内にオブジェクトの向きを確立することができることを示すために）ユーザーに視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、プレーンに対応する第２の向きでオブジェクトを配置する前に、適切な入力を提供し、仮想オブジェクトを操作する入力をしようするのを防ぐようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, while the virtual object is displayed in each user interface (eg, a staging user interface) that does not contain at least a portion of the field of view of one or more cameras (eg, the virtual object). Is directed to a virtual stage that has an orientation independent of the physical environment of the device) and includes a first user interface area (eg, an AR view) that includes at least a portion of the field of view of one or more cameras. ) Receives a request to display the virtual object (16030). The first orientation corresponds to the orientation of the virtual object, while the virtual object is displayed in their respective user interfaces when the request is received. For example, as described with respect to FIG. 11F, while the staging user interface 6010 (not including the camera field of view) is displayed, a request to display the
一部の実施形態では、第１の向きは、所定の向き（例えば、１つ以上のカメラの視野のうちの少なくとも一部を含まないそれぞれのユーザーインターフェース内に最初に仮想オブジェクトを表示するときに仮想オブジェクトが表示される向きなどのデフォルトの向き）に対応する（１６０３２）。第１のユーザーインターフェース（例えば、表示される拡張現実ビュー）に第１の１組の視覚特性及び所定の向きを伴って仮想オブジェクトを表示することで（例えば、ステージングユーザーインターフェースに確立される向きに応じて半透明表現をレンダリングするのではなく、予め生成された仮想オブジェクトの半透明表現を表示することを可能にすることによって）、デバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, the first orientation is when the virtual object is first displayed in each user interface that does not contain at least a portion of the field of view of one or more cameras. Corresponds to the default orientation, such as the orientation in which the virtual object is displayed) (16032). By displaying a virtual object in a first user interface (eg, an augmented reality view to be displayed) with a first set of visual characteristics and a given orientation (eg, in the orientation established in the staging user interface). By allowing the translucent representation of pre-generated virtual objects to be displayed instead of rendering the translucent representation accordingly), it reduces device power usage and improves battery life.
一部の実施形態では、第１のユーザーインターフェース領域（例えば、ＡＲビュー）に第２の１組の視覚特性と１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応する第２の向きとを伴って仮想オブジェクトを表示する間に、デバイスは、１つ以上のカメラの視野内に取り込まれる物理的環境に対して第１のシミュレートされた物理的サイズから第２のシミュレートされた物理的サイズへ（例えば、デフォルトサイズの８０％からデフォルトサイズの１２０％へ、又はその逆へ）（例えば、スケーリング入力（例えば、仮想オブジェクトに向けられるピンチ又はデピンチジェスチャ）の結果として）仮想オブジェクトのシミュレートされた物理的サイズを変更する要求を検出する（１６０３４）。例えば、仮想オブジェクト１１００２のシミュレートされた物理的サイズを減少させる入力は、図１１Ｎ～１１Ｐに関して説明したようなピンチジェスチャである。仮想オブジェクトのシミュレートされた物理的サイズを変更する要求の検出に応答して、デバイスは、第１のシミュレートされた物理的サイズから第２のシミュレートされた物理的サイズへ仮想オブジェクトのシミュレートされた物理的サイズの徐々の変化に応じて、第１のユーザーインターフェース領域内の仮想オブジェクトの表現の表示サイズを徐々に変化させ（１６０３６）（例えば、１つ以上のカメラの視野内で取り込まれる物理的環境の表示サイズが変わらないままである一方で、仮想オブジェクトの表示サイズは拡大又は縮小し）、第１のユーザーインターフェース領域内の仮想オブジェクトの表現の表示サイズが徐々に変化している間、仮想オブジェクトのシミュレートされた物理的サイズが所定のシミュレートされた物理的サイズ（例えば、デフォルトサイズの１００％）に達したとの判定に応じて、デバイスは、仮想オブジェクトのシミュレートされた物理的サイズが所定のシミュレートされた物理的サイズに達したことを示すための触知出力を生成する。例えば、図１１Ｎ～１１Ｐに関して説明したように、ピンチジェスチャ入力に応答して、仮想オブジェクト１１００２の表現の表示サイズが徐々に減少する。図１１Ｏにおいて、仮想オブジェクト１１００２の表現の表示サイズが、仮想オブジェクト１１００２のサイズ（例えば、図１１Ｉに示すように、１つ以上のカメラの視野６０３６を含むユーザーインターフェースに当初表示されたような仮想オブジェクト１１００２のサイズ）の１００％に達したときに、１１０２４で示すように触知出力が生成される。仮想オブジェクトのシミュレートされた物理的サイズが所定のシミュレートされた物理的サイズに達したとの判定に応じて触知出力を生成することにより、（例えば、仮想オブジェクトのシミュレートされたサイズを所定サイズに戻す更なる入力が必要とされないことを示すために）ユーザーにフィードバックを提供する。改善された触覚的フィードバックを提供することにより、（例えば、ユーザーインターフェースを表示情報で乱すことなく仮想オブジェクトの所定のシミュレートされた物理的サイズに達したことをユーザーが知覚することを可能にする感覚情報を提供することによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the first user interface area (eg, AR view) corresponds to a second set of visual characteristics and planes in the physical environment found within the field of view of one or more cameras. While displaying the virtual object with a second orientation, the device is second from the first simulated physical size to the physical environment captured within the field of view of one or more cameras. The result of a simulated physical size (eg, from 80% of the default size to 120% of the default size, or vice versa) (eg, a scaling input (eg, a pinch or depinch gesture directed at a virtual object)). Detects a request to change the simulated physical size of a virtual object (16034). For example, the input that reduces the simulated physical size of
いくつかの実施形態では、所定の擬似的な物理サイズとは異なるの仮想オブジェクトの第２の擬似的な物理サイズ（例えば、スケーリング入力（例えば、仮想オブジェクトへ向けられたピンチ又はデピンチジェスチャ）の結果として、デフォルトサイズの１２０％、又は、デフォルトサイズの８０％）において、第１のユーザーインターフェース領域（例えば、ＡＲビュー）内に仮想オブジェクトを表示している間、デバイスは、仮想オブジェクトを所定の擬似的な物理サイズへ戻す要求を検出する（例えば、（仮想オブジェクト、又は、仮想オブジェクトの外部の）タッチスクリーン上におけるタップ又は二重タップ入力を検出する）（１６０３８）。例えば、（図１１Ｎ～図１１Ｐに関して説明されるように、）ピンチ入力が、仮想オブジェクト１１００２を小型化した後、（図１１Ｒに関して説明されるように、）仮想オブジェクト１１００２に対応する場所において、二重タップ入力が検出される。仮想オブジェクトを所定の擬似的な物理サイズへ戻す要求を検出することに応じて、デバイスは、仮想オブジェクトの擬似的な物理サイズの変化にしたがって、第１のユーザーインターフェース領域内の仮想オブジェクトの表現の表示サイズを、所定の擬似的な物理サイズへ変更する（例えば、表示された仮想オブジェクトのサイズが拡大又は縮小する一方、１つ以上のカメラの視野においてキャプチャされた物理的環境の表示サイズは変わらないままである）（１６０４０）。例えば、図１１Ｒに関して説明される二重タップ入力に応じて、仮想オブジェクト１１００２のサイズは、図１１Ｉに表示されるような仮想オブジェクト１１００２のサイズ（１つ以上のカメラの視野６０３６を含むユーザーインターフェースに元々表示されていたような仮想オブジェクト１１００２のサイズ）へ戻る。いくつかの実施形態では、仮想オブジェクトの擬似的な物理サイズが、所定の擬似的な物理サイズ（例えば、デフォルトサイズの１００％）に達したとの判定にしたがって、デバイスは、仮想オブジェクトの擬似的な物理サイズが、所定の擬似的な物理サイズに達したことを示す触知出力を生成する。（例えば、表示サイズを調節するために提供された入力が、仮想オブジェクトを、所定の擬似的な物理サイズにおいて表示するために十分である場合を推定するようにユーザーへ要求するのではなく、表示サイズを、所定の擬似的な物理サイズへ正確に調節するオプションを提供することによって、）仮想オブジェクトを所定の擬似的な物理サイズへ戻す要求を検出することに応じて、仮想オブジェクトの表示サイズを、所定のサイズへ変更することは、オブジェクトを表示するために必要とされる入力数を、所定のサイズへ低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、さらに、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, a second pseudo-physical size of the virtual object that is different from the predetermined pseudo-physical size (eg, a scaling input (eg, a pinch or depinch gesture directed at the virtual object)). As a result, at 120% of the default size, or 80% of the default size), while displaying the virtual object in the first user interface area (eg, AR view), the device determines the virtual object. Detects a request to revert to a pseudo-physical size (eg, detects a tap or double-tap input on a touch screen (eg, a virtual object or outside the virtual object)) (16038). For example, at the location where the pinch input (as described with respect to FIGS. 11N-11P) corresponds to the virtual object 11002 (as described with respect to FIG. 11R) after miniaturizing the
いくつかの実施形態では、デバイスは、物理的環境に対する１つ以上のカメラのそれぞれの位置及び向き（例えば、オブジェクト配置基準が満たされる時における現在の位置及び向き）にしたがって、第２の１組の視覚特性を用いて第２の仮想オブジェクトの表現の方位を設定するためのプレーンを選択し、プレーンを選択することは、（例えば、デバイスが、物理的環境における第１の方向を示す結果として）１つ以上のカメラの視野においてキャプチャされた物理的環境の第１の部分の上方に仮想オブジェクトの表現が表示された（例えば、半透明のオブジェクトのベースが、物理的環境の第１の部分におけるプレーンとオーバラップしている）場合に、オブジェクト配置基準が満たされているとの判定にしたがって、（例えば、オブジェクトのベースと、ディスプレイ上の第１のプレーンとの間のより大きな接近と、第１のプレーンと、物理ワールドにおける物理的環境の第１の部分との間のより大きな接近にしたがって）１つ以上のカメラの視野における物理的環境において検出された多数のプレーンのうちの第１のプレーンを、第２の１組の視覚特性を用いて仮想オブジェクトの第２の表現の向きを設定するためのプレーンとして選択することと、（例えば、デバイスが、物理的環境における第２の方向を示す結果として）１つ以上のカメラの視野においてキャプチャされた物理的環境の第２の部分の上方に仮想オブジェクトの表現が表示された（例えば、半透明のオブジェクトのベースが、物理的環境の第２の部分におけるプレーンとオーバラップしている）場合に、オブジェクト配置基準が満たされているとの判定にしたがって、（例えば、オブジェクトのベースと、ディスプレイ上の第２のプレーンとの間のより大きな接近、及び、第２のプレーンと、物理ワールドにおける物理的環境の第２の部分との間のより大きな接近にしたがって、）１つ以上のカメラの視野における物理的環境において検出された多数のプレーンのうちの第２のプレーンを、視覚特性の第２の１組を用いて仮想オブジェクトの第２の表現の向きを設定するためのプレーンとして選択することとを含み、物理的環境の第１の部分は、物理的境の第２の部分とは異なり、第１のプレーンは、第２のプレーンとは異なる（１６０４２）。（例えば、検出された多くのプレーンのうちのどれが、仮想オブジェクトが設定されたプレーンであるかを指定するユーザー入力を必要とすることなく、）仮想オブジェクトが設定されるプレーンとして、第１のプレーン又は第２のプレーンを選択することは、プレーンを選択するために必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device is a second set according to the position and orientation of each of the one or more cameras with respect to the physical environment (eg, the current position and orientation when the object placement criteria are met). Selecting a plane to orient the representation of the second virtual object using the visual characteristics of, and selecting the plane (eg, as a result of the device pointing to the first direction in the physical environment) ) A representation of the virtual object is displayed above the first part of the physical environment captured in the visual field of one or more cameras (eg, the base of the translucent object is the first part of the physical environment). According to the determination that the object placement criteria are met (eg, a greater approach between the base of the object and the first plane on the display), if it overlaps with the plane in. The first of many planes detected in the physical environment in the visual field of one or more cameras (according to the greater proximity between the first plane and the first part of the physical environment in the physical world). The plane of is selected as the plane for orienting the second representation of the virtual object using a second set of visual characteristics (eg, the device has a second orientation in the physical environment). A representation of the virtual object was displayed above the second part of the physical environment captured in the field of view of one or more cameras (eg, the base of the translucent object is the base of the physical environment). If it overlaps with the plane in the second part (for example, the twist between the base of the object and the second plane on the display) according to the determination that the object placement criteria are met. A large number of detections in the physical environment in the visual field of one or more cameras (according to a large approach and a larger approach between the second plane and the second part of the physical environment in the physical world). The first of the physical environment, including selecting the second plane of the planes as the plane for orienting the second representation of the virtual object using the second set of visual characteristics. The part of is different from the second part of the physical boundary, and the first plane is different from the second plane (16042). The first plane on which a virtual object is set (for example, without requiring user input to specify which of the many discovered planes is the plane on which the virtual object is set). Choosing a plane or a second plane reduces the number of inputs required to select a plane. Reducing the number of inputs required to perform an operation enhances the usability of the device and makes the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態では、デバイスは、第２の１組の視覚特性と第２の向きを用いて、第１のユーザーインターフェース領域（例えば、ＡＲビュー）内に仮想オブジェクトを表示することと同時に、スナップショットアフォーダンス（例えば、カメラシャッターボタン）を表示する（１６０４４）。スナップショットアフォーダンスの活性化に応じて、デバイスは、１つ以上のカメラの視野における物理的環境における配置場所において、第２の１組の視覚特性と、１つ以上のカメラのビューの視野内で検出された物理的環境におけるプレーンに対応する第２の向きとを用いて、仮想オブジェクトの表現の現在のビューを含むスナップショット画像をキャプチャする（１６０４６）。現在のオブジェクトのビューのスナップショット画像をキャプチャするためスナップショットアフォーダンスを表示することは、オブジェクトのスナップショット画像をキャプチャするために必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device uses a second set of visual characteristics and a second orientation to display a virtual object within a first user interface area (eg, an AR view) at the same time. Display snapshot affordances (eg, camera shutter button) (16044). Depending on the activation of the snapshot affordance, the device is placed in the physical environment in the field of view of one or more cameras, with a second set of visual characteristics and within the field of view of the view of one or more cameras. A snapshot image containing the current view of the representation of the virtual object is captured with a second orientation corresponding to the plane in the detected physical environment (16046). Displaying a snapshot affordance to capture a snapshot image of the current object's view reduces the number of inputs required to capture the object's snapshot image. Reducing the number of inputs required to perform an operation enhances the usability of the device and makes the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態では、デバイスは、第１のユーザーインターフェース領域内に、第２の１組の視覚特性を有する仮想オブジェクトの表現とともに、１つ以上の制御アフォーダンス（例えば、ステージングユーザーインターフェースへスイッチバックするためのアフォーダンス、ＡＲビューワから出るためのアフォーダンス、スナップショットをキャプチャするためのアフォーダンス等）を表示する（１６０４８）。例えば、図１１Ｊでは、バック制御６０１６、トグル制御６０１８、及びシェア制御６０２０を含む制御のセットが表示される。第２の１組の視覚特性を有する仮想オブジェクトの表現とともに、１つ以上の制御アフォーダンスを表示している間、デバイスは、制御フェイディング基準が満たされている（例えば、閾値時間の間、（例えば、デバイスの移動及びカメラの視野に対する更新とともに、又は、デバイスの移動及びカメラの視野に対する更新なく）タッチ感知面においてユーザー入力が検出されなかった）ことを検出する（１６０５０）。制御フェージング基準が満たされていることを検出することに応じて、デバイスは、１つ以上のカメラの視野を含む第１のユーザーインターフェース領域内に、第２の１組の視角特性を有する仮想オブジェクトの表現の表示を継続している間、１つ以上の制御アフォーダンスを表示することを停止する（１６０５２）。例えば、図１１Ｋ～図１１Ｌに関して説明されるように、閾値時間の間、ユーザー入力が検出されない場合、制御６０１６、６０１８、６０２０は、徐々に、フェードアウトし、表示されないようになる。いくつかの実施形態において、制御アフォーダンスがフェードアウェイされた後、タッチ感知面におけるタップ入力、又は、仮想オブジェクトとの相互作用が、デバイスに対して、第１のユーザーインターフェース領域内に、仮想オブジェクトの表現と同時に、制御アフォーダンスを再表示させる。制御フェージング基準が満たされているとの判定に応じて、制御の表示を自動的に停止することは、制御の表示を停止するために必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device switches back to one or more control affordances (eg, staging user interface) within a first user interface area, with a representation of a virtual object having a second set of visual characteristics. Displays affordances to do, affordances to exit the AR viewer, affordances to capture snapshots, etc. (16048). For example, in FIG. 11J, a set of controls including back
いくつかの実施形態では、第１のユーザーインターフェース領域内に仮想オブジェクトを表示するための要求に応じて、第１のユーザーインターフェース領域に含まれている１つ以上のカメラの視野の少なくとも一部の上方に、仮想オブジェクトの表現を表示する前に、（例えば、１つ以上のカメラの視野においてキャプチャされた物理的環境のための寸法及び空間関係データを生成するために、異なる視野角度からの十分な量の画像が存在しないので、）較正基準が満たされていないとの判定にしたがって、デバイスは、物理的環境に対してデバイスを移動させるための、ユーザーのためのプロンプトを表示する（例えば、方法１７０００を参照して以下により詳細に説明されるように、（例えば、較正ユーザーインターフェースオブジェクトが１つ以上のカメラの視野の、ぶれた画像にオーバレイされる）第１のユーザーインターフェース領域内に、デバイスを移動させるための視覚的なプロンプトを表示し、オプションとして、較正ユーザーインターフェースオブジェクト（例えば、デバイスの移動にしたがって移動する弾力性ワイヤフレームボール又は立方体）を表示する）（１６０５４）。物理的環境に対してデバイスをユーザーが移動させるためのプロンプトを表示することは、（例えば、カメラの視野に仮想オブジェクトを配置するための情報を取得するために、デバイスの移動が必要とされることを示すために、）視覚的フィードバックをユーザーへ提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが較正入力を提供することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する）。
In some embodiments, at least a portion of the field of view of one or more cameras contained in the first user interface area, in response to a request to display a virtual object within the first user interface area. Sufficient from different viewing angles (eg, to generate dimensional and spatial relational data for the physical environment captured in the field of view of one or more cameras) before displaying the representation of the virtual object above. According to the determination that the calibration criteria are not met (because there is not enough image), the device displays a prompt for the user to move the device to the physical environment (eg, for example). Within the first user interface area (eg, the calibrated user interface object is overlaid with a blurred image in the field of view of one or more cameras), as described in more detail below with reference to
図１６Ａ～図１６Ｇにおける動作が説明されている特定の順序は単なる例であり、説明された順序は、これら動作が実行され得る唯一の順序であることを示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１７０００、１８０００、１９０００、及び２００００）に関して本明細書で説明された他の処理の詳細はまた、図１６Ａ～図１６Ｇに関して上述された方法１６０００に類似の方式でも適用可能であることが注目されるべきである。例えば、方法１６０００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡潔のために、これら詳細は、本明細書では繰り返されない。
It is understood that the particular order in which the operations in FIGS. 16A-16G are described is merely an example and the described order is not intended to indicate that these operations are the only order in which they can be performed. It should be. Those of skill in the art will recognize various techniques for reordering the operations described herein. In addition, details of the other processes described herein with respect to the other methods described herein (eg,
図１７Ａ～図１７Ｄは、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化される較正ユーザーインターフェースオブジェクトを表示する方法１７０００を例示するフロー図である。方法１７０００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）、１つ以上の入力デバイス（例えば、タッチ感知面、又は、表示生成コンポーネントとタッチ感知面との両方として役立つタッチスクリーンディスプレイ）、１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面から反対側のデバイスの側面上の１つ以上の背面カメラ）、及び、１つ以上のカメラを含むデバイスの姿勢における変化（例えば、周囲の物理的環境に対する向き（例えば、回転、ヨー、及び／又は、傾斜角度）及び位置）を検出するための１つ以上の姿勢センサ（例えば、加速度計、ジャイロスコープ、及び／又は、磁力計）、を有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００）において実行される。方法１７０００におけるいくつかの動作は、オプションで、組み合わされ、及び／又は、いくつかの動作の順序は、オプションで、変更される。
17A-17D are flow
デバイスは、１つ以上のカメラの視野（例えば、視野は、物理的環境の少なくとも一部をキャプチャする）の表現を含む第１のユーザーインターフェース領域内に、物理的環境（例えば、１つ以上のカメラを含むデバイスの周囲の物理的環境）の拡張現実ビューを表示するための要求を受信する（１７００２）。いくつかの実施形態では、この要求は、仮想オブジェクトのステージングビューから、仮想オブジェクトの、拡張現実ビューへ切り換えるためのボタンにおいて検出されたタップ入力である。いくつかの実施形態では、この要求は、二次元ユーザーインターフェース内に、仮想オブジェクトの表現の隣に表示される、拡張現実アフォーダンスの選択である。いくつかの実施形態では、この要求は、拡張現実測定アプリケーション（例えば、物理的環境の測定を容易にする測定アプリ）の活性化である。例えば、この要求は、図１２Ａに関して説明されるように、１つ以上のカメラの視野６０３６に、仮想オブジェクト１１００２を表示するために、トグル６０１８において検出されたタップ入力である。
The device is within a first user interface area containing a representation of the field of view of one or more cameras (eg, the field of view captures at least a portion of the physical environment), the physical environment (eg, one or more). Receives a request to display an augmented reality view of the physical environment around the device, including the camera (1702). In some embodiments, this request is a tap input detected on a button for switching from the staging view of the virtual object to the augmented reality view of the virtual object. In some embodiments, this requirement is an augmented reality affordance selection that appears next to the representation of the virtual object in the two-dimensional user interface. In some embodiments, this requirement is the activation of an augmented reality measurement application (eg, a measurement app that facilitates measurement of the physical environment). For example, this request is a tap input detected in
物理的環境の拡張現実ビューを表示するための要求を受信することに応じて、デバイスは、１つ以上のカメラの視野の表現を表示する（例えば、デバイスは、較正基準が満たされていない場合、１つ以上のカメラの視野に、物理的環境のぶれたバージョンを表示する）（１７００４）。例えば、デバイスは、図１２Ｅ－１に図示されるように、１つ以上のカメラの視野６０３６のぶれた表現を表示する。（例えば、１つ以上のカメラの視野においてキャプチャされた物理的環境のための寸法及び空間関係データを生成するために、（例えば、異なる視野角度からの）十分な量の画像データが存在しないので、仮想オブジェクトに対応するプレーンが、１つ以上のカメラの視野内で検出されないので、及び／又は、カメラから利用可能な画像データに基づいて、プレーン検出を開始又はプレーン検出とともに進めるための十分な情報が存在しないので、）物理的環境の拡張現実ビューのための較正基準が満たされていないとの判定にしたがって、デバイスは、（例えば、表示生成コンポーネントによって、及び、（例えば、視野のぶれたバージョンのような）１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内に）物理的環境における１つ以上のカメラの移動にしたがって動的にアニメーション化される較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）を表示する。例えば、図１２Ｅ－１ないし図１２Ｉ－１において、較正ユーザーインターフェースオブジェクト１２０１４が表示される。１つ以上のカメラの移動に従う較正ユーザーインターフェースオブジェクトのアニメーションは、例えば、図１２Ｅ－１ないし図１２Ｆ－１に関して説明される。いくつかの実施形態では、１つ以上のカメラの視野において、１つ以上のプレーン（例えば、床、壁、テーブル等）を検出するために、１つ以上のカメラの視野を分析することは、拡張現実ビューの表現を表示するための要求に対応する入力の初期部分が受信された場合に生じる。いくつかの実施形態では、分析することは、この要求を受信する前（例えば、仮想オブジェクトがステージングビューに表示されている間）に生じる。較正ユーザーインターフェースオブジェクトを表示することは、較正ユーザーインターフェースオブジェクトを表示している間、１つ以上の姿勢センサによって、物理的環境における１つ以上のカメラの姿勢（例えば、場所及び／又は向き（例えば、回転、傾斜、ヨー角））における変化を検出することと、物理的環境における１つ以上のカメラの姿勢における変化を検出することに応じて、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）の少なくとも１つの表示パラメータ（例えば、ディスプレイにおける向き、サイズ、回転、又は場所）を調節することと、を含む。例えば、図１２Ｅ－２ないし図１２Ｆ－２にそれぞれ対応する図１２Ｅ－１ないし図１２Ｆ－１は、物理的環境５００２に対するデバイス１００の横移動と、デバイスの１つ以上のカメラの、表示された視野６０３６における対応する変化とを例示する。図１２Ｅ－２ないし図１２Ｆ－２では、較正ユーザーインターフェースオブジェクト１２０１４は、１つ以上のカメラの移動に応じて回転する。
In response to receiving a request to display an augmented reality view of the physical environment, the device displays a representation of the field of view of one or more cameras (eg, if the device does not meet the calibration criteria). Display a blurred version of the physical environment in the field of view of one or more cameras) (17004). For example, the device displays a blurred representation of the field of
物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、ディスプレイ上を移動する較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）を表示している間、デバイスは、較正基準が満たされていないことを検出する（１７００６）。例えば、図１２Ｅ～図１２Ｊに関して説明されるように、デバイスは、図１２Ｅ－１ないし図１２Ｉ－１から生じるデバイスの移動に応じて、較正基準が満たされていることを判定する。 Displays a calibrated user interface object (eg, a scan prompt object such as an elastic cube or wireframe object) that moves over the display according to the detected changes in the posture of one or more cameras in the physical environment. While the device detects that the calibration criteria are not met (17006). For example, as described with respect to FIGS. 12E-12J, the device determines that the calibration criteria are met in response to the movement of the device resulting from FIGS. 12E-1 to 12I-1.
較正基準が満たされていることを検出することに応じて、デバイスは、較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）の表示を停止する（１７００８）。いくつかの実施形態では、デバイスが、較正ユーザーインターフェースオブジェクトの表示を停止した後、デバイスは、カメラの視野の表現を、ぶれなく表示する。いくつかの実施形態では、仮想オブジェクトの表現は、カメラの視野のぶれのない表現の上方に表示される。例えば、図１２Ｊにおいて、図１２Ｅ－１ないし図１２Ｉ－１に関して説明されるデバイスの移動に応じて、較正ユーザーインターフェースオブジェクト１２０１４は、もはや表示されず、仮想オブジェクト１１００２が、カメラの視野の、ぶれのない表現６０３６にわたって表示される。１つ以上のカメラ（例えば、デバイスの物理的環境をキャプチャするデバイスカメラ）の移動にしたがって較正ユーザーインターフェースオブジェクトの表示パラメータを調節することは、（例えば、較正のためにデバイスの移動が必要とされていることを示すために）視覚的フィードバックをユーザーへ提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、較正基準を満たすために必要とされる情報を提供する方式で、ユーザーがデバイスを移動させることを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In response to detecting that the calibration criteria are met, the device stops displaying calibration user interface objects (eg, scan prompt objects such as elastic cubes or wireframe objects) (1708). .. In some embodiments, after the device has stopped displaying the calibrated user interface object, the device displays the representation of the camera's field of view consistently. In some embodiments, the representation of the virtual object is displayed above the consistent representation of the camera's field of view. For example, in FIG. 12J, in response to the movement of the device described with respect to FIGS. 12E-1 to 12I-1, the calibration
いくつかの実施形態では、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内に、物理的環境（例えば、１つ以上のカメラを含むデバイスの周囲の物理的環境）の拡張現実ビューを表示するための要求は、物理的環境の拡張現実ビューにおける仮想三次元オブジェクト（例えば、三次元モデルを有する仮想オブジェクト）の表現を表示するための要求を含む（１７０１０）。いくつかの実施形態では、この要求は、仮想オブジェクトのステージングビューから、仮想オブジェクトの拡張現実ビューへ切り換えるためのボタンにおいて検出されたタップ入力である。いくつかの実施形態では、この要求は、二次元ユーザーインターフェース内に、仮想オブジェクトの表現の隣に表示される拡張現実アフォーダンスの選択である。例えば、図１２Ａでは、トグル制御６０１８に対応する場所における接触１２００２による入力は、図１２Ｂに図示されるように、カメラの視野６０３６を含むユーザーインターフェース内に、仮想オブジェクト１１００２を表示するための要求である。拡張現実ビューにおいて仮想オブジェクトを表示するための要求に応じて、物理的環境の拡張現実ビューを表示することは、（例えば、物理的環境と仮想オブジェクトとの両方のビューを表示するために）必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、（例えば、ユーザーが較正入力を提供することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, an extension of the physical environment (eg, the physical environment around a device containing one or more cameras) within a first user interface area that includes a representation of the field of view of one or more cameras. A request for displaying a real view includes a request for displaying a representation of a virtual three-dimensional object (eg, a virtual object having a three-dimensional model) in an augmented reality view of a physical environment (17010). In some embodiments, this request is a tap input detected on a button for switching from a staging view of a virtual object to an augmented reality view of the virtual object. In some embodiments, this requirement is an augmented reality affordance selection that appears next to the representation of the virtual object in the two-dimensional user interface. For example, in FIG. 12A, the input by
いくつかの実施形態では、デバイスは、較正ユーザーインターフェースオブジェクトの表示を停止した後、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内に、仮想三次元オブジェクトの表現を（例えば、較正基準が満たされた後に）表示する（１７０１２）。いくつかの実施形態では、この要求に応じて、較正が完了し、カメラの視野が十分鮮明に表示された後、仮想オブジェクトは、１つ以上のカメラの視野内で識別された所定のプレーン（例えば、仮想オブジェクトの三次元表現のためのサポートプレーンとして役立ち得る垂直壁又は水平床面のような物理的なプレーン）に対して所定の位置及び／又は向きへドロップする。例えば、図１２Ｊにおいて、デバイスは、図１２Ｅ～図１２Ｉに表示された較正ユーザーインターフェースオブジェクト１２０１４を表示することを停止し、仮想オブジェクト１１００２は、カメラの視野６０３６を含むユーザーインターフェース内に表示される。較正ユーザーインターフェースオブジェクトの表示の停止後、表示された拡張現実ビューで仮想オブジェクトを表示することは、（例えば、較正基準が満たされていることを示すために）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することと、較正基準が満たされる前に仮想オブジェクトを操作するための入力の提供を試みることを回避することとを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device stops displaying the calibrated user interface object and then places a representation of the virtual three-dimensional object (eg, a representation of the virtual three-dimensional object) within a first user interface region that includes a representation of the field of view of one or more cameras. (After the calibration criteria are met) (17012). In some embodiments, in response to this requirement, after the calibration is complete and the camera's field of view is displayed clearly enough, the virtual object is a predetermined plane identified within the field of view of one or more cameras. Drop in a given position and / or orientation with respect to a physical plane such as a vertical wall or horizontal floor that can serve as a support plane for a three-dimensional representation of a virtual object, for example. For example, in FIG. 12J, the device stops displaying the calibration
いくつかの実施形態では、デバイスは、較正ユーザーインターフェースオブジェクトと同時に（例えば、較正ユーザーインターフェースオブジェクトの後方に）、第１のユーザーインターフェース領域内に、仮想三次元オブジェクトの表現を（例えば、較正基準が満たされる前に）表示し、仮想三次元オブジェクトの表現は、物理的環境における１つ以上のカメラの移動中（例えば、較正ユーザーインターフェースオブジェクトが、１つ以上のカメラの移動にしたがって、第１のユーザーインターフェース領域内で移動されている間）、第１のユーザーインターフェース領域内の固定位置にとどまる（例えば、仮想三次元オブジェクトは、物理的環境における場所に配置されない）（１７０１４）。例えば、図１２Ｅ－１ないし図１２Ｉ－１において、仮想オブジェクト１１００２の表現は、較正ユーザーインターフェースオブジェクト１２０１４と同時に表示される。（例えば、図１２Ｅ－１ないし図１２Ｆ－１及び対応する図１２Ｅ－２ないし図１２Ｆ－２に例示されるように）１つ以上のカメラを含むデバイス１００が移動すると、仮想オブジェクト１１００２は、１つ以上のカメラの視野６０３６を含むユーザーインターフェース内の固定場所にとどまる。仮想オブジェクトを較正ユーザーインターフェースオブジェクトと同時に表示することは、（例えば、較正が実行されているオブジェクトを示すために）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、仮想オブジェクトが配置されるプレーンに対応する較正入力を、ユーザーが提供することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device presents a representation of the virtual three-dimensional object (eg, calibration criteria) within the first user interface area at the same time as the calibrated user interface object (eg, behind the calibrated user interface object). Displayed (before being filled), the representation of the virtual three-dimensional object is the first while the one or more cameras are moving in the physical environment (eg, the calibrated user interface object is moving one or more cameras). While being moved within the user interface area), it remains in a fixed position within the first user interface area (eg, virtual three-dimensional objects are not placed in place in the physical environment) (17014). For example, in FIGS. 12E-1 to 12I-1, the representation of the
いくつかの実施形態では、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内に、物理的環境（例えば、１つ以上のカメラを含むデバイスの周囲の物理的環境）の拡張現実ビューを表示するための要求は、１つ以上のカメラの視野にキャプチャされた物理的環境におけるいずれの仮想三次元オブジェクト（例えば、三次元モデルを有する仮想オブジェクト）の表現の表示も要求することなく、（例えば、１つ以上のユーザーインターフェースオブジェクト、及び／又は、制御（例えば、プレーン、オブジェクト、ポインタ、アイコン、マーカ等の輪郭）を用いて、）１つ以上のカメラの視野の表現を表示するための要求を含む（１７０１６）。いくつかの実施形態では、この要求は、二次元ユーザーインターフェース内に、仮想オブジェクトの表現の隣に表示される、拡張現実アフォーダンスの選択である。いくつかの実施形態では、この要求は、拡張現実ビュー測定アプリケーション（例えば、物理的環境の測定を容易にする測定アプリ）の活性化である。いずれの仮想三次元オブジェクトの表現の表示も要求することなく、１つ以上のカメラの視野の表現を表示するための要求は、（例えば、仮想オブジェクトが表示されるか否かに関わらず、較正が必要とされることを示すために、同じ較正ユーザーインターフェースオブジェクトを使用することによって）フィードバックを提供する。改善されたフィードバックをユーザーへ提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, an extension of the physical environment (eg, the physical environment around a device containing one or more cameras) within a first user interface area that includes a representation of the field of view of one or more cameras. The request to display a real view also requires the display of a representation of any virtual three-dimensional object (eg, a virtual object with a three-dimensional model) in a physical environment captured in the field of one or more cameras. Not (eg, using one or more user interface objects and / or controls (eg, contours of planes, objects, pointers, icons, markers, etc.)) to display a representation of the field of view of one or more cameras. Includes a request to do (17016). In some embodiments, this requirement is an augmented reality affordance selection that appears next to the representation of the virtual object in the two-dimensional user interface. In some embodiments, this requirement is the activation of an augmented reality view measurement application (eg, a measurement app that facilitates measurement of the physical environment). The request to display the field of view representation of one or more cameras (eg, whether or not the virtual object is displayed) is calibrated without requiring the display of any representation of the virtual three-dimensional object. Provides feedback (by using the same calibration user interface object) to show that is needed. Providing improved feedback to the user enhances the usability of the device and makes the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態では、物理的環境の拡張現実ビューを表示するための要求を受信することに応じて、デバイスは、１つ以上のカメラの視野の表現を表示し（例えば、較正基準が満たされない場合、１つ以上のカメラの視野における物理的環境のぶれたバージョンを表示し）、（例えば、１つ以上のカメラの視野においてキャプチャされた物理的環境のための寸法及び空間関係データを生成するために（例えば、異なる視野角度からの）十分な量の画像データが存在するので、仮想オブジェクトに対応するプレーンが、１つ以上のカメラの視野内で検出されたので、及び／又は、カメラからの利用可能な画像データに基づいて、プレーン検出を開始又はプレーン検出とともに進めるための十分な情報が存在するので、）物理的環境の拡張現実ビューのために較正基準が満たされているとの判定にしたがって、デバイスは、較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）の表示を控える（１７０１８）。いくつかの実施形態では、仮想三次元オブジェクトが、ステージングユーザーインターフェース内に表示されている間に、プレーンに関する物理的環境のスキャンが始まる。これによって、デバイスは、（例えば、物理的空間における１つ以上のプレーンを検出するために十分なデータを提供するために、カメラの視野が十分移動した）いくつかの状況において、拡張現実ビューを表示する前に、物理的空間における１つ以上のプレーンを検出することが可能となり、これによって、較正ユーザーインターフェースは、表示される必要がなくなる。物理的環境の拡張現実ビューのために、較正基準が満たされているとの判定にしたがって、較正ユーザーインターフェースオブジェクトの表示を控えることは、視覚的フィードバックをユーザーへ提供する（例えば、較正ユーザーインターフェースオブジェクトの不在は、較正基準が満たされており、較正のためにデバイスの移動は必要とされないことを示す）。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、較正の目的のために、ユーザーがデバイスの不要な移動を回避することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device displays a representation of the field of view of one or more cameras in response to receiving a request to display an augmented reality view of the physical environment (eg, calibration criteria are met). If not, display a blurred version of the physical environment in the field of view of one or more cameras) (eg, generate dimensional and spatial relationship data for the physical environment captured in the field of view of one or more cameras). Since there is sufficient amount of image data (eg, from different viewing angles) to do so, the plane corresponding to the virtual object has been detected within the field of view of one or more cameras, and / or the camera. Based on the image data available from, there is sufficient information to initiate or proceed with the plane detection) that the calibration criteria are met for the augmented reality view of the physical environment. According to the determination, the device refrains from displaying the calibrated user interface object (eg, a scan prompt object such as a resilient cube or wireframe object) (17018). In some embodiments, a scan of the physical environment for the plane begins while the virtual 3D object is displayed within the staging user interface. This allows the device to provide an augmented reality view in some situations (eg, the camera's field of view has moved sufficiently to provide sufficient data to detect one or more planes in physical space). It is possible to detect one or more planes in physical space before displaying, which eliminates the need for the calibration user interface to be displayed. For the augmented reality view of the physical environment, refraining from displaying the calibration user interface object according to the determination that the calibration criteria are met provides visual feedback to the user (eg, the calibration user interface object). Absence indicates that the calibration criteria are met and no device movement is required for calibration). Providing improved visual feedback to the user enhances the usability of the device (eg, by helping the user avoid unnecessary movement of the device for calibration purposes) and the user. Make the device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態では、デバイスは、（例えば、較正ユーザーインターフェースオブジェクトの隣の）拡張現実ビューの較正を改善するために、ユーザーによって講じられ得る動作に関する情報を提供する較正ユーザーインターフェースオブジェクトと同時に、第１のユーザーインターフェース領域内に、テキストオブジェクト（例えば、現在検出されているエラー状態を記述しているテキスト記述、及び／又は、（例えば、検出されたエラー状態を修正するために）ユーザー動作を要求するテキストプロンプト）を（例えば、較正基準が満たされる前に）表示する（１７０２０）。いくつかの実施形態では、テキストオブジェクトは、「移動しすぎ」、「下に細かく」、「もっと近くに移動して下さい」等のような、デバイスの移動のためのプロンプトを（現在、検出されているエラー状態とともに）ユーザーへ提供する。いくつかの実施形態では、デバイスは、較正処理中のユーザーの動作と、ユーザーの動作に基づいて検出された新たなエラー状態とにしたがって、テキストオブジェクトを更新する。較正ユーザーインターフェースオブジェクトと同時にテキストを表示することは、（例えば、較正のために必要とされる移動のタイプを示す文字指示を提供する）視覚的フィードバックをユーザーへ提供する。改善された視覚的フィードバックをユーザーへ提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合、ユーザー誤りを低減する）。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device simultaneously provides a calibration user interface object that provides information about the actions that can be taken by the user to improve the calibration of the augmented reality view (eg, next to the calibration user interface object). Within the first user interface area, a text object (eg, a text description describing the currently detected error condition and / or a user action (eg, to correct the detected error condition)). Display the requested text prompt (eg, before the calibration criteria are met) (17020). In some embodiments, the text object prompts (currently detected) for moving the device, such as "move too much", "move down", "move closer", and so on. Provide to the user (along with the error status). In some embodiments, the device updates the text object according to the user's behavior during the calibration process and a new error condition detected based on the user's behavior. Displaying text at the same time as the calibration user interface object provides the user with visual feedback (eg, providing textual instructions indicating the type of movement required for calibration). Providing improved visual feedback to the user enhances the usability of the device and makes the user device interface more efficient (eg, helping the user provide the appropriate input and working with the device / Reduce user error when interacting). It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態では、較正基準が満たされていること（例えば、較正ユーザーインターフェースオブジェクトが表示される前に満たされている基準、又は、較正ユーザーインターフェースオブジェクトが表示され、ある期間、アニメーション化された後に満たされた基準）を検出することに応じて、デバイスは、（例えば、較正ユーザーインターフェースオブジェクトが最初に表示されたのであれば、較正ユーザーインターフェースオブジェクトの表示を停止した後に、）１つ以上のカメラの視野においてキャプチャされた物理的環境において検出されたプレーンの視覚的な指示を表示する（例えば、検出されたプレーンの周囲の輪郭を表示する、又は、検出されたプレーンを強調する）（１７０２２）。例えば、図１２Ｊでは、１つ以上のカメラの表示された視野６０３６においてキャプチャされると、物理的環境５００２においてプレーンが検出されたことを示すために、プレーン（床面５０３８）が強調されている。検出されたプレーンを示す視覚的な指示を表示することは、（例えば、デバイスカメラによってキャプチャされた物理的環境においてプレーンが検出されたことを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the calibration criteria are met (eg, the criteria met before the calibration user interface object is displayed, or the calibration user interface object is displayed and animated for a period of time. Depending on the detection of the criteria that were met afterwards), the device may have one or more (eg, after stopping the display of the calibrated user interface object if the calibrated user interface object was first displayed). Displays visual indications of the planes detected in the physical environment captured in the camera's field of view (eg, displays the contours around the detected planes or highlights the detected planes) ( 17022). For example, in FIG. 12J, the plane (floor surface 5038) is highlighted to indicate that the plane was detected in the
いくつかの実施形態では、物理的環境の拡張現実ビューを表示するための要求を受信することに応じて、較正基準が満たされていないとの判定にしたがって、較正ユーザーインターフェースオブジェクトを表示する前に、デバイスは、（例えば、表示生成コンポーネントによって、及び、１つ以上のカメラの視野の表現（例えば、視野のぶれたバージョン）を含む第１のユーザーインターフェース領域内に、）プレーンの表現に対して移動するデバイスの表現（例えば、プレーンの表現に対するデバイスの表現の移動は、ユーザーによって影響されるべき、必要とされるデバイスの移動を示す）を含むアニメーション化されたプロンプトオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）を表示する（１７０２４）。例えば、アニメーション化されたプロンプトオブジェクトは、図１２Ｂ～図１２Ｄに関して説明されるように、プレーンの表現１２０１０に対して移動するデバイス１００の表現１２００４を含む。いくつかの実施形態では、デバイスは、デバイスが、デバイスの移動を検出した（例えば、較正を進めることができる手法で、ユーザーが、デバイスの移動を開始したことを示す）場合、アニメーション化されたプロンプトオブジェクトの表示を停止する。いくつかの実施形態では、デバイスが、デバイスの移動を検出した場合、かつ、デバイスの較正に関して更にユーザーをガイドする較正が完了される前に、デバイスは、アニメーション化されたプロンプトオブジェクトの表示を、較正ユーザーインターフェースオブジェクトと置き換える。例えば、図１２Ｃ～図１２Ｅに関して説明されるように、（図１２Ｃ～図１２Ｄに図示されるように）デバイスの移動が検出された場合、デバイス１００の表現１２００４を含むアニメーション化されたプロンプトは、表示が停止され、較正ユーザーインターフェースオブジェクト１２０１４が、図１２Ｅに表示される。プレーンの表現に対して移動するデバイスの表現を含む、アニメーション化されたプロンプトオブジェクトを表示することは、（例えば、較正のために必要とされるデバイスの移動のタイプを例示するための）視覚的フィードバックをユーザーへ提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、較正基準を満たすために必要とされる情報を提供する方式で、ユーザーがデバイスを移動させることを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, in response to receiving a request to display an augmented reality view of the physical environment, according to the determination that the calibration criteria are not met, before displaying the calibrated user interface object. For a representation of the plane, the device (eg, by a display generation component and within a first user interface area containing a representation of the field of view of one or more cameras (eg, a blurred version)). An animated prompt object (eg, elastic) that contains a representation of the moving device (eg, the movement of the device's representation relative to the plane's representation indicates the required movement of the device that should be affected by the user). Display a scan prompt object, such as a cube or wireframe object (17024). For example, the animated prompt object includes a
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢において検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、物理的環境における１つ以上のカメラの第１の量の移動にしたがって、較正ユーザーインターフェースオブジェクトを第１の量、移動させることと、物理的環境における１つ以上のカメラの第２の量の移動にしたがって、較正ユーザーインターフェースオブジェクトを第２の量、移動させることとを含み、第１の量は、第２の量とは異なり（例えば、第２の量よりも大きく）、第１の量の移動は、第２の量の移動とは異なる（例えば、第２の量よりも大きい）（例えば、第１及び第２の量の移動は、物理的環境における同じ方向における移動に基づいて測定される）。較正ユーザーインターフェースオブジェクトを、１つ以上の（デバイス）カメラの移動の大きさに対応する量、移動させることは、（例えば、較正ユーザーインターフェースオブジェクトの移動が、較正のために必要とされるデバイスの移動のためのガイドであることをユーザーへ示す）視覚的フィードバックを提供する（１７０２６）。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, adjusting at least one display parameter of a calibrated user interface object according to the changes detected in the attitude of one or more cameras in the physical environment is one or more in the physical environment. A calibration user interface object is moved by a first quantity, according to the movement of a first quantity of cameras, and a calibration user interface object is moved by a second quantity of movement of one or more cameras in a physical environment. A second quantity, including moving, the first quantity is different from the second quantity (eg, greater than the second quantity), and the movement of the first quantity is that of the second quantity. Different from movement (eg, greater than the second quantity) (eg, movement of the first and second quantities is measured based on movement in the same direction in the physical environment). Moving a calibration user interface object by an amount corresponding to the magnitude of movement of one or more (device) cameras (eg, movement of the calibration user interface object is required for calibration of the device). Provide visual feedback (to show the user that it is a guide for travel) (17026). Providing improved visual feedback to the user (eg, by helping the user provide the appropriate input and reducing user error when operating / interacting with the device). Improve device usability and make user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、１つ以上のカメラの姿勢において検出された変化が、第１のタイプの移動（例えば、左側、右側、又は前後側のような横方向移動）に対応する（そして、第２のタイプの移動（例えば、上方、下方、及び上下移動のような垂直移動）に対応しない）との判定にしたがって、第１のタイプの移動に基いて、較正ユーザーインターフェースオブジェクトを移動させること（例えば、（例えば、較正ユーザーインターフェースオブジェクトによって、垂直軸の周りに較正ユーザーインターフェースオブジェクトを回転させることのように）第１の方式で較正ユーザーインターフェースオブジェクトを移動させること）と、１つ以上のカメラの姿勢における検出された変化が、第２のタイプの移動に対応する（そして、第１のタイプの移動に対応しない）との判定にしたがって、第２のタイプの移動に基づいて、較正ユーザーインターフェースオブジェクトを移動させることを控えること（例えば、較正ユーザーインターフェースオブジェクトを第１の方式で移動させることを控えること、すなわち、較正ユーザーインターフェースオブジェクトを静止させたままに維持すること）とを含む（１７０２８）。例えば、（図１２Ｆ－１ないし図１２Ｇ－１、及び図１２Ｆ－２ないし図１２Ｇ－２に関して説明されるように、）１つ以上のカメラを含むデバイス１００の横方向移動は、較正ユーザーインターフェースオブジェクト１２０１４を回転させる一方、（例えば、図１２Ｇ－１ないし図１２Ｈ－１及び図１２Ｇ－２ないし図１２Ｈ－２に関して説明されるように、）デバイス１００の垂直移動は、較正ユーザーインターフェースオブジェクト１２０１４を回転させない。デバイスカメラの姿勢における検出された変化が、第２のタイプの移動に対応しているとの判定にしたがって、較正ユーザーインターフェースオブジェクトの移動を控えることは、（例えば、１つ以上のカメラの第２のタイプの移動が、較正のために必要とされていないことをユーザーへ示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが不要な入力を提供することを回避することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, adjusting at least one display parameter of a calibrated user interface object according to a detected change in the orientation of one or more cameras in a physical environment can be done in one or more camera orientations. The detected changes correspond to a first type of movement (eg, lateral movement such as left, right, or front-back) (and a second type of movement (eg, up, down, and up and down). Moving the calibrated user interface object based on the first type of movement (eg, by the calibrated user interface object, on the vertical axis) according to the determination that it does not correspond to (vertical movement such as movement). Moving the calibrated user interface object in the first way (such as rotating the calibrated user interface object around) and the detected changes in the posture of one or more cameras are the second type of movement. (And refrain from moving the calibrated user interface object based on the second type of move, according to the determination that it corresponds to (and does not correspond to the first type of move) (eg, the calibrated user interface object). The first method is to refrain from moving the calibrated user interface object, i.e. to keep the calibrated user interface object stationary) (17028). For example, lateral movement of the
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、第１のユーザーインターフェース領域の上方における較正ユーザーインターフェースオブジェクトの特徴的な表示場所（例えば、地理的中心の場所、又は、ディスプレイ上の較正ユーザーインターフェースオブジェクトの軸）を変更することなく、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトを移動（例えば、回転及び／又は傾斜）させることを含む（例えば、較正ユーザーインターフェースオブジェクトは、ディスプレイ上の固定場所へアンカーされる一方、物理的環境は、較正ユーザーインターフェースオブジェクトの真下の１つ以上のカメラの視野内で移動する）（１７０３０）。例えば、図１２Ｅ－１ないし図１２Ｉ－１では、較正ユーザーインターフェースオブジェクト１２０１４は、ディスプレイ１１２に対して固定された場所にとどまりながら回転する。較正ユーザーインターフェースオブジェクトの特徴的な表示場所を変更することなく、較正ユーザーインターフェースオブジェクトを移動させることは、（例えば、較正ユーザーインターフェースオブジェクトが、表示された拡張現実環境に対する場所に配置された仮想オブジェクトとは異なることを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを回避し、ユーザー入力誤りを低減することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, adjusting at least one display parameter of a calibrated user interface object according to a detected change in the orientation of one or more cameras in a physical environment is above the first user interface area. In the orientation of one or more cameras in a physical environment without changing the characteristic display location of the calibrated user interface object in (eg, the location of the geographical center or the axis of the calibrated user interface object on the display). It involves moving (eg, rotating and / or tilting) the calibrated user interface object according to the detected changes (eg, the calibrated user interface object is anchored to a fixed location on the display, while the physical environment (Move within the field of one or more cameras directly below the calibrated user interface object) (17030). For example, in FIGS. 12E-1 to 12I-1, the calibration
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、物理的環境における１つ以上のカメラの移動方向に垂直な軸の周りに較正ユーザーインターフェースオブジェクトを回転させることを含む（例えば、（例えば、カメラを含む）デバイスがｘ－ｙ面上を前後に移動している場合、較正ユーザーインターフェースオブジェクトは、ｚ軸の周りに回転するか、又は、（例えば、カメラを含む）デバイスがｘ軸（例えば、ｘ軸は、物理的環境に対する水平方向として定義され、例えば、タッチスクリーンディスプレイのプレーン内に位置する）に沿って左右交互に移動している場合、較正ユーザーインターフェースオブジェクトは、ｙ軸の周りに回転する）（１７０３２）。例えば、図１２Ｅ－１ないし図１２Ｇ－１では、較正ユーザーインターフェースオブジェクト１２０１４は、図１２Ｅ－２ないし図１２Ｇ－２に図示されるように、デバイスの横方向移動に垂直な垂直軸の周りに回転する。デバイスカメラの移動に垂直な軸の周りに較正ユーザーインターフェースオブジェクトを回転させることは、（例えば、較正ユーザーインターフェースオブジェクトの移動が、較正のために必要とされるデバイスの移動のためのガイドであることをユーザーへ示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, adjusting at least one display parameter of a calibrated user interface object according to a detected change in the attitude of one or more cameras in the physical environment is one or more in the physical environment. Includes rotating the calibrated user interface object around an axis perpendicular to the direction of movement of the camera (eg, if the device (eg, including the camera) is moving back and forth on the xy plane, the calibrated user interface. The object either rotates around the z-axis, or the device (eg, including the camera) is defined as the x-axis (eg, the x-axis is horizontal to the physical environment, eg, within the plane of a touch screen display). The calibrated user interface object rotates about the y-axis when moving alternately left and right along (located in) (17032). For example, in FIGS. 12E-1 to 12G-1, the calibration
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、１つ以上のカメラの視野内で検出された変化の速度（例えば、物理的環境の移動速度）にしたがって判定された速度で較正ユーザーインターフェースオブジェクトを移動させることを含む（１７０３４）。デバイスカメラの姿勢における変化にしたがって判定された速度で較正ユーザーインターフェースオブジェクトを移動させることは、（例えば、較正ユーザーインターフェースオブジェクトの移動が、較正のために必要とされるデバイスの移動のためのガイドであることをユーザーへを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, adjusting at least one display parameter of a calibrated user interface object according to a detected change in the attitude of one or more cameras in a physical environment is within the field of view of one or more cameras. Includes moving the calibrated user interface object at a speed determined according to the speed of change detected in (eg, the speed of movement of the physical environment) (17034). Moving the calibrated user interface object at a speed determined according to changes in the attitude of the device camera (eg, moving the calibrated user interface object is a guide for moving the device required for calibration. Provide visual feedback (indicating to the user that there is). Providing improved visual feedback to the user (eg, by helping the user provide the appropriate input and reducing user error when operating / interacting with the device). Improve device usability and make user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、１つ以上のカメラの視野内で検出された変化（例えば、物理的環境の移動速度）の方向にしたがって判定された方向において、較正ユーザーインターフェースオブジェクトを移動させることを含む（例えば、デバイスは、右から左へのデバイスの移動のために較正ユーザーインターフェースオブジェクトを時計回りに回転させ、左から右へのデバイスの移動のために較正ユーザーインターフェースオブジェクトを反時計回りに回転させるか、又は、デバイスは、右から左へのデバイスの移動のために較正ユーザーインターフェースオブジェクトを反時計回りに回転させ、左から右へのデバイスの移動のために較正ユーザーインターフェースオブジェクトを時計回りに回転させる）（１７０３６）。デバイスカメラの姿勢における変化にしたがって判定された方向において較正ユーザーインターフェースオブジェクトを移動させることは、（例えば、較正ユーザーインターフェースオブジェクトの移動が、較正のために必要とされるデバイスの移動のためのガイドであることをユーザーへ示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, adjusting at least one display parameter of a calibrated user interface object according to a detected change in the orientation of one or more cameras in a physical environment is within the field of view of the one or more cameras. Includes moving the calibrated user interface object in the direction determined according to the direction of the change detected in (eg, the speed of movement of the physical environment) (eg, the device moves the device from right to left). To rotate the calibrated user interface object clockwise and to move the calibrated user interface object counterclockwise for moving the device from left to right, or to move the device from right to left Rotate the calibrated user interface object counterclockwise for, and rotate the calibrated user interface object clockwise for moving the device from left to right) (17036). Moving a calibrated user interface object in a direction determined according to a change in the attitude of the device camera (eg, moving the calibrated user interface object is a guide for moving the device required for calibration. Provide visual feedback (to show the user that there is). Providing improved visual feedback to the user (eg, by helping the user provide the appropriate input and reducing user error when operating / interacting with the device). Improve device usability and make user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
図１７Ａ～図１７Ｄにおける動作が説明されている特定の順序は、単なる例であり、説明された順序は、動作が実行され得る唯一の順序を示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１８０００、１９０００、及び２００００）に関して本明細書で説明された他の処理の詳細はまた、図１７Ａ～図１７Ｄに関して上述された方法１７０００に対して類似した方式でも適用可能であることが注目されるべきである。例えば、方法１７０００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１８０００、１９０００、及び２００００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡潔のために、これら詳細は、本明細書では繰り返されない。
It should be understood that the particular order in which the actions in FIGS. 17A-17D are described is merely an example and the described order is not intended to indicate the only order in which the actions can be performed. Is. Those of skill in the art will recognize various techniques for reordering the operations described herein. In addition, details of the other processes described herein with respect to the other methods described herein (eg,
図１８Ａ～図１８Ｉは、軸の周りの仮想オブジェクトの回転を拘束する方法１８０００を例示するフロー図である。方法１８０００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）と、１つ以上の入力デバイス（例えば、タッチ感知面、又は、表示生成コンポーネントとタッチ感知面との両方として役立つタッチスクリーンディスプレイ）と、１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面から反対側のデバイスの側面上の１つ以上の背面カメラ）と、１つ以上のカメラを含むデバイスの姿勢（例えば、周囲の物理的環境に対する向き（例えば、回転、ヨー、及び／又は、傾斜角度）及び位置）における変化を検出するための１つ以上の姿勢センサ（たとえば、加速度計、ジャイロスコープ、及び／又は、磁力計）と、を有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００）において実行される。方法１８０００におけるいくつかの動作は、オプションで、組み合わされるか、及び／又は、いくつかの動作の順序が、オプションで、変更される。
18A-18I are flow diagrams illustrating a
デバイスは、表示生成コンポーネントによって、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース又は拡張現実ユーザーインターフェース）内に、仮想三次元オブジェクトの第１の視点の表現を表示する（１８００２）。例えば、図１３Ｂに図示されるように、仮想オブジェクト１１００２が、ステージングユーザーインターフェース６０１０内に図示される。
The device displays a first perspective representation of a virtual three-dimensional object within a first user interface area (eg, a staging user interface or an augmented reality user interface) by means of a display generation component (18002). For example, as illustrated in FIG. 13B, the
ディスプレイ上の第１のユーザーインターフェース領域内に、視覚的な三次元オブジェクトの第１の視点の表現を表示している間、デバイスは、仮想三次元オブジェクトの第１の視点から見えない仮想三次元オブジェクトの一部を表示するために、ディスプレイ（例えば、タッチスクリーンディスプレイのプレーンのような表示生成コンポーネントに対応する表示面）に対して仮想三次元オブジェクトを回転させるための要求に対応する第１の入力（例えば、タッチ感知面における（例えば、１本又は２本の指の接触による）スワイプ入力、又は、旋回入力（例えば、２本指回転、又は、別の指接触の周りの１本指の接触旋回））を検出する（１８００４）。例えば、この要求は、図１３Ｂ～図１３Ｃに関して説明されるような入力、又は、図１３Ｅ～図１３Ｆに関して説明されるような入力である。 While displaying a representation of the first viewpoint of a visual three-dimensional object within the first user interface area on the display, the device is invisible from the first viewpoint of the virtual three-dimensional object. A first response to a request to rotate a virtual 3D object with respect to a display (eg, a display surface corresponding to a display generation component such as the plane of a touch screen display) to display a portion of the object. Input (eg, swipe input (eg, by one or two finger contact) on the touch sensing surface, or swivel input (eg, two finger rotation, or one finger around another finger contact) Contact turning)) is detected (1804). For example, this request is an input as described for FIGS. 13B-13C, or an input as described for FIGS. 13E-13F.
第１の入力を検出することに応じて（１８００６）、第１の入力が、第１の軸（例えば、ｘ軸のような水平方向におけるディスプレイのプレーン（例えば、ｘ－ｙ面）に平行である第１の軸）の周りに三次元オブジェクトを回転させるための要求に対応しているとの判定にしたがって、デバイスは、第１の入力の大きさ（例えば、タッチ感知面（例えば、ディスプレイのｘ－ｙ面に対する対応するｘ－ｙ面）の垂直軸（例えば、ｙ軸）に沿ったスワイプ入力の速度及び／又は距離）に基づいて判定された量、第１の軸に対して仮想三次元オブジェクトを回転させ、第１の軸に対する閾値回転量よりも大きい、仮想三次元オブジェクトの回転を限定する移動に対する制限によって拘束される（例えば、第１の軸の周りの回転は、第１の軸の周り＋／－３０度の範囲に限定され、この範囲を超える回転は、第１の入力の大きさに関わらず禁止される）。例えば、図１３Ｅ～図１３Ｇに関して説明されるように、仮想オブジェクト１１００２の回転は、制限によって拘束される。第１の入力が、第１の軸とは異なる第２の軸（例えば、ｙ軸のような垂直方向におけるディスプレイのプレーン（例えば、ｘ－ｙ面）に平行である第２の軸）の周りに三次元オブジェクトを回転させるための要求に対応するとの判定にしたがって、デバイスは、仮想三次元オブジェクトを、第１の入力の大きさに基づいて判定された量（例えば、タッチ感知面（例えば、ディスプレイのｘ－ｙ面に対する対応するｘ－ｙ面）の水平軸（例えば、ｘ軸）に沿ったスワイプ入力の速度及び／又は距離）、第２の軸に対して回転させ、それぞれの閾値を超える大きさを有する入力については、デバイスは、閾値回転量よりも多く、第２の軸に対して仮想三次元オブジェクトを回転させる。いくつかの実施形態では、第２の軸に対する回転のために、デバイスは、第１の軸に対する回転に対する拘束よりも大きな拘束を回転に課す（例えば、三次元オブジェクトは、３０度の代わりに６０度回転することを許容される）。いくつかの実施形態では、第２の軸に対する回転のために、デバイスは、回転に対して拘束を課さず、これによって、三次元オブジェクトは、第２の軸の周りに自由に回転できるようになる（例えば、１つ以上の接触の移動を含む速い又は長いスワイプ入力のような十分高い大きさを伴う入力について、三次元オブジェクトは、第２の軸に対して３６０度よりも大きく回転することができる）。例えば、図１３Ｅ～図１３Ｇに関して説明された入力に応じた、ｘ軸の周りの仮想オブジェクト１１００２の回転量よりも大きな、仮想オブジェクト１１００２の回転量が、図１３Ｂ～図１３Ｃに関して説明される入力に応じて、ｙ軸の周りで生じる。入力が、オブジェクトを、第１の軸の周り、又は、第２の軸の周りに回転させるための要求であるかに依存して、オブジェクトを、閾値量へ拘束された量、回転させるか、又は、オブジェクトを、閾値量よりも多く回転させるかを決定することは、異なるタイプの回転動作を制御する機能を改善する。表示された追加の制御を用いて、ユーザーインターフェースを混乱させることなく追加の制御オプションを提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。
In response to detecting the first input (18006), the first input is parallel to the first axis (eg, the plane of the display in a horizontal direction such as the x-axis (eg, the xy plane)). According to the determination that it corresponds to the requirement to rotate the 3D object around a first axis), the device determines the size of the first input (eg, the touch sensitive surface (eg, the display)). Amount determined based on the swipe input speed and / or distance along the vertical axis (eg, y-axis) of the corresponding xy-plane with respect to the xy-plane), virtual 3D with respect to the first axis. Rotate the original object and be constrained by restrictions on movement that limits the rotation of the virtual 3D object, which is greater than the threshold rotation amount with respect to the first axis (eg, rotation around the first axis is the first. It is limited to a range of +/- 30 degrees around the axis, and rotation beyond this range is prohibited regardless of the size of the first input). For example, as described with respect to FIGS. 13E-13G, the rotation of virtual object 1102 is constrained by restrictions. Around a second axis where the first input is different from the first axis (eg, a second axis parallel to the display plane (eg, xy plane) in a vertical direction, such as the y-axis). According to the determination that it corresponds to the requirement to rotate the 3D object, the device attaches the virtual 3D object to an amount determined based on the size of the first input (eg, a touch-sensitive surface (eg, a touch sensitive surface). The speed and / or distance of the swipe input along the horizontal axis (eg, x-axis) of the corresponding xy-plane with respect to the xy-plane of the display), rotated with respect to the second axis, and set the respective thresholds. For inputs larger than the magnitude, the device rotates the virtual 3D object with respect to the second axis, which is greater than the threshold rotation amount. In some embodiments, due to rotation about the second axis, the device imposes a greater constraint on the rotation than the constraint on rotation about the first axis (eg, a 3D object has 60 instead of 30 degrees). Allowed to rotate degrees). In some embodiments, due to rotation about the second axis, the device does not impose any constraints on the rotation, which allows the 3D object to rotate freely around the second axis. For inputs with sufficiently high magnitude, such as fast or long swipe inputs involving movement of one or more contacts, the 3D object rotates more than 360 degrees with respect to the second axis. Can be done). For example, the amount of rotation of the
いくつかの実施形態では、第１の入力を検出することに応じて（１８００８）、第１の入力が、第１の方向（例えば、ｙ方向、タッチ感知面における垂直方向）におけるタッチ感知面を介した接触の第１の移動を含んでおり、第１の方向における接触の第１の移動が、第１の軸に対して仮想オブジェクトの表現を回転させるための第１の基準を満たしているとの判定であって、第１の基準は、第１の基準が満たされるために、第１の入力が、第１の方向における第１の閾値移動量よりも多くを含むとの要件を含む（例えば、デバイスは、デバイスが、第１の方向において、第１の閾値移動量よりも多くを検出するまで、第１の軸の周りの三次元オブジェクトの回転を開始しない）、判定にしたがって、デバイスは、第１の入力が、三次元オブジェクトを第１の軸（例えば、ｘ軸、ディスプレイに平行な水平軸、又は、仮想オブジェクトを介した水平軸）の周りに回転させるための要求に対応していると判定し、第１の入力が、第２の方向（例えば、ｘ方向、タッチ感知面における水平方向）におけるタッチ感知面にわたる接触の第２の移動を含んでおり、第２の方向における接触の第２の移動が、第２の軸に対して仮想オブジェクトの表現を回転させるための第２の基準を満たしているとの判定であって、第２の基準は、第２の基準が満たされるために、第１の入力が、第２の方向における第２の閾値移動量よりも多くを含むとの要件を含む（例えば、デバイスは、デバイスが、第２の方向において、第２の閾値移動量よりも多くを検出するまで、第２の軸の周りの三次元オブジェクトの回転を開始しない）、判定にしたがって、デバイスは、第１の入力が、三次元オブジェクトを第２の軸（例えば、ディスプレイに平行な垂直軸、又は、仮想オブジェクトを介した垂直軸）の周りに回転させるための要求に対応していると判定し、第１の閾値は、第２の閾値よりも大きい（例えば、ユーザーは、垂直軸の周りの回転をトリガする（例えば、オブジェクトを回転させる）ために水平方向にスワイプするのではなく、水平軸の周りの回転をトリガする（例えば、オブジェクトをユーザーに対して前方又は後方に傾ける）ために、垂直方向に多くの量スワイプする必要がある）。オブジェクトを、閾値量へ拘束された量、回転させるか、又は、オブジェクトを、閾値量よりも多く、回転させるかを判定することは、入力が、第１の軸又は第２の軸の周りにオブジェクトを回転させるための要求であるか否かに依存して、オブジェクトを回転させるための要求に対応する入力に応じて、異なるタイプの回転動作を制御する機能を改善する。表示された追加の制御を用いてユーザーインターフェースを混乱させることなく追加の制御オプションを提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。 In some embodiments, in response to detecting the first input (18008), the first input has a touch-sensitive surface in the first direction (eg, y-direction, vertical to the touch-sensitive surface). The first movement of the contact through is included, and the first movement of the contact in the first direction meets the first criterion for rotating the representation of the virtual object with respect to the first axis. The first criterion includes the requirement that the first input contains more than the first threshold movement amount in the first direction in order for the first criterion to be satisfied. (For example, the device does not start rotating the three-dimensional object around the first axis until the device detects more than the first threshold movement in the first direction), according to the determination. The device responds to the requirement that the first input rotate the three-dimensional object around the first axis (eg, the x-axis, the horizontal axis parallel to the display, or the horizontal axis through the virtual object). The first input comprises a second movement of contact across the touch-sensitive surface in a second direction (eg, x-direction, horizontal in the touch-sensitive surface). The second movement of the contact in is determined to meet the second criterion for rotating the representation of the virtual object with respect to the second axis, the second criterion being the second criterion. Includes the requirement that the first input comprises more than the second threshold movement amount in the second direction (eg, the device is the device in which the device is in the second direction). Does not start rotating the 3D object around the 2nd axis until it detects more than the threshold movement amount of), according to the determination, the device receives the 1st input and the 3D object on the 2nd axis. It is determined that it corresponds to the requirement to rotate around (eg, a vertical axis parallel to the display, or a vertical axis via a virtual object), and the first threshold is greater than the second threshold. (For example, the user does not swipe horizontally to trigger a rotation around the vertical axis (eg, rotate the object), but triggers a rotation around the horizontal axis (eg, the object to the user). You need to swipe a lot in the vertical direction to (tilt forward or backward). Determining whether to rotate an object by an amount constrained to a threshold amount or to rotate an object more than a threshold amount means that the input is around a first axis or a second axis. Improves the ability to control different types of rotation behavior depending on the input corresponding to the request to rotate the object, depending on whether it is a request to rotate the object. Providing additional control options without confusing the user interface with the additional controls displayed enhances the usability of the device and makes the user device interface more efficient.
いくつかの実施形態（１８０１０）では、第１の軸に対する仮想三次元オブジェクトの回転は、第１の入力の第１の入力パラメータ（例えば、スワイプ距離、又はスワイプ速度）の特徴値と、第１の軸の周りの仮想三次元オブジェクトへ適用された回転量との間の第１の一致角度で生じ、第２の軸に対する仮想三次元オブジェクトの回転は、第２の入力ジェスチャの第１の入力パラメータ（例えば、スワイプ距離、又はスワイプ速度）の特徴値と、第２の軸の周りの仮想三次元オブジェクトへ適用された回転量との間の第２の一致角度で生じ、第１の一致角度は、第２の一致角度よりも、第１の入力パラメータに対する仮想三次元オブジェクトの、より少ない回転しか含まない（例えば、第１の軸の周りの回転は、第２の軸の周りの回転よりも、高い摩擦又は引っ掛かりを有する）。例えば、仮想オブジェクト１１００２の第１の回転量は、（図１３Ｂ～図１３Ｃに関して説明されるように、）ｙ軸の周りの回転のための、スワイプ距離ｄ１のスワイプ入力に応じて生じ、第１の回転量よりも少ない、仮想オブジェクト１１００２の第２の回転量は、（図１３Ｅ～図１３Ｇに関して説明されるように、）ｘ軸の周りの回転のための、スワイプ距離ｄ１のスワイプ入力に応じて生じる。入力に応じて、より多い、又は、より少ない角度回転で、仮想オブジェクトを回転させることは、入力が、第１の軸又は第２の軸の周りにオブジェクトを回転させるための要求であるか否かに依存してオブジェクトを回転させるための要求に対応する入力に応じて、異なるタイプの回転動作を制御する機能を改善する。表示された追加の制御を用いてユーザーインターフェースを混乱させることなく追加の制御オプションを提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。
In some embodiments (18010), the rotation of the virtual 3D object with respect to the first axis is the feature value of the first input parameter (eg, swipe distance, or swipe speed) of the first input and the first. Occurs at the first coincidence angle with the amount of rotation applied to the virtual 3D object around its axis, and the rotation of the virtual 3D object with respect to the 2nd axis is the first input of the 2nd input gesture. It occurs at the second coincidence angle between the feature value of the parameter (eg, swipe distance, or swipe speed) and the amount of rotation applied to the virtual 3D object around the second axis, and the first coincidence angle. Contains less rotation of the virtual 3D object for the first input parameter than the second match angle (eg, rotation around the first axis is more than rotation around the second axis). Also has high friction or catching). For example, a first amount of rotation of
いくつかの実施形態では、デバイスは、第１の入力の終了を検出する（例えば、入力は、タッチ感知面上の１つ以上の接触の移動を含み、第１の入力の終了の検出は、タッチ感知面からの１つ以上の接触のリフトオフを検出することを含む）（１８０１２）。第１の入力の終了を検出した後（例えば、検出に応じて）、デバイスは、入力の終了を検出する前に、第１の入力の大きさに基づいて（例えば、接触のリフトオフの直前の、接触の移動の速度に基づいて）、三次元オブジェクトの回転を継続する（１８０１４）。これは、三次元オブジェクトが第１の軸に対して回転しているとの判定にしたがって、第１の軸に対するオブジェクトの回転を、第１の軸に対する三次元オブジェクトの回転の大きさに比例した第１の量、遅くする（例えば、第１の摩擦係数を用いて、擬似的な摩擦のような第１の擬似的な物理的パラメータに基づいて、第１の軸の周りの三次元オブジェクトの回転を遅くする）ことと、三次元オブジェクトが第２の軸に対して回転しているとの判定にしたがって、第２の軸に対するオブジェクトの回転を、第２の軸に対する三次元オブジェクトの回転の大きさに比例した第２の量、遅くする（例えば、第１の摩擦係数よりも小さな第２の摩擦係数を用いて、擬似的な摩擦のような第２の擬似的な物理的パラメータに基づいて、第２の軸の周りの三次元オブジェクトの回転を遅くする）こととを含み、第２の量は、第１の量とは異なる。例えば、図１３Ｃ～図１３Ｄでは、仮想オブジェクト１１００２は、図１３Ｂ～図１３Ｃに関して説明されるように、仮想オブジェクト１１００２の回転をもたらした接触１３００２のリフトオフ後、回転を継続する。いくつかの実施形態では、第２の量は、第１の量よりも大きい。いくつかの実施形態では、第２の量は、第１の量未満である。入力の終了の検出後、仮想オブジェクトの回転を、第１の量又は第２の量、遅くすることは、入力が、第１の軸又は第２の軸の周りにオブジェクトを回転させるための要求であるか否かに基づいて、第１の軸及び第２の軸の周りの回転のために、異なる方式で回転動作が仮想オブジェクトへ適用されたことを示す視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、プレーンに対応する第２の向きにおけるオブジェクトの配置前に、ユーザーが適切な入力を提供することと、仮想オブジェクトを操作するために入力を提供する試みを回避することとを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device detects the end of the first input (eg, the input involves the movement of one or more contacts on the touch-sensitive surface, and the detection of the end of the first input is. Detecting lift-off of one or more contacts from the touch-sensitive surface) (18012). After detecting the end of the first input (eg, depending on the detection), the device is based on the magnitude of the first input (eg, just before the lift-off of the contact) before detecting the end of the input. Continues to rotate the 3D object (based on the speed of movement of the contact) (18014). This was proportional to the magnitude of the rotation of the 3D object with respect to the 1st axis, according to the determination that the 3D object was rotating with respect to the 1st axis. The first amount slows down (eg, using the first friction coefficient, based on the first pseudo-physical parameters such as pseudo-friction, of the 3D object around the first axis. (Slow down the rotation) and, according to the determination that the 3D object is rotating with respect to the 2nd axis, the rotation of the object with respect to the 2nd axis and the rotation of the 3D object with respect to the 2nd axis. A second amount proportional to magnitude, slowing down (eg, using a second friction coefficient smaller than the first friction coefficient, based on a second pseudo-physical parameter such as pseudo-friction. The second quantity is different from the first quantity, including slowing the rotation of the 3D object around the second axis). For example, in FIGS. 13C-13D,
いくつかの実施形態では、デバイスは、第１の入力の終了を検出する（例えば、入力は、タッチ感知面における１つ以上の接触の移動を含み、第１の入力の終了を検出することは、タッチ感知面からの１つ以上の接触のリフトオフを検出することを含む）（１８０１６）。第１の入力の終了を検出した後（例えば、検出に応じて）（１８０１８）、三次元オブジェクトが、第１の軸に対して、それぞれの回転閾値を超えて回転したとの判定にしたがって、デバイスは、第１の軸に対する三次元オブジェクトの回転の少なくとも一部を反転させ、三次元オブジェクトが、第１の軸に対して、それぞれの回転閾値を超えて回転していないとの判定にしたがって、デバイスは、第１の軸に対する三次元オブジェクトの回転を反転させることを控える（例えば、第１の軸に対する三次元オブジェクトの回転を停止させる、及び／又は、入力の終了を検出する前、入力の大きさによって判定された大きさ、入力の動きの方向に、第１の軸に対して三次元オブジェクトの回転を継続させる）。例えば、図１３Ｅ～図１３Ｇを参照して説明されるように、仮想オブジェクト１１００２を、回転閾値を超えて回転させた後、図１３Ｇ～図１３Ｈによって例示されるように、仮想オブジェクト１１００２の回転が反転される。いくつかの実施形態では、三次元オブジェクトの回転を反転させる量は、三次元オブジェクトがそれぞれの回転閾値をどれくらい超えたのかに基づいて決定される（例えば、三次元オブジェクトの回転は、もしそれぞれの回転閾値を超えて回転した三次元オブジェクトの回転の量がより小さく、もしそれぞれの回転閾値を超えて回転した三次元オブジェクトの回転の量が、第１の軸に対して回転を反転させる小さな量と比べて、より大きいのであれば、第１の軸に対して、より大きな量、反転される）。いくつかの実施形態では、回転の反転は、より大きな力で引っ張る弾性効果のような擬似的な物理パラメータによって駆動され、更に、三次元オブジェクトは、第１の軸に対するそれぞれの回転閾値を超えて回転される。いくつかの実施形態では、回転の反転は、それぞれの回転閾値を超えて回転された、第１の軸に対する回転の方向に基づいて判定された回転の方向にある（例えば、三次元オブジェクトが回転され、オブジェクトの頂部が、ディスプレイ内へ戻ったのであれば、回転の反転は、オブジェクトの頂部を、ディスプレイ外側へ進めて回転させ、オブジェクトの頂部が、ディスプレイ外側へ進められて回転されるように、三次元オブジェクトが回転されたのであれば、回転の反転は、オブジェクトの頂部を、ディスプレイ内へ戻して回転させ、三次元オブジェクトが回転され、オブジェクトの右側が、ディスプレイ内に戻ったのであれば、回転の反転は、ディスプレイ外側へ進むオブジェクトの右側を回転させ、及び／又は、オブジェクトの左側が、ディスプレイ外側へ進められて回転されるように、三次元オブジェクトが回転されたのであれば、回転の反転は、オブジェクトの左側を、ディスプレイ内へ戻して回転させる）。いくつかの実施形態では、例えば、第２の軸に対する回転が、それぞれの角度範囲へ拘束されている場合、第２の軸の周りの回転のために、同様のラバーバンディング（例えば、回転の条件付き反転）が実行される。いくつかの実施形態では、例えば、三次元オブジェクトがデバイスによって３６０度回転することを許可されるように、第２の軸に対する回転が拘束されていない場合、（例えば、デバイスは、第２の軸に対する回転について回転閾値を課さないので）第２の軸の周りの回転のためにラバーバンディングは実行されない。入力の終了を検出した後、第１の軸に関して三次元オブジェクトの回転の少なくとも一部を反転すること、又は、第１の軸に関して三次元オブジェクトの回転の一部を反転することを控えることは、オブジェクトが回転閾値を超えて回転したか否かに依存して、仮想オブジェクトの回転へ適用可能な回転閾値を示す視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが、回転閾値を超えて仮想オブジェクトを回転させるための入力を提供する試みを回避することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device detects the end of the first input (eg, the input involves the movement of one or more contacts on the touch-sensitive surface and may detect the end of the first input. , Including detecting lift-off of one or more contacts from the touch-sensitive surface) (18016). After detecting the end of the first input (eg, depending on the detection) (18018), according to the determination that the 3D object has rotated beyond its respective rotation threshold with respect to the first axis. The device inverts at least a portion of the rotation of the 3D object with respect to the 1st axis, according to the determination that the 3D object has not rotated beyond its respective rotation threshold with respect to the 1st axis. , The device refrains from reversing the rotation of the 3D object with respect to the 1st axis (eg, stopping the rotation of the 3D object with respect to the 1st axis and / or inputting before detecting the end of the input. Continue the rotation of the 3D object with respect to the first axis in the direction of the input movement, the size determined by the size of). For example, as illustrated with reference to FIGS. 13E-13G, after the virtual object 1102 is rotated beyond the rotation threshold, the rotation of the virtual object 1102 is as illustrated by FIGS. 13G-13H. Inverted. In some embodiments, the amount of inversion of the rotation of a three-dimensional object is determined based on how much the three-dimensional object exceeds its respective rotation threshold (for example, the rotation of a three-dimensional object is of its own). The amount of rotation of a three-dimensional object rotated beyond the rotation threshold is smaller, and the amount of rotation of the three-dimensional object rotated beyond each rotation threshold is a small amount that reverses the rotation with respect to the first axis. If it is larger than, it is inverted by a larger amount with respect to the first axis). In some embodiments, the rotation reversal is driven by pseudo-physical parameters such as elastic effects that pull with greater force, and the 3D object is further beyond its respective rotation threshold with respect to the first axis. It is rotated. In some embodiments, the rotation reversal is in the direction of rotation determined based on the direction of rotation with respect to the first axis, rotated beyond each rotation threshold (eg, a three-dimensional object is rotated). And if the top of the object has returned to the inside of the display, the rotation reversal will cause the top of the object to be advanced and rotated outside the display, and the top of the object to be advanced and rotated outside the display. , If the 3D object has been rotated, the rotation inversion will rotate the top of the object back into the display, if the 3D object has been rotated and the right side of the object has returned to the display. , Rotation reversal rotates the right side of the object moving out of the display and / or if the three-dimensional object is rotated so that the left side of the object is moved out of the display and rotated. Flip the left side of the object back into the display and rotate it). In some embodiments, for example, if rotation with respect to the second axis is constrained to their respective angular range, similar rubber banding (eg, conditions of rotation) for rotation around the second axis. Inversion) is executed. In some embodiments, for example, if the rotation with respect to the second axis is not constrained so that the 3D object is allowed to rotate 360 degrees by the device (eg, the device is the second axis). No rubber banding is performed due to rotation around the second axis (because it does not impose a rotation threshold for rotation against). After detecting the end of the input, refraining from flipping at least part of the rotation of the 3D object with respect to the first axis, or refraining from flipping part of the rotation of the 3D object with respect to the first axis. , Provides visual feedback indicating the rotation threshold applicable to the rotation of a virtual object, depending on whether the object has rotated beyond the rotation threshold. Providing improved visual feedback to the user (eg, by helping the user avoid attempts to provide input to rotate the virtual object beyond the rotation threshold) of the device. Improves operability and makes the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態（１８０２０）では、第１の入力が、三次元オブジェクトを、第１の軸及び第２の軸とは異なる第３の軸（例えば、ｚ軸のような、ディスプレイのプレーン（例えば、ｘ－ｙ面）に垂直な第３の軸）の周りに回転させるための要求に対応するとの判定にしたがって、デバイスは、仮想三次元オブジェクトを第３の軸に対して回転させることを控える（例えば、ｚ軸の周りの回転が禁止され、オブジェクトをｚ軸の周りに回転させるための要求は、デバイスによって無視される）。いくつかの実施形態では、デバイスは、アラート（例えば、入力の失敗を示す触知出力）を提供する。回転入力が、仮想オブジェクトを第３の軸の周りに回転させるための要求に対応しているとの判定にしたがって仮想オブジェクトの回転を控えることは、第３の軸の周りの回転が制限されていることを示す視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが仮想オブジェクトを第３の軸の周りに回転させるための入力を提供する試みを回避することを支援することによって）、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments (18020), the first input makes the 3D object a plane of display, such as a third axis (eg, the z-axis) that is different from the first and second axes. For example, according to the determination that it corresponds to the requirement to rotate around a third axis) perpendicular to the xy plane), the device may rotate the virtual 3D object with respect to the third axis. Refrain (eg, rotation around the z-axis is prohibited and the request to rotate the object around the z-axis is ignored by the device). In some embodiments, the device provides an alert (eg, a tactile output indicating an input failure). Refraining from rotating the virtual object according to the determination that the rotation input corresponds to the request to rotate the virtual object around the third axis limits the rotation around the third axis. Provide visual feedback to indicate that you are. Providing improved visual feedback to the user (eg, by helping the user avoid attempts to provide input to rotate the virtual object around a third axis) Improves operability and makes the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態では、デバイスは、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）内に、仮想三次元オブジェクトの第１の視点の表現を表示しながら、仮想三次元オブジェクトによって投じられた影の表現を表示する（１８０２２）。デバイスは、第１の軸及び／又は第２の軸に対する仮想三次元オブジェクトの回転にしたがって、影の表現の形状を変化させる。例えば、仮想オブジェクト１１００２の影１３００６の形状は、仮想オブジェクト１１００２が回転すると、図１３Ｂ～図１３Ｆから変化する。いくつかの実施形態では、仮想オブジェクトの所定の底側をサポートするステージングユーザーインターフェース内に、目に見えない基本プレーンに対する仮想オブジェクトの現在の向きを示すために、影がシフトし、形状を変化させる。いくつかの実施形態では、仮想三次元オブジェクトの表面は、ステージングユーザーインターフェース内に表現される仮想空間における所定の方向に配置された擬似的な光源からの光を反射するように見える。仮想オブジェクトの回転にしたがって影の形状を変化させることは、（例えば、仮想オブジェクトが向けられた仮想的なプレーン（例えば、ステージングビューのステージ）を示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは（例えば、第１の軸又は第２の軸の周りに回転させるためのスワイプ入力のための適切な命令をユーザーが判定することを支援することによって）、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device is thrown by the virtual 3D object, displaying a representation of the first viewpoint of the virtual 3D object within the first user interface area (eg, the staging user interface). Display the representation of the shadow (18022). The device changes the shape of the shadow representation as the virtual 3D object rotates with respect to the first axis and / or the second axis. For example, the shape of the
いくつかの実施形態では、第１のユーザーインターフェース領域内で、仮想三次元オブジェクトを回転させている間（１８０２４）、仮想三次元オブジェクトの所定の底部を明示する第２の視点とともに、仮想三次元オブジェクトが表示されるとの判定にしたがって、デバイスは、仮想三次元オブジェクトの第２の視点の表現とともに、影の表現の表示を控える。例えば、デバイスは、仮想オブジェクトが（例えば、図１３Ｇ～図１３Ｉに関して説明されるように、）下方から見られた場合、仮想オブジェクトの影を表示しない。仮想オブジェクトの底部が表示されているとの判定にしたがって、仮想オブジェクトの影の表示を控えることは、（例えば、仮想プレーン（例えば、ステージングビューのステージ）にもはや対応していない位置へオブジェクトが回転したことを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, within the first user interface area, while rotating the virtual 3D object (18024), with a second perspective that reveals a given bottom of the virtual 3D object, virtual 3D. According to the determination that the object is displayed, the device refrains from displaying the shadow representation as well as the second viewpoint representation of the virtual 3D object. For example, the device does not display the shadow of the virtual object when viewed from below (eg, as described with respect to FIGS. 13G-13I). By refraining from displaying the shadow of the virtual object according to the determination that the bottom of the virtual object is displayed (for example, the object is rotated to a position that no longer corresponds to the virtual plane (for example, the stage of the staging view). Provide visual feedback (indicating that you have done). Providing improved visual feedback to the user enhances the usability of the device and makes the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングビュー）内で、仮想三次元オブジェクトを回転させた後、デバイスは、第１のユーザーインターフェース領域における仮想三次元オブジェクトをリセットするための要求に対応する第２の入力を検出する（例えば、第２の入力は、第１のユーザーインターフェース領域における二重タップである）（１８０２６）。第２の入力を検出することに応じて、デバイスは、第１のユーザーインターフェース領域における仮想三次元オブジェクトの所定の元の視点（例えば、第１の視点、又は、第１の視点とは異なるのデフォルトの開始視点（例えば、第１の視点は、ステージングユーザーインターフェース内に、ユーザー操作後に表示される視点である））の表現を（例えば、仮想オブジェクトの回転及びリサイズによって）表示する（例えば、二重タップに応じて、デバイスは、仮想オブジェクトの向きを、所定の元の向き（例えば、ユーザーにプレーンする正面側、所定の基本プレーンにとどまる底面側では直立）へリセットする）（１８０２８）。例えば、図１３Ｉ～図１３Ｊは、仮想オブジェクト１１００２の視点を、（図１３Ｂ～図１３Ｇに関して説明される回転入力の結果として）アラートされた視点から、（図１３Ａに図示された視点仮想オブジェクト１１００２と同じである）図１３Ｊにおける元の視点へ変化させる入力を例示する。いくつかの実施形態では、仮想三次元オブジェクトをリセットする命令に対応する第２の入力を検出することに応じて、デバイスはまた、仮想三次元オブジェクトのデフォルト表示サイズを反映させるために、仮想三次元オブジェクトをリサイズする。いくつかの実施形態では、二重タップ入力は、ステージングユーザーインターフェースにおける仮想オブジェクトの向き及びサイズの両方をリセットする一方、二重タップ入力は、サイズのみをリセットするが、拡張現実ユーザーインターフェースにおける仮想オブジェクトの向きをリセットしない。いくつかの実施形態では、デバイスは、拡張現実ユーザーインターフェース内の仮想オブジェクトのサイズをリセットするために、二重タップが、仮想オブジェクトへ向けられることを必要とする一方、デバイスは、二重タップが仮想オブジェクトにおいて検出され、二重タップが仮想オブジェクトの周りで検出されることに応じて、仮想オブジェクトの向き及びサイズをリセットする。拡張現実ビューでは、１本指のスワイプが、（例えば、ステージングビューにおけるものとは異なり）仮想オブジェクトを回転させるのではなく、仮想オブジェクトをドラッグする。仮想オブジェクトをリセットするための要求を検出することに応じて、仮想オブジェクトの所定の元の視点を表示することは、（例えば、オブジェクトの特性を調節するために提供された入力が、所定の元の視点へいつオブジェクトを返すのかを推定することをユーザーへ要求するのではなく、オブジェクトをリセットするためのオプションを提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高める。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, after rotating the virtual three-dimensional object within the first user interface area (eg, staging view), the device resets the virtual three-dimensional object in the first user interface area. Detects a second input corresponding to the request (eg, the second input is a double tap in the first user interface area) (18026). In response to detecting the second input, the device is different from a predetermined original viewpoint (eg, first viewpoint, or first viewpoint) of the virtual three-dimensional object in the first user interface area. Display a representation of the default starting point of view (eg, the first point of view is the point of view displayed after user interaction in the staging user interface) (eg, by rotating and resizing the virtual object) (eg, two). In response to a heavy tap, the device resets the orientation of the virtual object to its original orientation (eg, upright on the front side plane to the user, upright on the bottom side that stays in the given base plane) (18028). For example, FIGS. 13I-13J refer to the viewpoint of
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）内に仮想三次元オブジェクトを表示している間、デバイスは、仮想三次元オブジェクトをリサイズするための要求に対応する第３の入力を検出する（例えば、第３の入力は、第１のユーザーインターフェース領域上に提示された仮想オブジェクトへ向けられたピンチ又はデピンチジェスチャであり、第３の入力は、リサイズ動作を開始するための基準（例えば、（方法１９０００を参照して以下により詳細に説明されるような）元又は増強された基準）を満たす大きさを有する）（１８０３０）。第３の入力を検出することに応じて、デバイスは、入力の大きさにしたがって、第１のユーザーインターフェース領域における仮想三次元オブジェクトの表現のサイズを調節する（１８０３２）。例えば、（図６Ｎ～図６Ｏに関して説明されるように、）デピンチジェスチャを含む入力に応じて、仮想オブジェクト１１００２のサイズが減少される。いくつかの実施形態では、仮想三次元オブジェクトの表現のサイズが調節された場合、デバイスは、仮想オブジェクトの現在のズームレベルを示すためのインジケータを表示する。いくつかの実施形態では、デバイスは、第３の入力が終了すると、ズームレベルを示すインジケータの表示を停止する。オブジェクトをリサイズするための入力の大きさにしたがって、仮想オブジェクトのサイズを調節することは、（例えば、オブジェクトを、所望の量、リサイズするためのオプションを提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, while displaying a virtual three-dimensional object within a first user interface area (eg, a staging user interface), the device responds to a request to resize the virtual three-dimensional object. Detect 3 inputs (eg, 3rd input is a pinch or depinch gesture directed at a virtual object presented on the 1st user interface area, 3rd input initiates resizing operation. (Eg, having a size that meets the criteria (eg, the original or enhanced criteria (as described in more detail below with reference to Method 19000))) (18030). In response to detecting the third input, the device adjusts the size of the representation of the virtual 3D object in the first user interface area according to the size of the input (18032). For example, the size of the
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）における仮想三次元オブジェクトの表現のサイズを調節している間、デバイスは、仮想三次元オブジェクトのサイズが、仮想三次元オブジェクトの所定のデフォルトの表示サイズに達したことを検出する（１８０３４）。仮想三次元オブジェクトのサイズが、仮想三次元オブジェクトの所定のデフォルトの表示サイズに達したことを検出することに応じて、デバイスは、仮想三次元オブジェクトが、所定のデフォルトの表示サイズで表示されていることを示すために触知出力（例えば、ディスクリートな触知出力）を生成する（１８０３６）。図１１Ｏは、仮想オブジェクト１１００２のサイズが、（例えば、図１１Ｍ～図１１Ｏに関して説明されるように、）仮想オブジェクト１１００２の以前に所定のサイズに達したことを検出することに応じて提供された触知出力１１０２４の例を提供する。いくつかの実施形態では、二重タップ入力に応じて、仮想オブジェクトのサイズが、デフォルトの表示サイズへリセットされた場合、デバイスは、同じ触知出力を生成する。仮想オブジェクトのサイズが、所定のデフォルトの表示サイズに達したとの判定にしたがって触知出力を生成することは、ユーザーに（例えば、仮想オブジェクトの擬似的なされたサイズを、所定のサイズへ戻すために、さらなる入力は必要とされないことを示す）フィードバックを提供する。改善された触覚フィードバックを提供することは、（例えば、表示された情報でユーザーインターフェースを混乱させることなく、仮想オブジェクトの所定の擬似的なされた物理サイズへ到達したことを、ユーザーが知覚することを可能にする、知覚情報を提供することによって、）デバイスの操作性を高める。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device adjusts the size of the representation of the virtual 3D object in the first user interface area (eg, the staging user interface) while the device is resized to the virtual 3D object. Detects that the object has reached a given default display size (18034). In response to detecting that the size of the virtual 3D object has reached the specified default display size of the virtual 3D object, the device displays the virtual 3D object with the specified default display size. Generates a tactile output (eg, a discrete tactile output) to indicate that it is (18036). FIG. 11O is provided in response to detecting that the size of the virtual object 1102 has reached a predetermined size prior to the virtual object 11002 (eg, as described with respect to FIGS. 11M-11O). An example of
いくつかの実施形態では、ズームレベル（例えば、現在のズームレベルに対応する値を示すスライダ）を示す視覚的な指示が、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）内に表示される。仮想三次元オブジェクトの表現のサイズが調節されると、ズームレベルを示す視覚的な指示が、仮想三次元オブジェクトの表現の、調節されたサイズにしたがって調節される。 In some embodiments, visual instructions indicating the zoom level (eg, a slider indicating the value corresponding to the current zoom level) are displayed within the first user interface area (eg, the staging user interface). .. When the size of the representation of the virtual 3D object is adjusted, the visual indication of the zoom level is adjusted according to the adjusted size of the representation of the virtual 3D object.
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）において仮想三次元オブジェクトの第３の視点の表現を表示している間、デバイスは、１つ以上のカメラ（例えば、デバイスに埋め込まれたカメラ）の視野を含む第２のユーザーインターフェース領域（例えば、拡張現実ユーザーインターフェース）内に、仮想三次元オブジェクトを表示することを求める要求に対応する第４の入力を検出する（１８０４２）。第４の入力を検出することに応じて、デバイスは、表示生成コンポーネントによって、第２のユーザーインターフェース領域に含まれる１つ以上のカメラの視野の少なくとも一部の上方に、仮想オブジェクトの表現を表示し（例えば、１つ以上のカメラの視野は、第２のユーザーインターフェース領域において仮想オブジェクトを表示するための要求に応じて表示される）、１つ以上のカメラの視野は、１つ以上のカメラが配置された物理的環境の視野である（１８０４４）。仮想オブジェクトの表現を表示することは、仮想三次元オブジェクトを、第１の軸（例えば、ｘ軸のような水平方向において、ディスプレイのプレーン（例えば、ｘ－ｙ面）に平行な軸）の周りに、所定の角度へ（例えば、０度のようなデフォルトのヨー角度へ、又は、１つ以上のカメラの視野においてキャプチャされた物理的環境において検出されたプレーンに揃えられた角度へ（例えば、平行に））回転させることを含む。いくつかの実施形態では、デバイスは、第１の軸に対して、所定の角度まで徐々に回転させ、第２の軸（例えば、ｙ軸のような垂直方向において、ディスプレイのプレーン（例えば、ｘ－ｙ面）に平行な軸）に対する仮想三次元オブジェクトの現在の角度を維持する三次元オブジェクトのアニメーションを表示する。１つ以上のカメラの視野において仮想オブジェクトを表示するための要求に応じて、仮想オブジェクトを、第１の軸の周りに（例えば、仮想オブジェクトを、プレーンに対して所定の向きへ位置変えするために、さらなる入力を必要とすることなく）所定の角度へ回転させることは、デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device displays one or more cameras (eg, staging user interface) while displaying a representation of a third perspective of a virtual three-dimensional object in the first user interface area (eg, staging user interface). Within a second user interface area (eg, the augmented reality user interface) that includes the field of view of the camera (camera embedded in the device), a fourth input corresponding to the request to display a virtual three-dimensional object is detected (eg). 18042). In response to detecting the fourth input, the device displays a representation of the virtual object by a display generation component above at least a portion of the field of view of one or more cameras contained in the second user interface area. (For example, the field of view of one or more cameras is displayed in response to a request to display a virtual object in a second user interface area), and the field of view of one or more cameras is one or more cameras. Is the view of the physical environment in which is placed (18044). Displaying a representation of a virtual object allows the virtual three-dimensional object to be placed around a first axis (an axis parallel to the display plane (eg, xy plane) in a horizontal direction, such as the x-axis). To a given angle (eg, to a default yaw angle such as 0 degrees, or to a plane-aligned angle detected in the physical environment captured in the field of view of one or more cameras (eg,). Includes rotating)) in parallel. In some embodiments, the device is slowly rotated to a predetermined angle with respect to the first axis and the plane of the display (eg, x) in a vertical direction, such as the y-axis. -Display an animation of the 3D object that maintains the current angle of the virtual 3D object with respect to the axis parallel to the y-plane). To reposition a virtual object around a first axis (eg, to reposition a virtual object in a predetermined orientation with respect to a plane) in response to a request to display the virtual object in the field of view of one or more cameras. Rotating to a given angle (without requiring additional input) enhances the usability of the device. Reducing the number of inputs required to perform an operation enhances the usability of the device and makes the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）内に、仮想三次元オブジェクトの第４の視点の表現を表示している間、デバイスは、仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースへ戻す要求に対応する第５の入力を検出する（１８０４６）。第５の入力を検出することに応じて、デバイス（１８０４８）は、仮想三次元オブジェクトの二次元表現に対応する仮想三次元オブジェクトの視点を示すために、仮想三次元オブジェクトを（例えば、仮想三次元オブジェクトの二次元表現と、二次元ユーザーインターフェースとを表示する前に）回転させ、仮想三次元オブジェクトの二次元表現に対応するそれぞれの視点を示すために、仮想三次元オブジェクトが回転された後、仮想三次元オブジェクトの二次元表現を表示する。いくつかの実施形態では、デバイスは、仮想三次元オブジェクトの二次元表現に対応する仮想三次元オブジェクトの視点を示すために、徐々に回転する三次元オブジェクトのアニメーションを表示する。いくつかの実施形態では、デバイスはまた、二次元ユーザーインターフェースにおいて表示された仮想三次元オブジェクトの二次元表現のサイズに一致させるために、回転中又は回転後、仮想三次元オブジェクトをリサイズする。いくつかの実施形態では、二次元ユーザーインターフェースにおける二次元表現（例えば、仮想オブジェクトのサムネイル画像）の位置へ向かって移動し、その位置に落ち着く、回転された仮想三次元オブジェクトを示すために、アニメーション化された遷移が表示される。仮想三次元オブジェクトの二次元表現の表示に戻すための入力に応じて、仮想三次元オブジェクトの二次元表現に対応する視点へ仮想三次元オブジェクトを回転させることは、（例えば、表示されたオブジェクトが二次元であることを示すために）フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが、適切な入力を提供することと、二次元オブジェクトを、二次元オブジェクトの回転が利用可能ではない軸に沿って回転させるための入力を提供する試みを回避することとを支援することによって）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device is the second of the virtual 3D objects while displaying a representation of the 4th viewpoint of the virtual 3D object within the 1st user interface area (eg, the staging user interface). Detects a fifth input corresponding to the request back to the two-dimensional user interface, including the three-dimensional representation (18046). In response to detecting the fifth input, the device (18048) presents a virtual 3D object (eg, a virtual 3D object) to indicate the viewpoint of the virtual 3D object corresponding to the 2D representation of the virtual 3D object. After the 3D object is rotated to rotate (before displaying the 2D representation of the original object and the 2D user interface) to show the respective perspectives corresponding to the 2D representation of the virtual 3D object. , Display a 2D representation of a virtual 3D object. In some embodiments, the device displays an animation of a slowly rotating 3D object to show the viewpoint of the virtual 3D object that corresponds to the 2D representation of the virtual 3D object. In some embodiments, the device also resizes the virtual 3D object during or after rotation to match the size of the 2D representation of the virtual 3D object displayed in the 2D user interface. In some embodiments, an animation is used to show a rotated virtual 3D object that moves towards and settles at that position in a 2D representation (eg, a thumbnail image of a virtual object) in a 2D user interface. The converted transition is displayed. Rotating the virtual 3D object to the viewpoint corresponding to the 2D representation of the virtual 3D object in response to the input to return to the display of the 2D representation of the virtual 3D object (eg, the displayed object is Provide feedback (to show that it is two-dimensional). Providing improved visual feedback to the user (eg, the user providing the appropriate input and rotating the 2D object along an axis where rotation of the 2D object is not available). (By helping to avoid attempts to provide input for) to improve the usability of the device and make the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態では、仮想三次元オブジェクトの第１の視点の表現を表示する前に、デバイスは、それぞれの視点からの仮想三次元オブジェクトのビューの表現（例えば、仮想三次元オブジェクトに対応する二次元画像のような静的表現）を含む仮想三次元オブジェクトの表現（例えば、サムネイル又はアイコン）を含むユーザーインターフェースを表示する（１８０５０）。仮想三次元オブジェクトの表現を表示している間、デバイスは、仮想三次元オブジェクト（例えば、仮想三次元オブジェクトの表現に関するタップ入力又は他の選択入力）を表示するための要求を検出する（１８０５２）。仮想三次元オブジェクトを表示するための要求を検出することに応じて、デバイスは、仮想三次元オブジェクトの表現のそれぞれの視点を一致させるために、仮想三次元オブジェクトの表現の表示を、回転された仮想三次元オブジェクトと置き換える（１８０５４）。図１１Ａ～図１１Ｅは、仮想オブジェクト１１００２の表現を表示するユーザーインターフェース５０６０の例を提供する。仮想オブジェクト１１００２を表示するための要求に応じて、図１１Ａに関して説明されるように、ユーザーインターフェース５０６０のディスプレイは、図１１Ｅに図示されるように、ステージングユーザーインターフェース６０１０における仮想オブジェクト１１００２の表示によって置き換えられる。図１１Ｅにおける仮想オブジェクト１１００２の視点は、図１１Ａにおける仮想オブジェクト１１００２の表現の視点と同じである。いくつかの実施形態では、仮想三次元オブジェクトの表現は、仮想三次元オブジェクトを用いて置き換えられる前に、（例えば、仮想三次元オブジェクトのサイズに一致するサイズへ）スケールアップされる。いくつかの実施形態では、仮想三次元オブジェクトは、先ず、仮想三次元オブジェクトの表現のサイズで表示され、後続して、スケールアップされる。いくつかの実施形態では、仮想三次元オブジェクトの表現から仮想三次元オブジェクトへの遷移中、仮想三次元オブジェクトの表現と、仮想三次元オブジェクトとの間の円滑な遷移を生成するように、デバイスは、仮想三次元オブジェクトの表現を徐々に拡大し、仮想三次元オブジェクトの表現を、仮想三次元オブジェクトを用いてクロスフェードし、その後、仮想三次元オブジェクトを徐々に拡大する。いくつかの実施形態では、仮想三次元オブジェクトの初期場所は、仮想三次元オブジェクトの表現の場所に対応するように選択される。いくつかの実施形態では、仮想三次元オブジェクトの表現は、仮想三次元オブジェクトが表示される場所に対応するように選択された場所へシフトされる。仮想三次元オブジェクトの（二次元）表現の表示を、（二次元）表示の視点に一致するように回転された仮想三次元オブジェクトに置き換えることは、（例えば、三次元オブジェクトが、仮想三次元オブジェクトの二次元表現と同じオブジェクトであることを示すために）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, before displaying the representation of the first viewpoint of the virtual 3D object, the device corresponds to a representation of the view of the virtual 3D object from each viewpoint (eg, a virtual 3D object). Display a user interface that includes a representation of a virtual 3D object (eg, a thumbnail or icon) that includes a static representation such as a 2D image (18050). While displaying the representation of the virtual 3D object, the device detects a request to display the virtual 3D object (eg, tap input or other selection input for the representation of the virtual 3D object) (18052). .. In response to detecting a request to display a virtual 3D object, the device rotated the display of the virtual 3D object's representation to match the respective perspectives of the virtual 3D object's representation. Replace with a virtual 3D object (18054). 11A-11E provide an example of a
いくつかの実施形態では、第１のユーザーインターフェースを表示する前に、デバイスは、仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースを表示する（１８０５６）。仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースを表示している間、デバイスは、仮想三次元オブジェクトの二次元表現に対応するタッチ感知面上の場所において、プレビュー基準を満たす（例えば、プレビュー基準は、押圧入力の強度が第１の強度閾値（例えば、弱い押圧強度閾値）を超えることを必要とする、及び／又は、プレビュー基準は、押圧入力の持続時間が第１の持続時間閾値を超えることを必要とする）タッチ入力（例えば、接触の強度の増加）の第１の部分を検出する（１８０５８）。タッチ入力の第１の部分がプレビュー基準を満たすことを検出することに応じて、デバイスは、仮想三次元オブジェクトの二次元表現よりも大きな仮想三次元オブジェクトのプレビューを表示する（例えば、プレビューは、仮想三次元オブジェクトの異なる視点を示すためにアニメーション化される）（１８０６０）。いくつかの実施形態では、デバイスは、（例えば、入力の持続時間又は圧力に基づいて、又は、あらかじめ決定されたアニメーションの速度に基づいて）徐々に拡大する三次元オブジェクトのアニメーションを表示する。（例えば、現在表示されているユーザーインターフェースの表示を、異なるユーザーインターフェースと置き換えることなく）仮想三次元オブジェクトのプレビューを表示することは、（例えば、ユーザーが、仮想三次元オブジェクトを表示し、ユーザーインターフェース同士の間でのナビゲーションのための入力を提供する必要無しに仮想三次元オブジェクトの二次元表現を見るように戻せるようにすることによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高める。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, before displaying the first user interface, the device displays a two-dimensional user interface that includes a two-dimensional representation of the virtual three-dimensional object (18056). While displaying a two-dimensional user interface that contains a two-dimensional representation of a virtual three-dimensional object, the device meets the preview criteria at a location on the touch-sensitive surface that corresponds to the two-dimensional representation of the virtual three-dimensional object (eg,). The preview criterion requires that the intensity of the press input exceeds the first intensity threshold (eg, a weak press intensity threshold), and / or the preview criterion is that the duration of the press input is the first duration threshold. The first part of the touch input (eg, increased contact strength) is detected (18058). In response to detecting that the first part of the touch input meets the preview criteria, the device displays a preview of the virtual 3D object that is larger than the 2D representation of the virtual 3D object (eg, the preview is. Animated to show different perspectives of a virtual 3D object) (18060). In some embodiments, the device displays an animation of a gradually expanding 3D object (eg, based on the duration or pressure of the input, or based on a predetermined animation speed). Displaying a preview of a virtual three-dimensional object (for example, without replacing the display of the currently displayed user interface with a different user interface) means that the user displays the virtual three-dimensional object and the user interface. Improves device usability) by allowing you to revert to seeing a two-dimensional representation of a virtual three-dimensional object without having to provide input for navigation between each other. Reducing the number of inputs required to perform an operation enhances the usability of the device. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態では、仮想三次元オブジェクトのプレビューを表示している間、デバイスは、（例えば、継続的に維持されている同じ接触によって）タッチ入力の第２の部分を検出する（１８０６２）。タッチ入力の第２の部分を検出することに応じて（１８０６４）、タッチ入力の第２の部分がメニュー表示基準を満たす（例えば、メニュー表示基準は、接触が、所定の方向へ、（例えば、上方へ）閾値量よりも多く移動することを必要とする）との判定にしたがって、デバイスは、仮想オブジェクトに関連付けられた複数の動作に対応する複数の選択可能なオプション（例えば、共有メニュー）（例えば、仮想オブジェクトを、別のデバイス又はユーザーと共有する様々な手段のような共有オプション）を表示し、タッチ入力の第２の部分がステージング基準（例えば、ステージング基準は、接触の強度が、第１の閾値強度よりも大きな第２の閾値強度（例えば、深い押圧強度閾値）を超えることを必要とする）を満たすとの判定にしたがって、デバイスは、仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースの表示を、仮想三次元オブジェクトを含む第１のユーザーインターフェースに置き換える。仮想オブジェクトに関連付けられたメニューを表示すること、又は、仮想三次元オブジェクトの二次元表示を含む二次元ユーザーインターフェースの表示を、仮想三次元オブジェクトを含む第１のユーザーインターフェースと置き換えることは、ステージング基準が満たされているか否かに依存して、入力に応じて、多数の異なるタイプの動作の実行を可能にする。第１のタイプの入力を用いて、多数の異なるタイプの動作の実行を可能にすることは、効率を高め、これによって、ユーザーは、これらの操作を実行することができる。これによって、デバイスの操作性を高める。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device detects a second part of the touch input (eg, by the same contact that is continuously maintained) while displaying a preview of the virtual 3D object (18062). .. In response to detecting a second portion of the touch input (18064), the second portion of the touch input meets the menu display criteria (eg, the menu display criterion is that the contact is in a predetermined direction (eg, eg). According to the determination (upward) that it is necessary to move more than the threshold amount), the device has multiple selectable options (eg, shared menu) corresponding to the multiple actions associated with the virtual object (eg, shared menu). For example, a sharing option such as various means of sharing a virtual object with another device or user is displayed, and the second part of the touch input is the staging criteria (eg, the staging criteria are the strength of contact. According to the determination that the second threshold intensity (eg, deep pressing intensity threshold) greater than the threshold intensity of 1 is satisfied, the device comprises a two-dimensional representation of the virtual three-dimensional object. Replace the display of the dimensional user interface with a first user interface that contains virtual three-dimensional objects. Displaying the menu associated with a virtual object or replacing the display of a 2D user interface containing a 2D display of a virtual 3D object with a first user interface containing a virtual 3D object is a staging criterion. Allows a large number of different types of actions to be performed, depending on the input, depending on whether is satisfied or not. Allowing the execution of many different types of actions using the first type of input increases efficiency, which allows the user to perform these operations. This enhances the operability of the device. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態では、第１のユーザーインターフェースが、複数の制御（例えば、ワールドビューへの切り替えのため、戻る等のためのボタン）を含む（１８０６６）。第１のユーザーインターフェースを表示する前に、デバイスは、仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースを表示する（１８０６８）。第１のユーザーインターフェースにおいて、仮想三次元オブジェクト表示するための要求を検出することに応じて、デバイスは（１８０７０）、仮想三次元オブジェクトに関連付けられた１つ以上の制御のセットを表示することなく、第１のユーザーインターフェース内に、仮想三次元オブジェクトを表示し、第１のユーザーインターフェース内に仮想三次元オブジェクトを表示した後、デバイスは、１つ以上の制御のセットを表示する。例えば、図１１Ａ～図１１Ｅに関して説明されるように、仮想オブジェクト１１００２の二次元表現を含むユーザーインターフェース５０６０のディスプレイは、ステージングユーザーインターフェース６０１０の前に表示される。（図１１Ａに関して説明されるように、）ステージングユーザーインターフェース６０１０内に、仮想オブジェクト１１００２を表示するための要求に応じて、ステージングユーザーインターフェース６０１０の制御６０１６、６０１８、６０２０なしで（図１１Ｂ～図１１Ｃに図示されるように）仮想オブジェクト１１００２が表示される。図１１Ｄ～図１１Ｅでは、ステージングユーザーインターフェース６０１０の制御６０１６、６０１８、６０２０が、ユーザーインターフェース内のビューへフェードする。いくつかの実施形態では、１つ以上の制御のセットが、デバイスの１つ以上のカメラの視野において検出されたプレーンに対して固定された位置に仮想三次元オブジェクトが配置されている、拡張現実環境において仮想三次元オブジェクトを表示するための制御を含む。いくつかの実施形態では、第１のユーザーインターフェースにおいて仮想三次元オブジェクトを表示するための要求を検出することに応じて、仮想三次元オブジェクトが、第１のユーザーインターフェース内に表示される準備ができていない（例えば、仮想オブジェクトの三次元モデルが、第１のユーザーインターフェースが表示される準備ができている時に、完全にロードされない）（例えば、仮想オブジェクトのロード時間が、閾値時間よりも長い（例えば、顕著であり、ユーザーに知覚可能である））との判定にしたがって、デバイスは、第１のユーザーインターフェース内に、複数の制御を表示することなく、第１のユーザーインターフェースの一部（例えば、第１のユーザーインターフェースの背景ウィンドウ）を表示し、（例えば、第１のユーザーインターフェースの一部が、制御なしで表示された後）仮想三次元オブジェクトが、第１のユーザーインターフェース内に表示される準備ができているとの判定にしたがって、デバイスは、第１のユーザーインターフェース内に、仮想三次元オブジェクトを表示（例えば、フェードイン）しデバイスは、仮想三次元オブジェクトが第１のユーザーインターフェース内に表示された後、制御を表示（例えば、フェードイン）する。第１のユーザーインターフェース内に、仮想三次元オブジェクトを表示するための要求を検出することに応じて、仮想三次元オブジェクトが表示される準備ができている（例えば、第１のユーザーインターフェースが表示される準備ができている場合、仮想オブジェクトの三次元モデルがロードされた）、（例えば、仮想オブジェクトのロード時間が、閾値時間よりも短い（例えば、無視することができ、ユーザーに知覚可能ではない））との判定にしたがって、デバイスは、第１のユーザーインターフェース上における複数の制御とともに、第１のユーザーインターフェースを表示し、デバイスは、複数の制御を用いて、第１のユーザーインターフェース内に、仮想三次元オブジェクトを表示する（例えば、フェードインしない）。いくつかの実施形態では、（例えば、「戻る」要求に応じて）二次元ユーザーインターフェースへ戻るために、ステージングユーザーインターフェースを出た場合、制御は、仮想三次元オブジェクトが仮想三次元オブジェクトの二次元表現へ変換される前に先ずフェードアウトする。ユーザーインターフェース内に、仮想三次元オブジェクトを表示した後、制御を表示することは、（例えば、仮想オブジェクトを操作するための制御が、仮想オブジェクトをロードするために必要とされる時間長さの間、利用可能ではないことを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、仮想オブジェクトのためのロード時間中、操作動作が利用可能ではない間、ユーザーがオブジェクトを操作するための入力の提供を回避することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the first user interface comprises a plurality of controls (eg, buttons for switching back to world view, etc.) (18066). Prior to displaying the first user interface, the device displays a two-dimensional user interface that includes a two-dimensional representation of the virtual three-dimensional object (18068). In response to detecting a request to display a virtual three-dimensional object in the first user interface (18070), the device does not display one or more sets of controls associated with the virtual three-dimensional object. After displaying the virtual three-dimensional object in the first user interface and the virtual three-dimensional object in the first user interface, the device displays one or more sets of controls. For example, as described with respect to FIGS. 11A-11E, the display of the
図１８Ａ～図１８Ｉにおける動作が説明された特定の順序は、単なる例であり、説明された順序は、動作が実行され得る唯一の順序であることを示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（方法８００、９００、１０００、１６０００、１７０００、１９０００、及び２００００）に関して本明細書で説明される他の処理の詳細はまた、図１８Ａ～図１８Ｉに関して上述された方法１８０００と類似の方式で適用可能であることが注目されるべきである。例えば、方法１８０００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、８００、９００、１０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡潔のために、これら詳細は、本明細書では繰り返されない。
It is understood that the particular order in which the actions in FIGS. 18A-18I are described is merely an example and the described order is not intended to indicate that the actions are the only order in which they can be performed. Should be. Those of skill in the art will recognize various techniques for reordering the operations described herein. In addition, details of other processes described herein with respect to the other methods described herein (
図１９Ａ～図１９Ｈは、第１の閾値移動大きさが、第１のオブジェクト操作挙動のために満たされているとの判定にしたがって、第２のオブジェクト操作挙動のために必要な第２の閾値移動大きさを増加させる方法１９０００を例示するフロー図である。方法１９０００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）とタッチ感知面（例えば、タッチ感知面、又は、表示生成コンポーネントとタッチ感知面との両方として役立つタッチスクリーンディスプレイ）とを有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００、）において実行される。方法１９０００におけるいくつかの動作は、オプションで、組み合わされるか、及び／又は、いくつかの動作の順序は、オプションで、変更される。
19A-19H show a second threshold value required for the second object operation behavior according to the determination that the first threshold movement magnitude is satisfied for the first object operation behavior. It is a flow figure which illustrates the
デバイスは、第１のジェスチャ認識基準（例えば、回転基準）を満たす入力に応じて実行される第１のオブジェクト操作挙動（例えば、それぞれの軸の周りのユーザーインターフェースオブジェクトの回転）と、第２のジェスチャ認識基準（例えば、変換基準とスケーリング基準とのうちの１つ）を満たす入力に応じて実行される第２のオブジェクト操作挙動（例えば、ユーザーインターフェースオブジェクトの変換、又は、ユーザーインターフェースオブジェクトのスケーリングのうちの１つ）とを含む、複数のオブジェクト操作挙動に関連付けられたユーザーインターフェースオブジェクト（例えば、仮想オブジェクトの表現を含むユーザーインターフェース領域）を含む第１のユーザーインターフェース領域を、表示生成コンポーネントを介して表示する（１９００２）。例えば、表示された仮想オブジェクト１１００２は、（例えば、図１４Ｂ～図１４Ｅに関して説明されるような）それぞれの軸の周りの回転、（例えば、図１４Ｋ～図１４Ｍに関して説明されるような）変換、及び（図１４Ｇ～図１４Ｉに関して説明されるような）スケーリングを含む操作挙動に関連付けられる。
The device has a first object manipulation behavior (eg, rotation of a user interface object around each axis) performed in response to an input that meets a first gesture recognition criterion (eg, a rotation criterion), and a second. A second object manipulation behavior (eg, conversion of a user interface object, or scaling of a user interface object) performed in response to an input that meets a gesture recognition criterion (eg, one of a conversion criterion and a scaling criterion). A first user interface area containing a user interface object (eg, a user interface area containing a representation of a virtual object) associated with multiple object manipulation behaviors, including one of them), via a display generation component. Display (19002). For example, the displayed
第１のユーザーインターフェース領域を表示している間、デバイスは、タッチ感知面にわたる１つ以上の接触の移動を検出することを含むユーザーインターフェースオブジェクトへ向けられた入力の第１の部分を検出し（例えば、デバイスは、ユーザーインターフェースオブジェクトの表示位置に対応するタッチ感知面上の場所における１つ以上の接触を検出し）、１つ以上の接触が、タッチ感知面上で検出されている間、デバイスは、第１のジェスチャ認識基準と第２のジェスチャ認識基準との両方に関する１つ以上の接触の移動を評価する（１９００４）。 While displaying the first user interface area, the device detects the first part of the input directed to the user interface object, including detecting the movement of one or more contacts across the touch sensitive surface. For example, the device detects one or more contacts at a location on the touch-sensitive surface that corresponds to the display position of the user interface object), while the device detects one or more contacts on the touch-sensitive surface. Evaluates the movement of one or more contacts with respect to both the first gesture recognition criterion and the second gesture recognition criterion (19004).
入力の第１の部分を検出することに応じて、デバイスは、入力の第１の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新する。これは、第２のジェスチャ認識基準を満たす前に、入力の第１の部分が第１のジェスチャ認識基準を満たしているとの判定にしたがって、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変化させる（例えば、ユーザーインターフェースオブジェクトを回転させる）ことと、（例えば、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変化せることなく、）第２のジェスチャ認識基準のための閾値を増加させる（例えば、第２のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させる）ことによって、第２のジェスチャ認識基準を更新することとを含む（１９００６）。例えば、図１４Ｅにおいて、仮想オブジェクト１１００２は、（スケーリング基準が満たされる前に）回転基準が満たされているとの判定にしたがって回転され、スケーリング基準のための閾値ＳＴが、ＳＴ'へ増加される。いくつかの実施形態では、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、変換及びスケーリングのための基準は、移動パラメータのための増加された閾値を用いて更新され、）すでに認識され、このオブジェクトを操作するために使用されているジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスされる。この入力が、第１のジェスチャ認識基準を満たす前に、第２のジェスチャ認識基準を満たすとの判定にしたがって、デバイスは、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変化させ（例えば、ユーザーインターフェースオブジェクトを変換するか、又は、ユーザーインターフェースオブジェクトをリサイズし）、（例えば、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変化させることなく）第１のジェスチャ認識基準のための閾値を増加させる（例えば、第１のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させる）ことによって、第１のジェスチャ認識基準を更新する。例えば、図１４Ｉにおいて、仮想オブジェクト１１００２のサイズは、（回転基準が満たされる前に）スケーリング基準が満たされているとの判定にしたがって増加し、回転基準のための閾値ＲＴが、ＲＴ'へ増加される。いくつかの実施形態では、オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされる前に、（オブジェクトを回転するためのジェスチャを認識するための基準が以前に満たされていないと仮定して、）回転のためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける回転動作を開始することは比較的容易である。オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされると、オブジェクトにおける回転操作を開始することはより困難になり、（例えば、オブジェクトを回転させるための基準は、移動パラメータのための増加された閾値を用いて更新され、）すでに認識され、このオブジェクトを操作するために使用されているジェスチャに対応する操作挙動へ向けて、オブジェクト操作挙動がバイアスされる。いくつかの実施形態では、ユーザーインターフェースオブジェクトの外観は、入力のそれぞれの移動パラメータの値にしたがって（例えば、異なるサイズ、位置、視点、反射、影等を示して）動的及び連続的に変更される。いくつかの実施形態では、デバイスは、移動パラメータ（例えば、各タイプの操作挙動のためのそれぞれの移動パラメータ）と、ユーザーインターフェースオブジェクトの外観に対してなされた変更（例えば、各タイプの操作挙動のための外観のそれぞれの態様）との間でプリセットされた調和（例えば、各タイプの操作挙動のためのそれぞれの調和）に従う。入力された移動が、第２のオブジェクト操作のための第２の閾値を超えて増加した場合、第１のオブジェクト操作のために必要とされる入力移動のための第１の閾値を増加させることは、（例えば、ユーザーが、第１のオブジェクト操作を実行するための入力の提供を試みている間、第２のオブジェクト操作を誤って実行することを回避することを支援することによって）デバイスの操作性を高める。異なるタイプのオブジェクト操作を制御するユーザーの能力を改善することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。
In response to detecting the first part of the input, the device updates the appearance of the user interface object based on the first part of the input. It is based on the first part of the input (eg, the input, according to the determination that the first part of the input meets the first gesture recognition criterion before meeting the second gesture recognition criterion. Changing the appearance of the user interface object (eg, rotating the user interface object) and (eg, rotating the user interface object) according to the first object manipulation behavior (based on the orientation and / or size of the first part of). Increase the threshold for the second gesture recognition criterion (eg, the movement parameter in the second gesture recognition criterion (eg, travel distance) according to the object manipulation behavior of 2 without changing the appearance of the user interface object). , Speed, etc.) to update the second gesture recognition criterion (19006). For example, in FIG. 14E, the
いくつかの実施形態では、入力の第１の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新した後、デバイスは、（例えば、入力の第１の部分において連続的に維持されている同じ接触、又は、入力の第１の部分における接触の終了（例えば、リフトオフ）後に検出された異なる接触によって）入力の第２の部分を検出する（１９００８）。いくつかの実施形態では、入力の第２の部分は、ユーザーインターフェースオブジェクトへ向けられた連続的に検出された入力に基づいて検出される。入力の第２の部分を検出することに応じて、デバイスは、入力の第２の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新する（１９０１０）。これは、入力の第１の部分が、第１のジェスチャ認識基準を満たし、入力の第２の部分が、更新された第２のジェスチャ認識基準を満たさないとの判定にしたがって、（例えば、入力の第２の部分が、第１のジェスチャ認識基準又は元の第２のジェスチャ認識基準を満たすか否かを考慮することなく、）入力の第２の部分に基づいて（例えば、入力の第２の部分の方向及び／又は大きさに基づいて）、第２のオブジェクト操作挙動にしたがって、（例えば、入力の第２の部分が、更新される前の元の第２のジェスチャ認識基準を満たしていても）ユーザーインターフェースオブジェクトの外観を変更することなく、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、入力の第１の部分が、第２のジェスチャ認識基準を満たし、入力の第２の部分が、更新された第１のジェスチャ認識基準を満たさないとの判定にしたがって、（例えば、入力の第２の部分が、第２のジェスチャ認識基準又は元の第１のジェスチャ認識基準を満たすか否かを考慮することなく、）入力の第２の部分に基づいて（例えば、入力の第２の部分の方向及び／又は大きさに基づいて）、第１のオブジェクト操作挙動にしたがって、（例えば、入力の第２の部分が、更新される前の元の第１のジェスチャ認識を満たしていても）ユーザーインターフェースオブジェクトの外観を変更することなく、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、を含む。 In some embodiments, after updating the appearance of the user interface object based on the first part of the input, the device (eg, the same contact that is continuously maintained in the first part of the input,). Alternatively, the second part of the input is detected (by a different contact detected after the end of the contact (eg, lift-off) in the first part of the input) (2008). In some embodiments, the second part of the input is detected based on continuously detected inputs directed to the user interface object. In response to detecting a second part of the input, the device updates the appearance of the user interface object based on the second part of the input (19010). This is done according to the determination that the first part of the input meets the first gesture recognition criterion and the second part of the input does not meet the updated second gesture recognition criterion (eg, input). Based on the second part of the input (eg, the second part of the input) without considering whether the second part of the first gesture recognition criterion or the original second gesture recognition criterion is met. According to the second object manipulation behavior (eg, based on the orientation and / or size of the part), the second part of the input meets the original second gesture recognition criteria before being updated. Changing the appearance of the user interface object according to the first object manipulation behavior without changing the appearance of the user interface object, and the first part of the input meets the second gesture recognition criteria. , According to the determination that the second part of the input does not meet the updated first gesture recognition criterion (eg, the second part of the input is the second gesture recognition criterion or the original first one). A first object operation based on a second part of the input (eg, based on the orientation and / or size of the second part of the input), without considering whether or not it meets the gesture recognition criteria. According to the behavior (for example, even if the second part of the input satisfies the original first gesture recognition before being updated), the second object manipulation behavior without changing the appearance of the user interface object. Including changing the appearance of user interface objects according to.
いくつかの実施形態（１９０１２）では、入力の第１の部分が、第１のジェスチャ認識基準を満たした後、入力の第２の部分に基づいて、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観が変更される一方、入力の第２の部分は、（例えば、閾値が増加される前に、第２のジェスチャ認識基準における入力の移動パラメータに関する元の閾値を用いて、）第２のジェスチャ認識基準が更新される前に、第２のジェスチャ認識基準を満たす入力を含んでいる（例えば、入力の第２の部分は、更新された第２のジェスチャ認識基準を満たす入力を含んでいない）。 In some embodiments (19012), after the first part of the input meets the first gesture recognition criteria, the user interface follows the first object manipulation behavior based on the second part of the input. While the appearance of the object is changed, the second part of the input is a second part (eg, using the original threshold for the input's movement parameters in the second gesture recognition criterion before the threshold is increased). Contains inputs that meet the second Gesture Recognition Criteria before the Gesture Recognition Criteria are updated (for example, the second part of the input contains inputs that meet the updated second Gesture Recognition Criteria). not present).
いくつかの実施形態（１９０１４）では、ユーザーインターフェースオブジェクトの外観は、入力の第１の部分が、第２のジェスチャ認識基準を満たした後、入力の第２の部分に基づいて、第２のオブジェクト操作挙動にしたがって変更される一方、入力の第２の部分は、（例えば、閾値が増加される前に、第１のジェスチャ認識基準における入力の移動パラメータのための元の閾値を用いて、）第１のジェスチャ認識基準が更新される前に、第１のジェスチャ認識基準を満たす入力を含む（例えば、入力の第２の部分は、更新された第１のジェスチャ認識基準を満たす入力を含まない）。 In some embodiments (19014), the appearance of the user interface object is based on the second part of the input after the first part of the input meets the second gesture recognition criterion. While being modified according to operational behavior, the second part of the input (eg, using the original threshold for the input's movement parameter in the first gesture recognition criterion before the threshold is increased). Contains inputs that meet the first gesture recognition criteria before the first gesture recognition criteria are updated (eg, the second part of the input does not contain inputs that meet the updated first gesture recognition criteria. ).
いくつかの実施形態（１９０１６）では、ユーザーインターフェースオブジェクトの外観は、入力の第１の部分が、第１のジェスチャ認識基準を満たした後、入力の第２の部分に基づいて、第１のオブジェクト操作挙動にしたがって変更される一方、入力の第２の部分は、（例えば、第１のジェスチャ認識基準における入力の移動パラメータのための元の閾値を用いた）第１のジェスチャ認識基準を満たす入力を含まない。例えば、第１のジェスチャ認識基準が満たされると、入力は、第１のオブジェクト操作挙動を引き起こすために、もはや第１のジェスチャ認識基準を満たし続ける必要はない。 In some embodiments (19016), the appearance of the user interface object is based on the second part of the input after the first part of the input meets the first gesture recognition criteria. While being modified according to operational behavior, the second portion of the input meets the first gesture recognition criterion (eg, using the original threshold for the input's movement parameters in the first gesture recognition criterion). Does not include. For example, when the first gesture recognition criterion is met, the input no longer needs to continue to meet the first gesture recognition criterion in order to trigger the first object manipulation behavior.
いくつかの実施形態（１９０１８）では、ユーザーインターフェースオブジェクトの外観は、入力の第１の部分が、第２のジェスチャ認識基準を満たした後、入力の第２の部分に基づいて、第２のオブジェクト操作挙動にしたがって変更される一方、入力の第２の部分は、（例えば、第２のジェスチャ認識基準における入力の移動パラメータのための元の閾値を用いた）第２のジェスチャ認識基準を満たす入力を含まない。例えば、第２のジェスチャ認識基準が満たされると、入力は、第２のオブジェクト操作挙動を引き起こすために、もはや第２のジェスチャ認識基準を満たし続ける必要はない。入力の第２の部分が、増加された閾値を超えて増加する移動を含む場合に、第１のオブジェクト操作挙動を実行することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、増加された基準を満たすことによって第１のオブジェクト操作を実行した後、第２のオブジェクト操作を意図的に実行する能力をユーザーに提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を改善し、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments (19018), the appearance of the user interface object is based on the second part of the input after the first part of the input meets the second gesture recognition criteria. While being modified according to operational behavior, the second part of the input meets the second gesture recognition criterion (eg, using the original threshold for the input's movement parameters in the second gesture recognition criterion). Does not include. For example, when the second gesture recognition criterion is met, the input no longer needs to continue to meet the second gesture recognition criterion in order to trigger the second object manipulation behavior. If the second part of the input contains movements that increase beyond the increased threshold, performing the first object manipulation behavior (eg, to provide new input to the user). Improving the usability of the device) by providing the user with the ability to intentionally perform a second object operation after performing the first object operation by meeting the increased criteria without requesting it. .. Reducing the number of inputs required to perform an operation improves the usability of the device and makes the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態では、入力の第２の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新することは入力の第１の部分が、第２のジェスチャ認識基準を満たし、入力の第２の部分が、更新された第１のジェスチャ認識基準を満たすとの判定にしたがって、入力の第２の部分に基づいて、第１のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更し、入力の第２の部分に基づいて、第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更することと、入力の第１の部分が、第１のジェスチャ認識基準を満たし、入力の第２の部分が、更新された第２のジェスチャ認識基準を満たすとの判定にしたがって、入力の第２の部分に基づいて、第１のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更し、入力の第２の部分に基づいて、第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更することと、を含む（１９０２０）。例えば、第１のジェスチャ認識基準がまず満たされ、その後、入力が更新された第２のジェスチャ認識基準を満たした後、入力は、第１及び第２の両方のオブジェクト操作挙動を引き起こすことができる。例えば、第２のジェスチャ認識基準がまず満たされ、その後、入力が更新された第１のジェスチャ認識基準を満たした後、入力は、第１及び第２の両方のオブジェクト操作挙動を引き起こすことができる。第２のジェスチャ認識基準及び更新された第１のジェスチャ認識基準が満たされた後に検出された入力の一部に応じて、第１のオブジェクト操作挙動及び第２のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、増加された閾値を満たした後、第１のオブジェクト操作及び第２のオブジェクト操作を使用して、オブジェクトを自由に操作する能力を、ユーザーへ提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, updating the appearance of the user interface object based on a second part of the input means that the first part of the input meets the second gesture recognition criteria and the second part of the input. Changes the appearance of the user interface object according to the first object manipulation behavior based on the second part of the input, according to the determination that it meets the updated first gesture recognition criteria, and the second part of the input. The appearance of the user interface object is changed according to the second object operation behavior based on the part of, and the first part of the input meets the first gesture recognition criteria and the second part of the input is. Based on the second part of the input, according to the determination that the updated second gesture recognition criteria are met, the appearance of the user interface object is changed according to the first object operation behavior, and the second part of the input. Includes changing the appearance of the user interface object according to a second object manipulation behavior based on (19020). For example, after the first gesture recognition criterion is first met and then the input meets the updated second gesture recognition criterion, the input can trigger both the first and second object manipulation behaviors. .. For example, after the second gesture recognition criterion is first met and then the input meets the updated first gesture recognition criterion, the input can trigger both the first and second object manipulation behaviors. .. The object is updated according to the first object operation behavior and the second object operation behavior according to the part of the input detected after the second gesture recognition criterion and the updated first gesture recognition criterion are satisfied. To do is to use the first object operation and the second object operation (for example, after satisfying the increased threshold without asking the user to provide new input, the object. Improve the operability of the device) by providing the user with the ability to operate freely. Reducing the number of inputs required to perform an operation enhances the usability of the device and makes the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態では、入力の第２の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新した後（例えば、第１のジェスチャ認識基準と更新された第２のジェスチャ認識基準との両方が満たされた後、又は、第２のジェスチャ認識基準と更新された第１のジェスチャ認識基準との両方が満たされた後）、デバイスは、（例えば、入力の第１及び第２の部分において連続的に維持されている同じ接触によって、又は、入力の第１の部分及び第２の部分の接触の終了（例えば、リフトオフ）後に検出された異なる接触によって）入力の第３の部分を検出する（１９０２２）。入力の第３の部分を検出することに応じて、デバイスは、入力の第３の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新する（１９０２４）。これは、入力の第３の部分に基づいて、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、入力の第３の部分に基づいて、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することとを含む。例えば、第１のジェスチャ認識基準と更新された第２のジェスチャ認識基準との両方が満たされた後、又は、第２のジェスチャ認識基準と更新された第１のジェスチャ認識基準との両方が満たされた後、入力は、元の又は更新された第１及び第２のジェスチャ認識基準の閾値を考慮せずに、後続して、第１及び第２のオブジェクト操作挙動をともに引き起こすことができる。第２のジェスチャ認識基準及び更新された第１のジェスチャ認識基準が満たされた後に検出された入力の一部に応じて、第１のオブジェクト操作挙動及び第２のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、増加された閾値を満たすことによって、第１のオブジェクト操作タイプを実行する意図を確証した後、第１のオブジェクト操作及び第２のオブジェクト操作を使用して、オブジェクトを自由に操作する能力を、ユーザーへ提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, after updating the appearance of the user interface object based on a second part of the input (eg, both the first gesture recognition criterion and the updated second gesture recognition criterion are met). After being performed or after both the second gesture recognition criterion and the updated first gesture recognition criterion are met), the device is (eg, continuous in the first and second parts of the input). Detects a third part of the input (19022) by the same contact maintained in, or by a different contact detected after the end of contact (eg, lift-off) of the first and second parts of the input. ). In response to detecting a third portion of the input, the device updates the appearance of the user interface object based on the third portion of the input (19024). It modifies the appearance of the user interface object according to the first object manipulation behavior based on the third part of the input, and to the second object manipulation behavior based on the third part of the input. Therefore, it involves changing the appearance of the user interface object. For example, after both the first gesture recognition criterion and the updated second gesture recognition criterion are met, or after both the second gesture recognition criterion and the updated first gesture recognition criterion are met. After being done, the input can subsequently trigger both the first and second object manipulation behaviors without considering the thresholds of the original or updated first and second gesture recognition criteria. The object is updated according to the first object operation behavior and the second object operation behavior according to the part of the input detected after the second gesture recognition criterion and the updated first gesture recognition criterion are satisfied. The first is to confirm the intent to perform the first object operation type (eg, by satisfying the increased threshold without asking the user to provide new input). By providing the user with the ability to manipulate objects freely using the object manipulation and the second object manipulation of), the operability of the device is enhanced. Reducing the number of inputs required to perform an operation enhances the usability of the device and makes the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態（１９０２６）では、入力の第３の部分は、第１のジェスチャ認識基準を満たす入力、又は、第２のジェスチャ認識基準を満たす入力を含まない。例えば、第１のジェスチャ認識基準と更新された第２のジェスチャ認識基準との両方が満たされた後、又は、第２のジェスチャ認識基準と更新された第１のジェスチャ認識基準との両方が満たされた後、入力は、元の又は更新された第１及び第２のジェスチャ認識基準の閾値を考慮せずに、後続して、第１及び第２のオブジェクト操作挙動をともに引き起こすことができる。第２のジェスチャ認識基準及び更新された第１のジェスチャ認識基準が満たされた後に検出された入力の一部に応じて、第１のオブジェクト操作挙動及び第２のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、高められた基準を満たした後、第１のオブジェクト操作及び第２のオブジェクト操作を使用して、オブジェクトを自由に操作する能力を、ユーザーへ提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments (19026), the third portion of the input does not include an input that meets the first gesture recognition criterion or an input that meets the second gesture recognition criterion. For example, after both the first gesture recognition criterion and the updated second gesture recognition criterion are met, or after both the second gesture recognition criterion and the updated first gesture recognition criterion are met. After being done, the input can subsequently trigger both the first and second object manipulation behaviors without considering the thresholds of the original or updated first and second gesture recognition criteria. The object is updated according to the first object operation behavior and the second object operation behavior according to the part of the input detected after the second gesture recognition criterion and the updated first gesture recognition criterion are satisfied. To do is to use the first object operation and the second object operation (for example, after satisfying the elevated criteria without asking the user to provide new input, the object. Improve the operability of the device) by providing the user with the ability to operate freely. Reducing the number of inputs required to perform an operation enhances the usability of the device and makes the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態では、複数のオブジェクト操作挙動が、第３のジェスチャ認識基準（例えば、スケーリング基準）を満たす入力に応じて実行される第３のオブジェクト操作挙動（例えば、ユーザーインターフェースオブジェクトの、それぞれの軸の周りの回転）を含む（１９０２８）。入力の第１の部分に基づいてユーザーインターフェースオブジェクトの外観を更新することは、第２のジェスチャ認識基準を満たす前に、又は、第３のジェスチャ認識基準を満たす前に、入力の第１の部分が、第１のジェスチャ認識基準を満たすとの判定にしたがって、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更する（例えば、ユーザーインターフェースオブジェクトを回転させる）ことと、（例えば、第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変化させることなく）第２のジェスチャ認識基準のための閾値を増加させること（例えば、第２のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって第２のジェスチャ認識基準を更新することとを含む（１９０３０）。例えば、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、移動パラメータのための増加された閾値を用いて、変換及びスケーリングのための基準が更新され、）すでに認識され、このオブジェクトを操作するために使用されるジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスされる。デバイスは、第３のジェスチャ認識基準のための閾値を増加させる（例えば、第３のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させる）ことによって、第３のジェスチャ認識基準を更新する。例えば、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、移動パラメータのための増加された閾値を用いて、変換及びスケーリングのための基準が更新され、）すでに認識され、このオブジェクトを操作するために使用されるジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスさせる。第１のジェスチャ認識基準を満たす前に、又は、第３のジェスチャ基準を満たす前に、入力が、第２のジェスチャ認識基準を満たすとの判定にしたがって、デバイスは、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更（例えば、ユーザーインターフェースオブジェクトを変換、又は、ユーザーインターフェースオブジェクトをリサイズ）し、（例えば、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を更新することなく）第１のジェスチャ認識基準のための閾値を増加させること（例えば、第１のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって、第１のジェスチャ認識基準を更新する。例えば、オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされる前に、（オブジェクトを回転させるためのジェスチャを認識するための基準が以前に満たされていないと仮定して、）回転のためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける回転動作を開始することは比較的容易である。オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされると、オブジェクトにおける回転動作を開始することはより困難になり、（例えば、オブジェクトを回転させるための基準は、移動パラメータのための増加された閾値を用いて更新され、）すでに認識され、このオブジェクトを操作するために使用されているジェスチャに対応する操作挙動へ向けて、オブジェクト操作挙動がバイアスされる。いくつかの実施形態では、ユーザーインターフェースオブジェクトの外観は、入力のそれぞれの移動パラメータの値にしたがって（例えば、異なるサイズ、位置、視点、反射、影等を示して）動的及び連続的に変更される。いくつかの実施形態では、デバイスは、移動パラメータ（例えば、操作挙動の各タイプのためのそれぞれの移動パラメータ）と、ユーザーインターフェースオブジェクトの外観に対してなされた変更（例えば、操作挙動の各タイプのための外観のそれぞれの態様）との間であらかじめ設定された調和（例えば、操作挙動の各タイプのためのそれぞれの調和）に従う。デバイスは、第３のジェスチャ認識基準のための閾値を増加させること（例えば、第３のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって、第３のジェスチャ認識基準を更新する。例えば、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、移動パラメータのための増加された閾値を用いて、変換及びスケーリングのための基準が更新され、）すでに認識され、このオブジェクトを操作するために使用されるジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスされる。第１のジェスチャ認識基準を満たす前に、又は、第２のジェスチャ基準を満たす前に、入力が、第３のジェスチャ認識基準を満たすとの判定にしたがって、デバイスは、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）第３のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更（例えば、ユーザーインターフェースオブジェクトをリサイズ）し、（例えば、第１のオブジェクト操作挙動及び第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を更新することなく、）デバイスは、第１のジェスチャ認識基準のための閾値を増加させること（例えば、第１のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって、第１のジェスチャ認識基準を更新する。例えば、オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされる前に、（オブジェクトを回転させるためのジェスチャを認識するための基準が以前に満たされていないと仮定して、）回転のためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける回転動作を開始することは比較的容易である。オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされると、オブジェクトにおける回転動作を開始することはより困難になり、（例えば、オブジェクトを回転させるための基準は、移動パラメータのための増加された閾値を用いて更新され、）すでに認識され、このオブジェクトを操作するために使用されているジェスチャに対応する操作挙動へ向けて、オブジェクト操作挙動がバイアスされる。いくつかの実施形態では、ユーザーインターフェースオブジェクトの外観は、入力のそれぞれの移動パラメータの値にしたがって（例えば、異なるサイズ、位置、視点、反射、影等を示して）動的及び連続的に変更される。いくつかの実施形態では、デバイスは、移動パラメータ（例えば、操作挙動の各タイプのためのそれぞれの移動パラメータ）と、ユーザーインターフェースオブジェクトの外観に対してなされた変更（例えば、操作挙動の各タイプのための外観のそれぞれの態様）との間であらかじめ設定された調和（例えば、操作挙動の各タイプのためのそれぞれの調和）に従う。デバイスは、第２のジェスチャ認識基準のための閾値を増加させること（例えば、第２のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって第２のジェスチャ認識基準を更新する。例えば、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、移動パラメータのための増加された閾値を用いて、変換及びスケーリングのための基準が更新され、）すでに認識され、このオブジェクトを操作するために使用されるジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスさせる。対応する第３のジェスチャ認識基準が満たされた場合にのみ、検出された入力の一部に応じて、第３のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、第１のオブジェクト操作又は第２のオブジェクト操作を実行するための入力の提供を試みている間に、ユーザーが誤って第３のオブジェクト操作を実行することを回避することを支援することによって）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, a third object manipulation behavior (eg, a user interface object), each of which is performed in response to an input in which the plurality of object manipulation behaviors meet a third gesture recognition criterion (eg, scaling criterion). (Rotation around the axis of) (19028). Updating the appearance of the user interface object based on the first part of the input is the first part of the input before it meets the second gesture recognition criterion or the third gesture recognition criterion. Is determined to meet the first Gesture Recognition Criteria, and the first object operation is based on the first part of the input (eg, based on the orientation and / or size of the first part of the input). Changing the appearance of the user interface object according to the behavior (for example, rotating the user interface object) and the second (for example, without changing the appearance of the user interface object according to the second object operation behavior). The second gesture by increasing the threshold for the gesture recognition criterion (eg, increasing the threshold required for the movement parameters (eg, travel distance, speed, etc.) in the second gesture recognition criterion). Includes updating recognition criteria (19030). For example, a gesture for transformation or scaling (assuming the criteria for transformation or scaling was not previously met) before the criteria for recognizing the gesture for rotating the object are met. It is relatively easy to initiate a transformation or scaling operation on an object by meeting the criteria for recognition. Once the criteria for recognizing the gesture to rotate the object are met, it becomes more difficult to initiate a transform or scaling operation on the object (eg, with an increased threshold for movement parameters). Criteria for transformation and scaling have been updated) and object operations are biased towards operational behaviors that are already recognized and correspond to the gestures used to manipulate this object. The device increases the threshold for the third gesture recognition criterion (eg, increases the threshold required for the movement parameters (eg, distance traveled, speed, etc.) in the third gesture recognition criterion). Updates the third gesture recognition criterion. For example, a gesture for transformation or scaling (assuming the criteria for transformation or scaling was not previously met) before the criteria for recognizing the gesture for rotating the object are met. It is relatively easy to initiate a transformation or scaling operation on an object by meeting the criteria for recognition. Once the criteria for recognizing the gesture to rotate the object are met, it becomes more difficult to initiate a transform or scaling operation on the object (eg, with an increased threshold for movement parameters). Criteria for transformation and scaling have been updated) and object operations are biased towards operational behavior that corresponds to the gestures that are already recognized and used to manipulate this object. Before meeting the first gesture recognition criterion or before meeting the third gesture criterion, the device is placed in the first part of the input according to the determination that the input meets the second gesture recognition criterion. Based on (eg, based on the orientation and / or size of the first part of the input), the appearance of the user interface object is changed (eg, the user interface object is transformed or user) according to the second object manipulation behavior. Resizing the interface object (eg, according to the first object manipulation behavior, without updating the appearance of the user interface object) to increase the threshold for the first gesture recognition criterion (eg, first). The first gesture recognition criterion is updated by the movement parameters in the gesture recognition criterion (eg, increasing the threshold required for the movement distance, speed, etc.). For example, before the criteria for recognizing gestures for transforming or scaling an object are met (assuming the criteria for recognizing gestures for rotating an object have not been met before). It is relatively easy to initiate a rotation motion on an object by meeting the criteria for recognizing the gesture for rotation. When the criteria for recognizing gestures for transforming or scaling an object are met, it becomes more difficult to initiate a rotation motion on the object (for example, the criteria for rotating an object are due to movement parameters. Updated with the increased threshold of), the object manipulation behavior is biased towards the manipulation behavior that corresponds to the gesture already recognized and used to manipulate this object. In some embodiments, the appearance of the user interface object is dynamically and continuously modified (eg, showing different sizes, positions, viewpoints, reflections, shadows, etc.) according to the values of the respective movement parameters of the input. The object. In some embodiments, the device has movement parameters (eg, each movement parameter for each type of operation behavior) and changes made to the appearance of the user interface object (eg, each type of operation behavior). Follows preset harmony (eg, each harmony for each type of operational behavior) with each aspect of appearance for. The device increases the threshold for a third gesture recognition criterion (eg, increasing the threshold required for movement parameters (eg, distance traveled, speed, etc.) in the third gesture recognition criterion). ) Updates the third gesture recognition criterion. For example, a gesture for transformation or scaling (assuming the criteria for transformation or scaling was not previously met) before the criteria for recognizing the gesture for rotating the object are met. It is relatively easy to initiate a transformation or scaling operation on an object by meeting the criteria for recognition. Once the criteria for recognizing the gesture to rotate the object are met, it becomes more difficult to initiate a transform or scaling operation on the object (eg, with an increased threshold for movement parameters). Criteria for transformation and scaling have been updated) and object operations are biased towards operational behaviors that are already recognized and correspond to the gestures used to manipulate this object. Before meeting the first gesture recognition criterion or before meeting the second gesture criterion, the device is placed in the first part of the input according to the determination that the input meets the third gesture recognition criterion. Based on (eg, based on the orientation and / or size of the first part of the input), the appearance of the user interface object is changed (eg, the user interface object is resized) according to the third object manipulation behavior (eg, the user interface object is resized). For example, according to the first object manipulation behavior and the second object manipulation behavior, the device increases the threshold for the first gesture recognition criterion (eg, without updating the appearance of the user interface object). The first gesture recognition criterion is updated by the movement parameters in the first gesture recognition criterion (eg, increasing the threshold required for the travel distance, speed, etc.). For example, before the criteria for recognizing gestures for transforming or scaling an object are met (assuming the criteria for recognizing gestures for rotating an object have not been met before). It is relatively easy to initiate a rotation motion on an object by meeting the criteria for recognizing the gesture for rotation. When the criteria for recognizing gestures for transforming or scaling an object are met, it becomes more difficult to initiate a rotation motion on the object (for example, the criteria for rotating an object are due to movement parameters. Updated with the increased threshold of), the object manipulation behavior is biased towards the manipulation behavior that corresponds to the gesture already recognized and used to manipulate this object. In some embodiments, the appearance of the user interface object is dynamically and continuously modified (eg, showing different sizes, positions, viewpoints, reflections, shadows, etc.) according to the values of the respective movement parameters of the input. The object. In some embodiments, the device has movement parameters (eg, each movement parameter for each type of operation behavior) and changes made to the appearance of the user interface object (eg, each type of operation behavior). Follows preset harmony (eg, each harmony for each type of operational behavior) with each aspect of appearance for. The device increases the threshold for the second gesture recognition criterion (eg, increasing the threshold required for the movement parameters (eg, distance traveled, speed, etc.) in the second gesture recognition criterion). ) Updates the second gesture recognition criterion. For example, a gesture for transformation or scaling (assuming the criteria for transformation or scaling was not previously met) before the criteria for recognizing the gesture for rotating the object are met. It is relatively easy to initiate a transformation or scaling operation on an object by meeting the criteria for recognition. Once the criteria for recognizing the gesture to rotate the object are met, it becomes more difficult to initiate a transform or scaling operation on the object (eg, with an increased threshold for movement parameters). Criteria for transformation and scaling have been updated) and object operations are biased towards operational behavior that corresponds to the gestures that are already recognized and used to manipulate this object. Updating an object according to the third object manipulation behavior in response to a portion of the detected input only if the corresponding third gesture recognition criterion is met (eg, the first object manipulation). (Or by helping users avoid accidentally performing a third object operation while attempting to provide input to perform a second object operation) to improve device usability. .. Reducing the number of inputs required to perform an operation enhances the usability of the device and makes the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態では、複数のオブジェクト操作挙動は、第３のジェスチャ認識基準を満たす入力に応じて実行される第３のオブジェクト操作挙動を含み（１９０３２）、第１のジェスチャ認識基準又は第２のジェスチャ認識基準を満たす前に、入力の第１の部分は、第３のジェスチャ認識基準を満たしておらず、入力の第１の部分が、第１のジェスチャ認識基準又は第２のジェスチャ認識基準を満たした後、デバイスは、第３のジェスチャ認識基準のための閾値を増加させることによって、第３のジェスチャ認識基準を更新し、入力の第２の部分は、更新された第１のジェスチャ認識基準又は更新された第２のジェスチャ認識基準を満たす前に、更新された第３のジェスチャ認識基準を満たしていない（例えば、デバイスは、入力の第１の部分が、第１又は第２のジェスチャ認識基準のうちの１つを満たした後、第３のジェスチャ認識基準のための閾値を増加させることによって、第３のジェスチャ認識基準を更新した）。入力の第３の部分を検出することに応じて（１９０３４）、（例えば、入力の第３の部分が、（例えば、更新された、又は、元の）第１又は第２のジェスチャ認識基準を満たしているか否かを考慮することなく、）更新された第３のジェスチャ認識基準を満たすとの判定にしたがって、デバイスは、（例えば、（例えば、たとえ入力の第３の部分が元の第１及び第２のジェスチャ認識基準を満たさなくても）第１及び第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更しながら）入力の第３の部分に基づいて（例えば、入力の第３の部分の方向及び／又は大きさに基づいて）、第３のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を更新する。入力の第３の部分が、更新された第３のジェスチャ認識基準を満たさないとの判定にしたがって、デバイスは、（例えば、（例えば、たとえ入力の第３の部分が元の第１及び第２のジェスチャ認識基準を満たさなくても）第１及び第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更しながら）入力の第３の部分に基づいて、第３のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することを控える。第２のジェスチャ認識基準、更新された第１のジェスチャ認識基準、及び、更新された第３のジェスチャ認識基準が満たされた後に検出された入力の一部に応じて、第１のオブジェクト操作挙動、第２のオブジェクト操作挙動、及び第３のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、増加された閾値を満たすことによって、第１、第２、及び第３の３つすべてのオブジェクト操作タイプを実行する意図を確立した後、ユーザーへ、第１、第２、及び第３のオブジェクト操作タイプを使用して、オブジェクトを自由に操作する能力をユーザーへ提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the plurality of object manipulation behaviors include a third object manipulation behavior performed in response to an input that meets the third gesture recognition criterion (19032), the first gesture recognition criterion or the second. The first part of the input does not meet the third gesture recognition criterion and the first part of the input is the first gesture recognition criterion or the second gesture recognition criterion. After satisfying, the device updates the third gesture recognition criterion by increasing the threshold for the third gesture recognition criterion, and the second part of the input is the updated first gesture recognition. The device does not meet the updated third gesture recognition criterion before it meets the criterion or the updated second gesture recognition criterion (eg, the device has a first part of the input of the first or second gesture). After satisfying one of the recognition criteria, the third gesture recognition criterion was updated by increasing the threshold for the third gesture recognition criterion). Depending on the detection of the third part of the input (19034), the third part of the input (eg, the updated or original) first or second gesture recognition criterion (eg, updated or original). According to the determination that the updated third gesture recognition criterion is met (without considering whether or not it is met), the device (eg, even if the third part of the input is the original first). And based on a third part of the input (eg, a third of the inputs) (while changing the appearance of the user interface object according to the first and second object manipulation behaviors) (even if it does not meet the second gesture recognition criteria). Update the appearance of the user interface object according to the third object manipulation behavior (based on the orientation and / or size of the portion). According to the determination that the third part of the input does not meet the updated third gesture recognition criteria, the device (eg, (eg, even if the third part of the input is the original first and second). Based on the third part of the input (while changing the appearance of the user interface object according to the first and second object manipulation behaviors) (even if it does not meet the gesture recognition criteria of), according to the third object manipulation behavior. Refrain from changing the appearance of user interface objects. The first object manipulation behavior depends on some of the inputs detected after the second gesture recognition criterion, the updated first gesture recognition criterion, and the updated third gesture recognition criterion are met. Updating objects according to the second object manipulation behavior, and the third object manipulation behavior (eg, satisfying the increased threshold without requiring the user to provide new input). By doing so, after establishing the intent to perform all three object operation types, the first, second, and third, the user can use the first, second, and third object operation types. Improve the usability of the device) by providing the user with the ability to manipulate objects freely. Reducing the number of inputs required to perform an operation enhances the usability of the device and makes the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態（１９０３６）では、入力の第３の部分は、更新された第３のジェスチャ認識基準を満たした。入力の第３の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新した後（例えば、第１のジェスチャ認識基準、及び、更新された第２及び第３のジェスチャ認識基準の両方が満たされた後、又は、第２のジェスチャ認識基準、及び、更新された第１及び第３のジェスチャ認識基準の両方が満たされた後）、デバイスは、（例えば、入力の第１、第２、及び第３の部分において連続的に維持されている同じ接触によって、又は、入力の第１の部分、第２及び第３の部分における接触の終了（例えば、リフトオフ）後に検出された異なる接触によって、）入力の第４の部分を検出する（１９０３８）。入力の第４の部分を検出することに応じて、デバイスは、入力の第４の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新する（１９０４０）。これは、入力の第４の部分に基づいて、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、入力の第４の部分に基づいて、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、入力の第４の部分に基づいて、第３のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、を含む。例えば、第１のジェスチャ認識基準、及び、更新された第２及び第３のジェスチャ認識基準が満たされた後、又は、第２のジェスチャ認識基準、及び、更新された第１及び第３のジェスチャ認識基準が満たされた後、入力は、元の又は更新された第１、第２、及び第３のジェスチャ認識基準における閾値を考慮することなく、後続して、３つすべてのタイプの操作挙動を引き起こし得る。 In some embodiments (19036), the third portion of the input meets the updated third gesture recognition criterion. After updating the appearance of the user interface object based on the third part of the input (eg, after both the first gesture recognition criterion and the updated second and third gesture recognition criteria have been met. Or, after both the second gesture recognition criterion and the updated first and third gesture recognition criteria have been met), the device (eg, the first, second, and third inputs). By the same contact that is continuously maintained in the part of the input, or by a different contact detected after the end of the contact (eg, lift-off) in the first, second and third parts of the input). The fourth part is detected (19038). In response to detecting the fourth part of the input, the device updates the appearance of the user interface object based on the fourth part of the input (19040). It modifies the appearance of the user interface object according to the first object manipulation behavior based on the fourth part of the input, and to the second object manipulation behavior based on the fourth part of the input. Therefore, it includes changing the appearance of the user interface object and changing the appearance of the user interface object according to the third object operation behavior based on the fourth part of the input. For example, after the first gesture recognition criteria and the updated second and third gesture recognition criteria are met, or after the second gesture recognition criteria and the updated first and third gestures. After the recognition criteria are met, the input follows all three types of operational behavior without considering the thresholds in the original or updated first, second, and third gesture recognition criteria. Can cause.
いくつかの実施形態では、入力の第４の部分は第１のジェスチャ認識基準を満たす入力、第２のジェスチャ認識基準を満たす入力、又は、第３のジェスチャ認識基準を満たす入力を含まない（１９０４２）。例えば、第１のジェスチャ認識基準、及び、更新された第２及び第３のジェスチャ認識基準が満たされた後、又は、第２のジェスチャ認識基準、及び、更新された第１及び第３のジェスチャ認識基準が満たされた後、入力は、元の又は更新された第１、第２、及び第３のジェスチャ認識基準における閾値を考慮することなく、後続して、３つすべてのタイプの操作挙動を引き起こし得る。ジェスチャのために同時に検出される接触数を必要とすることは、（例えば、必要とされる同時検出される接触数未満の入力を提供している間、ユーザーが誤ってオブジェクト操作を実行することを回避することを支援することによって）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the fourth portion of the input does not include an input that meets the first gesture recognition criterion, an input that meets the second gesture recognition criterion, or an input that meets the third gesture recognition criterion (19042). ). For example, after the first gesture recognition criteria and the updated second and third gesture recognition criteria are met, or after the second gesture recognition criteria and the updated first and third gestures. After the recognition criteria are met, the input follows all three types of operational behavior without considering the thresholds in the original or updated first, second, and third gesture recognition criteria. Can cause. Requiring a number of simultaneously detected contacts for a gesture (eg, a user accidentally performing an object operation while providing less than the required number of simultaneously detected contacts). Improve the usability of the device (by helping to avoid). Reducing the number of inputs required to perform an operation enhances the usability of the device and makes the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態（１９０４４）では、第１のジェスチャ認識基準及び第２のジェスチャ認識基準（及び第３のジェスチャ認識基準）はともに、満たされるために、同時に検出される第１の接触数（例えば、２つの接触）を必要とする。いくつかの実施形態では、変換のために、１本指ジェスチャもまた使用され得、１本指変換閾値は、２本指変換閾値よりも低い。いくつかの実施形態では、２本指変換ジェスチャのために設定された元の及び更新された移動閾値は、接触の重心によるそれぞれ４０ポイント及び７０ポイントの移動である。いくつかの実施形態では、２本指回転ジェスチャのために設定された元の及び更新された移動閾値は、それぞれ接触による１２度及び１８度の回転移動である。いくつかの実施形態では、２本指スケーリングジェスチャのために設定された元の及び更新された移動閾値は、それぞれ５０ポイント（接触間距離）及び９０ポイントである。いくつかの実施形態では、１本指ドラッグジェスチャのために設定された閾値は３０ポイントである。 In some embodiments (19044), both the first gesture recognition criterion and the second gesture recognition criterion (and the third gesture recognition criterion) are met, so that the first number of contacts detected at the same time (19044). For example, two contacts) are required. In some embodiments, a one-finger gesture may also be used for conversion, the one-finger conversion threshold being lower than the two-finger conversion threshold. In some embodiments, the original and updated movement thresholds set for the two-finger conversion gesture are movements of 40 points and 70 points, respectively, by the center of gravity of the contact. In some embodiments, the original and updated movement thresholds set for the two-finger rotation gesture are 12 and 18 degree rotation movements by contact, respectively. In some embodiments, the original and updated movement thresholds set for the two-finger scaling gesture are 50 points (inter-contact distance) and 90 points, respectively. In some embodiments, the threshold set for the one-finger drag gesture is 30 points.
いくつかの実施形態（１９０４６）では、第１のオブジェクト操作挙動は、ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変更し（例えば、（例えば、ピンチジェスチャが、（例えば、元の又は更新された）第１のジェスチャ認識基準に基づいて認識された後に、互いに向かう接触の移動のような）ピンチジェスチャによってオブジェクトをリサイズし）、第２のオブジェクト操作挙動が、ユーザーインターフェースオブジェクトの回転角度を変化させる（例えば、（例えば、ツイスト／旋回ジェスチャが（例えば、元の又は更新された）第２のジェスチャ認識基準によって認識された後、例えば共通の地点の周りの接触の移動のような）ツイスト／旋回ジェスチャによって外部又は内部軸の周りのユーザーインターフェースオブジェクトのビューイング視点を変化させる）。例えば、第１のオブジェクト操作挙動は、図１４Ｇ～図１４Ｉに関して説明されるように、仮想オブジェクト１１００２の表示サイズを変更し、第２のオブジェクト操作挙動は、図１４Ｂ～図１４Ｅに関して説明されるように、仮想オブジェクト１１００２の回転角度を変化させる。いくつかの実施形態では、第２のオブジェクト操作挙動は、ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変更し（例えば、（例えば、ピンチジェスチャが、（例えば、元の又は更新された）第２のジェスチャ認識基準に基づいて認識された後に、互いに向かう接触の移動のような）ピンチジェスチャによってオブジェクトをリサイズし）、第１のオブジェクト操作挙動が、ユーザーインターフェースオブジェクトの回転角度を変化させる（例えば、（例えば、ツイスト／旋回ジェスチャが（例えば、元の又は更新された）第１のジェスチャ認識基準によって認識された後の、例えば共通の地点の周りの接触の移動のような）ツイスト／旋回ジェスチャによって外部又は内部軸の周りのユーザーインターフェースオブジェクトのビューイング視点を変化させる）。
In some embodiments (19046), the first object manipulation behavior modifies the zoom level or display size of the user interface object (eg, the pinch gesture (eg, the original or updated)). Resizing the object with a pinch gesture (such as moving contacts towards each other after being recognized based on the first gesture recognition criteria), the second object manipulation behavior changes the rotation angle of the user interface object (such as the rotation angle of the user interface object). For example, after the twist / swivel gesture has been recognized by a second gesture recognition criterion (eg, the original or updated), the twist / swivel gesture (eg, such as the movement of a contact around a common point). Changes the viewing perspective of the user interface object around the external or internal axis). For example, the first object manipulation behavior changes the display size of the
いくつかの実施形態（１９０４８）では、第１のオブジェクト操作挙動は、ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変更し（例えば、（例えば、ピンチジェスチャが、（例えば、元の又は更新された）第１のジェスチャ認識基準に基づいて認識された後に、互いに向かう接触の移動のような）ピンチジェスチャによってオブジェクトをリサイズし）、第２のオブジェクト操作挙動が、第１のユーザーインターフェース領域におけるユーザーインターフェースオブジェクトの位置を変化させる（例えば、（例えば、ドラッグジェスチャが（例えば、元の又は更新された）第２のジェスチャ認識基準によって認識された後、例えばそれぞれの方向における接触の移動のような）１本指又は２本指のドラッグジェスチャによってユーザーインターフェースオブジェクトをドラッグする）。例えば、第１のオブジェクト操作挙動は、図１４Ｇ～図１４Ｉに関して説明されるように、仮想オブジェクト１１００２の表示サイズを変更し、第２のオブジェクト操作挙動は、図１４Ｂ～図１４Ｅに関して説明されるように、ユーザーインターフェースにおける仮想オブジェクト１１００２の位置を変化させる。いくつかの実施形態では、第２のオブジェクト操作挙動は、ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変更し（例えば、（例えば、ピンチジェスチャが、（例えば、元の又は更新された）第２のジェスチャ認識基準に基づいて認識された後に、互いに向かう接触の移動のような）ピンチジェスチャによってオブジェクトをリサイズし）、第１のオブジェクト操作挙動が、第１のユーザーインターフェース領域におけるユーザーインターフェースオブジェクトの位置を変化させる（例えば、（例えば、ドラッグジェスチャが（例えば、元の又は更新された）第１のジェスチャ認識基準によって認識された後、例えばそれぞれの方向における接触の移動のような）１本指又は２本指のドラッグジェスチャによってユーザーインターフェースオブジェクトをドラッグする）。
In some embodiments (19048), the first object manipulation behavior modifies the zoom level or display size of the user interface object (eg, the pinch gesture (eg, the original or updated)). Resizing the object with a pinch gesture (such as moving contacts towards each other after being recognized based on the first gesture recognition criteria), the second object manipulation behavior is the user interface object in the first user interface area. One that changes the position of (eg, after the drag gesture has been recognized by a second gesture recognition criterion (eg, the original or updated), eg, movement of contact in each direction). Drag a user interface object with a finger or two-finger drag gesture). For example, the first object manipulation behavior changes the display size of the
いくつかの実施形態（１９０５０）では、第１のオブジェクト操作挙動は、第１のユーザーインターフェース領域におけるユーザーインターフェースオブジェクトの位置を変更し（例えば、（例えば、ドラッグジェスチャが（例えば、元の又は更新された）第１のジェスチャ認識基準によって認識された後の、例えばそれぞれの方向における接触の移動のような）１本指又は２本指のドラッグジェスチャによってオブジェクトをドラッグし）、第２のオブジェクト操作挙動が、ユーザーインターフェースオブジェクトの回転角度を変化させる（例えば、（例えば、ツイスト／旋回ジェスチャが（例えば、元の又は更新された）第２のジェスチャ認識基準によって認識された後、例えば共通の地点の周りの接触の移動のような）ツイスト／旋回ジェスチャによって外部又は内部軸の周りのユーザーインターフェースオブジェクトのビューイング視点を変化させる）。例えば、第１のオブジェクト操作挙動は、図１４Ｂ～図１４Ｅに関して説明されるように、ユーザーインターフェースにおける仮想オブジェクト１１００２の位置を変更し、第２のオブジェクト操作挙動は、図１４Ｂ～図１４Ｅに関して説明されるように、仮想オブジェクト１１００２の回転角度を変化させる。いくつかの実施形態では、第２のオブジェクト操作挙動が、第１のユーザーインターフェース領域におけるユーザーインターフェースオブジェクトの位置を変化させ（例えば、（例えば、ドラッグジェスチャが（例えば、元の又は更新された）第２のジェスチャ認識基準によって認識された後、例えばそれぞれの方向における接触の移動のような）１本指又は２本指のドラッグジェスチャによってオブジェクトをドラッグし）、第１のオブジェクト操作挙動が、ユーザーインターフェースオブジェクトの回転角度を変化させる（例えば、（例えば、ツイスト／旋回ジェスチャが（例えば、元の又は更新された）第１のジェスチャ認識基準によって認識された後、例えば共通の地点の周りの接触の移動のような）ツイスト／旋回ジェスチャによって外部又は内部軸の周りのユーザーインターフェースオブジェクトのビューイング視点を変化させる）。
In some embodiments (19050), the first object manipulation behavior changes the position of the user interface object in the first user interface area (eg, the drag gesture (eg, the original or updated). (E) Drag the object with a one-finger or two-finger drag gesture (such as the movement of contact in each direction) after being recognized by the first gesture recognition criteria), the second object manipulation behavior. Changes the rotation angle of the user interface object (eg, after the twist / swivel gesture is recognized by a second gesture recognition criterion (eg, the original or updated), eg around a common point. Twist / swivel gestures (such as moving contacts) change the viewing perspective of the user interface object around the external or internal axis). For example, the first object manipulation behavior modifies the position of the
いくつかの実施形態（１９０５２）では、入力の第１の部分及び入力の第２の部分が、複数の連続して維持された接触によって提供される。デバイスは、複数の連続的に維持された接触のリフトオフを検出した後、追加の第１及び第２のオブジェクト操作挙動を開始するために、（例えば、元の閾値を備えた）第１のジェスチャ認識基準及び第２のジェスチャ認識基準を再確立する（１９０５４）。例えば、接触のリフトオフの後、デバイスは、新たに検出されたタッチ入力のための回転、変換、及びスケーリングのためのジェスチャ認識閾値を再確立する。入力が、接触のリフトオフによって終了された後、入力移動のための閾値を再確立することは、（例えば、新たな入力が提供される毎に、増加された移動閾値を再設定することによって、オブジェクト操作を実行するために必要とされる入力の程度を低減することによって）デバイスの操作性を高める。操作を実行するために必要とされる入力の程度を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments (19052), a first portion of the input and a second portion of the input are provided by a plurality of consecutively maintained contacts. The device detects a plurality of continuously maintained contact lift-offs and then initiates additional first and second object manipulation behaviors of the first gesture (eg, with the original threshold). Reestablish the recognition criteria and the second gesture recognition criteria (19054). For example, after contact lift-off, the device reestablishes gesture recognition thresholds for rotation, transformation, and scaling for newly detected touch inputs. Reestablishing the threshold for input movement after the input is terminated by the lift-off of the contact (eg, by resetting the increased movement threshold each time a new input is provided). Improve device usability (by reducing the amount of input required to perform object operations). Reducing the degree of input required to perform an operation enhances the usability of the device and makes the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
いくつかの実施形態（１９０５６）では、第１のジェスチャ認識基準は、第１の軸の周りの回転に対応し、第２のジェスチャ認識基準は、第１の軸に直交する第２の軸の周りの回転に対応する。いくつかの実施形態では、異なるタイプのジェスチャのための閾値を更新する代わりに、更新することはまた、（例えば、ツイスト／旋回ジェスチャのような）認識されたジェスチャタイプに対応する操作挙動のタイプ内の（例えば、第１の軸の周りの回転と、異なる軸の周りの回転のような）操作挙動の異なるサブタイプのために設定された閾値に当てはまる。例えば、第１の軸の周りの回転が認識され実行されると、異なる軸の周りの回転の閾値セットが更新され（例えば、増加され）、異なる軸の周りの回転をトリガするために、後続する入力によって超えられる必要がある。入力移動が、第２の軸の周りにオブジェクトを回転させるために必要な入力移動のための閾値を超えて増加した場合、第１の軸の周りにオブジェクトを回転させるために必要な入力移動のための閾値を増加させることは、（例えば、第１の軸の周りにオブジェクトを回転させることを試みている間に、ユーザーが誤って第２の軸の周りにオブジェクトを回転させることを回避することを支援することによって）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments (19056), the first gesture recognition criterion corresponds to rotation around the first axis and the second gesture recognition criterion is of the second axis orthogonal to the first axis. Corresponds to rotation around. In some embodiments, instead of updating the thresholds for different types of gestures, updating is also the type of operational behavior that corresponds to the recognized gesture type (eg, twist / swivel gesture). It applies to the thresholds set for different subtypes of operational behavior within (eg, rotation around the first axis and rotation around different axes). For example, when a rotation around a first axis is recognized and executed, a threshold set of rotations around a different axis is updated (eg, increased) to trigger a subsequent rotation around a different axis. Must be exceeded by the input you make. If the input movement increases beyond the threshold for input movement required to rotate the object around the second axis, then the input movement required to rotate the object around the first axis. Increasing the threshold for (eg, avoids the user accidentally rotating the object around the second axis while trying to rotate the object around the first axis. Improve the operability of the device (by helping it). Reducing the number of inputs required to perform an operation enhances the usability of the device and makes the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
図１９Ａ～図１９Ｈにおける動作が説明された特定の順序は、単なる例であり、説明された順序は、動作が実行され得る唯一の順序であることを示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１７０００、１８０００、２００００）に関して本明細書で説明された他の処理の詳細はまた、図１９Ａ～図１９Ｈに関して上述された方法１９０００に類似する方式でも適用可能であることが注目されるべきである。例えば、方法１９０００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１７０００、１８０００、２００００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡略のために、これら詳細は、本明細書において繰り返されない。
It is understood that the particular order in which the actions are described in FIGS. 19A-19H is merely an example and the described order is not intended to indicate that the actions are the only order in which they can be performed. Should be. Those of skill in the art will recognize various techniques for reordering the operations described herein. In addition, details of the other processes described herein with respect to the other methods described herein (eg,
図２０Ａ～図２０Ｆは、デバイスの移動が、仮想オブジェクトを、１つ以上のデバイスカメラの表示される視野の外側へ移動させるとの判定にしたがって、音声警報を生成する方法２００００を例示するフロー図である。方法２００００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）と、１つ以上の入力デバイス（例えば、タッチ感知面、又は、表示生成コンポーネントとタッチ感知面との両方として役立つタッチスクリーンディスプレイ）と、１つ以上の音声出力生成器と、１つ以上のカメラとを有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００）において実行される。方法２００００におけるいくつかの動作は、オプションで、組み合わされ、及び／又は、いくつかの動作の順序は、オプションで、変更される。
20A-20F exemplify a
デバイスは（例えば、カメラを含むデバイスの周りの物理的環境の拡張現実ビューに仮想オブジェクトを配置するための要求に応じて（例えば、仮想オブジェクトのステージングビューを用いて表示された「ワールド」ボタン上のタップに応じて））、表示生成コンポーネントによって、１つ以上のカメラの視野の表現を含む仮想オブジェクトの表現を、第１のユーザーインターフェース領域内に表示し（例えば、第１のユーザーインターフェース領域は、カメラを含むデバイスを囲む物理的環境の、拡張現実ビューを表示するユーザーインターフェースである）、この表示することは、仮想オブジェクトの表現と、１つ以上のカメラの視野においてキャプチャされた物理的環境において検出されたプレーンとの間の第１の空間的な関係を維持することを含む（例えば、仮想オブジェクトは、仮想オブジェクトの表現とプレーンとの間の固定された角度が維持されるように、ディスプレイ上に、向き及び位置とともに表示される（例えば、仮想オブジェクトは、プレーン上の固定された場所にとどまる、又は、視野面に沿って回転するように見える）（２０００２）。例えば、図１５Ｖに図示されるように、仮想オブジェクト１１００２は、１つ以上のカメラの視野６０３６を含むユーザーインターフェース領域において表示される。
The device (eg, on the "World" button displayed using the staging view of the virtual object in response to a request to place the virtual object in the augmented reality view of the physical environment around the device, including the camera (eg, on the "world" button displayed using the staging view of the virtual object. (According to a tap on)), the display generation component displays the representation of the virtual object, including the representation of the field of view of one or more cameras, within the first user interface area (eg, the first user interface area). , A user interface that displays an augmented reality view of the physical environment surrounding the device, including the camera), which displays the representation of a virtual object and the physical environment captured in the field of one or more cameras. Includes maintaining a first spatial relationship with the plane detected in (eg, a virtual object so that a fixed angle between the representation of the virtual object and the plane is maintained. Displayed on the display with orientation and position (eg, virtual objects appear to stay in a fixed location on the plane or rotate along the viewing plane) (20002), eg, in FIG. 15V. As shown, the
デバイスは、１つ以上のカメラの視野を調節するデバイスの移動（例えば、１つ以上のカメラを含むデバイスの横移動及び／又は回転）を検出する（２０００４）。例えば、図１５Ｖ～図１５Ｗに関して説明されるように、デバイス１００の移動は、１つ以上のカメラの視野を調節する。
The device detects movement of the device that adjusts the field of view of one or more cameras (eg, lateral movement and / or rotation of a device that includes one or more cameras) (20004). For example, as described with respect to FIGS. 15V-15W, the movement of the
１つ以上のカメラの視野を調節するデバイスの移動を検出することに応じて（２０００６）、１つ以上のカメラの視野が調節されると、デバイスは、仮想オブジェクトと、１つ以上のカメラの視野内で検出されたプレーンとの間の第１の空間的な関係（例えば、向き及び／又は位置）にしたがって、第１のユーザーインターフェース領域において、仮想オブジェクトの表現の表示を調節し、（例えば、仮想オブジェクトの表現と、１つ以上のカメラの視野においてキャプチャされた物理的環境内で検出されたプレーンとの間の空間的な関係が、デバイスの移動中、物理的環境に対して固定され続けるので、）デバイスの移動が、閾値量（例えば、１００％、５０％、又は２０％）より多くの仮想オブジェクトを、１つ以上のカメラの視野の表示部分の外側へ移動させるとの判定にしたがって、デバイスは、１つ以上の音声出力生成器によって、第１の音声警報（例えば、閾値量より多くの仮想オブジェクトが、カメラビューにはもはや表示されないことを示す音声アナウンスメント）を生成する。例えば、図１５Ｗに関して説明されるように、仮想オブジェクト１１００２を、１つ以上のカメラの視野６０３６の表示部分の外側へ移動させるデバイス１００の移動に応じて、音声警報１５１１８が生成される。デバイスの移動が、仮想オブジェクトを、表示された拡張現実ビューの外側へ移動させるとの判定にしたがって音声出力を生成することは、デバイスの移動が、拡張現実ビューに関して、仮想オブジェクトの表示に対して影響を与えた程度を示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、仮想オブジェクトがディスプレイを離れたか否かをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
Adjusting the Field of One or More Cameras When the field of view of one or more cameras is adjusted in response to detecting the movement of the device (20006), the device is a virtual object and one or more cameras. According to the first spatial relationship (eg, orientation and / or position) with the plane detected in the field of view, the display of the representation of the virtual object is adjusted in the first user interface area (eg, orientation and / or position). , The spatial relationship between the representation of the virtual object and the planes detected within the physical environment captured in the field of view of one or more cameras is fixed to the physical environment while the device is moving. To determine that movement of the device moves more virtual objects than the threshold amount (eg, 100%, 50%, or 20%) to the outside of the display portion of the field of view of one or more cameras. Thus, the device produces a first voice alert (eg, a voice announcement indicating that more virtual objects than the threshold amount are no longer displayed in the camera view) by one or more voice output generators. For example, as described with respect to FIG. 15W,
いくつかの実施形態では、第１の音声警報を出力することは、１つ以上のカメラの視野の表示された部分において見えるままである仮想オブジェクトの量（例えば、見えるままである仮想オブジェクトの量は、現在のビューイング視点からの仮想オブジェクトの合計サイズに対して測定される（例えば、２０％、２５％、５０％等））（例えば、音声出力は、「オブジェクトｘは、２０％見えています」と言う）を示す音声出力を生成することを含む（２０００８）。例えば、図１５Ｘ～図１５Ｙに関して説明されるように、仮想オブジェクト１１００２を、１つ以上のカメラの視野６０３６の表示部分の外側に部分的に移動させるデバイス１００の移動に応じて、「椅子は９０％見え、スクリーンの２０％を占有しています」を示すアナウンスメント１５１２８を含む音声警報１５１２６が生成される。表示された拡張現実ビューにおいて見える仮想オブジェクトの量を示す音声出力を生成することは、（例えば、デバイスの移動が変化した程度と、仮想オブジェクトが見える度合とを示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、仮想オブジェクトがディスプレイを離れたか否かをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, outputting a first voice alert is the amount of virtual objects that remain visible in the visible portion of the field of view of one or more cameras (eg, the amount of virtual objects that remain visible). Is measured against the total size of the virtual object from the current viewing point of view (eg, 20%, 25%, 50%, etc.)) (For example, the audio output is "object x is 20% visible." Includes producing an audio output indicating (to say "masu") (20008). For example, as described with respect to FIGS. 15X-15Y, "the chair is 90" in response to the movement of the
いくつかの実施形態では、第１の音声警報を出力することは、仮想オブジェクトによって閉じ込められた視野の表示部分の量（例えば、仮想オブジェクトによって占有されている物理的環境の拡張現実ビューの量（例えば、２０％、２５％、５０％等））（例えば、音声出力は、「ワールドビューの１５％を占有するオブジェクトｘ」と言うアナウンスメントを含む）を示す音声出力を生成することを含む（２００１０）。いくつかの実施形態では、音声出力はまた、仮想オブジェクトの表示状態における変化を引き起こした、ユーザーによって実行されるアクションの説明を含む。例えば、音声出力は、「デバイスが左に移動しました。オブジェクトｘは２０％見え、ワールドビューの１５％を占有しています。」と言うアナウンスメントを含む。例えば、図１５Ｙでは、「椅子は９０パーセント見え、スクリーンの２０パーセントを占有しています」を示すアナウンスメント１５１２８を含む音声警報１５１２６が生成される。仮想オブジェクトによって閉じ込められた拡張現実ビューの量を示す音声出力を生成することは、（例えば、デバイスの移動が、拡張現実ビューが閉じ込まれている度合いを変化させた程度を示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、ディスプレイに対する仮想オブジェクトのサイズをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, outputting the first voice alert is the amount of display portion of the field of view confined by the virtual object (eg, the amount of augmented reality view of the physical environment occupied by the virtual object (eg). (Eg, 20%, 25%, 50%, etc.)) (eg, audio output comprises generating an audio output indicating "an object x occupying 15% of the world view") (eg, 20%, 25%, 50%, etc.). 2010). In some embodiments, the audio output also includes a description of the action performed by the user that caused the change in the display state of the virtual object. For example, the audio output contains an announcement that says, "The device has moved to the left. Object x is 20% visible and occupies 15% of the world view." For example, in FIG. 15Y, a
いくつかの実施形態では、デバイスは、１つ以上のカメラの視野の表現に対応するタッチ感知面上の場所における接触による入力を検出する（例えば、物理的環境の拡張現実ビューを表示するタッチスクリーンの一部におけるタップ入力又は二重タップ入力を検出する）（２００１２）。この入力を検出することに応じて、また、仮想オブジェクトによって占有されていない１つ以上のカメラの視野の第１の部分に対応するタッチ感知面上の第１の場所において入力が検出されたとの判定にしたがって、デバイスは、第２の音声警報（例えば、タップされた領域における仮想オブジェクトの位置決めの失敗を示すクリック又は機械音）を生成する（２００１４）。例えば、図１５Ｚに関して説明されるように、仮想オブジェクト１１００２によって占有されていない１つ以上のカメラの視野６０３６の一部に対応するタッチスクリーン１１２上の場所において検出された入力に応じて、デバイスは、音声警報１５１３０を生成する。いくつかの実施形態では、入力を検出することに応じて、仮想オブジェクトによって占有されている１つ以上のカメラの視野の第２の部分に対応する第２の場所において入力が検出されたとの判定にしたがって、第２の音声警報を生成することを控える。いくつかの実施形態では、仮想オブジェクトの位置決めのユーザーの失敗を示す第２の音声警報を生成する代わりに、デバイスは、ユーザーが仮想オブジェクトを位置決めしたことを示す異なる音声警報を生成する。いくつかの実施形態では、第２の音声警報を生成する代わりに、デバイスは、仮想オブジェクトにおいて実行される動作（例えば、「オブジェクトｘが選択されました。」、「オブジェクトｘは、デフォルトサイズへリサイズされました」、「オブジェクトｘは、デフォルトの向きへ回転されました」等）、又は仮想オブジェクトの状態（例えば、「オブジェクトｘ、２０％見え、ワールドビューの１５％を占有しています。）を説明するオーディオアナウンスメントを出力する。仮想オブジェクトによって占有されない表示された拡張現実ビューの一部に対応する場所において入力が検出されることに応じて音声出力を生成することは、（例えば、（例えば、仮想オブジェクトに関する情報を取得するため、及び／又は、操作を実行するため）異なる場所において提供されねばならない入力を示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、入力が成功裡に仮想オブジェクトへ接続したか否かをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device detects a contact input at a location on the touch-sensitive surface that corresponds to the representation of the field of view of one or more cameras (eg, a touch screen that displays an augmented reality view of the physical environment). (Detects tap input or double tap input in a part of) (2012). In response to detecting this input, the input was detected at a first location on the touch-sensitive surface corresponding to the first portion of the field of view of one or more cameras not occupied by the virtual object. According to the determination, the device generates a second voice alert (eg, a click or mechanical sound indicating a failure to position the virtual object in the tapped area) (2014). For example, as described with respect to FIG. 15Z, the device responds to an input detected at a location on the
いくつかの実施形態では、第１の音声警報を出力することは、仮想オブジェクトに関して実行された動作を示す音声出力を生成し（例えば、音声出力を生成する前に、デバイスは、現在選択されている動作を判定し、現在選択されている操作を実行するとのユーザーの意思を確認する入力（例えば、二重タップ）に応じて、操作を実行する）、動作の実行後に、結果として得られる仮想オブジェクトの状態を生成することを含む（２００１６）。例えば、音声出力は、「デバイスは左へ移動しました。オブジェクトｘは２０％見え、ワールドビューの１５％を占有しています」、「オブジェクトｘは、３０度、時計回りに回転され、オブジェクトは、ｙ軸の周りに５０度回転されました」、又は、「オブジェクトｘは２０％拡大され、ワールドビューの５０％を占有しています」と言うアナウンスメントを含む。例えば、図１５ＡＨ～図１５ＡＩに関して説明されるように、仮想オブジェクト１１００２に関する回転動作の実行に応じて、「椅子が反時計周りに５度回転されました。椅子は今、スクリーンに対してゼロ度回転されました」を示すアナウンスメント１５１９２を含む音声警報１５１９０が生成される。仮想オブジェクトにおいて実行された動作を示す音声出力を生成することは、提供された入力が仮想オブジェクトへどのように影響を与えるのかを示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、動作がどのようにして仮想オブジェクトを変えたのかをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, outputting a first voice alert produces a voice output indicating the action performed on the virtual object (eg, before generating the voice output, the device is currently selected. Performs an operation in response to an input (eg, double tap) confirming the user's willingness to perform the currently selected operation), the resulting virtual after the action is performed. Includes generating the state of an object (2016). For example, the audio output is "The device has moved to the left. Object x is 20% visible and occupies 15% of the world view", "Object x is rotated 30 degrees clockwise and the object is , Rotated 50 degrees around the y-axis "or" Object x is magnified 20% and occupies 50% of the world view "includes an announcement. For example, as described for FIGS. 15AH-15AI, "the chair has been rotated 5 degrees counterclockwise. The chair is now zero degrees with respect to the screen," in response to performing a rotation motion with respect to
いくつかの実施形態（２００１８）では、動作の実行後、結果として得られる仮想オブジェクトの状態は１つ以上のカメラの視野にキャプチャされた物理的環境に対応する基準フレームに対する第１の音声警報において出力されたオーディオに説明されている（例えば、オブジェクトを操作した後（例えば、接触ベースのジェスチャ又はデバイスの移動に応じて）、デバイスは、（例えば、物理的環境の拡張現実ビューへ最初に配置された場合、仮想オブジェクトの最初の位置／向きに対して、３０度回転された、６０度回転された、又は左へ移動したような）オブジェクトの新たな状態を説明する音声を生成する）。例えば、図１５ＡＨ～図１５ＡＩに関して説明されるように、仮想オブジェクト１１００２に対する回転動作のパフォーマンスに応じて、「椅子は反時計回りに５度回転されました。椅子は今、スクリーンに対してゼロ度回転されました。」を示すアナウンスメント１５１９２を含む音声警報１５１９０が生成される。いくつかの実施形態では、この動作は、（例えば、１つ以上のカメラの視野においてキャプチャされた物理的環境の一部の表現に対する仮想オブジェクトの移動を引き起こす）物理的環境に対するデバイスの移動と、物理的環境に対するデバイスの移動に応じた仮想オブジェクトの新たな状態を説明する音声とを含む。オブジェクトに対して動作が実行された後、仮想オブジェクトの状態を示す音声出力を生成することは、動作がどのように仮想オブジェクトを変えたのかをユーザーに感知させることを可能にするフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、動作がどのように仮想オブジェクトを変えたのかをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments (20018), after performing the operation, the resulting virtual object state is in the first voice alert to the reference frame corresponding to the physical environment captured in the field of view of one or more cameras. As described in the output audio (eg, after manipulating an object (eg, in response to a contact-based gesture or movement of the device)), the device is first placed (eg, in an augmented reality view of the physical environment). If done, it will generate a voice explaining the new state of the object (such as rotated 30 degrees, rotated 60 degrees, or moved to the left with respect to the initial position / orientation of the virtual object). For example, as described for FIGS. 15AH-15AI, "the chair has been rotated 5 degrees counterclockwise. The chair is now zero degrees with respect to the screen," depending on the performance of the rotation motion against the
いくつかの実施形態では、デバイスは、第１の音声警報の生成後、１つ以上のカメラの視野を更に調節するデバイスの追加の移動（例えば、１つ以上のカメラを含むデバイスの横移動及び／又は回転）を検出する（２００２０）。例えば、図１５Ｗ～図１５Ｘに関して説明されるように、デバイス１００の移動は更に、（１５Ｖ～１５Ｗからのデバイス１００の移動に応じて生じる１つ以上のカメラの視野の調節にしたがって）１つ以上のカメラの視野を更に調節する。１つ以上のカメラ（２００２２）の視野を更に調節するデバイスの追加の移動を検出することに応じて、デバイスは、１つ以上のカメラの視野が更に調節されると、仮想オブジェクトと、１つ以上のカメラの視野内で検出されたプレーンとの間の第１の空間的な関係（例えば、向き及び／又は位置）にしたがって、第１のユーザーインターフェース領域における仮想オブジェクトの表現の表示を調節し、（例えば、仮想オブジェクトの表現と、１つ以上のカメラの視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の空間的な関係は、物理的環境に対するデバイスの移動中、固定されたままであるので、）デバイスの追加の移動が、仮想オブジェクトの第２の閾値より多い量（例えば、５０％、８０％、又は１００％）を、１つ以上のカメラの視野の表示された部分内に移動させるとの判定にしたがって、デバイスは、１つ以上の音声出力生成器によって、第３の音声警報（例えば、仮想オブジェクトの閾値より多い量が、カメラ視野へ戻されることを示すアナウンスメントを含む音声出力）を生成する。例えば、図１５Ｘに関して説明されるように、仮想オブジェクト１１００２を、１つ以上のカメラの視野６０３６の表示された部分へ移動させるデバイス１００の移動に応じて、（例えば、「椅子が今、ワールドに投影されており、１００％見え、スクリーンの１０パーセントを占有しています」と言うアナウンスメントを含む）音声警報１５１２２が生成される。デバイスの移動が、仮想オブジェクトを、表示された拡張現実ビューへ移動させるとの判定にしたがって、音声出力を生成することは、デバイスの移動が、拡張現実ビューに関して、仮想オブジェクトの表示に対して影響を与えた程度を示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、仮想オブジェクトがディスプレイの中へ移動したか否かをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device further adjusts the field of view of one or more cameras after the generation of the first voice alarm (eg, lateral movement of the device including one or more cameras). / Or rotation) is detected (20020). For example, as described with respect to FIGS. 15W-15X, the movement of the
いくつかの実施形態では、第１のユーザーインターフェース領域における仮想オブジェクトと、仮想オブジェクトへ適用可能な複数のオブジェクト操作タイプのうちの第１のオブジェクト操作タイプとの表現が、仮想オブジェクトのために現在選択されていることを表示している間、デバイスは、仮想オブジェクトへ適用可能な別のオブジェクト操作タイプへ切り換える要求を検出する（例えば、１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所における接触（例えば、水平方向における接触の移動を含む）によるスワイプ入力を検出する）（２００２４）。例えば、図１５ＡＧに関して説明されるように、時計回りの回転制御１５１７０が現在選択されている一方、（仮想オブジェクト１５１６０を反時計回りに回転させるために）反時計回り回転制御１５１８０へ切り換えるためのスワイプ入力が選択される。仮想オブジェクトへ適用可能な別のオブジェクト操作タイプへ切り換えるための要求を検出することに応じて、デバイスは、仮想オブジェクトへ適用可能な複数のオブジェクト操作タイプの中から、第２のオブジェクト操作タイプを命名する音声出力（例えば、音声出力は、「オブジェクトをｘ軸の周りに回転させて下さい」、「オブジェクトをリサイズして下さい」、又は「プレーン上でオブジェクトを移動させて下さい」等と言うアナウンスメントを含む）を生成し、第２のオブジェクト操作タイプは、第１のオブジェクト操作タイプとは異なる（２００２６）。例えば、図１５ＡＨにおいて、図１５ＡＧに関して説明された要求の検出に応じて、アナウンスメント１５１８４（「選択されました：反時計回りに回転させて下さい」）を含む音声警報１５１８２が生成される。いくつかの実施形態では、デバイスは、同じ方向における連続したスワイプ入力に応じて、所定の適用可能なオブジェクト操作タイプのリストを反復する。いくつかの実施形態では、直前のスワイプ入力から逆方向におけるスワイプ入力を検出することに応じて、デバイスは、仮想オブジェクトへ提供可能な、以前にアナウンスされたオブジェクト操作タイプ（例えば、最後にアナウンスされたオブジェクト操作タイプの前のもの）を命名するアナウンスメントを含む音声出力を生成する。いくつかの実施形態では、デバイスは、仮想オブジェクトへ適用可能な各オブジェクト操作タイプのための対応する制御を表示しない（例えば、ジェスチャによって開始される動作（例えば、回転、リサイズ、変換等）のために表示されたボタン又は制御は存在しない）。オブジェクト操作タイプを切り換える要求に応じて音声出力を生成することは、切換動作が実行されたことを示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、切換入力が成功裡に実行されたことを確認する情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the representation of the virtual object in the first user interface area and the first object operation type of the plurality of object operation types applicable to the virtual object is currently selected for the virtual object. While displaying that, the device detects a request to switch to another object operation type applicable to the virtual object (eg, a first user displaying a representation of the field of view of one or more cameras). Detects swipe inputs due to contact (eg, including movement of the contact in the horizontal direction) at a location on the touch sensitive surface corresponding to a portion of the interface area) (20024). For example, as described with respect to FIG. 15AG, a swipe to switch to counterclockwise rotation control 15180 (to rotate the
いくつかの実施形態では、仮想オブジェクトへ適用可能な複数のオブジェクト操作タイプの中から、第２のオブジェクト操作タイプを命名する音声出力（例えば、音声出力は、「オブジェクトをｘ軸の周りに回転させて下さい」、「オブジェクトをリサイズして下さい」、又は「プレーン上でオブジェクトを移動させて下さい」等と言うアナウンスメントを含む）を生成した後（２００２８）、デバイスは、現在選択されているオブジェクト操作タイプに対応するオブジェクト操作挙動を実行するための要求を検出する（例えば、１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所における接触による二重タップ入力を検出する）。例えば、図１５ＡＨに関して説明されるように、仮想オブジェクト１１００２を反時計回りに回転させるための二重タップ入力が検出される。現在選択されているオブジェクト操作タイプに対応するオブジェクト操作挙動を実行するための要求を検出することに応じて、デバイスは、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行する（例えば、仮想オブジェクトをｙ軸の周りに５度回転させる、又は、オブジェクトのサイズを５％増加させる、又は、オブジェクトをプレーン上で２０画素移動させる）、（例えば、第２のオブジェクト操作タイプにしたがって第１のユーザーインターフェース領域における仮想オブジェクトの表現の表示を調節する）（２００３０）。例えば、図１５ＡＩにおいて、１５ＡＨに関して説明された要求の検出に応じて、仮想オブジェクト１１００２が、反時計回りに回転される。いくつかの実施形態では、デバイスは、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行することに加えて、仮想オブジェクトに関して実行されたオブジェクト操作挙動と、オブジェクト操作挙動の実行後、結果として得られる仮想オブジェクトの状態とを示すアナウンスメントを含む音声出力を出力する。例えば、図１５ＡＩにおいて、アナウンスメント１５１９２（「椅子が５度反時計回りに回転しました。椅子は今、スクリーンに対してゼロ度回転されました。」）を含む音声出力１５１９０が生成される。動作が選択されている間に検出された入力に応じてオブジェクト操作動作を実行することは、操作を実行するための追加の制御オプションを提供する（例えば、ユーザーが、２接触入力を必要とするのではなく、タップ入力を提供することによって操作を実行することを可能にする）。表示された追加制御でユーザーインターフェースを乱すことなく、入力を提供するための追加の制御オプションを提供することは、（例えば、マルチコンタクトジェスチャへ提供するための制限された能力を有するユーザーへ、オブジェクトを操作するためのオプションを提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, an audio output naming a second object manipulation type from among a plurality of object manipulation types applicable to a virtual object (eg, the audio output "rotates the object around the x-axis". After generating (including announcements such as "Please", "Please resize the object", or "Move the object on the plane") (20028), the device is the currently selected object. Object corresponding to the operation type A location on the touch-sensitive surface that corresponds to a portion of the first user interface area that displays a representation of the field of view of one or more cameras (eg, displaying a representation of the field of view of one or more cameras) to detect a request to perform an operation behavior. Detects double tap input due to contact in). For example, as described with respect to FIG. 15AH, a double tap input for rotating the virtual object 1102 counterclockwise is detected. In response to detecting a request to perform an object operation behavior corresponding to the currently selected object operation type, the device performs the object operation behavior corresponding to the second object operation type (eg, virtual). Rotate the
いくつかの実施形態では、仮想オブジェクトへ適用可能な別のオブジェクト操作タイプへ切り換えるための要求を検出することに応じて（２００３２）、第２のオブジェクト操作タイプが連続的に調節可能な操作タイプであるとの判定にしたがって、デバイスは、第２のオブジェクト操作タイプが連続的に調節可能な操作タイプであることを示すために、第２のオブジェクト操作タイプを命名する音声出力と連携して音声警報を生成し（例えば、第２のオブジェクト操作タイプを命名するオーディオアナウンスメント（例えば、オブジェクトをｙ軸の周りに時計回りに回転させて下さい）の後、「調節可能」と言う音声出力を出力し）、デバイスは、（例えば、１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所における接触によって二重タップ入力を検出した後、）１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所におけるスワイプ入力を検出することを含む、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行するための要求を検出し、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行するための要求を検出することに応じて、デバイスは、スワイプ入力の大きさに対応する量、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行する（例えば、スワイプ入力の大きさが、第１の量であるか、第１の量よりも大きい第２の量であるかに依存して、仮想オブジェクトをｙ軸の周りに５度又は１０度回転させるか、又は、オブジェクトのサイズを、５％又は１０％増加させるか、又は、オブジェクトをプレーン上で２０画素又は４０画素移動させる）。例えば、図１５Ｊ～図１５Ｋに関して説明されるように、時計回りの回転制御１５０３８が現在選択されている間、ズーム制御１５０６４へ切り換えるスワイプ入力が検出される。アナウンスメント１５０６８（「スケール：調節可能」）を含む音声警報１５０６６が生成される。図１５Ｋ～図１５Ｌに関して説明されるように、仮想オブジェクト１１００２へズームインするためのスワイプ入力が検出され、この入力に応じて、仮想オブジェクト１１００２に対してズーム動作が実行される（図１５Ｋ～図１５Ｌの例示的な例では、ステージングビューインターフェース６０１０が表示されている間、連続的に調節可能な操作のための入力が検出されるが、１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所において類似の入力が検出され得ることが認識されるであろう）。いくつかの実施形態では、デバイスは、第２のオブジェクト操作挙動を実行することに加えて、仮想オブジェクトに関して実行されたオブジェクト操作挙動の量と、その量までのオブジェクト操作挙動の実行後、結果として得られる仮想オブジェクトの状態とを示すオーディオアナウンスメントを出力する。スワイプ入力に応じてオブジェクト操作動作を実行することは、動作を実行するための追加の制御オプションを提供する（例えば、２接触入力を必要とするのではなく、スワイプ入力を提供することによって、ユーザーが操作を実行することを可能にする）。表示された追加の制御でユーザーインターフェースを乱すことなく、入力を提供するための追加の制御オプションを提供することは、（例えば、マルチコンタクトジェスチャを提供する制限された能力を有するユーザーへ、オブジェクトを操作するためのオプションを提供することによって、）ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the second object operation type is a continuously adjustable operation type in response to detecting a request to switch to another object operation type applicable to the virtual object (20032). According to the determination to be, the device performs a voice alert in conjunction with a voice output naming the second object operation type to indicate that the second object operation type is a continuously adjustable operation type. (For example, an audio announcement naming a second object operation type (eg, rotate the object clockwise around the y-axis), then output an audio output that says "adjustable". ), The device (eg, after detecting a double tap input by contact at a location on the touch sensitive surface corresponding to a portion of the first user interface area displaying a representation of the field of view of one or more cameras). ) Corresponds to a second object operation type, including detecting a swipe input at a location on the touch sensitive surface that corresponds to a portion of the first user interface area that displays a representation of the field of view of one or more cameras. In response to detecting a request to perform an object operation behavior and a request to perform an object operation behavior corresponding to the second object operation type, the device corresponds to the size of the swipe input. Amount, performing object manipulation behavior corresponding to a second object manipulation type (eg, whether the swipe input is a first quantity or a second quantity larger than the first quantity). Depending on whether you rotate the
いくつかの実施形態では、第１のユーザーインターフェース領域において仮想オブジェクトの表現を表示する前に、デバイスは、第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）において仮想オブジェクトの表現を表示し、第２のユーザーインターフェース領域は、１つ以上のカメラの視野の表現を含んでいない（例えば、第２のユーザーインターフェース領域は、カメラの視野においてキャプチャされた物理的環境において検出されたプレーンに対する固定された関係を維持することなく、仮想オブジェクトが操作（例えば、回転、リサイズ、及び移動）され得るステージングユーザーインターフェースである）（２００３４）。第２のユーザーインターフェース領域における仮想オブジェクトと、仮想オブジェクトへ適用可能な複数の動作のうちの第１の動作との表現が、仮想オブジェクトのために現在選択されていることを表示している間、デバイスは、（例えば、第２のユーザーインターフェース領域における仮想オブジェクトへ適用可能なオブジェクト操作タイプ（例えば、リサイズ、回転、傾斜等）へ、又は、第２のユーザーインターフェース領域における仮想オブジェクトへ適用可能なユーザーインターフェース動作（例えば、２Ｄユーザーインターフェースへ戻る、物理的環境における拡張現実ビューへオブジェクトをドロップする）へ切り換える要求を含む）仮想オブジェクトへ適用可能な別の動作へ切り換える要求を検出する（例えば、第１のユーザーインターフェース領域に対応するタッチ感知面上の場所における接触（例えば、水平方向における接触の移動を含む）によるスワイプ入力を検出することを含む要求を検出すること）（２００３６）。例えば、図１５Ｆ～図１５Ｇに関して説明されるように、ステージングユーザーインターフェース６０１０が表示され、チルトダウン制御１５０２２が現在選択されている間、時計回り制御１５０３８へ切り換えるためのスワイプ入力が検出される。第２のユーザーインターフェース領域において仮想オブジェクトへ適用可能な別の動作へ切り換える要求を検出することに応じて、デバイスは、仮想オブジェクトへ適用可能な複数の動作のうち第２の動作を命名する音声出力を生成し（例えば、音声出力は、「ｘ軸の周りにオブジェクトを回転させて下さい」、「オブジェクトをリサイズして下さい」、「ディスプレイへ向けてオブジェクトを傾けて下さい」、又は「拡張現実ビューでオブジェクトを表示して下さい」等）と言うアナウンスメントを含む）、第２の動作は、第１の動作とは異なる（２００３８）。いくつかの実施形態では、デバイスは、同じ方向における連続したスワイプ入力に応じて、所定の適用可能な動作のリストを反復する。例えば、図１５Ｇでは、図１５Ｆに関して説明された要求の検出に応じて、アナウンスメント１５０４２（「選択されました：時計回り回転ボタン」）を含む音声警報１５０４０が生成される。操作タイプを切り換える要求に応じて、選択された操作タイプを命名する音声出力を生成することは、切換入力が成功裡に受信されたことを示すフィードバックをユーザーへ提供する。操作タイプを切り換える要求に応じて、選択された動作タイプを命名する音声出力を生成することは、切換入力が成功裡に受信されたことを示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、選択された制御が変更された場合をユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device displays a representation of the virtual object in a second user interface area (eg, a staging user interface) before displaying the representation of the virtual object in the first user interface area. The two user interface areas do not contain a representation of the field of view of one or more cameras (eg, the second user interface area is fixed relative to the plane detected in the physical environment captured in the field of view of the camera. A staging user interface in which virtual objects can be manipulated (eg, rotated, resized, and moved) without maintaining relationships) (20034). While displaying that the representation of the virtual object in the second user interface area and the first of the plurality of actions applicable to the virtual object is currently selected for the virtual object. The device is a user applicable to an object operation type (eg, resizing, rotating, tilting, etc.) applicable to a virtual object in the second user interface area, or to a virtual object in the second user interface area. Detects a request to switch to another behavior applicable to a virtual object (eg, including a request to switch back to an interface behavior (eg, returning to a 2D user interface, dropping an object into an augmented reality view in a physical environment)) (eg, first. Detecting a request involving detecting a swipe input due to a contact (eg, including movement of the contact in the horizontal direction) at a location on the touch sensitive surface corresponding to the user interface area of the (20003). For example, as described with respect to FIGS. 15F-15G, the staging
いくつかの実施形態では、第１のユーザーインターフェース領域において仮想オブジェクトの表現を表示する前に（２００４０）、１つ以上のカメラの視野の表現を含まない第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）（例えば、第２のユーザーインターフェース領域は、物理的環境におけるプレーンに対して固定された関係を維持することなく、仮想オブジェクトが操作（例えば、回転、リサイズ、及び移動）され得るステージングユーザーインターフェース領域である）において仮想オブジェクトの表現を表示している間、デバイスは、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域における仮想オブジェクトの表現を表示するための要求を検出する（例えば、現在選択されている動作が「拡張現実ビューにおいてオブジェクトを表示して下さい」である場合、及び、デバイスが、（例えば、二重タップ入力の直前に受信された）スワイプ入力に応じて、現在選択されている動作を命名するオーディオアナウンスメントを丁度出力した後、二重タップ入力を検出する）。例えば、図１５Ｐ～図１５Ｖに関して説明されるように、ステージングユーザーインターフェース６０１０が表示され、トグル制御６０１８が選択されている間、１つ以上のカメラの視野６０３６の表現を含むユーザーインターフェース領域へ、仮想オブジェクト１１００２の表現を表示するために二重タップ入力が検出される。１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内で、仮想オブジェクトの表現を表示するための要求を検出することに応じて、デバイスは、仮想オブジェクトの表現と、１つ以上のカメラの視野においてキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的な関係にしたがって、第１のユーザーインターフェース領域内に、仮想オブジェクトの表現を表示し（例えば、仮想オブジェクトが、拡張現実ビューにおいて表現された物理的環境へドロップされた場合、ステージングビューにおける仮想オブジェクトの回転角度及びサイズが、拡張現実ビューにおいて維持され、視野においてキャプチャされた物理的環境において検出されたプレーンの向きにしたがって、拡張現実ビューにおける傾斜角度がリセットされる）、デバイスは、仮想オブジェクトが、１つ以上のカメラの視野においてキャプチャされた物理的環境に関して拡張現実ビューに配置されたことを示す第４の音声警報を生成する。例えば、図１５Ｖに関して説明されるように、１つ以上のカメラの視野６０３６の表現を含むユーザーインターフェース領域内に、仮想オブジェクト１１００２の表現を表示するための入力に応じて、仮想オブジェクト１１００２の表現が、１つ以上のカメラの視野６０３６を含むユーザーインターフェース領域内に表示され、アナウンスメント１５１１６（「椅子は今、ワールドに投影され、１００パーセント見え、スクリーンの１０パーセントを占有しています」）を含む音声警報１５１１４が生成される。拡張現実ビューにオブジェクトを配置するための要求に応じて音声出力を生成することは、仮想オブジェクトを配置する動作が成功裡に実行されたことを示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、拡張現実ビューにオブジェクトが表示されたことをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, prior to displaying the representation of the virtual object in the first user interface region (20040), a second user interface region (eg, a staging user) that does not include a representation of the field of view of one or more cameras. Interface) (eg, a second user interface area is a staging user interface where virtual objects can be manipulated (eg, rotated, resized, and moved) without maintaining a fixed relationship to the plane in the physical environment. While displaying the representation of the virtual object in the area), the device detects a request to display the representation of the virtual object in the first user interface area, including the representation of the field of view of one or more cameras. (For example, if the currently selected action is "Show object in augmented reality view", and the device responds to a swipe input (eg, received just before a double tap input). , Detects double-tap input after just outputting an audio announcement naming the currently selected action). For example, as described with respect to FIGS. 15P-15V, while the
いくつかの実施形態では、第３の音声警報は、１つ以上のカメラの視野の一部に対する仮想オブジェクトの外観についての情報を示す（例えば、第３の音声警報は、「オブジェクトｘはワールドに配置され、オブジェクトｘは３０％見え、スクリーンの９０％を占有しています。」と言うアナウンスメントを含む音声出力を含む。）（２００４２）。例えば、図１５Ｖに関して説明されるように、アナウンスメント１５１１６（「椅子は今、ワールドに投影され、１００パーセント見え、スクリーンの１０％を占有しています」）を含む音声警報１５１１４が生成される。表示された拡張現実ビューに対して見える仮想オブジェクトの外観を示す音声出力を生成することは、（例えば、拡張現実ビューにおけるオブジェクトの配置が仮想オブジェクトの外観へ影響を与えた程度を示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、拡張現実ビューにおいて、オブジェクトが、どのように表示されているのかをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the third voice alert indicates information about the appearance of the virtual object for a portion of the field of view of one or more cameras (eg, the third voice alert is "object x is in the world". Arranged, the object x is 30% visible and occupies 90% of the screen, including audio output with an announcement.) (20042). For example, as described with respect to FIG. 15V, a
いくつかの実施形態では、デバイスは、１つ以上のカメラの視野においてキャプチャされた物理的環境に関して拡張現実ビューにおける仮想オブジェクトの配置と連携して触知出力を生成する（２００４４）。例えば、オブジェクトが、カメラの視野内で検出されたプレーンに配置された場合、デバイスは、プレーン上へのオブジェクトのランディングを示す触知出力を生成する。いくつかの実施形態では、デバイスは、オブジェクトが、オブジェクトのリサイズ中に、所定のデフォルトサイズに達した場合に、触知出力を生成する。いくつかの実施形態では、デバイスは、仮想オブジェクトに関して実行される各動作のために（例えば、事前設定された角度量までの各回転のために、異なるプレーン上へ仮想オブジェクトをドラッグするために、オブジェクトを元の向き及び／又はサイズへリセットする等のために）触知出力を生成する。いくつかの実施形態では、これら触知出力は、実行された動作を説明する対応する音声警報と、仮想オブジェクトの結果状態とに先行する。例えば、図１５Ｖに関して説明されるように、触知出力１５１１８は、１つ以上のカメラの視野６０３６における仮想オブジェクト１１００２の配置と連携して生成される。１つ以上のカメラによってキャプチャされた物理的環境に対する仮想オブジェクトの配置と連携して触知出力を生成することは、（例えば、仮想オブジェクトを配置する動作が成功裡に実行されたことを示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された情報でユーザーインターフェースを乱すことなく、仮想オブジェクトの配置がなされたことをユーザーが感知することを可能にするセンサ情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device produces a tactile output in conjunction with the placement of virtual objects in an augmented reality view with respect to the physical environment captured in the field of view of one or more cameras (20044). For example, if an object is placed on a plane detected within the field of view of the camera, the device produces a tactile output indicating the landing of the object on the plane. In some embodiments, the device produces a tactile output when the object reaches a predetermined default size while resizing the object. In some embodiments, the device drags the virtual object onto a different plane for each action performed on the virtual object (eg, for each rotation up to a preset amount of angle). Generate a tactile output (for resetting the object to its original orientation and / or size, etc.). In some embodiments, these tactile outputs precede a corresponding voice alert that describes the action performed and the resulting state of the virtual object. For example, as described with respect to FIG. 15V, the
いくつかの実施形態では、デバイスは、１つ以上のカメラの視野の表現と同時に（例えば、第１のユーザーインターフェース領域内の異なる場所において表示された複数の制御のうち）第１の制御を、第１のユーザーインターフェース領域内の第１の場所において表示する（２００４６）。制御フェージング基準が満たされている（例えば、タッチ入力がタッチ感知面において検出されることなく、第１のユーザーインターフェース領域が、少なくとも閾値時間表示された場合に、制御フェージング基準が満たされている）との判定にしたがって、デバイスは、第１のユーザーインターフェース領域内に、１つ以上のカメラの視野の表現の表示を維持しながら、第１のユーザーインターフェース領域内に、（例えば、第１のユーザーインターフェース領域内に、他のすべての制御とともに）第１の制御を表示することを停止する（例えば、ユーザーが物理的環境に対してデバイスを移動させた場合、制御は再表示されない）（２００４８）。第１のユーザーインターフェース領域内に第１の制御を表示することなく、第１のユーザーインターフェース領域を表示している間、デバイスは、第１のユーザーインターフェース領域内の第１の場所に対応するタッチ感知面上のそれぞれの場所においてタッチ入力を検出する（２００５０）。タッチ入力の検出に応じて、デバイスは、第１の制御（例えば、「ステージングビューへ戻る」又は「オブジェクトをｙ軸の周りに回転させる」）に対応する動作を指定する音声出力を含む第５の音声警報を生成する（２００５２）。いくつかの実施形態では、デバイスはまた、タッチ入力を検出することに応じて、第１の場所において、第１の制御を再表示する。いくつかの実施形態では、ディスプレイ上の制御の通常の場所においてタッチ入力がなされると、制御を再表示し、制御を、現在選択されている制御にすることは、ユーザーがディスプレイ上の制御の場所を認識すると、制御にアクセスするために、一連のスワイプ入力を使用して利用可能な制御をスキャンするよりも、より迅速な手法を提供する。制御フェージング基準が満たされていることを判定することに応じて、制御を表示することを自動的に停止することは、制御の表示を停止するために必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device has a first control (eg, among a plurality of controls displayed at different locations within the first user interface area) at the same time as the representation of the field of view of one or more cameras. Displayed at a first location within the first user interface area (20046). The control fading criteria are met (eg, the control fading criteria are met if the first user interface area is displayed for at least a threshold time without the touch input being detected on the touch sensitive surface). According to the determination, the device is in the first user interface area (eg, the first user) while maintaining the display of the visual field representation of one or more cameras in the first user interface area. Stop displaying the first control (with all other controls in the interface area) (eg, if the user moves the device to the physical environment, the controls will not reappear) (20004). .. While displaying the first user interface area without displaying the first control in the first user interface area, the device touches the first location in the first user interface area. Touch inputs are detected at each location on the sensing surface (20050). In response to the detection of touch input, the device includes a fifth audio output that specifies the action corresponding to the first control (eg, "return to staging view" or "rotate the object around the y-axis"). Generates a voice alert (20052). In some embodiments, the device also redisplays the first control in the first place in response to detecting the touch input. In some embodiments, when a touch input is made in the normal location of the control on the display, it is possible for the user to redisplay the control and make the control the currently selected control. Recognizing the location provides a faster way to access the controls than scanning the available controls using a series of swipe inputs. Automatically stopping the display of controls in response to determining that the control fading criteria are met reduces the number of inputs required to stop displaying the controls. Reducing the number of inputs required to perform an operation enhances the usability of the device and makes the user device interface more efficient. It also reduces power consumption and improves device battery life by allowing users to use the device faster and more efficiently.
図２０Ａ～図２０Ｆにおける動作が説明されている特定の順序は単なる例であり、説明された順序は、動作が実行され得る唯一の順序を示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１７０００、１８０００、及び２００００）に関して本明細書で説明された他の処理の詳細はまた、図２０Ａ～図２０Ｆに関して上述された方法２００００へ類似した方式でも適用可能であることが理解されるべきである。例えば、方法２００００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１７０００、１８０００、及び１９０００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡潔のために、これら詳細は、本明細書では繰り返されない。
It should be understood that the particular order in which the actions in FIGS. 20A-20F are described is merely an example and the described order is not intended to indicate the only order in which the actions can be performed. be. Those of skill in the art will recognize various techniques for reordering the operations described herein. In addition, details of the other processes described herein with respect to the other methods described herein (eg,
図８Ａ～図８Ｅ、図９Ａ～図９Ｄ、図１０Ａ～図１０Ｄ、図１６Ａ～図１６Ｇ、図１７Ａ～図１７Ｄ、図１８Ａ～図１８Ｉ、図１９Ａ～図１９Ｈ、及び図２０Ａ～図２０Ｆを参照して上述された動作は、オプションで、図１Ａ～図１Ｂに図示されたコンポーネントによって実施される。例えば、表示動作８０２、８０６、９０２、９０６、９１０、１００４、１００８、１６００４、１７００４、１８００２、１９００２、及び２０００２、検出動作８０４、９０４、９０８、１７００６、１８００４、１９００４、及び２０００４、変更動作９１０、受信動作１００２、１００６、１６００２、及び１７００２、停止動作１７００８、回転動作１８００６、更新動作１９００６、調節動作２０００６、及び生成動作２０００６は、オプションで、イベントソータ１７０、イベントレコグナイザ１８０、イベントハンドラ１９０によって実施される。イベントソータ１７０におけるイベントモニタ１７１は、タッチ感知ディスプレイ１１２上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６－１へ伝達する。アプリケーション１３６－１のそれぞれのイベントレコグナイザ１８０は、イベント情報を、それぞれのイベント定義１８６と比較し、タッチ感知面上の第１の場所における第１の接触（又は、デバイスの回転）が、ユーザーインターフェース上のオブジェクトの選択、又は、１つの向きから別の向きへのデバイスの回転のような所定のイベント又はサブイベントに対応するか否かを判定する。所定のそれぞれのイベント又はサブイベントが検出された場合、イベントレコグナイザ１８０は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ１９０を活性化する。イベントハンドラ１９０は、オプションで、アプリケーション内部状態１９２を更新するために、データ更新部１７６又はオブジェクト更新部１７７を使用するか、又は呼び出す。いくつかの実施形態では、イベントハンドラ１９０は、アプリケーションによって表示されているものを更新するために、それぞれのＧＵＩ更新部１７８へアクセスする。同様に、他の処理が、図１Ａ～図１Ｂに描写されたコンポーネントに基づいてどのようにして実施され得るかが当業者に明らかになるだろう。
8A-8E, 9A-9D, 10A-10D, 16A-16G, 17A-17D, 18A-18I, 19A-19H, and 20A-20F. The above-mentioned operations are optionally performed by the components illustrated in FIGS. 1A-1B. For example,
前述した説明は、説明の目的のために、特定の実施形態に関して説明されている。しかしながら、上記の例示的な議論は、網羅的であるとも、又は、開示された正確な形態に本発明を限定するとも意図されていない。上記の教示を考慮して、多くの修正及び変形が可能である。実施形態は、本発明の原理及びその実際のアプリケーションを最も良く説明するために、そしてこれによって、当業者が、本発明及び説明された様々な実施形態を、考慮される特定の用途へ適合されているような様々な修正を用いて、最も良く使用することを可能にするために、選択され説明された。 The above description has been described for a particular embodiment for purposes of explanation. However, the above exemplary discussion is neither exhaustive nor intended to limit the invention to the exact forms disclosed. Many modifications and modifications are possible in light of the above teachings. Embodiments are adapted to best illustrate the principles of the invention and its practical application, and thereby those skilled in the art, the present invention and the various embodiments described, to the particular application considered. Selected and described to allow for best use, with various modifications such as.
Claims (18)
第１のユーザーインターフェース領域に仮想三次元オブジェクトの第１の視点の表現を前記表示生成コンポーネントにより表示することと、
ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想三次元オブジェクトの前記第１の視点の前記表現を表示している間に、前記仮想三次元オブジェクトの前記第１の視点からは視認不能である前記仮想三次元オブジェクトの一部分を表示するための、表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出することと、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量であって、前記第１の軸に対する閾値回転量を上回る前記仮想三次元オブジェクトの回転を制限する、移動に対する限界により制約された量だけ、前記第１の軸に対して前記仮想三次元オブジェクトを回転させることと、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応するとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量だけ前記第２の軸に対して前記仮想三次元オブジェクトを回転させることであって、個別の閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させることと、
前記第１の入力の終わりを検出することと、
前記第１の入力の前記終わりを検出した後で、前記入力の前記終わりを検出する前の前記第１の入力の大きさに基づいて前記三次元オブジェクトを回転させ続けることであって、
前記三次元オブジェクトが前記第１の軸に対して回転しているとの判定にしたがって、前記第１の軸に対する前記オブジェクトの前記回転を、前記第１の軸に対する前記三次元オブジェクトの前記回転の大きさに比例する第１の量だけ減速させること、及び
前記三次元オブジェクトが前記第２の軸に対して回転しているとの判定にしたがって、前記第２の軸に対する前記オブジェクトの前記回転を、前記第２の軸に対する前記三次元オブジェクトの前記回転の大きさに比例する第２の量だけ減速させること、を含み、前記第２の量が、前記第１の量とは異なる、ことと、
を含む、方法。 In a device having a display generation component and one or more input devices including a touch sensitive surface.
Displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area by the display generation component, and
While displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area on the display, it is invisible from the first viewpoint of the virtual three-dimensional object. To detect the first input corresponding to the request to rotate the virtual 3D object with respect to the display for displaying a part of the virtual 3D object.
In response to detecting the first input,
An amount determined based on the size of the first input according to the determination that the first input corresponds to the requirement to rotate the three-dimensional object around the first axis. Rotating the virtual 3D object with respect to the 1st axis by an amount constrained by the limit to movement, which limits the rotation of the virtual 3D object in excess of the threshold rotation amount with respect to the 1st axis. When,
Determined based on the size of the first input, according to the determination that the first input corresponds to a request to rotate the three-dimensional object around a second axis different from the first axis. By rotating the virtual 3D object with respect to the second axis by a given amount, the device transfers the virtual 3D object to the second for an input having a magnitude exceeding an individual threshold. Rotating by an amount exceeding the threshold rotation amount with respect to the axis of
Detecting the end of the first input and
After detecting the end of the first input, the three-dimensional object is continuously rotated based on the size of the first input before detecting the end of the input.
According to the determination that the 3D object is rotating with respect to the 1st axis, the rotation of the object with respect to the 1st axis is the rotation of the 3D object with respect to the 1st axis. Decelerate by a first amount proportional to size, and
According to the determination that the 3D object is rotating with respect to the 2nd axis, the rotation of the object with respect to the 2nd axis is the rotation of the 3D object with respect to the 2nd axis. That the second amount is different from the first amount, including decelerating by a second amount proportional to the magnitude.
Including, how.
第１のユーザーインターフェース領域に仮想三次元オブジェクトの第１の視点の表現を前記表示生成コンポーネントにより表示することと、
ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想三次元オブジェクトの前記第１の視点の前記表現を表示している間に、前記仮想三次元オブジェクトの前記第１の視点からは視認不能である前記仮想三次元オブジェクトの一部分を表示するための、表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出することと、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量であって、前記第１の軸に対する閾値回転量を上回る前記仮想三次元オブジェクトの回転を制限する、移動に対する限界により制約された量だけ、前記第１の軸に対して前記仮想三次元オブジェクトを回転させることと、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応するとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量だけ前記第２の軸に対して前記仮想三次元オブジェクトを回転させることであって、個別の閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させることと、
前記第１の入力が、第１の方向へのタッチ感知面にわたる接触の第１の移動を含み、前記第１の方向への前記接触の前記第１の移動が、前記仮想オブジェクトの前記表現を前記第１の軸に対して回転させる第１の基準を満足するとの判定にしたがって、前記第１の入力が前記三次元オブジェクトを前記第１の軸の周りで回転させる要求に対応していると判定することであって、前記第１の基準が満たされるためには前記第１の入力が前記第１の方向への第１の閾値移動量を超える移動を含む、という要件を前記第１の基準が含む、ことと、
前記第１の入力が、第２の方向への前記タッチ感知面にわたる前記接触の第２の移動を含み、前記第２の方向の前記接触の前記第２の移動が、前記仮想オブジェクトの前記表現を前記第２の軸に対して回転させる第２の基準を満足するとの判定にしたがって、前記第１の入力が前記三次元オブジェクトを前記第２の軸の周りで回転させる要求に対応していると判定することであって、前記第２の基準が満たされるためには前記第１の入力が前記第２の方向への第２の閾値移動量を超える移動を含む、という要件を前記第２の基準が含み、前記第１の閾値が、前記第２の閾値より大きい、ことと、
を含む、方法。 In a device having a display generation component and one or more input devices including a touch sensitive surface.
Displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area by the display generation component, and
While displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area on the display, it is invisible from the first viewpoint of the virtual three-dimensional object. To detect the first input corresponding to the request to rotate the virtual 3D object with respect to the display for displaying a part of the virtual 3D object.
In response to detecting the first input,
An amount determined based on the size of the first input according to the determination that the first input corresponds to the requirement to rotate the three-dimensional object around the first axis. Rotating the virtual 3D object with respect to the 1st axis by an amount constrained by the limit to movement, which limits the rotation of the virtual 3D object in excess of the threshold rotation amount with respect to the 1st axis. When,
Determined based on the size of the first input, according to the determination that the first input corresponds to a request to rotate the three-dimensional object around a second axis different from the first axis. By rotating the virtual 3D object with respect to the second axis by a given amount, the device transfers the virtual 3D object to the second for an input having a magnitude exceeding an individual threshold. Rotating by an amount exceeding the threshold rotation amount with respect to the axis of
The first input comprises a first movement of the contact across the touch-sensitive surface in the first direction, and the first movement of the contact in the first direction represents the representation of the virtual object. According to the determination that the first criterion of rotation with respect to the first axis is satisfied, the first input corresponds to the request to rotate the three-dimensional object around the first axis. The first requirement is to determine that, in order for the first criterion to be met, the first input includes movement that exceeds the first threshold movement amount in the first direction. The criteria include, and
The first input includes a second movement of the contact across the touch-sensitive surface in a second direction, and the second movement of the contact in the second direction is the representation of the virtual object. The first input corresponds to the request to rotate the three-dimensional object around the second axis according to the determination that the second criterion of rotating the object with respect to the second axis is satisfied. The second criterion is that the first input includes a movement exceeding the second threshold movement amount in the second direction in order for the second criterion to be satisfied. The criteria of the above include that the first threshold value is larger than the second threshold value.
Including , how.
第１のユーザーインターフェース領域に仮想三次元オブジェクトの第１の視点の表現を前記表示生成コンポーネントにより表示することと、
ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想三次元オブジェクトの前記第１の視点の前記表現を表示している間に、前記仮想三次元オブジェクトの前記第１の視点からは視認不能である前記仮想三次元オブジェクトの一部分を表示するための、表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出することと、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量であって、前記第１の軸に対する閾値回転量を上回る前記仮想三次元オブジェクトの回転を制限する、移動に対する限界により制約された量だけ、前記第１の軸に対して前記仮想三次元オブジェクトを回転させることと、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応するとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量だけ前記第２の軸に対して前記仮想三次元オブジェクトを回転させることであって、個別の閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させることと、を含み、
前記第１の軸に対する前記仮想三次元オブジェクトの回転が、前記第１の入力の第１の入力パラメータの特性値と、前記第１の軸の周りで前記仮想三次元オブジェクトに適用される回転量との間の第１の対応度で発生し、
前記第２の軸に対する前記仮想三次元オブジェクトの回転が、第２の入力ジェスチャの前記第１の入力パラメータの前記特性値と、前記第２の軸の周りで仮想三次元オブジェクトに適用される回転量との間の第２の対応度で発生し、
前記第１の対応度は、前記第２の対応度よりも、前記第１の入力パラメータに対する前記仮想三次元オブジェクトの小さい回転を伴う、方法。 In a device having a display generation component and one or more input devices including a touch sensitive surface.
Displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area by the display generation component, and
While displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area on the display, it is invisible from the first viewpoint of the virtual three-dimensional object. To detect the first input corresponding to the request to rotate the virtual 3D object with respect to the display for displaying a part of the virtual 3D object.
In response to detecting the first input,
An amount determined based on the size of the first input according to the determination that the first input corresponds to the requirement to rotate the three-dimensional object around the first axis. Rotating the virtual 3D object with respect to the 1st axis by an amount constrained by the limit to movement, which limits the rotation of the virtual 3D object in excess of the threshold rotation amount with respect to the 1st axis. When,
Determined based on the size of the first input, according to the determination that the first input corresponds to a request to rotate the three-dimensional object around a second axis different from the first axis. By rotating the virtual 3D object with respect to the second axis by a given amount, the device transfers the virtual 3D object to the second for an input having a magnitude exceeding an individual threshold. Including rotating by an amount exceeding the threshold rotation amount with respect to the axis of
The rotation of the virtual 3D object with respect to the 1st axis is the characteristic value of the 1st input parameter of the 1st input and the amount of rotation applied to the virtual 3D object around the 1st axis. Occurs in the first degree of correspondence between and
The rotation of the virtual 3D object with respect to the 2nd axis is applied to the virtual 3D object around the 2nd axis with the characteristic value of the 1st input parameter of the 2nd input gesture. Occurs in a second degree of correspondence with the quantity,
The method, wherein the first degree of correspondence involves a smaller rotation of the virtual three-dimensional object with respect to the first input parameter than the second degree of correspondence.
第１のユーザーインターフェース領域に仮想三次元オブジェクトの第１の視点の表現を前記表示生成コンポーネントにより表示することと、
ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想三次元オブジェクトの前記第１の視点の前記表現を表示している間に、前記仮想三次元オブジェクトの前記第１の視点からは視認不能である前記仮想三次元オブジェクトの一部分を表示するための、表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出することと、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量であって、前記第１の軸に対する閾値回転量を上回る前記仮想三次元オブジェクトの回転を制限する、移動に対する限界により制約された量だけ、前記第１の軸に対して前記仮想三次元オブジェクトを回転させることと、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応するとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量だけ前記第２の軸に対して前記仮想三次元オブジェクトを回転させることであって、個別の閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させることと、
前記第１の入力の終わりを検出することと、
前記第１の入力の前記終わりを検出した後で、
前記三次元オブジェクトが前記第１の軸に対して個別の回転閾値を超えて回転したとの判定にしたがって、前記第１の軸に対する前記三次元オブジェクトの前記回転の少なくとも一部分を逆転させることと、
前記三次元オブジェクトが前記第１の軸に対して前記個別の回転閾値を超えて回転していないとの判定にしたがって、前記第１の軸に対する前記三次元オブジェクトの前記回転を逆転させることを見合わせることと、
を含む、方法。 In a device having a display generation component and one or more input devices including a touch sensitive surface.
Displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area by the display generation component, and
While displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area on the display, it is invisible from the first viewpoint of the virtual three-dimensional object. To detect the first input corresponding to the request to rotate the virtual 3D object with respect to the display for displaying a part of the virtual 3D object.
In response to detecting the first input,
An amount determined based on the size of the first input according to the determination that the first input corresponds to the requirement to rotate the three-dimensional object around the first axis. Rotating the virtual 3D object with respect to the 1st axis by an amount constrained by the limit to movement, which limits the rotation of the virtual 3D object in excess of the threshold rotation amount with respect to the 1st axis. When,
Determined based on the size of the first input, according to the determination that the first input corresponds to a request to rotate the three-dimensional object around a second axis different from the first axis. By rotating the virtual 3D object with respect to the second axis by a given amount, the device transfers the virtual 3D object to the second for an input having a magnitude exceeding an individual threshold. Rotating by an amount exceeding the threshold rotation amount with respect to the axis of
Detecting the end of the first input and
After detecting the end of the first input,
Reversing at least a portion of the rotation of the 3D object with respect to the 1st axis according to the determination that the 3D object has rotated beyond the individual rotation threshold with respect to the 1st axis.
The reversal of the rotation of the 3D object with respect to the 1st axis is postponed according to the determination that the 3D object has not rotated beyond the individual rotation threshold with respect to the 1st axis. That and
Including , how.
前記第１の軸及び／又は前記第２の軸に対する前記仮想三次元オブジェクトの前記回転にしたがって、前記影の前記表現の形状を変化させることと、を含む、請求項１から５のいずれか一項に記載の方法。 Displaying the representation of the shadow projected by the virtual three-dimensional object while displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area.
Any one of claims 1-5 , comprising changing the shape of the representation of the shadow in accordance with the rotation of the virtual three-dimensional object with respect to the first axis and / or the second axis. The method described in the section.
前記仮想三次元オブジェクトが、前記仮想三次元オブジェクトの所定の底部を明らかにする第２の視点で表示されているとの判定にしたがって、前記仮想三次元オブジェクトの前記第２の視点の前記表現とともに前記影の前記表現を表示することを見合わせることを含む、請求項６に記載の方法。 While rotating the virtual 3D object within the first user interface area
With the representation of the second viewpoint of the virtual three-dimensional object, according to the determination that the virtual three-dimensional object is displayed with a second viewpoint revealing a predetermined bottom of the virtual three-dimensional object. The method of claim 6 , comprising refraining from displaying said representation of the shadow.
前記第２の入力を検出したことに応答して、前記第１のユーザーインターフェース領域内に前記仮想三次元オブジェクトの所定の元の視点の表現を表示することと、を含む、請求項１から７のいずれか一項に記載の方法。 Detecting a second input corresponding to a request to reset the virtual 3D object in the 1st user interface area after rotating the virtual 3D object in the 1st user interface area. When,
Claims 1-7 , comprising displaying a representation of a predetermined original viewpoint of the virtual three-dimensional object within the first user interface area in response to detecting the second input. The method described in any one of the above.
前記第３の入力を検出したことに応答して、前記入力の大きさにしたがって、前記第１のユーザーインターフェース領域内で前記仮想三次元オブジェクトの前記表現のサイズを調整することと、を含む、請求項１から８のいずれか一項に記載の方法。 While displaying the virtual 3D object in the first user interface area, detecting a third input corresponding to a request to resize the virtual 3D object.
In response to detecting the third input, the size of the representation of the virtual three-dimensional object is adjusted within the first user interface area according to the magnitude of the input. The method according to any one of claims 1 to 8 .
第１のユーザーインターフェース領域に仮想三次元オブジェクトの第１の視点の表現を前記表示生成コンポーネントにより表示することと、
ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想三次元オブジェクトの前記第１の視点の前記表現を表示している間に、前記仮想三次元オブジェクトの前記第１の視点からは視認不能である前記仮想三次元オブジェクトの一部分を表示するための、表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出することと、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量であって、前記第１の軸に対する閾値回転量を上回る前記仮想三次元オブジェクトの回転を制限する、移動に対する限界により制約された量だけ、前記第１の軸に対して前記仮想三次元オブジェクトを回転させることと、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応するとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量だけ前記第２の軸に対して前記仮想三次元オブジェクトを回転させることであって、個別の閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させることと、
前記第１のユーザーインターフェース領域内に前記仮想三次元オブジェクトを表示している間に、前記仮想三次元オブジェクトをサイズ変更する要求に対応する第３の入力を検出することと、
前記第３の入力を検出したことに応答して、前記入力の大きさにしたがって、前記第１のユーザーインターフェース領域内で前記仮想三次元オブジェクトの前記表現のサイズを調整することと、
前記第１のユーザーインターフェース領域内で前記仮想三次元オブジェクトの前記表現の前記サイズを調整している間に、前記仮想三次元オブジェクトのサイズが前記仮想三次元オブジェクトの所定のデフォルト表示サイズに達したことを検出することと、
前記仮想三次元オブジェクトのサイズが前記仮想三次元オブジェクトの前記所定のデフォルト表示サイズに達したことを検出したことに応答して、前記仮想三次元オブジェクトが前記所定のデフォルト表示サイズで表示されていることを示す触知出力を生成することと、
を含む、方法。 In a device having a display generation component and one or more input devices including a touch sensitive surface.
Displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area by the display generation component, and
While displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area on the display, it is invisible from the first viewpoint of the virtual three-dimensional object. To detect the first input corresponding to the request to rotate the virtual 3D object with respect to the display for displaying a part of the virtual 3D object.
In response to detecting the first input,
An amount determined based on the size of the first input according to the determination that the first input corresponds to the requirement to rotate the three-dimensional object around the first axis. Rotating the virtual 3D object with respect to the 1st axis by an amount constrained by the limit to movement, which limits the rotation of the virtual 3D object in excess of the threshold rotation amount with respect to the 1st axis. When,
Determined based on the size of the first input, according to the determination that the first input corresponds to a request to rotate the three-dimensional object around a second axis different from the first axis. By rotating the virtual 3D object with respect to the second axis by a given amount, the device transfers the virtual 3D object to the second for an input having a magnitude exceeding an individual threshold. Rotating by an amount exceeding the threshold rotation amount with respect to the axis of
While displaying the virtual 3D object in the first user interface area, detecting a third input corresponding to a request to resize the virtual 3D object.
In response to detecting the third input, adjusting the size of the representation of the virtual three-dimensional object within the first user interface area according to the magnitude of the input.
While adjusting the size of the representation of the virtual 3D object within the first user interface area, the size of the virtual 3D object has reached a predetermined default display size of the virtual 3D object. To detect that and
The virtual 3D object is displayed in the predetermined default display size in response to detecting that the size of the virtual 3D object has reached the predetermined default display size of the virtual 3D object. To generate a tactile output that indicates that
Including , how.
第１のユーザーインターフェース領域に仮想三次元オブジェクトの第１の視点の表現を前記表示生成コンポーネントにより表示することと、
ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想三次元オブジェクトの前記第１の視点の前記表現を表示している間に、前記仮想三次元オブジェクトの前記第１の視点からは視認不能である前記仮想三次元オブジェクトの一部分を表示するための、表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出することと、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量であって、前記第１の軸に対する閾値回転量を上回る前記仮想三次元オブジェクトの回転を制限する、移動に対する限界により制約された量だけ、前記第１の軸に対して前記仮想三次元オブジェクトを回転させることと、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応するとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量だけ前記第２の軸に対して前記仮想三次元オブジェクトを回転させることであって、個別の閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させることと、
前記第１のユーザーインターフェース領域内に前記仮想三次元オブジェクトの第３の視点の表現を表示している間に、１つ以上のカメラの視野を含む第２のユーザーインターフェース領域内に前記仮想三次元オブジェクトを表示する要求に対応する第４の入力を検出することと、
前記第４の入力を検出したことに応答して、前記表示生成コンポーネントを介して、前記第２のユーザーインターフェース領域に含まれる前記１つ以上のカメラの前記視野の少なくとも一部分の上に前記仮想オブジェクトの表現を表示することと、を含み、前記１つ以上のカメラの前記視野が、前記１つ以上のカメラが位置している物理的環境のビューであり、前記仮想オブジェクトの前記表現を表示することが、
前記第１の軸の周りで所定の角度まで前記仮想三次元オブジェクトを回転させることと、
前記第２の軸に対する前記仮想三次元オブジェクトの現在角度を維持することと、を含む、
方法。 In a device having a display generation component, one or more input devices including a touch sensitive surface, and one or more cameras.
Displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area by the display generation component, and
While displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area on the display, it is invisible from the first viewpoint of the virtual three-dimensional object. To detect the first input corresponding to the request to rotate the virtual 3D object with respect to the display for displaying a part of the virtual 3D object.
In response to detecting the first input,
An amount determined based on the size of the first input according to the determination that the first input corresponds to the requirement to rotate the three-dimensional object around the first axis. Rotating the virtual 3D object with respect to the 1st axis by an amount constrained by the limit to movement, which limits the rotation of the virtual 3D object in excess of the threshold rotation amount with respect to the 1st axis. When,
Determined based on the size of the first input, according to the determination that the first input corresponds to a request to rotate the three-dimensional object around a second axis different from the first axis. By rotating the virtual 3D object with respect to the second axis by a given amount, the device transfers the virtual 3D object to the second for an input having a magnitude exceeding an individual threshold. Rotating by an amount exceeding the threshold rotation amount with respect to the axis of
While displaying the representation of the third viewpoint of the virtual three-dimensional object in the first user interface area, the virtual three-dimensional object is contained in a second user interface area including the field of view of one or more cameras. To detect the fourth input corresponding to the request to display the object,
In response to detecting the fourth input, the virtual object over at least a portion of the field of view of the one or more cameras contained in the second user interface area via the display generation component. The field of view of the one or more cameras is a view of the physical environment in which the one or more cameras are located, including displaying the representation of the virtual object. That
Rotating the virtual 3D object to a predetermined angle around the first axis,
Including maintaining the current angle of the virtual 3D object with respect to the second axis.
Method.
第１のユーザーインターフェース領域に仮想三次元オブジェクトの第１の視点の表現を前記表示生成コンポーネントにより表示することと、
ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想三次元オブジェクトの前記第１の視点の前記表現を表示している間に、前記仮想三次元オブジェクトの前記第１の視点からは視認不能である前記仮想三次元オブジェクトの一部分を表示するための、表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出することと、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量であって、前記第１の軸に対する閾値回転量を上回る前記仮想三次元オブジェクトの回転を制限する、移動に対する限界により制約された量だけ、前記第１の軸に対して前記仮想三次元オブジェクトを回転させることと、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応するとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量だけ前記第２の軸に対して前記仮想三次元オブジェクトを回転させることであって、個別の閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させることと、
前記第１のユーザーインターフェース領域内に前記仮想三次元オブジェクトの第４の視点の表現を表示している間に、前記仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースに戻る要求に対応する第５の入力を検出することと、
前記第５の入力を検出したことに応答して、
前記仮想三次元オブジェクトを回転させて、前記仮想三次元オブジェクトの前記二次元表現に対応する前記仮想三次元オブジェクトの視点を示すことと、
前記仮想三次元オブジェクトが前記仮想三次元オブジェクトの前記二次元表現に対応する個別の視点を示すように回転した後で、前記仮想三次元オブジェクトの前記二次元表現を表示することと、
を含む、方法。 In a device having a display generation component and one or more input devices including a touch sensitive surface.
Displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area by the display generation component, and
While displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area on the display, it is invisible from the first viewpoint of the virtual three-dimensional object. To detect the first input corresponding to the request to rotate the virtual 3D object with respect to the display for displaying a part of the virtual 3D object.
In response to detecting the first input,
An amount determined based on the size of the first input according to the determination that the first input corresponds to the requirement to rotate the three-dimensional object around the first axis. Rotating the virtual 3D object with respect to the 1st axis by an amount constrained by the limit to movement, which limits the rotation of the virtual 3D object in excess of the threshold rotation amount with respect to the 1st axis. When,
Determined based on the size of the first input, according to the determination that the first input corresponds to a request to rotate the three-dimensional object around a second axis different from the first axis. By rotating the virtual 3D object with respect to the second axis by a given amount, the device transfers the virtual 3D object to the second for an input having a magnitude exceeding an individual threshold. Rotating by an amount exceeding the threshold rotation amount with respect to the axis of
Respond to a request to return to a two-dimensional user interface that includes a two-dimensional representation of the virtual three-dimensional object while displaying a fourth-viewpoint representation of the virtual three-dimensional object within the first user interface region. Detecting the fifth input and
In response to detecting the fifth input,
Rotating the virtual three-dimensional object to show the viewpoint of the virtual three-dimensional object corresponding to the two-dimensional representation of the virtual three-dimensional object.
Displaying the two-dimensional representation of the virtual three-dimensional object after the virtual three-dimensional object has been rotated to indicate the individual viewpoint corresponding to the two-dimensional representation of the virtual three-dimensional object.
Including , how.
第１のユーザーインターフェース領域に仮想三次元オブジェクトの第１の視点の表現を前記表示生成コンポーネントにより表示することと、
ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想三次元オブジェクトの前記第１の視点の前記表現を表示している間に、前記仮想三次元オブジェクトの前記第１の視点からは視認不能である前記仮想三次元オブジェクトの一部分を表示するための、表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出することと、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量であって、前記第１の軸に対する閾値回転量を上回る前記仮想三次元オブジェクトの回転を制限する、移動に対する限界により制約された量だけ、前記第１の軸に対して前記仮想三次元オブジェクトを回転させることと、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応するとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量だけ前記第２の軸に対して前記仮想三次元オブジェクトを回転させることであって、個別の閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させることと、を含み、
前記方法がさらに、
前記仮想三次元オブジェクトの前記第１の視点の前記表現を表示する前に、個別の視点からの前記仮想三次元オブジェクトのビューの表現を含む前記仮想三次元オブジェクトの表現を含むユーザーインターフェースを表示することと、
前記仮想三次元オブジェクトの前記表現を表示している間に、前記仮想三次元オブジェクトを表示する要求を検出することと、
前記仮想三次元オブジェクトを表示する前記要求を検出したことに応答して、前記仮想三次元オブジェクトの前記表現の表示を、前記仮想三次元オブジェクトの前記表現の前記個別の視点に一致するように回転した前記仮想三次元オブジェクトで置き換えることと、
を含む、方法。 A method, in a device having a display generation component and one or more input devices including a touch sensitive surface.
Displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area by the display generation component, and
While displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area on the display, it is invisible from the first viewpoint of the virtual three-dimensional object. To detect the first input corresponding to the request to rotate the virtual 3D object with respect to the display for displaying a part of the virtual 3D object.
In response to detecting the first input,
An amount determined based on the size of the first input according to the determination that the first input corresponds to the requirement to rotate the three-dimensional object around the first axis. Rotating the virtual 3D object with respect to the 1st axis by an amount constrained by the limit to movement, which limits the rotation of the virtual 3D object in excess of the threshold rotation amount with respect to the 1st axis. When,
Determined based on the size of the first input, according to the determination that the first input corresponds to a request to rotate the three-dimensional object around a second axis different from the first axis. By rotating the virtual 3D object with respect to the second axis by a given amount, the device transfers the virtual 3D object to the second for an input having a magnitude exceeding an individual threshold. Including rotating by an amount exceeding the threshold rotation amount with respect to the axis of
The above method further
Before displaying the representation of the first viewpoint of the virtual three-dimensional object, display a user interface that includes a representation of the virtual three-dimensional object that includes a representation of the view of the virtual three-dimensional object from an individual viewpoint. That and
Detecting a request to display the virtual 3D object while displaying the representation of the virtual 3D object.
In response to detecting the request to display the virtual 3D object, the display of the representation of the virtual 3D object is rotated to match the individual viewpoint of the representation of the virtual 3D object. Replacing with the above virtual 3D object
Including , how.
第１のユーザーインターフェース領域に仮想三次元オブジェクトの第１の視点の表現を前記表示生成コンポーネントにより表示することと、
ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想三次元オブジェクトの前記第１の視点の前記表現を表示している間に、前記仮想三次元オブジェクトの前記第１の視点からは視認不能である前記仮想三次元オブジェクトの一部分を表示するための、表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出することと、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量であって、前記第１の軸に対する閾値回転量を上回る前記仮想三次元オブジェクトの回転を制限する、移動に対する限界により制約された量だけ、前記第１の軸に対して前記仮想三次元オブジェクトを回転させることと、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応するとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量だけ前記第２の軸に対して前記仮想三次元オブジェクトを回転させることであって、個別の閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させることと、を含み、
前記方法がさらに、
前記第１のユーザーインターフェース領域を表示する前に、前記仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースを表示することと、
前記仮想三次元オブジェクトの前記二次元表現を含む前記二次元ユーザーインターフェースを表示している間に、前記仮想三次元オブジェクトの前記二次元表現に対応した前記タッチ感知面上の場所でプレビュー基準を満たすタッチ入力の第１の部分を検出することと、
前記プレビュー基準を満たす前記タッチ入力の前記第１の部分を検出したことに応答して、前記仮想三次元オブジェクトの前記二次元表現より大きい前記仮想三次元オブジェクトのプレビューを表示することと、を含む、方法。 A method, in a device having a display generation component and one or more input devices including a touch sensitive surface.
Displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area by the display generation component, and
While displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area on the display, it is invisible from the first viewpoint of the virtual three-dimensional object. To detect the first input corresponding to the request to rotate the virtual 3D object with respect to the display for displaying a part of the virtual 3D object.
In response to detecting the first input,
An amount determined based on the size of the first input according to the determination that the first input corresponds to the requirement to rotate the three-dimensional object around the first axis. Rotating the virtual 3D object with respect to the 1st axis by an amount constrained by the limit to movement, which limits the rotation of the virtual 3D object in excess of the threshold rotation amount with respect to the 1st axis. When,
Determined based on the size of the first input, according to the determination that the first input corresponds to a request to rotate the three-dimensional object around a second axis different from the first axis. By rotating the virtual 3D object with respect to the second axis by a given amount, the device transfers the virtual 3D object to the second for an input having a magnitude exceeding an individual threshold. Including rotating by an amount exceeding the threshold rotation amount with respect to the axis of
The above method further
Before displaying the first user interface area, displaying the two-dimensional user interface including the two-dimensional representation of the virtual three-dimensional object.
While displaying the two-dimensional user interface containing the two-dimensional representation of the virtual three-dimensional object, the preview criterion is satisfied at a location on the touch-sensitive surface corresponding to the two-dimensional representation of the virtual three-dimensional object. To detect the first part of the touch input and
In response to detecting the first portion of the touch input that meets the preview criteria, including displaying a preview of the virtual three-dimensional object that is larger than the two-dimensional representation of the virtual three-dimensional object. , How.
前記タッチ入力の前記第２の部分を検出したことに応答して、
前記タッチ入力の前記第２の部分がメニュー表示基準を満足するとの判定にしたがって、前記仮想オブジェクトに関連する複数の動作に対応する複数の選択可能なオプションを表示することと、
前記タッチ入力の前記第２の部分がステージング基準を満足するとの判定にしたがって、前記仮想三次元オブジェクトの前記二次元表現を含む前記二次元ユーザーインターフェースの表示を、前記仮想三次元オブジェクトを含む前記第１のユーザーインターフェースで置き換えることと、を含む、請求項１４に記載の方法。 To detect the second part of the touch input while displaying the preview of the virtual 3D object.
In response to detecting the second part of the touch input,
Displaying a plurality of selectable options corresponding to a plurality of actions related to the virtual object according to the determination that the second portion of the touch input satisfies the menu display criteria.
According to the determination that the second portion of the touch input satisfies the staging criteria, the display of the two-dimensional user interface including the two-dimensional representation of the virtual three-dimensional object is displayed on the second portion including the virtual three-dimensional object. 14. The method of claim 14 , comprising replacing with the user interface of 1.
第１のユーザーインターフェース領域に仮想三次元オブジェクトの第１の視点の表現を前記表示生成コンポーネントにより表示することと、
ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想三次元オブジェクトの前記第１の視点の前記表現を表示している間に、前記仮想三次元オブジェクトの前記第１の視点からは視認不能である前記仮想三次元オブジェクトの一部分を表示するための、表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出することと、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量であって、前記第１の軸に対する閾値回転量を上回る前記仮想三次元オブジェクトの回転を制限する、移動に対する限界により制約された量だけ、前記第１の軸に対して前記仮想三次元オブジェクトを回転させることと、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応するとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量だけ前記第２の軸に対して前記仮想三次元オブジェクトを回転させることであって、個別の閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させることと、を含み、
前記第１のユーザーインターフェースが、複数の制御要素を含み、前記方法がさらに、
前記第１のユーザーインターフェースを表示する前に、前記仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースを表示することと、
前記第１のユーザーインターフェースに前記仮想三次元オブジェクトを表示する要求を検出したことに応答して、
前記仮想三次元オブジェクトに関連する１つ以上の制御要素のセットを表示することなく、前記第１のユーザーインターフェースに前記仮想三次元オブジェクトを表示することと、
前記第１のユーザーインターフェースに前記仮想三次元オブジェクトを表示した後で、前記１つ以上の制御要素のセットを表示することと、を含む、
方法。 In a device having a display generation component and one or more input devices including a touch sensitive surface.
Displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area by the display generation component, and
While displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area on the display, it is invisible from the first viewpoint of the virtual three-dimensional object. To detect the first input corresponding to the request to rotate the virtual 3D object with respect to the display for displaying a part of the virtual 3D object.
In response to detecting the first input,
An amount determined based on the size of the first input according to the determination that the first input corresponds to the requirement to rotate the three-dimensional object around the first axis. Rotating the virtual 3D object with respect to the 1st axis by an amount constrained by the limit to movement, which limits the rotation of the virtual 3D object in excess of the threshold rotation amount with respect to the 1st axis. When,
Determined based on the size of the first input, according to the determination that the first input corresponds to a request to rotate the three-dimensional object around a second axis different from the first axis. By rotating the virtual 3D object with respect to the second axis by a given amount, the device transfers the virtual 3D object to the second for an input having a magnitude exceeding an individual threshold. Including rotating by an amount exceeding the threshold rotation amount with respect to the axis of
The first user interface comprises a plurality of control elements, and the method further comprises.
Before displaying the first user interface, displaying the two-dimensional user interface including the two-dimensional representation of the virtual three-dimensional object.
In response to detecting a request to display the virtual 3D object in the first user interface,
Displaying the virtual 3D object in the first user interface without displaying the set of one or more control elements associated with the virtual 3D object.
Displaying the virtual three-dimensional object in the first user interface and then displaying the set of one or more control elements.
Method.
タッチ感知面を含む１つ以上の入力デバイスと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１から１６のいずれか一項に記載の方法を実行するための命令を含む、コンピュータシステム。 Display generation component and
With one or more input devices, including a touch-sensitive surface,
With one or more processors
It comprises a memory storing one or more programs, and the one or more programs are configured to be executed by the one or more processors, and the one or more programs are claimed 1. A computer system comprising instructions for performing the method according to any one of 16 to 16 .
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022036354A JP7397899B2 (en) | 2018-01-24 | 2022-03-09 | Devices, methods and graphical user interfaces for system-wide behavior of 3D models |
| JP2023204027A JP2024026250A (en) | 2018-01-24 | 2023-12-01 | Devices, methods and graphical user interfaces for system-wide behavior of 3D models |
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862621529P | 2018-01-24 | 2018-01-24 | |
| US62/621,529 | 2018-01-24 | ||
| US201862679951P | 2018-06-03 | 2018-06-03 | |
| US62/679,951 | 2018-06-03 | ||
| DKPA201870346 | 2018-06-11 | ||
| DKPA201870346A DK201870346A1 (en) | 2018-01-24 | 2018-06-11 | Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models |
| US16/145,035 | 2018-09-27 | ||
| US16/145,035 US11099707B2 (en) | 2018-01-24 | 2018-09-27 | Devices, methods, and graphical user interfaces for system-wide behavior for 3D models |
| PCT/US2019/014791 WO2019147699A2 (en) | 2018-01-24 | 2019-01-23 | Devices, methods, and graphical user interfaces for system-wide behavior for 3d models |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022036354A Division JP7397899B2 (en) | 2018-01-24 | 2022-03-09 | Devices, methods and graphical user interfaces for system-wide behavior of 3D models |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021518935A JP2021518935A (en) | 2021-08-05 |
| JP7039714B2 true JP7039714B2 (en) | 2022-03-22 |
Family
ID=67395660
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020540320A Active JP7039714B2 (en) | 2018-01-24 | 2019-01-23 | Devices, methods, and graphical user interfaces for system-wide behavior of 3D models |
| JP2022036354A Active JP7397899B2 (en) | 2018-01-24 | 2022-03-09 | Devices, methods and graphical user interfaces for system-wide behavior of 3D models |
| JP2023204027A Pending JP2024026250A (en) | 2018-01-24 | 2023-12-01 | Devices, methods and graphical user interfaces for system-wide behavior of 3D models |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022036354A Active JP7397899B2 (en) | 2018-01-24 | 2022-03-09 | Devices, methods and graphical user interfaces for system-wide behavior of 3D models |
| JP2023204027A Pending JP2024026250A (en) | 2018-01-24 | 2023-12-01 | Devices, methods and graphical user interfaces for system-wide behavior of 3D models |
Country Status (4)
| Country | Link |
|---|---|
| JP (3) | JP7039714B2 (en) |
| KR (2) | KR20220065899A (en) |
| AU (3) | AU2019212150B2 (en) |
| WO (1) | WO2019147699A2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3993449A1 (en) * | 2020-11-02 | 2022-05-04 | Inter IKEA Systems B.V. | Method and device for communicating a soundscape in an environment |
| KR102442715B1 (en) * | 2020-12-02 | 2022-09-14 | 한국전자기술연구원 | Apparatus and method for reproducing augmented reality image based on divided rendering image |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004046326A (en) | 2002-07-09 | 2004-02-12 | Dainippon Screen Mfg Co Ltd | Device and method for displaying picture and program |
| JP2007047294A (en) | 2005-08-08 | 2007-02-22 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image display device |
| US20110041098A1 (en) | 2009-08-14 | 2011-02-17 | James Thomas Kajiya | Manipulation of 3-dimensional graphical objects or view in a multi-touch display |
| JP2012089112A (en) | 2010-09-22 | 2012-05-10 | Nikon Corp | Image display device |
| US20120229450A1 (en) | 2011-03-09 | 2012-09-13 | Lg Electronics Inc. | Mobile terminal and 3d object control method thereof |
| JP2013214944A (en) | 2012-02-29 | 2013-10-17 | Jvc Kenwood Corp | Image processing apparatus, image processing method, and image processing program |
| JP2014089697A (en) | 2012-10-05 | 2014-05-15 | Fine Co Ltd | Architectural image display device, architectural image display method, and computer program |
| JP2015176450A (en) | 2014-03-17 | 2015-10-05 | 富士フイルム株式会社 | Augmented reality providing system, method, and program |
| WO2016152388A1 (en) | 2015-03-23 | 2016-09-29 | 株式会社村田製作所 | Touch-type input device |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3761106B2 (en) * | 1996-03-04 | 2006-03-29 | シャープ株式会社 | Image forming apparatus having magnification setting device |
| US20080071559A1 (en) * | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
| US9244562B1 (en) * | 2009-07-31 | 2016-01-26 | Amazon Technologies, Inc. | Gestures and touches on force-sensitive input devices |
| US20130234926A1 (en) | 2012-03-07 | 2013-09-12 | Qualcomm Incorporated | Visually guiding motion to be performed by a user |
| WO2013169882A2 (en) * | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for moving and dropping a user interface object |
| US20140282220A1 (en) * | 2013-03-14 | 2014-09-18 | Tim Wantland | Presenting object models in augmented reality images |
| US9286727B2 (en) * | 2013-03-25 | 2016-03-15 | Qualcomm Incorporated | System and method for presenting true product dimensions within an augmented real-world setting |
| US9245387B2 (en) * | 2013-04-12 | 2016-01-26 | Microsoft Technology Licensing, Llc | Holographic snap grid |
| CN105247573B (en) | 2013-06-11 | 2018-11-30 | 高通股份有限公司 | For capturing the method and apparatus for being suitable for the compact representation of three dimensional object of object detection |
| JP2015001875A (en) | 2013-06-17 | 2015-01-05 | ソニー株式会社 | Image processing apparatus, image processing method, program, print medium, and print-media set |
| US10175483B2 (en) * | 2013-06-18 | 2019-01-08 | Microsoft Technology Licensing, Llc | Hybrid world/body locked HUD on an HMD |
| US9436369B2 (en) * | 2014-09-26 | 2016-09-06 | Disney Enterprises, Inc. | Touch interface for precise rotation of an object |
| US10176641B2 (en) * | 2016-03-21 | 2019-01-08 | Microsoft Technology Licensing, Llc | Displaying three-dimensional virtual objects based on field of view |
-
2019
- 2019-01-23 WO PCT/US2019/014791 patent/WO2019147699A2/en unknown
- 2019-01-23 JP JP2020540320A patent/JP7039714B2/en active Active
- 2019-01-23 KR KR1020227015606A patent/KR20220065899A/en not_active Application Discontinuation
- 2019-01-23 AU AU2019212150A patent/AU2019212150B2/en active Active
- 2019-01-23 KR KR1020207024313A patent/KR102397481B1/en active IP Right Grant
-
2022
- 2022-03-01 AU AU2022201389A patent/AU2022201389B2/en active Active
- 2022-03-09 JP JP2022036354A patent/JP7397899B2/en active Active
-
2023
- 2023-12-01 JP JP2023204027A patent/JP2024026250A/en active Pending
-
2024
- 2024-01-10 AU AU2024200149A patent/AU2024200149A1/en active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004046326A (en) | 2002-07-09 | 2004-02-12 | Dainippon Screen Mfg Co Ltd | Device and method for displaying picture and program |
| JP2007047294A (en) | 2005-08-08 | 2007-02-22 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image display device |
| US20110041098A1 (en) | 2009-08-14 | 2011-02-17 | James Thomas Kajiya | Manipulation of 3-dimensional graphical objects or view in a multi-touch display |
| JP2012089112A (en) | 2010-09-22 | 2012-05-10 | Nikon Corp | Image display device |
| US20120229450A1 (en) | 2011-03-09 | 2012-09-13 | Lg Electronics Inc. | Mobile terminal and 3d object control method thereof |
| JP2013214944A (en) | 2012-02-29 | 2013-10-17 | Jvc Kenwood Corp | Image processing apparatus, image processing method, and image processing program |
| JP2014089697A (en) | 2012-10-05 | 2014-05-15 | Fine Co Ltd | Architectural image display device, architectural image display method, and computer program |
| JP2015176450A (en) | 2014-03-17 | 2015-10-05 | 富士フイルム株式会社 | Augmented reality providing system, method, and program |
| WO2016152388A1 (en) | 2015-03-23 | 2016-09-29 | 株式会社村田製作所 | Touch-type input device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021518935A (en) | 2021-08-05 |
| KR20200110788A (en) | 2020-09-25 |
| KR20220065899A (en) | 2022-05-20 |
| WO2019147699A2 (en) | 2019-08-01 |
| AU2019212150A1 (en) | 2020-08-20 |
| WO2019147699A8 (en) | 2020-08-06 |
| JP2022091798A (en) | 2022-06-21 |
| AU2022201389B2 (en) | 2023-10-12 |
| JP2024026250A (en) | 2024-02-28 |
| AU2022201389A1 (en) | 2022-03-24 |
| AU2024200149A1 (en) | 2024-01-25 |
| AU2019212150B2 (en) | 2021-12-16 |
| WO2019147699A3 (en) | 2019-09-19 |
| KR102397481B1 (en) | 2022-05-12 |
| JP7397899B2 (en) | 2023-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210333979A1 (en) | Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models | |
| JP7097991B2 (en) | Devices and methods for measuring using augmented reality | |
| US11922584B2 (en) | Devices, methods, and graphical user interfaces for displaying objects in 3D contexts | |
| JP6745852B2 (en) | Devices, methods, and graphical user interfaces for system-wide behavior of 3D models | |
| US20220335697A1 (en) | Systems, Methods, and Graphical User Interfaces for Adding Effects in Augmented Reality Environments | |
| AU2019101597B4 (en) | Devices, methods, and graphical user interfaces for system-wide behavior for 3D models | |
| JP7397899B2 (en) | Devices, methods and graphical user interfaces for system-wide behavior of 3D models | |
| JP7467534B2 (en) | DEVICE AND METHOD FOR MEASURING USING AUGMENTED REALITY - Patent application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200812 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200812 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211011 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220309 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7039714 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |