JP7467534B2 - 拡張現実を使用して測定するためのデバイス及び方法 - Google Patents

拡張現実を使用して測定するためのデバイス及び方法 Download PDF

Info

Publication number
JP7467534B2
JP7467534B2 JP2022103836A JP2022103836A JP7467534B2 JP 7467534 B2 JP7467534 B2 JP 7467534B2 JP 2022103836 A JP2022103836 A JP 2022103836A JP 2022103836 A JP2022103836 A JP 2022103836A JP 7467534 B2 JP7467534 B2 JP 7467534B2
Authority
JP
Japan
Prior art keywords
measurement
representation
user interface
electronic device
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022103836A
Other languages
English (en)
Other versions
JP2022130583A (ja
Inventor
アリソン， ダブリュ． ドライヤー，
グラント， アール． ポール，
ジョナサン， アール． ダスコラ，
ジェフリー， エム． フォークナー，
リサ， ケー． フォッセル，
アンドルー， エイチ． ゴールディング，
ステファン， オー． ルメイ，
リチャード， ディー． ライアンズ，
ジャンカルロ ヤーキズ，
ジェフリー， エス． ノリス，
ヴェイガ， アレクサンダー ダ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP19159743.4A external-priority patent/EP3567453B1/en
Priority claimed from CN201910194257.8A external-priority patent/CN110455179A/zh
Priority claimed from CN201910261469.3A external-priority patent/CN109974581B/zh
Priority claimed from PCT/US2019/029904 external-priority patent/WO2019217148A1/en
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2022130583A publication Critical patent/JP2022130583A/ja
Application granted granted Critical
Publication of JP7467534B2 publication Critical patent/JP7467534B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/28—Measuring arrangements characterised by the use of optical techniques for measuring areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1306—Sensors therefor non-optical, e.g. ultrasonic or capacitive sensing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Description

本出願は一般に、仮想／拡張現実環境を使用して物理的空間及び／又は物理的オブジェクトを測定するための電子デバイスを含むが、これらに限定されない、仮想／拡張現実のための電子デバイスに関する。
拡張現実環境は、物理的空間のビューを提供し、ユーザが物理的空間及びその中のオブジェクトに対する測定を重ね合わせることを可能にすることによって、物理的空間及びその中のオブジェクトを測定するのに有用である。しかし、拡張現実を使用して測定する従来の方法は、煩雑で非効率的であり、制限されている。いくつかの場合では、拡張現実を使用して測定する従来の方法は、機能性が制限される。いくつかの場合では、拡張現実を使用して測定する従来の方法は、意図された結果を達成するために（例えば、異なる測定機能にアクセスするために多くの表示されたユーザインタフェース要素の作動を介して）、複数の別個の入力（例えば、ジェスチャ及びボタン押下などのシーケンス）を必要とする。加えて、従来の方法は必要以上に時間がかかり、それによってエネルギを浪費する。後者の問題は、バッテリ動作式デバイスにおいては特に重大である。
したがって、仮想／拡張現実環境を使用して測定するために改善された方法及びインタフェースを備えたコンピュータシステムが必要とされている。そのような方法及びインタフェースは、任意選択的に、拡張／仮想現実環境を使用して測定するための従来の方法を補完する、又はそれに取って代わる。このような方法及びインタフェースは、ユーザからの入力の数、範囲、及び／又は種類を減少させ、より効率的な人間機械インタフェースを生成する。バッテリ動作デバイスに関しては、そのような方法及びインタフェースは、電力を節約し、バッテリ充電間の時間を延ばす。
仮想／拡張現実を使用して測定するためのユーザインタフェースに関連付けられる上記の欠点及び他の問題は、開示されるコンピュータシステムによって低減又は解消される。いくつかの実施形態では、コンピュータシステムは、デスクトップコンピュータを含む。いくつかの実施形態では、コンピュータシステムは、ポータブルである（例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである）。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス（例えばウォッチなどのウェアラブル電子デバイス）を含む。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する（かつ／又はこれと通信している）。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られている）を有する（かつ／又はこれと通信している）。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインタフェース（graphical user interface、ＧＵＩ）、１つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、部分的には、タッチ感知面におけるスタイラス及び／又は指による接触及びジェスチャを通してＧＵＩと相互作用する。いくつかの実施形態では、拡張現実に基づく測定機能に加えて、機能は、任意選択的に、ゲームプレイ、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシート作成、電話、テレビ会議、電子メール、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽再生、メモ取り、及び／又はデジタルビデオ再生を含む。それらの機能を実行する実行可能命令は任意選択で、非一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
いくつかの実施形態によれば、方法は、タッチ感知ディスプレイと、１つ以上のカメラとを備える電子デバイスで実行される。方法は、タッチ感知ディスプレイ上に、アプリケーションのユーザインタフェースを表示することを含む。ユーザインタフェースは、１つ以上のカメラのうちの少なくとも１つのカメラの視野の表現を含む。視野の表現は、第１の倍率で表示され、視野の表現は、１つ以上のカメラのうちの少なくとも１つによって検出された現在の視覚データに対する変更に基づいて経時的に更新される。視野は、三次元空間の少なくとも一部分を含む。方法は、視野の表現を表示している間に、タッチ感知ディスプレイ上の第１のタッチ入力を検出することと、第１のタッチ入力を検出したことに応答して、三次元空間内の第１の位置に対応する視野の表現内の第１の位置で測定点を追加して表示することと、を含む。方法はまた、測定点を追加した後、かつ視野の表現を表示し続ける間に、１つ以上のカメラのうちの少なくとも１つが移動すると、三次元空間内の第１の位置に対応する視野の表現内の位置に測定点を表示することと、視野の表現内の測定点の現在の位置に対応するタッチ感知ディスプレイ上の位置で第２のタッチ入力を検出することと、
第２のタッチ入力を検出することに応じて、視野の表現の少なくとも一部分の表示を第１の倍率から、第１の倍率より大きい第２の倍率に拡大することであって、この場合、視野の表現の一部分の拡大された表示は測定点を含むことと、を含む。
いくつかの実施形態では、方法は、タッチ感知ディスプレイ、タッチ感知ディスプレイとの接触の強度を検出するための１つ以上のセンサ、及び１つ以上のカメラを備える電子デバイスにおいて実行される。方法は、タッチ感知ディスプレイ上に、アプリケーションのユーザインタフェースを表示することを含む。ユーザインタフェースは、１つ以上のカメラのうちの少なくとも１つのカメラの視野の表現を含む。視野の表現は、１つ以上のカメラのうちの少なくとも１つによって検出された現在の視覚データに対する変更に基づいて経時的に更新される。ユーザインタフェースはまた、視野の表現の上に表示される測定点作成インジケータも含む。視野は、三次元空間の少なくとも一部分を含む。方法は、タッチ感知ディスプレイ上の接触を検出することと、タッチ感知ディスプレイ上の接触を連続して検出している間に、測定点作成インジケータが、三次元空間内の第１の位置に対応する視野の表現内の第１の位置の上に表示されている間、かつ第１の基準が満たされるために、接触の強度がそれぞれの強度閾値を満たすという要件を含む第１の基準が満たされたという判定に従って、三次元空間内の第１の位置に対応する視野の表現内の第１の測定点を追加して表示することと、を含む。方法はまた、第１の測定点を追加した後、電子デバイスが移動される際に視野の表現を更新することも含む。方法は更に、電子デバイスが移動された後に、測定点作成インジケータが、三次元空間内の第２の位置に対応する視野の表現内の第２の位置の上に表示されている間に、三次元空間内の第２の位置に対応する視野の表現内の第２の位置の上に測定点作成インジケータが表示されている間に第１の基準が満たされたという判定に従って、三次元空間内の第２の位置に対応する視野の表現内の第２の測定点を追加して表示することと、第１の測定点と第２の測定点とを接続する第１の測定セグメントを表示することと、を含む。
いくつかの実施形態によれば、方法は、タッチ感知ディスプレイと、１つ以上のカメラとを備える電子デバイスで実行される。方法は、タッチ感知ディスプレイ上に、アプリケーションのユーザインタフェースを表示することを含む。ユーザインタフェースは、１つ以上のカメラのうちの少なくとも１つのカメラの視野の表現を含む。視野の表現は、１つ以上のカメラのうちの少なくとも１つによって検出された現在の視覚データに対する変更に基づいて経時的に更新される。ユーザインタフェースは、視野の表現の上に表示される測定点作成インジケータを含む。視野は、三次元空間の少なくとも一部分を含む。方法は、視野の表現を表示している間に、三次元空間内の第１の位置に対応する視野の表現内の位置でアンカー点を決定することを含む。方法はまた、１つ以上のカメラのうちの少なくとも１つが移動するとき、測定点作成インジケータがアンカー点の上にある間に、タッチ入力が第１の基準を満たす場合に、アンカー点に測定点が追加されることを示すために測定点作成インジケータの視覚的外観を変更することを含む。方法は、第１の基準を満たすタッチ感知ディスプレイ上の第１のタッチ入力を検出することと、第１の基準を満たす第１のタッチ入力を検出したことに応答して、測定点作成インジケータが第１の基準が満たされたときにアンカー点の上にあるという判定に従って、三次元空間内の第１の位置に対応する視野の表現内のアンカー点に第１の測定点を追加して表示することと、第１の基準が満たされたときに、測定点作成インジケータがアンカー点の上にないという判定に従って、アンカー点から離れている、視野の表現内の第１の位置に第１の測定点を追加して表示することと、を更に含む。
いくつかの実施形態によれば、方法は、ディスプレイと、入力デバイスと、１つ以上のカメラとを備える電子デバイスで実行される。方法は、ディスプレイ上にアプリケーションのユーザインタフェースを表示することとを含む。ユーザインタフェースは、１つ以上のカメラのうちの少なくとも１つのカメラの視野の表現を含む。視野の表現は、１つ以上のカメラのうちの少なくとも１つによって検出された現在の視覚データに対する変更に基づいて経時的に更新される。視野は、三次元空間内の物理的オブジェクトを含む。方法は、視野の表現を表示している間に、視野の表現の上に物理的オブジェクトに対応する第１の測定の表現を追加する、入力デバイスを介する１つ以上のユーザ入力を検出することと、を含む。方法はまた、視野の表現の上に、第１の測定の表現と、第１の測定を記述する第１のラベルを同時に表示することを含み、この場合、電子デバイスと物理的オブジェクトとの間の第１の距離が第１の閾値距離未満であるという判定に従って、第１のラベルは第１の閾値サイズで表示され、電子デバイスと物理的オブジェクトとの間の第１の距離が、第１の閾値距離より大きい第２の閾値距離より大きいとの判定に従って、第１のラベルは、第１の閾値サイズより小さい第２の閾値サイズで表示され、電子デバイスと物理的オブジェクトとの間の第１の距離が第１の閾値距離と第２の閾値距離との間にあるという判定に従って、第１のラベルは、電子デバイスと物理的オブジェクトとの間の第１の距離に依存する、第１の閾値サイズと第２の閾値サイズとの間のサイズで表示される。
いくつかの実施形態によれば、方法は、ディスプレイと、入力デバイスと、１つ以上のカメラとを備える電子デバイスで実行される。方法は、ディスプレイ上にアプリケーションのユーザインタフェースを表示することとを含む。ユーザインタフェースは、１つ以上のカメラのうちの少なくとも１つのカメラの視野の表現を含む。視野の表現は、１つ以上のカメラのうちの少なくとも１つによって検出された現在の視覚データに対する変更に基づいて経時的に更新される。視野は、三次元空間内の物理的オブジェクトを含む。方法は、視野の表現を表示している間に、視野の表現の上に物理的オブジェクトに対応する第１の測定の表現を追加する、入力デバイスを介する１つ以上のユーザ入力を検出することを含み、この場合、第１の測定の表現は、物理的オブジェクト上の第１の位置に対応する第１の終点を含み、第１の測定の表現は、物理的オブジェクト上の第２の位置に対応する第２の終点を含み、第１の測定の表現は、第１の終点と第２の終点とを接続する第１のラインセグメントを含む。方法はまた、第１の測定にある程度基づいて、第１の測定の第１のラインセグメントに隣接する、視野の表現内の第１のエリアを決定することを含み、この場合第１のエリアは、三次元空間内の物理的に矩形のエリアに対応する。方法は、ユーザインタフェース内の第１のエリアの指示を表示することを更に含み、この場合、指示は、視野の表現内の第１のエリア上に載せられる。
いくつかの実施形態によれば、方法は、タッチ感知ディスプレイと、１つ以上のカメラとを備える電子デバイスで実行される。方法は、タッチ感知ディスプレイ上に、アプリケーションの第１のユーザインタフェースを表示することを含む。第１のユーザインタフェースは、１つ以上のカメラのうちの少なくとも１つのカメラの視野の表現を含む。視野の表現は、１つ以上のカメラのうちの少なくとも１つによって検出された現在の視覚データに対する変更に基づいて経時的に更新される。視野は、三次元空間内の物理的オブジェクトを含む。物理的オブジェクトの測定の表現は、視野の表現内の物理的オブジェクトの画像上に重ね合わされる。方法は、第１のユーザインタフェースを表示している間に、測定の表現上のタッチ感知ディスプレイ上の第１のタッチ入力を検出することを含む。方法は、測定の表現上のタッチ感知ディスプレイ上の第１のタッチ入力を検出することに応じて、測定に関する情報を共有するためのプロセスを開始することを更に含む。
いくつかの実施形態によれば、方法は、ディスプレイと、入力デバイスと、１つ以上のカメラとを備える電子デバイスで実行される。方法は、ディスプレイ上にアプリケーションのユーザインタフェースを表示することとを含む。ユーザインタフェースは、１つ以上のカメラのうちの少なくとも１つのカメラの視野の表現を含む。視野の表現は、１つ以上のカメラのうちの少なくとも１つによって検出された現在の視覚データに対する変更に基づいて経時的に更新される。視野は、三次元空間の少なくとも一部分を含む。方法は、１つ以上のカメラのうちの少なくとも１つのカメラの視野を第１の方向に移動させる電子デバイスの移動を検出することを含む。方法はまた、第１の方向に視野を移動させる電子デバイスの移動を検出している間に、電子デバイスの移動に従って視野の表現を更新することと、第１の方向に沿って延在する視野の表現内の１つ以上の第１の要素を識別することと、１つ以上の第１の要素の判定に少なくともある程度基づいて、視野の表現内に、第１の方向に延在し、かつ１つ以上の第１の識別された要素のうちの１つに対応する第１のガイドを表示することと、を含む。
いくつかの実施形態によれば、方法は、１つ以上の入力デバイス、１つ以上の表示デバイス、及び１つ以上のカメラを有する電子デバイスにおいて実行される。方法は、１つ以上の表示デバイスを介して、物理的空間の表現を含むユーザインタフェースを表示することを含む。方法は、物理的空間の表現を表示している間に、物理的空間の表現内に仮想アノテーションを作成するために、１つ以上の入力の第１のセットを受信することを含む。方法はまた、１つ以上の入力の第１のセットを受信したことに応答して、物理的空間の表現に第１の仮想アノテーションを追加することを含む。第１の仮想アノテーションは、物理的空間の表現の一部分にリンクされる。方法はまた、物理的空間の表現に第１の仮想アノテーションを追加した後に、物理的空間の表現に関連付けられた１つ以上の入力の第２のセットを受信することを含む。方法は、物理的空間の表現に関連付けられた１つ以上の入力の第２のセットを受信したことに応答して、１つ以上の入力の第２のセットが、第１の仮想アノテーションから閾値距離内にある仮想アノテーションを物理的空間の表現内に作成せよとの要求に対応するという判定に従って、物理的空間の表現内に第１の仮想アノテーションを維持しながら、物理的空間の表現内に第２の仮想アノテーションを作成することと、１つ以上の入力の第２のセットが、第１の仮想アノテーションからの閾値距離の外にある物理的空間の表現内に仮想アノテーションを作成せよとの要求に対応するという判定に従って、物理的空間の表現内に第２の仮想アノテーションを作成し、物理的空間の表現から第１の仮想アノテーションを除去することと、を含む。
いくつかの実施形態によれば、方法は、１つ以上のカメラと、１つ以上の入力デバイスと、１つ以上の表示デバイスと、１つ以上のカメラとを備える電子デバイスで実行される。この方法は、１つ以上の表示デバイスを介して、アノテーション配置ユーザインタフェースを表示することを含む。アノテーション配置ユーザインタフェースは、物理的空間の表現と、アノテーション配置入力を検出したことに応答して、仮想アノテーションが物理的空間の表現内に配置される位置を示す配置ユーザインタフェース要素と、を含む。方法は、アノテーション配置ユーザインタフェースを表示している間に、物理的空間に対する、１つ以上のカメラのうちの少なくとも１つの移動を検出することを含む。１つ以上のカメラのうちの少なくとも１つの移動は、配置ユーザインタフェース要素が、物理的空間の第１の部分に対応する物理的空間の表現内の位置に表示されている間に開始する。方法は、物理的空間に対する１つ以上のカメラのうちの少なくとも１つの移動を検出したことに応答して、配置ユーザインタフェース要素を、物理的空間の第１の部分とは異なる、物理的空間の第２の部分に対応する物理的空間の表現内の位置に移動させることと、電子デバイスが、物理的空間の表現内の対応するオブジェクトが仮想アノテーションにリンクされ得る、物理的空間の第２の部分内のオブジェクトを識別することができないという判定に従うことを含め、物理的空間に対する１つ以上のカメラのうちの少なくとも１つの移動に従って、アノテーション配置ユーザインタフェースの外観を更新することと、配置ユーザインタフェース要素の少なくとも一部分の表示を停止することと、デバイスが、物理的空間の表現内の対応するオブジェクトが仮想アノテーションにリンクされ得る、物理的空間の第２の部分内のオブジェクトを識別したという判定に従って、配置ユーザインタフェース要素の表示を維持することとを含む。
いくつかの実施形態によれば、コンピュータシステム（例えば電子デバイス）は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイなど）と、１つ以上のカメラ（例えば、カメラの視野内にあるコンテンツの少なくとも一部分のライブプレビューを連続して提供し、かつ任意選択的に、カメラの視野内のコンテンツをキャプチャする画像フレームの１つ以上のストリームを含むビデオ出力を生成するビデオカメラ）と、１つ以上の入力デバイス（例えば、タッチ感知式リモートコントロールなどのタッチ感知面、若しくは表示生成コンポーネントとしても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）と、任意選択的に、１つ以上の姿勢センサと、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的に、１つ以上の触知出力生成器と、１つ以上のプロセッサと、１つ以上のプログラムを記憶するメモリと、を含み（かつ／又はそれらと通信しており）、１つ以上のプログラムは、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書で説明される方法のいずれかの動作を実行し又は実行させる命令を含む。いくつかの実施形態によれば、コンピュータ可読記憶媒体は、内部に命令を記憶しており、この命令は、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、任意選択的に、１つ以上の姿勢センサ、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ、及び任意選択的に、１つ以上の触知出力生成器を含む（及び／又はそれらと通信している）コンピュータシステムによって実行されると、コンピュータシステムに、本明細書で説明される方法のいずれかの動作を実行させる、又は動作の実行を行わせる。いくつかの実施形態によれば、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、任意選択的に、１つ以上の姿勢センサ、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ、任意選択的に、１つ以上の触知出力生成器、メモリ、及びメモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを含む（かつ／又はそれらと通信している）コンピュータシステム上のグラフィカルユーザインタフェースは、本明細書で説明される方法のいずれかにおいて表示される要素のうちの１つ以上を含み、要素は、本明細書で説明される方法のいずれかにおいて説明されるように、入力に応じて更新される。いくつかの実施形態によれば、コンピュータシステムは、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、任意選択的に、１つ以上の姿勢センサ、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ、任意選択的に、１つ以上の触知出力生成器、及び本明細書で説明される方法のいずれかの動作を実行する、又は実行させる手段を含む（かつ／又はそれらと通信している）。いくつかの実施形態によれば、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、任意選択的に、１つ以上の姿勢センサ、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ、及び任意選択的に、１つ以上の触知出力生成器を含む（かつ／又はそれらと通信している）コンピュータシステムに使用される情報処理装置は、本明細書で説明される方法のいずれかの動作を実行する、又は実行させる手段を含む。
したがって、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、任意選択的に１つ以上の姿勢センサ、任意選択的に、タッチ感知面との接触の強度を検出するための１つ以上のセンサ、及び任意選択的に、１つ以上の触知出力生成器を有する（及び／又はそれと通信している）コンピュータシステムには、仮想／拡張現実環境を使用して物理的オブジェクトを測定するための改善された方法及びインタフェースが備わっており、それにより、このようなコンピュータシステムによる有効性、効率、及びユーザ満足度を向上させる。そのような方法及びインタフェースは、仮想／拡張現実環境を使用して物理的オブジェクトを測定するための従来の方法を補完する、又はそれに置き換わることができる。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態に係る、タッチ感知ディスプレイを有するポータブル多機能デバイスを示すブロック図である。
いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。
一部の実施形態に係る、触知出力モジュールを示すブロック図である。
いくつかの実施形態に係る、タッチスクリーンを有するポータブル多機能デバイスを示す。
いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。
いくつかの実施形態に係る、例示的なコンピュータシステムのブロック図である。 いくつかの実施形態に係る、例示的なコンピュータシステムのブロック図である。
いくつかの実施形態に係る、ポータブル多機能デバイス上のアプリケーションのメニューのための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、ディスプレイと分離したタッチ感知面を有する多機能デバイスのための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、動的強度閾値の例を示す。 いくつかの実施形態に係る、動的強度閾値の例を示す。 いくつかの実施形態に係る、動的強度閾値の例を示す。
一部の実施形態に係る、サンプル触知出力パターンのセットを示す。 一部の実施形態に係る、サンプル触知出力パターンのセットを示す。 一部の実施形態に係る、サンプル触知出力パターンのセットを示す。 一部の実施形態に係る、サンプル触知出力パターンのセットを示す。 一部の実施形態に係る、サンプル触知出力パターンのセットを示す。 一部の実施形態に係る、サンプル触知出力パターンのセットを示す。
いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うためのアプリケーションと相互作用するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うためのアプリケーションと相互作用するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うためのアプリケーションと相互作用するためのプロセスのフロー図である。
いくつかの実施形態に係る、拡張現実環境内の物理的空間の表示された表現に測定を追加するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内の物理的空間の表示された表現に測定を追加するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内の物理的空間の表示された表現に測定を追加するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内の物理的空間の表示された表現に測定を追加するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内の物理的空間の表示された表現に測定を追加するためのプロセスのフロー図である。
いくつかの実施形態に係る、拡張現実環境内の自動的に決定されたアンカー点で仮想測定点を追加するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内の自動的に決定されたアンカー点で仮想測定点を追加するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内の自動的に決定されたアンカー点で仮想測定点を追加するためのプロセスのフロー図である。
いくつかの実施形態に係る、拡張現実環境内の物理的空間の測定のためのラベルを表示するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内の物理的空間の測定のためのラベルを表示するためのプロセスのフロー図である。
いくつかの実施形態に係る、拡張現実環境内の物理的空間内の矩形エリアを測定し、このエリアと相互作用するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内の物理的空間内の矩形エリアを測定し、このエリアと相互作用するためのプロセスのフロー図である。
いくつかの実施形態に係る、拡張現実環境内で測定情報と相互作用し、管理するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内で測定情報と相互作用し、管理するためのプロセスのフロー図である。
いくつかの実施形態に係る、拡張現実環境内に自動的に決定された位置合わせガイドを提供するためのプロセスの流れ図である。 いくつかの実施形態に係る、拡張現実環境内に自動的に決定された位置合わせガイドを提供するためのプロセスの流れ図である。 いくつかの実施形態に係る、拡張現実環境内に自動的に決定された位置合わせガイドを提供するためのプロセスの流れ図である。
いくつかの実施形態に係る、拡張現実環境内で以前に追加された仮想アノテーションを自動的に除去するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内で以前に追加された仮想アノテーションを自動的に除去するためのプロセスのフロー図である。 いくつかの実施形態に係る、拡張現実環境内で以前に追加された仮想アノテーションを自動的に除去するためのプロセスのフロー図である。
いくつかの実施形態に係る、物理的空間内のオブジェクトが、拡張現実環境内の対応する表現が追跡され得るオブジェクトとして識別されたかどうかを示すためのプロセスのフロー図である。 いくつかの実施形態に係る、物理的空間内のオブジェクトが、拡張現実環境内の対応する表現が追跡され得るオブジェクトとして識別されたかどうかを示すためのプロセスのフロー図である。 いくつかの実施形態に係る、物理的空間内のオブジェクトが、拡張現実環境内の対応する表現が追跡され得るオブジェクトとして識別されたかどうかを示すためのプロセスのフロー図である。 いくつかの実施形態に係る、物理的空間内のオブジェクトが、拡張現実環境内の対応する表現が追跡され得るオブジェクトとして識別されたかどうかを示すためのプロセスのフロー図である。
上述のように、拡張現実環境は、物理的空間のビューを提供し、ユーザが物理的空間及びその中の物理的オブジェクトに対する測定を重ね合わせることを可能にすることによって、物理的空間及びその中のオブジェクトの測定を行うために有用である。拡張現実環境を用いて測定する従来の方法は、多くの場合、機能性が制限される。いくつかの場合では、従来の方法は、意図された結果を達成するために（例えば異なる測定機能にアクセスするために多くの表示されたユーザインタフェース要素の作動を介する）、複数の別個の入力（例えば、ジェスチャ及びボタン押下などのシーケンス）を必要とする。本明細書に開示される実施形態は、（例えば、ユーザがより少ない入力で拡張現実環境内で異なる動作を実行することを可能にすることによって、及び／又はユーザインタフェースを単純化することによって）拡張現実環境で測定を行うための直感的な方法を提供する。加えて、本明細書の実施形態は、測定されている物理的オブジェクトについて、及び拡張現実環境において実行されている動作について、ユーザに追加情報を提供する、改善された視覚的及び触覚フィードバックを提供する。
本明細書に記載するシステム、方法、及びＧＵＩは、複数の方法で仮想／拡張現実環境とのユーザインタフェース相互作用を改善する。例えば、物理的空間内の特徴の自動検出、改善されたラベリング、及び位置合わせガイド（例えば、改善された測定点配置及びエリア認識のため）を提供すること、及びユーザが測定情報と相互作用し、これを管理することを可能にすることによって、拡張現実環境を使用して物理的空間内の特徴を測定することをより容易にする。
以下、図１Ａ～図１Ｂ、図２、及び図３Ａ～３Ｃは、例示的なデバイスの説明を提供する。図４Ａ～図４Ｂ及び図５Ａ～図５ＣＯは、拡張現実環境を使用して物理的空間の測定を行うための例示的な状況及び例示的なユーザインタフェースを示す。図６Ａ～図６Ｃは、拡張現実環境を使用して物理的空間の測定を行うためのアプリケーションと相互作用する方法のフロー図を示す。図７Ａ～図７Ｅは、拡張現実環境内の物理的空間の表示された表現に測定を追加する方法のフロー図を示す。図８Ａ～図８Ｃは、拡張現実環境内の自動的に決定されたアンカー点に仮想測定点を追加する方法のフロー図を示す。図９Ａ～図９Ｂは、拡張現実環境内の物理的空間の測定のためのラベルを表示する方法のフロー図を示す。図１０Ａ～図１０Ｂは、拡張現実環境内の物理的空間内の矩形エリアを測定し、このエリアと相互作用する方法のフロー図を示す。図１１Ａ～図１１Ｂは、拡張現実環境内で測定情報と相互作用し、管理する方法のフロー図を示す。図１２Ａ～図１２Ｃは、拡張現実環境内に自動的に決定された位置合わせガイドを提供する方法のフロー図を示す。図１３Ａ～図１３Ｃは、拡張現実環境内で以前に追加された仮想アノテーションを自動的に除去するためのプロセスのフロー図である。図１４Ａ～図１４Ｄは、物理的空間内のオブジェクトが、拡張現実環境内の対応する表現が追跡され得るオブジェクトとして識別されたかどうかを示すプロセスのフロー図である。図５Ａ～図５ＣＯのユーザインタフェースを使用して、図６Ａ～図６Ｃ、図７Ａ～図７Ｅ、図８Ａ～図８Ｃ、図９Ａ～図９Ｂ、図１０Ａ～図１０Ｂ、図１１Ａ～図１１Ｂ、図１２Ａ～図１２Ｃ、図１３Ａ～図１３Ｃ及び図１４Ａ～図１４Ｄのプロセスを示す。
例示的なデバイス
ここで、添付図面に実施例が示される実施形態への詳細な参照が行われる。以下の詳細な説明では、説明される様々な実施形態の完全な理解を提供するために数多くの具体的な詳細が記載されている。しかしながら、記載されている様々な実施形態は、これらの具体的な詳細を伴わずとも実践し得ることが、当業者には明らかであろう。他の例では、周知の方法、手順、構成要素、回路、及びネットワークは、実施形態の態様を不必要に不明瞭にしないよう詳細には説明されていない。
本明細書では、第１、第２などの用語は、いくつかの実施例で、様々な要素を説明するために使用されるが、これらの要素は、それらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第１の接触は、第２の接触と称することができ、同様に、第２の接触は、第１の接触と称し得る。第１の接触及び第２の接触は両方とも接触であるが、文脈がそうではないことを明確に示さない限り、それらは同じ接触ではない。
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明及び添付の特許請求の範囲では、単数形の「ａ（１つ、一）」、「ａｎ（１つ、一）」、及び「ｔｈｅ（その、この）」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
本明細書に記載される場合、用語「ｉｆ（～の場合）」は、任意選択で、文脈に依存して「ｗｈｅｎ（～のとき）」、「ｕｐｏｎ（～すると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～と判定したことに応じて）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（～を検出したことに応じて）」を意味するものと解釈される。同様に、「～と判定された場合（ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ）」又は「［記載の状態又はイベント］が検出された場合（ｉｆ［ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］ｉｓ ｄｅｔｅｃｔｅｄ）」という語句は、任意選択的に、文脈に応じて、「～と判定したとき（ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ）」若しくは「～と判定したことに応じて（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ）」、又は「［記載の状態又はイベント］を検出したとき（ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］）」若しくは「［記載の状態又はイベント］を検出したことに応じて（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］）」を意味すると解釈される。
仮想／拡張現実のためのコンピュータシステムは、仮想／拡張現実環境を生成する電子デバイスを含む。電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスを含むが、これらに限定されない。タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスが任意選択で使用される。いくつかの実施形態では、デバイスは、ポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有し、１つ以上のカメラも含む又はそれと通信している、デスクトップコンピュータであることも理解されたい。
以下の説明では、ディスプレイ及びタッチ感知面を有する（かつ／又はそれらと通信している）電子デバイスを含むコンピュータシステムを説明する。しかしながら、コンピュータシステムは、物理キーボード、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラなどの、１つ以上の他の物理ユーザインタフェースデバイスを任意選択的に含むことを理解されたい。
デバイスは、典型的には、ゲームアプリケーション、メモ取りアプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、スプレッドシートアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上などの、様々なアプリケーションをサポートする。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイスによって表示される対応する情報は、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、任意選択的に、調整及び／又は変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザにとって直観的かつ透明なユーザインタフェースを備える様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、いくつかの実施形態に係る、タッチ感知ディスプレイシステム１１２を有するポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイシステム１１２は、便宜上「タッチスクリーン」と呼ばれる場合があり、単にタッチ感知ディスプレイと呼ばれる場合もある。デバイス１００は、メモリ１０２（任意選択で、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、音声回路１１０、スピーカー１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、その他の入力又は制御デバイス１１６、及び外部ポート１２４を含む。デバイス１００は、（例えば、１つ以上のカメラの一部として）１つ以上の光学センサ１６４を任意選択的に含む。デバイス１００は任意選択で、デバイス１００（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）上の接触の強度を検出する１つ以上の強度センサ１６５を含む。デバイス１００は、任意選択で、デバイス１００上で触知出力を生成するための（例えばデバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上に触知出力を生成する）１つ以上の触知出力生成器１６３を含む。これらの構成要素は、任意選択的に、１つ以上の通信バス又は信号ライン１０３を介して通信する。
本明細書及び特許請求の範囲で使用されるように、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、そのデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況では、物理的変位によって生成された触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。場合によっては、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」「ダウンクリック」、「粗さ」）に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。触知出力を使用して触覚フィードバックをユーザに提供することで、デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）、加えて、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用を低減させ、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、触知出力パターンは、触知出力の振幅、触知出力の動き波形の形状、触知出力の周波数、及び／又は触知出力の持続時間などの触知出力の特性を指定する。
異なる触知出力パターンを有する触知出力がデバイスによって生成されると（例えば、触知出力を生成するために可動質量を移動させる１つ以上の触知出力生成器を介して）、触知出力は、ユーザがデバイスを保持又はタッチする際に異なる触覚感覚を引き起こし得る。ユーザの感覚は、触知出力のユーザの知覚に基づいているとき、ほとんどのユーザは、デバイスによって生成される触知出力の波形、周波数、及び振幅の変化を識別することが可能である。したがって、波形、周波数、及び振幅を調整して、異なる動作が実行されたことをユーザに示すことができる。したがって、いくつかの状況では、所与の環境（例えば、グラフィカル特徴及びオブジェクトを含むユーザインタフェース、仮想の境界及び仮想のオブジェクトを有するシミュレートされた物理的環境、物理的な境界及び物理的な物体を有する実際の物理的環境、並びに／又は上記の任意の組合せ）において、物体の特性（例えば、サイズ、材料、重量、剛性、平滑度、など）、挙動（例えば、振動、変位、加速、回転、膨張など）、及び／又は相互作用（例えば、衝突、粘着、反発、吸引、摩擦など）をシミュレートするように設計、選択、及び／又は開発された触知出力パターンを有する触知出力は、入力エラーを低減させ、デバイスのユーザの動作の効率を増大させる有用なフィードバックをユーザに提供する。加えて、触知出力は、任意選択的に、入力閾値又はオブジェクトの選択などのシミュレートされた物理的特性に関係ないフィードバックに対応するように生成される。いくつかの状況では、そのような触知出力は、入力エラーを低減させ、デバイスのユーザの動作の効率を増大させる有用なフィードバックをユーザに提供する。
いくつかの実施形態では、適した触知出力パターンを有する触知出力は、ユーザインタフェース内又はデバイス内のシーンの後ろにおける対象イベントの出現に対する合図として働く。対象となるイベントの例は、デバイス上又はユーザインタフェース内で提供されるアフォーダンス（例えば、実ボタン、仮想ボタン、又はトグルスイッチ）のアクティブ化、要求された動作の成功又は失敗、ユーザインタフェース内の境界に到達すること又は超えること、新たな状態に入ること、オブジェクト間の入力の焦点を切り替えること、新たなモードのアクティブ化、入力閾値に到達すること又は超えること、入力又はジェスチャのタイプの検出又は認識などを含む。一部の実施形態では、触知出力は、リダイレクション又は中断入力が時宜を得て検出されない限り発生する、近いうち起こるイベント又は結果に対する警告又はアラートしての役割を果たすように提供される。触知出力はまた、他の文脈で、ユーザエクスペリエンスの向上、視覚若しくは運動の障害又は他のアクセシビリティに関する必要を有するユーザに対するデバイスのアクセシビリティの改善、並びに／あるいはユーザインタフェース及び／又はデバイスの効率及び機能性の改善のために使用される。触知出力は、任意選択的に、オーディオ出力及び／又は可視のユーザインタフェースの変化を伴い、ユーザがユーザインタフェース及び／又はデバイスと対話するときのユーザのエクスペリエンスを更に向上させ、ユーザインタフェース及び／又はデバイスの状態に関する情報のより良好な伝達を容易にし、入力エラーを低減させ、デバイスのユーザの動作の効率を増大させる。
図４Ｆ～図４Ｈは、１つ以上の変換（例えば、変調、増幅、トランケーションなど）のいずれか、又はそれらを介して、個別に又は組み合わせて使用できるサンプル触知出力パターンのセットを提供して、本明細書で論じたユーザインタフェース及び方法に関して上記で言及したもの、又は説明したものなどの、様々なシナリオ及び様々な目的に対して、好適な触覚フィードバックを作成する。触知出力のパレットのこの例は、触知出力パターンのアレイを作成するために、１組の３つの波形及び８つの周波数をどのように使用することができるかを示す。この図に示した触知出力パターンに加えて、これらの触知出力パターンのそれぞれは、例えば、図４Ｉ～４Ｋに示すフルタップ８０Ｈｚ、フルタップ２００Ｈｚ、ミニタップ８０Ｈｚ、ミニタップ２００Ｈｚ、マイクロタップ８０Ｈｚ、及びマイクロタップ２００Ｈｚに対して、それぞれ利得１．０、０．７５、０．５及び０．２５の変更によって示すように、触知出力パターンに対する利得値を変更することにより、振幅が任意選択的に調整される。図４Ｉ～４Ｋに示すように、触知出力パターンの利得を変更することにより、パターンの周波数を変えたり波形の形状を変えたりすることなく、パターンの振幅を変更する。いくつかの実施形態では、可動質量にどれだけの力を印加することができるかによって、いくつかの触知出力生成器が制限されるため、触知出力パターンの周波数を変化させることで、振幅がより低くなり、したがって質量の周波数の動きが大きければ大きいほど、より低い振幅に制約され、波形を作成するために必要とされる加速が、触知出力生成器の動作力の範囲外の力を必要としないことが確実になる（例えば、２３０Ｈｚ、２７０Ｈｚ、及び３００Ｈｚにおけるフルタップのピーク振幅は、８０Ｈｚ、１００Ｈｚ、１２５Ｈｚ、及び２００Ｈｚにおけるフルタップの振幅より低い）。
図４Ｆ～４Ｋは、特定の波形を有する触知出力パターンを示す。触知出力パターンの波形は、その触知出力パターンで触知出力を生成するために可動質量が通過する時間に対する中立位置（例えば、ｘｚｅｒｏ）に対する物理的変位のパターンを表す。例えば、図４Ｆに示す第１のセットの触知出力パターン（例えば「フルタップ」の触知出力パターン）は、完全な２サイクルの振動（例えば、中立位置で開始及び終了し、中立位置を３回横切る振動）を含む波形をそれぞれ有する。図４Ｇに示す触知出力パターン（例えば、「ミニタップ」の触知出力パターン）の第２のセットは、完全な１サイクルを含む振動（例えば、中立位置で開始及び終了し、中立位置を１回横切る振動）を含む波形をそれぞれ有する。図４Ｈに示す触知出力パターン（例えば、「マイクロタップ」の触知出力パターン）の第３のセットは、完全な１サイクルの半分を含む振動（例えば、中立位置で開始及び終了し、中立位置を横切らない振動）を含む波形をそれぞれ有する。触知出力パターンの波形はまた、触知出力の開始及び終了時の可動質量の漸進的な加速及び減速を表す開始バッファ及び終了バッファを含む。図４Ｆ～図４Ｋに示す例示的な波形は、可動質量の移動の最大限度及び最小限度を表すｘｍａｘ値及びｘｍｉｎ値を含む。より大きな可動質量を有するより大きな電子デバイスの場合、質量の移動の最小限度及び最大限度が、より大きい、又はより小さいこともある。図４Ｆ～４Ｋに示す例は、１次元における質量の移動を説明しているが、同様の原理は２次元又は３次元における可動質量の移動にも適用し得る。
図４Ｆ～４Ｈに示すように、それぞれの触知出力パターンはまた、その特性周波数を有する触知出力からユーザが感じる触覚感覚の「ピッチ」に影響を及ぼす、対応する特性周波数を有する。連続する触知出力の場合、特性周波数は、触知出力生成器の可動質量によって所与の期間内に完了されるサイクルの数（例えば、１秒当たりのサイクル）を表す。個別の触知出力の場合、個別の出力信号（例えば、０．５、１、又は２回のサイクルを有する）が生成され、特性周波数値は、その特性周波数を有する触知出力を生成するために可動質量がどれだけ速く動く必要があるかを指定する。図４Ｆ～４Ｈに示すように、触知出力のそれぞれのタイプ（例えば、フルタップ、ミニタップ、又はマイクロタップなどのそれぞれの波形により定義される）については、より高い周波数値は、可動質量によるより速い移動（単数又は複数）に対応し、したがって、一般に、触知出力を完了する時間がより短い（例えば、離散的な触知出力に必要なサイクルの数を完了する時間開始及び終了バッファ時間を含む）。例えば、特性周波数が８０Ｈｚのフルタップは、特性周波数が１００Ｈｚのフルタップよりも完了までに時間がかかる（例えば、図４Ｆでは３５．４ｍｓ対２８．３ｍｓ）。加えて、所与の周波数に対して、それぞれの周波数においてその波形でより多くのサイクルを有する触知出力は、同じそれぞれの周波数においてその波形でより少ないサイクルを有する触知出力より、完成させるのに長くかかる。例えば、１５０Ｈｚにおけるフルタップは、１５０Ｈｚにおけるミニタップより、完成させるのに長くかかり（例えば、１９．４ｍｓと１２．８ｍｓ）、１５０Ｈｚにおけるミニタップは、１５０Ｈｚにおけるマイクロタップより、完成させるのに長くかかる（例えば、１２．８ｍｓと９．４ｍｓ）。しかし、異なる周波数の触知出力パターンでは、この規則性が当てはまらないことがある（例えば、より多くのサイクルだがより高い周波数を伴う触知出力では、より少ないサイクルだがより低い周波数を伴う触知出力よりもかかる時間が短いことがあり、その逆も起こり得る）。例えば、３００Ｈｚにおいて、フルタップは、ミニタップと同じだけ長くかかる（例えば、９．９ｍｓ）。
図４Ｆ～４Ｈに示すように、触知出力パターンはまた、触知信号に含まれるエネルギ量に影響を及ぼす特性振幅、又はその特性振幅を有する触知出力を通じてユーザが感じ得る触覚感覚の「強度」を有する。いくつかの実施形態では、触知出力パターンの特性振幅は、触知出力を生成するときの中立位置からの可動質量の最大変位を表す絶対値又は正規化値を指す。いくつかの実施形態では、触知出力パターンの特性振幅は、例えば、様々な状態（例えば、ユーザインタフェースのコンテキスト及び挙動に基づいてカスタマイズされる）に従って、固定された若しくは動的に決定されたゲイン係数（例えば、０～１の値）、並びに／又は事前設定されたメトリック（例えば、入力ベースのメトリック、及び／若しくはユーザインタフェースベースのメトリック）によって、調整可能である。いくつかの実施形態では、入力ベースのメトリック（例えば、強度変化メトリック又は入力速度メトリック）は、入力の特性（例えば、触知出力の生成をトリガする入力中の押下入力における接触の特性強度の変化速度、又はタッチ感知面における接触の動き速度）を示す。いくつかの実施形態では、ユーザインタフェースベースのメトリック（例えば、境界横断速度メトリック）は、触知出力の生成をトリガするユーザインタフェースの変化中のユーザインタフェース要素の特性（例えば、ユーザインタフェース内で隠された又は可視の境界を越える要素の動き速度）を示す。一部の実施形態では、触知出力パターンの特性振幅は「包絡線」によって変調されてもよく、隣接するサイクルのピークは異なる振幅を有してもよく、上記の波形のうちの１つは、触知出力が生成されている間に経時的に触知出力の一部の振幅を徐々に調整するように、経時的に（例えば、０～１まで）変更する包絡線パラメータ乗算することによって更に変調される。
例示的な目的で、図４Ｆ～４Ｈでは、具体的な周波数、振幅、及び波形がサンプル触知出力パターンで表されているが、他の周波数、振幅及び波形を有する触知出力パターンも同様の目的で使用され得る。例えば、０．５～４回のサイクルを有する波形を使用することができる。また、６０Ｈｚ～４００Ｈｚの範囲の他の周波数も用いることができる。
デバイス１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス１００は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有するものであり、任意選択的に、２つ以上の構成要素を組み合わせるものであり、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせで実装される。
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。ＣＰＵ（単数又は複数）１２０及び周辺機器インタフェース１１８などのデバイス１００の他の構成要素によるメモリ１０２へのアクセスは任意選択で、メモリコントローラ１２２により制御される。
周辺機器インタフェース１１８が使用され、デバイスの入力及び出力周辺機器を、ＣＰＵ（単数又は複数）１２０及びメモリ１０２と結合することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる又は実行して、デバイス１００のための様々な機能を実行し、データを処理する。
いくつかの実施形態では、周辺機器インタフェース１１８、ＣＰＵ（単数又は複数）１２０、及びメモリコントローラ１２２は任意選択で、チップ１０４などの単一チップ上で実装される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
ＲＦ（radio frequency）（無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリなどが挙げられる。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。無線通信は任意選択で、移動通信のためのグローバルシステム（Global System for Mobile Communications、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケット接続（high－speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケット接続（high－speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ，Ｄａｔａ－Ｏｎｌｙ（ＥＶ－ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（Ｄｕａｌ－Ｃｅｌｌ ＨＳＰＡ、ＤＣ－ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離無線通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ－ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ－Ｆｉ）（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ａｃ、ＩＥＥＥ ８０２．１１ａｘ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、及び／若しくはＩＥＥＥ ８０２．１１ｎ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ－ＭＡＸ、電子メールのためのプロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／若しくはポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、並びに／又はショートメッセージサービス（Short Message Service、ＳＭＳ）、あるいは本文書の出願日現在までにまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含むが、それらに限定されない、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを使用する。
オーディオ回路１１０、スピーカー１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカー１１１に送信する。スピーカー１１１は、電気信号を人間の可聴音波に変換する。また、オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース１１８に送信する。オーディオデータは、任意選択的に、周辺機器インタフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、かつ／又はメモリ１０２及び／若しくはＲＦ回路１０８に伝送される。いくつかの実施形態では、音声回路１１０は、更にヘッドセットジャック（例えば、２１２、図２）も含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば片耳又は両耳用のヘッドホン）及び入力（例えばマイクロフォン）の両方を備えるヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチ感知ディスプレイシステム１１２及びその他の入力又は制御デバイス１１６などのデバイス１００上の入出力周辺機器を周辺機器インタフェース１１８と結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光学センサコントローラ１５８、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び他の入力若しくは制御デバイスのための１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、他の入力若しくは制御デバイス１１６から電気信号を受信する、又は、他の入力若しくは制御デバイス１１６に電気信号を送信する。その他の入力又は制御デバイス１１６は任意選択で、物理的ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替的実施形態では、入力コントローラ（単数又は複数）１６０は任意選択で、キーボード、赤外線ポート、ＵＳＢポート、スタイラス、及び／又はマウスなどのポインタデバイスのうちのいずれかと結合される（又は、いずれにも結合されない）。１つ以上のボタン（例えば、２０８、図２）は、任意選択で、スピーカー１１１及び／又はマイクロフォン１１３の音量制御のためのアップ／ダウンボタンを含む。１つ以上のボタンは、任意選択で、プッシュボタン（例えば、２０６、図２）を含む。
タッチ感知ディスプレイシステム１１２は、デバイスとユーザの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、タッチ感知ディスプレイシステム１１２から電気信号を受信し、及び／又はタッチ感知ディスプレイシステム１１２へ電気信号を送信する。タッチ感知ディスプレイシステム１１２は、ユーザに視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせ（総称して「グラフィック」）を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又は全ては、ユーザインタフェースオブジェクトに対応する。本明細書で使用されるように、用語「アフォーダンス」は、ユーザ－対話形式のグラフィカルユーザインタフェースオブジェクト（例えば、グラフィカルユーザインタフェースオブジェクトに向かって方向付けられた入力に応答するように構成されているグラフィカルユーザインタフェースオブジェクト）を指す。ユーザ対話形式のグラフィカルユーザインタフェースオブジェクトの例は、ボタン、スライダ、アイコン、選択可能メニュー項目、スイッチ、ハイパーリンク、又はその他のユーザインタフェース制御を含むが、それらに限定されない。
タッチ感知ディスプレイシステム１１２は、触覚及び／又は触知の接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、又はセンサのセットを有する。（メモリ１０２内の任意の関連するモジュール及び／又は命令セットと共に）タッチ感知ディスプレイシステム１１２及びディスプレイコントローラ１５６は、タッチ感知ディスプレイシステム１１２上の接触（及び、接触の任意の移動又は中断）を検出し、検出された接触をタッチ感知ディスプレイシステム１１２上で表示されるユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との相互作用に変換する。いくつかの実施形態では、タッチ感知ディスプレイシステム１１２とユーザとの間の接触点は、ユーザの指又はスタイラスに対応する。
タッチ感知ディスプレイシステム１１２は任意選択で、ＬＣＤ（liquid crystal display）（液晶ディスプレイ）技術、ＬＰＤ（light emitting polymer display）（発光ポリマディスプレイ）技術、又はＬＥＤ（light emitting diode）（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチ感知ディスプレイシステム１１２及びディスプレイコントローラ１５６は任意選択で、容量技術、抵抗性技術、赤外線技術、及び表面音響波技術、並びに、タッチ感知ディスプレイシステム１１２との１つ以上の接触点を判定するためのその他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在既知の又は後に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びその任意の移動又は中断を検出する。いくつかの実施形態では、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）などにおいて見られるような、投影型相互キャパシタンス検知技術が使用される。
タッチ感知ディスプレイシステム１１２は任意選択で、１００ｄｐｉを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンの映像解像度は、４００ｄｐｉを超える（例えば、５００ｄｐｉ、８００ｄｐｉ、又はより高い）。ユーザは任意選択で、スタイラス、指などの任意の適切な物体又は付属物を使用して、タッチ感知ディスプレイシステム１１２と接触する。いくつかの実施形態では、ユーザインタフェースは、指に基づく接触及びジェスチャで機能するように設計されるが、これらは、タッチスクリーン上での指の接触面積がスタイラスの接触面積よりも大きいことに起因して、スタイラスに基づく入力よりも精度が低い場合がある。一部の実施形態では、デバイスは、指による粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ／カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッド（図示せず）を含む。一部の実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは任意選択で、タッチ感知ディスプレイシステム１１２と分離したタッチ感知面、又はタッチスクリーンによって形成されたタッチ感知面の延長である。
デバイス１００は、様々な構成要素に電力を供給する電力システム１６２も含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
デバイス１００はまた、（例えば、１つ以上のカメラの一部として）１つ以上の光学センサ１６４を任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光学センサコントローラ１５８と結合された光学センサを示す。光学センサ（単数又は複数）１６４は、任意選択で、電荷結合デバイス（ＣＣＤ）又は相補的金属酸化物半導体（ＣＭＯＳ）フォトトランジスタを含む。光学センサ（単数又は複数）１６４は、１つ以上のレンズを通じて投影された、環境からの光を受信し、画像を表すデータに光を変換する。撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、光学センサ（単数又は複数）１６４は任意選択で、静止画像及び／又はビデオをキャプチャする。いくつかの実施形態では、タッチスクリーンを静止画像及び／又はビデオ画像取得のためのビューファインダとして使用することができるように、光学センサは、デバイスの前面上のタッチ感知ディスプレイシステム１１２の反対である、デバイス１００の背面上に配置される。いくつかの実施形態では、ユーザの画像が取得されるように（例えば、自撮りのため、ユーザがタッチスクリーン上で他のテレビ会議参加者を見ている間のテレビ会議のためなど）、別の光学センサがデバイスの前面に配置される。
デバイス１００はまた、任意選択的に、１つ以上の接触強度センサ１６５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９と結合された接触強度センサを示す。接触強度センサ（単数又は複数）１６５は、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（若しくは圧力）を測定するために使用されるセンサ）を任意選択で含む。接触強度センサ（単数又は複数）１６５は、環境から接触強度情報（例えば、圧力情報又は圧力情報のためのプロキシ）を受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接される。いくつかの実施形態では、少なくとも１つの接触強度センサは、デバイス１００の前面上に位置するタッチスクリーンディスプレイシステム１１２の反対である、デバイス１００の背面上に配置される。
また、デバイス１００は、任意選択的に、１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インタフェース１１８と結合された近接センサ１６６を示す。代わりに、近接センサ１６６は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０と結合される。いくつかの実施形態では、多機能デバイスがユーザの耳の近くに配置されるとき（例えば、ユーザが電話通話を行っているとき）、近接センサは、タッチ感知ディスプレイシステム１１２をターンオフ及び無効にする。
デバイス１００はまた、任意選択で、１つ以上の触知出力生成器１６３を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１と結合され触知出力生成器を示す。いくつかの実施形態では、触知出力生成器（単数又は複数）１６３は、スピーカー若しくは他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などの、エネルギを線形の動きに変換する電気機械デバイスを含む。触知出力生成器（単数又は複数）１６３は、触覚フィードバックモジュール１３３から触知フィードバック生成命令を受信し、デバイス１００のユーザが感知できる触知出力をデバイス１００上で生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は水平方向（例えば、デバイス１００の表面と同じ平面内の前後）に移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス１００の前面上に位置するタッチ感知ディスプレイシステム１１２の反対である、デバイス１００の背面上に配置される。
デバイス１００はまた、デバイスの位置（例えば、姿勢）に関する情報を得るための、１つ以上の加速度計１６７、ジャイロスコープ１６８、及び／又は磁気計１６９（例えば、慣性測定ユニット（inertial measurement unit、ＩＭＵ）の一部として）を、任意選択的に含む。図１Ａは、周辺機器インタフェース１１８に結合された、センサ１６７、１６８、及び１６９を示す。あるいは、センサ１６７、１６８、及び１６９は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に、任意選択的に結合される。いくつかの実施形態では、情報は、１つ以上の加速度計から受信されたデータの分析に基づいて、縦長ビュー又は横長ビュー内でタッチスクリーンディスプレイ上に表示される。デバイス１００は、デバイス１００の場所に関する情報を得るためのＧＰＳ（若しくはＧＬＯＮＡＳＳ又は他の全地球的航法システム）受信機（図示せず）を任意選択的に含む。
いくつかの実施形態では、メモリ１０２に記憶されたソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は、命令セット）１２８、接触／動きモジュール（又は、命令セット）１３０、グラフィックモジュール（又は、命令セット）１３２、触覚フィードバックモジュール（又は、命令セット）１３３、テキスト入力モジュール（又は、命令セット）１３４、全地球測位システム（Global Positioning System、ＧＰＳ）モジュール（又は、命令セット）１３５、及びアプリケーション（又は、命令セット）１３６を含む。更に、いくつかの実施形態では、図１Ａ及び図３に示されるように、メモリ１０２は、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチ感知ディスプレイシステム１１２の様々な領域を占有しているかを示す表示状態、デバイスの様々なセンサ及びその他の入力又は制御デバイス１１６から取得される情報を含むセンサ状態、並びにデバイスの位置及び／又は姿勢に関する位置及び／若しくは位置情報、のうちの１つ以上を含む。
オペレーティングシステム１２６（例えば、ｉＯＳ、Ａｎｄｒｏｉｄ、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ、ＯＳ Ｘ、ＷＩＮＤＯＷＳ、又はＶｘＷｏｒｋｓなどの組み込みオペレーティングシステム）は、全体的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御及び管理するための様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素の間の通信を促進する。
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに結合するように適合されている。いくつかの実施形態では、外部ポートは、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのいくつかのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイス内で使用される３０ピンコネクタと同一若しくは類似した、及び／又は互換性のあるマルチピン（例えば、３０ピン）コネクタである。いくつかの実施形態では、外部ポートは、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのいくつかのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスにおいて使用されるＬｉｇｈｔｎｉｎｇコネクタと同一若しくは類似した、及び／又は互換性のあるＬｉｇｈｔｎｉｎｇコネクタである。いくつかの実施形態では、外部ポートは、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのいくつかの電子デバイス内で使用されるＵＳＢ Ｔｙｐｅ－Ｃコネクタと同一若しくは類似した、かつ／又は互換性のあるＵＳＢ Ｔｙｐｅ－Ｃコネクタである。
接触／動きモジュール１３０は任意選択で、タッチ感知ディスプレイシステム１１２との接触（ディスプレイコントローラ１５６と連携して）、及び他のタッチ感知デバイスとの接触（例えば、タッチパッド又は物理クリックホイール）を検出する。接触／動きモジュール１３０は、接触が発生したかを判定すること（例えば、指ダウンイベントを検出する）、接触の強度を判定すること（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力に代替するもの）、接触の移動があるかを判定すること及びタッチ感知面を横切る移動を追跡すること（例えば、１つ以上の指のドラッグイベントを検出する）、及び接触が停止したかどうかを判定すること（例えば、指アップイベント又は接触の中断を検出する）などの、接触の検出（例えば、指又はスタイラスによる）に関連する様々な動作を実行するためのソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を判定することを含む。これらの動作は、任意選択で、単一の接触（例えば、１本の指の接触又はスタイラスの接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
接触／動きモジュール１３０は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、及び／又は強度が異なる）。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指のタップジェスチャを検出することは、フィンガダウンイベントを検出し、続いて（例えば、アイコンの位置での）そのフィンガダウンイベントと同一の位置（又は、実質的に同一の位置）でのフィンガアップ（リフトオフ）イベントを検出することを含む。別の実施例として、タッチ感知面上の指のスワイプジェスチャを検出することは、フィンガダウンイベントを検出し、続いて１つ以上の指のドラッグイベントを検出し、その後、フィンガアップ（リフトオフ）イベントを検出することを含む。同様に、タップ、スワイプ、ドラッグ、及び他のジェスチャは、任意選択で、スタイラスに対して、スタイラスに対する特定の接触パターンを検出することにより、検出される。
いくつかの実施形態では、指のタップジェスチャを検出することは、指ダウンイベントを検出することと指アップイベントを検出することとの間の時間の長さに依存するが、指ダウンイベントを検出することと指アップイベントを検出することとの間の指の接触の強度とは関連しない。いくつかの実施形態では、タップジェスチャは、タップの間の指の接触の強度が、軽い押圧又は深い押圧強度閾値などの所与の強度閾値を満たす（名目上の接触検出強度閾値よりも大きい）かに関わらず、指ダウンイベントと指アップイベントの間の時間の長さが予め定められた値よりも短い（例えば、０．１、０．２、０．３、０．４又は０．５秒よりも短い）との判定に従って検出される。したがって、指のタップジェスチャは、特定の入力基準が満たされるために、接触の特性強度が所与の強度閾値を満たすことを必要としない特定の入力基準を満たすことができる。明確にするために、タップジェスチャにおける指の接触は一般的に、指ダウンイベントを検出するために、それを下回ると接触が検出されない名目上の接触検出強度閾値を満たす必要がある。同様の分析は、スタイラスによるタップジェスチャ又は他の接触を検出することに適用される。デバイスがタッチ感知面上をホバリングする指又はスタイラスの接触を検出することが可能なケースでは、名目上の接触検出強度閾値は任意選択で、指又はスタイラスとタッチ感知面の間の物理的接触に対応しない。
同様の方式で、同一の概念が他のタイプのジェスチャに適用される。例えば、スワイプジェスチャ、ピンチジェスチャ、デピンチジェスチャ、及び／又は長い押圧ジェスチャは任意選択で、ジェスチャに含まれる接触の強度と関係しない、又は認識されるためにジェスチャを実行する接触が強度閾値に到達することを必要としない、のいずれかである基準を満たすことに基づいて検出される。例えば、スワイプジェスチャは、１つ以上の接触の移動量に基づいて検出され、ピンチジェスチャは、相互に向かう２つ以上の接触の移動に基づいて検出され、デピンチジェスチャは、相互に離れる２つ以上の接触の移動に基づいて検出され、長い押圧ジェスチャは、閾値移動量よりも小さいタッチ感知面上の接触の期間に基づいて検出される。したがって、特定のジェスチャ認識基準が満たされるために、接触（単数又は複数）の強度が対応する強度閾値を満たすことを特定のジェスチャ認識基準が必要としないという記述は、ジェスチャにおける接触（複数可）が対応する強度閾値に到達しない場合に特定のジェスチャ認識基準が満たされることが可能であること、及びジェスチャにおける接触のうちの１つ以上が対応する強度閾値に到達する、又は強度閾値を超える状況で満たされることも可能であることを意味する。いくつかの実施形態では、タップジェスチャは、接触が所定の期間の間にそれぞれの強度閾値を上回るか又は下回るかに関わらず、指ダウンイベント及び指アップイベントが所定の期間内で検出されたという判定に基づいて検出され、スワイプジェスチャは、接触が接触の移動の終わりにそれぞれの強度閾値を上回る場合でさえ、接触の移動が所定の大きさよりも大きいという判定に基づいて検出される。ジェスチャの検出がジェスチャを実行する接触の強度によって影響される実施態様でさえ（例えば、接触の強度が強度閾値を上回るときにデバイスが長い押圧をより素早く検出し、又は接触の強度がより高いときにデバイスがタップ入力の検出に遅れる）、接触が特定の強度閾値に到達しない状況でジェスチャを認識する基準を満たすことができる限り（例えば、ジェスチャを認識するために要する時間量が変化する場合でさえ）、それらのジェスチャの検出は、接触が特定の強度閾値に到達することを必要としない。
接触強度閾値、期間閾値、及び移動閾値は、一部の状況では、同一の入力要素又は領域に方向付けられる２つ以上の異なるジェスチャを区別するためのヒューリスティックを作成するために、様々な異なる組み合わせで組み合わされ、それによって、同一の入力要素との複数の異なる相互作用がより豊かなセットのユーザ相互作用及び応答を提供するように有効化される。ジェスチャ認識基準の特定のセットが、その特定のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としないという記述は、ジェスチャがそれぞれの強度閾値を超える強度を有する接触を含むときに満たされる基準を有する他のジェスチャを識別するための他の強度に依存するジェスチャ認識基準をそれと同時に評価することを排除しない。例えば、いくつかの状況では、第１のジェスチャ認識基準が満たされるために、接触（単数又は複数）の強度が対応する強度閾値を満たすことを必要としない第１のジェスチャのための第１のジェスチャ認識基準は、対応する強度閾値に到達する接触（複数可）に依存する第２のジェスチャのための第２のジェスチャ認識基準との競争関係にある。そのような競争では、ジェスチャは任意選択で、第２のジェスチャのための第２のジェスチャ認識基準が最初に満たされる場合に、第１のジェスチャのための第１のジェスチャ認識基準を満たすものとして認識されない。例えば、接触が所定の移動量を移動する前に接触が対応する強度閾値に到達する場合、スワイプジェスチャではなく深い押圧ジェスチャが検出される。逆に、接触が対応する強度閾値に到達する前に接触が所定の移動量を移動する場合、深い押圧ジェスチャではなくスワイプジェスチャが検出される。そのような状況でさえ、第１のジェスチャのための第１のジェスチャ認識基準は、第１のジェスチャ認識基準が満たされるために、接触（単数又は複数）の強度が対応する強度閾値を満たすことをなおも必要としないが、これは、ジェスチャの終わりまで接触が対応する強度閾値を下回ったままであった場合（例えば、対応する強度閾値を上回る強度まで増加しない接触を有するスワイプジェスチャ）、ジェスチャは、スワイプジェスチャとして第１のジェスチャ認識基準によって認識されているからである。そのようにして、特定のジェスチャ認識基準が満たされるために、接触（単数又は複数）の強度が対応する強度閾値を満たすことを必要としない特定のジェスチャ認識基準は、（Ａ）いくつかの状況では、強度閾値（例えば、タップジェスチャのための）に関して接触の強度を無視し、及び／又は（Ｂ）いくつかの状況では、特定のジェスチャ認識基準が入力に対応するジェスチャ（例えば、認識のための深い押圧ジェスチャと競争する長い押圧ジェスチャのための）を認識する前に、強度依存ジェスチャ認識基準の競争するセット（例えば、深い押圧ジェスチャのための）が強度依存ジェスチャに対応するものとして入力を認識する場合、特定のジェスチャ認識基準（例えば、長い押圧ジェスチャのための）が機能しないという意味で、強度閾値に関して接触の強度になおも依存している。
加速度計１６７、ジャイロスコープ１６８、及び／又は磁気計１６９と連動して、姿勢モジュール１３１は、特定の座標系内のデバイスの姿勢（例えば、ロール、ピッチ、及び／又はヨー）などの、デバイスに関する姿勢情報を任意選択的に検出する。姿勢モジュール１３１は、デバイスの位置の検出及びデバイスの姿勢の変化の検出に関係する、様々な動作を実行するためのソフトウェア構成要素を含む。
グラフィックモジュール１３２は、表示されるグラフィックの視覚的影響（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を変更するための構成要素を含む、タッチ感知ディスプレイシステム１１２又は他のディスプレイ上でグラフィックをレンダリング及び表示するための様々な既知のソフトウェア構成要素を含む。本明細書で使用される場合、用語「グラフィック」は、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、ビデオ、及びアニメーションなどを含むがこれらに限定されない、ユーザに対して表示することができるいずれかのオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール１３２は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次にディスプレイコントローラ１５６に出力する画面の画像データを生成する。
触覚フィードバックモジュール１３３は、デバイス１００とのユーザインタラクションに応答して、触知出力生成器（単数又は複数）１６３を使用してデバイス１００上の１つ以上の位置において触知出力を作成する命令（例えば、触覚フィードバックコントローラ１６１によって使用される命令）を生成する様々なソフトウェア構成要素を含む。
テキスト入力モジュール１３４は、任意選択で、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの位置を判定し、この情報を、様々なアプリケーションで使用するために（例えば、位置に基づく電話発信で使用するために電話１３８へ、写真／ビデオのメタデータとしてカメラ１４３へ、並びに、気象ウィジェット、地域のイエローページウィジェット、及びマップ／ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ）提供する。
仮想／拡張現実モジュール１４５は、拡張現実機能、いくつかの実施形態では、仮想現実機能を実装するアプリケーション１３６に、仮想現実論理及び／又は拡張現実論理を提供する。仮想／拡張現実モジュール１４５は、１つ以上のカメラの視野の少なくとも一部分の表現への、仮想ユーザインタフェースオブジェクト（例えば拡張現実に基づく測定を行うための仮想測定テープ）などの仮想コンテンツの重ね合わせを容易にする。例えば、仮想／拡張現実モジュール１４５からの支援により、１つ以上のカメラの視野の少なくとも一部分の表現は、対応する物理的オブジェクトを含んでもよく、仮想ユーザインタフェースオブジェクトは、１つ以上のカメラの視野内の対応する物理的オブジェクトに基づいて判定される、表示された拡張現実環境、又はコンピュータシステムの少なくとも一部分の姿勢（例えば、ユーザインタフェースをコンピュータシステムのユーザに表示するために使用される表示デバイスの姿勢）に基づいて判定される、仮想現実環境内の位置に表示されてもよい。
アプリケーション１３６は、任意選択的に、以下のモジュール（又は命令セット）又はそれらのサブセット若しくはスーパーセットを含む。
・連絡先モジュール１３７（アドレス帳又は連絡先リストと呼ばれる場合もある）
・電話モジュール１３８、
・テレビ会議モジュール１３９、
・電子メールクライアントモジュール１４０、
・インスタントメッセージング（ＩＭ）モジュール１４１、
・トレーニングサポートモジュール１４２、
・静止画像及び／又はビデオ画像用のカメラモジュール１４３、
・画像管理モジュール１４４、
・ブラウザモジュール１４７、
・カレンダモジュール１４８、
・気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５、及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
・ユーザ作成ウィジェット１４９－６を作成するためのウィジェット作成モジュール１５０、
・検索モジュール１５１、
・任意選択的にビデオプレーヤモジュール及び音楽プレーヤモジュールから構成されている、ビデオ及び音楽プレーヤモジュール１５２、
・メモモジュール１５３、
・地図モジュール１５４、及び／又は
・測定モジュール１５５。
任意選択的にメモリ１０２に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と共に、連絡先モジュール１３７は、（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２に記憶される）アドレス帳又は連絡先リストを管理するための実行可能命令を含み、それには、アドレス帳に名前（単数又は複数）を加えること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、実際の住所（単数又は複数）、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号及び／又は電子メールアドレスを提供して、電話１３８、テレビ会議１３９、電子メール１４０、又はＩＭ１４１による通信を開始及び／若しくは促進すること、などが含まれる。
ＲＦ回路１０８、音声回路１１０、スピーカー１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電話モジュール１３８は、電話番号に対応する一連の文字を入力し、アドレス帳１３７内の１つ以上の電話番号にアクセスし、入力されている電話番号を変更し、それぞれの電話番号をダイヤルし、会話を実行し、会話が完了したときに切断し又は電話を切る実行可能命令を含む。上述のように、無線通信は、任意選択で、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
ＲＦ回路１０８、音声回路１１０、スピーカー１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光学センサ（単数又は複数）１６４、光学センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先リスト１３７、及び電話モジュール１３８と連携して、テレビ会議モジュール１３９は、ユーザの命令に従って、ユーザと１人以上の他の参加者の間のテレビ会議を開始し、行い、終了する実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電子メールクライアントモジュール１４０は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理する実行可能命令を含む。画像管理モジュール１４４と連携して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールの作成及び送信を非常に容易にする。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、インスタントメッセージモジュール１４１は、インスタントメッセージに対応する一連の文字を入力し、前に入力された文字を修正し、それぞれのインスタントメッセージを送信し（例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス（ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのＸＭＰＰ、ＳＩＭＰＬＥ、Ａｐｐｌｅ Ｐｕｓｈ Ｎｏｔｉｆｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ（ＡＰＮｓ）、若しくはＩＭＰＳを使用して）、インスタントメッセージを受信し、受信したインスタントメッセージを見る実行可能命令を含む。いくつかの実施形態では、送信及び／又は受信されたインスタントメッセージは任意選択で、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるような、グラフィック、写真、音声ファイル、ビデオファイル、及び／又は他の添付ファイルを含む。本明細書で使用される場合、「インスタントメッセージ」は、電話ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されたメッセージ）及びインターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、ＡＰＮｓ、又はＩＭＰＳを使用して送信されたメッセージ）の両方を指す。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、マップモジュール１５４、並びにビデオ及び音楽プレーヤモジュール１５２と連携して、トレーニングサポートモジュール１４２は、トレーニングを作成し（例えば、時間、距離、及び／又はカロリー消費目標を有する）、（スポーツデバイス及びスマートウォッチ内の）トレーニングセンサと通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニング用の音楽を選択して再生し、並びに、トレーニングデータを表示し、記憶し、及び送信する、実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光学センサ（単数又は複数）１６４、光学センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と共に、カメラモジュール１４３は、静止画像又はビデオ（ビデオストリームを含む）をキャプチャしてメモリ１０２にそれらを記憶する、静止画像又はビデオの特性を変更する、及び／又はメモリ１０２から静止画像若しくはビデオを削除する、実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３と共に、画像管理モジュール１４４は、静止画像及び／又はビデオ画像を配置し、変更し（例えば、編集し）、又はその他の方式で操作し、ラベルを付け、削除し、提示し（例えば、デジタルスライドショー又はアルバム内で）、並びに記憶する、実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と共に、ブラウザモジュール１４７は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付ファイル及び他のファイルの、検索、リンク付け、受信、及び表示を含め、ユーザの命令に従って、インターネットをブラウズする、実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と共に、カレンダモジュール１４８は、ユーザの命令に従って、カレンダ及びカレンダに関連付けられたデータ（例えば、カレンダ項目、するべきことのリストなど）を作成、表示、変更、及び記憶する、実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と共に、ウィジェットモジュール１４９は、任意選択で、ユーザによってダウンロードされ使用されるミニアプリケーション（例えば、気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、及び辞書ウィジェット１４９－５）、又はユーザによって作成されるミニアプリケーション（例えば、ユーザ作成ウィジェット１４９－６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Hypertext Markup Language、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Cascading Style Sheets、カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Extensible Markup Language、拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、ウィジェット作成モジュール１５０は、ウィジェットを作成する（例えば、ウェブページのユーザ指定部分をウィジェットに変える）実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、検索モジュール１５１は、ユーザの命令に従って、１つ以上の検索基準（例えば、１つ以上のユーザ指定の検索語句）と一致する、メモリ１０２内のテキスト、音楽、サウンド、画像、ビデオ、及び／又は他のファイルを検索する実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、音声回路１１０、スピーカー１１１、ＲＦ回路１０８、及びブラウザモジュール１４７と連携して、ビデオ及び音楽プレーヤモジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された記録された音楽又は他のサウンドファイルをユーザがダウンロード及び再生することを可能にする実行可能命令、並びにビデオを表示し、提示し、又はその他の方式で再生する（例えば、タッチ感知ディスプレイシステム１１２上で、又は無線で若しくは外部ポート１２４を介して接続された外部のディスプレイ上で）実行可能命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、メモモジュール１５３は、ユーザの命令に従って、メモ、ｔｏ ｄｏリストなどを作成及び管理する実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連携して、マップモジュール１５４は、ユーザの命令に従って、地図及び地図と関連付けられたデータ（例えば、運転方向、特定の位置における又はその近くの店舗及び対象となる他の地点についてのデータ、並びに位置に基づく他のデータ）を受信し、表示し、変更し、及び記憶するために使用され得る。
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２及び仮想／拡張現実モジュール１４５と連動して、測定モジュール１５５は、本明細書でより詳細に説明するように、ユーザが拡張現実環境内の物理的空間及び／又はその中のオブジェクトを測定することを可能にする実行可能命令を含む。
上記特定されたモジュール及びアプリケーションの各々は、上記説明された１つ以上の機能、並びに本出願で説明される方法（例えば、コンピュータにより実行される方法、及び本明細書で説明される他の情報処理方法）を実行する実行可能な命令セットに対応する。それらのモジュール（すなわち、命令セット）は、別々のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、よって、それらのモジュールの様々なサブセットは、任意選択で、様々な実施形態において、組み合わされ、又はその他の方式で再配置される。いくつかの実施形態では、メモリ１０２は、任意選択で、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ１０２は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス１００は、そのデバイスにおける既定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドのみを介して実行されるデバイスである。デバイス１００が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力コントロールデバイス（プッシュボタン、ダイヤルなど）の数が削減される。
タッチスクリーン及び／又はタッチパッドを通じてのみ実行される既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス１００上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。そのような実施形態では、「メニューボタン」は、タッチ感知面を使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチ感知面の代わりに、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
図１Ｂは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａにおける）又は３７０（図３Ａ）は、イベントソータ１７０（例えば、オペレーティングシステム１２６内）及びそれぞれのアプリケーション１３６－１（例えば、上述したアプリケーション１３６、１３７～１５５、３８０～３９０のいずれか）を含む。
イベントソータ１７０は、イベント情報を受信し、イベント情報が配信されるアプリケーション１３６－１、及びアプリケーション１３６－１のアプリケーションビュー１９１を決定する。イベントソータ１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６－１は、アプリケーションがアクティブ又は実行中のとき、タッチ感知ディスプレイシステム１１２上で表示される現在のアプリケーションビュー（単数又は複数）を示す、アプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７は、どのアプリケーション（単数又は複数）が現在アクティブであるかを判定するためにイベントソータ１７０によって使用され、アプリケーション内部状態１９２は、イベント情報が配信されるアプリケーションビュー１９１を判定するためにイベントソータ１７０によって使用される。
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６－１が実行を再開するときに使用すべき再開情報、アプリケーション１３６－１によって表示されている情報を示す又は表示する準備ができたユーザインタフェース状態情報、ユーザがアプリケーション１３６－１の前の状態又はビューに戻ることを可能にする状態キュー、及びユーザによって行われた前のアクションのリドゥ／アンドゥキューのうちの１つ以上などの追加の情報を含む。
イベントモニタ１７１は、周辺機器インタフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイシステム１１２上のユーザのタッチ）についての情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６、あるいは近接センサ１６６、加速度計（単数又は複数）１６７、及び／又は（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を伝達する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイシステム１１２又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送信する。それに応じて、周辺機器インタフェース１１８は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、予め定められたノイズ閾値を上回り、及び／又は予め定められた期間よりも長い入力を受信すること）が存在するときのみ、イベント情報を送信する。
いくつかの実施形態では、イベントソータ１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイシステム１１２が２つ以上のビューを表示するとき、１つ以上のビュー内のどこにおいてサブイベントが発生したかを判定するためのソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置及び他の要素から構成されている。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するとき、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始するサブイベント（すなわち、イベント又は潜在的なイベントを形成する一連のサブイベントにおける最初のサブイベント）が発生する最下位レベルのビューである。ヒットビューがヒットビュー判定モジュールによって特定されると、ヒットビューは典型的には、それがヒットビューとして特定された同一のタッチ又は入力元に関連する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連付けられたエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部モジュール１８２によって取得されたイベント情報をイベント待ち行列に記憶する。
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。あるいは、アプリケーション１３６－１がイベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型のモジュールであり、又は接触／動きモジュール１３０などのメモリ１０２内に記憶されている別のモジュールの一部分である。
いくつかの実施形態では、アプリケーション１３６－１は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理するための命令を含む、複数のイベント処理部１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６－１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。典型的には、それぞれのアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインタフェースキット（図示せず）又はアプリケーション１３６－１が方法及び他の特性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８、及び／又はイベントソータ１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベント処理部１９０は任意選択で、アプリケーション内部状態１９２を更新するために、データ更新部１７６、オブジェクト更新部１７７、又はＧＵＩ更新部１７８を利用し、又は呼び出す。代わりに、アプリケーションビュー１９１のうちの１つ以上は、１つ以上のそれぞれのイベント処理部１９０を含む。また、いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８のうちの１つ以上は、それぞれのアプリケーションビュー１９１に含まれる。
それぞれのイベント認識部１８０は、イベントソータ１７０からイベント情報（例えば、イベントデータ１７９）を受信し、イベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。
イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。一部の実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ぶ）についての対応する情報を含む。
イベント比較部１８４は、イベント情報を、定義済みのイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７－１）及びイベント２（１８７－２）などのイベント（例えば、既定のサブイベントのシーケンス）の定義を含む。いくつかの実施形態では、イベント１８７におけるサブイベントは、例えば、タッチの始め、タッチの終わり、タッチの移動、タッチの中止、及び複数のタッチを含む。一実施例では、イベント１（１８７－１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上の予め定められた段階についての第１のタッチ（タッチの始め）、予め定められた段階についての第１のリフトオフ（タッチの終わり）、表示されたオブジェクト上の予め定められた段階についての第２のタッチ（タッチの始め）、及び予め定められた段階についての第２のリフトオフ（タッチの終わり）を含む。別の実施例では、イベント２（１８７－２）の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、表示されたオブジェクト上の予め定められた段階についてのタッチ（又は、接触）、タッチ感知ディスプレイシステム１１２を横切るタッチの移動、及びタッチのリフトオフ（タッチの終わり）を含む。いくつかの実施形態では、イベントは、１つ以上の関連付けられたイベント処理部１９０に関する情報も含む。
いくつかの実施形態では、イベント定義１８７は、それぞれのユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、３つのユーザインタフェースオブジェクトがタッチ感知ディスプレイシステム１１２上で表示されるアプリケーションビューにおいて、タッチ感知ディスプレイシステム１１２上でタッチが検出されたとき、イベント比較部１８４は、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）と関連付けられているかを判定するためにヒットテストを実行する。表示された各オブジェクトが、それぞれのイベント処理部１９０に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトに関連付けられたイベント処理部を選択する。
いくつかの実施形態では、それぞれのイベント１８７の定義は、一連のサブイベントがイベント認識部のイベントタイプに対応するかどうかが判定されるまで、イベント情報の配信を遅らせる遅延アクションも含む。
それぞれのイベント認識部１８０が一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判断した場合、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び／又はリストを有するメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することが可能となるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントに関連付けられたイベント処理部１９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントに関連付けられたイベント情報をイベント処理部１９０に配信する。イベント処理部１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。いくつかの実施形態では、イベント認識部１８０は、認識したイベントに関連付けられたフラグを投入し、そのフラグに関連付けられたイベント処理部１９０は、そのフラグを捕らえ、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令１８８は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態では、データ更新部１７６は、アプリケーション１３６－１で使用されるデータを作成及び更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新するか、又はビデオ及び音楽プレーヤモジュール１５２で使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクト更新部１７７は、アプリケーション１３６－１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部１７７は、新たなユーザインタフェースオブジェクトを作成し、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送る。
いくつかの実施形態では、イベント処理部（単数又は複数）１９０は、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８を含む又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８は、それぞれのアプリケーション１３６－１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の記載は、入力デバイスを用いて多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、１つ以上のカメラによって取得されたビデオ画像のリアルタイム解析に基づく入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、並びに／又はそれらの任意の組み合わせを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
図１Ｃは、一部の実施形態に係る、触知出力モジュールを示すブロック図である。一部の実施形態では、Ｉ／Ｏサブシステム１０６（例えば、触覚フィードバックコントローラ１６１（図１Ａ）及び／又は他の入力コントローラ（単数又は複数）１６０（図１Ａ）は、図１Ｃに示す例たる構成要素の少なくともいくつかを含む。一部の実施形態では、周辺機器インタフェース１１８は、図１Ｃに示す例たる構成要素のうちの少なくともいくつかを含む。
いくつかの実施形態では、触知出力モジュールは、触覚フィードバックモジュール１３３を含む。いくつかの実施形態では、触覚フィードバックモジュール１３３は、電子デバイス上のソフトウェアアプリケーションからのユーザインタフェースフィードバック（例えば、表示ユーザインタフェースに対応するユーザ入力、並びに電子デバイスのユーザインタフェースにおける動作の実行又はイベントの出現を示す警報及び他の通知に応答するフィードバック）に対する触知出力を集約して組み合わせる。触覚フィードバックモジュール１３３は、波形モジュール１２３（触知出力を生成するために使用される波形を提供する）、ミキサ１２５（異なるチャネルにおける波形などの波形を混合する）、圧縮器１２７（波形のダイナミックレンジを低減又は圧縮する）、ローパスフィルタ１２９（波形内の高周波信号成分をフィルタリングする）、及び熱コントローラ１８１（熱状態に従って波形を調整する）のうちの１つ以上を含む。一部の実施形態では、触覚フィードバックコントローラ１６１（図１Ａ）には、触覚フィードバックモジュール１３３が含まれる。一部の実施形態では、触覚フィードバックモジュール１３３の別々のユニット（又は触覚フィードバックモジュール１３３の別個の実装）はまた、オーディオコントローラ（例えば、図１Ａのオーディオ回路１１０）に含まれ、音声信号を生成するために使用される。いくつかの実施形態では、単一の触覚フィードバックモジュール１３３が、オーディオ信号及び触知出力に対する波形を生成するために使用される。
いくつかの実施形態では、触覚フィードバックモジュール１３３はまた、トリガモジュール１２１（例えば、ソフトウェアアプリケーション、オペレーティングシステム、又は生成すべき触知出力を判定して対応する触知出力を生成するプロセスを開始する他のソフトウェアモジュール）を含む。いくつかの実施形態では、トリガモジュール１２１は、波形の生成（例えば、波形モジュール１２３による）を開始するトリガ信号を生成する。例えば、トリガモジュール１２１は、事前設定されたタイミング基準に基づいて、トリガ信号を生成する。いくつかの実施形態では、トリガモジュール１２１は、ユーザインタフェース要素（例えば、アプリケーション内のアプリケーションアイコン若しくはアフォーダンス）又はハードウェア入力デバイス（例えば、ホームボタン若しくは強度感知タッチスクリーンなどの強度感知入力面）のアクティブ化に基づいて、触覚フィードバックモジュール１３３の外からトリガ信号を受信し（例えば、いくつかの実施形態では、触覚フィードバックモジュール１３３は、触覚フィードバックモジュール１３３の外に位置するハードウェア入力処理モジュール１４６からトリガ信号を受信する）、触覚フィードバックモジュール１３３内の他の構成要素（例えば、波形モジュール１２３）又は動作をトリガ（例えば、トリガモジュール１２１による）するソフトウェアアプリケーションへ、それらのトリガ信号を中継する。一部の実施形態では、トリガモジュール１２１はまた、触知フィードバック生成命令（例えば、触覚フィードバックモジュール１３３から、図１Ａ及び３）を受信する。一部の実施形態では、トリガモジュール１２１は、触知フィードバック命令を（例えば、図１Ａ及び３の触覚フィードバックモジュール１３３から）受信する触覚フィードバックモジュール１３３（又は触覚フィードバックモジュール１３３内のトリガモジュール１２１）に応じてトリガ信号を生成する。
波形モジュール１２３は、入力としてトリガ信号を（例えば、トリガモジュール１２１から）受信し、受信トリガ信号に応じて、１つ以上の触知出力の生成のための波形（例えば、図４Ｆ～４Ｇを参照して以下でより詳細に説明される波形などの、波形モジュール１２３によって使用するために設計された所定のセットの波形から選択された波形）を提供する。
ミキサ１２５は、波形（例えば、波形モジュール１２３から）を入力として受信し、これらの波形を共に混合する。例えば、ミキサ１２５が２つ以上の波形（例えば、第１のチャネルの第１の波形及び第１の波形と少なくとも部分的に重複する第２のチャネルの第２の波形）受信したとき、ミキサ１２５は、２つ以上の波形の和に対応する組み合わせた波形を出力する。いくつかの実施形態では、ミキサ１２５はまた、２つ以上の波形のうちの１つ以上の波形を修正し、２つ以上の波形のうちの残りに対して特定の波形を強調する（例えば、特定の波形の縮尺の増大及び／又は波形のうちの残りの縮尺の減少による）。いくつかの状況では、ミキサ１２５は、組み合わせた波形から除去すべき１つ以上の波形を選択する（例えば、触知出力生成器１６３によって同時に出力されることが要求された４つ以上のソースからの波形がある場合、最も古いソースからの波形が削除される）。
圧縮器１２７は、波形（例えば、ミキサ１２５からの合成波形）を入力として受信し、波形を変更する。いくつかの実施形態では、圧縮器１２７は、波形に対応する触知出力が減少するように、（例えば、触知出力生成器１６３（図１Ａ）又は３５７（図３）の物理的な仕様に従って）波形を低減させる。いくつかの実施形態では、圧縮器１２７は、波形に対する所定の最大振幅を強制することなどによって、波形を制限する。例えば、圧縮器１２７は、波形のうち所定の振幅閾値を超過する部分の振幅を低減させながら、波形のうち所定の振幅閾値を超過しない部分の振幅は維持する。いくつかの実施形態では、圧縮器１２７は、波形のダイナミックレンジを低減させる。いくつかの実施形態では、圧縮器１２７は、波形のダイナミックレンジを動的に低減させ、その結果、組み合わせた波形は、触知出力生成器１６３の性能仕様（例えば、力及び／又は可動質量の変位限界）の範囲内に留まる。
ローパスフィルタ１２９は、波形（例えば、圧縮器１２７からの圧縮された波形）を入力として受信し、これらの波形をフィルタリング（例えば、平滑化）する（例えば、波形内の高周波信号成分を除去又は低減する）。例えば、いくつかの例では、触知出力が圧縮された波形に従って生成されるとき、圧縮器１２７は、圧縮された波形内に、触知出力の生成に干渉する、及び／又は触知出力生成器１６３の性能仕様を超える外生信号（例えば、高周波信号成分）を含む。ローパスフィルタ１２９は、波形内のそのような外生信号を低減又は除去する。
熱コントローラ１８１は、波形（例えば、ローパスフィルタ１２９からのフィルタリングされた波形）を入力として受信し、デバイス１００の熱状態（例えば、触覚フィードバックコントローラ１６１の温度など、デバイス１００内で検出される内部温度、及び／又はデバイス１００によって検出される外部温度に基づく）に従ってこれらの波形を調整する。例えば、いくつかの場合、触覚フィードバックコントローラ１６１の出力は、温度に応じて変動する（例えば、触覚フィードバックコントローラ１６１は、同じ波形を受信したことに応じて、触覚フィードバックコントローラ１６１が第１の温度であるときは、第１の触知出力を生成し、触覚フィードバックコントローラ１６１が第１の温度とは異なる第２の温度であるときは、第２の触知出力を生成する）。例えば、触知出力の大きさ（又は振幅）は、温度によって変化してもよい。温度変動の影響を低減させるために、波形が修正される（例えば、温度に基づいて波形の振幅が増大又は減少される）。
いくつかの実施形態では、触覚フィードバックモジュール１３３（例えば、トリガモジュール１２１）が、ハードウェア入力処理モジュール１４６に結合される。一部の実施形態では、図１Ａの他の入力コントローラ（単数又は複数）１６０は、ハードウェア入力処理モジュール１４６を含む。いくつかの実施形態では、ハードウェア入力処理モジュール１４６は、ハードウェア入力デバイス１７５（例えば、ホームボタン、又は強度感知タッチスクリーンなどの強度感知入力面などの、図１Ａの他の入力又は制御デバイス１１６）からの入力を受信する。いくつかの実施形態では、ハードウェア入力デバイス１７５は、タッチ感知ディスプレイシステム１１２（図１Ａ）、キーボード／マウス３５０（図３）、タッチパッド３５５（図３）、他の入力又は制御デバイス１１６（図１Ａ）又は強度感知ホームボタンなど、本明細書に記載される入力デバイスのいずれかである。いくつかの実施形態では、ハードウェア入力デバイス１７５は、強度感知ホームボタンで構成され、タッチ感知ディスプレイシステム１１２（図１Ａ）、キーボード／マウス３５０（図３）、又はタッチパッド３５５（図３）ではない。いくつかの実施形態では、ハードウェア入力デバイス１７５（例えば、強度感知ホームボタン又はタッチスクリーン）からの入力に応答して、ハードウェア入力処理モジュール１４６は、ホームボタンの「クリック」（例えば、「ダウンクリック」又は「アップクリック」）に対応する入力などの既定の入力基準を満たすユーザ入力が検出されたことを示すために、１つ以上のトリガ信号を触覚フィードバックモジュール１３３に提供する。いくつかの実施形態では、触覚フィードバックモジュール１３３は、ホームボタンの「クリック」に対応する入力に応じて、ホームボタンの「クリック」に対応する波形を提供し、物理ホームボタンを押下する触覚フィードバックをシミュレートする。
一部の実施形態では、触知出力モジュールは、触知出力の生成を制御する触覚フィードバックコントローラ１６１（図１Ａの触覚フィードバックコントローラ１６１）を含む。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、複数の触知出力生成器に結合されており、複数の触知出力生成器のうちの１つ以上の触知出力生成器を選択し、触知出力を生成する選択された１つ以上の触知出力生成器へ波形を送信する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、ハードウェア入力デバイス１７５のアクティブ化に対応する触知出力要求と、ソフトウェアイベントに対応する触知出力要求（例えば、触覚フィードバックモジュール１３３からの触知出力要求）を連携させ、２つ以上の波形のうちの１つ以上の波形を修正して、（例えば、ソフトウェアイベントに対応する触知出力に対して、ハードウェア入力デバイス１７５のアクティブ化に対応する触知出力に優先させるなど、特定の波形（単数又は複数）の縮尺を拡大すること、及び／又は波形の残りの縮尺を縮小することによって）特定の波形（単数又は複数）を２つ以上の波形の残りに対して強調する。
一部の実施形態では、図１Ｃに示されるように、触覚フィードバックコントローラ１６１の出力は、デバイス１００のオーディオ回路（例えば、オーディオ回路１１０、図１Ａ）に結合され、音声信号をデバイス１００のオーディオ回路に提供する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、触知出力を生成するために使用される波形と、触知出力の生成と連動してオーディオ出力を提供するために使用されるオーディオ信号との両方を提供する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、オーディオ信号及び／又は波形（触知出力を生成するために使用される）を修正し、その結果、オーディオ出力及び触知出力が同期される（例えば、オーディオ信号及び／又は波形を遅延させることによる）。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、デジタル波形をアナログ信号に変換するために使用されるデジタルアナログ変換器を含み、アナログ信号は、増幅器１８５及び／又は触知出力生成器１６３によって受信される。
いくつかの実施形態では、触知出力モジュールは、増幅器１８５を含む。いくつかの実施形態では、増幅器１８５は、波形を（例えば、触覚フィードバックコントローラ１６１から）受信し、増幅された波形を触知出力生成器１６３（例えば、触知出力生成器１６３（図１Ａ）又は３５７（図３）のうちのいずれか）に送信する前に波形を増幅する。例えば、増幅器１８５は、受信した波形を、触知出力生成器１６３の物理的な仕様（例えば、触知出力生成器１６３へ送信された信号が、触覚フィードバックコントローラ１６１から受信した波形に対応する触知出力を生成するように、触知出力を生成するために触知出力生成器１６３によって必要とされる電圧及び／又は電流）による信号レベルまで増幅し、増幅された波形を触知出力生成器１６３へ送信する。これに応答して、触知出力生成器１６３は、（例えば、可動質量を可動質量の中立位置に対して１つ以上の次元で前後にシフトさせることによって）触知出力を生成する。
いくつかの実施形態では、触知出力モジュールは、触知出力生成器１６３に結合されたセンサ１８９を含む。センサ１８９は、触知出力生成器１６３又は触知出力生成器１６３の１つ以上の構成要素（例えば、触知出力を生成するために使用される膜などの１つ以上の移動部分）の状態又は状態の変化（例えば、機械的位置、物理的変位、及び／又は移動）を検出する。いくつかの実施形態では、センサ１８９は、磁界センサ（例えば、ホール効果センサ）あるいは他の変位センサ及び／又は運動センサである。いくつかの実施形態では、センサ１８９は、情報（例えば、触知出力生成器１６３内の１つ以上の部分の位置、変位、及び／又は移動）を触覚フィードバックコントローラ１６１に提供し、触知出力生成器１６３の状態に関する、センサ１８９によって提供された情報に従って、触覚フィードバックコントローラ１６１は、触覚フィードバックコントローラ１６１から出力される波形（例えば、任意選択的に増幅器１８５を介して触知出力生成器１６３へ送信される波形）を調整する。
図２は、いくつかの実施形態に係る、タッチスクリーン（例えば、タッチ感知ディスプレイシステム１１２、図１Ａ）を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。これらの実施形態、並びに後述する実施形態では、ユーザは、例えば、１本以上の指２０２（図には、正確な縮尺率では描かれていない）又は１つ以上のスタイラス２０３（図には、正確な縮尺率では描かれていない）を用いて、グラフィック上でジェスチャを行うことにより、グラフィックのうちの１つ以上を選択することが可能になる。一部の実施形態では、１つ以上のグラフィックの選択は、ユーザが、その１つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上向きに及び／若しくは下向きに）、並びに／又は、デバイス１００と接触した指のローリング（右から左へ、左から右へ、上向きに及び／若しくは下向きに）を、任意選択で含む。一部の実装形態又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
デバイス１００は、任意選択で、「ホーム」又はメニューボタン２０４などの１つ以上の物理的ボタンも含む。前述のように、メニューボタン２０４は、任意選択で、デバイス１００上で任意選択的に実行される、アプリケーションのセットにおける任意のアプリケーション１３６にナビゲートするために使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーンディスプレイ上で表示されるＧＵＩ内のソフトキーとして実装される。
いくつかの実施形態では、デバイス１００は、タッチスクリーンディスプレイ、メニューボタン２０４（ホームボタン２０４と呼ばれる場合がある）、デバイスへの電源供給のオン／オフ及びデバイスのロックのためのプッシュボタン２０６、音量調節ボタン（単数又は複数）２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、ドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、既定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックするため、及び／又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。いくつかの実施形態では、デバイス１００は、マイクロフォン１１３を通して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力をも受け入れる。デバイス１００はまた任意選択で、タッチ感知ディスプレイシステム１１２上の接触の強度を検出するための１つ以上の接触強度センサ１６５、及び／又はデバイス１００のユーザに対する触知出力を生成する１つ以上の触知出力生成器１６３を含む。
図３Ａは、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、典型的には、１つ以上の処理ユニット（ＣＰＵ）３１０と、１つ以上のネットワーク又は他の通信インタフェース３６０と、メモリ３７０と、及びこれらの構成要素を相互接続するための１つ以上の通信バス３２０とを含む。通信バス３２０は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることもある）を含む。デバイス３００は、任意選択的にタッチスクリーンディスプレイであるディスプレイ３４０を含む、入出力（input／output、Ｉ／Ｏ）インタフェース３３０を含む。Ｉ／Ｏインタフェース３３０は、任意選択的に、キーボード及び／又はマウス（又は、他のポインティングデバイス）３５０、並びにタッチパッド３５５、デバイス３００上で触知出力を生成するための触知出力生成器３５７（例えば、図１Ａを参照して上記に説明した触知出力生成器（単数又は複数）１６３と同様の）、センサ３５９（例えば、光学センサ、加速度センサ、近接センサ、タッチ感知センサ、及び／又は図１Ａを参照して上記で説明した接触強度センサ（単数又は複数）１６５と同様の接触強度センサ）も含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択で、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、任意選択で、ＣＰＵ（単数又は複数）３１０からリモートに位置する１つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２に記憶されたプログラム、モジュール、及びデータ構造に類似するプログラム、モジュール、及びデータ構造、又はそれらのサブセットを記憶する。更に、メモリ３７０は、任意選択で、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は任意選択で、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を記憶するが、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、任意選択で、それらのモジュールを記憶しない。
上記特定された図３Ａにおける要素の各々は、任意選択で、前に言及したメモリデバイスのうちの１つ以上に記憶される。上記で特定されたモジュールの各々は、上記で説明された機能を実行する命令セットに対応する。上記で特定されたモジュール又はプログラム（すなわち、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、それらのモジュールの様々なサブセットは、任意選択で、様々な実施形態において組み合わされるか、又はその他の方式で再配置される。いくつかの実施形態では、メモリ３７０は、任意選択で、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
図３Ｂ～図３Ｃは、いくつかの実施形態に係る、例示的なコンピュータシステム３０１のブロック図である。
いくつかの実施形態では、コンピュータシステム３０１は、以下のものを含む、及び／又はそれらと通信している。
・入力デバイス（単数又は複数）（３０２及び／又は３０７、例えば、タッチ感知式リモートコントロールなどのタッチ感知面、若しくは表示生成コンポーネントとしても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）、
・仮想／拡張現実論理３０３（例えば、仮想／拡張現実モジュール１４５）、
・仮想ユーザインタフェース要素をユーザに表示するための表示生成コンポーネント（単数又は複数）（３０４及び／又は３０８、例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイなど）、
・デバイスの視野の画像、例えば、仮想ユーザインタフェース要素の配置を判定し、デバイスの姿勢を判定し、及び／又はカメラ（単数又は複数）が位置する物理的環境の一部分を表示するために使用される画像をキャプチャするためのカメラ（単数又は複数）（例えば、３０５及び／又は３１１）、
・物理的環境に対するデバイスの姿勢及び／又はデバイスの姿勢の変化を判定するための姿勢センサ（単数又は複数）（例えば、３０６及び／又は３１１）。
いくつかのコンピュータシステム（例えば、図３Ｂの３０１－ａ）では、入力デバイス（単数又は複数）３０２、仮想／拡張現実論理３０３、表示生成コンポーネント（単数又は複数）３０４、カメラ（単数又は複数）３０５、及び姿勢センサ（単数又は複数）３０６は全て、コンピュータシステム（例えば、スマートフォン又はタブレットなどの図１Ａ～図１Ｂのポータブル多機能デバイス１００又は図３のデバイス３００）に統合される。
いくつかのコンピュータシステム（例えば、３０１－ｂ）では、統合された入力デバイス（単数又は複数）３０２、仮想／拡張現実論理３０３、表示生成コンポーネント（単数又は複数）３０４、カメラ（単数又は複数）３０５、及び姿勢センサ（単数又は複数）３０６に加えて、コンピュータシステムはまた、タッチ感知面、ワンド、リモートコントロールなどの別個の入力デバイス（単数又は複数）３０７、並びに／又は物理的環境上に仮想オブジェクトを重ね合わせる仮想現実ヘッドセット若しくは拡張現実眼鏡などの別個の表示生成コンポーネント（単数又は複数）３０８などの、コンピュータシステムとは別個の追加のデバイスと通信している。
いくつかのコンピュータシステム（例えば、図３Ｃの３０１－ｃ）では、入力デバイス（単数又は複数）３０７、表示生成コンポーネント（単数又は複数）３０９、カメラ（単数又は複数）３１１、及び／又は姿勢センサ（単数又は複数）３１２は、コンピュータシステムとは別個であり、かつコンピュータシステムと通信している。いくつかの実施形態では、コンピュータシステム３０１内の構成要素、及びコンピュータシステムと通信している構成要素の他の組み合わせが使用される。例えば、いくつかの実施形態では、表示生成コンポーネント（単数又は複数）３０９、カメラ（単数又は複数）３１１、及び姿勢センサ（単数又は複数）３１２は、コンピュータシステムと統合された又はコンピュータシステムと通信している、のいずれかであるヘッドセットに組み込まれる。
いくつかの実施形態では、図５Ａ～図５ＣＯを参照して後述する動作の全ては、仮想／拡張現実論理３０３を有する単一のコンピューティングデバイス（例えば、図３Ｂを参照して後述するコンピュータシステム３０１－ａ）上で実行される。しかしながら、往々にして、図５Ａ～図５ＣＯを参照して後述する動作を実行するために、異なる複数のコンピューティングデバイスが一緒にリンクされる（例えば、仮想／拡張現実論理３０３を有するコンピューティングデバイスは、ディスプレイ４５０を有する別個のコンピューティングデバイス及び／又はタッチ感知面４５１を有する別個のコンピューティングデバイスと通信する）ことも理解されたい。これらの実施形態のいずれかでは、図５Ａ～図５ＣＯを参照して後述するコンピューティングデバイスは、仮想／拡張現実論理３０３を含むコンピューティングデバイス（単数又は複数）である。加えて、各種実施形態では、仮想／拡張現実論理３０３は、別個の複数のモジュール又はコンピューティングデバイスの間で分割されてもよいことを理解されたい。しかしながら、本明細書の説明の目的のために、仮想／拡張現実論理３０３は、実施形態の他の態様を不必要に不明瞭にしないように、単一のコンピューティングデバイス内に存在するものとして主に言及される。
いくつかの実施形態では、仮想／拡張現実論理３０３は、解釈された入力を受信し、これらの解釈された入力に応じて、その後グラフィカルユーザインタフェースをディスプレイ上で更新するために使用される、解釈された入力に従ってグラフィカルユーザインタフェースを更新するための命令を生成する、１つ以上のモジュール（例えば、図１Ｂを参照してより詳細に上述したような１つ以上のオブジェクト更新部１７７及び１つ以上のＧＵＩ更新部１７８を含む１つ以上のイベント処理部１９０）を含む。いくつかの実施形態では、（例えば、図１Ａ及び図３の接触動きモジュール１３０によって）検出され、（例えば、図１Ｂのイベント認識部１８０によって）認識され、かつ／又は（例えば、図１Ｂのイベントソータ１７０によって）配信された入力に対する解釈された入力は、ディスプレイ上のグラフィカルユーザインタフェースを更新するために使用される。いくつかの実施形態では、解釈された入力は、コンピューティングデバイスにおけるモジュールによって生成される（例えば、コンピューティングデバイスは、未加工の接触入力データからジェスチャを識別するように、未加工の接触入力データを受信する）。いくつかの実施形態では、解釈された入力の一部又は全ては、解釈された入力としてコンピューティングデバイスによって受信される（例えば、タッチ感知面４５１を含むコンピューティングデバイスは、未加工の接触入力データからジェスチャを識別するように、未加工の接触入力データを処理し、仮想／拡張現実論理３０３を含むコンピューティングデバイスにジェスチャを示す情報を送信する）。
いくつかの実施形態では、ディスプレイ及びタッチ感知面の両方が、仮想／拡張現実論理３０３を含むコンピュータシステム（例えば、図３Ｂの３０１－ａ）と統合される。例えば、コンピュータシステムは、統合されたディスプレイ（例えば、図３の３４０）及びタッチパッド（例えば、図３の３５５）を有するデスクトップコンピュータ又はラップトップコンピュータであってもよい。別の例として、コンピューティングデバイスは、タッチスクリーン（例えば、図２の１１２）を有するポータブル多機能デバイス１００（例えば、スマートフォン、ＰＤＡ、タブレットコンピュータなど）であってもよい。
いくつかの実施形態では、タッチ感知面は、コンピュータシステムと統合され、ディスプレイは、仮想／拡張現実論理３０３を含むコンピュータシステムと統合されない。例えば、コンピュータシステムは、統合されたタッチパッド（例えば、図３の３５５）が別個のディスプレイ（例えば、コンピュータモニタ、テレビなど）に（有線又は無線接続を介して）接続された、デバイス３００（例えば、デスクトップコンピュータ又はラップトップコンピュータ）であってもよい。別の例として、コンピュータシステムは、タッチスクリーン（例えば、図２の１１２）が別個のディスプレイ（例えば、コンピュータモニタ、テレビなど）に（有線又は無線接続を介して）接続された、ポータブル多機能デバイス１００（例えば、スマートフォン、ＰＤＡ、タブレットコンピュータなど）であってもよい。
いくつかの実施形態では、ディスプレイは、コンピュータシステムと統合され、タッチ感知面は、仮想／拡張現実論理３０３を含むコンピュータシステムと統合されない。例えば、コンピュータシステムは、統合されたタッチディスプレイ（例えば、図３の３４０）が別個のタッチ感知面（例えば、遠隔のタッチパッド、ポータブル多機能デバイスなど）に（有線又は無線接続を介して）接続された、デバイス３００（例えば、デスクトップコンピュータ、ラップトップコンピュータ、一体型セットトップボックスを有するテレビ）であってもよい。別の例として、コンピュータシステムは、タッチスクリーン（例えば、図２の１１２）が別個のタッチ感知面（例えば、遠隔のタッチパッド、遠隔のタッチパッドとして機能するタッチスクリーンを有する別のポータブル多機能デバイスなど）に（有線又は無線接続を介して）接続された、ポータブル多機能デバイス１００（例えば、スマートフォン、ＰＤＡ、タブレットコンピュータなど）であってもよい。
いくつかの実施形態では、ディスプレイ又はタッチ感知面のいずれもが、仮想／拡張現実論理３０３を含むコンピュータシステム（例えば、図３Ｃの３０１－ｃ）と統合されない。例えば、コンピュータシステムは、別個のタッチ感知面（例えば、遠隔のタッチパッド、ポータブル多機能デバイスなど）及び別個のディスプレイ（例えば、コンピュータモニタ、テレビなど）に（有線又は無線接続を介して）接続された、独立型コンピューティングデバイス３００（例えば、セットトップボックス、ゲームコンソールなど）であってもよい。
いくつかの実施形態では、コンピュータシステムは、一体型オーディオシステム（例えば、ポータブル多機能デバイス１００内のオーディオ回路１１０及びスピーカー１１１）を有する。いくつかの実施形態では、コンピューティングデバイスは、コンピューティングデバイスとは別個のオーディオシステムと通信している。いくつかの実施形態では、オーディオシステム（例えば、テレビユニット内に統合されたオーディオシステム）は、別個のディスプレイと統合される。いくつかの実施形態では、オーディオシステム（例えば、ステレオシステム）は、コンピュータシステム及びディスプレイとは別個の独立型システムである。
ここで、ポータブル多機能デバイス１００上で任意選択的に実装されるユーザインタフェース（「ＵＩ」）の実施形態に注意を向ける。
図４Ａは、いくつかの実施形態に係る、ポータブル多機能デバイス１００上のアプリケーションのメニューのための例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
・セルラー信号及びＷｉ－Ｆｉ信号などの無線通信（単数又は複数）のための信号強度インジケータ（単数又は複数）、
・時間、
・Ｂｌｕｅｔｏｏｔｈ（登録商標）インジケータ、
・バッテリ状態インジケータ、
・以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ４０８
○不在着信又はボイスメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、また、
○「音楽」とラベル付けされたビデオ及び音楽プレーヤモジュール１５２のアイコン４２２、また、
・以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダ」とラベル付けされた、カレンダモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「測定」とラベル付けされた、測定モジュール１５５のアイコン４３２、
○「株価」とラベル付けされた、株価ウィジェット１４９－２のアイコン４３４、
○「マップ」とラベル付けされた、マップモジュール１５４のアイコン４３６、
○「天気」とラベル付けされた、気象ウィジェット１４９－１のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９－４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、また、
○デバイス１００及びその様々なアプリケーション１３６についての設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュールのアイコン４４６。
図４Ａに示されたアイコンのラベルは単なる例に過ぎないことに留意されたい。例えば、他のラベルが任意選択的に、様々なアプリケーションアイコンに使用される。一部の実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。一部の実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図４Ｂは、ディスプレイ４５０とは別個のタッチ感知面４５１（例えば、タブレット又はタッチパッド３５５、図３Ａ）を有するデバイス（例えば、デバイス３００、図３Ａ）上の例示的なユーザインタフェースを示す。以下の実施例のうちの多くはタッチスクリーンディスプレイ１１２上の入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すように、ディスプレイと分離したタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂにおける４５１）は、ディスプレイ（例えば、４５０）上の主軸（例えば、図４Ｂにおける４５３）に対応する主軸（例えば、図４Ｂにおける４５２）を有する。それらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図４Ｂにおいて、４６０は４６８に対応し、４６２は４７０に対応する）におけるタッチ感知面４５１との接触（例えば、図４Ｂにおける４６０及び４６２）を検出する。このように、タッチ感知面がディスプレイと分離しているとき、タッチ感知面（例えば、図４Ｂにおける４５１）上でデバイスによって検出されたユーザ入力（例えば、接触４６０及び４６２、及びそれらの移動）は、多機能デバイスのディスプレイ（例えば、図４Ｂにおける４５０）上でユーザインタフェースを操作するためにデバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
加えて、以下の実施例は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャなど）を参照して与えられるが、いくつかの実施形態では、それらの指の入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスに基づく入力又はスタイラス入力）と置換されることを理解されたい。例えば、スワイプジェスチャは、（例えば、接触の代わりの）マウスクリックに続けた、（例えば、接触の移動の代わりの）スワイプの経路に沿ったカーソルの移動によって、任意選択的に置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置の上に位置する間はマウスクリックと置き換えられる（例えば、接触を検出して、それに続いて接触の検出を停止する代わりに）。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他のロケーションマーカーを含むいくつかの実装形態では、カーソルは、カーソルが特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の上にある間に、タッチ感知面（例えば、図３Ａにおけるタッチパッド３５５、又は図４Ｂにおけるタッチ感知面４５１）上で入力（例えば、押圧入力）が検出されると、特定のユーザインタフェース要素が検出された入力に従って調整されるように、「フォーカスセレクタ」として機能する。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接的な相互作用を有効化するタッチスクリーンディスプレイ（例えば、図１Ａにおけるタッチ感知ディスプレイシステム１１２、又は図４Ａにおけるタッチスクリーン）を含むいくつかの実装形態では、タッチスクリーン上で検出された接触は、入力（例えば、接触による押圧入力）がタッチスクリーンディスプレイ上で特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の位置において検出されると、特定のユーザインタフェース要素が検出された入力に従って調製されるように、「フォーカスセレクタ」として機能する。いくつかの実装では、タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、（例えば、タブキー又は矢印キーを使ってフォーカスを１つのボタンから別のボタンに移動させることにより）フォーカスが、ユーザインタフェースの１つの領域からユーザインタフェースの別の領域に移動される。これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタによってとられる具体的な形態とは関わりなく、フォーカスセレクタは一般的に、ユーザインタフェースとのユーザの意図した相互作用を通信するために（例えば、ユーザが相互作用することを意図しているユーザインタフェースの要素をデバイスに示すことによって）、ユーザによって制御されるユーザインタフェース要素（又は、タッチスクリーンディスプレイ上の接触）である。例えば、タッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で押圧入力が検出されている間の、対応のボタンの上のフォーカスセレクタ（例えば、カーソル、接触、又は選択ボックス）の位置は、その対応のボタンを（そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく）アクティブ化することをユーザが意図していることを示すものである。いくつかの実施形態では、フォーカスインジケータ（例えば、カーソル又は選択インジケータ）は、１つ以上の入力デバイスから受信した入力によって影響を受けることになるユーザインタフェースの現在の部分を示すように、表示デバイスを介して表示される。
本明細書及び特許請求の範囲で使用される、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触又はスタイラスの接触）の力、又は圧力（単位面積あたりの力）、又はタッチ感知面上の接触の力又は圧力の代替物（プロキシ）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、数百の（例えば、少なくとも２５６の）別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組み合わせを使用して、判定（又は測定）される。例えば、タッチ感知面の下又はそれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値は、推定される接触の力を特定するために組み合わされる（例えば、加重平均又は合計）。同様に、スタイラスの感圧性先端部は、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触エリアのサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化は、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。一部の実装形態では、接触の力又は圧力のための代替測定値は、強度閾値を超えているかどうかを判定するために直接使用される（例えば、強度閾値は、代替測定値に対応する単位で記述される）。いくつかの実装形態では、接触の力又は圧力のための代替測定値は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超えているかどうかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。ユーザ入力の属性として接触の強度を使用すると、（例えば、タッチ感知ディスプレイ上に）アフォーダンスを表示するため、及び／又は（例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタンなどの物理的／機械的コントロールを介して）ユーザ入力を受信するための資産が制限された、低減されたサイズのデバイス上で、そうでない場合ユーザによるアクセスが容易に可能でない場合がある、追加のデバイス機能にユーザがアクセスすることが可能になる。
いくつかの実施形態では、接触／動きモジュール１３０は、ユーザによって動作が実行されたか否かを判定するための（例えば、ユーザがアイコン上で「クリック」したか否かを判定するための）、１つ以上の強度閾値のセットを使用する。いくつかの実施形態では、強度閾値の少なくとも１つのサブセットが、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されるのではなく、デバイス１００の物理ハードウェアを変化させることなく調整することができる）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の既定の閾値のうちのいずれかに設定することができる。更に、いくつかの実装形態では、デバイスのユーザは、（例えば、個々の強度閾値を調整することにより、及び／又は、システムレベルのクリック「強度」パラメータで一度に複数の強度閾値を調整することにより）強度閾値のセットのうちの１つ以上を調整するためのソフトウェア設定が提供される。
本明細書及び特許請求の範囲で使用される、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく、その接触の特性を指す。一部の実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び／又は、接触の強度の減少を検出する前若しくは後の）に関連する既定の期間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）の間に収集された強度サンプルのセットに基づく。接触の特性強度は任意選択で、接触の強度の最大値、接触の強度の平均値（mean value）、接触の強度の平均値（average value）、接触の強度の上位１０％値、接触の強度の最大値の半分の値、接触の強度の最大値の９０％の値、予め定義された期間にわたって、又は予め定義された時間において開始した接触の強度を低域フィルタリングすることによって生成された値などのうちの１つ以上に基づく。一部の実施形態では、特性強度を判定する際に（例えば、特性強度が経時的な接触の強度の平均であるときに）、接触の持続期間が使用される。一部の実施形態では、特性強度は、ユーザによって動作が実行されたかどうかを判定するために、１つ以上の強度閾値のセットと比較される。例えば、１つ以上の強度閾値のセットは、第１の強度閾値及び第２の強度閾値を含んでもよい。この実施例では、第１の閾値を上回らない特性強度を有する接触の結果として第１の動作が実行され、第１の強度閾値を上回り第２の強度閾値を上回らない特性強度を有する接触の結果として第２の動作が実行され、第２の強度閾値を上回る特性強度を有する接触の結果として第３の動作が実行される。いくつかの実施形態では、特性強度と１つ以上の強度閾値との間の比較は、第１の操作を実行するか、又は第２の操作を実行するかを判定するために使用されるのではなく、１つ以上の操作を実行するか否か（例えば、それぞれの選択肢を実行するか、又はそれぞれの操作を実行することを控えるか）を判定するために使用される。
一部の実施形態では、特性強度を判定する目的のために、ジェスチャの一部分が特定される。例えば、タッチ感知面は、開始位置から遷移して終了位置に達する連続的なスワイプ接触（例えば、ドラッグジェスチャ）を受け取る場合があり、そのポイントにおいて接触の強度が増大する。この例では、終了位置における接触の特性強度は、スワイプ接触全体ではなく、連続的なスワイプ接触の一部分のみ（例えば、終了位置におけるスワイプ接触の一部分のみ）に基づいてもよい。いくつかの実施形態では、接触の特性強度を特定する前に、スワイプ接触の強度に平滑化アルゴリズムが適用されてもよい。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を判定する目的のために、スワイプ接触の強度の小幅な上昇又は降下を排除する。
本明細書で説明されるユーザインタフェースの図は、任意選択で、１つ以上の強度閾値（例えば、接触検出強度閾値ＩＴ０、軽い押圧強度閾値ＩＴＬ、深い押圧強度閾値ＩＴＤ（例えば、少なくとも最初はＩＴＬよりも高い）、及び／又は１つ以上の他の強度閾値（例えば、ＩＴＬよりも低い強度閾値ＩＴＨ）に対する、タッチ感知面上の接触の現在の強度を示す、様々な強度の図表を含む。この強度の図は、典型的には、表示されるユーザインタフェースの一部ではないが、図の解釈を支援するために提供される。一部の実施形態では、軽い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作をデバイスが実行する強度に相当する。一部の実施形態では、深い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作とは異なる動作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押圧強度閾値を下回る（例えば、それを下回ると接触がもはや検出されない名目上の接触検出強度閾値ＩＴ０を上回る）特性強度を有する接触が検出されると、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値に関連付けられた動作を実行することなく、タッチ感知面上の接触の移動に従ってフォーカスセレクタを移動させる。一般に、特に明記しない限り、これらの強度閾値は、ユーザインタフェース図の様々なセットの間で一貫している。
いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力中の接触強度に基づく基準に依存する。例えば、いくつかの「軽い押圧」入力の場合、入力中の第１の強度閾値を超える接触の強度は第１の応答をトリガする。いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力中の接触強度と時間ベースの基準の両方を含む基準に依存する。例えば、いくつかの「深い押圧」入力の場合、軽い押圧用の第１の強度閾値より大きい入力中の第２の強度閾値を超える接触の強度は、第１の強度閾値を満たすことと第２の強度閾値を満たすこととの間に遅延時間が経過した場合のみ、第２の応答をトリガする。この遅延時間は典型的には、時間が２００ｍｓ（ミリ秒）よりも短い（例えば、第２の強度閾値の大きさに依存して、４０ｍｓ、１００ｍｓ、又は１２０ｍｓであり、遅延時間は第２の強度閾値が増大するにつれて増大する）。この遅延時間は、深い押圧入力の偶発的な認識を回避することを支援する。別の例として、いくつかの「深い押圧」入力の場合、第１の強度閾値が満たされた時間の後に発生する感度が低下した期間が存在する。感度が低下した期間の間、第２の強度閾値は増大する。第２の強度閾値のこの一時的な増大も、偶発的な深い押圧入力を回避するのに役立つ。他の深い押圧入力の場合、深い押圧入力の検出に対する応答は、時間ベースの基準に依存しない。
いくつかの実施形態では、入力強度閾値及び／又は対応する出力のうちの１つ以上は、ユーザ設定、接触の動き、入力タイミング、実行しているアプリケーション、強度が加わる速度、同時入力の数、ユーザ履歴、環境要因（例えば、周囲ノイズ）、フォーカスセレクタの位置などの、１つ以上の要因に基づいて変化する。例示的な要因が、米国特許出願公開第１４／３９９，６０６号及び第１４／６２４，２９６号に記載されており、それらは参照により全体が本明細書に組み込まれている。
例えば、図４Ｃは、タッチ入力４７６の強度にある程度基づいて経時的に変化する動的な強度閾値４８０を示す。動的な強度閾値４８０は、２つの成分、タッチ入力４７６が最初に検出されたときから既定の遅延時間ｐ１後に経時的に減衰する第１の成分４７４、及び経時的にタッチ入力４７６の強度の跡を辿る第２の成分４７８の合計である。第１の成分４７４の最初の高い強度閾値は、タッチ入力４７６が十分な強度を提供する場合に即時の「深い押圧」応答を更に可能にしながら、「深い押圧」応答の偶発的トリガを削減する。第２の成分４７８は、タッチ入力の段階的な強度変動によって「深い押圧」応答の意図しないトリガを削減する。いくつかの実施形態では、タッチ入力４７６が動的な強度閾値４８０を満たすとき（例えば、図４Ｃにおける地点４８１において）、「深い押圧」応答がトリガされる。
図４Ｄは、別の動的な強度閾値４８６（例えば、強度閾値ＩＴＤ）を示す。図４Ｄはまた、２つの他の強度閾値、第１の強度閾値ＩＴＨ及び第２の強度閾値ＩＴＬを示す。図４Ｄにおいて、タッチ入力４８４が時間ｐ２の前に第１の強度閾値ＩＴＨ及び第２の強度閾値ＩＴＬを満たすが、時間４８２において遅延時間ｐ２が経過するまでは応答が提供されない。また、図４Ｄでは、動的強度閾値４８６は、予め定義された遅延時間ｐ１が時間４８２から経過した後（第２の強度閾値ＩＴＬと関連付けられた応答がトリガされたとき）の時間４８８において開始する減衰で、経時的に減衰する。このタイプの動的強度閾値は、第１の強度閾値ＩＴＨ又は第２の強度閾値ＩＴＬなど、より低い強度閾値と関連付けられた応答のトリガの直後に又はそれと同時に、動的強度閾値ＩＴＤと関連付けられた応答を偶発的にトリガすることを減少させる。
図４Ｅは、更に別の動的な強度閾値４９２（例えば、強度閾値ＩＴＤ）を示す。図４Ｅにおいて、強度閾値ＩＴＬと関連付けられた応答は、タッチ入力４９０が最初に検出されるときから遅延時間ｐ２が経過した後にトリガされる。同時に、動的な強度閾値４９２は、タッチ入力４９０が最初に検出されたときから既定の遅延時間ｐ１が経過した後に減衰する。そのため、タッチ入力４９０を解放することなしに、タッチ入力４９０の強度の増大がその後に続く、強度閾値ＩＴＬに関連付けられた応答をトリガした後のタッチ入力４９０の強度の減少は、タッチ入力４９０の強度が別の強度閾値、例えば、強度閾値ＩＴＬを下回るときでも、（例えば、時間４９４において）強度閾値ＩＴＤに関連付けられた応答をトリガすることができる。
軽い押圧強度閾値ＩＴＬを下回る強度から、軽い押圧強度閾値ＩＴＬと深い押圧強度閾値ＩＴＤとの間の強度への接触の特性強度の増大は、「軽い押圧」入力と呼ばれる場合がある。深い押圧強度閾値ＩＴＤを下回る強度から深い押圧強度閾値ＩＴＤを上回る強度への接触の特性強度の増大は、「深い押圧」入力と呼ばれる場合がある。接触検出強度閾値ＩＴ０を下回る強度から接触検出強度閾値ＩＴ０と軽い押圧強度閾値ＩＴＬの間の強度への接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれる場合がある。接触検出強度閾値ＩＴ０を上回る強度から接触検出強度閾値ＩＴ０を下回る強度への接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれる場合がある。いくつかの実施形態では、ＩＴ０はゼロである。いくつかの実施形態では、ＩＴ０はゼロより大きい。いくつかの例示では、タッチ感知面上の接触の強度を表すために、網掛けの円又は楕円が使用される。いくつかの例示では、それぞれの接触の強度を指定することなく、タッチ感知面上のそれぞれの接触を表すために、網掛けなしの円又は楕円が使用される。
本明細書に記載されるいくつかの実施形態では、１つ以上の動作は、それぞれの押圧入力を含むジェスチャを検出したことに応答して、又はそれぞれの接触（若しくは複数の接触）で実行されるそれぞれの押圧入力を検出したことに応答して実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（又は複数の接触）の強度の増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの動作は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大を検出したことに応答して実行される（例えば、それぞれの動作は、それぞれの押圧入力の「ダウンストローク」上で実行される）。いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及びその後の押圧入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、その後の押圧入力閾値を下回るそれぞれの接触の強度の減少を検出したことに応答して実行される（例えば、それぞれの動作は、それぞれの押圧入力の「アップストローク」上で実行される）。
一部の実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との既定の関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりも低いＸ強度単位であり、又はヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくは何らかの妥当な割合である）。したがって、いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、及びその後の押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、その後のヒステリシス強度閾値を下回るそれぞれの接触の強度の減少を検出したことに応答して実行される（例えば、それぞれの動作は、それぞれの押圧入力の「アップストローク」上で実行される）。同様に、一部の実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、その後のヒステリシス強度以下の強度への接触の強度の減少を検出するときにのみ検出され、それぞれの動作は、押圧入力（例えば、状況に応じて、接触の強度の増大又は接触の強度の減少）を検出したことに応じて実行される。
説明を容易にするために、押圧入力強度閾値に関連付けられた押圧入力に応答して、又は押圧入力を含むジェスチャに応答して実行される動作の説明は、任意選択的に、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応答してトリガされる。更に、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて実行されるように動作が記載される例では、動作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。上述されたように、いくつかの実施形態では、これらの応答のトリガは、満たされる時間ベースの基準にも依存する（例えば、遅延時間は、第１の強度閾値が満たされることと第２の強度閾値が満たされることとの間で経過している）。
例示的な目的で、図４Ｆ～４Ｋでは特定の周波数、振幅、及び波形のみがサンプル触知出力パターンで表されているが、他の周波数、振幅及び波形を有する触知出力パターンも同様の目的で使用され得る。例えば、０．５～４回のサイクルを有する波形を使用することができる。また、６０Ｈｚ～４００Ｈｚの範囲の他の周波数も用いることができる。
ユーザインタフェース及び関連するプロセス
ここで、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイなど）と、１つ以上のカメラ（例えば、カメラのうちの少なくとも１つの視野内にあるコンテンツの少なくとも一部分のライブプレビューを連続して提供し、かつ任意選択的に、カメラのうちの少なくとも１つの視野内のコンテンツをキャプチャする画像フレームの１つ以上のストリームを含むビデオ出力を生成するビデオカメラ）と、１つ以上の入力デバイス（例えば、タッチ感知式リモートコントロールなどのタッチ感知面、若しくは表示生成コンポーネントとしても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）と、任意選択的に、１つ以上の姿勢センサと、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的に、１つ以上の触知出力生成器と、を含む（及び／又はそれらと通信している）コンピュータシステム（例えばポータブル多機能デバイス１００などの電子デバイス（図１Ａ）、デバイス３００（図３Ａ）、又はコンピュータシステム３０１（図３Ｂ））上で実施されてよい、ユーザインタフェース（「ＵＩ」）及び関連するプロセスの実施形態に注意を向ける。
図５Ａ～図５ＣＯは、いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うための例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図６Ａ～６Ｃ、図７Ａ～図７Ｅ、図８Ａ～図８Ｃ、図９Ａ～図９Ｂ、図１０Ａ～図１０Ｂ、図１１Ａ～図１１Ｂ、図１２Ａ～図１２Ｃ、図１３Ａ～図１３Ｃ及び図１４Ａ～図１４Ｄにおけるプロセスを含む、以下に説明するプロセスを例示するために使用される。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上の図に示されるユーザインタフェースを表示している間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別個のタッチ感知面４５１を有するデバイス上で実行される。
図５Ａは、図５Ａ～図５ＣＯに関して記載されるユーザインタフェースが使用される状況を示す。具体的には、図５Ａは、テーブル５００２及びデバイス１００が位置する物理的空間５０００の図を示す。デバイス１００は、デバイス１００のタッチスクリーン１１２を介して、テーブル５００２の一部分を含む物理的空間５０００を見るために、ユーザ５００４によって保持される。特に、タッチスクリーン１１２は、物理的空間５０００に対応する拡張現実環境のビューを表示する。ユーザ５００４は、デバイス１００のタッチスクリーン１１２を使用して、表示されたユーザインタフェース５００６（例えば、拡張現実測定アプリケーションのユーザインタフェース）を介して拡張現実環境と相互作用する。ユーザインタフェース５００６は、デバイス１００の１つ以上のカメラ（図３Ａ～図３Ｂのカメラ（単数又は複数）３０５又は図３Ｃのカメラ（単数又は複数）３１１、任意選択で１つ以上のカメラの一部としての図１Ａの光学カメラ１６４など、デバイス１００の「カメラ」と呼ばれることもある）のうちの少なくとも１つのカメラの視野のライブプレビューを含む。いくつかの実施形態では、カメラ（単数又は複数）は、領域５００８内でデバイス１００上に位置する。いくつかの実施形態では、デバイス１００は、タッチスクリーン１１２と同じデバイス１００の面（例えば、図５Ａではユーザ５００４に向いている面）の隣の、及びその上の領域５００８内に位置する前方カメラ３０５－ａを含む。いくつかの実施形態では、デバイス１００は、タッチスクリーン１１２の裏側で、又はタッチスクリーン１１２からデバイス１００の反対側で（ときにはデバイス１００の裏側と呼ばれる）領域５００８内に位置する１つ以上のカメラを含む（例えば、図５Ａでは１つ以上のカメラがユーザ５００４から離れる方を向いている）。少なくとも１つのカメラは、物理的空間５０００内の１つ以上の物理的オブジェクト（例えば、テーブル５００２）を含んでよい、カメラの視野内にあるコンテンツのライブプレビューを継続的に提供する。
いくつかの実施形態では、ユーザインタフェース５００６は、拡張現実環境とのユーザインタラクションのための１つ以上のユーザインタフェース要素を含む。例えば、図５Ａでは、ユーザインタフェース５００６は、拡張現実環境とのユーザインタラクションのためのエリアを示すレチクル５０１０を含む。いくつかの実施形態では、レチクル５０１０は、ユーザインタラクションのための特定の地点を示すフォーカス点５０１２を含む。いくつかの実施形態では、ユーザインタフェース５００６は、（例えば、本明細書でより詳細に説明されるように）新しい測定（例えば、新たな測定点、新たな測定セグメント、及び／又は新たな測定領域）をユーザインタフェース５００６に追加するために使用される測定追加ボタン５０１４を含む。いくつかの実施形態では、レチクル５０１０及びフォーカス点５０１２は、測定追加ボタン５０１４のアクティブ化に応答して新たな測定が追加される位置を示す測定点作成インジケータを形成する。
いくつかの実施形態では、ユーザインタフェース５００６は、静止画などのメディア又は視野のビデオ（任意選択的に対応するオーディオを含む）などのメディア、及び視野内の物理的オブジェクトに対応する任意の仮想測定をキャプチャするために使用されるメディアキャプチャボタン５０１６を含む。いくつかの実施形態では、ユーザインタフェース５００６は、ユーザインタフェース５００６において直近に実行された動作を無効にするために使用されるアンドゥボタン５０１８を含む。いくつかの実施形態では、ユーザインタフェース５００６は、ユーザインタフェース５００６において最も直近に実行された動作を再度実行する（例えば、アンドゥボタン５０１８のアクティブ化による動作後に実行された動作の無効を無効にする）ために使用されるリドゥボタン５０２０を含む。ユーザインタフェース５００６はまた、物理的空間５０００内の１つ以上の物理的オブジェクトに対応し、かつユーザインタフェース５００６のユーザインタフェース要素上のユーザ入力に少なくともある程度応答して表示される１つ以上の仮想測定を含んでもよい。いくつかの実施形態では、ユーザインタフェース５００６は、ユーザインタフェース５００６内に表示された仮想測定を除去するための（及び、任意選択的に、クリアボタン５０２２がアクティブ化されたときにカメラの視野の外にある物理的オブジェクト（単数及び複数）に対応する仮想測定など、クリアボタン５０２２がアクティブ化されたときにユーザインタフェース５００６内に表示されない仮想測定も除去するための）クリアボタン５０２２を含む。
図５Ｂは、図５Ａの縦向きとは対照的に、第１の横向きのデバイス１００を示す。デバイス１００が第１の横向きにある間、図５Ｂに示されるように、デバイス１００の１つ以上のカメラは、デバイス１００の左側の領域５００８内に位置し、測定追加ボタン５０１４は、デバイス１００の右側のユーザインタフェース５００６内で、領域５００８から離れて表示されることで、ユーザ５００４がデバイス１００を左側で保持し、ユーザインタフェース５００６内のライブプレビューを提供するカメラの視野を見えにくくする可能性を低減する、また、デバイス１００をその右側で保持しながら（例えば、ユーザ５００４が自分の右手でデバイス１００を保持しながら）、ユーザ５００４が片手で操作する間の拡張現実環境との相互作用を容易にする。
図５Ｃは、図５Ｂにおける横向きとは異なる第２の横向きのデバイス１００を示す（例えば、図５Ｂの横向きから１８０度回転された）。デバイス１００が第２の横向きにある間、図５Ｃに示されるように、デバイス１００の１つ以上のカメラは、デバイス１００の右側の領域５００８内に位置し、測定追加ボタン５０１４は、領域５００８から離れてデバイス１００の左側のユーザインタフェース１００内に表示されることで、ユーザ５００４がデバイス１００を右側に保持し、ユーザインタフェース５００６内のライブプレビューを提供するカメラの視野を見えにくくする可能性を低減する、また、デバイス１００をその左側で保持しながら（例えば、ユーザ５００４が自分の左手でデバイス１００を保持しながら）、ユーザ５００４が片手で操作する間の拡張現実環境との相互作用を容易にする。
図５Ｄは、拡張現実環境のエラー状態の一例を示す。特に、図５Ｄは、カメラの視野内の別個の物理的オブジェクト及び物理的特徴を認識するためにデバイス１００が利用できる光が不十分である場合の物理的空間５０００の図を示す。デバイス１００は、ユーザインタフェース５００６内にエラーメッセージ５０２４（例えば、「暗すぎる」及び「表面を検出するために照明のスイッチを入れよ」などの文章を含む）を表示して、エラー状態を指示し、ユーザ５００４に物理的空間５０００内の光の量を増加させるように促す。いくつかの実施形態では、デバイス１００がカメラの視野内の物理的オブジェクト又は特徴を識別することができないようなエラー状態が存在する間、デバイス１００は、エラー状態を示すためにレチクル５０１０及び／又はフォーカス点５０１２を表示するのを中止する。
図５Ｅは、拡張現実環境のエラー状態の別の例を示す。具体的には、図５Ｅは、十分な光が利用可能であるが、（例えば、ユーザ５００４は、エラーメッセージ５０２４に応答して照明のスイッチをオンにしている）、デバイス１００が、カメラの視野内にある物理的空間５０００内の物理的オブジェクトの表面を検出していない、物理的空間５０００の視野を示す。デバイス１００は、ユーザインタフェース５００６内にエラーメッセージ５０２６（例えば、「表面を検出するためにデバイスを左右に移動させよ」という文章による）を表示してエラー状態を示し、ユーザ５００４にデバイス１００を左右に移動させるように促す（例えば、デバイス１００による画像処理を促進して、カメラの視野内にある物理的表面を検出する）。移動の矢印５０２８は、エラーメッセージ５０２６に応答した、ユーザ５００４によるデバイス１００の左右の移動を示す。いくつかの実施形態では、デバイス１００が、フォーカス点５０１２がライブプレビュー内に表示される位置で物理的オブジェクトの表面を検出しないとき、エラーメッセージ５０２６が表示される。いくつかの実施形態では、ユーザ５００４が検出すべき物理的オブジェクトの表面に対してデバイス１００を早く移動させ過ぎた場合、エラー状態を表示して、エラー状況を示し、ユーザ５００４にデバイス１００をよりゆっくりと移動させるように促す。
図５Ｆは、デバイス１００が物理的空間５０００内の物理的オブジェクトの表面を検出したときの物理的空間５０００の図を示す。具体的には、図５Ｆでは、デバイス１００は、（例えば、フォーカス点５０１２が、ライブプレビュー内のテーブル５００２の上面の上に位置決めされる間、図５Ｅに関して上述したようなデバイス１００の左右の移動に基づいて）テーブル５００２の上面を検出する。特定の表面を検出することにより、デバイス１００は、フォーカス点５０１２に加えて、ユーザインタフェース５００６内にレチクル５０１０を表示する。いくつかの実施形態では、フォーカス点５０１２が物理的空間５０００内の物理的オブジェクトの検出された表面に対応するライブプレビュー内の領域の上に位置決めされる度に、レチクル５０１０が表示される（例えば、フォーカス点５０１２が位置決めされるライブプレビュー内の領域が、検出された表面に対応することを示すために）。いくつかの実施形態では、レチクル５０１０は、図５Ｆに示されるように、検出された表面と同一平面上に見えるように傾けられて、デバイスによって検出された表面を示す。
図５Ｇは、図５Ｆからの移行を示す。図５Ｇでは、ユーザ５００４は、フォーカス点５０１２が、検出された表面に対応しないライブプレビュー内の地点の上に位置決めされるようにデバイス１００を移動させている（例えば、フォーカス点５０１２は、ライブプレビュー内のテーブル５００２の検出された上面の上にはもはや位置決めされていない）。したがって、デバイス１００は、フォーカス点５０１２を表示し続けながら、レチクル５０１０の外観を変化させる（例えば、レチクルをもはや傾けないことによって、レチクルを黒丸に変更することによって、及び／又はレチクルの表示を停止することによって）レチクル５０１０の外観を変化させる。
図５Ｈは、図５Ｇからの移行を示す。図５Ｈでは、ユーザ５００４は、フォーカス点５０１２及びレチクル５０１０の少なくとも一部が、ライブプレビュー内のテーブル５００２の検出された上面の上に再び位置決めされるようにデバイス１００を移動させている。デバイス１００は、ライブプレビューにおいて、テーブル５００２の検出された縁部（例えば、検出された上面の縁部）５０３０を検出した。縁部５０３０は、レチクル５０１０内に少なくとも部分的に存在する（例えば、フォーカス点５０１２は、縁部５０３０の既定の閾値距離内にあり、この場合、既定の閾値距離はレチクル５０１０の最大半径である）。したがって、レチクル５０１０及びフォーカス点５０１２の視覚的外観が変化する。具体的には、フォーカス点５０１２は、縁部５０３０に沿った特定の地点まで（例えば、垂直方向下向きに）移動されるか、その地点に「スナップ」される。更に、フォーカス点５０１２がライブプレビュー内の検出された特徴にスナップされていることを示すために、レチクル５０１０のサイズが縮小される。いくつかの実施形態では、レチクル５０１０は、フォーカス点５０１２がライブプレビュー内の検出された特徴にスナップされるときはいつでも図５Ｈに示されるサイズで表示される。いくつかの実施形態では、フォーカス点５０１２がカメラの視野内の物理的オブジェクトの縁部又は角に対応するライブプレビュー内の検出された特徴にスナップするときに、レチクル５０１０及びフォーカス点５０１２の視覚的外観は変更される。いくつかの実施形態では、レチクル５０１０及びフォーカス点５０１２は、カメラの視野内の物理的オブジェクトの表面に対応するライブプレビュー内の検出された特徴の上に位置決めされるとき、レチクル５０１０及びフォーカス点５０１２の視覚的外観は変更されない。いくつかの実施形態では、フォーカス点５０１２を縁部５０３０に移動させることと併せて、デバイス１００は任意選択で、（例えば、図１Ａの触知出力生成器１６３を使用して）触知出力５０３２を生成して、カメラのライブプレビュー内の検出された特徴に点５０１２が「スナップ」されたことを示す。
図５Ｉは、図５Ｈからの移行を示す。図５Ｉでは、ユーザ５００４は、縁部５０３０の一部分がレチクル５０１０の範囲内にないようにデバイス１００を移動させている。したがって、フォーカス点５０１２は、縁部５０３０から離れてスナップされ、レチクル５０１０の中心に再表示される（例えば、フォーカス点５０１２がスナップすべきレチクル５０１０の範囲内には、もはやいかなる特徴も存在しないため）。加えて、レチクル５０１０のサイズは、フォーカス点５０１２が縁部５０３０にスナップする前の、図５Ｆに示されるそのサイズに戻るように拡大される。いくつかの実施形態では、レチクル５０１０は、フォーカス点５０１２がライブプレビュー内の任意の検出された特徴にスナップされていないときはいつでも、デフォルトで、図５Ｆ及び図５Ｉに示されるサイズで表示される。いくつかの実施形態では、フォーカス点５０１２は、フォーカス点５０１２がライブプレビュー内の任意の検出された特徴にスナップされないときはいつでも、デフォルトでレチクル５０１０の中心に表示される。いくつかの実施形態では、図５Ｉに示されるように、デバイス１００は任意選択的に、フォーカス点５０１２がカメラのライブプレビュー内の検出された特徴にもはやスナップされていないことを示すために、フォーカス点５０１２を縁部５０３０から離れるように移動させることと併せて、触知出力５０３４を生成する。いくつかの実施形態では、触知出力５０３４は、少なくとも１つの触知出力特性（例えば、周波数、振幅、及び／又はパターン）において触知出力５０３２（図５Ｈ）とは異なることで、検出された特徴にスナップしていることを示す触知出力５０３２（図５Ｈ）は、検出された特徴から離れてスナップしていることを示す触知出力５０３４とは異なる触知フィードバックをユーザ５００４に提供する。
図５Ｊ～図５Ｏは、テーブル５００２の水平方向の左上縁部の測定の作成を示す。図５Ｊは、図５Ｉからの移行を示す。図５Ｊでは、ユーザ５００４は、ライブプレビュー内に表示されるテーブル５００２の上部後方左の角がレチクル５０１０の範囲にあるようにデバイス１００を移動させている。したがって、フォーカス点５０１２は、ライブプレビュー内のテーブル５００２の上部後方左の角に対応するアンカー点にスナップされる。いくつかの実施形態では、フォーカス点５０１２は、ライブプレビュー内のテーブル５００２の上部後方左の角がレチクル５０１０の範囲にある限り（例えば、デバイス１００は、ユーザ５００４の手の不安定さなどのユーザ５００４の意図しない動きに起因してわずかに移動する場合もあるが）、ライブプレビュー内のアンカー点上に維持される。レチクル５０１０のサイズは、スナップ動作を示すために縮小される（例えば、図５Ｈを参照して上に示され、上述したものと同じサイズに）。加えて、触知出力５０３６が、スナップ動作を示すために生成される。
図５Ｋ～図５Ｌは、ユーザインタフェース５００６への測定点の追加を示す、図５Ｊからの移行を示す。具体的には、図５Ｋは、強度計５０４０によって示されるように、接触強度が最小接触検出閾値ＩＴ０を上回るタッチ入力５０３８（例えば、タップジェスチャ）による測定追加ボタン５０１４のアクティブ化を示す。測定追加ボタン５０１４のアクティブ化に応答して、デバイス１００は、フォーカス点５０１２の現在の位置において（仮想）測定点５０４２をユーザインタフェース５００６に追加して表示する。測定点５０４２をユーザインタフェース５００６に追加することと併せて、デバイス１００は、測定点の追加を示す触知出力５０４４を任意選択的に生成する。いくつかの実施形態では、触知出力５０４４は、少なくとも１つの触知出力特性（例えば、周波数、振幅、及び／又はパターン）において触知出力５０３２（図５Ｈ）及び触知出力５０３４（図５Ｉ）と異なることで、スナップ動作を示す触知出力５０３２（図５Ｈ）及び触知出力５０３４（図５Ｉ）は、測定点の追加を示す触知出力５０４４とは異なる触知フィードバックをユーザ５００４に提供する。図５Ｌは、測定追加ボタン５０１４からのタッチ入力５０３８のリフトオフを示す。
図５Ｍは、図５Ｌからの移行を示す。図５Ｍでは、ユーザ５００４は、レチクル５０１０がライブプレビュー内に表示されるように物理的空間５０００内の異なる位置の上に位置決めされるように、デバイス１００を斜め下方に、かつ右に向かって移動させている。具体的には、図５Ｍでは、レチクル５０１０は、ライブプレビューに表示されるようにテーブル５００２の上部前方左角の上に位置決めされる。したがって、フォーカス点５０１２は、ライブプレビュー内のテーブル５００２の上部前方左角に対応するアンカー点にスナップされる。レチクル５０１０のサイズは、スナップ動作を示すために縮小される（例えば、図５Ｊを参照して上に示され、かつ上述したものと同じサイズに）。触知出力５０４６が、スナップ動作を示すために生成される。加えて、測定点５０４２は、テーブル５００２の上部後方左の角の上に継続して表示される（例えば、測定点５０４２は、テーブル５００２の上部後方左の角に関連付けられ、デバイス１００が移動するときテーブル５００２の上部後方左の角の位置が変化しても、ライブプレビュー内のその位置の上に表示される）。
レチクル５０１０及びフォーカス点５０１２が物理的空間５０００内の異なる位置の上に位置決めされるようなデバイス１００の移動に応答して、測定点５０４２（直近に追加された測定点）とフォーカス点５０１２との間に測定セグメント５０４８が表示される。測定セグメント５０４８は、測定点５０４２に対応する物理的空間５０００内の地点と、フォーカス点５０１２に対応する物理的空間５０００内の地点との間の距離（例えば、「３フィート」）を示すラベル５０４９で表示される。測定セグメント５０４８の第２の終点が追加される前は、測定セグメント５０４８は、測定点５０４２である第１の終点と、フォーカス点５０１２の現在の位置である第２の終点とを有する動的測定セグメントである（例えば、測定セグメント５０４８の長さ及び測定セグメント５０４８に対応するラベル５０４９によって示される距離は共に、フォーカス点５０１２の現在の位置が対応する物理的空間５０００内の地点を変えるデバイス１００の移動に従って更新される）。加えて、直近に追加された測定点、すなわち測定点５０４２からデバイス１００の移動方向に延在する物理的空間５０００内の特徴に沿って仮想ガイド５０５０が表示される。具体的には、仮想ガイド５０５０は、ライブプレビュー内で斜め下方及び右に向かって延在する、テーブル５００２の水平方向の左上縁部に沿って表示される。テーブル５００２の左上縁部及びテーブル５００２の上面の他の縁部は、本明細書では水平方向の縁部と称されるが、その理由は、たとえそれらがライブプレビュー内では斜めに見える場合であっても、それらは、デバイス１００の視点から物理的空間５０００内では水平であるためであることに留意されたい。
図５Ｎ～図５Ｏは、ユーザインタフェース５００６への測定の追加を示す、図５Ｍからの移行を示す。具体的には、図５Ｎは、強度計５０４０によって示されるように、接触強度が最小接触検出閾値ＩＴ０を上回るタッチ入力５０５２（例えば、タップジェスチャ）による測定追加ボタン５０１４のアクティブ化を示す。測定追加ボタン５０１４のアクティブ化に応答して、デバイス１００は、フォーカス点５０１２の現在の位置に、及び測定セグメント５０４８の第２の終点として、ユーザインタフェース５００６内に（仮想）測定点５０５４を追加して表示する。測定点５０４０をユーザインタフェース５００６に追加することと併せて、デバイス１００は、測定点の追加を示す触知出力５０５６任意選択的に生成する。いくつかの実施形態では、触知出力５０５６は、測定点の追加を示す触知出力５０４４（図５Ｋ）と同じタイプの触知出力である。いくつかの実施形態では、触知出力５０５６は、少なくとも１つの触知出力特性（例えば、周波数、振幅、及び／又はパターン）において触知出力５０４４（図５Ｋ）とは異なることで、触知出力５０５６は、触知出力５０４４（図５Ｋ）と異なるフィードバックをユーザ５００４に提供する。一部のそのような実施形態では、触知出力５０４４（図５Ｋ）は、新たな測定セグメントを開始する測定点の追加を示し、触知出力５０５６は、測定セグメントを完了させる（例えば、終了させる）測定点の追加を示す。図５Ｏは、測定追加ボタン５０１４からのタッチ入力５０５２のリフトオフを示す。タッチ入力５０５２のリフトオフの後、デバイス１００は、測定点５０４２、測定点５０５４、ユーザインタフェース５００６内で測定点５０４２と５０５４をつなぐ測定セグメント５０４８、及びラベル５０４９（テーブル５００２の水平方向の左上縁部の測定に対応する）を表示し続ける。いくつかの実施形態では、図５Ｏに示されるように、測定セグメントが完了したとき、デバイス１００は、仮想ガイド５０５０などの仮想ガイドの表示するのを中止する。
図５Ｐは、図５Ｏからの移行を示す。図５Ｐでは、ユーザ５００４は、測定セグメント５０４８に隣接するライブプレビュー内のテーブル５００２の側面上にレチクル５０１０が位置決めされるように、デバイス１００を移動させている。デバイス１００は、レチクル５０１０（又はより具体的にはフォーカス点５０１２）が位置決めされている領域が、物理的空間５０００内の物理的矩形エリア（例えば、検出された領域は、デバイス１００の視点から、ライブプレビュー内では台形に見えるが）に対応することを（例えば測定セグメント５０４８にある程度基づいて）判定する。したがって、デバイス１００は、検出された領域が物理的矩形エリアに対応することを示すインジケータ５０５８を表示する。加えて、デバイス１００は、テーブル５００２の水平方向の左上縁部の上に測定点５０４２、測定点５０５４、測定セグメント５０４８及びラベル５０４９を表示し続ける。いくつかの実施形態では、仮想測定の一部である測定要素（例えば、測定点５０４２、測定５０５４、測定セグメント５０４８及びラベル５０４９）は、仮想測定に対応する物理的オブジェクト（例えば、テーブル５００２の水平方向左上縁部）をライブプレビュー内で見ることができるときはいつでも、対応する仮想測定がクリアされるまでユーザインタフェース５００６に表示される。
図５Ｑ～図５Ｘは、テーブル５００２の垂直方向の左前縁部の測定の作成を示す。図５Ｑは、図５Ｐからの移行を示す。図５Ｑでは、ユーザ５００４は、ライブプレビューに表示されるように、レチクル５０１０がテーブル５００２の上部前方左角の上に再度位置決めされるように、デバイス１００を移動させている。したがって、フォーカス点５０１２は、ライブプレビュー内のテーブル５００２の上部前方左角に対応し、かつ測定点５０５４に対応するアンカー点にスナップされる。レチクル５０１０のサイズは、スナップ動作を示すために縮小される（例えば、図５Ｍを参照して上に示され、上述した同じサイズに）。触知出力５０６０が、スナップ動作を示すために生成される。デバイス１００は、インジケータ５０５８を表示するのを中止する（例えば、フォーカス点５０１２は、テーブル５００２の上部前方左角に対応するアンカー点にスナップされており、テーブル５００２の側面の物理的矩形エリアに対応するライブプレビュー内の検出領域の上にもはや表示されていないため）。
図５Ｒは、ユーザインタフェース５００６への測定点の追加を示す、図５Ｑからの移行を示す。具体的には、図５Ｒは、強度計５０４０によって示されるように、接触強度が最小接触検出閾値ＩＴ０を上回るタッチ入力５０６２（例えば、タップジェスチャ）による測定追加ボタン５０１４のアクティブ化を示す。いくつかの実施形態では、図５Ｒに示されるように、測定追加ボタン５０１４のアクティブ化に応答して、デバイス１００は、追加されるべき新たな測定セグメントの開始点として測定点５０５４を使用する。いくつかの実施形態では、測定追加ボタン５０１４のアクティブ化に応答して、デバイス１００は、新たな測定セグメントの開始点として測定点５０５４と同じ位置に別の（仮想）測定点を追加して表示する。新たな測定セグメントのための前述の開始点のいずれかを確立することと併せて、デバイス１００は、任意選択的に、測定点の追加を示す、（及び、いくつかの実施形態では、追加された測定点が新たな測定セグメントを開始することを示す）触知出力５０６４を生成する。
図５Ｓは、図５Ｒからの移行を示す。図５Ｓでは、ユーザ５００４は、レチクル５０１０がテーブル５００２の水平方向の前縁部に沿った位置の上に位置決めされ、かつライブプレビュー内のテーブル５００２の上部前方左角がもはやレチクル５０１０の範囲内にはないように、デバイス１００を右に向かって水平方向に移動させている。したがって、フォーカス点５０１２は、テーブル５００２の水平方向の前縁部に対応するアンカー点上に表示される（例えば、レチクル５０１０の中心から最短距離である、レチクル５０１０の範囲内のテーブル５００２の前縁部の一部分に沿った地点である、レチクル５０１０の範囲内であるテーブル５００２の前縁部の一部分の中点で）。レチクル５０１０は、フォーカス点５０１２がライブプレビュー内の検出された特徴にスナップされていることを示すために、その縮小したサイズ（例えば、図５Ｒと同じサイズ）で表示される。加えて、測定点５０５４は、ライブプレビュー内のテーブル５００２の上部前方左角の上に表示され続け、動的測定セグメント５０６６が測定点５０５４とフォーカス点５０１２との間に表示される。ラベル５０６８は、測定点５０５４に対応する物理的空間５０００内の地点と、フォーカス点５０１２に対応する物理的空間５０００内の地点との間の距離を示す。加えて、デバイス１００の水平移動に応答して、デバイス１００は測定点５０５４から水平方向に延在する仮想ガイド５０７０を表示する。
いくつかの実施形態では、図５Ｓに示されるように、触知出力は、スナップ動作を示すために生成されない。例えば、テーブル５００２の水平方向前縁部の少なくとも一部分がレチクル５０１０の範囲内に維持されており、フォーカス点５０１２がスナップされる特定のアンカー点は、デバイス１００が移動する間に変化するが、フォーカス点５０１２は、デバイス１００の移動中、いかなる時点でもテーブル５００２の水平方向前縁部から離れてスナップされない間、デバイス１００は、フォーカス点５０１２が、検出された縁部に沿って移動するときの触知出力の連続生成を回避するために触知出力の生成を取りやめる。
図５Ｔは、図５Ｓからの移行を示す。図５Ｔでは、デバイス１００の移動の方向は、水平方向から右に向かって垂直方向下向きに変化している。水平移動から垂直移動への移動方向の変化に応答して、デバイス１００は、（水平方向）仮想ガイド５０７０（図５Ｓ）の表示を中止し、代わりに、デバイス１００の移動方向に測定点５０５４から垂直方向に延在する（垂直方向）仮想ガイド５０７２を表示する。フォーカス点５０１２は、テーブル５００２の垂直方向内側左縁部５０７４に対応するアンカー点にスナップされ、いくつかの実施形態では、図５Ｔに示されるように、デバイス１００は、スナップ動作を示すために触知出力５０７６を生成する。動的測定セグメント５０６６は、測定点５０５４とフォーカス点５０１２の現在位置との間に表示されるように、デバイス１００の移動に従って継続的に更新される。加えて、ラベル５０６８は、動的測定セグメント５０６６の中点にラベル５０６８が表示されるように、デバイスの移動及び動的測定セグメント５０６６の更新に従って継続的に更新される。
図５Ｕは、ユーザインタフェース５００６への測定点の追加を示す、図５Ｔからの移行を示す。具体的には、図５Ｕは、強度計５０４０によって示されるように、接触強度が最小接触検出閾値ＩＴ０を上回るタッチ入力５０７８（例えば、タップジェスチャ）による測定追加ボタン５０１４のアクティブ化を示す。測定追加ボタン５０１４のアクティブ化に応答して、デバイス１００は、フォーカス点５０１２の現在の位置で、及び完了した測定セグメントになる測定セグメント５０６６の第２の終点として（仮想）測定点５０８０をユーザインタフェース５００６に追加して表示する（例えば、その第２の終点は、ここでは測定点５０８０であり、フォーカス点５０１２ではなく、もはやこれは動的測定セグメントではない）。測定点５０４０をユーザインタフェース５００６に追加することと併せて、デバイス１００は、任意選択的に、測定点の追加を示す触知出力５０８２を生成する（及び任意選択的に、例えば、図５Ｎの触知出力５０５６と同じタイプの触知出力を使用して測定セグメントを完了する測定点の追加を示す）。いくつかの実施形態では、図５Ｕに示されるように、デバイス１００は、測定セグメントの完了後であっても、仮想ガイド５０７２などの仮想ガイドを表示し続ける（例えば、デバイス１００がその現在の位置から離れるように移動するまで）。
図５Ｖは、ユーザインタフェース５００６内で直近に実行された動作を無効にする「アンドゥ」動作を実行することを含む、図５Ｕからの移行を示す。具体的には、図５Ｖは、測定点５０８０（図５Ｕ）の追加を無効にするためのタッチ入力５０８４によるアンドゥボタン５０１８のアクティブ化を示す。したがって、測定点５０８０はユーザインタフェース５００６から除去される。測定セグメント５０６６は、ここでは（再び）、第２の終点がフォーカス点５０１２であり、フォーカス点５０１２が移動するにつれて更新される動的測定セグメントである。
図５Ｗは、図５Ｖからの移行を示す。図５Ｗでは、ユーザ５００４は、ライブプレビューに表示されるように、レチクル５０１０がテーブル５００２の下部前方左角の上に位置決めされるように、デバイス１００を下方に移動させている。したがって、フォーカス点５０１２は、テーブル５００２の下部前方左角に対応するアンカー点に（及び任意選択的に、仮想ガイド５０７２にも）スナップされる。レチクル５０１０は、フォーカス点５０１２がライブプレビュー内の検出された特徴にスナップされていることを示すために、その縮小したサイズ（例えば、図５Ｕと同じサイズ）で表示される。触知出力５０８６が、スナップ動作を示すために生成される。図５Ｘでは、デバイス１００は、測定セグメント５０４８の一部分のみがユーザインタフェース５００６内に表示されるように移動しているが、これは、テーブル５００２の上部後方左角はもはやライブプレビュー内で見ることができず、よって、テーブル５００２の水平方向の左上縁部の一部分のみをライブプレビュー内で見ることができるためである。したがって、ラベル５０４９は、（例えば、図５Ｖに示されるように）測定セグメント５０４８全体の中点ではなく、測定セグメント５０４８の表示された部分のみの中点で表示される。
図５Ｘは、ユーザインタフェース５００６への測定点の追加を示す、図５Ｗからの移行を示す。具体的には、図５Ｘは、強度計５０４０によって示されるように、接触強度が最小接触検出閾値ＩＴ０を上回るタッチ入力５０８８（例えば、タップジェスチャ）による測定追加ボタン５０１４のアクティブ化を示す。測定追加ボタン５０１４のアクティブ化に応答して、デバイス１００は、フォーカス点５０１２の現在の位置に、及び完了した測定セグメントになる測定セグメント５０６６の第２の終点として、ユーザインタフェース５００６に（仮想）測定点５０９０を追加して表示する。測定点５０９０をユーザインタフェース５００６に追加することと併せて、デバイス１００は、測定点の追加を示すために（及び任意選択的に、例えば図５Ｎの触知出力５０５６又は図５Ｕの触知質５０８２と同じタイプを使用して、測定セグメントを完了させる測定点の追加を示すために）、触知出力５０９２を任意選択的に生成する。
図５Ｙ～図５ＡＦは、物理的空間５０００内の物理的矩形エリア（例えば、テーブル５００２の表面）に対応する測定領域の作成を示す。具体的には、図５Ｙ～図５Ｚは、ライブプレビュー内にその全体が一度に表示される物理的矩形エリアに対応する測定領域の作成を示す。図５Ｙは、図５Ｘからの移行を示す。図５Ｙでは、ユーザ５００４は、測定セグメント５０４８及び測定セグメント５０６６の両方に隣接する、ライブプレビュー内のテーブル５００２の側面上にレチクル５０１０が位置決めされるように、図５Ｘのその位置からデバイス１００を移動させている。デバイス１００は、レチクル５０１０（又はより具体的にはフォーカス点５０１２）が位置決めされているライブプレビュー内の領域が、物理的空間５０００内の物理的矩形エリアに対応することを判定する（例えば、判定は、測定セグメント５０４８及び測定セグメント５０６６が検出された領域の隣接する辺であることにある程度基づいている）。したがって、デバイス１００は、フォーカス点５０１２が位置決めされているライブプレビュー内の検出された領域が物理的矩形エリアに対応することを示すために、インジケータ５０９４を表示する。加えて、デバイス１００は、測定セグメント５０４８、対応するラベル５０４９、測定セグメント５０６６、対応するラベル５０６８及び終点５０４２、５０５４及び５０９０を表示し続ける。図５Ｙは、図５Ｙが、終点５０４２、５０５４及びラベル５０４９を有する（第１の）測定セグメント５０４８に加えて、終点５０５４及び５０９０並びにラベル５０６８を有する（第２の）測定セグメント５０６６を含むこと以外は、図５Ｐと同様である。
図５Ｚは、ユーザインタフェース５００６への測定領域の追加を示す、図５Ｙからの移行を示す。具体的には、図５Ｚは、フォーカス点５０１２が、インジケータ５０９４によって示される検出された領域の上にある間の、強度計５０４０によって示されるように接触強度が最小接触検出閾値ＩＴ０を上回るタッチ入力５０９６（例えば、タップジェスチャ）による測定追加ボタン５０１４のアクティブ化を示す。測定追加ボタン５０１４のアクティブ化に応答して、デバイス１００は、検出された領域に対応する測定を追加し、インジケータ５０９４の外観を変化させて、検出領域が測定領域として確認されたことを示す。加えて、デバイス１００は、確認された領域（例えば、"７．５ｆｔ２"）に対応する物理的矩形エリアの面積を示すラベル５０９８を表示する。任意選択的に、いくつかの実施形態では、ラベル５０９８は、検出された領域が測定領域として確認される前にインジケータ５０９４と共に表示される（例えば、いくつかの実施形態では、ラベル５０９８は、図５Ｙのインジケータ５０９４と共に表示される）。
図５ＡＡは、図５Ｚからの移行を示す。図５ＡＡでは、ユーザ５００４は、ライブプレビュー内のテーブル５００２の水平方向左上縁部及び測定セグメント５０４８内の上にレチクル５０１０が位置決めされるように、デバイス１００を垂直方向上方に移動させている。特に、測定セグメント５０４８の中点はレチクル５０１０内にある。いくつかの実施形態では、図５ＡＡに示されるように、ユーザインタフェース５００６内に表示されるそれぞれの測定セグメントの中点は、フォーカス点５０１２がスナップするアンカー点とすることができる。したがって、図５ＡＡでは、フォーカス点５０１２は、測定セグメント５０４８の中点に対応する（また、テーブル５００２の水平方向左上縁部の中点にも対応する）アンカー点にスナップされる。レチクル５０１０のサイズは、前述のように、スナップ動作を示すために縮小される。触知出力５１００が、スナップ動作を示すために生成される。加えて、デバイス１００は、物理的空間５０００内の物理的矩形エリアに対応する検出された領域の上に、確認された領域のインジケータ５０９４を表示し続ける（例えば、確認された領域のインジケータ５０９４は、物理的矩形エリアに対応する検出された領域に関連付けられ、デバイス１００が移動する際に検出領域がライブプレビュー内で移動する間でも、ライブプレビュー内の検出領域の上に表示される）。
図５ＡＢ～図５ＡＥは、ライブプレビュー内で部分的に見ることができるが、その全体が一度に見ることができない、物理的空間５０００内の物理的矩形エリアに対応する測定領域の作成を示す（例えば、物理的矩形エリアの３辺のみがライブプレビュー内で、全体的に又は部分的に見ることができる）。図５ＡＢは、図５ＡＡからの移行を示す。図５ＡＢでは、ユーザ５００４は、測定セグメント５０４８に隣接し、かつテーブル５００２の上面の部分図に対応する、ライブプレビュー内の領域の上にレチクル５０１０が位置決めされるように、デバイス１００を右に向かって水平方向に移動させている。具体的には、テーブル５００２の上面の左縁部は見ることが可能であり、テーブル５００２の上面の前縁部の一部分が見ることが可能であり、テーブル５００２の上面の後縁部の一部分は見ることが可能であるが、テーブル５００２の上面の右縁部は見ることができない。フォーカス点５０１２は、測定セグメント５０４８の中点に対応するアンカー点から離れてスナップされ、レチクル５０１０の中心に再表示される。レチクル５０１０は、その増大したサイズで再表示され、触知出力５１０２が、任意選択的に、アンカー点から離れて移動するフォーカス点５０１２と共に生成される。加えて、デバイス１００は、レチクル５０１０（又はより具体的にはフォーカス点５０１２）が位置決めされる領域は、物理的空間５０００内の物理的矩形エリアの一部分に対応する（例えば、検出された領域は、デバイス１００の視点からライブプレビュー内では矩形には見えないが）ことを判定する（測定セグメント５０４８にある程度基づいて）。したがって、デバイス１００は、検出領域が物理的矩形エリアに対応することを示すインジケータ５１０４を表示する。任意選択的に、デバイス１００の移動に従って、仮想ガイド５１０６が表示される。仮想ガイド５１０６は水平方向に延在し、デバイス１００の移動方向に水平方向に延在すると識別された、ライブプレビュー内の特徴に対応する。いくつかの実施形態では、複数の特徴がデバイス１００の移動方向に延在する場合、移動方向に延在する複数の仮想ガイドが表示される。いくつかの実施形態では、移動方向に延在する仮想ガイドは、対応する測定点がユーザインタフェース５００６内に既に追加されている特徴に対してのみ表示される。
図５ＡＣ～図５ＡＤは、レチクル５１０がライブプレビュー内のテーブル５００２の上面上に配置されている間のデバイス１００の更なる水平移動を示す。図５ＡＣでは、テーブル５００２の上面の前縁部の一部分及び後縁部の一部分は見ることが可能であるのに対し、テーブル５００２の上面の左縁部も右縁部も見ることができない。図５ＡＤでは、前縁部の一部分及び後縁部の一部分に加えて、テーブル５００２の上面の右縁部も、ここでは見ることが可能である。デバイス１００は、ライブプレビュー内のテーブル５００２の上面の見ることが可能な部分の上のインジケータ５１０４、並びにデバイス１００の水平移動による水平方向の仮想ガイドを表示し続ける。
図５ＡＥは、ユーザインタフェース５００６への測定領域の追加を示す、図５ＡＤからの移行を示す。具体的には、図５ＡＥは、フォーカス点５０１２が、インジケータ５１０４によって示される検出された領域の上にある間の、強度計５０４０によって示されるように接触強度が最小接触検出閾値ＩＴ０を上回るタッチ入力５１０８（例えば、タップジェスチャ）による測定追加ボタン５０１４のアクティブ化を示す。測定追加ボタン５０１４のアクティブ化に応答して、デバイス１００は、検出領域の一部分しか見ることができないが、検出領域全体に対応する測定を追加し、検出領域が測定領域として確認されたことを示すインジケータ５１０４の外観を変更する。更に、デバイス１００は、ラベル５１１０、ラベル５１１２及びラベル５１１４を表示する。ラベル５１１０は、（全体の）確認された領域に対応する（全体の）物理的矩形エリアの面積を示す。ラベル５１１２は、確認された領域（例えば、テーブル５００２の上面の右縁部）に対応する、物理的矩形エリアの第１の辺の長さを示す。ラベル５１１４は、確認された領域（例えば、テーブル５００２の上面の前縁部）に対応する物理的矩形エリアの第１の辺に隣接する第２の辺の長さを示す。任意選択的に、いくつかの実施形態では、ラベル５１１４は、検出領域が測定領域として確認される前にインジケータ５１０４と共に表示される（例えば、いくつかの実施形態では、ラベル５１１４は、図５ＡＤのインジケータ５１０４と共に表示される）。
図５ＡＦは、図５ＡＥからの移行を示す。図５ＡＦでは、ユーザ５００４は、テーブル５００２の左部分がライブプレビューで見えるように、デバイス１００を左に向かって水平方向に移動させている。インジケータ５０９４、測定セグメント５０４８及び測定セグメント５０６６（それぞれの関連ラベルと共に）は、たとえ、デバイス１００が、これらの要素及びテーブル５００２の対応する特徴をユーザインタフェース５００６内で見ることが可能であった位置から離れるように予め移動されており、これらの要素及びテーブル５００２の対応する特徴をユーザインタフェース５００６内で（再び）見ることができる（図５ＡＦに示されるなどの）位置に戻るように今は移動されているとしても、テーブル５００２のそれぞれの特徴（例えば、テーブル５００２のそれぞれ側面、水平方向左上縁部、及び垂直方向左前縁部）に対応するそれぞれの位置でユーザインタフェース５００６内に表示される。加えて、たとえデバイス１００が、ユーザインタフェース５００６内で現在見ることができない、テーブル５００２の上面の異なる部分を表示している間に、テーブル５００２の上面に対応する検出領域が確認されたとしても、インジケータ５１０４（その関連ラベルと共に）は、テーブル５００２の上面の見ることが可能な部分の上に表示される。
図５ＡＧは、物理的空間５０００のライブプレビュー上に、かつ物理的空間５０００に対応して表示される全ての測定（例えば、現在カメラの視野内にない物理的オブジェクトに対応する測定を含む）をユーザインタフェース５００６からクリアする作業を示す。図５ＡＧでは、タッチ入力５１１６によるクリアボタン５０２２のアクティブ化に応答して、測定セグメント５０４８及び５０６６、測定点５０４２、５０５４及び５０９０、インジケータ５０９４及び５１０４、並びに全ての対応するラベルがユーザインタフェース５０６から除去される。
図５ＡＨ～図５ＡＳは、連続するタッチ入力の強度の変化に基づいた測定の連続的作成を示す。具体的には、図５ＡＨ～図５ＡＭは、テーブル５００２の水平方向左上縁部の測定の作成を示す。図５ＡＨは、図５ＡＧからの移行を示す。図５ＡＨでは、ユーザ５００４は、ライブプレビュー内に表示されたテーブル５００２の上部後方左角がレチクル５０１０の範囲内にあるようにデバイス１００を移動させている。したがって、フォーカス点５０１２は、ライブプレビュー内のテーブル５００２の上部後方左の角に対応するアンカー点にスナップされる。レチクル５０１０は、スナップ動作を示すために、その縮小したサイズで表示される。加えて、触知出力５１１８が、スナップ動作を示すために任意選択的に生成される。
図５ＡＩは、ユーザインタフェース５００６への測定点の追加を示す、図５ＡＨからの移行を示す。具体的には、図５ＡＩは、強度計５０４０によって示されるように軽い押圧強度閾値ＩＴＬを上回る接触強度を有するタッチ入力５１２０（例えば、軽い押圧ジェスチャ）による測定追加ボタン５０１４のアクティブ化を示す。測定追加ボタン５０１４のアクティブ化に応答して、デバイス１００は、フォーカス点５０１２の現在の位置でユーザインタフェース５００６に（仮想）測定点５１２２を追加して表示する。測定点５１２２をユーザインタフェース５００６に追加するのと併せて、及び軽い押圧強度閾値ＩＴＬを上回るタッチ入力５１２０の接触強度の増大に応答して、デバイス１００は、任意選択的に、測定点の追加を示す触知出力５１２４を生成する。いくつかの実施形態では、図５ＡＩに示されるように、タッチ入力５１２０の接触強度が増大するにつれて測定追加ボタン５０１４のサイズは縮小される（例えば、タッチ入力５０３８の接触強度が、最小接触検出閾値ＩＴ０と軽い押圧強度閾値ＩＴＬとの間にある図５Ｋよりも、タッチ入力５１２０の接触強度が軽い押圧強度閾値ＩＴＬを上回る図５ＡＩにおいて測定追加ボタン５０１４はより小さくなる）。
図５ＡＪは、タッチ入力５１２０が、最小接触検出閾値ＩＴ０を上回るが、軽い押圧強度閾値ＩＴＬを下回る低下した接触強度で測定追加ボタン５０１４上で維持されていることを示す、図５ＡＩからの移行を示す。いくつかの実施形態では、デバイス１００は、軽い押圧強度閾値ＩＴＬを下回るタッチ入力５１２０の接触強度の低下を検出すると、触知出力を生成する（例えば、図５ＡＩに示されるように、触知出力５１２４は、軽い押圧強度閾値ＩＴＬを上回るタッチ入力５１２０の接触強度の増大に応答して生成されるものではないが、代わりに、図５ＡＪに示されるように、軽い押圧強度閾値ＩＴＬを下回るタッチ入力５１２０の接触強度の低下に応答して生成される）。
図５ＡＫは、図５ＡＪからの移行を示す。図５ＡＫでは、ユーザ５００４は、測定追加ボタン５０１４上のタッチ入力５１２０を、最小接触検出閾値ＩＴ０を超え、かつ軽い押圧強度閾値ＩＴＬを下回る接触強度で維持しながら、デバイス１００を斜め下方に右に向かって移動させている。デバイス１００は、ライブプレビューに表示されるように、レチクル５０１０がテーブル５００２の上部前方左角の上に位置決めされるように移動されている。したがって、フォーカス点５０１２は、ライブプレビュー内のテーブル５００２の上部前方左角に対応するアンカー点にスナップされる。レチクル５０１０は、スナップ動作を示すためにその縮小したサイズで表示され、任意選択的に、触知出力５１２６が、スナップ動作を示すように生成される。測定点５１２２は、ライブプレビュー内のテーブル５００２の上部後方左角の上に表示され続け、フォーカス点５０１２の現在位置と測定点５１２２との間に動的測定セグメント５１２８が表示される。加えて、デバイス１００の移動に従って、仮想ガイド５１３０が表示され、この場合仮想ガイド５１３０は、測定点５１２２から、かつユーザインタフェース５００６内のテーブル５００２の水平方向左上縁部に沿って斜めに延在する。
図５ＡＬは、ユーザインタフェース５００６への測定点の追加を示す、図５ＡＫからの移行を示す。具体的には、図５ＡＬは、強度計５０４０によって示されるようにタッチ入力５１２０の接触強度が軽い押圧強度閾値ＩＴＬを上回るまで増大することによって、測定追加ボタン５０１４上でタッチ入力５１２０が維持されている間の測定追加ボタン５０１４のアクティブ化を示す。測定追加ボタン５０１４のアクティブ化に応答して、デバイス１００は、フォーカス点５０１２の現在の位置に、及び測定セグメント５１２８の第２の終点として、ユーザインタフェース５００６に（仮想）測定点５１３２を追加して表示する。測定点５１３２をユーザインタフェース５００６に加え、軽い押圧強度閾値ＩＴＬを上回るタッチ入力５１２０の接触強度の増大に応答して、デバイス１００は、任意選択的に、測定点の追加を示す触知出力５１３４を生成する。いくつかの実施形態では、図５ＡＬに示されるように（及び図５ＡＩを参照して先に説明したように）、タッチ入力５１２０の接触強度が増大するにつれて、測定追加ボタン５０１４のサイズは縮小される。任意選択的に、図５ＡＬに示されるように、測定セグメント５１２８が完了したとき、デバイス１００は、仮想ガイド５１３０を表示するのを中止する。
図５ＡＭは、タッチ入力５１２０が、最小接触検出閾値ＩＴ０を上回るが、軽い押圧強度閾値ＩＴＬを下回る接触強度で測定追加ボタン５０１４上で維持されていることを示す、図５ＡＬからの移行を示す。いくつかの実施形態では、デバイス１００は、図５ＡＪに関して本明細書で説明されるように、軽い押圧強度閾値ＩＴＬを下回るタッチ入力５１２０の接触強度の低下を検出すると、触知出力を生成する。
図５ＡＮ～図５ＡＲは、同じ連続するタッチ入力５１２０を使用して、測定セグメント５１２８と連続する（例えば、それと共通の終点を有する）別の測定セグメントの追加を示す、図５ＡＭからの移行を示す。図５ＡＮでは、ユーザ５００４は、測定追加ボタン５０１４上のタッチ入力５１２０を、最小接触検出閾値ＩＴ０を上回り、かつ軽い押圧強度閾値ＩＴＬを下回る接触強度で維持しながら、デバイス１００を斜め上方に右に向かって移動させている。デバイス１００は、レチクル５０１０が、フォーカス点５０１２がスナップされるいかなる特徴も含まない、テーブル５００２の上面の特定のエリアの上に位置決めされるように移動されている。したがって、フォーカス点５０１２はレチクル５０１０の中心に表示され、レチクル５０１０はその増大したサイズで表示される。測定点５１２２、測定セグメント５１２８及び測定点５１３２は、ライブプレビュー上に表示され続け、フォーカス点５０１２の現在位置と測定点５１２２との間に動的測定セグメント５１３６が表示される。ライブプレビューは、デバイス１００の移動の方向に延在するいかなる特徴も含まないため、仮想ガイドは表示されない。例えば、デバイス１００の移動は水平方向からの規定の角度を超えており、そのため、水平方向に延在するライブプレビュー内の特徴について仮想ガイドは表示されない。加えて、デバイス１００の移動は、垂直方向からの既定の角度を超えているため、垂直方向に延在するライブプレビュー内の特徴に関しても仮想ガイドは表示されない。
図５ＡＯは、図５ＡＮからの移行を示す。図５ＡＯでは、ユーザ５００４は、測定追加ボタン５０１４上のタッチ入力５１２０を、最小接触検出閾値ＩＴ０を上回り、かつ軽い押圧強度閾値ＩＴＬを下回る接触強度で維持しながら、デバイス１００を水平方向に、右に向かって移動させている。デバイス１００が移動されたことで、測定点５１２２、測定セグメント５１２８及び測定点５１３２がもはやユーザインタフェース５００６内に表示されなくなり、これは、それらが対応する物理的特徴が、ユーザインタフェース５００６に表示されたライブプレビュー内にもはや存在しないためである。動的測定セグメント５１３６は、フォーカス点５０１２の現在位置から延在するように引き続き表示される。しかしながら、測定点５１３２（動的測定セグメント５１３６の他方の終点）はユーザインタフェース５００６内にもはや表示されないので、動的測定セグメント５１３６は、ユーザインタフェース５００６の縁部へと（例えば、測定点５１３２の投影位置に向かって）延在するのみである。加えて、デバイス１００の水平移動に従って、仮想ガイド５１３８が表示され、この場合、仮想ガイド５１３８は、測定点５１３２（その投影位置）から、及びユーザインタフェース５００６内のテーブル５００２の水平方向前縁部に沿って水平方向に延在する。
図５ＡＰは、図５ＡＯからの移行を示す。図５ＡＰでは、ユーザ５００４は、測定追加ボタン５０１４上のタッチ入力５１２０を最小接触検出閾値ＩＴ０を上回り、かつ軽い押圧強度閾値ＩＴＬを下回る接触強度で維持しつつ、デバイス１００を右に向かって、わずかに下方に移動している。デバイス１００は、ライブプレビュー内のテーブル５００２の水平方向前縁部に対応する仮想ガイド５１３８が、少なくとも部分的にレチクル５０１０の範囲内にあるように移動されている（例えば、フォーカス点５０１２は、仮想ガイド５１３８（及びライブプレビュー内のテーブル５００２の水平方向前縁部の既定の距離（例えば、既定の距離はレチクル５０１０の半径である）内にある）。したがって、フォーカス点５０１２は、仮想ガイド５１３８に（例えば、レチクル５０１０の中心から最短距離である仮想ガイド５１３８に沿った地点）にスナップされる。レチクル５０１０は、その縮小したサイズで表示され、任意選択的に、触知出力５１４０が生成されてスナップ動作を示す。動的測定セグメント５１３６は、フォーカス点５０１２の現在位置からユーザインタフェース５００６の縁部まで（例えば、測定点５１３２の投影位置に向かって）延在するように引き続き表示される。加えて、水平仮想ガイド５１３８の規定の角度の範囲内にあるデバイス１００の継続的な移動に従って、水平仮想ガイド５１３８は、ユーザインタフェース５００６内のテーブル５００２の前縁部に沿って引き続き表示される。
図５ＡＱは、図５ＡＰからの移行を示す。図５ＡＱでは、ユーザ５００４は、測定追加ボタン５０１４上のタッチ入力５１２０を、最小接触検出閾値ＩＴ０を上回り、かつ軽い押圧強度閾値ＩＴＬを下回る接触強度で維持しながら、デバイス１００を水平方向に右に向かって移動させている。デバイス１００は、ライブプレビューに表示されるように、レチクル５０１０がテーブル５００２の上部前方右角の上に位置付けられるように移動されている。したがって、フォーカス点５０１２は、ライブプレビュー内のテーブル５００２の上部前方右角に対応するアンカー点にスナップされる。レチクル５０１０は、スナップ動作を示すために、その縮小したサイズで表示される。動的測定セグメント５１３６は、フォーカス点５０１２の現在位置からユーザインタフェース５００６の縁部まで（例えば、測定点５１３２の投影位置に向かって）延在するように引き続き表示される。加えて、図５ＡＮ～図５ＡＱのシーケンスでは、測定セグメント５１３６に対応するラベルは、デバイス１００が移動されるときに動的測定セグメント５１３６によって表される測定の長さの変化を反映するように更新される。加えて、デバイス１００の継続的な水平移動に従って、水平仮想ガイド５１３８は、ユーザインタフェース５００６内のテーブル５００２の前縁部に沿って引き続き表示される。
図５ＡＲ～図５ＡＳは、ユーザインタフェース５００６への測定点の追加を示す、図５ＡＱからの移行を示す。具体的には、図５ＡＲは、強度計５０４０によって示されるようにタッチ入力５１２０の接触強度が軽い押圧強度閾値ＩＴＬを上回るまで増大することによって、測定追加ボタン５０１４上でタッチ入力５１２０が維持されている間の、測定追加ボタン５０１４のアクティブ化を示す。測定追加ボタン５０１４のアクティブ化に応答して、デバイス１００は、フォーカス点５０１２の現在の位置に、及び測定セグメント５１３６の第２の終点としてユーザインタフェース５００６に（仮想）測定点５１４２を追加して表示する。測定点５１４２をユーザインタフェース５００６に加え、軽い押圧強度閾値ＩＴＬを上回るタッチ入力５１２０の接触強度の増大に応答して、デバイス１００は、任意選択的に、測定点の追加を示す触知出力５１４４を生成する。加えて、タッチ入力５１２０の接触強度が増大するにつれて、測定追加ボタン５０１４のサイズは（任意選択的に）縮小される。任意選択的に、図５ＡＲに示されるように、デバイス１００は、測定セグメント５１３６が完了した後であっても、仮想ガイド５１３８を引き続き表示する。
図５ＡＳは、測定追加ボタン５０１４からのタッチ入力５１２０のリフトオフを示す。いくつかの実施形態では、測定追加ボタン５０１４からのタッチ入力５１２０のリフトオフの後（及び何らかの後続のタッチ入力が検出される前）、デバイス１００の更なる移動は、測定点５１４２から延在する（例えば、及び測定セグメント５１３６と連続している）新たな動的測定セグメントの表示を生じさせない。すなわち、連続タッチ入力５１２０のリフトオフは、タッチ入力５１２０に基づいて新しい測定セグメントの連続作成を終了する。
いくつかの実施形態では、デバイスは、一連の押圧ジェスチャ（タッチ感知面との接触が維持されている）とは異なるように、一連のタップジェスチャ（タッチ感知面との接触が維持されない）に応答する。別個のタップジェスチャである（単一の連続して検出された接触で行われる押圧ジェスチャではなく）入力の場合、測定セグメントは、各その後に追加される測定点と共に連続して作成されない。すなわち、一連のタップジェスチャの場合、ユーザが４つの点を連続して下げる場合、第１の点と第２の点との間に測定セグメントが作成され、第３の点と第４の点との間に別の測定セグメントが作成されるが、第２の点と第３の点との間には測定セグメントは作成されない。
図５ＡＴは、図５ＡＳからの移行を示す。図５ＡＴでは、デバイス１００は、レチクル５０１０が、ライブプレビューで表示されるように、テーブル５００２の上部前方左角の上に、かつ測定点５１３２の上に表示されるような位置決めされるように移動されている。したがって、フォーカス点５０１２は、ライブプレビュー内のテーブル５００２の上部前方左角に対応するアンカー点で測定点５１３２にスナップされる。レチクル５０１０は、スナップ動作を示すために、その縮小したサイズで表示される。測定セグメント５１２８及び測定セグメント５１３６は、ユーザインタフェース５００６内のライブプレビュー内に（再び）表示されているテーブル５００２の対応する特徴に従って、テーブル５００２のそれぞれの特徴（例えば、テーブル５００２の水平方向左上縁部及び水平方向前縁部それぞれ）に対応するそのそれぞれの位置でユーザインタフェース５００６内に表示される。測定セグメント５１２８は、その終点、すなわち測定点５１２２と測定点５１３２との間に表示される。測定セグメント５１３６は、測定点５１３２（測定セグメント５１３６の１つの終点）からユーザインタフェース５００６の縁部まで（例えば、測定セグメント５１３６の他方の終点であり、かつユーザインタフェース５００６内で現在見ることができない測定点５１４２の投影位置に向かって）延在するように表示される。加えて、測定点５１３２の上に位置するレチクル５０１０に従って、測定点５１３２から延在する仮想ガイド５１４６、５１４８及び５１５０が表示される。仮想ガイド５１４６は、測定点５１３２からｘ方向に（例えば、テーブル５００２の水平方向前縁部に沿って水平方向に）延在する。仮想ガイド５１４８は、測定点５１３２からｙ方向に（例えば、テーブル５００２の垂直方向前方左縁部に沿って垂直方向に）延在する。仮想ガイド５１５０は、測定点５１３２からｚ方向に（例えば、テーブル５００２の水平方向左上縁部に沿って水平に）延在する。
図５ＡＵ～図５ＡＸは、ユーザインタフェース５００６への測定セグメントの追加を示す、図５ＡＴからの移行を示す。図５ＡＵは、強度計５０４０によって示されるように接触強度が最小接触検出閾値ＩＴ０を上回る接触強度を有するタッチ入力５１５２（例えば、タップジェスチャ）による測定追加ボタン５０１４のアクティブ化を示す。測定追加ボタン５０１４のアクティブ化に応答して、デバイス１００は、追加される新たな測定セグメントの開始点として測定点５１３２を使用し、任意選択的に、新たな測定セグメントの開始を示す触知出力５１５４を生成する。
図５ＡＶは、（タッチ入力５１５２のリフトオフの後）ユーザ５００４が、デバイス１００をテーブル５００２の垂直方向左前縁部に沿って下方に移動させたことを示す。フォーカス点５０１２は、テーブル５００２の下部前方左角ではない、テーブル５００２の垂直方向左前縁部に沿ったアンカー点にスナップされる。レチクル５０１０は、スナップ動作を示すために、その縮小したサイズで表示される。また、垂直移動に従って、デバイス１００は、測定点５１３２から垂直方向に延在する仮想ガイド５１４８を引き続き表示し、また測定点５１３２から垂直方向に（又は垂直方向の所定の角度の範囲内にある方向に）延在していない仮想ガイド５１４６及び５１５０を表示するのを中止している。加えて、測定点５１３２とフォーカス点５０１２の現在位置との間に動的測定セグメント５１５６が表示される。
図５ＡＷは、強度計５０４０によって示されるように接触強度が最小接触検出閾値ＩＴ０を上回る接触強度を有するタッチ入力５１５８（例えば、タップジェスチャ）による測定追加ボタン５０１４のアクティブ化を示す。測定追加ボタン５０１４のアクティブ化に応答して、デバイス１００は、フォーカス点５０１２の現在位置に、及び完了した測定セグメントになる測定セグメント５１５６の第２の終点としてユーザインタフェース５００６に測定点５１６０を追加して表示する。測定点５１６０をユーザインタフェース５００６に追加することと併せて、デバイス１００は、（例えば、測定セグメントの完了を示すために）触知出力５１６２を任意選択的に生成する。図５ＡＸは、測定追加ボタン５０１４からのタッチ入力５１５８のリフトオフを示す。
図５ＡＹ～図５ＢＥは、ユーザインタフェース５００６内の拡張現実環境とのズームインタラクションの例を示す。具体的には、図５ＡＹ～図５ＢＡは、表示された測定点のズーム支援再配置を示す。図５ＡＹは、強度計５０４０によって示されるように最小接触検出閾値ＩＴ０を上回る接触強度で測定点５１６０上で検出されたタッチ入力５１６４を示す。測定点５１６０上でタッチ入力５１６４を検出したことに応答して、デバイス１００は、測定点５１６０を含むライブプレビューの一部分（例えば、測定点５１６０を中心としたライブプレビューの部分）を拡大するか、又はその部分にズームインする。ライブプレビューのズーム量は、デバイス１００と、測定点５１６０が対応するテーブル５００２上の地点（例えば、テーブル５００２上の下部前方左角の真上のテーブル５００２上の地点）との間の距離に基づく。例えば、図５ＡＹでは、デバイス１００が、測定点５１６０が対応するテーブル５００２上の地点からの距離ｄ１にある場合、ライブプレビューは４Ｘのズーム率によって拡大される。
図５ＡＺは、タッチ入力５１６４がテーブル５００２の下部前方左角に対応するアンカー点の上にあるように、タッチスクリーン１１２を横切るタッチ入力５１６４の移動（例えば、タッチ入力５１６４における接触によるパンジェスチャ又はドラッグジェスチャ）を示す、図５ＡＹからの移行を示す。測定点５１６０は、タッチスクリーン１１２を横切るタッチ入力５１６４の移動と共にユーザインタフェース５００６内で移動する。いくつかの実施形態では、図５ＡＺに示されるように、測定点５１６０は、タッチ入力５１６４が移動したアンカー点にスナップされる。したがって、測定点５１６０は、テーブル５００２の下部前方左角に対応するアンカー点に表示される。測定点５１６０の移動と併せて、測定セグメント５１５６が延ばされ、そのラベルがそれに従って（テーブル５００２の垂直方向左前縁部の長さを示すように）更新される。加えて、デバイス１００は、スナップ動作を示すために触知出力５１６６を任意選択的に生成する。
いくつかの実施形態では、デバイス１００は、カメラの位置から、測定点が表示される物理的空間５０００内の検出された表面上の位置までベクトルを決定する。いくつかの実施形態では、デバイス１００は、決定されたベクトルと検出された表面との間の角度を決定する。いくつかの実施形態では、決定されたベクトルが、検出された表面の既定の閾値角度の範囲内にあるという判定に従って（例えば、決定された角度は、１５、１８、２０、２５又は３０度などの既定の閾値角度未満である）、１つ以上のユーザ入力のセットを受信して測定点を移動させるとき、測定点は、決定されたベクトルに沿った位置に対応するユーザインタフェース５００６内の位置を通って移動される。
図５ＢＡは、図５ＡＺからの移行を示す。いくつかの実施形態では、図５ＢＡに示されるように、タッチ入力５１６４をリフトオフすると、デバイス１００は、拡大されたライブプレビュー（その拡大された部分）を表示するのを中止し、ズームなしでライブプレビューを再表示する。いくつかの実施形態では、タッチ入力５１６４のリフトオフ後、デバイス１００は、後続の入力（ズームされたライブプレビューから出てズームなしで表示されたライブプレビューに戻るための）が検出されるまで、拡大されたライブプレビューを表示し続ける。
デバイス１００は図５ＡＸ～図５ＡＺでは同じ位置に維持されているため、レチクル５０１０は、図５ＡＸ（測定点５１６０のズーム支援再配置前）のものと同じサイズ及び同じ位置で図５ＢＡに表示される。図５ＡＹ～図５ＡＺに関して記載されているように、測定点５１６０は、テーブル５００２の下部前方左角に対応するアンカー点に再度位置決めされているため、測定点５１６０は、レチクル５０１０の外側で、図５ＢＡでズームなしで表示されているライブプレビュー内のそのアンカー点で表示される。延ばされた測定セグメント５１５６及びその対応する更新ラベルも同様に表示される。
図５ＢＢ～図５ＢＣは、別の例示的なズームインタラクションを示す。図５ＢＢは、デバイス１００が、図５ＢＢにおいて、図５ＡＹにおける距離ｄ１よりも短い距離ｄ２で、図５ＡＸよりも、テーブル５００２に（又はより具体的には、測定点５１６０が対応するテーブル５００２上の地点に）より近づけて位置決めされること以外は（図５ＡＹでユーザ５００４、デバイス１００及びテーブル５００２の側面図によって示されるように）、図５ＡＸと同様である。したがって、図５ＢＣに示されるように、測定点５１６０上でタッチ入力５１６８を検出したことに応答して、デバイス１００は、測定点５１６０を含むライブプレビューの一部にズームインする。図５ＢＣにおけるライブプレビューのズーム量は、デバイス１００とテーブル５００２との間のより小さい距離ｄ２に基づいており、これにより図５ＢＣのライブプレビューのズーム量は２Ｘのズーム倍率に相当し、４Ｘのズーム倍率に相当する図５ＡＹにおけるズーム量より小さい。加えて、デバイス１００は、図５ＡＸよりも、図５ＢＢにおいてテーブル５００２により近づくため、測定セグメント５１５６に沿って１フィート間隔でスケールマーカーが表示される（例えば、図５ＡＸにはスケールマーカーが表示されないこととは対照的に）。また、デバイス１００は、図５ＡＸよりも、図５ＢＢにおいてテーブル５００２により近づくため、表示される測定に対応するラベルのサイズは、図５ＢＢでは、図５ＡＸよりも大きくなる。
図５ＢＤ～図５ＢＥは、別の例示的なズームインタラクションを示す。図５ＢＤは、図５ＢＢにおける距離ｄ２より小さい距離ｄ３で、デバイス１００が、図５ＢＤでよりも、図５ＢＢにおいてテーブル５００２に（又は、より具体的には、測定点５１６０が対応するテーブル５００２上のその地点に）より近づけて位置決めされること以外は、図５ＢＢと同様である。したがって、図５ＢＥに示されるように、測定点５１６０上でタッチ入力５１７０を検出したことに応答して、デバイス１００は、測定点５１６０を含むライブプレビューの一部分にズームインする。図５ＢＥにおけるライブプレビューのズーム量は、デバイス１００とテーブル５００２との間のより小さい距離ｄ３に基づいており、これにより図５ＢＥにおけるライブプレビューのズーム量は、１．５Ｘのズーム率に対応し、ズーム倍率２Ｘに対応する図５ＢＣのズーム量より小さい。加えて、デバイス１００は、図５ＢＤでよりも、図５ＢＤにおいてテーブル５００２により近くなるため、測定セグメント５１５６に沿って１インチの間隔でスケールマーカーが表示される（例えば、図５ＢＢにおいて１フィート間隔で表示されるスケールマーカーとは対照的に）。また、デバイス１００は、図５ＢＢよりも、図５ＢＤにおいてテーブル５００２により近くなるため、表示される測定に対応するラベルのサイズは、図５ＢＢよりも図５ＢＤでより大きくなる。いくつかの実施形態では、測定セグメントに沿ってマーカーが表示されるスケールは、デバイス１００と測定セグメントに対応する物理的特徴との間の距離が減少するにつれて、より細かくなる（例えば第１の距離を上回る距離では、スケールマーカーは表示されず、第１の距離と第２の距離との間の距離（第１の距離よりも短い）では、スケールマーカーが１フィート間隔で表示され、第２の距離と第３の距離との間の距離（第２の距離より短い）では、スケールマーカーは１インチ間隔で表示され、第３の距離より短い距離では、スケールマーカーは、４分の１インチ間隔で表示されるなど）。
いくつかの実施形態では、図５ＡＹに表示されるズーム量は、最大ズーム量であり、そのため、デバイス１００とテーブル５００２との間の距離（又は表示された測定点が対応するテーブル５００２上の点）が、図５ＡＹに示される距離ｄ１より大きい場合、ライブプレビューのズーム量はなおも４Ｘのズーム率に相当する。いくつかの実施形態では、図５ＢＥに表示されるズーム量は最小ズーム量であり、それにより、デバイス１００とテーブル５００２との間の距離（又は表示された測定点が対応するテーブル５００２上の点）が図５ＢＥに示す距離ｄ３より小さい場合、ライブプレビューのズーム量は依然として１．５Ｘのズーム率に相当する。
同様に、いくつかの実施形態では、図５ＡＹに表示されるラベルのサイズは最小ラベルサイズであり、それにより、デバイス１００とテーブル５００２との間の距離（又は表示された測定点が対応するテーブル５００２上の点）が図５ＡＹに示される距離ｄ１より大きい場合、ラベルのサイズは図５ＡＹと同じである。いくつかの実施形態では、図５ＢＥに表示されるラベルのサイズは最大ラベルサイズであり、それにより、デバイス１００とテーブル５００２との間の距離（又は表示された測定点が対応するテーブル５００２上の点）が図５ＢＥに示される距離ｄ３より小さい場合、ラベルのサイズは図５ＢＥと同じである。
図５ＢＦ～図５ＢＫは、ユーザインタフェース５００６内の拡張現実環境の画像をキャプチャすることを示す。図５ＢＦは、図５ＢＡからの移行を示す。図５ＢＦでは、ユーザ５００４は、測定セグメント５１２８、５１３６及び５１５６並びにそれらの対応する終点及びラベルが、ユーザインタフェース５００６内に表示され、テーブル５００２の対応する特徴をライブプレビュー内で見ることができるようにデバイス１００を位置決めしている。図５ＢＧは、強度グラフ５１８０に示される強度の増大によって示されるような、タッチ入力５１７２によるメディアキャプチャボタン５０１６のアクティブ化を示しており、強度グラフは、経時的なタッチ入力５１７２の接触強度を示している。
図５ＢＨは、既定の閾値時間Ｔｔｈ（例えば、タッチ入力５１７２がタップジェスチャである）の前のタッチ入力５１７２のリフトオフに基づく、図５ＢＧからの移行を示す。したがって、強度グラフ５１８０は、時間Ｔｔｈの前の、タッチ入力５１７２のゼロまでの接触強度の対応する減少を示す。既定の閾値時間Ｔｔｈの前にタッチ入力５１７２のリフトオフを検出したことに応答して、デバイス１００は、拡張現実環境の画像５１７４をキャプチャする。キャプチャされた画像５１７４は、ライブプレビューの瞬間的なスナップショットに対応するカメラの視野の画像と、カメラの視野の画像上に重ね合わされた測定セグメント５１２８、５１３６及び５１５６をその対応する終点及びラベルと共に含む静止画像である。いくつかの実施形態では、図５ＢＨに示されるように、キャプチャされた画像５１７４は、ユーザインタフェース５００６内のボタン／コントロールの画像は含まない。
図５ＢＩは、テーブル５００２の異なる斜視図がライブプレビュー内に表示されるように、デバイス１００がテーブル５００２に対して異なる位置（テーブル５００２の左側面に面する）にある間の、メディアキャプチャボタン５０１６のアクティブ化に応答する画像のキャプチャを示す。強度グラフ５１８０によって示されるように、規定の閾値時間Ｔｔｈの前の、タッチ入力及びタッチ入力のリフトオフによるメディアキャプチャボタン５０１６のアクティブ化に応答して、デバイス１００は拡張現実環境の画像５１７６をキャプチャする。キャプチャされた撮影画像５１７６は、図５ＢＩのその位置（例えば、テーブル５００２の左側面に面する）でデバイス１００の視点からのテーブル５００２の画像を含む静止画像である。測定セグメント５１２８、５１３６及び５１５６並びにそれらの対応する終点及びラベルは、図５ＢＩのデバイス１００の視点に基づいて、キャプチャされた画像５１７６内のテーブル５００２の対応する特徴上に重ね合わされる。
図５ＢＪは、図５ＢＧからの移行を示す。図５ＢＧと併せて、図５ＢＪ～図５ＢＫは、メディアキャプチャボタン５０１６（例えば、長い押圧ジェスチャ）上で維持されたタッチ入力に応答して、拡張現実環境のビデオをキャプチャすることを示す。図５ＢＪでは、タッチ入力５１７２は、強度グラフ５１８０によって示されるように、既定の閾値時間Ｔｔｈを超えてメディアキャプチャボタン５０１６上に維持される。したがって、デバイス１００は、カメラの視野のビデオをキャプチャする。タイマー５１７８が、ユーザインタフェース５００６内に表示され、キャプチャされたビデオの現在の長さを示す。更に、キャプチャされたビデオは、カメラの視野（例えば、測定セグメント５１２８、５１３６及び５１５６、並びにそれらの対応する終点及びラベル）が、キャプチャされたビデオ内のテーブル５００２の対応する特徴に重ね合わされる）。いくつかの実施形態では、キャプチャされたビデオは、ユーザインタフェース５００６内のボタン／コントロールの画像を含まない。
図５ＢＫは、タッチ入力５１７２がメディアキャプチャボタン５０１６上に維持されている間にデバイス１００が移動していることを示す。したがって、デバイス１００は、図５ＢＫのタイマー５１７８によって示される現在のビデオ長が図５ＢＪのタイマー５１７８によって示されるものよりも長いことによって示されるように、デバイス１００が移動されるときのカメラの視野のビデオをキャプチャし続けている。キャプチャされたビデオは、図５ＢＫに示されるように、デバイス１００がその位置に移動する際に、カメラの視野内の対応する特徴の上に重ね合わされた測定セグメント５１３６の追加部分を含む。
図５ＢＬ～図５ＢＭは、情報を別のアプリケーション、プロセス、又はデバイスに分配するために選択された測定及びオプションに関する追加情報を表示することを示す。図５ＢＬは、強度計５０４０によって示されるように、最小接触検出閾値ＩＴ０を上回る接触強度で、測定セグメント５１５６上で検出されたタッチ入力５１８２（例えば、タッチ入力における接触によるタップジェスチャ）を示す。図５ＢＭは、測定セグメント５１５６上のタッチ入力５１８２を検出したことに応答して、デバイス１００が測定管理インタフェース５１８４を表示することを示す。測定管理インタフェース５１８４は、物理的オブジェクトを記述するラベル、測定５１５６が対応するテーブル５００２を含む。例えば、測定管理インタフェース５１８４は、テーブル５００２を分類するラベル５１８６－ａ（例えば、テーブル５００２を「テーブル」として識別する）を含む。測定管理インタフェース５１８４はまた、測定セグメント５１５６とテーブル５００２との関係を分類する（例えば、測定５１５６をテーブル５００２の「高さ」として識別する）ラベル５１８６－ｂも含む。いくつかの実施形態では、測定５１５６とテーブル５００２との関係は、測定セグメント５１５６をユーザインタフェース５００６に追加しながら、デバイス１００の垂直移動に基づいて「高さ」として分類される。
いくつかの実施形態では、タッチ入力５１８２に応答して、測定５１５６に関する情報（例えば、測定セグメント５１５６が対応する物理的オブジェクトの分類、及び測定セグメント５１５６と物理的オブジェクトとの関係、長さ又は面積などの測定セグメント５１５６の大きさ、測定セグメント５１５６の画像など）が、デバイス１００上で実行されるクリップボードプロセスにコピーされる。いくつかの実施形態では、測定管理インタフェースは、選択された測定５１５６に関する情報が伝達され得る複数の宛先（例えば、電子メールクライアントモジュール１４０に対応するアイコン５１９２（図１Ａ）、ＩＭモジュール１４１に対応するアイコン５１９４（図１Ａ）、及び電子デバイス間のファイル転送プロトコルに対応するアイコン５１９６）を含む。いくつかの実施形態では、測定管理インタフェース５１８４は、最小接触検出閾値ＩＴ０を上回る強度閾値（例えば軽い押圧強度閾値ＩＴＬ）を満たすタッチ入力５１８２に応答して（例えば軽い押圧又は深い押圧ジェスチャであることにタッチ入力５１８２に応答して）表示される。
図５ＢＮは、拡張現実測定アプリケーションアイコン５１９０を含む例示的な制御センターユーザインタフェース５１８８を示す。拡張現実測定アプリケーションアイコン５１９０のアクティブ化は、拡張現実測定アプリケーションを起動し、ユーザインタフェース５００６を表示する（例えば、図５Ａを参照して説明されるように）。
図５ＢＯは、図５ＢＯ～図５ＣＯに関して説明するユーザインタフェースが使用される状況を示す。図５ＢＯは、図５ＢＯが、物理的空間５０００が、（テーブル５００２の代わりに）オブジェクト５２０２が配置されたテーブル５２００を含むことを除いて、デバイス１００を含む物理的空間５０００のビューを示す点において図５Ａと同様である。オブジェクト５２０２は、デバイス１００のカメラ（単数又は複数）の視野内にあり、デバイス１００上のユーザインタフェース５００６内に表示された物理的空間５０００のライブプレビュー内で見ることができる。いくつかの実施形態では、図５ＢＯに示されるように、ユーザインタフェース５００６内のレチクル５０１０は、検出されており、かつフォーカス点５０１２の現在の位置に対応する表面を示すために、テーブル５２００の上面と同一平面に見えるように傾けられる。
図５ＢＰ～図５ＢＱは、いくつかの実施形態に係る、仮想測定点をユーザインタフェース５００６に追加する第１の方法を示す。図５ＢＰは、レチクル５０１０上のタッチ入力５２０４を示す。いくつかの実施形態によれば、図５ＢＰは、タッチ入力５２０４に応答して、デバイス１００が（図５ＢＯに示されるように）フォーカス点５０１２の現在の位置で仮想測定点５２０６をユーザインタフェース５００６に追加して表示することを示す。図５ＢＱは、タッチ入力５２０４のリフトオフ後の図５ＢＰと同じ位置で表示される測定点５２０６を示す。
図５ＢＲ～図５ＢＳは、いくつかの実施形態に係る、仮想測定点をユーザインタフェース５００６に追加する代替の方法を示す。図５ＢＲは、レチクル５０１０上のタッチ入力５２０４を示す。図５ＢＰとは対照的に、図５ＢＲは、タッチ入力５２０４に応答して、デバイス１００は、フォーカス点５０１２の位置で仮想測定点の追加及び表示を取りやめることを示す。代わりに、図５ＢＲでは、デバイス１００は、測定点を追加するために（レチクル５０１０上でタップする代わりに）測定追加ボタン５０１４上でタップするようにユーザ５００４に促す命令メッセージ５２０８を表示する。図５ＢＳは、タッチ入力５２１０による測定追加ボタン５０１４のアクティブ化を示す。タッチ入力５２１０に応答して、デバイス１００は、（図５ＢＱに示されるように）フォーカス点５０１２の現在の位置で仮想測定点５２０６をユーザインタフェース５００６に追加する。
図５ＢＴ～図５ＢＵは、（例えば、図５ＢＱ又は図５ＢＳのいずれかにおける）測定点５２０６の追加後の、オブジェクト５２０２に対応する測定の作成を示す。図５ＢＴでは、ユーザ５００４は、レチクル５０１０及びフォーカス点５０１２が物理的空間５０００内の異なる位置の上に位置決めされるようにデバイス１００を移動させている。具体的には、図５ＢＴでは、レチクル５０１０及びフォーカス点５０１２は、レチクル５０１０及びフォーカス点５０１２が図５ＢＯで位置決めされた縁部よりもデバイス１００により近いオブジェクト５２０２の縁部（ライブプレビューに表示される）の上に位置決めされる。したがって、レチクル５０１０は、図５ＢＯにおけるそのサイズと比較して、図５ＢＴでは増大したサイズで表示され、フォーカス点５０１２は、図５ＢＯにおけるそのサイズに対して図５ＢＴでは増大したサイズで表示される。いくつかの実施形態では、レチクル５０１０が表示されるサイズは、任意選択的に、既定の最小サイズ（既定の最大距離より大きい距離に使用される）及び既定の最大サイズ（既定の最小距離未満の距離に使用される）を条件として、デバイス１００とレチクル５０１０が表示される物理的空間５０００内の位置との間の距離に基づいている。同様に、いくつかの実施形態では、フォーカス点５０１２が表示されるサイズは、任意選択的に、既定の最小サイズ及び既定の最大サイズを条件として、デバイス１００と、フォーカス点５０１２が表示される物理的空間５０００内の位置との間の距離に基づいている。加えて、レチクル５０１０及びフォーカス点５０１２が、物理的空間５０００内の異なる位置の上に位置決めされるようなデバイス１００の移動に従って、破線で示される（動的）測定セグメント５２１２は、測定点５２０６（直近に追加された測定点）とフォーカス点５０１２との間に表示される。測定セグメント５２１２は、測定セグメント５２１２がユーザインタフェース５００６内に延在して見える物理的空間５０００内の距離を示す関連付けられた（動的）ラベルで表示される。
図５ＢＵは、タッチ入力５２１４（例えば、タップジェスチャ）による測定追加ボタン５０１４のアクティブ化を示す。測定追加ボタン５２１４のアクティブ化に応答して、デバイス１００は、フォーカス点５０１２の現在の位置に（図５ＢＴに示されるように）、及び測定セグメント５２１２の第２の終点として、ユーザインタフェース５００６内に測定点５２１６を追加して表示する。測定セグメント５２１２の完了に従って、測定セグメント５２１２の外観が変更される。図５ＢＵに示される実施例では、測定セグメント５２１２は破線から実線に変更される。測定点５２１６は、測定点５２０６が表示されるオブジェクト５２０２の縁部よりもデバイス１００により近いオブジェクト５２０２の縁部の上に位置決めされるため、測定点５２１６は、測定点５２０６に対して増大したサイズで表示される。
図５ＢＶ～図５ＢＹは、いくつかの実施形態に係る、前の測定を除去させる、オブジェクト５２０２に対応する測定の作成を示す。図５ＢＶは、図５ＢＵからの移行を示す。図５ＢＶでは、ユーザ５００４は、レチクル５０１０及びフォーカス点５０１２が、図５ＢＵとは異なる物理的空間５０００内の位置の上に位置決めされるように、デバイス１００を移動させている。具体的には、図５ＢＶでは、レチクル５０１０及びフォーカス点５０１２は、オブジェクト５２０２の第１の角の上に位置決めされる。いくつかの実施形態では、図５ＢＶに示されるように、測定セグメント５２１２から離れるように移動されるレチクル５０１０及びフォーカス点５０１２に従って、デバイス１００は、測定セグメント５２１２に関連付けられたラベル（「１７インチ」）を表示するのを中止する。
図５ＢＷは、ユーザインタフェース５００６への測定点の追加を示す、図５ＢＶからの移行を示す。具体的には、図５ＢＷは、タッチ入力５２１８による測定追加ボタン５０１４のアクティブ化を示す。これに応答して、デバイス１００は、（図５ＢＶに示されるように）フォーカス点５０１２の現在の位置で測定点５２２０をユーザインタフェース５００６に追加する。加えて、以前に作成された測定セグメント５２１２から離れた新たな測定点の追加に従って、デバイス１００は、測定セグメント５２１２の外観を変更する（例えば、測定セグメント５２１２から切り離された測定セグメントを作成することによって、測定セグメント５２１２をユーザインタフェース５００６から除去することを示すために）。図５ＢＷに示す例では、測定セグメント５２１２は実線から破線に変更され、測定セグメント５２１２の色（及び／又は透明性）及びその終点が変更される。
図５ＢＸは、レチクル５０１０及びフォーカス点５０１２がオブジェクト５２０２の第２の角の上に位置決めされるように、ユーザ５００４がデバイス１００を移動させていることを示す、図５ＢＷからの移行を示す。したがって、破線で示される（動的）測定セグメント５２２２が、測定点５２０６（最近追加された測定点）とフォーカス点５０１２との間に表示される。測定セグメント５２２２は、測定セグメント５２２２がユーザインタフェース５００６内で延在して見える物理的空間５０００内の（例えば、オブジェクト５２０２に沿った）距離を示す関連する（動的）ラベル（例えば、「１７インチ」）で表示される。
図５ＢＹは、タッチ入力５２２６による測定追加ボタン５０１４のアクティブ化に応答して、測定点５２２４のユーザインタフェース５００６への追加を示す、図５ＢＸからの移行を示す。図５ＢＹは、測定点５２２４が、測定セグメント５２２２の第２の終点として（図ＢＸに示されるように）フォーカス点５０１２の現在の位置に追加されていることを示す。測定点５２２４は、測定点５２２０が表示されるオブジェクト５２０２上の位置よりもデバイス１００から遠いオブジェクト５２０２上の位置の上に位置決めされるため、測定点５２２４は、測定点５２２０に対して縮小したサイズで表示される。測定セグメント５２２２の完了に従って、測定セグメント５２２２の外観は破線から実線に変化する。加えて、測定セグメント５２２２の完了に従って、及び測定セグメント５２２２が以前に配置された測定セグメント５２１２から切り離されていることに従って、デバイス１００は、測定セグメント５２１２を表示するのを中止する。いくつかの実施形態では、測定セグメント５２１２は、測定セグメント５２２２が測定セグメント５２１２から離れた少なくとも所定の閾値距離である（例えば、測定セグメント５２１２上のいずれの点も、測定セグメント５２２２上の任意の点の既定の閾値距離内にない）との判定に従って、測定セグメント５２１２が表示されるのを中止する。
図５ＢＺ～図５ＣＦは、いくつかの実施形態に係る、前の測定が引き続き表示されるように、前の測定につながる、オブジェクト５２０２に対応する測定の作成を示す。図５ＢＺは、レチクル５０１０及びフォーカス点５０１２がオブジェクト５２０２の第３の角の上に位置決めされるように、ユーザ５００４がデバイス１００を移動させていることを示す、図５ＢＹからの移行を示す。いくつかの実施形態では、図５ＢＺに示されるように、レチクル５０１０及びフォーカス点５０１２が測定セグメント５２２２から離れるように移動されているとしても、デバイス１００は、測定セグメント５２２２に関連付けられたラベルを表示し続ける（レチクル５０１０及びフォーカス点５０１２が測定セグメントから離れるように移動されるとき、デバイス１００が測定セグメント５２１２に関連付けられたラベルの表示を中止する実施形態を示す図５ＢＶとは対照的に）。
図５ＣＡは、タッチ入力５２３０による測定追加ボタン５０１４のアクティブ化に応答して（図５ＢＺに示されるように）フォーカス点５０１２の現在位置での測定点５２２８のユーザインタフェース５００６への追加を示す、図５ＢＺからの移行を示す。以前に作成された測定セグメント５２２２から離れているユーザインタフェース５００６内の位置で測定点５２２８が追加されることに従って、デバイス１００は測定セグメント５２２２の外観を変更する（例えば、測定セグメント５２２２から切り離された測定セグメントを作成することにより、測定セグメント５２２２がユーザインタフェース５００６から除去されることを示すために）。図５ＣＡに示す例では、測定セグメント５２２２は実線から破線に変更され、測定セグメント５２２２の色（及び／又は透明度）が変更される。
図５ＣＢは、レチクル５０１０及びフォーカス点５０１２がオブジェクト５２０２の第３の角から離れて位置決めされるようにユーザ５００４がデバイス１００を移動させていることを示す、図５ＢＺからの移行を示す。したがって、破線で示される（動的）測定セグメント５２３２が、測定点５２２８とフォーカス点５０１２との間に表示される。測定セグメント５２３２は、測定セグメント５２２２がユーザインタフェース５００６内に延在して見えるオブジェクト５２０２に沿った距離（例えば、「８インチ」）を示す関連する（動的）ラベルで表示される。
図５ＣＣは、測定セグメント５２２２の中点がレチクル５０１０の範囲内にあるように、ユーザ５００４がデバイス１００を移動させていることを示す、図５ＣＢからの移行を示す。いくつかの実施形態では、図５ＣＣに示されるように、ユーザインタフェース５００６内に表示されるそれぞれの測定セグメントの中点は、フォーカス点５０１２がスナップするアンカー点とすることができる。したがって、図５ＣＣでは、フォーカス点５０１２は、測定セグメント５２２２の中点に対応するアンカー点にスナップされる。スナップ動作を示すために、フォーカス点５０１２は、フォーカス点５０１２がアンカー点にスナップされていないとき（例えば、図５ＣＢに示されるように）フォーカス点５０１２のサイズに対して増大したサイズで表示される。いくつかの実施形態では、図５ＣＣに示されるように、フォーカス点がアンカー点にスナップされるとき、レチクル５０１０のサイズは変更されない。いくつかの実施形態では、アンカー点にスナップされたときのフォーカス点５０１２のサイズは、デバイス１００と、フォーカス点５０１２が表示される物理的空間５０００内の位置との間の距離に基づいてフォーカス点５０１２のサイズを変更するために使用されるフォーカス点５０１２の既定の最大サイズより大きい（例えば図５ＢＴに関して本明細書に記載されるように）。加えて、フォーカス点５０１２が測定セグメント５２２２に沿った特定の地点にスナップされるため、フォーカス点５０１２の現在の位置で測定点を追加することで、測定セグメント５２２２が除去される代わりに、引き続き表示される結果になることを示すために、測定セグメント５２２２の外観が変更される。具体的には、測定セグメント５２２２は破線から実線に（戻るように）変更され、測定セグメント５２２２の色（及び／又は透明性）が変更されることで、測定セグメント５２２２は、図５ＢＺに示されるように（測定点５２２８が追加される前の）その外観で再表示されるようになる。加えて、測定セグメント５２３２が測定点５２２８とフォーカス点５０１２の現在位置との間で引き続き表示されるように、動的測定セグメント５２３２の長さは、デバイス１００の移動に従って更新される。測定セグメント５２３２に関連付けられたラベルは、測定セグメント５２３２の長さの変化（例えば、１２インチ）を反映するように更新される。
図５ＣＤは、レチクル５０１０及びフォーカス点５０１２が測定セグメント５２２２の中点から離れて位置決めされるようにユーザ５００４がデバイス１００を移動させていることを示す、図５ＣＣからの移行を示す。したがって、図５ＣＤでは、動的測定セグメント５２３２及びその関連ラベルは、測定点５２２８に対するフォーカス点５０１２の移動に起因する、測定セグメント５２３２の長さの変化を反映するように更新される。加えて、フォーカス点５０１２の現在の位置で測定点を追加することで、測定セグメント５２２２が除去される結果になることを示すために、測定セグメント５２２２の外観が更新される。
図５ＣＥは、測定点５２２４（図５ＣＤに示されるように）がレチクル５０１０内にあるように、ユーザ５００４がデバイス１００を移動させていることを示す、図５ＣＤからの移行を示す。いくつかの実施形態では、図５ＣＥに示されるように、以前に追加された測定セグメントの終点は、フォーカス点５０１２がスナップするアンカー点とすることができる。したがって、図５ＣＥでは、フォーカス点５０１２は、（図５ＣＤに示すような）測定点５２２４に対応するアンカー点にスナップされる。スナップ動作を示すために、フォーカス点５０１２は、（例えば、図５ＣＤに示されるように）アンカー点にスナップされていないときのそのサイズに対して増大したサイズで表示されるが、レチクル５０１０のサイズは、図５ＣＣを参照して本明細書に記載されるように変更されない。加えて、フォーカス点５０１２が測定セグメント５２２２に沿った特定の地点にスナップされるため、フォーカス点５０１２の現在の位置で測定点を追加することで、測定セグメント５２２２が除去される代わりに引き続き表示される結果になることを示すために、測定セグメント５２２２の外観が変更される。具体的には、測定セグメント５２２２は破線から実線に変更され、測定セグメント５２２２の色（及び／又は透明性）が変更することで、測定セグメント５２２２は、図５ＢＺに示されるその外観で再表示される。加えて、動的測定セグメント５２３２及びその関連ラベルは、測定点５２２８に対するフォーカス点５０１２の移動に起因する、測定セグメント５２３２の長さの変化を反映するように更新される。
図５ＣＦは、タッチ入力５２３６による測定追加ボタン５０１４のアクティブ化に応答して、（図５ＣＥに示されるように）フォーカス点５０１２の現在位置での測定点５２３４のユーザインタフェース５００６への追加を示す、図５ＣＥからの移行を示す。測定点５２３４が測定セグメント５２２２に沿った特定の地点で追加されていることに応じて、測定セグメント５２２２は引き続き表示される。測定セグメント５２３２の完了に従って、測定セグメント５２３２の外観は破線から実線に変更される。
図５ＣＧ～図５ＣＫは、いくつかの実施形態に係る、前の測定が引き続き表示されるように、前の測定に十分に近い（例えば、その測定の既定の閾値距離の範囲内であるが、それに接続されていない）測定の作成を示す。図５ＣＧは、レチクル５０１０及びフォーカス点５０１２がオブジェクト５２０２から離れて、かつテーブル５２００の第１の角の上に位置決めされるように、ユーザ５００４がデバイス１００を移動させていることを示す、図５ＣＦからの移行を示す。いくつかの実施形態では、図５ＣＧに示されるように、レチクル５０１０及びフォーカス点５０１２が測定セグメント５２２２及び測定セグメント５２３２から離れるように移動されていても、デバイス１００は、測定セグメント５２２２及び５２３２に関連付けられたラベルを表示し続ける（レチクル５０１０及びフォーカス点５０１２が測定セグメントから離れるように移動されるとき、デバイス１００が、測定セグメント５２１２に関連付けられたラベルの表示を中止する実施形態を示す図５ＢＶとは対照的に）。
図５ＣＨは、タッチ入力５２４０による測定追加ボタン５０１４のアクティブ化に応答して、（図５ＣＨに示すような）フォーカス点５０１２の現在位置における測定点５２３８のユーザインタフェース５００６への追加を示す、図５ＣＧからの移行を示す。以前に作成された測定セグメント５２２２及び５２３２から離れているユーザインタフェース５００６内の特定位置に測定点５２３８が追加されることによって、デバイス１００は、測定セグメント５２２２及び測定セグメント５２３２から切り離されており、かつ測定セグメント５２２２に沿った任意の地点及び測定セグメント５２３２に沿った任意の地点から閾値距離を超える測定セグメントを作成することにより、測定セグメント５２２２及び５２３２がユーザインタフェース５００６から除去されることを示すために、測定セグメント５２２２及び５２３２の外観を変更する。図５ＣＨに示される例では、測定セグメント５２２２及び５２３２は実線から破線に変更され、測定セグメント５２２２及び５２３２の色（及び／又は透明性）及びそれらの終点が変更される。
図５ＣＩは、レチクル５０１０及びフォーカス点５０１２がテーブル５２００の側面上に配置されるように、ユーザ５００４がデバイス１００を移動させていることを示す、図５ＣＨからの移行を示す。いくつかの実施形態では、図５ＣＩに示されるように、レチクル５０１０は、検出されており、かつフォーカス点５０１２の現在の位置に対応する表面を示すために、テーブル５２００の側面と同一平面に見えるように傾けられる。破線で示される動的測定セグメント５２４２は、測定セグメント５２４２がユーザインタフェース５００６内に延在するように見える、テーブル５２００の側面に沿った距離を示す関連する動的ラベル（例えば「２フィート１０インチ」）と共に、測定点５２３８とフォーカス点５０１２との間に表示される。
図５ＣＪは、レチクル５０１０及びフォーカス点５０１２がテーブル５２００の第２の角の上に位置決めされるように、ユーザ５００４がデバイス１００を移動させていることを示す、図５ＣＩからの移行を示す。いくつかの実施形態では、図５ＣＪに示されるように、たとえフォーカス点５０１２の現在の位置で測定点を追加することで、測定セグメント５２２２及び５２３２が除去される代わりに表示され続けることになっても、測定セグメント５２２２及び５２３２の外観は変更されない（例えば、フォーカス点５０１２の現在の位置での測定点の追加によって作成される結果として得られる測定セグメントは、測定セグメント５２２２及び５２３２の両方の所定の閾値距離内にあることになるため）。
図５ＣＫは、タッチ入力５２４６による測定追加ボタン５０１４のアクティブ化に応答して（図５ＣＪに示すような）フォーカス点５０１２の現在位置での測定点５２４４の追加を示す、図５ＣＪからの移行を示す。測定点５２４４は、測定セグメント５２４２が測定セグメント５２２２の既定の閾値距離内にあるように（例えば、測定セグメント５２４２は、測定セグメント５２２２に沿った少なくとも１つの点の既定の閾値距離内にある少なくとも１つの点を含む）、ユーザインタフェース５００６内の位置に追加される。したがって、測定点５２４４の追加後も測定セグメント５２２２は表示され続ける。また、測定セグメント５２２２は破線（後）から実線に変更され、測定セグメント５２２２の色（及び／又は透明度）が変更され、測定セグメント５２２２は図５ＣＧに示されるその外観で再表示される。同様に、測定セグメント５２４２は測定セグメント５２３２の既定の閾値距離内にある（例えば、測定セグメント５２４２は、終点測定５２３４などの測定セグメント５２２２に沿った少なくとも１つの点の既定の閾値距離の範囲内にある少なくとも１つの点を含む）。したがって、測定セグメント５２２２のように、測定セグメント５２３２も表示され続け、図５ＣＧに示されるようにその外観で再表示される。いくつかの実施形態では、現在表示されているセグメント（例えば、以前に接続されたセグメント５２２２及び５２３２）のうちのいずれかにおける少なくとも１つの点が、新たに作成されたセグメント（例えば、セグメント５２４２）の所定の距離内にある限り、現在表示されているセグメントの全ては表示されたままである。
図５ＣＬ～図５ＣＭは、拡張現実環境における例示的なアラート状態を示す。図５ＣＬは、ユーザ５００４がデバイス１００を移動したことで、カメラの視野が、測定セグメント５２２２、５２３２及び５２４２が表示された物理的空間５０００の部分（例えば、図５ＣＫに示すテーブル５２００の左部分）をもはや含んでいないことを示す、図５ＣＫからの移行を示す。図５ＣＬは、カメラの視野がテーブル５２００の左の部分から離れて移動されてから経過した時間量が、第１の所定の閾値時間Ｔｔｈ未満であることを示す。
図５ＣＭは、カメラの視野がテーブル５２００の左の部分から離れて移動されてから経過した時間量が第１の既定の閾値時間量に達したことを示す、図５ＣＬからの移行を示す。したがって、デバイス１００は、測定セグメント５２２２、５２３２及び５２４２がユーザインタフェース５００６からもうすぐ除去されることを示すために、アラートメッセージ５２４８を表示する。いくつかの実施形態では、デバイス１００が、アラートメッセージ５２４８が表示されてから第２の既定の閾値時間量の範囲内で、図５ＣＫに示されるようなその元の位置に戻される場合、測定セグメント５２２２、５２３２及び５２４２は、図５ＣＧに示されるように、物理的空間５０００内の対応する特徴の上でユーザインタフェース５００６内に再表示されることになる。いくつかの実施形態では、デバイス１００が、アラートメッセージ５２４８が表示されてから第２の既定の閾値時間量が経過した後で図５ＣＫに示されるようなその位置に戻される場合、測定セグメント５２２２、５２３２、５２４２はユーザインタフェース５００６内に再表示されない。いくつかの実施形態では、測定セグメント５２２２、５２３２及び５２４２が表示された物理的空間５０００の部分が、現在、カメラの視野内にある物理的空間５０００の部分から閾値距離を超えて表示されるようにデバイス１００が移動されたとき、アラートメッセージ５２４８が表示される。
図５ＣＮ～図５ＣＯは、拡張現実環境における別の例示的なアラート状態を示す。図５ＣＮは、第１の距離が既定の（最大）閾値距離Ｄｔｈ未満である、テーブル５２００からの第１の距離に位置決めされたデバイス１００を示す。レチクル５０１０及びフォーカス点５０１２が表示され、これは、デバイス１００がフォーカス点５０１２が表示される位置で表面を検出したことを示す。図５ＣＯは、第２の距離が既定の（最大）閾値距離Ｄｔｈより大きい、テーブル５２００からの第２の距離に位置決めされたデバイス１００を示す。したがって、デバイス１００は、レチクル５０１０及びフォーカス点５０１２を表示せず、このことは、デバイス１００が、フォーカス点５０１２が表示される物理的空間５０００内の位置で表面を検出していないことを示す。加えて、デバイス１００は、アラートメッセージ５２５０を表示して、デバイス１００が、フォーカス点５０１２が表示された物理的空間５０００内の位置から遠くに離れていることを示し、その位置に近づくようにデバイス１００を移動させるようにユーザ５００４に促す。同様に、いくつかの実施形態では、デバイス１００が、既定の最小閾値距離未満であるテーブル５２００からの距離に位置決めされるとき、デバイス１００は、レチクル５０１０及びフォーカス点５０１２を表示せず（表面が検出されていないことを示すため）、アラートメッセージを表示して（例えば、「遠くに移動させよ」などの文章を用いて）、ユーザ５００４に、フォーカス点５０１２が表示された物理的空間５０００内の位置から更に遠くにデバイス１００を移動させるように促す。
図６Ａ～図６Ｃは、いくつかの実施形態に係る、拡張現実環境を使用して物理的空間の測定を行うためにアプリケーションと相互作用する方法６００を示すフロー図である。方法６００は、タッチ感知ディスプレイ（例えば、タッチスクリーン１１２（図１Ａ）、又は入力デバイス（単数又は複数）３０２（図３Ｂ）と組み合わせたディスプレイ生成構成要素（単数又は複数）３０４）、及び１つ以上のカメラ（例えば、光学センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ））、任意選択的に、タッチ感知ディスプレイとの接触の強度を検出する１つ又は複数のセンサ（例えば、接触強度センサ（単数又は複数）１６５、（図１Ａ）、及び任意選択的に、１つ以上の触知出力生成器（例えば、触知出力生成器（単数又は複数）１６３（図１Ａ）又は触知出力生成器（単数又は複数）３５７（図３Ａ））を含む電子デバイス（例えば、ポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）、又はコンピュータシステム３０１（図３Ｂ）で実行される。方法６００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
以下に説明するように、方法６００は、拡張現実に基づく測定において仮想測定点を再配置する直感的な方法を提供する。測定点に向けられた入力に応答して測定点を含むエリアにズームインすることにより、測定点をより正確に再配置することが容易になる。方法６００は、ユーザからの入力の数、範囲及び／又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作電子デバイスに関して、ユーザが測定点をより迅速に再配置することを可能にすることにより、より効率的に電力を節約し、バッテリ充電間の時間を延ばす。
電子デバイスは、タッチ感知ディスプレイ上に、アプリケーションのユーザインタフェース（例えば、ユーザインタフェース５００６、図５ＡＸ）（例えば、拡張現実測定アプリケーション又は拡張現実測定機能を含むアプリケーション）を表示する（６０２）。
ユーザインタフェースは、１つ以上のカメラのうちの少なくとも１つのカメラの視野の表現を含む（６０４）（例えば、ユーザインタフェース５００６は、図５ＡＸのデバイス１００のカメラの視野のライブプレビューを含む）。視野の表現は、第１の倍率で表示され、１つ以上のカメラのうちの少なくとも１つによって検出された現在の視覚データに対する変更に基づいて経時的に更新される（例えば、視野の表現は、１つ以上のカメラのうちの少なくとも１つからのライブビューである）。更に、視野は、三次元空間（例えば、物理的オブジェクトを含む物理的世界の中の空間）の少なくとも一部分を含む。例えば、ライブプレビューはズームなしで（又はズーム倍率１Ｘで）表示され、デバイス１００が（例えば、図５ＡＵ～図５ＡＶのように）移動するにつれて更新される。
視野の表現を表示している間に、電子デバイスは、タッチ感知ディスプレイ上の第１のタッチ入力（例えば、アクティブ化されたときに、視野の表示された表現に測定点を追加する、アフォーダンス上のタップジェスチャ又は押圧入力）（例えば、図５ＡＷのタッチ入力５１５８）を検出する（６０６）。
第１のタッチ入力を検出したことに応答して、電子デバイスは、三次元空間内の第１の位置（例えば、図５ＡＷの測定点５１６０）に対応する視野の表現内の第１の位置に（仮想）測定点を表示する（６０８）。
測定点を追加した後、及び視野の表現を表示し続けている間に（６１０）、１つ以上のカメラのうちの少なくとも１つが移動すると、電子デバイスは、三次元空間内の第１の位置に対応する視野の表現内の位置に測定点を表示する（６１２）。例えば、１つ以上のカメラのうちの少なくとも１つの位置及び／又は向きが、電子デバイスの動きに起因して変化するとき、（仮想）測定点は、（仮想）測定点は最初に配置された三次元空間内の第１の位置に対応する位置でライブビュー内に表示され続ける。いくつかの実施形態では、１つ以上のカメラのうちの少なくとも１つが移動すると、表示された測定点は、（仮想）測定点が最初に配置された三次元空間内の位置に添えられる、又は固定されるように見える。
測定点を追加した後、及び視野の表現を表示し続けている間に（６１０）、電子デバイスは、視野の表現内の測定点の現在位置に対応するタッチ感知ディスプレイ上の位置で（測定点が最初に配置された三次元空間内の第１の位置に対応する）第２のタッチ入力（例えば、図５ＡＹのタッチ入力５１６４）を検出する（６１４）。
第２のタッチ入力を検出したことに応答して、電子デバイスは、視野の表現の少なくとも一部の表示を第１の倍率から、第１の倍率より大きい第２の倍率まで拡大する（６１６）（例えば、ライブプレビューは、図５ＡＹにおけるズーム倍率４Ｘだけ拡大される）。視野の表現の一部分の拡大表示は、測定点を含む。いくつかの実施形態では、測定点上でのジェスチャ（タップ、ダブルタップ、押圧、押圧及び保持、又はデピンチジェスチャなど）に応答して、電子デバイスは、測定点を含むエリア上でズームインし、それによって、測定点を含む領域を第１の倍率から第２の倍率まで拡大する。いくつかの実施形態では、測定点を含むエリア上でのズームインは、例えば、ズームインした測定点に向けられたジェスチャに応答して、ユーザが測定点をより正確に再配置することを可能にする。
いくつかの実施形態では、１つ以上のカメラは、１つ以上のカメラが位置決めされているデバイスの側の近くにあるタッチ感知ディスプレイの一部分に隣接して電子デバイス上に位置する（６１８）（例えば、１つ以上のカメラは、図５Ａの領域５００８内に位置する）。いくつかの実施形態では、１つ以上のカメラは、タッチ感知ディスプレイの第１の部分に隣接して電子デバイス上に位置する。いくつかの実施形態では、タッチ感知ディスプレイの表面はｘｙ平面に沿って延在し、１つ以上のカメラは、ｘｙ平面に沿ってタッチ感知ディスプレイの第１の部分に隣接している。いくつかの実施形態では、１つ以上のカメラは、ｘｙ平面に垂直なｚ方向でタッチ感知ディスプレイの第１の部分に隣接している。いくつかの実施形態では、ユーザインタフェースは、デバイスの背面上の１つ以上のカメラから離れて（例えば、１つ以上のカメラが位置するデバイスの背面上の第１の固定位置に対応する、タッチ感知ディスプレイ上の第２の固定位置から離れて）位置決めされた（例えば、デバイスの前面上の）タッチ感知ディスプレイの一部分に表示される第１のアフォーダンスを含み、これは、アクティブ化されたときに、視野の表示された表現に測定点を追加する（例えば、図５Ａの測定追加ボタン５０１４）。いくつかの実施形態では、第１のアフォーダンスは、タッチ感知ディスプレイの第２の部分内に表示され、この場合タッチ感知ディスプレイの第２の部分は、タッチ感知ディスプレイの第１の部分とは別個であり、またタッチ感知ディスプレイの第２の部分は、１つ以上のカメラが位置決めされているデバイスの側から離れて位置する。いくつかの実施形態では、ユーザインタフェースは、電子デバイスの第１の向き（例えば、図５Ａに示される縦向き）に従って表示される、１つ以上の第２のアフォーダンス（例えば、図５Ａのボタン５０１８、５０２０、５０２２）を更に含む。いくつかの実施形態では、電子デバイスは、電子デバイスの第２の向きへの移動（例えば、回転）（例えば、図５Ｂ又は図５Ｃに示す横向きへの回転）を検出する。いくつかの実施形態では、電子デバイスの第２の向きへの移動を検出したことに応答して、電子デバイスは、電子デバイスの第２の向きに従って、１つ以上の第２のアフォーダンスの表示を更新し（例えば、ボタン５０１８、５０２０、５０２２は、１つ以上のカメラの位置に関係なく、図５Ｂ又は図５Ｃでユーザインタフェースの異なる領域に移動する）、１つ以上のカメラが位置決めされているデバイスの側から離れているタッチ感知ディスプレイの部分に第１のアフォーダンスを引き続き表示する（例えば、測定追加ボタン５０１４は、図５Ｂ及び５Ｃでは領域５００８から離れて表示される）。
いくつかの実施形態では、第２の向きでは、電子デバイスは、第１のアフォーダンスが、１つ以上のカメラが位置決めされているデバイスの側から離れているタッチ感知ディスプレイの部分内の異なる位置で（例えば、電子デバイスの片手操作中の第１のアフォーダンスのアクティブ化を容易にするために、タッチ感知ディスプレイの縁部又は角の既定の距離の範囲内の位置で）表示されるように、第１のアフォーダンスの表示を更新する（例えば測定追加ボタン５０１４）。いくつかの実施形態では、第１のアフォーダンスは、ユーザの手が視野を遮るようなやり方でユーザが電子デバイスを保持することを抑止するように、１つ以上のカメラが位置決めされているデバイスの側から離れているタッチ感知ディスプレイの部分内の位置に制限される。いくつかの実施形態では、１つ以上のカメラが電子デバイスの左半分に位置する電子デバイスが第１の向き（例えば、第１の横向き）にある間、第１のアフォーダンスは、電子デバイスの右半分上のユーザインタフェース内に表示され、また、電子デバイスが、１つ以上のカメラが電子デバイスの右半分上に位置する第２の向き（例えば、デバイスが第１の横向きから１８０度回転される第２の横向きの向き）にある間、第１のアフォーダンスは、電子デバイスの左半分上のユーザインタフェース内に表示される（例えば、図５Ｂ～図５Ｃを参照して本明細書に示され、説明されるように）。
デバイスの向きが変わるとき、１つ以上のカメラから離れているタッチ感知ディスプレイ上の位置に測定点を配置するために使用されるアフォーダンスを自動的に維持することにより、ユーザが、ライブビューを提供しているカメラの視野を見えにくくするような方法で電子デバイスを保持する可能性が低減される。デバイスの向きが変わるとき、このようなやり方でアフォーダンスを自動的に再度位置決めすることによって、（例えば、ユーザがデバイスを操作する／デバイスと相互作用するときに、ユーザが適切な入力を提供するのを助け、視野を見えにくくするなどのユーザのミスを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、アプリケーションのユーザインタフェースは、キャプチャアフォーダンス（例えば、アクティブ化されると、視野の表現に対応するメディアのキャプチャを開始する仮想シャッターボタンなどのアフォーダンス）（例えば、図５Ａのメディアキャプチャボタン５０１６）を含む、アプリケーションの動作に対応する１つ以上のアフォーダンスを含む（６２０）。いくつかの実施形態では、電子デバイスは、キャプチャアフォーダンス上の第３のタッチ入力を検出し、第３のタッチ入力が第１のメディアキャプチャ基準を満たすという判定に従って、１つ以上のカメラのうちの少なくとも１つ（及び、いくつかの実施形態では対応するオーディオ）の視野の画像のシーケンスを含む第１のタイプのメディア（例えばビデオ又はビデオフォト）のキャプチャを開始する（例えば図５ＢＪ～図５ＢＫを参照して本明細書に記載されるように）。いくつかの実施形態では、第１のメディアキャプチャ基準は、第３のタッチ入力が少なくとも既定の閾値時間量にわたってタッチ感知ディスプレイ上に維持される第１の要件と、タッチ感知ディスプレイを横切る第３のタッチ入力の移動量が既定の閾値移動量未満であることの第２の要件と、を含む。いくつかの実施形態では、第１のメディアキャプチャ基準は、キャプチャアフォーダンス上の静止した長い押圧ジェスチャ又は押圧と保持ジェスチャによって満たされる。
いくつかの実施形態では、画像のキャプチャされたシーケンスは、画像上に表示される（仮想）測定情報（例えば、１つ以上の（仮想）測定点、測定点の間のライン、測定点に関するラベル、及び／又は測定点間の距離）を含む（例えば図５ＢＪ～図５ＢＫを参照して本明細書に記載されるように）。いくつかの実施形態では、キャプチャされた画像のシーケンスは、キャプチャアフォーダンスなどのアプリケーションのユーザインタフェースに示される他のアフォーダンス（画像上に表示された測定情報以外）の表示は含まない。換言すれば、いくつかの実施形態では、アプリケーションのユーザインタフェースに示されている全てのもののスクリーン記録をキャプチャする代わりに、デバイスは、視野上に重ね合わされた（仮想）測定情報を有する視野のビデオだけをキャプチャする、（例えば、図５ＢＪ～図５ＢＫを参照して本明細書に記載されるように）。
仮想シャッターボタン又は他のキャプチャアフォーダンスを提供することにより、オブジェクト上に表示される仮想測定情報と共に、測定されているオブジェクトのビデオを記録することが容易になる。このようなビデオを記録することは、アプリケーションのユーザインタフェース内の他の要素も記録することなく、（例えば、記録中にユーザインタフェース内に表示された無関係の情報を示すことなく、オブジェクト及び測定を示す記録を作成するようにユーザを支援することによって）デバイスの操作性を強化し、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、第３のタッチ入力が第２のメディアキャプチャ基準を満たすという判定に従って、電子デバイスは、１つ以上のカメラのうちの少なくとも１つ（例えば、対応するオーディオなしで）の視野の単一画像を含む第２のタイプのメディア（例えば静止画像）のキャプチャを開始する（例えば、図５ＢＨ～５ＢＩを参照して本明細書に示され、説明されるように）（６２２）。いくつかの実施形態では、第２のメディアキャプチャ基準は、既定の閾値時間量が経過する前に、第３のタッチ入力がタッチ感知ディスプレイ上で検出されるのを中止する第１の要件と、タッチ感知ディスプレイを横切る第２のタッチ入力の移動量が既定の閾値移動量未満であることの第２の要件と、を含む。いくつかの実施形態では、第２のメディアキャプチャ基準は、キャプチャアフォーダンス上での静止したタップジェスチャによって満たされる。
いくつかの実施形態では、キャプチャされた静止画は、キャプチャアフォーダンスなどの、アプリケーションのユーザインタフェース内に示される他のアフォーダンス（画像上に表示された測定情報以外）の表示を含まない（例えば、図５ＢＨ～図５ＢＩを参照して本明細書に示され、説明されるように）。換言すれば、いくつかの実施形態では、アプリケーションのユーザインタフェースに示されている全てのものの静止画像をキャプチャする代わりに、デバイスは、視野上に重ね合わせた（仮想）測定情報を有する視野の静止画像だけをキャプチャする。
静止画像又はビデオのいずれかのキャプチャを開始することができるキャプチャアフォーダンスを提供することにより、オブジェクトの上に表示される仮想測定情報と共に、オブジェクトの静止画像又はビデオのいずれかを取得することが容易になる。アプリケーションのユーザインタフェース内に他の要素も含まずに、そのような静止画像又はビデオを取得することは（例えば、記録中にユーザインタフェース内に表示された無関係な情報を示すことなく、オブジェクト及び測定を示す静止画像又はビデオを作成するようにユーザを支援することによって）、デバイスの操作性を強化し、ユーザデバイスインタフェースをより効率的にする。加えて、追加の表示された制御によってユーザインタフェースを乱雑にすることなく、（例えば、キャプチャアフォーダンス上のタッチ入力の特性に応じて、静止画像又はビデオのいずれかをキャプチャするための）キャプチャアフォーダンスのための追加の制御オプションを提供することにより、デバイスの操作性を強化し、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、アプリケーションのユーザインタフェースを表示する前に、電子デバイスは、複数の制御（例えば、図５ＢＮの制御センターユーザインタフェース５１８８）を含む制御パネルユーザインタフェースを表示し（６２４）、この場合、複数の制御のうちの第１の制御はアプリケーションに対応する（例えば、図５ＢＮの拡張現実測定アプリケーションアイコン５１９０）。いくつかの実施形態では、電子デバイスは、第１の制御をアクティブ化するタッチ入力（例えば、タップジェスチャ又は押圧入力）を検出し、第１の制御をアクティブ化するタッチ入力を検出したことに応答して、アプリケーションのユーザインタフェースを表示する（例えば、図５ＢＮを参照して本明細書で説明されるように）。制御パネルを介して測定アプリケーションへのアクセスを提供することにより、アプリケーションの発見及び起動がより容易になる。アプリケーションを見つけて起動するために必要とされる入力の数を低減することは、デバイスの操作性を強化し、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、ユーザインタフェースは、アプリケーション内の複数のユーザインタフェースのうちの第１のユーザインタフェースである（６２６）。いくつかの実施形態では、第１のユーザインタフェースは、アプリケーションの測定モードに対応する。いくつかの実施形態では、複数のユーザインタフェースのうちの第２のユーザインタフェースは、アプリケーションのレベリングモードに対応する。いくつかの実施形態では、拡張現実測定アプリケーション又は拡張現実測定機能を含むアプリケーションもまた、レベル機能を含む。同じアプリケーションに測定とレベル機能の両方を提供することにより、これらの関連する機能を見つけ使用することが容易になる。同じアプリケーションに複数の関連機能を提供することは、デバイスの動作性を強化し、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、電子デバイスは、電子デバイスと測定位置に対応する三次元空間内の第１の位置との間の距離（例えば、電子デバイスのカメラのうちの１つから、測定位置に対応する三次元空間内の第１の位置までの距離）を判定する（６２８）。いくつかの実施形態では、カメラのうちの１つから三次元空間内の第１の位置までの距離は、１つ以上のカメラのうちの少なくとも１つによって（例えば１つ以上のカメラの任意選択的な部分である深さセンサによって）キャプチャされた深さに基づいて、及び／又は複数の異なるカメラ間の視差情報に基づいて判定される（例えば、複数の異なるカメラによってキャプチャされた情報を比較することによって判定される）。いくつかの実施形態では、判定された距離が第１の閾値距離未満であるという判定に従って、第１の倍率と第２の倍率との間の倍率係数（例えば、第１の倍率から第２の倍率への拡大の量）は、第１の倍率係数である（例えば、最小ズーム量に対応し、電子デバイスと三次元空間内の第１の位置との間の距離が第１の閾値距離未満に減少するのにつれて変化しない）。いくつかの実施形態では、判定された距離が第２の閾値距離より大きいとの判定に従って、倍率係数は第２の倍率である（例えば、最大ズーム量に対応し、電子デバイスと三次元空間内の第１の位置との間の距離が第２の閾値距離を上回って増加するのにつれて変化しない）。いくつかの実施形態では、判定された距離が第１の閾値距離と第２の閾値距離との間であるという判定に従って、倍率係数は、第１の倍率と第２の倍率との間のそれぞれの倍率係数である。例えば、図５ＡＹ～図５ＢＥを参照して本明細書に示され、説明されるように、ライブプレビューのズーム量は、任意選択的にズーム量に対する最大及び／又は最小制限を有する、デバイス１００とテーブル５００２との間の距離に基づいている。
より一般的には、いくつかの実施形態では、ズーム量は、電子デバイスが三次元空間内の対象となる点から遠くなるときに（任意選択的にズーム量の最大量と仮定する）増大し、ズーム量は、電子デバイスが三次元空間内の対象点に近づくときに（任意選択的に、最小ズーム量と仮定する）ときに減少する。原則として、電子デバイスが三次元空間内の対象となる点（複数可）から遠くにあるときに、より大量のズームが必要とされるが、これは、対象となる特徴は、距離が大きくなるほど（例えば、視野の表現において）識別することがより困難であるためであり、これに対して電子デバイスが三次元空間内の対象となる点（複数可）に近い場合には、より少ないズーム量しか必要とされず、これは、対象となる特徴は、距離が小さくなるほど（例えば、視野の表現において）より容易に知覚されるためである。いくつかの実施形態では、最大ズーム量は、１つ以上のカメラのハードウェア仕様（例えば、ズーム制限）に従って課される。
電子デバイスから、測定点に対応する三次元空間内の位置までの距離に基づいてズーム量を自動的に変化させることにより、測定点は各距離に対して適切な倍率レベルで表示されるため、測定点の再配置がより容易になる。更なるユーザ入力を必要とせずに、自動的に測定された距離に依存する異なる倍率でズーム操作を実行することにより、（例えば、測定点を再配置するために適切な入力が提供され得る拡大レベルで測定点を自動的に表示することによって）デバイスの操作性を強化し、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、視野の表現の少なくとも一部分の拡大表示を表示している間に、電子デバイスは、測定点の現在位置における接触を検出することと、タッチ感知ディスプレイを横切る接触の移動（例えば、図５ＡＺのタッチ入力５１６４）を検出することを含む、第４のタッチ入力を検出する（６３０）。いくつかの実施形態では、第２のタッチ入力及び第４のタッチ入力は、単一の連続接触による１つの入力の異なる部分である（例えば、第２のタッチ入力は、タッチ感知ディスプレイ上の接触をタッチダウンする入力の第１の部分であり、第４の入力は、接触の移動を含む入力の第２の部分である）。いくつかの実施形態では、タッチ感知ディスプレイを横切る接触の移動を検出したことに応答して、電子デバイスは、第４のタッチ入力における接触の移動に従って視野の表現を横切るように測定点を移動させる（例えば、図５ＡＺに測定点５１６０を参照して本明細書に記載されるように）。測定点の周囲の拡大されたエリアを見ている間に測定点をドラッグすることにより、測定点を単一の接触の移動で正確に再配置することが容易になる。再配置を実行するのに必要とされる入力の数を削減することで、（例えば、適切な入力を提供するようにユーザを助け、デバイスを操作する／デバイスと相互作用する際のユーザのミスを削減することによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、第１のタッチ入力が、アクティブ化されると、視野の表示された表現に測定点を追加するアフォーダンス上で検出される（６３２）。いくつかの実施形態では、アフォーダンスは、（固定された）既定の位置でユーザインタフェース内に表示される。いくつかの実施形態では、アフォーダンスのアクティブ化に応答して、測定点が最初に追加される視野の表現内の位置は、アフォーダンスの既定の位置とは別個である。例えば、図５ＡＶ～図５ＡＷでは、測定点５１６０は、測定追加ボタン５０１４の位置から離れた位置でユーザインタフェース５００６に追加される。追加された測定点が最初に表示される位置から離れて位置する測定点を追加するためのアフォーダンスを提供することにより、測定点がどこに配置されるかを容易に見ることができる。点が最初に追加される位置から離れた点を追加するためのアフォーダンスを表示することは、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが測定点を追加するための適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を強化し、ユーザデバイスインタフェースをより効率的にする。
図６Ａ～図６Ｃにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法７００、８００、９００、１０００、１１００、１２００、１３００及び１４００）に関して本明細書に記載される他のプロセスの詳細はまた、図６Ａ～図６Ｃに関して上記した方法６００にも、類似の様式で適用可能であることに留意されたい。例えば、入力、ユーザインタフェース要素（例えば、測定点、測定セグメント、仮想アノテーション、物理的空間又は視野の表現、アフォーダンス、アラート、インジケータ、ラベル、アンカー点、及び／又はレチクル及びドットなどのユーザインタフェース要素の配置）、触知出力、及び方法６００を参照して上述した強度閾値は、任意選択的に、本明細書に記載される他の方法（例えば、方法７００、８００、９００、１０００、１１００、１２００、１３００及び１４００）を参照して本明細書に記載される入力、ユーザインタフェース要素、触知出力、及び強度閾値のうちの１つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図７Ａ～図７Ｅは、いくつかの実施形態に係る、拡張現実環境内の物理的空間の表示された表現に測定を追加する方法７００を示すフロー図である。方法７００は、タッチ感知ディスプレイ（例えば、タッチスクリーン１１２（図１Ａ）、又は入力デバイス（単数又は複数）３０２（図３Ｂ）と組み合わせたディスプレイ生成構成要素（単数又は複数）３０４）、タッチ感知ディスプレイとの接触の強度を検出する１つ又は複数のセンサ（例えば、接触強度センサ（単数又は複数）１６５、図１Ａ）、及び１つ又は複数のカメラ（光学センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ）及び任意選択的に、１つ以上の触知出力生成器（例えば、触知出力生成器（単数又は複数）１６３（図１Ａ）又は触知出力生成器（単数又は複数）３５７（図３Ａ））を含む電子デバイス（例えば、ポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）、又はコンピュータシステム３０１（図３Ｂ）で実行される。方法７００における一部の動作は、任意選択で組み合わされ、及び／又は、一部の動作の順序は、任意選択で変更される。
以下に記載されるように、方法７００は、拡張現実に基づく測定において仮想測定点及び仮想測定セグメントをより正確に追加する直感的な方法を提供する。タッチ感知ディスプレイ、タッチ感知ディスプレイとの接触の強度を検出するための１つ以上のセンサ、及び１つ以上のカメラを備える電子デバイスの場合、タッチ感知ディスプレイ上で連続して検出された接触による反復する押圧は、測定点の位置を少なくとも１つのカメラからのライブビューで位置決めする間、電子デバイスを定常状態に保持することをより容易にする（例えば、タッチ感知ディスプレイ上の反復タップと比較して）。方法７００は、仮想測定点及び仮想測定セグメントを追加するときのユーザからの入力の種類を変更し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作電子デバイスに関して、ユーザが測定点及び測定セグメントをより正確に追加することを可能にすることにより、より効率的に電力を節約し、バッテリの充電の間の時間を延ばす。
電子デバイスは、タッチ感知ディスプレイ上に、アプリケーション（例えば、拡張現実測定アプリケーション又は拡張現実測定機能を含むアプリケーション）のユーザインタフェースを表示する（７０２）。
ユーザインタフェースは、１つ以上のカメラのうちの少なくとも１つのカメラの視野の表現を含む（７０４）。視野の表現は、１つ以上のカメラのうちの少なくとも１つによって検出された現在の視覚データに対する変更に基づいて経時的に更新される（例えば、視野の表現はライブビューであり、１つ以上のカメラが移動するとき、及び／又は１つ以上のカメラの視野内の物理世界が変化するときに変化する）。ユーザインタフェースは、視野の表現の上に表示される測定点作成インジケータを含む（例えば、図５ＡＨのフォーカス点５０１２と併せたレチクル５０１０、これらは、カメラのライブプレビューの上部でユーザインタフェース５００６内に表示される）。更に、視野は、三次元空間（例えば、物理的オブジェクトを含む物理的世界内の空間）（例えば、物理的空間５０００）の少なくとも一部分を含む。
電子デバイスは、タッチ感知ディスプレイ上の接触を検出する（例えば、図５ＡＩのタッチ入力５１２０）（７０６）。
タッチ感知ディスプレイ上の接触を連続して検出している間に（７０８）、かつ測定点作成インジケータが、三次元空間内の第１の位置に対応する視野の表現内の第１の位置の上に表示されている間に（７１０）、第１の基準を満たすために、接触の強度がそれぞれの強度閾値を満たす（例えば到達する、又は超える）という要件を含む第１の基準（例えば、測定点作成基準）が満たされたという判定に従って、電子デバイスは、三次元空間内の第１の位置に対応する視野の表現内に第１の（仮想）測定点（例えば、図５ＡＩの測定点５１２２）を追加して表示する（７１２）。いくつかの実施形態では、電子デバイスは、第１の基準が満たされているかどうかを判定する。いくつかの実施形態では、第１の基準は、接触の強度が強度閾値（例えば、接触検出強度閾値ＩＴ０を上回る軽い押圧強度閾値ＩＴＬ）を超えるときに満たされる（例えば、図５ＡＩの強度計５０４０によって示されるように）。いくつかの実施形態では、第１の基準は、接触の強度が強度閾値を下回るときに満たされる（強度閾値を超えた後）。いくつかの実施形態では、第１の基準は、第１の基準の他の基準が満たされたとき、接触がアフォーダンス上に位置決めされ、このアフォーダンスは、アクティブ化されたときに、測定点作成インジケータが表示される位置（例えば、図５ＡＩの測定追加ボタン５０１４）で視野の表示された表現に測定点を追加するという必要条件を含む。
タッチ感知ディスプレイ上の接触を連続して検出している間に（７０８）、第１の（仮想）測定ポイントを追加した後、電子デバイスは、電子デバイスが移動されるとき（例えば、１つ以上のカメラの視野が変化するとき）、視野の表現を更新する（７１４）。いくつかの実施形態では、電子デバイスが移動されていることに応答して、電子デバイスは、視野の表現内の第１の（仮想）測定点（例えば、１つ以上のカメラの視野が三次元空間内の第１の位置を含む間の）と、ユーザインタフェース内の測定点作成インジケータとの間に動的測定セグメント（例えば、図５ＡＫの動的測定セグメント５１２８）を表示する。いくつかの実施形態では、動的測定セグメントの表示は、デバイスの移動（例えば、これは１つ以上のカメラの視野を変更する）に従って変化する。例えば、測定点作成インジケータが、視野の表現内の固定位置で中心に置かれるとき、視野の表現における第１の測定点と、測定点作成インジケータに対応する視野内の表現内の位置との間の距離は、デバイス（及び１つ以上のカメラの視野）が三次元空間内の第１の位置に対して移動するにつれて変化し、したがって、動的測定セグメントの長さは、デバイスが移動するにつれて変化する。
タッチ感知ディスプレイ上の接触を連続して検出している間に（７０８）、電子デバイスが移動された後、及び測定点作成インジケータが、三次元空間内の第２の位置に対応する視野の表現内の第２の位置の上に表示されている間に（７１６）、測定点作成インジケータが三次元空間内の第２の位置に対応する視野の表現内の第２の位置の上に表示されている間に第１の基準が満たされるとの判定に従って（７１８）、電子デバイスは、三次元空間内の第２の位置に対応する視野の表現内に第２の（仮想）測定点を追加して表示する（７２０）（例えば、図５ＡＬの測定点５１３２の追加に関して本明細書で説明されるように）。いくつかの実施形態では、視野の表現内の第２の位置は、例えば、測定点作成インジケータが視野の表現内の固定位置で中心に置かれたとき、視野の表現内の第１の位置と同じである。いくつかの実施形態では、電子デバイスは、第１の基準が満たされているかどうかを判定する。加えて、電子デバイスは、第１の測定点と第２の点を接続する第１測定セグメントを表示する（７２２）。
いくつかの実施形態では、第１の測定セグメント（第１の測定点と第２の測定点を接続する）は、第２の基準（例えば、測定セグメント作成基準）が満たされるという判定に従って表示される。いくつかの実施形態では、第２の基準は、第１の基準がそれぞれの測定点を追加及び表示するために満たされるそれぞれの実例に続いて、接触が、次の測定点を追加及び表示するために第１の基準が満たされる次の実例まで、接触がタッチ感知ディスプレイ上で（例えばアクティブ化されると、測定点作成インジケータが表示される位置で視野の表示された表現に測定点を追加するアフォーダンス上で）維持されるという要件を含む（例えば、図５ＡＨ～図５ＡＳを参照して本明細書に示され、説明されるように）。すなわち、第２の基準は、接触が、（強度に基づく）第１の基準を満たす連続する測定点の作成の間に維持されるという要件を含む。いくつかの実施形態では、第１の基準に対する強度閾値は、第１の強度閾値（例えば、接触検出強度閾値（ＩＴ０）を上回る第２の強度閾値であり（例えば、軽い押圧強度閾値ＩＴＬ）、第２の基準は、接触が維持されている間、接触の強度が第１の強度閾値以上に留まるという要件を含む。いくつかの実施形態では、第２の基準は、接触が維持されている間に接触の強度が第２の強度閾値以下に低下するという要件を含む（例えば、第１の基準が、接触の強度が第２の強度閾値を超えることを必要とする場合）。いくつかの実施形態では、第２の基準は、接触が維持されている間に接触の強度が第２の強度閾値以下に留まるという要件を含む（例えば、第１の基準が、（強度閾値を超えた後に）接触の強度が強度閾値を下回ることを必要とする場合）。
より一般的には、いくつかの実施形態では、接触がタッチ感知ディスプレイ上で維持される限り、それぞれの点が、第１の基準が満たされたことによって追加され表示された後、１つ以上の追加の測定点、並びにそれらの対応する測定セグメントが、第１の基準が追加の測定点ごとに満たされることによって追加され、表示される。すなわち、接触がタッチ感知ディスプレイ上に維持される限り、第１の基準が満たされたときのそれぞれの後続の実例は、（新たに追加された）追加の点と直近に追加された前の点との間に追加の点及び追加の測定セグメントの両方を追加する。別の言い方をすれば、第１の基準が満たされたことによってそれぞれの点が追加された後、電子デバイスは、接触がタッチ感知ディスプレイ上で維持されるのを中止するまで連続測定（点及びセグメント）作成モードで動作する。
いくつかの実施形態では、タッチ感知ディスプレイ上の接触を連続して検出している間、及び第２の（仮想）測定点を追加した後、電子デバイスは、電子デバイスが再び移動されるのにつれて視野の表現を更新する（７２４）（例えば、図５ＡＮ～５ＡＱを参照して本明細書に示され、説明されるように）。いくつかの実施形態では、タッチ感知ディスプレイ上の接触を連続して検出している間、電子デバイスが再び移動された後、かつ測定点作成インジケータが、三次元空間内の第３の位置に対応する視野の表現内の第３の位置の上に表示されている間に、測定点作成インジケータが三次元空間内の第３の位置に対応する視野の表現内の第３の位置の上に表示されている間に第１の基準が満たされるとの判定に従って、電子デバイスは、三次元空間内の第３の位置に対応する視野の表現内の第３の（仮想）測定点（例えば、図５ＡＲの測定点５１４２）を追加して表示し、第２の測定点と第３の測定点を接続する第２の測定セグメント（例えば、図５ＡＲの完了した測定セグメント５１３６）を表示する。いくつかの実施形態では、視野の表現内の第３の位置は、例えば、測定点作成インジケータが視野の表現内の固定位置で中心として置かれたとき、視野の表現内の第１の位置と同じである。
いくつかの実施形態では、測定点作成インジケータが、三次元空間内の第２の位置に対応する視野の表現内の第２の位置の上に表示されている間に第１の基準が満たされないという判定に従って、電子デバイスは、三次元空間内の第２の位置に対応する視野の表現内の第２の（仮想）測定点を追加して表示するのを取りやめ、かつ第１の測定点と第２の測定点を接続する第１測定セグメントの表示を取りやめる（７２６）。
いくつかの実施形態では、第２の（仮想）測定点を追加した後、電子デバイスは、電子デバイスが再び移動されると、視野の表現を更新する（７２８）。いくつかの実施形態では、電子デバイスが再び移動された後、測定点作成インジケータが、三次元空間内の第３の位置に対応する視野の表現内の第３の位置の上に表示されている間、及び測定点作成インジケータが、三次元空間内の第３の位置に対応する視野の表現内の第３の位置の上に表示されている間に第１の基準が満たされたという判定に従って、電子デバイスは、三次元空間内の第３の位置に対応する視野の表現内の第３の（仮想）測定点を追加して表示する。いくつかの実施形態では、第２の測定点を追加するための第１の基準と、第３の測定点を追加するための第１の基準との間で接触が維持されるという要件を含む第２の基準（例えば、測定セグメント作成基準）が満たされるという判定に従って、電子デバイスは、第２の測定点と第３の測定点とを接続する第２の測定セグメントを表示する。いくつかの実施形態では、第２の基準が満たされないという判定に従って、電子デバイスは、第２の測定点と第３の測定点とを接続する第２の測定セグメントを表示するのを取りやめる（例えば、図５ＡＨ～図５ＡＳを参照して本明細書に示され、説明されるように）。いくつかの実施形態では、それぞれの測定点が直近に追加された測定点（例えば、第２の測定点）であり、測定セグメントの終点が直近に追加された測定セグメント（例えば、第１の測定セグメント）の終点である場合、このとき、第１の基準（例えば測定点作成基準）は満たされ、第２の基準は満たされないという判定に従って、電子デバイスは追加の測定点（例えば、第３の測定点）を追加して表示し、それぞれの測定点（追加の測定点を表示する前に直近に追加された測定点）と、追加の測定点との間の追加の測定セグメントの表示を取りやめる。
いくつかの実施形態では、タッチ感知ディスプレイ上の接触を連続して検出している間に、及び電子デバイスが移動されている間に、動的測定セグメントが、最近追加された測定点（例えば、第２の測定点）と、測定点作成インジケータに対応する視野の表現内の位置との間に表示され（例えば、動作７１４を参照して本明細書に記載されている動的測定セグメント）、動的測定セグメントは、第２の基準が満たされたという判定に従って引き続き表示される。いくつかの実施形態では、直近に追加された測定点が、動的測定セグメント（例えば、第１の測定セグメント）を表示する前の直近に追加された測定セグメントである別の測定セグメントの終点である場合、このとき、電子デバイスは、第２の測定点を追加するために第１の基準が満たされた後の（例えば、第３の測定点を追加するために第１の基準が満たされた後の任意の時点での）接触のリフトオフに応答して動的測定セグメントを表示することを中止する（例えば、図５ＡＨ～図５ＡＳを参照して本明細書に示され、説明されるように）。
接触がタッチ感知ディスプレイ上に維持されているかどうかに応じて、対応する測定セグメントと共に、又はそれなしで測定点を、直前の測定点に追加することは、測定セグメントを追加せずに測定点を追加するための追加のオプションを提供する（例えば、ユーザが接触をリフトオフすることで、追加すべき次の測定点が前の測定点及び測定セグメントに接続されていないことを示す）。追加で表示される制御によってＵＩを乱雑にすることなく、追加の制御オプションを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するときにユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、電子デバイスは１つ以上の触知出力生成器を含む。いくつかの実施形態では、接触の強度がそれぞれの強度閾値を満たす（例えば、到達する（増大する）か、又はそれを超える）という判定に従って、電子デバイスは、（例えば、接触の強度が測定点を追加するのに十分であることを示すために）触知出力を生成する（７３０）（例えば、図５ＡＩの触知出力５１２４を参照して本明細書に記載されるように）。いくつかの実施形態では、触知出力は、第１の基準が満たされる（例えば、接触の強度がそれぞれの強度閾値を満たすという要件に加えて、第１の基準の他の要件も満たされる）という判定に従って生成される。いくつかの実施形態では、電子デバイスは、それぞれの強度閾値が満たされるときに触知出力を提供して、接触の強度が測定点を追加するのに十分であることを示す、及び／又は測定点が追加されていることを示す。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
電子デバイスが１つ以上の触知出力生成器を含むいくつかの実施形態では、それぞれの強度閾値は、第１の強度閾値（例えば、接触検出強度閾値ＩＴ０）を上回る第２の強度閾値（例えば、軽い押圧強度閾値ＩＴＬ）である（７３２）。いくつかの実施形態では、接触の強度が第２の強度閾値を満たさなくなるとの判定（第２の強度閾値を満たした後に）（例えば、接触の強度が第２の強度閾値以下に低下する）、及び接触の強度が第１の強度閾値を満たしている（例えば、接触の強度が第１の強度閾値以上のままである）との判定に従って、電子デバイスは、（例えば、測定点の追加を示すために）触知出力を生成する（例えば、図５ＡＪを参照して本明細書に記載されるように）。いくつかの実施形態では、電子デバイスは、強度が第２の強度閾値を下回るときに触知出力を提供して、測定点が追加されていることを示す。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、第１の測定点の追加及び表示は、接触の強度がそれぞれの強度閾値を満たすとき、測定点作成インジケータが、三次元空間内の第１の位置に対応する視野の表現内の第１の位置の上に表示される間に実行される（例えば、図５ＡＩを参照して本明細書に示され、説明されるように）（７３４）。いくつかの実施形態では、第２の測定点の追加及び表示は、電子デバイスが移動された後に接触の強度がそれぞれの強度閾値を満たすとき、測定点作成インジケータが、三次元空間内の第２の位置に対応する視野の表現内の第２の位置の上に表示されている間に実行される。
いくつかの実施形態では、それぞれの強度閾値は、第１の強度閾値（例えば、接触検出強度閾値ＩＴ０）を上回る第２の強度閾値（例えば、軽い押圧強度閾値ＩＴＬ）である（７３６）。いくつかの実施形態では、第１の基準は、第１の基準が満たされるために、接触の強度がそれぞれの強度閾値を満たした後に、それぞれの強度閾値を下回るという要件を含む。いくつかの実施形態では、第１の測定点の追加及び表示は、接触の強度が対応の強度閾値を下回るとき、測定点作成インジケータが、三次元空間内の第１の位置に対応する視野の表現内の第１の位置の上に表示されている間に実行される。いくつかの実施形態では、第２の測定点の追加及び表示は、電子デバイスが移動された後、及び測定点作成インジケータが、三次元空間内の第２の位置に対応する視野の表現内の第２の位置の上に表示されている間に、接触の強度が、それぞれの強度閾値を下回るまで低下したときに実行される。
いくつかの実施形態では、１つ以上のカメラの視野の表現を表示している間に、電子デバイスは、三次元空間内のそれぞれの位置に対応する１つ以上のカメラの視野の表現内のアンカー点を決定する（７３８）。いくつかの実施形態では、１つ以上のカメラが移動すると、測定点作成インジケータ（又はその少なくとも一部）は、アンカー点の上（又はそれに近接し）になり、電子デバイスは、接触が第１の基準を満たす場合、それぞれの測定点がアンカー点で追加されることを示すために測地点作成インジケータの視覚的外観を変更する（例えば、図５ＡＨにおけるレチクル５０１０及びフォーカス点５０１２を参照して本明細書に記載されるように）。接触が第１の基準を満たす場合、測定点がアンカー点で追加されるという視覚的フィードバックを提供することにより、アンカー点に測定点を追加することが容易になる。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、ユーザインタフェースは、アクティブ化されると、測定点作成インジケータが表示される視野の表現内の位置で視野の表現内に（仮想）測定点を追加するアフォーダンスを含む（例えば測定追加ボタン５０１４）（７４０）。いくつかの実施形態では、電子デバイスは、アフォーダンスをアクティブ化するタッチ入力（例えば、タップジェスチャ）を検出し、アフォーダンスをアクティブ化するタッチ入力を検出したことに応答して、測定点作成インジケータが表示される視野の表現内の位置で視野の表現内に測定点を追加して表示する（例えば、図５Ｋを参照して本明細書に示され、説明されるように）。
図７Ａ～図７Ｅにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法６００、８００、９００、１０００、１１００、１２００、１３００及び１４００）に関して本明細書に記載される他のプロセスの詳細はまた、図７Ａ～図７Ｅに関して上記した方法７００にも、類似の様式で適用可能であることに留意されたい。例えば、入力、ユーザインタフェース要素（例えば、測定点、測定セグメント、仮想アノテーション、物理的空間又は視野の表現、アフォーダンス、アラート、インジケータ、ラベル、アンカー点、及び／又はレチクル及びドットなどのユーザインタフェース要素の配置）、触知出力、及び方法７００を参照して上述した強度閾値は、任意選択的に、本明細書に記載される他の方法（例えば、方法６００、８００、９００、１０００、１１００、１２００、１３００及び１４００）を参照して本明細書に記載される入力、ユーザインタフェース要素、触知出力、及び強度閾値のうちの１つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図８Ａ～図８Ｃは、いくつかの実施形態に係る、拡張現実環境において自動的に決定されたアンカー点で仮想測定点を追加する方法８００を示すフロー図である。方法８００は、タッチ感知ディスプレイ（例えば、タッチスクリーン１１２（図１Ａ）、又は入力デバイス（単数又は複数）３０２（図３Ｂ）と組み合わせたディスプレイ生成構成要素（単数又は複数）３０４）、及び１つ以上のカメラ（例えば、光学センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ））、任意選択的に、タッチ感知ディスプレイとの接触の強度を検出する１つ又は複数のセンサ（例えば、接触強度センサ（単数又は複数）１６５、（図１Ａ）、及び任意選択的に、１つ以上の触知出力生成器（例えば、触知出力生成器（単数又は複数）１６３（図１Ａ）又は触知出力生成器（単数又は複数）３５７（図３Ａ））を含む電子デバイス（例えば、ポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）、又はコンピュータシステム３０１（図３Ｂ）で実行される。方法８００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
以下に記載されるように、方法８００は、自動的に決定されたアンカー点で、又はそのようなアンカー点から離れた位置のいずれかで、拡張現実に基づく測定において仮想測定点を追加する直感的な方法を提供する。電子デバイスは、測定点作成基準が満たされた場合に、測定点がアンカー点で追加されることの視覚的フィードバックを提供し、これにより、アンカー点で測定点を追加することが容易になる。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。バッテリ動作電子デバイスに関して、ユーザが自動的に決定されたアンカー点で（又はそのようなアンカー点から離れて測定点を追加する）迅速に測定点を追加することを可能にすることにより、より効率的に電力を節約し、バッテリ充電間の時間を延ばす。
電子デバイスは、タッチ感知ディスプレイ上に、アプリケーションのユーザインタフェース（例えば、拡張現実測定アプリケーション又は拡張現実測定機能を含むアプリケーション）を表示する（８０２）。
ユーザインタフェースは、１つ以上のカメラのうちの少なくとも１つのカメラの視野の表現を含む（８０４）。視野の表現は、１つ以上のカメラのうちの少なくとも１つによって検出された現在の視覚データに対する変更に基づいて経時的に更新される（例えば、視野の表現はライブビューである）。加えて、ユーザインタフェースは、視野の表現の上に表示される測定点作成インジケータを含む（例えば、図５Ｋのフォーカス点５０１２と組み合わせたレチクル５０１０）。視野は、三次元空間（例えば、物理的オブジェクトを含む物理的世界内の空間）の少なくとも一部分を含む。
視野の表現を表示している間に（８０６）、電子デバイスは、三次元空間内の第１の位置に対応する視野の表現内の位置でアンカー点を決定する（８０８）。いくつかの実施形態では、電子デバイスは、三次元空間内の物理的オブジェクトの角、三次元空間内の物理的オブジェクトの縁部に沿った点などの三次元空間内の複数の位置に対応する複数のアンカー点を決定する。
視野の表現を表示している間に（８０６）、１つ以上のカメラのうちの少なくとも１つが移動し、測定点作成インジケータ（又はその少なくとも一部）がアンカー点の上（又はその近く）にある間、電子デバイスは、タッチ入力が第１の基準（例えば、測定点作成基準）を満たす場合、（仮想）測定点が、アンカー点で追加されることを示すために（例えば、図５ＡＫにおけるレチクル５０１０及びフォーカス点５０１２を参照して本明細書に記載されるように）、測定点作成インジケータの視覚的外観を変更する（８１０）。
視野の表現を表示している間に（８０６）、電子デバイスは、第１の基準を満たすタッチ感知ディスプレイ上の第１のタッチ入力（例えば、アフォーダンス上のタップジェスチャ、又は強度閾値を満たす、又はそれを超える、アフォーダンス上の強い押圧入力）（例えば、図５Ｋのタッチ入力５０３８）を検出する（８１２）。
視野の表現を表示している間に（８０６）、第１の基準を満たす第１のタッチ入力を検出したことに応答して（８１４）、及び第１の基準が満たされたとき、測定点作成インジケータ（又は少なくともその一部）がアンカー点の上に（又はそれに近接して）あるという判定に従って（８１６）、電子デバイスは、三次元空間内の第１の位置に対応する視野の表現内のアンカー点で第１の（仮想）測定点（例えば、図５Ｋの測定点５０４２）を追加して表示する。
視野の表現を表示している間に（８０６）、第１の基準が満たされたとき、測定点作成インジケータ（又はその少なくとも一部）がアンカー点の上にない（又はそれに近接していない）との判定に従って（８１８）、電子デバイスは、アンカー点から離れている視野の表現内の第１の位置で（例えば、三次元空間内の第１の位置に対応しない視野の表現内の位置で）第１の（仮想）測定点を追加して表示する。
いくつかの実施形態では、決定されたアンカー点は、（例えば、図５Ｑの測定点５０５４に対応するアンカー点に関して本明細書に記載されるように）測定の（現在）表示された表現の終点でもあり（８２０）、タッチ入力が第１の基準を満たす場合、アンカー点で測定点を追加することは、視野の表現内に、複数の表示された測定セグメント（例えば、及びそれらの関連する終点）によって囲まれた領域を形成しない。例えば、決定されたアンカー点での測定点の追加と併せて、又はそれに応答して追加される測定セグメントは、追加された測定セグメントを、閉じた多角形の最後の辺として含む閉じた多角形を形成しない。測定点作成基準が満たされた場合、測定点がアンカー点で追加される視覚的フィードバックを提供することにより、測定点のループをちょうど閉じていないアンカー点を含む、アンカー点で測定点を追加することが容易になる。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、電子デバイスは、視野の表現の上に第１の測定の表現を表示する（８２２）。第１の測定の表現は、三次元空間内の第２の位置に対応する第１の終点と、三次元空間内の第３の位置に対応する第２の終点と、第１の終点と第２の終点を接続する第１のラインセグメントとを含む。更に、決定されたアンカー点は、第１のラインセグメントの中点である（例えば、アンカー点が対応する第１の位置は、三次元空間内の第２の位置と第３の位置の中間である）（例えば、図５ＡＡを参照して本明細書に示され、説明されるように）。測定点作成基準が満たされた場合、測定点が測定セグメントの中点にあるアンカー点で測定点が追加されることの視覚的フィードバックを提供することにより、測定セグメントの中点で測定点を追加することが容易になる。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、電子デバイスは１つ以上の触知出力生成器を含む。いくつかの実施形態では、１つ以上のカメラのうちの少なくとも１つが移動し、及び測定点作成インジケータ（又はその少なくとも一部）がアンカー点の上（又はその近く）にある間に、電子デバイスは、測定点作成インジケータの視覚的外観を変更することと併せて触知出力を生成する（８２４）（例えば、図５Ｈに関して本明細書で説明されるように）。いくつかの実施形態では、タッチ入力が第１の基準を満たす場合、アンカー点で測定点を追加することは、１つ以上のカメラの視野の表現において、複数の表示された測定セグメント（例えば、それらの関連する終点）によって囲まれた領域を形成しない。例えば、測定点の追加と併せて、又はそれに応答して追加される測定セグメントは、閉じた多角形の最後の辺として追加される測定セグメントを含む閉じた多角形を形成しない。いくつかの実施形態では、触覚出力は、三次元空間内の識別された物理的特徴にスナップするときに生成される。いくつかの実施形態では、触知出力は、測定の現在表示されている表現に、そのそれぞれの測定点（例えば、終点）に、及び／又はその測定セグメントの中点にスナップするときに生成される。測定点作成基準が満たされた場合に、アンカー点で測定点が追加されることの触覚フィードバック及び視覚的フィードバックの両方を提供することにより、測定点のループをちょうど閉じていないアンカー点を含むアンカー点で測定点を追加することが容易になる。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
電子デバイスが１つ以上の触知出力生成器を含むいくつかの実施形態では、電子デバイスは、アンカー点から離れた測定点作成インジケータの移動を検出する（８２６）（例えば、その結果測定点作成インジケータは、アンカー点の上にない（又はそれに近接していない）（例えば、測定点作成インジケータがユーザインタフェース内の固定位置に留まる間、視野を変更する１つ以上のカメラの移動に起因する）。いくつかの実施形態では、測定点作成インジケータのアンカー点から離れる移動を検出したことに応答して、電子デバイスは、触知出力を生成する（例えば、図５Ｉに関して本明細書で説明されるように）。測定点作成基準が満たされた場合、測定点がアンカー点で追加されないことの触覚フィードバックを提供することは、測定点を配置する間ユーザを案内するのに役立つ。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
電子デバイスが、１つ以上の触覚出力生成器を含むいくつかの実施形態では、
第１の基準を満たす第１のタッチ入力を検出したことに応答して、電子デバイスは、第１の測定点に接続される第１の測定セグメントを追加せずに、第１の測定点を追加し（例えば第１の測定点は、新たな測定の第１の終点である）、第１の触覚出力を生成する（例えば測定の開始の触覚出力）（例えば、図５Ｋの測定点５０４２に関して本明細書で説明されるように）（８２８）。いくつかの実施形態では、電子デバイスは、三次元空間内の第２の位置に対応する視野の表現内の第２の位置への測定点作成インジケータの移動を検出する（例えば、図５Ｍに関して本明細書で説明されるように）。いくつかの実施形態では、測定点作成インジケータが、視野の表現内の第２の位置の上にある間に、電子デバイスは、第１の基準を満たすタッチ感知ディスプレイ上の第２のタッチ入力を検出する。いくつかの実施形態では、第１の基準を満たす第２のタッチ入力を検出したことに応答して、電子デバイスは、視野の表現内の第２の位置で第２の測定点を追加する（例えば、図５Ｎの測定点５０５４に関して本明細書で説明されるように）。いくつかの実施形態では、第１の基準を満たす第２のタッチ入力を検出したことに応答して、電子デバイスは、第１の測定点と第２の測定点との間に測定セグメントを追加する（例えば、電子デバイスは、第２の測定点及び測定セグメントを追加することによって測定の表現を追加し、この場合測定の表現は、第１の測定点、第２の測定点、及び測定セグメントを含む）（例えば、図５Ｎの測定セグメント５０４８に関して本明細書に記載されるように）。いくつかの実施形態では、第１の基準を満たす第２のタッチ入力を検出したことに応答して、電子デバイスは、第１の触知出力とは異なる第２の触知出力（例えば、測定終了触知出力）を生成する（例えば、第２の触知出力は、周波数、振幅、パターン、持続時間などの少なくとも１つの触知出力において第１の触知出力とは異なる）（例えば、図５Ｎの触知出力５０５６に関して本明細書に記載されているように）。測定セグメントが作成された場合と比較して測定の開始時（第１の測定点のみを有する）に触覚フィードバックを提供することは、測定点を配置している間に、測定プロセスにおいてそれらがどこにあるかを示すことによってユーザを案内するのに役立つ。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、１つ以上のカメラのうちの少なくとも１つが移動すると、電子デバイスは、測定点作成インジケータを表示し、一方、視野の表現は、１つ以上のカメラのうちの少なくとも１つのカメラの視野内の三次元空間内の識別された物理的特徴に対応する領域を含む。加えて、電子デバイスは、視野の表現が三次元空間内の識別された物理的特徴に対応する領域を含まない間は、測定点作成インジケータを表示するのを中止する（例えば、図５Ｅ～図５Ｇを参照して本明細書に記載されるように）（８３０）。ライブビューが、三次元空間内の識別された物理的特徴に対応する領域を含むかどうかに応じて、測定点作成インジケータを表示する、又は表示しないことは、自動的に識別された特徴の有無に関する視覚的フィードバックを提供する。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
図８Ａ～８Ｃにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法６００、７００、９００、１０００、１１００、１２００、１３００及び１４００）に関して本明細書に記載される他のプロセスの詳細はまた、図８Ａ～図８Ｃに関して上記した方法８００にも、類似の様式で適用可能であることに留意されたい。例えば、入力、ユーザインタフェース要素（例えば、測定点、測定セグメント、仮想アノテーション、物理的空間又は視野の表現、アフォーダンス、アラート、インジケータ、ラベル、アンカー点、及び／又はレチクル及びドットなどのユーザインタフェース要素の配置）、触知出力、及び方法８００を参照して上述した強度閾値は、任意選択的に、本明細書に記載される他の方法（例えば、方法６００、７００、９００、１０００、１１００、１２００、１３００及び１４００）を参照して本明細書に記載される入力、ユーザインタフェース要素、触知出力、及び強度閾値のうちの１つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図９Ａ～図９Ｂは、いくつかの実施形態に係る、拡張現実環境における物理的空間の測定のためのラベルを表示する方法９００を示すフロー図である。方法９００は、ディスプレイ（例えば、タッチスクリーン１１２（図１Ａ）、ディスプレイ３４０（図３Ａ）、又はディスプレイ生成構成要素（単数又は複数）３０４（図３Ｂ））、入力デバイス（例えば、タッチスクリーン１１２（図１Ａ）、タッチパッド３５５（図３Ａ）、入力デバイス（単数又は複数）３０２（図３Ｂ）、又はディスプレイとは別個の物理ボタン、１つ以上のカメラ（例えば、光学センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ））、任意選択的に、入力デバイスのタッチ感知面との接触の強度を検出するための１つ以上のセンサ（例えば、接触強度センサ（単数又は複数）１６５、図１Ａ）、及び任意選択的に１つ以上の触知出力生成器（例えば、触知出力生成器（単数又は複数）１６３（図１Ａ）又は触知出力生成器（単数又は複数）３５７（図３Ａ））を含む電子デバイス（例えばポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）又はコンピュータシステム３０１（図３Ｂ）で実行される。方法９００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
以下に説明するように、方法９００は、電子デバイスと所与の測定との間の距離に基づいて、異なる測定のためのラベルを提供する直感的な方法を提供する。短い距離で最大サイズのラベルを提供することにより、これらのラベルが大きくなりすぎ、視野の表現の大部分を見えにくくすることを防ぐ。最小サイズのラベルを長い距離で提供することにより、これらのラベルが判読し易いように維持する。中間距離で可変サイズのラベルを提供することは、視野の表現における対応する測定の相対距離を示す。このように、異なる距離で異なる測定のためのラベルを提供することは、（例えば、デバイスを操作する／デバイスと相互作用するときに、ユーザが測定ラベルを見ること及び使用するのを助けることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
電子デバイスは、ディスプレイ上に、アプリケーションのユーザインタフェース（例えば、拡張現実測定アプリケーション又は拡張現実測定機能を含むアプリケーション）を表示する（９０２）。
ユーザインタフェースは、１つ以上のカメラのうちの少なくとも１つのカメラの視野の表現を含む（９０４）。視野の表現は、１つ以上のカメラのうちの少なくとも１つによって検出された現在の視覚データに対する変更に基づいて経時的に更新される（例えば、視野の表現はライブビューである）。視野は、三次元空間（例えば、物理的世界の空間）内の物理的オブジェクトを含む。
視野の表現を表示している間に、電子デバイスは、視野の表現の上に、物理的オブジェクトに対応する第１の測定の表現を追加する（例えば、物理的オブジェクトの長さ、幅、又は他の寸法の測定に対応する表示されたライン、この場合表示されたラインは視野の表現の上に重ね合わされる、又は載せられる）、入力デバイスを介する１つ以上のユーザ入力（例えば、アクティブ化されると、視野の表示された表現に測定点を追加するアフォーダンス上のタップジェスチャ又はアフォーダンス上の押圧入力）を検出する（９０６）。いくつかの実施形態では、電子デバイスは、視野の表現の上に、第１の測定の表現と、第１の測定を記述する第１のラベルを同時に表示する（９０８）。いくつかの実施形態では、電子デバイスと物理的オブジェクトとの間の第１の距離（例えば、電子デバイスのカメラのうちの１つから物理的オブジェクトまでの距離）が第１の閾値距離（例えばより小さい距離閾値）未満であるという判定に従って、第１のラベルは、第１の閾値サイズ（例えば、電子デバイスと物理的オブジェクトとの間の距離が第１の閾値距離を下回って縮小するのにつれて変化しない上位のサイズ閾値、又は最大サイズ）で表示される（９１０）。いくつかの実施形態では、電子デバイスと物理的オブジェクトとの間の第１の距離が、第１の閾値距離より大きい第２の閾値距離（例えば、上位の距離閾値）より大きいとの判定に従って、第１のラベルは、第１の閾値サイズより小さい第２の閾値サイズで（例えば電子デバイスと物理的オブジェクトとの間の距離が第２の閾値距離を上回って増加するのにつれて変化しない、より下位のサイズ閾値、又は最小サイズ）表示される。いくつかの実施形態では、電子デバイスと物理的オブジェクトとの間の第１の距離が、第１の閾値距離と第２の閾値距離との間にあるという判定に従って、第１のラベルは、電子デバイスと物理的オブジェクトとの間の第１の距離に依存する、第１の閾値サイズと第２の閾値サイズとの間のサイズで表示される。電子デバイスと物理的オブジェクトとの間の距離に基づくラベルサイズの変化は、図５ＡＸ～図５ＢＥを参照して本明細書に示され、記載されている。
いくつかの実施形態では、視野の表現の上に、測定の表現と、測定を記述するラベルを同時に表示している間に、電子デバイス（又は電子デバイスのカメラのうちの１つ）が物理的オブジェクトからの第１の距離である間に、電子デバイスは、第１のスケールで測定の表現に沿って１つ以上の第１のスケールマーカーを表示する（例えば、三次元空間内の第１の既定の物理的距離の間隔に対応する、測定の表現に沿った第１の既定の距離の間隔で１つ以上の第１のスケールマーカーを表示する）（９１２）。いくつかの実施形態では、電子デバイスは、電子デバイスを物理的オブジェクトから第２の距離に移動させる電子デバイスの移動（又はその１つ以上のカメラの移動）を検出する。いくつかの実施形態では、電子デバイスが物理的オブジェクトからの第２の距離である間に、電子デバイスは、第１のスケールとは異なる第２のスケールで測定の表現の少なくとも一部分に沿って１つ以上の第２のスケールマーカーを表示する（例えば、三次元空間内の第２の所定の物理距離の間隔に対応する、電子デバイスは、測定の表現に沿った第２の既定の距離の間隔で１つ以上の第２スケールマーカーを表示する）。電子デバイスと物理的オブジェクトとの間の距離に基づいた表示されるマーカーのスケールの変化は、図５ＡＸ～５ＢＥを参照して本明細書に示され、説明される。
いくつかの実施形態では、電子デバイスが物理的オブジェクトから第１の既定の距離（例えば、第２の閾値距離より大きな距離、又は第１の閾値距離と第２の閾値距離との間の距離）の範囲内にある間で、第１の既定の距離範囲が第１の距離を含む場合、第１のスケールでの１つ以上の第１のスケールマーカーが、測定の表現に沿って表示される。いくつかの実施形態では、電子デバイスが、物理的オブジェクトから第２の既定の距離（例えば第１の閾値距離と第２の閾値距離との間の距離、又は第１の閾値未満の距離）の範囲内にある間で、第２の既定の距離範囲が第２の距離を含む場合、第２のスケールでの１つ以上の第２のスケールマーカーが、測定の表現の少なくとも一部分に沿って表示される（例えば、電子デバイスの物理的オブジェクトにより近づくような移動の結果として、測定の表現の一部分のみが引き続きユーザインタフェース内に表示され続ける場合）。
一例では、電子デバイスの検出された移動は、電子デバイスを物理的オブジェクトにより近く移動させ、そのため第１の距離が第２の距離よりも大きくなる。電子デバイスが物理的オブジェクトからの第１の距離にある間、１つ以上のスケールマーカーが、三次元空間内の１フィート間隔に相当する、測定の表現に沿った間隔で表示される。同じ例では、電子デバイスが物理的オブジェクトからの第２の距離にある間、１つ以上のスケールマーカーは、三次元空間内の１インチの間隔に相当する、測定の表現に沿った間隔で表示される。デバイスが物理的オブジェクトからのそれぞれの距離、例えばメートル、デシメートル、センチメートル、ミリメートル、ヤード、フィート、インチ、クォーターインチ、又は任意の他の好適な距離にある間に、表示されるスケールマーカーによって、異なる既定の物理的距離が表示され得ることを当業者は認識するであろう。
測定からデバイスまでの距離が変化するのにつれてスケールを自動的に変化させるスケールマーカーを提供することは、ユーザが手動でスケールを変更することを必要とする場合より効率的である。更なるユーザ入力を必要とせずに、一セットの条件（例えば距離条件）が満たされる動作を実行することにより、（例えば、デバイスを操作する／デバイスと相互作用するときに、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減することによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、電子デバイスは、視野の表現の上に、三次元空間内のそれぞれの物理的オブジェクト（例えば、第１の測定が対応する同一の物理的オブジェクト、又は三次元空間内の異なる物理的オブジェクト）に対応する第２の測定の表現を追加する１つ以上のユーザ入力の第２のセットを検出する（９１４）。いくつかの実施形態では、電子デバイスは、視野の表現の上に、第２の測定の表現と、第２の測定を記述する第２のラベルを同時に表示する。いくつかの実施形態では、電子デバイスとそれぞれの物理的オブジェクトとの間の第２の距離が第１の閾値距離未満であるという判定に従って、第２のラベルは第１の閾値サイズで表示される。いくつかの実施形態では、電子デバイスとそれぞれの物理的オブジェクトとの間の第２の距離が第２の閾値距離より大きいとの判定に従って、第２のラベルは第２の閾値サイズで表示される。いくつかの実施形態では、電子デバイスとそれぞれの物理的オブジェクトとの間の第２の距離が第１の閾値距離と第２の閾値距離との間にあるという判定に従って、第２のラベルは、電子デバイスとそれぞれの物理的オブジェクトとの間の第２の距離に依存する、第１の閾値サイズと第２の閾値サイズとの間のサイズで表示される。いくつかの実施形態では、視野の表現は、視野が変化するにつれてサイズが変化する複数のラベルを同時に表示する。
いくつかの実施形態では、電子デバイスと第１の測定が対応する物理的オブジェクトとの間の第１の距離は、電子デバイスと第２の測定が対応するそれぞれの物理的オブジェクトとの間の第２の距離とは異なる（９１６）。いくつかの実施形態では、第１のラベルは、（例えば、第１の距離に基づく）第１のサイズで表示され、第２のラベルは（例えば、第２の距離に基づく）第２のサイズで表示され、第１のサイズは第２のサイズとは異なる。一例では、第１の距離は、第１の既定の距離の範囲内にあり、第２の距離は、第２の既定の距離の範囲内にある（例えば、第１の既定の範囲は、第１の閾値距離未満の距離、第２の閾値距離を超える距離、又は第１の閾値距離と第２の閾値距離との間の距離のうちの１つであり、また第２の既定の範囲は、前述の範囲のうちの異なる１つである）。別の例では、第１の距離及び第２の距離は、第１の閾値距離と第２の閾値距離との間の距離の範囲内の異なる距離であり、したがって、それらの関連するラベルのそれぞれのサイズ（例えば、第１の距離及び第２の距離での測定に対応するラベル）は異なる。
図９Ａ～図９Ｂにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法６００、７００、８００、１０００、１１００、１２００、１３００及び１４００）に関して本明細書に記載される他のプロセスの詳細はまた、図９Ａ～図９Ｂに関して上記した方法９００にも、類似の様式で適用可能であることに留意されたい。例えば、入力、ユーザインタフェース要素（例えば、測定点、測定セグメント、仮想アノテーション、物理的空間又は視野の表現、アフォーダンス、アラート、インジケータ、ラベル、アンカー点、及び／又はレチクル及びドットなどのユーザインタフェース要素の配置）、触知出力、及び方法９００を参照して上述した強度閾値は、任意選択的に、本明細書に記載される他の方法（例えば、方法６００、７００、８００、１０００、１１００、１２００、１３００及び１４００）を参照して本明細書に記載される入力、ユーザインタフェース要素、触知出力、及び強度閾値のうちの１つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１０Ａ～図１０Ｂは、いくつかの実施形態に係る、拡張現実環境における物理的空間内の矩形エリアを測定し、それと相互作用する方法１０００を示すフロー図である。方法１０００は、ディスプレイ（例えば、タッチスクリーン１１２（図１Ａ）、ディスプレイ３４０（図３Ａ）、又はディスプレイ生成構成要素（単数又は複数）３０４（図３Ｂ））、入力デバイス（例えば、タッチスクリーン１１２（図１Ａ）、タッチパッド３５５（図３Ａ）、入力デバイス（単数又は複数）３０２（図３Ｂ）、又はディスプレイとは別個の物理ボタン、１つ以上のカメラ（例えば、光学センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ））、任意選択的に、入力デバイスのタッチ感知面との接触の強度を検出するための１つ以上のセンサ（例えば、接触強度センサ（単数又は複数）１６５、図１Ａ）、及び任意選択的に１つ以上の触知出力生成器（例えば、触知出力生成器（単数又は複数）１６３（図１Ａ）又は触知出力生成器（単数又は複数）３５７（図３Ａ））を含む電子デバイス（例えばポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）又はコンピュータシステム３０１（図３Ｂ）で実行される。方法１０００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
以下に説明するように、方法１０００は、測定に隣接する矩形を検出し表示する直感的な方法を提供する。ユーザ入力に応答して作成された測定に隣接して検出された矩形を有することにより、方法１０００は、デバイスがユーザに関係のない（例えば、測定されていない）矩形を検出し示すリスクを低減し、それによって、より効率的なヒューマンマシンインタフェースを作成する。バッテリ動作電子デバイスに関して、関連する矩形のより迅速かつより効率的な検出及び表示を可能にすることにより、電力を節約し、バッテリ充電間の時間を延ばす。
電子デバイスは、ディスプレイ上に、アプリケーションのユーザインタフェース（例えば、拡張現実測定アプリケーション又は拡張現実測定機能を含むアプリケーション）を表示する（１００２）。
ユーザインタフェースは、１つ以上のカメラのうちの少なくとも１つのカメラの視野の表現を含む（１００４）。視野の表現は、１つ以上のカメラのうちの少なくとも１つによって検出された現在の視覚データに対する変更に基づいて経時的に更新される（例えば、視野の表現はライブビューである）。視野は、三次元空間（例えば、物理的世界の空間）内の物理的オブジェクト（又はその一部分）を含む。
視野の表現を表示している間に、電子デバイスは、視野の表現の上に、物理的オブジェクトに対応する第１の測定の表現を追加する１つ以上のユーザ入力を介する１つ以上のユーザ入力（例えば、アクティブ化されると、視野の表示された表現に測定点を追加するアフォーダンス上でのタップジェスチャ又は押圧入力）を検出する（例えば、検出されたユーザ入力は、電子デバイスに、物理的オブジェクトの縁部の測定に対応する表示されたラインを追加させ、この場合表示ラインは、視野の表現の上に重ね合わされるか、又は載せられる）（１００６）。
第１の測定の表現は、物理的オブジェクト上の第１の位置に対応する第１の終点を含む（１００８）。第１の測定の表現は、物理的オブジェクト上の第２の位置に対応する第２の終点を含む。第１の測定の表現は、第１の終点と第２の終点とを接続する第１のラインセグメントを含む。２つの終点と、２つの終点を接続する第１のラインセグメントとを含む測定の表現の追加は、図５Ｊ～図５Ｏを参照して本明細書に示され、説明される。
電子デバイスは、第１の測定（又はその表現）にある程度基づいて、第１の測定の第１のラインセグメントに隣接する視野の表現内の第１のエリアを判定する（１０１０）。第１のエリアは、三次元空間内の物理的矩形エリア（例えば、物理的矩形エリア全体又はその一部分）に対応する。例えば、第１のエリアは、物理的オブジェクトの物理的矩形エリア又はその一部分に対応し、第１の測定は、物理的オブジェクトの物理的矩形エリアの１つの縁部に対応する。いくつかの実施形態では、視野の表現内の第１のエリアは、物理的矩形エリアに対する１つ以上のカメラのうちの少なくとも１つのカメラの視野角に起因して、視野の表現内で矩形として表示されない。いくつかの実施形態では、電子デバイスは、視野の表現内の第１のエリアに対応する物理的エリアが、視野の表現の画像処理（例えば、深さ推定を使用して）に基づいた矩形エリアであると判定する。いくつかの実施形態では、１つ以上のカメラのうちの少なくとも１つのカメラの視野は、物理的矩形エリアの１つ以上の追加部分を含まずに、物理的矩形エリアの第１の部分を含む。いくつかの実施形態では、物理的矩形エリアの１つ以上の追加部分を見ることは、物理的矩形エリアの１つ以上の追加部分を含むように、１つ以上のカメラのうちの少なくとも１つのカメラの視野を移動させるデバイスの移動を必要とする。
電子デバイスは、ユーザインタフェース内の第１のエリアの指示を表示する（１０１２）（例えば、図５Ｐのインジケータ５０５８）。指示は、視野の表現内の第１のエリアの上に載せられる（例えば、重ね合わされる）。
いくつかの実施形態では、ユーザインタフェースは、視野の表現の上に表示される測定点作成インジケータを含む（例えば、図５Ｙのフォーカス点５０１２と組み合わせたレチクル５０１０）（１０１４）。いくつかの実施形態では、第１のエリアの指示は、測定点作成インジケータが、１つ以上のカメラの視野の表現内の第１のエリアの上に表示されるとの判定に従って表示される（例えば、図５Ｙを参照して本明細書に示され、説明されるように）。いくつかの実施形態では、測定点作成インジケータ（又はその少なくとも一部分）が第１のエリアの上にある間に、電子デバイスは、入力デバイスを介するユーザ入力（例えば、アクティブ化されると、視野の表示された表現に測定又は測定点を追加するアフォーダンスに対応する位置でのタッチ感知面上のタップジェスチャ又は押圧入力）を検出する。いくつかの実施形態では、測定点作成インジケータが第１のエリアの上にある間にユーザ入力を検出したことに応答して、電子デバイスは、第１のエリアが確認されたことを示すために第１のエリアの指示の視覚的外観を変更する（例えば、図５Ｚを参照して本明細書に示され、説明されるように）。
いくつかの実施形態では、測定点作成インジケータが第１のエリアの上にある間、及び第１のエリアの指示が表示されている間にユーザ入力が検出され、測定点作成インジケータが第１のエリアの上にある間、及び第１のエリアの指示が表示されている間の両方のユーザ入力を検出したことに応答して（例えばこれに従って）第１のエリアの表示の視覚的外観が変更される。いくつかの実施形態では、方法は、視野の表現の上に、第１のエリアを記述する１つ以上のラベルを表示することを含む（例えば、変化した視覚的外観で表示される指示と同時に表示される）。いくつかの実施形態では、第１のエリアを記述する１つ以上のラベルは、第１のエリアの第１の辺の長さ（例えば、物理的矩形エリアの長さ）を示すラベル、第１のエリアの第２の辺の長さを示すラベル（例えば、物理的矩形エリアの幅）、及び／又は第１のエリアの面積（例えば、物理的矩形エリアの面積）を示すラベルを含む（例えば、図５Ｚを参照して本明細書に示され、説明されるように）。
第１のエリアの指示の外観を変更することにより、電子デバイスが、第１の測定に隣接する矩形が正しいというユーザの確認を検出したことの視覚的フィードバックを提供する。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、１つ以上のユーザ入力は、視野の表現の上に、物理的オブジェクトに対応する第２の測定の表現を追加する（例えば、検出されたユーザ入力は、電子デバイスに、物理的オブジェクトの第２の縁部の測定に対応する第２の表示されたラインを追加させ、この場合、第２の表示ラインは、視野の表現上に重ね合わされる、又は載せられる）（例えば、図５Ｙの測定セグメント５０６６及びその対応する終点によって表される測定）（１０１６）。いくつかの実施形態では、第２の測定の表現は、物理的オブジェクト上の第２の位置に対応する第２の終点（例えば、図５Ｙの測定点５０５４）を含む。いくつかの実施形態では、第２の測定の表現は、物理的オブジェクト上の第３の位置に対応する第３の終点（例えば、第３の位置は、第１の位置及び第２の位置と異なる）（例えば、図５Ｙの測定点５０９０）を含む。いくつかの実施形態では、第２の測定の表現は、第２の終点と第３の終点を接続する第２のラインセグメント（例えば、図５Ｙの測定セグメント５０６６）を含む。いくつかの実施形態では、１つ以上のカメラの視野の表現における第１のエリアは、第１の測定及び第２の測定に基づいて判定される。いくつかの実施形態では、第１のエリアは、第１の測定の第１のラインセグメント及び第２の測定の第２のラインセグメントに隣接する。２つの測定に基づいて第１のエリアを判定することにより、デバイスが、ユーザに関係のない（例えば、測定されていない）矩形を検出し示すリスクを低減し、それによって（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、１つ以上のカメラのうちの少なくとも１つのカメラの視野は、物理的矩形エリアの第１の部分を含み、第１のエリアは、物理的矩形エリアの第１の部分に対応する（例えば、図５ＡＢのインジケータ５１０４によって示される領域を参照して説明されるように）（１０１８）。いくつかの実施形態では、電子デバイスは、１つ以上のカメラのうちの少なくとも１つのカメラの視野を移動させる電子デバイスの移動を検出する（例えば、図５ＡＣ～図５ＡＤを参照して本明細書に示され、説明されるように）。いくつかの実施形態では、視野を移動させる電子デバイスの移動を検出したことに応答して、電子デバイスは、視野の表現を経時的に更新して、物理的矩形エリアの１つ以上の追加の部分に対応する１つ以上の追加エリアの１つ以上の指示を表示する。いくつかの実施形態では、第１のエリアと、経時的に表示される１つ以上の追加エリアとを含む集合エリアが、物理的矩形エリア全体に対応しているとの判定に従って、電子デバイスは、視野の表現の上に、物理的矩形エリアに対応する測定を記述するラベルを表示する（例えば、図５ＡＥのラベル５１１０を参照して本明細書に記載されるように）。いくつかの実施形態では、ラベルは、測定の面積（例えば、物理的矩形エリア全体の面積）を示す。視野が変化するにつれて、物理的矩形エリアに対応する追加エリアの指示を自動的に示すことは、電子デバイスが物理的矩形エリアを正しく検出していることの視覚フィードバックを提供する。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、集合エリアが物理的矩形エリア全体に対応するという判定に従って、物理的矩形エリアに対応する測定を記述するラベルを視野の表現の上に表示した後、電子デバイスは、視野の表現が、物理的矩形エリアの第１の部分に対応する第１のエリアを含むように、１つ以上のカメラのうちの少なくとも１つのカメラの視野を移動させる電子デバイスの更なる移動を検出する（１０２０）。いくつかの実施形態では、集合エリアが物理的矩形エリア全体に対応するという判定に従って、電子デバイスは、物理的矩形エリアの第１の部分に対応する第１のエリアの上に、物理的矩形エリアに対応する測定を記述するラベルを表示する（例えば、図５ＡＦを参照して本明細書に記載されるように）。そのような部分が（再）表示されているときに、物理的矩形エリアの異なる部分で物理的矩形エリアの測定を記述するラベルを表示することは、電子デバイスが物理的矩形エリアを正確に検出しており、測定が物理的矩形エリアの全ての部分に正確に関連付けられているという視覚的フィードバックを提供する。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
図１０Ａ～図１０Ｂにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法６００、７００、８００、９００、１１００、１２００、１３００及び１４００）に関して本明細書に記載される他のプロセスの詳細はまた、図１０Ａ～図１０Ｂに関して上記した方法１０００にも、類似の様式で適用可能であることに留意されたい。例えば、入力、ユーザインタフェース要素（例えば、測定点、測定セグメント、仮想アノテーション、物理的空間又は視野の表現、アフォーダンス、アラート、インジケータ、ラベル、アンカー点、及び／又はレチクル及びドットなどのユーザインタフェース要素の配置）、触知出力、及び方法１０００を参照して上述した強度閾値は、任意選択的に、本明細書に記載される他の方法（例えば、方法６００、７００、８００、９００、１１００、１２００、１３００及び１４００）を参照して本明細書に記載される入力、ユーザインタフェース要素、触知出力、及び強度閾値のうちの１つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１１Ａ～図１１Ｂは、いくつかの実施形態に係る、拡張現実環境において測定情報と相互作用し、それを管理する方法１１００を示すフロー図である。方法１１００は、タッチ感知ディスプレイ（例えば、タッチスクリーン１１２（図１Ａ）、又は入力デバイス（単数又は複数）３０２（図３Ｂ）と組み合わせたディスプレイ生成構成要素（単数又は複数）３０４）、及び１つ以上のカメラ（例えば、光学センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ））、任意選択的に、タッチ感知ディスプレイとの接触の強度を検出する１つ又は複数のセンサ（例えば、接触強度センサ（単数又は複数）１６５、（図１Ａ）、及び任意選択的に、１つ以上の触知出力生成器（例えば、触知出力生成器（単数又は複数）１６３（図１Ａ）又は触知出力生成器（単数又は複数）３５７（図３Ａ））を含む電子デバイス（例えば、ポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）、又はコンピュータシステム３０１（図３Ｂ）で実行される。方法１１００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
以下に説明するように、方法１１００は、測定の表現上でタッチ入力を検出したことに応答して情報を共有するためのプロセスを開始することにより、測定に関する情報を共有するための直感的な方法を提供する。方法１１００は、測定に関する情報を共有する際のユーザからの入力の数、範囲、及び／又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作電子デバイスでは、ユーザが測定に関する情報をより迅速にかつより効率的に共有できることを可能にすることにより、電力をより効率的に節約し、バッテリの充電の間の時間を延ばす。
電子デバイスは、タッチ感知ディスプレイ上に、アプリケーションの第１のユーザインタフェース（例えば、拡張現実測定アプリケーション又は拡張現実測定機能を含むアプリケーション）を表示する（１１０２）。
第１のユーザインタフェースは、１つ以上のカメラのうちの少なくとも１つのカメラの視野の表現を含む（１１０４）。視野の表現は、１つ以上のカメラのうちの少なくとも１つによって検出された現在の視覚データに対する変更に基づいて経時的に更新される（例えば、視野の表現はライブビューである）。視野は、三次元空間（例えば、物理的世界の空間）内の物理的オブジェクトを含む。物理的オブジェクトの測定の表現は、視野の表現内の物理的オブジェクトの画像上に重ね合わされる。
第１のユーザインタフェースを表示している間に、電子デバイスは、測定の表現上のタッチ感知ディスプレイ上の第１のタッチ入力（例えば、タップ、ダブルタップ、又は表示された測定上の押圧入力）（例えば、図５ＢＬのタッチ入力５１８２）を検出する（１１０６）。
測定の表現上のタッチ感知ディスプレイ上の第１のタッチ入力を検出したことに応答して、電子デバイスは、測定に関する情報を共有するプロセスを開始する（例えば、クライアントボードプロセス又は通信アプリケーション（例えば、テキストメッセージアプリケーション、電子メールアプリケーション、ファイル転送アプリケーション）などに測定に関する情報を送信する）（例えば、例えば、図５ＢＬ～図５ＢＭを参照して本明細書に記載されているように）（１１０８）。いくつかの実施形態では、プロセスは、測定情報をクリップボードに追加することを含む。いくつかの実施形態では、プロセスは、情報を第２のアプリケーションに送信することを含む。いくつかの実施形態では、プロセスを開始することは、共有シートユーザインタフェースなどの、測定に関する情報を共有するためのユーザ選択可能オプションを含む第２のユーザインタフェースを表示することを含む。いくつかの実施形態では、第２のユーザインタフェースは、測定を説明する情報を含む。いくつかの実施形態では、情報は、測定が重ね合わされる物理的オブジェクトを分類する（例えば、窓、壁、床、又はテーブルとして）自動的に生成された意味的ラベルを含む。いくつかの実施形態では、情報は、第１の測定と物理的オブジェクトとの間の関係（例えば、物理的オブジェクトの長さ、幅、高さ、又は深さ）を分類する、自動的に生成された意味的ラベルを含む。
いくつかの実施形態では、測定に関する情報を共有するためのプロセスを開始することは、測定に関する情報を（例えば、電子デバイスのオペレーティングシステムによって提供されるクリップボードプロセスに）コピーすることを含む（１１１０）。いくつかの実施形態では、測定に関する情報をコピーした後、電子デバイスは、測定に関する情報を電子デバイス上の宛先にペーストするために１つ以上のユーザ入力を検出する。いくつかの実施形態では、測定に関する情報を電子デバイス上の宛先にペーストするために１つ以上のユーザ入力を検出したことに応答して、電子デバイスは、電子デバイス上の宛先において測定に関する情報を表示する。測定に関する情報のコピー及びペーストを可能にすることにより、同じアプリケーション内での測定の共有、及び電子デバイス上の他のアプリケーションと測定を共有することが容易になる。複数のアプリケーションに利用できる情報を作成することは、（例えば、測定を共有する又は送信するためのアプリケーションを選択し易くすることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、測定に関する情報を共有するためのプロセスを開始することは、１つ以上のアクティブ化可能なユーザインタフェース要素を含む第２のユーザインタフェース（例えば、図５ＢＭの測定管理インタフェース５１８４）を表示することを含み、この場合、１つ以上のアクティブ化可能なユーザインタフェース要素内のそれぞれのアクティブ化可能なユーザインタフェース要素は、測定に関する情報のそれぞれの宛先に対応する（例えば、図５ＢＭのアイコン５１９２、５１９４及び５１９６）（１１１２）。いくつかの実施形態では、１つ以上のアクティブ化可能なユーザインタフェース要素の各々は、電子デバイス上のそれぞれのアプリケーション（第１のアプリケーション以外の）又はプロセスに対応する（例えば、メッセージングアプリケーション（例えば、図５ＢＭのアイコン５１９４）、電子メールアプリケーション（例えば、図５ＢＭのアイコン５１９２）、メモ取りアプリケーション、ファイル転送プロトコル（例えば、図５ＢＭのアイコン５１９６）など）。いくつかの実施形態では、電子デバイスは、第２のユーザインタフェース内のそれぞれのアクティブ化可能なユーザインタフェース要素上でのタッチ感知ディスプレイ上の第２のタッチ入力を検出する。いくつかの実施形態では、第２のタッチ入力を検出したことに応答して、電子デバイスは、それぞれのアクティブ化可能なユーザインタフェース要素に対応するそれぞれの宛先に測定に関する情報を送信する。
いくつかの実施形態では、測定に関する情報をそれぞれの宛先に送信することは、電子デバイス上の第２のアプリケーション（例えば、メモ取りアプリケーション）に情報を送信することを含む。いくつかの実施形態では、測定に関する情報をそれぞれの宛先に送信することは、後続の宛先に情報を送信する前に、測定に関する情報を再検討、編集、及び／又はアノテーションするための第３のユーザインタフェースを表示することを含む（例えば、第３のユーザインタフェースは、選択されると、任意の編集及びアノテーションを含む情報が、それぞれの宛先（例えば、メッセージングアプリケーション又は電子メールアプリケーション）から後続の宛先（例えば、別の電子デバイス）へ送信される、アフォーダンスを含む）。いくつかの実施形態では、測定に関する情報をそれぞれの宛先に送信することは、電子デバイスと第２の電子デバイスとの間のファイル転送プロトコルを介して、第２の電子デバイスに情報を送信することを含む。
ユーザインタフェースに、共有される測定のための複数の宛先（例えば、宛先アイコンを有する共有シート）に対するアクティブ化可能なユーザインタフェース要素を提供することにより、これらの宛先と測定を共有することが容易になる。複数の共有宛先オプションを提供することは、（例えば、測定を共有又は送信するためのアプリケーションを選択し易くすることによって）デバイスの操作性を強化し、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、測定の表現上のタッチ感知ディスプレイ上の第１のタッチ入力を検出したことに応答して、電子デバイスは、測定に関する情報を表示する（１１１４）。いくつかの実施形態では、測定に関する情報は、測定の大きさを含む（例えば、図５ＢＭの測定管理インタフェース５１８４に示されるように）。いくつかの実施形態では、測定に関する情報は、測定と物理的オブジェクトとの間の関係（例えば、物理的オブジェクトの長さ、幅、高さ、又は深さ）を分類する意味的ラベルを含む（例えば、図５ＢＭの測定管理インタフェース５１８４内のラベル５１８６－ｂを参照して本明細書に記載されるように）。いくつかの実施形態では、測定に関する情報は、測定と三次元空間の識別されたアンカー特徴との間の関係（例えば、テキストラベル）を含む（例えば、視野の表現内の特定のエリアが、地面に平行な物理的矩形エリアに対応するかどうか）を分類するラベルを含む。いくつかの実施形態では、測定が物理的矩形エリアに対応し、かつ長さ測定、幅測定、及び面積測定を含むいくつかの実施形態では、長さ、幅、及び面積が表示され、長さ及び幅は面積よりも目立つように表示される。測定の表現上でタッチ入力を検出したことに応答して、情報を共有するためのプロセスを開始することに加えて、測定に関する情報を提供することは、ユーザが共有のために正しい測定を選択しており、かつユーザが情報を見ること及び使用することを可能にする視覚的フィードバックを提供する。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、測定に関する情報を表示することは、第１の基準が満たされるために、第１のタッチ入力における接触強度がそれぞれの強度閾値を満たす（例えば、到達する又は超える）という要件を含む第１の基準を満たすという判定に従って実行される（例えば、図５ＢＬ～図５ＢＭを参照して本明細書に記載されるように）（１１１６）。いくつかの実施形態では、それぞれの強度閾値は、接触検出強度閾値ＩＴ０を上回る軽い押圧強度閾値ＩＴＬである。強度基準を満たす、測定の表現上のタッチ入力を検出したことに応答して測定に関する情報を提供することは、偶発的な、望ましくない情報の表示を低減する。強度基準が満たされたときに動作を実行することにより、（例えば、デバイスを操作する／デバイスと相互作用するときに、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減することによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、電子デバイスは、物理的オブジェクトの分類（例えば、それぞれの構造的特徴（窓、壁、床など）として、又は家具若しくは固定具（テーブル）のそれぞれの部品などとしての物理的オブジェクトの分類）を決定する（１１１８）。いくつかの実施形態では、測定に関する情報は、物理的オブジェクトの分類を示すラベルを含む（例えば、図５ＢＭの測定管理インタフェース５１８４内のラベル５１８６－ａを参照して本明細書に記載されるように）。いくつかの実施形態では、電子デバイスは、１つ以上のカメラの視野の表現の画像処理に基づいて（例えば、特徴認識を使用して）物理的オブジェクトを分類する。更なるユーザ入力を必要とせずに、物理的オブジェクトを自動的に分類及びラベル付けすることは、デバイスの操作性を向上させ、ユーザが物理的オブジェクトを手動で分類しラベルを付ける必要性を低減（又は排除）することによって、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、測定の表現は、測定中の第１の方向の電子デバイスの移動に少なくともある程度基づいて、アプリケーションのユーザインタフェースに追加された（１１２０）。いくつかの実施形態では、電子デバイスは、測定中の第１の方向への電子デバイスの移動に少なくともある程度基づいて、測定と物理的オブジェクトとの間の関係の分類（例えば、物理的オブジェクトの長さ、幅、高さ又は深さに対応するような測定の分類）を決定する（例えば、図５ＢＭを参照して本明細書に記載されるように）。
いくつかの実施形態では、測定に関する情報は、測定と物理的オブジェクトとの間の関係の分類を示すラベルを含む。例えば、電子デバイスは、測定中の垂直方向である電子デバイスの移動に基づいて物理的オブジェクトの高さとして、又は測定中に電子デバイスの水平方向への移動に基づいて物理的オブジェクトの幅として測定を分類する。いくつかの実施形態では、電子デバイスは、視野の表現の画像処理（例えば、特徴認識）に更に基づいて測定と物理的オブジェクトとの間の関係を分類して、測定に沿ったそれぞれの地点に対応する、電子デバイスと物理的オブジェクト上のそれぞれの点との間のそれぞれの距離を判定する。例えば、電子デバイスは、測定の第１の終点に対応する物理的オブジェクト上の第１の点が、測定の第２の終点に対応する物理的オブジェクト上の第２の点よりも電子デバイスから離れている（又は電子デバイスにより近い）（例えばｚ方向に）との判定に更に基づいて物理的オブジェクトの深さとして測定を分類する。
更なるユーザ入力を必要とせずに、測定中のデバイスの移動にある程度基づいて、測定を自動的に分類及びラベル付けすることは、デバイスの操作性を向上させ、ユーザが手動で分類及びラベル測定を行う必要性を低減（又は排除）することによって、ユーザデバイスインタフェースをより効率的にする。
図１１Ａ～１１Ｂにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法６００、７００、８００、９００、１０００、１２００、１３００及び１４００）に関して本明細書に記載される他のプロセスの詳細はまた、図１１Ａ～図１１Ｂに関して上記した方法１１００にも、類似の様式で適用可能であることに留意されたい。例えば、入力、ユーザインタフェース要素（例えば、測定点、測定セグメント、仮想アノテーション、物理的空間又は視野の表現、アフォーダンス、アラート、インジケータ、ラベル、アンカー点、及び／又はレチクル及びドットなどのユーザインタフェース要素の配置）、触知出力、及び方法１１００を参照して上述した強度閾値は、任意選択的に、本明細書に記載される他の方法（例えば、方法６００、７００、８００、９００、１０００、１２００、１３００及び１４００）を参照して本明細書に記載される入力、ユーザインタフェース要素、触知出力、及び強度閾値のうちの１つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１２Ａ～図１２Ｃは、いくつかの実施形態に係る、拡張現実環境において自動的に決定された位置合わせガイドを提供する方法１２００を示すフロー図である。方法１２００は、ディスプレイ（例えば、タッチスクリーン１１２（図１Ａ）、ディスプレイ３４０（図３Ａ）、又はディスプレイ生成構成要素（単数又は複数）３０４（図３Ｂ））、入力デバイス（例えば、タッチスクリーン１１２（図１Ａ）、タッチパッド３５５（図３Ａ）、入力デバイス（単数又は複数）３０２（図３Ｂ）、又はディスプレイとは別個の物理ボタン、１つ以上のカメラ（例えば、光学センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ））、任意選択的に、入力デバイスのタッチ感知面との接触の強度を検出するための１つ以上のセンサ（例えば、接触強度センサ（単数又は複数）１６５、図１Ａ）、及び任意選択的に１つ以上の触知出力生成器（例えば、触知出力生成器（単数又は複数）１６３（図１Ａ）又は触知出力生成器（単数又は複数）３５７（図３Ａ））を含む電子デバイス（例えばポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）又はコンピュータシステム３０１（図３Ｂ）で実行される。方法１２００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
以下に説明するように、方法１２００は、拡張現実に基づく測定において（仮想）ガイドを、ガイドがカメラの視野の移動方向に沿って延在している状態で提供する直感的な方法を提供する。測定ガイドを提供することは、ユーザの所定位置を助け、（仮想）測定点を迅速かつ正確に配置するのに役立つ。カメラの視野の移動方向に沿ってガイドを自動的に提供することによって、方法１２００は、測定を作成する際のユーザからの入力の数、範囲、及び／又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作電子デバイスに関して、ユーザがより迅速にかつより効率的に測定行うことを可能にすることで、電力が節約され、バッテリ充電間の時間が延びる。
電子デバイスは、ディスプレイ上に、アプリケーションのユーザインタフェース（例えば、拡張現実測定アプリケーション又は拡張現実測定機能を含むアプリケーション）を表示する（１２０２）。ユーザインタフェースは、１つ以上のカメラのうちの少なくとも１つのカメラの視野の表現を含み（１２０４）、視野の表現は、１つ以上のカメラのうちの少なくとも１つによって検出された現在の視覚データに対する変更に基づいて経時的に更新され（例えば、視野の表現はライブビューである）、また、視野は、三次元空間（例えば、物理的オブジェクトを含む物理的世界内の空間）の少なくとも一部分を含む。
電子デバイスは、１つ以上のカメラのうちの少なくとも１つのカメラの視野を第１の方向（例えば、水平方向又は垂直方向）（又は、いくつかの実施形態では、実質的に第１の方向（１０，１５，２０度又は２５度以内などの、第１の方向の既定の閾値角度内にある方向））に移動させる電子デバイスの移動を検出する（１２０６）。
第１の方向に視野を移動させる電子デバイスの移動を検出している間に（１２０８）、電子デバイスは、電子デバイスの移動に従って視野の表現を更新し（１２１０）、第１の方向に沿って延在する視野の表現内の１つ以上の第１の要素（又は特徴）を識別し（例えば、検出された縁部、検出された平面など）（１２１２）、１つ以上の第１の要素の判定に少なくともある程度基づいて、視野の表現内に、第１の方向に延在し、かつ１つ以上の第１の識別された要素のうちの１つに対応する第１のガイドを表示する（例えば、図５Ｍの仮想ガイド５０５０を参照して本明細書に記載されるように）（１２１４）。いくつかの実施形態では、電子デバイスは、第１の方向に複数のガイドを表示する（例えば、図５ＡＢの仮想ガイド５１０６を参照して本明細書に記載されるように）。いくつかの実施形態では、複数のガイドのそれぞれは、第１の方向に沿って延在するそれぞれ識別された要素（例えば、第１の方向に沿って延在する、三次元空間内のそれぞれの物理的オブジェクトのそれぞれの縁部）に対応する。いくつかの実施形態では、電子デバイスは、電子デバイスの移動を検出している間に、第１の方向に１つ以上のガイドを表示する。
いくつかの実施形態では、視野は複数の要素を含み（１２１６）、複数の要素は、第１の方向以外の方向（例えば、第１の方向に直交する方向、又はほぼ直交する（例えばそこに直交している既定の閾値角度の範囲内の）方向、あるいは第１の方向から所定の閾値角度を超える、例えば、第１の方向から１０、１５、２０又は２５度を超える方向）に延在する１つ以上の要素を含む。いくつかの実施形態では、第１の方向に視野を移動させる電子デバイスの移動を検出している間に、電子デバイスは、第１の方向以外の方向に延在するガイドを表示することを取りやめる（例えば、図５ＡＮ～図５ＡＯ及び図５ＡＶを参照して本明細書に記載されるように）。例えば、電子デバイスは、カメラの移動方向に基づいてガイドを延在させる物理的オブジェクト（例えば、テーブル又は壁）の軸を決定する。いくつかの実施形態では、電子デバイスは、少なくとも１つのカメラの移動の方向以外の方向に延在するガイドを表示せずに、少なくとも１つのカメラの移動方向に延在する、視野内の１つ以上の要素に対応する１つ以上のガイドを表示する。他の方向に延在するガイドを提供せずに、視野の移動方向に沿って１つ以上のガイドを提供することで、作成されている測定に関係のないガイドを表示するのを回避する。ユーザインタフェースの乱雑さを低減することによって、（例えば、デバイスを操作する／デバイスと相互作用するときにユーザが適切な入力を提供するのを助け、ユーザの誤りを低減することによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、第１の方向で視野を移動させる電子デバイスの移動を検出する前に（１２１８）、電子デバイスは、タッチ感知ディスプレイ上の第１のタッチ入力を検出し、第１のタッチ入力を検出したことに応答して、三次元空間内の第１の位置に対応する視野の表現内の第１の位置に第１の（仮想）測定点を追加して表示する（例えば、図５Ｒの測定点５０５４）。第１のガイドを表示することは、１つ以上の第１の要素が、三次元空間内の第１の位置に対応する（例えば、第１の位置は検出される縁部に沿った特定の点である）との判定に更に基づいている。加えて、第１のガイドは、視野の表現内の第１の位置を含む（例えば、ガイドは測定点と重なっているか、又は測定点から第１の方向に延在する）（例えば、図５Ｓの仮想ガイド５０７０を参照して本明細書に記載されるように）。視野の移動方向に沿って第１の測定点から延在する及び／又は第１の測定点を含むガイドを提供することは、ユーザが第２の測定点を配置し、それによって測定を行うのを助ける。このような視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする（例えば、デバイスを操作する／デバイスと相互作用するときにユーザが適切な入力を提供するのを助け、ユーザの誤りを低減することによって）。
いくつかの実施形態では、視野の表現内の第１の位置での第１の測定点は、視野の表現における直近に追加された測定点である（１２２０）。視野の移動方向に沿って直近に追加された測定点から延在する、及び／又はそのような測定点を含むガイドを提供することは、ユーザが次の測定点を配置し、それによって、２つの直近に追加された２つの測定点間の測定を行うのを助けることができる。このような視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする（例えば、デバイスを操作する／デバイスと相互作用するときにユーザが適切な入力を提供するのを助け、ユーザの誤りを低減することによって）。
いくつかの実施形態では、視野を第１の方向（例えば、図５Ｓを参照して本明細書で説明されるように水平方向）に移動させる電子デバイスの移動を検出した後、電子デバイスは、視野を第２の方向（例えば、図５Ｔを参照して本明細書で説明されるように垂直方向）に移動させる電子デバイスの移動を検出する（１２２２）。視野を第２の方向に移動させる電子デバイスの移動を検出したことに応答して、電子デバイスは、第１の方向に延在する第１のガイドの表示を中止する。いくつかの実施形態では、電子デバイスは、第２の方向以外の任意の方向又は第２の方向の所定の閾値角度内に任意のガイドを表示することを中止する（例えば、図５Ｔを参照して本明細書に記載されるように）。第２の方向に視野を移動させる電子デバイスの移動を検出している間に、電子デバイスは、電子デバイスの移動に従って視野の表現を更新し、第２の方向に沿って延在する視野の表現内の１つ以上の第２の要素を識別し、かつ１つ以上の第２の要素の判定に少なくともある程度基づいて、視野の表現内に、第２の方向に延在し、かつ１つ以上の識別された第２の要素のうちの１つに対応する第２のガイドを表示する（例えば、図５Ｔの仮想ガイド５０７２）。視野の移動方向が変化するのにつれて、ガイドを自動的に変更することは、作製されている測定に関連する可能性がより高いガイドを表示する（及び、作成されている測定に関係する可能性が低いガイドの表示を中止する）。ユーザインタフェースの乱雑さを低減することによって、（例えば、デバイスを操作する／デバイスと相互作用するときにユーザが適切な入力を提供するのを助け、ユーザの誤りを低減することによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、第１のガイドが対応する１つ以上の第１の識別された要素のうちの少なくとも１つは、三次元空間内の物理的オブジェクトの縁部として識別される要素である（１２２４）（例えば、図５Ｓを参照して本明細書で説明されるように）。第１の方向に伸びる物理的オブジェクトの縁部に沿ってガイドを自動的に表示することは、ユーザが測定点を配置し、この縁部に沿って測定を行うのに役立つ。更なるユーザ入力を必要とせずに、オブジェクトの縁部に沿ってガイドを自動的に提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するときにユーザが適切な入力を提供するのを助け、ユーザの誤りを低減することによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、第１のガイドが対応する１つ以上の第１の識別された要素のうちの少なくとも１つは、三次元空間内の平面として識別される要素である（１２２６）（例えば、三次元空間内の物理的オブジェクトの表面に対応する）。第１の方向に伸びる平面に沿ってガイドを自動的に表示することは、ユーザが測定点を配置し、平面に沿って測定を行うのに役立つ。更なるユーザ入力を必要とせずに、平面に沿ってガイドを自動的に提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するときにユーザが適切な入力を提供するのを助け、ユーザの誤りを低減することによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、ユーザインタフェースは、視野の表現の上に表示される測定点作成インジケータを含む（１２２８）。いくつかの実施形態では、電子デバイスは、三次元空間内のそれぞれの位置に対応する視野の表現内のそれぞれの位置に、それぞれの測定点を表示する。いくつかの実施形態では、電子デバイスは、測定点作成インジケータを視野の表現内のそれぞれの測定点の上に移動させる電子デバイスの移動を検出し、また、電子デバイスの移動を検出したことに応答して、測定点作成インジケータがそれぞれの測定点の上に表示されている間、電子デバイスは複数のガイドを表示する。複数のガイドのうちの第１のガイドは、複数のガイドの第２のガイドに直交しており、複数のガイドは、それぞれの測定点で交差する。垂直ガイドの表示は、図５ＡＴを参照して本明細書に記載される。
いくつかの実施形態では、複数のガイドのそれぞれのガイドは、それぞれのガイドが、測定点から延在する視野の表現内の特定の要素に沿って延在するという判定に少なくともある程度基づいて表示される。例えば、測定点が三次元空間内の物理的オブジェクトの角に対応する場合、１つ以上のガイドは、視野の表現内に表示されるように、第１の方向に延在する物理的オブジェクトの縁部（例えば、物理的オブジェクトの（水平方向の）長さに対応する縁部）に沿って物理的オブジェクトの角から第１の方向に（例えばｘ軸に沿って）延在するガイドを含む。いくつかの実施形態では、１つ以上のガイドは、視野の表現に表示されるように、第２の方向（例えば、物理的オブジェクトの（垂直方向の）高さに対応する）に延在する物理的オブジェクトの縁部に沿って物理的オブジェクトの角から第２の方向（例えば、ｙ軸に沿って）延在するガイドを含む。いくつかの実施形態では、１つ以上のガイドは、視野の表現内に表示されるように、第３の方向に延在する物理的オブジェクトの縁部（例えば、物理的オブジェクトの深さに相当する縁部）に沿って物理的オブジェクトの角から第３の方向（例えば、ｚ軸に沿って）延在するガイドを含む。
測定点作成インジケータが測定点の上に表示されている間に、複数の垂直ガイドを測定点で自動的に表示することは、ユーザが追加の測定点を配置するのに役立つ。更なるユーザ入力を必要とせずに、垂直ガイドを測定点で自動的に提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するときにユーザが適切な入力を提供するのを助け、ユーザの誤りを低減することによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、ユーザインタフェースは、視野の表現内の第２の位置の上に表示される測定点作成インジケータを含む（１２３０）。いくつかの実施形態では、第１の方向に延在する第１のガイドを表示している間に、電子デバイスは、タッチ感知ディスプレイ上の第２のタッチ入力を検出する。第２のタッチ入力を検出したことに応答して、及び第２の位置と第１のガイドとの間の距離（例えば、最短距離）が閾値距離内にあるという判定に従って、電子デバイスは、第２の位置からその距離である第１のガイド上の位置に第２の（仮想）測定点を追加して表示する。例えば、図５Ｘは、仮想ガイド５０７２上の特定の点での測定点５０９０の追加を示す。第２のタッチ入力を検出したことに応答して、及び第２の位置と第１のガイドとの間の距離が閾値距離以内でないという判定に従って、電子デバイスは、第２の位置に第２の測定点を追加して表示する（例えば、測定点５０８０は仮想ガイド５０７２の閾値距離内にないため、測定点５０８０は仮想ガイド５０７２上の点に追加されない）。測定点作成インジケータの位置とガイドとの間の距離に応じて、測定点をガイド上に自動的に追加する（例えば、測定点をガイド上の位置にスナップする）ことは、ユーザが測定点を迅速かつ正確に配置するのに役立つ。更なるユーザ入力を必要とせずに、一セットの条件（例えば、距離条件）が満たされたとき動作を実行することにより、（例えば、ユーザが適切な測定入力を提供するようにユーザを支援し、デバイスを操作する／それと相互作用するときにユーザの誤りを削減することによって）デバイスの操作性を強化し、ユーザデバイスインタフェースをより効率的にする。
図１２Ａ～図１２Ｃにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法６００、７００、８００、９００、１０００、１１００、１３００、及び１４００）に関して本明細書に記載される他のプロセスの詳細はまた、図１２Ａ～図１２Ｃに関して上記した方法１２００にも、類似の様式で適用可能であることに留意されたい。例えば、入力、ユーザインタフェース要素（例えば測定点、測定セグメント、仮想アノテーション、物理的空間又は視野の表現、アフォーダンス、アラート、インジケータ、ラベル、アンカー点、及び／又はレチクル及びドットなどのユーザインタフェース要素の配置）、触知出力、及び方法１２００を参照して上述した強度閾値は、任意選択的に、本明細書に記載される他の方法（例えば、方法６００，７００，８００，９００，１０００，１１００，１３００，及び１４００）を参照して本明細書に記載される入力、ユーザインタフェース要素、触知出力、及び強度閾値のうちの１つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１３Ａ～図１３Ｃは、いくつかの実施形態による、以前に追加された仮想アノテーションを自動的に除去する方法１３００を示すフロー図である。方法１３００は、１つ以上の入力デバイス（例えば、タッチスクリーン１１２（図１Ａ）、タッチパッド３５５（図３Ａ）、又は入力デバイス（単数又は複数）３０２（図３Ｂ））、又はディスプレイとは別個の物理的ボタン、１つ以上の表示デバイス（例えば、タッチスクリーン１１２（図１Ａ）、ディスプレイ３４０（図３Ａ）又はディスプレイ生成構成要素（単数又は複数）３０４（図３Ｂ））、及び１つ以上のカメラ（例えば、光学センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ））、任意選択的に、入力デバイスのタッチ感知面との接触の強度を検出するための１つ以上のセンサ（例えば、接触強度センサ（単数又は複数）１６５、図１Ａ）、及び任意選択的に１つ以上の触知出力生成器（例えば、触知出力生成器（単数又は複数）１６３（図１Ａ）又は触知出力生成器（単数又は複数）３５７（図３Ａ））を含む電子デバイス（例えばポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）又はコンピュータシステム３０１（図３Ｂ）で実行される。方法１３００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
以下に記載されるように、方法１３００は、現在の仮想アノテーション（現在の拡張現実に基づく測定など）に接続されていない、又はそれに関係ない前の仮想アノテーション（前の拡張現実ベースの測定など）を自動的に削除するための直感的な方法を提供する。前の関係ない仮想アノテーションを自動的に削除することにより、新しい仮想アノテーションを作成しつつ、拡張現実ユーザインタフェースが、これ以前の仮想アノテーションによって乱雑になるのを阻止する。本明細書に記載されるように、方法１３００は、前の仮想アノテーションを手動で削除する必要なしに、個々の仮想アノテーションを作成することを容易にし、また、新たな仮想アノテーションが一続きの関連する仮想アノテーションに追加されるとき、この一続きの中のこれ以前の仮想アノテーションを削除することなく、一続きの関係する仮想アノテーション（例えば接続された仮想アノテーション）を取得し易くする。この方法は、拡張現実に基づく仮想アノテーションを作成する際のユーザからの入力の数、範囲、及び／又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作電子デバイスに関して、ユーザが拡張現実ベースの仮想アノテーションをより迅速かつより効率的に作成することを可能にすることにより、電力が節約され、バッテリ充電間の時間が延びる。
具体的には、仮想アノテーションが拡張現実に基づく測定である場合、前の関係のない拡張現実に基づく測定を自動的に削除することにより、新たな測定を行っている間に測定ユーザインタフェースがこれより前の測定で乱雑になることを防止する。このような自動削除はまた、電子デバイスが物理的空間に対する正確なマッピングをもはや持たなくてもよい測定を除去する。本明細書に記載されるように、方法１３００は、前の測定を手動で削除する必要なく、個々の測定を行うことを容易にし、また、新たな仮想アノテーションがこの一続きに追加されるとき、この一続きにあるこれ以前の仮想アノテーションを削除することなく、一続きの関係する仮想アノテーション（例えば接続された仮想アノテーション）を取得し易くもする。方法は、拡張現実に基づく測定を行う際のユーザからの入力の数、範囲、及び／又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作電子デバイスに関して、ユーザがより迅速かつ効率的に拡張現実ベースの測定を行うことを可能にすることで、電力が節約され、バッテリ充電間の時間が延びる。
電子デバイスは、１つ以上の表示デバイスを介して、物理的空間の表現（例えば、１つ以上のカメラのうちの少なくとも１つのカメラの視野内にある物理的空間の一部分のライブプレビュー）含むユーザインタフェースを表示する（１３０２）。例えば、図５ＢＳにおけるユーザインタフェース５００６は、物理的空間５０００の表現を含む。
物理的空間の表現を表示している間に、電子デバイスは、物理的空間の表現内に仮想アノテーション（例えば、形状、線、矩形、測定など）を作成するために１つ以上の入力の第１のセットを受信する（例えば特定の点を下げるための入力であり、その後に、物理的空間に対する電子デバイスの移動が続き、その後に、特定の点を下げるための別の入力が続く）（１３０４）。
１つ以上の入力の第１のセットを受信したことに応答して、電子デバイスは、物理的空間の表現に第１の仮想アノテーションを追加する（１３０６）。第１の仮想アノテーションは、物理的空間の表現の一部分にリンクされる。例えば、図５ＢＳ～図５ＢＵに示されるように、測定セグメント５２１２及びその関連する終点５２０６及び５２１６を含む仮想アノテーションが、ユーザインタフェース５００６内に作成され、（物理的）オブジェクト５２０２の表現にリンクされる。別の例として、図５ＢＶ～５ＢＹに示されるように、測定セグメント５２２２及びその関連する終点５２２０及び５２２４を含む仮想アノテーションが、ユーザインタフェース５００６内に作成され、オブジェクトの表現５２０２にリンクされる。
いくつかの実施形態では、仮想アノテーションを物理的空間の表現に追加することは、仮想アノテーションを作成することと、それを物理的空間の表現内の位置にリンクすることで、仮想アノテーションが物理的空間の表現内に固定されて見える、又は実質的に固定されて見えることと、を含む。いくつかの実施形態では、物理的空間の表現「内」の仮想アノテーション又は物理的空間の表現に「追加される」仮想アノテーションは実際には、物理的空間の特定のモデルに追加され、仮想アノテーションがリンクされる物理的空間の表現の一部分が物理的空間のカメラ画像内に現れたとき、物理的空間のカメラ画像の上部に描かれることで、仮想アノテーションが物理的空間内にあることの印象を与える。いくつかの実施形態では、物理的空間の表現から「除去される」仮想アノテーションは、実際には、物理的空間の特定のモデルから除去され、ひとたびそれが、物理的空間の表現が「除去される」と、仮想アノテーションがリンクされた物理的空間の表現の一部分が物理的空間のカメラ画像に現れたとき、物理的空間のカメラ画像の上にそれはもはや描かれないことで、仮想アノテーションはもはや物理的空間内にないという印象を与える。
第１の仮想アノテーションを物理的空間の表現に追加した後、電子デバイスは、物理的空間の表現に関連付けられた１つ以上の入力の第２のセットを受信する（１３１０）。
物理的空間の表現に関連付けられた１つ以上の入力の第２のセットを受信したことに応答して（１３１２）、１つ以上の入力の第２のセットが、第１の仮想アノテーションから閾値距離内にある仮想アノテーションを物理的空間の表現内に作成せよとの要求に対応するという判定に従って、電子デバイスは、物理的空間の表現内に第１の仮想アノテーションを維持しつつ、物理的空間の表現内に第２の仮想アノテーション（例えば、物理的空間の表現の第２の部分にリンクされた）を作成する（１３１４）。いくつかの実施形態では、第１の仮想アノテーションと第２の仮想アノテーションは同時に表示される。いくつかの実施形態では、閾値距離はゼロである（例えば、第２の仮想アノテーションが作成されるときに第１の仮想アノテーションを維持するために、第２の仮想アノテーションを第１の仮想アノテーションと接続される必要がある）。いくつかの実施形態では、閾値距離はゼロを超える（例えば、第２の仮想アノテーションが第１の仮想アノテーションまで所定の距離内にある場合、たとえ第２の仮想アノテーションが第１の仮想アノテーションに接続されていない場合でも、第１の仮想アノテーションは維持される）。例えば、図５ＢＺ～図５ＣＦに示されるように、測定セグメント５２３２は以前に追加された測定セグメント５２２２からの閾値距離内にあるため、以前に追加された測定セグメント５２２２は、測定セグメント５２３２が作成される際／作成された後、ユーザインタフェース５００６内の物理的空間５０００の表現内に維持される。別の実施例では、図５ＣＧ～図５ＣＫに示されるように、測定セグメント５２４２は、以前に追加された測定セグメント５２３２及び５２２２からの閾値距離内にあるため、以前に追加された測定セグメント５２３２及び５２２２は、測定セグメント５２４２が作成される際／作成された後、ユーザインタフェース５００６内の物理的空間５０００の表現内に維持される。
加えて、物理的空間の表現に関連付けられた１つ以上の入力の第２のセットを受信したことに応答して（１３１２）、１つ以上の入力の第２のセットが、第１の仮想アノテーションからの閾値距離の外にある仮想アノテーションを物理的空間の表現内に作成せよとの要求に対応しているとの判定に従って（１３１６）、電子デバイスは、物理的空間の表現内に第２の仮想アノテーション（例えば、物理的空間の表現の第２の部分にリンクされる）を作成し、物理的空間の表現から第１の仮想アノテーションを除去する。いくつかの実施形態では、第１の仮想アノテーションは、第１の仮想アノテーションを除去するための明示的な要求なしに除去される（例えば、デバイスは、第２の仮想アノテーションを作成するために使用される入力の第２のセットとは別個の、第１の仮想アノテーションの削除を要求するユーザ入力を検出しない）。例えば、図５ＢＶ～５ＢＹに示されるように、測定セグメント５２２２は、以前に追加された測定セグメント５２１２から閾値距離の外にあるため、以前に追加された測定セグメント５２１２は、測定セグメント５２２２が追加される際／追加された後、除去される。
いくつかの実施形態では、物理的空間の表現内に第１の仮想アノテーションを維持しながら、物理的空間の表現内に第２の仮想アノテーションを作成することは、第１の仮想アノテーションの少なくとも一部分に対応する位置に第２の仮想アノテーションを作成することを開始することを含む（１３１８）（例えば、図５ＣＡ～図５ＣＦにおける測定セグメント５２３２の作成が代わりに、図５ＣＦにおける測定点５２３４の配置で開始し、図５ＣＡにおける測定点５２２８の配置に終了する場合）。後続の仮想アノテーションが前の仮想アノテーション上で開始するとき、前の仮想アノテーションを自動的に維持することにより、新たなアノテーションが一続きの関連する仮想アノテーションに追加されるとき、この一続きにあるこれ以前のアノテーション（例えば測定）を削除することなく、電子デバイスが一続きの関連する仮想アノテーション（例えば一続きの接続された測定）を作成することを可能にする。更なるユーザ入力を必要とせずに、一セットの条件が満たされたときに（例えば、後続の仮想アノテーションが前の仮想アノテーション上で開始するとき）動作を実行することは、（例えば、ユーザが適切な入力を提供するようにユーザを助け、デバイスを操作する／デバイスと相互作用するときにユーザの誤りを削減することによって）デバイスの操作性を強化し、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、物理的空間の表現内に第１の仮想アノテーションを維持しながら、物理的空間の表現内に第２の仮想アノテーションを作成することは、第１の仮想アノテーションの少なくとも一部分に対応する位置で第２の仮想アノテーションの作成を完了することを含む（１３２０）。例えば、図５ＢＺ～図５ＣＦに示されるように、測定セグメント５２３２の作成は、測定セグメント５２２２の終点に対応する位置で完了し、測定セグメント５２２２は物理的空間５０００の表現内に維持される。後続の仮想アノテーションが前の仮想アノテーション上で終わるとき、前の仮想アノテーションを自動的に維持することにより、新たなアノテーションが一続きの関連する仮想アノテーションに追加されるとき、この一続きにあるこれ以前のアノテーション（例えば測定）を削除することなく、電子デバイスが一続きの関連する仮想アノテーション（例えば一続きの接続された測定）を作成することを可能にする。更なるユーザ入力を必要とせずに、一セットの条件が満たされたとき（例えば後続の仮想アノテーションが前の仮想アノテーション上に終わるとき）動作を実行することで、（例えば、ユーザが適切な入力を提供するようにユーザを助け、デバイスを操作する／デバイスと相互作用するときにユーザの誤りを削減することによって）、デバイスの操作性を向上させユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、物理的空間の表現に関連付けられた１つ以上の入力の第２のセットを受信したことに応答して、１つ以上の入力の第２のセットが、１つ以上のカメラのうちの少なくとも１つのカメラの視野を閾値量を超えてシフトする（例えば、第１の仮想アノテーションと物理的空間の表現との間のリンクの追跡の忠実度を閾値量を超えて低下させる特定の量だけ、１つ以上のカメラのうちの少なくとも１つのカメラの視野をシフトする）要求に対応するという判定に従って、電子デバイスは、物理的空間の表現から第１の仮想アノテーションを除去する（１３２２）。いくつかの実施形態では、第１の仮想アノテーションは、第１の仮想アノテーションを除去する明示的な要求なしに除去される（例えば、電子デバイスは、第１の仮想アノテーションの削除を要求するユーザ入力を検出しない）。閾値量を超えるカメラ（複数又は単数）の移動に従って仮想アノテーションを除去する例が、図５ＣＬ～図５ＣＭを参照して本明細書で説明される。後続の仮想アノテーションのための視野が閾値量を超えてシフトするとき、前の仮想アノテーション（例えば測定）を自動的に除去することにより、拡張現実ユーザインタフェースにおける乱雑さを低減し、かつ、新しい仮想アノテーションの近くにない前の仮想アノテーションの追跡及び表示の忠実性を伴う潜在的な問題を回避する。更なるユーザ入力を必要とせずに、一セットの条件が満たされたときに動作を実行することにより、（例えば、デバイスを操作する／デバイスと相互作用するときにユーザが適切な入力を提供するのを助け、ユーザの誤りを低減することによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、物理的空間の表現に関連付けられた１つ以上の入力の第２のセットを受信したことに応答して、１つ以上の入力の第２のセットが、１つ以上のカメラのうちの少なくとも１つのカメラの視野をシフトする（例えば、１つ以上のカメラのうちの少なくとも１つのカメラの視野を、閾値時間量を超えて、第１の仮想アノテーションがリンクされるに見える物理的空間の一部分から離れるようにシフトする）ことで、第１の仮想アノテーションを閾値時間量を超えてもはや見ることができないようにするという要求に対応するという判定に従って、電子デバイスは、物理的空間の表現から第１の仮想アノテーションを除去する（１３２４）。いくつかの実施形態では、第１の仮想アノテーションは、第１の仮想アノテーションを除去する明示的な要求なしに除去される（例えば、デバイスは、第１の仮想アノテーションの削除を要求するユーザ入力を検出しない）。仮想アノテーションが閾値時間量を超えて見ることができなくなるように、カメラの移動に従って仮想アノテーションを除去する例が図５ＣＬ～図５ＣＭを参照して本明細書に記載されている。後続の仮想アノテーションの視野が閾値時間量を超えてシフトするときに、前の仮想アノテーション（例えば、測定）を自動的に除去することにより、拡張現実ユーザインタフェースにおける乱雑さを低減し、新しい仮想アノテーションの近くにない前の仮想アノテーションの追跡及び表示の忠実性を伴う潜在的な問題を回避する。更なるユーザ入力を必要とせずに、一セットの条件が満たされたときに動作を実行することにより、（例えば、デバイスを操作する／デバイスと相互作用するときにユーザが適切な入力を提供するのを助け、ユーザの誤りを低減することによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、１つ以上の入力の第２のセットを受信している間、及び第１の仮想アノテーションが物理的空間の表現内にある間に、電子デバイスは、更なる入力によって、物理的空間の表現から第１の仮想アノテーションを除去する指示を出力する（１３２６）。いくつかの実施形態では、指示は、グラフィカル指示、音声指示、及び／又は触知指示を含む。例えば、図５ＢＷ～図５ＢＸに示されるように、デバイス１００は、測定セグメント５２１２の外観を変更して、更なる入力によって、測定セグメント５２１２をユーザインタフェース５００６内の物理的空間５０００の表現から除去させることを示す。別の実施例では、図５ＣＡ～図５ＣＢに示されるように、デバイス１００は測定セグメント５２２２の外観を変更して、更なる入力によって、測定セグメント５２２２をユーザインタフェース５００６内の物理的空間５０００の表現から除去させることを示す。更なる入力が前の仮想アノテーション（例えば、測定）を削除することの視覚的、聴覚的、及び／又は触覚フィードバックを提供することは、前の仮想アノテーションが偶発的に除去されないように入力を変更する機会を提供する。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、指示は、アラートを表示するために使用されるユーザインタフェースの所定の部分（例えば、ユーザインタフェース内の指定されたアラートエリア、例えば、レチクル５０１０の上のユーザインタフェース５００６内のエリア（例えば、図５ＣＭでエラーメッセージ５２４８が表示されるエリアなど））に表示される視覚的指示である（１３２８）。アラートを表示するためのユーザインタフェースの指定されたエリア内に視覚的フィードバックを提供することは、ユーザがフィードバック／アラートを見て理解する可能性を増大させる。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、指示は、物理的空間の表現における第１の仮想アノテーションの外観の変化である（１３３０）（例えば、ライン色、ラインスタイル、ライン厚、充填、不透明度などを変更する）。例えば、図５ＢＷ～図５ＢＸに示されるように、測定セグメント５２１２の外観（例えば、ライン色及びラインスタイル）が変更される。いくつかの実施形態では、点配置のためのレチクルが第１の仮想アノテーションから離れるにつれて、第１の仮想アノテーションの外観の変化の大きさは増大する。第１の仮想アノテーションの外観を変更することによって視覚的フィードバックを提供することにより、同じ入力が続いた場合に、ユーザが第１の仮想アノテーションが除去されることを見て理解する可能性を増大させる。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、第１の仮想アノテーションは、測定の記述（例えば、測定により測定された距離又はエリアのテキスト記述）を含む測定の表現であり、第１の仮想アノテーションの外観の変化は、測定の表現の少なくとも一部分を維持しながら、測定の表現から記述を除去することを含む（１３３２）。例えば、図５ＢＶに示されるように、測定セグメント５２１２に関連付けられたラベルは、レチクル５０１０が測定セグメント５２１２から離れて移動されるときに除去される。測定を表すライン又は他の形状を維持しながら、測定からラベル又は他の記述を除去することによって視覚的フィードバックを提供することは、同じ入力が続いた場合に測定が除去されることをユーザが見て理解するであろう可能性を増加させる。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、物理的空間の表現における第１の仮想アノテーションの外観の変化を表示した後、電子デバイスは、第１の仮想アノテーションから閾値距離（例えば、第２の仮想アノテーションが作成されたときにディスプレイから第１の仮想アノテーションを除去するか否かを判定するために使用される同一の閾値距離）以内の位置での入力を検出し（例えば第１の仮想アノテーション上、又はその近くの点配置のためにレチクルをホバリングする）、及び第１の仮想アノテーションから閾値距離以内の位置で入力を検出したことに応答して、第１の仮想アノテーションの外観の変化を逆転させる（例えば、第２の仮想アノテーションが第１の仮想アノテーションから閾値距離以内の位置にある部分を含む場合、第１の仮想アノテーションは、第２の仮想アノテーションが作成されるときに除去されないことを示すために）（１３３４）。例えば、図５ＣＡ～図５ＣＢからの測定セグメント５２２２の外観の変化は、フォーカス点５０１２が測定セグメント５２２２上の特定の点にスナップする際図５ＣＣにおいて逆転される。前の仮想アノテーションが除去されることを示す視覚的フィードバックを提供した後、及び前の仮想アノテーションに近づけて、又はその上に入力を作成することによって、ユーザがそれぞれの入力を変更した後、前の仮想アノテーションが維持されることを示すフィードバックを提供することは、ユーザの入力を案内するのに役立つ。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
図１３Ａ～図１３Ｃにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法６００、７００、８００、９００、１０００、１１００、１２００、及び１４００）に関して本明細書に記載される他のプロセスの詳細はまた、図１３Ａ～図１３Ｃに関して上記した方法１３００にも、類似の様式で適用可能であることに留意されたい。例えば、入力、ユーザインタフェース要素（例えば、測定点、測定セグメント、仮想アノテーション、物理的空間又は視野の表現、アフォーダンス、アラート、インジケータ、ラベル、アンカー点、及び／又はレチクル及びドットなどのユーザインタフェース要素の配置）、触知出力、及び方法１３００を参照して上述した強度閾値は、任意選択的に、本明細書に記載される他の方法（例えば、方法６００、７００、８００、９００、１０００、１１００、１２００及び１４００）を参照して本明細書に記載される入力、ユーザインタフェース要素、触知出力、及び強度閾値のうちの１つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１４Ａ～図１４Ｄは、いくつかの実施形態に係る、物理的空間内のオブジェクトが、拡張現実環境内の対応する表現が追跡され得るオブジェクトとして識別されたかどうかを示す方法１４００を示すフロー図である。方法１４００は、１つ以上の入力デバイス（例えば、タッチスクリーン１１２（図１Ａ）、タッチパッド３５５（図３Ａ）、又は入力デバイス（単数又は複数）３０２（図３Ｂ））、又はディスプレイとは別個の物理的ボタン、１つ以上の表示デバイス（例えば、タッチスクリーン１１２（図１Ａ）、ディスプレイ３４０（図３Ａ）又はディスプレイ生成構成要素（単数又は複数）３０４（図３Ｂ））、及び１つ以上のカメラ（例えば、光学センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ））、任意選択的に、入力デバイスのタッチ感知面との接触の強度を検出するための１つ以上のセンサ（例えば、接触強度センサ（単数又は複数）１６５、図１Ａ）、及び任意選択的に１つ以上の触知出力生成器（例えば、触知出力生成器（単数又は複数）１６３（図１Ａ）又は触知出力生成器（単数又は複数）３５７（図３Ａ））を含む電子デバイス（例えばポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）又はコンピュータシステム３０１（図３Ｂ）で実行される。方法１４００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
以下に説明するように、方法１４００は、拡張現実環境内に仮想アノテーション（例えば、仮想測定）を配置する間、視覚的フィードバックを提供する。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
電子デバイスは、１つ以上の表示デバイスを介して、アノテーション配置ユーザインタフェースを表示する（１４０２）。アノテーション配置ユーザインタフェースは、物理的空間の表現（例えば、１つ以上のカメラのうちの少なくとも１つのカメラの視野内にある物理的空間の一部分のライブプレビュー）と、アノテーション配置入力（例えば、ドロップポイントボタン上のタップ又は配置ユーザインタフェース要素上のタップ）を検出したことに応答して、仮想アノテーションが物理的空間の表現内に配置される位置を示す配置ユーザインタフェース要素（例えば、配置インジケータ）とを含む（１４０４）。例えば、図５ＣＮに示されるように、デバイス１００は、物理的空間５０００の表現と、アノテーション配置入力を検出したことに応答して（例えば、測定追加ボタン５０１４上のタップ、又はいくつかの実施形態では、レチクル５０１０及び／又はフォーカス点５０１２上のタップ）、仮想アノテーションが物理的空間５０００の表現内に配置される位置を示すフォーカス点５０１２と合わせた、レチクル５０１０の形態の配置ユーザインタフェース要素とを含むユーザインタフェース５００６を表示する。
アノテーション配置ユーザインタフェースを表示している間に、電子デバイスは、物理的空間に対する１つ以上のカメラのうちの少なくとも１つの移動を検出する（１４０６）。１つ以上のカメラのうちの少なくとも１つの移動は、配置ユーザインタフェース要素が、物理的空間の第１の部分に対応する物理的空間の表現内の位置に表示されている間に開始する（１４０８）。いくつかの実施形態では、移動は、横方向に移動する（例えば、右、左、上、下を回転させる）、回転する（例えば、右、左、上、下に回転する）、又は前後に移動することのうちの１つ以上を含む。
物理的空間に対する１つ以上のカメラのうちの少なくとも１つの移動を検出したことに応答して（１４１０）、電子デバイスは、配置ユーザインタフェース要素を、物理的空間の第１の部分とは異なる、物理的空間の第２の部分に対応する物理的空間の表現内の位置に移動させ、また、電子デバイスが、物理的空間の表現内の対応するオブジェクトが仮想アノテーションにリンクされ得る、物理的空間の第２の部分内のオブジェクトを識別することができないという判定に従うことを含め、物理的空間に対する１つ以上のカメラのうちの少なくとも１つの移動に従って、アノテーション配置ユーザインタフェースの外観を更新し、配置ユーザインタフェース要素の少なくとも一部分の表示を中止し（１４１２）、及び、デバイスが、物理的空間の表現内の対応するオブジェクトが仮想アノテーションにリンクされ得る、物理的空間の第２の部分内のオブジェクトを識別したという判定に従って、配置ユーザインタフェース要素の表示を維持する（１４１４）。例えば、図５ＣＮに示されるように、レチクル５０１０及びフォーカス点５０１２は、デバイス１００が物理的空間５０００内のオブジェクト（テーブル５２００）を識別したという判定に従って表示されることで、測定をユーザインタフェース５００６内のテーブル５２００の表現に追加することができる。図５ＣＯでは、デバイス１００が物理的空間５０００内のそのようなオブジェクトを識別できないという判定に従って、レチクル５０１０及びフォーカス点５０１２は表示されない。電子デバイスが、物理的空間の表現内の対応するオブジェクトが仮想アノテーションにリンクされ得る、物理的空間内のオブジェクトを識別することができないという視覚的フィードバックを提供することは（例えば配置ユーザインタフェース要素の少なくとも一部分の表示を中止することによる）、そのようなオブジェクトが識別されるまで視野を変更する必要があることをユーザに知らせる。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、物理的空間に対する１つ以上のカメラのうちの少なくとも１つの移動を検出したことに応答して（１４１６）、配置ユーザインタフェース要素が、１つ以上のカメラのうちの１つから離れた第１の距離である、物理的空間内の第１のオブジェクトに対応する物理的空間の表現内の位置にあるという判定に従って、電子デバイスは、配置ユーザインタフェース要素を第１のサイズで表示し、及び配置ユーザインタフェース要素が、１つ以上のカメラのうちの１つから離れた第２の距離である、物理的世界内の第２のオブジェクトに対応する、物理的空間の表現内の位置にあるという判定に従って、電子デバイスは、配置ユーザインタフェース要素を第２のサイズで表示する。いくつかの実施形態では、第１の距離は第２の距離さより大きく、第１のサイズは第２のサイズより小さい。例えば、図５ＢＯ及び図５ＢＴに示されるように、レチクル５０１０及びフォーカス点５０１２は、（図５ＢＴに示されるように）物理的空間５０００内のより近い点に対応する、ライブプレビュー内の位置の上に位置決めされる場合よりも、（図５ＢＯに示されるように）物理的空間５０００内のより遠い点に対応する、ライブプレビュー内の位置の上に位置決めされたとき、より小さいそれぞれのサイズで表示される。別の例では、図５ＣＧ及び図５ＣＪに示されるように、レチクル５０１０及びフォーカス点５０１２は、（図５ＣＪに示されるように）物理的空間５０００内のより近い点に対応するライブプレビュー内の位置の上に位置決めされる場合よりも、（図５ＣＧに示されるように）物理的空間５０００内のより通遠い点に対応するライブプレビュー内の位置の上に位置決めされたとき、より小さいそれぞれのサイズで表示される。配置ユーザインタフェース要素が、カメラからのライブビュー内の所与のオブジェクトの位置にあるとき、電子デバイスは、カメラから物理的空間内の所与のオブジェクトまでの距離に基づいて、配置ユーザインタフェース要素のサイズを調整する。このような視覚的フィードバックは、物理的空間内のオブジェクトの相対位置についてユーザに情報を提供する。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、物理的空間の表現における配置ユーザインタフェース要素の第１のサイズは、物理的空間内の第２のオブジェクトに対する物理的空間の表現における配置ユーザインタフェースの第２のサイズよりも、物理的空間内の第１のオブジェクトに対してより大きくなる（１４１８）（例えば、図５ＢＴを参照して本明細書に記載されるように）。いくつかの実施形態では、配置ユーザインタフェース要素のサイズは、オブジェクトがカメラから遠く離れているときに小さすぎること（又はオブジェクトがカメラに近過ぎるときに大きすぎる）ことを回避するために、カメラから物理的空間内の所与のオブジェクトまでの距離に基づいているが、いくつかの実施形態でのサイズは、距離と正確に増減しない。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、配置ユーザインタフェース要素は、第１の部分（例えば、図５ＣＣのレチクル５０１０などのレチクル）及び第２の部分（例えば、図５ＣＣのフォーカス点５０１２などのドット、又は他のマーカー）を含む（１４２０）。いくつかの実施形態では、物理的空間に対する１つ以上のカメラのうちの少なくとも１つの移動を検出したことに応答して、配置ユーザインタフェース要素が、物理的空間内の既定のタイプの特徴（例えば、配置ユーザインタフェース要素の第２の部分がスナップされ得る角、ライン、又は他の特徴）に対応する物理的空間の表現内の位置にあるという判定に従って、電子デバイスが配置ユーザインタフェース要素の外観を更新することで配置ユーザインタフェース要素の第２の部分が配置ユーザインタフェース要素の第１の部分に対して拡大され、また配置ユーザインタフェース要素が、物理的空間内の既定のタイプの特徴（例えば、配置ユーザインタフェース要素の第２の部分がスナップされ得る角、ライン、又は他の特徴）に対応しない物理的空間の表現内の位置にあるという判定に従って、電子デバイスは、配置ユーザインタフェース要素の第２の部分を配置ユーザインタフェース要素の第１の部分に対して拡大せずに、配置ユーザインタフェース要素の表示を維持する。例えば、図５ＣＣ及び５ＣＥに示されるように、フォーカス点がアンカー点（以前に追加された測定の上の対象点又は物理的オブジェクトの表現上の対象点など）にスナップされるとき、フォーカス点５０１２はレチクル５０１０に対して（及びアンカー点にスナップされていないときのフォーカス点５０１２のサイズに対して）拡大される。仮想アノテーション点がスナップされ得る特徴の上にあるとき、配置ユーザインタフェース要素の外観を変更することで（例えば、配置ユーザインタフェース要素の残りの部分に対して、配置ドットのサイズを拡大することによって）、その特徴で仮想アノテーション点を追加することを容易にする。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
配置ユーザインタフェース要素が、第１の部分（例えばレチクル）と、第２の部分（例えばドット又は他のマーカー）とを含むいくつかの実施形態では、物理的空間に対する１つ以上のカメラのうちの少なくとも１つの移動を検出したことに応答して、配置ユーザインタフェース要素が、物理的空間内の既定のタイプの特徴（例えば、配置ユーザインタフェース要素の第２の部分がスナップされ得る角、ライン、又は他の特徴）に対応する物理的空間の表現内の位置にあるという判定に従って、電子デバイスは、配置ユーザインタフェース要素の外観を更新することで配置ユーザインタフェース要素の第２の部分が配置ユーザインタフェース要素の第１の部分に対してシフトされ、また、配置ユーザインタフェース要素が、物理的空間内の既定のタイプの特徴（例えば、配置ユーザインタフェース要素の第２の部分がスナップされ得る角、ライン、又は他の特徴）に対応しない物理的空間の表現内の位置にあるという判定に従って、電子デバイスは、配置ユーザインタフェース要素の第２の部分を配置ユーザインタフェース要素の第１の部分に対してシフトせずに、配置ユーザインタフェース要素の表示を維持する（１４２２）。例えば、図５ＣＣ及び図５ＣＥに示されるように、フォーカス点がアンカー点（以前に追加された測定の対象点又は物理的オブジェクトの表現上の対象点など）にスナップされるとき、フォーカス点５０１２は、レチクル５０１０に対して（かつ、アンカー点にスナップされていないときはレチクル５０１０内のフォーカス点５０１２の位置に対して）シフトされる。仮想アノテーション点がスナップされ得る特徴の上にあるとき、配置ユーザインタフェース要素の外観を変更することは（例えば配置ドットの位置を配置ユーザインタフェース要素の残りの部分に対してシフトすることで、配置ドットが特徴にスナップすることによって）、その特徴において仮想アノテーション点を追加することを容易にする。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、デバイスが、物理的空間の表現内の対応するオブジェクトが仮想アノテーションにリンクされ得る物理的空間の第２の部分内のオブジェクトを識別できないという判定に従って、物理的空間に対する１つ以上のカメラのうちの少なくとも１つの移動を検出したことに応答して、電子デバイスは、電子デバイスが、物理的空間の表現内の対応するオブジェクトが仮想アノテーションにリンクされ得る物理的空間の第２の部分内のオブジェクトを識別することができないことを示す情報を有するアラートを（例えば、アノテーション配置ユーザインタフェースとは別個に、又はその上に重ねて）表示する（１４２４）。例えば、図５ＣＯに示されるように、テーブル５２００から更に離れるデバイス１００の移動に応答して、デバイス１００は、デバイス１００が、ユーザインタフェース５００６内の物理的空間５０００の表現内の対応するオブジェクトが仮想アノテーション（例えば、仮想測定）にリンクされ得る物理的空間５０００内のオブジェクトを識別することができないことを示すために、エラーメッセージ５２５０を表示する。電子デバイスが、物理的空間の表現内の対応するオブジェクトが仮想アノテーションにリンクされ得る物理的空間内のオブジェクトを識別できないというアラートを表示することは、そのようなオブジェクトが識別されるまで、（電子デバイスを移動させることによって）視野を変更する必要があることをユーザに知らせる。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、物理的空間の表現内の対応するオブジェクトが仮想アノテーションにリンクされ得る物理的空間の第２の部分内のオブジェクトを識別できないという判定に従って、物理的空間に対する１つ以上のカメラのうちの少なくとも１つの移動を検出したことに応答して、デバイスが、電子デバイスは、電子デバイスが、物理的空間の表現内の対応するオブジェクトが仮想アノテーションにリンクされ得る物理的空間の第２の部分内のオブジェクトを識別できない理由を示す情報を有するアラートを（例えば、配置ユーザインタフェースとは別個に、又は上に重ねて）表示する（１４２６）。いくつかの実施形態では、アラートは、物理的空間内のオブジェクトを識別する電子デバイスの能力を改善するために講じることができるステップを説明する情報を含む。例えば、図５ＣＯに示されるように、テーブル５２００から更に離れるデバイス１００の移動に応答して、デバイス１００をカメラの視野内のオブジェクトにより近づくように移動させる必要があるため、デバイス１００は、デバイス１００がオブジェクトを識別できないことを示すエラーメッセージ５２５０を表示する。（１）電子デバイスが、物理的空間の表現内の対応するオブジェクトが仮想アノテーションにリンクされ得る物理的空間内のオブジェクトを識別できないことを説明する、及び／又は（２）視野をどのように変更する必要があるかをユーザに知らせる（例えば、電子デバイスを移動させることによって）アラートを表示することは、このような状況を修正するのに役立つ。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、デバイスが、物理的空間の表現内の対応するオブジェクトが仮想アノテーションにリンクされ得る物理的空間の第２の部分内のオブジェクトを識別できない理由を示す情報は、より多くの光が必要であるとの指示（例えば図５Ｄに示されるように）、１つ以上のカメラ（又は電子デバイス）のうちの少なくとも１つが速く移動しすぎていることの指示、物理的空間内の表面を位置付けるために、１つ以上のカメラ（又は電子デバイス）のうちの少なくとも１つを移動させる必要があることの指示（例えば、図５Ｅに示されるように）、１つ以上のカメラ（又は電子デバイス）の少なくとも１つが、物理的空間内のオブジェクトから更に離れて移動される必要があることの指示、及び１つ以上のカメラ（又は電子デバイス）のうちの少なくとも１つを物理的空間内のオブジェクトにより近く移動させる必要があることの指示（例えば、図５ＣＯに示されるように）のうちの１つ以上を含む（１４２８）。
いくつかの実施形態では、配置ユーザインタフェース要素を、物理的空間の第２の部分に対応する物理的空間の表現の上の位置に表示している間に、電子デバイスは、配置入力（例えば、配置ユーザインタフェース要素上のタップジェスチャ、又はアノテーション配置ユーザインタフェース内の仮想アノテーションの配置をトリガするボタン）を検出する（１４３０）。いくつかの実施形態では、配置入力を検出したことに応答して、電子デバイスは、配置ユーザインタフェース要素に対応する位置に物理的空間の表現内の仮想アノテーションの少なくとも一部分を配置する。いくつかの実施形態では、アノテーションの一部分の配置は、測定において第１の点をドロップすることを含む。いくつかの実施形態では、アノテーションの一部分の配置は、測定において第２又は第３の点をドロップすることを含む。いくつかの実施形態では、アノテーションの一部分の配置は、物理的空間の表現における測定の配置を完了することを含む。例えば、図５ＢＰ～図５ＢＱに示されるように、レチクル５０１０及びフォーカス点５０１２上のタッチ入力５２０４（例えば、タップジェスチャ）は、フォーカス点５０１２に対応する位置でのユーザインタフェース５００６内の物理的空間５０００の表現における測定点５２０６の配置をトリガする。配置入力に応答して、配置ユーザインタフェース要素の表示された位置に仮想アノテーション点を配置することにより、物理的空間の表現内の正しい位置に仮想アノテーション点を位置決めすることが容易になる。改善された視覚的フィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するときにユーザが適切な入力を提供するのを助け、ユーザの誤りを低減することによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
いくつかの実施形態では、配置ユーザインタフェース要素を、物理的空間の第２の部分に対応する物理的空間の表現の上の位置に表示している間に、電子デバイスは、配置ユーザインタフェース要素に対応する位置での入力（例えば、タッチ感知ディスプレイを備える電子デバイスの場合、配置ユーザインタフェース要素上のタップジェスチャ）を検出する（１４３２）。いくつかの実施形態では、配置ユーザインタフェース要素に対応する位置で入力を検出したことに応答して、電子デバイスは、異なるユーザインタフェース要素のアクティブ化が（例えば、タッチ感知ディスプレイの場合、異なるユーザインタフェース要素上のタップジェスチャによる）、配置ユーザインタフェース要素に対応する位置で物理的空間の表現内に仮想アノテーションの少なくとも一部分を配置させることを示すアノテーション配置ユーザインタフェース内の異なるユーザインタフェース要素に隣接して（又はその付近で）グラフィック指示を表示する（例えば、電子デバイスは、ボタンをタップして点をドロップする命令を表示し、この場合ボタンは、配置ユーザインタフェース要素とは異なり、配置ユーザインタフェース要素から離れて位置する）。例えば、図５ＢＲに示されるようにレチクル５０１０及びフォーカス点５０１２上のタッチ入力５２０４（例えばタップジェスチャ）は、測定追加ボタン５０１４付近での命令メッセージ５２０８の表示をもたらし、測定追加ボタン５０１４のアクティブ化が、フォーカス点５０１２に対応する位置でユーザインタフェース５００６内の物理的空間５０００の表現内に測定点を配置させることを示す。いくつかの実施形態では、ユーザが、配置ユーザインタフェース要素をタップする（むしろ「＋」、「追加」又は同様の要素などの異なる要素上でタップする）ことによって仮想アノテーション点を作成しようとする場合、電子デバイスは仮想アノテーション点を作成するために、（配置ユーザインタフェース要素上でタップする代わりに）この要素がタップする正しい要素であることを示すメッセージを、「＋」、「追加」又は類似の要素の隣に表示する。改善されたフィードバックを提供することにより、（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）デバイスの操作性を向上させ、ユーザデバイスインタフェースをより効率的にする。
図１４Ａ～図１４Ｄにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法６００、７００、８００、９００、１０００、１１００、１２００及び１３００）に関して本明細書に記載される他のプロセスの詳細はまた、図１４Ａ～図１４Ｄに関して上記した方法１４００にも、類似の様式で適用可能であることに留意されたい。例えば、入力、ユーザインタフェース要素（例えば、測定点、測定セグメント、仮想アノテーション、物理的空間又は視野の表現、アフォーダンス、アラート、インジケータ、ラベル、アンカー点、及び／又はレチクル及びドットなどのユーザインタフェース要素の配置）、触知出力、及び方法１４００を参照して上述した強度閾値は、任意選択的に、本明細書に記載される他の方法（例えば、方法６００、７００、８００、９００、１０００、１１００、１２００及び１３００）を参照して本明細書に記載される入力、ユーザインタフェース要素、触知出力、及び強度閾値のうちの１つ以上を任意選択的に有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図６Ａ～図６Ｃ、図７Ａ～図７Ｅ、図８Ａ～図８Ｃ、図９Ａ～図９Ｂ、図１０Ａ～図１０Ｂ、図１１Ａ～図１１Ｂ、図１２Ａ～図１２Ｃ、図１３Ａ～図１３Ｃ、図１４Ａ～図１４Ｄを参照して上述された動作は、任意選択的に、図１Ａ～図１Ｂに示される構成要素によって実施される。例えば、検出動作６０６、６１４、７０６、７０８、８１２、９０６、１００６、１１０６、１２０６、１３３４、１４３０及び１４３２、並びに受信動作１３０４及び１３１０は、任意選択的に、イベントソータ１７０、イベント認識部１８０、及びイベント処理部１９０により実行される。イベントソータ１７０のイベントモニタ１７１は、タッチ感知ディスプレイ１１２上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６－１に配信する。アプリケーション１３６－１の対応するイベント認識部１８０は、そのイベント情報をそれぞれのイベント定義１８６と比較し、タッチ感知面上の第１の位置における第１の接触（又は、デバイスの回転）が、ユーザインタフェース上のオブジェクトの選択、又は１つの向きから別の向きへのデバイスの回転などの、既定のイベント又はサブイベントに対応するかどうかを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部１９０をアクティブ化する。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、データ更新部１７６又はオブジェクト更新部１７７を、任意選択で使用するか又は呼び出す。いくつかの実施形態では、イベント処理部１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩ更新部１７８にアクセスする。同様に、当業者にとって、他の処理が図１Ａ～図１Ｂに記される構成要素に基づいてどのように実施されるかは明らかであろう。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。

Claims (16)

  1. ディスプレイと、入力デバイスと、１つ以上のカメラとを有する電子デバイスにおいて、
    前記ディスプレイ上に、アプリケーションのユーザインタフェースを表示することであって、
    前記ユーザインタフェースは、前記１つ以上のカメラのうちの少なくとも１つのカメラの視野の表現を含み、
    前記視野の前記表現は、前記１つ以上のカメラのうちの少なくとも１つによって検出された現在の視覚データに対する変更に基づいて経時的に更新され、
    前記視野は、三次元空間内の物理的オブジェクトを含む、ことと、
    前記電子デバイスが前記物理的オブジェクトから第１の距離である間に、前記視野の前記表現の上に、前記物理的オブジェクトに対応する測定の第１の表現を表示することと、
    前記電子デバイスを前記物理的オブジェクトから第２の距離まで移動し前記１つ以上のカメラのうちの少なくとも１つの前記視野の変化をもたらす前記電子デバイスの移動を検出することであって、前記第２の距離は前記第１の距離とは異なる、ことと、
    前記１つ以上のカメラのうちの少なくとも１つの前記変化した視野で、前記電子デバイスが前記物理的オブジェクトから前記第２の距離である間に、前記測定の前記第１の表現で表示されなかった、前記測定の第２の表現の少なくとも一部分に沿う１つ以上のスケールマーカーを含む前記測定の前記第２の表現を表示することと、
    を含む、方法。
  2. 前記１つ以上のスケールマーカーは、前記測定の前記第２の表現に沿って第１の間隔で表示され、前記第１の間隔は、前記物理的オブジェクトから前記電子デバイスまでの前記第２の距離に対応する、請求項１に記載の方法。
  3. 前記測定の前記第１の表現は、スケールマーカーを含まない、請求項１に記載の方法。
  4. 前記測定の前記第２の表現に含まれる前記１つ以上のスケールマーカーは、第１のスケールで前記測定の前記第２の表現に沿って表示された１つ以上の第１のスケールマーカーを含み、
    前記方法は、
    前記電子デバイスを前記物理的オブジェクトから第３の距離まで移動する前記電子デバイスの移動を検出することであって、前記第３の距離は前記第２の距離よりも小さい、ことと、
    前記電子デバイスが前記物理的オブジェクトから前記第３の距離である間に、前記第１のスケールとは異なる第２のスケールで表示される、前記測定の第３の表現の少なくとも一部分に沿って表示された１つ以上のスケールマーカーを含む前記測定の前記第３の表現を表示することと、
    を含む、請求項３に記載の方法。
  5. 前記第１のスケールで前記１つ以上のスケールマーカーを表示することは、前記電子デバイスと前記物理的オブジェクトとの前記第２の距離が第１の閾値距離よりも大きいという判定に従って実行され、
    前記第２のスケールで前記１つ以上のスケールマーカーを表示することは、前記電子デバイスと前記物理的オブジェクトとの前記第３の距離が前記第１の閾値距離よりも小さいという判定に従って実行される、請求項４に記載の方法。
  6. 前記測定の前記第２の表現は、第１の数のスケールマーカーを含み、前記測定の前記第３の表現は、前記第１の数のスケールマーカーよりも大きい第２の数のスケールマーカーを含む、請求項４に記載の方法。
  7. 前記測定を記述するラベルを、前記測定の前記第１の表現と、及び、前記測定の前記第２の表現と同時に表示することであって、
    前記電子デバイスが前記物理的オブジェクトから前記第１の距離である間に、前記ラベルは第１のサイズで表示され、
    前記電子デバイスが前記物理的オブジェクトから前記第２の距離である間に、前記ラベルは前記第１のサイズとは異なる第２のサイズで表示される、
    ことを含む、請求項１乃至６の何れか１項に記載の方法。
  8. ディスプレイと、
    入力デバイスと、
    １つ以上のカメラと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、
    を備える電子デバイスであって、
    前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
    前記ディスプレイ上に、アプリケーションのユーザインタフェースを表示し、
    前記ユーザインタフェースが、前記１つ以上のカメラのうちの少なくとも１つのカメラの視野の表現を含み、
    前記視野の前記表現は、前記１つ以上のカメラのうちの少なくとも１つによって検出された現在の視覚データに対する変更に基づいて経時的に更新され、かつ
    前記視野は、三次元空間内の物理的オブジェクトを含んでおり、
    前記電子デバイスが前記物理的オブジェクトから第１の距離である間に、前記視野の前記表現の上に、前記物理的オブジェクトに対応する測定の第１の表現を表示し、
    前記電子デバイスを前記物理的オブジェクトから第２の距離まで移動し前記１つ以上のカメラのうちの少なくとも１つの前記視野の変化をもたらす前記電子デバイスの移動を検出し、前記第２の距離は前記第１の距離とは異なっており、
    前記１つ以上のカメラのうちの少なくとも１つの前記変化した視野で、前記電子デバイスが前記物理的オブジェクトから前記第２の距離である間に、前記測定の前記第１の表現で表示されなかった、前記測定の第２の表現の少なくとも一部分に沿う１つ以上のスケールマーカーを含む前記測定の前記第２の表現を表示する、
    命令を含む、電子デバイス。
  9. 前記１つ以上のスケールマーカーは、前記測定の前記第２の表現に沿って第１の間隔で表示され、前記第１の間隔は、前記物理的オブジェクトから前記電子デバイスまでの前記第２の距離に対応する、請求項８に記載の電子デバイス。
  10. 前記測定の前記第１の表現は、スケールマーカーを含まない、請求項８に記載の電子デバイス。
  11. 前記測定の前記第２の表現に含まれる前記１つ以上のスケールマーカーは、第１のスケールで前記測定の前記第２の表現に沿って表示された１つ以上の第１のスケールマーカーを含み、
    前記１つ以上のプログラムは、
    前記電子デバイスを前記物理的オブジェクトから第３の距離まで移動する前記電子デバイスの移動を検出し、前記第３の距離は前記第２の距離よりも小さく、
    前記電子デバイスが前記物理的オブジェクトから前記第３の距離である間に、前記第１のスケールとは異なる第２のスケールで表示される前記測定の第３の表現の少なくとも一部分に沿って表示された１つ以上のスケールマーカーを含む前記測定の前記第３の表現を表示する、
    命令を含む、請求項１０に記載の電子デバイス。
  12. 前記第１のスケールで前記１つ以上のスケールマーカーを表示することは、前記電子デバイスと前記物理的オブジェクトとの前記第２の距離が第１の閾値距離よりも大きいという判定に従って実行され、
    前記第２のスケールで前記１つ以上のスケールマーカーを表示することは、前記電子デバイスと前記物理的オブジェクトとの前記第３の距離が前記第１の閾値距離よりも小さいという判定に従って実行される、請求項１１に記載の電子デバイス。
  13. 前記測定の前記第２の表現は、第１の数のスケールマーカーを含み、前記測定の前記第３の表現は、前記第１の数のスケールマーカーよりも大きい第２の数のスケールマーカーを含む、請求項１１に記載の電子デバイス。
  14. 前記１つ以上のプログラムは、
    前記測定を記述するラベルを、前記測定の前記第１の表現と、及び、前記測定の前記第２の表現と同時に表示する命令を含み、
    前記電子デバイスが前記物理的オブジェクトから前記第１の距離である間に、前記ラベルは第１のサイズで表示され、
    前記電子デバイスが前記物理的オブジェクトから前記第２の距離である間に、前記ラベルは前記第１のサイズとは異なる第２のサイズで表示される、請求項８乃至１３の何れか１項に記載の電子デバイス。
  15. ディスプレイと、入力デバイスと、１つ以上のカメラとを有する電子デバイスによって実行される場合に、前記電子デバイスに、
    前記ディスプレイ上に、アプリケーションのユーザインタフェースを表示させる命令を含むコンピュータプログラムであって、
    前記ユーザインタフェースは、前記１つ以上のカメラのうちの少なくとも１つのカメラの視野の表現を含み、
    前記視野の前記表現は、前記１つ以上のカメラのうちの少なくとも１つによって検出された現在の視覚データに対する変更に基づいて経時的に更新され、
    前記視野は、三次元空間内の物理的オブジェクトを含み、
    前記電子デバイスが前記物理的オブジェクトから第１の距離である間に、前記視野の前記表現の上に、前記物理的オブジェクトに対応する測定の第１の表現を表示し、
    前記電子デバイスを前記物理的オブジェクトから第２の距離まで移動し前記１つ以上のカメラのうちの少なくとも１つの前記視野の変化をもたらす前記電子デバイスの移動を検出し、前記第２の距離は前記第１の距離とは異なっており、
    前記１つ以上のカメラのうちの少なくとも１つの前記変化した視野で、前記電子デバイスが前記物理的オブジェクトから前記第２の距離である間に、前記測定の前記第１の表現で表示されなかった、前記測定の第２の表現の少なくとも一部分に沿う１つ以上のスケールマーカーを含む前記測定の前記第２の表現を表示する、
    コンピュータプログラム。
  16. 前記１つ以上のプログラムは、前記電子デバイスによって実行される場合に、前記電子デバイスに請求項２乃至８の何れか１項に記載の方法を実行させる命令を含む、請求項１５に記載のコンピュータプログラム。
JP2022103836A 2018-05-07 2022-06-28 拡張現実を使用して測定するためのデバイス及び方法 Active JP7467534B2 (ja)

Applications Claiming Priority (24)

Application Number Priority Date Filing Date Title
US201862668249P 2018-05-07 2018-05-07
US62/668,249 2018-05-07
US201862679952P 2018-06-03 2018-06-03
US62/679,952 2018-06-03
DKPA201870350 2018-06-11
DKPA201870351 2018-06-11
DKPA201870352A DK180640B1 (en) 2018-05-07 2018-06-11 Devices and methods of measurement using augmented reality
DKPA201870350A DK201870350A1 (en) 2018-05-07 2018-06-11 Devices and Methods for Measuring Using Augmented Reality
DKPA201870352 2018-06-11
DKPA201870351A DK201870351A1 (en) 2018-05-07 2018-06-11 Devices and Methods for Measuring Using Augmented Reality
US16/138,779 2018-09-21
US16/138,779 US10612908B2 (en) 2018-05-07 2018-09-21 Devices and methods for measuring using augmented reality
US16/145,015 US10444005B1 (en) 2018-05-07 2018-09-27 Devices and methods for measuring using augmented reality
US16/145,025 US11073374B2 (en) 2018-05-07 2018-09-27 Devices and methods for measuring using augmented reality
US16/145,025 2018-09-27
US16/145,015 2018-09-27
EP19159743.4 2019-02-27
EP19159743.4A EP3567453B1 (en) 2018-05-07 2019-02-27 Devices and methods for measuring using augmented reality
CN201910194257.8A CN110455179A (zh) 2018-05-07 2019-03-14 使用增强现实进行测量的设备和方法
CN201910261469.3 2019-03-14
CN201910261469.3A CN109974581B (zh) 2018-05-07 2019-03-14 使用增强现实进行测量的设备和方法
CN201910194257.8 2019-03-14
PCT/US2019/029904 WO2019217148A1 (en) 2018-05-07 2019-04-30 Devices and methods for measuring using augmented reality
JP2020562126A JP7097991B2 (ja) 2018-05-07 2019-04-30 拡張現実を使用して測定するためのデバイス及び方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020562126A Division JP7097991B2 (ja) 2018-05-07 2019-04-30 拡張現実を使用して測定するためのデバイス及び方法

Publications (2)

Publication Number Publication Date
JP2022130583A JP2022130583A (ja) 2022-09-06
JP7467534B2 true JP7467534B2 (ja) 2024-04-15

Family

ID=68165234

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020562126A Active JP7097991B2 (ja) 2018-05-07 2019-04-30 拡張現実を使用して測定するためのデバイス及び方法
JP2022103836A Active JP7467534B2 (ja) 2018-05-07 2022-06-28 拡張現実を使用して測定するためのデバイス及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020562126A Active JP7097991B2 (ja) 2018-05-07 2019-04-30 拡張現実を使用して測定するためのデバイス及び方法

Country Status (7)

Country Link
US (7) US10612908B2 (ja)
EP (1) EP4328731A3 (ja)
JP (2) JP7097991B2 (ja)
KR (2) KR102543095B1 (ja)
CN (2) CN116772727A (ja)
AU (4) AU2019267352B2 (ja)
DK (3) DK201870350A1 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106164934A (zh) * 2014-02-10 2016-11-23 谷歌公司 智能相机用户界面
EP3958557A1 (en) 2015-04-23 2022-02-23 Apple Inc. Digital viewfinder user interface for multiple cameras
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11422833B1 (en) * 2017-06-30 2022-08-23 Cognex Corporation System and method for automatic generation of human-machine interface in a vision system
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870350A1 (en) 2018-05-07 2019-12-05 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
KR102547321B1 (ko) * 2018-06-01 2023-06-23 삼성전자주식회사 영상 표시 장치 및 그 동작방법
US11770601B2 (en) * 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
JP2020067422A (ja) * 2018-10-26 2020-04-30 株式会社ミツトヨ 撮像補助装置およびプログラム
US20200150767A1 (en) * 2018-11-09 2020-05-14 Immersion Corporation Devices and methods for controlling a haptic actuator
KR102600509B1 (ko) * 2019-02-22 2023-11-09 삼성전자주식회사 전자 장치 및 그 촬영 관련 정보 안내 방법
CN110136190A (zh) * 2019-03-26 2019-08-16 华为技术有限公司 一种测距方法及电子设备
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11385789B1 (en) * 2019-07-23 2022-07-12 Facebook Technologies, Llc Systems and methods for interacting with displayed items
US10679062B1 (en) * 2019-12-03 2020-06-09 Primer Supply, Inc. Systems and methods for device positioning surface detection
USD949191S1 (en) 2019-12-26 2022-04-19 Sap Se Display screen or portion thereof with graphical user interface
US10936148B1 (en) * 2019-12-26 2021-03-02 Sap Se Touch interaction in augmented and virtual reality applications
US11003308B1 (en) 2020-02-03 2021-05-11 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11455078B1 (en) 2020-03-31 2022-09-27 Snap Inc. Spatial navigation and creation interface
US11176752B1 (en) * 2020-03-31 2021-11-16 Amazon Technologies, Inc. Visualization of a three-dimensional (3D) model in augmented reality (AR)
TWI779305B (zh) * 2020-06-24 2022-10-01 奧圖碼股份有限公司 使用擴增實境之投影機的設置模擬方法及其終端裝置
US11140313B1 (en) * 2020-07-29 2021-10-05 Gopro, Inc. Image capture device with scheduled capture capability
KR20220021757A (ko) 2020-08-14 2022-02-22 삼성전자주식회사 무선 통신 시스템에서 증강 현실 서비스를 위한 방법 및 장치
US20220067993A1 (en) 2020-08-31 2022-03-03 Popshop Technologies, Inc. Live streaming object image capture and image conversion to product catalog
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
CN112183657B (zh) * 2020-10-14 2022-03-01 北京字跳网络技术有限公司 获取标注信息的方法、装置、电子设备和计算机可读介质
US11782577B2 (en) * 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US11417054B1 (en) * 2021-03-17 2022-08-16 Facebook Technologies, Llc. Mixed reality objects in virtual reality environments
US11523063B2 (en) * 2021-03-25 2022-12-06 Microsoft Technology Licensing, Llc Systems and methods for placing annotations in an augmented reality environment using a center-locked interface
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
CN112954577B (zh) * 2021-04-25 2022-05-31 北京有竹居网络技术有限公司 评测设备和耳机评测实时展示方法
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11966555B2 (en) * 2022-01-07 2024-04-23 Charles Allan Wolford Method and apparatus for increasing measurement accuracy using a camera enabled portable computing device
US11985410B2 (en) * 2022-03-03 2024-05-14 Jsc Yukon Advanced Optics Worldwide Controlling an imaging device operational state
EP4361582A1 (de) 2022-10-24 2024-05-01 Wilo Se Verfahren zur zustandsuntersuchung bei einem pumpenaggregat sowie softwareapplikation, speichermedium und untersuchungsgerät zur ausführung des verfahrens
CN117745988A (zh) * 2023-12-20 2024-03-22 亮风台（上海）信息科技有限公司 一种用于呈现ar标签信息的方法与设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199560A (ja) 2010-03-19 2011-10-06 Nec Corp 携帯電話機およびスケール表示方法
WO2017134886A1 (ja) 2016-02-02 2017-08-10 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体

Family Cites Families (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7072810B2 (en) 2001-06-08 2006-07-04 Tata Consultancy Services Limited Method and apparatus for pattern based generation of graphical user interfaces (GUI)
US7412658B2 (en) 2002-11-14 2008-08-12 Sap Ag Modeling system for graphic user interface
CN100375124C (zh) 2003-12-17 2008-03-12 中国科学院自动化研究所 一种骨架化物体重建方法
JP2008217590A (ja) 2007-03-06 2008-09-18 Fuji Xerox Co Ltd 情報共有支援システム、情報処理装置及び制御プログラム
GB0707216D0 (en) 2007-04-14 2007-05-23 Livesey Carl Interactive shopping platform
JP4858375B2 (ja) 2007-04-19 2012-01-18 富士ゼロックス株式会社 情報処理装置及びプログラム
CN101334277B (zh) 2007-06-28 2010-12-08 鸿富锦精密工业（深圳）有限公司 点镭射自动对焦扫描影像量测系统及方法
EP2233882B1 (en) 2008-01-09 2021-03-31 Nikon Corporation Measuring device, method, and program
US10872322B2 (en) 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
FR2933218B1 (fr) 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
US8370736B2 (en) 2009-03-16 2013-02-05 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
WO2010127043A1 (en) * 2009-04-28 2010-11-04 Rey Flemings System and method for annotating multimedia objects
US8244462B1 (en) 2009-05-21 2012-08-14 Google Inc. System and method of determining distances between geographic positions
US8365081B1 (en) 2009-05-28 2013-01-29 Amazon Technologies, Inc. Embedding metadata within content
JP5434338B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像方法、プログラム
WO2011029209A2 (en) 2009-09-10 2011-03-17 Liberovision Ag Method and apparatus for generating and processing depth-enhanced images
EP2476259A1 (en) 2009-09-11 2012-07-18 Disney Enterprises, Inc. Virtual insertions in 3d video
US8819591B2 (en) 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
JP5018980B2 (ja) 2010-04-08 2012-09-05 カシオ計算機株式会社 撮像装置、長さ測定方法、及びプログラム
US20110252405A1 (en) 2010-04-10 2011-10-13 Ilan Meirman Detecting user interface defects in a software application
US8466889B2 (en) 2010-05-14 2013-06-18 Research In Motion Limited Method of providing tactile feedback and electronic device
US20110279445A1 (en) 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for presenting location-based content
JP5525923B2 (ja) 2010-06-09 2014-06-18 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
US8982156B2 (en) 2010-06-10 2015-03-17 Sartorius Stedim Biotech Gmbh Assembling method, operating method, augmented reality system and computer program product
KR101074678B1 (ko) 2011-03-03 2011-10-18 배상모 휴대단말기에 구비된 카메라를 이용한 물체의 실제 크기 측정 방법
US20120249544A1 (en) 2011-03-29 2012-10-04 Giuliano Maciocci Cloud storage of geotagged maps
CN103620541B (zh) 2011-07-11 2017-05-24 Kddi株式会社 用户界面装置及方法
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
KR101824413B1 (ko) 2011-08-30 2018-02-02 삼성전자주식회사 휴대단말기의 동작 모드 제어 방법 및 장치
US9696897B2 (en) 2011-10-19 2017-07-04 The Regents Of The University Of California Image-based measurement tools
CN103999445B (zh) 2011-12-19 2018-11-13 杜比实验室特许公司 头戴式显示器
US20130215230A1 (en) 2012-02-22 2013-08-22 Matt Miesnieks Augmented Reality System Using a Portable Device
US9541417B2 (en) 2012-06-05 2017-01-10 Apple Inc. Panning for three-dimensional maps
WO2014013689A1 (ja) 2012-07-20 2014-01-23 パナソニック株式会社 コメント付き動画像生成装置およびコメント付き動画像生成方法
JP6080248B2 (ja) * 2012-09-13 2017-02-15 富士フイルム株式会社 ３次元画像表示装置および方法並びにプログラム
JP6080249B2 (ja) 2012-09-13 2017-02-15 富士フイルム株式会社 ３次元画像表示装置および方法並びにプログラム
US9237263B2 (en) 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
US9524585B2 (en) 2012-11-05 2016-12-20 Microsoft Technology Licensing, Llc Constructing augmented reality environment with pre-computed lighting
US20150221345A1 (en) 2012-12-17 2015-08-06 Bo Zhao Embedding thumbnail information into video streams
JP6048575B2 (ja) 2013-03-29 2016-12-21 日本電気株式会社 サイズ測定装置及びサイズ測定方法
CN103218854B (zh) * 2013-04-01 2016-04-20 成都理想境界科技有限公司 在增强现实过程中实现部件标注的方法及增强现实系统
JP6304240B2 (ja) 2013-04-04 2018-04-04 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US9968176B2 (en) 2013-04-17 2018-05-15 Panasonic Intellectual Property Management Co., Ltd. Image processing method and image processing device
US10074179B2 (en) * 2013-05-07 2018-09-11 Sharp Kabushiki Kaisha Image measurement device
WO2014197631A1 (en) 2013-06-04 2014-12-11 Clicrweight, LLC Methods and systems for marking animals
US9645726B2 (en) 2013-06-08 2017-05-09 Apple Inc. Mapping application with interactive dynamic scale and smart zoom
KR102153366B1 (ko) 2013-08-30 2020-10-15 삼성전자 주식회사 전자 기기의 화면 전환 방법 및 장치
US20150062123A1 (en) 2013-08-30 2015-03-05 Ngrain (Canada) Corporation Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model
CN110908440A (zh) 2013-09-03 2020-03-24 苹果公司 用于可穿戴电子设备的表冠输入
US9875489B2 (en) 2013-09-11 2018-01-23 Cinsay, Inc. Dynamic binding of video content
EP3050030B1 (en) 2013-09-24 2020-06-24 Apple Inc. Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
CN105814516B (zh) 2013-10-11 2019-07-30 交互数字专利控股公司 注视驱动的增强现实
US20150193982A1 (en) 2014-01-03 2015-07-09 Google Inc. Augmented reality overlays using position and orientation to facilitate interactions between electronic devices
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US11314905B2 (en) 2014-02-11 2022-04-26 Xactware Solutions, Inc. System and method for generating computerized floor plans
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
WO2016017254A1 (ja) * 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR102223282B1 (ko) 2014-08-07 2021-03-05 엘지전자 주식회사 스마트 줄자를 구비한 이동 단말기 및 그의 물체 길이 측정 방법
EP3186784B1 (en) 2014-08-26 2021-10-27 Honeywell International Inc. Annotating three-dimensional displays
US9898868B2 (en) 2014-11-06 2018-02-20 Seiko Epson Corporation Display device, method of controlling the same, and program
JP6488653B2 (ja) 2014-11-07 2019-03-27 セイコーエプソン株式会社 表示装置、表示制御方法および表示システム
WO2016077798A1 (en) 2014-11-16 2016-05-19 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US20160147408A1 (en) 2014-11-25 2016-05-26 Johnathan Bevis Virtual measurement tool for a wearable visualization device
US9665960B1 (en) 2014-12-22 2017-05-30 Amazon Technologies, Inc. Image-based item location identification
US9728010B2 (en) 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
US9661308B1 (en) 2015-04-20 2017-05-23 Samsung Electronics Co., Ltd. Increasing tolerance of sensor-scanner misalignment of the 3D camera with epipolar line laser point scanning
US20160329006A1 (en) * 2015-05-04 2016-11-10 Microsoft Technology Licensing, Llc Interactive integrated display and processing device
US10197433B2 (en) 2015-06-15 2019-02-05 United States Postal Service Dimensional measuring system
US10799792B2 (en) 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
US20170053621A1 (en) 2015-08-20 2017-02-23 Microsoft Technology Licensing, Llc Roundtrip Reintegration of Asynchronous 3D Session
WO2017039308A1 (en) 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
US10049500B2 (en) 2015-09-22 2018-08-14 3D Product Imaging Inc. Augmented reality e-commerce for home improvement
NO3154008T3 (ja) 2015-10-09 2018-05-19
US10962780B2 (en) 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
CN105554247B (zh) * 2015-12-07 2019-05-14 魅族科技（中国）有限公司 测量方法、测量系统和终端
US9767606B2 (en) 2016-01-12 2017-09-19 Lenovo (Singapore) Pte. Ltd. Automatic modification of augmented reality objects
KR102559625B1 (ko) 2016-01-25 2023-07-26 삼성전자주식회사 증강 현실 출력 방법 및 이를 지원하는 전자 장치
EP3408848A4 (en) 2016-01-29 2019-08-28 Pointivo Inc. SYSTEMS AND METHOD FOR EXTRACTING INFORMATION ON OBJECTS FROM SCENE INFORMATION
US10257505B2 (en) 2016-02-08 2019-04-09 Microsoft Technology Licensing, Llc Optimized object scanning using sensor fusion
CN105608746B (zh) * 2016-03-16 2019-10-11 成都电锯互动科技有限公司 一种将现实进行虚拟实现的方法
US10296574B2 (en) 2016-03-28 2019-05-21 Microsoft Technology Licensing, Llc Contextual ink annotation in a mapping interface
US10367919B2 (en) 2016-03-31 2019-07-30 Verizon Patent And Licensing Inc. Methods and systems for efficient distribution of virtual reality media content
CN106020871A (zh) * 2016-05-11 2016-10-12 青岛海信移动通信技术股份有限公司 一种移动设备的屏幕启动方法和装置
WO2017215899A2 (en) 2016-05-27 2017-12-21 Holobuilder Inc, Augmented and virtual reality
US10268266B2 (en) * 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
US10445867B2 (en) 2016-07-13 2019-10-15 The Boeing Company System and method for generating enhanced stereographic videos of aircraft build processes
CN106251185A (zh) 2016-08-24 2016-12-21 四川见山科技有限责任公司 基于ue4引擎的vr房产展示与交互系统
EP3513374A4 (en) 2016-09-16 2020-05-27 Christopher Ghaleb GROUND PLAN VISUALIZATION SYSTEM
US10852936B2 (en) 2016-09-23 2020-12-01 Apple Inc. Devices, methods, and graphical user interfaces for a unified annotation layer for annotating content displayed on a device
US10332317B2 (en) 2016-10-25 2019-06-25 Microsoft Technology Licensing, Llc Virtual reality and cross-device experiences
KR101809440B1 (ko) 2016-11-21 2017-12-15 김승정 스마트 기기의 증강현실을 이용한 사이즈 측정 방법
KR101899981B1 (ko) 2016-12-02 2018-09-19 엘지전자 주식회사 차량용 헤드 업 디스플레이
US10540699B1 (en) 2016-12-05 2020-01-21 Amazon Technologies, Inc. Methods and systems for scene driven content creation
CN106920079B (zh) 2016-12-13 2020-06-30 阿里巴巴集团控股有限公司 基于增强现实的虚拟对象分配方法及装置
JP6794838B2 (ja) 2017-01-13 2020-12-02 コニカミノルタ株式会社 医用画像表示装置
US11132840B2 (en) 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
TWI616799B (zh) 2017-01-16 2018-03-01 宏碁股份有限公司 輸入裝置
WO2018164932A1 (en) 2017-03-08 2018-09-13 Vid Scale, Inc. Zoom coding using simultaneous and synchronous multiple-camera captures
US10249095B2 (en) 2017-04-07 2019-04-02 Microsoft Technology Licensing, Llc Context-based discovery of applications
US10692287B2 (en) 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US20180336732A1 (en) 2017-05-16 2018-11-22 Michael J. Schuster Augmented reality task identification and assistance in construction, remodeling, and manufacturing
US10777018B2 (en) 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
EP3639154A4 (en) 2017-06-15 2021-01-27 Tencent Technology (Shenzhen) Company Limited SYSTEM AND PROCEDURE FOR CUSTOMIZING A USER INTERFACE PANEL ON THE BASIS OF PHYSICAL SIZES
EP3639042A1 (en) 2017-06-16 2020-04-22 Tektronix, Inc. Test and measurement devices, systems and methods associated with augmented reality
US10304254B2 (en) 2017-08-08 2019-05-28 Smart Picture Technologies, Inc. Method for measuring and modeling spaces using markerless augmented reality
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
CN109802931B (zh) 2017-11-17 2021-08-06 腾讯科技（深圳）有限公司 一种通信处理方法、终端及存储介质
US10553031B2 (en) 2017-12-06 2020-02-04 Microsoft Technology Licensing, Llc Digital project file presentation
US20190180506A1 (en) 2017-12-11 2019-06-13 Tsunami VR, Inc. Systems and methods for adding annotations to virtual objects in a virtual environment
WO2019136315A2 (en) 2018-01-05 2019-07-11 Aquifi, Inc. Systems and methods for volumetric sizing
US10922862B2 (en) 2018-04-05 2021-02-16 Lenovo (Singapore) Pte. Ltd. Presentation of content on headset display based on one or more condition(s)
US10908769B2 (en) 2018-04-09 2021-02-02 Spatial Systems Inc. Augmented reality computing environments—immersive media browser
DK201870350A1 (en) 2018-05-07 2019-12-05 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
WO2019217148A1 (en) 2018-05-07 2019-11-14 Apple Inc. Devices and methods for measuring using augmented reality
AU2019100486B4 (en) 2018-05-07 2019-08-01 Apple Inc. Devices and methods for measuring using augmented reality
US10853946B2 (en) 2018-05-18 2020-12-01 Ebay Inc. Physical object boundary detection techniques and systems
US10977868B2 (en) 2018-06-29 2021-04-13 Factualvr, Inc. Remote collaboration methods and systems
US10896546B2 (en) 2018-07-11 2021-01-19 The Boeing Company Augmented reality system with an active portable anchor
TWI675583B (zh) 2018-07-23 2019-10-21 緯創資通股份有限公司 擴增實境系統及其色彩補償方法
CN112189220B (zh) 2018-09-26 2022-06-28 谷歌有限责任公司 用于计算机图形渲染的软遮挡
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
US10679420B2 (en) 2018-11-02 2020-06-09 General Motors Llc Augmented reality (AR) remote vehicle assistance
US11090561B2 (en) 2019-02-15 2021-08-17 Microsoft Technology Licensing, Llc Aligning location for a shared augmented reality experience
CN111815755B (zh) 2019-04-12 2023-06-30 Oppo广东移动通信有限公司 虚拟物体被遮挡的区域确定方法、装置及终端设备
US10999629B1 (en) 2019-04-23 2021-05-04 Snap Inc. Automated graphical image modification scaling based on rules
US10762716B1 (en) 2019-05-06 2020-09-01 Apple Inc. Devices, methods, and graphical user interfaces for displaying objects in 3D contexts
US11494953B2 (en) 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
JP2023504570A (ja) 2019-12-09 2023-02-03 マジック リープ， インコーポレイテッド 仮想コンテンツの簡略化されたプログラミングを伴うクロスリアリティシステム
US11204678B1 (en) 2019-12-11 2021-12-21 Amazon Technologies, Inc. User interfaces for object exploration in virtual reality environments
US11521063B1 (en) 2019-12-17 2022-12-06 Bae Systems Information And Electronic Systems Integration Inc. System and method for terminal acquisition with a neural network
US11003308B1 (en) 2020-02-03 2021-05-11 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US20210286502A1 (en) 2020-03-16 2021-09-16 Apple Inc. Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199560A (ja) 2010-03-19 2011-10-06 Nec Corp 携帯電話機およびスケール表示方法
WO2017134886A1 (ja) 2016-02-02 2017-08-10 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体

Also Published As

Publication number Publication date
CN116772727A (zh) 2023-09-19
DK201870350A1 (en) 2019-12-05
JP2021521557A (ja) 2021-08-26
DK201870352A1 (en) 2019-12-09
AU2022231686B2 (en) 2024-02-29
EP4328731A2 (en) 2024-02-28
AU2024202935A1 (en) 2024-05-23
CN113340199A (zh) 2021-09-03
US10444005B1 (en) 2019-10-15
US11073375B2 (en) 2021-07-27
AU2019267352B2 (en) 2021-08-19
US20210254962A1 (en) 2021-08-19
JP2022130583A (ja) 2022-09-06
US20190340799A1 (en) 2019-11-07
JP7097991B2 (ja) 2022-07-08
US20200232783A1 (en) 2020-07-23
US11073374B2 (en) 2021-07-27
AU2021240284A1 (en) 2021-10-28
AU2019267352A1 (en) 2020-11-05
AU2022231686A1 (en) 2022-10-06
US11808562B2 (en) 2023-11-07
EP4328731A3 (en) 2024-05-29
US11391561B2 (en) 2022-07-19
US20240011764A1 (en) 2024-01-11
KR20200140378A (ko) 2020-12-15
AU2021240284B2 (en) 2022-10-06
US20190339058A1 (en) 2019-11-07
CN113340199B (zh) 2023-06-20
DK201870351A1 (en) 2020-01-13
DK180640B1 (en) 2021-11-09
US10612908B2 (en) 2020-04-07
KR20230088517A (ko) 2023-06-19
US20220276041A1 (en) 2022-09-01
KR102543095B1 (ko) 2023-06-14
US20190339839A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
JP7467534B2 (ja) 拡張現実を使用して測定するためのデバイス及び方法
US20210333979A1 (en) Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
KR20230131953A (ko) 사용자 인터페이스들을 위한 촉각 피드백
AU2019100486A4 (en) Devices and methods for measuring using augmented reality
WO2019217148A1 (en) Devices and methods for measuring using augmented reality
AU2022201389B2 (en) Devices, methods, and graphical user interfaces for system-wide behavior for 3D models
EP3901741B1 (en) Devices and methods for measuring using augmented reality
CN109974581B (zh) 使用增强现实进行测量的设备和方法
KR102666508B1 (ko) 3d 모델들에 대한 시스템 전체 거동을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
KR20240075927A (ko) 3d 모델들에 대한 시스템 전체 거동을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220706

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230901

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240403

R150 Certificate of patent or registration of utility model

Ref document number: 7467534

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150