JP7072717B2 - 奥行きベースの注釈のためのデバイス、方法、およびグラフィカルユーザインターフェース - Google Patents
奥行きベースの注釈のためのデバイス、方法、およびグラフィカルユーザインターフェース Download PDFInfo
- Publication number
- JP7072717B2 JP7072717B2 JP2021510765A JP2021510765A JP7072717B2 JP 7072717 B2 JP7072717 B2 JP 7072717B2 JP 2021510765 A JP2021510765 A JP 2021510765A JP 2021510765 A JP2021510765 A JP 2021510765A JP 7072717 B2 JP7072717 B2 JP 7072717B2
- Authority
- JP
- Japan
- Prior art keywords
- cameras
- view
- field
- user interface
- still image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 162
- 230000033001 locomotion Effects 0.000 claims description 127
- 230000000007 visual effect Effects 0.000 claims description 114
- 230000004044 response Effects 0.000 claims description 110
- 230000015654 memory Effects 0.000 claims description 43
- 230000008859 change Effects 0.000 claims description 16
- 230000001976 improved effect Effects 0.000 description 46
- 230000008569 process Effects 0.000 description 43
- 238000001514 detection method Methods 0.000 description 36
- 238000005259 measurement Methods 0.000 description 35
- 230000009471 action Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 33
- 230000000977 initiatory effect Effects 0.000 description 33
- 238000012545 processing Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 24
- 238000003825 pressing Methods 0.000 description 23
- 230000002829 reductive effect Effects 0.000 description 22
- 230000002093 peripheral effect Effects 0.000 description 20
- 241001422033 Thestylus Species 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 241000699666 Mus <mouse, genus> Species 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 15
- 230000001965 increasing effect Effects 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 12
- 238000007726 management method Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000003213 activating effect Effects 0.000 description 7
- 238000009499 grossing Methods 0.000 description 7
- 230000001960 triggered effect Effects 0.000 description 7
- 230000003247 decreasing effect Effects 0.000 description 6
- 230000005484 gravity Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000008685 targeting Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 241000699670 Mus sp. Species 0.000 description 3
- 206010034719 Personality change Diseases 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000021317 sensory perception Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 230000005355 Hall effect Effects 0.000 description 1
- HVYLDJKDVOOTHV-UHFFFAOYSA-N acetic acid;2-iminoethanethiol Chemical compound CC(O)=O.CC(O)=O.SCC=N HVYLDJKDVOOTHV-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 235000019577 caloric intake Nutrition 0.000 description 1
- ZPUCINDJVBIVPJ-LJISPDSOSA-N cocaine Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000005201 scrubbing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
- A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi® or piconet
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/812—Ball games, e.g. soccer or baseball
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
- A63F13/92—Video game devices specially adapted to be hand-held while playing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/60—3D [Three Dimensional] animation of natural phenomena, e.g. rain, snow, water or plants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本出願は、概して、物理的環境の画像を表示する電子デバイスに関する。電子デバイスは、画像内にキャプチャされた物理的環境内の空間的位置に対応する画像内の空間的位置に注釈を表示する電子デバイスを含むが、それに限定されない。
拡張メディア(augmented media)のためのコンピュータシステムの開発は、近年顕著に進んでいる。拡張メディアの例としては、物理世界を置換または拡張する少なくともいくつかの仮想要素を含む拡張現実環境、および画像およびビデオコンテンツなどの記憶されたメディアを置換または拡張する少なくともいくつかの仮想要素を含む拡張された記憶済メディア(augmented stored meida)が含まれる。コンピュータシステムおよび他の電子コンピューティングデバイスのタッチ感知面などの入力デバイスがメディアを拡張するために使用される。例示的なタッチ感知面としては、タッチパッド、タッチ感知遠隔制御装置、およびタッチスクリーンディスプレイが挙げられる。これらの表面を使用して、ディスプレイ上で、ユーザインターフェースおよびその中のオブジェクトを操作する。例示的なユーザインターフェースオブジェクトは、デジタル画像、ビデオ、テキスト、アイコン、および、（ボタンおよびその他のグラフィックなどの）制御要素を含む。
しかしながら、メディアを拡張するための方法およびインターフェースは、煩雑で非効率的であり、限定されている。例えば、物理的環境の一部分に対して固定された空間的位置を有するユーザ入力注釈などの拡張は、ユーザのデバイスの現在のカメラビューが物理的環境の一部分に対応しない場合に位置を特定することがユーザにとって困難であり得る。拡張を検索することにより、ユーザに著しい認識的負担が生じ、拡張メディアを用いる経験を棄損する。加えて、記憶されたメディア（例えば、以前にキャプチャされたビデオ）の拡張入力を提供することは、拡張入力が、記憶されたメディアの様々な部分に対して別個に提供されなければならない場合に、時間集約的である。加えて、それらの方法は必要以上に時間がかかり、それによってエネルギを浪費する。後者の問題は、バッテリ動作式デバイスにおいては特に重大である。
したがって、メディアデータを拡張するための改善された方法およびインターフェースを備えたコンピュータシステムが必要とされている。そのような方法およびインターフェースは、メディアデータを拡張するための従来の方法を任意選択的に補完するまたは置き換える。そのような方法およびインターフェースは、ユーザからの入力の数、範囲、および／または種類を削減し、より効率的なヒューマンマシンインターフェースを生成する。バッテリ動作デバイスに関しては、そのような方法およびインターフェースは、電力を節約し、バッテリ充電間の時間を延ばす。
仮想オブジェクトおよび／または注釈入力を用いてメディアデータを拡張するためのインターフェースに関連する上記の欠陥および他の問題は、開示されたコンピュータシステムによって低減または排除される。いくつかの実施形態では、コンピュータシステムは、デスクトップコンピュータを含む。いくつかの実施形態では、コンピュータシステムは、ポータブルである（例えばノートブックコンピュータ、タブレットコンピュータ、またはハンドヘルドデバイスである）。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス（例えば腕時計などのウェアラブル電子デバイス）を含む。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する（かつ／またはこれと通信している）。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ（「タッチスクリーン」または「タッチスクリーンディスプレイ」とも呼ばれる）を有する（かつ／またはこれと通信している）。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインターフェース（ＧＵＩ）、１つ以上のプロセッサ、メモリ、および複数の機能を実行するためのメモリに記憶された１つ以上のモジュール、プログラム、または命令セットを有する。いくつかの実施形態では、ユーザは、部分的には、タッチ感知面におけるスタイラスおよび／または指による接触およびジェスチャを通してＧＵＩと相互作用する。いくつかの実施形態では、機能は、任意選択的に、ゲームプレイ、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシート作成、電話、ビデオ会議、電子メール、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽再生、メモ取り、および／またはデジタルビデオ再生を含む。それらの機能を実行する実行可能命令は任意選択で、非一時的コンピュータ可読記憶媒体または１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
いくつかの実施形態によれば、方法は、表示生成要素、１つ以上の入力デバイス、および１つ以上のカメラを有するコンピュータシステムで実行される。本方法は、表示生成要素を介して、経時的な１つ以上のカメラの視野の変化と共に更新される１つ以上のカメラの視野の表現を含む第１のユーザインターフェース領域を表示することを含む。本方法は、１つ以上のカメラの視野の表現を含む第１のユーザインターフェース領域を表示している間に、１つ以上の入力デバイスを介して、１つ以上のカメラの視野の表示された表現に注釈を追加する第１の要求を受信することを更に含む。本方法は、１つ以上のカメラの視野の表示された表現に注釈を追加する第１の要求に応じて、第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現の表示を、注釈を追加するための第１の要求の受信に対応する時間にキャプチャされた１つ以上のカメラの視野の静止画で置き換えることを更に含む。本方法は、第１のユーザインターフェース領域内に静止画を表示している間に、１つ以上の入力デバイスを介して、静止画の第１の部分上の第１の注釈を受信することを更に含み、静止画の第１の部分は、静止画内にキャプチャされた物理的環境の第１の部分に対応する。本方法は、第１のユーザインターフェース領域内の静止画の第１の部分上に第１の注釈を表示している間に、１つ以上の入力デバイスを介して、第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現を再表示する第１の要求を受信することを更に含む。本方法は、第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現を再表示する第１の要求を受信したことに応じて、静止画の表示を第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現と置き換えることを更に含む。本方法は、静止画内にキャプチャされた物理的環境の第１の部分が、現在、１つ以上のカメラの視野外にあるとの判定に従って、１つ以上のカメラの視野の表現と同時に、静止画内にキャプチャされた物理的環境の第１の部分に対する１つ以上のカメラの現在の空間的関係のインジケーションを表示することと、静止画内にキャプチャされた物理的環境の第１の部分が、現在、１つ以上のカメラの視野内にあるとの判定に従って、インジケーションの表示を見合わせることと、を更に含む。
いくつかの実施形態では、方法が、表示生成要素と、１つ以上の入力デバイスと、を有するコンピュータシステムにおいて実行される。本方法は、表示生成要素を介して、ビデオ再生領域を含むユーザインターフェースをディスプレイに表示することを含む。本方法は、ビデオ再生領域内のビデオの第１の部分の再生を表示している間に、１つ以上の入力デバイスを介して、ビデオ再生に注釈を追加する要求を受信することを更に含む。方法は、注釈を追加する要求を受信したことに応じて、ビデオ内の第１の位置でのビデオの再生を一時停止することと、ビデオの第１の一時停止位置に対応する静止画を表示することと、を更に含む。本方法は、静止画を表示している間に、１つ以上の入力デバイスを介して、静止画内にキャプチャされた物理的環境の第１の部分上の注釈を受信することを更に含む。本方法は、注釈を受信した後に、ビデオ再生領域内に、ビデオ内の第１の位置とは異なる、ビデオの第２の位置に対応するビデオの第２の部分を表示することを更に含み、物理的環境の第１の部分は、ビデオの第２の部分にキャプチャされ、注釈がビデオの第２の部分に表示される、ことを更に含む。
いくつかの実施形態では、方法が、表示生成要素と、１つ以上の入力デバイスと、を有するコンピュータシステムにおいて実行される。本方法は、表示生成要素を介して、１つ以上の第１の画像を含む第１の以前にキャプチャされたメディアオブジェクトを表示することを含み、第１の以前にキャプチャされたメディアオブジェクトは、１つ以上の第１の画像のそれぞれにキャプチャされた第１の物理的環境に対応する第１の奥行きデータと共に記憶された。本方法は、第１の以前にキャプチャされたメディアオブジェクトを表示している間に、１つ以上の入力デバイスを介して第１のユーザ要求を受信することと、第１の以前にキャプチャされたメディアオブジェクトに第１の仮想オブジェクトを追加することと、を更に含む。本方法は、第１の仮想オブジェクトを第１の以前にキャプチャされたメディアオブジェクトに追加する第１のユーザ要求に応じて、第１の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像の少なくとも一部分の上に第１の仮想オブジェクトを表示することを更に含み、第１の仮想オブジェクトは、第１の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像に対応する第１の奥行きデータを使用して判定される、少なくとも第１の位置または向きで表示される。
いくつかの実施形態によれば、方法は、表示生成要素、第１のセットの１つ以上の入力デバイス、および第１のセットの１つ以上のカメラを有するコンピュータシステムで実行される。本方法は、第２の表示生成要素と、第２のセットの１つ以上の入力デバイスと、第２のセットの１つ以上のカメラとを含む第２のデバイスと共有注釈セッションを開始する要求をリモートデバイスに送信することを含む。本方法は、第２のデバイスとの共有注釈セッションを開始する要求を送信したことに応じて、共有注釈セッションを開始する要求の受諾のインジケーションを受信することを更に含む。本方法は、共有注釈セッションを開始する要求の受諾のインジケーションを受信したことに応じて、第１の表示生成要素を介して、第１のデバイスを第２のデバイスに向かって移動させる第１のプロンプトを表示することを更に含む。本方法は、第１のプロンプトを表示した後に、第１のデバイスおよび第２のデバイスの接続基準が満たされたとの判定に従って、第２のデバイスとの共有注釈セッションにおける第１のカメラセットの視野の表現を表示することを更に含み、接続基準は、第１のデバイスの視野の少なくとも一部分および第２のデバイスの視野の一部分が、第１および第２のデバイスを取り囲む物理的環境の同じ部分に対応することを必要とする。本方法は、共有注釈セッション中に、それぞれの位置が第１のカメラセットの視野内に含まれる場合、第１のデバイスによる物理的環境内のそれぞれの位置を対象とする注釈入力に対応する１つ以上の第１の仮想注釈が、第１の表示生成要素を介して表示され、第２のデバイスによる物理的環境内のそれぞれの位置を対象とする注釈入力に対応する１つ以上の第２の仮想注釈が、第１の表示生成要素を介して表示されることを更に含む。
いくつかの実施形態によれば、電子デバイスは、表示生成要素と、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な姿勢の変化を検出する１つ以上の姿勢センサと、１つ以上のプロセッサと、１つ以上のプログラムを記憶したメモリとを含み、１つ以上のプログラムは、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書で説明される方法のいずれかの動作を実行しまたは実行させる命令を含む。いくつかの実施形態によれば、コンピュータ可読記憶媒体は、命令を記憶しており、これらの命令は、表示生成要素と、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な１つ以上の姿勢センサとを備えた電子デバイスによって実行されたときに、このデバイスに、本明細書に記載する方法のうちのいずれかの動作を実行させる、またはその実行を引き起こさせる。いくつかの実施形態によれば、表示生成要素と、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な１つ以上の姿勢センサと、メモリと、メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサとを備えた電子デバイスのグラフィカルユーザインターフェースは、本明細書に記載する方法のうちのいずれかに記載するように、入力に含む更新される本明細書に記載する方法のいずれかで表示される要素のうちの１つ以上を含む。いくつかの実施形態によれば、電子デバイスは、表示生成要素と、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な姿勢の変化を検出する１つ以上の姿勢センサと、本明細書に記載する方法のうちのいずれかの動作を実行する、またはその実行を引き起こす手段とを含む。いくつかの実施形態によれば、表示生成要素と、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な姿勢の変化を検出する１つ以上の姿勢センサとを備えた電子デバイスで使用される情報処理装置は、本明細書に記載する方法のうちのいずれかの動作を実行する、またはその実行を引き起こす手段を含む。
したがって、表示生成要素と、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な１つ以上の姿勢センサとを備えた電子デバイスに、様々なコンテキストで仮想オブジェクトを表示するための改善された方法およびインターフェースが与えられ、これにより、これらのデバイスの有効性、効率、およびユーザ満足度が向上する。これらの方法およびインターフェースは、様々なコンテキストで仮想オブジェクトを表示する従来の方法を補完する、またはそれらに取って代わることができる。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
メディアを拡張する従来の方法は、多くの場合、意図された結果（例えば、記憶されたビデオまたはライブビデオフィードの一部分を注釈すること、および／または記憶されたメディア内の物理オブジェクトの表面に対応する位置に仮想オブジェクトを表示すること）を達成するために、複数の別個の入力（例えば、複数のフレームの個々の注釈および／またはメディア内のオブジェクトに対する拡張の配置）を必要とすることが多い。本明細書の実施形態は、ユーザが、デバイスの１つ以上のカメラによってキャプチャされた、記憶されたコンテンツ、静止画、および／またはライブビデオなどのメディアを拡張するための直感的な方法を提供する（例えば、画像データと共に記憶および／またはキャプチャされた奥行きデータを使用して、拡張を配置し、拡張とカメラの視野内の物理的環境の部分との間の一定の空間的関係を維持する）。
本明細書に記載するシステム、方法、およびＧＵＩは、複数の方法で拡張メディアについてのユーザインターフェース相互作用を改善する。例えば、それらは、注釈を再配置し、ビデオに注釈を付け、仮想オブジェクトを以前にキャプチャされたメディアに追加し、共有注釈セッションを開始することをより容易にする。
以下、図１Ａ～図１Ｃ、図２、および図３は、例示的なデバイスの説明を提供する。図４Ａ～図４Ｂ、図５Ａ～図５ＡＦ、図６Ａ～図６Ｎ、図７Ａ～図７ＢＦ、および図８Ａ～図８Ｗは、様々なコンテキストで仮想オブジェクトを表示する例示的なユーザインターフェースを示す。図９Ａ～図９Ｆは、注釈を再配置するためのプロセスを示す。図１０Ａ～図１０Ｂは、ビデオの一時停止位置に対応する静止画内にキャプチャされた物理的環境の一部分上に注釈を受信するためのプロセスを示す。図１１Ａ～図１１Ｆは、仮想オブジェクトを以前にキャプチャされたメディアオブジェクトに追加するプロセスを示す。図１２Ａ～図１２Ｄは、共有注釈セッションを開始するためのプロセスを示す。図５Ａ～図５ＡＦ、図６Ａ～図６Ｎ、図７Ａ～図７ＢＦ、および図８Ａ～図８Ｗのユーザインターフェースは、図９Ａ～図９Ｆ、図１０Ａ～図１０Ｂ、図１１Ａ～図１１Ｆ、および図１２Ａ～図１２Ｄのプロセスを示すために使用される。
例示的なデバイス
例示的なデバイス
ここで、添付図面に実施例が示される実施形態への詳細な参照が行われる。以下の詳細な説明では、説明される様々な実施形態の完全な理解を提供するために数多くの具体的な詳細が記載されている。しかしながら、記載されている様々な実施形態は、これらの具体的な詳細を伴わずとも実践し得ることが、当業者には明らかであろう。他の例では、周知の方法、手順、構成要素、回路、およびネットワークは、実施形態の態様を不必要に不明瞭にしないよう詳細には説明されていない。
本明細書では、第１、第２などの用語は、いくつかの実施例で、様々な要素を説明するために使用されるが、これらの要素は、それらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第１の接触は、第２の接触と称することができ、同様に、第２の接触は、第１の接触と称し得る。第１の接触および第２の接触は両方とも接触であるが、文脈がそうではないことを明確に示さない限り、それらは同じ接触ではない。
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明および添付の特許請求の範囲では、単数形の「ａ（１つ、一）」、「ａｎ（１つ、一）」、および「ｔｈｅ（その、この）」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「および／または」は、関連する列挙された項目のうちの１つ以上のいずれかおよび全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」、および／または「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、および／または構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を除外しないことが更に理解されるであろう。
本明細書に記載される場合、用語「ｉｆ（～の場合）」は、任意選択で、文脈に依存して「ｗｈｅｎ（～のとき）」、「ｕｐｏｎ（～すると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～と判定したことに応じて）」、または「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（～を検出したことに応じて）」を意味するものと解釈される。同様に、「～と判定された場合（if it is determined）」または「［記載の状態またはイベント］が検出された場合（if[a stated condition or event]is detected）」という語句は、任意選択的に、文脈に応じて、「～と判定したとき（upon determining）」若しくは「～と判定したことに応じて（in response to determining）」、または「［記載の状態またはイベント］を検出したとき（upon detecting[the stated condition or event]）」若しくは「［記載の状態またはイベント］を検出したことに応じて（in response to detecting[the stated condition or event]）」を意味すると解釈される。
電子デバイス、そのようなデバイス用のユーザインターフェース、およびそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、ＰＤＡ機能および／または音楽プレイヤー機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、およびｉＰａｄ（登録商標）デバイスを含むが、これらに限定されない。タッチ感知面（例えば、タッチスクリーンディスプレイおよび／またはタッチパッド）を有するラップトップまたはタブレットコンピュータなどの他のポータブル電子デバイスが任意選択で使用される。いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイおよび／またはタッチパッド）を有するデスクトップコンピュータであることも理解されたい。
以下の論考では、ディスプレイおよびタッチ感知面を含む電子デバイスについて説明する。しかしながら、電子デバイスは任意選択で、物理キーボード、マウス、および／またはジョイスティックなどの、１つ以上の他の物理ユーザインターフェースデバイスを含むことを理解されたい。
デバイスは、一般的に、メモ取りアプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、ビデオ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレイヤーアプリケーションおよび／またはデジタルビデオプレイヤーアプリケーションのうちの１つ以上などの様々なアプリケーションをサポートする。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインターフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーションごとに、および／またはそれぞれのアプリケーション内で、任意選択的に、調整および／または変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザにとって直観的かつ透明なユーザインターフェースを備える様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、いくつかの実施形態に係る、タッチ感知ディスプレイシステム１１２を有するポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイシステム１１２は、便宜上「タッチスクリーン」と呼ばれる場合があり、単にタッチ感知ディスプレイと呼ばれる場合もある。デバイス１００は、メモリ１０２（任意選択で、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インターフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、その他の入力または制御デバイス１１６、および外部ポート１２４を含む。デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。デバイス１００は任意選択で、デバイス１００（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）上の接触の強度を検出する１つ以上の強度センサ１６５を含む。デバイス１００は、任意選択的に、デバイス１００上で触知出力を生成する（例えばデバイス１００のタッチ感知ディスプレイシステム１１２またはデバイス３００のタッチパッド３５５などのタッチ感知面上で触知出力を生成する）１つ以上の触知出力生成器１６７を含む。これらの構成要素は、任意選択的に、１つ以上の通信バスまたは信号ライン１０３を介して通信する。
デバイス１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス１００は、任意選択的に、示されているものよりも多くの構成要素または少ない構成要素を有するものであり、任意選択的に、２つ以上の構成要素を組み合わせるものであり、または、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路および／または特定用途向け集積回路を含む、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせで実装される。
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、または他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。ＣＰＵ（単数または複数）１２０および周辺機器インターフェース１１８などのデバイス１００の他の構成要素によるメモリ１０２へのアクセスは任意選択で、メモリコントローラ１２２により制御される。
周辺機器インターフェース１１８が使用され、デバイスの入力および出力周辺機器を、ＣＰＵ（単数または複数）１２０およびメモリ１０２と結合することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラムおよび／または命令セットを動作させるまたは実行して、デバイス１００のための様々な機能を実行し、データを処理する。
いくつかの実施形態では、周辺機器インターフェース１１８、ＣＰＵ（単数または複数）１２０、およびメモリコントローラ１２２は任意選択で、チップ１０４などの単一チップ上で実装される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
ＲＦ（radio frequency）（無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号にまたは電磁信号を電気信号に変換し、電磁信号を介して通信ネットワークおよび他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリなどが挙げられる。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／またはセルラー電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）および／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。無線通信は任意選択で、移動通信のためのグローバルシステム（Global System for Mobile Communications、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケット接続（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケット接続（high-speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ，Ｄａｔａ－Ｏｎｌｙ（ＥＶ－ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（Dual-Cell HSPA、ＤＣ－ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離無線通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ－ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ－Ｆｉ）（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ａｃ、ＩＥＥＥ ８０２．１１ａｘ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、および／若しくはＩＥＥＥ ８０２．１１ｎ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ－ＭＡＸ、電子メールのためのプロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）および／若しくはポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージングおよびプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージングおよびプレゼンス利用拡張向けセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージングおよびプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、並びに／またはショートメッセージサービス（Short Message Service、ＳＭＳ）、あるいは本文書の出願日現在までにまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含むが、それらに限定されない、複数の通信規格、通信プロトコル、および通信技術のうちのいずれかを使用する。
オーディオ回路１１０、スピーカ１１１、およびマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインターフェースを提供する。オーディオ回路１１０は、周辺機器インターフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に送信する。スピーカ１１１は電気信号を人間の可聴音波に変換する。また、オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インターフェース１１８に送信する。オーディオデータは、任意選択的に、周辺機器インターフェース１１８によって、メモリ１０２および／若しくはＲＦ回路１０８から取得され、かつ／またはメモリ１０２および／若しくはＲＦ回路１０８に伝送される。いくつかの実施形態では、オーディオ回路１１０は、更にヘッドセットジャック（例えば、２１２、図２）も含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホンまたは出力（例えば片耳または両耳用のヘッドホン）および入力（例えばマイクロフォン）の両方を備えるヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインターフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチ感知ディスプレイシステム１１２およびその他の入力または制御デバイス１１６などのデバイス１００上の入出力周辺機器を周辺機器インターフェース１１８と結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、および他の入力若しくは制御デバイスのための１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は他の入力または制御デバイス１１６から電気信号を受信し、それらへ電気信号を送信する。その他の入力または制御デバイス１１６は任意選択で、物理的ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替的実施形態では、入力コントローラ（単数または複数）１６０は任意選択で、キーボード、赤外線ポート、ＵＳＢポート、スタイラス、および／またはマウスなどのポインタデバイスのうちのいずれかと結合される（または、いずれにも結合されない）。１つ以上のボタン（例えば、２０８、図２）は、任意選択で、スピーカ１１１および／またはマイクロフォン１１３の音量制御のためのアップ／ダウンボタンを含む。１つ以上のボタンは、任意選択で、プッシュボタン（例えば、２０６、図２）を含む。
タッチ感知ディスプレイシステム１１２は、デバイスとユーザの間の入力インターフェースおよび出力インターフェースを提供する。ディスプレイコントローラ１５６は、タッチ感知ディスプレイシステム１１２から電気信号を受信し、および／またはタッチ感知ディスプレイシステム１１２へ電気信号を送信する。タッチ感知ディスプレイシステム１１２は、ユーザに視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、ビデオ、およびそれらの任意の組み合わせ（総称して「グラフィック」）を任意選択的に含む。いくつかの実施形態では、視覚出力の一部または全ては、ユーザインターフェースオブジェクトに対応する。本明細書で使用されるように、用語「アフォーダンス」は、ユーザ－対話形式のグラフィカルユーザインターフェースオブジェクト（例えば、グラフィカルユーザインターフェースオブジェクトに向かって方向付けられた入力に応答するように構成されているグラフィカルユーザインターフェースオブジェクト）を指す。ユーザ対話形式のグラフィカルユーザインターフェースオブジェクトの例は、ボタン、スライダ、アイコン、選択可能メニュー項目、スイッチ、ハイパーリンク、またはその他のユーザインターフェース制御を含むが、それらに限定されない。
タッチ感知ディスプレイシステム１１２は、触覚および／または触知の接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、またはセンサのセットを有する。（メモリ１０２内の任意の関連するモジュールおよび／または命令セットと共に）タッチ感知ディスプレイシステム１１２およびディスプレイコントローラ１５６は、タッチ感知ディスプレイシステム１１２上の接触（および、接触の任意の移動または中断）を検出し、検出された接触をタッチ感知ディスプレイシステム１１２上で表示されるユーザインターフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ、または画像）との相互作用に変換する。いくつかの実施形態では、タッチ感知ディスプレイシステム１１２とユーザとの間の接触点は、ユーザの指またはスタイラスに対応する。
タッチ感知ディスプレイシステム１１２は任意選択で、ＬＣＤ（liquid crystal display）（液晶ディスプレイ）技術、ＬＰＤ（light emitting polymer display）（発光ポリマディスプレイ）技術、またはＬＥＤ（light emitting diode）（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチ感知ディスプレイシステム１１２およびディスプレイコントローラ１５６は任意選択で、容量技術、抵抗性技術、赤外線技術、および表面音響波技術、並びに、タッチ感知ディスプレイシステム１１２との１つ以上の接触点を判定するためのその他の近接センサアレイまたは他の要素を含むが、これらに限定されない、現在既知のまたは後に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触およびその任意の移動または中断を検出する。いくつかの実施形態では、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、およびｉＰａｄ（登録商標）などにおいて見られるような、投影型相互キャパシタンス検知技術が使用される。
タッチ感知ディスプレイシステム１１２は任意選択で、１００ｄｐｉを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンのビデオ解像度は、４００ｄｐｉを超える（例えば、５００ｄｐｉ、８００ｄｐｉ、またはそれより高い）。ユーザは任意選択で、スタイラス、指などの任意の適切なオブジェクトまたは付属物を使用して、タッチ感知ディスプレイシステム１１２と接触する。いくつかの実施形態では、ユーザインターフェースは、指に基づく接触およびジェスチャで機能するように設計されるが、これらは、タッチスクリーン上での指の接触面積がスタイラスの接触面積よりも大きいことに起因して、スタイラスに基づく入力よりも精度が低い場合がある。一部の実施形態では、デバイスは、指による粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ／カーソルの位置またはコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化または非アクティブ化するためのタッチパッド（図示せず）を含む。一部の実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは任意選択で、タッチ感知ディスプレイシステム１１２と分離したタッチ感知面、またはタッチスクリーンによって形成されたタッチ感知面の延長である。
デバイス１００は、様々な構成要素に電力を供給する電力システム１６２も含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータまたはインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、および分配に関連付けられた任意の他の構成要素を含む。
また、デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８と結合された光センサを示す。光センサ（単数または複数）１６４は、任意選択で、電荷結合デバイス（ＣＣＤ）または相補的金属酸化物半導体（ＣＭＯＳ）フォトトランジスタを含む。光センサ（単数または複数）１６４は、１つ以上のレンズを通じて投影された、環境からの光を受信し、画像を表すデータに光を変換する。撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、光センサ（単数または複数）１６４は任意選択で、静止画および／またはビデオをキャプチャする。いくつかの実施形態では、タッチスクリーンを静止画および／またはビデオ画像取得のためのビューファインダとして使用することができるように、光センサは、デバイスの前面上のタッチ感知ディスプレイシステム１１２の反対である、デバイス１００の背面上に配置される。いくつかの実施形態では、ユーザの画像が取得されるように（例えば、自撮りのため、ユーザがタッチスクリーン上で他のテレビ会議参加者を見ている間のテレビ会議のためなど）、別の光センサがデバイスの前面に配置される。
デバイス１００はまた、任意選択的に、１つ以上の接触強度センサ１６５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９と結合された接触強度センサを示す。接触強度センサ（単数または複数）１６５は、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、または他の強度センサ（例えば、タッチ感知面上の接触の力（若しくは圧力）を測定するために使用されるセンサ）を任意選択で含む。接触強度センサ（単数または複数）１６５は、環境から接触強度情報（例えば、圧力情報または圧力情報のためのプロキシ）を受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、またはそれに近接される。いくつかの実施形態では、少なくとも１つの接触強度センサは、デバイス１００の前面上に位置するタッチスクリーンディスプレイシステム１１２の反対である、デバイス１００の背面上に配置される。
また、デバイス１００は、任意選択的に、１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インターフェース１１８と結合された近接センサ１６６を示す。代わりに、近接センサ１６６は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０と結合される。いくつかの実施形態では、多機能デバイスがユーザの耳の近くに配置されるとき（例えば、ユーザが電話通話を行っているとき）、近接センサは、タッチ感知ディスプレイシステム１１２をターンオフおよび無効にする。
デバイス１００はまた、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１と結合され触知出力生成器を示す。いくつかの実施形態では、触知出力生成器（単数または複数）１６７は、スピーカ若しくは他のオーディオ構成要素などの１つ以上の電気音響デバイス、および／またはモータ、ソレノイド、電気活性ポリマ、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などの、エネルギを線形の動きに変換する電気機械デバイスを含む。触知出力生成器（単数または複数）１６７は、触覚フィードバックモジュール１３３から触知フィードバック生成命令を受信し、デバイス１００のユーザが感知できる触知出力をデバイス１００上に生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）と並置される、またはそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、または水平方向（例えば、デバイス１００の表面と同じ平面内の前後）に移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス１００の前面上に位置するタッチ感知ディスプレイシステム１１２の反対である、デバイス１００の背面上に配置される。
また、デバイス１００は、任意選択的に、１つ以上の加速度計１６８を含む。図１Ａは、周辺機器インターフェース１１８と結合された加速度計１６８を示す。代わりに、加速度計１６８は任意選択で、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０と結合される。いくつかの実施形態では、情報は、１つ以上の加速度計から受信されたデータの分析に基づいて、縦長ビューまたは横長ビュー内でタッチスクリーンディスプレイ上に表示される。デバイス１００は、任意選択的に、加速度計（単数または複数）１６８に加えて、磁気計（図示せず）、並びにデバイス１００の位置および向き（例えば、縦向きまたは横向き）に関する情報を取得するためのＧＰＳ（またはＧＬＯＮＡＳＳ若しくは他のグローバルナビゲーションシステム）受信機（図示せず）を含む。
いくつかの実施形態では、メモリ１０２に記憶されたソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（または、命令セット）１２８、接触／動きモジュール（または、命令セット）１３０、グラフィックモジュール（または、命令セット）１３２、触覚フィードバックモジュール（または、命令セット）１３３、テキスト入力モジュール（または、命令セット）１３４、全地球測位システム（Global Positioning System）（ＧＰＳ）モジュール（または、命令セット）１３５、およびアプリケーション（または、命令セット）１３６を含む。更に、いくつかの実施形態では、図１Ａおよび図３に示されるように、メモリ１０２は、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、または他の情報がタッチ感知ディスプレイシステム１１２の様々な領域を占有しているかを示す表示状態、デバイスの様々なセンサおよびその他の入力または制御デバイス１１６から取得される情報を含むセンサ状態、並びにデバイスの位置および／または姿勢に関する位置および／若しくは位置情報、のうちの１つ以上を含む。
オペレーティングシステム１２６（例えば、ｉＯＳ、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ（登録商標）、ＯＳ Ｘ、ＷＩＮＤＯＷＳ（登録商標）、またはＶｘＷｏｒｋｓなどの組み込みオペレーティングシステム）は、全体的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御および管理するための様々なソフトウェア構成要素および／またはドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素の間の通信を促進する。
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８および／または外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、またはネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに結合するように適合されている。いくつかの実施形態では、外部ポートは、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのいくつかのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、およびｉＰａｄ（登録商標）デバイス内で使用される３０ピンコネクタと同一若しくは類似した、および／または互換性のあるマルチピン（例えば、３０ピン）コネクタである。いくつかの実施形態では、外部ポートは、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのいくつかのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、およびｉＰａｄ（登録商標）デバイスにおいて使用されるＬｉｇｈｔｎｉｎｇコネクタと同一若しくは類似した、および／または互換性のあるＬｉｇｈｔｎｉｎｇコネクタである。
接触／動きモジュール１３０は任意選択で、タッチ感知ディスプレイシステム１１２との接触（ディスプレイコントローラ１５６と連携して）、および他のタッチ感知デバイスとの接触（例えば、タッチパッドまたは物理クリックホイール）を検出する。接触／動きモジュール１３０は、接触が発生したかを判定すること（例えば、指ダウンイベントを検出する）、接触の強度を判定すること（例えば、接触の力若しくは圧力、または接触の力若しくは圧力に代替するもの）、接触の移動があるかを判定することおよびタッチ感知面を横切る移動を追跡すること（例えば、１つ以上の指のドラッグイベントを検出する）、および接触が終了したかどうかを判定すること（例えば、指アップイベントまたは接触の中断を検出する）などの、接触の検出（例えば、指またはスタイラスによる）に関連する様々な動作を実行するためのソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさおよび方向）、および／または加速度（大きさおよび／または方向の変化）を判定することを含む。これらの動作は、任意選択で、単一の接触（例えば、１本の指の接触またはスタイラスの接触）または複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０およびディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
接触／動きモジュール１３０は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、および／または強度が異なる）。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指のタップジェスチャを検出することは、フィンガダウンイベントを検出し、続いて（例えば、アイコンの位置での）そのフィンガダウンイベントと同一の位置（または、実質的に同一の位置）でのフィンガアップ（リフトオフ）イベントを検出することを含む。別の実施例として、タッチ感知面上の指のスワイプジェスチャを検出することは、フィンガダウンイベントを検出し、続いて１つ以上の指のドラッグイベントを検出し、その後、フィンガアップ（リフトオフ）イベントを検出することを含む。同様に、タップ、スワイプ、ドラッグ、および他のジェスチャは、任意選択で、スタイラスに対して、スタイラスに対する特定の接触パターンを検出することにより、検出される。
いくつかの実施形態では、指のタップジェスチャを検出することは、指ダウンイベントを検出することと指アップイベントを検出することとの間の時間の長さに依存するが、指ダウンイベントを検出することと指アップイベントを検出することとの間の指の接触の強度とは関連しない。いくつかの実施形態では、タップジェスチャは、タップの間の指の接触の強度が、浅い押圧または深い押圧強度閾値などの所与の強度閾値を満たす（名目上の接触検出強度閾値よりも大きい）かに関わらず、指ダウンイベントと指アップイベントの間の時間の長さが予め定められた値よりも短い（例えば、０．１、０．２、０．３、０．４または０．５秒よりも短い）との判定に従って検出される。したがって、指のタップジェスチャは、特定の入力基準が満たされるために、接触の特性強度が所与の強度閾値を満たすことを必要としない特定の入力基準を満たすことができる。明確にするために、タップジェスチャにおける指の接触は一般的に、指ダウンイベントを検出するために、それを下回ると接触が検出されない名目上の接触検出強度閾値を満たす必要がある。同様の分析は、スタイラスによるタップジェスチャまたは他の接触を検出することに適用される。デバイスがタッチ感知面上をホバリングする指またはスタイラスの接触を検出することが可能なケースでは、名目上の接触検出強度閾値は任意選択で、指またはスタイラスとタッチ感知面の間の物理的接触に対応しない。
同様の方式で、同一の概念が他のタイプのジェスチャに適用される。例えば、スワイプジェスチャ、ピンチジェスチャ、デピンチジェスチャ、および／または長い押圧ジェスチャは任意選択で、ジェスチャに含まれる接触の強度と関係しない、または認識されるためにジェスチャを実行する接触が強度閾値に到達することを必要としないのいずれかである基準を満たすことに基づいて検出される。例えば、スワイプジェスチャは、１つ以上の接触の移動量に基づいて検出され、ピンチジェスチャは、相互に向かう２つ以上の接触の移動に基づいて検出され、デピンチジェスチャは、相互に離れる２つ以上の接触の移動に基づいて検出され、長い押圧ジェスチャは、閾値移動量よりも小さいタッチ感知面上の接触の期間に基づいて検出される。したがって、特定のジェスチャ認識基準が満たされるために、接触（単数または複数）の強度が対応する強度閾値を満たすことを特定のジェスチャ認識基準が必要としないという記述は、ジェスチャにおける接触（複数可）が対応する強度閾値に到達しない場合に特定のジェスチャ認識基準が満たされることが可能であること、およびジェスチャにおける接触のうちの１つ以上が対応する強度閾値に到達する、または強度閾値を超える状況で満たされることも可能であることを意味する。いくつかの実施形態では、タップジェスチャは、接触が所定の時間期間の間にそれぞれの強度閾値を上回るかまたは下回るかに関わらず、指ダウンイベントおよび指アップイベントが所定の時間期間内で検出されたという判定に基づいて検出され、スワイプジェスチャは、接触が接触の移動の終わりにそれぞれの強度閾値を上回る場合でさえ、接触の移動が所定の大きさよりも大きいという判定に基づいて検出される。ジェスチャの検出がジェスチャを実行する接触の強度によって影響される実施態様でさえ（例えば、接触の強度が強度閾値を上回るときにデバイスが長い押圧をより素早く検出し、または接触の強度がより高いときにデバイスがタップ入力の検出に遅れる）、接触が特定の強度閾値に到達しない状況でジェスチャを認識する基準を満たすことができる限り（例えば、ジェスチャを認識するために要する時間量が変化する場合でさえ）、それらのジェスチャの検出は、接触が特定の強度閾値に到達することを必要としない。
接触強度閾値、期間閾値、および移動閾値は、一部の状況では、同一の入力要素または領域に方向付けられる２つ以上の異なるジェスチャを区別するためのヒューリスティックを作成するために、様々な異なる組み合わせで組み合わされ、それによって、同一の入力要素との複数の異なる相互作用がより豊かなセットのユーザ相互作用および応答を提供するように有効化される。ジェスチャ認識基準の特定のセットが、その特定のジェスチャ認識基準が満たされるために接触（単数または複数）の強度がそれぞれの強度閾値を満たすことを必要としないという記述は、ジェスチャがそれぞれの強度閾値を超える強度を有する接触を含むときに満たされる基準を有する他のジェスチャを識別するための他の強度に依存するジェスチャ認識基準をそれと同時に評価することを排除しない。例えば、いくつかの状況では、第１のジェスチャ認識基準が満たされるために、接触（単数または複数）の強度が対応する強度閾値を満たすことを必要としない第１のジェスチャのための第１のジェスチャ認識基準は、対応する強度閾値に到達する接触（複数可）に依存する第２のジェスチャのための第２のジェスチャ認識基準との競争関係にある。そのような競争では、ジェスチャは任意選択で、第２のジェスチャのための第２のジェスチャ認識基準が最初に満たされる場合に、第１のジェスチャのための第１のジェスチャ認識基準を満たすものとして認識されない。例えば、接触が所定の移動量を移動する前に接触が対応する強度閾値に到達する場合、スワイプジェスチャではなく深い押圧ジェスチャが検出される。逆に、接触が対応する強度閾値に到達する前に接触が所定の移動量を移動する場合、深い押圧ジェスチャではなくスワイプジェスチャが検出される。そのような状況でさえ、第１のジェスチャのための第１のジェスチャ認識基準は、第１のジェスチャ認識基準が満たされるために、接触（単数または複数）の強度が対応する強度閾値を満たすことをなおも必要としないが、これは、ジェスチャの終わりまで接触が対応する強度閾値を下回ったままであった場合（例えば、対応する強度閾値を上回る強度まで増加しない接触を有するスワイプジェスチャ）、ジェスチャは、スワイプジェスチャとして第１のジェスチャ認識基準によって認識されているからである。そのようにして、特定のジェスチャ認識基準が満たされるために、接触（単数または複数）の強度が対応する強度閾値を満たすことを必要としない特定のジェスチャ認識基準は、（Ａ）いくつかの状況では、強度閾値（例えば、タップジェスチャのための）に関して接触の強度を無視し、および／または（Ｂ）いくつかの状況では、特定のジェスチャ認識基準が入力に対応するジェスチャ（例えば、認識のための深い押圧ジェスチャと競争する長い押圧ジェスチャのための）を認識する前に、強度依存ジェスチャ認識基準の競争するセット（例えば、深い押圧ジェスチャのための）が強度依存ジェスチャに対応するものとして入力を認識する場合、特定のジェスチャ認識基準（例えば、長い押圧ジェスチャのための）が機能しないという意味で、強度閾値に関して接触の強度になおも依存している。
グラフィックモジュール１３２は、表示されるグラフィックの視覚的影響（例えば、輝度、透明度、彩度、コントラスト、または他の視覚特性）を変更するための構成要素を含む、タッチ感知ディスプレイシステム１１２または他のディスプレイ上でグラフィックをレンダリングおよび表示するための様々な既知のソフトウェア構成要素を含む。本明細書で使用される場合、用語「グラフィック」は、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインターフェースオブジェクトなど）、デジタル画像、ビデオ、およびアニメーションなどを含むがこれらに限定されない、ユーザに対して表示することができるいずれかのオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール１３２は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データおよび他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次にディスプレイコントローラ１５６に出力する画面の画像データを生成する。
触覚フィードバックモジュール１３３は、デバイス１００とのユーザ相互作用に応じて、触知出力生成器（単数または複数）１６７を使用してデバイス１００上の１つ以上の位置において触知出力を作成する命令（例えば、触覚フィードバックコントローラ１６１によって使用される命令）を生成する様々なソフトウェア構成要素を含む。
テキスト入力モジュール１３４は、任意選択で、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、およびテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの位置を判定し、この情報を、様々なアプリケーションで使用するために（例えば、位置に基づく電話発信で使用するために電話１３８へ、写真／ビデオのメタデータとしてカメラ１４３へ、並びに、気象ウィジェット、地域のイエローページウィジェット、およびマップ／ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ）提供する。
アプリケーション１３６は、任意選択的に、以下のモジュール（または命令セット）またはそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（アドレス帳または連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画および／またはビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５、およびユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作成するためのウィジェット作成モジュール１５０、
●検索モジュール１５１、
●任意選択的にビデオプレイヤーモジュールおよび音楽プレイヤーモジュールから構成されている、ビデオおよび音楽プレイヤーモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、および／または
●オンラインビデオモジュール１５５。
●連絡先モジュール１３７（アドレス帳または連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画および／またはビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５、およびユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作成するためのウィジェット作成モジュール１５０、
●検索モジュール１５１、
●任意選択的にビデオプレイヤーモジュールおよび音楽プレイヤーモジュールから構成されている、ビデオおよび音楽プレイヤーモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、および／または
●オンラインビデオモジュール１５５。
任意選択的にメモリ１０２に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、および音声複製が挙げられる。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、およびテキスト入力モジュール１３４と共に、連絡先モジュール１３７は、（例えば、メモリ１０２またはメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２に記憶される）アドレス帳または連絡先リストを管理するための実行可能命令を含み、それには、アドレス帳に名前（単数または複数）を加えること、アドレス帳から名前（単数または複数）を削除すること、電話番号（単数または複数）、電子メールアドレス（単数または複数）、実際の住所（単数または複数）、または他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号および／または電子メールアドレスを提供して、電話１３８、テレビ会議１３９、電子メール１４０、またはＩＭ１４１による通信を開始および／若しくは促進すること、などが含まれる。
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、およびテキスト入力モジュール１３４と連携して、電話モジュール１３８は、電話番号に対応する一連の文字を入力し、アドレス帳１３７内の１つ以上の電話番号にアクセスし、入力されている電話番号を変更し、それぞれの電話番号をダイヤルし、会話を実行し、会話が完了したときに切断しまたは電話を切る実行可能命令を含む。上述のように、無線通信は、任意選択で、複数の通信規格、プロトコル、および技術のうちのいずれかを使用する。
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光センサ（単数または複数）１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先リスト１３７、および電話モジュール１３８と連携して、テレビ会議モジュール１３９は、ユーザの命令に従って、ユーザと１人以上の他の参加者の間のテレビ会議を開始し、行い、終了する実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、およびテキスト入力モジュール１３４と連携して、電子メールクライアントモジュール１４０は、ユーザの命令に応じて、電子メールを作成し、送信し、受信し、管理する実行可能命令を含む。画像管理モジュール１４４と連携して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画またはビデオ画像を有する電子メールの作成および送信を非常に容易にする。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、およびテキスト入力モジュール１３４と連携して、インスタントメッセージングモジュール１４１は、インスタントメッセージに対応する一連の文字を入力し、前に入力された文字を修正し、それぞれのインスタントメッセージを送信し（例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス（ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコルを使用して、またはインターネットベースのインスタントメッセージのためのＸＭＰＰ、ＳＩＭＰＬＥ、Ａｐｐｌｅ Ｐｕｓｈ Ｎｏｔｉｆｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ（ＡＰＮｓ）、若しくはＩＭＰＳを使用して）、インスタントメッセージを受信し、受信したインスタントメッセージを見る実行可能命令を含む。いくつかの実施形態では、送信および／または受信されたインスタントメッセージは任意選択で、ＭＭＳおよび／または拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるような、グラフィック、写真、音声ファイル、ビデオファイル、および／または他の添付ファイルを含む。本明細書で使用される場合、「インスタントメッセージ」は、電話ベースのメッセージ（例えば、ＳＭＳまたはＭＭＳを使用して送信されたメッセージ）およびインターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、ＡＰＮｓ、またはＩＭＰＳを使用して送信されたメッセージ）の両方を指す。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、並びにビデオおよび音楽プレイヤーモジュール１５２と連携して、トレーニングサポートモジュール１４２は、トレーニングを作成し（例えば、時間、距離、および／またはカロリー消費目標を有する）、（スポーツデバイスおよびスマートウォッチ内の）トレーニングセンサと通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニング用の音楽を選択して再生し、並びに、トレーニングデータを表示し、記憶し、および送信する、実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光センサ（単数または複数）１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、および画像管理モジュール１４４と共に、カメラモジュール１４３は、静止画またはビデオ（ビデオストリームを含む）をキャプチャしてメモリ１０２にそれらを記憶する、静止画またはビデオの特性を変更する、および／またはメモリ１０２から静止画若しくはビデオを削除する、実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、およびカメラモジュール１４３と共に、画像管理モジュール１４４は、静止画および／またはビデオ画像を配置し、変更し（例えば、編集し）、またはその他の方式で操作し、ラベルを付け、削除し、提示し（例えば、デジタルスライドショーまたはアルバム内で）、並びに記憶する、実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、およびテキスト入力モジュール１３４と共に、ブラウザモジュール１４７は、ウェブページまたはそれらの一部、並びにウェブページにリンクされた添付ファイルおよび他のファイルの、検索、リンク付け、受信、および表示を含め、ユーザの命令に従って、インターネットをブラウズする、実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、およびブラウザモジュール１４７と共に、カレンダモジュール１４８は、ユーザの命令に従って、カレンダおよびカレンダに関連付けられたデータ（例えば、カレンダ項目、するべきことのリストなど）を作成、表示、変更、および記憶する、実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、およびブラウザモジュール１４７と共に、ウィジェットモジュール１４９は、任意選択で、ユーザによってダウンロードされ使用されるミニアプリケーション（例えば、気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、および辞書ウィジェット１４９－５）、またはユーザによって作成されるミニアプリケーション（例えば、ユーザ作成ウィジェット１４９－６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ、カスケーディングスタイルシート）ファイル、およびＪａｖａＳｃｒｉｐｔファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、拡張可能マークアップ言語）ファイルおよびＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、およびブラウザモジュール１４７と連携して、ウィジェット作成モジュール１５０は、ウィジェットを作成する（例えば、ウェブページのユーザ指定部分をウィジェットに変える）実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、およびテキスト入力モジュール１３４と連携して、検索モジュール１５１は、ユーザの命令に従って、１つ以上の検索基準（例えば、１つ以上のユーザ指定の検索語句）と一致する、メモリ１０２内のテキスト、音楽、サウンド、画像、ビデオ、および／または他のファイルを検索する実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、およびブラウザモジュール１４７と連携して、ビデオおよび音楽プレイヤーモジュール１５２は、ＭＰ３またはＡＡＣファイルなどの１つ以上のファイル形式で記憶された記録された音楽または他のサウンドファイルをユーザがダウンロードおよび再生することを可能にする実行可能命令、並びにビデオを表示し、提示し、またはその他の方式で再生する（例えば、タッチ感知ディスプレイシステム１１２上で、または無線で若しくは外部ポート１２４を介して接続された外部のディスプレイ上で）実行可能命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレイヤーの機能を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、およびテキスト入力モジュール１３４と連携して、メモモジュール１５３は、ユーザの命令に従って、メモ、するべきことのリストなどを作成および管理する実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、およびブラウザモジュール１４７と連携して、地図モジュール１５４は、ユーザの命令に従って、地図および地図と関連付けられたデータ（例えば、運転方向、特定の位置におけるまたはその近くの店舗および対象となる他の地点についてのデータ、並びに位置に基づく他のデータ）を受信し、表示し、変更し、および記憶するために使用され得る。
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、およびブラウザモジュール１４７と連携して、オンラインビデオモジュール１５５は、ユーザがＨ．２６４などの１つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、受信し（例えば、ストリーミングおよび／またはダウンロードにより）、再生し（例えば、タッチスクリーン１１２上で、または無線で若しくは外部ポート１２４を介して接続された外部のディスプレイ上で）、特定のオンラインビデオへのリンクを有する電子メールを送信し、別の方法で管理することを可能にする実行可能命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。
上記特定されたモジュールおよびアプリケーションの各々は、上記説明された１つ以上の機能、並びに本出願で説明される方法（例えば、コンピュータにより実行される方法、および本明細書で説明される他の情報処理方法）を実行する実行可能な命令セットに対応する。それらのモジュール（すなわち、命令セット）は、別々のソフトウェアプログラム、手順、またはモジュールとして実装される必要はなく、よって、それらのモジュールの様々なサブセットは、任意選択で、様々な実施形態において、組み合わされ、またはその他の方式で再配置される。いくつかの実施形態では、メモリ１０２は、任意選択で、上記で特定されたモジュールおよびデータ構造のサブセットを記憶する。更に、メモリ１０２は、上記で説明されていない追加のモジュールおよびデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス１００は、そのデバイスにおける既定の機能のセットの動作がタッチスクリーンおよび／またはタッチパッドのみを介して実行されるデバイスである。デバイス１００が動作するための主要な入力コントロールデバイスとしてタッチスクリーンおよび／またはタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力コントロールデバイス（プッシュボタン、ダイヤルなど）の数が削減される。
タッチスクリーンおよび／またはタッチパッドを通じてのみ実行される既定の機能のセットは、任意選択的に、ユーザインターフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス１００上に表示される任意のユーザインターフェースから、メインメニュー、ホームメニュー、またはルートメニューにデバイス１００をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。一部の他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタンまたはその他の物理入力コントロールデバイスである。
図１Ｂは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａにおける）または３７０（図３）は、イベントソータ１７０（例えば、オペレーティングシステム１２６内）およびそれぞれのアプリケーション１３６－１（例えば、上述したアプリケーション１３６、１３７～１５５、３８０～３９０のいずれか）を含む。
イベントソータ１７０は、イベント情報を受信し、イベント情報を配信するアプリケーション１３６－１、およびアプリケーション１３６－１のアプリケーションビュー１９１を判定する。イベントソータ１７０は、イベントモニタ１７１およびイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６－１は、アプリケーションがアクティブまたは実行中のとき、タッチ感知ディスプレイシステム１１２上で表示される現在のアプリケーションビュー（単数または複数）を示す、アプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７は、どのアプリケーション（単数または複数）が現在アクティブであるかを判定するためにイベントソータ１７０によって使用され、アプリケーション内部状態１９２は、イベント情報が配信されるアプリケーションビュー１９１を判定するためにイベントソータ１７０によって使用される。
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６－１が実行を再開するときに使用すべき再開情報、アプリケーション１３６－１によって表示されている情報を示すまたは表示する準備ができたユーザインターフェース状態情報、ユーザがアプリケーション１３６－１の前の状態またはビューに戻ることを可能にする状態キュー、およびユーザによって行われた前のアクションのリドゥ／アンドゥキューのうちの１つ以上などの追加の情報を含む。
イベントモニタ１７１は、周辺機器インターフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイシステム１１２上のユーザのタッチ）についての情報を含む。周辺機器インターフェース１１８は、Ｉ／Ｏサブシステム１０６、または近接センサ１６６、加速度計（単数または複数）１６８、および／若しくは（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インターフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイシステム１１２またはタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インターフェース１１８に要求を送信する。それに応じて、周辺機器インターフェース１１８は、イベント情報を送信する。他の実施形態では、周辺機器インターフェース１１８は、重要なイベント（例えば、予め定められたノイズ閾値を上回り、および／または予め定められた期間よりも長い入力を受信すること）が存在するときのみ、イベント情報を送信する。
いくつかの実施形態では、イベントソータ１７０はまた、ヒットビュー判定モジュール１７２および／またはアクティブイベント認識部判定モジュール１７３を含む。
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイシステム１１２が２つ以上のビューを表示するとき、１つ以上のビュー内のどこにおいてサブイベントが発生したかを判定するためのソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置および他の要素から構成されている。
アプリケーションに関連付けられたユーザインターフェースの別の態様は、本明細書ではアプリケーションビューまたはユーザインターフェースウィンドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層またはビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するとき、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始するサブイベント（すなわち、イベントまたは潜在的なイベントを形成する一連のサブイベントにおける最初のサブイベント）が発生する最下位レベルのビューである。ヒットビューがヒットビュー判定モジュールによって特定されると、ヒットビューは典型的には、それがヒットビューとして特定された同一のタッチまたは入力元に関連する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数または複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連付けられたエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部モジュール１８２によって取得されたイベント情報をイベント待ち行列に記憶する。
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。あるいは、アプリケーション１３６－１がイベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型のモジュールであり、または接触／動きモジュール１３０などのメモリ１０２内に記憶されている別のモジュールの一部分である。
いくつかの実施形態では、アプリケーション１３６－１は、それぞれがアプリケーションのユーザインターフェースのそれぞれのビュー内で発生するタッチイベントを処理する命令を含む、複数のイベント処理部１９０および１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６－１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。典型的には、それぞれのアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインターフェースキット（図示せず）またはアプリケーション１３６－１が方法および他の特性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８、および／またはイベントソータ１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベント処理部１９０は任意選択で、アプリケーション内部状態１９２を更新するために、データ更新部１７６、オブジェクト更新部１７７、またはＧＵＩ更新部１７８を利用し、または呼び出す。代わりに、アプリケーションビュー１９１のうちの１つ以上は、１つ以上のそれぞれのイベント処理部１９０を含む。また、いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、およびＧＵＩ更新部１７８のうちの１つ以上は、それぞれのアプリケーションビュー１９１に含まれる。
それぞれのイベント認識部１８０は、イベントソータ１７０からイベント情報（例えば、イベントデータ１７９）を受信し、イベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２およびイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０はまた、メタデータ１８３およびイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。
イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチまたはタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さおよび方向を含む。一部の実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、またはその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ぶ）についての対応する情報を含む。
イベント比較部１８４は、イベント情報を、定義済みのイベントまたはサブイベントの定義と比較し、その比較に基づいて、イベントまたはサブイベントを判定するか、あるいはイベントまたはサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７－１）およびイベント２（１８７－２）などのイベント（例えば、既定のサブイベントのシーケンス）の定義を含む。いくつかの実施形態では、イベント１８７におけるサブイベントは、例えば、タッチの始め、タッチの終わり、タッチの移動、タッチの中止、および複数のタッチを含む。一実施例では、イベント１（１８７－１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上の予め定められた段階についての第１のタッチ（タッチの始め）、予め定められた段階についての第１のリフトオフ（タッチの終わり）、表示されたオブジェクト上の予め定められた段階についての第２のタッチ（タッチの始め）、および予め定められた段階についての第２のリフトオフ（タッチの終わり）を含む。別の実施例では、イベント２（１８７－２）の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、表示されたオブジェクト上の予め定められた段階についてのタッチ（または、接触）、タッチ感知ディスプレイシステム１１２を横切るタッチの移動、およびタッチのリフトオフ（タッチの終わり）を含む。いくつかの実施形態では、イベントは、１つ以上の関連付けられたイベント処理部１９０に関する情報も含む。
いくつかの実施形態では、イベント定義１８７は、それぞれのユーザインターフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザインターフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、３つのユーザインターフェースオブジェクトがタッチ感知ディスプレイシステム１１２上で表示されるアプリケーションビューにおいて、タッチ感知ディスプレイシステム１１２上でタッチが検出されたとき、イベント比較部１８４は、３つのユーザインターフェースオブジェクトのうちのどれがタッチ（サブイベント）と関連付けられているかを判定するためにヒットテストを実行する。表示された各オブジェクトが、それぞれのイベント処理部１９０に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベントおよびオブジェクトに関連付けられたイベント処理部を選択する。
いくつかの実施形態では、それぞれのイベント１８７の定義は、一連のサブイベントがイベント認識部のイベントタイプに対応するかどうかが判定されるまで、イベント情報の配信を遅らせる遅延アクションも含む。
それぞれのイベント認識部１８０が一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判断した場合、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、またはイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡および処理を続行する。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、および／またはリストを有するメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように対話するか、またはイベント認識部が互いにどのように対話することが可能となるかを示す構成可能なプロパティ、フラグ、および／またはリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層またはプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、および／またはリストを含む。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントに関連付けられたイベント処理部１９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントに関連付けられたイベント情報をイベント処理部１９０に配信する。イベント処理部１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（および、送信を延期する）こととは別個である。いくつかの実施形態では、イベント認識部１８０は、認識したイベントに関連付けられたフラグを投入し、そのフラグに関連付けられたイベント処理部１９０は、そのフラグを捕らえ、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令１８８は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、またはアクティブに関与しているビューにイベント情報を配信する。一連のサブイベントまたはアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態では、データ更新部１７６は、アプリケーション１３６－１で使用されるデータを作成および更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新するか、またはビデオおよび音楽プレイヤーモジュール１５２で使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクト更新部１７７は、アプリケーション１３６－１で使用されるオブジェクトを作成および更新する。例えば、オブジェクト更新部１７７は、新たなユーザインターフェースオブジェクトを作成し、またはユーザインターフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送る。
いくつかの実施形態では、イベント処理部（単数または複数）１９０は、データ更新部１７６、オブジェクト更新部１７７、およびＧＵＩ更新部１７８を含むまたはそれらへのアクセスを有する。いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、およびＧＵＩ更新部１７８は、それぞれのアプリケーション１３６－１またはアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の記載は、入力デバイスを用いて多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一または複数の押圧若しくは保持と任意選択的に連携される、マウスの移動およびマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、並びに／またはそれらの任意の組み合わせを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
図１Ｃは、一部の実施形態に係る、触知出力モジュールを示すブロック図である。一部の実施形態では、Ｉ／Ｏサブシステム１０６（例えば、触覚フィードバックコントローラ１６１（図１Ａ）および／または他の入力コントローラ（単数または複数）１６０（図１Ａ）は、図１Ｃに示す例たる構成要素の少なくともいくつかを含む。一部の実施形態では、周辺機器インターフェース１１８は、図１Ｃに示す例たる構成要素のうちの少なくともいくつかを含む。
いくつかの実施形態では、触知出力モジュールは、触覚フィードバックモジュール１３３を含む。いくつかの実施形態では、触覚フィードバックモジュール１３３は、電子デバイス上のソフトウェアアプリケーションからのユーザインターフェースフィードバック（例えば、表示ユーザインターフェースに対応するユーザ入力、並びに電子デバイスのユーザインターフェースにおける動作の実行またはイベントの出現を示す警報および他の通知に応答するフィードバック）に対する触知出力を集約して組み合わせる。触覚フィードバックモジュール１３３は、波形モジュール１２３（触知出力を生成するために使用される波形を提供する）、ミキサ１２５（異なるチャネルにおける波形などの波形を混合する）、圧縮器１２７（波形のダイナミックレンジを低減または圧縮する）、ローパスフィルタ１２９（波形内の高周波信号成分をフィルタリングする）、および熱コントローラ１３１（熱状態に従って波形を調整する）のうちの１つ以上を含む。一部の実施形態では、触覚フィードバックコントローラ１６１（図１Ａ）には、触覚フィードバックモジュール１３３が含まれる。一部の実施形態では、触覚フィードバックモジュール１３３の別々のユニット（または触覚フィードバックモジュール１３３の別個の実装）はまた、オーディオコントローラ（例えば、図１Ａのオーディオ回路１１０）に含まれ、音声信号を生成するために使用される。いくつかの実施形態では、単一の触覚フィードバックモジュール１３３が、オーディオ信号および触知出力に対する波形を生成するために使用される。
いくつかの実施形態では、触覚フィードバックモジュール１３３はまた、トリガモジュール１２１（例えば、ソフトウェアアプリケーション、オペレーティングシステム、または生成すべき触知出力を判定して対応する触知出力を生成するプロセスを開始する他のソフトウェアモジュール）を含む。いくつかの実施形態では、トリガモジュール１２１は、波形の生成（例えば、波形モジュール１２３による）を開始するトリガ信号を生成する。例えば、トリガモジュール１２１は、事前設定されたタイミング基準に基づいて、トリガ信号を生成する。いくつかの実施形態では、トリガモジュール１２１は、ユーザインターフェース要素（例えば、アプリケーション内のアプリケーションアイコン若しくはアフォーダンス）またはハードウェア入力デバイス（例えば、ホームボタン若しくは強度感知タッチスクリーンなどの強度感知入力面）のアクティブ化に基づいて、触覚フィードバックモジュール１３３の外からトリガ信号を受信し（例えば、いくつかの実施形態では、触覚フィードバックモジュール１３３は、触覚フィードバックモジュール１３３の外に位置するハードウェア入力処理モジュール１４６からトリガ信号を受信する）、触覚フィードバックモジュール１３３内の他の構成要素（例えば、波形モジュール１２３）または動作をトリガ（例えば、トリガモジュール１２１による）するソフトウェアアプリケーションへ、それらのトリガ信号を中継する。一部の実施形態では、トリガモジュール１２１はまた、触知フィードバック生成命令（例えば、触覚フィードバックモジュール１３３から、図１Ａおよび３）を受信する。一部の実施形態では、トリガモジュール１２１は、触知フィードバック命令を（例えば、図１Ａおよび３の触覚フィードバックモジュール１３３から）受信する触覚フィードバックモジュール１３３（または触覚フィードバックモジュール１３３内のトリガモジュール１２１）に応じてトリガ信号を生成する。
波形モジュール１２３は、入力としてトリガ信号を（例えば、トリガモジュール１２１から）受信し、受信トリガ信号に応じて、１つ以上の触知出力の生成のための波形（例えば、図４Ｆ～４Ｇを参照して以下でより詳細に説明される波形などの、波形モジュール１２３によって使用するために設計された所定のセットの波形から選択された波形）を提供する。
ミキサ１２５は、波形（例えば、波形モジュール１２３から）を入力として受信し、これらの波形を共に混合する。例えば、ミキサ１２５が２つ以上の波形（例えば、第１のチャネルの第１の波形および第１の波形と少なくとも部分的に重複する第２のチャネルの第２の波形）受信したとき、ミキサ１２５は、２つ以上の波形の和に対応する組み合わせた波形を出力する。いくつかの実施形態では、ミキサ１２５はまた、２つ以上の波形のうちの１つ以上の波形を修正し、２つ以上の波形のうちの残りに対して特定の波形を強調する（例えば、特定の波形の縮尺の増大および／または波形のうちの残りの縮尺の減少による）。いくつかの状況では、ミキサ１２５は、組み合わせた波形から除去すべき１つ以上の波形を選択する（例えば、触知出力生成器１６７によって同時に出力することが要求された４つ以上のソースからの波形があるとき、最も古いソースからの波形が落とされる）。
圧縮器１２７は、波形（例えば、ミキサ１２５からの合成波形）を入力として受信し、波形を変更する。一部の実施形態では、圧縮器１２７は、波形に対応する触知出力が減少するように、（例えば、触知出力生成器１６７（図１Ａ）または３５７（図３）の物理的な仕様に従って）波形を低減する。いくつかの実施形態では、圧縮器１２７は、波形に対する所定の最大振幅を強制することなどによって、波形を制限する。例えば、圧縮器１２７は、波形のうち所定の振幅閾値を超過する部分の振幅を低減させながら、波形のうち所定の振幅閾値を超過しない部分の振幅は維持する。いくつかの実施形態では、圧縮器１２７は、波形のダイナミックレンジを低減させる。いくつかの実施形態では、圧縮器１２７は、波形のダイナミックレンジを動的に低減させ、その結果、組み合わせた波形は、触知出力生成器１６７の性能仕様（例えば、力および／または可動質量の変位限界）の範囲内に留まる。
ローパスフィルタ１２９は、波形（例えば、圧縮器１２７からの圧縮された波形）を入力として受信し、これらの波形をフィルタリング（例えば、平滑化）する（例えば、波形内の高周波信号成分を除去または低減する）。例えば、いくつかの例では、触知出力が圧縮された波形に従って生成されるとき、圧縮器１２７は、圧縮された波形内に、触知出力の生成に干渉する、および／または触知出力生成器１６７の性能仕様を超える外生信号（例えば、高周波信号成分）を含む。ローパスフィルタ１２９は、波形内のそのような外生信号を低減または除去する。
熱コントローラ１３１は、波形（例えば、ローパスフィルタ１２９からのフィルタリングされた波形）を入力として受信し、デバイス１００の熱状態に従ってこれらの波形を調整する（例えば、触覚フィードバックコントローラ１６１の温度などのデバイス１００内で検出される内部温度、および／またはデバイス１００によって検出される外部温度に基づく）。例えば、いくつかの場合、触覚フィードバックコントローラ１６１の出力は、温度に応じて変動する（例えば、触覚フィードバックコントローラ１６１は、同じ波形を受信したことに応じて、触覚フィードバックコントローラ１６１が第１の温度であるときは、第１の触知出力を生成し、触覚フィードバックコントローラ１６１が第１の温度とは異なる第２の温度であるときは、第２の触知出力を生成する）。例えば、触知出力の大きさ（または振幅）は、温度によって変化してもよい。温度変動の影響を低減させるために、波形が修正される（例えば、温度に基づいて波形の振幅が増大または減少される）。
いくつかの実施形態では、触覚フィードバックモジュール１３３（例えば、トリガモジュール１２１）が、ハードウェア入力処理モジュール１４６に結合される。一部の実施形態では、図１Ａの他の入力コントローラ（単数または複数）１６０は、ハードウェア入力処理モジュール１４６を含む。一部の実施形態では、ハードウェア入力処理モジュール１４６は、ハードウェア入力デバイス１４５（例えば、ホームボタン、または強度感知タッチスクリーンなどの強度感知入力面などの、図１Ａの他の入力または制御デバイス１１６）からの入力を受信する。一部の実施形態では、ハードウェア入力デバイス１４５は、タッチ感知ディスプレイシステム１１２（図１Ａ）、キーボード／マウス３５０（図３）、タッチパッド３５５（図３）、他の入力または制御デバイス１１６（図１Ａ）のうちの１つ、または強度感知ホームボタンなどの入力デバイスのいずれかである。一部の実施形態では、ハードウェア入力デバイス１４５は、強度感知ホームボタンからなり、タッチ感知ディスプレイシステム１１２（図１Ａ）、キーボード／マウス３５０（図３）、またはタッチパッド３５５（図３）ではない。いくつかの実施形態では、ハードウェア入力デバイス１４５（例えば、強度感知ホームボタンまたはタッチスクリーン）からの入力に応じて、ハードウェア入力処理モジュール１４６は、ホームボタンの「クリック」（例えば、「ダウンクリック」または「アップクリック」）に対応する入力などの所定の入力基準を満足させるユーザ入力が検出されたことを示すために、１つ以上のトリガ信号を触覚フィードバックモジュール１３３に提供する。いくつかの実施形態では、触覚フィードバックモジュール１３３は、ホームボタンの「クリック」に対応する入力に応じて、ホームボタンの「クリック」に対応する波形を提供し、物理ホームボタンを押下する触覚フィードバックをシミュレートする。
一部の実施形態では、触知出力モジュールは、触知出力の生成を制御する触覚フィードバックコントローラ１６１（図１Ａの触覚フィードバックコントローラ１６１）を含む。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、複数の触知出力生成器に結合されており、複数の触知出力生成器のうちの１つ以上の触知出力生成器を選択し、触知出力を生成する選択された１つ以上の触知出力生成器へ波形を送信する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、ハードウェア入力デバイス１４５のアクティブ化に対応する触知出力要求、およびソフトウェアイベントに対応する触知出力要求（例えば、触覚フィードバックモジュール１３３からの触知出力要求）を統合し、２つ以上の波形のうちの１つ以上の波形を修正、２つ以上の波形のうちの残りに対して特定の波形を強調する（例えば、ソフトウェアイベントに対応する触知出力よりハードウェア入力デバイス１４５のアクティブ化に対応する触知出力に優先順位をつけるためなどの、特定の波形の縮尺の増大および／または波形のうちの残りの縮尺の減少による）。
一部の実施形態では、図１Ｃに示されるように、触覚フィードバックコントローラ１６１の出力は、デバイス１００のオーディオ回路（例えば、オーディオ回路１１０、図１Ａ）に結合され、音声信号をデバイス１００のオーディオ回路に提供する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、触知出力を生成するために使用される波形と、触知出力の生成と連動してオーディオ出力を提供するために使用されるオーディオ信号との両方を提供する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、オーディオ信号および／または波形（触知出力を生成するために使用される）を修正し、その結果、オーディオ出力および触知出力が同期される（例えば、オーディオ信号および／または波形を遅延させることによる）。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、デジタル波形をアナログ信号に変換するために使用されるデジタルアナログ変換器を含み、アナログ信号は、増幅器１６３および／または触知出力生成器１６７によって受信される。
いくつかの実施形態では、触知出力モジュールは、増幅器１６３を含む。一部の実施形態では、増幅器１６３は、波形を（例えば、触覚フィードバックコントローラ１６１から）受信し、増幅波形を触知出力生成器１６７（例えば、触知出力生成器１６７（図１Ａ）または３５７（図３）のうちのいずれか）に送信する前に波形を増幅する。例えば、増幅器１６３は、触知出力生成器１６７の物理仕様に従った信号レベル（例えば、触知出力生成器１６７へ送信された信号が、触覚フィードバックコントローラ１６１から受信した波形に対応する触知出力を生成するように、触知出力を生成するために触知出力生成器１６７によって必要とされる電圧および／または電流）まで、受信した波形を増幅し、増幅された波形を触知出力生成器１６７へ送信する。応じて、触知出力生成器１６７は、触知出力を生成する（例えば、可動質量の中立位置に対して可動質量を１つ以上の次元で前後にシフトさせることによる）。
いくつかの実施形態では、触知出力モジュールは、触知出力生成器１６７に結合されたセンサ１６９を含む。センサ１６９は、触知出力生成器１６７または触知出力生成器１６７の１つ以上の構成要素（例えば、触知出力を生成するために使用される膜などの１つ以上の移動部分）の状態または状態変化（例えば、機械的位置、物理的変位、および／または移動）を検出する。いくつかの実施形態では、センサ１６９は、磁界センサ（例えば、ホール効果センサ）または他の変位および／若しくは移動センサである。いくつかの実施形態では、センサ１６９は、情報（例えば、触知出力生成器１６７内の１つ以上の部分の位置、変位、および／または移動）を触覚フィードバックコントローラ１６１に提供し、触知出力生成器１６７の状態に関するセンサ１６９によって提供された情報に従って、触覚フィードバックコントローラ１６１は、触覚フィードバックコントローラ１６１から出力される波形（例えば、任意選択的に増幅器１６３を介して触知出力生成器１６７へ送信される波形）を調整する。
図２は、いくつかの実施形態に係る、タッチスクリーン（例えば、タッチ感知ディスプレイシステム１１２、図１Ａ）を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、任意選択的に、ユーザインターフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。これらの実施形態、並びに後述する実施形態では、ユーザは、例えば、１本以上の指２０２（図には、正確な縮尺率では描かれていない）または１つ以上のスタイラス２０３（図には、正確な縮尺率では描かれていない）を用いて、グラフィック上でジェスチャを行うことにより、グラフィックのうちの１つ以上を選択することが可能になる。一部の実施形態では、１つ以上のグラフィックの選択は、ユーザが、その１つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上向きにおよび／若しくは下向きに）、並びに／または、デバイス１００と接触した指のローリング（右から左へ、左から右へ、上向きにおよび／若しくは下向きに）を、任意選択で含む。一部の実装形態または状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
デバイス１００は、任意選択で、「ホーム」またはメニューボタン２０４などの１つ以上の物理的ボタンも含む。前述のように、メニューボタン２０４は、任意選択で、デバイス１００上で任意選択的に実行される、アプリケーションのセットにおける任意のアプリケーション１３６にナビゲートするために使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーンディスプレイ上で表示されるＧＵＩ内のソフトキーとして実装される。
いくつかの実施形態では、デバイス１００は、タッチスクリーンディスプレイ、メニューボタン２０４（ホームボタン２０４と呼ばれる場合がある）、デバイスへの電源供給のオン／オフおよびデバイスのロックのためのプッシュボタン２０６、音量調節ボタン（単数または複数）２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、ドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、既定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックするため、および／またはデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。いくつかの実施形態では、デバイス１００は、マイクロフォン１１３を通して、一部の機能をアクティブ化または非アクティブ化するための口頭入力をも受け入れる。デバイス１００はまた任意選択で、タッチ感知ディスプレイシステム１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、および／またはデバイス１００のユーザに対する触知出力を生成する１つ以上の触知出力生成器１６７を含む。
図３は、いくつかの実施形態に係る、ディスプレイおよびタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレイヤーデバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、または制御デバイス（例えば、家庭用または業務用コントローラ）である。デバイス３００は、典型的には、１つ以上の処理ユニット（ＣＰＵ）３１０と、１つ以上のネットワークまたは他の通信インターフェース３６０と、メモリ３７０と、およびこれらの構成要素を相互接続するための１つ以上の通信バス３２０とを含む。通信バス３２０は、任意選択的に、システム構成要素間の通信を相互接続および制御する回路（チップセットと呼ばれることもある）を含む。デバイス３００は典型的にはタッチスクリーンディスプレイであるディスプレイ３４０を含む、入出力（Ｉ／Ｏ）インターフェース３３０を含む。Ｉ／Ｏインターフェース３３０は、任意選択で、キーボードおよび／またはマウス（または、他のポインティングデバイス）３５０、並びにタッチパッド３５５、（例えば、図１Ａを参照して上記説明された触知出力生成器（単数または複数）１６７と同様の）デバイス３００上で触知出力を生成するための触知出力生成器３５７、センサ３５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、および／または図１Ａを参照して上記説明された接触強度センサ（単数または複数）１６５と同様の接触強度センサ）をも含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、または他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択で、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、または他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、任意選択で、ＣＰＵ（単数または複数）３１０からリモートに位置する１つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２に記憶されたプログラム、モジュール、およびデータ構造に類似するプログラム、モジュール、およびデータ構造、またはそれらのサブセットを記憶する。更に、メモリ３７０は、任意選択で、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、およびデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は任意選択で、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、および／またはスプレッドシートモジュール３９０を記憶するが、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、任意選択で、それらのモジュールを記憶しない。
上記特定された図３における要素の各々は、任意選択で、前に言及したメモリデバイスのうちの１つ以上に記憶される。上記で特定されたモジュールの各々は、上記で説明された機能を実行する命令セットに対応する。上記で特定されたモジュールまたはプログラム（すなわち、命令セット）は、別個のソフトウェアプログラム、手順、またはモジュールとして実装される必要はなく、したがって、それらのモジュールの様々なサブセットは、任意選択で、様々な実施形態において組み合わされるか、またはその他の方式で再配置される。いくつかの実施形態では、メモリ３７０は、任意選択で、上記で特定されたモジュールおよびデータ構造のサブセットを記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュールおよびデータ構造を任意選択的に記憶する。
ここで、ポータブル多機能デバイス１００上で任意選択的に実装されるユーザインターフェース（「ＵＩ」）の実施形態に着目する。
図４Ａは、いくつかの実施形態による、ポータブル多機能デバイス１００上のアプリケーションのメニューのための例示的なユーザインターフェース４００を示す。同様のユーザインターフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザインターフェース４００は、以下の要素、またはそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号およびＷｉ－Ｆｉ信号などの無線通信（単数または複数）のための信号強度インジケータ（単数または複数）、
●時間、
●Ｂｌｕｅｔｏｏｔｈ（登録商標）インジケータ、
●バッテリ状態インジケータ、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ４０８
○不在着信またはボイスメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、および
○「音楽」とラベル付けされたビデオおよび音楽プレイヤーモジュール１５２のアイコン４２２、および
以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダ」とラベル付けされた、カレンダモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール１５５のアイコン４３２、
○「株価」とラベル付けされた、株価ウィジェット１４９－２のアイコン４３４、
○「地図」とラベル付けされた、地図モジュール１５４のアイコン４３６、
○「天気」とラベル付けされた、気象ウィジェット１４９－１のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９－４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、および
○デバイス１００およびその様々なアプリケーション１３６に関する設定へのアクセスを提供する、設定アプリケーション若しくはモジュール用のアイコン４４６。
●セルラー信号およびＷｉ－Ｆｉ信号などの無線通信（単数または複数）のための信号強度インジケータ（単数または複数）、
●時間、
●Ｂｌｕｅｔｏｏｔｈ（登録商標）インジケータ、
●バッテリ状態インジケータ、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ４０８
○不在着信またはボイスメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、および
○「音楽」とラベル付けされたビデオおよび音楽プレイヤーモジュール１５２のアイコン４２２、および
以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダ」とラベル付けされた、カレンダモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール１５５のアイコン４３２、
○「株価」とラベル付けされた、株価ウィジェット１４９－２のアイコン４３４、
○「地図」とラベル付けされた、地図モジュール１５４のアイコン４３６、
○「天気」とラベル付けされた、気象ウィジェット１４９－１のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９－４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、および
○デバイス１００およびその様々なアプリケーション１３６に関する設定へのアクセスを提供する、設定アプリケーション若しくはモジュール用のアイコン４４６。
図４Ａに示されたアイコンのラベルは単なる例に過ぎないことに留意されたい。例えば、他のラベルが任意選択的に、様々なアプリケーションアイコンに使用される。一部の実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。一部の実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図４Ｂは、ディスプレイ４５０と分離したタッチ感知面４５１（例えば、タブレットまたはタッチパッド３５５、図３）を有するデバイス（例えば、デバイス３００、図３）上の例示的なユーザインターフェースを示す。以下の実施例のうちの多くはタッチスクリーンディスプレイ１１２上の入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すように、ディスプレイと分離したタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂにおける４５１）は、ディスプレイ（例えば、４５０）上の主軸（例えば、図４Ｂにおける４５３）に対応する主軸（例えば、図４Ｂにおける４５２）を有する。それらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図４Ｂにおいて、４６０は４６８に対応し、４６２は４７０に対応する）におけるタッチ感知面４５１との接触（例えば、図４Ｂにおける４６０および４６２）を検出する。このように、タッチ感知面がディスプレイと分離しているとき、タッチ感知面（例えば、図４Ｂにおける４５１）上でデバイスによって検出されたユーザ入力（例えば、接触４６０および４６２、およびそれらの移動）は、多機能デバイスのディスプレイ（例えば、図４Ｂにおける４５０）上でユーザインターフェースを操作するためにデバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインターフェースに任意選択的に使用されることを理解されたい。
加えて、以下の実施例は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャなど）を参照して与えられるが、いくつかの実施形態では、それらの指の入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスに基づく入力またはスタイラス入力）と置換されることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、（例えば、接触の代わりに、）マウスクリックであって、その後に（例えば、接触の移動の代わりに）スワイプの経路に沿ったカーソルの移動を伴うマウスクリックによって置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置上に位置する間は、（例えば、接触を検出して、それに続いて接触の検出を終了する代わりに）マウスクリックによって置き換えられる。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、またはマウスおよび指の接触が、任意選択的に、同時に使用されることを理解されたい。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインターフェースの現在の部分を示す入力要素を指す。カーソルまたは他のロケーションマーカを含むいくつかの実装形態では、カーソルは、カーソルが特定のユーザインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、または他のユーザインターフェース要素）の上にある間に、タッチ感知面（例えば、図３におけるタッチパッド３５５、または図４Ｂにおけるタッチ感知面４５１）上で入力（例えば、押圧入力）が検出されると、特定のユーザインターフェース要素が検出された入力に従って調整されるように、「フォーカスセレクタ」として機能する。タッチスクリーンディスプレイ上のユーザインターフェース要素との直接的な相互作用を有効化するタッチスクリーンディスプレイ（例えば、図１Ａにおけるタッチ感知ディスプレイシステム１１２、または図４Ａにおけるタッチスクリーン）を含むいくつかの実装形態では、タッチスクリーン上で検出された接触は、入力（例えば、接触による押圧入力）がタッチスクリーンディスプレイ上で特定のユーザインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、または他のユーザインターフェース要素）の位置において検出されると、特定のユーザインターフェース要素が検出された入力に従って調製されるように、「フォーカスセレクタ」として機能する。いくつかの実装では、タッチスクリーンディスプレイ上の対応するカーソルの移動または接触の移動なしに、（例えば、タブキーまたは矢印キーを使ってフォーカスを１つのボタンから別のボタンに移動させることにより）フォーカスが、ユーザインターフェースの１つの領域からユーザインターフェースの別の領域に移動される。これらの実装形態では、フォーカスセレクタは、ユーザインターフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタによってとられる具体的な形態とは関わりなく、フォーカスセレクタは一般的に、ユーザインターフェースとのユーザの意図した相互作用を通信するために（例えば、ユーザが相互作用することを意図しているユーザインターフェースの要素をデバイスに示すことによって）、ユーザによって制御されるユーザインターフェース要素（または、タッチスクリーンディスプレイ上の接触）である。例えば、タッチ感知面（例えば、タッチパッドまたはタッチスクリーン）上で押圧入力が検出されている間の、対応のボタンの上のフォーカスセレクタ（例えば、カーソル、接触、または選択ボックス）の位置は、その対応のボタンを（そのデバイスのディスプレイ上に示される他のユーザインターフェース要素ではなく）アクティブ化することをユーザが意図していることを示すものである。
本明細書および特許請求の範囲で使用される、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触またはスタイラスの接触）の力、または圧力（単位面積あたりの力）、またはタッチ感知面上の接触の力または圧力の代替物（プロキシ）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、数百の（例えば、少なくとも２５６の）別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、および様々なセンサまたはセンサの組み合わせを使用して、判定（または測定）される。例えば、タッチ感知面の下またはそれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値は、推定される接触の力を特定するために組み合わされる（例えば、加重平均または合計）。同様に、スタイラスの感圧性先端部が、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触エリアのサイズおよび／若しくはその変化、接触に近接するタッチ感知面の電気容量および／若しくはその変化、並びに／または、接触に近接するタッチ感知面の抵抗および／若しくはその変化が、任意選択的に、タッチ感知面上の接触の力または圧力の代替物として使用される。一部の実装形態では、接触の力または圧力の代替測定値が、強度閾値を超えているかどうかを判定するために直接使用される（例えば、強度閾値は、代替測定値に対応する単位で記述される）。いくつかの実装形態では、接触の力または圧力のための代替測定値は、推定される力または圧力に変換され、推定される力または圧力は、強度閾値を超えているかどうかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。ユーザ入力の属性として接触の強度を使用すると、（例えば、タッチ感知ディスプレイ上に）アフォーダンスを表示するため、および／または（例えば、タッチ感知ディスプレイ、タッチ感知面、またはノブ若しくはボタンなどの物理的／機械的コントロールを介して）ユーザ入力を受信するための資産が制限された、低減されたサイズのデバイス上で、そうでない場合ユーザによるアクセスが容易に可能でない場合がある、追加のデバイス機能にユーザがアクセスすることが可能になる。
いくつかの実施形態では、接触／動きモジュール１３０は、ユーザによって動作が実行されたかどうかを判定するために（例えば、ユーザがアイコン上で「クリック」したかどうかを判定するために）、１つ以上の強度閾値のセットを使用する。いくつかの実施形態では、少なくとも強度閾値のサブセットは、ソフトウェアパラメータに従って決定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって決定されず、デバイス１００の物理ハードウェアを変更することなく調節されてもよい）。例えば、トラックパッドまたはタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッドまたはタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の既定の閾値のうちのいずれかに設定することができる。更に、いくつかの実装形態では、デバイスのユーザは、（例えば、個々の強度閾値を調整することにより、および／または、システムレベルのクリック「強度」パラメータで一度に複数の強度閾値を調整することにより）強度閾値のセットのうちの１つ以上を調整するためのソフトウェア設定が提供される。
本明細書および特許請求の範囲において使用されるとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、および／または、接触の強度の減少を検出する前若しくは後の）に関連する所定の時間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）の間に収集された強度サンプルのセットに基づく。接触の特性強度は任意選択で、接触の強度の最大値、接触の強度の平均値（mean value）、接触の強度の平均値（average value）、接触の強度の上位１０％値、接触の強度の最大値の半分の値、接触の強度の最大値の９０％の値、予め定義された期間にわたって、または予め定義された時間において開始した接触の強度を低域フィルタリングすることによって生成された値などのうちの１つ以上に基づく。一部の実施形態では、特性強度を判定する際に（例えば、特性強度が経時的な接触の強度の平均であるときに）、接触の持続期間が使用される。一部の実施形態では、特性強度は、ユーザによって動作が実行されたかどうかを判定するために、１つ以上の強度閾値のセットと比較される。例えば、１つ以上の強度閾値のセットは、第１の強度閾値および第２の強度閾値を含んでもよい。この実施例では、第１の閾値を上回らない特性強度を有する接触の結果として第１の動作が実行され、第１の強度閾値を上回り第２の強度閾値を上回らない特性強度を有する接触の結果として第２の動作が実行され、第２の強度閾値を上回る特性強度を有する接触の結果として第３の動作が実行される。いくつかの実施形態では、特性強度と１つ以上の強度閾値との間の比較は、第１の操作を実行するか、または第２の操作を実行するかを判定するために使用されるのではなく、１つ以上の操作を実行するか否か（例えば、それぞれの選択肢を実行するか、またはそれぞれの操作を実行することを控えるか）を判定するために使用される。
一部の実施形態では、特性強度を判定する目的のために、ジェスチャの一部分が特定される。例えば、タッチ感知面は、開始位置から遷移して終了位置に達する連続的なスワイプ接触（例えば、ドラッグジェスチャ）を受け取る場合があり、そのポイントにおいて接触の強度が増大する。この例では、終了位置における接触の特性強度は、スワイプ接触全体ではなく、連続的なスワイプ接触の一部分のみ（例えば、終了位置におけるスワイプ接触の一部分のみ）に基づいてもよい。いくつかの実施形態では、接触の特性強度を特定する前に、スワイプ接触の強度に平滑化アルゴリズムが適用されてもよい。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、および／または指数平滑化アルゴリズムのうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を判定する目的のために、スワイプ接触強度の幅の狭いスパイクまたは下落を排除する。
本明細書で説明されるユーザインターフェースの図は、任意選択で、１つ以上の強度閾値（例えば、接触検出強度閾値ＩＴ０、軽押圧強度閾値ＩＴＬ、深押圧強度閾値ＩＴＤ（例えば、少なくとも最初はＩＴＬよりも高い）、および／または１つ以上の他の強度閾値（例えば、ＩＴＬよりも低い強度閾値ＩＴＨ）に対する、タッチ感知面上の接触の現在の強度を示す、様々な強度の図表を含む。この強度の図は、典型的には、表示されるユーザインターフェースの一部ではないが、図の解釈を支援するために提供される。一部の実施形態では、軽い押下強度閾値は、通常、物理マウスのボタンまたはトラックパッドをクリックすることに関連付けられた動作をデバイスが実行する強度に相当する。一部の実施形態では、深い押下強度閾値は、通常、物理マウスのボタンまたはトラックパッドをクリックすることに関連付けられた動作とは異なる動作をデバイスが実行する強度に相当する。いくつかの実施形態では、浅い押圧強度閾値を下回る（例えば、それを下回ると接触がもはや検出されない名目上の接触検出強度閾値ＩＴ０を上回る）特性強度を有する接触が検出されると、デバイスは、浅い押圧強度閾値または深い押圧強度閾値に関連付けられた動作を実行することなく、タッチ感知面上の接触の移動に従ってフォーカスセレクタを移動させる。一般に、特に明記しない限り、これらの強度閾値は、ユーザインターフェースの値の様々なセットの間で一貫している。
いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力中の接触強度に基づく基準に依存する。例えば、いくつかの「浅い押圧」入力の場合、入力中の第１の強度閾値を超える接触の強度は第１の応答をトリガする。いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力中の接触強度と時間ベースの基準の両方を含む基準に依存する。例えば、いくつかの「深い押圧」入力の場合、浅い押圧用の第１の強度閾値より大きい入力中の第２の強度閾値を超える接触の強度は、第１の強度閾値を満たすことと第２の強度閾値を満たすこととの間に遅延時間が経過した場合のみ、第２の応答をトリガする。この遅延時間は典型的には、時間が２００ｍｓ（ミリ秒）よりも短い（例えば、第２の強度閾値の大きさに依存して、４０ｍｓ、１００ｍｓ、または１２０ｍｓであり、遅延時間は第２の強度閾値が増大するにつれて増大する）。この遅延時間は、深い押圧入力の偶発的な認識を回避することを支援する。別の例として、いくつかの「深い押圧」入力の場合、第１の強度閾値が満たされた時間の後に発生する感度が低下した時間期間が存在する。感度が低下した時間期間の間、第２の強度閾値は増大する。第２の強度閾値のこの一時的な増大も、偶発的な深い押圧入力を回避するのに役立つ。他の深い押圧入力の場合、深い押圧入力の検出に対する応答は、時間ベースの基準に依存しない。
いくつかの実施形態では、入力強度閾値および／または対応する出力のうちの１つ以上は、ユーザ設定、接触の動き、入力タイミング、実行しているアプリケーション、強度が加わる速度、同時入力の数、ユーザ履歴、環境要因（例えば、周囲ノイズ）、フォーカスセレクタの位置などの、１つ以上の要因に基づいて変化する。例示的な要因が、米国特許出願公開第１４／３９９，６０６号および第１４／６２４，２９６号に記載されており、それらは参照により全体が本明細書に組み込まれている。
例えば、図４Ｃは、経時的なタッチ入力４７６の強度に部分的に基づいて、経時的に変化する動的な強度閾値４８０を示す。動的な強度閾値４８０は、２つの成分、タッチ入力４７６が最初に検出されたときから既定の遅延時間ｐ１後に経時的に減衰する第１の成分４７４、および経時的にタッチ入力４７６の強度の跡を辿る第２の成分４７８の合計である。第１の成分４７４の最初の高い強度閾値は、タッチ入力４７６が十分な強度を提供する場合に即時の「深い押圧」応答を更に可能にしながら、「深い押圧」応答の偶発的トリガを削減する。第２の成分４７８は、タッチ入力の段階的な強度変動によって「深い押圧」応答の意図しないトリガを削減する。いくつかの実施形態では、タッチ入力４７６が動的な強度閾値４８０を満たすとき（例えば、図４Ｃにおけるポイント４８１において）、「深い押圧」応答がトリガされる。
図４Ｄは、別の動的な強度閾値４８６（例えば、強度閾値ＩＤ）を示す。図４Ｄは、２つの他の強度閾値：第１の強度閾値ＩＨおよび第２の強度閾値ＩＬも示す。図４Ｄでは、タッチ入力４８４が時間ｐ２の前に第１の強度閾値ＩＨおよび第２の強度閾値ＩＬを満たすが、時間４８２において遅延時間ｐ２が経過するまでは応答が提供されない。また、図４Ｄでは、動的な強度閾値４８６は経時的に減衰し、減衰は、時間４８２から既定の遅延時間ｐ１が経過した後（第２の強度閾値ＩＬに関連付けられた応答がトリガされたとき）の時間４８８に始まる。このタイプの動的な強度閾値は、第１の強度閾値ＩＨまたは第２の強度閾値ＩＬなどの、より低い強度閾値に関連付けられた応答をトリガした直後、またはそれと同時に、動的な強度閾値ＩＤに関連付けられた応答の偶発的なトリガを削減する。
図４Ｅは、更に別の動的な強度閾値４９２（例えば、強度閾値ＩＤ）を示す。図４Ｅでは、強度閾値ＩＬに関連付けられた応答は、タッチ入力４９０が最初に検出されたときから遅延時間ｐ２が経過した後にトリガされる。同時に、動的な強度閾値４９２は、タッチ入力４９０が最初に検出されたときから既定の遅延時間ｐ１が経過した後に減衰する。そのため、タッチ入力４９０を解放することなしに、タッチ入力４９０の強度の増大がその後に続く、強度閾値ＩＬに関連付けられた応答をトリガした後のタッチ入力４９０の強度の減少は、タッチ入力４９０の強度が別の強度閾値、例えば、強度閾値ＩＬを下回るときでも、（例えば、時間４９４において）強度閾値ＩＤに関連付けられた応答をトリガすることができる。
浅い押圧強度閾値ＩＴＬを下回る強度から、浅い押圧強度閾値ＩＴＬと深い押圧強度閾値ＩＴＤとの間の強度への接触の特性強度の増大は、「浅い押圧」入力と呼ばれる場合がある。深い押圧強度閾値ＩＴＤを下回る強度から深い押圧強度閾値ＩＴＤを上回る強度への接触の特性強度の増大は、「深い押圧」入力と呼ばれる場合がある。接触検出強度閾値ＩＴ０を下回る強度から接触検出強度閾値ＩＴ０と浅い押圧強度閾値ＩＴＬの間の強度への接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれる場合がある。接触検出強度閾値ＩＴ０を上回る強度から接触検出強度閾値ＩＴ０を下回る強度への接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれる場合がある。いくつかの実施形態では、ＩＴ０はゼロである。いくつかの実施形態では、ＩＴ０はゼロより大きい。いくつかの例示では、タッチ感知面上の接触の強度を表すために、網掛けの円または楕円が使用される。いくつかの例示では、それぞれの接触の強度を指定することなく、タッチ感知面上のそれぞれの接触を表すために、網掛けなしの円または楕円が使用される。
本明細書に記載されるいくつかの実施形態では、１つ以上の動作は、それぞれの押圧入力を含むジェスチャを検出したことに含む、またはそれぞれの接触（若しくは複数の接触）で実行されるそれぞれの押圧入力を検出したことに含む実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（または複数の接触）の強度の増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの動作は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大を検出したことに含む実行される（例えば、それぞれの動作は、それぞれの押圧入力の「ダウンストローク」上で実行される）。いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、およびその後の押圧入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、その後の押圧入力閾値を下回るそれぞれの接触の強度の減少を検出したことに含む実行される（例えば、それぞれの動作は、それぞれの押圧入力の「アップストローク」上で実行される）。
一部の実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押下入力強度閾値との既定の関係を有するヒステリシス強度閾値を定義または選択する（例えば、ヒステリシス強度閾値は、押下入力強度閾値よりもＸ強度単位低い、またはヒステリシス強度閾値は、押下入力強度閾値の７５％、９０％、若しくは何らかの妥当な割合である）。したがって、いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増大、およびその後の押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、その後のヒステリシス強度閾値を下回るそれぞれの接触の強度の減少を検出したことに応じて実行される（例えば、それぞれの動作は、それぞれの押圧入力の「アップストローク」上で実行される）。同様に、一部の実施形態では、押下入力は、デバイスが、ヒステリシス強度閾値以下の強度から押下入力強度閾値以上の強度への接触の強度の増大、および任意選択的に、その後のヒステリシス強度以下の強度への接触の強度の減少を検出するときにのみ検出され、それぞれの動作は、押下入力（例えば、状況に応じて、接触の強度の増大または接触の強度の減少）を検出したことに応じて実行される。
説明を容易にするために、押圧入力強度閾値に関連付けられた押圧入力に応じて、または押圧入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押圧入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増大、押圧入力強度閾値を下回る接触の強度の減少、または押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じてトリガされる。更に、押下入力強度閾値を下回る接触の強度の減少を検出したことに応じて実行されるように動作が記載される例では、動作は、任意選択的に、押下入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。上述されたように、いくつかの実施形態では、これらの応答のトリガは、満たされる時間ベースの基準にも依存する（例えば、遅延時間は、第１の強度閾値が満たされることと第２の強度閾値が満たされることとの間で経過している）。
本明細書および特許請求の範囲で使用されるように、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、そのデバイスの別の構成要素（例えば、筐体）に対する物理的変位、または、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイスまたはデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、または他の部分）に接触している状況では、物理的変位によって生成された触知出力は、そのデバイスまたはデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面（例えば、タッチ感知ディスプレイまたはトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」または「アップクリック」として、任意選択的に解釈される。場合によっては、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」または「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈または感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」「ダウンクリック」、「粗さ」）に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な（または、平均的な）ユーザの記述された感覚認知を生成するデバイス、またはデバイスの構成要素の物理的変位に対応する。触知出力を使用して触覚フィードバックをユーザに提供することで、デバイスの操作性が向上し、ユーザ－デバイスインターフェースがより効率的になり（例えば、デバイスを動作させ／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによる）、加えて、ユーザがデバイスをより迅速かつ効率的に使用するのを有効化することによって、電力使用を低減させ、デバイスの電池寿命を改善する。
ユーザインターフェースおよび関連するプロセス
ユーザインターフェースおよび関連するプロセス
ここで、ディスプレイとタッチ感知面と、（任意選択的に）触知出力を生成するための１つ以上の触知出力生成器と、（任意選択的に）タッチ感知面との接触の強度を検出するための１つ以上のセンサとを備える、ポータブル多機能デバイス１００またはデバイス３００などの電子デバイス上で実装され得る、ユーザインターフェース（「ＵＩ」）および関連プロセスの実施形態に注意を向ける。
図５Ａ～図５ＡＦは、いくつかの実施形態に係る、注釈を再位置特定するためのユーザインターフェースの例を示す。それらの図におけるユーザインターフェースは、図９Ａ～図９Ｆ、図１０Ａ～図１０Ｂ、図１１Ａ～図１１Ｆ、および図１２Ａ～図１２Ｄにおけるプロセスを含む、以下で説明されるプロセスを示すために使用される。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、またはタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上の図に示されるユーザインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０および別々のタッチ感知面４５１を有するデバイス上で実行される。
図５Ａは、デバイス１００のタッチスクリーン１１２上に表示される注釈ユーザインターフェース５００３を示す。ユーザインターフェースは、デバイス１００の物理的環境５０００をキャプチャすると、デバイス１００のカメラの視野を表示する。テーブル５００１ａおよびマグカップ５００２ａは、物理的環境５０００内に位置する。カメラビューは、ユーザインターフェース５００３内に表示されるように、物理テーブル５００１ａの視覚的表現５００１ｂを含む。ユーザインターフェース５００３は、静止画モードとビデオモードとをトグルするためのコントロール５００４と、カメラフラッシュ設定を制御するためのコントロール５００６と、カメラ設定にアクセスするためのコントロール５００８と、現在モードを示すモードインジケータ５０１０と、を含む。
図５Ａから図５Ｂまで、デバイス１００は、カメラの視野内で視認可能なテーブル５００１ｂの部分が変化し、物理的なマグカップ５００２ａの視覚的表現５００２ｂがカメラの視野内で視認可能となるように、物理的環境に対して移動している。
図５Ｃでは、スタイラス５０１２は、接触５０１４によって指示された注釈ユーザインターフェース５００３内の点でタッチスクリーンディスプレイ１１２上にタッチされている。接触５０１４の検出に応じて、カメラの視野の静止画がキャプチャされ、ユーザインターフェース５００３内に表示される。モード制御５００４およびモードインジケータ５０１０の状態は、ユーザインターフェースのアクティブモードがビデオモードから静止画モードに変更されたことを示すように変更されている。スタイラスのタッチダウンに応じて生じる静止画モードへの遷移（および／または他のタイプの入力に応じて、以下で更に説明するように）は、注釈入力をカメラ１４３によってキャプチャされた物理的環境のビューに対して、デバイス１００とデバイス１００の移動によって引き起こされる物理的環境５０００との間の空間的関係の変化によって影響を受けることなく、受信することを可能にする。
図５Ｃから図５Ｄまで、デバイス１００は、物理的環境５０００に対して移動している。ユーザインターフェースのアクティブモードは、ビデオモードから静止画モードに変更されているため、タッチスクリーンディスプレイ１１２によって表示された画像は、図５Ｃから図５Ｄに変更されない。
図５Ｅから図５Ｇまで、接触５０１４は、矢印５０１６によって示される経路に沿って移動し、物理マグカップ５００２ａの視覚的表現５００２ｂを含む静止画の一部分に第１の注釈５０１８を生成する。
図５Ｈでは、スタイラス５０１２は、接触５０１９によって示されるように、モード制御５００４に対応する位置に入力を提供する。図５Ｉでは、スタイラス５０１２による入力に応じて、モード制御５００４およびモードインジケータ５０１０の状態は、注釈ユーザインターフェース５００３のアクティブモードが静止画モードからビデオモードに変更されたことを示すように変更されている。
図５Ｉ～図５Ｌまで、図５Ｉで表示された静止画は、（図５Ｌのユーザインターフェース５００３に示すように）インジケータドット５０２２まで、（図５Ｉのユーザインターフェース５００３に示されるような）静止画のフルサイズビューから、（図５Ｊ～図５Ｋのユーザインターフェース５００３に示されるような）小型ビュー５０２０に徐々に遷移する。図５Ｊでは、カメラの現在の視野を覆う図５Ｉに示された静止画の小型ビュー５０２０が示されている。小型ビュー５０２０のサイズは、図５Ｊから図５Ｋに縮小されている（例えば、図５Ｉのデバイス１００によって表示された静止画と、図５Ｌのデバイスカメラの視野に対応するビデオ上に表示されたインジケータドット５０２２との間の対応のインジケーションを提供するために）。
図５Ｌ～図５Ｍまで、デバイス１００の位置は、物理的環境５０００に対して変更される。デバイス１００が移動すると、デバイス１００のカメラの視野が変化し、ユーザインターフェース５００３内のインジケータ５０２２の位置が変化する。ユーザインターフェース５００３内のインジケータ５０２２の移動は、デバイス１００の現在位置に対する注釈５０１８の仮想空間的位置のインジケーションを提供する。このようにして、ユーザは、インジケータ５０２２によって指示された方向へのデバイス１００の移動が注釈５０１８を再表示するために必要とされることを示す視覚的フィードバックが提供される。
図５Ｍ～図５Ｎまで、デバイス１００の位置は、物理的環境５０００に対して変化し続ける。デバイス１００の移動の結果、デバイス１００のカメラの視野は、図５Ｉの注釈付き静止画内にキャプチャされた物理的環境５０００の一部分がカメラの視野内で可視であるように更新される。注釈５０１８は、注釈５０１８が受信された静止画内の位置に対応するビデオ内（例えば、物理マグカップ５００２ａの視覚的表現を含む各画像フレーム内）の位置（例えば、物理マグカップ５００２ａの視覚的表現５００２ｂの位置に対応する位置（例えば、図５Ｉの静止画に示すような））に表示される。いくつかの実施形態では、デバイス１００が物理マグカップ５００２ａにより近く移動すると、物理マグカップ５００２ａの視覚的表現５００２ｂは、ビデオ画像内ではより大きく見え、注釈５０１８はまた、視覚的表現５００２ｂの変更されたサイズに従っても大きく見える。いくつかの実施形態では、デバイス１００が物理マグカップ５００２ａの周りに移動すると、物理マグカップ５００２ａの視覚的表現５００２ｂは、物理マグカップ５００２ａの異なる視野角を反映するように更新され、ビデオ画像内の注釈５０１８の外観もまた、物理マグカップの視野角の変化に従って更新される（例えば、異なる角度から見られる）。
図５Ｏでは、スタイラス５０１２は、接触５０２４によって指示された注釈ユーザインターフェース５００３内の点でタッチスクリーンディスプレイ１１２上でタッチダウンされている。接触５０２４の検出に応じて、カメラの視野の第２の静止画がキャプチャされ、ユーザインターフェース５００３内に表示される。
図５Ｐから図５Ｒまで、第２の静止画が表示されている間、スタイラス５０１２による入力は、接触５０２６によって示される位置で受信される。接触５０２６の移動は、物理マグカップ５００２ａの視覚的表現５００２ｂを含む静止画の一部分に第２の注釈５０２８を作成する。図５Ｓにおいて、接触５０１２は、タッチスクリーン１１２からリフトオフしている。
図５Ｔでは、入力は、接触５０３０によって示されるように、静止画モードとビデオモードとをトグルするためのコントロール５００４に対応するタッチスクリーンディスプレイ１１２上の位置で検出される。図５Ｕでは、入力に応じて、モード制御５００４およびモードインジケータ５０１０の状態は、注釈ユーザインターフェース５００３のアクティブモードが静止画モードからビデオモードに変更されたことを示すように変更されている。図５Ｔの注釈付き静止画内にキャプチャされた物理的環境５０００の部分は、図５Ｕのユーザインターフェース５００３のビデオモードで表示されるカメラの視野内で既に視認可能であるため、注釈５０１８および注釈５０２８は、注釈が受信された静止画内の対応する位置に対応するビデオ内の位置（例えば、図５Ｇおよび図５Ｒに示す物理マグカップ５００２ａの視覚的表現５００２ｂの対応する位置に対応する位置）に表示される。
図５Ｕから図５Ｖまで、デバイス１００の位置は、ユーザインターフェース５００３内に表示されたデバイスカメラの視野が、マグカップ５００２ａを含む物理的環境５０００の部分を含まないように、物理的環境５０００に対して変更される。注釈５０１８に対応するインジケータドット５０２２および注釈５０２８に対応するインジケータドット５０３２が表示される（例えば、インジケータドット５０２２および５０３２は、それぞれ、物理的環境５０００に対する注釈５０１８および５０２８のスクリーン外仮想空間的位置（例えば、図５Ｇおよび図５Ｒに示される物理マグカップ５００２ａの側面）を示す位置に表示される）。
図５Ｖから図５Ｗまで、デバイス１００の位置は、物理的環境５０００に対して変化し続ける。デバイス１００が下方に移動すると、デバイス１００のカメラの視野が変化し、インジケータ５０２２および５０３２がユーザインターフェース５００３内で上方に移動する（例えば、デバイス１００の現在位置に対する注釈５０１８および５０２８の仮想空間的位置を示す）。図５Ｗでは、スタイラス５０１２は、接触５０３４によって指示された注釈ユーザインターフェース５００３内の点においてタッチスクリーンディスプレイ１１２上でタッチダウンされている。接触５０３４の検出に応じて、カメラの視野の第３の静止画がキャプチャされ、ユーザインターフェース５００３内に表示される。
図５Ｗから図５Ｘまで、第３の静止画が表示されている間、接触５０３４は、タッチスクリーンディスプレイ１１２に沿って移動して、物理テーブル５００１ａの視覚的表現５００１ｂの右下面を含む第３の静止画の一部分に第３の注釈５０３６を作成する。
図５Ｙでは、スタイラス５０１２は、接触５０３８によって示されるように、モード制御５００４に対応する位置に入力を提供する。図５Ｚでは、スタイラス５０１２による入力に応じて、モード制御５００４およびモードインジケータ５０１０の状態は、注釈ユーザインターフェース５００３のアクティブモードが静止画モードからビデオモードに変更されたことを示すように変更されている。テーブル５００１ａの右下面は、図５Ｚのユーザインターフェース５００３のビデオモードで表示されるカメラの視野内で可視であるため、注釈５０３６は、注釈５０３６が受信された静止画内の位置（例えば、物理テーブル５００１ａの視覚的表現５００１ｂの右下面に対応する位置）に対応するビデオ内の位置（例えば、図５Ｘに示されるテーブル面の位置を含む画像フレーム内）に表示される。ユーザインターフェース５００３のビデオモードで表示されるカメラの視野内で視認可能な物理的環境５０００の部分は、注釈５０１８および５０２８の空間的位置に対応する物理的環境の部分を含まず（例えば、マグカップ５００２ａはカメラの視野内では見えない）、インジケータドット５０２２および５０３２は、物理的環境５０００に対して、注釈５０１８および５０２８のスクリーン外仮想空間的位置を示す位置に表示される。
図５Ｚから図５ＡＡまで、デバイス１００の位置は、物理的環境５０００に対して変化する。デバイス１００が上方に移動すると、デバイス１００のカメラの視野が変化し、インジケータ５０２２および５０３２は、ユーザインターフェース５００３内で下方に移動する。テーブル５００１ａの右下面は、ユーザインターフェースのビデオモードで表示されるカメラの視野内では見えなくなるため、インジケータドット５０４０は、注釈５０３６が受信された静止画内の位置に対応するビデオ内の位置に表示される。
図５ＡＡから図５ＡＢまで、デバイス１００の位置は、物理的環境５０００に対して変化する。デバイス１００が上方に移動し続けると、デバイス１００のカメラの視野が変化し、インジケータ５０２２、５０３２、および５０４０がユーザインターフェース５００３内で下方に移動して、物理的環境５０００に対する注釈５０１８、５０２８、および５０３６のスクリーン外仮想空間的位置を示す。
図５ＡＢから図５ＡＣまで、デバイス１００の位置が変化し、ユーザインターフェース５００３内に表示されたデバイス１００のカメラの視野の変化を引き起こす。インジケータ５０２２、５０３２、および５０４０の位置は、注釈５０１８、５０２８、および５０３６のスクリーン外仮想空間的位置に基づいて更新される。
図５ＡＣから図５ＡＤまで、デバイス１００の位置は、ユーザインターフェース５００３内に表示されたデバイスカメラの視野が、マグカップ５００２ａを含む部分物理環境５０００を含むように、物理的環境５０００に対して変更される。注釈５０１８および５０２８は、ユーザインターフェース５００３内に表示され、インジケータドット５０２２および５０３２は表示されなくなる。
図５ＡＤから図５ＡＥまで、デバイス１００の位置は、ユーザインターフェース５００３内に表示されたデバイスカメラの視野が、テーブル５００１ａの右下面を含む部分物理環境５０００を含むように、物理的環境５０００に対して変更される。注釈５０３６は、ユーザインターフェース５００３内に表示され、インジケータドット５０４０は表示されなくなる。
図５ＡＥから図５ＡＦまで、デバイス１００は、注釈５０１８、５０２８および５０３６の位置および斜視が変化するように、周辺部の周囲およびテーブル５００１ａの上方に移動している。
図６Ａ～図６Ｎは、いくつかの実施形態に係る、ビデオの一時停止位置に対応する静止画内にキャプチャされた物理的環境の一部分上に注釈を受信するための例示的なユーザインターフェースを示す。それらの図におけるユーザインターフェースは、図９Ａ～図９Ｆ、図１０Ａ～図１０Ｂ、図１１Ａ～図１１Ｆ、および図１２Ａ～図１２Ｄにおけるプロセスを含む、以下で説明されるプロセスを示すために使用される。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、またはタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０および別々のタッチ感知面４５１を有するデバイス上で実行される。
図６Ａは、ビデオ再生領域６００２を含むユーザインターフェース６０００を示す。いくつかの実施形態では、ユーザインターフェース６０００は、メディアコンテンツオブジェクトのリストを介して（例えば、画像および／またはビデオ閲覧アプリケーション内で）アクセスされる。いくつかの実施形態では、ユーザインターフェース６０００はまた、タイムライン６００４（例えば、ビデオの連続するセグメントに対応するサンプルフレーム６００６のセット）も含む。タイムライン６００４は、ビデオ再生領域６００２内に表示されたビデオを介してビデオ再生領域６００２に表示されたフレームに対応するタイムライン６００４上の位置を示す現在位置インジケータ６００８を含む。いくつかの実施形態では、ユーザインターフェースは、（例えば、ビデオ再生領域６００２内に表示されたビデオをマーキングするためのマークアップモードを開始するための）マークアップコントロール６０１０、（例えば、ビデオ再生領域６００２内に表示されたビデオを回転させるための）回転コントロール６０１２、（例えば、ビデオ再生領域６００２内に表示されたビデオを編集するための）編集コントロール６０１４、（例えば、現在の動作をキャンセルするための）キャンセルコントロール６０２０、（例えば、ビデオ再生領域６００２内に表示されたビデオを回転させるための）回転コントロール６０２２、および（例えば、ビデオ再生領域６００２内に表示されたビデオを再生および一時停止するための）再生／一時停止トグルコントロール６０１６を含む。タッチスクリーンディスプレイ１１２を有する接触６０１８（例えば、ユーザの指による入力）は、再生／一時停止トグルコントロール６０１６に対応する位置で検出される。
図６Ｂでは、再生／一時停止トグルコントロール６０１６に対応する位置で検出された入力に応じて、ビデオ再生領域６００２でビデオの再生が開始される。
図６Ｃでは、ビデオが再生し続けると、入力は、接触６０２４によって示されるように、マークアップコントロール６０１０に対応する位置で検出される。マークアップコントロール６０１０に対応する位置での接触６０２４による入力に応じて、ビデオの再生が一時停止され、ビデオの一時停止位置に対応する静止画が表示され、ビデオ再生領域６００２に対応する位置で受信された入力がビデオにマークをつけるマークアップモードが開示され、マークアップコントロール６０１０の状態が変更されて、テキスト「完了」が表示される（例えば、選択コントロール６０１０への入力がマークアップモードを終了することを示すために）。
図６Ｄ～図６Ｆでは、接触６０２６によって示されるように、注釈入力がビデオ再生領域６００２内の位置で検出される。接触が図６Ｄ～図６Ｆに示される経路に沿って移動すると、注釈６０３０が受信される。いくつかの実施形態では、注釈は、ビデオ内のオブジェクトに対応する場所（例えば、凧６０２８）で受信される。図６Ｇでは、マークアップモードがアクティブであり、テキスト「完了」が表示されている間に、接触６０３１による入力がマークアップコントロール６０１０に対応する位置で検出される。接触６０３１による入力に応じて、マークアップセッションを終了し（および／または最後の入力が受信された時間が閾値時間量を上回って増加するので）、再生／一時停止トグルコントロール６０１６は、図６Ｈに示されるように再表示される。
図６Ｉでは、接触６０３２によって示すように、再生／一時停止トグルコントロール６０１６に対応する位置で入力が検出される。
図６Ｉ～図６Ｋでは、再生／一時停止トグルコントロール６０１６に対応する位置で検出された入力に応じて、ビデオは、ビデオ再生領域６００２における再生を再開する。図６Ｊに示すように、タイムライン６００４のサンプルフレームは、凧６０２８に対応するそれぞれの画像内の位置にマーキングを含む。例えば、サンプルフレーム６００６は、凧６０３６に対応する位置にマーキング６０３４を含む。ビデオ再生領域６００２内の凧オブジェクト６０２８に適用された注釈６０３０は、注釈６０３０が受信されたビデオの時点の前に発生するビデオのフレームを含むタイムライン６００４内のサンプルフレーム（例えば、サンプルフレーム６００６など、タイムライン６００４内のスクラブコントロール６００８の左へのフレーム）および注釈６０３０が受信されたビデオ内の時点の後に発生するビデオのフレーム（例えば、タイムライン６００４内のスクラブコントロール６００８の右へのフレーム）に適用されている。（注釈６０３０がビデオ再生領域６００２に適用された凧オブジェクト６０２８に対応する）凧オブジェクト６０３６が可視であるタイムライン６００４のサンプルフレームのそれぞれにおいて、マーキング（例えば、注釈６０３０に対応するマーキング６０３４）は、サンプルフレーム内の凧オブジェクト６０３６の変化する位置に対応する位置に示される。マーキングは、サンプルフレーム内の凧オブジェクト６０３６のサイズおよび向きの変更に対応してスケーリングされるサイズおよび向きで表示される。ビデオ再生領域６００２内に表示されたビデオが、ビデオ内で後に注釈入力を受信するためにビデオが停止されたフレームよりも前方に再生すると、注釈６０３０は、図６Ｋに示すように、凧オブジェクト６０２６のサイズおよび向きの変更に対応してスケーリングされたサイズおよび向きで表示される。このようにして、ビデオ再生領域６００２内に受信される注釈は、オブジェクトが移動し、（例えば、カメラからの距離の変化に起因して）サイズを変更し、および（例えば、３次元空間内の任意の方向に）方向を変更しながら、（例えば、注釈がオブジェクトを追跡するように）オブジェクトに適用される。
図６Ｌでは、入力は、接触６０３８によって示すように、タイムライン６００４に対応する位置で検出される。接触６０３８が矢印６０４０および６０４４によって示される経路に沿って移動すると、図６Ｌ～図６Ｎに示すように、ビデオ再生領域６００２内に表示されたビデオが巻き戻される。例えば、接触６０３８がタイムライン６００４にわたって移動するとビデオ再生領域６００２内の現在表示されているフレームに関連付けられた時間インジケーション６０４２は減少する。ビデオ再生領域６００２に表示されたビデオが、注釈入力を受信するためにビデオが停止されたフレームの前にあるフレームに巻き戻したとき、注釈６０３０は、凧オブジェクト６０２６のサイズおよび向きの変更に対応してスケーリングされたサイズおよび向きで表示される。
図７Ａ～図７ＢＦは、いくつかの実施形態に係る、以前にキャプチャされたメディアオブジェクトに仮想オブジェクトを追加するための例示的なユーザインターフェースを示す。それらの図におけるユーザインターフェースは、図９Ａ～図９Ｆ、図１０Ａ～図１０Ｂ、図１１Ａ～図１１Ｆ、および図１２Ａ～図１２Ｄにおけるプロセスを含む、以下で説明されるプロセスを示すために使用される。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、またはタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０および別々のタッチ感知面４５１を有するデバイス上で実行される。
図７Ａは、メディアオブジェクト表示領域７００２およびナビゲーション領域７００４を含むデバイス１００のタッチスクリーンディスプレイ１１２によって表示されるユーザインターフェース７０００を示す。いくつかの実施形態では、ユーザインターフェース７０００は、メディアコンテンツオブジェクトのリストを介して（例えば、画像および／またはビデオ閲覧アプリケーション内で）アクセスされる。以前にキャプチャされた画像は、メディアオブジェクト表示領域内に表示される。以前にキャプチャされた画像に対応する情報（例えば、画像がキャプチャされた位置、「クパチーノ」）が情報領域７００３内に表示される。ナビゲーション領域７００４は、（例えば、以前のメディアオブジェクトへナビゲートするための）以前のメディアオブジェクトコントロール７００６、（例えば、デバイス１００によって記憶された他のメディアオブジェクト（非拡大ドットによって表される）に対する以前にキャプチャされた画像の（拡大ドットによって表される）位置を示す）現在のメディアオブジェクトインジケータ７００８、および（例えば、後のメディアオブジェクトへナビゲートするための）後のメディアオブジェクトコントロール７０１０を含む。ユーザインターフェース７０００は、図７Ｂ～図７ＢＧに関して以下で更に論じるように、メディアオブジェクト表示領域７００２内に表示された以前にキャプチャされた画像に様々な仮想オブジェクトを追加するための制御７０１２～７０２４を含む。本明細書の様々な実施形態に従って説明されるように、以前にキャプチャされた画像内の物理オブジェクトに対して仮想オブジェクトが表示される方法は、以前にキャプチャされた画像に対して奥行きデータが記憶され、仮想オブジェクトが様々な画像内の様々な表面と相互作用することができるというインジケーションをユーザに提供する。画像内にキャプチャされた物理的環境内の物理オブジェクトとの仮想オブジェクトとの相互作用は、画像内の検出可能な表面の存在のインジケーションをユーザに提供する。
図７Ｂ～図７Ｌは、仮想ボールオブジェクトが、メディアオブジェクト表示領域７００２内に表示された以前にキャプチャされた画像内に描かれた物理オブジェクトの表面とどのようにインターフェースするかを示す。例えば、キャプチャされた画像は、画像内に取り込まれた物理的環境内の物理オブジェクトに対応する表面（例えば、水平面および／または垂直面）の位置を決定するために使用される奥行きデータと共に記憶される。
図７Ｂでは、接触７０２６による入力（例えば、タップ入力）は、メディアオブジェクト表示領域７００２内に表示された以前にキャプチャされた画像に仮想ボールを追加するためのボールコントロール７０１２に対応する位置で受信される。図７Ｃでは、ボールコントロール７０１２を選択する入力を検出したことに応じて、ユーザインターフェース７０００のモードは、情報領域７００３内の「ボール」ラベルによって示されるように、およびボールコントロール７０１２の変更された視覚的状態によって示されるように、ボール生成モードに変更される。入力（例えば、タップ入力）は、接触７０２８によって示される位置で受信される。接触を検出したことに応じて、仮想ボール７０３０が、メディアオブジェクト表示領域７００２内に表示された以前にキャプチャされた画像に追加される。例えば、仮想ボール７０３０を以前にキャプチャされた画像に加えることは、仮想ボール７０３０を、接触７０２８が検出される地点から、点線７０３２によって示される経路に沿って上向き軌道を有する仮想ボールを起動することを含む（例えば、仮想ボール７０３０は、疑似重力の影響下に入り、以前にキャプチャされた画像内の椅子オブジェクト７０３６の表面から跳ね返り、以前にキャプチャされた画像内のテーブルオブジェクト７０３８の表面から跳ね返り、前にキャプチャされた画像内の床面７０４０に落下し、床面７０４０に沿って転がる）。
図７Ｄでは、入力（例えば、タップ入力）が、接触７０４２によって示される位置で受信される。接触を検出したことに応じて、仮想ボール７０４４が、メディアオブジェクト表示領域７００２内に表示された以前にキャプチャされた画像に追加され、仮想ボール７０４４は、経路７０４６に沿って移動する（例えば、床７０４０から跳ね返り、床７０４０に着陸する）。
図７Ｅでは、いくつかの追加の仮想ボールが、メディアオブジェクト表示領域７００２内に表示された以前にキャプチャされた画像に追加されており、そのいくつかは、椅子オブジェクト７０３６およびテーブルオブジェクト７０３８の表面上に着地し、固定されている。入力（例えば、タップ入力）は、接触７０４８によって示される後続のメディアオブジェクトコントロール７０１０に対応するタッチスクリーンディスプレイ１１２上の位置で検出される。入力に応じて、図７Ｅに示される第１の以前にキャプチャされた画像の表示は、図７Ｆに示されるように、第２の以前にキャプチャされた画像によって置き換えられる。メディアオブジェクト表示領域７００２に表示された以前にキャプチャされた画像に追加された仮想ボールは、図７Ｆに示すように、第２の以前にキャプチャされた画像に追加される（例えば、図７Ｆ～図７Ｉに示すように、仮想ボールが、図７Ｅの第１の以前にキャプチャされた画像内の床面７０４０から、第２の以前にキャプチャした画像の物理的環境の頂部への疑似重力の影響下で現れるようにアニメーション化される）。仮想ボールが落下すると、仮想ボールは、ランプ７０５２およびテーブル７０５４の表面、並びに人々７０５６および７０５８の腕の溝などの、第２の以前にキャプチャされた画像内にキャプチャされた物理的環境内の表面上に落ち着く。いくつかの実施形態では、仮想オブジェクトは、以前にキャプチャされた画像内の物理オブジェクトに対応する奥行きデータと比較されて、物理オブジェクトに対する仮想オブジェクトの配置を判定する（例えば、物理オブジェクトが仮想オブジェクトを閉塞するか、またはその逆であるかを判定するために）。例えば、図７Ｇでは、仮想ボール７０４５は、物理テーブル７０５４によって部分的に閉塞されている。
図７Ｊでは、入力（例えば、タップ入力）が、接触７０５０によって示される後続のメディアオブジェクトコントロール７０１０に対応するタッチスクリーンディスプレイ１１２上の位置で検出される。入力に応じて、図７Ｊに示される第２の以前にキャプチャされた画像の表示は、図７Ｋに示されるように、第３の以前にキャプチャされた画像によって置き換えられる。メディアオブジェクト表示領域７００２内に表示された第２の以前にキャプチャされた画像に追加された仮想ボールは、図７Ｋに示すように、第１の以前にキャプチャされた画像に追加される（例えば、図７Ｋ～図７Ｌに示すように、仮想ボールが、図７Ｊの第２の以前にキャプチャされた画像内の表面から、第３の以前にキャプチャした画像の物理的環境の最上部へと疑似重力の影響下で現れるようにアニメーション化される）。仮想ボールが落下すると、仮想ボールは、第３の以前にキャプチャされた画像内にキャプチャされた物理的環境内の表面、例えば、ソファ７０６０の表面に沈降する。
図７Ｌでは、入力（例えば、タップ入力）が、接触７０６２によって示されるテキスト挿入コントロール７０１４に対応するタッチスクリーンディスプレイ１１２上の位置で検出される。入力に応じて、仮想ボール（例えば、ボール７０３４および７０４４）は表示されなくなり、テキストオブジェクト７０６４は、図７Ｍに示すように、第３の以前にキャプチャされた画像に追加される。
図７Ｍ～図７Ｔは、仮想テキストオブジェクト７０６４が、メディアオブジェクト表示領域７００２内に表示された以前にキャプチャされた画像内に描かれた物理オブジェクトの表面とどのようにインターフェースするかを示す。
図７Ｍでは、接触７０６６によるタップ入力が、テキストオブジェクト７０６４に対応するタッチスクリーン１１２上の位置で検出されている。図７Ｍから図７Ｐまで、接触７０６６は、矢印７０６８、７０７０、および７０７２によって示される経路に沿って移動する。接触７０６６が移動すると、テキストオブジェクト７０６４の移動が接触７０６６の移動に対応するように、テキストオブジェクト７０６４が接触７０６６によって「ドラッグ」される。テキストオブジェクト７０６４がソファ７０６０に対応する位置にドラッグされると、テキストオブジェクト７０６４は、図７Ｎ～図７Ｏに示されるように、ソファ７０６０のアームにわたって「マーチングする」ことによってソファ７０６０の検出された表面と相互作用する。例えば、図７Ｏでは、テキストオブジェクト７０６４がソファ７０６０に対応する第３の以前にキャプチャされた画像の領域にドラッグされると、テキストオブジェクト７０６４の第１の部分は、ソファ７０６０の第１の表面（ソファのアームの上方）に隣接し、テキストオブジェクト７０６４の第２の部分は、ソファ７０６０の第２の表面（例えば、ソファ７０６０のシートの上方）に隣接する。
図７Ｑでは、入力（例えば、タップ入力）が、接触７０６２によって示されるように、テキストオブジェクト７０６４に対応するタッチスクリーンディスプレイ１１２上の位置で検出される。入力に応じて、図７Ｒのカーソル７０８０およびキーボード７０７８の表示によって示されるように、テキストオブジェクト７０６４のテキスト編集モードが開始される。図７Ｓでは、キーボード７０７８を介して提供される入力は、単語「テキスト」から単語「悪寒」にテキストオブジェクト７０６４のテキストを変更している。
図７Ｔでは、入力（例えば、タップ入力）が、接触７０６４によって示されるように、デカール挿入コントロール７０１６に対応するタッチスクリーンディスプレイ１１２上の位置で検出される。入力に応じて、テキストオブジェクト７０６４は表示されなくなり、図７Ｕに示されるように、デカールオブジェクト７０８４が第３の以前にキャプチャされた画像に追加される。
図７Ｕ～図７Ｙは、仮想デカールオブジェクト７０８４が、メディアオブジェクト表示領域７００２内に表示された以前にキャプチャされた画像内に描かれた物理オブジェクトの表面とどのようにインターフェースするかを示す。
図７Ｕでは、接触７０８６によるタップ入力が、デカールオブジェクト７０８４に対応するタッチスクリーン１１２上の位置で検出されている。図７Ｕから図７Ｘまで、接触７０８６は、矢印７０８８、７０９０、および７０９２によって示される経路に沿って移動する。接触７０８６が移動すると、デカールオブジェクト７０８４の移動が接触７０８６の移動に対応するように、デカールオブジェクト７０８４は、接触７０８６によって「ドラッグされる。デカールオブジェクト７０８４がソファ７０６０の表面上にドラッグされると、デカールオブジェクト７０６４は、図７Ｕ～図７Ｘに示されるように、ソファ７０６０および床７０９４の検出された水平および垂直表面に適合する。例えば、図７Ｖでは、デカールオブジェクト７０８４がソファ７０６０の上にドラッグされると、デカールオブジェクト７０８４の第１の部分は、ソファ７０６０の第１の表面（ソファのシート上に平坦）に隣接し、デカールオブジェクト７０８４の第２の部分は、ソファ７０６０の第２の表面に隣接している（例えば、ソファ７０６０の前にドラッグされる）。図７Ｘでは、デカールオブジェクト７０８４が床７０９４上にドラッグされたとき、デカールオブジェクト７０８４は、ソファ７０６０によって部分的に閉塞されている。
図７Ｙでは、入力（例えば、タップ入力）が、接触７０９６によって示されるような絵文字挿入コントロール７０１８に対応するタッチスクリーンディスプレイ１１２上の位置で検出される。入力に応じて、図７Ｚに示すように、デカールオブジェクト７０８４が表示されなくなり、絵文字オブジェクト７０９８が第３の以前にキャプチャされた画像に追加される。
図７Ｚ～図７ＡＥは、仮想絵文字オブジェクト７０９８が、メディアオブジェクト表示領域７００２内に表示された以前にキャプチャされた画像内に描かれた物理オブジェクトの表面とどのようにインターフェースするかを示す。
図７ＡＡでは、接触７１００によるタップ入力が、絵文字オブジェクト７０９８に対応するタッチスクリーン１１２上の位置で検出されている。図７ＡＡおよび図７ＡＢでは、接触７１００は、矢印７１０２によって示す経路に沿って移動している。接触７１００が移動すると、絵文字オブジェクト７０９８の移動が接触７１００の移動に対応するように、接触７１００によって絵文字オブジェクト７０９８が「ドラッグ」される。図７ＡＣでは、接触７１００は、タッチスクリーンディスプレイ１１２からリフトオフされる一方で、絵文字オブジェクト７０９８は、第３の以前にキャプチャされた画像内の表面（例えば、ソファ７０６０および床７０９４）の上の空間に吊り下げられる。接触７１００のリフトオフに応じて、図７ＡＣ～図７ＡＥに示すように、疑似重力の影響下で、絵文字オブジェクト７０９８が降下する。図７ＡＣでは、絵文字オブジェクト７０９８は、物理オブジェクトソファ７０６０に遭遇し、図７ＡＤに示されるように、絵文字オブジェクト７０９８がソファ７０６０のアーム上を転がり、床７０９４まで降下し続けると、絵文字オブジェクトの向きが変化する。
図７ＡＦでは、入力（例えば、タップ入力）が、接触７１０４によって示されるように、紙吹雪挿入コントロール７０２０に対応するタッチスクリーンディスプレイ１１２上の位置で検出される。入力に応じて、絵文字オブジェクト７０９８は表示されなくなり、紙吹雪オブジェクト（例えば、紙吹雪オブジェクト７１０６）は、図７ＡＧに示されるように、第３の以前にキャプチャされた画像に追加される。
図７ＡＧ～図７ＡＴは、仮想紙吹雪オブジェクトが、メディアオブジェクト表示領域７００２内に表示された以前にキャプチャされた画像およびビデオに描かれた物理オブジェクトの表面とどのようにインターフェースするかを示す。図７ＡＧでは、
図７ＡＧ～図７ＡＪでは、仮想紙吹雪オブジェクトは、（例えば、図７ＡＨ、図７ＡＩ、および図７ＡＪに示されるように）連続的に追加され、疑似重力の影響を受けて、第３の以前にキャプチャされた画像内の検出された表面（例えば、ソファ５０６０および床７０９４上の水平面など、実質的に水平面）で収集される。
図７ＡＪでは、入力（例えば、タップ入力）が、接触７１０４によって示されるような以前のメディアオブジェクトコントロール５００６に対応するタッチスクリーンディスプレイ１１２上の位置で検出される。入力に応じて、図７ＡＪに示される第３の以前にキャプチャされた画像の表示は、図７ＡＫに示すように、第２の以前にキャプチャされた画像の表示によって置き換えられる。メディアオブジェクト表示領域７００２内に表示された第３の以前にキャプチャされた画像に追加された紙吹雪は、図７ＡＫに示されるように第２の以前にキャプチャされた画像に追加される（例えば、図７ＡＪに紙吹雪が表示された同じ位置で表示される）。
図７ＡＫ～図７ＡＬでは、仮想紙吹雪オブジェクトは、連続的に追加され、疑似重力の影響下にあり、第２の以前にキャプチャされた画像内の検出された表面上に収集される。
図７ＡＪでは、入力（例えば、タップ入力）が、接触７１０４によって示されるような以前のメディアオブジェクトコントロール５００６に対応するタッチスクリーンディスプレイ１１２上の位置で検出される。入力に応じて、図７ＡＪに示される第３の以前にキャプチャされた画像の表示は、図７ＡＫに示すように、第２の以前にキャプチャされた画像の表示によって置き換えられる。メディアオブジェクト表示領域７００２内に表示された第３の以前にキャプチャされた画像に追加された紙吹雪は、図７ＡＫに示されるように第２の以前にキャプチャされた画像に追加される（例えば、図７ＡＪに紙吹雪が表示された同じ位置で表示される）。
図７ＡＫ～図７ＡＬでは、仮想紙吹雪オブジェクトは、連続的に追加され、疑似重力の影響下にあり、第２の以前にキャプチャされた画像内の検出された表面上に収集される。
図７ＡＬでは、接触７１１０によって示されるような後続のメディアオブジェクトコントロール７０１０に対応するタッチスクリーンディスプレイ１１２上の位置で入力（例えば、タップ入力）が検出される（例えば、現在表示されているメディアオブジェクトを２回前進させるために複数のタップが受信される）。入力に応じて、図７ＡＬに示される第２の以前にキャプチャされた画像の表示は、図７ＡＭに示すように、以前にキャプチャされたビデオの表示によって置き換えられる。メディアオブジェクト表示領域７００２内に表示された第２の以前にキャプチャされた画像に追加された紙吹雪は、図７ＡＭに示されるようにビデオに追加される（例えば、図７ＡＬにおいて、紙吹雪が表示された同じ位置で表示される）。
図７ＡＭ～図７ＡＴでは、仮想紙吹雪オブジェクトは、連続的に追加され、疑似重力の影響下にあり、ビデオ内の検出された表面（例えば、凧オブジェクト７１１２の縁部）上に収集される。例えば、ビデオ再生が図７ＡＮ、図７ＡＯ、および図７ＡＰに進むと、仮想紙吹雪オブジェクトは、連続的に追加され、疑似重力の影響下に入り、凧オブジェクト７１１２の縁部およびビデオフレームの下縁部を収集する。
図７ＡＰでは、入力（例えば、タップ入力）が、接触７１１６によって示されるような再生コントロール７１１４に対応するタッチスクリーンディスプレイ１１２上の位置で検出される。入力に応じて、ビデオの再生が繰り返される。再生が図７ＡＱで開始される時点で、図７ＡＭ～図７ＡＴのビデオに追加された紙吹雪をビデオに追加する。例えば、ビデオの再生が開始されると、凧オブジェクト７１１２上に蓄積された紙吹雪は、図７ＡＰに示される位置から落下し、凧オブジェクト７１１２が図ＡＱのビデオ内の異なる位置に示される。
図７ＡＱ～図７ＡＴでは、仮想紙吹雪オブジェクトは、連続的に追加され、疑似重力の影響下にあり、ビデオ内の検出された表面（例えば、凧オブジェクト７１１２の縁部）上で収集される。例えば、ビデオ再生が図７ＡＲ、図７ＡＳ、および図７ＡＴに進行するとき、仮想紙吹雪オブジェクトは、連続的に追加され、疑似重力の影響下に入り、凧オブジェクト７１１２の縁部およびビデオフレームの下縁部を収集する。
いくつかの実施形態では、表示された仮想紙吹雪オブジェクトは、徐々に見えなくなり、および／または表示が終了される（例えば、仮想紙吹雪オブジェクトが表示されたために経過した時間量が閾値時間を上回って増加するとき）。
図７ＡＵ～図７ＡＸは、仮想スポットライトオブジェクト７１１８が、メディアオブジェクト表示領域７００２内に表示された以前にキャプチャされた画像内に描かれた物理オブジェクトとどのようにインターフェースするかを示す。
図７ＡＵでは、第２の以前にキャプチャされた画像は、メディアオブジェクト表示領域７００２内に表示され、スポットライトモードがアクティブ化されている（例えば、スポットライトコントロール７０２２で受信した入力に応じて）。スポットライトモードでは、スポットライト仮想オブジェクト７１１８は、画像（例えば、人７０５８）の一部分と、スポットライト仮想オブジェクト７１１８を越えた画像の領域とを照明することが示されている。このようにして、スポットライト仮想オブジェクト７１１８は、画像の特定の部分に注目することを可能にする。いくつかの実施形態では、照明される最初の物理オブジェクトは、（例えば、前景に最も近い物理オブジェクトの判定に基づいて）自動的に選択される。スポットライト仮想オブジェクト７１１８は、疑似光ビーム７１２２と、以前にキャプチャされた画像内の床の一部分を照明する疑似照明スポット７１２４と、を含む。いくつかの実施形態では、光ビーム７１２２は、以前にキャプチャされた画像内の物理オブジェクトの表現の少なくとも一部分を照らす。いくつかの実施形態では、照明スポット７１２４は、床７１２４などの画像内で検出された水平表面に対応する画像の一部分を照明する。
図７ＡＶでは、接触７１２８によるタップ入力が、スポットライトオブジェクト７１１８に対応するタッチスクリーン１１２上の位置で検出されている。図７ＡＶおよび図７ＡＷでは、接触７１２８は、矢印７１０２によって示す経路に沿って移動している。接触７１２８が移動すると、スポットライトオブジェクト７１１８の移動が接触７１２８の移動に対応するように、スポットライトオブジェクト７１１８が接触７１２８によって「ドラッグ」される。図７ＡＷでは、スポットライトオブジェクト７１１８の位置は、人７０５６がスポットライトオブジェクト７１１８によって照明されるようにシフトされている。スポットライトオブジェクト７１１８が移動すると、照明スポット７１２４のサイズが変化している。
図７ＡＸでは、入力（例えば、タップ入力）が、接触７０２６によって示される測定コントロール７０２０に対応するタッチスクリーンディスプレイ１１２上の位置で検出される。入力に応じて、スポットライトオブジェクト７１１８が表示されなくなる。
図７ＡＹでは、入力は、接触７１３２および７１３４によって示されるタッチスクリーンディスプレイ１１２上の位置で検出される。図７ＡＺでは、接触７１３２および７１３４の検出に応じて、仮想測定オブジェクト７１３６は、接触７１３２と７１３４との間の距離に及ぶ（例えば、人７０５８の高さに対応する）位置に表示される。測定値インジケータ７１３８は、画像内にキャプチャされた物理的環境内の接触７１３２および７１３４に対応する点間の距離が１．８ｍである（例えば、以前にキャプチャされた画像と共に記憶された奥行きデータを使用して判定される）ことを示す。
図７ＡＺから図７ＢＡまで、接触７１３２は、矢印７１４０で示される経路に沿って移動する。接触７１３２が移動すると、仮想測定オブジェクト７１３６のサイズは、接触７１３２と７１３４との間の調整された距離にわたるように調整され、測定値インジケータ７１３８によって示される測定値が更新される。
図７ＢＢでは、接触７１３２および７１３４は、タッチスクリーン１１２からリフトオフされている。仮想測定オブジェクト７１３６および測定値インジケータ７１３８は、表示されたままである。入力は、接触７１４２によって示されるタッチスクリーンディスプレイ１１２上の位置で検出される。図７ＢＢから図７ＢＣまで、接触７１４２は、矢印７１４４および７１４６で示される経路に沿って移動する。接触７１４２の移動に応じて（例えば、閾値移動量を超えて）、仮想測定オブジェクト７１４８および測定値インジケータ７１５０が表示される。図７ＢＣから図７ＢＤまで、接触７１４２が移動し続けると、仮想測定オブジェクト７１４８のサイズが調整され、測定値インジケータ７１５０によって示される測定値が更新される。仮想測定オブジェクト７１４８の点線部分は、物理オブジェクト（例えば、人７０５６）を通過する仮想測定オブジェクト７１４８の一部分を示す。
図７ＢＥでは、接触７１４２は、タッチスクリーン１１２からリフトオフしている。仮想測定オブジェクト７１４８および測定値インジケータ７１４８は、表示されたままである。図７ＢＦでは、接触７１５２によって示されるタッチスクリーンディスプレイ１１２上の位置で入力が検出される。入力に応じて、仮想測定オブジェクト７１４８の端部（例えば、受信された入力に最も近い端部）は、接触７１５２の位置に対応する位置に移動する。
図８Ａ～図８Ｗは、いくつかの実施形態に係る、共有注釈セッションを開始するための例示的なユーザインターフェースを示す。それらの図におけるユーザインターフェースは、図９Ａ～図９Ｆ、図１０Ａ～図１０Ｂ、図１１Ａ～図１１Ｆ、および図１２Ａ～図１２Ｄにおけるプロセスを含む、以下で説明されるプロセスを示すために使用される。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、またはタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０および別々のタッチ感知面４５１を有するデバイス上で実行される。
図８Ａ～図８Ｇは、２つのデバイス間の共有注釈セッションの確立を示す。
図８Ａは、第１のユーザが第１のデバイス１００－１（例えば、デバイス１００）を動作させ、第２のユーザが第２のデバイス１００－２（例えば、デバイス１００）を動作させる、物理的環境８０００を示す。デバイス１００－１によって表示される協働ユーザインターフェース８００２は、デバイス１００－１に対応するインセット８００４に示されている。インセット８００６は、デバイス１００－２によって現在表示されているウェブブラウザユーザインターフェースを示す。協働ユーザインターフェース８００２内に表示されるプロンプト８００８は、共有注釈セッションを開始する命令を含む。
図８Ｂでは、接触８０１２による入力は、共有注釈セッションを開始するためにデバイス１００－１によって表示されるコントロール８０１０に対応する位置で受信される。入力に応じて、要求は、共有注釈セッションを開始するためにデバイス１００－１からリモートデバイス（例えば、デバイス１００－２）に送信される。要求が送信され、要求の受諾を示す応答が受信されていない間、通知８０１４は、図８Ｃに示されるようにデバイス１００－１によって表示される。
図８Ｃでは、共有注釈セッションを開始する要求を受信したことに応じて、デバイス１００－２は、共有注釈セッションの要求を受け付ける命令を含むプロンプト８０１６を表示する。接触８０２０による入力は、共有注釈セッションの要求を受諾するためにデバイス１００－２によって表示されるコントロール８０１８に対応する位置で受信される。入力に応じて、要求の受諾は、デバイス１００－２からリモートデバイス（例えば、デバイス１００－１）に送信される。
図８Ｄでは、共有注釈セッションを開始する要求の受諾のインジケーションがデバイス１００－１によって受信されている。デバイス１００－１は、デバイス１００－１をデバイス１００－２に向かって移動させる命令を含むプロンプト８０２２を表示する。プロンプト８０２２は、デバイス１００－１の表現８０２６およびデバイス１００－２の表現８０２８を含む。デバイス１００－２は、デバイス１００－２をデバイス１００－１に向かって移動させる命令を含むプロンプト８０２４を表示する。プロンプト８０２４は、デバイス１００－１の表現８０３０およびデバイス１００－２の表現８０３２を含む。
図８Ｄ～図８Ｅは、プロンプト８０２２および８０２４に表示されるアニメーションを示す。プロンプト８０２２において、デバイス１００－１の表現８０２６は、デバイス１００－２の表現８０２８に向かって移動するようにアニメーション化される。プロンプト８０２４において、デバイス１００－２の表現８０３２は、デバイス１００－１の表現８０３０に向かって移動するようにアニメーション化される。
図８Ｆでは、接続基準が満たされている（例えば、第１のデバイス１００－１および第２のデバイス１００－２は、互いに向かって移動し、および／または第１のデバイス１００－１の１つ以上のカメラの視野内にキャプチャされた物理空間８０００の少なくとも一部分は、デバイス１００－２の１つ以上のカメラの視野内にキャプチャされた物理空間８０００の少なくとも一部分に対応する）。第１のデバイス１００－１によって表示された通知８０３４および第２のデバイス１００－２によって表示される通知８０３６は、それぞれ、共有注釈セッションが開始されたというインジケーションを含む。第１のデバイス１００－１は、第１のデバイス１００－１の１つ以上のカメラの視野の表現を表示する（例えば、通知８０３４によって重ね合わされる）。物理的環境８０００内のポスター８０３８ａは、第１のデバイス１００－１によって表示されたポスター８０３８ａの表現８０３８ｂによって示されるように、第１のデバイス１００－１の１つ以上のカメラの視野内で視認可能である。第２のデバイス１００－２は、第２のデバイス１００－２の１つ以上のカメラの視野の表現を表示する（例えば、通知８０３６によって重ね合わされる）。デバイス１００－１および１００－２は、共有視野を表示する（例えば、第１のデバイス１００－１の１つ以上のカメラの視野内にキャプチャされた物理空間８０００の少なくとも一部分は、デバイス１００－２の１つ以上のカメラの視野内にキャプチャされた物理空間８０００の少なくとも一部分に対応する）。例えば、物理的環境８０００内のポスター８０３８ａは、第２のデバイス１００－２によって表示されるポスター８０３８ａの表現８０３８ｃによって示されるように、第２のデバイス１００－２の１つ以上のカメラの視野内で視認可能である。図８Ｇでは、カメラのそれぞれの視野は、通知８０３４および８０３６を伴わずに第１のデバイス１００－１および第２のデバイス１００－２によって表示される（例えば、通知８０３４および８０３６は、表示されなくなっている）。
図８Ｈ～図８Ｍは、共有注釈セッション中に受信された注釈入力を示す。図８Ｈ～図８Ｊは、第２のデバイス１００－２に提供される注釈入力を示す。図８Ｋ～図８Ｍは、第１のデバイス１００－１に提供される注釈入力を示す。
図８Ｈでは、接触８０４４による入力（例えば、第２のデバイス１００－２のタッチスクリーンディスプレイで受信された入力）が、第２のデバイス１００－２によって検出される。第２のデバイス１００－２によって入力が検出されている間に、第１のデバイス１００－１は、第２のデバイス１００－２で入力が受信される共有視野内の位置に対応する共有視野内の位置にアバター８０４８を表示する。接触８０４４が、図８Ｈ～図８Ｉに示すように矢印８０４６によって示される経路に沿って移動すると、接触８０４４の移動に対応する注釈は、第１のデバイス１００－１（注釈８０５０－１として）および第２のデバイス１００－２（注釈８０５０－２として）によって表示される。図８Ｊでは、更なる注釈入力が、接触８０４４の更なる移動を介して提供されている。
図８Ｋでは、接触８０５２による入力（例えば、第１のデバイス１００－１のタッチスクリーンディスプレイで受信された入力）が、第１のデバイス１００－１によって検出される。第１のデバイス１００－１によって入力が検出されている間に、第２のデバイス１００－２は、第１のデバイス１００－１で入力が受信される共有視野内の位置に対応する共有視野内の位置にアバター８０５４を表示する。接触８０５２が移動すると、図８Ｋ～図８Ｍに示すように、接触８０５２の移動に対応する注釈は、第１のデバイス１００－１（注釈８０５６－１として）および第２のデバイス１００－２（注釈８０５６－２として）によって表示される。
図８Ｍ～図８Ｐでは、第１のデバイス１００－１の移動は、第１のデバイス１００－１と第２のデバイス１００－２との間の距離を増大させる。図８Ｎでは、第１のデバイス１００－１が第２のデバイス１００－２から離れて移動すると、第１のデバイス１００－１によって表示される第１のデバイス１００－１のカメラの視野の表現が調整される（例えば、第１のデバイス１００－１によって表示された物理ポスター８０３８ａの表現８０３８ｂの部分が減少するように）。
いくつかの実施形態では、１つ以上の注釈（例えば、８０５０－１、８０５０－２、８０５６－１、および／または８０５６－２）は、物理的環境８０００の一部分に対して固定された空間的関係を有する（例えば、物理的環境８０００に対するデバイスカメラの移動が注釈の表示位置を変更するように）。図８Ｏでは、注釈８０５６－１が第１のデバイス１００－１によってもはや表示されないように、第１のデバイス１００－１が第２のデバイス１００－２から離れる方向に移動し続けると、注釈８０５６－１に対応する視覚的インジケーション８０５８が第１のデバイス１００－１によって表示される（例えば、注釈８０５６－１を再表示するために必要な第１のデバイス１００－１の移動方向を示すため）。
図８Ｐでは、第１のデバイス１００－１の第２のデバイス１００－２から離れる移動は、第１のデバイス１００－１と第２のデバイス１００－２との間の距離を、共有注釈セッションを切断させる程度（例えば、閾値距離を上回る）まで増大させている。デバイス１００－１は、デバイス１００－１をデバイス１００－２に向かって移動させる命令を含むプロンプト８０６０を表示する。デバイス１００－２は、デバイス１００－２をデバイス１００－１に向かって移動させる命令を含むプロンプト８０６２を表示する。いくつかの実施形態では、プロンプト８０６０は、アニメーション化された要素を含む（例えば、図８Ｄ～図８Ｅに関して説明したように）。
図８Ｐから図８Ｑまで、第１のデバイス１００－１の移動は、第１のデバイス１００－１と第２のデバイス１００－２との間の距離を減少させる。図８Ｑでは、第１のデバイス１００－１と第２のデバイス１００－２との間の距離は、復元される共有注釈セッションのために十分に減少している。デバイス１００－１および１００－２がそれぞれのプロンプト８０６０および８０６２の表示を終了させると、それぞれのデバイスカメラのそれぞれの視野が再表示される。
図８Ｒ～図８Ｗは、第１のデバイス１００－１と第２のデバイス１００－２との間で共有セッションを使用するゲームアプリケーション（例えば、図８Ａ～図８Ｇに関して上述したように確立された共有セッション）を示す。
図８Ｒは、第１のユーザ８０６４ａが第１のデバイス１００－１（例えば、デバイス１００）を動作させ、第２のユーザ８０６６ａが第２のデバイス１００－２（例えば、デバイス１００）を動作させる、物理的環境８０６８を示す。第１のデバイス１００－１によって表示されるゲームアプリケーションユーザインターフェース８０６３－１は、第１のデバイス１００－１に対応するインセット８０７０に示されている。第２のデバイス１００－２によって表示されるゲームアプリケーションユーザインターフェース８０６３－２は、第２のデバイス１００－２に対応するインセット８０７２に示されている。ユーザ８０６４ａは、ユーザインターフェース８０６３－１に示されるように、ユーザ８０６６ａの表現８０６６ｂが、デバイス１００－１の１つ以上のカメラ（例えば、後向きカメラ）の視野内で視認可能であるように、ユーザ８０６６ａに面している。ユーザ８０６４ａの表現８０６４ｂは、ユーザインターフェース８０６３－２に示されるように、デバイス１００－２の１つ以上のカメラ（例えば、後ろ向きカメラ）の視野内で同様に視認可能である。
ゲームアプリケーションユーザインターフェース８０６３－１および８０６３－２は、それぞれ、バスケットボールリング８０７４および８０７６を表示する。それぞれのゲームアプリケーションユーザインターフェース内に入力を提供することによって、ユーザは、それぞれのバスケットボールリング内のバスケットを作製するために、それぞれのデバイスカメラの視野の表示された表現に仮想バスケットボールオブジェクトを起動する。いくつかの実施形態では、それぞれのバスケットボールリングは、それぞれのユーザがデバイスを移動させて相手方に挑戦を作成することができるように、それぞれのデバイスの空間的位置に固定される。ゲームアプリケーションユーザインターフェース８０６３－１および８０６３－２はまた、それぞれゲームデータ領域８０７８および８０８０を表示する。ゲームデータ領域に表示されるゲームデータとしては、例えば、成功したバスケットによってスコア付けされたポイントの記録、並びにデバイス１００－１と１００－２との間の距離（例えば、所与のショットにスコアを割り当てるための基準として使用する）が挙げられる。
図８Ｓでは、接触８０８２による入力（例えば、タップ入力）は、仮想バスケットボールオブジェクトを起動するためのデバイス１００－２によって検出される。接触８０８２による入力を検出したことに応じて、図８Ｔに示すように、ゲームアプリケーションユーザインターフェース８０６３－２内に表示されたデバイス１００－２のカメラの視野に、仮想バスケットボールオブジェクト８０８４が追加される。図８Ｔは、仮想バスケットボールオブジェクトを起動するためのデバイス１００－２によって検出された接触８０８６による入力（例えば、タップ入力）を更に示す。接触８０８６による入力を検出したことに応じて、仮想バスケットボールオブジェクト８０８８は、図８Ｖに示すように、ゲームアプリケーションユーザインターフェース８０６３－１内に表示されたデバイス１００－１のカメラの視野に追加される。図８Ｖでは、仮想バスケットボールオブジェクトを起動するためのデバイス１００－２によって検出された接触８０９０による入力（例えば、タップ入力）を示す。接触８０９０による入力を検出したことに応じて、仮想バスケットボールオブジェクト８０９２は、図８Ｗに示すように、ゲームアプリケーションユーザインターフェース８０６３－２内に表示されたデバイス１００－２のカメラの視野に追加される。図８Ｖから図８Ｗまで、ユーザ８０６４ａは、リング８０７６およびユーザ８０６４の表現８０６４ｂの表示された位置がユーザインターフェース８０６３－２内で変更されるように、デバイス１００－１を下げた。
図９Ａ～図９Ｆは、いくつかの実施形態に係る、注釈を再配置する方法９００を示すフロー図である。方法９００は、表示生成要素（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）と、１つ以上の入力デバイス（例えば、タッチ感知リモートコントロール等のタッチ感知面、または表示生成要素としての役割も果たすタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、および／またはユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）と、１つ以上のカメラ（例えば、ディスプレイおよびタッチ感知面とは反対のデバイスの側の１つ以上の背面カメラ）とを有する電子デバイス（例えば、図３のデバイス３００、または図１Ａのポータブル多機能デバイス１００）で実行される。いくつかの実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるかまたはこれに組み込まれている。いくつかの実施形態では、ディスプレイはタッチ感知面から分離している。方法９００の一部の動作が任意選択的に組み合わされ、かつ／または、一部の動作の順序が任意選択的に変更される。
デバイスは、表示生成要素を介して、経時的な１つ以上のカメラの視野の変化と共に更新される１つ以上のカメラの視野の表現を含む第１のユーザインターフェース領域（例えば、ユーザインターフェース５００３）を表示する（９０２）（例えば、視野の表現は、カメラの周囲の物理的環境に生じる変化に従って、および物理的環境に対するカメラの移動に従って、（例えば、２４、４８、または６０ｆｐｓなどの予め設定されたフレームレートを用いて）連続的に更新される）。例えば、図５Ａ～図５Ｂに示すように、１つ以上のカメラの視野内の物理的環境５０００のビューは、デバイス１００が移動される際のデバイス１００のカメラの位置の変化に従って更新される。
１つ以上のカメラの視野の表現を含む第１のユーザインターフェース領域を表示している間に、デバイスは、１つ以上の入力デバイスを介して、１つ以上のカメラの視野の表示された表現に注釈を追加する第１の要求（例えば、タッチ感知面上の接触（例えば、指またはスタイラスによる接触）の移動によって生成および／または配置されるテキストまたは図）を受信する（９０４）（例えば、第１の要求は、タッチスクリーンディスプレイ上の第１のユーザインターフェース領域内で検出される接触による入力である（例えば、注釈を開始するためのコントロールに対応する位置、または第１のユーザインターフェース領域内の位置（例えば、注釈が開始される位置）））。例えば、注釈を追加する要求は、スタイラス５０１２による入力（例えば、図５Ｃに関して記載されている注釈を開始する入力、および／または図５Ｈに関して説明されるように、コントロールに対応する位置における接触による入力（例えば、静止画モードとビデオモードとをトグルするためのコントロール５００４））である。
１つ以上のカメラの視野の表示された表現に注釈を追加する第１の要求に応じて（例えば、カメラの視野の表現内にキャプチャされた物理的環境の一部分に対応する位置でのタッチ感知面上の指接触またはスタイラスのタッチダウンまたは移動、またはユーザインターフェースオブジェクト（例えば、ＡＲ注釈モードをアクティブ化するボタン）を検出したことに応じて、を含む）、デバイスは、第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現を、注釈を追加するための第１の要求の受信に対応する時間にキャプチャされた１つ以上のカメラの視野の静止画で置き換え（９０６）（例えば、１つ以上のカメラの視野のライブフィードを一時停止する（例えば、現在の視野の静止画を表示する）一方で、視野は、デバイスの移動と共に変化し続ける）、第１のユーザインターフェース領域内に、１つ以上のカメラの視野の一時停止されたライブフィードに対応する静止画を表示する。例えば、スタイラス５０１２による入力に応じて（例えば、図５Ｃに関して説明したように）、デバイスカメラの視野の表現（例えば、図５Ａ～図５Ｂに関して説明されるように）は、注釈を追加するための第１の要求の受信に対応する時間にキャプチャされた１つ以上のカメラの視野の静止画の表示によって置き換えられる（例えば、図５Ｃ～図５Ｄに関して説明されるように）。
第１のユーザインターフェース領域内に静止画を表示している間に、デバイスは、１つ以上の入力デバイスを介して、静止画の第１の部分上の第１の注釈（例えば、描画入力）を受信し（９０８）、静止画の第１の部分は、静止画内にキャプチャされた物理的環境の第１の部分に対応する。例えば、注釈５０１８は、図５Ｄ～図５Ｇに関して記載されているように、静止画内にキャプチャされた物理的環境の一部分（例えば、物理マグカップ５００２ａを含む物理的環境５０００の一部分）に対応する静止画の一部分（例えば、物理マグカップ５００２ａの表現５００２ｂを含む一部分）上に受信される。いくつかの実施形態では、静止画を表示し、静止画上で注釈入力を受信している間に、デバイスは、周囲の物理的環境に対するカメラの位置を追跡し続ける（例えば、カメラの視野の変化および他のセンサ（例えば、動きセンサ、重力センサ、ジャイロ秒など）からの入力に基づいて）。いくつかの実施形態では、デバイスは、静止画内の注釈の位置に対応する物理的位置またはオブジェクトがカメラの視野から外れたか否かを判定し、そうであれば、デバイスはまた、現在カメラの視野内の物理的環境の部分と注釈の標的である物理的位置またはオブジェクトとの間の空間的関係を判定する。例えば、マグカップ５００２は、注釈５０１８の標的である。
第１のユーザインターフェース領域内の静止画の第１の部分上に第１の注釈を表示している間（例えば、静止画の第１の部分上に第１の注釈を受け取った後）、デバイスは、１つ以上の入力デバイスを介して、第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現を再表示する第１の要求を受信する（９１０）。例えば、第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現を再表示する要求は、図５Ｈに関して説明したように、静止画モードとビデオモードとをトグルするためのコントロール５００４におけるスタイラス５０１２による入力である。
第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現を再表示するための第１の要求を受信したことに応じて（例えば、閾値時間量だけタッチ感知面上の接触がないことを検出したことに応じて（例えば、描画セッションが終了したとみなされた）、またはユーザインターフェースオブジェクト（例えば、ＡＲ注釈モードを非アクティブ化するためのボタン）上のタップを検出したことに応じて）、デバイスは、静止画の表示を、第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現と置き換える（９１０）（例えば、視野の表現は、カメラの周囲の物理的環境に生じる変化に従って、および物理的環境に対するカメラの移動に従って、予め設定されたフレームレート（例えば、２４、４８、または６０ｆｐｓなど）で連続的に更新される）。例えば、図５Ｈに関して説明したように、コントロール５００４におけるスタイラス５０１２による入力に応じて、図５Ｃ～図５Ｈに表示された静止画は、図５Ｉ～図５Ｎに関して説明したように、第１のユーザインターフェース領域５００３内の１つ以上のカメラの視野の表現によって置き換えられる。静止画内にキャプチャされた物理的環境の第１の部分（例えば、第１の注釈が受信されたオブジェクトを含む物理的環境の一部分）が、現在、１つ以上のカメラの視野外にあるとの判定に従って（例えば、カメラビューのライブフィードが停止された後に発生したデバイスの移動の結果として）、デバイスは、１つ以上のカメラの視野の表現と同時に、（例えば、コンピューティングシステムの一部として）静止画内にキャプチャされた物理的環境の第１の部分に対する１つ以上のカメラの現在の空間的関係のインジケーションを表示する（例えば、表示されたカメラの視野の縁上におよび注釈が付けられた物理的環境の第１の部分に最も近い縁の位置にドットまたは他の形状等の視覚的インジケーションを表示する、またはカメラの視野の表現と同時に物理的環境の簡略化されたマップを表示し、物理的環境の第１の部分とマップ上のデバイスとの相対位置をマークする）。例えば、図５Ｌに関して説明したように、静止画内にキャプチャされた物理的環境の部分（例えば、注釈５０１８が受信されたものに対するマグカップ５００２を含む）は、現在、１つ以上のカメラの視野外にあり（例えば、図５Ｊ～図５Ｌでは、物理マグカップ５００２ａは、ユーザインターフェース５００３内に表示されるカメラの視野外にある）、静止画内にキャプチャされた物理的環境の第１の部分に対する１つ以上のカメラの現在の空間的関係のインジケーション（例えば、インジケータドット５０２２）は、１つ以上のカメラの視野の表現と同時に表示される（例えば、図５Ｌに示すように）。静止画内にキャプチャされた物理的環境の第１の部分（例えば、第１の注釈が受信されたオブジェクトを含む物理的環境の一部分）が現在１つ以上のカメラの視野内にあるとの判定に従って、デバイスは、インジケーションの表示を見合わせる。例えば、カメラの視野を再表示する入力（例えば、図５Ｔに関して説明したように、静止画モードとビデオモードとをトグルするためのコントロール５００４におけるスタイラス５０１２による入力）に応じて、静止画内にキャプチャされた物理的環境の部分（例えば、受信された注釈５０１８および５０２８に対するマグカップ５００２を含む）が、現在、１つ以上のカメラの視野内にある（例えば、図５Ｔでは、物理マグカップ５００２ａは、ユーザインターフェース５００３に表示されたカメラの視野内で視認可能である（視覚的表現５００２ｂとして））との判定に従って、静止画内にキャプチャされた物理的環境の第１の部分に対する１つ以上のカメラの現在の空間的関係のインジケーションは表示されない（例えば、図５Ｔに示すように）。静止画内にキャプチャされた物理的環境の部分が現在１つ以上のカメラの視界外にあるとの判定に従って、静止画内にキャプチャされた物理的環境の一部分に対する１つ以上のカメラの現在の空間的関係のインジケーションを表示することは、改良された視覚的フィードバック（例えば、カメラの移動が静止画内にキャプチャされた物理的環境を見るのに必要な旨を示すこと）をユーザに提供する。改良された視覚的フィードバックをユーザに提供することにより、（例えば、ユーザが静止画の注釈部分に対応する物理的環境の一部分を素早くかつ正確に配置するのを可能にすることによって）デバイスの操作性を高め、ユーザ－デバイスインターフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、静止画内にキャプチャされた物理的環境の第１の部分に対する１つ以上のカメラの現在の空間的関係のインジケーションを表示すること（９１２）は、１つ以上のカメラの視野の表現の縁部に近接してインジケータを表示することと、物理的環境に対する１つ以上のカメラの移動に従って、縁部に沿ってインジケータを移動させることと、を含む。例えば、図５Ｌに関して説明したように、インジケータ５０２２は、ユーザインターフェース５００３内に表示されるカメラの視野の左端に近接して表示され、図５Ｌ～図５Ｍに関して説明したように、インジケータは、デバイス１００のカメラの移動に従って縁部に沿って移動される。いくつかの実施形態では、１つ以上のカメラの視野の矩形表現の場合、インジケータは、視野の矩形表現の縁部に沿って移動するドットまたは他の形状などの視覚的インジケーションであり、視覚的インジケーションは、１つ以上のカメラの第１の移動に従って、１つの真っ直ぐな縁部に沿って移動することができ、視覚的インジケーションはまた、１つ以上のカメラの第２の移動に従って、１つの真っ直ぐな縁部から別の真っ直ぐな縁部にホップしてもよい。カメラビューの縁部に沿ってインジケータを移動させることは、ユーザに視覚的フィードバックを提供する（例えば、静止画内にキャプチャされた物理的環境の一部分を見るために必要とされるカメラの移動方向を示す）。改良された視覚的フィードバックをユーザに提供することにより、（例えば、ユーザが静止画の注釈部分に対応する物理的環境の一部分を素早くかつ正確に配置するのを可能にすることによって）デバイスの操作性を高め、ユーザ－デバイスインターフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、静止画内にキャプチャされた物理的環境の第１の部分に対する１つ以上のカメラの現在の空間的関係のインジケーションを表示している間に、デバイスは、１つ以上のカメラの第１の移動（例えば、コンピューティングシステムの一部として）を検出する（９１４）。１つ以上のカメラの第１の移動を検出したことに応じて、デバイスは、第１の移動によって生じる１つ以上のカメラの視野の変化に従って、１つ以上のカメラの視野の表現を更新する。静止画内にキャプチャされた物理的環境の第１の部分（例えば、第１の注釈が受信されたオブジェクトを含む物理的環境の部分）が現在１つ以上のカメラの視野外にあるとの判定に従って、デバイスは、（例えば、コンピューティングシステムの一部分として）１つ以上のカメラの第１の移動に従って静止画内にキャプチャされた物理的環境の第１の部分に対する１つ以上のカメラの現在の空間的関係のインジケーションを更新する（例えば、カメラの第１の移動に従って、視野の表現の縁部に沿ってドットまたは他の形状などの視覚的インジケーションを移動させる）。静止画内にキャプチャされた物理的環境の第１の部分（例えば、第１の注釈が受信されたオブジェクトを含む物理的環境の一部分）が現在１つ以上のカメラの視野内にあるとの判定に従って、デバイスは、インジケーションの表示を終了する。例えば、デバイス１００のカメラが移動すると、静止画内にキャプチャされた物理的環境の一部がカメラの視野外にある間（例えば、図５Ｌ～図５Ｍに関して説明したように、マグカップ５００２ａはカメラの視野外にある）、インジケーション５０２２は更新され（例えば、ユーザインターフェース５００３内で上方に移動される）、静止画内にキャプチャされた物理的環境の部分がカメラの視野内にあるとき、インジケーション５０２２はもはや表示されない（例えば、図５Ｌ～図５Ｎに関して説明したように）。いくつかの実施形態では、第１の注釈を有する静止画の縮小表現（例えば、縮小表現５０２０）は、視覚的インジケータが最後に表示された視野の表現の縁部上の位置に隣接して表示され、静止画ビューは縮小し、カメラの視野の表現に示される第１注釈の位置に向かって移動する）。いくつかの実施形態では、インジケーションは、物理的環境の第１の部分が、物理的環境に対するカメラの更なる移動と共にカメラの視野外に移動するときに再表示される（例えば、図５Ｕ～図５Ｖに関して説明したように）。静止画内にキャプチャされた物理的環境の第１の部分が現在１つ以上のカメラの視野内にあるとの判定に従って、物理的環境の一部分に対する１つ以上のカメラの現在の空間的関係のインジケーションの表示を終了することは、ユーザに視覚的フィードバックを提供する（例えば、静止画内にキャプチャされた物理的環境の部分を見るために更なる移動が必要でないことを示す）。改良された視覚的フィードバックをユーザに提供することにより、（例えば、ユーザが静止画の注釈部分に対応する物理的環境の一部分を素早くかつ正確に配置するのを可能にすることによって）デバイスの操作性を高め、ユーザ－デバイスインターフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現を再表示するための第１の要求を受信したことに応じて（９１６）、静止画内にキャプチャされた物理的環境の第１の部分（例えば、第１の注釈が受信されたオブジェクトを含む物理的環境の一部分）が１つ以上のカメラの視野内にあるとの判定に従って、デバイスは、１つ以上のカメラの視野の表現内にキャプチャされた物理的環境の第１の部分に第１の注釈を表示する。例えば、図５Ｎに関して説明したように、デバイスは、１つ以上のカメラの視野の表現内にキャプチャされた物理的環境の一部分に注釈５０１８を表示する（例えば、注釈５０１８は、静止画内にキャプチャされた物理的環境の第１の部分（例えば、物理マグカップ５００２ａを含む物理的環境５０００の一部分）が現在１つ以上のカメラの視野内にあるとの判定に従って、物理マグカップ５００２ａの視覚的表現５００２ｂに対応する位置に表示される）。注釈付き静止画内にキャプチャされた物理的環境の一部分の注釈を表示することは、ユーザに視覚的フィードバックを提供する（例えば、静止画内にキャプチャされた物理的環境の部分が現在１つ以上のカメラの視野内にあることを示す）。改良された視覚的フィードバックをユーザに提供することにより、（例えば、ユーザが静止画の注釈部分に対応する物理的環境の一部分を素早くかつ正確に配置するのを可能にすることによって）デバイスの操作性を高め、ユーザ－デバイスインターフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、第１の注釈は、１つ以上のカメラの視野の表現内にキャプチャされた物理的環境の第１の部分内の第１の奥行き平面上の２次元オブジェクト（例えば、注釈５０１８）として表示される（９１８）。いくつかの実施形態では、第１の奥行き平面は、物理的環境の第１の部分における第１の奥行き平面における物理オブジェクト（例えば、物理マグカップ５００２ａ）またはオブジェクト特徴の検出に従って検出される。１つ以上のカメラの視野内の物理的環境の部分内の奥行き平面上に注釈を表示することは、ユーザに改良された視覚的フィードバックを提供する（例えば、注釈が物理的環境に対して固定された空間的関係を有することを示す）。改良された視覚的フィードバックをユーザへ提供することは、（例えば、ユーザが注釈に含まれる追加情報を物理世界のオブジェクトに吹き込むことを可能にすることによって）デバイスの操作性を高め、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の注釈（例えば、注釈５０１８）は、１つ以上のカメラの視野の表現内にキャプチャされた物理的環境の第１の部分内の空間内の位置に表示される（９２０）。いくつかの実施形態では、第１の注釈は、物理的環境の第１の部分において検出された任意の物理オブジェクトから分離された空間内に浮遊する。静止画内にキャプチャされた物理的環境の一部分内の空間内の位置に注釈を表示することは、ユーザに改良された視覚的フィードバックを提供する（例えば、注釈が物理的環境に対して固定された空間的関係を有することを示す）。改良された視覚的フィードバックをユーザへ提供することは、（例えば、ユーザが注釈に含まれる追加情報を物理世界のオブジェクトに吹き込むことを可能にすることによって）デバイスの操作性を高め、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の注釈（例えば、注釈５０１８）は、１つ以上のカメラの視野の表現内にキャプチャされた物理的環境の第１の部分内に検出された物理オブジェクト（例えば、物理マグカップ５００２ａ）上の位置に表示される（９２２）。いくつかの実施形態では、第１の注釈は、物理的環境の第１の部分において検出された物理オブジェクト（または物理オブジェクトの特徴）に取り付けられる。静止画内にキャプチャされた物理的環境の部分において検出された物理オブジェクト上の位置における物理的環境の一部分の注釈を表示することは、ユーザに改良された視覚的フィードバックを提供する（例えば、注釈が物理的環境に対して固定された空間的関係を有することを示す）。改良された視覚的フィードバックをユーザへ提供することは、（例えば、ユーザが注釈に含まれる追加情報を物理世界のオブジェクトに吹き込むことを可能にすることによって）デバイスの操作性を高め、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現を再表示する第１の要求を受信したことに応じて（９２４）、静止画内にキャプチャされた物理的環境の第１の部分（例えば、第１の注釈が受信されたオブジェクトを含む物理的環境の一部分）が現在１つ以上のカメラの視野内にないとの判定に従って、デバイスは、第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現と同時に、静止画の第１の部分上に描かれた第１の注釈（例えば、描画入力）の視覚的表現を表示する（例えば、第１の注釈を有する静止画の縮小表現が、現在カメラの視野内に現在表されている物理空間の第１の部分に最も近い視野の表現の縁部上の位置に隣接して表示される）。例えば、第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現を再表示する要求（例えば、図５Ｈに関して記載されているように、静止画モードとビデオモードとをトグルするためのコントロール５００４におけるスタイラス５０１２による入力）に応じて、静止画内にキャプチャされた物理的環境の第１の部分が現在１つ以上のカメラの視野内にあるとの判定に従って（例えば、静止画内にキャプチャされた物理的環境の部分（例えば、受信された注釈５０１８に対するマグカップ５００２を含む）が現在１つ以上のカメラの視野の範囲内にある）、デバイスは、第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現と同時に、静止画の第１の部分に描かれた注釈５０１８を表示する（例えば、図５Ｎに関して説明されるように）。いくつかの実施形態では、第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現を再表示する第１の要求を受信したことに応じて、静止画内にキャプチャされた物理的環境の第１の部分（例えば、第１の注釈が受信されたオブジェクトを含む物理的環境の一部分）が現在１つ以上のカメラの視野外にあるとの判定に従って、コンピューティングシステムは、静止画の第１の部分上に描かれた第１の注釈の視覚的表現の表示を見合わせる（例えば、図５Ｌおよび図５Ｍに示すように、注釈５０１８は表示されない）。物理的環境の第１の部分がカメラの視野内にないとの判定に従って、静止画の注釈の視覚的表現をカメラの視野の表現と同時に表示することは、改良された視覚的フィードバックをユーザに提供する（例えば、現在の空間的関係（例えば、ドット）のインジケーションが受信注釈入力に対応することを示す）。改良された視覚的フィードバックをユーザに提供することにより、（例えば、ユーザが静止画の注釈部分に対応する物理的環境の一部分を素早くかつ正確に配置するのを可能にすることによって）デバイスの操作性を高め、ユーザ－デバイスインターフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、視野の表現に示される第１の注釈は、静止画内にキャプチャされた物理的環境の第１の部分に対する１つ以上のカメラの現在の空間的関係に基づく第１の視点を有し（９２６）、静止画上に表示された第１の注釈の第２視野（例えば、視野の表現に隣接して表示される静止画の縮小表現に示される第１の注釈の視点）とは異なる。いくつかの実施形態では、現在の視野の表現に変換されている静止画の縮小表現を示すアニメーション化された遷移が表示される。静止画に示される視点から異なる視点で注釈を表示することは、ユーザに改良された視覚的フィードバックを提供する（例えば、注釈が静止画内にキャプチャされた物理的環境の一部分に固定されていることを示す）。図５ＡＥおよび図５ＡＦは、視野の表現で示される注釈５０１８の例を、異なる視点の視点で提供する。改良された視覚的フィードバックをユーザに提供することにより、（例えば、ユーザが静止画の注釈部分に対応する物理的環境の一部分を素早くかつ正確に配置するのを可能にすることによって）デバイスの操作性を高め、ユーザ－デバイスインターフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現を再表示する第１の要求を受信したことに応じて（９２８）、静止画内にキャプチャされた物理的環境の第１の部分（例えば、第１の注釈が受信されたオブジェクトを含む物理的環境の一部分）が現在１つ以上のカメラの視野外にあるとの判定に従って、第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現と同時に、静止画の第１の部分に描画される第１の注釈の視覚的表現を表示し（例えば、描画入力）（例えば、第１の注釈による静止画の縮小表現が、カメラの視野内に現在表示されている物理空間の第１の部分に最も近い視野の表現の縁部上の位置に隣接して表示される）、静止画の第１の部分に描かれた第１の注釈の視覚的表現（例えば、縮小表現５０２０）は、静止画内にキャプチャされた物理的環境の第１の部分に対する（例えば、コンピューティングシステムの一部として）１つ以上のカメラの現在の空間的関係のインジケーション（例えば、インジケーション５０２２）に変換される（例えば、図５Ｉ～図５Ｌに関して説明したように）。例えば、インジケーションは、注釈が作成された物理的環境の第１の部分に最も近い縁部上の位置において、カメラの表示された視野の縁部上に表示されるドットまたは他の形状などの視覚的インジケーションであり、視覚的インジケーションが表示される前に、第１の注釈を有する静止画の小型ビューがその位置に表示され、視覚的インジケーションに変換される。注釈の視覚的表現（例えば、静止画の縮小表現）を、静止画内にキャプチャされた物理的環境の部分に対するカメラの現在の空間的関係のインジケーション（例えば、ドット）に変換することは、改良された視覚的フィードバックをユーザに提供する（例えば、インジケーション（例えば、ドット）および注釈の視覚的表現（例えば、縮小されたスケールの画像）が同じ注釈の異なる表現であることを示す）。改良された視覚的フィードバックをユーザに提供することにより、（例えば、ユーザが静止画の注釈部分に対応する物理的環境の一部分を素早くかつ正確に配置するのを可能にすることによって）デバイスの操作性を高め、ユーザ－デバイスインターフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、１つ以上のカメラの視野の表現を含む第１のユーザインターフェース領域を表示している間に、表示されたビューの表示されたビューに注釈を追加するための第１の要求を検出する前に、デバイスは、第２の注釈が以前に追加された、以前に受信した物理的環境の第２の部分に対する１つ以上のカメラの現在の空間的関係（例えば、コンピューティングシステムの一部として）のインジケーション（例えば、インジケーション５０２２）を表示する（９３０）（例えば、表示されたカメラの視野の縁部上におよび第２の注釈が行われた物理的環境の第２の部分に最も近い縁部上の位置にドットまたは他の形状などの視覚的インジケーションを表示すること、または、カメラの視野の表現と同時に物理的環境の単純化されたマップを表示し、物理的環境およびマップ上のデバイスの第２の部分の相対位置をマーキングすること）。いくつかの実施形態では、第２の注釈は、第１の注釈がカメラの視野の表現に示される物理的環境の第１の部分に追加されるのと同じ方法で、１つ以上のカメラの視野の表現に示される物理的環境の第２の部分に追加された。以前に受信した注釈が追加された物理的環境の第２の部分に対するカメラの現在の特別な関係のインジケーションを表示することは、ユーザに改良された視覚的フィードバックを提供する（例えば、カメラの移動が、静止画内にキャプチャされた物理的環境の部分に対して以前に受信した注釈を検視するために必要であることを示す）。例えば、インジケーション５０２２は、図５Ｐ～図５Ｒに関して説明したように注釈５０２８を追加する要求を検出する前に表示される。改良された視覚的フィードバックをユーザに提供することにより、（例えば、ユーザが静止画の以前に注釈付けされた部分に対応する物理的環境の一部分を素早くかつ正確に配置するのを可能にすることによって）デバイスの操作性を高め、ユーザ－デバイスインターフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザインターフェース領域内の１つ以上のカメラの視野の表現を再表示するための第１の要求を受信した後に、物理的環境の第１の部分および物理的環境の第２の部分の両方が１つ以上のカメラの視野外にあるとの判定に従って、デバイスは、物理的環境の第１の部分に対する１つ以上のカメラの現在の空間的関係のインジケーションと、物理的環境の第２の部分に対する１つ以上のカメラの現在の空間的関係のインジケーションとを同時に表示する（９３２）。例えば、複数の注釈（例えば、注釈５０１８および５０３６）が物理的環境の異なる部分に追加された場合、異なる注釈に対応するインジケータ（例えば、インジケータ５０１８および５０４０、図５ＡＡ）は、物理的環境の対応する部分に最も近いそれぞれの位置におけるカメラの視野の表現の縁部の周りに同時に表示される。物理的環境の第１の部分に対するカメラの現在の空間的関係のインジケーションおよび物理的環境の第２の部分に対するカメラの現在の空間的関係のインジケーションを同時に表示することは、ユーザに改良された視覚的フィードバックを提供する（例えば、複数の受信された注釈のうちの１つ以上を見るために必要とされるカメラの移動方向を示す）。改良された視覚的フィードバックをユーザに提供することにより、（例えば、ユーザが静止画の以前に注釈付けされた部分に対応する物理的環境の一部分を素早くかつ正確に配置するのを可能にすることによって）デバイスの操作性を高め、ユーザ－デバイスインターフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、物理的環境の第１の部分に対する１つ以上のカメラの現在の空間的関係のインジケーションおよび物理的環境の第２の部分に対する１つ以上のカメラの現在の空間的関係のインジケーションを表示する間に、デバイスは、物理的環境に対する１つ以上のカメラの第２の移動を検出し（９３４）、物理的環境に対する１つ以上のカメラの第２の移動を検出したことに応じて、物理的環境の第１の部分および物理的環境の第２の部分の両方が、１つ以上のカメラの視野外にあるとの判定に従って、デバイスは、物理的環境の第１および第２の部分に対する１つ以上のカメラの現在の空間的関係のインジケーションを物理的環境に対する１つ以上のカメラの第２の移動に従って、それぞれ更新する（例えば、異なる方向および／または視野の表現の縁部に沿った異なる速度で仮想インジケータを移動させる）。例えば、物理的環境の異なる部分を対象とする異なる注釈に対応するそれぞれの視覚的インジケータは、カメラの視野の表現の縁部上の異なる位置に表示され、デバイスの移動により、それぞれの視覚的インジケータは、デバイスに対するそれらの対応する注釈の現在の空間的関係の変化に従って、異なる方向におよび異なる速度で移動される（例えば、インジケータ５０１８および５０４０は、図５ＡＡ～図５ＡＤに関して記載されるように、デバイス１００の移動に従って移動する）。視覚的インジケータは、異なる注釈でマーキングされた物理的環境の異なる部分間の実際の空間的関係に応じて、一緒にまたは別々に移動し、および／または異なる速度で移動してもよい。カメラの移動に従って、物理的環境の第１および第２の部分に対するカメラの現在の空間的関係のインジケーションを更新することは、ユーザに改良された視覚的フィードバックを提供する（例えば、カメラの移動が、カメラを静止画の注釈付き部分に対応する物理的環境の部分に近付けるか、またはそれから離れるようにする）。改良された視覚的フィードバックをユーザに提供することにより、（例えば、ユーザが静止画の以前に注釈付けされた部分に対応する物理的環境の一部分を素早くかつ正確に配置するのを可能にすることによって）デバイスの操作性を高め、ユーザ－デバイスインターフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、物理的環境の第１の部分および第２の部分が１つ以上のカメラの所定の範囲内にあるとの判定に従って、物理的環境の第１の部分に対する１つ以上のカメラの現在の空間的関係のインジケーションと、物理的環境の第２の部分に対する１つ以上のカメラの現在の空間的関係のインジケーションとが表示される（９３６）。いくつかの実施形態では、ユーザインターフェースは、物理的環境の様々な部分に追加された全ての注釈から注釈のサブセットを選択するための方法を提供し、選択された注釈のサブセットに対応するインジケーションのみが、カメラの視野の表現と共に表示される。物理的環境の第１の部分および第２の部分が１つ以上のカメラの既定の範囲内にあるとの判定に従って、物理的環境の第１の部分に対する、および物理的環境の第２の部分に対するインジケーションを表示することは、（例えば、第１および第２の部分が既定の範囲外にある場合のインジケータによるユーザインターフェースの乱雑さを減らすことによって）改良された視覚的フィードバックをユーザに提供する。改良された視覚的フィードバックをユーザに提供することにより、（例えば、ユーザが静止画の以前に注釈付けされた部分に対応する物理的環境の一部分を素早くかつ正確に配置するのを可能にすることによって）デバイスの操作性を高め、ユーザ－デバイスインターフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
図９Ａ～図９Ｆにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。更に、本明細書に記載された他の方法（例えば、方法１０００、１１００、および１２００）に関して本明細書に記載されている他のプロセスの詳細は、図９Ａ～図９Ｆに関して上述した方法９０００に類似した方法でも適用可能であることに留意されたい。例えば、方法９０００を参照して上記した接触、入力、注釈、物理オブジェクト、ユーザインターフェース領域、視野、移動、および／またはアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法１０００、１１００、および１２００）を参照して本明細書に記載した接触、入力、注釈、物理オブジェクト、ユーザインターフェース領域、視野、移動、および／またはアニメーションの特徴のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１０Ａ～図１０Ｂは、いくつかの実施形態に係る、ビデオの一時停止位置に対応する静止画内にキャプチャされた物理的環境の一部分上に注釈を受信する方法１０００を示すフロー図である。方法１０００は、表示生成要素（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）と１つ以上の入力デバイス（例えば、表示生成要素としても機能するタッチスクリーンディスプレイ）とを有する電子デバイス（例えば、図３のデバイス３００、または、図１Ａのポータブル多機能デバイス１００）において実行される。いくつかの実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるかまたはこれに組み込まれている。いくつかの実施形態では、ディスプレイはタッチ感知面から分離している。方法１０００の一部の動作が任意選択的に組み合わされ、かつ／または、一部の動作の順序が任意選択的に変更される。
デバイスは、表示生成要素を介して、ビデオ再生領域を含むユーザインターフェースを表示する（１００２）。例えば、デバイス１００は、図６Ａに関して説明したように、タッチスクリーンディスプレイ１１２を介して、ビデオ再生領域６００２を含むユーザインターフェース６０００を表示する。
ビデオ再生領域内のビデオの第１の部分の再生を表示している間に、デバイスは、１つ以上の入力デバイスを介して、ビデオ再生に注釈を追加する要求を受信する（１００４）（例えば、この要求は、タッチスクリーンディスプレイ上のビデオ再生ユーザインターフェース内で検出される接触（例えば、注釈を開始するコントロールに対応する位置、またはビデオ再生領域内の位置（例えば、注釈が開始される位置））で検出される接触による入力である）。例えば、ビデオ再生に注釈を追加する要求は、マークアップコントロール６０１０に対応する位置において、接触６０２４による入力である。
注釈を追加する要求を受信したことに応じて、デバイスは、ビデオ内の第１の位置でのビデオの再生を一時停止する（１００６）（例えば、ビデオの現在のフレーム（例えば、一時停止位置）を特定し、現在のフレームにおけるビデオの再生を停止する）。
デバイスは、ビデオの第１の一時停止位置に対応する静止画（例えば、ビデオのフレーム）を表示する（１００８）（例えば、要求が受信された時点で示されたビデオの現在のフレームを表示する）。例えば、図６Ｃ～図６Ｄに関して説明したように、ビデオのマークアップコントロール６０１０の再生に対応する位置における接触６０２４による入力に応じて、ビデオの再生が一時停止され、一時停止位置に対応する静止画が表示される。
静止画を表示している間（例えば、ビデオ再生領域内に）、デバイスは、１つ以上の入力デバイスを介して、静止画内にキャプチャされた物理的環境の第１の部分上に注釈（例えば、接触による描画入力）を受信する（１００８）。例えば、図６Ｅ～図６Ｆに関して説明したように、注釈６０３０は、表示された静止画内の凧オブジェクト６０２８に対応する物理的環境の一部分上に受信される。「物理的環境」が本明細書で言及される場合、非物理的環境（例えば、コンピュータ生成環境）が静止画内に含まれ得ることが理解されるであろう。例えば、ビデオの一時停止位置に対応する画像の一部分（例えば、コンピュータ生成ビデオの一部である）上に注釈が受信される。いくつかの実施形態では、コンピュータ生成画像は、注釈および／または仮想オブジェクトが適している奥行きデータおよび／またはオブジェクトを含む。
注釈を受信した後、デバイスは、ビデオ再生領域内に、ビデオ内の第１の位置（例えば、ビデオ内の一時停止位置の前または後）とは異なるビデオ内の第２の位置に対応するビデオの第２の部分を表示し（１０１０）（例えば、ビデオの継続再生中、またはビデオを前後にスクラブするように入力が受信されたとき（例えば、タイムライン上で））、物理的環境の第１の部分は、ビデオの第２の部分にキャプチャされ、注釈はビデオの第２の部分に表示される。例えば、注釈６０３０が図６Ｅ～図６Ｆに関して説明したように受信された後、注釈６０３０は、（例えば、図６Ｊに関して説明したように）ビデオの第２の部分に表示される。いくつかの実施形態では、ビデオの第２の部分が表示されている間に、注釈は、静止画が表示されている間に受信した注釈の第１の位置とは異なるビデオ再生領域内の第２の位置に表示される（例えば、注釈は、ビデオクリップ内にキャプチャされた物理的環境内の位置（例えば、物理オブジェクト）に「取り付けられる」ことにより、ビデオが進行するとき、注釈が移動すると同時に位置（例えば、物理オブジェクト）が移動する）。（例えば、注釈が適用されるべき表面を特定するために）更なる入力を必要とせずに注釈が適用されたビデオの一部分とは異なるビデオの一部分に注釈を表示することは、デバイスの操作性を高める。ユーザ入力を更に必要とすることなく動作を実行することは、デバイスの操作性を強化し、ユーザデバイスインターフェースをより効率的にし（例えば、ビデオを再録画したり、ビデオの複数の部分に注釈を付けたりする必要なく、ユーザが、ビデオの直接注釈を介して以前にキャプチャされたビデオに情報を追加することを可能にすることによって）、加えて、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることによって、デバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、カメラおよび物理的環境の相対移動中に、カメラによってビデオがキャプチャされ（１０１２）（例えば、ビデオキャプチャ中、カメラの移動データおよび物理的環境の奥行きデータを同時にキャプチャし、同時にキャプチャされた画像データと共に記憶する）、ビデオの第１の部分と第２の部分との間にビデオの第３の部分がキャプチャされ、カメラおよび物理的環境の相対的な移動中に、物理的環境の第１の部分を含まない。いくつかの実施形態では、（例えば、図６Ｅ～図６Ｆに示されるように）静止画上に受信された注釈（例えば、注釈６０３０）は、物理的環境の第１の部分に位置する第１のオブジェクト（例えば、凧６０２８）を対象とし、ビデオの第２の部分内の第１のオブジェクトに対応する位置に表示される（例えば、注釈がビデオの第２の部分の任意のフレームの静止画上で直接作成されていない）。例えば、図６Ｊでは、注釈６０３０は、凧６０２８に対応する位置でビデオの第２の部分に表示される。いくつかの実施形態では、注釈は、第１のオブジェクトを含まないビデオの第３の部分に表示されない（例えば、注釈は持続的に表示されず、現在のフレームが第１のオブジェクトを含むときにのみ示される）。いくつかの実施形態では、注釈は、第１のオブジェクトの距離および視野の観点に従って、第１のオブジェクトの位置に表示されるように回転およびスケーリングされる。例えば、図６Ｊ～図６Ｎでは、注釈６０３０は、ビデオ内の凧５０２６の位置に表示されるように回転およびスケーリングされる。いくつかの実施形態では、ビデオの第１、第３、および第２の部分は、ビデオの連続的にキャプチャされた部分であるか、またはビデオの第２、第３、および第１の部分は、ビデオの連続的にキャプチャされた部分である。カメラの視野内にキャプチャされた主題の不連続性が存在するため（例えば、ビデオの第３の部分をキャプチャする間）、ビデオの第１の部分内にキャプチャされた物理的環境の第１の部分は、ビデオの画像データのみに基づいて、ビデオの第３の部分にキャプチャされた物理的環境の同じ第１の部分として認識することができない（例えば、フレーム間比較を介して連続フレームにわたる追跡点を特定する）。カメラの移動および／または奥行きデータは、ビデオ内にキャプチャされた物理的環境の３次元または準３次元モデルを作成するために使用され（任意選択的に、画像データと共に）、その結果、物理的環境内の特定の位置は、フレーム内の外観や表示の視点に関係なく、ビデオの各フレームで認識されることができる。注釈が指示されたオブジェクトに対応する位置に注釈を表示することと、オブジェクトを含まないビデオの一部分に注釈を表示しないことは、（例えば、注釈がオブジェクトに対応する位置に固定されているというインジケーションを提供することによって）ユーザに改良された視覚的フィードバックを提供する。更なるユーザ入力を必要とせずに、操作を行うことにより、デバイスの操作性が改善され、（例えば、ユーザが、ビデオを再録画したり、ビデオの複数の部分に注釈を付けたりすることなく、ビデオに情報を追加することを可能にすることによって）ユーザデバイスインターフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、デバイスは、ビデオのタイムライン（例えば、現在表示されているフレームの位置を示す位置インジケータを有するスクラブバー、ビデオの連続するセグメントからのサンプルフレームの縮小スケール画像のスクロール可能なシーケンス）を表示し（１０１４）（例えば、ビデオの表示と同時に（例えば、ビデオの再生中に、および／またはビデオが一時停止されている間））、ビデオの第２の部分を表示することは、ビデオのタイムラインを介してビデオ内の第２の位置までスクラブするユーザ入力（例えば、位置インジケータをスクラブバーに沿ってドラッグするユーザ入力、または、現在表示されているフレームの静止マーカを過ぎてサンプルフレームの縮小スケール画像のシーケンスをスクロールするユーザ入力）に応じて実行される。例えば、接触６０３８による入力は、一連のサンプルフレーム（例えば、図６Ａに関して説明したようなサンプルフレーム６００６）を含むタイムライン６００４に対応する位置で受信され、ビデオ再生領域６００２内に表示されたビデオは、入力に応じて（例えば、図６Ｌ～図６Ｎに関して説明されるように）再生される。更なるユーザ入力を必要とすることなくビデオをスクラブするためのタイムラインを表示することは、（例えば、ユーザが、別個の制御または入力を必要とせずに既存のスクラブコントロールを使用して、ビデオの第２の部分に表示された注釈にアクセスすることを可能にすることによって）デバイスの操作性を高める。動作を実行するために必要とされるユーザ入力数を低減することは、デバイスの動作性を高め、ユーザデバイスインターフェースをより効率的にする。これは、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ビデオの第２の部分を表示することは、第１の位置から第２の位置へのビデオの巻き戻し（１０１６）の結果として実行される（例えば、第２の位置は、ビデオのタイムライン上の第１の位置に先行する）。例えば、図６Ｌ～図６Ｎに関して説明したように、ビデオ再生領域６００２内に表示されたビデオを巻き戻すために、接触６０３８による入力が受信される。更なるユーザ入力を必要とすることなく、巻き戻し入力に応じて注釈が適用されたビデオの一部分とは異なるビデオの一部分に注釈を表示することは、デバイスの操作性を高める（例えば、ユーザが、別個の制御または入力を必要とせずに既存のスクラブコントロールを使用して、ビデオの第２の部分に表示された注釈にアクセスすることを可能にすることによって）。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ビデオの第２の部分を表示することは、第１の位置から第２の位置へのビデオの早送り（１０１８）の結果として実行される（例えば、第２の部分は、ビデオのタイムライン上の第１の部分に先行し、再生速度が通常の再生速度よりも速い）。更なるユーザ入力を必要とすることなく、早送り入力に応じて注釈が適用されたビデオの一部分とは異なるビデオの一部分に注釈を表示することは、デバイスの操作性を高める（例えば、ユーザが、別個の制御または入力を必要とせずに既存のスクラブコントロールを使用して、ビデオの第２の部分に表示された注釈にアクセスすることを可能にすることによって）。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ビデオの第２の部分を表示することは、第１の位置から第２の位置へのビデオの通常再生（１０２０）の結果として実行される（例えば、第２の部分は、ビデオのタイムライン上の第１の部分に先行し、再生速度が通常の再生速度よりも速い）。いくつかの実施形態では、ユーザが静止画上に注釈を提供することを終了すると、ユーザは、静止画と共に表示された「完了」ボタンを選択することによって注釈モードを出る（例えば、図６Ｇに関して説明されるように）。その結果、デバイスは、第１の位置からのビデオの再生を継続し、物理的環境の第１の部分が、静止画と比較して異なる距離および／または異なる視点でキャプチャされる場合であっても、同じ物理的位置（例えば、物理オブジェクト）において、注釈が物理的環境の第１の部分を含む各後続フレーム内に表示される。更なるユーザ入力を必要とすることなく、ビデオの通常再生に応じて注釈が適用されたビデオの一部分とは異なるビデオの一部分に注釈を表示することは、デバイスの操作性を高める（例えば、ユーザが、別個の制御または入力を必要とせずに既存のスクラブコントロールを使用して、ビデオの第２の部分に表示された注釈にアクセスすることを可能にすることによって）。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、デバイスは、表示生成要素を介して、ビデオを含むメディアコンテンツオブジェクトのリストを表示する（１０２２）（例えば、メディアライブラリ内のビデオの表現を表示する）。デバイスは、メディアコンテンツオブジェクトのリストからビデオを選択する入力を受信し、ビデオを選択する入力を受信したことに応じて、ビデオ再生領域内のビデオの表示を有するユーザインターフェースオブジェクト（例えば、注釈を追加するための「マークアップ」ボタン）を表示し、ユーザインターフェースオブジェクトは、ビデオの再生中にビデオに注釈を追加する要求を受信するように構成されている（例えば、注釈を追加するためにボタンをアクティブ化するタップ入力）。ビデオの再生中にビデオに注釈を追加する要求を受信するように構成されたユーザインターフェースオブジェクトを表示することは、改善されたフィードバックを提供する（例えば、ビデオの再生中に、そのビデオの一部分に注釈を追加するためのオプションを示す）。いくつかの実施形態では、マークアップボタンは、ビデオ再生中にビデオ再生領域上でタッチ入力が検出されると、改善されたフィードバック（例えば、他の再生制御と共に）を提供し、マークアップボタンがアクティブ化されると、現在表示されているフレームは、マークアップ有効状態で示され、現在表示されているフレームの画像上に直接描画注釈を受信する準備が整っている。改善されたフィードバックを提供することにより、（例えば、ユーザが、別個の制御または入力を必要とせずに既存のスクラブコントロールを使用して、ビデオの第２の部分に表示された注釈にアクセスすることを可能にすることによって）デバイスの操作性を高める。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
図１０Ａ～図１０Ｂにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。更に、本明細書に記載された他の方法（例えば、方法９００、１１００、および１２００）に関して本明細書に記載されている他のプロセスの詳細は、図１０Ａ～図１０Ｂに関して上述した方法１０００に類似した方法でも適用可能であることに留意されたい。例えば、方法１０００を参照して上記した接触、入力、注釈、物理オブジェクト、ユーザインターフェース領域、視野、移動、および／またはアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法９００、１１００、および１２００）を参照して本明細書に記載した接触、入力、注釈、物理オブジェクト、ユーザインターフェース領域、視野、移動、および／またはアニメーションの特徴のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１１Ａ～図１１Ｆは、以前にキャプチャされたメディアオブジェクトに仮想オブジェクトを追加する方法１１００を示すフロー図である。方法１１００は、表示生成要素（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイなど）および１つ以上の入力デバイス（例えば、タッチ感知リモートコントロール等のタッチ感知面、または表示生成要素としても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、および／またはユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）を有する電子デバイス（例えば、図３のデバイス３００、または図１Ａのポータブル多機能デバイス１００）で実行される。いくつかの実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるかまたはこれに組み込まれている。いくつかの実施形態では、ディスプレイはタッチ感知面から分離している。方法１１００の一部の動作が任意選択的に組み合わされ、かつ／または、一部の動作の順序が任意選択的に変更される。
デバイスは、表示生成要素を介して、１つ以上の第１の画像（例えば、静止写真、ライブ写真、または画像フレームのシーケンスを含むビデオ）を含む第１の以前にキャプチャされたメディアオブジェクトを表示し（１１０２）、第１の以前にキャプチャされたメディアオブジェクトは、１つ以上の第１の画像のそれぞれにキャプチャされた第１の物理的環境に対応する第１の奥行きデータと共に記録および記憶された（例えば、第１のメディアオブジェクトが１つ以上のカメラによってキャプチャされた時間に対応する時間におけるデバイスの１つ以上の奥行きセンサ（例えば、赤外線、ソナー、および／若しくはライダーなどのエミッタ／検出器システム、および／または画像解析システム（例えば、ビデオセグメント分析および／またはステレオ画像／ビデオ分析）によって生成された第１の奥行きデータ）。例えば、図７Ａに関して説明したように、デバイス１００は、タッチスクリーンディスプレイ１１２によって、メディアオブジェクト表示領域７００２内に以前にキャプチャされた画像を表示する。
第１の以前にキャプチャされたメディアオブジェクトを表示している間（例えば、静止画を表示すること、ライブ写真の代表画像を表示すること、ビデオの再生中にビデオのフレームを表示すること、またはビデオが一時停止状態若しくは停止状態にあるときにビデオのフレームを表示する）、デバイスは、１つ以上の入力デバイスを介して、第１のユーザ要求を受信して、第１の仮想オブジェクト（例えば、落下ボール、紙吹雪、テキスト、スポットライト、絵文字、ペイント、測定グラフィック）を第１の以前にキャプチャされたメディアオブジェクトに追加する（１１０４）。例えば、仮想オブジェクトを以前にキャプチャされたメディアオブジェクトに追加する要求は、図７Ｃに関して説明したように、以前にキャプチャされた画像に仮想オブジェクトを追加するためのタッチスクリーンディスプレイ１１２上に受信されたタップ入力である。
第１のユーザ要求に応じて、第１の仮想オブジェクトを第１の以前にキャプチャされたメディアオブジェクトに追加したことに応じて、デバイスは、第１の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像の少なくとも一部分の上に第１の仮想オブジェクトを表示し（１１０６）、第１の仮想オブジェクトは、第１の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像に対応する第１の奥行きデータを使用して判定される、少なくとも第１の位置または向き（または移動経路）を伴って表示される。例えば、図７Ｃに関して説明したように、タッチスクリーンディスプレイ１１２上に受信されたタップ入力に応じて、仮想オブジェクト（例えば、仮想ボールオブジェクト７０３０）が、以前にキャプチャされた画像に追加される。ユーザ入力（例えば、メディアオブジェクトの平面の場所を示すこと）を必要とすることなく、以前にキャプチャされたメディアオブジェクトから奥行きデータを使用して、以前にキャプチャされたメディアオブジェクトに仮想オブジェクトを追加することは、デバイスの操作性を高める。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像の少なくとも一部分の上に第１の仮想オブジェクトを表示すること（１１０８）は、第１の仮想オブジェクトが１つ以上の第１の画像のうちの対応する１つの上に配置された後、第１の以前にキャプチャされたメディアオブジェクト内にキャプチャされた第１の物理面に対する第１の仮想オブジェクトの第１の移動を表示することを含み、第１の仮想オブジェクトの第１の移動は、奥行きデータおよび疑似重力方向に基づいて判定される第１の物理面に対応する第１の疑似表面によって制約される（例えば、疑似重力方向は、任意選択的に、第１の画像がキャプチャされたときの奥行きデータで記録された重力の方向に基づいて判定されるか、または、それぞれの画像を表示するデバイスの現在の向きに対する実際の重力方向と同じである）。例えば、図７Ｃに関して説明したように、仮想ボールオブジェクト７０３０は、奥行きデータ（例えば、床面７０４０）に基づいて判定された物理面に対応する疑似表面によって、疑似重力方向によって拘束される。いくつかの実施形態では、異なる種類の仮想オブジェクトは、異なる方法で疑似表面と相互作用する異なる疑似物理的特性（例えば、形状、サイズ、重量、弾性など）を有する。一例では、静止画が、湾曲したアーチストおよび平坦な着座領域を有するカウチをキャプチャする場合、仮想ゴムボールが画像の頂部から落下するように示され、アームレストの曲面上のランドは、アームレストの湾曲面上に跳ね返り、平坦な着座領域上のランドを跳ね返り、次いで床上に転がるように示される。対照的に、紙吹雪片は、画像の頂部から浮遊するように示され、アームストレストの曲面上のランドは、平坦着座領域上のアームレストランドの曲面から摺動し、平坦着座領域上に留まることが示されている。別の実施例では、３Ｄ文字「Ａ」は、ユーザの指によって腕の湾曲面の上に配置され、３Ｄ文字「Ａ」は、ユーザの指がタッチスクリーンから離れて持ち上げられたときに、着座領域の平坦面上に横向きおよびランドを落ちる。いくつかの実施形態では、静止画内にキャプチャされた物理的環境に対応する表面メッシュが、奥行きデータに基づいて生成され、静止画に挿入された仮想オブジェクトは、挿入中および／または初期配置の後にアニメーション化されて、オブジェクト間の重力、力、および物理的相互作用に関連する法則などの基本的な物理学に適合する、移動および最終位置／向きを示す。メディアオブジェクトの平面の位置を示すために（例えば、疑似重力に従って）以前にキャプチャされたメディアオブジェクトの物理面に仮想オブジェクトを移動させることにより、更なる入力を必要とすることなく仮想オブジェクトの移動を自動的に行うことができ（例えば、仮想オブジェクトの移動経路を指示する入力をユーザに提供する必要なく）、デバイスの操作性を高める。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像の少なくとも一部分の上に第１の仮想オブジェクトを表示する（１１１０）ことは、第１の仮想オブジェクトが１つ以上の第１の画像のうちの対応する１つの上に配置された後、第１の以前にキャプチャされたメディアオブジェクト内にキャプチャされた第１の物理面に従って第１の仮想オブジェクトの形状の変化を表示し、第１の仮想オブジェクトの形状の変化は、第１の奥行きデータに基づいて判定された第１の物理面に対応する第１の疑似表面によって制約される。例えば、図７Ｕ～図７Ｘに関して記載されているように、仮想デカールオブジェクト７０８４の形状は、オブジェクトが、ソファ７０６０の表面を越えて、以前にキャプチャされた画像に描かれた床７００４上へ移動する際に変化する。いくつかの実施形態では、静止画が、湾曲したアーチストおよび平坦な着座領域を有するカウチをキャプチャする場合、仮想ペイントボールは、画像内にシュートするように示され、仮想ペイントボールは、アームレストの曲面上に広がる。対照的に、仮想ペイントボールが、着座領域の平坦面上の画像およびランドに噴出するように示される場合、仮想ペイントは、着座領域の平坦面上に広がる。別の実施例では、長い仮想ストリーマーは、アームレストの湾曲面の上で、アームレストの上に落下する一方で、平坦な着座領域の上に落下した長い仮想ストリーマーは、着座領域の平坦面上に平坦に位置する。以前にキャプチャされたメディアオブジェクト内の表面に従って仮想オブジェクトの形状の変化を表示することにより、仮想オブジェクトの形状の変化は、更なる入力を必要とせずに（例えば、仮想オブジェクトの形状の変化を指示する入力をユーザが提供することを必要とせずに）自動的に行うことができ、デバイスの操作性を高める。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像の少なくとも一部分の上に第１の仮想オブジェクトを表示している間に、デバイスは、第１の以前にキャプチャされたメディアオブジェクトを表示することから第２の以前にキャプチャされたメディアオブジェクトを表示することに切り替える第２のユーザ要求を検出し（１１１２）（例えば、メディアオブジェクトの水平に配列されたリスト内の前若しくは次の項目を示すための第１の仮想オブジェクト上の水平スワイプ入力、メディアオブジェクトの垂直に配列されたリスト内の前の若しくは次の項目を示すための第１の仮想オブジェクト上の垂直スワイプ、または、次の若しくは前のメディアオブジェクトに切り替えるための前若しくは後ろ側ボタン上のタップ）、第２の以前にキャプチャされたメディアオブジェクトは、１つ以上の第２の画像を含み、第２の以前にキャプチャされたメディアオブジェクトは、１つ以上の第２の画像のそれぞれにキャプチャされた第２の物理的環境に対応する第２の奥行きデータと共に記録および記憶された（例えば、第２のメディアオブジェクトが１つ以上のカメラによってキャプチャされた時間に対応する時間におけるデバイスの１つ以上の奥行きセンサ（例えば、赤外線、超音波、および／若しくはライダー、および／または画像解析システム（例えば、ビデオセグメント分析および／またはステレオ画像／ビデオ分析）などのエミッタ／検出器システム）によって生成された第２の奥行きデータ）。例えば、図７Ｅ～図７Ｆに関して説明したように、仮想ボールオブジェクトは、図７Ｅに示すように、第１の以前にキャプチャされた画像の上に表示されている間に、（図７Ｆに示すように）第１の以前にキャプチャされた画像を表示することから第２の以前にキャプチャされた画像を表示することに切り替えるための要求（例えば、後続のメディアオブジェクトコントロール７０１０における入力）が検出される。第１の以前にキャプチャされたメディアオブジェクトを表示することから第２の以前にキャプチャされたメディアオブジェクトを表示するこ（例えばとに切り替えの第２のユーザ要求を受信したことに応じて、デバイスは、第１の以前にキャプチャされたメディアオブジェクトの表示を第２の以前にキャプチャされたメディアの表示と置き換える、第１の以前にキャプチャされたメディアオブジェクトをスライドアウトさせ、第２の以前にキャプチャされたメディアをスワイプ入力の方向にスライドインさせる（例えば、水平スワイプまたは垂直スワイプ入力）。例えば、図７Ｅに関して説明したように受信した入力に応じて、デバイスは、図７Ｅに示すように、メディアオブジェクト表示領域７００２内に第１の以前にキャプチャされたメディアオブジェクトを表示することから、図７Ｆに示すように、メディアオブジェクト表示領域７００２内に第２の以前にキャプチャされた画像を表示することに切り替える。デバイスは、第２の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像の少なくとも一部分の上に第１の仮想オブジェクトを表示し、第１の仮想オブジェクトは、第１の以前にキャプチャされたメディアオブジェクトのそれぞれの画像内の第１の仮想オブジェクトの第１の位置または向き（または移動経路）に基づいて、および第２の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像に対応する第２の奥行きデータに基づいて判定された少なくとも第２の位置または向き（または移動経路）を伴って表示される。例えば、図７Ｅに表示された第１の以前にキャプチャされた画像に追加された仮想ボールオブジェクト７０３４および７０４４は、図７Ｆに表示された第２の以前にキャプチャされた画像の上に表示される。いくつかの実施形態では、第１の仮想オブジェクトが、第１の以前にキャプチャされたメディアオブジェクトの画像内で落下し、画像の第１の表面（例えば、コア座領域の平坦面）に着地した仮想的な紙吹雪または仮想ボールの断片である場合、ユーザが第１の画像を水平方向にスワイプすることによって第２の画像を表示するように切り替えるとき、第２の画像は、水平にスライドし、仮想的な紙吹雪または仮想ボールは、第１の画像内のその位置から移動し始め（例えば、コッフの着座領域の表面に対応する位置から下方に落ちる）、第２の表面に着地する（例えば、床の表面、または床上のクッションの表面など）から下方に落ちる）。換言すれば、仮想オブジェクトは、メディアオブジェクト間の切り替え時に持続し、次の画像内の仮想オブジェクトの位置、向き、および移動経路は、以前の画像内の仮想オブジェクトの位置、向き、および移動経路によって影響を受ける。第１の以前にキャプチャされたメディアオブジェクトの上に仮想オブジェクトを表示することから、（例えば、第２の以前にキャプチャされたメディアオブジェクト内の仮想オブジェクトの位置を示すために）ユーザ入力を必要とせずに第１の以前にキャプチャされたメディアオブジェクト内の仮想オブジェクトの位置または向きに基づいて判定された位置で第２の以前にキャプチャされたメディアオブジェクトの上に仮想オブジェクトを表示することに切り替えることは、デバイスの操作性を高める。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザ要求は、第１のタイプの仮想オブジェクト（例えば、図７Ｃ～図７Ｅに関して説明した仮想ボールオブジェクト７０３４および７０４４）の複数のインスタンスを、以前にキャプチャされたメディアオブジェクトに経時的に追加する（例えば、経時的に画像に仮想紙吹雪または仮想ボールの落下を追加する）要求（１１１４）であり、例えば、第１の仮想オブジェクトは、第１の以前にキャプチャされたメディアオブジェクトに追加された第１のタイプの仮想オブジェクトの複数のインスタンスのうちの１つである。第１の以前にキャプチャされたメディアオブジェクトを表示することから
第２の以前にキャプチャされたメディアオブジェクトを表示することに切り替えの（第２のユーザ要求を受信したことに応じて、デバイスは、第２の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像の少なくとも一部分の上に第２の仮想オブジェクトを表示し、第２の仮想オブジェクトは、第１の仮想オブジェクトとは別個であり、第１の以前にキャプチャされたメディアオブジェクトに追加されていない第１のタイプの仮想オブジェクトのインスタンスであり、第２の仮想オブジェクトは、第２の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像に対応する第２の奥行きデータを使用して判定される、少なくとも第３の位置または向きまたは移動経路）を伴って表示される。例えば、いくつかの実施形態では、第１のユーザ要求は、経時的に（例えば、連続的な方法で）同じタイプの一連の仮想オブジェクトを追加し、例えば、落下紙吹雪、雨滴、または花火等の画像にエフェクトを生成する要求である。第１の画像またはビデオにエフェクトが適用されている間（例えば、仮想紙吹雪、雨滴、または花火の複数のインスタンスが第１の画像に追加されているとき）、ユーザが次の画像またはビデオに切り替える場合（例えば、第１の画像またはビデオを水平または垂直にスワイプすることによって）、エフェクトはまた、ユーザが次の画像またはビデオに対するエフェクトを明示的に呼び出す（例えば、そのエフェクトのコントロールをアクティブ化する）ことなく、次の画像またはビデオ（例えば、仮想紙吹雪、雨滴、または花火の新たなインスタンスを画像に加える）にも自動的に適用される。第１の以前にキャプチャされたメディアオブジェクトの上に第１の仮想オブジェクトを表示することから、（例えば、第２の以前にキャプチャされたメディアオブジェクト内の仮想オブジェクトの位置を示すために）ユーザ入力を必要とせずに第１の以前にキャプチャされたメディアオブジェクト内の仮想オブジェクトの位置または向きに基づいて判定された位置で、第２の以前にキャプチャされたメディアオブジェクトの上に第２の仮想オブジェクトを表示することに切り替えることは、デバイスの操作性を高める。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
第２の以前にキャプチャされたメディアオブジェクトを表示することに切り替えの（第２のユーザ要求を受信したことに応じて、デバイスは、第２の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像の少なくとも一部分の上に第２の仮想オブジェクトを表示し、第２の仮想オブジェクトは、第１の仮想オブジェクトとは別個であり、第１の以前にキャプチャされたメディアオブジェクトに追加されていない第１のタイプの仮想オブジェクトのインスタンスであり、第２の仮想オブジェクトは、第２の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像に対応する第２の奥行きデータを使用して判定される、少なくとも第３の位置または向きまたは移動経路）を伴って表示される。例えば、いくつかの実施形態では、第１のユーザ要求は、経時的に（例えば、連続的な方法で）同じタイプの一連の仮想オブジェクトを追加し、例えば、落下紙吹雪、雨滴、または花火等の画像にエフェクトを生成する要求である。第１の画像またはビデオにエフェクトが適用されている間（例えば、仮想紙吹雪、雨滴、または花火の複数のインスタンスが第１の画像に追加されているとき）、ユーザが次の画像またはビデオに切り替える場合（例えば、第１の画像またはビデオを水平または垂直にスワイプすることによって）、エフェクトはまた、ユーザが次の画像またはビデオに対するエフェクトを明示的に呼び出す（例えば、そのエフェクトのコントロールをアクティブ化する）ことなく、次の画像またはビデオ（例えば、仮想紙吹雪、雨滴、または花火の新たなインスタンスを画像に加える）にも自動的に適用される。第１の以前にキャプチャされたメディアオブジェクトの上に第１の仮想オブジェクトを表示することから、（例えば、第２の以前にキャプチャされたメディアオブジェクト内の仮想オブジェクトの位置を示すために）ユーザ入力を必要とせずに第１の以前にキャプチャされたメディアオブジェクト内の仮想オブジェクトの位置または向きに基づいて判定された位置で、第２の以前にキャプチャされたメディアオブジェクトの上に第２の仮想オブジェクトを表示することに切り替えることは、デバイスの操作性を高める。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の以前にキャプチャされたメディアオブジェクトおよび第２の以前にキャプチャされたメディアオブジェクト（１１１６）は、異なる物理的環境に対応するおよび／または同じ物理的環境の異なるビューに対応する異なる奥行きデータと共に以前に記録および記憶された２つの別個の静止画（例えば、図７Ｅのメディアオブジェクト表示領域７００２に示されるような第１の以前にキャプチャされた画像および図７Ｆのメディアオブジェクト表示領域７００２に示されるような第２の以前にキャプチャされた画像）である。例えば、第２の静止画は、第２の静止画に適用し続ける同じエフェクト（例えば、落下する紙吹雪、仮想ボール、花火、仮想ブロック文字など）を有するために画像内にキャプチャされる主題に関して、第１の静止画との任意の接続を有する必要はない。第１の以前にキャプチャされたメディアオブジェクトの上に仮想オブジェクトを表示することから、（例えば、第２の以前にキャプチャされたメディアオブジェクト内の仮想オブジェクトの位置を示すために）更なるユーザ入力を必要とせずに第１の以前にキャプチャされたメディアオブジェクトとは異なる奥行きデータを有する第２の以前にキャプチャされたメディアオブジェクトの上に第２の仮想オブジェクトを表示することに切り替えることは、デバイスの操作性を高める。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の以前にキャプチャされたメディアオブジェクトは、連続する画像フレームのシーケンスを含むビデオであり（例えば、図７ＡＭ～７ＡＴに関して記載されているように）、第１の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像の少なくとも一部分の上に第１の仮想オブジェクトを表示することは、第１の以前にキャプチャされたメディアオブジェクトの再生中に、第１の以前にキャプチャされたメディアオブジェクトの第１の画像フレームを表示している間に、第１の仮想オブジェクトを第１の画像フレームの第１の部分の上に表示すること（１１１８）であって、第１の仮想オブジェクトは、第１の以前にキャプチャされたメディアオブジェクトの第１の画像フレームに対応する第１の奥行きデータの一部分に従って判定された位置または向き（または移動経路）を伴って表示されることと、第１の画像フレームを表示した直後に、第１の以前にキャプチャされたメディアオブジェクトの第２の画像フレームを表示している間に（例えば、第２の画像フレームは、メディアオブジェクトの通常または早送り再生においてメディアオブジェクト内の第１の画像フレームに直前に先行し、第２の画像フレームは、メディアオブジェクトの逆再生においてメディアオブジェクト内の第１の画像フレームに直前に先行し、または第２の画像は、メディアオブジェクトの初期フレームであり、第１の画像は、メディアオブジェクトのループ状再生中のメディアオブジェクトの最後のフレームである）、第１の仮想オブジェクトを第２の画像フレームの第２の部分の上に表示することであって、第１の仮想オブジェクトは、第１の画像フレーム内の第１の仮想オブジェクトの位置または向き（または移動経路）に従って、かつ第１の以前にキャプチャされたメディアオブジェクトの第２の画像フレームに対応する第１の奥行きデータの一部分に従って判定される位置または向き（または移動経路）を伴って表示される、ことと、を含む。例えば、第１の仮想オブジェクトが、ビデオの第１の画像フレーム内の表面（例えば、移動または静止オブジェクトの表面）上に落ちる仮想紙吹雪または仮想ボールである場合、ビデオが再生し続け、表面が次の画像フレームに示されるとき、仮想紙吹雪または仮想ボールの位置および／または向きおよび／または移動経路は、新たな画像フレーム内の表面の位置および向きに応じて変化する。例えば、表面が静止テーブル表面である場合、仮想紙吹雪は、静止テーブル表面上の同じ位置に位置するように見え、仮想ボールは、ここで表面を異なる視点で見た場合であって、第１の画像フレームと比較して、第２の画像フレーム上の異なる領域を占有している場合であっても、静止テーブル面に沿って転がるように見える。同様に、表面が、ビデオに突然得られるトラップドアの上部である場合、仮想紙吹雪は、トラップドアの上部の静止位置から徐々に落下し始め、仮想ボールは、疑似重力によって、トラップドアの上部のその位置から加速を伴って降下するように見える。いくつかの実施形態では、第１のユーザ要求は、経時的に（例えば、連続的な方法で）同じタイプの一連の仮想オブジェクトを追加し、落下する紙吹雪、または花火などのエフェクトを画像上に作成する要求である。例えば、物理的な凧オブジェクト７１１２の縁部上に置かれる仮想紙吹雪オブジェクトは、図７ＡＭ～図７ＡＴにおいてビデオ再生が生じるときに、変更された位置、向き、および移動経路を伴って表示される。第１の画像フレームにエフェクトが適用されている間（例えば、仮想紙吹雪または花火の複数のインスタンスが第１の画像フレームに追加されるとき）、ビデオ再生が継続すると、エフェクトはまた、次の画像フレームに自動的に適用される（例えば、仮想紙吹雪または花火の新たなインスタンスも、次の画像画像に追加される）。いくつかの実施形態では、ビデオの終わりに、最後の画像フレームに追加される仮想オブジェクトは、複数の以前の画像フレームに追加され、前の画像フレームに描かれた物理的環境に対応する疑似表面と、最後の画像フレームに描かれた物理的環境に対応する疑似表面との事前の相互作用に基づいて、最終画像フレーム内の最終位置および向きに落ち着いた仮想オブジェクトを含む。ビデオの第１のフレームを表示した直後に表示されたビデオの第２のフレームの上に仮想オブジェクトを表示し、更なる入力を必要とすることなく（例えば、ユーザがビデオの各フレーム内の仮想オブジェクトの位置を示す入力を提供することを必要とすることなく）、第２の画像フレームにおいて、仮想オブジェクトの位置または向きが、第２の画像フレームからの奥行きデータを使用して判定されることは、デバイスの操作性を向上させる。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の以前にキャプチャされたメディアオブジェクトを表示することは、連続する画像フレームのシーケンスのループ、早送り、または反転のうちの少なくとも１つを含む第１のタイムラインに従って、ビデオを再生することを含み（１１２０）、第１の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像の少なくとも一部分の上に第１の仮想オブジェクトを表示することは、第１のタイムラインに従ったビデオの再生中に、ビデオの再生中に表示された（例えば、ビデオの終了から開始までのルーピング、ビデオ再生中の不均一なレートでフレームを切り替えること、ビデオを後のフレームから前のフレームまで後方に再生することなどを含む）画像フレームのシーケンスの実際の順序に関連付けられた往路タイムラインに従った第１の仮想オブジェクトの位置または向き（または移動経路）の変化を表示することを含む（例えば、各以前に表示された画像フレーム内の仮想オブジェクトの以前の位置および向きは、現在表示されている画像フレームの位置および向きに影響を及ぼす）。換言すれば、表示された画像フレーム内の仮想オブジェクトの移動のタイムラインは、メディアオブジェクトが再生されるタイムラインとは無関係である。更なる入力を必要とせずに（例えば、ユーザが、ビデオの各フレーム内の仮想オブジェクトの位置の変化を示す入力を提供することを必要とせずに）、画像フレームのシーケンスの順序に関連付けられたタイムラインに従って仮想オブジェクトの位置または向きの変化を表示することは、デバイスの操作性を向上させる。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像の少なくとも一部分の上に第１の仮想オブジェクトを表示すること（１１２２）は、第１の仮想オブジェクトが１つ以上の第１の画像のうちの対応する１つの上に配置されている間に、第１の以前にキャプチャされたメディアオブジェクト内にキャプチャされた第１の物理面に従って第１の仮想オブジェクトの影を表示することであって、第１の仮想オブジェクトの影は、第１の奥行きデータに基づいて決定された第１の物理面に対応する第１の疑似表面によって制約される、ことを含む。例えば、静止画が、湾曲したアーチストおよび平坦な着座領域を有するカウチをキャプチャする場合、アームレストの曲面上に配置された後、着座領域の平坦面に横向きに落ちる仮想文字Ａは、仮想文字Ａが現在オンである表面に従って変化する陰影と、表面に対する仮想文字Ａの現在の向きを有する。いくつかの実施形態では、画像またはビデオに関連付けられた奥行きデータに基づいて３次元または準３次元メッシュが生成され、メッシュ表面は、画像またはビデオ内にキャプチャされた物理的環境の形状特性を呈し、陰影は、疑似光源およびメッシュ表面に対する仮想オブジェクトの位置および向きに基づいてメッシュ表面上にキャスティングされる。（例えば、以前にキャプチャされたメディアオブジェクト内の表面を識別するために）更なる入力を必要とせずに、以前にキャプチャされたメディアオブジェクトの奥行きデータに基づいて、物理面に対応する疑似表面によって制約される陰影を有する仮想オブジェクトを表示することは、デバイスの操作性を高める。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザ要求は、第１の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像内の第１の位置に仮想第１のテキストオブジェクトを配置するユーザ要求である（１１２４）。例えば、ユーザ要求は、図７Ｑ～図７Ｓに関して説明したように、仮想テキストオブジェクト７０６４の編集モードを開始するために仮想テキストオブジェクト７０６４において提供される入力である。デバイスは、仮想第１のテキストオブジェクトに第１の仮想文字を追加すること（例えば、既存のテキスト入力の終わりに文字をタイプ入力することによってテキスト入力領域を編集すること）を含む、仮想第１のテキストオブジェクトを更新するためのユーザ入力を受信し（１１２６）、ユーザ入力を受信したことに応じて、デバイスは、仮想の第１のテキストオブジェクト内の先行する仮想文字に隣接する、第１の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像内の第２の位置に、およびそれぞれの画像内の第２の位置に対応する第１の奥行きデータの一部分に従って、第１の仮想文字を表示する。いくつかの実施形態では、テキストは、それぞれの画像内にキャプチャされた環境の表面メッシュに基づいて生成される照明および影を有する。（例えば、以前にキャプチャされたメディアオブジェクト内の奥行きデータを識別するために）更なる入力を必要とすることなく、以前にキャプチャされたメディアオブジェクト内の位置にテキストオブジェクトを表示することと、メディアオブジェクト内の奥行きデータに従ってテキストオブジェクトの文字を配置することは、デバイスの操作性を高める。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像の少なくとも一部分の上に第１の仮想オブジェクトを表示すること（１１２８）は、それぞれの画像内の第１の仮想オブジェクトの現在位置に近接する疑似表面が水平表面であるとの判定に従って、（例えば、水平面の下ではなく）水平面の上に第１の仮想オブジェクトを表示することと、それぞれの画像内の第１の仮想オブジェクトの現在の位置に近接する疑似表面が垂直表面であるとの判定に従って、垂直面の前に第１の仮想オブジェクトを表示することと、を含む。（例えば、表面が水平面であるか垂直面であるかを示すために）更なる入力を必要とせずに、表面が水平面であるか垂直面であるかに依存して、仮想オブジェクトを仮想オブジェクトに近接する表面の上または前面に表示することは、デバイスの操作性を高める。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像の少なくとも一部分の上に第１の仮想オブジェクトを表示すること（１１３０）は、それぞれの画像が、それぞれの画像内の第１の仮想オブジェクトの現在の位置に近接して異なる奥行きを有する第１の疑似表面（例えば、前景オブジェクト）と第２の疑似表面（例えば、背景オブジェクト）とを含むとの判定に従って、第１の疑似表面と第２の疑似表面との間の奥行きで第１の仮想オブジェクトを表示することを含む（例えば、第１の仮想オブジェクトの少なくとも第１の部分が第１の疑似表面によって閉塞され、第１の仮想オブジェクトの少なくとも第２の部分が第２の疑似表面の少なくとも一部分を閉塞し、または第１の疑似表面によって表されるオブジェクトの下）。例えば、図７Ｇに関して説明したように、仮想ボールオブジェクト７０４５は、第１の疑似表面（例えば、以前にキャプチャされた画像に描かれた部屋の後壁）と第２の疑似表面（例えば、テーブル７０５４）との間の奥行きで表示される。いくつかの実施形態では、物理的環境の完全な３次元モデルは、画像単独の奥行きデータに基づいて確立することができない。第１の疑似表面と第２の疑似表面との間の空間に関する空間情報は存在しない。第１の仮想オブジェクトは、第１の疑似表面と第２の疑似表面との間の奥行きの範囲内の空間情報の不在に関係なく、第１の疑似表面と第２の疑似表面との間に配置される。（例えば、仮想オブジェクトの奥行き、第１の疑似表面の奥行き、および／または第２の疑似表面の奥行きを示すために）更なる入力を必要とすることなく、第１の疑似表面と第２の疑似表面との間の奥行きを有する仮想オブジェクトを表示することは、デバイスの操作性を向上させる。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、デバイスは、第１の仮想オブジェクトに向けられたタッチ感知面上の接触によるオブジェクト位置決め入力（例えば、ドラッグ入力またはタップ入力）を検出し（１１３２）、オブジェクト位置決め入力は、タッチ感知面上の接触の最終位置（および、任意選択的に、最終移動速度および方向）に対応するそれぞれの画像上の第１の仮想オブジェクトの配置位置を指定する。例えば、オブジェクト位置決め入力は、図７Ｍに関して説明したように、仮想テキストオブジェクト７０６４を位置付けるための接触７０６６による入力である。オブジェクト位置決め入力を検出したことに応じて、デバイスは、オブジェクト位置決め入力に従って、それぞれの画像上の配置位置に第１の仮想オブジェクトを配置する。第１の仮想オブジェクトがそれぞれの画像上の配置位置に表示されている間に、デバイスは、タッチ感知面からの接触のリフトオフを検出することを含めて、オブジェクト位置決め入力の終了を検出する。オブジェクト位置決め入力の終了を検出したことに応じて、デバイスは、配置位置を取り囲む物理的環境の一部分に対応する奥行きデータ（例えば、配置位置近くの奥行きデータに基づいて作成された物理的環境の表面メッシュ）に従って、および第１の仮想オブジェクトの物理的環境の部分の１つ以上のシミュレートされた物理的特性（例えば、重量、重力、弾性、塑性、速さ、速度など）に従って、（例えば、回転および／または並進運動を用いて）第１の仮想オブジェクトを配置位置から最終位置に移動させる。（例えば、仮想オブジェクトの移動がどのように行われるかを示すために、および／または以前にキャプチャされたメディア画像の奥行きデータを示すために）更なる入力を必要とすることなく、仮想オブジェクトを奥行きデータに従って移動させることは、デバイスの操作性を高める。例えば、接触５０６６のリフトオフの際に、仮想テキストオブジェクトは、図７Ｍ～図７Ｐに関して説明したように、以前にキャプチャされた画像内のソファ７０６０の水平面上の最終位置に配置される。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の仮想オブジェクトは、疑似スポットライト（例えば、図７ＡＵに関して説明したような仮想スポットライトオブジェクト７１１８）を含む（１１３４）。第１の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像の少なくとも一部分の上に第１の仮想オブジェクトを表示することは、それぞれの画像内に、疑似３次元形状（例えば、円錐形または円筒形の光ビーム）を有する疑似光ビーム（例えば、光ビーム７１２０）を表示することであって、疑似３次元形状が、それぞれの画像における疑似光ビームの移動と一定のままである（例えば、形状の外観は、ユーザの引力点からの光ビームの視野に応じて、ユーザとは異なり得る）、ことと、それぞれの画像内に、２次元形状を有する疑似照明スポット（例えば、照明スポット７１２２）を表示することであって、２次元形状が、それぞれの画像における疑似光ビームの移動に従って、および第１の奥行きデータに基づいて判定される疑似光ビームと物理的環境内の物理面に対応する疑似交差面（例えば、物理オブジェクトの表面（例えば、曲面または平坦面））との間の相対的な空間的関係に従って変化する、ことと、を含む。例えば、図７ＡＶ～図７ＡＷに関して説明したように、仮想スポットライトオブジェクト７１１８がユーザ入力に応じて移動すると、疑似照明スポット７１２２の形状が変化する。（例えば、以前にキャプチャされたメディア画像の奥行きデータを示すために）更なる入力を必要とすることなく、疑似光ビームの移動に従って変化し、かつ疑似光ビームと、奥行きデータに基づいて判定された表面に対応する疑似表面との間の相対的な空間的関係に従って変化する２次元形状を有する疑似照明スポットを表示することは、デバイスの操作性を向上させる。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の仮想オブジェクトは、グラフィカルオブジェクト（１１３６）（例えば、２次元または３次元絵文字）を含み、第１の以前にキャプチャされたメディアオブジェクト内のそれぞれの画像の少なくとも一部分の上に第１の仮想オブジェクトを表示することは、物理的環境内の自由空間に対応するそれぞれの画像内の位置にグラフィカルオブジェクトを表示することを含む（例えば、絵文字は、ユーザの指接触によって選択された位置において物理的環境内の空中に浮遊する）。例えば、グラフィカルオブジェクトは、図７ＡＢに関して記載されている仮想絵文字オブジェクト７０９８である。（例えば、以前にキャプチャされたメディア画像内の自由空間の位置を示すために）更なる入力を必要とせずに、（例えば、メディア画像内にキャプチャされた）物理的環境内の自由空間に対応する位置にグラフィカルオブジェクトを表示することは、デバイスの操作性を向上させる。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、デバイスは、タッチ感知面上の２つの同時接触を検出し（１１３８）、２つの同時接触を検出したことに応じて、デバイスは、タッチ感知面上の２つの同時接触のそれぞれの位置に対応するそれぞれの画像上のそれぞれの位置に位置する２つのそれぞれの端部を有する第１の測定オブジェクトを表示する。例えば、同時接触７１３２および７１３４を検出したことに応じて、図７ＡＹ～図７ＡＺに関して説明したように、接触の位置に対応する位置に、仮想測定オブジェクト７１３６が表示される。接触箇所に対応する画像上の位置に位置する端部を有する測定オブジェクトを表示することは、ユーザに視覚的フィードバックを提供する（例えば、測定に対応する画像の一部分を示す）。改良された視覚フィードバックをユーザに提供することにより、（例えば、ユーザが測定に対応する画像の部分を素早くかつ正確に判定および／または調整するのを可能にすることによって）デバイスの操作性を高め、ユーザ－デバイスインターフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、第１の測定オブジェクトを表示すること（１１４０）は、第１の測定オブジェクトの２つのそれぞれの端部が、それぞれの画像内にキャプチャされた物理面に対応する疑似前景表面の２つの側面上に位置するとの判定に従って（例えば、第１の測定オブジェクトは、疑似前景表面を通過する）、第１の外観を有する疑似前景表面の第１の側に位置する第１の測定オブジェクトの第１の部分を表示することと、第２の外観を有する疑似前景表面の第１の側面とは異なる第２の側に位置する第１の測定オブジェクトの第１の部分とは異なる第２の部分を表示することと、を含み、第２の外観は、第１の外観とは異なる（例えば、測定オブジェクトの第１の側は前景であり、完全に見え、測定オブジェクトの第２の側は、前景表面によって遮蔽され、陰影の付いた外観を有する）。例えば、図７ＢＤでは、測定オブジェクト７１４８の第１の部分（例えば、点線部分）は、疑似前景表面の第１の側に位置し、測定オブジェクト７１４８の第２の部分（例えば、実線部分）は、疑似前景表面の第２の側に位置する。第１の外観を有する疑似前景表面の第１の側に位置する第１の測定オブジェクトの第１の部分を表示することと、第２の外観を有する疑似前景表面の第２の側に位置する第１の測定オブジェクトの第２の部分を表示することは、ユーザに視覚的フィードバックを提供する（例えば、測定オブジェクトが、キャプチャされた画像内の物理面に対応する疑似表面の異なる側に広がることを示す）。改良された視覚フィードバックをユーザに提供することにより、（例えば、ユーザが測定に対応する画像の部分を素早くかつ正確に判定および／または調整するのを可能にすることによって）デバイスの操作性を高め、ユーザ－デバイスインターフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、第１の測定オブジェクトを表示すること（１１４２）は、第１の測定オブジェクトをそれぞれの画像内の第１の端部および第２の端部で表示する間、タッチ感知面上の接触による位置決め入力を検出することであって、位置決め入力は、それぞれの画像内の第１の測定オブジェクトの新たな終了位置を指定し、接触による位置決め入力を検出したことに応じて、第１の測定オブジェクトの第１および第２の端部のうちの新しい終了位置により近い１つを、位置決め入力によって指定されるたそれぞれの画像内の新しい終了位置まで移動させる、ことを含む。例えば、図７ＢＦに関して説明したような接触７１５２による位置決め入力は、図７ＢＢ～図７ＢＥに関して記載されたように以前に表示された測定オブジェクト７１４８の新たな終了位置を指定する。更なる入力（例えば、新たな測定入力を提供するための以前の測定入力を取り消すための入力）を必要とせずに、第１の測定オブジェクトの第１および第２の端のうちの１つを新しい終了位置まで移動させることは、デバイスの操作性を向上させる。更なるユーザ入力を必要とせずに動作を実行することは、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
図１１Ａ～図１１Ｆにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。更に、本明細書に記載された他の方法（例えば、方法９００、１０００、および１２００）に関して本明細書に記載されている他のプロセスの詳細は、図１１Ａ～図１１Ｆに関して上述した方法１２００に類似した方法でも適用可能であることに留意されたい。例えば、方法１１００を参照して上記した接触、入力、注釈、仮想オブジェクト、物理オブジェクト、ユーザインターフェース領域、視野、移動、および／またはアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法９００、１０００、および１２００）を参照して本明細書に記載した接触、入力、注釈、仮想オブジェクト、物理オブジェクト、ユーザインターフェース領域、視野、移動、および／またはアニメーションの特徴のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１２Ａ～図１２Ｄは、共有注釈セッションを開始する方法１２００を示すフロー図である。方法１２００は、第１の表示生成要素（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）と、第１のセットの１つ以上の入力デバイス（例えば、タッチ感知リモートコントロール等のタッチ感知面、または表示生成要素としての役割も果たすタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、および／またはユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）と、第１のセットの１つ以上のカメラ（例えば、ディスプレイおよびタッチ感知面とは反対のデバイスの側の１つ以上の背面カメラ）とを有する電子デバイス（例えば、図３のデバイス３００、または図１Ａのポータブル多機能デバイス１００）で実行される。いくつかの実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるかまたはこれに組み込まれている。いくつかの実施形態では、ディスプレイはタッチ感知面から分離している。方法１２００の一部の動作が任意選択的に組み合わされ、かつ／または、一部の動作の順序が任意選択的に変更される。
デバイスは、（例えば、共有注釈モードに移行するユーザ要求に応じて）第２の表示生成要素と、１つ以上の入力デバイスの第２のセットと、１つ以上の第２のカメラセットとを含む第２のデバイスとの共有注釈セッションを開始する要求をリモートデバイス（例えば、サーバまたは第２のデバイス）に送信する（１２０２）。例えば、図８Ｂに関して説明したように、共有注釈セッションを開始する要求は、共有注釈セッションを開始するための制御８０１０で受信された入力に応じて、デバイス１００－１から第２のデバイス１００－２に送信される。いくつかの実施形態では、共有注釈モードに移行する要求は、共有注釈セッションを開始する第１の入力と、注釈セッションを共有する第２のデバイスを選択する第２の入力（例えば、近くのデバイスのリストから、またはソーシャルネットワークコンタクトのリストから）とを含む。
第２のデバイスとの共有注釈セッションを開始する要求を送信したことに応じて、デバイスは、（例えば、サーバまたは第２のデバイスから）共有注釈セッションを開始する要求の受諾のインジケーションを受信する（１２０４）。いくつかの実施形態では、要求は、第２のデバイスに（例えば、サーバを経由しないで直接、またはサーバを介して）送信され、第２のデバイスは、第１のデバイスとの共有注釈セッションを開始する要求の通知を表示する。例えば、図８Ｃでは、第１のデバイス１００－１は、共有注釈セッションを開始する要求を送信し、第２のデバイス１００－２は、通知（例えば、要求を受け入れる命令を含むプロンプト８０１６）を表示する。第２のユーザは、第２のデバイスによって表示された通知に応じて、第２のデバイスにおいて受諾入力を提供する。そして、第２のデバイスは、第１のデバイスに受諾のインジケーションを（例えば、直接またはサーバを介して）送信する。
共有注釈セッションを開始する要求の受諾のインジケーションを受信したことに応じて、デバイスは、第１の表示生成要素を介して、第１のデバイスを第２のデバイスに向かって移動させる第１のプロンプト（例えば、互いに移動する第１および第２のデバイスの表現を示すアニメーション）を表示する（１２０６）。例えば、第１のデバイス１００－１は、図８Ｄに関して説明したように、デバイス１００－１をデバイス１００－２の表現に向けて移動させる命令を含むプロンプト８０２２を表示する。いくつかの実施形態では、プロンプト８０２２は、図８Ｄ～図８Ｅに関して説明したように、デバイス１００－２に向かって移動するデバイス１００－１の表現を示すアニメーションを含む。いくつかの実施形態では、プロンプトはまた、第２のデバイスを第１のデバイスに向かって移動させるように、第２のデバイスに表示される。いくつかの実施形態では、２つのデバイスは、２つのデバイス上の視野が実質的に同じであるか、または有意な重複を有するように、互いにかつ物理的環境の同じ部分の点に向かって移動する。例えば、第２のデバイス１００－２は、図８Ｄに関して説明したように、デバイス１００－２をデバイス１００－１に向かって移動させる命令を含むプロンプト８０２４を表示する。いくつかの実施形態では、プロンプト８０２４は、図８Ｄ～図８Ｅに関して説明したように、デバイス１００－１の表現に向かって移動するデバイス１００－２の表現を示すアニメーションを含む。
第１のプロンプトを表示した後で、第１のデバイスおよび第２のデバイスの接続基準が満たされているとの判定に従って（例えば、第１のデバイスおよび第２のデバイスの互いに向かう移動の後に、および第１および第２のカメラセットの視野内にキャプチャされた物理空間の解析の後）、デバイスは、第２のデバイスとの共有注釈セッションにおける第１のカメラセットの視野の表現を表示する（１２０８）。例えば、図８Ｆ～図８Ｇに関して説明したように、第１のデバイスおよび第２のデバイスの接続基準が満たされたとの判定に従って、デバイス１００－１は、デバイス１００－１の１つ以上のカメラの視野の表現を表示する。いくつかの実施形態では、共有注釈セッションが開始される前に、第１のカメラセットの視野の表現が既に表示されている。いくつかの実施形態では、共有注釈セッションの視野の表現は、共有注釈セッションのためのライブカメラビューおよび１つ以上のコントロール（例えば、様々な注釈ツール用のユーザインターフェースオブジェクト）の両方を含む。接続基準は、第１のデバイスの視野の少なくとも一部分および第２のデバイスの視野の一部分が、第１および第２のデバイスを取り囲む物理的環境の同じ部分に対応することを必要とする（例えば、いくつかの実施形態では、接続基準は、第１のデバイスおよび第２のデバイスが物理的環境内の実質的に同じ位置からの物理的環境の同じ部分を指す（例えば、デバイスは、それらのカメラが同じ方向を向いた状態で並んでいる）ことを必要とする）。共有注釈セッション中に、それぞれの位置が第１のカメラセットの視野に含まれている場合（例えば、（例えば、画像および奥行きデータを含む）視野および共有注釈セッション中の第１および／または第２のデバイスのデバイス移動データの解析によってなされたような判定に従って）、第１のデバイスによって物理的環境内のそれぞれの位置を対象とする（例えば、視野の静止画上の直接注釈を介して、またはカメラの視野のライブフィード上に直接）注釈入力（例えば、描画、仮想オブジェクト、テキストなど）に対応する１つ以上の第１の仮想注釈（例えば、図８Ｋ～図８Ｍに関して説明した注釈８０５６－１）は、第１の表示生成要素を介して表示され（例えば、第１のカメラセットの視野の表現上にオーバーレイされる）、第２のデバイスによって物理的環境内のそれぞれの位置を対象とする（例えば、視野の静止画上の直接注釈を介して、またはカメラの視野のライブフィード上に直接）注釈入力（例えば、描画、仮想オブジェクト、テキストなど）に対応する１つ以上の第２の仮想注釈（例えば、図８Ｈ～図８Ｊに関して説明した注釈８０５０－１）は、第１の表示生成要素を介して表示される（例えば、第１のカメラセットの視野の表現上にオーバーレイされる）。位置が第１のデバイスの視野内に含まれる場合、第１のデバイスによって、かつ第２のデバイスによって、物理的環境内の位置を対象とする第１の表示注釈入力に表示することは、ユーザに視覚的フィードバックを提供する（例えば、デバイスの近接が共有注釈セッションに十分であることを示す）。改良された視覚的フィードバックをユーザに提供することにより、（例えば、ユーザが異なるユーザによる注釈が空間内の同じ位置に関連して表示される注釈セッションにおいて協調することを可能にすることによって）デバイスの操作性を高め、ユーザデバイスインターフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、共有注釈セッション中に、それぞれの位置が第２のカメラセットの視野に含まれている場合（例えば、（例えば、画像および奥行きデータを含む）視野および共有注釈セッション中の第１および／または第２のデバイスのデバイス移動データの解析によってなされたような判定に従って）、第１のデバイスによって物理的環境内のそれぞれの位置を対象とする（例えば、視野の静止画上の直接注釈を介して、またはカメラの視野のライブフィード上に直接）注釈入力（例えば、描画、仮想オブジェクト、テキストなど）に対応する１つ以上の第１の仮想注釈は、第２の表示生成要素を介して表示され（１２１０）（例えば、第２のカメラセットの視野の表現上にオーバーレイされる）、第２のデバイスによって物理的環境内のそれぞれの位置を対象とする（例えば、視野の静止画上の直接注釈を介して、またはカメラの視野のライブフィード上に直接）注釈入力（例えば、描画、仮想オブジェクト、テキストなど）に対応する１つ以上の第２の仮想注釈は、第２の表示生成要素を介して表示される（例えば、第２のカメラセットの視野の表現上にオーバーレイされる）。例えば、第２のデバイス１００－２のディスプレイは、図８Ｋ～図８Ｍおよび図８Ｈ～図８Ｊに関して説明したように、第２のデバイス１００－２として入力された注釈８０５０－２、および第１のデバイス１００－１で入力された注釈８０５６－２を表示する。位置が第２のデバイスの視野内に含まれる場合、第１のデバイスによって、かつ第２のデバイスによって、物理的環境内の位置を対象とする第２のディスプレイに注釈入力に表示することは、ユーザに視覚的フィードバックを提供する（例えば、デバイスの近接が共有注釈セッションに十分であることを示す）。改良された視覚的フィードバックをユーザに提供することにより、（例えば、ユーザが異なるユーザによる注釈が空間内の同じ位置に関連して表示される注釈セッションにおいて協調することを可能にすることによって）デバイスの操作性を高め、ユーザデバイスインターフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、共有注釈セッション中に、それぞれの位置が第２のカメラセットの視野に含まれ、第１のカメラセットの視野に含まれない場合（例えば、（例えば、画像および奥行きデータを含む）視野および共有注釈セッション中の第１および／または第２のデバイスのデバイス移動データの解析によってなされたような判定に従って）、第１のデバイスによって（例えば、静止画上の直接注釈を介して、またはカメラの視野のライブフィード上に直接）物理的環境内のそれぞれの位置を対象とする注釈入力（例えば、図面、仮想オブジェクト、テキストなど）に対応する１つ以上の第１の仮想注釈は、第１の表示生成要素を介さずに、第２の表示生成要素を介して表示される（１２１２）（例えば、第２のカメラセットの視野の表現上にオーバーレイされる）。例えば、注釈８０５０－１、８０５０－２および８０５６－１、８０５６－２は、物理ポスター８０３８ａの表現８０３８ｂおよび８０３８ｃ（それぞれデバイス１０１－１および１０１－２のカメラの視野内）に示された直接注釈入力として受信される。位置が第２のデバイスの視野内に含まれかつ第１のデバイスの視野内に含まれない場合に、第２のディスプレイにおいて、第１のディスプレイが注釈入力を表示していない間に注釈入力を表示することは、ユーザに視覚的フィードバックを提供する（例えば、注釈が物理的環境内の位置に対応することを示す）。改良された視覚的フィードバックをユーザに提供することにより、（例えば、ユーザが異なるユーザによる注釈が空間内の同じ位置に関連して表示される注釈セッションにおいて協調することを可能にすることによって）デバイスの操作性を高め、ユーザデバイスインターフェースを更に効率的にし、加えて、ユーザがデバイスを更に素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、第１のプロンプトを表示した後、第１のデバイスおよび第２のデバイスの接続基準が満たされているとの判定に従って（例えば、第１のデバイスおよび第２のデバイスの移動の後、および第１および第２のカメラセットの視野内にキャプチャされた物理空間の分析後）、デバイスは、第２のデバイスとの共有注釈セッションが確立された第１のカメラセットの視野の表現において、通知（例えば、示される第２のデバイスのアバターによるポップアップまたはバナー通知、または共有注釈セッションに提供されたコントロールの外観）を表示する（１２１４）。例えば、図８Ｆに関して説明したように、通知８０３４は、第２のデバイス１００－２との共有注釈セッションが確立されたことを示すために、第１のデバイス１００－１によって表示される。いくつかの実施形態では、第１のデバイスは、第１のデバイスが現在、第２のデバイスによって作成された注釈を表示しているというインジケーションを表示する（例えば、第２のデバイスによって作成された注釈は、第１のデバイスにおける第１のデバイスの視野の表現に示されるときに、第２のデバイスのアバターと同時に表示される）。いくつかの実施形態では、第１のデバイスは、現在、第１のデバイスによって作成された注釈（例えば、第２のデバイスにおいて第２のデバイスの視野の表現に同時に示される第１のデバイスによって作成された注釈）が第２のデバイスに表示されているというインジケーションを表示する。共有注釈セッションが確立されたという通知を表示することは、ユーザに視覚的フィードバックを提供する（例えば、共有注釈セッションを確立するためにデバイスの近接性が十分であることを示す）。改良された視覚的フィードバックをユーザへ提供することは、（例えば、ユーザが通知を受信するまでプロンプトの命令に従うことを継続し、通知の受信に応じてプロンプトの命令に従うことを停止することを可能にすることによって）デバイスの操作性を高め、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のプロンプトは、（例えば、図８Ｄ～図８Ｅに関して説明したように）互いに向かって移動する第１および第２のデバイスの表現を示すアニメーションを含む（１２１６）。第１のプロンプトを表示した後で、第１のデバイスおよび第２のデバイスの接続基準が満たされているとの判定に従って（例えば、第１のデバイスおよび第２のデバイスの移動の後に、および第１および第２のカメラセットの視野内にキャプチャされた物理空間の分析後に）、デバイスは、第１のカメラセットの視野の表現で第１のプロンプトの表示（１２１８）を置き換える。例えば、図８Ｆ～図８Ｇに関して説明したように、第１のデバイス１００－１および第２のデバイス１００－２の接続基準が満たされているとの判定に従って、第１のカメラセットの視野の表現（例えば、物理ポスター８０３８ａの表現８０３８ｂを含む）が第１のデバイス１００－１によって表示される。いくつかの実施形態では、第１および第２のデバイスが一緒に移動して、それらの視野間の重なりが閾値を超えるようにするとき、第１および第２のデバイスの両方のアニメーション表示されたプロンプトは、それらの対応する視野（この時点で実質的に同一である）と同時に置き換えられる。第１のデバイスおよび第２のデバイスの接続基準が満たされているとの判定に従って、プロンプトの表示を第１のデバイスのカメラのビューの表現で置き換えることにより、ユーザに視覚的フィードバックを提供する（例えば、デバイス近接が共有注釈セッションを確立するのに十分であることを示す）。改良された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、ユーザが、カメラビューが表示されるまでプロンプトの命令に従うことを継続し、カメラビューが表示されるときにプロンプトの命令に従うのを停止することを可能にすることによって）ユーザデバイスインターフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、共有注釈セッション中に、第１の表示生成要素を介して、第１のカメラセットの視野の表現を表示している間に、第１のカメラセットの視野内でキャプチャされた物理的環境の一部分に向けられた第１の注釈入力が第２のデバイスから受信されたとの判定に従って、デバイスは、第１の注釈入力が向けられた位置に対応する第１のカメラセットの視野の表現内の位置に、第２のデバイスのアバターを表示する（１２２０）。例えば、図８Ｈ～図８Ｊに関して説明したように、接触８０４４による注釈入力が受信されると、第２のデバイス１００－２に対応するアバター８０４８は、第１のデバイス１００－１によって表示される。いくつかの実施形態では、注釈入力の結果は、リアルタイムで（例えば、マークが第２のデバイスのユーザによってＡＲ環境内で描かれ、および／またはドラッグされるとき）、第１のカメラセットの視野の表現で反映される。第１のディスプレイにより、第１の注釈入力の位置に対応する位置に第２のデバイスのアバターを表示することは、ユーザに視覚的フィードバックを提供する（例えば、表示された注釈入力が第２のデバイスを介して提供されていることを示す）。改良された視覚的フィードバックをユーザへ提供することは、（例えば、ユーザが第２のデバイスによる注釈と第１のデバイスによる注釈とを区別し、それによって注釈入力の競合を回避することを支援することによって）デバイスの操作性を高め、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、共有注釈セッション中に、第１の表示生成要素を介して、第１のカメラセットの視野の表現を表示している間に、デバイスは、第２のデバイスの現在の位置に対応する位置（および任意選択的に、視点）を有する第１のカメラセットの視野の表現に仮想オブジェクト（例えば、第２のデバイスとリンクされた２次元仮想オブジェクトまたは３次元仮想オブジェクト（例えば、仮想バスケットボールリング、第２のデバイスまたは第２のユーザのアバター））を表示し（１２２２）、これは、物理的環境内で第２のデバイスを第１の位置から第２の位置に移動する際に、第１の位置と第２の位置が第１のカメラセットの視野内にある場合（例えば、第２のデバイスは、第１のカメラセットの視野内の第１のカメラセットによってキャプチャされ、物理的環境内の第１の位置から第２の位置への第２のデバイスの移動中にキャプチャされ、第１のカメラセットの視野の表現上で可視である）、第１の位置から物理的環境内の第２の位置への第２のデバイスの移動を検出することと、物理的環境における第１の位置から第２の位置への第２のデバイスの移動に対応する第１のカメラセットの視野の表現における仮想オブジェクトの移動（および任意選択的に、仮想オブジェクトの視点の変化）を表示することとを含む。例えば、図８Ｖ～図８Ｗに関して説明したように、第１のデバイス１００－１は、第２のデバイス１００－２の現在の位置に対応する仮想バスケットボールリング８０７４を表示し、第２のデバイス１００－２が移動すると、仮想バスケットボールリング８０７４の表示された位置が移動する。第１のディスプレイによって、第２のデバイスの移動に対応する第１のデバイスカメラのビューにおける仮想オブジェクトの移動を表示することは、ユーザに視覚的フィードバックを提供する（例えば、仮想オブジェクトが第２のデバイスに対応することを示す）。改良された視覚的フィードバックをユーザへ提供することは、（例えば、ユーザが第２のデバイスによる注釈と第１のデバイスによる注釈とを区別し、それによって注釈の誤りを回避することを支援することによって）デバイスの操作性を高め、ユーザデバイスインターフェースをより効率的にし、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、共有注釈セッション中に、第１のデバイスは、第１の表示生成要素を介して第１のカメラセットの視野の表現を表示し（１２２４）、第２のデバイスは、第２の表示生成要素を介して第１のカメラセットの視野の表現を表示する（例えば、同じ視野が第１および第２のデバイスの両方に提示されるように、第１のカメラセットの視野は、第２のデバイスに提供される（例えば、直接またはサーバを介して））。いくつかの実施形態では、第２のデバイスは、第２のカメラセットとは異なる視野を有するが、第１のカメラセットの視野を表示しているときに、第２のカメラセットから視野を表示しない。第１のディスプレイおよび第２のディスプレイによって、第１のデバイスカメラの視野を表示することにより、ユーザに視覚的フィードバックを提供する（例えば、表示されたビューが共有ビューであることを示す）。改良された視覚的フィードバックをユーザへ提供することは、（例えば、第２のデバイスが第１のデバイスの視点を体験することを可能にすることによって、）デバイスの操作性を高め、ユーザデバイスインターフェースをより効率的にする。これは、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、共有注釈セッション中に、第１のデバイスは、第１の表示生成要素を介して第１のカメラセットの視野の表現を表示し（１２２６）、第２のデバイスは、第２の表示生成要素を介して第２のカメラセットの視野の表現を表示する（例えば、デバイスが異なる位置にあり、および／または物理的環境内で異なる方向に向いている場合、異なる視野が第１および第２のデバイスに提示される）。第１のディスプレイに第１のデバイスカメラの視野を表示し、第２のディスプレイにおける第２のデバイスカメラの視野を表示することは、ユーザに視覚的フィードバックを提供する（例えば、表示されたビューが共有ビューではないことを示す）。改良された視覚的フィードバックをユーザに提供することにより、デバイスの操作性を向上させ、（例えば、第１および第２のデバイスが、物理世界に対して個々の参照ポイントを維持することを可能にすることによって）ユーザデバイスインターフェースをより効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、共有注釈セッション中に、接続基準がもはや満たされないとの判定に従って（例えば、第１のデバイスおよび第２のデバイスの互いから離れる移動の後に、第１および第２のカメラセットの視野内にキャプチャされた物理空間の分析後に）、デバイスは、共有注釈セッションを終了する（１２２８）。例えば、図８Ｐに関して説明したように、共有注釈セッション中に、閾値量を超えて第１のデバイス１００－１が第２のデバイス１００－２から離れて移動した場合、共有注釈セッションが終了する。いくつかの実施形態では、接続基準がもはや満たされていないことを検出する前に、第１および第２のカメラセット内にキャプチャされた物理的環境の部分間の重複量が閾値量に減少したとの判定に従って、第１および第２のデバイスのそれぞれにおいて、重複が閾値時間量内で増加しない場合、共有注釈セッションが終了することを示す警告通知が生成される。いくつかの実施形態では、アフォーダンスは、第１のデバイスにおける第１のカメラセットの視野の表現と同時に表示され、この表示は、呼び出されると、第１のデバイスに共有注釈セッションを終了させる。いくつかの実施形態では、第１のカメラセットの視野が、注釈が設けられた物理的環境の部分を含む場合であっても、第２のデバイスによって提供される注釈が、第１のデバイスにおける第１のカメラセットの視野の表現内に表示されなくなる。接続基準が満たされていないとの判定に従って、共有注釈セッションを終了することは、ユーザへの視覚的フィードバックを提供する（例えば、共有注釈セッションを補強するためにカメラの移動が必要であることを示す）。改良された視覚的フィードバックをユーザへ提供することは、（例えば、ユーザがデバイスを素早く正確に移動させて共有注釈セッションを有効にすることを可能にすることによって）デバイスの操作性を高め、ユーザデバイスインターフェースをより効率的にする。これは、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、共有注釈セッション中に、第１のカメラセットの視野と第２のカメラセットの視野との間の重複量（またはより一般的には、第１のカメラセットの視野内にキャプチャされた物理的環境の部分と、第２のカメラセットの視野内にキャプチャされた物理的環境の部分との間）が第１の閾値量未満である（例えば、第１のデバイスおよび第２のデバイスの互いから離れる移動の後に）であるとの判定に従って、デバイスは、第１の表示生成要素を介して、第１のデバイスを第２のデバイスに向かって移動させる第２のプロンプトを生成する（１２３０）。例えば、図８Ｐに関して説明したように、共有注釈セッション中に第１のデバイス１００－１の第２のデバイス１００－２から離れる方向への移動は、第１のデバイス１００－１を第２のデバイス１００－２に向かって移動させる命令を含むプロンプト８０６０を表示させる。第１のカメラのビューが第２のカメラのビューから少なくとも閾値量だけ重ならないとの判定に従って、第１のデバイスを第２のデバイスに向かって移動させるプロンプトを表示することは、ユーザに視覚的フィードバックを提供する（例えば、共有注釈セッションを見るためにカメラの移動が必要であることを示す）。改良された視覚的フィードバックをユーザへ提供することは、（例えば、ユーザがデバイスを素早く正確に移動させて共有注釈セッションを有効にすることを可能にすることによって）デバイスの操作性を高め、ユーザデバイスインターフェースをより効率的にする。これは、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、共有注釈セッション中に、第１のカメラセットの視野と第２のカメラセットの視野との間の重複量（またはより一般的には、第１のカメラセットの視野内にキャプチャされた物理的環境の部分と、第２のカメラセットの視野内にキャプチャされた物理的環境の部分との間）が第１の閾値量未満である（例えば、第１のデバイスおよび第２のデバイスの互いから離れる移動の後に）との判定に従って、デバイスは、第１の表示生成要素を介して、第１のデバイスと第２のデバイスとの間の現在の相対的な空間的関係のインジケーションを表示する（１２３２）（例えば、第２のプロンプトと同時に表示されて、第１のデバイスを第２のデバイスに向かって移動させるように同時に表示される、第１のカメラセットの視野の表現の縁部上の動的に移動する視覚的インジケータ）。第１のカメラのビューが第２のカメラのビューから少なくとも閾値量だけ重ならないとの判定に従って、第１のデバイスと第２のデバイスとの間の現在の空間的関係のインジケーションを表示することは、ユーザに視覚的フィードバックを提供する（例えば、共有注釈セッションを見るためにカメラの移動が必要であることを示す）。改良された視覚的フィードバックをユーザへ提供することは、（例えば、ユーザがデバイスを素早く正確に移動させて共有注釈セッションを有効にすることを可能にすることによって）デバイスの操作性を高め、ユーザデバイスインターフェースをより効率的にする。これは、更に、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
図１２Ａ～１２Ｄにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。更に、本明細書に記載された他の方法（例えば、方法９００、１０００、および１１００）に関して本明細書に記載されている他のプロセスの詳細は、図１２Ａ～図１２Ｄに関して上述した方法１２００に類似した方法でも適用可能であることに留意されたい。例えば、方法１２００を参照して上記した接触、入力、注釈、物理オブジェクト、ユーザインターフェース領域、視野、移動、および／またはアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法９００、１０００、および１１００）を参照して本明細書に記載した接触、入力、注釈、物理オブジェクト、ユーザインターフェース領域、視野、移動、および／またはアニメーションの特徴のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、または開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正および変形が可能である。本発明の原理およびその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明および様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。
Claims (20)
- 方法であって、
表示生成要素、１つ以上の入力デバイス、および１つ以上のカメラを有するコンピュータシステムにおいて、
前記１つ以上のカメラの視野の経時的変化と共に更新される前記１つ以上のカメラの前記視野の表現を含む第１のユーザインターフェース領域を、前記表示生成要素を介して表示することと、
前記１つ以上のカメラの前記視野の前記表現を含む前記第１のユーザインターフェース領域を表示している間に、前記１つ以上の入力デバイスを介して、前記１つ以上のカメラの前記視野の前記表示された表現に注釈を追加する要求を受信することと、
前記１つ以上のカメラの前記視野の前記表示された表現に注釈を追加する前記要求に応じて、
前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現の表示を、前記注釈を追加する前記要求の前記受信に対応する時間にキャプチャされた前記１つ以上のカメラの前記視野の静止画で置き換えることと、
前記静止画を前記第１のユーザインターフェース領域内に表示している間に、前記１つ以上の入力デバイスを介して、前記静止画の第１の部分上の第１の注釈を受信することと、ここで前記静止画の前記第１の部分は、前記静止画内にキャプチャされた物理的環境の第１の部分に対応しており、
前記第１のユーザインターフェース領域内の前記静止画の前記第１の部分上に前記第１の注釈を表示している間に、前記１つ以上の入力デバイスを介して、前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現を再表示する要求を受信することと、
前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現を再表示する前記要求を受信したことに応じて、
前記静止画の表示を前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現と置き換えることと、
前記静止画内にキャプチャされた前記物理的環境の前記第１の部分が、現在、前記１つ以上のカメラの前記視野外にあるとの判定に従って、前記１つ以上のカメラの前記視野の前記表現と同時に、前記静止画内にキャプチャされた前記物理的環境の前記第１の部分に対する前記１つ以上のカメラの現在の空間的関係のインジケーションを表示することと、
前記静止画内にキャプチャされた前記物理的環境の前記第１の部分が、現在、前記１つ以上のカメラの前記視野内にあるとの判定に従って、前記インジケーションの表示を見合わせることと、を含む、方法。 - 前記静止画内にキャプチャされた前記物理的環境の前記第１の部分に対する前記１つ以上のカメラの前記現在の空間的関係の前記インジケーションを表示することが、
前記１つ以上のカメラの前記視野の前記表現の縁部に近接してインジケータを表示することと、
前記物理的環境に対する前記１つ以上のカメラの移動に従って、前記縁部に沿って前記インジケータを移動させることと、を含む、請求項１に記載の方法。 - 前記静止画内にキャプチャされた前記物理的環境の前記第１の部分に対する前記１つ以上のカメラの前記現在の空間的関係の前記インジケーションを表示している間に、前記１つ以上のカメラの第１の移動を検出することと、
前記１つ以上のカメラの前記第１の移動を検出したことに応じて、
前記第１の移動によって引き起こされる前記１つ以上のカメラの前記視野の変化に従って、前記１つ以上のカメラの前記視野の前記表現を更新することと、
前記静止画内にキャプチャされた前記物理的環境の前記第１の部分が、現在、前記１つ以上のカメラの前記視野外にあるとの判定に従って、前記１つ以上のカメラの前記第１の移動に従って、前記静止画内にキャプチャされた前記物理的環境の前記第１の部分に対する前記１つ以上のカメラの前記現在の空間的関係の前記インジケーションを更新することと、
前記静止画内にキャプチャされた前記物理的環境の前記第１の部分が、現在、前記１つ以上のカメラの前記視野内にあるとの判定に従って、前記インジケーションの表示を終了することと、を含む、請求項１または２に記載の方法。 - 前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現を再表示する前記要求を受信したことに応じて、
前記静止画内にキャプチャされた前記物理的環境の前記第１の部分が、現在、前記１つ以上のカメラの前記視野内にあるとの前記判定に従って、前記１つ以上のカメラの前記視野の前記表現内にキャプチャされた前記物理的環境の前記第１の部分に前記第１の注釈を表示すること、を含む、請求項１から３のいずれか一項に記載の方法。 - 前記第１の注釈が、前記１つ以上のカメラの前記視野の前記表現内にキャプチャされた前記物理的環境の前記第１の部分内の第１の奥行き平面上の２次元オブジェクトとして表示される、請求項４に記載の方法。
- 前記第１の注釈が、前記１つ以上のカメラの前記視野の前記表現内にキャプチャされた前記物理的環境の前記第１の部分内の空間内の位置に表示される、請求項５に記載の方法。
- 前記第１の注釈が、前記１つ以上のカメラの前記視野の前記表現内にキャプチャされた前記物理的環境の前記第１の部分において検出された物理オブジェクト上の位置に表示される、請求項５に記載の方法。
- 前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現を再表示する前記要求を受信したことに応じて、
前記静止画内にキャプチャされた前記物理的環境の前記第１の部分が、現在、前記１つ以上のカメラの前記視野内にないとの前記判定に従って、前記静止画の前記第１の部分上に描かれた前記第１の注釈の視覚的表現を、前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現と同時に表示すること、を含む、請求項１から７のいずれか一項に記載の方法。 - 前記視野の前記表現に示される前記第１の注釈が、前記静止画内にキャプチャされた前記物理的環境の前記第１の部分に対する前記１つ以上のカメラの前記現在の空間的関係に基づく第１の視点であって、前記静止画上に示される前記第１の注釈の第２視点とは異なる第１の視点を有する、請求項８に記載の方法。
- 前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現を再表示する前記要求を受信したことに応じて、
前記静止画内にキャプチャされた前記物理的環境の前記第１の部分が前記１つ以上のカメラの前記視野外にあるとの前記判定に従って、前記静止画の前記第１の部分上に描かれた前記第１の注釈の視覚的表現を、前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現と同時に表示することであって、前記静止画の前記第１の部分に描かれた前記第１の注釈の前記視覚的表現が、前記静止画内にキャプチャされた前記物理的環境の前記第１の部分に対する前記１つ以上のカメラの前記現在の空間的関係の前記インジケーションに変換される、ことを含む、請求項１から９のいずれか一項に記載の方法。 - 前記１つ以上のカメラの前記視野の前記表現を含む前記第１のユーザインターフェース領域を表示している間に、前記視野の前記表示された表現に注釈を追加する前記要求を検出する前に、以前に受信した、第２の注釈が以前に追加された前記物理的環境の第２の部分に対する前記１つ以上のカメラの現在の空間的関係のインジケーションを表示することを含む、請求項１から１０のいずれか一項に記載の方法。
- 前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現を再表示する前記要求を受信した後に、
前記物理的環境の前記第１の部分および前記物理的環境の前記第２の部分の両方が前記１つ以上のカメラの前記視野外にあるとの判定に従って、前記物理的環境の前記第１の部分に対する前記１つ以上のカメラの前記現在の空間的関係の前記インジケーションと、前記物理的環境の前記第２の部分に対する前記１つ以上のカメラの前記現在の空間的関係の前記インジケーションとを同時に表示することを含む、請求項１１に記載の方法。 - 前記物理的環境の前記第１の部分に対する前記１つ以上のカメラの前記現在の空間的関係の前記インジケーションと、前記物理的環境の前記第２の部分に対する前記１つ以上のカメラの前記現在の空間的関係の前記インジケーションとを同時に表示している間に、前記物理的環境に対する前記１つ以上のカメラの第２の移動を検出することと、
前記物理的環境に対する前記１つ以上のカメラの前記第２の移動を検出したことに応じて、
前記物理的環境の前記第１の部分および前記物理的環境の前記第２の部分の両方が前記１つ以上のカメラの前記視野外にあるとの判定に従って、それぞれ、前記物理的環境に対する前記１つ以上のカメラの前記第２の移動に従って、前記物理的環境の前記第１および第２の部分に対する前記１つ以上のカメラの前記現在の空間的関係の前記インジケーションを更新することと、を含む、請求項１２に記載の方法。 - 前記物理的環境の前記第１の部分に対する前記１つ以上のカメラの前記現在の空間的関係の前記インジケーションおよび前記物理的環境の前記第２の部分に対する前記１つ以上のカメラの前記現在の空間的関係の前記インジケーションが、前記物理的環境の前記第１の部分および前記第２の部分が前記１つ以上のカメラの既定の範囲内にあるとの判定に従って表示される、請求項１１から１３のいずれか一項に記載の方法。
- コンピュータシステムであって、
表示生成要素と、
１つ以上の入力デバイスと、
１つ以上のカメラと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
前記表示生成要素を介して、経時的な前記１つ以上のカメラの視野の変化と共に更新される前記１つ以上のカメラの前記視野の表現を含む第１のユーザインターフェース領域を表示し、
前記１つ以上のカメラの前記視野の前記表現を含む前記第１のユーザインターフェース領域を表示している間に、前記１つ以上の入力デバイスを介して、前記１つ以上のカメラの前記視野の前記表示された表現に注釈を追加する要求を受信し、
前記１つ以上のカメラの前記視野の前記表示された表現に注釈を追加する前記要求に応じて、
前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現の表示を、前記注釈を追加する前記要求の前記受信に対応する時間にキャプチャされた前記１つ以上のカメラの前記視野の静止画で置き換え、
前記静止画を前記第１のユーザインターフェース領域内に表示している間に、前記１つ以上の入力デバイスを介して、前記静止画の第１の部分上の第１の注釈であって、前記静止画の前記第１の部分が、前記静止画内にキャプチャされた物理的環境の第１の部分に対応する、前記静止画の第１の部分上の第１の注釈を受信し、
前記第１のユーザインターフェース領域内の前記静止画の前記第１の部分上に前記第１の注釈を表示している間に、前記１つ以上の入力デバイスを介して、前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現を再表示する要求を受信し、
前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現を再表示する前記要求を受信したことに応じて、
前記静止画の表示を前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現と置き換え、
前記静止画内にキャプチャされた前記物理的環境の前記第１の部分が、現在、前記１つ以上のカメラの前記視野外にあるとの判定に従って、前記１つ以上のカメラの前記視野の前記表現と同時に、前記静止画内にキャプチャされた前記物理的環境の前記第１の部分に対する前記１つ以上のカメラの現在の空間的関係のインジケーションを表示し、
前記静止画内にキャプチャされた前記物理的環境の前記第１の部分が、現在、前記１つ以上のカメラの前記視野内にあるとの判定に従って、前記インジケーションの表示を見合わせる、命令を含む、コンピュータシステム。 - 前記１つ以上のプログラムが、前記１つ以上のプロセッサに実行されると、前記１つ以上のプロセッサに請求項１から１４のいずれか１項に記載された方法を実行させる命令を含む、請求項１５に記載のコンピュータシステム。
- プログラムであって、前記プログラムが、表示生成要素と、１つ以上の入力デバイスと、１つ以上のカメラと、を備えたコンピュータシステムによって実行されたとき、前記コンピュータシステムに、
前記表示生成要素を介して、経時的な前記１つ以上のカメラの視野の変化と共に更新される前記１つ以上のカメラの前記視野の表現を含む第１のユーザインターフェース領域を表示させ、
前記１つ以上のカメラの前記視野の前記表現を含む前記第１のユーザインターフェース領域を表示している間に、前記１つ以上の入力デバイスを介して、前記１つ以上のカメラの前記視野の前記表示された表現に注釈を追加する要求を受信させ、
前記１つ以上のカメラの前記視野の前記表示された表現に注釈を追加する前記要求に応じて、
前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現の表示を、前記注釈を追加する前記要求の前記受信に対応する時間にキャプチャされた前記１つ以上のカメラの前記視野の静止画で置き換えさせ、
前記静止画を前記第１のユーザインターフェース領域内に表示している間に、前記１つ以上の入力デバイスを介して、前記静止画の第１の部分上の第１の注釈であって、前記静止画の前記第１の部分が、前記静止画内にキャプチャされた物理的環境の第１の部分に対応する、前記静止画の第１の部分上の第１の注釈を受信させ、
前記第１のユーザインターフェース領域内の前記静止画の前記第１の部分上に前記第１の注釈を表示している間に、前記１つ以上の入力デバイスを介して、前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現を再表示する要求を受信させ、
前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現を再表示する前記要求を受信したことに応じて、
前記静止画の表示を前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現と置き換えさせ、
前記静止画内にキャプチャされた前記物理的環境の前記第１の部分が、現在、前記１つ以上のカメラの前記視野外にあるとの判定に従って、前記１つ以上のカメラの前記視野の前記表現と同時に、前記静止画内にキャプチャされた前記物理的環境の前記第１の部分に対する前記１つ以上のカメラの現在の空間的関係のインジケーションを表示させ、
前記静止画内にキャプチャされた前記物理的環境の前記第１の部分が、現在、前記１つ以上のカメラの前記視野内にあるとの判定に従って、前記インジケーションの表示を見合わせさせる、命令を含む、プログラム。 - 表示生成要素と、１つ以上の入力デバイスと、１つ以上のカメラと、を備えたコンピュータシステムによって実行されると、前記コンピュータシステムに、請求項１から１４のいずれか１項に記載の方法を実行させる命令を含んだ、プログラム。
- コンピュータシステムであって、
表示生成要素と、
１つ以上の入力デバイスと、
１つ以上のカメラと、
前記表示生成要素を介して、経時的な前記１つ以上のカメラの視野の変化と共に更新される前記１つ以上のカメラの前記視野の表現を含む第１のユーザインターフェース領域を表示する手段と、
前記１つ以上のカメラの前記視野の前記表現を含む前記第１のユーザインターフェース領域を表示している間に、前記１つ以上の入力デバイスを介して、前記１つ以上のカメラの前記視野の前記表示された表現に注釈を追加する要求を受信する手段と、
前記１つ以上のカメラの前記視野の前記表示された表現に注釈を追加する前記要求に応じて、
前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現の表示を、前記注釈を追加する前記要求の前記受信に対応する時間にキャプチャされた前記１つ以上のカメラの前記視野の静止画で置き換える手段と、
前記静止画を前記第１のユーザインターフェース領域内に表示している間に、前記１つ以上の入力デバイスを介して、前記静止画の第１の部分上の第１の注釈を受信する手段であって、前記静止画の前記第１の部分が、前記静止画内にキャプチャされた物理的環境の第１の部分に対応する、手段と、
前記第１のユーザインターフェース領域内の前記静止画の前記第１の部分上に前記第１の注釈を表示している間に、前記１つ以上の入力デバイスを介して、前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現を再表示する要求を受信する手段と、
前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現を再表示する前記要求を受信したことに応じて、
前記静止画の表示を前記第１のユーザインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現と置き換え、
前記静止画内にキャプチャされた前記物理的環境の前記第１の部分が、現在、前記１つ以上のカメラの前記視野外にあるとの判定に従って、前記１つ以上のカメラの前記視野の前記表現と同時に、前記静止画内にキャプチャされた前記物理的環境の前記第１の部分に対する前記１つ以上のカメラの現在の空間的関係のインジケーションを表示し、
前記静止画内にキャプチャされた前記物理的環境の前記第１の部分が、現在、前記１つ以上のカメラの前記視野内にあるとの判定に従って、前記インジケーションの表示を見合わせる手段と、を備える、コンピュータシステム。 - 請求項１から１４のいずれか１項に記載の方法を実行するための手段をさらに含む、請求項１９に記載のコンピュータシステム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022077644A JP2022116018A (ja) | 2018-09-29 | 2022-05-10 | 奥行きベースの注釈のためのデバイス、方法、およびグラフィカルユーザインターフェース |
| JP2024026846A JP2024073471A (ja) | 2018-09-29 | 2024-02-26 | 奥行きベースの注釈のためのデバイス、方法、およびグラフィカルユーザインターフェース |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862739178P | 2018-09-29 | 2018-09-29 | |
| US62/739,178 | 2018-09-29 | ||
| US16/574,029 US10785413B2 (en) | 2018-09-29 | 2019-09-17 | Devices, methods, and graphical user interfaces for depth-based annotation |
| US16/574,029 | 2019-09-17 | ||
| PCT/US2019/052140 WO2020068580A1 (en) | 2018-09-29 | 2019-09-20 | Devices, methods, and graphical user interfaces for depth-based annotation |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022077644A Division JP2022116018A (ja) | 2018-09-29 | 2022-05-10 | 奥行きベースの注釈のためのデバイス、方法、およびグラフィカルユーザインターフェース |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021536058A JP2021536058A (ja) | 2021-12-23 |
| JP7072717B2 true JP7072717B2 (ja) | 2022-05-20 |
Family
ID=69946774
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021510765A Active JP7072717B2 (ja) | 2018-09-29 | 2019-09-20 | 奥行きベースの注釈のためのデバイス、方法、およびグラフィカルユーザインターフェース |
| JP2022077644A Pending JP2022116018A (ja) | 2018-09-29 | 2022-05-10 | 奥行きベースの注釈のためのデバイス、方法、およびグラフィカルユーザインターフェース |
| JP2024026846A Pending JP2024073471A (ja) | 2018-09-29 | 2024-02-26 | 奥行きベースの注釈のためのデバイス、方法、およびグラフィカルユーザインターフェース |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022077644A Pending JP2022116018A (ja) | 2018-09-29 | 2022-05-10 | 奥行きベースの注釈のためのデバイス、方法、およびグラフィカルユーザインターフェース |
| JP2024026846A Pending JP2024073471A (ja) | 2018-09-29 | 2024-02-26 | 奥行きベースの注釈のためのデバイス、方法、およびグラフィカルユーザインターフェース |
Country Status (7)
| Country | Link |
|---|---|
| US (5) | US10785413B2 (ja) |
| EP (1) | EP3837684A1 (ja) |
| JP (3) | JP7072717B2 (ja) |
| KR (2) | KR20230054747A (ja) |
| CN (3) | CN112639970A (ja) |
| AU (3) | AU2019349408B2 (ja) |
| WO (1) | WO2020068580A1 (ja) |
Families Citing this family (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9716825B1 (en) | 2016-06-12 | 2017-07-25 | Apple Inc. | User interface for camera effects |
| US10372298B2 (en) | 2017-09-29 | 2019-08-06 | Apple Inc. | User interface for multi-user communication session |
| EP3714439A1 (en) * | 2017-11-20 | 2020-09-30 | Google LLC | Directing user attention |
| US11112964B2 (en) | 2018-02-09 | 2021-09-07 | Apple Inc. | Media capture lock affordance for graphical user interface |
| DK180130B1 (da) | 2018-05-07 | 2020-06-02 | Apple Inc. | Multi-participant live communication user interface |
| DK201870351A1 (en) | 2018-05-07 | 2020-01-13 | Apple Inc. | Devices and Methods for Measuring Using Augmented Reality |
| US11770601B2 (en) * | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| US10785413B2 (en) | 2018-09-29 | 2020-09-22 | Apple Inc. | Devices, methods, and graphical user interfaces for depth-based annotation |
| USD912699S1 (en) | 2018-11-15 | 2021-03-09 | Biosense Webster (Israel) Ltd. | Display screen or portion thereof with icon |
| KR102657519B1 (ko) * | 2019-02-08 | 2024-04-15 | 삼성전자주식회사 | 음성을 기반으로 그래픽 데이터를 제공하는 전자 장치 및 그의 동작 방법 |
| US10963140B2 (en) * | 2019-04-12 | 2021-03-30 | John William Marr | Augmented reality experience creation via tapping virtual surfaces in augmented reality |
| USD970516S1 (en) * | 2019-06-20 | 2022-11-22 | Yandex Europe Ag | Display screen or portion thereof with graphical user interface |
| US11227446B2 (en) | 2019-09-27 | 2022-01-18 | Apple Inc. | Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality |
| US11321515B2 (en) * | 2019-11-10 | 2022-05-03 | ExactNote, Inc. | Information restructuring, editing, and storage systems for web browsers |
| US11080879B1 (en) | 2020-02-03 | 2021-08-03 | Apple Inc. | Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments |
| US11727650B2 (en) | 2020-03-17 | 2023-08-15 | Apple Inc. | Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments |
| US11079913B1 (en) | 2020-05-11 | 2021-08-03 | Apple Inc. | User interface for status indicators |
| US11039074B1 (en) | 2020-06-01 | 2021-06-15 | Apple Inc. | User interfaces for managing media |
| US11551429B2 (en) * | 2020-06-05 | 2023-01-10 | Uatc, Llc | Photorealistic image simulation with geometry-aware composition |
| USD950585S1 (en) * | 2020-06-22 | 2022-05-03 | Oneplus Technology (Shenzhen) Co., Ltd. | Television display screen with graphical user interface |
| US11995894B2 (en) | 2020-09-10 | 2024-05-28 | Adobe Inc. | Interacting with hierarchical clusters of video segments using a metadata panel |
| US11630562B2 (en) * | 2020-09-10 | 2023-04-18 | Adobe Inc. | Interacting with hierarchical clusters of video segments using a video timeline |
| US11810358B2 (en) | 2020-09-10 | 2023-11-07 | Adobe Inc. | Video search segmentation |
| US11887371B2 (en) | 2020-09-10 | 2024-01-30 | Adobe Inc. | Thumbnail video segmentation identifying thumbnail locations for a video |
| US12033669B2 (en) | 2020-09-10 | 2024-07-09 | Adobe Inc. | Snap point video segmentation identifying selection snap points for a video |
| US11880408B2 (en) | 2020-09-10 | 2024-01-23 | Adobe Inc. | Interacting with hierarchical clusters of video segments using a metadata search |
| US11887629B2 (en) | 2020-09-10 | 2024-01-30 | Adobe Inc. | Interacting with semantic video segments through interactive tiles |
| US11450112B2 (en) | 2020-09-10 | 2022-09-20 | Adobe Inc. | Segmentation and hierarchical clustering of video |
| USD1012095S1 (en) * | 2020-10-26 | 2024-01-23 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with transitional graphical user interface |
| CN112714266B (zh) * | 2020-12-18 | 2023-03-31 | 北京百度网讯科技有限公司 | 标注信息展示方法、装置、电子设备及存储介质 |
| BE1028937B1 (nl) * | 2020-12-22 | 2022-07-19 | Rods&Cones Holding Bv | Contactloos configureren van een videoconferentie in steriele omgevingen |
| US11671697B2 (en) | 2021-01-31 | 2023-06-06 | Apple Inc. | User interfaces for wide angle video conference |
| US11523063B2 (en) * | 2021-03-25 | 2022-12-06 | Microsoft Technology Licensing, Llc | Systems and methods for placing annotations in an augmented reality environment using a center-locked interface |
| CN113099285A (zh) * | 2021-03-30 | 2021-07-09 | 上海哔哩哔哩科技有限公司 | 展示方法及装置 |
| US11557100B2 (en) | 2021-04-08 | 2023-01-17 | Google Llc | Augmented reality content experience sharing using digital multimedia files |
| KR102392675B1 (ko) * | 2021-04-16 | 2022-05-12 | 주식회사 스케치소프트 | 3차원 스케치를 위한 인터페이싱 방법 및 장치 |
| US11941764B2 (en) | 2021-04-18 | 2024-03-26 | Apple Inc. | Systems, methods, and graphical user interfaces for adding effects in augmented reality environments |
| US20220334693A1 (en) * | 2021-04-19 | 2022-10-20 | Apple Inc. | User interfaces for managing visual content in media |
| US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
| US11360634B1 (en) | 2021-05-15 | 2022-06-14 | Apple Inc. | Shared-content session user interfaces |
| US11907605B2 (en) | 2021-05-15 | 2024-02-20 | Apple Inc. | Shared-content session user interfaces |
| US11893214B2 (en) | 2021-05-15 | 2024-02-06 | Apple Inc. | Real-time communication user interface |
| US12112024B2 (en) | 2021-06-01 | 2024-10-08 | Apple Inc. | User interfaces for managing media styles |
| CN113347362B (zh) * | 2021-06-08 | 2022-11-04 | 杭州海康威视数字技术股份有限公司 | 一种跨相机轨迹关联方法、装置及电子设备 |
| US11424945B1 (en) | 2021-06-30 | 2022-08-23 | Dropbox, Inc. | Techniques for avoiding conflicting user actions during a video collaboration session |
| US11863600B2 (en) | 2021-06-30 | 2024-01-02 | Dropbox, Inc. | Techniques for efficient communication during a video collaboration session |
| JP7518302B2 (ja) * | 2021-06-30 | 2024-07-17 | ドロップボックス， インコーポレイテッド | ビデオコラボレーションセッション中のユーザ動作の競合を回避するための技術 |
| US11989895B2 (en) | 2021-09-15 | 2024-05-21 | Passivelogic, Inc | Capturing environmental features using 2D and 3D scans |
| US20230075701A1 (en) * | 2021-09-03 | 2023-03-09 | Motional Ad Llc | Location based parameters for an image sensor |
| US20230089049A1 (en) * | 2021-09-21 | 2023-03-23 | Apple Inc. | Methods and Systems for Composing and Executing a Scene |
| US11770600B2 (en) | 2021-09-24 | 2023-09-26 | Apple Inc. | Wide angle video conference |
| US20240291944A1 (en) * | 2023-02-24 | 2024-08-29 | Apple Inc. | Video application graphical effects |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011259243A (ja) | 2010-06-09 | 2011-12-22 | Nintendo Co Ltd | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 |
| WO2014162824A1 (ja) | 2013-04-04 | 2014-10-09 | ソニー株式会社 | 表示制御装置、表示制御方法およびプログラム |
Family Cites Families (180)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1119763C (zh) * | 1998-03-13 | 2003-08-27 | 西门子共同研究公司 | 合作动态视频注释的设备和方法 |
| US7072810B2 (en) | 2001-06-08 | 2006-07-04 | Tata Consultancy Services Limited | Method and apparatus for pattern based generation of graphical user interfaces (GUI) |
| US7412658B2 (en) | 2002-11-14 | 2008-08-12 | Sap Ag | Modeling system for graphic user interface |
| CN100375124C (zh) | 2003-12-17 | 2008-03-12 | 中国科学院自动化研究所 | 一种骨架化物体重建方法 |
| US8306280B2 (en) * | 2006-04-11 | 2012-11-06 | Nikon Corporation | Electronic camera and image processing apparatus |
| JP2008217590A (ja) * | 2007-03-06 | 2008-09-18 | Fuji Xerox Co Ltd | 情報共有支援システム、情報処理装置及び制御プログラム |
| GB0707216D0 (en) * | 2007-04-14 | 2007-05-23 | Livesey Carl | Interactive shopping platform |
| JP4858375B2 (ja) | 2007-04-19 | 2012-01-18 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
| CN101334277B (zh) | 2007-06-28 | 2010-12-08 | 鸿富锦精密工业（深圳）有限公司 | 点镭射自动对焦扫描影像量测系统及方法 |
| CN101939616B (zh) | 2008-01-09 | 2014-07-09 | 株式会社尼康 | 测量设备和测量方法 |
| US10872322B2 (en) | 2008-03-21 | 2020-12-22 | Dressbot, Inc. | System and method for collaborative shopping, business and entertainment |
| FR2933218B1 (fr) | 2008-06-30 | 2011-02-11 | Total Immersion | Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee |
| US8698799B2 (en) | 2009-01-20 | 2014-04-15 | Adobe Systems Incorporated | Method and apparatus for rendering graphics using soft occlusion |
| US20100235784A1 (en) | 2009-03-16 | 2010-09-16 | Bas Ording | Methods and Graphical User Interfaces for Editing on a Multifunction Device with a Touch Screen Display |
| WO2010127043A1 (en) | 2009-04-28 | 2010-11-04 | Rey Flemings | System and method for annotating multimedia objects |
| US8244462B1 (en) | 2009-05-21 | 2012-08-14 | Google Inc. | System and method of determining distances between geographic positions |
| US8365081B1 (en) * | 2009-05-28 | 2013-01-29 | Amazon Technologies, Inc. | Embedding metadata within content |
| JP5434338B2 (ja) * | 2009-07-29 | 2014-03-05 | ソニー株式会社 | 撮像制御装置、撮像方法、プログラム |
| WO2011029209A2 (en) * | 2009-09-10 | 2011-03-17 | Liberovision Ag | Method and apparatus for generating and processing depth-enhanced images |
| EP2476259A1 (en) | 2009-09-11 | 2012-07-18 | Disney Enterprises, Inc. | Virtual insertions in 3d video |
| US8819591B2 (en) | 2009-10-30 | 2014-08-26 | Accuray Incorporated | Treatment planning in a virtual environment |
| JP2011199560A (ja) | 2010-03-19 | 2011-10-06 | Nec Corp | 携帯電話機およびスケール表示方法 |
| JP5018980B2 (ja) | 2010-04-08 | 2012-09-05 | カシオ計算機株式会社 | 撮像装置、長さ測定方法、及びプログラム |
| US20110252405A1 (en) | 2010-04-10 | 2011-10-13 | Ilan Meirman | Detecting user interface defects in a software application |
| US8466889B2 (en) | 2010-05-14 | 2013-06-18 | Research In Motion Limited | Method of providing tactile feedback and electronic device |
| US20110279445A1 (en) | 2010-05-16 | 2011-11-17 | Nokia Corporation | Method and apparatus for presenting location-based content |
| US8982156B2 (en) | 2010-06-10 | 2015-03-17 | Sartorius Stedim Biotech Gmbh | Assembling method, operating method, augmented reality system and computer program product |
| JP2012178820A (ja) * | 2011-01-31 | 2012-09-13 | Sanyo Electric Co Ltd | 電子機器 |
| KR101074678B1 (ko) | 2011-03-03 | 2011-10-18 | 배상모 | 휴대단말기에 구비된 카메라를 이용한 물체의 실제 크기 측정 방법 |
| KR20160084502A (ko) | 2011-03-29 | 2016-07-13 | 퀄컴 인코포레이티드 | 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들 |
| JP2014143453A (ja) * | 2011-05-19 | 2014-08-07 | Panasonic Corp | 動画像編集再生装置 |
| KR101845231B1 (ko) * | 2011-06-14 | 2018-04-04 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| US9720587B2 (en) | 2011-07-11 | 2017-08-01 | Kddi Corporation | User interface device enabling input motions by finger touch in different modes, and method and program for recognizing input motion |
| US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
| KR101824413B1 (ko) | 2011-08-30 | 2018-02-02 | 삼성전자주식회사 | 휴대단말기의 동작 모드 제어 방법 및 장치 |
| US9696897B2 (en) | 2011-10-19 | 2017-07-04 | The Regents Of The University Of California | Image-based measurement tools |
| WO2013096052A2 (en) | 2011-12-19 | 2013-06-27 | Dolby Laboratories Licensing Corporation | Highly-extensible and versatile personal display |
| JP6124543B2 (ja) * | 2011-12-26 | 2017-05-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理システム、及びプログラム |
| US20130215230A1 (en) | 2012-02-22 | 2013-08-22 | Matt Miesnieks | Augmented Reality System Using a Portable Device |
| KR101328270B1 (ko) * | 2012-03-26 | 2013-11-14 | 인하대학교 산학협력단 | 스마트 ｔｖ의 비디오 어노테이션 및 증강 방법 및 그 시스템 |
| JP2013229672A (ja) * | 2012-04-24 | 2013-11-07 | Panasonic Corp | 通信端末、通信方法、通信プログラム及び通信システム |
| US9147221B2 (en) | 2012-05-23 | 2015-09-29 | Qualcomm Incorporated | Image-driven view management for annotations |
| US9541417B2 (en) | 2012-06-05 | 2017-01-10 | Apple Inc. | Panning for three-dimensional maps |
| JP5571269B2 (ja) * | 2012-07-20 | 2014-08-13 | パナソニック株式会社 | コメント付き動画像生成装置およびコメント付き動画像生成方法 |
| JP6080249B2 (ja) | 2012-09-13 | 2017-02-15 | 富士フイルム株式会社 | ３次元画像表示装置および方法並びにプログラム |
| JP6080248B2 (ja) | 2012-09-13 | 2017-02-15 | 富士フイルム株式会社 | ３次元画像表示装置および方法並びにプログラム |
| US20150169525A1 (en) * | 2012-09-14 | 2015-06-18 | Leon Gomes Palm | Augmented reality image annotation |
| US9237263B2 (en) | 2012-10-05 | 2016-01-12 | Vidinoti Sa | Annotation method and apparatus |
| US9524585B2 (en) | 2012-11-05 | 2016-12-20 | Microsoft Technology Licensing, Llc | Constructing augmented reality environment with pre-computed lighting |
| KR101745625B1 (ko) * | 2012-12-17 | 2017-06-09 | 인텔 코포레이션 | 비디오 스트림에 섬네일 정보 실장 |
| WO2014157340A1 (ja) | 2013-03-29 | 2014-10-02 | 日本電気株式会社 | サイズ測定装置及びサイズ測定方法 |
| CN103218854B (zh) | 2013-04-01 | 2016-04-20 | 成都理想境界科技有限公司 | 在增强现实过程中实现部件标注的方法及增强现实系统 |
| EP2983138A4 (en) * | 2013-04-04 | 2017-02-22 | Sony Corporation | Display control device, display control method and program |
| JP6304242B2 (ja) * | 2013-04-04 | 2018-04-04 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| CN105164999B (zh) * | 2013-04-17 | 2018-08-10 | 松下知识产权经营株式会社 | 图像处理方法及图像处理装置 |
| WO2014181725A1 (ja) | 2013-05-07 | 2014-11-13 | シャープ株式会社 | 画像計測装置 |
| US20160125276A1 (en) | 2013-06-04 | 2016-05-05 | Clic RWeight ,LLC | Methods and systems for marking animals |
| US9678651B2 (en) | 2013-06-08 | 2017-06-13 | Apple Inc. | Mapping application with interactive compass |
| KR102153366B1 (ko) | 2013-08-30 | 2020-10-15 | 삼성전자 주식회사 | 전자 기기의 화면 전환 방법 및 장치 |
| US20150062123A1 (en) | 2013-08-30 | 2015-03-05 | Ngrain (Canada) Corporation | Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model |
| US9996974B2 (en) | 2013-08-30 | 2018-06-12 | Qualcomm Incorporated | Method and apparatus for representing a physical scene |
| EP3822759A1 (en) | 2013-09-03 | 2021-05-19 | Apple Inc. | User interface for manipulating user interface objects |
| US9424239B2 (en) * | 2013-09-06 | 2016-08-23 | Microsoft Technology Licensing, Llc | Managing shared state information produced by applications |
| CN105580355A (zh) * | 2013-09-11 | 2016-05-11 | 辛赛股份有限公司 | 内容交易型项目的动态绑定 |
| CN110379019A (zh) | 2013-09-24 | 2019-10-25 | 苹果公司 | 在真实环境的视图中表示兴趣点的方法以及移动设备 |
| KR20160068916A (ko) * | 2013-10-11 | 2016-06-15 | 인터디지탈 패튼 홀딩스, 인크 | 시선 구동 증강 현실 |
| US20150193982A1 (en) | 2014-01-03 | 2015-07-09 | Google Inc. | Augmented reality overlays using position and orientation to facilitate interactions between electronic devices |
| US9600925B2 (en) | 2014-01-06 | 2017-03-21 | Oculus Vr, Llc | Calibration of multiple rigid bodies in a virtual reality system |
| WO2015105804A1 (en) * | 2014-01-07 | 2015-07-16 | Hypershow Ltd. | System and method for generating and using spatial and temporal metadata |
| JP2015146173A (ja) * | 2014-02-03 | 2015-08-13 | 村瀬 徹 | アノテーションシステム、方法、プログラムおよび記録媒体 |
| WO2015120019A1 (en) * | 2014-02-10 | 2015-08-13 | Google Inc. | Smart camera user interface |
| WO2015123348A1 (en) | 2014-02-11 | 2015-08-20 | Xactware Solutions, Inc. | System and method for generating computerized floor plans |
| US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| EP3176755A4 (en) | 2014-08-01 | 2018-02-28 | Sony Corporation | Information processing device, information processing method, and program |
| KR102223282B1 (ko) | 2014-08-07 | 2021-03-05 | 엘지전자 주식회사 | 스마트 줄자를 구비한 이동 단말기 및 그의 물체 길이 측정 방법 |
| CN107077753A (zh) | 2014-08-26 | 2017-08-18 | 霍尼韦尔国际公司 | 对三维显示进行注释 |
| US10114545B2 (en) | 2014-09-03 | 2018-10-30 | Intel Corporation | Image location selection for use in depth photography system |
| US9898868B2 (en) * | 2014-11-06 | 2018-02-20 | Seiko Epson Corporation | Display device, method of controlling the same, and program |
| JP6488653B2 (ja) * | 2014-11-07 | 2019-03-27 | セイコーエプソン株式会社 | 表示装置、表示制御方法および表示システム |
| US9754419B2 (en) | 2014-11-16 | 2017-09-05 | Eonite Perception Inc. | Systems and methods for augmented reality preparation, processing, and application |
| US20160147408A1 (en) | 2014-11-25 | 2016-05-26 | Johnathan Bevis | Virtual measurement tool for a wearable visualization device |
| JP2016110676A (ja) * | 2014-12-09 | 2016-06-20 | 株式会社ＭｅｔａＭｏＪｉ | 動画編集装置 |
| US9665960B1 (en) * | 2014-12-22 | 2017-05-30 | Amazon Technologies, Inc. | Image-based item location identification |
| US9728010B2 (en) | 2014-12-30 | 2017-08-08 | Microsoft Technology Licensing, Llc | Virtual representations of real-world objects |
| KR101629134B1 (ko) | 2015-01-14 | 2016-06-09 | 재단법인대구경북과학기술원 | 증강현실을 이용한 측정 장치 및 증강현실을 이용한 측정 방법 |
| US9661308B1 (en) | 2015-04-20 | 2017-05-23 | Samsung Electronics Co., Ltd. | Increasing tolerance of sensor-scanner misalignment of the 3D camera with epipolar line laser point scanning |
| US20160329006A1 (en) | 2015-05-04 | 2016-11-10 | Microsoft Technology Licensing, Llc | Interactive integrated display and processing device |
| US10559086B1 (en) | 2015-05-15 | 2020-02-11 | 4DMobile, LLC | System for volume dimensioning via holographic sensor fusion |
| WO2016205074A1 (en) | 2015-06-15 | 2016-12-22 | United States Postal Service | Dimensional measuring system |
| US10799792B2 (en) | 2015-07-23 | 2020-10-13 | At&T Intellectual Property I, L.P. | Coordinating multiple virtual environments |
| US20170053621A1 (en) * | 2015-08-20 | 2017-02-23 | Microsoft Technology Licensing, Llc | Roundtrip Reintegration of Asynchronous 3D Session |
| US20170061696A1 (en) | 2015-08-31 | 2017-03-02 | Samsung Electronics Co., Ltd. | Virtual reality display apparatus and display method thereof |
| US10049500B2 (en) | 2015-09-22 | 2018-08-14 | 3D Product Imaging Inc. | Augmented reality e-commerce for home improvement |
| NO3154008T3 (ja) | 2015-10-09 | 2018-05-19 | ||
| CN106611412A (zh) * | 2015-10-20 | 2017-05-03 | 成都理想境界科技有限公司 | 贴图视频生成方法及装置 |
| US10962780B2 (en) | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
| CN105554247B (zh) | 2015-12-07 | 2019-05-14 | 魅族科技（中国）有限公司 | 测量方法、测量系统和终端 |
| US9767606B2 (en) | 2016-01-12 | 2017-09-19 | Lenovo (Singapore) Pte. Ltd. | Automatic modification of augmented reality objects |
| KR102559625B1 (ko) | 2016-01-25 | 2023-07-26 | 삼성전자주식회사 | 증강 현실 출력 방법 및 이를 지원하는 전자 장치 |
| EP3408848A4 (en) | 2016-01-29 | 2019-08-28 | Pointivo Inc. | SYSTEMS AND METHOD FOR EXTRACTING INFORMATION ON OBJECTS FROM SCENE INFORMATION |
| US10942024B2 (en) | 2016-02-02 | 2021-03-09 | Sony Corporation | Information processing apparatus, information processing method, and recording medium |
| US10083537B1 (en) * | 2016-02-04 | 2018-09-25 | Gopro, Inc. | Systems and methods for adding a moving visual element to a video |
| US10257505B2 (en) | 2016-02-08 | 2019-04-09 | Microsoft Technology Licensing, Llc | Optimized object scanning using sensor fusion |
| CN105608746B (zh) | 2016-03-16 | 2019-10-11 | 成都电锯互动科技有限公司 | 一种将现实进行虚拟实现的方法 |
| US10296574B2 (en) | 2016-03-28 | 2019-05-21 | Microsoft Technology Licensing, Llc | Contextual ink annotation in a mapping interface |
| US10367919B2 (en) | 2016-03-31 | 2019-07-30 | Verizon Patent And Licensing Inc. | Methods and systems for efficient distribution of virtual reality media content |
| US10380758B2 (en) * | 2016-04-27 | 2019-08-13 | Mad Street Den, Inc. | Method for tracking subject head position from monocular-source image sequence |
| US11024088B2 (en) | 2016-05-27 | 2021-06-01 | HoloBuilder, Inc. | Augmented and virtual reality |
| US20200322595A1 (en) | 2016-06-07 | 2020-10-08 | Sony Corporation | Information processing device and information processing method, and recording medium |
| CN109844819A (zh) | 2016-06-27 | 2019-06-04 | 罗伯特·博世有限公司 | 用于动态遮挡处置的系统和方法 |
| US10268266B2 (en) | 2016-06-29 | 2019-04-23 | Microsoft Technology Licensing, Llc | Selection of objects in three-dimensional space |
| US10445867B2 (en) | 2016-07-13 | 2019-10-15 | The Boeing Company | System and method for generating enhanced stereographic videos of aircraft build processes |
| CN106251185A (zh) | 2016-08-24 | 2016-12-21 | 四川见山科技有限责任公司 | 基于ue4引擎的vr房产展示与交互系统 |
| AU2017326762C1 (en) | 2016-09-16 | 2023-11-16 | Lifesize Plans Ip Pty Ltd | A floorplan visualisation system |
| US10852936B2 (en) | 2016-09-23 | 2020-12-01 | Apple Inc. | Devices, methods, and graphical user interfaces for a unified annotation layer for annotating content displayed on a device |
| CN106254941A (zh) * | 2016-10-10 | 2016-12-21 | 乐视控股（北京）有限公司 | 视频处理方法及装置 |
| US10332317B2 (en) | 2016-10-25 | 2019-06-25 | Microsoft Technology Licensing, Llc | Virtual reality and cross-device experiences |
| KR101809440B1 (ko) | 2016-11-21 | 2017-12-15 | 김승정 | 스마트 기기의 증강현실을 이용한 사이즈 측정 방법 |
| KR101899981B1 (ko) | 2016-12-02 | 2018-09-19 | 엘지전자 주식회사 | 차량용 헤드 업 디스플레이 |
| US10540699B1 (en) * | 2016-12-05 | 2020-01-21 | Amazon Technologies, Inc. | Methods and systems for scene driven content creation |
| CN111899003A (zh) | 2016-12-13 | 2020-11-06 | 创新先进技术有限公司 | 基于增强现实的虚拟对象分配方法及装置 |
| JP6794838B2 (ja) | 2017-01-13 | 2020-12-02 | コニカミノルタ株式会社 | 医用画像表示装置 |
| US11132840B2 (en) | 2017-01-16 | 2021-09-28 | Samsung Electronics Co., Ltd | Method and device for obtaining real time status and controlling of transmitting devices |
| TWI616799B (zh) | 2017-01-16 | 2018-03-01 | 宏碁股份有限公司 | 輸入裝置 |
| WO2018164932A1 (en) | 2017-03-08 | 2018-09-13 | Vid Scale, Inc. | Zoom coding using simultaneous and synchronous multiple-camera captures |
| US10249095B2 (en) | 2017-04-07 | 2019-04-02 | Microsoft Technology Licensing, Llc | Context-based discovery of applications |
| US10692287B2 (en) | 2017-04-17 | 2020-06-23 | Microsoft Technology Licensing, Llc | Multi-step placement of virtual objects |
| US20180336732A1 (en) | 2017-05-16 | 2018-11-22 | Michael J. Schuster | Augmented reality task identification and assistance in construction, remodeling, and manufacturing |
| US10777018B2 (en) | 2017-05-17 | 2020-09-15 | Bespoke, Inc. | Systems and methods for determining the scale of human anatomy from images |
| CN109804333B (zh) | 2017-06-15 | 2021-05-28 | 腾讯科技（深圳）有限公司 | 基于用户的物理尺寸定制用户界面面板的系统和方法 |
| CN110945365A (zh) | 2017-06-16 | 2020-03-31 | 特克特朗尼克公司 | 与增强现实相关联的测试和测量设备、系统和方法 |
| US10304254B2 (en) | 2017-08-08 | 2019-05-28 | Smart Picture Technologies, Inc. | Method for measuring and modeling spaces using markerless augmented reality |
| KR102338576B1 (ko) * | 2017-08-22 | 2021-12-14 | 삼성전자주식회사 | 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법 |
| DK180470B1 (en) | 2017-08-31 | 2021-05-06 | Apple Inc | Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments |
| CN109802931B (zh) | 2017-11-17 | 2021-08-06 | 腾讯科技（深圳）有限公司 | 一种通信处理方法、终端及存储介质 |
| US10553031B2 (en) | 2017-12-06 | 2020-02-04 | Microsoft Technology Licensing, Llc | Digital project file presentation |
| US20190180506A1 (en) | 2017-12-11 | 2019-06-13 | Tsunami VR, Inc. | Systems and methods for adding annotations to virtual objects in a virtual environment |
| US11341350B2 (en) | 2018-01-05 | 2022-05-24 | Packsize Llc | Systems and methods for volumetric sizing |
| US20190221035A1 (en) | 2018-01-12 | 2019-07-18 | International Business Machines Corporation | Physical obstacle avoidance in a virtual reality environment |
| CN108182730B (zh) * | 2018-01-12 | 2022-08-12 | 北京小米移动软件有限公司 | 虚实对象合成方法及装置 |
| US10922862B2 (en) | 2018-04-05 | 2021-02-16 | Lenovo (Singapore) Pte. Ltd. | Presentation of content on headset display based on one or more condition(s) |
| US11086474B2 (en) | 2018-04-09 | 2021-08-10 | Spatial Systems Inc. | Augmented reality computing environments—mobile device join and load |
| US11182964B2 (en) | 2018-04-30 | 2021-11-23 | Apple Inc. | Tangibility visualization of virtual objects within a computer-generated reality environment |
| US12112015B2 (en) | 2018-05-07 | 2024-10-08 | Apple Inc. | Devices, methods, and graphical user interfaces for navigating between user interfaces, displaying a dock, and displaying system user interface elements |
| DK201870351A1 (en) | 2018-05-07 | 2020-01-13 | Apple Inc. | Devices and Methods for Measuring Using Augmented Reality |
| AU2019100486B4 (en) | 2018-05-07 | 2019-08-01 | Apple Inc. | Devices and methods for measuring using augmented reality |
| WO2019217148A1 (en) | 2018-05-07 | 2019-11-14 | Apple Inc. | Devices and methods for measuring using augmented reality |
| US10853946B2 (en) | 2018-05-18 | 2020-12-01 | Ebay Inc. | Physical object boundary detection techniques and systems |
| US10977868B2 (en) | 2018-06-29 | 2021-04-13 | Factualvr, Inc. | Remote collaboration methods and systems |
| US10896546B2 (en) | 2018-07-11 | 2021-01-19 | The Boeing Company | Augmented reality system with an active portable anchor |
| JP7338626B2 (ja) | 2018-07-20 | 2023-09-05 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
| TWI675583B (zh) | 2018-07-23 | 2019-10-21 | 緯創資通股份有限公司 | 擴增實境系統及其色彩補償方法 |
| EP3655928B1 (en) | 2018-09-26 | 2021-02-24 | Google LLC | Soft-occlusion for computer graphics rendering |
| US10785413B2 (en) | 2018-09-29 | 2020-09-22 | Apple Inc. | Devices, methods, and graphical user interfaces for depth-based annotation |
| US10679420B2 (en) | 2018-11-02 | 2020-06-09 | General Motors Llc | Augmented reality (AR) remote vehicle assistance |
| US11090561B2 (en) | 2019-02-15 | 2021-08-17 | Microsoft Technology Licensing, Llc | Aligning location for a shared augmented reality experience |
| CN111815755B (zh) | 2019-04-12 | 2023-06-30 | Oppo广东移动通信有限公司 | 虚拟物体被遮挡的区域确定方法、装置及终端设备 |
| US10999629B1 (en) * | 2019-04-23 | 2021-05-04 | Snap Inc. | Automated graphical image modification scaling based on rules |
| US10762716B1 (en) | 2019-05-06 | 2020-09-01 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying objects in 3D contexts |
| US11494953B2 (en) | 2019-07-01 | 2022-11-08 | Microsoft Technology Licensing, Llc | Adaptive user interface palette for augmented reality |
| US11941762B2 (en) | 2019-07-15 | 2024-03-26 | Samsung Electronics Co., Ltd. | System and method for augmented reality scenes |
| US11340756B2 (en) | 2019-09-27 | 2022-05-24 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| US11227446B2 (en) | 2019-09-27 | 2022-01-18 | Apple Inc. | Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality |
| US20210097776A1 (en) | 2019-09-28 | 2021-04-01 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments |
| JP7427929B2 (ja) | 2019-11-22 | 2024-02-06 | セイコーエプソン株式会社 | 情報処理装置、サービス提供システム、及び、情報処理装置の制御方法 |
| CN114762008A (zh) | 2019-12-09 | 2022-07-15 | 奇跃公司 | 简化的虚拟内容编程的交叉现实系统 |
| US11204678B1 (en) | 2019-12-11 | 2021-12-21 | Amazon Technologies, Inc. | User interfaces for object exploration in virtual reality environments |
| US11875013B2 (en) | 2019-12-23 | 2024-01-16 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments |
| KR102655481B1 (ko) | 2019-12-24 | 2024-04-08 | 엘지전자 주식회사 | Xr 컨텐트 제공 방법 및 디바이스 |
| EP4254147A3 (en) | 2020-02-03 | 2023-12-06 | Apple Inc. | Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments |
| US11080879B1 (en) | 2020-02-03 | 2021-08-03 | Apple Inc. | Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments |
| US20210286502A1 (en) | 2020-03-16 | 2021-09-16 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences |
| US11727650B2 (en) | 2020-03-17 | 2023-08-15 | Apple Inc. | Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments |
| US12032803B2 (en) | 2020-09-23 | 2024-07-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| US11615595B2 (en) | 2020-09-24 | 2023-03-28 | Apple Inc. | Systems, methods, and graphical user interfaces for sharing augmented reality environments |
| US11523063B2 (en) * | 2021-03-25 | 2022-12-06 | Microsoft Technology Licensing, Llc | Systems and methods for placing annotations in an augmented reality environment using a center-locked interface |
| WO2022225795A1 (en) | 2021-04-18 | 2022-10-27 | Apple Inc. | Systems, methods, and graphical user interfaces for adding effects in augmented reality environments |
| US11941764B2 (en) | 2021-04-18 | 2024-03-26 | Apple Inc. | Systems, methods, and graphical user interfaces for adding effects in augmented reality environments |
| US20230368458A1 (en) | 2022-05-10 | 2023-11-16 | Apple Inc. | Systems, Methods, and Graphical User Interfaces for Scanning and Modeling Environments |
| US20240273832A1 (en) | 2023-02-13 | 2024-08-15 | Apple Inc. | Systems, Methods, and Graphical User Interfaces for Applying Virtual Effects in Three-Dimensional Environments |
-
2019
- 2019-09-17 US US16/574,029 patent/US10785413B2/en active Active
- 2019-09-20 JP JP2021510765A patent/JP7072717B2/ja active Active
- 2019-09-20 KR KR1020237012345A patent/KR20230054747A/ko not_active Application Discontinuation
- 2019-09-20 KR KR1020217005584A patent/KR102522079B1/ko active IP Right Grant
- 2019-09-20 WO PCT/US2019/052140 patent/WO2020068580A1/en unknown
- 2019-09-20 CN CN201980056942.2A patent/CN112639970A/zh active Pending
- 2019-09-20 AU AU2019349408A patent/AU2019349408B2/en active Active
- 2019-09-20 CN CN202210540499.XA patent/CN114949841A/zh active Pending
- 2019-09-20 EP EP19783191.0A patent/EP3837684A1/en active Pending
- 2019-09-20 CN CN202110369762.9A patent/CN113223563B/zh active Active
-
2020
- 2020-08-19 US US16/997,860 patent/US11303812B2/en active Active
-
2022
- 2022-04-08 US US17/716,984 patent/US11632600B2/en active Active
- 2022-05-10 JP JP2022077644A patent/JP2022116018A/ja active Pending
- 2022-09-23 AU AU2022235625A patent/AU2022235625B2/en active Active
-
2023
- 2023-02-08 US US18/107,381 patent/US11818455B2/en active Active
- 2023-11-08 US US18/388,176 patent/US12131417B1/en active Active
-
2024
- 2024-02-26 JP JP2024026846A patent/JP2024073471A/ja active Pending
- 2024-07-09 AU AU2024204720A patent/AU2024204720A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011259243A (ja) | 2010-06-09 | 2011-12-22 | Nintendo Co Ltd | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 |
| WO2014162824A1 (ja) | 2013-04-04 | 2014-10-09 | ソニー株式会社 | 表示制御装置、表示制御方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US11632600B2 (en) | 2023-04-18 |
| US20200106965A1 (en) | 2020-04-02 |
| US20220239842A1 (en) | 2022-07-28 |
| AU2022235625B2 (en) | 2024-04-11 |
| US20230199296A1 (en) | 2023-06-22 |
| US10785413B2 (en) | 2020-09-22 |
| EP3837684A1 (en) | 2021-06-23 |
| KR20210038619A (ko) | 2021-04-07 |
| AU2024204720A1 (en) | 2024-07-25 |
| WO2020068580A1 (en) | 2020-04-02 |
| JP2022116018A (ja) | 2022-08-09 |
| US20200382718A1 (en) | 2020-12-03 |
| JP2021536058A (ja) | 2021-12-23 |
| AU2022235625A1 (en) | 2022-10-20 |
| US11818455B2 (en) | 2023-11-14 |
| AU2019349408A1 (en) | 2021-03-18 |
| US11303812B2 (en) | 2022-04-12 |
| AU2019349408B2 (en) | 2022-08-18 |
| CN114949841A (zh) | 2022-08-30 |
| CN113223563A (zh) | 2021-08-06 |
| CN112639970A (zh) | 2021-04-09 |
| KR20230054747A (ko) | 2023-04-25 |
| CN113223563B (zh) | 2022-03-29 |
| US12131417B1 (en) | 2024-10-29 |
| KR102522079B1 (ko) | 2023-04-14 |
| JP2024073471A (ja) | 2024-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7072717B2 (ja) | 奥行きベースの注釈のためのデバイス、方法、およびグラフィカルユーザインターフェース | |
| JP7223830B2 (ja) | 複数の表示モードを有するメディアアイテムをナビゲート、表示、及び編集するためのデバイス、方法、及びグラフィカルユーザインタフェース | |
| EP3743798A2 (en) | Devices, methods, and graphical user interfaces for system-wide behavior for 3d models | |
| CN110851053A (zh) | 用于3d模型的系统级行为的设备、方法和图形用户界面 | |
| AU2019101597A4 (en) | Devices, methods, and graphical user interfaces for system-wide behavior for 3D models | |
| US20240053859A1 (en) | Systems, Methods, and Graphical User Interfaces for Interacting with Virtual Reality Environments | |
| KR102666508B1 (ko) | 3d 모델들에 대한 시스템 전체 거동을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
| JP2024156710A (ja) | 奥行きベースの注釈のためのデバイス、方法、およびグラフィカルユーザインターフェース |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210305 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210305 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220420 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220425 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220510 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7072717 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |