JP7503542B2 - 任意の場所における場所特有の仮想コンテンツのレンダリング - Google Patents

任意の場所における場所特有の仮想コンテンツのレンダリング Download PDF

Info

Publication number
JP7503542B2
JP7503542B2 JP2021518536A JP2021518536A JP7503542B2 JP 7503542 B2 JP7503542 B2 JP 7503542B2 JP 2021518536 A JP2021518536 A JP 2021518536A JP 2021518536 A JP2021518536 A JP 2021518536A JP 7503542 B2 JP7503542 B2 JP 7503542B2
Authority
JP
Japan
Prior art keywords
user
scene
saved
virtual
virtual content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021518536A
Other languages
English (en)
Other versions
JPWO2020072985A5 (ja
JP2022512600A (ja
Inventor
ジョナサン ブロツキー，
ハビエル アントニオ ブスト，
マーティン ウィルキンス スミス，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2022512600A publication Critical patent/JP2022512600A/ja
Publication of JPWO2020072985A5 publication Critical patent/JPWO2020072985A5/ja
Priority to JP2024093652A priority Critical patent/JP2024113153A/ja
Application granted granted Critical
Publication of JP7503542B2 publication Critical patent/JP7503542B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

（関連出願の相互参照）
本願は、参照することによってその全体として本願に組み込まれる、２０１８年１０月５日に出願され、「ＲＥＮＤＥＲＩＮＧ ＬＯＣＡＴＩＯＮ ＳＰＥＣＩＦＩＣ ＶＩＲＴＵＡＬ ＣＯＮＴＥＮＴ ＩＮ ＡＮＹ ＬＯＣＡＴＩＯＮ」と題された、米国仮特許出願第６２／７４２，０６１号の利益を３５ Ｕ．Ｓ．Ｃ． § １１９の下で主張する。
本開示は、仮想現実および拡張現実結像および可視化システムに関し、より具体的には、３次元（３Ｄ）空間内の仮想オブジェクトを自動的に再位置付けすることに関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式で、ユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実、すなわち、「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生産するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然な感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術を生産することは、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。
任意の場所で仮想コンテンツをレンダリングするための拡張現実システムの種々の実施形態が、説明される。
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および下記の説明に記載される。他の特徴、側面、および利点も、説明、図面、および請求項から明白となるであろう。本概要または以下の詳細な説明のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本発明は、例えば、以下を提供する。
（項目１）
物理的世界に関連してユーザに現れるようにレンダリングするために構成される仮想コンテンツを備える前記ユーザのための環境を維持するタイプの複合現実システムを動作させる方法であって、前記方法は、少なくとも１つのプロセッサを用いて、
前記環境内の仮想コンテンツを選択することと、
保存された場面データを不揮発性コンピュータ記憶媒体内に記憶することであって、前記保存された場面データは、
前記選択された仮想コンテンツを表すデータと、
保存された場面アンカノードに対する前記選択された仮想コンテンツの位置を示す位置情報と
を備える、ことと
を含む、方法。
（項目２）
前記複合現実システムは、前記物理的世界内のオブジェクトに基づいて、１つ以上の座標フレームを識別し、
前記方法はさらに、前記１つ以上の識別された座標フレームのうちの１つに前記保存された場面アンカノードを設置することを含む、
項目１に記載の複合現実システムを動作させる方法。
（項目３）
前記環境内の仮想コンテンツを選択することは、
表示エリアを備えるカメラアイコンを選択するユーザ入力を受信することと、
前記表示エリア内で、前記環境の一部内の仮想コンテンツの表現をレダリングすることと、
前記環境の一部内の少なくとも仮想コンテンツを表す保存された場面データを生成することと
を含む、項目１に記載の複合現実システムを動作させる方法。
（項目４）
ユーザ入力に基づいて、前記環境内の前記カメラアイコンの位置または配向を変化させることと、
前記カメラアイコンの位置および配向に基づいて、前記表示エリア内にレンダリングされる前記仮想コンテンツを動的に更新することと
をさらに含む、項目３に記載の複合現実システムを動作させる方法。
（項目５）
前記方法はさらに、ユーザ入力に基づいて、前記表示内にレンダリングされる仮想コンテンツを表す画像を捕捉することを含み、
仮想コンテンツを選択することは、前記捕捉された画像に表される前記仮想コンテンツを選択することを含む、
項目４に記載の複合現実システムを動作させる方法。
（項目６）
開くために利用可能な保存された場面のメニュー内で、前記保存された場面データと関連付けられるアイコンを生成することをさらに含み、前記アイコンは、前記捕捉された画像を備える、項目５に記載の複合現実システムを動作させる方法。
（項目７）
前記環境の一部内の少なくとも仮想コンテンツを表す保存された場面データを生成することは、ユーザ入力に基づいてトリガされる、項目３に記載の複合現実システムを動作させる方法。
（項目８）
前記環境の一部内の少なくとも仮想コンテンツを表す保存された場面データを生成することは、場面が前記表示エリア内でフレームに入れられていることを検出することに基づいて、自動的にトリガされる、項目３に記載の複合現実システムを動作させる方法。
（項目９）
前記環境内の仮想コンテンツを選択することは、前記ユーザの視野内の仮想オブジェクトを選択することを含む、項目１に記載の複合現実システムを動作させる方法。
（項目１０）
前記環境内の仮想コンテンツを選択することは、前記ユーザの動眼視野内の仮想オブジェクトを選択することを含む、項目１に記載の複合現実システムを動作させる方法。
（項目１１）
前記方法はさらに、前記環境内に包含するための複数の事前構築されたサブコンポーネントを示すユーザ入力を受信することによって、前記環境内の場面を作成することを含み、
前記環境内の仮想コンテンツを選択することは、前記場面の少なくとも一部を示すユーザ入力を受信することを含む、
項目１に記載の複合現実システムを動作させる方法。
（項目１２）
前記環境内の仮想コンテンツを選択することは、
前記環境の少なくとも一部を示すユーザ入力を受信することと、
前記環境内の１つ以上の物理的オブジェクトの仮想表現を算出することと
を含む、項目１に記載の複合現実システムを動作させる方法。
（項目１３）
仮想コンテンツを備えるユーザのための環境を維持するように、かつ物理的世界に関連して前記ユーザに現れるようにディスプレイデバイス上で前記コンテンツをレンダリングするように構成される複合現実システムであって、前記システムは、
少なくとも１つのプロセッサと、
不揮発性コンピュータ記憶媒体と、
コンピュータ実行可能命令を伴ってエンコードされた非一過性のコンピュータ可読媒体であって、前記コンピュータ実行可能命令は、前記少なくとも１つのプロセッサによって実行されると、
前記環境内の仮想コンテンツを選択することと、
保存された場面データを前記不揮発性コンピュータ記憶媒体内に記憶することであって、前記保存された場面データは、
前記選択された仮想コンテンツを表すデータと、
保存された場面アンカノードに対する前記選択された仮想コンテンツの位置を示す位置情報と
を備える、ことと
を行う、非一過性のコンピュータ可読媒体と
を備える、システム。
（項目１４）
前記複合現実システムはさらに、前記物理的世界についての情報を入手するように構成される１つ以上のセンサを備え、
前記コンピュータ実行可能命令はさらに、
前記入手された情報に基づいて、１つ以上の座標フレームを識別することと、
前記１つ以上の識別された座標フレームのうちの１つに前記保存された場面アンカノードを設置することと
を行うように構成される、項目１３に記載の複合現実システム。
（項目１５）
前記環境内の仮想コンテンツを選択することは、
表示エリアを備えるカメラアイコンを選択するユーザ入力を受信することと、
前記表示エリア内で、前記環境の一部内の仮想コンテンツの表現をレダリングすることと、
前記環境の一部内の少なくとも仮想コンテンツを表す保存された場面データを生成することと
を含む、項目１３に記載の複合現実システム。
（項目１６）
前記コンピュータ実行可能命令はさらに、
ユーザ入力に基づいて、前記環境内の前記カメラアイコンの位置または配向を変化させることと、
前記カメラアイコンの位置および配向に基づいて、前記表示エリア内にレンダリングされる前記仮想コンテンツを動的に更新することと
を行うように構成される、項目１３に記載の複合現実システム。
（項目１７）
前記コンピュータ実行可能命令はさらに、ユーザ入力に基づいて、前記表示内にレンダリングされる仮想コンテンツを表す画像を捕捉するように構成され、
仮想コンテンツを選択することは、前記捕捉された画像に表される前記仮想コンテンツを選択することを含む、
項目１６に記載の複合現実システム。
（項目１８）
前記コンピュータ実行可能命令はさらに、開くために利用可能な保存された場面のメニュー内で、前記保存された場面データと関連付けられるアイコンを生成するように構成され、前記アイコンは、前記捕捉された画像を備える、項目１７に記載の複合現実システム。
（項目１９）
前記環境の一部内の少なくとも仮想コンテンツを表す保存された場面データを生成することは、ユーザ入力に基づいてトリガされる、項目１５に記載の複合現実システム。
（項目２０）
前記環境の一部内の少なくとも仮想コンテンツを表す保存された場面データを生成することは、場面が前記表示エリア内でフレームに入れられていることを検出することに基づいて、自動的にトリガされる、項目１５に記載の複合現実システム。
（項目２１）
複合現実システムであって、
物理的世界を視認するユーザに仮想コンテンツをレンダリングするように構成されるディスプレイと、
少なくとも１つのプロセッサと、
コンピュータ実行可能命令を記憶するコンピュータメモリであって、前記コンピュータ実行可能命令は、前記少なくとも１つのプロセッサによって実行されると、
保存された場面ライブラリの中の保存された場面を選択する前記ユーザからの入力を受信することであって、各保存された場面は、仮想コンテンツを備える、ことと、
前記ユーザの視野内で前記物理的世界内のオブジェクトに対する前記仮想コンテンツの場所を決定することと、
前記ディスプレイを制御し、前記決定された場所で前記仮想コンテンツをレンダリングすることと
を行うように構成される、コンピュータメモリと
を備える、複合現実システム。
（項目２２）
前記システムは、ネットワークインターフェースを備え、
前記コンピュータ実行可能命令は、前記ネットワークインターフェースを介して、遠隔サーバから前記仮想コンテンツを読み出すように構成される、
項目２１に記載の複合現実システム。
（項目２３）
前記システムは、ネットワークインターフェースを備え、
前記コンピュータ実行可能命令は、前記ディスプレイを制御し、前記保存された場面ライブラリの中の保存された場面を表す複数のアイコンを備えるメニューをレンダリングするように構成され、
前記保存された場面を選択する前記ユーザからの入力を受信することは、前記複数のアイコンのうちのアイコンのユーザ選択を備える、
項目２１に記載の複合現実システム。
（項目２４）
前記コンピュータ実行可能命令はさらに、前記少なくとも１つのプロセッサによって実行されると、仮想ユーザインターフェースをレンダリングするように構成され、
前記ユーザからの入力を受信するように構成される前記コンピュータ実行可能命令は、前記仮想ユーザインターフェースを介してユーザ入力を受信するように構成される、
項目２１に記載の複合現実システム。
（項目２５）
前記コンピュータ実行可能命令はさらに、前記少なくとも１つのプロセッサによって実行されると、前記ライブラリの中の保存された場面を表す複数のアイコンのメニューを備える仮想ユーザインターフェースをレンダリングするように構成され、
保存された場面ライブラリの中の保存された場面を選択する前記ユーザからの入力を受信することは、仮想インターフェースを介してユーザ入力を受信することを含み、前記ユーザ入力は、前記メニュー内のアイコンを選択し、移動させる、
項目２１に記載の複合現実システム。
（項目２６）
前記コンピュータ実行可能命令は、視覚アンカノードを移動させ、前記視覚アンカノードの位置によって示される場所において前記場面のプレビュー表現を表示するユーザ入力に基づいて、前記ユーザの視野内で物理的世界内のオブジェクトに対する前記仮想コンテンツの場所を決定するように構成され、
前記コンピュータ実行可能命令はさらに、ユーザ入力に応答して、前記場面のプレビュー表現を、前記プレビュー表現内のオブジェクトに対応するが、それと異なる外観および性質を有する仮想オブジェクトと置換するように構成される、
項目２１に記載の複合現実システム。
図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。
図２は、ウェアラブルシステムの実施例を図式的に図示する。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。
図５は、導波管によって出力され得る、例示的出射ビームを示す。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。
図７は、ウェアラブルシステムの実施例のブロック図である。
図８は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。
図９は、ウェアラブルシステムの別の実施例のブロック図である。
図１０は、ウェアラブルシステムへのユーザ入力を決定するための方法の実施例のプロセスフロー図である。
図１１は、仮想ユーザインターフェースと相互作用するための方法の実施例のプロセスフロー図である。
図１２は、本明細書に説明されるシステムおよび方法を使用する、ユーザ相互作用の例示的プロセス１２００を図示する。
図１３Ａは、本明細書に説明されるシステムおよび方法を使用して、場面を保存するための例示的プロセス１３００ａを図示する。
図１３Ｂは、本明細書に説明されるシステムおよび方法を使用して、フレームに入れられた場面をレンダリングするための例示的プロセス１３００ｂを図示する。
図１４は、本明細書に説明されるシステムおよび方法を使用して、場面をロードするための例示的プロセス１４００を図示する。
図１５は、本明細書に説明されるシステムおよび方法を使用して、場面をロードするための例示的プロセス１５００を図示する。
図１６は、本明細書に説明されるシステムおよび方法を使用して、場面をロードするための例示的プロセス１６００を図示する。
図１７は、捕捉された深度マップの複数のフレームを使用して、場面の３Ｄメッシュを作成するための方法を図示する、簡略化されたフローチャートを図示する。
図１８は、場面に組み込むための事前構築された仮想オブジェクトのメニューを拡張現実システムのユーザに提示する、例示的ユーザインターフェースのスケッチである。
図１９は、仮想カメラを選択するためのアイコン、およびユーザの環境内で開かれるために利用可能な保存された場面のメニューを拡張現実システムのユーザに提示する、例示的ユーザインターフェースのスケッチである。
図２０は、ユーザがメニューから選択される保存された場面アイコンを移動させることを図示する、図１９の例示的ユーザインターフェースの一部のスケッチである。
図２１Ａは、ユーザが、プレビューモードで示される保存された場面オブジェクトとそれを関連付けた、視覚アンカノードを移動させるための入力を提供している、拡張現実システムの例示的ユーザ環境の一部のスケッチである。
図２１Ｂは、保存された場面のロードを示すように、ユーザがロードアイコンを選択するための入力を提供している、図２１Ａの例示的ユーザ環境の一部のスケッチである。
図２１Ｃは、ユーザがロードアイコンを選択した後の図２１Ｂの例示的ユーザ環境の一部、および視覚アンカノードの規定位置によって示される場所における保存された場面オブジェクトの完全インスタンス化を示すように、ユーザがロードアイコンを選択するための入力を提供している、視覚アンカノードと関連付けられる、保存された場面オブジェクトのスケッチである。
図面の全体を通して、参照番号が、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図していない。
（概要）
ＡＲ／ＭＲ環境では、ユーザが、新しい仮想オブジェクトを作成、構築、および／または設計することを所望し得る。ユーザは、作業プロジェクトのためのプロトタイプを作成する必要がある技師であり得る、またはユーザは、複雑なＬＥＧＯ（登録商標）キットおよびパズルの中の物理的要素を用いて構築し得る人物等の遊びで構築および作成することを楽しむ１０代の高校生であり得る。いくつかの状況では、ユーザは、例えば、数日、数ヶ月、または数年にさえもわたって、構築するためにしばらく時間がかかり得る、複雑な構造を伴う仮想オブジェクトを構築する必要があり得る。いくつかの実施形態では、複雑な構造を伴う仮想オブジェクトは、異なる方法で配列または使用される繰り返しコンポーネントを備えてもよい。結果として、ユーザが、時として、事前構築されたサブコンポーネントから、コンポーネントを構築し、構築されたコンポーネントのうちの１つ以上のものを別個の保存された場面として保存し、次いで、１つ以上の前もって保存された場面を利用して種々の設計を構築することを所望し得る、状況が存在する。
例えば、ユーザは、ＡＲ／ＭＲウェアラブルデバイスを利用して、造園設計を作成することを所望し得る。ウェアラブルデバイスは、種々のタイプの木（例えば、松の木、オークの木）、花（例えば、グラジオラス、ヒマワリ等）、および種々の他の植物（例えば、低木、蔓植物等）等の事前構築されたサブコンポーネントを記憶する、またはそれにアクセスし得る、アプリケーションをダウンロードさせてもよい。造園設計者は、体験を通して、ある植物の取り合わせが良いことを認識し得る。造園設計者は、ＡＲ／ＭＲウェアラブルデバイス上のアプリケーションを利用し、植物のこれらの公知の好ましい組み合わせを備える、構築されたコンポーネントを作成し得る。一実施例として、構築されたコンポーネントは、例えば、ラズベリーの植木、チューリップの植木、およびクローバー、または任意の他の好適な混植配列を備えてもよい。１つ以上の構築されたコンポーネントを形成するように組み合わせられる、１つ以上の事前加工されたサブコンポーネントを備える、１つ以上の場面を保存した後、造園設計者は、次いで、自宅のための完全な造園設計を作成することを所望し得る。造園設計は、１つ以上の保存された場面、および／または１つ以上の構築されたコンポーネント、および／または１つ以上の事前構築されたサブコンポーネントを備えてもよい。造園設計は、保存された場面を利用することによって、造園設計者が事前構築されたサブコンポーネントのみを用いて開始した場合よりも迅速かつ容易に設計され得る。
保存された場面はまた、より柔軟な設計オプションも可能にし得る。例えば、いくつかのアプリケーションは、ユーザが、設計者が必要とするよりも複雑である、またはそれほど複雑ではない場合がある、事前構築されたサブコンポーネントから選定することのみを可能にし得る。構築されたコンポーネントを保存する能力は、より少ない事前構築されたサブコンポーネントが要求され得るため、オリジナルのダウンロードされたアプリケーションが、構築されたコンポーネントを保存することを可能にしないアプリケーションよりもサイズがより小さくなることを可能にし得る。
いくつかの実施形態では、アプリケーションは、ユーザが、１つの場所で設計を作成し、次いで、後の時間に正確に同一の場所で保存された設計を再び開くことを可能にし得る。いくつかの実施形態では、アプリケーションは、ユーザが、１つの場所で設計を作成し、次いで、実世界内の任意の他の場所で保存された設計を再び開くことを可能にし得る。例えば、これは、ユーザが、自分のオフィスで設計を作成し、次いで、会議室で会議の間にプレゼンテーションのために設計を再び開くことを可能にし得る。
しかしながら、いくつかのアプリケーションは、実世界内の具体的場所で保存された設計を再び開くことのみを可能にし得、これは、ユーザのオフィスで設計を作成し得るが、会議室で設計を共有する必要があるユーザにとって問題であり得る。具体的場所で保存された設計を再び開くことのみを可能にするシステムでは、実世界場所が、もはや利用可能ではなくなる（例えば、ユーザのオフィスビルが全焼する）場合、保存された設計は、その特定の場所に依存する（例えば、第２の場所に存在しない、または異なる特性を有する、実世界オブジェクトに対してデジタルで係留または設置されるオブジェクトを備え得る）ため、もはやアクセス可能ではなくなる。加えて、ユーザが、例えば、セッションあたり１回または１部屋あたり１回、保存された設計を再び開くことのみを可能にするシステムは、ユーザの必要性を満たさない場合がある。例えば、ユーザは、同時にいくつかの視点から会議の間にユーザの設計を提示することを所望し得、したがって、保存された設計の複数のコピーを会議室にロードすることを所望し得る。
本願のシステムおよび方法は、これらの問題を解決する。そのようなシステムは、例えば、ユーザが拡張現実環境で知覚するものに基づいて、ユーザが仮想コンテンツを規定することを可能にし得る。本システムは、次いで、その仮想コンテンツのデジタル表現を場面として保存してもよい。後の時間に、ユーザは、保存された場面を開くように、同一または可能性として異なる拡張現実システムに命令してもよい。その拡張現実システムは、保存された場面を開くことの一環として、場面が開かれるユーザが、次いで、仮想コンテンツを知覚し得るように、拡張現実システムのユーザのための複合現実環境の中に保存された場面の仮想コンテンツを組み込んでもよい。
場面が、いくつかの実施形態では、事前構築されたサブコンポーネントの組み合わせを規定することによって構築され得る、複数の構築されたコンポーネントから組み立てられてもよい。構築されたコンポーネントは、任意の複雑性であり得、例えば、前もって保存された場面でさえあってもよい。さらに、構築されたコンポーネントは、事前構築されたサブコンポーネントから組み立てられる必要がない。コンポーネントはまた、拡張現実システムによって供給されるツールを使用して構築されてもよい。一実施例として、本システムは、拡張現実システムのセンサを用いて収集される物理的オブジェクトについてのデータを処理し、その物理的オブジェクトのデジタル表現を形成してもよい。本デジタル表現は、物理的オブジェクトの表現をレンダリングし、したがって、仮想オブジェクトとしての役割を果たすために使用されてもよい。さらに、保存されるべき場面が、複数の構築されたコンポーネントまたは複数の事前構築されたサブコンポーネントさえも有することは、要件ではない。場面は、単一のコンポーネントを有してもよい。したがって、場面を保存すること、または開くことの説明は、任意のレベルの複雑性で、任意のソースからの仮想コンテンツの操作を指すことを理解されたい。
保存された場面は、保存された場面のための少なくとも１つの保存された場面アンカノード（例えば、空間内の座標系において保存された場面を表し得る、階層データ構造内の親ノード）を備えてもよい。場面の仮想コンテンツは、いったん保存された場面アンカノードの場所が、拡張現実システムのユーザの環境内に確立されると、場面の仮想コンテンツのその環境内の場所が、システムによって決定され得るように、保存された場面アンカノードに対して確立された空間関係を有してもよい。本場所情報を使用して、本システムは、場面の仮想コンテンツをそのユーザにレンダリングしてもよい。拡張現実システムのユーザの環境内の保存された場面の仮想コンテンツの場所は、例えば、ユーザの環境内の場所を表す、視覚アンカノードを位置付けるユーザ入力によって決定されてもよい。ユーザは、拡張現実システムの仮想ユーザインターフェースを通して、視覚アンカノードの場所を操作してもよい。保存された場面の仮想コンテンツは、視覚アンカノードと整合される保存された場面アンカノードを伴ってレンダリングされてもよい。
いくつかのシナリオでは、保存された場面アンカノードは、物理的世界内の固定された場所に対応し得、保存された場面は、場面の保存に応じて有していたその場所に対して同一の位置を有する、場面の仮想コンテンツを伴って再び開かれてもよい。その場合、ユーザは、場面が開かれるときに、物理的世界内のその固定された場所が、ユーザの環境内にある場合に、場面を体験し得る。そのようなシナリオでは、保存された場面アンカノードは、経時的にあまり変化しない、全く変化しない、または低頻度で変化する、実世界に存在するオブジェクトから導出される座標フレームを伴う点であり得る、持続的座標フレーム（ＰＣＦ）を備えてもよい。保存された場面アンカノードと関連付けられる本場所は、保存されたＰＣＦによって表され得る。保存されたＰＣＦは、保存された場面が保存されたときにレンダリングされた空間内の正確な同一の場所で、保存された場面がレンダリングされるように、保存された場面を再び開くために、利用されてもよい。
代替として、拡張現実システムが保存された場面のコンテンツをユーザにレンダリングし得る、物理的世界内の場所は、固定されない場合がある。場所は、ユーザ入力に、または場面が開かれるときのユーザの周辺に依存し得る。例えば、ユーザが、異なる場所で保存された場面を開く必要がある場合、ユーザは、適宜、１つまたは複数の調節可能な視覚アンカノードを利用することによって、そうすることができる。
代替として、または加えて、本システムは、固定された場所がその環境内またはその視野内にある間に、保存された場面がユーザのために再び開かれる場合、その固定された場所に保存された場面の仮想コンテンツを条件付きで位置付けてもよい。該当しない場合、本システムは、ユーザインターフェースを提供してもよく、それを通して、ユーザは、保存された場面の仮想コンテンツが位置することになる場所を示す入力を提供し得る。本システムは、ユーザに最も近いＰＣＦ（現在のＰＣＦ）を識別することによって、これを遂行し得る。現在のＰＣＦが、保存されたＰＣＦに合致する場合、本システムは、ＰＣＦに対して固定された空間構成で保存された場面の仮想オブジェクトを設置することによって、保存された場面が保存されたときと正確な同一の場所に保存された場面の仮想コンテンツを伴って、保存された場面を再び開いてもよい。現在のＰＣＦが、保存されたＰＣＦに合致しない場合、本システムは、デフォルト場所に、またはユーザによって選定される場所に、保存された場面をプレビュー設置してもよい。プレビュー設置に基づいて、ユーザまたはシステムは、保存された場面全体を所望の場所に移動させ、場面をインスタンス化するようにシステムに伝えてもよい。いくつかの実施形態では、保存された場面は、保存された場面のいくつかの詳細または機能が欠けている、プレビュー形式でデフォルト場所においてレンダリングされてもよい。場面をインスタンス化するステップは、全ての視覚、物理、および他の保存された場面データを含む、完全な保存された場面をユーザにレンダリングするステップを含んでもよい。
当業者は、構築されたサブコンポーネントを保存するためのプロセスおよび場面を保存するための別個のプロセスを作成することによって、場面を保存することの問題に取り組み得る。本願に説明されるような例示的システムは、２つのプロセスをマージし、単一のユーザ相互作用を提供してもよい。これは、コンピュータ動作の利益を有する。例えば、２つのプロセスの代わりに単一のプロセスを書いて管理することが、信頼性を改良し得る。加えて、プロセッサは、２つ以上のプロセスにアクセスし、それらを切り替える代わりに、１つのプログラムにアクセスする必要のみがあるため、プロセッサは、より速く動作することが可能であり得る。加えて、ユーザが２つ以上の相互作用の代わりに１つの相互作用を習得する必要のみがあるという点で、ユーザにとって有用性の利益が存在し得る。
ユーザが、場面を保存することなく、１つの部屋でいくつかの仮想オブジェクト、例えば、ユーザのオフィスで２０個の異なる仮想オブジェクトを視認することを所望する場合、本システムは、実世界に対して２０個の異なるオブジェクト場所を追跡する必要があろう。本願のシステムおよび方法の１つの利益は、２０個全ての仮想オブジェクトが、単一の保存された場面アンカノード（例えば、ＰＣＦ）のみが追跡される必要があろう（２０個のオブジェクトが、世界に対してではなく、ＰＣＦに対して設置され、より少ない算出を要求し得る）、単一の場面の中に保存され得ることである。これは、より少ない算出というコンピュータ動作の利益を有し得、これは、より少ないバッテリ使用、または処理の間に生成されるより少ない熱につながり得る、および／またはアプリケーションがより小型のプロセッサ上で起動することを可能にし得る。
開示されるシステムおよび方法は、複数の異なる状況のそれぞれにおいて単一のユーザ相互作用を作成することによって、アプリケーション内で場面を保存する、および／または再び開くための単純で容易な統一されたユーザ体験を可能にし得る。場面を再び開くステップは、場面をロードおよび／またはインスタンス化するステップを含んでもよい。ユーザが同一の相互作用を用いて場面を再び開き得る、状況の３つの実施例は、以下である。状況１では、ユーザは、場面が保存された（例えば、保存されたＰＣＦが現在のＰＣＦに合致する）、正確な同一の場所および環境に現れるように、保存された場面を再び開くことを所望し得る。状況２では、ユーザは、場面が保存されたが、環境が異なる（例えば、保存されたＰＣＦが現在のＰＣＦに合致するが、物理的環境を説明するデジタルメッシュが変化した）、正確な同一の場所に現れるように、保存された場面を再び開くことを所望し得る。例えば、ユーザは、勤務中にユーザのオフィスで保存された場面を保存し、再び開き得るが、ユーザは、余分なテーブルをオフィスに追加している場合がある。状況３では、ユーザは、場面が保存されたものと異なる環境（例えば、保存されたＰＣＦが現在のＰＣＦに合致せず、保存された世界メッシュが現在の世界メッシュに合致しない）を備える、異なる場所に現れるように、保存された場面を再び開くことを所望し得る。
状況にかかわらず、ユーザは、複数の状況のそれぞれで利用可能である制御を用いて、同一のユーザインターフェースを通してシステムと相互作用してもよい。ユーザインターフェースは、例えば、制御がユーザに可視であるアイコンと関連付けられ、ユーザがアイコンの選択を示すアクションを講じることによって制御をアクティブ化する、グラフィカルユーザインターフェースであってもよい。場面を保存するために、例えば、ユーザは、カメラアイコン（１９００、図１９）を選択し、場面をフレームに入れ、次いで、画像を捕捉してもよい。
状況にかかわらず、場面をロードするために、ユーザは、例えば、アイコン１９１０（図１９）等の保存された場面アイコンを選択してもよい。ユーザは、ユーザメニュー（保存された場面のプレビューを作成し得る）から保存された場面アイコンを引き出してもよく、その実施例が、図１９および２０に図示される。ユーザは、次いで、保存された場面アイコン（保存された場面オブジェクトに対して視覚アンカノードを設置し得る）を解放してもよい。ユーザは、随意に、実世界に対して保存された場面を移動させるために、視覚アンカノードを移動させ、次いで、場面（完全な保存された場面データをレンダリングパイプラインの中に送信し得る）をインスタンス化してもよい。
当業者は、３つの異なる問題として３つの状況に取り組み得、３つの別個のソリューション（例えば、プログラム）およびユーザ相互作用を作成し、それらの問題を解決するであろう。本願のシステムおよび方法は、単一のプログラムを用いてこれらの３つの問題を解決する。これは、コンピュータ動作の利益を有する。例えば、２つのプロセスの代わりに単一のプロセスを書いて管理することが、信頼性を改良する。加えて、プロセッサは、複数のプロセスを切り替える代わりに、１つのプログラムにアクセスする必要のみがあるため、プロセッサは、より速く動作することができる。本システムが、実世界内の単一の点（例えば、アンカノード）を追跡する必要のみがあるため、付加的なコンピュータ動作の利益が、提供される。
（ウェアラブルシステムの３Ｄディスプレイの実施例）
ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するように構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムは、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイスを含むことができる。ウェアラブルデバイスは、ＡＲデバイス（ＡＲＤ）と同義的に使用される、頭部搭載型デバイス（ＨＭＤ）であることができる。さらに、本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」と同義的に使用される。
図１は、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、ＭＲシステムを使用する人物によって視認されるような複合現実シナリオの例証を描写する。図１は、ＭＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える、ＭＲ場面１００を描写する。これらのアイテムに加えて、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生産するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図２は、ウェアラブルシステム２００の実施例を図示する。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、フレーム２３０に結合されてもよく、これは、ユーザ、装着者、または視認者２１０によって装着可能である。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示することができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイを備えることができる。いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイ２２０は、音声認識を実施すべき環境からオーディオストリームを検出するためのオーディオセンサ（例えば、マイクロホン）を含むことができる。
ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに向いた結像システム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡し得る、内向きに向いた結像システム４６２（図４に示される）を含むこともできる。内向きに向いた結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡してもよい。内向きに向いた結像システム４６２は、フレーム２３０に取り付けられてもよく、内向きに向いた結像システムによって入手された画像情報を処理し、例えば、ユーザ２１０の眼の瞳孔直径または配向、眼移動、または眼姿勢を決定し得る、処理モジュール２６０または２７０と電気通信してもよい。
実施例として、ウェアラブルシステム２００は、外向きに向いた結像システム４６４または内向きに向いた結像システム４６２を使用して、ユーザの姿勢を明らかにする画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオ、またはそのような情報源または他の同様の情報源の任意の組み合わせであってもよい。
ディスプレイ２２０は、有線導線または無線コネクティビティ等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合されることができる（２５０）。
ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、（ａ）画像捕捉デバイス（例えば、内向きに向いた結像システムおよび／または外向きに向いた結像システム内のカメラ）、オーディオセンサ（例えば、マイクロホン）、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、または（ｂ）可能性として処理または読出後にディスプレイ２２０への通過のために、遠隔処理モジュール２７０または遠隔データリポジトリ２８０を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク２６２または２６４によって、遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。
いくつかの実施形態では、遠隔処理モジュール２７０は、データまたは画像情報を分析および処理するように構成される、１つ以上のプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。いずれの特定の理論によっても限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動と遠近調節の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動（すなわち、眼の視線を収束させ、オブジェクトを固視するための相互に向かった、またはそこから離れる瞳孔の回転移動）は、眼の水晶体の合焦（または「遠近調節」）と密接に関連付けられる。通常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼の水晶体の焦点の変化または眼の遠近調節は、「遠近調節－輻輳・開散運動反射（ａｃｃｏｍｍｏｄａｔｉｏｎ－ｖｅｒｇｅｎｃｅ ｒｅｆｌｅｘ）」として知られる関係下、同一距離への輻輳・開散運動の合致する変化を自動的に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムが、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図３を参照すると、ｚ－軸上の眼３０２および３０４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼３０２および３０４によって遠近調節される。眼３０２および３０４は、特定の遠近調節された状態をとり、オブジェクトをｚ－軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるときに合焦するように、関連付けられた焦点距離を有する、深度平面３０６のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像が、眼３０２および３０４毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるものとして示されるが、眼３０２および３０４の視野は、例えば、ｚ－軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるものとして示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態における眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供し得ると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。
（導波管スタックアセンブリ）
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応し得、図４は、ウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。
図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管の間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層または構造）。
導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂ、または複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されるコリメートされたビームの場全体を出力してもよい。
いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中への投入のための画像情報をそれぞれ生産する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、１つ以上の光学導管（光ファイバケーブル等）を介して、画像情報を画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一の一体型デバイス、または有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０または２７０（図２に図示される）の一部であってもよい。
導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要上部表面および主要底部表面およびそれらの主要上部表面と主要底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、各個別の導波管内で伝搬する光を導波管から外に再指向し、画像情報を眼４１０に出力することによって、光を導波管から外に抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部主要表面または底部主要表面に配置されてもよく、または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、材料のモノリシック片であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料片の表面上および／または内部に形成されてもよい。
図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の上方の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を作成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の導波管４３６ｂから生じる光が次の上方の導波管４３４ｂからの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を作成するように構成されてもよい。
他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成され、スタック内の最高導波管４４０ｂが、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的ではないまたは電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、導波管と関連付けられる特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられる深度平面を有する導波管は、関連付けられる深度平面に応じて、異なる量の発散を伴って光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、立体ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴または「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみが、ＤＯＥの各交差部で眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割されることができ、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一なパターンの出射放出となる。
いくつかの実施形態では、１つ以上のＤＯＥは、それらが能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であり得る。例えば、切替可能なＤＯＥは、微小液滴がホスト媒体内に回折パターンを備える、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料の屈折率に実質的に合致するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。
いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動され得る。被写界深度は、視認者の瞳孔サイズと反比例して変化し得る。結果として、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間された深度平面の数は、減少された瞳孔サイズに伴って減少され得る。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節することなく、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させることなく、別の瞳孔サイズにおいてユーザにとって十分に合焦し得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび／または配向の決定に基づいて、または特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられる２つの深度平面間を区別不能である場合、コントローラ４６０（ローカル処理およびデータモジュール２６０の実施形態であり得る）は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされることができる。有利なこととして、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンとオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム４００は、世界４７０の一部を結像する、外向きに向いた結像システム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、世界カメラの視野（ＦＯＶ）と称され得、結像システム４６４は、時として、ＦＯＶカメラとも称される。視認者による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚するため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に接し得る。外向きに向いた結像システム４６４から取得される画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡する、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。
ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに向いた結像システム４６６（例えば、デジタルカメラ）を含むことができる。内向きに向いた結像システム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズまたは配向を決定するために使用されてもよい。内向きに向いた結像システム４６６は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別（例えば、虹彩識別を介して）のため、画像を取得するために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一の眼４１０のみの瞳孔直径または配向（例えば、一対の眼あたり単一のカメラのみを使用して）が、決定され、ユーザの両眼に関して類似すると仮定される。内向きに向いた結像システム４６６によって取得される画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。
ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム、入力としてシステムによって認識されるユーザの移動を感知するコンポーネント（例えば、仮想ユーザ入力デバイス）等を含むことができる。マルチＤＯＦコントローラは、コントローラのいくつかまたは全ての可能性として考えられる平行移動（例えば、左／右、前方／後方、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）におけるユーザ入力を感知することができる。平行移動をサポートする、マルチＤＯＦコントローラは、３ＤＯＦと称され得る一方、平行移動および回転をサポートする、マルチＤＯＦコントローラは、６ＤＯＦと称され得る。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間に、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。
図５は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が、図示されるが、導波管アセンブリ４８０内の他の導波管も、同様に機能し得、導波管アセンブリ４８０は、複数の導波管を含むことを理解されたい。光５２０が、導波管４３２ｂの入力縁４３２ｃにおいて導波管４３２ｂの中に投入され、ＴＩＲによって導波管４３２ｂ内を伝搬する。光５２０がＤＯＥ４３２ａに衝突する点において、光の一部が、出射ビーム５１０として導波管から出射する。出射ビーム５１０は、略平行として図示されるが、それらはまた、導波管４３２ｂと関連付けられる深度平面に応じて、（例えば、発散出射ビームを形成する）ある角度で眼４１０に伝搬するように再指向されてもよい。略平行出射ビームは、眼４１０からの遠距離（例えば、光学無限遠）における深度平面に設定されるように現れる画像を形成するように光を外部結合する、光抽出光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットが、より発散する、出射ビームパターンを出力してもよく、これは、眼４１０がより近い距離に遠近調節し、網膜上に合焦させることを要求し、光学無限遠より眼４１０に近い距離からの光として脳によって解釈されるであろう。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される制御サブシステムとを含む、光学システムを示す、概略図である。光学システムは、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むことができる。光学システムは、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。光学システムは、１つ以上の一次平面導波管６３２ａ（１つだけが図６に示される）と、一次導波管６３２ａのうちの少なくともいくつかのそれぞれと関連付けられる、１つ以上のＤＯＥ６３２ｂとを含むことができる。平面導波管６３２ｂは、図４を参照して議論される導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂに類似し得る。光学システムは、分散導波管装置を採用し、光を第１の軸（図６の図では、垂直またはＹ－軸）に沿って中継し、第１の軸（例えば、Ｙ－軸）に沿って光の有効射出瞳を拡張してもよい。分散導波管装置は、例えば、分散平面導波管６２２ｂと、分散平面導波管６２２ｂと関連付けられた少なくとも１つのＤＯＥ６２２ａ（二重破線によって図示される）とを含んでもよい。分散平面導波管６２２ｂは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管６３２ｂと類似する、または同じであり得る。同様に、少なくとも１つのＤＯＥ６２２ａは、少なくともいくつかの点において、ＤＯＥ６３２ａと類似する、または同じであり得る。例えば、分散平面導波管６２２ｂまたはＤＯＥ６２２ａは、それぞれ、一次平面導波管６３２ｂまたはＤＯＥ６３２ａと同一の材料から成ってもよい。図６に示される光学ディスプレイシステム６００の実施形態は、図２に示されるウェアラブルシステム２００の中に統合されることができる。
中継され、射出瞳が拡張された光は、分散導波管装置から１つ以上の一次平面導波管６３２ｂの中に光学的に結合され得る。一次平面導波管６３２ｂは、好ましくは、第１の軸に直交する、第２の軸（例えば、図６の図では、水平またはＸ－軸）に沿って、光を中継することができる。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であり得る。一次平面導波管６３２ｂは、その第２の軸（例えば、Ｘ－軸）に沿って、光の有効射出瞳を拡張する。例えば、分散平面導波管６２２ｂは、光を垂直またはＹ－軸に沿って中継および拡張させ、光を水平またはＸ－軸に沿って中継および拡張し得る、一次平面導波管６３２ｂにその光を通過させることができる。
光学システムは、単一モード光ファイバ６４０の近位端の中に光学的に結合され得る、１つ以上の着色光源（例えば、赤色、緑色、および青色レーザ光）６１０を含んでもよい。光ファイバ６４０の遠位端が、圧電材料の中空管６４２を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー６４４として、管６４２から突出する。圧電管６４２は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管６４２の外側、外面または外周、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管６４２のコア、中心、内周、または内径に位置してもよい。
例えば、ワイヤ６６０を介して電気的に結合される、駆動電子機器６５０は、対向する対の電極を駆動し、圧電管６４２を独立して２つの軸において屈曲させる。光ファイバ６４４の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ６４４の直径、長さ、および材料性質に依存し得る。圧電管６４２をファイバカンチレバー６４４の第１の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー６４４は、振動させられ、大偏向を通して掃引し得る。
２つの軸において共振振動を刺激することによって、ファイバカンチレバー６４４の先端は、２次元（２－Ｄ）走査を充填する面積内において２軸方向に走査される。光源６１０の強度をファイバカンチレバー６４４の走査と同期して変調させることによって、ファイバカンチレバー６４４から発せられる光は、画像を形成することができる。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。
光学結合器サブシステムのコンポーネントが、走査ファイバカンチレバー６４４から発せられる光をコリメートすることができる。コリメートされた光は、鏡面表面６４８によって、少なくとも１つの回折光学要素（ＤＯＥ）６２２ａを含有する、狭分散平面導波管６２２ｂの中に反射されることができる。コリメートされた光は、ＴＩＲによって分散平面導波管６２２ｂに沿って（図６の図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ６２２ａと繰り返し交差することができる。ＤＯＥ６２２ａは、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）を、ＤＯＥ６２２ａとの交差部の各点においてより大きい一次平面導波管６３２ｂの縁に向かって回折させ、光の一部を、ＴＩＲを介して分散平面導波管６２２ｂの長さを辿ってそのオリジナル軌道上で継続させることができる。
ＤＯＥ６２２ａとの交差部の各点において、付加的光が、一次導波管６３２ｂの入口に向かって回折されることができる。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管６２２ｂ内のＤＯＥ６２２ａによって垂直に拡張されることができる。分散平面導波管６２２ｂから外部結合される、本垂直に拡張された光は、一次平面導波管６３２ｂの縁に入射することができる。
一次導波管６３２ｂに入射する光は、ＴＩＲを介して、一次導波管６３２ｂに沿って（図６の図に対して）水平に伝搬することができる。光は、複数の点においてＤＯＥ６３２ａと交差するにつれて、ＴＩＲを介して、一次導波管６３２ｂの長さの少なくとも一部に沿って水平に伝搬する。ＤＯＥ６３２ａは、有利なこととして、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生産するように設計または構成されてもよい。ＤＯＥ６３２ａは、有利なこととして、ビームの光の一部のみが、ＤＯＥ６３２ａの各交差部で視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、一次導波管６３２ｂを通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。
伝搬する光とＤＯＥ６３２ａとの間の交差部の各点において、光の一部は、一次導波管６３２ｂの隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管６３２ｂの面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ６３２ａの半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与すること）し、かつビームを設計される焦点レベルに合致する角度に操向することの両方を行う。
故に、これらの異なる経路は、異なる角度におけるＤＯＥ６３２ａの多重度、焦点レベル、または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管６３２ｂから外部結合させることができる。射出瞳における異なる充填パターンが、複数の深度平面を伴うライトフィールドディスプレイを作成するために有益に使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、３つの隣接する層の第１のセットが、それぞれ、赤色、青色、および緑色光を第１の焦点深度において生産するために採用されてもよい。３つの隣接する層の第２のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生産するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。
（ウェアラブルシステムの他のコンポーネント）
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、１つ以上の物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、無生物オブジェクト、例えば、金属またはプラスチック片、壁、テーブルの表面等の形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、いずれの物理的キーまたはトラックパッドまたはセンサも有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムおよび／または他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、ＨＭＤ、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
（例示的ウェアラブルシステム、環境、およびインターフェース）
ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されるＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。
図７は、部屋等のＭＲ環境に関連するデータを処理するように動作可能なＭＲシステム７００の実施例のブロック図である。ＭＲ環境７００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからの感覚入力７０６、ユーザ入力デバイス４６６からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を１つ以上のユーザウェアラブルシステム（例えば、ウェアラブルシステム２００またはディスプレイシステム２２０）または定常室内システム（例えば、室内カメラ等）から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに向いた結像システム、外向きに向いた結像システム等）を使用して、ユーザの環境の場所および種々の他の属性を決定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラおよび／または外向きに向いた結像システムのカメラ等）によって入手される画像データは、マッピング点のセットに変えられてもよい。
１つ以上のオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識またはマッピングし、画像をタグ付けし、マップデータベース７１０を用いて、意味論情報をオブジェクトに添付することができる。マップデータベース７１０は、経時的に収集される種々の点およびそれらの対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。
本情報およびマップデータベース内の点の集合に基づいて、オブジェクト認識装置７０８ａ…７０８ｎ（そのうちのオブジェクト認識装置７０８ａおよび７０８ｎのみが簡単にするために示されている）は、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、顔、人物、窓、壁、ユーザ入力デバイス、テレビ、ドキュメント（例えば、本明細書のセキュリティ実施例において説明されるような旅券、運転免許証、パスポート）、ユーザの環境内の他のオブジェクト等を認識することができる。１つ以上のオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置７０８ａは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、ドキュメントを認識するために使用されてもよい。
オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに向いた結像システム４６４（図４に示される）によって入手される画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識（例えば、人物またはドキュメント）、オブジェクト姿勢推定、顔認識（例えば、環境内の人物またはドキュメント上の画像から）、学習、インデックス化、運動推定、または画像分析（例えば、写真、署名、識別情報、旅行情報等のドキュメント内の印を識別する）等を実施することができる。１つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置特定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む、教師ありまたは教師なし機械学習アルゴリズムを含むことができる。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、オブジェクトに動作性を与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、ある意味論情報を添付してもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射し得る、反射表面を有するという意味論情報を添付してもよい。意味論情報は、本明細書に説明されるように、オブジェクトのアフォーダンスを含むことができる。例えば、意味論情報は、オブジェクトの法線を含んでもよい。システムは、ベクトルを割り当てることができ、その方向は、オブジェクトの法線を示す。経時的に、マップデータベースは、システム（ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つ以上のウェアラブルシステムに伝送されてもよい。例えば、ＭＲシステム７００は、Ｃａｌｉｆｏｒｎｉａで起こっている場面についての情報を含んでもよい。場面についての情報は、Ｎｅｗ Ｙｏｒｋにおける１人以上のユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されるデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集される点をマッピングし、オブジェクトを認識すること等ができる。環境７００はまた、位置特定目的のために、トポロジマップを使用してもよい。
図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８００の実施例のプロセスフロー図である。方法８００は、仮想場面がウェアラブルシステムのユーザに提示され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在し得る。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに居住する友人と散歩に行くことを所望し得る。
ブロック８１０では、ウェアラブルシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成され得る。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８１０において、情報をシステムに伝達する。システムは、ブロック８２０において、本情報に基づいて、疎点を決定してもよい。疎点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャ）を決定する際に使用されてもよい。オブジェクト認識装置７０８ａ－７０８ｎは、ブロック８３０において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つ以上のオブジェクトを認識してもよい。本情報は、次いで、ブロック８４０において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、それに応じて、ブロック８５０においてユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。
図９は、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム９００は、世界に関するマップデータを含み得る、マップを備える。マップは、部分的に、ウェアラブルシステム上にローカルに常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス９１０が、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を決定するために、マップからのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、その世界内で動作するにつれて、オンザフライで収集されるデータから算出されてもよい。データは、実または仮想環境内のオブジェクトに関する画像、センサ（概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定ユニット等）からのデータ、および表面情報を備えてもよい。
疎点表現は、同時位置特定およびマッピング（例えば、入力が画像／視覚のみである構成を指す、ＳＬＡＭまたはｖＳＬＡＭ）プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界が構成される内容も見出すように構成されることができる。姿勢は、マップへの取込およびマップからのデータを使用することを含め、多くの目標を達成する、構築ブロックであり得る。
一実施形態では、疎点位置は、それ自体では完全には適正ではない場合があり、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生産するために必要とされ得る。概して、深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視９４０と称されるプロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して作成される赤外線パターン等）が、立体視プロセス９４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、このうちのいくつかは、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的（例えば、大規模点群に対して）かつ要約しやすい入力であってもよい。したがって、立体視プロセス（例えば、深度マップ）９４０の出力は、融合プロセス９３０において組み合わせられてもよい。姿勢９５０は、同様に、本融合プロセス９３０への入力であってもよく、融合９３０の出力は、マップ取込プロセス９２０への入力となる。サブ表面が、トポグラフィマッピング等において相互と接続し、より大きい表面を形成し得、マップは、点および表面の大規模ハイブリッドとなる。
複合現実プロセス９６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図９に描写される実施形態では、ゲームパラメータは、システムのユーザが１匹以上のモンスタと種々の場所においてモンスタバトルゲームをプレーしていること、モンスタが死んでいる、種々の条件下で逃げている（ユーザがモンスタを撃つ場合等）、種々の場所における壁または他のオブジェクト、および同等物を決定するための入力であってもよい。世界マップは、複合現実に対する別の有用な入力となるように、そのようなオブジェクトが相互に対して存在する場所に関する情報を含んでもよい。世界に対する姿勢は、同様に入力となり、ほぼあらゆる双方向システムに対して重要な役割を果たす。
ユーザからの制御または入力は、ウェアラブルシステム９００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム９００に、所望する対象に関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。一実施形態では、トーテム（例えば、ユーザ入力デバイス）、または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、システムは、場所および配向、および、そのようなアクティビティがカメラのいずれかの視野内にないときでも、生じている状況の決定を補助し得る、ＩＭＵ等のセンサを装備し得る、トリガまたは他の感知ボタンまたは要素をユーザがクリックしているかどうかを理解するように構成されてもよい）。
手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム９００は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム環境において電子メールまたはカレンダを通して捲る、または別の人物またはプレーヤと「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム９００は、動的である場合とそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、ＯＫを示すために親指を上げる、ＯＫではないことを示すために親指を下げる、または指向性コマンドを示すために左右または上下に手をフリップするような、単純な静的ジェスチャであってもよい。
眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲にレンダリングする）。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して決定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、決定されてもよい。眼追跡は、眼カメラによって実施され、眼視線（例えば、片眼または両眼の方向または配向）を決定することができる。例えば、眼の近傍に設置された電極による電位の測定（例えば、電気眼球図記録）等の他の技法も、眼追跡のために使用されることができる。
音声認識は、単独で、または他の入力（例えば、トーテム追跡、眼追跡、ジェスチャ追跡等）と組み合わせて使用され得る、別の入力であり得る。システム９００は、オーディオストリームを環境から受信する、オーディオセンサ（例えば、マイクロホン）を含むことができる。受信されたオーディオストリームは、（例えば、処理モジュール２６０、２７０または中央サーバ１６５０によって）処理され、（他の音声または背景オーディオから）ユーザの音声を認識し、コマンド、パラメータ等をオーディオストリームから抽出することができる。例えば、システム９００は、オーディオストリームから、語句「あなたのＩＤを見せてください」が発せられたことを識別し、本語句がシステム９００の装着者（例えば、検閲者の環境内の別の人物ではなく、セキュリティ検閲者）によって発せられたことを識別し、語句および状況のコンテキスト（例えば、セキュリティ検問所）から、実施されるべき実行可能コマンド（例えば、装着者のＦＯＶ内のもののコンピュータビジョン分析）およびコマンドが実施されるべきオブジェクト（「あなたのＩＤ」）が存在することを抽出し得る。システム９００は、発話している人物（例えば、発話がＡＲＤの装着者または別の人物または音声（例えば、環境内のラウドスピーカによって伝送される録音された音声）からのものであるかどうか）を決定するための話者認識技術、および発せられている内容を決定するための発話認識技術を組み込むことができる。音声認識技法は、周波数推定、隠れマルコフモデル、ガウス混合モデル、パターンマッチングアルゴリズム、ニューラルネットワーク、マトリクス表現、ベクトル量子化、話者ダイアライゼーション、決定ツリー、および動的時間伸縮（ＤＴＷ）技法を含むことができる。音声認識技法はまた、コホートモデルおよび世界モデル等のアンチ話者技法を含むことができる。スペクトル特徴は、話者特性を表す際に使用されてもよい。
カメラシステムに関して、図９に示される例示的ウェアラブルシステム９００は、３対のカメラ、すなわち、ユーザの顔の両側に配列される相対的に広いＦＯＶまたは受動ＳＬＡＭ対のカメラと、ユーザの正面に配向され、立体視結像プロセス９４０をハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム／オブジェクトの軌道を捕捉するための異なる対のカメラとを含むことができる。ＦＯＶカメラおよび立体視プロセス９４０のための一対のカメラは、外向きに向いた結像システム４６４（図４に示される）の一部であってもよい。ウェアラブルシステム９００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される眼追跡カメラ（図４に示される内向きに向いた結像システム４６２の一部であり得る）を含むことができる。ウェアラブルシステム９００はまた、１つ以上のテクスチャ化光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。
図１０は、ウェアラブルシステムへのユーザ入力を決定するための方法１０００の実施例のプロセスフロー図である。本実施例では、ユーザは、トーテムと相互作用してもよい。ユーザは、複数のトーテムを有してもよい。例えば、ユーザは、ソーシャルメディアアプリケーションのための指定される１つのトーテム、ゲームをプレーするための別のトーテム等を有してもよい。ブロック１０１０では、ウェアラブルシステムは、トーテムの運動を検出してもよい。トーテムの移動は、外向きに向いた結像システムを通して認識されてもよい、またはセンサ（例えば、触知グローブ、画像センサ、手追跡デバイス、眼追跡カメラ、頭部姿勢センサ等）を通して検出されてもよい。
少なくとも部分的に、検出されたジェスチャ、眼姿勢、頭部姿勢、またはトーテムを通した入力に基づいて、ウェアラブルシステムは、ブロック１０２０において、基準フレームに対するトーテム（またはユーザの眼または頭部またはジェスチャ）の位置、配向、または移動を検出する。基準フレームは、それに基づいてウェアラブルシステムがトーテム（またはユーザ）の移動をアクションまたはコマンドに変換する、マップ点のセットであってもよい。ブロック１０３０では、トーテムとのユーザの相互作用が、マッピングされる。基準フレーム１０２０に対するユーザ相互作用のマッピングに基づいて、システムは、ブロック１０４０において、ユーザ入力を決定する。
例えば、ユーザは、トーテムまたは物理的オブジェクトを前後に移動させ、仮想ページを捲り、次のページに移動する、または１つのユーザインターフェース（ＵＩ）ディスプレイ画面から別のＵＩ画面に移動することを示してもよい。別の実施例として、ユーザは、ユーザのＦＯＲ内の異なる実または仮想オブジェクトを見るために、その頭部または眼を移動させてもよい。特定の実または仮想オブジェクトにおけるユーザの注視が、閾値時間より長い場合、実または仮想オブジェクトは、ユーザ入力として選択されてもよい。いくつかの実装では、ユーザの眼の輻輳・開散運動が、追跡されることができ、遠近調節／輻輳・開散運動モデルが、ユーザが合焦している深度平面に関する情報を提供する、ユーザの眼の遠近調節状態を決定するために使用されることができる。いくつかの実装では、ウェアラブルシステムは、レイキャスティング技法を使用して、ユーザの頭部姿勢または眼姿勢の方向に沿っている実または仮想オブジェクトを決定することができる。種々の実装では、レイキャスティング技法は、実質的に殆ど横幅を伴わない細い光線束を投じるステップ、または実質的横幅を伴う光線（例えば、円錐または円錐台）を投じるステップを含むことができる。
ユーザインターフェースは、本明細書に説明されるようなディスプレイシステム（図２におけるディスプレイ２２０等）によって投影されてもよい。これはまた、１つ以上のプロジェクタ等の種々の他の技法を使用して表示されてもよい。プロジェクタは、画像をキャンバスまたは球体等の物理的オブジェクト上に投影してもよい。ユーザインターフェースとの相互作用は、システムの外部またはシステムの一部の１つ以上のカメラを使用して（例えば、内向きに向いた結像システム４６２または外向きに向いた結像システム４６４を使用して）追跡されてもよい。
図１１は、仮想ユーザインターフェースと相互作用するための方法１１００の実施例のプロセスフロー図である。方法１１００は、本明細書に説明されるウェアラブルシステムによって実施されてもよい。方法１１００の実施形態は、ウェアラブルシステムのＦＯＶ内の人物またはドキュメントを検出するために、ウェアラブルシステムによって使用されることができる。
ブロック１１１０では、ウェアラブルシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって事前決定されてもよい。ウェアラブルシステムは、特定のＵＩがユーザ入力（例えば、ジェスチャ、視覚データ、オーディオデータ、感覚データ、直接コマンド等）に基づいて取り込まれる必要があることを識別してもよい。ＵＩは、例えば、システムの装着者が、（例えば、旅客検問所において）ドキュメントを装着者に提示するユーザを観察している、セキュリティシナリオに特有であり得る。ブロック１１２０では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの境界、一般的構造、形状等と関連付けられたデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがユーザの物理的場所に関連してＵＩを表示し得るように、ユーザの物理的場所のマップ座標を決定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩがユーザの周囲に表示され得る、または平面ＵＩが壁上またはユーザの正面に表示され得るように、ユーザの物理的立ち位置、頭部姿勢、または眼姿勢の座標を決定してもよい。本明細書に説明されるセキュリティコンテキストでは、ＵＩは、装着者が、旅行者および旅行者のドキュメントを見ている間、ＵＩを容易に視認し得るように、ＵＩがドキュメントをシステムの装着者に提示している旅行者を囲繞しているかのように表示され得る。ＵＩが、手中心の場合、ユーザの手のマップ座標が、決定されてもよい。これらのマップ点は、ＦＯＶカメラ、感覚入力を通して受信されるデータ、または任意の他のタイプの収集されたデータを通して導出されてもよい。
ブロック１１３０では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック１１４０では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが作成されると、ウェアラブルシステムは、ブロック１１５０において、単に、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想ＵＩ上に生成してもよい。例えば、ＵＩは、ユーザの身体またはユーザの環境内の人物（例えば、旅行者）の身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、音声コマンド、ユーザ入力デバイスからの入力等）を待機してもよく、認識される場合（ブロック１１６０）、コマンドと関連付けられた仮想コンテンツが、ユーザに表示されてもよい（ブロック１１７０）。
ウェアラブルシステム、ＵＩ、およびユーザ体験（ＵＸ）の付加的実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
（持続的座標フレーム）
いくつかの実施形態では、ウェアラブルシステムは、マップデータベース７１０等のマップデータベース内に１つ以上の持続的座標フレーム（ＰＣＦ）を記憶してもよい。ＰＣＦは、経時的に変化しない実世界（例えば、ユーザの物理的環境）における空間内の点の周囲に構築されてもよい。いくつかの実施形態では、ＰＣＦは、経時的に頻繁に変化しない、または経時的に変化する可能性が低い、空間内の点の周囲に構築されてもよい。例えば、殆どの建物は、１つの場所に留まるように設計されるが、車は、１つの場所から別の場所に人および物を移動させるように設計されるため、建物の上の点は、車の上の点よりも経時的に場所を変化させる可能性が低い。
ＰＣＦは、場所を規定するための機構を提供し得る。いくつかの実施形態では、ＰＣＦは、座標系を伴う点として表され得る。ＰＣＦ座標系は、実世界において固定されてもよく、セッション毎に（すなわち、ユーザがシステムをオフにし、次いで、再びオンにするときに）変化しなくてもよい。
いくつかの実施形態では、ＰＣＦ座標系は、ＰＣＦがセッションの持続時間のみにわたって持続するように、ユーザセッションの開始時にシステムによって選定される空間内の恣意的な点であり得る、ローカル座標フレームと整合し得る。そのようなＰＣＦは、ユーザ姿勢決定のために利用されてもよい。
ＰＣＦは、マップデータベース７１０等のマップデータベースに記録されてもよい。いくつかの実施形態では、本システムは、１つ以上のＰＣＦを決定し、実世界のデジタルマップ（「世界メッシュ」として本明細書に説明されるシステムに実装され得る）等のマップ内にＰＣＦを記憶する。いくつかの実施形態では、本システムは、経時的に不変である特徴、点、および／またはオブジェクトを探すことによって、ＰＣＦを選定してもよい。いくつかの実施形態では、本システムは、システム上のユーザセッションの間で変化しない、特徴、点、オブジェクト等を探すことによって、ＰＣＦを選定してもよい。本システムは、随意に、上記に説明される特徴のうちの１つ以上のものを探す、他のルールベースのアルゴリズムと組み合わせて、１つ以上のコンピュータビジョンアルゴリズムを利用してもよい。コンピュータビジョンアルゴリズムの実施例が、オブジェクト認識との関連で上記に説明される。いくつかの実施形態では、ＰＣＦは、複数のアプリケーションまたは他のシステムプロセスが利用し得る、システムレベル決定であってもよい。いくつかの実施形態では、ＰＣＦは、アプリケーションレベルにおいて決定されてもよい。故に、ＰＣＦは、ウェアラブルシステムの周囲の物理的世界を表す、センサデータ内で認識可能な１つ以上の点または特徴の集合等の複数の方法のうちのいずれかで表され得ることを理解されたい。
（世界メッシュ）
３Ｄ再構築は、入力として画像（例えば、着色／グレースケール画像、深度画像、または同等物）を取り入れ、ユーザの環境および／または実世界等の観察された場面を表す３Ｄメッシュを（例えば、自動的に）生成する、３Ｄコンピュータビジョン技法である。いくつかの実施形態では、観察された場面を表す３Ｄメッシュは、世界メッシュと呼ばれ得る。３Ｄ再構築は、仮想現実、マッピング、ロボット、ゲーム、映画製作等において多くの用途を有する。
実施例として、３Ｄ再構築アルゴリズムが、入力画像（例えば、着色／グレースケール画像、着色／グレースケール画像＋深度画像、または深度のみ）を受信し、適宜、入力画像を処理し、捕捉された深度マップを形成することができる。例えば、受動深度マップが、着色画像からマルチビュー立体視アルゴリズムを使用して生成されることができ、能動深度マップが、構造化光深度センサ等の能動感知技術を使用して取得されることができる。以下の実施例が図示されるが、本願の実施形態は、任意の好適な世界メッシュ作成方法から生成され得る、世界メッシュを利用してもよい。当業者は、多くの変形例、修正、および代替物を認識するであろう。
図１７は、捕捉された深度マップの複数のフレームを使用して、場面の３Ｄメッシュを作成するための方法を図示する、簡略化されたフローチャートである。図１７を参照すると、捕捉された深度マップの複数のフレームから、場面の３Ｄモデル、例えば、場面と関連付けられる３Ｄ表面を表す３Ｄ三角形メッシュを作成するための方法が、図示される。方法１７００は、捕捉された深度マップのセットを受信するステップ（１７０２）を含む。捕捉された深度マップは、各ピクセルが、ピクセルから深度画像を取得するカメラまでの深度を表す、関連付けられる深度値を有する、深度画像である。ピクセルあたり３つ以上のチャネルを有し得る着色画像（例えば、赤色、緑色、および青色成分を伴うＲＧＢ画像）と比較して、深度マップは、ピクセル（すなわち、カメラからのピクセル距離）あたり単一のチャネルを有することができる。捕捉された深度マップのセットを受信するプロセスは、入力画像、例えば、ＲＧＢ画像を処理し、捕捉された深度マップのフレームとも称される、１つ以上の捕捉された深度マップを生産するステップを含むことができる。他の実施形態では、捕捉された深度マップは、飛行時間カメラ、ＬＩＤＡＲ、立体視カメラ、または同等物を使用して取得され、したがって、システムによって受信される。
捕捉された深度マップのセットは、異なるカメラ角度および／または位置からの深度マップを含む。実施例として、深度マップストリームが、移動深度カメラによって提供されることができる。移動深度カメラが、パンおよび／または移動するにつれて、深度マップは、深度画像のストリームとして生産される。別の実施例として、静止深度カメラが、異なる角度および／または異なる位置、またはそれらの組み合わせから、場面の一部または全ての複数の深度マップを収集するために使用され得る。
本方法はまた、基準フレーム内で捕捉された深度マップのセットと関連付けられるカメラ姿勢を整合させるステップ（１７０４）と、基準フレーム内で捕捉された深度マップのセットをオーバーレイするステップ（１７０６）とを含む。ある実施形態では、姿勢推定のプロセスは、全てのカメラから深度点を整合させるため、かつ３Ｄ世界座標において局所的および大域的に一貫した点群を作成するために利用される。世界座標における同一の位置からの深度点は、可能な限り相互に近く整合されるべきである。しかしながら、深度マップに存在する不正確度に起因して、姿勢推定は、通常、特に、壁の隅、壁の端部、屋内場面内のドア枠、および同等物等の構造特徴上では、完璧ではなく、生成されたメッシュ内に存在するときに、これらの構造特徴上にアーチファクトを引き起こす。さらに、これらの不正確度は、アーチファクトがユーザにとってはるかに目立つであろうため、メッシュ境界が遮蔽物（すなわち、背景オブジェクトを遮蔽するオブジェクト）と見なされるときに悪化され得る。
各深度画像と関連付けられるカメラの位置および配向を示す、カメラ姿勢を整合させるために、深度マップが、オーバーレイされ、隣接および／または重複するピクセルの位置の差異が、低減される、または最小限にされる。いったん基準フレーム内のピクセルの位置が、調節されると、カメラ姿勢は、カメラ姿勢を調節されたピクセル位置と整合させるように、調節および／または更新される。したがって、カメラ姿勢は、基準フレーム内で整合される（１７０６）。換言すると、レンダリングされた深度マップが、推定カメラ姿勢に基づいて、全ての深度マップの深度点を基準フレーム（例えば、３Ｄ世界座標系）に投影することによって作成されることができる。
本方法はさらに、立体融合を実施し（１７０８）、再構築された３Ｄメッシュを形成するステップ（１７１０）を含む。立体融合プロセスは、複数の捕捉された深度マップを、観察された場面の符号・距離関数の離散化バージョンとして立体表現に融合するステップを含むことができる。３Ｄメッシュ生成は、３Ｄ空間内の立体表現から多角形メッシュを抽出するためのマーチングキューブアルゴリズムまたは他の好適な方法の使用を含むことができる。
実世界環境の３Ｄメッシュ（例えば、世界メッシュ）を作成するための方法およびシステムを説明する、さらなる詳細が、「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ ａｎｄ Ｃｏｍｂｉｎｉｎｇ Ｓｔｒｕｃｔｕｒａｌ Ｆｅａｔｕｒｅｓ ｉｎ ３Ｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ」と題された、米国非仮特許出願第１５／２７４，８２３号（明示的に参照することによってその全体として本明細書に組み込まれる）で提供されている。
（ユーザ操作プロセス）
図１２は、ユーザが場面を作成および保存し、次いで、後にその場面を開き得る、本明細書に説明されるシステムおよび方法を使用する、ユーザ相互作用の例示的プロセス１２００を図示する。例えば、ユーザが、上記に説明されるウェアラブルシステム２００および／または９００等のＡＲ／ＶＲ／ＭＲウェアラブルシステム上でゲームをプレーし得る。ゲームは、ユーザが、仮想ブロックを利用して仮想構造を構築することを可能にし得る。ユーザは、精巧な構造、例えば、ユーザの家のレプリカを構築して１日中過ごし、後に使用するために構造を保存することを所望し得る。ユーザは、最終的にユーザの近隣または都市全体を構築することを所望し得る。ユーザが、ユーザの家を保存する場合、ユーザは、例えば、次の日に、家を再び開き、近隣に取り組み続けることができる。多くの近隣が、家の設計を再使用するため、ユーザは、５つの基本設計のみを構築して別個に保存し、近隣を構築するために、それらの設計を単一の場面に１回またはそれを上回ってロードすることが可能であり得る。近隣場面は、次いで、付加的場面として保存され得る。ユーザが、構築し続けることを所望する場合、ユーザは、いくつかの実施形態では、５つの基本的な家の設計のうちの１つ以上のものと組み合わせて、近隣場面のうちの１つ以上のものをロードし、都市全体を構築し続け得る。
ユーザは、将来のゲーム／設計における後続の再使用のために、ブロック設計の任意の組み合わせ（すなわち、単一の壁、単一の家、家の通り全体、近隣等）を保存することを選定し得る。
本実施例では、ユーザは、捕捉プロセスを開始するための制御としての役割を果たす、アイコンを選択することによって、場面を記憶するプロセスを開始する。ステップ１２０２では、ユーザは、カメラアイコンを選択し得る。いくつかの実施形態では、アイコンは、カメラではなくてもよいが、システム上に仮想カメラを作成し得る、システム上のコンピュータプログラムまたはコードの異なる視覚表現（例えば、テキスト、画像等）であり得る。例えば、視覚表現は、「カメラ」、「カメラを始動させる」、または「写真を撮影する」等の言葉であり得る、または視覚表現は、カメラの画像、写真の画像、花の画像、または人物の画像等の画像であり得る。任意の好適な視覚表現が、使用されてもよい。
ユーザが、カメラアイコンまたは仮想カメラの視覚表現を選択するとき、仮想カメラが、ユーザの環境に現れ得る。仮想カメラは、ユーザによって相互作用されてもよい。例えば、ユーザは、仮想カメラを通して見て、カメラのＦＯＶを通して実および仮想世界コンテンツを視認し得る、ユーザは、仮想カメラを握持し、カメラを周囲に動かし得る、および／またはユーザは、（例えば、仮想カメラを無効にするため、写真を撮影するため等に）ユーザメニューを通してカメラを操作し得る。いくつかの実施形態では、ユーザ相互作用は、例えば、図９－１１において上記に説明される通りである。いくつかの実施形態では、仮想カメラは、ウェアラブルデバイスを通したユーザのＦＯＶと同一のＦＯＶを提供し得る。いくつかの実施形態では、仮想カメラは、ユーザの右眼、ユーザの左眼、またはユーザの眼の両方と同一のＦＯＶを提供し得る。
ステップ１２０４では、仮想カメラが、場面をフレームに入れるまで動作されてもよい。いくつかの実施形態では、カメラは、場面を選択する様式を特定し得る、ユーザ選好に基づく技法を使用して、場面をフレームに入れてもよい。例えば、フレームは、最初に、仮想カメラが最初にユーザに表示されるときの仮想カメラカメラビューファインダ（すなわち、レンズおよび／またはカメラシステムの視野を示すデバイスまたはカメラの一部）を通したデフォルトビューであってもよい。ビューファインダは、多くの実世界デジタルカメラが、画像が捕捉される前にそれをプレビューするために実世界カメラの裏にディスプレイを有する方法に類似して、仮想カメラ上に表示されるプレビュー画像としてユーザに現れ得る。いくつかの実施形態では、ユーザは、カメラを操作し、場面のフレームを変化させ得る。変化したフレームは、仮想カメラ上に表示されるプレビュー画像を変化させ得る。例えば、ユーザは、トーテム等の上記に説明されるようなマルチＤＯＦコントローラ上のボタンを押下することによって、仮想カメラを選択し、仮想カメラを移動させるためにトーテムを移動させ得る。いったんユーザが、仮想カメラを通して所望のビューを有すると、ユーザは、ボタンを解放し、仮想カメラの移動を停止させ得る。仮想カメラは、いくつかまたは全ての可能性として考えられる平行移動（例えば、左／右、前方／後方、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）において移動されてもよい。仮想カメラ選択のためのボタンのクリックおよび解放、および仮想カメラを解放するためのボタンの第２のクリックおよび解放等の代替ユーザ相互作用が、使用されてもよい。他の相互作用も、仮想カメラを通して場面をフレームに入れるために使用されてもよい。
仮想カメラは、ステップ１２０４の間にプレビュー画像をユーザに表示してもよい。プレビュー画像は、仮想カメラＦＯＶ内にある仮想コンテンツを含有してもよい。代替として、または加えて、いくつかの実施形態では、プレビュー画像は、世界メッシュデータの視覚表現を備えてもよい。例えば、ユーザには、実際の長椅子と同一の場所で、仮想カメラＦＯＶ内に実世界の長椅子のメッシュバージョンが見え得る。仮想コンテンツおよびメッシュデータは、空間的に正しくあり得る。例えば、仮想アバタが、実世界の長椅子の上に着席した場合、仮想アバタは、同一の場所、配向、および／または位置において、メッシュ長椅子の上に着席して現れるであろう。いくつかの実施形態では、仮想コンテンツのみが、プレビュー画像内に表示される。いくつかの実施形態では、仮想コンテンツは、仮想コンテンツが実世界において設置されるものと同一の空間配列でプレビューされる。いくつかの実施形態では、仮想コンテンツは、クラスタ、列、円、または他の好適な配列等の異なる空間配列でプレビューされる。
いくつかの実施形態では、本システムは、例えば、ビューファインダを通して可能な限り最大数の仮想オブジェクトを含むように、仮想カメラを通して場面を自動的にフレームに入れてもよい。ユーザのＦＯＶが仮想カメラＦＯＶに合致するように、仮想場面をフレームに入れること等の自動場面フレーミングの代替方法が、使用されてもよい。いくつかの実施形態では、本システムは、より高い優先度のオブジェクトがフレーム内にあるように、オブジェクトの階層を使用して、場面を自動的にフレームに入れてもよい。例えば、人、イヌ、ネコ、鳥等の生き物は、テーブル、椅子、カップ等の無生物オブジェクトよりも高い優先度であり得る。他の好適な方法が、場面を自動的にフレームに入れるために、または自動フレーミングのための優先度システムを作成するために、使用されてもよい。
場面がフレームに入れられる方法にかかわらず、本システムは、保存された場面データを捕捉してもよい。保存された場面データは、保存された場面が後に開かれるときに、場面の仮想コンテンツをレンダリングするために、拡張現実システムによって使用されてもよい。いくつかの実施形態では、保存された場面は、相互に対して空間的に固定された場所に保存された場面オブジェクトを備えてもよい。
いくつかの実施形態では、保存された場面データは、場面が、後の時間に、および／または場面が保存されたときおよび場合と異なる場所で、再レンダリングされ得るように、保存された場面を完全に表すデータを備えてもよい。いくつかの実施形態では、保存された場面データは、保存された場面をユーザにレンダリングおよび表示するために、システムによって要求されるデータを備えてもよい。いくつかの実施形態では、保存された場面データは、保存されたＰＣＦ、保存された場面の画像、および／または保存された場面オブジェクトを備える。
いくつかの実施形態では、保存されたＰＣＦは、保存された場面が保存されたときにユーザに最も近いＰＣＦであってもよい。いくつかの実施形態では、保存されたＰＣＦは、フレームに入れられた場面内のＰＣＦであってもよい（ステップ１２０４）。いくつかの実施形態では、保存されたＰＣＦは、場面が保存されたときのユーザのＦＯＶおよび／またはＦＯＲ内のＰＣＦであってもよい。いくつかの実施形態では、保存するために利用可能な１つを上回るＰＣＦが存在し得る。この場合、本システムは、最も確実なＰＣＦ（例えば、上記のＰＣＦの説明通り、経時的に変化する可能性が最も低いＰＣＦ）を自動的に選定してもよい。いくつかの実施形態では、保存された場面データは、保存された場面と関連付けられる１つを上回るＰＣＦを有してもよい。保存された場面データは、一次ＰＣＦ、および１つ以上のバックアップまたは二次ＰＣＦを指定してもよい。
いくつかの実施形態では、場面の一部として保存されることになる仮想オブジェクトは、場面が保存されるときに、フレームに入れられた場面内のオブジェクトに基づいて決定されてもよい。保存された場面オブジェクトは、例えば、場面が保存された時間にユーザの実世界環境に位置するように現れる、仮想オブジェクト（例えば、デジタルコンテンツ）であってもよい。いくつかの実施形態では、保存された場面オブジェクトは、保存された場面内の１つ以上の（最大で全ての）ユーザメニューを除外してもよい。いくつかの実施形態では、保存された場面オブジェクトは、仮想カメラのＦＯＶ内に全ての仮想オブジェクトを備える。いくつかの実施形態では、保存された場面オブジェクトは、ユーザがユーザのＦＯＲ内で実世界において知覚し得る、全ての仮想オブジェクトを備える。いくつかの実施形態では、保存された場面オブジェクトは、ユーザがユーザのＦＯＶ内で実世界において知覚し得る、全ての仮想オブジェクトを備える。いくつかの実施形態では、保存された場面オブジェクトは、仮想コンテンツが仮想カメラのＦＯＶ、ユーザのＦＯＶ、および／またはユーザのＦＯＲ内にあるかどうかにかかわらず、ユーザの環境にある全ての仮想コンテンツを備える。いくつかの実施形態では、保存された場面オブジェクトは、ユーザの環境内の仮想オブジェクトの任意のサブセットを備えてもよい。サブセットは、仮想オブジェクトのタイプ等の基準に基づいてもよく、例えば、１つのサブセットは、構築ブロックに関するものであり得、異なるサブセットは、建物の周囲の造園（例えば、植物）に関するものであり得る。場面を保存するための例示的プロセスが、図１３Ａに関連して下記に説明される。
仮想コンテンツおよび場所情報を記憶することに加えて、ステップ１２０６におけるシステムは、フレームに入れられた場面の画像を捕捉してもよい。いくつかの実施形態では、画像は、ユーザが、コントローラ上のボタンを押すこと、ジェスチャを通した、ユーザ頭部姿勢を通した、ユーザ視線を通した、および／または任意の他の好適なユーザ相互作用等のユーザ相互作用を提供するときに、捕捉される。いくつかの実施形態では、本システムは、画像を自動的に捕捉してもよい。本システムは、ステップ１２０４のいくつかの実施形態の場合のように、本システムが場面を自動的にフレームに入れ終わったときに、画像を自動的に捕捉してもよい。いくつかの実施形態では、本システムは、例えば、タイマを使用することによって、ユーザがステップ１２０４において場面をフレームに入れた後に、画像を自動的に捕捉してもよい（例えば、ユーザが最後にカメラを移動させた以降に５秒が経過した場合、本システムは、画像を自動的に捕捉するであろう）。自動画像捕捉の他の好適な方法も、使用されてもよい。いくつかの実施形態では、場面の記憶が、画像の捕捉をトリガする同一のイベントに応答して開始されてもよいが、２つのアクションは、いくつかの実施形態では、独立して制御されてもよい。
いくつかの実施形態では、捕捉された画像は、ハードドライブ等の恒久メモリに保存されてもよい。いくつかの実施形態では、恒久メモリは、上記に説明されるような、ローカル処理およびデータモジュール２６０であってもよい。いくつかの実施形態では、本システムは、画像が捕捉されるときに場面を保存してもよい。いくつかの実施形態では、捕捉された画像は、仮想オブジェクト、世界メッシュ、実世界オブジェクト、および／またはレンダリング可能なデータを伴う任意の他のコンテンツを備えてもよい。いくつかの実施形態では、ユーザは、１つを上回る場面を保存することを所望し得、故に、本プロセスは、ステップ１２０２に戻るようにループしてもよい。仮想オブジェクトと、実世界オブジェクトとを備える、画像を捕捉することに関連する方法およびシステムを説明する、さらなる詳細が、「Ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｒｅｃｏｒｄｉｎｇ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｄａｔａ」と題された、米国非仮特許出願第１５／９２４，１４４号（現在は公開第ＵＳ２０１８／０２６８６１１号）（参照することによってその全体として本明細書に明示的に組み込まれる）で提供されている。
ステップ１２０８では、保存された場面アイコンが、選択されてもよい。保存された場面アイコンは、ステップ１２０６において捕捉されるフレームに入れられた場面であってもよい。いくつかの実施形態では、保存された場面アイコンは、保存された場面の任意の好適な視覚表現であってもよい。いくつかの実施形態では、保存された場面アイコンは、ステップ１２０６において捕捉される画像を備えてもよい。例えば、保存された場面アイコンは、ボックスの片側が捕捉された画像を備える、３Ｄボックスとして現れてもよい。いくつかの実施形態では、保存された場面アイコンは、１つ以上の保存された場面アイコンのうちの１つであってもよい。保存された場面アイコンは、保存された場面選択のために設計されるユーザメニュー内に提示されてもよい。
いったん場面が保存されると、それらは、保存された場面の仮想コンテンツが、場面が開かれたユーザの拡張現実環境に現れるように、ユーザによって開かれてもよい。拡張現実システムへの例示的ユーザインターフェースでは、場面が、場面を開くことをトリガするためのアイコンの選択を示す方法で、保存された場面アイコンを選択することによって、開かれてもよい。インジケーションは、ロードアイコン等のコマンドのユーザ開始を介してもよい、または、例えば、コンテキストから推論されてもよい。いくつかの実施形態では、ユーザは、保存された場面アイコンを選択してもよい。ユーザは、ボタンのクリック、ジェスチャ、および／または音声コマンド等の任意の好適なユーザ相互作用を使用して、保存された場面アイコンを選択してもよい。いくつかの実施形態では、本システムは、保存された場面アイコンを自動的に選択してもよい。例えば、本システムは、ユーザ場所に基づいて、保存された場面アイコンを自動的に選択してもよい。本システムは、ユーザが現在位置する部屋内で前もって保存された、保存された場面に対応する、保存された場面アイコンを自動的に選択してもよい。いくつかの実施形態では、本システムは、コンテキストに基づいて、保存された場面アイコンを自動的に選択してもよい。例えば、ユーザが、学校での場面を保存した場合、本システムは、ユーザが任意の教育設定にある場合、保存された場面アイコンを自動的に選択してもよい。
図１２は、保存された場面を選択し、開くためのステップを含む。ステップ１２１０では、保存された場面アイコンが、そのデフォルト場所から移動される。いくつかの実施形態では、保存された場面アイコンは、１つ以上の保存された場面を表す、１つ以上の保存された場面アイコンを含有し得る、保存された場面ユーザメニュー内に位置する。いくつかの実施形態では、保存された場面アイコンは、保存された場面ユーザメニュー内に位置せず、代わりに、隔離されたアイコンである。例えば、保存された場面アイコンは、保存された場面内に自動的に設置されてもよい。具体的実施例として、保存された場面アイコンは、保存されたＰＣＦ場所に、または場面が保存されたときにユーザがいた場所に、自動的に設置されてもよい。
ステップ１２１２では、保存された場面アイコンが、ユーザの環境に設置されてもよい。いくつかの実施形態では、ユーザは、例えば、マルチＤＯＦコントローラ上のボタンを押下することによって、保存された場面ユーザメニュー１２０８から保存された場面アイコンを選択してもよい。コントローラを移動させることによって、ユーザは、次いで、ユーザメニュー１２１０から保存された場面アイコンを引き出し、次いで、マルチＤＯＦコントローラ上のボタンを解放することによって、保存された場面アイコン１２１２を設置することができる。いくつかの実施形態では、ユーザは、例えば、マルチＤＯＦコントローラ上のボタンを押下することによって、そのデフォルトの保存されたＰＣＦ場所１２０８から保存された場面アイコンを選択してもよい。ユーザは、次いで、デフォルトの保存されたＰＣＦ場所１２１０から外に保存された場面アイコンを移動させ、次いで、マルチＤＯＦコントローラ上のボタンを解放することによって、例えば、ユーザの現在の場所のより近くに、保存された場面アイコン１２１２を設置してもよい。いくつかの実施形態では、本システムは、保存された場面アイコン１２１２を自動的に設置してもよい。例えば、本システムは、保存された場面アイコンをユーザから固定された距離まで自動的に移動させてもよい、またはトーテムの先端等にマルチＤＯＦコントローラに対して保存された場面アイコンを自動的に設置してもよい。いくつかの実施形態では、本システムは、例えば、挟むまたは指し示すジェスチャ等の特定のジェスチャが実施される場合、ユーザの手に対して固定された場所に保存された場面アイコンを自動的に設置してもよい。設置がシステムによって、またはユーザによって自動的に実施されるかどうかにかかわらず、任意の他の好適な方法が、保存された場面アイコン１２１２を設置するために使用されてもよい。
ステップ１２１２の後に、保存された場面アイコンは、オリジナル場面のコピーにインスタンス化されてもよい１２２０、または保存された場面アイコンは、ステップ１２１４－１２１８によってさらに操作されてもよい。
ステップ１２１４では、ユーザは、保存された場面が開かれることになる場所を示す、視覚アンカノードの位置を選択してもよい。いったん視覚アンカノードが、選択されると、保存された場面が開かれるときに、本システムは、仮想コンテンツが、保存された場面アンカノードに対して有するものと同一の空間関係を視覚アンカノードに対して伴って現れるように、視覚アンカノードと整合される保存された場面アンカノードを伴って、保存された場面の仮想コンテンツをレンダリングしてもよい。いくつかの実施形態では、保存された場面アイコンは、視覚アンカノードの場所を示してもよい。いくつかの実施形態では、保存された場面アイコンは、設置された１２１２後に、その視覚表現を変化させ、以前はユーザに可視ではなかった視覚アンカノードを備えてもよい。いくつかの実施形態では、保存された場面アイコンは、視覚アンカノードの異なる視覚表現と置換されてもよい。いくつかの実施形態では、保存された場面アイコンおよび視覚アンカノードは、同一である。いくつかの実施形態では、視覚アンカノードは、保存された場面アンカノードの視覚表現を提供する、保存された場面アイコンと別個のアイコンであってもよい。
保存された場面アンカノードは、保存された場面内の保存された場面オブジェクトの間で一貫した空間相対性を維持するために、全ての保存された場面オブジェクトが相対的に設置される、ルートノードであってもよい。いくつかの実施形態では、保存された場面アンカノードは、保存された場面データの少なくとも一部を表す、ノードの保存された場面階層内の最高ノードである。いくつかの実施形態では、保存された場面アンカノードは、保存された場面データの少なくとも一部を表す、階層構造内のアンカノードである。いくつかの実施形態では、保存された場面アンカノードは、相互に対して保存された場面オブジェクトを設置するための参照点として作用してもよい。いくつかの実施形態では、保存された場面アンカノードは、保存された場面オブジェクトに関するシーングラフを表し得る。
視覚アンカノードがユーザに現れる方法にかかわらず、ユーザは、ユーザインターフェースを通して、視覚アンカノードの場所を設定するようにシステムに命令してもよい。ステップ１２１６では、ユーザは、視覚アンカノードを移動させてもよい。いくつかの実施形態では、視覚アンカノードが、移動されるとき、仮想場面オブジェクトは、視覚アンカノードとともに移動する。いくつかの実施形態では、視覚アンカノードは、保存された場面アンカノードの視覚表現である。いくつかの実施形態では、視覚アンカノードは、それを用いて保存された場面アンカノードの場所および配向を操作するための点および座標系を提供し得る。いくつかの実施形態では、視覚アンカノード１２１６を移動させることは、平行移動、回転、および／または６ＤＯＦ移動を意味し得る。
ステップ１２１８では、ユーザは、視覚アンカノードを設置してもよい。いくつかの実施形態では、ユーザは、例えば、トーテム上のボタンを押すことによって、視覚アンカノード１２１４を選択してもよい。ユーザは、次いで、ユーザの実世界環境内で視覚アンカノード１２１６を移動させ、次いで、例えば、トーテム上のボタンを解放することによって、視覚アンカノード１２１８を設置してもよい。視覚アンカノードを移動させることは、ユーザの実世界に対して保存された場面全体を移動させる。ステップ１２１４－１２１８は、ユーザの実世界内の保存された場面オブジェクトの全てを移動させるように機能し得る。いったん保存された場面が、所望の場所に来ると、保存された場面は、インスタンス化されてもよい１２２０。ステップ１２２０では、保存された場面をインスタンス化することは、保存された場面の完全なコピーがユーザに提示されることを意味し得る。しかしながら、保存された場面の仮想コンテンツは、拡張現実システムによってレンダリングされる他の仮想コンテンツと同一の物理および他の特性を伴って提示され得ることを理解されたい。保存された場面が開かれる場所で物理的オブジェクトによって遮蔽される仮想コンテンツは、ユーザに可視ではない場合がある。同様に、視覚場面アンカノードに対するその位置によって決定されるような仮想コンテンツの位置が、ユーザのＦＯＶの外側にあり得るとき、同様に、場面を開く時間に可視ではない場合がある。拡張現実システムは、それでもなお、それをレンダリングするために利用可能な本仮想コンテンツについての情報を有してもよく、これは、本仮想コンテンツがユーザに可視となるように、ユーザの姿勢または環境が変化するときに生じ得る。
ステップ１２２０の後に、本プロセスは、ステップ１２０８から開始することを繰り返してもよい。本ループは、ユーザが、一度に１つを上回る保存された場面をユーザの環境にロードすることを可能にし得る。
一例示的実施形態では、プロセス１２００は、ユーザが、コンポーネント（例えば、アプリケーションからの操作可能なオブジェクトとして提供される、事前設計、事前ロードされた）仮想構築ブロックからユーザの家のレプリカを構築すること等、１つ以上のコンポーネント仮想オブジェクト部品を場面にすでに組み立てているユーザから開始する。ユーザは、次いで、カメラアイコン１２０２を選択し、場面１２０４をフレームに入れ、場面が備える内容をユーザが思い出すことを助け、次いで、ユーザは、ボタンを押下し、ユーザの家のレプリカの画像１２０６を捕捉する。本時点で、ユーザの家のレプリカは、システムに保存され、ユーザの家のレプリカに対応する、保存された場面アイコンが、保存された場面ユーザメニュー内でユーザに表示されてもよい。ユーザは、システムをオフにし、その夜は就寝し、次いで、次の日に構築を再開してもよい。ユーザは、トーテム上のボタンをクリックすることによって、保存された場面ユーザメニューからユーザの家のレプリカに対応する、保存された場面アイコン１２０８を選択し、保存された場面ユーザメニュー１２１０から保存された場面を引き出し、次いで、保存された場面アイコンを所望の場所までドラッグし、トーテム上のボタンを解放することによって、ユーザの正面に保存された場面アイコン１２１２を設置してもよい。保存された場面オブジェクトのプレビューが、保存された場面オブジェクトに対して中心に位置する視覚アンカノードを伴って、ユーザに自動的に現れてもよい。プレビューは、保存された場面の白く塗られた空間的に正しい視覚のみのコピーとして現れてもよい。ユーザは、プレビューに基づいて、保存された場面が位置する場所を変化させることを決定してもよく、したがって、トーテム上のボタンをクリックすることによって、視覚アンカノード１２１４を選択し、トーテムを移動させることによって、視覚アンカノード１２１６を移動させ（これは、保存された場面オブジェクトの全てを視覚アンカノードとともに移動させ、視覚アンカノードに対して、保存された場面オブジェクトの間で内部に相対的位置付けを維持し得る）、次いで、トーテム上のボタンを解放することによって、ユーザの環境内の異なる場所に視覚アンカノード１２１８を設置してもよい。ユーザは、次いで、ユーザメニューから「場面をロードする」仮想ボタンを選択してもよく、これは、保存された場面をインスタンス化させ１２２０、したがって、完全な保存された場面データ（例えば、それが保存された場所と異なる場所を潜在的に除く、オリジナル場面の正確なコピー）をレンダリングすることによって、仮想場面を完全にロードし得る。
（場面を保存するためのプロセス）
図１３Ａは、本明細書に説明されるシステムおよび方法を使用して、場面を保存するための例示的プロセス１３００ａを図示する。プロセス１３００ａは、すでに開いており、ユーザが、１つ以上の事前設計された仮想オブジェクトをユーザの実世界環境の中に設置することを可能にし得る、上記に説明されるウェアラブルシステム２００および／または９００等のＡＲ／ＶＲ／ＭＲウェアラブルシステム上で起動する、アプリケーションを用いて、開始してもよい。ユーザの環境は、すでにメッシュ化されていてもよい（例えば、アプリケーションに利用可能な世界メッシュがすでに作成されている）。いくつかの実施形態では、世界メッシュは、例えば、図７および／または図８からのマップデータベース７１０等のマップデータベースへの入力であってもよい。世界メッシュは、マップデータベース内に記憶される、より大型の世界メッシュを形成するように、他のユーザから、または異なるセッションからの同一のユーザから、および／または経時的に、世界メッシュと組み合わせられてもよい。より大型の世界メッシュは、パス可能な世界と呼ばれ得、オブジェクトタグ、場所タグ、および同等物に加えて、実世界からのメッシュデータを備えてもよい。いくつかの実施形態では、アプリケーションに利用可能なメッシュ化された実世界環境は、任意のサイズであってもよく、ウェアラブルシステムの処理能力によって決定されてもよい（アプリケーションに配分される最大配分算出リソースを超越し得ない）。いくつかの実施形態では、アプリケーションに利用可能なメッシュ化された実世界環境（世界メッシュ）は、１０フィートの高さを伴って１５フィート×１５フィートの占有面積を有してもよい。いくつかの実施形態では、アプリケーションに利用可能な世界メッシュは、ユーザが位置する部屋または建物のサイズであってもよい。いくつかの実施形態では、アプリケーションに利用可能な世界メッシュサイズおよび形状は、アプリケーションが最初に開かれるときにウェアラブルシステムによってメッシュ化される、最初の３００平方フィートであってもよい。いくつかの実施形態では、アプリケーションに利用可能なメッシュは、最大閾値が満たされるまでメッシュ化される、最初の面積および体積である。任意の他の表面積または体積測定値も、ウェアラブルシステムが利用可能な算出リソースを有する限り、任意の数量で使用されてもよい。アプリケーションに利用可能な世界メッシュの形状は、任意の形状であってもよい。いくつかの実施形態では、表面積が、アプリケーションに利用可能な世界メッシュに関して画定されてもよく、正方形、長方形、円、多角形等の形状であり得、１つの連続面積であってもよい、または（例えば、合計が最大表面積閾値を超越しない限り）２つ以上の不連続面積であってもよい。いくつかの実施形態では、体積が、アプリケーションに利用可能な世界メッシュに関して画定されてもよく、立方体、球体、円環体、円柱、直方体、円錐、角錐、角柱等であってもよく、連続体積であってもよい、または（例えば、合計が最大体積閾値を超越しない限り）２つ以上の不連続体積であってもよい。
例示的プロセス１３００ａは、図１２に関して説明されるように、カメラアイコンが選択されるときに、ステップ１２０２から開始してもよい。ステップ１２０２は、本システムに、仮想レンダリングカメラを仮想レンダリング場面１３０４の中に設置させてもよい。仮想レンダリング場面は、１つ以上のプロセッサ（例えば、処理モジュール２６０または２７０、または遠隔データリポジトリ２８０、またはウェアラブルシステム２００等）上のデータの操作によって作成される、ユーザに利用可能な全てのレンダリング可能な仮想コンテンツのデジタル表現であってもよい。１つ以上の仮想レンダリングカメラが、仮想レンダリング場面内に設置されてもよい。仮想レンダリングカメラは、仮想レンダリングカメラが、（仮想レンダリング世界）空間内の場所および配向を有し、その場所および配向から３Ｄ場面の２Ｄ画像を捕捉し得るという点で、実世界カメラと同様に機能してもよい。
仮想レンダリングカメラは、ウェアラブルシステムのためのレンダリングパイプラインのための入力として作用してもよく、仮想レンダリングカメラの場所および配向は、レンダリングカメラが指し示しているもののインジケーションとしてユーザにレンダリングされるであろう、ユーザの環境の一部に存在する仮想コンテンツを含む、環境のその部分を画定する。レンダリングパイプラインは、ウェアラブルシステムがデジタルデータをユーザに表示する準備ができている仮想コンテンツに変換するために要求される、１つ以上のプロセスを含んでもよい。いくつかの実施形態では、ウェアラブルシステムのためのレンダリングは、処理モジュール１６０および／または２７０の一部である、またはそれに接続され得る、グラフィック処理ユニット（ＧＰＵ）内に位置し得る、レンダリングエンジン内で生じ得る。いくつかの実施形態では、レンダリングエンジンは、画像をディスプレイ２２０に提供し得る、ＧＰＵ内のソフトウェアモジュールであってもよい。いくつかの実施形態では、仮想レンダリングカメラは、仮想レンダリングカメラが、図１２のコンテキストに説明されるように、仮想カメラビューファインダを通したデフォルトビューと同一の視点および／またはＦＯＶを有するような位置および配向で、仮想レンダリング場面内に設置されてもよい。
いくつかの実施形態では、時として、「レンダリングカメラ」、「ピンホール視点カメラ」（または単に「視点カメラ」）、または「仮想ピンホールカメラ」とも称される、「仮想レンダリングカメラ」は、可能性として、仮想世界内のオブジェクトのデータベースから、仮想画像コンテンツをレンダリングする際に使用するためのシミュレートされたカメラである。オブジェクトは、ユーザまたは装着者に対する、かつ可能性としてユーザまたは装着者を囲繞する環境内の実際のオブジェクトに対する、場所および配向を有してもよい。換言すると、レンダリングカメラは、そこからユーザまたは装着者が仮想レンダリング世界空間の３Ｄ仮想コンテンツ（例えば、仮想オブジェクト）を視認することになる、レンダリング空間内の視点を表し得る。ユーザは、仮想レンダリングカメラの視点から捕捉される２Ｄ画像を視認することによって、レンダリングカメラ視点を視認し得る。レンダリングカメラは、該眼に提示されるべき仮想オブジェクトのデータベースに基づいて、仮想画像をレンダリングするように、レンダリングエンジンによって管理されてもよい。仮想画像は、ユーザまたは装着者の視点から、ステップ１２０４において場面をフレームに入れ得る仮想カメラの視点から、または任意の他の所望の視点から撮影された場合のようにレンダリングされてもよい。例えば、仮想画像は、内因性パラメータの具体的セット（例えば、焦点距離、カメラピクセルサイズ、主点座標、スキュー／歪みパラメータ等）と、外因性パラメータの具体的セット（例えば、仮想世界に対する平行移動成分および回転成分）とを有する、ピンホールカメラ（「レンダリングカメラ」に対応する）によって捕捉された場合のようにレンダリングされてもよい。仮想画像は、レンダリングカメラの位置および配向（例えば、レンダリングカメラの外因性パラメータ）を有する、そのようなカメラの視点から撮影される。
本システムは、内因性および外因性レンダリングカメラパラメータを定義および／または調節してもよい。例えば、本システムは、仮想画像が、ユーザまたは装着者の視点からであるように現れる画像を提供するように、ユーザまたは装着者の眼に対して具体的場所を有するカメラの視点から捕捉された場合のようにレンダリングされ得るように、外因性レンダリングカメラパラメータの特定のセットを定義してもよい。本システムは、後に、例えば、眼追跡のために使用されるような、該具体的場所との位置合わせを維持するように、オンザフライで外因性レンダリングカメラパラメータを動的に調節してもよい。同様に、内因性レンダリングカメラパラメータが、定義され、経時的に動的に調節されてもよい。いくつかの実装では、画像は、ユーザまたは装着者の眼に対する具体的場所（視点の中心または回転の中心、または他の場所等）に開口（例えば、ピンホール）を有するカメラの視点から捕捉された場合のように、レンダリングされる。
レンダリングパイプラインおよびレンダリングカメラに関連する方法およびシステムを説明する、さらなる詳細が、「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ ａｎｄ Ｃｏｍｂｉｎｉｎｇ Ｓｔｒｕｃｔｕｒａｌ Ｆｅａｔｕｒｅｓ ｉｎ ３Ｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ」と題された、米国非仮特許出願第１５／２７４，８２３号、および「Ｖｉｒｔｕａｌ， ａｕｇｍｅｎｔｅｄ， ａｎｄ ｍｉｘｅｄ ｒｅａｌｉｔｙ ｓｙｓｔｅｍｓ ａｎｄ ｍｅｔｈｏｄｓ」と題された、米国非仮特許出願第１５／６８３，６７７号（参照することによってその全体として本明細書に明示的に組み込まれる）で提供されている。
ステップ１３０６では、本システムは、ステップ１２０４においてフレームに入れられるような、フレームに入れられた場面１３０６をレンダリングしてもよい。いくつかの実施形態では、本システムは、仮想カメラの場所および／または配向が、場面フレーミング１２０４の間に、または任意の他の好適な時間に変化するときに、システムによって定義される通常リフレッシュ率においてフレームに入れられた場面をレンダリングしてもよい。いくつかの実施形態では、仮想カメラがステップ１２０４の間に移動するにつれて、仮想レンダリングカメラは、仮想レンダリング場面内の対応する移動とともに移動し、仮想カメラ視点に対応する視点を維持する。いくつかの実施形態では、仮想レンダリングカメラは、仮想レンダリングカメラに利用可能な全てのレンダリング可能なデータがレンダリングパイプラインに送信されることを要求し得る。レンダリング可能なデータは、仮想コンテンツをユーザに表示するためにウェアラブルシステムによって要求されるデータの集合であってもよい。レンダリング可能なデータは、仮想コンテンツをレンダリングするためにウェアラブルシステムによって要求されるデータの集合であってもよい。レンダリング可能なデータは、仮想レンダリングカメラの視野内の仮想コンテンツを表し得る。代替として、または加えて、レンダリング可能なデータは、物理的世界内のオブジェクトを表し、ウェアラブルシステムのセンサを用いて入手される物理的世界の画像から抽出され、レンダリングされ得る形式に変換される、データを含んでもよい。
例えば、ウェアラブル拡張現実システムのカメラを用いて収集される画像から生成され得る、未加工世界メッシュデータは、レンダリング可能ではない場合がある。未加工世界メッシュデータは、頂点の集合であってもよく、したがって、３Ｄオブジェクトまたは表面としてユーザに表示され得るデータではなくてもよい。未加工テキスト形式の未加工世界メッシュデータは、仮想カメラ（およびそれらの視点が同期化されるため、仮想レンダリングカメラ）の場所に対して３つの点（ｘ、ｙ、およびｚ）を備える、頂点を備えてもよい。未加工テキスト形式の未加工世界メッシュデータはまた、例えば、各頂点が接続される他のノードまたは頂点を表すデータを備えてもよい。各頂点は、１つ以上の他の頂点に接続されてもよい。いくつかの実施形態では、世界メッシュデータは、頂点が接続される他のノードを規定する、空間内の場所およびデータであると考えられ得る。未加工世界メッシュデータ内の頂点および接続頂点データは、続いて、多角形、表面、故に、メッシュを構築するために使用されてもよいが、未加工世界メッシュデータをレンダリング可能にするために付加的データを要求するであろう。例えば、シェーダ、または同一の機能を実施することが可能な任意の他のプログラムが、未加工世界メッシュデータを可視化するために使用されてもよい。プログラムは、自動的に未加工世界メッシュデータを計算的に可視化するためのルールのセットに従ってもよい。シェーダは、各頂点場所にドットを描き、次いで、各頂点と頂点に接続される頂点のセットとの間に線を描くようにプログラムされてもよい。シェーダは、１つ以上の色、パターン等（例えば、青色、緑色、虹色、格子縞等）でデータを可視化するようにプログラムされてもよい。いくつかの実施形態では、シェーダは、世界メッシュデータの点および接続を図示するように設計されるプログラムである。いくつかの実施形態では、シェーダは、線およびドットを接続し、テクスチャまたは他の視覚的発現が追加され得る表面を作成してもよい。いくつかの実施形態では、レンダリング可能な世界メッシュデータは、ＵＶ座標等のＵＶデータを備えてもよい。いくつかの実施形態では、レンダリング可能な世界メッシュデータは、未加工世界メッシュデータ内の頂点の間の重複または障害物を決定するための深度チェックを備えてもよい、または深度チェックは、代替として、別個のプロセスとしてレンダリングパイプライン内で実施されてもよい。いくつかの実施形態では、シェーダおよび／または他のプロセスを適用し、未加工世界メッシュデータを可視化することは、ユーザが、典型的には非視覚データであるものを可視化し、続いて、視認することを可能にする。いくつかの実施形態では、他の未加工データまたは従来的に非視覚的なデータが、未加工世界メッシュデータに関して説明されるプロセスを使用して、レンダリング可能なデータに変換されてもよい。例えば、空間内に場所を有するあらゆるものが、例えば、シェーダを適用することによって、可視化されてもよい。いくつかの実施形態では、ＰＣＦが、ＰＣＦのように位置付けられ、配向され得る、アイコンを定義するデータを提供すること等によって、可視化されてもよい。
レンダリング可能なデータ（例えば、レンダリング可能な３Ｄデータ、３Ｄレンダリング可能デジタルオブジェクト）の別の実施例は、ビデオゲームの中のキャラクタ、仮想アバタ、または図１２に関して説明されるようにユーザの家のレプリカを構築するために使用される構築ブロック等の３Ｄ仮想オブジェクトに関するデータである。３Ｄ仮想オブジェクトに関するレンダリング可能なデータは、メッシュデータと、メッシュレンダラデータとを備えてもよい。いくつかの実施形態では、メッシュデータは、頂点データ、法線データ、ＵＶデータ、および／または三角形インデックスデータのうちの１つ以上のものを備えてもよい。いくつかの実施形態では、メッシュレンダラデータは、１つ以上のテクスチャデータセットと、１つ以上の性質（例えば、光沢、鏡面反射レベル、粗度、散乱色、周囲色、鏡面反射色等の材料性質等）とを備えてもよい。
いくつかの実施形態では、仮想レンダリングカメラは、レンダリングされるべきレンダリング可能なデータのサブセットを決定する、設定を有してもよい。例えば、仮想レンダリングカメラは、レンダリング可能なデータの３つのセット、すなわち、仮想オブジェクト、世界メッシュ、およびＰＣＦをレンダリングすることが可能であり得る。仮想カメラは、仮想オブジェクトのみ、世界メッシュのみ、ＰＣＦのみ、またはレンダリング可能なデータのそれらの３つのセットの任意の組み合わせをレンダリングするように設定されてもよい。いくつかの実施形態では、レンダリング可能なデータの任意の数のサブセットが存在し得る。いくつかの実施形態では、仮想レンダリングカメラを設定し、仮想オブジェクトデータを用いて世界メッシュデータをレンダリングすることは、ユーザが、従来的に非視覚的なデータ（例えば、未加工世界メッシュデータ）に重ね合わせられる従来的視覚データ（例えば、３Ｄ仮想オブジェクト）を見ることを可能にし得る。
図１３Ｂは、本明細書に説明されるシステムおよび方法を使用して、フレームに入れられた場面をレンダリングするための例示的プロセス１３００ｂを図示する。プロセス１３００ｂは、ステップ１３０６をより詳細に説明し得る。フレームに入れられた場面をレンダリングするためのプロセス１３００ｂは、レンダリング可能なデータを要求するステップ１３１８から開始し得る。いくつかの実施形態では、図１２の仮想カメラに対応し得る、仮想レンダリングカメラは、仮想レンダリング場面内で仮想レンダリングカメラのＦＯＶ内に位置する全てのレンダリング可能なオブジェクトに関するレンダリング可能なデータを要求する。いくつかの実施形態では、仮想レンダリングカメラは、仮想レンダリングカメラが要求するようにプログラムされた、オブジェクトに関するレンダリング可能なデータのみを要求し得る。例えば、仮想レンダリングカメラは、３Ｄ仮想オブジェクトに関するレンダリング可能なデータのみを要求するようにプログラムされてもよい。いくつかの実施形態では、仮想レンダリングカメラは、３Ｄ仮想オブジェクトに関するレンダリング可能なデータおよび世界メッシュデータに関するレンダリング可能なデータを要求し得る。
ステップ１３２０では、レンダリング可能なデータが、レンダリングパイプライン１３２０に送信される。いくつかの実施形態では、レンダリングパイプラインは、ウェアラブルシステム２００等のウェアラブルシステムのためのレンダリングパイプラインであってもよい。他の実施形態では、レンダリングパイプラインは、異なるデバイス上に、異なるコンピュータ上に位置する、または遠隔で実施されてもよい。ステップ１３２２では、レンダリングされた場面が、作成される。いくつかの実施形態では、レンダリングされた場面は、レンダリングパイプラインの出力であってもよい。いくつかの実施形態では、レンダリングされた場面は、３Ｄ場面の２Ｄ画像であってもよい。いくつかの実施形態では、レンダリングされた場面は、ユーザに表示されてもよい。いくつかの実施形態では、レンダリングされた場面は、表示される準備ができているが、実際には表示されていない、場面データを備えてもよい。
いくつかの実施形態では、本システムは、フレームに入れられた場面をレンダリングし、仮想カメラビューファインダを通して、レンダリングされた場面をユーザに表示する。これは、仮想カメラが移動している際でも、ユーザがフレームに入れられた場面を視認し、画像を捕捉するステップ１２０６がその時点で実施された場合に捕捉されるであろう２Ｄ画像をプレビューすることを可能にし得る。いくつかの実施形態では、レンダリングされた場面は、視覚的および非視覚的なレンダリング可能なデータを備えてもよい。
ステップ１２０４の後に、ユーザは、画像を捕捉することを選定する１２０６、またはキャンセルを選択し１３０２、場面保存プロセス１３００ａをキャンセルしてもよい。いくつかの実施形態では、ステップ１３０２は、ユーザによって実施されてもよい。いくつかの実施形態では、ステップ１３０２は、システムによって自動的に実施されてもよい。例えば、本システムが、（例えば、フレーム内の仮想オブジェクトの全てを捕捉するように）プログラムされる仕様通りに、ステップ１２０４において場面を自動的にフレームに入れることができない場合、本システムは、ステップ１３０２において、場面保存プロセス１３００ａを自動的にキャンセルしてもよい。キャンセルが、ステップ１３０２において選択される場合、本システムは、プロセス１２００から、例えば、仮想レンダリング場面１３０８から、仮想カメラに対応する仮想レンダリングカメラを除去する。
画像が、ステップ１２０６において捕捉される場合、本システムは、２Ｄ画像１３１０を捕捉する。いくつかの実施形態では、本システムは、仮想レンダリング場面内の仮想レンダリングカメラを利用して、（レンダリングされている２Ｄ画像を表すデータを記憶する）写真を撮影することによって、２Ｄ画像を捕捉する。いくつかの実施形態では、仮想レンダリングカメラは、実世界カメラと類似的に機能し得る。仮想レンダリングカメラは、仮想レンダリングカメラの視点から２Ｄ画像平面上への３Ｄ場面の投影を捕捉することによって、３Ｄ場面データを２Ｄ画像に変換してもよい。いくつかの実施形態では、３Ｄ場面データは、ピクセル情報として捕捉される。いくつかの実施形態では、仮想レンダリングカメラが、レンダリング可能なデータの１つのサブセットと全てのサブセットとの間のいずれかの場所で捕捉するようにプログラムされてもよい一方、実世界カメラが、ビューに存在する全てのものを捕捉するため、仮想レンダリングカメラは、実世界カメラに類似しない。ステップ１３１０において捕捉される２Ｄ画像は、カメラが捕捉するようにプログラムされる、レンダリング可能なデータのサブセットのみを備えてもよい。レンダリング可能なデータのサブセットは、３Ｄオブジェクト等の従来的視覚データおよび／または世界メッシュまたはＰＣＦ等の従来的な非視覚データを備えてもよい。
ステップ１３１２および１３１４では、本システムは、場面を保存する。場面を保存するステップは、仮想レンダリングカメラによってレンダリングされている仮想コンテンツを表すデータ、いくつかの実施形態では、位置情報等の上記に説明されるような保存された場面データのタイプのうちのいずれかまたは全てを保存するステップを伴い得る。ステップ１３１２では、本システムは、場面を最近傍ＰＣＦに結び付ける。アプリケーションは、ＰＣＦ ＩＤの要求を、ＰＣＦおよびそれらの対応する場所のリストを管理する下位レベルシステム動作に送信してもよい。下位レベルシステム動作は、ＰＣＦデータを備え得る、マップデータベースを管理してもよい。いくつかの実施形態では、ＰＣＦは、別個のＰＣＦアプリケーションによって管理される。場面に結び付けられるＰＣＦは、保存されたＰＣＦと呼ばれ得る。
ステップ１３１４では、本システムは、保存された場面データをウェアラブルシステムの恒久メモリに書き込む。いくつかの実施形態では、恒久メモリは、ハードドライブであってもよい。いくつかの実施形態では、恒久メモリは、上記に説明されるようなローカル処理およびデータモジュール２６０であってもよい。いくつかの実施形態では、保存された場面データは、保存された場面を完全に表すデータを備えてもよい。いくつかの実施形態では、保存された場面データは、保存された場面をユーザにレンダリングおよび表示するために、システムによって要求されるデータを備えてもよい。いくつかの実施形態では、保存された場面データは、保存されたＰＣＦ、保存された場面の画像、および／または保存された場面オブジェクトを備える。保存された場面オブジェクトは、保存された場面オブジェクトデータによって表され得る。いくつかの実施形態では、保存された場面オブジェクトデータは、オブジェクトの種類に関するタグを備えてもよい。保存された場面オブジェクトが、事前設計されたベースオブジェクトを修正することによって導出される、実施形態では、保存された場面オブジェクトデータはまた、保存された場面オブジェクトと事前設計されたベースオブジェクトとの間の差異を示してもよい。いくつかの実施形態では、保存された場面オブジェクトデータは、付加的性質および／または状態データを加えた、事前設計されたベースオブジェクト名を備えてもよい。いくつかの実施形態では、保存された場面オブジェクトデータは、保存された場面オブジェクトが、それが保存された方法のコピーとして再ロードするために要求され得る、状態、物理、および他の性質を加えたレンダリング可能なメッシュを備えてもよい。
ステップ１３１６では、本システムは、保存された場面アイコンをユーザメニューに追加してもよい。保存された場面アイコンは、保存された場面のための視覚表現であってもよく、随意に、ステップ１３１０において捕捉される２Ｄ画像を備えてもよい。保存された場面アイコンは、ユーザメニュー、例えば、保存された場面ユーザメニュー内に設置されてもよい。保存された場面ユーザメニューは、アプリケーションのための１つ以上の保存された場面を含有してもよい。
（保存された場面をロードするためのプロセス）
図１４は、本明細書に説明されるシステムおよび方法を使用して、場面をロードするための例示的プロセス１４００を図示する。プロセス１４００は、ユーザがユーザメニューを開く、ステップ１４０２から開始し得る。ユーザメニューは、１つ以上の保存された場面を表し得る、１つ以上の保存された場面アイコンを備えてもよい。いくつかの実施形態では、ユーザメニューは、保存された場面ユーザメニューであってもよい。ステップ１４０２に応答して、本システムは、ＰＣＦチェック１４２２を実施してもよい。ＰＣＦチェックは、ユーザの現在の位置に最も近いＰＣＦ（現在のＰＣＦ）を決定する、１つ以上のプロセスを含んでもよい。いくつかの実施形態では、アプリケーションが、ユーザの場所を決定してもよい。いくつかの実施形態では、場所は、ユーザの頭部姿勢場所に基づいてもよい。
保存されたＰＣＦが、現在のＰＣＦに合致する場合、保存された場面は、ユーザメニューの現在のＰＣＦセクション内に設置されてもよい１４２４。保存されたＰＣＦが、現在のＰＣＦに合致しない場合、保存された場面は、ユーザメニュー内の他のＰＣＦセクション内に設置されてもよい。いくつかの実施形態では、ステップ１４２４および１４２６は、例えば、ユーザメニューが、ユーザの現在の場所に基づいて保存された場面をカテゴライズしない場合、またはユーザの現在のＰＣＦが、決定されることができない場合、組み合わせられてもよい。プロセス１４００における本時点で、ユーザは、保存された場面ユーザメニューを視認してもよい。いくつかの実施形態では、ユーザメニューは、２つのセクション、すなわち、現在のＰＣＦに合致する保存されたＰＣＦを有する、保存された場面のための１つのセクション、および現在のＰＣＦに合致しない保存されたＰＣＦを有する、保存された場面のための第２のセクションに分離される。いくつかの実施形態では、２つのセクションのうちの１つは、空であり得る。
ステップ１４０４では、ユーザが、ユーザメニューから保存された場面アイコンを選択してもよい。ユーザメニューは、保存された場面ユーザメニューを備えてもよい。いくつかの実施形態では、ユーザは、トーテムまたは他のユーザコントローラ上のボタンのクリック等のユーザ相互作用を通して、保存された場面アイコンを選択してもよい。
ステップ１４０６では、ユーザは、選択される保存された場面の仮想コンテンツのコンテンツが、保存された場面が開かれることになるユーザの環境にロードされることを示す、アクションを講じてもよい。例えば、ユーザは、ユーザメニュー１４０６から保存された場面アイコンを除去してもよい。いくつかの実施形態では、ステップ１４０６は、ユーザが保存された場面アイコンを選択するために使用されるボタンを押し続けるにつれて生じ得る。ステップ１４２８は、ステップ１４０６の結果として生じ得る。保存された場面アイコンが、ユーザメニュー１４０６から除去されるとき、本システムは、保存された場面（または保存された場面データ）をハードドライブまたは他の恒久メモリ１４２８から揮発性メモリにロードしてもよい。
保存された場面コンテンツのための環境内の場所もまた、決定されてもよい。図示される実施形態では、保存された場面が、それが保存された同一の場所で開かれるとき、本システムは、場面が保存された時間に現れた同一の場所で保存された場面の視覚コンテンツを表示してもよい。代替として、保存された場面が、異なる場所で開かれる場合、ステップ４１６、１４１８、および１４２０に関連して下記に説明されるようなユーザ入力を受信するステップ等の代替アプローチが、使用されてもよい。場面が記憶されたときと同一の場所にオブジェクトを伴って保存された場面を開くことをサポートするために、ステップ１４３０では、本システムは、ＰＣＦチェックを実施してもよい。ＰＣＦチェックは、ユーザの現在の位置に最も近いＰＣＦ（現在のＰＣＦ）を決定する、１つ以上のプロセスを含んでもよい。いくつかの実施形態またはプロセス１４００では、ＰＣＦチェック１４２２またはＰＣＦチェック１４３０のいずれかが、両方の代わりに実施されてもよい。いくつかの実施形態では、付加的ＰＣＦチェックが、プロセス１４００に追加されてもよい。ＰＣＦチェックは、固定された時間間隔で（例えば、１分あたり１回、１秒あたり１回、５分毎に１回等）生じてもよい、またはユーザの場所の変化に基づいてもよい（例えば、ユーザ移動が、検出される場合、本システムは、付加的ＰＣＦチェックを追加してもよい）。
ステップ１４３２では、保存されたＰＣＦが、現在のＰＣＦに合致する場合、保存された場面オブジェクトは、ＰＣＦに対してプレビュー設置される。いくつかの実施形態では、プレビュー設置されることは、保存された場面データと関連付けられる視覚データのみをレンダリングするステップを含んでもよい。いくつかの実施形態では、プレビュー設置されることは、視覚データおよび／または付加的視覚データの外観を改変するための１つ以上のシェーダと組み合わせて、保存された場面データと関連付けられる視覚データをレンダリングするステップを含んでもよい。付加的視覚データの実施例は、視覚アンカノードから保存された場面オブジェクトのそれぞれまで延在する、１つ以上の線であってもよい。いくつかの実施形態では、ユーザは、保存された場面オブジェクトの場所を示す入力を提供すること等によって、ステップ１４３２を実施することに関与し得る。いくつかの実施形態では、本システムは、ステップ１４３２を自動的に実施してもよい。例えば、本システムは、保存された場面オブジェクトの中心における場所を計算し、次いで、中心に視覚アンカノードを設置することによって、ステップ１４３２を自動的に実施してもよい。
ステップ１４３４では、保存されたＰＣＦが、現在のＰＣＦに合致しない場合、保存された場面オブジェクトは、視覚アンカノードに対してプレビュー設置される。いくつかの実施形態では、相対的設置は、視覚アンカノードが保存された場面オブジェクトの中心にあるように、保存された場面オブジェクトを設置するステップであってもよい。代替として、保存された場面オブジェクトは、それらのオブジェクトが保存された場面アンカノードに対して有する同一の空間関係を視覚アンカノードに対して有するように位置付けられてもよい。いくつかの実施形態では、設置は、ユーザから離れた固定された距離（例えば、眼の高さでｚ方向にユーザから２フィート離れて）視覚アンカノードに設置することによって決定されてもよい。いくつかの実施形態では、ユーザは、視覚アンカノードの場所を示す入力を提供すること等によって、ステップ１４３４を実施することに関与し得る。いくつかの実施形態では、本システムは、ステップ１４３４を自動的に実施してもよい。例えば、本システムは、ユーザメニューから固定された距離に視覚アンカノードを自動的に設置することによって、ステップ１４３４を自動的に実施してもよい、または保存された場面がロードされることになるユーザの環境内の物理的または仮想オブジェクトの場所に対して視覚アンカノードの場所を選択してもよい。
ステップ１４３６では、本システムは、ユーザプロンプトをユーザに表示し、保存された場面をキャンセルするか、またはインスタンス化するかのいずれかを行ってもよい。ユーザプロンプトは、任意の好適な視覚的外観を有してもよく、少なくとも本システムに、場面を再び開くことをキャンセすること（例えば、プロセスが１４４０に進まない）、および／または場面をインスタンス化することのいずれかを行わせるために、１つ以上のユーザ相互作用を可能にするように機能してもよい。いくつかの実施形態では、ユーザプロンプトは、例えば、「キャンセル」または「場面をロードする」と標識されたボタン等の１つ以上の相互作用可能な仮想オブジェクトを表示してもよい。
いくつかの実施形態では、本システムは、ユーザが、アイコンを移動させることに応じてプレビューを視認することが可能であり得るように、保存された場面アイコンがステップ１４０６においてユーザメニューから除去されるとすぐに、保存された場面プレビューを表示してもよい。ステップ１４０８では、ユーザは、保存された場面アイコンを解放し、ユーザの実世界環境内に保存された場面アイコンを設置してもよい。ステップ１４１０では、ユーザは、保存された場面プレビューおよびユーザプロンプトを視認し、保存された場面のロードをキャンセルするか、または場面をインスタンスするかのいずれかが可能であり得る。いくつかの実施形態では、保存された場面プレビューは、保存された場面と関連付けられ、随意に、視覚データが修正された、視覚データのみを備えてもよい。いくつかの実施形態では、視覚データは、白く塗られて現れ得る。いくつかの実施形態では、保存された場面プレビューは、保存された場面データに対応する視覚データの残影プレビューとして現れ得る。いくつかの実施形態では、保存された場面プレビューは、プレビューが保存された場面に認識可能に類似して見えるが、同一の機能性または音声を有していない場合がある、データの中身のないコピーとして現れ得る。いくつかの実施形態では、保存された場面プレビューは、状態データまたは物理が適用されていない保存された場面データに対応する、視覚データであってもよい。
ステップ１４１２では、ユーザは、キャンセルを選択してもよい。ステップ１４１２は、本システムに、コンテンツを表示することを停止させ、揮発性メモリ１４３８から保存された場面を除去させてもよい。いくつかの実施形態では、本システムは、保存された場面コンテンツを表示することのみを停止させてもよいが、揮発性メモリ内に保存された場面を保ってもよい。いくつかの実施形態では、コンテンツは、ステップ１４０４において選択される保存された場面に特有であり得る、保存された場面データ、ユーザメニュー、ユーザプロンプト、または任意の他の仮想コンテンツの全てまたは一部を備えてもよい。
ステップ１４１４では、ユーザは、保存された場面をインスタンス化することを選択してもよい。いくつかの実施形態では、これは、ステップ１２２０と同一であり得る。いくつかの実施形態では、ステップ１４１４は、完全な保存された場面データ（例えば、それが保存された場所と異なる場所に潜在的にあることを除く、オリジナル場面の正確なコピー）をレンダリングすることによって、仮想場面を完全にロードしてもよい。いくつかの実施形態では、インスタンス化は、物理および状態データを視覚プレビューに適用するステップを含んでもよい。
ステップ１４１６では、ユーザは、視覚アンカノードを選択してもよい。ステップ１４１８では、ユーザは、視覚アンカノードを移動させてもよい。これは、本システムに、視覚アンカノード場所に合致するように保存された場面親ノード場所を移動させてもよい１４４２。いくつかの実施形態では、視覚アンカノード場所は、保存された場面データの中の他のいずれも修正することなく、移動されてもよい。これは、その視覚アンカノードが位置し得る場所にかかわらず、保存された場面オブジェクトと保存された場面アンカノードとの間の空間関係を留保する様式で、視覚アンカノードに対して保存された場面オブジェクトを設置することによって、達成され得る。いくつかの実施形態では、本プロセスは、ステップ１４４２の後にステップ１４３６に戻るようにループし得る。
ステップ１４２０では、ユーザは、視覚アンカノードの場所を示す、視覚アンカノードを解放してもよい。本プロセスは、ステップ１４２０の後にステップ１４１０に戻るようにループし得、そこで、ユーザは、再度、保存された場面のロードをキャンセルする１４１２、保存された場面をインスタンス化する１４１４、または視覚アンカノード（故に、相互に空間的に一致したままである、保存された場面オブジェクト全体）を移動させる１４１６－１４２０オプションを有する。
いくつかの実施形態では、本システムは、部分的または完全に自動的に、システムとのユーザ相互作用を伴うものとして説明される、ステップ１４０２－１４２０のうちの１つ以上のものを実施してもよい。ステップ１４０２－１４２０を自動的に実施するシステムの一例証的実施例では、本システムは、現在のＰＣＦが保存されたＰＣＦに合致するときに、ユーザメニュー１４０２を自動的に開いてもよい。本システムは、アプリケーションが起動している時間全体にＰＣＦチェックプロセスを起動させてもよい、または本システムは、固定された間隔で（例えば、１分毎に）ＰＣＦチェックをリフレッシュしてもよい、または本システムは、本システムが変化（例えば、ユーザ移動）を検出する場合、ＰＣＦチェックを起動してもよい。ステップ１４０２では、本システムは、現在のＰＣＦに合致する保存されたＰＣＦを伴って１つだけの保存された場面が存在する場合、保存された場面を自動的に選択してもよい。ステップ１４０６では、本システムは、現在のＰＣＦが閾値時間周期（例えば、５分）を上回って保存されたＰＣＦに合致する場合、ユーザメニューから保存された場面アイコンを自動的に除去してもよい。ステップ１４０８では、本システムは、ユーザから固定された距離（例えば、ｘ方向にユーザの右に１フィート）において保存された場面アイコンを自動的に解放してもよい。ステップ１４１２では、本システムは、ユーザが部屋を退出する場合、プロセス１４００を自動的に無効にし、したがって、保存されたＰＣＦを現在のＰＣＦにもはや合致しなくさせ得る。ステップ１４１４では、本システムは、現在のＰＣＦが閾値時間周期を上回って保存されたＰＣＦに合致する場合、保存された場面を自動的にインスタンス化してもよい。本システムは、ユーザが移動している間に、視覚アンカノードを移動させ、ユーザに対して固定された相対空間関係を維持することによって（例えば、視覚アンカノードは、ｚ方向にユーザの正面の２フィートに固定される）、ステップ１４１６－１４２０を自動的に実施してもよい。
（保存された場面をロードするためのプロセス－共有経路）
図１５は、本明細書に説明されるシステムおよび方法を使用して、場面をロードするための例示的プロセス１５００を図示する。ステップ１５０２では、保存された場面アイコンが、選択されてもよい。いくつかの実施形態では、ユーザが、保存された場面アイコンを選択してもよい。いくつかの実施形態では、保存された場面アイコンは、ユーザメニューから選択されてもよい、またはユーザの実世界環境内に設置される独立型アイコンとして選択されてもよい。いくつかの実施形態では、保存された場面アイコンは、ウェアラブルシステムおよび／またはアプリケーションによって自動的に選択されてもよい。例えば、本システムは、ユーザに最も近い保存された場面アイコンを自動的に選択してもよい、または本システムは、場所にかかわらず最も頻繁に使用される、保存された場面アイコンを自動的に選択してもよい。
ステップ１５０４では、保存された場面アイコンは、そのデフォルト場所から移動される。いくつかの実施形態では、ユーザは、プロセス１４００におけるステップ１４０６に説明されるように、ユーザメニューから保存された場面アイコンを除去してもよい。いくつかの実施形態では、本システムは、（例えば、ユーザメニュー内、またはユーザの環境内の設置場所における）そのデフォルト位置から保存された場面アイコンを自動的に移動させてもよい。例えば、本システムは、保存された場面アイコンを自動的に移動させ、ユーザから固定された距離を維持してもよい。
本システムは、保存された場面が開かれている、ユーザの環境内の保存された場面オブジェクトのための場所を決定してもよい。いくつかの実施形態では、本システムは、視覚アンカノードをユーザに表示してもよく、ユーザが、視覚アンカノードの場所を移動させるコマンドを入力すること、および／または視覚アンカノードに対する保存された場面オブジェクトの位置付けによって、保存された場面オブジェクトが設置される場所に影響を及ぼすことを可能にし得る。いくつかの実施形態では、保存された場面オブジェクトはそれぞれ、保存された場面アンカノードに対する位置を有してもよく、保存された場面オブジェクトは、視覚アンカノードに対して同一の相対位置を有し、したがって、視覚アンカノードに保存された場面アンカノードを位置付けるように、位置付けられてもよい。
他の実施形態では、ユーザ入力が、１つ以上の保存された場面オブジェクトと視覚アンカノードとの間の空間関係を規定してもよい。ステップ１５０６では、視覚アンカノードが、保存された場面オブジェクトに対して設置されてもよい。保存された場面オブジェクトに対して視覚アンカノードを設置するステップは、特定の場所を保存された場面アンカに結ぶように機能してもよい。視覚アンカ場所の選択肢は、例えば、後に環境に対して保存された場面オブジェクトを設置するように、保存された場面がさらに操作され得る、容易性または困難の相対レベルに影響を及ぼし得る。いくつかの実施形態では、視覚アンカノードは、（ユーザが、例えば、保存された場面アイコンを選択して移動させるためのボタンを押下した場合）トーテム上のボタンを解放することによって、保存された場面オブジェクトに対して設置されてもよい。いくつかの実施形態では、ユーザは、保存された場面オブジェクトに関連して視覚アンカノードを設置する場所を選定してもよい。例えば、ユーザは、特定の保存された場面オブジェクトに近接近して視覚アンカノードを設置することを選定してもよい。ユーザは、特定のオブジェクトが設置される場所のみをユーザが気に掛ける場合、これを行うことを選定してもよい。いくつかの実施形態では、ユーザは、視覚アンカノードをさらに操作することを容易にする、特定の場所に視覚アンカノードを設置することを所望し得る。
ステップ１５０８では、保存された場面オブジェクトは、実世界に対してプレビュー設置されてもよい。いくつかの実施形態では、保存された場面オブジェクトは、視覚アンカノードを移動させることによって、実世界に対してプレビュー設置されてもよい。視覚アンカノードを移動させるステップは、保存された場面オブジェクトの全てを視覚アンカノードに対して移動させ、したがって、保存された場面内の保存された場面オブジェクトの間で固定された相対空間構成を維持してもよい。いくつかの実施形態では、視覚アンカノードを移動させるステップは、現在の視覚アンカノード場所に合致するようにアンカノード場所を変化させてもよい。いくつかの実施形態では、ユーザは、視覚アンカノードを操作し、ユーザの環境に対して所望の場所に保存された場面を設置してもよい。いくつかの実施形態では、本システムは、実世界に対して保存された場面オブジェクトを自動的にプレビュー設置してもよい。例えば、保存された場面のオブジェクトは、保存された場面が記憶された時間に、表面に対して位置付けられている場合がある。保存された場面を開くことに応じて、保存された場面オブジェクトを位置付けるために、本システムは、保存されたときに仮想オブジェクトが位置付けられた表面に類似する属性および／またはアフォーダンスを有する、最も近い表面を見出し得る。アフォーダンスの実施例は、表面配向（例えば、垂直表面、水平表面）、オブジェクトタイプ（例えば、テーブル、長椅子等）、または地面からの相対的高さ（例えば、低、中、高の高さカテゴリ）を含んでもよい。付加的タイプの属性またはアフォーダンスが、使用されてもよい。いくつかの実施形態では、本システムは、次の最も近いメッシュ化された表面上に実世界内のオブジェクトを自動的にプレビュー設置してもよい。
アフォーダンスは、オブジェクトと関連付けられるアクションまたは使用のための機会を与え得る、オブジェクトとオブジェクトの環境との間の関係を備えてもよい。アフォーダンスは、例えば、仮想オブジェクトまたは目的地オブジェクトの機能、配向、タイプ、場所、形状、またはサイズに基づいて、決定されてもよい。アフォーダンスはまた、仮想オブジェクトまたは目的地オブジェクトが位置する、環境に基づいてもよい。仮想オブジェクトのアフォーダンスは、仮想オブジェクトの一部としてプログラムされ、遠隔データリポジトリ２８０内に記憶されてもよい。例えば、仮想オブジェクトは、仮想オブジェクトの法線を示すベクトルを含むようにプログラムされてもよい。
例えば、仮想ディスプレイ画面（例えば、仮想ＴＶ）のアフォーダンスは、ディスプレイ画面が、画面に対する法線によって示される方向から視認され得ることである。垂直壁のアフォーダンスは、オブジェクトが、それらの表面が壁に対する法線と法線平行である状態で壁上に設置され得る（例えば、壁上に懸架する）ことである。仮想ディスプレイおよび壁の付加的アフォーダンスは、それぞれが、上部および底部を有することであり得る。オブジェクトと関連付けられるアフォーダンスは、オブジェクトが、垂直表面上で右側を上にして仮想ＴＶを自動的に懸架すること等のより現実的な相互作用を確実にすることに役立ち得る。
アフォーダンスを利用する、ウェアラブルシステムによる仮想オブジェクトの自動設置は、２０１８年２月１５日に公開された、米国特許公開第２０１８／００４５９６３号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
ステップ１５１０では、プレビュー設置される保存された場面オブジェクトが、実世界に対して移動されてもよい。いくつかの実施形態では、これは、視覚アンカノードを移動させることによって遂行され得る。例えば、ユーザは、挟むジェスチャを実施することによって視覚アンカノードを選択してもよく、所望の場所に到達されるまで、挟むジェスチャを維持しながら、視覚アンカノードを移動させてもよく、次いで、ユーザは、移動を停止し、挟むジェスチャを解放してもよい。いくつかの実施形態では、本システムは、実世界に対して保存された場面を自動的に移動させてもよい。
ステップ１５１２では、保存された場面が、インスタンス化されてもよい。場面をインスタンス化するステップは、保存された場面のプレビューバージョンのみを適用するステップとは対照的に、完全な保存された場面データを保存された場面オブジェクトに適用するステップを含んでもよい。例えば、保存された場面のプレビューは、視覚データまたは視覚データの修正されたバージョンのみを表示するステップを伴い得る。ステップ１５１２は、代わりに、新しいアンカノード場所を潜在的に有する保存された場面を除いて、データの残り（例えば、物理）を加えて、保存された場面データに保存されるような視覚データを表示してもよい。
（保存された場面をロードするためのプロセス－分割経路）
図１６は、本明細書に説明されるシステムおよび方法を使用して、場面をロードするための例示的プロセス１６００を図示する。
ステップ１６０２では、保存された場面アイコンが、選択されてもよい。いくつかの実施形態では、ステップ１６０２は、ステップ１５０２および／または１４０４と同一であり得る。いくつかの実施形態では、保存された場面アイコンは、保存された場面および／または保存された場面データの視覚表現であってもよい。いくつかの実施形態では、保存された場面アイコンは、視覚アンカノードと同一の視覚表現であってもよい。いくつかの実施形態では、保存された場面アイコンは、視覚アンカノードを備えてもよい。
ステップ１６０４では、保存された場面アイコンが、そのデフォルト場所から移動されてもよい。いくつかの実施形態では、ステップ１６０４は、ステップ１５０４および／または１４０６と同一であり得る。いくつかの実施形態では、ステップ１６０４は、トーテム上のボタンを押し続けながら、トーテムを周囲に動かすステップを含んでもよい。いくつかの実施形態では、ステップ１６０２は、トーテム上のボタンを押して解放し、オブジェクトを選択するステップを含んでもよく、ステップ１６０４は、保存された場面にトーテムとして対応する移動を行わせ得る、トーテムを周囲に動かすステップを含んでもよい。
いくつかの実施形態では、保存された場面は、それが最初に保存されたものと同一の場所でロードされてもよい（例えば、保存された場面オブジェクトは、場面が最初に保存されたときにそれらが存在した同一の実世界場所にある）。例えば、ユーザが、ユーザの台所内の場面を作成した場合、ユーザは、ユーザの台所で場面をロードしてもよい。いくつかの実施形態では、保存された場面は、場面が最初に保存されたものと異なる場所にロードされてもよい。例えば、ユーザが、その友人の家における場面を保存したが、ユーザが、自宅で場面と相互作用し続けることを所望する場合、ユーザは、ユーザの自宅で保存された場面をロードしてもよい。いくつかの実施形態では、本分割プロセス１６００は、プロセス１４００における１４３２と１４３４との間の分割に対応し得る。
ステップ１６０８では、視覚アンカノードが、保存された場面オブジェクトに対して設置されてもよい。いくつかの実施形態では、これは、保存された場面ＰＣＦがユーザの現在のＰＣＦに合致する（すなわち、場面が保存された同一の場所でロードされる）ときに生じ得る。例えば、アプリケーションは、それらが保存された場所と同一の実世界場所に保存された場面オブジェクトを自動的に設置する（例えば、プレビュー設置する）ようにプログラムされてもよい。この場合、そのデフォルト場所からの保存された場面アイコンの初期設置は、すでに設置されている保存された場面オブジェクトに対して視覚アンカノードを設置するように機能する。いくつかの実施形態では、保存されたＰＣＦが、現在のＰＣＦに合致するとき、本システムは、ユーザの環境内に保存された場面オブジェクトを自動的に設置し、例えば、プレビュー設置してもよく、ステップ１６０８は、保存された場面アンカのための場所を決定してもよい。いくつかの実施形態では、いったん視覚アンカノードが設置される１６０８と、視覚アンカノードと保存された場面オブジェクトとの間の相対的空間場所が、固定されてもよい。
ステップ１６０６では、視覚アンカノードが、実世界に対して設置されてもよい。いくつかの実施形態では、ユーザ入力は、保存された場面ＰＣＦがユーザの現在のＰＣＦに合致しないとき、および／またはユーザの現在のＰＣＦが取得されることができない場合、視覚アンカノードの場所上で取得されてもよい。代替として、または加えて、本プロセスは、本システムが入力を受信し、保存された場面オブジェクトに対して視覚アンカノードを位置付け得る、ステップ１６０８に進んでもよい。例えば、アプリケーションは、保存された場面オブジェクトに対して視覚アンカノードを自動的に設置するようにプログラムされてもよい。いくつかの実施形態では、視覚アンカノードは、（保存された場面オブジェクトに対するその設置として）保存された場面オブジェクトの中心に自動的に設置されてもよい。他の好適な相対的設置方法も、使用されてもよい。
ステップ１６１０では、保存された場面が、実世界に対して移動されてもよい。プロセス１６００における本ステップによって、視覚アンカノードは、保存された場面オブジェクトに対して設置され（ステップ１６０８または１６０６）、保存された場面オブジェクトは、ユーザの実世界内の初期場所にプレビュー設置された（経路１６０８に関して、保存された場面オブジェクトは、それらが保存された同一の実世界場所に自動的に設置され、経路１６０６に関して、保存された場面オブジェクトは、視覚アンカノードに対して規定空間構成において設置される）。保存された場面は、随意に、ステップ１６１０において移動されてもよい。いくつかの実施形態では、ステップ１６１０は、ステップ１５１０、１４１６－１４２０、および／または１２１０であってもよい。いくつかの実施形態では、ステップ１６１０は、実施されず、プロセス１６００は、ステップ１６１２に直接進む。
ステップ１６１２では、保存された場面が、インスタンス化されてもよい。いくつかの実施形態では、ステップ１６１２は、ステップ１５１２、１４１４、および／または１２１２であってもよい。いくつかの実施形態では、アプリケーションが、ステップ１６０２の間に保存された場面を揮発性メモリにすでにロードしている場合があるため、ステップ１６１２では、場面は、完全な保存された場面データをレンダリングパイプラインの中にフィードしてもよい。保存された場面は、次いで、随意に、ユーザの実世界内の異なる場所を除いて、保存された場面の正確なコピー（例えば、保存された場面オブジェクトの間の同一の相対的空間関係）として、ウェアラブルデバイス、例えば、ウェアラブルデバイス２００を通して、ユーザへの表示が可能であり得る。
いくつかの実施形態では、ウェアラブルシステムおよびアプリケーションは、同義的に使用されてもよい。アプリケーションは、ウェアラブルシステム上にダウンロードされ、したがって、ウェアラブルシステムの一部になってもよい。
保存された場面を開いている間に、拡張現実システムのユーザに見え得るものの実施例が、図２１Ａ－Ｃによって提供される。本実施例では、ユーザが制御をアクティブ化し、視覚アンカノード２１１０を移動させ得る、ユーザインターフェースが、示される。図２１Ａは、ユーザが視覚アンカノード２１１０を移動させるステップを図示する。本実施例では、保存された場面は、図２１Ａではプレビューモードで可視である、立方体オブジェクトから成る。本実施例では、保存された場面は、視覚アンカノードと一致する、保存された場面アンカノードを有する。保存された場面オブジェクトは、本実施例では、保存された場面アンカノードに対する所定の関係、したがって、視覚アンカノードに対する所定の関係を有する。その関係は、図２１Ａで可視である点線によって示される。
図２１Ｂは、ユーザが、ロードアイコン２１２０をアクティブ化することによって、所望の場所に視覚アンカノードを伴って保存された場面をロードするステップを図示する。本実施例では、ユーザ選択が、レーザポインタを模倣する、選択されたアイコンへの線２１２２によって示される。拡張現実環境では、その線は、ユーザがトーテムを移動させること、指さすこと、または任意の他の好適な方法によって操作され得る。本実施例では、ロード制御等の制御をアクティブ化することは、制御と関連付けられるアイコンが選択されている間に、トーテム上のボタンを押すこと等のある他の入力をユーザが提供することの結果として生じ得る。
図２１Ｃは、規定視覚アンカノードと整合される、保存された場面アンカノードに対してインスタンス化されている、ここではブロックとして図示される、仮想コンテンツ２１３０を図示する。図２１Ａのプレビューモードと対照的に、保存された場面オブジェクトは、仮想オブジェクトのフルカラー、物理、および他の属性を伴ってレンダリングされてもよい。
（例示的実施形態）
本明細書に議論されるような概念は、少なくとも１つのプロセッサによって実行されると、保存された場面を選択するために物理的世界に関連してユーザに現れるようにレンダリングするために構成される、仮想コンテンツを備える、ユーザのための環境を維持するタイプの複合現実システムを動作させる、コンピュータ実行可能命令を伴ってエンコードされる、非一過性のコンピュータ可読媒体として具現化されてもよく、各保存された場面は、仮想コンテンツと、保存された場面アンカノードに対する位置とを備え、選択された場面と関連付けられる保存された場面アンカノードが物理的世界内の場所と関連付けられるかどうかを決定する。保存された場面アンカノードが、物理的世界内の場所と関連付けられるとき、複合現実システムは、保存された場面アンカノードによって示される場所において仮想コンテンツを環境に追加してもよい。保存された場面アンカノードが、物理的世界内の場所と関連付けられないとき、複合現実システムは、環境内の場所を決定し、決定された場所において仮想コンテンツを環境に追加してもよい。
いくつかの実施形態では、保存された場面アンカノードが物理的世界内の場所と関連付けられないときに、環境内の場所を決定するステップは、視覚アンカノードをユーザにレンダリングし、視覚アンカノードの位置を示すユーザ入力を受信するステップを含む。
いくつかの実施形態では、保存された場面アンカノードが物理的世界内の場所と関連付けられないときに、環境内の場所を決定するステップは、選択される保存された場面と関連付けられる物理的表面へのアフォーダンスおよび／または属性の類似性に基づいて、物理的世界内の表面を識別し、識別された表面に対する場所を決定するステップを含む。
いくつかの実施形態では、保存された場面アンカノードが物理的世界内の場所と関連付けられないときに、環境内の場所を決定するステップは、ユーザに対する場所を決定するステップを含む。
いくつかの実施形態では、保存された場面アンカノードが物理的世界内の場所と関連付けられないときに、環境内の場所を決定するステップは、環境内の仮想オブジェクトの場所に対する場所を決定するステップを含む。
いくつかの実施形態では、保存された場面を選択するように構成される、コンピュータ実行可能命令は、保存された場面アンカノードに対する物理的世界内のユーザ位置に基づいて、保存された場面を自動的に選択するように構成されてもよい。
いくつかの実施形態では、保存された場面を選択するように構成される、コンピュータ実行可能命令は、ユーザ入力に基づいて、保存された場面を選択するように構成されてもよい。
代替として、または加えて、本明細書に議論されるような概念は、少なくとも１つのプロセッサによって実行されると、ライブラリから、第１の事前構築された仮想サブコンポーネントおよび第２の事前構築された仮想サブコンポーネントを選択し、第１の事前構築された仮想サブコンポーネントおよび第２の事前構築された仮想サブコンポーネントの相対位置を規定する、ユーザ入力を受信し、第１の事前構築された仮想サブコンポーネントおよび第２の事前構築された仮想サブコンポーネント、および第１の事前構築された仮想サブコンポーネントおよび第２の事前構築された仮想サブコンポーネントの相対位置を識別するデータを備える、保存された場面データを記憶することによって、少なくとも第１の事前構築された仮想サブコンポーネントおよび第２の事前構築された仮想サブコンポーネントを備える、仮想コンテンツを場面として記憶し、複数の保存された場面に関するアイコンを備える、仮想ユーザのメニュー内に記憶された場面を表すアイコンをレンダリングするために、ユーザに現れるようにレンダリングするために構成される、仮想コンテンツを備える、ユーザのための環境を維持するタイプの複合現実システムを動作させる、コンピュータ実行可能命令を伴ってエンコードされる、非一過性のコンピュータ可読媒体として具現化されてもよい。
いくつかの実施形態では、仮想コンテンツはさらに、少なくとも１つの構築されたコンポーネントを備える。
いくつかの実施形態では、仮想コンテンツはさらに、少なくとも１つの前もって保存された場面を備える。
（他の考慮点）
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、そこから削除される、修正される、または別様にそこから変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切である他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、ある場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態が、ある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つ以上の実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等が、Ｘ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (31)

  1. 物理的世界に関連してユーザに現れるようにレンダリングするために構成される仮想コンテンツを備える前記ユーザのための環境を維持するタイプの複合現実システムを動作させる方法であって、前記方法は、少なくとも１つのプロセッサを用いて、
    前記環境内の仮想コンテンツを選択することと、
    保存された場面データを不揮発性コンピュータ記憶媒体内に記憶することであって、前記保存された場面データは、
    前記選択された仮想コンテンツを表すデータと、
    保存された場面アンカノードに対する前記選択された仮想コンテンツの位置を示す位置情報と
    を備える、ことと、
    前記保存された場面データが後の時間に開かれることに基づいて、前記物理的世界に対する前記保存された場面アンカノードのための場所を識別し、前記保存された場面アンカノードに対して前記選択された仮想コンテンツをレンダリングすることと
    を行うことを含む、方法。
  2. 前記複合現実システムは、前記物理的世界内のオブジェクトに基づいて、１つ以上の座標フレームを識別し、
    前記方法は、前記１つ以上の識別された座標フレームのうちの１つに前記保存された場面アンカノードを設置することをさらに含む、請求項１に記載の複合現実システムを動作させる方法。
  3. 前記環境内の仮想コンテンツを選択することは、
    表示エリアを備えるカメラアイコンを選択するユーザ入力を受信することと、
    前記表示エリア内で、前記環境の一部内の仮想コンテンツの表現をレンダリングすることと、
    前記環境の一部内の少なくとも仮想コンテンツを表す保存された場面データを生成することと
    を含む、請求項１に記載の複合現実システムを動作させる方法。
  4. ユーザ入力に基づいて、前記環境内の前記カメラアイコンの位置または配向を変化させることと、
    前記カメラアイコンの位置および配向に基づいて、前記表示エリア内にレンダリングされる前記仮想コンテンツを動的に更新することと
    をさらに含む、請求項３に記載の複合現実システムを動作させる方法。
  5. 前記方法は、ユーザ入力に基づいて、前記表示エリア内にレンダリングされる仮想コンテンツを表す画像を捕捉することをさらに含み、
    前記仮想コンテンツを選択することは、前記捕捉された画像に表される前記仮想コンテンツを選択することを含む、請求項４に記載の複合現実システムを動作させる方法。
  6. 開くために利用可能な保存された場面のメニュー内で、前記保存された場面データと関連付けられるアイコンを生成することをさらに含み、前記アイコンは、前記捕捉された画像を備える、請求項５に記載の複合現実システムを動作させる方法。
  7. 前記環境の一部内の少なくとも仮想コンテンツを表す保存された場面データを生成することは、ユーザ入力に基づいてトリガされる、請求項３に記載の複合現実システムを動作させる方法。
  8. 前記環境の一部内の少なくとも仮想コンテンツを表す保存された場面データを生成することは、場面が前記表示エリア内でフレームに入れられていることを検出することに基づいて、自動的にトリガされる、請求項３に記載の複合現実システムを動作させる方法。
  9. 前記環境内の仮想コンテンツを選択することは、前記ユーザの視野内の仮想オブジェクトを選択することを含む、請求項１に記載の複合現実システムを動作させる方法。
  10. 前記環境内の仮想コンテンツを選択することは、前記ユーザの動眼視野内の仮想オブジェクトを選択することを含む、請求項１に記載の複合現実システムを動作させる方法。
  11. 前記方法は、前記環境内に包含するための複数の事前構築されたサブコンポーネントを示すユーザ入力を受信することによって、前記環境内の場面を作成することをさらに含み、
    前記環境内の仮想コンテンツを選択することは、前記場面の少なくとも一部を示すユーザ入力を受信することを含む、請求項１に記載の複合現実システムを動作させる方法。
  12. 前記環境内の仮想コンテンツを選択することは、
    前記環境の少なくとも一部を示すユーザ入力を受信することと、
    前記環境内の１つ以上の物理的オブジェクトの仮想表現を算出することと
    を含む、請求項１に記載の複合現実システムを動作させる方法。
  13. 仮想コンテンツを備えるユーザのための環境を維持するように、かつ物理的世界に関連して前記ユーザに現れるようにディスプレイデバイス上で前記コンテンツをレンダリングするように構成される複合現実システムであって、前記システムは、
    少なくとも１つのプロセッサと、
    不揮発性コンピュータ記憶媒体と、
    コンピュータ実行可能命令を伴ってエンコードされた非一過性のコンピュータ可読媒体であって、前記コンピュータ実行可能命令は、前記少なくとも１つのプロセッサによって実行されると、
    前記環境内の仮想コンテンツを選択することと、
    保存された場面データを前記不揮発性コンピュータ記憶媒体内に記憶することであって、前記保存された場面データは、
    前記選択された仮想コンテンツを表すデータと、
    保存された場面アンカノードに対する前記選択された仮想コンテンツの位置を示す位置情報と
    を備える、ことと、
    前記保存された場面データが後の時間に開かれることに基づいて、前記物理的世界に対する前記保存された場面アンカノードのための場所を識別し、前記保存された場面アンカノードに対して前記選択された仮想コンテンツをレンダリングすることと
    を行う、非一過性のコンピュータ可読媒体と
    を備える、システム。
  14. 前記複合現実システムは、前記物理的世界についての情報を入手するように構成される１つ以上のセンサをさらに備え、
    前記コンピュータ実行可能命令は、
    前記入手された情報に基づいて、１つ以上の座標フレームを識別することと、
    前記１つ以上の識別された座標フレームのうちの１つに前記保存された場面アンカノードを設置することと
    を行うようにさらに構成される、請求項１３に記載の複合現実システム。
  15. 前記環境内の仮想コンテンツを選択することは、
    表示エリアを備えるカメラアイコンを選択するユーザ入力を受信することと、
    前記表示エリア内で、前記環境の一部内の仮想コンテンツの表現をレンダリングすることと、
    前記環境の一部内の少なくとも仮想コンテンツを表す保存された場面データを生成することと
    を含む、請求項１３に記載の複合現実システム。
  16. 前記コンピュータ実行可能命令は、
    ユーザ入力に基づいて、前記環境内の前記カメラアイコンの位置または配向を変化させることと、
    前記カメラアイコンの位置および配向に基づいて、前記表示エリア内にレンダリングされる前記仮想コンテンツを動的に更新することと
    を行うようにさらに構成される、請求項１５に記載の複合現実システム。
  17. 前記コンピュータ実行可能命令は、ユーザ入力に基づいて、前記表示エリア内にレンダリングされる仮想コンテンツを表す画像を捕捉するようにさらに構成され、
    前記仮想コンテンツを選択することは、前記捕捉された画像に表される前記仮想コンテンツを選択することを含む、請求項１６に記載の複合現実システム。
  18. 前記コンピュータ実行可能命令は、開くために利用可能な保存された場面のメニュー内で、前記保存された場面データと関連付けられるアイコンを生成するようにさらに構成され、前記アイコンは、前記捕捉された画像を備える、請求項１７に記載の複合現実システム。
  19. 前記環境の一部内の少なくとも仮想コンテンツを表す保存された場面データを生成することは、ユーザ入力に基づいてトリガされる、請求項１５に記載の複合現実システム。
  20. 前記環境の一部内の少なくとも仮想コンテンツを表す保存された場面データを生成することは、場面が前記表示エリア内でフレームに入れられていることを検出することに基づいて、自動的にトリガされる、請求項１５に記載の複合現実システム。
  21. 複合現実システムであって、
    物理的世界を視認するユーザに仮想コンテンツをレンダリングするように構成されるディスプレイと、
    少なくとも１つのプロセッサと、
    コンピュータ実行可能命令を記憶するコンピュータメモリであって、前記コンピュータ実行可能命令は、前記少なくとも１つのプロセッサによって実行されると、
    保存された場面ライブラリの中の保存された場面を選択する前記ユーザからの入力を受信することであって、各保存された場面は、仮想コンテンツを備える、ことと、
    視覚アンカノードを示すユーザ入力に基づいて前記ユーザの視野内で前記物理的世界内のオブジェクトに対する前記仮想コンテンツの場所を決定することと、
    前記ディスプレイを制御し、前記決定された場所で前記選択された保存された場面の前記仮想コンテンツをレンダリングすることと
    を行うように構成される、コンピュータメモリと
    を備える、複合現実システム。
  22. 前記システムは、ネットワークインターフェースを備え、
    前記コンピュータ実行可能命令は、前記ネットワークインターフェースを介して、遠隔サーバから前記仮想コンテンツを読み出すように構成される、請求項２１に記載の複合現実システム。
  23. 前記システムは、ネットワークインターフェースを備え、
    前記コンピュータ実行可能命令は、前記ディスプレイを制御し、前記保存された場面ライブラリの中の保存された場面を表す複数のアイコンを備えるメニューをレンダリングするように構成され、
    前記保存された場面を選択する前記ユーザからの入力を受信することは、前記複数のアイコンのうちのアイコンのユーザ選択を備える、請求項２１に記載の複合現実システム。
  24. 前記コンピュータ実行可能命令は、前記少なくとも１つのプロセッサによって実行されると、仮想ユーザインターフェースをレンダリングするようにさらに構成され、
    前記ユーザからの入力を受信するように構成される前記コンピュータ実行可能命令は、前記仮想ユーザインターフェースを介してユーザ入力を受信するように構成される、請求項２１に記載の複合現実システム。
  25. 前記コンピュータ実行可能命令は、前記少なくとも１つのプロセッサによって実行されると、前記ライブラリの中の保存された場面を表す複数のアイコンのメニューを備える仮想ユーザインターフェースをレンダリングするようにさらに構成され、
    保存された場面ライブラリの中の保存された場面を選択する前記ユーザからの入力を受信することは、仮想インターフェースを介してユーザ入力を受信することを含み、前記ユーザ入力は、前記メニュー内のアイコンを選択し、移動させる、請求項２１に記載の複合現実システム。
  26. 前記コンピュータ実行可能命令は、前記視覚アンカノードを移動させ、前記視覚アンカノードの位置によって示される場所において前記場面のプレビュー表現を表示するユーザ入力に基づいて、前記ユーザの視野内で物理的世界内のオブジェクトに対する前記仮想コンテンツの場所を決定するように構成され、
    前記コンピュータ実行可能命令は、ユーザ入力に応答して、前記場面のプレビュー表現を、前記プレビュー表現内のオブジェクトに対応するが、それと異なる外観および性質を有する仮想オブジェクトと置換するようにさらに構成される、請求項２１に記載の複合現実システム。
  27. 前記物理的世界内の第１の場所において、前記環境内の仮想コンテンツを選択することを含み、前記仮想コンテンツは、複数の仮想オブジェクトを含む、請求項１に記載の複合現実システムを動作させる方法。
  28. 前記保存された場面データは、保存された場面アンカノードに対する前記複数の仮想オブジェクトの各々の位置を示す位置情報を含む、請求項２７に記載の複合現実システムを動作させる方法。
  29. 前記保存された場面データが前記第１の場所において後の時間に開かれることに基づいて、前記保存された場面アンカノードに対して、前記複数の仮想オブジェクトの各々に関する位置情報を使用して、前記複数の仮想オブジェクトをレンダリングすることと、
    前記保存された場面アンカノードに対して前記複数の仮想オブジェクトをレンダリングすることに先立って、前記保存された場面データが前記第１の場所と異なる第２の場所において後の時間に開かれることに基づいて、前記第２の場所に対する前記保存された場面アンカノードのための場所を識別することと
    をさらに含む、請求項２８に記載の複合現実システムを動作させる方法。
  30. 前記コンピュータ実行可能命令は、前記物理的世界内の第１の場所において、前記環境内の仮想コンテンツを選択するように構成され、前記仮想コンテンツは、複数の仮想オブジェクトを含む、請求項１３に記載の複合現実システム。
  31. 前記保存された場面データは、保存された場面アンカノードに対する前記複数の仮想オブジェクトの各々の位置を示す位置情報をさらに含み、前記第１の場所における後続のレンダリングに基づいて、前記複数の仮想オブジェクトは、前記保存された場面アンカノードに対して設置され、前記複数の仮想オブジェクト間で一貫した空間相対性を維持し、前記第１の場所と異なる第２の場所における後続のレンダリングに基づいて、前記第２の場所に対する前記保存された場面アンカノードのための場所が、前記複数の仮想オブジェクトが前記保存された場面アンカノードに対して設置されることに先立って、識別される、請求項３０に記載の複合現実システム。
JP2021518536A 2018-10-05 2019-10-04 任意の場所における場所特有の仮想コンテンツのレンダリング Active JP7503542B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024093652A JP2024113153A (ja) 2018-10-05 2024-06-10 任意の場所における場所特有の仮想コンテンツのレンダリング

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862742061P 2018-10-05 2018-10-05
US62/742,061 2018-10-05
PCT/US2019/054836 WO2020072985A1 (en) 2018-10-05 2019-10-04 Rendering location specific virtual content in any location

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024093652A Division JP2024113153A (ja) 2018-10-05 2024-06-10 任意の場所における場所特有の仮想コンテンツのレンダリング

Publications (3)

Publication Number Publication Date
JP2022512600A JP2022512600A (ja) 2022-02-07
JPWO2020072985A5 JPWO2020072985A5 (ja) 2022-10-11
JP7503542B2 true JP7503542B2 (ja) 2024-06-20

Family

ID=70052292

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021518536A Active JP7503542B2 (ja) 2018-10-05 2019-10-04 任意の場所における場所特有の仮想コンテンツのレンダリング
JP2024093652A Pending JP2024113153A (ja) 2018-10-05 2024-06-10 任意の場所における場所特有の仮想コンテンツのレンダリング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024093652A Pending JP2024113153A (ja) 2018-10-05 2024-06-10 任意の場所における場所特有の仮想コンテンツのレンダリング

Country Status (5)

Country Link
US (3) US11232635B2 (ja)
EP (1) EP3861387A4 (ja)
JP (2) JP7503542B2 (ja)
CN (1) CN113196209A (ja)
WO (1) WO2020072985A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
EP3837674A4 (en) 2018-08-13 2022-05-18 Magic Leap, Inc. CROSS REALITY SYSTEM
JP7503542B2 (ja) 2018-10-05 2024-06-20 マジック リープ， インコーポレイテッド 任意の場所における場所特有の仮想コンテンツのレンダリング
JP2022533207A (ja) 2019-05-21 2022-07-21 マジック リープ， インコーポレイテッド 稠密３ｄ再構築データのキャッシュおよび更新
US11270505B2 (en) * 2019-05-22 2022-03-08 Streem, Inc Capture of raw augmented reality data and subsequent 3D mesh generation
EP4010771A1 (en) * 2019-08-07 2022-06-15 Boston Dynamics, Inc. Navigating a mobile robot
JP2022551734A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 複数のデバイスタイプをサポートするクロスリアリティシステム
JP2022551735A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 無線フィンガプリントを用いたクロスリアリティシステム
WO2021076754A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system with localization service
EP4052086A4 (en) 2019-10-31 2023-11-15 Magic Leap, Inc. EXTENDED REALITY SYSTEM PROVIDING QUALITY INFORMATION ABOUT PERSISTENT COORDINATE FRAMES
WO2021096931A1 (en) 2019-11-12 2021-05-20 Magic Leap, Inc. Cross reality system with localization service and shared location-based content
US11521189B1 (en) * 2019-11-15 2022-12-06 Worldpay Limited Methods and systems for collecting and releasing virtual objects between disparate augmented reality environments
US11347371B2 (en) * 2019-11-25 2022-05-31 Unity Technologies ApS Automatic translation of user interface elements from wireframe tools to production augmented reality framework
JP2023504570A (ja) 2019-12-09 2023-02-03 マジック リープ， インコーポレイテッド 仮想コンテンツの簡略化されたプログラミングを伴うクロスリアリティシステム
US11393176B2 (en) * 2020-02-07 2022-07-19 Krikey, Inc. Video tools for mobile rendered augmented reality game
CN115398484A (zh) 2020-02-13 2022-11-25 奇跃公司 具有用于定位的地理定位信息优先级的交叉现实系统
WO2021163300A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
CN115427758A (zh) 2020-02-13 2022-12-02 奇跃公司 具有精确共享地图的交叉现实系统
CN115461787A (zh) 2020-02-26 2022-12-09 奇跃公司 具有快速定位的交叉现实系统
US11900547B2 (en) 2020-04-29 2024-02-13 Magic Leap, Inc. Cross reality system for large scale environments
CN111667590B (zh) * 2020-06-12 2024-03-22 上海商汤智能科技有限公司 一种互动合影方法、装置、电子设备及存储介质
US12024919B2 (en) 2020-07-01 2024-07-02 Cmech (Guangzhou) Ltd. Latch bolt installation structure and door lock using such structure
SE2030252A1 (en) * 2020-08-13 2022-02-14 Nagoon AB Method performed by a computer system for creation of augmented reality experiences and connection of these to the real world
CN115989527A (zh) * 2020-08-27 2023-04-18 三星电子株式会社 用于对增强现实媒体对象执行基于锚点的渲染的方法和装置
CN112037314A (zh) * 2020-08-31 2020-12-04 北京市商汤科技开发有限公司 图像显示方法、装置、显示设备及计算机可读存储介质
WO2022074294A1 (en) 2020-10-06 2022-04-14 Nokia Technologies Oy Network-based spatial computing for extended reality (xr) applications
US11875462B2 (en) * 2020-11-18 2024-01-16 Adobe Inc. Systems for augmented reality authoring of remote environments
US20220198764A1 (en) * 2020-12-18 2022-06-23 Arkh, Inc. Spatially Aware Environment Relocalization
JP2024506630A (ja) 2021-02-08 2024-02-14 サイトフル コンピューターズ リミテッド 生産性のためのエクステンデッド・リアリティ
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
WO2023009112A1 (en) * 2021-07-28 2023-02-02 Innopeak Technology, Inc. Augmented reality content rendering
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
CN113680067B (zh) * 2021-08-19 2024-10-18 网易（杭州）网络有限公司 游戏中控制虚拟道具的方法、装置、设备及存储介质
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
CN116777965A (zh) * 2022-03-11 2023-09-19 纬创资通股份有限公司 虚拟视窗配置装置、方法及系统
US11822939B2 (en) 2022-03-24 2023-11-21 Oracle International Corporation Collaborative analysis system for analyzing logs
US11914563B2 (en) * 2022-03-24 2024-02-27 Oracle International Corporation Data structure generation system for analyzing logs
CN115097997B (zh) * 2022-05-23 2024-07-26 广东虚拟现实科技有限公司 标记图案的部署方法、装置、电子设备及存储介质
CN115086368B (zh) * 2022-05-31 2024-08-30 福州华纳信息科技有限公司 一种基于虚拟展厅的多模式展陈的控制方法、系统及设备
US12079442B2 (en) 2022-09-30 2024-09-03 Sightful Computers Ltd Presenting extended reality content in different physical environments
CN116302296B (zh) * 2023-05-23 2023-08-15 腾讯科技（深圳）有限公司 资源预览方法、装置、设备及存储介质
DE102023003005A1 (de) 2023-07-24 2023-09-07 Mercedes-Benz Group AG Verfahren zum individuellen Gestalten eines Anzeigeinhaltes einer Anzeigeeinheit
CN118071953B (zh) * 2024-03-06 2024-09-24 辽宁科技学院 三维地理信息模型渲染方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016522463A (ja) 2013-03-11 2016-07-28 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
WO2018125428A1 (en) 2016-12-29 2018-07-05 Magic Leap, Inc. Automatic control of wearable display device based on external conditions

Family Cites Families (232)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7032185B1 (en) 1995-12-29 2006-04-18 Microsoft Corporation Graphical method and system for accessing information on a communications network
KR100483806B1 (ko) 2002-07-18 2005-04-20 한국과학기술원 예제동작을 이용한 영상기반 동작복원방법
US7467356B2 (en) 2003-07-25 2008-12-16 Three-B International Limited Graphical user interface for 3d virtual display browser using virtual display windows
ITTO20030640A1 (it) * 2003-08-19 2005-02-20 Luigi Giubbolini Apparato d'interfaccia uomo- macchina mediante
US20050228849A1 (en) 2004-03-24 2005-10-13 Tong Zhang Intelligent key-frame extraction from a video
US10809071B2 (en) 2017-10-17 2020-10-20 AI Incorporated Method for constructing a map while performing work
US7542034B2 (en) 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
US7583858B2 (en) 2004-10-12 2009-09-01 Eastman Kodak Company Image processing based on direction of gravity
US20080303787A1 (en) 2005-10-21 2008-12-11 Zheng Yu Brian Touch Screen Apparatus And Methods
CA2659672A1 (en) * 2006-06-26 2008-01-03 Icosystem Corporation Methods and systems for interactive customization of avatars and other animate or inanimate items in video games
US8781162B2 (en) 2011-01-05 2014-07-15 Ailive Inc. Method and system for head tracking and pose estimation
US20080090659A1 (en) 2006-10-12 2008-04-17 Maximino Aguilar Virtual world event notification from a persistent world game server in a logically partitioned game console
US8306348B2 (en) 2007-04-24 2012-11-06 DigitalOptics Corporation Europe Limited Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signal
JP4292426B2 (ja) 2007-05-15 2009-07-08 ソニー株式会社 撮像装置および撮像データ補正方法
US7779161B2 (en) 2007-07-24 2010-08-17 Hiconversion, Inc. Method and apparatus for general virtual application enabling of websites
SG183690A1 (en) 2007-08-06 2012-09-27 Trx Systems Inc Locating, tracking, and/or monitoring personnel and/or assets both indoors and outdoors
US9812096B2 (en) 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
US8231465B2 (en) * 2008-02-21 2012-07-31 Palo Alto Research Center Incorporated Location-aware mixed-reality gaming platform
US8605863B1 (en) 2008-03-18 2013-12-10 Avaya Inc. Method and apparatus for providing state indication on a telephone call
GB0818561D0 (en) 2008-10-09 2008-11-19 Isis Innovation Visual tracking of objects in images, and segmentation of images
US9064023B2 (en) 2008-12-29 2015-06-23 Avaya Inc. Providing web content in the context of a virtual environment
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US8839121B2 (en) 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
KR20100138806A (ko) 2009-06-23 2010-12-31 삼성전자주식회사 자동 3차원 영상 포맷 변환 방법 및 그 장치
KR20100138725A (ko) 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US20130162481A1 (en) 2009-10-01 2013-06-27 Parviz Parvizi Systems and methods for calibration of indoor geolocation
US9119027B2 (en) 2009-10-06 2015-08-25 Facebook, Inc. Sharing of location-based content item in social networking service
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8185596B2 (en) * 2010-02-22 2012-05-22 Samsung Electronics Co., Ltd. Location-based communication method and system
US8600803B1 (en) 2010-05-18 2013-12-03 Google Inc. Incentivizing behavior to address pricing, tax, and currency issues in an online marketplace for digital goods
KR101686171B1 (ko) 2010-06-08 2016-12-13 삼성전자주식회사 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법
WO2012006578A2 (en) 2010-07-08 2012-01-12 The Regents Of The University Of California End-to-end visual recognition system and methods
WO2012126500A1 (en) 2011-03-18 2012-09-27 C3 Technologies Ab 3d streets
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US8526368B2 (en) 2011-05-17 2013-09-03 Qualcomm Incorporated Wi-Fi access point characteristics database
US20120314031A1 (en) 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
US9082214B2 (en) * 2011-07-01 2015-07-14 Disney Enterprises, Inc. 3D drawing system for providing a real time, personalized, and immersive artistic experience
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
WO2013029674A1 (en) 2011-08-31 2013-03-07 Metaio Gmbh Method of matching image features with reference features
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US8243102B1 (en) 2011-10-12 2012-08-14 Google Inc. Derivative-based selection of zones for banded map display
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
US8977021B2 (en) 2011-12-30 2015-03-10 Mako Surgical Corp. Systems and methods for customizing interactive haptic boundaries
US9530221B2 (en) 2012-01-06 2016-12-27 Pelco, Inc. Context aware moving object detection
US9041739B2 (en) * 2012-01-31 2015-05-26 Microsoft Technology Licensing, Llc Matching physical locations for shared virtual experience
US9310882B2 (en) * 2012-02-06 2016-04-12 Sony Computer Entertainment Europe Ltd. Book object for augmented reality
US9386297B2 (en) 2012-02-24 2016-07-05 Casio Computer Co., Ltd. Image generating apparatus generating reconstructed image, method, and computer-readable recording medium
KR20130110907A (ko) 2012-03-30 2013-10-10 삼성전자주식회사 가상 현실과 증강 현실을 이용한 원격 제어 장치 및 방법
US9293118B2 (en) 2012-03-30 2016-03-22 Sony Corporation Client device
US8965741B2 (en) * 2012-04-24 2015-02-24 Microsoft Corporation Context aware surface scanning and reconstruction
CN102682091A (zh) 2012-04-25 2012-09-19 腾讯科技（深圳）有限公司 基于云服务的视觉搜索方法和系统
US9122321B2 (en) 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US9311750B2 (en) 2012-06-05 2016-04-12 Apple Inc. Rotation operations in a mapping application
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9310559B2 (en) 2012-06-11 2016-04-12 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8798357B2 (en) 2012-07-09 2014-08-05 Microsoft Corporation Image-based localization
EP2875471B1 (en) 2012-07-23 2021-10-27 Apple Inc. Method of providing image feature descriptors
GB2506338A (en) 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US9088787B1 (en) * 2012-08-13 2015-07-21 Lockheed Martin Corporation System, method and computer software product for providing visual remote assistance through computing systems
US8829409B2 (en) 2012-10-10 2014-09-09 Thermo Fisher Scientific Inc. Ultra-high speed imaging array with orthogonal readout architecture
CN102932582B (zh) 2012-10-26 2015-05-27 华为技术有限公司 实现运动检测的方法及装置
KR102052605B1 (ko) 2012-11-13 2019-12-06 네이버 주식회사 모바일 어플리케이션을 통한 바탕화면에 바로가기 설치 방법 및 그 시스템
US9596481B2 (en) 2013-01-30 2017-03-14 Ati Technologies Ulc Apparatus and method for video data processing
US9349072B2 (en) 2013-03-11 2016-05-24 Microsoft Technology Licensing, Llc Local feature based image compression
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US20140267234A1 (en) 2013-03-15 2014-09-18 Anselm Hook Generation and Sharing Coordinate System Between Users on Mobile
KR101380854B1 (ko) 2013-03-21 2014-04-04 한국과학기술연구원 웹 정보구조에 기반한 증강현실 콘텐츠 제공장치 및 방법
WO2014169238A1 (en) 2013-04-11 2014-10-16 Digimarc Corporation Methods for object recognition and related arrangements
US9154919B2 (en) 2013-04-22 2015-10-06 Alcatel Lucent Localization systems and methods
EP2808842B1 (en) 2013-05-31 2017-08-16 Technische Universität München An apparatus and method for tracking and reconstructing three-dimensional objects
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9406137B2 (en) 2013-06-14 2016-08-02 Qualcomm Incorporated Robust tracking using point and line features
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
WO2014202258A1 (en) 2013-06-21 2014-12-24 National University Of Ireland, Maynooth A method for mapping an environment
US9779548B2 (en) * 2013-06-25 2017-10-03 Jordan Kent Weisman Multiuser augmented reality system
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9952042B2 (en) 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
US9646384B2 (en) 2013-09-11 2017-05-09 Google Technology Holdings LLC 3D feature descriptors with camera pose information
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法
CN106171012B (zh) 2013-12-20 2020-01-17 英特尔公司 用于低功率室内定位的Wi-Fi扫描调度和功率适应
US10586395B2 (en) 2013-12-30 2020-03-10 Daqri, Llc Remote object detection and local tracking using visual odometry
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9830679B2 (en) 2014-03-25 2017-11-28 Google Llc Shared virtual reality
US20150281869A1 (en) 2014-03-31 2015-10-01 Google Inc. Native web-based application
WO2015155628A1 (en) 2014-04-07 2015-10-15 Eyeways Systems Ltd. Apparatus and method for image-based positioning, orientation and situational awareness
US9728009B2 (en) * 2014-04-29 2017-08-08 Alcatel Lucent Augmented reality based management of a representation of a smart environment
GB2526263B (en) * 2014-05-08 2019-02-06 Sony Interactive Entertainment Europe Ltd Image capture method and apparatus
CN112651288B (zh) 2014-06-14 2022-09-20 奇跃公司 用于产生虚拟和增强现实的方法和系统
US10068373B2 (en) 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
CN104143212A (zh) * 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及系统
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US9596411B2 (en) 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization
US20190347865A1 (en) * 2014-09-18 2019-11-14 Google Inc. Three-dimensional drawing inside virtual reality environment
KR102276847B1 (ko) 2014-09-23 2021-07-14 삼성전자주식회사 가상 오브젝트 제공 방법 및 그 전자 장치
US20200252233A1 (en) 2014-09-24 2020-08-06 James Thomas O'Keeffe System and method for user profile enabled smart building control
US10719727B2 (en) 2014-10-01 2020-07-21 Apple Inc. Method and system for determining at least one property related to at least part of a real environment
US9754419B2 (en) 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US20160147408A1 (en) * 2014-11-25 2016-05-26 Johnathan Bevis Virtual measurement tool for a wearable visualization device
US10139471B2 (en) 2014-12-04 2018-11-27 Here Global B.V. Supporting a collaborative collection of data
US10335677B2 (en) 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
US9685005B2 (en) 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US9852546B2 (en) * 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US9697796B2 (en) 2015-03-26 2017-07-04 Intel Corporation Adaptive linear luma domain video pipeline architecture
US20160300389A1 (en) 2015-04-08 2016-10-13 Exactigo, Inc. Correlated immersive virtual simulation for indoor navigation
US9467718B1 (en) * 2015-05-06 2016-10-11 Echostar Broadcasting Corporation Apparatus, systems and methods for a content commentary community
US20160335275A1 (en) 2015-05-11 2016-11-17 Google Inc. Privacy-sensitive query for localization area description file
US10373366B2 (en) 2015-05-14 2019-08-06 Qualcomm Incorporated Three-dimensional model generation
KR101725478B1 (ko) 2015-05-21 2017-04-11 주식회사 맥스트 3d 점군 인식 기반의 증강 현실 출력 방법과 이를 수행하기 위한 장치 및 시스템
US20160358383A1 (en) * 2015-06-05 2016-12-08 Steffen Gauglitz Systems and methods for augmented reality-based remote collaboration
US20160381118A1 (en) 2015-06-23 2016-12-29 Microsoft Technology Licensing, Llc Extracting and formatting content from web-resources
US10492981B1 (en) 2015-07-17 2019-12-03 Bao Tran Systems and methods for computer assisted operation
US10335572B1 (en) 2015-07-17 2019-07-02 Naveen Kumar Systems and methods for computer assisted operation
WO2017039308A1 (en) 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
ES2920837T3 (es) 2015-09-10 2022-08-10 Oriient New Media Ltd Navegar, seguir y posicionar los dispositivos móviles en zonas sin GPS o con GPS inexacto con la generación automática de mapas
CA2941893C (en) * 2015-09-14 2020-02-25 The Toronto-Dominion Bank Connected device-based property evaluation
US20170094227A1 (en) * 2015-09-25 2017-03-30 Northrop Grumman Systems Corporation Three-dimensional spatial-awareness vision system
JP6944441B2 (ja) 2015-09-25 2021-10-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム
GB201517101D0 (en) 2015-09-28 2015-11-11 Univ Essex Entpr Ltd Mixed-reality system
US10471355B2 (en) 2015-10-21 2019-11-12 Sharp Kabushiki Kaisha Display system, method of controlling display system, image generation control program, and computer-readable storage medium
US9706366B2 (en) 2015-11-06 2017-07-11 International Business Machines Corporation WiFi-fingerprint based indoor localization map
US10254845B2 (en) 2016-01-05 2019-04-09 Intel Corporation Hand gesture recognition for cursor control
US10523865B2 (en) 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US10397320B2 (en) * 2016-01-20 2019-08-27 International Business Machines Corporation Location based synchronized augmented reality streaming
JP2019505926A (ja) 2016-02-05 2019-02-28 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 拡張現実のためのシステムおよび方法
WO2017143303A1 (en) 2016-02-17 2017-08-24 Meta Company Apparatuses, methods and systems for sharing virtual elements
US10373380B2 (en) 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
JP6776609B2 (ja) 2016-02-22 2020-10-28 デクセリアルズ株式会社 異方性導電フィルム
US20180122143A1 (en) 2016-03-15 2018-05-03 Sutherland Cook Ellwood, JR. Hybrid photonic vr/ar systems
US10115234B2 (en) * 2016-03-21 2018-10-30 Accenture Global Solutions Limited Multiplatform based experience generation
US10802147B2 (en) 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
US10217231B2 (en) * 2016-05-31 2019-02-26 Microsoft Technology Licensing, Llc Systems and methods for utilizing anchor graphs in mixed reality environments
US10586391B2 (en) 2016-05-31 2020-03-10 Accenture Global Solutions Limited Interactive virtual reality platforms
US10607408B2 (en) 2016-06-04 2020-03-31 Shape Labs Inc. Method for rendering 2D and 3D data within a 3D virtual environment
US10338392B2 (en) * 2016-06-13 2019-07-02 Microsoft Technology Licensing, Llc Identification of augmented reality image display position
US11201981B1 (en) 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
US10504008B1 (en) 2016-07-18 2019-12-10 Occipital, Inc. System and method for relocalization and scene recognition
CA3033344A1 (en) 2016-08-11 2018-02-15 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
IL307594A (en) 2016-08-22 2023-12-01 Magic Leap Inc Virtual, augmented and mixed reality systems and methods
US10162362B2 (en) 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
US10007868B2 (en) 2016-09-19 2018-06-26 Adobe Systems Incorporated Font replacement based on visual similarity
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
US10452133B2 (en) 2016-12-12 2019-10-22 Microsoft Technology Licensing, Llc Interacting with an environment using a parent device and at least one companion device
WO2018125812A1 (en) 2017-01-02 2018-07-05 Gauss Surgical, Inc. Tracking surgical items with prediction of duplicate imaging of items
US10354129B2 (en) 2017-01-03 2019-07-16 Intel Corporation Hand gesture recognition for virtual reality and augmented reality devices
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
WO2018139773A1 (ko) 2017-01-25 2018-08-02 한국과학기술연구원 무선 환경 변화에 강인한 slam 방법 및 장치
US10534964B2 (en) 2017-01-30 2020-01-14 Blackberry Limited Persistent feature descriptors for video
WO2018146558A2 (en) 2017-02-07 2018-08-16 Mindmaze Holding Sa Systems, methods and apparatuses for stereo vision and tracking
US10664993B1 (en) 2017-03-13 2020-05-26 Occipital, Inc. System for determining a pose of an object
US10460489B2 (en) * 2017-03-15 2019-10-29 Facebook, Inc. Visual editor for designing augmented-reality effects and configuring scaling parameters
EP3596542B1 (en) 2017-03-17 2024-01-17 Magic Leap, Inc. Technique for recording augmented reality data
US11017592B2 (en) 2017-03-30 2021-05-25 Magic Leap, Inc. Centralized rendering
US10600252B2 (en) 2017-03-30 2020-03-24 Microsoft Technology Licensing, Llc Coarse relocalization using signal fingerprints
US10466953B2 (en) * 2017-03-30 2019-11-05 Microsoft Technology Licensing, Llc Sharing neighboring map data across devices
US9754397B1 (en) * 2017-04-07 2017-09-05 Mirage Worlds, Inc. Systems and methods for contextual augmented reality sharing and performance
AU2018256365A1 (en) 2017-04-19 2019-10-31 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
CN111133365B (zh) 2017-05-01 2023-03-31 奇跃公司 内容到空间3d环境的匹配
WO2018222756A1 (en) 2017-05-30 2018-12-06 Ptc Inc. Object initiated communication
CN109145927A (zh) 2017-06-16 2019-01-04 杭州海康威视数字技术股份有限公司 一种对形变图像的目标识别方法及装置
JP6585665B2 (ja) 2017-06-29 2019-10-02 ファナック株式会社 仮想オブジェクト表示システム
US10929945B2 (en) 2017-07-28 2021-02-23 Google Llc Image capture devices featuring intelligent use of lightweight hardware-generated statistics
US10503955B2 (en) 2017-08-29 2019-12-10 Synaptics Incorporated Device with improved circuit positioning
WO2019046774A1 (en) 2017-09-01 2019-03-07 Memorial Sloan Kettering Cancer Center SYSTEMS AND METHODS FOR GENERATING 3D MEDICAL IMAGES BY SCANNING A WHOLE TISSUE BLOCK
US10546387B2 (en) 2017-09-08 2020-01-28 Qualcomm Incorporated Pose determination with semantic segmentation
US10685456B2 (en) 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices
CN111344716B (zh) 2017-11-14 2024-07-19 奇跃公司 经由单应性变换适应的全卷积兴趣点检测和描述
WO2019118886A1 (en) 2017-12-15 2019-06-20 Magic Leap, Inc. Enhanced pose determination for display device
US10630857B2 (en) 2017-12-21 2020-04-21 Ricoh Company, Ltd. Electronic apparatus and method to update firmware of the electronic apparatus when adding a web application to the electronic apparatus
CN111684495A (zh) 2017-12-22 2020-09-18 奇跃公司 用于在混合现实系统中管理和显示虚拟内容的方法和系统
US20190206258A1 (en) 2018-01-04 2019-07-04 nuTonomy Inc. Augmented reality vehicle interfacing
US11014242B2 (en) * 2018-01-26 2021-05-25 Microsoft Technology Licensing, Llc Puppeteering in augmented reality
US10403047B1 (en) * 2018-03-01 2019-09-03 Dell Products L.P. Information handling system augmented reality through a virtual object anchor
US11237004B2 (en) 2018-03-27 2022-02-01 Uatc, Llc Log trajectory estimation for globally consistent maps
US11086474B2 (en) * 2018-04-09 2021-08-10 Spatial Systems Inc. Augmented reality computing environments—mobile device join and load
US10838574B2 (en) * 2018-04-09 2020-11-17 Spatial Systems Inc. Augmented reality computing environments—workspace save and load
US10803671B2 (en) * 2018-05-04 2020-10-13 Microsoft Technology Licensing, Llc Authoring content in three-dimensional environment
US10812711B2 (en) 2018-05-18 2020-10-20 Samsung Electronics Co., Ltd. Semantic mapping for low-power augmented reality using dynamic vision sensor
CN110515452B (zh) 2018-05-22 2022-02-22 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
US11010977B2 (en) 2018-05-31 2021-05-18 Jido, Inc. Method for establishing a common reference frame amongst devices for an augmented reality session
US10706629B2 (en) 2018-06-15 2020-07-07 Dell Products, L.P. Coordinate override in virtual, augmented, and mixed reality (xR) applications
US10964053B2 (en) 2018-07-02 2021-03-30 Microsoft Technology Licensing, Llc Device pose estimation using 3D line clouds
US11182614B2 (en) 2018-07-24 2021-11-23 Magic Leap, Inc. Methods and apparatuses for determining and/or evaluating localizing maps of image display devices
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
EP3837674A4 (en) 2018-08-13 2022-05-18 Magic Leap, Inc. CROSS REALITY SYSTEM
KR101985703B1 (ko) 2018-08-24 2019-06-04 주식회사 버넥트 증강현실 서비스형 소프트웨어 기반의 증강현실운영시스템
CN112889118A (zh) 2018-09-04 2021-06-01 阿克提雅有限公司 用于确定一个或多个用户的血压的系统
EP3629290B1 (en) 2018-09-26 2023-01-04 Apple Inc. Localization for mobile devices
JP7503542B2 (ja) 2018-10-05 2024-06-20 マジック リープ， インコーポレイテッド 任意の場所における場所特有の仮想コンテンツのレンダリング
US10984601B2 (en) * 2018-10-21 2021-04-20 Oracle International Corporation Data visualization objects in a virtual environment
US10839556B2 (en) 2018-10-23 2020-11-17 Microsoft Technology Licensing, Llc Camera pose estimation using obfuscated features
US10937191B2 (en) 2018-10-23 2021-03-02 Dell Products, Lp Predictive simultaneous localization and mapping system using prior user session positional information
US10854007B2 (en) 2018-12-03 2020-12-01 Microsoft Technology Licensing, Llc Space models for mixed reality
US20200211290A1 (en) 2018-12-26 2020-07-02 Lg Electronics Inc. Xr device for providing ar mode and vr mode and method for controlling the same
US11030812B2 (en) 2019-01-02 2021-06-08 The Boeing Company Augmented reality system using enhanced models
EP3895416A4 (en) 2019-03-27 2022-03-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. THREE-DIMENSIONAL LOCATION USING LIGHT DEPTH IMAGERY
US11074706B2 (en) 2019-04-12 2021-07-27 Intel Corporation Accommodating depth noise in visual slam using map-point consensus
CN111815755B (zh) 2019-04-12 2023-06-30 Oppo广东移动通信有限公司 虚拟物体被遮挡的区域确定方法、装置及终端设备
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
US10748302B1 (en) 2019-05-02 2020-08-18 Apple Inc. Multiple user simultaneous localization and mapping (SLAM)
US20200364937A1 (en) 2019-05-16 2020-11-19 Subvrsive, Inc. System-adaptive augmented reality
US11010921B2 (en) 2019-05-16 2021-05-18 Qualcomm Incorporated Distributed pose estimation
US11145083B2 (en) 2019-05-21 2021-10-12 Microsoft Technology Licensing, Llc Image-based localization
US10854012B1 (en) 2019-05-29 2020-12-01 Dell Products, L.P. Concealing loss of distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures
US20200380263A1 (en) 2019-05-29 2020-12-03 Gyrfalcon Technology Inc. Detecting key frames in video compression in an artificial intelligence semiconductor solution
US20200401617A1 (en) 2019-06-21 2020-12-24 White Raven Ltd Visual positioning system
US10852828B1 (en) 2019-07-17 2020-12-01 Dell Products, L.P. Automatic peripheral pairing with hand assignments in virtual, augmented, and mixed reality (xR) applications
US10936874B1 (en) 2019-08-13 2021-03-02 Dell Products, L.P. Controller gestures in virtual, augmented, and mixed reality (xR) applications
KR20190104928A (ko) 2019-08-22 2019-09-11 엘지전자 주식회사 Xr 디바이스 및 xr 디바이스 제어 방법
US11270515B2 (en) 2019-09-04 2022-03-08 Qualcomm Incorporated Virtual keyboard
CN114222960A (zh) 2019-09-09 2022-03-22 苹果公司 用于计算机生成现实的多模态输入
US12079638B2 (en) 2019-10-03 2024-09-03 Magic Leap, Inc. Management framework for mixed reality devices
US11425220B2 (en) 2019-10-08 2022-08-23 Magic Leap, Inc. Methods, systems, and computer program products for implementing cross-platform mixed-reality applications with a scripting framework
WO2021076754A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system with localization service
JP2022551734A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 複数のデバイスタイプをサポートするクロスリアリティシステム
JP2022551735A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 無線フィンガプリントを用いたクロスリアリティシステム
US11494995B2 (en) 2019-10-29 2022-11-08 Magic Leap, Inc. Systems and methods for virtual and augmented reality
EP4052086A4 (en) 2019-10-31 2023-11-15 Magic Leap, Inc. EXTENDED REALITY SYSTEM PROVIDING QUALITY INFORMATION ABOUT PERSISTENT COORDINATE FRAMES
WO2021096931A1 (en) 2019-11-12 2021-05-20 Magic Leap, Inc. Cross reality system with localization service and shared location-based content
JP2023504570A (ja) 2019-12-09 2023-02-03 マジック リープ， インコーポレイテッド 仮想コンテンツの簡略化されたプログラミングを伴うクロスリアリティシステム
CN115398484A (zh) 2020-02-13 2022-11-25 奇跃公司 具有用于定位的地理定位信息优先级的交叉现实系统
WO2021163300A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
EP4104144A4 (en) 2020-02-13 2024-06-05 Magic Leap, Inc. MIXED REALITY SYSTEM FOR LARGE-SCALE ENVIRONMENTS
CN115427758A (zh) 2020-02-13 2022-12-02 奇跃公司 具有精确共享地图的交叉现实系统
US11593951B2 (en) 2020-02-25 2023-02-28 Qualcomm Incorporated Multi-device object tracking and localization
CN115461787A (zh) 2020-02-26 2022-12-09 奇跃公司 具有快速定位的交叉现实系统
US11900322B2 (en) 2020-03-20 2024-02-13 Procore Technologies, Inc. Presence and collaboration tools for building information models
US11900547B2 (en) 2020-04-29 2024-02-13 Magic Leap, Inc. Cross reality system for large scale environments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016522463A (ja) 2013-03-11 2016-07-28 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
WO2018125428A1 (en) 2016-12-29 2018-07-05 Magic Leap, Inc. Automatic control of wearable display device based on external conditions

Also Published As

Publication number Publication date
US20220101607A1 (en) 2022-03-31
WO2020072985A1 (en) 2020-04-09
EP3861387A1 (en) 2021-08-11
EP3861387A4 (en) 2022-05-25
CN113196209A (zh) 2021-07-30
JP2024113153A (ja) 2024-08-21
US11232635B2 (en) 2022-01-25
US20200111255A1 (en) 2020-04-09
JP2022512600A (ja) 2022-02-07
US11789524B2 (en) 2023-10-17
US20240069628A1 (en) 2024-02-29

Similar Documents

Publication Publication Date Title
JP7503542B2 (ja) 任意の場所における場所特有の仮想コンテンツのレンダリング
JP7492558B2 (ja) 視野周辺の視覚的背光
JP7186913B2 (ja) 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用
US11954243B2 (en) Mapping and localization of a passable world
JP2024054287A (ja) ３次元モデル共有のための方法およびシステム
JP2022549853A (ja) 共有空間内の個々の視認
US11669218B2 (en) Real-time preview of connectable objects in a physically-modeled virtual space

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220929

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240610

R150 Certificate of patent or registration of utility model

Ref document number: 7503542

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150