JP7538871B2 - アンカベースのクロスリアリティアプリケーションのための向上された状態制御 - Google Patents

アンカベースのクロスリアリティアプリケーションのための向上された状態制御 Download PDF

Info

Publication number
JP7538871B2
JP7538871B2 JP2022543470A JP2022543470A JP7538871B2 JP 7538871 B2 JP7538871 B2 JP 7538871B2 JP 2022543470 A JP2022543470 A JP 2022543470A JP 2022543470 A JP2022543470 A JP 2022543470A JP 7538871 B2 JP7538871 B2 JP 7538871B2
Authority
JP
Japan
Prior art keywords
state
applications
application
active
virtual content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022543470A
Other languages
English (en)
Other versions
JPWO2021154656A5 (ja
JP2023511083A (ja
Inventor
ジェイディー, プラヴィーン バブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2023511083A publication Critical patent/JP2023511083A/ja
Publication of JPWO2021154656A5 publication Critical patent/JPWO2021154656A5/ja
Priority to JP2024090603A priority Critical patent/JP2024107074A/ja
Application granted granted Critical
Publication of JP7538871B2 publication Critical patent/JP7538871B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0023Means for improving the coupling-in of light from the light source into the light guide provided by one optical element, or plurality thereof, placed between the light guide and the light source, or around the light source
    • G02B6/003Lens or lenticular sheet or layer
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0033Means for improving the coupling-out of light from the light guide
    • G02B6/0035Means for improving the coupling-out of light from the light guide provided on the surface of the light guide or in the bulk of it
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0075Arrangements of multiple light guides
    • G02B6/0076Stacked arrangements of multiple light guides of the same or different cross-sectional area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • G02B2027/0174Head mounted characterised by optical features holographic
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

(参照による組み込み)
本願は、参照することによって、以下、すなわち、米国仮特許出願62/966,477号、米国仮特許出願第62/934,485号、米国特許出願第16/593,745号、米国特許出願第16/518,891号、米国特許公開第2019/0188474号、および米国特許公開第2019/0197785号のそれぞれの全体を組み込む。
本開示は、ディスプレイシステムに関し、より具体的には、拡張および仮想現実システムおよびデバイスに関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「MR」シナリオは、一種のARシナリオであって、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、MRシナリオは、実世界内のオブジェクトによってブロックされて見える、または別様にそれと相互作用するように知覚される、AR画像コンテンツを含んでもよい。
図1を参照すると、AR場面10が、描写されている。AR技術のユーザには、人々、木々、背景における建物、コンクリートプラットフォーム30を特徴とする、実世界公園状設定20が見える。ユーザはまた、実世界プラットフォーム30上に立っているロボット像40と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ50等の「仮想コンテンツ」を「見ている」と知覚する。これらの要素50、40は、実世界には存在しないという点で、「仮想」である。ある場合には、本コンテンツは、頭部搭載型ディスプレイを介して、ユーザに提示されてもよい。ある他の場合には、本コンテンツは、スマートフォンまたはタブレット等のポータブルデバイスを介して、ユーザに提示されてもよい。ヒトの視知覚系および仮想コンテンツの提示は、複雑であるため、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然な感覚で、かつ豊かな提示を促進する、AR技術を生産することは、困難である。
いくつかの実施形態によると、クロスリアリティ(XR)デバイスによって実装される方法が、説明される。XRデバイスは、1つまたはそれを上回るプロセッサを備え、XRデバイスは、仮想コンテンツをXRデバイスのユーザに提示するように構成される。本方法は、XRデバイスの第1の閾値距離メトリック内に位置する、個別のアンカ場所を伴う、1つまたはそれを上回るアプリケーションを識別する情報を取得することであって、アンカ場所は、仮想コンテンツが提示されるべきである、実世界場所に対応する、ことを含む。複数の状態から選択される、個別の状態が、1つまたはそれを上回るアプリケーションに割り当てられるために決定され、状態は、アンカ場所とXRデバイスの近接度に基づいて決定される。その状態は、実装され、1つまたはそれを上回るアプリケーションの第1のアプリケーションは、仮想コンテンツをレンダリングするための状態を割り当てられ、第1のアプリケーションは、XRデバイスを介して、仮想コンテンツを第1のアンカ場所に提示する。XRデバイスの移動に応答して、更新された状態が、1つまたはそれを上回るアプリケーションのために決定される。いくつかの実施形態によると、システムが、1つまたはそれを上回るプロセッサを備え、これは、仮想コンテンツをシステムのユーザに提示するように構成され、本システムはさらに、1つまたはそれを上回るプロセッサによって実行されると、1つまたはそれを上回るプロセッサに、上記の方法を含む、動作を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体を備える。いくつかの実施形態によると、非一過性コンピュータ記憶媒体が、1つまたはそれを上回るプロセッサを備え、仮想コンテンツをシステムのユーザに提示するように構成される、システムによって実行されると、1つまたはそれを上回るプロセッサに、上記の方法を含む、動作を実施させる、命令を記憶する。
いくつかの付加的実施例が、下記に提供される。
実施例1.1つまたはそれを上回るプロセッサを備える、クロスリアリティ(XR)デバイスによって実装される、方法であって、XRデバイスは、仮想コンテンツをXRデバイスのユーザに提示するように構成され、XRデバイスの第1の閾値距離メトリック内に位置する、個別のアンカ場所を伴う、1つまたはそれを上回るアプリケーションを識別する情報を取得することであって、アンカ場所は、仮想コンテンツが提示されるべきである、実世界場所に対応する、ことと、1つまたはそれを上回るアプリケーションに割り当てられるべきである、複数の状態から選択される、個別の状態を決定することであって、状態は、アンカ場所とXRデバイスの近接度に基づいて決定される、ことと、状態を実装することであって、1つまたはそれを上回るアプリケーションの第1のアプリケーションは、仮想コンテンツをレンダリングするための状態を割り当てられ、第1のアプリケーションは、XRデバイスを介して、仮想コンテンツを第1のアンカ場所に提示する、ことと、XRデバイスの移動に応答して、1つまたはそれを上回るアプリケーションのための更新された状態を決定することとを含む、方法。
実施例2.仮想コンテンツは、拡張現実コンテンツである、実施例1に記載の方法。
実施例3.外部システムに、XRデバイスの場所を示す、情報を提供することと、外部システムから、1つまたはそれを上回るアプリケーションを識別する情報を受信することとをさらに含む、実施例1に記載の方法。
実施例4.XRデバイスは、実行のために、1つまたはそれを上回るアプリケーションを受信する、実施例3に記載の方法。
実施例5.XRデバイスは、1つまたはそれを上回るアプリケーションのサブセットを受信し、サブセットは、XRデバイスの第2の閾値距離メトリック内に位置する、アンカ場所を有する、実施例3に記載の方法。
実施例6.XRデバイスの移動に応答して、第2のアプリケーションは、第2の閾値距離メトリック内にアンカ場所を有すると決定され、第2のアプリケーションは、実行のために、外部システムから受信される、実施例5に記載の方法。
実施例7.XRデバイスは、1つまたはそれを上回るアプリケーションを記憶する、実施例1に記載の方法。
実施例8.状態は、アンカ場所とXRデバイスの近接度およびアンカ場所に対するXRデバイスの視野に基づいて決定される、実施例1に記載の方法。
実施例9.第1のアプリケーションの状態を決定することは、第1のアプリケーションが位置付けられる、複数のゾーンの第1のゾーンを識別することを含み、ゾーンは、XRデバイスの場所上に中心合わせされる、立体グリッド内に含まれ、第1のゾーンは、決定された状態と関連付けられる、実施例1に記載の方法。
実施例10.第1のアプリケーションを示す、第1のゾーンは、第1のアプリケーションが、仮想コンテンツをレンダリングすることと関連付けられる、アクティブ状態に設定されるように、XRデバイスの表示錐台内に位置付けられる、実施例9に記載の方法。
実施例11.あるアプリケーションを示す、第2のゾーンは、アプリケーションが、仮想コンテンツをレンダリングすることと関連付けられない、状態に設定されるように、XRデバイスの表示錐台の外側に位置付けられる、実施例9に記載の方法。
実施例12.複数のゾーンは、アプリケーションが、アクティブに設定され、仮想コンテンツレンダリングすることと関連付けられる、状態、アプリケーションが、アクティブに設定され、仮想コンテンツをレンダリングすることと関連付けられない、状態、アプリケーションが、スリープ状態に設定される、状態、またはアプリケーションが、アンロードされた状態に設定される、状態を含む、状態と関連付けられる、実施例9に記載の方法。
実施例13.立体グリッドは、複数のセルを備え、中心セルは、XRデバイスの場所を含み、各ゾーンは、セルの個別の部分を包含する、実施例9に記載の方法。
実施例14.セルは、矩形であって、各セルは、特定の実世界面積または体積を包含する、実施例13に記載の方法。
実施例15.XRデバイスの移動は、XRデバイスの位置の調節および/または姿勢の調節を含む、実施例1に記載の方法。
実施例16.更新された状態は、1つまたはそれを上回るアプリケーションに適用される、実施例1に記載の方法。
実施例17.XRデバイスの移動に基づいて、新しいアプリケーションが、XRデバイスの第1の閾値距離メトリック内にあると決定され、ある状態が、新しいアプリケーションのために決定される、実施例1に記載の方法。
実施例18.識別されたアプリケーションをフィルタリングすることをさらに含み、フィルタリングすることは、XRデバイスのユーザと関連付けられる、ユーザプロファイル情報にアクセスすることであって、ユーザプロファイル情報は、ユーザの選好を示す、ことと、選好に基づいて、識別されたアプリケーションをフィルタリングすることとを含む、実施例1に記載の方法。
実施例19.識別されたアプリケーションをフィルタリングすることは、識別されたアプリケーションがアプリケーションの閾値数を超えることの決定に基づいて実施される、実施例18に記載の方法。
実施例20.閾値数のアプリケーションは、XRデバイスの算出リソースの1つまたはそれを上回る測定値に基づく、実施例19に記載の方法。
実施例21.アクティブであって、仮想コンテンツをレンダリングすることと関連付けられる、決定された状態を伴う、閾値数を上回るアプリケーションを識別することと、1つまたはそれを上回るメトリックに従って、閾値数のアプリケーションをランク付けすることと、決定された状態を実装することであって、閾値数のアプリケーションの1つまたはそれを上回るアプリケーションは、ランク付けに従って、仮想コンテンツを提示し、閾値数のアプリケーションの残りのアプリケーションは、仮想コンテンツをレンダリングしないことと関連付けられる、状態に設定される、こととをさらに含む、実施例19に記載の方法。
実施例22.XRデバイスは、仮想コンテンツを複数の深度面上に提示するように構成される、拡張現実ディスプレイデバイスであって、各深度面は、個別の遠近調節キューと関連付けられる、実施例1に記載の方法。
実施例23.XRデバイスは、モバイルデバイスである、実施例1に記載の方法。
実施例24.XRデバイスは、アプリケーションからの仮想コンテンツを異なる深度面上に提供するように構成される、頭部搭載型ディスプレイデバイスを備える、実施例1に記載の方法。
実施例25.第1のアプリケーションは、1つまたはそれを上回るコンピュータの外部システムによって実行され、XRデバイスは、提示のために、仮想コンテンツを外部システムから受信するように構成される、実施例1に記載の方法。
実施例26.第1のアンカ場所は、XRデバイスに近接する実世界と関連付けられる、記憶された持続的情報と比較した、XRデバイスの1つまたはそれを上回る外向きに面した画像センサによって取得される1つまたはそれを上回る画像に基づいて決定される、実施例1に記載の方法。
実施例27.持続的情報は、1つまたはそれを上回る持続的座標フレームを備える、実施例26に記載の方法。
実施例28.比較することは、画像内に含まれる特徴の生成された記述子と持続的情報と関連付けられる記述子を比較することを含む、実施例26に記載の方法。
実施例29.第1のアプリケーションは、空間の体積を表す、プリズム内に、仮想コンテンツを提示し、プリズムは、第1のアンカ場所と関連付けられる、実施例1に記載の方法。
実施例30.1つまたはそれを上回るプロセッサを備える、システムであって、本システムは、仮想コンテンツをシステムのユーザに提示するように構成され、本システムはさらに、1つまたはそれを上回るプロセッサによって実行されると、1つまたはそれを上回るプロセッサに、実施例1-29に記載の方法を含む、動作を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体を備える。
実施例31.非一過性コンピュータ記憶媒体であって、1つまたはそれを上回るプロセッサを備え、仮想コンテンツをシステムのユーザに提示するように構成される、システムによって実行されると、1つまたはそれを上回るプロセッサに、実施例1-29に記載の方法を含む、動作を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体。
本発明は、例えば、以下を提供する。
(項目1)
1つまたはそれを上回るプロセッサを備えるクロスリアリティ(XR)デバイスによって実装される方法であって、前記XRデバイスは、仮想コンテンツを前記XRデバイスのユーザに提示するように構成され、前記方法は、
前記XRデバイスの第1の閾値距離メトリック内に位置する個別のアンカ場所を伴う1つまたはそれを上回るアプリケーションを識別する情報を取得することであって、アンカ場所は、仮想コンテンツが提示されるべきである実世界場所に対応する、ことと、
前記1つまたはそれを上回るアプリケーションに割り当てられるべきである複数の状態から選択される個別の状態を決定することであって、前記状態は、前記アンカ場所と前記XRデバイスの近接度に基づいて決定される、ことと、
前記状態を実装することであって、前記1つまたはそれを上回るアプリケーションの第1のアプリケーションは、仮想コンテンツをレンダリングするための状態を割り当てられ、前記第1のアプリケーションは、前記XRデバイスを介して、仮想コンテンツを第1のアンカ場所に提示する、ことと、
前記XRデバイスの移動に応答して、前記1つまたはそれを上回るアプリケーションのための更新された状態を決定することと
を含む、方法。
(項目2)
外部システムに、前記XRデバイスの場所を示す情報を提供することと、
前記外部システムから、前記1つまたはそれを上回るアプリケーションを識別する情報を受信することと
をさらに含む、項目1に記載の方法。
(項目3)
前記XRデバイスは、前記1つまたはそれを上回るアプリケーションのサブセットを受信し、前記サブセットは、前記XRデバイスの第2の閾値距離メトリック内に位置するアンカ場所を有し、前記XRデバイスの移動に応答して、第2のアプリケーションは、前記第2の閾値距離メトリック内にアンカ場所を有すると決定され、前記第2のアプリケーションは、実行のために、前記外部システムから受信される、項目2に記載の方法。
(項目4)
前記第1のアプリケーションの状態を決定することは、
前記第1のアプリケーションが位置付けられる複数のゾーンの第1のゾーンを識別することを含み、前記ゾーンは、前記XRデバイスの場所上に中心合わせされる立体グリッド内に含まれ、前記第1のゾーンは、前記決定された状態と関連付けられる、項目1に記載の方法。
(項目5)
前記第1のアプリケーションを示す前記第1のゾーンは、前記第1のアプリケーションが、仮想コンテンツをレンダリングすることと関連付けられるアクティブ状態に設定されるように、前記XRデバイスの表示錐台内に位置付けられる、項目4に記載の方法。
(項目6)
アプリケーションを示す第2のゾーンは、前記アプリケーションが、仮想コンテンツをレンダリングすることと関連付けられない状態に設定されるように、前記XRデバイスの表示錐台の外側に位置付けられる、項目4に記載の方法。
(項目7)
前記複数のゾーンは、アプリケーションが、アクティブに設定され、仮想コンテンツレンダリングすることと関連付けられる状態、前記アプリケーションが、アクティブに設定され、仮想コンテンツをレンダリングすることと関連付けられない状態、前記アプリケーションが、スリープ状態に設定される状態、または前記アプリケーションが、アンロードされた状態に設定される状態を含む、状態と関連付けられる、項目4に記載の方法。
(項目8)
前記XRデバイスの移動に基づいて、新しいアプリケーションが、前記XRデバイスの第1の閾値距離メトリック内にあると決定され、状態が、前記新しいアプリケーションのために決定される、項目1に記載の方法。
(項目9)
アクティブであり、かつ仮想コンテンツをレンダリングすることと関連付けられる決定された状態を伴う閾値数を上回るアプリケーションを識別することと、
1つまたはそれを上回るメトリックに従って、前記閾値数のアプリケーションをランク付けすることと、
前記決定された状態を実装することであって、前記閾値数のアプリケーションの1つまたはそれを上回るアプリケーションは、前記ランク付けに従って、仮想コンテンツを提示し、前記閾値数のアプリケーションの残りのアプリケーションは、仮想コンテンツをレンダリングしないことと関連付けられる状態に設定される、ことと
をさらに含む、項目1に記載の方法。
(項目10)
前記XRデバイスは、仮想コンテンツを複数の深度面上に提示するように構成される拡張現実ディスプレイデバイスであり、各深度面は、個別の遠近調節キューと関連付けられる、項目1に記載の方法。
(項目11)
前記第1のアンカ場所は、前記XRデバイスに近接する実世界と関連付けられる記憶された持続的情報と比較した前記XRデバイスの1つまたはそれを上回る外向きに面した画像センサによって取得される1つまたはそれを上回る画像に基づいて決定される、項目1に記載の方法。
(項目12)
前記第1のアプリケーションは、空間の体積を表すプリズム内に、仮想コンテンツを提示し、前記プリズムは、前記第1のアンカ場所と関連付けられる、項目1に記載の方法。
(項目13)
1つまたはそれを上回るプロセッサを備えるシステムであって、前記システムは、仮想コンテンツを前記システムのユーザに提示するように構成され、前記システムはさらに、命令を記憶している非一過性コンピュータ記憶媒体を備え、前記命令は、前記1つまたはそれを上回るプロセッサによって実行されると、前記1つまたはそれを上回るプロセッサに、
XRデバイスの第1の閾値距離メトリック内に位置する個別のアンカ場所を伴う1つまたはそれを上回るアプリケーションを識別する情報を取得することであって、アンカ場所は、仮想コンテンツが提示されるべきである実世界場所に対応する、ことと、
前記1つまたはそれを上回るアプリケーションに割り当てられるべきである複数の状態から選択される個別の状態を決定することであって、前記状態は、前記アンカ場所と前記XRデバイスの近接度に基づいて決定される、ことと、
前記状態を実装することであって、前記1つまたはそれを上回るアプリケーションの第1のアプリケーションは、仮想コンテンツをレンダリングするための状態を割り当てられ、前記第1のアプリケーションは、前記XRデバイスを介して、仮想コンテンツを第1のアンカ場所に提示する、ことと、
前記XRデバイスの移動に応答して、前記1つまたはそれを上回るアプリケーションのための更新された状態を決定することと
を含む動作を実施させる、システム。
(項目14)
前記第1のアプリケーションの状態を決定することは、
前記第1のアプリケーションが位置付けられる複数のゾーンの第1のゾーンを識別することを含み、前記ゾーンは、前記XRデバイスの場所上に中心合わせされる立体グリッド内に含まれ、前記第1のゾーンは、前記決定された状態と関連付けられる、項目13に記載のシステム。
(項目15)
前記第1のアプリケーションを示す前記第1のゾーンは、前記第1のアプリケーションが、仮想コンテンツをレンダリングすることと関連付けられるアクティブ状態に設定されるように、前記XRデバイスの表示錐台内に位置付けられ、アプリケーションを示す第2のゾーンは、前記アプリケーションが、仮想コンテンツをレンダリングすることと関連付けられない状態に設定されるように、前記XRデバイスの表示錐台の外側に位置付けられる、項目14に記載のシステム。
(項目16)
前記複数のゾーンは、アプリケーションが、アクティブに設定され、仮想コンテンツレンダリングすることと関連付けられる状態、前記アプリケーションが、アクティブに設定され、仮想コンテンツをレンダリングすることと関連付けられない状態、前記アプリケーションが、スリープ状態に設定される状態、または前記アプリケーションが、アンロードされた状態に設定される状態を含む、状態と関連付けられる、項目14に記載のシステム。
(項目17)
前記動作はさらに、
アクティブであり、かつ仮想コンテンツをレンダリングすることと関連付けられる決定された状態を伴う閾値数を上回るアプリケーションを識別することと、
1つまたはそれを上回るメトリックに従って、前記閾値数のアプリケーションをランク付けすることと、
前記決定された状態を実装することであって、前記閾値数のアプリケーションの1つまたはそれを上回るアプリケーションは、前記ランク付けに従って、仮想コンテンツを提示し、前記閾値数のアプリケーションの残りのアプリケーションは、仮想コンテンツをレンダリングしないことと関連付けられる状態に設定される、ことと
を含む、項目13に記載のシステム。
(項目18)
非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、1つまたはそれを上回るプロセッサを備え、かつ仮想コンテンツをシステムのユーザに提示するように構成されるシステムによって実行されると、前記1つまたはそれを上回るプロセッサに、
XRデバイスの第1の閾値距離メトリック内に位置する個別のアンカ場所を伴う1つまたはそれを上回るアプリケーションを識別する情報を取得することであって、アンカ場所は、仮想コンテンツが提示されるべきである実世界場所に対応する、ことと、
前記1つまたはそれを上回るアプリケーションに割り当てられるべきである複数の状態から選択される個別の状態を決定することであって、前記状態は、前記アンカ場所と前記XRデバイスの近接度に基づいて決定される、ことと、
前記状態を実装することであって、前記1つまたはそれを上回るアプリケーションの第1のアプリケーションは、仮想コンテンツをレンダリングするための状態を割り当てられ、前記第1のアプリケーションは、前記XRデバイスを介して、仮想コンテンツを第1のアンカ場所に提示する、ことと、
前記XRデバイスの移動に応答して、前記1つまたはそれを上回るアプリケーションのための更新された状態を決定することと
を含む動作を実施させる、非一過性コンピュータ記憶媒体。
(項目19)
前記第1のアプリケーションの状態を決定することは、
前記第1のアプリケーションが位置付けられる複数のゾーンの第1のゾーンを識別することを含み、前記ゾーンは、前記XRデバイスの場所上に中心合わせされる立体グリッド内に含まれ、前記第1のゾーンは、前記決定された状態と関連付けられる、項目18に記載のコンピュータ記憶媒体。
(項目20)
前記複数のゾーンは、アプリケーションが、アクティブに設定され、仮想コンテンツレンダリングすることと関連付けられる状態、前記アプリケーションが、アクティブに設定され、仮想コンテンツをレンダリングすることと関連付けられない状態、前記アプリケーションが、スリープ状態に設定される状態、または前記アプリケーションが、アンロードされた状態に設定される状態を含む、状態と関連付けられる、項目19に記載のコンピュータ記憶媒体。
図1は、ARデバイスを通した拡張現実(AR)のユーザのビューを図示する。
図2は、ユーザのための3次元画像をシミュレートするための従来のディスプレイシステムを図示する。
図3A-3Cは、曲率半径と焦点半径との間の関係を図示する。
図4Aは、ヒト視覚系の遠近調節-輻輳・開散運動応答の表現を図示する。
図4Bは、一対のユーザの眼の異なる遠近調節状態および輻輳・開散運動状態の実施例を図示する。
図4Cは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の実施例を図示する。
図4Dは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の別の実施例を図示する。
図5は、波面発散を修正することによって3次元画像をシミュレートするためのアプローチの側面を図示する。
図6は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。
図7は、導波管によって出力された出射ビームの実施例を図示する。
図8は、スタックされた接眼レンズの実施例を図示し、各深度面は、複数の異なる原色を使用して形成される画像を含む。
図9Aは、それぞれ、内部結合光学要素を含む、スタックされた導波管のセットの実施例の断面側面図を図示する。
図9Bは、図9Aの複数のスタックされた導波管の実施例の斜視図を図示する。
図9Cは、図9Aおよび9Bの複数のスタックされた導波管の実施例の上下平面図を図示する。
図9Dは、複数のスタックされた導波管の別の実施例の上下平面図を図示する。
図9Eは、ウェアラブルディスプレイシステムの実施例を図示する。
図10は、XRデバイスのユーザとの異なる近接度におけるアプリケーションのための異なるアプリケーション状態を示す、ブロック図を図示する。
図11は、状態をアプリケーションに割り当てることと関連付けられる、例示的状態図を図示する。
図12は、アプリケーションの状態を更新するための例示的プロセスに関するフローチャートである。
図13は、アプリケーションをフィルタリングするための例示的プロセスに関するフローチャートである。
図14は、アプリケーションのランク付けに基づいてアプリケーションをレンダリングするための例示的プロセスに関するフローチャートである。
詳細な説明
いくつかの実施形態では、技法が、世界または具体的地理的領域全体を通して拡散されるアンカ場所を用いて、多数のアプリケーションの連携を有効にするために提供される。説明されるであろうように、各アプリケーションは、ディスプレイデバイスを介して、ユーザへの提示のための特定のコンテンツをレンダリングするために実行されてもよい。例示的コンテンツは、拡張現実、仮想現実、または複合現実、コンテンツ(本明細書では、「仮想コンテンツ」と称される)を含んでもよい。アプリケーションは、ディスプレイデバイスによって、ユーザが、そのアプリケーションと関連付けられる、アンカ場所(例えば、実世界場所)に近接することに基づいて、アクティブ化(例えば、実行)されてもよい。仮想コンテンツを表示するための例示的ディスプレイデバイスは、図9Eに図示されるディスプレイシステム60等、ユーザによって装着される、ディスプレイデバイスを含んでもよい。別の例示的ディスプレイデバイスは、スマートフォン、タブレット等、仮想コンテンツを表示するためのポータブルディスプレイデバイスを含んでもよい。本明細書では、仮想コンテンツを表示するためのディスプレイデバイスは、クロスリアリティデバイスまたは「XR」デバイスと称され得る。
本明細書に説明されるように、アプリケーションは、ユーザが世界を横断するにつれて、異なる状態(例えば、アクティブ、非アクティブ、未ロード等)を割り当てられてもよい。このように、アプリケーションは、仮想コンテンツをユーザにレンダリングし、仮想コンテンツが実世界場所に存続するような錯覚を与え得る(例えば、実世界家電または特徴に類似する)。複数の(例えば、数十、数百、数千、数十万、またはそれを上回る)アプリケーションと、関連付けられるアンカ場所とが、存在し得る。XRデバイスは、限定された算出リソース(例えば、限定されたメモリ、限定された処理パワー等)を有し得るため、XRデバイスは、アプリケーションの全てを同時に実行することが不可能であり得る。同様に、XRデバイスは、アプリケーションの全てを記憶することが不可能であり得る。したがって、状態の割当を連携させるための技法が、望ましい。これらの割り当てられた状態に基づいて、具体的アプリケーションのみが、仮想コンテンツをレンダリングすることを可能にされてもよい一方、他のアプリケーションは、ロードされる、アンロードされる、スリープ状態に置かれる等となってもよく、その状態の変化は、有利なこととして、ユーザにシームレスに現れる。加えて、ユーザに近接するアンカ場所と関連付けられる、アプリケーションを迅速に取得するための技法も、本明細書に説明される。
アプリケーション
図1に図示されるロボット像等の仮想現実コンテンツが、実世界環境を豊かにするために使用されてもよい。別の実施例として、仮想コンテンツは、ユーザが視認している実世界食物アイテムに関する栄養情報を提供するために使用されてもよい。本実施例では、テキスト情報が、実世界環境に提示され、栄養情報を説明してもよい。ユーザは、したがって、異なる食物アイテムと関連付けられる、利点、短所等を迅速に理解し得る。さらに別の実施例として、仮想コンテンツは、ユーザの自宅の部屋内の仮想ライトスイッチを表してもよい。ユーザは、仮想ライトスイッチに接近し、仮想ライトスイッチをオンまたはオフにするためのユーザ入力を提供してもよい。有利なこととして、デバイス(例えば、ユーザのXRデバイス)は、情報を部屋内のライトと関連付けられるコントローラに提供してもよい。したがって、仮想ライトスイッチとの相互作用は、部屋内の実世界のライトを調節させ得る。これは、ライトスイッチの配線と関連付けられる、複雑性を低減させるという例示的利点を有し得る。加えて、仮想ライトスイッチは、仮想ライトスイッチの設置の容易な調節を可能にし得る。例えば、ユーザは、部屋の異なる部分への仮想ライトスイッチの設置を更新するためのユーザ入力を提供してもよい。別の実施例として、仮想キーパッドまたはロックが、ドアと関連付けられてもよい。ユーザは、ドアに接近してもよく、仮想キーパッドまたはロックは、ユーザからの入力を受信するように現れてもよい。デバイスは、ユーザからの入力の受信に応じて、次いで、命令をドア上のコントローラに提供し、ドアを解錠または施錠してもよい。
上記の実施例に関して、仮想コンテンツは、ユーザの日常生活の異なる場面において、有用な機能性を提供し得ることを理解されたい。例えば、栄養情報は、店舗内の向上された体験を可能にし得る。別の実施例として、仮想ライトスイッチまたはキーパッドまたはロックは、ユーザの自宅内での向上された体験を可能にし得る。同様に、仮想コンテンツは、世界の他のエリア全体を通して拡散されてもよい。実施例として、仮想コンテンツは、ユーザが図書館にいる間に提示されてもよい。本実施例では、仮想コンテンツは、図書館の異なるセクション、異なる書籍、ユーザが関心を持つ書籍までの案内等に関連する情報を提供してもよい。別の実施例として、仮想コンテンツは、ユーザが街の通りを横断している際、店舗に近接して提示されてもよい。本実施例では、仮想コンテンツは、店舗のうちの1つまたはそれを上回るものに関する有用な情報をユーザに提供してもよい。別の実施例として、ユーザの友人が、仮想メッセージを実世界場所(例えば、特定の壁、店舗の看板の上方等)に関連付けてもよい。したがって、ユーザは、実世界場所に近接すると、仮想メッセージを視認し得る。
仮想コンテンツが世界全体を通して提示されることを可能にするために、異なるアプリケーションが、XRデバイス上で実行されてもよく、これは、XRデバイスに、異なる仮想コンテンツを提示させる。アプリケーションは、本明細書に説明されるように、XRデバイスが、ユーザへの提示のために、仮想コンテンツをレンダリングすることを有効にし得る。アプリケーションは、仮想コンテンツを含んでもよい、または有線または無線通信を介して(例えば、ネットワークアドレスから)、特定の仮想コンテンツを取得してもよい。有利なこととして、本明細書に説明されるアプリケーションは、1つまたはそれを上回る実世界場所にアンカされてもよい。
したがって、XRデバイスは、ユーザがアプリケーションと関連付けられるアンカ場所に近接して位置すると、アプリケーションを実行してもよい。ユーザの自宅の実施例に関して、特定のアプリケーションは、XRデバイスに、仮想ライトスイッチを特定の部屋内にレンダリングさせてもよい。本実施例では、XRデバイスは、ユーザが特定の部屋内または特定の部屋の閾値距離内にいるとき、特定のアプリケーションを実行させてもよい。キーパッドまたはロックの実施例に関して、XRデバイスは、ユーザが、例えば、ドアまでの閾値近接度内にいるとき、特定のアプリケーションを実行させてもよい。
本明細書に説明されるアプリケーションは、ユーザが、あるアプリケーションをユーザのXRデバイス上にインストール(例えば、ロード)させ、デバイス上にローカルで常駐させ得るように、オンラインアプリケーションストアから取得されてもよい(例えば、ダウンロード可能「アプリ」として)。アプリケーションはまた、XRデバイスによって自動的に、例えば、必要に応じて、オンデマンドで取得されてもよい。例えば、ユーザが、世界を横断するにつれて、ユーザデバイスは、あるアンカ場所に近接して位置付けられる。本実施例では、ユーザデバイスは、アンカ場所と関連付けられるアプリケーションを取得してもよい。実施例として、アプリケーションは、無線接続(例えば、LTEまたは5G等のセルラー接続、Wi-Fi接続等)を介して取得されてもよい。したがって、ユーザが、世界を中心として移動するにつれて、異なるアプリケーションが、実行のために取得されてもよい。このように、関連付けられる仮想コンテンツが、それが実世界内に固定して現れる(例えば、実世界場所上にアンカされる)ように、アプリケーションによってレンダリングされてもよい。
アプリケーションアンカ場所
上記に説明されるように、アプリケーションは、1つまたはそれを上回る関連付けられるアンカ場所を有してもよい。アンカ場所は、そこでアプリケーションが仮想コンテンツを提示するべきである、実世界場所であってもよい。このように、ユーザは、アンカ場所に位置するにつれて、仮想コンテンツを知覚し得る。例えば、栄養アプリケーションと関連付けられる第1のアンカ場所は、店舗内の第1のタイプの果物に近接してもよい一方、第2のアンカ場所は、第2のタイプの果物に近接してもよい。いくつかの実施形態では、実世界場所は、グローバルナビゲーション衛星システム(GNSS)場所(例えば、全地球測位システム場所)を表してもよい。したがって、アプリケーションは、本GNSS場所において知覚されるべき仮想コンテンツをレンダリングしてもよい。
いくつかの実施形態では、アプリケーションは、「プリズム」と称され得る、境界された体積内に仮想コンテンツをレンダリングしてもよい。各プリズムは、アプリケーションが、プリズム自体を管理することによって、複合現実環境内の仮想コンテンツの設置および表示を管理し得るように、アプリケーションが複合現実環境内のプリズムを管理および表示することを可能にする、特性および性質を有してもよい。例えば、仮想コンテンツのアンカ場所は、仮想コンテンツを含む、プリズムと関連付けられるアンカ場所を表してもよい。アプリケーションは、随意に、1つまたはそれを上回るプリズムと関連付けられてもよい。いくつかの実施形態では、プリズムは、各プリズムが明確に異なる体積を表すように、相互に重複しないように設定されてもよい。
各プリズムは、「プリズムマネージャ」と称され得る、プリズムを管理する、アプリケーションが、複合現実環境内の1つまたはそれを上回るプリズムと関連付けられる仮想コンテンツの表示を制御することを可能にする、特性および性質を有してもよい。いくつかの実施形態では、プリズムは、2Dディスプレイ環境内の「ウィンドウ」に類似し得る。2D環境では、ウィンドウは、場所およびメニュー構造を定義し、2Dコンテンツを表示するために使用され得る。同様に、XRシステムの3D環境内では、プリズムは、プリズムマネージャが、例えば、コンテンツ場所、3Dウィンドウ挙動、および3Dコンテンツの表示の周囲のメニュー構造に関連する制御を提供することを可能にする。例えば、制御は、少なくとも、仮想コンテンツをユーザの環境内の特定の場所に設置すること、仮想コンテンツを環境から除去すること、仮想コンテンツをコピーすること、および/またはコピーを異なる場所に設置すること等を含んでもよい。
プリズムに関連する付加的説明は、米国特許公開第2019/0197785号および米国仮特許出願62/934,485号内に含まれ、これは、本明細書に記載される場合と同様に、本開示の一部を形成する。
いくつかの実施形態では、実世界場所は、実世界の区別可能な特徴から決定されるような実世界内の特定の空間場所に対応し得る。実施例として、区別特徴は、角、壁上のマーク、縁、文字(例えば、文字「s」)等の比較的に小特徴を含んでもよい。これらの区別特徴の組み合わせが、実世界場所を正確に規定するために使用されてもよい。XRデバイスが、世界を中心として移動されるにつれて、XRデバイスは、1つまたはそれを上回る外向きに面した画像センサを介して、世界の画像を取得してもよい。これらの取得された画像は、区別特徴を描写し得、これは、アプリケーションと関連付けられるアンカ場所を決定するために使用されてもよい。区別特徴は、物理的世界についての記憶された、または別様にアクセス可能である、持続的情報と比較されてもよい。このように、持続的情報は、取得された画像内に含まれる特徴と比較されてもよい。比較に基づいて、実質的に精密なアンカ場所が、決定され得る。
いくつかの実施形態では、物理的世界についての持続的情報は、持続的座標フレーム(PCF)として表され得る。PCFは、1つまたはそれを上回る点に基づいて定義されてもよく、これは、物理的世界内で認識される特徴を表す。特徴は、それらがXRデバイスのユーザセッション毎に同一である可能性が高いように選択されてもよい。例えば、特徴は、持続的である可能性が高いように決定されてもよい。PCFは、それらが効率的に処理および転送され得るように、疎らに存在し、物理的世界についての利用可能な情報の全て未満を提供し得る。特徴は、実施例として、特徴に基づいて生成された記述子の比較に基づいて、XRデバイスによって認識されてもよい。実施例として、記述子は、XRデバイスによって取得される画像に描写されるような特徴(例えば、特定の区別特徴)または特徴を囲繞する面積に関して生成されてもよい。特徴に関する記述子は、次いで、1つまたはそれを上回るPCF(例えば、XRデバイスの場所と関連付けられるPCF)内に含まれる特徴に関する記述子と比較されてもよい。記述子が、説明されるが、いくつかの実施形態では、XRデバイスは、特徴を囲繞するパッチを比較してもよい。
XRデバイスは、したがって、物理的世界の画像を取得し、画像内の特徴と1つまたはそれを上回るPCFと関連付けられる特徴の比較に基づいて、アンカ場所を決定してもよい。いくつかの実施形態では、XRデバイスは、XRデバイスが使用時、実世界場所を表す、1つまたはそれを上回る持続的マップを記憶および/または生成してもよい。したがって、XRデバイスは、持続的マップとPCFを比較し、具体的アンカ場所を正確に識別し得る。このように、XRデバイスは、仮想コンテンツの提示を具体的アンカ場所に生じさせ得る。実施例として、アンカ場所は、看板の上方、建物の特定の窓の左、図書館内のある棚の上、特定の部屋内に位置する壁上の特定の場所等の場所を含んでもよい。
アンカ場所の決定に関連する付加的説明は、少なくとも、米国特許出願第16/593,745号の図6Bおよび14に含まれ、これは、本明細書に記載される場合と同様に、本開示の一部を形成する。
アプリケーション状態の連携
本明細書に議論されるように、アプリケーションは、世界全体を通して拡散される、1つまたはそれを上回るアンカ場所を有してもよい。例えば、ユーザが、ある都市の通りを歩くにつれて、ユーザに近接する異なるアプリケーションのための多数のアンカ場所が存在してもよい。理解され得るように、XRデバイスは、多数のアプリケーションのそれぞれを同時に実行することが不可能であり得る。例えば、XRデバイスは、限定されたメモリ、算出リソースを有し得、および/または仮想コンテンツをアプリケーションの全てから提示するためのユーザ体験を低減させ得る。
したがって、利用可能な算出リソースに基づいて、ユーザが都市の通りを中心として移動するにつれて、アプリケーションの変化するサブセットを実行してもよい。本明細書に説明される技法を用いなければ、ある仮想コンテンツは、実世界内で存在および消失するようにユーザによって知覚され得る。これは、仮想コンテンツと関連付けられる現実性を低減させる、有害な影響を及ぼし得る。例えば、上記に説明されるように、仮想コンテンツは、実世界内に存続するように設計されてもよい。しかしながら、アプリケーションの実行を連携させるための技法を伴わなければ、仮想コンテンツは、限定された算出リソースに起因して、存続するように知覚され得ない。
有利なこととして、いくつかの実施形態によると、アプリケーションは、アプリケーションまでのユーザの近接度に基づいて、異なる状態を割り当てられてもよい。加えて、アプリケーションは、実世界に対するユーザまたはXRデバイスの目線にさらに基づいて、異なる状態を割り当てられてもよい。説明の便宜上、本開示では、アプリケーションは、アプリケーションが、ユーザに近接するアンカ場所と関連付けられる場合、ユーザに近接すると説明される。同様に、本開示は、関連付けられるアンカポイントがユーザまたはXRデバイスの視野または目線内にある場合、アプリケーションがユーザの視野または目線内にあると説明する。例えば、アプリケーションは、アプリケーションが、視野内のアンカ場所で知覚されるように、仮想コンテンツをレンダリングするように構成される場合、ユーザまたはXRデバイスの視野内にあると見なされ得る。
連携状態の実施例として、ユーザの閾値距離内のアンカ場所を伴うアプリケーション等、ユーザに近接すると決定される、アプリケーションは、「アクティブ+レンダリング」状態を割り当てられてもよい。説明されるであろうように、アクティブ+レンダリング状態は、アプリケーションに、ユーザへの提示のために、仮想コンテンツをレンダリングさせ得る。別の実施例として、ユーザに近接すると決定され、かつ視野内(例えば、表示錐台内)にあると決定される、アプリケーションは、「アクティブ+レンダリング」状態を割り当てられてもよい。視野内にない、ユーザに近接する他のアプリケーションは、異なる状態を割り当てられてもよい。例えば、他のアプリケーションは、「アクティブ+無レンダリング」、すなわち、「スリープ」状態を割り当てられてもよい。本実施例では、他のアプリケーションは、仮想コンテンツをレンダリングしなくてもよい。したがって、XRデバイスの算出リソースは、節約され得る。いくつかの実施形態では、アプリケーションと関連付けられるプリズムは、状態を割り当てられてもよい。関連付けられるアプリケーションは、次いで、その状態を実装してもよい。例えば、プリズムが、「アクティブ+レンダリング」を割り当てられる場合、関連付けられるアプリケーションは、仮想コンテンツをユーザに提示してもよい。
加えて、XRデバイスは、ユーザが実世界を中心として移動するにつれて、アプリケーションを取得(例えば、ダウンロード)してもよい。例えば、XRデバイスは、XRデバイスの閾値距離内にアンカ場所を伴う、アプリケーションを識別してもよい。本実施例では、XRデバイスは、場所情報を外部システムに提供してもよい。それに応答して、外部システムは、閾値距離内のアプリケーションを識別してもよい。XRデバイスは、次いで、XRデバイス上での実行のために、例えば、ローカル記憶装置から、または有線または無線接続を介して外部システムから、識別されたアプリケーションを取得(例えば、ロード)してもよい。各アプリケーションの状態は、XRデバイスの移動に基づいて、例えば、「スリープ」または「アクティブ」に更新されてもよい。実施例として、XRデバイスが、アプリケーションのより近くに移動するにつれて、アプリケーションは、「アクティブ」に更新されてもよい。対照的に、XRデバイスが、アプリケーションからより遠くに移動するにつれて、アプリケーションは、「スリープ」に更新されてもよい、またはアプリケーションは、XRデバイスからアンロード(例えば、ローカルメモリから除去)されてもよい。
アプリケーションのダウンロードに関連する付加的説明は、少なくとも、米国仮特許出願第62/934,485号の図64に説明され、これは、本明細書に記載される場合と同様に、本開示の一部を形成する。
このように、多くの(例えば、数十、数百、数千、または数十万またはそれを上回る)アプリケーションが、XRデバイスによって、XRデバイスの場所および/またはXRデバイスの視点に基づいて、シームレスにロードされ得る。XRデバイスが、実世界を中心として移動するにつれて、以前にロードされたアプリケーションは、XRデバイスによって、破棄(例えば、削除)されてもよい。このように、XRデバイスは、XRデバイスの閾値距離内のアンカ場所を伴う、アプリケーションを取得してもよい。したがって、仮想コンテンツは、アプリケーションのXRデバイスによる連携に基づいて、実世界内に存続すると知覚され得る。
下記の図2-9Eは、仮想コンテンツをユーザに出力することが可能な拡張現実デバイスおよびシステムに関連する例示的詳細を説明する。有利なこととして、拡張現実デバイスおよびシステムは、仮想コンテンツを異なる深度面上に出力してもよい。各深度面は、仮想コンテンツがユーザから異なる深度に位置付けられるように知覚され得るように、異なる遠近調節キューと関連付けられ得る。下記の説明は、ディスプレイシステム250等、本明細書に開示されるアプリケーション連携技法を使用して仮想コンテンツを提供するためのディスプレイデバイスの特に有利な実施例として、複数の深度面を伴う拡張現実デバイスを説明するが、本明細書に説明される技法は、概して、XRデバイス上に実装されてもよいことを理解されたい。
例えば、ユーザデバイス(例えば、モバイルデバイス、タブレット等)は、仮想コンテンツをユーザに提示してもよい。本実施例では、ユーザデバイスは、1つまたはそれを上回る外向きに面した結像センサを使用して、実世界環境の画像を取得してもよい。ユーザデバイスは、ユーザデバイスのディスプレイを介して、実世界環境を提示し、レンダリングされた仮想コンテンツを提示に含んでもよい。このように、ユーザは、ユーザデバイスを実世界環境を中心として移動させ、その中に含まれる仮想コンテンツを視認してもよい。
ここで、同様の参照番号が全体を通して同様の部分を指す、図面を参照する。別様に示されない限り、図面は、概略であって、必ずしも、正確な縮尺で描かれていない。
例示的拡張現実ディスプレイシステム
図2は、ユーザのための3次元画像をシミュレートするための従来のディスプレイシステムを図示する。ユーザの眼は、離間されており、空間内の実オブジェクトを見ているとき、各眼は、オブジェクトの若干異なるビューを有し、オブジェクトの画像を各眼の網膜上の異なる場所に形成し得ることを理解されたい。これは、両眼視差と称され得、ヒト視覚系によって、深度の知覚を提供するために利用され得る。従来のディスプレイシステムは、仮想オブジェクトが所望の深度における実オブジェクトであるように各眼によって見えるであろう仮想オブジェクトのビューに対応する、眼210、220毎に1つの同一仮想オブジェクトの若干異なるビューを伴う2つの明確に異なる画像190、200を提示することによって、両眼視差をシミュレートする。これらの画像は、ユーザの視覚系が深度の知覚を導出するために解釈し得る、両眼キューを提供する。
図2を継続して参照すると、画像190、200は、z-軸上で距離230だけ眼210、220から離間される。z-軸は、その眼が視認者の直前の光学無限遠におけるオブジェクトを固視している状態の視認者の光学軸と平行である。画像190、200は、平坦であって、眼210、220から固定距離にある。それぞれ、眼210、220に提示される画像内の仮想オブジェクトの若干異なるビューに基づいて、眼は、必然的に、オブジェクトの画像が眼のそれぞれの網膜上の対応する点に来て、単一両眼視を維持するように回転し得る。本回転は、眼210、220のそれぞれの視線を仮想オブジェクトが存在するように知覚される空間内の点上に収束させ得る。その結果、3次元画像の提供は、従来、ユーザの眼210、220の輻輳・開散運動を操作し得、ヒト視覚系が深度の知覚を提供するように解釈する、両眼キューを提供することを伴う。
しかしながら、深度の現実的かつ快適な知覚の生成は、困難である。眼からの異なる距離におけるオブジェクトからの光は、異なる発散量を伴う波面を有することを理解されたい。図3A-3Cは、距離と光線の発散との間の関係を図示する。オブジェクトと眼210との間の距離は、減少距離R1、R2、およびR3の順序で表される。図3A-3Cに示されるように、光線は、オブジェクトまでの距離が減少するにつれてより発散する。逆に言えば、距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点(オブジェクトまたはオブジェクトの一部)によって生成されるライトフィールドは、点がユーザの眼から離れている距離の関数である、球状波面曲率を有すると言え得る。曲率は、オブジェクトと眼210との間の距離の減少に伴って増加する。単眼210のみが、例証を明確にするために、図3A-3Cおよび本明細書の種々の他の図に図示されるが、眼210に関する議論は、視認者の両眼210および220に適用され得る。
図3A-3Cを継続して参照すると、視認者の眼が固視しているオブジェクトからの光は、異なる波面発散度を有し得る。異なる波面発散量に起因して、光は、眼の水晶体によって異なるように集束され得、これは、ひいては、水晶体に、異なる形状をとり、集束された画像を眼の網膜上に形成することを要求し得る。集束された画像が、網膜上に形成されない場合、結果として生じる網膜ぼけは、集束された画像が網膜上に形成されるまで、眼の水晶体の形状に変化を生じさせる、遠近調節のためのキューとして作用する。例えば、遠近調節のためのキューは、眼の水晶体を囲繞する毛様筋の弛緩または収縮をトリガし、それによって、水晶体を保持する提靱帯に印加される力を変調し、したがって、固視されているオブジェクトの網膜ぼけが排除または最小限にされるまで、眼の水晶体の形状を変化させ、それによって、固視されているオブジェクトの集束された画像を眼の網膜(例えば、中心窩)上に形成し得る。眼の水晶体が形状を変化させるプロセスは、遠近調節と称され得、固視されているオブジェクトの集束された画像を眼の網膜(例えば、中心窩)上に形成するために要求される眼の水晶体の形状は、遠近調節状態と称され得る。
ここで図4Aを参照すると、ヒト視覚系の遠近調節-輻輳・開散運動応答の表現が、図示される。オブジェクトを固視するための眼の移動は、眼にオブジェクトからの光を受光させ、光は、画像を眼の網膜のそれぞれ上に形成する。網膜上に形成される画像内の網膜ぼけの存在は、遠近調節のためのキューを提供し得、網膜上の画像の相対的場所は、輻輳・開散運動のためのキューを提供し得る。遠近調節するためのキューは、遠近調節を生じさせ、眼の水晶体がオブジェクトの集束された画像を眼の網膜(例えば、中心窩)上に形成する特定の遠近調節状態をとる結果をもたらす。一方、輻輳・開散運動のためのキューは、各眼の各網膜上に形成される画像が単一両眼視を維持する対応する網膜点にあるように、輻輳・開散運動移動(眼の回転)を生じさせる。これらの位置では、眼は、特定の輻輳・開散運動状態をとっていると言え得る。図4Aを継続して参照すると、遠近調節は、眼が特定の遠近調節状態を達成するプロセスであると理解され得、輻輳・開散運動は、眼が特定の輻輳・開散運動状態を達成するプロセスであると理解され得る。図4Aに示されるように、眼の遠近調節および輻輳・開散運動状態は、ユーザが別のオブジェクトを固視する場合、変化し得る。例えば、遠近調節された状態は、ユーザがz-軸上の異なる深度における新しいオブジェクトを固視する場合、変化し得る。
理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動および遠近調節の組み合わせに起因して、オブジェクトを「3次元」であると知覚し得ると考えられる。上記に記載されるように、2つの眼の相互に対する輻輳・開散運動移動(例えば、瞳孔が相互に向かって、またはそこから移動し、眼の視線を収束させ、オブジェクトを固視するような眼の回転)は、眼の水晶体の遠近調節と密接に関連付けられる。正常条件下、焦点を1つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼の水晶体の焦点の変化は、「遠近調節-輻輳・開散運動反射」として知られる関係下、同一距離への輻輳・開散運動の合致する変化を自動的に生じさせるであろう。同様に、輻輳・開散運動の変化は、正常条件下、水晶体形状における合致する変化を誘起するであろう。
ここで図4Bを参照すると、眼の異なる遠近調節および輻輳・開散運動状態の実施例が、図示される。対の眼222aは、光学無限遠におけるオブジェクトを固視する一方、対の眼222bは、光学無限遠未満におけるオブジェクト221を固視する。着目すべきこととして、各対の眼の輻輳・開散運動状態は、異なり、対の眼222aは、まっすぐ指向される一方、対の眼222は、オブジェクト221上に収束する。各対の眼222aおよび222bを形成する眼の遠近調節状態もまた、水晶体210a、220aの異なる形状によって表されるように異なる。
望ましくないことに、従来の「3-D」ディスプレイシステムの多くのユーザは、これらのディスプレイにおける遠近調節と輻輳・開散運動状態との間の不整合に起因して、そのような従来のシステムを不快であると見出す、または奥行感を全く知覚しない場合がある。上記に記載されるように、多くの立体視または「3-D」ディスプレイシステムは、若干異なる画像を各眼に提供することによって、場面を表示する。そのようなシステムは、それらが、とりわけ、単に、場面の異なる提示を提供し、眼の輻輳・開散運動状態に変化を生じさせるが、それらの眼の遠近調節状態に対応する変化を伴わないため、多くの視認者にとって不快である。むしろ、画像は、眼が全ての画像情報を単一遠近調節状態において視認するように、ディスプレイによって眼から固定距離に示される。そのような配列は、遠近調節状態における整合する変化を伴わずに輻輳・開散運動状態に変化を生じさせることによって、「遠近調節-輻輳・開散運動反射」に逆らう。本不整合は、視認者不快感を生じさせると考えられる。遠近調節と輻輳・開散運動との間のより良好な整合を提供する、ディスプレイシステムは、3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。いくつかの実施形態では、異なる提示は、輻輳・開散運動のためのキューおよび遠近調節するための整合するキューの両方を提供し、それによって、生理学的に正しい遠近調節-輻輳・開散運動整合を提供してもよい。
図4Bを継続して参照すると、眼210、220からの空間内の異なる距離に対応する、2つの深度面240が、図示される。所与の深度面240に関して、輻輳・開散運動キューが、眼210、220毎に適切に異なる視点の画像を表示することによって提供されてもよい。加えて、所与の深度面240に関して、各眼210、220に提供される画像を形成する光は、その深度面240の距離におけるある点によって生成されたライトフィールドに対応する波面発散を有してもよい。
図示される実施形態では、点221を含有する、深度面240のz-軸に沿った距離は、1mである。本明細書で使用されるように、z-軸に沿った距離または深度は、ユーザの眼の射出瞳に位置するゼロ点を用いて測定されてもよい。したがって、1mの深度に位置する深度面240は、眼が光学無限遠に向かって指向される状態におけるそれらの眼の光学軸上のユーザの眼の射出瞳から1m離れた距離に対応する。近似値として、z-軸に沿った深度または距離は、ユーザの眼の正面のディスプレイ(例えば、導波管の表面)から測定され、デバイスとユーザの眼の射出瞳との間の距離に関する値が加えられてもよい。その値は、瞳距離と呼ばれ、ユーザの眼の射出瞳と眼の正面のユーザによって装着されるディスプレイとの間の距離に対応し得る。実際は、瞳距離に関する値は、概して、全ての視認者に関して使用される、正規化された値であってもよい。例えば、瞳距離は、20mmであると仮定され得、1mの深度における深度面は、ディスプレイの正面の980mmの距離にあり得る。
ここで図4Cおよび4Dを参照すると、整合遠近調節-輻輳・開散運動距離および不整合遠近調節-輻輳・開散運動距離の実施例が、それぞれ、図示される。図4Cに図示されるように、ディスプレイシステムは、仮想オブジェクトの画像を各眼210、220に提供してもよい。画像は、眼210、220に、眼が深度面240上の点15上に収束する、輻輳・開散運動状態をとらせ得る。加えて、画像は、その深度面240における実オブジェクトに対応する波面曲率を有する光によって形成され得る。その結果、眼210、220は、画像がそれらの眼の網膜上に合焦された遠近調節状態をとる。したがって、ユーザは、仮想オブジェクトを深度面240上の点15にあるように知覚し得る。
眼210、220の遠近調節および輻輳・開散運動状態はそれぞれ、z-軸上の特定の距離と関連付けられることを理解されたい。例えば、眼210、220からの特定の距離におけるオブジェクトは、それらの眼に、オブジェクトの距離に基づいて、特定の遠近調節状態をとらせる。特定の遠近調節状態と関連付けられる距離は、遠近調節距離Aと称され得る。同様に、特定の輻輳・開散運動状態または相互に対する位置における眼と関連付けられる特定の輻輳・開散運動距離Vが、存在する。遠近調節距離および輻輳・開散運動距離が整合する場合、遠近調節と輻輳・開散運動との間の関係は、生理学的に正しいと言え得る。これは、視認者のために最も快適なシナリオと見なされる。
しかしながら、立体視ディスプレイでは、遠近調節距離および輻輳・開散運動距離は、常時、整合しない場合がある。例えば、図4Dに図示されるように、眼210、220に表示される画像は、深度面240に対応する波面発散を伴って表示され得、眼210、220は、その深度面上の点15a、15bが合焦する、特定の遠近調節状態をとり得る。しかしながら、眼210、220に表示される画像は、眼210、220を深度面240上に位置しない点15上に収束させる、輻輳・開散運動のためのキューを提供し得る。その結果、いくつかの実施形態では、遠近調節距離は、眼210、220の射出瞳から深度面240までの距離に対応する一方、輻輳・開散運動距離は、眼210、220の射出瞳から点15までのより大きい距離に対応する。遠近調節距離は、輻輳・開散運動距離と異なる。その結果、遠近調節-輻輳・開散運動不整合が存在する。そのような不整合は、望ましくないと見なされ、不快感をユーザに生じさせ得る。不整合は、距離(例えば、V-A)に対応し、ジオプタを使用して特徴付けられ得ることを理解されたい。
いくつかの実施形態では、同一参照点が遠近調節距離および輻輳・開散運動距離のために利用される限り、眼210、220の射出瞳以外の参照点が、遠近調節-輻輳・開散運動不整合を決定するための距離を決定するために利用されてもよいことを理解されたい。例えば、距離は、角膜から深度面まで、網膜から深度面まで、接眼レンズ(例えば、ディスプレイデバイスの導波管)から深度面まで等で測定され得る。
理論によって限定されるわけではないが、ユーザは、不整合自体が有意な不快感を生じさせずに、依然として、最大約0.25ジオプタ、最大約0.33ジオプタ、および最大約0.5ジオプタの遠近調節-輻輳・開散運動不整合が生理学的に正しいとして知覚し得ると考えられる。いくつかの実施形態では、本明細書に開示されるディスプレイシステム(例えば、ディスプレイシステム250、図6)は、約0.5ジオプタまたはそれ未満の遠近調節-輻輳・開散運動不整合を有する画像を視認者に提示する。いくつかの他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節-輻輳・開散運動不整合は、約0.33ジオプタまたはそれ未満である。さらに他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節-輻輳・開散運動不整合は、約0.25ジオプタまたはそれ未満であって、約0.1ジオプタまたはそれ未満を含む。
図5は、波面発散を修正することによって、3次元画像をシミュレートするためのアプローチの側面を図示する。ディスプレイシステムは、画像情報でエンコードされた光770を受光し、その光をユーザの眼210に出力するように構成される、導波管270を含む。導波管270は、所望の深度面240上のある点によって生成されたライトフィールドの波面発散に対応する定義された波面発散量を伴って光650を出力してもよい。いくつかの実施形態では、同一量の波面発散が、その深度面上に提示される全てのオブジェクトのために提供される。加えて、ユーザの他方の眼は、類似導波管からの画像情報を提供され得るように図示されるであろう。
いくつかの実施形態では、単一導波管が、単一または限定数の深度面に対応する設定された波面発散量を伴う光を出力するように構成されてもよく、および/または導波管は、限定された範囲の波長の光を出力するように構成されてもよい。その結果、いくつかの実施形態では、複数またはスタックの導波管が、異なる深度面のための異なる波面発散量を提供し、および/または異なる範囲の波長の光を出力するために利用されてもよい。本明細書で使用されるように、深度面は、平面であり得る、または湾曲表面の輪郭に追従し得ることを理解されたい。
図6は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム250は、複数の導波管270、280、290、300、310を使用して、3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ260を含む。ディスプレイシステム250は、いくつかの実施形態では、ライトフィールドディスプレイと見なされてもよいことを理解されたい。加えて、導波管アセンブリ260はまた、接眼レンズとも称され得る。
いくつかの実施形態では、ディスプレイシステム250は、輻輳・開散運動するための実質的に連続キューおよび遠近調節するための複数の離散キューを提供するように構成されてもよい。輻輳・開散運動のためのキューは、異なる画像をユーザの眼のそれぞれに表示することによって提供されてもよく、遠近調節のためのキューは、選択可能離散量の波面発散を伴う画像を形成する光を出力することによって提供されてもよい。換言すると、ディスプレイシステム250は、可変レベルの波面発散を伴う光を出力するように構成されてもよい。いくつかの実施形態では、波面発散の各離散レベルは、特定の深度面に対応し、導波管270、280、290、300、310のうちの特定の1つによって提供されてもよい。
図6を継続して参照すると、導波管アセンブリ260はまた、複数の特徴320、330、340、350を導波管の間に含んでもよい。いくつかの実施形態では、特徴320、330、340、350は、1つまたはそれを上回るレンズであってもよい。導波管270、280、290、300、310および/または
複数のレンズ320、330、340、350は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度面と関連付けられてもよく、その深度面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス360、370、380、390、400は、導波管のための光源として機能してもよく、画像情報を導波管270、280、290、300、310の中に投入するために利用されてもよく、それぞれ、本明細書に説明されるように、眼210に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成されてもよい。光は、画像投入デバイス360、370、380、390、400の出力表面410、420、430、440、450から出射し、導波管270、280、290、300、310の対応する入力表面460、470、480、490、500の中に投入される。いくつかの実施形態では、入力表面460、470、480、490、500はそれぞれ、対応する導波管の縁であってもよい、または対応する導波管の主要表面の一部(すなわち、世界510または視認者の眼210に直接面する導波管表面のうちの1つ)であってもよい。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度(および発散量)において眼210に向かって指向される、クローン化されるコリメートされたビームの場全体を出力してもよい。いくつかの実施形態では、画像投入デバイス360、370、380、390、400のうちの単一の1つは、複数(例えば、3つ)の導波管270、280、290、300、310と関連付けられ、その中に光を投入してもよい。
いくつかの実施形態では、画像投入デバイス360、370、380、390、400はそれぞれ、対応する導波管270、280、290、300、310の中への投入のための画像情報をそれぞれ生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス360、370、380、390、400は、例えば、1つまたはそれを上回る光学導管(光ファイバケーブル等)を介して、画像情報を画像投入デバイス360、370、380、390、400のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。画像投入デバイス360、370、380、390、400によって提供される画像情報は、異なる波長または色(例えば、本明細書に議論されるように、異なる原色)の光を含んでもよいことを理解されたい。
いくつかの実施形態では、導波管270、280、290、300、310の中に投入される光は、光投影システム520によって提供され、これは、光モジュール530を備え、これは、発光ダイオード(LED)等の光エミッタを含んでもよい。光モジュール530からの光は、ビームスプリッタ550を介して、光変調器540、例えば、空間光変調器によって指向および修正されてもよい。光変調器540は、導波管270、280、290、300、310の中に投入される光の知覚される強度を変化させ、光を画像情報でエンコードするように構成されてもよい。空間光変調器の実施例は、シリコン上液晶(LCOS)ディスプレイを含む、液晶ディスプレイ(LCD)を含む。いくつかの他の実施形態では、空間光変調器は、デジタル光処理(DLP)デバイス等のMEMSデバイスであってもよい。画像投入デバイス360、370、380、390、400は、図式的に図示され、いくつかの実施形態では、これらの画像投入デバイスは、光を導波管270、280、290、300、310の関連付けられるものの中に出力するように構成される、共通投影システム内の異なる光経路および場所を表し得ることを理解されたい。いくつかの実施形態では、導波管アセンブリ260の導波管は、導波管の中に投入された光をユーザの眼に中継しながら、理想的レンズとして機能し得る。本概念では、オブジェクトは、空間光変調器540であってもよく、画像は、深度面上の画像であってもよい。
いくつかの実施形態では、ディスプレイシステム250は、光を種々のパターン(例えば、ラスタ走査、螺旋走査、リサジューパターン等)で1つまたはそれを上回る導波管270、280、290、300、310の中に、最終的には、視認者の眼210に投影するように構成される、1つまたはそれを上回る走査ファイバを備える、走査ファイバディスプレイであってもよい。いくつかの実施形態では、図示される画像投入デバイス360、370、380、390、400は、光を1つまたは複数の導波管270、280、290、300、310の中に投入するように構成される、単一走査ファイバまたは走査ファイバの束を図式的に表し得る。いくつかの他の実施形態では、図示される画像投入デバイス360、370、380、390、400は、複数の走査ファイバまたは走査ファイバの複数の束を図式的に表し得、それぞれ、光を導波管270、280、290、300、310のうちの関連付けられる1つの中に投入するように構成される。1つまたはそれを上回る光ファイバは、光を光モジュール530から1つまたはそれを上回る導波管270、280、290、300、310に透過させるように構成されてもよいことを理解されたい。1つまたはそれを上回る介在光学構造が、走査ファイバまたは複数のファイバと、1つまたはそれを上回る導波管270、280、290、300、310との間に提供され、例えば、走査ファイバから出射する光を1つまたはそれを上回る導波管270、280、290、300、310の中に再指向してもよいことを理解されたい。
コントローラ560は、画像投入デバイス360、370、380、390、400、光源530、および光変調器540の動作を含む、スタックされた導波管アセンブリ260のうちの1つまたはそれを上回るものの動作を制御する。いくつかの実施形態では、コントローラ560は、ローカルデータ処理モジュール140の一部である。コントローラ560は、例えば、本明細書に開示される種々のスキームのいずれかに従って、導波管270、280、290、300、310への画像情報のタイミングおよび提供を調整する、プログラミング(例えば、非一過性媒体内の命令)を含む。いくつかの実施形態では、コントローラは、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ560は、いくつかの実施形態では、処理モジュール140または150(図9E)の一部であってもよい。
図6を継続して参照すると、導波管270、280、290、300、310は、全内部反射(TIR)によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管270、280、290、300、310はそれぞれ、主要上部表面および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管270、280、290、300、310はそれぞれ、各個別の導波管内で伝搬する光を導波管から外に再指向し、画像情報を眼210に出力することによって、光を導波管から抽出するように構成される、外部結合光学要素570、580、590、600、610を含んでもよい。抽出された光はまた、外部結合光と称され得、外部結合光学要素はまた、光抽出光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光抽出光学要素に衝打する場所において出力され得る。外部結合光学要素570、580、590、600、610は、例えば、本明細書にさらに議論されるような回折光学特徴を含む、格子であってもよい。説明を容易にし、図面を明確にするために、導波管270、280、290、300、310の底部主要表面に配置されて図示されるが、いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、本明細書にさらに議論されるように、上部および/または底部主要表面に配置されてもよく、および/または導波管270、280、290、300、310の容積内に直接配置されてもよい。いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、透明基板に取り付けられ、導波管270、280、290、300、310を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管270、280、290、300、310は、材料のモノリシック片であってもよく、外部結合光学要素570、580、590、600、610は、その材料片の表面上および/または内部に形成されてもよい。
図6を継続して参照すると、本明細書に議論されるように、各導波管270、280、290、300、310が、光を出力し、特定の深度面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管270は、眼210にコリメートされた光(そのような導波管270の中に投入された)を送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管280は、眼210に到達し得る前に、第1のレンズ350(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。そのような第1のレンズ350は、眼/脳が、その次の上方の導波管280から生じる光を光学無限遠から眼210に向かって内向きにより近い第1の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の上方の導波管290は、眼210に到達する前に、その出力光を第1のレンズ350および第2のレンズ340の両方を通して通過させる。第1のレンズ350および第2のレンズ340の組み合わせられた屈折力は、眼/脳が、第3の導波管290から生じる光が次の上方の導波管280からの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第2の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層300、310およびレンズ330、320も同様に構成され、スタック内の最高導波管310が、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ260の他側の世界510から生じる光を視認/解釈するとき、レンズ320、330、340、350のスタックを補償するために、補償レンズ層620が、スタックの上部に配置され、下方のレンズスタック320、330、340、350の集約力を補償してもよい。そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管の外部結合光学要素およびレンズの集束側面は両方とも、静的であってもよい(すなわち、動的または電気活性ではない)。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
いくつかの実施形態では、導波管270、280、290、300、310のうちの2つまたはそれを上回るものは、同一の関連付けられる深度面を有してもよい。例えば、複数の導波管270、280、290、300、310が、同一深度面に設定される画像を出力するように構成されてもよい、または導波管270、280、290、300、310の複数のサブセットが、深度面毎に1つのセットを伴う、同一の複数の深度面に設定される画像を出力するように構成されてもよい。これは、それらの深度面において拡張された視野を提供するようにタイル化された画像を形成する利点を提供し得る。
図6を継続して参照すると、外部結合光学要素570、580、590、600、610は、導波管と関連付けられる特定の深度面のために、光をそれらの個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられる深度面を有する導波管は、外部結合光学要素570、580、590、600、610の異なる構成を有してもよく、これは、関連付けられる深度面に応じて、異なる量の発散を伴って光を出力する。いくつかの実施形態では、光抽出光学要素570、580、590、600、610は、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素570、580、590、600、610は、立体ホログラム、表面ホログラム、および/または回折格子であってもよい。いくつかの実施形態では、特徴320、330、340、350は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい(例えば、空隙を形成するためのクラッディング層および/または構造)。
いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、回折パターンを形成する回折特徴または「回折光学要素」(また、本明細書では、「DOE」とも称される)である。好ましくは、DOEは、ビームの光の一部のみがDOEの各交差部で眼210に向かって偏向される一方、残りがTIRを介して、導波管を通して移動し続けるように、十分に低回折効率を有する。画像情報を搬送する光は、したがって、様々な場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼210に向かって非常に均一なパターンの出射放出となる。
いくつかの実施形態では、1つまたはそれを上回るDOEは、それらが能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であり得る。例えば、切替可能なDOEは、微小液滴がホスト媒体中に回折パターンを備える、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料の屈折率に実質的に合致するように切り替えられてもよい(その場合、パターンは、入射光を著しく回折させない)、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられてもよい(その場合、パターンは、入射光を能動的に回折させる)。
いくつかの実施形態では、カメラアセンブリ630(例えば、可視光および赤外線光カメラを含む、デジタルカメラ)が、眼210および/または眼210の周囲の組織の画像を捕捉し、例えば、ユーザ入力を検出する、および/またはユーザの生理学的状態を監視するために提供されてもよい。本明細書で使用されるように、カメラは、任意の画像捕捉デバイスであってもよい。いくつかの実施形態では、カメラアセンブリ630は、画像捕捉デバイスと、光(例えば、赤外線光)を眼に投影し、次いで、眼によって反射され、画像捕捉デバイスによって検出され得る、光源とを含んでもよい。いくつかの実施形態では、カメラアセンブリ630は、フレームまたは支持構造80(図9E)に取り付けられてもよく、カメラアセンブリ630からの画像情報を処理し得る、処理モジュール140および/または150と電気通信してもよい。いくつかの実施形態では、1つのカメラアセンブリ630が、眼毎に利用され、各眼を別個に監視してもよい。
カメラアセンブリ630は、いくつかの実施形態では、ユーザの眼移動等のユーザの移動を観察してもよい。実施例として、カメラアセンブリ630は、眼210の画像を捕捉し、眼210の瞳孔(または眼210のある他の構造)のサイズ、位置、および/または配向を決定してもよい。カメラアセンブリ630は、所望に応じて、ユーザが見ている方向(例えば、眼姿勢または視線方向)を決定するために使用される、画像(本明細書に説明されるタイプの処理回路網によって処理される)を取得してもよい。いくつかの実施形態では、カメラアセンブリ630は、複数のカメラを含んでもよく、そのうちの少なくとも1つは、眼毎に利用され、独立して、各眼の眼姿勢または視線方向を別個に決定してもよい。カメラアセンブリ630は、いくつかの実施形態では、コントローラ560またはローカルデータ処理モジュール140等の処理回路網と組み合わせて、カメラアセンブリ630内に含まれる光源から反射された光(例えば、赤外線光)の閃光(例えば、反射)に基づいて、眼姿勢または視線方向を決定してもよい。
ここで図7を参照すると、導波管によって出力された出射ビームの実施例が、示される。1つの導波管が図示されるが、導波管アセンブリ260(図6)内の他の導波管も同様に機能し得、導波管アセンブリ260は、複数の導波管を含むことを理解されたい。光640が、導波管270の入力表面460において導波管270の中に投入され、TIRによって導波管270内を伝搬する。光640がDOE570上に衝突する点において、光の一部が、出射ビーム650として導波管から出射する。出射ビーム650は、略平行として図示されるが、本明細書に議論されるように、また、導波管270と関連付けられる深度面に応じて、(例えば、発散出射ビームを形成する)ある角度で眼210に伝搬するように再指向されてもよい。略平行出射ビームは、眼210からの遠距離(例えば、光学無限遠)における深度面に設定されるように現れる画像を形成するように光を外部結合する、外部結合光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の外部結合光学要素のセットが、より発散する、出射ビームパターンを出力してもよく、これは、眼210がより近い距離に遠近調節し、網膜上に合焦させることを要求し、光学無限遠より眼210に近い距離からの光として脳によって解釈されるであろう。
いくつかの実施形態では、フルカラー画像が、原色、例えば、3つまたはそれを上回る原色のそれぞれに画像をオーバーレイすることによって、各深度面において形成されてもよい。図8は、スタックされた導波管アセンブリの実施例を図示し、各深度面は、複数の異なる原色を使用して形成される画像を含む。図示される実施形態は、深度面240a-240fを示すが、より多いまたはより少ない深度もまた、検討される。各深度面は、第1の色Gの第1の画像、第2の色Rの第2の画像、および第3の色Bの第3の画像を含む、それと関連付けられる3つまたはそれを上回る原色画像を有してもよい。異なる深度面は、文字G、R、およびBに続くジオプタ(dpt)に関する異なる数字によって図に示される。単なる実施例として、これらの文字のそれぞれに続く数字は、ジオプタ(1/m)、すなわち、視認者からの深度面の逆距離を示し、図中の各ボックスは、個々の原色画像を表す。いくつかの実施形態では、異なる波長の光の眼の集束における差異を考慮するために、異なる原色に関する深度面の正確な場所は、変動してもよい。例えば、所与の深度面に関する異なる原色画像は、ユーザからの異なる距離に対応する深度面上に設置されてもよい。そのような配列は、視力およびユーザ快適性を増加させ得、および/または色収差を減少させ得る。
いくつかの実施形態では、各原色の光は、単一専用導波管によって出力されてもよく、その結果、各深度面は、それと関連付けられる複数の導波管を有してもよい。そのような実施形態では、文字G、R、またはBを含む、図中の各ボックスは、個々の導波管を表すものと理解され得、3つの導波管は、深度面毎に提供されてもよく、3つの原色画像が、深度面毎に提供される。各深度面と関連付けられる導波管は、本図面では、説明を容易にするために相互に隣接して示されるが、物理的デバイスでは、導波管は全て、レベル毎に1つの導波管を伴うスタックで配列されてもよいことを理解されたい。いくつかの他の実施形態では、複数の原色が、例えば、単一導波管のみが深度面毎に提供され得るように、同一導波管によって出力されてもよい。
図8を継続して参照すると、いくつかの実施形態では、Gは、緑色であって、Rは、赤色であって、Bは、青色である。いくつかの他の実施形態では、マゼンタ色およびシアン色を含む、光の他の波長と関連付けられる他の色も、赤色、緑色、または青色のうちの1つまたはそれを上回るものに加えて使用されてもよい、またはそれらに取って代わってもよい。
本開示全体を通した所与の光の色の言及は、その所与の色として視認者によって知覚される、光の波長の範囲内の1つまたはそれを上回る波長の光を包含するものと理解されると理解されたい。例えば、赤色光は、約620~780nmの範囲内である1つまたはそれを上回る波長の光を含んでもよく、緑色光は、約492~577nmの範囲内である1つまたはそれを上回る波長の光を含んでもよく、青色光は、約435~493nmの範囲内である1つまたはそれを上回る波長の光を含んでもよい。
いくつかの実施形態では、光源530(図6)は、視認者の視覚的知覚範囲外の1つまたはそれを上回る波長、例えば、赤外線および/または紫外線波長の光を放出するように構成されてもよい。加えて、ディスプレイ250の導波管の内部結合、外部結合、および他の光再指向構造は、例えば、結像および/またはユーザ刺激アプリケーションのために、本光をディスプレイからユーザの眼210に向かって指向および放出するように構成されてもよい。
ここで図9Aを参照すると、いくつかの実施形態では、導波管に衝突する光は、その光を導波管の中に内部結合するために再指向される必要があり得る。内部結合光学要素が、光をその対応する導波管の中に再指向および内部結合するために使用されてもよい。図9Aは、それぞれ、内部結合光学要素を含む、複数またはセット660のスタックされた導波管の実施例の断面側面図を図示する。導波管はそれぞれ、1つまたはそれを上回る異なる波長または1つまたはそれを上回る異なる波長範囲の光を出力するように構成されてもよい。スタック660は、スタック260(図6)に対応し得、スタック660の図示される導波管は、複数の導波管270、280、290、300、310の一部に対応してもよいが、画像投入デバイス360、370、380、390、400のうちの1つまたはそれを上回るものからの光が、光が内部結合のために再指向されることを要求する位置から導波管の中に投入されることを理解されたい。
スタックされた導波管の図示されるセット660は、導波管670、680、および690を含む。各導波管は、関連付けられる内部結合光学要素(導波管上の光入力面積とも称され得る)を含み、例えば、内部結合光学要素700は、導波管670の主要表面(例えば、上側主要表面)上に配置され、内部結合光学要素710は、導波管680の主要表面(例えば、上側主要表面)上に配置され、内部結合光学要素720は、導波管690の主要表面(例えば、上側主要表面)上に配置される。いくつかの実施形態では、内部結合光学要素700、710、720のうちの1つまたはそれを上回るものは、個別の導波管670、680、690の底部主要表面上に配置されてもよい(特に、1つまたはそれを上回る内部結合光学要素は、反射性偏向光学要素である)。図示されるように、内部結合光学要素700、710、720は、その個別の導波管670、680、690の上側主要表面(または次の下側導波管の上部)上に配置されてもよく、特に、それらの内部結合光学要素は、透過性偏向光学要素である。いくつかの実施形態では、内部結合光学要素700、710、720は、個別の導波管670、680、690の本体内に配置されてもよい。いくつかの実施形態では、本明細書に議論されるように、内部結合光学要素700、710、720は、他の光の波長を透過しながら、1つまたはそれを上回る光の波長を選択的に再指向するような波長選択的である。その個別の導波管670、680、690の片側または角に図示されるが、内部結合光学要素700、710、720は、いくつかの実施形態では、その個別の導波管670、680、690の他の面積内に配置されてもよいことを理解されたい。
図示されるように、内部結合光学要素700、710、720は、これらの内部結合光学要素に伝搬する光の方向における、図示される真正面図に見られるように、相互から側方にオフセットされてもよい。いくつかの実施形態では、各内部結合光学要素は、その光が別の内部結合光学要素を通して通過せずに、光を受光するようにオフセットされてもよい。例えば、各内部結合光学要素700、710、720は、図6に示されるように、光を異なる画像投入デバイス360、370、380、390、および400から受光するように構成されてもよく、光を内部結合光学要素700、710、720の他のものから実質的に受光しないように、他の内部結合光学要素700、710、720から分離されてもよい(例えば、側方に離間される)。
各導波管はまた、関連付けられる光分散要素を含み、例えば、光分散要素730は、導波管670の主要表面(例えば、上部主要表面)上に配置され、光分散要素740は、導波管680の主要表面(例えば、上部主要表面)上に配置され、光分散要素750は、導波管690の主要表面(例えば、上部主要表面)上に配置される。いくつかの他の実施形態では、光分散要素730、740、750は、それぞれ、関連付けられる導波管670、680、690の底部主要表面上に配置されてもよい。いくつかの他の実施形態では、光分散要素730、740、750は、それぞれ、関連付けられる導波管670、680、690の上部および底部両方の主要表面上に配置されてもよい、または光分散要素730、740、750は、それぞれ、異なる関連付けられる導波管670、680、690内の上部および底部主要表面の異なるもの上に配置されてもよい。
導波管670、680、690は、例えば、材料のガス、液体、および/または固体層によって離間および分離されてもよい。例えば、図示されるように、層760aは、導波管670および680を分離してもよく、層760bは、導波管680および690を分離してもよい。いくつかの実施形態では、層760aおよび760bは、低屈折率材料(すなわち、導波管670、680、690の直近のものを形成する材料より低い屈折率を有する材料)から形成される。好ましくは、層760a、760bを形成する材料の屈折率は、導波管670、680、690を形成する材料の屈折率を0.05または0.10下回る。有利なこととして、より低い屈折率層760a、760bは、導波管670、680、690を通して光の全内部反射(TIR)(例えば、各導波管の上部および底部主要表面間のTIR)を促進する、クラッディング層として機能してもよい。いくつかの実施形態では、層760a、760bは、空気から形成される。図示されないが、導波管の図示されるセット660の上部および底部は、直近クラッディング層を含んでもよいことを理解されたい。
好ましくは、製造および他の考慮点を容易にするために、導波管670、680、690を形成する材料は、類似または同一であって、層760a、760bを形成する材料は、類似または同一である。いくつかの実施形態では、導波管670、680、690を形成する材料は、1つまたはそれを上回る導波管間で異なってもよい、および/または層760a、760bを形成する材料は、依然として、前述の種々の屈折率関係を保持しながら、異なってもよい。
図9Aを継続して参照すると、光線770、780、790が、導波管のセット660に入射する。光線770、780、790は、1つまたはそれを上回る画像投入デバイス360、370、380、390、400(図6)によって導波管670、680、690の中に投入されてもよいことを理解されたい。
いくつかの実施形態では、光線770、780、790は、異なる色に対応し得る、異なる性質、例えば、異なる波長または異なる波長範囲を有する。内部結合光学要素700、710、720はそれぞれ、光が、TIRによって、導波管670、680、690のうちの個別の1つを通して伝搬するように、入射光を偏向させる。いくつかの実施形態では、内部結合光学要素700、710、720はそれぞれ、他の波長を下層導波管および関連付けられる内部結合光学要素に透過させながら、1つまたはそれを上回る特定の光の波長を選択的に偏向させる。
例えば、内部結合光学要素700は、それぞれ、異なる第2および第3の波長または波長範囲を有する、光線780および790を透過させながら、第1の波長または波長範囲を有する、光線770を偏向させるように構成されてもよい。透過された光線780は、第2の波長または波長範囲の光を偏向させるように構成される、内部結合光学要素710に衝突し、それによって偏向される。光線790は、第3の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素720によって偏向される。
図9Aを継続して参照すると、偏向された光線770、780、790は、対応する導波管670、680、690を通して伝搬するように偏向される。すなわち、各導波管の内部結合光学要素700、710、720は、光をその対応する導波管670、680、690の中に偏向させ、光を対応する導波管の中に内部結合する。光線770、780、790は、光をTIRによって個別の導波管670、680、690を通して伝搬させる角度で偏向される。光線770、780、790は、導波管の対応する光分散要素730、740、750に衝突するまで、TIRによって個別の導波管670、680、690を通して伝搬する。
ここで図9Bを参照すると、図9Aの複数のスタックされた導波管の実施例の斜視図が、図示される。上記に記載されるように、内部結合された光線770、780、790は、それぞれ、内部結合光学要素700、710、720によって偏向され、次いで、それぞれ、導波管670、680、690内でTIRによって伝搬する。光線770、780、790は、次いで、それぞれ、光分散要素730、740、750に衝突する。光分散要素730、740、750は、それぞれ、外部結合光学要素800、810、820に向かって伝搬するように、光線770、780、790を偏向させる。
いくつかの実施形態では、光分散要素730、740、750は、直交瞳エクスパンダ(OPE)である。いくつかの実施形態では、OPEは、光を外部結合光学要素800、810、820に偏向または分散し、いくつかの実施形態では、また、外部結合光学要素に伝搬するにつれて、本光のビームまたはスポットサイズを増加させ得る。いくつかの実施形態では、光分散要素730、740、750は、省略されてもよく、内部結合光学要素700、710、720は、光を直接外部結合光学要素800、810、820に偏向させるように構成されてもよい。例えば、図9Aを参照すると、光分散要素730、740、750は、それぞれ、外部結合光学要素800、810、820と置換されてもよい。いくつかの実施形態では、外部結合光学要素800、810、820は、光を視認者の眼210(図7)に指向させる、射出瞳(EP)または射出瞳エクスパンダ(EPE)である。OPEは、少なくとも1つの軸においてアイボックスの寸法を増加させるように構成されてもよく、EPEは、OPEの軸と交差する、例えば、直交する軸においてアイボックスを増加させてもよいことを理解されたい。例えば、各OPEは、光の残りの部分が導波管を辿って伝搬し続けることを可能にしながら、OPEに衝打する光の一部を同一導波管のEPEに再指向するように構成されてもよい。OPEへの衝突に応じて、再び、残りの光の別の部分は、EPEに再指向され、その部分の残りの部分は、導波管等を辿ってさらに伝搬し続ける。同様に、EPEへの衝打に応じて、衝突光の一部は、導波管からユーザに向かって指向され、その光の残りの部分は、EPに再び衝打するまで、導波管を通して伝搬し続け、その時点で、衝突する光の別の部分は、導波管から指向される等となる。その結果、内部結合される光の単一ビームは、その光の一部がOPEまたはEPEによって再指向される度に、「複製」され、それによって、図6に示されるように、クローン化された光のビーム野を形成し得る。いくつかの実施形態では、OPEおよび/またはEPEは、光のビームのサイズを修正するように構成されてもよい。
故に、図9Aおよび9Bを参照すると、いくつかの実施形態では、導波管のセット660は、原色毎に、導波管670、680、690と、内部結合光学要素700、710、720と、光分散要素(例えば、OPE)730、740、750と、外部結合光学要素(例えば、EP)800、810、820とを含む。導波管670、680、690は、各1つの間に空隙/クラッディング層を伴ってスタックされてもよい。内部結合光学要素700、710、720は、(異なる波長の光を受光する異なる内部結合光学要素を用いて)入射光をその導波管の中に再指向または偏向させる。光は、次いで、個別の導波管670、680、690内にTIRをもたらすであろう角度で伝搬する。示される実施例では、光線770(例えば、青色光)は、前述の様式において、第1の内部結合光学要素700によって偏光され、次いで、導波管を辿ってバウンスし続け、光分散要素(例えば、OPE)730、次いで、外部結合光学要素(例えば、EP)800と相互作用する。光線780および790(例えば、それぞれ、緑色および赤色光)は、導波管670を通して通過し、光線780は、内部結合光学要素710上に衝突し、それによって偏向される。光線780は、次いで、TIRを介して、導波管680を辿ってバウンスし、その光分散要素(例えば、OPE)740、次いで、外部結合光学要素(例えば、EP)810に進むであろう。最後に、光線790(例えば、赤色光)は、導波管690を通して通過し、導波管690の光内部結合光学要素720に衝突する。光内部結合光学要素720は、光線が、TIRによって、光分散要素(例えば、OPE)750、次いで、TIRによって、外部結合光学要素(例えば、EP)820に伝搬するように、光線790を偏向させる。外部結合光学要素820は、次いで、最後に、光線790を視認者に外部結合し、視認者はまた、他の導波管670、680からの外部結合した光も受光する。
図9Cは、図9Aおよび9Bの複数のスタックされた導波管の実施例の上下平面図を図示する。本上下図は、内部結合光学要素800、810、820に向かう光の伝搬方向に見られるように、真正面図とも称され得る、すなわち、上下図は、画像光がページに対して法線に入射する、導波管の図であることを理解されたい。図示されるように、導波管670、680、690は、各導波管の関連付けられる光分散要素730、740、750および関連付けられる外部結合光学要素800、810、820とともに、垂直に整合されてもよい。しかしながら、本明細書に議論されるように、内部結合光学要素700、710、720は、垂直に整合されない。むしろ、内部結合光学要素は、好ましくは、非重複する(例えば、上下図に見られるように、側方に離間される)。本明細書でさらに議論されるように、本非重複空間配列は、1対1ベースで異なるソースから異なる導波管の中への光の投入を促進し、それによって、具体的光源が具体的導波管に一意に結合されることを可能にする。いくつかの実施形態では、非重複の空間的に分離される内部結合光学要素を含む、配列は、偏移瞳システムと称され得、これらの配列内の内部結合光学要素は、サブ瞳に対応し得る。
空間的に重複する面積は、上下図に見られるように、その面積の70%またはそれを上回る、80%またはそれを上回る、または90%またはそれを上回る側方重複を有し得ることを理解されたい。他方では、側方に偏移される面積は、上下図に見られるように、その面積の30%未満が重複する、20%未満が重複する、または10%未満が重複する。いくつかの実施形態では、側方に偏移される面積は、重複を有していない。
図9Dは、複数のスタックされた導波管の別の実施例の上下平面図を図示する。図示されるように、導波管670、680、690は、垂直に整合されてもよい。しかしながら、図9Cの構成と比較して、別個の光分散要素730、740、750および関連付けられる外部結合光学要素800、810、820は、省略される。代わりに、光分散要素および外部結合光学要素が、事実上、重畳され、上下図に見られるように、同一面積を占有する。いくつかの実施形態では、光分散要素(例えば、OPE)が、導波管670、680、690の1つの主要表面上に配置されてもよく、外部結合光学要素(例えば、EPE)が、それらの導波管の他の主要表面上に配置されてもよい。したがって、各導波管670、680、690は、集合的に、それぞれ、組み合わせられたOPE/EPE1281、1282、1283と称される、重畳された光分散および外部結合光学要素を有してもよい。そのような組み合わせられたOPE/EPEに関するさらなる詳細は、2018年12月14日に出願された、米国特許出願第16/221,359号(その開示全体は、参照することによって本明細書に組み込まれる)に見出され得る。内部結合光学要素700、710、720は、光を内部結合し、それぞれ、組み合わせられたOPE/EPE1281、1282、1283に指向する。いくつかの実施形態では、図示されるように、内部結合光学要素700、710、720は、偏移された瞳空間配列を有する場合、側方に偏移されてもよい(例えば、それらは、図示される上下図に見られるように、側方に離間される)。図9Cの構成と同様に、本側方に偏移された空間配列は、1対1のベースで、異なる導波管の中への異なる波長の光の投入を促進する(例えば、異なる光源から)。
図9Eは、本明細書に開示される種々の導波管および関連システムが統合され得る、ウェアラブルディスプレイシステム60の実施例を図示する。いくつかの実施形態では、ディスプレイシステム60は、図6のシステム250であって、図6は、そのシステム60のいくつかの部分をより詳細に図式的に示す。例えば、図6の導波管アセンブリ260は、ディスプレイ70の一部であってもよい。
図9Eを継続して参照すると、ディスプレイシステム60は、ディスプレイ70と、そのディスプレイ70の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ70は、フレーム80に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者90によって装着可能であって、ディスプレイ70をユーザ90の眼の正面に位置付けるように構成される。ディスプレイ70は、いくつかの実施形態では、アイウェアと見なされ得る。ディスプレイ70は、内部結合される画像光を中継し、その画像光をユーザ90の眼に出力するように構成される、導波管270等の1つまたはそれを上回る導波管を含んでもよい。いくつかの実施形態では、スピーカ100が、フレーム80に結合され、ユーザ90の外耳道に隣接して位置付けられるように構成される(いくつかの実施形態では、示されない別のスピーカも、随意に、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供してもよい)。ディスプレイシステム60はまた、1つまたはそれを上回るマイクロホン110または他のデバイスを含み、音を検出してもよい。いくつかの実施形態では、マイクロホンは、ユーザが入力またはコマンドをシステム60に提供することを可能にするように構成され(例えば、音声メニューコマンドの選択、自然言語質問等)、および/または他の人物(例えば、類似ディスプレイシステムの他のユーザ)とのオーディオ通信を可能にしてもよい。マイクロホンはさらに、周辺センサとして構成され、オーディオデータ(例えば、ユーザおよび/または環境からの音)を収集してもよい。いくつかの実施形態では、ディスプレイシステム60はさらに、オブジェクト、刺激、人々、動物、場所、またはユーザの周囲の世界の他の側面を検出するように構成される、1つまたはそれを上回る外向きに指向される環境センサ112を含んでもよい。例えば、環境センサ112は、1つまたはそれを上回るカメラを含んでもよく、これは、例えば、ユーザ90の通常の視野の少なくとも一部に類似する画像を捕捉するように外向きに面して位置してもよい。いくつかの実施形態では、ディスプレイシステムはまた、周辺センサ120aを含んでもよく、これは、フレーム80と別個であって、ユーザ90の身体(例えば、ユーザ90の頭部、胴体、四肢等)上に取り付けられてもよい。周辺センサ120aは、いくつかの実施形態では、ユーザ90の生理学的状態を特徴付けるデータを入手するように構成されてもよい。例えば、センサ120aは、電極であってもよい。
図9Eを継続して参照すると、ディスプレイ70は、有線導線または無線コネクティビティ等の通信リンク130によって、ローカルデータ処理モジュール140に動作可能に結合され、これは、フレーム80に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ90に除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において)等、種々の構成において搭載されてもよい。同様に、センサ120aは、通信リンク120b、例えば、有線導線または無線コネクティビティによって、ローカルデータ処理モジュール140に動作可能に結合されてもよい。ローカル処理およびデータモジュール140は、ハードウェアプロセッサおよび不揮発性メモリ(例えば、フラッシュメモリまたはハードディスクドライブ)等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。随意に、ローカル処理およびデータモジュール140は、1つまたはそれを上回る中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、専用処理ハードウェア等を含んでもよい。データは、a)センサ(画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、ジャイロスコープ、および/または本明細書に開示される他のセンサ(例えば、フレーム80に動作可能に結合される、または別様にユーザ90に取り付けられ得る))から捕捉されるデータ、および/またはb)可能性として、処理または読出後にディスプレイ70への通過のために、遠隔処理モジュール150および/または遠隔データリポジトリ160(仮想コンテンツに関連するデータを含む)を使用して入手および/または処理されるデータを含んでもよい。ローカル処理およびデータモジュール140は、これらの遠隔モジュール150、160が相互に動作可能に結合され、ローカル処理およびデータモジュール140に対するリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク170、180によって、遠隔処理モジュール150および遠隔データリポジトリ160に動作可能に結合されてもよい。いくつかの実施形態では、ローカル処理およびデータモジュール140は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープのうちの1つまたはそれを上回るものを含んでもよい。いくつかの他の実施形態では、これらのセンサのうちの1つまたはそれを上回るものは、フレーム80に取り付けられてもよい、または有線または無線通信経路によってローカル処理およびデータモジュール140と通信する、独立構造であってもよい。
図9Eを継続して参照すると、いくつかの実施形態では、遠隔処理モジュール150は、データおよび/または画像情報を分析および処理するように構成される、1つまたはそれを上回るプロセッサを備えてもよく、例えば、1つまたはそれを上回る中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、専用処理ハードウェア等を含む。いくつかの実施形態では、遠隔データリポジトリ160は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、遠隔データリポジトリ160は、1つまたはそれを上回る遠隔サーバを含んでもよく、これは、情報、例えば、仮想コンテンツを生成するための情報をローカル処理およびデータモジュール140および/または遠隔処理モジュール150に提供する。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。随意に、CPU、GPU等を含む、外部システム(例えば、1つまたはそれを上回るプロセッサ、1つまたはそれを上回るコンピュータのシステム)が、処理(例えば、画像情報を生成する、データを処理する)の少なくとも一部を実施し、例えば、無線または有線接続を介して、情報をモジュール140、150、160に提供し、情報をそこから受信してもよい。
アプリケーション状態の連携
上記に説明されるように、アプリケーションが、XRデバイス上で実行され、仮想コンテンツをユーザに提示してもよい。例えば、各アプリケーションは、ある仮想コンテンツをレンダリングしてもよい。本実施例では、アプリケーションは、仮想コンテンツを取得してもよい(例えば、ネットワークアドレスから)、またはレンダリングされるべき仮想コンテンツを含んでもよい。上記に説明される例示的アプリケーションは、栄養情報を提示するように構成される、栄養アプリケーションを含む。本アプリケーションは、異なる食物アイテムに関する栄養情報を示す、情報を含む、または取得してもよい。ユーザが、ある食物アイテムに接近する場合、アプリケーションは、食物アイテムに関する栄養情報を備える、仮想コンテンツをレンダリングしてもよい。このように、アプリケーションは、広範な仮想コンテンツを提供してもよい。説明されるであろうように、ユーザは、ユーザに関心のある仮想コンテンツのタイプを示してもよい。これらの示されるタイプの仮想コンテンツを提供する、アプリケーションは、ユーザのXRデバイスによって取得され、仮想コンテンツを提示するために使用されてもよい。
アプリケーションはそれぞれ、1つまたはそれを上回るアンカ場所と関連付けられてもよい。上記に説明されるように、アプリケーションは、仮想コンテンツを実世界内の具体的アンカ場所に提示してもよい。これらのアンカ場所は、いくつかの実施形態では、実世界内の正確な場所を表してもよい。例えば、アンカ場所は、店舗のある通路内のある棚上のある位置に対応し得る。したがって、アプリケーションは、ユーザが店舗を中心として移動するにつれて、仮想コンテンツが実世界内で存続するように現れるように、仮想コンテンツを本ある位置にレンダリングしてもよい。
仮想コンテンツを提示するために利用可能な多数のアプリケーションがある状態では、XRデバイスは、算出リソース限界に起因して、アプリケーションを実行することが不可能であり得る。下記にさらに詳細に説明されるであろうように、XRデバイスは、例示的連携技法を利用して、アプリケーションの状態を制御してもよい。本制御に基づいて、あるアプリケーションのみが、任意のある時間に、ユーザのために実行されてもよい。他のアプリケーションは、破棄または「スリープ」状態に設定されてもよい。ユーザが、実世界を中心として移動するにつれて、アプリケーションの状態は、急速に更新され、実世界内の仮想コンテンツが存続するように現れることを確実にし得る。
例示的ブロック図-アプリケーション状態の連携
図10は、XRデバイス1002に近接するアプリケーション1006-1014の異なるアプリケーション状態を図示する、ブロック図を図示する(すなわち、アプリケーション1006-1014は、XRデバイス1002に近接する関連付けられるアンカ場所を有する)。図10の実施例では、立体グリッド1000が、図示される。立体グリッド1000は、多数のセルを備え、XRデバイス1002は、中心セル内に含まれる。セルは、(例えば、ある平面上または3次元体積内の)2つまたはそれを上回る軸に沿って、(例えば、実世界に対する)特定の距離を表し得る。したがって、最も遠いセルは、XRデバイス1002から最も遠い、空間の面積または体積を表し得る。同様に、中心セルは、XRデバイス1002に最も近い、空間の面積または体積を表し得る。いくつかの実施形態では、ユーザは、中心セル内に位置しなくてもよく、その場合、ユーザからより遠いセルは、XRデバイス1002からより遠い、空間の面積または体積を表し得、ユーザにより近いセルは、XRデバイス1002により近い、空間の特定の面積または体積を表し得る。
図示されるように、異なるアプリケーション1006-1014は、立体グリッド1000の異なるセル内に含まれる。図示されるアプリケーション1006-1014はそれぞれ、アプリケーションと関連付けられるアンカ場所を表してもよい。XRデバイス1002は、いくつかの実施形態では、場所情報を外側サーバまたはシステムに提供してもよい。それに応答して、外側サーバまたはシステムは、XRデバイス1002の閾値距離内に位置するアプリケーションのインジケーションを提供してもよい。いくつかの実施形態では、XRデバイス1002は、アプリケーションおよび関連付けられるアンカ場所を記憶してもよい。説明されるであろうように、アプリケーションのあるものは、デバイス1002までのその近接度に基づいて、XRデバイス1002による実行のためにロードされてもよい。
いくつかの実施形態では、場所情報は、XRデバイス1002のグローバルナビゲーション衛星システム(GNSS)座標を含んでもよい。いくつかの実施形態では、場所情報は、本明細書に説明される持続的座標フレーム(PCF)等の実世界内の持続的空間情報に基づいてもよい。PCFに関連する付加的説明は、少なくとも、米国特許出願第16/593,745号の図6Bおよび14に含まれ、これは、本明細書に記載される場合と同様に、本開示の一部を形成する。
セルは、矩形として図示されるが、他の形状も、使用されてもよいことを理解されたい。例えば、セルは、円形、楕円形、または任意の恣意的多角形形状であってもよい。加えて、立体グリッド1000は、セルの2次元グリッドを描写する。例えば、本立体グリッド1000は、XRデバイス1002を囲繞する、面積を表してもよい。面積は、いくつかの実施形態では、x-方向(例えば、側方方向)およびz-方向(例えば、XRデバイス1002から外向き方向)を表してもよい。いくつかの実施形態では、立体グリッド1000は、3次元であってもよい。例えば、y-方向に沿って、付加的セルが存在してもよい。本実施例では、アプリケーションは、したがって、XRデバイスから異なる高さに位置付けられてもよい。実施例として、アプリケーションは、仮想コンテンツを部屋または建物の上部の近くに提示してもよい。
立体グリッド1000では、例示的ゾーン1004A-1004Eが存在し、これは、アプリケーション1006-1014への状態の割当を連携させるために使用される。外側ゾーン1004Aと称される、第1のゾーンは、XRデバイス1002から離れるように閾値距離メトリックを上回る、セルの部分を包含してもよい。いくつかの実施形態では、本外側ゾーン1004A内に位置付けられる、アプリケーションは、XRデバイス1002によってロードされなくてもよい。いくつかの他の実施形態では、本外側ゾーン1004A内に位置付けられる、アプリケーションは、ロード(例えば、外部システムまたはメモリから取得)されるが、実行されなくてもよい。
外部ゾーン1004Bと称される、第2のゾーンは、外側ゾーン1004Aと比較して、XRデバイス1002により近いセルの部分を包含してもよい。説明されるであろうように、本外部ゾーン1004B内のアプリケーション位置は、XRデバイス1002によってロードされ、「スリープ」状態に設定されてもよい。例えば、スリープ状態は、アプリケーション(例えば、アプリケーションと関連付けられるプロセス)がXRデバイス1002の算出リソースを消費しないことを表し得る。
バッファゾーン1004Cと称される、第3のゾーンは、XRデバイス1002に近接する、セルの部分を包含してもよい。説明されるであろうように、バッファゾーン1004Cは、その中でアプリケーションが、異なるゾーン内に位置するときの以前の状態と比較して、同一状態を維持する、バッファを表し得る。アクティブゾーン1004Dと称される、第4のゾーンは、XRデバイス1002にさらにより近い、セルの部分を包含してもよい。本アクティブゾーン1004D内に含まれるアプリケーションは、「アクティブ」状態に設定されてもよい。いくつかの実施形態では、「アクティブ」状態は、「アクティブ+無レンダリング」状態を表し得る。例えば、アプリケーションは、それらがアクティブのままであるように、算出リソースを消費するが、XRデバイス1002を介して、任意の仮想コンテンツをレンダリングしなくてもよい。
提示ゾーン1004Eと称される、第5のゾーンは、XRデバイス1002の表示錐台内にある、セルの部分を包含してもよい。例えば、これらのセルは、XRデバイス1002のユーザが視認する、実世界面積または体積を包含してもよい。したがって、拡張現実ディスプレイシステムに関して、ユーザが、通りを見ている場合、提示ゾーン1004Eは、ユーザに可視の通りの部分を包含してもよい。同様に、モバイルデバイスに関して、提示ゾーン1004Eは、モバイルデバイスの1つまたはそれを上回る外向きに面した画像センサに可視の通りの部分を包含してもよい。いくつかの実施形態では、これらの画像センサは、モバイルデバイスの前方の画像を捕捉し、例えば、ユーザの視野を模倣するように配向されてもよい。拡張現実ディスプレイシステムに対する提示ゾーン1004Eを決定するために、いくつかの実施形態では、XRデバイス1002は、ユーザの頭部姿勢を決定してもよい。例えば、XRデバイス1002は、慣性測定ユニット(IMU)を含んでもよい。本実施例では、ユーザの頭部姿勢は、IMUからの情報に基づいて決定されてもよい。決定された頭部姿勢に基づいて、XRデバイス1002は、ユーザの視野を決定してもよい。
ユーザの頭部姿勢の決定に関連する付加的説明は、米国特許公開第2019/0188474号内に含まれ、これは、本明細書に記載される場合と同様に、本開示の一部を形成する。
随意に、XRデバイス1002は、XRデバイス1002の1つまたはそれを上回る外向きに面した画像センサから取得される画像に基づいて、提示ゾーン1004Eを決定してもよい。例えば、XRデバイス1002は、画像を分析し、画像内に描写される特徴に基づいて、記述子を生成してもよい。XRデバイス1002は、次いで、XRデバイス1002の場所と関連付けられる1つまたはそれを上回るPCFにアクセスしてもよい。PCFと生成された記述子の比較に基づいて、XRデバイス1002は、任意のアプリケーションが仮想コンテンツをレンダリングするように構成されるかどうかを決定してもよい。例えば、XRデバイス1002は、任意のアンカ場所が取得された画像に描写されるかどうかを決定してもよい。これらのアプリケーションは、XRデバイス1002によって、提示ゾーン1004E内に該当すると決定されてもよい。
いくつかの実施形態では、提示ゾーン1004Eは、z-方向に限定されてもよい。例えば、提示ゾーン1004Eは、z-方向に沿ってユーザからの閾値距離内にある、アプリケーションを含んでもよい。いくつかの実施形態では、提示ゾーン1004Eは、XRデバイス1002の完全表示錐台を包含してもよい。
上記に説明されるように、立体グリッド1000は、XRデバイス1002上に中心合わせされてもよい。XRデバイス1002が、世界を中心として移動するにつれて、立体グリッド1000は、適宜、更新されてもよい。例えば、XRデバイス1002が、右に側方に移動する場合、図示されるアプリケーション1006-1014は、グリッド1000内で左に側方に移動されてもよい。加えて、XRデバイス1002が、右に移動するにつれて、あるアプリケーションは、立体グリッド1000から除去されてもよい。別の実施例として、XRデバイス1002が、右に側方に移動するにつれて、1つまたはそれを上回る新しいアプリケーションが、グリッド1000の右部分において、立体グリッド1000内に含まれてもよい。本実施例では、新しいアプリケーションが、発見され、立体グリッド1000内に含まれてもよい。新しいアプリケーションは、XRデバイス1002によって監視され、状態を割り当てられるであろう。対照的に、除去されたアプリケーションは、XRデバイス1002によって監視されないであろう。
図示される実施例は、アプリケーション1006を含み、これは、XRデバイス1002によってロードされていないが、XRデバイス1002の閾値距離内にある、アプリケーションを表し得る。したがって、アプリケーション1006に対するXRデバイス1002の位置は、監視されてもよい。XRデバイス1002が、アプリケーション1006のうちの特定の1つのより近くに移動する場合、特定のアプリケーションは、XRデバイス1002によってロードされてもよい。例えば、特定のアプリケーションは、外部ゾーン1004B内に該当すると決定されてもよい。
アプリケーション1008は、背景アプリケーションを表し得、これは、典型的には、視覚的仮想コンテンツの提示と関連付けられない。例えば、これらのアプリケーション1008は、オーディオをユーザに提供してもよい。本実施例では、アプリケーション1008は、ラジオ局、オーディオキュー、オーディオメッセージ等を表し得る。これらの背景アプリケーション1008は、実質的算出リソースを消費し得ず、および/またはその機能性が、それらが常にアクティブのままである(および可能性として、出力、例えば、オーディオをユーザに提供する)ことを要求するため、それらは、随意に、立体グリッド1000内のその位置にかかわらず、XRデバイス1002によってロードされてもよい。
アプリケーション1010は、アクティブであるが、仮想コンテンツをレンダリングしない、アプリケーションを表し得る。図10に図示されるように、これらのアプリケーション1010は、XRデバイス1002の表示錐台の外側に位置付けられてもよい。加えて、これらのアプリケーションは、それらが、XRデバイス1002の姿勢の位置の調節に基づいて、提示ゾーン1004E内に該当する場合、それらが仮想コンテンツを迅速に提示し得るように、アクティブゾーン1004D内に含まれてもよい。
アプリケーション1012は、アクティブであって、かつ仮想コンテンツ(および/またはオーディオ等の他のコンテンツ)をXRデバイス1002のユーザにレンダリングする、アプリケーションを表し得る。図10に図示されるように、これらのアプリケーション1012は、提示ゾーン1004E内に位置付けられる。例えば、これらのアプリケーションは、XRデバイス1002の表示錐台内にある。XRデバイス1002の移動に基づいて、アプリケーション1012のうちの特定の1つは、提示ゾーン1004Eの外側に移動し得る。有利なこととして、特定のアプリケーションは、XRデバイス1002がそれに仮想コンテンツのレンダリングを中止させるように、状態が迅速に調節され得る。
アプリケーション1014は、ロードされているが、スリープに設定されている、アプリケーションを表し得る。したがって、これらのアプリケーション1014は、非アクティブであってもよい。図示されるように、アプリケーション1014の特定のアプリケーション1016は、XRデバイス1002の表示錐台内に含まれる。しかしながら、本特定のアプリケーション1016は、上記に説明されるバッファゾーン1004C内に含まれる。特定のアプリケーション1016は、実施例として、XRデバイス1002の移動に基づいて、外部ゾーン1004Bからバッファゾーン1004Cの中に移動している場合がある。バッファゾーン1004Cは、その中でアプリケーションの状態が以前の状態から変化しない、ゾーンを提供し得る。XRデバイス1002が、図示される図の下に向かって、z-方向に沿って移動される場合、特定のアプリケーション1016は、提示ゾーン1004E内に該当し得る。したがって、XRデバイスは、特定のアプリケーションをアクティブにさせ、仮想コンテンツをレンダリングするように設定されてもよい。
図11は、状態をアプリケーションに割り当てることと関連付けられる、例示的状態図1100を図示する。図示される実施例では、表が、含まれ、これは、アプリケーションの現在の状態1102とともに、状態イベント1104の結果を示す。例えば、現在の状態は、図10の立体グリッド1000内のアプリケーションの位置に基づいて決定されてもよい。状態イベント1104は、立体グリッド1000内の異なる位置へのアプリケーションの移動を表し得る。実施例として、アプリケーションは、XRデバイスの移動または姿勢の調節に起因して、上記に説明されるゾーン1004A-1004Eのうちの異なる1つに移動している場合がある。
状態図1100は、XRデバイスによって、アプリケーションの状態を連携させるために使用されてもよい。図10に説明されるように、XRデバイスは、XRデバイスに近接するアプリケーションを識別してもよい。いくつかの実施形態では、立体グリッドは、識別されたアプリケーションのそれぞれの特定の状態を決定するために使用されてもよい。
XRデバイスから最も遠い、識別されたアプリケーションは、「未ロード」1106の現在の状態1102に設定されてもよい。例えば、これらのアプリケーションは、外部システムから読み出されているが、XRデバイスによってまだロードされていない場合がある。別の実施例として、これらのアプリケーションは、外部システムからまだ読み出されていない場合がある。別の実施例として、これらのアプリケーションは、XRデバイスのメモリ内に記憶されるが、ロードされていない場合がある。
XRデバイスの移動、または随意に、アプリケーションの移動に基づいて、「未ロード」アプリケーション1106は、状態イベント1104の結果に基づいて、新しい状態に設定されてもよい。例えば、XRデバイスは、アプリケーションが外部ゾーン1004B内に位置付けられるように、移動し得る。本実施例では、XRデバイスは、アプリケーションの状態を「スリープ」に設定してもよい。
「スリープ」状態1108に設定される、アプリケーションは、状態イベント1104に基づいて、同様に更新されてもよい。例えば、状態イベント1104は、アプリケーションがバッファゾーン1004C内に位置付けられる結果をもたらし得る。本実施例では、アプリケーションは、「スリープ」状態に設定されたままであり得る。別の実施例として、状態イベント1104は、アプリケーションがゾーン1104Dまたは1104E内に位置付けられる結果をもたらし得る。本実施例では、アプリケーションは、アクティブとなるように更新されてもよい。アプリケーションが、ゾーン1104E内にある場合、アプリケーションは、仮想コンテンツをXRデバイスのユーザにレンダリングしてもよい。
「アクティブ+無レンダリング」状態1110に設定される、アプリケーションは、状態イベント1104に基づいて更新されてもよい。例えば、アプリケーションは、提示ゾーン1004E内に該当する位置に更新されてもよい。本実施例では、アプリケーションは、したがって、XRデバイスの表示錐台内で可視となり得る。したがって、状態は、「アクティブ+レンダリング」に更新されてもよい。しかしながら、アプリケーションが、XRデバイスからより遠くに移動する場合、「スリープ」または「未ロード」状態に更新されてもよい。
あるアプリケーションは、オーディオまたは音楽を提供するためのアプリケーション等、背景アプリケーションを表してもよい。これらのアプリケーションは、「背景対応」状態1114を割り当てられてもよい。これらのアプリケーションは、実質的リソースを消費せず、および/または常にアクティブであって、出力を提供することが要求されるため、それらは、図10の立体グリッド内の位置にかかわらず、ロードされてもよい。例えば、それらは、それらがXRデバイスの閾値距離内にあるとき、XRデバイスによってロードされてもよい。
いくつかの実施形態では、これらの背景アプリケーションは、「アクティブ+レンダリング」状態に設定されてもよい。これは、背景アプリケーションが、オーディオコンテンツ等のコンテンツをユーザに出力することを可能にし得る。これはまた、背景アプリケーションが、仮想コンテンツ(例えば、視覚的コンテンツ)をユーザに提供することを可能にし得る。例えば、それらは、典型的には、オーディオまたは音楽を提供し得るが、あるトリガに応じて、仮想コンテンツを提供してもよい。例示的トリガは、ユーザが仮想コンテンツの提示を生じさせるためのユーザ入力を提供することを含んでもよい。実施例として、ユーザは、音楽アプリケーションと関連付けられる、制御メニューの提示をトリガしてもよい。したがって、ユーザは、制御メニューを備える、仮想コンテンツと相互作用してもよい。
したがって、XRデバイスは、XRデバイスまでのアプリケーションの近接度に基づいて、アプリケーションに状態を割り当ててもよい。上記に説明されるように、アプリケーションは、1つ、2つ、またはそれを上回るアンカ場所を有してもよい。例えば、栄養アプリケーションは、第1のアイテムと関連付けられる、第1のアンカ場所と、第2のアイテムと関連付けられる、第2のアンカ場所とを有してもよい。XRデバイスは、アンカ場所の最高状態に基づいて、状態を栄養アプリケーションに割り当ててもよい。例えば、第1のアンカ場所が、提示ゾーン1104E内にあって、第2のアンカ場所が、外部ゾーン1004B内にある場合、アプリケーションは、「アクティブ+レンダリング」の状態を割り当てられてもよい。このように、アプリケーションは、XRデバイスを介して、仮想コンテンツを提示してもよい。
例示的フローチャート-アプリケーション状態の連携
図12は、アプリケーションの状態を更新するための例示的プロセス1200のフローチャートである。便宜上、プロセス1200は、1つまたはそれを上回るプロセッサのシステムによって実施されるものとして説明されるであろう。例えば、本システムは、XRデバイス(例えば、ディスプレイシステム60等のウェアラブルデバイス、スマートフォン、タブレット等)であってもよい。
ブロック1202では、本システムは、本システムの場所に近接するアプリケーションを識別する。図10-11に説明されるように、本システムは、場所情報を本システムと通信(有線または無線通信)する外部システムに提供してもよい。例示的場所情報は、上記に説明されるように、GNSS座標または持続的座標フレーム(PCF)と関連付けられる場所情報を含んでもよい。それに応答して、外部システムは、本システムの閾値距離内に位置するアンカポイントを伴う、1つまたはそれを上回るアプリケーションを識別してもよい。いくつかの実施形態では、本システムは、アプリケーションを記憶してもよく、任意のアンカポイントが本システムの閾値距離内に位置するかどうかを識別してもよい。
ブロック1204では、本システムは、アプリケーションの状態を決定する。本システムは、本システムからのアプリケーションの距離メトリックに基づいて、状態を決定してもよい。加えて、本システムは、本システムの視点に基づいて、状態を決定してもよい。いくつかの実施形態では、本システムは、図10に説明されるように、立体グリッドにアクセスしてもよい。立体グリッド内のアプリケーションの位置に基づいて、アプリケーションの状態が、決定されてもよい。例えば、アプリケーションが、本システムの表示錐台(例えば、図10の提示ゾーン1004E)内に位置付けられる場合、アプリケーションは、「アクティブ+レンダリング」状態に設定されてもよい。
ブロック1206では、本システムは、決定された状態を実装する。アプリケーションが、本システムの閾値距離内にあると決定される場合、アプリケーションは、本システムによってロードされてもよい。例えば、アプリケーションは、ネットワーク接続を介して、外部システムから読み出されてもよい。別の実施例として、アプリケーションは、本システムの記憶装置からロードされてもよい。アプリケーションが、本システムにさらにより近いと決定される場合、アプリケーションは、「アクティブ」状態に設定されてもよい。したがって、本システムは、算出リソースを消費するように、アプリケーションを実行してもよい。随意に、本システムは、アプリケーションが「アクティブ+レンダリング」状態に設定されることに基づいて、アプリケーションに仮想コンテンツをレンダリングさせてもよい。
ブロック1208では、本システムは、状態イベントに基づいて、アプリケーションの状態を更新する。図11に説明されるように、アプリケーションの状態は、本システムの移動に基づいて調節されてもよい。例えば、本システムは、場所が調節されてもよい。本実施例では、ユーザは、実世界内のその2次元場所を調節してもよい。ユーザはまた、本システムの高さを調節してもよい(例えば、ユーザが、階段を上り得る、建物内で上向きに移動し得る等)。別の実施例として、本システムの視点が、調節されてもよい。例えば、拡張現実ディスプレイデバイスに関して、ユーザの頭部姿勢が、調節されてもよい。別の実施例として、例えば、スマートフォンまたはタブレットに関して、1つまたはそれを上回る外向きに面したカメラの視点が、スマートフォンまたはタブレットの移動に起因して調節されてもよい。
いくつかの実施形態では、状態イベントは、アプリケーションがその独自の位置を調節することを表し得る。例えば、アプリケーションと関連付けられるアンカ場所が、調節されてもよい。実施例として、アプリケーションは、仮想化された動物または創造物のレンダリングを生じさせてもよい。本実施例では、仮想化された動物または創造物は、周期的に、場所が調節されてもよい。例えば、特定の時間にある通りと関連付けられ、次いで、異なる時間に異なる通りと関連付けられてもよい。したがって、アプリケーションは、その関連付けられるアンカ場所を更新してもよい。いくつかの実施形態では、アプリケーションは、情報を外部システムから受信してもよい。このように、多数のシステム上で実行されるアプリケーションの任意のインスタンスは、同一または類似時間において、更新された場所を受信してもよい。
状態イベントに基づいて、本システムは、アプリケーションと関連付けられる状態を更新してもよい。例えば、本システムは、図11に説明される状態図を使用して、新しい状態を割り当ててもよい。
説明を容易にするために、上記の説明は、拡張現実ディスプレイデバイス等のシステムによってロードされたアプリケーションに焦点を当てる。しかしながら、いくつかの実施形態では、アプリケーションは、外部システム(例えば、クラウドシステム)によって実行されてもよいことを理解されたい。例えば、アプリケーションは、外部システムによって実行されてもよく、仮想コンテンツは、提示のためにシステムに提供(例えば、ストリーミング)されてもよい。上記と同様に、本システムは、場所情報を外部システムに提供してもよい。場所情報に基づいて、本システムは、本システムの閾値距離内の任意のアプリケーションのための状態を決定してもよい。同様に、決定された状態に基づいて、外部システムは、ある仮想コンテンツをレンダリングし、レンダリングされた仮想コンテンツを提示のために本システムに提供してもよい。レンダリングされた仮想コンテンツは、仮想コンテンツを具体的アンカ場所に位置付けるために使用可能な情報とともに提供されてもよい。例えば、情報は、本システムが、記述子の比較に基づいて、仮想コンテンツを設置し得るように、PCFを反映させてもよい。
例示的フローチャート-アプリケーションのフィルタリング
いくつかの実施形態では、あまりに多くのアプリケーションが存在し、XRデバイスがコンテンツをロードおよび/またはレンダリングすることができない場合がある。例えば、XRデバイスの閾値距離内に位置する、閾値を上回る数のアプリケーションが存在し得る。したがって、XRデバイスは、閾値距離内のアプリケーションの全てをロードすることが不可能であり得る。加えて、XRデバイスは、ネットワーク接続に対して限定された帯域幅を有し得る。したがって、XRデバイスは、XRデバイスのユーザが、アプリケーションがロードされるにつれて、コンテンツのシームレスな提示が見えるのではなく、仮想コンテンツがその視野の中に浮かび上がるように知覚するように、アプリケーションを外部システムから迅速に取得(例えば、ダウンロード)することが不可能であり得る。
下記に説明されるように、XRデバイスは、随意に、アプリケーションをフィルタリングし、それによって、ユーザに関心があると決定されたアプリケーションをロードしてもよい。
図13は、アプリケーションをフィルタリングするための例示的プロセス1300のフローチャートである。便宜上、プロセス1300は、1つまたはそれを上回るプロセッサのシステムによって実施されるものとして説明されるであろう。例えば、本システムは、XRデバイス(例えば、ディスプレイシステム60等のウェアラブルデバイス、スマートフォン、タブレット等)であってもよい。
ブロック1302では、本システムは、場所情報を取得し、ブロック1304では、その場所に近接するアプリケーションを識別する。上記に説明されるように、本システムは、閾値数のアプリケーションをロードするように構成されてもよい。例えば、本システムは、限定されたメモリ、算出リソース等を有し得る。本システムが、閾値を上回る数のアプリケーションを識別する場合、本システムは、識別されたアプリケーションをフィルタリングしてもよい。
ブロック1306では、本システムは、本システムのユーザと関連付けられるプロファイル情報にアクセスする。プロファイル情報は、ユーザのコンテンツ選好を示してもよい。例えば、ユーザは、栄養情報に関心があり得る。したがって、プロファイル情報は、本関心を反映させてもよい。別の実施例として、ユーザは、ゲームと関連付けられる仮想コンテンツを視認することに関心がないことを示してもよい。あるアプリケーションは、ゲームプレー体験をアプリケーションのユーザに提供するように設計されてもよい。
ブロック1308では、本システムは、アプリケーションのうちの1つまたはそれを上回るものをフィルタリングする。本システムは、識別されたアプリケーションのうちの1つまたはそれを上回るものをプロファイル情報に基づく考慮点から除去してもよい。したがって、これらの除去されたアプリケーションは、本システムによってロードされなくてもよい。例えば、本システムは、アプリケーションのテキスト説明または他のメタデータを分析してもよい。本システムは、次いで、プロファイル情報に従わない、アプリケーションを除去してもよい。
上記の説明は、プロファイル情報に焦点を当てるが、他の情報が、加えて、または代替として、アプリケーションをフィルタリングするために使用されてもよい。例えば、本システムの使用と関連付けられる、コンテキスト情報が、分析されてもよい。本実施例では、本システムのユーザは、あるコンテキストのために本システムを使用してもよい。実施例として、本システムは、本システムを使用して、目的地までの案内を提供してもよい。本実施例では、本システムは、本コンテキストに関連しない、アプリケーションをフィルタリングしてもよい。例えば、ゲームと関連付けられるアプリケーションを除去してもよい。別の実施例として、代替目的地を説明する情報を提示する、アプリケーションを除去してもよい。例えば、旅行アプリケーションは、都市内の重要な目印を示してもよい。しかしながら、ユーザは、具体的場所までの案内に関する選好を示しているため、これらの目印は、提示されなくてもよい。
本システムはまた、可視性情報を使用してもよい。例えば、本システムは、ユーザに対して限定された可視性を伴って、仮想コンテンツをアンカ場所に提示するように構成される、アプリケーションをフィルタリングしてもよい。実施例として、ユーザが、ある通りを歩いている場合、本システムは、ユーザの視点から遮断されるアンカ場所を伴う、アプリケーションを除去してもよい。別の実施例として、本システムは、ユーザが視認する場所より高いまたは低いアンカ場所を伴う、アプリケーションを除去してもよい。いくつかの実施形態では、本システムは、深度面情報を使用して、アプリケーションをフィルタリングしてもよい。例えば、本システムは、相互に同一深度面上に提示されることになる、アプリケーションを選好してもよい。したがって、仮想コンテンツを異なる深度面上に提示することになるアプリケーションは、好ましくなくあり得る。別の実施例として、ユーザ不快感を生じさせるほどユーザと近接近して仮想コンテンツを提示することになる、アプリケーションは、好ましくなくあり得る。
本システムはまた、可用性および/または双方向性情報を使用してもよい。例えば、あるアプリケーションは、低可用性を有してもよい。本可用性情報は、アプリケーションのユーザ評定から決定されてもよい、またはアプリケーションからの仮想コンテンツとの相互作用を分析することに基づいて、外部システムによって決定されてもよい。同様に、あるアプリケーションは、高双方向性を有してもよい。実施例として、より双方向性またはあまり双方向性ではない、仮想コンテンツが、フィルタリングされてもよい。双方向性の実施例は、ユーザ入力に応答する、仮想コンテンツを含んでもよい。随意に、ユーザは、より双方向性またはあまり双方向性ではない、仮想コンテンツをフィルタリングするための選好を設定してもよい。いくつかの実施形態では、相互作用可能性情報も、使用されてもよい。実施例として、これらのアプリケーションは、非常の多くの算出リソースを消費し得る。それらが、ユーザに特に関心があることが別様に示されない場合、それらは、フィルタリングされてもよい。
したがって、いくつかの実施形態では、本システムは、本システムに近接する、アプリケーションをフィルタリングしてもよい。例えば、あるアプリケーションは、本システムのユーザのユーザプロファイル情報に基づいて、除去されてもよい。いくつかの実施形態では、残りのアプリケーションは、依然として、本システムの算出リソースにとって非常に大きくなり得る。例えば、本システムは、残りのアプリケーションのための仮想コンテンツをレンダリングすることが不可能であり得る。図14に関して下記に説明されるように、本システムは、随意に、加えて、または代替として、アプリケーションをランク付けし、ランク付けに従って、レンダリングしてもよい。
図14は、アプリケーションのランク付けに基づいてアプリケーションをレンダリングするための例示的プロセス1400のフローチャートである。便宜上、プロセス1400は、1つまたはそれを上回るプロセッサのシステムによって実施されるものとして説明されるであろう。例えば、本システムは、XRデバイス(例えば、ディスプレイシステム60等のウェアラブルデバイス、スマートフォン、タブレット等)であってもよい。
ブロック1402では、本システムは、本システムの場所を取得し、ブロック1402では、本システムに近接する複数のアプリケーションを識別する。図13に説明されるように、識別されたアプリケーションは、フィルタリングされてもよい。しかしながら、フィルタリングを用いても、本システムを介して仮想コンテンツを提示するように構成される、非常に多くのアプリケーションが存在し得る。
ブロック1406では、本システムは、1つまたはそれを上回るメトリックに従って、フィルタリングされたアプリケーションをランク付けする。本システムは、優先順位をフィルタリングされたアプリケーションに割り当てることができる。例えば、アプリケーションの優先順位は、本システムの視野、アプリケーションの既知の優先順位、ユーザの移動、アプリケーションの到達可能性等に基づいて決定されてもよい。視野に関して、本システムは、仮想コンテンツを本システムの視野内に全体的にレンダリングするように構成される、アプリケーションを優先順位化してもよい。加えて、本システムは、視野のより大きいパーセンテージを包含する、仮想コンテンツをレンダリングするように構成される、アプリケーションを優先順位化してもよい。
既知の優先順位に関して、あるアプリケーションは、ある割り当てられた優先順位または重要性を有してもよい。高優先順位を伴う例示的アプリケーションは、アンバーアラートアプリケーションであってもよい。高優先順位を伴う別の例示的アプリケーションは、メッセージングアプリケーションであってもよい。したがって、これらのアプリケーションは、他のアプリケーションより高くランク付けされてもよい。ユーザ移動に関して、本システムの軌道に基づいて、アクティブのままであることが予期される、あるアプリケーションは、より高くランク付けされてもよい。例えば、第1のアプリケーションは、ユーザが通りを移動していることに基づいて、アクティブのままであることが予期され得る。別の実施例として、第2のアプリケーションは、ユーザが通りを辿り続けることに基づいて、スリープ状態に置かれることが予期され得る。
同様に、到達可能性に関して、あるアプリケーションは、仮想注解をユーザにアクセス可能なアンカ場所に提示してもよい。例えば、仮想コンテンツは、ユーザが仮想コンテンツと相互作用し得るように、実質的に眼レベルに提示されてもよい。対照的に、ある他のアプリケーションは、仮想コンテンツを、ユーザにアクセス不能である、アンカ場所に提示してもよい。例えば、ユーザが、通りを歩いている場合、2階建ての建物の窓上に提示される仮想コンテンツは、ユーザにアクセス不能であり得る。したがって、本仮想コンテンツは、より低いランク付けを割り当てられてもよい。
上記に説明されるメトリックは、本システムによって、アプリケーションのそれぞれのランク付けを決定するために集約されてもよい。随意に、本システムは、図13のプロセスとプロセス1400を組み合わせてもよい。例えば、本システムは、ユーザプロファイル情報とともに、上記に説明されるメトリックを組み込み、ユーザに近接するアプリケーションの数を低減させてもよい。
ブロック1408では、本システムは、ランク付けに基づいて、アプリケーションをレンダリングする。本システムは、アプリケーションに、個別のランク付けに従って、仮想コンテンツをレンダリングさせてもよい。閾値数のアプリケーションが、仮想コンテンツをレンダリング後、本システムは、残りのアプリケーションを「スリープ」または「アクティブ+無レンダリング」状態に置かせてもよい。閾値数のアプリケーションは、本システムの利用可能な算出リソースに基づいてもよい。例えば、本システムが、十分なメモリを欠いている、または仮想コンテンツが、閾値フレームレート未満でレンダリングされることになること等を決定する場合、本システムは、残りのアプリケーションの状態を調節してもよい。
他の実施形態
本発明の種々の例示的実施形態が、本明細書に説明される。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広くて適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物が置換されてもよい。
例えば、有利なこととして、複数の深度面を横断して画像を提供する、ARディスプレイとともに利用されるが、本明細書に開示される仮想コンテンツはまた、画像を単一深度面上に提供する、システムによって表示されてもよい。
加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、または範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例はそれぞれ、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内にあることを意図している。
本発明は、本主題のデバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、エンドユーザによって実施されてもよい。換言すると、「提供する」行為は、単に、ユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスする、それに接近する、それを位置付ける、それを設定する、それをアクティブ化する、それに電源を入れる、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順番およびイベントの列挙された順序で行なわれてもよい。
加えて、本明細書に説明される、および/または図に描写されるプロセス、方法、およびあるゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定アプリケーション向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定アプリケーション向けハードウェアまたは1つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリあるタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたはアプリケーションを提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール(140)、遠隔処理モジュール(150)、および遠隔データリポジトリ(160)のうちの1つまたはそれを上回るものの一部であってもよい。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写される任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能(例えば、論理または算術)またはステップを実装するための1つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、そこから削除される、修正される、または別様にそこから変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切である他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実施形態における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載されている。本発明の他の詳細に関して、これらは、上記で参照された特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことが、一般または論理的に採用されるような付加的な行為の観点から、本発明の方法ベースの実施形態に関しても当てはまり得る。
加えて、本発明は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して検討されるように説明および指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、均等物(本明細書に列挙されるか、またはある程度の簡潔目的のために含まれていないかにかかわらず)が、本発明の真の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本発明内に包含されるものと理解されたい。
また、説明される本発明の変形例の任意の随意の特徴は、独立して、または本明細書に説明される特徴のうちの任意の1つまたはそれを上回るものと組み合わせて、記載および請求され得ることが検討される。単数形項目の言及は、存在する複数の同一項目が存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられる請求項で使用されるように、単数形「a」、「an」、「said」、および「the」は、別様に具体的に述べられない限り、複数の言及を含む。換言すると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項における本主題の項目のうちの「少なくとも1つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「~を備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の付加的な要素を含むことを可能にするものとする。
故に、請求項は、本明細書に示される実施形態に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

Claims (21)

  1. 1つ以上のプロセッサを備えるクロスリアリティ(XR)デバイスによって実装される方法であって、前記XRデバイスは、複数の深度面において仮想コンテンツを前記XRデバイスのユーザに提示するように構成されており、前記方法は、
    前記XRデバイスの第1の閾値距離メトリック内に位置する個別のアンカ場所を伴う複数のアプリケーションを識別する情報を取得することであって、アンカ場所は、アプリケーションによって仮想コンテンツが提示されるべきである実世界場所に対応する、ことと、
    前記複数のアプリケーションのうちの1つ以上除去することにより、前記複数のアプリケーションのサブセットを維持することであって、前記除去することは、前記第1の閾値距離メトリック内に位置する前記複数のアプリケーションが閾値数のアプリケーションを超えることの決定に基づいて、トリガされ、前記除去することは、前記XRデバイスの使用関連付けられコンテキストと、前記複数のアプリケーション関連付けられ深度面情報とに基づき、前記深度面情報は、前記複数のアプリケーションのそれぞれが仮想コンテンツを提示すべきである個別の深度面を示す、ことと、
    前記複数のアプリケーションの前記サブセットに割り当てられるべきである「スリープ」状態および「アクティブ」状態および「アクティブおよび無レンダリング」状態および「アクティブおよびレンダリング」状態および「未ロード」状態および「背景対応」状態から選択される個別の状態を決定することであって、前記状態は、前記アンカ場所と前記XRデバイスの近接度に基づいて決定される、ことと、
    前記状態を実装することであって、前記複数のアプリケーションの前記サブセットの第1のアプリケーションは、仮想コンテンツをレンダリングするために前記「アクティブおよびレンダリング」状態を割り当てられ、前記第1のアプリケーションは、前記XRデバイスを介して、仮想コンテンツを第1のアンカ場所に提示する、ことと、
    前記XRデバイスの移動に応答して、前記サブセットに含まれる1つ以上のアプリケーションに対して、前記「スリープ」状態および前記「アクティブ」状態および前記「アクティブおよび無レンダリング」状態および前記「アクティブおよびレンダリング」状態および前記「未ロード」状態および前記「背景対応」状態から選択される更新された状態を決定することと
    を含む、方法。
  2. 前記方法は、
    記XRデバイスの場所を示す情報を外部システムに提供することと、
    前記外部システムから、前記複数のアプリケーションを識別する情報を受信することと
    をさらに含む、請求項1に記載の方法。
  3. 前記XRデバイスの移動に応答して、第2のアプリケーションが、第2の閾値距離メトリック内にアンカ場所を有するように決定され、前記第2のアプリケーションは、実行のために、前記外部システムから受信される、請求項2に記載の方法。
  4. 前記第1のアプリケーションの状態を決定することは、複数のゾーンのうち、前記第1のアプリケーションが位置付けられ第1のゾーンを識別することを含み、前記複数のゾーンは、前記XRデバイスの場所上に中心合わせされ立体グリッド内に含まれ、前記第1のゾーンは、前記状態関連付けられている、請求項1に記載の方法。
  5. 前記第1のゾーンは前記第1のアプリケーションが前記「アクティブおよびレンダリング」状態に設定されるように、前記第1のアプリケーションが前記XRデバイスの表示錐台内に位置付けられることを示す、請求項4に記載の方法。
  6. 第2のゾーンはアプリケーションが前記「アクティブおよび無レンダリング」状態または前記「スリープ」状態または前記「未ロード」状態に設定されるように、前記アプリケーションが前記XRデバイスの表示錐台の外側に位置付けられることを示す、請求項4に記載の方法。
  7. 前記複数のゾーンは、複数の状態に関連付けられており、前記複数の状態は、アプリケーションが前記「アクティブおよびレンダリング」状態に設定されている状態、または、前記アプリケーションが前記「アクティブおよび無レンダリング」状態に設定されている状態、または、前記アプリケーションが前記「スリープ」状態に設定されている状態、または、前記アプリケーションが前記「未ロード」状態に設定されている状態を含む、請求項4に記載の方法。
  8. 前記XRデバイスの移動に基づいて、新しいアプリケーション前記XRデバイスの前記第1の閾値距離メトリック内にあると決定され、状態前記新しいアプリケーションに対して決定される、請求項1に記載の方法。
  9. 前記方法は、
    アクティブであることおよび仮想コンテンツをレンダリングすること関連付けられ決定された状態を伴う特定の閾値数を上回るアプリケーションを識別することと、
    1つ以上のメトリックに従って、前記特定の閾値数のアプリケーションをランク付けすることと、
    前記決定された状態を実装することであって、前記特定の閾値数のアプリケーションの1つ以上のアプリケーションは、前記ランク付けに従って、仮想コンテンツを提示し、前記特定の閾値数のアプリケーションの残りのアプリケーションは、前記「アクティブおよび無レンダリング」状態または前記「スリープ」状態または前記「未ロード」状態に設定される、ことと
    をさらに含む、請求項1に記載の方法。
  10. 前記XRデバイスは、仮想コンテンツを複数の深度面上に提示するように構成されている拡張現実ディスプレイデバイスであり、各深度面は、個別の遠近調節キュー関連付けられている、請求項1に記載の方法。
  11. 前記第1のアンカ場所は、前記XRデバイスに近接する実世界関連付けられ記憶された持続的情報と比較した前記XRデバイスの1つ以上の外向きに面した画像センサによって取得される1つ以上の画像に基づいて決定される、請求項1に記載の方法。
  12. 前記第1のアプリケーションは、空間の体積を表すプリズム内仮想コンテンツを提示し、前記プリズムは、前記第1のアンカ場所関連付けられている、請求項1に記載の方法。
  13. 1つ以上のプロセッサを備えるシステムであって、前記システムは、仮想コンテンツを前記システムのユーザに提示するように構成されており、前記システムは、命令を記憶している非一過性コンピュータ記憶媒体をさらに備え、前記命令は、前記1つ以上のプロセッサによって実行されると
    クロスリアリティ(XR)デバイスの第1の閾値距離メトリック内に位置する個別のアンカ場所を伴う複数のアプリケーションを識別する情報を取得することであって、アンカ場所は、アプリケーションによって仮想コンテンツが提示されるべきである実世界場所に対応する、ことと、
    前記複数のアプリケーションのうちの1つ以上除去することにより、前記複数のアプリケーションのサブセットを維持することであって、前記除去することは、前記第1の閾値距離メトリック内に位置する前記複数のアプリケーションが閾値数のアプリケーションを超えることの決定に基づいて、トリガされ、前記除去することは、前記XRデバイスの使用関連付けられコンテキストと、前記複数のアプリケーション関連付けられ深度面情報とに基づき、前記深度面情報は、複数の深度面のうち、前記複数のアプリケーションのそれぞれが仮想コンテンツを提示すべきであ個別の深度面を示す、ことと、
    前記複数のアプリケーションの前記サブセットに割り当てられるべきである「スリープ」状態および「アクティブ」状態および「アクティブおよび無レンダリング」状態および「アクティブおよびレンダリング」状態および「未ロード」状態および「背景対応」状態から選択される個別の状態を決定することであって、前記状態は、前記アンカ場所と前記XRデバイスの近接度に基づいて決定される、ことと、
    前記状態を実装することであって、前記サブセットの第1のアプリケーションは、仮想コンテンツをレンダリングするために前記「アクティブおよびレンダリング」状態を割り当てられ、前記第1のアプリケーションは、前記XRデバイスを介して、仮想コンテンツを第1のアンカ場所に提示する、ことと、
    前記XRデバイスの移動に応答して、前記サブセットに含まれる1つ以上のアプリケーションに対して、前記「スリープ」状態および前記「アクティブ」状態および前記「アクティブおよび無レンダリング」状態および前記「アクティブおよびレンダリング」状態および前記「未ロード」状態および前記「背景対応」状態から選択される更新された状態を決定することと
    を含む動作を実行することを前記1つ以上のプロセッサに行わせる、システム。
  14. 前記第1のアプリケーションの状態を決定することは、複数のゾーンのうち、前記第1のアプリケーションが位置付けられ第1のゾーンを識別することを含み、前記複数のゾーンは、前記XRデバイスの場所上に中心合わせされ立体グリッド内に含まれ、前記第1のゾーンは、前記状態関連付けられている、請求項13に記載のシステム。
  15. 前記第1のゾーンは前記第1のアプリケーションが前記「アクティブおよびレンダリング」状態に設定されるように、前記第1のアプリケーションが前記XRデバイスの表示錐台内に位置付けられることを示し、第2のゾーンはアプリケーションが前記「アクティブおよび無レンダリング」状態または前記「スリープ」状態または前記「未ロード」状態に設定されるように、前記アプリケーションが前記XRデバイスの表示錐台の外側に位置付けられることを示す、請求項14に記載のシステム。
  16. 前記複数のゾーンは、複数の状態に関連付けられており、前記複数の状態は、アプリケーションが前記「アクティブおよびレンダリング」状態に設定されている状態、または、前記アプリケーションが前記「アクティブおよび無レンダリング」状態に設定されている状態、または、前記アプリケーションが前記「スリープ」状態に設定されている状態、または、前記アプリケーションが前記「未ロード」状態に設定されている状態を含む、請求項14に記載のシステム。
  17. 前記動作は、
    アクティブであることおよび仮想コンテンツをレンダリングすること関連付けられ決定された状態を伴う特定の閾値数を上回るアプリケーションを識別することと、
    1つ以上のメトリックに従って、前記特定の閾値数のアプリケーション
    をランク付けすることと、
    前記決定された状態を実装することであって、前記特定の閾値数のアプリケーションの1つ以上のアプリケーションは、前記ランク付けに従って、仮想コンテンツを提示し、前記特定の閾値数のアプリケーションの残りのアプリケーションは、前記「アクティブおよび無レンダリング」状態または前記「スリープ」状態または前記「未ロード」状態に設定される、ことと
    をさらに含む、請求項13に記載のシステム。
  18. 非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、1つ以上のプロセッサを備えるクロスリアリティ(XR)デバイスであって、仮想コンテンツを前記XRデバイスのユーザに提示するように構成されているXRデバイスによって実行されると
    前記XRデバイスの第1の閾値距離メトリック内に位置する個別のアンカ場所を伴う複数のアプリケーションを識別する情報を取得することであって、アンカ場所は、アプリケーションによって仮想コンテンツが提示されるべきである実世界場所に対応する、ことと、
    前記複数のアプリケーションのうちの1つ以上除去することにより、前記複数のアプリケーションのサブセットを維持することであって、前記除去することは、前記第1の閾値距離メトリック内に位置する前記複数のアプリケーションが閾値数のアプリケーションを超えることの決定に基づいて、トリガされ、前記除去することは、前記XRデバイスの使用関連付けられコンテキストと、前記複数のアプリケーション関連付けられ深度面情報とに基づき、前記深度面情報は、複数の深度面のうち、前記複数のアプリケーションのそれぞれが仮想コンテンツを提示すべきであ個別の深度面を示す、ことと、
    前記複数のアプリケーションの前記サブセットに割り当てられるべきである「スリープ」状態および「アクティブ」状態および「アクティブおよび無レンダリング」状態および「アクティブおよびレンダリング」状態および「未ロード」状態および「背景対応」状態から選択される個別の状態を決定することであって、前記状態は、前記アンカ場所と前記XRデバイスの近接度に基づいて決定される、ことと、
    前記状態を実装することであって、前記サブセットの第1のアプリケーションは、仮想コンテンツをレンダリングするために前記「アクティブおよびレンダリング」状態を割り当てられ、前記第1のアプリケーションは、前記XRデバイスを介して、仮想コンテンツを第1のアンカ場所に提示する、ことと、
    前記XRデバイスの移動に応答して、前記サブセットに含まれる1つ以上のアプリケーションに対して、前記「スリープ」状態および前記「アクティブ」状態および前記「アクティブおよび無レンダリング」状態および前記「アクティブおよびレンダリング」状態および前記「未ロード」状態および前記「背景対応」状態から選択される更新された状態を決定することと
    を含む動作を実行することを前記1つ以上のプロセッサに行わせる、非一過性コンピュータ記憶媒体。
  19. 前記第1のアプリケーションの状態を決定することは、複数のゾーンのうち、前記第1のアプリケーションが位置付けられ第1のゾーンを識別することを含み、前記複数のゾーンは、前記XRデバイスの場所上に中心合わせされ立体グリッド内に含まれ、前記第1のゾーンは、前記状態関連付けられている、請求項18に記載のコンピュータ記憶媒体。
  20. 前記複数のゾーンは、複数の状態に関連付けられており、前記複数の状態は、アプリケーションが前記「アクティブおよびレンダリング」状態に設定されている状態、または、前記アプリケーションが前記「アクティブおよび無レンダリング」状態に設定されている状態、または、前記アプリケーションが前記「スリープ」状態に設定されている状態、または、前記アプリケーションが前記「未ロード」状態に設定されている状態を含む、請求項19に記載のコンピュータ記憶媒体。
  21. 前記深度面情報に基づいて前記除去することは、第1の深度面において仮想コンテンツを提示すべきである第1のアプリケーションを維持することと、第2の深度面において仮想コンテンツを提示すべきである第2のアプリケーションを除去することとを含む、請求項1に記載の方法。
JP2022543470A 2020-01-27 2021-01-25 アンカベースのクロスリアリティアプリケーションのための向上された状態制御 Active JP7538871B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024090603A JP2024107074A (ja) 2020-01-27 2024-06-04 アンカベースのクロスリアリティアプリケーションのための向上された状態制御

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062966477P 2020-01-27 2020-01-27
US62/966,477 2020-01-27
PCT/US2021/014946 WO2021154656A1 (en) 2020-01-27 2021-01-25 Enhanced state control for anchor-based cross reality applications

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024090603A Division JP2024107074A (ja) 2020-01-27 2024-06-04 アンカベースのクロスリアリティアプリケーションのための向上された状態制御

Publications (3)

Publication Number Publication Date
JP2023511083A JP2023511083A (ja) 2023-03-16
JPWO2021154656A5 JPWO2021154656A5 (ja) 2024-02-01
JP7538871B2 true JP7538871B2 (ja) 2024-08-22

Family

ID=76970380

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022543470A Active JP7538871B2 (ja) 2020-01-27 2021-01-25 アンカベースのクロスリアリティアプリケーションのための向上された状態制御
JP2024090603A Pending JP2024107074A (ja) 2020-01-27 2024-06-04 アンカベースのクロスリアリティアプリケーションのための向上された状態制御

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024090603A Pending JP2024107074A (ja) 2020-01-27 2024-06-04 アンカベースのクロスリアリティアプリケーションのための向上された状態制御

Country Status (5)

Country Link
US (2) US11756509B2 (ja)
EP (1) EP4097684A4 (ja)
JP (2) JP7538871B2 (ja)
CN (1) CN115004235A (ja)
WO (1) WO2021154656A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11756509B2 (en) 2020-01-27 2023-09-12 Magic Leap, Inc. Enhanced state control for anchor-based cross reality applications
KR20220167932A (ko) * 2021-06-15 2022-12-22 현대자동차주식회사 증강현실 기반의 관심 지점 안내 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150235466A1 (en) 2013-11-27 2015-08-20 Magic Leap, Inc. Using optical fibers to deliver multiple depth planes for augmented or virtual reality
US20150319573A1 (en) 2011-06-03 2015-11-05 Apple Inc. Location monitoring feature of a mobile device for activating an application subsystem
US20160140930A1 (en) 2014-11-13 2016-05-19 WorldViz LLC Methods and systems for virtual and augmented reality
US20160274762A1 (en) 2015-03-16 2016-09-22 The Eye Tribe Aps Device interaction in augmented reality
US20190197785A1 (en) 2017-12-22 2019-06-27 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
EP2656135B1 (en) 2010-12-24 2022-05-04 Magic Leap, Inc. Freeform waveguide prism
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CA2835120C (en) 2011-05-06 2019-05-28 Magic Leap, Inc. Massive simultaneous remote digital presence world
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
CA3207408A1 (en) 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
NZ700887A (en) 2012-04-05 2016-11-25 Magic Leap Inc Wide-field of view (fov) imaging devices with active foveation capability
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
JP2015534108A (ja) 2012-09-11 2015-11-26 マジック リープ, インコーポレイテッド 人間工学的な頭部搭載型ディスプレイデバイスおよび光学システム
KR20230173231A (ko) 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR102560629B1 (ko) 2013-03-15 2023-07-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
AU2014337171B2 (en) 2013-10-16 2018-11-15 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10620700B2 (en) 2014-05-09 2020-04-14 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US10031977B1 (en) * 2017-01-26 2018-07-24 Rena Maycock Data content filter
EP3724713A4 (en) 2017-12-15 2021-08-25 Magic Leap, Inc. IMPROVED ITEM DETERMINATION FOR A DISPLAY DEVICE
US10838574B2 (en) * 2018-04-09 2020-11-17 Spatial Systems Inc. Augmented reality computing environments—workspace save and load
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
US11756509B2 (en) 2020-01-27 2023-09-12 Magic Leap, Inc. Enhanced state control for anchor-based cross reality applications
WO2022213308A1 (en) * 2021-04-08 2022-10-13 Citrix Systems, Inc. Sorting optimization based on user's time preferences and habits

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150319573A1 (en) 2011-06-03 2015-11-05 Apple Inc. Location monitoring feature of a mobile device for activating an application subsystem
US20150235466A1 (en) 2013-11-27 2015-08-20 Magic Leap, Inc. Using optical fibers to deliver multiple depth planes for augmented or virtual reality
US20160140930A1 (en) 2014-11-13 2016-05-19 WorldViz LLC Methods and systems for virtual and augmented reality
US20160274762A1 (en) 2015-03-16 2016-09-22 The Eye Tribe Aps Device interaction in augmented reality
US20190197785A1 (en) 2017-12-22 2019-06-27 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system

Also Published As

Publication number Publication date
WO2021154656A1 (en) 2021-08-05
CN115004235A (zh) 2022-09-02
US20230395039A1 (en) 2023-12-07
EP4097684A4 (en) 2024-02-14
US11756509B2 (en) 2023-09-12
US20210233496A1 (en) 2021-07-29
JP2024107074A (ja) 2024-08-08
EP4097684A1 (en) 2022-12-07
JP2023511083A (ja) 2023-03-16

Similar Documents

Publication Publication Date Title
JP7273940B2 (ja) 深度平面間の低減された切り替えを伴う多深度平面ディスプレイシステム
US11138793B2 (en) Multi-depth plane display system with reduced switching between depth planes
JP6923552B2 (ja) 可変焦点レンズ要素を用いた拡張現実システムおよび方法
JP2022097588A (ja) 仮想および拡張現実システムおよび方法
JP2022075797A (ja) コンテンツをクリッピングし、視認快適性を増加させるためのディスプレイシステムおよび方法
US20230395039A1 (en) Enhanced state control for anchor-based cross reality applications
JP2023517281A (ja) 仮想および拡張現実ディスプレイシステムのための仮想オブジェクト移動速度曲線
JP7496424B2 (ja) 単一コントローラを使用したコンテンツ移動および相互作用
JP2022524283A (ja) 走査ミラーを伴う1次元ピクセルアレイを有するディスプレイシステム
JP7534420B2 (ja) 眼球運動測定査定のための拡張および仮想現実ディスプレイシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240124

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240809

R150 Certificate of patent or registration of utility model

Ref document number: 7538871

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150