JP7487265B2 - 外部条件に基づくウェアラブルディスプレイデバイスの自動制御 - Google Patents

外部条件に基づくウェアラブルディスプレイデバイスの自動制御 Download PDF

Info

Publication number
JP7487265B2
JP7487265B2 JP2022123237A JP2022123237A JP7487265B2 JP 7487265 B2 JP7487265 B2 JP 7487265B2 JP 2022123237 A JP2022123237 A JP 2022123237A JP 2022123237 A JP2022123237 A JP 2022123237A JP 7487265 B2 JP7487265 B2 JP 7487265B2
Authority
JP
Japan
Prior art keywords
user
environment
virtual content
wearable system
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022123237A
Other languages
English (en)
Other versions
JP2022140621A (ja
JP2022140621A5 (ja
Inventor
エム． パウダーリー ジェイムズ
ナイルズ サバンナ
エリザベス サメック ニコル
アミルフーシュマンド アリ
ユー． ロバイナ ナスターシャ
エム． ハリセス クリストファー
ベーレンロッド マーク
エー． リベラ シントロン カルロス
キース スミス ブライアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2022140621A publication Critical patent/JP2022140621A/ja
Publication of JP2022140621A5 publication Critical patent/JP2022140621A5/ja
Application granted granted Critical
Publication of JP7487265B2 publication Critical patent/JP7487265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0033—Means for improving the coupling-out of light from the light guide
    • G02B6/005—Means for improving the coupling-out of light from the light guide provided by one optical element, or plurality thereof, placed on the light output side of the light guide
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0075—Arrangements of multiple light guides
    • G02B6/0076—Stacked arrangements of multiple light guides of the same or different cross-sectional area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Ophthalmology & Optometry (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Position Input By Displaying (AREA)

Description

（関連出願の相互参照）
本願は、２０１６年１２月２９日に出願され“ＭＡＮＵＡＬ ＯＲ ＡＵＴＯＭＡＴＩＣ ＣＯＮＴＲＯＬ ＯＦ ＷＥＡＲＡＢＬＥ ＤＩＳＰＬＡＹ ＤＥＶＩＣＥ ＢＡＳＥＤ ＯＮ ＥＸＴＥＲＮＡＬ ＣＯＮＤＩＴＩＯＮＳ”と題された米国仮出願第６２／４４００９９号に対する３５ Ｕ．Ｓ．Ｃ． § １１９（ｅ）のもとでの優先権を主張するものであり、該米国仮出願の開示は、その全体が参照により本明細書中に援用される。
本開示は、複合現実結像および可視化システムに関し、より具体的には、外部条件に基づく複合現実結像および可視化システムの自動制御に関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で自然のような感覚の豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術の生産は、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。
ウェアラブルデバイスの実施形態は、仮想コンテンツを表示するように構成され得る、頭部搭載型ディスプレイ（ＨＭＤ）を含むことができる。ユーザが、視覚的または聴覚的仮想コンテンツと相互作用する間、ウェアラブルデバイスのユーザは、例えば、緊急条件または非安全条件等のトリガイベントに遭遇し得る、１つ以上のトリガオブジェクトを環境内で検出し得る、またはユーザが特定の環境（例えば、自宅またはオフィス）の中に進入したことを検出し得る。ウェアラブルデバイスの実施形態は、トリガイベントを自動的に検出し、ＨＭＤを自動的に制御し、仮想コンテンツの表示を強調解除、ブロック、または停止することができる。ＨＭＤは、ユーザによって、仮想コンテンツの表示を手動で強調解除、ブロック、または停止するために作動され得る、ボタンを含んでもよい。ある実装では、ウェアラブルデバイスは、終了条件の検出に応答して、仮想コンテンツを再開または復元することができる。
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本明細書は、例えば、以下の項目も提供する。
（項目１）
仮想コンテンツを複合現実または仮想現実環境内で表示するように構成されるウェアラブルシステムであって、前記ウェアラブルシステムは、
仮想コンテンツを複合現実、拡張現実、または仮想現実環境内で提示するように構成されるディスプレイと、
ハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記ユーザの環境の画像を受信することと、
機械学習アルゴリズムを用いて前記環境内のオブジェクトを認識するように構成される１つ以上のオブジェクト認識装置を使用して前記画像を分析することと、
少なくとも部分的に、前記画像の分析に基づいて、トリガイベントを検出することと、
前記トリガイベントの検出に応答して、
前記トリガイベントと関連付けられた閾値条件が満たされることの決定に応答して、前記ディスプレイをミュートにすることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルシステム。
（項目２）
前記ディスプレイをミュートにするために、前記ハードウェアプロセッサは、少なくとも、
前記ディスプレイによって出力される光を暗化すること、
前記仮想コンテンツの表示をオフにすること、
前記仮想コンテンツのサイズを低減させること、
前記仮想コンテンツの透明度を増加させること、または
前記ディスプレイによってレンダリングされる際の前記仮想コンテンツの位置を変化させること
を行うようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目３）
前記ハードウェアプロセッサはさらに、
前記トリガイベントの終了条件を検出することと、
終了条件の検出に応答して、前記表示を再開することと
を行うようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目４）
前記終了条件を検出するために、前記ウェアラブルシステムは、
前記トリガイベントが終了したかどうかを決定すること、または
前記ユーザが前記トリガイベントが生じた環境から離れたかどうかを決定すること
を行うようにプログラムされる、項目３に記載のウェアラブルシステム。
（項目５）
前記ハードウェアプロセスはさらに、前記トリガイベントの検出に応答して、前記ウェアラブルシステムのスピーカをミュートにするようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目６）
前記トリガイベントに応答して、前記ハードウェアプロセッサはさらに、前記トリガイベントの存在のインジケーションを提供するようにプログラムされ、前記インジケーションは、
少なくとも部分的に、前記トリガイベントに関わる、前記環境内の要素と関連付けられた焦点インジケータ、または
アラートメッセージであって、前記アラートメッセージは、前記ユーザに、（１）前記ＨＭＤが、前記ユーザがキャンセルアクションを実施しない限り、ある時間周期内に自動的にミュートにされるであろうこと、または（２）前記ＨＭＤが、前記ユーザが確認アクションを実施しない限り、ミュートにされないであろうことのうちの少なくとも１つを示す、アラートメッセージ
のうちの少なくとも１つを含む、項目１に記載のウェアラブルシステム。
（項目７）
前記トリガイベントと関連付けられた閾値条件は、前記キャンセルアクションが検出されない時間の持続時間を含む、項目６に記載のウェアラブルシステム。
（項目８）
前記キャンセルアクションまたは前記確認アクションは、現実ボタンを作動させること、前記ディスプレイによってレンダリングされた仮想ユーザインターフェース要素を作動させること、ユーザ入力デバイスを作動させること、または前記ユーザのキャンセルまたは確認姿勢を検出することのうちの少なくとも１つを含む、項目６に記載のウェアラブルシステム。
（項目９）
前記トリガイベントは、前記ユーザの環境内の緊急または非安全条件を含む、項目１に記載のウェアラブルシステム。
（項目１０）
前記機械学習アルゴリズムは、深層ニューラルネットワークまたは畳み込みニューラルネットワークを含む、項目１に記載のウェアラブルシステム。
（項目１１）
仮想コンテンツを複合現実または仮想現実環境内で表示するための方法であって、前記方法は、
ハードウェアプロセッサの制御下で、
ユーザの環境の画像を受信することと、
前記環境内のオブジェクトを認識するように構成される１つ以上のオブジェクト認識装置を使用して、前記画像を分析することと、
少なくとも部分的に、前記画像の分析に基づいて、トリガイベントを検出することと、
前記トリガイベントの検出に応答して、
前記トリガイベントと関連付けられた閾値条件が満たされることの決定に応答して、仮想コンテンツをミュートにすることと
を含む、方法。
（項目１２）
前記仮想コンテンツをミュートにすることは、
前記仮想コンテンツがレンダリングされないようにブロックすること、
前記仮想コンテンツとの相互作用をディスエーブルにすること、
前記仮想コンテンツの表示をオフにすること、
前記仮想コンテンツのサイズを低減させること、
前記仮想コンテンツの透明度を増加させること、または
前記ディスプレイによってレンダリングされる際の前記仮想コンテンツの位置を変化させること
のうちの少なくとも１つを含む、項目１１に記載の方法。
（項目１３）
前記トリガイベントの終了条件を検出することと、
終了条件の検出に応答して、前記表示を再開することと
をさらに含む、項目１１に記載の方法。
（項目１４）
前記終了条件を検出するために、前記ウェアラブルシステムは、
前記トリガイベントが終了したかどうかを決定すること、または
前記ユーザが前記トリガイベントが生じた環境から離れたかどうかを決定すること
を行うようにプログラムされる、項目１３に記載の方法。
（項目１５）
前記画像を分析することは、前記ユーザの環境内のオブジェクトを認識することを含み、前記トリガイベントを決定することは、少なくとも部分的に、前記認識されたオブジェクトに基づいて、前記ユーザの場所を決定することを含む、項目１１に記載の方法。
（項目１６）
前記トリガイベントは、前記ユーザの場所の変化または前記ユーザを囲繞する場面の変化を含む、項目１５に記載の方法。
（項目１７）
前記トリガイベントの検出に応答して、前記方法はさらに、前記場所における前記仮想コンテンツをミュートにするための設定にアクセスすることと、前記設定に従って前記仮想コンテンツをミュートにすることとを含む、項目１５に記載の方法。
（項目１８）
前記ユーザの環境内のオブジェクトを認識することは、ニューラルネットワークによって実施される、項目１５に記載の方法。
（項目１９）
前記トリガイベントと関連付けられた閾値条件は、キャンセルアクションが検出されない時間の持続時間を含む、項目１１に記載の方法。
（項目２０）
前記キャンセルアクションは、現実ボタンを作動させること、前記ディスプレイによってレンダリングされた仮想ユーザインターフェース要素を作動させること、ユーザ入力デバイスを作動させること、または前記ユーザのキャンセルまたは確認姿勢を検出することのうちの少なくとも１つを含む、項目１１に記載の方法。
図１Ａは、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。
図１Ｂは、ウェアラブルディスプレイシステムの装着者の視野および動眼視野を図示する。
図２は、ウェアラブルシステムの実施例を図式的に図示する。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。
図５は、導波管によって出力され得る、例示的出射ビームを示す。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。
図７は、ウェアラブルシステムの実施例のブロック図である。
図８は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。
図９は、ウェアラブルシステムの別の実施例のブロック図である。
図１０は、環境センサを備える、ウェアラブルシステムの種々のコンポーネントの実施例の概略図を示す。
図１１Ａおよび１１Ｂは、外科手術コンテキストにおいて頭部搭載型ディスプレイ（ＨＭＤ）をミュートにする実施例を図示する。 図１１Ａおよび１１Ｂは、外科手術コンテキストにおいて頭部搭載型ディスプレイ（ＨＭＤ）をミュートにする実施例を図示する。
図１１Ｃは、産業コンテキストにおいてＨＭＤをミュートにする実施例を図示する。
図１１Ｄは、教育コンテキストにおいてＨＭＤをミュートにする実施例を図示する。
図１１Ｅは、買物コンテキストにおいてＨＭＤをミュートにする実施例を図示する。
図１１Ｆは、仕事環境において仮想コンテンツを選択的にブロックする実施例を図示する。
図１１Ｇは、休憩室環境において仮想コンテンツを選択的にブロックする実施例を図示する。
図１２Ａ、１２Ｂ、および１２Ｃは、トリガイベントに基づいてＨＭＤによって提示される仮想コンテンツをミュートにする実施例を図示する。 図１２Ａ、１２Ｂ、および１２Ｃは、トリガイベントに基づいてＨＭＤによって提示される仮想コンテンツをミュートにする実施例を図示する。 図１２Ａ、１２Ｂ、および１２Ｃは、トリガイベントに基づいてＨＭＤによって提示される仮想コンテンツをミュートにする実施例を図示する。
図１２Ｄは、ユーザの環境の変化の検出に応じて仮想コンテンツをミュートにする実施例を図示する。
図１３Ａおよび１３Ｂは、トリガイベントに基づいて拡張現実ディスプレイデバイスをミュートにする例示的プロセスを図示する。 図１３Ａおよび１３Ｂは、トリガイベントに基づいて拡張現実ディスプレイデバイスをミュートにする例示的プロセスを図示する。
図１３Ｃは、環境内の仮想コンテンツを選択的にブロックするための例示的フローチャートを図示する。
図１４Ａは、現実ボタンの手動作動に応答してＨＭＤによって表示され得る、アラートメッセージを図示する。
図１４Ｂは、ＨＭＤのミュート動作モードを手動でアクティブ化するための例示的プロセスを示す、フローチャートである。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図していない。
（概要）
ウェアラブルデバイスのディスプレイシステムは、仮想コンテンツをＡＲ／ＶＲ／ＭＲ環境内で提示するように構成されることができる。仮想コンテンツは、視覚的および／または聴覚的コンテンツを含むことができる。頭部搭載型ディスプレイデバイス（ＨＭＤ）を使用する間、ユーザは、仮想コンテンツの一部または全部が、強調解除される、または全く提供されないことが望ましくあり得る、状況に遭遇し得る。例えば、ユーザは、仮想コンテンツから潜在的に注意散漫になることなく、ユーザの完全注意が実際の物理的現実に向けられるべきである、緊急条件または非安全条件に遭遇し得る。そのような条件下では、ユーザへの仮想コンテンツの提示は、ユーザが実世界の実際の物理的コンテンツおよびＨＭＤによって提供される仮想コンテンツの両方の処理を試みるため、知覚混乱を生じさせ得る。故に、下記にさらに説明されるように、ＨＭＤの実施形態は、仮想コンテンツを強調解除する、またはその表示を停止することが望ましくあり得る場合、ＨＭＤの手動または自動制御を提供してもよい。
さらに、ウェアラブルデバイスは、豊富な情報量をユーザに提示することができるが、いくつかの状況では、ユーザが、仮想コンテンツを選別し、ユーザが相互作用することに関心があるコンテンツを識別することは、困難であり得る。有利には、いくつかの実施形態では、ウェアラブルデバイスは、ユーザの場所を自動的に検出し、場所に基づいて、仮想コンテンツを選択的にブロック（または選択的に許可）することができ、したがって、ウェアラブルデバイスは、ユーザが自宅または職場に居るかどうか等、ユーザにより高い関連性を伴い、かつユーザの環境（例えば、場所）に適切な仮想コンテンツを提示することができる。例えば、ウェアラブルデバイスは、ビデオゲーム、予定された会議電話、または仕事の電子メールに関連する種々の仮想コンテンツを提示することができる。ユーザが、オフィスに居る場合、ユーザは、例えば、会議電話および電子メール等の仕事関連の仮想コンテンツを視認するが、ユーザが仕事に集中し得るように、ビデオゲームに関連する仮想コンテンツをブロックすることを所望し得る。
ある実装では、ウェアラブルデバイスは、外向きに面した結像システム（単独で、または場所センサと組み合わせて）によって入手された画像データに基づいて、ユーザの場所の変化を自動的に検出することができる。ウェアラブルデバイスは、ユーザがある環境から別の環境に移動したことの検出に応答して、現在の場所に適切な設定を自動的に適用することができる。ある実装では、ウェアラブルシステムは、ユーザの環境（場面とも称される）に基づいて、仮想コンテンツをミュートにすることができる。例えば、自宅内の居間およびモールは両方とも、エンターテインメント場面と見なされてもよく、したがって、類似仮想コンテンツは、両環境においてブロック（または許可）されてもよい。仮想コンテンツはまた、類似特性を有するコンテンツがブロック（または許可）されるかどうかに基づいて、ブロック（または許可）されてもよい。例えば、ユーザは、オフィス環境では、ソーシャルネットワーキングアプリケーションをブロックすることを選定してもよい（または仕事関連コンテンツのみを許可することを選定してもよい）。ユーザによって提供される本構成に基づいて、ウェアラブルシステムは、ビデオゲームおよびソーシャルネットワーキングアプリケーションの両方が娯楽特性を有するため、オフィス環境に関して、ビデオゲームを自動的にブロックすることができる。
実施例は、仮想コンテンツをミュートにすることを参照して説明されるが、類似技法もまた、ウェアラブルシステムの１つ以上のコンポーネントをミュートにするために適用されることができる。例えば、ウェアラブルシステムは、緊急状況（例えば、火災）に応答して、内向きに面した結像システムをミュートにし、システムのハードウェアリソースを節約することができる。さらに、ある実施例は、ある仮想コンテンツをある環境内で選択的にブロックするように説明されるが、これは、例証のためのものであって、複合現実デバイスは、加えて、または代替として、異なる仮想コンテンツを選択的に許可し、ブロックと実質的に同一結果を達成し得る。
（３Ｄディスプレイの実施例）
ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、ＡＲデバイス（ＡＲＤ）と同義的に使用されることができる。さらに、本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」と同義的に使用される。
図１Ａは、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１Ａでは、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
図１Ｂは、人物の視野（ＦＯＶ）および動眼視野（ＦＯＲ）を図示する。ＦＯＶは、所与の時間においてユーザによって知覚される、ユーザの環境の一部を備える。本視野は、人物が動き回る、その頭部を移動させる、またはその眼または視線を移動させるにつれて変化し得る。
ＦＯＲは、ユーザによってウェアラブルシステムを介して知覚されることが可能なユーザの周囲の環境の一部を備える。故に、頭部搭載型ディスプレイデバイスを装着しているユーザに関して、動眼視野は、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚し得るため、装着者を囲繞する４πステラジアン立体角の実質的に全てを含み得る。他のコンテキストでは、ユーザの移動は、より抑制され得、故に、ユーザの動眼視野は、より小さい立体角に対し得る。図１Ｂは、中心および周辺領域を含む、そのような視野１５５を示す。中心視野は、人物に、環境ビューの中心領域内のオブジェクトの対応するビューを提供するであろう。同様に、周辺視野は、人物に、環境ビューの周辺領域内のオブジェクトの対応するビューを提供するであろう。この場合、中心と見なされる対象および周辺と見なされる対象は、人物が見ている方向、故に、その視野の関数である。視野１５５は、オブジェクト１２１、１２２を含んでもよい。本実施例では、中心視野１４５は、オブジェクト１２１を含む一方、他のオブジェクト１２２は、周辺視野内にある。
視野（ＦＯＶ）１５５は、複数のオブジェクト（例えば、オブジェクト１２１、１２２）を含有することができる。視野１５５は、ＡＲシステムのサイズまたは光学特性、例えば、それを通して光がユーザの正面の実世界からユーザの眼に通過する、頭部搭載型ディスプレイの透明ウィンドウまたはレンズのクリア開口サイズに依存し得る。いくつかの実施形態では、ユーザ２１０の姿勢（例えば、頭部姿勢、身体姿勢、および／または眼姿勢）が変化するにつれて、視野１５５も、対応して変化し得、視野１５５内のオブジェクトもまた、変化し得る。本明細書に説明されるように、ウェアラブルシステムは、動眼視野１６５内のオブジェクトおよび視野１５５内のオブジェクトを監視または結像する、カメラ等のセンサを含んでもよい。いくつかのそのような実施形態では、ウェアラブルシステムは、ユーザに、ユーザの視野１５５内で生じる、および／またはユーザの視野の外側であるが、動眼視野１６５内で生じる、気づかれていないオブジェクトまたはイベントをアラートしてもよい。いくつかの実施形態では、ウェアラブルシステムはまた、ユーザ２１０が注意を向けている対象または向けていない対象を区別することができる。
ＦＯＶまたはＦＯＲ内のオブジェクトは、仮想または物理的オブジェクトであってもよい。仮想オブジェクトは、例えば、コマンドを入力するための端末、ファイルまたはディレクトリにアクセスするためのファイルマネージャ、アイコン、メニュー、オーディオまたはビデオストリーミングのためのアプリケーション、オペレーティングシステムからの通知等、例えば、オペレーティングシステムオブジェクトを含んでもよい。仮想オブジェクトはまた、例えば、アバタ、ゲーム内の仮想オブジェクト、グラフィック、または画像等、アプリケーション内のオブジェクトを含んでもよい。いくつかの仮想オブジェクトは、オペレーティングシステムオブジェクトおよびアプリケーション内のオブジェクトの両方であることができる。ウェアラブルシステムは、仮想要素を、頭部搭載型ディスプレイの透明光学を通して視認される、既存の物理的オブジェクトに追加し、それによって、ユーザが物理的オブジェクトと相互作用することを可能にすることができる。例えば、ウェアラブルシステムは、部屋内の医療モニタと関連付けられた仮想メニューを追加してもよく、仮想メニューは、ユーザに、医療結像機器または投薬制御装置をオンにする、または調節するオプションを与えてもよい。故に、頭部搭載型ディスプレイは、ユーザの環境内のオブジェクトに加え、付加的仮想画像コンテンツを装着者に提示してもよい。
図１Ｂはまた、動眼視野（ＦＯＲ）１６５を示し、これは、例えば、その頭部を旋回させる、またはその視線を再指向することによって、人物２１０によって知覚されることが可能な人物２１０の周囲の環境の一部を備える。人物２１０の眼の視野１５５の中心部分は、中心視野１４５と称され得る。視野１５５内であるが、中心視野１４５外の領域は、周辺視野と称され得る。図１Ｂでは、動眼視野１６５は、オブジェクトのグループ（例えば、オブジェクト１２１、１２２、１２７）を含有することができ、これは、ウェアラブルシステムを装着しているユーザによって知覚されることができる。
いくつかの実施形態では、オブジェクト１２９は、ユーザの視覚的ＦＯＲ外にあり得るが、それにもかかわらず、潜在的に、ウェアラブルデバイス上のセンサ（例えば、カメラ）によって知覚され（それらの場所および視野に応じて）、オブジェクト１２９と関連付けられた情報は、ユーザ２１０のために表示される、または別様に、ウェアラブルデバイスによって使用され得る。例えば、オブジェクト１２９は、オブジェクト１２９がユーザによって視覚的に知覚可能ではないように、ユーザの環境内の壁の背後にあり得る。しかしながら、ウェアラブルデバイスは、オブジェクト１２９と通信し得る、センサ（無線周波数、Ｂｌｕｅｔｏｏｔｈ（登録商標）、電波、または他のタイプのセンサ等）を含んでもよい。
（ディスプレイシステムの実施例）
ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図２は、ウェアラブルシステム２００の実施例を図示し、これは、ＡＲ／ＶＲ／ＭＲ場面を提供するように構成されることができる。ウェアラブルシステム２００はまた、ＡＲシステム２００と称され得る。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によって装着可能である、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示するができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイ（ＨＵＤ）を備えることができる。いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する）。ウェアラブルディスプレイ２００は、環境からオーディオストリームを検出し、周囲音を捕捉するために、オーディオセンサ２３２（例えば、マイクロホン）を含むことができる。いくつかの実施形態では、示されない１つ以上の他のオーディオセンサが、ステレオ音受信を提供するために位置付けられる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ウェアラブルシステム２００は、音声または発話認識をオーディオストリームに実施することができる。
ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに面した結像システム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡することができる、内向きに面した結像システム４６２（図４に示される）を含むことができる。内向きに面した結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡してもよい。内向きに面した結像システム４６２は、フレーム２３０に取り付けられてもよく、内向きに面した結像システムによって入手された画像情報を処理し、例えば、ユーザ２１０の眼の瞳孔直径または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール２６０または２７０と電気通信してもよい。
実施例として、ウェアラブルシステム２００は、外向きに面した結像システム４６４または内向きに面した結像システム４６２を使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。
ウェアラブルシステム２００は、ウェアラブルシステム２００によってユーザに提示される視覚的または聴覚的コンテンツを減衰させるために使用され得る、ユーザ選択可能現実ボタン２６３を含むことができる。現実ボタン２６３が、作動されると、視覚的または聴覚的仮想コンテンツは、ユーザがユーザの環境内で生じる実際の物理的現実の多くを知覚するように、低減される（正常ディスプレイ条件と比較して）。現実ボタン２６３は、タッチまたは感圧式であってもよく、ウェアラブルシステム２００のフレーム２３０またはバッテリ電力パック（例えば、ユーザの腰部の近傍、例えば、ベルトクリップ上に装着される）上に配置されてもよい。現実ボタン２６３は、図１４Ａおよび１４Ｂを参照して下記にさらに説明されるであろう。
ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合されることができる（２５０）。
ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサと、不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリとを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（例えば、内向きに面した結像システムまたは外向きに面した結像システム内のカメラ）、オーディオセンサ（例えば、マイクロホン）、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、またはｂ）場合によっては処理または読出後にディスプレイ２２０への通過のために、遠隔処理モジュール２７０または遠隔データリポジトリ２８０を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク２６２または２６４によって遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。
いくつかの実施形態では、遠隔処理モジュール２７０は、データまたは画像情報を分析および処理するように構成される、１つ以上のプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュールにおいて実施され、任意の遠隔モジュールからの完全に自律的な使用を可能にする。
（例示的環境センサ）
環境センサ２６７は、ユーザの周囲の世界のオブジェクト、刺激、人々、動物、場所、または他の側面を検出するように構成されてもよい。図１１Ａ－１１Ｃを参照してさらに説明されるように、環境センサ２６７によって入手された情報は、１つ以上のトリガイベントを決定するために使用されてもよく、これは、ウェアラブルデバイスに、オーディオまたは仮想知覚をミュートにさせることができる。環境センサは、画像捕捉デバイス（例えば、カメラ、内向きに面した結像システム、外向きに面した結像システム等）、マイクロホン、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、ジャイロスコープ、高度計、気圧計、化学センサ、湿度センサ、温度センサ、外部マイクロホン、光センサ（例えば、露出計）、タイミングデバイス（例えば、クロックまたはカレンダ）、またはそれらの任意の組み合わせまたは副次的組み合わせを含んでもよい。いくつかの実施形態では、環境センサはまた、種々の生理学的センサを含んでもよい。これらのセンサは、心拍数、呼吸数、ガルバニック皮膚応答、血圧、脳波状態等のユーザの生理学的パラメータを測定または推定することができる。環境センサはさらに、レーザ、可視光、光の不可視波長、または音（例えば、聴覚的音、超音波、または他の周波数）等の信号を受信するように構成される、放射デバイスを含んでもよい。いくつかの実施形態では、１つ以上の環境センサ（例えば、カメラまたは光センサ）は、環境の周囲光（例えば、輝度）を測定するように構成されてもよい（例えば、環境の照明条件を捕捉するため）。歪みゲージ、縁石検出器、または同等物等の物理的接触センサもまた、環境センサとして含まれてもよい。環境センサ２６７に関する付加的詳細は、図１０を参照してさらに説明される。
ローカル処理およびデータモジュール２６０は、通信リンク２６２および／または２６４によって、有線または無線通信リンク等を介して、遠隔処理モジュール２７０および／または遠隔データリポジトリ２８０に、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、動作可能に結合されてもよい。加えて、遠隔処理モジュール２６２および遠隔データリポジトリ２６４は、相互に動作可能に結合されてもよい。
ウェアラブルシステム２００はさらに、全地球測位衛星（ＧＰＳ）場所データ、天候データ、日付および時間、または他の利用可能な環境データ等の他の環境入力を受信するように構成されてもよく、これは、インターネット、衛星通信、または他の好適な有線または無線データ通信方法から受信されてもよい。処理モジュール２６０は、花粉数、人口統計、空気汚染、環境毒性、スマートサーモスタットからの情報、生活習慣統計、または他のユーザ、建物、または医療従事者との近接度等、ユーザの場所を特性評価するさらなる情報にアクセスするように構成されてもよい。いくつかの実施形態では、場所を特性評価する情報は、クラウドベースのデータベースまたは他の遠隔データベースを使用してアクセスされてもよい。ローカル処理モジュール２７０は、そのようなデータを取得し、および／または環境センサの任意の１つまたはその組み合わせからのデータをさらに分析するように構成されてもよい。
（３Ｄライトフィールドディスプレイの実施例）
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動（ｖｅｒｇｅｎｃｅ）と遠近調節（ａｃｃｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動（例えば、瞳孔が、相互に向かって、または相互から離れるように移動し、眼の視線を収束させ、オブジェクトを固視するような瞳孔の回転）は、眼の水晶体の合焦（または「遠近調節」）と緊密に関連付けられる。通常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼のレンズの焦点の変化または眼の遠近調節は、「遠近調節－輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の整合変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な整合を提供するディスプレイシステムは、３次元画像のより現実的または快適なシミュレーションを形成し得る。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図３を参照すると、ｚ－軸上の眼３０２および３０４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼３０２および３０４によって遠近調節される。眼３０２および３０４は、特定の遠近調節された状態をとり、オブジェクトをｚ－軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有する、深度平面３０６のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼３０２および３０４毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼３０２および３０４の視野は、例えば、ｚ－軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態における眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。
（導波管スタックアセンブリ）
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２Ａのウェアラブルシステム２００に対応してもよく、図４は、そのウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２Ａのディスプレイ２２０の中に統合されてもよい。
図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管の間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層または構造）。
導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂまたは複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を用いて画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれが眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、それぞれが対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中への投入のための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、画像情報を１つ以上の光学導管（光ファイバケーブル等）を介して、画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一の一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０または２７０（図２Ａに図示される）の一部であってもよい。
導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要上部表面および主要底部表面およびそれらの主要上部表面と主要底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部主要表面または底部主要表面に配置されてもよい、または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、材料のモノリシック部品であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料部品の表面上または内部に形成されてもよい。
図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の上方の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の上方の導波管４３６ｂから生じる光が次の上方の導波管４３４ｂからの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成され、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、具体的角度において光を出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、体積ホログラム、表面ホログラム、または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明される。
いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンまたは「回折光学要素」（また、本明細書では、「ＤＯＥ」とも称される）を形成する、回折特徴である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差点で眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割されることができ、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一なパターンの出射放出となる。
いくつかの実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。
いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、または特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ４６０（ローカル処理およびデータモジュール２６０の実施形態であり得る）は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされることができる。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム４００は、世界４７０の一部を結像する、外向きに面した結像システム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、世界カメラの視野（ＦＯＶ）と称され得、結像システム４６４は、時として、ＦＯＶカメラとも称される。世界カメラのＦＯＶは、視認者２１０のＦＯＶと同一である場合とそうではない場合があり、これは、視認者２１０が所与の時間に知覚する、世界４７０の一部を包含する。例えば、いくつかの状況では、世界カメラのＦＯＶは、ウェアラブルシステム４００の視認者２１０の視野より大きくあり得る。視認者による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚することができるため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に対し得る。図１Ｂを参照して説明されるように、ユーザ２１０はまた、ユーザがＨＭＤを使用するとき、ユーザの眼と関連付けられたＦＯＶを有し得る。いくつかの実施形態では、ユーザの眼と関連付けられたＦＯＶは、結像システム４６４のＦＯＶ同一であり得る。他の実施形態では、ユーザの眼と関連付けられたＦＯＶは、結像システム４６４のＦＯＶと異なる。外向きに面した結像システム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。
ウェアラブルシステム４００は、オーディオセンサ２３２、例えば、マイクロホンを含み、周囲音を捕捉することができる。上記に説明されるように、いくつかの実施形態では、１つ以上の他のオーディオセンサが、発話源の場所の決定に有用なステレオ音受信を提供するために位置付けられることができる。オーディオセンサ２３２は、別の実施例として、指向性マイクロホンを備えることができ、これはまた、オーディオ源が位置する場所に関するそのような有用な指向性情報を提供することができる。
ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面した結像システム４６６（例えば、デジタルカメラ）を含むことができる。内向きに面した結像システム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズまたは配向を決定するために使用されてもよい。内向きに面した結像システム４６６は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、片眼４１０のみの瞳孔直径または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、ユーザの両眼に関して類似すると仮定される。内向きに面した結像システム４６６によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。
ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。マルチＤＯＦコントローラは、コントローラの一部または全部の可能性として考えられる平行移動（例えば、左／右、前／後、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）におけるユーザ入力を感知することができる。平行移動をサポートする、マルチＤＯＦコントローラは、３ＤＯＦと称され得る一方、平行移動および回転をサポートする、マルチＤＯＦコントローラは、６ＤＯＦと称され得る。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。
図５は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が図示されるが、導波管アセンブリ４８０内の他の導波管も同様に機能し得、導波管アセンブリ４８０は、複数の導波管を含むことを理解されたい。光５２０が、導波管４３２ｂの入力縁４３２ｃにおいて導波管４３２ｂの中に投入され、ＴＩＲによって導波管４３２ｂ内を伝搬する。光５２０がＤＯＥ４３２ａに衝突する点において、光の一部が、出射ビーム５１０として導波管から出射する。出射ビーム５１０は、略平行として図示されるが、それらはまた、導波管４３２ｂと関連付けられた深度平面に応じて、ある角度で眼４１０に伝搬するように再指向されてもよい（例えば、発散出射ビーム形成）。略平行出射ビームは、眼４１０からの遠距離（例えば、光学無限遠）における深度平面に設定されるように現れる画像を形成するように光を外部結合する、光抽出光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼４１０がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼４１０に近い距離からの光として脳によって解釈されるであろう。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される制御サブシステムとを含む、光学システムを示す、概略図である。光学システムは、導波管装置と、光を導波管装置にまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むことができる。光学システムは、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。光学システムは、１つ以上の一次平面導波管６３２ａ（１つのみのが図６に示される）と、一次導波管６３２ａの少なくともいくつかのそれぞれと関連付けられた１つ以上のＤＯＥ６３２ｂとを含むことができる。平面導波管６３２ｂは、図４を参照して議論される導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂに類似することができる。光学システムは、分散導波管装置を採用し、光を第１の軸（図６の図では、垂直またはＹ－軸）に沿って中継し、第１の軸（例えば、Ｙ－軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管６２２ｂと、分散平面導波管６２２ｂと関連付けられた少なくとも１つのＤＯＥ６２２ａ（二重破線によって図示される）とを含んでもよい。分散平面導波管６２２ｂは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管６３２ｂと類似または同じであってもよい。同様に、少なくとも１つのＤＯＥ６２２ａは、少なくともいくつかの点において、ＤＯＥ６３２ａと類似または同じであってもよい。例えば、分散平面導波管６２２ｂまたはＤＯＥ６２２ａは、それぞれ、一次平面導波管６３２ｂまたはＤＯＥ６３２ａと同一材料から成ってもよい。図６に示される光学ディスプレイシステム６００の実施形態は、図２Ａに示されるウェアラブルシステム２００の中に統合されることができる。
中継され、射出瞳が拡張された光は、分散導波管装置から１つ以上の一次平面導波管６３２ｂの中に光学的に結合され得る。一次平面導波管６３２ｂは、好ましくは、第１の軸に直交する、第２の軸（例えば、図６の図では、水平またはＸ－軸）に沿って、光を中継することができる。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であることができる。一次平面導波管６３２ｂは、その第２の軸（例えば、Ｘ－軸）に沿って、光の有効射出瞳を拡張させる。例えば、分散平面導波管６２２ｂは、光を垂直またはＹ－軸に沿って中継および拡張させ、光を水平またはＸ－軸に沿って中継および拡張させ得る、一次平面導波管６３２ｂにその光を通過させることができる。
光学システムは、単一モード光ファイバ６４０の近位端の中に光学的に結合され得る、１つ以上の有色光源（例えば、赤色、緑色、および青色レーザ光）６１０を含んでもよい。光ファイバ６４０の遠位端は、圧電材料の中空管６４２を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー６４４として、管６４２から突出する。圧電管６４２は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管６４２の外側、外側表面または外側周縁、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管６４２のコア、中心、内側周縁、または内径に位置してもよい。
例えば、ワイヤ６６０を介して電気的に結合される、駆動電子機器６５０は、対向する対の電極を駆動し、圧電管６４２を独立して２つの軸において屈曲させる。光ファイバ６４４の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ６４４の直径、長さ、および材料性質に依存し得る。圧電管６４２をファイバカンチレバー６４４の第１の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー６４４は、振動させられ、大偏向を通して掃引し得る。
２つの軸において共振振動を刺激することによって、ファイバカンチレバー６４４の先端は、２次元（２－Ｄ）走査を充填する面積内において２軸方向に走査される。光源６１０の強度をファイバカンチレバー６４４の走査と同期して変調させることによって、ファイバカンチレバー６４４から発せられる光は、画像を形成することができる。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。
光学結合器サブシステムのコンポーネントは、走査ファイバカンチレバー６４４から発せられる光をコリメートすることができる。コリメートされた光は、鏡面表面６４８によって、少なくとも１つの回折光学要素（ＤＯＥ）６２２ａを含有する、狭分散平面導波管６２２ｂの中に反射されることができる。コリメートされた光は、ＴＩＲによって分散平面導波管６２２ｂに沿って（図６の図に対して）垂直に伝搬することができ、そうすることによって、ＤＯＥ６２２ａと繰り返し交差する。ＤＯＥ６２２ａは、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ６２２ａとの交差点の各点においてより大きい一次平面導波管６３２ｂの縁に向かって回折させ、光の一部をＴＩＲを介して分散平面導波管６２２ｂの長さを辿ってそのオリジナル軌道上で継続させることができる。
ＤＯＥ６２２ａとの交差点の各点において、付加的光が、一次導波管６３２ｂの入口に向かって回折されることができる。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管６２２ｂ内のＤＯＥ６２２ａによって垂直に拡張されることができる。分散平面導波管６２２ｂから外部結合された本垂直に拡張された光は、一次平面導波管６３２ｂの縁に進入することができる。
一次導波管６３２ｂに進入する光は、ＴＩＲを介して、一次導波管６３２ｂに沿って（図６の図に対して）水平に伝搬することができる。光は、複数の点においてＤＯＥ６３２ａと交差するにつれて、ＴＩＲを介して、一次導波管６３２ｂの長さの少なくとも一部に沿って水平に伝搬する。ＤＯＥ６３２ａは、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ６３２ａは、有利には、ビームの光の一部のみが、ＤＯＥ６３２ａの各交差点において視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、一次導波管６３２ｂを通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。
伝搬する光とＤＯＥ６３２ａとの間の交差点の各点において、光の一部は、一次導波管６３２ｂの隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管６３２ｂの面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ６３２ａの半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）すること、および、ビームを設計される焦点レベルに合致する角度に操向することの両方を行う。
故に、これらの異なる経路は、異なる角度におけるＤＯＥ６３２ａの多重度、焦点レベル、または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管６３２ｂの外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第１の焦点深度において生成するために採用されてもよい。３つの第２の隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。
（ウェアラブルシステムの他のコンポーネント）
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、１つ以上の物理的オブジェクトを含んでもよく、これは、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドまたはセンサを有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、ＨＭＤ、およびディスプレイシステムと併用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明される。
（例示的ウェアラブルシステム、環境、およびインターフェース）
ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。
図７は、ＭＲ環境７００の実施例のブロック図である。ＭＲ環境７００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからの感覚入力７０６、ユーザ入力デバイス４６６からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を１つ以上のユーザウェアラブルシステム（例えば、ウェアラブルシステム２００またはディスプレイシステム２２０）または定常室内システム（例えば、室内カメラ等）から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに面した結像システム、外向きに面した結像システム等）を使用して、ユーザの環境の場所および種々の他の属性を決定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラまたは外向きに面した結像システムのカメラ等）によって入手された画像データは、マッピング点のセットに低減されてもよい。
１つ以上のオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識またはマッピングし、画像をタグ付けし、マップデータベース７１０を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース７１０は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。
本情報およびマップデータベース内の点集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、顔、人物、窓、壁、ユーザ入力デバイス、テレビ、ドキュメント（例えば、本明細書におけるセキュリティ実施例において説明されるような旅券、運転免許証、パスポート）、ユーザの環境内の他のオブジェクト等を認識することができる。１つ以上のオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置７０８ａは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、ドキュメントを認識するために使用されてもよい。
オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに面した結像システム４６４（図４に示される）によって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識（例えば、人物またはドキュメント）、オブジェクト姿勢推定、顔認識（例えば、環境内の人物またはドキュメント上の画像から）、学習、インデックス化、運動推定、または画像分析（例えば、写真、署名、識別情報、旅行情報等のドキュメント内の印を識別する）等を実施することができる。１つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
１つ以上のオブジェクト認識装置７０８はまた、種々のテキスト認識アルゴリズムを実装し、テキストを画像から識別および抽出することができる。いくつかの例示的テキスト認識アルゴリズムは、光学キャラクタ認識（ＯＣＲ）アルゴリズム、深層学習アルゴリズム（深層ニューラルネットワーク等）、パターンマッチングアルゴリズム、事前処理のためのアルゴリズム等を含む。
オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｎｅｒａｌｉｚａｔｉｏｎ等）、または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、生命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。意味論情報は、本明細書に説明されるように、オブジェクトのアフォーダンスを含むことができる。例えば、意味論情報は、オブジェクトの法線を含んでもよい。システムは、ベクトルを割り当てることができ、その方向は、オブジェクトの法線を示す。ある実装では、いったんオブジェクト認識装置７０８が、ユーザの周囲の画像から認識されるオブジェクトに基づいて、環境（例えば、余暇または仕事環境、公共またはプライベート環境、または自宅環境等）を認識すると、ウェアラブルシステムは、認識された環境と世界マップ内のある座標またはＧＰＳ座標を関連付けることができる。例えば、いったんウェアラブルシステムが、環境がユーザの自宅内の居間であることを認識する（例えば、オブジェクト認識装置７０８またはユーザの応答を介して）と、ウェアラブルシステムは、環境の場所とＧＰＳ座標または世界マップ内の場所を自動的に関連付けることができる。その結果、ユーザが、将来、同一場所に進入すると、ウェアラブルシステムは、居間環境に基づいて、仮想コンテンツを提示／ブロックすることができる。ウェアラブルシステムはまた、環境に関する意味論情報の一部として、認識された環境に関して、ウェアラブルデバイスをミュートにするため、または調整されたコンテンツを提示するための設定を作成することができる。したがって、ユーザが、将来、同一場所に進入すると、ウェアラブルシステムは、自動的に、環境のタイプを再認識する必要なく、環境に従って、仮想コンテンツを提示する、またはウェアラブルデバイスをミュートにすることができ、これは、効率を改良し、待ち時間を低減させることができる。
経時的に、マップデータベースは、システム（ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つ以上のウェアラブルシステムに伝送されてもよい。例えば、ＭＲ環境７００は、Ｃａｌｉｆｏｒｎｉａで起こっている場面についての情報を含んでもよい。環境７００は、Ｎｅｗ Ｙｏｒｋにおける１人以上のユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境７００はまた、位置特定目的のために、トポロジマップを使用してもよい。
図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８００の実施例のプロセスフロー図である。方法８００は、仮想場面がウェアラブルシステムのユーザに提示され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに居住する友人と散歩に行くことを所望し得る。
ブロック８１０では、ウェアラブルシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８１０において、情報をシステムに伝達する。システムは、ブロック８２０において、本情報に基づいて、疎点を決定してもよい。疎点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャ）を決定する際に使用されてもよい。オブジェクト認識装置７０８ａ～７０８ｎは、ブロック８３０において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つ以上のオブジェクトを認識してもよい。本情報は、次いで、ブロック８４０において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック８５０において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。
図９は、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム９００は、マップ９２０を備え、これは、世界に関するマップデータを含有する、マップデータベース７１０を含んでもよい。マップは、部分的に、ウェアラブルシステム上にローカルに常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス９１０が、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を決定するために、マップ９２０からのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、その世界内で動作するにつれて、オンザフライで収集されたデータから算出されてもよい。データは、実または仮想環境内のオブジェクトに関する画像、センサ（概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定ユニット等）からのデータ、および表面情報を備えてもよい。
疎点表現は、同時位置特定およびマッピング（例えば、入力が画像／視覚のみである構成を指す、ＳＬＡＭまたはｖＳＬＡＭ）プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界が構成される内容も見出すように構成されることができる。姿勢は、マップへの取込およびマップからのデータの使用を含む、多くの目標を達成する、構築ブロックであり得る。
一実施形態では、疎点位置は、それ自体では完全に適正であり得ず、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生成するために必要とされ得る。概して、深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視９４０と称されるプロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して生成される赤外線パターン等）、画像カメラから入手された画像、または手ジェスチャ／トーテム９５０が、立体視プロセス９４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、このうちのいくつかは、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的（例えば、大規模点群に対して）かつ要約しやすい入力であってもよい。したがって、立体視プロセス（例えば、深度マップ）９４０の出力は、融合プロセス９３０において組み合わせられてもよい。姿勢９１０は、同様に、本融合プロセス９３０への入力であってもよく、融合９３０の出力は、マップ取込プロセス９２０への入力となる。サブ表面が、トポグラフィマッピング等において、相互に接続し、より大きい表面を形成し得、マップは、点および表面の大規模ハイブリッドとなる。
複合現実プロセス９６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図９に描写される実施形態では、ゲームパラメータは、システムのユーザが１匹以上のモンスタと種々の場所においてモンスタバトルゲームをプレーしていること、モンスタが死んでいる、または種々の条件下で逃げていること（ユーザがモンスタを撃つ場合等）、種々の場所における壁または他のオブジェクト、および同等物を決定するための入力であってもよい。世界マップは、オブジェクトの場所に関する情報またはオブジェクトの意味論情報を含んでもよく、世界マップは、複合現実に対する別の有用な入力となることができる。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を果たす。
ユーザからの制御または入力は、ウェアラブルシステム９００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム９００に、行うことを所望する対象に関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。一実施形態では、トーテム（例えば、ユーザ入力デバイス）、または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、システムは、場所および配向だけではなく、ユーザが、そのようなアクティビティがカメラのいずれかの視野内にないときでも、生じている状況を決定することを補助し得る、ＩＭＵ等のセンサを装備し得る、トリガまたは他の感知ボタンまたは要素をクリックしているかどうかも理解するように構成されてもよい。）
手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム９００は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム環境において電子メールまたはカレンダを通してフリップする、または別の人物またはプレーヤと「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム９００は、動的である場合とそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、ＯＫを示すために親指を上げる、ＯＫではないことを示すために親指を下げる、または指向性コマンドを示すために左右または上下に手をフリップする等、単純な静的ジェスチャであってもよい。
眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲においてレンダリングする）。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して決定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、決定されてもよい。眼追跡は、眼カメラによって実施され、眼視線（例えば、片眼または両眼の方向または配向）を決定することができる。例えば、眼の近傍に設置された電極による電位の測定（例えば、電気眼球図記録）等の他の技法も、眼追跡のために使用されることができる。
発話追跡は、単独で、または他の入力（例えば、トーテム追跡、眼追跡、ジェスチャ追跡等）と組み合わせて使用され得る、別の入力であり得る。発話追跡は、単独で、または組み合わせて、発話認識、音声認識を含んでもよい。システム９００は、オーディオストリームを環境から受信する、オーディオセンサ（例えば、マイクロホン）を含むことができる。システム９００は、発話している人物（例えば、発話がウェアラブルデバイスの装着者または別の人物または音声（例えば、環境内のラウドスピーカによって伝送される記録された音声）からのものであるかどうか）を決定するための音声認識技術および言われていることを決定するための発話認識技術を組み込むことができる。ローカルデータおよび処理モジュール２６０または遠隔処理モジュール２７０は、マイクロホンからのオーディオデータ（または、例えば、ユーザによって鑑賞されているビデオストリーム等の別のストリーム内のオーディオデータ）を処理し、例えば、隠れマルコフモデル、動的時間伸縮法（ＤＴＷ）ベースの発話認識、ニューラルネットワーク、ディープフィードフォワードおよび再帰ニューラルネットワーク等の深層学習アルゴリズム、エンドツーエンド自動発話認識、機械学習アルゴリズム（図７を参照して説明される）、または音響モデル化または言語モデル化等を使用する他のアルゴリズム等の種々の発話認識アルゴリズムを適用することによって、発話のコンテンツを識別することができる。
複合現実プロセス９６０への別の入力は、イベント追跡を含むことができる。外向きに面した結像システム４６４から入手されたデータは、イベント追跡のために使用されることができ、ウェアラブルシステムは、そのような結像情報を分析し（コンピュータビジョン技法を使用して）、システムに、ユーザに提示されている視覚的または聴覚的コンテンツを有益にも自動的にミュートにさせ得る、トリガイベントが生じているかどうかを決定することができる。
ローカルデータおよび処理モジュール２６０または遠隔処理モジュール２７０はまた、音声認識アルゴリズムを適用することができ、これは、話者がウェアラブルシステム９００のユーザ２１０またはユーザが会話している別の人物であるかどうか等の話者の身元を識別することができる。いくつかの例示的音声認識アルゴリズムは、頻度推定、隠れマルコフモデル、ガウス混合モデル、パターンマッチングアルゴリズム、ニューラルネットワーク、マトリクス表現、ベクトル量子化、話者ダイアライゼーション、決定ツリー、および動的時間伸縮（ＤＴＷ）技法を含むことができる。音声認識技法はまた、コホートモデルおよび世界モデル等のアンチ話者技法を含むことができる。スペクトル特徴は、話者特性を表す際に使用されてもよい。ローカルデータおよび処理モジュールまたは遠隔データ処理モジュール２７０は、図７を参照して説明される種々の機械学習アルゴリズムを使用して、音声認識を実施することができる。
カメラシステムに関して、図９に示される例示的ウェアラブルシステム９００は、３つの対のカメラ、すなわち、ユーザの顔の両側に配列される相対的広ＦＯＶまたは受動ＳＬＡＭ対のカメラと、ユーザの正面に配向され、立体視結像プロセス９４０をハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム／オブジェクトの軌道を捕捉するための異なる対のカメラとを含むことができる。ステレオプロセス９４０に対するＦＯＶカメラおよび対のカメラはまた、カメラ１６とも称され得る。ステレオプロセス９４０に対するＦＯＶカメラおよび対のカメラは、外向きに面した結像システム４６４（図４に示される）の一部であってもよい。ウェアラブルシステム９００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される眼追跡カメラ（また、眼カメラ２４としても示され、図４に示される内向きに面した結像システム４６２の一部であってもよい）を含むことができる。ウェアラブルシステム９００はまた、１つ以上のテクスチャ化光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。
（環境センサを含むウェアラブルシステムの実施例）
図１０は、環境センサを備える、ウェアラブルシステムの種々のコンポーネントの実施例の概略図を示す。いくつかの実施形態では、拡張現実ディスプレイシステム１０１０は、図２に図示されるディスプレイシステム１００の実施形態であってもよい。ＡＲディスプレイシステム１０１０は、いくつかの実装では、複合現実ディスプレイシステムであってもよい。環境センサは、センサ２４、２８、３０、３２、および３４を含んでもよい。環境センサは、ＡＲシステムのユーザに関するデータを検出するように構成される（ユーザセンサとも称される）、またはユーザの環境に関するデータを収集するように構成されてもよい（外部センサとも称される）。例えば、生理学的センサは、ユーザセンサの実施形態であり得る一方、気圧計は、外部センサであり得る。いくつかの状況では、センサは、ユーザセンサおよび外部センサの両方であってもよい。例えば、外向きに面した結像システムは、ユーザが反射表面（例えば、鏡等）の正面に居るとき、ユーザの環境の画像およびユーザの画像を入手してもよい。別の実施例として、マイクロホンがユーザおよび環境からの音を入手し得るため、マイクロホンが、ユーザセンサおよび外部センサの両方としての役割を果たしてもよい。図１０に図示される実施例では、センサ２４、２８、３０、および３２は、ユーザセンサであり得る一方、センサ３４は、外部センサであり得る。
図示されるように、拡張現実ディスプレイシステム１０１０は、種々のユーザセンサを含んでもよい。拡張現実ディスプレイシステム１０１０は、視認者結像システム２２を含んでもよい。視認者結像システム２２は、図４に説明される内向きに面した結像システム４６６の実施形態であってもよい。視認者結像システム２２は、ユーザ（例えば、ユーザの眼１００１、１００２および／または周囲組織）に指向され、それを監視するように構成される、光源２６（例えば、赤外線光源）とペアリングされる、カメラ２４（例えば、赤外線、ＵＶ、および／または可視光カメラ）を含んでもよい。カメラ２４および光源２６は、ローカル処理モジュール２７０に動作可能に結合されてもよい。そのようなカメラ２４は、個別の眼の瞳孔（瞳孔サイズを含む）または虹彩および／または眼瞼または眉毛等の眼を囲繞する組織の配向、形状、および対称性のうちの１つ以上のものを監視し、本明細書に開示される種々の分析を行うように構成されてもよい。いくつかの実施形態では、眼の虹彩および／または網膜の結像は、ユーザのセキュアな識別のために使用されてもよい。図１０を継続して参照すると、カメラ２４はさらに、中心窩等の網膜特徴または眼底の特徴の場所に基づく、診断目的および／または配向追跡のため等、個別の眼の網膜を結像するように構成されてもよい。虹彩および網膜結像または走査は、例えば、ユーザデータと特定のユーザを正しく関連付けるためのユーザのセキュアな識別のために、および／または私的情報を適切なユーザに提示するために、実施されてもよい。いくつかの実施形態では、カメラ２４に加えて、またはその代替として、１つ以上のカメラ２８が、ユーザのステータスの種々の他の側面を検出および／または監視するように構成されてもよい。例えば、１つ以上のカメラ２８は、内向きに面し、ユーザの眼以外の特徴、例えば、１つ以上の顔特徴の形状、位置、移動、色、および／または他の性質（例えば、顔の表情、随意的移動、不随意的チック）を監視するように構成されてもよい。別の実施例では、１つ以上のカメラ２８は、下向きに面し、または外向きに面し、ユーザの、ユーザのＦＯＶ内の別の人物の、腕、手、脚、足、および／または胴体、ＦＯＶ内のオブジェクト等の位置、移動、および／または他の特徴または性質を監視するように構成されてもよい。カメラ２８は、環境を結像するために使用されてもよく、そのような画像は、ウェアラブルデバイスによって分析され、ユーザにウェアラブルデバイスによって提示されている視覚的または聴覚的コンテンツがミュートにされるべきであるようなトリガイベントが生じているかどうかを決定することができる。
いくつかの実施形態では、本明細書に開示されるように、ディスプレイシステム１０１０は、ファイバスキャナ（例えば、図４における画像投入デバイス４２０、４２２、４２４、４２６、４２８）を通して、光ビームをユーザの網膜を横断して可変に投影し、画像を形成する、空間光変調器を含んでもよい。いくつかの実施形態では、ファイバスキャナは、カメラ２４または２８と併せて、またはその代わりに使用され、例えば、ユーザの眼を追跡または結像してもよい。例えば、光を出力するように構成される、走査ファイバの代替として、またはそれに加えて、健康システムは、別個の受光デバイスを有し、ユーザの眼から反射された光を受光し、その反射された光と関連付けられたデータを収集してもよい。
図１０を継続して参照すると、カメラ２４、２８および光源２６は、フレーム２３０上に搭載されてもよく、これはまた、導波管スタック１００５、１００６を保持してもよい。いくつかの実施形態では、ディスプレイシステム１０１０のセンサおよび／または他の電子デバイス（例えば、カメラ２４、２８および光源２６）は、通信リンク２６２、２６４を通して、ローカル処理およびデータモジュール２７０と通信するように構成されてもよい。
いくつかの実施形態では、ユーザに関するデータを提供することに加え、カメラ２４および２８の一方または両方は、眼を追跡し、ユーザ入力を提供するために利用されてもよい。例えば、視認者結像システム２２は、本明細書に開示される種々の試験および分析におけるユーザ応答を提供するため等、仮想メニュー上のアイテムを選択し、および／または他の入力をディスプレイシステム２０１０に提供するために利用されてもよい。
いくつかの実施形態では、ディスプレイシステム１０１０は、１つ以上の加速度計、ジャイロスコープ、ジェスチャセンサ、歩行センサ、平衡センサ、および／またはＩＭＵセンサ等の運動センサ３２を含んでもよい。センサ３０は、音と、検出された音の強度およびタイプ、複数の信号の存在、および／または信号場所を含む、それらの音の種々の性質とを検出するように構成される、１つ以上の内向きに指向される（ユーザに指向される）マイクロホンを含んでもよい。
センサ３０は、フレーム２３０に接続されるように図式的に図示される。本接続は、フレーム２３０への物理的取付の形態をとってもよく、ユーザの耳にわたって延在する、フレーム２３０のつるの端部を含む、フレーム２３０上の任意の場所にあってもよいことを理解されたい。例えば、センサ３０は、フレーム２３０とユーザとの間の接触点において、フレーム２３０のつるの端部に搭載されてもよい。いくつかの他の実施形態では、センサ３０は、フレーム２３０から離れるように延在し、ユーザ２１０に接触してもよい。さらに他の実施形態では、センサ３０は、フレーム２３０に物理的に取り付けられなくてもよく、むしろ、センサ３０は、フレーム２３０から離間されてもよい。
いくつかの実施形態では、ディスプレイシステム１０１０はさらに、ユーザの周囲の世界のオブジェクト、刺激、人々、動物、場所、または他の側面を検出するように構成される、１つ以上の環境センサ３４を含んでもよい。例えば、環境センサ３４は、１つ以上のカメラ、高度計、気圧計、化学センサ、湿度センサ、温度センサ、外部マイクロホン、光センサ（例えば、露出計）、タイミングデバイス（例えば、クロックまたはカレンダ）、またはそれらの任意の組み合わせまたは副次的組み合わせを含んでもよい。いくつかの実施形態では、複数（例えば、２つ）のマイクロホンが、離間され、音源場所決定を促進してもよい。環境感知カメラを含む、種々の実施形態では、カメラは、ユーザの通常の視野の少なくとも一部に類似する画像を捕捉するように、例えば、外向きに面するように位置してもよい。環境センサはさらに、レーザ、可視光、光の不可視波長、音（例えば、聴覚的音、超音波、または他の周波数）等の信号を受信するように構成される、放射デバイスを含んでもよい。いくつかの実施形態では、１つ以上の環境センサ（例えば、カメラまたは光センサ）は、環境の周囲光（例えば、輝度）を測定するように構成されてもよい（例えば、環境の照明条件を捕捉するために）。歪みゲージ、縁石検出器、または同等物等の物理的接触センサもまた、環境センサとして含まれてもよい。
いくつかの実施形態では、ディスプレイシステム１０１０はさらに、ＧＰＳ場所データ、天候データ、日付および時間、または他の利用可能な環境データ等の他の環境入力を受信するように構成されてもよく、これは、インターネット、衛星通信、または他の好適な有線または無線データ通信方法から受信されてもよい。処理モジュール２６０は、花粉数、人口統計、空気汚染、環境毒性、スマートサーモスタットからの情報、生活習慣統計、または他のユーザ、建物、または医療従事者との近接度等、ユーザの場所を特性評価するさらなる情報にアクセスするように構成されてもよい。いくつかの実施形態では、場所を特性評価する情報は、クラウドベースのデータベースまたは他の遠隔データベースを使用してアクセスされてもよい。処理モジュール２６０は、そのようなデータを取得し、および／または環境センサの任意の１つまたはその組み合わせからのデータをさらに分析するように構成されてもよい。
ディスプレイシステム１０１０は、長期間にわたって、上記に説明されるセンサおよび／または入力のいずれかを通して取得されるデータを収集および記憶するように構成されてもよい。デバイスにおいて受信されたデータは、ローカル処理モジュール２６０においておよび／または遠隔で（例えば、図２に示されるように、遠隔処理モジュール２７０または遠隔データリポジトリ２８０において）処理および／または記憶されてもよい。いくつかの実施形態では、日付および時間、ＧＰＳ場所、または他のグローバルデータ等の付加的データは、直接、ローカル処理モジュール２６０において受信されてもよい。画像、他の視覚的コンテンツ、または聴覚的コンテンツ等のユーザにシステムによって送達されるコンテンツに関するデータも同様に、ローカル処理モジュール２６０において受信されてもよい。
（ウェアラブルディスプレイシステムの自動制御）
上記に説明されるように、仮想コンテンツを強調解除またはブロックすることまたはさらにウェアラブルデバイスによる仮想コンテンツの表示をオフにすることが望ましいかまたはさらに必要である状況が生じ得る。そのような状況は、ユーザがより多くの注意をユーザの外側の物理的世界に向け得るように、例えば、緊急状況、非安全状況、またはウェアラブルデバイスのユーザにとってより少ない仮想コンテンツが提示されることが望ましくあり得る状況等、トリガイベントに応答して生じ得る。トリガイベントはまた、ユーザがシステムを使用している環境に基づくことができる。ウェアラブルシステムは、仮想コンテンツをブロックする、またはユーザの環境に基づいて調整された仮想コンテンツを提示することができる。例えば、ウェアラブルシステムは、ウェアラブルシステムが、ユーザが仕事中であることを検出する場合、ビデオゲームをブロックすることができる。
本明細書に開示されるウェアラブルデバイスの実施形態は、そのような状況が生じているかどうかを決定し、例えば、仮想コンテンツをミュートにする（例えば、仮想コンテンツの表示を強調解除する、ブロックする、またはオフにする）、またはウェアラブルシステムの１つ以上のコンポーネントをミュートにする（例えば、１つ以上のコンポーネントをオフにする、減衰させる、スリープモードにする等）ことによって等、適切なアクションを行い、ウェアラブルシステムをミュートにし得る、コンポーネントおよび機能性を含んでもよい。本明細書で使用されるように、仮想コンテンツをミュートにすることは、概して、コンテンツをオフにすることも含め、ウェアラブルデバイスによってユーザに提示される視覚的または聴覚的コンテンツの量または影響を強調解除する、減衰させる、または低減させることを含むことができる。ミュートにすることは、視覚的ミュート（例えば、ディスプレイ２２０をオフにする、または暗化させる）または聴覚的ミュート（例えば、スピーカ２４０によって放出される音を低減させる、またはスピーカを完全にオフにする）を含むことができる。ミュートにすることは、可視仮想コンテンツの透明度を増加させることを含むことができ、これは、ユーザが、そのような仮想コンテンツを透視し、外側の物理的世界を知覚することをより容易にする。ミュートにすることはまた、ユーザの視野内であまり顕著ではないように、仮想コンテンツのサイズを減少させる、またはその設置を改変することを含むことができる。ミュートにすることはさらに、コンテンツをウェアラブルデバイスによる表示からブロックする、または選択的に、いくつかのコンテンツを許可するが、他のコンテンツを許可しないことを含むことができる。故に、ミュートにすることは、ブラックリスト（ブロックされるべきコンテンツを識別する）を介して、またはホワイトリスト（許可されるべきコンテンツを識別する）を介して、実装されることができる。いくつかの実装では、ブラックリストとホワイトリストの組み合わせが、コンテンツを効果的にミュートにするために使用されることができる。加えて、または代替として、グレーリストが、別の条件またはイベントが生じるまで、一時的にブロック（または許可）されるべきコンテンツを示すために使用されることができる。例えば、オフィス環境では、ある仮想コンテンツは、ユーザの監督者が、ブロックをオーバーライドし、コンテンツをホワイトリストに移動させる、またはコンテンツをブラックリストに移動させることによって、コンテンツを恒久的にブロックするまで、グレーリストに入れられ、ユーザへの表示に関して一時的にブロックされ得る。本明細書に説明される種々のウェアラブルデバイスの実施形態は、前述の技法の一部または全部を使用して、ユーザに提示される仮想コンテンツをミュートにすることができる。
以下では、仮想コンテンツをミュートにすることが望ましくあり得る、ユーザ体験の種々の非限定的な例証的実施例が、説明されるであろう。これらの実施例に続き、ウェアラブルデバイスをトリガし、仮想コンテンツをミュートにする、イベントが生じることを決定するための技法および装置が、説明されるであろう。
（外科手術コンテキストにおけるウェアラブルデバイスをミュートにする実施例）
図１１Ａおよび１１Ｂは、外科手術コンテキストにおいてＨＭＤをミュートにする実施例を図示する。図１１Ａでは、外科医が、外科手術を心臓１１４７上で実施している。外科医は、本明細書に説明されるＨＭＤを装着し得る。外科医は、心臓１１４７をそのＦＯＶ内で知覚することができる。外科医はまた、仮想オブジェクト１１４１、１１４２、および１１４５をそのＦＯＶ内で知覚することができる。仮想オブジェクト１１４１、１１４２、および１１４５は、心臓と関連付けられた種々のメトリック（例えば、心拍数、ＥＣＧ等）および診断（例えば、不整脈、心停止等）に関連してもよい。ＨＭＤは、ウェアラブルシステムの環境センサによって入手された情報に基づいて、またはウェアラブルシステムの別のデバイスまたは遠隔処理モジュールと通信することによって、仮想オブジェクト１１４１、１１４２、および１１４５を提示することができる。
しかしながら、外科手術の間、予期されないまたは緊急状況が、生じ得る。例えば、外科手術部位における突然の望ましくない血流が認められ得る（図１１Ｂにおける心臓１１４７からの血飛沫１１４９によって示されるように）。ウェアラブルシステムは、コンピュータビジョン技法を使用して、例えば、外科手術部位内またはその近傍における特徴点または特徴の急速に生じる変化を検出することによって（外向きに面したカメラによって入手された画像内で）、本状況を検出してもよい。ウェアラブルシステムはまた、他のデバイスまたは遠隔処理モジュールから受信されたデータに基づいて、検出を行ってもよい。
ウェアラブルシステムは、本状況が、外科医が注意を予期しない状況または緊急状況に向け得るように、視覚的または聴覚的仮想コンテンツの表示がミュートにされるべきである、トリガイベントに関する基準を満たすことを決定してもよい。故に、ウェアラブルシステムは、トリガイベント（本実施例では、血飛沫１１４９）の自動検出に応答して、仮想コンテンツを自動的にミュートにしてもよい。その結果、図１１Ｂでは、外科医は、ＨＭＤによって、仮想オブジェクト１１４１、１１４２、および１１４５を提示されず、外科医は、全てのその注意を血液の噴出を停止させることに向けることができる。
ＨＭＤは、終了イベントに応答して、通常動作を再開し、外科医への仮想コンテンツの提示を復元することができる。終了イベントは、トリガイベントが終わる（例えば、血飛沫が停止する）とき、またはユーザがトリガイベントが存在しない別の環境に進入するとき（例えば、ユーザが救急処置室から出て行くとき）、検出されてもよい。終了イベントはまた、閾値時間周期に基づくことができる。例えば、ＨＭＤは、トリガイベントの検出に応じて、ある時間周期が経過した（例えば、５分、１５分、１時間等）後、またはトリガイベントがその時間周期にわたって終わっていることの検出に応じて、通常動作を再開してもよい。本実施例では、ウェアラブルシステムは、トリガイベントが終わる前に、ディスプレイ（またはウェアラブルシステムの他のコンポーネント）を再開することができる。
（産業コンテキストにおいてウェアラブルデバイスをミュートにする実施例）
ＨＭＤをミュートにするための類似技法はまた、他のコンテキストでも適用されることができる。例えば、本技法は、産業コンテキストにおいて使用されてもよい。実施例として、作業者が、ＨＭＤを装着しながら、金属ワークピースを工場内で溶接している場合がある。作業者は、ＨＭＤを通して、作業中の金属および溶接プロセスと関連付けられた仮想コンテンツを知覚することができる。例えば、ＨＭＤは、コンポーネントを溶接する方法に関する指示を含む、仮想コンテンツを表示することができる。
しかしながら、作業者がＨＭＤを使用している間、予期されないまたは緊急状況が、発生し得る。例えば、作業者の衣服に偶発的に着火し得る、または溶接トーチが過熱する、またはワークピースまたは近傍の材料に着火し得る。作業者の環境内における産業化学物質の溢流等の他の緊急状況も、生じ得る。ウェアラブルシステムは、これらの状況を、ＨＭＤをトリガし、仮想コンテンツをミュートにするためのイベントとして検出することができる。図１２Ａ－１２Ｃを参照してさらに説明されるように、ウェアラブルシステムは、コンピュータビジョンアルゴリズム（または機械学習アルゴリズム）を使用して、作業者の環境の画像を分析することによって、トリガイベントを検出することができる。例えば、火災または過熱を検出するために、ウェアラブルシステムは、火災または過熱からの熱が、特に、ＩＲ画像内で明白となるであろうため、外向きに面したカメラによって撮影された赤外線（ＩＲ）画像を分析してもよい。ウェアラブルシステムは、トリガイベントの検出に応答して、仮想コンテンツの表示を自動的にミュートにすることができる。いくつかの状況では、ウェアラブルシステムは、ユーザが別様に示さない限り、ＨＭＤが自動的にオフにされるであろうことを示すアラートを提供してもよい。
ある実施形態では、作業者は、現実ボタン２６３を手動で作動させることができ、これは、ＨＭＤに仮想コンテンツをミュートにさせ得る。例えば、作業者は、緊急または非安全条件（例えば、過熱された材料の匂いがすることによって）を感知し、作業者が実際の現実により容易に集中し得るように、現実ボタンを作動させてもよい。作業者が依然として仮想コンテンツに関心があるとき、仮想コンテンツを偶発的にミュートにすることを回避するために、ＨＭＤは、ミュート動作を実施することに先立って、アラートを作業者に提供してもよい。例えば、現実ボタンの作動の検出に応じて、ＨＭＤは、メッセージを作業者に提供して、作業者が別様に示さない限り（現実ボタンを再び作動させることによって、またはその姿勢の変化によって等）、仮想コンテンツが間もなく（例えば、数秒以内に）ミュートにされるであろうことを示してもよい。そのようなアラートに関するさらなる詳細は、図１４Ａおよび１４Ｂを参照して下記に説明される。
図１１Ｃは、機械類（例えば、芝刈り機）を動作させている造園作業者を示す。多くの反復的作業のように、芝刈りは、退屈であり得る。作業者は、ある時間周期後、その関心を喪失し、事故の確率を増加させ得る。さらに、能力の高い作業者を作業に引き付けておくこと、または作業者が適正に作業を実施することを確実にすることは困難であり得る。
図１１Ｃに示される作業者は、ＨＭＤを装着しており、これは、作業性能を向上させるための仮想コンテンツ１１３０をユーザの視野内にレンダリングする。例えば、場面１１００ｃに図示されるように、ＨＭＤは、その目標が仮想的にマッピングされたパターンを辿ることである、仮想ゲームをレンダリングしてもよい。パターンを正確に辿り、あるスコア乗算器に、それらが消失する前にヒットさせると、ポイントが得られる。パターンから脱線することまたはある物理的オブジェクト（例えば、木々、スプリンクラーヘッド、車道）に接近しすぎることに対し、ポイントが引かれてもよい。
しかしながら、作業者は、非常に高速で走行中であり得る進入車両に遭遇し得る、または、歩行者が機械類の正面に進入し得る。作業者は、本進入車両または歩行者（減速または方向転換することによって等）に反応する必要があり得る。ウェアラブルシステムは、その外向きに面した結像システムを使用して、作業者の周囲の画像を入手し、コンピュータビジョンアルゴリズムを使用して、進入車両または歩行者を検出することができる。
ウェアラブルシステムは、入手された画像（またはＧＰＳ等の他の環境センサから入手された場所ベースのデータ）に基づいて、作業者からの速度または距離を計算することができる。ウェアラブルシステムが、速度または距離が閾値条件（例えば、車両が、非常に高速で接近している、または車両または歩行者が、作業者に非常に近接している）に達することを決定する場合、ＨＭＤは、仮想コンテンツを自動的にミュートにし（例えば、ゲームを一時停止する、仮想ゲームをＦＯＶの外側に移動させることによって）、注意散漫を低減させ、作業者が、芝刈り機を操縦し、進入車両または歩行者を回避することに集中することを可能にしてもよい。例えば、場面１１３２ｃに示されるように、ＨＭＤが、仮想コンテンツをミュートにすると、ユーザは、仮想ゲームコンポーネント１１３０を知覚しない。
ウェアラブルシステムが、例えば、トリガイベントが終わるとき等、終了条件を検出すると、ＨＭＤは、通常動作を再開し、作業者への仮想コンテンツの提示を復元してもよい。いくつかの実装では、ＨＭＤは、仮想コンテンツをミュートにしてもよい一方、ＨＭＤの残りは、動作を継続してもよい。例えば、ウェアラブルシステムは、１つ以上の環境センサ（ＧＰＳまたは外向きに面したカメラ等）を使用して、ユーザの位置を持続的に結像してもよい。ウェアラブルシステムが、進入車両または歩行者が作業者を通過したことを決定すると、ウェアラブルシステムは、仮想コンテンツをオンに戻してもよい。
いくつかの実装では、ウェアラブルシステムは、通常動作を再開する、または仮想コンテンツの提示を復元する前に、アラートを提示することができる。これは、トリガイベントが依然として継続中であるとき（例えば、ユーザが依然として緊急状態にあるとき）、ユーザが、緊急状態後に回復するための時間が必要である場合、または任意の他の理由から、仮想コンテンツがオンにされることを防止することができる。アラートに応答して、ユーザは、ユーザが仮想コンテンツがミュートにされたままであることを所望する場合、現実ボタン２６３を作動させることができる。いくつかの実装では、ユーザは、トリガイベントの間、手動ユーザ入力を通して、または自動的に、仮想コンテンツを再開することができる。これは、仮想コンテンツが、トリガイベントの間にユーザを支援し得る状況を可能にする。例えば、システムは、子供が窒息していることを自動的に検出し、したがって、親の仮想コンテンツをミュートにしてもよい。システムが、緊急応答アプリケーションをインストールされている場合、システムは、親が閾値時間周期内に応答しない場合、または親が正しいアクションを行わない場合、緊急応答アプリケーションに関連する仮想コンテンツのみを自動的に選択的にオンにしてもよい。
（教育コンテキストにおいてウェアラブルデバイスをミュートにする実施例）
図１１Ｄは、教育コンテキストにおけるＨＭＤをミュートにする実施例を図示する。図１１Ｄは、教室１１００ｄを示し、２人の生徒１１２２および１１２４が教室内に物理的に着座している（本実施例では、クラスは、ヨガクラスである）。生徒１１２２および１１２４が、ＨＭＤを装着している間、それらは、生徒１１２６に関する仮想アバタおよび教師１１１０に関する仮想アバタを知覚することができるが、そのいずれも、部屋内に物理的には存在しない。生徒１１２６は、その自宅で授業に参加してもよい（教室１１００ｄ内ではなく）。
１つの状況では、生徒１１２２は、他の生徒１１２４と、授業の間、授業関連問題（例えば、特定のヨガ姿勢を実施する方法）について議論することを所望し得る。生徒１１２２は、生徒１１２４の方に歩いて行き得る。生徒１１２４のウェアラブルシステムは、他の生徒１１２２がその正面に居ることを検出し、ＨＭＤによって提示されるオーディオおよび仮想コンテンツを自動的にミュートにし、殆ど（または全く）仮想コンテンツが提示されない状態で、生徒１１２４および１１２２が対面して相互作用することを可能にし得る。例えば、ウェアラブルシステムは、顔認識アルゴリズムを使用して、ＨＭＤの正面の物理的人物の存在を検出してもよい（ＨＭＤに仮想コンテンツを自動的にミュートにさせる、トリガイベントの実施例であり得る）。本検出に応答して、ＨＭＤは、ＨＭＤからのオーディオおよび仮想コンテンツをオフにする（または減衰させる）ことができる。図１１Ｄに示される実施例では、いったん生徒１１２４のＨＭＤが、ミュートにされると、生徒１１２４は、仮想アバタ１１２６および１１１０を知覚することが不可能になるであろう。しかしながら、生徒１１２４は、依然として、同様に物理的教室内に居る生徒１１２２が見え、相互作用することができる。
別の実施例として、教師１１１０は、生徒に、グループ議論に従事するように指示し得、生徒１１２２および１１２４は、同一グループに分類され得る。本実施例では、ＨＭＤは、仮想コンテンツをミュートにし、生徒１１１２および１１２４が対面議論に従事することを可能にしてもよい。ＨＭＤはまた、グループ議論の間、仮想アバタ１１１０および１１２６のサイズを低減させ、知覚混乱を低減させることができる。
（エンターテインメントコンテキストにおいてウェアラブルデバイスをミュートにする実施例）
ウェアラブルシステムはまた、エンターテインメントコンテキストにおいて、トリガイベントを検出し、オーディオ／視覚的コンテンツをミュートにすることができる。例えば、ウェアラブルシステムは、ユーザがゲームをプレーしている間、ユーザの生理学的データを監視することができる。生理学的データが、ユーザが興奮した感情状態を被っている（ゲームに負けたことに起因して、極度に憤慨している、またはゲームの間、極度の恐怖を感じた等）ことを示す場合、ウェアラブルシステムは、トリガイベントの存在を検出し得、したがって、ＨＭＤに仮想コンテンツを自動的にミュートにさせることができる。ウェアラブルシステムは、生理学的データとトリガイベントの検出に関する１つ以上の閾値とを比較することができる。実施例として、ウェアラブルシステムは、ユーザの心拍数、呼吸数、散瞳等を監視することができる。閾値条件は、ユーザがプレーしているゲームのタイプに依存し得る。例えば、ユーザが、比較的に落ち着いたゲーム（人生シミュレーションゲーム等）をプレーしている場合、閾値条件（例えば、閾値心拍数、呼吸数等）は、ユーザがレースゲーム（極度の集中状態を要求し得、ユーザの心拍数を上昇させ得る）をプレーしている場合より低くあり得る。ユーザの生理学的状態が、閾値に達する場合、ウェアラブルシステムは、トリガされ、ＨＭＤによって提供される仮想コンテンツをミュートにする。
別の実施例として、仮想コンテンツは、不快な音楽と関連付けられてもよい。不快な音楽は、ＨＭＤのオーディオ／視覚的コンテンツをミュートにするためのトリガイベントであってもよい。ウェアラブルシステムは、内向きに面した結像システム（例えば、ユーザの顔の表情または散瞳を決定するため）または他の環境センサ（例えば、ユーザの呼吸数または心拍数を検出するため）を使用して、ユーザの反応を検出することができる。例えば、ウェアラブルシステムは、ユーザがある音楽を聞くとユーザが顔をしかめることを検出し得る。
ウェアラブルシステムは、ユーザが興奮した感情状態を体験していることを示す、アラートメッセージを生成することができる。ＨＭＤは、ユーザが、現実ボタン２６３を手動で作動させ、仮想コンテンツの表示をミュートにすることを提案する、仮想グラフィックを表示してもよい。いくつかの実施形態では、ＨＭＤは、ＨＭＤがユーザ確認をある時間周期内に受信しない場合、仮想コンテンツを自動的にオフにしてもよい。ＨＭＤはまた、トリガイベントの検出に応答して、仮想コンテンツを自動的にオフにしてもよい。例えば、不快な音楽が再生されると、ＨＭＤは、音を自動的にミュートにする、または音量を下げてもよい。その一方で、ＨＭＤは、依然として、音と関連付けられた仮想画像を再生してもよい。
（買物コンテキストにおいてウェアラブルデバイスをミュートにする実施例）
図１１Ｅは、買物コンテキストにおいてＨＭＤをミュートにする実施例を図示する。本実施例では、ユーザ２１０は、ショッピングモール１１００ｅ内でＨＭＤを装着し得る。ユーザ２１０は、ＨＭＤを使用して、その買物リスト、値段タグ、推奨されるアイテム（および店舗内のその場所）等の仮想コンテンツを知覚することができる。ユーザはまた、種々のスパイスおよび調理器具を販売ししているシェフ１１５２の物理的ブース１１５０を知覚することができる。
ウェアラブルシステムは、環境センサ（ＧＰＳまたは外向きに面した結像システム等）を使用して、ユーザ２１０の位置を検出することができる。ウェアラブルシステムが、ユーザ２１０がブース１１５０の閾値距離内に居ることを決定する場合、ＨＭＤは、ユーザがシェフ１１５２と対面して相互作用し得るように、仮想コンテンツの表示を自動的にミュートにしてもよい。これは、有利には、ユーザ２１０がシェフ１１５２とのやりとりに従事するとき、知覚混乱を低減させ得る。さらに、例えば、ユーザは、（仮想アイテムではなく）物理的アイテムであるブース内のアイテムを見分けることが可能であり得る。ウェアラブルシステムは、例えば、ユーザ２１０がブース１１５０から離れるとき等、終了条件を検出することができ、ＨＭＤは、終了条件の検出に応答して、仮想コンテンツの表示をミュート解除にしてもよい。
（環境に基づいて仮想コンテンツをミュートにする実施例）
環境内のイベント（例えば、緊急状況）または環境内のオブジェクト（例えば、別のユーザの顔の存在）に基づいて、仮想コンテンツをミュートにすることに加えて、またはその代替として、ウェアラブルシステムはまた、ユーザの環境の特性に基づいて、仮想コンテンツをミュートにすることができる。例えば、ウェアラブルシステムは、外向きに面した結像システム４６４によって観察されるオブジェクトに基づいて、ユーザの環境のそのような特性を識別することができる。ユーザの環境のタイプ（例えば、自宅、オフィス、休憩室または娯楽エリア、屋外、小売店、モール、劇場またはコンサート会場、レストラン、美術館、交通機関（例えば、自動車、飛行機、バス、電車）等）に基づいて、ウェアラブルシステムは、仮想コンテンツを調整する、またはある仮想コンテンツをミュートにすることができる。
ウェアラブルシステムの外向きに面した結像システム４６４を使用することに加えて、またはその代替として、本明細書にさらに説明されるであろうように、ウェアラブルシステムは、場所センサ（例えば、ＧＰＳセンサ）を使用して、ユーザの場所を決定し、それによって、ユーザの環境の性質を推測してもよい。例えば、ウェアラブルシステムは、ユーザの着目場所（例えば、自宅場所、オフィス場所等）を記憶してもよい。場所センサは、場所を決定し、既知の着目場所と比較することができ、ウェアラブルシステムは、ユーザの環境を推測することができる（例えば、システムのＧＰＳ座標が、ユーザの自宅場所に十分に近接する場合、ウェアラブルシステムは、ユーザが自宅環境内に居ることを決定し、自宅環境に基づいて、適切なコンテンツブロック（または許可）を適用することができる）。
一実施例として、ウェアラブルシステムは、例えば、ソーシャルメディア、ゲームの招待状、視聴覚コンテンツ、オフィスコンテンツ、およびナビゲーションアプリケーションに関連する仮想コンテンツ等、種々の仮想コンテンツを含むことができる。外向きに面した結像システム４６４は、ユーザがオフィスに居ることを検出することができる（例えば、オブジェクト認識装置を使用して、コンピュータモニタ、会社用の電話、オフィスの机上の仕事のファイルの存在を認識することによって）。ウェアラブルシステムは、故に、ユーザが仕事に集中し得るように、オフィスアプリケーションを許可し、ソーシャルメディアフィードおよびゲームの招待状をブロックすることができる。しかしながら、ウェアラブルシステムは、ユーザをクライアント目的地に導くために有用であり得るため、ナビゲーションアプリケーションをミュートにしないように構成されてもよい。しかしながら、ウェアラブルシステムが、ユーザがユーザの机から離れたオフィス内の椅子に着座していることを検出すると（例えば、外向きに面した結像システムによって入手された画像の分析を用いて）、ユーザが短い休憩をとっている可能性があるため、ウェアラブルシステムは、単独で、またはオフィス（またはナビゲーション）アプリケーションと組み合わせて、ソーシャルメディアフィードを許可するように構成されてもよい。加えて、または代替として、ウェアラブルシステムは、ユーザ入力に基づいて、環境を標識し、ブロックまたは許可されるべきコンテンツを規定することができる。例えば、ウェアラブルシステムは、場面がユーザの寝室であることのインジケーションをユーザから受信することができ、ユーザは、その場面では、エンターテインメントコンテンツを許可する、または仕事コンテンツをブロックするオプションを選択することができる。したがって、ユーザが、寝室に再進入すると、システムは、ユーザが寝室に居ることを決定し、ユーザ入力に基づいて、コンテンツを自動的にブロックまたは許可することができる。
いくつかの状況では、ウェアラブルシステムは、環境と環境に対するユーザの役割との組み合わせに基づいて、仮想コンテンツをミュートにする、または提示することができる。例えば、ウェアラブルシステムは、ウェアラブルシステムが、ユーザがオフィス内に居ることを検出すると（例えば、オブジェクト認識装置７０８を使用して、オフィス家具を識別することによって）、オフィスツールのセットを従業員に提示し、インターネット（または他のアプリケーション）へのアクセスをブロックすることができる。しかしながら、監督者が、同一オフィス環境に進入する場合、ウェアラブルシステムは、監督者が仮想コンテンツへのより多くのアクセスを有し得るため、監督者がインターネットにアクセスすることを許可してもよい。
別の実施例として、ウェアラブルシステムは、例えば、環境内の自宅の家具（例えば、ソファ、テレビ、ダイニングテーブル等）の存在を認識することによって、または、例えば、ユーザによる手動標識によって等、ユーザが自宅内に居ることを認識することができる。ウェアラブルシステムは、故に、例えば、ソーシャルメディアフィード、ビデオゲーム、または友人から／へのテレプレゼンス招待状等のある仮想コンテンツを許可することができる。ある実装では、２人のユーザが、同一環境内に居る場合でも、ユーザによって知覚可能な仮想コンテンツは、異なってもよい。例えば、子供および親の両方が、居間環境内に居ることができるが、しかし、ウェアラブルシステムは、子供の年齢に適切ではない仮想コンテンツをブロックしながら、親がそのような仮想コンテンツを視聴することを許可することができる。場所に基づいて仮想コンテンツをミュートにすることの付加的実施例は、図１１Ｆおよび１１Ｇを参照して下記にさらに説明される。
実施例は、仮想コンテンツをブロックすることを参照して説明されるが、ウェアラブルシステムはまた、例えば、場所に基づいて、仮想コンテンツの一部または全部を強調解除する、または表示をオフにすることによって、場所に基づいて、仮想コンテンツをミュートにすることができる。
（仕事環境における選択的コンテンツミュートの実施例）
図１１Ｆは、仕事環境においてコンテンツを選択的にブロックする実施例を図示する。図１１Ｆは、２つの場面１１６０ａおよび１１６０ｂを示し、ある仮想コンテンツは、場面１１６０ｂではブロックされる。場面１１６０ａおよび１１６０ｂは、オフィス１１００ｆを示し、ユーザ２１０が、オフィス内で物理的に立っている。ユーザ２１０は、ＨＭＤ１１６６（図２を参照して説明されるＨＭＤの実施形態であってもよい）を装着することができる。ユーザは、ＨＭＤを介して、例えば、テーブル１１６４ａ、椅子１１６４ｂ、および鏡１１６４ｃ等のオフィス内の物理的オブジェクトを知覚することができる。ＨＭＤはまた、例えば、仮想メニュー１１６８およびゲームのための仮想アバタ１１６４等の仮想オブジェクトを提示するように構成されることができる。
いくつかの状況では、ウェアラブルシステムは、全ての仮想コンテンツがＨＭＤ１１６６によってユーザに提示されないように、ユーザの環境内で仮想コンテンツを選択的にミュートにするように構成されることができる。一実施例として、ウェアラブルシステムは、ウェアラブルシステムの１つ以上の環境センサから入手された環境についてのデータを受信することができる。環境データは、単独で、またはＧＰＳデータと組み合わせて、オフィスの画像を含んでもよい。環境データは、ユーザの環境内のオブジェクトを認識する、または認識されたオブジェクトに基づいて、ユーザの場所を決定するために使用されることができる。図１１Ｆを参照すると、ウェアラブルシステムは、環境データを分析し、仕事用の机１１６４ａ、椅子１１６４ｂ、および鏡１１６４ｃの物理的存在を検出することができる。少なくとも部分的に、受信されたデータに基づいて、仕事用の机１５１４、椅子１５１２、および鏡１１６４ｃを検出すると、ウェアラブルシステム２００は、環境がオフィス環境であると認識し得る。例えば、ウェアラブルシステムは、例えば、オブジェクトの特性およびオブジェクトのレイアウト等、オブジェクトと関連付けられたコンテキスト情報に基づいて、本決定を行うことができる。ユーザの環境内のオブジェクトの収集はまた、ユーザがある場所に居ることの確率を決定するために使用されることができる。一実施例として、ウェアラブルシステムは、Ｌ形状の机および回転椅子の存在が、環境がオフィスである高尤度を示すことを決定することができる。ウェアラブルシステムは、機械学習モデル（例えば、ニューラルネットワーク）を訓練および適用し、環境を決定することができる。種々の機械学習アルゴリズム（ニューラルネットワークまたは教師あり学習等）が、環境を認識するために訓練および使用されてもよい。種々の実施形態では、１つ以上のオブジェクト認識装置７０８が、そのような認識のために使用されることができる。代替として、ユーザは、ユーザ入力を通して、事前に本場所を「職場」として標識させてもよい。
環境に基づいて、ウェアラブルシステムは、ある仮想コンテンツを自動的にブロック／ブロック解除（または許可／禁止）することができる。ウェアラブルシステムは、仮想コンテンツをブロックするために環境と関連付けられた１つ以上の設定にアクセスすることができる。図１１Ｆを参照すると、オフィス環境と関連付けられた設定は、ビデオゲームをミュートにすることを含んでもよい。したがって、場面１１６０ｂに示されるように、ウェアラブルシステムは、仮想アバタ１５２４をＨＭＤ１１６６によってレンダリングされないように自動的にブロックし、ユーザ２１０が仕事に集中することを可能にしてもよい。別の実施例として、ウェアラブルシステムは、仮想アバタ１１６４の画像をレンダリングするが、それにもかかわらず、仮想アバタ１１６４と関連付けられた１つ以上のユーザインターフェース動作をブロックするように構成されることができる。本実施例では、ユーザ２１０は、依然として、仮想アバタ１１６４を見ることが可能であろうが、ユーザ２１０は、ウェアラブルシステムが仕事環境と関連付けられた設定を有効にしている間、仮想アバタ１１６４と相互作用することができない。
ある実装では、ある場所において仮想コンテンツをミュートにするための設定は、ユーザ構成可能であることができる。例えば、ユーザは、ある環境のためにブロックすべき仮想コンテンツと、その場所および／または仮想コンテンツ選択に適用すべき標識とを選択することができる。図１１Ｆを参照すると、ユーザ２１０は、ユーザ２１０がオフィス１１００ｆ内に居るとき、仮想アバタ１１６４をＨＭＤ内に現れないようにブロックするように選択することができる。ウェアラブルシステムは、次いで、オフィス１１００ｆと関連付けられた設定を記憶し、設定を適用し、仮想アバタ１１６４を選択的にブロックすることができる。したがって、場面１１６０ｂに示されるように、仮想アバタ１１６４は、ユーザのビューからブロックされる。
実施例は、環境（例えば、オフィス）を決定し、環境に基づいて、仮想コンテンツをミュートにすることを参照して説明されるが、ウェアラブルシステムはまた、ウェアラブルシステムがユーザの具体的場所を決定する必要がないように、環境要因またはコンテンツと他のブロックされるコンテンツとの類似性に基づいて、仮想コンテンツ（またはウェアラブルシステムのコンポーネント）をミュートにすることができる。これは、ウェアラブルシステムが場所センサを含まない、場所センサがブロックされる（例えば、ＧＰＳ衛星までの経路がブロックされる）、または場所正確度が環境特性を決定するために不十分である場合、有利であり得る。ウェアラブルシステムは、環境内のオブジェクトを認識し、一般的に環境の特性（例えば、余暇環境、公共環境、または仕事環境）を決定し、環境の特性に基づいて、仮想コンテンツをミュートにすることができる。例えば、ウェアラブルシステムは、ユーザの環境がソファおよびテレビを含むことを識別することができる。ウェアラブルシステムは、したがって、余暇環境が、実際には、ユーザの自宅またはユーザの職場における休憩室であるかどうかを把握することなく、ユーザが余暇環境に居ることを決定することができる。いくつかの実装では、システムは、環境のタイプを決定し、環境標識の承認または否認のいずれかを行うための通知をユーザに提供するであろう。
（休憩室環境における選択的コンテンツのブロックの実施例）
図１１Ｇは、休憩室環境においてコンテンツを選択的にブロックする実施例を図示する。図１１Ｇは、２つの場面１１７０ａおよび１１７０ｂを示す。図１１Ｇに示される休憩室１１００ｇは、ＨＭＤ１１６６を装着し、休憩室１１００ｇ内に物理的に立っている、ユーザ２１０を示す。休憩室１１００ｇは、テーブル１１７２ｃ、ソファ１１７２ｂ、およびテレビ１１７２ａ等の物理的オブジェクトを含む。ＨＭＤ１１６６はまた、例えば、ゲームのための仮想アバタ１１７６および仮想メニュー１１７４等の仮想コンテンツを提示するように構成されることができ、そのいずれも、部屋内に物理的に存在しない。本実施例では、仮想メニュー１１７４は、それぞれ、クロスワードをプレーする、会議電話を開始する、または仕事用の電子メールにアクセスするためのオプション１１７８ａ、１１７８ｂ、１１７８ｃをユーザ２１０に提示する。
ウェアラブルシステムは、ユーザの環境に基づいて、いくつかの仮想コンテンツをミュートにするように構成されることができる。例えば、外向きに面した結像システム４６４は、ユーザの環境の画像を入手することができる。ウェアラブルシステムは、画像を分析し、コーヒーテーブル１１７２ｃ、ソファ１１７２ｂ、およびテレビ１１７２ａの物理的存在を検出することができる。少なくとも部分的に、コーヒーテーブル１１７２ｃ、ソファ１１７２ｂ、およびテレビ１１７２ａの存在に基づいて、ウェアラブルシステム２００は、次いで、ユーザ２１０が休憩室環境内に居ることを認識し得る。
ウェアラブルシステムは、ユーザの環境と関連付けられた１つ以上の設定に基づいて、仮想コンテンツをレンダリングまたはミュートにすることができる。設定は、環境内のいくつかの仮想コンテンツをミュートにする、または仮想コンテンツの一部をミュートにすることを含むことができる。ある仮想コンテンツをミュートにする実施例として、ウェアラブルシステムは、仮想アバタ１１７６が表示されないようにブロックしながら、仮想メニュー１１７４を保つことができる。仮想コンテンツの一部をブロックする実施例として、場面１１７０ｂは、ユーザが休憩室に居るとき、仕事関連コンテンツをブロックする実施例を図示する。場面１１７０ｂに示されるように、仮想メニュー１１７４全体をブロックするのではなく、ウェアラブルシステムは、クロスワードオプション１１７８ａがエンターテインメント関連であるが、オプション１１７８ｂおよび１１７８ｃが仕事関連であって、休憩室環境と関連付けられた設定が、仕事関連コンテンツのブロックを有効にするため、会議オプション１１７８ｂおよび仕事用電子メールオプション１１７８ｃを選択的にブロックするが、クロスワードオプション１１７８ａを相互作用のために利用可能に保つことができる。ある実装では、ユーザ２１０が休憩室１１００ｇ内に居る間、会議オプション１１７８ｂおよび１１７８ｃは、依然として、ユーザに可視であってもよいが、ウェアラブルシステムは、オプション１１７８ｂおよび１１７８ｃとのユーザ相互作用を防止してもよい。
いくつかの実装では、ユーザは、ある環境と関連付けられたミュート設定を構成することができ、ウェアラブルシステムは、仮想コンテンツの特定の部分がミュート設定の一部ではない場合でも、類似仮想コンテンツを自動的にブロックすることができる。例えば、ユーザは、ソーシャルネットワーキングアプリケーションをミュートにするための仕事設定を構成することができる。ウェアラブルシステムは、ゲームの招待状およびソーシャルネットワーキングアプリケーションの両方がエンターテインメントアクティビティと見なされるため、ゲームの招待状を自動的にミュートにすることができる。別の実施例として、ウェアラブルシステムは、オフィス環境内では仕事用電子メールおよびオフィスツールを提示するように調整されてもよい。本設定に基づいて、ウェアラブルシステムはまた、テレプレゼンスツールのための仕事関連連絡先を提示し、仮想コンテンツをオフィス環境に調整することができる。ウェアラブルシステムは、図７におけるオブジェクト認識装置７０８を参照して説明される１つ以上の機械学習アルゴリズムを使用して、仮想コンテンツがブロックされた（または調整された）ものに類似するかどうかを決定することができる。
場面１１７０ａおよび１１７０ｂにおける実施例は、ユーザの環境に基づいて、コンテンツをブロックすることを参照して説明されるが、いくつかの実装では、環境と関連付けられた設定は、ある仮想コンテンツを許可することに関連してもよい。例えば、休憩室環境と関連付けられた設定は、エンターテインメント関連仮想コンテンツとの相互作用を有効にすることを含むことができる。
（トリガイベントの実施例）
図１２Ａ、１２Ｂ、および１２Ｃは、少なくとも部分的に、トリガイベントの発生に基づいて、ＨＭＤによって提示される仮想コンテンツをミュートにする実施例を図示する。図１２Ａでは、ＨＭＤのユーザは、そのＦＯＶ１２００ａ内の物理的オブジェクトを知覚することができる。物理的オブジェクトは、テレビ（ＴＶ）１２１０、遠隔制御１２１２、ＴＶスタンド１２１４、および窓１２１６を含んでもよい。ＨＭＤは、ここでは、図２および４を参照して説明されるディスプレイ２２０の実施形態であってもよい。ＨＭＤは、仮想オブジェクトをＡＲまたはＭＲ体験におけるユーザの物理的環境上に表示することができる。例えば、図１２Ａでは、ユーザは、ユーザの環境内の仮想建物１２２２およびアバタ１２２４等の仮想オブジェクトを知覚することができる。
ユーザは、ユーザのＦＯＶ内のオブジェクトと相互作用することができる。例えば、アバタ１２２４は、ユーザの友人の仮想画像を表してもよい。ユーザが、その友人とテレプレゼンスセッションを行っている間、アバタ１２２４は、ユーザの友人の移動および感情を動画化し、友人の存在の有形感知をユーザの環境内に作成してもよい。別の実施例として、ユーザは、リモコン１２１２を使用して、またはＨＭＤによってレンダリングされた仮想リモコンを使用して、ＴＶ１２１０と相互作用することができる。例えば、ユーザは、リモコン１２１２または仮想リモコンを使用して、チャネル、音量、音設定等を変化させることができる。さらに別の実施例として、ユーザは、仮想建物１２２２と相互作用することができる。例えば、ユーザは、姿勢（例えば、手のジェスチャまたは他の身体姿勢）を使用して、またはユーザ入力デバイス（例えば、図４におけるユーザ入力デバイス５０４）を作動させ、仮想建物１２２２を選択することができる。仮想建物の選択に応じて、ＨＭＤは、仮想建物１２２２の内側の仮想環境を表示することができる。例えば、仮想建物１２２２は、仮想教室の内側を含んでもよい。ユーザは、仮想教室の中に歩いて行くようにシミュレートし、ＡＲ／ＭＲ／ＶＲ環境内で授業に従事することができる。
ユーザが、ＡＲ／ＭＲ／ＶＲ環境内に居るとき、環境センサ（ユーザセンサおよび外部センサを含む）は、ユーザおよびユーザの環境のデータを入手することができる。ウェアラブルシステムは、環境センサによって入手されたデータを分析し、１つ以上のトリガイベントを決定することができる。トリガイベント（閾値を上回る大きさまたは有意性を有し得る）の発生に応じて、ウェアラブルシステムは、例えば、可視仮想コンテンツの一部または全部の表示をミュートにすることによって、または聴覚的仮想コンテンツをミュートにすることによって等、仮想コンテンツを自動的にミュートにすることができる。
トリガイベントは、ユーザの環境内で生じる物理的イベントに基づいてもよい。例えば、トリガイベントは、火災、動脈破裂（外科手術中）、警察車両の接近、化学物質の溢流（実験または産業プロシージャ中）等、緊急または非安全状況を含んでもよい。トリガイベントはまた、ユーザが、混雑した通りを歩いている、車に乗っている（あまりに多い仮想コンテンツがユーザに提示される場合、運転が非安全となり得る）とき等のユーザのアクションと関連付けられてもよい。トリガイベントはまた、ユーザの場所（例えば、自宅または公園）またはユーザの周囲の場面（例えば、仕事場面または余暇場面）に基づいてもよい。トリガイベントはさらに、ユーザの環境内のオブジェクト（他の人々を含む）に基づくことができる。例えば、トリガイベントは、ユーザのある距離内の人々の密度またはユーザに接近している特定の人物（例えば、教師、警察官、監督者等）のコンピュータ顔認識に基づいてもよい。
加えて、または代替として、トリガイベントは、仮想コンテンツに基づいてもよい。例えば、トリガイベントは、ＡＲ／ＶＲ／ＭＲ環境内の予期しない大きな雑音を含み得る。トリガイベントはまた、ＡＲ／ＶＲ／ＭＲ環境内で不快または邪魔になる体験を含み得る。さらに別の実施例として、ウェアラブルシステムは、ウェアラブルシステムによってある場所において以前にブロックされた仮想コンテンツに類似する仮想コンテンツをミュートにしてもよい。
トリガイベントはまた、ユーザの場所の変化を含むことができる。図１２Ｄは、ユーザの環境の変化の検出に応じて、仮想コンテンツをミュートにする実施例を図示する。図１２Ｄでは、ユーザ２１０は、最初に、休憩室１２４０ｂ内に居る。ユーザは、ＨＭＤを介して、図１１Ｇにおける場面１１７０ｂに示される例示的仮想コンテンツ１１７８ａおよび１１７６等、休憩室１２４０ｂに調整された仮想コンテンツを知覚することができる。ユーザ２１０は、休憩室１２４０ｂから退出し、オフィス１２４０ａに進入することができる。ユーザ２１０が、休憩室１２４０ｂからオフィス１２４０ａに移行するにつれて、ウェアラブルシステム２００は、データを１つ以上の環境センサから入手することができる。入手されたデータは、外向きに面した結像システム４６４によって入手された画像を含むことができる。ウェアラブルシステムは、入手された画像を分析し、仕事用の机１２４２、椅子１２４４、およびコンピュータモニタ１２４６の存在を検出することができる。ウェアラブルシステム２００は、少なくとも部分的に、環境内の１つ以上の物理的オブジェクトの存在に基づいて、ユーザがオフィス環境内に進入したことを認識することができる。
ウェアラブルシステム２００は、環境の変化が生じたことを検出するため（例えば、ユーザが休憩室１２４０ｂからオフィス１２４０ａに歩いて行ったため）、ウェアラブルシステム２００は、新しい環境のためのコンテンツをミュートにすることと関連付けられた設定を決定する。例えば、ウェアラブルシステム２００は、オフィス１２４０ａと関連付けられたコンテンツブロック設定が以前に有効にされているかどうかをチェックすることができる。オフィス１７０５と関連付けられたコンテンツブロック設定が、以前に有効にされている場合、ウェアラブルシステム２００は、コンテンツブロックのための関連付けられた設定を自動的に適用することができる。実施例として、オフィス１２４０ａのためのコンテンツブロック設定は、エンターテインメントコンテンツをブロックすることを含むことができる。したがって、図１２Ｄに示されるように、ユーザは、仮想ゲームアプリケーションをもはや知覚することができない。ウェアラブルシステムはまた、クロスワードアプリケーション１１７８ａ（ユーザが休憩室１２４０ｂでは知覚することが可能であった）を除去し、代わりに、オフィスツールアプリケーション１２５２を示すことができる。別の実施例として、ウェアラブルシステムは、テレプレゼンスセッションの連絡先リスト１２５４を更新し、仕事関連連絡先（職場外のユーザの友人ではなく）を提示することができる。ウェアラブルシステムはまた、ユーザがオフィス１２４０ａ内に居るとき、仕事関連連絡先がユーザによってより容易に知覚されるように、連絡先リストをソートすることができる（例えば、仕事関連連絡先を連絡先リストの上部に移動させる）。
本実施例では、ユーザは、休憩室１２４０ｂからオフィス１２４０ａに歩いて行くが、類似技法はまた、ユーザがオフィス１２４０ａから休憩室１２４０ｂに歩いて行く場合にも適用されることができる。ある実装では、ユーザは、１つの場所から別の場所に移動するが、ウェアラブルシステムは、それにもかかわらず、場面が変化しないため、仮想コンテンツをミュートにするための同一設定を適用してもよい。例えば、ユーザは、公園から地下鉄の駅に移動してもよい。ウェアラブルシステムは、公園および地下鉄の駅の両方とも公共場面と見なされ得るため、仮想コンテンツをミュートにするための同一設定を適用することができる。
（トリガイベントのコンピュータビジョンおよびセンサベースの検出）
トリガイベントは、種々の技法を使用して検出されることができる。トリガイベントは、ユーザの反応に基づいて、決定されてもよい。例えば、ウェアラブルシステムは、内向きに面した結像システムまたは生理学的センサによって入手されたデータを分析することができる。ウェアラブルシステムは、データを使用して、ユーザの感情状態を決定することができる。ウェアラブルシステムは、ユーザがある感情状態（怒っている、怯えている、不快である等）にあるかどうかを決定することによって、トリガイベントの存在を検出することができる。実施例として、ウェアラブルシステムは、ユーザの散瞳、心拍数、呼吸数、または発汗率を分析し、ユーザの感情状態を決定することができる。
トリガイベントはまた、コンピュータビジョン技法を使用して検出されることができる。例えば、ウェアラブルシステムは、外向きに面した結像システムによって入手された画像を分析し、場面再構築、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を実施することができる。１つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置特定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調整、適応閾値（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ－最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。図７を参照して説明されるように、コンピュータビジョンアルゴリズムのうちの１つ以上のものは、オブジェクト、イベント、または環境を認識するために、オブジェクト認識装置７０８によって実装されてもよい。
これらのコンピュータビジョン技法のうちの１つ以上のものはまた、他の環境センサ（等例えば、マイクロホン）から入手されたデータとともに使用され、トリガイベントの存在を検出することができる。
トリガイベントは、１つ以上の基準に基づいて、検出されてもよい。これらの基準は、ユーザによって定義されてもよい。例えば、ユーザは、トリガイベントをユーザの環境内の火災に設定してもよい。したがって、ウェアラブルシステムが、コンピュータビジョンアルゴリズムを使用して、または煙検出器（ウェアラブルシステムの一部である場合とそうではない場合がある）から受信されたデータを使用して、火災を検出すると、ウェアラブルシステムは、次いで、トリガイベントの存在を信号伝達し、表示されている仮想コンテンツを自動的にミュートにすることができる。基準はまた、別の人物によって設定されてもよい。例えば、ウェアラブルシステムのプログラマは、トリガイベントをウェアラブルシステムの過熱に設定してもよい。
トリガイベントの存在はまた、ユーザの相互作用によって示されてもよい。例えば、ユーザは、ある姿勢（例えば、手のジェスチャまたは身体姿勢）を行う、またはユーザ入力デバイスを作動させ、トリガイベントの存在を示してもよい。
加えて、または代替として、基準はまた、ユーザの挙動（またはユーザのグループの挙動）に基づいて、学習されてもよい。例えば、ウェアラブルシステムは、ユーザがＨＭＤをオフにするときを監視することができる。ウェアラブルシステムは、ユーザが、多くの場合、あるタイプの仮想コンテンツ（例えば、映画内のあるタイプの場面）に応答して、ウェアラブルシステムをオフにすることを観察し得る。ウェアラブルシステムは、故に、ユーザの挙動を学習し、ユーザの挙動に基づいて、トリガイベントを予測してもよい。別の実施例として、ウェアラブルシステムは、仮想コンテンツとのユーザの以前の相互作用に基づいて、ユーザの感情状態を関連付けることができる。ウェアラブルシステムは、本関連付けを使用して、ユーザが仮想オブジェクトと相互作用するとき、トリガイベントが存在するかどうかを予測することができる。
トリガイベントはまた、既知のオブジェクトに基づいてもよい。例えば、ウェアラブルシステムは、所与の場所では、仮想コンテンツが表示されないようにブロックしてもよい。ウェアラブルシステムは、所与の場所において、類似特性を有する他の仮想コンテンツを自動的にブロックすることができる。例えば、ユーザは、車内では、ビデオ鑑賞アプリケーションをブロックするように構成してもよい。本構成に基づいて、ウェアラブルシステムは、映画および音楽アプリケーションがビデオ鑑賞アプリケーションと類似特性を共有する（例えば、それらは全て、視聴覚エンターテインメントコンテンツである）ため、ユーザが映画および音楽アプリケーションのブロックを具体的に構成していなくても、映画および音楽アプリケーションを自動的にブロックすることができる。
（トリガイベントの機械学習）
種々の機械学習アルゴリズムは、トリガイベントを学習するために使用されることができる。いったん訓練されると、機械学習モデルは、後続用途のために、ウェアラブルシステムによって記憶されることができる。図７を参照して説明されるように、機械学習アルゴリズムまたはモデルのうちの１つ以上のものが、オブジェクト認識装置７０８によって実装されてもよい。
機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅまたは深層ニューラルネットワーク等）、次元低減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、基本モデルを生成または記憶することができる。基本モデルは、開始点として使用され、データタイプ（例えば、特定のユーザ）、データセット（例えば、取得される付加的画像のセット）、条件付き状況、または他の変数に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルシステムは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値の使用を含んでもよい。
基準は、閾値条件を含むことができる。環境センサによって入手されたデータの分析が、閾値条件に達することを示す場合、ウェアラブルシステムは、トリガイベントの存在を検出してもよい。閾値条件は、定量的および／または定質的測定値を伴ってもよい。例えば、閾値条件は、トリガイベントが生じる尤度と関連付けられたスコアまたはパーセンテージを含むことができる。ウェアラブルシステムは、環境センサのデータから計算されるスコアと閾値スコアを比較することができる。スコアが、閾値レベルより高い場合、ウェアラブルシステムは、トリガイベントの存在を検出してもよい。他の実施形態では、ウェアラブルシステムは、スコアが閾値より低い場合、トリガイベントの存在を信号伝達することができる。
閾値条件はまた、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」等の文字グレードを含んでもよい。各グレードは、状況の深刻度を表し得る。例えば、「Ａ」は、最も深刻であり得る一方、「Ｄ」は、最も深刻でなくあり得る。ウェアラブルシステムが、ユーザの環境内のイベントが十分に深刻である（閾値条件と比較して）ことを決定すると、ウェアラブルシステムは、トリガイベントの存在を示し、アクションを行ってもよい（例えば、仮想コンテンツをミュートにする）。
閾値条件は、ユーザの物理的環境内のオブジェクト（または人々）に基づいて、決定されてもよい。例えば、閾値条件は、ユーザの心拍数に基づいて、決定されてもよい。ユーザの心拍数が、閾値数（例えば、ある拍数／分）を超える場合、ウェアラブルシステムは、トリガイベントの存在を信号伝達してもよい。図１１Ａおよび１１Ｂを参照して上記に説明される別の実施例として、ウェアラブルシステムのユーザは、外科手術を患者上で実施する、外科医であってもよい。閾値条件は、患者の血液損失、患者の心拍数、または他の生理学的パラメータに基づいてもよい。図２および１０を参照して説明されるように、ウェアラブルシステムは、患者のデータを、環境センサ（例えば、外科手術部位を結像する外向きに面したカメラ）または外部ソース（例えば、心電図によって監視されるＥＣＧデータ等）から入手することができる。さらに別の実施例として、閾値条件は、ユーザの環境内のあるオブジェクトの存在（火災または煙の存在等）に基づいて、決定されてもよい。
閾値条件はまた、ユーザに表示されている仮想オブジェクトに基づいて、決定されてもよい。一実施例として、閾値条件は、ある数の仮想オブジェクトの存在（例えば、ある人物からの出そびれた仮想テレプレゼンス電話の回数等）に基づいてもよい。別の実施例として、閾値条件は、仮想オブジェクトとのユーザの相互作用に基づいてもよい。例えば、閾値条件は、仮想コンテンツの一部を鑑賞しているユーザの持続時間であってもよい。
いくつかの実施形態では、閾値条件、機械学習アルゴリズム、またはコンピュータビジョンアルゴリズムは、具体的コンテキストに特化されてもよい。例えば、外科手術コンテキストでは、コンピュータビジョンアルゴリズムは、ある外科手術イベントを検出することに特化されてもよい。別の実施例として、ウェアラブルシステムは、教育コンテキスト内で顔認識アルゴリズム（イベントトレースアルゴリズムではなく）を実行し、ある人物がユーザの近傍に居るかどうかを検出してもよい。
（例示的アラート）
ウェアラブルシステムは、ユーザに、トリガイベントの存在のインジケーションを提供することができる。インジケーションは、焦点インジケータの形態であってもよい。焦点インジケータは、後光、色、知覚されるサイズまたは深度の変化（例えば、選択されると、仮想オブジェクトをより近くおよび／またはより大きく現れさせる）、ユーザインターフェース要素の変化（例えば、円形からエクスクラメーションマークにカーソルの形状を変化させる）、メッセージ（テキストまたはグラフィックを伴う）、またはユーザの注意を引き付ける、他の聴覚的、触覚的、または視覚的効果を備えることができる。ウェアラブルシステムは、焦点インジケータをトリガイベントの原因の近傍に提示してもよい。例えば、ウェアラブルシステムのユーザは、コンロ上で料理をしながら、ウェアラブルシステムを用いて仮想ＴＶ番組を鑑賞している場合がある。しかしながら、ユーザは、ＴＶ番組を鑑賞している間、料理中の食品について忘れ得る。その結果、食品は、焦げ、それによって、煙または炎を発し得る。ウェアラブルシステムは、環境センサを使用して、またはコンロの画像を分析することによって、煙または炎を検出することができる。ウェアラブルシステムはさらに、煙または炎の源がコンロ上の食品であることを検出することができる。故に、ウェアラブルシステムは、後光をコンロ上の食品の周囲に提示し、それが焦げていることを示してもよい。本実装は、イベントが（例えば、住宅火災に）拡大する前に、ユーザがトリガイベント源を取り除く（例えば、コンロをオフにすることによって）ことが可能であり得るため、有益であり得る。トリガイベントが生じている間、ウェアラブルシステムは、ユーザが注意をトリガイベントに向け得るように、トリガイベントと関連付けられない仮想コンテンツ（例えば、仮想ＴＶ番組等）の表示を自動的にミュートにしてもよい。上記の焦げた食品実施例を継続すると、ウェアラブルシステムは、食品またはコンロと関連付けられない仮想コンテンツをミュートにしながら、トリガイベント源を強調してもよい（例えば、後光を焦げた食品の周囲に表示し続けることによって）。
別の実施例として、焦点インジケータは、アラートメッセージであってもよい。例えば、アラートメッセージは、トリガイベントの簡単な説明（例えば、２階の火災、患者の血液損失がある数値を超える等）を含んでもよい。いくつかの実施形態では、アラートメッセージはまた、トリガイベントを取り除くための１つ以上の推奨を含んでもよい。例えば、アラートメッセージは、消防署に電話する、あるタイプの血液を注入すること等を伝えてもよい。
ある実装では、ウェアラブルシステムは、アラートメッセージへのユーザの応答を使用して、トリガイベントのウェアラブルシステムの認識を更新することができる。例えば、ウェアラブルシステムは、外向きに面した結像システムによって入手された画像に基づいて、ユーザが自宅に到着したことを認識することができる。したがって、ウェアラブルシステムは、ユーザの自宅に調整された仮想コンテンツを提示してもよい。しかし、ユーザは、実際には、友人の家に居る。ユーザは、例えば、現実ボタンを作動させ、手のジェスチャを使用して、またはユーザ入力デバイスを作動させ、仮想コンテンツを閉じる、または設定を変更することによって、インジケーションを提供することができる。ウェアラブルシステムは、本環境に関するユーザの応答を記憶することができ、次回、ユーザが同一の家に居るとき、ユーザの自宅に調整された仮想コンテンツを提示しないであろう。
別の実施例として、ウェアラブルシステムは、緊急状況を認識し、ディスプレイを自動的にシャットオフするためのメッセージを提示することができる。ユーザはまた、インジケーションを提供し、ウェアラブルシステムがディスプレイをシャットオフすることを防止することができる。ウェアラブルシステムは、ユーザの応答を記憶し、緊急状況の存在を決定するためのオブジェクト認識装置７０８によって使用されるモデルを更新するために、本応答を使用することができる。
（トリガイベントに応答して、ウェアラブルシステムのコンポーネントまたは仮想コンテンツをミュートにする実施例）
トリガイベントに応答して、ウェアラブルシステムは、視聴覚的仮想コンテンツをミュートにすることができる。例えば、ウェアラブルシステムは、ＨＭＤからのオーディオを自動的にミュートにする、ＨＭＤによって表示される仮想コンテンツをオフにする、ＨＭＤをスリープモードに入らせる、ＨＭＤのライトフィールドを暗化させる、仮想コンテンツの量を低減させる（例えば、仮想コンテンツを隠す、仮想コンテンツをＦＯＶ外に移動させる、または仮想オブジェクトのサイズを低減させることによって）ことができる。ウェアラブルシステムが触覚的仮想コンテンツ（例えば、振動）を提供する、実施形態では、ウェアラブルシステムは、加えて、または代替として、触覚的仮想コンテンツをミュートにすることができる。オーディオまたは視覚的コンテンツをミュートにすることに加えて、またはその代替として、ウェアラブルシステムはまた、ウェアラブルシステムの他のコンポーネントのうちの１つ以上のものをミュートにすることができる。例えば、ウェアラブルシステムは、外向きに面した結像システム、内向きに面した結像システム、マイクロホン、またはウェアラブルシステムの他の敏感なセンサを選択的に一時停止することができる。例えば、ウェアラブルシステムは、ユーザの眼を結像するように構成される、２つの眼カメラを含んでもよい。ウェアラブルシステムは、トリガイベントに応答して、一方または両方の眼カメラをミュートにしてもよい。別の実施例として、ウェアラブルシステムは、外向きに面した結像システム内のユーザの周囲を結像するように構成される、１つ以上のカメラをオフにしてもよい。いくつかの実施形態では、ウェアラブルシステムは、入手された画像が細かい詳細を有し得ないように、内向きに面した結像システムまたは外向きに面した結像システム内の１つ以上のカメラを低分解能モードに変化させてもよい。これらの実装は、ユーザが仮想コンテンツを視認していないとき、ウェアラブルシステムのバッテリ消費を低減させ得る。
図１２Ａ－１２Ｃに示される例示的ユーザ環境を継続すると、図１２Ｂは、ウェアラブルシステムの仮想ディスプレイがオフにされている、例示的ＦＯＶを図示する。本図では、ユーザは、ウェアラブルシステムの仮想ディスプレイがオフにされているため、物理的オブジェクト１２１０、１２１２、１２１４、および１２１６のみをそのＦＯＶ１２００ｂ内で知覚することができる。本図は、ウェアラブルシステムがオンにされている、図１２Ａとは対照的である。図１２Ａでは、ユーザは、仮想オブジェクト１２２２、１２２４をＦＯＶ１２００ａ内で知覚することができる一方、図１２Ｂでは、ユーザは、仮想オブジェクト１２２２、１２２４を知覚することが不可能である。
有利には、いくつかの実施形態では、ウェアラブルシステムは、ウェアラブルシステムのコンポーネントの残りを持続的に動作させながら、トリガイベントに応答して、仮想コンテンツの提示をミュートにすることによって、トリガイベント後、より高速で再始動または再開することを可能にすることができる。例えば、ウェアラブルシステムは、スピーカまたはディスプレイをミュート（または完全にオフ）にしながら、ウェアラブルシステムのコンポーネントの残りを機能状態に保ってもよい。故に、トリガイベントが中止した後、ウェアラブルシステムは、ウェアラブルシステムが完全にオフにされるときに完全に再始動することと比較して、全てのコンポーネントを再始動させる必要がない場合がある。一実施例として、ウェアラブルシステムは、仮想画像の表示をミュートにするが、オーディオをオンにしたままにすることができる。本実施例では、ウェアラブルシステムは、トリガイベントに応答して、視覚的混乱を低減させながら、ユーザが、ウェアラブルシステムのスピーカを介して、アラートを聞くことを可能にすることができる。別の実施例として、トリガイベントは、ユーザがテレプレゼンスセッション中であるときに生じ得る。ウェアラブルシステムは、テレプレゼンスセッションと関連付けられた仮想コンテンツおよび音をミュートにするが、テレプレゼンスアプリケーションがウェアラブルシステムの背景で起動することを可能にすることができる。さらに別の実施例として、ウェアラブルシステムは、仮想コンテンツ（およびオーディオ）をミュートにしながら、１つ以上の環境センサを動作させたまま保つことができる。トリガイベントに応答して、ウェアラブルシステムは、ディスプレイをオフにしながら、ＧＰＳセンサ（例えば）を使用して、データを持続的に入手することができる。本実施例では、ウェアラブルシステムは、救助者が緊急状況にあるユーザの位置をより正確に位置特定することを可能にすることができる。
図１２Ｃは、ウェアラブルシステムが仮想コンテンツの量を低減している、例示的ＦＯＶを図示する。図１２Ａと比較して、ＦＯＶ１２００ｃ内の仮想アバタ１２２４は、サイズが低減されている。加えて、ウェアラブルシステムは、仮想アバタ１２２４をＦＯＶの中心近傍から右下角に移動させている。その結果、仮想アバタ１２２４は、強調解除され、ユーザのために殆ど知覚混乱を作成し得ない。加えて、ウェアラブルシステムは、仮想建物１２２２をＦＯＶ１２００ｃ外に移動させている。その結果、仮想オブジェクト１２２４は、ＦＯＶ１２００ｃ内に現れない。
トリガイベントに基づいて、仮想コンテンツを自動的にミュートにすることに加えて、またはその代替として、ウェアラブルシステムはまた、ユーザが現実ボタン（例えば、図２における現実ボタン２６３）を手動で作動させると、仮想コンテンツをミュートにすることができる。例えば、ユーザは、現実ボタンを押下し、オーディオまたは視覚的コンテンツをオフにする、または現実ボタンを優しくタップし、仮想コンテンツをＦＯＶ外に移動させることができる。現実ボタンに関連するさらなる詳細は、図１４Ａおよび１４Ｂを参照して下記に説明される。
いくつかの実施形態では、トリガイベントの検出に応じて、ウェアラブルシステムは、トリガイベントの聴覚的、触覚的、または視覚的インジケーションをユーザに提示してもよい。ユーザが、トリガイベントに応答しない場合、ウェアラブルシステムは、自動的にミュートにされ、知覚混乱を低減させてもよい。他の実施形態では、ウェアラブルシステムは、ユーザがトリガイベントのインジケーションに応答する場合、ミュートにされるであろう。例えば、ユーザは、現実ボタンまたはユーザ入力デバイスを作動させることによって、またはある姿勢（例えば、その手を外向きに面した結像システムの正面で振る等）を提供することによって、応答してもよい。
（ウェアラブルデバイスをミュートにするための例示的プロセス）
図１３Ａおよび１３Ｂは、トリガイベントに基づいて、ウェアラブルシステムをミュートにする例示的プロセスを図示する。図１３Ａおよび１３Ｂにおけるプロセス１３１０および１３２０（それぞれ）は、本明細書に説明されるウェアラブルシステムによって実施されてもよい。これらの２つのプロセスでは、１つ以上のブロックは、随意または別のブロックの一部であってもよい。加えて、これらの２つのプロセスは、図中の矢印によって示されるシーケンスにおいて実施されることを要求されない。
プロセス１３１０のブロック１３１２では、ウェアラブルシステムは、データを環境センサから受信することができる。環境センサは、ユーザセンサおよび外部センサを含んでもよい。故に、環境センサによって入手されたデータは、ユーザおよびユーザの物理的環境と関連付けられたデータを含むことができる。いくつかの実施形態では、ウェアラブルシステムは、別のデータソースと通信し、付加的データを入手することができる。例えば、ウェアラブルシステムは、医療デバイスと通信し、患者のデータ（心拍数、呼吸数、疾患履歴等）を取得することができる。別の実施例として、ウェアラブルシステムは、遠隔データ記憶装置と通信し、ユーザが現在相互作用している仮想オブジェクトの情報（例えば、ユーザが鑑賞中の映画のタイプ、仮想オブジェクトとの以前の相互作用等）を決定することができる。いくつかの実装では、ウェアラブルシステムは、データをウェアラブルシステムと通信する外部結像システムからまたは外部結像システムにネットワーク化された内部結像システムから受信することができる。
ブロック１３１４では、ウェアラブルシステムは、データを分析し、トリガイベントを検出する。ウェアラブルシステムは、閾値条件に照らして、データを分析してもよい。データが、閾値条件に達することを示す場合、ウェアラブルシステムは、トリガイベントの存在を検出することができる。トリガイベントは、コンピュータビジョンアルゴリズムを使用して、リアルタイムで検出されてもよい。トリガイベントはまた、１つ以上の予測モデルに基づいて、検出されてもよい。例えば、ウェアラブルシステムは、トリガイベントが生じる尤度が閾値条件を超える場合、トリガイベントの存在を示してもよい。
ブロック１３１６では、ディスプレイシステムは、トリガイベントに応答して、自動的にミュートにされることができる。例えば、ウェアラブルシステムは、自動的に、仮想コンテンツディスプレイをオフにする、またはディスプレイによって提示される仮想コンテンツの一部をミュートにすることができる。その結果、ユーザは、仮想コンテンツによって注意散漫にならずに、または実際の物理的オブジェクトと仮想オブジェクトを区別することの問題を伴わずに、ウェアラブルシステムを通して物理的環境を透視し得る、またはある環境に関連する仮想コンテンツを知覚し得る。別の実施例として、ウェアラブルシステムは、仮想コンテンツと関連付けられた音をオフにする、または音量を下げ、知覚混乱を低減させることができる。
随意のブロック１３１８ａでは、ウェアラブルシステムは、トリガイベントの終了を決定することができる。例えば、ウェアラブルシステムは、トリガイベントを生じさせた状況が終わった（例えば、火災が鎮火された）またはユーザがもはや同一環境内に居ない（例えば、ユーザが自宅から公園に向かって歩いている）かどうかを決定することができる。トリガイベントがもはや存在しない場合、プロセス１３１０は、随意のブロック１３１８ｂに進み、ディスプレイシステムまたはミュートにされた仮想コンテンツを再開してもよい。
いくつかの状況では、ウェアラブルシステムは、随意のブロック１３１８ｂにおいて、第２のトリガイベントの存在を決定することができる。第２のトリガイベントは、ウェアラブルシステムにディスプレイシステムまたはミュートにされた仮想コンテンツの一部を再開させてもよい、または、ウェアラブルシステムにウェアラブルシステムの他の仮想コンテンツ、ディスプレイシステム、または他のコンポーネント（それらが以前にミュートにされなかった場合）をミュートにさせてもよい。
図１３Ｂにおけるプロセス１３２０は、トリガイベントに基づいて、仮想コンテンツをミュートにする別の例示的プロセスを図示する。プロセス１３１０および１３２０におけるブロック１３１２および１３１４は、同一説明に従う。
ブロック１３２２では、ウェアラブルシステムは、ブロック１３１４におけるデータの分析に基づいて、トリガイベントが存在するかどうかを決定することができる。トリガイベントが、存在しない場合、プロセス１３２０は、ブロック１３１２に戻り、ウェアラブルシステムは、環境センサから入手されたデータを持続的に監視する。
トリガイベントが、ブロック１３２４において、検出される場合、ウェアラブルシステムは、トリガイベントのインジケーションを提供することができる。図１２Ａを参照して説明されるように、インジケーションは、焦点インジケータであってもよい。例えば、インジケーションは、アラートメッセージであってもよい。アラートメッセージは、トリガイベントが検出されたことを伝えてもよく、ある時間周期（例えば、５秒、３０秒、１分等）にわたって、応答がユーザから受信されない場合、ウェアラブルシステムは、知覚混乱を自動的にミュートにしてもよい。
ブロック１３２４では、ウェアラブルシステムは、インジケーションに対する応答が受信されたかどうかを決定することができる。ユーザは、ユーザ入力デバイスまたは現実ボタンを作動させることによって、インジケーションに応答することができる。ユーザはまた、姿勢の変化によって、応答することができる。ウェアラブルシステムは、ユーザ入力デバイスまたは現実ボタンからの入力を監視することによって、ユーザが応答を提供したかどうかを決定することができる。ウェアラブルシステムはまた、外向きに面した結像システムによって入手された画像またはＩＭＵによって入手されたデータを分析し、ユーザがその姿勢を変化させ、応答を提供したかどうかを決定することができる。
ウェアラブルシステムが、応答を受信しない場合、ウェアラブルシステムは、ブロック１３２８において、仮想コンテンツ（または音）を自動的にミュートにしてもよい。ウェアラブルシステムが、応答を受信する場合、プロセス１３２０は、終了する。いくつかの実施形態では、ウェアラブルシステムは、ウェアラブルシステムが応答を受信する場合、環境センサを持続的に監視してもよい。ウェアラブルシステムは、後に、別のトリガイベントを検出し得る。いくつかの実施形態では、ユーザから受信された応答は、ウェアラブルシステムに、インジケーションに提供されない別のアクションを実施するように命令する。実施例として、ウェアラブルシステムは、アラートメッセージを提供し、ユーザが閾値持続時間内に応答しない場合、仮想ディスプレイがオフにされるであろうことを示してもよい。しかしながら、ユーザは、例えば、現実ボタン上で２回タップすることによって、その持続時間内に応答する。しかし、本応答は、ライトフィールドを暗化させる（オフにする代わりに）ことと関連付けられる。故に、ウェアラブルシステムは、代わりに、アラートメッセージに示されるように、オフにする代わりに、ライトフィールドを暗化させてもよい。
図１３Ｃにおけるプロセス１３３０は、環境に従って仮想コンテンツを選択的にブロックする実施例を図示する。プロセス１３３０は、本明細書に説明されるウェアラブルシステム２００によって実施されることができる。
プロセス１３３０は、ブロック１３３２から開始し、ブロック１３３４に移行する。ブロック１３３４では、ウェアラブルシステムは、ウェアラブルデバイスの環境センサから入手されたデータを受信することができる。例えば、ウェアラブルシステムは、ウェアラブルデバイスの外向きに面した結像システム４６４によって入手された画像を受信することができる。いくつかの実装では、ウェアラブルシステムは、データをウェアラブルシステムと通信する外部結像システムからまたは外部結像システムにネットワーク化された内部結像システムから受信することができる。
ブロック１３３６では、ウェアラブルシステムは、環境センサによって集められ、受信されたデータを分析する。少なくとも部分的に、環境センサから受信されたデータに基づいて、ウェアラブルシステムは、ウェアラブルシステムのユーザが現在位置する環境を認識するであろう。図１１Ｆを参照して説明されるように、ウェアラブルシステムは、環境内の物理的オブジェクトの存在、環境内の物理的オブジェクトの配列、または環境内の物理的オブジェクトに関連するユーザの場所に基づいて、環境を認識してもよい。
ブロック１３３８では、ウェアラブルシステムは、環境のためのコンテンツブロック設定をチェックする。例えば、ウェアラブルシステムは、ユーザが新しい環境の中に進入したかどうか（例えば、ユーザが仕事環境から余暇環境に進入したかどうか）を決定することができる。ウェアラブルシステムが、ユーザが新しい環境の中に進入していないことを決定する場合、ウェアラブルシステムは、前の環境と同一設定を適用することができ、したがって、ブロック１３４０－１３５２は、随意となり得る。
ブロック１３４０では、ウェアラブルシステムは、コンテンツブロック設定を有効にする、または編集するためのインジケーションを受信したかどうかを決定する。そのようなインジケーションは、ユーザから生じ得る（例えば、ユーザの姿勢またはユーザ入力デバイスからの入力に基づいて等）。インジケーションはまた、自動であってもよい。例えば、ウェアラブルシステムは、トリガイベントに応答して、環境に特有の設定を自動的に適用することができる。
ウェアラブルシステムが、インジケーションを受信しない場合、プロセス１３３０は、ブロック１３５０に移行し、ウェアラブルシステムは、コンテンツブロック設定が以前に有効にされているかどうかを決定する。該当しない場合、ブロック１３５２において、仮想コンテンツは、ブロックなしで提示される。そうでなければ、ブロック１３４４において、ウェアラブルシステムは、コンテンツブロック設定に基づいて、仮想コンテンツを選択的にブロックすることができる。
ウェアラブルシステムが、インジケーションを受信する場合、ウェアラブルシステムは、コンテンツブロック設定を編集する、または新しいコンテンツブロック設定を作成することができる。設定が、新しい環境のために構成される必要がある場合、ウェアラブルシステムは、ブロック１３４２において、コンテンツブロック設定の記憶を開始することができる。故に、ユーザが、同一または類似の新しい環境の中に再び進入すると、ウェアラブルシステムは、コンテンツブロック設定を自動的に適用することができる。さらに、ユーザが、既存のコンテンツブロック設定を再構成し得る場合、これは、記憶され、後に、同一または類似環境に適用されるであろう。
環境と関連付けられたコンテンツブロック設定は、ウェアラブルデバイス上（例えば、ローカル処理およびデータモジュール２６０）においてローカルで、または有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、遠隔データリポジトリ２８０）において遠隔で常駐してもよい。いくつかの実施形態では、コンテンツブロック設定は、部分的に、ウェアラブルシステム上にローカルで常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所に常駐してもよい。
ブロック１３４４では、ウェアラブルシステムは、新しい環境と関連付けられた記憶されたコンテンツブロック設定を実装する。新しい環境と関連付けられたコンテンツブロック設定を適用することによって、一部または全部の仮想コンテンツが、コンテンツブロック設定に従ってブロックされるであろう。プロセスは、次いで、ブロック１３３２にループバックする。
ブロック１３５０では、ウェアラブルシステムは、コンテンツブロック設定が以前に有効にされているかどうかをチェックすることができる１３５０。該当しない場合、ウェアラブルシステムは、ブロック１３５２において、ブロックなしで仮想コンテンツを提示することができる。そうでなければ、ウェアラブルシステムは、ブロック１３４４において、コンテンツブロック設定に基づいて、仮想コンテンツを選択的にブロックことができる。ブロック１３５０－１３５２およびブロック１３４０－１３４４は、並行して、またはシーケンスで、起動されてもよい。例えば、ウェアラブルシステムは、以前のコンテンツブロック設定が存在するかどうかをチェックしながら、環境のためのコンテンツブロック設定を修正するためのインジケーションを受信したかどうかを決定することができる。
（ウェアラブルディスプレイシステムの手動制御）
本明細書に説明されるように、ウェアラブルディスプレイシステムの実施形態は、ユーザの環境内のトリガイベントの発生に基づいて、仮想コンテンツの視覚的または聴覚的表示を自動的に制御してもよい。加えて、または代替として、ユーザは、視覚的または聴覚的仮想コンテンツを手動でミュートにする能力を有することを所望し得る。
故に、図２を参照して説明されるように、ディスプレイシステム１００は、ユーザ選択可能現実ボタン２６３を含むことができる。現実ボタン２６３は、例えば、物理的または仮想環境内の予期しない大きな雑音、不快または非安全体験または条件、実世界内の緊急事態等のある状況に応答して、または単に、ユーザが拡張または複合現実より「実際の」現実を体験すること（例えば、仮想コンテンツの表示を伴わずに友人と話すこと）を所望するため、ウェアラブルデバイス２２０の視覚的ディスプレイまたはオーディオシステム（例えば、スピーカ２４０）をミュートにすることができる。
現実ボタン２６３は（いったん作動されると）、ディスプレイシステム１００に、ディスプレイ２２０をオフにさせる、またはその明度を暗化させる、またはスピーカ２４０からのオーディオを聴覚的にミュートにさせることができる。その結果、ユーザ２１０は、ユーザに対する仮想オブジェクトの表示または音によって生じる知覚混乱が低減または排除されるであろうため、環境内の物理的オブジェクトをより容易に知覚することが可能になるであろう。いくつかの実施形態では、現実ボタン２６３が作動されると、ディスプレイシステム１００は、ＶＲまたはＡＲディスプレイ２２０およびスピーカ６００をオフにしてもよい一方、ディスプレイシステム１００の残り（環境センサ、ユーザ入力デバイス等）は、通常通り動作し続けてもよい（ウェアラブルデバイスがミュート解除された後、より高速の再始動を提供し得る）。
現実ボタン２６３は、ディスプレイシステム１００に、仮想コンテンツの量を低減させることができる。例えば、ディスプレイシステム１００は、ＦＯＶ内の仮想オブジェクトのサイズを低減させる（例えば、仮想アバタまたは別の仮想オブジェクトのサイズを低減させる）、仮想オブジェクトをより透明にする、または仮想オブジェクトが表示される明度を低減させる。現実ボタン２６３は、加えて、または代替として、ディスプレイシステム１００に、仮想オブジェクトをＦＯＶの内側からＦＯＶの外側に移動させること、または、仮想オブジェクトを中心領域から周辺領域に移動させることによって等、仮想コンテンツを１つの場所から他の場所に移動させることができる。加えて、または代替として、現実ボタン２６３は、ディスプレイシステムによって生成されたライトフィールドを暗化させ、したがって、知覚混乱の尤度を低減させることができる。ある実装では、ディスプレイシステム１００は、現実ボタン２６３が作動されると、仮想コンテンツの一部のみをミュートにすることができる。例えば、ウェアラブルデバイスのユーザが、店舗内で買物中、ウェアラブルデバイスは、店舗内の衣類の値段および百貨店のマップ等の仮想コンテンツを表示してもよい。百貨店内の大きな雑音に応答して、現実ボタン２６３の作動に応じて、ウェアラブルデバイスは、衣類の値段に関連する仮想コンテンツを隠すまたは移動させ得る（例えば、ＦＯＶ外に）が、それにもかかわらず、ユーザが店舗から迅速に離れる必要がある場合、マップを残す。
現実ボタン２６３は、ディスプレイシステム１００のフレーム２３０に搭載されるかまたは電力をディスプレイシステム１００に提供するバッテリパック上に搭載される、タッチセンサ式センサであってもよい。ユーザは、バッテリパックを、例えば、その腰部上に装着してもよい。現実ボタン２６３は、ユーザが、例えば、タッチジェスチャによって、または軌道に沿ってスワイプすることによって、作動させ得る、タッチセンサ式領域であってもよい。例えば、タッチセンサ式部分上で下向きにスワイプすることによって、ウェアラブルデバイスは、ミュートにされてもよい一方、上向きにスワイプすることによって、ウェアラブルデバイスは、その正常機能に復元されてもよい。
いくつかの実施形態では、ウェアラブルデバイス（加えて、または代替として）は、物理的ボタンではなく、むしろ、ユーザジェスチャによって作動される機能性である、仮想現実ボタンを含んでもよい。例えば、ウェアラブルデバイスの外向きに面したカメラは、ユーザのジェスチャを結像してもよく、特定の「ミュート」ジェスチャが、認識される（例えば、ユーザが、その手を持ち上げ、拳を形成する）場合、ウェアラブルデバイスは、ユーザに表示されている視覚的または聴覚的コンテンツをミュートにするであろう。いくつかの実施形態では、ユーザによる現実ボタン２６３の作動後、ディスプレイシステム１００は、ユーザにディスプレイがミュートにされるであろうことを通知する、アラートメッセージ１４３０（図１４Ａに示される）を表示してもよい。いくつかの実施形態では、ディスプレイシステム１００は、ユーザが、再度、現実ボタン２６３を作動させる、または仮想アラートメッセージ１４３０（またはメッセージ１４３０と関連付けられた仮想ボタン）を作動させ、ミュートをキャンセルしない限り、ある時間周期（例えば、図１４Ａに示されるように、５秒）が経過後、ミュートにされるであろう。他の実施形態では、現実ボタン２６３は、再度、作動されなければならない、または仮想アラートメッセージ１４３０（またはメッセージ１４３０と関連付けられた仮想ボタン）は、ディスプレイシステム１００が視覚的または聴覚的ディスプレイをミュートにする前に、作動されなければならない。そのような機能性は、ユーザが、現実ボタン２６３を不注意に作動させるが、ディスプレイシステム１００をミュートモードに入らせなくたくない状況において、有益であり得る。
ミュートモードに入った後、ユーザは、現実ボタン２６３を作動させる、ユーザインターフェースにアクセスして通常動作を復元する、コマンドを発する、またはある時間周期を経過させることによって、通常動作に戻ってもよい。
図１４Ｂは、ディスプレイシステム１００のミュート動作モードを手動でアクティブ化するための例示的プロセス１４００を示す、フローチャートである。プロセス１４００は、ディスプレイシステム１００によって実施されることができる。ブロック１４０４では、プロセスは、現実ボタンが作動されたことのインジケーションを受信する。随意のブロック１４０８では、プロセスは、ディスプレイシステムに、ユーザにディスプレイシステムがミュート動作モードに入るであろうことを示す、アラートメッセージを表示させる。ミュート動作モードでは、仮想コンテンツの視覚的または聴覚的表示は、減衰されてもよい。随意の決定ブロック１４１０では、プロセスは、ユーザが、ミュート動作モードがキャンセルされるべきであることのインジケーションを提供したかどうかを決定する（例えば、ユーザが、再度、現実ボタンを作動させる、またはアラートメッセージを作動させることによって）。キャンセルが、受信された場合、プロセスは、終了する。キャンセルが、受信されない場合、ディスプレイシステムは、いくつかの実装では、ある時間周期（例えば、３秒、５秒、１０秒等）後、視覚的にまたは聴覚的にミュートにされる。例示的プロセス１４００は、ブロック１４１０において、キャンセル要求を受信することを説明するが、他の実施形態では、プロセス１４００は、ブロック１４１０において、確認が受信されたかどうかを決定してもよい。確認が、受信された後、プロセス１４００は、ブロック１４１２に移行し、ディスプレイシステムをミュートにし、確認が受信されない場合、プロセス１４００は、終了する。
（付加的側面）
第１の側面では、拡張現実画像コンテンツを表示するように構成される、頭部搭載型デバイス（ＨＭＤ）であって、仮想コンテンツを提示するように構成される、ディスプレイであって、ディスプレイの少なくとも一部は、透明であって、透明部分がユーザの正面の環境の一部からの光をユーザの眼に透過させ、ユーザの正面の環境の一部のビューを提供するように、ユーザがＨＭＤを装着すると、ユーザの眼の正面の場所に配置され、さらに、仮想コンテンツをユーザに複数の深度平面において表示するように構成される、ディスプレイと、（１）ユーザの環境または（２）ユーザのうちの少なくとも１つと関連付けられたデータを入手するように構成される、環境センサと、データを環境センサから受信し、データを分析し、トリガイベントを検出し、トリガイベントの検出に応答して、トリガイベントの発生のインジケーションをユーザに提供し、ＨＭＤのディスプレイをミュートにするようにプログラムされる、ハードウェアプロセッサとを備える、ＨＭＤ。
第２の側面では、ＨＭＤのディスプレイをミュートにするために、ハードウェアプロセッサは、少なくとも、ディスプレイによって出力される光を暗化する、仮想コンテンツの表示をオフにする、仮想コンテンツのサイズを低減させる、仮想コンテンツの透明度を増加させる、またはディスプレイによってレンダリングされる際の仮想コンテンツの位置を変化させるようにプログラムされる、側面１に記載のＨＭＤ。
第３の側面では、ＨＭＤはさらに、スピーカを備え、ＨＭＤのディスプレイをミュートにするために、ハードウェアプロセッサは、スピーカをミュートにするようにプログラムされる、側面１－２のいずれか１項に記載のＨＭＤ。
第４の側面では、データを分析し、トリガイベントを検出するために、ハードウェアプロセッサは、トリガイベントの存在と関連付けられた閾値条件に照らして、データを分析し、閾値条件に達する場合、トリガイベントの存在を検出するようにプログラムされる、側面１－３のいずれか１項に記載のＨＭＤ。
第５の側面では、ハードウェアプロセッサは、機械学習アルゴリズムまたはコンピュータビジョンアルゴリズムのうちの少なくとも１つを用いて、トリガイベントを検出するようにプログラムされる、側面１－４のいずれか１項に記載のＨＭＤ。
第６の側面では、トリガイベントの存在のインジケーションは、少なくとも部分的に、トリガイベントに関わる、環境内の要素と関連付けられた焦点インジケータを備える、側面１－５のいずれか１項に記載のＨＭＤ。
第７の側面では、トリガイベントの存在のインジケーションは、アラートメッセージであって、ユーザに、（１）ＨＭＤが、ユーザがキャンセルアクションを実施しない限り、ある時間周期内に自動的にミュートにされるであろうこと、または（２）ＨＭＤが、ユーザが確認アクションを実施しない限り、ミュートにされないであろうことのうちの少なくとも１つを示す、アラートメッセージを備える、側面１－６のいずれか１項に記載のＨＭＤ。
第８の側面では、キャンセルアクションまたは確認アクションは、現実ボタンを作動させること、ディスプレイによってレンダリングされた仮想ユーザインターフェース要素を作動させること、ユーザ入力デバイスを作動させること、またはユーザのキャンセルまたは確認姿勢を検出することのうちの少なくとも１つを含む、側面７に記載のＨＭＤ。
第９の側面では、ユーザがキャンセルアクションを実施することに応答して、ハードウェアプロセッサは、ディスプレイをミュート解除にする、または仮想コンテンツの表示を継続するようにプログラムされる、側面７－８のいずれか１項に記載のＨＭＤ。
第１０の側面では、ユーザが確認アクションを実施することに応答して、ハードウェアプロセッサは、ディスプレイをミュートにする、または仮想コンテンツの表示を中止するようにプログラムされる、側面７－９のいずれか１項に記載のＨＭＤ。
第１１の側面では、環境センサは、ＨＭＤのユーザと関連付けられたデータを測定するように構成される、ユーザセンサ、またはユーザの環境と関連付けられたデータを測定するように構成される、外部センサのうちの少なくとも１つを含む、側面１－１０のいずれか１項に記載のＨＭＤ。
第１２の側面では、トリガイベントは、ユーザの環境内の緊急または非安全条件を含む、側面１－１１のいずれか１項に記載のＨＭＤ。
第１３の側面では、ディスプレイは、ライトフィールドディスプレイを備える、側面１－１２のいずれか１項に記載のＨＭＤ。
第１４の側面では、ディスプレイは、複数の導波管と、光を複数の導波管の中に指向するように構成される、１つ以上の光源とを備える、側面１－１３のいずれか１項に記載のＨＭＤ。
第１５の側面では、１つ以上の光源は、ファイバ走査プロジェクタを備える、側面１４に記載のＨＭＤ。
第１６の側面では、環境センサは、外向きに面した結像システムを備え、ユーザの環境を結像し、データは、外向きに面した結像システムによって入手された環境の画像を備え、データを分析し、トリガイベントを検出するために、ハードウェアプロセッサは、ニューラルネットワークまたはコンピュータビジョンアルゴリズムのうちの１つ以上のものを介して、環境の画像を分析するようにプログラムされる、側面１－１５のいずれか１項に記載のＨＭＤ。
第１７の側面では、ニューラルネットワークは、深層ニューラルネットワークまたは畳み込みニューラルネットワークを含む、側面１６に記載のＨＭＤ。
第１８の側面では、コンピュータビジョンアルゴリズムは、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）アルゴリズム、高速網膜キーポイント（ＦＲＥＡＫ）アルゴリズム、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアルゴリズム、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置特定およびマッピング（ｖＳＬＡＭ）アルゴリズム、シーケンシャルベイズ推定器、カルマンフィルタ、バンドル調整アルゴリズム、適応閾値アルゴリズム、反復最近傍点（ＩＣＰ）アルゴリズム、セミグローバルマッチング（ＳＧＭ）アルゴリズム、セミグローバルブロックマッチング（ＳＧＢＭ）アルゴリズム、特徴点ヒストグラムアルゴリズム、サポートベクトルマシン、ｋ－最近傍アルゴリズム、またはベイズモデルのうちの１つ以上のものを含む、側面１６－１８のいずれか１項に記載のＨＭＤ。
第１９の側面では、環境センサは、外向きに面した結像システムを備え、ユーザの環境を結像し、データは、外向きに面した結像システムによって入手された環境の画像を備え、データを分析し、トリガイベントを検出するために、ハードウェアプロセッサは、環境の第１の画像にアクセスし、環境の第２の画像であって、外向きに面した結像システムによって第１の画像後に入手される、第２の画像にアクセスし、第２の画像と第１の画像を比較し、トリガイベントの発生を決定するようにプログラムされる、側面１－１８のいずれか１項に記載のＨＭＤ。
第２０の側面では、環境センサは、外向きに面した結像システムを備え、ユーザの環境を結像し、環境は、外科手術部位を備え、データは、外向きに面した結像システムによって入手された外科手術部位の画像を備え、データを分析し、トリガイベントを検出するために、ハードウェアプロセッサは、外科手術部位内で生じる医療条件を監視し、医療条件の変化を検出し、医療条件の変化が閾値に達することを決定するようにプログラムされる、側面１－１９のいずれか１項に記載のＨＭＤ。
第２１の側面では、拡張現実画像コンテンツを表示するように構成される、ＨＭＤであって、仮想コンテンツを提示するように構成される、ディスプレイであって、ディスプレイの少なくとも一部は、透明であって、透明部分がユーザの正面の環境の一部からの光をユーザの眼に透過させ、ユーザの正面の環境の一部のビューを提供するように、ユーザがＨＭＤを装着すると、ユーザの眼の正面の場所に配置され、さらに、仮想コンテンツをユーザに複数の深度平面において表示するように構成される、ディスプレイと、ユーザ作動可能ボタンと、ユーザ作動可能ボタンが作動されたことのインジケーションを受信し、インジケーションに応答して、ＨＭＤのディスプレイをミュートにするようにプログラムされる、ハードウェアプロセッサとを備える、ＨＭＤ。
第２２の側面では、ＨＭＤのディスプレイをミュートにするために、ハードウェアプロセッサは、少なくとも、ディスプレイによって出力される光を暗化する、仮想コンテンツの表示をオフにする、仮想コンテンツのサイズを低減させる、仮想コンテンツの透明度を増加させる、またはディスプレイによってレンダリングされる際の仮想コンテンツの位置を変化させるようにプログラムされる、側面２１に記載のＨＭＤ。
第２３の側面では、ＨＭＤはさらに、スピーカを備え、ＨＭＤのディスプレイをミュートにするために、ハードウェアプロセッサは、スピーカをミュートにするようにプログラムされる、側面２１または側面２２に記載のＨＭＤ。
第２４の側面では、インジケーションに応答して、ハードウェアプロセッサは、アラートをユーザに提供するようにプログラムされる、側面２１－２３のいずれか１項に記載のＨＭＤ。
第２５の側面では、アラートは、ディスプレイによってレンダリングされた視覚的アラートまたはスピーカによって提供される聴覚的アラートを備える、側面２４に記載のＨＭＤ。
第２６の側面では、アラートは、ユーザに、（１）ＨＭＤが、ユーザがキャンセルアクションを実施しない限り、ある時間周期内に自動的にミュートにされるであろうこと、または（２）ＨＭＤが、ユーザが確認アクションを実施しない限り、ミュートにされないであろうことのうちの少なくとも１つを示す、側面２４－２５のいずれか１項に記載のＨＭＤ。
第２７の側面では、キャンセルアクションまたは確認アクションは、ユーザ作動可能ボタンを作動させること、ディスプレイによってレンダリングされた仮想ユーザインターフェース要素を作動させること、ユーザ入力デバイスを作動させること、またはユーザのキャンセルまたは確認姿勢を検出することのうちの少なくとも１つを含む、側面２６に記載のＨＭＤ。
第２８の側面では、ユーザがキャンセルアクションを実施することに応答して、ハードウェアプロセッサは、ディスプレイをミュート解除にする、または仮想コンテンツの表示を継続するようにプログラムされる、側面２６－２７のいずれか１項に記載のＨＭＤ。
第２９の側面では、ユーザが確認アクションを実施することに応答して、ハードウェアプロセッサは、ディスプレイをミュートにする、または仮想コンテンツの表示を中止するようにプログラムされる、側面２６－２８のいずれか１項に記載のＨＭＤ。
第３０の側面では、ハードウェアプロセッサはさらに、ユーザ作動可能ボタンが作動されたことの第２のインジケーションを受信し、第２のインジケーションに応答して、ＨＭＤのディスプレイをミュート解除にするようにプログラムされる、側面２１－２９のいずれか１項に記載のＨＭＤ。
第３１の側面では、仮想コンテンツを複合現実または仮想現実環境内で表示するように構成される、ウェアラブルシステムであって、仮想コンテンツを複合現実、拡張現実、または仮想現実環境内で提示するように構成される、ディスプレイと、ユーザの環境の画像を受信し、機械学習アルゴリズムを用いて、環境内のオブジェクトを認識するように構成される、１つ以上のオブジェクト認識装置を使用して、画像を分析し、少なくとも部分的に、画像の分析に基づいて、トリガイベントを検出し、トリガイベントの検出に応答して、トリガイベントと関連付けられた閾値条件が満たされることの決定に応答して、ディスプレイをミュートにするようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルシステム。
第３２の側面では、ディスプレイをミュートにするために、ハードウェアプロセッサは、少なくとも、ディスプレイによって出力される光を暗化する、仮想コンテンツの表示をオフにする、仮想コンテンツのサイズを低減させる、仮想コンテンツの透明度を増加させる、またはディスプレイによってレンダリングされる際の仮想コンテンツの位置を変化させるようにプログラムされる、側面３１に記載のウェアラブルシステム。
第３３の側面では、ハードウェアプロセッサはさらに、トリガイベントの終了条件を検出し、終了条件の検出に応答して、表示を再開するようにプログラムされる、側面３１－３３のいずれか１項に記載のウェアラブルシステム。
第３４の側面では、終了条件を検出するために、ウェアラブルシステムは、トリガイベントが終了したかどうかを決定する、またはユーザがトリガイベントが生じた環境から離れたかどうかを決定するようにプログラムされる、側面３３に記載のウェアラブルシステム。
第３５の側面では、ハードウェアプロセスはさらに、トリガイベントの検出に応答して、ウェアラブルシステムのスピーカをミュートにするようにプログラムされる、側面３１－３４のいずれか１項に記載のウェアラブルシステム。
第３６の側面では、トリガイベントに応答して、ハードウェアプロセッサはさらに、トリガイベントの存在のインジケーションを提供するようにプログラムされ、インジケーションは、少なくとも部分的にトリガイベントに関わる環境内の要素と関連付けられた焦点インジケータまたはアラートメッセージのうちの少なくとも１つを含み、該アラートメッセージは、ユーザに、（１）ＨＭＤが、ユーザがキャンセルアクションを実施しない限り、ある時間周期内に自動的にミュートにされるであろうこと、または（２）ＨＭＤが、ユーザが確認アクションを実施しない限り、ミュートにされないであろうことのうちの少なくとも１つを示す、側面３１－３５のいずれか１項に記載のウェアラブルシステム。
第３７の側面では、トリガイベントと関連付けられた閾値条件は、キャンセルアクションが検出されない時間の持続時間を含む、側面３６に記載のウェアラブルシステム。
第３８の側面では、キャンセルアクションまたは確認アクションは、現実ボタンを作動させること、ディスプレイによってレンダリングされた仮想ユーザインターフェース要素を作動させること、ユーザ入力デバイスを作動させること、またはユーザのキャンセルまたは確認姿勢を検出することのうちの少なくとも１つを含む、側面３６または３７に記載のウェアラブルシステム。
第３９の側面では、トリガイベントは、ユーザの環境内の緊急または非安全条件を含む、側面３１－３８のいずれか１項に記載のウェアラブルシステム。
第４０の側面では、機械学習アルゴリズムは、深層ニューラルネットワークまたは畳み込みニューラルネットワークを含む、側面３１－３９のいずれか１項に記載のウェアラブルシステム。
第４１の側面では、仮想コンテンツを複合現実または仮想現実環境内で表示するための方法であって、ユーザの環境の画像を受信するステップと、環境内のオブジェクトを認識するように構成される、１つ以上のオブジェクト認識装置を使用して、画像を分析するステップと、少なくとも部分的に、画像の分析に基づいて、トリガイベントを検出するステップと、トリガイベントの検出に応答して、トリガイベントと関連付けられた閾値条件が満たされることの決定に応答して、仮想コンテンツをミュートにするステップとを含む、方法。本方法は、ハードウェアプロセッサの制御下で実施されることができる。ハードウェアプロセッサは、拡張現実ディスプレイデバイス内に配置されてもよい。
第４２の側面では、仮想コンテンツをミュートにするステップは、仮想コンテンツがレンダリングされないようにブロックするステップ、仮想コンテンツとの相互作用をディスエーブルにするステップ、仮想コンテンツの表示をオフにするステップ、仮想コンテンツのサイズを低減させるステップ、仮想コンテンツの透明度を増加させるステップ、またはディスプレイによってレンダリングされる際の仮想コンテンツの位置を変化させるステップのうちの少なくとも１つを含む、側面４１に記載の方法。
第４３の側面では、トリガイベントの終了条件を検出するステップと、終了条件の検出に応答して、表示を再開するステップとをさらに含む、側面４１－４２のいずれか１項に記載の方法。
第４４の側面では、終了条件を検出するために、ウェアラブルシステムは、トリガイベントが終了したかどうかを決定する、またはユーザがトリガイベントが生じた環境から離れたかどうかを決定するようにプログラムされる、側面４３に記載の方法。
第４５の側面では、画像を分析するステップは、ユーザの環境内のオブジェクトを認識するステップを含み、トリガイベントを決定するステップは、少なくとも部分的に、認識されたオブジェクトに基づいて、ユーザの場所を決定するステップを含む、側面４１－４４のいずれか１項に記載の方法。
第４６の側面では、トリガイベントは、ユーザの場所の変化またはユーザを囲繞する場面の変化を含む、側面４５に記載の方法。
第４７の側面では、トリガイベントの検出に応答して、本方法はさらに、その場所における仮想コンテンツをミュートにするための設定にアクセスするステップと、設定に従って仮想コンテンツをミュートにするステップとを含む、側面４５または４６に記載の方法。
第４８の側面では、ユーザの環境内のオブジェクトを認識するステップは、ニューラルネットワークによって実施される、側面４５－４７のいずれか１項に記載の方法。
第４９の側面では、トリガイベントと関連付けられた閾値条件は、キャンセルアクションが検出されない時間の持続時間を含む、側面４１－４８のいずれか１項に記載の方法。
第５０の側面では、キャンセルアクションは、現実ボタンを作動させること、ディスプレイによってレンダリングされた仮想ユーザインターフェース要素を作動させること、ユーザ入力デバイスを作動させること、またはユーザのキャンセルまたは確認姿勢を検出することのうちの少なくとも１つを含む、側面４１－４９のいずれか１項に記載の方法。
（他の考慮点）
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令を用いてプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされる、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、動画またはビデオは、多くのフレームを含み得、各フレームは、数百万のピクセルを有し、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワーク、または任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須なわけではない。
とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態が、ある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つ以上の実施形態のためにいかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で実施されること、または連続的順序で実施されること、または全ての図示される動作が実施されることの必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (15)

  1. 仮想コンテンツを複合現実、拡張現実、または仮想現実環境内で表示するように構成されるウェアラブルシステムであって、前記ウェアラブルシステムは、
    仮想コンテンツを複合現実、拡張現実、または仮想現実環境内で提示するように構成されるディスプレイと、
    ハードウェアプロセッサであって、前記ハードウェアプロセッサは、
    ユーザの第１の環境と関連付けられた第１の画像を受信することであって、前記第１の環境は、前記ユーザが現在位置している物理的環境であり、前記受信された第１の画像は、前記ユーザの視点から入手された画像である、ことと、
    前記ユーザの前記第１の環境内に見えるように複数の仮想コンテンツアイテムをレンダリングすることと、
    前記ユーザの前記第１の環境内に複数の仮想コンテンツアイテムを表示するように前記ディスプレイを制御することと、
    物理的オブジェクトを認識するように構成される１つ以上の物理的オブジェクト認識装置を使用して前記第１の画像を分析することと、
    前記ユーザが前記ユーザの第２の環境に進入することに応じて前記第２の環境と関連付けられた第２の画像を受信することであって、前記第２の環境は、前記ユーザが現在位置している物理的環境であり、前記受信された第２の画像は、前記ユーザの視点から入手される、ことと、
    物理的オブジェクトを認識するように構成される前記１つ以上の物理的オブジェクト認識装置を使用して前記第２の画像を分析することと、
    少なくとも部分的に、前記１つ以上の物理的オブジェクト認識装置によって認識された物理的オブジェクトに基づいて、前記第１の環境から第２の環境内の前記ユーザの場所への前記ユーザの移動を検出することと、
    前記第１の環境から前記第２の環境内の前記ユーザの前記場所への前記ユーザの前記移動の検出に応答して、
    通知を表示する第１のステップであって、前記通知は、前記ユーザが前記第１の環境内にいるか前記第２の環境内にいるかに関する情報を含む、第１のステップ、
    前記第２の環境内の前記ユーザの前記場所と関連付けられたコンテンツブロックルールにアクセスする第２のステップであって、前記コンテンツブロックルールは、前記第２の環境内の前記ユーザの前記場所において既に表示済みでこれからミュートする対象となる仮想コンテンツアイテムを示すブラックリストを含む、第２のステップ、
    前記第２のステップにおいてアクセスされた前記コンテンツブロックルールに基づいて、前記ブラックリスト内にある前記表示された仮想コンテンツアイテムのうちの前記複数の仮想コンテンツアイテムのうちの１つ以上の仮想コンテンツアイテムを決定する第３のステップ、および、
    前記決定された１つ以上の仮想コンテンツアイテムをミュートにする第４のステップ
    を行うことと
    を行うようにプログラムされる、ハードウェアプロセッサと
    を備える、ウェアラブルシステム。
  2. 前記１つ以上の仮想コンテンツアイテムをミュートにするために、前記ハードウェアプロセッサは、少なくとも、
    前記ディスプレイによって出力される光を暗化すること、
    前記仮想コンテンツアイテムのうちの１つ以上の表示をオフにすること、
    前記仮想コンテンツアイテムのうちの１つ以上のサイズを低減させること、または
    前記仮想コンテンツアイテムのうちの１つ以上の透明度を増加させること
    を行うようにプログラムされる、請求項１に記載のウェアラブルシステム。
  3. 前記ハードウェアプロセッサはさらに、
    前記決定された１つ以上の仮想コンテンツアイテムを前記ミュートにすることの終了条件を検出することと、
    前記終了条件を検出したことに応答して、前記決定された１つ以上の仮想コンテンツアイテムをミュートにすることを中止することと
    を行うようにプログラムされる、請求項１に記載のウェアラブルシステム。
  4. 前記終了条件を検出するために、前記ウェアラブルシステムは、
    前記ユーザが前記決定された１つ以上の仮想コンテンツアイテムを前記ミュートにすることが生じた前記第２の環境内の前記ユーザの前記場所から離れたかどうかを決定するようにプログラムされる、請求項３に記載のウェアラブルシステム。
  5. 前記ハードウェアプロセッサはさらに、前記第１の環境から前記第２の環境内の前記ユーザの前記場所への前記検出された移動に応答して、前記ウェアラブルシステムのスピーカをミュートにするようにプログラムされる、請求項１に記載のウェアラブルシステム。
  6. 前記ハードウェアプロセッサはさらに、前記第１の環境から前記第２の環境内の前記ユーザの前記場所への前記検出された移動に応答して、アラートメッセージを提供するようにプログラムされ、前記アラートメッセージは、前記ユーザに、（１）前記ウェアラブルシステムが、前記ユーザがキャンセルアクションを実施しない限り、ある時間周期内に自動的にミュートにされるであろうこと、または（２）前記ウェアラブルシステムが、前記ユーザが確認アクションを実施しない限り、ミュートにされないであろうことのうちの少なくとも１つを示す、請求項１に記載のウェアラブルシステム。
  7. 前記キャンセルアクションまたは前記確認アクションは、ボタンを作動させること、前記ハードウェアプロセッサによってレンダリングされた仮想ユーザインターフェース要素を作動させること、ユーザ入力デバイスを作動させること、または前記ユーザのキャンセル姿勢または確認姿勢を検出することのうちの少なくとも１つを含み、前記ボタンは、前記ディスプレイのフレーム上に位置し、前記ユーザ入力デバイスは、前記ユーザの手によって保持される、請求項６に記載のウェアラブルシステム。
  8. 複合現実または仮想現実環境内で仮想コンテンツを表示するための方法であって、前記方法は、
    ハードウェアプロセッサの制御下で、
    ユーザの第１の環境と関連付けられた第１の画像を受信することであって、前記第１の環境は、前記ユーザが現在位置している物理的環境であり、前記受信された第１の画像は、前記ユーザの視点から入手された画像である、ことと、
    前記ユーザの前記第１の環境内に見えるように複数の仮想コンテンツアイテムをレンダリングすることと、
    前記ユーザの前記第１の環境内に複数の仮想コンテンツアイテムを表示するようにディスプレイを制御することと、
    物理的オブジェクトを認識するように構成される１つ以上の物理的オブジェクト認識装置を使用して、前記第１の画像を分析することと、
    前記ユーザが前記ユーザの第２の環境に進入することに応じて前記第２の環境と関連付けられた第２の画像を受信することであって、前記第２の環境は、前記ユーザが現在位置している物理的環境であり、前記受信された第２の画像は、前記ユーザの視点から入手された画像である、ことと、
    物理的オブジェクトを認識するように構成される前記１つ以上の物理的オブジェクト認識装置を使用して前記第２の画像を分析することと、
    少なくとも部分的に、前記１つ以上の物理的オブジェクト認識装置によって認識された物理的オブジェクトに基づいて、前記第１の環境から第２の環境内の前記ユーザの場所への前記ユーザの移動を検出することと、
    前記第１の環境から前記第２の環境内の前記ユーザの前記場所への前記ユーザの前記移動の検出に応答して、
    通知を表示する第１のステップであって、前記通知は、前記ユーザが前記第１の環境内にいるか前記第２の環境内にいるかに関する情報を含む、第１のステップ、
    前記第２の環境内の前記ユーザの前記場所と関連付けられたコンテンツブロックルールにアクセスする第２のステップであって、前記コンテンツブロックルールは、前記第２の環境内の前記ユーザの前記場所において既に表示済みでこれからミュートする対象となる仮想コンテンツアイテムを示すブラックリストを含む、第２のステップ、
    前記第２のステップにおいてアクセスされた前記コンテンツブロックルールに基づいて、前記ブラックリスト内にある前記表示された仮想コンテンツアイテムのうちの前記複数の仮想コンテンツアイテムのうちの１つ以上の仮想コンテンツアイテムを決定する第３のステップ、および、
    前記決定された１つ以上の仮想コンテンツアイテムをミュートにする第４のステップ
    を行うことと
    を行うことを含む、方法。
  9. 前記１つ以上の仮想コンテンツアイテムをミュートにすることは、
    前記仮想コンテンツアイテムのうちの１つ以上がレンダリングされるのをブロックすること、
    前記仮想コンテンツアイテムのうちの１つ以上との相互作用をディスエーブルにすること、
    前記仮想コンテンツアイテムのうちの１つ以上の表示をオフにすること、
    前記仮想コンテンツアイテムのうちの１つ以上のサイズを低減させること、または
    前記仮想コンテンツアイテムのうちの１つ以上の透明度を増加させること
    のうちの少なくとも１つを含む、請求項８に記載の方法。
  10. 前記決定された１つ以上の仮想コンテンツアイテムを前記ミュートにすることの終了条件を検出することと、
    前記終了条件の検出に応答して、前記決定された１つ以上の仮想コンテンツアイテムをミュートにすることを中止することと
    をさらに含む、請求項８に記載の方法。
  11. 前記終了条件を検出するために、前記ハードウェアプロセッサは、
    前記ユーザが前記決定された１つ以上の仮想コンテンツアイテムを前記ミュートにすることが生じた前記第２の環境内の前記ユーザの前記場所から離れたかどうかを決定するようにプログラムされる、請求項１０に記載の方法。
  12. 前記物理的オブジェクトを認識することは、ニューラルネットワークによって実施される、請求項８に記載の方法。
  13. 前記決定された１つ以上の仮想コンテンツアイテムは、前記第１の環境から前記第２の環境内の前記ユーザの前記場所への前記ユーザの前記移動を検出することに少なくとも部分的に関わる前記物理的オブジェクトと関連付けられていない少なくとも１つの仮想コンテンツアイテムを含む、請求項１に記載のウェアラブルシステム。
  14. 前記決定された１つ以上の仮想コンテンツアイテムは、前記第１の環境から前記第２の環境内の前記ユーザの前記場所への前記ユーザの前記移動を検出することに少なくとも部分的に関わる前記物理的オブジェクトと関連付けられていない少なくとも１つの仮想コンテンツアイテムを含む、請求項８に記載の方法。
  15. 前記コンテンツブロックルールは、さらに、前記第２の環境内の前記ユーザの前記場所において既に表示済みでこれからミュートする対象となるものではない仮想コンテンツアイテムを示すホワイトリストを含む、請求項１に記載のウェアラブルシステム。
JP2022123237A 2016-12-29 2022-08-02 外部条件に基づくウェアラブルディスプレイデバイスの自動制御 Active JP7487265B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662440099P 2016-12-29 2016-12-29
US62/440,099 2016-12-29
PCT/US2017/062365 WO2018125428A1 (en) 2016-12-29 2017-11-17 Automatic control of wearable display device based on external conditions
JP2019535899A JP7190434B2 (ja) 2016-12-29 2017-11-17 外部条件に基づくウェアラブルディスプレイデバイスの自動制御

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019535899A Division JP7190434B2 (ja) 2016-12-29 2017-11-17 外部条件に基づくウェアラブルディスプレイデバイスの自動制御

Publications (3)

Publication Number Publication Date
JP2022140621A JP2022140621A (ja) 2022-09-26
JP2022140621A5 JP2022140621A5 (ja) 2023-01-11
JP7487265B2 true JP7487265B2 (ja) 2024-05-20

Family

ID=62710743

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019535899A Active JP7190434B2 (ja) 2016-12-29 2017-11-17 外部条件に基づくウェアラブルディスプレイデバイスの自動制御
JP2022123237A Active JP7487265B2 (ja) 2016-12-29 2022-08-02 外部条件に基づくウェアラブルディスプレイデバイスの自動制御

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019535899A Active JP7190434B2 (ja) 2016-12-29 2017-11-17 外部条件に基づくウェアラブルディスプレイデバイスの自動制御

Country Status (9)

Country Link
US (2) US11138436B2 (ja)
EP (1) EP3563215A4 (ja)
JP (2) JP7190434B2 (ja)
KR (2) KR102553190B1 (ja)
CN (2) CN110419018B (ja)
AU (1) AU2017387781B2 (ja)
CA (1) CA3051060A1 (ja)
IL (2) IL290002B2 (ja)
WO (1) WO2018125428A1 (ja)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
WO2017068926A1 (ja) * 2015-10-21 2017-04-27 ソニー株式会社 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US11138436B2 (en) 2016-12-29 2021-10-05 Magic Leap, Inc. Automatic control of wearable display device based on external conditions
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
JP6298558B1 (ja) * 2017-05-11 2018-03-20 株式会社コロプラ 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US20190005699A1 (en) * 2017-06-30 2019-01-03 Intel Corporation Technologies for generating a motion model for a virtual character
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US10762620B2 (en) * 2017-11-27 2020-09-01 Nvidia Corporation Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene
US11270161B2 (en) * 2017-11-27 2022-03-08 Nvidia Corporation Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene
KR102596429B1 (ko) 2017-12-10 2023-10-30 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
EP3729172A4 (en) 2017-12-20 2021-02-24 Magic Leap, Inc. INSERT FOR AUGMENTED REALITY VIEWING DEVICE
CN107977586B (zh) * 2017-12-22 2021-04-13 联想(北京)有限公司 显示内容处理方法、第一电子设备以及第二电子设备
US10339508B1 (en) * 2018-02-12 2019-07-02 Capital One Services, Llc Methods for determining user experience (UX) effectiveness of ATMs
CN112136152A (zh) * 2018-03-15 2020-12-25 奇跃公司 由观看设备的部件变形导致的图像校正
JP7319303B2 (ja) 2018-05-31 2023-08-01 マジック リープ， インコーポレイテッド レーダ頭部姿勢位置特定
US10825424B2 (en) 2018-06-05 2020-11-03 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
US11816886B1 (en) * 2018-06-28 2023-11-14 Meta Platforms Technologies, Llc Apparatus, system, and method for machine perception
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020023404A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Flicker mitigation when toggling eyepiece display illumination in augmented reality systems
EP3831058A4 (en) 2018-08-02 2022-04-20 Magic Leap, Inc. VIEWING SYSTEM WITH PUPILE DISTANCE COMPENSATION BASED ON HEAD MOVEMENT
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US11347056B2 (en) * 2018-08-22 2022-05-31 Microsoft Technology Licensing, Llc Foveated color correction to improve color uniformity of head-mounted displays
US10706347B2 (en) 2018-09-17 2020-07-07 Intel Corporation Apparatus and methods for generating context-aware artificial intelligence characters
US11232635B2 (en) * 2018-10-05 2022-01-25 Magic Leap, Inc. Rendering location specific virtual content in any location
US10712819B2 (en) * 2018-10-30 2020-07-14 Dish Network L.L.C. System and methods for recreational sport heads-up display control
CN117111304A (zh) 2018-11-16 2023-11-24 奇跃公司 用于保持图像清晰度的图像尺寸触发的澄清
US11127282B2 (en) * 2018-11-29 2021-09-21 Titan Health & Security Technologies, Inc. Contextualized augmented reality display system
EP3894937A4 (en) * 2018-12-10 2022-02-16 Facebook Technologies, LLC. ADAPTIVE FENCES FOR HYPERFOCAL FENCE DISPLAY (HVP) DEVICES
EP3903480A4 (en) * 2018-12-28 2023-01-11 Magic Leap, Inc. AUGMENTED REALITY AND VIRTUAL REALITY DISPLAY SYSTEMS WITH SPLIT LEFT AND RIGHT EYE DISPLAY
US11531516B2 (en) * 2019-01-18 2022-12-20 Samsung Electronics Co., Ltd. Intelligent volume control
FR3092416B1 (fr) * 2019-01-31 2022-02-25 Univ Grenoble Alpes Système et procédé d’interaction avec des robots dans des applications de réalité mixte
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ， インコーポレイテッド 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ
JP7372061B2 (ja) * 2019-07-01 2023-10-31 株式会社日立製作所 遠隔作業支援システム
US11017231B2 (en) * 2019-07-10 2021-05-25 Microsoft Technology Licensing, Llc Semantically tagged virtual and physical objects
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
US11307647B2 (en) * 2019-09-11 2022-04-19 Facebook Technologies, Llc Artificial reality triggered by physical object
DE102019125348A1 (de) * 2019-09-20 2021-03-25 365FarmNet Group GmbH & Co. KG Verfahren zur Unterstützung eines Benutzers bei einer landwirtschaftlichen Tätigkeit
US11762457B1 (en) * 2019-09-27 2023-09-19 Apple Inc. User comfort monitoring and notification
US11568605B2 (en) 2019-10-15 2023-01-31 Magic Leap, Inc. Cross reality system with localization service
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
TWI712011B (zh) 2019-12-18 2020-12-01 仁寶電腦工業股份有限公司 安全警示語音提示方法
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US11138771B2 (en) * 2020-02-03 2021-10-05 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
CN115398314A (zh) 2020-02-13 2022-11-25 奇跃公司 使用多分辨率帧描述符进行地图处理的交叉现实系统
US11686940B2 (en) * 2020-03-19 2023-06-27 Snap Inc. Context-based image state selection
CN115769174A (zh) * 2020-04-03 2023-03-07 奇跃公司 用于最佳注视辨别的化身定制
US11321928B2 (en) * 2020-05-14 2022-05-03 Qualcomm Incorporated Methods and apparatus for atlas management of augmented reality content
WO2021241431A1 (ja) * 2020-05-29 2021-12-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
DE102020207314A1 (de) * 2020-06-11 2021-12-16 Volkswagen Aktiengesellschaft Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Fortbewegungsmittel
JP7492869B2 (ja) * 2020-06-30 2024-05-30 株式会社メルカリ 端末装置、画面表示システム、表示方法およびプログラム
JP7096295B2 (ja) * 2020-07-27 2022-07-05 ソフトバンク株式会社 表示制御システム、プログラム、及び表示制御方法
US11320896B2 (en) * 2020-08-03 2022-05-03 Facebook Technologies, Llc. Systems and methods for object tracking using fused data
EP4200692A2 (en) * 2020-09-25 2023-06-28 Apple Inc. Methods for adjusting and/or controlling immersion associated with user interfaces
US20220101002A1 (en) * 2020-09-30 2022-03-31 Kyndryl, Inc. Real-world object inclusion in a virtual reality experience
TWI818305B (zh) * 2020-10-29 2023-10-11 宏達國際電子股份有限公司 頭戴式顯示裝置及其電源管理方法
US20240048934A1 (en) * 2020-12-14 2024-02-08 Moea Technologies, Inc. Interactive mixed reality audio technology
CN112255921B (zh) * 2020-12-21 2021-09-07 宁波圻亿科技有限公司 一种ar眼镜智能控制系统及方法
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
KR20230144042A (ko) 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
CN112783660B (zh) * 2021-02-08 2024-05-07 腾讯科技（深圳）有限公司 虚拟场景中的资源处理方法、装置及电子设备
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
US20220329971A1 (en) * 2021-03-31 2022-10-13 Here Global B.V. Determining context categorizations based on audio samples
US11798276B2 (en) * 2021-06-03 2023-10-24 At&T Intellectual Property I, L.P. Providing information about members of a group using an augmented reality display
CN113344909B (zh) * 2021-07-01 2023-12-08 中国石油大学(北京) 一种火电锅炉透火焰高温滤镜结焦识别显示方法和装置
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
CN113593342A (zh) * 2021-08-03 2021-11-02 福州大学 一种沉浸式的智能互动室内火灾实景模拟系统
US11620797B2 (en) 2021-08-05 2023-04-04 Bank Of America Corporation Electronic user interface with augmented detail display for resource location
US20230078919A1 (en) * 2021-09-16 2023-03-16 Globus Medical, Inc. Extended reality systems for visualizing and controlling operating room equipment
US11985176B2 (en) * 2021-09-24 2024-05-14 Jvckenwood Corporation Virtual-break-room providing system, virtual-break-room providing device, and virtual-break-room providing method
US11900550B2 (en) 2021-09-30 2024-02-13 Snap Inc. AR odometry using sensor data from a personal vehicle
US11933621B2 (en) * 2021-10-06 2024-03-19 Qualcomm Incorporated Providing a location of an object of interest
JP2023056109A (ja) * 2021-10-07 2023-04-19 トヨタ自動車株式会社 仮想空間制御システム、その制御方法、及び、制御プログラム
US11500476B1 (en) 2021-10-14 2022-11-15 Hewlett-Packard Development Company, L.P. Dual-transceiver based input devices
US11813528B2 (en) 2021-11-01 2023-11-14 Snap Inc. AR enhanced gameplay with a personal mobility system
US11985448B2 (en) 2021-12-14 2024-05-14 Dell Products L.P. Camera with magnet attachment to display panel
US20230188839A1 (en) * 2021-12-14 2023-06-15 Dell Products L.P. Camera with microphone mute responsive to movement
CN114241396A (zh) * 2021-12-31 2022-03-25 深圳市智岩科技有限公司 灯效控制方法、系统、装置、电子设备及存储介质
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
WO2023191314A1 (ko) * 2022-03-31 2023-10-05 삼성전자 주식회사 정보를 제공하는 방법 및 이를 지원하는 전자 장치
KR102559938B1 (ko) * 2022-04-24 2023-07-27 주식회사 피앤씨솔루션 증강현실 전용 필기도구를 이용한 증강현실 텍스쳐 전시 방법
WO2023228565A1 (ja) * 2022-05-24 2023-11-30 株式会社Ｎｔｔドコモ 表示制御装置
WO2023244267A1 (en) * 2022-06-13 2023-12-21 Magic Leap, Inc. Systems and methods for human gait analysis, real-time feedback and rehabilitation using an extended-reality device
CN114783002B (zh) * 2022-06-22 2022-09-13 中山大学深圳研究院 一种应用于科技服务领域的对象智能匹配方法
CN114795181B (zh) * 2022-06-23 2023-02-10 深圳市铱硙医疗科技有限公司 辅助儿童适应核磁共振检查的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009081529A (ja) 2007-09-25 2009-04-16 Nikon Corp ヘッドマウントディスプレイ装置
JP2014010326A (ja) 2012-06-29 2014-01-20 Sony Computer Entertainment Inc 立体映像観察デバイスおよび透過率制御方法
JP2015118332A (ja) 2013-12-19 2015-06-25 ソニー株式会社 画像表示装置及び画像表示方法
JP2015181216A (ja) 2014-03-06 2015-10-15 パナソニックＩｐマネジメント株式会社 表示制御装置および表示制御プログラム
US20160027212A1 (en) 2014-07-25 2016-01-28 Alexandre da Veiga Anti-trip when immersed in a virtual reality environment

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US20030210228A1 (en) * 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
US7503006B2 (en) 2003-09-25 2009-03-10 Microsoft Corporation Visual indication of current voice speaker
US8778022B2 (en) 2004-11-02 2014-07-15 E-Vision Smart Optics Inc. Electro-active intraocular lenses
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
JP5036177B2 (ja) 2005-12-12 2012-09-26 オリンパス株式会社 情報表示装置
JP5228307B2 (ja) 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
KR101997852B1 (ko) 2010-12-24 2019-10-01 매직 립, 인코포레이티드 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
RU2017118159A (ru) 2011-05-06 2018-10-30 Мэджик Лип, Инк. Мир массового одновременного удаленного цифрового присутствия
US8223088B1 (en) 2011-06-09 2012-07-17 Google Inc. Multimode input field for a head-mounted display
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
CA3164530C (en) 2011-10-28 2023-09-19 Magic Leap, Inc. System and method for augmented and virtual reality
KR102116697B1 (ko) 2011-11-23 2020-05-29 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US20150030911A1 (en) 2012-03-15 2015-01-29 Sanyo Electric Co., Ltd. Non-aqueous electrolyte secondary battery
NZ700887A (en) 2012-04-05 2016-11-25 Magic Leap Inc Wide-field of view (fov) imaging devices with active foveation capability
CN115494654A (zh) 2012-06-11 2022-12-20 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
JP5580855B2 (ja) 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US9219901B2 (en) * 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
KR101957943B1 (ko) * 2012-08-31 2019-07-04 삼성전자주식회사 정보 제공 방법 및 이를 위한 정보 제공 차량
US9740006B2 (en) 2012-09-11 2017-08-22 Magic Leap, Inc. Ergonomic head mounted display device and optical system
US9077647B2 (en) * 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
US9395543B2 (en) 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
KR102274413B1 (ko) 2013-01-15 2021-07-07 매직 립, 인코포레이티드 초고해상도 스캐닝 섬유 디스플레이
US10685487B2 (en) * 2013-03-06 2020-06-16 Qualcomm Incorporated Disabling augmented reality (AR) devices at speed
KR102516124B1 (ko) 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR102318391B1 (ko) 2013-03-15 2021-10-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
JP5813030B2 (ja) * 2013-03-22 2015-11-17 キヤノン株式会社 複合現実提示システム、仮想現実提示システム
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
GB2517143A (en) * 2013-08-07 2015-02-18 Nokia Corp Apparatus, method, computer program and system for a near eye display
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
AU2014337171B2 (en) 2013-10-16 2018-11-15 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
CN103559713B (zh) * 2013-11-10 2017-01-11 深圳市幻实科技有限公司 一种提供增强现实的方法及终端
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN107315249B (zh) 2013-11-27 2021-08-17 奇跃公司 虚拟和增强现实系统与方法
NZ722903A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
KR102177133B1 (ko) 2014-01-31 2020-11-10 매직 립, 인코포레이티드 멀티-포컬 디스플레이 시스템 및 방법
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20150262425A1 (en) 2014-03-13 2015-09-17 Ryan Hastings Assessing augmented reality usage and productivity
WO2015161307A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CN107087431B (zh) 2014-05-09 2021-02-05 谷歌有限责任公司 用于辨别眼睛信号和连续生物识别的系统和方法
AU2015266586B2 (en) 2014-05-30 2020-07-23 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
US20160131904A1 (en) * 2014-11-07 2016-05-12 Osterhout Group, Inc. Power management for head worn computing
US20160131905A1 (en) 2014-11-07 2016-05-12 Kabushiki Kaisha Toshiba Electronic apparatus, method and storage medium
WO2016081526A1 (en) * 2014-11-17 2016-05-26 Visa International Service Association Authentication and transactions in a three-dimensional image enhancing display device
US9858676B2 (en) * 2015-01-08 2018-01-02 International Business Machines Corporation Displaying location-based rules on augmented reality glasses
US10725297B2 (en) * 2015-01-28 2020-07-28 CCP hf. Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
NZ773831A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
EP3113106A1 (en) * 2015-07-02 2017-01-04 Nokia Technologies Oy Determination of environmental augmentation allocation data
US9836845B2 (en) * 2015-08-25 2017-12-05 Nextvr Inc. Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment
US10482681B2 (en) * 2016-02-09 2019-11-19 Intel Corporation Recognition-based object segmentation of a 3-dimensional image
US9726896B2 (en) * 2016-04-21 2017-08-08 Maximilian Ralph Peter von und zu Liechtenstein Virtual monitor display technique for augmented reality environments
US11138436B2 (en) 2016-12-29 2021-10-05 Magic Leap, Inc. Automatic control of wearable display device based on external conditions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009081529A (ja) 2007-09-25 2009-04-16 Nikon Corp ヘッドマウントディスプレイ装置
JP2014010326A (ja) 2012-06-29 2014-01-20 Sony Computer Entertainment Inc 立体映像観察デバイスおよび透過率制御方法
JP2015118332A (ja) 2013-12-19 2015-06-25 ソニー株式会社 画像表示装置及び画像表示方法
US20160282618A1 (en) 2013-12-19 2016-09-29 Sony Corporation Image display device and image display method
JP2015181216A (ja) 2014-03-06 2015-10-15 パナソニックＩｐマネジメント株式会社 表示制御装置および表示制御プログラム
US20160027212A1 (en) 2014-07-25 2016-01-28 Alexandre da Veiga Anti-trip when immersed in a virtual reality environment

Also Published As

Publication number Publication date
JP2022140621A (ja) 2022-09-26
KR20230107399A (ko) 2023-07-14
IL267683B (en) 2022-02-01
US11568643B2 (en) 2023-01-31
EP3563215A4 (en) 2020-08-05
IL290002A (en) 2022-03-01
AU2017387781A1 (en) 2019-07-25
US11138436B2 (en) 2021-10-05
KR102630774B1 (ko) 2024-01-30
US20180189568A1 (en) 2018-07-05
US20220044021A1 (en) 2022-02-10
IL290002B2 (en) 2023-10-01
CA3051060A1 (en) 2018-07-05
AU2017387781B2 (en) 2022-04-28
JP2020507797A (ja) 2020-03-12
KR20190100957A (ko) 2019-08-29
WO2018125428A1 (en) 2018-07-05
EP3563215A1 (en) 2019-11-06
CN117251053A (zh) 2023-12-19
IL290002B1 (en) 2023-06-01
JP7190434B2 (ja) 2022-12-15
IL267683A (en) 2019-08-29
CN110419018B (zh) 2023-08-04
KR102553190B1 (ko) 2023-07-07
CN110419018A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
JP7487265B2 (ja) 外部条件に基づくウェアラブルディスプレイデバイスの自動制御
JP7168612B2 (ja) ユーザインターフェースメニューのコンテキスト認識
JP7492558B2 (ja) 視野周辺の視覚的背光
CN110945405B (zh) 眼睛跟踪校准技术
CN110249368B (zh) 混合现实环境中提供虚拟远程控制的可穿戴系统及方法
JP2023520463A (ja) 最適視線弁別のためのアバタカスタマイズ
US11615596B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
JP2022549853A (ja) 共有空間内の個々の視認
NZ794186A (en) Automatic control of wearable display device based on external conditions
US20240078768A1 (en) System and method for learning and recognizing object-centered routines

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240508

R150 Certificate of patent or registration of utility model

Ref document number: 7487265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150