JP7090601B2 - 複合現実較正のための眼球周囲試験 - Google Patents

複合現実較正のための眼球周囲試験 Download PDF

Info

Publication number
JP7090601B2
JP7090601B2 JP2019517930A JP2019517930A JP7090601B2 JP 7090601 B2 JP7090601 B2 JP 7090601B2 JP 2019517930 A JP2019517930 A JP 2019517930A JP 2019517930 A JP2019517930 A JP 2019517930A JP 7090601 B2 JP7090601 B2 JP 7090601B2
Authority
JP
Japan
Prior art keywords
user
hmd
image
eye
fit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019517930A
Other languages
English (en)
Other versions
JP2020502849A5 (ja
JP2020502849A (ja
Inventor
エイドリアン ケーラー，
ゲイリー ブラドスキー，
ヴィジャイ バドリナラヤナン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2020502849A publication Critical patent/JP2020502849A/ja
Publication of JP2020502849A5 publication Critical patent/JP2020502849A5/ja
Priority to JP2022034301A priority Critical patent/JP2022069522A/ja
Application granted granted Critical
Publication of JP7090601B2 publication Critical patent/JP7090601B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)

Description

（あらゆる優先権出願に対する参照による援用）
本願は、米国仮出願第６２／４０４，４１９号、出願日２０１６年１０月５日、発明の名称 “ＰＥＲＩＯＣＵＬＡＲ ＴＥＳＴ ＦＯＲ ＧＬＡＳＳＥＳ ＲＥＭＯＶＡＬ”、米国仮出願第６２／４０４，４９３号、出願日２０１６年１０月５日、発明の名称 “ＰＥＲＩＯＣＵＬＡＲ ＴＥＳＴ ＦＯＲ ＧＬＡＳＳＥＳ ＦＩＴ”、および米国仮出願第６２／４１６，３４１号、出願日２０１６年１１月２日、発明の名称 “ＤＹＮＡＭＩＣ ＤＩＳＰＬＡＹ ＣＯＲＲＥＣＴＩＯＮ ＢＡＳＥＤ ＯＮ ＤＩＳＰＬＡＹ ＰＯＳＩＴＩＯＮ ＴＲＡＣＫＩＮＧ”に対する３５ Ｕ．Ｓ．Ｃ． § １１９（ｅ）のもとでの優先権の利益を主張するものであり、これらの全ての開示は、これらの全体が参照により本明細書中に援用される。
本開示は、仮想現実および拡張現実結像ならびに可視化システムに関し、より具体的には、仮想または拡張現実ウェアラブルディスプレイデバイスの動作パラメータの調整に関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、もしくはそのように知覚され得る様式でユーザに提示される。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適かつ自然のような感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術の生産は、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、ならびにＭＲ技術に関連する種々の課題に対処する。
ウェアラブルデバイスは、ユーザの眼球周囲領域の画像を入手するように構成される、内向きに面した結像システムを含むことができる。ウェアラブルデバイスは、内向きに面した結像システムによって入手された画像に基づいて、ウェアラブルデバイスとユーザの顔との間の相対的位置を決定することができる。相対的位置は、ユーザがウェアラブルデバイスを装着しているかどうか、ウェアラブルデバイスがユーザにフィットしているかどうか、または仮想オブジェクトのレンダリング場所に対する調節がウェアラブルデバイスのその正常静止位置からの逸脱を補償するために行われるべきかどうかを決定するために使用されてもよい。
本発明は、例えば、以下を提供する。
（項目１）
頭部搭載型デバイス（ＨＭＤ）であって、
仮想オブジェクトをユーザの眼の視点からレンダリングするように構成される空間拡張現実（ＡＲ）ディスプレイシステムと、
前記ＨＭＤと前記ユーザの頭部との間の相対的位置の測定値を記憶するように構成される非一過性メモリと、
前記非一過性メモリおよび前記空間ＡＲディスプレイシステムと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記ＨＭＤと前記ユーザの頭部との間の相対的位置の測定値にアクセスすることと、
少なくとも部分的に、前記ＨＭＤと前記ユーザの頭部との間の相対的位置に基づいて、前記仮想オブジェクトの正常レンダリング位置に対する調節を計算することと、
前記正常レンダリング位置に対する調節に基づいて、前記仮想オブジェクトのレンダリング場所を決定することと、
前記空間ＡＲディスプレイシステムに、前記仮想オブジェクトを前記レンダリング場所にレンダリングするように命令することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ＨＭＤ。
（項目２）
前記ＨＭＤと前記ユーザの頭部との間の相対的位置の測定値は、視覚的特徴点を使用して眼球周囲特徴を追跡すること、または前記顔の領域と前記ユーザの頭部の少なくとも一部をエンコードする稠密マップを合致させることのうちの少なくとも１つを実施することによって計算される、項目１に記載のＨＭＤ。
（項目３）
前記視覚的特徴点は、スケール不変特徴変換、スピードアップロバスト特徴、配向ＦＡＳＴおよび回転ＢＲＩＥＦ、バイナリロバスト不変スケーラブルキーポイント、または高速網膜キーポイントのうちの少なくとも１つを使用して算出される、または前記稠密マップは、反復最近傍点アルゴリズムを使用して計算される、項目２に記載のＨＭＤ。
（項目４）
前記ハードウェアプロセッサはさらに、前記ＨＭＤのレンダリング視点と関連付けられた前記ユーザの眼の正常静止位置を決定するようにプログラムされ、前記仮想オブジェクトの正常レンダリング位置は、前記ユーザの眼の正常静止位置に対応する、項目１に記載のＨＭＤ。
（項目５）
前記仮想オブジェクトの正常レンダリング位置に対する調節を計算するために、前記ハードウェアプロセッサは、
少なくとも部分的に、前記ＨＭＤと前記ユーザの頭部との間の相対的位置に基づいて、前記正常静止位置に対する偏移を決定することと、
少なくとも部分的に、前記正常静止位置に対する偏移に基づいて、前記ＨＭＤのレンダリング視点と関連付けられた座標を偏移させることと
を行うようにプログラムされる、項目４に記載のＨＭＤ。
（項目６）
前記ＨＭＤと前記ユーザの頭部との間の相対的位置は、前記正常静止位置に対する水平偏移、垂直偏移、深度偏移、側方傾斜、または前方傾斜のうちの１つ以上のものを含む、項目５に記載のＨＭＤ。
（項目７）
前記ＨＭＤと前記ユーザの頭部との間の相対的位置は、前記ユーザの第１の眼に関する前記ＨＭＤとの間の第１の相対的位置と、前記ユーザの第２の眼に関する第２の相対的位置とを含む、項目１に記載のＨＭＤ。
（項目８）
方法であって、
ハードウェアプロセッサと、コンピュータプロセッサと、仮想オブジェクトをレンダリングするように構成されるディスプレイシステムと、ユーザの顔の眼球周囲部分を結像するように構成される内向きに面した結像システムとを備える頭部搭載型デバイス（ＨＭＤ）の制御下で、
画像を前記内向きに面した結像システムから受信することと、
オブジェクト認識装置によって、前記画像を分析し、前記ユーザの眼球周囲特徴を識別することと、
少なくとも部分的に、前記眼球周囲特徴に基づいて、前記ＨＭＤと前記ユーザの頭部との間の相対的位置を決定することと、
前記相対的位置と閾値条件を比較することによって、フィット感を決定することと、
前記ＨＭＤに、
前記ＨＭＤのディスプレイを調節し、前記相対的位置を補償すること、または
ユーザに前記フィット感と関連付けられたインジケーションを提供すること
のうちの少なくとも１つを実施させることと
を含む、方法。
（項目９）
前記相対的位置を決定することは、
前記ＨＭＤからユーザの眼までの距離を計算すること、
前記ユーザの眼間の瞳孔間距離を計算すること、
前記ＨＭＤと前記ユーザの眼との間の相対的位置を決定すること、
前記ユーザの眼の非対称性を決定すること、または
前記ＨＭＤの傾斜を決定することであって、前記傾斜は、前方傾斜または側方傾斜のうちの少なくとも１つを含む、こと
のうちの少なくとも１つを含む、項目８に記載の方法。
（項目１０）
前記ＨＭＤのディスプレイを調節し、前記相対的位置を補償することは、
前記ユーザの眼の正常静止位置と、前記ユーザの眼の正常静止位置に対応する前記仮想オブジェクトの正常レンダリング位置とを決定することと、
少なくとも部分的に、前記ＨＭＤと前記ユーザの頭部との間の相対的位置に基づいて、前記仮想オブジェクトの正常レンダリング位置に対する調節を計算することと、
前記正常レンダリング位置に対する調節に基づいて、前記仮想オブジェクトのレンダリング場所を決定することと
を含む、項目８に記載の方法。
（項目１１）
前記フィット感を決定することは、
前記ユーザの眼球周囲領域の画像にアクセスすることと、
前記眼球周囲領域の画像と前記ユーザ上の前記ＨＭＤのフィット感との間のマッピングにアクセスすることと、
前記マッピングを適用し、前記ＨＭＤのフィット感を決定することと
を含む、項目８に記載の方法。
（項目１２）
前記フィット感と関連付けられたユーザへのインジケーションは、
前記フィット感の改良に関する命令をユーザに提供することと、
付加的眼画像にアクセスすることと、
前記マッピングを前記付加的眼画像に適用し、更新されたフィット感を決定することと、
更新されたフィット感が閾値を超えるまで、付加的眼画像にアクセスし、更新されたフィット感を決定することと
を含む、項目８に記載の方法。
（項目１３）
前記相対的位置を決定することは、
第１の画像および第２の画像を前記内向きに面した結像システムから受信することであって、前記第１の画像および前記第２の画像は、シーケンスで入手される、ことと、
前記第１の画像および前記第２の画像を分析し、前記第１の画像および前記第２の画像内の眼球周囲領域のユーザに特有の眼球周囲特徴を識別することと、
少なくとも部分的に、前記眼球周囲特徴に基づいて、前記眼球周囲領域が前記第１の画像または前記第２の画像内にあるかどうかを決定することと、
少なくとも部分的に、前記第１および第２の画像内の前記眼球周囲特徴の出現に基づいて、前記相対的位置を決定することと
を含み、前記方法はさらに、
前記眼球周囲領域が前記第１の画像または前記第２の画像のいずれにも存在しないことの決定に応答して、前記ＨＭＤが前記ユーザの頭部から除去されたことのインジケーションを提供することと、
前記眼球周囲特徴が前記第１の画像または前記第２の画像のいずれかに存在することの決定に応答して、前記ＨＭＤに関する状態の変化を示すことと
を含む、項目８に記載の方法。
（項目１４）
頭部搭載型デバイス（ＨＭＤ）であって、
ユーザの顔の眼球周囲領域を結像するように構成される内向きに面した結像システムであって、前記内向きに面した結像システムは、前記眼球周囲領域の少なくとも第１の画像を入手するように構成され、さらに、前記第１の画像内で捕捉された前記眼球周囲領域の一部をマスクするように構成される、内向きに面した結像システムと、
ハードウェアプロセッサであって、
画像を前記内向きに面した結像システムから受信することと、
オブジェクト認識装置によって、前記画像を分析し、前記ユーザの眼球周囲特徴を識別することと、
少なくとも部分的に、前記眼球周囲特徴に基づいて、前記ＨＭＤと前記ユーザの頭部との間の相対的位置を決定することと、
前記相対的位置と閾値条件を比較することによって、フィット感を決定することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ＨＭＤ。
（項目１５）
前記フィット感を決定するために、前記ハードウェアプロセッサは、
前記ユーザの眼球周囲領域の画像にアクセスすることと、
前記眼球周囲領域の画像と前記ユーザ上の前記ＨＭＤのフィット感との間のマッピングにアクセスすることであって、前記マッピングは、機械学習モデルを使用して訓練される、ことと、
前記マッピングを適用し、前記ＨＭＤのフィット感を決定することと
を行うようにプログラムされる、項目１４に記載のＨＭＤ。
（項目１６）
前記フィット感は、良好フィット感、適正フィット感、または不良フィット感のうちの少なくとも１つを含む、項目１４に記載のＨＭＤ。
（項目１７）
前記ハードウェアプロセッサはさらに、前記フィット感に基づいて、仮想オブジェクトのレンダリング場所を調節するようにプログラムされる、項目１４に記載のＨＭＤ。
（項目１８）
前記ハードウェアプロセッサはさらに、前記ＨＭＤの初期化位相において、ユーザに前記フィット感に関するインジケーションを提供するようにプログラムされる、項目１４に記載のＨＭＤ。
（項目１９）
前記ハードウェアプロセッサはさらに、
前記フィット感の改良に関する命令をユーザに提供することと、
付加的眼画像にアクセスすることと、
前記マッピングを前記付加的眼画像に適用し、更新されたフィット感を決定することと、
更新されたフィット感が閾値を超えるまで、付加的眼画像にアクセスし、更新されたフィット感を決定することと
を行うようにプログラムされる、項目１８に記載のＨＭＤ。
（項目２０）
前記相対的位置を決定するために、前記ハードウェアプロセッサは、
第１の画像および第２の画像を前記内向きに面した結像システムから受信することであって、前記第１の画像および前記第２の画像は、シーケンスで入手される、ことと、
前記第１の画像および前記第２の画像を分析し、前記第１の画像および前記第２の画像内の前記眼球周囲領域のユーザに特有の眼球周囲特徴を識別することと、
少なくとも部分的に、前記眼球周囲特徴に基づいて、前記眼球周囲領域が前記第１の画像または前記第２の画像内にあるかどうかを決定することと、
少なくとも部分的に、前記第１および第２の画像内の前記眼球周囲特徴の出現に基づいて、前記相対的位置を決定することと
を行うようにプログラムされる、項目１４に記載のＨＭＤ。
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、ならびに請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。
図２は、ウェアラブルシステムの実施例を図式的に図示する。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。
図５は、導波管によって出力され得る、例示的出射ビームを示す。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。
図７は、ウェアラブルシステムの実施例のブロック図である。
図８は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。
図９は、ウェアラブルシステムの別の実施例のブロック図である。
図１０は、仮想ユーザインターフェースと相互作用するための方法の実施例のプロセスフロー図である。
図１１は、ユーザの顔の画像を入手することができる、例示的ウェアラブルデバイスを図示する。
図１２Ａは、片眼に関する眼球周囲領域の例示的画像を図示する。
図１２Ｂは、眼球周囲領域の別の例示的画像を図示し、画像内の眼球周囲領域の一部は、マスクされている。
図１３Ａは、頭部搭載型ディスプレイがユーザの顔に対してその正常静止位置にある、実施例を図示する。
図１３Ｂは、頭部搭載型ディスプレイが片側に傾斜された実施例を図示する。
図１３Ｃは、頭部搭載型ディスプレイが前方に傾斜または偏移された実施例を図示する。
図１４Ａおよび１４Ｂは、空間拡張現実（ＳＡＲ）ディスプレイ内の仮想オブジェクトのレンダリング場所の調節の実施例を図示する。 図１４Ａおよび１４Ｂは、空間拡張現実（ＳＡＲ）ディスプレイ内の仮想オブジェクトのレンダリング場所の調節の実施例を図示する。
図１５Ａは、ユーザの顔上のウェアラブルデバイスのフィット感を決定するための例示的方法を図示する。
図１５Ｂは、機械学習技法を使用して、フィット感の良好度または頭部搭載型ディスプレイがユーザ上にあるかどうかに関するマッピングを提供するための方法の実施例を図示する。
図１５Ｃは、ユーザの頭部からのウェアラブルデバイスの除去を決定するための例示的方法を図示する。
図１６は、例仮想オブジェクトのレンダリング場所を調節するための示的プロセスを図示する。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
概要
ＡＲ／ＶＲ／ＭＲシステムのためのウェアラブルデバイスは、３次元（３Ｄ）画像をユーザに提示するための頭部搭載型デバイス（ＨＭＤ）であることができる。ＨＭＤは、頭部搭載型ディスプレイを含んでもよく、これは、３次元（３Ｄ）仮想オブジェクトをユーザの環境の中にユーザの眼の視点からレンダリングすることができる。その結果、３Ｄ仮想オブジェクトは、実世界オブジェクトと類似様式においてユーザによって知覚され得る。ＨＭＤは、これは、ユーザの環境内のオブジェクト（仮想オブジェクトを含む）を示す、世界マップに基づいて、３Ｄ仮想オブジェクトをレンダリングすることができる。ＨＭＤは、世界マップに対応する色および強度を用いて、ディスプレイ上のピクセルを照明することができる。しかしながら、世界マップ内の点は、ユーザの眼が動き回るため、ＨＭＤ上に所定のレンダリング場所を有していない場合がある。ディスプレイは、デバイスが最初にユーザによって使用されるとき等、ユーザの眼に対して較正され得るが、そのような較正は、ディスプレイがユーザの頭部に強固に添着されないであろうため、常時、信頼性があるわけではない場合がある。例えば、ディスプレイは、ユーザがユーザ移動を要求するビデオゲームをプレーしているとき等、ユーザがそれと相互作用するとき、移動し得る。さらに、ディスプレイは、ユーザの鼻の下方に若干滑動する、またはユーザの耳間の線に対して傾斜し得る。その結果、ＨＭＤは、ディスプレイの偏移（前方または片側への傾斜等）に起因して、仮想オブジェクトの現実的提示を提供することが不可能な場合がある。
本明細書に説明される技法は、少なくとも部分的に、本問題を解決することを対象とする。ウェアラブルデバイスの内向きに面した結像システムは、ユーザの顔の眼球周囲領域の画像を入手することができる。ウェアラブルデバイスは、眼球周囲画像を分析し、眼球周囲特徴（例えば、ユーザの眼の位置）を識別することができる。ウェアラブルデバイスは、ユーザの眼とＨＭＤとの間の相対的位置を決定するために、眼球周囲特徴を追跡することができる。本情報に基づいて、ウェアラブルデバイスは、（ＨＭＤによって表示されるための）仮想オブジェクトのレンダリング場所を動的に調節し、ユーザの眼の視点を反映させることができる。故に、ＨＭＤのそのような実施形態は、ＨＭＤが、ユーザの頭部に対して若干滑動、移動、または傾斜するときでも、画像をユーザに正確に表示することができる。
ＨＭＤとユーザの頭部との間の相対的位置はまた、ＨＭＤのフィット感を決定するために使用されることができる。フィット感は、現実的かつ没入型の視覚的体験を提供するために、ＨＭＤのあるパラメータを調節すべきかどうか（例えば、レンダリングパラメータまたはフレームの位置（例えば、左および右耳掛け部間の距離を増減させ、より大きいまたはより小さい頭部に適応することによって））に関するインジケーションを提供し得る。ＨＭＤは、眼球周囲領域の眼画像空間からデバイスに関するフィット感空間へのマッピングを使用して、フィット感の良好度を決定することができる。眼画像空間は、例えば、眼球周囲領域または特徴の画像等、内向きに面した結像システムによって入手された画像に基づいて決定されてもよい。フィット感空間は、フィット感に関する定質的または定量的インジケーションの集合を含むことができる。マッピングは、例えば、深層ニューラルネットワーク等の機械学習技法によって学習され、ユーザの眼球周囲領域内の特徴を識別し、識別された特徴を使用して、ＨＭＤとユーザの顔との間の相対的位置を決定する、またはフィット感の良好度を分類し得る。ＨＭＤは、相対的位置または機械学習技法によって学習された他の特徴に基づいて、ＨＭＤがユーザの顔にフィットしているかどうかに関するインジケーションを提供することができる。ＨＭＤはまた、光（例えば、ライトフィールド）がユーザの眼のそれぞれの中に正確に投影されるように、ユーザの頭部に対するＨＭＤの相対的の位置に基づいて、３Ｄディスプレイからの光の投影を調節することができる。
ＨＭＤはまた、マッピングを使用して、ユーザがＨＭＤを装着しているかどうかを決定することができる。例えば、ＨＭＤが、眼球周囲特徴が内向きに面した結像システムによって入手された画像内に現れていないことを決定する（または小さすぎ、ＨＭＤがユーザの顔から外されていることを示す）と、ＨＭＤは、ユーザがデバイスを外したことを示す信号を送信してもよい。信号は、デバイスを１つのモードから別のモードに変化させてもよい。例えば、信号は、ＨＭＤをアクティブモードから電源オフモードまたはスリープモードに変化させてもよい。別の実施例として、ＨＭＤは、画像を使用して、ユーザの顔とデバイスとの間の距離を計算することができ、ＨＭＤが、距離が閾値距離を上回ることを決定する場合、ＨＭＤは、ユーザがＨＭＤを外したことを示す信号を送信してもよい。
（ウェアラブルシステムの３Ｄディスプレイの実施例）
ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、頭部搭載型デバイス（ＨＭＤ）であることができ、これは、ＡＲデバイス（ＡＲＤ）と同義的に使用される。さらに、本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」と同義的に使用される。
図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図２は、ウェアラブルシステム２００の実施例を図示し、これは、ＡＲ／ＶＲ／ＭＲ場面を提供するように構成されることができる。ウェアラブルシステム２００はまた、ＡＲシステム２００と称され得る。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的ならびに電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によって装着可能である、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示するができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイを備えることができる。頭部搭載型ディスプレイは、ヘッドアップディスプレイ（ＨＵＤ）であってもよく、これは、仮想情報をユーザの視野内の所定の場所に表示することができる（ＨＵＤを通して知覚されるように）。頭部搭載型ディスプレイはまた、空間拡張現実（ＳＡＲ）ディスプレイであってもよく、これは、仮想オブジェクトが実世界オブジェクトと同様に現れるように、視点が定まった様式において（例えば、ユーザの視点から）３Ｄオブジェクトをユーザの環境の中にレンダリングすることができる。仮想オブジェクトをレンダリングするために使用される視点は、レンダリング視点とも称され得る。
いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する）。ディスプレイ２２０は、環境からオーディオストリームを検出し、周囲音を捕捉するために、オーディオセンサ（例えば、マイクロホン）２３２を含むことができる。いくつかの実施形態では、示されない１つ以上の他のオーディオセンサが、ステレオ音受信を提供するために位置付けられる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ウェアラブルシステム２００は、音声または発話認識をオーディオストリームに実施することができる。
ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに面した結像システム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡することができる、内向きに面した結像システム４６２（図４に示される）を含むことができる。内向きに面した結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに面した結像システム４６２は、フレーム２３０に取り付けられてもよく、内向きに面した結像システムによって入手された画像情報を処理し、例えば、ユーザ２１０の眼の瞳孔直径もしくは配向、眼の移動、または眼姿勢を決定し得る、処理モジュール２６０または２７０と電気通信してもよい。内向きに面した結像システム４６２は、１つ以上のカメラを含んでもよい。例えば、少なくとも１つのカメラは、各眼を結像するために使用されてもよい。カメラによって入手された画像は、眼毎の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために使用されてもよい。別の実施例として、１つのみの眼の瞳孔直径または配向が、決定され（例えば、その眼の画像を入手するように構成されるカメラのために入手された画像に基づいて）、本眼のために決定された眼特徴は、ユーザ２１０の他の眼に関しても類似であると仮定される。
実施例として、ウェアラブルシステム２００は、外向きに面した結像システム４６４または内向きに面した結像システム４６２を使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。
ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットもしくは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合されることができる（２５０）。
ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサならびに不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、画像捕捉デバイス（例えば、内向きに面した結像システムおよび／または外向きに面した結像システム内のカメラ）、オーディオセンサ（例えば、マイクロホン）、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、もしくはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ（ａ）、または場合によっては処理もしくは読出後にディスプレイ２２０への通過のために、遠隔処理モジュール２７０もしくは遠隔データリポジトリ２８０を使用して入手もしくは処理されるデータ（ｂ）を含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク２６２または２６４を遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。
いくつかの実施形態では、遠隔処理モジュール２７０は、データまたは画像情報を分析および処理するように構成される、１つ以上のプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動（ｖｅｒｇｅｎｃｅ）と遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動（すなわち、瞳孔が、相互に向かって、またはそこから離れるように移動し、眼の視線を収束させ、オブジェクトを固視するような瞳孔の回転）は、眼の水晶体の合焦（または「遠近調節」）と緊密に関連付けられる。通常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼のレンズの焦点の変化または眼の遠近調節は、「遠近調節－輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の整合変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な整合を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図３を参照すると、ｚ－軸上の眼３０２および３０４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼３０２および３０４によって遠近調節される。眼３０２および３０４は、特定の遠近調節された状態をとり、オブジェクトをｚ－軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有する、深度平面３０６のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼３０２および３０４毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼３０２および３０４の視野は、例えば、ｚ－軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態における眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。
（導波管スタックアセンブリ）
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応してもよく、図４は、そのウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。
図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管の間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層または構造）。
導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂまたは複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０（図３における眼３０４に対応し得る）に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、それぞれの対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中への投入のための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、画像情報を１つ以上の光学導管（光ファイバケーブル等）を介して、画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一一体型デバイスまたは有線もしくは無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０または２７０（図２に図示される）の一部であってもよい。
導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要な上部および底部表面ならびにそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部もしくは底部主要表面に配置されてもよい、または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、材料のモノリシック部品であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料部品の表面上および／または内部に形成されてもよい。
図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の上方の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２ならびに４５４の組み合わせられた屈折力は、眼／脳が、第３の上方の導波管４３６ｂから生じる光が次の上方の導波管４３４ｂからの光であった光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成され、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、体積ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明される。
いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンまたは「回折光学要素」（また、本明細書では、「ＤＯＥ」とも称される）を形成する、回折特徴である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差点を用いて眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一なパターンの出射放出となることができる。
いくつかの実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。
いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、もしくは特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ４６０（ローカル処理およびデータモジュール２６０の実施形態であり得る）は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされることができる。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム４００は、世界４７０の一部を結像する、外向きに面した結像システム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、世界カメラの視野（ＦＯＶ）と称され得、結像システム４６４は、時として、ＦＯＶカメラとも称される。世界カメラのＦＯＶは、視認者２１０のＦＯＶと同一である場合とそうではない場合があり、これは、視認者２１０が所与の時間に知覚する、世界４７０の一部を包含する。例えば、いくつかの状況では、世界カメラのＦＯＶは、ウェアラブルシステム４００の視認者２１０の視野より大きくあり得る。視認者による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚することができるため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に接し得る。外向きに面した結像システム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。
ウェアラブルシステム４００は、オーディオセンサ２３２、例えば、マイクロホンを含み、周囲音を捕捉することができる。上記に説明されるように、いくつかの実施形態では、１つ以上の他のオーディオセンサが、発話源の場所の決定に有用なステレオ音受信を提供するために位置付けられることができる。オーディオセンサ２３２は、別の実施例として、指向性マイクロホンを備えることができ、これはまた、オーディオ源が位置する場所に関するそのような有用な指向性情報を提供することができる。ウェアラブルシステム４００は、発話源を位置特定する際、または特定の瞬間におけるアクティブ話者を決定するため等に、外向きに面した結像システム４６４およびオーディオセンサ２３０の両方からの情報を使用することができる。例えば、ウェアラブルシステム４００は、単独で、または話者の反射された画像（例えば、鏡に見られるように）と組み合わせて、音声認識を使用し、話者の識別を決定することができる。別の実施例として、ウェアラブルシステム４００は、指向性マイクロホンから入手された音に基づいて、環境内の話者の位置を決定することができる。ウェアラブルシステム４００は、発話認識アルゴリズムを用いて、話者の位置から生じる音を解析し、発話のコンテンツを決定し、音声認識技法を使用して、話者の識別（例えば、名前または他の人口統計情報）を決定することができる。
ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面した結像システム４６６（例えば、デジタルカメラ）を含むことができる。内向きに面した結像システム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。内向きに面した結像システム４６６は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、片眼４１０のみの瞳孔直径または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、ユーザの両眼に関して類似すると仮定される。内向きに面した結像システム４６６によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。
ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。マルチＤＯＦコントローラは、コントローラの一部または全部の可能性として考えられる平行移動（例えば、左／右、前方／後方、もしくは上／下）または回転（例えば、ヨー、ピッチ、もしくはロール）におけるユーザ入力を感知することができる。平行移動をサポートする、マルチＤＯＦコントローラは、３ＤＯＦと称され得る一方、平行移動および回転をサポートする、マルチＤＯＦコントローラは、６ＤＯＦと称され得る。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。
図５は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が図示されるが、導波管アセンブリ４８０内の他の導波管も同様に機能し得、導波管アセンブリ４８０は、複数の導波管を含むことを理解されたい。光５２０が、導波管４３２ｂの入力縁４３２ｃにおいて導波管４３２ｂの中に投入され、ＴＩＲによって導波管４３２ｂ内を伝搬する。光５２０がＤＯＥ４３２ａに衝突する点において、光の一部が、出射ビーム５１０として導波管から出射する。出射ビーム５１０は、略平行として図示されるが、それらはまた、導波管４３２ｂと関連付けられた深度平面に応じて、ある角度で眼４１０に伝搬するように再指向されてもよい（例えば、発散出射ビーム形成）。略平行出射ビームは、光を外部結合し、眼４１０から遠距離（例えば、光学無限遠）における深度平面に設定されるように現れる画像を形成する光抽出光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼４１０がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼４１０に近い距離からの光として脳によって解釈されるであろう。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される制御サブシステムとを含む、光学システムを示す、概略図である。光学システムは、導波管装置と、光を導波管装置にまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むことができる。光学システムは、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。光学システムは、１つ以上の一次平面導波管６３２ａ（１つのみのが図６に示される）と、一次導波管６３２ａの少なくともいくつかのそれぞれと関連付けられた１つ以上のＤＯＥ６３２ｂとを含むことができる。平面導波管６３２ｂは、図４を参照して議論される導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂに類似することができる。光学システムは、分散導波管装置を採用し、光を第１の軸（図６の図では、垂直またはＹ－軸）に沿って中継し、第１の軸（例えば、Ｙ－軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管６２２ｂと、分散平面導波管６２２ｂと関連付けられた少なくとも１つのＤＯＥ６２２ａ（二重破線によって図示される）とを含んでもよい。分散平面導波管６２２ｂは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管６３２ｂと類似または同じであってもよい。同様に、少なくとも１つのＤＯＥ６２２ａは、少なくともいくつかの点において、ＤＯＥ６３２ａと類似または同じであってもよい。例えば、分散平面導波管６２２ｂまたはＤＯＥ６２２ａは、それぞれ、一次平面導波管６３２ｂまたはＤＯＥ６３２ａと同一材料から成ってもよい。図６に示される光学ディスプレイシステム６００の実施形態は、図２に示されるウェアラブルシステム２００の中に統合されることができる。
中継され、射出瞳が拡張された光は、分散導波管装置から１つ以上の一次平面導波管６３２ｂの中に光学的に結合され得る。一次平面導波管６３２ｂは、好ましくは、第１の軸に直交する、第２の軸（例えば、図６の図では、水平またはＸ－軸）に沿って、光を中継することができる。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であることができる。一次平面導波管６３２ｂは、その第２の軸（例えば、Ｘ－軸）に沿って、光の有効射出瞳を拡張させる。例えば、分散平面導波管６２２ｂは、光を垂直またはＹ－軸に沿って中継および拡張させ、光を水平またはＸ－軸に沿って中継および拡張させ得る、一次平面導波管６３２ｂにその光を通過させることができる。
光学システムは、単一モード光ファイバ６４０の近位端の中に光学的に結合され得る、１つ以上の着色光源（例えば、赤色、緑色、および青色レーザ光）６１０を含んでもよい。光ファイバ６４０の遠位端は、圧電材料の中空管６４２を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー６４４として、管６４２から突出する。圧電管６４２は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管６４２の外側、外側表面もしくは外側周縁、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管６４２のコア、中心、内側周縁、または内径に位置してもよい。
例えば、ワイヤ６６０を介して電気的に結合される、駆動電子機器６５０は、対向する対の電極を駆動し、圧電管６４２を独立して２つの軸において屈曲させる。光ファイバ６４４の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ６４４の直径、長さ、および材料性質に依存し得る。圧電管６４２をファイバカンチレバー６４４の第１の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー６４４は、振動させられ、大偏向を通して掃引し得る。
２つの軸において共振振動を刺激することによって、ファイバカンチレバー６４４の先端は、２次元（２－Ｄ）走査を充填する面積内において２軸方向に走査される。光源６１０の強度をファイバカンチレバー６４４の走査と同期して変調させることによって、ファイバカンチレバー６４４から発せられる光は、画像を形成することができる。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。
光学結合器サブシステムのコンポーネントは、走査ファイバカンチレバー６４４から発せられる光をコリメートすることができる。コリメートされた光は、鏡面表面６４８によって、少なくとも１つの回折光学要素（ＤＯＥ）６２２ａを含有する、狭分散平面導波管６２２ｂの中に反射されることができる。コリメートされた光は、ＴＩＲによって分散平面導波管６２２ｂに沿って（図６の図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ６２２ａと繰り返し交差することができる。ＤＯＥ６２２ａは、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ６２２ａとの交差点の各点においてより大きい一次平面導波管６３２ｂの縁に向かって回折させ、光の一部をＴＩＲを介して分散平面導波管６２２ｂの長さを辿ってそのオリジナル軌道上で継続させることができる。
ＤＯＥ６２２ａとの交差点の各点において、付加的光が、一次導波管６３２ｂの入口に向かって回折されることができる。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管６２２ｂ内のＤＯＥ６２２ａによって垂直に拡張されることができる。分散平面導波管６２２ｂから外部結合された本垂直に拡張された光は、一次平面導波管６３２ｂの縁に進入することができる。
一次導波管６３２ｂに進入する光は、ＴＩＲを介して、一次導波管６３２ｂに沿って（図６の図に対して）水平に伝搬することができる。光は、複数の点においてＤＯＥ６３２ａと交差するにつれて、ＴＩＲを介して、一次導波管６３２ｂの長さの少なくとも一部に沿って水平に伝搬する。ＤＯＥ６３２ａは、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ６３２ａは、有利には、ビームの光の一部のみが、ＤＯＥ６３２ａの各交差点において視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、一次導波管６３２ｂを通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。
伝搬する光とＤＯＥ６３２ａとの間の交差点の各点において、光の一部は、一次導波管６３２ｂの隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管６３２ｂの面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ６３２ａの半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）し、かつビームを設計される焦点レベルに合致する角度に操向することの両方を行う。
故に、これらの異なる経路は、異なる角度におけるＤＯＥ６３２ａの多重度、焦点レベル、または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管６３２ｂの外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第１の焦点深度において生成するために採用されてもよい。第２の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。
（ウェアラブルシステムの他のコンポーネント）
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力またはテクスチャの感覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトもしくはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、１つ以上の物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドもしくはセンサを有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用もしくはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカもしくは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、ＨＭＤ、およびディスプレイシステムと併用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明される。
（例示的ウェアラブルシステム、環境、およびインターフェース）
ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。
図７は、ＭＲ環境７００の実施例のブロック図である。ＭＲ環境７００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからの感覚入力７０６、ユーザ入力デバイス４６６からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を１つ以上のユーザウェアラブルシステム（例えば、ウェアラブルシステム２００もしくはディスプレイシステム２２０）または定常室内システム（例えば、室内カメラ等）から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに面した結像システム、外向きに面した結像システム等）を使用して、ユーザの環境の場所および種々の他の属性を決定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラまたは外向きに面した結像システムのカメラ等）によって入手された画像データは、マッピング点のセットに低減されてもよい。
１つ以上のオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識またはマッピングし、画像をタグ付けし、マップデータベース７１０を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース７１０は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。
本情報およびマップデータベース内の点集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、顔、人物、窓、壁、ユーザ入力デバイス、テレビ、ドキュメント（例えば、本明細書におけるセキュリティ実施例において説明されるような旅券、運転免許証、パスポート）、ユーザの環境内の他のオブジェクト等を認識することができる。１つ以上のオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置７０８ａは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、ドキュメントを認識するために使用されてもよい。
オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに面した結像システム４６４（図４に示される）によって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識（例えば、人物またはドキュメント）、オブジェクト姿勢推定、顔認識（例えば、環境内の人物またはドキュメント上の画像から）、学習、インデックス化、運動推定、または画像分析（例えば、写真、署名、識別情報、旅行情報等のドキュメント内の印を識別する）等を実施することができる。１つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、生命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。意味論情報は、本明細書に説明されるように、オブジェクトのアフォーダンスを含むことができる。例えば、意味論情報は、オブジェクトの法線を含んでもよい。システムは、ベクトルを割り当てることができ、その方向は、オブジェクトの法線を示す。経時的に、マップデータベースは、システム（ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つ以上のウェアラブルシステムに伝送されてもよい。例えば、ＭＲ環境７００は、Ｃａｌｉｆｏｒｎｉａで生成している場面についての情報を含んでもよい。環境７００は、Ｎｅｗ Ｙｏｒｋにおける１人以上のユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境７００はまた、位置特定目的のために、トポロジマップを使用してもよい。
図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８００の実施例のプロセスフロー図である。方法８００は、仮想場面がウェアラブルシステムのユーザに提示され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに存在する友人と散歩に行くことを所望し得る。
ブロック８１０では、ウェアラブルシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８１０において、情報をシステムに伝達する。システムは、ブロック８２０において、本情報に基づいて、疎点を決定してもよい。疎点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示ならびに理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャ）を決定する際に使用されることができる。オブジェクト認識装置７０８ａ、７０８ｎは、ブロック８３０において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つ以上のオブジェクトを認識してもよい。本情報は、次いで、ブロック８４０において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック８５０において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。
図９は、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム９００は、マップ９２０を備え、これは、世界に関するマップデータを含有する、マップデータベース７１０を含んでもよい。マップは、部分的に、ウェアラブルシステム上にローカルに常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス９１０が、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を決定するために、マップ９２０からのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、その世界内で動作するにつれて、オンザフライで収集されたデータから算出されてもよい。データは、実または仮想環境内のオブジェクトに関する画像、センサ（概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定ユニット等）からのデータ、および表面情報を備えてもよい。
疎点表現は、同時位置特定およびマッピング（例えば、入力が画像／視覚のみである構成を指す、ＳＬＡＭまたはｖＳＬＡＭ）プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界が構成される内容も見出すように構成されることができる。姿勢は、マップへの取込およびマップからのデータの使用を含め、多くの目標を達成する、構築ブロックであり得る。
一実施形態では、疎点位置は、それ自体では完全に適正であり得ず、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生成するために必要とされ得る。概して、深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視９４０と称されるプロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して生成される赤外線パターン等）、画像カメラから入手された画像、または手ジェスチャ／トーテム９５０が、立体視プロセス９４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、このうちのいくつかは、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的（例えば、大規模点群に対して）かつ要約しやすい入力であってもよい。したがって、立体視プロセス（例えば、深度マップ）９４０の出力は、融合プロセス９３０において組み合わせられてもよい。姿勢９５０は、同様に、本融合プロセス９３０への入力であってもよく、融合９３０の出力は、マップ取込プロセス９２０への入力となる。サブ表面が、トポグラフィマッピング等において、相互に接続し、より大きい表面を形成し得、マップは、点および表面の大規模ハイブリッドとなる。
複合現実プロセス９６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図９に描写される実施形態では、ゲームパラメータは、システムのユーザが１匹以上のモンスタと種々の場所においてモンスタバトルゲームをプレーしていること、モンスタが死んでいる、または種々の条件下で逃げている（ユーザがモンスタを撃つ場合等）、種々の場所における壁または他のオブジェクト、および同等物を決定するための入力であってもよい。世界マップは、オブジェクトの場所に関する情報またはオブジェクトの意味論情報を含んでもよく、世界マップは、複合現実に対する別の有用な入力となることができる。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を果たす。
ユーザからの制御または入力は、ウェアラブルシステム９００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム９００に、行うことを所望する対象に関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。一実施形態では、トーテム（例えば、ユーザ入力デバイス）、または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、システムは、場所および配向だけではなく、ユーザが、そのようなアクティビティがカメラのいずれかの視野内にないときでも、生じている状況を決定することを補助し得る、ＩＭＵ等のセンサを装備し得る、トリガまたは他の感知ボタンもしくは要素をクリックしているかどうかも理解するように構成されてもよい。）
手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム９００は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム環境において電子メールもしくはカレンダを通して捲る、または別の人物もしくはプレーヤと「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム９００は、動的である場合とそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、ＯＫを示すために親指を上げる、ＯＫではないことを示すために親指を下げる、または指向性コマンドを示すために左右もしくは上下に手をフリップする等、単純な静的ジェスチャであってもよい。
眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲においてレンダリングする）。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して決定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、決定されてもよい。眼追跡は、眼カメラによって実施され、眼視線（例えば、片眼または両眼の方向もしくは配向）を決定することができる。他の技法も、例えば、眼の近傍に設置された電極による電位の測定（例えば、電気眼球図記録）等、眼追跡のために使用されることができる。
発話追跡は、単独で、または他の入力（例えば、トーテム追跡、眼追跡、ジェスチャ追跡等）と組み合わせて使用され得る、別の入力であり得る。発話追跡は、単独で、または組み合わせて、発話認識、音声認識を含んでもよい。システム９００は、オーディオストリームを環境から受信する、オーディオセンサ（例えば、マイクロホン）を含むことができる。システム９００は、発話している人物（例えば、発話がＡＲＤの装着者または別の人物もしくは音声（例えば、環境内のラウドスピーカによって伝送される記録された音声）からのものであるかどうか）を決定するための音声認識技術ならびに言われていることを決定するための発話認識技術を組み込むことができる。ローカルデータおよび処理モジュール２６０または遠隔処理モジュール２７０は、マイクロホンからのオーディオデータ（または、例えば、ユーザによって鑑賞されているビデオストリーム等の別のストリーム内のオーディオデータ）を処理し、例えば、隠れマルコフモデル、動的時間伸縮法（ＤＴＷ）ベースの発話認識、ニューラルネットワーク、ディープフィードフォワードおよび再帰ニューラルネットワーク等の深層学習アルゴリズム、エンドツーエンド自動発話認識、機械学習アルゴリズム（図７を参照して説明される）、もしくは音響モデル化または言語モデル化等を使用する、他のアルゴリズム等の種々の発話認識アルゴリズムを適用することによって、発話のコンテンツを識別することができる。
ローカルデータおよび処理モジュール２６０、または遠隔処理モジュール２７０はまた、音声認識アルゴリズムを適用することができ、これは、話者がウェアラブルシステム９００のユーザ２１０またはユーザが会話している別の人物であるかどうか等の話者の識別を識別することができる。いくつかの例示的音声認識アルゴリズムは、頻度推定、隠れマルコフモデル、ガウス混合モデル、パターンマッチングアルゴリズム、ニューラルネットワーク、マトリクス表現、ベクトル量子化、話者ダイアライゼーション、決定ツリー、および動的時間伸縮（ＤＴＷ）技法を含むことができる。音声認識技法はまた、コホートモデルおよび世界モデル等のアンチ話者技法を含むことができる。スペクトル特徴は、話者特性を表す際に使用されてもよい。ローカルデータおよび処理モジュールまたは遠隔データ処理モジュール２７０は、図７を参照して説明される種々の機械学習アルゴリズムを使用して、音声認識を実施することができる。
カメラシステムに関して、図９に示される例示的ウェアラブルシステム９００は、３つの対のカメラ、すなわち、ユーザの顔の両側に配列される相対的広ＦＯＶまたは受動ＳＬＡＭ対のカメラと、ユーザの正面に配向され、立体視結像プロセス９４０をハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム／オブジェクトの軌道を捕捉するための異なる対のカメラとを含むことができる。ステレオプロセス９４０に対するＦＯＶカメラおよび対のカメラは、外向きに面した結像システム４６４（図４に示される）の一部であってもよい。ウェアラブルシステム９００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される眼追跡カメラ（図４に示される内向きに面した結像システム４６２の一部であってもよい）を含むことができる。ウェアラブルシステム９００はまた、１つ以上のテクスチャ化光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。
図１０は、仮想ユーザインターフェースと相互作用するための方法１０００の実施例のプロセスフロー図である。方法１０００は、本明細書に説明されるウェアラブルシステムによって行われてもよい。方法１０００は、テレプレゼンスセッションにおいて方法１０００を実施してもよい。
ブロック１０１０では、ウェアラブルシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって与えられてもよい。ウェアラブルシステムは、特定のＵＩがユーザ入力（例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等）に基づいて取り込まれる必要があることを識別してもよい。ＵＩは、テレプレゼンスセッションに特有であってもよい。ブロック１０２０では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの境界、一般的構造、形状等と関連付けられたデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがユーザの物理的場所に関連してＵＩを表示し得るように、ユーザの物理的場所のマップ座標を決定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩがユーザの周囲に表示され得る、または平面ＵＩが壁上もしくはユーザの正面に表示され得るように、ユーザの物理的立ち位置、頭部姿勢、または眼姿勢の座標を決定してもよい。テレプレゼンスコンテキストでは、ＵＩは、ＵＩが、ユーザを囲繞し、環境内の別のユーザの存在の実在感覚をもたらすかのように表示されてもよい（例えば、ＵＩは、ユーザの周囲の参加者の仮想アバタを表示することができる）。ＵＩが、手中心の場合、ユーザの手のマップ座標が、決定されてもよい。これらのマップ点は、ＦＯＶカメラ、感覚入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して導出されてもよい。
ブロック１０３０では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック１０４０では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが生成されると、ウェアラブルシステムは、ブロック１０５０において、単に、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想ＵＩ上に生成してもよい。例えば、ＵＩは、ユーザの身体またはユーザの環境内の人物（例えば、旅行者）の身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、音声コマンド、ユーザ入力デバイスからの入力等）を待機してもよく、認識される場合（ブロック１１６０）、コマンドと関連付けられた仮想コンテンツが、ユーザに表示されてもよい（ブロック１０７０）。
（ウェアラブルデバイスおよびユーザの顔の画像の実施例）
図１１は、例示的ウェアラブルデバイスを図示し、これは、ユーザの顔の画像を入手することができる。ウェアラブルデバイス１１５０は、図２を参照して説明される、例示的頭部搭載型デバイス（ＨＭＤ）であることができる。ウェアラブルデバイス１１５０は、ＳＡＲデバイスであってもよく、これは、仮想オブジェクトをユーザの眼の視点からレンダリングするための頭部搭載型ディスプレイを含んでもよい。ウェアラブルデバイスによって入手された画像は、静止画像、動画、ビデオからの個々のフレーム、またはビデオを含むことができる。
ウェアラブルデバイス１１５０は、結像システム１１６０を含むことができ、これは、ユーザ２１０の顔を結像するように構成されることができる。結像システム１１６０は、図４に示される内向きに面した結像システム４６２の実施例であってもよい。例えば、結像システム１１６０は、ユーザ２１０が、ウェアラブルデバイス１１５０を装着している間、ユーザの眼１１１０の眼球周囲領域を結像するように構成される、眼カメラ（例えば、眼カメラ１１６０ａおよび眼カメラ１１６０ｂ）等のセンサを含んでもよい。本実施例では、眼１１１０ｂは、図３に示される、眼３０２に対応し得、眼１１１０ａは、眼３０４に対応し得る。ウェアラブルデバイス１１５０はまた、例えば、慣性測定ユニット、圧力センサ、近接度センサ等の他のタイプのセンサを含むことができる。これらのセンサのうちの１つ以上のものは、ウェアラブルデバイス１１５０のフレーム上（例えば、一方または両方の耳掛け部上）に配置されることができる。センサによって入手されたデータは、ウェアラブルデバイス１１５０とユーザの顔との間の相対的位置を決定するために使用されてもよい。
各眼カメラは、視野（ＦＯＶ）を有してもよい。例えば、眼カメラ１１６０ａに関するＦＯＶは、領域１１２０ａおよび領域１１３０を含むことができる。眼カメラ１１６０ｂに関するＦＯＶは、領域１１２０ｂおよび領域１１３０を含むことができる。眼カメラ１１６０ａのＦＯＶおよび眼カメラ１１６０ｂのＦＯＶは、領域１１３０において重複してもよい。
図１１に示されるように、結像システム１１６０は、ユーザ２１０の頭部に向かって向いている。眼カメラ１１６０ａは、眼１１１０ａを結像するように構成されてもよい一方、眼カメラ１１６０ｂは、眼１１１０ｂを結像するように構成されてもよい。本図では、眼カメラ１１６０ａの光学軸１１４０ａは、眼カメラ１１６０ｂの光学軸１１４０ｂと平行である。
いくつかの実装では、眼カメラの一方または両方は、２つの眼カメラの光学軸がもはや平行ではないように回転されてもよい。例えば、２つの眼カメラは、若干、相互に向かって向いていてもよい（例えば、特に、眼カメラが、デバイス１１５０のフレームの外側縁の近傍に配置される場合）。本実装は、交差眼構成を作成し得、これが、２つのカメラ間のＦＯＶの重複を増加させ、かつ２つの眼カメラがより近い距離において顔を結像することを可能にし得るため、有利であり得る。
ウェアラブルデバイス１１５０が、ユーザ２１０に非常に近接するとき、眼カメラは、合焦ずれし得る。例えば、ユーザに関する眼球周囲分離（例えば、顔の左および右側上の眼球周囲特徴間の距離）が、４６ｍｍ（成人男性に典型的）であって、２つの眼カメラがそれぞれ、６６度（眼追跡のために適切）の水平ＦＯＶを有すると仮定すると、ウェアラブルデバイスは、顔とウェアラブルデバイスとの間の距離が、少なくとも約１７５ｍｍであるとき、写真を撮影し得る。多くの眼カメラのレンズのための最小焦点距離は、約１４ｍｍである。レンズが、固定焦点距離を有する場合、その焦点深度は、約６５ジオプタである必要がある。
不十分な焦点深度が存在するときに画像が取得される場合、ウェアラブルデバイス１１５０は、画像を低分解能画像として扱い得る。その結果、ウェアラブルデバイスによって生成された顔モデルは、低忠実性を有する、または顔全体の特徴の疎表現を有し得る。そのような顔モデルは、依然として、ユーザ（例えば、瞳孔間距離）のための眼球間分離を推測するために使用されてもよく、これは、ウェアラブルデバイスがユーザの顔にフィットしているかどうかを決定するために有用である。
図１１に説明される実施例は、２つの眼カメラを図示するが、ウェアラブルデバイス１１５０は、２つの眼カメラを有するように要求されない。いくつかの実施形態では、結像システム１１６０は、ユーザの顔を結像する１つの眼カメラを含んでもよい。１つの眼カメラは、片眼と関連付けられた眼球周囲領域または両眼に関する眼球周囲領域を結像するように構成されてもよい。他の実施形態では、ウェアラブルデバイス１１５０は、２つを上回る眼カメラを含んでもよい。
ウェアラブルデバイス１１５０は、結像システム１１６０によって入手されたユーザの顔の画像を使用して、ユーザの顔のモデルを構築することができる。画像は、ユーザが、デバイスを着けている、または外しているとき、結像システム１１６０によって入手されてもよい。画像はまた、外向きに面した結像システム４６４（図４に示される）を使用して、ユーザの顔を走査することによって入手されてもよい。例えば、外向きに面した結像システム４６４を使用して、ユーザの顔を走査するために、ユーザは、外向きに面した結像システム４６４がユーザの顔に向かって（ユーザの環境ではなく）面するように、ウェアラブルデバイス１１５０を旋回させてもよい。ウェアラブルデバイスは、例えば、ユーザが最初にウェアラブルデバイスを使用するとき、またはユーザがウェアラブルデバイスをオンにするとき等、ウェアラブルデバイスの初期化位相の間、ユーザの顔のモデルを作成することができる。結像システム１１６０によって入手された画像を使用した顔モデルの生成の実施例はまた、「ＦＡＣＥ ＭＯＤＥＬ ＣＡＰＴＵＲＥ ＢＹ ＡＮ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＤＥＶＩＣＥ」と題された米国仮出願第６２／４００，９０７号（本開示は、参照することによってその全体として本明細書に組み込まれる）に説明される。
ユーザの顔のモデルは、基本モデルおよびユーザに特有のデータに基づいて生成されてもよい。例えば、ウェアラブルデバイスは、あるグループの人々と関連付けられたデータから事前に生成された基本モデルを使用して、ウェアラブルデバイスによって入手された画像を分析することによって取得されるユーザ特有情報に基づいて、基本モデルをカスタマイズしてもよい。いくつかの実装では、基本モデルは、ウェアラブルデバイスのユーザに類似する人口統計情報を有するグループの人々と関連付けられてもよい。例えば、ユーザが、十代の女性である場合、ウェアラブルデバイスは、十代の典型的女性と関連付けられた基本モデルにアクセスしてもよい。別の実施例として、ユーザが、ある性別および／または人種グループに属する場合、ウェアラブルデバイスは、その性別および／または人種グループに共通する基本モデルにアクセスしてもよい。ウェアラブルデバイスはまた、あるグループの人々またはユーザと関連付けられた画像に関する統計的分析に基づいて、マップ上のある顔特徴の場所の尤度を決定することができる。ウェアラブルデバイスは、次いで、ユーザに特有の入手された画像に基づいて、尤度を更新する、または眼球周囲特徴の場所を確認することができる。
画像内の眼球周囲特徴の存在を識別することに加え、またはその代替として、ウェアラブルデバイスは、ウェアラブルデバイスとユーザとの間の相対的位置を決定するために、内向きに面した結像システムによって入手された画像を分析することができる。内向きに面した結像システム４６２（図４に示される）の眼カメラは、そのＦＯＶ内の画像を持続的に取得することができる。眼カメラはまた、トリガに基づいてのみ、画像を入手するように構成されてもよい。例えば、眼カメラは、ユーザがウェアラブルデバイスを着けているとき（例えば、ＩＭＵに基づいて、ウェアラブルデバイスの移動によって決定されるように）、１つ以上の画像を捕捉するようにトリガされてもよい。代替として、眼カメラは、選択された頻度において画像を捕捉してもよい。頻度は、数秒または数分毎等、任意の所望の時間インターバルであってもよく、頻度は、画像を使用するシステムの要件に応じて変化してもよい。
ウェアラブルデバイスはまた、ユーザ特有の画像に基づいて、顔モデルを構築することができる。例えば、ウェアラブルデバイスは、内向きに面した結像システムまたは外向きに面した結像システムによって入手された画像からのみ、ユーザの顔のモデルを生成してもよい。いくつかの実装では、ウェアラブルデバイスは、ユーザの顔のより多くの画像が入手されるにつれて、ユーザの顔モデルを更新してもよい。例えば、ウェアラブルデバイスは、ユーザがデバイスを着けるにつれて、内向きに面した結像システムによって入手された画像に基づいて、顔モデルを生成してもよい。ウェアラブルデバイスは、ユーザがデバイスを外しているとき、またはユーザがデバイスを再び着けている次のセッションにおいて入手された新しい画像に基づいて、顔モデルを更新することができる。
これらの実施例は、ウェアラブルデバイスを使用した顔モデルの構築またはユーザの顔のマップの作成を参照するが、いくつかの実施形態は、遠隔コンピューティングデバイスと通信し、顔モデルを生成または別様に取得する、ウェアラブルデバイスを含んでもよい。例えば、ウェアラブルデバイスは、ユーザの顔の画像を入手し、画像（単独で、または、例えば、ユーザの人口統計情報等のユーザの他の情報と組み合わせて）を遠隔コンピューティングデバイス（例えば、サーバ等）に渡すことができる。遠隔コンピューティングデバイスは、画像を分析し、顔モデルを作成することができ、顔モデルをユーザのウェアラブルデバイスに戻す、または顔モデルを別のユーザのウェアラブルデバイスに渡すことができる（例えば、テレプレゼンスセッションの間）。
さらに、ウェアラブルデバイスのフィット感もしくは除去を決定する、または仮想画像のレンダリング場所を調節することに加え、またはその代替として、顔モデルはまた、ユーザ識別を実施するために使用されることができる。画像に基づいてユーザの識別を決定する実施例として、ウェアラブルデバイスは、種々の顔認識アルゴリズムを入手された画像に適用することによって、ユーザの顔特徴（例えば、顔形状、肌質、鼻、眼、頬の特性等）を分析することができる。いくつかの実施例顔認識アルゴリズムは、固有顔を使用した主成分分析、線形判別分析、Ｆｉｓｈｅｒｆａｃｅアルゴリズムを使用したエラスティックバンチグラフィックマッチング、隠れマルコフモデル、テンソル表現を使用した多重線形部分空間学習、およびニューロン動機ダイナミックリンクマッチング、または３Ｄ顔認識アルゴリズムを含む。デバイスはまた、画像を分析し、虹彩を識別し、各個人に一意のバイオメトリックシグネチャ（例えば、虹彩コード）を決定してもよい。
ウェアラブルデバイスはまた、デバイスがユーザの顔に着けられている、または外されている間、ウェアラブルデバイスによって入手された画像に基づいて、画像位置合わせを実施することができる。画像位置合わせから取得される結果として生じる画像は、ユーザの顔に加え、またはその代替として、ユーザの環境の一部（例えば、ユーザの部屋またはユーザの近傍の別の人物）を含むことができる。
（眼球周囲領域の画像の実施例）
図１１を参照して説明されるように、結像システム１１６０によって入手された画像は、ユーザの眼球周囲領域の一部を含んでもよい。眼球周囲領域は、１つ以上の眼球周囲特徴もしくは眼球周囲特徴の一部を含むことができる。眼球周囲特徴は、例えば、眼、眼窩、眉毛、鼻、頬、または前額を含んでもよい。顔の他の特徴またはユーザ特有の詳細もまた、眼球周囲特徴と見なされ得る。
図１２Ａは、ユーザの眼球周囲領域１２７０を結像するＨＭＤカメラから取得され得るような片眼に関する眼球周囲領域１２７０の例示的画像１２００ａを図示する。本実施例では、眼球周囲領域１２７０は、眼１２１０ａ、眼窩、眉毛１２２０ａ、鼻１２３０ａの一部、頬１２４０ａ、および前額１２５０ａ等の眼球周囲特徴を含む。各眼球周囲特徴は、眼球周囲特徴と関連付けられた種々の特性を有し得る。特性は、各異なる眼球周囲特徴に特有であり得る。例えば、眼球周囲特徴眉毛１２２０ａは、眉毛の形状、眉毛の色、眉毛の可能性が高い移動または移動方向等を含む、特性を有してもよい。眼球周囲特徴眼１２１０ａは、例えば、眼角の形状、サイズ、場所、視線方向、瞳孔場所、眼球中心の場所、眼瞼の形状およびしわ、眼球周囲の皮膚のテクスチャ等の特性を有してもよい。多くの他の特性もまた、各眼球周囲特徴を識別および追跡するために使用されてもよい。１つ以上の眼球周囲特徴の１つ以上の特性は、特徴点、点群、または他のタイプの数学的表現によって表されてもよい。
ウェアラブルデバイスは、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（Ｂリスク）、高速網膜キーポイント（ＦＲＥＡＫ）等のニューラルネットワークまたは視覚的特徴点技法を使用して、眼球周囲特徴および関連付けられた特性を算出および追跡することができる。いくつかの実施形態では、特定の顔特徴は、その特定の眼球周囲特徴のために具体的に設計された検出器を使用して追跡されてもよい。例えば、眼角、鼻特徴、口角等の眼球周囲特徴特性は、種々のアルゴリズムを使用して、別個に識別および追跡されてもよい。これらの眼球周囲特徴特性のうちの１つ以上のものを別個に追跡することは、ユーザが表情を作っている、または発話しているとき、各眼球周囲特徴および／または特性が、実質的運動を受けやすくあり得るため、有利であり得る。これらの眼球周囲特徴および特性を追跡するために使用されるアルゴリズムは、運動の範囲を考慮し得る。実施例として、いくつかの眼球周囲特徴および／または関連付けられた特性は、ある方向に移動する可能性が高くあり得る、および／または他の方向においてより安定したままである可能性が高くあり得る（例えば、眉毛は、左右ではなく、上下に移動する傾向にある）。
ウェアラブルデバイスは、眼球周囲特徴の移動を統計的に分析することができる。これらの統計は、顔特徴がある方向に移動するであろう尤度を決定するために使用されてもよい。いくつかの実施形態では、１つ以上の眼球周囲特徴または特性は、除去され、または追跡されず、処理需要を低減させる、または信頼性を改良してもよい。信頼性を改良することが所望されるインスタンスでは、その他より誤差を受けやすい眼球周囲特徴または特性を無視またはマスクすることが有利であり得る。例えば、いくつかの実施形態では、図１２Ｂを参照して説明されるように、ウェアラブルデバイスは、眼球周囲領域１２７０内の他方の眼球周囲特徴または特性を追跡するとき、眼移動がＨＭＤによって認識されないように、眼１２１０ｂの中心エリア１２１２内のピクセルを無視してもよい。
ウェアラブルデバイスはまた、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調整等の視覚的同時位置特定およびマッピング（ｖＳＬＡＭ）技法を使用して、眼球周囲特徴および特性を識別および追跡することができる。いくつかの実施形態では、ウェアラブルデバイスは、ユーザの深度知覚およびマッピングを可能にするように構成されてもよい。例えば、ウェアラブルデバイスは、稠密マップを構築することができ、これは、１つ以上のカメラによって入手されたデータから顔の少なくとも一部をエンコードする。特徴点マップとは対照的に、稠密マップは、その３Ｄ形状が測定される顔のパッチまたは領域を備えてもよい。パッチまたは領域は、反復最近傍アルゴリズムまたは類似アルゴリズム等の技法を使用して、ユーザの顔に対するＨＭＤの場所を算出するために使用されてもよい。
ウェアラブルデバイス上のカメラによって捕捉された眼球周囲領域内のサイズおよびコンテンツは、眼カメラのＦＯＶに依存し得る。いくつかの実装では、眼カメラは、捕捉された眼球周囲領域内の全ての認識可能眼球周囲特徴に適合するための大ＦＯＶを有していなくてもよい。例えば、眼カメラによって捕捉された画像は、眼窩を含むが、眉毛を含まなくてもよい。カメラの技術的仕様は、眼球周囲領域の複数の捕捉されたフレーム内に存在したままである可能性が最も高い眼球周囲特徴および追跡するために最も信頼性のある眼球周囲特徴を決定してもよい。
図１１を参照して説明されるように、いくつかの状況では、各眼カメラは、眼を結像するように構成されるが、２つの眼カメラ（左眼に１つおよび右眼に１つ）は、重複眼球周囲領域がカメラによって結像されるように、重複ＦＯＶ１１３０を有してもよい。これは、２つのカメラのＦＯＶが十分に広く、カメラがユーザの顔の中心に向かって内向きに角度付けられ、カメラが相互の近傍に位置付けられ、および／または２つのカメラがユーザから十分に遠く離れているためであり得る。その結果、ユーザの顔の一部、典型的には、中心部分（例えば、鼻）が、両方の眼カメラによって捕捉され得る。ウェアラブルデバイスは、２つのカメラから取得される画像を組み合わせ、組み合わせられた画像が眼球周囲特徴を含むかどうかを決定してもよく、眼球周囲特徴が画像内に存在すると決定される場合、ウェアラブルデバイスは、眼球周囲特徴を識別してもよい。
いくつかの実装では、眼カメラによって入手された画像は、眼カメラの焦点がずれ得るため、低分解能画像である場合がある。焦点がずれているまたは低分解能画像は、ウェアラブルデバイスのハードウェア内の物理的限界またはウェアラブルデバイスの不適切な位置付けもしくは移動から生じ得る。例えば、焦点がずれている画像は、眼カメラが、ユーザの顔に近すぎる、またはそこから離れすぎていることによって生じ得る。代替として、いくつかの実施形態では、より低い分解能画像を捕捉することが所望され得る。例えば、ウェアラブルデバイスは、眼球周囲特徴を追跡するために高品質画像を必要としない場合があり（例えば、ユーザの顔とウェアラブルデバイスとの間の相対的位置を決定するために）、高分解能画像の使用は、出力に有用な改良を提供せずに、ウェアラブルデバイスのソフトウェアおよびハードウェアシステムにより多くの需要を課し得る。処理時間の観点から、ウェアラブルデバイス上の需要、サンプリング周波数、電力消費、および他のメトリックを最小限にするために、眼結像機から取得される画像の分解能は、そのオリジナル分解能または他の用途で使用される分解能（例えば、眼追跡）に関して、眼球周囲特徴を検出および識別するために必要な最小分解能にダウンサンプリングされてもよい。例えば、眼カメラは、ユーザの視線方向を追跡する目的のために、ユーザの眼を結像してもよい。眼カメラによって取得される画像は、ユーザの顔とウェアラブルデバイスとの間の相対的位置の決定において使用するために、ウェアラブルデバイスによってダウンサイズされることができる。本実装は、ウェアラブルデバイスが、相対的位置を決定するために、眼球周囲領域の詳細な高分解能情報を必要としない場合があるため、有利であり得る。
いくつかの状況では、ウェアラブルデバイスは、眼カメラの分解能を動的に変化させることができる。眼カメラの分解能は、タイミング、ユーザの眼に対するデバイス位置、または捕捉された画像の意図される使用に基づいて選択されてもよい。例えば、ユーザの顔のより大きい部分がユーザの顔のモデルを構築する際の使用のために結像されるように、正常静止使用位置よりさらに離れた距離からユーザの顔の画像を捕捉することが有利であり得る。これらの画像は、ユーザがウェアラブルデバイスを着けるにつれて最良に捕捉されることが決定され得る。眼カメラの分解能は、ユーザの顔全体の高分解能写真がユーザの顔のモデルを生成する際に使用するために利用可能であるように、ユーザがウェアラブルデバイスを着けているとき、高分解能に設定されてもよい。ウェアラブルデバイスが、ユーザ上にある間、眼カメラの分解能は、眼カメラが、他の処理用途を減速させずに、ウェアラブルデバイスが定位置にあるかどうかを持続的に試験し得るように、低分解能に設定されてもよい。種々の実施形態では、低分解能は、高分解能よりある係数分だけ小さくてもよく、係数は、１未満、例えば、０．５、０．２５、０．１、またはそれ未満である。
（眼球周囲領域の一部のマスクの実施例）
図１２Ｂは、眼球周囲領域１２７０の例示的画像を図示し、画像内の眼球周囲領域の一部は、ウェアラブルデバイスによってマスクされる。本実施例では、眼カメラは、眼球周囲領域１２７０の画像１２００ｂを入手する。画像１２００ｂは、眼球周囲領域１２７０が、眉毛１２２０ｂ、眼１２１０ｂ、および鼻１２３０ｂ、頬１２４０ｂ、および前額１２５０ｂの部分を含み得ることを示す。
眼球周囲領域の画像１２００ｂの一部は、マスクされ（例えば、画像分析から無視または別様に除外される等）、眼の生物学的状態から生じる変動（眼姿勢の変化、散瞳、瞬目等）を低減させてもよい。眼色、眼球の位置等の眼の特性もまた、異なる人々間で高度に変動し得るものであり得る。これらの変動は、眼の生物学的状態に関連する変数と組み合わせて、ウェアラブルデバイスが、ウェアラブルデバイスの位置がユーザの眼に対して変化したどうかを決定するにつれて、雑音および誤差を導入し得る。したがって、結像されている眼球周囲領域の高度に変動し得る部分をマスクすることは、誤差を低減させ得る、また、画像を分析するために必要とされる算出量を低減させ得る。例えば、図１２に示されるように、眼球周囲領域１２７０に示される眼１２１０ｂの中心エリア１２１２は、画像分析の間、無視されるように、マスクされてもよい。いくつかの実施形態では、中心エリア１２１２は、眼の虹彩および／または強膜を含む。その結果、ウェアラブルデバイスは、眼球周囲領域の中心エリア１２１２における情報を分析しない一方、エリア１２１２内の無視されるピクセルを囲繞する眼球周囲領域の画像１２００ｂを分析するであろう。中心エリア１２１２は、眼球周囲特徴または眼球周囲特徴の特性を使用して、自動的に画定および境界されてもよい。
眼球の暴露される部分上に生じる鏡面反射もまた、マスクされることができる。本実装は、特に、ユーザの顔とウェアラブルデバイスとの間の相対的位置を決定するとき、正確度を改良するために有利である。ユーザが、環境内で動き回るにつれて、ユーザの眼からの鏡面反射も、ユーザが見ている場所等の生物学的要因に基づいて、変化し得、また、ユーザに現在見えているもの、環境光源の変化、光源までの距離の変化等、外部要因に基づいても、変化し得る。しかしながら、鏡面反射の変化は、常時ではないが、時として、ユーザの顔とウェアラブルデバイスとの間の相対的位置の変化に起因し得る。したがって、ユーザの眼とウェアラブルデバイスとの間の相対的位置を決定する目的のために、信頼性がない場合があるため、本情報を無視する（または分析しない）ことが有利であり得る。
（眼球周囲特徴の識別の実施例）
ウェアラブルデバイスは、眼カメラによって入手された画像を使用して、機械学習モデルを訓練し、眼球周囲領域内の眼球周囲特徴を識別することができる。ウェアラブルデバイスはまた、オブジェクト認識装置７０８（図７に説明される）を使用して、識別を実施してもよい。オブジェクト認識装置７０８は、眼カメラによって入手された画像から訓練された機械学習モデルを実装してもよい。眼球周囲領域は、片眼または両眼と関連付けられてもよい。機械学習モデルは、あるグループの人々に一般的または個人に特有の眼球周囲特徴または眼球周囲特徴と関連付けられた特性を使用して訓練されてもよい。例えば、ウェアラブルデバイスは、ユーザの眉毛および眼窩等の眼球周囲特徴の特性に基づいて、機械学習モデルを訓練することができる。別の実施例として、ウェアラブルデバイスは、ユーザと同一または類似民族性および性別を有する他の人々の眼球周囲特徴および／または眼球周囲特徴の関連付けられた特性を使用して、機械学習モデルを訓練することができる。
眼球周囲特徴の検出および識別は、ニューラルネットワーク技法（疎密オートエンコーダまたは類似クラスタ化技法もしくは多くの隠れ層を使用した深層ニューラルネットワーク等）または他の機械学習アルゴリズムを使用して、自動的に実施されてもよい。いくつかの実装では、機械学習モデルは、その用途に基づいてカスタマイズされてもよい。例えば、機械学習モデルが、ウェアラブルデバイスがユーザの顔にフィットしているかどうかを決定するために使用される場合、機械学習モデルは、眉毛および眼球の場所等の眼球周囲特徴の詳細な特性を識別するように訓練されてもよい。別の実施例として、機械学習モデルが、ユーザがウェアラブルデバイスを除去したかどうか検出するために使用される場合、機械学習モデルは、ユーザの顔の眼球周囲特徴の詳細な特性を学習する必要がない場合がある。むしろ、ユーザの眼窩および鼻等の眼球周囲特徴の最小セットを識別することで十分であり得る。
（ＨＭＤとユーザの顔との間の相対的位置の決定の実施例）
ウェアラブルデバイスは、ウェアラブルデバイス上のカメラによって捕捉された画像内の眼球周囲領域内の眼球周囲特徴を識別することができ、識別された眼球周囲特徴およびその特性を使用して、ウェアラブルデバイスとユーザの顔との間の相対的位置を決定してもよい。ある実施形態では、ウェアラブルデバイスは、ウェアラブルデバイスとユーザとの間の相対的位置を眼毎に別個に計算することができる。例えば、ウェアラブルデバイスが、それぞれ、ユーザの片方の眼球周囲領域を結像するように構成される、２つの眼カメラを有するとき、ウェアラブルデバイスは、左眼と左眼カメラとの間の１つの相対的位置と、右眼と右眼カメラとの間の別の相対的位置とを計算してもよい。左眼とウェアラブルデバイスとの間および右眼とウェアラブルデバイスとの間の相対的位置が、次いで、計算されてもよい。いくつかの実施形態では、眼とウェアラブルデバイスとの間の距離の計算はまた、視野、焦点距離等のカメラ自体についての既知の技術的詳細に加え、ウェアラブルデバイス上の眼カメラの位置についての既知の幾何学的情報に依存し得る。
ウェアラブルデバイスが、個別の眼に関する相対的位置を別個に追跡し得る間、ウェアラブルデバイスはまた、両眼とウェアラブルデバイスとの間の相対的位置情報を組み合わせるように構成されてもよい。代替として、ウェアラブルデバイスは、ユーザの左および右眼の両方を同時に結像可能な１つの眼カメラを含んでもよい。他の実施形態では、ウェアラブルデバイス上の１つの眼カメラは、片眼のみの眼球周囲領域を結像してもよく、そこから、ユーザに対するＨＭＤの相対的位置データが外挿され得る。２つより多いまたはより少ないカメラが、ユーザの１つ以上の眼球周囲領域を結像するために使用されてもよく、使用されるカメラの数は、カメラの技術的仕様と、特定の用途または追跡アルゴリズムのために必要とされる画像の所望のタイプおよび数に依存し得る。
本明細書にさらに説明されるように、ユーザの顔とウェアラブルデバイスとの間の相対的位置は、位置偏移がウェアラブルデバイスとユーザとの間に生じたかどうかを決定するために使用されることができる。いくつかの実施形態では、位置偏移の検出は、レンダリングされた仮想コンテンツがユーザの眼と正しく整合し得るように、ウェアラブルデバイスのディスプレイに、仮想オブジェクトのレンダリング場所を調節させ得る。左眼とウェアラブルデバイスとの間の相対的位置は、右眼とウェアラブルデバイスとの間の相対的位置と異なり得る（ウェアラブルデバイスが片側に傾斜するとき等）ため、仮想オブジェクトのレンダリング場所に対する調節は、左眼ディスプレイおよび右眼ディスプレイに関して異なり得る。
図１３Ａ－１３Ｃは、ユーザの顔に対して種々の例示的相対的位置を有する、ウェアラブルデバイスからの眼球周囲領域の実施例を図示する。ウェアラブルデバイスは、ＨＭＤであってもよい。図１３Ａは、左および右瞳孔中心１３１８ａ、１３１８ｂと整合しているＨＭＤの基準線１３１４によって示されるように、ＨＭＤ（図示せず）がユーザの顔に対してその正常静止位置にある、実施例を図示する。図１３Ｂは、ＨＭＤが図１３Ａの正常静止位置と比較して片側に傾斜された実施例を図示する。図１３Ｃは、ＨＭＤが図１３Ａの正常静止位置と比較して前方に傾斜または偏移された（例えば、ＨＭＤがユーザの鼻の下方に滑動している）実施例を図示する。これらの例示的図では、ユーザ１３１０は、ＨＭＤを装着しており、これは、眼球周囲領域１３１２ａ、１３１２ｂを結像するための少なくとも２つの眼カメラを有する。図１３Ａに示されるように、一方の眼カメラは、眼球周囲領域１３１２ａを結像するように構成される一方、他方の眼カメラは、眼球周囲領域１３１２ｂを結像するように構成される。しかしながら、より多いまたはより少ない眼カメラも、ユーザの１つ以上の眼球周囲領域を捕捉するために使用されてもよい。例えば、十分な視野を有する、１つの眼カメラは、両眼球周囲領域１３１２ａ、１３１２ｂを結像してもよい。これらの実施例では、正常静止位置は、ＨＭＤと関連付けられる。いくつかの実装では、正常静止位置は、ユーザの眼と関連付けられてもよい。
ウェアラブルデバイスは、ＨＭＤとユーザとの間の相対的位置を決定するために、一方または両方の眼カメラによって取得される画像を分析することができる。ＨＭＤは、ＨＭＤの正常静止位置を決定し、正常静止位置からの位置逸脱に基づいて、ユーザに対するＨＭＤの相対的の位置を決定することができる。ＨＭＤの正常静止位置は、ウェアラブルデバイスの初期化位相の間、決定および較正されてもよい。例えば、ユーザが、最初に、ウェアラブルデバイスを使用するとき、ウェアラブルデバイスは、顔モデル（例えば、ユーザの顔のマップ）を構築し、顔モデルに基づいて、ＨＭＤの正常静止位置を決定してもよい。図１４Ａおよび１４Ｂを参照してさらに説明されるように、ＨＭＤが正常静止位置にあるとき、ＨＭＤは、仮想オブジェクトのレンダリング場所を調節する必要がない場合がある。さらに、ＨＭＤは、ＨＭＤが正常静止位置（例えば、図１３Ａ参照）にあるとき、それがユーザの顔にフィットしていることを決定することができる。ＨＭＤは、ユーザの顔上へのＨＭＤのフィット感を自動的に査定するために使用され得る、１つ以上のフィット感の良好度パラメータ（下記にさらに説明される）を決定することができる。フィット感の良好度パラメータは、例えば、ＨＭＤとユーザの眼との間の相対的距離、ユーザの顔上のＨＭＤの傾斜または偏移量、瞳孔間距離（ＩＰＤ）、ディスプレイに対する瞳孔の中心の場所、瞳孔に対するＨＭＤの基準線の位置等のうちの１つ以上のものを含むことができる。
ユーザが、ウェアラブルデバイスを使用している間、ウェアラブルデバイスは、種々の技法を使用して、ＨＭＤとユーザとの間の相対的位置を追跡することができる。例えば、ウェアラブルデバイスは、眼球周囲特徴と関連付けられた視覚的特徴点を識別および追跡することができる。眼球周囲特徴と関連付けられた視覚的特徴点の移動は、ユーザの眼および顔に対するＨＭＤの相対的運動を示し得る。いくつかの実施形態では、ウェアラブルデバイスはまた、ユーザの顔の稠密マップに対して入手された画像内で識別されるような顔の領域を合致させ、顔に対するＨＭＤの場所を算出することができる。別の実施例として、ＨＭＤは、ＨＭＤ（または眼カメラ等のＨＭＤのコンポーネント）からユーザ１３１０の眼までの距離を検出または計算してもよい。ＨＭＤの距離が、ある距離閾値を超える場合（例えば、ＨＭＤが近すぎないまたは遠すぎないとき）、ＨＭＤは、ＨＭＤがユーザ１３１０にあまり良好にフィットしていないことを決定し得、ピクセルのレンダリング場所が調節される必要があることを決定し得る。他方では、ＨＭＤとユーザの眼との間の検出または計算される距離が、閾値範囲内にある場合、ウェアラブルデバイスは、ＨＭＤがユーザに容認可能にフィットしており、ピクセルが調節される必要がないであろうことを決定し得る。
ＨＭＤは、ユーザの眼に対して非対称的に偏移する場合がある。例えば、ＨＭＤは、図１３Ｂに示されるように、片側に傾斜し得る。そのような位置では、ＨＭＤと左眼との間で検出または計算される距離は、ＨＭＤと右眼との間で検出または計算される距離と異なり得る。例えば、図１３Ｂに示されるように、ユーザの右眼１３２４ｂとＨＭＤとの間の距離は、ユーザの左眼１３２４ａとＨＭＤとの間の距離より小さくあり得る。ＨＭＤは、ＨＭＤが傾斜されている方向を計算し、および／または傾斜の程度を計算するためのキューとして、本差異を使用してもよい。傾斜の方向および程度は、ユーザの眼に対するＨＭＤの傾斜に適応するために必要であるレンダリング場所調節の方向および大きさを決定するために使用されてもよい。
別の実施例として、ＨＭＤは、ＨＭＤのフィット感および／またはユーザの眼に対するＨＭＤの場所を決定するためのパラメータのうちの１つとして、ＩＰＤを使用してもよい。ＨＭＤは、眼カメラから取得される画像に基づいて、ユーザのＩＰＤを検出および／または計算可能であり得る。いくつかの実施形態では、ＨＭＤ上の眼カメラの幾何学的場所の知識、眼カメラの配向についての詳細、ならびにカメラ視野、焦点距離、および他の技術的詳細についての情報もまた、ユーザＩＰＤを計算する際に使用されてもよい。
ＨＭＤは、ユーザ１３１０のために容認可能なＩＰＤ範囲を取得してもよい（例えば、瞳孔間距離の容認可能値を記憶するデータベースにアクセスすることによって）。容認可能瞳孔間距離は、ユーザ１３１０のために具体的に決定された距離または距離の範囲であってもよい、またはあるグループの人々からのデータに基づいて決定されてもよい。ＨＭＤは、ユーザのＩＰＤと容認可能ＩＰＤ範囲を比較することができる。ユーザのＩＰＤ１３１６と容認可能瞳孔間距離との間の相違が、閾値を超える場合、ＨＭＤは、ＨＭＤがユーザにあまり良好にフィットしていないことを決定し得る。他方では、相違が容認可能範囲内である場合、ＨＭＤは、ＨＭＤがユーザに適正にフィットしていることを決定し得る。ＨＭＤフィット感が容認可能であると決定された場合、レンダリング調節は、不必要である。しかしながら、ＨＭＤフィット感が不適正である場合、ＨＭＤは、レンダリングを調節し、準最適フィット感に適応してもよい。
例えば、典型的成人男性に関する瞳孔間距離は、約６５ｍｍであり得る。容認可能ＩＰＤ値は、特定の年齢、性別、および／または人種のユーザのための平均値に基づいてもよい。例えば、ＨＭＤは、ユーザが成人男性であることを示すユーザ情報を取得してもよい。本情報は、６５ｍｍ等の成人男性ユーザに関する容認可能ＩＰＤ値を取得するために使用されてもよい。いくつかの実施形態では、ＨＭＤは、所与のユーザに関する容認可能ＩＰＤ値に基づいて、容認可能ＩＰＤ範囲を計算してもよい。上記の実施例を継続すると、容認可能ＩＰＤ範囲は、容認可能ＩＰＤ値（６５ｍｍ）±容認可能ＩＰＤ値の選択された距離またはパーセンテージであってもよい。選択された距離は、例えば、±５ｍｍまたは±１０ｍｍであって、それぞれ、容認可能ＩＰＤの範囲６０ｍｍ～７０ｍｍおよび５５ｍｍ～７５ｍｍを与えてもよい。ＩＰＤのパーセンテージは、例えば、±５％または±１０％であって、それぞれ、容認可能ＩＰＤの範囲６１．７５ｍｍ～６８．２５ｍｍおよび５８．５ｍｍ～７１．５ｍｍを与えてもよい。任意の距離またはパーセンテージ値が、容認可能ＩＰＤ範囲を決定するために選択されてもよい。
いくつかの実装では、瞳孔間距離は、サンプルグループの人々から計算されてもよい。例えば、ＨＭＤは、容認可能ＩＰＤ値または範囲を決定するために使用されるためのあるグループの人々に関する瞳孔間距離の平均値、期待値、または中央値（または他の統計的値）を計算することができる。サンプルは、ユーザの性別、人種、年齢等のユーザの特性を考慮し得る。例えば、ＨＭＤのユーザが、十代の女性である場合、ＨＭＤは、十代の女性のグループからのデータに基づいて、ユーザのための閾値瞳孔間距離を計算してもよい。瞳孔間距離に加え、またはその代替として、ＨＭＤはまた、眼球周囲分離等の他のパラメータに基づいて、閾値を計算することができる。
ウェアラブルデバイスはまた、ＨＭＤと顔との間の相対的位置を決定するために、ディスプレイに対する瞳孔（１３１８ａおよび１３１８ｂ）の相対的中心の検出された場所を使用することができる。図１３Ａでは、ディスプレイの中心が、線１３１４を参照することによって示される。図１３Ａに示されるように、ディスプレイの基準線１３１４は、瞳孔１３１８ａおよび１３１８ｂの中心と整合する。本実施例では、ＨＭＤは、ディスプレイの中心が瞳孔１３１８ａおよび１３１８ｂの中心と整合する場合、ＨＭＤがユーザにフィットしていることを決定し得る。ＨＭＤはさらに、瞳孔１３１８ａ、１３１８ｂとＨＭＤの基準線１３１４との間の整合が正しく、仮想オブジェクトのレンダリング場所に対する調節が必要とされないことを決定することができる。しかしながら、図１３Ｂでは、ＨＭＤは、片側に傾斜され、ディスプレイの中心１３１４は、瞳孔１３１８ａ、１３１８ｂの両方と整合しない。別の実施例として、図１３Ｃでは、ＨＭＤは、前方に傾斜され、または下向きに偏移され、その結果、ディスプレイの基準線１３１４は、瞳孔１３１８ａおよび１３１８ｂの中心に合致しない。いずれかまたは両方の状況では、ＨＭＤは、ＨＭＤとユーザとの間の相対的位置を示す信号を送信してもよい。信号は、ＨＭＤに、仮想オブジェクトのレンダリング場所を調節させることができる。いくつかの実施形態では、ＨＭＤは、アラートを提供し、フィット感の良好度のインジケーションをユーザに表示してもよい。ユーザに表示されるフィット感の良好度のインジケーションは、基準線１３１４と瞳孔１３１８ａ、１３１８ｂとの間の整合が改良されるように、ユーザに、瞳孔１３１８ａ、１３１８ｂに対してＨＭＤを調節する方法を知らせてもよい。
別の実施例では、眼カメラは、具体的には、ＨＭＤとユーザとの間の相対的位置のインジケータとして眼球中心を追跡してもよい。眼球中心場所は、ウェアラブルデバイスが、最大３次元（例えば、ｘ－、ｙ－、およびｚ－次元またはヨー、ピッチ、およびロール角度寸法）で生じる相対的傾斜、回転、および平行移動を決定することを可能にし得る。鏡面反射と関連付けられた誤差を低減させるために、具体的コンポーネントを伴う眼追跡カメラが、使用されてもよい。例えば、眼カメラは、赤外線（ＩＲ）発光ダイオード（ＬＥＤ）光を含んでもよい。眼カメラの動作パラメータおよび／またはＩＲ ＬＥＤ光はまた、鏡面反射によって生じる追跡誤差を低減または最小限にするように最適化されてもよい。例えば、ＩＲ ＬＥＤ光は、比較的に高パワーを伴う特定の波長の光をバーストするように動作されてもよい。最適化されたＩＲ波長は、約８００ｎｍ～９００ｎｍであってもよく、最適化されたパワーレベルは、約２．５ｍＡ～５０ｍＡの動作電流に対応してもよい。眼カメラの露光時間も、加えて、または代替として、誤差を低減させるように調節されてもよい。最適露光時間は、約４００マイクロ秒～８ｍｓであってもよい。眼カメラの動作パラメータを調節することに加えて、またはその代替として、フィルタリングステップが、反射によって生じる誤差を低減させるために実施されてもよい。これらの改良のうちの１つ以上のものの使用は、ウェアラブルデバイスが、他方の眼球周囲特徴に基づいて相対的位置を追跡するシステムより安定性かつ信頼性を伴って、眼球中心に対してウェアラブルデバイス場所を追跡することを可能にし得る。これは、特に、化粧が、眼瞼、眼角、睫毛長等の眼球周囲特徴を被覆するとき等、他方の眼球周囲特徴がウェアラブルデバイスにとって識別および追跡することが困難であるときに関連し得る。
いくつかの実施形態では、ＨＭＤは、ユーザの眼とウェアラブルデバイスとの間の相対的位置を決定するために、眼球周囲領域の画像内で観察される非対称性を使用することができる。例えば、図１３Ａでは、ＨＭＤは、眼球周囲領域の画像から、ユーザの眼が対称であることを決定し、故に、ＨＭＤが正常静止位置にあることを決定し得る。いくつかの実施形態では、他方の眼球周囲特徴は、２つの眼球周囲領域間の対称性を決定するために使用されてもよい。しかしながら、図１３Ｂでは、画像内で観察される眼球周囲領域１３２２ｂおよび１３２２ａは、同一眼球周囲特徴を有していない場合がある。いくつかの実施形態では、同一眼球周囲特徴が、眼球周囲領域１３２２ａ、１３２２ｂのそれぞれ内に存在し得るが、捕捉された画像内のその場所またはサイズは、変動し得る。例えば、眼球周囲領域１３２２ｂは、眼球周囲領域１３２２ａより大きい前額の部分を含み得る一方、眼球周囲領域１３２２ａは、眼球周囲領域１３２２ｂより大きい頬の部分を含み得る。その結果、ＨＭＤは、ＨＭＤがその正常静止位置に対して傾斜されていることを決定し得る。
眼球周囲領域１３１２ａおよび１３１２ｂを結像するための２つの眼カメラは、図１３Ａ－１３Ｃに示される実施例では、重複ＦＯＶを有していないが、いくつかの実施形態では、２つの眼カメラは、重複ＦＯＶを有してもよい。その結果、領域１３１２ａの一部は、領域１３１２ｂの一部と重複してもよい。本重複ＦＯＶは、ＨＭＤと顔との間の相対的位置を決定するために有用であり得る。例えば、ＨＭＤが、ユーザに対してその正常静止位置にある場合、重複ＦＯＶは、鼻の上部部分を含んでもよい。しかしながら、重複ＦＯＶ内の画像が、片眼の一部（鼻の上部部分の代わりに）を含む場合、ＨＭＤは、ＨＭＤが傾斜されていることを決定し得る。別の実施例として、画像が、鼻の大部分を含む場合、ＨＭＤは、それがユーザの鼻の下方に滑動していることを決定している。したがって、各眼球周囲領域または重複された眼球周囲領域内の眼球周囲特徴の存在または不在は、ユーザの眼および顔に対するＨＭＤの相対的位置のインジケーションを提供し得る。
これらの例示的要因は、ＨＭＤとユーザの顔との間の相対的位置を決定するために、単独で、または組み合わせて、使用されてもよい。例えば、ＨＭＤは、画像内の装着者の眼における非対称性を検出するが、ＨＭＤは、それにもかかわらず、瞳孔の相対的中心が傾斜を示さないため、正常静止位置にあると決定し得る。したがって、ＨＭＤは、１回を上回るチェックを実施し、ＨＭＤ／ユーザ不整合の誤ったインジケーションが、正しくなくかつ不必要に、レンダリング場所における調節をトリガしないように、ＨＭＤの位置を決定可能であり得る。
ＨＭＤは、種々のアルゴリズムを使用して、相対的位置を決定することができる。例えば、ウェアラブルシステムは、ＳＩＦＴ、ＳＵＲＦ、ＯＲＢ、ＦＲＥＡＫ、ＢＲＩＳＫを使用して、視覚的特徴点および相対的位置を追跡することができる。シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）またはバンドル調整の使用等のＶ－ＳＬＡＭ技法もまた、採用されてもよい。カメラが、深度知覚（立体視、構造化された光投影、飛行時間測定、または任意の他の手段のいずれかによって）が可能である（単独で、またはデータを複数のカメラから統合することによってのいずれかで）場合、稠密マップが、顔の全体または一部から構築されてもよい。そのような稠密マップは、その３次元形状が測定される、パッチまたは領域を備えることができる。そのような領域は、マッチング（例えば、反復最近傍点アルゴリズムまたは類似物を用いて）によって、顔に対するＨＭＤの場所を算出するために使用されてもよい。ＨＭＤは、ＨＭＤとユーザの顔との間の相対的位置を決定するために、顔のモデル（例えば、ＨＭＤの初期化位相の間に構築される）を使用することができる。
ＨＭＤとユーザの顔との間の相対的位置を決定することに加え、またはその代替として、ウェアラブルデバイスはまた、ＨＭＤの姿勢を決定することができる。姿勢は、ある程度または距離の片側または前方への傾斜、もしくはユーザの頭部を中心とした時計回りまたは反時計回り方向における回転等、ユーザの顔に対するものであってもよい。ウェアラブルデバイスは、ＨＭＤとユーザの顔との間の相対的位置に関する情報を使用して、ＨＭＤの姿勢を決定することができる。ウェアラブルデバイスはまた、ＨＭＤの姿勢を、直接、ウェアラブルデバイスの１つ以上のカメラによって入手された画像から決定することができる。
（仮想オブジェクトのレンダリング場所の調節）
ＨＭＤとユーザの顔との間の相対的位置またはＨＭＤの姿勢は、仮想オブジェクトのレンダリング場所に対する調節を算出するために使用されてもよい。
図１４Ａおよび１４Ｂは、ＨＭＤ内の仮想オブジェクトのレンダリング場所の調節の実施例を図示する。これらの実施例では、ＨＭＤは、ＳＡＲディスプレイであることができる。図１４Ａでは、眼１４１０は、眼座標系１４１２と関連付けられ、ＨＭＤ１４２０は、レンダリング座標系１４２２と関連付けられる。本実施例では、眼座標系１４１２内のｕ－軸は、レンダリング座標系１４２２内のｘ－軸に対応し、眼座標系１４１２内のｖ－軸は、レンダリング座標系１４２２内のｙ－軸に対応し、眼座標系１４１２内のｗ－軸は、レンダリング座標系１４２２内のｗ－軸に対応する。レンダリング座標系のｘ－ｙ－ｚ座標の別の実施例は、図６に示される。これらの実施例では、座標系は、デカルト座標系を使用して図示されるが、例えば、極座標系等の他のタイプの座標系もまた、本明細書に説明される技法と併用されてもよい。
図１４Ａでは、眼が、位置１４１４ａにあるとき、ユーザは、仮想オブジェクト１４３０をレンダリング座標系１４２２内の位置１４２４ａにおいて知覚することができる（文字「ｐ」によって表される）。位置１４１４ａは、（ＨＭＤ１４２０に対する）眼１４１０またはＨＭＤ１４２０の正常静止位置を表し得る。いくつかの実装では、ウェアラブルデバイス１４２０に関する対応する位置１４２４ａは、仮想オブジェクトの正常レンダリング位置とも称され得る。図１４Ｂでは、眼は、眼座標系１４１２内のｕ－軸に沿って位置１４１４ａから位置１４１４ｂに移動することによって、その正常静止位置から逸脱する。本逸脱は、ＨＭＤの移動の結果であり得る。例えば、ＨＭＤが、前方に傾斜する、または片側に移動し得るとき、ＨＭＤとユーザの眼との間の相対的位置は、変化し得る。ウェアラブルデバイスは、同様に、ＨＭＤの傾斜に基づいて、仮想オブジェクトのレンダリング場所を動的に更新することができる。実施例として、ＨＭＤ１４２０は、仮想オブジェクト１４３０のレンダリング場所をレンダリング座標系１４２２内のｘ－軸に沿って位置ｐ１４２４ａから位置ｐ＊１４２４ｂに偏移させ得る。偏移は、図１４Ａおよび１４Ｂでは、眼１４１０の移動前および後、仮想オブジェクト１４３０をユーザの環境内の同一場所に現れさせ得る。故に、ユーザは、仮想オブジェクトのレンダリングが動的に調節され、ＨＭＤ移動を補正し、それによって、改良されたユーザ体験を提供するため、ＨＭＤがユーザの頭部上で若干偏移または移動したことを知覚しないであろう。
図２を参照して説明されるように、ＳＡＲシステムは、仮想オブジェクトをユーザの眼の視点からレンダリングすることができる。ユーザの眼と関連付けられたレンダリング視点は、ＯｐｅｎＧＬまたはＤｉｒｅｃｔＸ内の仮想カメラ等、レンダリングシステム内の仮想カメラによって表されてもよい。仮想オブジェクトのレンダリング場所を調節するために、仮想カメラは、（ＨＭＤに対する）ユーザの眼またはＨＭＤの正常静止位置の変位に基づいて、変位または回転されてもよい。調節量は、ユーザの顔とＨＭＤとの間の相対的位置の変化の割合であってもよい。例えば、仮想カメラの変位は、ＨＭＤまたはユーザの眼の移動の比率（等０．２、０．４、０．６等）であり得る。
実施例として、図１４Ａおよび１４Ｂに示されるように、ウェアラブルデバイスは、仮想カメラの位置を位置ｐ１４２４ａから位置ｐ＊１４２４ｂに更新し、位置１４１４ａから位置１４１４ｂへの眼移動に対応することができる。別の実施例として、ＨＭＤは、ユーザの鼻の下方への摺動に起因して、前方に傾斜し得る。その結果、ＨＭＤは、傾斜に対応する仮想カメラに関する調節を計算してもよい。本実施例では、ＨＭＤは、眼１４１０とＨＭＤ１４２０との間の相対的位置がｗ－軸およびｖ－軸の両方に沿って変化し得るため、レンダリング座標系１４２２内のｚ値ならびにｙ値を調節してもよい。さらに別の実施例として、ＨＭＤは、ＨＭＤに対する眼の位置がｖ－軸およびｕ－軸に沿って変化し得るように、片側に傾斜し得る（右または左等）。故に、ウェアラブルデバイスは、ｙ－軸および／またはｘ－軸に沿って仮想カメラを調節することができる。
仮想カメラの位置は、調節されるため、ユーザのＦＯＶ内の仮想オブジェクトのレンダリング場所もまた、適宜、調節され得る。加えて、または代替として、ウェアラブルデバイスは、ユーザの顔とＨＭＤとの間の相対的位置変化を調節するために、レンダリング座標系を偏移させる（例えば、図１４ＡおよびＢに示されるｘ－ｙ－ｚ座標を偏移させる）ことができる。例えば、図１４Ｂでは、レンダリング座標系１４２２の偏移は、ＨＭＤに対するような眼１４１０の移動に対応してもよい。座標偏移の結果、仮想オブジェクト１４３０は、依然として、レンダリング座標系１４２２内の同一位置にあり得る。仮想オブジェクト１４３０はまた、環境内の物理的オブジェクトに対して同一場所に現れ得る。座標系の変位は、ｘ－ｙ平面、ｙ－ｚ平面、またはｘ－ｚ平面等の平面座標系の変位であってもよい、または３Ｄ空間内の変位であってもよい。
レンダリング座標系の偏移は、仮想カメラまたは仮想オブジェクトの偏移の近似であってもよい。いくつかの状況では（特に、微調節のために）、本近似は、仮想カメラを変位させることによって生成された調節に十分に近接し得る。加えて、座標偏移は、仮想オブジェクトの位置を計算するコストを低減させ、それによって、ウェアラブルデバイスの性能を増加させるために有利であり得る。また、遅延を低減させるために有利であり得る。例えば、座標偏移は、未補正座標のためのレンダリングパイプラインが完了後に行われてもよく、ＨＭＤは、仮想画像がレンダリング座標系にマッピングされる直前に、座標偏移を適用することができる。
いくつかの状況では、相対的位置の変化が、閾値レベルを超えると、ウェアラブルデバイスは、仮想オブジェクトのレンダリング場所を調節する代わりに、相対的位置変化を示すアラートを生成してもよい。他の状況では、相対的位置の変化が、閾値レベル未満であるとき、ウェアラブルデバイスは、相対的位置のそのようなわずかな変化がユーザの視覚的体験に影響を及ぼし得ないため、仮想オブジェクトのレンダリング場所を調節しないように構成されてもよい。本明細書に説明される動的レンダリング調節は、周期的に（例えば、全ての０．５秒、１秒、５秒、１０秒、３０秒等）、または必要に応じて（例えば、ＨＭＤ相対的位置偏移が閾値量を上回るとき）、実施されることができる。
（仮想オブジェクトのレンダリング場所を調節する例示的プロセス）
図１６は、仮想オブジェクトのレンダリング場所を調節するための例示的プロセスを図示する。図１６におけるプロセス１６００は、ウェアラブルデバイスによって実施されてもよく、これは、仮想オブジェクトを物理的オブジェクトの中にユーザの眼の視点から提示し、ユーザの眼球周囲領域を結像するように構成される、内向きに面した結像システムを含み得る、ＨＭＤを含んでもよい。
ブロック１６１０では、ウェアラブルデバイスは、内向きに面した結像システムによって取得される画像を受信することができる。例えば、ウェアラブルデバイスは、画像を内向きに面した結像システムの両方の眼カメラから受信することができる。いくつかの実装では、内向きに面した結像システムは、１つのみの眼カメラを含んでもよい。眼カメラは、片眼の眼球周囲領域または両眼に関する眼球周囲領域を結像するように構成されてもよい。画像は、ビデオからの静止画像またはフレームであることができる（例えば、典型的には、内向きに面した結像システムは、ビデオカメラを備える）。
ブロック１６２０では、ウェアラブルデバイスは、画像を分析し、眼球周囲特徴を識別することができる。例えば、ウェアラブルデバイスは、１つのみの画像または一連の画像（そのような分析を行うためのビデオ等）を使用してもよい。図１１、１２Ａ、および１２Ｂを参照して説明されるように、ウェアラブルデバイスは、眼球周囲特徴を一連の３Ｄ特徴点または稠密マップ内に表してもよい。ウェアラブルデバイスは、深層ニューラルネットワーク等の機械学習モデルを使用して、関連眼球周囲特徴を識別することができる。
ブロック１６３０では、ウェアラブルデバイスは、ＨＭＤとユーザの頭部との間の相対的位置を決定することができる。例えば、ウェアラブルデバイスは、ウェアラブルデバイスによって入手された一連の画像内の眼球周囲特徴と関連付けられた特徴点を追跡することができる。ウェアラブルデバイスはまた、ＨＭＤとユーザの顔との間の相対的位置を決定するために、眼球周囲の領域と稠密マップ内の領域を合致させることができる。別の実施例として、ウェアラブルデバイスは、ユーザと内向きに面した結像システムとの間の距離を使用して、ＨＭＤが傾斜している（側方または前方に）かどうかを決定してもよい。左眼に関して計算される距離が、右眼に関して計算される距離と異なる場合、ウェアラブルデバイスは、ＨＭＤが片側に傾斜されていることを決定し得る。左眼および右眼と関連付けられた距離が、ほぼ同一であるが、その距離が、閾値距離を超える場合、ウェアラブルデバイスは、それがユーザの眼から離れているため、前方に傾斜していることを決定し得る。
ユーザの眼とＨＭＤとの間の距離に加え、またはその代替として、ウェアラブルデバイスはまた、ユーザとＨＭＤとの間の相対的位置を決定するために、単独で、または組み合わせて、他の要因を使用することができる。これらの要因は、瞳孔とディスプレイの中心との間の整合、ユーザの眼の非対称性等を含んでもよい。
ブロック１６４０では、ウェアラブルデバイスは、少なくとも部分的に、ＨＭＤとユーザの顔との間の相対的位置に基づいて、仮想オブジェクトのレンダリング場所を調節することができる。例えば、ウェアラブルデバイスは、眼の現在の位置を決定し、眼とＨＭＤとの間の相対的位置に基づいて、調節を計算することができる。調節は、眼またはＨＭＤの正常静止位置に対するものであってもよい。調節は、水平偏移、垂直偏移、深度偏移、または側方傾斜等の１つ以上の方向におけるものであってもよい。ウェアラブルデバイスは、仮想カメラがユーザの眼の視点に対応し得る場合、レンダリングシステムの仮想カメラの場所を更新し、調節を反映させることができる。ウェアラブルデバイスはまた、ＨＭＤのレンダリング座標系を偏移させ、調節を反映させることができる。
ブロック１６５０では、ＨＭＤは、仮想オブジェクトを調節されたレンダリング場所にレンダリングする。仮想オブジェクトは、仮想オブジェクトと関連付けられた照明されたピクセルがＨＭＤ上で偏移され得る場合でも、調節に起因して、ユーザの環境内の同一場所で知覚され得る。
いくつかの状況では、ウェアラブルデバイスは、ユーザが動き回るにつれて、ＨＭＤの位置が変化し得る（例えば、ＨＭＤがユーザの鼻の下方に摺動し得る）ため、ユーザがＨＭＤを装着している間、持続的にまたは周期的に（例えば、０．５秒、１秒、１０秒、１分毎等）、ユーザの頭部に対するＨＭＤの位置を監視することができる。ウェアラブルデバイスは、周期的または持続的に、もしくは必要に応じて、ＡＲまたはＶＲディスプレイを変化させ（仮想オブジェクトと関連付けられたピクセルまたは場所を調節する等）、ＨＭＤとユーザの頭部との間の相対的位置の変化を補償してもよい。本実装は、特に、３Ｄディスプレイがユーザの頭部上の特定の場所に常に位置することを要求せずに、３Ｄビューを維持するために有利であり得る。故に、ウェアラブルデバイスは、ＡＲまたはＶＲディスプレイからの光（例えば、ライトフィールド）の投影を動的に調節し、ＨＭＤがユーザの頭部上に位置付けられる場所を補償することができる。
（眼鏡のフィット感）
ＨＭＤは、種々の要因を使用して、ＨＭＤがユーザにフィットしている程度を決定することができる。一実施例として、ＨＭＤは、機械学習技法を介して学習されたマッピングを適用することによって、眼カメラによって取得される画像を分析することができる。眼カメラによって入手された画像は、機械学習モデルを使用して訓練され、眼球周囲特徴を識別することができる。機械学習モデルは、ＨＭＤに関するフィット感空間に対する画像空間のマッピングを含むことができる。マッピングは、眼画像に適用され、眼球周囲領域が眼画像内に存在するかどうか（例えば、ＨＭＤがユーザの顔上にあるかどうかを決定するために）またはユーザの顔上のＨＭＤのフィット感の品質を決定することができる。いくつかの実装では、１つのマッピングは、ウェアラブルデバイスのフィット感を分類するためと、眼球周囲領域が提示するかどうかを決定するための両方に使用されてもよい、または異なるマッピングが、フィット感およびＨＭＤがユーザの顔上にあるかどうかのために使用されてもよい。
マッピングは、例えば、画像内の眼球周囲特徴の出現（例えば、両眼に関する眼球周囲特徴が非対称に現れるかどうか）、片眼または両眼からＨＭＤまでの距離、瞳孔間距離（例えば、ユーザのための適切な瞳孔間距離を伴う画像に基づいて計算される瞳孔間距離を比較する）、または瞳孔の相対的中心（例えば、ＨＭＤのディスプレイの中心が瞳孔の中心と整合するかどうか）等のフィット感を決定するために、種々のパラメータを組み込んでもよい。
画像空間は、眼球周囲領域の画像または眼球周囲領域内の特徴の画像を含んでもよい。ＨＭＤに関するフィット感空間は、瞳孔間距離、瞳孔とディスプレイの中心との間の整合、ユーザの眼の非対称性、ＨＭＤの傾斜等を含んでもよい。機械学習モデルは、マッピングが、眼画像に適用され、フィット感の品質（例えば、良好、容認可能、不良、または等級、例えば、Ａ－Ｆ、または数値によるフィット感スコア）を決定し得るように、フィット感の良好度の予測因子である、特徴を識別することができる。ＨＭＤが、ユーザの顔に着けられている、またはそこから外されているかどうかを決定するためのマッピングは、ブール値（例えば、オンまたはオフ）であってもよい。
種々の機械学習アルゴリズムが、本プロセスのために使用されてもよい。モデルを生成および更新するために使用され得る、機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（等例えば、ｋ－平均クラスタリング）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ等）、次元低減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。
いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、基本モデルを生成することができる。基本モデルは、開始点として使用され、データタイプ（例えば、特定のユーザ）、データセット（例えば、取得される付加的画像のセット）、条件付き状況（例えば、ゲームプレーの間のフィット感は、インターネットブラウジングの間のフィット感と異なり得る）、または他の変数に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルデバイスは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値の使用を含んでもよい。経時的に、ウェアラブルデバイスは、モデルを更新し続けることができる。
ＨＭＤは、定量的および／または定質的測定値を使用して、フィット感を決定することができる。例えば、ＨＭＤは、ＨＭＤとユーザとの間の相対的位置に基づいて、またはＨＭＤの姿勢に基づいて、フィット感を示すスコアを生成することができる。スコアは、機械学習技法を介して学習されたマッピングの出力であってもよい。いくつかの実装では、高スコアは、ＨＭＤがユーザに良好にフィットしていることを示し得る一方、低スコアは、ＨＭＤがあまり良好にフィットしていないことを示し得る。他の実装では、高スコアは、ＨＭＤがユーザに良好にフィットしていないことを示し得る一方、低スコアは、ＨＭＤが良好にフィットしていることを示し得る。別の実施例として、ＨＭＤは、それがユーザにフィットしている程度をカテゴリ化する。カテゴリは、「良好フィット感」、「不良フィット感」、または「全くフィットしていない」を含んでもよい。カテゴリはまた、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」等の文字等級であってもよい。カテゴリはまた、機械学習技法から学習されたマッピングの出力であってもよい。例えば、マッピングは、眼球周囲特徴の出現とフィット感のカテゴリとの間の相関を含んでもよい。ウェアラブルデバイスは、眼カメラによって入手された画像から決定されるような眼球周囲特徴の出現に基づいて、フィット感のあるカテゴリを出力することができる。
（ウェアラブルデバイスのフィット感を決定するための例示的プロセス）
図１５Ａは、ウェアラブルデバイスのフィット感を決定するための例示的方法を図示する。プロセス１５００ａは、図２および４を参照して説明されるＨＭＤ等のウェアラブルデバイスによって実施されてもよい。ＨＭＤは、ユーザの眼球周囲領域を結像するように構成される、内向きに面した結像システムを有してもよい。
ブロック１５０２では、ＨＭＤは、内向きに面した結像システムによって取得される画像を受信することができる。例えば、ＨＭＤは、内向きに面した結像システムの両方の眼カメラに関する画像を受信することができる。いくつかの実装では、内向きに面した結像システムは、１つのみの眼カメラを含んでもよい。眼カメラは、片眼の眼球周囲領域または両眼に関する眼球周囲領域を結像するように構成されてもよい。画像は、ビデオからの静止画像またはフレームであることができる（例えば、典型的には、内向きに面した結像システムは、ビデオカメラを備える）。
ブロック１５０４では、ＨＭＤは、画像を分析し、眼球周囲特徴を識別することができる。例えば、ＨＭＤは、１つのみの画像または一連の画像（そのような分析を行うためのビデオ等）を使用してもよい。図１１および１２Ａ－Ｂを参照して説明されるように、ＨＭＤは、眼球周囲特徴を一連の３Ｄ点内に表してもよい。ＨＭＤは、深層ニューラルネットワーク等の機械学習モデルを使用して、関連眼球周囲特徴を識別することができる。
ブロック１５０６では、ＨＭＤは、ＨＭＤとユーザの頭部との間の相対的位置を決定することができる。例えば、ＨＭＤは、画像を分析し、１つ以上の眼球周囲特徴が画像内に現れるかどうかを決定することができる。眼球周囲特徴が画像内に現れていない場合、ＨＭＤは、ユーザが現在ＨＭＤを装着していないことを決定し得る。眼球周囲特徴が、画像内に現れる場合、ＨＭＤは、ＨＭＤがユーザの顔に適切にフィットしているかどうかを分析することができる。例えば、ＨＭＤは、ユーザと内向きに面した結像システムとの間の距離を使用して、ＨＭＤが傾斜している（側方または前方に）かどうかを決定してもよい。実施例として、左眼に関して計算される距離が、右眼に関して計算される距離と異なる場合、ＨＭＤは、ＨＭＤが片側に傾斜されていることを決定し得る。別の実施例として、左眼および右眼と関連付けられた距離が、ほぼ同一であるが、その距離が、閾値距離を超える場合、ＨＭＤは、ユーザの眼から離れているため、それが前方に傾斜していることを決定し得る。
ユーザの眼とＨＭＤとの間の距離に加え、またはその代替として、ＨＭＤはまた、ユーザとＨＭＤとの間の相対的位置を決定するために、単独で、または組み合わせて、他の要因を使用することができる。これらの要因は、瞳孔間距離、瞳孔とディスプレイの中心との間の整合、ユーザの眼の非対称性等を含んでもよい。
ブロック１５０８では、ＨＭＤは、相対的位置に基づいて、フィット感カテゴリを決定することができる。本明細書に説明されるように、機械学習されたマッピングが、眼画像に適用され、フィット感の良好度を決定することができる。ＨＭＤは、フィット感を「良好フィット感」、「不良フィット感」、および「全くフィットしていない」等の異なるカテゴリに分類することができる。ＨＭＤはまた、ユーザインターフェースを通して、フィット感カテゴリを示すことができる。例えば、ＨＭＤは、ＨＭＤが不良にフィットしているとき、警告サインを提供してもよい。別の実施例として、ＨＭＤは、ＨＭＤが良好にフィットしている場合、インジケータをユーザインターフェース内に提供してもよい。いくつかの実装では、ＨＭＤは、フィット感と関連付けられたスコアを提供してもよい。ＨＭＤは、ユーザインターフェースを介して、スコアをユーザに表示することができる。いくつかの実施形態では、フィット感カテゴリはそれぞれ、スコアの範囲と関連付けられてもよい。ＨＭＤは、故に、スコアが所与の範囲内にあるかどうかかどうかに基づいて、ユーザにフィット感カテゴリを知らせることができる。
いくつかの状況では、ＨＭＤは、ユーザが動き回るにつれて、ＨＭＤの位置が変化し得る（例えば、ＨＭＤがユーザの鼻の下方に摺動し得る）ため、ユーザがＨＭＤを装着している間、持続的にまたは周期的に（例えば、１秒、１０秒、１分毎等）、ユーザの頭部に対するＨＭＤの位置を監視することができる。ＨＭＤは、ＡＲまたはＶＲディスプレイを変化させ（仮想オブジェクトと関連付けられたピクセルまたは場所を調節する等）、ＨＭＤとユーザの頭部との間の相対的位置の変化を補償してもよい。本実装は、特に、３Ｄディスプレイがユーザの頭部上の特定の場所に常に位置することを要求せずに、３Ｄビューを維持するために有利であり得る。故に、ＨＭＤは、ＡＲ／ＶＲ／ＭＲディスプレイからの光（例えば、ライトフィールド）の投影を動的に調節し、ＨＭＤがユーザの頭部上に位置付けられる場所を補償することができる。
（眼鏡の除去）
図１３Ａ、１３Ｂ、および１３Ｃを参照して説明されるように、ウェアラブルデバイスは、内向きに面した結像システムによって入手された画像を分析し、種々の要因を使用して、ウェアラブルデバイスが側方または前方に傾斜しているかどうか等、ユーザとウェアラブルデバイスとの間の相対的位置を決定することができる。
相対的位置に関する情報はまた、ユーザが現在ウェアラブルデバイスを装着しているかどうかを決定するために使用されることができる。例えば、ウェアラブルデバイスは、内向きに面した結像システムによって入手された画像内の眼球周囲特徴を識別することができる。ウェアラブルデバイスが、任意の眼球周囲特徴を識別しない場合、ウェアラブルデバイスは、ユーザがウェアラブルデバイスを装着していないことを決定し得る。他の状況では、ウェアラブルデバイスは、ユーザの眼球周囲特徴の存在度に基づいて、ユーザがウェアラブルデバイスを除去している尤度を計算してもよい。例えば、ウェアラブルデバイスは、画像内の眼球周囲特徴が十分に小さく（例えば、閾値サイズを下回る）、デバイスがユーザの頭部から除去されていることを決定してもよい。別の実施例として、ウェアラブルデバイスは、ユーザがウェアラブルデバイスを除去しているパーセンテージ尤度を計算し、パーセンテージ尤度と閾値を比較してもよい。パーセンテージ尤度が、閾値を上回る場合、ウェアラブルシステムは、ウェアラブルデバイスがユーザの頭部から除去されていることを示し得る。他方では、ウェアラブルシステムは、ユーザが依然としてウェアラブルデバイスを装着しているパーセンテージ尤度を計算し、その値をユーザがウェアラブルデバイスを装着している尤度に関する閾値に対して比較することができる。パーセンテージ尤度が閾値を下回る場合、ウェアラブルデバイスは、ユーザがウェアラブルデバイスを除去していることを決定し得る。
別の実施例として、ウェアラブルデバイスは、内向きに面した結像システムによって入手された一連の画像を分析することができる。例えば、眼球周囲特徴が一連の画像内の最初のいくつかの画像の中に現れていないが、内向きに面した結像システムは、後に入手された画像内で眼球周囲特徴を発見し得る。その結果、ウェアラブルデバイスは、ユーザがウェアラブルデバイスを着けたばかりであることを決定し得る。他方では、眼球周囲特徴は、最初に、画像内に現れ得るが、ウェアラブルデバイスは、後に、眼球周囲特徴がもはや本ＦＯＶ内にない（または十分に小さい）ことを発見する。ウェアラブルデバイスは、次いで、ユーザがウェアラブルデバイスを外したことを決定し得る。
加えて、または代替として、ウェアラブルデバイスは、距離、眼球周囲特徴のサイズ、および／または他の要因を使用して、ウェアラブルデバイスが、定位置にある、または除去されているかどうかを決定してもよい。例えば、ウェアラブルデバイスは、眼球周囲特徴を画像内で検出し得るが、眼球周囲特徴は、あまりに小さく現れ得る。その結果、ウェアラブルデバイスは、ウェアラブルデバイスとユーザとの間の距離が、ユーザが現在ウェアラブルデバイスを装着していないほど十分に遠くあり得ることを決定し得る。
ウェアラブルデバイスは、ユーザとウェアラブルデバイスとの間の相対的位置を決定するために、内向きに面した結像システムとともに、他のセンサを使用することができる。例えば、ウェアラブルデバイスは、ＩＭＵ（例えば、加速度計またはジャイロスコープ）等の本明細書に説明されるセンサを使用して、ウェアラブルデバイスの移動を検出してもよい。本移動の情報は、画像分析とともに使用され、ユーザが、ウェアラブルデバイスを外している、または着けているかどうかを決定してもよい。実施例として、ウェアラブルデバイスは、内向きに面した結像システムを使用して、一連の画像を入手しながら、ウェアラブルデバイスの加速を検出してもよい。ウェアラブルデバイスが、眼球周囲領域を一連の画像の初期画像内に検出しない場合、ウェアラブルデバイスは、ユーザがデバイスを着けていることを決定し得る。他方では、眼球周囲領域が、内向きに面した結像システムによって入手された画像内にあって、ウェアラブルデバイスが、ウェアラブルデバイスの加速を検出する場合、ウェアラブルデバイスは、ユーザがウェアラブルデバイスを除去していることを決定し得る。
別の実施例として、ウェアラブルデバイスは、圧力センサを有してもよい。圧力センサは、眼鏡のこめかみ（イヤホン等）またはウェアラブルデバイスの鼻パッドに位置してもよい。ウェアラブルデバイスが、ユーザの顔に着けられているとき、圧力センサは、ウェアラブルデバイスがユーザに触れていることを示す信号を送信してもよい。他方では、ユーザがウェアラブルデバイスを外しているとき、圧力センサは、もはやユーザに圧接していないことを示唆する、データを入手し得る。本情報は、内向きに面した結像システムによって入手された画像と組み合わせられ、ユーザが、ウェアラブルデバイスを外している、または着けているかどうかを決定してもよい。
いったんウェアラブルデバイスが、ユーザの頭部から除去されたことを決定すると、ウェアラブルデバイスは、適宜、ウェアラブルデバイスがユーザから除去されると、ウェアラブルデバイスの１つ以上の機能をオフにする、または電力節約モードに入らせる、信号を送信してもよい。他方では、ウェアラブルデバイスが、ユーザがデバイスを着けていることを決定すると、ウェアラブルデバイスは、ウェアラブルデバイスの機能（ＡＲ／ＶＲ／ＭＲディスプレイのアクティブ化等）をオンにする、信号を送信してもよい。
ウェアラブルデバイスはまた、ウェアラブルデバイスおよびユーザの眼の相対的位置に基づいて、３Ｄディスプレイを調節することができる。例えば、ウェアラブルデバイスが、デバイスがユーザの鼻の下方に滑動していることを検出すると、ウェアラブルデバイスは、ピクセルの場所を偏移させる、または３Ｄユーザインターフェース内の仮想オブジェクトの位置を変化させ、本位置変化に適応してもよい。本実装は、ユーザがその環境内で動き回る間、現実的かつ安定した３Ｄディスプレイを提供し得る。
ウェアラブルデバイスは、眼球周囲領域が画像内に現れるかどうかを持続的に監視することができる。ウェアラブルデバイスはまた、内向きに面した結像システムによって入手された一連の画像間の画像を選択し、眼球周囲領域がその画像内に現れるかどうかを決定することができる。連続監視は、緊密に離間される時間インターバルで生じることができ、これは、周期的（例えば、毎秒、１０秒毎、毎分、１５分毎等）であってもよい。
いくつかの実施形態では、内向きに面した結像システムは、そのＦＯＶ内の画像を持続的に取得してもよい。しかしながら、内向きに面した結像システムはまた、トリガに応答して、結像を開始または停止してもよい。例えば、ウェアラブルデバイスは、ユーザがウェアラブルデバイスを着けていることを検出すると、ユーザの顔の画像を開始するように構成されてもよい。ウェアラブルデバイスは、検出のために、加速度計および／またはジャイロスコープ等の図２および７を参照して説明される、種々のセンサを使用することができる。センサによって入手されたデータは、閾値レベルに対して分析されてもよい。データが、閾値レベルに達する場合、ウェアラブルデバイスは、結像プロセスを開始または停止してもよい。実施例として、ユーザが、ウェアラブルデバイスを持ち上げると、ウェアラブルデバイスの加速度計は、ウェアラブルデバイスの加速に関するデータを入手してもよい。ウェアラブルデバイスが、加速がある閾値加速を超えることを決定する場合、ウェアラブルデバイスは、ユーザの顔の画像を開始してもよい。いったんユーザが、ウェアラブルデバイスを、例えば、その頭部上に着けると、加速は、減少し得る。ウェアラブルデバイスが、加速がある閾値まで低減したことを決定する場合、ウェアラブルデバイスは、ユーザの顔の画像の取得を停止してもよい。
別のトリガは、ウェアラブルデバイスとユーザとの間の距離であってもよい。例えば、センサは、音響または光学信号等の信号を放出および受信し、信号または信号のフィードバックを使用して、距離を測定してもよい。ウェアラブルデバイスはまた、内向きに面した結像システムによって入手された画像を分析することによって、距離を決定してもよい。例えば、ウェアラブルデバイスは、画像内の顔のサイズに基づいて、距離を計算してもよく、大サイズは、短距離を示し得る一方、小サイズは、長距離を示し得る。ウェアラブルデバイスは、距離が閾値を超える、またはある範囲内にあるとき、ユーザを結像してもよい。例えば、ウェアラブルデバイスは、ウェアラブルデバイスがユーザまでのある距離内にあるときのみ、ユーザを結像してもよい。
（ウェアラブルデバイスの除去を決定するための例示的プロセス）
図１５Ｂは、ウェアラブルデバイスの除去を決定するための例示的方法を図示する。図１５Ｂにおけるプロセス１５００ｂは、図２および４を参照して説明されるＨＭＤ等のウェアラブルデバイスによって実施されてもよい。ＨＭＤは、ユーザの眼球周囲領域を結像するように構成される、内向きに面した結像システムを有してもよい。
ブロック１５１０では、内向きに面した結像システムは、一連の画像を入手することができる。ＨＭＤは、内向きに面した結像システムによって入手された画像を受信することができる。一連の画像は、シーケンスで撮影されてもよい。例えば、一連の画像は、ビデオの異なるタイムスタンプにおける画像のフレームを含んでもよい。
ブロック１５２０では、ＨＭＤは、ブロック１５１０において入手された１つ以上の画像を分析し、眼球周囲特徴を識別することができる。図１１および１２Ａ－Ｂを参照して説明されるように、眼球周囲特徴は、顔特徴の数学的表現（３Ｄ空間毎の点等）であってもよい。ＨＭＤは、深層ニューラルネットワーク等の機械学習技法を使用して、眼球周囲特徴を識別することができる。
いくつかの実装では、ＨＭＤは、入射画像の分解能を低減させ、または画像の一部（虹彩および強膜を含む、眼球周囲領域の中心部分等）を無視し、それによって、画像処理速度を増加させてもよい。これらの実装は、眼球周囲領域の中心部分が、ＨＭＤがユーザ上にあるかどうかの決定に有意に影響を及ぼし得ない、詳細な特性を有し得るため、有利であり得る。さらに、強膜は、環境内のオブジェクトの鏡面反射を作成し得る。これらの鏡面反射および眼球周囲領域の詳細な特性は、雑音を機械学習モデルに導入し、分析の正確度を低減させ得る。
ブロック１５３０では、ＨＭＤは、眼球周囲特徴が入手された画像内に現れていないかどうかを決定することができる。ＨＭＤが、１つ以上の眼球周囲特徴が入手された画像内に現れていないことを決定する場合、ＨＭＤは、ブロック１５３２において、ＨＭＤがユーザの頭部から除去されていることを示す信号を発することができる。信号は、ＨＭＤに、電源をオフにさせ、またはスリープモードに入らせ、バッテリ電力消費を低減させてもよい。信号はまた、ＨＭＤに、ある機能の実施を停止させてもよい。例えば、信号は、ＨＭＤに、ＶＲまたはＡＲモードをオフにさせてもよい。発せられる信号は、電子信号であり得るが、加えて、または代替として、ユーザへの警告として、可聴または可視信号を含んでもよい。
ＨＭＤが、ブロック１５４０において、眼球周囲領域が画像のサブセット内のみに現れることを決定する場合、ＨＭＤは、ブロック１５４２において、ＨＭＤに関する状態の変化を示し得る。例えば、ＨＭＤは、眼球周囲特徴が、初期画像内に現れるが、後の画像には現れないことを決定し得る。本決定に基づいて、ＨＭＤは、ユーザがＨＭＤを外したことを示し得る。いくつかの実装では、ＨＭＤは、ユーザがＨＭＤを外したことを示す信号を送信してもよく、これは、ブロック１５３２に示されるものと同一アクションを実施させ得る。
他方では、ＨＭＤは、眼球周囲特徴が後の画像のみに現れることを検出し得る。故に、ＨＭＤは、ユーザがデバイスを着けていることを決定し得る。本決定に応答して、ＨＭＤは、ＨＭＤの仮想現実または拡張現実機能をオンにする、ユーザログインシーケンスを開始する、内向きに面した結像システムの分解能を変化させる（例えば、眼追跡または虹彩認識のためにより好適な分解能に）、または他のアクションを実施し、本状態変化を反映させてもよい。
しかしながら、ＨＭＤが、眼球周囲特徴を最初に入手された画像と後に入手された画像の両方において検出する場合、ＨＭＤは、ブロック１５４４において、ユーザが現在ＨＭＤを装着していることを決定し得る。故に、ＨＭＤは、随意に、ブロック１５１０を実施してもよい。
実施例は、眼球周囲領域の検出を参照して説明されるが、本明細書に説明されるこれらの技法は、眼球周囲領域に限定されない。例えば、本明細書に説明される技法はまた、他の顔特徴またはユーザの身体の一部を検出するためにも使用されることができる。加えて、図１５Ｂに示されるブロックは、いくつかのブロックが、別のブロックの前、後、またはそれと同時に実施されてもよいため、シーケンスにおいて実施されることを要求されない。例えば、決定ブロック１５４０は、決定ブロック１５３０の後に実施されることを要求されない。さらに、方法１５００ｂは、図１５Ｂに示される全てのブロックを含むことを要求されず、方法１５００は、より多いまたはより少ないブロックを含んでもよい。例えば、図１５Ｂにおける１つ以上のブロック（ブロック１５３０および１５４０等）は、単一ブロックにおいて組み合わせられてもよい。
（眼球周囲画像からウェアラブルデバイスとユーザの顔との間の相対的位置へのマッピングを生成する例示的プロセス）
図１５Ｃは、機械学習技法を適用し、フィット感の良好度に関するマッピングまたはＨＭＤがユーザ上にあるかどうかを提供するための方法１５００ｃの実施例である。ブロック１５５２では、眼画像が、アクセスされ、これは、教師ありまたは教師なし学習において訓練画像として使用され、マッピングを生成するために使用され得る。ブロック１５５４では、機械学習技法（例えば、深層ニューラルネットワーク）が、眼画像を分析し、ユーザ上のＨＭＤのフィット感の品質またはＨＭＤ除去カテゴリ化（例えば、ユーザの頭部上にあるまたはない）のために使用され得る、マッピングを展開するために使用される。ブロック１５５６では、マッピングが、出力され（例えば、訓練されたニューラルネットワークから出力される）、特定のＨＭＤ（例えば、ローカルデータモジュール２６０または遠隔データリポジトリ２８０）と関連付けられたメモリ内に記憶されることができる。ブロック１５６２では、付加的眼画像が、アクセスされることができ、これは、ユーザに特定のものであってもよい。例えば、ユーザは、鏡の正面に立ち、ＨＭＤをユーザの顔上で移動させ、結果として生じるフィット感の品質のユーザの主観的印象を注釈することができる。ブロック１５６４では、機械学習技法は、例えば、ニューラルネットワークをさらに訓練することによって、マッピングを更新し、ユーザの個々の選好を反映させる。
ブロック１５６６では、ＨＭＤは、ユーザに、ユーザの頭部上のＨＭＤの測定されたフィット感の品質についての情報を提供することができる。例えば、ＨＭＤは、品質等級をユーザに表示する、またはフィット感の品質を示す可聴信号を発してもよい。ＨＭＤは、ユーザの頭部上のＨＭＤのフィット感を改良する方法に関する命令をユーザに表示（または可聴命令を提供）し、付加的眼画像を入手し（ブロック１５６２）、更新されたフィット感の品質を決定してもよい（ブロック１５６４）。ＨＭＤは、ユーザの頭部上のＨＭＤのフィット感の品質が容認可能または最適レベルになるまで、これを繰り返してもよい。故に、ＨＭＤは、ユーザを品質適合プロシージャを通して誘導し、特定のユーザの頭部を上のＨＭＤのフィット感が好適であることを確実にし得る。ＨＭＤは、特定のユーザがＨＭＤを初めて着けたときに、周期的に、または測定されたフィット感の品質が閾値を下回る（例えば、Ａ－Ｆ等級スケールに基づいて、品質等級がＣを下回る）ときに、本品質適合プロシージャを実施してもよい。
ブロック１５６２、１５６４、１５６６は、随意であるが、有利なレベルのユーザのカスタマイズを提供する。さらに、マッピングは、ＨＭＤの数人のユーザ毎に、カスタマイズされることができる（例えば、家族は、単一ＨＭＤの使用を共有し得、家族の１人ずつにマッピングをカスタマイズすることができる）。
（付加的側面）
第１の側面では、ユーザの頭部からの頭部搭載型ディスプレイの除去を検出するための方法であって、コンピュータプロセッサと、ユーザの眼球周囲領域を結像するように構成される、内向きに面した結像システムとを備える、頭部搭載型ディスプレイの制御下で、画像を内向きに面した結像システムから受信するステップと、画像を分析し、画像内の眼球周囲領域の眼球周囲特徴の存在度を識別するステップと、少なくとも部分的に、眼球周囲特徴の存在度に基づいて、頭部搭載型ディスプレイがユーザの頭部から除去された尤度を決定するステップと、尤度が閾値を超えたことの決定に応答して、頭部搭載型ディスプレイがユーザの頭部から除去されたことのインジケーションを提供するステップとを含む、方法。
第２の側面では、内向きに面した結像システムは、２つの眼カメラを備え、各眼カメラは、ユーザの個別の眼を結像するように構成される、側面１に記載の方法。
第３の側面では、眼球周囲領域は、ユーザの眼窩、鼻の一部、頬の一部、眉毛の一部、または前額の一部のうちの１つ以上のものを含む、側面１－２のいずれか１項に記載の方法。
第４の側面では、画像を分析するステップは、疎密オートエンコーダアルゴリズム、クラスタリングアルゴリズム、深層ニューラルネットワーク、または任意のタイプのニューラルネットワークによって実施される、側面１－３のいずれか１項に記載の方法。
第５の側面では、少なくとも部分的に、眼球周囲特徴の存在度に基づいて、頭部搭載型ディスプレイがユーザの頭部から除去された尤度を決定するステップは、頭部搭載型ディスプレイのユーザに特有の眼球周囲特徴の存在を決定するステップを含む、側面１－４のいずれか１項に記載の方法。
第６の側面では、画像を分析するステップは、画像の分解能を低減させるステップを含む、側面１－５のいずれか１項に記載の方法。
第７の側面では、画像を分析するステップは、眼球周囲領域の一部をマスクするステップを含み、一部は、虹彩、眼の強膜、または眼球上の鏡面反射のうちの少なくとも１つを含む、側面１－６のいずれか１項に記載の方法。
第８の側面では、インジケーションを提供するステップは、頭部搭載型ディスプレイに、電源をオフにさせる、またはバッテリ節約モードに入らせる、信号を提供するステップを含む、側面１－７のいずれか１項に記載の方法。
第９の側面では、ユーザの頭部からの頭部搭載型ディスプレイの除去を検出するためのシステムであって、ユーザの眼球周囲領域を結像するように構成される、内向きに面した結像システムと、側面１－８のいずれか１項に記載の方法を実施するように構成される、コンピュータプロセッサとを備える、システム。
第１０の側面では、ユーザの頭部に対する頭部搭載型ディスプレイの場所を決定するための方法であって、コンピュータプロセッサと、ユーザの眼球周囲領域を結像するように構成される、内向きに面した結像システムとを備える、頭部搭載型ディスプレイの制御下で、第１の画像および第２の画像を内向きに面した結像システムから受信するステップであって、第１の画像および第２の画像は、シーケンスで入手される、ステップと、第１の画像および第２の画像を分析し、第１の画像および第２の画像内の眼球周囲領域の眼球周囲特徴を識別するステップと、少なくとも部分的に、眼球周囲特徴に基づいて、眼球周囲領域が第１の画像または第２の画像内にあるかどうかを決定するステップと、眼球周囲領域が第１の画像または第２の画像のいずれにも存在しないことの決定に応答して、頭部搭載型ディスプレイがユーザの頭部から除去されたことのインジケーションを提供するステップと、眼球周囲領域が第１の画像または第２の画像のいずれか内にあることの決定に応答して、頭部搭載型ディスプレイに関する状態の変化を示すステップとを含む、方法。
第１１の側面では、第１の画像は、第２の画像の前に入手される、側面１０に記載の方法。
第１２の側面では、内向きに面した結像システムは、２つの眼カメラを備え、それぞれ、ユーザの眼を結像するように構成される、側面１０－１１のいずれか１項に記載の方法。
第１３の側面では、眼球周囲領域は、ユーザの眼窩、鼻の一部、頬の一部、眉毛の一部、または前額の一部のうちの１つ以上のものを含む、側面１０－１２のいずれか１項に記載の方法。
第１４の側面では、眼球周囲特徴を識別するステップは、深層ニューラルネットワーク、疎密オートエンコーダアルゴリズム、クラスタリングアルゴリズム、または任意のタイプのニューラルネットワークによって実施される、側面１０－１３のいずれか１項に記載の方法。
第１５の側面では、眼球周囲特徴は、頭部搭載型ディスプレイのユーザに特有である、側面１０－１４のいずれか１項に記載の方法。
第１６の側面では、第１の画像および第２の画像を分析するステップは、第１の画像および第２の画像の分解能を低減させるステップを含む、側面１０－１５のいずれか１項に記載の方法。
第１７の側面では、第１の画像および第２の画像を分析するステップは、第１の画像および第２の画像内において、眼球周囲領域の一部をマスクするステップを含み、一部は、虹彩、眼の強膜、または眼球上の鏡面反射のうちの少なくとも１つを含む、側面１０－１６のいずれか１項に記載の方法。
第１８の側面では、頭部搭載型ディスプレイに関する状態の変化を示すステップは、電源をオフにするステップまたはバッテリ節約モードに入るステップを含む、側面１０－１７のいずれか１項に記載の方法。
第１９の側面では、頭部搭載型ディスプレイの状態は、頭部搭載型ディスプレイがユーザの頭部上にあること、または頭部搭載型ディスプレイがユーザの頭部から除去されていることを含む、側面１０－１８のいずれか１項に記載の方法。
第２０の側面では、眼球周囲特徴が、第１の画像内で識別されるが、第２の画像では識別されないことの決定に応答して、頭部搭載型ディスプレイの状態をユーザの頭部上にある状態からユーザの頭部から除去されている状態に変化させ、眼球周囲特徴が、第２の画像内で識別されるが、第１の画像では識別されないことの決定に応答して、頭部搭載型ディスプレイの状態をユーザの頭部から除去されている状態からユーザの頭部上にある状態に変化させる、側面１９に記載の方法。
第２１の側面では、ユーザの頭部に対する頭部搭載型ディスプレイの場所を決定するためのシステムであって、ユーザの眼球周囲領域を結像するように構成される、内向きに面した結像システムと、側面１０－２０のいずれか１項に記載の方法を実施するように構成される、コンピュータプロセッサとを備える、システム。
第２２の側面では、ユーザの頭部上の頭部搭載型ディスプレイのフィット感を決定するための方法であって、コンピュータプロセッサと、ユーザの眼球周囲領域を結像するように構成される、内向きに面した結像システムとを備える、頭部搭載型ディスプレイの制御下で、画像を内向きに面した結像システムから受信するステップと、画像を分析し、眼球周囲領域の眼球周囲特徴を識別するステップと、少なくとも部分的に、画像の分析に基づいて、頭部搭載型ディスプレイとユーザの頭部との間の相対的位置を決定するステップと、少なくとも部分的に、頭部搭載型ディスプレイとユーザの頭部との間の相対的位置に基づいて、頭部搭載型ディスプレイのフィット感カテゴリを決定するステップとを含む、方法。
第２３の側面では、内向きに面した結像システムは、２つの眼カメラを備え、各眼カメラは、ユーザの個別の眼を結像するように構成される、側面２２に記載の方法。
第２４の側面では、眼球周囲領域は、ユーザの眼窩、鼻の一部、頬の一部、眉毛の一部、または前額の一部のうちの１つ以上のものを含む、側面２２－２３のいずれか１項に記載の方法。
第２５の側面では、眼球周囲特徴は、頭部搭載型ディスプレイのユーザに特有である、側面２２－２４のいずれか１項に記載の方法。
第２６の側面では、眼球周囲特徴は、クラスタリングアルゴリズムまたはニューラルネットワークアルゴリズムのうちの少なくとも１つを使用して識別される、側面２２－２５のいずれか１項に記載の方法。
第２７の側面では、相対的位置を決定するステップは、頭部搭載型ディスプレイからユーザの眼までの距離を計算するステップ、ユーザの眼間の瞳孔間距離を計算するステップ、頭部搭載型ディスプレイとユーザの眼との間の相対的位置を決定するステップ、ユーザの眼の非対称性を決定するステップ、または頭部搭載型ディスプレイの傾斜を決定するステップであって、傾斜は、前方傾斜または側方傾斜のうちの少なくとも１つを含む、ステップのうちの１つ以上のものを含む、側面２２－２６のいずれか１項に記載の方法。
第２８の側面では、フィット感カテゴリを決定するステップは、ＨＭＤとユーザの頭部との間の相対的位置と閾値条件を比較するステップと、少なくとも部分的に、相対的位置と閾値条件との間の比較に基づいて、フィット感カテゴリとＨＭＤを関連付けるステップとを含む、側面２２－２７のいずれか１項に記載の方法。
第２９の側面では、フィット感カテゴリは、良好フィット感、適正フィット感、または不良フィット感のうちの少なくとも１つを含む、側面２２－２８のいずれか１項に記載の方法。
第３０の側面では、フィット感カテゴリのインジケーションを提供するステップをさらに含み、インジケーションは、頭部搭載型ディスプレイに、頭部搭載型ディスプレイのディスプレイを調節し、相対的位置を補償すること、またはユーザにフィット感カテゴリと関連付けられたアラートを提供することのうちの少なくとも１つを実施させる、側面２２－２９のいずれか１項に記載の方法。
第３１の側面では、ユーザ上の頭部搭載型ディスプレイのフィット感を決定するためのシステムであって、ユーザの眼球周囲領域の画像にアクセスし、眼球周囲領域の画像とユーザ上の頭部搭載型ディスプレイのフィット感の良好度との間のマッピングにアクセスし、マッピングを適用し、頭部搭載型ディスプレイのフィット感の良好度を決定するようにプログラムされる、ハードウェアコンピュータプロセッサを備える、システム。
第３２の側面では、マッピングは、ニューラルネットワークによって生成される、側面３１に記載のシステム。
第３３の側面では、フィット感の良好度は、定質的格付け、数値格付け、または文字等級のうちの少なくとも１つを含む、側面３１－３２のいずれか１項に記載のシステム。
第３４の側面では、コンピュータプロセッサはさらに、フィット感の良好度が閾値レベルに達したことに応答して、補正アクションを実施するようにプログラムされる、側面３１－３３のいずれか１項に記載のシステム。
第３５の側面では、補正アクションを実施するために、コンピュータプロセッサは、インジケーションをユーザに提供する、または頭部搭載型ディスプレイのディスプレイを調節し、フィット感を補償するようにプログラムされる、側面３４に記載のシステム。
第３６の側面では、インジケーションをユーザに提供するために、コンピュータプロセッサは、フィット感の良好度の改良に関する命令をユーザに提供するようにプログラムされる、側面３５に記載のシステム。
第３７の側面では、インジケーションをユーザに提供するために、コンピュータプロセッサは、付加的眼画像にアクセスし、マッピングを付加的眼画像に適用し、更新されたフィット感の良好度を決定するようにプログラムされる、側面３４－３５のいずれか１項に記載のシステム。
第３８の側面では、コンピュータプロセッサは、更新されたフィット感の良好度が閾値を超えるまで、付加的眼画像にアクセスし、更新されたフィット感の良好度を決定し続けるようにプログラムされる、側面３７に記載のシステム。
第３９の側面では、仮想オブジェクトのレンダリング場所を調節するための拡張現実（ＡＲ）システムであって、仮想オブジェクトを３次元空間（３Ｄ）上にレンダリングするように構成されるＡＲディスプレイシステムと、ユーザの顔の眼球周囲部分を結像するように構成される、結像システムと、画像を結像システムから受信し、画像を分析し、ユーザの眼球周囲特徴を識別し、少なくとも部分的に、眼球周囲特徴に基づいて、ＡＲディスプレイシステムとユーザの頭部との間の相対的位置を決定し、少なくとも部分的に、ＡＲディスプレイシステムとユーザの頭部との間の相対的位置に基づいて、仮想オブジェクトのレンダリング場所を調節し、拡張現実ディスプレイシステムに、仮想オブジェクトをレンダリング場所にレンダリングするように命令するようにプログラムされる、ハードウェアプロセッサと、を備える、ＡＲシステム。
第４０の側面では、レンダリング場所を調節するために、ハードウェアプロセッサは、ユーザの眼の正常静止位置と、ユーザの眼の正常静止位置に対応する、仮想オブジェクトの正常レンダリング位置とを決定し、少なくとも部分的に、ＡＲディスプレイシステムとユーザの頭部との間の相対的位置に基づいて、仮想オブジェクトの正常レンダリング位置に対する補正を計算し、正常レンダリング位置に対する補正に基づいて、仮想オブジェクトのレンダリング場所を決定するようにプログラムされる、側面３９に記載のＡＲシステム。
第４１の側面では、ユーザの眼の正常レンダリング位置および仮想オブジェクトの正常レンダリング位置は、ＡＲシステムの開始位相の間に決定される、側面４０に記載のＡＲシステム。
第４２の側面では、ハードウェアプロセッサはさらに、画像を分析し、眼姿勢を決定するようにプログラムされ、ユーザの眼の位置は、ＡＲディスプレイシステム内のレンダリング視点に対応し、レンダリング場所を調節することは、ユーザの眼姿勢に基づいて、レンダリング視点の位置を更新することを含む、側面３９－４１のいずれか１項に記載のＡＲシステム。
第４３の側面では、レンダリング視点の位置を更新することは、ＡＲディスプレイシステムと関連付けられた座標を偏移させることを含む、側面４２に記載のＡＲシステム。
第４４の側面では、ＡＲディスプレイシステムは、仮想オブジェクトをユーザの眼の視点からレンダリングするように構成される、空間ＡＲディスプレイシステムを備える、側面３９－４３のいずれか１項に記載のＡＲシステム。
第４５の側面では、結像システムは、ユーザの環境を結像するように構成される、外向きに面した結像システムを備え、結像システムからの画像は、ユーザの顔の反射された結像を含む、側面３９－４４のいずれか１項に記載のＡＲシステム。
第４６の側面では、ＡＲディスプレイシステムとユーザの頭部との間の相対的位置は、水平偏移、垂直偏移、深度偏移、側方傾斜、または前方傾斜のうちの１つ以上のものを含む、側面３９－４５のいずれか１項に記載のＡＲシステム。
第４７の側面では、ＡＲディスプレイシステムとユーザの頭部との間の相対的位置は、ユーザの第１の眼に関する第１の相対的位置と、ユーザの第２の眼に関する第２の相対的位置とを含む、側面３９－４６のいずれか１項に記載のＡＲシステム。
第４８の側面では、相対的位置は、視覚的特徴点を使用して眼球周囲特徴を追跡すること、または顔の領域とユーザの頭部の少なくとも一部をエンコードする稠密マップを合致させることのうちの少なくとも１つによって決定される、側面３９－４７のいずれか１項に記載のＡＲシステム。
第４９の側面では、視覚的特徴点は、スケール不変特徴変換、スピードアップロバスト特徴、配向ＦＡＳＴおよび回転ＢＲＩＥＦ、バイナリロバスト不変スケーラブルキーポイント、または高速網膜キーポイントのうちの少なくとも１つを使用して算出される、または稠密マップは、反復最近傍点アルゴリズムを使用して計算される、側面４８に記載のＡＲシステム。
第５０の側面では、拡張現実デバイス（ＡＲＤ）内の仮想オブジェクトのレンダリング場所を調節するための方法であって、ハードウェアプロセッサと、仮想オブジェクトを３次元空間（３Ｄ）上にレンダリングするように構成される拡張現実ディスプレイシステムと、ユーザの顔の眼球周囲部分を結像するように構成される、結像システムとを備える、ＡＲＤの制御下で、画像を結像システムから受信するステップと、画像を分析し、ユーザの眼球周囲特徴を識別するステップと、少なくとも部分的に、眼球周囲特徴に基づいて、ＡＲＤとユーザの頭部との間の相対的位置を決定するステップと、少なくとも部分的に、ＡＲＤとユーザの頭部との間の相対的位置に基づいて、仮想オブジェクトのレンダリング場所を調節するステップと、拡張現実ディスプレイシステムによって、仮想オブジェクトをレンダリング場所にレンダリングするステップとを含む、方法。
第５１の側面では、レンダリング場所を調節するステップは、ユーザの眼の正常静止位置と、ユーザの眼の正常静止位置に対応する、仮想オブジェクトの正常レンダリング位置とを決定するステップと、少なくとも部分的に、ＡＲＤとユーザの頭部との間の相対的位置に基づいて、仮想オブジェクトの正常レンダリング位置に対する補正を計算するステップと、正常レンダリング位置に対する補正に基づいて、仮想オブジェクトのレンダリング場所を決定するステップとを含む、側面５０に記載の方法。
第５２の側面では、ユーザの眼の正常レンダリング位置および仮想オブジェクトの正常レンダリング位置は、ＡＲＤの開始位相の間に決定される、側面５１に記載の方法。
第５３の側面では、本方法はさらに、画像を分析し、眼姿勢を決定するステップを含み、ユーザの眼の位置は、拡張現実ディスプレイシステム内のレンダリング視点に対応し、レンダリング場所を調節するステップは、ユーザの眼姿勢に基づいて、レンダリング視点の位置を更新するステップを含む、側面５０－５２のいずれか１項に記載の方法。
第５４の側面では、レンダリング視点の位置を更新するステップは、拡張現実ディスプレイシステムと関連付けられた座標を偏移させるステップを含む、側面５３に記載の方法。
第５５の側面では、拡張現実ディスプレイシステムは、仮想オブジェクトをユーザの眼の視点からレンダリングするように構成される、空間拡張現実ディスプレイを備える、側面５２－５４のいずれか１項に記載の方法。
第５６の側面では、結像システムは、ユーザの環境を結像するように構成される外向きに面した結像システムを備え、結像システムからの画像は、ユーザの顔の反射された結像を含む、側面５０－５５のいずれか１項に記載の方法。
第５７の側面では、ＡＲＤとユーザの頭部との間の相対的位置は、水平偏移、垂直偏移、深度偏移、側方傾斜、または前方傾斜のうちの１つ以上のものを含む、側面５０－５６のいずれか１項に記載の方法。
第５８の側面では、ＡＲＤとユーザの頭部との間の相対的位置は、ユーザの第１の眼に関する第１の相対的位置と、ユーザの第２の眼に関する第２の相対的位置とを含む、側面５０－５７のいずれか１項に記載の方法。
第５９の側面では、相対的位置は、視覚的特徴点を使用して眼球周囲特徴を追跡すること、または顔の領域とユーザの頭部の少なくとも一部をエンコードする稠密マップを合致させることのうちの少なくとも１つによって決定される、側面５０－５８のいずれか１項に記載の方法。
第６０の側面では、視覚的特徴点は、スケール不変特徴変換、スピードアップロバスト特徴、配向ＦＡＳＴおよび回転ＢＲＩＥＦ、バイナリロバスト不変スケーラブルキーポイント、または高速網膜キーポイントのうちの少なくとも１つを使用して算出される、または稠密マップは、反復最近傍点アルゴリズムを使用して計算される、側面５９に記載の方法。
第６１の側面では、仮想オブジェクトのレンダリング場所を調節するための拡張現実デバイス（ＡＲＤ）であって、ＡＲＤは、仮想オブジェクトを３次元空間（３Ｄ）上にレンダリングするように構成される拡張現実ディスプレイシステムと、ユーザの画像を入手するように構成される、結像システムと、画像を結像システムから受信し、画像を分析し、ユーザの特徴を識別し、少なくとも部分的に、識別された特徴に基づいて、ユーザの頭部に対するＡＲＤに関する姿勢を算出し、拡張現実ディスプレイシステムに、少なくとも部分的に、ＡＲＤに関する姿勢に基づいて、仮想オブジェクトをレンダリング場所にレンダリングするように命令するようにプログラムされる、ハードウェアプロセッサとを備える。
第６２の側面では、画像は、眼球周囲画像を含み、特徴は、眼球周囲特徴を含む、側面６１に記載のＡＲＤ。
第６３の側面では、特徴は、視覚的特徴点またはユーザの顔モデルと関連付けられた稠密マップのうちの少なくとも１つによってエンコードされる、側面６１－６２のいずれか１項に記載のＡＲＤ。
第６４の側面では、ＡＲＤに関する姿勢を算出するために、ハードウェアプロセッサは、視覚的特徴点を追跡する、またはユーザの顔の領域と顔モデルを合致させるようにプログラムされる、側面６３に記載のＡＲＤ。
第６５の側面では、視覚的特徴点は、スケール不変特徴変換、スピードアップロバスト特徴、配向ＦＡＳＴおよび回転ＢＲＩＥＦ、バイナリロバスト不変スケーラブルキーポイント、または高速網膜キーポイントのうちの少なくとも１つを使用して算出される、または稠密マップは、反復最近傍点アルゴリズムを使用して計算される、側面６３－６５のいずれか１項に記載のＡＲＤ。
第６６の側面では、ＡＲＤに関する姿勢は、水平偏移、垂直偏移、深度偏移、側方傾斜、または前方傾斜のうちの１つ以上のものを含む、側面６１－６５のいずれか１項に記載のＡＲＤ。
第６７の側面では、拡張現実ディスプレイシステムに、少なくとも部分的に、ＡＲＤに関する姿勢に基づいて、仮想オブジェクトをレンダリング場所にレンダリングするように命令するために、ハードウェアプロセッサは、拡張現実ディスプレイシステム内の仮想カメラを変位させること、または拡張現実ディスプレイシステムと関連付けられたレンダリング座標系を偏移させ、ＡＲＤの姿勢に対応することのうちの少なくとも１つを実施するようにプログラムされる、側面６１－６６のいずれか１項に記載のＡＲＤ。
第６８の側面では、拡張現実ディスプレイシステムは、仮想オブジェクトをユーザの眼の視点からレンダリングするように構成される、空間拡張現実ディスプレイを備える、側面６１－６７のいずれか１項に記載のＡＲＤ。
第６９の側面では、拡張現実デバイス（ＡＲＤ）内の仮想オブジェクトのレンダリング場所を調節するための方法であって、ハードウェアプロセッサと、仮想オブジェクトを３次元空間（３Ｄ）上にレンダリングするように構成される拡張現実ディスプレイシステムと、結像システムとを備える、ＡＲＤの制御下で、画像を結像システムから受信するステップと、画像を分析し、ユーザの特徴を識別するステップと、少なくとも部分的に、識別された特徴に基づいて、ユーザの頭部に対するＡＲＤに関する姿勢を算出するステップと、少なくとも部分的に、ＡＲＤに関する姿勢に基づいて、拡張現実ディスプレイシステムによって、仮想オブジェクトをレンダリング場所にレンダリングするステップとを含む、方法。
第７０の側面では、画像は、眼球周囲画像を含み、特徴は、眼球周囲特徴を含む、側面６９に記載の方法。
第７１の側面では、特徴は、視覚的特徴点またはユーザの顔モデルと関連付けられた稠密マップのうちの少なくとも１つによってエンコードされる、側面６９－３０のいずれか１項に記載の方法。
第７２の側面では、ＡＲＤに関する姿勢を算出するステップは、視覚的特徴点を追跡するステップまたはユーザの顔の領域と顔モデルを合致させるステップを含む、側面３１に記載の方法。
第７３の側面では、視覚的特徴点は、スケール不変特徴変換、スピードアップロバスト特徴、配向ＦＡＳＴおよび回転ＢＲＩＥＦ、バイナリロバスト不変スケーラブルキーポイント、または高速網膜キーポイントのうちの少なくとも１つを使用して算出される、または稠密マップは、反復最近傍点アルゴリズムを使用して計算される、側面３１－３２のいずれか１項に記載の方法。
第７４の側面では、ＡＲＤに関する姿勢は、水平偏移、垂直偏移、深度偏移、側方傾斜、または前方傾斜のうちの１つ以上のものを含む、側面６９－７３のいずれか１項に記載の方法。
第７５の側面では、拡張現実ディスプレイシステムによって、少なくとも部分的に、ＡＲＤに関する姿勢に基づいて、仮想オブジェクトをレンダリング場所にレンダリングするステップは、拡張現実ディスプレイシステム内の仮想カメラを変位させるステップ、または拡張現実ディスプレイシステムと関連付けられたレンダリング座標系を偏移させ、ＡＲＤの姿勢に対応するステップのうちの少なくとも１つを含む、側面６９－７４のいずれか１項に記載の方法。
第７６の側面では、拡張現実ディスプレイシステムは、仮想オブジェクトをユーザの眼の視点からレンダリングするように構成される、空間拡張現実ディスプレイを備える、側面６９－７５のいずれか１項に記載の方法。
第７７の側面では、頭部搭載型デバイス（ＨＭＤ）であって、仮想オブジェクトをユーザの眼の視点からレンダリングするように構成される、空間拡張現実（ＡＲ）ディスプレイシステムと、ユーザの顔の眼球周囲領域を結像するように構成される、内向きに面した結像システムであって、眼球周囲領域の少なくとも第１の画像を入手するように構成され、さらに、第１の画像内で捕捉された眼球周囲領域の一部をマスクするように構成される、内向きに面した結像システムと、画像を内向きに面した結像システムから受信し、オブジェクト認識装置によって、画像を分析し、ユーザの眼球周囲特徴を識別し、ユーザの眼の正常静止位置と、ユーザの眼の正常静止位置に対応する、仮想オブジェクトの正常レンダリング位置とを決定し、少なくとも部分的に、眼球周囲特徴に基づいて、ＨＭＤとユーザの頭部との間の相対的位置を決定し、少なくとも部分的に、ＨＭＤとユーザの頭部との間の相対的位置に基づいて、仮想オブジェクトの正常レンダリング位置に対する調節を計算し、正常レンダリング位置に対する調節に基づいて、仮想オブジェクトのレンダリング場所を決定し、ＨＭＤに、仮想オブジェクトをレンダリング場所にレンダリングするように命令するようにプログラムされる、ハードウェアプロセッサとを備える、ＨＭＤ。ある実装では、内向きに面した結像システムはまた、第１の画像を低減された分解能で入手するように構成されることができる。
第７８の側面では、プロセッサは、ＨＭＤの初期化位相の間、ユーザの眼の正常静止位置と、仮想オブジェクトの正常レンダリング位置とを決定するように構成される、側面７７に記載のＨＭＤ。
第７９の側面では、ＨＭＤとユーザの頭部との間の相対的位置を決定するために、プロセッサは、視覚的特徴点を使用して眼球周囲特徴を追跡すること、または顔の領域とユーザの頭部の少なくとも一部をエンコードする稠密マップを合致させることのうちの少なくとも１つを実施するように構成される、側面７７－７８のいずれか１項に記載のＨＭＤ。
第８０の側面では、視覚的特徴点は、スケール不変特徴変換、スピードアップロバスト特徴、配向ＦＡＳＴおよび回転ＢＲＩＥＦ、バイナリロバスト不変スケーラブルキーポイント、または高速網膜キーポイントのうちの少なくとも１つを使用して算出される、または稠密マップは、反復最近傍点アルゴリズムを使用して計算される、側面７９に記載のＨＭＤ。
第８１の側面では、ユーザの眼の正常静止位置は、ＨＭＤのレンダリング視点に対応し、正常レンダリング位置を調節するために、ハードウェアプロセッサは、ＨＭＤと関連付けられた座標を偏移させ、レンダリング視点の位置を更新するようにプログラムされる、側面７７－８０のいずれか１項に記載のＨＭＤ。
第８２の側面では、ＨＭＤとユーザの頭部との間の相対的位置は、ユーザの第１の眼に関する第１の相対的位置と、ユーザの第２の眼に関する第２の相対的位置とを含む、側面７７－８１のいずれか１項に記載のＨＭＤ。
第８３の側面では、正常静止位置に対して、ＨＭＤとユーザの頭部との間の相対的位置は、水平偏移、垂直偏移、深度偏移、側方傾斜、または前方傾斜のうちの１つ以上のものを含む、側面７７－８２のいずれか１項に記載のＨＭＤ。
第８４の側面では、方法であって、ハードウェアプロセッサと、コンピュータプロセッサと、仮想オブジェクトをレンダリングするように構成されるディスプレイシステムと、ユーザの顔の眼球周囲部分を結像するように構成される内向きに面した結像システムとを備える、頭部搭載型デバイス（ＨＭＤ）の制御下で、画像を内向きに面した結像システムから受信するステップと、オブジェクト認識装置によって、画像を分析し、ユーザの眼球周囲特徴を識別するステップと、少なくとも部分的に、眼球周囲特徴に基づいて、ＨＭＤとユーザの頭部との間の相対的位置を決定するステップと、相対的位置と閾値条件を比較することによって、フィット感を決定するステップと、ＨＭＤに、ＨＭＤのディスプレイを調節し、相対的位置を補償するステップと、ユーザにフィット感と関連付けられたインジケーションを提供するステップとのうちの少なくとも１つを実施させるステップとを含む、方法。
第８５の側面では、オブジェクト認識装置は、疎密オートエンコーダアルゴリズム、クラスタリングアルゴリズム、深層ニューラルネットワーク、および任意のタイプのニューラルネットワークのうちの少なくとも１つを使用して画像を分析する、側面８４に記載の方法。
第８６の側面では、相対的位置を決定するステップは、ＨＭＤからユーザの眼までの距離を計算するステップ、ユーザの眼間の瞳孔間距離を計算するステップ、ＨＭＤとユーザの眼との間の相対的位置を決定するステップ、ユーザの眼の非対称性を決定するステップ、またはＨＭＤの傾斜を決定するステップであって、傾斜は、前方傾斜または側方傾斜のうちの少なくとも１つを含む、ステップのうちの少なくとも１つを含む、側面８４－８５のいずれか１項に記載の方法。
第８７の側面では、本方法はさらに、少なくとも部分的に、ＨＭＤとユーザの頭部との間の相対的位置に基づいて、仮想オブジェクトのレンダリング場所を調節するステップと、ＡＲディスプレイシステムによって、仮想オブジェクトをレンダリング場所にレンダリングするステップとを含む、側面８４－８６のいずれか１項に記載の方法。
第８８の側面では、仮想オブジェクトのレンダリング場所を調節するステップは、ユーザの眼の正常静止位置と、ユーザの眼の正常静止位置に対応する、仮想オブジェクトの正常レンダリング位置とを決定するステップと、少なくとも部分的に、ＨＭＤとユーザの頭部との間の相対的位置に基づいて、仮想オブジェクトの正常レンダリング位置に対する調節を計算するステップと、正常レンダリング位置に対する調節に基づいて、仮想オブジェクトのレンダリング場所を決定するステップとを含む、側面８７に記載の方法。
第８９の側面では、本方法はさらに、画像を分析し、眼姿勢を決定するステップを含み、ユーザの眼の位置は、ディスプレイシステム内のレンダリング視点に対応し、レンダリング場所を調節するステップは、ユーザの眼姿勢に基づいて、レンダリング視点の位置を更新するステップを含む、側面８７－８８のいずれか１項に記載の方法。
第９０の側面では、レンダリング視点の位置を更新するステップは、ディスプレイシステムと関連付けられた座標を偏移させるステップを含む、側面８９に記載の方法。
第９１の側面では、フィット感を決定するステップは、ユーザの眼球周囲領域の画像にアクセスするステップと、眼球周囲領域の画像とユーザ上のＨＭＤのフィット感との間のマッピングにアクセスするステップと、マッピングを適用し、ＨＭＤのフィット感を決定するステップとを含む、側面８４－９０のいずれか１項に記載の方法。
第９２の側面では、フィット感は、良好フィット感、適正フィット感、または不良フィット感のうちの少なくとも１つを含む、側面８４－９１のいずれか１項に記載の方法。
第９３の側面では、フィット感と関連付けられたユーザへのインジケーションは、フィット感の改良に関する命令をユーザに提供するステップと、付加的眼画像にアクセスするステップと、マッピングを付加的眼画像に適用し、更新されたフィット感を決定するステップと、更新されたフィット感が閾値を超えるまで、付加的眼画像にアクセスし、更新されたフィット感を決定するステップとを含む、側面８４－９２のいずれか１項に記載の方法。
第９４の側面では、相対的位置を決定するステップは、第１の画像および第２の画像を内向きに面した結像システムから受信するステップであって、第１の画像および第２の画像は、シーケンスで入手される、ステップと、第１の画像および第２の画像を分析し、第１の画像および第２の画像内の眼球周囲領域のユーザに特有の眼球周囲特徴を識別するステップと、少なくとも部分的に、眼球周囲特徴に基づいて、眼球周囲領域が第１の画像または第２の画像内にあるかどうかを決定するステップと、少なくとも部分的に、第１および第２の画像内の眼球周囲特徴の出現に基づいて、相対的位置を決定するステップとを含み、本方法はさらに、眼球周囲領域が第１の画像または第２の画像のいずれにも存在しないことの決定に応答して、ＨＭＤがユーザの頭部から除去されたことのインジケーションを提供するステップと、眼球周囲特徴が第１の画像または第２の画像のいずれかに存在することの決定に応答して、ＨＭＤに関する状態の変化を示すステップとを含む、側面８４－９３のいずれか１項に記載の方法。
第９５の側面では、状態の変化を示すステップは、ＨＭＤに、電源をオフにさせる、またはバッテリ節約モードに入らせる、側面９４に記載の方法。
第９６の側面では、眼球周囲特徴が、第１の画像内で識別されるが、第２の画像では識別されないことの決定に応答して、ＨＭＤの状態をユーザの頭部上にある状態からユーザの頭部から除去されている状態に変化させ、眼球周囲特徴が、第２の画像内で識別されるが、第１の画像では識別されないことの決定に応答して、ＨＭＤの状態をユーザの頭部から除去されている状態からユーザの頭部上にある状態に変化させる、側面９４－９５のいずれか１項に記載の方法。
第９７の側面では、ＨＭＤであって、仮想オブジェクトをユーザの眼の視点からレンダリングするように構成される、空間拡張現実（ＡＲ）ディスプレイシステムと、ＨＭＤとユーザの頭部との間の相対的位置の測定値を記憶するように構成される、非一過性メモリと、非一過性メモリおよび空間ＡＲディスプレイシステムと通信する、ハードウェアプロセッサであって、ＨＭＤとユーザの頭部との間の相対的位置の測定値にアクセスし、少なくとも部分的に、ＨＭＤとユーザの頭部との間の相対的位置に基づいて、仮想オブジェクトの正常レンダリング位置に対する調節を計算し、正常レンダリング位置に対する調節に基づいて、仮想オブジェクトのレンダリング場所を決定し、空間ＡＲディスプレイシステムに、仮想オブジェクトをレンダリング場所にレンダリングするように命令するようにプログラムされる、ハードウェアプロセッサとを備える、ＨＭＤ。
第９８の側面では、ＨＭＤとユーザの頭部との間の相対的位置の測定値は、視覚的特徴点を使用して眼球周囲特徴を追跡すること、または顔の領域とユーザの頭部の少なくとも一部をエンコードする稠密マップを合致させることのうちの少なくとも１つを実施することによって計算される、側面９７に記載のＨＭＤ。
第９９の側面では、視覚的特徴点は、スケール不変特徴変換、スピードアップロバスト特徴、配向ＦＡＳＴおよび回転ＢＲＩＥＦ、バイナリロバスト不変スケーラブルキーポイント、または高速網膜キーポイントのうちの少なくとも１つを使用して算出される、または稠密マップは、反復最近傍点アルゴリズムを使用して計算される、側面９８に記載のＨＭＤ。
第１００の側面では、ハードウェアプロセッサはさらに、ＨＭＤのレンダリング視点と関連付けられたユーザの眼の正常静止位置を決定するようにプログラムされ、仮想オブジェクトの正常レンダリング位置は、ユーザの眼の正常静止位置に対応する、側面９７－９９のいずれか１項に記載のＨＭＤ。
第１０１の側面では、仮想オブジェクトの正常レンダリング位置に対する調節を計算するために、ハードウェアプロセッサは、少なくとも部分的に、ＨＭＤとユーザの頭部との間の相対的位置に基づいて、正常静止位置に対する偏移を決定し、少なくとも部分的に、正常静止位置に対する偏移に基づいて、ＨＭＤのレンダリング視点と関連付けられた座標を偏移させるようにプログラムされる、側面１００に記載のＨＭＤ。
第１０２の側面では、ＨＭＤとユーザの頭部との間の相対的位置は、正常静止位置に対する水平偏移、垂直偏移、深度偏移、側方傾斜、または前方傾斜のうちの１つ以上のものを含む、側面１０１に記載のＨＭＤ。
第１０３の側面では、ＨＭＤとユーザの頭部との間の相対的位置は、ユーザの第１の眼に関するＨＭＤとの間の第１の相対的位置と、ユーザの第２の眼に関する第２の相対的位置とを含む、側面９７－１０２のいずれか１項に記載のＨＭＤ。
第１０４の側面では、方法であって、ハードウェアプロセッサと、コンピュータプロセッサと、仮想オブジェクトをレンダリングするように構成されるディスプレイシステムと、ユーザの顔の眼球周囲部分を結像するように構成される内向きに面した結像システムとを備える、ＨＭＤの制御下で、画像を内向きに面した結像システムから受信するステップと、オブジェクト認識装置によって、画像を分析し、ユーザの眼球周囲特徴を識別するステップと、少なくとも部分的に、眼球周囲特徴に基づいて、ＨＭＤとユーザの頭部との間の相対的位置を決定するステップと、相対的位置と閾値条件を比較することによって、フィット感を決定するステップと、ＨＭＤに、ＨＭＤのディスプレイを調節し、相対的位置を補償するステップ、またはユーザにフィット感と関連付けられたインジケーションを提供するステップのうちの少なくとも１つを実施させるステップとを含む、方法。
第１０５の側面では、相対的位置を決定するステップは、ＨＭＤからユーザの眼までの距離を計算するステップ、ユーザの眼間の瞳孔間距離を計算するステップ、ＨＭＤとユーザの眼との間の相対的位置を決定するステップ、ユーザの眼の非対称性を決定するステップ、またはＨＭＤの傾斜を決定するステップであって、傾斜は、前方傾斜または側方傾斜のうちの少なくとも１つを含む、ステップのうちの少なくとも１つを含む、側面１０４に記載の方法。
第１０６の側面では、ＨＭＤのディスプレイを調節し、相対的位置を補償するステップは、ユーザの眼の正常静止位置と、ユーザの眼の正常静止位置に対応する、仮想オブジェクトの正常レンダリング位置とを決定するステップと、少なくとも部分的に、ＨＭＤとユーザの頭部との間の相対的位置に基づいて、仮想オブジェクトの正常レンダリング位置に対する調節を計算するステップと、正常レンダリング位置に対する調節に基づいて、仮想オブジェクトのレンダリング場所を決定するステップとを含む、側面１０４－１０５のいずれか１項に記載の方法。
第１０７の側面では、フィット感を決定するステップは、ユーザの眼球周囲領域の画像にアクセスするステップと、眼球周囲領域の画像とユーザ上のＨＭＤのフィット感との間のマッピングにアクセスするステップと、マッピングを適用し、ＨＭＤのフィット感を決定するステップとを含む、側面１０４－１０６のいずれか１項に記載の方法。
第１０８の側面では、フィット感と関連付けられたユーザへのインジケーションは、フィット感の改良に関する命令をユーザに提供するステップと、付加的眼画像にアクセスするステップと、マッピングを付加的眼画像に適用し、更新されたフィット感を決定するステップと、更新されたフィット感が閾値を超えるまで、付加的眼画像にアクセスし、更新されたフィット感を決定するステップとを含む、側面１０４－１０７のいずれか１項に記載の方法。
第１０９の側面では、相対的位置を決定するステップは、第１の画像および第２の画像を内向きに面した結像システムから受信するステップであって、第１の画像および第２の画像は、シーケンスで入手される、ステップと、第１の画像および第２の画像を分析し、第１の画像および第２の画像内の眼球周囲領域のユーザに特有の眼球周囲特徴を識別するステップと、少なくとも部分的に、眼球周囲特徴に基づいて、眼球周囲領域が第１の画像または第２の画像内にあるかどうかを決定するステップと、少なくとも部分的に、第１および第２の画像内の眼球周囲特徴の出現に基づいて、相対的位置を決定するステップとを含み、本方法はさらに、眼球周囲領域が第１の画像または第２の画像のいずれにも存在しないことの決定に応答して、ＨＭＤがユーザの頭部から除去されたことのインジケーションを提供するステップと、眼球周囲特徴が第１の画像または第２の画像のいずれかに存在することの決定に応答して、ＨＭＤに関する状態の変化を示すステップとを含む、側面１０４－１０９のいずれか１項に記載の方法。
第１１０の側面では、ＨＭＤであって、ユーザの顔の眼球周囲領域を結像するように構成される、内向きに面した結像システムであって、眼球周囲領域の少なくとも第１の画像を入手するように構成され、さらに、第１の画像内で捕捉された眼球周囲領域の一部をマスクするように構成される、内向きに面した結像システムと、画像を内向きに面した結像システムから受信し、オブジェクト認識装置によって、画像を分析し、ユーザの眼球周囲特徴を識別し、少なくとも部分的に、眼球周囲特徴に基づいて、ＨＭＤとユーザの頭部との間の相対的位置を決定し、相対的位置と閾値条件を比較することによって、フィット感を決定するようにプログラムされる、ハードウェアプロセッサとを備える、ＨＭＤ。
第１１１の側面では、フィット感を決定するために、ハードウェアプロセッサは、ユーザの眼球周囲領域の画像にアクセスし、眼球周囲領域の画像とユーザ上のＨＭＤのフィット感との間のマッピングにアクセスし、マッピングは、機械学習モデルを使用して訓練され、マッピングを適用し、ＨＭＤのフィット感を決定するようにプログラムされる、側面１１０に記載のＨＭＤ。
第１１２の側面では、フィット感は、良好フィット感、適正フィット感、または不良フィット感のうちの少なくとも１つを含む、側面１１０－１１１のいずれか１項に記載のＨＭＤ。
第１１３の側面では、ハードウェアプロセッサはさらに、フィット感に基づいて、仮想オブジェクトのレンダリング場所を調節するようにプログラムされる、側面１１０－１１２のいずれか１項に記載のＨＭＤ。
第１１４の側面では、ハードウェアプロセッサはさらに、ＨＭＤの初期化位相において、ユーザにフィット感に関するインジケーションを提供するようにプログラムされる、側面１１０－１１３のいずれか１項に記載のＨＭＤ。
第１１５の側面では、ハードウェアプロセッサはさらに、フィット感の改良に関する命令をユーザに提供し、付加的眼画像にアクセスし、マッピングを付加的眼画像に適用し、更新されたフィット感を決定し、更新されたフィット感が閾値を超えるまで、付加的眼画像にアクセスし、更新されたフィット感を決定するようにプログラムされる、側面１１４に記載のＨＭＤ。
第１１６の側面では、相対的位置を決定するために、ハードウェアプロセッサは、第１の画像および第２の画像を内向きに面した結像システムから受信し、第１の画像および第２の画像は、シーケンスで入手され、第１の画像および第２の画像を分析し、第１の画像および第２の画像内の眼球周囲領域のユーザに特有の眼球周囲特徴を識別し、少なくとも部分的に、眼球周囲特徴に基づいて、眼球周囲領域が第１の画像または第２の画像内にあるかどうかを決定し、少なくとも部分的に、第１および第２の画像内の眼球周囲特徴の出現に基づいて、相対的位置を決定するようにプログラムされる、側面１１０－１１５のいずれか１項に記載のＨＭＤ。
（他の考慮点）
本明細書に説明される、ならびに／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、動画またはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能（例えば、論理もしくは算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムもしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線もしくは無線ネットワーク、または任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装または実施形態に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要もしくは必須ではない。
とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／もしくはステップが、１つ以上の実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／もしくはステップが任意の特定の実施形態において含まれる、もしくは実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「～を備える」、「～を含む」、「～を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」もしくは「少なくとも１つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、ならびにＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、もしくは連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (11)

  1. 方法であって、
    ハードウェアプロセッサと、コンピュータプロセッサと、仮想オブジェクトをレンダリングするように構成されるディスプレイシステムと、ユーザの顔の眼球周囲領域を結像するように構成される内向きに面した結像システムとを備える頭部搭載型デバイス（ＨＭＤ）の制御下で、
    画像を前記内向きに面した結像システムから受信することと、
    オブジェクト認識装置によって、前記画像を分析し、前記ユーザの眼球周囲特徴を識別することと、
    前記眼球周囲特徴に少なくとも部分的に基づいて、前記ＨＭＤと前記ユーザの頭部との間の相対的位置の第１の測定値を決定するように、第１の計算を実施することと、
    前記眼球周囲特徴に少なくとも部分的に基づいて、前記ＨＭＤと前記ユーザの頭部との間の相対的位置の第２の測定値を決定するように、前記第１の計算と異なる第２の計算を実施することであって、前記第１の計算を実施することまたは前記第２の計算を実施することは、
    第１の画像および第２の画像を前記内向きに面した結像システムから受信することであって、前記第１の画像および前記第２の画像は、シーケンスで入手される、ことと、
    前記第１または第２の画像の少なくとも１つの部分をマスクして、マスクされた画像を生成することであって、前記少なくとも１つの部分は、前記ユーザの顔の眼球周囲部分を含み、前記眼球周囲部分は、前記ＨＭＤと前記ユーザの頭部との間のフィット感を決定する際に誤差を導入する可能性のある高度に変動し得る部分である、ことと、
    前記第１の画像および前記第２の画像を分析し、前記第１の画像および前記第２の画像内における前記ユーザの眼球周囲領域に特有の眼球周囲特徴を識別することと、
    前記眼球周囲特徴に少なくとも部分的に基づいて、前記眼球周囲領域が前記第１の画像または前記第２の画像内にあるかどうかを決定することと、
    前記第１および第２の画像内の前記眼球周囲特徴の出現に少なくとも部分的に基づいて、前記相対的位置の前記第１の測定値または前記第２の測定値を決定することと
    を含む、ことと、
    前記第１および第２の測定値に基づいて、前記ＨＭＤと前記ユーザの頭部との間の相対的位置を決定することと、
    前記相対的位置と閾値条件を比較することによって、前記フィット感を決定することと、
    前記ＨＭＤに、
    前記ＨＭＤのディスプレイを調節し、前記相対的位置を補償すること、または
    前記ユーザに前記フィット感と関連付けられたインジケーションを提供すること
    のうちの少なくとも１つを実施させることと、
    前記眼球周囲領域が前記第１の画像または前記第２の画像のいずれにも存在しないことの決定に応答して、前記ＨＭＤが前記ユーザの頭部から除去されたことのインジケーションを提供することと、
    前記眼球周囲領域が前記第１の画像または前記第２の画像のいずれかに存在することの決定に応答して、前記ＨＭＤに関する状態の変化を示すことと
    を実行することを含む、方法。
  2. 前記第１の計算を実施することまたは前記第２の計算を実施することは、
    前記ＨＭＤから前記ユーザの眼までの距離を計算すること、
    前記ユーザの眼間の瞳孔間距離を計算すること、
    前記ＨＭＤと前記ユーザの眼との間の相対的位置を決定すること、
    前記ユーザの眼の非対称性を決定すること、または
    前記ＨＭＤの傾斜を決定することであって、前記傾斜は、前方傾斜または側方傾斜のうちの少なくとも１つを含む、こと
    のうちの少なくとも１つを含む、請求項１に記載の方法。
  3. 前記ＨＭＤのディスプレイを調節し、前記相対的位置を補償することは、
    前記ユーザの眼の正常静止位置と、前記ユーザの眼の正常静止位置に対応する前記仮想オブジェクトの正常レンダリング位置とを決定することと、
    前記ＨＭＤと前記ユーザの頭部との間の相対的位置に少なくとも部分的に基づいて、前記仮想オブジェクトの正常レンダリング位置に対する調節を計算することと、
    前記正常レンダリング位置に対する調節に基づいて、前記仮想オブジェクトのレンダリング場所を決定することと
    を含む、請求項１に記載の方法。
  4. 前記フィット感を決定することは、
    前記ユーザの前記眼球周囲領域の画像にアクセスすることと、
    前記眼球周囲領域の画像と前記ユーザ上の前記ＨＭＤのフィット感との間のマッピングにアクセスすることと、
    前記マッピングを適用し、前記ＨＭＤのフィット感を決定することと
    を含む、請求項１に記載の方法。
  5. 前記フィット感と関連付けられた前記ユーザへのインジケーションは、
    前記フィット感の改良に関する命令を前記ユーザに提供することと、
    前記内向きに面した結像システムからの前記ユーザの前記眼球周囲領域の付加的画像にアクセスすることと、
    前記マッピングを前記付加的画像に適用し、更新されたフィット感を決定することと、
    更新されたフィット感が閾値を超えるまで、前記内向きに面した結像システムからの前記ユーザの前記眼球周囲領域の付加的画像にアクセスし、更新されたフィット感を決定することと
    を含む、請求項４に記載の方法。
  6. 頭部搭載型デバイス（ＨＭＤ）であって、
    ユーザの顔の眼球周囲領域を結像するように構成される内向きに面した結像システムであって、前記内向きに面した結像システムは、前記眼球周囲領域の少なくとも第１の画像を入手するように構成され、前記ＨＭＤと前記ユーザの頭部との間のフィット感を決定する際に誤差を導入する可能性のある、前記第１の画像内で捕捉された前記眼球周囲領域の一部をマスクするようにさらに構成される、内向きに面した結像システムと、
    ハードウェアプロセッサであって、
    画像を前記内向きに面した結像システムから受信することと、
    オブジェクト認識装置によって、前記画像を分析し、前記ユーザの眼球周囲特徴を識別することと、
    前記眼球周囲特徴に少なくとも部分的に基づいて、前記ＨＭＤと前記ユーザの頭部との間の相対的位置の第１の測定値を決定するように、第１の計算を実施することと、
    前記眼球周囲特徴に少なくとも部分的に基づいて、前記ＨＭＤと前記ユーザの頭部との間の相対的位置の第２の測定値を決定するように、前記第１の計算と異なる第２の計算を実施することであって、前記第１の計算を実施するためにまたは前記第２の計算を実施するために、前記ハードウェアプロセッサは、
    第１の画像および第２の画像を前記内向きに面した結像システムから受信することであって、前記第１の画像および前記第２の画像は、シーケンスで入手される、ことと、
    前記第１の画像および前記第２の画像を分析し、前記第１の画像および前記第２の画像内における前記ユーザの前記眼球周囲領域に特有の眼球周囲特徴を識別することと、
    前記眼球周囲特徴に少なくとも部分的に基づいて、前記眼球周囲領域が前記第１の画像または前記第２の画像内にあるかどうかを決定することと、
    前記第１および第２の画像内の前記眼球周囲特徴の出現に少なくとも部分的に基づいて、前記相対的位置の前記第１の測定値または前記第２の測定値を決定することと
    を行うようにプログラムされる、ことと、
    前記眼球周囲特徴に少なくとも部分的に基づいて、前記第１および第２の測定値に基づいて、前記ＨＭＤと前記ユーザの頭部との間の相対的位置を決定することと、
    前記相対的位置と閾値条件を比較することによって、前記フィット感を決定することと、
    前記眼球周囲領域が前記第１の画像または前記第２の画像のいずれにも存在しないことの決定に応答して、前記ＨＭＤが前記ユーザの頭部から除去されたことのインジケーションを提供することと、
    前記眼球周囲領域が前記第１の画像または前記第２の画像のいずれかに存在することの決定に応答して、前記ＨＭＤに関する状態の変化を示すことと
    を行うようにプログラムされる、ハードウェアプロセッサと
    を備える、ＨＭＤ。
  7. 前記フィット感を決定するために、前記ハードウェアプロセッサは、
    前記ユーザの前記眼球周囲領域の画像にアクセスすることと、
    前記眼球周囲領域の画像と前記ユーザ上の前記ＨＭＤのフィット感との間のマッピングにアクセスすることであって、前記マッピングは、機械学習モデルを使用して訓練されたものである、ことと、
    前記マッピングを適用し、前記ＨＭＤのフィット感を決定することと
    を行うようにプログラムされる、請求項６に記載のＨＭＤ。
  8. 前記フィット感は、良好フィット感、適正フィット感、または不良フィット感のうちの少なくとも１つを含む、請求項６に記載のＨＭＤ。
  9. 前記ハードウェアプロセッサは、前記フィット感に基づいて、仮想オブジェクトのレンダリング場所を調節するようにさらにプログラムされる、請求項６に記載のＨＭＤ。
  10. 前記ハードウェアプロセッサは、前記ＨＭＤの初期化位相において、前記ユーザに前記フィット感に関するインジケーションを提供するようにさらにプログラムされる、請求項６に記載のＨＭＤ。
  11. 前記ハードウェアプロセッサは、
    前記フィット感の改良に関する命令を前記ユーザに提供することと、
    前記内向きに面した結像システムからの前記ユーザの前記眼球周囲領域の付加的画像にアクセスすることと、
    前記マッピングを前記付加的画像に適用し、更新されたフィット感を決定することと、
    更新されたフィット感が閾値を超えるまで、前記内向きに面した結像システムからの前記ユーザの前記眼球周囲領域の付加的画像にアクセスし、更新されたフィット感を決定することと
    を行うようにさらにプログラムされる、請求項７に記載のＨＭＤ。
JP2019517930A 2016-10-05 2017-09-27 複合現実較正のための眼球周囲試験 Active JP7090601B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022034301A JP2022069522A (ja) 2016-10-05 2022-03-07 複合現実較正のための眼球周囲試験

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662404493P 2016-10-05 2016-10-05
US201662404419P 2016-10-05 2016-10-05
US62/404,493 2016-10-05
US62/404,419 2016-10-05
US201662416341P 2016-11-02 2016-11-02
US62/416,341 2016-11-02
PCT/US2017/053753 WO2018067357A2 (en) 2016-10-05 2017-09-27 Periocular test for mixed reality calibration

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022034301A Division JP2022069522A (ja) 2016-10-05 2022-03-07 複合現実較正のための眼球周囲試験

Publications (3)

Publication Number Publication Date
JP2020502849A JP2020502849A (ja) 2020-01-23
JP2020502849A5 JP2020502849A5 (ja) 2021-10-21
JP7090601B2 true JP7090601B2 (ja) 2022-06-24

Family

ID=61757231

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019517930A Active JP7090601B2 (ja) 2016-10-05 2017-09-27 複合現実較正のための眼球周囲試験
JP2022034301A Pending JP2022069522A (ja) 2016-10-05 2022-03-07 複合現実較正のための眼球周囲試験

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022034301A Pending JP2022069522A (ja) 2016-10-05 2022-03-07 複合現実較正のための眼球周囲試験

Country Status (6)

Country Link
US (4) US10573042B2 (ja)
EP (1) EP3523782A4 (ja)
JP (2) JP7090601B2 (ja)
KR (4) KR102402467B1 (ja)
IL (2) IL295059A (ja)
WO (1) WO2018067357A2 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL298018B2 (en) * 2013-03-11 2024-04-01 Magic Leap Inc System and method for augmentation and virtual reality
EP2973532A4 (en) 2013-03-15 2017-01-18 Magic Leap, Inc. Display system and method
US10359806B2 (en) * 2016-03-28 2019-07-23 Sony Interactive Entertainment Inc. Pressure sensing to identify fitness and comfort of virtual reality headset
KR102402467B1 (ko) 2016-10-05 2022-05-25 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
CN106932904A (zh) 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106873159A (zh) 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
KR102324468B1 (ko) * 2017-03-28 2021-11-10 삼성전자주식회사 얼굴 인증을 위한 장치 및 방법
US10488920B2 (en) * 2017-06-02 2019-11-26 Htc Corporation Immersive headset system and control method thereof
US11138301B1 (en) * 2017-11-20 2021-10-05 Snap Inc. Eye scanner for user identification and security in an eyewear device
EP3740847B1 (en) 2018-01-17 2024-03-13 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
KR20200110367A (ko) 2018-01-17 2020-09-23 매직 립, 인코포레이티드 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝
US10634913B2 (en) * 2018-01-22 2020-04-28 Symbol Technologies, Llc Systems and methods for task-based adjustable focal distance for heads-up displays
US20210056414A1 (en) * 2018-02-02 2021-02-25 National University Corporation Hokkaido University Learning apparatus, learning method, and program for learning apparatus, as well as information output apparatus, information ouput method, and information output program
US11093208B2 (en) 2018-02-16 2021-08-17 Valve Corporation Using detected pupil location to align optical components of a head-mounted display
US10586344B2 (en) * 2018-02-21 2020-03-10 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for feature screening in SLAM
US10948983B2 (en) * 2018-03-21 2021-03-16 Samsung Electronics Co., Ltd. System and method for utilizing gaze tracking and focal point tracking
US10491890B1 (en) * 2018-05-14 2019-11-26 Dell Products L.P. Systems and methods for automatic adjustment for vertical and rotational imbalance in augmented and virtual reality head-mounted displays
CN110488489B (zh) * 2018-05-15 2022-10-11 苹果公司 用于头戴式壳体的眼睛登记
US10846923B2 (en) * 2018-05-24 2020-11-24 Microsoft Technology Licensing, Llc Fusion of depth images into global volumes
CN108732764B (zh) * 2018-06-06 2024-05-31 北京七鑫易维信息技术有限公司 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质
WO2019246044A1 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Head-mounted display systems with power saving functionality
US10867164B2 (en) * 2018-06-29 2020-12-15 Intel Corporation Methods and apparatus for real-time interactive anamorphosis projection via face detection and tracking
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES
CN112655204A (zh) * 2018-07-24 2021-04-13 奇跃公司 用于确定左显示器和右显示器与用户眼睛之间的垂直对准的显示系统和方法
US10823970B2 (en) 2018-08-23 2020-11-03 Apple Inc. Head-mounted electronic display device with lens position sensing
CN109344714B (zh) * 2018-08-31 2022-03-15 电子科技大学 一种基于关键点匹配的视线估计方法
JP7093418B2 (ja) * 2018-09-20 2022-06-29 富士フイルム株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
CN109558665B (zh) * 2018-11-22 2023-01-10 杭州美戴科技有限公司 一种个性化柔性鼻托的自动设计方法
CN109756723B (zh) * 2018-12-14 2021-06-11 深圳前海达闼云端智能科技有限公司 获取影像的方法和装置，存储介质和电子设备
CN113287083A (zh) 2019-01-21 2021-08-20 索尼高级视觉传感股份公司 透明智能手机
WO2020154524A1 (en) 2019-01-25 2020-07-30 Magic Leap, Inc. Eye-tracking using images having different exposure times
US11099394B2 (en) * 2019-02-26 2021-08-24 Google Llc Systems, devices, and methods for aligning a diffractive element in a wearable heads-up display
DE102019107001A1 (de) * 2019-03-19 2020-09-24 OSRAM CONTINENTAL GmbH Optische Vorrichtung, Anordnung, Fahrzeug und Verfahren
CN113785258A (zh) 2019-03-22 2021-12-10 惠普发展公司，有限责任合伙企业 检测眼睛测量
WO2020209491A1 (en) * 2019-04-11 2020-10-15 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same
CN114127610A (zh) 2019-05-20 2022-03-01 奇跃公司 用于估计眼睛姿势的系统和技术
US11749018B1 (en) 2019-05-28 2023-09-05 Apple Inc. Eye enrollment for head-mounted enclosure
CN112233212A (zh) * 2019-06-28 2021-01-15 微软技术许可有限责任公司 人像编辑与合成
EP3786767B1 (en) * 2019-07-29 2023-11-08 HTC Corporation Eye tracking method, head-mounted display, and computer readable storage medium
CN110688002B (zh) * 2019-09-06 2023-12-19 广东虚拟现实科技有限公司 虚拟内容的调整方法、装置、终端设备及存储介质
SE1951103A1 (en) 2019-09-30 2020-12-15 Tobii Ab Methods and systems for a head-mounted device for updating an eye tracking model
US11228745B2 (en) * 2019-11-26 2022-01-18 Varjo Technologies Oy Display apparatus and method of correcting image distortion therefor
US11269181B2 (en) 2019-12-09 2022-03-08 Magic Leap, Inc. Systems and methods for operating a head-mounted display system based on user identity
US11127380B2 (en) 2019-12-13 2021-09-21 Qualcomm Incorporated Content stabilization for head-mounted displays
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US11580657B2 (en) 2020-03-30 2023-02-14 Snap Inc. Depth estimation using biometric data
IL299775A (en) 2020-07-15 2023-03-01 Magic Leap Inc Eye tracking using an aspheric cornea model
US11379957B1 (en) * 2021-02-23 2022-07-05 Qualcomm Incorporated Head wearable display device calibrated for distortion correction using inter-pupillary distance
US12008157B2 (en) * 2021-03-01 2024-06-11 Qualcomm Incorporated Movement detection of a head mounted device
GB2606346B (en) * 2021-04-28 2023-10-25 Sony Interactive Entertainment Inc System and method of head mounted display personalisation
US11868523B2 (en) 2021-07-01 2024-01-09 Google Llc Eye gaze classification
US11740322B2 (en) * 2021-09-10 2023-08-29 Htc Corporation Head mounted display device and position device thereof
KR102409188B1 (ko) * 2021-11-09 2022-06-15 주식회사 아진엑스텍 증강현실 영상 출력 제어 방법 및 장치
US11722655B2 (en) * 2021-11-30 2023-08-08 SoliDDD Corp. Low latency networking of plenoptic data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012172719A1 (ja) 2011-06-16 2012-12-20 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
US20140375542A1 (en) 2013-06-25 2014-12-25 Steve Robbins Adjusting a near-eye display device
JP2016526237A (ja) 2013-06-07 2016-09-01 株式会社ソニー・インタラクティブエンタテインメント 頭部装着ディスプレイにおけるオペレーション・モード・スイッチング

Family Cites Families (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
JPH09193803A (ja) * 1996-01-19 1997-07-29 Furukawa Electric Co Ltd:The プラットホーム付近の安全監視方法
US5844656A (en) 1996-11-07 1998-12-01 Xybernaut Corporation Head mounted display with adjustment components
EP1039417B1 (en) 1999-03-19 2006-12-20 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for the processing of images based on morphable models
US7312766B1 (en) 2000-09-22 2007-12-25 Canadian Space Agency Method and system for time/motion compensation for head mounted displays
US7255437B2 (en) 2003-10-09 2007-08-14 Howell Thomas A Eyeglasses with activity monitoring
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
JP4379409B2 (ja) * 2005-11-08 2009-12-09 ソニー株式会社 撮像装置、および情報処理方法、並びにコンピュータ・プログラム
US8066372B2 (en) 2007-10-23 2011-11-29 Mcgill University Binocular vision assessment and/or therapy
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
AU2011348122A1 (en) 2010-12-24 2013-07-11 Magic Leap Inc. An ergonomic head mounted display device and optical system
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CA3035118C (en) 2011-05-06 2022-01-04 Magic Leap, Inc. Massive simultaneous remote digital presence world
US8184067B1 (en) 2011-07-20 2012-05-22 Google Inc. Nose bridge sensor
JP6144681B2 (ja) 2011-08-30 2017-06-07 マイクロソフト テクノロジー ライセンシング，エルエルシー 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
RU2621633C2 (ru) 2011-10-28 2017-06-06 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
KR102440195B1 (ko) 2011-11-23 2022-09-02 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
CN103339926A (zh) 2011-11-24 2013-10-02 株式会社Ntt都科摩 表情输出装置和表情输出方法
JP6028357B2 (ja) 2012-03-22 2016-11-16 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
KR102022719B1 (ko) 2012-04-05 2019-11-05 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
US9001427B2 (en) 2012-05-30 2015-04-07 Microsoft Technology Licensing, Llc Customized head-mounted display device
AU2013274359B2 (en) 2012-06-11 2017-05-25 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20130339433A1 (en) * 2012-06-15 2013-12-19 Duke University Method and apparatus for content rating using reaction sensing
CN104813218A (zh) 2012-09-11 2015-07-29 奇跃公司 人机工程学的头戴显示设备和光学系统
JP2014064248A (ja) 2012-09-24 2014-04-10 Ntt Docomo Inc 画像投影装置及び画像投影方法
US8860634B2 (en) * 2012-10-11 2014-10-14 Sony Computer Entertainment Europe Limited Head mountable display
US9996150B2 (en) 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
KR102274413B1 (ko) 2013-01-15 2021-07-07 매직 립, 인코포레이티드 초고해상도 스캐닝 섬유 디스플레이
IL298018B2 (en) 2013-03-11 2024-04-01 Magic Leap Inc System and method for augmentation and virtual reality
EP2973532A4 (en) 2013-03-15 2017-01-18 Magic Leap, Inc. Display system and method
US9264803B1 (en) * 2013-06-05 2016-02-16 Google Inc. Using sounds for determining a worn state of a wearable computing device
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US20140375540A1 (en) 2013-06-24 2014-12-25 Nathan Ackerman System for optimal eye fit of headset display device
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
JP6286781B2 (ja) 2013-06-27 2018-03-07 シーワイ・ビジョン・インコーポレイテッドＣｙ Ｖｉｓｉｏｎ Ｉｎｃ． 眼鏡型画像表示装置
US10345903B2 (en) 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
KR102270674B1 (ko) 2013-09-30 2021-07-01 삼성전자주식회사 생체인식 카메라
IL295157B2 (en) 2013-10-16 2023-10-01 Magic Leap Inc An augmented or virtual reality head device with intrapupillary distance adjustment
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
AU2014354673B2 (en) 2013-11-27 2019-04-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
US8958158B1 (en) * 2013-12-03 2015-02-17 Google Inc. On-head detection for head-mounted display
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
CA3089749A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
JP6509883B2 (ja) 2014-01-31 2019-05-08 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 多焦点表示システムおよび方法
US10228562B2 (en) * 2014-02-21 2019-03-12 Sony Interactive Entertainment Inc. Realtime lens aberration correction from eye tracking
CN106133752B (zh) * 2014-02-25 2019-08-30 眼验股份有限公司 眼睛注视跟踪
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US9754415B2 (en) 2014-03-27 2017-09-05 Microsoft Technology Licensing, Llc Display relative motion compensation
US9652893B2 (en) 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
US9672416B2 (en) 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
KR102173699B1 (ko) 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
WO2015184413A1 (en) 2014-05-30 2015-12-03 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
US9830739B2 (en) * 2014-06-17 2017-11-28 Google Inc. Automultiscopic display with viewpoint tracking and scalability for multiple views
KR102361025B1 (ko) * 2014-07-31 2022-02-08 삼성전자주식회사 웨어러블 글래스 및 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법
US9965030B2 (en) 2014-07-31 2018-05-08 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
US9719871B2 (en) * 2014-08-09 2017-08-01 Google Inc. Detecting a state of a wearable device
US9389733B2 (en) * 2014-08-18 2016-07-12 Sony Corporation Modal body touch using ultrasound
US9922236B2 (en) * 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US9808185B2 (en) * 2014-09-23 2017-11-07 Fitbit, Inc. Movement measure generation in a wearable electronic device
GB2534580B (en) 2015-01-28 2020-06-17 Sony Interactive Entertainment Europe Ltd Image processing
JP2016149660A (ja) * 2015-02-13 2016-08-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
CN108292040B (zh) * 2015-09-30 2020-11-06 索尼互动娱乐股份有限公司 优化头戴式显示器屏幕上的内容定位的方法
US9652896B1 (en) * 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
KR20170051013A (ko) 2015-11-02 2017-05-11 엘지전자 주식회사 테더링 형 hmd 및 그 hmd의 제어 방법
KR102592980B1 (ko) 2015-11-04 2023-10-20 매직 립, 인코포레이티드 광 필드 디스플레이 계측
KR20230134159A (ko) 2016-01-07 2023-09-20 매직 립, 인코포레이티드 깊이 평면들에 걸쳐 분포된 동일하지 않은 수의 컴포넌트 컬러 이미지들을 갖는 가상 및 증강 현실 시스템들 및 방법들
KR102567431B1 (ko) 2016-01-19 2023-08-14 매직 립, 인코포레이티드 눈 이미지 수집, 선택 및 결합
JP6775957B2 (ja) * 2016-01-29 2020-10-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
NZ744822A (en) 2016-02-11 2020-01-31 Magic Leap Inc Multi-depth plane display system with reduced switching between depth planes
US10133358B1 (en) * 2016-06-01 2018-11-20 Google Llc Fitting detection for a bone conduction transducer (BCT) using an inertial measurement unit (IMU) sensor
US10139644B2 (en) 2016-07-01 2018-11-27 Tilt Five, Inc Head mounted projection display with multilayer beam splitter and color correction
KR102402467B1 (ko) 2016-10-05 2022-05-25 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
US11494986B2 (en) 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
EP3740847B1 (en) 2018-01-17 2024-03-13 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012172719A1 (ja) 2011-06-16 2012-12-20 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
JP2016526237A (ja) 2013-06-07 2016-09-01 株式会社ソニー・インタラクティブエンタテインメント 頭部装着ディスプレイにおけるオペレーション・モード・スイッチング
US20140375542A1 (en) 2013-06-25 2014-12-25 Steve Robbins Adjusting a near-eye display device

Also Published As

Publication number Publication date
EP3523782A2 (en) 2019-08-14
KR20210077806A (ko) 2021-06-25
KR20190058581A (ko) 2019-05-29
US11100692B2 (en) 2021-08-24
IL265734B (en) 2022-09-01
US11906742B2 (en) 2024-02-20
WO2018067357A3 (en) 2019-05-23
IL295059A (en) 2022-09-01
US20220020192A1 (en) 2022-01-20
KR20220072879A (ko) 2022-06-02
US10573042B2 (en) 2020-02-25
JP2022069522A (ja) 2022-05-11
JP2020502849A (ja) 2020-01-23
IL265734A (en) 2019-05-30
US20200250872A1 (en) 2020-08-06
US20240134200A1 (en) 2024-04-25
KR102657100B1 (ko) 2024-04-12
KR102402467B1 (ko) 2022-05-25
WO2018067357A2 (en) 2018-04-12
KR20240052085A (ko) 2024-04-22
KR102269065B1 (ko) 2021-06-24
EP3523782A4 (en) 2020-06-24
US20180096503A1 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
JP7090601B2 (ja) 複合現実較正のための眼球周囲試験
JP7378431B2 (ja) フレーム変調機能性を伴う拡張現実ディスプレイ
JP7186844B2 (ja) ウェアラブルデバイスによる顔モデル捕捉
JP6913164B2 (ja) 完全な顔画像の眼球周囲およびオーディオ合成
US11906732B2 (en) Head-mounted display systems with power saving functionality
JP7502292B2 (ja) アバタ移動のためのマルチモードの手の場所および配向
JP2021532464A (ja) 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法
US20240027794A1 (en) Virtual object movement speed curve for virtual and augmented reality display systems

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200924

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200924

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200924

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210408

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210707

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20210908

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220307

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220307

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220316

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220614

R150 Certificate of patent or registration of utility model

Ref document number: 7090601

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150