JP7378431B2 - フレーム変調機能性を伴う拡張現実ディスプレイ - Google Patents

フレーム変調機能性を伴う拡張現実ディスプレイ Download PDF

Info

Publication number
JP7378431B2
JP7378431B2 JP2020570198A JP2020570198A JP7378431B2 JP 7378431 B2 JP7378431 B2 JP 7378431B2 JP 2020570198 A JP2020570198 A JP 2020570198A JP 2020570198 A JP2020570198 A JP 2020570198A JP 7378431 B2 JP7378431 B2 JP 7378431B2
Authority
JP
Japan
Prior art keywords
camera
user
environment
hmd
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020570198A
Other languages
English (en)
Other versions
JPWO2019246129A5 (ja
JP2021527998A (ja
Inventor
ブライアン キース スミス，
シントロン カルロス エー． リベラ，
ホセ フェリックス ロドリゲス，
マシュー トーマス ハル，
グレゴリー マイケル リンク，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2021527998A publication Critical patent/JP2021527998A/ja
Publication of JPWO2019246129A5 publication Critical patent/JPWO2019246129A5/ja
Application granted granted Critical
Publication of JP7378431B2 publication Critical patent/JP7378431B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Description

（関連出願の相互参照）
本願は、それぞれ、参照することによってその全体として本明細書に組み込まれる、３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）下、２０１８年６月１８日に出願され、「ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＤＩＳＰＬＡＹ ＷＩＴＨ ＦＲＡＭＥ ＭＯＤＵＬＡＴＩＯＮ ＦＵＮＣＴＩＯＮＡＬＩＴＹ」と題された、米国仮出願第６２／６８６，６４４号、および２０１８年６月２４日に出願され、「ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＤＩＳＰＬＡＹ ＷＩＴＨ ＦＲＡＭＥ ＭＯＤＵＬＡＴＩＯＮ ＦＵＮＣＴＩＯＮＡＬＩＴＹ」と題された、６２／７０２，８１７号の優先権の利益を主張する。２０１６年１０月５日に出願され、「ＰＥＲＩＯＣＵＬＡＲ ＴＥＳＴ ＦＯＲ ＧＬＡＳＳＥＳ ＲＥＭＯＶＡＬ」と題された、米国仮出願第６２／４０４，４１９号、２０１６年１０月５日に出願され、「ＰＥＲＩＯＣＵＬＡＲ ＴＥＳＴ ＦＯＲ ＧＬＡＳＳＥＳ ＦＩＴ」と題された、米国仮出願第６２／４０４，４９３号、２０１６年１１月２日に出願され、「ＤＹＮＡＭＩＣ ＤＩＳＰＬＡＹ ＣＯＲＲＥＣＴＩＯＮ ＢＡＳＥＤ ＯＮ ＤＩＳＰＬＡＹ ＰＯＳＩＴＩＯＮ ＴＲＡＣＫＩＮＧ」と題された、米国仮出願第６２／４１６，３４１号、２０１７年９月２７日に出願され、「ＰＥＲＩＯＣＵＬＡＲ ＴＥＳＴ ＦＯＲ ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＣＡＬＩＢＲＡＴＩＯＮ」と題された、米国特許出願第１５／７１７，７４７号、および２０１７年３月２日に出願され、「ＣＵＲＲＥＮＴ ＤＲＡＩＮ ＲＥＤＵＣＴＩＯＮ ＩＮ ＡＲ／ＶＲ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ」と題された、米国特許出願第１５／４４８，４０２号の開示もまた、それぞれ、参照することによってその全体として本明細書に組み込まれる。加えて、２０１４年１１月２７日に出願され、２０１７年１０月１７日に発行された、現米国特許第９，７９１，７００号である、米国特許出願第１４／５５５，５８５号、２０１５年４月１８日に出願され、２０１９年４月１６日に発行された、現米国特許第１０，２６２，４６２号である、米国特許出願第１４／６９０，４０１号、２０１４年３月１４日に出願され、２０１６年８月１６日に発行された、現米国特許第９，４１７，４５２号である、米国特許出願第１４／２１２，９６１号、および２０１４年７月１４日に出願された、２０１７年６月６日に発行された、現米国特許第９，６７１，５６６号である、米国特許出願第１４／３３１，２１８号の開示も同様に、それぞれ、参照することによってその全体として本明細書に組み込まれる。
本開示は、仮想現実および拡張現実結像および可視化システムに関し、より具体的には、仮想または拡張現実ウェアラブルディスプレイデバイス内の性能変調およびそれに基づく電力節約機能性に関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適かつ自然のような感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術の生産は、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。
本明細書に説明される種々の実装は、ユーザの頭部上に支持されるように構成される、フレームを有する、頭部搭載型ディスプレイシステムを含む。ディスプレイは、フレーム上に配置されることができる。ディスプレイは、仮想画像と関連付けられる光をユーザの眼の中に投影し、仮想画像コンテンツをユーザに表示するように構成されてもよい。ディスプレイはさらに、環境からの光をユーザの眼に透過させ、環境の一部のビューをユーザに提供するように構成されてもよい。ディスプレイはまた、環境の画像をあるフレームレートで取得するように構成される、カメラを含んでもよい。カメラは、ある視野および第１のフレームレートを有することができる。ディスプレイはまた、カメラによって取得された画像を受信および処理するように構成される、処理電子機器を有してもよい。
画像処理は、頭部搭載型ディスプレイと環境内の１つ以上の特徴との間の相対的運動を査定するステップを含むことができる。相対的運動の査定は、頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、および／または移動することが予期されるかを決定するステップを含むことができる。加えて、または代替として、査定は、環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、および／または移動することが予期されるかを決定するステップを含むことができる。画像処理はさらに、その場所がディスプレイ内に現れるときに、レンダリング可能仮想画像コンテンツがユーザに現れる場所に対応する、環境内の１つ以上の仮想画像コンテンツ場所を決定するステップと、環境内の１つ以上の仮想画像コンテンツ場所と、カメラの視野の少なくとも一部を含む、視認ゾーンを比較するステップとを含むことができる。
（ｉ）頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の査定、および／または（ｉｉ）環境の内の１つ以上の仮想画像コンテンツ場所と視認ゾーンの比較に基づいて、画像処理は、カメラのフレームレートを第１のフレームレートから第２のフレームレートに改変するステップ、および／または処理されるカメラによって取得されたフレーム上の処理の量を調節するステップを含むことができる。
本発明は、例えば、以下を提供する。
（項目１）
頭部搭載型ディスプレイシステムであって、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置されるディスプレイであって、前記ディスプレイは、仮想画像と関連付けられる光を前記ユーザの眼の中に投影し、仮想画像コンテンツをユーザに表示するように構成され、さらに、前記環境からの光をユーザの眼に透過させ、前記環境の一部のビューをユーザに提供するように構成される、ディスプレイと、
前記環境の画像をあるフレームレートで取得するように構成されるカメラであって、前記カメラは、ある視野および第１のフレームレートを有する、カメラと、
前記カメラによって取得された画像を受信および処理するように構成される処理電子機器であって、前記画像処理は、
前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動を査定することであって、前記相対的運動の査定は、前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるかを決定すること、および／または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるかを決定することを含む、ことと、
前記場所が前記ディスプレイ内に現れるときに、レンダリング可能仮想画像コンテンツがユーザに現れる場所に対応する前記環境内の１つ以上の仮想画像コンテンツ場所を決定することと、
前記環境内の１つ以上の仮想画像コンテンツ場所と、前記カメラの視野の少なくとも一部を含む視認ゾーンとを比較することと、
（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記カメラのフレームレートを第１のフレームレートから第２のフレームレートに改変すること、および／または処理される前記カメラによって取得された前記フレーム上の処理の量を調節することと
を含む、処理電子機器と
を備える、システム。
（項目２）
前記処理電子機器と通信する、運動センサをさらに備え、前記運動センサは、前記相対的運動の査定のための測定を実施するように構成される、項目１に記載のシステム。
（項目３）
前記運動センサは、慣性測定ユニット（ＩＭＵ）を備える、項目２に記載のシステム。
（項目４）
前記相対的運動の査定は、少なくとも部分的に、角度または線形加速の測定に基づく、前記項目のいずれかに記載のシステム。
（項目５）
前記相対的運動の査定は、少なくとも部分的に、角度または線形速度の測定に基づく、前記項目のいずれかに記載のシステム。
（項目６）
前記相対的運動の査定は、少なくとも部分的に、前記頭部搭載型ディスプレイの角度または線形加速の測定に基づく、前記項目のいずれかに記載のシステム。
（項目７）
前記相対的運動の査定は、少なくとも部分的に、前記頭部搭載型ディスプレイの角度または線形速度の測定に基づく、前記項目のいずれかに記載のシステム。
（項目８）
前記相対的運動の査定は、少なくとも部分的に、前記環境内の１つ以上の特徴の角度または線形加速の測定に基づく、前記項目のいずれかに記載のシステム。
（項目９）
前記相対的運動の査定は、少なくとも部分的に、前記環境内の１つ以上の特徴の角度または線形速度の測定に基づく、前記項目のいずれかに記載のシステム。
（項目１０）
前記相対的運動の査定は、前記頭部搭載型ディスプレイの運動または予期される運動が閾値を超えることを決定することを含む、前記項目のいずれかに記載のシステム。
（項目１１）
前記相対的運動の査定は、前記環境内の１つ以上の特徴の運動または予期される運動が閾値を超えることを決定することを含む、前記項目のいずれかに記載のシステム。
（項目１２）
前記第２のフレームレートは、前記カメラが、前記相対的運動の査定に基づいて、低減されたフレームレートで動作するように構成されるように、前記第１のフレームレートより低い、前記項目のいずれかに記載のシステム。
（項目１３）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動した、移動中である、または移動することが予期されること、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されること、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン内の場所を含むことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目１４）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量はさらに、（ｉｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記近距離動眼視野内の場所を含まないことの決定に基づいて低減される、項目１３に記載のシステム。
（項目１５）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野領域内の場所を含む場合、低減されない、前記項目のいずれかに記載のシステム。
（項目１６）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、（ｉ）前記視認ゾーンを越え、かつ（ｉｉ）近距離動眼視野領域を越える遠距離動眼視野内の場所を含むことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目１７）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量はさらに、（ｉｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記近距離動眼視野内の場所を含まないことの決定に基づいて低減される、項目１６に記載のシステム。
（項目１８）
前記視認ゾーンは、前記カメラの視野を含む、前記項目のいずれかに記載のシステム。
（項目１９）
前記カメラの視野は、約４５ ｏ ～１３５ ｏ である、項目１８に記載のシステム。
（項目２０）
前記視認ゾーンは、前記カメラの視野に対応し、前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンを比較することは、前記環境内の１つ以上の仮想画像コンテンツ場所が、前記カメラの視野内にあるかどうかを決定することを含む、項目１８または１９のいずれかに記載のシステム。
（項目２１）
前記第２のフレームレートは、前記第１のフレームレートより低い、前記項目のいずれかに記載のシステム。
（項目２２）
前記第１のフレームレートは、約３０ｆｐｓ～６０ｆｐｓである、前記項目のいずれかに記載のシステム。
（項目２３）
前記第２のフレームレートは、約５ｆｐｓ～２０ｆｐｓである、前記項目のいずれかに記載のシステム。
（項目２４）
前記システムは、（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記カメラの第２のフレームレートを設定するように構成される、前記項目のいずれかに記載のシステム。
（項目２５）
前記システムは、（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記カメラによって取得された前記フレーム上の処理の量を低減させるように構成される、前記項目のいずれかに記載のシステム。
（項目２６）
前記システムは、（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記カメラによって取得されたより少ないフレームからのデータを処理するように構成される、前記項目のいずれかに記載のシステム。
（項目２７）
前記システムはさらに、前記システムの運動についての情報をあるサンプリングレートで受信する運動センサを備える、前記項目のいずれかに記載のシステム。
（項目２８）
前記システムは、（ｉ）前記頭部搭載型ディスプレイが、移動したか、移動中であるか、または移動することが予期されるかの決定と、（ｉｉ）前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記カメラのフレームレートを低減させるが、前記運動センサのサンプリングレートを維持するように構成される、項目２７に記載のシステム。
（項目２９）
前記運動センサのサンプリングレートは、前記カメラのフレームレートの低減後、前記カメラのフレームレートより高速である、項目２７に記載のシステム。
（項目３０）
前記運動センサは、慣性センサまたは加速度計を備える、項目２７－２９のいずれかに記載のシステム。
（項目３１）
前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定は、前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されることを決定することを含む、前記項目のいずれかに記載のシステム。
（項目３２）
前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定は、カメラを使用して、前記環境の１つ以上の特徴を検出することを含む、前記項目のいずれかに記載のシステム。
（項目３３）
前記環境の１つ以上の特徴は、前記環境内のオブジェクトの縁または角のうちの少なくとも１つを含む、項目３２に記載のシステム。
（項目３４）
前記カメラを使用して、前記環境の１つ以上の特徴を検出することは、Ｋａｌｍａｎフィルタ、Ｓｏｂｏｌアルゴリズム、またはＨａｒｒｉｓアルゴリズムのうちの少なくとも１つを使用することを含む、項目３２または３３に記載のシステム。
（項目３５）
少なくとも１つの第２のカメラを備える、前記項目のいずれかに記載のシステム。
（項目３６）
前記カメラおよび前記第２のカメラは、前記環境の非同一部分を検出するように構成される、項目３５に記載のシステム。
（項目３７）
前記カメラは、前記環境の第１の部分を検出するように構成され、前記第２のカメラは、前記環境の第２の部分を検出するように構成され、前記環境の第１の部分は、前記環境の第２の部分と部分的に重複する、項目３５または３６に記載のシステム。
（項目３８）
前記カメラおよび前記第２のカメラは、前記ユーザの左眼に対応する前記フレームの左側上に配置される、項目３５－３７のいずれかに記載のシステム。
（項目３９）
前記カメラおよび前記第２のカメラは、前記ユーザの右眼に対応する前記フレームの右側上に配置される、項目３５－３７のいずれかに記載のシステム。
（項目４０）
（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記複数のカメラのうちの前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量を減少させることをさらに含む、項目３５－３９のいずれかに記載のシステム。
（項目４１）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン内の場所を含むことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目４２）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量はさらに、（ｉｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記近距離動眼視野内を含まないことの決定に基づいて低減される、項目４１に記載のシステム。
（項目４３）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、前記環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野領域内の場所を含む場合、低減されない、項目３５－４０のいずれかに記載のシステム。
（項目４４）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、（ｉ）前記視認ゾーンを越え、（ｉｉ）近距離動眼視野領域を越える遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目４５）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量はさらに、（ｉｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記近距離動眼視野内の場所を含まないことの決定に基づいて低減される、項目４４に記載のシステム。
（項目４６）
前記カメラは、前記第２のカメラよりこめかみ側寄りである、項目３５－３９のいずれかに記載のシステム。
（項目４７）
前記カメラは、前記第２のカメラより鼻側寄りである、項目３５－３９のいずれかに記載のシステム。
（項目４８）
前記カメラのフレームレートは、（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記第２のカメラのフレームレートより低く設定される、項目４６または４７に記載のシステム。
（項目４９）
前記カメラ上の処理の量は、（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの比較とに基づいて、前記第２のカメラによって取得された前記フレーム上の処理の量より低く設定される、項目４６または４８のいずれかに記載のシステム。
（項目５０）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン外の場所を含まないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５１）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン外の場所を含まないことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目５２）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または予期される移動の決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５３）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記頭部搭載型ディスプレイの運動または予期される運動が閾値を超えないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５４）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記環境内の１つ以上の特徴の運動または予期される運動が閾値を超えないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５５）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記頭部搭載型ディスプレイの運動または予期される運動がある持続時間にわたって閾値を超えないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５６）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記環境内の１つ以上の特徴の運動または予期される運動がある持続時間にわたって閾値を超えないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５７）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン内の場所を含むことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５８）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、（ａ）前記視認ゾーンを越え、かつ（ｂ）近距離動眼視野領域を越える遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目５９）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン内の場所を含むことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目６０）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、（ａ）前記視認ゾーンを越え、かつ（ｂ）近距離動眼視野領域を越える遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目６１）
前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン外の場所を含まないことの決定に基づいて低減される、前記項目のいずれかに記載のシステム。
（項目６２）
前記第２のカメラのフレームレートおよび／または前記第２のカメラによって取得された前記フレーム上の処理の量は、（ｉ）前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン外の場所を含まないことの決定に基づいて低減される、項目３５－４０のいずれかに記載のシステム。
（項目６３）
前記カメラからの前記フレームの処理の量を低減させることは、処理される前記カメラによって捕捉されたフレームの数を低減させることを含む、前記項目のいずれかに記載のシステム。
（項目６４）
前記カメラからの前記フレームの処理の量を低減させることは、前記カメラによって捕捉されたフレームの第２の部分未満の前記カメラによって捕捉されたフレームの第１の部分を処理することを含む、前記項目のいずれかに記載のシステム。
図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。
図２Ａおよび２Ｂは、ウェアラブルシステムの実施例を図式的に図示する。 図２Ａおよび２Ｂは、ウェアラブルシステムの実施例を図式的に図示する。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。
図５は、導波管によって出力され得る、例示的出射ビームを示す。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。
図７は、ウェアラブルシステムの実施例のブロック図である。
図８は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。
図９は、ウェアラブルシステムの別の実施例のブロック図である。
図１０は、仮想ユーザインターフェースと相互作用するための方法の実施例のプロセスフロー図である。
図１１は、ユーザの顔の画像を入手することができる、例示的ウェアラブルデバイスを図示する。
図１２Ａは、片眼に関する眼球周囲領域の例示的画像を図示する。
図１２Ｂは、眼球周囲領域の別の例示的画像を図示し、画像内の眼球周囲領域の一部は、マスクされている。
図１３Ａは、頭部搭載型ディスプレイがユーザの顔に対してその正常静止位置にある、実施例を図示する。
図１３Ｂは、頭部搭載型ディスプレイが片側に傾斜された実施例を図示する。
図１３Ｃは、頭部搭載型ディスプレイが前方に傾斜または偏移された実施例を図示する。
図１４Ａおよび１４Ｂは、空間拡張現実（ＳＡＲ）ディスプレイ内の仮想オブジェクトのレンダリング場所の調節の実施例を図示する。 図１４Ａおよび１４Ｂは、空間拡張現実（ＳＡＲ）ディスプレイ内の仮想オブジェクトのレンダリング場所の調節の実施例を図示する。
図１５Ａは、ユーザの顔上のウェアラブルデバイスのフィット感を決定するための例示的方法を図示する。
図１５Ｂは、機械学習技法を使用して、フィット感の良好度または頭部搭載型ディスプレイがユーザ上にあるかどうかに関するマッピングを提供するための方法の実施例を図示する。
図１５Ｃは、ユーザの頭部からのウェアラブルデバイスの除去を決定するための例示的方法を図示する。
図１６は、仮想オブジェクトのレンダリング場所を調節するための例示的プロセスを図示する。
図１７は、本明細書に説明されるようなＨＭＤ内で使用されるもの等の速度検出器（例えば、加速度計）と併せて使用され得る、外向きに向いたカメラのための所定のセットのフレームレート間で切り替えるためのフレームレート遷移マップの形態における、例示的アルゴリズムを示す。
図１８Ａは、本明細書に説明されるＨＭＤ等のデバイスによって実装され得る、例示的方法を示す。
図１８Ｂは、ＨＭＤと連動し得るもの等のコンピューティングデバイスによって実行され得る、外向きに向いたカメラのフレームレートを制御する別の方法を示す。
図１９は、異なるフレームレートにおける外向きに向いたカメラのフレームレートを示す、マルチカメラシステムの時間－カメラプロットを示す。
図２０は、左および右眼と関連付けられる外向きに向いたカメラ等のカメラを含む、例示的ウェアラブルシステムを示す。
図２１Ａは、仮想コンテンツの場所に基づいてフレームレートを調節する方法のためのフローチャートを示す。
図２１Ｂは、別の例示的方法のためのフローチャートを示す。
図２２は、頭部搭載型ディスプレイに対する視認ゾーンおよび／または種々のフィールドの概略の断面の上面図を示す。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図するものではない。
ＡＲ／ＶＲ／ＭＲシステムのためのウェアラブルデバイスは、３次元（３Ｄ）画像をユーザに提示するための頭部搭載型デバイス（ＨＭＤ）であることができる。ＨＭＤは、頭部搭載型ディスプレイを含んでもよく、これは、３次元（３Ｄ）仮想オブジェクトをユーザの環境の中にユーザの眼の視点からレンダリングすることができる。その結果、３Ｄ仮想オブジェクトは、実世界オブジェクトと類似様式においてユーザによって知覚され得る。ＨＭＤは、これは、ユーザの環境内のオブジェクト（仮想オブジェクトを含む）を示す、世界マップに基づいて、３Ｄ仮想オブジェクトをレンダリングすることができる。ＨＭＤは、世界マップに対応する色および強度を用いて、ディスプレイ上のピクセルを照明することができる。しかしながら、世界マップ内の点は、ユーザの眼が動き回るため、ＨＭＤ上に所定のレンダリング場所を有していない場合がある。ディスプレイは、デバイスが最初にユーザによって使用されるとき等、ユーザの眼に対して較正され得るが、そのような較正は、ディスプレイがユーザの頭部に強固に添着されないであろうため、および／または種々のフレームレートが、ユーザの頭部が移動するにつれて使用され得るため、常時、信頼性があるわけではない場合がある。例えば、ディスプレイは、ユーザがユーザ移動を要求するビデオゲームをプレーしているとき等、ユーザがそれと相互作用するとき、移動し得る。さらに、ディスプレイは、ユーザの鼻の下方に若干滑動する、またはユーザの耳間の線に対して傾斜し得る。その結果、ＨＭＤは、ディスプレイの偏移（前方または片側への傾斜等）に起因して、仮想オブジェクトの現実的提示を提供することが不可能な場合がある。また、乏しい電力リソースをＨＭＤの要素（例えば、外向きに向いたカメラ、内向きに向いたカメラ、ディスプレイ要素等）に指向することが有利であり得る。これは、例えば、１つ以上の外向きに向いたカメラのフレームレートを変調させる等、ハードウェアおよび／またはソフトウェアの種々のパラメータを調節することを伴い得る。
本明細書に説明される技法は、少なくとも部分的に、これらの問題を解決することを対象とする。ウェアラブルデバイスの内向きに向いた結像システムは、ユーザの顔の眼球周囲領域の画像を入手することができる。ウェアラブルデバイスは、眼球周囲画像を分析し、眼球周囲特徴（例えば、ユーザの眼の位置）を識別することができる。ウェアラブルデバイスは、ユーザの眼とＨＭＤとの間の相対的位置を決定するために、眼球周囲特徴を追跡することができる。本情報に基づいて、ウェアラブルデバイスは、（ＨＭＤによって表示されるための）仮想オブジェクトのレンダリング場所を動的に調節し、ユーザの眼の視点を反映させることができる。故に、ＨＭＤのそのような実施形態は、ＨＭＤが、ユーザの頭部に対して若干滑動、移動、または傾斜するときでも、画像をユーザに正確に表示することができる。
ＨＭＤとユーザの頭部との間の相対的位置はまた、ＨＭＤのフィット感を決定するために使用されることができる。フィット感は、現実的かつ没入型の視覚的体験を提供するために、ＨＭＤのあるパラメータを調節すべきかどうか（例えば、レンダリングパラメータまたはフレームの位置（例えば、左および右耳掛け部間の距離を増減させ、より大きいまたはより小さい頭部に適応することによって））に関するインジケーションを提供し得る。ＨＭＤは、眼球周囲領域の眼画像空間からデバイスに関するフィット感空間への内向きマッピングを使用して、フィット感の良好度を決定することができる。眼画像空間は、例えば、眼球周囲領域または特徴の画像等、内向きに向いた結像システムによって入手された画像に基づいて決定されてもよい。フィット感空間は、フィット感に関する定質的または定量的インジケーションの集合を含むことができる。ＨＭＤは、外向きマッピングまたは他の技法を使用して、ユーザの環境内の１つ以上のオブジェクトの１つ以上の特徴（例えば、角、縁）を識別することができる。内向きおよび／または外向きマッピングは、例えば、深層ニューラルネットワーク等の機械学習技法によって学習されてもよい。内向きマッピングは、ユーザの眼球周囲領域内の特徴を識別し、識別された特徴を使用して、ＨＭＤとユーザの顔との間の相対的位置を決定する、またはフィット感の良好度を分類するために使用されることができる。ＨＭＤは、相対的位置または機械学習技法によって学習された他の特徴に基づいて、ＨＭＤがユーザの顔にフィットしているかどうかに関するインジケーションを提供することができる。ＨＭＤはまた、光（例えば、ライトフィールド）がユーザの眼のそれぞれの中に正確に投影されるように、ユーザの頭部に対するＨＭＤの相対的位置に基づいて、３Ｄディスプレイからの光の投影を調節することができる。
ＨＭＤはまた、マッピングを使用して、ユーザがＨＭＤを装着しているかどうかを決定することができる。例えば、ＨＭＤが、眼球周囲特徴等の眼の１つ以上の特徴が、内向きに向いた結像システムによって入手された画像内に現れていないことを決定する（または小さすぎ、ＨＭＤがユーザの顔から外されていることを示す）と、ＨＭＤは、ユーザがデバイスを外したことを示す信号を送信してもよい。信号は、加えて、または代替として、慣性センサ、深度センサ、近接度センサ、または本明細書に説明されるような他のセンサ等の１つ以上の他のセンサから取得されてもよい。信号は、デバイスを１つのモードから別のモードに変化させてもよい。例えば、信号は、ＨＭＤをアクティブモードから電源オフモードまたはスリープモードに変化させてもよい。別の実施例として、ＨＭＤは、画像を使用して、ユーザの顔とデバイスとの間の距離を計算することができ、ＨＭＤが、距離が閾値距離を上回ることを決定する場合、ＨＭＤは、ユーザがＨＭＤを外したことを示す信号を送信してもよい。
他の方法も、電力節約特徴を提供するために使用されてもよい。例えば、１つ以上の外向きに向いたカメラが、ユーザの前方、周縁、またはユーザの視力外にあるかどうかに関わらず、ユーザの環境を感知、結像、および／またはマッピングする際に使用されてもよい。カメラは、２つ以上の状態間で交互するように構成されることができる。例えば、種々のフレームレート（フレーム／秒（ｆｐｓ））が、利用可能であってもよい。より高速のフレームレートは、環境のマッピング等のより高い品質結像をもたらすため、環境が、例えば、急速に変化している間、またはユーザが、急速に移動しているとき、より高速のフレームレートが、望ましくあり得る。しかしながら、より高いフレームレートの電力コストは、概して、より高いため、より低いフレームレートが容認可能であるとき、カメラのうちの１つ以上のもののフレームレートを低減させることが有利であり得る。故に、フレームレートと電力節約との間の平衡が、行われ得る。本平衡は、部分的に、例えば、ユーザの環境、ユーザのアクション、またはユーザの選択に基づいて、時間および場所にわたって偏移し得る。
ＨＭＤが、モバイル式であって、ユーザが、部屋を中心として移動するとき、部屋内の特徴の相対的場所は、変化する。これらの変化に追い付くために、１つ以上のカメラの動作パラメータは、特徴場所の正確度を増加させるように調節されることができる。しかしながら、全てのカメラに対して、かつ何らかのフィードバックループを伴わずに、これを行うことは、電力消費を増加させ得る。本明細書に説明されるものは、環境（例えば、部屋）内の特徴位置正確度および光子設置を増加させながら、電力消費を低減または最小限にするための方法およびシステムである。電力貯蔵が、例えば、姿勢を維持するために採用され得る、リソース（例えば、クロック、電圧、ＣＰＵ、ＧＰＵ）の数を低減させることによって、より長く維持されることができる。本技法を使用して、デバイスのバッテリ寿命は、同時に、高品質複合現実体験を提供しながら、延長され得る。
（ウェアラブルシステムの３Ｄディスプレイの実施例）
ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、頭部搭載型デバイス（ＨＭＤ）であることができ、これは、頭部搭載型ディスプレイ（ＨＭＤ）またはＡＲデバイス（ＡＲＤ）と同義的に使用される。さらに、本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」と同義的に使用される。
図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図２Ａおよび２Ｂは、ウェアラブルシステム２００の実施例を図示し、これは、ＡＲ／ＶＲ／ＭＲ場面を提供するように構成されることができる。ウェアラブルシステム２００はまた、ＡＲシステム２００と称され得る。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によって装着可能である、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示することができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイを備えることができる。頭部搭載型ディスプレイは、ヘッドアップディスプレイ（ＨＵＤ）であってもよく、これは、仮想情報をユーザの視野内の所定の場所に表示することができる（ＨＵＤを通して知覚されるように）。頭部搭載型ディスプレイはまた、空間拡張現実（ＳＡＲ）ディスプレイであってもよく、これは、仮想オブジェクトが実世界オブジェクトと同様に現れるように、視点が定まった様式において（例えば、ユーザの視点から）３Ｄオブジェクトをユーザの環境の中にレンダリングすることができる。仮想オブジェクトをレンダリングするために使用される視点は、レンダリング視点とも称され得る。
いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイ２２０は、環境からオーディオストリームを検出し、周囲音を捕捉するために、オーディオセンサ（例えば、マイクロホン）２３２を含むことができる。いくつかの実施形態では、示されない１つ以上の他のオーディオセンサが、ステレオ音受信を提供するために位置付けられる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ウェアラブルシステム２００は、音声または発話認識をオーディオストリームに実施することができる。
ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに向いた結像システム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡することができる、内向きに向いた結像システム４６２（図４に示される）を含むことができる。内向きに向いた結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに向いた結像システム４６２は、フレーム２３０に取り付けられてもよく、内向きに向いた結像システムによって入手された画像情報を処理し、例えば、ユーザ２１０の眼の瞳孔直径または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール２６０または２７０と電気通信してもよい。内向きに向いた結像システム４６２は、１つ以上のカメラを含んでもよい。例えば、少なくとも１つのカメラは、各眼を結像するために使用されてもよい。カメラによって入手された画像は、眼毎に、別個の瞳孔サイズまたは眼姿勢を決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために使用されてもよい。別の実施例として、１つのみの眼の瞳孔直径または配向が、決定され（例えば、その眼の画像を入手するように構成されるカメラのために入手された画像に基づいて）、本眼のために決定された眼特徴は、ユーザ２１０の他の眼に関しても類似であると仮定される。
実施例として、ウェアラブルシステム２００は、外向きに向いた結像システム４６４または内向きに向いた結像システム４６２を使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。
ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合されることができる（２５０）。
ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、（ａ）画像捕捉デバイス（例えば、内向きに向いた結像システムおよび／または外向きに向いた結像システム内のカメラ）、オーディオセンサ（例えば、マイクロホン）、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、または（ｂ）場合によっては処理または読出後にディスプレイ２２０への通過のために、遠隔処理モジュール２７０または遠隔データリポジトリ２８０を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク２６２または２６４によって遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。いくつかの実施形態では、ローカル処理およびデータモジュール２６０は、図２Ｂの差込図に示されるように、ベルト結合式構成において、視認者２１０の腰部２８４に除去可能に取り付けられることができる。
いくつかの実施形態では、遠隔処理モジュール２７０は、データまたは画像情報を分析および処理するように構成される、１つ以上のプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動（ｖｅｒｇｅｎｃｅ）と遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動移動（すなわち、瞳孔が、相互に向かって、またはそこから離れるように移動し、眼の視線を収束させ、オブジェクトを固視するような瞳孔の回転）は、眼の水晶体の合焦（または「遠近調節」）と緊密に関連付けられる。通常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼のレンズの焦点の変化または眼の遠近調節は、「遠近調節－輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の整合変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な整合を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図３を参照すると、ｚ－軸上の眼３０２および３０４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼３０２および３０４によって遠近調節される。眼３０２および３０４は、特定の遠近調節された状態をとり、オブジェクトをｚ－軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有する、深度平面３０６のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼３０２および３０４毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼３０２および３０４の視野は、例えば、ｚ－軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態における眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。
（導波管スタックアセンブリ）
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応してもよく、図４は、そのウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。
図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層または構造）。
導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂまたは複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０（図３における眼３０４に対応し得る）に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、それぞれの対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中への投入のための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、画像情報を１つ以上の光学導管（光ファイバケーブル等）を介して、画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０または２７０（図２に図示される）の一部であってもよい。
導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要上部表面および主要底部表面およびそれらの主要上部表面と主要底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部主要表面または底部主要表面に配置されてもよい、または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、モノリシック材料部品であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料部品の表面上および／または内部に形成されてもよい。
図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の上方の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の上方の導波管４３６ｂから生じる光が次の上方の導波管４３４ｂからの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成され、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的ではないまたは電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、立体ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１８年１月２３日に発行された米国特許第９，８７４，７４９号（参照することによってその全体として本明細書に組み込まれる）に説明される。
いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴または「回折光学要素」（また、本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差部で眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一なパターンの出射放出となることができる。
いくつかの実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。
いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、または特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ４６０（ローカル処理およびデータモジュール２６０の実施形態であり得る）は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされることができる。有利なこととして、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム４００は、世界４７０の一部を結像する、外向きに向いた結像システム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、世界カメラの視野（ＦＯＶ）と称され得、結像システム４６４は、時として、ＦＯＶカメラとも称される。世界カメラのＦＯＶは、視認者２１０のＦＯＶと同一である場合とそうではない場合があり、これは、視認者２１０が所与の時間に知覚する、世界４７０の一部を包含する。例えば、いくつかの状況では、世界カメラのＦＯＶは、ウェアラブルシステム４００の視認者２１０の視野より大きくあり得る。視認者による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚することができるため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に接し得る。外向きに向いた結像システム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。
ウェアラブルシステム４００は、オーディオセンサ２３２、例えば、マイクロホンを含み、周囲音を捕捉することができる。上記に説明されるように、いくつかの実施形態では、１つ以上の他のオーディオセンサが、発話源の場所の決定に有用なステレオ音受信を提供するために位置付けられることができる。オーディオセンサ２３２は、別の実施例として、指向性マイクロホンを備えることができ、これはまた、オーディオ源が位置する場所に関するそのような有用な指向性情報を提供することができる。ウェアラブルシステム４００は、発話源を位置特定する際、または特定の瞬間におけるアクティブ話者を決定するため等に、外向きに向いた結像システム４６４およびオーディオセンサ２３０の両方からの情報を使用することができる。例えば、ウェアラブルシステム４００は、単独で、または話者の反射された画像（例えば、鏡に見られるように）と組み合わせて、音声認識を使用して、話者の識別を決定することができる。別の実施例として、ウェアラブルシステム４００は、指向性マイクロホンから入手された音に基づいて、環境内の話者の位置を決定することができる。ウェアラブルシステム４００は、発話認識アルゴリズムを用いて、話者の位置から生じる音を解析し、発話のコンテンツを決定し、音声認識技法を使用して、話者の識別（例えば、名前または他の人口統計情報）を決定することができる。
ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに向いた結像システム４６６（例えば、デジタルカメラ）を含むことができる。内向きに向いた結像システム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。内向きに向いた結像システム４６６は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、片眼４１０のみの瞳孔直径または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、ユーザの両眼に関して類似すると仮定される。内向きに向いた結像システム４６６によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。
ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。マルチＤＯＦコントローラは、コントローラの一部または全部の可能性として考えられる平行移動（例えば、左／右、前方／後方、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）におけるユーザ入力を感知することができる。平行移動をサポートする、マルチＤＯＦコントローラは、３ＤＯＦと称され得る一方、平行移動および回転をサポートする、マルチＤＯＦコントローラは、６ＤＯＦと称され得る。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。
図５は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が図示されるが、導波管アセンブリ４８０内の他の導波管も同様に機能し得、導波管アセンブリ４８０は、複数の導波管を含むことを理解されたい。光５２０が、導波管４３２ｂの入力縁４３２ｃにおいて導波管４３２ｂの中に投入され、ＴＩＲによって導波管４３２ｂ内を伝搬する。光５２０がＤＯＥ４３２ａに衝突する点において、光の一部が、出射ビーム５１０として導波管から出射する。出射ビーム５１０は、略平行として図示されるが、それらはまた、導波管４３２ｂと関連付けられた深度平面に応じて、ある角度で眼４１０に伝搬するように再指向されてもよい（例えば、発散出射ビーム形成）。略平行出射ビームは、光を外部結合し、眼４１０から遠距離（例えば、光学無限遠）における深度平面に設定されるように現れる画像を形成する光抽出光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼４１０がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼４１０に近い距離からの光として脳によって解釈されるであろう。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される制御サブシステムとを含む、光学システムを示す、概略図である。光学システムは、導波管装置と、光を導波管装置にまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むことができる。光学システムは、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。光学システムは、１つ以上の一次平面導波管６３２ａ（１つのみのが図６に示される）と、一次導波管６３２ａの少なくともいくつかのそれぞれと関連付けられた１つ以上のＤＯＥ６３２ｂとを含むことができる。平面導波管６３２ｂは、図４を参照して議論される導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂに類似することができる。光学システムは、分散導波管装置を採用し、光を第１の軸（図６の図では、垂直またはＹ－軸）に沿って中継し、第１の軸（例えば、Ｙ－軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管６２２ｂと、分散平面導波管６２２ｂと関連付けられた少なくとも１つのＤＯＥ６２２ａ（二重破線によって図示される）とを含んでもよい。分散平面導波管６２２ｂは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管６３２ｂと類似または同じであってもよい。同様に、少なくとも１つのＤＯＥ６２２ａは、少なくともいくつかの点において、ＤＯＥ６３２ａと類似または同じであってもよい。例えば、分散平面導波管６２２ｂまたはＤＯＥ６２２ａは、それぞれ、一次平面導波管６３２ｂまたはＤＯＥ６３２ａと同一材料から成ってもよい。図６に示される光学ディスプレイシステム６００の実施形態は、図２に示されるウェアラブルシステム２００の中に統合されることができる。
中継され、射出瞳が拡張された光は、分散導波管装置から１つ以上の一次平面導波管６３２ｂの中に光学的に結合され得る。一次平面導波管６３２ｂは、好ましくは、第１の軸に直交する、第２の軸（例えば、図６の図では、水平またはＸ－軸）に沿って、光を中継することができる。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であることができる。一次平面導波管６３２ｂは、その第２の軸（例えば、Ｘ－軸）に沿って、光の有効射出瞳を拡張させる。例えば、分散平面導波管６２２ｂは、光を垂直またはＹ－軸に沿って中継および拡張させ、光を水平またはＸ－軸に沿って中継および拡張させ得る、一次平面導波管６３２ｂにその光を通過させることができる。
光学システムは、単一モード光ファイバ６４０の近位端の中に光学的に結合され得る、１つ以上の着色光源（例えば、赤色、緑色、および青色レーザ光）６１０を含んでもよい。光ファイバ６４０の遠位端は、圧電材料の中空管６４２を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー６４４として、管６４２から突出する。圧電管６４２は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管６４２の外側、外側表面または外側周縁、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管６４２のコア、中心、内側周縁、または内径に位置してもよい。
例えば、ワイヤ６６０を介して電気的に結合される、駆動電子機器６５０は、対向する対の電極を駆動し、圧電管６４２を独立して２つの軸において屈曲させる。光ファイバ６４４の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ６４４の直径、長さ、および材料性質に依存し得る。圧電管６４２をファイバカンチレバー６４４の第１の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー６４４は、振動させられ、大偏向を通して掃引し得る。
２つの軸において共振振動を刺激することによって、ファイバカンチレバー６４４の先端は、２次元（２－Ｄ）走査を充填する面積内において２軸方向に走査される。光源６１０の強度をファイバカンチレバー６４４の走査と同期して変調させることによって、ファイバカンチレバー６４４から発せられる光は、画像を形成することができる。そのような設定の説明は、米国特許第９，３１０，５５９号（参照することによってその全体として本明細書に組み込まれる）に提供されている。
光学結合器サブシステムのコンポーネントは、走査ファイバカンチレバー６４４から発せられる光をコリメートすることができる。コリメートされた光は、鏡面表面６４８によって、少なくとも１つの回折光学要素（ＤＯＥ）６２２ａを含有する、狭分散平面導波管６２２ｂの中に反射されることができる。コリメートされた光は、ＴＩＲによって分散平面導波管６２２ｂに沿って（図６の図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ６２２ａと繰り返し交差することができる。ＤＯＥ６２２ａは、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ６２２ａとの交差点の各点においてより大きい一次平面導波管６３２ｂの縁に向かって回折させ、光の一部をＴＩＲを介して分散平面導波管６２２ｂの長さを辿ってそのオリジナル軌道上で継続させることができる。
ＤＯＥ６２２ａとの交差点の各点において、付加的光が、一次導波管６３２ｂの入口に向かって回折されることができる。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管６２２ｂ内のＤＯＥ６２２ａによって垂直に拡張されることができる。分散平面導波管６２２ｂから外部結合された本垂直に拡張された光は、一次平面導波管６３２ｂの縁に進入することができる。
一次導波管６３２ｂに進入する光は、ＴＩＲを介して、一次導波管６３２ｂに沿って（図６の図に対して）水平に伝搬することができる。光は、複数の点においてＤＯＥ６３２ａと交差するにつれて、ＴＩＲを介して、一次導波管６３２ｂの長さの少なくとも一部に沿って水平に伝搬する。ＤＯＥ６３２ａは、有利なこととして、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ６３２ａは、有利なこととして、ビームの光の一部のみが、ＤＯＥ６３２ａの各交差部で視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、一次導波管６３２ｂを通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。
伝搬する光とＤＯＥ６３２ａとの間の交差点の各点において、光の一部は、一次導波管６３２ｂの隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管６３２ｂの面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ６３２ａの半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）し、かつビームを設計される焦点レベルに合致する角度に操向することの両方を行う。
故に、これらの異なる経路は、異なる角度におけるＤＯＥ６３２ａの多重度、焦点レベル、または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管６３２ｂの外部で結合させることができる。射出瞳における異なる充填パターンは、有利なこととして、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第１の焦点深度において生成するために採用されてもよい。第２の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。
（ウェアラブルシステムの他のコンポーネント）
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力またはテクスチャの感覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、１つ以上の物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドまたはセンサを有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、ＨＭＤ、およびディスプレイシステムと併用可能な触知デバイスおよびトーテムの実施例は、米国特許第９，６７１，５６６号（参照することによってその全体として本明細書に組み込まれる）に説明される。
（例示的ウェアラブルシステム、環境、およびインターフェース）
ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。
図７は、ＭＲ環境７００の実施例のブロック図である。ＭＲ環境７００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからの感覚入力７０６、ユーザ入力デバイス４６６からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を１つ以上のユーザウェアラブルシステム（例えば、ウェアラブルシステム２００またはディスプレイシステム２２０）または定常室内システム（例えば、室内カメラ等）から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに向いた結像システム、外向きに向いた結像システム等）を使用して、ユーザの環境の場所および種々の他の属性を決定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラおよび／または外向きに向いた結像システムのカメラ等）によって入手された画像データは、マッピング点のセットに低減されてもよい。
１つ以上のオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識またはマッピングし、画像をタグ付けし、マップデータベース７１０を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース７１０は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。
本情報およびマップデータベース内の点集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、顔、人物、窓、壁、ユーザ入力デバイス、テレビ、ドキュメント（例えば、本明細書におけるセキュリティ実施例において説明されるような旅券、運転免許証、パスポート）、ユーザの環境内の他のオブジェクト等を認識することができる。１つ以上のオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置７０８ａは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、ドキュメントを認識するために使用されてもよい。
オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに向いた結像システム４６４（図４に示される）によって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識（例えば、人物またはドキュメント）、オブジェクト姿勢推定、顔認識（例えば、環境内の人物またはドキュメント上の画像から）、学習、インデックス化、運動推定、または画像分析（例えば、写真、署名、識別情報、旅行情報等のドキュメント内の印を識別する）等を実施することができる。１つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、生命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。意味論情報は、本明細書に説明されるように、オブジェクトのアフォーダンスを含むことができる。例えば、意味論情報は、オブジェクトの法線を含んでもよい。システムは、ベクトルを割り当てることができ、その方向は、オブジェクトの法線を示す。経時的に、マップデータベースは、システム（ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つ以上のウェアラブルシステムに伝送されてもよい。例えば、ＭＲ環境７００は、Ｃａｌｉｆｏｒｎｉａで生成している場面についての情報を含んでもよい。環境７００は、Ｎｅｗ Ｙｏｒｋにおける１人以上のユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境７００はまた、位置特定目的のために、トポロジマップを使用してもよい。
図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８００の実施例のプロセスフロー図である。方法８００は、仮想場面がウェアラブルシステムのユーザに提示され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに存在する友人と散歩に行くことを所望し得る。
ブロック８１０では、ウェアラブルシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８１０において、情報をシステムに伝達する。システムは、ブロック８２０において、本情報に基づいて、疎点を決定してもよい。疎点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャ）を決定する際に使用されることができる。オブジェクト認識装置７０８ａ－７０８ｎは、ブロック８３０において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つ以上のオブジェクトを認識してもよい。本情報は、次いで、ブロック８４０において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック８５０において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。
図９は、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム９００は、マップ９２０を備え、これは、世界に関するマップデータを含有する、マップデータベース７１０を含んでもよい。マップは、部分的に、ウェアラブルシステム上にローカルに常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス９１０が、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を決定するために、マップ９２０からのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、その世界内で動作するにつれて、オンザフライで収集されたデータから算出されてもよい。データは、実または仮想環境内のオブジェクトに関する画像、センサ（概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定ユニット等）からのデータ、および表面情報を備えてもよい。
疎点表現は、同時位置特定およびマッピング（例えば、入力が画像／視覚のみである構成を指す、ＳＬＡＭまたはｖＳＬＡＭ）プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界が構成される内容も見出すように構成されることができる。姿勢は、マップへの取込およびマップからのデータの使用を含め、多くの目標を達成する、構築ブロックであり得る。
一実施形態では、疎点位置は、それ自体では完全に適正であり得ず、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生成するために必要とされ得る。概して、深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視９４０と称されるプロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して生成される赤外線パターン等）、画像カメラから入手された画像、または手ジェスチャ／トーテム９５０が、立体視プロセス９４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、このうちのいくつかは、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的（例えば、大規模点群に対して）かつ要約しやすい入力であってもよい。したがって、立体視プロセス（例えば、深度マップ）９４０の出力は、融合プロセス９３０において組み合わせられてもよい。姿勢９１０は、同様に、本融合プロセス９３０への入力であってもよく、融合９３０の出力は、マップ取込プロセス９２０への入力となる。サブ表面が、トポグラフィマッピング等において、相互に接続し、より大きい表面を形成し得、マップは、点および表面の大規模ハイブリッドとなる。
複合現実プロセス９６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図９に描写される実施形態では、ゲームパラメータは、システムのユーザが１匹以上のモンスタと種々の場所においてモンスタバトルゲームをプレーしていること、モンスタが死んでいる、または種々の条件下で逃げている（ユーザがモンスタを撃つ場合等）、種々の場所における壁または他のオブジェクト、および同等物を決定するための入力であってもよい。世界マップは、オブジェクトの場所に関する情報またはオブジェクトの意味論情報を含んでもよく、世界マップは、複合現実に対する別の有用な入力となることができる。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を果たす。
ユーザからの制御または入力は、ウェアラブルシステム９００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム９００に、行うことを所望する対象に関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。一実施形態では、トーテム（例えば、ユーザ入力デバイス）、または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、システムは、場所および配向だけではなく、ユーザが、そのようなアクティビティがカメラのいずれかの視野内にないときでも、生じている状況を決定することを補助し得る、ＩＭＵ等のセンサを装備し得る、トリガまたは他の感知ボタンまたは要素をクリックしているかどうかも理解するように構成されてもよい。）
手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム９００は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム環境において電子メールまたはカレンダを通して捲る、または別の人物またはプレーヤと「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム９００は、動的である場合とそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、ＯＫを示すために親指を上げる、ＯＫではないことを示すために親指を下げる、または指向性コマンドを示すために左右または上下に手をフリップする等、単純な静的ジェスチャであってもよい。
眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲においてレンダリングする）。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して決定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、決定されてもよい。眼追跡は、眼カメラによって実施され、眼視線（例えば、片眼または両眼の方向または配向）を決定することができる。他の技法も、例えば、眼の近傍に設置された電極による電位の測定（例えば、電気眼球図記録）等、眼追跡のために使用されることができる。
発話追跡は、単独で、または他の入力（例えば、トーテム追跡、眼追跡、ジェスチャ追跡等）と組み合わせて使用され得る、別の入力であり得る。発話追跡は、単独で、または組み合わせて、発話認識、音声認識を含んでもよい。システム９００は、オーディオストリームを環境から受信する、オーディオセンサ（例えば、マイクロホン）を含むことができる。システム９００は、発話している人物（例えば、発話がＡＲＤの装着者または別の人物または音声（例えば、環境内のラウドスピーカによって伝送される記録された音声）からのものであるかどうか）を決定するための音声認識技術および言われていることを決定するための発話認識技術を組み込むことができる。ローカルデータおよび処理モジュール２６０または遠隔処理モジュール２７０は、マイクロホンからのオーディオデータ（または、例えば、ユーザによって鑑賞されているビデオストリーム等の別のストリーム内のオーディオデータ）を処理し、例えば、隠れマルコフモデル、動的時間伸縮法（ＤＴＷ）ベースの発話認識、ニューラルネットワーク、ディープフィードフォワードおよび再帰ニューラルネットワーク等の深層学習アルゴリズム、エンドツーエンド自動発話認識、機械学習アルゴリズム（図７を参照して説明される）、または音響モデル化または言語モデル化等を使用する、他のアルゴリズム等の種々の発話認識アルゴリズムを適用することによって、発話のコンテンツを識別することができる。
ローカルデータおよび処理モジュール２６０、または遠隔処理モジュール２７０はまた、音声認識アルゴリズムを適用することができ、これは、話者がウェアラブルシステム９００のユーザ２１０またはユーザが会話している別の人物であるかどうか等の話者の識別を識別することができる。いくつかの例示的音声認識アルゴリズムは、頻度推定、隠れマルコフモデル、ガウス混合モデル、パターンマッチングアルゴリズム、ニューラルネットワーク、マトリクス表現、ベクトル量子化、話者ダイアライゼーション、決定ツリー、および動的時間伸縮（ＤＴＷ）技法を含むことができる。音声認識技法はまた、コホートモデルおよび世界モデル等のアンチ話者技法を含むことができる。スペクトル特徴は、話者特性を表す際に使用されてもよい。ローカルデータおよび処理モジュールまたは遠隔データ処理モジュール２７０は、図７を参照して説明される種々の機械学習アルゴリズムを使用して、音声認識を実施することができる。
カメラシステムに関して、図９に示される例示的ウェアラブルシステム９００は、３つの対のカメラ、すなわち、ユーザの顔の両側に配列される相対的広ＦＯＶまたは受動ＳＬＡＭ対のカメラと、ユーザの正面に配向され、立体視結像プロセス９４０をハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム／オブジェクトの軌道を捕捉するための異なる対のカメラとを含むことができる。ステレオプロセス９４０に対するＦＯＶカメラおよび対のカメラは、外向きに向いた結像システム４６４（図４に示される）の一部であってもよい。ウェアラブルシステム９００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される眼追跡カメラ（図４に示される内向きに向いた結像システム４６２の一部であってもよい）を含むことができる。ウェアラブルシステム９００はまた、１つ以上のテクスチャ化光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。
図１０は、仮想ユーザインターフェースと相互作用するための方法１０００の実施例のプロセスフロー図である。方法１０００は、本明細書に説明されるウェアラブルシステムによって行われてもよい。方法１０００は、テレプレゼンスセッションにおいて方法１０００を実施してもよい。
ブロック１０１０では、ウェアラブルシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって与えられてもよい。ウェアラブルシステムは、特定のＵＩがユーザ入力（例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等）に基づいて取り込まれる必要があることを識別してもよい。ＵＩは、テレプレゼンスセッションに特有であってもよい。ブロック１０２０では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの境界、一般的構造、形状等と関連付けられたデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがユーザの物理的場所に関連してＵＩを表示し得るように、ユーザの物理的場所のマップ座標を決定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩがユーザの周囲に表示され得る、または平面ＵＩが壁上またはユーザの正面に表示され得るように、ユーザの物理的立ち位置、頭部姿勢、または眼姿勢の座標を決定してもよい。テレプレゼンスコンテキストでは、ＵＩは、ＵＩが、ユーザを囲繞し、環境内の別のユーザの存在の実在感覚をもたらすかのように表示されてもよい（例えば、ＵＩは、ユーザの周囲の参加者の仮想アバタを表示することができる）。ＵＩが、手中心の場合、ユーザの手のマップ座標が、決定されてもよい。これらのマップ点は、ＦＯＶカメラ、感覚入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して導出されてもよい。
ブロック１０３０では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック１０４０では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが生成されると、ウェアラブルシステムは、ブロック１０５０において、単に、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想ＵＩ上に生成してもよい。例えば、ＵＩは、ユーザの身体またはユーザの環境内の人物（例えば、旅行者）の身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、音声コマンド、ユーザ入力デバイスからの入力等）を待機してもよく、認識される場合（ブロック１０６０）、コマンドと関連付けられた仮想コンテンツが、ユーザに表示されてもよい（ブロック１０７０）。
（ウェアラブルデバイスおよびユーザの顔の画像の実施例）
図１１は、例示的ウェアラブルデバイスを図示し、これは、ユーザの顔の画像を入手することができる。ウェアラブルデバイス１１５０は、図２を参照して説明される、例示的頭部搭載型デバイス（ＨＭＤ）であることができる。ウェアラブルデバイス１１５０は、ＳＡＲデバイスであってもよく、これは、仮想オブジェクトをユーザの眼の視点からレンダリングするための頭部搭載型ディスプレイを含んでもよい。ウェアラブルデバイスによって入手された画像は、静止画像、動画、ビデオからの個々のフレーム、またはビデオを含むことができる。
ウェアラブルデバイス１１５０は、結像システム１１６０を含むことができ、これは、ユーザ２１０の顔を結像するように構成されることができる。結像システム１１６０は、図４に示される内向きに向いた結像システム４６２の実施例であってもよい。例えば、結像システム１１６０は、ユーザ２１０が、ウェアラブルデバイス１１５０を装着している間、ユーザの眼１１１０の眼球周囲領域を結像するように構成される、眼カメラ（例えば、眼カメラ１１６０ａおよび眼カメラ１１６０ｂ）等のセンサを含んでもよい。本実施例では、眼１１１０ｂは、図３に示される、眼３０２に対応し得、眼１１１０ａは、眼３０４に対応し得る。ウェアラブルデバイス１１５０はまた、例えば、慣性測定ユニット、圧力センサ、近接度センサ等の他のタイプのセンサを含むことができる。これらのセンサのうちの１つ以上のものは、ウェアラブルデバイス１１５０のフレーム上（例えば、一方または両方の耳掛け部上）に配置されることができる。センサによって入手されたデータは、ウェアラブルデバイス１１５０とユーザの顔との間の相対的位置を決定するために使用されてもよい。
各眼カメラは、視野（ＦＯＶ）を有してもよい。例えば、眼カメラ１１６０ａに関するＦＯＶは、領域１１２０ａおよび領域１１３０を含むことができる。眼カメラ１１６０ｂに関するＦＯＶは、領域１１２０ｂおよび領域１１３０を含むことができる。眼カメラ１１６０ａのＦＯＶおよび眼カメラ１１６０ｂのＦＯＶは、領域１１３０において重複してもよい。
図１１に示されるように、結像システム１１６０は、ユーザ２１０の頭部に向かって向いている。眼カメラ１１６０ａは、眼１１１０ａを結像するように構成されてもよい一方、眼カメラ１１６０ｂは、眼１１１０ｂを結像するように構成されてもよい。本図では、眼カメラ１１６０ａの光学軸１１４０ａは、眼カメラ１１６０ｂの光学軸１１４０ｂと平行である。
いくつかの実装では、眼カメラの一方または両方は、２つの眼カメラの光学軸がもはや平行ではないように回転されてもよい。例えば、２つの眼カメラは、若干、相互に向かって向いていてもよい（例えば、特に、眼カメラが、デバイス１１５０のフレームの外側縁の近傍に配置される場合）。本実装は、交差眼構成を作成し得、これが、２つのカメラ間のＦＯＶの重複を増加させ、かつ２つの眼カメラがより近い距離において顔を結像することを可能にし得るため、有利であり得る。
ウェアラブルデバイス１１５０が、ユーザ２１０に非常に近接するとき、眼カメラは、合焦ずれし得る。例えば、ユーザに関する眼球周囲分離（例えば、顔の左および右側上の眼球周囲特徴間の距離）が、４６ｍｍ（成人男性に典型的）であって、２つの眼カメラがそれぞれ、６６度（眼追跡のために適切）の水平ＦＯＶを有すると仮定すると、ウェアラブルデバイスは、顔とウェアラブルデバイスとの間の距離が、少なくとも約１７５ｍｍであるとき、写真を撮影し得る。多くの眼カメラのレンズのための最小焦点距離は、約１４ｍｍである。レンズが、固定焦点距離を有する場合、その焦点深度は、約６５ジオプタである必要がある。
不十分な焦点深度が存在するときに画像が取得される場合、ウェアラブルデバイス１１５０は、画像を低分解能画像として扱い得る。その結果、ウェアラブルデバイスによって生成された顔モデルは、低忠実性を有する、または顔全体の特徴の疎表現を有し得る。そのような顔モデルは、依然として、ユーザ（例えば、瞳孔間距離）のための眼球間分離を推測するために使用されてもよく、これは、ウェアラブルデバイスがユーザの顔にフィットしているかどうかを決定するために有用である。
図１１に説明される実施例は、２つの眼カメラを図示するが、ウェアラブルデバイス１１５０は、２つの眼カメラを有するように要求されない。いくつかの実施形態では、結像システム１１６０は、ユーザの顔を結像する１つの眼カメラを含んでもよい。１つの眼カメラは、片眼と関連付けられた眼球周囲領域または両眼に関する眼球周囲領域を結像するように構成されてもよい。他の実施形態では、ウェアラブルデバイス１１５０は、２つを上回る眼カメラを含んでもよい。
ウェアラブルデバイス１１５０は、結像システム１１６０によって入手されたユーザの顔の画像を使用して、ユーザの顔のモデルを構築することができる。画像は、ユーザが、デバイスを着けている、または外しているとき、結像システム１１６０によって入手されてもよい。画像はまた、外向きに向いた結像システム４６４（図４に示される）を使用して、ユーザの顔を走査することによって入手されてもよい。例えば、外向きに向いた結像システム４６４を使用して、ユーザの顔を走査するために、ユーザは、外向きに向いた結像システム４６４がユーザの顔に向かって（ユーザの環境ではなく）面するように、ウェアラブルデバイス１１５０を旋回させてもよい。ウェアラブルデバイスは、例えば、ユーザが最初にウェアラブルデバイスを使用するとき、またはユーザがウェアラブルデバイスをオンにするとき等、ウェアラブルデバイスの初期化位相の間、ユーザの顔のモデルを作成することができる。結像システム１１６０によって入手された画像を使用した顔モデルの生成の実施例はまた、「ＦＡＣＥ ＭＯＤＥＬ ＣＡＰＴＵＲＥ ＢＹ ＡＮ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＤＥＶＩＣＥ」と題された米国仮出願第６２／４００，９０７号（本開示は、参照することによってその全体として本明細書に組み込まれる）に説明される。
ユーザの顔のモデルは、基本モデルおよびユーザに特有のデータに基づいて生成されてもよい。例えば、ウェアラブルデバイスは、あるグループの人々と関連付けられたデータから事前に生成された基本モデルを使用して、ウェアラブルデバイスによって入手された画像を分析することによって取得されるユーザ特有情報に基づいて、基本モデルをカスタマイズしてもよい。いくつかの実装では、基本モデルは、ウェアラブルデバイスのユーザに類似する人口統計情報を有するグループの人々と関連付けられてもよい。例えば、ユーザが、十代の女性である場合、ウェアラブルデバイスは、十代の典型的女性と関連付けられた基本モデルにアクセスしてもよい。別の実施例として、ユーザが、ある性別および／または人種グループに属する場合、ウェアラブルデバイスは、その性別および／または人種グループに共通する基本モデルにアクセスしてもよい。ウェアラブルデバイスはまた、あるグループの人々またはユーザと関連付けられた画像に関する統計的分析に基づいて、マップ上のある顔特徴の場所の尤度を決定することができる。ウェアラブルデバイスは、次いで、ユーザに特有の入手された画像に基づいて、尤度を更新する、または眼球周囲特徴の場所を確認することができる。
画像内の眼球周囲特徴の存在を識別することに加え、またはその代替として、ウェアラブルデバイスは、ウェアラブルデバイスとユーザとの間の相対的位置を決定するために、内向きに向いた結像システムによって入手された画像を分析することができる。内向きに向いた結像システム４６２（図４に示される）の眼カメラは、そのＦＯＶ内の画像を持続的に取得することができる。眼カメラはまた、トリガに基づいてのみ、画像を入手するように構成されてもよい。例えば、眼カメラは、ユーザがウェアラブルデバイスを着けているとき（例えば、ＩＭＵに基づいて、ウェアラブルデバイスの移動によって決定されるように）、１つ以上の画像を捕捉するようにトリガされてもよい。代替として、眼カメラは、選択された頻度において画像を捕捉してもよい。頻度は、数秒または数分毎等、任意の所望の時間インターバルであってもよく、頻度は、画像を使用するシステムの要件に応じて変化してもよい。
ウェアラブルデバイスはまた、ユーザ特有の画像に基づいて、顔モデルを構築することができる。例えば、ウェアラブルデバイスは、内向きに向いた結像システムまたは外向きに向いた結像システムによって入手された画像からのみ、ユーザの顔のモデルを生成してもよい。いくつかの実装では、ウェアラブルデバイスは、ユーザの顔のより多くの画像が入手されるにつれて、ユーザの顔モデルを更新してもよい。例えば、ウェアラブルデバイスは、ユーザがデバイスを着けるにつれて、内向きに向いた結像システムによって入手された画像に基づいて、顔モデルを生成してもよい。ウェアラブルデバイスは、ユーザがデバイスを外しているとき、またはユーザがデバイスを再び着けている次のセッションにおいて入手された新しい画像に基づいて、顔モデルを更新することができる。
これらの実施例は、ウェアラブルデバイスを使用した顔モデルの構築またはユーザの顔のマップの作成を参照するが、いくつかの実施形態は、遠隔コンピューティングデバイスと通信し、顔モデルを生成または別様に取得する、ウェアラブルデバイスを含んでもよい。例えば、ウェアラブルデバイスは、ユーザの顔の画像を入手し、画像（単独で、または、例えば、ユーザの人口統計情報等のユーザの他の情報と組み合わせて）を遠隔コンピューティングデバイス（例えば、サーバ等）に渡すことができる。遠隔コンピューティングデバイスは、画像を分析し、顔モデルを作成することができ、顔モデルをユーザのウェアラブルデバイスに戻す、または顔モデルを別のユーザのウェアラブルデバイスに渡すことができる（例えば、テレプレゼンスセッションの間）。
さらに、ウェアラブルデバイスのフィット感または除去を決定する、または仮想画像のレンダリング場所を調節することに加え、またはその代替として、顔モデルはまた、ユーザ識別を実施するために使用されることができる。画像に基づいてユーザの識別を決定する実施例として、ウェアラブルデバイスは、種々の顔認識アルゴリズムを入手された画像に適用することによって、ユーザの顔特徴（例えば、顔形状、肌質、鼻、眼、頬の特性等）を分析することができる。いくつかの実施例顔認識アルゴリズムは、固有顔を使用した主成分分析、線形判別分析、Ｆｉｓｈｅｒｆａｃｅアルゴリズムを使用したエラスティックバンチグラフィックマッチング、隠れマルコフモデル、テンソル表現を使用した多重線形部分空間学習、およびニューロン動機ダイナミックリンクマッチング、または３Ｄ顔認識アルゴリズムを含む。デバイスはまた、画像を分析し、虹彩を識別し、各個人に一意のバイオメトリックシグネチャ（例えば、虹彩コード）を決定してもよい。
ウェアラブルデバイスはまた、デバイスがユーザの顔に着けられている、または外されている間、ウェアラブルデバイスによって入手された画像に基づいて、画像位置合わせを実施することができる。画像位置合わせから取得される結果として生じる画像は、ユーザの顔に加え、またはその代替として、ユーザの環境の一部（例えば、ユーザの部屋またはユーザの近傍の別の人物）を含むことができる。
（眼球周囲領域の画像の実施例）
図１１を参照して説明されるように、結像システム１１６０によって入手された画像は、ユーザの眼球周囲領域の一部を含んでもよい。眼球周囲領域は、１つ以上の眼球周囲特徴または眼球周囲特徴の一部を含むことができる。眼球周囲特徴は、例えば、眼、眼窩、眉毛、鼻、頬、または前額を含んでもよい。顔の他の特徴またはユーザ特有の詳細もまた、眼球周囲特徴と見なされ得る。
図１２Ａは、ユーザの眼球周囲領域１２７０を結像するＨＭＤカメラから取得され得るような片眼に関する眼球周囲領域１２７０の例示的画像１２００ａを図示する。本実施例では、眼球周囲領域１２７０は、眼１２１０ａ、眼窩、眉毛１２２０ａ、鼻１２３０ａの一部、頬１２４０ａ、および前額１２５０ａ等の眼球周囲特徴を含む。各眼球周囲特徴は、眼球周囲特徴と関連付けられた種々の特性を有し得る。特性は、各異なる眼球周囲特徴に特有であり得る。例えば、眼球周囲特徴眉毛１２２０ａは、眉毛の形状、眉毛の色、眉毛の可能性が高い移動または移動方向等を含む、特性を有してもよい。眼球周囲特徴眼１２１０ａは、例えば、眼角の形状、サイズ、場所、視線方向、瞳孔場所、眼球中心の場所、眼瞼の形状およびしわ、眼球周囲の皮膚のテクスチャ等の特性を有してもよい。多くの他の特性もまた、各眼球周囲特徴を識別および追跡するために使用されてもよい。１つ以上の眼球周囲特徴の１つ以上の特性は、特徴点、点群、または他のタイプの数学的表現によって表されてもよい。
ウェアラブルデバイスは、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）等のニューラルネットワークまたは視覚的特徴点技法を使用して、眼球周囲特徴および関連付けられた特性を算出および追跡することができる。いくつかの実施形態では、特定の顔特徴は、その特定の眼球周囲特徴のために具体的に設計された検出器を使用して追跡されてもよい。例えば、眼角、鼻特徴、口角等の眼球周囲特徴特性は、種々のアルゴリズムを使用して、別個に識別および追跡されてもよい。これらの眼球周囲特徴特性のうちの１つ以上のものを別個に追跡することは、ユーザが表情を作っている、または発話しているとき、各眼球周囲特徴および／または特性が、実質的運動を受けやすくあり得るため、有利であり得る。これらの眼球周囲特徴および特性を追跡するために使用されるアルゴリズムは、運動の範囲を考慮し得る。実施例として、いくつかの眼球周囲特徴および／または関連付けられた特性は、ある方向に移動する可能性が高くあり得る、および／または他の方向においてより安定したままである可能性が高くあり得る（例えば、眉毛は、左右ではなく、上下に移動する傾向にある）。
ウェアラブルデバイスは、眼球周囲特徴の移動を統計的に分析することができる。これらの統計は、顔特徴がある方向に移動するであろう尤度を決定するために使用されてもよい。いくつかの実施形態では、１つ以上の眼球周囲特徴または特性は、除去され、または追跡されず、処理需要を低減させる、または信頼性を改良してもよい。信頼性を改良することが所望されるインスタンスでは、その他より誤差を受けやすい眼球周囲特徴または特性を無視またはマスクすることが有利であり得る。例えば、いくつかの実施形態では、図１２Ｂを参照して説明されるように、ウェアラブルデバイスは、眼球周囲領域１２７０内の他方の眼球周囲特徴または特性を追跡するとき、眼移動がＨＭＤによって認識されないように、眼１２１０ｂの中心エリア１２１２内のピクセルを無視してもよい。
ウェアラブルデバイスはまた、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調整等の視覚的同時位置特定およびマッピング（ｖＳＬＡＭ）技法を使用して、眼球周囲特徴および特性を識別および追跡することができる。いくつかの実施形態では、ウェアラブルデバイスは、ユーザの深度知覚およびマッピングを可能にするように構成されてもよい。例えば、ウェアラブルデバイスは、稠密マップを構築することができ、これは、１つ以上のカメラによって入手されたデータから顔の少なくとも一部をエンコードする。特徴点マップとは対照的に、稠密マップは、その３Ｄ形状が測定される顔のパッチまたは領域を備えてもよい。パッチまたは領域は、反復最近傍アルゴリズムまたは類似アルゴリズム等の技法を使用して、ユーザの顔に対するＨＭＤの場所を算出するために使用されてもよい。
ウェアラブルデバイス上のカメラによって捕捉された眼球周囲領域内のサイズおよびコンテンツは、眼カメラのＦＯＶに依存し得る。いくつかの実装では、眼カメラは、捕捉された眼球周囲領域内の全ての認識可能眼球周囲特徴に適合するための大ＦＯＶを有していなくてもよい。例えば、眼カメラによって捕捉された画像は、眼窩を含むが、眉毛を含まなくてもよい。カメラの技術的仕様は、眼球周囲領域の複数の捕捉されたフレーム内に存在したままである可能性が最も高い眼球周囲特徴および追跡するために最も信頼性のある眼球周囲特徴を決定してもよい。
図１１を参照して説明されるように、いくつかの状況では、各眼カメラは、眼を結像するように構成されるが、２つの眼カメラ（左眼に１つおよび右眼に１つ）は、重複眼球周囲領域がカメラによって結像されるように、重複ＦＯＶ１１３０を有してもよい。これは、２つのカメラのＦＯＶが十分に広く、カメラがユーザの顔の中心に向かって内向きに角度付けられ、カメラが相互の近傍に位置付けられ、および／または２つのカメラがユーザから十分に遠く離れているためであり得る。その結果、ユーザの顔の一部、典型的には、中心部分（例えば、鼻）が、両方の眼カメラによって捕捉され得る。ウェアラブルデバイスは、２つのカメラから取得される画像を組み合わせ、組み合わせられた画像が眼球周囲特徴を含むかどうかを決定してもよく、眼球周囲特徴が画像内に存在すると決定される場合、ウェアラブルデバイスは、眼球周囲特徴を識別してもよい。
いくつかの実装では、眼カメラによって入手された画像は、眼カメラの焦点がずれ得るため、低分解能画像である場合がある。焦点がずれているまたは低分解能画像は、ウェアラブルデバイスのハードウェア内の物理的限界またはウェアラブルデバイスの不適切な位置付けまたは移動から生じ得る。例えば、焦点がずれている画像は、眼カメラが、ユーザの顔に近すぎる、またはそこから離れすぎていることによって生じ得る。代替として、いくつかの実施形態では、より低い分解能画像を捕捉することが所望され得る。例えば、ウェアラブルデバイスは、眼球周囲特徴を追跡するために高品質画像を必要としない場合があり（例えば、ユーザの顔とウェアラブルデバイスとの間の相対的位置を決定するために）、高分解能画像の使用は、出力に有用な改良を提供せずに、ウェアラブルデバイスのソフトウェアおよびハードウェアシステムにより多くの需要を課し得る。処理時間の観点から、ウェアラブルデバイス上の需要、サンプリング周波数、電力消費、および他のメトリックを最小限にするために、眼結像機から取得される画像の分解能は、そのオリジナル分解能または他の用途で使用される分解能（例えば、眼追跡）に関して、眼球周囲特徴を検出および識別するために必要な最小分解能にダウンサンプリングされてもよい。例えば、眼カメラは、ユーザの視線方向を追跡する目的のために、ユーザの眼を結像してもよい。眼カメラによって取得される画像は、ユーザの顔とウェアラブルデバイスとの間の相対的位置の決定において使用するために、ウェアラブルデバイスによってダウンサイズされることができる。本実装は、ウェアラブルデバイスが、相対的位置を決定するために、眼球周囲領域の詳細な高分解能情報を必要としない場合があるため、有利であり得る。
いくつかの状況では、ウェアラブルデバイスは、眼カメラの分解能を動的に変化させることができる。眼カメラの分解能は、タイミング、ユーザの眼に対するデバイス位置、または捕捉された画像の意図される使用に基づいて選択されてもよい。例えば、ユーザの顔のより大きい部分がユーザの顔のモデルを構築する際の使用のために結像されるように、正常静止使用位置よりさらに離れた距離からユーザの顔の画像を捕捉することが有利であり得る。これらの画像は、ユーザがウェアラブルデバイスを着けるにつれて最良に捕捉されることが決定され得る。眼カメラの分解能は、ユーザの顔全体の高分解能写真がユーザの顔のモデルを生成する際に使用するために利用可能であるように、ユーザがウェアラブルデバイスを着けているとき、高分解能に設定されてもよい。ウェアラブルデバイスが、ユーザ上にある間、眼カメラの分解能は、眼カメラが、他の処理用途を減速させずに、ウェアラブルデバイスが定位置にあるかどうかを持続的に試験し得るように、低分解能に設定されてもよい。種々の実施形態では、低分解能は、高分解能よりある係数分だけ小さくてもよく、係数は、１未満、例えば、０．５、０．２５、０．１、またはそれ未満である。
（眼球周囲領域のマスク部分の実施例）
図１２Ｂは、眼球周囲領域１２７０の例示的画像を図示し、画像内の眼球周囲領域の一部は、ウェアラブルデバイスによってマスクされる。本実施例では、眼カメラは、眼球周囲領域１２７０の画像１２００ｂを入手する。画像１２００ｂは、眼球周囲領域１２７０が、眉毛１２２０ｂ、眼１２１０ｂ、および鼻１２３０ｂ、頬１２４０ｂ、および前額１２５０ｂの部分を含み得ることを示す。
眼球周囲領域の画像１２００ｂの一部は、マスクされ（例えば、画像分析から無視または別様に除外される等）、眼の生物学的状態から生じる変動（眼姿勢の変化、散瞳、瞬目等）を低減させてもよい。眼色、眼球の位置等の眼の特性もまた、異なる人々間で高度に可変であり得る。これらの変動は、眼の生物学的状態に関連する変数と組み合わせて、ウェアラブルデバイスが、ウェアラブルデバイスの位置がユーザの眼に対して変化したどうかを決定するにつれて、雑音および誤差を導入し得る。したがって、結像されている眼球周囲領域の高度に可変部分をマスクすることは、誤差を低減させ得る、また、画像を分析するために必要とされる算出量を低減させ得る。例えば、図１２に示されるように、眼球周囲領域１２７０に示される眼１２１０ｂの中心エリア１２１２は、画像分析の間、無視されるように、マスクされてもよい。いくつかの実施形態では、中心エリア１２１２は、眼の虹彩および／または強膜を含む。その結果、ウェアラブルデバイスは、眼球周囲領域の中心エリア１２１２における情報を分析しない一方、エリア１２１２内の無視されるピクセルを囲繞する眼球周囲領域の画像１２００ｂを分析するであろう。中心エリア１２１２は、眼球周囲特徴または眼球周囲特徴の特性を使用して、自動的に画定および境界されてもよい。
眼球の暴露される部分上に生じる鏡面反射もまた、マスクされることができる。本実装は、特に、ユーザの顔とウェアラブルデバイスとの間の相対的位置を決定するとき、正確度を改良するために有利である。ユーザが、環境内で動き回るにつれて、ユーザの眼からの鏡面反射も、ユーザが見ている場所等の生物学的要因に基づいて、変化し得、また、ユーザに現在見えているもの、環境光源の変化、光源までの距離の変化等、外部要因に基づいても、変化し得る。しかしながら、鏡面反射の変化は、常時ではないが、時として、ユーザの顔とウェアラブルデバイスとの間の相対的位置の変化に起因し得る。したがって、ユーザの眼とウェアラブルデバイスとの間の相対的位置を決定する目的のために、信頼性がない場合があるため、本情報を無視する（または分析しない）ことが有利であり得る。
（眼球周囲特徴の識別の実施例）
ウェアラブルデバイスは、眼カメラによって入手された画像を使用して、機械学習モデルを訓練し、眼球周囲領域内の眼球周囲特徴を識別することができる。ウェアラブルデバイスはまた、オブジェクト認識装置７０８（図７に説明される）を使用して、識別を実施してもよい。オブジェクト認識装置７０８は、眼カメラによって入手された画像から訓練された機械学習モデルを実装してもよい。眼球周囲領域は、片眼または両眼と関連付けられてもよい。機械学習モデルは、あるグループの人々に一般的または個人に特有の眼球周囲特徴または眼球周囲特徴と関連付けられた特性を使用して訓練されてもよい。例えば、ウェアラブルデバイスは、ユーザの眉毛および眼窩等の眼球周囲特徴の特性に基づいて、機械学習モデルを訓練することができる。別の実施例として、ウェアラブルデバイスは、ユーザと同一または類似民族性および性別を有する他の人々の眼球周囲特徴および／または眼球周囲特徴の関連付けられた特性を使用して、機械学習モデルを訓練することができる。
眼球周囲特徴の検出および識別は、ニューラルネットワーク技法（疎オートエンコーダまたは類似クラスタ化技法または多くの隠れ層を使用した深層ニューラルネットワーク等）または他の機械学習アルゴリズムを使用して、自動的に実施されてもよい。いくつかの実装では、機械学習モデルは、その用途に基づいてカスタマイズされてもよい。例えば、機械学習モデルが、ウェアラブルデバイスがユーザの顔にフィットしているかどうかを決定するために使用される場合、機械学習モデルは、眉毛および眼球の場所等の眼球周囲特徴の詳細な特性を識別するように訓練されてもよい。別の実施例として、機械学習モデルが、ユーザがウェアラブルデバイスを除去したかどうか検出するために使用される場合、機械学習モデルは、ユーザの顔の眼球周囲特徴の詳細な特性を学習する必要がない場合がある。むしろ、ユーザの眼窩および鼻等の眼球周囲特徴の最小セットを識別することが十分であり得る。
（ＨＭＤとユーザの顔との間の相対的位置の決定の実施例）
ウェアラブルデバイスは、ウェアラブルデバイス上のカメラによって捕捉された画像内の眼球周囲領域内の眼球周囲特徴を識別することができ、識別された眼球周囲特徴およびその特性を使用して、ウェアラブルデバイスとユーザの顔との間の相対的位置を決定してもよい。ある実施形態では、ウェアラブルデバイスは、ウェアラブルデバイスとユーザとの間の相対的位置を眼毎に別個に計算することができる。例えば、ウェアラブルデバイスが、それぞれ、ユーザの片方の眼球周囲領域を結像するように構成される、２つの眼カメラを有するとき、ウェアラブルデバイスは、左眼と左眼カメラとの間の１つの相対的位置と、右眼と右眼カメラとの間の別の相対的位置とを計算してもよい。左眼とウェアラブルデバイスとの間および右眼とウェアラブルデバイスとの間の相対的位置が、次いで、計算されてもよい。いくつかの実施形態では、眼とウェアラブルデバイスとの間の距離の計算はまた、視野、焦点距離等のカメラ自体についての既知の技術的詳細に加え、ウェアラブルデバイス上の眼カメラの位置についての既知の幾何学的情報に依存し得る。
ウェアラブルデバイスが、個別の眼に関する相対的位置を別個に追跡し得る間、ウェアラブルデバイスはまた、両眼とウェアラブルデバイスとの間の相対的位置情報を組み合わせるように構成されてもよい。代替として、ウェアラブルデバイスは、ユーザの左および右眼の両方を同時に結像可能な１つの眼カメラを含んでもよい。他の実施形態では、ウェアラブルデバイス上の１つの眼カメラは、片眼のみの眼球周囲領域を結像してもよく、そこから、ユーザに対するＨＭＤの相対的位置データが外挿され得る。２つより多いまたはより少ないカメラが、ユーザの１つ以上の眼球周囲領域を結像するために使用されてもよく、使用されるカメラの数は、カメラの技術的仕様と、特定の用途または追跡アルゴリズムのために必要とされる画像の所望のタイプおよび数に依存し得る。
本明細書にさらに説明されるように、ユーザの顔とウェアラブルデバイスとの間の相対的位置は、位置偏移がウェアラブルデバイスとユーザとの間に生じたかどうかを決定するために使用されることができる。いくつかの実施形態では、位置偏移の検出は、レンダリングされた仮想コンテンツがユーザの眼と正しく整合し得るように、ウェアラブルデバイスのディスプレイに、仮想オブジェクトのレンダリング場所を調節させ得る。左眼とウェアラブルデバイスとの間の相対的位置は、右眼とウェアラブルデバイスとの間の相対的位置と異なり得る（ウェアラブルデバイスが片側に傾斜するとき等）ため、仮想オブジェクトのレンダリング場所に対する調節は、左眼ディスプレイおよび右眼ディスプレイに関して異なり得る。
図１３Ａ－１３Ｃは、ユーザの顔に対して種々の例示的相対的位置を有する、ウェアラブルデバイスからの眼球周囲領域の実施例を図示する。ウェアラブルデバイスは、ＨＭＤであってもよい。図１３Ａは、左および右瞳孔中心１３１８ａ、１３１８ｂと整合しているＨＭＤの基準線１３１４によって示されるように、ＨＭＤ（図示せず）がユーザの顔に対してその正常静止位置にある、実施例を図示する。図１３Ｂは、ＨＭＤが図１３Ａの正常静止位置と比較して片側に傾斜された実施例を図示する。図１３Ｃは、ＨＭＤが図１３Ａの正常静止位置と比較して前方に傾斜または偏移された（例えば、ＨＭＤがユーザの鼻の下方に滑動している）実施例を図示する。これらの例示的図では、ユーザ１３１０は、ＨＭＤを装着しており、これは、眼球周囲領域１３１２ａ、１３１２ｂを結像するための少なくとも２つの眼カメラを有する。図１３Ａに示されるように、一方の眼カメラは、眼球周囲領域１３１２ａを結像するように構成される一方、他方の眼カメラは、眼球周囲領域１３１２ｂを結像するように構成される。しかしながら、より多いまたはより少ない眼カメラも、ユーザの１つ以上の眼球周囲領域を捕捉するために使用されてもよい。例えば、十分な視野を有する、１つの眼カメラは、両眼球周囲領域１３１２ａ、１３１２ｂを結像してもよい。これらの実施例では、正常静止位置は、ＨＭＤと関連付けられる。いくつかの実装では、正常静止位置は、ユーザの眼と関連付けられてもよい。
ウェアラブルデバイスは、ＨＭＤとユーザとの間の相対的位置を決定するために、一方または両方の眼カメラによって取得される画像を分析することができる。ＨＭＤは、ＨＭＤの正常静止位置を決定し、正常静止位置からの位置逸脱に基づいて、ユーザに対するＨＭＤの相対的位置を決定することができる。ＨＭＤの正常静止位置は、ウェアラブルデバイスの初期化位相の間、決定および較正されてもよい。例えば、ユーザが、最初に、ウェアラブルデバイスを使用するとき、ウェアラブルデバイスは、顔モデル（例えば、ユーザの顔のマップ）を構築し、顔モデルに基づいて、ＨＭＤの正常静止位置を決定してもよい。図１４Ａおよび１４Ｂを参照してさらに説明されるように、ＨＭＤが正常静止位置にあるとき、ＨＭＤは、仮想オブジェクトのレンダリング場所を調節する必要がない場合がある。さらに、ＨＭＤは、ＨＭＤが正常静止位置（例えば、図１３Ａ参照）にあるとき、それがユーザの顔にフィットしていることを決定することができる。ＨＭＤは、ユーザの顔上へのＨＭＤのフィット感を自動的に査定するために使用され得る、１つ以上のフィット感の良好度パラメータ（下記にさらに説明される）を決定することができる。フィット感の良好度パラメータは、例えば、ＨＭＤとユーザの眼との間の相対的距離、ユーザの顔上のＨＭＤの傾斜または偏移量、瞳孔間距離（ＩＰＤ）、ディスプレイに対する瞳孔の中心の場所、瞳孔に対するＨＭＤの基準線の位置等のうちの１つ以上のものを含むことができる。
ユーザが、ウェアラブルデバイスを使用している間、ウェアラブルデバイスは、種々の技法を使用して、ＨＭＤとユーザとの間の相対的位置を追跡することができる。例えば、ウェアラブルデバイスは、眼球周囲特徴と関連付けられた視覚的特徴点を識別および追跡することができる。眼球周囲特徴と関連付けられた視覚的特徴点の移動は、ユーザの眼および顔に対するＨＭＤの相対的運動を示し得る。いくつかの実施形態では、ウェアラブルデバイスはまた、ユーザの顔の稠密マップに対して入手された画像内で識別されるような顔の領域を合致させ、顔に対するＨＭＤの場所を算出することができる。別の実施例として、ＨＭＤは、ＨＭＤ（または眼カメラ等のＨＭＤのコンポーネント）からユーザ１３１０の眼までの距離を検出または計算してもよい。ＨＭＤの距離が、ある距離閾値に達する場合（例えば、ＨＭＤが近すぎないまたは遠すぎないとき）、ＨＭＤは、ＨＭＤがユーザ１３１０にあまり良好にフィットしていないことを決定し得、ピクセルのレンダリング場所が調節される必要があることを決定し得る。他方では、ＨＭＤとユーザの眼との間の検出または計算される距離が、閾値範囲内にある場合、ウェアラブルデバイスは、ＨＭＤがユーザに容認可能にフィットしており、ピクセルが調節される必要がないであろうことを決定し得る。
ＨＭＤは、ユーザの眼に対して非対称的に偏移する場合がある。例えば、ＨＭＤは、図１３Ｂに示されるように、片側に傾斜し得る。そのような位置では、ＨＭＤと左眼との間で検出または計算される距離は、ＨＭＤと右眼との間で検出または計算される距離と異なり得る。例えば、図１３Ｂに示されるように、ユーザの右眼１３２４ｂとＨＭＤとの間の距離は、ユーザの左眼１３２４ａとＨＭＤとの間の距離より小さくあり得る。ＨＭＤは、ＨＭＤが傾斜されている方向を計算し、および／または傾斜の程度を計算するためのキューとして、本差異を使用してもよい。傾斜の方向および程度は、ユーザの眼に対するＨＭＤの傾斜に適応するために必要であるレンダリング場所調節の方向および大きさを決定するために使用されてもよい。
別の実施例として、ＨＭＤは、ＨＭＤのフィット感および／またはユーザの眼に対するＨＭＤの場所を決定するためのパラメータのうちの１つとして、ＩＰＤを使用してもよい。ＨＭＤは、眼カメラから取得される画像に基づいて、ユーザのＩＰＤを検出および／または計算可能であり得る。いくつかの実施形態では、ＨＭＤ上の眼カメラの幾何学的場所の知識、眼カメラの配向についての詳細、およびカメラ視野、焦点距離、および他の技術的詳細についての情報もまた、ユーザＩＰＤを計算する際に使用されてもよい。
ＨＭＤは、ユーザ１３１０のために容認可能なＩＰＤ範囲を取得してもよい（例えば、瞳孔間距離の容認可能値を記憶するデータベースにアクセスすることによって）。容認可能瞳孔間距離は、ユーザ１３１０のために具体的に決定された距離または距離の範囲であってもよい、またはあるグループの人々からのデータに基づいて決定されてもよい。ＨＭＤは、ユーザのＩＰＤと容認可能ＩＰＤ範囲を比較することができる。ユーザのＩＰＤ１３１６と容認可能瞳孔間距離との間の相違が、閾値に達する場合、ＨＭＤは、ＨＭＤがユーザにあまり良好にフィットしていないことを決定し得る。他方では、相違が容認可能範囲内である場合、ＨＭＤは、ＨＭＤがユーザに適正にフィットしていることを決定し得る。ＨＭＤフィット感が容認可能であると決定された場合、レンダリング調節は、不必要である。しかしながら、ＨＭＤフィット感が不適正である場合、ＨＭＤは、レンダリングを調節し、準最適フィット感に適応してもよい。
例えば、典型的成人男性に関する瞳孔間距離は、約６５ｍｍであり得る。容認可能ＩＰＤ値は、特定の年齢、性別、および／または人種のユーザのための平均値に基づいてもよい。例えば、ＨＭＤは、ユーザが成人男性であることを示すユーザ情報を取得してもよい。本情報は、６５ｍｍ等の成人男性ユーザに関する容認可能ＩＰＤ値を取得するために使用されてもよい。いくつかの実施形態では、ＨＭＤは、所与のユーザに関する容認可能ＩＰＤ値に基づいて、容認可能ＩＰＤ範囲を計算してもよい。上記の実施例を継続すると、容認可能ＩＰＤ範囲は、容認可能ＩＰＤ値（６５ｍｍ）±容認可能ＩＰＤ値の選択された距離またはパーセンテージであってもよい。選択された距離は、例えば、±５ｍｍまたは±１０ｍｍであって、それぞれ、容認可能ＩＰＤの範囲６０ｍｍ～７０ｍｍおよび５５ｍｍ～７５ｍｍを与えてもよい。ＩＰＤのパーセンテージは、例えば、±５％または±１０％であって、それぞれ、容認可能ＩＰＤの範囲６１．７５ｍｍ～６８．２５ｍｍおよび５８．５ｍｍ～７１．５ｍｍを与えてもよい。任意の距離またはパーセンテージ値が、容認可能ＩＰＤ範囲を決定するために選択されてもよい。
いくつかの実装では、瞳孔間距離は、サンプルグループの人々から計算されてもよい。例えば、ＨＭＤは、容認可能ＩＰＤ値または範囲を決定するために使用されるためのあるグループの人々に関する瞳孔間距離のアベレージ（ａｖｅｒａｇｅ）、平均（ｍｅａｎ）、または中央値（ｍｅｄｉａｎ）（または他の統計的値）を計算することができる。サンプルは、ユーザの性別、人種、年齢等のユーザの特性を考慮し得る。例えば、ＨＭＤのユーザが、十代の女性である場合、ＨＭＤは、十代の女性のグループからのデータに基づいて、ユーザのための閾値瞳孔間距離を計算してもよい。瞳孔間距離に加え、またはその代替として、ＨＭＤはまた、眼球周囲分離等の他のパラメータに基づいて、閾値を計算することができる。
ウェアラブルデバイスはまた、ＨＭＤと顔との間の相対的位置を決定するために、ディスプレイに対する瞳孔（１３１８ａおよび１３１８ｂ）の相対的中心の検出された場所を使用することができる。図１３Ａでは、ディスプレイの中心が、線１３１４を参照することによって示される。図１３Ａに示されるように、ディスプレイの基準線１３１４は、瞳孔１３１８ａおよび１３１８ｂの中心と整合する。本実施例では、ＨＭＤは、ディスプレイの中心が瞳孔１３１８ａおよび１３１８ｂの中心と整合する場合、ＨＭＤがユーザにフィットしていることを決定し得る。ＨＭＤはさらに、瞳孔１３１８ａ、１３１８ｂとＨＭＤの基準線１３１４との間の整合が正しく、仮想オブジェクトのレンダリング場所に対する調節が必要とされないことを決定することができる。しかしながら、図１３Ｂでは、ＨＭＤは、片側に傾斜され、ディスプレイの中心１３１４は、瞳孔１３１８ａ、１３１８ｂの両方と整合しない。別の実施例として、図１３Ｃでは、ＨＭＤは、前方に傾斜され、または下向きに偏移され、その結果、ディスプレイの基準線１３１４は、瞳孔１３１８ａおよび１３１８ｂの中心に合致しない。いずれかまたは両方の状況では、ＨＭＤは、ＨＭＤとユーザとの間の相対的位置を示す信号を送信してもよい。信号は、ＨＭＤに、仮想オブジェクトのレンダリング場所を調節させることができる。いくつかの実施形態では、ＨＭＤは、アラートを提供し、フィット感の良好度のインジケーションをユーザに表示してもよい。ユーザに表示されるフィット感の良好度のインジケーションは、基準線１３１４と瞳孔１３１８ａ、１３１８ｂとの間の整合が改良されるように、ユーザに、瞳孔１３１８ａ、１３１８ｂに対してＨＭＤを調節する方法を知らせてもよい。
別の実施例では、眼カメラは、具体的には、ＨＭＤとユーザとの間の相対的位置のインジケータとして眼球中心を追跡してもよい。眼球中心場所は、ウェアラブルデバイスが、最大３次元（例えば、ｘ－、ｙ－、およびｚ－次元またはヨー、ピッチ、およびロール角度寸法）で生じる相対的傾斜、回転、および平行移動を決定することを可能にし得る。鏡面反射と関連付けられた誤差を低減させるために、具体的コンポーネントを伴う眼追跡カメラが、使用されてもよい。例えば、眼カメラは、赤外線（ＩＲ）発光ダイオード（ＬＥＤ）光を含んでもよい。眼カメラの動作パラメータおよび／またはＩＲ ＬＥＤ光はまた、鏡面反射によって生じる追跡誤差を低減または最小限にするように最適化されてもよい。例えば、ＩＲ ＬＥＤ光は、比較的に高パワーを伴う特定の波長の光をバーストするように動作されてもよい。最適化されたＩＲ波長は、約８００ｎｍ～９００ｎｍであってもよく、最適化されたパワーレベルは、約２．５ｍＡ～５０ｍＡの動作電流に対応してもよい。眼カメラの露光時間も、加えて、または代替として、誤差を低減させるように調節されてもよい。最適露光時間は、約４００マイクロ秒～８ｍｓであってもよい。眼カメラの動作パラメータを調節することに加えて、またはその代替として、フィルタリングステップが、反射によって生じる誤差を低減させるために実施されてもよい。これらの改良のうちの１つ以上のものの使用は、ウェアラブルデバイスが、他方の眼球周囲特徴に基づいて相対的位置を追跡するシステムより安定性かつ信頼性を伴って、眼球中心に対してウェアラブルデバイス場所を追跡することを可能にし得る。これは、特に、化粧が、眼瞼、眼角、睫毛長等の眼球周囲特徴を被覆するとき等、他方の眼球周囲特徴がウェアラブルデバイスにとって識別および追跡することが困難であるときに関連し得る。
いくつかの実施形態では、ＨＭＤは、ユーザの眼とウェアラブルデバイスとの間の相対的位置を決定するために、眼球周囲領域の画像内で観察される非対称性を使用することができる。例えば、図１３Ａでは、ＨＭＤは、眼球周囲領域の画像から、ユーザの眼が対称であることを決定し、故に、ＨＭＤが正常静止位置にあることを決定し得る。いくつかの実施形態では、他方の眼球周囲特徴は、２つの眼球周囲領域間の対称性を決定するために使用されてもよい。しかしながら、図１３Ｂでは、画像内で観察される眼球周囲領域１３２２ｂおよび１３２２ａは、同一眼球周囲特徴を有していない場合がある。いくつかの実施形態では、同一眼球周囲特徴が、眼球周囲領域１３２２ａ、１３２２ｂのそれぞれ内に存在し得るが、捕捉された画像内のその場所またはサイズは、変動し得る。例えば、眼球周囲領域１３２２ｂは、眼球周囲領域１３２２ａより大きい前額の部分を含み得る一方、眼球周囲領域１３２２ａは、眼球周囲領域１３２２ｂより大きい頬の部分を含み得る。その結果、ＨＭＤは、ＨＭＤがその正常静止位置に対して傾斜されていることを決定し得る。
眼球周囲領域１３１２ａおよび１３１２ｂを結像するための２つの眼カメラは、図１３Ａ－１３Ｃに示される実施例では、重複ＦＯＶを有していないが、いくつかの実施形態では、２つの眼カメラは、重複ＦＯＶを有してもよい。その結果、領域１３１２ａの一部は、領域１３１２ｂの一部と重複してもよい。本重複ＦＯＶは、ＨＭＤと顔との間の相対的位置を決定するために有用であり得る。例えば、ＨＭＤが、ユーザに対してその正常静止位置にある場合、重複ＦＯＶは、鼻の上部部分を含んでもよい。しかしながら、重複ＦＯＶ内の画像が、片眼の一部（鼻の上部部分の代わりに）を含む場合、ＨＭＤは、ＨＭＤが傾斜されていることを決定し得る。別の実施例として、画像が、鼻の大部分を含む場合、ＨＭＤは、それがユーザの鼻の下方に滑動していることを決定している。したがって、各眼球周囲領域または重複された眼球周囲領域内の眼球周囲特徴の存在または不在は、ユーザの眼および顔に対するＨＭＤの相対的位置のインジケーションを提供し得る。
これらの例示的要因は、ＨＭＤとユーザの顔との間の相対的位置を決定するために、単独で、または組み合わせて、使用されてもよい。例えば、ＨＭＤは、画像内の装着者の眼における非対称性を検出するが、ＨＭＤは、それにもかかわらず、瞳孔の相対的中心が傾斜を示さないため、正常静止位置にあると決定し得る。したがって、ＨＭＤは、１回を上回るチェックを実施し、ＨＭＤ／ユーザ不整合の誤ったインジケーションが、正しくなくかつ不必要に、レンダリング場所における調節をトリガしないように、ＨＭＤの位置を決定可能であり得る。
ＨＭＤは、種々のアルゴリズムを使用して、相対的位置を決定することができる。例えば、ウェアラブルシステムは、ＳＩＦＴ、ＳＵＲＦ、ＯＲＢ、ＦＲＥＡＫ、ＢＲＩＳＫを使用して、視覚的特徴点および相対的位置を追跡することができる。シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）またはバンドル調整の使用等のＶ－ＳＬＡＭ技法もまた、採用されてもよい。カメラが、深度知覚（立体視、構造化された光投影、飛行時間測定、または任意の他の手段のいずれかによって）が可能である（単独で、またはデータを複数のカメラから統合することによってのいずれかで）場合、稠密マップが、顔の全体または一部から構築されてもよい。そのような稠密マップは、その３次元形状が測定される、パッチまたは領域を備えることができる。そのような領域は、マッチング（例えば、反復最近傍点アルゴリズムまたは類似物を用いて）によって、顔に対するＨＭＤの場所を算出するために使用されてもよい。ＨＭＤは、ＨＭＤとユーザの顔との間の相対的位置を決定するために、顔のモデル（例えば、ＨＭＤの初期化位相の間に構築される）を使用することができる。
ＨＭＤとユーザの顔との間の相対的位置を決定することに加え、またはその代替として、ウェアラブルデバイスはまた、ＨＭＤの姿勢を決定することができる。姿勢は、ある程度または距離の片側または前方への傾斜、またはユーザの頭部を中心とした時計回りまたは反時計回り方向における回転等、ユーザの顔に対するものであってもよい。ウェアラブルデバイスは、ＨＭＤとユーザの顔との間の相対的位置に関する情報を使用して、ＨＭＤの姿勢を決定することができる。ウェアラブルデバイスはまた、ＨＭＤの姿勢を、直接、ウェアラブルデバイスの１つ以上のカメラによって入手された画像から決定することができる。
（仮想オブジェクトのレンダリング場所の調節）
ＨＭＤとユーザの顔との間の相対的位置またはＨＭＤの姿勢は、仮想オブジェクトのレンダリング場所に対する調節を算出するために使用されてもよい。
図１４Ａおよび１４Ｂは、ＨＭＤ内の仮想オブジェクトのレンダリング場所の調節の実施例を図示する。これらの実施例では、ＨＭＤは、ＳＡＲディスプレイであることができる。図１４Ａでは、眼１４１０は、眼座標系１４１２と関連付けられ、ＨＭＤ１４２０は、レンダリング座標系１４２２と関連付けられる。本実施例では、眼座標系１４１２内のｕ－軸は、レンダリング座標系１４２２内のｘ－軸に対応し、眼座標系１４１２内のｖ－軸は、レンダリング座標系１４２２内のｙ－軸に対応し、眼座標系１４１２内のｗ－軸は、レンダリング座標系１４２２内のｗ－軸に対応する。レンダリング座標系のｘ－ｙ－ｚ座標の別の実施例は、図６に示される。これらの実施例では、座標系は、デカルト座標系を使用して図示されるが、例えば、極座標系等の他のタイプの座標系もまた、本明細書に説明される技法と併用されてもよい。
図１４Ａでは、眼が、位置１４１４ａにあるとき、ユーザは、仮想オブジェクト１４３０をレンダリング座標系１４２２内の位置１４２４ａにおいて知覚することができる（文字「ｐ」によって表される）。位置１４１４ａは、（ＨＭＤ１４２０に対する）眼１４１０またはＨＭＤ１４２０の正常静止位置を表し得る。いくつかの実装では、ウェアラブルデバイス１４２０に関する対応する位置１４２４ａは、仮想オブジェクトの正常レンダリング位置とも称され得る。図１４Ｂでは、眼は、眼座標系１４１２内のｕ－軸に沿って位置１４１４ａから位置１４１４ｂに移動することによって、その正常静止位置から逸脱する。本逸脱は、ＨＭＤの移動の結果であり得る。例えば、ＨＭＤが、前方に傾斜する、または片側に移動し得るとき、ＨＭＤとユーザの眼との間の相対的位置は、変化し得る。ウェアラブルデバイスは、同様に、ＨＭＤの傾斜に基づいて、仮想オブジェクトのレンダリング場所を動的に更新することができる。実施例として、ＨＭＤ１４２０は、仮想オブジェクト１４３０のレンダリング場所をレンダリング座標系１４２２内のｘ－軸に沿って位置ｐ１４２４ａから位置ｐ＊１４２４ｂに偏移させ得る。偏移は、図１４Ａおよび１４Ｂでは、眼１４１０の移動前および後、仮想オブジェクト１４３０をユーザの環境内の同一場所に現れさせ得る。故に、ユーザは、仮想オブジェクトのレンダリングが動的に調節され、ＨＭＤ移動を補正し、それによって、改良されたユーザ体験を提供するため、ＨＭＤがユーザの頭部上で若干偏移または移動したことを知覚しないであろう。
図２を参照して説明されるように、ＳＡＲシステムは、仮想オブジェクトをユーザの眼の視点からレンダリングすることができる。ユーザの眼と関連付けられたレンダリング視点は、ＯｐｅｎＧＬまたはＤｉｒｅｃｔＸ内の仮想カメラ等、レンダリングシステム内の仮想カメラによって表されてもよい。仮想オブジェクトのレンダリング場所を調節するために、仮想カメラは、（ＨＭＤに対する）ユーザの眼またはＨＭＤの正常静止位置の変位に基づいて、変位または回転されてもよい。調節量は、ユーザの顔とＨＭＤとの間の相対的位置の変化の割合であってもよい。例えば、仮想カメラの変位は、ＨＭＤまたはユーザの眼の移動の比率（０．２、０．４、０．６等）であり得る。
実施例として、図１４Ａおよび１４Ｂに示されるように、ウェアラブルデバイスは、仮想カメラの位置を位置ｐ１４２４ａから位置ｐ＊１４２４ｂに更新し、位置１４１４ａから位置１４１４ｂへの眼移動に対応することができる。別の実施例として、ＨＭＤは、ユーザの鼻の下方への摺動に起因して、前方に傾斜し得る。その結果、ＨＭＤは、傾斜に対応する仮想カメラに関する調節を計算してもよい。本実施例では、ＨＭＤは、眼１４１０とＨＭＤ１４２０との間の相対的位置がｗ－軸およびｖ－軸の両方に沿って変化し得るため、レンダリング座標系１４２２内のｚ値およびｙ値を調節してもよい。さらに別の実施例として、ＨＭＤは、ＨＭＤに対する眼の位置がｖ－軸およびｕ－軸に沿って変化し得るように、片側に傾斜し得る（右または左等）。故に、ウェアラブルデバイスは、ｙ－軸および／またはｘ－軸に沿って仮想カメラを調節することができる。
仮想カメラの位置は、調節されるため、ユーザのＦＯＶ内の仮想オブジェクトのレンダリング場所もまた、適宜、調節され得る。加えて、または代替として、ウェアラブルデバイスは、ユーザの顔とＨＭＤとの間の相対的位置変化を調節するために、レンダリング座標系を偏移させる（例えば、図１４ＡおよびＢに示されるｘ－ｙ－ｚ座標を偏移させる）ことができる。例えば、図１４Ｂでは、レンダリング座標系１４２２の偏移は、ＨＭＤに対するような眼１４１０の移動に対応してもよい。座標偏移の結果、仮想オブジェクト１４３０は、依然として、レンダリング座標系１４２２内の同一位置にあり得る。仮想オブジェクト１４３０はまた、環境内の物理的オブジェクトに対して同一場所に現れ得る。座標系の変位は、ｘ－ｙ平面、ｙ－ｚ平面、またはｘ－ｚ平面等の平面座標系の変位であってもよい、または３Ｄ空間内の変位であってもよい。
レンダリング座標系の偏移は、仮想カメラまたは仮想オブジェクトの偏移の近似であってもよい。いくつかの状況では（特に、微調節のために）、本近似は、仮想カメラを変位させることによって生成された調節に十分に近接し得る。加えて、座標偏移は、仮想オブジェクトの位置を計算するコストを低減させ、それによって、ウェアラブルデバイスの性能を増加させるために有利であり得る。また、遅延を低減させるために有利であり得る。例えば、座標偏移は、未補正座標のためのレンダリングパイプラインが完了後に行われてもよく、ＨＭＤは、仮想画像がレンダリング座標系にマッピングされる直前に、座標偏移を適用することができる。
いくつかの状況では、相対的位置の変化が、閾値レベルを超えると、ウェアラブルデバイスは、仮想オブジェクトのレンダリング場所を調節する代わりに、相対的位置変化を示すアラートを生成してもよい。他の状況では、相対的位置の変化が、閾値レベル未満であるとき、ウェアラブルデバイスは、相対的位置のそのようなわずかな変化がユーザの視覚的体験に影響を及ぼし得ないため、仮想オブジェクトのレンダリング場所を調節しないように構成されてもよい。本明細書に説明される動的レンダリング調節は、周期的に（例えば、全ての０．５秒、１秒、５秒、１０秒、３０秒等）、または必要に応じて（例えば、ＨＭＤ相対的位置偏移が閾値量を上回るとき）、実施されることができる。
（仮想オブジェクトのレンダリング場所を調節する例示的プロセス）
図１６は、仮想オブジェクトのレンダリング場所を調節するための例示的プロセスを図示する。図１６におけるプロセス１６００は、ウェアラブルデバイスによって実施されてもよく、これは、仮想オブジェクトを物理的オブジェクトの中にユーザの眼の視点から提示し、ユーザの眼球周囲領域を結像するように構成される、内向きに向いた結像システムを含み得る、ＨＭＤを含んでもよい。
ブロック１６１０では、ウェアラブルデバイスは、内向きに向いた結像システムによって取得される画像を受信することができる。例えば、ウェアラブルデバイスは、画像を内向きに向いた結像システムの両方の眼カメラから受信することができる。いくつかの実装では、内向きに向いた結像システムは、１つのみの眼カメラを含んでもよい。眼カメラは、片眼の眼球周囲領域または両眼に関する眼球周囲領域を結像するように構成されてもよい。画像は、ビデオからの静止画像またはフレームであることができる（例えば、典型的には、内向きに向いた結像システムは、ビデオカメラを備える）。
ブロック１６２０では、ウェアラブルデバイスは、画像を分析し、眼球周囲特徴を識別することができる。例えば、ウェアラブルデバイスは、１つのみの画像または一連の画像（そのような分析を行うためのビデオ等）を使用してもよい。図１１、１２Ａ、および１２Ｂを参照して説明されるように、ウェアラブルデバイスは、眼球周囲特徴を一連の３Ｄ特徴点または稠密マップ内に表してもよい。ウェアラブルデバイスは、深層ニューラルネットワーク等の機械学習モデルを使用して、関連眼球周囲特徴を識別することができる。
ブロック１６３０では、ウェアラブルデバイスは、ＨＭＤとユーザの頭部との間の相対的位置を決定することができる。例えば、ウェアラブルデバイスは、ウェアラブルデバイスによって入手された一連の画像内の眼球周囲特徴と関連付けられた特徴点を追跡することができる。ウェアラブルデバイスはまた、ＨＭＤとユーザの顔との間の相対的位置を決定するために、眼球周囲の領域と稠密マップ内の領域を合致させることができる。別の実施例として、ウェアラブルデバイスは、ユーザと内向きに向いた結像システムとの間の距離を使用して、ＨＭＤが傾斜している（側方または前方に）かどうかを決定してもよい。左眼に関して計算される距離が、右眼に関して計算される距離と異なる場合、ウェアラブルデバイスは、ＨＭＤが片側に傾斜されていることを決定し得る。左眼および右眼と関連付けられた距離が、ほぼ同一であるが、その距離が、閾値距離を超える場合、ウェアラブルデバイスは、それがユーザの眼から離れているため、前方に傾斜していることを決定し得る。
ユーザの眼とＨＭＤとの間の距離に加え、またはその代替として、ウェアラブルデバイスはまた、ユーザとＨＭＤとの間の相対的位置を決定するために、単独で、または組み合わせて、他の要因を使用することができる。これらの要因は、瞳孔とディスプレイの中心との間の整合、ユーザの眼の非対称性等を含んでもよい。
ブロック１６４０では、ウェアラブルデバイスは、少なくとも部分的に、ＨＭＤとユーザの顔との間の相対的位置に基づいて、仮想オブジェクトのレンダリング場所を調節することができる。例えば、ウェアラブルデバイスは、眼の現在の位置を決定し、眼とＨＭＤとの間の相対的位置に基づいて、調節を計算することができる。調節は、眼またはＨＭＤの正常静止位置に対するものであってもよい。調節は、水平偏移、垂直偏移、深度偏移、または側方傾斜等の１つ以上の方向におけるものであってもよい。ウェアラブルデバイスは、仮想カメラがユーザの眼の視点に対応し得る場合、レンダリングシステムの仮想カメラの場所を更新し、調節を反映させることができる。ウェアラブルデバイスはまた、ＨＭＤのレンダリング座標系を偏移させ、調節を反映させることができる。
ブロック１６５０では、ＨＭＤは、仮想オブジェクトを調節されたレンダリング場所にレンダリングする。仮想オブジェクトは、仮想オブジェクトと関連付けられた照明されたピクセルがＨＭＤ上で偏移され得る場合でも、調節に起因して、ユーザの環境内の同一場所で知覚され得る。
いくつかの状況では、ウェアラブルデバイスは、ユーザが動き回るにつれて、ＨＭＤの位置が変化し得る（例えば、ＨＭＤがユーザの鼻の下方に摺動し得る）ため、ユーザがＨＭＤを装着している間、持続的にまたは周期的に（例えば、０．５秒、１秒、１０秒、１分毎等）、ユーザの頭部に対するＨＭＤの位置を監視することができる。ウェアラブルデバイスは、周期的または持続的に、または必要に応じて、ＡＲまたはＶＲディスプレイを変化させ（仮想オブジェクトと関連付けられたピクセルまたは場所を調節する等）、ＨＭＤとユーザの頭部との間の相対的位置の変化を補償してもよい。本実装は、特に、３Ｄディスプレイがユーザの頭部上の特定の場所に常に位置することを要求せずに、３Ｄビューを維持するために有利であり得る。故に、ウェアラブルデバイスは、ＡＲまたはＶＲディスプレイからの光（例えば、ライトフィールド）の投影を動的に調節し、ＨＭＤがユーザの頭部上に位置付けられる場所を補償することができる。
（眼鏡のフィット感）
ＨＭＤは、種々の要因を使用して、ＨＭＤがユーザにフィットしている程度を決定することができる。一実施例として、ＨＭＤは、機械学習技法を介して学習されたマッピングを適用することによって、眼カメラによって取得される画像を分析することができる。眼カメラによって入手された画像は、機械学習モデルを使用して訓練され、眼球周囲特徴を識別することができる。機械学習モデルは、ＨＭＤに関するフィット感空間に対する画像空間のマッピングを含むことができる。マッピングは、眼画像に適用され、眼球周囲領域が眼画像内に存在するかどうか（例えば、ＨＭＤがユーザの顔上にあるかどうかを決定するために）またはユーザの顔上のＨＭＤのフィット感の品質を決定することができる。いくつかの実装では、１つのマッピングは、ウェアラブルデバイスのフィット感を分類するためと、眼球周囲領域が存在するかどうかを決定するための両方に使用されてもよい、または異なるマッピングが、フィット感およびＨＭＤがユーザの顔上にあるかどうかのために使用されてもよい。
マッピングは、例えば、画像内の眼球周囲特徴の出現（例えば、両眼に関する眼球周囲特徴が非対称に現れるかどうか）、片眼または両眼からＨＭＤまでの距離、瞳孔間距離（例えば、ユーザのための適切な瞳孔間距離を伴う画像に基づいて計算される瞳孔間距離を比較する）、または瞳孔の相対的中心（例えば、ＨＭＤのディスプレイの中心が瞳孔の中心と整合するかどうか）等のフィット感を決定するために、種々のパラメータを組み込んでもよい。
画像空間は、眼球周囲領域の画像または眼球周囲領域内の特徴の画像を含んでもよい。ＨＭＤに関するフィット感空間は、瞳孔間距離、瞳孔とディスプレイの中心との間の整合、ユーザの眼の非対称性、ＨＭＤの傾斜等を含んでもよい。機械学習モデルは、マッピングが、眼画像に適用され、フィット感の品質（例えば、良好、容認可能、不良、または等級、例えば、Ａ－Ｆ、または数値によるフィット感スコア）を決定し得るように、フィット感の良好度の予測因子である、特徴を識別することができる。ＨＭＤが、ユーザの顔に着けられている、またはそこから外されているかどうかを決定するためのマッピングは、ブール値（例えば、オンまたはオフ）であってもよい。
種々の機械学習アルゴリズムが、本プロセスのために使用されてもよい。モデルを生成および更新するために使用され得る、機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（等例えば、ｋ－平均クラスタリング）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ等）、次元低減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｅｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。
いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、基本モデルを生成することができる。基本モデルは、開始点として使用され、データタイプ（例えば、特定のユーザ）、データセット（例えば、取得される付加的画像のセット）、条件付き状況（例えば、ゲームプレーの間のフィット感は、インターネットブラウジングの間のフィット感と異なり得る）、または他の変数に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルデバイスは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値の使用を含んでもよい。経時的に、ウェアラブルデバイスは、モデルを更新し続けることができる。
ＨＭＤは、定量的および／または定質的測定値を使用して、フィット感を決定することができる。例えば、ＨＭＤは、ＨＭＤとユーザとの間の相対的位置に基づいて、またはＨＭＤの姿勢に基づいて、フィット感を示すスコアを生成することができる。スコアは、機械学習技法を介して学習されたマッピングの出力であってもよい。いくつかの実装では、高スコアは、ＨＭＤがユーザに良好にフィットしていることを示し得る一方、低スコアは、ＨＭＤがあまり良好にフィットしていないことを示し得る。他の実装では、高スコアは、ＨＭＤがユーザに良好にフィットしていないことを示し得る一方、低スコアは、ＨＭＤが良好にフィットしていることを示し得る。別の実施例として、ＨＭＤは、それがユーザにフィットしている程度をカテゴリ化する。カテゴリは、「良好フィット感」、「不良フィット感」、または「全くフィットしていない」を含んでもよい。カテゴリはまた、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」等の文字等級であってもよい。カテゴリはまた、機械学習技法から学習されたマッピングの出力であってもよい。例えば、マッピングは、眼球周囲特徴の出現とフィット感のカテゴリとの間の相関を含んでもよい。ウェアラブルデバイスは、眼カメラによって入手された画像から決定されるような眼球周囲特徴の出現に基づいて、フィット感のあるカテゴリを出力することができる。
（ウェアラブルデバイスのフィット感を決定するための例示的プロセス）
図１５Ａは、ウェアラブルデバイスのフィット感を決定するための例示的方法を図示する。プロセス１５００ａは、図２および４を参照して説明されるＨＭＤ等のウェアラブルデバイスによって実施されてもよい。ＨＭＤは、ユーザの眼球周囲領域を結像するように構成される、内向きに向いた結像システムを有してもよい。
ブロック１５０２では、ＨＭＤは、内向きに向いた結像システムによって取得される画像を受信することができる。例えば、ＨＭＤは、内向きに向いた結像システムの両方の眼カメラに関する画像を受信することができる。いくつかの実装では、内向きに向いた結像システムは、１つのみの眼カメラを含んでもよい。眼カメラは、片眼の眼球周囲領域または両眼に関する眼球周囲領域を結像するように構成されてもよい。画像は、ビデオからの静止画像またはフレームであることができる（例えば、典型的には、内向きに向いた結像システムは、ビデオカメラを備える）。
ブロック１５０４では、ＨＭＤは、画像を分析し、眼球周囲特徴を識別することができる。例えば、ＨＭＤは、１つのみの画像または一連の画像（そのような分析を行うためのビデオ等）を使用してもよい。図１１および１２Ａ－Ｂを参照して説明されるように、ＨＭＤは、眼球周囲特徴を一連の３Ｄ点内に表してもよい。ＨＭＤは、深層ニューラルネットワーク等の機械学習モデルを使用して、関連眼球周囲特徴を識別することができる。
ブロック１５０６では、ＨＭＤは、ＨＭＤとユーザの頭部との間の相対的位置を決定することができる。例えば、ＨＭＤは、画像を分析し、１つ以上の眼球周囲特徴が画像内に現れるかどうかを決定することができる。眼球周囲特徴が画像内に現れていない場合、ＨＭＤは、ユーザが現在ＨＭＤを装着していないことを決定し得る。眼球周囲特徴が、画像内に現れる場合、ＨＭＤは、ＨＭＤがユーザの顔に適切にフィットしているかどうかを分析することができる。例えば、ＨＭＤは、ユーザと内向きに向いた結像システムとの間の距離を使用して、ＨＭＤが傾斜している（側方または前方に）かどうかを決定してもよい。実施例として、左眼に関して計算される距離が、右眼に関して計算される距離と異なる場合、ＨＭＤは、ＨＭＤが片側に傾斜されていることを決定し得る。別の実施例として、左眼および右眼と関連付けられた距離が、ほぼ同一であるが、その距離が、閾値距離を超える場合、ＨＭＤは、ユーザの眼から離れているため、それが前方に傾斜していることを決定し得る。
ユーザの眼とＨＭＤとの間の距離に加え、またはその代替として、ＨＭＤはまた、ユーザとＨＭＤとの間の相対的位置を決定するために、単独で、または組み合わせて、他の要因を使用することができる。これらの要因は、瞳孔間距離、瞳孔とディスプレイの中心との間の整合、ユーザの眼の非対称性等を含んでもよい。
ブロック１５０８では、ＨＭＤは、相対的位置に基づいて、フィット感カテゴリを決定することができる。本明細書に説明されるように、機械学習されたマッピングが、眼画像に適用され、フィット感の良好度を決定することができる。ＨＭＤは、フィット感を「良好フィット感」、「不良フィット感」、および「全くフィットしていない」等の異なるカテゴリに分類することができる。ＨＭＤはまた、ユーザインターフェースを通して、フィット感カテゴリを示すことができる。例えば、ＨＭＤは、ＨＭＤが不良にフィットしているとき、警告サインを提供してもよい。別の実施例として、ＨＭＤは、ＨＭＤが良好にフィットしている場合、インジケータをユーザインターフェース内に提供してもよい。いくつかの実装では、ＨＭＤは、フィット感と関連付けられたスコアを提供してもよい。ＨＭＤは、ユーザインターフェースを介して、スコアをユーザに表示することができる。いくつかの実施形態では、フィット感カテゴリはそれぞれ、スコアの範囲と関連付けられてもよい。ＨＭＤは、故に、スコアが所与の範囲内にあるかどうかかどうかに基づいて、ユーザにフィット感カテゴリを知らせることができる。
いくつかの状況では、ＨＭＤは、ユーザが動き回るにつれて、ＨＭＤの位置が変化し得る（例えば、ＨＭＤがユーザの鼻の下方に摺動し得る）ため、ユーザがＨＭＤを装着している間、持続的にまたは周期的に（例えば、１秒、１０秒、１分毎等）、ユーザの頭部に対するＨＭＤの位置を監視することができる。ＨＭＤは、ＡＲまたはＶＲディスプレイを変化させ（仮想オブジェクトと関連付けられたピクセルまたは場所を調節する等）、ＨＭＤとユーザの頭部との間の相対的位置の変化を補償してもよい。本実装は、特に、３Ｄディスプレイがユーザの頭部上の特定の場所に常に位置することを要求せずに、３Ｄビューを維持するために有利であり得る。故に、ＨＭＤは、ＡＲ／ＶＲ／ＭＲディスプレイからの光（例えば、ライトフィールド）の投影を動的に調節し、ＨＭＤがユーザの頭部上に位置付けられる場所を補償することができる。
（眼鏡の除去）
図１３Ａ、１３Ｂ、および１３Ｃを参照して説明されるように、ウェアラブルデバイスは、内向きに向いた結像システムによって入手された画像を分析し、種々の要因を使用して、ウェアラブルデバイスが側方または前方に傾斜しているかどうか等、ユーザとウェアラブルデバイスとの間の相対的位置を決定することができる。
相対的位置に関する情報はまた、ユーザが現在ウェアラブルデバイスを装着しているかどうかを決定するために使用されることができる。例えば、ウェアラブルデバイスは、内向きに向いた結像システムによって入手された画像内の眼球周囲特徴を識別することができる。ウェアラブルデバイスが、任意の眼球周囲特徴を識別しない場合、ウェアラブルデバイスは、ユーザがウェアラブルデバイスを装着していないことを決定し得る。他の状況では、ウェアラブルデバイスは、ユーザの眼球周囲特徴の存在度に基づいて、ユーザがウェアラブルデバイスを除去している尤度を計算してもよい。例えば、ウェアラブルデバイスは、画像内の眼球周囲特徴が十分に小さく（例えば、閾値サイズを下回る）、デバイスがユーザの頭部から除去されていることを決定してもよい。別の実施例として、ウェアラブルデバイスは、ユーザがウェアラブルデバイスを除去しているパーセンテージ尤度を計算し、パーセンテージ尤度と閾値を比較してもよい。パーセンテージ尤度が、閾値を上回る場合、ウェアラブルシステムは、ウェアラブルデバイスがユーザの頭部から除去されていることを示し得る。他方では、ウェアラブルシステムは、ユーザが依然としてウェアラブルデバイスを装着しているパーセンテージ尤度を計算し、その値をユーザがウェアラブルデバイスを装着している尤度に関する閾値に対して比較することができる。パーセンテージ尤度が閾値を下回る場合、ウェアラブルデバイスは、ユーザがウェアラブルデバイスを除去していることを決定し得る。
別の実施例として、ウェアラブルデバイスは、内向きに向いた結像システムによって入手された一連の画像を分析することができる。例えば、眼球周囲特徴が一連の画像内の最初のいくつかの画像の中に現れていないが、内向きに向いた結像システムは、後に入手された画像内で眼球周囲特徴を発見し得る。その結果、ウェアラブルデバイスは、ユーザがウェアラブルデバイスを着けたばかりであることを決定し得る。他方では、眼球周囲特徴は、最初に、画像内に現れ得るが、ウェアラブルデバイスは、後に、眼球周囲特徴がもはや本ＦＯＶ内にない（または十分に小さい）ことを発見する。ウェアラブルデバイスは、次いで、ユーザがウェアラブルデバイスを外したことを決定し得る。
加えて、または代替として、ウェアラブルデバイスは、距離、眼球周囲特徴のサイズ、および／または他の要因を使用して、ウェアラブルデバイスが、定位置にある、または除去されているかどうかを決定してもよい。例えば、ウェアラブルデバイスは、眼球周囲特徴を画像内で検出し得るが、眼球周囲特徴は、あまりに小さく現れ得る。その結果、ウェアラブルデバイスは、ウェアラブルデバイスとユーザとの間の距離が、ユーザが現在ウェアラブルデバイスを装着していないほど十分に遠くあり得ることを決定し得る。
ウェアラブルデバイスは、ユーザとウェアラブルデバイスとの間の相対的位置を決定するために、内向きに向いた結像システムとともに、他のセンサを使用することができる。例えば、ウェアラブルデバイスは、ＩＭＵ（例えば、加速度計またはジャイロスコープ）等の本明細書に説明されるセンサを使用して、ウェアラブルデバイスの移動を検出してもよい。本移動の情報は、画像分析とともに使用され、ユーザが、ウェアラブルデバイスを外している、または着けているかどうかを決定してもよい。実施例として、ウェアラブルデバイスは、内向きに向いた結像システムを使用して、一連の画像を入手しながら、ウェアラブルデバイスの加速を検出してもよい。ウェアラブルデバイスが、眼球周囲領域を一連の画像の初期画像内に検出しない場合、ウェアラブルデバイスは、ユーザがデバイスを着けていることを決定し得る。他方では、眼球周囲領域が、内向きに向いた結像システムによって入手された画像内にあって、ウェアラブルデバイスが、ウェアラブルデバイスの加速を検出する場合、ウェアラブルデバイスは、ユーザがウェアラブルデバイスを除去していることを決定し得る。
別の実施例として、ウェアラブルデバイスは、圧力センサを有してもよい。圧力センサは、眼鏡のこめかみ（イヤホン等）またはウェアラブルデバイスの鼻パッドに位置してもよい。ウェアラブルデバイスが、ユーザの顔に着けられているとき、圧力センサは、ウェアラブルデバイスがユーザに触れていることを示す信号を送信してもよい。他方では、ユーザがウェアラブルデバイスを外しているとき、圧力センサは、もはやユーザに圧接していないことを示唆する、データを入手し得る。本情報は、内向きに向いた結像システムによって入手された画像と組み合わせられ、ユーザが、ウェアラブルデバイスを外している、または着けているかどうかを決定してもよい。
いったんウェアラブルデバイスが、ユーザの頭部から除去されたことを決定すると、ウェアラブルデバイスは、適宜、ウェアラブルデバイスがユーザから除去されると、ウェアラブルデバイスの１つ以上の機能をオフにする、または電力節約モードに入らせる、信号を送信してもよい。他方では、ウェアラブルデバイスが、ユーザがデバイスを着けていることを決定すると、ウェアラブルデバイスは、ウェアラブルデバイスの機能（ＡＲ／ＶＲ／ＭＲディスプレイのアクティブ化等）をオンにする、信号を送信してもよい。
ウェアラブルデバイスはまた、ウェアラブルデバイスおよびユーザの眼の相対的位置に基づいて、３Ｄディスプレイを調節することができる。例えば、ウェアラブルデバイスが、デバイスがユーザの鼻の下方に滑動していることを検出すると、ウェアラブルデバイスは、ピクセルの場所を偏移させる、または３Ｄユーザインターフェース内の仮想オブジェクトの位置を変化させ、本位置変化に適応してもよい。本実装は、ユーザがその環境内で動き回る間、現実的かつ安定した３Ｄディスプレイを提供し得る。
ウェアラブルデバイスは、眼球周囲領域が画像内に現れるかどうかを持続的に監視することができる。ウェアラブルデバイスはまた、内向きに向いた結像システムによって入手された一連の画像間の画像を選択し、眼球周囲領域がその画像内に現れるかどうかを決定することができる。連続監視は、緊密に離間される時間インターバルで生じることができ、これは、周期的（例えば、毎秒、１０秒毎、毎分、１５分毎等）であってもよい。
いくつかの実施形態では、内向きに向いた結像システムは、そのＦＯＶ内の画像を持続的に取得してもよい。しかしながら、内向きに向いた結像システムはまた、トリガに応答して、結像を開始または停止してもよい。例えば、ウェアラブルデバイスは、ユーザがウェアラブルデバイスを着けていることを検出すると、ユーザの顔の画像を開始するように構成されてもよい。ウェアラブルデバイスは、検出のために、加速度計および／またはジャイロスコープ等の図２および７を参照して説明される、種々のセンサを使用することができる。センサによって入手されたデータは、閾値レベルに対して分析されてもよい。データが、閾値レベルに達する場合、ウェアラブルデバイスは、結像プロセスを開始または停止してもよい。実施例として、ユーザが、ウェアラブルデバイスを持ち上げると、ウェアラブルデバイスの加速度計は、ウェアラブルデバイスの加速に関するデータを入手してもよい。ウェアラブルデバイスが、加速がある閾値加速を超えることを決定する場合、ウェアラブルデバイスは、ユーザの顔の画像を開始してもよい。いったんユーザが、ウェアラブルデバイスを、例えば、その頭部上に着けると、加速は、減少し得る。ウェアラブルデバイスが、加速がある閾値まで低減したことを決定する場合、ウェアラブルデバイスは、ユーザの顔の画像の取得を停止してもよい。
別のトリガは、ウェアラブルデバイスとユーザとの間の距離であってもよい。例えば、センサは、音響または光学信号等の信号を放出および受信し、信号または信号のフィードバックを使用して、距離を測定してもよい。ウェアラブルデバイスはまた、内向きに向いた結像システムによって入手された画像を分析することによって、距離を決定してもよい。例えば、ウェアラブルデバイスは、画像内の顔のサイズに基づいて、距離を計算してもよく、大サイズは、短距離を示し得る一方、小サイズは、長距離を示し得る。ウェアラブルデバイスは、距離が閾値に達する、またはある範囲内にあるとき、ユーザを結像してもよい。例えば、ウェアラブルデバイスは、ウェアラブルデバイスがユーザまでのある距離内にあるときのみ、ユーザを結像してもよい。
（ウェアラブルデバイスの除去を決定するための例示的プロセス）
図１５Ｂは、ウェアラブルデバイスの除去を決定するための例示的方法を図示する。図１５Ｂにおけるプロセス１５００ｂは、図２および４を参照して説明されるＨＭＤ等のウェアラブルデバイスによって実施されてもよい。ＨＭＤは、ユーザの眼球周囲領域を結像するように構成される、内向きに向いた結像システムを有してもよい。
ブロック１５１０では、内向きに向いた結像システムは、一連の画像を入手することができる。ＨＭＤは、内向きに向いた結像システムによって入手された画像を受信することができる。一連の画像は、シーケンスで撮影されてもよい。例えば、一連の画像は、ビデオの異なるタイムスタンプにおける画像のフレームを含んでもよい。
ブロック１５２０では、ＨＭＤは、ブロック１５１０において入手された１つ以上の画像を分析し、眼球周囲特徴を識別することができる。図１１および１２Ａ－Ｂを参照して説明されるように、眼球周囲特徴は、顔特徴の数学的表現（３Ｄ空間内の点等）であってもよい。ＨＭＤは、深層ニューラルネットワーク等の機械学習技法を使用して、眼球周囲特徴を識別することができる。
いくつかの実装では、ＨＭＤは、入射画像の分解能を低減させ、または画像の一部（虹彩および強膜を含む、眼球周囲領域の中心部分等）を無視し、それによって、画像処理速度を増加させてもよい。これらの実装は、眼球周囲領域の中心部分が、ＨＭＤがユーザ上にあるかどうかの決定に有意に影響を及ぼし得ない、詳細な特性を有し得るため、有利であり得る。さらに、強膜は、環境内のオブジェクトの鏡面反射を作成し得る。これらの鏡面反射および眼球周囲領域の詳細な特性は、雑音を機械学習モデルに導入し、分析の正確度を低減させ得る。
ブロック１５３０では、ＨＭＤは、眼球周囲特徴が入手された画像内に現れていないかどうかを決定することができる。ＨＭＤが、１つ以上の眼球周囲特徴が入手された画像内に現れていないことを決定する場合、ＨＭＤは、ブロック１５３２において、ＨＭＤがユーザの頭部から除去されていることを示す信号を発することができる。信号は、ＨＭＤに、電源をオフにさせ、またはスリープモードに入らせ、バッテリ電力消費を低減させてもよい。信号はまた、ＨＭＤに、ある機能の実施を停止させてもよい。例えば、信号は、ＨＭＤに、ＶＲまたはＡＲモードをオフにさせてもよい。発せられる信号は、電子信号であり得るが、加えて、または代替として、ユーザへの警告として、可聴または可視信号を含んでもよい。
ＨＭＤが、ブロック１５４０において、眼球周囲領域が画像のサブセット内のみに現れることを決定する場合、ＨＭＤは、ブロック１５４２において、ＨＭＤに関する状態の変化を示し得る。例えば、ＨＭＤは、眼球周囲特徴が、初期画像内に現れるが、後の画像には現れないことを決定し得る。本決定に基づいて、ＨＭＤは、ユーザがＨＭＤを外したことを示し得る。いくつかの実装では、ＨＭＤは、ユーザがＨＭＤを外したことを示す信号を送信してもよく、これは、ブロック１５３２に示されるものと同一アクションを実施させ得る。
他方では、ＨＭＤは、眼球周囲特徴が後の画像のみに現れることを検出し得る。故に、ＨＭＤは、ユーザがデバイスを着けていることを決定し得る。本決定に応答して、ＨＭＤは、ＨＭＤの仮想現実または拡張現実機能をオンにする、ユーザログインシーケンスを開始する、内向きに向いた結像システムの分解能を変化させる（例えば、眼追跡または虹彩認識のためにより好適な分解能に）、または他のアクションを実施し、本状態変化を反映させてもよい。
しかしながら、ＨＭＤが、眼球周囲特徴を最初に入手された画像と後に入手された画像の両方において検出する場合、ＨＭＤは、ブロック１５４４において、ユーザが現在ＨＭＤを装着していることを決定し得る。故に、ＨＭＤは、随意に、ブロック１５１０を実施してもよい。
実施例は、眼球周囲領域の検出を参照して説明されるが、本明細書に説明されるこれらの技法は、眼球周囲領域に限定されない。例えば、本明細書に説明される技法はまた、他の顔特徴またはユーザの身体の一部を検出するためにも使用されることができる。加えて、図１５Ｂに示されるブロックは、いくつかのブロックが、別のブロックの前、後、またはそれと同時に実施されてもよいため、シーケンスにおいて実施されることを要求されない。例えば、決定ブロック１５４０は、決定ブロック１５３０の後に実施されることを要求されない。さらに、方法１５００ｂは、図１５Ｂに示される全てのブロックを含むことを要求されず、方法１５００は、より多いまたはより少ないブロックを含んでもよい。例えば、図１５Ｂにおける１つ以上のブロック（ブロック１５３０および１５４０等）は、単一ブロックにおいて組み合わせられてもよい。
（眼球周囲画像からウェアラブルデバイスとユーザの顔との間の相対的位置へのマッピングを生成する例示的プロセス）
図１５Ｃは、機械学習技法を適用し、フィット感の良好度に関するマッピングまたはＨＭＤがユーザ上にあるかどうかを提供するための方法１５００ｃの実施例である。ブロック１５５２では、眼画像が、アクセスされ、これは、教師ありまたは教師なし学習において訓練画像として使用され、マッピングを生成するために使用され得る。ブロック１５５４では、機械学習技法（例えば、深層ニューラルネットワーク）が、眼画像を分析し、ユーザ上のＨＭＤのフィット感の品質またはＨＭＤ除去カテゴリ化（例えば、ユーザの頭部上にあるまたはない）のために使用され得る、マッピングを展開するために使用される。ブロック１５５６では、マッピングが、出力され（例えば、訓練されたニューラルネットワークから出力される）、特定のＨＭＤ（例えば、ローカルデータモジュール２６０または遠隔データリポジトリ２８０）と関連付けられたメモリ内に記憶されることができる。ブロック１５６２では、付加的眼画像が、アクセスされることができ、これは、ユーザに特定のものであってもよい。例えば、ユーザは、鏡の正面に立ち、ＨＭＤをユーザの顔上で移動させ、結果として生じるフィット感の品質のユーザの主観的印象を注釈することができる。ブロック１５６４では、機械学習技法は、例えば、ニューラルネットワークをさらに訓練することによって、マッピングを更新し、ユーザの個々の選好を反映させる。
ブロック１５６６では、ＨＭＤは、ユーザに、ユーザの頭部上のＨＭＤの測定されたフィット感の品質についての情報を提供することができる。例えば、ＨＭＤは、品質等級をユーザに表示する、またはフィット感の品質を示す可聴信号を発してもよい。ＨＭＤは、ユーザの頭部上のＨＭＤのフィット感を改良する方法に関する命令をユーザに表示（または可聴命令を提供）し、付加的眼画像を入手し（ブロック１５６２）、更新されたフィット感の品質を決定してもよい（ブロック１５６４）。ＨＭＤは、ユーザの頭部上のＨＭＤのフィット感の品質が容認可能または最適レベルになるまで、これを繰り返してもよい。故に、ＨＭＤは、ユーザを品質適合プロシージャを通して誘導し、特定のユーザの頭部上のＨＭＤのフィット感が好適であることを確実にし得る。ＨＭＤは、特定のユーザがＨＭＤを初めて着けたときに、周期的に、または測定されたフィット感の品質が閾値を下回る（例えば、Ａ－Ｆ等級スケールに基づいて、品質等級がＣを下回る）ときに、本品質適合プロシージャを実施してもよい。
ブロック１５６２、１５６４、１５６６は、随意であるが、有利なレベルのユーザのカスタマイズを提供する。さらに、マッピングは、ＨＭＤの数人のユーザ毎に、カスタマイズされることができる（例えば、家族は、単一ＨＭＤの使用を共有し得、家族の１人ずつにマッピングをカスタマイズすることができる）。
（電力節約機能性を伴うウェアラブルデバイスの実施例）
頭部搭載型ディスプレイ（ＨＭＤ）は、上記に説明される特徴のうちの１つ以上のものに加え、電力節約機能性を装備することができる。電力節約機能性は、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせとして含まれてもよい。
ハードウェアは、電力消費を低減させるために改良され得る、ＨＭＤの１つの局面である。ＨＭＤ内のカメラは、概して、実質的電力リソースを消費する、ハードウェアのカテゴリである。例えば、１つ以上の外向きに向いたカメラ（例えば、外向きに向いた結像システム４６４（図４に示される）の一部）が、ユーザの周囲の環境の１つ以上の部分の画像を捕捉するために採用され得る。１つ以上の外向きに向いたカメラは、それらがユーザの周囲についての情報を持続的に取得するため、電力集約的であり得る。しかしながら、１つ以上の外向きに向いたカメラは、種々の方法で電力消費を低減させるように修正されることができる。例えば、電力消費は、１つ以上のカメラが環境の画像を取得する、フレームレートを修正することによって、低減され得る。本フレームレートは、直接、ＨＭＤによって使用される電力の量に影響を及ぼし得る。より高いフレームレートは、より高い品質（例えば、より高いフレームレート）ビデオフィードを生産することができるが、より高いフレームレートは、概して、より多くの電力消費をもたらす。対照的に、より低いフレームレートは、より低い品質ビデオフィードをもたらし得るが、貴重なリソースを保存することができる。電力消費およびビデオフィード品質の有用な平衡をとることは、困難であり得る。
ソフトウェアが、本平衡を達成することに役立つために使用されることができる。ソフトウェアアルゴリズムは、ハードウェアと併用され、フレームレートが、より高くあるべきときと、より低くあるべきときとを決定することができる。したがって、ソフトウェアアルゴリズムは、ハードウェアの電力強度を統制することに役立ち得る。例えば、可変フレームレートアルゴリズム（ＶＦＲＡ）が、ＨＭＤと組み合わせて実装され、ＨＭＤと関連付けられる１つ以上のカメラ（例えば、外向きに向いたカメラ）のフレームレートを決定および／または変調させることができる。
ＶＦＲＡは、頭部姿勢（ＨＰ）システム（本明細書に開示されるもの等）と組み合わせて作用し得る。例えば、ＶＦＲＡは、ＨＰシステムからの出力を受信してもよい。ＨＰシステムは、ユーザの頭部姿勢を決定することができる。ＨＰシステムは、ユーザの周囲の環境の少なくとも一部に対するユーザの頭部の移動を決定するためのシステムを含むことができる。例えば、ＨＰシステムは、特徴検出および追跡（ＦＤＴ）システムおよび／または慣性測定ユニット（ＩＭＵ）を含み、（例えば、ＨＭＤの）移動を決定してもよい。ＩＭＵは、視覚慣性オドメトリ（ＶＩＯ）システムを含み、システムがＨＭＤの移動を決定するにつれて、視覚的情報を処理してもよい。移動のメトリック（または運動性質）は、速度（例えば、角速度、線形速度）、加速（例えば、角度、線形）、または本明細書に開示される任意の他のタイプの移動であってもよい。
ＦＤＴシステムは、１つ以上のカメラを使用して、特徴のセットを検出および追跡することができる。１つ以上のアルゴリズムが、特徴を追跡および／または識別するために使用されてもよい。例えば、Ｈａｒｒｉｓアルゴリズム（例えば、Ｈａｒｒｉｓアフィン領域検出器）が、環境内の角等の特徴を識別するために使用されてもよい。加えて、または代替として、Ｓｏｂｅｌフィルタ（例えば、Ｓｏｂｅｌ演算子を使用する）が、縁等の特徴を識別および／または検出するために使用されることができる。特徴は、実世界またはユーザを中心とする環境内の要素であってもよい。環境内の特徴は、環境内の縁、角、または他の区別可能な要素であってもよい。ＨＰシステムは、環境に対するＨＭＤの角および／または位置速度を決定するためのシステムを含むことができる。角／位置速度を決定するためのシステムは、ＦＤＴシステムを含むことができる。
ＦＤＴシステムは、環境内の特徴を識別し、ＨＭＤに対するその移動を追跡するためのアルゴリズム等のフィルタを含んでもよい。フィルタは、ユーザのビュー内のあまり関連のない要素からより関連のある要素を区別することに役立つために、拡張Ｋａｌｍａｎフィルタ（ＥＦＫ）等のＫａｌｍａｎアルゴリズムを含んでもよい。
視覚慣性オドメトリ（ＶＩＯ）システムは、１つ以上のセンサを含み、相対的ユーザの環境に対するユーザの頭部の移動を決定することができる。１つ以上のセンサは、ジャイロスコープ、加速度計、深度センサ、近接度センサ、および／または慣性センサを含むことができる。ＶＩＯシステムは、１つ以上のセンサを使用して、角および／または位置速度の推定値を提供するために使用されることができる。ＨＰシステムは、ＦＤＴおよびＶＩＯの両方からのデータを使用して、頭部姿勢、角速度、および／または線形速度を決定する際、ＨＰシステムの正確度、速度、および／または効率を増加させてもよい。
１つ以上の外向きに向いたカメラのフレームレートは、可変フレームレートアルゴリズム（ＶＦＲＡ）によって変調されることができる。ＶＦＲＡは、ＨＰシステムの出力を使用して、カメラのアレイを横断してフレームレートを増加または減少させるべきときを決定する。ユーザは、デバイスを装着しており、可能性として、その頭部および／または身体を方向転換させているため、位置または線形速度の寄与は、ある状況下では、例えば、角または回転速度と比較して、無視可能であり得る。
ＨＭＤは、加えて、または代替として、ユーザの環境に対するＨＭＤの知覚される運動に基づいて外向きに向いた結像システム（例えば、外向きに向いた結像システム４６４）等のＨＭＤの性能を修正するための機能性を提供してもよい。ＨＭＤに対して他のオブジェクトより高速で進行しているように現れる特徴（例えば、オブジェクト）を追跡および／または結像するカメラに関して、より高いフレームレートを有することが有利であり得る。より高いフレームレートは、より高速で進行するオブジェクトのために、より良好な明確性および／または分解能を提供することができる。対照的に、より低速のフレームレートは、環境内のより低速で進行する（または定常）オブジェクトを捕捉および／または追跡するために十分であり得る。故に、フレームレート変調は、単一カメラまたはカメラのアレイのために有利であり得る。
図１７は、本明細書に説明されるようなＨＭＤ内で使用されるもの等の速度検出器と併せて使用され得る、所定のセットのフレームレート間で切り替えるためのフレームレート遷移マップ１２００の形態における、例示的アルゴリズムを示す。示されるように、フレームレート遷移マップ１２００は、種々のフレームレート状態１２０４、１２０８、１２１２間の例示的関係を図示する。外向きに向いた結像システムのフレームレートが、説明されるが、本機能性は、加えて、または代替として、内向きに向いた結像システムおよび／または静的結像システム（例えば、ＨＭＤから遠隔の結像システム）に適用されてもよい。
ＨＭＤは、フレームレートを１つのフレームレート状態から別のものに偏移させる、トリガおよび／または閾値を提供してもよい。トリガは、時間閾値、速度閾値、別の運動閾値、または任意の他の満たされる条件を含んでもよい。これらのトリガは、ＨＭＤ上の１つ以上のカメラを異なるフレームレート状態に遷移させ得る（例えば、一時的に）。例えば、ＨＭＤが、限定された移動を受けると、フレームレートは、低減され得る。逆に言えば、ＨＭＤが、増加された移動を受けると、フレームレートは、増加され得る。ＨＭＤ移動は、慣性測定ユニット（ＩＭＵ）等の運動センサによって測定されてもよい。ＨＭＤの相対的移動はまた、１つ以上の外向きに向いたカメラを用いて測定されてもよい。電力節約は、ＨＭＤと環境との間の相対的運動が、それほど高くないとき（例えば、ユーザが、その頭部を移動させていないとき、および／または環境内のオブジェクトが、移動していないとき）、外向きに向いたカメラをより低いフレームレートで動作させることによって達成されてもよい。逆に言えば、ＨＭＤと環境との間の相対的移動が、より高いとき、フレームレートは、例えば、環境の好適なマッピングのために、外向きに向いたカメラが、環境内の十分な詳細を捕捉し得るように、増加されることができる。故に、ＨＭＤのフレームレートは、状況に応じて、例えば、ユーザの頭部移動および／または環境内のオブジェクトの移動に応じて、上昇または降下されてもよい。例えば、ＨＭＤは、低速フレームレート状態１２０４におけるカメラから開始してもよい。低速フレームレート状態１２０４での開始時、低速状態タイムスタンプが、ＨＭＤと通信する記憶ユニット（例えば、ローカルデータ処理モジュール２６０または遠隔データリポジトリ２８０）内に記憶されてもよい。低速から中速への遷移１２１６は、ＨＭＤの角速度が、中速状態速度閾値を満たすまたは超えるときに生じ得る。カメラのフレームレートは、遷移１２１６の間、増加または上昇される。中速状態速度閾値は、約５０、５５、６０、６５、７０、７５、８０、８５、９０、９５、１００、１０５、１１０、１１５、１２０、１２５、１３０、１３５、１４０、１４５、１５０、１５５、１６０、１６５、１７０、１７５、１８０、１８５、１９０、１９５、２００、２０５、２１０、それらの値間の任意の値、これらの値のいずれか間の任意の範囲、またはそれらの値のいずれかによって定義された任意の範囲内にあり得る（度／秒単位）。低速フレームレート状態１２０４は、ＨＭＤが、中速状態速度閾値またはより高い値を検出しない間（例えば、ＨＭＤが、中速状態速度閾値を下回るもの等の低速状態速度閾値内に留まる間）、継続し得る。いったん中速フレームレート状態１２０８になると、ＨＭＤの１つ以上のカメラは、異なるトリガが生じるまで、中速フレームレート状態１２０８のままであり得る。本異なるトリガは、カメラを、高速フレームレート状態１２１２等のより高速のフレームレート状態に遷移させる、または低速フレームレート状態１２０４等のより低速のフレームレート状態に遷移させ得る。
２つの状態間で往復して遷移させることは、ユーザに苛立ちを生じさせ得る、または不必要に電力リソースを使用し得る。故に、少なくともある時間量にわたって（またはある時間量にわたって、少なくともカメラが低速フレームレート状態１２０４に再進入することを防止するために）、中速フレームレート状態１２０８を維持することが有利であり得る。例えば、カメラは、中速から低速への遷移１２２０を生じさせるトリガまたは中速から高速への遷移１２２４を生じさせるトリガまで、中速フレームレート状態１２０８のままであるように構成されてもよい。
中速から低速への遷移１２２０は、ある閾値時間長が経過するときに生じ得る。本閾値時間は、少なくとも部分的に、カメラが中速フレームレート状態１２０８にあった長さに基づいてもよい。例えば、中速状態タイムスタンプが、記憶され、中速状態における合計時間と比較されてもよい。中速状態タイムスタンプは、ＨＭＤが中速速度閾値に等しいまたは上回る角速度を検出するときの時間に対応し得る。加えて、または代替として、中速状態タイムスタンプは、検出された角速度が最大速度（例えば、本明細書に説明される高速速度閾値）より低い場合のみ、記憶されてもよい。比較が、カメラが中速時間閾値より長く中速フレームレート状態１２０８にあったことを表す場合、カメラは、中速から低速の遷移１２２０に入り得る。したがって、カメラのフレームレートは、遷移１２２０の間、低減または降下される。中速から低速への遷移１２２０は、即座または経時的に段階的であってもよい。中速時間閾値（秒単位）は、約０．１、０．２、０．３、０．４、０．５、０．６、０．７、０．８、０．９、１、２、３、４、５、８、１０、その間の任意の値、これらの値のいずれか間の任意の範囲、またはその中の任意の値によって定義された範囲内にあり得る。いくつかの実施形態では、ＨＭＤが、中速速度閾値を満たす速度（例えば、角速度）を検出する度に、中速状態タイムスタンプは、中速速度閾値が満たされた時間を反映させるように更新されてもよい。
中速から高速への遷移１２２４は、少なくとも部分的に、ＨＭＤの知覚される角速度に基づいて生じ得る。いくつかの実施形態では、遷移１２２４は、少なくとも部分的に、カメラが中速フレームレート状態１２０８にある、時間長に基づいてもよい。カメラは、中速フレームレート状態１２０８にある間、ＨＭＤが、高速速度閾値を上回るまたはそれに等しい角速度を検出する場合、中速から高速に遷移し得る。カメラのフレームレートは、遷移１２１６の間、増加または上昇される。いくつかの実施形態では、遷移は、カメラが、中速時間閾値を超える中速フレームレート状態１２０８にあった場合に生じ得る。高速速度閾値は、約１５０、１５５、１６０、１６５、１７０、１７５、１８０、１８５、１９０、１９５、２００、２０５、２１０、２１５、２２０、２２５、２３０、２３５、２４０、２４５、２５０、２５５、２６０、２６５、２７０、２７５、２８０、それらの値間の任意の値、これらの値のいずれか間の任意の範囲、またはそれらの値のいずれかによって定義された任意の範囲内にあり得る（度／秒単位）。いったん高速フレームレート状態１２１２になると、カメラは、異なるトリガが生じるまで、高速フレームレート状態１２１２のままであり得る。本異なるトリガは、カメラを、より高速のフレームレート状態に遷移させる、または低速フレームレート状態１２０４または中速フレームレート状態１２０８のいずれか等のより低速のフレームレート状態に遷移させ得る。
いったん高速フレームレート状態１２１２になると、カメラは、高速から中速への遷移１２２８または高速から低速への遷移１２３６を生じさせるトリガまで、高速フレームレート状態１２１２のままであるように構成されてもよい。したがって、カメラのフレームレートは、遷移１２３６の間、低減または降下される。高速から中速への遷移１２２８は、閾値時間長が経過するときに生じ得る。本閾値時間は、ＨＭＤが高速フレームレート状態１２１２にあった長さと比較されてもよい。例えば、高速状態タイムスタンプが、記憶され、高速状態における合計時間と比較されてもよい。比較が、カメラが高速時間閾値より長く高速フレームレート状態１２１２にあったことを表す場合、カメラは、高速から中速への遷移１２２８に進入し得る。高速から中速への遷移１２２８は、即座、経時的に段階的、または遅延されてもよい。高速時間閾値（秒単位）は、約０．１、０．２、０．３、０．４、０．５、０．６、０．７、０．８、０．９、１、２、３、４、５、８、１０、その間の任意の値、これらの値のいずれか間の任意の範囲、またはその中の任意の値によって定義された範囲内にあり得る。いくつかの実施形態では、ＨＭＤが、高速速度閾値を満たす速度（例えば、角速度）を検出する度に、高速状態タイムスタンプは、高速速度閾値が満たされた時間を反映させるために更新されてもよい。
高速から低速への遷移１２３６も、ある実施形態では可能性として考えられ得る。高速から低速への遷移１２３６は、少なくとも部分的に、閾値時間長に基づいてもよい（例えば、中速時間閾値および／または高速時間閾値と同様に）。加えて、または代替として、高速から低速への遷移１２３６は、カメラが高速フレームレート状態１２１２にある間に検出された１つ以上の速度に依存してもよい。例えば、高速から低速への遷移１２３６は、（閾値時間長が経過したと仮定して）低速速度閾値を上回る速度が、検出されなかったときに生じ得る。いくつかの実施形態では、高速から中速への遷移１２２８は、（閾値時間長が経過したと仮定して）中速速度閾値を上回る速度が検出されなかったときに生じ得る。いくつかの実施形態では、高速から低速に遷移するために経過するために要求される時間量は、高速から中速に遷移するために経過するために要求される時間量を上回る。いくつかの実施形態では、時間量は、高速および中速時間閾値の和とほぼ等しい。他の代替も、可能性として考えられる。
低速から高速への遷移１２３２は、角速度が、本明細書に説明される高速状態速度等の高速状態速度閾値を満たすまたは超えるときに生じ得る。いったん高速フレームレート状態１２１２になると、カメラは、異なるトリガが生じるまで、高速フレームレート状態１２１２のままであり得る。本異なるトリガは、カメラを、より高速のフレームレート状態に遷移させ得る、またはより低速のフレームレート状態に遷移させ得る。本明細書における任意の他の遷移と同様に、遷移は、即座（例えば、本質的に、瞬間的）であってもよい、または経時的に段階的または遅延されてもよい。
各状態１２０４、１２０８、１２１２は、対応するフレームレートと関連付けられてもよい。低速フレームレート状態１２０４は、低速フレームレートに対応してもよい。低速フレームレート（フレーム／秒（ｆｐｓ）単位）は、約０．１、０．２、０．３、０．４、０．５、０．７、１、２、３、４、５、８、１０、１２、１５、１７、２０、２２、２５、その間の任意の値、これらの値のいずれか間の任意の範囲、またはその中の任意の値間の任意の範囲内にあり得る。中速フレームレート状態１２０８は、中速フレームレートに対応してもよい。中速フレームレート（ｆｐｓ単位）は、約１０、１２、１５、１７、２０、２２、２５、２７、３０、３２、３５、３７、４０、４２、４５、４７、５０、５２、５５、その間の任意の値、またはその中の任意の値間の任意の範囲内にあり得る。高速フレームレート状態１２１２は、高速フレームレートに対応してもよい。高速フレームレート（ｆｐｓ単位）は、約３０、３２、３５、３７、４０、４２、４５、４７、５０、５２、５５、５７、６０、６２、６５、６７、７０、７２、７５、８０、１００、１５０、２００、２５０、その間の任意の値、これらの値のいずれか間の任意の範囲、またはその中の任意の値間の任意の範囲内にあり得る。
図１８Ａは、本明細書に説明されるＨＭＤ等のデバイスによって実装され得る、例示的方法１１００を示す。方法１１００は、ブロック１１０４において、頭部搭載型ディスプレイの運動性質を決定するステップを含むことができる。運動性質は、環境（例えば、ユーザの環境）に対する速度（例えば、線形速度および／または角速度）であってもよい。運動性質が、速度を含むとき、速度が、環境に対して決定され得るため、ＨＭＤは、環境および／または環境内の要素が運動中である間、定常であり得る。したがって、速度は、環境に対して検出される。例えば、ＨＭＤは、他のオブジェクトおよび／またはそれらのオブジェクトの要素（例えば、オブジェクトの特徴）がＨＭＤに接近する（または接近するように現れる）間、動かない状態にあり得る。これは、ＨＭＤ自体が移動していない（または少なくとも運動を検出しない）場合でも、ＨＭＤの相対的速度を提示し得る。運動性質は、加速（ａｃｃｅｌｅｒａｔｉｏｎ）、ジャーク（ｊｅｒｋ）、ジャウンス（ｊｏｕｎｃｅ）（またはスナップ（ｓｎａｐ））、クラックル（ｃｒａｃｋｌｅ）、またはポップ（ｐｏｐ）等の位置の時間微分に関連するある他の性質であってもよい。他の運動性質も、使用されてもよい。
運動性質は、環境に関連しないＨＭＤの性質であってもよい。加えて、または代替として、運動性質は、ある他のオブジェクトまたはオブジェクトのセット（例えば、ユーザの環境）に関連して（またはそれに対して）決定されてもよい。運動センサ（例えば、慣性センサ、深度センサ、近接度センサ、加速度計等）またはセンサの組み合わせが、運動性質を決定するために使用されてもよい。加えて、または代替として、デバイス（例えば、ＨＭＤ）は、外向きに向いたカメラを使用して、環境内の特徴を識別し、識別された特徴の運動によって、運動性質を決定するために使用されてもよい。
ブロック１１０８において、本方法は、運動性質に基づいて、カメラのフレームレートを設定するステップを含んでもよい。運動性質は、本明細書に説明される任意の値等の閾値を満たすおよび／または超えるために要求され得る。いくつかの実施形態では、運動性質は、本明細書に説明される範囲等のある範囲内にあるために要求され得る。フレームレートは、本明細書に説明される任意のフレームレートであり得る。
図１８Ｂは、ＨＭＤと連動し得るもの等のコンピューティングデバイスによって実行され得る、別の方法１１００を示す。図１８Ａにおけるように、ブロック１１０４において、本方法は、頭部搭載型ディスプレイの第１の運動性質を決定するステップを含んでもよい。ブロック１１０８において、本方法は、第１の運動性質に基づいて、カメラに、画像を第１のフレームレートで取得させるステップを含む。ブロック１１１２において、本方法は、画像を第１のフレームレートで取得し続けるステップを含む。第１のフレームレートは、本明細書に説明される低速フレームレート、中速フレームレート、または高速フレームレート等の任意のフレームレートであり得る。画像が第１のフレームレートで取得される時間量は、設定時間量によって、または後続条件の充足（１つ以上のあるパラメータを満たす別の運動性質の決定等）によって決定されてもよい。ブロック１１１６において、方法１１００は、ＨＭＤの第２の運動性質を決定するステップを含むことができる。第２の運動性質は、本明細書に説明される任意の運動性質であり得る。ブロック１１２０において、方法１１００は、第２の運動性質に基づいて、カメラに、画像を第２のフレームレートで取得させるステップを含むことができる。第２のフレームレートは、第１のフレームレートと異なり得る。例えば、第２のフレームレートは、第１のフレームレートを上回ってもよい。第２のフレームレートは、第１のフレームレートと異なるあるパーセンテージである（例えば、それを上回る）必要があり得る。要求されるパーセンテージ差は、約５％、８％、１０％、１５％、２０％、２５％、３０％、３５％、４０％、４５％、５０％、６０％、７０％、８０％、９０％、その間の任意の値、これらの値のいずれか間の任意の範囲、またはその中の任意の値の範囲内であり得る。いくつかの構成では、要求されるパーセンテージ差は、第１のフレームレートの倍数であり得る。例えば、要求されるパーセンテージ差は、倍数が、約１、２、５、８、１０、１２、その間の任意の値、これらの値のいずれか間の任意の範囲、またはその中の値のいずれかの間の範囲内であり得るように、第１のフレームレートの倍数であり得る。
図１９は、マルチカメラシステムの時間－カメラプロット１３００を示す。示されるように、４つのカメラ１３２０、１３２４、１３２８、１３３２が、表示される。第１のカメラ１３２０は、左端カメラであってもよく、第２のカメラ１３２４は、左中央カメラであってもよく、第３のカメラ１３２８は、右中央カメラであってもよく、および／または第４のカメラ１３３２は、右端カメラであってもよい。他の構成も、可能性として考えられる。例えば、より多いまたはより少ないカメラが、使用され得るが、本構成は、一例として示される。示されるように、カメラは、４回１３０４、１３０８、１３１２、１３１６に示される。各カメラ１３２０、１３２４、１３２８、１３３２は、ユーザの周囲の（例えば、ＨＭＤの周囲の）環境の実質的に異なる部分を視認するように構成されることができる。例えば、示されるように、第１のカメラ１３２０は、視認者の左側に向かって指向されることができる一方、第２のカメラ１３２４は、ユーザのビューの左部分に指向されることができる。同様に、第４のカメラ１３３２は、視認者の右側に向かって指向されることができる一方、第３のカメラ１３２８は、ユーザの視野（ＦＯＶ）の右部分に指向されることができる。各カメラ１３２０、１３２４、１３２８、１３３２は、少なくともある重複が２つの近傍のカメラ間に存在するように、近傍のカメラの少なくともある部分を視認するように構成されてもよい。故に、いくつかの実施形態では、カメラはそれぞれ、ユーザを中心として環境の非同一部分を検出するように構成されることができる。
しかしながら、図１９に示されるように、各カメラ１３２０、１３２４、１３２８、１３３２は、殆どまたは全く重複がカメラ間に存在しないように、環境の別個の部分を検出するように構成されてもよい。種々の特徴１３３６は、星形によって表される。いくつかの実装では、ＨＭＤは、それらがカメラのフレーム内で移動するように現れるにつれて、特徴１３３６を識別および／または追跡するように構成されることができる。図１９に示されるようないくつかの実施形態では、ＨＭＤは、それらが種々のカメラ１３２０、１３２４、１３２８、１３３２間を移動するにつれて、特徴１３３６を追跡することができる。
ＨＭＤは、カメラ１３２０、１３２４、１３２８、１３３２のうちの１つ以上のもののフレームレートを変調させるように構成されることができる。変調は、少なくとも部分的に、ユーザおよび／またはカメラの視野内で検出された１つ以上の特徴１３３６の数および／または決定された重要性に基づいてもよい。例えば、第１の時間１３０４に示されるように、第１のカメラ１３２０および第４のカメラ１３３２はそれぞれ、６０フレーム／秒（ｆｐｓ）で構成される。これは、その視野のそれぞれ内の特徴１３３６の数が比較的に高いためである。故に、プロセッサ（例えば、遠隔、内部）は、それらのＨＭＤカメラが、一時的に、より高いフレームレートで動作すべきであることを決定している。一方、第２のカメラ１３２４および第３のカメラ１３２８は、第１の時間１３０４の間、より少ない関心を引く特徴１３３６が存在するため、より低いフレームレートで動作する。特徴１３３６は、閾値着目メトリックを満たす場合、関心を引くものとなり得る。着目メトリックは、特徴の速度または他の運動性質を含んでもよい。いくつかの実施形態では、ＨＭＤは、まもなくより多数の特徴１３３６（例えば、関心を引く特徴）を受信するであろうカメラを予測するように構成されることができ、より多数の関心を引く特徴１３３６を検出することが予期されるカメラのフレームレートを先を見越して増加させることができる。フレームレートが先を見越して増加されるべきカメラおよびその数は、本明細書に説明されるようなＨＭＤの検出された角速度に依存し得る。
加えて、または代替として、より高いフレームレートで動作するカメラは、少なくとも部分的に、カメラの視野内にある（またはあることが予測される）着目特徴の数および／または関心を引くそれらの着目特徴の範囲に基づいてもよい。特徴は、比較的に高品質である、または高品質メトリックを有する場合、関心を引くものとなり得る。品質メトリックは、例えば、フレーム毎および／またはカメラ毎の特徴の安定度および／または鮮明度に基づいてもよい。例えば、曖昧または非鮮明特徴は、品質がそれほど高くなくなり得、したがって、ＨＭＤが特徴を取り扱う方法の観点から、関心を引くものと見なされ得ない。付加的品質メトリックは、進行しているように現れるオブジェクトの速度、視認者の視野内でのオブジェクトの大きさ、オブジェクトの明るさ、オブジェクトとその周囲との間のコントラストの程度、または他のパラメータおよび／または品質メトリックを含んでもよい。カメラは、より多くのおよび／またはより関心を引く特徴（例えば、着目特徴）が、存在する、またはまもなくカメラの視野内に存在することが予測されるとき、より高いフレームレートで動作してもよい。
関心を引く特徴または複数の特徴（例えば、着目特徴）の決定は、加えて、または代替として、他の要因に依存してもよい。例えば、決定は、カメラのビューを横断して識別された１つ以上の特徴の速度に依存してもよい。例えば、識別された速度は、所定の速度閾値を超え得る。加えて、または代替として、関心を引く特徴は、ユーザがその視線を指向しているものであり得る。ＨＭＤは、ユーザの視線を追跡することが可能であり得るため、ユーザによって視認される特徴は、より関心を引くものであり得、それらの特徴を捕捉する対応するカメラは、より高いフレームレートに設定されてもよい。特徴１３３６は、それらがサイズが拡大および／または縮小するように現れる場合、特に、これが比較的に短時間周期にわたって生じる場合、より関心を引くものとなり得る。特徴１３３６は、それらが、別様に、形状、サイズ、または特性を変化させる（例えば、点滅する）場合、より関心を引くものとなり得る。いずれの場合も、特徴１３３６の性質は、特徴１３３６は、環境内で比較的に定常である場合でも、またはユーザが比較的に定常である間でも、変化し得る。したがって、ユーザが運動中であるかどうかは、カメラ１３２０、１３２４、１３２８、１３３２が、より高いまたはそれより低いフレームレートで動作するかどうかの決定とはなり得ない。しかしながら、いくつかの実施形態では、ＨＭＤは、ＨＭＤが運動中である、および／または装着されていることを決定するときのみ、カメラのフレームレート１３２０、１３２４、１３２８、１３３２を変調させるように構成されてもよい。例えば、圧力センサまたは他のセンサが、本明細書に説明されるような本決定を行うために使用されてもよい。
図１９に示されるように、第２の時間１３０８における特徴１３３６は、第１の時間１３０４におけるその位置に対して左に平行移動される。これは、特徴１３３６自体が、左に平行移動している（例えば、ＨＭＤおよび／またはカメラ１３２０、１３２４、１３２８、１３３２は、定常である）、ＨＭＤおよび／またはカメラ１３２０、１３２４、１３２８、１３３２が、右に回転／掃引している（例えば、特徴１３３６は、定常である）、または両方であることを示し得る。同様に、第３の時間１３１２および第４の時間１３１６の両方における特徴１３３６は、カメラに対して左にさらに平行移動されるように現れる。
本明細書に説明されるように、カメラのうちの１つ以上のもののフレームレートは、ＨＭＤに対する特徴１３３６の検出された見掛け回転または線形速度に基づいてもよい。加えて、または代替として、フレームレートは、１つ以上の外向きに向いたカメラによって検出された関心を引く特徴１３３６の数および／またはその品質メトリックに基づいてもよい。１つのカメラのフレームレートは、近傍のカメラ等の別のカメラから受信された画像データに基づいてもよい。画像データは、例えば、環境内の特徴（例えば、着目特徴）の方向および／または速度を含み得る。故に、１つのカメラのフレームレートを決定するステップは、別のカメラ（例えば、近傍のカメラ）から受信された画像に基づいてもよい。フレームレートの決定は、カメラの視野内の１つ以上の特徴の場所の傾向を予測するステップを含んでもよい（例えば、特徴の軌道を決定することによって、および／または第１のカメラから受信された画像内の特徴が第２のカメラによって受信された画像内で検出される確率を計算することによって）。故に、ＨＭＤは、他のカメラから受信された画像に基づいて、１つのカメラのフレームレートを調節する（例えば、増加させる、減少させる）ことができる。
決定されたフレームレートは、部分的に、ＨＭＤ内の電気電流の周波数に基づいてもよい。例えば、適切な信号を返さないフレームの数を低減または最小限にすることが有利であり得る。干渉縞効果が、生じ得、これは、暗い、低級、または別様に不適切な信号を含み得る。干渉縞効果は、例えば、特定の国または領域内の電気電流のフレームレートおよび周波数が、フレームレートおよび電気信号が完全に統合された画像捕捉を妨げるようなものであるときに生じ得る。例えば、干渉縞効果は、カメラ内のセンサが光を経時的に統合するにつれて、１つ以上のフレームの間、色の強度を低減させ得る。故に、そのような低級または不適切な画像捕捉をもたらさない、フレームレートを設定することが有益であり得る（例えば、相互の整数倍数である、フレームレートまたは電気信号周波数を有しないことによって）。
ＨＭＤは、１つ以上のカメラを横断して種々の特徴を追跡するように構成されることができる。いったん特徴が、検出されると、カメラは、特徴を追跡してもよい。特徴の追跡は、前の（例えば、オリジナル）フレームに基づいて特徴が見出されることが予期される場所である、後続フレームの検索領域を走査するステップを含んでもよい。ＨＭＤは、後続フレーム内の特徴の検索領域の位置を修正することが可能であり得る。本位置の修正は、前のフレーム内の特徴の検出および／または計算された速度および／または方向に基づいてもよい。速度および／または方向および／または他のパラメータは、２つ以上の前のフレームを使用して計算されてもよい。
特徴を追跡する際、ＨＭＤは、複数のフレームレートを考慮するように構成されることができる。例えば、カメラの特定のフレーム内の検索領域の場所は、カメラのフレームレートに基づいてもよい。いったん特徴の速度および／または方向が、決定されると、後続フレーム内の一連の検索領域は、各フレーム上に、高フレームレートの間に実質的に移動しない、場所を有し得る。加えて、または代替として、検索領域は、フレーム毎の不確実性のレベルが比較的に低いため、ビデオの高フレームレートが捕捉されているフレーム内でより小さくあり得る。対照的に、カメラがビデオを低フレームレートで捕捉する間、特徴がフレーム毎に移動している場合、より大きな不確実性が、特徴が各フレーム内に位置し得る場所に関して生じ得る。故に、より低いフレームレートの間の各フレームの検索領域は、不確実性を考慮するために、より高いフレームレートの間のフレームの検索領域を上回り得る。
ＨＭＤに対する特徴の運動およびＨＭＤ自体の運動等の他の考慮点も、種々の特徴を追跡および／または識別する間に検討されてもよい。例えば、異なるフレーム間では、ＨＭＤは、概して、共通特徴検索エリア（例えば、検索半径）を異なる角速度の範囲に維持することを求め得る。故に、より高いフレームレートが、より高い角および／または線形速度で移動しているように現れる特徴のために使用されてもよい。しかしながら、いくつかの状況では、検出された角速度が増加するにつれて、システムが特徴を見出す／追跡することを求める、検索エリアは、より大きくなり得る。加えて、または代替として、検索エリアは、フレーム間の時間が増加するとき（例えば、より低いフレームレートの間）、より大きくなり得る。いずれの場合の反対のことも、同様に当てはまり得る。
ＨＭＤが、回転されると、外向きに向いたカメラは、以前に検出されていない視野を検出し得る。そのような状況では、高フレームレートが、まだ未決定の数の特徴（例えば、着目特徴）が、カメラによって検出または検出されることが予測され得るため、使用されてもよい。例えば、ユーザが、ＨＭＤをユーザの左に回転させるにつれて、最左カメラは、左における新しい環境が検出されるまで、および／または任意の着目特徴が識別されるまで、高フレームレートで動作してもよい。識別された新しい着目特徴は、ＨＭＤによって追跡され始め得る。例えば、ユーザがＨＭＤを左に回転させる（例えば、環境が右に回転するように現れる）場合、最左カメラは、別のカメラ（例えば、最右カメラ）より高速のフレームレートを有してもよい。加えて、または代替として、ユーザがＨＭＤを右に回転させる（例えば、環境が左に回転するように現れる）場合、最右カメラは、別のカメラ（例えば、最左カメラ）より高速のフレームレートを有してもよい。
（コンテンツベースのフレームレート変調）
上記に議論されるように、頭部搭載型ディスプレイシステム上の１つ以上の外向きに向いたカメラは、ユーザの周囲についての情報を取得するために使用されることができる。そのようなカメラは、仮想コンテンツが実世界内に存在するかのように、仮想コンテンツの後続挿入のための環境をマッピングする際に有用であり得る。
本明細書に議論されるように、拡張現実は、実コンテンツの表示と仮想コンテンツをマージするために使用されてもよい。ユーザは、仮想コンテンツが、実世界内のオブジェクトに対して、例えば、それに隣接して、その正面に、および／またはその背後に位置するように現れるように、ディスプレイが、仮想コンテンツをユーザの眼の中に投影する間、実世界が見えるように、透明ディスプレイを通して見ることが可能であり得る。拡張現実システム内では、仮想画像コンテンツは、画像コンテンツが実環境内の具体的位置または場所に位置するかのように、ユーザに表示され得るため、本システムは、有利なこととして、環境に対応する情報を追跡し、システムが仮想オブジェクトを実世界環境内に現実的に統合するための実世界についての十分な詳細を提供することができる。外向きに向いたカメラは、ユーザの周囲の（例えば、その正面の、１つ以上の側上の等）環境を結像し、実世界についてのそのような情報を収集するために使用されることができる。故に、いくつかのシナリオでは、１つ以上のカメラは、持続的または実質的に持続的に、指定されたフレームレートで環境を結像するように構成される。
これらのセンサから取得された環境についての情報を使用して、本システムは、仮想コンテンツを環境内の特定の場所に位置するように現れさせるように、仮想コンテンツを環境の中に関連付ける、または導入する、またはコンテンツをそれに結び付けることができる。仮想コンテンツは、したがって、場所との関連付けを有する。仮想コンテンツは、したがって、実世界内の実場所内に「存在」し得る（例えば、ソフトウェアは、１つ以上のカメラまたは本明細書に説明される他のセンサ等の１つ以上のデバイスを使用して、仮想コンテンツが関連付けられる、実場所を追跡し得る）。
環境についてのさらなる詳細かつ正確な情報を用いて、ディスプレイは、より正確に、精密に、および／または現実的に、仮想コンテンツと場所を関連付けることができる。ある条件では、周囲についてのより大量の詳細を取得することが、特に、有用であり得る。例えば、環境についての詳細を迅速に入手することは、特に、環境の新しい部分が、初めてまたはしばらくぶりに結像および／またはマッピングされている場合、有益であり得る。同様に、より大量の詳細は、ユーザまたはユーザの頭部が急速に移動中であるとき、望ましくあり得る。データ収集を能動的に増加させることが、したがって、例えば、本システムが、環境についてのさらなる詳細な情報が有益であろう、そのような状況に頭部搭載型ディスプレイがあり得ることを予測する場合、求められ得る。
有意な量の環境についての正確な情報は、１つ以上のカメラをより高いフレームレートで動作させる、またはカメラの動作をそのようなより高いフレームレートに維持することによって取得されることができる。例えば、本明細書に議論されるように、本システムは、ユーザがその頭部を旋回させる場合、ユーザが未知の（例えば、未結像）領域を探索している場合、および／またはユーザが直近で結像されていないエリアを視認する、または視認するであろう場合、カメラのうちの１つ以上のものをより高いフレームレートで起動させてもよい。本明細書に議論されるように、カメラをより高いフレームレートで動作させることはまた、本システムが、いったん本仮想コンテンツの小部分がユーザの視野の中に移動すると、ユーザが、その頭部を中心にすぐに方向転換させ、本仮想コンテンツに合焦させ得るため、仮想コンテンツがディスプレイの視野のすぐ外にあることを把握する場合、有用であり得る。ユーザは、したがって、視認者が以前に視認していない、または直近で視認していない、環境の一部を視認している場合があり、したがって、ある時点において十分にマッピングまたはマッピングされていない場合がある。本コンテキストにおけるユーザの視野またはカメラ視野は、ある場合には、視認ゾーンと称され得る（但し、視認ゾーンは、そのように限定される必要はなく、そのような視野に限定されない領域を指し得る）。故に、いくつかの実装では、仮想オブジェクトが、視野、例えば、カメラまたは他の視認ゾーンのすぐ外にある場合、カメラのフレームレートは、有益なこととして、仮想オブジェクトが視認ゾーンまたは視野の中に若干移動する場合、ユーザが、その頭部を方向転換させ、以前は視認ゾーンまたは視野のすぐ外にあった、本エリアを視認ゾーンおよび視野内に含める可能性が高いため、高レベルに設定され得る。上記に参照されるように、環境についての有意な量の正確な情報は、１つ以上のカメラをより高いフレームレートで動作させる、またはその動作をそのように維持することによって取得される。故に、仮想オブジェクトが環境内に位置する場所を把握することは、フレームレート、特に、フレームレートが、高いままである、またはより高いレベルに設定される、または低減されるべきかどうかを決定する際に有用であり得る。
上記に議論されるように、電力消費、バッテリ寿命、およびデバイス過熱もまた、考慮点であり得る。故に、種々の方法を使用して、頭部搭載型ディスプレイシステムは、１つ以上の外向きに向いたカメラの動作および／またはそこから取得された画像の処理と関連付けられる、電力消費を低減させるように構成されることができる。例えば、電力消費は、１つ以上のカメラが環境の画像を取得するフレームレートを修正（例えば、減少させる）することによって、削減され得る。本フレームレートは、直接、ＨＭＤによって使用される電力の量に影響を及ぼし得る。より高いフレームレートは、より高い品質（例えば、より高いフレームレート）ビデオフィードを生産し、上記に述べられたように、さらなる詳細なデータをもたらすことができるが、より高いフレームレートは、概して、より大きな電力消費および可能性として増加された加熱をもたらす。代替として、または加えて、電力消費は、カメラによって捕捉されたフレーム上で実施される処理の量を低減させることによって、降下されることができる。例えば、処理されるカメラによって捕捉されたフレームの数は、減少されることができる。例えば、フレームの２分の１、３分の１、４分の１、５分の１、８分の１、１０分の１等のみが、算出およびそのような算出の実行の際に関わる電力消費を低減させるために処理されてもよい。例えば、カメラによって捕捉されたフレームの１０％、２０％、３０％、４０％、５０％、６０％、７０％、８０％、９０％のみ（またはこれらの値のいずれか間の任意の範囲）が、処理されることができる。同様に、カメラによって捕捉されたフレームの一部は、外向きに向いたカメラによって捕捉された他のフレームより少ないまで処理されることができる。例えば、カメラによって捕捉されたフレームの２０％、３０％、４０％、５０％、６０％、７０％、８０％（またはこれらの値のいずれか間の任意の範囲）が、他のフレーム未満で処理されることができる。これらの範囲外の割合またはパーセンテージもまた、可能性として考えられる。より低いフレームレート、またはより少数のフレームを処理する、またはフレームの少なくとも一部の処理を低減させる、またはこれらのアプローチの任意の組み合わせは、より低い品質のビデオフィードまたはそこから入手されたデータをもたらし得るが、電力を節約することができる。電力の消費とビデオフィード品質およびそこから取得されたデータの品質の平衡は、困難であり得る。しかしながら、本明細書に説明されるシステムは、電力およびコンピューティングリソースが利用される、効率を改良するように構成されることができる。
種々の方法が、電力消費と有用なビデオフィードおよびそこからのデータの入手との間の本平衡を達成することに役立つために使用されることができる。ソフトウェアアルゴリズムが、ハードウェアと併用され、フレームレートまたは処理されるフレームの数が、より高くある（例えば、高のままである）またはより低くある（例えば、低減される）べきであるときを決定することができる。したがって、ソフトウェアアルゴリズムは、ハードウェアの電力消費（および加熱）を統制することに役立ち得る。１つ以上のアルゴリズムが、ＨＭＤシステムによって実装され、ＨＭＤと関連付けられる１つ以上のカメラ（例えば、外向きに向いたカメラ）のフレームレートおよび／またはそれらのフレームの処理される部分（例えば、フレームの数、割合、またはパーセンテージ）および／または処理の量を決定および／または変調させることができる。
本方法は、センサ、例えば、運動センサ等の１つ以上の他のハードウェアコンポーネントと連動してもよい。１つ以上のセンサは、ジャイロスコープ、加速度計、および／または慣性センサを含むことができる。１つ以上のセンサは、処理電子機器と併せて、画像の変化および／または移動を検出するように構成される、カメラを含んでもよい。いくつかの設計では、センサは、移動を検出してもよい。これらのカメラは、外向きに向いたカメラ（例えば、そのフレームレートまたはそこからの画像の処理の量が調節されている）および／または他の外向きに向いたカメラを含んでもよい。いくつかの設計では、本システムは、１つ以上のセンサを使用して、ＨＭＤの角および／または位置速度または加速を感知する、測定する、および／または推定値を提供する。例えば、慣性測定ユニット（ＩＭＵ）は、ＨＭＤ（潜在的に、１つ以上のカメラであり得る）の移動を決定する、または決定することに役立つために使用されることができる。いくつかの実装では、速度または加速等の運動と関連付けられる、１つ以上の測定値が、取得され、ＨＭＤが、環境およびその中のオブジェクトに対して、移動したか、移動中であるか、および／または移動するかどうかを決定または予測するために使用されてもよい。上記に説明されるように、ＨＭＤシステムは、ＨＭＤが、周囲環境に対して、移動中である、移動した、および／または移動するであろうことの検出、識別、決定、および／または予測に基づいて、１つ以上のカメラ（例えば、外向きに向いたカメラ）のフレームレートおよび／または処理される入手されたフレームの部分および／または処理の量を修正するように構成されることができる。いくつかの実装では、例えば、ＨＭＤが、移動中ではない、ある持続時間にわたって移動していない、または移動されることが予期されない場合、カメラフレームレートおよび／または処理されるフレームの部分および／または処理の量は、低減され、それによって、電力消費を低減させ得る。加えて、または代替として、環境内の１つ以上の特徴またはオブジェクトが、移動したか、移動中であるか、または移動することが予期されるかの査定は、フレームレートおよび／または処理の量を低減させるかどうかを決定するために使用されてもよい。環境内の１つ以上の特徴またはオブジェクトが、移動したか、移動中であるか、または移動することが予期されるかに関する査定は、１つ以上の外向きに向いたカメラを使用して、取得されてもよい。
しかしながら、仮想コンテンツの場所の知識も、１つ以上のカメラのフレームレートおよび／または１つ以上の他のセンサのサンプリングレートおよび／または処理の量を低減させるかどうかの決定において使用されることができる。記載されるように、仮想コンテンツは、おそらく、ユーザの視野内にまだ存在しないが、コンテンツ自身の運動および／またはユーザの運動に基づいて、まもなく、または差し迫って、ユーザの視野内に存在し得る。そのような運動のレートまたは速度もまた、考慮点であり得る。上記に議論されるように、ＨＭＤシステムは、仮想コンテンツが環境に対して表示されるべき場所を識別するように構成されてもよい。仮想コンテンツは、実世界内の実場所に「存在」し得る（例えば、ソフトウェアは、仮想コンテンツが関連付けられる、実場所を追跡し得る）。さらに、仮想コンテンツおよび／またはその場所は、仮想コンテンツがまだ表示されていない場合でも、把握され、実世界内の実場所と関連付けられることが把握され得る。仮想コンテンツは、グラフィック処理ユニットによってレンダリングされ得るが、ユーザが、ＨＭＤ接眼レンズを仮想コンテンツが関連付けられる、実世界内の場所に向かって十分に移動させるまで、表示され得ない。いったんＨＭＤ接眼レンズが、仮想コンテンツの実世界場所が接眼レンズまたはディスプレイの視野内にあるように位置付けられると、仮想コンテンツは、表示される。故に、本場所は、仮想コンテンツと関連付けられ得る。例えば、ユーザは、真っ直ぐに眼を向け得る（現在ディスプレイ内にある他のコンテンツの有無にかかわらず）。一方、本システムは、仮想ロボットまたはモンスタ等の仮想画像コンテンツが、ユーザが若干右を見ることになる場合、ユーザに表示されるであろうことを決定し得る。ユーザが、差し迫って、方向転換し、右に眼を向け得る可能性を予期すると、本システムは、仮想コンテンツと関連付けられる環境内の場所についての情報を捕捉するであろう、１つ以上のカメラをより高いフレームレートに設定することができる（例えば、フレームレートを低減させない、またはフレームレートをあまり低減させない）。同様に、処理されるフレームの数および／または処理の量も、より高く設定される、または低減されない、またはあまり低減され得ない。本アプローチを用いて、本システムは、カメラが、より低いフレームレートに設定された場合より多くの情報を収集しているため、より正確な環境認知を伴って、環境内の所望の場所にあるかのように、仮想コンテンツの正確に設置された画像を生産することに備えることができる。本コンテキストでは、先制して、ディスプレイシステムの１つ以上のカメラのフレームレート、または処理されるフレームの数、または処理の量、またはこれらの任意の組み合わせを増加させる、または低減させない、またはあまり低減させないことが有用であり得る。
故に、仮想コンテンツがこれまで表示されたかどうかは、ＨＭＤの位置および／または配向（例えば、方向）等の１つ以上の要因に付随し得る。それにもかかわらず、レンダリング可能または潜在的仮想コンテンツを表示する可能性を予期するために、本システムは、先制して、フレームレートを調節する（例えば、フレームレートを上昇させる）、および／または処理されるフレームの数（例えば、処理される捕捉された総フレームのパーセンテージを上昇させる）および／またはフレームの処理の量を調節することができる。したがって、ＨＭＤが、最終的に、またはまもなく、実環境上にオーバーレイされる仮想コンテンツを表示し、ユーザのための拡張現実体験を作成することになる場合、より高いフレームレートは、本システムが、ユーザの環境内の実場所に存在するかのように、画像コンテンツをより正確に表すように、仮想画像コンテンツをディスプレイの場所上に表示することをより良好に可能にし得る。その結果、ジッタ、グリッチ、雑音、および他の効果等の望ましくない効果は、環境内の関連付けられた場所についてのより多くの情報（例えば、より高いフレームレートまたはより多くのフレームの処理から）が本システムに利用可能である場合、低減され得る。
ここで図面に目を向けると、図２０は、カメラ１４０２、１４０４を含む、例示的ウェアラブルシステム２００を示す。カメラ１４０２、１４０４は、外向きに向いた結像システム４６４等の上記に説明されるカメラのいずれかに対応し得る。示されるように、カメラ１４０２、１４０４はそれぞれ、対応する眼と関連付けられる。カメラ１４０４は、左眼と関連付けられ、カメラ１４０２は、右眼と関連付けられる。カメラ、深度センサ、光源等を含む、種々のセンサ等の他の特徴（標識されない）もまた、ウェアラブルシステム２００内に存在してもよい。例えば、２つ以上のカメラが、左眼と関連付けられる左側上にあることができ、２つ以上のカメラが、右眼と関連付けられる右側上にあることができる。いくつかの実装では、２つ以上のカメラのうちの１つは、より前方に向くことができ、２つ以上のカメラのうちの１つは、より側方に向くことができる。カメラは、部分的に重複する、視野を有してもよい（または有していなくてもよい）。
図２１Ａは、仮想コンテンツの場所に基づいてフレームレートを調節する方法１５００を示す。方法１５００は、本明細書に説明されるもの等のディスプレイシステムによって実施されてもよい。ブロック１５１０において、カメラ（例えば、１つ以上のカメラ）は、方法１５００を高速フレームレートで開始し得る。ブロック１５１０から、方法１５００は、ブロック１５２０に進むことができる。
ブロック１５２０において、方法１５００は、限定された頭部移動（または環境内の特徴またはオブジェクトの移動）が予期されるかどうかを決定する。本コンテキストにおいて使用されるように、「限定された」は、いくつかの実装では、閾値を下回る移動度を指し得る。ある場合には、移動の閾値量は、線形および／または角移動の一方または両方を指し得る。方法１５００は、本明細書に説明されるもの等の種々の運動の性質のうちの１つ以上のものを検出してもよい。例えば、方法１５００は、カメラの角速度または角加速を検出または測定してもよい。閾値角速度は、例えば、ある場合には、閾値として使用されてもよく、そのような閾値角速度は、いくつかの実装では、約３５度／秒～４００度／秒であり得るが、速度は、そのように限定されるべきではない。ある実装では、閾値角加速が、使用されてもよい。閾値角加速は、ある場合には、閾値として使用されてもよく、そのような閾値角加速は、例えば、約１度／秒２～２５度／秒２であり得るが、本範囲外のものを含む、他の値も、可能性として考えられ、加速は、そのように限定されるべきではない。これらおよび／または他の要因は、単独で、または組み合わせて、移動が、生じた、生じている、または生じるであろうかどうかを決定するために使用されてもよい。しかしながら、種々の実装では、カメラの移動（例えば、ユーザの頭部の移動）および／または環境内の１つ以上の特徴またはオブジェクトが、閾値を上回る（例えば、「限定」されない）場合、カメラは、高速または高（より高い）フレームレートで継続または再開してもよい。しかしながら、上記に述べられたように、カメラおよび／または頭部搭載型ディスプレイの運動は、運動検出が生じるために必要ではない場合がある。例えば、環境内の１つ以上の特徴の位置または運動の変化が、検出（例えば、１つ以上のカメラによって、例えば、ＳＬＡＭを使用して）および／または予期されると決定され、カメラおよび／または頭部搭載型ディスプレイの検出および／または予期される運動に加え、またはその代替として使用され得、本明細書に説明される機能性を開始するために十分であり得る。
上記で参照されるように、限定された頭部移動が予期されるかどうかは、１つ以上の決定に基づいてもよい。例えば、頭部移動は、本システムが、運動および／またはユーザの環境が、変化している、頻繁に変化していることを検出する場合、および／またはオブジェクトまたはオブジェクトの特徴が、環境内で運動中である、または運動中であった場合、および／または差し迫った移動のある他のインジケーションが存在する場合、予期され得る。対照的に、限定された頭部移動は、頭部搭載型ディスプレイおよび／または環境が、比較的に不変である場合、環境が暗い場合等において、予期され得る。直近の移動は、移動が予期されることを示し得る。したがって、ユーザが、限定された頭部移動を行なっている、または直近で行った場合、方法１５００（例えば、本システムを介して）は、限定された頭部移動がまた予期されることを決定し得る。上記に議論されるように、運動センサは、過去または現在の移動に関するデータを提供してもよい。同様に、環境内の特徴またはオブジェクトが、直近で限定された移動を行なった場合、方法１５００（例えば、本システムを介して）は、限定された移動がまた予期されることを決定し得る。上記に議論されるように、１つ以上のカメラは、環境内の特徴またはオブジェクトの過去または現在の移動に関するデータを提供してもよい。限定された頭部移動または環境内の１つ以上の特徴の移動が、予期されない場合、カメラは、ブロック１５１０において、高速フレームレートで継続または再開してもよい。代替として、限定された頭部移動および環境内の１つ以上の特徴の移動が、予期される場合、方法１５００は、ブロック１５３０に進んでもよい。いくつかの実装では、それにわたって限定された移動が存在する持続時間が、検討される。限定された移動が、ある時間周期にわたって生じた場合、外向きに向いたカメラは、例えば、視認ゾーン（例えば、カメラの視野）内に環境をマッピングするための十分な機会を有していたことになる。故に、移動が、少なくともそのような持続時間にわたって低減される場合、より低いフレームレートまで低減させる、および／またはより少ない量のデータおよび／またはより少ない数のフレームを処理することは、十分なマッピングがすでに生じている場合があり、視認ゾーン（例えば、カメラまたは複数のカメラの視野）内の環境が変化していないため、十分であり得る。
ブロック１５３０において、本方法は、仮想コンテンツが、例えば、カメラおよび／またはユーザの視野等の視野に対応する、またはそれを含み得る、または別の領域であり得る、視認ゾーンを越えるかどうかを決定し得る。いくつかの実装では、視認ゾーンは、可視性または他の角度範囲の円錐を備えてもよい。可視性の円錐は、ビューの角度または視野角によって識別されてもよい（また、図２２Ａ参照）。カメラの視野は、３０°、３５°、４５°、５５°、６５°、７５°、８５°、９５°、１０５°、１１５°、１２５°、１３５°、１４５°、１５５°、１６５°、１７５°、１８０°、またはこれらの値のいずれかによって形成される任意の範囲間にあってもよい、またはこれらの範囲外にあってもよい。同様に、視認ゾーンは、３０°、３５°、４５°、５５°、６５°、７５°、８５°、９５°、１０５°、１１５°、１２５°、１３５°、１４５°、１５５°、１６５°、１７５°、１８０°、またはこれらの値のいずれかによって形成される任意の範囲間にあってもよい、またはこれらの範囲外にあってもよい。例えば、いくつかの構成では、カメラの視野および視認ゾーンは、約８５°であってもよい。
視認ゾーンまたは視野外では、レンダリング可能仮想コンテンツは、ユーザが、ディスプレイを移動させ、仮想コンテンツを視認する（例えば、仮想コンテンツと関連付けられる場所を視認ゾーンまたはカメラの視野の中に持って来るため）場合、レンダリングされる準備ができている場合がある。ブロック１５３０において、方法１５００が、仮想コンテンツが視認ゾーンまたは（例えば、カメラの）視野を越えることを決定する場合、方法１５００は、ブロック１５１０に進み得、カメラのフレームレートは、高速に設定されてもよい。仮想コンテンツが、視認ゾーン（例えば、カメラの視野）を越えないことが決定される場合、方法１５００は、ブロック１５４０に進み得る。ブロック１５４０において、カメラのフレームレート（および／または処理の量）は、低減され得る。例えば、フレームレートは、中速フレームレートまたは低速フレームレートまたは本明細書に説明されるような高速レートより低速のレートの任意の範囲に変化されてもよい。任意の仮想コンテンツは、フレームレートおよび／またはフレームの処理の量が低減され得るように、すでに十分にマッピングされている場合がある視認ゾーン内にのみ含まれてもよい。上記に議論されるように、いくつかの実装では、ある閾値持続時間にわたって移動を低減させることが、フレームレートおよび／またはフレームの処理を低減させることに先立って採用される（例えば、十分な時間が、環境をマッピングするために提供されるように）。
方法１５００は、ブロック１５５０に進み得る。ブロック１５５０において、方法１５００は、頭部移動（例えば、「限定された」頭部移動を越える）および／または環境内の１つ以上の特徴またはオブジェクトの移動が、検出されるかどうかを決定し得る。頭部移動および／または環境内の１つ以上の特徴またはオブジェクトの移動が、検出されない場合、方法１５００は、ブロック１５４０に進み、頭部移動および／または環境内の１つ以上の特徴またはオブジェクトの移動が、検出されるまで、ループすることができる。頭部移動および／または環境内の１つ以上の特徴またはオブジェクトの移動が、ブロック１５５０において、いずれかの時間に検出される場合、カメラのフレームレートは、ブロック１５１０において、高速に設定されるであろう。例えば、ユーザが、その頭部を急速に方向転換させる場合、フレームレートは、より高速のレートに戻るように設定されてもよい。
図２１Ｂは、別の例示的方法１５００を示す。方法１５００では、ブロック１５１０、１５２０、および１５３０は、上記の図２１Ａに説明されるようなものであってもよい。図２１Ｂに示される方法１５００では、ブロック１５３０において、方法１５００が、仮想コンテンツが視認ゾーンまたは（例えば、カメラの）視野を越えることを決定する場合、方法１５００は、ブロック１５３５に進み得る。ブロック１５３５において、方法１５００は、仮想コンテンツが視認ゾーンまたは視野からの閾値距離を越えるかどうかを決定する。上記に述べられたように、カメラは、ある視野を有してもよい。本動眼視野は、視認ゾーンまたは（例えば、カメラの）視野を包含してもよい。動眼視野は、視認ゾーンまたは視野だけではなく、また、カメラまたは他のセンサが移動および／または回転された場合に可視となるであろう、環境の部分も含んでもよい。視認ゾーンまたは視野の境界のすぐまたはわずかに越えた場所は、動眼視野の一部であって、本明細書では、近距離動眼視野と称され得る。近距離動眼視野を越えた場所は、動眼視野の領域であって、本明細書では、遠距離動眼視野と称され得る。したがって、近距離動眼視野内の仮想コンテンツは、視認ゾーンまたは視野の境界を越えた場所と関連付けられ得るが、視認ゾーンまたは視野から閾値を越えた場所とは関連付けられない。したがって、方法１５００が、仮想コンテンツが近距離動眼視野内の場所と関連付けられることを決定する場合、方法１５００は、ブロック１５１０に移動し、カメラは、高速フレームレートに設定されるであろう。代替として、仮想コンテンツが、遠距離動眼視野内にあるであろう、近距離動眼視野を越えた（かつ動眼視野ではない）場所と関連付けられる場合、方法１５００は、ブロック１５４０に移動し、カメラフレームレートは、（例えば、中速フレームレート、低速フレームレート等に）低減されるであろう。同様に、近距離動眼視野は、仮想コンテンツが、その中に位置する場合、ユーザに頭部をまもなく移動させる可能性が高くあり得る、領域である。いくつかのインスタンスでは、動眼視野内の仮想コンテンツは、視認ゾーンに向かって移動中であって、これもまた、フレームレートまたはフレームの処理の量を増加させる際に考慮され得る。故に、仮想コンテンツの移動のレートおよび方向もまた、視認ゾーンの方向におけるより高い移動のレートに伴って、フレームレートまたは処理を増加させ、またはそのより高いレベルを再開し、可能性として、本システムに、フレームレートおよび／またはフレームの処理を増加させる決定における要因であり得る。同様に、頭部移動および頭部移動のレートおよび／または方向および／または環境内の１つ以上の特徴またはオブジェクトは、視認ゾーンから離れる方向における頭部移動（および／または視認ゾーンに向かった環境内の１つ以上の特徴またはオブジェクト）のより高いレートに伴って、フレームレートまたはフレームの処理を増加させ、可能性として、本システムに、フレームレートおよび／またはフレームの処理を増加させる決定に影響を及ぼし得る。ブロック１５４０、１５５０は、図２１Ａに関して説明されるようなものであってもよい。
図２２Ａは、視認ゾーンおよび／または種々のフィールドの概略の断面の上面図を示す。そのようなフィールドは、センサ（例えば、１つ以上のカメラ）の視野および動眼視野等のカメラ１６０２等の例示的センサと関連付けられる、１つ以上のフィールドを含んでもよい。示されるように、視野１６０６は、概して、カメラ１６０２の正面の感知領域であって、境界１６１６によって境界される。境界１６１６は、ビュー１６３６の角度に及び得る。ビュー１６３６の角度は、例えば、カメラに応じて変動する。ビューの角度は、約３５ｏ～１８０ｏであり得、例えば、３０ｏ、４０ｏ、５０ｏ、６０ｏ、７０ｏ、８０ｏ、９０ｏ、１００ｏ、１１０ｏ、１２０ｏ、１３０ｏ、１４０ｏ、１５０ｏ、１６０ｏ、１７０ｏ、１８０ｏ、またはこれらの値のいずれか間の任意の範囲であり得る。いくつかの構成では、ビュー１６３６の角度は、約７０ｏ～１００ｏまたは８０ｏ～９０ｏ（例えば、約８５ｏ）である。
種々の実装では、近距離動眼視野１６１０は、潜在的に、両側において、近距離動眼視野１６４０の角度だけ、ビューゾーンまたは視野１６０６を越えて延在する。近距離動眼視野１６４０の角度は、両側において、境界１６２０によって境界され得る。一方の境界１６２０の外側またはそれを越えた場所は、遠距離動眼視野１６１４である。境界１６１６、１６２０の一方または両方は、対応するフィールド円錐の断面を表し得る。各フィールド円錐の断面のみが、図２２Ａに示される。
種々の例示的オブジェクト１６２４、１６２８、１６３２は、説明される場所と関連付けられる、またはフィールドのうちの１つ以上のもの内に位置し得る。例えば、オブジェクト１６２４は、視認ゾーンまたは視野１６０６内にある。オブジェクト１６２８は、視認ゾーンまたは視野１６０６外にあるが、近距離動眼視野１６１０内にある。オブジェクト１６３２は、視認ゾーンまたは視野１６０６および近距離動眼視野１６１０の両方外にあるが、遠距離動眼視野１６１４内にある。
上記に議論されるように、仮想画像コンテンツ（例えば、オブジェクト）が、視認ゾーン外に位置せず、１つ以上の運動センサ（例えば、ＩＭＵ）からの信号が、ＨＭＤが移動することが予期されない（および可能性として、環境内の１つ以上の特徴が、視認ゾーンまたは近距離動眼視野の中に十分に、例えば、すぐに移動することが予期されない）ことの決定につながる場合、カメラのフレームレートおよび／または処理されるフレームの数および／または処理の量は、低減され得る。移動が、予期される（例えば、頭部移動が、予期される、または環境内の１つ以上の特徴が、視認ゾーンまたは近距離動眼視野の中に十分に、例えば、すぐに移動することが予期される）場合、フレームレートおよび／または処理されるフレームの数および／または処理の量は、増加され得る。
仮想画像コンテンツ（例えば、オブジェクト）が、近距離動眼視野内の視認ゾーン外に位置し、１つ以上の運動センサ（例えば、ＩＭＵ）からの信号が、ＨＭＤが移動することが予期されないことの決定につながる場合、カメラのフレームレートおよび／または処理されるフレームの数および／または処理の量は、それにもかかわらず、より高く設定される、またはより高いままであり得る。予期される移動はまた、フレームレートおよび／または処理されるフレームの数および／または処理の量をより高いレベルに設定するための基礎となるであろう。
仮想画像コンテンツ（例えば、オブジェクト）が、遠距離動眼視野内の（かつ近距離動眼視野ではない）視認ゾーン外に位置し、１つ以上の運動センサ（例えば、ＩＭＵ）からの信号が、ＨＭＤが移動することが予期されない（および可能性として、環境内の１つ以上の特徴が、視認ゾーンまたは近距離動眼視野の中に十分に、例えば、すぐに移動することが予期されない）ことの決定につながる場合、カメラのフレームレートおよび／または処理されるフレームの数および／または処理の量は、低減され得る。移動が、予期される（例えば、頭部移動が、予期される、または環境内の１つ以上の特徴は、視認ゾーンまたは近距離動眼視野の中に十分に、例えば、すぐに移動することが予期される）場合、フレームレートおよび／または処理されるフレームの数および／または処理の量は、増加され得る。
システム構成および方法における広範囲の変形例が、可能性として考えられる。例えば、慣性測定ユニット、加速度計、ジャイロスコープ等の運動検出器の使用に加え、またはその代替として、カメラが、環境に対するＨＭＤまたは環境内のオブジェクトの相対的移動を感知するために使用されてもよい。カメラは、例えば、環境および／またはその中のオブジェクトを結像してもよく、画像処理が、特徴および／または特徴の移動および／またはＨＭＤに対するオブジェクトの特徴を識別するために実施されてもよい。ＨＭＤが、移動する場合、そのような相対的移動が、検出され得る。同様に、ＨＭＤが、移動していない場合でも、環境内の特徴の移動は、検出され得る。そのような移動が、検出および／または予期される場合、変化する環境についての詳細を取得することが、仮想コンテンツを位置付ける（例えば、視認ゾーン内に）際に有用であり得るため、カメラは、より高いフレームレートに設定されてもよく、および／または処理されるフレームの数および／または処理の量は、高く設定される、または高いままであってもよい。カメラによって取得された画像の変化（例えば、画像内の画像の位置）のチェックは、環境の変化を追跡することが望ましくあり得るため、有用であり得る。そのような変化は、例えば、人々の歩行または他のオブジェクトの移動（例えば、車、自転車、動物）を含んでもよい。部屋または環境内で追跡されている、そのような特徴の変化が存在する場合、フレームレートまたは１つ以上のカメラが画像を処理するレートをより高く設定することは、移動するオブジェクトを追跡することを補助し得る。検出された環境内の１つ以上の特徴は、環境内のオブジェクトの縁または角または他の特徴のうちの少なくとも１つを含み得る。カメラを使用して、環境の１つ以上の特徴を検出するステップは、Ｋａｌｍａｎフィルタ、Ｓｏｂｏｌアルゴリズム、またはＨａｒｒｉｓアルゴリズムのうちの少なくとも１つを使用するステップを含む。他のアプローチも、可能性として考えられる。
加えて、運動センサが、本システムの運動についての情報をあるサンプリングレートで受信してもよい。カメラのフレームレートまたは処理されるフレームの数が、より低いレベルに設定される、または低減されるとき、運動センサのサンプリングレートは、より高いレベルに維持されてもよい。いくつかの実装では、運動センサのサンプリングレートは、その低減後、カメラのフレームレートより高速のままである。上記に議論されるように、種々の構成では、運動センサは、慣性センサまたは加速度計を備えるが、１つ以上のカメラもまた、使用されてもよい。
カメラのフレームレートを改変するステップ、および／またはカメラからの低減された数のフレームを処理するステップ、および／またはカメラからのフレームの処理を低減させるステップが、上記に議論されるが、例えば、ＨＭＤの左眼側またはＨＭＤの右眼側上の複数のカメラが、採用されてもよい。複数のカメラ（例えば、ＨＭＤの左眼側上の２つ以上のカメラおよび／またはＨＭＤの右眼側上の２つ以上のカメラ）のためのフレームレートおよび／または処理されるフレームの数および／または処理の量の調節（例えば、低減）が、実装されてもよい。２つ以上のカメラは、ともに、かつ類似量で調節されてもよい。例えば、（例えば、ＨＭＤの左眼側および／またはＨＭＤの右眼側上）の複数のカメラのフレームレートおよび／または（例えば、ＨＭＤの左眼側および／またはＨＭＤの右眼側上）の複数のカメラからの処理されるフレームの数（および／または処理の量）は、複数の（例えば、対の）カメラに関して類似量で低減され得る。代替として、（例えば、ＨＭＤの左眼側および／またはＨＭＤの右眼側上）の複数のカメラのフレームレートおよび／または（例えば、ＨＭＤの左眼側および／またはＨＭＤの右眼側上）の複数のカメラからの処理されるフレームの数（および／または処理の量）は、異なる量で改変（例えば、低減および／または増加）されてもよい。例えば、画像コンテンツが、視認ゾーンをわずかに越える（例えば、近距離動眼視野内にある）、例えば、視認ゾーンよりこめかみ側にあることが既知であるとき、最外カメラは、例えば、より高いフレームレートに設定されてもよく、および／または最外カメラから処理されるフレームの数は、より高くてもよく、および／または処理の量は、より高くてもよい。対照的に、例えば、画像コンテンツが、視認ゾーンをわずかに越える（例えば、近距離動眼視野内にある）、例えば、視認ゾーンより鼻側または内側にあることが既知であるとき、最内カメラは、例えば、より高いフレームレートに設定されてもよく、および／または最内カメラから処理されるフレームの数は、より高くてもよく、および／または処理の量は、より高くてもよい。
例示的より高いフレームレートは、３０Ｈｚ～６０Ｈｚであり得る。例えば、より高いフレームレートは、３０Ｈｚ、４０Ｈｚ５０Ｈｚ、６０Ｈｚ、７０Ｈｚ、８０Ｈｚ、９０Ｈｚ、１００Ｈｚ、１１０Ｈｚ、１２０Ｈｚ、またはより高い、またはこれらの値のいずれか間の任意の範囲または可能性として考えられるこれらの範囲外であり得る。
例示的より低いフレームレートは、１５Ｈｚ、１０Ｈｚ、またはそれを下回り得る。例えば、より低いフレームレートは、２５Ｈｚ、２０Ｈｚ、１５Ｈｚ、１０Ｈｚ、５Ｈｚ、またはそれより低い、またはこれらの値のいずれか間の任意の範囲または可能性として考えられるこれらの範囲外であり得る。
また、より高いおよびより低いレベル、例えば、フレームレート、フレーム処理の数、および／または処理の量が、上記に議論されるが、２つを上回る離散レベルが、可能性として考えられ、本システムは、設定離散レベル間の切替に限定されるべきではなく、いくつかの実装では、状況（例えば、予期される移動の量および／またはレート、仮想画像コンテンツの場所等）に応じて、より持続的に変動し得る。上記に議論されるように、ある状況では、処理されるカメラからのフレームの数は、より少ない（または多い）量に設定される。これは、例えば、フレームの割合を他のフレームより少ない量で処理するステップおよび本低減された量によって処理されたフレームの数をより低い（またはより高い）量に設定するステップを含んでもよい。
さらに、種々の実施形態では、フレームレートおよび／または処理の量（例えば、処理されるフレーム捕捉の数、フレームの少なくとも一部上で実施される処理の量）は、画像コンテンツが位置する場所を考慮せず、低減（または増加）されることができる。故に、本明細書で議論される異なるオプションは、仮想画像コンテンツ場所が、視認ゾーン、近距離動眼視野、遠距離動眼視野、および／またはカメラの視野に対する場所を比較せずに、頭部搭載型ディスプレイシステム内に統合されてもよい。代替として、本明細書に説明される異なるオプション、特徴、ステップ、および構造は、他のアプローチ、方法、ステップ、特徴、および構造と組み合わせられてもよい。同様に、頭部搭載型ディスプレイと環境内の１つ以上の特徴との間の相対的運動の査定は、他の構造、プロセスまたはプロセスステップ、または特徴と組み合わせられ、例えば、カメラのフレームレートを第１のフレームレートから第２のフレームレートに改変し、および／または処理されるカメラによって取得されたフレーム上の処理の量を調節することができる。
本明細書に説明される実施例のいずれかでは、カメラのフレームレートは、カメラおよび／または頭部搭載型ディスプレイをオフにすることなく、低減され、および／またはフレームレートをゼロに低減させることができる。同様に、処理されるカメラによって取得されたフレーム上の処理の量は、カメラおよび／またはフレームの処理を実施する処理電子機器をオフにすることなく、および／または頭部搭載型ディスプレイをオフにすることなく、低減されることができる。同様に、処理されるカメラによって捕捉されたフレームの数は、カメラおよび／またはフレームの処理を実施する処理電子機器をオフにすることなく、および／または頭部搭載型ディスプレイをオフにすることなく、低減されることができる。
例えば、本明細書に説明されるシステム、デバイス、コンポーネント、方法、およびプロセスの広範囲の変形例が、可能性として考えられる。例えば、コンポーネントは、本明細書に説明されるシステムおよび／またはデバイスに追加される、そこから除去される、またはその中で再配列されることができる。加えて、ステップが、本明細書に説明される方法およびプロセスに追加される、そこから除去される、またはその中で再配列されることができる。本明細書に開示されるシステム、方法、およびデバイスはそれぞれ、いくつかの革新的側面を有し、そのうちの１つのみが、本明細書に開示される望ましい属性に関与するわけではない。種々の例示的システムおよび方法は、下記に提供される。
（実施例セットＩ）
（実施例１）
光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示し、頭部搭載型ディスプレイシステムを装着しているユーザの正面の環境の少なくとも一部を結像するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、光を該ユーザの眼の中に投影し、拡張現実画像コンテンツをユーザの視野に表示するように構成され、該ディスプレイの少なくとも一部は、透明であって、ユーザがフレームを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
画像を複数のフレームレートで取得するように構成される、カメラと、
コンピュータ実行可能命令を記憶する、非一過性コンピュータ可読媒体と、
カメラおよびコンピュータ可読媒体と通信する、ハードウェアプロセッサであって、
頭部搭載型ディスプレイと環境内の１つ以上の特徴との間の相対的運動の性質を決定し、
相対的運動の性質に基づいて、カメラのフレームレートを設定する、
ために、コンピュータ実行可能命令を実行するように構成される、ハードウェアプロセッサと、
を備える、頭部搭載型ディスプレイシステム。
（実施例２）
運動の性質は、角加速を含む、実施例１に記載のシステム。
（実施例３）
運動の性質は、線形加速を含む、実施例１または２に記載のシステム。
（実施例４）
運動の性質は、頭部搭載型ディスプレイの運動性質を含む、実施例１－３のいずれかに記載のシステム。
（実施例５）
運動の性質は、環境内の１つ以上の特徴の運動性質を含む、実施例１－４のいずれかに記載のシステム。
（実施例６）
該カメラは、検出器アレイと、結像光学系とを備える、実施例１－５のいずれかに記載のシステム。
（実施例７）
カメラのフレームレートを設定するステップは、少なくとも部分的に、頭部搭載型システム内の電気電流の周波数に基づく、実施例１－６のいずれかに記載のシステム。
（実施例８）
カメラのフレームレートを設定するステップは、少なくとも部分的に、頭部搭載型ディスプレイが装着されていることの決定に基づく、実施例１－７のいずれかに記載のシステム。
（実施例９）
相対的運動の性質は、角速度を含む、実施例１－８のいずれかに記載のシステム。
（実施例１０）
相対的運動の性質は、線形速度を含む、実施例１－９のいずれかに記載のシステム。
（実施例１１）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の性質を決定するステップは、相対的運動の性質が閾値を超えることを決定するステップを含む、実施例１－１０のいずれかに記載のシステム。
（実施例１２）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の性質を決定するステップは、カメラを使用して、環境の１つ以上の特徴を検出するステップを含む、実施例１－１１のいずれかに記載のシステム。
（実施例１３）
環境の１つ以上の特徴は、環境内のオブジェクトの縁または角のうちの少なくとも１つを含む、実施例１２に記載のシステム。
（実施例１４）
カメラを使用して、環境の１つ以上の特徴を検出するステップは、Ｋａｌｍａｎフィルタ、Ｓｏｂｏｌアルゴリズム、またはＨａｒｒｉｓアルゴリズムのうちの少なくとも１つを使用するステップを含む、実施例１２－１３のいずれかに記載のシステム。
（実施例１５）
フレームレートは、約２０ｆｐｓ～４５ｆｐｓである、実施例１－１４のいずれかに記載のシステム。
（実施例１６）
フレームレートは、約４５ｆｐｓ～７５ｆｐｓである、実施例１－１４のいずれかに記載のシステム。
（実施例１７）
ハードウェアプロセッサはさらに、条件が満たされるまで、カメラに画像をそのフレームレートで取得させるために、コンピュータ実行可能命令を実行するように構成される、実施例１－１６のいずれかに記載のシステム。
（実施例１８）
条件は、時間長を含む、実施例１７に記載のシステム。
（実施例１９）
時間長は、相対的運動の性質が変化したことの決定後のある時間長を含む、実施例１８に記載のシステム。
（実施例２０）
条件は、ハードウェアプロセッサによる、より高い値の相対的運動の性質の決定を含み、より高い値は、相対的運動の性質のある値を上回る、実施例１８－１９のいずれかに記載のシステム。
（実施例２１）
ハードウェアプロセッサはさらに、
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の第２の性質を決定し、
相対的運動の第２の性質に基づいて、カメラの第２のフレームレートを設定し、第２のフレームレートは、該フレームレートと異なる、
ために、コンピュータ実行可能命令を実行するように構成される、実施例１－２０のいずれかに記載のシステム。
（実施例２２）
相対的運動の第２の性質は、角速度または角加速を含む、実施例２１に記載のシステム。
（実施例２３）
相対的運動の第２の性質は、線形速度または線形加速を含む、実施例２１－２２のいずれかに記載のシステム。
（実施例２４）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の第２の性質を決定するステップは、相対的運動の第２の性質が最小閾値を超えることを決定するステップを含む、実施例２３－２４のいずれかに記載のシステム。
（実施例２５）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の第２の性質を決定するステップは、相対的運動の第２の性質が最大閾値を下回ることを決定するステップを含む、実施例２１－２４のいずれかに記載のシステム。
（実施例２６）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の第２の性質を決定するステップは、カメラを使用して、環境の１つ以上の特徴を検出するステップを含む、実施例２１－２５のいずれかに記載のシステム。
（実施例２７）
第２のフレームレートは、該フレームレートを上回る、実施例２１－２６のいずれかに記載のシステム。
（実施例２８）
第２のフレームレートは、該フレームレートより低い、実施例２１－２７のいずれかに記載のシステム。
（実施例２９）
ハードウェアプロセッサはさらに、カメラに、第２の条件が満たされるまで、画像を第２のフレームレートで取得し続けさせるために、コンピュータ実行可能命令を実行するように構成される、実施例２１－２８のいずれかに記載のシステム。
（実施例３０）
第２の条件は、時間長を含む、実施例２９に記載のシステム。
（実施例３１）
第２の条件の時間長は、相対的運動の第２の性質が変化したことの決定後のある時間長を含む、実施例３０に記載のシステム。
（実施例３２）
第２の条件は、ハードウェアプロセッサによる、相対的運動の第２の性質の第２のより高い値の決定を含み、第２のより高い値は、相対的運動の第２の性質のある値を上回る、実施例２９－３１のいずれかに記載のシステム。
（実施例３３）
ハードウェアプロセッサはさらに、
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の第３の性質を決定し、
相対的運動の第３の性質に基づいて、カメラの第３のフレームレートを設定し、第３のフレームレートは、該フレームレートまたは第２のフレームレートのいずれとも異なる、
ために、コンピュータ実行可能命令を実行するように構成される、実施例１－３２のいずれかに記載のシステム。
（実施例３４）
第３のフレームレートは、第１のフレームレートおよび第２のフレームレートを上回る、実施例１に記載のシステム。
（実施例３５）
慣性センサをさらに備える、実施例１－３４のいずれかに記載のシステム。
（実施例３６）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の性質を決定するステップは、信号を慣性センサから受信するステップを含む、実施例１－３５のいずれかに記載のシステム。
（実施例３７）
相対的運動の性質は、約８０度／秒未満の角速度を含む、実施例１－３６のいずれかに記載のシステム。
（実施例３８）
相対的運動の第２の性質は、約８０度／秒～１８０度／秒の角速度を含む、実施例２１－３７のいずれかに記載のシステム。
（実施例３９）
相対的運動の第３の性質は、約１８０度／秒を上回る角速度を含む、実施例３３－３８のいずれかに記載のシステム。
（実施例４０）
システムはさらに、環境の１つ以上の特徴のうちの少なくとも１つの品質メトリックを決定するように構成される、実施例１２－３９のいずれかに記載のシステム。
（実施例４１）
品質メトリックは、カメラの視野またはその領域内の特徴の数に関する特徴計数の決定に基づく、実施例４０に記載のシステム。
（実施例４２）
品質メトリックは、少なくとも部分的に、その中で１つ以上の特徴のうちの少なくとも１つが検出されたフレームの数に基づく、実施例４０－４１のいずれかに記載のシステム。
（実施例４３）
品質メトリックは、少なくとも部分的に、以下、すなわち、オブジェクトの見掛けサイズ、オブジェクトの見掛け明度、またはオブジェクトとその周囲との間のコントラストの程度のうちの任意の１つまたはそれらの組み合わせに基づく、実施例４０－４２のいずれかに記載のシステム。
（実施例４４）
システムはさらに、少なくとも部分的に、１つ以上の特徴の速度に基づいて、１つ以上の特徴の品質メトリックを決定するように構成される、実施例１２－４３のいずれかに記載のシステム。
（実施例４５）
品質メトリックは、少なくとも部分的に、１つ以上の特徴の速度に基づく、実施例４４に記載のシステム。
（実施例４６）
システムはさらに、ユーザの眼の視線を追跡するように構成される、内向きカメラを備え、品質メトリックは、少なくとも部分的に、ユーザがその視線をオブジェクトに指向したことの決定に基づく、実施例４４に記載のシステム。
（実施例４７）
品質メトリックは、少なくとも部分的に、オブジェクトの特性の見掛け変化に基づく、実施例４４に記載のシステム。
（実施例４８）
深度センサをさらに備える、実施例１－４７のいずれかに記載のシステム。
（実施例４９）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の性質を決定するステップは、信号を深度センサから受信するステップを含む、実施例４８に記載のシステム。
（実施例５０）
近接度センサをさらに備える、実施例１－４９のいずれかに記載のシステム。
（実施例５１）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の性質を決定するステップは、信号を近接度センサから受信するステップを含む、実施例５０に記載のシステム。
（実施例５２）
システムはさらに、カメラの視野内の１つ以上の特徴の場所における傾向を予測するように構成される、実施例１２－５１のいずれかに記載のシステム。
（実施例５３）
カメラの視野内の１つ以上の特徴の場所における傾向を予測するステップは、信号を慣性センサまたは深度センサのうちの少なくとも１つから受信するステップを含む、実施例５２に記載のシステム。
（実施例５４）
システムはさらに、カメラによって取得された画像の検索領域を決定するように構成される、実施例５２－５３のいずれかに記載のシステム。
（実施例５５）
カメラによって取得された画像の検索領域を決定するステップは、角速度に伴って増加する、検索領域サイズを設定するステップを含む、実施例５４に記載のシステム。
（実施例５６）
カメラの視野内の１つ以上の特徴の場所における傾向を予測するステップは、少なくとも部分的に、フレームレートに基づいて、カメラによって取得された画像の検索領域を決定するステップを含む、実施例５２－５５のいずれかに記載のシステム。
（実施例５７）
少なくとも部分的に、フレームレートに基づいて、カメラによって取得された画像の検索領域を決定するステップは、フレームレートの減少に伴って増加する、検索領域サイズを設定するステップを含む、実施例５６に記載のシステム。
（実施例５８）
複数のカメラを備える、実施例１－５７のいずれかに記載のシステム。
（実施例５９）
複数のカメラはそれぞれ、環境の非同一部分を検出するように構成される、実施例５８に記載のシステム。
（実施例６０）
ハードウェアプロセッサは、複数のカメラと通信し、カメラから受信された画像データに基づいて、複数のカメラのうちの第２のカメラのフレームレートを決定するために、コンピュータ実行可能命令を実行するように構成される、実施例５８－５９のいずれかに記載のシステム。
（実施例６１）
画像データは、環境の特徴の移動方向を含む、実施例６０に記載のシステム。
（実施例６２）
画像データは、環境の特徴の速度を含む、実施例６０－６１のいずれかに記載のシステム。
（実施例６３）
カメラから受信された画像データに基づいて、複数のカメラのうちの第２のカメラのフレームレートを決定するステップは、該カメラから受信された画像内の特徴が第２のカメラによって受信された画像によって検出される傾向を予測するステップを含む、実施例６０－６２のいずれかに記載のシステム。
（実施例６４）
カメラの視野内の１つ以上の特徴の場所における傾向を予測するステップは、少なくとも部分的に、１つ以上の特徴が複数のカメラのうちの少なくとも１つによって捕捉されたかどうかに基づいて、カメラによって取得された画像の検索領域を決定するステップを含む、実施例６３に記載のシステム。
（実施例６５）
少なくとも部分的に、１つ以上の特徴が複数のカメラのうちの少なくとも１つによって捕捉されたかどうかに基づいて、カメラによって取得された画像の検索領域を決定するステップは、１つ以上の特徴が複数のカメラのうちの少なくとも１つによって捕捉されていないことの決定に応答して、１つ以上の特徴が複数のカメラのうちの少なくとも１つによって捕捉されたことの決定に応答して設定されるであろう検索領域サイズより大きい検索領域サイズを設定するステップを含む、実施例６４に記載のシステム。
（実施例６６）
ハードウェアプロセッサはさらに、カメラから受信された画像に基づいて、複数のカメラのうちの第２のカメラのフレームレートを調節するために、コンピュータ実行可能命令を実行するように構成される、実施例６０－６５のいずれかに記載のシステム。
（実施例６７）
カメラから受信された画像に基づいて、複数のカメラのうちの第２のカメラのフレームレートを調節するステップは、複数のカメラのうちの第２のカメラのフレームレートを増加させるステップを含む、実施例６６に記載のシステム。
（実施例６８）
カメラから受信された画像に基づいて、複数のカメラのうちの第２のカメラのフレームレートを調節するステップは、複数のカメラのうちの第２のカメラのフレームレートを減少させるステップを含む、実施例６６に記載のシステム。
（実施例６９）
カメラから受信された画像に基づいて、複数のカメラのうちの第２のカメラのフレームレートを調節するステップは、少なくとも部分的に、頭部搭載型システム内の電気電流の周波数に基づく、実施例６８に記載のシステム。
（実施例７０）
カメラは、環境の第１の部分を検出するように構成され、第２のカメラは、環境の第２の部分を検出するように構成され、環境の第１の部分は、少なくとも部分的に、環境の第２の部分と重複する、実施例６０－６９のいずれかに記載のシステム。
（実施例７１）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の性質を決定するステップは、頭部搭載型ディスプレイの相対的運動の性質を決定するステップを含む、実施例１－７０のいずれかに記載のシステム。
（実施例７２）
光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示し、頭部搭載型ディスプレイシステムを装着しているユーザの正面の環境の少なくとも一部を結像するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、光を該ユーザの眼の中に投影し、拡張現実画像コンテンツをユーザの視野に表示するように構成され、該ディスプレイの少なくとも一部は、透明であって、ユーザがフレームを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
画像を第１のフレームレートで取得するように構成される、第１のカメラと、
画像を第１のフレームレートと異なる第２のフレームレートで取得するように構成される、第２のカメラと、
を備える、頭部搭載型ディスプレイシステム。
（実施例７３）
第１のカメラは、左にあって、第２のカメラは、右にあって、頭部搭載型ディスプレイの左への回転に応答して、第１のレートは、第２のフレームレートより高く設定される、実施例７２に記載のシステム。
（実施例７４）
第１のカメラは、左にあって、第２のカメラは、右にあって、頭部搭載型ディスプレイの右への回転に応答して、第２のフレームレートは、第１のフレームレートより高くなる、実施例７２－７３のいずれかに記載のシステム。
（実施例７５）
コンピュータ実行可能命令を記憶する、非一過性コンピュータ可読媒体と、
第１および第２のカメラおよびコンピュータ可読媒体と通信する、ハードウェアプロセッサであって、
頭部搭載型ディスプレイと環境内の１つ以上の特徴との間の相対的運動の性質を決定し、
相対的運動の性質に基づいて、第１のフレームレートが第２のフレームレートと異なるように、カメラの第１のフレームレートを設定する、
ために、コンピュータ実行可能命令を実行するように構成される、ハードウェアプロセッサと、
をさらに備える、実施例７２－７４のいずれかに記載のシステム。
（実施例７６）
ハードウェアプロセッサはさらに、
頭部搭載型ディスプレイと環境内の１つ以上の特徴との間の相対的運動の第２の性質を決定し、
相対的運動の第２の性質に基づいて、第２のカメラのフレームレートを設定する、
ために、コンピュータ実行可能命令を実行するように構成される、実施例７５に記載のシステム。
（実施例７７）
第１および第２のカメラはそれぞれ、環境の非同一部分を検出するように構成される、実施例７２－７６のいずれかに記載のシステム。
（実施例７８）
ハードウェアプロセッサは、複数のカメラと通信し、第１のカメラから受信された画像に基づいて、第２のカメラのフレームレートを決定するために、コンピュータ実行可能命令を実行するように構成される、実施例７２－７７のいずれかに記載のシステム。
（実施例７９）
画像は、環境の特徴の方向を含む、実施例７８に記載のシステム。
（実施例８０）
画像は、環境の特徴の速度を含む、実施例７８－７９のいずれかに記載のシステム。
（実施例８１）
第１のカメラから受信された画像に基づいて、第２のカメラのフレームレートを決定するステップは、第１のカメラから受信された画像内の特徴が第２のカメラによって受信された画像によって検出される傾向を予測するステップを含む、実施例７８－８０のいずれかに記載のシステム。
（実施例８２）
ハードウェアプロセッサはさらに、第１のカメラから受信された画像に基づいて、第２のカメラのフレームレートを調節するために、コンピュータ実行可能命令を実行するように構成される、実施例７８－８１のいずれかに記載のシステム。
（実施例８３）
第１のカメラから受信された画像に基づいて、第２のカメラのフレームレートを調節するステップは、第２のカメラのフレームレートを増加させるステップを含む、実施例８２に記載のシステム。
（実施例８４）
第１のカメラから受信された画像に基づいて、第２のカメラのフレームレートを調節するステップは、第２のカメラのフレームレートを減少させるステップを含む、実施例８２に記載のシステム。
（実施例８５）
第１のカメラから受信された画像に基づいて、第２のカメラのフレームレートを調節するステップは、少なくとも部分的に、頭部搭載型システム内の電気電流の周波数に基づく、実施例７８－８４のいずれかに記載のシステム。
（実施例８６）
第１のカメラは、環境の第１の部分を検出するように構成され、第２のカメラは、環境の第２の部分を検出するように構成され、環境の第１の部分は、少なくとも部分的に、環境の第２の部分と重複する、実施例７８－８５のいずれかに記載のシステム。
（実施例８７）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の性質を決定するステップは、頭部搭載型ディスプレイの相対的運動の性質を決定するステップを含む、実施例７８－８６のいずれかに記載のシステム。
（実施例８８）
カメラのフレームレートを設定するステップは、頭部搭載型ディスプレイ内の電気電流の周波数またはその整数倍数と異なるフレームレートを設定するステップを含む、実施例１－８７のいずれかに記載のシステム。
（実施例８９）
ハードウェアプロセッサはさらに、条件が満たされたことの決定に応答して、フレームレートを変化させるために、コンピュータ実行可能命令を実行するように構成される、実施例１７－８８のいずれかに記載のシステム。
（実施例９０）
運動の性質および第２の運動の性質はそれぞれ、共通タイプの運動の性質の異なる測定値に対応するステップを含む、実施例２１－８９のいずれかに記載のシステム。
（実施例９１）
運動の性質および第３の運動の性質はそれぞれ、共通タイプの運動の性質の異なる測定値に対応するステップを含む、実施例３１－９０のいずれかに記載のシステム。
（実施例９２）
カメラによって取得された画像の検索領域を決定するステップは、少なくとも部分的に、角速度に基づく、実施例５４－９１に記載のシステム。
（実施例９３）
相対的運動の第２の性質は、時間における第２の測定値を含む、実施例７６－９２のいずれかに記載のシステム。
（実施例９４）
光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示し、頭部搭載型ディスプレイシステムを装着しているユーザの正面の環境の少なくとも一部を結像するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、光を該ユーザの眼の中に投影し、拡張現実画像コンテンツをユーザの視野に表示するように構成され、該ディスプレイの少なくとも一部は、透明であって、ユーザがフレームを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
画像を複数のフレームレートで取得するように構成される、カメラと、
コンピュータ実行可能命令を記憶する、非一過性コンピュータ可読媒体と、
カメラおよびコンピュータ可読媒体と通信する、ハードウェアプロセッサであって、
カメラの第１のフレームレートを設定し、
第１のフレームレートと異なるカメラの第２のフレームレートを設定する、
ために、コンピュータ実行可能命令を実行するように構成される、ハードウェアプロセッサと、
を備える、頭部搭載型ディスプレイシステム。
（実施例９５）
カメラの第２のフレームレートを設定するステップは、環境内の１つ以上の特徴のうちのある特徴の性質を決定するステップを含む、実施例９４に記載のシステム。
（実施例９６）
カメラの第２のフレームレートを設定するステップは、少なくとも部分的に、特徴の性質に基づく、実施例９５に記載のシステム。
（実施例９７）
光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示し、頭部搭載型ディスプレイシステムを装着しているユーザの正面の環境の少なくとも一部を結像するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、光を該ユーザの眼の中に投影し、拡張現実画像コンテンツをユーザの視野に表示するように構成され、該ディスプレイの少なくとも一部は、透明であって、ユーザがフレームを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
画像を取得するように構成される、カメラと、
コンピュータ実行可能命令を記憶する、非一過性コンピュータ可読媒体と、
カメラおよびコンピュータ可読媒体と通信する、ハードウェアプロセッサであって、
カメラの視野内の検索領域を決定し、
検索領域内の１つ以上の特徴を識別する、
ために、コンピュータ実行可能命令を実行するように構成される、ハードウェアプロセッサと、
を備える、頭部搭載型ディスプレイシステム。
（実施例９８）
カメラの視野内の検索領域を決定するステップは、頭部搭載型ディスプレイと環境内の１つ以上の特徴との間の相対的運動の性質を決定するステップを含む、実施例９７に記載のシステム。
（実施例９９）
相対的運動の性質は、以下、すなわち、速度、加速、時間のうちの少なくとも１つを含む、実施例９８に記載のシステム。
（実施例１００）
システムは、相対的運動の性質に正比例する検索領域のサイズを設定するように構成される、実施例９８－９９のいずれかに記載のシステム。
（実施例１０１）
カメラの視野内の検索領域を決定するステップは、カメラのフレームレートを決定するステップを含む、実施例９７－９９のいずれかに記載のシステム。
（実施例１０２）
システムは、フレームレートに反比例する検索領域のサイズを設定するように構成される、実施例１００に記載のシステム。
（実施例１０３）
本システムはさらに、第２のカメラを備える、実施例９７－１０２のいずれかに記載のシステム。
（実施例１０４）
カメラの視野内の検索領域を決定するステップは、少なくとも部分的に、第２のカメラによって受信された画像に基づく、実施例１０３に記載のシステム。
（実施例１０５）
カメラの視野内の検索領域を決定するステップは、少なくとも部分的に、第２のカメラの視野に基づく、実施例１０３に記載のシステム。
（実施例１０６）
カメラの視野内の検索領域を決定するステップは、少なくとも部分的に、１つ以上の特徴に対する頭部搭載型デバイスの回転の相対的方向に基づく、実施例１０４－１０５のいずれかに記載のシステム。
（実施例１０７）
カメラによって取得された画像の検索領域を決定するステップは、角速度に正比例する、検索領域サイズを設定するステップを含む、実施例５４－７１のいずれかに記載のシステム。
（実施例１０８）
カメラによって取得された画像の検索領域を決定するステップは、フレームレートに反比例する、検索領域サイズを設定するステップを含む、実施例５６－７１または１０７に記載のシステム。
（実施例１０９）
検索領域は、カメラの視野より小さい、実施例９７－１０８に記載のシステム。
（実施例１１０）
カメラの視野内の検索領域を決定するステップは、検索領域を変化させるステップを含む、実施例９７－１０９に記載のシステム。
（実施例１１１）
カメラの視野内の検索領域を決定するステップは、検索領域のサイズを変化させるステップを含む、実施例９７－１１０に記載のシステム。
（実施例１１２）
カメラの視野内の検索領域を決定するステップは、検索領域の位置を変化させるステップを含む、実施例９７－１１１に記載のシステム。
（実施例１１３）
システムはさらに、環境の１つ以上の特徴のうちの少なくとも１つの品質メトリックを決定するように構成される、実施例９４－９６のいずれかに記載のシステム。
（実施例１１４）
品質メトリックは、カメラの視野またはその領域内の特徴の数に関する特徴計数の決定に基づく、実施例１１３に記載のシステム。
（実施例１１５）
品質メトリックは、少なくとも部分的に、その中で１つ以上の特徴のうちの少なくとも１つが検出されたフレームの数に基づく、実施例１１３－１１４のいずれかに記載のシステム。
（実施例１１６）
品質メトリックは、少なくとも部分的に、以下、すなわち、オブジェクトの見掛けサイズ、オブジェクトの見掛け明度、またはオブジェクトとその周囲との間のコントラストの程度のうちの任意の１つまたはそれらの組み合わせに基づく、実施例１１３－１１５のいずれかに記載のシステム。
（実施例１１７）
システムはさらに、少なくとも部分的に、１つ以上の特徴の速度に基づいて、１つ以上の特徴の品質メトリックを決定するように構成される、実施例１１３－１１６のいずれかに記載のシステム。
（実施例１１８）
品質メトリックは、少なくとも部分的に、１つ以上の特徴の速度に基づく、実施例１１３－１１７のいずれかに記載のシステム。
（実施例１１９）
システムはさらに、ユーザの眼の視線を追跡するように構成される、内向きカメラを備え、品質メトリックは、少なくとも部分的に、ユーザがその視線をオブジェクトに指向したことの決定に基づく、実施例１１３－１１８のいずれかに記載のシステム。
（実施例１２０）
品質メトリックは、少なくとも部分的に、オブジェクトの特性の見掛け変化に基づく、実施例１１３－１１９のいずれかに記載のシステム。
（実施例１２１）
頭部搭載型ディスプレイと環境内の１つ以上の特徴との間の相対的運動の性質を決定するステップは、相対的運動の性質が閾値を超えないことを決定するステップを含む、実施例１－７１または７５－９３のいずれかに記載のシステム。
（実施例１２２）
カメラのフレームレートを設定するステップは、カメラのフレームレートを修正するステップを含む、実施例１－７１または７５－９３または１２１のいずれかに記載のシステム。
（実施例１２３）
カメラのフレームレートを設定するステップは、カメラのフレームレートを低減させるステップを含む、実施例１－７１または７５－９３または１２１－１２２のいずれかに記載のシステム。
（実施例１２４）
システムは、第１および第２のカメラのうちの少なくとも１つのフレームレートを修正するように構成される、実施例７２－９３のいずれかに記載のシステム。
（実施例１２５）
システムは、第１および第２のカメラのうちの少なくとも１つのフレームレートを低減させるように構成される、実施例７２－９３または１２４－１２５のいずれかに記載のシステム。
（実施例１２６）
第１のフレームレートと異なるカメラの第２のフレームレートを設定するステップは、カメラのフレームレートを低減させるステップを含む、実施例９４－９６のいずれかに記載のシステム。
（実施例１２７）
カメラのフレームレートを決定するステップは、カメラのフレームレートを修正するステップを含む、実施例１０１－１２０のいずれかに記載のシステム。
（実施例１２８）
カメラのフレームレートを決定するステップは、カメラのフレームレートを低減させるステップを含む、実施例１０１－１２０または１２７のいずれかに記載のシステム。
（実施例１２９）
システムは、システムによって検出された環境に対する頭部搭載型ディスプレイの減少された相対的移動の結果として、カメラのフレームレートを低減させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１３０）
システムは、システムによって検出された頭部搭載型ディスプレイの減少された移動の結果として、カメラのフレームレートを低減させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１３１）
システムは、システムによって検出された環境内のオブジェクトの減少された移動の結果として、カメラのフレームレートを低減させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１３２）
システムは、システムによって検出された環境に対する頭部搭載型ディスプレイの限定された相対的移動の結果として、カメラのフレームレートを低減させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１３３）
システムは、システムによって検出された頭部搭載型ディスプレイの限定された移動の結果として、カメラのフレームレートを低減させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１３４）
システムは、システムによって検出された環境内のオブジェクトの限定された移動の結果として、カメラのフレームレートを低減させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１３５）
システムは、システムによって検出された環境に対する頭部搭載型ディスプレイの増加された相対的移動の結果として、カメラのフレームレートを増加させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１３６）
システムは、システムによって検出された頭部搭載型ディスプレイの増加された移動の結果として、カメラのフレームレートを増加させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１３７）
システムは、システムによって検出された環境内のオブジェクトの増加された移動の結果として、カメラのフレームレートを増加させるように構成される、上記実施例のいずれかに記載のシステム。
実施例セットＩＩ
（実施例１）
光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示し、頭部搭載型ディスプレイシステムを装着しているユーザの正面の環境の少なくとも一部を結像するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、光を該ユーザの眼の中に投影し、拡張現実画像コンテンツをユーザの視野に表示するように構成され、該ディスプレイの少なくとも一部は、透明であって、ユーザがフレームを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
画像を複数のフレームレートで取得するように構成される、カメラと、
頭部搭載型ディスプレイと環境内の１つ以上の特徴との間の相対的運動の性質を決定し、
相対的運動の性質に基づいて、カメラのフレームレートを設定する、
ように構成される、処理電子機器と、
を備える、頭部搭載型ディスプレイシステム。
（実施例２）
運動の性質は、角加速を含む、実施例１に記載のシステム。
（実施例３）
運動の性質は、線形加速を含む、実施例１または２に記載のシステム。
（実施例４）
運動の性質は、頭部搭載型ディスプレイの運動性質を含む、実施例１－３のいずれかに記載のシステム。
（実施例５）
運動の性質は、環境内の１つ以上の特徴の運動性質を含む、実施例１－４のいずれかに記載のシステム。
（実施例６）
該カメラは、検出器アレイと、結像光学系とを備える、実施例１－５のいずれかに記載のシステム。
（実施例７）
カメラのフレームレートを設定するステップは、少なくとも部分的に、頭部搭載型システム内の電気電流の周波数に基づく、実施例１－６のいずれかに記載のシステム。
（実施例８）
カメラのフレームレートを設定するステップは、少なくとも部分的に、頭部搭載型ディスプレイが装着されていることの決定に基づく、実施例１－７のいずれかに記載のシステム。
（実施例９）
相対的運動の性質は、角速度を含む、実施例１－８のいずれかに記載のシステム。
（実施例１０）
相対的運動の性質は、線形速度を含む、実施例１－９のいずれかに記載のシステム。
（実施例１１）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の性質を決定するステップは、相対的運動の性質が閾値を超えることを決定するステップを含む、実施例１－１０のいずれかに記載のシステム。
（実施例１２）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の性質を決定するステップは、カメラを使用して、環境の１つ以上の特徴を検出するステップを含む、実施例１－１１のいずれかに記載のシステム。
（実施例１３）
環境の１つ以上の特徴は、環境内のオブジェクトの縁または角のうちの少なくとも１つを含む、実施例１２に記載のシステム。
（実施例１４）
カメラを使用して、環境の１つ以上の特徴を検出するステップは、Ｋａｌｍａｎフィルタ、Ｓｏｂｏｌアルゴリズム、またはＨａｒｒｉｓアルゴリズムのうちの少なくとも１つを使用するステップを含む、実施例１２－１３のいずれかに記載のシステム。
（実施例１５）
フレームレートは、約２０ｆｐｓ～４５ｆｐｓである、実施例１－１４のいずれかに記載のシステム。
（実施例１６）
フレームレートは、約４５ｆｐｓ～７５ｆｐｓである、実施例１－１４のいずれかに記載のシステム。
（実施例１７）
処理電子機器は、カメラに、条件が満たされるまで、画像をそのフレームレートで取得させるように構成される、実施例１－１６のいずれかに記載のシステム。
（実施例１８）
条件は、時間長を含む、実施例１７に記載のシステム。
（実施例１９）
時間長は、相対的運動の性質が変化したことの決定後のある時間長を含む、実施例１８に記載のシステム。
（実施例２０）
条件は、ハードウェアプロセッサによる、より高い値の相対的運動の性質の決定を含み、より高い値は、相対的運動の性質のある値を上回る、実施例１８－１９のいずれかに記載のシステム。
（実施例２１）
処理電子機器は、
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の第２の性質を決定し、
相対的運動の第２の性質に基づいて、カメラの第２のフレームレートを設定し、第２のフレームレートは、該フレームレートと異なる、
ように構成される、実施例１－２０のいずれかに記載のシステム。
（実施例２２）
相対的運動の第２の性質は、角速度または角加速を含む、実施例２１に記載のシステム。
（実施例２３）
相対的運動の第２の性質は、線形速度または線形加速を含む、実施例２１－２２のいずれかに記載のシステム。
（実施例２４）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の第２の性質を決定するステップは、相対的運動の第２の性質が最小閾値を超えることを決定するステップを含む、実施例２３－２４のいずれかに記載のシステム。
（実施例２５）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の第２の性質を決定するステップは、相対的運動の第２の性質が最大閾値を下回ることを決定するステップを含む、実施例２１－２４のいずれかに記載のシステム。
（実施例２６）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の第２の性質を決定するステップは、カメラを使用して、環境の１つ以上の特徴を検出するステップを含む、実施例２１－２５のいずれかに記載のシステム。
（実施例２７）
第２のフレームレートは、該フレームレートを上回る、実施例２１－２６のいずれかに記載のシステム。
（実施例２８）
第２のフレームレートは、該フレームレートより低い、実施例２１－２７のいずれかに記載のシステム。
（実施例２９）
処理電子機器は、カメラに、第２の条件が満たされるまで、画像を第２のフレームレートで取得させ続けるように構成される、実施例２１－２８のいずれかに記載のシステム。
（実施例３０）
第２の条件は、時間長を含む、実施例２９に記載のシステム。
（実施例３１）
第２の条件の時間長は、相対的運動の第２の性質が変化したことの決定後のある時間長を含む、実施例３０に記載のシステム。
（実施例３２）
第２の条件は、ハードウェアプロセッサによる、相対的運動の第２の性質の第２のより高い値の決定を含み、第２のより高い値は、相対的運動の第２の性質のある値を上回る、実施例２９－３１のいずれかに記載のシステム。
（実施例３３）
処理電子機器は、
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の第３の性質を決定し、
相対的運動の第３の性質に基づいて、カメラの第３のフレームレートを設定し、第３のフレームレートは、該フレームレートまたは第２のフレームレートのいずれとも異なる、
ように構成される、実施例１－３２のいずれかに記載のシステム。
（実施例３４）
第３のフレームレートは、第１のフレームレートおよび第２のフレームレートを上回る、実施例１に記載のシステム。
（実施例３５）
慣性センサをさらに備える、実施例１－３４のいずれかに記載のシステム。
（実施例３６）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の性質を決定するステップは、信号を慣性センサから受信するステップを含む、実施例１－３５のいずれかに記載のシステム。
（実施例３７）
相対的運動の性質は、約８０度／秒未満の角速度を含む、実施例１－３６のいずれかに記載のシステム。
（実施例３８）
相対的運動の第２の性質は、約８０度／秒～１８０度／秒の角速度を含む、実施例２１－３７のいずれかに記載のシステム。
（実施例３９）
相対的運動の第３の性質は、約１８０度／秒を上回る角速度を含む、実施例３３－３８のいずれかに記載のシステム。
（実施例４０）
システムはさらに、環境の１つ以上の特徴のうちの少なくとも１つの品質メトリックを決定するように構成される、実施例１２－３９のいずれかに記載のシステム。
（実施例４１）
品質メトリックは、カメラの視野またはその領域内の特徴の数に関する特徴計数の決定に基づく、実施例４０に記載のシステム。
（実施例４２）
品質メトリックは、少なくとも部分的に、その中で１つ以上の特徴のうちの少なくとも１つが検出されたフレームの数に基づく、実施例４０－４１のいずれかに記載のシステム。
（実施例４３）
品質メトリックは、少なくとも部分的に、以下、すなわち、オブジェクトの見掛けサイズ、オブジェクトの見掛け明度、またはオブジェクトとその周囲との間のコントラストの程度のうちの任意の１つまたはそれらの組み合わせに基づく、実施例４０－４２のいずれかに記載のシステム。
（実施例４４）
システムはさらに、少なくとも部分的に、１つ以上の特徴の速度に基づいて、１つ以上の特徴の品質メトリックを決定するように構成される、実施例１２－４３のいずれかに記載のシステム。
（実施例４５）
品質メトリックは、少なくとも部分的に、１つ以上の特徴の速度に基づく、実施例４４に記載のシステム。
（実施例４６）
システムはさらに、ユーザの眼の視線を追跡するように構成される、内向きカメラを備え、品質メトリックは、少なくとも部分的に、ユーザがその視線をオブジェクトに指向したことの決定に基づく、実施例４４に記載のシステム。
（実施例４７）
品質メトリックは、少なくとも部分的に、オブジェクトの特性の見掛け変化に基づく、実施例４４に記載のシステム。
（実施例４８）
深度センサをさらに備える、実施例１－４７のいずれかに記載のシステム。
（実施例４９）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の性質を決定するステップは、信号を深度センサから受信するステップを含む、実施例４８に記載のシステム。
（実施例５０）
近接度センサをさらに備える、実施例１－４９のいずれかに記載のシステム。
（実施例５１）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の性質を決定するステップは、信号を近接度センサから受信するステップを含む、実施例５０に記載のシステム。
（実施例５２）
システムはさらに、カメラの視野内の１つ以上の特徴の場所における傾向を予測するように構成される、実施例１２－５１のいずれかに記載のシステム。
（実施例５３）
カメラの視野内の１つ以上の特徴の場所における傾向を予測するステップは、信号を慣性センサまたは深度センサのうちの少なくとも１つから受信するステップを含む、実施例５２に記載のシステム。
（実施例５４）
システムはさらに、カメラによって取得された画像の検索領域を決定するように構成される、実施例５２－５３のいずれかに記載のシステム。
（実施例５５）
カメラによって取得された画像の検索領域を決定するステップは、角速度に伴って増加する、検索領域サイズを設定するステップを含む、実施例５４に記載のシステム。
（実施例５６）
カメラの視野内の１つ以上の特徴の場所における傾向を予測するステップは、少なくとも部分的に、フレームレートに基づいて、カメラによって取得された画像の検索領域を決定するステップを含む、実施例５２－５５のいずれかに記載のシステム。
（実施例５７）
少なくとも部分的に、フレームレートに基づいて、カメラによって取得された画像の検索領域を決定するステップは、フレームレートの減少に伴って増加する、検索領域サイズを設定するステップを含む、実施例５６に記載のシステム。
（実施例５８）
複数のカメラを備える、実施例１－５７のいずれかに記載のシステム。
（実施例５９）
複数のカメラはそれぞれ、環境の非同一部分を検出するように構成される、実施例５８に記載のシステム。
（実施例６０）
処理電子機器は、複数のカメラと通信し、カメラから受信された画像データに基づいて、複数のカメラのうちの第２のカメラのフレームレートを決定するように構成される、実施例５８－５９のいずれかに記載のシステム。
（実施例６１）
画像データは、環境の特徴の移動方向を含む、実施例６０に記載のシステム。
（実施例６２）
画像データは、環境の特徴の速度を含む、実施例６０－６１のいずれかに記載のシステム。
（実施例６３）
カメラから受信された画像データに基づいて、複数のカメラのうちの第２のカメラのフレームレートを決定するステップは、該カメラから受信された画像内の特徴が第２のカメラによって受信された画像によって検出される傾向を予測するステップを含む、実施例６０－６２のいずれかに記載のシステム。
（実施例６４）
カメラの視野内の１つ以上の特徴の場所における傾向を予測するステップは、少なくとも部分的に、１つ以上の特徴が複数のカメラのうちの少なくとも１つによって捕捉されたかどうかに基づいて、カメラによって取得された画像の検索領域を決定するステップを含む、実施例６３に記載のシステム。
（実施例６５）
少なくとも部分的に、１つ以上の特徴が複数のカメラのうちの少なくとも１つによって捕捉されたかどうかに基づいて、カメラによって取得された画像の検索領域を決定するステップは、１つ以上の特徴が複数のカメラのうちの少なくとも１つによって捕捉されていないことの決定に応答して、１つ以上の特徴が複数のカメラのうちの少なくとも１つによって捕捉されたことの決定に応答して設定されるであろう検索領域サイズより大きい検索領域サイズを設定するステップを含む、実施例６４に記載のシステム。
（実施例６６）
処理電子機器は、カメラから受信された画像に基づいて、複数のカメラのうちの第２のカメラのフレームレートを調節するように構成される、実施例６０－６５のいずれかに記載のシステム。
（実施例６７）
カメラから受信された画像に基づいて、複数のカメラのうちの第２のカメラのフレームレートを調節するステップは、複数のカメラのうちの第２のカメラのフレームレートを増加させるステップを含む、実施例６６に記載のシステム。
（実施例６８）
カメラから受信された画像に基づいて、複数のカメラのうちの第２のカメラのフレームレートを調節するステップは、複数のカメラのうちの第２のカメラのフレームレートを減少させるステップを含む、実施例６６に記載のシステム。
（実施例６９）
カメラから受信された画像に基づいて、複数のカメラのうちの第２のカメラのフレームレートを調節するステップは、少なくとも部分的に、頭部搭載型システム内の電気電流の周波数に基づく、実施例６８に記載のシステム。
（実施例７０）
カメラは、環境の第１の部分を検出するように構成され、第２のカメラは、環境の第２の部分を検出するように構成され、環境の第１の部分は、少なくとも部分的に、環境の第２の部分と重複する、実施例６０－６９のいずれかに記載のシステム。
（実施例７１）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の性質を決定するステップは、頭部搭載型ディスプレイの相対的運動の性質を決定するステップを含む、実施例１－７０のいずれかに記載のシステム。
（実施例７２）
光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示し、頭部搭載型ディスプレイシステムを装着しているユーザの正面の環境の少なくとも一部を結像するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、光を該ユーザの眼の中に投影し、拡張現実画像コンテンツをユーザの視野に表示するように構成され、該ディスプレイの少なくとも一部は、透明であって、ユーザがフレームを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
画像を第１のフレームレートで取得するように構成される、第１のカメラと、
画像を第１のフレームレートと異なる第２のフレームレートで取得するように構成される、第２のカメラと、
を備える、頭部搭載型ディスプレイシステム。
（実施例７３）
第１のカメラは、左にあって、第２のカメラは、右にあって、頭部搭載型ディスプレイの左への回転に応答して、第１のレートは、第２のフレームレートより高く設定される、実施例７２に記載のシステム。
（実施例７４）
第１のカメラは、左にあって、第２のカメラは、右にあって、頭部搭載型ディスプレイの右への回転に応答して、第２のフレームレートは、第１のフレームレートより高くなる、実施例７２－７３のいずれかに記載のシステム。
（実施例７５）
頭部搭載型ディスプレイと環境内の１つ以上の特徴との間の相対的運動の性質を決定し、
相対的運動の性質に基づいて、第１のフレームレートが第２のフレームレートと異なるように、カメラの第１のフレームレートを設定する、
ように構成される、処理電子機器をさらに備える、実施例７２－７４のいずれかに記載のシステム。
（実施例７６）
処理電子機器は、
頭部搭載型ディスプレイと環境内の１つ以上の特徴との間の相対的運動の第２の性質を決定し、
相対的運動の第２の性質に基づいて、第２のカメラのフレームレートを設定する、
ように構成される、実施例７５に記載のシステム。
（実施例７７）
第１および第２のカメラはそれぞれ、環境の非同一部分を検出するように構成される、実施例７２－７６のいずれかに記載のシステム。
（実施例７８）
処理電子機器は、複数のカメラと通信し、第１のカメラから受信された画像に基づいて、第２のカメラのフレームレートを決定するように構成される、実施例７２－７７のいずれかに記載のシステム。
（実施例７９）
画像は、環境の特徴の方向を含む、実施例７８に記載のシステム。
（実施例８０）
画像は、環境の特徴の速度を含む、実施例７８－７９のいずれかに記載のシステム。
（実施例８１）
第１のカメラから受信された画像に基づいて、第２のカメラのフレームレートを決定するステップは、第１のカメラから受信された画像内の特徴が第２のカメラによって受信された画像によって検出される傾向を予測するステップを含む、実施例７８－８０のいずれかに記載のシステム。
（実施例８２）
処理電子機器は、第１のカメラから受信された画像に基づいて、第２のカメラのフレームレートを調節するように構成される、実施例７８－８１のいずれかに記載のシステム。
（実施例８３）
第１のカメラから受信された画像に基づいて、第２のカメラのフレームレートを調節するステップは、第２のカメラのフレームレートを増加させるステップを含む、実施例８２に記載のシステム。
（実施例８４）
第１のカメラから受信された画像に基づいて、第２のカメラのフレームレートを調節するステップは、第２のカメラのフレームレートを減少させるステップを含む、実施例８２に記載のシステム。
（実施例８５）
第１のカメラから受信された画像に基づいて、第２のカメラのフレームレートを調節するステップは、少なくとも部分的に、頭部搭載型システム内の電気電流の周波数に基づく、実施例７８－８４のいずれかに記載のシステム。
（実施例８６）
第１のカメラは、環境の第１の部分を検出するように構成され、第２のカメラは、環境の第２の部分を検出するように構成され、環境の第１の部分は、少なくとも部分的に、環境の第２の部分と重複する、実施例７８－８５のいずれかに記載のシステム。
（実施例８７）
頭部搭載型ディスプレイおよび環境内の１つ以上の特徴の相対的運動の性質を決定するステップは、頭部搭載型ディスプレイの相対的運動の性質を決定するステップを含む、実施例７８－８６のいずれかに記載のシステム。
（実施例８８）
カメラのフレームレートを設定するステップは、頭部搭載型ディスプレイ内の電気電流の周波数またはその整数倍数と異なるフレームレートを設定するステップを含む、実施例１－８７のいずれかに記載のシステム。
（実施例８９）
処理電子機器は、条件が満たされたことの決定に応答して、フレームレートを変化させるように構成される、実施例１７－８８のいずれかに記載のシステム。
（実施例９０）
運動の性質および第２の運動の性質はそれぞれ、共通タイプの運動の性質の異なる測定値に対応するステップを含む、実施例２１－８９のいずれかに記載のシステム。
（実施例９１）
運動の性質および第３の運動の性質はそれぞれ、共通タイプの運動の性質の異なる測定値に対応するステップを含む、実施例３１－９０のいずれかに記載のシステム。
（実施例９２）
カメラによって取得された画像の検索領域を決定するステップは、少なくとも部分的に、角速度に基づく、実施例５４－９１に記載のシステム。
（実施例９３）
相対的運動の第２の性質は、時間における第２の測定値を含む、実施例７６－９２のいずれかに記載のシステム。
（実施例９４）
光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示し、頭部搭載型ディスプレイシステムを装着しているユーザの正面の環境の少なくとも一部を結像するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、光を該ユーザの眼の中に投影し、拡張現実画像コンテンツをユーザの視野に表示するように構成され、該ディスプレイの少なくとも一部は、透明であって、ユーザがフレームを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
画像を複数のフレームレートで取得するように構成される、カメラと、
カメラの第１のフレームレートを設定し、
第１のフレームレートと異なるカメラの第２のフレームレートを設定する、
ように構成される、処理電子機器と、
を備える、頭部搭載型ディスプレイシステム。
（実施例９５）
カメラの第２のフレームレートを設定するステップは、環境内の１つ以上の特徴のうちのある特徴の性質を決定するステップを含む、実施例９４に記載のシステム。
（実施例９６）
カメラの第２のフレームレートを設定するステップは、少なくとも部分的に、特徴の性質に基づく、実施例９５に記載のシステム。
（実施例９７）
光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示し、頭部搭載型ディスプレイシステムを装着しているユーザの正面の環境の少なくとも一部を結像するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、光を該ユーザの眼の中に投影し、拡張現実画像コンテンツをユーザの視野に表示するように構成され、該ディスプレイの少なくとも一部は、透明であって、ユーザがフレームを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
画像を複数のフレームレートで取得するように構成される、カメラと、
カメラの視野内の検索領域を決定し、
検索領域内の１つ以上の特徴を識別する、
ように構成される、処理電子機器と、
を備える、頭部搭載型ディスプレイシステム。
（実施例９８）
カメラの視野内の検索領域を決定するステップは、頭部搭載型ディスプレイと環境内の１つ以上の特徴との間の相対的運動の性質を決定するステップを含む、実施例９７に記載のシステム。
（実施例９９）
相対的運動の性質は、以下、すなわち、速度、加速、時間のうちの少なくとも１つを含む、実施例９８に記載のシステム。
（実施例１００）
システムは、相対的運動の性質に正比例する検索領域のサイズを設定するように構成される、実施例９８－９９のいずれかに記載のシステム。
（実施例１０１）
カメラの視野内の検索領域を決定するステップは、カメラのフレームレートを決定するステップを含む、実施例９７－９９のいずれかに記載のシステム。
（実施例１０２）
システムは、フレームレートに反比例する検索領域のサイズを設定するように構成される、実施例１００に記載のシステム。
（実施例１０３）
本システムはさらに、第２のカメラを備える、実施例９７－１０２のいずれかに記載のシステム。
（実施例１０４）
カメラの視野内の検索領域を決定するステップは、少なくとも部分的に、第２のカメラによって受信された画像に基づく、実施例１０３に記載のシステム。
（実施例１０５）
カメラの視野内の検索領域を決定するステップは、少なくとも部分的に、第２のカメラの視野に基づく、実施例１０３に記載のシステム。
（実施例１０６）
カメラの視野内の検索領域を決定するステップは、少なくとも部分的に、１つ以上の特徴に対する頭部搭載型デバイスの回転の相対的方向に基づく、実施例１０４－１０５のいずれかに記載のシステム。
（実施例１０７）
カメラによって取得された画像の検索領域を決定するステップは、角速度に正比例する、検索領域サイズを設定するステップを含む、実施例５４－７１のいずれかに記載のシステム。
（実施例１０８）
カメラによって取得された画像の検索領域を決定するステップは、フレームレートに反比例する、検索領域サイズを設定するステップを含む、実施例５６－７１または１０７に記載のシステム。
（実施例１０９）
検索領域は、カメラの視野より小さい、実施例９７－１０８に記載のシステム。
（実施例１１０）
カメラの視野内の検索領域を決定するステップは、検索領域を変化させるステップを含む、実施例９７－１０９に記載のシステム。
（実施例１１１）
カメラの視野内の検索領域を決定するステップは、検索領域のサイズを変化させるステップを含む、実施例９７－１１０に記載のシステム。
（実施例１１２）
カメラの視野内の検索領域を決定するステップは、検索領域の位置を変化させるステップを含む、実施例９７－１１１に記載のシステム。
（実施例１１３）
システムはさらに、環境の１つ以上の特徴のうちの少なくとも１つの品質メトリックを決定するように構成される、実施例９４－９６のいずれかに記載のシステム。
（実施例１１４）
品質メトリックは、カメラの視野またはその領域内の特徴の数に関する特徴計数の決定に基づく、実施例１１３に記載のシステム。
（実施例１１５）
品質メトリックは、少なくとも部分的に、その中で１つ以上の特徴のうちの少なくとも１つが検出されたフレームの数に基づく、実施例１１３－１１４のいずれかに記載のシステム。
（実施例１１６）
品質メトリックは、少なくとも部分的に、以下、すなわち、オブジェクトの見掛けサイズ、オブジェクトの見掛け明度、またはオブジェクトとその周囲との間のコントラストの程度のうちの任意の１つまたはそれらの組み合わせに基づく、実施例１１３－１１５のいずれかに記載のシステム。
（実施例１１７）
システムはさらに、少なくとも部分的に、１つ以上の特徴の速度に基づいて、１つ以上の特徴の品質メトリックを決定するように構成される、実施例１１３－１１６のいずれかに記載のシステム。
（実施例１１８）
品質メトリックは、少なくとも部分的に、１つ以上の特徴の速度に基づく、実施例１１３－１１７のいずれかに記載のシステム。
（実施例１１９）
システムはさらに、ユーザの眼の視線を追跡するように構成される、内向きカメラを備え、品質メトリックは、少なくとも部分的に、ユーザがその視線をオブジェクトに指向したことの決定に基づく、実施例１１３－１１８のいずれかに記載のシステム。
（実施例１２０）
品質メトリックは、少なくとも部分的に、オブジェクトの特性の見掛け変化に基づく、実施例１１３－１１９のいずれかに記載のシステム。
（実施例１２１）
頭部搭載型ディスプレイと環境内の１つ以上の特徴との間の相対的運動の性質を決定するステップは、相対的運動の性質が閾値を超えないことを決定するステップを含む、実施例１－７１または７５－９３のいずれかに記載のシステム。
（実施例１２２）
カメラのフレームレートを設定するステップは、カメラのフレームレートを修正するステップを含む、実施例１－７１または７５－９３または１２１のいずれかに記載のシステム。
（実施例１２３）
カメラのフレームレートを設定するステップは、カメラのフレームレートを低減させるステップを含む、実施例１－７１または７５－９３または１２１－１２２のいずれかに記載のシステム。
（実施例１２４）
システムは、第１および第２のカメラのうちの少なくとも１つのフレームレートを修正するように構成される、実施例７２－９３のいずれかに記載のシステム。
（実施例１２５）
システムは、第１および第２のカメラのうちの少なくとも１つのフレームレートを低減させるように構成される、実施例７２－９３または１２４－１２５のいずれかに記載のシステム。
（実施例１２６）
第１のフレームレートと異なるカメラの第２のフレームレートを設定するステップは、カメラのフレームレートを低減させるステップを含む、実施例９４－９６のいずれかに記載のシステム。
（実施例１２７）
カメラのフレームレートを決定するステップは、カメラのフレームレートを修正するステップを含む、実施例１０１－１２０のいずれかに記載のシステム。
（実施例１２８）
カメラのフレームレートを決定するステップは、カメラのフレームレートを低減させるステップを含む、実施例１０１－１２０または１２７のいずれかに記載のシステム。
（実施例１２９）
システムは、システムによって検出された環境に対する頭部搭載型ディスプレイの減少された相対的移動の結果として、カメラのフレームレートを低減させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１３０）
システムは、システムによって検出された頭部搭載型ディスプレイの減少された移動の結果として、カメラのフレームレートを低減させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１３１）
システムは、システムによって検出された環境内のオブジェクトの減少された移動の結果として、カメラのフレームレートを低減させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１３２）
システムは、システムによって検出された環境に対する頭部搭載型ディスプレイの限定された相対的移動の結果として、カメラのフレームレートを低減させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１３３）
システムは、システムによって検出された頭部搭載型ディスプレイの限定された移動の結果として、カメラのフレームレートを低減させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１３４）
システムは、システムによって検出された環境内のオブジェクトの限定された移動の結果として、カメラのフレームレートを低減させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１３５）
システムは、システムによって検出された環境に対する頭部搭載型ディスプレイの増加された相対的移動の結果として、カメラのフレームレートを増加させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１３６）
システムは、システムによって検出された頭部搭載型ディスプレイの増加された移動の結果として、カメラのフレームレートを増加させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１３７）
システムは、システムによって検出された環境内のオブジェクトの増加された移動の結果として、カメラのフレームレートを増加させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例セットＩＩＩ）
（実施例１）
光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示し、頭部搭載型ディスプレイシステムを装着しているユーザの正面の環境の少なくとも一部を結像するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、該ディスプレイの少なくとも一部は、透明であって、ユーザがフレームを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
画像をあるフレームレートで取得するように構成される、カメラであって、ある視野および第１のフレームレートを有する、カメラと、
コンピュータ実行可能命令を記憶する、非一過性コンピュータ可読媒体と、
カメラおよびコンピュータ可読媒体と通信する、電子機器であって、カメラによって取得されたフレームを処理するように構成され、
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動を査定し、該相対的運動の査定は、頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるかを決定するステップ、および／または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるかを決定するステップを含み、
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定に基づいて、カメラのフレームレートを第１のフレームレートから第２のフレームレートに改変し、および／または処理されるカメラによって取得されたフレーム上の処理の量を調節する、
ために、コンピュータ実行可能命令を実行するように構成される、電子機器と、
を備える、頭部搭載型ディスプレイシステム。
（実施例２）
相対的運動の査定のための測定を実施するために該電子機器と通信する、運動センサをさらに備える、実施例１に記載のシステム。
（実施例３）
該運動センサは、慣性測定ユニット（ＩＭＵ）を備える、実施例２に記載のシステム。
（実施例４）
該相対的運動の査定は、少なくとも部分的に、角度または線形加速の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例５）
該相対的運動の査定は、少なくとも部分的に、角度または線形速度の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例６）
該相対的運動の査定は、少なくとも部分的に、該頭部搭載型ディスプレイの角度または線形加速の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例７）
該相対的運動の査定は、少なくとも部分的に、該頭部搭載型ディスプレイの角度または線形速度の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例８）
該相対的運動の査定は、少なくとも部分的に、該環境内の１つ以上の特徴の角度または線形加速の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例９）
該相対的運動の査定は、少なくとも部分的に、該環境内の１つ以上の特徴の角度または線形速度の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例１０）
該相対的運動の査定は、頭部搭載型ディスプレイの運動または予期される運動が閾値を超えることを決定するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例１１）
該相対的運動の査定は、該環境内の１つ以上の特徴の運動または予期される運動が閾値を超えることを決定するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例１２）
第２のフレームレートは、カメラのフレームレートが該相対的運動の査定に基づいて低減されるように、第１のフレームレートより低い、上記実施例のいずれかに記載のシステム。
（実施例１３）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるかの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例１４）
第２のフレームレートは、第１のフレームレートより低い、上記実施例のいずれかに記載のシステム。
（実施例１５）
第１のフレームレートは、約３０ｆｐｓ～６０ｆｐｓである、上記実施例のいずれかに記載のシステム。
（実施例１６）
第２のフレームレートは、約５ｆｐｓ～２０ｆｐｓである、上記実施例のいずれかに記載のシステム。
（実施例１７）
システムは、該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定に基づいて、カメラの第２のフレームレートを設定するように構成される、上記実施例のいずれかに記載のシステム。
（実施例１８）
システムは、該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定に基づいて、カメラによって取得されたフレーム上の処理の量を低減させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１９）
システムは、該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定に基づいて、カメラによって取得されたより少ないフレームからのデータを処理するように構成される、上記実施例のいずれかに記載のシステム。
（実施例２０）
システムはさらに、システムの運動についての情報をあるサンプリングレートで受信する、運動センサを備える、上記実施例のいずれかに記載のシステム。
（実施例２１）
システムは、頭部搭載型ディスプレイが、移動したか、移動中であるか、または移動することが予期されるかの決定に基づいて、該カメラのフレームレートを低減させるが、運動センサのサンプリングレートを維持するように構成される、実施例２０に記載のシステム。
（実施例２２）
運動センサのサンプリングレートは、該カメラのフレームレートの低減後、カメラのフレームレートより高速である、実施例２０に記載のシステム。
（実施例２３）
運動センサは、慣性センサまたは加速度計を備える、実施例２０－２２のいずれかに記載のシステム。
（実施例２４）
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定は、環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されることを決定するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例２５）
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定は、カメラを使用して、環境の１つ以上の特徴を検出するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例２６）
環境の１つ以上の特徴は、環境内のオブジェクトの縁または角のうちの少なくとも１つを含む、実施例２５に記載のシステム。
（実施例２７）
カメラを使用して、環境の１つ以上の特徴を検出するステップは、Ｋａｌｍａｎフィルタ、Ｓｏｂｏｌアルゴリズム、またはＨａｒｒｉｓアルゴリズムのうちの少なくとも１つを使用するステップを含む、実施例２５または２６に記載のシステム。
（実施例２８）
少なくとも１つの第２のカメラを備える、上記実施例のいずれかに記載のシステム。
（実施例２９）
該カメラおよび該第２のカメラは、環境の非同一部分を検出するように構成される、実施例２８に記載のシステム。
（実施例３０）
カメラは、環境の第１の部分を検出するように構成され、第２のカメラは、環境の第２の部分を検出するように構成され、環境の第１の部分は、環境の第２の部分と部分的に重複する、実施例２８または２９に記載のシステム。
（実施例３１）
該カメラおよび該第２のカメラは、ユーザの左眼に対応する、該フレームの左側上に配置される、実施例２８－３０のいずれかに記載のシステム。
（実施例３２）
該カメラおよび該第２のカメラは、ユーザの右眼に対応する、該フレームの右側上に配置される、実施例２８－３０のいずれかに記載のシステム。
（実施例３３）
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定に基づいて、複数のカメラのうちの第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量を減少させるステップをさらに含む、実施例２８－３２のいずれかに記載のシステム。
（実施例３４）
該カメラは、該第２のカメラよりこめかみ側寄りである、実施例２８－３３のいずれかに記載のシステム。
（実施例３５）
該カメラは、該第２のカメラより鼻側寄りである、実施例２８－３３のいずれかに記載のシステム。
（実施例３６）
該カメラのフレームレートは、該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定に基づいて、第２のカメラのフレームレートより低く設定される、実施例３４または３５に記載のシステム。
（実施例３７）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動の決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例３８）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、頭部搭載型ディスプレイの運動または予期される運動が閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例３９）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、該環境内の１つ以上の特徴の運動または予期される運動が閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例４０）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、頭部搭載型ディスプレイの運動または予期される運動がある持続時間にわたって閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例４１）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、該環境内の１つ以上の特徴の運動または予期される運動がある持続時間にわたって閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例４２）
カメラからのフレームの処理の量を低減させるステップは、処理されるカメラによって捕捉されたフレームの数を低減させるステップを含む、上記の実施例のいずれかに記載のシステム。
（実施例４３）
カメラからのフレームの処理の量を低減させるステップは、カメラによって捕捉されたフレームの第２の部分未満のカメラによって捕捉されたフレームの第１の部分を処理するステップを含む、上記の実施例のいずれかに記載のシステム。
（実施例セットＩＶ）
（実施例１）
光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示し、頭部搭載型ディスプレイシステムを装着しているユーザの正面の環境の少なくとも一部を結像するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、該ディスプレイの少なくとも一部は、透明であって、ユーザがフレームを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
画像をあるフレームレートで取得するように構成される、カメラであって、ある視野および第１のフレームレートを有する、カメラと、
カメラと通信する、処理電子機器であって、該カメラによって取得されたフレームを処理するように構成され、
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動を査定し、該相対的運動の査定は、頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるかを決定するステップ、および／または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるかを決定するステップを含み、
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定に基づいて、カメラのフレームレートを第１のフレームレートから第２のフレームレートに改変するステップ、および／または処理されるカメラによって取得されたフレーム上の処理の量を調節する、
ように構成される、処理電子機器と、
を備える、頭部搭載型ディスプレイシステム。
（実施例２）
相対的運動の査定のための測定を実施するために該電子機器と通信する、運動センサをさらに備える、実施例１に記載のシステム。
（実施例３）
該運動センサは、慣性測定ユニット（ＩＭＵ）を備える、実施例２に記載のシステム。
（実施例４）
該相対的運動の査定は、少なくとも部分的に、角度または線形加速の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例５）
該相対的運動の査定は、少なくとも部分的に、角度または線形速度の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例６）
該相対的運動の査定は、少なくとも部分的に、該頭部搭載型ディスプレイの角度または線形加速の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例７）
該相対的運動の査定は、少なくとも部分的に、該頭部搭載型ディスプレイの角度または線形速度の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例８）
該相対的運動の査定は、少なくとも部分的に、該環境内の１つ以上の特徴の角度または線形加速の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例９）
該相対的運動の査定は、少なくとも部分的に、該環境内の１つ以上の特徴の角度または線形速度の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例１０）
該相対的運動の査定は、頭部搭載型ディスプレイの運動または予期される運動が閾値を超えることを決定するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例１１）
該相対的運動の査定は、該環境内の１つ以上の特徴の運動または予期される運動が閾値を超えることを決定するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例１２）
第２のフレームレートは、カメラのフレームレートが該相対的運動の査定に基づいて低減されるように、第１のフレームレートより低い、上記実施例のいずれかに記載のシステム。
（実施例１３）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるかの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例１４）
第２のフレームレートは、第１のフレームレートより低い、上記実施例のいずれかに記載のシステム。
（実施例１５）
第１のフレームレートは、約３０ｆｐｓ～６０ｆｐｓである、上記実施例のいずれかに記載のシステム。
（実施例１６）
第２のフレームレートは、約５ｆｐｓ～２０ｆｐｓである、上記実施例のいずれかに記載のシステム。
（実施例１７）
システムは、該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定に基づいて、カメラの第２のフレームレートを設定するように構成される、上記実施例のいずれかに記載のシステム。
（実施例１８）
システムは、該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定に基づいて、カメラによって取得されたフレーム上の処理の量を低減させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例１９）
システムは、該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定に基づいて、カメラによって取得されたより少ないフレームからのデータを処理するように構成される、上記実施例のいずれかに記載のシステム。
（実施例２０）
システムはさらに、システムの運動についての情報をあるサンプリングレートで受信する、運動センサを備える、上記実施例のいずれかに記載のシステム。
（実施例２１）
システムは、頭部搭載型ディスプレイが、移動したか、移動中であるか、または移動することが予期されるかの決定に基づいて、該カメラのフレームレートを低減させるが、運動センサのサンプリングレートを維持するように構成される、実施例２０に記載のシステム。
（実施例２２）
運動センサのサンプリングレートは、該カメラのフレームレートの低減後、カメラのフレームレートより高速である、実施例２０に記載のシステム。
（実施例２３）
運動センサは、慣性センサまたは加速度計を備える、実施例２０－２２のいずれかに記載のシステム。
（実施例２４）
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定は、環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されることを決定するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例２５）
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定は、カメラを使用して、環境の１つ以上の特徴を検出するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例２６）
環境の１つ以上の特徴は、環境内のオブジェクトの縁または角のうちの少なくとも１つを含む、実施例２５に記載のシステム。
（実施例２７）
カメラを使用して、環境の１つ以上の特徴を検出するステップは、Ｋａｌｍａｎフィルタ、Ｓｏｂｏｌアルゴリズム、またはＨａｒｒｉｓアルゴリズムのうちの少なくとも１つを使用するステップを含む、実施例２５または２６に記載のシステム。
（実施例２８）
少なくとも１つの第２のカメラを備える、上記実施例のいずれかに記載のシステム。
（実施例２９）
該カメラおよび該第２のカメラは、環境の非同一部分を検出するように構成される、実施例２８に記載のシステム。
（実施例３０）
カメラは、環境の第１の部分を検出するように構成され、第２のカメラは、環境の第２の部分を検出するように構成され、環境の第１の部分は、環境の第２の部分と部分的に重複する、実施例２８または２９に記載のシステム。
（実施例３１）
該カメラおよび該第２のカメラは、ユーザの左眼に対応する、該フレームの左側上に配置される、実施例２８－３０のいずれかに記載のシステム。
（実施例３２）
該カメラおよび該第２のカメラは、ユーザの右眼に対応する、該フレームの右側上に配置される、実施例２８－３０のいずれかに記載のシステム。
（実施例３３）
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定に基づいて、複数のカメラのうちの第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量を減少させるステップをさらに含む、実施例２８－３２のいずれかに記載のシステム。
（実施例３４）
該カメラは、該第２のカメラよりこめかみ側寄りである、実施例２８－３３のいずれかに記載のシステム。
（実施例３５）
該カメラは、該第２のカメラより鼻側寄りである、実施例２８－３３のいずれかに記載のシステム。
（実施例３６）
該カメラのフレームレートは、該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定に基づいて、第２のカメラのフレームレートより低く設定される、実施例３４または３５に記載のシステム。
（実施例３７）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動の決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例３８）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、頭部搭載型ディスプレイの運動または予期される運動が閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例３９）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、該環境内の１つ以上の特徴の運動または予期される運動が閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例４０）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、頭部搭載型ディスプレイの運動または予期される運動がある持続時間にわたって閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例４１）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、該環境内の１つ以上の特徴の運動または予期される運動がある持続時間にわたって閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例４２）
カメラからのフレームの処理の量を低減させるステップは、処理されるカメラによって捕捉されたフレームの数を低減させるステップを含む、上記の実施例のいずれかに記載のシステム。
（実施例４３）
カメラからのフレームの処理の量を低減させるステップは、カメラによって捕捉されたフレームの第２の部分未満のカメラによって捕捉されたフレームの第１の部分を処理するステップを含む、上記の実施例のいずれかに記載のシステム。
（実施例セットＶ）
（実施例１）
光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示し、頭部搭載型ディスプレイシステムを装着しているユーザの正面の環境の少なくとも一部を結像するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、該ディスプレイの少なくとも一部は、透明であって、ユーザがフレームを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
画像をあるフレームレートで取得するように構成される、カメラであって、ある視野および第１のフレームレートを有する、カメラと、
コンピュータ実行可能命令を記憶する、非一過性コンピュータ可読媒体と、
カメラおよびコンピュータ可読媒体と通信する、電子機器であって、カメラによって取得されたフレームを処理するように構成され、
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動を査定し、該相対的運動の査定は、頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるかを決定するステップ、および／または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるかを決定するステップを含み、
その場所がディスプレイ内に現れた場合、レンダリング可能仮想画像コンテンツがユーザに現れるであろう場所に対応する、環境内の１つ以上の場所を決定し、
環境内の１つ以上の仮想画像コンテンツ場所と、該カメラの視野の少なくとも一部を含む、視認ゾーンを比較し、
（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所と視認ゾーンの比較に基づいて、カメラのフレームレートを第１のフレームレートから第２のフレームレートに改変し、および／または処理されるカメラによって取得されたフレーム上の処理の量を調節する、
ために、コンピュータ実行可能命令を実行するように構成される、電子機器と、
を備える、頭部搭載型ディスプレイシステム。
（実施例２）
相対的運動の査定のための測定を実施するために該電子機器と通信する、運動センサをさらに備える、実施例１に記載のシステム。
（実施例３）
該運動センサは、慣性測定ユニット（ＩＭＵ）を備える、実施例２に記載のシステム。
（実施例４）
該相対的運動の査定は、少なくとも部分的に、角度または線形加速の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例５）
該相対的運動の査定は、少なくとも部分的に、角度または線形速度の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例６）
該相対的運動の査定は、少なくとも部分的に、該頭部搭載型ディスプレイの角度または線形加速の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例７）
該相対的運動の査定は、少なくとも部分的に、該頭部搭載型ディスプレイの角度または線形速度の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例８）
該相対的運動の査定は、少なくとも部分的に、該環境内の１つ以上の特徴の角度または線形加速の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例９）
該相対的運動の査定は、少なくとも部分的に、該環境内の１つ以上の特徴の角度または線形速度の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例１０）
該相対的運動の査定は、頭部搭載型ディスプレイの運動または予期される運動が閾値を超えることを決定するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例１１）
該相対的運動の査定は、該環境内の１つ以上の特徴の運動または予期される運動が閾値を超えることを決定するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例１２）
第２のフレームレートは、カメラのフレームレートが該相対的運動の査定に基づいて低減されるように、第１のフレームレートより低い、上記実施例のいずれかに記載のシステム。
（実施例１３）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン内の場所を含むことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例１４）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量はさらに、（ｉｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野内の場所を含まないことの決定に基づいて低減される、実施例１３に記載のシステム。
（実施例１５）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野領域内の場所を含む場合、低減されない、上記実施例のいずれかに記載のシステム。
（実施例１６）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、（ｉ）視認ゾーンを越え、（ｉｉ）近距離動眼視野領域を越える、遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例１７）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量はさらに、（ｉｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野内の場所を含まないことの決定に基づいて低減される、実施例１６に記載のシステム。
（実施例１８）
視認ゾーンは、カメラの視野を含む、上記実施例のいずれかに記載のシステム。
（実施例１９）
カメラの視野は、約４５ｏ～１３５ｏである、実施例１８に記載のシステム。
（実施例２０）
視認ゾーンは、カメラの視野に対応し、該１つ以上の仮想画像コンテンツ場所と視認ゾーンを比較するステップは、環境内の１つ以上の仮想画像コンテンツ場所が、カメラの視野内にあるかどうかを決定するステップを含む、実施例１８または１９のいずれかに記載のシステム。
（実施例２１）
第２のフレームレートは、第１のフレームレートより低い、上記実施例のいずれかに記載のシステム。
（実施例２２）
第１のフレームレートは、約３０ｆｐｓ～６０ｆｐｓである、上記実施例のいずれかに記載のシステム。
（実施例２３）
第２のフレームレートは、約５ｆｐｓ～２０ｆｐｓである、上記実施例のいずれかに記載のシステム。
（実施例２４）
システムは、（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）該１つ以上の仮想画像コンテンツ場所と該視認ゾーンの比較に基づいて、カメラの第２のフレームレートを設定するように構成される、上記実施例のいずれかに記載のシステム。
（実施例２５）
システムは、（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）該１つ以上の仮想画像コンテンツ場所と該視認ゾーンの比較に基づいて、カメラによって取得されたフレーム上の処理の量を低減させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例２６）
システムは、（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）該１つ以上の仮想画像コンテンツ場所と該視認ゾーンの比較に基づいて、カメラによって取得されたより少ないフレームからのデータを処理するように構成される、上記実施例のいずれかに記載のシステム。
（実施例２７）
システムはさらに、システムの運動についての情報をあるサンプリングレートで受信する、運動センサを備える、上記実施例のいずれかに記載のシステム。
（実施例２８）
システムは、（ｉ）頭部搭載型ディスプレイが、移動したか、移動中であるか、または移動することが予期されるかの決定、および（ｉｉ）該１つ以上の仮想画像コンテンツ場所と該視認ゾーンの比較に基づいて、該カメラのフレームレートを低減させるが、運動センサのサンプリングレートを維持するように構成される、実施例２７に記載のシステム。
（実施例２９）
運動センサのサンプリングレートは、該カメラのフレームレートの低減後、カメラのフレームレートより高速である、実施例２７に記載のシステム。
（実施例３０）
運動センサは、慣性センサまたは加速度計を備える、実施例２７－２９のいずれかに記載のシステム。
（実施例３１）
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定は、環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されることを決定するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例３２）
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定は、カメラを使用して、環境の１つ以上の特徴を検出するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例３３）
環境の１つ以上の特徴は、環境内のオブジェクトの縁または角のうちの少なくとも１つを含む、実施例３２に記載のシステム。
（実施例３４）
カメラを使用して、環境の１つ以上の特徴を検出するステップは、Ｋａｌｍａｎフィルタ、Ｓｏｂｏｌアルゴリズム、またはＨａｒｒｉｓアルゴリズムのうちの少なくとも１つを使用するステップを含む、実施例３２または３３に記載のシステム。
（実施例３５）
少なくとも１つの第２のカメラを備える、上記実施例のいずれかに記載のシステム。
（実施例３６）
該カメラおよび該第２のカメラは、環境の非同一部分を検出するように構成される、実施例３５に記載のシステム。
（実施例３７）
カメラは、環境の第１の部分を検出するように構成され、第２のカメラは、環境の第２の部分を検出するように構成され、環境の第１の部分は、環境の第２の部分と部分的に重複する、実施例３５または３６に記載のシステム。
（実施例３８）
該カメラおよび該第２のカメラは、ユーザの左眼に対応する、該フレームの左側上に配置される、実施例３５－３７のいずれかに記載のシステム。
（実施例３９）
該カメラおよび該第２のカメラは、ユーザの右眼に対応する、該フレームの右側上に配置される、実施例３５－３７のいずれかに記載のシステム。
（実施例４０）
（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）仮想画像コンテンツ場所と該視認ゾーンの比較に基づいて、複数のカメラのうちの第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量を減少させるステップをさらに含む、実施例３５－３９のいずれかに記載のシステム。
（実施例４１）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン内の場所を含むことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例４２）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量はさらに、（ｉｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野内を含まないことの決定に基づいて低減される、実施例４１に記載のシステム。
（実施例４３）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野領域内の場所を含む場合、低減されない、実施例３５－４０のいずれかに記載のシステム。
（実施例４４）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、（ｉ）視認ゾーンを越え、（ｉｉ）近距離動眼視野領域を越える、遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例４５）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量はさらに、（ｉｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野内の場所を含まないことの決定に基づいて低減される、実施例４４に記載のシステム。
（実施例４６）
該カメラは、該第２のカメラよりこめかみ側寄りである、実施例３５－３９のいずれかに記載のシステム。
（実施例４７）
該カメラは、該第２のカメラより鼻側寄りである、実施例３５－３９のいずれかに記載のシステム。
（実施例４８）
該カメラのフレームレートは、（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所と視認ゾーンの比較に基づいて、第２のカメラのフレームレートより低く設定される、実施例４６または４７に記載のシステム。
（実施例４９）
該カメラ上の処理の量は、（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所と視認ゾーンの比較に基づいて、第２のカメラによって取得されたフレーム上の処理の量より低く設定される、実施例４６または４８のいずれかに記載のシステム。
（実施例５０）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン外の場所を含まないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５１）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン外の場所を含まないことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例５２）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または予期される移動の決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５３）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、頭部搭載型ディスプレイの運動または予期される運動が閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５４）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、該環境内の１つ以上の特徴の運動または予期される運動が閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５５）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、頭部搭載型ディスプレイの運動または予期される運動がある持続時間にわたって閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５６）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、該環境内の１つ以上の特徴の運動または予期される運動がある持続時間にわたって閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５７）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン内の場所を含むことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５８）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、（ａ）視認ゾーンを越え、かつ（ｂ）近距離動眼視野領域を越える、遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５９）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン内の場所を含むことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例６０）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、（ａ）視認ゾーンを越え、かつ（ｂ）近距離動眼視野領域を越える、遠距離動眼視野領域内の場所を含む、ことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例６１）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン外の場所を含まないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例６２）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン外の場所を含まないことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例６３）
カメラからのフレームの処理の量を低減させるステップは、処理されるカメラによって捕捉されたフレームの数を低減させるステップを含む、上記の実施例のいずれかに記載のシステム。
（実施例６４）
カメラからのフレームの処理の量を低減させるステップは、カメラによって捕捉されたフレームの第２の部分未満のカメラによって捕捉されたフレームの第１の部分を処理するステップを含む、上記の実施例のいずれかに記載のシステム。
（実施例セットＶＩ）
（実施例１）
光をユーザの眼に投影し、拡張現実画像コンテンツを該ユーザの視野内に表示し、頭部搭載型ディスプレイシステムを装着しているユーザの正面の環境の少なくとも一部を結像するように構成される、頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、該ディスプレイの少なくとも一部は、透明であって、ユーザがフレームを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の該部分のビューを提供するように、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
画像をあるフレームレートで取得するように構成される、カメラであって、ある視野および第１のフレームレートを有する、カメラと、
カメラによって取得されたフレームを処理するように構成される、処理電子機器であって、
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動を査定し、該相対的運動の査定は、頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるかを決定するステップ、および／または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるかを決定するステップを含み、
その場所がディスプレイ内に現れた場合、レンダリング可能仮想画像コンテンツがユーザに現れるであろう場所に対応する、環境内の１つ以上の場所を決定し、
環境内の１つ以上の仮想画像コンテンツ場所と、該カメラの視野の少なくとも一部を含む、視認ゾーンを比較し、
（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所と視認ゾーンの比較に基づいて、カメラのフレームレートを第１のフレームレートから第２のフレームレートに改変するステップ、および／または処理されるカメラによって取得されたフレーム上の処理の量を調節する、
ように構成される、処理電子機器と、
を備える、頭部搭載型ディスプレイシステム。
（実施例２）
相対的運動の査定のための測定を実施するために該処理電子機器と通信する、運動センサをさらに備える、実施例１に記載のシステム。
（実施例３）
該運動センサは、慣性測定ユニット（ＩＭＵ）を備える、実施例２に記載のシステム。
（実施例４）
該相対的運動の査定は、少なくとも部分的に、角度または線形加速の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例５）
該相対的運動の査定は、少なくとも部分的に、角度または線形速度の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例６）
該相対的運動の査定は、少なくとも部分的に、該頭部搭載型ディスプレイの角度または線形加速の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例７）
該相対的運動の査定は、少なくとも部分的に、該頭部搭載型ディスプレイの角度または線形速度の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例８）
該相対的運動の査定は、少なくとも部分的に、該環境内の１つ以上の特徴の角度または線形加速の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例９）
該相対的運動の査定は、少なくとも部分的に、該環境内の１つ以上の特徴の角度または線形速度の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例１０）
該相対的運動の査定は、頭部搭載型ディスプレイの運動または予期される運動が閾値を超えることを決定するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例１１）
該相対的運動の査定は、該環境内の１つ以上の特徴の運動または予期される運動が閾値を超えることを決定するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例１２）
第２のフレームレートは、カメラのフレームレートが該相対的運動の査定に基づいて低減されるように、第１のフレームレートより低い、上記実施例のいずれかに記載のシステム。
（実施例１３）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン内の場所を含むことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例１４）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量はさらに、（ｉｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野内の場所を含まないことの決定に基づいて低減される、実施例１３に記載のシステム。
（実施例１５）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野領域内の場所を含む場合、低減されない、上記実施例のいずれかに記載のシステム。
（実施例１６）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、（ｉ）視認ゾーンを越え、（ｉｉ）近距離動眼視野領域を越える、遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例１７）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量はさらに、（ｉｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野内の場所を含まないことの決定に基づいて低減される、実施例１６に記載のシステム。
（実施例１８）
視認ゾーンは、カメラの視野を含む、上記実施例のいずれかに記載のシステム。
（実施例１９）
カメラの視野は、約４５ｏ～１３５ｏである、実施例１８に記載のシステム。
（実施例２０）
視認ゾーンは、カメラの視野に対応し、該１つ以上の仮想画像コンテンツ場所と視認ゾーンを比較するステップは、環境内の１つ以上の仮想画像コンテンツ場所が、カメラの視野内にあるかどうかを決定するステップを含む、実施例１８または１９のいずれかに記載のシステム。
（実施例２１）
第２のフレームレートは、第１のフレームレートより低い、上記実施例のいずれかに記載のシステム。
（実施例２２）
第１のフレームレートは、約３０ｆｐｓ～６０ｆｐｓである、上記実施例のいずれかに記載のシステム。
（実施例２３）
第２のフレームレートは、約５ｆｐｓ～２０ｆｐｓである、上記実施例のいずれかに記載のシステム。
（実施例２４）
システムは、（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）該１つ以上の仮想画像コンテンツ場所と該視認ゾーンの比較に基づいて、カメラの第２のフレームレートを設定するように構成される、上記実施例のいずれかに記載のシステム。
（実施例２５）
システムは、（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）該１つ以上の仮想画像コンテンツ場所と該視認ゾーンの比較に基づいて、カメラによって取得されたフレーム上の処理の量を低減させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例２６）
システムは、（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）該１つ以上の仮想画像コンテンツ場所と該視認ゾーンの比較に基づいて、カメラによって取得されたより少ないフレームからのデータを処理するように構成される、上記実施例のいずれかに記載のシステム。
（実施例２７）
システムはさらに、システムの運動についての情報をあるサンプリングレートで受信する、運動センサを備える、上記実施例のいずれかに記載のシステム。
（実施例２８）
システムは、（ｉ）頭部搭載型ディスプレイが、移動したか、移動中であるか、または移動することが予期されるかの決定、および（ｉｉ）該１つ以上の仮想画像コンテンツ場所と該視認ゾーンの比較に基づいて、該カメラのフレームレートを低減させるが、運動センサのサンプリングレートを維持するように構成される、実施例２７に記載のシステム。
（実施例２９）
運動センサのサンプリングレートは、該カメラのフレームレートの低減後、カメラのフレームレートより高速である、実施例２７に記載のシステム。
（実施例３０）
運動センサは、慣性センサまたは加速度計を備える、実施例２７－２９のいずれかに記載のシステム。
（実施例３１）
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定は、環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されることを決定するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例３２）
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定は、カメラを使用して、環境の１つ以上の特徴を検出するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例３３）
環境の１つ以上の特徴は、環境内のオブジェクトの縁または角のうちの少なくとも１つを含む、実施例３２に記載のシステム。
（実施例３４）
カメラを使用して、環境の１つ以上の特徴を検出するステップは、Ｋａｌｍａｎフィルタ、Ｓｏｂｏｌアルゴリズム、またはＨａｒｒｉｓアルゴリズムのうちの少なくとも１つを使用するステップを含む、実施例３２または３３に記載のシステム。
（実施例３５）
少なくとも１つの第２のカメラを備える、上記実施例のいずれかに記載のシステム。
（実施例３６）
該カメラおよび該第２のカメラは、環境の非同一部分を検出するように構成される、実施例３５に記載のシステム。
（実施例３７）
カメラは、環境の第１の部分を検出するように構成され、第２のカメラは、環境の第２の部分を検出するように構成され、環境の第１の部分は、環境の第２の部分と部分的に重複する、実施例３５または３６に記載のシステム。
（実施例３８）
該カメラおよび該第２のカメラは、ユーザの左眼に対応する、該フレームの左側上に配置される、実施例３５－３７のいずれかに記載のシステム。
（実施例３９）
該カメラおよび該第２のカメラは、ユーザの右眼に対応する、該フレームの右側上に配置される、実施例３５－３７のいずれかに記載のシステム。
（実施例４０）
（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）仮想画像コンテンツ場所と該視認ゾーンの比較に基づいて、複数のカメラのうちの第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量を減少させるステップをさらに含む、実施例３５－３９のいずれかに記載のシステム。
（実施例４１）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン内の場所を含むことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例４２）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量はさらに、（ｉｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野内を含まないことの決定に基づいて低減される、実施例４１に記載のシステム。
（実施例４３）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野領域内の場所を含む場合、低減されない、実施例３５－４０のいずれかに記載のシステム。
（実施例４４）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、（ｉ）視認ゾーンを越え、（ｉｉ）近距離動眼視野領域を越える、遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例４５）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量はさらに、（ｉｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野内の場所を含まないことの決定に基づいて低減される、実施例４４に記載のシステム。
（実施例４６）
該カメラは、該第２のカメラよりこめかみ側寄りである、実施例３５－３９のいずれかに記載のシステム。
（実施例４７）
該カメラは、該第２のカメラより鼻側寄りである、実施例３５－３９のいずれかに記載のシステム。
（実施例４８）
該カメラのフレームレートは、（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所と視認ゾーンの比較に基づいて、第２のカメラのフレームレートより低く設定される、実施例４６または４７に記載のシステム。
（実施例４９）
該カメラ上の処理の量は、（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所と視認ゾーンの比較に基づいて、第２のカメラによって取得されたフレーム上の処理の量より低く設定される、実施例４６または４８のいずれかに記載のシステム。
（実施例５０）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン外の場所を含まないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５１）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン外の場所を含まないことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例５２）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または予期される移動の決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５３）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、頭部搭載型ディスプレイの運動または予期される運動が閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５４）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、該環境内の１つ以上の特徴の運動または予期される運動が閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５５）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、頭部搭載型ディスプレイの運動または予期される運動がある持続時間にわたって閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５６）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、該環境内の１つ以上の特徴の運動または予期される運動がある持続時間にわたって閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５７）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン内の場所を含むことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５８）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、（ａ）視認ゾーンを越え、かつ（ｂ）近距離動眼視野領域を越える、遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５９）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン内の場所を含むことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例６０）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、（ａ）視認ゾーンを越え、かつ（ｂ）近距離動眼視野領域を越える、遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例６１）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン外の場所を含まないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例６２）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン外の場所を含まないことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例６３）
カメラからのフレームの処理の量を低減させるステップは、処理されるカメラによって捕捉されたフレームの数を低減させるステップを含む、上記の実施例のいずれかに記載のシステム。
（実施例６４）
カメラからのフレームの処理の量を低減させるステップは、カメラによって捕捉されたフレームの第２の部分未満のカメラによって捕捉されたフレームの第１の部分を処理するステップを含む、上記の実施例のいずれかに記載のシステム。
（実施例セットＶＩＩ）
（実施例１）
頭部搭載型ディスプレイシステムであって、
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、ディスプレイであって、仮想画像と関連付けられる光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザに表示するように構成され、さらに、環境からの光をユーザの眼に透過させ、環境の一部のビューをユーザに提供するように構成される、ディスプレイと、
環境の画像をあるフレームレートで取得するように構成される、カメラであって、ある視野および第１のフレームレートを有する、カメラと、
カメラによって取得された画像を受信および処理するように構成される、処理電子機器であって、該画像処理は、
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動を査定するステップであって、該相対的運動の査定は、頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるかを決定するステップ、および／または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるかを決定するステップを含む、ステップと、
場所がディスプレイ内に現れるときに、レンダリング可能仮想画像コンテンツがユーザに現れる場所に対応する、環境内の１つ以上の仮想画像コンテンツ場所を決定するステップと、
環境内の１つ以上の仮想画像コンテンツ場所と、該カメラの視野の少なくとも一部を含む、視認ゾーンを比較するステップと、
（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所と視認ゾーンの比較に基づいて、カメラのフレームレートを第１のフレームレートから第２のフレームレートに改変するステップ、および／または処理されるカメラによって取得されたフレーム上の処理の量を調節するステップと、
を含む、処理電子機器と、
を備える、システム。
（実施例２）
該処理電子機器と通信する、運動センサをさらに備え、運動センサは、相対的運動の査定のための測定を実施するように構成される、実施例１に記載のシステム。
（実施例３）
該運動センサは、慣性測定ユニット（ＩＭＵ）を備える、実施例２に記載のシステム。
（実施例４）
該相対的運動の査定は、少なくとも部分的に、角度または線形加速の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例５）
該相対的運動の査定は、少なくとも部分的に、角度または線形速度の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例６）
該相対的運動の査定は、少なくとも部分的に、該頭部搭載型ディスプレイの角度または線形加速の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例７）
該相対的運動の査定は、少なくとも部分的に、該頭部搭載型ディスプレイの角度または線形速度の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例８）
該相対的運動の査定は、少なくとも部分的に、該環境内の１つ以上の特徴の角度または線形加速の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例９）
該相対的運動の査定は、少なくとも部分的に、該環境内の１つ以上の特徴の角度または線形速度の測定に基づく、上記実施例のいずれかに記載のシステム。
（実施例１０）
該相対的運動の査定は、頭部搭載型ディスプレイの運動または予期される運動が閾値を超えることを決定するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例１１）
該相対的運動の査定は、該環境内の１つ以上の特徴の運動または予期される運動が閾値を超えることを決定するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例１２）
第２のフレームレートは、カメラが、該相対的運動の査定に基づいて、低減されたフレームレートで動作するように構成されるように、第１のフレームレートより低い、上記実施例のいずれかに記載のシステム。
（実施例１３）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動した、移動中である、または移動することが予期されること、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されること、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン内の場所を含むことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例１４）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量はさらに、（ｉｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野内の場所を含まないことの決定に基づいて低減される、実施例１３に記載のシステム。
（実施例１５）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野領域内の場所を含む場合、低減されない、上記実施例のいずれかに記載のシステム。
（実施例１６）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動した、移動中である、または移動することが予期されること、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されること、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、（ｉ）視認ゾーンを越え、かつ（ｉｉ）近距離動眼視野領域を越える、遠距離動眼視野内の場所を含むことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例１７）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量はさらに、（ｉｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野内の場所を含まないことの決定に基づいて低減される、実施例１６に記載のシステム。
（実施例１８）
視認ゾーンは、カメラの視野を含む、上記実施例のいずれかに記載のシステム。
（実施例１９）
カメラの視野は、約４５ｏ～１３５ｏである、実施例１８に記載のシステム。
（実施例２０）
視認ゾーンは、カメラの視野に対応し、該１つ以上の仮想画像コンテンツ場所と視認ゾーンを比較するステップは、環境内の１つ以上の仮想画像コンテンツ場所が、カメラの視野内にあるかどうかを決定するステップを含む、実施例１８または１９のいずれかに記載のシステム。
（実施例２１）
第２のフレームレートは、第１のフレームレートより低い、上記実施例のいずれかに記載のシステム。
（実施例２２）
第１のフレームレートは、約３０ｆｐｓ～６０ｆｐｓである、上記実施例のいずれかに記載のシステム。
（実施例２３）
第２のフレームレートは、約５ｆｐｓ～２０ｆｐｓである、上記実施例のいずれかに記載のシステム。
（実施例２４）
システムは、（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）該１つ以上の仮想画像コンテンツ場所と該視認ゾーンの比較に基づいて、カメラの第２のフレームレートを設定するように構成される、上記実施例のいずれかに記載のシステム。
（実施例２５）
システムは、（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）該１つ以上の仮想画像コンテンツ場所と該視認ゾーンの比較に基づいて、カメラによって取得されたフレーム上の処理の量を低減させるように構成される、上記実施例のいずれかに記載のシステム。
（実施例２６）
システムは、（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）該１つ以上の仮想画像コンテンツ場所と該視認ゾーンの比較に基づいて、カメラによって取得されたより少ないフレームからのデータを処理するように構成される、上記実施例のいずれかに記載のシステム。
（実施例２７）
システムはさらに、システムの運動についての情報をあるサンプリングレートで受信する、運動センサを備える、上記実施例のいずれかに記載のシステム。
（実施例２８）
システムは、（ｉ）頭部搭載型ディスプレイが、移動したか、移動中であるか、または移動することが予期されるかの決定、および（ｉｉ）該１つ以上の仮想画像コンテンツ場所と該視認ゾーンの比較に基づいて、該カメラのフレームレートを低減させるが、運動センサのサンプリングレートを維持するように構成される、実施例２７に記載のシステム。
（実施例２９）
運動センサのサンプリングレートは、該カメラのフレームレートの低減後、カメラのフレームレートより高速である、実施例２７に記載のシステム。
（実施例３０）
運動センサは、慣性センサまたは加速度計を備える、実施例２７－２９のいずれかに記載のシステム。
（実施例３１）
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定は、環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されることを決定するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例３２）
該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定は、カメラを使用して、環境の１つ以上の特徴を検出するステップを含む、上記実施例のいずれかに記載のシステム。
（実施例３３）
環境の１つ以上の特徴は、環境内のオブジェクトの縁または角のうちの少なくとも１つを含む、実施例３２に記載のシステム。
（実施例３４）
カメラを使用して、環境の１つ以上の特徴を検出するステップは、Ｋａｌｍａｎフィルタ、Ｓｏｂｏｌアルゴリズム、またはＨａｒｒｉｓアルゴリズムのうちの少なくとも１つを使用するステップを含む、実施例３２または３３に記載のシステム。
（実施例３５）
少なくとも１つの第２のカメラを備える、上記実施例のいずれかに記載のシステム。
（実施例３６）
該カメラおよび該第２のカメラは、環境の非同一部分を検出するように構成される、実施例３５に記載のシステム。
（実施例３７）
カメラは、環境の第１の部分を検出するように構成され、第２のカメラは、環境の第２の部分を検出するように構成され、環境の第１の部分は、環境の第２の部分と部分的に重複する、実施例３５または３６に記載のシステム。
（実施例３８）
該カメラおよび該第２のカメラは、ユーザの左眼に対応する、該フレームの左側上に配置される、実施例３５－３７のいずれかに記載のシステム。
（実施例３９）
該カメラおよび該第２のカメラは、ユーザの右眼に対応する、該フレームの右側上に配置される、実施例３５－３７のいずれかに記載のシステム。
（実施例４０）
（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）仮想画像コンテンツ場所と該視認ゾーンの比較に基づいて、複数のカメラのうちの第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量を減少させるステップをさらに含む、実施例３５－３９のいずれかに記載のシステム。
（実施例４１）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動した、移動中である、または移動することが予期されること、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されること、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン内の場所を含むことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例４２）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量はさらに、（ｉｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野内を含まないことの決定に基づいて低減される、実施例４１に記載のシステム。
（実施例４３）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野領域内の場所を含む場合、低減されない、実施例３５－４０のいずれかに記載のシステム。
（実施例４４）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動した、移動中である、または移動することが予期されること、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されること、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、（ｉ）視認ゾーンを越え、（ｉｉ）近距離動眼視野領域を越える、遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例４５）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量はさらに、（ｉｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野内の場所を含まないことの決定に基づいて低減される、実施例４４に記載のシステム。
（実施例４６）
該カメラは、該第２のカメラよりこめかみ側寄りである、実施例３５－３９のいずれかに記載のシステム。
（実施例４７）
該カメラは、該第２のカメラより鼻側寄りである、実施例３５－３９のいずれかに記載のシステム。
（実施例４８）
該カメラのフレームレートは、（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所と視認ゾーンの比較に基づいて、第２のカメラのフレームレートより低く設定される、実施例４６または４７に記載のシステム。
（実施例４９）
該カメラ上の処理の量は、（ｉ）該頭部搭載型ディスプレイと該環境内の１つ以上の特徴との間の相対的運動の該査定、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所と視認ゾーンの比較に基づいて、第２のカメラによって取得されたフレーム上の処理の量より低く設定される、実施例４６または４８のいずれかに記載のシステム。
（実施例５０）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動した、移動中である、または移動することが予期されること、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されること、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン外の場所を含まないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５１）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、（ｉ）頭部搭載型ディスプレイが、環境内の１つ以上の特徴に対して、移動した、移動中である、または移動することが予期されること、または環境内の１つ以上の特徴が、頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されること、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン外の場所を含まないことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例５２）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または予期される移動の決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５３）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、頭部搭載型ディスプレイの運動または予期される運動が閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５４）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、該環境内の１つ以上の特徴の運動または予期される運動が閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５５）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、頭部搭載型ディスプレイの運動または予期される運動がある持続時間にわたって閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５６）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、該環境内の１つ以上の特徴の運動または予期される運動がある持続時間にわたって閾値を超えないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５７）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン内の場所を含むことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５８）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、（ａ）視認ゾーンを越え、かつ（ｂ）近距離動眼視野領域を越える、遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例５９）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン内の場所を含むことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例６０）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、（ａ）視認ゾーンを越え、かつ（ｂ）近距離動眼視野領域を越える、遠距離動眼視野領域内の場所を含むことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例６１）
カメラのフレームレートおよび／またはカメラによって取得されたフレーム上の処理の量は、（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン外の場所を含まないことの決定に基づいて低減される、上記実施例のいずれかに記載のシステム。
（実施例６２）
第２のカメラのフレームレートおよび／または第２のカメラによって取得されたフレーム上の処理の量は、（ｉ）環境内の１つ以上の特徴に対する頭部搭載型ディスプレイの限定された移動または限定された予期される移動、または頭部搭載型ディスプレイに対する環境内の１つ以上の特徴の限定された移動または限定された予期される移動、および（ｉｉ）環境内の１つ以上の仮想画像コンテンツ場所が、視認ゾーン外の場所を含まないことの決定に基づいて低減される、実施例３５－４０のいずれかに記載のシステム。
（実施例６３）
カメラからのフレームの処理の量を低減させるステップは、処理されるカメラによって捕捉されたフレームの数を低減させるステップを含む、上記の実施例のいずれかに記載のシステム。
（実施例６４）
カメラからのフレームの処理の量を低減させるステップは、カメラによって捕捉されたフレームの第２の部分未満のカメラによって捕捉されたフレームの第１の部分を処理するステップを含む、上記の実施例のいずれかに記載のシステム。
（他の考慮点）
本明細書に説明される実施例のいずれかでは、カメラのフレームレートは、カメラおよび／または頭部搭載型ディスプレイをオフにすることなく、低減され、および／またはフレームレートをゼロに低減させることができる。同様に、処理されるカメラによって取得されたフレーム上の処理の量は、カメラおよび／またはフレームの処理を実施する処理電子機器をオフにすることなく、および／または頭部搭載型ディスプレイをオフにすることなく、低減されることができる。同様に、処理されるカメラによって捕捉されたフレームの数は、カメラおよび／またはフレームの処理を実施する処理電子機器をオフにすることなく、および／または頭部搭載型ディスプレイをオフにすることなく、低減されることができる。
例えば、本明細書に説明されるシステム、デバイス、コンポーネント、方法、およびプロセスの広範囲の変形例が、可能性として考えられる。例えば、コンポーネントは、本明細書に説明されるシステムおよび／またはデバイスに追加される、そこから除去される、またはその中で再配列されることができる。加えて、ステップが、本明細書に説明される方法およびプロセスに追加される、そこから除去される、またはその中で再配列されることができる。本明細書に開示されるシステム、方法、およびデバイスはそれぞれ、いくつかの革新的側面を有し、そのうちの１つのみが、本明細書に開示される望ましい属性に関与するわけではない。種々の例示的システムおよび方法は、下記に提供される。
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、動画またはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶されてもよい。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとってもよい。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶されてもよい、またはコンピュータ可読伝送媒体を介して通信されてもよい。
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去されてもよい。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能性として考えられる。
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワーク、または任意の他のタイプの通信ネットワークであってもよい。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須なわけではない。
とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つまたはそれを上回る実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施されること、または全ての図示される動作が実施されることの必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (21)

  1. 頭部搭載型ディスプレイシステムであって、
    ユーザの頭部上に支持されるように構成されるフレームと、
    前記フレーム上に配置されるディスプレイであって、前記ディスプレイは、仮想画像と関連付けられる光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザに表示するように構成され、環境からの光を前記ユーザの眼に透過させ、前記環境の一部のビューを前記ユーザに提供するようにさらに構成される、ディスプレイと、
    前記環境の画像をあるフレームレートで取得するように構成されるカメラであって、前記カメラは、ある視野および第１のフレームレートを有する、カメラと、
    前記カメラによって取得されたフレームを受信および処理するように構成される処理電子機器であって、前記フレームを処理することは、
    前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動を査定することであって、前記相対的運動の査定は、前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるかを決定すること、および／または前記環境内の１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるかを決定することを含む、ことと、
    前記環境内の１つ以上の仮想画像コンテンツ場所を決定することであって、前記環境内の前記１つ以上の仮想画像コンテンツ場所は、場所に対応し、前記場所は、前記ディスプレイによって提供される前記環境の前記一部のビュー内に前記場所があるときにレンダリング可能仮想画像コンテンツが前記ユーザに表示される場所である、ことと、
    前記環境内の前記１つ以上の仮想画像コンテンツ場所と、前記カメラの前記視野の少なくとも一部を含む視認ゾーンとを比較することと、
    （ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記環境内の前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの前記比較とに基づいて、前記カメラのフレームレートを第１のフレームレートから第２のフレームレートに改変すること、および／または処理される前記カメラによって取得された前記フレーム上の処理の量を調節することと
    を含む、処理電子機器と
    を備える、システム。
  2. 前記処理電子機器と通信する運動センサをさらに備え、前記運動センサは、前記相対的運動の査定のための測定を実施するように構成される、請求項１に記載のシステム。
  3. 前記運動センサは、慣性測定ユニット（ＩＭＵ）を備える、請求項２に記載のシステム。
  4. 前記相対的運動の査定は、前記頭部搭載型ディスプレイの角度または線形加速の測定に少なくとも部分的に基づく、請求項１～３のいずれかに記載のシステム。
  5. 前記相対的運動の査定は、前記頭部搭載型ディスプレイの角度または線形速度の測定に少なくとも部分的に基づく、請求項１～４のいずれかに記載のシステム。
  6. 前記相対的運動の査定は、前記環境内の前記１つ以上の特徴の角度または線形加速の測定に少なくとも部分的に基づく、請求項１～５のいずれかに記載のシステム。
  7. 前記相対的運動の査定は、前記環境内の前記１つ以上の特徴の角度または線形速度の測定に少なくとも部分的に基づく、請求項１～６のいずれかに記載のシステム。
  8. 前記相対的運動の査定は、前記頭部搭載型ディスプレイの運動または予期される運動が閾値を超えることを決定することを含む、請求項１～７のいずれかに記載のシステム。
  9. 前記相対的運動の査定は、前記環境内の前記１つ以上の特徴の運動または予期される運動が閾値を超えることを決定することを含む、請求項１～８のいずれかに記載のシステム。
  10. 前記第２のフレームレートは、前記カメラが、前記相対的運動の査定に基づいて、低減されたフレームレートで動作するように構成されるように、前記第１のフレームレートより低い、請求項１～９のいずれかに記載のシステム。
  11. 前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動した、移動中である、または移動することが予期されること、または前記環境内の前記１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動した、移動中である、または移動することが予期されること、および（ｉｉ）前記環境内の前記１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン内の場所を含むことの決定に基づいて低減される、請求項１～１０のいずれかに記載のシステム。
  12. 前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉｉｉ）前記環境内の１つ以上の仮想画像コンテンツ場所が、近距離動眼視野内の場所を含まないことの決定にさらに基づいて低減される、請求項１１に記載のシステム。
  13. 前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記環境内の前記１つ以上の仮想画像コンテンツ場所が、近距離動眼視野領域内の場所を含む場合、低減されない、請求項１～１２のいずれかに記載のシステム。
  14. 前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の前記１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の前記１つ以上の仮想画像コンテンツ場所が、（ｉ）前記視認ゾーンを越え、かつ（ｉｉ）近距離動眼視野領域を越える遠距離動眼視野内の場所を含むことの決定に基づいて低減される、請求項１～１３のいずれかに記載のシステム。
  15. 前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉｉｉ）前記環境内の前記１つ以上の仮想画像コンテンツ場所が、近距離動眼視野内の場所を含まないことの決定にさらに基づいて低減される、請求項１４に記載のシステム。
  16. 前記第２のフレームレートは、前記第１のフレームレートより低い、請求項１～１５のいずれかに記載のシステム。
  17. 前記システムは、（ｉ）前記頭部搭載型ディスプレイと前記環境内の１つ以上の特徴との間の相対的運動の前記査定と、（ｉｉ）前記１つ以上の仮想画像コンテンツ場所と前記視認ゾーンとの前記比較とに基づいて、前記カメラによって取得されたより少ないフレームからのデータを処理するように構成される、請求項１～１６のいずれかに記載のシステム。
  18. 前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、（ｉ）前記頭部搭載型ディスプレイが、前記環境内の１つ以上の特徴に対して、移動したか、移動中であるか、または移動することが予期されるか、または前記環境内の前記１つ以上の特徴が、前記頭部搭載型ディスプレイに対して、移動したか、移動中であるか、または移動することが予期されるか、および（ｉｉ）前記環境内の前記１つ以上の仮想画像コンテンツ場所が、前記視認ゾーン外の場所を含まないことの決定に基づいて低減される、請求項１～１７のいずれかに記載のシステム。
  19. 前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記環境内の１つ以上の特徴に対する前記頭部搭載型ディスプレイの限定された移動または予期される移動、または前記頭部搭載型ディスプレイに対する前記環境内の１つ以上の特徴の限定された移動または予期される移動の決定に基づいて低減される、請求項１～１８のいずれかに記載のシステム。
  20. 前記カメラのフレームレートおよび／または前記カメラによって取得された前記フレーム上の処理の量は、前記頭部搭載型ディスプレイの運動または予期される運動が閾値を超えないことの決定に基づいて低減される、請求項１～１９のいずれかに記載のシステム。
  21. 前記カメラからの前記フレーム上の処理の量を低減させることは、処理される前記カメラによって捕捉されたフレームの数を低減させることを含む、請求項１～２０のいずれかに記載のシステム。
JP2020570198A 2018-06-18 2019-06-18 フレーム変調機能性を伴う拡張現実ディスプレイ Active JP7378431B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862686644P 2018-06-18 2018-06-18
US62/686,644 2018-06-18
US201862702817P 2018-07-24 2018-07-24
US62/702,817 2018-07-24
PCT/US2019/037773 WO2019246129A2 (en) 2018-06-18 2019-06-18 Augmented reality display with frame modulation functionality

Publications (3)

Publication Number Publication Date
JP2021527998A JP2021527998A (ja) 2021-10-14
JPWO2019246129A5 JPWO2019246129A5 (ja) 2022-06-27
JP7378431B2 true JP7378431B2 (ja) 2023-11-13

Family

ID=68838824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020570198A Active JP7378431B2 (ja) 2018-06-18 2019-06-18 フレーム変調機能性を伴う拡張現実ディスプレイ

Country Status (5)

Country Link
US (2) US10986270B2 (ja)
EP (1) EP3807710B1 (ja)
JP (1) JP7378431B2 (ja)
CN (1) CN112567287A (ja)
WO (1) WO2019246129A2 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019246044A1 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Head-mounted display systems with power saving functionality
WO2019246129A2 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Augmented reality display with frame modulation functionality
US10867164B2 (en) * 2018-06-29 2020-12-15 Intel Corporation Methods and apparatus for real-time interactive anamorphosis projection via face detection and tracking
GB2575509A (en) 2018-07-13 2020-01-15 Nokia Technologies Oy Spatial audio capture, transmission and reproduction
US10937191B2 (en) * 2018-10-23 2021-03-02 Dell Products, Lp Predictive simultaneous localization and mapping system using prior user session positional information
CN109756723B (zh) * 2018-12-14 2021-06-11 深圳前海达闼云端智能科技有限公司 获取影像的方法和装置，存储介质和电子设备
US11315354B2 (en) * 2018-12-24 2022-04-26 Samsung Electronics Co., Ltd. Method and apparatus that controls augmented reality (AR) apparatus based on action prediction
DE102019135676A1 (de) * 2018-12-26 2020-07-02 Htc Corporation Objektverfolgungssystem und objektverfolgungsverfahren
US12003846B2 (en) * 2019-02-12 2024-06-04 Telefonaktiebolaget Lm Ericsson (Publ) Method, computer program, and devices for image acquisition
US11070778B2 (en) * 2019-02-14 2021-07-20 Facebook Technologies, Llc Multi-projector display architecture
CN110287764B (zh) * 2019-05-06 2022-01-11 深圳大学 姿势预测方法、装置、计算机设备和存储介质
US11265487B2 (en) 2019-06-05 2022-03-01 Mediatek Inc. Camera view synthesis on head-mounted display for virtual reality and augmented reality
FR3098605B1 (fr) * 2019-07-10 2021-07-23 Photonis France Appareil de vision nocturne de type numerique avec vitesse d’acquisition d’image ajustable.
US10916062B1 (en) * 2019-07-15 2021-02-09 Google Llc 6-DoF tracking using visual cues
US11048091B1 (en) * 2019-09-13 2021-06-29 Facebook Technologies, Llc Wide-field image light and inset image light for head mounted displays
US11023041B1 (en) * 2019-11-07 2021-06-01 Varjo Technologies Oy System and method for producing images based on gaze direction and field of view
US11381791B2 (en) * 2019-12-04 2022-07-05 Magic Leap, Inc. Variable-pitch color emitting display
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
JP2021168436A (ja) * 2020-04-09 2021-10-21 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN115515491A (zh) * 2020-04-20 2022-12-23 奇跃公司 使用基于图像运动度量的表情预测
US11763779B1 (en) 2020-04-23 2023-09-19 Apple Inc. Head-mounted display systems with alignment monitoring
JP6935545B1 (ja) * 2020-06-18 2021-09-15 三菱電機ビルテクノサービス株式会社 人物追跡支援装置および人物追跡支援システム
US11436742B2 (en) 2020-07-22 2022-09-06 Microsoft Technology Licensing, Llc Systems and methods for reducing a search area for identifying correspondences between images
CN111914730B (zh) * 2020-07-28 2023-11-24 上海工程技术大学 一种基于联合时空采样的无监督视频序列行人再识别方法
US11321838B2 (en) * 2020-08-31 2022-05-03 Facebook Technologies, Llc. Distributed sensor module for eye-tracking
US11385992B2 (en) * 2020-09-17 2022-07-12 International Business Machines Corporation Wearable device test case execution
EP4226237A1 (en) * 2020-09-25 2023-08-16 Apple Inc. Structured display shutdown for video pass-through electronic devices
WO2022072097A1 (en) * 2020-09-30 2022-04-07 Snap Inc. Multi-purpose cameras for augmented reality and computer vision applications
CN112527102B (zh) * 2020-11-16 2022-11-08 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置
US20220236782A1 (en) * 2021-01-28 2022-07-28 Dell Products, Lp System and method for intelligent multi-application and power management for multimedia collaboration applications
US11221493B1 (en) * 2021-02-03 2022-01-11 Jamaul Baker Virtual reality body suit assembly
US12008157B2 (en) * 2021-03-01 2024-06-11 Qualcomm Incorporated Movement detection of a head mounted device
WO2022212916A1 (en) * 2021-04-01 2022-10-06 Giant.Ai, Inc. Hybrid computing architectures with specialized processors to encode/decode latent representations for controlling dynamic mechanical systems
US20220319014A1 (en) * 2021-04-05 2022-10-06 Facebook Technologies, Llc Systems and methods for dynamic image processing and segmentation
US11490338B1 (en) * 2021-05-25 2022-11-01 Microsoft Technology Licensing, Llc Motion-responsive transmission power management
JP2023028300A (ja) * 2021-08-19 2023-03-03 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11889200B2 (en) * 2021-12-07 2024-01-30 Thales Defense & Security, Inc. Methods and systems for generating a high-rate video for a camera in motion
US20230222625A1 (en) * 2022-01-12 2023-07-13 Htc Corporation Method for adjusting virtual object, host, and computer readable storage medium
US11720168B1 (en) 2022-05-25 2023-08-08 Microsoft Technology Licensing, Llc Inferred body movement using wearable RF antennas
US11775057B1 (en) 2022-05-25 2023-10-03 Microsoft Technology Licensing, Llc Head-mounted display operation based on face tracking
WO2024043438A1 (ko) * 2022-08-24 2024-02-29 삼성전자주식회사 카메라 모듈을 제어하는 웨어러블 전자 장치 및 그 동작 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120062445A1 (en) 2010-02-28 2012-03-15 Osterhout Group, Inc. Adjustable wrap around extendable arm for a head-mounted display
US20130293447A1 (en) 2012-05-04 2013-11-07 Sony Computer Entertainment Europe Limited Head-mountable display system
US20130335301A1 (en) 2011-10-07 2013-12-19 Google Inc. Wearable Computer with Nearby Object Response
US20150277121A1 (en) 2014-03-29 2015-10-01 Ron Fridental Method and apparatus for displaying video data
US20160270656A1 (en) 2015-03-16 2016-09-22 Magic Leap, Inc. Methods and systems for diagnosing and treating health ailments
JP2017102946A (ja) 2011-10-28 2017-06-08 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
WO2017153772A1 (en) 2016-03-11 2017-09-14 Sony Interactive Entertainment Europe Limited Virtual reality
US20180005034A1 (en) 2016-06-30 2018-01-04 Magic Leap, Inc. Estimating pose in 3d space
WO2018104732A1 (en) 2016-12-09 2018-06-14 Sony Interactive Entertainment Inc. Head mounted display with user head rotation guidance

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
EP2175640A1 (en) * 2007-08-09 2010-04-14 Panasonic Corporation Recorder
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
WO2012088478A1 (en) 2010-12-24 2012-06-28 Chunyu Gao An ergonomic head mounted display device and optical system
RU2621644C2 (ru) 2011-05-06 2017-06-06 Мэджик Лип, Инк. Мир массового одновременного удаленного цифрового присутствия
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
EP3608717B1 (en) 2012-04-05 2023-09-27 Magic Leap, Inc. Wide-field of view (fov) imaging devices with active foveation capability
US9979884B2 (en) * 2012-06-11 2018-05-22 Sony Interactive Entertainment Inc. Image capturing device, and image capturing method
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
JP2015534108A (ja) 2012-09-11 2015-11-26 マジック リープ， インコーポレイテッド 人間工学的な頭部搭載型ディスプレイデバイスおよび光学システム
WO2014113506A1 (en) 2013-01-15 2014-07-24 Magic Leap, Inc. Ultra-high resolution scanning fiber display
IL308285B1 (en) 2013-03-11 2024-07-01 Magic Leap Inc System and method for augmentation and virtual reality
CN108628446B (zh) * 2013-03-15 2021-10-26 奇跃公司 显示系统和方法
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
CA2927818C (en) 2013-10-16 2021-11-30 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN105934902B (zh) 2013-11-27 2018-11-23 奇跃公司 虚拟和增强现实系统与方法
CA2938264C (en) 2014-01-31 2020-09-22 Magic Leap, Inc. Multi-focal display system and method
JP2015163947A (ja) 2014-02-03 2015-09-10 キヤノン株式会社 光源光学系およびこれを用いた光源装置、画像表示装置
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
EP3140780B1 (en) 2014-05-09 2020-11-04 Google LLC Systems and methods for discerning eye signals and continuous biometric identification
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
EP3149539A4 (en) 2014-05-30 2018-02-07 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
GB2533788A (en) * 2014-12-30 2016-07-06 Nokia Technologies Oy Method for determining the position of a portable device
NZ752336A (en) * 2015-08-18 2023-06-30 Magic Leap Inc Virtual and augmented reality systems and methods
US10306187B2 (en) * 2015-10-16 2019-05-28 Vivint, Inc. Adjustable movement detection doorbell
US10638047B2 (en) * 2015-12-16 2020-04-28 Gopro, Inc. Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
US10212428B2 (en) * 2017-01-11 2019-02-19 Microsoft Technology Licensing, Llc Reprojecting holographic video to enhance streaming bandwidth/quality
US10187607B1 (en) * 2017-04-04 2019-01-22 Gopro, Inc. Systems and methods for using a variable capture frame rate for video capture
US10769438B2 (en) * 2017-05-23 2020-09-08 Samsung Electronics Company, Ltd. Augmented reality
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
US10338400B2 (en) * 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10726627B2 (en) * 2017-07-25 2020-07-28 Facebook Technologies, Llc Sensor system based on stacked sensor layers
WO2019079790A1 (en) * 2017-10-21 2019-04-25 Eyecam, Inc ADAPTIVE GRAPHIC USER INTERFACE SYSTEM
WO2019246129A2 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Augmented reality display with frame modulation functionality

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120062445A1 (en) 2010-02-28 2012-03-15 Osterhout Group, Inc. Adjustable wrap around extendable arm for a head-mounted display
US20130335301A1 (en) 2011-10-07 2013-12-19 Google Inc. Wearable Computer with Nearby Object Response
JP2017102946A (ja) 2011-10-28 2017-06-08 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
US20130293447A1 (en) 2012-05-04 2013-11-07 Sony Computer Entertainment Europe Limited Head-mountable display system
US20150277121A1 (en) 2014-03-29 2015-10-01 Ron Fridental Method and apparatus for displaying video data
US20160270656A1 (en) 2015-03-16 2016-09-22 Magic Leap, Inc. Methods and systems for diagnosing and treating health ailments
WO2017153772A1 (en) 2016-03-11 2017-09-14 Sony Interactive Entertainment Europe Limited Virtual reality
US20180005034A1 (en) 2016-06-30 2018-01-04 Magic Leap, Inc. Estimating pose in 3d space
WO2018104732A1 (en) 2016-12-09 2018-06-14 Sony Interactive Entertainment Inc. Head mounted display with user head rotation guidance

Also Published As

Publication number Publication date
EP3807710A2 (en) 2021-04-21
WO2019246129A3 (en) 2020-08-13
WO2019246129A2 (en) 2019-12-26
US10986270B2 (en) 2021-04-20
CN112567287A (zh) 2021-03-26
EP3807710A4 (en) 2022-03-09
EP3807710B1 (en) 2024-01-17
US20210385379A1 (en) 2021-12-09
JP2021527998A (ja) 2021-10-14
US20190387168A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
JP7378431B2 (ja) フレーム変調機能性を伴う拡張現実ディスプレイ
JP7529710B2 (ja) 複合現実較正のための眼球周囲試験
JP7186844B2 (ja) ウェアラブルデバイスによる顔モデル捕捉
JP7502292B2 (ja) アバタ移動のためのマルチモードの手の場所および配向
US11906732B2 (en) Head-mounted display systems with power saving functionality
CN112106066A (zh) 根据眼睛跟踪相机的面部表情
US20230281988A1 (en) Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device
US20240027794A1 (en) Virtual object movement speed curve for virtual and augmented reality display systems

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220617

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230424

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231031

R150 Certificate of patent or registration of utility model

Ref document number: 7378431

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150