JP7397777B2 - 仮想現実、拡張現実、および複合現実システムおよび方法 - Google Patents

仮想現実、拡張現実、および複合現実システムおよび方法 Download PDF

Info

Publication number
JP7397777B2
JP7397777B2 JP2020138439A JP2020138439A JP7397777B2 JP 7397777 B2 JP7397777 B2 JP 7397777B2 JP 2020138439 A JP2020138439 A JP 2020138439A JP 2020138439 A JP2020138439 A JP 2020138439A JP 7397777 B2 JP7397777 B2 JP 7397777B2
Authority
JP
Japan
Prior art keywords
image data
depth plane
display
virtual
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020138439A
Other languages
English (en)
Other versions
JP2020195154A (ja
Inventor
フェリックス ロドリゲス ホセ
マルティネス ペレス リカルド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2020195154A publication Critical patent/JP2020195154A/ja
Priority to JP2022162258A priority Critical patent/JP2023015037A/ja
Application granted granted Critical
Publication of JP7397777B2 publication Critical patent/JP7397777B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3243—Power saving in microcontroller unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • User Interface Of Digital Computer (AREA)
  • Power Sources (AREA)
  • Computing Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

（関連出願の相互参照）
本願は、米国仮出願第６２／３７７，８２９号、出願日２０１６年８月２２日、代理人管理番号ＭＬ．３００８５．００、発明の名称“ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ”、米国仮出願第６２／３７７，８０４号、出願日２０１６年８月２２日、代理人管理番号ＭＬ．３００８６．００、発明の名称 “ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ”、および米国仮出願第６２／４６２，２７９号、出願日２０１７年２月２２日、代理人管理番号ＭＬｋ－３００９３、発明の名称 “ＶＩＲＴＵＡＬ， ＡＵＧＭＥＮＴＥＤ， ＡＮＤ ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ”に対する優先権を主張するものである。本願は、米国特許出願第１４／５５５，５８５号、出願日２０１４年１１月２７日、代理人管理番号ＭＬ．２００１１．００、発明の名称“ＶＩＲＴＵＡＬ ＡＮＤ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ”に関連している。上記特許出願の内容は、全体が記載されているかのように、それらの全体が参照により明示的かつ完全に本明細書中に援用される。上記援用された特許出願における記載は、仮想現実、拡張現実、および複合現実システムおよび方法の種々の実施形態である。本明細書中に記載されているのは、仮想現実、拡張現実、および複合現実システムおよび方法のさらなる実施形態である。
本特許ドキュメントの開示の一部は、著作権保護の対象である資料を含む。著作権者は、特許商標庁の特許ファイルまたは記録において見られる特許ドキュメントまたは特許開示のいかなる者によるファクシミリ複製にも異議を唱えないが、それ以外についてはあらゆる著作権保護を留保する。
本開示は、仮想現実、拡張現実、および複合現実結像、可視化、およびディスプレイシステムならびに方法に関する。
現代のコンピューティングおよびディスプレイ技術は、仮想現実（「ＶＲ」）、拡張現実（「ＡＲ」）、および複合現実（「ＭＲ」）システムの開発を促進している。ＶＲシステムは、ユーザが体験するためのシミュレートされた環境を作成する。これは、頭部搭載型ディスプレイを通して、コンピュータ生成画像をユーザに提示することによって行われることができる。本画像は、感覚体験を作成し、これは、ユーザをシミュレートされた環境に没入させる。ＶＲシナリオは、典型的には、実際の実世界画像もまた導入するのではなく、コンピュータ生成画像のみの提示を伴う。
ＡＲシステムは、概して、実世界環境をシミュレートされた要素で補完する。例えば、ＡＲシステムは、ユーザに、頭部搭載型ディスプレイを介して、周囲の実世界環境のビューを提供し得る。しかしながら、コンピュータ生成画像もまた、ディスプレイ上に提示され、実世界環境を向上させることができる。本コンピュータ生成画像は、実世界環境にコンテキスト的に関連する、要素を含むことができる。そのような要素は、シミュレートされたテキスト、画像、オブジェクト等を含むことができる。ＭＲシステムもまた、シミュレートされたオブジェクトを実世界環境に導入するが、これらのオブジェクトは、典型的には、ＡＲシステムを上回る相互作用の程度を特徴とする。シミュレートされた要素は、多くの場合、リアルタイムで相互作用することができる。
図１は、例示的ＡＲ／ＭＲ場面１を描写し、ユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム２０を特徴とする、実世界公園設定６が見える。これらのアイテムに加え、コンピュータ生成画像もまた、ユーザに提示される。コンピュータ生成画像は、例えば、実世界プラットフォーム２０上に立っているロボット像１０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ２とを含むことができるが、これらの要素２、１０は、実世界環境に実際には存在しない。
種々の光学要素は、ＶＲ、ＡＲ、またはＭＲシナリオを表示するために、画像を種々の深度に生成する。いくつかのそのような光学システムは、２０１４年１１月２７日に出願された米国実用特許出願第１４／５５５，５８５号（弁理士整理番号第ＭＬ．２００１１．００号）（その内容は、参照することによって前述で本明細書に組み込まれている）に説明される。ＭＲ体験を表示するための他のそのような光学システムは、米国実用特許出願第１４／７３８，８７７号（弁理士整理番号第ＭＬ．２００１９．００号）（その内容は、全体として記載される場合と同様に、参照することによってその全体として完全に本明細書に組み込まれる）に説明される。
ヒトの視知覚系は、複雑であるため、他の仮想または実世界画像要素の中に仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲ／ＡＲ／ＭＲ技術を生産することは、困難である。改良された技術が、例えば、制御データを提供し、画像データが表示される方法を制御するための技術、画像データ内の光学歪曲を補正するための技術、多くの深度平面からの画像データを表示および混成するための技術、およびユーザの頭部姿勢に基づいて、画像データをワーピングさせるための技術を含む、そのようなシステム内で画像データを処理するために必要とされる。ＶＲ／ＡＲ／ＭＲ技術はまた、サイズおよび可搬性問題、バッテリ寿命問題、システム過熱問題、および他のシステムならび光学課題を有する。改良された技術が、例えば、過熱原因識別、時間ドメイン電力管理、離散結像モード、および眼／視線追跡ベースのレンダリング修正を含む、これらの問題に対処するために必要とされる。本明細書に説明されるシステムおよび方法は、これらおよび他の課題に対処するように構成される。
必要とされるのは、旧来の技術および／または他の検討されるアプローチに優る改良のための技術もしくは複数の技術である。本背景節に説明されるアプローチのいくつかは、追求された可能性のあるアプローチであるが、必ずしも、以前に考案または追求されたアプローチではない。
レンズ歪曲補正
一実施形態では、仮想、拡張、または複合現実ディスプレイシステムは、仮想、拡張、または複合現実画像データを表示するように構成される、ディスプレイであって、光学歪曲または収差を画像データに導入する、１つ以上の光学コンポーネントを含む、ディスプレイを含む。本システムはまた、画像データをディスプレイに提供するように構成される、コントローラを含む。ディスプレイコントローラは、光学歪曲補正情報を記憶するためのメモリと、少なくとも部分的に、光学歪曲補正情報を使用して、光学歪曲または収差のために画像データを補正するための１つ以上の処理要素とを含む。
１つ以上の実施形態では、光学歪曲補正情報は、少なくとも部分的に、光学歪曲または収差に反比例するように、ディスプレイコントローラによって使用され、画像データを事前に歪曲させる。ディスプレイコントローラは、ディスプレイコントローラによって受信された非歪曲補正画像データ内の異なる第２の場所（ｘ’，ｙ’）の近傍の１つ以上の非歪曲補正ピクセルに基づいて、第１の場所（ｘ，ｙ）における歪曲補正ピクセルを決定することによって、ディスプレイに提供する画像データを事前に歪曲させるように構成されてもよい。光学歪曲補正情報は、第２の場所（ｘ’，ｙ’）を決定するために使用されてもよい。第２の場所の（ｘ’，ｙ’）座標は、分数であってもよい。ディスプレイコントローラは、第２の場所（ｘ’，ｙ’）を囲繞する１つ以上の非歪曲補正ピクセル間を補間することによって、第１の場所（ｘ，ｙ）における歪曲補正ピクセルを決定するように構成されてもよい。ディスプレイコントローラは、バイリニア補間を使用してもよい。
１つ以上の実施形態では、ディスプレイは、画像データの１つ以上の色に対応する１つ以上の少なくとも部分的に明確に異なる光学経路を含み、光学歪曲補正情報は、画像データの複数の色毎に別個の光学歪曲補正情報を含んでもよい。光学歪曲補正情報は、１つ以上のルックアップテーブル内の形態で記憶されてもよい。１つ以上のルックアップテーブルは、圧縮フォーマットで記憶されてもよく、ディスプレイコントローラは、光学歪曲補正情報を使用して光学歪曲または収差を補正する前に、１つ以上のルックアップテーブルを拡張させるように構成されてもよい。光学歪曲補正情報はまた、１つ以上の画像ワーピング操作を実施するための情報を含んでもよく、ディスプレイコントローラはさらに、１つ以上の画像ワーピング操作を画像データに実施するように構成される。
別の実施形態では、仮想、拡張、または複合現実ディスプレイシステムにおける方法は、ディスプレイ上に示されるための仮想、拡張、または複合現実画像データを提供するステップであって、ディスプレイは、光学歪曲または収差を画像データに導入する、１つ以上の光学コンポーネントを含む、ステップを含む。本方法はまた、光学歪曲補正情報を記憶するステップを含む。本方法はさらに、少なくとも部分的に、光学歪曲補正情報を使用して、光学歪曲または収差のために画像データを補正するステップを含む。さらに、本方法は、ディスプレイを用いて、画像データをユーザに表示するステップを含む。
１つ以上の実施形態では、本方法はまた、少なくとも部分的に、光学歪曲または収差に反比例するように、光学歪曲補正情報を使用して、画像データを事前に歪曲させるステップを含む。本方法はさらに、非歪曲画像データ内の異なる第２の場所（ｘ’，ｙ’）の近傍の１つ以上の非歪曲補正ピクセルに基づいて、第１の場所（ｘ，ｙ）における歪曲補正ピクセルを決定することによって、ディスプレイに提供される画像データを事前に歪曲させるステップを含んでもよい。さらに、本方法は、光学歪曲補正情報を使用して、第２の場所（ｘ’，ｙ’）を決定するステップを含んでもよい。加えて、第２の場所の（ｘ’，ｙ’）座標は、分数であってもよい。本方法はまた、第２の場所（ｘ’，ｙ’）を囲繞する１つ以上の非歪曲補正ピクセル間を補間することによって、第１の場所（ｘ，ｙ）における歪曲補正ピクセルを決定するステップを含んでもよい。本方法はまた、バイリニア補間を使用するステップを含んでもよい。
１つ以上の実施形態では、ディスプレイは、画像データの１つ以上の色に対応する１つ以上の少なくとも部分的に明確に異なる光学経路を含み、光学歪曲補正情報は、画像データの複数の色毎に別個の光学歪曲補正情報を含む。本方法はまた、光学歪曲補正情報を１つ以上のルックアップテーブルの形態で記憶するステップを含んでもよい。請求項２０に記載の方法はまた、１つ以上のルックアップテーブルを圧縮フォーマットで記憶するステップと、光学歪曲補正情報を使用して光学歪曲または収差を補正する前に、１つ以上のルックアップテーブルを拡張させるステップとを含んでもよい。光学歪曲補正情報はまた、１つ以上の画像ワーピング操作を実施するための情報を含み、また、１つ以上の画像ワーピング操作を画像データに実施するステップを含んでもよい。
色混成（仮想深度平面）
さらに別の実施形態では、仮想、拡張、または複合現実ディスプレイシステムは、１つ以上の深度平面のためのデジタル画像データを表示するように構成される、ディスプレイであって、第１の深度平面に対応する画像データを表示するための第１の光学経路と、第２の深度平面に対応する画像データを表示するための少なくとも部分的に明確に異なる第２の光学経路とを含む、ディスプレイを含む。本システムはまた、混成された画像データがディスプレイによって表示されると、第１の深度平面と第２の深度平面との間に位置する仮想深度平面に対応するように現れるように、第１の深度平面に対応する画像データと第２の深度平面に対応する画像データを混成するように構成される、ディスプレイコントローラを含む。
１つ以上の実施形態では、ディスプレイコントローラは、第１の深度平面に対応する画像データと第２の深度平面に対応する画像データの加重された組み合わせを計算することによって、第１の深度平面に対応する画像データと第２の深度平面に対応する画像データを混成するように構成される。ディスプレイコントローラは、デジタル画像データに内蔵される仮想深度平面インジケータ情報に基づいて、加重された組み合わせを決定するように構成されてもよく、仮想深度平面インジケータデータは、１つ以上の可能性として考えられる仮想深度平面のうちの１つを規定する。仮想深度平面インジケータデータは、デジタル画像データのピクセル値に内蔵されてもよい。デジタル画像データは、値ピクセル毎に１つ以上の色を含んでもよく、色値の複数の最下位ビットは、仮想深度平面インジケータデータである。
１つ以上の実施形態では、仮想深度平面インジケータデータは、仮想深度平面インジケータデータによって規定された仮想深度平面と関連付けられた混成加重値にアクセスするために使用される。仮想深度平面毎の混成加重値は、ルックアップテーブル内に記憶されてもよい。１つ以上のルックアップテーブルは、デジタル画像データの深度平面毎に提供されてもよい。ディスプレイコントローラは、第１の深度平面に対応する画像データの全てのピクセルと第２の深度平面に対応する画像データの全てのピクセルを同一仮想深度平面に混成するように構成されてもよい。ディスプレイコントローラは、第１の深度平面に対応する画像データの異なるピクセルを異なる仮想深度平面に混成するように構成されてもよい。
さらに別の実施形態では、仮想、拡張、または複合現実ディスプレイシステムにおける方法は、ディスプレイ上に示されるための１つ以上の深度平面のためのデジタル画像データを提供するステップであって、ディスプレイは、第１の深度平面に対応する画像データを表示するための第１の光学経路と、第２の深度平面に対応する画像データを表示するための少なくとも部分的に明確に異なる第２の光学経路とを含む、ステップを含む。本方法はまた、混成された画像データがディスプレイによって表示されると、第１の深度平面と第２の深度平面との間に位置する仮想深度平面に対応するように現れるように、第１の深度平面に対応する画像データと第２の深度平面に対応する画像データを混成するステップを含む。
１つ以上の実施形態では、本方法はまた、第１の深度平面に対応する画像データと第２の深度平面に対応する画像データの加重された組み合わせを計算することによって、第１の深度平面に対応する画像データと第２の深度平面に対応する画像データを混成するステップを含む。本方法はまた、デジタル画像データに内蔵される仮想深度平面インジケータ情報に基づいて、加重された組み合わせを決定するステップであって、仮想深度平面インジケータデータは、１つ以上の可能性として考えられる仮想深度平面のうちの１つを規定するステップを含んでもよい。仮想深度平面インジケータデータは、デジタル画像データのピクセル値に内蔵されてもよい。デジタル画像データは、ピクセル毎に１つ以上の色値を含んでもよく、色値の複数の最下位ビットは、仮想深度平面インジケータデータである。
１つ以上の実施形態では、本方法はまた、仮想深度平面インジケータデータを使用して、仮想深度平面インジケータデータによって規定された仮想深度平面と関連付けられた混成加重値にアクセスするステップを含む。本方法はまた、仮想深度平面毎の混成加重値をルックアップテーブル内に記憶するステップを含んでもよい。本方法はまた、デジタル画像データの深度平面毎に、１つ以上のルックアップテーブルを提供するステップを含んでもよい。本方法はまた、第１の深度平面に対応する画像データの全てのピクセルと第２の深度平面に対応する画像データの全てのピクセルを同一仮想深度平面に混成するステップを含んでもよい。本方法はまた、第１の深度平面に対応する画像データの異なるピクセルを異なる仮想深度平面に混成するステップを含んでもよい。
後の画像ワーピング
別の実施形態では、仮想、拡張、または複合現実ディスプレイシステムは、ユーザの頭部の位置に関連する測定を行うように構成される、慣性測定ユニットを含む。本システムはまた、仮想、拡張、または複合現実画像データをレンダリングするように構成される、グラフィック処理ユニットを含む。本システムはさらに、変換された画像データをユーザに示すように構成される、ディスプレイを含む。さらに、本システムは、走査出力されたレンダリングされた画像データを受信し、ディスプレイに変換された画像データを示させるように構成される、ディスプレイドライバを含む。ディスプレイドライバは、測定を慣性測定ユニットから受信し、頭部姿勢情報を決定するように構成される、頭部姿勢プロセッサと、頭部姿勢情報に基づいて、レンダリングされた画像データを変換された画像データに変換するように構成される、画像ワーピングプロセッサとを含む。
１つ以上の実施形態では、本システムはまた、レンダリングされた画像データをグラフィック処理ユニットから受信し、レンダリングされた画像データをディスプレイドライバに走査出力するように構成される、ディスプレイコントローラを含む。グラフィック処理ユニットおよびディスプレイコントローラのうちの少なくとも１つは、慣性測定ユニットからの第１の測定を使用して決定された第１の頭部姿勢情報に基づいて、第１の変換をレンダリングされた画像データ上で実施するように構成されてもよい。ディスプレイドライバは、慣性測定ユニットからの更新された第２の測定を使用して決定された第２の頭部姿勢情報に基づいて、第２の変換をレンダリングされた画像データ上で実施するように構成されてもよく、第２の頭部姿勢情報は、第１の頭部姿勢情報によって示されるユーザの頭部の位置と第２の頭部姿勢情報によって示されるユーザの頭部の位置との間の差異に関連する。
１つ以上の実施形態では、レンダリングされた画像データは、１つ以上の色成分を含む。画像ワーピングプロセッサは、別個の頭部姿勢情報に基づいて、レンダリングされた画像データの各色成分を変換するように構成されてもよい。ディスプレイは、変換された画像データの１つ以上の色成分を連続して示すように構成されてもよい。
１つ以上の実施形態では、ディスプレイは、変換された画像データの第１の色成分を第１の時間に、変換された画像データの第２の色成分を後続の第２の時間に示すように構成される。画像ワーピングプロセッサは、第１の時間後に決定された頭部姿勢情報に基づいて、レンダリングされた画像データの第２の色成分を変換するように構成されてもよい。画像ワーピングプロセッサによって実施され得る変換は、レンダリングされた画像データの各色成分の回転または平行移動偏移を含む。
１つ以上の実施形態では、レンダリングされた画像データは、１つ以上の深度平面を含む。画像ワーピングプロセッサは、別個の頭部姿勢情報に基づいて、レンダリングされた画像データの各深度平面を変換するように構成されてもよい。ディスプレイは、変換された画像データの１つ以上の深度平面を連続して示すように構成されてもよい。
１つ以上の実施形態では、ディスプレイは、変換された画像データの第１の深度平面を第１の時間に、変換された画像データの第２の深度平面を後続の第２の時間に示すように構成される。画像ワーピングプロセッサは、第１の時間後に決定された頭部姿勢情報に基づいてレンダリングされた画像データの第２の深度平面を変換するように構成されてもよい。画像ワーピングプロセッサによって実施される変換は、レンダリングされた画像データの各深度平面の回転または平行移動偏移を含んでもよい。画像ワーピングプロセッサによって実施される変換は、画像回転または平行移動偏移を含んでもよい。
１つ以上の実施形態では、ディスプレイは、第１のピクセル列の数および第２のピクセル行の数を含む、変換された画像データを示すように構成される。グラフィック処理ユニットは、第１のピクセル列の数を上回るまたは第２のピクセル行の数を上回る数を含む、レンダリングされた画像データをディスプレイドライバに提供するように構成されてもよい。ディスプレイドライバに提供されるレンダリングされた画像データは、レンダリングされた画像データの中心ゾーンと、レンダリングされた画像データのバッファゾーンとを含んでもよく、中心ゾーンは、第１のピクセル列の数と、第２のピクセル行の数とを有し、バッファゾーンは、中心ゾーンを越えて延在するピクセルを含む。頭部姿勢情報に基づいて、レンダリングされた画像データを変換することは、レンダリングされた画像データをバッファゾーンから中心ゾーンの中にもたらさせてもよい。
１つ以上の実施形態では、グラフィック処理ユニットは、頭部姿勢情報に基づいて画像ワーピングを実施するように構成されない。グラフィック処理ユニットは、慣性測定ユニットからの更新された測定または更新された頭部姿勢情報をレンダリングされた画像データに追加するように構成されてもよい。グラフィック処理ユニットは、レンダリングされた画像データの最後のラインを走査出力した後、慣性測定ユニットからの更新された測定または更新された頭部姿勢情報をレンダリングされた画像データに追加するように構成されてもよい。本システムはまた、共通クロック信号を慣性測定ユニット、グラフィック処理ユニット、およびディスプレイドライバに提供し、ユーザの頭部の位置、頭部姿勢情報、または頭部姿勢情報に基づく変換に関連する測定のための共通基準を提供するように構成される、クロックを含んでもよい。
さらに別の実施形態では、仮想、拡張、または複合現実ディスプレイシステムにおける方法は、グラフィック処理ユニットを使用して、仮想、拡張、または複合現実画像データをレンダリングするステップを含む。本方法はまた、レンダリングされた画像データをユーザに示されるためのディスプレイに走査出力するステップを含む。本方法はさらに、慣性測定ユニットを使用して、ユーザの頭部の位置に関連する測定を行うステップを含む。さらに、本方法は、慣性測定ユニットからの測定を使用して、頭部姿勢情報を決定するステップを含む。加えて、本方法は、レンダリングされた画像データをディスプレイに走査出力した後、頭部姿勢情報に基づいて、レンダリングされた画像データを変換するステップを含む。本方法はまた、変換された画像データをディスプレイ上に示すステップを含む。
１つ以上の実施形態では、本方法はまた、慣性測定ユニットからの第１の測定を使用して決定された第１の頭部姿勢情報に基づいて、第１の変換をレンダリングされた画像データ上で実施するステップを含む。本方法はまた、慣性測定ユニットからの更新された第２の測定を使用して決定された第２の頭部姿勢情報に基づいて、第２の変換を走査出力されたレンダリングされた画像データに実施するステップであって、第２の頭部姿勢情報は、第１の頭部姿勢情報によって示されるユーザの頭部の位置と第２の頭部姿勢情報によって示されるユーザの頭部の位置との間の差異に関連する、ステップを含んでもよい。
１つ以上の実施形態では、慣性測定ユニットからの測定を使用して、頭部姿勢情報を決定するステップは、レンダリングされた画像データをディスプレイに走査出力した後に行われる。レンダリングされた画像データは、１つ以上の色成分を含んでもよい。本方法はまた、別個の頭部姿勢情報に基づいて、レンダリングされた画像データの各色成分を変換するステップを含んでもよい。本方法はまた、変換された画像データの複数の色成分を連続して示すステップを含んでもよい。
１つ以上の実施形態では、本方法はまた、変換された画像データの第１の色成分を第１の時間に、変換された画像データの第２の色成分を後続の第２の時間に示すステップを含む。本方法はまた、第１の時間後に決定された頭部姿勢情報に基づいて、レンダリングされた画像データの第２の色成分を変換するステップを含んでもよい。
１つ以上の実施形態では、レンダリングされた画像データの各色成分を変換するステップは、レンダリングされた画像データの各色成分回転または平行移動偏移させるステップを含む。レンダリングされた画像データは、１つ以上の深度平面を含んでもよい。本方法はまた、別個の頭部姿勢情報に基づいて、レンダリングされた画像データの各深度平面を変換するステップを含んでもよい。本方法はまた、変換された画像データの１つ以上の深度平面を連続して示すステップを含んでもよい。
１つ以上の実施形態では、本方法はまた、変換された画像データの第１の深度平面を第１の時間に、変換された画像データの第２の深度平面を後続の第２の時間に示すステップを含む。本方法はまた、第１の時間後に決定された頭部姿勢情報に基づいて、レンダリングされた画像データの第２の深度平面を変換するステップを含んでもよい。レンダリングされた画像データの各深度平面を変換するステップは、レンダリングされた画像データの各深度平面を回転または平行移動偏移させるステップを含んでもよい。
１つ以上の実施形態では、頭部姿勢情報に基づいて、レンダリングされた画像データを変換するステップは、レンダリングされた画像データを回転または偏移させるステップを含む。変換された画像データは、第１のピクセル列の数および第２のピクセル行の数をディスプレイ上に含んでもよい。本方法はまた、第１のピクセル列の数を上回るまたは第２のピクセル行の数を上回る数を含む、レンダリングされた画像データをディスプレイドライバに提供するステップを含んでもよい。
１つ以上の実施形態では、ディスプレイドライバに提供されるレンダリングされた画像データは、レンダリングされた画像データの中心ゾーンと、レンダリングされた画像データのバッファゾーンとを含み、中心ゾーンは、第１のピクセル列の数と、第２のピクセル行の数とを有し、バッファゾーンは、中心ゾーンを越えて延在するピクセルを含む。本方法はまた、レンダリングされた画像データをバッファゾーンから中心ゾーンの中にもたらすことによって、頭部姿勢情報に基づいて、レンダリングされた画像データを変換するステップを含んでもよい。
１つ以上の実施形態では、頭部姿勢情報に基づいて、レンダリングされた画像データを変換するステップは、仮想、拡張、または複合現実画像データをレンダリングする、グラフィック処理ユニットによって実施されない。本方法はまた、慣性測定ユニットからの更新された測定または更新された頭部姿勢情報をレンダリングされた画像データに追加するステップを含んでもよい。本方法はまた、レンダリングされた画像データの最後のラインを走査出力した後、慣性測定ユニットからの更新された測定または更新された頭部姿勢情報をレンダリングされた画像データに追加するステップを含んでもよい。本方法はまた、共通クロック信号を提供し、ユーザの頭部の位置、頭部姿勢情報、または頭部姿勢情報に基づく変換に関連する測定のための共通基準を提供するステップを含んでもよい。
フラットフィールド補正
さらに別の実施形態では、仮想、拡張、または複合現実ディスプレイシステムは、明度の変動をディスプレイの異なる部分に生じさせる、１つ以上の光学コンポーネントを含む、ディスプレイを含む。本システムはまた、１つ以上の異なる明度補正値を画像データ内の１つ以上のピクセル値に適用し、補正された画像データを作成するように構成される、ディスプレイコントローラを含む。ディスプレイは、明度変動を低減させるように、ユーザに、補正された画像データを示すように構成される。
１つ以上の実施形態では、ディスプレイコントローラは、複数の異なる明度補正値の中からの明度補正値と、画像データ内の複数のピクセル値の中からの対応するピクセル値を乗算することによって、明度補正値を適用するように構成される。複数の異なる明度補正値は、ディスプレイ上に示される較正画像に基づいて決定されてもよい。複数の異なる明度補正値は、ルックアップテーブル内に記憶されてもよい。記憶されたルックアップテーブルの分解能は、画像データの分解能未満であってもよい。ディスプレイコントローラは、ルックアップテーブルを拡張し、画像データの分解能に合致させるように構成されてもよい。
１つ以上の実施形態では、ディスプレイは、補正された画像データの１つ以上の色成分を誘導するための１つ以上の導波管と、導波管からの光をユーザの眼に１つ以上の出射ビームとして再指向するための１つ以上の光再指向要素とを含む。複数の出射ビーム間には、表示される画像データの明度の変動をディスプレイの異なる部分に生じさせる、変動が存在し得る。複数の導波管の中からの異なる導波管は、画像データの異なる深度平面を異なる見掛け深度に表示するように、異なる屈折力と関連付けられてもよい。
別の実施形態では、仮想、拡張、または複合現実ディスプレイシステムにおける方法は、明度の変動をディスプレイの異なる部分に生じさせる、１つ以上の光学コンポーネントを含む、ディスプレイを使用するステップを含む。本方法はまた、１つ以上の異なる明度補正値を画像データ内の１つ以上のピクセル値に適用し、補正された画像データを作成するステップを含む。本方法はさらに、ユーザに、明度変動を低減させるように、補正された画像データをディスプレイ上で示すステップを含む。
１つ以上の実施形態では、明度補正値を適用するステップは、複数の明度補正値の中からの明度補正値と画像データ内の複数ピクセル値の中からの対応するピクセル値を乗算するステップを含む。本方法はまた、ディスプレイ上に示される較正画像に基づいて、複数の異なる明度補正値を決定するステップを含んでもよい。本方法はまた、複数の異なる明度補正値をルックアップテーブル内に記憶するステップを含んでもよい。記憶されたルックアップテーブルの分解能は、画像データの分解能未満であってもよい。本方法はまた、ルックアップテーブルを拡張し、画像データの分解能に合致させるステップを含んでもよい。
１つ以上の実施形態では、本方法はまた、１つ以上の導波管を使用して、補正された画像データの１つ以上の色成分を誘導するステップを含む。本方法はまた、１つ以上の光再指向要素を使用して、導波管からの光をユーザの眼に１つ以上の出射ビームとして再指向するステップを含んでもよい。複数の出射ビーム間には、表示される画像データの明度の変動をディスプレイの異なる部分に生じさせる、変動が存在し得る。本方法はまた、異なる屈折力と関連付けられた複数の導波管の中からの異なる導波管を使用して、画像データの異なる深度平面を異なる見掛け深度に表示するステップを含んでもよい。
ピクセル処理パイプライン
さらに別の実施形態では、仮想、拡張、または複合現実ディスプレイシステムは、１つ以上の深度平面のための仮想、拡張、または複合現実画像データを表示するように構成される、ディスプレイを含む。ディスプレイは、第１の深度平面に対応する画像データを表示するための第１の光学経路と、第２の深度平面に対応する画像データを表示するための少なくとも部分的に明確に異なる第２の光学経路とを含む。ディスプレイはまた、光学歪曲または収差を画像データに導入する、１つ以上の光学コンポーネントを含む。ディスプレイはさらに、明度の変動をディスプレイの異なる部分に生じさせる、１つ以上の光学コンポーネントを含む。本システムはまた、コントローラを含む。コントローラは、少なくとも部分的に、光学歪曲補正情報を使用して、光学歪曲または収差のために画像データを補正するように構成される。コントローラはまた、混成された画像データが、第１の深度平面と第２の深度平面との間に位置する仮想深度平面に対応するように現れるように、第１の深度平面に対応する画像データと第２の深度平面に対応する画像データを混成するように構成される。コントローラはさらに、明度変動を低減させるように、１つ以上の異なる明度補正値を画像データ内の１つ以上のピクセル値に適用するように構成される。さらに、コントローラは、制御データに基づいて、回転またはピクセル偏移動作を用いて画像データを変換するように構成される。加えて、コントローラは、画像データをディスプレイに提供するように構成される。
１つ以上の実施形態では、コントローラは、ディスプレイコントローラである。コントローラは、遠隔処理ユニットであってもよい。コントローラは、ＤＰ／ＭＰＩブリッジであってもよい。
さらに別の実施形態では、仮想、拡張、または複合現実ディスプレイシステムにおける方法は、ディスプレイを使用して、１つ以上の深度平面のための仮想、拡張、または複合現実画像データを表示するステップを含む。ディスプレイは、第１の深度平面に対応する画像データを表示するための第１の光学経路と、第２の深度平面に対応する画像データを表示するための少なくとも部分的に明確に異なる第２の光学経路とを含む。ディスプレイはまた、光学歪曲または収差を画像データに導入する、１つ以上の光学コンポーネントを含む。ディスプレイはさらに、明度の変動をディスプレイの異なる部分に生じさせる、１つ以上の光学コンポーネントを含む。本方法はまた、ディスプレイコントローラを用いて、画像データをディスプレイに提供するステップを含む。ディスプレイコントローラは、少なくとも部分的に、光学歪曲補正情報を使用して、光学歪曲または収差のために画像データを補正するように構成される。ディスプレイコントローラはまた、混成された画像データが、第１の深度平面と第２の深度平面との間に位置する仮想深度平面に対応するように現れるように、第１の深度平面に対応する画像データと第２の深度平面に対応する画像データを混成するように構成される。ディスプレイコントローラはさらに、明度変動を低減させるように、１つ以上の異なる明度補正値を画像データ内の１つ以上のピクセル値に適用するように構成される。さらに、ディスプレイコントローラは、制御データに基づいて、回転またはピクセル偏移動作を用いて画像データを変換するように構成される。
時間ドメイン電力管理
別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、システムが低電力モードで動作するステップを含む。本方法はまた、システムが通常プロセッサモードで動作するための要求を受信するステップを含む。本方法はさらに、通常プロセッサモードのための要求の受信に応答して、システムが低電力モードから通常電力モードに切り替わるステップを含む。さらに、本方法は、システムが低プロセッサモードの容認のインジケータを受信するステップを含む。さらに、本方法は、低プロセッサモードの容認のインジケータの受信に応答して、システムが通常電力モードからより低い電力モードに切り替わるステップを含む。
１つ以上の実施形態では、低電力モードでは、システムコンポーネントは、オフに切り替えられる、または高速ウェイクアップ機能を伴うスタンバイモードにある。システムが低電力モードから通常電力モードに切り替わるステップは、システムが、これまでオフに切り替えられていた、またはスタンバイモードであったシステムコンポーネントをアクティブ化するステップを含んでもよい。システムが通常プロセッサモードのための要求を受信するステップは、短待ち時間通信チャネルを通して、通常プロセッサモードのための要求を受信するステップを含んでもよい。通常プロセッサモードのための要求は、所定の閾値量を上回るユーザの姿勢変化に応答して生成されてもよい。低プロセッサモードの容認のインジケータは、所定の時間内における所定の閾値量未満のユーザの姿勢変化であってもよい。
さらに別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、システムが通常電力モードで動作するステップを含む。本方法はまた、システムが高プロセッサモードのための要求を受信するステップを含む。本方法はさらに、高プロセッサモードのための要求の受信に応答して、システムが通常電力モードから高電力モードに切り替わるステップを含む。さらに、本方法は、システムが通常プロセッサモードの容認のインジケータを受信するステップを含む。加えて、本方法は、通常プロセッサモードの容認のインジケータの受信に応答して、システムが高電力モードから通常電力モードに切り替わるステップを含む。
１つ以上の実施形態では、高電力モードは、システムに利用可能な電流量の増加を含む。システムが高電力モードから通常電力モードに切り替わるステップは、システムがシステムに利用可能な電流量を低減させるステップを含んでもよい。高プロセッサモードのための要求は、仮想オブジェクトの所定の閾値量を上回ってレンダリングするための要求に応答して生成されてもよい。通常プロセッサモードの容認のインジケータは、所定の時間にわたる仮想オブジェクトの所定の閾値量未満でレンダリングするための要求であってもよい。
離散結像モード
さらに別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、システムが画像を１つ以上の深度平面上にレンダリングおよび投影する多平面モードで動作するステップを含む。本方法はまた、単一平面アクティビティのインジケータを受信するステップを含む。本方法はさらに、単一平面アクティビティのインジケータの受信に応答して、多平面結像モードから離散結像モードに切り替わるステップであって、離散結像モードでは、システムが画像を単一深度平面上にレンダリングおよび投影する、ステップを含む。さらに、本方法は、多平面アクティビティのインジケータを受信するステップを含む。加えて、本方法は、多平面アクティビティのインジケータの受信に応答して、単一平面モードから多平面モードに切り替わるステップを含む。
１つ以上の実施形態では、単一平面アクティビティのインジケータは、ユーザが映画が仮想画面上に表示されることを要求すること、ユーザが２Ｄアプリケーションを開くこと、またはセンサデータがユーザの視線が所定の閾値時間量にわたって特定の平面に収束していることを示すことを含む。本方法はまた、瞬目または眼移動の間、離散結像モードと多平面結像モードとの間で切り替わるステップを含んでもよい。多平面アクティビティのインジケータは、ユーザが現在仮想画面上に表示されている映画が停止されることを要求すること、またはセンサデータがユーザの視線が所定の閾値時間量にわたって特定の平面から離れて収束していることを示すことを含んでもよい。
別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、システムが画像を１つ以上の深度平面上にレンダリングおよび投影する、多平面モードで動作するステップを含む。本方法はまた、システムが所定の閾値に到達したことのインジケータを受信するステップを含む。本方法はさらに、システムが所定の閾値に到達したことのインジケータの受信に応答して、多平面結像モードから離散結像モードに切り替わるステップであって、離散結像モードでは、システムが画像を単一深度平面上にレンダリングおよび投影する、ステップを含む。さらに、本方法は、通常システム動作のインジケータを受信するステップを含む。加えて、本方法は、通常システム動作のインジケータの受信に応答して、単一平面モードから多平面モードに切り替わるステップを含む。
１つ以上の実施形態では、所定の閾値は、温度閾値またはバッテリ電力残閾値を含む。本方法はまた、瞬目または眼移動の間、離散結像モードと多平面結像モードとの間で切り替わるステップを含んでもよい。通常システム動作のインジケータは、所定の閾値の所定の量内にシステム特性を有していないことを含んでもよい。
光マップ
さらに別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、ユーザの視野の画像を取得するステップを含む。本方法はまた、画像が私的情報を含むことを決定するステップを含む。本方法はさらに、画像から生成された光マップが公的であろうことを決定するステップを含む。さらに、本方法は、画像が私的情報を含むことの決定に応答して、かつ光マップが公的であろうことの決定に応答して、採光情報を含むが、私的情報を含まない、プロキシ画像を生成するステップを含む。加えて、本方法は、プロキシ画像をサーバに送信するステップを含む。本方法はまた、プロキシ画像を使用して、公的光マップを生成するステップを含む。
１つ以上の実施形態では、私的情報は、財務情報または子供の画像である。画像から生成された光マップが公的であろうことを決定するステップは、画像データをサーバに送信する命令を検出するステップを含んでもよい。プロキシ画像は、私的情報を表示するユーザの視野内のオリジナルオブジェクトのための置換オブジェクトを含んでもよい。
さらに別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、実部屋に関する採光情報を受信するステップを含む。本方法はまた、実部屋の光マップを生成するステップを含む。本方法はさらに、光マップを使用して、仮想オブジェクトを生成するステップを含む。さらに、本方法は、仮想オブジェクトを表示するステップを含む。
１つ以上の実施形態では、採光情報は、色情報、照明レベル、または光方向を含む。光マップは、実部屋内の採光源のモデルを含んでもよい。モデルは、透過、拡散、反射、または回折される、光を含んでもよい。
眼／視線追跡ベースのレンダリング修正
別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、ユーザの眼位置を追跡するステップを含む。本方法はまた、ユーザの眼位置を使用して、ユーザの焦点を計算するステップを含む。本方法はさらに、ユーザの焦点上に心合される中心窩化エリアを識別するステップを含む。さらに、本方法は、中心窩化エリア外の画像の第２の部分に対して、中心窩化エリア内の画像の第１の部分をより正確にレンダリングするステップを含む。加えて、本方法は、第１および第２の部分を含む、画像を表示するステップを含む。
１つ以上の実施形態では、ユーザの焦点は、Ｘ、Ｙ、またはＺ方向に決定される。ユーザの焦点は、ユーザの視野の象限であってもよい。画像の第１の部分をより正確にレンダリングするステップは、画像の第２の部分に対して画像の第１の部分の鮮明度を増加させるステップを含んでもよい。本方法はまた、中心窩化エリアの中心から中心窩化エリアの外側縁に増加する鮮明度の勾配をレンダリングするステップを含んでもよい。本方法はまた、ユーザ眼移動の量、システム温度、またはユーザ選好に基づいて、中心窩化の量を修正するステップを含んでもよい。本方法はまた、中心窩化エリア内の眼位置追跡の正確度を増加させるステップを含んでもよい。
瞳孔追跡に基づく深度平面切替
さらに別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、それぞれ、第１の平面および第２の平面のための第１の平面および第２のコンテンツを取得するステップを含む。本方法はまた、瞳孔配向を決定するステップを含む。本方法はさらに、第１のコンテンツおよび第２のコンテンツと瞳孔情報を組み合わせ、切替パターンを生成するステップを含む。さらに、本方法は、切替パターンをシステムのディスプレイに送信するステップを含む。加えて、本方法は、ディスプレイが切替パターンを使用して切替を実施するステップを含む。
１つ以上の実施形態では、切替は、第１の平面および第２の平面毎に３０または６０フレーム／秒の高速切替である。切替は、第１の平面をブランキングするステップを含んでもよい。ディスプレイは、アナログスイッチを使用して、切替を実施してもよい。
低電力深度平面切替
さらに別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、個別の複数の平面のための１つ以上のコンテンツを取得するステップを含む。本方法はまた、複数のコンテンツを分析し、切替パターンを生成するステップを含む。本方法はさらに、切替パターンをシステムのディスプレイに送信するステップを含む。さらに、本方法は、ディスプレイが切替パターンを使用して切替を実施するステップを含む。
１つ以上の実施形態では、切替パターンは、複数の平面のいくつかを並べ替えるステップと、複数の平面のうちの１つをブランキングするステップと、画像フレームをスキップするステップと、画像フレームのペアをスワッピングするステップと、カラーシーケンスを実施するステップとのうちの少なくとも１つを含む。切替は、複数の平面の平面毎に３０または６０フレーム／秒における高速切替であってもよい。ディスプレイは、アナログスイッチを使用して、切替を実施してもよい。
別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、１つ以上のフレームに対応する個別の複数のコンテンツを取得するステップを含む。本方法はまた、個別の複数のコンテンツを分析し、複数のフレームに対応する１つ以上の切替パターンを生成するステップを含む。本方法はさらに、複数の切替パターンをシステムのディスプレイに送信するステップを含む。さらに、本方法は、ディスプレイがフレーム毎に切替パターンを使用して切替を実施するステップを含む。
１つ以上の実施形態では、本方法はまた、複数の切替パターンをメモリバッファ内に記憶するステップを含む。メモリバッファは、時系列先入れ先出しバッファ、循環バッファ、および一連のメモリ場所またはレジスタのうちの１つであってもよい。切替は、３０または６０フレーム／秒における高速切替であってもよい。ディスプレイは、アナログスイッチを使用して、切替を実施してもよい。
１つ以上の実施形態では、本方法はまた、ユーザ瞬目を検出するステップと、切替パターンを修正し、ユーザ瞬目と一致する２つのディスプレイのためのフレームをブランキングするステップとを含む。本方法はまた、ユーザウインクを検出するステップと、切替パターンを修正し、ユーザ瞬目と一致する１つのディスプレイのためのフレームをブランキングするステップとを含んでもよい。
低電力短待ち時間ヘッドセット
さらに別の実施形態では、仮想、拡張、または複合現実システムは、ヘッドセットと、遠隔コンピューティングモジュールとを含む。ヘッドセットは、ユーザ入力を受信し、ユーザ入力内のキーワードを検出し、ユーザ入力内のキーワードの検出に応答して、ウェイクアップコードを遠隔コンピューティングモジュールに送信するように構成され、遠隔コンピューティングモジュールは、低電力スタンバイモードにある。遠隔コンピューティングモジュールは、ウェイクアップコードの受信に応答して、低電力スタンバイモードを終了するように構成される。
１つ以上の実施形態では、ユーザ入力は、オーディオ入力であって、ユーザ入力を受信するステップは、ヘッドセット上のマイクロホンを使用して、オーディオ入力を検出するステップを含む。ユーザ入力内のキーワードを検出するヘッドセットは、マイクロホンと通信し、オーディオ入力を受信する、ヘッドセット内のオーディオプロセッサと、オーディオプロセッサと通信し、オーディオデータを受信する、ヘッドセット内の知覚プロセッサとを含んでもよい。
１つ以上の実施形態では、ユーザ入力内のキーワードを検出するヘッドセットはまた、知覚プロセッサがキーワード記憶装置にアクセスすることと、知覚プロセッサが、オーディオデータとキーワード記憶装置内の１つ以上のキーワードを比較し、キーワードを検出することとを含む。本システムはまた、ユーザ入力内のキーワードの検出に応答して、ヘッドセットがインタラプトコードを遠隔コンピューティングモジュールに送信することを含んでもよい。
低電力短待ち時間移動予測
さらに別の実施形態では、仮想、拡張、または複合現実システムは、知覚プロセッサ内に予測エンジンを有する、ヘッドセットと、遠隔コンピューティングモジュールとを含む。ヘッドセットは、ユーザ移動の開始を検出し、ユーザ移動の開始の検出に応答して、ユーザ移動を測定するように構成される。ヘッドセット内の知覚プロセッサ内の予測エンジンは、測定されたユーザ移動から予測されるユーザ移動を生成する。ヘッドセット内の知覚プロセッサは、予測エンジンが予測されるユーザ移動を生成することに応答して、予測されるユーザ移動を使用して変換を画像データに実施する。
１つ以上の実施形態では、ヘッドセットは、予測されるユーザ移動および変換パラメータを使用して、変換を画像データに実施する。ヘッドセットは、予測されるユーザ移動および予測される色変化を使用して、変換を画像データに実施してもよい。ヘッドセットは、予測されるユーザ移動および予測される採光変化または予測されるコントラスト変化を使用して、変換を画像データに実施してもよい。
１つ以上の実施形態では、本システムはまた、ヘッドセット内の知覚プロセッサがユーザ焦点を予測することを含む。ヘッドセット内の知覚プロセッサは、予測エンジンが予測されるユーザ移動を生成することに応答して、予測されるユーザ移動および予測されるユーザ焦点を使用して、変換を画像データに実施してもよい。ユーザ移動は、頭部移動であってもよい。ユーザ移動は、眼移動であってもよい。
低電力側チャネル
別の実施形態では、仮想、拡張、または複合現実システムは、ローカル処理モジュールを有する、ヘッドセットを含む。本システムはまた、遠隔処理モジュールを含む。本システムはさらに、ローカル処理モジュールと遠隔処理モジュールとの間の第１の通信チャネルを含む。さらに、本システムは、ローカル処理モジュールと遠隔処理モジュールとの間の第２の通信チャネルを含み、第２の通信チャネルは、第１の通信チャネル未満の電力を要求する。
１つ以上の実施形態では、第１の通信チャネルは、ＵＳＢまたはＰＣＩＥ接続であって、第２の通信チャネルは、ＳＰＩまたは類似低電力接続である。
さらに別の実施形態では、遠隔処理モジュールと、ローカル処理モジュールを含む、ヘッドセットとを有する、仮想、拡張、または複合現実システムにおける方法は、動作モードを検出するステップを含む。本方法はまた、動作モードの間、ローカル処理モジュールと遠隔処理モジュールとの間の第１の通信チャネルがディスエーブルにされ得ることを決定するステップを含む。本方法はさらに、動作モードの間、ディスエーブルにされ得る、第１の通信チャネルのコンポーネントを識別するステップを含む。さらに、本方法は、ローカル処理モジュールと遠隔処理モジュールとの間の第２の通信チャネルを経由して通信するステップであって、第２の通信チャネルは、第１の通信チャネル未満の電力を要求するステップを含む。加えて、本方法は、第２の通信チャネルを経由した通信の成功に基づいて、第１の通信チャネルのコンポーネントをディスエーブルにするステップを含む。
１つ以上の実施形態では、第２の通信チャネルのコネクタを再マッピングし、第２の通信チャネルを経由した通信を促進するステップも含む。また、第２の通信チャネルのコネクタへの相互に排他的アクセスを提供し、第２の通信チャネルを経由した通信を促進するステップを含んでもよい。
複数のコンポーネントの低電力モード
さらに別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、仮想、拡張、または複合現実システムの第１のコンポーネントにおける低電力要件のインジケータを検出するステップを含む。本方法はまた、第１のコンポーネントにおけるローカル低電力モードを識別するステップを含む。本方法はさらに、仮想、拡張、または複合現実システムの第２のコンポーネントを含む、協調低電力モードを識別するステップを含む。さらに、本方法は、協調低電力モードのインジケータを第２のコンポーネントに送信するステップを含む。加えて、本方法は、第１のコンポーネントがローカル低電力モードを開始するステップを含む。本方法はまた、第２のコンポーネントが協調低電力モードを開始するステップを含む。
１つ以上の実施形態では、低電力要件のインジケータは、消音ボタンのアクティブ化である。ローカル低電力モードは、マイクロホンを非アクティブ化するステップを含んでもよい。協調低電力モードは、発話プロセッサを非アクティブ化するステップを含んでもよい。
別の実施形態では、仮想、拡張、または複合現実システムにおける方法は、仮想、拡張、または複合現実システムの第１のコンポーネントにおける低電力要件のインジケータを検出するステップを含む。本方法はまた、第１のコンポーネントにおける第１および第２のローカル低電力モードを識別するステップを含む。本方法はさらに、それぞれ、仮想、拡張、または複合現実システムの第２のコンポーネントを含む、第１および第２の協調低電力モードを識別するステップを含む。さらに、本方法は、第１および第２のローカル低電力モードを比較し、好ましいローカル低電力モードを識別するステップを含む。加えて、本方法は、第１および第２の協調低電力モードを比較し、好ましい協調低電力モードを識別するステップを含む。本方法はまた、組み合わせ低電力モードを好ましいローカル低電力モードおよび好ましい協調低電力モードから生成するステップを含む。本方法はさらに、第１および第２のコンポーネントが組み合わせ低電力モードを開始するステップを含む。
複数のコンポーネントの低電力モード同期
さらに別の実施形態では、仮想、拡張、または複合現実システムにおける方法であって、システムは、ヘッドセットと、遠隔コンピューティングモジュールとを有し、本方法は、ヘッドセットがヘッドセットタイムコードを遠隔コンピューティングモジュールに送信するステップを含む。本方法はまた、遠隔コンピューティングモジュールが遠隔コンピューティングモジュールタイムコードをヘッドセットに送信するステップを含む。本方法はさらに、ヘッドセットが、遠隔コンピューティングモジュールタイムコードとヘッドセットタイムコードを比較し、第１のドリフトを識別するステップを含む。さらに、本方法は、遠隔コンピューティングモジュールが、ヘッドセットタイムコードと遠隔コンピューティングモジュールタイムコードを比較し、第２のドリフトを識別するステップを含む。
１つ以上の実施形態では、本方法はまた、ヘッドセットが、第１のドリフトに基づいて、そのクロックをリセットし、ヘッドセットおよび遠隔コンピューティングモジュールを同期させるステップを含む。本方法はまた、遠隔コンピューティングモジュールが、第２のドリフトに基づいて、そのクロックをリセットし、ヘッドセットおよび遠隔コンピューティングモジュールを同期させるステップを含んでもよい。
さらに別の実施形態では、仮想、拡張、または複合現実システムにおける方法であって、システムは、ヘッドセットと、プロジェクタと、遠隔コンピューティングモジュールとを有し、本方法は、遠隔コンピューティングモジュールが低帯域幅構成をヘッドセットに送信するステップを含む。本方法はまた、プロジェクタが低電力オプションをヘッドセットに送信するステップを含む。本方法はさらに、ヘッドセットが低電力コマンドを低電力オプションからプロジェクタに送信するステップを含む。
データの時分割多重化
別の実施形態では、仮想、拡張、または複合現実システムにおける方法であって、システムは、ヘッドセットと、遠隔コンピューティングモジュールとを有し、本方法は、ヘッドセット内のマイクロホンを構成するステップを含む。本方法はまた、ヘッドセットから遠隔コンピューティングモジュールへの通信経路を構成するステップを含む。本方法はさらに、ヘッドセット内の知覚プロセッサが第１の利用可能な音チャネルの数および第２の必要とされる音チャネルの数を計算するステップを含む。さらに、本方法は、知覚プロセッサが第２の数が第１の数を上回ることを決定するステップを含む。加えて、本方法は、知覚プロセッサが余剰データを未使用音チャネルの中にパッキングするステップを含む。
１つ以上の実施形態では、余剰データは、エコーキャンセルデータ、眼姿勢データ、および／または頭部姿勢データのうちの少なくとも１つを含む。本方法は、動的に実施されてもよい。
本発明は、例えば、以下を提供する。
（項目１）
仮想、拡張、または複合現実ディスプレイシステムであって、
仮想、拡張、または複合現実画像データを表示するように構成されるディスプレイであって、前記ディスプレイは、光学歪曲または収差を前記画像データに導入する１つ以上の光学コンポーネントを備える、ディスプレイと、
前記画像データを前記ディスプレイに提供するように構成されるディスプレイコントローラであって、前記ディスプレイコントローラは、
光学歪曲補正情報を記憶するためのメモリと、
少なくとも部分的に、前記光学歪曲補正情報を使用して、前記光学歪曲または収差のために前記画像データを補正するための１つ以上の処理要素と
を備える、ディスプレイコントローラと
を備える、システム。
（項目２）
前記光学歪曲補正情報は、少なくとも部分的に、前記光学歪曲または収差に反比例するように、前記ディスプレイコントローラによって使用され、前記画像データを事前に歪曲させる、項目１に記載のシステム。
（項目３）
前記ディスプレイコントローラは、前記ディスプレイコントローラによって受信された非歪曲補正画像データ内の異なる第２の場所（ｘ’，ｙ’）の近傍の１つ以上の非歪曲補正ピクセルに基づいて、第１の場所（ｘ，ｙ）における歪曲補正ピクセルを決定することによって、前記ディスプレイに提供する前記画像データを事前に歪曲させるように構成される、項目２に記載のシステム。
（項目４）
前記光学歪曲補正情報は、前記第２の場所（ｘ’，ｙ’）を決定するために使用される、項目３に記載のシステム。
（項目５）
前記第２の場所の（ｘ’，ｙ’）座標は、分数である、項目４に記載のシステム。
（項目６）
前記ディスプレイコントローラは、前記第２の場所（ｘ’，ｙ’）を囲繞する複数の非歪曲補正ピクセル間を補間することによって、前記第１の場所（ｘ，ｙ）における前記歪曲補正ピクセルを決定するように構成される、項目５に記載のシステム。
（項目７）
前記ディスプレイコントローラは、バイリニア補間を使用する、項目６に記載のシステム。
（項目８）
前記ディスプレイは、前記画像データの複数の色に対応する複数の少なくとも部分的に明確に異なる光学経路を備え、前記光学歪曲補正情報は、前記画像データの複数の色毎に別個の光学歪曲補正情報を含む、項目１に記載のシステム。
（項目９）
前記光学歪曲補正情報は、１つ以上のルックアップテーブル内の形態で記憶される、項目１に記載のシステム。
（項目１０）
前記１つ以上のルックアップテーブルは、圧縮フォーマットで記憶され、前記ディスプレイコントローラは、前記光学歪曲補正情報を使用して前記光学歪曲または収差を補正する前に、前記１つ以上のルックアップテーブルを拡張させるように構成される、項目９に記載のシステム。
（項目１１）
前記光学歪曲補正情報はさらに、１つ以上の画像ワーピング操作を実施するための情報を含み、前記ディスプレイコントローラはさらに、前記１つ以上の画像ワーピング操作を前記画像データに実施するように構成される、項目１に記載のシステム。
（項目１２）
仮想、拡張、または複合現実ディスプレイシステムにおける方法であって、前記方法は、
ディスプレイ上に示されるための仮想、拡張、または複合現実画像データを提供することであって、前記ディスプレイは、光学歪曲または収差を前記画像データに導入する１つ以上の光学コンポーネントを備える、ことと、
光学歪曲補正情報を記憶することと、
少なくとも部分的に、前記光学歪曲補正情報を使用して、前記光学歪曲または収差のために前記画像データを補正することと、
前記ディスプレイを用いて、前記画像データをユーザに表示することと
を含む、方法。
（項目１３）
少なくとも部分的に、前記光学歪曲または収差に反比例するように、前記光学歪曲補正情報を使用して、前記画像データを事前に歪曲させることをさらに含む、項目１２に記載の方法。
（項目１４）
非歪曲画像データ内の異なる第２の場所（ｘ’，ｙ’）の近傍の１つ以上の非歪曲補正ピクセルに基づいて、第１の場所（ｘ，ｙ）における歪曲補正ピクセルを決定することによって、前記ディスプレイに提供される前記画像データを事前に歪曲させることをさらに含む、項目１３に記載の方法。
（項目１５）
前記光学歪曲補正情報を使用して、前記第２の場所（ｘ’，ｙ’）を決定することをさらに含む、項目１４に記載の方法。
（項目１６）
前記第２の場所の（ｘ’，ｙ’）座標は、分数である、項目１５に記載の方法。
（項目１７）
前記第２の場所（ｘ’，ｙ’）を囲繞する複数の非歪曲補正ピクセル間を補間することによって、前記第１の場所（ｘ，ｙ）における前記歪曲補正ピクセルを決定することをさらに含む、項目１６に記載の方法。
（項目１８）
バイリニア補間を使用することをさらに含む、項目１７に記載の方法。
（項目１９）
前記ディスプレイは、前記画像データの複数の色に対応する複数の少なくとも部分的に明確に異なる光学経路を備え、前記光学歪曲補正情報は、前記画像データの複数の色毎に別個の光学歪曲補正情報を含む、項目１２に記載の方法。
（項目２０）
前記光学歪曲補正情報を１つ以上のルックアップテーブルの形態で記憶することをさらに含む、項目１２に記載の方法。
（項目２１）
前記１つ以上のルックアップテーブルを圧縮フォーマットで記憶することと、前記光学歪曲補正情報を使用して前記光学歪曲または収差を補正する前に、前記１つ以上のルックアップテーブルを拡張させることとをさらに含む、項目２０に記載の方法。
（項目２２）
前記光学歪曲補正情報はさらに、１つ以上の画像ワーピング操作を実施するための情報を含み、前記１つ以上の画像ワーピング操作を前記画像データに実施することをさらに含む、項目１２に記載の方法。
（項目２３）
仮想、拡張、または複合現実ディスプレイシステムであって、
複数の深度平面のためのデジタル画像データを表示するように構成されるディスプレイであって、前記ディスプレイは、第１の深度平面に対応する画像データを表示するための第１の光学経路と、第２の深度平面に対応する画像データを表示するための少なくとも部分的に明確に異なる第２の光学経路とを備える、ディスプレイと、
ディスプレイコントローラであって、前記ディスプレイコントローラは、前記混成された画像データが前記ディスプレイによって表示されると、前記第１の深度平面と前記第２の深度平面との間に位置する仮想深度平面に対応するように現れるように、前記第１の深度平面に対応する画像データと前記第２の深度平面に対応する画像データを混成するように構成される、ディスプレイコントローラと
を備える、システム。
（項目２４）
前記ディスプレイコントローラは、前記第１の深度平面に対応する画像データと前記第２の深度平面に対応する画像データの加重された組み合わせを計算することによって、前記第１の深度平面に対応する画像データと前記第２の深度平面に対応する画像データを混成するように構成される、項目２３に記載のシステム。
（項目２５）
前記ディスプレイコントローラは、前記デジタル画像データに埋め込まれた仮想深度平面インジケータ情報に基づいて、前記加重された組み合わせを決定するように構成され、前記仮想深度平面インジケータデータは、複数の可能性として考えられる仮想深度平面のうちの１つを規定する、項目２４に記載のシステム。
（項目２６）
前記仮想深度平面インジケータデータは、前記デジタル画像データのピクセル値に埋め込まれる、項目２５に記載のシステム。
（項目２７）
前記デジタル画像データは、ピクセル毎に複数の色値を含み、前記色値の複数の最下位ビットは、前記仮想深度平面インジケータデータである、項目２６に記載のシステム。
（項目２８）
前記仮想深度平面インジケータデータは、前記仮想深度平面インジケータデータによって規定された前記仮想深度平面と関連付けられた混成加重値にアクセスするために使用される、項目２６に記載のシステム。
（項目２９）
仮想深度平面毎の混成加重値は、ルックアップテーブル内に記憶される、項目２８に記載のシステム。
（項目３０）
１つ以上のルックアップテーブルは、前記デジタル画像データの深度平面毎に提供される、項目２９に記載のシステム。
（項目３１）
前記ディスプレイコントローラは、前記第１の深度平面に対応する画像データの全てのピクセルと前記第２の深度平面に対応する画像データの全てのピクセルを同一仮想深度平面に混成するように構成される、項目２３に記載のシステム。
（項目３２）
前記ディスプレイコントローラは、前記第１の深度平面に対応する画像データの異なるピクセルを異なる仮想深度平面に混成するように構成される、項目２３に記載のシステム。
（項目３３）
仮想、拡張、または複合現実ディスプレイシステムにおける方法であって、前記方法は、
ディスプレイ上に示されるための複数の深度平面のデジタル画像データを提供することであって、前記ディスプレイは、第１の深度平面に対応する画像データを表示するための第１の光学経路と、第２の深度平面に対応する画像データを表示するための少なくとも部分的に明確に異なる第２の光学経路とを備える、ことと、
前記混成された画像データが前記ディスプレイによって表示されると、前記第１の深度平面と前記第２の深度平面との間に位置する仮想深度平面に対応するように現れるように、前記第１の深度平面に対応する画像データと前記第２の深度平面に対応する画像データを混成することと
を含む、方法。
（項目３４）
前記第１の深度平面に対応する画像データと前記第２の深度平面に対応する画像データの加重された組み合わせを計算することによって、前記第１の深度平面に対応する画像データと前記第２の深度平面に対応する画像データを混成することをさらに含む、項目３３に記載の方法。
（項目３５）
前記デジタル画像データに埋め込まれた仮想深度平面インジケータ情報に基づいて、前記加重された組み合わせを決定することをさらに含み、前記仮想深度平面インジケータデータは、複数の可能性として考えられる仮想深度平面のうちの１つを規定する、項目３４に記載の方法。
（項目３６）
前記仮想深度平面インジケータデータは、前記デジタル画像データのピクセル値に埋め込まれる、項目３５に記載の方法。
（項目３７）
前記デジタル画像データは、ピクセル毎に複数の色値を含み、前記色値の複数の最下位ビットは、前記仮想深度平面インジケータデータである、項目３６に記載の方法。
（項目３８）
前記仮想深度平面インジケータデータを使用して、前記仮想深度平面インジケータデータによって規定された前記仮想深度平面と関連付けられた混成加重値にアクセスすることをさらに含む、項目３６に記載の方法。
（項目３９）
仮想深度平面毎の混成加重値をルックアップテーブル内に記憶することをさらに含む、項目３８に記載の方法。
（項目４０）
前記デジタル画像データの深度平面毎に、１つ以上のルックアップテーブルを提供することをさらに含む、項目３９に記載の方法。
（項目４１）
前記第１の深度平面に対応する画像データの全てのピクセルと前記第２の深度平面に対応する画像データの全てのピクセルを同一仮想深度平面に混成することをさらに含む、項目３３に記載の方法。
（項目４２）
前記第１の深度平面に対応する画像データの異なるピクセルを異なる仮想深度平面に混成することをさらに含む、項目３３に記載の方法。
（項目４３）
仮想、拡張、または複合現実ディスプレイシステムであって、
ユーザの頭部の位置に関連する測定を行うように構成される慣性測定ユニットと、
仮想、拡張、または複合現実画像データをレンダリングするように構成されるグラフィック処理ユニットと、
変換された画像データをユーザに示すように構成されるディスプレイと、
走査出力された前記レンダリングされた画像データを受信し、前記ディスプレイに前記変換された画像データを示させるように構成されるディスプレイドライバであって、前記ディスプレイドライバは、
前記測定を前記慣性測定ユニットから受信し、頭部姿勢情報を決定するように構成される頭部姿勢プロセッサと、
前記頭部姿勢情報に基づいて、前記レンダリングされた画像データを前記変換された画像データに変換するように構成される画像ワーピングプロセッサと
を備える、ディスプレイドライバと
を備える、システム。
（項目４４）
前記レンダリングされた画像データを前記グラフィック処理ユニットから受信し、前記レンダリングされた画像データを前記ディスプレイドライバに走査出力するように構成される、ディスプレイコントローラをさらに備える、項目４３に記載のシステム。
（項目４５）
前記グラフィック処理ユニットおよび前記ディスプレイコントローラのうちの少なくとも１つは、前記慣性測定ユニットからの第１の測定を使用して決定された第１の頭部姿勢情報に基づいて、第１の変換を前記レンダリングされた画像データ上で実施するように構成され、
前記ディスプレイドライバは、前記慣性測定ユニットからの更新された第２の測定を使用して決定された第２の頭部姿勢情報に基づいて、第２の変換を前記レンダリングされた画像データ上で実施するように構成され、前記第２の頭部姿勢情報は、前記第１の頭部姿勢情報によって示される前記ユーザの頭部の位置と前記第２の頭部姿勢情報によって示される前記ユーザの頭部の位置との間の差異に関連する、
項目４４に記載のシステム。
（項目４６）
前記レンダリングされた画像データは、複数の色成分を含み、
前記画像ワーピングプロセッサは、別個の頭部姿勢情報に基づいて、前記レンダリングされた画像データの各色成分を変換するように構成され、
前記ディスプレイは、前記変換された画像データの複数の色成分を連続して示すように構成される、
項目４３に記載のシステム。
（項目４７）
前記ディスプレイは、前記変換された画像データの第１の色成分を第１の時間に、前記変換された画像データの第２の色成分を後続の第２の時間に示すように構成され、
前記画像ワーピングプロセッサは、前記第１の時間後に決定された頭部姿勢情報に基づいて、前記レンダリングされた画像データの第２の色成分を変換するように構成される、
項目４６に記載のシステム。
（項目４８）
前記画像ワーピングプロセッサによって実施される変換は、前記レンダリングされた画像データの各色成分の回転または平行移動偏移を含む、項目４６に記載のシステム。
（項目４９）
前記レンダリングされた画像データは、複数の深度平面を含み、
前記画像ワーピングプロセッサは、別個の頭部姿勢情報に基づいて、前記レンダリングされた画像データの各深度平面を変換するように構成され、
前記ディスプレイは、前記変換された画像データの複数の深度平面を連続して示すように構成される、
項目４３に記載のシステム。
（項目５０）
前記ディスプレイは、前記変換された画像データの第１の深度平面を第１の時間に、前記変換された画像データの第２の深度平面を後続の第２の時間に示すように構成され、
前記画像ワーピングプロセッサは、前記第１の時間後に決定された頭部姿勢情報に基づいて前記レンダリングされた画像データの第２の深度平面を変換するように構成される、
項目４９に記載のシステム。
（項目５１）
前記画像ワーピングプロセッサによって実施される変換は、前記レンダリングされた画像データの各深度平面の回転または平行移動偏移を含む、項目４９に記載のシステム。
（項目５２）
前記画像ワーピングプロセッサによって実施される変換は、画像回転または平行移動偏移を含む、項目４３に記載のシステム。
（項目５３）
前記ディスプレイは、第１のピクセル列の数および第２のピクセル行の数を含む前記変換された画像データを示すように構成され、
前記グラフィック処理ユニットは、前記第１のピクセル列の数を上回るまたは前記第２のピクセル行の数を上回る数を含むレンダリングされた画像データを前記ディスプレイドライバに提供するように構成される、
項目４３に記載のシステム。
（項目５４）
前記ディスプレイドライバに提供されるレンダリングされた画像データは、レンダリングされた画像データの中心ゾーンと、レンダリングされた画像データのバッファゾーンとを備え、前記中心ゾーンは、前記第１のピクセル列の数と、前記第２のピクセル行の数とを有し、前記バッファゾーンは、前記中心ゾーンを越えて延在するピクセルを備え、
前記頭部姿勢情報に基づいて、前記レンダリングされた画像データを変換することは、前記レンダリングされた画像データを前記バッファゾーンから前記中心ゾーンの中にもたらさせる、
項目５３に記載のシステム。
（項目５５）
前記グラフィック処理ユニットは、頭部姿勢情報に基づいて画像ワーピングを実施するように構成されない、項目４３に記載のシステム。
（項目５６）
前記グラフィック処理ユニットは、前記慣性測定ユニットからの更新された測定または更新された頭部姿勢情報を前記レンダリングされた画像データに追加するように構成される、項目４３に記載のシステム。
（項目５７）
前記グラフィック処理ユニットは、レンダリングされた画像データの最後のラインを走査出力した後、前記慣性測定ユニットからの更新された測定または更新された頭部姿勢情報を前記レンダリングされた画像データに追加するように構成される、項目５６に記載のシステム。
（項目５８）
クロックをさらに備え、前記クロックは、共通クロック信号を前記慣性測定ユニット、前記グラフィック処理ユニット、および前記ディスプレイドライバに提供し、前記ユーザの頭部の位置、頭部姿勢情報、または頭部姿勢情報に基づく変換に関連する測定のための共通基準を提供するように構成される、項目４３に記載のシステム。
（項目５９）
仮想、拡張、または複合現実ディスプレイシステムにおける方法であって、前記方法は、
グラフィック処理ユニットを使用して、仮想、拡張、または複合現実画像データをレンダリングすることと、
前記レンダリングされた画像データをユーザに示されるためのディスプレイに走査出力することと、
慣性測定ユニットを使用して、前記ユーザの頭部の位置に関連する測定を行うことと、
前記慣性測定ユニットからの測定を使用して、頭部姿勢情報を決定することと、
前記レンダリングされた画像データを前記ディスプレイに走査出力した後、前記頭部姿勢情報に基づいて、前記レンダリングされた画像データを変換することと、
前記変換された画像データを前記ディスプレイ上に示すことと
を含む、方法。
（項目６０）
前記慣性測定ユニットからの第１の測定を使用して決定された第１の頭部姿勢情報に基づいて、第１の変換を前記レンダリングされた画像データ上で実施することと、
前記慣性測定ユニットからの更新された第２の測定を使用して決定された第２の頭部姿勢情報に基づいて、第２の変換を前記走査出力されたレンダリングされた画像データに実施することであって、前記第２の頭部姿勢情報は、前記第１の頭部姿勢情報によって示される前記ユーザの頭部の位置と前記第２の頭部姿勢情報によって示される前記ユーザの頭部の位置との間の差異に関連する、ことと
をさらに含む、項目５９に記載の方法。
（項目６１）
前記慣性測定ユニットからの測定を使用して、頭部姿勢情報を決定することは、前記レンダリングされた画像データを前記ディスプレイに走査出力した後に行われる、項目５９に記載の方法。
（項目６２）
前記レンダリングされた画像データは、複数の色成分を含み、前記方法はさらに、
別個の頭部姿勢情報に基づいて、前記レンダリングされた画像データの各色成分を変換することと、
前記変換された画像データの複数の色成分を連続して示すことと
を含む、項目５９に記載の方法。
（項目６３）
前記変換された画像データの第１の色成分を第１の時間に、前記変換された画像データの第２の色成分を後続の第２の時間に示すことと、
前記第１の時間後に決定された頭部姿勢情報に基づいて、前記レンダリングされた画像データの第２の色成分を変換することと
をさらに含む、項目６２に記載の方法。
（項目６４）
前記レンダリングされた画像データの各色成分を変換することは、前記レンダリングされた画像データの各色成分を回転または平行移動偏移させることを含む、項目６２に記載の方法。
（項目６５）
前記レンダリングされた画像データは、複数の深度平面を含み、前記方法はさらに、
別個の頭部姿勢情報に基づいて、前記レンダリングされた画像データの各深度平面を変換することと、
前記変換された画像データの複数の深度平面を連続して示すことと
を含む、項目５９に記載の方法。
（項目６６）
前記変換された画像データの第１の深度平面を第１の時間に、前記変換された画像データの第２の深度平面を後続の第２の時間に示すことと、
前記第１の時間後に決定された頭部姿勢情報に基づいて、前記レンダリングされた画像データの第２の深度平面を変換することと
をさらに含む、項目６５に記載の方法。
（項目６７）
前記レンダリングされた画像データの各深度平面を変換することは、前記レンダリングされた画像データの各深度平面を回転または平行移動偏移させることを含む、項目６５に記載の方法。
（項目６８）
前記頭部姿勢情報に基づいて、前記レンダリングされた画像データを変換することは、前記レンダリングされた画像データを回転または偏移させることを含む、項目５９に記載の方法。
（項目６９）
前記変換された画像データは、前記ディスプレイ上に第１のピクセル列の数および第２のピクセル行の数を含み、前記方法はさらに、
前記第１のピクセル列の数を上回る数または前記第２のピクセル行の数を上回る数を含む、レンダリングされた画像データを前記ディスプレイドライバに提供すること
を含む、項目５９に記載の方法。
（項目７０）
前記ディスプレイドライバに提供されるレンダリングされた画像データは、レンダリングされた画像データの中心ゾーンと、レンダリングされた画像データのバッファゾーンとを含み、前記中心ゾーンは、前記第１のピクセル列の数と、前記第２のピクセル行の数とを有し、前記バッファゾーンは、前記中心ゾーンを越えて延在するピクセルを備え、前記方法はさらに、
レンダリングされた画像データを前記バッファゾーンから前記中心ゾーンの中にもたらすことによって、前記頭部姿勢情報に基づいて、前記レンダリングされた画像データを変換すること
を含む、項目６９に記載の方法。
（項目７１）
前記頭部姿勢情報に基づいて、前記レンダリングされた画像データを変換することは、前記仮想、拡張、または複合現実画像データをレンダリングする、前記グラフィック処理ユニットによって実施されない、項目５８に記載の方法。
（項目７２）
前記慣性測定ユニットからの更新された測定または更新された頭部姿勢情報を前記レンダリングされた画像データに追加することをさらに含む、項目５８に記載の方法。
（項目７３）
レンダリングされた画像データの最後のラインを走査出力した後、前記慣性測定ユニットからの更新された測定または更新された頭部姿勢情報を前記レンダリングされた画像データに追加することをさらに含む、項目７２に記載の方法。
（項目７４）
共通クロック信号を提供し、前記ユーザの頭部の位置、頭部姿勢情報、または頭部姿勢情報に基づく変換に関連する測定のための共通基準を提供することをさらに含む、項目５８に記載の方法。
（項目７５）
仮想、拡張、または複合現実ディスプレイシステムであって、
明度の変動を前記ディスプレイの異なる部分に生じさせる１つ以上の光学コンポーネントを備えるディスプレイと、
複数の異なる明度補正値を画像データ内の複数のピクセル値に適用し、補正された画像データを作成するように構成されるディスプレイコントローラと
を備え、
前記ディスプレイは、前記明度変動を低減させるように、ユーザに、前記補正された画像データを示すように構成される、システム。
（項目７６）
前記ディスプレイコントローラは、前記複数の異なる明度補正値の中からの明度補正値と、前記画像データ内の複数のピクセル値の中からの対応するピクセル値を乗算することによって、明度補正値を適用するように構成される、項目７５に記載のシステム。
（項目７７）
前記複数の異なる明度補正値は、前記ディスプレイ上に示される較正画像に基づいて決定される、項目７６に記載のシステム。
（項目７８）
前記複数の異なる明度補正値は、ルックアップテーブル内に記憶される、項目７５に記載のシステム。
（項目７９）
前記記憶されたルックアップテーブルの分解能は、前記画像データの分解能未満であり、
前記ディスプレイコントローラは、前記ルックアップテーブルを拡張し、前記画像データの分解能に合致させるように構成される、
項目７８に記載のシステム。
（項目８０）
前記ディスプレイは、
前記補正された画像データの複数の色成分を誘導するための複数の導波管と、
前記導波管からの光をユーザの眼に複数の出射ビームとして再指向するための複数の光再指向要素と
を備え、
前記複数の出射ビーム間には、前記表示される画像データの明度の変動を前記ディスプレイの異なる部分に生じさせる変動が存在する、項目７５に記載のシステム。
（項目８１）
前記複数の導波管の中からの異なる導波管は、前記画像データの異なる深度平面を異なる見掛け深度に表示するように、異なる屈折力と関連付けられる、項目８０に記載のシステム。
（項目８２）
仮想、拡張、または複合現実ディスプレイシステムにおける方法であって、前記方法は、
明度の変動を前記ディスプレイの異なる部分に生じさせる１つ以上の光学コンポーネントを備えるディスプレイを使用することと、
複数の異なる明度補正値を画像データ内の複数のピクセル値に適用し、補正された画像データを作成することと、
前記明度変動を低減させるように、ユーザに、前記補正された画像データを前記ディスプレイ上で示すことと
を含む、方法。
（項目８３）
明度補正値を適用することは、前記複数の明度補正値の中からの明度補正値と前記画像データ内の複数ピクセル値の中からの対応するピクセル値を乗算することを含む、項目８２に記載の方法。
（項目８４）
前記ディスプレイ上に示される較正画像に基づいて、前記複数の異なる明度補正値を決定することをさらに含む、項目８３に記載の方法。
（項目８５）
前記複数の異なる明度補正値をルックアップテーブル内に記憶することをさらに含む、項目８２に記載の方法。
（項目８６）
前記記憶されたルックアップテーブルの分解能は、前記画像データの分解能未満であり、前記方法はさらに、
前記ルックアップテーブルを拡張し、前記画像データの分解能に合致させること
を含む、項目８５に記載の方法。
（項目８７）
複数の導波管を使用して、前記補正された画像データの複数の色成分を誘導することと、
複数の光再指向要素を使用して、前記導波管からの光をユーザの眼に複数の出射ビームとして再指向することと
をさらに含み、
前記複数の出射ビーム間には、前記表示される画像データの明度の変動を前記ディスプレイの異なる部分に生じさせる変動が存在する、項目８２に記載の方法。
（項目８８）
異なる屈折力と関連付けられた前記複数の導波管の中からの異なる導波管を使用して、前記画像データの異なる深度平面を異なる見掛け深度に表示することをさらに含む、項目８７に記載の方法。
（項目８９）
仮想、拡張、または複合現実ディスプレイシステムであって、
複数の深度平面のための仮想、拡張、または複合現実画像データを表示するように構成される、ディスプレイであって、前記ディスプレイは、
第１の深度平面に対応する画像データを表示するための第１の光学経路と、第２の深度平面に対応する画像データを表示するための少なくとも部分的に明確に異なる第２の光学経路と、
光学歪曲または収差を前記画像データに導入する、１つ以上の光学コンポーネントと、
明度の変動を前記ディスプレイの異なる部分に生じさせる、１つ以上の光学コンポーネントと
を備える、ディスプレイと、
コントローラであって、前記コントローラは、
少なくとも部分的に、光学歪曲補正情報を使用して、前記光学歪曲または収差のために前記画像データを補正することと、
前記混成された画像データが、前記第１の深度平面と前記第２の深度平面との間に位置する仮想深度平面に対応するように現れるように、前記第１の深度平面に対応する画像データと前記第２の深度平面に対応する画像データを混成することと、
前記明度変動を低減させるように、複数の異なる明度補正値を前記画像データ内の複数のピクセル値に適用することと、
制御データに基づいて、回転またはピクセル偏移動作を用いて前記画像データを変換することと、
前記画像データを前記ディスプレイに提供することと
を行うように構成される、コントローラと
を備える、仮想、拡張、または複合現実ディスプレイシステム。
（項目９０）
前記コントローラは、ディスプレイコントローラである、項目８９に記載の仮想、拡張、または複合現実ディスプレイシステム。
（項目９１）
前記コントローラは、遠隔処理ユニットである、項目８９に記載の仮想、拡張、または複合現実ディスプレイシステム。
（項目９２）
前記コントローラは、ＤＰ／ＭＰＩブリッジである、項目８９に記載の仮想、拡張、または複合現実ディスプレイシステム。
（項目９３）
仮想、拡張、または複合現実ディスプレイシステムにおける方法であって、前記方法は、
ディスプレイを使用して、複数の深度平面のための仮想、拡張、または複合現実画像データを表示することであって、前記ディスプレイは、
第１の深度平面に対応する画像データを表示するための第１の光学経路と、第２の深度平面に対応する画像データを表示するための少なくとも部分的に明確に異なる第２の光学経路と、
光学歪曲または収差を前記画像データに導入する１つ以上の光学コンポーネントと、
明度の変動を前記ディスプレイの異なる部分に生じさせる１つ以上の光学コンポーネントと
を備える、ことと、
ディスプレイコントローラを用いて、前記画像データを前記ディスプレイに提供することであって、前記ディスプレイコントローラは、
少なくとも部分的に、光学歪曲補正情報を使用して、前記光学歪曲または収差のために前記画像データを補正することと、
前記混成された画像データが、前記第１の深度平面と前記第２の深度平面との間に位置する仮想深度平面に対応するように現れるように、前記第１の深度平面に対応する画像データと前記第２の深度平面に対応する画像データを混成することと、
前記明度変動を低減させるように、複数の異なる明度補正値を前記画像データ内の複数のピクセル値に適用することと、
制御データに基づいて、回転またはピクセル偏移動作を用いて前記画像データを変換することと
を行うように構成される、ことと
を含む、方法。
（項目９４）
仮想、拡張、または複合現実システムにおける方法であって、
前記システムが低電力モードで動作することと、
前記システムが通常プロセッサモードで動作するための要求を受信することと、
前記通常プロセッサモードのための要求の受信に応答して、前記システムが前記低電力モードから通常電力モードに切り替わることと、
前記システムが低プロセッサモードの容認のインジケータを受信することと、
前記低プロセッサモードの容認のインジケータの受信に応答して、前記システムが前記通常電力モードからより低い電力モードに切り替わることと
を含む、方法。
（項目９５）
前記低電力モードでは、システムコンポーネントは、オフに切り替えられる、または高速ウェイクアップ機能を伴うスタンバイモードにある、項目９４に記載の方法。
（項目９６）
前記システムが前記低電力モードから前記通常電力モードに切り替わることは、前記システムが、これまでオフに切り替えられていた、またはスタンバイモードであった前記システムコンポーネントをアクティブ化することを含む、項目９５に記載の方法。
（項目９７）
前記システムが前記通常プロセッサモードのための要求を受信することは、短待ち時間通信チャネルを通して、前記通常プロセッサモードのための要求を受信することを含む、項目９４に記載の方法。
（項目９８）
前記通常プロセッサモードのための要求は、所定の閾値量を上回るユーザの姿勢変化に応答して生成される、項目９４に記載の方法。
（項目９９）
前記低プロセッサモードの容認のインジケータは、所定の時間内における所定の閾値量未満のユーザの姿勢変化である、項目９４に記載の方法。
（項目１００）
仮想、拡張、または複合現実システムにおける方法であって、
前記システムが通常電力モードで動作することと、
前記システムが高プロセッサモードのための要求を受信することと、
前記高プロセッサモードのための要求の受信に応答して、前記システムが前記通常電力モードから高電力モードに切り替わることと、
前記システムが通常プロセッサモードの容認のインジケータを受信することと、
前記通常プロセッサモードの容認のインジケータの受信に応答して、前記システムが前記高電力モードから前記通常電力モードに切り替わることと
を含む、方法。
（項目１０１）
前記高電力モードは、前記システムに利用可能な電流量の増加を含む、項目１００に記載の方法。
（項目１０２）
前記システムが前記高電力モードから前記通常電力モードに切り替わることは、前記システムが前記システムに利用可能な電流量を低減させることを含む、項目１０１に記載の方法。
（項目１０３）
前記高プロセッサモードのための要求は、仮想オブジェクトの所定の閾値量を上回ってレンダリングするための要求に応答して生成される、項目１００に記載の方法。
（項目１０４）
前記通常プロセッサモードの容認のインジケータは、所定の時間にわたる仮想オブジェクトの所定の閾値量未満でレンダリングするための要求である、項目１００に記載の方法。
（項目１０５）
仮想、拡張、または複合現実システムにおける方法であって、
前記システムが画像を複数の深度平面上にレンダリングおよび投影する多平面モードで動作することと、
単一平面アクティビティのインジケータを受信することと、
前記単一平面アクティビティのインジケータの受信に応答して、前記多平面結像モードから離散結像モードに切り替わることであって、前記離散結像モードでは、前記システムが画像を単一深度平面上にレンダリングおよび投影する、ことと、
多平面アクティビティのインジケータを受信することと、
前記多平面アクティビティのインジケータの受信に応答して、前記単一平面モードから前記多平面モードに切り替わることと
を含む、方法。
（項目１０６）
前記単一平面アクティビティのインジケータは、ユーザが映画が仮想画面上に表示されることを要求すること、前記ユーザが２Ｄアプリケーションを開くこと、またはセンサデータが前記ユーザの視線が所定の閾値時間量にわたって特定の平面に収束していることを示すことを含む、項目１０５に記載の方法。
（項目１０７）
瞬目または眼移動の間、前記離散結像モードと前記多平面結像モードとの間で切り替わることをさらに含む、項目１０５に記載の方法。
（項目１０８）
前記多平面アクティビティのインジケータは、ユーザが現在仮想画面上に表示されている映画が停止されることを要求すること、またはセンサデータが前記ユーザの視線が所定の閾値時間量にわたって特定の平面から離れて収束していることを示すことを含む、項目１０５に記載の方法。
（項目１０９）
仮想、拡張、または複合現実システムにおける方法であって、
前記システムが画像を複数の深度平面上にレンダリングおよび投影する多平面モードで動作することと、
前記システムが所定の閾値に到達したことのインジケータを受信することと、
前記システムが所定の閾値に到達したことのインジケータの受信に応答して、前記多平面結像モードから離散結像モードに切り替わることであって、前記離散結像モードでは、前記システムが画像を単一深度平面上にレンダリングおよび投影する、ことと、
通常システム動作のインジケータを受信することと、
前記通常システム動作のインジケータの受信に応答して、前記単一平面モードから前記多平面モードに切り替わることと
を含む、方法。
（項目１１０）
前記所定の閾値は、温度閾値またはバッテリ電力残閾値を含む、項目１０９に記載の方法。
（項目１１１）
瞬目または眼移動の間、前記離散結像モードと前記多平面結像モードとの間で切り替わることをさらに含む、項目１０９に記載の方法。
（項目１１２）
前記通常システム動作のインジケータは、前記所定の閾値の所定の量内にシステム特性を有していないことを含む、項目１０９に記載の方法。
（項目１１３）
仮想、拡張、または複合現実システムにおける方法であって、
ユーザの視野の画像を取得することと、
前記画像が私的情報を含むことを決定することと、
前記画像から生成された光マップが公的であろうことを決定することと、
前記画像が私的情報を含むことの決定に応答して、かつ前記光マップが公的であろうことの決定に応答して、採光情報を含むが、前記私的情報を含まない、プロキシ画像を生成することと、
前記プロキシ画像をサーバに送信することと、
前記プロキシ画像を使用して、公的光マップを生成することと
を含む、方法。
（項目１１４）
前記私的情報は、財務情報または子供の画像である、項目１１３に記載の方法。
（項目１１５）
前記画像から生成された光マップが公的であろうことを決定することは、画像データをサーバに送信する命令を検出することを含む、項目１１３に記載の方法。
（項目１１６）
プロキシ画像は、前記私的情報を表示する前記ユーザの視野内のオリジナルオブジェクトのための置換オブジェクトを備える、項目１１３に記載の方法。
（項目１１７）
仮想、拡張、または複合現実システムにおける方法であって、
実部屋に関する採光情報を受信することと、
前記実部屋の光マップを生成することと、
前記光マップを使用して、仮想オブジェクトを生成することと、
前記仮想オブジェクトを表示することと
を含む、方法。
（項目１１８）
前記採光情報は、色情報、照明レベル、または光方向を含む、項目１１７に記載の方法。
（項目１１９）
前記光マップは、前記実部屋内の採光源のモデルを含む、項目１１７に記載の方法。
（項目１２０）
前記モデルは、透過される光、拡散される光、反射される光、または回折される光を含む、項目１１９に記載の方法。
（項目１２１）
仮想、拡張、または複合現実システムにおける方法であって、
ユーザの眼位置を追跡することと、
前記ユーザの眼位置を使用して、ユーザの焦点を計算することと、
前記ユーザの焦点上に心合される中心窩化エリアを識別することと、
前記中心窩化エリア外の前記画像の第２の部分に対して、前記中心窩化エリア内の画像の第１の部分をより正確にレンダリングすることと、
前記第１および第２の部分を含む、前記画像を表示することと
を含む、方法。
（項目１２２）
前記ユーザの焦点は、Ｘ，Ｙ、またはＺ方向に決定される、項目１２１に記載の方法。
（項目１２３）
前記ユーザの焦点は、前記ユーザの視野の象限である、項目１２１に記載の方法。
（項目１２４）
前記画像の前記第１の部分をより正確にレンダリングすることは、前記画像の第２の部分に対して前記画像の第１の部分の鮮明度を増加させることを含む、項目１２１に記載の方法。
（項目１２５）
前記中心窩化エリアの中心から前記中心窩化エリアの外側縁に増加する鮮明度の勾配をレンダリングすることをさらに含む、項目１２に記載の方法。
（項目１２６）
ユーザ眼移動の量、システム温度、またはユーザ選好に基づいて、中心窩化の量を修正することをさらに含む、項目１２１に記載の方法。
（項目１２７）
前記中心窩化エリア内の眼位置追跡の正確度を増加させることをさらに含む、項目１２１に記載の方法。
（項目１２８）
仮想、拡張、または複合現実システムにおける方法であって、
それぞれ、第１の平面および第２の平面のための第１のコンテンツおよび第２のコンテンツを取得することと、
瞳孔配向を決定することと、
前記第１のコンテンツおよび前記第２のコンテンツと前記瞳孔情報を組み合わせ、切替パターンを生成することと、
前記切替パターンを前記システムのディスプレイに送信することと、
前記ディスプレイが前記切替パターンを使用して切替を実施することと
を含む、方法。
（項目１２９）
前記切替は、前記第１の平面および前記第２の平面毎に３０または６０フレーム／秒の高速切替である、項目１２８に記載の方法。
（項目１３０）
前記切替は、前記第１の平面をブランキングすることを含む、項目１２８に記載の方法。
（項目１３１）
前記ディスプレイは、アナログスイッチを使用して、前記切替を実施する、項目１２８に記載の方法。
（項目１３２）
仮想、拡張、または複合現実システムにおける方法であって、
個別の複数の平面のための複数のコンテンツを取得することと、
前記複数のコンテンツを分析し、切替パターンを生成することと、
前記切替パターンを前記システムのディスプレイに送信することと、
前記ディスプレイが前記切替パターンを使用して切替を実施することと
を含む、方法。
（項目１３３）
前記切替パターンは、
前記複数の平面のいくつかを並べ替えることと、
前記複数の平面のうちの１つをブランキングすることと、
画像フレームをスキップすることと、
画像フレームのペアをスワッピングすることと、
カラーシーケンスを実施することと
のうちの少なくとも１つを含む、項目１３２に記載の方法。
（項目１３４）
前記切替は、前記複数の平面の平面毎に３０または６０フレーム／秒における高速切替である、項目１３２に記載の方法。
（項目１３５）
前記ディスプレイは、アナログスイッチを使用して、前記切替を実施する、項目１３２に記載の方法。
（項目１３６）
仮想、拡張、または複合現実システムにおける方法であって、
複数のフレームに対応する個別の複数のコンテンツを取得することと、
前記個別の複数のコンテンツを分析し、前記複数のフレームに対応する複数の切替パターンを生成することと、
前記複数の切替パターンを前記システムのディスプレイに送信することと、
前記ディスプレイがフレーム毎に前記切替パターンを使用して切替を実施することと
を含む、方法。
（項目１３７）
前記複数の切替パターンをメモリバッファ内に記憶することをさらに含む、項目１３６に記載の方法。
（項目１３８）
前記メモリバッファは、時系列先入れ先出しバッファ、循環バッファ、および一連のメモリ場所またはレジスタのうちの１つである、項目１３７に記載の方法。
（項目１３９）
前記切替は、３０または６０フレーム／秒における高速切替である、項目１３６に記載の方法。
（項目１４０）
前記ディスプレイは、アナログスイッチを使用して、前記切替を実施する、項目１３６に記載の方法。
（項目１４１）
ユーザ瞬目を検出することと、
前記切替パターンを修正し、前記ユーザ瞬目と一致する２つのディスプレイのためのフレームをブランキングすることと
をさらに含む、項目１３６に記載の方法。
（項目１４２）
ユーザウインクを検出することと、
前記切替パターンを修正し、前記ユーザ瞬目と一致する１つのディスプレイのためのフレームをブランキングすることと
をさらに含む、項目１３６に記載の方法。
（項目１４３）
仮想、拡張、または複合現実システムであって、
ヘッドセットと、
遠隔コンピューティングモジュールと
を備え、前記ヘッドセットは、
ユーザ入力を受信することと、
前記ユーザ入力内のキーワードを検出することと、
前記ユーザ入力内のキーワードの検出に応答して、ウェイクアップコードを前記遠隔コンピューティングモジュールに送信することであって、前記遠隔コンピューティングモジュールは、低電力スタンバイモードにある、ことと
を行うように構成され、
前記遠隔コンピューティングモジュールは、前記ウェイクアップコードの受信に応答して、前記低電力スタンバイモードを終了するように構成される、システム。
（項目１４４）
前記ユーザ入力は、オーディオ入力であり、前記ユーザ入力を受信することは、前記ヘッドセット上のマイクロホンを使用して、前記オーディオ入力を検出することを含む、項目１４３に記載のシステム。
（項目１４５）
前記ユーザ入力内のキーワードを検出するヘッドセットは、
前記マイクロホンと通信し、前記オーディオ入力を受信する、前記ヘッドセット内のオーディオプロセッサと、
前記オーディオプロセッサと通信し、オーディオデータを受信する、前記ヘッドセット内の知覚プロセッサと
を備える、項目１４４に記載のシステム。
（項目１４６）
前記ヘッドセットがユーザ入力内のキーワードを検出することはさらに、
前記知覚プロセッサがキーワード記憶装置にアクセスすることと、
前記知覚プロセッサが、前記オーディオデータと前記キーワード記憶装置内の複数のキーワードを比較し、前記キーワードを検出することと
を含む、項目１４５に記載のシステム。
（項目１４７）
前記ユーザ入力内のキーワードの検出に応答して、前記ヘッドセットがインタラプトコードを前記遠隔コンピューティングモジュールに送信することをさらに含む、項目１４３に記載のシステム。
（項目１４８）
仮想、拡張、または複合現実システムであって、
知覚プロセッサ内に予測エンジンを有する、ヘッドセットと、
遠隔コンピューティングモジュールと
を備え、
前記ヘッドセットは、ユーザ移動の開始を検出し、前記ユーザ移動の開始の検出に応答して、前記ユーザ移動を測定するように構成され、
前記ヘッドセット内の知覚プロセッサ内の予測エンジンは、前記測定されたユーザ移動から予測されるユーザ移動を生成し、
前記ヘッドセット内の知覚プロセッサは、前記予測エンジンが前記予測されるユーザ移動を生成することに応答して、前記予測されるユーザ移動を使用して変換を画像データに実施する、システム。
（項目１４９）
前記ヘッドセットは、前記予測されるユーザ移動および変換パラメータを使用して、前記変換を前記画像データに実施する、項目１４８に記載のシステム。
（項目１５０）
前記ヘッドセットは、前記予測されるユーザ移動および予測される色変化を使用して、前記変換を前記画像データに実施する、項目１４８に記載のシステム。
（項目１５１）
前記ヘッドセットは、前記予測されるユーザ移動および予測される採光変化または予測されるコントラスト変化を使用して、前記変換を前記画像データに実施する、項目１４８に記載のシステム。
（項目１５２）
前記ヘッドセット内の知覚プロセッサがユーザ焦点を予測することと、
前記予測エンジンが前記予測されるユーザ移動を生成することに応答して、前記ヘッドセット内の知覚プロセッサが、前記予測されるユーザ移動および前記予測されるユーザ焦点を使用して、前記変換を前記画像データに実施することと
さらに含む、項目１４８に記載のシステム。
（項目１５３）
前記ユーザ移動は、頭部移動である、項目１４８に記載のシステム。
（項目１５４）
前記ユーザ移動は、眼移動である、項目１４８に記載のシステム。
（項目１５５）
仮想、拡張、または複合現実システムであって、
ローカル処理モジュールを有するヘッドセットと、
遠隔処理モジュールと、
前記ローカル処理モジュールと前記遠隔処理モジュールとの間の第１の通信チャネルと、
前記ローカル処理モジュールと前記遠隔処理モジュールとの間の第２の通信チャネルであって、前記第２の通信チャネルは、前記第１の通信チャネル未満の電力を要求する、第２の通信チャネルと
を備える、システム。
（項目１５６）
前記第１の通信チャネルは、ＵＳＢまたはＰＣＩＥ接続であり、前記第２の通信チャネルは、ＳＰＩまたは類似低電力接続である、項目１５５に記載のシステム。
（項目１５７）
遠隔処理モジュールと、ローカル処理モジュールを含むヘッドセットとを有する、仮想、拡張、または複合現実システムにおける方法であって、
動作モードを検出することと、
前記動作モードの間、前記ローカル処理モジュールと前記遠隔処理モジュールとの間の第１の通信チャネルがディスエーブルにされ得ることを決定することと、
前記動作モードの間、ディスエーブルにされ得る前記第１の通信チャネルのコンポーネントを識別することと、
前記ローカル処理モジュールと前記遠隔処理モジュールとの間の第２の通信チャネルを経由して通信することであって、前記第２の通信チャネルは、前記第１の通信チャネル未満の電力を要求する、ことと、
前記第２の通信チャネルを経由した通信の成功に基づいて、前記第１の通信チャネルのコンポーネントをディスエーブルにすることと
を含む、方法。
（項目１５８）
前記第２の通信チャネルのコネクタを再マッピングし、前記第２の通信チャネルを経由した通信を促進することをさらに含む、項目１５７に記載の方法。
（項目１５９）
前記第２の通信チャネルのコネクタへの相互に排他的アクセスを提供し、前記第２の通信チャネルを経由した通信を促進することをさらに含む、項目１５７に記載の方法。
（項目１６０）
仮想、拡張、または複合現実システムにおける方法であって、
前記仮想、拡張、または複合現実システムの第１のコンポーネントにおける低電力要件のインジケータを検出することと、
前記第１のコンポーネントにおけるローカル低電力モードを識別することと、
前記仮想、拡張、または複合現実システムの第２のコンポーネントを含む協調低電力モードを識別することと、
前記協調低電力モードのインジケータを前記第２のコンポーネントに送信することと、
前記第１のコンポーネントが前記ローカル低電力モードを開始することと、
前記第２のコンポーネントが前記協調低電力モードを開始することと
を含む、方法。
（項目１６１）
前記低電力要件のインジケータは、消音ボタンのアクティブ化である、項目１６０に記載の方法。
（項目１６２）
前記ローカル低電力モードは、マイクロホンを非アクティブ化することを含む、項目１６１に記載の方法。
（項目１６３）
前記協調低電力モードは、発話プロセッサを非アクティブ化することを含む、項目１６２に記載の方法。
（項目１６４）
仮想、拡張、または複合現実システムにおける方法であって、
前記仮想、拡張、または複合現実システムの第１のコンポーネントにおける低電力要件のインジケータを検出することと、
前記第１のコンポーネントにおける第１および第２のローカル低電力モードを識別することと、
それぞれ、前記仮想、拡張、または複合現実システムの第２のコンポーネントを含む、第１および第２の協調低電力モードを識別することと、
前記第１および第２のローカル低電力モードを比較し、好ましいローカル低電力モードを識別することと、
前記第１および第２の協調低電力モードを比較し、好ましい協調低電力モードを識別することと、
組み合わせ低電力モードを前記好ましいローカル低電力モードおよび前記好ましい協調低電力モードから生成することと、
前記第１および第２のコンポーネントが前記組み合わせ低電力モードを開始することと
を含む、方法。
（項目１６５）
仮想、拡張、または複合現実システムにおける方法であって、前記システムは、ヘッドセットと、遠隔コンピューティングモジュールとを有し、前記方法は、
前記ヘッドセットがヘッドセットタイムコードを前記遠隔コンピューティングモジュールに送信することと、
前記遠隔コンピューティングモジュールが遠隔コンピューティングモジュールタイムコードを前記ヘッドセットに送信することと、
前記ヘッドセットが、前記遠隔コンピューティングモジュールタイムコードと前記ヘッドセットタイムコードを比較し、第１のドリフトを識別することと、
前記遠隔コンピューティングモジュールが、前記ヘッドセットタイムコードと前記遠隔コンピューティングモジュールタイムコードを比較し、第２のドリフトを識別することと
を含む、方法。
（項目１６６）
前記ヘッドセットが、前記第１のドリフトに基づいて、そのクロックをリセットし、前記ヘッドセットおよび前記遠隔コンピューティングモジュールを同期させることをさらに含む、項目１６５に記載の方法。
（項目１６７）
前記遠隔コンピューティングモジュールが、前記第２のドリフトに基づいて、そのクロックをリセットし、前記ヘッドセットおよび前記遠隔コンピューティングモジュールを同期させることをさらに含む、項目１６５に記載の方法。
（項目１６８）
仮想、拡張、または複合現実システムにおける方法であって、前記システムは、ヘッドセットと、プロジェクタと、遠隔コンピューティングモジュールとを有し、前記方法は、
前記遠隔コンピューティングモジュールが低帯域幅構成を前記ヘッドセットに送信することと、
前記プロジェクタが低電力オプションを前記ヘッドセットに送信することと、
前記ヘッドセットが低電力コマンドを前記低電力オプションから前記プロジェクタに送信することと
を含む、方法。
（項目１６９）
仮想、拡張、または複合現実システムにおける方法であって、前記システムは、ヘッドセットと、遠隔コンピューティングモジュールとを有し、前記方法は、
前記ヘッドセット内のマイクロホンを構成することと、
前記ヘッドセットから前記遠隔コンピューティングモジュールへの通信経路を構成することと、
前記ヘッドセット内の知覚プロセッサが利用可能な音チャネルの第１の数および必要とされる音チャネルの第２の数を計算することと、
前記知覚プロセッサが前記第２の数が前記第１の数を上回ることを決定することと、
前記知覚プロセッサが余剰データを未使用音チャネルの中にパッキングすることと
を含む、方法。
（項目１７０）
前記余剰データは、エコーキャンセルデータ、眼姿勢データ、またはおよび頭部姿勢データのうちの少なくとも１つを含む、項目１６９に記載の方法。
（項目１７１）
前記方法は、動的に実施される、項目１６９に記載の方法。
以下に説明される図面は、例証目的のためにすぎない。図面は、本開示の範囲を限定することを意図するものではない。
図面は、本開示の種々の実施形態の設計および可用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本開示の種々の実施形態の列挙される利点および目的ならびに他の利点および目的を取得する方法をより深く理解するために、本開示のより詳細な説明は、付随の図面に図示される、その具体的実施形態を参照することによって与えられるであろう。これらの図面は、本開示の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされないことを理解されたい、本開示は、付随の図面の使用を通して、付加的具体性および詳細とともに記載ならびに説明されるであろう。
図１は、例示的ＡＲシステムを使用したＡＲ／ＭＲ場面のユーザのビューを図示する。
図２Ａは、ウェアラブルディスプレイシステムの実施例を図示する。
図２Ｂは、一実施形態による、ＡＲ／ＭＲシステムを描写する、ブロック図である。
図２Ｃは、一実施形態による、ＡＲ／ＭＲ頭部搭載型ディスプレイの分解斜視図である。
図２Ｄは、一実施形態による、モバイルコンピューティングサポートシステム、種々の図を含む。
図２Ｅは、図２Ｄに描写されるモバイルコンピューティングサポートシステムの分解斜視図である。
図２Ｆは、一実施形態による、トーテムコントローラの斜視図である。
図２Ｇは、一実施形態による、ＶＲ／ＡＲ／ＭＲシステムを実装するための遠位に位置するコンポーネントを含む、ＶＲ／ＡＲ／ＭＲシステムブロック図である。
図２Ｈは、一実施形態による、ＶＲ／ＡＲ／ＭＲシステムを実装するために使用される、コンポーネントの配列を描写する。
図３は、ユーザのための３次元画像をシミュレートするための従来のディスプレイシステムを図示する。
図４は、複数の深度平面を使用して、３次元画像をシミュレートするためのアプローチの側面を図示する。
図５Ａ－５Ｃは、曲率半径と焦点半径との間の関係を図示する。
図６は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。
図７は、導波管によって出力された出射ビームの実施例を示す。
図８は、各深度平面が、それぞれ、異なる色の光を出力する、３つの関連付けられた導波管を有する、導波管スタックの例示的設計を図示する。
図９は、ライトフィールドビデオデータを表示する、ＶＲ／ＡＲ／ＭＲシステムのための例示的タイミングスキームを図示する。
図１０は、付加された制御データを含む、ビデオデータのフレームのための例示的フォーマットを図示する。制御データは、ブランキング周期の間にも、メタデータとして送信されてもよい。
図１１は、制御データを含む、ビデオデータのフレームのための別の例示的フォーマットを図示する。
図１２Ａは、内蔵制御データを含む、ビデオデータのピクセルのための例示的フォーマットを図示する。
図１２Ｂは、内蔵制御データを含む、ビデオデータのピクセルのための別の例示的フォーマットを図示する。
図１３は、ビデオのフレームが、順次表示され得る、色成分に分離され得る方法を図示する。
図１４は、ライトフィールドビデオデータのフレームが、深度平面インジケータデータを使用して、それぞれ、表示のために色成分サブフレームに分割され得る、複数の深度平面に分離され得る方法を図示する。
図１５は、図１２Ａおよび１２Ｂの深度平面インジケータデータが、ライトフィールドビデオデータのフレームの１つ以上の深度平面が非アクティブであることを示す、実施例を図示する。
図１６は、拡張現実システム内のコンピュータ生成された画像のフレームのための例示的描画エリアを図示する。
図１７は、システムのディスプレイコントローラによって実装される、例示的ピクセル処理パイプラインのブロック図である。
図１８は、別の深度平面に対応するピクセルとの混成操作を制御するためのデータでタグ付けされる、ビデオピクセルのための例示的フォーマットを図示する。
図１９は、図１７に示されるピクセル処理パイプラインの色混成ブロックによって行われ得る、例示的混成操作を図示する。
図２０は、ピクセル毎に画像データの深度平面間で混成操作を実施する、色混成ブロックの実施形態を図示する。
図２１は、深度平面全体にわたって均一ベースで画像データの深度平面間で混成操作を実施する、色混成ブロックの実施形態を図示する。
図２２は、図１７に示されるピクセル処理パイプラインのレンズ歪曲補正機能性の略図である。
図２３は、歪曲補正出力ピクセルの値を計算するためのピクセル補間器による、４つの入力ピクセルＡ、Ｂ、Ｃ、Ｄの補間を図示する。
図２４Ａは、図１７に示されるピクセル処理パイプラインのローリングバッファ内のマクロブロックを図示する。
図２４Ｂは、ピクセルをマクロブロックから補間器に通過させるための例示的マルチプレクサ論理を図示する。
図２５Ａは、頭部姿勢情報に基づいて、ＶＲ／ＡＲ／ＭＲ画像データをワーピングするための例示的システムを図示する。
図２５Ｂは、頭部姿勢情報に基づいて、ＶＲ／ＡＲ／ＭＲ画像データをワーピングするための改良されたシステムを図示する。
図２５Ｃは、頭部姿勢情報に基づいて、ＶＲ／ＡＲ／ＭＲ画像データをワーピングするための別の改良されたシステムを図示する。
図２６は、色ルックアップテーブル混成操作モードを実装するためのシステムの例示的実施形態を図示する。
図２７は、一実施形態による、ＭＲ体験を生成するための方法の概略図である。
図２８は、一実施形態による、ＡＲ／ＭＲシステムの概略図である。
図２９は、一実施形態による、低電力モードと通常電力モードとの間の切替の方法を図示する、フローチャートである。
図３０は、一実施形態による、通常電力モードおよびバーストまたは高電力モードとの間の切替の方法を図示する、フローチャートである。
図３１Ａおよび３１Ｂは、２つの実施形態による、多平面ディスプレイモードと離散結像モードとの間の切替の方法を図示する、フローチャートである。 図３１Ａおよび３１Ｂは、２つの実施形態による、多平面ディスプレイモードと離散結像モードとの間の切替の方法を図示する、フローチャートである。
図３２は、一実施形態による、追跡および／または予測される眼または視線位置を使用して、レンダリングプロセッサ要件を低減させる方法を図示する、フローチャートである。
図３３は、一実施形態による、ＡＲ／ＭＲシステム内で使用されるような実世界場面と併せた場面拡張を示す、３Ｄ場面を図示する。
図３４は、一実施形態による、ＶＲ／ＡＲ／ＭＲシステムを実装するコンポーネント内で使用されるような１つ以上の連続的により離れる深度平面を図示する。
図３５は、種々の実施形態による、図３４に描写される複数の連続的により離れる深度平面と、低電力ＶＲ／ＡＲ／ＭＲシステムを実装するために使用される深度平面を切り替える方法を図示する、フローチャートとを含む。
図３６は、一実施形態による、遠位に位置するコンポーネントを含む、ＶＲ／ＡＲ／ＭＲシステムを図式的に描写する。
図３７は、一実施形態による、ＶＲ／ＡＲ／ＭＲシステム内のアナログスイッチを使用したフレーム毎低電力深度平面切替を図示する。
図３８は、一実施形態による、低電力ＶＲ／ＡＲ／ＭＲシステム内のアナログスイッチを使用したフレーム毎ウインクまたは瞬目イベント深度平面切替を図示する。
図３９は、一実施形態による、ＶＲ／ＡＲ／ＭＲシステム内に低電力ディスプレイ技法を実装するための６連射アーキテクチャを図式的に描写する。
図４０は、一実施形態による、ＶＲ／ＡＲ／ＭＲシステム内の低電力短待ち時間ヘッドセットアーキテクチャを図式的に描写する。
図４１は、一実施形態による、ＶＲ／ＡＲ／ＭＲシステム内の短待ち時間低電力フローとより長い待ち時間電力フローの両方を比較する、チャートである。
図４２は、一実施形態による、移動予測をヘッドセットコンポーネントに送達するためのＶＲ／ＡＲ／ＭＲシステムを図式的に描写する。
図４３は、一実施形態による、ヘッドセットコンポーネント内のローカル予測エンジンを有する、ＶＲ／ＡＲ／ＭＲシステムを図式的に描写する。
図４４は、２つの実施形態による、ＶＲ／ＡＲ／ＭＲシステム内の短待ち時間ローカル予測エンジンとより長い待ち時間ローカル予測エンジンを比較する、チャートである。
図４５は、一実施形態による、低電力側チャネルを有する、ＶＲ／ＡＲ／ＭＲシステムを図式的に描写する。
図４６Ａ－４６Ｃは、種々の実施形態による、ＶＲ／ＡＲ／ＭＲシステム内の低電力側チャネルを使用するためのモードベースのフローを描写する、フローチャートである。
図４７は、一実施形態による、ＶＲ／ＡＲ／ＭＲシステム内の低電力側チャネルを使用するためのケーブル構成を図式的に描写する。
図４８は、一実施形態による、ＶＲ／ＡＲ／ＭＲシステム内の協働コンポーネント間の低電力側チャネル通信を実装するためのモード構成プロトコルを図式的に描写する。
図４９は、一実施形態による、ＶＲ／ＡＲ／ＭＲシステム内の協働コンポーネント間の低電力側チャネル通信を実装するための複数のコンポーネントモード構成フローを図式的に描写する。
図５０は、一実施形態による、ＶＲ／ＡＲ／ＭＲシステム内の協働コンポーネント間で使用されるような低電力同期技法を図式的に描写する。
図５１は、一実施形態による、ＶＲ／ＡＲ／ＭＲシステム内の協働コンポーネント間で通信されるためのデータの時分割多重化の実装を描写する、フローチャートである。
図５２は、一実施形態による、ＶＲ／ＡＲ／ＭＲシステム内のコンポーネント間で通信されるためのデータの時分割多重化を実装するためのデータパッキングを図示する。
図５３は、一実施形態による、ＶＲ／ＡＲ／ＭＲシステムのためのバッテリブーストシステムを図式的に描写する。
図５４は、一実施形態による、ＶＲ／ＡＲ／ＭＲシステムの協働コンポーネントを含む、ケーブル接続システムを図式的に描写する。
図５５は一実施形態による、ＶＲ／ＡＲ／ＭＲシステムの協働コンポーネントを含む、無線接続システムを図式的に描写する。
図５６は、一実施形態による、ＶＲ／ＡＲ／ＭＲシステムの複数の協働コンポーネントを含む、システムコンポーネントパーティション化を図式的に描写する。
図５７は、一実施形態による、ＶＲ／ＡＲ／ＭＲシステムの協働コンポーネント上への実装のためのシステム機能パーティション化を図式的に描写する。
図５８は、一実施形態による、ＶＲ／ＡＲ／ＭＲシステムの協働コンポーネント上への実装のためのシステム機能パーティション化を図式的に描写する。
図５９は、一実施形態による、実際の物理的部屋内における表示のために、照明された仮想オブジェクトを正確に生成する方法を図示する、フローチャートである。
図６０は、一実施形態による、私的情報を含む画像を使用して、公的に入手可能な光マップを生成する方法を図示する、フローチャートである。
図６１は、２つの実施形態による、複数のＶＲ／ＡＲ／ＭＲシステムの協働コンポーネントを含む、システムコンポーネントパーティション化を図式的に描写する。
図６２は、第１の実施形態による、ＧＰＵ内のワーピング操作を図示する。
図６３は、第２の実施形態による、ＧＰＵ内のワーピング操作を図示する。
図６４は、第３の実施形態による、ＧＰＵ内のワーピング操作を図示する。
本開示の種々の実施形態は、単一実施形態または複数の実施形態における、仮想現実（ＶＲ）／拡張現実（ＡＲ）／複合現実（ＭＲ）のためのシステム、方法、および製造品を対象とする。本開示の他の目的、特徴、および利点は、発明を実施するための形態、図、および請求項に説明される。
種々の実施形態が、ここで、当業者が本開示を実践することを可能にするように、例証的実施例として提供される、図面を参照して詳細に説明されるであろう。着目すべきこととして、以下の図および実施例は、本開示の範囲を限定することを意味するものではない。本開示のある要素が、部分的または完全に、公知のコンポーネント（または方法もしくはプロセス）を使用して実装され得る場合、本開示の理解のために必要なそのような公知のコンポーネント（または方法もしくはプロセス）の一部のみが、説明され、そのような公知のコンポーネント（または方法もしくはプロセス）の他の部分の詳細な説明は、本開示を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、本明細書に例証として参照されるコンポーネントの現在および将来的公知の均等物を包含する。
本開示による実施形態は、多くの場合、既製品コンポーネントとカスタムコンポーネントの組み合わせに依拠する、ＶＲ／ＡＲ／ＭＲシステムの実装の問題に対処する。ある場合には、既製品コンポーネントは、開発予定ＶＲ／ＡＲ／ＭＲシステムのある所望の側面を実装するために必要とされる、特徴または性能特性の全てを保有していない。いくつかの実施形態は、能力を追加し、および／またはリソースを再利用し、開発予定ＶＲ／ＡＲ／ＭＲシステムの所望の特徴または性能特性に適応させるためのアプローチを対象とする。本明細書の付随の図および議論は、ＶＲ／ＡＲ／ＭＲシステムのための例示的環境、システム、方法、およびコンピュータプログラム製品を提示する。
概要
本明細書に開示される仮想現実（「ＶＲ」）、拡張現実（「ＡＲ」）、および複合現実（「ＭＲ」）システムは、ディスプレイを含むことができ、これは、コンピュータ生成された画像（ビデオ／画像データ）をユーザに提示する。いくつかの実施形態では、ディスプレイシステムは、装着可能であって、これは、有利には、より没入型のＶＲ／ＡＲ／ＭＲ体験を提供し得る。図２Ａは、ウェアラブルＶＲ／ＡＲ／ＭＲディスプレイシステム８０（以降、「システム８０」と称される）の実施例を図示する。システム８０は、ディスプレイ６２と、そのディスプレイ６２の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ６２は、フレーム６４に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者６０（以降、「ユーザ６０」と称される）によって装着可能であって、ディスプレイ６２をユーザ６０の眼の正面に位置付けるように構成される。いくつかの実施形態では、スピーカ６６が、フレーム６４に結合され、ユーザ６０の外耳道に隣接して位置付けられる。いくつかの実施形態では、示されない、別のスピーカが、ユーザ６０の他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する。ディスプレイ６２は、有線または無線接続６８等によって、ローカル処理およびデータモジュール７０に動作可能に結合され、これは、フレーム６４に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ６０に除去可能に取り付けられる（例えば、リュック式構成、ベルト結合式構成等において）等、種々の構成において搭載されてもよい。
ローカル処理およびデータモジュール７０は、プロセッサと、不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリとを含んでもよく、両方とも、データの処理および記憶を補助するために利用されてもよい。これは、画像捕捉デバイス（例えば、カメラ）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、アンテナアレイ、深度センサ、および／またはジャイロスコープ等のセンサから捕捉されたデータを含む。センサは、フレーム６４に動作可能に結合される、または別様にユーザ６０に取り付けられてもよい。代替として、または加えて、センサデータは、可能性として、処理または読出後、ディスプレイ６２への通過のために、遠隔処理モジュール７２および／または遠隔データリポジトリ７４を使用して入手および／または処理されてもよい。ローカル処理およびデータモジュール７０は、これらの遠隔モジュール（７２、７４）が、相互に動作可能に結合され、ローカル処理およびデータモジュール７０へのリソースとして利用可能であるように、通信リンク（７６、７８）によって、有線または無線通信リンク等を介して、遠隔処理モジュール７２および遠隔データリポジトリ７４に動作可能に結合されてもよい。
いくつかの実施形態では、遠隔処理モジュール７２は、データ（例えば、センサデータおよび／または画像情報）を分析および処理するように構成される、１つ以上のプロセッサを含んでもよい。いくつかの実施形態では、遠隔データリポジトリ７４は、デジタルデータ記憶設備を含んでもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的使用を可能にする。
いくつかの実施形態では、ディスプレイ６２を介して提供されるコンピュータ生成された画像データは、３次元である印象を作成することができる。これは、例えば、立体視画像データをユーザ６０に提示することによって行われることができる。いくつかの従来のシステムでは、そのような画像データは、若干異なる視点からの場面またはオブジェクトの別個の画像を含むことができる。別個の画像は、それぞれ、ユーザ６０の右眼および左眼に提示され、したがって、両眼視覚およびその関連付けられた深度知覚をシミュレートすることができる。
ここで図２Ｂを参照すると、ＡＲまたはＭＲシステム３３００（以降、「システム３３００」と称される）の例示的実施形態が、図示される。システム３３００は、スタックされた光誘導光学要素（以降、「「ＬＯＥ３３９０」と称される）を使用する。システム３３００は、概して、画像生成プロセッサ３３１０と、光源３３２０と、コントローラ３３３０と、空間光変調器（「ＳＬＭ」）３３４０と、多平面焦点システムとして機能する、少なくとも１つのスタックされたＬＯＥ３３９０のセットとを含む。システム３３００はまた、眼追跡サブシステム３３５０を含んでもよい。他の実施形態は、複数のスタックされたＬＯＥ３３９０のセットを有してもよいことを理解されたい。
画像生成プロセッサ３３１０は、ユーザに表示されるための仮想コンテンツを生成するように構成される。画像生成プロセッサ３３１０は、仮想コンテンツと関連付けられた画像またはビデオを、ユーザに３Ｄで投影され得る、フォーマットに変換してもよい。例えば、３Ｄコンテンツを生成する際、仮想コンテンツは、特定の画像の一部が、特定の深度平面に表示される一方、その他が、他の深度平面に表示されるように、フォーマットされる必要があり得る。一実施形態では、画像は全て、特定の深度平面に生成されてもよい。別の実施形態では、画像生成プロセッサ３３１０は、ともに視認されると、仮想コンテンツがコヒーレントかつ快適にユーザの眼に現れるように、若干異なる画像を右および左眼に提供するようにプログラムされてもよい。
画像生成プロセッサ３３１０はさらに、メモリ３３１２と、ＧＰＵ３３１４と、ＣＰＵ３３１６と、画像生成および処理のための他の回路とを含んでもよい。画像生成プロセッサ３３１０は、システム３３００のユーザに提示されるための所望の仮想コンテンツでプログラムされてもよい。いくつかの実施形態では、画像生成プロセッサ３３１０は、システム３３００内に格納されてもよいことを理解されたい。他の実施形態では、画像生成プロセッサ３３１０および他の回路は、システム３３００に結合されるベルトパック内に格納されてもよい。
画像生成プロセッサ３３１０は、所望の仮想コンテンツと関連付けられた光を投影する、光源３３２０と、１つ以上の空間光変調器３３４０とに動作可能に結合される。光源３３２０は、コンパクトであって、高分解能を有する。光源３３２０は、コントローラ３３３０に動作可能に結合される。光源３３２０は、種々の幾何学的構成に配置される、色特有のＬＥＤおよびレーザを含んでもよい。代替として、光源３３２０は、同様の色のＬＥＤまたはレーザを含んでもよく、それぞれ１つが、ディスプレイの視野の具体的領域にリンクされる。別の実施形態では、光源３３２０は、放出エリアおよび位置のセグメント化のためのマスクオーバーレイを伴う、白熱灯または蛍光灯等の広域エミッタを含んでもよい。光源３３２０は、図２Ｂでは、直接、システム３３００に接続されるが、光源３３２０は、光ファイバ（図示せず）を介して、システム３３００に接続されてもよい。システム３３００はまた、光源３３２０からの光をコリメートするように構成される、集光器（図示せず）を含んでもよい。
ＳＬＭ３３４０は、種々の例示的実施形態では、反射性（例えば、ＬＣＯＳ、ＦＬＣＯＳ、ＤＬＰ ＤＭＤ、またはＭＥＭＳミラーシステム）、透過性（例えば、ＬＣＤ）、または発光性（例えば、ＦＳＤまたはＯＬＥＤ）であってもよい。ＳＬＭ３３４０のタイプ（例えば、速度、サイズ等）は、３Ｄ知覚の作成を改良するように選択されることができる。より高いリフレッシュレートで動作するＤＬＰ ＤＭＤは、定常システム３３００の中に容易に組み込まれ得るが、ウェアラブルシステム３３００は、より小さいサイズおよび電力のＤＬＰを使用し得る。ＤＬＰの電力は、３Ｄ深度平面／焦点面が作成される方法を変化させる。画像生成プロセッサ３３１０は、ＳＬＭ３３４０に動作可能に結合され、これは、光源３３２０からの光を所望の仮想コンテンツでエンコードする。光源３３２０からの光は、ＳＬＭ３３４０から反射する、そこから放出される、またはそれを通して通過するとき、画像情報でエンコードされてもよい。
ＳＬＭ３３４０からの光は、ＳＬＭ３３４０によって１つの深度平面および／または色のための画像データでエンコードされた光ビームが、ユーザの眼への送達のために、単一ＬＯＥ３３９０に沿って効果的に伝搬されるように、ＬＯＥ３３９０に指向される。各ＬＯＥ３３９０は、所望の深度平面またはＦＯＶ角度位置からユーザの網膜上に生じるように現れる、画像またはサブ画像を投影するように構成される。光源３３２０およびＬＯＥ３３９０は、したがって、空間内の種々の深度平面または位置から生じるように現れる、（コントローラ３３３０の制御下、ＳＬＭ３３４０によって同期してエンコードされる）画像を選択的に投影することができる。光源３３２０およびＬＯＥ３３９０のそれぞれを使用して、十分に高フレームレート（例えば、６０Ｈｚの事実上フルボリュームのフレームレートにおける６つの深度平面に関して３６０Ｈｚ）において、画像を連続して投影させることによって、システム３３００は、３Ｄ画像内に同時に存在するように現れる、仮想オブジェクトの３Ｄ画像を種々の深度平面に生成することができる。
コントローラ３３３０は、画像生成プロセッサ３３１０、光源３３２０、およびＳＬＭ３３４０と通信し、それに動作可能に結合され、ＳＬＭ３３４０に、光源３３２０からの光ビームを画像生成プロセッサ３３１０からの適切な画像情報でエンコードするように命令することによって、画像の同期表示を協調させる。
システム３３００はまた、ユーザの眼を追跡し、ユーザの焦点を決定するように構成される、随意の眼追跡サブシステム３３５０を含む。一実施形態では、システム３３００は、画像がユーザの焦点／遠近調節と一致する所望の深度平面に生成されるように、眼追跡サブシステム３３５０からの入力に基づいて、ＬＯＥ３３９０のサブセットを照明するように構成される。例えば、ユーザの眼が、相互に平行である場合、システム３３００は、画像が光学無限遠から生じるように現れるように、コリメートされた光をユーザの眼に送達するように構成される、ＬＯＥ３３９０を照明してもよい。別の実施例では、眼追跡サブシステム３３５０が、ユーザの焦点が１メートル離れていることを決定する場合、ほぼその範囲内に集束するように構成される、ＬＯＥ３３９０が、代わりに照明されてもよい。
図２Ｃは、一実施形態による、複合現実頭部搭載型ディスプレイ３４００を描写する。複合現実頭部搭載型ディスプレイ３４００は、複合現実システム（例えば、図２Ａおよび２Ｂに描写されるＡＲまたはＭＲシステム）の一部を形成してもよい。複合現実頭部搭載型ディスプレイ３４００は、フレーム３４０２を含み、そこに他のコンポーネントが固着され、一対の眼鏡またはゴーグルに類似する形状因子をもたらす。ディスプレイ３４００はまた、つる／パッド３４０４と、前額スペーサ３４０６と、鼻あて３４０８とを含み、これらは全て、ディスプレイ３４００をユーザの頭部上に快適に維持するためのフレーム３４０２との機能である。フレーム３４０２、つるアーム／パッド３４０４、前額スペーサ３４０６、および鼻あて３４０８は全て、ディスプレイ３４００の全体的形状因子がユーザの頭部サイズおよび形状に共形化するように修正され得るように、モジュール式であって、種々のサイズで利用可能である。
例えば、あるユーザは、より長くかつより幅の狭い頭部を有し得る一方、他のユーザは、より短くかつより幅の広い頭部を有し得る。前者のユーザに関して、つるアーム／パッド３４０４は、ユーザの頭部に向かってより緩慢にテーパ状になり、より長くかつより幅の狭い頭部に適応し得る。後者のユーザに関して、つるアーム／パッド３４０４は、ユーザの頭部に向かってより急峻にテーパ状になり、より短くかつより幅の広い頭部に適応し得る。同様に、複数（例えば、３つ）の前額スペーサ３４０６および鼻あて３４０８が存在し、ユーザの頭部上へのディスプレイ３４００の嵌合を最適化してもよい。つるアーム／パッド３４０４、前額スペーサ３４０６、および鼻あて３４０８は、シリコーンオーバーモールドの内側に制御可能／可鍛性合金を含み、わずかな嵌合調節を促進し得る。つるアーム／パッド３４０４は、ユーザの頭部の側面における快適な接触のために、シリコーン内側表面を伴う、プラスチックパディングを含んでもよい。
フレーム３４０２はまた、種々のユーザの頭部に適応するために、種々のサイズで生じることができる。フレーム３４０２は、アルミニウムから作製されてもよく、これは、種々の表面処理を促進し、ディスプレイ３４００を個人化する。例示的表面処理として、限定ではないが、陽極酸化、着色、塗装、および印刷が挙げられる。表面処理を使用して、ディスプレイ３４００は、ユーザの嗜好および美感に合わせてカスタマイズされることができる。
ディスプレイ３４００はまた、一対のプロジェクタ／ＳＬＭ３４１０を含み、画像データでエンコードされた光をユーザに表示する。ディスプレイ３４００はさらに、一対の光学アセンブリ３４１２を含み、個別のプロジェクタ／ＳＬＭ３４１０からの光をユーザの眼に誘導する。プロジェクタ／ＳＬＭ３４１０および光学アセンブリ３４１２の実施例は、上記に説明されている。さらに、ディスプレイ３４００は、一対の外部レンズ３４１４を含み、これは、審美的であって、色付けされ、および／または衝撃耐性であってもよい。審美的観点から、外部レンズ３４１４は、ディスプレイ３４００のよりすっきりした外観のために、外部レンズ３４１４の背後のシステムコンポーネントを目立たなくすることができる。色付けに関して、外部レンズ３４１４は、５０％～７０％透明度を有し、仮想オブジェクトおよび実世界物理的オブジェクトの両方からの光を伴うＡＲ体験を最適化してもよい。
ディスプレイ３４００はまた、正面バンド３４１６と、システムコンポーネントを保護しながら、外部レンズ３４１４の周囲にディスプレイ３４００の連続的正面を形成するためのセンサカバー３４１８とを含む。ディスプレイ３４００はさらに、システムコンポーネントを保護しながら、ユーザの顔に隣接するディスプレイ３４００のための保護内側表面を形成する、一対の内側カバー３４２２を含む。さらに、ディスプレイ３４００は、１つ以上の随意の処方箋レンズ３４２２を含み、矯正レンズを要求するユーザに適応してもよい。
ディスプレイ３４００は、フレーム３４０２に隣接して配置される、一連のセンサを含む。一対の眼追跡カメラ３４２４が、外部レンズ３４１４に隣接して配置される。３つの正面に面したカメラ３４２６が、フレーム３４０２の上部に隣接して配置される。慣性測定ユニット（「ＩＭＵ」）３４２８もまた、フレーム３４０２の上部に隣接して配置される。ＩＭＵ３４２８は、１つ以上の加速度計、ジャイロスコープ、および磁力計を含んでもよい。ＩＭＵ３４２８は、６自由度の力、角度変化、および／または磁場変化を測定し得る。一対のマイクロホン３４３０が、つるアーム／パッド３４０４に隣接して配置される。
ディスプレイ３４００はまた、つるアーム／パッド３４０４に隣接して配置される、一対のスピーカ３４３２を含む。例示的スピーカは、米国仮特許出願第６２／３６９，５６１号（弁理士整理番号第ＭＬ．３００４１．００号）（その内容は、全体として記載される場合と同様に、参照することによって明示的かつ完全にその全体として本明細書に組み込まれる）に説明される。米国仮特許出願第６２／３６９，５６１号に説明されるように、スピーカ３４３２は、ユーザの選好に合わせて置換および／または修正され得るように、モジュール式であってもよい。さらに、つるアーム／パッド３４０４に隣接するスピーカ３４３２の場所は、ディスプレイ３４００が、スピーカ３４３２の代わりに、またはそれに加え、遮音ヘッドホン（図示せず）と併用されることを可能にする。
ディスプレイ３４００はさらに、フレーム３４０２の正面の中心に隣接して配置される、中心印刷回路基板３４３４を含む。さらに、ディスプレイ３４００は、一対のケーブル３４３６を含み、その中に含有されるモバイルコンピューティングサポートシステム（図２Ｄ参照）プロセッサとの通信を促進する。ケーブル３４３６はまた、電力をモバイルコンピューティングサポートシステムからディスプレイ３４００に送達することができる。ケーブル３４３６は、ケーブル３４３６が、光または閃光を種々の色および／またはパターンで放出し、データの伝送、電力の伝送、および／またはＡＲ体験の表示等、ＡＲまたはＭＲシステムのある機能を示すことを可能にする、統合された光源（例えば、小ＬＥＤまたは光ファイバ）を含むことができる。
図２Ｄは、一実施形態による、モバイルコンピューティングサポートシステム３５００を描写する。モバイルコンピューティングサポートシステム３５００は、複合現実システム（例えば、図２Ａに描写されるＡＲまたはＭＲシステム）の一部を形成してもよい。例えば、一実施形態では、モバイルコンピューティングサポートシステム３５００は、図２Ｃに描写される複合現実頭部搭載型ディスプレイ３４００に動作可能に結合されてもよい。モバイルコンピューティングサポートシステム３５００は、コネクタ３５０６によって、長楕円（すなわち、「丸薬形状」）部分３５０４に接続される、円形部分３５０２を含む。円形部分３５０２は、プロセッサ等のコンピューティングコンポーネントを格納してもよい。長楕円部分３５０４は、モバイルコンピューティングサポートシステム３５００、いくつかの実施形態では、複合現実頭部搭載型ディスプレイ３４００を含む、複合現実システム全体に給電する、バッテリを格納する。したがって、バッテリおよび長楕円部分３５０４は、実質的量の熱を生成し得る。
コネクタ３５０６は、円形部分３５０２を長楕円部分３５０４から分離し、空間３５０８をその間に作成する。空間３５０８は、円形部分３５０２を長楕円部分３５０４から断熱する。空間３５０８はまた、モバイルコンピューティングサポートシステム３５００が、長楕円部分３５０４をポケットの中に挿入し、円形部分３５０２をポケットの外側に残し、それによって、ポケットを形成する生地を空間３５０８内に固着することによって、衣類上のポケット（例えば、ズボンの後ポケット）に移動可能に固着され得るように構成される。代替として、モバイルコンピューティングサポートシステム３５００は、ストラップ上でユーザの頸部の周囲に装着されることができる。
モバイルコンピューティングサポートシステム３５００は、そのディスク部分３５０２の正面表面上に配置される、電源ボタン３５１０と、ＬＥＤ光３５１２とを含む。モバイルコンピューティングサポートシステム３５００はまた、そのディスク部分３５０２の上部表面から延在する、データケーブル３５１４を含む。一実施形態では、データケーブル３５１４は、２つに分割し、図２Ｃに描写される複合現実頭部搭載型ディスプレイ３４００に取り付けられる、対のケーブル３４３６を形成する。したがって、データケーブル３５１４は、光または閃光を種々の色および／またはパターンで放出し、データの伝送、電力の伝送、および／またはＡＲ体験の表示等、ＡＲまたはＭＲシステムのある機能を示してもよい。円形部分３５０２の形状は、データケーブル３５１４を円形部分３５０２の円周の周囲に巻着させることによって、データケーブル３５１４の収納を促進する。これはさらに、円形部分３５０２の円周の周囲の溝（図示せず）の含有によって促進されることができる。
モバイルコンピューティングサポートシステム３５００はまた、そのディスク部分３５０２の左（空気入口３５１６および空気排出口３５１８）および右（空気入口３５１６）表面上に配置される、２つの空気入口３５１６と、空気排出口３５１８とを含む。モバイルコンピューティングサポートシステム３５００はさらに、そのディスク部分３５０２の左表面上に配置される、制御ボタン３５２０（例えば、消音、音量アップ、および音量ダウン）を含む。さらに、モバイルコンピューティングサポートシステム３５００は、そのディスク部分３５０２の左表面上に配置される、ヘッドホンジャック３５２２を含む。本ジャック３５２２は、複合現実頭部搭載型ディスプレイ３４００上のスピーカ３４３２と併用され得る、ＡＲまたはＭＲシステムへのヘッドホンの接続を促進する。加えて、モバイルコンピューティングサポートシステム３５００は、その底部表面上に配置される、ポート３５２４を含む。一実施形態では、ポート３５２４は、データおよび電力を伝送するためのＵＳＢポートである。
図２Ｄは、分解図として図２Ｃに描写される、モバイルコンピューティングサポートシステム３５００を描写する。図２Ｅは、円形部分３５０２および長楕円部分３５０４がそれぞれ、正面に面した審美的カバーを含むことを示す。電源ボタン３５１０は、円形部分３５０２の審美的カバーを通して延在する。ＬＥＤ光３５１２は、円形部分３５０２の審美的カバーを通して可視である。
図２Ｆは、一実施形態による、トーテムコントローラ３６００を描写する。トーテムコントローラ３６００は、複合現実システム（例えば、図２Ａおよび２Ｂに描写されるＡＲまたはＭＲシステム）の一部を形成してもよい。例えば、一実施形態では、トーテムコントローラ３６００は、図２Ｃ－２Ｅに描写される複合現実頭部搭載型ディスプレイ３４００およびモバイルコンピューティングサポートシステム３５００に動作可能に結合されてもよい。トーテムコントローラ３６００は、その上部表面上に配置され、ユーザの親指による操作のために構成される、円形タッチパッド３６０２を含む。円形タッチパッド３６０２は、タッチパッド３６０２のＸおよびＹ軸における運動および下向き押下を記録するように構成される、容量タッチパッドであってもよい。円形タッチパッド３６０２は、タッチに対して軟質であるように、ポリマーコーティングを含むことができる。トーテムコントローラ３６００はまた、種々の他の制御表面３６０４（例えば、ボタン、トリガ等）を含む。円形タッチパッド３６０２および制御表面３６０４は、ユーザが、ＡＲ体験、生産性アプリケーション、およびゲーム用アプリケーションを含む、種々のプログラムと相互作用することを可能にする。トーテムコントローラ３６００はまた、ＩＭＵおよびＬＥＤ光を含んでもよい（例えば、円形タッチパッド３６０２の周囲に）。
いくつかの実施形態では、複合現実頭部搭載型ディスプレイ３４００、図２Ｃ－２Ｆに描写されるモバイルコンピューティングサポートシステム３５００、およびトーテムコントローラ３６００は、ユーザが複合現実体験を体験し、それと相互作用するための複合現実システムを形成する。１つのそのような実施形態では、複合現実頭部搭載型ディスプレイ３４００、モバイルコンピューティングサポートシステム３５００、トーテムコントローラ３６００、およびこれらのコンポーネントを接続するケーブルは全て、色、タイミング、およびパターンの観点から同期され、複合現実システムの種々の状態および複合現実システムによって実施される機能を示す、ＬＥＤ光（例えば、トーテムコントローラ３６００内のＲＧＢにおける１２のＬＥＤ光）を含む。ＬＥＤ光によって示され得る、状態および機能の実施例は、通知、較正、および電力ステータスを含む。
例示的複合現実システムが、図２Ｃ－２Ｆに描写される、複合現実頭部搭載型ディスプレイ３４００と、モバイルコンピューティングサポートシステム３５００と、トーテムコントローラ３６００とを含むように説明されたが、他の複合現実システムは、より少ない、より多い、異なるシステムコンポーネントを含んでもよい。例えば、一実施形態では、複合現実頭部搭載型ディスプレイ３４００と、モバイルコンピューティングサポートシステム３５００と、トーテムコントローラ３６００とを有する、複合現実システムを装着している、ユーザが、互換性があるサーバまたは基地局（図示せず）を含む、部屋の中に歩いて行くと、複合現実システムは、自動的に、またはユーザ入力に応じて、複合現実システムのコンポーネントとして追加されるように、サーバまたは基地局に接続し得る。
他の実施形態では、複合現実頭部搭載型ディスプレイ３４００と、モバイルコンピューティングサポートシステム３５００と、トーテムコントローラ３６００とを有する、複合現実システムを装着している、ユーザが、互換性があるサーバまたは基地局（図示せず）を含む、部屋の中に歩いて行くと、複合現実システムは、自動的に、またはユーザ入力に応じて、モバイルコンピューティングサポートシステム３５００から接続解除し、電源を切り、そのサーバまたは基地局に接続してもよい。そのような実施形態では、サーバまたは基地局は、モバイルコンピューティングサポートシステム３５００に取って代わり、その電力を節約する。それらの実施形態では、複合現実頭部搭載型ディスプレイ３４００およびトーテムコントローラ３６００は、電力をサーバまたは基地局から引き出すことを可能にする、個々の電源またはケーブルを有する。
さらに他の実施形態では、キーボードが、複合現実頭部搭載型ディスプレイ３４００に接続され、モバイルコンピューティングサポートシステム３５００およびトーテムコントローラ３６００の両方に取って代わってもよい。これらおよび他のシステム構成も、本開示の範囲内に含まれる。
図２Ｇは、ＶＲ／ＡＲ／ＭＲシステムを実装するために遠位に位置するコンポーネントを含む、ＶＲ／ＡＲ／ＭＲシステム８０（例えば、図２Ａに描写されるものに類似するシステム８０のため）のブロック図である。オプションとして、ＶＲ／ＡＲ／ＭＲシステム８０の１つ以上の変形例またはその任意の側面が、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。ＶＲ／ＡＲ／ＭＲシステム８０またはその任意の側面は、任意の環境内に実装されてもよい。
図２Ｇに示される実施形態は、単に、一実施例である。示されるように、ＶＲ／ＡＲ／ＭＲシステム８０のブロック図は、内蔵知覚プロセッサまたはコンピュータビジョンプロセッサ（「ＣＶＰＵ」）８５を含む、ＨＭＤまたはヘッドセット（図示されるように）の形態におけるローカル処理モジュール７０の具体的実装、ベルトパックの形態における遠隔処理モジュール７２の具体的実装、および経路７８を経由してアクセス可能な記憶装置の形態における遠隔データリポジトリ７４の具体的実装を描写する。「ＣＶＰＵ」は、「知覚プロセッサ」と称され得、その逆も同様である。加えて、ディスプレイシステム６２は、プロジェクタ６５を含み、これは、順に、光源（例えば、ＬＥＤ／レーザモジュール）または空間光変調器（ＳＬＭ）（例えば、シリコン上液晶（ＬＣＯＳ）モジュール）と、ディスプレイ光学（例えば、左ディスプレイ光学８１１および右ディスプレイ光学８１２）とを含み得る。例示的光源は、ＬＥＤと、レーザモジュール（例えば、レーザダイオードまたは「ＬＤ」モジュール）とを含む。
ＶＲ／ＡＲ／ＭＲシステム８０は、概して、ベルトパック（図示されるように）（順に、画像生成プロセッサ１０を含む）と、ヘッドセット（図示されるように）と、接眼レンズ（順に、プロジェクタ６５を含む）とを含んでもよい。
ベルトパックの画像生成プロセッサ１０または任意の他の構成コンポーネントは、ユーザに表示されるための仮想コンテンツを生成するように構成される。画像生成プロセッサ１０は、仮想コンテンツと関連付けられた画像またはビデオを、ユーザに３Ｄで投影され得る（例えば、プロジェクタ６５のコンポーネントを使用して）フォーマットに変換してもよい。例えば、３Ｄコンテンツを生成する際、仮想コンテンツは、特定の画像の一部が特定の深度平面に表示される一方、その他が他の深度平面に表示されるように、フォーマットされる必要があり得る。一実施形態では、画像は全て、特定の深度平面に生成されてもよい。別の実施形態では、画像生成プロセッサは、ともに視認されると、仮想コンテンツがコヒーレントかつ快適にユーザの眼に現れるように、若干異なる画像を右および左眼に提供するようにプログラムされてもよい。
画像生成プロセッサ１０はさらに、メモリ、ＧＰＵ、ＣＰＵ、および画像生成および処理のための他の回路を含んでもよい。ある場合には、ＧＰＵおよびＣＰＵは、単一チップ（例えば、既製品チップまたはカスタムチップ上システム（ＳＯＣ）実装）として具現化される。他の場合では、ＧＰＵプロセッサは、ベルトパックと知覚プロセッサ／ＣＶＰＵとの間で分割される。画像生成プロセッサ１０は、ＶＲ／ＡＲ／ＭＲシステム８０のユーザに提示されるための所望の仮想コンテンツでプログラムされてもよい。いくつかの実施形態では、画像生成プロセッサ１０は、ベルトパック以外の形態でＶＲ／ＡＲ／ＭＲシステム８０のウェアラブルコンポーネント内に格納されてもよいことを理解されたい。いくつかの実施形態では、画像生成プロセッサ１０および他の回路は、ケーブル接続または無線接続される、もしくはヘッドセットに結合される。
プロジェクタ６５内の光源は、ＬＥＤ、レーザコンポーネント、またはＳＬＭ／ＬＣＯＳコンポーネントから形成されることができる。光源は、種々の幾何学的構成に配置される、色特有ＬＥＤおよび／またはレーザを含んでもよい。代替として、光源は、同様の色のＬＥＤまたはレーザを含んでもよく、それぞれ１つが、ディスプレイの視野の具体的領域にリンクされる。別の実施形態では、光源は、放出エリアおよび位置のセグメント化のためのマスクオーバーレイを伴う、白熱灯または蛍光灯等の広域エミッタを含んでもよい。光源は、光ファイバを介して、システムに接続されてもよい。本システムはまた、光源からの光をコリメートするように構成される、集光器（図示せず）を含んでもよい。
コントローラ３０は、光源に画像生成プロセッサ１０からの適切な画像情報を投影するように命令することによって、画像の同期表示を協調させるように、画像生成プロセッサ１０およびプロジェクタ６５内の光源と通信し、それに動作可能に結合される。ある場合には、ＶＲ／ＡＲ／ＭＲシステム８０はまた、ユーザの眼を追跡し、ユーザの焦点を決定するように構成される、前述の眼追跡サブシステムを含む。
ここで示されるヘッドセットを参照すると、ヘッドセットは、種々の変換器とインターフェースをとるように構成される、ＣＶＰＵ８５を含んでもよい。例えば、ＣＶＰＵ８５は、オーディオまたは発話信号をマイクロホンまたは専用音もしくは発話プロセッサから受信することができる。さらにＣＶＰＵ８５は、示されるスピーカ（またはイヤホン）を通して、オーディオまたは発話信号を生産することができる。ある場合には、ＣＶＰＵ８５は、前述の眼追跡サブシステムとインターフェースがとられ、および／またはＣＶＰＵ８５は、ユーザ頭部および／または身体移動を追跡するように、１つ以上の加速度計および／または他の形態の慣性測定デバイスとインターフェースがとられる。ＣＶＰＵ８５は、同時に受信された変換器入力を組み合わせ、ユーザの姿勢（例えば、頭部姿勢、眼姿勢、胴体姿勢等）の査定をまとめることができる。ＣＶＰＵ８５は、同時に受信された変換器入力を組み合わせ、ユーザの姿勢の変化する特性（例えば、方向転換、起立、歩行、走行、手による信号伝達等）に関する時間毎の予測を含む、ユーザの姿勢の査定をまとめることができる。ＣＶＰＵ８５はさらに、（１）グラフィック／画像処理、（２）発話処理（例えば、音素または単語検出）、（３）通信（例えば、信号伝達および／またはパケットベースの通信等）、ならびに（４）所与または測定された入力に基づく値の計算等の一般的コンピューティングを実施することが可能である。
ヘッドセットは、構成コンポーネントの種々のパーティション化を使用して実装されることができる。１つのそのようなパーティション化は、構成コンポーネントのうちのいくつか間のデータフローを含む、以下の図に与えられる。
図２Ｈは、ＶＲ／ＡＲ／ＭＲシステム８０内にヘッドセットを実装するために使用される、コンポーネントの配列を描写する。オプションとして、配列、またはコンポーネント、もしくはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。
図２Ｈに示される実施形態は、単に、一実施例である。示されるように、コンポーネントの配列は、ローカル処理モジュールから生じ、次いで、遠隔処理モジュールに送達される、感知データ（例えば、加速度計から）を含む、データフローをサポートする。遠隔処理モジュールのＣＰＵおよび／またはＧＰＵを使用した処理後、深度および他の空間情報を含む、画像情報等のＶＲ／ＡＲ／ＭＲデータは、可能性として、プロジェクタ（例えば、示されるプロジェクタ）を使用して、ユーザへの表示のために、ローカル処理モジュールの構成コンポーネントに送達される。示されるフローはさらに、電力消費を低下させる、待ち時間を低下させる、通信オーバーヘッドを低下させる等に関する目的を果たす、ある代替フローおよびコンポーネント配列とともに、本明細書で議論される。
図３は、３次元画像データをユーザ（例えば、ユーザ６０）にシミュレートするための従来のディスプレイシステムを図示する。眼４および５毎に１つの２つの明確に異なる画像８４および８６が、ユーザに出力される。画像８４および８６は、ユーザ６０の視線と平行な光学またはｚ－軸に沿って、距離１２だけ眼４および５から離間される。画像８４および８６は、平坦であって、眼４および５は、単一遠近調節状態をとることによって、画像上に合焦し得る。そのようなシステムは、ヒト視覚系に依拠し、画像８４および８６を組み合わせ、組み合わせられた画像のための深度の知覚を提供する。
しかしながら、ヒト視覚系は、より複雑であって、深度の現実的知覚の提供は、より困難であることを理解されるであろう。例えば、従来の３Ｄディスプレイシステムの多くのユーザは、そのようなシステムを不快であると見出す、または深度の感覚を全く知覚しない場合がある。理論によって限定されるわけではないが、オブジェクトを視認するユーザは、輻輳・開散運動（ｖｅｒｇｅｎｃｅ）と遠近調節（ａｃｃｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを「３次元」として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動移動（すなわち、瞳孔が、相互に向かって、またはそこから離れるように移動し、眼の視線を収束させ、オブジェクトを固視するような瞳孔の回転）は、眼の水晶体の合焦（または「遠近調節」）と緊密に関連付けられる。通常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼のレンズの焦点の変化または眼の遠近調節は、「遠近調節－輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の整合変化を誘起するであろう。本明細書に記載されるように、多くの立体視ディスプレイシステムは、３次元視点がヒト視覚系によって知覚されるように、若干異なる提示（したがって、若干異なる画像）を使用して、場面を各眼に表示する。そのようなシステムは、単に、場面の異なる提示を提供するが、眼が全ての画像情報を単一遠近調節状態で視認する状態では、「遠近調節－輻輳・開散運動反射」に反発するため、多くの視認者にとって不快である。遠近調節と輻輳・開散運動との間のより良好な整合を提供する、システムは、３次元画像データのより現実的かつ快適なシミュレーションを形成し得る。
例えば、ライトフィールドビデオデータは、３次元ビューをシミュレートするためにユーザに提示されることができる。ライトフィールドビデオデータは、実世界環境内のユーザ６０の眼に進入する、光線を模倣することができる。例えば、ライトフィールドビデオデータを表示するとき、ある距離において知覚されるためにシミュレートされる、オブジェクトからの光線は、ユーザの眼に進入するとき、よりコリメートされるようにされる一方、知覚された近傍で知覚されるためにシミュレートされる、オブジェクトからの光線は、より発散されるようにされる。したがって、場面内のオブジェクトからの光線がユーザの眼に進入する角度は、視認者からのそれらのオブジェクトのシミュレートされた距離に依存する。ＶＲ／ＡＲ／ＭＲシステム内のライトフィールドビデオデータは、異なる深度平面からの場面またはオブジェクトの複数の画像を含むことができる。画像は、深度平面毎に異なってもよく（例えば、１つの深度平面は、場面の前景に対応する画像を含んでもよい一方、別の深度平面は、場面の背景に対応する画像を含んでもよい）、視認者の眼によって別個に合焦され、それによって、ユーザに深度の快適な知覚を提供することに役立ち得る。
これらの複数の深度平面画像が、視認者に、同時に、または高速で連続して提示されると、結果は、視認者によって、３次元画像として解釈される。視認者が、本タイプのライトフィールドビデオデータを体験するとき、眼は、実世界場面を体験するときのほぼ同様に、異なる深度平面に合焦するように遠近調節する。これらの焦点キューは、より現実的シミュレートされた３次元環境を提供することができる。
いくつかの構成では、各深度平面において、フルカラー画像が、それぞれ、特定の原色を有する、構成画像をオーバーレイすることによって形成されてもよい。例えば、赤色、緑色、および青カラー画像がそれぞれ、別個に出力され、各フルカラー深度平面画像を形成してもよい。その結果、各深度平面は、それと関連付けられた複数の原色画像を有してもよい。
図４は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。ｚ－軸上の眼４および５から種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼（４、５）によって遠近調節される。眼４および５は、特定の遠近調節状態をとり、オブジェクトをｚ－軸に沿って異なる距離に合焦させる。その結果、特定の遠近調節状態は、眼がその深度平面のための遠近調節状態にあるとき、特定の深度平面内のオブジェクトまたはオブジェクトの一部が合焦するように、深度平面１４の特定のうちの１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像データは、眼（４、５）毎に画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。
オブジェクトと眼（４または５）との間の距離もまた、その眼によって視認されるように、オブジェクトからの光の発射量を変化させ得る。図５Ａ－５Ｃは、距離と光線の発散との間の関係を図示する。オブジェクトと眼４との間の距離は、減少距離Ｒ１、Ｒ２、およびＲ３の順序で表される。図５Ａ－５Ｃに示されるように、光線は、眼４からオブジェクトまでの距離が減少するにつれてより発散する。眼４からオブジェクトまでの距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点（オブジェクトまたはオブジェクトの一部）によって生成されるライトフィールドは、点がユーザの眼４から離れている距離の関数である、球状波面曲率を有すると言え得る。曲率が増加すると、オブジェクトと眼４の間の距離が減少する。その結果、異なる深度平面では、光線の発散の程度もまたは、異なり、発散の程度は、深度平面と視認者の眼４との間の距離の減少に伴って増加する。単眼４のみが、図５Ａ－５Ｃおよび本明細書における他の図では、例証を明確にするために図示されるが、眼４に関する議論は、視認者の両眼（４および６）に適用され得ることを理解されるであろう。
理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。
図６は、画像データをユーザに（例えば、ユーザ６０）に出力するための導波管スタックの実施例を図示する。ディスプレイシステム１０００は、１つ以上の導波管（１８２、１８４、１８６、１８８、１９０）を使用して３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ１７８を含む。いくつかの実施形態では、ディスプレイシステム１０００は、図２Ａのシステム８０であって、図６は、そのシステム８０のいくつかの部分をより詳細に図式的に示す。例えば、スタックされた導波管アセンブリ１７８は、図２Ａのディスプレイ６２の中に統合されてもよい。
スタックされた導波管アセンブリ１７８はまた、１つ以上の特徴（１９８、１９６、１９４、１９２）を導波管間に含んでもよい。いくつかの実施形態では、特徴（１９８、１９６、１９４、１９２）は、レンズであってもよい。導波管（１８２、１８４、１８６、１８８、１９０）および／またはレンズ（１９８、１９６、１９４、１９２）は、種々のレベルの波面曲率または光線発散を用いて画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス（２００、２０２、２０４、２０６、２０８）は、画像データを導波管（１８２、１８４、１８６、１８８、１９０）の中に投入するために利用されてもよく、それぞれ、本明細書に説明されるように、眼４に向かって出力のために各個別の導波管を横断して入射光を分散させるように構成されてもよい。光は、画像投入デバイス（２００、２０２、２０４、２０６、２０８）の出力表面（３００、３０２、３０４、３０６、３０８）から出射し、導波管（１８２、１８４、１８６、１８８、１９０）の対応する入力縁（３８２、３８４、３８６、３８８、３９０）の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、クローン化されたコリメートビームの全体場を出力してもよく、これは、特定の導波管と関連付けられた深度平面に対応する特定の角度（および発散量）において眼４に向かって指向される。
いくつかの実施形態では、画像投入デバイス（２００、２０２、２０４、２０６、２０８）は、それぞれ、対応する導波管（それぞれ、１８２、１８４、１８６、１８８、１９０）の中への投入のために画像データを生産する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス（２００、２０２、２０４、２０６、２０８）は、画像情報を１つ以上の光学導管（光ファイバケーブル等）を介して画像投入デバイス（２００、２０２、２０４、２０６、２０８）のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
コントローラ２１０は、スタックされた導波管アセンブリ１７８および画像投入デバイス（２００、２０２、２０４、２０６、２０８）の動作を制御する。いくつかの実施形態では、コントローラ２１０は、本明細書に開示される種々のスキームのいずれかに従って、導波管（１８２、１８４、１８６、１８８、１９０）への画像データのタイミングおよび提供を調整する、プログラミング（例えば、非一過性媒体内の命令）を含む。いくつかの実施形態では、コントローラ２１０は、単一一体型デバイスまたは有線もしくは無線通信チャネルによって接続される分散型システムであってもよい。コントローラ２１０は、いくつかの実施形態では、処理モジュール（例えば、図２Ａのローカル処理およびデータモジュール７０および／または遠隔処理モジュール７２）の一部であってもよい。
導波管（１８２、１８４、１８６、１８８、１９０）は、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管（１８２、１８４、１８６、１８８、１９０）はそれぞれ、主要な上部および底部表面ならびにそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面または湾曲であってもよい。図示される構成では、導波管（１８２、１８４、１８６、１８８、１９０）はそれぞれ、各個別の導波管内で伝搬する光を導波管から再指向し、画像データを眼４に出力するように構成される、光再指向要素（２８２、２８４、２８６、２８８、２９０）を含んでもよい。光のビームは、導波管によって、導波管内を伝搬する光が光抽出光学要素に衝打する場所において出力される。光再指向要素（２８２、２８４、２８６、２８８、２９０）は、反射および／または回折光学特徴であってもよい。説明の容易性および図面の明確性のために、導波管（１８２、１８４、１８６、１８８、１９０）の底部主要表面に配置されて図示されるが、いくつかの実施形態では、光再指向要素（２８２、２８４、２８６、２８８、２９０）は、上部および／または底部主要表面に配置されてもよい、ならびに／もしくは導波管（１８２、１８４、１８６、１８８、１９０）の体積内に直接配置されてもよい。いくつかの実施形態では、光再指向要素（２８２、２８４、２８６、２８８、２９０）は、透明基板に取り付けられ、導波管（１８２、１８４、１８６、１８８、１９０）を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管（１８２、１８４、１８６、１８８、１９０）は、材料のモノリシック部品であってもよく、光再指向要素（２８２、２８４、２８６、２８８、２９０）は、材料のその部品の表面上および／またはその内部に形成されてもよい。
本明細書に議論されるように、各導波管（１８２、１８４、１８６、１８８、１９０）は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼４の最近傍の導波管１８２は、そのような導波管１８２の中に投入されるにつれて、コリメートされた光を眼４に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管１８４は、眼４に到達し得る前に、第１のレンズ１９２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ１９２は、眼／脳が、その次の上方の導波管１８４から生じる光を光学無限遠から眼４に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管１８６は、眼４に到達する前に、その出力光を第１の１９２および第２の１９４レンズの両方を通して通過させる。第１の１９２および第２の１９４レンズの組み合わせられた屈折力は、眼／脳が、第３の導波管１８６から生じる光が次の上方の導波管１８４からの光であった光学無限遠からユーザに向かって内向きにさらに近い第２の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管（１８８、１９０）およびレンズ（１９６、１９８）も同様に構成され、スタック内の最高導波管１９０は、ユーザに最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ１７８の他側の世界１４４から生じる光を視認／解釈するとき、レンズ（１９８、１９６、１９４、１９２）のスタックを補償するために、補償レンズ層１８０は、スタックされた導波管アセンブリ１７８の上部に配置され、下方のレンズスタック（１９８、１９６、１９４、１９２）の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光再指向要素およびレンズの集束側面は両方とも、静的であってもよい（すなわち、動的または電気活性ではない）。いくつかの代替実施形態では、それらは、電気活性特徴を使用して動的であってもよい。
光再指向要素（２８２、２８４、２８６、２８８、２９０）は、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、光再指向要素（２８２、２８４、２８６、２８８、２９０）の異なる構成を有してもよく、これは、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する。いくつかの実施形態では、本明細書に議論されるように、光再指向要素（２８２、２８４、２８６、２８８、２９０）は、立体または表面特徴であってもよく、これは、具体的角度で光を出力するように構成されてもよい。例えば、光再指向要素（２８２、２８４、２８６、２８８、２９０）は、体積ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光再指向要素は、２０１５年３月７日に出願された米国特許出願第１４／６４１，３７６号（参照することによってその全体として本明細書に組み込まれる）に説明される。いくつかの実施形態では、特徴（１９８、１９６、１９４、１９２）は、レンズではなくてもよい。むしろ、それらは、単に、スペーサ（例えば、クラッディング層および／または空隙を形成するための構造）であってもよい。
いくつかの実施形態では、光再指向要素（２８２、２８４、２８６、２８８、２９０）は、回折パターンまたは「回折光学要素」（また、本明細書では、「ＤＯＥ」とも称される）を形成する、回折特徴である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差点を用いて眼４に向かって偏向される一方、残りが全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像データを搬送する光は、したがって、様々な場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内で反射する本特定のコリメートされたビームに関して、眼４に向かって非常に均一パターンの出射放出となる。
いくつかの実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられてもよい（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられてもよい（その場合、パターンは、入射光を能動的に回折させる）。
図７は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が図示されるが、スタックされた導波管アセンブリ１７８内の他の導波管も同様に機能し得ることを理解されるであろう。光４００が、導波管１８２の入力縁３８２において導波管１８２の中に投入され、ＴＩＲによって導波管１８２内を伝搬する。光４００がＤＯＥ２８２上に衝突する点では、光の一部は、導波管から出射ビーム４０２として出射する。出射ビーム４０２は、略平行として図示されるが、本明細書に議論されるように、また、導波管１８２と関連付けられた深度平面に応じて、ある角度（例えば、発散出射ビーム形成）において眼４に伝搬するように再指向されてもよい。略平行出射ビームは、眼４からの大シミュレート距離（例えば、光学無限遠）における深度平面に対応する、導波管を示し得ることを理解されるであろう。他の導波管は、より発散する、出射ビームパターンを出力してもよく、これは、眼４がより近いシミュレートされた距離に合焦するように遠近調節することを要求し、光学無限遠より眼４に近い距離からの光として脳によって解釈されるであろう。
図８は、各深度平面が、それぞれ、異なる色の光を出力する、３つの関連付けられた導波管を有する、スタックされた導波管アセンブリ（例えば、スタックされた導波管アセンブリ１７８）の例示的設計を図式的に図示する。フルカラー画像が、複数の原色（例えば、３つ以上の原色）のそれぞれに画像をオーバーレイすることによって、各深度平面において形成されてもよい。いくつかの実施形態では、原色は、赤色、緑色、および青色を含む。いくつかの他の実施形態では、マゼンタ色、黄色、およびシアン色を含む、他の色が、赤色、緑色、または青色と併用されてもよい、もしくはそのうちの１つと置換されてもよい。各導波管は、特定の原色を出力するように構成されてもよく、その結果、各深度平面は、それと関連付けられた複数の導波管を有してもよい。各深度平面は、それと関連付けられた３つの導波管を有してもよい。第１のものは、赤色光を出力するためのものであって、第２のものは緑色光を出力するためのものであって、第３のものは、青色光を出力するためのものである。
深度平面１４ａ－１４ｆが、図８に示される。図示される実施形態では、各深度平面は、各深度平面は、第１の色Ｇの第１の画像、第２の色Ｒの第２の画像、および第３の色Ｂの第３の画像を含む、それと関連付けられた３つの原色画像を有してもよい。これらの文字のそれぞれに続く数字は、ジオプタ（１／ｍ）、すなわち、視認者からの深度平面の見掛け距離の逆数を示し、図中の各ボックスは、個々の原色画像を表す。いくつかの実施形態では、Ｇは、緑色であって、Ｒは、赤色であって、Ｂは、青色である。前述のように、ユーザからの深度平面の知覚される距離は、光再指向要素（２８２、２８４、２８６、２８８、２９０）（例えば、回折光学要素（ＤＯＥ）および／またはレンズ（１９８、１９６、１９４、１９２））によって確立されてもよく、これは、光を見掛け距離と関連付けられた角度において発散させる。
いくつかの配列では、各原色画像は、導波管のスタック内の異なる導波管によって出力されてもよい。例えば、各深度平面は、それと関連付けられた３つの原色画像を有してもよい。第１の導波管は、第１の色Ｇを出力し、第２の導波管は、第２の色Ｒを出力し、第３の導波管は、第３の色Ｂを出力する。導波管が原色画像を出力するために使用される、配列では、図８における各ボックスは、個々の導波管を表すものと理解され得る。
各深度平面と関連付けられた導波管は、本概略図では、説明を容易にするために、相互に隣接して示されるが、物理的デバイスでは、導波管は全て、レベル毎に１つの導波管を伴うスタックで配列されてもよいことを理解されるであろう。異なる深度平面は、文字Ｇ、Ｒ、およびＢに続くジオプタに関する異なる数字によって図に示される。
定義および図の使用
本説明で使用される用語のいくつかが、参照のために、以下に定義される。提示される用語およびその個別の定義は、これらの定義に厳密に制限されるわけではなく、用語は、本開示内の用語の使用によってさらに定義され得る。用語「例示的」は、本明細書では、実施例、インスタンス、または例証としての役割を果たすように意味するために使用される。「例示的」として本明細書に説明される任意の側面または設計は、必ずしも、他の側面または設計より好ましいまたは有利であるものとして解釈されるわけではない。むしろ、単語「例示的」の使用は、具体的方式で概念を提示することが意図される。本願および添付の請求項で使用されるようには、用語「または」は、排他的「または」ではなく、包含的「または」を意味するように意図される。すなわち、別様に規定されない限り、または文脈から明白ではない限り、「Ｘは、ＡまたはＢを採用する」は、自然包含的順列のいずれかを意味するように意図される。すなわち、Ｘが、Ａを採用する、Ｘは、Ｂを採用する、またはＸが、ＡおよびＢの両方を採用する場合、「Ｘは、ＡまたはＢを採用する」は、前述のインスタンスのいずれでも満たされる。本明細書で使用されるように、「ＡまたはＢのうちの少なくとも１つ」は、Ａのうちの少なくとも１つ、またはＢのうちの少なくとも１つ、またはＡおよびＢの両方のうちの少なくとも１つを意味する。言い換えると、本語句は、離接語である。本願および付加される実施例で使用されるような冠詞「ａ」および「ａｎ」は、概して、別様に規定されない限り、または単数形であるように指示されることが文脈から明白ではない限り、「１つ以上の」を意味するように解釈されるべきである。
種々の実施形態が、図を参照して本明細書に説明される。図は、必ずしも、正確な縮尺で描かれておらず、類似構造または機能の要素は、時として、図全体を通して同様の参照文字によって表されることに留意されたい。また、図は、開示される実施形態の説明を促進するためだけに意図され、それらは、全ての可能性として考えられる実施形態の包括的取扱を表すわけではなく、それらは、請求項の範囲に関する任意の限定を課すことを意図するものではないことに留意されたい。加えて、図示される実施形態は、任意の特定の環境内における使用の全ての側面または利点を描出する必要はない。
特定の実施形態と併せて説明される側面または利点は、必ずしも、その実施形態に限定されず、そのように図示されない場合でも、任意の他の実施形態において実践されることができる。本明細書全体を通して、「いくつかの実施形態」または「他の実施形態」の言及は、少なくとも一実施形態に含まれるように実施形態に関連して説明される、特定の特徴、構造、材料、または特性を指す。したがって、本明細書全体を通した種々の場所における語句「いくつかの実施形態では」または「他の実施形態では」の表出は、必ずしも、同一実施形態または実施形態を参照するわけではない。開示される実施形態は、請求項の限定であることを意図するものではない。
表示タイミングスキーム
いくつかの実施形態では、ＶＲ／ＡＲ／ＭＲシステム（例えば、システム８０）は、ビデオデータの所与のフレームのための複数の異なる深度平面を連続的に表示することによって、ライトフィールドビデオデータを提供する。システム８０は、次いで、ビデオデータの次のフレームを更新し、そのフレームのための複数の異なる深度平面を連続的に表示する。例えば、ビデオデータの第１のフレームは、実際には、ビデオデータの３つの別個のサブフレーム、すなわち、遠距離フレームＤ０と、中距離フレームＤ１と、近距離フレームＤ２とを含み得る。Ｄ０、Ｄ１、およびＤ２は、連続して表示されることができる。続いて、ビデオデータの第２のフレームが、表示されることができる。ビデオデータの第２のフレームも同様に、遠距離フレームと、中距離フレームと、近距離フレームとを含み得、これは、連続的に表示され、以降同様に続く。本実施例は、３つの深度平面を使用するが、ライトフィールドビデオデータは、そのように限定されない。むしろ、任意の複数の数の深度平面が、例えば、システム８０の所望のビデオフレームレートおよび能力に応じて使用されることができる。
ライトフィールドビデオデータの各フレームは、異なる深度平面のために複数のサブフレームを含むため、ライトフィールドビデオデータを提供する、システム８０は、高リフレッシュレートに対応可能なディスプレイパネルから利点を享受し得る。例えば、システム８０が、ビデオデータを１２０Ｈｚのフレームレートで表示するが、複数の異なる深度平面からの画像データを含む場合、ディスプレイ６２は、ビデオデータのフレーム毎に、画像データの複数の深度平面に適応するために、１２０Ｈｚを上回るリフレッシュレートに対応可能である必要があろう。いくつかの実施形態では、シリコン上液晶（ＬＣＯＳ）ディスプレイパネルが、使用されるが、他のタイプのディスプレイパネルもまた、使用されることができる（カラーシーケンシャルディスプレイおよび非カラーシーケンシャルディスプレイを含む）。
図９は、ライトフィールドビデオデータを表示する、ＶＲ／ＡＲ／ＭＲシステムのための（例えば、システム８０）例示的タイミングスキームを図示する。本実施例では、ビデオフレームレートは、１２０Ｈｚであって、ライトフィールドビデオデータは、３つの深度平面を含む。いくつかの実施形態では、各フレームの緑色、赤色、および青色成分が、同時にではなく、順次、表示される。いくつかの実施形態では、赤色、緑色、および青色成分は、同一アクティブ（すなわち、「オン」）時間を有していない。いくつかの実施形態では、赤色、緑色、および青色成分のうちの１つ以上のものは、数回、フレーム内で繰り返されてもよい。
１２０Ｈｚのビデオフレームレートは、８．３３３ｍｓを可能にし、これは、ビデオデータの単一フレームのための深度平面の全てを表示する。図９に図示されるように、ビデオデータの各フレームは、３つの深度平面を含み、各深度平面は、緑色、赤色、および青色成分を含む。例えば、深度平面Ｄ０は、緑色サブフレームＧ０と、赤色サブフレームＲ０と、青色サブフレームＢ０とを含む。同様に、深度平面Ｄ１は、それぞれ、緑色、赤色、および青色サブフレームＧ１、Ｒ１、およびＢ１を含み、深度平面Ｄ２は、それぞれ、緑色、赤色、および青色サブフレームＧ２、Ｒ２、およびＢ２を含む。各ビデオフレームが、３つの深度平面を含み、各深度平面が、３つの色成分を有することを前提として、配分された８．３３３ｍｓは、それぞれ、０．９２６ｍｓの９つのセグメントに分割される。図９に図示されるように、第１の深度平面のための緑色サブフレームＧ０は、第１の時間セグメントの間に表示され、第１の深度平面のための赤色サブフレームＲ０は、第２の時間セグメントの間に表示され、以降同様に続く。ビデオのフレーム毎の総緑色オン時間は、２．７７８ｍｓである。同じことは、フレーム毎の総赤色オン時間および青色オン時間にも当てはまる。しかしながら、他のビデオフレームレートもまた、使用されることができ、その場合、図９に図示される具体的時間インターバルは、適宜、調節され得ることを理解されたい。個々の色成分は、等しい表示時間を有するように図示されるが、これは、要求されるものではなく、色成分間の表示時間の比率は、変動され得る。さらに、深度平面および色成分サブフレームに関して図９に図示されるフラッシング順序は、一実施例にすぎない。他のフラッシング順序もまた、使用されることができる。さらに、図９は、カラーシーケンシャルディスプレイ技術を使用する、実施形態を図示するが、本明細書に説明される技法は、カラーシーケンシャルディスプレイに限定されない。
他のディスプレイタイミングスキームもまた、可能性として考えられる。例えば、フレームレート、深度平面の数、および色成分は、変動し得る。いくつかの実施形態では、本明細書に説明されるようなシステムのフレームレートは、８０Ｈｚであって、３つの深度平面が存在する。いくつかの実施形態では、異なる深度平面は、異なるフレームに表示されることができる。例えば、４つの深度平面を伴うライトフィールドビデオデータは、１２０Ｈｚのフレームレートにおいてフレームあたり２つの深度平面を表示することによって、６０Ｈｚの有効フレームレートで表示されることができる（深度平面Ｄ０およびＤ１は、最初の８．３３ｍｓで表示されることができ、深度平面Ｄ２およびＤ３は、次の８．３３ｍｓで表示されることができ、完全深度情報は、６０Ｈｚの有効フレームレートのために１６．７ｍｓで提供される）。いくつかの実施形態では、示される深度平面の数は、ディスプレイ上で空間的に変動し得る。例えば、より大きい数の深度平面は、ユーザ６０の視線内のディスプレイのサブ部分に示されることができ、より小さい数の深度平面は、ユーザ６０の周辺視覚内に位置する、ディスプレイ６２のサブ部分に示されることができる。そのような実施形態では、眼追跡装置（例えば、カメラおよび眼追跡ソフトウェア）が、ユーザ６０が見ているディスプレイ６２の部分を決定するために使用されることができる。
ビデオデータのための制御データ
図１０は、一実施形態による、ビデオデータのフレームのための例示的フォーマットを図示し、これは、付加される制御データを含む。図１０に図示されるように、各フレームは、制御データ１０１０と、画像データ１０２０とを含む。画像データ１０２０は、行（行０００１－行０９６０）および列（列００００－列１２７９）にフォーマットされる、ピクセルデータのアレイであってもよい。図示される実施例では、画像を形成する、１２８０列および９６０行の画像データ１０２０が、存在する。図１０はまた、制御データ１０１０が画像データ１０２０に付加され得ることを図示する。制御データ１０１０は、例えば、余剰行として画像データ１０２０に付加されることができる。いくつかの構成では、制御データ１０１０は、水平または垂直ブランキング時間の間に送信される、制御パケットまたはメタデータであってもよい。最初の行（行００００）は、制御データ１０１０を含む一方、残りの行（行０００１－０９６０）は、画像データ１０２０を含む。したがって、本実施形態では、ホストは、１２８０×９６１の分解能をディスプレイコントローラに伝送し、画像データ１０２０は、１２８０×９６０であって、制御データは、１２８０×１である。
ディスプレイコントローラは、付加された制御データ１０１０を読み取り、それを使用して、例えば、１つ以上のディスプレイパネル（例えば、左眼および右眼ディスプレイパネル）に送信される、画像データ１０２０を構成する。本実施例では、制御データ１０１０の行は、ディスプレイパネルに送信されない。したがって、ホストは、１２８０×９６１の分解能を用いて、制御データ１０１０および画像データ１０２０を含む、データのストリームをディスプレイコントローラに伝送するが、ディスプレイコントローラは、制御データ１０１０をデータのストリームから除去し、１２８０×９６０の分解能を用いて、画像データ１０２０のみをディスプレイパネルに伝送する。但し、他の実施形態では、制御データ１０１０も、ディスプレイパネルに伝送され、画像データ１０２０が示される方法を制御してもよい。そのような実施形態では、制御データ１０１０は、画像データ１０２０がディスプレイ上６２に示されることに先立って、ディスプレイドライバによって除去されてもよい。画像データ１０２０は、例えば、ディスプレイシリアルインターフェース（ＤＳＩ）フォーマットにおいて、ディスプレイパネル（例えば、ＬＣＯＳディスプレイパネル）に伝送されることができる。
図１０は、付加される制御データ１０１０が、ビデオデータの各フレームの開始に付加された単一行であることを図示するが、他の量の制御データも、代替として、付加されてもよい。例えば、制御データ１０１０は、複数の行または部分的行であってもよい。さらに、制御データ１０１０は、必ずしも、各フレームの開始に付加される必要はなく、代わりに、他の場所におけるフレームの中（例えば、ブランキング時間の間）に挿入されてもよい。例えば、制御データ１０１０は、画像データ１０２０の行間に挿入されてもよい、または画像データ１０２０の最後に付加されてもよい。加えて、制御データ１０２０は、必ずしも、１つ以上の行（または部分的行）として提供される必要はなく、代わりに、画像データ１０２０の左側（例えば、列００００）、画像データ１０２０の右側（例えば、列１２７９）、または画像データ１０２０の列間に提供されるように、１つ以上の列（または部分的列）として提供されることができる。制御データ１０１０をフレームの開始に付加することは、コントローラが、フレームの開始における制御データ１１０により容易に作用することを可能にし得る一方、制御データ１０１０をフレームの最後に付加することは、制御データ１０１０が、より最新であることを可能にし得る。これらのアプローチのいずれかが、制御データ１０１０が関連する、特定の操作に応じて有益であり得る。
図１１は、別の実施形態による、制御データを含む、ビデオデータのフレームのための別の例示的フォーマットを図示する。図１１は、ビデオデータのフレームを図示し、これは、制御データ１１１０と、画像データ１１２０とを含む。図１１のフレームは、図１０のフレームに類似するが、図１１の制御データ１１１０は、図１１の画像データ１１２０の最初の行の代わりに挿入される一方、図１０の制御データ１０１０は、図１０の画像データ１０２０の最初の行の前に付加される。したがって、フレームの最初の行（行００００）は、制御データ１１１０を含む一方、残りの行（行０００１－０９５９）は、画像データ１１２０を含む。
本実施例では、ホストは、１２８０×９６０の分解能を用いて、情報をディスプレイコントローラに伝送する。ディスプレイコントローラは、制御データ１１１０を使用して、ディスプレイパネルに送信される画像データ１１２０を構成することができる。ディスプレイコントローラは、次いで、図１１に図示されるフレームをディスプレイパネルに伝送する。しかしながら、いくつかの実施形態では、フレームをディスプレイパネルに伝送する前に、ディスプレイコントローラは、例えば、画像データのその行をゼロに設定することによって、制御データ１１１０を除去することができる。これは、各フレームの最初の行をディスプレイ上に暗線として現れさせる。
図１１に図示されるスキームを使用して、制御データ１１１０は、ディスプレイコントローラに送信される情報の分解能を変化させずに、フレームとともに含まれることができる。しかしながら、本実施例におけるトレードオフは、いくつかの画像データが制御データ１１１０によって置換されるという事実に起因して、有効ディスプレイ分解能が減少されることである。図１１は、制御データ１１１０が１つの行であることを示すが、他の量の制御データ１１１０もまた、使用されることができる。例えば、制御データ１１１０は、複数の行または部分的行であってもよい。さらに、図１１は、制御データ１１１０が、画像データの最初の行の代わりに挿入されることを図示するが、制御データ１１１０は、代替として、フレーム内の別の行の代わりに挿入されてもよい。例えば、制御データ１１１０は、画像データ１１２０の他の行間の画像データ１１２０の行の代わりに挿入されてもよい、または画像データ１１２０の最後における行として提供されてもよい。加えて、制御データ１１１０は、必ずしも、１つ以上の行（または部分的行）として提供される必要はないが、代わりに、画像データ１１２０の左側（例えば、列００００）、画像データ１１２０の右側（例えば、列１２７９）、または画像データ１１２０の列間に提供される、１つ以上の列（または部分的列）として提供されることができる。
例えば、それぞれ、図１０および１１（ならびに後の図１２Ａおよび１２Ｂ）に図示される、制御データ１０１０および１１１０は、いくつかの異なる目的のために使用されることができる。例えば、制御データは、ビデオデータのフレームが左眼ビデオパネルまたは右眼ビデオパネル上に表示されるべきかどうかを示すことができる。制御データは、以下にさらに説明されるように、（実際または仮想の）画像データが対応する１つ以上の深度平面を示すことができる。制御データは、ライトフィールドビデオデータのフラッシング順序を示すことができる。例えば、制御データは、各深度平面を表示する順序ならびに深度平面毎に色成分サブフレームを表示する順序を示すことができる。
加えて、例えば、それぞれ、図１０および１１に図示される、制御データ１０１０および１１１０は、例えば、それぞれ、図１０および１１に図示される、画像データ１０２０および１１２０に実施されるための１つ以上の画像ワーピング操作を示すために使用されることができる。画像ワーピング操作は、例えば、画像回転および／またはピクセル偏移（左／右または上／下）を含んでもよい。そのような画像ワーピング操作を実施する必要性は、ディスプレイのためのコンテンツがすでにＧＰＵによって生成された後に生じ得る。これは、例えば、ユーザ６０の頭部姿勢の変化、またはユーザ６０が仮想オブジェクトもしくは場面と相互作用するために使用する、有形オブジェクト（「トーテム」と称される）の配向の変化に起因し得る。それぞれ、図１０および１１に図示される画像データ１０２０および１１２０を調節および再レンダリングするのではなく、制御データ１０１０および１１１０は、画像ワーピング情報を含むことができ、これは、ディスプレイコントローラによって画像データに行われるべき、ピクセル偏移または画像回転の方向および大きさを規定する。いくつかの実施形態では、制御データは、頭部姿勢データおよび／またはトーテム姿勢データを含んでもよく、これは、実施するための１つ以上の画像ワーピング操作を決定するために使用されることができる。制御データ１０１０および１１１０はさらに、時間同期データを含んでもよく、これは、頭部姿勢データおよび／またはトーテム姿勢データと実施されることになる画像ワーピング操作を同期させるために使用されることができる。内蔵制御データ１０１０および１１１０に基づく画像ワーピングは、以下にさらに説明される。
制御データはまた、２つのステレオディスプレイのうちの一方のためのビデオデータのフレームが他方の中にコピーされるべきかどうかを示すことができる。例えば、最も離れたシミュレートされた深度平面（例えば、背景画像）の場合、比較的にわずかな差異（例えば、視差偏移に起因して）が、右および左眼画像間に存在し得る。そのような場合、制御データは、ステレオディスプレイのうちの一方のための画像が、１つ以上の深度平面のために、他方のディスプレイにコピーされることを示し得る。これは、右および左眼ディスプレイの両方のために、画像データをＧＰＵにおいて再レンダリングする、またはデータをディスプレイコントローラに再転送することなく、遂行されることができる。比較的にわずかな差異が、右および左眼画像間に存在する場合、ピクセル偏移もまた、両眼のための画像データを再レンダリングまたは再転送することなく、補償するために使用されることができる。
図１０および１１に図示される制御データはまた、ここに具体的に列挙されたものに加え、他の目的のためにも使用されることができる。
図１０および１１は、制御データのための１つ以上の行が、画像データとともに含まれることができることを図示するが、制御データはまた（または代替として）、画像データの個々のピクセルに内蔵されることができる。図１２Ａは、画像データのピクセル１２００のための例示的フォーマットを図示し、これは、内蔵制御データ１２４０を含む。図１２Ａは、ピクセル１２００が、青色値１２３０（バイト０）と、緑色値１２２０（バイト１）と、赤色値１２１０（バイト２）とを含むことを図示する。本実施形態では、色値はそれぞれ、８ビットの色深度を有する。いくつかの実施形態では、色値のうちの１つ以上のものに対応するビットのうちの１つ以上のものは、制御データ１２４０によって、色値のビット深度を犠牲して置換されることができる。したがって、制御データは、ピクセル１２００のための色値のダイナミックレンジを犠牲にして、直接、ピクセル１２００に内蔵されることができる。例えば、図１２Ａに図示されるように、青色値１２３０のハイライトされる２つの最下位ビットは、制御データ１２４０として充てられる。図示されないが、他の色値のビットもまた、制御データ１２４０として充てられることができる。例えば、赤色値１２１０、緑色値１２２０、および青色値１２３０の任意の組み合わせからのビットが、制御データ１２４０として使用されることができる。さらに、異なる数のピクセルビットが、制御データ１２４０として充てられることができる。例えば、図１８に関して以下に議論される一実施形態では、合計６ビット（赤色値１２１０、緑色値１２２０、および青色値１２３０のそれぞれ２ビット）が、制御データ１２４０として使用される。
いくつかの実施形態では、ピクセル１２００に内蔵される制御データ１２４０は、深度平面インジケータデータであることができる（但し、ピクセル１２００に内蔵される制御データ１２４０はまた、本明細書に説明される他のタイプを含む、任意の他のタイプの制御データであることができる）。本明細書に議論されるように、ライトフィールドビデオデータは、いくつかの深度平面を含むことができる。したがって、フレーム内の１つ以上のピクセルのためのビット深度は、低減されることができ、結果として生じる利用可能なビットは、ピクセルが対応する深度平面を示すために使用されることができる。
具体的実施例として、図１２Ａに図示される、２４ビットＲＧＢピクセルデータを検討する。赤色、緑色、および青色値はそれぞれ、８ビットのビット深度を有する。すでに議論されたように、色成分のうちの１つ以上のもののビット深度は、深度平面インジケータデータによって犠牲にされ、置換されることができる。例えば、眼は、青色にあまり敏感ではないため、青色成分は、８ビットの代わりに、６ビット（図１２ＡにおけるビットＢ２－Ｂ７）によって表されることができる。結果として生じる余剰２ビット（ビットＢ０およびＢ１）は、ピクセル１２００が対応する最大４つの深度平面を規定するために使用されることができる。より多いまたはより少ない深度平面が存在する場合、より多いまたはより少ない数の色ビットが、深度平面インジケータデータとして犠牲され、使用されることができる。例えば、ビット深度が、１ビット低減される（すなわち、深度平面インジケータデータの１ビットが提供される）場合、最大２つの深度平面が、規定されることができる。ビット深度が、３ビット低減される（すなわち、深度平面インジケータデータの３ビットが提供される）場合、最大８つの深度平面が規定されることができ、以降同様に続く。このように、色値のダイナミックレンジは、直接、画像データ自体内で深度平面インジケータデータをエンコードする能力とトレードオフされ得る。
色深度は、ピクセル１２００のビットのうちのいくつかを制御データ１２４０として使用することによって、低減され得るが、ディザリングも、犠牲にされる色深度の一部または全部がそのままである知覚を作成するために使用されることができる。例えば、ディザリングは、利用可能なカラーパレット内に留まる色のディザリングされたパターンを形成することによって、ピクセル１２００のカラーパレット内でもはや利用可能ではない色に近似させるために使用されることができる（制御データ１２４０がいくつかの画像データに取って代わったことに起因して）。色のこれらのパターンは、ユーザ６０によって、ピクセル１２００のパレット外の色に近似し得る、色混合物として知覚される。
いくつかの実施形態では、深度平面インジケータデータは、画像データの全てのピクセル１２００においてエンコードされる。他の実施形態では、深度平面インジケータデータは、フレームあたり１つのピクセル１２００、ラインあたり１つのピクセル１２００、ＶＲ／ＡＲ／ＭＲオブジェクトあたり１つのピクセル１２００等でエンコードされてもよい。加えて、深度平面インジケータデータは、単に、単一色成分において、または複数の色成分においてエンコードされることができる。同様に、直接、画像データ内で深度平面インジケータデータをエンコードする技法は、カラー画像データのみに限定されない。本技法は、グレースケール画像データ等のためにも同一方法で実践されることができる。
図１２Ａは、画像データ内の深度平面インジケータデータをエンコードするための１つの技法を図示する。図１２Ｂは、彩度サブサンプリングを採用し、結果として生じる利用可能なビットを深度平面インジケータデータとして使用する、別の技法を図示する。例えば、画像データは、ＹＣｂＣｒフォーマットで表されることができ、Ｙは、輝度成分（ガンマ補正される場合とそうではない場合がある）を表し、Ｃｂは、青色差彩度成分を表し、Ｃｒは、赤色差深度成分を表す。眼は、輝度分解能より彩度分解能に敏感ではないため、彩度情報は、画質を過度に劣化させずに、輝度情報より低い分解能が提供されることができる。いくつかの実施形態では、ＹＣｂＣｒ４：２：２フォーマットが、使用され、Ｙ値は、ピクセル毎に提供されるが、ＣｂおよびＣｒ値はそれぞれ、交互方式で１つおきのピクセルのためだけに提供される。これは、図１２Ｂに示され、第１のピクセルは、輝度バイト１２６０と、青色差彩度バイト１２５０とから成る一方、隣接する第２のピクセルは、輝度バイト１２８０と、赤色差彩度バイト１２７０とから成る。ピクセル（度サブサンプリングの不在下）が、通常、２４ビットの情報（８ビットＹ値、８ビットＣｂ値、および８ビットＣｒ値）から成る場合、彩度サブサンプリングを採用後、各ピクセルは、１６ビットの情報（８ビットＹ値および８ビットＣｂまたはＣｒ値）のみを要求するであろう。残りの８ビットは、深度平面インジケータデータとして使用されることができる。本技法によると、１２８０×９６０画像データの場合、サブフレーム毎に、画像データの１２８０×９６０×２バイトと、深度平面インジケータデータ（または他の制御データ）の１２８０×９６０×１バイトとが存在するであろう。深度平面インジケータデータは、ピクセルを適切な時間に表示されるための適切な深度平面に分離するために使用されることができる。さらに他の実施形態では、任意のデータ圧縮技法が、画像データを圧縮するために使用されることができる。圧縮の使用によって解放された帯域幅は、本明細書で議論される制御データのいずれかを提供するために使用されることができる。
図１２Ａに図示されるＲＧＢ実施形態および図１２Ｂに図示されるＹＣｂＣｒ４：２：２彩度サブサンプリング実施形態の両方において、深度平面インジケータデータは、システム８０によってサポートされる実際の深度平面および／または本明細書でのちに議論されるような仮想深度平面を規定することができる。深度平面インジケータデータが仮想深度平面を規定する場合、これはまた、以下に議論されるように、仮想深度平面を作成するように、混成されるべき深度平面の加重を規定することができる。
ディスプレイコントローラ内の内蔵深度平面インジケータデータの使用が、図１４に図示される。しかし、最初に、単一の深度平面のみが存在するときのディスプレイコントローラの動作を示すように、図１３が、背景として提供される。図１３は、ビデオのフレームが順次表示され得る色成分に分離され得る方法を図示する。図１３の左側のパネル１３１０は、１２０フレーム／秒（ｆｐｓ）ビデオの１つのフレームを含む、画像を示す。図１３の右側のパネル１３３０によって示されるように、画像は、赤色、緑色、および青色成分に分離され、これは、１秒の１／１２０（８．３３ｍｓ）の過程にわたって、ディスプレイコントローラによって、ディスプレイ上に連続してフラッシングされる。便宜上、図１３は、色成分がそれぞれ１回フラッシングされ、色成分がそれぞれ同一の時間量にわたってアクティブであることを示す。しかしながら、色成分はそれぞれ、１回を上回ってフラッシングされ、フリッカを回避する。ヒト視覚系は、次いで、右側パネル１３３０に示される個々の色成分サブフレームを左側パネル１３１０に示されるオリジナルカラー画像の中に融合させる。図１４は、各ビデオデータのフレームが複数の深度平面を含むとき、本プロセスが適合され得る方法を示す。
図１４は、ライトフィールドビデオデータのフレームが、深度平面インジケータデータを使用して、それぞれ、表示のために色成分サブフレームに分割され得る、複数の深度平面に分離され得る方法を図示する。いくつかの実施形態では、ホストが、ライトフィールドビデオデータのストリームをディスプレイコントローラに伝送する。ライトフィールドビデオデータの本ストリームは、図１４の左側のパネル１４１０内の画像によって表される。ディスプレイコントローラは、内蔵深度平面インジケータデータ（例えば、制御データ１２４０の深度平面インジケータデータ）を使用して、ライトフィールドビデオデータのストリームを１つ以上のＲｘＧｘＢｘシーケンスに分離することができ、Ｒ０Ｇ０Ｂ０シーケンスは、第１の深度平面に対応し、Ｒ１Ｇ１Ｂ１シーケンスは、第２の深度平面に対応し、Ｒ２Ｇ２Ｂ２シーケンスは、第３の深度平面に対応する。本深度平面分離は、各ピクセル内の２つの最下位青色ビットに基づいて実施されることができる（すなわち、図１２Ａに示されるように）が、赤色および／または緑色および／または青色値からのビットもまた、および／または代替として、使用されることができる。結果は、３つの別個の深度平面画像を示す、図１４の中央パネル１４２０に示される。最終的に、図１４の中央パネル１４２０に示される３つの別個の深度平面画像はそれぞれ、その構成色成分サブフレームに分離されることができる。各深度平面の色成分サブフレームは、次いで、図１４の右側のパネル１４３０によって図示されるように、ディスプレイに連続してフラッシングされることができる。シーケンス順序は、例えば、図１４に図示されるように、Ｒ０Ｇ０Ｂ０－Ｒ１Ｇ１Ｂ１－Ｒ２Ｇ２Ｂ２、または図９に図示されるように、Ｇ０Ｒ０Ｂ０－Ｇ１Ｒ１Ｂ１－Ｇ２Ｒ２Ｂ２であることができる。
深度平面インジケータデータは、使用するＲｘＧｘＢｘシーケンスの数およびシーケンスに対応するピクセルを決定するためにディスプレイコントローラによって使用されることができる。制御データはまた、ディスプレイにフラッシングされるＲｘＧｘＢｘ色シーケンスの順序を規定するように提供されることができる。例えば、３つの深度平面（Ｄ０、Ｄ１、Ｄ２）を含む画像データの場合、個々のＲｘＧｘＢｘシーケンスがディスプレイパネルにフラッシングされ得る、６つの可能性として考えられる順序、すなわち、Ｄ０、Ｄ１、Ｄ２；Ｄ０、Ｄ２、Ｄ１；Ｄ１、Ｄ０、Ｄ２；Ｄ１、Ｄ２、Ｄ０；Ｄ２、Ｄ０、Ｄ１；およびＤ２、Ｄ１、Ｄ０がある。制御データによって規定される順序が、Ｄ０、Ｄ１、Ｄ２である場合、第１の深度平面Ｄ０に対応する深度平面インジケータデータ（例えば、青色ＬＳＢビット）「００」を伴うピクセルは、出力されることになる第１のＲｘＧｘＢｘ色シーケンス画像として選択されることができる。第２の深度平面Ｄ１に対応する（例えば、青色ＬＳＢビット）「０１」深度平面インジケータデータを伴うピクセルは、出力されることになる第２のＲｘＧｘＢｘ色シーケンス画像として選択されることができ、以降同様に続く。
図１５は、図１２Ａおよび１２Ｂ図１２の深度平面インジケータデータが、ライトフィールドビデオデータのフレームの１つ以上の深度平面が非アクティブであることを示す、実施例を図示する。図１５は、左側パネル１５１０によって表されるビデオデータのストリームが中央パネル１５２０によって表される深度平面に分離され、これが、次いで、それぞれ、右側パネル１５３０によって表される色成分サブフレームに分離されることを示すという点において、図１４に類似する。しかしながら、図１５は、単一の深度平面のみがアクティブであるものとして示されているという点で、図１４と明確に異なる。
図１２Ａにおける深度平面インジケータデータは、各ピクセル内の青色値の２つの最下位ビットである。これらの２つのビットは、最大４つの深度平面を規定することが可能である。しかしながら、ライトフィールドビデオデータは、４つよりも少ない深度平面を含んでもよい。例えば、前述の実施例では、ライトフィールドビデオデータは、３つのみの深度平面を含む。ビデオデータが最大数よりも少ない規定可能な深度平面を含む、そのような場合には、深度平面インジケータデータは、１つ以上の深度平面が非アクティブであることを規定することができる。例えば、前述の実施例を継続すると、ピクセル内の深度平面インジケータデータ（例えば、２つの青色ＬＳＢビット）が、「１１」に設定される場合、ピクセルは、非アクティブ第４の深度平面Ｄ３に割り当てられることができる。図１５に示されるように、３つのＲｘＧｘＢｘ色シーケンスのうちの１つだけが、出力シーケンスにおいてアクティブ化され、非アクティブ深度平面は、ブランク白色フレームとして図１５に示され、システム８０によって、例えば、黒色画面として表示され得る。前述のように、制御データは、深度平面が表示される順序を規定するように提供されることができる。図１５の中央パネル１５２０に示されるように、制御データは、非アクティブ深度平面Ｄ３がシーケンス内の最初および最後に示されることを規定している。したがって、シーケンス内の中央フレームのみが、実際の画像データを含み、これは、ディスプレイにフラッシングされる。（他のシーケンスもまた、使用されることができる。例えば、アクティブ深度平面は、シーケンス内で最初または最後に順序付けられ得る、またはシーケンス内で１回を上回って繰り返され得る。）
ディスプレイコントローラが、ピクセルが非アクティブ深度平面に割り当てられることを決定すると、ディスプレイコントローラは、単に、ピクセルを無視することができ、それをディスプレイにフラッシングすることができない。加えて、制御データが深度平面が非アクティブであることを示すと、その特定の深度平面のために光をディスプレイに提供する、光源への電力は、低減（例えば、遮断）され、それによって、電力消費を低減させることができる。これは、ディスプレイドライバにおける切替電力を節約することができる。したがって、画像データの１つ以上の深度平面を非アクティブとして指定することによって、節電モードが実装されることができる。同様に、いくつかの実施形態では、制御データは、深度平面内の１つ以上のカラーフィールドが非アクティブである一方、深度平面内の１つ以上の他のカラーフィールドが、アクティブであることを示すことができる。本制御データに基づいて、ディスプレイコントローラは、非アクティブである１つまたは複数のカラーフィールドを無視し、非アクティブカラーフィールドを伴わずに１つ以上のアクティブカラーフィールドからの画像データを表示するように、ディスプレイを制御することができる。例えば、制御データが、カラーフィールドが非アクティブであることを示すとき、その特定のカラーフィールドのために光をディスプレイに提供する、光源への電力は、低減（例えば、遮断）され、それによって、電力消費を低減することができる。故に、照明をディスプレイに提供する、発光ダイオード（ＬＥＤ）、レーザ等の光源は、遮断される、もしくは非アクティブ深度平面および／または非アクティブカラーフィールドのためにそれらの電力を低減させることができる。
制御パケット
上記に説明される制御パケットは、画像データ内に記憶されるが、他の実施形態では、制御パケットは、別個のメモリ場所内に記憶されてもよく、ピクセル処理パイプラインは、一時停止され、制御パケットが読み取られることを可能にしてもよい（例えば、ディスプレイによって）。制御パケットの一部は、制御パケット全体を読み取らずに、別個に読み取られてもよい。
制御パケットは、パケットヘッダブロック、汎用入力／出力（「ＧＰＩＯ」）ブロック、拡大率ブロック（色あたり）、グローバルピクセル偏移ブロック（色あたり）、均一混成率ブロック（色あたり）、ローリングバッファ開始行ブロック、および専有データブロックの一部または全部を含んでもよい。ディスプレイが、パケットヘッダブロックが予期されるヘッダに合致しないことを検出する場合、ディスプレイは、誤差フラグを設定し、制御パケットの前のバージョンを使用することができる。ＧＰＩＯブロックは、ディスプレイのＧＰＩＯを、制御された時間に、表示／画像データと完全同期して生じる、ＧＰＩＯ変化を伴う状態に変化させるように命令する。拡大率ブロックは、色（例えば、ＲＧＢ）あたりの表示拡大率を制御する。グローバルピクセル偏移ブロックは、色（例えば、ＲＧＢ）あたりの１つ以上の方向におけるピクセルの位置偏移を制御する。均一混成率ブロックは、各色（例えば、ＲＧＢ）の混成を制御する係数を含む。ローリングバッファ開始行ブロックは、ローリングバッファ（以下に説明される）のための開始行を識別する。専有データブロックは、随意に、他のデータを記憶するために使用される。
多深度平面画像圧縮
いくつかの実施形態では、画像圧縮技法が、深度平面の間の情報の冗長性を除去することによって画像データの量を低減させるために、複数の深度平面を横断して適用される。例えば、深度平面毎に画像データのフレーム全体を伝送するのではなく、深度平面の一部または全部が、代わりに、隣接する深度平面に対する変化の観点から表されてもよい。いくつかの実施形態では、これは、隣接する瞬間においてフレーム間において時間ベースで行われることができる。圧縮技法は、無損失であり得る、または隣接する深度平面フレームの間、もしくは所与の閾値未満である時間的に隣接するフレームの間の変化が、無視されることができ、したがって、画像データ内の低減をもたらすように、損失性であり得る。加えて、圧縮アルゴリズムは、運動ベクトルを使用して、単一深度平面（Ｘ－Ｙ運動）内および／または深度平面（Ｚ運動）間のオブジェクトの運動をエンコードすることができる。移動オブジェクトの画像データが経時的に繰り返し伝送されることを要求するのではなく、オブジェクトの運動は、本明細書で議論されるように、ピクセル偏移制御情報を用いて、完全または部分的に達成されることができる。
動的に構成可能なディスプレイ描画エリア
ライトフィールドビデオデータを表示するシステムでは、ビデオフレーム毎に含まれる比較的大量の情報（例えば、それぞれ複数の色成分を伴う複数の深度平面）により、高いビデオフレームレートを達成することは困難であり得る。しかしながら、ビデオフレームレートは、特に、ＡＲモードにおいて、図１６に示されるように、コンピュータ生成されたライトフィールドビデオデータが一度にディスプレイの一部のみを占有し得ることを認識することによって、改良されることができる。
図１６は、拡張現実システムにおけるコンピュータ生成された画像のフレームのための例示的描画エリアを図示する。図１６は、図１に類似するが、これは、拡張現実画像が描画されるディスプレイの部分のみを示す。この場合、拡張現実画像は、ロボット像１０と、マルハナバチのキャラクタ２とを含む。ＡＲモードにおけるディスプレイの残りのエリアは、単に、ユーザを囲繞する実世界環境のビューであってもよい。したがって、コンピュータ生成された画像をディスプレイのそれらのエリア内に描画する必要がない場合がある。多くの場合、コンピュータ生成された画像が、一度にディスプレイエリアの比較的わずかな部分のみを占有する場合があり得る。コンピュータ生成された画像が示される必要がないエリアを除外するように、フレーム毎にリフレッシュされる具体的描画エリアを動的に再構成することによって、ビデオフレームレートが、改良されることができる。
コンピュータ生成されたＡＲ画像は、１つ以上のピクセルとして表されてもよく、それぞれ、例えば、関連付けられた明度および色を有する。ビデオデータのフレームは、Ｍ×Ｎアレイのそのようなピクセルを含んでもよく、Ｍは、行の数を表し、Ｎは、列の数を表す。いくつかの実施形態では、システム８０のディスプレイは、コンピュータ生成された画像を示すことに加えて、ユーザの実世界の周囲のビューを提供することが可能であるように、少なくとも部分的に透明である。コンピュータ生成された画像内の所与のピクセルの明度がゼロまたは比較的低い値に設定される場合、ユーザ６０には、そのピクセル場所に実世界環境が見えるであろう。代替として、所与のピクセルの明度がより高い値に設定される場合、ユーザには、そのピクセル場所にコンピュータ生成された画像が見えるであろう。ＡＲ画像の任意の所与のフレームに関して、ピクセルの多くの明度は、ディスプレイ上に示される必要がないように、規定された閾値を下回り得る。これらの閾値を下回るピクセル毎にディスプレイをリフレッシュするのではなく、ディスプレイは、これらのピクセルをリフレッシュしないよう動的に構成されることができる。
いくつかの実施形態では、システム８０は、ディスプレイを制御するためのディスプレイコントローラを含む。ディスプレイコントローラは、ディスプレイの描画エリアを動的に構成することができる。例えば、ディスプレイコントローラは、任意の所与のリフレッシュサイクルの間にリフレッシュされる、フレーム内のピクセルを動的に構成することができる。いくつかの実施形態では、ディスプレイコントローラは、ビデオの第１のフレームに対応するコンピュータ生成された画像データを受信することができる。本明細書に議論されるように、コンピュータ生成された画像データは、いくつかの深度平面を含んでもよい。ビデオの第１のフレームのための画像データに基づいて、ディスプレイコントローラは、深度平面毎にリフレッシュするディスプレイピクセルを動的に決定することができる。例えば、ディスプレイ６２が、走査タイプディスプレイ技術を利用する場合、コントローラは、ＡＲ画像がリフレッシュされる必要がないエリア（例えば、ＡＲ画像が存在しない、またはＡＲ画像の明度が規定された閾値を下回る、フレームのエリア）をスキップするように、走査パターンを動的に調節することができる。
このように、受信された各フレームに基づいて、ディスプレイコントローラは、ＡＲ画像が示されるべきディスプレイのサブ部分を識別することができる。各そのようなサブ部分は、単一連続的エリアまたは複数の非連続的エリアをディスプレイ上に含んでもよい（図１６に示されるように）。ディスプレイのそのようなサブ部分は、ライトフィールドビデオデータ内の深度平面毎に決定されることができる。ディスプレイコントローラは、次いで、ディスプレイに、その特定のフレームのためのディスプレイの識別されたサブ部分のみをリフレッシュさせることができる。本プロセスは、フレーム毎に実施されることができる。いくつかの実施形態では、ディスプレイコントローラは、各フレームの開始時にリフレッシュされるであろう、ディスプレイのエリアを動的に調節する。
ディスプレイコントローラが、リフレッシュされるべきであるディスプレイのエリアが経時的により小さくなっていることを決定する場合、ディスプレイコントローラは、より少ない時間がＡＲ画像の各フレームを描画するために必要とされるであろうため、ビデオフレームレートを増加させ得る。代替として、ディスプレイコントローラが、リフレッシュされるべきディスプレイのエリアが経時的により大きくなっていることを決定する場合、ＡＲ画像の各フレームを描画するために十分な時間を可能にするように、ビデオフレームレートを減少させることができる。ビデオフレームレートの変化は、画像で充填される必要があるディスプレイの割合に反比例し得る。例えば、ディスプレイコントローラは、ディスプレイの１０分の１のみが充填される必要がある場合に、フレームレートを１０倍増加させることができる。
そのようなビデオフレームレート調節は、フレーム毎に実施されることができる。代替として、そのようなビデオフレームレート調節は、規定された時間インターバルで、またはリフレッシュされるべきディスプレイのサブ部分のサイズが、規定された量増加または減少するとき、実施されることができる。ある場合には、特定のディスプレイ技術に応じて、ディスプレイコントローラはまた、ディスプレイ上に示されるＡＲ画像の分解能を調節してもよい。例えば、ディスプレイ上のＡＲ画像のサイズが、比較的に小さい場合、ディスプレイコントローラは、画像を増加分解能で表示させることができる。逆に言えば、ディスプレイ上のＡＲ画像のサイズが、比較的に大きい場合、ディスプレイコントローラは、画像を減少分解能で表示させることができる。
周囲採光に基づく画像色の調節
いくつかの実施形態では、本明細書に説明されるシステム８０は、１つ以上のセンサ（例えば、カメラ）を含み、周囲採光の明度および／または色相を検出する。そのようなセンサは、例えば、システム８０のディスプレイヘルメット内に含まれることができる。周囲採光に関する感知される情報は、次いで、仮想オブジェクト（例えば、ＶＲ、ＡＲ、またはＭＲ画像）のために生成されたピクセルの明度または色相を調節するために使用されることができる。例えば、周囲採光が、黄味がかった色合いを有する場合、コンピュータ生成された仮想オブジェクトは、黄味がかった色調を有するように改変されることができ、これは、部屋内の実オブジェクトのものにより緊密に合致する。同様に、部屋内の光の強度が、比較的に高い場合、ディスプレイ６２の光源を駆動するために使用される電流は、コンピュータ生成された仮想オブジェクトの明度が周囲採光により緊密に合致するように、増加されることができる。または、その逆に、ディスプレイ６２の光源を駆動するために使用される電流は、より暗い周囲採光に応答して減少されることができる。これはまた、電力を節約する利点を有する。そのようなピクセル調節は、画像がＧＰＵによってレンダリングされるときに行われることができる。代替として、および／または加えて、そのようなピクセル調節は、本明細書で議論される制御データを使用することによって、レンダリング後に行われることができる。
ピクセル処理パイプライン
図１７は、システム８０のディスプレイコントローラによって実装される、例示的ピクセル処理パイプライン１７００のブロック図である。いくつかの実施形態では、ピクセル処理パイプライン１７００は、専用ハードウェアとして実装される。ディスプレイコントローラは、レンダリングされた画像データをグラフィック処理ユニット（ＧＰＵ）から受信し（フレームバッファ１７０２において）、次いで、レンズ歪曲補正、再サンプリング／画像スケーリング、グローバル偏移、色混成、フラットフィールド補正、およびガンマ補正を含む、いくつかの機能を実施する。これらの機能が実施された後、ディスプレイコントローラは、処理された画像データ（カラーフィールドバッファ１７５０において）をディスプレイ６２に出力する。例示的機能のセットが、図１７に図示されるが、ピクセル処理パイプライン１７００の他の実施形態は、図示される機能を省略する、または本明細書に説明される他の機能を含んでもよい。
図１７では、レンダリングされた画像データは、ピクセル処理パイプライン１７００にＧＰＵからフレームバッファ１７０２を介して入力される。フレームバッファ１７０２は、例えば、ピンポンバッファ（また、二重バッファとしても知られる）であることができ、これは、１つのフレームが処理された一方、別のフレームが、メモリの中にロードされることを可能にする。本明細書に議論されるように、各フレームは、デジタル画像の１つ以上の深度平面毎に、１つ以上の色成分サブフレームを含むことができる。例えば、各フレームは、２つまたは３つの深度平面毎に、赤色、緑色、および青色サブフレームから成ってもよい。ピクセル処理パイプライン１７００によって実施される機能は、システム８０によって表示されるための画像データの各深度平面の色成分サブフレーム毎に行われることができる。いくつかの実施形態では、画像データの各フレームは、１２８０水平ピクセル×９６０垂直ピクセルの分解能を有してもよく、フレームレートは、６０、８０、または１２０フレーム／秒であってもよいが、多くの他の分解能およびフレームレートも、ハードウェアの能力、アプリケーション、色視野または深度平面の数等に応じて、使用されることができる。
いくつかの実施形態では、カラー画像データのビット深度は、２４ビットであって、これは、ピクセルあたり８赤色ビット、８青色ビット、および８緑色ビットを含む。したがって、カラー画像データの深度平面毎にフレームバッファ１７０２に入力されるデータの量は、１２８０×９６０×２４ビット（３０Ｍｂ）である。それぞれ、３つの色サブフレーム（例えば、赤色、緑色、および青色サブフレーム）から成る、１２８０×９６０フルカラー画像データの３つの深度平面が、８０フレーム／秒のレートで処理されるべき場合、ピクセル処理パイプライン１７００は、概して、約８８５ＭＢ／ｓ（１２８０×９６０×３×３×８０）の処理帯域幅能力を有する必要がある。代替として、概して、同一算出コストに関して、ピクセル処理パイプライン１７００は、１２０フレーム／秒（１２８０×９６０×３×２×１２０は、８８５ＭＢ／ｓである）において２つの深度平面のためのフルカラー画像データを処理することができる。深度平面とフレームレートの他の組み合わせもまた、可能性として考えられ、いくつかの実施形態では、ピクセル処理パイプライン１７００は、種々の組み合わせ間で動的に切り替わることができる。これらの場合のいずれも、ピクセル処理パイプライン１７００内で処理されるための比較的に大量の画像データに起因して、複数の並列処理経路が、処理帯域幅要件を満たすために実装されることができる。例えば、ピクセル処理パイプライン１７００ハードウェアが、１２５ＭＨｚで動作する場合、８つの並列ピクセル処理経路が、前述の実施例の８８５ＭＢ／ｓ帯域幅要件を達成するために使用されることができる。しかしながら、並列処理経路の数は、画像データの分解能、ピクセル処理パイプライン１７００ハードウェアの速度等を含む、多くの要因に基づいて、変動し得る。
レンダリングされた画像データのストリームが、ピクセル処理パイプライン１７００のフレームバッファ１７０２に入力されるにつれて、ディスプレイコントローラは、内蔵制御データ（本明細書に議論されるように）を使用して、深度平面各ピクセルが属する色成分を決定し、かつ各深度平面の色成分がディスプレイ６２にフラッシングされるべき順序を決定してもよい。これは、図１３－１５に関して上記に説明されるように行われることができる。例えば、ディスプレイコントローラは、内蔵深度平面インジケータデータを使用して、レンダリングされた画像データのストリームを１つ以上のＲｘＧｘＢｘシーケンスに分離することができ、Ｒ０Ｇ０Ｂ０シーケンスは、第１の深度平面の赤色、緑色、および青色サブフレームに対応し、Ｒ１Ｇ１Ｂ１シーケンスは、第２の深度平面の赤色、緑色、および青色サブフレームに対応し、Ｒ２Ｇ２Ｂ２シーケンスは、第３の深度平面の赤色、緑色、および青色サブフレームに対応する。ピクセル処理パイプライン１７００における処理後、各深度平面の色成分サブフレームは、図９に関して説明されるように、ディスプレイ６２に連続してフラッシングされることができる。
図１７におけるピクセル処理パイプライン１７００によって実施される機能のうちの１つは、色混成であって、これは、色混成ブロック１７０４によって実施される。色混成ブロック１７０４は、レンダリングされた画像データをフレームバッファ１７０２から受信する。色混成ブロック１７０４は、混成された画像データを作成するように、異なる深度平面に対応する画像データを混成し、これは、本明細書に説明されるディスプレイ６２によって表示されると、混成された深度平面間の仮想深度平面に位置するように現れる。例えば、色混成ブロック１７０４は、Ｒ０Ｇ０Ｂ０シーケンスの全部または一部とＲ１Ｇ１Ｂ１シーケンスの全部または一部を混成してもよい（但し、任意の他の対の深度平面色シーケンスもまた、色混成ブロック１７０４によって混成されることができる）。
仮想深度平面は、２つの深度平面画像と適切な加重を混成することによって、所望のインターバルにおいて、システム８０内の２つの定義された深度平面間に提供されることができる。例えば、仮想深度平面が、遠距離深度平面Ｄ０と中距離深度平面Ｄ１との間の途中に所望される場合、色混成ブロック１７０４は、Ｄ０画像データのピクセル値を５０％加重する一方、また、Ｄ１画像データのピクセル値を５０％加重することができる。（加重が合計１００％である限り、画像データの見掛け明度は、維持されることができる。しかし、加重は、必ずしも、合計１００％である必要はなく、恣意的加重が、使用されることができる。）遠距離画像データおよび中距離画像データの両方が、本明細書に説明されるディスプレイ６２によって表示され、ヒト視覚系によって知覚される結果は、Ｄ０とＤ１との間に位置するように現れる、仮想深度平面である。仮想深度平面の見掛け深度は、異なる混成加重を使用することによって制御されることができる。例えば、仮想深度平面が、Ｄ０よりＤ１の近くに現れることが所望される場合、Ｄ１画像は、より重く加重されることができる。
ＧＰＵからフレームバッファ１７０２に提供されるレンダリングされた画像データは、制御データを含むことができ、これは、混成操作が色混成ブロック１７０４によって行われる方法を決定する。いくつかの実施形態では、制御データは、均一混成を深度平面内のピクセルの全てに関して行わせることができる。他の実施形態では、制御データは、異なる量の混成（無混成を含む）を所与の深度平面内の異なるピクセルに行わせることができる。加えて、制御データは、所与の深度平面内の異なるピクセルと異なる深度平面からのピクセルを混成させることができる。これらの場合では、各ピクセルは、図１８に図示されるように、制御データでタグ付けされ、その特定のピクセルのために実施されるための混成を規定することができる。
図１８は、ピクセル１８００のための例示的フォーマットを図示し、これは、別の深度平面に対応するピクセルとの混成操作を制御するために、制御データ１８４０でタグ付けされる。本実施例では、制御データ１８４０は、仮想深度平面インジケータデータであって、これは、ピクセル１８００が対応する１つ以上の異なる仮想深度平面を規定する。ピクセル１８００は、青色値１８３０（バイト０）と、緑色値１８２０（バイト１）と、赤色値１８１０（バイト２）とを含む。本実施形態では、仮想深度平面インジケータデータは、ピクセル１８００内に各色値（すなわち、Ｂ０、Ｂ１、Ｇ０、Ｇ１、Ｒ０、およびＲ１）の２つの最下位ビットとして内蔵される。したがって、各色のビット深度は、８ビットから６ビットに低減される。したがって、仮想深度平面インジケータデータは、ピクセルのための色値のダイナミックレンジを犠牲にして、直接、画像データのピクセル内に内蔵されることができる。合計６ビットの仮想深度平面インジケータデータは、２６＝６４仮想深度平面の仕様を可能にする。例えば、画像データが、３つの深度平面Ｄ０、Ｄ１、およびＤ２を含む場合、深度平面インジケータビットのうちの１つは、ピクセル１８００がＤ０からＤ１の範囲内またはＤ１からＤ２の範囲内の仮想深度平面内にあるべきかどうかを示すことができる一方、他の５ビットは、３２の仮想深度平面を選択された範囲内に規定する。いくつかの実施形態では、仮想深度平面インジケータデータは、１つ以上のルックアップテーブルを参照するために使用され、これは、仮想深度平面インジケータビット１８４０によって規定された仮想深度平面に対応する混成乗算器値を出力する。図１８は、合計６ビットの仮想深度平面インジケータデータを図示するが、他の実施形態は、異なる数のビットを含んでもよい。加えて、仮想深度平面インジケータデータは、図１８に図示されるもの以外の技法を使用して提供されることができる。例えば、仮想深度平面インジケータデータは、図１２Ｂに示されるＹＣｂＣｒ４：２：２技法を使用して提供されることができる。
図１９は、例示的混成操作を図示し、これは、色混成ブロック１７０４によって行われることができる。本混成操作は、以下に説明される図２０に示される色混成ブロック１７０４の例示的実施形態によって行われる。図１９は、本明細書に説明されるディスプレイ６２によって表示されるためのデジタル画像の３つの深度平面を示す。遠距離サブフレーム１９１０は、ディスプレイ６２内の屈折力と関連付けられ、これは、本サブフレーム内の画像データを遠距離場所に位置するようにユーザ６０に現れさせる。同様に、中距離サブフレーム１９２０も、ディスプレイ６２内の屈折力と関連付けられ、これは、本サブフレーム内の画像データを中距離場所に位置するようにユーザ６０に現れさせる一方、近距離サブフレーム１９３０も、ディスプレイ６２内の屈折力と関連付けられ、これは、本サブフレーム内の画像データを近距離場所に位置するようにユーザ６０に現れさせる。
図１９の図示される実施形態では、中距離サブフレーム１９２０は、ロボット仮想オブジェクト１０と、マルハナバチ仮想オブジェクト２とを含む。一方、遠距離サブフレーム１９１０は、ロボット仮想オブジェクト１０のみを含み、近距離サブフレーム１９３０は、マルハナバチ仮想オブジェクト２のみを含む。これらの３つのサブフレームのためのピクセルは、内蔵仮想深度平面インジケータデータ（例えば、図１８に示される制御データ１８４０）でタグ付けされ、これは、図２０に示される色混成ブロック１７０４によって実施される混成操作を制御する。
遠距離サブフレーム１９１０および中距離サブフレーム１９２０は、図１９に示されるように、遠距離と中距離深度との間に位置する仮想深度平面から生じるようにユーザ６０に現れる画像を生産するように、混成されることができる。これは、遠距離サブフレーム１９１０内のロボット仮想オブジェクト１０に対応するピクセルを混成乗算器値によって乗算することによって、かつロボット仮想オブジェクト１０に対応する中距離サブフレーム１９２０内のピクセルに対しても同じことを行うことによって、遂行される。遠距離および中距離サブフレーム内のロボット仮想オブジェクト１０のための個別の混成乗算器値は、ロボット仮想オブジェクト１０の明度を維持するように、合計１になり得るが、これは、必ずしも、要求されない。１つ以上のスケーラが、仮想オブジェクトの同様の部分が、混成操作の間、組み合わせられるように、仮想オブジェクトが混成されている深度平面の両方において実質的に同一サイズであることを確実にするために使用されることができる。
同様に、中距離サブフレーム１９２０および近距離サブフレーム１９３０は、中距離と近距離深度との間に位置する仮想深度平面から生じるようにユーザ６０に現れる画像を生産するように、混成されることができる。これも同様に、中距離サブフレーム１９２０内のマルハナバチ仮想オブジェクト２に対応するピクセルを混成乗算器値によって乗算することによって、かつマルハナバチ仮想オブジェクト２に対応する近距離サブフレーム１９３０内のピクセルのために同じことを行うことによって、遂行される。
図２０は、色混成ブロック１７０４の実施形態を図示し、これは、混成操作をピクセル毎に画像データの深度平面間に実施する。色混成ブロック１７０４は、マルチプレクサ２０１０と、ルックアップテーブル２０２０と、乗算器２０３０とを含む。図２０に示されるように、フレームバッファ１７０２からレンダリングされた画像データは、マルチプレクサ２０１０に提供される。フレームバッファ１７０２において受信されたレンダリングされた画像データは、図１８に示されるピクセルフォーマットを利用する。したがって、この場合、ピクセル１８００の各色値（Ｒ、Ｇ、およびＢ）の６つの最上位ビットのみが、実際の画像データを表す。これらは、マルチプレクサ２０１０に入力される、ビットである。マルチプレクサ２０１０は、順に、色値のうちの１つに対応する６ビットを乗算器２０３０に一度に通過させる。それらの６ビットは、現在のアクティブ色を規定する、マルチプレクサ２０１０への制御入力によって選択される。一方、ピクセル１８００の色値の６つの最下位ビット（３つの色値毎に２つ）は、ルックアップテーブル２０２０に入力される。図１８に関して議論されるように、これらのビットは、仮想深度平面インジケータデータであって、これは、ピクセル１８００が属する、６４の可能性として考えられる仮想深度平面を規定する。別個のルックアップテーブル２０２０が、各深度平面のカラーフィールド毎に提供される。したがって、それぞれ、３つの色成分を有する、３つの深度平面を含む、画像データの場合、合計９つのルックアップテーブル２０２０が存在する。
いくつかの実施形態では、各ルックアップテーブル２０２０は、６４の混成乗算器値を保持し、各値は、６４の仮想深度平面のうちの１つのための混成加重を定義する。典型的には、ルックアップテーブル２０２０内の混成乗算器値は、ゼロ（最終的に表示される画像に対する所与のピクセルの最小寄与をもたらす）から１（最終的に表示される画像に対する所与のピクセルの最大寄与をもたらす）まで変動する。仮想深度平面間の間隔は、ルックアップテーブル２０２０内の混成加重間の間隔によって定義される。仮想深度平面間の間隔は、線形であり得るが、それらは、必ずしも、そうである必要はなく、任意のカスタム間隔が、指数関数、対数等を含め、仮想深度平面間に提供されることができる。
動作時、現在処理されている色成分および深度平面に対応する、特定のルックアップテーブル２０２０が、選択され、仮想深度平面インジケータデータは、関連付けられた混成乗算器値を出力するために使用される。混成乗算器値は、次いで、乗算器２０３０に通過され、そこで、仮想深度平面インジケータデータによって規定された混成効果を達成するように、ピクセル１８００の対応する色値をスケーリングする。混成された画像データは、次いで、ローリングバッファ１７０６に提供される。
図２１は、色混成ブロック１７０４の実施形態を図示し、これは、深度平面全体のために均一ベースで、混成操作を画像データの深度平面間に実施する。再び、色混成ブロック１７０４は、マルチプレクサ２１１０と、乗算器２１３０とを含む。本実施形態では、混成操作は、深度平面内の全てのピクセルのために均一に実施されるため、ピクセルが個々に内蔵仮想深度平面インジケータデータでタグ付けされる必要がない。その結果、８ビットの完全ビット深度が、各ピクセルの色値毎に維持されることができる。これらの８ビット色値は、マルチプレクサ２１１０に通過され、これは、順に、現在のアクティブ色を示すマルチプレクサへの制御入力に基づいて、色値のうちの１つに対応する８ビットを出力する。
この場合、仮想深度平面インジケータデータは、深度平面内のピクセルの全てに共通である。言い換えると、深度平面内のピクセルは全て、同一仮想深度平面に混成されるように指定される。その結果、同一混成乗算器値が、深度平面内のピクセルのそれぞれをスケーリングするために使用される。いくつかの実施形態では、本共通仮想深度平面インジケータデータおよび／または共通混成乗算器値は、画像データのラインのうちの１つの前に、またはその代わりに、カスタムパケットに提供されることができる（図１０および１１に関して議論されるように）。次いで、混成乗算器値は、乗算器２１３０によって、処理されているピクセルの対応する色値をスケーリングするために使用される。最後に、混成された画像は、次いで、ローリングバッファ１７０６に提供される。
ローリングバッファ１７０６（以下に議論される）が、色混成ブロック１７０４からの混成された画像データの一部で充填された後、ローリングバッファフェッチャ１７０８（また、以下に議論される）は、ピクセル補間器１７１０において使用するために、ローリングバッファ１７０６からピクセルのグループを選択およびフェッチする。ピクセル補間器１７１０は、補間計算を実施し、これは、ピクセル処理パイプライン１７００のレンズ歪曲補正機能の一部である。
ピクセル処理パイプライン１７００のレンズ歪曲補正機能は、システム８０の光学経路内に存在する、光学歪曲および／または収差を補正する。これらの光学歪曲および／または光学収差は、画像データがデジタル電子データから光に変換される点と、光がディスプレイ６２からユーザ６０の眼に向かって出力される点との間の光学経路内の任意の場所に生じ得る。いくつかの実施形態では、ピクセル処理パイプライン１７００は、ユーザ６０に表示されることになる画像データを事前に歪曲させることによって、光学歪曲および／または収差を補正する。例えば、画像データは、少なくとも部分的に、好ましくは、システム８０内に存在する光学歪曲および／または収差に実質的に反比例するように、事前に歪曲されてもよい。このように、ピクセル処理パイプライン１７００によって導入される事前に歪曲は、少なくとも部分的に、好ましくは、光学画像信号がシステム８０の光学経路を通して伝搬するにつれて、システム８０の光学コンポーネントによって実質的に行われない。
レンズ歪曲および／または収差を補正するために事前に歪曲されていないピクセルは、本明細書では、非歪曲補正ピクセルまたは画像データと称され得る一方、事前に歪曲されているピクセルは、歪曲補正ピクセルまたは画像データと称され得る。ピクセル補間器１７１０は、ローリングバッファ１７０６からの１つ以上の非歪曲補正ピクセル（例えば、ＧＰＵからフレームバッファ１７０２において受信されたレンダリングされた画像データのピクセル）に基づいて、各歪曲補正ピクセルを計算する。ピクセル補間器１７１０によって出力される、歪曲補正画像データは、歪曲補正データを使用して、任意の所与の歪曲補正ピクセル（例えば、ピクセル補間器１７１０によって計算され、最終的に、ディスプレイ６２に送信されるピクセル）のための値を計算するために使用されるべき非歪曲補正ピクセル（例えば、フレームバッファ１７０２から）を示すことによって、事前に歪曲されることができる。例えば、ディスプレイ６２に出力される、画像データ内のインデックス化された位置（ｘ，ｙ）に位置する歪曲補正ピクセルの値は、入力画像データ内の異なる位置（ｘ’，ｙ’）またはその近傍に位置する１つ以上の非歪曲補正ピクセル（例えば、ＧＰＵからフレームバッファ１７０２において受信されたピクセル）を使用して計算されてもよい。これは、ディスプレイ６２内の光学歪曲および／または収差が、位置（ｘ’，ｙ’）に向かって、その近傍で、またはそれに対して歪曲されるべき（ｘ，ｙ）におけるピクセルのためにディスプレイ６２に提供される画像データを表す、光線を生じさせるであろうという知識（実験または理論に基づく）を伴って行われることができる。したがって、（ｘ，ｙ）における歪曲補正ピクセル値を（ｘ’，ｙ’）における非歪曲補正データを用いて先を見越して計算することによって、ディスプレイ６２の光学歪曲および／または収差は、少なくとも部分的に、補償される。
いくつかの実施形態では、ピクセル補間器１７１０からの各歪曲補正ピクセルの値（例えば、ＲＧＢ値、ＹＣｂＣｒ値等）は、別の場所における補間される非歪曲補正ピクセルから求められ、これ自体は、４つの隣接する非歪曲補正ピクセルの補間に依存する。しかしながら、他の実施形態は、ピクセル補間器１７１０内で異なる数の非歪曲補正ピクセルを使用してもよい。補間される非歪曲補正ピクセルの場所、故に、４つの隣接する非歪曲補正ピクセルの場所は、メモリ内に記憶される１つ以上のレンズ歪曲補正ルックアップテーブル１７１２を使用して決定される。別個のレンズ歪曲補正ルックアップテーブルが、これらのそれぞれが、少なくとも部分的に、一意の歪曲および／または収差を伴うディスプレイ６２を通した一意の光学経路を有し得るため、画像データの各深度平面のカラーフィールド毎に記憶されてもよい。（例えば、別個の導波管が、図６－８に関して議論されるように、各深度平面の色成分毎に提供されてもよい。）画像データが、それぞれ、３つのカラーフィールドから成る、３つの画像データの深度平面から成る場合、９つの別個のレンズ歪曲補正ルックアップテーブルが存在してもよい。異なる数の深度平面および／またはカラーフィールドを伴う他の実施形態は、より多いまたはより少ないレンズ歪曲補正ルックアップテーブルを要求し得る。典型的には、レンズ歪曲補正ルックアップテーブル１７１２は、ディスプレイコントローラのメモリの中にホストプロセッサからロードされ、システム８０の所与の使用の間、変化しないであろう。しかし、いくつかの実施形態では、レンズ歪曲補正ルックアップテーブル１７１２は、システム８０内の光学歪曲および／または収差が変化される場合、またはより多くの情報がそれらについて学習される場合、動的であって、したがって、レンズ歪曲補正ルックアップテーブル１７１２の改良を可能にし得る。
図２２は、図１７のピクセル処理パイプライン１７００のレンズ歪曲補正機能性の略図である。図２２は、画像データのピクセルのグリッド２２００を示す。ピクセルのグリッド２２００は、画像データのフレームの一部を表す。ピクセルのグリッド２２００は、８つの標識された歪曲補正ピクセルＰ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、およびＰ７をディスプレイ６２に出力されるための画像データの行内に含む。これらの歪曲補正ピクセルはそれぞれ、例えば、関連付けられた赤色（Ｒ）、緑色（Ｇ）、および／または青色（Ｂ）値を有してもよい。歪曲補正ピクセルＰ０は、グリッド点（ｘ，ｙ）に位置する一方、歪曲補正ピクセルＰ１は、グリッド点（ｘ＋１、ｙ）に位置し、歪曲補正ピクセルＰ２は、グリッド点（ｘ＋２、ｙ）に位置し、以降同様に続く。
いくつかの実施形態では、８つの隣接する歪曲補正ピクセルＰ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、およびＰ７のグループは全て、ピクセル処理パイプライン１７００の専用ハードウェアによって、同時に並行して処理される。８つのピクセルの別個のブロックはそれぞれ、画像データのフレーム全体が完了されるまで、順に処理されることができる。他の実施形態では、ともに並行して処理される、ピクセルのブロックは、他のサイズおよび／または寸法を有することができる。加えて、集合的に、画像データのフレームを構成する、ピクセルのブロックは、任意の順序またはパターンで処理されることができる。
各レンズ歪曲補正ルックアップテーブル１７１２は、画像データの歪曲補正ピクセル毎に、歪曲補正座標のセットを含んでもよい。歪曲補正座標は、各歪曲補正ピクセル（例えば、ピクセル補間器１７１０から出力され、最終的に、ディスプレイ６２上に示される、ピクセル）の値を計算するために使用されるべき、非歪曲補正ピクセル（例えば、フレームバッファ１７０２において受信されるピクセル）を決定するために使用される。概念上、これは、それぞれ、歪曲補正ピクセルＰ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、およびＰ７の値を提供するために使用される、個別の補間される非歪曲補正ピクセルＰ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’、Ｐ６’、およびＰ７’を示すことによって、図２２に図示される。図２２に示されるように、ピクセル補間器１７１０から出力され、最終的に、ディスプレイ６２に送信される、画像データ内の（ｘ，ｙ）に位置する、歪曲補正ピクセルＰ０は、（ｘ’，ｙ’）に位置する、補間される非歪曲補正ピクセルＰ０’から決定される。（ｘ’，ｙ’）座標は、分数であることができ、その場合、それらは、フレームバッファ１７０２において受信された画像データの任意の実際の非歪曲補正ピクセルに対応しない。故に、補間される非歪曲補正ピクセルＰ０’の値は、（ｘ’，ｙ’）の周囲の非歪曲補正画像データのピクセルのグループからの補間を介して計算されることができる。いくつかの実施形態では、Ｐ０’の値は、４つの隣接する非歪曲補正ピクセルＡ、Ｂ、Ｃ、およびＤのセット２２１０から計算される。図２２は、非歪曲補正ピクセルの例示的セット２２１０を図示し、これは、補間される非歪曲補正ピクセルＰ０’の値を計算するために使用されることができる。
歪曲補正座標のセットは、歪曲補正ピクセル（例えば、Ｐ０）毎に提供される。歪曲補正座標は、対応する歪曲補正ピクセルを決定するために使用されるべき、補間される非歪曲補正ピクセル（例えば、Ｐ０’）の場所を示す。歪曲補正座標は、決定されるべき歪曲補正ピクセルのインデックスまたは座標に対して相対的意味で表されることができる。例えば、そのような場合では、歪曲補正座標は、＋／－ｘ方向における所与の歪曲補正ピクセルのためのｘ（水平）インデックスまたは座標を変位させるための量と、＋／－ｙ方向におけるその歪曲補正ピクセルのｙ（垂直）インデックスまたは座標を変位させるための量とを示してもよい。代替として、レンズ歪曲補正ルックアップテーブル１７１２は、歪曲補正ピクセル毎に、絶対歪曲補正座標値を含んでもよい。例えば、そのような場合では、絶対座標値は、その歪曲補正ピクセルの場所を参照せずに、所与の歪曲補正ピクセル（例えば、Ｐ０）を計算するために使用されるべき、補間される非歪曲補正ピクセル（例えば、Ｐ０’）の具体的座標を示してもよい。しかしながら、相対的変位を使用するアプローチは、各非歪曲補正ピクセルの場所を規定するためにより少ないビットを要求し、したがって、レンズ歪曲補正ルックアップテーブル１７１２のサイズを低減させる得るため、有利であり得る。いずれの場合も、再び、歪曲補正座標は、整数である必要はないことに留意することが重要である。例えば、歪曲補正座標は、任意の所与の歪曲補正ピクセル（例えば、Ｐ０）が分数の補間される非歪曲補正ピクセル（例えば、Ｐ０’）を使用して決定されることになることを示し得る。
各レンズ歪曲補正ルックアップテーブル１７１２内の具体的歪曲補正座標は、実験的（例えば、既知の較正画像をシステム８０に入力し、表示される画像と較正画像を比較することによって）または理論的に（例えば、光線追跡アルゴリズムを使用して、システム８０の光学経路の歪曲および／または収差を決定することによって）、決定されることができる。レンズ歪曲補正ルックアップテーブル１７１２は、例えば、数学的式を使用して補正することが困難または不可能であろう、線形、規則的、不規則的、複雑な、および／または非線形歪曲および／または収差を補正するために使用され得るため、有利である。本アプローチは、特に、ディスプレイ６２が、不規則的形状を伴う導波管のスタックと、複雑な光学歪曲および／または収差をもたらし得る、回折光学要素とを含む、複雑な光学コンポーネントのセットを含み得るため、本明細書に説明されるシステム８０において有利である。
いくつかの実施形態では、各レンズ歪曲補正ルックアップテーブル１７１２は、画像データの色サブフレーム内の１２８０×９６０ピクセル毎に２２ビットから成り、２２ビットは、７つの整数ビットおよび４つの分数ビットとしてフォーマットされる、水平および垂直歪曲補正座標毎に１つの２つの符号付の数を表す。各フレーム内のピクセルの数およびレンズ歪曲補正ルックアップテーブル１７１２の数を前提として、比較的に大量のメモリが、レンズ歪曲補正ルックアップテーブル１７１２を記憶するために要求され得る。メモリ要件を緩和するために、各レンズ歪曲補正ルックアップテーブル１７１２は、ディスプレイコントローラのメモリ内に低減された分解能で記憶されることができる。例えば、各レンズ歪曲補正ルックアップテーブル１７１２は、１２８０×９６０ではなく、８０×６０分解能（またはルックアップテーブルの外部グリッドを考慮するために８１×６１）で記憶されてもよい。そのような実施形態では、レンズ歪曲補正ルックアップテーブル補間器１７１４が、その完全１２８０×９６０分解能に対して各レンズ歪曲補正ルックアップテーブル１７１２を補間する。これは、例えば、バイリニア補間を使用して、レンズ歪曲補正ルックアップテーブル１７１２のデータ点間の値を充填することによって、行われることができる。しかし、他のタイプの補間もまた、使用されることができる。加えて、他の圧縮技法も、メモリ内のレンズ歪曲補正ルックアップテーブルのサイズを低減させるために使用されることができ、対応する拡張技法が、ピクセル処理パイプライン内で使用され、レンズ歪曲補正ルックアップテーブルを完全サイズに拡張させることができる。
レンズ歪曲補正ルックアップテーブル補間器１７１４が、レンズ歪曲補正ルックアップテーブル１７１４を完全分解能に拡張させるために使用される、ピクセル処理パイプライン１７００の実施形態では、レンズ歪曲補正ルックアップテーブル補間器１７１４は、典型的には、拡張比入力を受信し、これは、各レンズ歪曲補正ルックアップテーブル１７１２を拡張させるための量を示す。例えば、８０×６０レンズ歪曲補正ルックアップテーブルおよび１２８０×９６０画像の場合、拡張比は、８０／１２８０＝６０／９６０＝０．０６２５となるであろう。
決定されるべき歪曲補正ピクセル（例えば、Ｐ０）の（ｘ，ｙ）インデックスまたは座標を使用して、レンズ歪曲補正ルックアップテーブル１７１２は、対応する歪曲補正座標を出力するために使用される。それらの歪曲補正座標は、補間される非歪曲補正ピクセル（例えば、Ｐ０’）の場所を決定するために使用され、その値は、歪曲補正ピクセル（例えば、Ｐ０）の値を決定するであろう。相対的（絶対ではなく）歪曲補正座標を記憶する、レンズ歪曲補正ルックアップテーブル１７１２の場合、ピクセル処理パイプライン１７００は、加算器１７１６ａ、１７１６ｂを含み、これは、レンズ歪曲補正ルックアップテーブル１７１２を使用して決定された個別の歪曲補正座標を決定されるべき歪曲補正ピクセルの対応するインデックス／座標に加算する。加算器１７１６ａでは、水平レンズ歪曲補正座標が、歪曲補正ピクセルのｘインデックス／座標に加算される。同様に、加算器１７１６ｂでは、垂直レンズ歪曲補正座標が、歪曲補正ピクセルのｙインデックス／座標に加算される。図２２に示される略図を参照すると、ピクセル処理パイプライン１７００内で生じている状態は、歪曲補正ピクセルＰ０の（ｘ，ｙ）座標が、対応する相対的歪曲補正座標のセットをレンズ歪曲補正ルックアップテーブル１７１２からルックアップするために使用されるということである。これらの相対的歪曲補正座標は、その値が歪曲補正ピクセルＰ０の値として使用されるべき、補間される非歪曲補正ピクセルＰ０’の（ｘ’，ｙ’）座標を決定するために、加算器１７１６ａ、１７１６ｂによって、Ｐ０の（ｘ，ｙ）座標に加算される。
補間される非歪曲補正ピクセル（例えば、Ｐ０’）の座標が、加算器１７１６ａ、１７１６ｂによって計算された後、ピクセル処理パイプライン１７００の次の段階は、画像偏移等の再サンプリングおよび画像ワーピング操作を実施する。これは、水平および／または垂直方向における垂直および水平画像スケーリングおよびグローバル偏移の適用から成り得る。図示されないが、ピクセル処理パイプライン１７００の本段階はまた、画像回転を実施することができる。画像ワーピング操作は、以下により詳細に議論される。
スケーリング係数Ｋならびにグローバル偏移値ＧＳ（ｘ）およびＧＳ（ｙ）は、本明細書に説明される制御データを介して、ディスプレイコントローラに通過されることができる。画像回転情報もまた、制御データを介して、ディスプレイコントローラに通過されてもよい。偏移またはスケーリングプロシージャが、画像フレームの境界（例えば、１２８０×９６０ピクセル）外の画像データにアクセスする場合、フレーム外のピクセルは、ゼロ（黒色）であると仮定され得る。ピクセルラップアラウンドは、そのような実施形態では、要求されない。また、画像データの各出力フレームは、概して、Ｋスケーリング係数および／またはグローバル偏移を適用後でも、入力フレーム（例えば、１２８０×９６０）と同一分解能から成るであろう。
ピクセル処理パイプライン１７００は、画像スケーリング／偏移ブロック１７２０ａ、１７２０ｂを含み、これは、レンズ歪曲補正ルックアップテーブル１７１２および加算器１７１６ａ、１７１６ｂを使用して決定された補間される非歪曲補正ピクセル（例えば、Ｐ０’）の座標を受信し、ピクセル偏移および／または画像再サンプリング（拡大／縮小）を適用する。本能力の利点は、ピクセル偏移、画像回転、および／または画像再サイズ調整操作が、ＧＰＵによって再レンダリングされることを要求せず、ディスプレイコントローラによって実施され、画像データに調節を行うことができることである。
上側画像スケーリング／偏移ブロック１７２０ａは、補間される非歪曲補正ピクセル（例えば、Ｐ０’）の水平座標に作用する一方、下側スケーリング／偏移ブロック１７２０ｂは、補間される非歪曲補正ピクセルの垂直座標に作用する。画像スケーリング／偏移ブロック１７２０ａ、１７２０ｂは、加算器１７２２ａ、１７２２ｂを含み、これは、スケーリングおよび偏移が適用され得るように、補間される非歪曲補正ピクセル座標を点（０、０）を中心として心合させるために使用される。上側ブロック１７２０ａの第１の加算器１７２２ａは、そこから２で除算される画像データの幅と等しい値ＨＯＲ／２を減算することによって、補間される非歪曲補正ピクセルの水平座標を心合させる。同様に、下側ブロック１７２２ｂの第１の加算器１７２２ｂは、そこから２で除算される画像データの高さと等しい値ＶＥＲ／２を減算することによって、補間される非歪曲補正ピクセルの垂直座標を心合させる。
補間される非歪曲補正ピクセルＰ０’の心合された座標は、次いで、スケーラ１７２４ａ、１７２４ｂに通過される。スケーラ１７２４ａ、１７２４ｂは、画像再サンプリング（拡大または縮小）を実施する。これは、スケーリング係数Ｋ（本明細書で議論される制御データに提供される）を使用して行われ、これは、補間される非歪曲補正ピクセル（例えば、Ｐ０’）の心合された座標の数倍である。いくつかの実施形態では、スケーリング係数Ｋは、顕著な画像アーチファクトを生じさせ得る、画像サイズ調整操作を回避するように、０．９～１．１の範囲に限定されるが、他の実施形態では、スケーリング係数は、より大きい範囲を提供されてもよい。上側ブロック１７２０ａ内のスケーラ１７２４ａは、スケーリング係数Ｋと補間される非歪曲補正ピクセルの水平座標を乗算する一方、下側ブロック１７２０ｂ内のスケーラ１７２４ｂは、補間される非歪曲補正ピクセルの垂直座標にそれを行う。いくつかの実施形態では、同一スケーリング係数Ｋが、画像データの縦横比を維持するために、水平および垂直座標の両方のために使用されるであろうが、異なるスケーリング係数も、他の実施形態では、使用され得る。
画像スケーリング／偏移ブロック１７２０ａ、１７２０ｂはまた、加算器１７２６ａ、１７２６ｂを含み、これは、ピクセル偏移を実施する。さらに以下に議論されるように、制御データは、ピクセル偏移値を含むことができ、これは、画像データを水平および／または垂直に偏移される。上側ブロック１７２０ａ内の第２の加算器１７２６ａは、補間される非歪曲補正ピクセル（例えば、Ｐ０’）のスケーリングされた水平座標と、水平グローバル偏移値であるＧＳ（ｘ）を総和する。また、ＨＯＲ／２をこれらの値に加算し、上側画像スケーリング／偏移ブロック１７２０ａにおいて先に実施された平心合操作を元に戻す。同様に、下側ブロック１７２０ｂ内の第２の加算器１７２６ｂは、補間される非歪曲補正ピクセルのスケーリングされた垂直座標と、垂直グローバル偏移値であるＧＳ（ｙ）を総和する。同様に、ＶＥＲ／２をこれらの値に加算し、垂直心合操作を元に戻す。いくつかの実施形態では、画像データの色成分毎のグローバル偏移量は、最大で、例えば、４サブピクセルビットの精度を伴う、＋／－１２８の符号付ピクセルの数であってもよい。故に、ＧＳ（ｘ）およびＧＳ（ｙ）は、１２ビット量であり得る。
図１７は、レンズ歪曲ルックアップテーブル１７１２を使用した後に画像スケーリングおよびワーピング操作が実施されることを示すが、他の実施形態では、これらの操作は、異なる順序で実施されることができる。例えば、画像スケーリングおよび画像ワーピングは、レンズ歪曲ルックアップテーブル１７１２を使用する前に、またはピクセル処理パイプライン１７００内の他の場所において、適用され得る。さらに他の実施形態では、画像ワーピング操作は、直接、レンズ歪曲ルックアップテーブル１７１２の中に組み込まれてもよい。例えば、ピクセル処理パイプライン１７００は、頭部姿勢情報を受信してもよく、これは、適切な画像ワーピング操作を決定し、画像データに実施するために使用される。ピクセル処理パイプライン１７００は、次いで、画像データに課されるための１つ以上の画像ワーピング操作を反映するように、レンズ歪曲ルックアップテーブル１７１２を改変してもよい。これは、レンズ歪曲ルックアップテーブル１７１２が、フレームバッファ１７０２において受信された非歪曲補正ピクセルをディスプレイ６２上に示されるための新しい歪曲補正ピクセル場所にマッピングするため、可能である。同様に、画像ワーピングもまた、新しい場所へのピクセルのマッピングを伴う。したがって、レンズ歪曲補正マッピングは、同一テーブル内の画像ワーピングマッピングと組み合わせられることができる。このように、レンズ歪曲補正および画像ワーピングは、同時に実施されることができる。
スケーリングおよび／または偏移された後、補間される非歪曲補正ピクセル（例えば、Ｐ０’）の座標（例えば、（ｘ’，ｙ’））が、次いで、ローリングバッファフェッチャ１７０８に提供される。ローリングバッファフェッチャ１７０８（ローリングバッファ１７０６と併せて）は、ピクセル補間器１７１０に、各補間される非歪曲補正ピクセル（例えば、Ｐ０’）、故に、各歪曲補正ピクセル（例えば、Ｐ０）を計算するために必要とされる、特定の非歪曲補正ピクセルを提供する。それらの特定の非歪曲補正ピクセルは、補間される非歪曲補正ピクセル（例えば、Ｐ０’）の座標（例えば、（ｘ’，ｙ’））に基づいて、フレームバッファ１７０２において受信された全ての入力ピクセルの中から決定される。座標（例えば、（ｘ’，ｙ’））を使用して、１つ以上の補間される非歪曲補正ピクセル（例えば、Ｐ０’）を計算するために必要とされる非歪曲補正ピクセルを識別し、ローリングバッファ１７０６からフェッチ後、ローリングバッファフェッチャ１７０８は、次いで、フェッチされたピクセルを、本明細書に説明されるレンズ歪曲補正技法に従って、歪曲補正ピクセル（例えば、Ｐ０）の決定において使用するためのピクセル補間器１７１０に通過させる。
図２３は、補間される非歪曲補正ピクセルＰ０’の値を計算し、故に、歪曲補正ピクセルＰ０の値を決定するための、ピクセル補間器１７１０による４つの非歪曲補正ピクセルＡ、Ｂ、Ｃ、Ｄの補間を図示する。４つの非歪曲補正ピクセルＡ、Ｂ、Ｃ、およびＤは、レンズ歪曲補正ルックアップテーブル１７１２を使用して決定される、補間される非歪曲補正ピクセルＰ０’のための座標（ｘ’，ｙ’）に基づいて規定されることができる。補間される非歪曲補正ピクセルＰ０’の（ｘ’，ｙ’）座標は、以下の４つの値、すなわち、ｘ方向座標の整数部分である、ｘ＿ｆｌｏｏｒ、ｘ座標の分数部分である、ｘ＿ｆｒａｃｔｉｏｎ、ｙ方向座標の整数部分である、ｙ＿ｆｌｏｏｒ、およびｙ座標の分数部分である、ｙ＿ｆｒａｃｔｉｏｎを決定するために使用されることができる。図２３に示されるように、補間プロセスにおいて使用されるピクセルＡは、座標（ｘ＿ｆｌｏｏｒ、ｙ＿ｆｌｏｏｒ）によって規定される。ピクセルＢは、座標（ｘ＿ｆｌｏｏｒ＋１、ｙ＿ｆｌｏｏｒ）によって規定される。ピクセルＣは、座標（ｘ＿ｆｌｏｏｒ、ｙ＿ｆｌｏｏｒ＋１）によって規定される。また、ピクセルＤは、座標（ｘ＿ｆｌｏｏｒ＋１、ｙ＿ｆｌｏｏｒ＋１）によって規定される。これらの非歪曲補正ピクセル（Ａ、Ｂ、Ｃ、Ｄ）は、ローリングバッファフェッチャ１７０８によってピクセル補間器１７１０に供給されるものである。図２２に示されるように、非歪曲補正ピクセルＡ、Ｂ、Ｃ、およびＤは、補間される非歪曲補正ピクセルＰ０’の場所（ｘ’，ｙ’）を囲繞するものである。次いで、バイリニア補間プロセスが、図２３に示される方程式（本実施例では、方程式中Ｐ０＝Ｐ０’＝Ｐ（ｏｕｔ））に従って、ピクセル補間器１７１０によって行われ、補間されるピクセルＰ０’の値を計算し、これは、順に、歪曲補正ピクセルＰ０のための値として使用されるであろう。
画像データのフレーム内の補間される非歪曲補正ピクセルＰ０’の場所に応じて、ピクセルＡ、Ｂ、Ｃ、Ｄのうちの１つ以上のものが画像データの境界（例えば、実施形態に応じて、０－１２７９および０－９５９または１－９６０）外にあるであろうことが可能性として考えられる。それらの限定された場合では、当該境界外ピクセルは、黒色ピクセルと見なされ得る。４つの隣接するピクセルのバイリニア補間が、図２３に図示されるが、他のタイプの補間もまた、使用されることができる。さらに、異なる数の非歪曲補正ピクセルが、補間プロセスにおいて、歪曲補正ピクセルの値を計算するために使用されることができる。加えて、図２３は、補間プロセスにおいて使用されるピクセル２２１０のグループ（例えば、ピクセルＡ、Ｂ、Ｃ、およびＤ）を補間される非歪曲補正ピクセルＰ０’の座標から選択する方法を図示するが、これは、そのうちの１つにすぎず、補間のためのピクセルを選択する他の方法もまた、使用されることができる。
ローリングバッファ１７０６およびローリングバッファフェッチャ１７０８が、ここで詳細に議論されるであろう。すでに述べられたように、これらのコンポーネントの目的は、非歪曲補正ピクセル（例えば、フレームバッファ１７０２から）をレンズ歪曲補正計算において使用するためのピクセル補間器１７１０に供給することである。それらは、ピクセル処理パイプライン１７００が、典型的には、より高い速度およびより優れたスループットを達成するために、ソフトウェアではなく、専用ハードウェア内に実装されるという事実から生じる、ある制約にもかかわらず、本目的を達成する。例えば、以下の制約が、該当し得る。ピクセル補間器１７１０によって実施される補間機能のために必要とされる全てのピクセルは１つのクロックサイクル（またはある他の限定数のクロックサイクル）においてともに読み取られる必要があり得、利用可能なメモリは、限定され得、かつピクセル補間器１７１０は、設定サイズ／形状のピクセルのグループに作用するためにハードワイヤードされ得る。
ローリングバッファ１７０６は、ピクセル補間器１７１０によって必要とされ得る、非歪曲補正ピクセルを記憶するために必要とされるメモリの量を低減させるため、有利である。具体的には、ローリングバッファ１７０６は、任意の所与の時間において、ビデオデータのフレームのサブセットのみを記憶し、かつローリングベースでそれを行う。例えば、いくつかの実施形態では、ローリングバッファ１７０６は、４８行の非歪曲補正画像データの群を記憶する。各行は、例えば、１２８０ピクセルから成ってもよい。ローリングバッファ１７０６は、４８行の非歪曲補正画像データを記憶するように説明されるであろうが、他の実施形態では、ローリングバッファ１７０６は、異なる量（例えば、行の数）の非歪曲補正画像データを記憶してもよいことを理解されたい。非歪曲補正画像データの各新しい行が、ローリングバッファ１７０６の中に読み込まれるにつれて、先入れ先出し（ＦＩＦＯ）ベースで、ローリングバッファ１７０６内に以前に記憶された行に取って代わる。例えば、ローリングバッファ１７０６が、現在、行０－４７を記憶している場合、行４８が、バッファの中に読み込まれると、行０は、除外され得る。非歪曲補正画像データの新しい行は、一度に１つまたは一度に複数の行でローリングバッファ１７０６の中に読み込まれることができる。
ローリングバッファ１７０６はまた、電力を低減させ、ピクセル処理パイプライン１７００のスループットを改良することに役立つ。これは、フレームバッファ１７０２からの任意の所与の行の非歪曲補正ピクセルが、種々の異なる歪曲補正ピクセルの計算のために多くの異なる時間に（システム８０の光学歪曲／収差に応じて）ピクセル補間器１７１０内で使用されるために要求され得るため可能となる。ローリングバッファ１７０６がなければ、所与の行の非歪曲補正ピクセルは、複数回、読み取られ、破棄され得る。しかし、ローリングバッファ１７０６は、画像データの群を保持するため、同一ピクセルのために、フレームバッファ１７０２から繰り返される読取操作を実施する必要性を回避することに役立つ。
ピクセル処理パイプライン１７００が、ビデオデータの所与のフレームのために、レンズ歪曲補正の実施を開始すると、ローリングバッファ１７０６は、例えば、本明細書に説明される制御データ内に規定される、ある行から開始する、４８行の非歪曲補正画像データで充填されることができる。制御データが、レンズ歪曲補正が歪曲補正画像データの最初の行（すなわち、行０）から開始するであろうことを示す場合、行０－４７の非歪曲補正画像データが、ローリングバッファ１７０６の中にロードされる。
ピクセル処理パイプライン１７００は、次いで、本明細書に説明される技法に従って、歪曲補正ピクセルの値の計算を開始する。そうすることによって、歪曲補正ピクセルの最初の行（すなわち、行０）は、非歪曲補正画像データの第１の４８行（すなわち、行０－４７）のいずれかに依存し得、これは、ローリングバッファ１７０６の中にロードされる。言い換えると、システム８０は、画像データを４８行も離れた場所まで歪曲させる、光学歪曲を取り扱うことができる。ローリングバッファ１７０６のサイズは、システム８０内に存在する光学歪曲の典型的大きさに基づいて選択されることができ、より大きいローリングバッファは、より大きな光学歪曲の補正を可能にするが、付加的メモリリソースを要求することを犠牲にする。
ピクセル処理パイプライン１７００は、論理を含み、これは、歪曲補正ピクセルの最初の行（すなわち、行０）が計算された後、ローリングバッファ１７０６をそのまま保つ（すなわち、任意の新しい非歪曲補正画像データをロードしない）か、またはローリングバッファ１７０６をスライドダウンさせるか（例えば、非歪曲補正画像データの１つまたは２つの新しい行をロードする）どうかを決定する。本論理は、ローリングバッファ１７０６が要求される非歪曲補正ピクセルを含むであろう尤度を向上させるように、必要な任意の方法において、４８行ローリングバッファ１７０６を計算されている歪曲補正ピクセルの現在の行に対して位置付ける柔軟性を有する。例えば画像データのフレームの上部近傍の歪曲補正ピクセルが、算出されているとき、ローリングバッファ１７０６は、画像データの後続の４７行内の任意の非歪曲補正ピクセルが計算において使用されることを可能にするように位置付けられ得る。画像データのフレームの中央近傍の歪曲補正ピクセルが、算出されているとき、ローリングバッファ１７０６は、歪曲補正ピクセルの位置の約２４行上方または下方の任意の非歪曲補正ピクセルが算出において使用されることを可能にするように位置付けられ得る。最後に、画像データの最後の行内の歪曲補正ピクセルが、算出されているとき、ローリングバッファ１７０６は、先行する４７行内の任意の非歪曲補正ピクセルへのアクセスを可能にするように位置付けられ得る。このように、ローリングバッファ１７０６の位置は、算出されている歪曲補正ピクセルの現在の行に対して改変されることができる。いくつかの構成では、ローリングバッファ１７０６の位置は、歪曲補正ピクセルを算出するとき、非歪曲補正画像データの最初の行と最後の行との間で平滑に改変され得る。
いくつかの実施形態では、歪曲補正ピクセルの各行の算出を終了後、ローリングバッファ１７０６を更新するための３つの可能性として考えられるオプションが存在する、すなわち、１）ローリングバッファ１７０６を更新しない（すなわち、ゼロ付加的行の非歪曲補正画像データが追加される）、２）ローリングバッファ１７０６を１つの付加的行の非歪曲補正画像データで更新する、または３）ローリングバッファ１７０６を２つの付加的行の非歪曲補正画像データで更新する。他の実施形態では、アルゴリズムは、他の数の付加的行の非歪曲補正画像データがローリングバッファ１７０６の中に読み込まれることを可能にすることができる。
行われるべきこれらの３つの過程のアクションのいずれかを決定するための例示的アルゴリズムは、以下に概略される。第１に、非歪曲補正画像データの最後の行（例えば、制御データの構成に応じて、行９５９または９６０）がすでにローリングバッファ１７０６の中にロードされているかどうか、またはロードされるために利用可能な付加的行の非歪曲補正画像データが存在するかどうかを決定する。第２に、定歪曲補正画像データの現在の行を生成するために必要とされる最小行の非歪曲補正画像データとして定義された第１の変数を決定する。第３に、歪曲補正画像データの前の行を生成するために必要とされる最小行の非歪曲補正画像データとして定義された第２の変数を決定する。２つの変数間の差異が、ゼロである場合、ローリングバッファ１７０６を更新しない。２つの変数間の差異が、１である場合、１つの付加的行の非歪曲補正画像データを追加することによって、ローリングバッファ１７０６を更新する。２つの変数間の差異が、２つ以上の場合、２つの付加的行の非歪曲補正画像データを追加することによって、ローリングバッファ１７０６を更新する。他のアルゴリズムもまた、ローリングバッファ１７０６を位置付けるために使用されることができる。
ローリングバッファ１７０６は、所与の補間される非歪曲補正ピクセル（例えば、Ｐ０’）、故に、対応する歪曲補正ピクセル（例えば、Ｐ０）の値を決定するために、ピクセル補間器１７１０によって必要とされる、非歪曲補正ピクセルの全てを記憶するとき、優れた性能を発揮する。しかし、ある場合には、特定のセット座標（ｘ’，ｙ’）は、ローリングバッファ１７０６において利用不可能な非歪曲補正ピクセルを要求し得る。これは、異常に大きい歪曲の場合に生じ得る。そのような場合、要求されるが、ローリングバッファ１７０６内に存在しない、非歪曲補正ピクセルは、黒色ピクセルとして処理され得る、またはローリングバッファ１７０６内で利用可能なその最近傍のピクセルが、代わりに使用され得る。
ローリングバッファフェッチャ１７０８は、決定されている現在の歪曲補正ピクセル（例えば、Ｐ０）の値を計算するために必要とされる補間される非歪曲補正ピクセル（例えば、Ｐ０’）のための座標（例えば、（ｘ’，ｙ’））を受信し、次いで、レンズ歪曲補正計算のために必要とされる非歪曲補正ピクセルを識別し、ローリングバッファ１７０６からフェッチする。本プロセスは、ピクセル処理パイプライン１７００が、典型的には、算出スループットを増加させるために、複数の並列処理経路を有し得るという事実によって複雑となる。前述のように、複数の並列経路の必要性は、比較的に大量の画像データ（例えば、それぞれ、３つの色サブフレームを含む、３つの深度平面）および比較的に高フレームレート（例えば、８０または１２０フレーム／秒）に起因して生じる。いくつかの実施形態では、８つの並列処理経路が存在する。これは、８つの歪曲補正ピクセルが、補間器１７１０によって同時に（例えば、１つのクロックサイクル内で）決定され、これが、順に、ローリングバッファフェッチャ１７０８が、それらの８つの歪曲補正ピクセルを決定するために必要とされる非歪曲補正ピクセルの全てを同時に（例えば、１つのクロックサイクル内で）提供することを要求することを意味する。ローリングバッファフェッチャ１７０８の仕事はさらに、ピクセル補間器１７１０が、設定サイズおよび形状を有する非歪曲補正ピクセルのグループを受け取るためにハードワイヤードされ得るという事実によって複雑となる。ローリングバッファフェッチャ１７０８は、したがって、ローリングバッファ１７０６内において、ピクセル補間器１７１０が受け取るためにハードワイヤードされる設定サイズおよび形状に合致する、非歪曲補正ピクセルのマクロブロックを識別する。ローリングバッファフェッチャ１７０８は、１つのクロックサイクル内において、非歪曲補正ピクセルのマクロブロックをローリングバッファ１７０６からともに読み取り、マクロブロックをピクセル補間器１７１０に供給する。そのようなマクロブロック２２２０の実施例は、図２２に示される。図示される実施形態では、マクロブロック２２２０は、３×１１グループの非歪曲補正ピクセルであるが、他の実施形態では、異なる寸法を有してもよい。例えば、いくつかの実施形態は、６×４マクロブロックを使用してもよい。
図２４Ａは、ローリングバッファ１７０６内の例示的マクロブロック２２２０を図示する。すでに議論されたように、ローリングバッファ１７０６は、４８行の非歪曲補正画像データを含み、これは、レンズ歪曲補正計算において使用されるために利用可能である。一方、マクロブロック２２２０は、それらの非歪曲補正ピクセルを図示し、これは、実際には、歪曲補正ピクセルを決定するために、所与のクロックサイクルの間、ローリングバッファ１７０６から読み取られ、ピクセル補間器１７１０に提供される。いくつかの実施形態では、非歪曲補正ピクセルのマクロブロック２２２０をグループとしてともにフェッチすることは、複数の読取サイクルの実施がピクセル処理パイプライン１７００を減速させる可能性が高いであろうため、複数の読取サイクルを実施して、ピクセル補間器１７１０内で必要とされるピクセルをフェッチする必要性を回避することに役立つ。しかしながら、これは、ローリングバッファフェッチャ１７０８が、全８つの歪曲補正ピクセル（例えば、Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、およびＰ７）の決定のために必要とされる非歪曲補正ピクセルの全てを含む尤度を有するマクロブロック２２２０を選択するための論理を含まなければならないことを意味する。
図２２において明白であるように、マクロブロック２２２０が歪曲補正ピクセル（すなわち、Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、およびＰ７）の決定のために必要とされる非歪曲補正ピクセルの全てを包含するかどうかは、歪曲補正ピクセルを決定するために必要とされる補間される非歪曲補正ピクセル（すなわち、Ｐ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’、Ｐ６’、およびＰ７’）の拡散、すなわち、ローカル歪曲に依存する。ローカル歪曲が存在しない（すなわち、ピクセルＰ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’、Ｐ６’、およびＰ７’が全て、ちょうどＰ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、およびＰ７のように、８つの連続ピクセルの行内にある場合）、８つの歪曲補正ピクセルは補間される非歪曲補正ピクセル（すなわち、Ｐ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’、Ｐ６’、およびＰ７’）毎の４つのピクセル（すなわち、Ａ、Ｂ、Ｃ、およびＤ）の重複グループのバイリニア補間に起因して、２×９ブロックの非歪曲補正ピクセルに依存するであろう。図示される実施形態では、３×１１マクロブロック２２２０は、１つの余剰行と、２つの余剰列とを有し、補間される非歪曲補正ピクセルＰ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’、Ｐ６’、およびＰ７’間のある程度のローカル歪曲を可能にする。しかしながら、３×１１マクロブロック２２２０は、単に、一実施例であって、他の実施例は、異なる寸法を伴うマクロブロックを使用することができることを理解されたい。他の実施形態では、マクロブロック２２２０のサイズは、システム８０内に典型的に存在するローカル光学歪曲の量に基づいて決定されてもよい。マクロブロック２２２０のサイズが、増加される場合、より大きいローカル歪曲が、対処され得る。しかしながら、マクロブロック２２２０のサイズの増加はまた、補間器１７１０のサイズがより多数のピクセルの入力に適応するために増加されることを要求し得る。
再び、図２２を参照すると、Ｐ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’、Ｐ６’、およびＰ７’のための８つの座標のセットが全て、ローリングバッファフェッチャ１７０８にともに提供される。ローリングバッファフェッチャ１７０８の第１のタスクは、ピクセルＰ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’、Ｐ６’、およびＰ７’を計算するために要求される非歪曲補正ピクセルを決定することである。正しい３×１１マクロブロック２２２０をローリングバッファ１７０６からフェッチするために、ローリングバッファフェッチャ１７０８は、例えば、存在する最小水平および垂直座標を決定し、合致する最小水平および垂直座標を伴うマクロブロック２２２０をフェッチすることによって、Ｐ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’、Ｐ６’、およびＰ７’の座標を分析することができる。補間される非歪曲補正ピクセルのための座標のセットからのこれらの最小水平および垂直座標に基づいて、ローリングバッファフェッチャ１７０８は、所望のマクロブロック２２２０のアドレスをローリングバッファ１７０６に送信する。これは、図２０および２１に示される。ローリングバッファ１７０６は、非歪曲補正ピクセルの選択されたマクロブロック２２２０をローリングバッファフェッチャ１７０８に提供することによって応答する。図２０および２１に示されるように、３×１１マクロブロック２２２０の場合、ローリングバッファ１７０６からの出力は、３つの信号ライン（マクロブロック２２２０の行毎に１つ）から成り、それぞれ、８８ビット、すなわち、１１バイト（ピクセル毎に１つ）を提供する。ローリングバッファフェッチャ１７０８は、次いで、マクロブロック２２２０内のピクセルをピクセル補間器１７１０に通過させ、歪曲補正ピクセルを決定する。
ピクセル補間器１７１０は、８つの歪曲補正ピクセルが同時に決定されることを可能にするように、例えば、８つの別個の補間ユニットを含んでもよい。１つの補間ユニットが存在し、補間される非歪曲補正ピクセルＰ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’、Ｐ６’、およびＰ７’のそれぞれを計算し、故に、対応する歪曲補正ピクセルＰ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、およびＰ７の値を決定する。すでに議論されたように、各補間される非歪曲補正ピクセルは、補間される非歪曲補正ピクセルの場所を囲繞する、４つの隣接するピクセル（例えば、Ａ、Ｂ、Ｃ、Ｄ）のグループ２２１０間を補間することによって計算されてもよい。マクロブロック２２２０は、選定するための４つの隣接するピクセルの複数の異なる可能性として考えられるグループ２２１０を含むため、各補間ユニットは、対応するマルチプレクサを有してもよく、これは、補間ユニットによって必要とされる４つの隣接するピクセルの具体的グループ２２１０を選択することに関与する。これらのマルチプレクサはそれぞれ、４つの隣接するピクセルの複数のグループ２２１０をマクロブロック２２２０から受信するためにハードワイヤードされてもよい。各マルチプレクサは、１つのそのようなグループ２２１０を選択し、入力として対応する補間器ユニットに通過させる。各マルチプレクサはまた、対応する補間器ユニットに通過させるための４つの隣接するピクセルの複数のグループ２２１０のいずれかを選択し、補間される非歪曲補正ピクセルのうちの１つを計算し、故に、対応する歪曲補正ピクセルを決定するための論理を含んでもよい。
図２４Ｂは、マクロブロック２２２０からのピクセルをピクセル補間器１７１０内の８つの補間ユニットに通過させるための例示的マルチプレクサ論理２４００を図示する。８つの補間ユニットは、ｂｉｌｅｒｐ０、ｂｉｌｅｒｐ１、ｂｉｌｅｒｐ２等と標識される。図２４Ｂはまた、マクロブロック２２２０およびその３３のピクセルのそれぞれの標識を示す。ライン０内のピクセルは、Ｐ０、Ｐ１、Ｐ２等と標識される。ライン１内のピクセルは、Ｑ０、Ｑ１、Ｑ２等と標識される。ライン２内のピクセルは、Ｒ０、Ｒ１、Ｒ２等と標識される。マルチプレクサ論理２４００は、４つの隣接するピクセルのいくつかの候補グループ２２１０を示し、これは、補間ユニットのそれぞれに対応するマルチプレクサに提供される。例えば、第１の補間ユニットｂｉｌｅｒｐ０のためのマルチプレクサは、Ｐ０、Ｐ１、Ｑ０、およびＱ１から成るマクロブロック２２２０内の４つの隣接するピクセルの第１のグループと、Ｑ０、Ｑ１、Ｒ０、およびＲ１から成るマクロブロック２２２０内の４つの隣接するピクセルの第２のグループとの間で選択し得る。計算されるための各補間される非歪曲補正ピクセル（例えば、Ｐ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’、Ｐ６’、およびＰ７’）の座標は、マルチプレクサのうちの１つの選択ラインをアドレス指定するために使用されることができる。マルチプレクサの選択ラインを正しくアドレス指定するために、各補間される非歪曲補正ピクセルの座標は、マクロブロック２２２０の最小水平および垂直座標（ローリングバッファフェッチャ１７０８によって前もって決定されるように）を減算することによって、３×１１マクロブロック２２２０の座標空間にマッピングされることができる。マルチプレクサ選択ラインへのこれらの入力に基づいて、マルチプレクサは、順に、正しい非歪曲補正ピクセルデータを補間ユニットに通過させ、補間される非歪曲補正ピクセルＰ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’、Ｐ６’、およびＰ７’を計算し、故に、対応する歪曲補正ピクセルＰ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、およびＰ７を決定する。
いくつかの実施形態では、マクロブロック２２２０内の４つの隣接するピクセルの全ての可能性として考えられるグループ２２１０が、８マルチプレクサのそれぞれに提供され、８つの補間ユニットのそれぞれへの可能性として考えられる入力としての役割を果たす。しかしながら、ピクセル補間器１７１０内の論理のサイズは、各歪曲補正ピクセルがマクロブロック２２２０のサブ部分からのピクセルのみを要求する可能性が高いことを認識することによって、低減されることができる。例えば、図２２を参照すると、歪曲補正ピクセルＰ７は、補間される非歪曲補正ピクセルＰ７’に対応し、これは、マクロブロック２２２０の右側に向かって位置する可能性が高い。したがって、Ｐ７を決定することに関与する補間ユニットは、Ｐ７の値を決定するために、マクロブロック２２２０の左側に向かって位置する非歪曲補正ピクセルを要求する可能性はないであろう。同様に、歪曲補正ピクセルＰ３およびＰ４の値は、非歪曲補正ピクセルＰ３’およびＰ４’に対応し、これは、マクロブロック２２２０の中央の近傍に位置する可能性が高く、したがって、マクロブロック２２２０の側面の近傍に位置する非歪曲補正ピクセルの値に依拠する可能性はない。故に、マルチプレクサ論理２４００は、各マルチプレクサが非歪曲補正ピクセルをマクロブロック２２２０の関連サブ部分からのみ受信するように構成されてもよい。マルチプレクサ毎の関連サブ部分は、対応する歪曲補正ピクセルを計算するために依拠されるであろう、マクロブロック２２２０の可能性が高い部分に対応するように選択されてもよい。例えば、図２４Ｂに示されるように、ｂｉｌｅｒｐ１のためのマルチプレクサは、マクロブロック２２２０の列０－４からのピクセルのみを受信してもよい。ｂｉｌｅｒｐ２のためのマルチプレクサは、マクロブロック２２２０の列１－５からのピクセルのみを受信してもよい。ｂｉｌｅｒｐ３のためのマルチプレクサは、マクロブロック２２２０の列２－４からのピクセルのみを受信してもよく、以降同様に続く。
ローリングバッファフェッチャ１７０８は、対応する８つの歪曲補正ピクセル（例えば、Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、およびＰ７）の値として使用されるであろう、全８つの補間される非歪曲補正ピクセル（例えば、Ｐ０’、Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’、Ｐ６’、およびＰ７’）の値を計算するために必要とされる、ピクセルの全てをローリングバッファ１７０６から読み取るとき、優れた性能を発揮する。しかし、ある場合には、座標（ｘ’，ｙ’）のセットは、ローリングバッファ１７７０６から読み取られるマクロブロック２２２０内に存在しない、非歪曲補正ピクセルを要求し得る。そのような場合、欠失ピクセルは、黒色ピクセルとして処理されることができる、または、マクロブロック２２２０内に存在するその最近傍ピクセルが、代わりに使用されることができる。
いったん歪曲補正ピクセル（例えば、Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、およびＰ７）が、ピクセル補間器１７１０によって決定されると、それらは、フラットフィールド補正ブロック１７３０に通過される。フラットフィールド補正ブロック１７３０は、少なくとも部分的に、本明細書に説明されるディスプレイ６２を横断して存在し得る、望ましくない明度の変動を補正することができる。前述のように、ディスプレイ６２は、導波管（１８２、１８４、１８６、１８８、１９０）のスタックを含んでもよく、これは、画像の種々の深度平面の種々のカラーフィールドに対応する光をユーザ６０の眼に分散させる。ディスプレイ６２はまた、各特徴との交差点において、光の一部のみが、ユーザ６０の眼に向かって指向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を伴う回折特徴等の光再指向要素（２８２、２８４、２８６、２８８、２９０）を含むことができる。画像データを搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割される。導波管および回折特徴は、典型的には、比較的に均一パターンの出射ビームをユーザ６０の眼に向かって提供するように設計されるが、ディスプレイ６２の光学複雑性は、異なる場所において出力する、光の量にある程度の不均衡をもたらし得る。これらの不均衡は、ディスプレイ６２の異なる部分上に示される場合、同一色および／または明度を有するように意図され得る２つのピクセルを異なるように現れさせ得る。これらの不均衡は、フラットフィールド補正ブロック１７３０によって補正されることができる。
いくつかの実施形態では、フラットフィールド補正ブロック１７３０は、明度補正値を画像データの各ピクセルに適用する。明度補正値は、それぞれ、対応するピクセル値の数倍である、係数であり得る。例えば、いくつかの実施形態では、明度補正値は、ゼロ～２の範囲であるが、他の範囲もまた、使用されることができる。明度補正値のための範囲は、任意の所与のピクセルの明度を、ディスプレイ６２に固有であり得る、明度不平衡を補償するために必要な程度まで動的に増加または減少させるための柔軟性を提供するように選択されることができる。明度係数は、いったん画像データがディスプレイ６２上に示されると、望ましくない明度変動を低減させるように、実験的（例えば、既知の較正画像をシステム７０に入力し、表示される画像と較正画像を比較することによって）または理論的（例えば、光線追跡アルゴリズムを使用することによって）に決定されることができる。
明度補正値は、ディスプレイコントローラにアップロードされたルックアップテーブル内に記憶されることができる。画像データの各深度平面の各カラーフィールドは、一意の明度補正値のセットを有することができる。したがって、それぞれ、３つのカラーフィールドを有する、３つの深度平面から成る画像データ内には、合計９つのルックアップテーブルが、構成の間、提供されることができる。高分解能画像データに関して、９つの完全分解能ルックアップテーブルを記憶するために要求されるメモリの量は、有意であり得る。故に、明度補正値のためのルックアップテーブルは、低減された分解能で記憶されることができる。１２８０×９６０の分解能を伴う画像データの場合、例えば、ルックアップテーブルは、８０×６０（またはルックアップテーブルの外部グリッドを考慮するための８１×６１）の低減された分解能を有することができる。低減された分解能テーブルは、例えば、バイリニア補間を使用して、操作の間、完全サイズに拡張されることができる。
フラットフィールド補正ブロック１７３０からの出力ピクセルは、ガンマ補正ブロック１７４０に通過されることができ、これは、従来のガンマ補正を適用する。最後に、ガンマ補正ブロック１７４０からの出力ピクセルは、図９に関して説明されるように、ディスプレイ６２へのカラーシーケンシャル出力のために、カラーフィールドバッファ１７５０に通過されることができる。
図６１は、２つの実施形態による、システム配列を描写する。第１の実施形態は、画像データを画像生成器から受信し、画像データを操作し（例えば、制御データを除去する）、画像データのみを伝送し、パネルを表示する、ＶＲ／ＡＲ／ＭＲシステムのディスプレイコントローラによって実装されるピクセル処理パイプラインを描写する。しかしながら、図６１に示されるように、ピクセル処理パイプラインはまた、遠隔プロセッサ（「ベルトパックプロセッサ」）および／またはＤＰ／ＭＰＩブリッジ（第２の実施形態）によっても実装されることができる。これらのピクセル処理パイプライン場所は、例示にすぎず、ピクセル処理パイプラインは、ＶＲ／ＡＲ／ＭＲシステムの種々の他のコンポーネントによって実装されることができる。
頭部姿勢データに基づく後の画像ワーピング
本明細書に議論されるように、システム８０は、ヘルメット、眼鏡、ゴーグル等の身体搭載型ディスプレイを含むことができる。加えて、システム８０は、ジャイロスコープ、加速度計等のセンサを含むことができ、これは、３次元においてユーザ６０の頭部の位置、配向、速度、および／または加速を推定および追跡するために使用され得る、測定を実施する。センサは、ユーザ６０によってその頭部上に装着される慣性測定ユニットに提供されることができる。このように、ユーザ６０の頭部姿勢は、例えば、頭部の配向を示す、ベクトルとして推定されることができる。これ等の頭部姿勢情報は、ユーザ６０がＶＲ／ＡＲ／ＭＲ場面と相互作用することを可能にする手段として使用されることができる。例えば、ユーザ６０が、その頭部を旋回または傾斜させる場合、場面は、対応する様式でワーピング、すなわち、調節されることができる（例えば、場面の視野は、偏移または傾斜されることができる）。
図２５Ａは、頭部姿勢情報に基づいて、画像データをワーピングするための例示的システム２５００ａを図示する。システム２５００ａは、慣性測定ユニット２５１０ａを含み、これは、ユーザ６０の頭部姿勢を計算するために使用され得る、測定を行い、それを追跡する。また、ユーザ６０の頭部の位置および配向を検出するために使用され得る、他のタイプのセンサも含むことができる。これらは、例えば、外向きに面したビデオカメラを含むことができる。慣性測定ユニット２５１０ａおよび他のセンサからのデータは、頭部姿勢プロセッサ２５１２ａに通過される。頭部姿勢プロセッサ２５１２ａは、全てのソースからの頭部姿勢測定データを分析し、ユーザ６０の現在の頭部姿勢を決定する。代替として、および／または加えて、頭部姿勢プロセッサ２５１２ａは、現在および過去の頭部姿勢測定データを使用し、将来の１つ以上の瞬時におけるユーザ６０の頭部姿勢を予測することができる。
システム２５００ａはまた、ＧＰＵ２５２０ａを含む。ＧＰＵ２５２０ａは、ユーザ６０に表示されるための仮想、拡張、および／または複合現実画像データをレンダリングすることに関与する。頭部姿勢プロセッサ２５１２ａによって決定されるようなユーザ６０の現在および／または予測される頭部姿勢は、ＧＰＵ２５２０ａに入力されることができる。本頭部姿勢情報は、ＧＰＵ２５２０ａによって使用され、画像データがレンダリングされるための視錐台を決定することができる。加えて、ＧＰＵ２５２０ａは、ワーピングプロセッサ２５２４ａを含み、これは、頭部姿勢情報を使用して、ユーザ６０の頭部の位置、配向、および／または移動に基づいて、適切な画像ワーピング操作を実施する。画像ワーピング操作は、例えば、回転、平行移動偏移、および任意の他の変換を含むことができ、これは、ユーザ６０の頭部姿勢の変化を補償する。
ＧＰＵ２５２０ａからレンダリングされた画像データは、次いで、ディスプレイコントローラ２５３０ａに通過される。本明細書に議論されるように、ディスプレイコントローラ２５３０ａは、深度平面の混成および光学歪曲の補正等の機能を用いて、レンダリングされた画像データを処理することができる。ディスプレイコントローラ２５３０ａは、次いで、画像データをディスプレイドライバ２５４０ａに走査出力し、これは、次いで、画像データをディスプレイ２５５０ａ上に示させる。
図２５Ａに示されるシステム２５００ａのタイプは、頭部姿勢に基づいて、画像データをワーピングすることができるが、そうする際にいくつかの限界を有する。例えば、ＧＰＵ２５２０ａおよびディスプレイコントローラ２５３０ａ内には、処理遅延が存在する。加えて、画像データをディスプレイドライバ２５５０ａに提供するための走査出力時間と関連付けられた遅延も存在する。走査出力時間は、典型的には、システム２５００ａのフレームレートに依存する。例えば、６０ｆｐｓのフレームレートは、典型的には、約１／６０＝１６ｍｓの走査出力時間を伴う一方、１２０ｆｐｓのフレームレートは、典型的には、約１／１２０＝８ｍｓの走査出力時間を伴い、２４０ｆｐｓのフレームレートは、典型的には、約１／２４０＝４ｍｓの走査出力時間を伴う。したがって、ＧＰＵ２５２０ａが、その時点のユーザ６０の頭部姿勢に基づいて、画像ワーピングを実施する場合、頭部姿勢は、画像データが実際にディスプレイ２５５０ａ上に示される前に、変化しがちである。代替として、ＧＰＵ２５２０ａは、ユーザ６０の予測される将来的頭部姿勢に基づいて、画像ワーピングを実施することができるが、予測される将来的頭部姿勢の正確度は、予測誤差が予測される頭部姿勢に対して経時的に増加し得るため、不適正であり得る。ＶＲシステムは、ユーザ６０には、典型的には、彼らに提示される仮想画像データのみが見え得るため、この点において、ある程度の遅延および／または不正確度に耐性があり得る。しかし、ＡＲおよびＭＲシステムは、典型的には、頭部姿勢ベースの画像データワーピングにおける遅延および／または不正確度により敏感である。これは、ユーザ６０にはその実世界周囲とともに仮想画像データが見えるという事実に起因する。
ＧＰＵを用いて頭部姿勢ベースの画像ワーピングを実施することと関連付けられた問題のいくつかは、代わりに、ディスプレイコントローラを用いて、画像ワーピングの一部または全部を実施することによって緩和され得る。
図２５Ｂは、頭部姿勢情報に基づいて画像データをワーピングさせるための改良されたシステム２５００ｂを図示する。改良されたシステム２５００ｂは、慣性測定ユニット２５１０ｂを含み、これは、他の随意の位置検出センサとともに、頭部姿勢測定データを捕捉する。頭部姿勢測定データは、慣性測定ユニット２５１０ｂによって、頭部姿勢プロセッサ２５１２ｂに提供される。頭部姿勢プロセッサ２５１２ｂは、頭部姿勢測定データを使用して、ユーザ６０の現在および／または予測される頭部姿勢を決定する。頭部姿勢プロセッサ２５１２ｂによって計算される頭部姿勢情報は、ＧＰＵ２５２０ｂに入力される。ＧＰＵ２５２０ｂは、本頭部姿勢情報を使用して、ユーザ６０に表示されるための仮想画像データをレンダリングするための視錐台を決定する。ＧＰＵ２５２０ｂはまた、頭部姿勢プロセッサ２５１２ｂから提供される頭部姿勢情報に基づいて１つ以上の画像ワーピング操作を画像データに実施するためのワーピングプロセッサ２５２４ｂを含む。ＧＰＵ２５２０ｂは、次いで、レンダリングされた画像データをディスプレイコントローラ２５３０ｂに提供する。
本明細書に議論されるように、画像回転およびピクセル偏移等の画像ワーピング操作は、いくつかの理由から、ディスプレイコントローラ２５３０ｂによって行われることができる。ピクセル偏移および画像回転は、画像データが、例えば、ユーザ６０の頭部移動に起因して、ディスプレイ２５５０ｂ上で移動される必要がある場合に実施されることができる。そのような場合、画像データのコンテンツは、同一であり得るが、ディスプレイ６２上の視認エリア内のその場所は、偏移される必要があり得る。画像データをＧＰＵ２５２０ｂにおいて再レンダリングし、再び、ピクセルのセット全体をディスプレイコントローラ２５３０ｂに送信するのではなく、ピクセル偏移および／または画像回転が、画像ワーピング制御データを使用して、画像データに適用されることができる。図１０および１１に図示されるように、画像ワーピング制御データを含む、制御データは、フレームの開始時に含まれることができる。代替として、および／または加えて、画像ワーピング制御データは、フレーム内で（例えば、最初の行後）またはフレームの終了時に送信されることができる。これは、例えば、モバイル産業プロセッサインターフェース（ＭＩＰＩ）ディスプレイシリアルインターフェース（ＤＳＩ）仮想チャネルを使用して行われることができる。
ピクセル偏移および／または画像回転はまた、ユーザ６０がその頭部を移動させ、ピクセルのより正確な表現が所望される場合にも実施されることができる。ＧＰＵ２５２０ｂに画像を再レンダリングさせるのではなく、後の画像ワーピング操作は、有意な低遅延を伴って、ディスプレイコントローラ２５３０ｂによって適用されることができる。本明細書に説明される任意のピクセル偏移および／または画像回転は、単一深度平面または複数の深度平面に影響を及ぼしてもよい。すでに本明細書で議論されたように、いくつかの実施形態では、種々の深度平面が表示されるときの間の時間に差異が存在する。これらの時間差の間、ユーザ６０は、視錐台が偏移される必要があり得るように、その眼を偏移させ得る。これは、深度平面のいずれかのためのピクセル偏移を使用して遂行されることができる。
画像ワーピング制御データは、単一深度平面のフレーム内のＸ－Ｙ方向におけるピクセル偏移を示すことができる。代替として、および／または加えて、ピクセル偏移制御データは、深度平面バッファ間のＺ方向における偏移を示すことができる。例えば、１つ以上の深度平面に以前に表示されたオブジェクトは、Ｚ－ピクセル偏移を用いて設定された別の深度平面に移動してもよい。本タイプの偏移はまた、深度毎に部分的画像を拡大または縮小させるためのスケーラを含むことができる。例えば、表示されるキャラクタが２つの深度平面間に浮遊しており、別のオブジェクトによるそのキャラクタのオクルージョンが存在しないと仮定する。深度方向におけるキャラクタの見掛け移動は、Ｚ－ピクセル偏移およびスケーラを使用して、キャラクタを１つ以上の深度平面の前方または後方に再描画することによって遂行されることができる。これは、キャラクタを再レンダリングし、フレーム更新をディスプレイコントローラ２５３０ｂに送信することなく遂行され、より平滑な運動性能をはるかに低い算出コストでもたらすことができる。
スケーラはまた、例えば、レンズ１９２、１９４、１９６、１９８の結果、ディスプレイ内に生じる、拡大効果を補償するために使用されることができる。そのようなレンズは、ユーザによって観察可能な仮想画像を作成し得る。仮想オブジェクトが、１つの深度平面から別の深度平面に移動すると、仮想画像の光学拡大は、実際には、物理的世界内で予期されるであろうものの反対であり得る。例えば、オブジェクトが視認者からより遠い深度平面に位置するときの物理的世界では、オブジェクトは、より近い深度平面に位置する場合より小さく現れる。しかしながら、仮想オブジェクトが、ディスプレイ内のより近い深度平面からより遠い深度平面に移動するとき、レンズは、実際には、オブジェクトの仮想画像を拡大させ得る。したがって、いくつかの実施形態では、スケーラが、ディスプレイ内の光学拡大効果を補償するために使用される。スケーラは、深度平面毎に提供され、光学によって生じる拡大効果を補正することができる。加えて、スケーラは、色あたりベースで対処されるべき任意のスケーリング問題が存在する場合、色毎に提供されることができる。
いくつかの実施形態では、最大水平ピクセル偏移は、パネル幅全体に対応することができる一方、最大垂直ピクセル偏移は、パネル高さ全体に対応することができる。正のおよび負の偏移は両方とも、制御データによって示されることができる。本ピクセル偏移情報を使用して、ディスプレイコントローラは、ビデオデータのフレームを左または右、上または下、および深度平面間の前方または後方に偏移させることができる。ピクセル偏移情報はまた、左眼ディスプレイパネルから右眼ディスプレイパネルまたはその逆に、ビデオデータのフレームを完全または部分的に偏移させることができる。ピクセル偏移情報は、ライトフィールドビデオデータ内の深度平面毎に含まれることができる。
走査ベースのディスプレイが使用されるもの等のいくつかの実施形態では、インクリメント分散型画像ワーピング操作（例えば、ピクセル偏移および／または画像回転）が、実施されることができる。例えば、異なる画像ワーピング操作が、ビデオデータのフレームのための異なる色成分サブフレーム画像データに実施されることができる（例えば、各サブフレーム画像が処理されているときに利用可能な現在の頭部姿勢情報に基づいて）。例えば、最初に処理および／または表示される、ピクセルは、中間フレーム頭部移動を補償するために、または仮想オブジェクトの運動をシミュレートするために、フレーム内で後に処理／表示されるピクセルより多くまたはより少なく偏移されることができる。同様に、異なる画像ワーピング操作が、異なる深度平面に実施されることができる（例えば、各深度平面が処理されているときに利用可能な現在の頭部姿勢情報に基づいて）。例えば、１つの深度平面におけるピクセルは、別の深度平面におけるピクセルより多くまたはより少なく偏移されることができる。いくつかの実施形態では、眼追跡技術が、ユーザ６０が固視しているディスプレイ画面の部分を決定するために使用される。異なる深度平面内またはさらに単一深度平面内の異なる場所における仮想オブジェクトは、ユーザ６０がディスプレイのその部分を見ているかどうかに応じて、ピクセル偏移され（または偏移されず）、および／または回転されることができる。ユーザが固視していないオブジェクトが存在する場合、それらのオブジェクトのための画像ワーピング制御データは、ユーザが固視している画像データをワーピングさせるための性能を改良するために無視されてもよい。再び、眼追跡装置が、ユーザ６０が見ているディスプレイ６２上の場所を決定するために使用されることができる。
図２５Ｂに戻って参照すると、ＧＰＵ２５２０ｂからレンダリングされた画像データは、ディスプレイコントローラ２５３０ｂに、制御データとともに提供されることができる。改良されたシステム２５００ｂの実施形態では、レンダリングされた画像データを具備する制御データは、画像ワーピング操作を実施するためにＧＰＵ２５２０ｂによって使用された頭部姿勢情報を含んでもよい。制御データはまた、タイムスタンプを含むことができ、これは、ＧＰＵ２５２０ｂが画像ワーピング操作を実施するために使用した頭部姿勢情報に対応する瞬間（例えば、頭部姿勢情報を決定するために使用された測定が捕捉された瞬間）を示す。タイムスタンプは、クロック２５６０ｂからのクロック信号を使用して生成されることができる。
ディスプレイコントローラ２５３０ｂは、レンダリングされた画像データをＧＰＵ２５２０ｂから受信し、光学歪曲補正、深度平面混成等を含む、本明細書で議論される処理タスクのいずれかを実施してもよい。加えて、改良されたシステム２５００ｂでは、慣性測定ユニット２５１０ｂは、画像データがＧＰＵ２５２０ｂによって処理される時間周期の間および後に、直接、更新された頭部姿勢測定データをディスプレイコントローラ２５３０ｂに提供することができる。これは、図２５Ｂに示されるように、専用チャネルを使用して行われてもよい。または、更新された頭部姿勢測定データは、ディスプレイコントローラ２５３０ｂに制御データとして提供されることができ、これは、レンダリングされた画像データがＧＰＵ２５２０ｂからディスプレイコントローラ２５３０ｂに提供される直前に、レンダリングされた画像データとともに挿入される。本制御データは、ソフトウェアが、最新の頭部姿勢測定データが画像データの最後の行が送信された直後にバッファに書き込まれることを保証することができない場合に、専用ハードウェアによって追加されてもよい。専用チャネルまたは付加される制御データを介して、更新された頭部姿勢測定データを送達する場合のいずれかでは、ディスプレイコントローラ２５３０ｂに提供される更新された頭部姿勢測定データは、タイムスタンプが付けられることができる。タイムスタンプは、クロック２５６０ｂからのクロック信号を使用して生成されることができる。図示されるように、クロック２５６０ｂは、同一クロック信号を慣性測定ユニット２５１０ｂ、頭部姿勢プロセッサ２５１２ｂ、ＧＰＵ２５２０ｂ、およびディスプレイコントローラ２５３０ｂに提供することができる。本共通クロック信号を使用して、これらのデバイスはそれぞれ、時間ベースの頭部姿勢関連画像ワーピング操作を実施するための共通基準フレームを有することができる。
ディスプレイコントローラ２５３０ｂは、頭部姿勢プロセッサ２５３２ｂと、ワーピングプロセッサ２５３４ｂとを含む。頭部姿勢プロセッサ２５３２ｂは、慣性測定ユニット２５１０ｂによって提供される更新された頭部姿勢測定を使用して、現在の頭部姿勢情報を決定してもよい。典型的には、ディスプレイコントローラ２５３０ｂの内側の頭部姿勢プロセッサ２５３２ｂによって生成された頭部姿勢情報は、画像ワーピング操作を行うためにＧＰＵ２５２０ｂによって使用される頭部姿勢情報より最新である。これは、慣性測定ユニット２５１０ｂが、典型的には、画像データをレンダリングするためにＧＰＵ２５２０ｂによって要求される時間より高速のレートで頭部姿勢測定を捕捉することができるためである。言い換えると、画像データが、ＧＰＵ２５２０ｂによってレンダリングされ、次いで、ディスプレイコントローラ２５３０ｂに通過される間、慣性測定ユニット２５１０ｂは、更新された頭部姿勢測定データの収集を継続する。ディスプレイコントローラ２５３０ｂに提供されるのは、本更新された頭部姿勢測定データである。
慣性測定ユニット２５１０ｂから提供される更新された頭部姿勢測定は、ディスプレイコントローラ２５３０ｂ内の頭部姿勢プロセッサ２５３２ｂによって使用され、現在の頭部姿勢情報（例えば、現在の頭部姿勢ベクトル）を生成する。本現在の頭部姿勢情報は、次いで、ＧＰＵ２５２０ｂによって使用される頭部姿勢情報と比較され、画像ワーピングを実施することができる。加えて、これらの頭部姿勢情報のセット毎のタイムスタンプが、比較されることができる。これらの個別の頭部姿勢情報のセット間の差異は、個別のタイムスタンプ間の差異とともに、デルタ頭部姿勢情報を決定するために使用されることができる。デルタ頭部姿勢情報は、例えば、デルタ頭部姿勢ベクトルであってもよく、これは、より最新の頭部姿勢情報がディスプレイコントローラ２５３０ｂによって実施されるための画像ワーピング操作において使用するために決定された時間までの、頭部姿勢情報からのユーザ６０の頭部姿勢の変化がＧＰＵ２５２０ｂによって画像ワーピング操作において使用するために決定された時間を表す。
ディスプレイコントローラ２５３０ｂは、ワーピングプロセッサ２５３４ｂを含み、これは、次いで、デルタ頭部姿勢情報に基づいて、１つ以上の画像ワーピング操作を実施してもよい。デルタ頭部姿勢情報を使用して、ディスプレイコントローラ２５３０ｂ内で画像ワーピング操作を実施する代替として、ＧＰＵ２５２０ｂは、任意の画像ワーピング操作の実施を控えてもよく、ワーピングプロセッサ２５３４ｂが、代わりに、ディスプレイコントローラ２５３０ｂの内側の頭部姿勢プロセッサ２５３２ｂによって決定された現在の頭部姿勢情報のみに基づいて、画像ワーピング操作を行ってもよい。しかしながら、ＧＰＵ２５２０ｂを用いて初期画像ワーピング操作を実施し、次いで、デルタ頭部姿勢情報を使用して、ディスプレイコントローラ２５３０ｂを用いて、付加的画像ワーピング操作を実施するアプローチは、ディスプレイコントローラ２５３０ｂによって実施される画像ワーピング操作により小さい規模をもたらさせ得るため、有利であり得る。
いくつかの実施形態では、ＧＰＵ２５２０ｂによってディスプレイコントローラ２５３０ｂに提供される画像データは、ディスプレイ２５５０ｂの分解能のディスプレイに対してオーバーサイズにされることができる。例えば、ディスプレイ２５５０ｂが、１２８０×９６０画像データを示すように設計される場合、ディスプレイコントローラ２５３０ｂは、より大きい数の行および／または列を有する画像データを提供されることができる。画像データのこれらの過剰行および／または列は、画像データの全４つの側におけるバッファゾーンとしての役割を果たすことができる。バッファゾーンは、ディスプレイコントローラ２５３０ｂが、画像データが縁において途切れることなく、頭部姿勢ベースの画像ワーピング（例えば、回転および／または平行移動偏移）を実施することを可能にする。例えば、ユーザ６０の頭部姿勢が、画像データＸ列を右に偏移させることを要求する場合、左側バッファゾーン内の画像データのＸ列が、表示されるであろう、画像の中に移動されることができる。このように、ディスプレイコントローラ２５３０ｂに提供されるオーバーサイズの画像は、画像データの欠如または黒色ピクセルを欠失画像データの代わりに挿入する必要に起因して、画像ワーピング操作を完了不可能となるリスクを回避または低減させる。
本明細書に議論されるように、ディスプレイコントローラ２５３０ｂは、ディスプレイコントローラ２５３０ｂが画像データを処理している時間において最新である、頭部姿勢情報に基づいて、画像スケーリング、平行移動偏移、および画像回転等の画像ワーピング操作を実行することができる。これは、改良されたシステム２５００ｂ内のディスプレイコントローラ２５３０ｂが、ユーザ６０の頭部姿勢の変化をより良好に補償することを可能にする。画像データは、次いで、ディスプレイコントローラ２５３０ｂからディスプレイドライバ２５４０ｂに読み出され、これは、最終的には、画像データをディスプレイ２５５０ｂ上に示す。しかし、改良されたシステム２５００ｂにおいてさえ、頭部姿勢ベースの画像ワーピングがディスプレイコントローラ２５３０ｂによって適用されるときと、ユーザ６０に実際に画像が見えるときとの間の走査出力時間に起因して、依然として、潜在的に有意な量の遅延が残る。走査出力遅延は、システム２５００ｂを比較的に高フレームレート（例えば、２４０ｆｐｓまたはより高い）において動作させることによって低減されることができるが、これは、有意な算出コストおよび関連付けられた電力増加を伴う。しかしながら、これらの問題の一部または全部は、図２５Ｃに示される改良されたシステムにおいて解決される。
図２５Ｃは、頭部姿勢情報に基づいて、画像データをワーピングさせるための別の改良されたシステム２５００ｃを図示する。図２５Ｂのシステム２５００ｂのように、図２５Ｃの改良されたシステム２５００ｃは、慣性測定ユニット２５１０ｃと、頭部姿勢プロセッサ２５１２ｃと、ＧＰＵ２５２０ｃ（ワーピングプロセッサ２５２４ｃを伴う）と、ディスプレイコントローラ２５３０ｃ（頭部姿勢プロセッサ２５３２ｃおよびワーピングプロセッサ２５３４ｃを伴う）と、ディスプレイドライバ２５４０ｃと、ディスプレイ２５５０ｃとを含むことができる。これらのコンポーネントはそれぞれ、前述のように、図２５Ｂのシステム２５００ｂに対して動作することができる。しかしながら、改良されたシステム２５００ｃでは、ディスプレイドライバ２５４０ｃは、頭部姿勢プロセッサ２５４２ｃおよびワーピングプロセッサ２５４４ｃを含むようにカスタマイズされる。ディスプレイドライバ２５４０ｃの頭部姿勢プロセッサ２５４２ｃおよび／またはワーピングプロセッサ２５４４ｃは、モバイル産業プロセッサインターフェース（ＭＩＰＩ）ブリッジへのディスプレイポート等のディスプレイブリッジチップ（図示せず）上に常駐してもよい。
慣性測定ユニット２５１０ｃ（および可能性として、他の位置検出センサ）からの頭部姿勢測定データは、ディスプレイドライバ２５４０ｃに提供される。クロック２５６０ｃからのクロック信号はまた、ディスプレイドライバ２５４０ｃに提供される。本アーキテクチャに基づいて、１つ以上の頭部姿勢ベースの画像ワーピング操作が、より最新の頭部姿勢情報に基づいて、画像をディスプレイコントローラ２５３０ｃから走査出力した後に実施されることができる。例えば、いくつかの実施形態では、ディスプレイドライバ２５４０ｃは、わずか１ｍｓ古い頭部姿勢情報に基づいて、１つ以上の画像ワーピング操作を実施する。
改良されたシステム２５００ｃでは、ディスプレイコントローラ２５３０ｃは、すでに議論されたように、画像データをディスプレイドライバ２５４０ｃに走査出力するが、本実施形態では、走査出力された画像データは、制御データを含む。走査出力された画像データを具備する制御データは、ディスプレイコントローラ２５３０ｃによって画像ワーピング操作を実施するために使用された頭部姿勢情報を含んでもよい。加えて、制御データはまた、タイムスタンプを含むことができ、これは、その頭部姿勢情報に対応する瞬間（例えば、画像ワーピングを実施するためにディスプレイコントローラ２５３０ｃによって使用された頭部姿勢測定が捕捉された瞬間）を示す。タイムスタンプは、クロック２５６０ｃからのクロック信号を使用して生成されることができる。
一方、画像データがディスプレイコントローラ２５３０ｃによって処理される時間周期の間および後、慣性測定ユニット２５１０ｃは、更新された頭部姿勢測定データをディスプレイドライバ２５４０ｃに提供し続けることができる。本頭部姿勢測定データは、タイムスタンプを提供されることができる。更新された頭部姿勢測定データは、図２５Ｃに示されるように、専用チャネルを使用して、慣性測定ユニット２５１０ｃからディスプレイドライバ２５４０ｃに提供されることができる。または、更新された頭部姿勢測定データは、ディスプレイドライバ２５４０ｃに制御データとして提供されることができ、これは、ディスプレイコントローラ２５３０ｂに走査抽出される直前に、フレームの最後に挿入される。本制御データは、ソフトウェアが、最新の頭部姿勢測定データが画像データの最後の行が送信された直後にバッファに書き込まれることを保証することができない場合に、専用ハードウェアによって追加されてもよい。専用チャネルまたは付加される制御データを介して、更新された頭部姿勢測定データを送達する場合のいずれかにおいて、ディスプレイドライバ２５４０ｃは、頭部姿勢プロセッサ２５４２ｃを使用して、慣性測定ユニット２５１０ｃによって提供される更新された頭部姿勢測定に基づいて、頭部姿勢情報を決定してもよい。典型的には、ディスプレイドライバ２５４０ｃの内側の頭部姿勢プロセッサ２５４２ｃによって生成された頭部姿勢情報は、ディスプレイコントローラ２５３０ｃによって提供される頭部姿勢情報より最新である。これは、画像データがディスプレイコントローラ２５３０ｃによって処理されている間、慣性測定ユニット２５１０ｃが、更新された頭部姿勢測定データの収集を継続するためである。ディスプレイドライバ２５３０ｃに提供されるのは、本より更新された頭部姿勢測定データである。
ディスプレイドライバ２５４０ｃ内の頭部姿勢プロセッサ２５４２ｃによって生成されたより最新の頭部姿勢情報は、次いで、ディスプレイコントローラ２５３０ｃによって使用される頭部姿勢情報と比較され、画像ワーピング操作を実施することができる。加えて、これらの頭部姿勢情報のセット毎のタイムスタンプが、比較されることができる。これらの個別の頭部姿勢情報のセット間の差異は、個別のタイムスタンプ間の差異とともに、デルタ頭部姿勢情報を決定するために使用されることができる。デルタ頭部姿勢情報は、例えば、デルタ頭部姿勢ベクトルであってもよく、これは、より最新の頭部姿勢情報がディスプレイドライバ２５４０ｃによって実施されるための画像ワーピング操作において使用するために決定された時間までの、頭部姿勢情報からのユーザ６０の頭部姿勢の変化がディスプレイコントローラ２５３０ｃによって画像ワーピング操作において使用するために決定された時間を表す。
ディスプレイドライバ２５４０ｃは、ワーピングプロセッサ２５４４ｃを含み、これは、次いで、デルタ頭部姿勢情報に基づいて、１つ以上の画像ワーピング操作を実施してもよい。デルタ頭部姿勢情報を使用して、ディスプレイドライバ２５４０ｃ内で画像ワーピング操作を実施する代替として、ＧＰＵ２５２０ｃおよび／またはディスプレイコントローラ２５３０ｃは、任意の画像ワーピング操作を実施することを控えてもよく、ワーピングプロセッサ２５４４ｃが、代わりに、ディスプレイドライバ２５４０ｃの内側の頭部姿勢プロセッサ２５４２ｃによって決定された現在の頭部姿勢情報のみに基づいて、画像ワーピング操作を行ってもよい。しかしながら、ＧＰＵ２５２０ｃおよび／またはディスプレイコントローラ２５３０ｃを用いて、初期画像ワーピング操作を実施し、次いで、デルタ頭部姿勢情報を使用して、ディスプレイドライバ２５４０ｃを用いて、付加的画像ワーピング操作を実施するアプローチは、ディスプレイドライバ２５４０ｃによって実施される画像ワーピング操作により小さい規模をもたらさせ得るため、有利であり得る。
ディスプレイドライバ２５４０ｃによって実施される画像ワーピング操作は、ユーザ６０に実際に画像データが見えるときより時間的に近いため、かつそれらの操作は、より最新の頭部姿勢情報に基づくため、ユーザ６０は、より少ない頭部姿勢関連待ち時間を伴って、より良好な体験を享受する。
いくつかの実施形態では、ＧＰＵ２５２０ｃおよびディスプレイコントローラ２５３０ｃによってディスプレイドライバ２５４０ｃに提供される画像データは、ディスプレイ２５５０ｃの表示分解能に対してオーバーサイズにされることができる。例えば、ディスプレイ２５５０ｃが、１２８０×９６０画像データを示すように設計される場合、ディスプレイドライバ２５４０ｃは、より大きい数の行および／または列を有する画像データを提供されることができる。画像データのこれらの過剰行および／または列は、画像データの全４つの側において、バッファゾーンとしての役割を果たすことができる。バッファゾーンは、ディスプレイドライバ２５４０ｃが、画像データが縁において途切れることなく、頭部姿勢ベースの画像ワーピング（例えば、回転および／または平行移動偏移）を実施することを可能にする。例えば、ユーザ６０の頭部姿勢が、画像データＸ列を右に偏移させることを要求する場合、左側バッファゾーン内の画像データのＸ列は、表示されるであろう画像の中に移動されることができる。このように、ディスプレイドライバ２５４０ｃに提供されるオーバーサイズ画像は、画像データの欠如または欠失画像データの代わりに黒色ピクセルを挿入する必要に起因して、画像ワーピング操作を完了不可能であるリスクを回避または低減させる。
図２５Ｂおよび２５Ｃに示される改良されたシステム２５００ｂおよび２５００ｃのいくつかの実施形態では、１つ以上の画像ワーピング操作は、ディスプレイコントローラ（２５３０ｂ、２５３０ｃ）および／またはディスプレイドライバ（２５４０ｃ）によって、画像データのカラーフィールドおよび／または深度平面の全てに関して同一頭部姿勢測定および／または他の頭部姿勢情にともに基づいて実施されることができる。または、いくつかの実施形態では、ディスプレイコントローラ（２５３０ｂ、２５３０ｃ）および／またはディスプレイドライバ（２５４０ｃ）は、異なる頭部姿勢測定および／または他の頭部姿勢情報に基づいて、画像データのカラーフィールドおよび／または深度平面の異なるものに関して１つ以上の画像ワーピング操作を実施することができる。例えば、第１の画像ワーピング操作が、第１の時間に対応する第１の頭部姿勢測定および／または他の頭部姿勢情報を使用して、画像データの第１のカラーフィールドおよび／または深度平面に実施されることができる。次いで、第２の画像ワーピング操作が、後続の第２の時間に対応する更新された第２の頭部姿勢測定および／または他の頭部姿勢情報を使用して、画像データの第２のカラーフィールドおよび／または深度平面に実施されることができる。これは、その都度、更新された頭部姿勢測定および／または他の頭部姿勢情報に基づいて、画像データのカラーフィールドおよび／または深度平面毎に繰り返されることができる。
加えて、いくつかの実施形態では、ディスプレイコントローラ（２５３０ｂ、２５３０ｃ）および／またはディスプレイドライバ（２５４０ｃ）は、異なる頭部姿勢情報に基づいて、画像データのカラーフィールドまたは他のサブフレームの異なる部分のために１つ以上の画像ワーピング操作を実施することができる。例えば、第１の画像ワーピング操作が、第１の時間における頭部姿勢測定に対応する第１の頭部姿勢情報を使用して、画像データのカラーフィールドまたは他のサブフレームの第１の部分に実施されることができる。次いで、第２の画像ワーピング操作が、後続の第２の時間における頭部姿勢測定に対応する更新された第２の頭部姿勢情報を使用して、画像データのカラーフィールドまたは他のサブフレームの第２の部分に実施されることができる。これは、その都度、更新された頭部姿勢情報に基づいて、画像データのカラーフィールドまたは他のサブフレームの部分毎に繰り返されることができる。これらの実施形態では、画像データは、ブロックに分割されることができ、頭部姿勢測定および／または他の頭部姿勢情報を含む、制御データが、ブロック間の画像データとともに介在される種々の行および／または列に提供されることができる。ブロック毎の頭部姿勢測定および／または他の頭部姿勢情報は、前のブロックに対して更新されることができる。ブロック毎の更新された頭部姿勢測定および／または他の頭部姿勢情報は、対応するブロックのための１つ以上の画像ワーピング操作を実施するために使用されることができる。
図２５Ｂおよび２５Ｃに示される改良されたシステム２５００ｂおよび２５００ｃは、特に、異なるカラーフィールドを、並行してではなく、連続的に（図９に示されるように）表示する、カラーシーケンシャルディスプレイ技術のために有利である。これは、カラーシーケンシャルディスプレイでは、ある程度の遅延が画像の各フレームの個別のカラーフィールドが処理または表示される時間の間に存在するという事実に起因する。本遅延の間、ユーザ６０の頭部の移動は、重畳されることが意図された画像データの異なる色が代わりに空間的に分離される、色割れ等の誤差をもたらし得る。故に、いくつかの実施形態では、改良されたシステム２５００ｂ内のディスプレイコントローラ２５３０ｂおよび／または改良されたシステム２５００ｃ内のディスプレイドライバ２５４０ｃは、頭部姿勢ベースの画像ワーピングをカラーフィールドあたりベースで実施することができる。例えば、ディスプレイコントローラ２５３０ｂおよび／またはディスプレイドライバ２５４０ｃは、頭部姿勢測定を慣性測定ユニット２５１０ｃから持続的に受信することができ、更新された頭部姿勢情報を持続的に計算することができる。ディスプレイコントローラ２５３０ｂおよび／またはディスプレイドライバ２５４０ｃは、次いで、更新された頭部姿勢情報を使用して、各個別のカラーフィールドが処理またはディスプレイ上に示される直前に、画像のカラーフィールド毎に画像データをワーピングさせることができる。
図２５Ｂおよび２５Ｃに示される改良されたシステム２５００ｂおよび２５００ｃはまた、特に、本明細書に説明される種類等の多深度平面画像を使用する、システム８０のために有利である。これは、典型的には、ある程度の遅延が画像データの所与のフレームのための異なる深度平面が処理または表示される時間の間に存在するためである。例えば、遠距離深度平面と関連付けられた画像データは、第１の時間において処理または表示されることができる一方、近距離深度平面と関連付けられた画像データは、後続の第２の時間に処理または表示されることができる。本遅延の間、ユーザ６０の頭部の移動は、例えば、近距離深度平面に位置する別の仮想オブジェクトによって隠されることが意図された遠距離深度平面に位置する仮想オブジェクトが、近傍オブジェクトがもはや適切に離れたオブジェクトを隠さないように偏移される、深度平面割れ等の誤差をもたらし得る。故に、いくつかの実施形態では、改良されたシステム２５００ｂ内のディスプレイコントローラ２５３０ｂおよび／または改良されたシステム２５００ｃ内のディスプレイドライバ２５４０ｃは、深度平面あたりベースで頭部姿勢ベースの画像ワーピングを実施することができる。例えば、ディスプレイコントローラ２５３０ｂおよび／またはディスプレイドライバ２５４０ｃは、頭部姿勢測定を慣性測定ユニット２５１０ｃから持続的に受信することができ、更新された頭部姿勢情報を持続的に計算することができる。ディスプレイコントローラ２５３０ｂおよび／またはディスプレイドライバ２５４０ｃは、次いで、更新された頭部姿勢情報を使用して、各個別の深度平面が処理される、またはディスプレイ２５５０ｃ上に示される直前に、画像データの深度平面毎に、画像データをワーピングすることができる。
別の実施例では、ディスプレイコントローラ２５３０ｂおよび／またはディスプレイドライバ２５４０ｃは、カラーフィールドあたりおよび深度平面あたりベースの両方で頭部姿勢ベースの画像ワーピングを実施することができる。例えば、図９に示されるカラーシーケンシャルディスプレイスキームを参照すると、ディスプレイコントローラ２５３０ｂおよび／またはディスプレイドライバ２５４０ｃは、Ｄ０深度平面の緑色フィールドである、Ｇ０フィールドのための第１の頭部姿勢情報を計算することができる。ディスプレイドライバ２５４０ｃは、次いで、それを処理する、またはそれをディスプレイ２５５０ｃ上に示す直前（例えば、１ｍｓ以内）に、Ｇ０フィールドをワーピングさせることができる。続いて、ディスプレイコントローラ２５３０ｂおよび／またはディスプレイドライバ２５４０ｃは、Ｄ０深度平面の赤色フィールドである、Ｒ０フィールドのための第２の頭部姿勢情報を計算することができる。ディスプレイコントローラ２５３０ｂおよび／またはディスプレイドライバ２５４０ｃは、次いで、それを処理する、またはそれをディスプレイ２５５０ｃ上に示す直前に、Ｒ０フィールドをワーピングさせることができる。本同一プロシージャは、次いで、Ｂ０、Ｇ１、Ｒ１、Ｂ１、Ｇ２、Ｒ２、およびＢ２カラーフィールドのために連続して繰り返されることができる。
図６２－６４は、ＧＰＵ内でワーピング操作を実施するための種々の実施形態による種々の方法を描写する。これは、ワーピング操作をピクセル処理／ディスプレイパイプラインの後段階で行われる。最初に、最新頭部姿勢推定値が、ディスプレイコントローラに送信される（例えば、ディスプレイバッファ内の画像データの最後の行内において）。最新頭部姿勢推定値は、４ｍｓ古くあり得るが、単一フレームのために深度平面を表示するために利用可能な８．３３ｍｓを前提として、これは、姿勢予測遅延を表示時間の約５０％まで削減する。これは、予測誤差を低減させる。ワーピング操作が、ディスプレイパイプライン上で実施されるとき、これは、画像処理と並行して生じ、それによって、より多くのＧＰＵサイクルを他の画像処理機能のために利用可能にする。
図６２は、第１の実施形態を図示する（図６３および６４に対して）。第１の実施形態では、ワーピング操作をディスプレイパイプライン上で実施することは、前のフィールド上でＧＰＵをその操作から解放することと並行して生じ、かつ第２の実施形態に示されるように、直列ではないため、操作の待ち時間を低減させる。
図６３は、ＩＭＵ更新レートが約３００Ｈｚまで増加され、データがディスプレイパイプラインと直接共有される、第２の実施形態を描写する。本実施形態では、新しいＩＭＵデータは、ワーピング毎に（例えば、カラーフィールドあたり）、使用されることができる。これは、姿勢決定とワーピングとの間の時間を低減させる（例えば、６．７７～１２．３ｍｓから２．７７ｍｓに）。その結果、これは、ワーピング誤差および色割れを低減させる。
本実施形態では、ディスプレイパイプラインは、システムの最後の行上に提供される最新姿勢、ＧＰＵコンテンツが生成されたときに使用された姿勢、および最新ＩＭＵサンプルを分析し、ワーピングを実施する。これは、フィールドが、第１の実施形態におけるように、最大２１ｍｓではなく、ＩＭＵサンプルの３ｍｓ以内にレンダリングされるであろうため、予測時間を有意に低減させる。より短い予測時間は、直接、有意により小さい誤差ならびにより低い色割れに変換される。
図６４は、大ワーピングがＧＰＵにおいて実施された後、ディスプレイパイプライン（例えば、カラーフィールドあたり）のさらに後段階における後続ＩＭＵ測定およびより小さくかつより高速のワーピングが続く、第３の実施形態を描写する。カラーフィールド毎に更新されたＩＭＵサンプルの使用（図６３に描写される第２の実施形態におけるように）は、依然として、非ゼロ時間量を所与の頭部姿勢を使用したＧＰＵ内のレンダリングイベントとディスプレイへの実際の光子衝打との間に残す。第３の実施形態では、ピクセルパイプラインは、ブリッジまたはＧＰＵ上にカスタムブロックとして常駐する。本実施形態は、大ディスプレイバッファをプロセッサコントローラ上で使用し、帯域幅を消費し得る、フレームバッファを画面更新あたり３回もＤＲＡＭから読み取る必要性を回避し得る。本実施形態はまた、データ圧縮を使用して、バッファサイズを低減させてもよい。ワーピング操作はまた、ピクセルパイプラインがブリッジ上にある場合、歪曲補償の一部であってもよい。
色ルックアップテーブル混成モード
図２６は、色ルックアップテーブル混成操作モードを実装するためのシステム２６００の例示的実施形態を図示する。システム２６００は、３／１マルチプレクサ２６４０と、１つ以上のルックアップテーブル２６５０とを含む。マルチプレクサ２６４０への入力は、画像データであって、これは、赤色、緑色、および青色フィールドを含む。画像データの各ピクセルは、８ビット赤色値２６１０と、８ビット緑色値２６２０と、８ビット青色値２６３０とを有する。これらの色値のためのビットのいくつかは、本明細書のいずれかに議論されるように、制御データを含むことができる。例えば、図示される実施形態では、カラーフィールド毎のピクセル値は、８ビットを含み、その６つの最上位ビットは、色を規定するために使用される一方、２つの最下位ビットは、制御データとして確保される。いくつかの実施形態では、制御データは、画像データの各ピクセルが対応する、深度平面（図２６では、ＲＧＢｘシーケンスと称される）を規定してもよい。
図２６に示されるように、マルチプレクサ２６４０は、３つの入力、すなわち、最上位６ビットの赤色値２６１０と、最上位６ビットの緑色値２６２０と、最上位６ビットの青色値２６３０とを受信する。マルチプレクサ２６４０は、現在のアクティブ色制御ラインを有し、これは、これらの入力のうちの１つを選択し、ルックアップテーブル２６５０に通過させるために使用される。いくつかの実施形態では、現在のアクティブ色制御ラインは、０、１、または２の値を有してもよく、これらの値はそれぞれ、３つのカラーフィールドのうちの１つに対応する。図示される実施形態では、現在のアクティブ色は、赤色である。したがって、マルチプレクサ２６４０は、最上位６ビットの赤色値２６１０をルックアップテーブル２６５０に通過させる。
現在のアクティブ色の６つの最上位ビットの受信に加え、ルックアップテーブル２６５０はまた、制御データをカラーフィールドのうちの１つ以上のものから受信する。図示される実施形態では、２つの最下位ビットの各色値は、制御データとしての役割を果たし、これらのビットは全て、ルックアップテーブル２６５０への付加的入力として通過される。ルックアップテーブル２６５０はまた、現在のアクティブ色を入力として受信する。最後に、ルックアップテーブル２６５０は、現在の深度平面を入力として受信する。いくつかの実施形態では、現在の深度平面は、制御データによって規定された３つの深度平面のうちの１つである。
ルックアップテーブル２６５０は、前述の入力の全てに基づいて、現在のアクティブ色の最終色値を規定するために使用される。図示される実施形態では、現在のアクティブ色は、赤色であって、６つの最上位ビットの赤色値２６１０と、２つの最下位ビットの赤色値２６１０と、２つの最下位ビットの緑色値２６２０と、２つの最下位ビットの青色値２６３０（すなわち、合計１２ビット）が、４キロバイトルックアップテーブル２６５０にインデックス化するために使用される。インデックス化され得る、９つのそのようなルックアップテーブル２６５０が存在する。テーブル選択は、現在のアクティブ色（３つのオプション）と、現在のアクティブ深度平面（３つのオプション）とに基づく。本アプローチは、いくつかの深度平面を横断してピクセル色の線形、カスタム、および非線形混成を可能にし、したがって、ディスプレイ６２の出力における大幅な柔軟性を提供する。
パス可能世界
図２７は、一実施形態による、ＭＲ体験を生成するための方法３７００を図式的に図示する。ステップ３７０２では、ＭＲシステムを装着しているユーザが、実際の物理的世界を動き回る。それにつれて、その個別のＭＲシステムは、画像および深度情報を捕捉する。随意に、捕捉された画像および深度情報は、画像および深度情報を捕捉時に、ＭＲシステムの位置および配向を説明する姿勢情報でタグ付けされてもよい。種々のユーザは、実際の物理的世界に対して異なる位置および配向を有するため、種々のユーザからの捕捉された画像および深度情報は、複数の位置および配向からのより正確な実際の物理的世界のより完全な表現を構築するために使用されることができる。
ステップ３７０４では、実際の物理的世界を表す捕捉された画像および深度情報から生成された「パス可能世界」が、持続的データ内に記憶される。一実施形態では、パス可能世界は、ユーザによって装着されるＭＲシステムに動作可能に結合されるサーバ上に記憶される。
ステップ３７０６では、画像データを分析し、そこからオブジェクトを識別するように構成されるソフトウェアおよび／またはアプリケーションである、「オブジェクト認識装置」が、経路可能世界を分析する。テーブル等のオブジェクトが、オブジェクト認識装置によって識別される。オブジェクト認識装置は、ＭＲシステムおよび／またはそこに接続されるサーバ上で起動してもよい。
ステップ３７０８では、ＭＲシステムおよび／またはそこに接続されるサーバは、占有されているパス可能世界の部分を決定する。例えば、テーブルが配置されている、パス可能世界の部分は、仮想オブジェクトが、パス可能世界のその部分の中にスポーンされる、すなわち、移動され、ＭＲ体験を劣化させないように、占有されるべきであると決定される。
ステップ３７１０では、ＭＲシステムおよび／またはそこに接続されるサーバは、１つ以上のメッシュを生成し、パス可能世界内のオブジェクトの表面を定義する。ステップ３７１２では、ＭＲシステムおよび／またはそこに接続されるサーバは、１つ以上の平面を形成し、パス可能世界内のオブジェクトの表面を定義する。これらのメッシュおよび平面は両方とも、より現実的ＭＲ体験を促進し、アプリケーション開発（例えば、ゲーム開発）を簡略化する。
ステップ３７１４では、ＭＲシステムおよび／またはそこに接続されるサーバは、パス可能世界（認識されるオブジェクト、占有八分木、メッシュ、および平面を含む）を種々のＭＲアプリケーションに伝送する。これらのアプリケーションは、仮想オブジェクトまたはピクセルをパス可能世界内に設置する、すなわち、「差し込む」ことを含む、種々の機能のために、パス可能世界を使用してもよい。アプリケーションはまた、パス可能世界を使用して、パス可能世界内の表面およびオブジェクトのオクルージョン、衝突、および挙動を決定してもよい。
無線データ転送
ＭＲ頭部搭載型ディスプレイ、モバイルコンピューティングサポートシステム、およびトーテムコントローラ間の無線接続は、より容易かつ自然に使用可能なＭＲシステムをもたらすであろう。しかしながら、ユーザの身体は、現在の無線コネクティビティが容認可能品質のＭＲ体験を生成するために要求されるデータの量を効果的に伝送するために、信号損失が高すぎ、および／または帯域幅が低すぎるように、無線信号を減衰させる。
データをより高い帯域幅で伝送する（例えば、ＭＲ帯域幅要件を満たすために）ためのいくつかの実施形態では、ＭＲシステムは、アンテナと、受信機と、送信機とを含み、帯域幅を増加させる。いくつかの実施形態では、ＭＲシステムは、データ圧縮を利用して、帯域幅需要を低減させる。いくつかの実施形態では、ＭＲシステムは、各主要なコンポーネント（例えば、ＭＲ頭部搭載型ディスプレイ、モバイルコンピューティングサポートシステム、および／またはトーテムコントローラ）上に分散されるＧＰＵを含む。そのような実施形態では、最小限の低ビットレートグラフィックデータ（例えば、ＯｐｅｎＧＬ）が、伝送される（圧縮の有無にかかわらず）。次いで、受信側コンポーネントは、受信された最小限の低ビットレートグラフィックデータに基づいて、画像をレンダリングする。
図２８に描写される実施形態では、ＭＲシステム３８００は、２．４ＧＨｚ高速無線リンクを含み、ＭＲシステムの種々のコンポーネント（例えば、ＭＲ頭部搭載型ディスプレイ３８０２、モバイルコンピューティングサポートシステム３８０４、およびトーテムコントローラ３８０６）間でデータを伝送する。２．４ＧＨｚ高速無線リンクは、他の無線通信リンクと比較して比較的に短待ち時間を伴って、データを伝送する（例えば、トーテムコントローラ３８０６内のＩＭＵとモバイルコンピューティングサポートシステム３８０４との間で）。ＭＲシステム３８００はまた、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＩＥＥＥ８０２．１５．１）およびＷｉＦｉ（ＩＥＥＥ８０２．１１）無線リンクを含み、種々のＭＲシステムコンポーネント間でデータを転送する３つの無線リンクをもたらす。
２．４ＧＨｚ高速無線リンクは、ＭＲ頭部搭載型ディスプレイ３８０２、モバイルコンピューティングサポートシステム３８０４、およびトーテムコントローラ３８０６のそれぞれ内の２．４ＧＨｚ高速無線リンク送受信機３８０８とともに実装される。Ｂｌｕｅｔｏｏｔｈ（登録商標）無線リンクは、ＭＲ頭部搭載型ディスプレイ３８０２、モバイルコンピューティングサポートシステム３８０４、およびトーテムコントローラ３８０６のそれぞれ内のＢｌｕｅｔｏｏｔｈ（登録商標）送受信機３８０８とともに実装される。ＷｉＦｉ無線リンクは、ＭＲ頭部搭載型ディスプレイ３８０２、モバイルコンピューティングサポートシステム３８０４、およびトーテムコントローラ３８０６のそれぞれ内のＷｉＦｉ送受信機３８１２とともに実装される。
無線送受信機の数の増加は、アンテナの数を増加させる。いくつかの実施形態では、各ＭＲシステムコンポーネント上の種々の無線送受信機（２．４ＧＨｚ高速、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ）のためのアンテナは、相互から物理的に分離され、種々の無線送受信機３８０８、３８１０、３８１２間の干渉を最小限にする。一実施形態では、アンテナは、導線をフレックス回路に追加することによって、モバイルコンピューティングサポートシステム３８０４に追加され、これは、その特定のアンテナを干渉から隔離し得る。
無線送受信機の数の増加はまた、複数のＭＲシステムが相互に近接して動作するときの干渉（例えば、周波数重複から）の尤度を増加させる。本問題に対処するための一実施形態では、各ＭＲシステムの各無線送受信機は、始動時に動作する周波数を走査し、空いている周波数を選定するように構成される。別の実施形態では、各ＭＲシステムの各無線送受信機は、他のＭＲシステム（例えば、近距離通信を使用して）とネゴシエートし、空いている周波数を選定するように構成される。さらに別の実施形態では、各ＭＲシステム上の無線送受信機のための周波数は、周波数自体がＭＲシステムに一意であるように、ＭＲシステムの一意の識別番号に基づいて、若干修正される。
周波数重複および複数のＭＲシステムとの干渉の可能性を低減させるための方法はまた、ＭＲシステムと物理的場所を有する共有リソース（例えば、部屋内の無線基地局）との間の無線通信に適用されることができる。例えば、各ＭＲシステムの各無線送受信機は、始動時に動作する周波数を走査し、無線基地局との通信のための空いている周波数を選定するように構成されてもよい。別の実施形態では、各ＭＲシステムの各無線送受信機は、無線基地局および／または他のＭＲシステムとネゴシエートし（例えば、近距離通信を使用して）、空いている周波数を選定するように構成される。さらに別の実施形態では、各ＭＲシステム上の無線送受信機のための周波数は、ＭＲシステムの一意の識別番号に基づいて、若干修正される。
時間ドメイン電力管理
さらに別の実施形態は、増加される電力消費およびプロセッササイクルに伴う、システム電力消費およびシステム加熱の関連問題に対処する。
図２９は、一実施形態による、低電力モードと通常電力モードとの間で切り替えながら、ＭＲシステムが高品質ＭＲ体験を生成するために要求されるプロセッササイクルを提供する方法４０００を図示する、フローチャートである。ステップ４００２では、ＭＲシステムは、低電力モードで動作する。本モードでは、大量のバッテリ電力を消費する多くのコンポーネントは、オフに切り替えられるか、または高速ウェイクアップオプションを伴うスタンバイモードに置かれるかのいずれかである。一実施形態では、ＭＲシステムは、ユーザがその姿勢を変化させずに机に向かって座っているとき、低電力モードである。
ステップ４００４では、低電力モードにおけるＭＲシステムは、短待ち時間通信チャネルを通して、通常プロセッサモードのための要求を受信する。例えば、ＭＲシステムは、低電力センサを使用して、ユーザの姿勢がある閾値レベルを超えて変化したことを検出してもよい。
ステップ４００６では、ＭＲシステムは、以前にオフに切り替えられた、またはスタンバイモードであったシステムコンポーネントに電源を入れることによって、通常電力モードに切り替わる。ＭＲシステムは、通常プロセッサモードのための特定の要求に基づいて、システムコンポーネントの電源投入を管理し、バッテリから引き出される総電流量およびシステムコンポーネントの電源投入によって生成される熱を制御する。
ステップ４００８では、ＭＲシステムは、システムが低プロセッサ電力モードで機能し得ることのインジケータを受信する。例えば、ＭＲシステムは、ユーザの姿勢がある閾値時間量にわたって比較的に一定のままであることを検出し得る。
ステップ４０１０では、ＭＲシステムは、低電力モードに戻る。ＭＲシステムが低電力モードで動作する時間量の増加は、バッテリ電力消費およびプロセッサ等のシステムコンポーネントによって生成される熱の両方を低減させる。
図３０は、一実施形態による、通常電力モードとバーストまたは高電力モードとの間で切り替えながら、ＭＲシステムが高品質ＭＲ体験を生成するために要求されるプロセッササイクルを提供する方法４１００を図示する、フローチャートである。ステップ４１０２では、ＭＲシステムは、通常電力モードで動作する。一実施形態では、ＭＲシステムは、仮想オブジェクトのレンダリングおよび表示等の他のＭＲシステム機能を伴わずに、ユーザがその身体および視線を偏移させるとき、通常電力モードである。
ステップ４１０４では、通常電力モードにおけるＭＲシステムは、高プロセッサモードのための要求を受信する。例えば、ＭＲシステムは、仮想オブジェクトをレンダリングおよび表示するための要求を受信し得る。
ステップ４１０６では、ＭＲシステムは、大量の電力を要求する、あるシステムコンポーネントを動作させることによって、バーストまたは高電力モードに切り替わる。ＭＲシステムは、高プロセッサモードのための特定の要求に基づいて、システムコンポーネントの第１のモードを管理し、バッテリから引き出される総電流量およびバーストモードで動作するシステムコンポーネントによって生成される熱を制御する。
ステップ４１０８では、ＭＲシステムは、システムが通常プロセッサモードで機能し得ることのインジケータを受信する。例えば、ＭＲシステムは、もはや仮想オブジェクトをレンダリングおよび表示する必要がないことを検出し得る。
ステップ４１１０では、ＭＲシステムは、通常電力モードに戻る。ＭＲシステムがバーストモードで動作する時間量の減少は、バッテリ電力消費およびプロセッサ等のシステムコンポーネントによって生成される熱の両方を低減させる。
離散結像モード
離散結像モードは、多平面を有するＭＲシステムのための具体的電力節約および熱低減モードである。離散結像モードでは、コンテンツの全部または大部分が、１つの平面上にある。離散結像モードにおけるＭＲシステムは、そのリソースに、画像を１つの平面にレンダリングおよび投影させるように指示することによって、電力を節約し、熱を低減させる。他の平面における画像は、はるかに少ない処理を伴って提示される（例えば、ぼかすことによって、更新頻度を低減させることによって、および同等物によって）。画像を単一深度平面上に提示することは、多くのプロセッササイクルを要求し得る、混成問題を低減させる。
図３１Ａは、一実施形態による、多平面表示モードと離散結像モードとの間で切り替えながら、高品質ＭＲ体験を維持する方法４２００を図示する、フローチャートである。ステップ４２０２では、ＭＲシステムは、多平面モードで動作する。多平面モードでは、ＭＲシステムは、画像を複数の深度平面上にレンダリングおよび投影させる。画像のレンダリングおよび投影は、有意な量のプロセッササイクルおよびバッテリ電力を要求し、それによって、有意な量の熱を生成する。
ステップ４２０４では、ＭＲシステムは、単一平面アクティビティのインジケータを受信する。単一平面アクティビティのインジケータとして、限定ではないが、ＭＲシステムを使用してユーザが映画が仮想画面上に表示されることを要求すること、およびＭＲシステムを使用してユーザが２Ｄアプリケーションを開くことが挙げられる。単一平面アクティビティの他のインジケータとして、限定ではないが、ユーザの視線が閾値時間量にわたって特定の平面に収束させていることを示す、眼または視線追跡結果が挙げられる。
ステップ４２０６では、ＭＲシステムは、単一平面アクティビティのインジケータの受信に応答して、離散結像モードに切り替わる。突然のモード切替アーチファクトを防止するために、ユーザの眼は、追跡され、瞬目を検出および／または予測することができ、ＭＲシステムは、瞬目の間、多平面モードから離散結像モードに変化させるように構成されることができる。ＭＲシステムは、検出または予測される眼移動（例えば、サッケード）の間、モードを変化させ、非不快遷移を生成するように構成されることができる。ＭＲシステムは、仮想オブジェクトが、システムが現在レンダリングしているものと異なる平面上に提示されるとき、眼移動を検出または予測してもよい。
ステップ４２０８では、システムは、多平面アクティビティのインジケータを受信する。多平面アクティビティのインジケータとして、限定ではないが、ユーザが閾値を上回る時間量にわたって離散結像モードの平面から目を背けていることが挙げられる。多平面アクティビティの他のインジケータとして、限定ではないが、ユーザが離散結像モードの平面上に表示されている映画またはアプリケーションが停止されることを要求することが挙げられる。
ステップ４２１０では、システムは、多平面アクティビティのインジケータの受信に応答して、多平面モードに戻る。ステップ４２０６におけるように、ＭＲシステムは、検出または予測される瞬目またはサッケードの間、モードを切り替え、非不快遷移を生成するように構成されることができる。
図３１Ｂは、別の実施形態による、多平面ディスプレイモードと離散結像モードとの間で切り替えながら、高品質ＭＲ体験を維持する方法４２００を図示する、フローチャートである。ステップ４２０２では、ＭＲシステムは、多平面モードで動作する。多平面モードでは、ＭＲシステムは、画像を複数の深度平面上にレンダリングおよび投影させる。画像のレンダリングおよび投影は、有意な量のプロセッササイクルおよびバッテリ電力を要求し、それによって、有意な量の熱を生成する。
ステップ４２０４’では、ＭＲシステムは、所定の閾値に接近しているＭＲシステムのインジケータを受信する。本願で使用されるように、ある数値閾値に「接近」するとは、限定ではないが、システム特性／統計が数値閾値の所定の量またはパーセンテージ以内にあることを含む。所定の閾値として、限定ではないが、システム温度限界およびバッテリ電力限界が挙げられる。例えば、ＭＲシステムは、システムが所定の最大温度閾値に接近または到達するとき、インジケータを受信し得る。別の実施形態では、ＭＲシステムは、システムが、所定の最小バッテリ電力閾値に接近または到達するとき、インジケータを受信し得る。閾値は、これらの閾値に到達する、またはそれを超過することが、システムを遮断させ得るほど、システム機能に重要であり得る。代替として、閾値は、システムを準最適レベルで機能させ得るステータスを示すように設定または事前決定されてもよい。
ステップ４２０６では、ＭＲシステムは、ＭＲシステムが所定の閾値に接近しているインジケータの受信に応答して、離散結像モードに切り替わる。突然のモード切替アーチファクトを防止するために、ユーザの眼は、追跡され、瞬目を検出および／または予測することができ、ＭＲシステムは、瞬目の間、多平面モードから離散結像モードに変化するように構成されることができる。ＭＲシステムは、検出または予測される眼移動（例えば、サッケード）の間、モードを変化させ、非不快遷移を生成するように構成されることができる。ＭＲシステムは、仮想オブジェクトが、システムが現在レンダリングしているものと異なる平面上に提示されるとき、眼移動を検出または予測してもよい。
ステップ４２０８’では、システムは、通常システム動作のインジケータを受信する。通常システム動作のインジケータとして、限定ではないが、システムが数値閾値の所定の量またはパーセンテージ以内のシステム特性／統計を有していないことが挙げられる。通常システム動作の他のインジケータとして、限定ではないが、システムが課金電力源に接続されていることが挙げられる。
ステップ４２１０では、システムは、通常システム動作のインジケータの受信に応答して、多平面モードに戻る。ステップ４２０６におけるように、ＭＲシステムは、検出または予測される瞬目またはサッケードの間、モードを切り替え、非不快遷移を生成するように構成されることができる。
眼／視線追跡ベースのレンダリング修正
眼および視線追跡は、オブジェクトのレンダリングを修正し、プロセッササイクルおよびバッテリ電力消費ならびに熱の生成を低減させるために使用されることができる。例えば、眼および／または視線追跡は、ユーザがそのＦＯＶ内の特定のエリアに合焦している／それを見ていることを示し、画像のレンダリングは、ユーザの焦点上に集中／中心窩化されて心合されることができる。これは、光学軸（例えば、特定の深度平面）に沿って、ＸおよびＹ方向ならびにＺ方向において行われることができる。ユーザの焦点はまた、ユーザの眼移動を予測する（例えば、深層学習ネットワークを使用して）ことによって予測されることができる。ユーザの眼移動はまた、ＭＲシステムに動作可能に結合される種々のセンサ（例えば、ＩＭＵ、マイクロホン、カメラ等）のセンサ融合を使用して予測されることができる。
一実施形態では、ＭＲシステムは、画像をユーザＦＯＶの特定の象限に中心窩化するように構成される。これは、眼および視線追跡／予測の正確度に関する需要を低減させる。前述のように、ユーザがその視線を合焦させている、特定の象限外の画像は、より少ないプロセッササイクルを要求する方法を使用してレンダリングされてもよい。
一実施形態では、中心窩化の間の鮮明なレンダリングのエリアは、より多い電力および／またはプロセッサ容量が利用可能であるとき（例えば、ＭＲシステムが、電源に接続され、プロセッサ使用が、閾値レベル下であるとき）、増加および拡充されてもよい。本実施形態は、電力を節約することと、ユーザの焦点におけるオブジェクトがＭＲシステムによって達成可能な最大レベルでレンダリングされることを確実にすることとの両方を行う。中心窩化の間の鮮明なレンダリングのエリアの増加はまた、より自然な遷移をユーザにもたらす。ＭＲシステムは、限定ではないが、眼移動の量、システム温度、ユーザ選好、および同等物を含む、他の要因に基づいて、中心窩化の間の鮮明なレンダリングのエリアを修正してもよい。
別の実施形態では、ユーザの眼の位置を予測するために使用されるモデルは、モデルがユーザの現在の焦点上に心合される中心窩化エリア内でより正確であるように修正されてもよい。中心窩化エリア外のエリアに関して、モデルは、あまり正確ではなく、さらに誤っていてもよい。
ユーザの眼は、視認ベクトルではなく、眼の回転中心の計算される場所に基づいて、追跡されることができる。眼の回転中心は、経時的に有意に変化しない。したがって、ユーザの眼の回転中心に基づく画像のレンダリングは、あまりプロセッサ集約的ではなくなり得る。
図３２は、一実施形態による、追跡および／または予測される眼または視線位置を使用して、レンダリングプロセッサ要件を低減させる方法４３００を図示する、フローチャートである。
ステップ４３０２では、ＭＲシステムは、そのユーザの眼位置を追跡および／または予測する。
ステップ４３０４では、ＭＲシステムは、追跡または予測される眼位置に基づいて、ユーザの現在の焦点を計算する。
ステップ４３０６では、ＭＲシステムは、ユーザの現在の焦点上に心合される中心窩化エリアを生成する。ＭＲシステムは、現在のシステムステータスおよび／またはユーザ選好に基づいて、中心窩化エリアを生成してもよい。
ステップ４３０８では、ＭＲシステムは、中心窩化エリア内のそれらの画像の部分が、より正確に（より高いプロセッサコストで）レンダリングされ、中心窩化エリア外のそれらの画像の部分が、あまり正確ではなく（より低いプロセッサコストで）レンダリングされるように、１つ以上の仮想画像をレンダリングする。
ステップ４３１０では、ＭＲシステムは、レンダリングされた仮想画像をユーザに表示する。
場面拡張
図３３は、３Ｄ場面１を描写し、ＡＲ／ＭＲシステム内で使用されるような実世界場面と併せて場面拡張を示す。オプションとして、３Ｄ場面１またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。
図３５に示される実施形態は、単に、一実施例である。示されるように、３Ｄ場面１は、キャラクタ２の形態における場面拡張８を含む。キャラクタ２は、深度を含む、３次元を有するように描写される（すなわち、キャラクタ２は、複数の深度平面を通して通過するように配向される）。本明細書で議論される技法のいくつかは、グラフィックプロセッサと併せて知覚プロセッサ／ＣＶＰＵの使用を含み、深度の知覚をシミュレートする。本明細書で議論される実施形態のいくつかは、深度に関する側面を表示またはシミュレートする際に使用される深度平面の高速および低電力管理を伴う。より具体的には、深度に関する側面を表示またはシミュレートすることを含む、場面拡張は、可能性として、以下の図に描写されるように、付加的モジュールを含む、頭部搭載型ディスプレイ（ＨＭＤ）によって実装されることができる。
いくつかの実装では、前述のプロジェクタは、複数の平面から形成され、それぞれ、対応する深度平面と関連付けられる。深度平面は、種々の構成において編成されることができ、そのうちの１つが、図３４に関して図示および議論される。
瞳孔追跡に基づく深度平面切替
図３４は、ＶＲ／ＡＲ／ＭＲシステムを実装するコンポーネント内で使用されるような連続的により離れる深度平面４５００（ユーザから１ジオプタ～６ジオプタ離れる）の編成を描写する。オプションとして、深度平面４５００またはその任意の側面の１つ以上の変形例が、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。
ディスプレイユニット８１は、画像をユーザに提示するために使用される。画像は、場面拡張を含み得、これは、順に、３次元であるように現れる、１つ以上のキャラクタまたはオブジェクトを提示し得る。ＶＲ／ＡＲ／ＭＲとの任意のセッションの間、ユーザは、１つまたは別の深度平面に比較的により関心がある、または比較的にあまり関心がない場合がある。例えば、ユーザは、前景画像内の微細な特徴に関心があり、可能性として、背景画像に無関心である場合がある。ある場合には、特定の深度平面に関するユーザの関心レベルが、検出されることができる（例えば、示されるように、瞳孔配向検出器４５０２によって）。関心は、前景（または任意の他の深度平面）に意図的に維持されることができ、および／または深度平面は、瞳孔移動に適応し、および／またはそこから推定するように、意図的に処理されることができる（例えば、ブランキングされる、ぼかされる、色不飽和化される等）。ある場合には、関心／無関心の検出および／または関心／無関心の推定ならびに／もしくは明示的コマンドによって、１つ以上の深度平面は、多くのフレームに及ぶパターン内でディスエーブルにされる、または別様に制御されることができる。深度平面切替技法の一実施例は、以下のように与えられる。
図３５は、低電力ＶＲ／ＡＲ／ＭＲシステムを実装するために使用される深度平面切替技法４６００を描写する。オプションとして深度平面切替技法４６００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。２つ以上の深度平面間で切り替えるための深度平面切替技法４６００またはその任意の側面は、任意の環境内に実装されてもよい。
示されるように、フローは、ステップ４６０２から開始し、各平面のコンテンツ（該当する場合）を決定する。ステップ４６０４は、瞳孔配向を決定し、その後、ディスプレイアプリケーションまたはサービスは、深度平面情報と瞳孔情報を組み合わせ、切替パターンをディスプレイの平面に適用する（ステップ４６０８）前に、切替パターンを自動的に決定する（ステップ４６０６において）。厳密には、一実施例として、１つの深度平面が、ブランキングされることができる。別の実施例として、複数の深度平面が、ブランキングされることができる。さらに別の実施例として、表示されるフレームのシーケンスの表示またはブランキングは、個々に、自動切替パターンによって制御されることができる。
多くの場合、切替パターンは、３０フレーム／秒、または６０フレーム／秒、もしくは３６０の個々に制御可能なフレーム／秒の総レートになる、６つの平面毎に６０フレーム／秒等の高速で動作する。故に、切替パターンを実装するためのある技法は、比較的により適切であって、その他は、あまりそうではない。少なくとも、高速切替および低電力消費の目的のために、アナログスイッチの集合は、高速切替シーケンスにおいて個々の深度平面をオンまたはオフに個々に切り替える役割を果たす。
深度平面切替の一般的アプローチに関するさらなる詳細は、「ＳＥＰＡＲＡＴＥＤ ＰＵＰＩＬ ＯＰＴＩＣＡＬ ＳＹＳＴＥＭＳ ＦＯＲ ＶＩＲＴＵＡＬ ＡＮＤ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＤＩＳＰＬＡＹＩＮＧ ＩＭＡＧＥＳ ＵＳＩＮＧ ＳＡＭＥ」と題され、２０１６年５月４日に出願された米国出願第１５／１４６，２９６号（弁理士整理番号第ＭＬ．２００５８．００号）（参照することによってその全体として本明細書に組み込まれる）に説明される。
低電力深度平面切替
図３６は、低電力深度平面切替技法４７００をＶＲ／ＡＲ／ＭＲシステム内に実装するためのアナログスイッチ４７０８の使用を描写する。オプションとして、低電力深度平面切替技法４７００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。低電力深度平面切替技法４７００またはその任意の側面は、任意の環境内に実装されてもよい。
示されるように、ディスプレイユニット８１は、１つ以上のディスプレイ平面８２から成る。１つ以上のディスプレイ平面８２のうちの各個々の１つは、任意の個々の深度平面を個々にブランキングする（例えば、オフにする）、または不飽和化または暗化させる（例えば、電力を低減させる）ように、個々に制御されることができる。事変スイッチ設定のセットが、アプリケーションまたはサービス４７１２によって決定されることができる。アプリケーションまたはサービス４７１２は、順に、アナログスイッチ４７０８に送達されるための（経路４７１１を介して）動的に決定されたスイッチパターンの形成を実装することができる。
切替パターンは、少なくとも部分的に、一連の決定によって定義されることができる。示されるように、そのような決定は、動的に決定されたスイッチパターンを形成するとき、深度平面を並べ替える、深度平面をブランキングする、１つ以上のフレームをスキップする、１つ以上のフレームをスワッピングする、および／またはカラーシーケンスを実施することを含み得る。そのようなブランキングまたはスキップまたはスワッピングまたは並換または色毎のシーケンス化は、より心地良くかつより現実的場面拡張を送達する役割を果たすことができる（例えば、視覚的シーケンスにおいて可視の割れなく、または減衰された割れを伴って）。フレームシーケンスのための１つ以上の平面のスキップもまた、より心地良くかつより現実的場面拡張を送達するために使用されることができる。
複数の実装構成
ＬＥＤの多重化（「ＭＵＸ」）を利用するための１つの方法は、１つのＲＢＧドライバおよび時間ドメインＭＵＸを使用し、前述のアナログスイッチを使用して、２つの深度平面間で切り替えることである。これは、非常に高速の切替をサポートし、また、データが特定の平面に存在しない場合、レーザを自動的にディスエーブルにすることができる。別の方法は、「カラーシーケンシャル」パターンを実装することである。ＲＧＢ平面１を表示し、次いで、ディスプレイＲＧＢ平面２を表示し、以降同様に続くのではなく、Ｒ、Ｇ、次いで、Ｂをフラッシングすることが可能である。時間ＭＵＸアプローチを使用して、スワッピングし、カラーシーケンシャル操作を行うことが可能である。本技法は、ユーザがその頭部を移動させるにつれて、（例えば）平面１と平面２との間の色分離を低減させる。フレーム毎のカラーシーケンシャルカラースワッピングを促進するように、スワッピング命令をフレームデータの中にコード化することが可能である。
いくつかの実施形態は、空平面上のＬＥＤを遮断する。これは、コントラストを改良し、電力を節約する役割を果たすことができる。これらの技法は、（１）ＬＥＤの選択的遮断および（２）シーケンスフレームと併用されることができる。
実施例として、３つの深度平面を有するフレームおよび１つの深度平面のみを有する次のフレームを検討する。本状況は、必要ない機能性を遮断することによって制御されることができる（例えば、電力、コントラスト損失等）。これは、８０または９０バイトの制御情報が、パケットの中にエンコードされ、ディスプレイと同期するために使用される、「最初の行パケット」を使用して、フレーム毎に制御されることができる。
一実装では、管理プロセッサは、ヘッドセットを通したベルトパック接続へのピンポン数を低減させるように、制御データを直列化するために使用される。そのような直列化は、より長いケーブルが、低電圧差シグナリング（ＬＶＤＳ）を使用して、増加される雑音耐性および信号完全性を送達することをサポートする。
付加的深度平面処理
画像データの時間ＭＵＸは、興味深い効果をもたらす。１つの深度平面、次いで、別の深度平面、次いで、別の深度平面等を送信するときに生じる、短バーストから成る、「時間的ライトフィールド」を作成することが可能である。さらにより興味深いことに、カラーシーケンシャルディスプレイ（第１の平面のためのＲ、Ｇ、次いで、Ｂ、次いで、第２の平面のためのＲ、Ｇ、次いで、Ｂ）を使用するとき、切替が高速であるほど、ユーザによって気付かれることになるフレーム毎の割れは、少なくなる。
超高速切替を遂行するために、頭部位置データは、深度平面情報が提供されるにつれて、ＧＰＵ内でリアルタイムに更新されることができる。例えば、姿勢情報が、フレーム行データ（例えば、データの最後の行）の中にエンコードされることができる。したがって、ディスプレイコントローラは、ワーピングをローカルで処理することができる。さらに、ＧＰＵは、ディスプレイデータ、すなわち、（１）一度に１つの色および（２）一度に１つの深度平面を送信するように構成されることができる。待ち時間は、ヒト知覚を超えて有意に低減または排除される。したがって、リアルタイム姿勢データは、ディスプレイコントローラに、リアルタイムで調節するようにコマンドするために使用されることができる。例えば、ＲＧＢデータの１つの特定の平面を処理するとき、変換調節は、他の平面から独立して、ワーピングをそのデータに実施することができる。また、フィールドシーケンシャル順序でディスプレイピクセルに向かって生じるように、着信データを並べ替えることが可能である。２つ以上の深度平面の適合が、前述を使用して効率的に遂行されることができる。ある場合には、画像および制御データは、並べ替えるために必要とされる一時的記憶および帯域幅を低減させるように圧縮される。
図３７は、ＶＲ／ＡＲ／ＭＲシステム内で使用されるようなフレーム毎低電力深度平面切替技法４８００を実装するためのアナログスイッチの使用を描写する。オプションとして、技法４８００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。技法４８００またはその任意の側面は、任意の環境内に実装されてもよい。
高速切替は、アナログスイッチ４７０８を使用して実装されることができる。深度平面ブランキング命令のシーケンスを保持するためのフレーム毎バッファが、時系列先入れ先出し（ＦＩＦＯ）バッファまたは循環バッファまたは一連のメモリ場所もしくはレジスタとして実装されることができる。故に、示されるように、切替パターン（例えば、切替パターン４８１００、切替パターン４８１０１、および切替パターン４８１０２）が、一連のフレームにわたって適用されることができる。さらに、任意の所与のフレームは、各個々の深度平面に関する関連付けられたブランキング命令のセットを有することができる。
示されるように、値（例えば、ブランキングビット値、色または輝度ビットフィールド値等）が、６つの深度平面（例えば、ＤＰ１、ＤＰ２、ＤＰ３、ＤＰ４、ＤＰ５、およびＤＰ６）のための切替パターンを実装するために使用される。より具体的には、各フレームクロック（例えば、フレームクロックの正の縁またはフレームクロックの負の縁上）を用いて、次の値のセットが、所望のブランキングおよび／または色または輝度変化等を生産するように、アナログスイッチの制御端末上にロードされることができる。
いくつかの状況では、アプリケーションまたはサービス（例えば、アプリケーションまたはサービス４７１２）は、ウインクまたは瞬目検出に基づいて、ブランキングを実装することができる。
図３８は、低電力ＶＲ／ＡＲ／ＭＲシステム内にフレーム毎ウインクまたは瞬目イベント深度平面切替技法４９００を実装するためのアナログスイッチの使用を描写する。オプションとして、技法４９００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。技法４９００またはその任意の側面は、任意の環境内に実装されてもよい。
知覚プロセッサ／ＣＶＰＵ８５は、ウインクイベントの開始および終了（４９０６において）および／または瞬目イベントの開始および終了（４９０４において）を決定することができる。ウインクまたは瞬目イベントの間、切替パターンが、ディスプレイの左側またはディスプレイの右側のいずれかまたは両方が、個別のイベントの間、ブランキングされる（例えば、オフにされる）ように確立されることができる（例えば、値を設定またはクリアすることによって）。一連の個々の切替値は、複数のフレームに及ぶ切替パターンを形成するために確立されることができる。例えば、ユーザの眼が、閉鎖されると、視覚的情報を感知しないため、ディスプレイは、ＡＲ体験から注意を逸らすことなく、オフにされることができる。本周期の間のディスプレイのオフは、電力を節約することができる。ある場合には、ディスプレイユニットは、２つのコンポーネント、すなわち、（１）実際の光の生成を実施する、第１のコンポーネントと、（２）第１のコンポーネントのオン／オフ状態を制御する、第２のコンポーネントとにパーティション化されることができる。
６連射実施形態
図３９は、低電力ＶＲ／ＡＲ／ＭＲシステム内に表示技法を実装するための６連射アーキテクチャの使用を描写する。６連射アーキテクチャは、３つの異なる色（例えば、Ｒ、Ｇ、Ｂ）の３つのエミッタおよび２つのフレームのシーケンスと組み合わせて使用されることができる。フレームは、第１のフレーム内の任意の特定のピクセルが６連射の要素と関連づけられ得、第２のフレーム内の任意の特定のピクセルが６連射の異なる要素と関連づけられ得るように、シーケンス化されることができる。故に、６連射は、６つの独立して制御可能エミッタを制御する。
いくつかの実施形態は、２×Ｒ、２×Ｇ、および２×Ｂエミッタ（例えば、異なる方向においてパネルからバウンスする６つのＬＥＤエミッタ）が存在するようなエミッタの編成に依拠する。混成可変焦点技法を実施するとき、連続フレーム順序は、深度平面１に、次いで、深度平面２に進む、｛ＲＧＢ、ＲＧＢ｝である。いくつかの実施形態では、それらの２つの平面にわたるエミッタの隔離制御が存在する。したがって、同一フレームバッファを全て同一ピクセル｛ＲＧＢ、ＲＧＢ｝を有する各深度平面に送達し、次いで、基盤フィールドの明度を変調させることが可能である。したがって、エミッタの隔離された制御を用いると、例えば、両方のＲエミッタを時間を合わせてフラッシングするとき、一方では、暗い反射がレンダリングされ、他方では、明るい反射がレンダリングされるという結果になる。多くの場合、６連射は、連続して発射し、パネルからの放出角を使用して、それを導波管の中に送信する。改良されたアプローチ（例えば、混成可変焦点モード）では、同一ＲＧＢが、両平面の中に送信され、ピクセルアレイは、依然として、同一であって、ＬＥＤの明度（差動照明）が、ディスプレイがより暗くなる（またはそうではない）ように調節される。例えば、前述の技法を使用すると、５０％の明るさが、正面に送信され、５０％の明るさが、背面に送信される（同一フレームデータを使用して）。深度混成は、ＬＥＤ強度を変動させることによって遂行される。離散可変焦点を使用すると、ピクセルは全て、平面１および平面２上で同一であって、フレームバッファ全体が、それらの２つの平面を横断して混成され、したがって、そのような技法を用いることで、別個のフィールドをワーピングさせる必要がない。これは、ハードウェア内に実装され、多くの変形例または状況（例えば、非シーケンシャルディスプレイ、Ｒ１およびＲ２が同一ではない、および／または偏移される変形例等）を網羅することができる。
６連射を作製および使用する一般的アプローチに関するさらなる詳細は、「ＳＥＰＡＲＡＴＥＤ ＰＵＰＩＬ ＯＰＴＩＣＡＬ ＳＹＳＴＥＭＳ ＦＯＲ ＶＩＲＴＵＡＬ ＡＮＤ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＤＩＳＰＬＡＹＩＮＧ ＩＭＡＧＥＳ ＵＳＩＮＧ ＳＡＭＥ」と題され、２０１６年５月４日に出願された米国出願第１５／１４６，２９６号（弁理士整理番号第ＭＬ．２００５８．００号）（参照することによってその全体として本明細書に組み込まれる）に説明される。
低電力短待ち時間ヘッドセット
図４０は、ＶＲ／ＡＲ／ＭＲシステム内で使用されるような低電力短待ち時間ヘッドセットアーキテクチャ５１００を描写する。オプションとして、低電力短待ち時間ヘッドセットアーキテクチャ５１００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。低電力短待ち時間ヘッドセット５１００またはその任意の側面は、任意の環境内に実装されてもよい。
示される低電力短待ち時間ヘッドセットアーキテクチャ５１００は、ウェイクオンコマンド能力を実装するために使用されることができる。具体的には、示されるように、知覚プロセッサまたはＣＶＰＵ８５は、キーワードがウェイクオンコマンド能力にマッピングされる、記憶されたキーワードのセットにアクセスすることができる。ユーザが、ウェイクオンコマンドキーワード（例えば、「Ｗａｋｅ－ｕｐ」、「Ｈｅｙ Ｃｏｍｐｕｔｅｒ」等）のうちの１つを発声すると、ＣＶＰＵ８５は、発声を検出し、それをウェイクオンコマンドキーワードとして分類し、ウェイクオンコマンドキーワードコードを、可能性として、インタラプトコマンド５１０８とともに、ベルトパックに送信することができる。ベルトパックが、スリープ状態または休止状態または他の低電力スタンバイモードにある場合、前述のインタラプトの発生が、キーワードコードと組み合わせて、ベルトパックをウェイクアップさせるであろう。
本電力短待ち時間データフローを遂行するための１つの方法は、キーワード検出（例えば、キーワード検出５１０２を介して）および分類を、ベルトパックではなく、ヘッドセットに位置付けることである。このように、ベルトパック内の機能（例えば、ソフトウェア）は、ウェイクアップコマンドの受信（例えば、ベルトパックによって）に応じて終了され得る、低電力モード（例えば、スリープまたは静止するが、オフモードではない）を開始することができる。そのような低電力または非常に低電力スリープまたは休止モードは、ウェイクアップコマンドのヘッドセット検出に続く任意の瞬間にウェイクアップされ得ることを予期して開始されることができる。
一実装では、ＣＶＰＵ８５は、オーディオプロセッサ８７と通信し、これは、順に、示されるように、１つ以上のマイクロホンに接続される。ＣＶＰＵ８５および／またはオーディオプロセッサ８７は、発声（例えば、マイクロホンを通して受信され、オーディオプロセッサによって処理されるように）とキーワード記憶装置５１０４内のエントリを比較するように、キーワード記憶装置５１０４にアクセスすることができる。示されるように、キーワード記憶装置５１０４は、単一単語の形態におけるエントリを含むが、しかしながら、キーワードは、キーフレーズであることもできる。キーワード記憶装置５１０４は、発声とキーワードエントリのうちの１つ以上のものとの間の合致を促進するように、サンプリングされたデータおよび／または音素データならびに／もしくは任意のエンコードされたデータを含むことができる。合致に応じて、キーワードコード５１０６（例えば、１、２、３等）は、ベルトパックに送信され、それをその休止または他の低電力状態からウェイクアップさせることができる。本実施形態では、キーワードまたはキーフレーズに関する合致は、非常に短時間以内（例えば、いくつかのキーワードに関しては百ミリ秒以内または他のキーワードまたはキーフレーズに関しては数百ミリ秒以内）に行われることができる。
図４１は、ＶＲ／ＡＲ／ＭＲシステム内で使用されるような短待ち時間低電力フローの２つのシーケンスを描写する、比較チャート５２００である。オプションとして、比較チャート５２００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。比較チャート５２００またはその任意の側面は、任意の環境内に実装されてもよい。
図４１に描写されるように、第１のシーケンス（例えば、ＣＯＭＭＳ＃１）の動作および決定は、第２のシーケンス（例えば、ＣＯＭＭＳ＃２）の動作および決定と比較して、比較的により長い待ち時間およびより高い電力動作を呈する。第１のシーケンスは、発声を検出する（例えば、前述のマイクロホンのいずれかを使用して）ことによって開始する（ステップ５２１０において）。次いで、発声の音のサンプルが、処理のために（例えば、発声がキーワードであったかどうかを検出するために）、ベルトパックに送信される（ステップ５２１２において）。ベルトパック上のプロセッサが、発声がキーワードであったことを決定する場合（決定５２１４において）、ウェイクアップ動作が、開始される（ステップ５２１６において）。発声の音のサンプルをパッケージングし、次いで、音のパッケージングされたサンプルをヘッドセットからベルトパックに通信することは、時間ならびに電力がかかる。
発声を処理し、ウェイクアップ動作を開始することは、ヘッドセットドメイン内で排他的に行われることができる（図４１および図４０のＣＯＭＭＳ＃２に示されるように）。より具体的には、第２のシーケンスは、発声を検出する（例えば、前述のマイクロホンのいずれかを使用して）ことによって開始する（ステップ５２０２において）。次いで、発声の音のサンプルが、発声の音をベルトパックに送信せず、ヘッドセットにおいてローカルで処理され、発声がキーワードであったかどうかを検出する（ステップ５２０４において）。ヘッドセット上のプロセッサが、発声がキーワードであったことを決定する場合、インタラプトコマンドが、送信され（ステップ５２０６において）、ベルトパックにおいてウェイクアップ動作を開始させる（ステップ５２０８において）。したがって、これは、発声の瞬間とウェイクアップコマンドを開始する瞬間との間の比較的により短い待ち時間をもたらす。また、第２のシーケンスは、第１のシーケンスのより高い電力動作５２２２と比較して、より低い電力動作５２２０をもたらす。
低電力短待ち時間移動予測
図４２は、移動予測をＶＲ／ＡＲ／ＭＲシステムのヘッドセットコンポーネントに送達するためのＶＲ／ＡＲ／ＭＲシステムブロック図５３００である。オプションとして、ＶＲ／ＡＲ／ＭＲシステムブロック図５３００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。ＶＲ／ＡＲ／ＭＲシステムブロック図５３００またはその任意の側面は、任意の環境内に実装されてもよい。
多くのＶＲ／ＡＲ／ＭＲシステムでは、ユーザ移動、特に、ユーザの頭部移動が、検出される（例えば、加速度計を使用して）。場面拡張の変化は、移動の本質に基づいてスケジューリングされる。ある場合には、前述の場面拡張変化スケジューリングは、比較的に長い時間周期（例えば、約１秒～数秒）に及ぶ。平滑表示および現実性を改良するために、検出され（ステップ５３０２において）、前述の場面拡張において使用される、頭部移動の開始を含む、移動が、スケジューリングを変化させる。ある場合には、頭部（または眼）移動（例えば、移動イベント５３０４）の初期測定が、予測器（例えば、予測エンジン５３０８）と併用され、頭部または眼がある将来的瞬間に存在するであろう場所の一連の予測（例えば、一連の移動予測５３１２）を生成することができる。多くの場合、非常に短期間の予測は、実際の移動に対して非常に正確である（例えば、わずか数ミリ秒の誤差以内）が、しかしながら、時間が進行するにつれて、誤差は、ますます大きくなる傾向にあり、拡張する誤差錐体５３１０をもたらす。ある時点で、誤差は、予測が「誤っている」または「有用ではない」と見なされ得るほど十分に大きくなり、新しい予測が、その時点の頭部移動イベントに基づいて行われる必要がある。移動イベントの検出と、移動予測が対応する画像変換のためにヘッドセットに送達され得る時間との間の時間は、画像変換が「遅れている」または「同期していない」と見なされるほど十分に長くなり得る。同期される画像変換のための頭部移動を取り扱うための別の方法は、以下の段落に与えられる。
図４３は、ＶＲ／ＡＲ／ＭＲシステムのヘッドセットコンポーネント内のローカル予測エンジンを示す、ＶＲ／ＡＲ／ＭＲシステムブロック図５４００である。オプションとして、ＶＲ／ＡＲ／ＭＲシステムのブロック図５４００の１つ以上の変形例またはその任意の側面は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。ＶＲ／ＡＲ／ＭＲシステムブロック図５４００またはその任意の側面は、任意の環境内に実装されてもよい。
本実施形態は、移動イベント５３０４を検出し、移動イベントを、ヘッドセットのローカルにある知覚プロセッサ／ＣＶＰＵ８５に送達する。示されるように、知覚プロセッサ／ＣＶＰＵ８５は、ローカル予測エンジン５４０２を含む。したがって、移動イベントと、変換調節を駆動するために使用され得る一連の移動予測の開始との間の待ち時間は、非常に短い。変換調節５３０６は、移動予測５３１２Ｆと調節パラメータ５４０４の組み合わせに基づいて行われることができる。
図４４は、ＶＲ／ＡＲ／ＭＲシステム内で使用されるようなローカル予測エンジンの性能を比較するための比較チャート５５００である。オプションとして、比較チャート５５００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。比較チャート５５００またはその任意の側面は、任意の環境内に実装されてもよい。
比較チャート５５００は、ある時間スケールにわたって動作を比較することによって、待ち時間を評価するために使用されることができる。示されるように、第３のシーケンス（例えば、ＣＯＭＭＳ＃３）の動作および決定は、頭部移動を検出することによって開始し（ステップ５５１０において）、次いで、移動データを遠隔予測エンジンに送信する（ステップ５５１２において）。ベルトパックでは、移動予測が、行われ（ステップ５５１４において）、次いで、変換調節がヘッドセットにおいて行われるために（ステップ５５１８において）、ヘッドセットに送信される（ステップ５５１６において）。
厳密には、実施例として、以下の表は、変換の選択および個別の誤差タイプを提示する。ワーピング変換／補正誤差タイプは、全てのディスプレイ平面を横断した輻輳・開散運動および遠近調節を含む。回転変換／補正誤差タイプは、全てのディスプレイ平面を横断したパンを含む。仰角変換／補正誤差タイプは、全てのディスプレイ平面を横断した視座および遠近調節を含む。
比較のために、第４のシーケンス（例えば、ＣＯＭＭＳ＃４０）の動作および決定もまた、頭部移動の検出から開始し（ステップ５５０２において）、そのイベントは、ローカル予測エンジンにおいて直ちに利用可能になり（ステップ５５０４において）、そこで、時間頭部移動予測が、ローカル予測エンジンによって行われることができ（ステップ５５０６において）、これは、順に、移動予測５３１２と調節パラメータ５４０４の組み合わせに基づく画像変換を開始することができる（ステップ５５０８において）。
第３のシーケンスを特徴付ける、より長い待ち時間およびより大きい誤差動作５５２２は、第４のシーケンスのより短い待ち時間より小さい誤差動作５５２０と比較されることができる。
色補正
先に示されたように、変換調節５３０６は、移動予測５３１２と調節パラメータ５４０４の組み合わせに基づいて行われることができる。さらに、変換調節５３０６は、予測される色変化と組み合わせて、移動予測５３１２に基づいて行われることができる。例えば、部屋内の場面等の実世界画像にわたって場面拡張を生産するとき、ユーザは、その頭部を移動させ、部屋の比較的に暗いエリアから部屋の比較的により明るいエリアに焦点を変化させ得る。故に、変換調節５３０６は、計算される調節が、予測される頭部移動および予測される頭部位置の時点においてフレーム内に存在するであろう実世界場面の採光条件に対して実施されるように、採光調節、コントラスト調節、色調節等を含むことができる。ユーザ焦点の正確な予測は、正確なレンダリングを促進し、および／または誤った／破棄された採光レンダリングを排除し、したがって、ユーザ体験から注意を逸らすことなく、電力を節約することができる。
他の実施形態
加速度計は、センサ融合データを内蔵プロセッサに提供し、これは、センサ融合、ディスプレイ調節、および同等物のために、移動更新をローカルプロセッサに送信することができる。前述は全て、ローカルで、すなわち、ディスプレイ／ヘッドセットにおいてすぐに行われることができる。単なる付加的実施例として、ディスプレイ調節は、ディスプレイ（例えば、ＬＣＯＳ）に非常に近接して（例えば、かつ遠位ベルトパックからの関与に依拠せず）、ワーピング、変換、および同等物を含むことができる。そのようなアプローチは、遠隔コンポーネントへ／からの待ち時間を低減させる。待ち時間は、望ましくなく、画像処理ブロックをディスプレイ／ヘッドセットの近位に位置させることが改良するための方法である。
低電力側チャネル
図４５はＶＲ／ＡＲ／ＭＲシステム内で使用されるような低電力側チャネルを示す、システムブロック図５６００である。オプションとして、システムブロック図５６００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。システムブロック図５６００またはその任意の側面は、任意の環境内に実装されてもよい。
示されるように、ローカル処理モジュール７０は、経路７６を経由して、遠隔処理モジュール７２と通信することができる。いくつかの実施形態では、経路７６は、ＵＳＢ５６０１として示される、ユニバーサルシリアルバス（ＵＳＢ、ＵＳＢ２、ＵＳＢ３、ＰＣＩＥ等）として実装される。ＵＳＢ５６０１経路は、高帯域幅を提供し、したがって、ローカル処理モジュール７０、遠隔処理モジュール７２のいずれか、または両方の多くの構成コンポーネントによって使用される。当業者は、ＵＳＢ５６０１経路が比較的に高電力量を要求することを観察するであろう。また、当業者は、ＵＳＢが高帯域幅であることが先験的に公知であるため、多くの場合、多くの使用に適応するために依拠され、そのうちのいくつかが正確に予測されることができないことを観察するであろう。したがって、ＵＳＢ５６０１経路は、データの輻輳に悩まされ得る。そのような状況では（例えば、大パケットまたは大シーケンスのデータがＵＳＢ５６０１経路を経由して伝送されているとき）、他の小さいが可能性として高優先順位の通信が、輻輳する。本実施形態では、代替経路が、ローカル処理モジュール７０と遠隔処理モジュール７２との間に提供される。そのような代替経路は、それぞれ、ローカル処理モジュール７０および遠隔処理モジュール７２に接続されるコンポーネントを使用して構築されることができる。具体的には、代替経路は、ローカル処理モジュール７０の汎用入力／出力（ＧＰＩＯ）ブロックの少数のピンと、遠隔処理モジュール７２のＣＰＵまたは周辺機器の少数のピンとを使用して構築されることができる。より具体的には、シリアル周辺相互接続（ＳＰＩ）の形態における代替経路は、ローカル処理モジュール７０のＧＰＩＯブロックの少数のピンと、遠隔処理モジュール７２のＣＰＵまたは周辺機器の少数のＪＴＡＧピンとを使用して構築されることができる。
そのようなＳＰＩ５６０４の存在は、ＵＳＢ５６０１経路またはＳＰＩ５６０４経路のいずれも、常時、動作可能である必要がないことを意味する。ＳＰＩ５６０４およびＵＳＢ５６０１は、多重化され、および／またはそれぞれ、１つ以上のモードベースの方式に従って、オンもしくはオフにされることができる。そのようなモードベースの方式は、以降に図示および説明されるような論理フローにおいて実装されることができる。
図４６Ａ、図４６Ｂ、および図４６Ｃは、それぞれ、ＶＲ／ＡＲ／ＭＲシステム内の低電力側チャネルを使用するためのモードベースのフロー５７００Ａ、５７００Ｂ、５７００Ｃを描写する。オプションとして、モードベースのフロー５７００Ａ、５７００Ｂ、５７００Ｃまたはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。モードベースのフロー５７００Ａ、５７００Ｂ、５７００Ｃまたはその任意の側面は、任意の環境内に実装されてもよい。
図４６Ａのフロー５７００Ａは、モードを検出することによって開始する（ステップ５７０８において）。検出されたモードに基づいて、ＵＳＢ経路が全体または部分的にディスエーブルにされ得るかどうかの決定が行われることができる（決定５７１０において）。次に、ＵＳＢ経路の能力がディスエーブルにされ得るかどうかの決定が行われることができる（決定５７１２において）。例えば、ＵＳＢ動作のある側面は、ディスエーブルにされることができる一方、その他は、イネーブルのままである。１つの具体的実施例として、ＵＳＢ経路は、リピータを含み得る。（例えば、静止または低帯域幅動作の周期の間）リピータは、その時点では不必要であって、したがって、低電力リピータモードまたはパススルーモードにおける動作のために検討され得ることが可能性として考えられる。
モードベースの方式の観察において、少なくともいくつかのＵＳＢモードがディスエーブルにされるべきであることが決定されると、ＧＰＩＯピン（例えば、ＧＰＩＯブロック５６０２のＧＰＩＯピン）およびＪＴＡＧピン（例えば、管理プロセッサのＪＴＡＧピン５６０６）は、ＳＰＩ経路（例えば、ＳＰＩ５６０４経路）を経由してシリアル通信を実施するために使用されることができる（ステップ５７１４において）。いったんＳＰＩ５６０４経路を経由したシリアル通信が、可能であることが確認されると、適用可能なＵＳＢモードは、ディスエーブルにされる。ＵＳＢ経路は、任意の時点で再度イネーブルにされることができる。
ここで図４７Ｂのフロー５７００Ｂを参照すると、いくつかの状況では、ＧＰＩＯピンがすでにある他の目的のために使用されている状態が起こり得る。故に、シリアル通信のためのＧＰＩＯピンの使用は、ピンの再構成の再マッピングを要求し得る。そのような決定は、ステップ５７１８において行われ、次いで、ステップ５７２０において作用されることができる。より具体的には、モードベースの方式の観察において、少なくともいくつかのＵＳＢモードがディスエーブルにされるべきであることが決定されると、ＧＰＩＯピンおよびＪＴＡＧピンは、ＳＰＩ経路（例えば、ＳＰＩ５６０４経路）を経由して、シリアル通信を実施するように構成されることができる。いったんＳＰＩ５６０４経路を経由したシリアル通信が、可能であると確認されると、適用可能なＵＳＢモードは、ディスエーブルにされる（ステップ５７１６において）。ＵＳＢ経路は、任意の時点で再度イネーブルにされることができる。
ここで図４７Ｃのフロー５７００Ｃを参照すると、いくつかの状況では、ＧＰＩＯピンがある他の目的のために現在使用中であって、ＧＰＩＯピンへの相互に排他的アクセスの必要性を設定している状態が起こり得る。故に、シリアル通信のためのＧＰＩＯピンの使用は、相互に排他的アクセスのために管理され得る。ＭＵＴＥＸが、提供される（ステップ５７２２において）。そのようなＭＵＴＥＸへのアクセスは、許可をもたらし得（ステップ５７２４において）、その後、図４６Ｃおよび４６Ｂの論理が、検出されたモードのこれから開始される動作方式のためのピンの再構成の再マッピングを開始することができる。モードベースの方式の観察において、少なくともいくつかのＵＳＢモードがディスエーブルにされるべきであることが決定されると、ＧＰＩＯピンおよびＪＴＡＧピンは、ＳＰＩ経路（例えば、ＳＰＩ５６０４経路）を経由して、シリアル通信を実施するように構成されることができる。いったんＳＰＩ５６０４経路を経由したシリアル通信が、可能であることが確認されると、適用可能なＵＳＢモードは、ディスエーブルにされる（ステップ５７１６において）。ＵＳＢ経路は、任意の時点で再度イネーブルにされることができる。
前述の管理プロセッサは、ＪＴＡＧインターフェースを伴う既製品プロセッサとして提供される、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）内に実装されることができる。より具体的には、ＪＴＡＧインターフェースは、ＪＴＡＧ（ＩＥＥＥ１１４９．１）に定義されるような信号ピンを含む。そのようなＪＴＡＧピンは、ＴＤＩ（試験データ入力）、ＴＤＯ（試験データ出力）、ＴＣＫ（試験クロック）、ＴＭＳ（試験モード選択）、ならびにＴＲＳＴ（試験リセット）等の随意のピンを含むことができる。ＪＴＡＧピンは、当該分野で公知のＧＰＩＯピンから制御するからことを含む、任意の公知の手段によって制御されることができる。
低電力側チャネルの１つの具体的実装は、ＦＰＧＡおよびＧＰＩＯを使用する。
複数の実装構成
前述のＳＰＩ接続は、ベルトパックプロセッサ上のＵＳＢの全部または一部、ウェアラブルプロセッサ上のＵＳＢ ＳＳの全部または一部、およびＵＳＢリドライバの全部または一部をディスエーブルにするために使用されることができる。ＵＳＢ電力消費は、システム内で有意であり得、本低電力インターフェースは、より高い電力インターフェース（すなわち、ＵＳＢ）を常時イネーブルにさせる必要性を低減させる。
図４７は、ＶＲ／ＡＲ／ＭＲシステム内の低電力側チャネルを使用するためのケーブル構成５８００を描写する。オプションとして、ケーブル構成５８００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。ケーブル構成５８００またはその任意の側面は、任意の環境内に実装されてもよい。
図４７に示される実施形態は、単に、（１）ＵＳＢ通信および電力分布をサポートするための電気導体と、（２）他の通信（例えば、ＳＰＩを経由して）のための電気導体（例えば、ＳＰＩ導体５２８）とを含む、ケーブルの一実施例である。さらに、図４６Ａ、図４６Ｂ、図４６Ｃ、および図４７の低電力モード依存フローも、単に、ローカル処理モジュール７０と遠隔処理モジュール７２との間のより低い電力通信経路を構成するためのいくつかの例示的フローである。
複数のコンポーネントの低電力モード
さらなる低電力モードは、コンポーネントがそれら自体の間で協働するときに、開始および終了されることができる。より具体的には、ローカル処理モジュール７０を組成するコンポーネントは、プロトコルを経由して通信し、遮断される、または個別の低電力モードにもたらされ得る、遠隔処理モジュール７２を組成するコンポーネントに関して合意に達することができる。代替として、遠隔処理モジュール７２を組成するコンポーネントは、プロトコルを経由して通信し、遮断される、または個別の低電力モードにもたらされ得る、ローカル処理モジュール７０を組成するコンポーネントに関して合意に達することができる。
以下の図に描写されるもの等の協働プロトコルおよびフローは、低電力機会の検出、コンポーネント間のモードのネゴシエーション、協働プロトコルを遂行するプロセスにおけるコンポーネント間のメッセージの中継、およびコンポーネント特有の低電力モードの決定に役立つ。
図４８は、低電力側チャネル通信をＶＲ／ＡＲ／ＭＲシステムの協働コンポーネント間に実装するためのモード構成プロトコル５９００を描写する。オプションとして、モード構成プロトコル５９００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。モード構成プロトコル５９００またはその任意の側面は、任意の環境内に実装されてもよい。
図示されるように、プロトコルは、察知されるイベント５９０２の検出に応じて開始する。イベントは、ＶＲ／ＡＲ／ＭＲシステム内のコマンドまたはボタン押下もしくは任意のイベントから生じ得る。動作５９０４では、着信イベントおよび具体的コンポーネントのその時点の状態を前提として適用可能な１つ以上のローカル（例えば、自己開始）低電力モードの決定が、行われる。加えて、動作５９０６では、１つ以上の協調低電力モードが、決定されることができ、これは、次いで、可能性として、コンポーネント間シグナリングまたはメッセージングを使用して（例えば、メッセージ５９０８を使用して）、ネゴシエートされることができる。
ＶＲ／ＡＲ／ＭＲシステムのコンポーネントのいずれかは、察知されるイベントを受信し、その独自の処理を開始することができる。ある場合には、周辺機器は、メッセージングを行うことが不可能である、「単純」周辺機器であり得る。そのような場合、周辺機器は、単に、コマンドに基づいて、低電力モードを開始し得る。例えば、示されるように、知覚プロセッサ／ＣＶＰＵは、マイクロホンを消音にするためのユーザボタン押下を検出し得る。その時点で（モードの対象となる）、消音が解除されるまで、発話プロセッサは、発話処理のために必要とされ得ない。故に、コマンド（例えば、メッセージ５９１０）は、発話プロセッサに、その低電力モードのうちの１つを開始させることができる。コマンドは、単に、レジスタ（例えば、発話プロセッサチップまたは別のチップ）内の値を設定することによって、または発話プロセッサのピンをプルアップ（またはダウン）することによって実装され得る。
図４９は、低電力側チャネル通信をＶＲ／ＡＲ／ＭＲシステムの協働コンポーネント間に実装するための複数のコンポーネントモード構成フロー６０００を描写する。オプションとして、モード構成フロー６０００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。モード構成フロー６０００またはその任意の側面は、任意の環境内に実装されてもよい。
図は、個別のコンポーネントのいずれかによって並行して実行可能な動作の複数の同時フローを描写する。コンポーネント（例えば、ＣＰＵ、ＧＰＵ、知覚プロセッサ／ＣＶＰＵ等）は、単に、実施例であって、他のコンポーネントも、可能性として考えられる。
フローのステップは、前述のプロトコルを拡張する。示されるフローは、察知されるイベントを受信し（ステップ６０１２において）、２つ以上の低電力モードの可能性の中で優先順位化し（ステップ６０１４において）、次いで、システム内の他のコンポーネントによって開始され得るように、ローカル低電力モードと協調モードの組み合わせのセットを決定することによって開始する（ステップ６０１６において）。決定は、次いで、ネゴシエーションにおける他のコンポーネントに関与するように、プロトコル（例えば、図４８の前述のプロトコル）へのエントリを促進し得る（ステップ６０１８において）。そのようなネゴシエーションを行う過程において、低電力モードに関する詳細（例えば、ＩＤ、確認コード、タイムアウト値等）が、ネゴシエーションに関わる他のコンポーネントに通信され得、その後（ステップ６０２０において）、ローカル低電力モード（例えば、先行ステップ６０１４およびステップ６０１６において決定されたように）が開始される。
前述のプロトコルメッセージングおよび／またはコンポーネントモード構成フローの任意の組み合わせが、システム横断低電力同期を実装するために使用されることができる。
厳密には、実施例として、第１の低電力技法のセットは、ヘッドセットとベルトパックとの間で使用されることができ、第２の低電力技法のセットは、ヘッドセットとプロジェクタとの間で使用されることができる。図５０は、以下のように詳細を提供する。
複数のコンポーネントの低電力モード同期
図５０は、ＶＲ／ＡＲ／ＭＲシステムの協働コンポーネント間で使用されるような低電力同期技法６１００を描写する。オプションとして、低電力同期技法６１００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。低電力同期技法６１００またはその任意の側面は、任意の環境内に実装されてもよい。
多くの同期技法は、表２に示されるように、ヘッドセットとベルトパックとの間の動作の間、適用され、および／または並行してアクティブであることができる。低電力継続中同期技法のある実施例では、ヘッドセットおよびベルトパックは、低速低電力側チャネル６１３２（例えば、図４５におけるＳＰＩ５６０４）を経由して通信する。少量のデータ（例えば、各クロックサイクルにおけるタイムコードデータ６１２６）が、ヘッドセットとベルトパックとの間で通信され、全ての動作条件下、クロック毎同期を維持する。
低電力継続中スタンバイ同期技法のある実施例では、ベルトパックは、周期的に、タイムコードデータをヘッドセットから受信し、ヘッドセットは、周期的に、タイムコードデータをベルトパックから受信する。タイムコードは、比較され、ドリフトを査定する。アラームインジケーション６１２８が、ベルトパックからヘッドセットに送信される。ウェイクオンイベントコマンド６１２４が、ヘッドセットからベルトパックに送信される。
低帯域幅ディスプレイ制御同期技法のある実施例では、低帯域幅ディスプレイ構成６１３０が、ベルトパックからヘッドセットに送信される。プロジェクタは、低電力オプション６１３６をヘッドセットに発行する（例えば、ディスプレイマイクロプロセッサから）。ヘッドセットは、低電力コマンド（例えば、低電力モードコマンド６１２２）をプロジェクタに中継する。プロジェクタは、制御モジュール６１３８に、低電力モードに関する制御値をロードする。
依然として、図５０を参照すると、他の低電力技法は、表２に示されるように、ベルトパックとヘッドセットとの間の通信のための帯域幅の量を低減させることを含む。ビデオデータは、送信される前に、エンコード６１４２および／または圧縮６１４４されることができる。ビデオデータは、その時点のシステム条件のために選択された圧縮技法（例えば、ＭＰＥＧ）を使用して、エンコード６１４２されることができる。ブランクフレームまたは一連のブランクフレームは、ランレングスエンコーディングを使用して、エンコードされることができる。ビデオデータは、送信される前に圧縮６１４４されることができる。ビデオデータは、その時点の条件のために選択された圧縮パラメータ（例えば、１０８０ｐ、７２０ｐ等）を使用して、圧縮されることができる。
オーディオデータは、送信される前にエンコード６１４６または圧縮されることができる。オーディオデータは、その時点の条件のために選択された圧縮技法（例えば、ＭＰＥＧ）を使用して、エンコード／圧縮されることができる。非オーディオデータは、オーディオストリームの未使用部分内で送信されることができる。
データの時分割多重化
ある場合には、オーディオデータの通信は、アイソクロナスデータ伝送をエミュレートする様式において、ＵＳＢ経路を経由して実施される。例えば、発話が、ステレオ（例えば、左チャネルおよび右チャネル）または４チャネルデータフォーマットにおいて送信され得る。継続中の発話は、データのステレオまたは４チャネルパッケージの継続中のストリーム中で送信され得る。ある場合には、周辺チップが、発話またはオーディオデータのストリームもしくは自動発話認識ＡＳＲデータを小バーストのデータ内で送信する。さらに、ある場合には、データのバーストのフォーマット化は、周辺チップの構成（例えば、ステレオ構成、４チャネル構成）によって固定される。なおもさらに、ステレオ伝送の一方のチャネル（例えば、右チャネル）が必要とされ得ない瞬間が、存在し得る。多くのそのような場合では、音データ以外のデータは、４チャネルストリームのステレオの未使用部分の中にパッキングされ得る。図５１および５２の図および議論は、協働コンポーネント間で通信されるためにデータをパッキングおよび／または多重化するためのいくつかの技法を提示する。
図５１は、ＶＲ／ＡＲ／ＭＲシステムの協働コンポーネント間で通信されるためのデータの時分割多重化の実装を描写する、フローチャート６２００である。オプションとして、フローチャート６２００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。フローチャート６２００またはその任意の側面は、任意の環境内に実装されてもよい。
示されるように、フローは、ヘッドセット内のマイクロホンを構成し、ヘッドセットからベルトパックへの１つ以上の通信経路を構成することによって（ステップ６２０４において）開始する（ステップ６２０２において）。プロセッサ（例えば、知覚プロセッサ／ＣＶＰＵ）は、利用可能な音チャネルの数「Ｃ」（例えば、ステレオのための２、４チャネルのための４等）を計算する（ステップ６２０６において）。また、必要とされる音チャネル「Ｎ」の数も、計算される（ステップ６２０８において）。必要とされる音チャネルの数は、動的である。例えば、音チップが、４チャネル音であるように構成される場合でも、多くの場合、ステレオ音響材料のみが利用可能である場合がある。いくつかの瞬間では、音の１つのみのチャネルが採用される（例えば、オーディオアラートのため）。「Ｎ」（例えば、必要とされるチャネルの数）が、「Ｃ」（例えば、利用可能なチャネルの数）未満である場合、利用可能かつ未使用のチャネルが、利用可能なチャネルの中にパッキングされ、オーディオを送信する以外の目的のために使用され得るように、経路が、辿られる（ステップ６２１０において）。
厳密には、実施例として、現在の頭部姿勢（ステップ６２１２において）または眼姿勢データ（ステップ６２１４において）は、利用可能なチャネルの中にパッキングされることができる。別の実施例として、エコーキャンセルデータが、利用可能なチャネルの中にパッキングされることができる（動作６２１６において）。前述は、単に、データパッキングを用いた時分割多重化の使用の実施例であって、本技法は、ＴＤＭチャネルパッキング６２１８として図５１に示される。
図５２は、ＶＲ／ＡＲ／ＭＲシステムのコンポーネント間で通信されるためのデータの時分割多重化を実装するためのデータパッキング技法６３００を描写する。オプションとして、データパッキング技法６３００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。データパッキング技法６３００またはその任意の側面は、任意の環境内に実装されてもよい。
ＴＤＭチャネルパッキングは、その時点のリアルタイム可用性と組み合わせて、その時点のリアルタイム条件に基づいて、動的に実施されることができる。任意の瞬間において、条件の存在またはイベントの発生が、チェックされることができる。少なくとも潜在的にチャネルを解放するイベントまたはＴＤＭチャネルパッキングを対象とするであろうイベントが存在する場合、その条件またはイベントの検出に応じて、図５１のフローまたはその一部が、実行されることができる。
図５２の実施例は、左チャネルに関するオーディオデータと、右チャネルに関するオーディオデータとを含む、時間の第１のサンプルウィンドウを示す。時間ＴＤにおいて、あるイベントが生じる。図５１のフローまたはその一部によって行われる決定が、実行され、決定は、次のサンプルウィンドウの右チャネルの中への姿勢または音データのパッキングをもたらす（ステップ６３２０において）。これは、Ｎサンプルウィンドウ６３２２を通して、または別の条件またはイベントがチャネル使用の動的再査定を生じさせるまで、継続することができる。
バッテリブーストシステム
図５３は、ＶＲ／ＡＲ／ＭＲシステムの協働コンポーネント間でバッテリ寿命時間情報を通信するためのバッテリブーストシステム６４００を描写する。オプションとして、バッテリブーストシステム６４００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。バッテリブーストシステム６４００またはその任意の側面は、任意の環境内に実装されてもよい。
いくつかの実施形態は、低電力側チャネルを含む。そのようなチャネル（または任意の他のチャネル）は、低バッテリインジケーションをヘッドセットに通信するために使用されることができる。ヘッドセットは、順に、ユーザに、バッテリの状態をアラートし得る。
示される実施形態では、ベルトパックは、ベルトパックバッテリ６４１０を有し、これは、電圧検出器６４０８およびブースタ６４０６に接続される。バッテリが正常に動作する周期の間、電流が、導体６４０４を経由して、ヘッドセットに搬送される。しかしながら、バッテリ残量が低いとき、電圧検出器６４０８は、可能性として、低電力側チャネルＳＰＩ５６０４を使用して、低バッテリインジケーション６４１２をヘッドセットに送信するであろう。ヘッドセット内の電力警告ユニット６４０２は、低バッテリインジケーションを受信し、ユーザにアラートする。低バッテリインジケーションをヘッドセットに送信することに加え、電圧検出器６４８０は、ブースタ６４０６を起動し、電圧を引き上げる（かつ最大電流を減少させる）ことによって動作し始めさせるであろう。そのような低電圧インジケーションは、本明細書に説明される低電力技法のいずれかと併用されることができる。
システムコンポーネント接続
図５４は、ＶＲ／ＡＲ／ＭＲシステムの協働コンポーネントを含む、ケーブル接続システム６５００を描写する。オプションとして、ケーブル接続システム６５００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。ケーブル接続システム６５００またはその任意の側面は、任意の環境内に実装されてもよい。
図５４に示される実施形態は、単に、一実施例である。示されるように、ケーブル接続システム６５００は、ヘッドセット（左側）と、ベルトパック（右側）とを含む。ヘッドセットは、ケーブル６５０６を使用して、ベルトパックに接続される。ケーブル６５０６は、ヘッドセットとベルトパックとの間のデータ通信を提供する。ベルトパックは、バッテリコネクタを含み、電気接続を外部バッテリに提供する。外部バッテリは、電流を提供し、アプリプロセッサ６５０８およびベルトパックの他のコンポーネントに給電する。ケーブル６５０６は、電気導体を含み、電流をベルトパックからヘッドセットに搬送する。したがって、ベルトパックの外部バッテリは、電流を提供し、ＣＶＰＵプロセッサ６５０２およびヘッドセットの他のコンポーネントに給電する。いくつかの実施形態では、アプリプロセッサ６５０８は、電力消費を事前に規定された温度範囲内で自己調整するように、温度センサにアクセスすることができる。
いくつかの状況では、ケーブルを排除することによって、ヘッドセットをベルトパックから繋留解除することが適切である。
図５５は、ＶＲ／ＡＲ／ＭＲシステムの協働コンポーネントを含む、無線接続システム６６００を描写する。オプションとして、無線接続システム６６００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。無線接続システム６６００またはその任意の側面は、任意の環境内に実装されてもよい。
ケーブルによってこれまで提供された通信は、無線接続６５０４を経由して、無線で提供されることができる。送受信機（例えば、送受信機６５２２Ｈおよび送受信機６５２２Ｂ）は、１つ以上の無線通信設備をサポートするために使用される。ある場合には、示されるように、無線通信は、複数の無線通信規格および／または複数の専有無線通信プロトコルスタックをサポートするように構成される。
厳密には、実施例として、示される無線通信設備は、ベルトパックとヘッドセットとの間の通信のために、Ｂｌｕｅｔｏｏｔｈ（登録商標）（例えば、８０２．１５ｘ）、ＷｉＦｉ（例えば、８０２．１１ｘ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）近距離通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）低エネルギー、および／または１つ以上の専有無線設備を含む。
例示的システムアーキテクチャ
図５６は、ＶＲ／ＡＲ／ＭＲシステムの複数の協働コンポーネントを含む、システムコンポーネントパーティション化６７００を描写する。オプションとして、システムコンポーネントパーティション化６７００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。システムコンポーネントパーティション化６７００またはその任意の側面は、任意の環境内に実装されてもよい。
図５６に示される実施形態は、単に、一実施例である。示されるように、システムコンポーネントパーティション化は、接眼レンズを含む、ヘッドセットコンポーネントに接続される、接眼レンズを含む。さらに、図５６に示される実施形態は、以下の図５７および図５８に説明される機能の任意または全部もしくは一部を実装するために好適である。
図５７は、ＶＲ／ＡＲ／ＭＲシステムの協働コンポーネント上への実装のためのシステム機能パーティション化６８００を描写する。オプションとして、システム機能パーティション化６８００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。システム機能パーティション化６８００またはその任意の側面は、任意の環境内に実装されてもよい。
知覚プロセッサ（ＣＶＰＵ８５）は、ユーザおよびＶＲ／ＡＲ／ＭＲシステムとのユーザの相互作用に関連する多くの目的を果たす。知覚プロセッサ／ＣＶＰＵにマッピングされ得る機能の１つのグループは、姿勢に関する。特に、眼姿勢は、輻輳・開散運動を含むことができ、頭部姿勢は、垂直慣性幾何学形状を含むことができ、トーテム姿勢は、深度の側面を含むことができる。カメラからの情報は、較正情報と組み合わせて、ユーザにプロジェクタを介して提示される、画像を操作するように、知覚プロセッサ／ＣＶＰＵによって処理されることができ。特に、トーテム位置によって感知される深度情報および／または任意の慣性測定デバイスによって感知される深度情報は、知覚プロセッサ／ＣＶＰＵによって組み合わせられ、深度平面の提示を操作することができる。
示される機能の多くは、知覚プロセッサ／ＣＶＰＵの中に、次いで、図５６または図２Ｇのシステム等のシステムの中にマッピングされることができる。システム機能パーティション化６８００は、クラウドおよびクラウドリソースに関する機能、すなわち、音声認識機能、幾何学形状認識、ならびにマクロ位置付け（例えば、グローバル位置付け、グローバル位置または体積に対するユーザ配向等）を描写する。そのような機能は、任意の形態の遠隔データリポジトリ７４によって、またはそれと併せて、提供されることができる。厳密には、一実施例として、遠隔データリポジトリ（例えば、遠隔データリポジトリ７４）は、クラウドベースのコンピューティングインフラストラクチャによって実装されることができる。
図５８は、ＶＲ／ＡＲ／ＭＲシステムの協働コンポーネント上への実装のためのシステム機能パーティション化６９００を描写する。オプションとして、システム機能パーティション化６９００またはその任意の側面の１つ以上の変形例は、本明細書に説明される実施形態のアーキテクチャおよび機能性のコンテキストにおいて実装されてもよい。システム機能パーティション化６９００またはその任意の側面は、任意の環境内に実装されてもよい。
示される機能の多くは、図５６のシステム等のシステム上にマッピングされることができる。より具体的には、示されるように、機能のフレーム組成セットが、ＧＰＵ上にマッピングされ、機能のオーディオ関連セットが、デジタル信号プロセッサ（ＤＳＰ）上にマッピングされることができ、アプリケーションのセットが、ＣＰＵ上にマッピングされることができる。ＣＰＵは、オペレーティングシステム、可能性として、ＣＧＩ画像を生成するためのメッシュ構造、および手／ジェスチャ認識、ならびに遠隔データリポジトリおよび／またはクラウドベースのサービスへのアクセスのためのサービス等の内蔵サービスを具備してもよい。
示されるように、ＧＰＵは、場面レンダリングならびにある画像変換（例えば、色補正等のため）を実施する。
ＤＳＰは、マイクロホン信号調整、スピーカパニング、３Ｄ音成形、および同等物等の任意の／全ての形態の発話および／またはオーディオ処理を実施することができる。ＤＳＰは、発話または他のオーディオ関連コプロセッサの有無にかかわらず、性能を発揮することができる。ある場合には、知覚プロセッサ／ＣＶＰＵに割り当てられ得る処理はまた、全体または部分的に、ＤＳＰに割り当てられることができる。ある場合には、オーディオ関連コプロセッサに割り当てられ得る処理はまた、全体または部分的に、ＤＳＰに割り当てられることができる。
未加工光子イベント
現実性のために、圧縮およびブランキング等の動作は、控えられる傾向にある。未加工光子イベントの捕捉、留保（例えば、記録）、およびレンダリング／表示は、多くの場合、現実性を体験にもたらす。未加工イベントを広範囲の３次元空間内に記録することは、大メモリを要求する。未加工光子イベントドメイン内におけるある範囲の作業対現実性には、トレードオフが存在し、収穫逓減点が、存在する。前述のシステム内の処理は、例えば、瞬間帯域幅要件、ＶＲ／ＡＲ／ＭＲシステムの他の動作（例えば、非結像動作）への影響、瞬間中心窩化、フレーム／秒等のシステム制約、フレームまたはシーケンス内に示すための平面の数、および同等物等の現実性とシステム効果との間のトレードオフを検討する。平面のより小さいサブセットに分割することは、単に、瞬間的に測定または予測される帯域幅可用性を満たすために使用され得る、１つの技法である。
光子イベントの取扱を促すために、他の光子イベントと比較してより遠い深度平面から派生する光子イベントを決定することは、多くの場合、眼位置に依存する。具体的には、２つの眼が２つの（若干）異なる視点から視認している状態で、種々の深度平面は、各眼に対して空間内で整列する必要がある。実施例として、場面が、１つのオブジェクトを８インチの深度に、同一サイズの隣接するオブジェクトを１６インチに有する場合、左頭部が移動することに伴って、現実的には、ＸＹ平面には、２つのオブジェクトのより多くの重複が存在するであろう。しかしながら、右頭部移動を前提として、現実的には、間隙がＸＹ平面に発生し得る。１つの技法は、眼位置の変化および／または頭部位置の変化と連動して、平面の偏移を行うように（例えば、重複または間隙を生産するため）、眼位置および／または頭部位置と場面データを組み合わせることを伴う。別の技法は、体積的にレンダリングすることであって、したがって、左および右眼の両方のためにレンダリングされた画像は、左および右眼の（若干異なる）視点から生じる。
サブブロック処理
前述のサブブロックの識別は、眼が受信するためにデバイス上の平面を照明する（または照明しない）ための種々の技法の使用を促進する。例えば、あるキャラクタが、特定のサブブロック内に存在し、同一サブブロック内（例えば、より近い深度平面）にブロックするオブジェクトが存在する場合、現実性を向上させるための１つの技法は、オブジェクトによってオクルードされるキャラクタの部分を照明しないことである。
半透明オブジェクトをレンダリングするとき、ディスプレイへのインターフェースを横断して１つの平坦画像を送信するのではなく、データを送信するための改良された技法は、場面を「サブブロック」、例えば、ＧＰＵによって処理されるサブブロックに分割するであろう。いったんそのように分割されると、決定が、送信または非送信、マージまたは非マージ、色圧縮または非色圧縮、および同等物に関して行われることができる。例えば、ステップの例示的セットは、アルファ領域を識別し、グループ内のそれらのアルファ領域に関連するデータを送信し（例えば、１つのグループ内の複数の平面のためのサブブロック）、ディスプレイコントローラまたはそのコプロセッサにグループを取り扱うようにタスクを課すことを含む。
別の実施例として、半透明オブジェクトが不透明オブジェクトの正面に存在する場合、減法または乗法混成モード技法が、適用されることができる。仮想キャラクタを半透明ウィンドウの背後に部分的に伴う、半透明ウィンドウ（ガラス窓のように）の場合を検討する。さらに、頭部は、半透明ウィンドウの上方にあるが、身体は、半透明ウィンドウのフレーム内にあると仮定する。さらに、ウィンドウが青味がかった色調を有する場合を検討する。そのような場合では、キャラクタの身体は、ある程度の青色色調影響を有することになる。乗法混成は、本効果をレンダリングするために使用されることができる。レンダラは、ウィンドウが、ある波長の光のみがそれを通して通過することを可能にすることになり、したがって、ウィンドウを通して入ってくるどのような光も、現実性のために混成されることができることを認識するであろう（例えば、ウィンドウの属性を通して）。サブブロックを使用して、キャラクタと別個にその色情報の全てを用いてウィンドウを処理し、次いで、また、その色情報の全てをとともに背景キャラクタを別個に送信することが可能である。実際のディスプレイシステムは、青味がかった光をディスプレイの中に追加するであろう。ディスプレイシステムは、最初に、青色色調ウィンドウをロードし、次いで、キャラクタをロードするであろう。ＧＰＵにおける複数のデータのセット（例えば、サブブロック）への分離およびにディスプレイシステムへの別個の送信は、高速かつ効率的である。
光マップ
ＶＲ、ＡＲ、またはＭＲシステム等の光学システムは、実際の物理的環境と組み合わせて、仮想オブジェクトをレンダリングおよび表示する。これらの仮想オブジェクトを自然に現れる光を用いて照明することは、困難であり得る。
本明細書に説明される実施形態は、実際の物理的環境内の光に関連する情報を記憶する光マップを使用して、本問題に対処する。
光マップは、部屋内の光に関連する情報を含む、データ構造である。光関連情報は、限定ではないが、色（例えば、ＭＲシステム上の色センサによって検出される）、照明レベル、および光方向（例えば、ＭＲシステム上の光センサによって検出される）を含む。
図５９は、一実施形態による、実際の物理的部屋内における表示のために正確に照明された仮想オブジェクトを生成する方法７３００を図示する、フローチャートである。ステップ７３０２では、ＭＲシステムは、実際の物理的部屋のための採光情報を受信する。例えば、色情報は、ＭＲシステムまたは実際の物理的部屋内の他のユーザのＭＲシステム上の色センサによって検出されてもよい。加えて、照明レベルおよび光方向は、ＭＲシステムまたは実際の物理的部屋内の他のユーザのＭＲシステム上の光センサによって検出されてもよい。
ステップ７３０４では、ＭＲシステムおよび／またはそこに接続されるサーバは、実際の物理的部屋内の１つ以上のＭＲシステムから受信された採光情報に基づいて、実際の物理的部屋の光マップを生成する。光マップは、透過、拡散、反射、回折される、および同等物の光を含む、実際の物理的部屋内の採光源のモデルである。
ステップ７３０６では、ＭＲシステムおよび／またはサーバは、光マップを使用して、実際の物理的部屋内の光源のモデルおよびその中の仮想オブジェクトの場所に基づいて、より正確に照明された仮想オブジェクトを生成する。
ステップ７３０８では、ＭＲは、仮想オブジェクトをユーザに表示する。ＡＲシナリオでは、例えば、仮想オブジェクトは、より正確に照明されるため、より真実味がある。例えば、実際の物理的部屋は、オーバーヘッド白色光または黄色光を有し得、仮想オブジェクトの色は、部屋光に合致するように修正されることができる。これは、広告主が、そのキャンペーンおよびブランドにおいて非常に具体的色（例えば、ＩＮＴＥＬ青色、ＹＡＨＯＯ！紫色、および同等物）を使用するため、重要であり得る。さらに、採光情報内の光方向情報が、仮想オブジェクトに関連する（例えば、その上の、またはそれによって生成された）陰影をより正確に生成するために使用されることができる（例えば、光線追跡によって）。
光マップを構築するための１人以上のユーザからの情報の使用は、プライバシ問題をもたらす。例えば、１人のユーザの視野（ＦＯＶ）は、採光情報に加え、いくつかの私的情報（画像を含む）を含み得る。ユーザのＦＯＶの画像が、公的サーバに伝送される場合、私的情報（画像を含む）は、非意図的に公的に利用可能にされ得る。私的情報の実施例は、デスクトップまたはモバイルコンピュータの画面上に表示される私的財務情報を含み、画像は、いくつかの子供の画像を含む。
図６０は、一実施形態による、私的情報を含む画像を使用して、公的に入手可能な光マップを生成しながら、私的情報の暴露を最小限にする方法７４００を図示する、フローチャートである。光マップは、仮想画像の採光スキームが表示されるための実際の物理的部屋のものに合致するように、仮想画像の正確なレンダリングを促進する。さらに、実際の物理的部屋内の複数のユーザに関するそのような情報を収集することによって、光情報の量を増加させることは、そこから生成された光マップの正確度を増加させることができる。
ステップ７４０２では、ＭＲシステムは、ユーザのＦＯＶの１つ以上の画像を取得する。ＭＲシステムの正面に面したカメラは、ユーザのＦＯＶの画像の収集を比較的に容易にする。
ステップ７４０４では、ＭＲシステムは、１つ以上の画像を分析し、私的情報を含む画像を識別する。
ステップ７４０６では、ＭＲシステムは、光マップが、ローカルで、したがって、私的で使用される、またはサーバに接続される他のユーザによって、したがって、公的に使用されるであろうかどうかを決定する。公的に入手可能な光マップは、光マップが生成された画像を含んでもよい、またはそのような画像がリバースエンジニアリングされ得る情報を含んでもよいかのいずれかである。
ステップ７４０８では、ＭＲシステムが、光マップが公的であることを決定すると、採光情報を含むが、私的情報を含まない、プロキシ画像を生成する。例えば、私的情報を含む、スマートフォンの表面は、プロキシ画像内では、同一反射性を有するが、私的情報を伴わない、スマートフォンと置換されてもよい。
ステップ７４１０では、ＭＲシステムは、プロキシ画像を光マップを構築する際に使用するためのサーバに送信する。ステップ７４１２では、サーバは、少なくともプロキシ画像を使用して、光マップを生成する。したがって、採光情報は、私的情報を含む、１つ以上の画像から抽出され、私的情報を暴露せず、正確な光マップを生成することができる。
ＭＲシステムは、私的情報を含む実画像と、匿名化または編集された情報を伴うプロキシ画像の両方にリンクする、ハンドルを有することができる。ＭＲシステムは、光マップが私的であると決定されると、ハンドルが実画像を呼び出すように構成されることができる。そうでなければ、ハンドルは、プロキシ画像を呼び出すであろう。
本開示のある側面、利点、および特徴が、本明細書に説明されている。必ずしも全てのそのような利点が、本開示の任意の特定の実施形態に従って達成され得るわけではないことを理解されたい。したがって、本開示は、本明細書で教示または提案され得るような他の利点を必ずしも達成することなく、本明細書で教示されるような１つの利点もしくは利点のグループを達成または最適化する様式で、具現化もしくは実施されてもよい。
実施形態は、付随の図面に関連して説明されている。しかしながら、図が一定の縮尺で描かれていないことを理解されたい。距離、角度等は、例証的にすぎず、必ずしも図示されるデバイスの実際の寸法およびレイアウトと正確な関係を持つわけではない。加えて、前述の実施形態は、当業者が本明細書に説明されるデバイス、システム、方法、および同等物を作製して使用することを可能にする詳細のレベルで説明されている。多種多様な変形例が、可能である。コンポーネント、要素、および／またはステップは、改変、追加、除去、もしくは再編成されてもよい。
本明細書に説明されるデバイスおよび方法は、有利なこととして、例えば、コンピュータソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、およびファームウェアの任意の組み合わせを使用して、少なくとも部分的に実装されることができる。ソフトウェアモジュールは、本明細書に説明される機能を果たすために、コンピュータのメモリの中に記憶されたコンピュータ実行可能コードを含むことができる。いくつかの実施形態では、コンピュータ実行可能コードは、１つ以上の汎用コンピュータによって実行される。しかしながら、当業者は、本開示に照らして、汎用コンピュータ上で実行されるソフトウェアを使用して実装され得る、任意のモジュールもまた、ハードウェア、ソフトウェア、またはファームウェアの異なる組み合わせを使用して実装され得ることを理解するであろう。例えば、そのようなモジュールは、集積回路の組み合わせを使用して、完全にハードウェアで実装されることができる。代替として、または加えて、そのようなモジュールは、汎用コンピュータによってではなく、本明細書に説明される特定の機能を果たすように設計される特殊化コンピュータを使用して、完全もしくは部分的に実装されることができる。加えて、少なくとも部分的にコンピュータソフトウェアによって実施される、またはされ得る方法が説明される場合、そのような方法は、コンピュータもしくは他の処理デバイスによって読み取られたときに方法を実施させる、非一過性のコンピュータ可読媒体上に提供され得ることを理解されたい。
ある実施形態が、明示的に説明されているが、他の実施形態も、本開示に基づいて当業者に明白となるであろう。
本明細書に説明される種々のプロセッサおよび他の電子コンポーネントは、光を投影させるための任意の光学システムと併用するために好適である。本明細書に説明される種々のプロセッサおよび他の電子コンポーネントは、また、音声コマンドを受信するための任意のオーディオシステムと併用するために好適である。
本開示の種々の例示的実施形態が、本明細書に説明される。これらの実施例は、非限定的意味で参照される。それらは、本開示のより広義に適用可能な側面を例証するために提供される。種々の変更が、説明される本開示に行われてもよく、本開示の真の精神および範囲から逸脱することなく、均等物が代用されてもよい。加えて、多くの修正が、特定の状況、材料、組成物、プロセス、プロセス作用、またはステップを本開示の目的、精神、または範囲に適合させるために行われてもよい。さらに、当業者によって理解されるであろうように、本明細書で説明および例証される個々の変形例はそれぞれ、本開示の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離される、またはそれらと組み合わせられる、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられた請求項に記載の範囲内であることが意図される。
本開示は、本主題のデバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する作用を含んでもよい。そのような提供は、エンドユーザによって実施されてもよい。言い換えると、「提供する」作用は、単に、エンドユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスする、それに接近する、それを位置付ける、それを設定する、それをアクティブ化する、それに電源を入れる、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順序ならびにイベントの列挙された順序で行われてもよい。
本開示の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載された。本開示の他の詳細に関して、これらは、前述の参照特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことは、一般または論理的に採用されるような付加的作用の観点から、本開示の方法ベースの側面に関しても当てはまり得る。
加えて、本開示は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されたが、本開示は、開示の各変形例に関して検討されるように説明または図示されるものに限定されるものではない。種々の変更が、説明される本開示に行われてもよく、均等物（本明細書に列挙されるか、またはある程度の簡潔目的のために含まれないかどうかにかかわらず）は、本開示の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本開示内に包含されるものと理解されたい。
また、説明される変形例の任意の随意の特徴は、独立して、または本明細書に説明される特徴のうちの任意の１つ以上のものと組み合わせて、記載および請求され得ることが検討される。単数形アイテムの言及は、存在する複数の同一アイテムが存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられた請求項で使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、別様に具体的に述べられない限り、複数の言及を含む。言い換えると、冠詞の使用は、上記の説明ならびに本開示と関連付けられる請求項における本主題のアイテムのうちの「少なくとも１つ」を可能にする。さらに、請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。
そのような排他的専門用語を使用しなければ、本開示と関連付けられる請求項における用語「～を備える」は、所与の数の要素が請求項で列挙されるかどうかにかかわらず、任意の付加的要素の包含を可能にするものとする、または特徴の追加は、請求項に記載される要素の性質を変換すると見なされ得る。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の正当性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるべきである。
本開示の範疇は、提供される実施例および／または本主題の明細書に限定されるべきではなく、むしろ、本開示と関連付けられた請求項の言語の範囲によってのみ限定されるべきである。
前述の明細書では、本開示は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本開示のより広義の精神および範囲から逸脱することなく、そこに行われてもよいことが明白であろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本開示の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。

Claims (8)

  1. 仮想、拡張、または複合現実ディスプレイシステムであって、
    複数の深度平面のためのデジタル画像データを表示するように構成されるディスプレイであって、前記ディスプレイは、第１の深度平面に対応する画像データを表示するための第１の光学経路と、第２の深度平面に対応する画像データを表示するための少なくとも部分的に明確に異なる第２の光学経路とを備える、ディスプレイと、
    ディスプレイコントローラであって、前記ディスプレイコントローラは、前記第１の深度平面に対応する画像データのピクセル値を第１の量だけ加重し、前記第２の深度平面に対応する画像データのピクセル値を第２の量だけ加重することにより、前記加重されたピクセル値を有する前記第１の深度平面に対応する画像データおよび前記加重されたピクセル値を有する前記第２の深度平面に対応する画像データが前記ディスプレイによって表示されると、その結果として生じる画像が、前記第１の深度平面と前記第２の深度平面との間に位置する仮想深度平面に対応するように現れるようにするように構成される、ディスプレイコントローラと
    を備え、前記第１の量と前記第２の量の合計が１００％であり、
    前記ディスプレイコントローラは、前記第１の深度平面に対応する画像データと前記第２の深度平面に対応する画像データとの加重された組み合わせを計算することによって、前記第１の深度平面に対応する画像データと前記第２の深度平面に対応する画像データを混成するように構成され、
    前記ディスプレイコントローラは、前記デジタル画像データに埋め込まれた仮想深度平面インジケータデータに基づいて、前記加重された組み合わせを決定するように構成され、前記仮想深度平面インジケータデータは、複数の可能性として考えられる仮想深度平面のうちの１つを規定し、
    前記仮想深度平面インジケータデータは、前記デジタル画像データのピクセル値に埋め込まれ、
    前記デジタル画像データは、ピクセル毎に複数の色値を含み、前記色値の複数の最下位ビットは、前記仮想深度平面インジケータデータであり、
    前記仮想深度平面インジケータデータは、前記仮想深度平面インジケータデータによって規定された前記仮想深度平面と関連付けられた混成加重値にアクセスするために使用され、
    前記ディスプレイコントローラは、前記デジタル画像データのピクセルが非アクティブ深度平面に割り当てられるかどうかを決定することと、前記ピクセルが非アクティブ深度平面に割り当てられることを決定したことに応答して、前記ピクセルを無視し、前記ピクセルを前記ディスプレイにフラッシングしないこととを行うようにさらに構成される、システム。
  2. 仮想深度平面毎の混成加重値は、ルックアップテーブル内に記憶される、請求項１に記載のシステム。
  3. １つ以上のルックアップテーブルは、前記デジタル画像データの深度平面毎に提供される、請求項２に記載のシステム。
  4. 前記ディスプレイコントローラは、前記第１の深度平面に対応する画像データの全てのピクセルと前記第２の深度平面に対応する画像データの全てのピクセルとを同一仮想深度平面に混成するように構成される、請求項１に記載のシステム。
  5. 前記ディスプレイコントローラは、前記第１の深度平面に対応する画像データの異なるピクセルを異なる仮想深度平面に混成するように構成される、請求項１に記載のシステム。
  6. 仮想、拡張、または複合現実ディスプレイシステムにおける方法であって、前記方法は、
    ディスプレイ上に示されるための複数の深度平面のデジタル画像データを提供することであって、前記ディスプレイは、第１の深度平面に対応する画像データを表示するための第１の光学経路と、第２の深度平面に対応する画像データを表示するための少なくとも部分的に明確に異なる第２の光学経路とを備える、ことと、
    前記第１の深度平面に対応する画像データのピクセル値を第１の量だけ加重し、前記第２の深度平面に対応する画像データのピクセル値を第２の量だけ加重することにより、前記加重されたピクセル値を有する前記第１の深度平面に対応する画像データおよび前記加重されたピクセル値を有する前記第２の深度平面に対応する画像データが前記ディスプレイによって表示されると、その結果として生じる画像が、前記第１の深度平面と前記第２の深度平面との間に位置する仮想深度平面に対応するように現れるようにすることと、
    前記第１の深度平面に対応する画像データと前記第２の深度平面に対応する画像データとの加重された組み合わせを計算することによって、前記第１の深度平面に対応する画像データと前記第２の深度平面に対応する画像データを混成することと、
    前記デジタル画像データに埋め込まれた仮想深度平面インジケータデータに基づいて、前記加重された組み合わせを決定することであって、前記仮想深度平面インジケータデータは、複数の可能性として考えられる仮想深度平面のうちの１つを規定する、ことと、
    前記仮想深度平面インジケータデータを使用して、前記仮想深度平面インジケータデータによって規定された前記仮想深度平面と関連付けられた混成加重値にアクセスすることと
    を含み、
    前記第１の量と前記第２の量の合計が１００％であり、
    前記仮想深度平面インジケータデータは、前記デジタル画像データのピクセル値に埋め込まれ、
    前記デジタル画像データは、ピクセル毎に複数の色値を含み、前記色値の複数の最下位ビットは、前記仮想深度平面インジケータデータであり、
    前記方法は、
    前記デジタル画像データのピクセルが非アクティブ深度平面に割り当てられるかどうかを決定することと、
    前記ピクセルが非アクティブ深度平面に割り当てられることを決定したことに応答して、前記ピクセルを無視し、前記ピクセルを前記ディスプレイにフラッシングしないことと
    をさらに含む、方法。
  7. 仮想深度平面毎の混成加重値をルックアップテーブル内に記憶することをさらに含む、請求項６に記載の方法。
  8. 前記デジタル画像データの深度平面毎に、１つ以上のルックアップテーブルを提供することをさらに含む、請求項７に記載の方法。
JP2020138439A 2016-08-22 2020-08-19 仮想現実、拡張現実、および複合現実システムおよび方法 Active JP7397777B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022162258A JP2023015037A (ja) 2016-08-22 2022-10-07 仮想現実、拡張現実、および複合現実システムおよび方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662377804P 2016-08-22 2016-08-22
US201662377829P 2016-08-22 2016-08-22
US62/377,804 2016-08-22
US62/377,829 2016-08-22
US201762462279P 2017-02-22 2017-02-22
US62/462,279 2017-02-22
JP2019510409A JP6880174B2 (ja) 2016-08-22 2017-08-22 仮想現実、拡張現実、および複合現実システムおよび方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019510409A Division JP6880174B2 (ja) 2016-08-22 2017-08-22 仮想現実、拡張現実、および複合現実システムおよび方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022162258A Division JP2023015037A (ja) 2016-08-22 2022-10-07 仮想現実、拡張現実、および複合現実システムおよび方法

Publications (2)

Publication Number Publication Date
JP2020195154A JP2020195154A (ja) 2020-12-03
JP7397777B2 true JP7397777B2 (ja) 2023-12-13

Family

ID=61190829

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019510409A Active JP6880174B2 (ja) 2016-08-22 2017-08-22 仮想現実、拡張現実、および複合現実システムおよび方法
JP2020138439A Active JP7397777B2 (ja) 2016-08-22 2020-08-19 仮想現実、拡張現実、および複合現実システムおよび方法
JP2022162258A Pending JP2023015037A (ja) 2016-08-22 2022-10-07 仮想現実、拡張現実、および複合現実システムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019510409A Active JP6880174B2 (ja) 2016-08-22 2017-08-22 仮想現実、拡張現実、および複合現実システムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022162258A Pending JP2023015037A (ja) 2016-08-22 2022-10-07 仮想現実、拡張現実、および複合現実システムおよび方法

Country Status (9)

Country Link
US (5) US10529063B2 (ja)
EP (2) EP3500977B1 (ja)
JP (3) JP6880174B2 (ja)
KR (5) KR102357273B1 (ja)
CN (1) CN109863533B (ja)
AU (3) AU2017317600B2 (ja)
CA (1) CA3034384A1 (ja)
IL (4) IL307594A (ja)
WO (1) WO2018039270A1 (ja)

Families Citing this family (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10365711B2 (en) 2012-05-17 2019-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
US9351060B2 (en) 2014-02-14 2016-05-24 Sonic Blocks, Inc. Modular quick-connect A/V system and methods thereof
US11049476B2 (en) 2014-11-04 2021-06-29 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds in head-worn displays
CN112764536A (zh) 2015-03-05 2021-05-07 奇跃公司 用于增强现实的系统和方法
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
KR20190034321A (ko) 2016-08-02 2019-04-01 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
CN109863533B (zh) 2016-08-22 2024-03-15 奇跃公司 虚拟、增强和混合现实系统和方法
CN108111874B (zh) * 2016-11-16 2020-01-31 腾讯科技（深圳）有限公司 一种文件处理方法、终端及服务器
KR20180061956A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 눈 위치 예측 방법 및 장치
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) * 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US20190129183A1 (en) * 2016-12-08 2019-05-02 Snail Innovation Institute Integrated frames in wearable display devices
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US10560680B2 (en) * 2017-01-28 2020-02-11 Microsoft Technology Licensing, Llc Virtual reality with interactive streaming video and likelihood-based foveation
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US11127110B2 (en) * 2017-03-01 2021-09-21 Arm Limited Data processing systems
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10409363B1 (en) 2017-03-07 2019-09-10 vGolf, LLC Mixed-reality golf tracking and simulation
WO2018165278A1 (en) 2017-03-07 2018-09-13 vGolf, LLC Mixed reality golf simulation and training system
WO2018165284A1 (en) 2017-03-07 2018-09-13 vSports, LLC Mixed reality sport simulation and training system
AU2018236457B2 (en) 2017-03-17 2021-04-29 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
KR102594063B1 (ko) 2017-03-17 2023-10-24 매직 립, 인코포레이티드 컬러 가상 콘텐츠 워핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
KR102359978B1 (ko) 2017-03-17 2022-02-07 매직 립, 인코포레이티드 다중-소스 가상 콘텐츠 합성을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
US10290120B2 (en) * 2017-03-20 2019-05-14 SK Commercial Construction, Inc. Color analysis and control using an electronic mobile device transparent display screen
US10803988B2 (en) * 2017-03-20 2020-10-13 SK Commercial Construction, Inc. Color analysis and control using a transparent display screen on a mobile device with non-transparent, bendable display screen or multiple display screen with 3D sensor for telemedicine diagnosis and treatment
US10499042B2 (en) * 2017-04-01 2019-12-03 Intel Corporation Barreling and compositing of images
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
EP3607382A1 (de) * 2017-04-06 2020-02-12 Konstantin Roggatz Augmented-reality(ar)-brille und verfahren zur einmischung virtueller bilder in ein durch mindestens ein brillenglas für einen träger der brille sichtbares bild
CN110832439B (zh) 2017-04-27 2023-09-29 奇跃公司 发光用户输入设备
US10497090B2 (en) * 2017-05-16 2019-12-03 Qualcomm Incorporated Systems and methods for reducing memory bandwidth via multiview compression/decompression
WO2018218253A1 (en) 2017-05-26 2018-11-29 vSports, LLC Mixed-reality kick tracking and simulation
IL270856B2 (en) * 2017-05-30 2023-12-01 Magic Leap Inc Power supply assembly with fan assembly for an electronic device
WO2018227011A1 (en) 2017-06-07 2018-12-13 vSports, LLC Mixed-reality sports tracking and simulation
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
JP7398962B2 (ja) 2017-07-28 2023-12-15 マジック リープ， インコーポレイテッド 画像を表示するためのファンアセンブリ
US10360832B2 (en) * 2017-08-14 2019-07-23 Microsoft Technology Licensing, Llc Post-rendering image transformation using parallel image transformation pipelines
US11533450B2 (en) 2017-09-25 2022-12-20 Comcast Cable Communications, Llc Anti-piracy video transmission and display
US10521881B1 (en) * 2017-09-28 2019-12-31 Apple Inc. Error concealment for a head-mountable device
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
US10652550B2 (en) * 2017-12-22 2020-05-12 Shenzhen China Star Optoelectronics Semiconductor Display Technology Co., Ltd. Compensation table compressing method
US11533272B1 (en) * 2018-02-06 2022-12-20 Amesite Inc. Computer based education methods and apparatus
CN110494792B (zh) 2018-03-07 2021-07-09 奇跃公司 外围设备的视觉跟踪
CN111819843A (zh) * 2018-03-09 2020-10-23 马克斯-普朗克科学促进学会 用于向用户显示信息的系统
US10714050B2 (en) * 2018-03-21 2020-07-14 Daqri, Llc Reducing latency in augmented reality (AR) displays
JP7188900B2 (ja) * 2018-03-30 2022-12-13 東京ガスｉネット株式会社 情報処理システム及びプログラム
US11039041B2 (en) * 2018-04-03 2021-06-15 Intel Corporation Display panel synchronization for a display device
US11006154B2 (en) * 2018-04-04 2021-05-11 DISH Technologies L.L.C. Selected replacement of digital imagery portions using augmented reality
US10636362B2 (en) 2018-04-09 2020-04-28 Apple Inc. Radio frequency signal emission induced display artifact mitigation systems and methods
US11262839B2 (en) * 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
CN112567329A (zh) * 2018-05-24 2021-03-26 复合光子美国公司 用于驱动显示器的系统和方法
US10827165B2 (en) * 2018-05-30 2020-11-03 Intel Corporation Enhanced imaging for thin form factor head mounted displays and near light field displays
US10825424B2 (en) * 2018-06-05 2020-11-03 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
US10410372B1 (en) * 2018-06-14 2019-09-10 The University Of North Carolina At Chapel Hill Methods, systems, and computer-readable media for utilizing radial distortion to estimate a pose configuration
WO2019246058A1 (en) * 2018-06-18 2019-12-26 Magic Leap, Inc. Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device
US11624909B2 (en) 2018-06-18 2023-04-11 Magic Leap, Inc. Head-mounted display systems with power saving functionality
JP7419270B2 (ja) * 2018-06-21 2024-01-22 マジック リープ， インコーポレイテッド ウェアラブルシステム発話処理
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
GB2575097B (en) * 2018-06-29 2023-01-18 Advanced Risc Mach Ltd Data processing systems
US10802585B2 (en) * 2018-07-12 2020-10-13 Apple Inc. Electronic devices with display operation based on eye activity
CN112470464B (zh) * 2018-07-23 2023-11-28 奇跃公司 场顺序显示器中的场内子码时序
EP3827299A4 (en) 2018-07-23 2021-10-27 Magic Leap, Inc. SYSTEM OF MIXED REALITY WITH VIRTUAL CONTENT DISTORTION AND PROCESS FOR GENERATING VIRTUAL CONTENT WITH IT
USD930614S1 (en) 2018-07-24 2021-09-14 Magic Leap, Inc. Totem controller having an illumination region
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
WO2020026226A1 (en) * 2018-07-30 2020-02-06 Reality Plus Ltd. Mixed reality glasses which display virtual objects that move naturally throughout a user's complete field of view
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
US10957112B2 (en) 2018-08-13 2021-03-23 Magic Leap, Inc. Cross reality system
US10607353B2 (en) * 2018-08-30 2020-03-31 Facebook Technologies, Llc Structured light depth sensing
CN112639579B (zh) * 2018-08-31 2023-09-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
US11040441B2 (en) * 2018-09-20 2021-06-22 Sony Group Corporation Situation-aware robot
US11455705B2 (en) * 2018-09-27 2022-09-27 Qualcomm Incorporated Asynchronous space warp for remotely rendered VR
US11232635B2 (en) 2018-10-05 2022-01-25 Magic Leap, Inc. Rendering location specific virtual content in any location
US11308681B1 (en) * 2018-11-02 2022-04-19 Facebook Technologies, Llc. Display engine for post-rendering processing
CN109327284B (zh) * 2018-11-27 2021-04-13 联想(北京)有限公司 数据传输方法、装置及电子设备
KR102091217B1 (ko) 2018-12-12 2020-03-19 주식회사 하이쓰리디 모바일 증강현실 영상 편집 시스템
CN115100020A (zh) * 2019-01-18 2022-09-23 奇跃公司 虚拟、增强和混合现实系统以及方法
WO2020152550A1 (en) * 2019-01-21 2020-07-30 Maestre Gomez Esteban Method and system for virtual acoustic rendering by time-varying recursive filter structures
EP3931827A4 (en) 2019-03-01 2022-11-02 Magic Leap, Inc. INPUT DETERMINATION FOR A VOICE PROCESSING ENGINE
US11373400B1 (en) 2019-03-18 2022-06-28 Express Scripts Strategic Development, Inc. Methods and systems for image processing to present data in augmented reality
US11089282B2 (en) 2019-05-23 2021-08-10 Magic Leap, Inc. Blended mode three dimensional display systems and methods
US11386237B2 (en) * 2019-06-19 2022-07-12 Facebook Technologies, Llc Scalable encryption engine having partitionable data paths
US11288763B1 (en) * 2019-06-21 2022-03-29 Gopro, Inc. Systems and methods for visually encoding information into a pixel-based image
US11189061B2 (en) * 2019-06-25 2021-11-30 Universal City Studios Llc Systems and methods for virtual feature development
US11049330B2 (en) * 2019-06-27 2021-06-29 Facebook Technologies, Llc Color reference for overlaid images
US20220319105A1 (en) * 2019-07-10 2022-10-06 Sony Interactive Entertainment Inc. Image display apparatus, image display system, and image display method
CN112241068A (zh) * 2019-07-18 2021-01-19 三星电子株式会社 能够多深度表达的图像显示装置
EP4001995A4 (en) * 2019-07-18 2023-11-29 Samsung Electronics Co., Ltd. IMAGE DISPLAY DEVICE FOR EXPRESSING MULTIPLE DEPTHS
US11328740B2 (en) 2019-08-07 2022-05-10 Magic Leap, Inc. Voice onset detection
US11176901B1 (en) * 2019-08-13 2021-11-16 Facebook Technologies, Llc. Pan-warping and modifying sub-frames with an up-sampled frame rate
US11660535B2 (en) * 2019-10-11 2023-05-30 Nvidia Corporation Hardware acceleration and event decisions for late latch and warp in interactive computer products
CN114616534A (zh) 2019-10-15 2022-06-10 奇跃公司 具有无线指纹的交叉现实系统
US11568605B2 (en) 2019-10-15 2023-01-31 Magic Leap, Inc. Cross reality system with localization service
WO2021076757A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system supporting multiple device types
US11232834B2 (en) 2019-10-29 2022-01-25 Qualcomm Incorporated Pose estimation in extended reality systems
IL270429B2 (en) * 2019-11-05 2023-08-01 Simbionix Ltd A method and system for an enveloping mixed reality space(s).
CN114730546A (zh) 2019-11-12 2022-07-08 奇跃公司 具有定位服务和基于位置的共享内容的交叉现实系统
CN110990917A (zh) * 2019-11-19 2020-04-10 北京长空云海科技有限公司 Bim模型展示的方法、装置及系统
WO2021107828A1 (en) * 2019-11-26 2021-06-03 Telefonaktiebolaget Lm Ericsson (Publ) Supply of multi-layer extended reality images to a user
IL271129B (en) * 2019-12-02 2021-12-01 Elbit Systems Ltd Method and system for optical vision through a head-mounted display of virtual objects precisely aligned with external objects
WO2021113482A1 (en) 2019-12-06 2021-06-10 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
CN113031754A (zh) * 2019-12-09 2021-06-25 未来市股份有限公司 头戴式显示系统及其旋转中心修正方法
US11562542B2 (en) 2019-12-09 2023-01-24 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
US11109073B2 (en) * 2020-01-16 2021-08-31 Rockwell Collins, Inc. Image compression and transmission for heads-up display (HUD) rehosting
CN115004128A (zh) 2020-01-27 2022-09-02 奇跃公司 基于注视计时器的用户输入设备的功能增强
KR20210096449A (ko) 2020-01-28 2021-08-05 삼성전자주식회사 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템
US20210240257A1 (en) * 2020-01-31 2021-08-05 Ati Technologies Ulc Hiding latency in wireless virtual and augmented reality systems
US11170678B2 (en) 2020-02-06 2021-11-09 Varjo Technologies Oy Display apparatus and method incorporating gaze-based modulation of pixel values
EP4052245A1 (en) * 2020-02-06 2022-09-07 Varjo Technologies Oy Display apparatus and method incorporating adaptive pose locking
US11308900B2 (en) 2020-02-06 2022-04-19 Varjo Technologies Oy Display apparatus and method incorporating sub-pixel aware shifting and overlap compensation
US11348514B2 (en) 2020-02-06 2022-05-31 Varjo Technologies Oy LED-based display apparatus and method incorporating sub-pixel shifting
US11307410B2 (en) 2020-02-06 2022-04-19 Varjo Technologies Oy Display apparatus and method incorporating adaptive pose locking
US11625037B2 (en) * 2020-02-13 2023-04-11 Honeywell International Inc. Methods and systems for searchlight control for aerial vehicles
WO2021163306A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with accurate shared maps
CN115398314A (zh) 2020-02-13 2022-11-25 奇跃公司 使用多分辨率帧描述符进行地图处理的交叉现实系统
EP4104145A4 (en) 2020-02-13 2024-01-24 Magic Leap Inc CROSS-REALLY SYSTEM PRIORITIZING GEOLOCALIZATION INFORMATION FOR LOCALIZATION
USD940688S1 (en) * 2020-02-19 2022-01-11 XRSpace CO., LTD. Controller
JP2023515524A (ja) 2020-02-26 2023-04-13 マジック リープ， インコーポレイテッド 高速位置特定を伴うクロスリアリティシステム
EP4091128A4 (en) * 2020-02-27 2023-06-21 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD FOR DEPTH MAP REPROJECTION ON AN ELECTRONIC DEVICE
US11107290B1 (en) 2020-02-27 2021-08-31 Samsung Electronics Company, Ltd. Depth map re-projection on user electronic devices
US11917384B2 (en) 2020-03-27 2024-02-27 Magic Leap, Inc. Method of waking a device using spoken voice commands
WO2021222371A1 (en) 2020-04-29 2021-11-04 Magic Leap, Inc. Cross reality system for large scale environments
KR20210143607A (ko) * 2020-05-20 2021-11-29 삼성전자주식회사 이미지 생성 장치 및 방법
KR20220008118A (ko) 2020-07-13 2022-01-20 삼성전자주식회사 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치
KR20220009733A (ko) * 2020-07-16 2022-01-25 엘지디스플레이 주식회사 증강 현실을 구현할 수 있는 착용형 표시 시스템
CN111915683A (zh) * 2020-07-27 2020-11-10 湖南大学 图像位置标定方法、智能设备及存储介质
US11228750B1 (en) * 2020-09-08 2022-01-18 Rovi Guides, Inc. Systems and methods for generating virtual reality scenes
JP2022046316A (ja) * 2020-09-10 2022-03-23 キヤノン株式会社 情報提示システム、その制御方法、および、プログラム
CN112181139B (zh) * 2020-09-17 2022-04-15 东北大学 一种虚拟现实和混合现实的协作控制交互方法
CN116547582A (zh) * 2020-09-25 2023-08-04 苹果公司 视频透传电子设备的结构化显示关机
US11648959B2 (en) * 2020-10-20 2023-05-16 Argo AI, LLC In-vehicle operation of simulation scenarios during autonomous vehicle runs
KR20220074643A (ko) * 2020-11-27 2022-06-03 가온미디어 주식회사 슬림형 xr 디바이스 및 그 제어 방법
KR20220093985A (ko) * 2020-12-28 2022-07-05 삼성전자주식회사 이미지 지연 보정 방법 및 이를 이용한 장치
US20220254114A1 (en) * 2021-02-08 2022-08-11 CITA Equity Partners, LLC Shared mixed reality and platform-agnostic format
US11741918B1 (en) 2021-02-22 2023-08-29 Apple Inc. Display with a vignetting mask
WO2022197987A1 (en) * 2021-03-19 2022-09-22 Dolby Laboratories Licensing Corporation Sensor data prediction
CN117120912A (zh) * 2021-04-06 2023-11-24 维耶尔公司 具有混合式显示器的ar系统
WO2022229943A1 (en) * 2021-04-27 2022-11-03 Elbit Systems Ltd Optical see through (ost) head mounted display (hmd) system and method for precise alignment of virtual objects with outwardly viewed objects
KR20220156331A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 이미지 지연을 보정하기 위한 전자 장치 및 방법
US11570418B2 (en) 2021-06-17 2023-01-31 Creal Sa Techniques for generating light field data by combining multiple synthesized viewpoints
JP7365066B2 (ja) * 2021-12-08 2023-10-19 株式会社palan 表示システム
KR20230088534A (ko) * 2021-12-10 2023-06-20 삼성디스플레이 주식회사 표시장치 및 이의 구동방법
US11900840B2 (en) 2021-12-13 2024-02-13 Qualcomm Incorporated Chrominance optimizations in rendering pipelines
KR20230105139A (ko) * 2022-01-03 2023-07-11 한국전자통신연구원 깊이 분포 기반 워핑 영상 혼합 방법 및 장치
GB202205618D0 (en) * 2022-04-14 2022-06-01 V Nova Int Ltd Extended reality encoding
US20230350213A1 (en) * 2022-04-28 2023-11-02 Dell Products, Lp Method and apparatus for a frame, shroud, and face mask for a head mounted display device
US20230350203A1 (en) * 2022-04-29 2023-11-02 Snap Inc. Ar/vr enabled contact lens
JP2023177951A (ja) * 2022-06-03 2023-12-14 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよびコンテンツ表示システム
US20240037698A1 (en) * 2022-07-27 2024-02-01 Rockwell Collins, Inc. Head-frame symbology isolation for head worn display (hwd)
WO2024029212A1 (ja) * 2022-08-03 2024-02-08 ソニーグループ株式会社 立体画像表示装置および立体画像表示方法
KR102617175B1 (ko) * 2022-08-04 2023-12-27 주식회사 라온텍 화면 왜곡 보정이 가능한 디스플레이 장치 및 그의 화면 왜곡 보정 방법
US11797099B1 (en) * 2022-09-19 2023-10-24 Snap Inc. Visual and audio wake commands

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3022558B1 (ja) 1998-05-21 2000-03-21 日本電信電話株式会社 三次元表示方法及び装置
JP2000261832A (ja) 1999-03-08 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 三次元表示方法およびヘッドマウントディスプレイ装置
JP2001320738A (ja) 2000-05-12 2001-11-16 Nippon Telegr & Teleph Corp <Ntt> 三次元表示方法
JP2004109994A (ja) 2002-08-30 2004-04-08 Olympus Corp 頭部装着型画像表示システム装置及びその画像処理方法
JP2004236191A (ja) 2003-01-31 2004-08-19 Nikon Corp 画像表示装置
JP2004274642A (ja) 2003-03-12 2004-09-30 Nippon Telegr & Teleph Corp <Ntt> ３次元映像情報の伝送方法
JP2007166277A (ja) 2005-12-14 2007-06-28 Nippon Telegr & Teleph Corp <Ntt> ３次元画像情報の伝送方法、送信側装置および受信側装置
WO2016054092A1 (en) 2014-09-29 2016-04-07 Magic Leap, Inc. Architectures and methods for outputting different wavelength light out of waveguides

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583656A (en) * 1992-12-31 1996-12-10 Eastman Kodak Company Methods and apparatus for attaching compressed look-up table (LUT) representations of N to M-dimensional transforms to image data and for processing image data utilizing the attached compressed LUTs
JP3212762B2 (ja) * 1993-06-11 2001-09-25 オリンパス光学工業株式会社 表示装置
US5594563A (en) * 1994-05-31 1997-01-14 Honeywell Inc. High resolution subtractive color projection system
US5760636A (en) * 1996-06-28 1998-06-02 Intel Corporation Adjusting clock frequency and voltage supplied to a processor in a computer system
US6988214B1 (en) * 2000-11-06 2006-01-17 Dell Products L.P. Processor power state transistions using separate logic control
JP3755593B2 (ja) * 2002-03-26 2006-03-15 セイコーエプソン株式会社 投写型画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
HUP0203993A2 (hu) * 2002-11-19 2004-08-30 László Domján Binokuláris videoszemüveg optikai rendszere
US7205960B2 (en) * 2003-02-19 2007-04-17 Mirage Innovations Ltd. Chromatic planar optic display system
EP1889171A4 (en) * 2005-04-07 2012-11-28 Visionsense Ltd METHOD FOR RECONSTRUCTING A THREE-DIMENSIONAL SURFACE OF AN OBJECT
JP4013989B2 (ja) * 2006-02-20 2007-11-28 松下電工株式会社 映像信号処理装置、仮想現実感生成システム
JP2009105593A (ja) * 2007-10-23 2009-05-14 Nikon Corp ヘッドマウントディスプレイ装置
US8266507B2 (en) 2007-11-16 2012-09-11 Samsung Electronics Co., Ltd. Data processing apparatus for operating lens correction and method for compressing and restoring lookup table values
JP5094430B2 (ja) * 2008-01-10 2012-12-12 キヤノン株式会社 画像処理方法、画像処理装置、システム
JP5078781B2 (ja) * 2008-07-04 2012-11-21 オリンパス株式会社 画像表示装置及び撮像装置
JP5388534B2 (ja) 2008-10-09 2014-01-15 キヤノン株式会社 画像処理装置およびその方法、頭部装着型ディスプレイ、プログラム、記録媒体
JP5341462B2 (ja) 2008-10-14 2013-11-13 キヤノン株式会社 収差補正方法、画像処理装置および画像処理システム
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
KR101222155B1 (ko) * 2010-03-15 2013-01-15 한국과학기술원 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법
JP5652037B2 (ja) * 2010-07-30 2015-01-14 富士通株式会社 模擬映像生成装置、方法、プログラム
JP5299383B2 (ja) * 2010-08-20 2013-09-25 株式会社Ｊｖｃケンウッド 画像補正装置および画像補正方法
US8595529B2 (en) * 2010-12-16 2013-11-26 Qualcomm Incorporated Efficient power management and optimized event notification in multi-processor computing devices
JP5948801B2 (ja) * 2011-11-14 2016-07-06 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US10509466B1 (en) * 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
US8670000B2 (en) * 2011-09-12 2014-03-11 Google Inc. Optical display system and method with virtual image contrast control
JP2013061442A (ja) * 2011-09-13 2013-04-04 Seiko Epson Corp 電気光学装置
US8862338B2 (en) * 2011-09-29 2014-10-14 Cnh Industrial Canada, Ltd. Method and apparatus for auto-leveling of bulk fill hopper frame
JP5779512B2 (ja) * 2012-01-24 2015-09-16 株式会社ソシオネクスト 画像の光学歪み補正装置，画像の光学歪み補正方法，および，画像の光学歪み補正装置を有する画像生成装置
CN104115491A (zh) * 2012-02-22 2014-10-22 索尼公司 显示装置、图像处理装置和图像处理方法、以及计算机程序
KR101222153B1 (ko) * 2012-05-21 2013-01-15 한국과학기술원 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법
US8793518B2 (en) * 2012-06-13 2014-07-29 Dell Products Lp Systems and methods for providing supplemental power to battery powered information handling systems
JP5929567B2 (ja) * 2012-07-03 2016-06-08 ソニー株式会社 画像信号処理装置、および画像信号処理方法、並びにプログラム
US20150237323A1 (en) * 2012-07-23 2015-08-20 Thomlson Licensing 3d video representation using information embedding
WO2014115400A1 (ja) * 2013-01-22 2014-07-31 ソニー株式会社 投影型画像表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
US20140376773A1 (en) * 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9514571B2 (en) * 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
US11402629B2 (en) 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
CN107315249B (zh) * 2013-11-27 2021-08-17 奇跃公司 虚拟和增强现实系统与方法
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9652893B2 (en) * 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
US9983663B2 (en) * 2014-05-16 2018-05-29 Qualcomm Incorporated Imaging arrangement for object motion detection and characterization
US10438331B2 (en) 2014-06-26 2019-10-08 Intel Corporation Distortion meshes against chromatic aberrations
JP2016016856A (ja) * 2014-07-04 2016-02-01 現代自動車株式会社Ｈｙｕｎｄａｉｍｏｔｏｒ Ｃｏｍｐａｎｙ 車両ランプ用光学モジュールの故障判断方法および装置
US10368011B2 (en) * 2014-07-25 2019-07-30 Jaunt Inc. Camera array removing lens distortion
US20160025971A1 (en) * 2014-07-25 2016-01-28 William M. Crow Eyelid movement as user input
US9462189B2 (en) * 2014-07-31 2016-10-04 Apple Inc. Piecewise perspective transform engine
WO2016032973A1 (en) * 2014-08-25 2016-03-03 Schepens Eye Research Institute Compensating 3d stereoscopic imagery
US9836828B2 (en) * 2015-04-22 2017-12-05 Esight Corp. Methods and devices for optical aberration correction
CN114998557A (zh) * 2015-08-18 2022-09-02 奇跃公司 虚拟和增强现实系统和方法
US20170115489A1 (en) * 2015-10-26 2017-04-27 Xinda Hu Head mounted display device with multiple segment display and optics
US20170169612A1 (en) 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method
KR101785027B1 (ko) * 2016-01-14 2017-11-06 주식회사 라온텍 화면 왜곡 보정이 가능한 디스플레이 장치 및 이를 이용한 화면 왜곡 보정 방법
CN105791789B (zh) * 2016-04-28 2019-03-19 努比亚技术有限公司 头戴设备、显示设备及自动调整显示输出的方法
US10156723B2 (en) * 2016-05-12 2018-12-18 Google Llc Display pre-distortion methods and apparatus for head-mounted displays
CN109863533B (zh) 2016-08-22 2024-03-15 奇跃公司 虚拟、增强和混合现实系统和方法
US10955685B2 (en) * 2018-12-28 2021-03-23 Lightspace Technologies, SIA Volumetric display arrangement and a method for representing content of an image

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3022558B1 (ja) 1998-05-21 2000-03-21 日本電信電話株式会社 三次元表示方法及び装置
JP2000261832A (ja) 1999-03-08 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 三次元表示方法およびヘッドマウントディスプレイ装置
JP2001320738A (ja) 2000-05-12 2001-11-16 Nippon Telegr & Teleph Corp <Ntt> 三次元表示方法
JP2004109994A (ja) 2002-08-30 2004-04-08 Olympus Corp 頭部装着型画像表示システム装置及びその画像処理方法
JP2004236191A (ja) 2003-01-31 2004-08-19 Nikon Corp 画像表示装置
JP2004274642A (ja) 2003-03-12 2004-09-30 Nippon Telegr & Teleph Corp <Ntt> ３次元映像情報の伝送方法
JP2007166277A (ja) 2005-12-14 2007-06-28 Nippon Telegr & Teleph Corp <Ntt> ３次元画像情報の伝送方法、送信側装置および受信側装置
WO2016054092A1 (en) 2014-09-29 2016-04-07 Magic Leap, Inc. Architectures and methods for outputting different wavelength light out of waveguides

Also Published As

Publication number Publication date
CA3034384A1 (en) 2018-03-01
EP3500977A4 (en) 2019-09-11
KR102246836B1 (ko) 2021-04-29
KR20220016308A (ko) 2022-02-08
US11823360B2 (en) 2023-11-21
KR102634343B1 (ko) 2024-02-05
JP2019535156A (ja) 2019-12-05
CN109863533A (zh) 2019-06-07
EP3500977B1 (en) 2023-06-28
IL276547B (en) 2021-12-01
KR102357273B1 (ko) 2022-02-08
IL307594A (en) 2023-12-01
JP2023015037A (ja) 2023-01-31
KR20230122177A (ko) 2023-08-22
US20200098097A1 (en) 2020-03-26
EP3500977A1 (en) 2019-06-26
KR20190042644A (ko) 2019-04-24
IL287380B2 (en) 2024-03-01
AU2017317600B2 (en) 2021-12-09
AU2022201611B2 (en) 2022-12-01
JP6880174B2 (ja) 2021-06-02
US10748259B2 (en) 2020-08-18
IL287380A (en) 2021-12-01
KR20240024290A (ko) 2024-02-23
AU2023201212A1 (en) 2023-04-06
IL276547A (en) 2020-09-30
IL264666B (en) 2020-08-31
EP4235391A2 (en) 2023-08-30
JP2020195154A (ja) 2020-12-03
US20240046433A1 (en) 2024-02-08
US20200342577A1 (en) 2020-10-29
EP4235391A3 (en) 2023-10-25
KR20210047979A (ko) 2021-04-30
US11151699B2 (en) 2021-10-19
US20220005164A1 (en) 2022-01-06
AU2022201611A1 (en) 2022-03-31
AU2017317600A1 (en) 2019-02-28
US10529063B2 (en) 2020-01-07
KR102566791B1 (ko) 2023-08-11
CN109863533B (zh) 2024-03-15
IL287380B1 (en) 2023-11-01
US20180053284A1 (en) 2018-02-22
WO2018039270A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
JP7397777B2 (ja) 仮想現実、拡張現実、および複合現実システムおよび方法
JP7454627B2 (ja) 仮想および拡張現実システムならびに方法
CN118115357A (zh) 虚拟、增强和混合现实系统和方法
NZ791444A (en) Virtual, augmented, and mixed reality systems and methods
NZ791441A (en) Virtual, augmented, and mixed reality systems and methods
Das et al. NextGen XR Requirements State-of-the-Art

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220113

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221007

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221007

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221019

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221020

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20221111

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20221115

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221122

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230315

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231201

R150 Certificate of patent or registration of utility model

Ref document number: 7397777

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150