JP7274682B2 - ３ｄ環境からデータをレンダリングするためのシステムおよび方法 - Google Patents

３ｄ環境からデータをレンダリングするためのシステムおよび方法 Download PDF

Info

Publication number
JP7274682B2
JP7274682B2 JP2020538963A JP2020538963A JP7274682B2 JP 7274682 B2 JP7274682 B2 JP 7274682B2 JP 2020538963 A JP2020538963 A JP 2020538963A JP 2020538963 A JP2020538963 A JP 2020538963A JP 7274682 B2 JP7274682 B2 JP 7274682B2
Authority
JP
Japan
Prior art keywords
energy
virtual
ray
scene
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020538963A
Other languages
English (en)
Other versions
JP2021512394A (ja
JPWO2019140414A5 (ja
Inventor
カラフィン，ジョナサン，シーン
ベヴェンシー，ブレンダン，エルウッド
Original Assignee
ライト フィールド ラボ、インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ライト フィールド ラボ、インコーポレイテッド filed Critical ライト フィールド ラボ、インコーポレイテッド
Publication of JP2021512394A publication Critical patent/JP2021512394A/ja
Publication of JPWO2019140414A5 publication Critical patent/JPWO2019140414A5/ja
Priority to JP2023061038A priority Critical patent/JP2023098929A/ja
Application granted granted Critical
Publication of JP7274682B2 publication Critical patent/JP7274682B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/04—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
    • G02B6/06—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images
    • G02B6/08—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images with fibre bundle in form of plate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type

Description

本開示は、一般に、３次元環境をデータセットにレンダリングして、エネルギーフィールド投影装置に、４次元エネルギーフィールドを出力するように指示することに関する。
Ｇｅｎｅ ＲｏｄｄｅｎｂｅｒｒｙのＳｔａｒ Ｔｒｅｋにより世間一般に普及され、１９００年代初期に作家Ａｌｅｘａｎｄｅｒ Ｍｏｓｚｋｏｗｓｋｉによって当初計画された「Ｈｏｌｏｄｅｃｋ」室内のインタラクティブな仮想世界の夢は、ほぼ一世紀の間、空想科学小説および技術革新に対するインスピレーションである。しかしながら、この経験の画期的な実現は、文献、メディア、ならびに子供達および同様に大人達の集合的な想像力の外には、全く存在していない。本出願は、情報を、３Ｄ環境から、４Ｄエネルギーフィールド投影システムがモデル化された４Ｄエネルギーフィールドを３Ｄ環境からのシーンに出力することを可能にするためのフォーマットにレンダリングする、システムおよび方法を教示する。
一実施形態では、３次元（３Ｄ）環境から４次元（４Ｄ）エネルギーフィールドをレンダリングするための方法は、シーンの全体を通して配置された複数のエネルギーデータ点によって説明される３Ｄ環境のシーンを提供するステップと、複数の仮想ピクセルをシーン内の仮想ピクセル平面に配置するステップであって、各仮想ピクセルが、２Ｄ角座標および２Ｄ空間座標を含む既知の一意の４Ｄ座標を有する、配置するステップと、を含む。この実施形態では、各仮想ピクセルの２Ｄ角座標は、仮想ピクセルと、シーン内の仮想視認平面に配置された複数の仮想視点のうちの１つの仮想視点との間の角相関を説明し、各仮想ピクセルの２Ｄ空間座標は、シーン内の仮想表示面に配置された複数の仮想開口のうちの１つの仮想開口の位置を識別する。次に、仮想視認平面からの複数の光線に沿って、シーン内の複数のエネルギーデータ点のエネルギーデータ点をサンプリングし、各光線は、光線と交差する１つの仮想ピクセルの２Ｄ角座標によって決定された角度で、１つの仮想視点および１つの仮想ピクセルと交差し、各光線は、光線と交差した１つの仮想ピクセルの２Ｄ空間座標によって決定された１つの仮想開口と交差する。この実施形態では、本方法は、光線と交差した１つの仮想ピクセルに対して、各光線に沿ってサンプリングしたエネルギーデータ点とエネルギー値とを相関させることと、各光線の１つの仮想ピクセルのエネルギー値および各光線の１つの仮想ピクセルの既知の一意の４Ｄ座標を、エネルギー装置に４Ｄエネルギーフィールドを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングすることと、を含む。
一実施形態では、複数の光線のうちの少なくとも１つの光線は、複数の仮想視点の各仮想視点と交差する。一実施形態では、複数の光線のうちの１つの光線は、複数の仮想ピクセルの各仮想ピクセルと交差する。いくつかの実施形態では、４Ｄエネルギーフィールドは、明視野、ハプティックフィールド、またはタクタイルフィールドを含む。
一実施形態では、エネルギーデータ点は、エネルギー周波数、エネルギー強度、エネルギー透過性、エネルギー屈折性、またはエネルギー反射率、のうちの少なくとも１つを説明する値を含む。一実施形態では、３Ｄ環境は、深度マップを２次元空間内の点に適用することによって決定することができる。別の実施形態では、仮想表示平面は、エネルギー指向装置の導波管システムに対応し、エネルギーは、データセットに従って導波管システムを通して指向させて、シーンの少なくとも一部分の検出可能な４Ｄエネルギー表現を形成するように動作可能である。
一実施形態では、複数の仮想ピクセルは、導波管システムの第１の側の複数のエネルギー位置に対応する。別の実施形態では、データセットは、ベクトル化された材料特性データをさらに含む。動作中に、本方法の少なくとも一部分をリアルタイムで実行することができる。別の技術では、本方法の全体をリアルタイムで実行することができる。別の実施形態では、本方法の少なくとも２つの一部分が、異なる期間に実行される。
いくつかの実施形態では、データセットは、視覚、音声、テクスチャ、センセーショナル、または匂いセンサによって知覚可能な信号を説明する。一実施形態では、複数の光線の各光線に沿ってサンプリングしたエネルギーデータ点は、エネルギー値と同時に相関される。いくつかの場合では、データセットは、バイナリファイルフォーマットで格納される。
一実施形態では、複数の光線の各光線は、複数の仮想ピクセルのうちの１つの仮想ピクセルまで、およびそれを超えて、複数の仮想開口のうちの１つの仮想開口を通って延在し、複数のエネルギーデータ点のエネルギーデータ点は、仮想視認平面からサンプリングされる。
一実施形態では、上記のステップは、無制限に繰り返され得る。別の実施形態では、上記のステップは、無制限に繰り返して、３Ｄ環境から動的な４Ｄエネルギーフィールドをレンダリングし得る。
一実施形態では、エネルギーデータをレンダリングすることは、エネルギー装置のためのエネルギーデータを較正することをさらに含む。一実施形態では、光線ファイルは、各仮想視点の位置を識別する３Ｄ空間座標、およびすべての光線と交差する１つの仮想ピクセルの２Ｄ角座標を格納する。別の実施形態では、光線ファイルは、各仮想視点の３Ｄ空間座標と、仮想視点と交差するすべての光線と交差するすべての仮想ピクセルの２Ｄ角座標とを関連付ける。さらに別の実施形態では、光線ファイルは、光線と交差する１つの仮想視点からの光線に沿って、複数のエネルギーデータ点のエネルギーデータ点をサンプリングするための各光線に対する指示を提供し、この指示は、少なくとも、光線と交差する１つの仮想視点の３Ｄ空間座標、および光線と交差する１つの仮想ピクセルの２Ｄ角座標によって決定される。
一実施形態では、動的な３次元（３Ｄ）環境から４次元（４Ｄ）エネルギーフィールドをレンダリングするためのシステムは、感覚データエンジンおよびレンダリングエンジンを有するプロセスサブシステムを含み、感覚データエンジンは、シーンの全体を通して配置された複数のエネルギーデータ点によって説明される３Ｄ環境のシーンを提供する。この実施形態では、感覚データエンジンは、シーンの仮想ピクセル平面に複数の仮想ピクセルを配置し、各仮想ピクセルは、２Ｄ角座標および２Ｄ空間座標を含む既知の一意の４Ｄ座標を有する。各仮想画素座標の２Ｄ角度は、仮想ピクセルと、感覚データエンジンによってシーン内の仮想視認平面に配置された複数の仮想視点の仮想視点との間の角相関を説明し、一方で、各仮想ピクセルの２Ｄ空間座標は、感覚データエンジンによってシーン内の仮想表示平面に配置された複数の仮想開口のうちの１つの仮想開口の位置を識別する。
この実施形態では、レンダリングエンジンは、仮想視認平面からの複数の光線に沿って、シーン内の複数のエネルギーデータ点のエネルギーデータ点をサンプリングし、各光線は、光線と交差する１つの仮想ピクセルの２Ｄ角座標によって決定された角度で、１つの仮想視点および１つの仮想ピクセルと交差し、各光線は、光線と交差した１つの仮想ピクセルの２Ｄ空間座標によって決定された１つの仮想開口と交差する。
さらにこの実施形態では、レンダリングエンジンは、各光線に沿ってサンプリングしたエネルギーデータ点と、複数の仮想ピクセルのうちの１つの仮想ピクセルのためのエネルギー値とを相関させ、レンダリングエンジンは、複数の仮想ピクセルのうちの１つの仮想ピクセルのエネルギー値および複数の仮想ピクセルのうちの１つの仮想ピクセルの既知の一意の４Ｄ座標を、エネルギー装置に４Ｄエネルギーフィールドを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングする。
一実施形態では、複数の光線のうちの少なくとも１つの光線は、複数の仮想視点の各仮想視点と交差する。別の実施形態では、複数の光線のうちの１つの光線は、複数の仮想ピクセルの各仮想ピクセルと交差する。いくつかの実施形態では、４Ｄエネルギーフィールドは、明視野、ハプティックフィールド、またはタクタイルフィールドであり得る。
一実施形態では、エネルギーデータ点は、エネルギー周波数、エネルギー強度、エネルギー透過性、エネルギー屈折性、またはエネルギー反射率、のうちの少なくとも１つを説明する値を含む。動作中に、３Ｄ環境は、２次元空間内の点に深度マップを適用することによって決定される。
一実施形態では、仮想表示平面は、エネルギー指向装置の導波管システムに対応し、エネルギーは、シーンの少なくとも一部分の検出可能な４Ｄエネルギーフィールド表現を形成するように、データセットに従って導波管システムを通して指向される。別の実施形態では、複数の仮想ピクセルは、導波管システムの第１の側の複数のエネルギー位置に対応する。別の実施形態では、データセットは、ベクトル化された材料特性データをさらに含む。
動作中に、システムの少なくとも一部分がリアルタイムで実行される。別の動作では、システムは、リアルタイムで完全に実行される。別の実施形態では、システムの少なくとも２つの一部分が異なる期間に実行される。
一実施形態では、データセットは、視覚、音声、テクスチャ、センセーショナル、または匂いセンサによって知覚可能な信号を説明する。別の実施形態では、複数の光線の各光線に沿ってサンプリングしたエネルギーデータ点は、エネルギー値と同時に相関される。さらに別の実施形態では、データセットは、バイナリファイルフォーマットで格納される。
一実施形態では、複数のエネルギーデータ点のエネルギーデータ点は、複数の光線の各光線に沿ってレンダリングエンジンによってサンプリングされ、この光線は、仮想視認平面から、複数の仮想開口のうちの１つの仮想開口を通して、複数の仮想ピクセルのうちの１つの仮想ピクセルまで、およびそれを超えて延在する。別の実施形態では、システムは、動的な３Ｄ環境から動的な４Ｄエネルギーフィールドをレンダリングするために、無制限に動作され得る。さらに別の実施形態では、システムは、データセットを格納するためにメモリをさらに含む。一実施形態では、レンダリングシステムは、エネルギー装置のためのエネルギーデータを較正する。別の実施形態では、システムは、複数のエネルギーデータ点を格納するためにメモリをさらに備える。
一実施形態では、光線ファイルは、各仮想視点の位置を識別する３Ｄ空間座標、およびすべての光線と交差する１つの仮想ピクセルの２Ｄ角座標を格納する。別の実施形態では、光線ファイルは、各仮想視点の３Ｄ空間座標と、仮想視点と交差するすべての光線と交差するすべての仮想ピクセルの２Ｄ角座標とを関連付ける。さらに別の実施形態では、光線ファイルは、光線と交差する１つの仮想視点からの光線に沿って、複数のエネルギーデータ点のエネルギーデータ点をサンプリングするための各光線に対する指示を提供し、この指示は、少なくとも、光線と交差する１つの仮想視点の３Ｄ空間座標、および光線と交差する１つの仮想ピクセルの２Ｄ角座標によって決定される。
一実施形態では、３次元（３Ｄ）環境からエネルギーデータをレンダリングするための方法は、シーンの全体を通して配置された複数のエネルギーデータ点によって説明される３Ｄ環境のシーンを提供するステップと、複数の仮想ピクセルをシーン内の仮想ピクセル平面に配置するステップであって、各仮想ピクセルが、２Ｄ角座標および２Ｄ空間座標を含む既知の一意の４Ｄ座標を有する、配置するステップと、を含む。各仮想ピクセルの２Ｄ角座標は、仮想ピクセルと、シーンの仮想視認平面に配置された複数の仮想視点のうちの１つの仮想視点との間の角相関を説明し、一方で、各仮想ピクセルの２Ｄ空間座標は、シーン内の仮想表示面に配置された複数の仮想開口のうちの１つの仮想開口の位置を識別する。本方法の次のステップは、仮想視認平面からの複数の光線に沿って、シーン内の複数のエネルギーデータ点のエネルギーデータ点をサンプリングし、各光線は、光線と交差する１つの仮想ピクセルの２Ｄ角座標によって決定された角度で、１つの仮想視点および１つの仮想ピクセルと交差し、各光線は、光線と交差した１つの仮想ピクセルの２Ｄ空間座標によって決定された１つの仮想開口と交差する。１つの方法では、次のステップは、光線と交差した１つの仮想ピクセルに対して、各光線に沿ってサンプリングしたエネルギーデータ点とエネルギー値とを相関させることと、各光線の１つの仮想ピクセルのエネルギー値および各光線の１つの仮想ピクセルの既知の一意の４Ｄ座標を、エネルギー装置にエネルギーデータを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングすることと、を含む。
一実施形態では、各仮想開口は、２つの光線と交差する。別の実施形態では、複数の仮想視点は、２つの仮想視点を含む。いくつかの実施形態では、データセットは、エネルギー装置に立体画像を出力するように指示するために動作可能なフォーマットを有し、データセットは、エネルギー装置に仮想現実画像を出力するように指示するために動作可能なフォーマットを有し、またはデータセットは、エネルギー装置に拡張現実画像を出力するように指示するために動作可能なフォーマットを有する。
一実施形態では、各仮想開口は、いくつかの光線と交差する。別の実施形態では、データセットは、エネルギー装置に複数のビューから画像を出力するように指示するために動作可能なフォーマットを有し、複数のビューは、各仮想開口と交差する光線の数に対応する。
エネルギー指向システムの設計パラメータを示す概略図である。 機械的エンベロープを有する能動装置領域を有するエネルギーシステムを示す概略図である。 エネルギー・リレーシステムを示す概略図である。 互いに接着されてベース構造体に固定されたエネルギー・リレー要素の一実施形態を示す概略図である。 マルチコア光ファイバーを介してリレーされた画像の一例を示す概略図である。 横アンダーソン局在原理の特性を示すエネルギー・リレーを介してリレーされた画像の一例を示す概略図である。 エネルギー面から視認者に伝搬する光線を示す概略図である。 本開示の一実施形態による、ベース構造体と、４つのエネルギー装置と、シームレスなエネルギー面を形成する４つのエネルギー・リレー要素とを有するエネルギー導波路システムの斜視図を示す。 本開示の一実施形態による、エネルギー・リレーシステムを示す。 本開示の一実施形態による、エネルギー導波路システムの一実施形態のトップダウン透視図を示す。 図７Ｃに示す実施形態の正面斜視図である。 図７Ｅ～７Ｌはエネルギー抑制要素の様々な実施形態を示す。 同上。 同上。 同上。 同上。 同上。 同上。 同上。 ホログラフィック感覚データを処理するためのプロセスの一実施形態を示すフローチャートである。 感覚データから構築された仮想環境の概略図である。 エネルギー追跡の一実施形態を示す概略図である。 追跡プロセス実施中のエネルギー指向装置１０００の一実施形態を示す概略図である。 ホログラフィック感覚データを処理するための処理システムの概略図である。 ベクトル化処理の一実施形態を示すブロック図である。 ３Ｄ環境のエネルギーをモデル化するいくつかの態様を示す。 ３Ｄ環境から４Ｄエネルギーフィールドをレンダリングするためのプロセスの一実施形態を示すフローチャートである。 図１６Ａは３Ｄ環境の視覚表現を表す。 ３Ｄ環境からの仮想ピクセル、仮想開口、および仮想視点の１つの観点を表す。 ３Ｄ環境からの仮想ピクセル、仮想開口、および仮想視点の１つの観点を表す。 図１９Ａは仮想視点の観点からの３Ｄ環境の視覚表現を表す。 ３Ｄ環境からのエネルギーデータをレンダリングするためのプロセスの一実施形態を示すフローチャートである。 デジタル体積型表現における様々なオブジェクトを介した逆トレーシングの概略図である。 ３Ｄ環境からの４Ｄエネルギーフィールドをレンダリングするためのシステムの一実施形態を示す概略図である。
Ｈｏｌｏｄｅｃｋ（集合的に「Ｈｏｌｏｄｅｃｋ設計パラメータ」と呼ばれる）の一実施形態は、十分なエネルギー刺激を提供して、人間の感覚受容器をだまし、仮想的、社会的、およびインタラクティブな環境内で受容されたエネルギーインパルスが真実であると信じ込ませ、１）外付けアクセサリ、ヘッドマウントアイウェア、または他の周辺機器を伴わない両眼視差、２）任意の数の視認者に対して同時に視認体積全域にわたる正確な運動視差、閉鎖、および不透明度、３）知覚されたすべての光線に対する、同期収束、目の遠近調節、および縮瞳を介した視覚的焦点、ならびに４）視覚、聴覚、触覚、味覚、嗅覚、および／またはバランスに対して人間の感覚「解像度」を超えるほどの十分な密度および解像度の収束エネルギー波伝搬を提供する。
これまでの従来の技術に基づいて、視覚系、聴覚系、体性感覚系、味覚系、嗅覚系、および前庭系を含むＨｏｌｏｄｅｃｋ設計パラメータ（Ｈｏｌｏｄｅｃｋ Ｄｅｓｉｇｎ Ｐａｒａｍｅｔｅｒ）によって示唆されたように、画期的な方法ですべての受容野を提供することが可能な技術から、我々は、数世紀とまでは言わないが、数十年経過したところにある。
本開示では、明視野およびホログラフィックという用語は、任意の感覚受容器応答の刺激のためのエネルギー伝搬を定義するために、同義的に使用され得る。最初の開示は、ホログラフィック画像および体積型ハプティクスに対するエネルギー面を通るエネルギーおよび機械的エネルギー伝搬の例に言及し得るが、あらゆる形態の感覚受容器が、本開示の中で想定される。さらに、伝搬経路に沿ったエネルギー伝搬に対する本明細書に開示された原理は、エネルギー放出およびエネルギー捕捉の両方に適用可能であり得る。
今日、多くの技術が存在し、それらは、残念ながら、レンチキュラー印刷、ペッパーズゴースト、裸眼立体ディスプレイ、水平視差ディスプレイ、ヘッドマウントＶＲおよびＡＲディスプレイ（ＨＭＤ）、ならびに「擬似ホログラム」として一般化された他のそのような錯覚を含む、ホログラムと混同されていることが多い。これらの技術は、真のホログラフィックディスプレイの所望の特性のいくつかを呈し得るが、識別された４つのＨｏｌｏｄｅｃｋ設計パラメータのうちの少なくとも２つに対処するのに十分な任意の方法で、人間の視覚感覚応答を刺激する能力が不足している。
これらの課題は、従来の技術が、Ｈｏｌｏｄｅｃｋエネルギー伝搬に対して十分にシームレスなエネルギー面を生成するように、首尾よく実施されていないことである。しかしながら、視差バリア、ホーゲル、ボクセル、回折光学素子、マルチビュー投影、ホログラフィック拡散器、回転ミラー、多層ディスプレイ、時系列ディスプレイ、ヘッドマウントディスプレイ等を含む体積式および方向多重化明視野ディスプレイを実施するには、様々な手法があるが、従来の手法は、画質、解像度、角度サンプリング密度、サイズ、コスト、安全性、フレームレート等に関する妥協を必要とすることがあり、最終的には実行不可能な技術となる可能性がある。
視覚系、聴覚系、体性感覚系のためのＨｏｌｏｄｅｃｋ設計パラメータを達成するために、それぞれの系の各々の人間の鋭敏さが研究され、人間の感覚受容器を十分欺くようにエネルギー波を伝搬させることが理解される。視覚系は、約１角度分まで解像することができ、聴覚系は、わずか３度の配置差を区別し得、手の体性感覚系は、２～１２ｍｍ離れた点を識別することができる。これらの鋭敏さを測定するには、様々な相反する方法があるが、これらの値は、エネルギー伝搬の知覚を刺激するためのシステムおよび方法を理解するには十分である。
よく知られている感覚受容器のうち、人間の視覚系は、単一の光子でさえ感覚を誘発することができるとして、はるかに感度が高い。この理由のため、本導入の多くは、視覚エネルギー波伝搬に焦点を絞り、開示されたエネルギー導波路表面内に結合された極めて低い解像度のエネルギーシステムは、適切な信号を収束させて、ホログラフィック感覚上の知覚を誘発し得る。特に断りのない限り、すべての開示は、すべてのエネルギーおよび感覚領域に当てはまる。
視認体積および視認距離が与えられた視覚系に対してエネルギー伝搬の有効設計パラメータを計算する場合、所望のエネルギー面は、有効エネルギー位置密度の多くのギガピクセルを含むように設計し得る。広い視認体積、または近視野視認に関して、所望のエネルギー面の設計パラメータは、数百ギガピクセル以上の有効エネルギー位置密度を含み得る。比較すると、所望のエネルギー源は、入力環境変数に依存して、体積型ハプティクスの超音波伝搬の場合の１～２５０有効ギガピクセルのエネルギー位置密度、またはホログラフィック音響の音響伝搬の場合の３６～３，６００個の有効エネルギー位置のアレイを有するように設計されることができる。注目すべき重要なことは、開示された双方向エネルギー面アーキテクチャを使用して、すべてのコンポーネントが、任意のエネルギー領域に対して適切な構造体を形成し、ホログラフィック伝搬を可能にするように構成され得ることである。
しかしながら、今日、Ｈｏｌｏｄｅｃｋを可能にするための主な課題は、利用可能な視覚技術およびエネルギー装置の限界を内包している。音響装置および超音波装置は、それぞれの受容野における感覚鋭敏性に基づいて所望の密度の大きさに数桁の違いがあるならば、それほど困難なものではないが、その複雑さを軽視すべきではない。ホログラフィックエマルジョンは、所望の密度を上回る解像度を伴って存在し、静止画像内の干渉パターンを符号化する一方で、最先端のディスプレイ装置は、解像度、データスループット、および製造の実現可能性によって制約される。これまで、並外れたディスプレイデバイスでも、視力に対してほぼ近いホログラフィック解像度を有する明視野を有意に生成することができなかった。
高度現実的ライト・フィールド・ディスプレイのための所望の解像度を満たすことが可能な単一のシリコンベースデバイスの製造は、現実的ではなく、現在の製造能力を超える極めて複雑な製造プロセスを内包し得る。既存の複数のディスプレイデバイスを一緒にタイル状に並べることに対する制約は、パッケージング、電子機器回路、筐体、光学部品の物理的サイズにより形成される継ぎ目および間隙、ならびに画像化、コスト、および／またはサイズの観点から結果として必然的に実行不可能な技術となる他の多くの課題を内包する。
本明細書に開示された実施形態は、Ｈｏｌｏｄｅｃｋを構築するための現実世界の道筋を提供し得る。
ここで、これ以降の本明細書に、添付図面を参照して、実施形態例について説明するが、添付図面は、本明細書の一部を形成し、それらは、実施されることが可能な実施形態例を例解している。本開示および付属の特許請求の範囲の中で使用されているように、「実施形態」、「実施形態例」、および「例示的実施形態」という用語は、必ずしも単一の実施形態を指しているわけではないが、それらは単一の実施形態であってもよく、また、様々な実施形態例が、実施形態例の範囲または趣旨から逸脱しなければ、容易に組み合わされ、同義的に使用され得る。さらに、本明細書内で使用される専門用語は、実施形態例を説明することのみを目的としており、限定されたものであることを意図されていない。この点において、本明細書内で使用されているように、用語「ｉｎ」は、「の中（ｉｎ）」および「の上（ｏｎ）」を含み得、用語「ａ」、「ａｎ」、および「ｔｈｅ」は、単数および複数を指すことを含み得る。さらに、本明細書内で使用されているように、用語「ｂｙ」は、また、その文脈に従って「から（ｆｒｏｍ）」をも意味し得る。さらに、本明細書内で使用されているように、用語「ｉｆ」は、また、その文脈に従って「ｗｈｅｎ（の場合）」または「ｏｎ（のとき）」をも意味し得る。さらに、本明細書内で使用されているように、単語「および／または」は、関連して列挙された項目のうちの１つ以上の任意およびすべての可能な組み合わせを指し、包含し得る。
ホログラフィックシステムの検討
明視野エネルギー伝搬解像度の概要
ｌｉｇｈｔ ｆｉｅｌｄおよびホログラフィックディスプレイは、エネルギー面位置が、視認体積内に伝搬された角度、色、および強度の情報を提供する複数の投影の結果である。開示されたエネルギー面は、追加の情報が同じ表面を通って共存および伝搬する機会を提供し、他の感覚系応答を誘発する。立体ディスプレイとは異なり、空間内の収束されたエネルギー伝搬経路の視認される位置は、視認者が視認体積の周りを移動しても変化せず、多数の視認者が、あたかも対象物が本当にそこに存在するかのように、実世界空間内の伝搬された対象物を同時に観察し得る。いくつかの実施形態では、エネルギーの伝搬は、同じエネルギー伝搬経路内に配置され得るが、反対方向に配置されてもよい。例えば、エネルギー伝搬経路に沿ったエネルギー放出およびエネルギー捕捉は、本開示のいくつかの実施形態では、両方とも可能である。
図１は、感覚受容器応答の刺激に関連した変数を例解する概略図である。これらの変数には、表面対角１０１、表面幅１０２、表面高さ１０３、確定したターゲット座席距離１１８、ディスプレイの中心からの視界に対するターゲット座席の視野１０４、両眼の間のサンプルとしてここで実証された中間サンプルの数１０５、大人の眼間の平均離隔距離１０６、人間の目の角度分当たりの平均解像度１０７、ターゲット視認者位置と表面幅との間に形成される水平視野１０８、ターゲット視認者位置と表面高さとの間に形成される垂直視野１０９、結果として得られる水平導波路素子解像度、または表面を横切る素子の総数１１０、結果として得られる垂直導波路素子解像度、または表面を横切る素子の総数１１１、両眼の間における眼間の間隔、および両眼の間の角度投影に対する中間サンプル数に基づいたサンプル距離１１２、が含まれ得、角度サンプリングは、サンプル距離およびターゲット座席距離１１３に基づき得、導波路素子当たりの全解像度水平方向（Ｈｏｒｉｚｏｎｔａｌ）は、所望の角度サンプリング１１４から導出され得、導波路素子当たりの全解像度垂直方向（Ｖｅｒｔｉｃａｌ）は、所望の角度サンプリング１１５から導出され得、デバイス水平方向（Ｄｅｖｉｃｅ Ｈｏｒｉｚｏｎｔａｌ）は、所望の慎重な（ｄｉｓｃｒｅｅｔ）エネルギー源の確定された数のカウント１１６であり、デバイス垂直方向（Ｄｅｖｉｃｅ Ｖｅｒｔｉｃａｌ）は、所望の慎重な（ｄｉｓｃｒｅｅｔ）エネルギー源の確定された数のカウント１１７である。
所望の最小解像度を理解するための方法は、視覚（または他の）感覚受容器応答の十分な刺激を確保するための以下の基準、すなわち、表面サイズ（例えば、８４インチ対角線）、表面アスペクト比（例えば、１６：９）、座席距離（例えば、ディスプレイからの距離１２８インチ）、座席視野（例えば、ディスプレイの中心に対して１２０度または＋／－６０度）、ある距離を隔てた所望の中間サンプル（例えば、両眼の間にある１つの追加伝搬経路）、大人のレンズ間の平均離隔距離（約６５ｍｍ）、および人間の目の平均解像度（約１角度分）に基づき得る。これらの例の値は、具体的なアプリケーション設計パラメータに応じたプレースホルダとみなされるべきである。
さらに、視覚感覚受容器に起因する値の各々は、他の系と置き換えられ、所望の伝搬経路パラメータを決定し得る。他のエネルギー伝搬の実施形態の場合、聴覚系の角度感度を３度と低くなるように、また、手の体性感覚系の空間解像度を２～１２ｍｍと小さくなるように考慮され得る。
これらの知覚の鋭敏さを測定するための様々な、相反する方法が存在するが、これらの値は、仮想エネルギー伝搬の知覚を刺激するシステムおよび方法を理解するのに十分である。設計解像度を考慮するための多くの方法が存在するが、以下に提案される原理体系は、実用的な製品検討と感覚系の生物学的な解像限界とを組み合わせる。当業者には理解されるように、以下の概要は、かかる任意のシステム設計を単純化したものであり、単なる例示的な目的のみのために考慮されるべきである。
感覚系の解像限界が理解されると、以下が与えられれば、受け取る感覚系が、単一のエネルギー導波路素子と隣接する素子とを識別できないように、総エネルギー導波路素子密度を計算することができる。
Figure 0007274682000001
上記の計算の結果、約３２×１８°の視野が得られ、その結果、約１９２０×１０８０（最も近いフォーマットに丸められている）エネルギー導波路素子が所望される。また、視野が（ｕ，ｖ）の両方に対して両立し、エネルギー位置のより規則正しい空間サンプリング（例えば、ピクセルアスペクト比）を提供するように、変数を制約することもできる。システムの角度サンプリングが、最適化された距離における２点間で定義されたターゲット視認体積位置、および追加伝搬エネルギー経路を仮定すると、以下のように与えられる。
Figure 0007274682000002
この場合、眼間距離を利用してサンプル距離を計算するが、任意の尺度を利用して所与の距離としての適切なサンプル数を説明し得る。上記の変数を考慮すると、０．５７°当たり約１本の光線が望ましく、別々の感覚系当たりの系全体の解像度が、算出され得、以下のように与えられる。
Figure 0007274682000003
上記のシナリオを使って、視力システムに対して対処されたエネルギー面のサイズ、および角度解像度が与えられると、その結果得られるエネルギー面は、望ましくは、約４００ｋ×２２５ｋピクセルのエネルギー分解能位置、または９０ギガピクセルのホログラフィック伝搬密度を含み得る。これらの与えられた変数は、単なる例示的な目的のみのためであり、他の多くの感覚及びエネルギーの計量上の考察は、エネルギーのホログラフィック伝搬の最適化に対して検討されるべきである。追加の実施形態では、１ギガピクセルのエネルギー分解能位置が、入力変数に基づいて求められ得る。追加の実施形態では、１，０００ギガピクセルのエネルギー分解能位置が、入力変数に基づいて所望され得る。
現行技術の限界
能動領域、装置電子機器回路、パッケージング、および機械的エンベロープ
図２は、ある特定の機械的形状因子を伴う能動領域２２０を有する装置２００を示す。装置２００は、電力供給のためのドライバ２３０および電子機器回路２４０を含み、能動領域２２０に接続することができ、その能動領域は、ｘおよびｙの矢印により示されるような寸法を有する。この装置２００は、電力および冷却のコンポーネントを駆動するためのケーブル配線および機械的構造体を考慮に入れておらず、さらに、機械的実装面積は、可撓ケーブルを装置２００の中に導入することによって最小化され得る。また、かかる装置２００に対する最小設置面積は、Ｍ：ｘおよびＭ：ｙの矢印により示される寸法を有する機械的エンベロープ２１０と呼ばれ得る。この装置２００は、単に例解目的のみのためであり、特定用途向け電子機器回路設計は、機械的エンベロープ・オーバヘッドをさらに減らす可能性があるが、ほとんどすべての場合において、装置の能動領域の正確なサイズとはなり得ない。一実施形態では、このデバイス２００は、マイクロＯＬＥＤ、ＤＬＰチップ、もしくはＬＣＤパネル、または画像照明の目的を有する他の任意の技術に対する能動画像領域２２０と関連するため、電子機器回路の依存状態を例解する。
いくつかの実施形態では、また、より大規模なディスプレイ全体上に複数の画像を集約するために、他の投影技術を検討することも可能となり得る。しかしながら、このことは、投写距離、最小焦点、光学品質、均一なフィールド解像度、色収差、熱特性、較正、整列、追加サイズ、または形状因子に対するより大きな複雑化によるコストをもたらし得る。最も実用的なアプリケーションの場合、数十または数百個のこれらの投影源２００をホストとして機能させることは、結果として、より信頼性が低く、より大規模な設計となり得る。
単に例示的な目的だけのため、３８４０×２１６０サイトのエネルギー位置密度を有するエネルギー装置を仮定すると、エネルギー面に対して望ましい個別のエネルギー装置（例えば、装置１００）の数を算出し得、以下のように与えられる。
Figure 0007274682000004
上記の解像度の考慮を前提とすると、図２に示すエネルギーデバイスと同様の、約１０５×１０５個のデバイスが所望され得る。数多くの装置が、規則正しい格子状にマッピングされ、またはマッピングされなくてもよいような様々なピクセル構造体から構成されることに注意されたい。各完全なピクセル内に追加のサブピクセルまたは位置が存在するという場合には、これらは、活用され、追加の解像度または角度密度を生成し得る。追加の信号処理を使用して、ピクセル構造体（複数可）の指定された位置に従って、明視野を正しい（ｕ、ｖ）座標に変換する方法を決定することができ、各装置の、既知の較正された明示的な特性となり得る。さらに、他のエネルギー領域は、これらの比率および装置構造体の異なる取り扱いを必要とし得、当業者は、所望の周波数領域の各々の間にある直接的な内在的関係を理解するであろう。これについては、以降の開示の中でより詳細に示され、検討されるであろう。
結果得られた計算は、最大解像度エネルギー面を生成するには、これらの個別のデバイスのうちのどれだけの個数が所望されるかを理解するために使用され得る。この場合、視力閾値を達成するには、約１０５×１０５個、または約１１，０８０個の装置が所望され得る。十分な感覚ホログラフィック伝搬に対してこれらの利用可能なエネルギー位置からシームレスなエネルギー面を作り出すことには、課題および新規性が存在する。
シームレスなエネルギー面の概要：
エネルギー・リレーのアレイの構成および設計
いくつかの実施形態では、各装置の機械的構造の制約による継ぎ目がない個別装置のアレイから高エネルギー位置密度を生成する課題に対処するためのアプローチについて開示されている。一実施形態では、エネルギー伝搬リレーシステムにより、能動デバイス領域の有効サイズを増加させることが、機械的寸法を満たすか、または超過することを可能にして、リレーのアレイを構成し、かつ単一のシームレスなエネルギー面を形成し得る。
図３は、かかるエネルギー・リレーシステム３００の一実施形態を例解する。図に示すように、リレーシステム３００は、機械的エンベロープ３２０に搭載された装置３１０を含み得、エネルギー・リレー要素３３０が、装置３１０からエネルギーを伝搬させる。リレー要素３３０は、デバイスの複数の機械的エンベロープ３２０が複数のデバイス３１０のアレイ中に配置されているときに生じ得る任意の間隙３４０を減らす能力を提供するように構成され得る。
例えば、デバイスの能動領域３１０が２０ｍｍ×１０ｍｍであり、かつ機械的エンベロープ３２０が４０ｍｍ×２０ｍｍである場合、各デバイス３１０の機械的エンベロープ３２０を変化または衝突させずにこれらの素子３３０のアレイを共にシームレスに整列することができると仮定すると、エネルギー・リレー要素３３０は、２対１の倍率で設計され、小端部（矢印Ａ）上に約２０ｍｍ×１０ｍｍ、および拡大端部（矢印Ｂ）上に約４０ｍｍ×２０ｍｍのテーパ形状を生成し得る。機械的に、リレー要素３３０は、一緒に接合または融着され、各装置３１０間の最低限の継ぎ目間隙３４０を保証しながら整列され、かつ研磨されることができる。かかる一実施形態では、目の視力限界より小さい継ぎ目間隙３４０を達成することが可能になる。
図４は、一緒に形成され、追加の機械的構造体４３０に確実に締着されたエネルギー・リレー要素４１０を有するベース構造体４００の一例を例解する。シームレスなエネルギー面４２０の機械的構造体は、複数のエネルギー・リレー要素４１０、４５０を、リレー要素４１０、４５０を搭載するための結合または他の機械的プロセスを通じて、同じベース構造体に直列に結合する機能を提供する。いくつかの実施態様では、各リレー要素４１０は、融着され、接合され、接着され、圧力嵌合され、整列され、またはそれ以外では、一緒に取り付けられて、その結果得られるシームレスなエネルギー面４２０を形成し得る。いくつかの実施形態では、デバイス４８０は、リレー要素４１０の後部に搭載され、パッシブまたはアクティブ調芯されて、決められた公差を維持する範囲内で適切なエネルギー位置に整列することを確保し得る。
一実施形態では、シームレスなエネルギー面は、１つまたは複数のエネルギー位置を含み、１つまたは複数のエネルギー・リレー要素スタックは、第１および第２の側面を含み、各エネルギー・リレー要素スタックは、１つまたは複数のエネルギー位置とシームレスなエネルギー面との間で拡大する伝搬経路に沿ってエネルギーを指向する単一のシームレスなエネルギー面を形成するように配置され、ここで、終端エネルギー・リレー要素の任意の２つの隣接する第２の側面の端部間距離は、単一のシームレスなエネルギー面の幅より大きい距離において視力２０／４０よりも良好な人間の視力によって定義されるような最小知覚可能外形よりも小さい。
一実施形態では、シームレスなエネルギー面の各々は、横方向配向および長手方向配向に第１および第２の表面を形成する１つ以上の構造体を各々有する１つ以上のエネルギー・リレー要素を含む。第１のリレー表面は、結果として正または負の倍率となる第２のリレー表面とは異なる領域を有し、第２のリレー表面全体を横切る表面輪郭の法線に対して＋／－１０度の角度を実質的に充填するように、第２のリレー表面を通ってエネルギーを通過させる第１および第２のリレー表面の両方に対して、明白な表面輪郭を伴って構成されている。
一実施形態では、複数のエネルギー領域は、視覚、聴覚、触覚、または他のエネルギー領域を含む１つ以上の感覚Ｈｏｌｏｄｅｃｋエネルギー伝搬経路を指向するように、単一のエネルギー・リレー内、または複数のエネルギー・リレーの間に構成され得る。
一実施形態では、シームレスなエネルギー面は、１つ以上のエネルギー領域を同時に受信および放出の両方を行ってそのシステム全体にわたって双方向のエネルギー伝搬を提供するように、各第２の側面に対して２つ以上の第１の側面を含むエネルギー・リレーで構成され得る。
一実施形態では、エネルギー・リレーは、ゆるやかなコヒーレント素子として提供される。
コンポーネント操作された構造の導入：
横アンダーソン局在エネルギー・リレーにおける開示された進展
エネルギー・リレーの特性は、横アンダーソン局在を誘発させるエネルギー・リレー要素に対して本明細書に開示された原理に従って大幅に最適化され得る。横アンダーソン局在は、横方向には不規則であるが長手方向には一貫性のある材料を通って輸送される光線の伝搬である。
これは、アンダーソン局在化現象を生じさせる材料の影響は、波の干渉が横方向配向の伝搬を完全に制限し得る一方で長手方向配向の伝搬を継続するような多重散乱経路間のランダム化によるよりも、全反射による影響を受けにくいことを意味し得る。
さらに重要な利点としては、従来のマルチコア光ファイバー材料のクラッドを除去することである。このクラッドは、ファイバー間のエネルギーの散乱を機能的に除去するが、同時に光線エネルギーに対する障壁として機能し、これによって少なくともコア対クラッド比（例えば、７０：３０のコア対クラッド比では、受信されたエネルギー伝送のうちの最大７０％で送信し得る）まで伝送を減少させ、さらに、伝搬されたエネルギー内に強いピクセル化パターニングを形成する。
図５Ａは、かかる１つの非アンダーソン局在化エネルギー・リレー５００の一例の端面図を例解し、ここでは、画像が、光ファイバーの固有の特性のためにピクシレーションおよびファイバー・ノイズが呈し得るマルチコア光ファイバーを介してリレーされ得る。従来のマルチモードおよびマルチコア光ファイバーを使うと、リレーされた画像は、離散的なアレイコアの全反射特性のために本質的にピクセル化されやすく、そこでは、任意のコア間クロストークが変調伝達関数を低下させ、かつ輪郭ボケを増加させ得る。従来のマルチコア光ファイバーを使って結果として生成された画像は、図３に示すものと同様の残留固定ノイズファイバーパターンを有する傾向がある。
図５Ｂは、横アンダーソン局在の特性を呈する材料を含むエネルギー・リレーを通って同じリレー画像５５０の一例を例解し、ここでは、リレーパターンが、図５Ａからの固定されたファイバーパターンと比較してより大きな密度の粒子構造を有する。一実施形態では、ランダム化された微小コンポーネント操作された構造を含むリレーは、横アンダーソン局在を誘発し、市販のマルチモードガラス光ファイバーよりも高い、解決可能な解像度の伝搬で光をより有効に輸送する。
コストおよび重量の両方に関して、横アンダーソン局在材料特性には大きな利点があり、ここで、同様の光学グレードのガラス材料が、一実施形態内で生成された同じ材料のコストよりも１０～１００倍以上のコストおよび重量がかかる可能性があり、ここでは、開示されたシステムおよび方法は、当技術分野で知られる他の技術を凌駕してコストおよび品質の両方を改善する重要な機会を実証するランダム化された微小コンポーネント操作された構造を含む。
一実施形態では、横アンダーソン局在を呈するリレー要素は、三次元格子状に配置された３つの各々の直交平面内に、複数の少なくとも２つの異なるコンポーネント操作された構造を含み得、その複数の構造体は、三次元格子内の横方向平面内の材料波伝搬特性のランダム化された分布、および三次元格子内の長手方向平面内の材料波伝搬特性の同様の値のチャネルを形成し、そこでは、エネルギー・リレーを通って伝搬するエネルギー波は、横方向配向に対して、長手方向配向により高い輸送効率を有し、空間的に横方向の向きに局在化されている。
一実施形態では、複数のエネルギー領域は、単一内、または複数の横アンダーソン局在エネルギー・リレーの間に構成され、視覚、聴覚、触覚、または他のエネルギー領域を含む１つ以上の感覚Ｈｏｌｏｄｅｃｋエネルギー伝搬経路を指向し得る。
一実施形態では、シームレスなエネルギー面は、１つ以上のエネルギー領域を同時に受信および放出の両方を行ってそのシステム全体にわたって双方向のエネルギー伝搬を提供するように、各第２の側面に対して２つ以上の第１の側面を含む横アンダーソン局在エネルギー・リレーで構成される。
一実施形態では、横アンダーソン局在エネルギー・リレーは、ゆるやかなコヒーレント素子、または可撓性エネルギー・リレー要素として構成されている。
４Ｄ ｐｌｅｎｏｐｔｉｃ関数に関する考察：
ホログラフィック導波路アレイを通るエネルギーの選択的伝搬
上記および本明細書全体にわたって考察されているように、明視野ディスプレイシステムは、一般に、エネルギー源（例えば、照明源）、および上記の考察で明確に示したような、十分なエネルギー位置密度で構成されたシームレスなエネルギー面を含む。複数のリレー要素を使用して、エネルギー装置からシームレスなエネルギー面にエネルギーをリレーし得る。一旦、エネルギーが所要のエネルギー位置密度を有するシームレスなエネルギー面に送達されると、エネルギーは、開示されたエネルギー導波路システムを介して４Ｄ ｐｌｅｎｏｐｔｉｃ関数に従って伝搬され得る。当業者により理解されるように、４Ｄ ｐｌｅｎｏｐｔｉｃ関数は、当技術分野でよく知られており、本明細書では、これ以上詳述しない。
エネルギー導波路システムは、４Ｄ ｐｌｅｎｏｐｔｉｃ関数の角度コンポーネントを表すことを通じて通過するエネルギー波の角度方向を変化させるように構成された構造体と共に、４Ｄ ｐｌｅｎｏｐｔｉｃ関数の空間座標を表すシームレスなエネルギー面に沿って複数のエネルギー位置を通ってエネルギーを選択的に伝搬させ、そこでは、伝搬されたエネルギー波は、４Ｄ ｐｌｅｎｏｐｔｉｃ関数により指向された複数の伝搬経路に従って空間内に収束し得る。
ここで、図６を参照すると、４Ｄ ｐｌｅｎｏｐｔｉｃ関数に従って４Ｄ画像空間における明視野エネルギー面の一例を例解している。この図は、エネルギーの光線が視体積内の様々な位置から空間６３０内でどのように収束するかを説明する際の視認者６２０へのエネルギー面６００のレイ・トレースを示している。図に示すように、各導波路素子６１０は、エネルギー面６００を通るエネルギー伝搬６４０を説明する４次元情報を画定する。２つの空間次元（本明細書では、ｘおよびｙと呼ばれる）とは、画像空間内で観察され得る物理的な複数のエネルギー位置、ならびに角度成分θおよびφ（本明細書では、ｕおよびｖと呼ばれる）であり、このことは、エネルギー導波路アレイを通って投影されるときに仮想空間内で観察される。通常、および４Ｄ ｐｌｅｎｏｐｔｉｃ関数に従って、複数の導波路（例えば、小型レンズ）は、本明細書に記載されたホログラフィックまたは明視野システムを形成する際、ｕ、ｖ角度成分により定義された方向に沿って、ｘ、ｙ次元から仮想空間内の特定の位置にエネルギー位置を指向することができる。
しかしながら、当業者であれば、明視野およびホログラフィックディスプレイ技術に対する重要な課題は、回折、散乱、拡散、角度方向、較正、焦点、視準、曲率、均一性、素子クロストーク、ならびに減少する有効解像度ならびに極めて忠実にエネルギーを正確に収束させることができないことの一因となる他の多数のパラメータのいずれかを正確に考慮しなかった設計のために、制御されていないエネルギー伝搬を引き起こすことを理解するであろう。
一実施形態では、ホログラフィックディスプレイと関連付けられた課題に対処するための選択的エネルギー伝搬への手法は、エネルギー抑制要素、および４Ｄ ｐｌｅｎｏｐｔｉｃ関数により定義された環境への略平行エネルギーを有する実質的に充填する導波路アパーチャを含み得る。
一実施形態では、エネルギー導波路のアレイは、各導波路素子が通って延在するように構成された複数のエネルギー伝搬経路を画定し、単一導波路素子を通過するのみのために各エネルギー位置の伝搬を制限するように位置づけられた１つ以上の素子によって抑制されたシームレスなエネルギー面に沿って、複数のエネルギー位置に対する所定の４Ｄ関数により定義された固有の方向において、導波路素子の有効アパーチャを実質的に充填し得る。
一実施形態では、複数のエネルギー領域は、単一のエネルギー領域内に、または複数のエネルギー導波路の間に構成され、視覚、聴覚、触覚、または他のエネルギー領域を含む１つ以上の感覚Ｈｏｌｏｄｅｃｋエネルギー伝搬を指向し得る。
一実施形態では、エネルギー導波路およびシームレスなエネルギー面は、１つ以上のエネルギー領域を受信および放出の両方を行うように構成され、システム全体を通じて双方向エネルギー伝搬を提供する。
一実施形態では、エネルギー導波路は、エネルギーの非線形または非規則的なエネルギー分布を伝搬するように構成されており、そのエネルギー分布は、非送信ボイド領域を含み、デジタル符号化、回折、屈折、反射、グリン、ホログラフィック、フレネル、または壁、テーブル、床、天井、部屋、もしくは他の幾何学的ベース環境を含む任意のシームレスなエネルギーの向きのための同様な導波路構成を活用する。追加の実施形態では、エネルギー導波路素子は、ユーザが３６０度構成でエネルギー面のすべての周辺からホログラフィック画像を視認することを可能にする任意の表面プロファイルおよび／または卓上視野を提供する様々な形状を生成するように構成され得る。
一実施形態では、エネルギー導波路アレイ素子は、反射表面としてもよく、それらの素子の配置は、六角形、正方形、不規則、半規則、湾曲、非平面、球面、円筒、傾斜規則、傾斜不規則、空間的に変化する、かつ／または多層化されてもよい。
シームレスなエネルギー面内の任意のコンポーネントの場合、導波路またはリレーコンポーネントとしては、以下に限定されないが、光ファイバー、シリコン、ガラス、ポリマー、光リレー、回折、ホログラフィック、屈折、または反射素子、光フェイスプレート、エネルギー結合器、ビームスプリッタ、プリズム、偏光素子、空間光変調器、能動ピクセル、液晶セル、透明ディスプレイ、またはアンダーソン局在化もしくは全反射を呈する任意の同様な材料が挙げられる。
Ｈｏｌｏｄｅｃｋの実現：
ホログラフィック環境内で人間の感覚受容器を刺激するための双方向シームレスなエネルギー面システムの集約
複数のシームレスなエネルギー面を一緒にタイル状に張り、融合し、接着し、貼付し、および／または縫い合わせて、部屋全体を含む任意のサイズ、形状、輪郭または形状因子を形成することによって、シームレスなエネルギー面システムの大規模環境を構築することができる。各エネルギー面システムは、双方向Ｈｏｌｏｄｅｃｋエネルギー伝搬、放出、反射、または検知のために集合的に構成されたベース構造体、エネルギー面、リレー、導波路、デバイス、および電子機器回路を有するアセンブリを含み得る。
一実施形態では、タイル状のシームレスエネルギーシステムの環境は、所与の環境内の全表面までを含んだ装置を含む大きなシームレス平面壁または湾曲壁を形成するように集約され、シームレス、不連続平面状、切子面状、湾曲、円筒状、球形、幾何学的、または不規則な形状の任意の組み合わせとして構成される。
一実施形態では、平面表面の集約タイルは、劇場または会場ベースのホログラフィックエンターテイメントのための壁サイズのシステムを形成する。一実施形態では、平面表面の集約タイルは、ケーブベースのホログラフィー設置のために天井および床の両方を含む４～６つの壁を有する部屋を網羅する。一実施形態では、湾曲した表面の集約タイルは、没入型ホログラフィック設備のための円筒型シームレス環境を生成する。一実施形態では、シームレス球形表面の集約タイルは、没入型Ｈｏｌｏｄｅｃｋベース体験のためのホログラフィックドームを生成する。
一実施形態では、シームレスな湾曲エネルギー導波路の集約タイルは、エネルギー導波路構造体内のエネルギー抑制要素の境界に沿って正確なパターンに従う機械端部を提供し、隣接する導波路表面の隣接するタイル状機械端部を接合、整列、または溶融し、結果としてモジュール式のシームレスなエネルギー導波路システムを得る。
集約タイル張り環境のさらなる実施形態では、エネルギーは、複数の同時エネルギー領域に対して双方向に伝搬される。追加の実施形態では、エネルギー面は、明視野データが照明源によって導波路を通じて投影され、同時に同じエネルギー面を通じて受信され得るように設計された導波路を用いて、同じエネルギー面エネルギー面から同時に表示および捕捉する能力を提供する。さらなる実施形態では、深度検知および能動走査技術をさらに活用して、正確な世界座標内のエネルギー伝搬と視認者との間の相互作用を可能にし得る。追加の実施形態では、エネルギー面および導波路は、触覚または体積触覚のフィードバックを誘発するために、周波数を放射、反射または収束するように動作可能である。いくつかの実施形態では、双方向エネルギー伝搬および集約表面との任意の組み合わせが可能である。
一実施形態では、システムは、少なくとも２つのエネルギーデバイスをシームレスなエネルギー面の同じ部分にペアにするために、２つ以上の経路エネルギー結合器を使用して別々にペアにされた、１つ以上のエネルギーデバイスを伴うエネルギー面を通ってエネルギーの双方向放出および検知を可能にするエネルギー導波路を備え、または１つ以上のエネルギーデバイスは、エネルギー面の後ろに固定され、ベース構造体に固定された追加のコンポーネントに、または軸外の直接もしくは反射の投影もしくは検知のための導波路のＦＯＶの前方かつ外側の位置に、最も近接しており、その結果得られたエネルギー面は、双方向エネルギー伝送を提供し、その双方向エネルギー伝送は、導波路がエネルギーを収束させ、第１のデバイスがエネルギーを放出させ、そして第２のデバイスがエネルギーを検知するのを可能にし、そこでは、その情報を処理し、以下に限定されないが、４Ｄ ｐｌｅｎｏｐｔｉｃアイ、および伝搬エネルギーパターン内干渉の網膜追跡もしくは検知、深度推定、近似、動作追跡、画像、色、もしくは音響情報、または他のエネルギー周波数解析を含むコンピュータ視覚関連タスクを実行する。追加の実施形態では、追跡された位置は、双方向に捕捉されたデータと投影情報との間の干渉に基づいて、エネルギーの位置を能動的に計算し、修正する。
いくつかの実施形態では、超音波センサ、可視エネルギーディスプレイ、および超音波放射装置を含む３つのエネルギー装置の複数の組み合わせは、単一の第２のエネルギー・リレー表面に結合されたエネルギーを伝搬する３つの第１のリレー表面の各々のために共に構成されており、この３つの第１の表面の各々は、各装置のエネルギー領域に特有の設計された特性を含み、２つの設計された導波路素子は、各装置のエネルギーを独立に、および別のエネルギー領域用に構成された他の導波路素子によって実質的に影響されないように、指向および収束させる能力を提供するように、超音波およびエネルギー用にそれぞれ構成されている。
いくつかの実施形態では、符号化／復号化技術、ならびに較正された構成ファイルに基づいてエネルギー伝搬に適切な較正情報にデータを変換するための専用の集積システムを使用して、効率的な製造がシステムアーチファクトの除去、および得られたエネルギー面の幾何学的マッピングの生成を可能にする較正手順が開示されている。
いくつかの実施形態では、一連の追加のエネルギー導波路、および１つ以上のエネルギーデバイスが１つのシステムに一体化され、不明瞭なホログラフィックピクセルを生成し得る。
いくつかの実施形態では、追加の導波路素子が、エネルギー抑制要素、ビームスプリッタ、プリズム、能動視差バリア、または偏光技術を含めて一体化され、導波路の直径よりも大きい空間解像度および／または角度解像度を提供し、または他の超解像度の目的のために提供し得る。
いくつかの実施形態では、開示されたエネルギーシステムは、また、仮想現実（ＶＲ）または拡張現実（ＡＲ）などのウェアラブル双方向デバイスとしても構成され得る。他の実施形態では、エネルギーシステムは、視認者のために、表示または受信されたエネルギーを、空間内の決定された平面に近接して焦点させる調整光学素子を含むことができる。いくつかの実施形態では、導波路アレイは、ホログラフィックヘッドマウントディスプレイに組み込まれ得る。他の実施形態では、システムは、視認者がエネルギーシステムおよび現実世界環境（例えば、透明ホログラフィックディスプレイ）の両方を見ることが可能になる多数の光学経路を含み得る。これらの例では、システムは、他の方法に加えて近視野として呈してもよい。
いくつかの実施形態では、データの送信は、情報およびメタデータの任意のデータセットを受信し、当該データセットを分析し、材料特性、ベクトル、表面ＩＤ、より疎なデータセットを形成する新規ピクセルデータを受信または割り当てを行う、選択可能または可変の圧縮率を有する符号化処理を含み、そこでは、受信されたデータは、２Ｄ、立体、マルチビュー、メタデータ、明視野、ホログラフィック、幾何学的形状、ベクトルもしくはベクトル化されたメタデータを含んでもよく、符号器／復号器は、２Ｄ、２Ｄプラス深度、メタデータもしくは他のベクトル化された情報、立体、立体プラス深度、メタデータもしくは他のベクトル化された情報、マルチビュー、マルチビュープラス深度、メタデータもしくは他のベクトル化された情報、ホログラフィック、または明視野ンテンツに対する画像処理を含む実時間またはオフラインのデータを、深度メタデータの有無にかかわらず深度推定アルゴリズムを介して変換する能力を提供してもよく、逆光線追跡方法は、特徴付けられた４Ｄ ｐｌｅｎｏｐｔｉｃ関数を介して、様々な２Ｄ、立体、マルチビュー、体積、明視野、またはホログラフィックのデータから実世界座標に逆光線追跡によって生成されて得られた変換データを適切にマッピングする。これらの実施形態では、所望の全データ送信は、未処理の明視野データセットよりも数桁小さい送信情報となり得る。
ホログラフィック感覚データの提示に適したエネルギー指向装置
一実施形態では、光学機械式表示装置は、光を放射および誘導して、２Ｄ、立体、マルチビュー、ｐｌｅｎｏｐｔｉｃ、４Ｄ、体積、明視野、ホログラフィック、または任意の他の光の視覚的表現を形成することができる。
図７Ａは、発光型表示装置、光リレー、およびマイクロレンズアレイなどの屈折素子のアレイとして実現される導波路を用いて構成された場合の明視野光学機械システムの一例であり、１つまたは複数のディスプレイからの可視画像は、光学的にリレーされた後にエネルギー面に送信され得、屈折素子のアレイは、４Ｄ体積明視野画像が投影され得るように、エネルギー面上の各位置とその位置からの光の投射方向との間のマッピングを提供する。
一実施形態では、導波路は、観察者の視点から、輻輳と遠近調節の両方を引き起こすように光線を収束させるように動作可能であり得る。
一実施形態では、導波路およびエネルギー・リレーは、様々な表面形状を有して形成または研磨され得る。一実施形態では、エネルギー・リレーは、横アンダーソン局在を誘発する素子を含む。一実施形態では、エネルギー・リレーは双方向性であり、エネルギーを放出および／または投影することができる。
一実施形態では、４次元（４Ｄ）ｐｌｅｎｏｐｔｉｃ関数に従って、エネルギーを指向するように構成されたエネルギーシステムは、複数のエネルギー装置を含む。いくつかの実施形態では、複数のエネルギー装置は、画像情報を放出する照明源を含んでおり、この画像情報は、可視、ＩＲ、ＵＶ、コヒーレント、レーザ、赤外線、偏光、または任意の他の電磁照明源を利用する、発光、投影、または反射ディスプレイ技術を含んでいる。他の実施形態では、複数のエネルギー装置は、音場から没入型音声または体積触覚を提供するように構成された機械的エネルギー放出装置を含む。
いくつかの実施形態では、上記のように構成されたエネルギーシステムは、複数のエネルギー装置、エネルギー・リレーシステム、およびエネルギー導波路システムがすべてベース構造体に結合され得るように、ベース構造体（例えば７２）をさらに含み得る。他の実施形態では、複数のエネルギー装置、エネルギー・リレーシステム、およびエネルギー導波路システムは、１つまたは複数の取り付けブラケットを用いてベース構造体に結合することができる。
いくつかの実施形態では、複数のエネルギー装置は、機械的、化学、伝達、熱、電気、ポテンシャル、運動、磁気、重力、放射、エネルギー、構造化、非構造化、または他の形態のエネルギーを含む、エネルギーを捕捉または検知するためのエネルギー装置を含む。他の実施形態では、複数のエネルギー装置は、機械的、化学、伝達、熱、電気、ポテンシャル、運動、磁気、重力、放射、エネルギー、構造化、非構造化、または他の形態のエネルギーを含む、エネルギーを伝搬または放出するためのエネルギー装置を含む。さらに他の実施形態では、複数のエネルギー装置は、感覚フィードバックまたは可聴制御を提供するように構成された音響受信装置を含む。
一実施形態では、エネルギーシステムは、１つまたは複数のエネルギー・リレー要素を有するエネルギー・リレーシステム（例えば、図７Ｂに最もよく示される６１１０）をさらに含み、１つまたは複数のエネルギー・リレー要素の各々は第１の表面および第２の表面を含み、１つまたは複数のエネルギー・リレー要素の第２の表面は、エネルギー・リレーシステムの単一のシームレスなエネルギー面を形成するように配置され、第１の複数のエネルギー伝搬経路は、複数のエネルギー装置内のエネルギー位置からエネルギー・リレーシステムの単一のシームレスなエネルギー面を通って延在する。これについては、以下でより詳細に考察する。
ここで、本開示の一実施形態による、エネルギー・リレーシステム６１１０を直交ビューで示した図７Ｂを参照する。一実施形態では、エネルギー・リレーシステム６１１０は、２つ以上のリレー要素６１１２を含むことができ、各リレー要素６１１２は、１つまたは複数の構造体で形成され、各リレー要素６１１２は、第１の表面６１１４、第２の表面６１１６、横方向（一般に、表面６１１４，６１１６に平行）および長手方向（一般に、表面６１１４、６１１６に対して垂直）を有する。一実施形態では、第１の表面６１１４の表面積は、第２の表面６１１６の表面積とは異なり得る。例えば、第１の表面６１１４の表面積は、第２の表面６１１６の表面積より大きくても小さくてもよい。別の実施形態では、第１の表面１１４の表面積は、第２の表面６１１６の表面積と同じであり得る。エネルギー波は、第１の表面６１１４から第２の表面６１１６へ、またはその逆に通過することができる。
一実施形態では、エネルギー・リレーシステム６１１０のリレー要素６１１２は、第１の表面６１１４と第２の表面６１１６との間に傾斜した輪郭部分６１１８を含む。動作中、第１の表面６１１４と第２の表面６１１６との間を伝搬するエネルギー波は、横方向よりも長手方向の方が高い輸送効率を有することができ、リレー要素６１１２を通過するエネルギー波は、空間拡大率または空間縮小率をもたらすことができる。言い換えれば、リレー要素装置６１１０のリレー要素６１１２を通過するエネルギー波は、増大した拡大率または減少した縮小率を経験する可能性がある。いくつかの実施形態では、エネルギー・リレー要素６１１０を形成するための１つまたは複数の構造体は、ガラス、カーボン、光ファイバー、光学フィルム、プラスチック、ポリマー、またはそれらの混合物を含み得る。
一実施形態では、第１の表面６１１４を通過するエネルギー波は第１の解像度を有し、第２の表面６１１６を通過するエネルギー波は第２の解像度を有し、第２の解像度は第１の解像度の約５０％以上である。別の実施形態では、エネルギー波は、第１の表面に提供されたときには均一なプロファイルを有するが、第２のリレー表面の位置に関係なく、第２の表面の法線に対して＋／－１０度の開き角を有するコーンを実質的に満たす、前方方向のエネルギー密度であらゆる方向に放射しながら第２の表面を通過することができる。
いくつかの実施形態では、第１の表面６１１４は、エネルギー波源からエネルギーを受信するように構成することができ、エネルギー波源は、第１の表面６１１４および第２の表面６１１６のうちの少なくとも１つの幅とは異なる幅を有する機械的エンベロープを含む。
各リレー６１１２において、エネルギーは、長手方向を画定する第１および第２の表面の間で輸送され、リレーの各々の第１および第２の表面は一般に、第１および第２の方向によって画定される横方向に沿って延在し、長手方向は、横方向に対して実質的に垂直である。一実施形態では、複数のリレーを通って伝搬するエネルギー波は、長手方向の最小屈折率変動と相まって横方向のランダム屈折率変動のために、横方向よりも長手方向の方が高い輸送効率を有する。各リレーがマルチコアファイバーで構築されているいくつかの実施形態では、各リレー要素内を伝搬するエネルギー波は、この向きのファイバーの配列によって決定される長手方向に進行し得る。
一実施形態では、終端エネルギー・リレー要素の任意の２つの隣接する第２の側面の端部間の間隔は、単一のシームレスなエネルギー面の高さ、または単一のシームレスなエネルギー面の幅のうちの小さいほうよりも大きい、シームレスなエネルギー面からの距離における視力２０／４０よりも良い値を有する人間の視力によって規定される最小知覚可能外形よりも小さくなり得る。
一実施形態では、積層構成の複数のエネルギー・リレー要素は、複数のフェースプレートを含むことができる。いくつかの実施形態では、複数のフェースプレートは、異なる長さを有してもよく、またはゆるやかなコヒーレント光リレーである。他の実施形態では、複数の素子は、図７Ｂのものと同様の傾斜した輪郭部分を有することができ、傾斜した輪郭部分は、傾斜、直線、湾曲、テーパ、切子面状、またはリレー要素の法線軸に対して非直角に配列させ得る。さらに別の実施形態では、複数のリレー要素を通って伝搬するエネルギー波は、長手方向の最小屈折率変動と相まって横方向のランダム屈折率変動のために、横方向よりも長手方向の方が高い輸送効率を有する。各エネルギー・リレーがマルチコアファイバーで構築されている実施形態では、各リレー要素内を伝搬するエネルギー波は、この向きのファイバーの配列によって決定される長手方向に進行し得る。
いくつかの実施形態では、１つまたは複数のリレー要素（例えば６１１２）は、融着された、またはタイル状のモザイクを含み、隣接する融着された、またはタイル状のモザイクの間の任意の継ぎ目は、単一のシームレスなエネルギー面の幅または高さで、またはそれより大きい距離において視力２０／４０よりも良い値を有する人間の視力によって定義されるような最小の認知可能な輪郭によって離隔される、または最小知覚可能外形より小さい。
他の実施形態では、１つまたは複数のリレー要素（例えば６１１２）は、光ファイバー、シリコン、ガラス、ポリマー、光リレー、回折素子、ホログラフィック光学素子、屈折素子、反射素子、光フェイスプレート、光結合器、ビームスプリッタ、プリズム、偏光コンポーネント、空間光変調器、アクティブピクセル、液晶セル、透明ディスプレイ、または単一のシームレスなエネルギー面を形成するための、アンダーソン局在または全反射特性を有する任意の同様の材料を含む。
さらに他の実施形態では、１つまたは複数のリレー要素（例えば６１１２）は、平面、球形、円筒形、円錐形、切子面状、タイル状、規則的、非規則的、または指定されたアプリケーションのための任意の他の幾何学的形状を含む、単一のシームレスなエネルギー面の形状に適応するように構成される。
別の実施形態では、システムは、エネルギー導波路のアレイを有するエネルギー導波路システム（例えば、図７Ｃ～７Ｌに最もよく示される７１００）をさらに含み、第２の複数のエネルギー伝搬経路は、単一のシームレスなエネルギー面からエネルギー導波路のアレイを通って、４Ｄ ｐｌｅｎｏｐｔｉｃ関数によって決定される方向に延在する。
図７Ｃは、複数のエネルギー伝搬経路７１０８を画成するように動作可能なエネルギー導波路システム７１００の一実施形態のトップダウン透視図を示す。エネルギー導波路システム７１００は、複数のエネルギー伝搬経路７１０８に沿ってエネルギー導波路のアレイ７１１２を通過するようにエネルギーを指向するよう構成されたエネルギー導波路のアレイ７１１２を備える。一実施形態では、複数のエネルギー伝搬経路７１０８は、アレイの第１の側７１１６の複数のエネルギー位置７１１８を通ってアレイの第２の側７１１４まで延びる。
図７Ｃおよび７Ｌを参照すると、一実施形態では、複数のエネルギー伝搬経路７１０８の第１のサブセット７２９０は、第１のエネルギー位置７１２２を通って延びる。第１のエネルギー導波路７１０４は、複数のエネルギー伝搬経路７１０８の第１のサブセット７２９０の第１のエネルギー伝搬経路７１２０に沿ってエネルギーを指向するように構成される。第１のエネルギー伝搬経路７１２０は、第１のエネルギー位置７１２２と第１のエネルギー導波路７１０４との間に形成された第１の主光線７１３８によって画成され得る。第１のエネルギー伝搬経路７１２０は、第１のエネルギー位置７１２２と第１のエネルギー導波路７１０４との間に形成され、それぞれエネルギー伝搬経路７１２０Ａおよび７１２０Ｂに沿って第１のエネルギー導波路７１０４によって指向される光線７１３８Ａおよび７１３８Ｂを含むことができる。第１のエネルギー伝搬経路７１２０は、第１のエネルギー導波路７１０４からアレイの第２の側７１１４に向かって延び得る。一実施形態では、第１のエネルギー伝搬経路７１２０に沿って指向されるエネルギーは、第１の主光線７１３８が第２の側７１１４を通って伝搬される角度と実質的に平行な方向に第１のエネルギー導波路７１０４を通って指向されるエネルギー伝搬経路７１２０Ａと７１２０Ｂとの間またはこれらを含む１つまたは複数のエネルギー伝搬経路を含む。
実施形態は、第１のエネルギー伝搬経路７１２０に沿って指向されるエネルギーが、エネルギー伝搬経路７１２０Ａおよび７１２０Ｂ、ならびに第１の主光線７１３８と実質的に平行な方向に第１のエネルギー導波路７１０４を出ることができるように構成され得る。第２の側７１１４のエネルギー導波路素子７１１２を通って延びるエネルギー伝搬経路は、実質的に同様の伝搬方向の複数のエネルギー伝搬経路を含むと仮定することができる。
図７Ｄは、エネルギー導波路システム７１００の一実施形態の正面図である。第１のエネルギー伝搬経路７１２０は、少なくとも第１のエネルギー位置７１２２によって決定される、第１のエネルギー導波路７１０４から延びる一意の方向７２０８に、アレイの第２の側７１１４に向かって延び得る。第１のエネルギー導波路７１０４は空間座標７２０４によって定義され得、少なくとも第１のエネルギー位置７１２２によって決定される一意の方向７２０８は、第１のエネルギー伝搬経路７１２０の方向を定義する角度座標７２０６によって定義され得る。空間座標７２０４および角度座標７２０６は、第１のエネルギー伝搬経路７１２０の一意の方向７２０８を定義する４次元ｐｌｅｎｏｐｔｉｃ座標セット７２１０を形成することができる。
一実施形態では、第１のエネルギー導波路７１０４を通って第１のエネルギー伝搬経路７１２０に沿って指向されるエネルギーは、第１のエネルギー導波路７１０４の第１の開口部７１３４を実質的に満たし、エネルギー伝搬経路７１２０Ａと７１２０Ｂとの間に位置し、第１のエネルギー伝搬経路７１２０の方向と平行な１つまたは複数のエネルギー伝搬経路に沿って伝搬する。実施形態では、第１の開口部７１３４を実質的に満たす１つまたは複数のエネルギー伝搬経路は、第１の開口部７１３４の直径の５０％超を含んでもよい。
好ましい実施形態では、第１の開口部７１３４を実質的に満たす第１のエネルギー導波路７１０４を通って第１のエネルギー伝搬経路７１２０に沿って指向されるエネルギーは、第１の開口部７１３４の直径の５０％～８０％を含み得る。
図７Ｃおよび７Ｅ～７Ｌを再び参照すると、一実施形態では、エネルギー導波路システム７１００は、第１の側７１１６と第２の側７１１４との間のエネルギーの伝搬を制限し、隣接する導波路７１１２間のエネルギー伝搬を抑制するように位置付けられたエネルギー抑制要素７１２４をさらに備え得る。一実施形態では、エネルギー抑制要素は、第１の開口部７１３４を貫通しない、複数のエネルギー伝搬経路７１０８の第１のサブセット７２９０の一部に沿ったエネルギー伝搬を抑制するように構成される。一実施形態では、エネルギー抑制要素７１２４は、第１の側７１１６で、エネルギー導波路７１１２のアレイと複数のエネルギー位置７１１８との間に配置され得る。一実施形態では、エネルギー抑制要素７１２４は、第２の側７１１４で、複数のエネルギー位置７１１８とエネルギー伝搬経路７１０８との間に配置され得る。一実施形態では、エネルギー抑制要素７１２４は、第１の側７１１６または第２の側７１１４で、エネルギー導波路７１１２のアレイまたは複数のエネルギー位置７１１８と直交に配置することができる。
一実施形態では、第１のエネルギー伝搬経路７１２０に沿って指向されるエネルギーは、第２のエネルギー導波路７１２８を通る第２のエネルギー伝搬経路７１２６に沿って指向されるエネルギーと収束し得る。第１および第２のエネルギー伝搬経路は、アレイ７１１２の第２の側７１１４の位置７１３０に収束し得る。一実施形態では、第３および第４のエネルギー伝搬経路７１４０、７１４１も、アレイ７１１２の第１の側７１１６の位置７１３２に収束し得る。一実施形態では、第５および第６のエネルギー伝搬経路７１４２、７１４３もまた、アレイ７１１２の第１および第２の側７１１６、７１１４の間の位置７１３６に収束し得る。
図７Ｅ～７Ｌは、エネルギー抑制要素７１２４の様々な実施形態を示す。疑義を避けるために明記すると、これらの実施形態は例示目的で提供されており、決して本開示の範囲内で提供される組み合わせまたは実装の範囲を限定するものではない。
図７Ｅは、エネルギー抑制要素７２５１が、エネルギー位置７１１８の表面に隣接して配置され、特定の屈折、回折、反射、または他のエネルギー変更特性を含む、複数のエネルギー位置７１１８の実施形態を示す。エネルギー抑制要素７２５１は、エネルギー伝搬経路７２５２に沿ったエネルギーの伝搬を抑制することによって、エネルギー伝搬経路７２９０の第１のサブセットをより狭い範囲の伝搬経路７２５３に制限するように構成され得る。一実施形態では、エネルギー抑制要素は、１未満の開口数を有するエネルギー・リレーである。
図７Ｆは、エネルギー抑制構造７２５４がエネルギー位置７１１８の領域間に直交して配置され、エネルギー抑制構造７２５４が吸収特性を示し、エネルギー抑制構造７２５４が、特定のエネルギー伝搬経路７２５５が抑制されるように、エネルギー伝搬経路７２５６に沿って画定された高さを有する、複数のエネルギー位置７１１８の一実施形態を示す。一実施形態では、エネルギー抑制構造７２５４は六角形の形状である。一実施形態では、エネルギー抑制構造７２５４は円形である。一実施形態では、エネルギー抑制構造７２５４は、伝搬経路の任意の向きに沿った形状またはサイズが不均一である。一実施形態では、エネルギー抑制構造７２５４は、追加の特性を有する別の構造体内に埋め込まれる。
図７Ｇは、第１のエネルギー抑制構造７２５７が、それを通って伝搬するエネルギー７２５９を実質的に第１の状態に配向するように構成された、複数のエネルギー位置７１１８を示す。第２のエネルギー抑制構造７２５８は、実質的に第１の状態に配向されているエネルギー７２５９がそれを通って伝搬することを可能にし、第１の状態と実質的に異なるように配向されたエネルギー７２６０の伝搬を制限するように構成される。一実施形態では、エネルギー抑制要素７２５７、７２５８はエネルギー偏光素子対である。一実施形態では、エネルギー抑制要素７２５７、７２５８はエネルギー波帯域通過素子対である。一実施形態では、エネルギー抑制要素７２５７、７２５８は回折導波路対である。
図７Ｈは、複数のエネルギー位置７１１８のうちのどれを通ってエネルギー伝搬経路７２６３が延びるかに応じて、エネルギー伝搬経路７２６３をある程度変更するようにエネルギー抑制要素７２６１が構成される、複数のエネルギー位置７１１８の一実施形態を示す。エネルギー抑制要素７２６１は、特定のエネルギー伝搬経路７２６２が抑制されるように、エネルギー伝搬経路７２６３に沿って均一または不均一にエネルギー伝搬経路７２６３を変更することができる。エネルギー抑制構造７２５４はエネルギー位置７１１８の領域間に直交して配置され、エネルギー抑制構造７２５４は吸収特性を示し、エネルギー抑制構造７２５４は、特定のエネルギー伝搬経路７２６２が抑制されるように、エネルギー伝搬経路７２６３に沿って画定された高さを有する。一実施形態では、抑制要素７２６１はフィールドレンズである。一実施形態では、抑制要素７２６１は回折導波路である。一実施形態では、抑制要素７２６１は湾曲した導波路表面である。
図７Ｉは、エネルギー抑制要素７２６４が、吸収特性を提供してエネルギー７２６６の伝搬を制限しながら、他の伝搬経路７２６７を通過可能にする、複数のエネルギー位置７１１８の一実施形態を示す。
図７Ｊは、第１のエネルギー抑制構造７２６８が、それを通って伝搬するエネルギー７２７０を実質的に第１の状態に配向するように構成された、複数のエネルギー位置７１１８、および複数のエネルギー導波路７１１２の一実施形態を示す。第２のエネルギー抑制構造７２７１は、実質的に第１の状態に配向されているエネルギー７２７０が、それを通って伝搬することを可能にし、第１の状態と実質的に異なるように配向されたエネルギー７２６９の伝搬を制限するように構成される。漂遊エネルギー伝搬７２７２によって例示される、システムを通るエネルギー伝搬をさらに制御するために、エネルギー抑制構造７２６８、７２７１は、エネルギー伝搬が正確な伝搬経路を維持することを確実にするために、複合エネルギー抑制要素を必要とし得る。
図７Ｋは、エネルギー抑制要素７２７６は、吸収特性を提供してエネルギー伝搬経路７２７８に沿ったエネルギーの伝搬を制限しながら、エネルギー伝搬経路７２７７に沿った他のエネルギーが、導波路７１１２のアレイ内の有効開口部７２８４のための一対のエネルギー導波路７１１２を通過することを可能にする、複数のエネルギー位置７１１８の一実施形態を示す。一実施形態では、エネルギー抑制要素７２７６はブラッククロムを含む。一実施形態では、エネルギー抑制要素７２７６は吸収性材料を含む。一実施形態では、エネルギー抑制要素７２７６は透明画素アレイを含む。一実施形態では、エネルギー抑制要素７２７６は陽極酸化材料を含む。
図７Ｌは、第１のエネルギー抑制構造７２５１が、エネルギー位置７１１８の表面に隣接して配置され、特定の屈折、回折、反射、または他のエネルギー変更特性を含む、複数のエネルギー位置７１１８および複数のエネルギー導波路７１１２を含む一実施形態を示す。エネルギー抑制構造７２５１は、エネルギー伝搬経路７２７４に沿ったエネルギー伝搬を抑制することによって、エネルギー伝搬経路７２９０の第１のサブセットをより狭い範囲の伝搬経路７２７５に制限するように構成され得る。第２のエネルギー抑制構造７２６１は、エネルギー伝搬経路７２７５が複数のエネルギー位置７１１８のうちのどれを通って延びるかに応じて、エネルギー伝搬経路７２７５をある程度変更するように構成される。エネルギー抑制構造７２６１は、特定のエネルギー伝搬経路７２７４が抑制されるように、エネルギー伝搬経路７２７５を均一または不均一に変更することができる。第３のエネルギー抑制構造７２５４は、エネルギー位置７１１８の領域間に直交して配置されている。エネルギー抑制構造７２５４は、吸収特性を示し、特定のエネルギー伝搬経路７２７４が抑制されるようにエネルギー伝搬経路７２７５に沿って画定された高さを有する。エネルギー抑制要素７２７６は、吸収特性を提供してエネルギー２８０の伝搬を制限しながら、エネルギー７２８１の通過を可能にする。類似または異なる導波路素子７１１２の複合システムは、導波路素子の有効開口部７２８５を複数のエネルギー位置７１１８からのエネルギーで実質的に満たし、特定のシステムによって画定されるエネルギーの伝搬経路７２７３を変更するように位置付けられる。
一実施形態では、エネルギー抑制構造７１２４は、第１のエネルギー位置７１２２に近接して配置され、一般に第１のエネルギー導波路７１０４に向かって延在し得る。一実施形態では、エネルギー抑制構造７１２４は、第１のエネルギー導波路７１０４に近接して配置され、一般に第１のエネルギー位置７１２２に向かって延在し得る。
一実施形態では、エネルギーシステムは、第２の複数のエネルギー伝搬経路に沿ったエネルギーを、エネルギー導波路システムを通って単一のシームレスなエネルギー面に指向し、第１の複数のエネルギー伝搬経路に沿ったエネルギーを、単一のシームレスなエネルギー面からエネルギー・リレーシステムを通って複数のエネルギー装置に指向するように構成される。
別の実施形態では、エネルギーシステムは、第１の複数のエネルギー伝搬経路に沿ったエネルギーを、複数のエネルギー装置からエネルギー・リレーシステムを通って単一のシームレスなエネルギー面に指向し、第２の複数のエネルギー伝搬経路に沿ったエネルギーを、単一のシームレスなエネルギー面からエネルギー導波路システムを通るように指向するように構成される。
さらに別の実施形態では、単一のシームレスなエネルギー面は、局所的な光透過を３つ以下の波長の可視光に規制するように動作可能である。
ホログラフィックディスプレイに好適な感覚データ
エネルギー指向表面からの表面を通る４Ｄ ｐｌｅｎｏｐｔｉｃ関数は、エネルギー位置を含み、エネルギー伝播経路のベクトルｆｌ（ｘｌ、ｙｌ、ｕｌ、ｖｌ）を定義する導波パラメータｕｌ、ｖｌを含む第２の面に沿って第２の座標を通して指向される、第１の表面から２つの空間座標ｘｌ、ｙｌを提供する。複数のエネルギー指向表面を考慮すると、ｐｌｅｎｏｐｔｉｃ５Ｄ関数は、１つ以上のエネルギー位置を含み、エネルギー伝播経路のベクトルｆｌ（ｘｌ、ｙｌ、ｚｌ、ｕｌ、ｖｌ）を定義する導波パラメータｕｌ、ｖｌを含む平面に沿って第２の座標を通して指向される、第１の座標から３つの空間座標ｘｌ、ｙｌ、ｚｌを提供する。４Ｄまたは５Ｄのそれぞれについて、時間および色のための追加の変数ｆｌ（λｌ、ｔｌ）を考慮して、関数および説明を簡単にするために明示的に注記されていなくても、アプリケーションのために必要な場合、ｐｌｅｎｏｐｔｉｃ関数のいずれかを含むものとみなすことができる。疑義を避けるために明記すると、エネルギー指向表面への言及は例示目的のみであり、５Ｄ座標のローカライゼーションのための空間内の任意の追加の点、位置、方向、または平面を含むことができ、「エネルギー指向表面」と総称される。
図８は、コンテンツデータ用の４次元（４Ｄ）ｐｌｅｎｏｐｔｉｃ座標を決定するためのプロセス８００の一実施形態を示すフローチャート図である。プロセス８００は、視覚、聴覚、触覚、感覚、または嗅覚センサによって知覚可能な任意の信号を含み得るコンテンツデータが受信されるステップ８０２を含むことができる。図９は以下、対象の位置、材料特性（材料特性９０６、９０７、および９０８など）、仮想光源９０４、非対象の位置における形状９０２、基準表面からのコンテンツ、仮想カメラ位置９１４、対象のセグメンテーション９１０、背景テクスチャ９１２、および階層化コンテンツのうちの少なくとも１つを含み得るコンテンツデータの一実施形態を示す概略図である。
図８および９を参照すると、プロセス８００は、コンテンツデータのデジタル立体表現９２２の生成に対して、データ点の位置が第１の表面９２０に対して決定されるステップ８０４をさらに含むことができる。第１の表面９２０は、空間内のデータ点の位置を定義するための基準面として使用され得る。一実施形態では、プロセス８００は、立体表現内のデータ点の位置を４Ｄ関数が適用される第２の表面まで追跡することによって、データ点の４Ｄ ｐｌｅｎｏｐｔｉｃ座標が第２の表面で決定されるステップ８０６をさらに含むことができる。一実施形態では、プロセス８００は、エネルギー源位置値が第１の収束点を有する４Ｄ ｐｌｅｎｏｐｔｉｃ座標に対して決定されるステップ８０８をさらに含むことができる。
ステップ８０２で受信されたコンテンツデータはＮ個のビューを含むことができ、ここでＮは１以上である。単一のビューは、深度チャネルを用いて、または用いずに提示され得る。立体ビューは、深度チャネルを用いて、または用いずに提示され得る。マルチビュー画像は、深度チャネルを用いて、または用いずに提示され得る。さらに、４Ｄ明視野は、深度チャネルを用いて、または用いずに提示され得る。
ステップ８０６の追跡では、グローバルモデルまたは個別に特徴付けられたシステムまたはこの２つの方法論の何らかの組み合わせとしてメモリに格納することができる、エネルギーシステムの較正された形状の事前知識を使用することができる。
一実施形態では、入力データと出力エネルギー源との間のマッピングは、様々なビット速度源の間で正確にマッピングするための方法論を提供する。ステップ８０６の追跡は、先に列挙した部分サンプルから完全な４Ｄ体積データセットを推論する能力を提供する。深度情報は、提供されるか、または利用可能なデータから計算する必要がある。既知のまたは計算された深度情報を用いて、４Ｄ空間への深度座標に基づいて、既知の立体表現からのサンプルの三角測量によってＮ個のビューを逆追跡することができる。
三角測量では、エネルギー導波路とエネルギー源位置フォーマット解像度との間のマッピングが提供される場合、Ｎソースコンテンツ内の各利用可能なエネルギー源位置が、各エネルギー導波路に対するエネルギー源位置を表すと仮定することができる。Ｎ個のソースコンテンツの解像度がより低い場合には、超解像またはスケーリングアルゴリズムを実施することができる。Ｎ個のソース画像の解像度がエネルギー指向装置内のエネルギー導波路の数よりも高い場合には、スーパーサンプリングされたエネルギー源位置間の補間を実行して、結果としての４Ｄ逆レイ・トレースにおいてエネルギー導波路当たりより多くのエネルギー源位置を生成することができる。
上記では、距離情報は、提供または計算された深度情報の形式に応じて正確であるまたは正確でない可能性のある深度マップから決定することができると仮定しており、既知のまたは仮定された距離情報があれば、ｘ－ｙエネルギー源位置座標、およびエネルギー指向装置の特性によって決定される（ｕ、ｖ）角度情報と組み合わされた距離情報は、限定された撮像データサンプルを有する４Ｄまたは５Ｄ明視野とみなさすことができる。撮像サンプルは、距離情報に基づいて、各エネルギー導波路の後ろにそれぞれ存在し得る適切なエネルギー源位置に三角測量により戻され、本明細書に含まれる開示を通して、ステップ８０８で欠落データが生成され得る。
図７Ｃ、８、９、１０を参照すると、一実施形態では、エネルギー位置は第１の表面９２０内に位置し得、４Ｄ関数が適用される第２の表面はエネルギー指向装置の導波路システム７１００に対応し得、エネルギーは、データ点の４Ｄ ｐｌｅｎｏｐｔｉｃ座標に従って導波路システムを通って指向され、コンテンツデータの検出可能な立体表現を形成するように動作可能である。
一実施形態では、プロセス８００は、エネルギー源位置値が、第１の収束点を有する４Ｄ座標に対して決定されるステップ８１０をさらに含むことができる。本開示の例示的な実装例を提供するために、図１０は、画像１００２の形態のコンテンツデータが、エネルギー位置１０１０に関連して決定された最小位置１００６および最大位置１００８の範囲内に提供または計算され得る距離位置１００４と一緒に提供される追跡プロセスを経るエネルギー指向装置１０００の一実施形態を示す。一実施形態では、エネルギー位置１０１０は、エネルギー指向装置の表面を含み得る。４Ｄ ｐｌｅｎｏｐｔｉｃ関数によって規定されたエネルギー位置１０１０からの既知の形状は、画像１００２の仮想表面上の点１０１４の三角測量により、光線１０１６に沿って、各々が一意のｘ－ｙ座標を有する特定のエネルギー位置１０１８まで遡ることを可能にする。欠落したサンプルは、データセット内に含まれている利用可能な情報に基づいて、コンピュータにより計算することができる。
追加のＮ個のサンプルが提供される場合には、同じ方法論が、より豊富なセットの逆レイ・トレースサンプルを生成する追加の多視点撮像データを使用して適用され、優れたホログラフィック結果を提供する。複数のＮ個のサンプルからの深度情報が、ソース位置（Ｎ＋Ｘ個の視点）とソース深度マップ（Ｎ＋Ｘ個の深度マップ）との間の既知のマッピングを有する単一の深度マップ、またはＮ個までもしくはＮ個を超える数の深度マップを通じて提供され、適切な逆光線追跡が実行されることを確実にすることができる。
例えば中心のＮ個の視点のための単一の深度マップが提供される場合には、隣接するビューの各々の間の差異について計算することによって追加の深度マップを補間し、Ｎ個の視点とＮ＋Ｘ個の視点との間のソースおよびターゲットの位置を正確にマッピングすることができる。この方法を使用して、正しい視点が、適切な導波路座標に投影され、関連する視点での正しい視野依存性を維持する視認者の能力をもたらすように、視野依存マッピングを４Ｄ明視野まで逆レイ・トレースすることができる。
符号器および復号器は頑強であり、２Ｄ／フラットファイル、深度を有する２Ｄ、立体、単一深度チャネルを有する立体、デュアル深度チャネルを有する立体、深度を有しないＮ＋Ｘマルチビュー、Ｎ＋Ｙ深度を有するＮ＋Ｘマルチビュー、テクスチャ、形状、照明、材料特性などを含んで環境を再構築し得る、形状またはベクトルベースのシーンファイル、複数のＲＧＢＡＺ値が、各ｘ－ｙ座標、４Ｄまたは５Ｄ（４Ｄプラス深度）明視野のために提供され得る、または決定されたエネルギー指向装置の視野のために必要な特定の量のエネルギー源位置データをレンダリングするためだけのより低い帯域幅の方法論を深度チャネルが提供するＮ＋ＸビュープラスＮ＋Ｙデルタチャネルデータセットとして提供され得るディープイメージングファイルを含むための、これらに限定されない複数のデータタイプを解釈することができる。ワールド座標位置を含んでまたはそれを含まないで、補償された最小および最大投影ワールド位置を含んでまたはそれを含まないで、ならびに特徴付けられたおよび／または設計されたものとして固有のエネルギー指向装置を考慮して、視認者に提示すべき適切な４Ｄ明視野をプロビジョニングするために、プロセッサはリアルタイム速度まで、またはそれを超える速度で逆レイ・トレースすることができる。
一実施形態では、プロセス８００は、導波路システム７１００の第１の側のエネルギー位置７１２２と、導波路システム７１００の第２の側の導波路素子７１００からのエネルギー伝搬経路７１２０の角度方向との間のマッピングが適用されるステップ８１２をさらに含むことができる。そうすることによって、データ点の４Ｄ ｐｌｅｎｏｐｔｉｃ座標に対応する導波路システム７１００の第１の側の複数のエネルギー位置を決定することが可能になり得る。
図１２は、感覚データプロセッサ１２０２、ベクトル化エンジン１２０４、およびトレーシング・エンジン１２０６を有する処理サブシステムと通信するデータ入出力インターフェース１２０１を備える処理システム１２００の概略図である。感覚データプロセッサ１２０２、ベクトル化エンジン１２０４、およびトレーシング・エンジン１２０６は、個別であれ、それらの任意の組み合わせであれ、１つ以上のプロセッサ上で実装され得ることを理解すべきである。プロセス８００のステップ８０２は、コンテンツデータをデータ入出力インターフェース１２０１を介して処理サブシステム１２２０に入力することができる。ステップ８０４は感覚データプロセッサ１２０２によって実行されて、コンテンツデータの立体表現を生成することができる。ステップ８０６
一実施形態では、マッピングの適用は、導波路システム７１００内のひずみについて較正することを含み得、空間ひずみ、角度ひずみ、強度ひずみ、および色ひずからなる群から選択される少なくとも１つのひずみについて較正することをさらに含み得る。
一実施形態では、エネルギー指向装置は、導波路システム７１００の第１の側にリレーシステム６１１０をさらに備えることができ、このリレーシステムは、導波路システム７１００に隣接する第１の表面６１１６を有し、導波路システムの第１の側のエネルギー位置７１１２は、リレーシステム６１１０の第２の表面６１１４に隣接して位置付けられ得る。
一実施形態では、マッピングの適用は、導波路システム７１００内のひずみについて較正することを含み得る。一実施形態では、マッピングの適用は、リレーシステム６１１０内のひずみおよび導波路システム７１００内のひずみの両方について較正することを含み得る。一実施形態では、較正されるひずみは、空間ひずみ、角度ひずみ、強度ひずみ、および色ひずからなる群から選択される少なくとも１つのひずみを含み得る。
一実施形態では、この方法の一部はリアルタイムで実行することができるか、もしくはこの方法は完全にリアルタイムで実行することができるか、またはこの方法の少なくとも２つの部分を異なる期間に実行することができる。
２Ｄから明視野への変換
一実施形態では、コンテンツデータは、２次元（２Ｄ）空間内のデータ点を含むことができ、ステップ７０４の位置を決定することは、２次元空間内のデータ点に深度マップを適用することを含み得る。
２次元または平面画像を明視野データに変換するためのいくつかの方法が存在する。これらは、動き分析からの深度を通じての深度情報の推定、手動もしくはレンダリングされた手段により提供される深度チャネル、または視差、深度、閉塞、形状の手動生成、ならびに／または手動および自動化されたプロセスによる環境全体の再生成を通じて完全な明視野を再生成する、視覚効果コンテンツ生成のための標準として既知の任意の他の方法論を含む。
第１の実施形態では、利用可能なエネルギー源位置情報から深度の推定を実行するためのリアルタイムまたはオフラインプロセッサを含むシステムが可能である。これは、エネルギー指向装置でセットトップボックスとして、またはオフラインプロセスとして実行することができる。時間情報および／または最先端のテクスチャ合成または当技術分野で既知の他の技術を利用して、欠落している体積データのための追加の計算を実行することができる。
第２の実施形態では、深度情報は、画像ストリームとして提供され、画像フォーマットに埋め込むことができる。同様に、欠落した体積測定データのために追加の計算を実行することができる。
第３の実施形態では、アーティストまたはプロセスを利用して欠落した環境情報を生成するが、これには、シーン内の各対象を分離またはセグメント化し、経時的に対象を手動で、半自動的に、または自動的に追跡し、視差空間、エネルギー指向装置空間、光学空間またはワールド座標を利用し、環境を再生成するために背景、透明度、縁部の詳細などを再生成する既知の視覚効果プロセスにより背景および前景の欠落情報を合成して対象を空間内に配置するプロセスを含み得る。疑義を避けるために明記すると、実施されるプロセスは、これらの環境の再構成のために列挙された実施形態のうちのいずれか、全くなし、またはすべてであり得る。生成された環境情報は、エネルギー指向装置の画角によって決定されるできるだけ多くの欠落した情報を含むべきであり、これらの画角は、適切な閉塞および視野依存情報が的確に生成されることを確実にすることをアーティストは知っているであろう。
さらに、部分モデルまたは完全に構築されたモデルのいずれかとして、シーン内の各対象の表面モデルを生成することができ、画像データからのテクスチャを形状の表面に投影して、次の逆光線追跡のための適切な形状を提供する。
さらに、材料特性を計算して、または手動で導入して、仮想照明源を用いて視野依存照明を導入して４Ｄ明視野の再生成の精度をさらに高め得ることを確実にすることができる。
さらに、ＣＧまたは合成コンテンツの追加を導入して、既存の変換材料を増強することができる。体積データの追加も組み込むことができる。Ｎ＋Ｘコンテンツの相互混合も導入して、ＣＧ、２Ｄ、立体、マルチビューおよび／または４Ｄメディア間のシームレスなブレンドを単一の合成画像内に提供することができる。
結果として得られる２Ｄから明視野へ変換されたコンテンツは、ＣＧシーン自体に示されるような、形状、テクスチャ、照明、材料などを含む形状シーンファイルとして保持され得、Ｎ＋Ｄ深度チャネルを有するＮ＋Ｘビューとしてレンダリングされ得、４Ｄまたは５Ｄ（４Ｄ＋深度）明視野、ｘ－ｙ座標あたりＺサンプルの積み重ねの制限のあるまたはないｘ－ｙエネルギー源位置座標あたり複数のＲＧＢＡＺサンプルを可能にするフォーマットである深層画像としてレンダリングされ得、または決定されたエネルギー指向装置の視野のために必要な特定の量のエネルギー源位置データをレンダリングするためだけのより低い帯域幅の方法論を深度チャネルが提供するＮ＋ＸビュープラスＮ＋Ｙデルタチャネルデータセットとして提供され得る。これらのそれぞれの出力フォーマットの全部、一部、または１つの生成を可能にするためのツールが提供され得る。
立体およびマルチビューから明視野への変換
単一視野のコンテンツを利用する上記からのプロセスを、立体視材料およびマルチビュー材料に適用することができる。深度情報の推定は、動き分析からの、ならびに立体、マルチビューおよび／または視差解析、手動またはレンダリングされた手段を通じて提供される１つの深度チャネルまたは提供される複数の深度チャネル、もしくは視差、深度、閉塞、形状の手動生成、ならびに／または手動もしくは自動化されたプロセスによる環境全体の再生成を通じて、および適切なデータを利用して完全な明視野を再生成する視覚効果コンテンツ生成のための標準として既知の任意の他の方法論からの、深度を通じて得られる。
一実施形態では、ステップ１０２で受信されるコンテンツデータは３次元（３Ｄ）空間内のデータ点を含み得、位置の決定は、３Ｄ空間内のデータ点を調整することを含み得る。
一実施形態では、３Ｄ空間内のデータ点の調整は、３Ｄ空間内のデータ点に深度マップを適用すること、新しいデータ点を追加すること、閉塞されたデータ点を再構成すること、またはそれらの任意の組み合わせを含み得る。
このアプローチの重要な利点は、立体視差推定の精度が、運動視差または他の類似の２Ｄ推定プロセスだけのものよりもはるかに高いということにある。さらに、結果として得られる変換された４Ｄ明視野の画質は、照明、透明度、材料、閉塞などを含むがこれらに限定されない視野依存条件のいくつかの利用可能性のために、より正確である。
マルチビュー画像データの明確な角度依存性を保持する能力は、中央視点カメラ、または他の何らかの定義された中心点に関して面法線を計算する能力に依存する。これらの法線および視差または深度情報が既知であれば、エネルギー指向装置の画角に基づいて視点間を補間することが可能であり、得られた補間は次に、逆光線追跡に直接適用されるか、または逆光線追跡の間、テクスチャ合成の一部として合成される。
簡略化のために、２Ｄから明視野画像への再構成のための以前に開示された方法論のすべては、立体またはマルチビューデータセットの再構成に適用され得る。
４Ｄまたは５Ｄ明視野からのＮ×Ｎ ＲＧＢ画像の生成
４Ｄまたは５Ｄ明視野を利用することによって、Ｎ×Ｎの数、またはＮ×Ｎまでの任意の値の数のＲＧＢマルチビュー画像を生成することが可能である。このプロセスは、正方形グリッド、０、０位置、およびＮ、Ｎ位置としての右上位置を仮定して、各導波路の下の各左下座標を考慮することによって適応される。このグリッドは単なる例示であり、他のマッピング方法論も利用することができる。０、０からＮ、Ｎの各位置に対して、利用される捕捉システムに基づいて可能な限り広い被写界深度で、明視野からフル解像度の画像を形成することが可能であり、アレイ内の各導波路は単一のエネルギー源位置と考えられ、各導波路の下の各座標は、０、０からＮ、Ｎまでの各完全画像に対する、より大きなエネルギー源位置アレイのなかの単一のエネルギー源位置である。これは、５Ｄ明視野の深度情報についても繰り返され得る。このようにして、様々な分布の理由から、２Ｄ、立体、マルチビュー、点群、ＣＧシーンファイル、または４Ｄもしくは５Ｄ明視野から導出され得るデータの任意の他の所望の組み合わせを含むことが所望されるデータセットの任意のサブセットに対して、４Ｄまたは５Ｄ明視野間を容易に変わることが可能である。不規則または正方形充填４Ｄまたは５Ｄ構造については、エネルギー源位置を規則的グリッドに整列させるためにさらなる補間が必要である、またはエネルギー源位置と非正方形充填構造との間の線形マッピングが実施行され得、結果得られた画像は直線的に見えない可能性があり、エネルギー源位置のアーチファクトを含む可能性がある。
図１１は、エネルギー導波路素子位置およびエネルギー位置座標のそれぞれに従って、各エネルギー導波路素子１１０４の下からエネルギー位置１１０２を配置することによって、４Ｄまたは５Ｄ明視野から複数の視点に変換する方法論を例示したものである。これにより、シームレスに、明視野とより小さいデータセットとの間をシームレスに移転する能力が提供される。
Ｎ＋Ｘ ＲＧＢおよびＮ＋Ｙ深度データセット
データ送信サイズのバランスを有して最高品質を提供する理想的なデータセットのフォーマットは、Ｎ＋Ｘ ＲＧＢおよびＮ＋Ｙ深度＋ベクトル化チャネルの使用を含み、ここでＮ＋Ｘ ＲＧＢ情報は、特定の解像度およびフォーマットを表し得るＮ個のＲＧＢ画像と、より低い解像度、デルタ情報などを含めるためにＲＧＢデータ用の異なる解像度およびフォーマットを表し得るＸと、特定の解像度およびフォーマットを表し得るＮ深度＋ベクトル化チャネル、およびより低い解像度、デルタ情報などを含めるために深度＋ベクトルデータ用の異なる解像度およびフォーマットを表し得るＹを含むＮ＋Ｙ深度＋ベクトル化チャネルとを含む。
Ｎ＋Ｘビューの数は、規則的なグリッド上に、中心ビューを有してまたは有しないで中心点の周りの１つの半径から、中心ビューを有してまたは有しないで中心点の周りの複数の半径、またはビューの数と、関連するパッキングまたは視線位置とのマッピングを決定するための任意方法論から、生成され得る。視点のための構成はファイルのメタデータに含むことができる、または提供される深度＋ベクトル化チャネルは、他の必要なメタデータなしに撮像データがＸＹＺ空間の同じ座標に整列するように、ワールド座標への直接マッピングを含むことができる。
４Ｄディスク反転およびエネルギー指向装置の互換性処理
４Ｄまたは５Ｄ明視野システムの光学シミュレーションを使用する仮想リグで捕捉されたものを含む可能性のある、ｐｌｅｎｏｐｔｉｃまたは明視野４Ｄまたは５Ｄシステムを使用して捕捉された任意のデータについては、結果得られるフライアイパースペクティブは、明視野のｕｖベクトルを表すディスクを含んでいる。しかしながら、これらの座標は、エネルギー指向装置には存在しない可能性のあるエネルギー集束素子を仮定している。提案されたエネルギー指向装置のソリューションでは、集束素子は視認者の目であり得、捕捉システム間のマッピング、および元の捕捉方法と観察されたエネルギー指向装置との間のマッピングはもはや正しくない。
これを反転させて、捕捉システムと比較したときにシステム内の追加的に欠落しているエネルギー指向素子を補正するために、各ディスクを独立して個別にフリップすることが可能であり、各導波路の中心点に基づいて各（ｕ、ｖ）座標のｘ－ｙ位置がリターゲットされる。このようにして、主導波路の結果として形成する像の反転が反転され、明視野エネルギー指向装置が光線を正しいｘ－ｙ－ｕ－ｖ方向に投射することを可能にする。
これのさらなる実施形態は、エネルギー導波路アレイを活用することが、提示されたすべてのエネルギー導波路のエネルギー源位置の直接反転を提供する、ハードウェア修正を実装し得る。明視野エネルギー指向装置にとって、これは、予想される捕捉システムとエネルギー指向装置との間の直接マッピングを有する利点がある。これは、正確なｘ－ｙ－ｕ－ｖ座標のために追加の回数リレーする必要性をなくすことによって、アレイ全体の中の一群のエネルギー導波路を除去できるように、ＨＭＤシステムまたは体積不透明エネルギー指向装置を含む実施形態がさらに有利であり得る。
さらに、すべての明視野が同一ではない。それらは、異なるＮＡ、ＦＯＶ、Ｎ値、光学的処方などを用いて捕捉され得る。入力明視野データの内因性および外因性は理解され得、エネルギー指向装置の特性に変換し得る。これは、ホログラフィックデータおよび明視野データのユニバーサルパラメータ化のための本開示内に含まれる実施形態によって実行され得る。
エネルギー指向システムのための逆エネルギー追跡および感覚特性のベクトル化によるホログラフィック感覚データ輸送のユニバーサルパラメータ化
エネルギー指向表面からの表面を通る４Ｄ ｐｌｅｎｏｐｔｉｃ関数は、エネルギー位置を含み、エネルギー伝播経路のベクトルｆｌ（ｘｌ、ｙｌ、ｕｌ、ｖｌ）を定義する導波パラメータｕｌ、ｖｌを含む第２の面に沿って第２の座標を通して指向される、第１の表面から２つの空間座標ｘｌ、ｙｌを提供する。複数のエネルギー指向表面を考慮すると、ｐｌｅｎｏｐｔｉｃ５Ｄ関数は、１つ以上のエネルギー位置を含み、エネルギー伝播経路のベクトルｆｌ（ｘｌ、ｙｌ、ｚｌ、ｕｌ、ｖｌ）を定義する導波パラメータｕｌ、ｖｌを含む平面に沿って第２の座標を通して指向される、第１の座標から３つの空間座標ｘｌ、ｙｌ、ｚｌを提供する。４Ｄまたは５Ｄのそれぞれについて、時間および色のための追加の変数ｆｌ（λｌ、ｔｌ）を考慮して、関数および説明を簡単にするために明示的に注記されていなくても、アプリケーションのために必要な場合、ｐｌｅｎｏｐｔｉｃ関数のいずれかを含むものとみなすことができる。疑義を避けるために明記すると、エネルギー指向表面への言及は例示目的のみであり、５Ｄ座標のローカライゼーションのための空間内の任意の追加の点、位置、方向、または平面を含むことができ、「エネルギー指向表面」と総称される。
エネルギー伝搬経路の第１のベクトルに沿って、エネルギーの収束を含む複数の交点が追加のエネルギー伝搬経路と共に発生し得る。この交点では、３Ｄ点または深度パラメータが、４Ｄまたは５Ｄ関数を有する複数のエネルギー伝搬経路の間の位置Ｘｌ、Ｙｌ、Ｚｌに形成し、ここで、１つまたは複数のエネルギー指向表面内に含まれる各ｘｌ、ｙｌまたはｘｌ、ｙｌ、ｚｌ座標に対して、第１の座標と３Ｄ収束点との間に形成する単一のｕｌ、ｖｌ伝搬経路のみが存在する、複数のエネルギー伝播経路の間の３Ｄ収束点Ｘｌ、Ｙｌ、Ｚｌ。４Ｄ関数ｆｚ（ｘｌ、ｙｌ、ｕｌ、ｖｌ）または５Ｄ関数ｆｚ（ｘｌ、ｙｌ、ｚｌ、ｕｌ、ｖｌ）は、すべての４Ｄｘｌ、ｙｌまたは５Ｄｘｌ、ｙｌ、ｚｌ座標、およびＸｌ、Ｙｌ、Ｚｌの各収束点に対して存在する相応するｕｌ、ｖｌ伝播経路を集合的に定義する。
エネルギー指向表面Ｘｌ、Ｙｌ、Ｚｌを通る複数のエネルギー伝搬経路に沿ったエネルギーの収束によって生じる第１の５Ｄ座標では、この座標は、より大きい対象、体積、粒子または局所的なエネルギーパラメータ内の点を表すことができ、第１の５Ｄ座標に近接する追加の座標において収束するエネルギーは、環境またはホログラフィックデータセット内の感覚エネルギーに対して追加のベクトル化された特性を示し得る。これらのベクトル化された特性は、各５Ｄ座標、４Ｄデータセット内の各エネルギー位置座標、４Ｄまたは５Ｄデータセットのいずれか内の領域、またはエネルギー面を含む座標の他のサブセットに関する情報を含み得る。
一実施形態では、ラスターおよびベクトルの２Ｄ、３Ｄ、４Ｄおよび５Ｄデータセットのために、視覚エネルギー、聴覚エネルギー、体性感覚エネルギー、味覚エネルギー、嗅覚エネルギー、前庭エネルギー、または感覚系の応答のための他の所望のエネルギーの伝搬のための４Ｄおよび５Ｄホログラフィック感覚エネルギー特性のユニバーサルパラメータ化が開示されており、４Ｄエネルギー指向表面の第２の面の第２の座標に関して、２Ｄデータは単一の角度サンプルを含むことができ、３Ｄデータは単一の次元に２つ以上の角度サンプルを含むことができ、４Ｄデータは２つの次元に複数の角度サンプルを含むことができ、または５Ｄデータは３つ以上の次元に複数の角度サンプルを含むことができる。
受信サンプルデータの実施形態は、以下のいずれかを含み得る：
１）２Ｄもしくはモノスコピック、フラット、点群、ＵＶマッピングジオメトリ、内的幾何形状、深層画像、レイヤードイメージ、ＣＡＤファイル（固有）、単点サンプリング、シングルカメラキャプチャ、シングルプロジェクター投影、ボリュメトリック（体積内のベクトルを有するモノスコピック単一サンプル点）、３自由度のソース（ＤｏＦ、単一点を中心としたモノスコピックｘ、ｙ、ｚ回転を有するラスター）、非明視野６ ＤｏＦのソース（ラスター＋モノスコピックサンプルからのベクトル）、体積エネルギー指向装置（体積内のモノスコピックサンプル）、ペッパーズゴーストのソース（シングルポイント投影）、２Ｄ ＡＲ ＨＭＤのソース（モノスコピック単一または複数焦点面、レイヤードモノスコピック）、２Ｄ ＶＲ ＨＭＤのソース（モノスコピック単一または複数焦点面、レイヤードモノスコピック）、または２次元ラスターもしくはベクトル情報の任意の他の表現。
２）３Ｄもしくはステレオスコピック、トリスコピック（シングルベースライン）、マルチビュー（１Ｄ）、１Ｄマルチサンプル、１Ｄ多視点、水平もしくは垂直のみの視差、１Ｄ投影アレイ、２点サンプリング、１Ｄポイントサンプリング、水平もしくは垂直アレイ、バレットタイム、３ＤｏＦのソース（ラスター、単一点を中心としたステレオスコピックｘ、ｙ、ｚ回転）、３ＤｏＦのソース（単一点を中心としたステレオスコピックｘ、ｙ、ｚ回転内の３Ｄラスター）、非明視野６ ＤｏＦのソース（３Ｄラスター＋ステレオスコピックサンプルからのベクトル）、１Ｄ体積エネルギー指向装置のソース（１Ｄ視差含有サンプル）、オートステレオスコピックデータのソース、水平多視点エネルギー指向装置のソース、３Ｄ ＡＲ ＨＭＤのソース（ステレオスコピック単一もしくは複数焦点面、レイヤードステレオスコピック）、３Ｄ ＶＲ ＨＭＤのソース（ステレオスコピック単一または複数焦点面、レイヤードステレオスコピック）、または３次元ラスターもしくはベクトル情報の任意の他の表現。
３）４Ｄもしくはｐｌｅｎｏｐｔｉｃ（５Ｄ）、マルチスコピック、積分画像、明視野（４Ｄ）、ホログラフィック（４Ｄ）、２Ｄマルチビュー、２Ｄマルチサンプル、２Ｄ多視点、２Ｄ視差、水平および垂直視差、２Ｄ投影アレイ、２Ｄポイントサンプリング、モーションキャプチャステージ（表面に沿った）、平面アレイ、目撃カメラアレイ、レンダリングもしくはレイ・トレースによる形状表現（４Ｄ表現）、外的幾何形状（４Ｄ表現）、明視野６ ＤｏＦのソース（平面明視野サンプル内の４Ｄラスター）、自由視点６ ＤｏＦのソース（４Ｄラスター＋４Ｄ明視野サンプルからのベクトル）、４Ｄ体積エネルギー指向装置のソース（２Ｄ視差含有サンプル）、明視野エネルギー指向装置のソース（４Ｄサンプリング）、明視野ＨＭＤのソース（ニアフィールド４Ｄサンプリング）、Ｈｏｌｏｄｅｃｋレイ・トレース装置のソース（４Ｄサンプリング）、または４次元ラスターもしくはベクトル情報の任意の他の表現。
４）５Ｄもしくはｐｌｅｎｏｐｔｉｃ＋深度、明視野＋深度、ホログラフィック（５Ｄサンプリング、４Ｄ＋深度）、任意のマルチビュー（ｘ、ｙ、およびｚ軸すべてに沿って）、マルチサンプル（ｘｙｚすべてに沿って）、多視点（ｘｙｚすべてに沿って）、体積視差（ｘｙｚすべてに沿って）、投影アレイ（ｘｙｚすべてに沿って）、ポイントサンプリング（ｘｙｚすべてに沿って）、モーションキャプチャステージ（ｘｙｚすべてに沿って）、目撃カメラアレイ（任意のｘｙｚ構成）、レンダリングもしくはレイ・トレースによる形状表現（５Ｄ表現）、立方体もしくは体積レンダリング（ｘｙｚすべてに沿って）、外的幾何形状（５Ｄ表現）、明視野６ ＤｏＦのソース（体積明視野サンプル内の５Ｄラスター）、自由視点６ ＤｏＦのソース（５Ｄラスター＋５Ｄ明視野サンプルからのベクトル）、５Ｄ体積エネルギー指向装置のソース（マルチプレーナ４Ｄサンプリング）、５Ｄ明視野エネルギー指向装置のソース（５Ｄサンプリング、４Ｄ＋複数平面）、５Ｄ明視野ＨＭＤのソース（ニアフィールド５Ｄサンプリング、４Ｄ＋複数平面）、Ｈｏｌｏｄｅｃｋエネルギー指向装置のソース（５Ｄサンプリング、４Ｄ＋複数平面）、または５次元ラスターもしくはベクトル情報の任意の他の表現。
第２の座標のそれぞれにおいて、提供されるデータは、ラスターサンプルまたはベクトルサンプルのいずれかのサブセットもしくはスーパーセットを含むことができ、サンプルは、ラスターサンプルまたはベクトルサンプルのサブセットもしくはスーパーセットの解釈または処理を通じて、増加したサンプリング密度への変換を可能にする追加のベクトル化情報を表し、含むことができる。
２Ｄ、３Ｄ、４Ｄ、または５Ｄの提供されるデータセットの各々について、情報はベクトル化情報、手動識別、コンピュータビジョン解析、自動処理、または提供されたサンプルを元のデータセットから５Ｄ座標系に変換する他の手段によって変換される。２Ｄ、３Ｄ、４Ｄ、もしくは５Ｄの提供されるデータセットの各々について、情報は、４Ｄエネルギー指向表面の第２の平面の第２の座標を参照して、各提供されたデータセットのための、元の角度サンプリングコンポーネントに関する複数のサンプルもしくはサンプルの層および追加のベクトル化された特性を含むことができる、または２Ｄ、３Ｄ、４Ｄ、もしくは５Ｄの追加の提供されたデータセットのいずれかのための寄与サンプルの組み合わせを含むことができる。
提供されたサンプルの各々は、所望の座標ごとに固有エネルギーを含み、固有エネルギーは追加の外在的エネルギー属性を含むことができ、固有エネルギーは、他の外部サンプル、特性または環境条件がない場合の所与の５Ｄ座標における値を表す。電磁スペクトルにおいて、これは、すべての入射放射線を反射する白体に対応し、無次元値の範囲が特定の感覚エネルギーに相応する各所望の感覚エネルギーに明らかに及ぶ、反射率の無次元測定値としてアルベドと呼ばれることがある。視覚系内ではこの範囲は約４００ｎｍ～７００μｍであり、聴覚系内ではこの範囲は約２０Ｈｚ～２０ｋＨｚである。
過去数十年にわたり、検出された感覚、香り、および風味の高度パターン認識を電子的手段によって人為的に活用して、人間の感覚の再現を可能にする莫大な技術的改良。電磁スペクトルの外側に存在し得る他の系では、これらの無次元値は、感知された鋭さ応答に基づいて同じ方法で特徴付けることができる。ホログラフィック感覚エネルギー技術が新たに出現しているが、この実施形態内に開示されている、は仮想環境においてすべての人間の感覚を刺激するためのシステム、方法およびフォーマットを含んでおり、様々な感覚パラメータのためのユニバーサルな構築を明確にし、そうすることによって、データの適切な処理、送信、保存、ベクトル化、構築された仮想環境の完全な投入のために所望される任意の感覚エネルギーパラメータまたは装置への、それらからの、またはそれらの間の移転をプロビジョニングするものであり、ホログラフィック感覚技術のためのエネルギー伝搬の実施形態が、将来の出願において開示されるであろう。さらに、古典的な「スメロビジョン」のような目先の変わった商品、またはＦｅｅｌＲｅａｌの匂いがするＶＲヘッドセットのような現代バージョンを含む他のアナログ装置が、本明細書のデータセットのベクトル化内に提供されるパラメータ化された値を活用できるようにすることが、本開示の意図である。
一実施形態では、体性感覚系は、５０Ｈｚ～３００Ｈｚで正規化され得る皮膚内の圧力感受性範囲を有するテクスチャ用の機械受容体、０℃～５０℃で正規化され得る皮膚内の温度感受性範囲を有する温度受容器（ただし、この範囲は過度の温度によって画定される上限および下限を有するはるかに広い範囲となり得る）、または他の動力学特性の中の時間、ひずみ、弾性率用の変数を含む多くの物理的特性を提供し、本開示の目的のために、花こう岩などの動かない固体に対しては０で、水のような低粘性流体に対しては１の値を有する無次元正規化スケールに単純化された、経時的に応力とひずみとの間の変形を被るときの、粘性的および弾性的両方の材料測定の粘弾性挙動の範囲を定義する表面変形性を含む、感受性を規定するコンポーネントに基づいて定義され得る。当業者は、提供される実際のベクトルは、材料の粘弾性を適切に定義するために必要な物理的特性を含み、例示の目的のためにのみ正規化されることを理解するであろう。
最後に、味覚装置および嗅覚装置を含む人工電子センシングにおける技術水準の進歩は、Ｈｏｌｏｄｅｃｋ設計パラメータについて開示された感覚パラメータをさらにベクトル化し、本明細書に記載されたようなホログラフィック導波手段を介して人工の味覚および嗅覚の電子的再生を可能にする実行可能な道筋を示す。人工電子味覚および嗅覚受容体は、新たに出現したナノデバイスを通じてかなりの進歩を遂げており、人間の味覚を構成する味の検出をもたらすパターン認識システムを通じて、サンプリングされた化学組成の周波数として味を繰り返しおよび正確に検出する周波数ベースのパルスへの符号化および変換を通じて化学的刺激の強度をサンプリングするための酵素バイオセンサを使用する周波数ベースの人工味覚受容器。この技術はあらゆる種類の検出可能な味に拡張され得ると考えられており、人工嗅覚システムにおける同様の進歩が、電子信号の変化によって特定の嗅覚応答の周波数内に含まれるパターンをさらにパラメータ化する現在行われている研究と共に、鼻甲介を標的とする弱い電気パルスを使用して人の嗅受容器体を刺激するためのデジタルインターフェースを実証した。
嗅覚、味覚および他の感覚系を表す周波数および複雑な電子パターンを任意に生成するための経路が確立され、一実施形態では、酸味、塩味、苦味（スパイシーさ）、甘味、およびおいしさ（うまみ）のためのベクトルを含み得るがこれらに限定されない、平均的な人間の２，０００～８，０００個の味覚芽を飽和させるための最小および最大味覚応答を表す０～１のスケールに沿って電子的に制御されるパラメータの各々のための正規化されたスケールを含むように味覚の鋭さ応答をベクトル化することができ、ベクトル化された信号のベクトルおよび空間座標は、複雑な嗅覚の実現のための製作に情報を与え得る。
別の実施形態では、よい香り、果物臭、柑橘類臭、木質（樹脂）臭、薬品臭、甘い匂い、ミント（ペパーミント）臭、こんがり焼けた（ナッツの）匂い、刺激臭および腐敗臭のためのベクトルを含み得るがこれらに限定されない、非常に複雑な嗅覚空間の各々ついて、人間の平均１０ｃｍ２の嗅上皮を飽和させるための最小および最大嗅覚応答を表す０～１のスケールに沿って電子的に制御されるパラメータの各々のための正規化されたスケールを含むように嗅覚の鋭さ応答をさらにベクトル化することができ、ベクトル化された信号のベクトルおよび空間座標は、複雑な嗅覚の実現のための製作に情報を与え得る。
これらのベクトルの各々は、提供されたベクトル化値の適切な適用のために、必要に応じて、波、振幅、大きさ、または他の属性に変換された味、匂い、または他の感覚領域のためにこれらのパターンを表す正規化された値を提供し得る。嗅覚および味覚は、感覚系内の最も劣化した感覚のうちの２つであるが、複雑な融合体をベクトル化するためのパラメータ化された値があれば、実施形態において、任意のそのような感覚エネルギーの感受性のユーザーベースの対話型制御を提供して、視覚系、聴覚系、体性感覚系、味覚系、嗅覚系、前庭系または他の所望の感覚系応答の各々の個別化のカスタマイズを提供することがさらに可能である。
一実施形態では、サンプルの表された感覚アルベドエネルギー値の各々は、他の外部サンプル、特性または環境条件のそれぞれについて提供された各サンプルの加算結果を表す単一のサンプル値にベークインされた外在的エネルギー属性をさらに含み得る。この構成では、複合サンプル値は、物理ベースのまたはシミュレートされた環境において、他のサンプルからの他のエネルギーの潜在的属性を示してもよく、または示さなくてもよい。パラメータ化され再構成されたホログラフィックデータセットを送信するための最も効率的で純粋な方法は、簡略化されより低い帯域幅の周波数情報を提供する単一の固有サンプル情報に基づいているが、この方法は、特に物理ベースの撮像または音響システムでは、完全な合成環境の外で受信することは必ずしも可能ではない。任意の実世界環境では、結果として得られるサンプル情報に対するある程度の外因的寄与が常にある。ライトステージのような特定のシステム、または反射率、形状、テクスチャ、およびモーションキャプチャの推定を容易にすることが当該技術分野で既知の他のシステムは、何らかの形態の構造化照明、およびアルベド、深度情報、面法線および双方向散乱分布の表面特性の直接または間接解析を提供する１つまたは複数の撮像装置を利用する。
双方向散乱分布関数（ＢＳＤＦ）は、しばしば超関数ｆｒ（ｗｉ、ｗｒ）で表され、当技術分野で知られているコンピュータグラフィックスおよび視覚アルゴリズムにおいて表面特性をパラメータ化し識別するためのモデルとして集合的に作用する、双方向透過率分布関数（ＢＴＤＦ）、双方向テクスチャ関数（ＢＴＦ）、および双方向反射率分布関数（ＢＲＤＦ）の一般化されたスーパーセットである。この関数は、面法線が対象表面の接線に垂直である場合に、エネルギー伝播経路に対して入射光の入射方向ｗｉおよび出射光の反射または透過方向ｗｒが与えられたときに、可視光がどのように反射され、透過され、またはそうでなければ表面と相互作用するかを説明し、関数は、出射経路ｗｒに沿って出射する反射放射輝度の入射経路ｗｉに沿って表面に入射する放射照度に対する割合を説明し、ｗｉ、ｗｒの各々は、入射経路および出射経路の各々のパラメータ化された方位角および天頂角を規定する４Ｄ関数を含み得る。
表面に当たるエネルギーλｉの第１の位置ｘｉ、および材料特性がこのエネルギーをエネルギーλｒの第２の位置ｘｒに内部散乱させた後の出口のためにこれらの機能をさらに明確にして、虹色、発光、表面下散乱、非局所散乱効果、鏡面反射、影付け、マスキング、相互反射など、表面の材料特性に基づいて得られる出力エネルギー、入力エネルギーおよび位置、および対象、体積または点の表面全体にわたる出力エネルギーおよび位置などの可視波長の影響を説明することができる。
したがって、波長または周波数依存性、および空間的に変化する材料特性または表面を含むために、表面に当たる任意の２つのエネルギー線の間にエネルギーがどのように輸送されるかを説明するための一般化された特性は１０Ｄ関数として表すことができ、データセット内の利用可能または提供されたサンプルの各々またはいずかに対してｆｒ（λｉ、ｘｉ、ｗｉ、λｒ、ｘｒ、ｗｒ）として指定して、入力エネルギー、ベクトル化された表面形状の影響、および反射、屈折、鏡面、透過、散乱、拡散、または任意のエネルギー領域からの他の材料特性の結果の出力を、関数の一般化ｆｒが与えられたときに説明することができる。
ここでエネルギー指向表面を考慮すると、ｐｌｅｎｏｐｔｉｃ４Ｄ関数は、エネルギー位置を含み、エネルギー伝播経路のベクトルｆｌ（ｘｌ、ｙｌ、ｕｌ、ｖｌ）を定義する導波パラメータｕｌ、ｖｌを含む第２の平面に沿って第２の座標を通して指向される、第１の平面から２つの空間座標ｘｌ、ｙｌを提供する。複数のエネルギー指向表面を考慮すると、ｐｌｅｎｏｐｔｉｃ５Ｄ関数は、１つまたは複数のエネルギー位置を含み、エネルギー伝播経路のベクトルｆｌ（ｘｌ、ｙｌ、ｚｌ、ｕｌ、ｖｌ）を定義する導波パラメータｕｌ、ｖｌを含む平面に沿って第２の座標を通して指向される、第１の座標から３つの空間座標ｘｌ、ｙｌ、ｚｌを提供する。４Ｄまたは５Ｄのそれぞれについて、時間および色のための追加の変数ｆｌ（λｌ、ｔｌ）を考慮して、関数および説明を簡単にするために明示的に注記されていなくても、アプリケーションのために必要な場合、ｐｌｅｎｏｐｔｉｃ関数のいずれかを含むものとみなすことができる。
エネルギー伝搬経路の第１のベクトルに沿って、エネルギーの収束を含む複数の交点が追加のエネルギー伝搬経路と共に発生し得る。この交点では、３Ｄ点または深度パラメータが、４Ｄまたは５Ｄｐｌｅｎｏｐｔｉｃ関数を有する複数のエネルギー伝播経路の間の位置Ｘｌ、Ｙｌ、Ｚｌに形成し、ここで、エネルギー指向４Ｄ表面または５Ｄ表面内に含まれる各ｘｌ、ｙｌまたはｘｌ、ｙｌ、ｚｌ座標に対して、第１の座標と３Ｄ収束点との間に形成する単一のｕｌ、ｖｌ伝播経路角度のみが存在する、複数のエネルギー伝播経路の間の３Ｄ収束点Ｘｌ、Ｙｌ、Ｚｌ。４Ｄ関数ｆｚ（ｘｌ、ｙｌ、ｕｌ、ｖｌ）または５Ｄ関数ｆｚ（ｘｌ、ｙｌ、ｚｌ、ｕｌ、ｖｌ）は、すべての４Ｄｘｌ、ｙｌまたは５Ｄｘｌ、ｙｌ、ｚｌ座標、およびＸｌ、Ｙｌ、Ｚｌの各収束点に対して存在する相応するｕｌ、ｖｌ伝播経路を集合的に定義する。
収束座標Ｘｌ、Ｙｌ、Ｚｌに表面が形成され、この表面は、収束エネルギー伝播経路の３Ｄ位置を含む点、体積、物体または他の実施形態を含むことができる。各表面位置に対して提供されるサンプルは、結果得られるエネルギーを特徴付ける、またはそうでなければ処理するための１つ以上の表面特性、ベクトル、材料、特徴付け、または他の識別特性Ｖｉ、ならびに表面位置に近接した特定の点に当たる１つ以上の入力エネルギー源を含むことができ、反射率関数はここで、表面の様々な特性のための、１１Ｄユニバーサルオブジェクトパラメータ化関数ｆｒ（λｉ、ｘｉ、ｗｉ、λｒ、ｘｒ、ｗｒ、Ｖｉ）として表される一般化されたベクトルを含む。
１１Ｄユニバーサルホログラフィックパラメータ化関数ｆｒ（λｉ、ｘｉ、ｗｉ、λｒ、ｘｒ、ｗｒ、Ｖｉ）は特定の環境およびベクトル化された特性のための結果得られる値を規定し、４Ｄ関数ｆｌ（ｘｌ、ｙｌ、ｕｌ、ｖｌ）はエネルギー指向装置表面からのエネルギー伝播経路を規定し、そのため、１５Ｄユニバーサルホログラフィックパラメータ化関数ｆｒ（λｉ、ｘｉ、ｗｉ、λｒ、ｘｒ、ｗｒ（ｘｌ、ｙｌ、ｕｌ、ｖｌ）、Ｖｉ）としてさらに一般化することができ、ここで、送信される方向ｗｒがｕｌ、ｖｌの伝播経路を規定して等しくし、それにより空間座標ｘｌ、ｙｌを規定し、各送信される方向ｗｒでは、ｗｒ＝ｕｌ、ｖｌを満たすただ１つのｆｌ（ｘｌ、ｙｌ、ｕｌ、ｖｌ）セットの値が存在する。当業者は、４Ｄおよび５Ｄホログラフィック感覚エネルギー特性の開示されたユニバーサルパラメータ化に関連するレンダリングの要件に加えて、様々な変換および数学的構成概念を理解するであろう。
空間内の収束点から形成される表面と一致するようにすべての感覚エネルギー特性をベクトル化することを示す完全な１５Ｄ関数を用いて、複数桁の必要なデータが根本的に省かれ、真にホログラフィックデータセットの送信を可能にする実行可能な経路をプロビジョニングする。
ベクトル化された特性は、合成的にプログラムされ得る、捕捉され得る、またはコンピュータにより評価され得る特性に対する感覚領域の各々の正確な物理的特性を提供することを目指しており、Ｖｉは、以下のものを含む、一般的なシステムメタデータ用、またはそれぞれのもしくは任意の感覚エネルギー領域用に提供されるデータセット内の特定のサンプルについて、対象に関する各表面、体積または３Ｄ座標Ｘｌ、Ｙｌ、Ｚｌでベクトル化された特性の属性を指定することができる。
１）システムメタデータは、法線、深度情報、環境特性、所与の３Ｄ座標に対する複数の角度サンプル、プロシージャルテクスチャ、幾何学的形状、点群、ディープイメージデータ、静的フレーム、時間フレーム、ビデオデータ、表面ＩＤ、表面パス、座標マップ、仮想カメラ座標、仮想照明および可視エネルギー情報、環境マップ、視覚サンプル情報のフィールド外のシーン情報、曲線、頂点、時間情報、ネットワークデータ、データベース、対象認識、エネルギー装置、外部データフィード、システムの変更および対話のためのセンサ、システムステータス、音声認識、嗅覚検出、聴覚検出、顔認識、体性感覚認識、味覚認識、ＵＩ、ＵＸ、ユーザープロファイル、フローおよびモーションベクトル、レイヤー、領域、透明度、セグメント、アニメーション、シーケンス情報、手順情報、変位マップ、または各サンプルの適正な処理のための十分なデータを提供するのに必要な任意の他のシーンデータを含む、各サンプルの表面特性に関する感覚エネルギー特有の属性またはシステム全体の参照のうちのいずれかを提供し得る。
２）視覚エネルギーは、可視または非可視電磁エネルギー、虹色、発光、表面下散乱、非局所散乱効果、鏡面反射、影付け、吸光度、透過率、マスキング、相互反射、アルベド、透明性、物理的特性、動力学的特性、反射、屈折、回折、光学効果、大気効果、周波数、変調、表面形状、テクスチャ、変位マップ、プロビジョニングされたエネルギーに基づいて特に他の感覚エネルギーと相互関係を持ち応答するための物理的特性および動力学的特性（例えば、反射率特性を変える音の振動、または表面の変形を引き起こす触感材料の変形）、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積などに関連する他の材料特性の適切なレンダリングを規定するための表面特性を提供し得る。
３）聴覚エネルギー：局所音場の配置、大きさ、振幅、質量、材料伝搬パラメータ、吸光度、透過率、音響反射率を示す材料特性、拡散、透過率、増強、マスキング、散乱、局在化、周波数依存性または変調、ピッチ、トーン、粘性、滑らかさ、テクスチャ、弾性率、物体内の音波の伝搬を決定する任意の他のパラメータ、表面、媒体またはその他、プロビジョニングされたエネルギーに基づいて特に他の感覚エネルギーと相互関係を持ち応答するための物理的特性および動力学的特性（例えば、素材の音を変える温度）、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積などに関連する他の材料特性、に関係するベクトル。
４）テクスチャのための機械的受容器、圧力、温度受容器、温度、他の動力学特性の中の時間、ひずみ、弾性率用の変数を含む多くの物理的特性を提供し、経時的に応力とひずみとの間の変形を被るときの、粘性的および弾性的両方の材料測定の粘弾性挙動の範囲を規定する表面変形性パラメータおよびベクトル、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積、または他の体性感覚パラメータに関連する他の材料特性、に関連する体性感覚エネルギーベクトル。
５）よい香り、果物臭、柑橘類臭、木質（樹脂）臭、薬品臭、甘い匂い、ミント（ペパーミント）臭、こんがり焼けた（ナッツの）匂い、刺激臭および腐敗臭に対する味覚エネルギーベクトル、ここで、ベクトル化された信号のベクトルおよび空間座標は、複雑な嗅覚の実現のための製作に情報を与え得、持続時間、大きさ、周波数、長さ、時間、半径、変調、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積、または他の味覚パラメータに関連する他の材料特性をさらに提供する。
６）酸味、塩味、苦味（スパイシーさ）、甘味、およびおいしさ（うまみ）に対する嗅覚エネルギーベクトル、ここで、ベクトル化された信号のベクトルおよび空間座標は、複雑な嗅覚の実現のための製作に情報を与え得、持続時間、大きさ、周波数、長さ、時間、半径、変調、レイヤー、領域、透明度、セグメント、曲線、アニメーション、シーケンス情報、手順情報、材料のサイズ、環境条件、ルームダイナミックス、または表面、環境、部屋、対象、点、体積、または他の味覚パラメータに関連する他の材料特性をさらに提供する。
７）あるいは任意の他の感覚サンプルデータセットからの物理的な、合成の、伝達された、または計算上の相互依存性、必要とされる、設計された、または要求された感覚ベクトル、および特定の特徴のパラメータ化が、一般化されたホログラフィック構成データの再構成、保存、処理または送信に有益な場合の任意の追加の感覚特性、に基づく他の相互に関連する感覚ダイナミックス。
単一の角度サンプルを有する２Ｄデータ、単一の次元に２つ以上の角度サンプルを有する３Ｄデータ、２つの次元に複数の角度サンプルを有する４Ｄデータ、または３つ以上の次元に複数の角度サンプルを有する５Ｄデータを含む受信されたデータセットがあれば。
提供されるすべてのソース材料について、各ソース材料は、ホログラフィックデータセットの効率的なベクトル化の準備を適切に行うために、追加のプロセスを経ることができる。より低い空間分解能または角度分解能のそのエネルギー指向面を示す任意の提供されたシース材料について、元のソースを４Ｄまたは５Ｄデータセットに正確に変換するために、変換プロセスが必要になることがある。
適切な準備のために、一実施形態では、提供される２Ｄまたは３Ｄソース材料は、標準のイメージングシステムからの写真捕捉を含む。この一連の画像内には、ラスター反射、屈折、透明要素、および物理ベースの照明との材料特性の相互作用の他の同様の例がある。
既にラスター化された材料特性を有する表面の表面ＩＤを単に識別することによってコンテンツが準備される場合、有効なデータは４Ｄ座標系に収斂するのに十分であり得るが、これらの表面に適用される任意の追加のレンダリングは、写真特性、およびパラメータ化された、合成レンダリングされた反射特性の物理的特性のために二重像を示すであろう。効率的なホログラフィック送信のための理想的なソースデータセットは、サンプルソース情報のアルベド表現と、アルベドマルチビューサンプルのオブジェクトベースの体積サンプリングを形成するメタデータを有する特定のエネルギー領域の各々のためのベクトル化された材料特性とを含み、すべての材料特性は、特定のベクトル化された表面特性に正確に基づいて、正確な表面識別およびレンダリング、ならびに他の感覚エネルギーの局在化または投影を提供する。
一実施形態では、手動、半自動、コンピュータビジョン、または自動化プロセスが、ソースサンプルデータセット内のコンテンツをアルゴリズム的にまたは手動で評価するためにプロビジョニングされ、手動またはアルゴリズム的解析が実行され、それによりセグメンテーションおよび当技術分野で既知の他のオブジェクト分離方法が実行されて、所望されない物理的ラスター化効果を含む領域を識別する。一実施形態では、背景の前で人物が撮影され、人物の物質的特性は環境からの反射を含み、背景オブジェクトは撮影された人物によって遮られる。これらの領域が望ましくないと識別された後、プロセスを利用して、１）問題のオブジェクトを隔離すること、２）すべてのオブジェクト要素を分離して、閉塞、透明度、エッジ、または他の要素を明らかにすること、ができ、３）機械学習、コンピュータビジョン、およびシーン、オブジェクトおよび／または環境に関する情報を追加的に捕捉した追加のハードウェアおよびエネルギー装置の容易化により、画像解析、時間解析、エネルギー解析を通じて、または完全に手動の手段を通じて、材料特性を示すべき任意の表面が、コンピュータビジョン、アルゴリズム、プロセッサ、または手動視覚効果によって除去された任意のそのようなベークイン材料特性を有するように、オブジェクト要素がプロビジョニングされ、ここで手動プロセスは、外因的な材料特性がないときに内在性材料特性を再生して、前記データセットの最も効率的な送信および伝搬のためのコンテンツを準備するために、ワイヤー消し、ペイントフィックス、クリーンプレート、画像修復、アルファマット作成、オクルージョンフィリング、オブジェクトレクリエーション、画像投影、モーショントラッキング、カメラトラッキング、ロトスコープ、オプティカルフローなどを実行する方法用に一般に当技術分野で既知のものである、４）上記の追加のプロセスは、所望のサンプルの各々について、深度または３Ｄ座標値の手動またはコンピュータ支援識別を含む、５）さらにこの実施形態の範囲内には、エネルギー指向装置のディスプレイドライバ内、またはパラメータ化されたデータセットを符号化または復号化することが可能な任意の追加のシステム内でデータが容易にさらにレンダリングされ得るように、点、データ領域、表面、オブジェクト、または材料の他の表現を各々が表す、関連する材料特性の識別がある。
一実施形態では、上記からのデータセットは、各々が複数レイヤーのｒｇｂａ情報、各セグメント化された材料を表面ＩＤに関連付けるための一連のベクトル化された材料特性、および外因性画像データの除去前に元のソースデータセットを厳密に再構成するための一連の表面パラメータを有する、アルベド視覚エネルギーサンプルを用いて準備された３Ｄマルチビューサンプルを含み、音響データセットは、視覚エネルギーシステムの材料特性、ならびに各々が識別された周波数、変調、空間配置および他の音源定位特性を有する複数の音響チャネルに関連付けられたベクトル化された材料特性を有してプロビジョニングされ、いずれもが他のベクトル化されたデータセットに関係付けられた、粘弾性および温度のベクトル化された材料特性の両方をさらに含むように、体性感覚エネルギーデータセットが、視覚エネルギーデータセット内に含まれる表面のサブセットに対して提供される。
任意の提供されたデータセットから、視覚エネルギーデータセットからの各提供されたサンプルが、エネルギー指向装置の表面に対する相対深度位置について評価され、視覚エネルギーサンプルのいずれかについて、サンプルの各々が３Ｄ座標系に配置され、提供されたサンプルの各々に対するエネルギー伝播経路長が、４Ｄまたは５Ｄｐｌｅｎｏｐｔｉｃ関数内の複数のエネルギー伝播経路の中の位置Ｘｌ、Ｙｌ、Ｚｌにおいて第１の３Ｄ点と交差する複数の共存する収束エネルギー伝播経路に関して各３Ｄ座標を相関させる関数に関して評価され、ここでエネルギー指向４Ｄ表面または５Ｄ表面内に含まれる各ｘｌ、ｙｌまたはｘｌ、ｙｌ、ｚｌ座標については、第１の座標と３Ｄ収束点との間に形成する単一のｕｌ、ｖｌ伝播経路角度のみが存在する。４Ｄ関数ｆｚ（ｘｌ、ｙｌ、ｕｌ、ｖｌ）または５Ｄ関数ｆｚ（ｘｌ、ｙｌ、ｚｌ、ｕｌ、ｖｌ）は、エネルギー指向装置内に含まれるすべての４Ｄ ｘｌ、ｙｌ、または５Ｄ ｘｌ、ｙｌ、ｚｌ座標、およびＸｌ、Ｙｌ、Ｚｌにおける各収束点に対して対応するｕｌ、ｖｌ伝播経路を集合的に画定し、この解析プロセス実行後に、提供されるまたは利用可能な４Ｄ ｘｌ、ｙｌ、または５Ｄ ｘｌ、ｙｌ、ｚｌ空間座標当たりのサンプルの総数が既知となり、位置Ｘｌ、Ｙｌ、Ｚｌにおける各３Ｄ点と４Ｄまたは５Ｄ座標位置との間の総エネルギー伝播経路長が既知となり、４Ｄまたは５Ｄ座標当たりの利用可能な総サンプルに基づいた重み付け分布、および利用可能な複数の３Ｄ座標データからサンプリングされた３Ｄ座標値までの最小経路長が、任意のデータセットからの４Ｄまたは５Ｄ明視野の完全なサンプリングを提供する。
上記のさらなる実施形態として、１）視覚、聴覚、体性感覚、および任意の他の提供されるエネルギーサンプルのいずれかに対するサンプルの各々が、２）提供されたデータセット、追加の処理、または追加のベクトル化された特性に基づいて３Ｄ座標系に配置された後、および座標解析を実行する前に、３）１５Ｄユニバーサルホログラフィックパラメータ化関数ｆｒ（λｉ、ｘｉ、ｗｉ、λｒ、ｘｒ、ｗｒ（ｘｌ、ｙｌ、ｕｌ、ｖｌ）、Ｖｉ）が評価され、４）独立したベクトル化された材料特性を各々が有する、追加の既知の環境シーン、幾何学的形状、メタデータなどが提供され、５）仮想照明情報が提供されて、追加の感覚エネルギーメタデータ特性が、レンダリング機能を変更する可能性のある特性の間の任意の可能性のある干渉について評価され、６）１５Ｄパラメータ化関数が、各提供された３Ｄ座標および対応するベクトル化された材料特性について評価を行って、７）任意の提供されたデータセットが与えられると、レンダリングプロセスをオンライン、オフライン、リアルタイム、ＡＳＩＣ、ＦＰＧＡ、クラウド、または他の形態のレンダリングプロセスを介して実行して新たな複数の角度変化する材料特性をもたらし、ここで８）このレンダリングプロセスは、伝播経路ｕｌ、ｖｌの各々を画定し、それらに等しい送信方向ｗｒの各々に特有であり、こうして空間座標ｘｌ、ｙｌを規定し、各送信方向ｗｒに対して、ｗｒ＝ｕｌ、ｖｌを満たすただ１つのセットのｆｌ（ｘｌ、ｙｌ、ｕｌ、ｖｌ）の値のみが存在し得、９）レンダリングの結果および結果として得られた利用可能な新たな角度変化する材料特性に基づいて、提供されたサンプルの各々に対するエネルギー伝播経路長を含む４Ｄまたは５Ｄ座標の各々について、４Ｄまたは５Ｄｐｌｅｎｏｐｔｉｃ関数内の複数のエネルギー伝播経路の中の位置Ｘｌ、Ｙｌ、Ｚｌにおける第１の３Ｄ点に交差する複数の共存する収束エネルギー伝播経路に対して各３Ｄ座標を関連付ける関数に関連して評価され、ここでエネルギー指向４Ｄまたは５Ｄ表面内に含まれる各ｘｌ、ｙｌまたはｘｌ、ｙｌ、ｚｌ座標に対して、第１の座標と収束３Ｄ点との間に形成するただ１つのｕｌ、ｖｌ伝播経路角度のみが存在する。４Ｄ関数ｆｚ（ｘｌ、ｙｌ、ｕｌ、ｖｌ）または５Ｄ関数ｆｚ（ｘｌ、ｙｌ、ｚｌ、ｕｌ、ｖｌ）は、エネルギー指向装置内に含まれるすべての４Ｄ ｘｌ、ｙｌ、または５Ｄ ｘｌ、ｙｌ、ｚｌ座標、および各収束点に対してＸｌ、Ｙｌ、Ｚｌにおいて存在する、対応するｕｌ、ｖｌ伝播経路を集合的に画定し、この解析プロセス実行後に、提供されるまたは利用可能な４Ｄ ｘｌ、ｙｌ、または５Ｄ ｘｌ、ｙｌ、ｚｌ空間座標当たりのサンプルの総数が既知となり、位置Ｘｌ、Ｙｌ、Ｚｌにおける各３Ｄ点と４Ｄまたは５Ｄ座標位置との間の総エネルギー伝播経路長が既知となり、４Ｄまたは５Ｄ座標当たりの利用可能な総サンプルに基づいた重み付け分布、および利用可能な複数の３Ｄ座標データからサンプリングされた３Ｄ座標値までの最小経路長が、任意のデータセットからのすべての提供される感覚エネルギーについて、４Ｄまたは５Ｄ明視野の完全なサンプリングを提供する。
実世界環境の照明を表す感知された電磁エネルギー、または環境内の特定の音響周波数の吸光度が、レンダリングプロセスまたは他の感知された対話型の実世界素子に対して動的またはオフラインでの更新をもたらし得るように、レンダリングが双方向エネルギー指向表面をさらに明らかにする、上述のシステムのさらなる実施形態が評価され、照明および音響または他のソースが、環境条件の変更に適応するように調整される。
図８を再び参照し、上記の原理を考慮すると、プロセス８００の一実施形態では、受信されたコンテンツデータはベクトル化された材料特性データをさらに含むことができ、プロセス８００は、コンテンツデータのデジタル立体表現が、ベクトル化された材料特性データに関連付けられるステップ８３０をさらに含み、ステップ８０４では、エネルギー源位置値を決定することは、少なくとも、コンテンツデータの体積表現に関連付けられたベクトル化された材料特性データに基づく。
図９および１３を参照すると、一実施形態では、ベクトル化プロセス１３００は、第１のコンテンツデータが受信されるステップ１３０２と、コンテンツデータ内の表面９１５を識別するステップ１３０４と、を含み得る。一実施形態では、表面９１５を識別することは、コンテンツデータ内のセグメンテーションデータを使用することを含み得る。ベクトル化プロセス１３００は、表面９１５の表面識別が決定されるステップ１３０６と、表面９１５の材料特性データが決定されるステップ１３０８と、をさらに含み得る。一実施形態では、材料特性データを決定することは、手動での決定、または所定のプロセスを使用することを含み得る。ステップ１３０６および１３０８の後、ベクトル化プロセス１３００は、表面識別が表面９１５の材料特性データと関連付けられるステップ１３１０をさらに含み得る。ベクトル化プロセス１３００は、材料特性データのベクトルが生成されるステップ１３１２をさらに含み得る。ベクトル化プロセス１３００は、生成されたベクトルに基づいて、ベクトル化された材料特性データが生成されるステップ１３１４をさらに含み得る。
一実施形態では、プロセス１３００は、材料特性データが第１のコンテンツデータから除去され、ステップ１３１４でベクトル化された材料特性データに置き換えられるステップ１３１６を任意選択的に含むことができる。一実施形態では、ステップ１３１４でベクトル化された材料特性データを、上述したようにプロセス８００で使用して、上述したように本開示のエネルギー指向装置の４Ｄ ｐｌｅｎｏｐｔｉｃ座標を決定することができる。
プロセス１３００は、処処理システム１２００を含む、本開示の任意の処理システムを使用して実行することができる。一実施形態では、コンテンツデータは、ステップ１３０２でデータ入出力インターフェース１２０１を介して受信され得、ベクトル化プロセス１３００のステップ１３０４～１３１４は、ベクトル化エンジン１２０４を使用して実行され得る。さらに、ステップ１３１４で生成されたベクトル化された材料特性データは、上述したようにプロセス８００のステップに従って処理するために、感覚データプロセッサ１２０２およびトレーシング・エンジン１２０６によって使用され得る。ステップ８０８および８１２は、ホログラフィック表示のための４Ｄ座標を決定するために、トレーシング・エンジンによって実行され得る。ステップ８１０は、感覚データプロセッサ１２０２によって実行され得る。処理サブシステムの出力は、圧縮エンジン１２１０に提供され得、そこから圧縮データがメモリに格納されるか、またはシステム１２１０にローカルまたはリモートに接続されたエネルギー指向システムに送信するために、データ入出力インターフェース１２０１に提供され得る。データはまた、後で検索されるまで、メモリ１２０８に格納され得る。
３Ｄ環境からの４Ｄエネルギーフィールドのレンダリング
本開示では、逆トレーシングプロセスの実施形態がさらに想到され、これらの実施形態は、デジタル体積型表現を、逆マッピングによって、エネルギー指向装置１０００と互換性があるフォーマットにレンダリングすることを可能にし、この逆マッピングは、３Ｄ環境として提示することができるコンテンツデータのデジタル体積型表現をサンプリングするための逆経路を提供する。
３Ｄ環境から４Ｄエネルギーフィールドをレンダリングすることは、多くの課題をもたらす。説明の目的のために、これらの課題は、明視野の文脈で説明する。しかし、本出願の開示は、他の形態のエネルギーに適用可能である。そして、これらの説明は、これらの原理の適用を他のエネルギー形態に限定しない。
３Ｄ環境内のエネルギーは、エネルギーが対象によってどのように生成され、反射され、吸収され、透過され、または影響を与えられるかをモデル化し得る３Ｄ環境内の対象の物理的特性に応じて、様々な異なる方法で３Ｄ環境内の物体と相互作用する。図１４は、３Ｄ環境の全体を通してエネルギーと対象との間のなんらかの相互作用がその環境からのシーンの認識にどのように影響を与えるかを示す。視野１４０４を有する３Ｄ環境１４００内の仮想観察者の観察点１４０２を示す。エネルギー光線１４０６は、エネルギー源１４０８から直接、またはそれが観察点１４０２に到達するときにエネルギーの属性に影響を及ぼす反射対象１４１０Ａ、１４１０Ｂ、１４１０Ｃに跳ね返されることによって、観察点に到達することができる。パラグラフ２０３を含む本開示を通して説明するように、視覚、聴覚、体性感覚、味覚、嗅覚、前庭、または他の所望のエネルギーを含む、３Ｄ環境１４００のエネルギーの様々な属性が考慮され得る。図１４は、観察点に向かっていくつかのエネルギー経路を部分的にのみ表していることに注意されたい。理解されるように、エネルギー経路および他の反射のいくつかのためのソースが図から取り除かれ得る。いくつかの場合では、単一のエネルギー経路１４０６Ａは、観察点１４０２に向かう途中で、多数の対象１４０１０Ａ、１４１０Ｃ－そのいくつかの１４１０Ｃは、観察点の１４０２の視野１４０４の外にあり得る－に反射する。観察点１４０２に向かう途中で、エネルギー１４０６はまた、部分的透過型対象１４１２も、またはエネルギーが観察点１４０２に到達するときにどのように感知されるかを変更する屈折対象（図示せず）も通過し得る。したがって、３Ｄ環境からのシーンの正確なレンダリングは、３Ｄ環境内の仮想視認者の観察点１４０２から視野１４０４の中および外の両方に生じる多数の相互作用をいくらか考慮し得る。ホログラフィックシステムは、多数の一意のエネルギー収束の同時の投影を必要とし得るので、これは、ホログラフィックシステムではさらに複雑になり得る。図１４は、例示の目的で示され、説明を簡単にするためにいくつかの可能な態様を過度に単純化している。３Ｄ環境は、３Ｄ環境内のエネルギーの伝播に影響を与える多くの追加の物理的特性を説明し得るが、図１４は、本開示の実施形態を限定しないことが理解されるであろう。
３Ｄ環境から４Ｄエネルギーフィールドデータをレンダリングするための従来技術としては、二重切頭体レンダリング、傾斜レンダリング、およびマルチビューレンダリングが挙げられる。二重切頭体レンダリングは、観察点の視野の外側のデータを説明することができず、多数のレンダリングパスからのデータの計算的に複雑な事後の一体化が必要である、マルチパスレンダリング法である。傾斜レンダリングはまた、複雑な事後の計算も必要とし、数千～数万のレンダリングパスを必要とし、また、完全な投影光学部品および無開口のような物理的エネルギー投影システムに関する非現実的な仮定も行う。傾斜レンダリングはまた、既存のワークフローに簡単に一体化することもできない。そして最後に、複数のビューレンダリングは、視野からの、および視野への同時レンダリングを可能にせず、二重切頭体レンダリングおよび傾斜レンダリングによって示される他の問題のいくつかを示す。
本明細書の実施形態は、３Ｄ環境を４Ｄエネルギー投影のためのデータセットにシングルパスレンダリングするためのシステムおよび方法を可能にする。少なくとも、本開示によって可能になるシングルパスレンダリングは、計算的に課題である事後の一体化の労力を回避するので、本開示の実施形態は、顕著に円滑で、凝集したエネルギーフィールド投影を生成する。そして、本開示の方法およびシステムは、スクリーン内およびスクリーン外の両方の効果を説明するからである。実施形態では、システムおよび方法は、波長／エネルギーの考慮、および表示固有の較正を含み得る（または様々なシステム間をシームレスに移動するために、任意の他の関数を含み得る）。これは、他の４Ｄ座標が有利である場合およびそのときを計算するために、変位マップによるピクセル処理を加えて含み得る。
図１５は、３Ｄ環境から４Ｄエネルギーフィールドをレンダリングするためのプロセスの一実施形態を示すフローチャートである。図１５および図１６を参照すると、本プロセスは、シーン１６００の全体を通して配置された複数のエネルギーデータ点１６０２によって説明される３Ｄ環境のシーン１６００を提供するための、第１のステップ１５１０を含み得る。３Ｄ環境のシーン１６００の視覚表現を図１６に表す。理解できるように、エネルギーデータ点１６０２は、３Ｄ環境の異なる実施形態において異なる方法で構成され得る。エネルギーデータ点１６０２は、シーン１６００の仮想外観およびシーン１６０２内の要素がどのように相互作用し得るかを決定する様々な物理的特性を説明する、１つの値または一群の値を含み得る。このいくつかの例は、色、反射率、材料特性、およびエネルギー方向である。シーン１６００内で考慮され得る他の特性としては、視覚、聴覚、体性感覚、味覚、嗅覚、前庭、または他の所望のエネルギーが挙げられ得る。いくつかの実施形態では、エネルギーデータ点は、多次元関数を格納し得る。この関数は、エネルギーがエネルギーデータ点１６０２と交差するときに、エネルギーがどのように反射、屈折、透過され得るか、または影響を受け得るかを説明する、物質世界の特性に対応する値を含み得る。そして、いくつかの実施形態では、エネルギーデータ点１６０２はまた、エネルギーデータ点がシーン１６００内のエネルギーの伝播を集合的にモデル化することを可能にする、強度および指向情報も含み得る。また、エネルギーデータ点１６０２は、可視スペクトル内の電磁エネルギーに関連する情報に加えて、またはその代わりに、他のタイプのエネルギーのためのエネルギー値を含み得ることにも注意されたい。エネルギーデータ点１６０２の値として格納することができる情報のタイプには制限が存在しない。
３Ｄ環境のエネルギーデータ点１６０２を構成または配置するための様々な方法が存在することが理解されるであろう。３Ｄ環境１６０２内のエネルギーデータ点１６０２の密度は、実施形態ごとに異なり得る。または、いくつかの実施形態では、エネルギーデータ点１６０２の密度は、３Ｄ環境１６００内の位置ごとに、または３Ｄ環境内の対象１６００ごとに異なり得る。
３Ｄ環境１６００のいくつかの実施形態では、エネルギーデータ点１６０２は、仮想空間または物理空間内の位置に対応し得る。そして、エネルギーデータ点１６０２の値は、エネルギーデータ点がマッピングされる空間を異なる対象が占有するにつれて変化し得る。エネルギーデータ点１６０２の値はまた、光が３Ｄ環境の一実施形態を通して伝播するにつれて変化し得る。そしてここでも、図１６は、電磁気３Ｄ環境のシーンを表しているが、本開示がその領域内のエネルギーに限定されないことに注意されたい。３Ｄ環境の実施形態は、触覚表面を作成するために使用され得る超音波の形態の機械的エネルギーなどの、視覚スペクトルの電磁エネルギーに加えて、他のタイプのエネルギーを説明し得る。説明する他のエネルギーとしては、視覚、聴覚、体性感覚、味覚、嗅覚、前庭、または他のエネルギーが挙げられ得る。
図１５および図１６を再度参照すると、実施形態では、３Ｄ環境から４Ｄエネルギーフィールドをレンダリングするためのプロセスは、シーン１６００内の仮想ピクセル平面１６０６に複数の仮想ピクセル１６０４を配置することであって、各ピクセルが、２Ｄ角座標および２Ｄ空間座標を含む既知の一意の４Ｄ座標を有し、２Ｄ角座標は、各仮想ピクセル１６０４と、シーン１６００内の仮想視認平面１６１０（図１６では、１６１０としてラベル付けされた破線の矩形ボックスで示す）に配置された複数の仮想視点１６０８の仮想視点との間の角相関を説明し、２Ｄ空間座標は、シーン１６００内の仮想表示平面１６１４に配置された複数の仮想開口１６１２の仮想開口の位置を識別する、配置することを含む、第２のステップ１５２０を含み得る。いくつかの実施形態では、仮想視点１６０８は、同一平面上の装置をレンダリングすることを可能にする２つ以上の仮想視認平面に配置され得る。
用語「仮想ピクセル」は、本開示の実施形態を、明視野を備える３Ｄ環境をレンダリングすることに限定しないことが理解されるであろう。仮想ピクセルは、触覚および音響フィールドが挙げられるが、これらに限定されない、任意の形態の検出可能なエネルギーフィールドを備える３Ｄ環境のエネルギー位置を備え得る。他のエネルギーフィールドとしては、視覚、聴覚、体性感覚、味覚、嗅覚、前庭、または他の所望のエネルギーフィールドが挙げられ得る。複数の仮想ピクセル１６０４は、仮想ピクセルの２次元アレイを形成するように配置され得る。いくつかの実施形態では、複数の仮想ピクセル１６０４は、異なる方法で配置され得る。例えば、実施形態は、仮想ピクセルを、湾曲面または任意の他の形状を形成するように配置することを可能にする。同様に、複数の仮想視点１６０８を、異なる実施形態において異なる形状を形成するように配置することを可能にする。いくつかの実施形態では、仮想ピクセル平面１６０６および仮想表示平面１６１４は、平行である。いくつかの実施形態では、仮想ピクセル平面１６０６および仮想視認平面１６１０は、平行である。いくつかの実施形態では、仮想ピクセル平面１６０６、仮想表示平面１６１４、および仮想視認平面１６１０は、平行である。
シーン１６０２内の複数の仮想視点１６０８に対する複数の仮想ピクセル１６０４および複数の仮想開口１６１２の位置は、その４Ｄエネルギー投影システムのための意図された視認体積に対する複数のエネルギー源または位置の位置および物理４Ｄエネルギー投影システムの複数の開口に対応し得る。そして、いくつかの実施形態では、複数の仮想ピクセル１６０４、複数の仮想開口１６１２、および複数の仮想視点１６０８の数および位置は、物理４Ｄエネルギー投影システムのエネルギー源または位置の数、視野、開口の数、導波路、または他の特徴に応じて、異なる４Ｄエネルギー投影システムのためのデータをレンダリングするように変化し得る。いくつかの実施形態では、アルゴリズムを使用して、任意の種類の４Ｄエネルギー投影システムに対して、複数の仮想ピクセル１６０４、複数の仮想開口１６１２、および複数の仮想視点１６０８の定義された数および位置を較正し得る。また、図１６は、少ない数の仮想ピクセル１６０４、仮想開口１６１２、および仮想視点１６０８のみを表しているが、実施形態は、数十、数百、数千、またはそれ以上のこれらの素子の各々を備え得ることも理解されるであろう。さらに、仮想表示平面１６１４は、物理４Ｄエネルギー投影システム内のエネルギー投影表面またはスクリーンの位置に対応し得る。
図１５および図１６を再度参照すると、実施形態では、３Ｄ環境から４Ｄエネルギーフィールドをレンダリングするためのプロセスは、複数の光線１６１６に沿って、仮想視認平面１６１０からシーン１６００内の複数のエネルギーデータ点１６０２のエネルギーデータ点をサンプリングすることを含む、第３のステップ１５３０を含み得る。複数の光線１６１６の各光線は、複数の仮想ピクセル１６０４のうちの１つの仮想ピクセルの２Ｄ角座標によって決定される角度で、複数の仮想視点１６０８のうちの１つの仮想視点および複数の仮想ピクセル１６０６のうちの１つの仮想ピクセルと交差する。複数の光線１６１６の各光線は、複数の仮想開口１６１２の１つの仮想開口と交差し、仮想開口は、光線の２Ｄ空間座標を決定する。一緒に、２Ｄ空間座標および２Ｄ角座標は、単一の４Ｄエネルギーフィールド座標を形成する。例えば、複数の光線１６１６のうちの第１の光線１６１８は、第１の仮想ピクセル１６２０の既知の一意の４Ｄ座標の２Ｄ角座標によって決定される角度で、複数のピクセル１６０４のうちの第１の仮想ピクセル１６２０および複数の仮想視点１６０８のうちの第１の仮想視点１６２２と交差する。第１の光線１６１８はまた、第１の開口の２Ｄ空間座標によって識別される、複数の仮想開口１６１２のうちの第１の開口１６２４とも交差する。
図１７は、本方法のいくつかの実施形態において仮想ピクセルの既知の一意の４Ｄ座標によって表される関係、または３Ｄ環境のシーン１７００を部分的に表すことによって本開示の３Ｄ環境から４Ｄエネルギーフィールドをレンダリングするためのシステムをさらに示す。さらに多くの仮想ピクセル、仮想開口、および仮想視点が、シーン１７００内に配置され得ることが理解されるであろう。４Ｄエネルギーフィールドのためのデータをレンダリングするために、いくつかの実施形態は、シームレスであるように知覚されるエネルギーフィールドを提供するために、極めて多数の仮想ピクセルおよび仮想視点を備え得る。仮想ピクセル１７０２、１７０４、１７０６のうちの１つの２Ｄ角座標は、ピクセル１７０２、１７０４、１７０６と仮想視点Ｌ１、Ｌ２、Ｌ３との間の角相関を説明する。例えば、第１の仮想ピクセル１７０２の２Ｄ角座標（Ｕ１、Ｖ１）は、ピクセル１７０２と仮想視点Ｌ３との間の角相関を説明する。第２の仮想ピクセル１７０４の２Ｄ角座標（Ｕ２、Ｖ１）は、ピクセル１７０４と仮想視点Ｌ２との間の角相関を説明する。そして、第３の仮想ピクセル１７０６の２Ｄ角座標（Ｕ３、Ｖ１）は、ピクセル１７０６と仮想視点Ｌ１との間の角相関を説明する。いくつかの実施形態では、角座標は、本開示の他の場所で説明するように、第１の伝播経路の一意の方向を画定する４Ｄエネルギー投影システムの２Ｄ角座標に対応し得る。図１６および図１７に表されるもののようないくつかの実施形態は、特定のエネルギータイプについて、複数の仮想ピクセルのうちの任意の１つの仮想ピクセルと交差する光線を１つしか必要としない。
図１７はまた、複数の仮想開口のうちの１つの仮想開口１７０８の位置を識別する、２Ｄ空間座標（Ｘ１、Ｙ１）も表す。２Ｄ空間座標は、本明細書で図７Ｃおよび７Ｄに関して考察される実施形態などの、本開示の他の場所で開示するような物理的４Ｄエネルギー指向システムのための４Ｄ明視野座標の２Ｄ空間座標に対応し得る。一緒に、２Ｄ角座標および２Ｄ空間座標は、一意の４Ｄ座標を画定する。一意の４Ｄ座標は、物理４Ｄエネルギー投影システムの４Ｄ明視野座標に対応し得る。図１７に表されるもののような実施形態では、第１の仮想ピクセル１７０２は、４Ｄ座標（Ｘ１、Ｙ１、Ｕ１、Ｖ１）を有し、第２の仮想ピクセル１７０４は、４Ｄ座標（Ｘ１、Ｙ１、Ｕ２、Ｖ１）を有し、第３の仮想ピクセル１７０６は、４Ｄ座標（Ｘ１、Ｙ１、Ｕ３、Ｖ１）を有する。図１６および図１７に示されるもののようないくつかの実施形態では、多数の光線が、複数の仮想開口の各仮想開口１７０８に収束し得る。第１の仮想ピクセル１７０２、第２の仮想ピクセル１７０４、および第３の仮想ピクセル１７０６の座標は、それらの仮想ピクセルの光線１７１０が同じ仮想開口１７０８に収束するように、同じ空間座標を共有する。しかし、２Ｄ角座標が仮想ピクセルの間で異なるため、これらの光線は、異なる仮想視認位置Ｌ１、Ｌ２、およびＬ３と交差する。
本開示のシステムおよび方法のいくつかの実施形態では、複数の光線のうちの少なくとも１つの光線１７１０が、複数の仮想視点の各仮想視点Ｌ１、Ｌ２、Ｌ３と交差する。
既知の一意の４Ｄ座標によって説明される関係をさらに示す、図１８に表すようないくつかの実施形態では、多数の光線１８０２もまた、単一の視点Ｌ２に収束し得る。それらの実施形態のうちのいくつかでは、１つの仮想視点Ｌ２に収束する光線１８０２のうちの１つの光線のみが、同じ仮想開口と交差することができる。図１８に表されるように、収束光線１８０２の１つが（Ｘ１、Ｙ１）で交差し、１つが（Ｘ２、Ｙ１）で交差し、１つが（Ｘ３、Ｙ１）で交差する。図１７および図１８は、例示の目的のためであり、本開示の実施形態を限定するものではない。理解されるように、図１６、図１７、および図１８が、少ない数の仮想ピクセル、仮想開口、光線、および仮想視点を表している場合であっても、異なる実施形態は、数十、数百、数千、または他の数のこれらの素子を備え得る。仮想ピクセルは、仮想平面のどこにでも配置され得ることを理解されたい。そして、仮想位置は、仮想視認平面のどこにでも配置され得る。また、これらの図の各々は、実施形態によって異なり得る、様式化された表現である。そして、本出願の開示は、任意の種類のエネルギーに適用され得、可視スペクトルの電磁エネルギーに限定されない。
図１６に戻ると、実施形態では、複数の光線１６１６は、仮想ピクセル平面１６０６を超えて延在する。いくつかの実施形態では、複数の光線１６１６は、仮想ピクセル平面１６０６を超えて無制限に延在し得る。これは、前方１６２６の対象から、および仮想ピクセル平面１６０６の背面の写真１６２８などの対象から、エネルギーデータ点をサンプリングすることを可能にする。
いくつかの実施形態では、複数の光線１６１６に沿ったエネルギーデータ点１６０２は、仮想視認平面１６１０から、仮想表示平面１６１４を通して、仮想ピクセル平面１６０６を通して、およびそれを超えて、複数の光線１６１６を追跡することによってサンプリングされる。これは、本開示の方法およびシステムが、単一のパスで、仮想表示平面１６１０の前にあるテーブル１６２８Ａなどの対象、および仮想表示平面１６１０の後ろにある写真１６２８Ｂなどの対象から情報を捕捉するエネルギーデータ点をサンプリングすることを可能にする。これはまた、本開示のシステムおよび方法が、単一のパスで観察点から視野の外側および内側に生じる、本開示の他の部分でさらに詳細に説明するような、多数のエネルギー相互作用を正確に説明することを可能にする。これは、多数のレンダリングパスを一体化するための、困難で、煩わしく、不完全な事後の計算に対する必要性を除去する。
図１９は、本開示のシステムおよび方法の実施形態が、多数の様々なエネルギー相互作用を単一のパスで説明することをどのように可能にするかをさらに示す、仮想視点１９０６からの３Ｄ環境によるシーンを表す。本開示のシステムおよび方法の実施形態は、複数の光線１９０４に沿って仮想視点１９０６からデータ点１９０２をサンプリングすることを可能にする。図１９は、例示の目的で提供され、本開示の実施形態を限定するものではないことが理解されるであろう。明確にするため、図１９は、仮想ピクセルまたは仮想開口を表していない。そして、視点１９０６のサイズは、実施形態ごとに異なり得る。この例示の目的のために、仮想視点１９０６は、視野１９０８を有する。視野のサイズは、実施形態ごとに変化し得、場合によっては、物理４Ｄエネルギー投影システムのタイプに依存し得る。そして、理解されるように、視野１９０８のサイズは、異なる目的に対して決定すること、または変化させることができる。複数の光線１９０４に沿ったサンプリングエネルギーデータ点１９０２は、フィールドビュー１９０８内の例示的な対象１９１０Ａ、１９１０Ｂのような対象、および視野１９０８内部で対象によって反射されるエネルギーを説明する。この例では、視野１９０８の外側の人（図示せず）からのエネルギーは、視野１９０８内の鏡１９１０Ｂから反射され、光線１９０４によってサンプリングされる、鏡１９１０Ｂにおける反射１９１２を生成する。図１９は、例示の目的で提供され、本開示の実施形態を限定するものではない。そして、図１９は、３Ｄ光環境を表すが、本開示のシステムおよび方法の実施形態は、他の感覚領域およびエネルギー領域に適用可能である。
図１５を再度参照すると、実施形態では、３Ｄ環境から４Ｄエネルギーフィールドをレンダリングするためのプロセスは、各光線に沿ってサンプリングされるエネルギーデータ点と、複数の仮想ピクセルのうちの１つの仮想ピクセルのためのエネルギー値とを相関させることを含む、第４のステップ１５４０を含み得る。
このステップ１５４０は、本開示のシステムおよび方法の実施形態が、光線の経路内の対象の特性を変化させることを説明することを可能にする。例えば、いくつかの実施形態では、仮想ピクセル（図１９に示さず）のエネルギー値は、仮想ピクセル（図１９に示さず）と交差する唯一の光線に沿ってサンプリングされるエネルギーデータ点１９０２と相関される。例えば、光線１９１６は、部分的反射対象１９２０と、および部分的反射対象１９２０と仮想視点１９０６との間に配置される部分的透過対象１９１８と交差する。このシーン１９００のためのデータをレンダリングするために、本開示のシステムまたは方法は、部分的透過対象１９１８が、部分的反射対象１９２０から部分的透過対象１９１８を通して仮想視点１９０６に反射される光にどのように影響を及ぼすのかを説明する。例えば、部分的反射対象１９２０は、スペクトル放射輝度関数を有し得、これは、光源（図示せず）によって照明されたときに、エネルギーを異なる方向へ分布させ、これは、仮想視点１９０６に到達する前に部分的透過対象１９１８によって減衰される。実施形態はまた、異なるデータ点のためのエネルギー値を、同じ光線に沿った他のエネルギーデータ点の透過または反射特性に少なくとも基づいて重み付けすることを可能にし得る。本開示のシステムおよび方法は、仮想ピクセル（図１９に示さず）のエネルギー値と、光線１９１６の長さに沿ったエネルギーデータ点とを相関させて、これらの種類の様々な特性を説明することを可能にする。理解されるように、様々なエネルギーデータ点は、異なるエネルギー領域に特に合わせて調整され得る異なるいくつかの実施形態において、任意の数の異なる特性を説明するようにモデル化され得る。エネルギー値を決定することは、それらがレンダリング、および各レンダリングの３次元インターフェースに沿って多数の可能な相互作用をモデル化して、エネルギー値に到達するために必要なすべての情報を一体化しようとしなければならないので、マルチパスレンダリングシステムにとって非常に困難であり得る。本開示のシステムおよび方法は、そうした煩わしく不正確な手段を回避することを可能にする。
３Ｄ環境から４Ｄエネルギーフィールドをレンダリングするためのプロセスは、複数の仮想ピクセルのうちの１つの仮想ピクセルのエネルギー値および複数の仮想ピクセルのうちの１つの仮想ピクセルの既知の一意の４Ｄ座標を、エネルギー装置に４Ｄエネルギーフィールドを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングすることを含む、第５のステップ１５５０を含み得る。いくつかの実施形態では、本開示のシステムおよび方法は、データセットが、４Ｄ、５Ｄ、１０Ｄ、１１Ｄ、または１５Ｄの関数を含む、本開示の別の場所で説明または参照する任意のデータセットを備えることを可能にし得る。異なる種類のデータを説明する３Ｄ環境の異なる実施形態のために、他の種類のデータセットがレンダリングされ得ることが理解されるであろう。いくつかの実施形態では、レンダリングは、異なる種類の４Ｄエネルギー投影システムのためのデータセットを較正することができる。異なるアーキテクチャ、素子、または多数の素子の数を有する４Ｄエネルギー指向システムのためのデータをレンダリングするために、異なる種類の較正が適用され得る。例えば、較正は、異なる視野を有する、またはエネルギー源または他の成分の異なる数または位置を有するシステムに必要とされ得る。本開示のシステムおよび方法のいくつかの実施形態では、エネルギーデータ点１９０２は、エネルギー周波数、エネルギー強度、エネルギー透過性、エネルギー屈折性、エネルギー反射率、のうちの少なくとも１つを説明する値を含む。
本開示の３次元環境から４次元エネルギーフィールドをレンダリングするための方法のいくつかの実施形態は、この方法が、４Ｄエネルギーフィールドを投影するエネルギー装置のために較正することを可能にし得る。理解されるように、４Ｄ投影システムの物理的エネルギー源の位置およびエネルギー伝播経路は、仮想ピクセルの理論的な位置および仮想ピクセルと仮想視点との間の理論的な角相関と異なり得る。これは、エネルギー装置ごとの、さらにはエネルギー装置の導波路ごとの、わずかな変化によるものであり得る。例えば、導波路のわずかな欠陥は、エネルギー伝播経路をそれらの予想される方向からわずかに逸脱させ得る。そして、エネルギー位置は、３Ｄ環境内の対応する仮想位置からわずかに変化し得、これもまた、エネルギー伝播の方向における逸脱を生じさせ得る。較正するための方法は、「Ｍｅｔｈｏｄ ｏｆ Ｃａｌｉｂｒａｔｉｏｎ ｆｏｒ Ｈｏｌｏｇｒａｐｈｉｃ Ｅｎｅｒｇｙ Ｄｉｒｅｃｔｉｎｇ Ｓｙｓｔｅｍｓ」という名称の共同所有された米国特許出願第ＵＳ１６０６４３００号に開示され、参照により本明細書に組み込まれる。
図２１は、３次元環境の逆トレーシングを示す概略図である。図２１に示す方法は、シーンの全体を通して配置された複数のエネルギーデータ点によって説明される３Ｄ環境内のシーン２１０００を提供することを含み得る。一実施形態では、シーン２１０００を提供することは、パラグラフ［０２４４］～［０２４５］において上で説明した実施形態に従って実施され得る。図２１にはまた、シーン２１０００内の仮想ピクセル平面２１００４に複数の仮想ピクセル２１０１２を配置することも示され、複数の仮想ピクセル２１０１２の各仮想ピクセルは、２Ｄ角座標および２Ｄ空間座標を含む既知の一意の４Ｄ座標を有し、複数の仮想ピクセル２１０１２の各仮想ピクセルの２Ｄ角座標は、各仮想ピクセルと、シーン２１０００内の仮想視認平面２１００６に配置された複数の仮想視点２１００８の仮想視点との間の角相関を説明し、各仮想ピクセルの２Ｄ空間座標は、シーン２１０００内の仮想表示平面２１０１９に配置された複数の仮想開口２１０１０のうちの１つの仮想開口の位置を識別する。一実施形態では、複数の仮想ピクセル２１０１２を配置することは、パラグラフ［０２４５］～［０２４７］において上で説明した実施形態に従って実施され得る。
図２１では、仮想視認平面２１００６から、複数の光線２１０２０に沿って、シーン２１０００内の複数のエネルギーデータ点のエネルギーデータ点をサンプリングすることをさらに示し、複数の光線２１０２０の各光線は、光線と交差する１つの仮想ピクセルの２Ｄ角座標によって決定された角度で、複数の仮想視点２１００８のうちの１つの仮想視点および複数の仮想ピクセル２１０１２のうちの１つの仮想ピクセルと交差し、各光線は、光線と交差した１つの仮想ピクセルの２Ｄ空間座標によって決定された１つの仮想開口と交差する。一実施形態では、データ点をサンプリングすることは、パラグラフ［０２４８］～［０２５５］において上で説明した実施形態に従って実施され得る。
図２１には、複数の光線２１０２０の各光線に沿ってサンプリングされるエネルギーデータ点と、光線と交差する複数の仮想ピクセル２１０１２のうちの１つの仮想ピクセルのためのエネルギー値とを相関させることをさらに示す。一実施形態では、サンプリングしたエネルギーデータ点を相関させることは、パラグラフ［０２５６］～［０２５７］において上で説明した実施形態に従って実施され得る。各光線の１つの仮想ピクセルのエネルギー値および各光線の１つの仮想ピクセルの既知の一意の４Ｄ座標は、エネルギー装置に４Ｄエネルギーフィールドを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングされ得る。一実施形態では、レンダリングすることは、パラグラフ［０２５８］において上で説明した実施形態に従って実施され得る。
図２１に表すように、複数の光線２１０１２は、仮想視認平面から、仮想ピクセル平面２１００４を通して、それを超えて逆に追跡して、仮想ピクセル平面２１００４の後ろにあるエネルギーデータ点に関する情報を捕捉し得る。これは、本方法が、反射が遠い対象２１０１３から来る場合であっても、３Ｄ環境から４Ｄエネルギーフィールドをレンダリングして、仮想ピクセル平面の後ろにあるエネルギー反射率を説明することを可能にする。
図２１はまた、この方法の実施形態がどのように部分的透過対象２１０１５を説明し得るかも示す。表されるように、エネルギーデータは、部分的透過対象２１０１５を通して、対象２１０１３から反射されるデータをサンプリングする仮想ピクセルディスプレイ２１００４を過ぎてサンプリングされる。いくつかの実施形態では、次いで、エネルギー値は、仮想ピクセルのアレイの仮想ピクセルのためのエネルギーデータ値に到達するために、対象２１０１３のエネルギーデータ２１０１４および部分的透過対象２１０１５を重み付けすることによってサンプリングされる情報に従って相関させることができる。
一実施形態では、図２０および図２１の逆トレーシングおよびマッピングプロセスは、所望の４Ｄ表示特定の体積型エネルギー表現（例えば、画像）に対する、単一のプロセスステップの逆レイトレーシングを可能にし得ることを理解されたい。これは、波長／エネルギーの考慮、および表示固有の較正を含み得る（または様々なシステム間をシームレスに移動するために、任意の他の関数を含み得る）。これは、他の４Ｄ座標が有利である場合およびそのときを計算するために、変位マップによるピクセル処理を加えて含み得る。
本開示のシステムおよび方法のいくつかの実施形態では、複数の光線のうちの１つの光線は、複数の仮想ピクセルの各仮想ピクセルと交差する。
本開示のシステムおよび方法のいくつかの実施形態では、仮想表示平面は、エネルギー指向装置の導波管システムに対応し、エネルギーは、データセットに従って導波管システムを通して指向させて、シーンの少なくとも一部分の検出可能な体積型表現を形成するように動作可能である。
本開示のシステムおよび方法のいくつかの実施形態では、複数の仮想ピクセルは、導波管システムの第１の側の複数のエネルギー位置に対応する。
本開示のシステムおよび方法のいくつかの実施形態では、データセットは、ベクトル化された材料特性データをさらに含む。
本開示のシステムおよび方法のいくつかの実施形態では、方法の少なくとも一部分は、リアルタイムで実行される。
本開示のシステムおよび方法のいくつかの実施形態では、本方法は、リアルタイムで全体が実行される。
本開示のシステムおよび方法のいくつかの実施形態では、方法の少なくとも２つの一部分が、異なる期間に実行される。
本開示のシステムおよび方法のいくつかの実施形態では、複数の光線のうちの少なくとも１つの光線は、複数の仮想開口の各仮想開口と交差する。
本開示のシステムおよび方法のいくつかの実施形態では、データセットは、視覚、音声、テクスチャ、センセーショナル、または匂いセンサによって知覚可能な少なくとも１つの信号を説明する。
本開示のシステムおよび方法のいくつかの実施形態では、複数の光線の各光線に沿ってサンプリングしたエネルギーデータ点は、エネルギー値と同時に相関される。
本開示のシステムおよび方法のいくつかの実施形態では、データセットは、バイナリファイルフォーマットで格納される。
本開示のシステムおよび方法のいくつかの実施形態では、複数のエネルギーデータ点のエネルギーデータ点は、複数の光線の各光線に沿って、仮想視認平面から、複数の仮想開口のうちの１つの仮想開口を通して、複数の仮想ピクセルのうちの１つの仮想ピクセルを超えてサンプリングされる。
本開示のシステムおよび方法のいくつかの実施形態では、ステップは、無制限に繰り返され得る。いくつかの実施形態では、これは、シーンを動的に捕捉することを可能にし得、シーンは、経時的に変化する。
実施形態では、３Ｄ環境から４Ｄエネルギーフィールドをレンダリングするための本開示の方法は、仮想視点および仮想視点の４Ｄ座標に関する情報を光線ファイルに格納することをさらに含み、光線ファイルは、それらの仮想視点から、仮想視点と交差する任意の光線に沿ってデータをサンプリングするための指示を提供することができる。光線ファイルは、文字通り、単にどんなサンプルが仮想視認平面にレンダリングされているかについてのマッピングであり、３Ｄ仮想視認平面座標および関連する２Ｄ（ｕ、ｖ）角座標のリストを含み得る。一例として、いくつかの実施形態では、光線ファイルは、シーンの形状、色、反射、などのＣＧシーン情報と共に使用して、合成４Ｄ明視野を効果的にサンプリングし得る。ピクセル数および許容可能な観察点の位置がエネルギー装置ごとに異なり得るので、光線ファイルに格納される情報は、４Ｄエネルギーフィールドを出力するために利用されるエネルギー装置の種類に依存して変化し得ることが理解されるであろう。いくつかの実施形態では、光線ファイルは、所与のエネルギー装置のための３Ｄ環境をどのようにサンプリングするかをシステムに指示するための手段を提供し得る。他の実施形態では、光線ファイルは、特定のエネルギーフィールド投影装置設計に理想的なマッピングであり、装置ごとの比較的小さい差を反映せず、その後でさらに装置依存の修正を受けるために、光線ファイルを使用して、シーンを任意にサンプリングすることが必要である。以下の考察は、図１７および図１８を参照するが、本明細書に記載する方法は、さらに多くの仮想視点、仮想ピクセル、仮想開口、および光線を伴う実施形態に適用されることが理解されるであろう。一実施形態では、３Ｄ空間座標は、各仮想視点Ｌ２の位置、およびすべての光線１７１０と交差する１つの仮想ピクセル１７０２、１７０４、１７０６の２Ｄ角座標を識別し得る。いくつかの実施形態では、光線ファイルは、各仮想視点Ｌ２の３Ｄ空間座標と、仮想視点と交差するすべての光線と交差するすべての仮想ピクセルピクセル１７０２、１７０４、１７０６の２Ｄ角座標とを関連付ける。例えば、図１８のＬ２は、光線１８０２と交差する。そして、光線ファイルは、仮想ピクセル１８０３、１８０５、および１８０７の角座標と、Ｌ２、ならびにシーン内のＬ２の位置を識別する３Ｄ空間座標とを結びつけ得る。実施形態では、光線ファイルは、光線と交差する１つの仮想視点Ｌ２から、光線に沿って、複数のエネルギーデータ点１８０２のエネルギーデータ点をサンプリングするための、各光線１８０２の指示を提供し、この指示は、少なくとも、光線と交差する１つの仮想視点Ｌ２の３Ｄ空間座標および光線と交差する１つの仮想ピクセルの２Ｄ角座標によって決定される。例えば、光線ファイルは、少なくとも、Ｌ２の３Ｄ空間座標および１８０３の２Ｄ角座標によって決定される光線１８０９の指示を提供し得る。理解されるように、この方法は、２Ｄ、立体、仮想現実、拡張現実、および複数のビュー表示システムのデータをレンダリングすることを含む、エネルギーフィールド以外の様々な用途に使用され得る。
本開示の３次元環境から４次元エネルギーフィールドをレンダリングするための方法のいくつかの実施形態では、エネルギー値をレンダリングすることはまた、エネルギー装置のエネルギーデータを較正することもさらに含み得る。理解されるように、仮想ピクセルの理論的な位置および仮想ピクセルと仮想視点との間の理論的な角相関は、物理的実装によって異なり得る。これは、エネルギー装置ごとの、さらにはエネルギー装置の導波路ごとの、わずかな変化によるものであり得る。例えば、導波路のわずかな欠陥は、エネルギー伝播経路が、それらの予想される方向からわずかに逸脱し得る。そして、エネルギー位置は、３Ｄ環境内の対応する仮想位置からわずかに変化し得、これもまた、エネルギー伝播の方向におけるわずかな逸脱を生じさせ得る。いくつかの実施形態では、これらの逸脱は、エネルギー装置または特定の種類のエネルギー装置のエネルギーデータを較正することによって説明され得る。他の種類の較正もまた適切であり得ることが理解されるであろう。
図１５に表すプロセスは、処理システム２２００を含む、本開示の任意の処理システムまたは当技術分野において既知の適切なシステムを使用して実行され得る。実施形態では、処理システムは、レンダリングエンジン２２１０と、感覚データエンジン２２２０と、を備え得る。いくつかの実施形態では、感覚データエンジン２２２０は、３Ｄ環境のシーンを提供するために、ステップ１５１０を実行し得る。そして、感覚データエンジン２２２０はまた、複数の仮想ピクセルを仮想ピクセル平面に配置するために、ステップ１５２０も実行し得る。いくつかの実施形態のレンダリングエンジン２２１０は、エネルギーデータ点をサンプリングするために、ステップ１５３０を実行し得る。レンダリングエンジン２２３０はまた、各光線に沿ってサンプリングされるエネルギーデータ点と、エネルギー値とを相関させるために、ステップ１５４０も実行し得る。そして、レンダリングエンジン２２１０はまた、エネルギー値をレンダリングするために、ステップ１５５０も実行し得る。いくつかの実施形態では、システムはまた、データセットを格納するために、メモリ２２４０も備え得る。
３Ｄ環境から４Ｄエネルギーフィールドをレンダリングするための方法は、他の用途のエネルギーデータをレンダリングするために適用され得ることが理解されるであろう。かかる方法は、シーンの全体を通して配置された複数のエネルギーデータ点によって説明される３Ｄ環境のシーンを提供するための第１のステップ２２１０を含み得る。第２のステップ２２２０は、複数の仮想ピクセルをシーン内の仮想ピクセル平面に配置することを含み得、各仮想ピクセルは、２Ｄ角座標および２Ｄ空間座標を含む既知の一意の４Ｄ座標を有し、各仮想ピクセルの２Ｄ角座標は、仮想ピクセルと、シーン内の仮想視認平面に配置された複数の仮想視点のうちの１つの仮想視点との間の角相関を説明し、各仮想ピクセルの２Ｄ空間座標は、シーン内の仮想表示面に配置された複数の仮想開口のうちの１つの仮想開口の位置を識別する。第３のステップ２２３０は、仮想視認平面からの複数の光線に沿って、シーン内の複数のエネルギーデータ点のエネルギーデータ点をサンプリングすることを含み得、各光線は、光線と交差する１つの仮想ピクセルの２Ｄ角座標によって決定された角度で、１つの仮想視点および１つの仮想ピクセルと交差し、各光線は、光線と交差した１つの仮想ピクセルの２Ｄ空間座標によって決定された１つの仮想開口と交差する。第４のステップは、光線と交差した１つの仮想ピクセルに対して、各光線に沿ってサンプリングしたエネルギーデータ点とエネルギー値とを相関させることを含み得、第５のステップ２２５０は、各光線の１つの仮想ピクセルのエネルギー値および各光線の１つの仮想ピクセルの既知の一意の４Ｄ座標を、エネルギー装置にエネルギーデータを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングすることを含み得る。
いくつかの形態のエネルギーデータは、４Ｄエネルギーフィールドをレンダリングするために必要なはるかに少ない仮想視野ピクセルおよび仮想視点を有し得ることが理解されるであろう。例えば、いくつかの実施形態では、各仮想開口は、２つの光線と交差する。かかる実施形態では、複数の仮想視点は、２つの仮想視点を備える。しかし、かかる実施形態は、エネルギー装置に立体画像を出力するように指示するために動作可能なデータセットを生成するように動作可能であり得る。立体ディスプレイは、視認者の第１の目に第１の画像を指向し、第２の目に第２の画像を指向することが理解されるであろう。その結果、いくつかの実施形態では、各開口は、２つの仮想ピクセルのみを備え、２つの仮想視点のみ－各目に１つ－が存在し得る。かかる実施形態は、エネルギー装置に仮想現実画像を出力するように指示するために動作可能なフォーマットを有するデータセットを可能にし得る。そして、かかる実施形態は、エネルギー装置に拡張現実画像を出力するように指示するために動作可能なフォーマットを有するデータセットを可能にし得る。
また、他の実施形態では、各仮想開口は、追加の視点またはビューに対応する追加の光線と交差し得ることも理解されるであろう。かかる実施形態は、マルチビューディスプレイのために動作可能なフォーマットを有するデータセットを可能にし得、ビューの数は、各仮想ピクセルと交差する光線の数に対応する。この原理は、３つの視点Ｌ１、Ｌ２、Ｌ３、および１つの開口Ｘ１、Ｙ１と交差する３つの光線１７１０を示す、図１７によって示すことができ、各光線は、１つの仮想ピクセル１７０２、１７０４、および１７０６と交差する。各視点は、複数のビューシステムのうちの１つのビューに対応し得る。いくつかの実施形態は、多数の追加の視点であることが理解されるであろう。
本明細書に開示された原理に従う様々な実施形態が上述されてきたが、それらの実施形態は、単なる例示としての目的のために示されており、限定されないことを理解されたい。したがって、本発明（複数可）の幅広さおよび範囲は、上述の例示的な実施形態のいずれかによって限定されるべきではなく、本開示に由来する特許請求の範囲、およびそれらの等価物に従ってのみ定義されるべきである。さらに、上記の利点および特徴は、記載された実施形態において提供されているが、上記の利点のいずれかまたはすべてを達成するプロセスおよび構造に対して、かかる由来の特許請求の範囲の適用を限定しない。
本開示の原理的な特徴は、本開示の範囲から逸脱することなく様々な実施形態の中で使用することができることを理解されたい。当業者は、日常的なわずかな実験を用いて、本明細書に記載された特定の手順に対する多くの等価物を認識するか、または探求することができるであろう。かかる等価物は、本開示の範囲内にあるとみなされ、特許請求の範囲により網羅される。
さらに、本明細書における節の見出しは、３７ＣＦＲ１．７７に基づく示唆との一貫性を持たせるために、またはそれ以外では構成上の手がかりを提供するために、提供されている。これらの見出しは、本開示に由来し得る任意の特許請求の範囲の中に記載された本発明（複数可）を限定または特徴付けるものではない。具体的には、一例として、見出しが「発明の分野」と称していても、かかる特許請求の範囲は、いわゆる技術分野を説明するためのこの見出しの文言によって限定されるべきではない。さらに、「発明の背景」の節における技術の説明は、技術が本開示内の任意の発明（複数可）の先行技術であることを認めるものと解釈されるべきではない。「概要」は、論点となる特許請求の範囲に記載された本発明（複数可）の特徴付けとは、決してみなされない。さらに、本開示内での単数形の「発明」の言及は、本開示において単一の新規性のみ存在すると主張するために使用されるべきではない。複数の発明が、本開示に由来する複数の請求項の制限に従って記載される可能性があり、したがって、かかる請求項は、それによって保護される本発明（複数可）およびそれらの等価物を定義する。すべての例では、かかる請求項の範囲は、本開示に照らしてそれら自体のメリットを考慮されるであろうが、本明細書内で記載された見出しによって制約されるべきではない。
特許請求の範囲および／または明細書中の「備える（ｃｏｍｐｒｉｓｉｎｇ）」という用語と併せて使用されるときに使われる「１つ（ａ）」または「１つ（ａｎ）」という語は、「１つ（ｏｎｅ）」を意味し得るが、それはまた、「１つ以上（ｏｎｅ ｏｒ ｍｏｒｅ）」、「少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ）」、および「１つを超える（ｏｎｅ ｏｒ ｍｏｒｅ ｔｈａｎ ｏｎｅ）」の意味とも矛盾しない。特許請求の範囲の中で使用される「または（ｏｒ）」という用語は、代替物のみに明示的に言及せず、または代替物が相互に排他的でない限り、「および／または（ａｎｄ／ｏｒ）」を意味するように使用されているが、本開示は、代替物のみ、および「および／または（ａｎｄ／ｏｒ）」を指す定義を支持する。本出願全体を通じて、「約（ａｂｏｕｔ）」という用語は、１つの値が、デバイスの固有の誤差ばらつきを含むことを示すために使用され、方法は、その値、または研究課題の間に存在するばらつきを判定するために使用されている。一般に、ただし前述の考察に対する対象であるが、「約（ａｂｏｕｔ）」などの近似の単語により修飾された本明細書中の数的な値は、記述された値から、少なくとも＋／－１、２、３、４、５、６、７、１０、１２、または１５％だけ変化する可能性がある。
本明細書および請求項（複数可）で使用されているように、単語「備える（ｃｏｍｐｒｉｓｉｎｇ）」（ならびに「ｃｏｍｐｒｉｓｅ」および「ｃｏｍｐｒｉｓｅｓ」などの任意の形式の備える）、「有する（ｈａｖｉｎｇ）」（ならびに「ｈａｖｅ」および「ｈａｓ」などの任意の形式の有する）、「含む（ｉｎｃｌｕｄｉｎｇ）」（ならびに「ｉｎｃｌｕｄｅｓ」および「ｉｎｃｌｕｄｅ」などの任意の形式の含む）、または「ｃｏｎｔａｉｎｉｎｇ」（ならびに「ｃｏｎｔａｉｎｓ」および「ｃｏｎｔａｉｎ」などの任意の形式の包含する）は、包括的または開放的、追加的、引用されていない要素または方法ステップを排除しない。
「そのとき（ａｔ ｔｈｅ ｔｉｍｅ）」、「同等（ｅｑｕｉｖａｌｅｎｔ）」、「間中（ｄｕｒｉｎｇ）」、「完全（ｃｏｍｐｌｅｔｅ）」等の比較、測定、およびタイミングに関する単語は、「実質的にそのとき（ｓｕｂｓｔａｎｔｉａｌｌｙ ａｔ ｔｈｅ ｔｉｍｅ）」、「実質的に同等（ｓｕｂｓｔａｎｔｉａｌｌｙ ｅｑｕｉｖａｌｅｎｔ）」、「実質的に～間中（ｓｕｂｓｔａｎｔｉａｌｌｙ ｄｕｒｉｎｇ）」、「実質的に完全（ｓｕｂｓｔａｎｔｉａｌｌｙ ｃｏｍｐｌｅｔｅ）」等を意味すると理解されるべきであり、ここで、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」とは、そのような比較、測定、およびタイミングが、暗黙のうちに、または明示的に記述された所望の結果を達成するために、実用的であることを意味している。「近く（ｎｅａｒ）」、「近接する（ｐｒｏｘｉｍａｔｅ ｔｏ）」、「隣接する（ａｄｊａｃｅｎｔ ｔｏ）」などの要素の相対的位置に関係する単語は、それぞれのシステム要素の相互作用に実質的な影響を及ぼすのに十分近いことを意味するものとする。近似の他の言葉は、同様に、そのように変更されたとき、必ずしも絶対的または完全であるとはみなされないが、存在しているとしてその条件を指定することを保証するために、当業者にとっては十分近いとみなされるであろうという条件を指す。記述が変わる可能性の程度は、どのように大きな変化がもたらされるかに依存し、当業者であれば、修正されていない特徴の要求された特性および可能性を依然として有するような修正された特徴を認識するであろう。
本明細書で使用される用語「またはそれらの組み合わせ」は、その用語に先行する列挙された項目のすべての順列および組み合わせを指す。例えば、「Ａ、Ｂ、Ｃ、またはそれらの組み合わせ」は、Ａ、Ｂ、Ｃ、ＡＢ、ＡＣ、ＢＣ、またはＡＢＣのうちの少なくとも１つを含むことを意図しており、特定の文脈で順番が重要である場合には、ＢＡ、ＣＡ、ＣＢ、ＣＢＡ、ＢＣＡ、ＡＣＢ、ＢＡＣ、またはＣＡＢも同様である。この例を続けると、ＢＢ、ＡＡＡ、ＡＢ、ＢＢＣ、ＡＡＡＢＣＣＣＣ、ＣＢＢＡＡＡ、ＣＡＢＡＢＢなどのような１つ以上の項目または用語の繰り返しを含む組み合わせが明示的に含まれる。当業者であれば、文脈から明らかでない限り、典型的には、任意の組み合わせにおける項目または用語の数に制限はないことを理解するであろう。
本明細書に開示および請求された組成物および／または方法のすべては、本開示に照らして過度の実験をすることなく作製および実行することができる。本開示の組成物および方法は、好ましい実施形態の観点から記載されているが、組成物および／または方法に対して、ならびに本明細書に記載された方法のステップまたはステップの順序において、本開示の概念、趣旨および範囲から逸脱することなく、様々なバリエーションを適用することができることは、当業者にとって明らかであろう。当業者に明らかなこのような類似の置換および修飾はすべて、添付の特許請求の範囲によって定義される開示の趣旨、範囲および概念の範囲内であるとみなされる。

Claims (20)

  1. ３次元（"３Ｄ"）環境から４次元（"４Ｄ"）エネルギーフィールドをレンダリングするための方法であって、前記方法が、
    シーンの全体を通して配置された複数のエネルギーデータ点によって説明される３Ｄ環境の前記シーンを提供することと、
    複数の仮想ピクセルを前記シーン内の仮想ピクセル平面に配置することであって、各仮想ピクセルが、２次元（"２Ｄ"）角座標および２Ｄ空間座標を含む既知の一意の４Ｄ座標を有し、各仮想ピクセルの前記２Ｄ角座標が、前記仮想ピクセルと、前記シーン内の仮想視認平面に配置された複数の仮想視点のうちの１つの仮想視点との間の角相関を説明し、各仮想ピクセルの前記２Ｄ空間座標が、前記シーン内の仮想表示平面に配置された複数の仮想開口の仮想開口の位置を識別する、配置することと、
    前記仮想視認平面からの複数の光線に沿った前記シーン内の前記複数のエネルギーデータ点のうちのエネルギーデータ点をサンプリングすることであって、各光線が、前記光線と交差した１つの仮想ピクセルの前記２Ｄ角座標によって決定された角度で、１つの仮想視点および前記１つの仮想ピクセルと交差し、各光線が、前記光線と交差した前記１つの仮想ピクセルの前記２Ｄ空間座標によって決定された１つの仮想開口と交差する、サンプリングすることと、
    前記光線と交差した前記１つの仮想ピクセルに対して、各光線に沿ってサンプリングした前記エネルギーデータ点とエネルギー値とを相関させることと、
    各光線の前記１つの仮想ピクセルの前記エネルギー値および各光線の前記１つの仮想ピクセルの前記既知の一意の４Ｄ座標を、エネルギー装置に４Ｄエネルギーフィールドを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングすることと、を含む、方法。
  2. 前記複数の光線のうちの少なくとも１つの光線が、前記複数の仮想視点の各仮想視点と交差する、請求項１に記載の方法。
  3. 前記４Ｄエネルギーフィールドが、明視野、ハプティックフィールド、およびタクタイルフィールドのうちの少なくとも１つを備える、請求項１または２に記載の方法。
  4. 前記エネルギーデータ点が、エネルギー周波数、エネルギー強度、エネルギー透過性、エネルギー屈折性、エネルギー反射率、のうちの少なくとも１つを説明する値を含む、請求項１から３のいずれか１項に記載の方法。
  5. 前記３Ｄ環境が、深度マップを２次元空間内の点に適用することによって決定される、請求項１から４のいずれか１項に記載の方法。
  6. 前記仮想表示平面が、エネルギー指向装置の導波管システムに対応し、エネルギーが、前記データセットに従って前記導波管システムを通して指向させて、前記シーンの少なくとも一部分の検出可能な４Ｄエネルギー表現を形成するように動作可能である、請求項１から５のいずれか１項に記載の方法。
  7. 前記複数の光線の各光線が、前記複数の仮想ピクセルのうちの前記１つの仮想ピクセルまで、およびそれを超えて、前記複数の仮想開口のうちの前記１つの仮想開口を通って延在し、前記複数のエネルギーデータ点のエネルギーデータ点が、前記仮想視認平面からサンプリングされる、請求項１から６のいずれか１項に記載の方法。
  8. 動的な３次元（"３Ｄ"）環境から４次元（"４Ｄ"）エネルギーフィールドをレンダリングするためのシステムであって、前記システムが、
    感覚データエンジンおよびレンダリングエンジンを備えるプロセスサブシステムを備え、
    前記感覚データエンジンが、シーンの全体を通して配置された複数のエネルギーデータ点によって説明される３Ｄ環境の前記シーンを提供し、
    前記感覚データエンジンが、前記シーンの仮想ピクセル平面に複数の仮想ピクセルを配置し、各仮想ピクセルが、２次元（"２Ｄ"）角座標および２Ｄ空間座標を備える既知の一意の４Ｄ座標を有し、各仮想画素座標の前記２Ｄ角座標が、前記仮想ピクセルと、前記感覚データエンジンによって前記シーン内の仮想視認平面に配置された複数の仮想視点の仮想視点との間の角相関を説明し、各仮想ピクセルの前記２Ｄ空間座標が、前記感覚データエンジンによって前記シーン内の仮想表示平面に配置された複数の仮想開口のうちの１つの仮想開口の位置を識別し、
    前記レンダリングエンジンが、前記仮想視認平面からの複数の光線に沿って、前記シーン内の前記複数のエネルギーデータ点のエネルギーデータ点をサンプリングし、各光線が、前記光線と交差した１つの仮想ピクセルの前記２Ｄ角座標によって決定された角度で、１つの仮想視点および前記１つの仮想ピクセルと交差し、各光線が、前記光線と交差した前記１つの仮想ピクセルの前記２Ｄ空間座標によって決定された１つの仮想開口と交差し、
    前記レンダリングエンジンが、各光線に沿ってサンプリングした前記エネルギーデータ点と、前記複数の仮想ピクセルのうちの前記１つの仮想ピクセルのためのエネルギー値とを相関させ、
    前記レンダリングエンジンが、前記複数の仮想ピクセルのうちの前記１つの仮想ピクセルの前記エネルギー値および前記複数の仮想ピクセルのうちの前記１つの仮想ピクセルの前記既知の一意の４Ｄ座標を、エネルギー装置に４Ｄエネルギーフィールドを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングする、システム。
  9. 前記４Ｄエネルギーフィールドが、明視野、ハプティックフィールド、およびタクタイルフィールドのうちの少なくとも１つを備える、請求項８に記載のシステム。
  10. 前記エネルギーデータ点が、エネルギー周波数、エネルギー強度、エネルギー透過性、エネルギー屈折性、エネルギー反射率、のうちの少なくとも１つを説明する値を含む、請求項８または９に記載のシステム。
  11. 前記仮想表示平面が、エネルギー指向装置の導波管システムに対応し、エネルギーが、前記データセットに従って前記導波管システムを通して指向させて、前記シーンの少なくとも一部分の検出可能な４Ｄエネルギー表現を形成するように動作可能である、請求項８から１０のいずれか１項に記載のシステム。
  12. 前記データセットが、視覚、音声、テクスチャ、または匂いセンサによって知覚可能な信号を説明する、請求項８から１１のいずれか１項に記載のシステム。
  13. 前記複数のエネルギーデータ点のエネルギーデータ点が、前記複数の光線の各光線に沿って前記レンダリングエンジンによってサンプリングされ、この光線が、前記仮想視認平面から、前記複数の仮想開口のうちの前記１つの仮想開口を通して、前記複数の仮想ピクセルのうちの前記１つの仮想ピクセルまで、およびそれを超えて延在する、請求項８から１２のいずれか１項に記載のシステム。
  14. 前記システムが、動的な３Ｄ環境から動的な４Ｄエネルギーフィールドをレンダリングするために、無制限に動作される、請求項８から１３のいずれか１項に記載のシステム。
  15. ３次元（"３Ｄ"）環境からエネルギーデータをレンダリングするための方法であって、前記方法が、
    シーンの全体を通して配置された複数のエネルギーデータ点によって説明される３Ｄ環境の前記シーンを提供することと、
    複数の仮想ピクセルを前記シーン内の仮想ピクセル平面に配置することであって、各仮想ピクセルが、２次元（"２Ｄ"）角座標および２Ｄ空間座標を含む既知の一意の４次元（"４Ｄ"）座標を有し、各仮想ピクセルの前記２Ｄ角座標が、前記仮想ピクセルと、前記シーン内の仮想視認平面に配置された複数の仮想視点のうちの１つの仮想視点との間の角相関を説明し、各仮想ピクセルの前記２Ｄ空間座標が、前記シーン内の仮想表示平面に配置された複数の仮想開口の仮想開口の位置を識別する、配置することと、
    前記仮想視認平面からの複数の光線に沿った前記シーン内の前記複数のエネルギーデータ点のうちのエネルギーデータ点をサンプリングすることであって、各光線が、前記光線と交差した１つの仮想ピクセルの前記２Ｄ角座標によって決定された角度で、１つの仮想視点および前記１つの仮想ピクセルと交差し、各光線が、前記光線と交差した前記１つの仮想ピクセルの前記２Ｄ空間座標によって決定された１つの仮想開口と交差する、サンプリングすることと、
    前記光線と交差した前記１つの仮想ピクセルに対して、各光線に沿ってサンプリングした前記エネルギーデータ点とエネルギー値とを相関させることと、
    各光線の前記１つの仮想ピクセルの前記エネルギー値および各光線の前記１つの仮想ピクセルの前記既知の一意の４Ｄ座標を、エネルギー装置にエネルギーデータを出力するように指示するために動作可能なフォーマットを有するデータセットにレンダリングすることと、を含む、方法。
  16. 各仮想開口が、２つの光線と交差する、請求項１５に記載の方法。
  17. 前記複数の仮想視点が、２つの仮想視点を備える、請求項１６に記載の方法。
  18. 前記データセットが、エネルギー装置に立体画像、仮想現実画像、拡張現実画像のうちの少なくとも１つを出力するように指示するために動作可能なフォーマットを有する、請求項１７に記載の方法。
  19. 各仮想開口が、いくつかの光線と交差する、請求項１５から１８のいずれか１項に記載の方法。
  20. 前記データセットが、エネルギー装置に複数のビューから画像を出力するように指示するために動作可能なフォーマットを有し、前記複数のビューが、各仮想開口と交差する光線の数に対応する、請求項１６に記載の方法。
JP2020538963A 2018-01-14 2019-01-14 ３ｄ環境からデータをレンダリングするためのシステムおよび方法 Active JP7274682B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023061038A JP2023098929A (ja) 2018-01-14 2023-04-04 ３ｄ環境からデータをレンダリングするためのシステムおよび方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862617286P 2018-01-14 2018-01-14
US62/617,286 2018-01-14
PCT/US2019/013554 WO2019140414A1 (en) 2018-01-14 2019-01-14 Systems and methods for rendering data from a 3d environment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023061038A Division JP2023098929A (ja) 2018-01-14 2023-04-04 ３ｄ環境からデータをレンダリングするためのシステムおよび方法

Publications (3)

Publication Number Publication Date
JP2021512394A JP2021512394A (ja) 2021-05-13
JPWO2019140414A5 JPWO2019140414A5 (ja) 2022-01-20
JP7274682B2 true JP7274682B2 (ja) 2023-05-17

Family

ID=67219168

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020538963A Active JP7274682B2 (ja) 2018-01-14 2019-01-14 ３ｄ環境からデータをレンダリングするためのシステムおよび方法
JP2023061038A Pending JP2023098929A (ja) 2018-01-14 2023-04-04 ３ｄ環境からデータをレンダリングするためのシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023061038A Pending JP2023098929A (ja) 2018-01-14 2023-04-04 ３ｄ環境からデータをレンダリングするためのシステムおよび方法

Country Status (8)

Country Link
US (2) US11650354B2 (ja)
EP (1) EP3737997A4 (ja)
JP (2) JP7274682B2 (ja)
KR (1) KR20200116942A (ja)
CN (1) CN112074782A (ja)
AU (1) AU2019206713A1 (ja)
CA (1) CA3088376A1 (ja)
WO (1) WO2019140414A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200144097A (ko) * 2018-04-12 2020-12-28 도판 인사츠 가부시키가이샤 라이트 필드 화상 생성 시스템, 화상 표시 시스템, 형상 정보 취득 서버, 화상 생성 서버, 표시 장치, 라이트 필드 화상 생성 방법 및 화상 표시 방법
US10951875B2 (en) 2018-07-03 2021-03-16 Raxium, Inc. Display processing circuitry
WO2020072034A1 (en) * 2018-10-01 2020-04-09 Leia Inc. Holographic reality system, multiview display, and method
US11195319B1 (en) 2018-10-31 2021-12-07 Facebook Technologies, Llc. Computing ray trajectories for pixels and color sampling using interpolation
CN111489448A (zh) * 2019-01-24 2020-08-04 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
KR20210141946A (ko) * 2019-03-14 2021-11-23 라이트 필드 랩 인코포레이티드 편향각이 영이 아닌 에너지 지향 표면을 갖는 에너지 지향 시스템
KR20220007672A (ko) 2019-09-04 2022-01-18 머티리얼 테크놀로지스 코포레이션 객체 특징부 시각화 장치 및 방법들
US11503256B2 (en) 2019-09-04 2022-11-15 Material Technologies Corporation Object feature visualization apparatus and methods
CN110689514B (zh) * 2019-10-11 2022-11-11 深圳大学 一种透明物体的新视角合成模型的训练方法和计算机设备
US11610372B2 (en) 2019-10-11 2023-03-21 Qualcomm Incorporated Methods and apparatus for multiple lens distortion correction
WO2021087450A1 (en) 2019-11-01 2021-05-06 Raxium, Inc. Light field displays incorporating eye trackers and methods for generating views for a light field display using eye tracking information
WO2021096982A1 (en) 2019-11-11 2021-05-20 Manticore Games, Inc. Programmatically configuring materials
JP2023512869A (ja) * 2019-12-03 2023-03-30 ライト フィールド ラボ、インコーポレイテッド ビデオゲームおよび電子スポーツのためのライトフィールドディスプレイシステム
US11363247B2 (en) * 2020-02-14 2022-06-14 Valve Corporation Motion smoothing in a distributed system
JP2021149513A (ja) * 2020-03-19 2021-09-27 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN111460660A (zh) * 2020-03-31 2020-07-28 安阳师范学院 一种内置模拟物理力学实验场景的电子装置及其控制方法
CN113643414B (zh) * 2020-05-11 2024-02-06 北京达佳互联信息技术有限公司 一种三维图像生成方法、装置、电子设备及存储介质
KR20220080830A (ko) * 2020-12-08 2022-06-15 한국전자기술연구원 호겔 단위로 경화하는 홀로그래픽 프린팅 방법
CN112691378B (zh) * 2020-12-23 2022-06-07 完美世界(北京)软件科技发展有限公司 图像处理方法、设备及可读介质
CN112862938B (zh) * 2021-01-15 2022-06-03 湖北理工学院 一种环境设计展示装置及方法
KR102461478B1 (ko) * 2021-05-03 2022-11-03 (주)이머시브캐스트 이미지 내의 객체 떨림 감소를 위한 클라우드 vr 장치
CN113420495B (zh) * 2021-05-31 2023-02-03 西南电子技术研究所（中国电子科技集团公司第十研究所） 主动诱骗式智能抗干扰方法
US11935199B2 (en) * 2021-07-26 2024-03-19 Google Llc Augmented reality depth detection through object recognition
CN114066721B (zh) * 2021-11-03 2024-02-02 抖音视界有限公司 显示方法、装置和电子设备
US20230154101A1 (en) * 2021-11-16 2023-05-18 Disney Enterprises, Inc. Techniques for multi-view neural object modeling
KR102408198B1 (ko) * 2022-01-14 2022-06-13 (주)이브이알스튜디오 3차원 객체의 렌더링을 위한 방법 및 장치
US11972512B2 (en) * 2022-01-25 2024-04-30 Adobe Inc. Directional editing of digital images
US20220217322A1 (en) * 2022-03-25 2022-07-07 Intel Corporation Apparatus, articles of manufacture, and methods to facilitate generation of variable viewpoint media
CN114492088B (zh) * 2022-04-02 2022-07-08 国家超级计算天津中心 一种材料外形状态显示方法和系统
CN115690359B (zh) * 2022-10-27 2023-12-15 科大讯飞股份有限公司 一种点云处理方法、装置、电子设备及存储介质
CN116883607B (zh) * 2023-09-06 2023-12-05 四川物通科技有限公司 基于辐射传输的虚拟现实场景生成系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008191661A (ja) 2007-02-06 2008-08-21 Mitsubishi Electric Research Laboratories Inc シーンの４ｄライトフィールドを取得する装置及び方法
JP2010538344A (ja) 2007-08-29 2010-12-09 セトレッド エーエス ３ｄディスプレイのレンダリング方法の改良

Family Cites Families (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2000293A6 (es) 1986-12-29 1988-02-01 Dominguez Montes Juan Instalacion y procedimiento para obtener imagenes tridimensionales en movimiento esto es tetradimimensionales tanto en color como en blanco y negro
GB2251700B (en) 1990-11-30 1994-08-24 Combined Optical Ind Ltd Multiple array lens
US5481385A (en) 1993-07-01 1996-01-02 Alliedsignal Inc. Direct view display device with array of tapered waveguide on viewer side
US5396350A (en) 1993-11-05 1995-03-07 Alliedsignal Inc. Backlighting apparatus employing an array of microprisms
US20010028485A1 (en) 1997-07-08 2001-10-11 Stanley Kremen Methods of preparing holograms
AUPO884297A0 (en) 1997-08-27 1997-09-18 Orme, Gregory Michael Imaging devices
US6169594B1 (en) 1998-08-24 2001-01-02 Physical Optics Corporation Beam deflector and scanner
US6684007B2 (en) 1998-10-09 2004-01-27 Fujitsu Limited Optical coupling structures and the fabrication processes
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6326939B1 (en) 1999-09-24 2001-12-04 Ronald S. Smith Optical waveguide system for a flat-panel display
US6452699B1 (en) 1999-09-28 2002-09-17 Holospex, Inc. Controlled diffraction efficiency far field viewing devices
US6556280B1 (en) 2000-09-19 2003-04-29 Optical Switch Corporation Period reconfiguration and closed loop calibration of an interference lithography patterning system and method of operation
GB0030675D0 (en) 2000-12-15 2001-01-31 Rue De Int Ltd Methods of creating high efficiency diffuse back-reflectors based on embossed surface relief
JP3429282B2 (ja) 2001-02-02 2003-07-22 リサーチ・インターナショナル・インコーポレーテッド 自動化されたシステム、及びサンプルの分析方法
GB0119176D0 (en) 2001-08-06 2001-09-26 Ocuity Ltd Optical switching apparatus
US7072096B2 (en) 2001-12-14 2006-07-04 Digital Optics International, Corporation Uniform illumination system
EP2337010A3 (en) 2002-03-13 2011-11-02 Dolby Laboratories Licensing Corporation High dynamic range display devices
JP3969252B2 (ja) 2002-08-27 2007-09-05 日本電気株式会社 立体画像平面画像切換表示装置及び携帯端末装置
US7160673B2 (en) 2002-10-03 2007-01-09 Massachusetts Institute Of Technology System and method for holographic fabrication and replication of diffractive optical elements for maskless lithography
JP3970784B2 (ja) 2003-02-10 2007-09-05 シャープ株式会社 マイクロレンズ基板、及びそれを備えた液晶表示素子、並びに投影型液晶表示装置
JP2005026772A (ja) 2003-06-30 2005-01-27 Victor Co Of Japan Ltd 立体映像表示方法及び立体映像表示装置
US20050243275A1 (en) 2004-04-30 2005-11-03 Curatu Eugene O Wavefront sensor and relay for optical measurement and associated methods
WO2006012678A1 (en) 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Walk-up printing
US7916180B2 (en) 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
DE102005041229A1 (de) 2004-12-30 2006-08-03 Volkswagen Ag Displayanordnung für ein Fahrzeug
US8537310B2 (en) 2005-03-01 2013-09-17 North Carolina State University Polarization-independent liquid crystal display devices including multiple polarization grating arrangements and related devices
JP4856181B2 (ja) * 2005-08-11 2012-01-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像データセットからのビューのレンダリング
JP5173845B2 (ja) 2006-03-03 2013-04-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３ｄ／２ｄモード切替のために制御可能な液晶レンズを使用するオートステレオスコピック表示装置
US20080144174A1 (en) 2006-03-15 2008-06-19 Zebra Imaging, Inc. Dynamic autostereoscopic displays
WO2008127410A2 (en) 2006-11-07 2008-10-23 New York University Holographic microfabrication and characterization system for soft matter and biological systems
GB2444301A (en) 2006-11-30 2008-06-04 Qinetiq Ltd Autostereoscopic projection display
US8736675B1 (en) 2006-12-01 2014-05-27 Zebra Imaging, Inc. Multi-core processor architecture for active autostereoscopic emissive displays
US7710845B2 (en) 2007-02-09 2010-05-04 Sanyo Electric Co., Ltd. Holographic memory and holographic recording apparatus
US10108146B2 (en) 2007-08-11 2018-10-23 Massachusetts Institute Of Technology Anisotropic leaky-mode modulator for holographic video displays
US8149265B2 (en) 2007-08-11 2012-04-03 Massachusetts Institute Of Technology Holographic video display system
US20140300695A1 (en) 2007-08-11 2014-10-09 Massachusetts Institute Of Technology Full-Parallax Acousto-Optic/Electro-Optic Holographic Video Display
DE102007042984A1 (de) 2007-09-10 2009-03-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur optischen Navigation
DE102007047470B3 (de) 2007-09-28 2009-05-28 Visumotion Gmbh Verfahren zur Ausrichtung eines Parallaxenbarriereschirms auf einem Bildschirm
WO2009050294A2 (en) 2007-10-19 2009-04-23 Seereal Technologies S.A. Light modulating device
JP4928476B2 (ja) 2008-01-22 2012-05-09 日本放送協会 立体像生成装置、その方法およびそのプログラム
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US9600067B2 (en) * 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
US8666142B2 (en) 2008-11-18 2014-03-04 Global Filtration Systems System and method for manufacturing
US9256007B2 (en) 2009-04-21 2016-02-09 Svv Technology Innovations, Inc. Light collection and illumination systems employing planar waveguide
DE102009003069A1 (de) 2009-05-13 2010-11-25 Seereal Technologies S.A. 3D-Anzeigedisplay mit steuerbarer Vorrichtung zum Nachführen von Sichtbarkeitsbereichen
US8345144B1 (en) 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
US9083958B2 (en) 2009-08-06 2015-07-14 Qualcomm Incorporated Transforming video data in accordance with three dimensional input formats
US20200057353A1 (en) 2009-10-09 2020-02-20 Digilens Inc. Compact Edge Illuminated Diffractive Display
EP2488912B1 (en) 2009-10-12 2019-07-24 The Trustees Of Columbia University In The City Of New York Waveguide comprising photonic crystal for outcoupling light of specific wavelengths
US8493383B1 (en) 2009-12-10 2013-07-23 Pixar Adaptive depth of field sampling
US9326675B2 (en) 2009-12-24 2016-05-03 Microsoft Technology Licensing, Llc Virtual vision correction for video display
US20130250150A1 (en) 2010-05-03 2013-09-26 Michael R. Malone Devices and methods for high-resolution image and video capture
KR101756910B1 (ko) 2010-05-11 2017-07-26 삼성전자주식회사 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
WO2011158752A1 (ja) 2010-06-15 2011-12-22 シャープ株式会社 表示装置およびその製造方法
US9395690B2 (en) 2010-07-06 2016-07-19 Seereal Technologies S.A. Beam divergence and various collimators for holographic or stereoscopic displays
US20120050833A1 (en) 2010-08-30 2012-03-01 Massachusetts Institute Of Technology Methods and Apparatus for Holographic Animation
WO2012047216A1 (en) 2010-10-06 2012-04-12 Hewlett-Packard Development Company, L.P. Systems and methods for acquiring and processing image data produced by camera arrays
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
EP2715669A4 (en) 2011-05-25 2015-03-18 Third Dimension Ip Llc ALIGNMENT, CALIBRATION AND RESTITUTION SYSTEMS AND METHODS FOR TOTAL 3D ANGLED DISPLAY
EP2551827A3 (en) 2011-07-28 2017-08-02 Sony Mobile Communications AB Presenting three dimensional depth
US8917453B2 (en) 2011-12-23 2014-12-23 Microsoft Corporation Reflective array waveguide
EP2618103A1 (de) 2012-01-17 2013-07-24 Hexagon Technology Center GmbH Verfahren, System und Computerprogramm zum Messen eines Winkels zwischen zwei räumlich voneinander entfernten Elementen und dessen Verwendung
JP5845123B2 (ja) 2012-03-22 2016-01-20 日本放送協会 ３次元モデル−インテグラル画像変換装置およびそのプログラム
KR20130112541A (ko) 2012-04-04 2013-10-14 삼성전자주식회사 플레놉틱 카메라 장치
CN103562802B (zh) 2012-04-25 2016-08-17 罗克韦尔柯林斯公司 全息广角显示器
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9860522B2 (en) * 2012-08-04 2018-01-02 Paul Lapstun Head-mounted light field display
US9703019B2 (en) 2012-08-28 2017-07-11 President And Fellows Of Harvard College Adaptive optic and acoustic devices
US9143673B2 (en) 2012-09-19 2015-09-22 Google Inc. Imaging device with a plurality of pixel arrays
RU2015122885A (ru) 2012-11-16 2017-01-10 Конинклейке Филипс Н.В. Отражательный или работающий на пропускание и отражение автостереоскопический дисплей со сниженными эффектами полосчатости
JP6076083B2 (ja) 2012-12-26 2017-02-08 日本放送協会 立体画像補正装置及びそのプログラム
KR101896339B1 (ko) 2012-12-27 2018-09-10 삼성전자주식회사 다수의 프로젝터들을 사용하는 광필드 디스플레이의 보정 방법 및 장치
US20150262424A1 (en) * 2013-01-31 2015-09-17 Google Inc. Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System
US9497380B1 (en) 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
CN103248905A (zh) 2013-03-22 2013-08-14 深圳市云立方信息科技有限公司 一种模仿全息3d场景的显示装置和视觉显示方法
US10062210B2 (en) 2013-04-24 2018-08-28 Qualcomm Incorporated Apparatus and method for radiance transfer sampling for augmented reality
WO2014188149A1 (en) 2013-05-20 2014-11-27 Milan Momcilo Popovich Holographic waveguide eye tracker
JP6551743B2 (ja) 2013-06-05 2019-07-31 ソニー株式会社 画像処理装置および画像処理方法
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9392187B2 (en) 2013-07-09 2016-07-12 Samsung Electronics Co., Ltd. Image generating apparatus including digital iris and method and non-transitory recordable medium
US9817626B2 (en) 2013-07-25 2017-11-14 Empire Technology Development Llc Composite display with multiple imaging properties
WO2015071903A1 (en) 2013-11-14 2015-05-21 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Printed optics system
KR20160106045A (ko) 2013-11-22 2016-09-09 비디노티 에스아 광필드 처리방법
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
US10244223B2 (en) * 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
US20150197062A1 (en) 2014-01-12 2015-07-16 Zohar SHINAR Method, device, and system of three-dimensional printing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9369259B2 (en) 2014-02-13 2016-06-14 Farrokh Mohamadi W-band combiner-splitter fabricated using 3-D printing
US10048647B2 (en) 2014-03-27 2018-08-14 Microsoft Technology Licensing, Llc Optical waveguide including spatially-varying volume hologram
US9786986B2 (en) 2014-04-07 2017-10-10 Kymeta Coproration Beam shaping for reconfigurable holographic antennas
US9478036B2 (en) 2014-04-14 2016-10-25 Nokia Technologies Oy Method, apparatus and computer program product for disparity estimation of plenoptic images
US20160014395A1 (en) 2014-07-10 2016-01-14 Arete Associates Data fusion processing to identify obscured objects
WO2016007920A1 (en) 2014-07-11 2016-01-14 New York University Three dimensional tactile feedback system
CN114236823A (zh) 2014-07-31 2022-03-25 伊奎蒂公司 通过漫射介质的图像及波场投影
US9360668B2 (en) 2014-08-07 2016-06-07 Continental Automotive Systems, Inc. Dynamically calibrated head-up display
US10529059B2 (en) 2014-08-11 2020-01-07 The Regents Of The University Of California Vision correcting display with aberration compensation using inverse blurring and a light field display
JP6388435B2 (ja) 2014-08-21 2018-09-12 日本放送協会 画像生成装置、画像生成方法、及びプログラム
WO2016046514A1 (en) 2014-09-26 2016-03-31 LOKOVIC, Kimberly, Sun Holographic waveguide opticaltracker
WO2016048402A2 (en) 2014-09-26 2016-03-31 Reald Multiscopic image capture system
US20160091786A1 (en) 2014-09-30 2016-03-31 Google Inc. Screen configuration for display system
US10656596B2 (en) 2014-10-09 2020-05-19 EagleMae Ventures LLC Video display and method providing vision correction for multiple viewers
US10390696B2 (en) 2014-11-26 2019-08-27 Eyekon E.R.D. Ltd. Dynamic computer images for improving visual perception
CN107110637B (zh) 2014-12-22 2019-11-01 赛博光学公司 对三维测量系统的校准进行更新
US9544583B2 (en) 2015-01-09 2017-01-10 Ricoh Company, Ltd. Object space calibration of plenoptic imaging systems
CN104837003B (zh) 2015-04-03 2017-05-17 深圳市魔眼科技有限公司 一种全息立体显示用于矫正视力的移动终端及方法
CN205185315U (zh) 2015-10-14 2016-04-27 北京工业大学 3d立体复印机
US10416454B2 (en) 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
CN105629620B (zh) 2015-12-31 2019-03-15 武汉天马微电子有限公司 折射透镜及其驱动方法、显示装置
WO2017127897A1 (en) 2016-01-27 2017-08-03 Paul Lapstun Shuttered waveguide light field display
US9945988B2 (en) 2016-03-08 2018-04-17 Microsoft Technology Licensing, Llc Array-based camera lens system
WO2018014045A2 (en) 2016-07-15 2018-01-18 Light Field Lab, Inc. Method of calibration for holographic energy directing systems
KR102609330B1 (ko) 2016-07-15 2023-12-05 라이트 필드 랩 인코포레이티드 라이트 필드 및 홀로그램 도파관 어레이에서의 에너지의 선택적 전파
WO2018014046A1 (en) 2016-07-15 2018-01-18 Light Field Lab, Inc. Encoded energy waveguides for holographic super resolution
US10757400B2 (en) 2016-11-10 2020-08-25 Manor Financial, Inc. Near eye wavefront emulating display
CA2959820A1 (en) * 2017-03-03 2018-09-03 Evolution Optiks Limited Vision correction system and method, and light field display and barrier therefor
CN107103638B (zh) * 2017-05-27 2020-10-16 杭州万维镜像科技有限公司 一种虚拟场景与模型的快速渲染方法
US10583613B2 (en) 2017-06-19 2020-03-10 International Business Machines Corporation 3D printing on the surface of an acoustic hologram
US10490599B2 (en) * 2017-07-13 2019-11-26 Applied Materials, Inc. Collimated, directional micro-LED light field display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008191661A (ja) 2007-02-06 2008-08-21 Mitsubishi Electric Research Laboratories Inc シーンの４ｄライトフィールドを取得する装置及び方法
JP2010538344A (ja) 2007-08-29 2010-12-09 セトレッド エーエス ３ｄディスプレイのレンダリング方法の改良

Also Published As

Publication number Publication date
JP2021512394A (ja) 2021-05-13
CN112074782A (zh) 2020-12-11
JP2023098929A (ja) 2023-07-11
CA3088376A1 (en) 2019-07-18
US20230341592A1 (en) 2023-10-26
AU2019206713A1 (en) 2020-07-30
EP3737997A1 (en) 2020-11-18
US11650354B2 (en) 2023-05-16
WO2019140414A1 (en) 2019-07-18
US20200380762A1 (en) 2020-12-03
EP3737997A4 (en) 2021-09-29
KR20200116942A (ko) 2020-10-13

Similar Documents

Publication Publication Date Title
JP7274682B2 (ja) ３ｄ環境からデータをレンダリングするためのシステムおよび方法
JP7279283B2 (ja) ホログラフィック感覚データ生成、操作および伝送システムおよび方法
WO2018014047A1 (en) System and methods of holographic sensory data generation, manipulation and transport
WO2018014040A1 (en) Holographic superimposition of real world plenoptic opacity modulation through transparent waveguide arrays
US20240151896A1 (en) System and methods of universal parameterization of holographic sensory data generation, manipulation and transport
NZ789927A (en) System and methods of holographic sensory data generation, manipulation and transport
박길배 STUDY ON THREE-DIMENSIONAL ANAMORPHIC VOLUMETRIC DISPLAY SYSTEM

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20201113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210408

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230404

R150 Certificate of patent or registration of utility model

Ref document number: 7274682

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150