JP2023512869A - ビデオゲームおよび電子スポーツのためのライトフィールドディスプレイシステム - Google Patents

ビデオゲームおよび電子スポーツのためのライトフィールドディスプレイシステム Download PDF

Info

Publication number
JP2023512869A
JP2023512869A JP2022532789A JP2022532789A JP2023512869A JP 2023512869 A JP2023512869 A JP 2023512869A JP 2022532789 A JP2022532789 A JP 2022532789A JP 2022532789 A JP2022532789 A JP 2022532789A JP 2023512869 A JP2023512869 A JP 2023512869A
Authority
JP
Japan
Prior art keywords
holographic
game
display
content
gaming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022532789A
Other languages
English (en)
Inventor
ベヴェンシー、ブレンダン、エルウッド
バーニンガー、トレヴァー
カラフィン、ジョナサン、ショーン
Original Assignee
ライト フィールド ラボ、インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ライト フィールド ラボ、インコーポレイテッド filed Critical ライト フィールド ラボ、インコーポレイテッド
Publication of JP2023512869A publication Critical patent/JP2023512869A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/27—Output arrangements for video game devices characterised by a large display in a public venue, e.g. in a movie theatre, stadium or game arena
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G02B30/28—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays involving active lenticular arrays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H3/00—Holographic processes or apparatus using ultrasonic, sonic or infrasonic waves for obtaining holograms; Processes or apparatus for obtaining an optical image from them
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133524—Light-guides, e.g. fibre-optic bundles, louvered or jalousie light-guides

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Nonlinear Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Holo Graphy (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ライトフィールド（ＬＦ）ディスプレイシステムがホログラフィックビデオゲームを実装する。ＬＦディスプレイシステムは、ホログラフィックゲームコンテンツを表示するＬＦディスプレイアセンブリを含む。ＬＦディスプレイシステムはまた、超音波を投射することによってユーザに触覚フィードバックを提供する感覚フィードバックアセンブリと、ユーザの１つ以上の身体部位を追跡することができる追跡システムと、ゲームアプリケーションを実行し、かつＬＦディスプレイアセンブリに対する表示命令を生成するコントローラとを含むことができる。ＬＦディスプレイシステムは、プレーヤの身体部位を追跡し、かつ爆発または衝撃などのゲーム内インタラクションを描写するために、視覚的および触覚的フィードバックの両方をプレーヤに提供するインタラクティブなビデオゲームを実装することができる。ビデオゲームは、ＬＦゲームネットワークの一部として実装され得る。【選択図】図５Ａ

Description

関連出願の相互参照
本出願は、国際出願第ＰＣＴ／ＵＳ２０１７／０４２２７５号、同第ＰＣＴ／ＵＳ２０１７／０４２２７６号、同第ＰＣＴ／ＵＳ２０１７／０４２４１８号、同第ＰＣＴ／ＵＳ２０１７／０４２４５２号、同第ＰＣＴ／ＵＳ２０１７／０４２４６２号、同第ＰＣＴ／ＵＳ２０１７／０４２４６６号、同第ＰＣＴ／ＵＳ２０１７／０４２４６７号、同第ＰＣＴ／ＵＳ２０１７／０４２４６８号、同第ＰＣＴ／ＵＳ２０１７／０４２４６９号、同第ＰＣＴ／ＵＳ２０１７／０４２４７０号、および同第ＰＣＴ／ＵＳ２０１７／０４２６７９号に関連し、これらはすべて、参照によりその全体が本明細書に組み込まれる。
本開示は、ビデオゲームに関し、より具体的には、ビデオゲームのためのライトフィールドディスプレイに関する。
従来のビデオゲームは、通常、ゲーム世界の一部分をプレーヤに描写する、コンピュータまたはテレビ画面などの平坦な二次元の表示面のためのコンテンツを生成する。表示されるゲームコンテンツは、通常、プレーヤによって制御されるゲームキャラクタによって視聴されるゲーム世界の一部分など、特定の視点に限定されている。このようにゲームコンテンツを二次元画面に表示すると、プレーヤおよび視聴者に没入型のインタラクティブな体験を提供する能力が制限される。同様に、電子スポーツ（ｅスポーツ）の試合のゲームコンテンツを、アリーナの多数の観客員が視聴可能である大型スクリーンなどの二次元表面に表示することも、ゲームコンテンツの視聴者の没入型体験を制限する。
本開示は、プレゼンテーション空間（例えば、エリア、ホームシアター、ゲームアーケードまたはバーなどの公設会場など）で、ゲームアプリケーションのホログラフィックコンテンツを表示するためのライトフィールド（ＬＦ）ディスプレイシステムを導入する。ＬＦディスプレイシステムは、プレゼンテーション空間内の表面（例えば、壁、床、テーブルトップなど）を形成するＬＦディスプレイモジュールを含み、ＬＦディスプレイモジュールは各々、表示エリアを有し、かつ個々のモジュールのエリアより大きい有効表示エリアを有するシームレスな表示面を形成するように一緒にタイル張りされている。ＬＦディスプレイモジュールは、プレゼンテーション空間内の視聴者がゲームアプリケーションを知覚することができるように、ゲームアプリケーションのホログラフィックコンテンツを表示する。
いくつかの実施形態では、ホログラフィックコンテンツは、別のプレゼンテーション空間でゲームアプリケーションによって生み出され、コンテンツ作成システムによってプレゼンテーション空間で表示するために作成され、および／またはデータストアからプレゼンテーション空間で表示するためにアクセスされるビデオゲームデータの再現、再放送、または同時放送であり得る。ホログラフィックコンテンツは、ホログラフィックコンテンツのデジタル権利の管理を担当するネットワークシステムによって管理することができる。例えば、プレゼンテーション空間内の視聴者は、取引料金を支払って、プレゼンテーション空間で表示するためのホログラフィックコンテンツにアクセスし得る。
いくつかの実施形態では、ＬＦディスプレイシステムは、視聴者の身体の動きまたはホログラフィックコンテンツに対する視聴者の応答を追跡し得る追跡システムを含む。いくつかの実施形態では、ＬＦディスプレイシステムは、ホログラフィックコンテンツの視聴者の特徴を記憶し得る視聴者プロファイリングシステムを含む。追跡システムおよびプロファイリングシステムは一緒に、プレゼンテーション空間内の視聴者の特徴を監視および記憶することができる。プレゼンテーション空間で表示するために作成されたホログラフィックコンテンツは、監視された情報または記憶された情報のうちのいずれかに基づき得る。いくつかの実施形態では、ＬＦディスプレイシステムは、ホログラフィックコンテンツを拡張する、超音波エネルギーを使用する触覚表面または圧力波の投射などの他の感覚刺激を提供する感覚フィードバックシステムを含み得る。
いくつかの実施形態では、ユーザはホログラフィックコンテンツとインタラクトし得、インタラクションは、ホログラフィックコンテンツ作成システムの入力として機能することができる。例えば、ＬＦディスプレイシステムを使用して、ホログラフィックビデオゲームを実装することができる。追跡システムは、ユーザの胴体または手など、ユーザの身体部位のうちの１つ以上の実世界位置を追跡し、ビデオゲームアプリケーションは、追跡された身体部位の実世界位置に基づいて、ゲーム世界のゲーム内位置を判定する。ビデオゲームアプリケーションは、ゲーム世界のゲーム内位置で発生するゲーム内インタラクションを処理する。ゲーム内インタラクションは、例えば、ゲーム内位置でのゲーム内オブジェクトとゲームキャラクタとの衝突、または爆風半径がゲーム内位置を包含する爆発であり得る。ＬＦディスプレイアセンブリは、ゲーム内インタラクションを描出するホログラフィックコンテンツを表示し、感覚フィードバックアセンブリは、ゲーム内インタラクションを表す超音波圧力波を放出する。
１つ以上の実施形態による、ホログラフィックオブジェクトを提示するライトフィールドディスプレイモジュールの図である。 １つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部分の断面である。 １つ以上の実施形態による、ライトフィールドディスプレイモジュールの一部分の断面である。 １つ以上の実施形態による、ライトフィールドディスプレイモジュールの斜視図である。 １つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むライトフィールドディスプレイモジュールの断面図である。 １つ以上の実施形態による、単一面シームレス表面環境を形成するために二次元にタイル張りされたライトフィールドディスプレイシステムの一部分の斜視図である。 １つ以上の実施形態による、多面シームレス表面環境におけるライトフィールドディスプレイシステムの一部分の斜視図である。 １つ以上の実施形態による、ウィング型構成の集合表面を有するライトフィールドディスプレイシステムの上面図である。 １つ以上の実施形態による、傾斜構成の集合表面を有するライトフィールドディスプレイシステムの側面図である。 １つ以上の実施形態による、部屋の前壁に集合表面を有するライトフィールドディスプレイシステムの上面図である。 １つ以上の実施形態による、部屋の前壁に集合表面を有するＬＦディスプレイシステムの側面図の側面図である。 １つ以上の実施形態による、ライトフィールドディスプレイシステムのブロック図である。 １つ以上の実施形態による、例示的なＬＦフィルムゲームネットワークを示す。 いくつかの例示的な実施形態による、部屋に組み込まれたＬＦゲームシステムを示す。 いくつかの例示的な実施形態による、部屋に組み込まれたＬＦゲームシステムを示す。 １つ以上の実施形態による、テーブルトップ型ＬＦゲームシステムを示す。 １つ以上の実施形態による、ＬＦディスプレイシステムを採用するホログラフィックビデオゲームを実装するための方法を示すフローチャートである。 １つ以上の実施形態による、ホログラフィックビデオゲームコンテンツを表示するためのＬＦディスプレイシステムを含むアリーナの断面図である。 １つ以上の実施形態による、テーブルに組み込まれたＬＦディスプレイシステムを示す。 １つ以上の実施形態による、ホログラフィック電子スポーツ試合を実装するためのプロセスを示すフローチャートである。
概要
ライトフィールド（ＬＦ）ディスプレイシステムが、ゲームアプリケーション用のプレゼンテーション空間内に実装されている。ＬＦディスプレイシステムは、ゲームアプリケーションによって生成されたビデオゲームデータを、ホログラフィックコンテンツとして提示するように構成されている。例えば、ゲームアプリケーションは、サードパーソンアクションアドベンチャービデオゲーム、スポーツビデオゲーム、ボードゲームのデジタル実装、または他の何らかのゲームアプリケーションであり得る。ＬＦディスプレイシステムは、ＬＦディスプレイシステムの視聴ボリューム内の１人以上の視聴者に見えるであろう１つ以上のホログラフィックオブジェクトを含むホログラフィックコンテンツを提示するように構成されたＬＦディスプレイアセンブリを備える。ホログラフィックオブジェクトは、ビデオゲームデータおよび／またはビデオゲームコンテンツであり得、かつ仮想プレーヤ、設定、シーン、グラフィックス情報、ゲーム状態情報などを含み得る。ＬＦディスプレイアセンブリは、プレゼンテーション空間の１つ以上の表面（例えば、コート）の一部またはすべてにわたって、多面シームレス表面を形成し得る。ＬＦディスプレイシステムは、プレゼンテーション空間の視聴者にホログラフィックコンテンツを提示できる。視聴者は、通常、プレゼンテーション空間に位置しているが、プレゼンテーション空間でホログラフィックコンテンツを視聴できる場所にいる人なら誰でもかまわない。さらに、本明細書では概して「視聴者」と称されるが、視聴者はまた、プレゼンテーション空間でホログラフィックコンテンツとして表現することができるビデオゲームデータを生成するゲームアプリケーションとインタラクトする（例えば、視聴する、実行する、～に入力する、～から出力を受信するなど）人なら誰でもかまわない。
ホログラフィックコンテンツのホログラフィックオブジェクトはまた、他の感覚刺激（例えば、触覚および／または音声）で拡張され得る。例えば、ＬＦディスプレイシステム内の超音波エミッタは、ホログラフィックオブジェクトの一部またはすべてに対して触覚表面を提供する超音波圧力波を放出し得る。ホログラフィックコンテンツは、追加のビジュアルコンテンツ（すなわち、２Ｄまたは３Ｄビジュアルコンテンツ）を含み得る。まとまりのある体験が可能であることを確実にするエミッタの協調が、マルチエミッタ実装形態のシステムの一部（すなわち、任意の所与の時点で正しい触感および感覚刺激を提供するホログラフィックオブジェクト）である。
いくつかの実施形態では、ＬＦディスプレイシステムは、プレゼンテーション空間内のゲーム表示エリア（例えば、ゲーム設定、仮想世界の表現、ゲーム内のプレーヤまたはオブザーバが体験するシーンなど）を形成する複数のＬＦディスプレイモジュールを含む。ゲーム表示エリアを形成するＬＦディスプレイモジュールは、ゲームアプリケーションのホログラフィックコンテンツを、プレゼンテーション空間内のＬＦディスプレイの視聴ボリューム内の視聴者に投影するように構成され得る。本開示では、「プレゼンテーション空間内の視聴者」は、プレゼンテーション空間内のＬＦディスプレイシステムの視聴ボリュームのうちの１つにおける視聴者を指していると想定されている。視聴ボリュームについては、以下により詳しく説明する。このように、プレゼンテーション空間内の視聴者は、ゲーム表示エリアにゲームアプリケーションによって生成されたホログラフィックビデオゲームデータを知覚することができる。例えば、ＬＦディスプレイシステムは、マルチプレーヤオンラインバトルアリーナゲーム、バトルロワイヤルゲーム、リアルタイムストラテジゲーム、シミュレーションゲーム、またはゲームアプリケーションに関連付けられた任意の他のコンテンツ内にフィギュアを表示し得る。いくつかの実施形態では、ＬＦディスプレイシステムは、プレゼンテーション空間内の視聴者に表示するためのホログラフィックコンテンツを作成し得る。例えば、ＬＦディスプレイシステムは、ゲーム表示エリア内に提示されるホログラフィックビデオゲームデータの体験に追加する拡張された仮想設定を、プレゼンテーション空間内に作成し得る。一実施形態では、プレゼンテーション空間は、スポーツアリーナの一部分を再現する。一実施形態では、プレゼンテーション空間は、アリーナ内に位置し得、またはバー、ホームエンターテインメントシステム、テーブルトップ型プレゼンテーションシステム、または公設プレゼンテーションシステムに位置し得る。
いくつかの実施形態では、ＬＦディスプレイシステムは、システムが、少なくとも１つのタイプのエネルギーを放出し、同時に、（ホログラフィックコンテンツを作成するために）少なくとも１つのタイプのエネルギーを吸収できるようにする要素を含み得る。例えば、ＬＦディスプレイシステムは、視覚用のホログラフィックオブジェクトだけでなく、触覚知覚用の触覚表面を生成するための超音波の両方を放出することができる。同時に、ＬＦディスプレイシステムは、視聴者の追跡および他のシーン分析のための画像情報と、ユーザによるタッチ応答を検出するための超音波の両方を吸収することができる。一例として、そのようなシステムは、プレゼンテーション空間内の観客に投げ込まれるホログラフィックボールを投影し得る。ホログラフィックボールが視聴者によって仮想的に「タッチされる」と、ＬＦディスプレイシステムは、視聴者にボールが自分の手にあるような錯覚を与え、同時にボールの表面と一致する触覚表面を投影して、視聴者がホログラフィックボールの存在を感じることができるようにし得る。環境のエネルギー感知を実行するディスプレイシステムの構成要素は、エネルギーの放出および吸収の両方を行う双方向エネルギー要素を介して表示面に統合され得るか、または表示面とは別の専用のセンサであり得る。例えば、ＬＦディスプレイシステムは、表示面から分離された専用の超音波トランスデューサおよび画像キャプチャデバイスを含み得る。
ＬＦディスプレイシステムは、ＬＦゲームアプリケーションネットワークの一部とすることができる。ＬＦゲームアプリケーションネットワークにより、ＬＦデータをある場所（例えば、第１のアリーナ）で記録し、符号化し、異なる場所（例えば、第２のアリーナ）に送信し、復号化し、ホログラフィックコンテンツとしてその異なる場所のプレゼンテーション空間内の視聴者に表示することを可能にする。これにより、複数の場所の視聴者が、異なる場所で発生しているライブゲームアプリケーションを知覚することを可能にする。いくつかの実施形態では、ＬＦディスプレイシステムは、ホログラフィックコンテンツのデジタル権利を管理するネットワークシステムを含む。
ライトフィールドディスプレイシステム
図１は、１つ以上の実施形態による、ホログラフィックオブジェクト１２０を提示するライトフィールド（ＬＦ）ディスプレイモジュール１１０の図１００である。ＬＦディスプレイモジュール１１０は、ライトフィールド（ＬＦ）ディスプレイシステムの一部である。ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュールを使用して、少なくとも１つのホログラフィックオブジェクトを含むホログラフィックコンテンツを提示する。ＬＦディスプレイシステムは、１人以上の視聴者にホログラフィックコンテンツを提示することができる。いくつかの実施形態では、ＬＦディスプレイシステムはまた、他の感覚コンテンツ（例えば、触覚、音声、匂い、温度など）でホログラフィックコンテンツを拡張し得る。例えば、以下で考察されるように、集束超音波の投影は、ホログラフィックオブジェクトの一部またはすべての表面をシミュレートし得る中空触覚を生成し得る。ＬＦディスプレイシステムは、１つ以上のＬＦディスプレイモジュール１１０を含んでおり、図２～図４に関して以下で詳細に考察される。
ＬＦディスプレイモジュール１１０は、ホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト１２０）を１人以上の視聴者（例えば、視聴者１４０）に提示するホログラフィックディスプレイである。ＬＦディスプレイモジュール１１０は、エネルギーデバイス層（例えば、発光電子ディスプレイまたは音響投影デバイス）と、エネルギー導波路層（例えば、光学レンズアレイ）と、を含む。追加的に、ＬＦディスプレイモジュール１１０は、複数のエネルギー源または検出器を一緒に組み合わせて単一の表面を形成するために、エネルギーリレー層を含み得る。高レベルでは、エネルギーデバイス層は、エネルギー（例えば、ホログラフィックコンテンツ）を生成し、このエネルギーは次に、エネルギー導波路層を使用して、１つ以上の四次元（４Ｄ）ライトフィールド関数に従って空間内の領域に指向される。ＬＦディスプレイモジュール１１０はまた、１つ以上のタイプのエネルギーの投影および／または感知を同時に行い得る。例えば、ＬＦディスプレイモジュール１１０は、ホログラフィック画像ならびに超音波触覚表面は、視聴ボリューム内に投影されることが可能であり得る一方、同時に、視聴ボリュームからの画像データを検出する。ＬＦディスプレイモジュール１１０の操作は、図２～図３に関して以下でより詳細に考察される。
ＬＦディスプレイモジュール１１０は、（例えば、プレノプティック関数から導出される）１つ以上の４Ｄライトフィールド関数を使用して、ホログラフィックオブジェクトボリューム１６０内にホログラフィックオブジェクトを生成する。ホログラフィックオブジェクトは、三次元（３Ｄ）、二次元（２Ｄ）、またはそれらの何らかの組み合わせであり得る。さらに、ホログラフィックオブジェクトは、多色（例えば、フルカラー）であり得る。ホログラフィックオブジェクトは、スクリーン平面の前、スクリーン平面の後ろに投影されるか、またはスクリーン平面によって分割され得る。ホログラフィックオブジェクト１２０は、ホログラフィックオブジェクトボリューム１６０内のどこでも知覚されるように提示され得る。ホログラフィックオブジェクトボリューム１６０内のホログラフィックオブジェクトは、視聴者１４０には、空間に浮かんでいるように見えることがある。
ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトが視聴者１４０によって知覚され得るボリュームを表す。ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトが表示エリア１５０の平面の前に提示され得るように、表示エリア１５０の表面の前に（すなわち、視聴者１４０に向かって）延在し得る。追加的に、ホログラフィックオブジェクトボリューム１６０は、表示エリア１５０の平面の後ろに（すなわち、視聴者１４０から離れる方向に）延在し得、ホログラフィックオブジェクトが、表示エリア１５０の平面の後ろにあるかのように提示されることを可能にする。言い換えれば、ホログラフィックオブジェクトボリューム１６０は、表示エリア１５０から発生し（例えば、投影され）、収束してホログラフィックオブジェクトを作成し得るすべての光線を含むことができる。ここで、光線は、表示面の前、表示面、または表示面の後ろにある点に収束し得る。より簡単に言えば、ホログラフィックオブジェクトボリューム１６０は、ホログラフィックオブジェクトが視聴者によって知覚され得るすべてのボリュームを包含する。
視聴ボリューム１３０は、ＬＦディスプレイシステムによってホログラフィックオブジェクトボリューム１６０内に提示されたホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト１２０）が完全に見える空間のボリュームである。ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム１６０内に提示され、実際のオブジェクトと区別できないように、視聴ボリューム１３０内で見られ得る。ホログラフィックオブジェクトは、オブジェクトが物理的に存在した場合に、オブジェクトの表面から生成されるであろう光線と同じ光線を投影することによって形成される。
場合によっては、ホログラフィックオブジェクトボリューム１６０および対応する視聴ボリューム１３０は、図１０および図１１に関して以下で詳細に説明するように、単一の視聴者用に設計されるように、比較的小さくなり得る。他の実施形態では、例えば、図４Ａ～図４Ｆ、図６Ａ～図６Ｂ、図７Ａ～図７Ｂ、図８、および図９Ａ～図９Ｂに関して以下で詳細に説明するように、ＬＦディスプレイモジュールは、より大きなホログラフィックオブジェクトボリューム、および広範囲の視聴者（例えば、１人～数千人）を収容できる対応する視聴ボリュームを作成するために拡大および／またはタイル張りされ得る。本開示で提示されるＬＦディスプレイモジュールは、ＬＦディスプレイの全表面が、非アクティブまたはデッドスペースがなく、ベゼルを必要としないホログラフィック撮像光学系を含むように構築され得る。これらの実施形態では、ＬＦディスプレイモジュールは、撮像エリアがＬＦディスプレイモジュール間の継ぎ目をまたいで連続するようにタイル張りされ得、タイル張りされたモジュール間の接続点は、目の視力を使用して実質的に検出されない。特に、いくつかの構成では、表示面の一部は、本明細書では詳細に説明されていないが、ホログラフィック撮像光学系を含まないことがある。
視聴ボリューム１３０の柔軟なサイズおよび／または形状は、視聴者が視聴ボリューム１３０内で制約を受けないことを可能にする。例えば、視聴者１４０は、視聴ボリューム１３０内の異なる位置に移動し、対応する視点からホログラフィックオブジェクト１２０の異なるビューを見ることができる。例示のための、図１を参照すると、視聴者１４０は、ホログラフィックオブジェクト１２０がイルカの真正面からのビューで見えるように、ホログラフィックオブジェクト１２０に対して第１の位置にある。視聴者１４０は、イルカの異なるビューを見るために、ホログラフィックオブジェクト１２０に対して他の場所に動くことができる。例えば、視聴者１４０は、視聴者１４０があたかも実際のイルカを見ていて、イルカの異なるビューを見るために、実際のイルカに対する視聴者の相対位置を変更するかのように、移動して、イルカの左側、イルカの右側などを見ることができる。いくつかの実施形態では、ホログラフィックオブジェクト１２０は、ホログラフィックオブジェクト１２０への遮るもののない（すなわち、オブジェクト／ヒトによって遮られていない）視線を有する、視聴ボリューム１３０内のすべての視聴者に見える。これらの視聴者は、異なる視点のホログラフィックオブジェクト１２０を見るために、視聴ボリューム内を動き回ることができるように、制約されないでよい。したがって、ＬＦディスプレイシステムは、複数の制約されない視聴者が、あたかもホログラフィックオブジェクトが物理的に存在するかのごとく、実世界空間のホログラフィックオブジェクトを異なる視点で同時に見ることができるように、ホログラフィックオブジェクトを提示し得る。
対照的に、従来のディスプレイ（例えば、立体視、仮想現実、拡張現実、または複合現実）では、一般に、各視聴者は、コンテンツを見るために、何らかの外部デバイス（例えば、３Ｄメガネ、ニアアイディスプレイ、またはヘッドマウントディスプレイ）を着用する必要がある。追加的および／または代替的に、従来のディスプレイでは、視聴者が特定の視聴位置に（例えば、ディスプレイに対して固定された場所を有する椅子に）拘束される必要があり得る。例えば、立体視ディスプレイによって表示されるオブジェクトを見る場合、視聴者は常に、オブジェクトではなく表示面に焦点を合わせ、ディスプレイは常に、知覚されたオブジェクトの周りを動き回ろうとする視聴者に追随するオブジェクトの２つのビューのみを提示し、そのオブジェクトの知覚に歪みを引き起こす。しかしながら、ライトフィールドディスプレイでは、ＬＦディスプレイシステムによって提示されるホログラフィックオブジェクトの視聴者は、ホログラフィックオブジェクトを見るために、外部デバイスを装着する必要も、特定の位置に監禁される必要もない。ＬＦディスプレイシステムは、特別なアイウェア、メガネ、またはヘッドマウントアクセサリを要することなく、物理的オブジェクトが視聴者に見えるのとほぼ同じように視聴者に見える方法で、ホログラフィックオブジェクトを提示する。さらに、視聴者は、視聴ボリューム内の任意の場所からホログラフィックコンテンツを見ることができる。
特に、ホログラフィックオブジェクトボリューム１６０内のホログラフィックオブジェクトの潜在的な場所は、ボリュームのサイズによって制限される。ホログラフィックオブジェクトボリューム１６０のサイズを増加させるために、ＬＦディスプレイモジュール１１０の表示エリア１５０のサイズは増加され得、かつ／または複数のＬＦディスプレイモジュールは、シームレスな表示面を形成するように一緒にタイル張りされ得る。シームレスな表示面は、個々のＬＦディスプレイモジュールの表示エリアよりも大きい有効表示エリアを有する。ＬＦディスプレイモジュールのタイル張りに関連するいくつかの実施形態について、図４Ａ～図４Ｆ、図６Ａ～図６Ｂ、図７Ａ～図７Ｂ、図８、および図９Ａ～図９Ｂに関して以下で考察する。図１に例示されるように、表示エリア１５０は、例えば、矩形であり、ピラミッド形であるホログラフィックオブジェクトボリューム１６０をもたらす。他の実施形態では、表示エリアは、対応する視聴ボリュームの形状にも影響を与える何らかの他の形状（例えば、六角形）を有し得る。
追加的に、上記の考察は、ＬＦディスプレイモジュール１１０と視聴者１４０との間にあるホログラフィックオブジェクトボリューム１６０の一部内にホログラフィックオブジェクト１２０を提示することに焦点を当てているが、ＬＦディスプレイモジュール１１０は追加的に、表示エリア１５０の平面の後ろのホログラフィックオブジェクトボリューム１６０にコンテンツを提示することができる。例えば、ＬＦディスプレイモジュール１１０は、表示エリア１５０を、ホログラフィックオブジェクト１２０が飛び出している海の表面であるように見せることができる。また、表示されるコンテンツは、視聴者１４０が、表示された表面を通して、水中にいる海洋生物を見ることができるようなものであってもよい。さらに、ＬＦディスプレイシステムは、表示エリア１５０の平面の後ろおよび前を含む、ホログラフィックオブジェクトボリューム１６０の周りをシームレスに移動するコンテンツを生成することができる。
図２Ａは、１つ以上の実施形態による、ＬＦディスプレイモジュール２１０の一部の断面２００である。ＬＦディスプレイモジュール２１０は、ＬＦディスプレイモジュール１１０であってもよい。他の実施形態では、ＬＦディスプレイモジュール２１０は、表示エリア１５０とは異なる表示エリア形状を有する別のＬＦディスプレイモジュールであってもよい。例示的な実施形態では、ＬＦディスプレイモジュール２１０は、エネルギーデバイス層２２０、エネルギーリレー層２３０、およびエネルギー導波路層２４０を含む。ＬＦディスプレイモジュール２１０のいくつかの実施形態は、本明細書に記載のものとは異なる構成要素を有する。例えば、いくつかの実施形態では、ＬＦディスプレイモジュール２１０は、エネルギーリレー層２３０を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散されることができる。
本明細書に記載のディスプレイシステムは、実世界のオブジェクトを通常取り巻くエネルギーを複製するエネルギーの放出を提示する。ここで、放出されたエネルギーは、表示面上のすべての座標から特定の方向に指向される。言い換えれば、表示面上の様々な座標が、放出されたエネルギーの投影場所として機能する。表示面からの指向されたエネルギーは、多くのエネルギー線の収束を可能にし、それによって、ホログラフィックオブジェクトを作成することができる。例えば、可視光では、ＬＦディスプレイは、ホログラフィックオブジェクトボリューム内の任意の点で収束し得る、投影場所からの極めて大きい数の光線を投影するため、それらの光線は、投影されているオブジェクトよりも遠くに位置する視聴者の視点からは、空間のこの領域に位置する実世界のオブジェクトの表面から来ているように見えるであろう。このように、ＬＦディスプレイは、視聴者の視点からは、そのようなオブジェクトの表面から出たような反射光線を生成している。視聴者の視点は、任意の特定のホログラフィックオブジェクト上で変わり得、視聴者は、そのホログラフィックオブジェクトの異なるビューを見るであろう。
エネルギーデバイス層２２０は、１つ以上の電子ディスプレイ（例えば、ＯＬＥＤなどの発光ディスプレイ）と、本明細書に記載の１つ以上の他のエネルギー投影および／またはエネルギー受信デバイスと、を含む。１つ以上の電子ディスプレイは、（例えば、ＬＦディスプレイシステムのコントローラからの）表示命令に従ってコンテンツを表示するように構成される。１つ以上の電子ディスプレイは、各々が個別に制御される強度を有する複数のピクセルを含む。発光ＬＥＤおよびＯＬＥＤディスプレイなど、多くのタイプの商用ディスプレイがＬＦディスプレイ内で使用され得る。
エネルギーデバイス層２２０はまた、１つ以上の音響投影デバイスおよび／または１つ以上の音響受信デバイスを含むことができる。音響投影デバイスは、ホログラフィックオブジェクト２５０を補完する１つ以上の圧力波を生成する。生成される圧力波は、例えば、可聴、超音波、またはそれらの何らかの組み合わせであってもよい。超音波圧力波のアレイは、体積触覚のために（例えば、ホログラフィックオブジェクト２５０の表面において）使用され得る。可聴圧力波は、ホログラフィックオブジェクト２５０を補完し得る音声コンテンツ（例えば、没入型オーディオ）を提供するために使用される。例えば、ホログラフィックオブジェクト２５０がイルカであると仮定すると、１つ以上の音響投影デバイスを使用して、（１）視聴者がホログラフィックオブジェクト２５０にタッチし得るように、イルカの表面と併置される触覚表面を生成し、（２）パチンと鳴る音、甲高い音、けたたましい鳴き声など、イルカが発生する音に対応する音声コンテンツを提供し得る。音響受信デバイス（例えば、マイクロフォンもしくはマイクロフォンアレイ）は、ＬＦディスプレイモジュール２１０の局所エリア内の超音波および／または可聴圧力波を監視するように構成され得る。
エネルギーデバイス層２２０はまた、１つ以上の画像センサを含むことができる。画像センサは、可視光帯の光に敏感であってもよく、場合によっては、他の帯域（例えば、赤外線）の光に敏感であってもよい。画像センサは、例えば、相補型金属酸化膜半導体（ＣＭＯＳ）アレイ、電荷結合デバイス（ＣＣＤ）、光検出器のアレイ、光をキャプチャする何らかの他のセンサ、またはそれらの何らかの組み合わせであってもよい。ＬＦディスプレイシステムは、視聴者の場所標定追跡のために、１つ以上の画像センサによってキャプチャされたデータを使用し得る。
いくつかの構成では、エネルギーリレー層２３０は、エネルギーデバイス層２２０とエネルギー導波路層２４０との間でエネルギー（例えば、電磁エネルギー、機械的圧力波など）を中継する。エネルギーリレー層２３０は、１つ以上のエネルギーリレー要素２６０を含む。各エネルギーリレー素子は、第１の表面２６５および第２の表面２７０を含み、２つの表面間でエネルギーを中継する。各エネルギーリレー素子の第１の表面２６５は、１つ以上のエネルギーデバイス（例えば、電子ディスプレイまたは音響投影デバイス）に結合され得る。エネルギーリレー素子は、例えば、ガラス、炭素、光ファイバー、光学フィルム、プラスチック、ポリマー、またはそれらの何らかの組み合わせで構成され得る。追加的に、いくつかの実施形態では、エネルギーリレー素子は、第１の表面２６５と第２の表面２７０との間を通過するエネルギーの倍率（増加または減少）を調整し得る。リレーが倍率を提供する場合、リレーは、テーパーと呼ばれる、接着されたテーパーリレーのアレイの形態を採り得、テーパーの一端の面積は、反対側の端よりも実質的に大きくなり得る。テーパーの大きい方の端は、一緒に張り合わされて、シームレスなエネルギー面２７５を形成することができる。１つの利点は、複数のディスプレイのベゼルなど、複数のエネルギー源の機械的エンベロープを収容するために、各テーパーの複数の小さな端にスペースが作成されることである。この余分のスペースにより、各エネルギー源が、小さいテーパー表面内にエネルギーを指向するアクティブエリアを有し、大きいシームレスなエネルギー面にリレーされる状態で、エネルギー源を小さなテーパー側に並べて配置することが可能になる。テーパーリレーを使用する別の利点は、テーパーの大きい端によって形成される、組み合わされたシームレスなエネルギー面には、非結像デッドスペースがないことである。境界またはベゼルが存在しないため、シームレスなエネルギー面を一緒にタイル張りして、目の視力によると実質的に継ぎ目のない、より大きな表面を形成することができる。
隣接するエネルギーリレー素子の第２の表面は、一緒になってエネルギー面２７５を形成する。いくつかの実施形態では、隣接するエネルギーリレー素子の縁間の分離は、例えば、２０／４０の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面２７５は、視聴ボリューム２８５内の視聴者２８０の視点からは事実上シームレスである。
いくつかの実施形態では、隣接するエネルギーリレー要素の第２の表面は、それらの間に継ぎ目が存在しないように、圧力、熱、および化学反応のうちの１つ以上を含み得る処理工程を用いて一緒に融合される。さらに、他の実施形態では、エネルギーリレー要素のアレイは、リレー材料の連続したブロックの片側を、各々がエネルギーを、小さなテーパー端部に取り付けられたエネルギーデバイスから、細分化されない大きなエリアを有する単一の結合された表面内に輸送するように構成される、小さなテーパー端部のアレイに成形することによって形成される。
いくつかの実施形態では、１つ以上のエネルギーリレー素子は、エネルギー局在化を示し、表面２６５および２７０に実質的に垂直な長手方向のエネルギー輸送効率は、垂直横断平面内の輸送効率よりもはるかに高く、エネルギー波が表面２６５と表面２７０との間を伝播するとき、エネルギー密度はこの横断平面内で高度に局在化される。このエネルギーの局在化により、画像などのエネルギー分布が、解像度の大きな損失なしに、これらの表面間で効率的に中継されることが可能になる。
エネルギー導波路層２４０は、エネルギー導波路層２４０内の導波路要素を使用して、エネルギーを、エネルギー面２７５上の場所（例えば、座標）から、表示面から外側のホログラフィック視聴ボリューム２８５内への特定のエネルギー伝搬経路内に指向する。エネルギー伝搬経路は、少なくとも導波路に対するエネルギー面の座標場所によって判定される２つの角度寸法によって画定される。導波路は、空間２Ｄ座標に関連付けられる。これらの４つの座標が一緒になって、四次元（４Ｄ）エネルギーフィールドを形成する。一例として、電磁エネルギーの場合、エネルギー導波路層２４０内の導波路要素は、光をシームレスなエネルギー面２７５上の位置から、視聴ボリューム２８５を通る異なる伝搬方向に沿って指向する。様々な例において、光は、４Ｄライトフィールド関数に従って指向されて、ホログラフィックオブジェクトボリューム２５５内にホログラフィックオブジェクト２５０を形成する。
エネルギー導波路層２４０内の各導波路要素は、例えば、１つ以上の要素で構成されるレンズレットであり得る。いくつかの構成では、レンズレットは、正レンズであり得る。正レンズは、球面、非球面、または自由形状の表面プロファイルを有し得る。追加的に、いくつかの実施形態では、導波路要素の一部またはすべては、１つ以上の追加の光学構成要素を含み得る。追加の光学構成要素は、例えば、バッフル、正レンズ、負レンズ、球面レンズ、非球面レンズ、自由形状レンズ、液晶レンズ、液体レンズ、屈折要素、回折要素、またはそれらの何らかの組み合わせなどのエネルギー抑制構造であり得る。いくつかの実施形態では、レンズレットおよび／または追加の光学構成要素のうちの少なくとも１つはまた、屈折力を動的に調整することができる。例えば、レンズレットは、液晶レンズまたは液体レンズであってもよい。表面プロファイルの動的調整、レンズレットおよび／または少なくとも１つの追加の光学構成要素は、導波路要素から投影される光の追加の方向制御を提供し得る。
例示的な例では、ＬＦディスプレイのホログラフィックオブジェクトボリューム２５５は、光線２５６および光線２５７によって形成される境界を有するが、他の光線によって形成され得る。ホログラフィックオブジェクトボリューム２５５は、エネルギー導波路層２４０の前（すなわち、視聴者２８０に向かって）およびその後ろ（すなわち、視聴者２８０から離れて）の両方に延在する連続したボリュームである。例示的な例では、光線２５６および光線２５７は、ＬＦディスプレイモジュール２１０の反対の縁から、ユーザによって知覚され得る表示面２７７の法線に対して最大の角度で投影されるが、これらは他の投影光線であり得る。これらの光線は、ディスプレイの視野を画定し、したがって、ホログラフィック視聴ボリューム２８５の境界を画定する。場合によっては、これらの光線は、ディスプレイ全体がケラレなしで観察され得るホログラフィック視聴ボリューム（例えば、理想的な視聴ボリューム）を画定する。ディスプレイの視野が広がると、光線２５６および光線２５７の収束点がディスプレイにより近くなる。したがって、より広い視野を有するディスプレイは、視聴者２８０がより近い視距離でディスプレイ全体を見ることを可能にする。追加的に、光線２５６および２５７は、理想的なホログラフィックオブジェクトボリュームを形成し得る。理想的なホログラフィックオブジェクトボリューム内に提示されるホログラフィックオブジェクトは、視聴ボリューム２８５内のどこでも見られ得る。
いくつかの例では、ホログラフィックオブジェクトは、視聴ボリューム２８５の一部にのみ提示され得る。言い換えれば、ホログラフィックオブジェクトボリュームは、任意の数の視聴サブボリューム（例えば、視聴サブボリューム２９０）に分割され得る。追加的に、ホログラフィックオブジェクトは、ホログラフィックオブジェクトボリューム２５５の外側に投影され得る。例えば、ホログラフィックオブジェクト２５１は、ホログラフィックオブジェクトボリューム２５５の外側に提示される。ホログラフィックオブジェクト２５１は、ホログラフィックオブジェクトボリューム２５５の外側に提示されるので、視聴ボリューム２８５内のすべての場所から見ることができるわけではない。例えば、ホログラフィックオブジェクト２５１は、視聴サブボリューム２９０内の場所からは見えるが、視聴者２８０の場所からは見えない可能性がある。
例えば、異なる視聴サブボリュームからホログラフィックコンテンツを見ることを例示するために、図２Ｂに目を向ける。図２Ｂは、１つ以上の実施形態による、ＬＦディスプレイモジュールの一部の断面２００を例示する。図２Ｂの断面は、図２Ａの断面と同じである。しかしながら、図２Ｂは、ＬＦディスプレイモジュール２１０から投影された異なる光線のセットを示している。光線２５６および光線２５７は、依然としてホログラフィックオブジェクトボリューム２５５および視聴ボリューム２８５を形成する。しかしながら、示されるように、ＬＦディスプレイモジュール２１０の頂部およびＬＦディスプレイモジュール２１０の底部から投影された光線は重なり合って、視聴ボリューム２８５内に様々な視聴サブボリューム（例えば、ビューサブボリューム２９０Ａ、２９０Ｂ、２９０Ｃ、および２９０Ｄ）を形成する。第１の視聴サブボリューム（例えば、２９０Ａ）内の視聴者は、他の視聴サブボリューム（例えば、２９０Ｂ、２９０Ｃ、および２９０Ｄ）内の視聴者が知覚できない、ホログラフィックオブジェクトボリューム２５５内に提示されたホログラフィックコンテンツを知覚することが可能であり得る。
より簡単に言えば、図２Ａに例示されるように、ホログラフィックオブジェクトボリューム２５５は、ホログラフィックオブジェクトが視聴ボリューム２８５内の視聴者（例えば、視聴者２８０）によって知覚され得るように、ホログラフィックオブジェクトが、ＬＦディスプレイシステムによって提示され得るボリュームである。このように、視聴ボリューム２８５は、理想的な視聴ボリュームの一例であり、ホログラフィックオブジェクトボリューム２５５は、理想的なオブジェクトボリュームの一例である。しかしながら、様々な構成において、視聴者は、他の例示的なホログラフィックオブジェクトボリューム内にＬＦディスプレイシステム２００によって提示されたホログラフィックオブジェクトを知覚し得る。より一般的には、ＬＦディスプレイモジュールから投影されたホログラフィックコンテンツを見るときには「アイラインガイドライン」が適用される。アイラインガイドラインは、視聴者の目の位置と見られているホログラフィックオブジェクトとによって形成されるラインはＬＦ表示面と交差しなければならないものとする。
ＬＦディスプレイモジュール２１０によって提示されたホログラフィックコンテンツを見るとき、ホログラフィックコンテンツは４Ｄライトフィールド関数に従って提示されるため、視聴者２８０の各目は、異なる視点のホログラフィックオブジェクト２５０を見る。さらに、視聴者２８０が視聴ボリューム２８５内を移動するとき、視聴者は、視聴ボリューム２８５内の他の視聴者が見るであろうような、異なる視点のホログラフィックオブジェクト２５０を見るであろう。当業者には理解されるように、４Ｄライトフィールド関数は当技術分野で周知であり、本明細書ではこれ以上詳しく説明しない。
本明細書でより詳細に説明するように、いくつかの実施形態では、ＬＦディスプレイは、２つ以上のタイプのエネルギーを投影することができる。例えば、ＬＦディスプレイは、例えば、機械的エネルギーおよび電磁エネルギーなどの２つのタイプのエネルギーを投影し得る。この構成では、エネルギーリレー層２３０は、エネルギー面２７５で一緒にインターリーブされるが、エネルギーが２つの異なるエネルギーデバイス層２２０に中継されるように分離される２つの別個のエネルギーリレーを含み得る。ここで、一方のリレーは、電磁エネルギーを輸送するように構成され得、別方のリレーは、機械的エネルギーを輸送するように構成され得る。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層２４０上の電磁導波路要素間の場所から投影され得、光が一方の電磁導波路要素から別方の電磁導波路要素に輸送されるのを抑制する構造を形成するのに役立つ。いくつかの実施形態では、エネルギー導波路層２４０はまた、コントローラからの表示命令に従って、集束超音波を特定の伝搬経路に沿って輸送する導波路要素を含み得る。
代替の実施形態（図示せず）では、ＬＦディスプレイモジュール２１０はエネルギーリレー層２３０を含まないことに留意されたい。この場合、エネルギー面２７５は、エネルギーデバイス層２２０内の１つ以上の隣接する電子ディスプレイを使用して形成された出射面である。また、エネルギーリレー層を有さないいくつかの実施形態では、隣接する電子ディスプレイの縁間の分離は、２０／４０の視力を有する人間の目の視力によって定義される最小の知覚可能な輪郭よりも小さく、その結果、エネルギー面は、視聴ボリューム２８５内の視聴者２８０の視点からは事実上シームレスである。
ＬＦディスプレイモジュール
図３Ａは、１つ以上の実施形態による、ＬＦディスプレイモジュール３００Ａの斜視図である。ＬＦディスプレイモジュール３００Ａは、ＬＦディスプレイモジュール１１０および／またはＬＦディスプレイモジュール２１０であり得る。他の実施形態では、ＬＦディスプレイモジュール３００Ａは、何らかの他のＬＦディスプレイモジュールであってもよい。例示的な実施形態では、ＬＦディスプレイモジュール３００Ａは、エネルギーデバイス層３１０、エネルギーリレー層３２０、およびエネルギー導波路層３３０を含む。ＬＦディスプレイモジュール３００Ａは、本明細書で説明されるように、表示面３６５からホログラフィックコンテンツを提示するように構成されている。便宜上、表示面３６５は、ＬＦディスプレイモジュール３００Ａのフレーム３９０上に破線の輪郭として例示されているが、より正確には、フレーム３９０の内側リムによって境界される導波路要素の真正面の表面である。表示面３６５は、エネルギーが投影され得る複数の投影位置を含む。ＬＦディスプレイモジュール３００Ａのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。例えば、いくつかの実施形態では、ＬＦディスプレイモジュール３００Ａは、エネルギーリレー層３２０を含まない。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散されることができる。
エネルギーデバイス層３１０は、エネルギーデバイス層２２０の一実施形態である。エネルギーデバイス層３１０は、４つのエネルギーデバイス３４０を含む（図では３つが見える）。エネルギーデバイス３４０は、すべてが同じタイプ（例えば、すべてが電子ディスプレイ）であってもよいか、または１つ以上の異なるタイプを含んでもよい（例えば、電子ディスプレイおよび少なくとも１つの音響エネルギーデバイスを含む）。
エネルギーリレー層３２０は、エネルギーリレー層２３０の一実施形態である。エネルギーリレー層３２０は、４つのエネルギーリレーデバイス３５０を含む（図では３つが見える）。エネルギーリレーデバイス３５０は、すべてが同じタイプのエネルギー（例えば、光）を中継し得るか、または１つ以上の異なるタイプ（例えば、光および音）を中継し得る。リレーデバイス３５０の各々は、第１の表面および第２の表面を含み、エネルギーリレーデバイス３５０の第２の表面は、単一のシームレスなエネルギー面３６０を形成するように配置される。例示的な実施形態では、エネルギーリレーデバイス３５０の各々は、第１の表面が第２の表面よりも小さい表面積を有するようにテーパー状になっており、これにより、テーパーの小さい方の端にエネルギーデバイス３４０の機械的エンベロープを収容することが可能になる。これにより、エリア全体がエネルギーを投影し得るため、シームレスなエネルギー面が無境界であることが可能になる。これは、ＬＦディスプレイモジュール３００Ａの複数の実例を、デッドスペースまたはベゼルなしに一緒に配置することによって、組み合わされた表面全体がシームレスであるように、このシームレスなエネルギー面がタイル張りされ得ることを意味する。他の実施形態では、第１の表面および第２の表面は同じ表面積を有する。
エネルギー導波路層３３０は、エネルギー導波路層２４０の一実施形態である。エネルギー導波路層３３０は、複数の導波路要素３７０を含む。図２に関して上で考察されるように、エネルギー導波路層３３０は、ホログラフィックオブジェクトを形成するために、４Ｄライトフィールド関数に従って、エネルギーをシームレスなエネルギー面３６０から特定の伝搬経路に沿って指向するように構成されている。例示的な実施形態では、エネルギー導波路層３３０はフレーム３９０によって境界されることに留意されたい。他の実施形態では、フレーム３９０は存在しない、および／またはフレーム３９０の厚さが低減されている。フレーム３９０の厚さの除去または低減は、ＬＦディスプレイモジュール３００Ａと追加のＬＦディスプレイモジュールとのタイル張りを容易にし得る。
例示的な実施形態では、シームレスなエネルギー面３６０およびエネルギー導波路層３３０は平面であることに留意されたい。図示されてない代替の実施形態では、シームレスなエネルギー面３６０およびエネルギー導波路層３３０は、１つ以上の次元で湾曲していてよい。
ＬＦディスプレイモジュール３００Ａは、シームレスなエネルギー面の表面上に存在する追加のエネルギー源を有して構成され得、ライトフィールドに加えてエネルギーフィールドの投影を可能にする。一実施形態では、音響エネルギーフィールドが、シームレスなエネルギー面３６０上の任意の数の位置に取り付けられた静電スピーカ（例示せず）から投影され得る。さらに、ＬＦディスプレイモジュール３００Ａの静電スピーカは、デュアルエネルギー面がサウンドフィールドおよびホログラフィックコンテンツを同時に投影するように、ライトフィールドディスプレイモジュール３００Ａ内に位置付けられる。例えば、静電スピーカは、電磁エネルギーのいくつかの波長に対して透過性であり、１つ以上の導電性要素（例えば、１つ以上のダイアフラム要素を挟む平面）を用いて駆動される１つ以上のダイアフラム要素で形成され得る。静電スピーカは、ダイアフラム要素が導波路要素のうちのいくつかを覆うように、シームレスなエネルギー面３６０に装着され得る。スピーカの導電性電極は、電磁導波路間の光透過を抑制するように設計された構造体と併置されてよく、かつ／または電磁導波路要素間の位置（例えば、フレーム３９０）に位置してよい。様々な構成において、スピーカは、可聴音、および／または触覚表面を生み出す集束超音波エネルギーの多くのソースを投影することができる。
いくつかの構成では、エネルギーデバイス３４０は、エネルギーを感知し得る。例えば、エネルギーデバイスは、マイクロフォン、光センサ、音響トランスデューサなどであり得る。したがって、エネルギーリレーデバイスは、シームレスなエネルギー面３６０からエネルギーデバイス層３１０にエネルギーを中継することもできる。すなわち、ＬＦディスプレイモジュールのシームレスなエネルギー面３６０は、エネルギーデバイスおよびエネルギーリレーデバイス３４０が、エネルギーを放出すると同時に感知する（例えば、ライトフィールドを放出し、音を感知する）ように構成されるとき、双方向エネルギー面を形成する。
より広義には、ＬＦディスプレイモジュール３４０のエネルギーデバイス３４０は、エネルギー源またはエネルギーセンサのいずれかであり得る。ＬＦディスプレイモジュール３００Ａは、高品質のホログラフィックコンテンツのユーザへの投影を容易にするために、エネルギー源および／またはエネルギーセンサとして機能する様々なタイプのエネルギーデバイスを含み得る。他のソースおよび／またはセンサとしては、サーマルセンサまたはソース、赤外線センサまたはソース、画像センサまたはソース、音響エネルギーを生成する機械的エネルギートランスデューサ、フィードバックソースなどが挙げられる。多くの他のセンサまたはソースが可能である。さらに、ＬＦディスプレイモジュールが、大きな集合体のシームレスなエネルギー面から複数のタイプのエネルギーを投影および感知するアセンブリを形成し得るように、ＬＦディスプレイモジュールはタイル張りされ得る。
ＬＦディスプレイモジュール３００Ａの様々な実施形態では、シームレスなエネルギー面３６０は、各表面部分が特定のタイプのエネルギーを投影および／または放出するように構成されている様々な表面部分を有し得る。例えば、シームレスなエネルギー面がデュアルエネルギー面である場合、シームレスなエネルギー面３６０は、電磁エネルギーを投影する１つ以上の表面部分と、超音波エネルギーを投影する１つ以上の他の表面部分と、を含む。超音波エネルギーを投影する表面部分は、電磁導波路要素間のシームレスなエネルギー面３６０上に位置し得、かつ／または電磁導波路要素間の光透過を抑制するように設計された構造体と併置され得る。シームレスなエネルギー面が双方向エネルギー面である例では、エネルギーリレー層３２０は、シームレスなエネルギー面３６０でインターリーブされた２つのタイプのエネルギーリレーデバイスを含み得る。様々な実施形態では、シームレスなエネルギー面３６０は、任意の特定の導波路要素３７０の下の表面の部分が、すべてエネルギー源、すべてエネルギーセンサ、またはエネルギー源およびエネルギーセンサの混在であるように構成され得る。
図３Ｂは、１つ以上の実施形態による、インターリーブされたエネルギーリレーデバイスを含むＬＦディスプレイモジュール３００Ｂの断面図である。エネルギーリレーデバイス３５０Ａは、エネルギーデバイス３４０Ａに接続されたエネルギーリレーの第１の表面３４５Ａとシームレスなエネルギー面３６０との間でエネルギーを輸送する。エネルギーリレー３５０Ｂは、エネルギーデバイス３４０Ｂに接続されたエネルギーリレーの第１の表面３４５Ｂとシームレスなエネルギー面３６０との間でエネルギーを輸送する。両方のリレーデバイスは、シームレスなエネルギー面３６０に接続されたインターリーブされたエネルギーリレーデバイス３５２においてインターリーブされている。この構成では、表面３６０は、エネルギー源またはエネルギーセンサであり得るエネルギーデバイス３４０Ａおよび３４０Ｂの両方のインターリーブされたエネルギー場所を含む。したがって、ＬＦディスプレイモジュール３００Ｂは、２つ以上のタイプのエネルギーを投影するためのデュアルエネルギー投影デバイスとして、またはあるタイプのエネルギーを投影することと、別のタイプのエネルギーを感知することとを同時に行うための双方向エネルギーデバイスとしてのいずれかに構成され得る。ＬＦディスプレイモジュール３００Ｂは、ＬＦディスプレイモジュール１１０および／またはＬＦディスプレイモジュール２１０であり得る。他の実施形態では、ＬＦディスプレイモジュール３００Ｂは、何らかの他のＬＦディスプレイモジュールであり得る。
ＬＦディスプレイモジュール３００Ｂは、図３ＡのＬＦディスプレイモジュール３００Ａのものと同様に構成されている多くの構成要素を含む。例えば、例示的な実施形態では、ＬＦディスプレイモジュール３００Ｂは、図３Ａに関して説明したものと少なくとも同じ機能を含むエネルギーデバイス層３１０、エネルギーリレー層３２０、シームレスなエネルギー面３６０、およびエネルギー導波路層３３０を含む。追加的に、ＬＦディスプレイモジュール３００Ｂは、表示面３６５からエネルギーを提示および／または受け取ることができる。特に、ＬＦディスプレイモジュール３００Ｂの構成要素は、代替的に、図３ＡのＬＦディスプレイモジュール３００Ａの構成要素とは異なって接続および／または配向されている。ＬＦディスプレイモジュール３００Ｂのいくつかの実施形態は、本明細書で説明されるものとは異なる構成要素を有する。同様に、機能は、本明細書の記載とは異なる方法で構成要素間に分散され得る。図３Ｂは、より大きな面積を有するデュアルエネルギー投影表面または双方向エネルギー面を生み出すためにタイル張りされ得る単一のＬＦディスプレイモジュール３００Ｂの設計を例示する。
一実施形態では、ＬＦディスプレイモジュール３００Ｂは、双方向ＬＦディスプレイシステムのＬＦディスプレイモジュールである。双方向ＬＦディスプレイシステムは、エネルギーを投影し、それと同時に表示面３６５からエネルギーを感知し得る。シームレスなエネルギー面３６０は、シームレスなエネルギー面３６０上で密接にインターリーブされたエネルギー投影場所およびエネルギー感知場所の両方を含む。したがって、図３Ｂの例では、エネルギーリレー層３２０は、図３Ａのエネルギーリレー層とは異なる様式で構成されている。便宜上、ＬＦディスプレイモジュール３００Ｂのエネルギーリレー層は、本明細書では「インターリーブエネルギーリレー層」と称される。
インターリーブされたエネルギーリレー層３２０は、第１のエネルギーリレーデバイス３５０Ａと第２のエネルギーリレーデバイス３５０Ｂとの２つの脚部を含む。脚部の各々は、図３Ｂで薄い陰影のエリアとして例示されている。脚部の各々は、可撓性のリレー材料で作製され、様々なサイズおよび形状のエネルギーデバイスで使用するのに十分な長さで形成され得る。インターリーブされたエネルギーリレー層のいくつかの領域では、２つの脚部は、シームレスなエネルギー面３６０に近づくにつれて、一緒に緊密にインターリーブされる。例示的な例では、インターリーブされたエネルギーリレーデバイス３５２は、暗い陰影のエリアとして例示されている。
シームレスなエネルギー面３６０でインターリーブされる一方、エネルギーリレーデバイスは、異なるエネルギーデバイスとの間でエネルギーを中継するように構成される。エネルギーデバイスは、エネルギーデバイス層３１０にある。例示のように、エネルギーデバイス３４０Ａは、エネルギーリレーデバイス３５０Ａに接続され、エネルギーデバイス３４０Ｂは、エネルギーリレーデバイス３５０Ｂに接続されている。様々な実施形態では、各エネルギーデバイスは、エネルギー源またはエネルギーセンサであり得る。
エネルギー導波路層３３０は、エネルギー波をシームレスなエネルギー面３６０から、投影された経路に沿って、一連の収束点に向かってガイドするための導波路要素３７０を含む。この例では、ホログラフィックオブジェクト３８０が、一連の収束点に形成される。特に、例示のように、ホログラフィックオブジェクト３８０でのエネルギーの収束は、表示面３６５の視聴者側（すなわち、前側）で発生する。しかしながら、他の例では、エネルギーの収束は、表示面３６５の前および表示面３６５の後ろの両方に延在するホログラフィックオブジェクトボリューム内のどこであってもよい。導波路要素３７０は、以下に説明するように、入ってくるエネルギーをエネルギーデバイス（例えば、エネルギーセンサ）に同時にガイドすることができる。
ＬＦディスプレイモジュール３００Ｂの例示的な一実施形態では、発光ディスプレイがエネルギー源（例えば、エネルギーデバイス３４０Ａ）として使用され、画像センサがエネルギーセンサ（例えば、エネルギーデバイス３４０Ｂ）として使用される。このように、ＬＦディスプレイモジュール３００Ｂは、同時に、ホログラフィックコンテンツを投影し、表示面３６５の前のボリュームからの光を検出することができる。このように、ＬＦディスプレイモジュール３００Ｂのこの実施形態は、ＬＦディスプレイおよびＬＦセンサの両方として機能する。
一実施形態では、ＬＦディスプレイモジュール３００Ｂは、同時に、ライトフィールドを表示面上の投影位置から表示面の前に投影し、投影位置で、表示面の前からのライトフィールドをキャプチャするように構成される。この実施形態では、エネルギーリレーデバイス３５０Ａは、導波路要素３７０の下に位置付けられたシームレスなエネルギー面３６０における位置の第１のセットをエネルギーデバイス３４０Ａに接続する。一例では、エネルギーデバイス３４０Ａは、ソースピクセルのアレイを有する発光ディスプレイである。エネルギーリレーデバイス３４０Ｂは、導波路要素３７０の下に位置付けられたシームレスなエネルギー面３６０における場所の第２のセットをエネルギーデバイス３４０Ｂに接続する。一例では、エネルギーデバイス３４０Ｂは、センサピクセルのアレイを有する画像センサである。ＬＦディスプレイモジュール３００Ｂは、特定の導波路要素３７０の下にあるシームレスなエネルギー面３６５における場所が、すべて発光ディスプレイ場所、すべて画像センサ場所、またはこれらの場所の何らかの組み合わせであるように構成され得る。他の実施形態では、双方向のエネルギー面は、様々な他の形態のエネルギーを投影および受信することができる。
ＬＦディスプレイモジュール３００Ｂの別の例示的な実施形態では、ＬＦディスプレイモジュールは、２つの異なるタイプのエネルギーを投影するように構成される。例えば、一実施形態では、エネルギーデバイス３４０Ａは、電磁エネルギーを放出するように構成された発光ディスプレイであり、エネルギーデバイス３４０Ｂは、機械的エネルギーを放出するように構成された超音波トランスデューサである。そのため、光および音の両方が、シームレスなエネルギー面３６０における様々な位置から投影され得る。この構成では、エネルギーリレーデバイス３５０Ａは、エネルギーデバイス３４０Ａをシームレスなエネルギー面３６０に接続し、電磁エネルギーを中継する。エネルギーリレーデバイスは、電磁エネルギーの輸送を効率的にする（例えば、屈折率を変化させる）特性を有するように構成される。エネルギーリレーデバイス３５０Ｂは、エネルギーデバイス３４０Ｂをシームレスなエネルギー面３６０に接続し、機械的エネルギーを中継する。エネルギーリレーデバイス３５０Ｂは、超音波エネルギーの効率的な輸送のための特性を有するように構成される（例えば、異なる音響インピーダンスを有する材料の配分）。いくつかの実施形態では、機械的エネルギーは、エネルギー導波路層３３０上の導波路要素３７０間の場所から投影され得る。機械的エネルギーを投影する場所は、光が一方の電磁導波路要素から他方に輸送されるのを抑制する役割を果たす構造体を形成し得る。一例では、超音波の機械的エネルギーを投影する場所の空間的に分離されたアレイは、３次元触覚形状および表面を空中に作成するように構成することができる。表面は、投影されたホログラフィックオブジェクト（例えば、ホログラフィックオブジェクト３８０）と一致し得る。いくつかの例では、アレイにわたる位相の遅延および振幅の変化は、触覚形状の作成を支援し得る。
様々な実施形態では、インターリーブされたエネルギーリレーデバイスを有するＬＦディスプレイモジュール３００Ｂは、各エネルギーデバイス層が特定のタイプのエネルギーデバイスを含んだ、複数のエネルギーデバイス層を含み得る。これらの例では、エネルギーリレー層は、シームレスなエネルギー面３６０とエネルギーデバイス層３１０との間で適切なタイプのエネルギーを中継するように構成される。
タイル張りされたＬＦディスプレイモジュール
図４Ａは、１つ以上の実施形態による、単一面シームレス表面環境を形成するために、二次元にタイル張りされたＬＦディスプレイシステム４００の一部の斜視図である。ＬＦディスプレイシステム４００は、アレイ４１０を形成するようにタイル張りされた複数のＬＦディスプレイモジュールを含む。より明確には、アレイ４１０内の小さな正方形の各々が、タイル張りされたＬＦディスプレイモジュール４１２を表す。ＬＦディスプレイモジュール４１２は、ＬＦディスプレイモジュール３００Ａまたは３００Ｂと同じであり得る。アレイ４１０は、例えば、部屋の表面（例えば、壁）の一部またはすべてを覆うことができる。ＬＦアレイは、例えば、テーブルトップ、広告版、ロタンダなどの他の表面を覆うことができる。
アレイ４１０は、１つ以上のホログラフィックオブジェクトを投影し得る。例えば、例示的な実施形態では、アレイ４１０は、ホログラフィックオブジェクト４２０およびホログラフィックオブジェクト４２２を投影する。ＬＦディスプレイモジュール４１２のタイル張りは、はるかに大きな視聴ボリュームを可能にするだけでなく、オブジェクトがアレイ４１０からより遠くに投影されることを可能にする。例えば、例示的な実施形態では、視聴ボリュームは、ＬＦディスプレイモジュール４１２の前（および後ろ）の局所的なボリュームではなく、アレイ４１０の前および後ろのほぼ全エリアである。
いくつかの実施形態では、ＬＦディスプレイシステム４００は、ホログラフィックオブジェクト４２０を視聴者４３０および視聴者４３４に提示する。視聴者４３０および視聴者４３４は、異なる視点のホログラフィックオブジェクト４２０を受信する。例えば、視聴者４３０は、ホログラフィックオブジェクト４２０の真っ直ぐなビューを提示される一方、視聴者４３４は、ホログラフィックオブジェクト４２０のより斜めのビューを提示される。視聴者４３０および／または視聴者４３４が移動すると、これらの視聴者は、異なる視点のホログラフィックオブジェクト４２０を提示される。これにより、視聴者は、ホログラフィックオブジェクトに対して移動することにより、ホログラフィックオブジェクトと視覚的にインタラクションすることが可能になる。例えば、視聴者４３０がホログラフィックオブジェクト４２０の周りを歩くとき、ホログラフィックオブジェクト４２０がアレイ４１０のホログラフィックオブジェクトボリューム内に留まっている限り、視聴者４３０は、ホログラフィックオブジェクト４２０の異なる側面を見る。したがって、視聴者４３０および視聴者４３４は、あたかもホログラフィックオブジェクト４２０が実際にそこにあるかのように、実世界空間にホログラフィックオブジェクト４２０を同時に見ることができる。追加的に、ホログラフィックオブジェクト４２０は、物理的オブジェクトが見えるのとほぼ同じように視聴者に見えるので、視聴者４３０および視聴者４３４は、ホログラフィックオブジェクト４２０を見るために外部デバイスを装着する必要はない。追加的に、ここでは、アレイの視聴ボリュームがアレイの表面の後ろに延在するため、ホログラフィックオブジェクト４２２が、アレイの後ろに例示されている。このように、ホログラフィックオブジェクト４２２は、視聴者４３０および／または視聴者４３４に提示され得る。
いくつかの実施形態では、ＬＦディスプレイシステム４００は、視聴者４３０および視聴者４３４の位置を追跡する追跡システムを含み得る。いくつかの実施形態では、追跡される位置は、視聴者の位置である。他の実施形態では、追跡される位置は、視聴者の目の位置である。目の位置追跡は、目がどこを見ているかを追跡する（例えば、配向を使用して視線場所を判定する）視線追跡とは異なる。視聴者４３０の目および視聴者４３４の目は、異なる場所にある。
様々な構成では、ＬＦディスプレイシステム４００は、１つ以上の追跡システムを含み得る。例えば、図４Ａの例示的な実施形態では、ＬＦディスプレイシステムは、アレイ４１０の外部にある追跡システム４４０を含む。ここで、追跡システムは、アレイ４１０に結合されたカメラシステムであり得る。外部追跡システムは、図５Ａに関してより詳細に説明される。他の例示的な実施形態では、追跡システムは、本明細書に記載されるように、アレイ４１０に組み込まれ得る。例えば、アレイ４１０に含まれる双方向エネルギー面を含む１つ以上のＬＦディスプレイモジュール４１２のエネルギーデバイス（例えば、エネルギーデバイス３４０）は、アレイ４１０の前の視聴者の画像をキャプチャするように構成され得る。いずれの場合でも、ＬＦディスプレイシステム４００の追跡システムは、アレイ４１０によって提示されたホログラフィックコンテンツを見ている視聴者（例えば、視聴者４３０および／または視聴者４３４）に関する追跡情報を判定する。
追跡情報は、視聴者の位置、または視聴者の一部の位置（例えば、視聴者の片方または両方の目、もしくは視聴者の四肢）の空間内の（例えば、追跡システムに対する）位置を表す。追跡システムは、追跡情報を判定するために、任意の数の深度判定技術を使用し得る。深度判定技術は、例えば、構造化光、飛行時間、ステレオ撮像、何らかの他の深度判定技術、またはそれらの何らかの組み合わせを含み得る。追跡システムは、追跡情報を判定するように構成されている様々なシステムを含み得る。例えば、追跡システムは、１つ以上の赤外線源（例えば、構造化光源）、赤外線で画像をキャプチャすることができる１つ以上の画像センサ（例えば、赤－青－緑－赤外線カメラ）、および追跡アルゴリズムを実行するプロセッサを含み得る。追跡システムは、深度推定技術を使用して、視聴者の位置を判定し得る。いくつかの実施形態では、ＬＦディスプレイシステム４００は、本明細書で説明するように、視聴者４３０および／または視聴者４３４の追跡された位置、動作、またはジェスチャに基づいて、ホログラフィックオブジェクトを生成する。例えば、ＬＦディスプレイシステム４００は、アレイ４１０の閾値距離および／または特定の位置内に来る視聴者に応答して、ホログラフィックオブジェクトを生成し得る。
ＬＦディスプレイシステム４００は、追跡情報に部分的に基づいて、各視聴者に合わせてカスタマイズされた１つ以上のホログラフィックオブジェクトを提示し得る。例えば、視聴者４３０は、ホログラフィックオブジェクト４２０を提示され得るが、ホログラフィックオブジェクト４２２は提示され得ない。同様に、視聴者４３４は、ホログラフィックオブジェクト４２２を提示され得るが、ホログラフィックオブジェクト４２０は提示され得ない。例えば、ＬＦディスプレイシステム４００は、視聴者４３０および視聴者４３４の各々の位置を追跡する。ＬＦディスプレイシステム４００は、ホログラフィックオブジェクトが提示されるべき場所に対する視聴者の位置に基づいて、視聴者に見えるべきホログラフィックオブジェクトの視点を判定する。ＬＦディスプレイシステム４００は、判定された視点に対応する特定のピクセルから光を選択的に投影する。したがって、視聴者４３４および視聴者４３０は、潜在的に完全に異なる体験を同時に有することができる。言い換えれば、ＬＦディスプレイシステム４００は、ホログラフィックコンテンツを、視聴ボリュームの視聴サブボリューム（すなわち、図２Ｂに示される視聴サブボリューム２９０Ａ、２９０Ｂ、２９０Ｃ、および２９０Ｄと同様の）に提示し得る。例えば、例示のように、ＬＦディスプレイシステム４００は、視聴者４３０の位置を追跡できるので、ＬＦディスプレイシステム４００は、スペースコンテンツ（例えば、ホログラフィックオブジェクト４２０）を、視聴者４３０を取り囲む視聴サブボリュームに、およびサファリコンテンツ（例えば、ホログラフィックオブジェクト４２２）を、視聴者４３４を取り囲む視聴サブボリュームに提示し得る。対照的に、従来のシステムは、同様の体験を提供するために、個々のヘッドセットを使用しなければならないであろう。
いくつかの実施形態では、ＬＦディスプレイシステム４００は、１つ以上の感覚フィードバックシステムを含み得る。感覚フィードバックシステムは、ホログラフィックオブジェクト４２０および４２２を拡張する他の感覚刺激（例えば、触覚、音声、または匂い）を提供する。例えば、図４Ａの例示的な実施形態では、ＬＦディスプレイシステム４００は、アレイ４１０の外部の感覚フィードバックシステム４４２を含む。一例では、感覚フィードバックシステム４４２は、アレイ４１０に結合された静電スピーカであり得る。外部感覚フィードバックシステムは、図５Ａに関してより詳細に説明される。他の例示的な実施形態では、感覚フィードバックシステムは、本明細書に記載されるように、アレイ４１０に組み込まれ得る。例えば、アレイ４１０に含まれるＬＦディスプレイモジュール４１２のエネルギーデバイス（例えば、図３Ｂのエネルギーデバイス３４０Ａ）は、超音波エネルギーをアレイの前の視聴者に投影し、かつ／またはアレイの前の視聴者から画像情報を受信するように構成され得る。いずれの場合でも、感覚フィードバックシステムは、感覚コンテンツを、アレイ４１０によって提示されるホログラフィックコンテンツ（例えば、ホログラフィックオブジェクト４２０および／またはホログラフィックオブジェクト４２２）を見ている視聴者（例えば、視聴者４３０および／または視聴者４３４）に提示し、および／または視聴者から受信する。
ＬＦディスプレイシステム４００は、アレイの外部の１つ以上の音響投影デバイスを含む感覚フィードバックシステム４４２を含み得る。代替的または追加的に、ＬＦディスプレイシステム４００は、本明細書で説明されるように、アレイ４１０に統合された１つ以上の音響投影デバイスを含み得る。音響投影デバイスは、体積触覚表面を投影するように構成された超音波源のアレイからなり得る。いくつかの実施形態では、触覚表面は、視聴者の一部が１つ以上の表面の閾値距離内に入る場合、ホログラフィックオブジェクトの１つ以上の表面の（例えば、ホログラフィックオブジェクト４２０の表面における）ホログラフィックオブジェクトと一致し得る。体積触覚は、ユーザがホログラフィックオブジェクトの表面をタッチして感じることを可能にし得る。複数の音響投影デバイスは、視聴者に音声コンテンツ（例えば、没入型オーディオ）を提供する可聴圧力波を投影し得る。したがって、超音波圧力波および／または可聴圧力波は、ホログラフィックオブジェクトを補完する役割を果たすことができる。
様々な実施形態では、ＬＦディスプレイシステム４００は、視聴者の追跡された位置に部分的に基づいて、他の感覚刺激を提供し得る。例えば、図４Ａに例示されるホログラフィックオブジェクト４２２はライオンであり、ＬＦディスプレイシステム４００は、ホログラフィックオブジェクト４２２を視覚的（すなわち、ホログラフィックオブジェクト４２２が咆哮するように見える）および聴覚的（すなわち、１つ以上の音響投影デバイスが、ライオンの咆哮がホログラフィックオブジェクト４２２から発せられているように視聴者４３０が知覚する圧力波を投影する）の両方で咆哮させることができる。
例示的な構成では、ホログラフィック視聴ボリュームは、図２のＬＦディスプレイシステム２００の視聴ボリューム２８５と同様の方法で制限され得ることに留意されたい。これは、視聴者が単一のウォールディスプレイユニットで体験するであろう知覚される没入感の量を制限する可能性がある。これに対処する１つの方法が、図４Ｂ～図４Ｆに関して以下に説明するように、複数の側面に沿ってタイル張りされた複数のＬＦディスプレイモジュールを使用することである。
図４Ｂは、１つ以上の実施形態による、多面シームレス表面環境におけるＬＦディスプレイシステム４０２の一部分の斜視図である。ＬＦディスプレイシステム４０２は、複数のＬＦディスプレイモジュールがタイル張りされて多面シームレス表面環境を作成することを除いて、ＬＦディスプレイシステム４００と実質的に同様である。より具体的には、ＬＦディスプレイモジュールは、６面集合シームレス表面環境であるアレイを形成するようにタイル張りされている。図４Ｂでは、複数のＬＦディスプレイモジュールが、部屋のすべての壁、天井、および床を覆っている。他の実施形態では、複数のＬＦディスプレイモジュールは、壁、床、天井、またはそれらの何らかの組み合わせのすべてではないが、一部を覆い得る。他の実施形態では、複数のＬＦディスプレイモジュールがタイル張りされて、何らかの他の集合シームレス表面を形成する。例えば、壁は、円筒形の集合エネルギー環境が形成されるように湾曲され得る。さらに、図６～図９に関して以下に説明するように、いくつかの実施形態では、ＬＦディスプレイモジュールは、プレゼンテーション空間内の表面（例えば、壁など）を形成するようにタイル張りされ得る。
ＬＦディスプレイシステム４０２は、１つ以上のホログラフィックオブジェクトを投影し得る。例えば、例示的な実施形態では、ＬＦディスプレイシステム４０２は、ホログラフィックオブジェクト４２０を、６面集合シームレス表面環境によって囲まれたエリアに投影する。この例では、ＬＦディスプレイシステムの視聴ボリュームも、６面集合シームレス表面環境内に含まれる。例示的な構成では、視聴者４３４は、ホログラフィックオブジェクト４２０と、ホログラフィックオブジェクト４２０を形成するために使用されるエネルギー（例えば、光および／または圧力波）を投影しているＬＦディスプレイモジュール４１４との間に位置付けられ得ることに留意されたい。したがって、視聴者４３４の位置付けは、視聴者４３０が、ＬＦディスプレイモジュール４１４からのエネルギーから形成されるホログラフィックオブジェクト４２０を知覚することを妨げる可能性がある。しかしながら、例示的な構成では、（例えば、視聴者４３４によって）遮られず、エネルギーを投影してホログラフィックオブジェクト４２０を形成し、視聴者４３０によって観察され得る、例えば、ＬＦディスプレイモジュール４１６などの少なくとも１つの他のＬＦディスプレイモジュールが存在する。このように、空間内の視聴者による閉塞により、ホログラフィック投影の一部が見えなくなる可能性があるが、この影響は、ボリュームの一面にのみホログラフィックディスプレイパネルが存在する場合よりもはるかに小さい。ホログラフィックオブジェクト４２２は、ホログラフィックオブジェクトボリュームが集合表面の後ろに延在するため、６面集合シームレス表面環境の壁の「外側」に例示されている。したがって、視聴者４３０および／または視聴者４３４は、ホログラフィックオブジェクト４２２を、視聴者が全体にわたって移動することができる囲まれた６面環境の「外側」として知覚することができる。
図４Ａを参照して前述したように、いくつかの実施形態では、ＬＦディスプレイシステム４０２は、視聴者の位置を能動的に追跡し、追跡された位置に基づいてホログラフィックコンテンツを提示するように、異なるＬＦディスプレイモジュールに動的に命令し得る。したがって、多面構成は、制約のない視聴者が、多面シームレス表面環境によって囲まれたエリア全体を自由に移動する、ホログラフィックオブジェクトを提供するための（例えば、図４Ａと比べて）より堅牢な環境を提供することができる。
特に、様々なＬＦディスプレイシステムが、異なる構成を有し得る。さらに、各構成は、全体でシームレスな表示面（「集合表面」）を形成する表面の特定の配向を有し得る。すなわち、ＬＦディスプレイシステムのＬＦディスプレイモジュールは、タイル張りされて様々な集合表面を形成することができる。例えば、図４Ｂでは、ＬＦディスプレイシステム４０２は、部屋の壁に近似する６面集合表面を形成するようにタイル張りされたＬＦディスプレイモジュールを含む。いくつかの他の例では、集合表面は、全表面（例えば、壁全体）ではなく、表面の一部（例えば、壁の半分）でのみ発生し得る。いくつかの例が本明細書に記載されている。
いくつかの構成では、ＬＦディスプレイシステムの集合表面は、局部的な視聴ボリュームに向けてエネルギーを投影するように構成された集合表面を含み得る。局部的な視聴ボリュームにエネルギーを投影することは、例えば、特定の視聴ボリューム内の投影エネルギーの密度を上げ、そのボリューム内の視聴者のＦＯＶを広げ、視聴ボリュームを表示面に近づけることにより、より高品質の視聴体験を可能にする。
例えば、図４Ｃは、「ウィング型」構成の集合表面を有するＬＦディスプレイシステム４５０Ａの上面図を示す。この例では、ＬＦディスプレイシステム４５０Ａは、前壁４５２、後壁４５４、第１の側壁４５６、第２の側壁４５８、天井（図示せず）、および床（図示せず）を有する部屋内に位置している。第１の側壁４５６、第２の側壁４５８、後壁４５４、床、および天井は、すべて直交している。ＬＦディスプレイシステム４５０Ａは、前壁を覆う集合表面４６０を形成するようにタイル張りされたＬＦディスプレイモジュールを含む。前壁４５２、したがって集合表面４６０は、３つの部分、すなわち、（ｉ）後壁４５４とほぼ平行な第１の部分４６２（すなわち、中央表面）、（ｉｉ）第１の部分４６２を第１の側面４５６に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第２の部分４６４（すなわち、第１の側表面）、および（ｉｉｉ）第１の部分４６２を第２の側面４５８に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第３の部分４６６（すなわち、第２の側表面）を含む。第１の部分は、部屋内の垂直平面であり、水平および垂直軸を有する。第２および第３の部分は、水平軸に沿って部屋の中心に向かって角度が付いている。
この例では、ＬＦディスプレイシステム４５０Ａの視聴ボリューム４６８Ａは、部屋の中央にあり、集合表面４６０の３つの部分によって部分的に囲まれている。視聴者を少なくとも部分的に囲む集合表面（「周囲表面」）は、視聴者の没入型体験を増大する。
例示のために、例えば、中央表面のみを有する集合表面を考慮する。図２Ａを参照すると、表示面のいずれかの端から投影される光線は、上記のように理想的なホログラフィックボリュームおよび理想的な視聴ボリュームを作成する。ここで、例えば、中央表面が、視聴者に向かって角度の付いた２つの側表面を含んだ場合を考慮する。この場合、光線２５６および光線２５７は、中央表面の法線からより大きな角度で投影されるであろう。したがって、視聴ボリュームの視野が拡大するであろう。同様に、ホログラフィック視聴ボリュームは、表示面により近くなるであろう。追加的に、第２および第３の２つの部分が視聴ボリュームのより近くで傾斜しているため、表示面から一定の距離で投影されるホログラフィックオブジェクトは、その視聴ボリュームにより近い。
簡単に言えば、中央表面のみを有する表示面は、平面視野、（中央の）表示面と視聴ボリュームとの間の平面閾値分離、およびホログラフィックオブジェクトと視聴ボリュームとの間の平面近接度を有する。視聴者に向かって角度の付いた１つ以上の側表面を追加すると、平面視野に対して視野が拡大し、表示面と視聴ボリュームとの間の分離が平面分離に対して減少し、表示面とホログラフィックオブジェクトとの間の近接度が、平面近接度に対して増大する。側表面を視聴者に向けてさらに角度を付けると、さらに視野が拡大し、分離が減少し、近接度が増大する。言い換えれば、側表面の角度の付いた配置は、視聴者の没入型体験を増大する。
追加的に、図６に関して以下に説明するように、偏向光学系を使用して、ＬＦ表示パラメータ（例えば、寸法およびＦＯＶ）の視聴ボリュームのサイズおよび位置を最適化し得る。
図４Ｄに戻ると、同様の例では、図４Ｄは、「スロープ」構成の集合表面を有するＬＦディスプレイシステム４５０Ｂの上面図を示す。この例では、ＬＦディスプレイシステム４５０Ｂは、前壁４５２、後壁４５４、第１の側壁（図示せず）、第２の側壁（図示せず）、天井４７２、および床４７４を有する部屋内に位置している。第１の側壁、第２の側壁、後壁４５４、床４７４、および天井４７２は、すべて直交している。ＬＦディスプレイシステム４５０Ｂは、前壁を覆う集合表面４６０を形成するようにタイル張りされたＬＦディスプレイモジュールを含む。前壁４５２、したがって集合表面４６０は、３つの部分、すなわち、（ｉ）後壁４５４とほぼ平行な第１の部分４６２（すなわち、中央表面）、（ｉｉ）第１の部分４６２を天井４７２に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第２の部分４６４（すなわち、第１の側表面）、および（ｉｉｉ）第１の部分４６２を床４７４に接続し、部屋の中心に向かってエネルギーを投影するように角度が付いた第３の部分４６４（すなわち、第２の側表面）を含む。第１の部分は、部屋内の垂直平面であり、水平および垂直軸を有する。第２および第３の部分は、垂直軸に沿って部屋の中心に向かって角度が付いている。
この例では、ＬＦディスプレイシステム４５０Ｂの視聴ボリューム４６８Ｂは、部屋の中央にあり、集合表面４６０の３つの部分によって部分的に囲まれている。図４Ｃに示される構成と同様に、２つの側面部分（例えば、第２の部分４６４および第３の部分４６６）は、視聴者を囲んで、周囲表面を形成するように角度が付いている。周囲表面は、ホログラフィック視聴ボリューム４６８Ｂ内の任意の視聴者の視点からの視聴ＦＯＶを拡大する。追加的に、周囲表面は、投影されたオブジェクトがより近くに見えるように、視聴ボリューム４６８Ｂがディスプレイの表面により近くなることを可能にする。言い換えれば、側表面の角度の付いた配置は、視野を拡大し、分離を減少させ、集合表面の近接度を増大させ、それによって、視聴者の没入型体験を増大する。さらに、以下で考察するように、偏向光学系を使用して、視聴ボリューム４６８Ｂのサイズおよび位置を最適化し得る。
集合表面４６０の側面部分の傾斜構成は、第３の部分４６６が傾斜していない場合よりも、ホログラフィックコンテンツが視聴ボリューム４６８Ｂにより近く提示されることを可能にする。例えば、キャラクタが提示された形態の下肢（脚など）、傾斜構成のＬＦディスプレイシステムは、平坦な前壁を有するＬＦディスプレイシステムが使用された場合よりも近く、かつより現実的に思われる可能性がある。
追加的に、ＬＦディスプレイシステムの構成およびそれが位置している環境により、視聴ボリュームおよび視聴サブボリュームの形状および位置を知ることができる。
図４Ｅは、例えば、部屋の前壁４５２上に集合表面４６０を有するＬＦディスプレイシステム４５０Ｃの上面図を例示する。この例では、ＬＦディスプレイシステム４５０Ｄは、前壁４５２、後壁４５４、第１の側壁４５６、第２の側壁４５８、天井（図示せず）、および床（図示せず）を有する部屋内に位置している。
ＬＦディスプレイシステム４５０Ｃは、集合表面４６０から様々な光線を投影する。表示面の各位置から、視聴ボリュームを中心とした角度範囲で、光線が投影される。集合表面４６０の左側から投影される光線は水平角度範囲４８１を有し、集合表面の右側から投影される光線は水平角度範囲４８２を有し、集合表面４６０の中心から投影される光線は水平角度範囲４８３を有する。これらの点の間で、投影光線は、図６に関して以下に説明されるように、角度範囲の中間値を取ることができる。このように、表示面の全体で投影光線に傾斜した偏向角（ｇｒａｄｉｅｎｔ ｄｅｆｌｅｃｔｉｏｎ ａｎｇｌｅ）を有することにより、視聴ボリューム４６８Ｃが作成される。さらに、この構成は、側壁４５６および４５８に光線を投影する際のディスプレイの解像度の無駄を回避する。
図４Ｆは、部屋の前壁４５２上に集合表面４６０を有するＬＦディスプレイシステム４５０Ｄの側面図を例示する。この例では、ＬＦディスプレイシステム４５０Ｅは、前壁４５２、後壁４５４、第１の側壁（図示せず）、第２の側壁（図示せず）、天井４７２、および床４７４を有する部屋内に位置している。この例では、床は、前壁から後壁に移動するにつれて各段が階段状に高くなるように、段になっている。ここで、床の各段は、視聴サブボリューム（例えば、表示サブボリューム４７０Ａおよび４７０Ｂ）を含む。段状の床は、重複しない視聴サブボリュームを可能にする。すなわち、各視聴サブボリュームは、別の視聴サブボリュームを通過しない、視聴サブボリュームから集合表面４６０までの視線を有する。言い換えると、この配向は「スタジアム座席」効果を生み出し、段間の垂直オフセットにより遮るもののない視線が可能になり、各段が、他の段の視聴サブボリューム「越しに見る」ことが可能になる。重なり合わない視聴サブボリュームを含むＬＦディスプレイシステムは、重なり合う視聴ボリュームを有するＬＦディスプレイシステムよりも高品質の視聴体験を提供し得る。例えば、図４Ｆに示される構成では、異なるホログラフィックコンテンツが、視聴サブボリューム４７０Ａおよび４７０Ｂ内の聴衆に投影され得る。
ＬＦディスプレイシステムの制御
図５Ａは、１つ以上の実施形態による、ＬＦディスプレイシステム５００のブロック図である。ＬＦディスプレイシステム５００は、ＬＦディスプレイアセンブリ５１０およびコントローラ５２０を備える。ＬＦディスプレイアセンブリ５１０は、ライトフィールドを投影する１つ以上のＬＦディスプレイモジュール５１２を含む。ＬＦディスプレイモジュール５１２は、他のタイプのエネルギーを投影および／または感知する統合されたエネルギー源および／またはエネルギーセンサを含むソース／センサシステム５１４を含み得る。コントローラ５２０は、データストア５２２、ネットワークインターフェース５２４、およびＬＦ処理エンジン５３０を含む。コントローラ５２０はまた、追跡モジュール５２６、および視聴者プロファイリングモジュール５２８を含み得る。いくつかの実施形態では、ＬＦディスプレイシステム５００はまた、感覚フィードバックシステム５７０および追跡システム５８０を含む。図１、２、３、および４の文脈の中で説明されるＬＦディスプレイシステムは、ＬＦディスプレイシステム５００の実施形態である。他の実施形態では、ＬＦディスプレイシステム５００は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および／または異なるエンティティ間で分散され得る。ＬＦディスプレイシステム５００の用途についても、図６～図９に関して以下で詳細に考察する。
ＬＦディスプレイアセンブリ５１０は、視聴ボリューム内に位置する視聴者に見え得るホログラフィックオブジェクトボリューム内にホログラフィックコンテンツを提供する。ＬＦディスプレイアセンブリ５１０は、コントローラ５２０から受信された表示命令を実行することによって、ホログラフィックコンテンツを提供し得る。ホログラフィックコンテンツは、集合表面の前、ＬＦディスプレイアセンブリ５１０、ＬＦディスプレイアセンブリ５１０の集合表面の後ろ、またはそれらの何らかの組み合わせに投影される１つ以上のホログラフィックオブジェクトを含み得る。コントローラ５２０を用いた表示命令の生成について、以下でより詳細に説明する。
ＬＦディスプレイアセンブリ５１０は、ＬＦディスプレイアセンブリ５１０に含まれる１つ以上のＬＦディスプレイモジュール（例えば、ＬＦディスプレイモジュール１１０、ＬＦディスプレイシステム２００、およびＬＦディスプレイモジュール３００のいずれか）を使用してホログラフィックコンテンツを提供する。便宜上、１つ以上のＬＦディスプレイモジュールは、本明細書ではＬＦディスプレイモジュール５１２として説明されることがある。ＬＦディスプレイモジュール５１２は、タイル張りされて、ＬＦディスプレイアセンブリ５１０を形成することができる。ＬＦディスプレイモジュール５１２は、様々なシームレス表面環境（例えば、単一面、多面、プレゼンテーション空間の壁、曲面など）として構造化され得る。つまり、タイル張りされたＬＦディスプレイモジュールが集合表面を形成する。前述のように、ＬＦディスプレイモジュール５１２は、ホログラフィックコンテンツを提示する、エネルギーデバイス層（例えば、エネルギーデバイス層２２０）およびエネルギー導波路層（例えば、エネルギー導波路層２４０）を含む。ＬＦディスプレイモジュール５１２はまた、ホログラフィックコンテンツを提示するときに、エネルギーデバイス層とエネルギー導波路層との間でエネルギーを転送するエネルギーリレー層（例えば、エネルギーリレー層２３０）を含み得る。
ＬＦディスプレイモジュール５１２はまた、前述のように、エネルギー投影および／またはエネルギー感知のために構成されている他の統合システムを含み得る。例えば、ライトフィールドディスプレイモジュール５１２は、エネルギーを投影および／または感知するように構成されている任意の数のエネルギーデバイス（例えば、エネルギーデバイス３４０）を含み得る。便宜上、ＬＦディスプレイモジュール５１２の統合エネルギー投影システムおよび統合エネルギー感知システムは、本明細書では、総称してソース／センサシステム５１４として説明されることがある。ソース／センサシステム５１４は、ソース／センサシステム５１４が、ＬＦディスプレイモジュール５１２と同じシームレスなエネルギー面を共有するように、ＬＦディスプレイモジュール５１２内に統合されている。言い換えれば、ＬＦディスプレイアセンブリ５１０の集合表面は、ＬＦディスプレイモジュール５１２およびソース／センサモジュール５１４の両方の機能を含む。すなわち、ソース／センサシステム５１４を有するＬＦディスプレイモジュール５１２を含むＬＦアセンブリ５１０は、ライトフィールドを投影しながら、同時にエネルギーを投影し、かつ／またはエネルギーを感知し得る。例えば、ＬＦディスプレイアセンブリ５１０は、ＬＦディスプレイモジュール５１２と、前述のようにデュアルエネルギー面または双方向エネルギー面として構成されたソース／センサシステム５１４とを含み得る。
いくつかの実施形態では、ＬＦディスプレイシステム５００は、感覚フィードバックシステム５７０を使用して、生成されたホログラフィックコンテンツを他の感覚コンテンツ（例えば、調整されたタッチ、音声または匂いなど）で拡張する。感覚フィードバックシステム５７０は、コントローラ５２０から受信された表示命令を実行することによって、ホログラフィックコンテンツの投影を拡張し得る。一般に、感覚フィードバックシステム５７０は、ＬＦディスプレイアセンブリ５１０の外部の任意の数の感覚フィードバックデバイス（例えば、感覚フィードバックシステム４４２）を含む。いくつかの例示的な感覚フィードバックデバイスは、調整された音響投影デバイスおよび受信デバイス、芳香投影デバイス、温度調整デバイス、力作動デバイス、圧力センサ、トランスデューサなどを含み得る。場合によっては、感覚フィードバックシステム５７０は、ライトフィールドディスプレイアセンブリ５１０と同様の機能を有し得、逆もまた然りである。例えば、感覚フィードバックシステム５７０およびライトフィールドディスプレイアセンブリ５１０の両方は、サウンドフィールドを生成するように構成され得る。別の例として、感覚フィードバックシステム５７０は、触覚表面を生成するように構成され得る一方、ライトフィールドディスプレイ５１０アセンブリはそうではない。
例示のために、ライトフィールドディスプレイシステム５００の例示的な一実施形態では、感覚フィードバックシステム５７０は、１つ以上の音響投影デバイスを含み得る。１つ以上の音響投影デバイスは、コントローラ５２０から受信された表示命令を実行するときに、ホログラフィックコンテンツを補完する１つ以上の圧力波を生成するように構成される。生成される圧力波は、例えば、可聴（音の場合）、超音波（タッチの場合）、またはそれらの何らかの組み合わせであってもよい。同様に、感覚フィードバックシステム５７０は、芳香投影デバイスを含み得る。投影デバイスは、コントローラから受信した表示命令を実行する際に、標的エリアの一部またはすべてに香りを与えるように構成され得る。芳香デバイスは、標的エリア内の気流を調整するように、空気循環システム（例えば、ダクト、ファン、通気口など）内に結び付けられ得る。さらに、感覚フィードバックシステム５７０は、温度調整デバイスを含み得る。温度調整デバイスは、コントローラ５２０から受信された表示命令を実行するときに、標的エリアの一部もしくはすべての温度を上げるか、または下げるように構成されている。
いくつかの実施形態では、感覚フィードバックシステム５７０は、ＬＦディスプレイシステム５００の視聴者からの入力を受信するように構成される。この場合、感覚フィードバックシステム５７０は、視聴者からの入力を受信するための様々な感覚フィードバックデバイスを含む。センサフィードバックデバイスとしては、音響受信デバイス（例えば、マイクロフォン）、圧力センサ、ジョイスティック、動作検出器、トランスデューサなどのデバイスを挙げることができる。感覚フィードバックシステムは、ホログラフィックコンテンツおよび／または感覚フィードバックの生成を調整するために、検出された入力をコントローラ５２０に送信し得る。
例示のために、ライトフィールドディスプレイアセンブリの例示的な一実施形態では、感覚フィードバックシステム５７０は、マイクロフォンを含む。マイクロフォンは、１人以上の視聴者によって生み出された音声（例えば、口頭のコマンド、対話、あえぎ、悲鳴、笑い声など）を録音するように構成される。感覚フィードバックシステム５７０は、記録された音声を、視聴者入力としてコントローラ５２０に提供する。コントローラ５２０は、視聴者入力を使用して、ホログラフィックコンテンツを生成し得る。同様に、感覚フィードバックシステム５７０は、圧力センサを含み得る。圧力センサは、視聴者によって圧力センサに加えられた力を測定するように構成される。感覚フィードバックシステム５７０は、測定された力を、視聴者入力としてコントローラ５２０に提供し得る。
いくつかの実施形態では、ＬＦディスプレイシステム５００は、追跡システム５８０を含む。追跡システム５８０は、標的エリア内の視聴者の位置、動き、および／または特徴を判定するように構成された任意の数の追跡デバイスを含む。一般に、追跡デバイスは、ＬＦディスプレイアセンブリ５１０の外部にある。いくつかの例示的な追跡デバイスとしては、カメラアセンブリ（「カメラ」）、深度センサ、構造化光、ＬＩＤＡＲシステム、カードスキャンシステム、または標的エリア内の視聴者を追跡することができる他の追跡デバイスが挙げられる。
追跡システム５８０は、標的エリアの一部またはすべてを光で照らす１つ以上のエネルギー源を含み得る。しかしながら、場合によっては、ホログラフィックコンテンツを提示するときに、標的エリアは、自然光および／またはＬＦディスプレイアセンブリ５１０からの周囲光で照らされる。エネルギー源は、コントローラ５２０から受信された命令を実行するときに、光を投影する。光は、例えば、構造化光パターン、光のパルス（例えば、ＩＲフラッシュ）、またはそれらの何らかの組み合わせであり得る。追跡システムは、可視帯域（約３８０ｎｍ～７５０ｎｍ）内、赤外線（ＩＲ）帯域（約７５０ｎｍ～１７００ｎｍ）内、紫外線帯域（１０ｎｍ～３８０ｎｍ）内、電磁スペクトルの何らかの他の部分、またはそれらの何らかの組み合わせの光を投影し得る。ソースとしては、例えば、発光ダイオード（ＬＥＤ）、マイクロＬＥＤ、レーザダイオード、ＴＯＦ深度センサ、波長可変レーザなどが挙げられ得る。
追跡システム５８０は、コントローラ５２０から受信された命令を実行するときに、１つ以上の放出パラメータを調整し得る。放出パラメータは、追跡システム５８０のソースから光が投影される方法に影響を与えるパラメータである。放出パラメータとしては、例えば、明るさ、パルスレート（連続照明を含む）、波長、パルス長、ソースアセンブリから光が投影される方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。一実施形態では、ソースは、飛行時間動作で光のパルスを投影する。
追跡システム５８０のカメラは、標的エリアから反射された光（例えば、構造化光パターン）の画像をキャプチャする。カメラは、コントローラ５２０から受信された追跡命令を実行するときに、画像をキャプチャする。前述のように、光は、追跡システム５８０のソースによって投影され得る。カメラは、１つ以上のカメラを含み得る。すなわち、カメラは、例えば、フォトダイオードのアレイ（１Ｄまたは２Ｄ）、ＣＣＤセンサ、ＣＭＯＳセンサ、追跡システム５８０によって投影される光の一部またはすべてを検出する何らかの他のデバイス、またはそれらの何らかの組み合わせであってもよい。一実施形態では、追跡システム５８０は、ＬＦディスプレイアセンブリ５１０の外部のライトフィールドカメラを含み得る。他の実施形態では、カメラは、ＬＦディスプレイアセンブリ５１０に含まれるＬＦディスプレイソース／センサモジュール５１４の一部として含まれる。例えば、前述のように、ライトフィールドモジュール５１２のエネルギーリレー要素が、エネルギーデバイス層２２０で発光ディスプレイおよび画像センサの両方をインターリーブする双方向エネルギー層である場合、ＬＦディスプレイアセンブリ５１０は、同時に、ライトフィールドを投影し、ディスプレイの前の視聴エリアからの画像情報を記録するように構成され得る。一実施形態では、双方向エネルギー面からキャプチャされた画像は、ライトフィールドカメラを形成する。カメラは、キャプチャされた画像をコントローラ５２０に提供する。
追跡システム５８０のカメラは、コントローラ５２０から受信された追跡命令を実行するときに、１つ以上の撮像パラメータを調整し得る。撮像パラメータは、カメラが画像をキャプチャする方法に影響を与えるパラメータである。撮像パラメータとしては、例えば、フレームレート、アパーチャ、ゲイン、露光長さ、フレームタイミング、ローリングシャッターもしくはグローバルシャッターのキャプチャモード、カメラが画像をキャプチャする方法に影響を与える何らかの他のパラメータ、またはそれらの何らかの組み合わせを挙げることができる。
コントローラ５２０は、ＬＦディスプレイアセンブリ５１０と、ＬＦディスプレイシステム５００の任意の他の構成要素と、を制御する。コントローラ５２０は、データストア５２２、ネットワークインターフェース５２４、追跡モジュール５２６、視聴者プロファイリングモジュール５２８、およびライトフィールド処理エンジン５３０を備える。他の実施形態では、コントローラ５２０は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書で説明されるのとは異なる方法で、モジュール間および／または異なるエンティティ間で分散され得る。例えば、追跡モジュール５２６は、ＬＦディスプレイアセンブリ５１０または追跡システム５８０の一部であり得る。
データストア５２２は、ＬＦディスプレイシステム５００の情報を記憶するメモリである。記憶される情報としては、表示命令、追跡命令、放出パラメータ、撮像パラメータ、標的エリアの仮想モデル、追跡情報、カメラによってキャプチャされた画像、１つ以上の視聴者プロファイル、ライトフィールドディスプレイアセンブリ５１０の較正データ、ＬＦモジュール５１２の解像度および配向を含むＬＦディスプレイシステム５１０の構成データ、所望の視聴ボリューム形状、３Ｄモデル、シーンおよび環境、材料およびテクスチャを含むグラフィックス作成のためのコンテンツ、ＬＦディスプレイシステム５００によって使用され得る他の情報、またはそれらの何らかの組み合わせを挙げることができる。データストア５２２は、読み取り専用メモリ（ＲＯＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、またはそれらの何らかの組み合わせなどのメモリである。
ネットワークインターフェース５２４は、ライトフィールドディスプレイシステムがネットワークを介して他のシステムまたは環境と通信することを可能にする。一例では、ＬＦディスプレイシステム５００は、ネットワークインターフェース５２４を介して、リモートのライトフィールドディスプレイシステムからホログラフィックコンテンツを受信する。別の例では、ＬＦディスプレイシステム５００は、ネットワークインターフェース５２４を使用して、ホログラフィックコンテンツをリモートのデータストアに送信する。
追跡モジュール５２６は、ＬＦディスプレイシステム５００によって提示されたコンテンツを視聴している視聴者を追跡する。そうするために、追跡モジュール５２６は、追跡システム５８０のソースおよび／またはカメラの動作を制御する追跡命令を生成し、追跡命令を追跡システム５８０に提供する。追跡システム５８０は、追跡命令を実行し、追跡モジュール５２６に追跡入力を提供する。
追跡モジュール５２６は、標的エリア内の（例えば、プレゼンテーション空間の座席に座っている）１人以上の視聴者の位置を判定し得る。判定された位置は、例えば、何らかの基準点（例えば、表示面）に対するものであり得る。他の実施形態では、判定された位置は、標的エリアの仮想モデル内にあり得る。追跡された位置は、例えば、視聴者の追跡された位置および／または視聴者の一部の追跡された位置（例えば、目の場所、手の場所など）であり得る。追跡モジュール５２６は、追跡システム５８０のカメラからキャプチャされた１つ以上の画像を使用して、位置を判定する。追跡システム５８０のカメラは、ＬＦディスプレイシステム５００の周りに分配され得、画像を立体でキャプチャすることができ、追跡モジュール５２６が視聴者を受動的に追跡することを可能にする。他の実施形態では、追跡モジュール５２６は、視聴者を能動的に追跡する。すなわち、追跡システム５８０は、標的エリアのある部分を照らし、標的エリアを撮像し、追跡モジュール５２６は、飛行時間および／または構造化光深度判定技術を使用して、位置を判定する。追跡モジュール５２６は、判定された位置を使用して、追跡情報を生成する。
追跡モジュール５２６はまた、ＬＦディスプレイシステム５００の視聴者からの入力として、追跡情報を受信し得る。追跡情報は、視聴者がＬＦディスプレイシステム５００によって提供される様々な入力オプションに対応する身体の動きを含み得る。例えば、追跡モジュール５２６は、視聴者の身体の動きを追跡し、任意の様々な動きを、入力として、ＬＦ処理エンジン５３０に割り当てることができる。追跡モジュール５２６は、追跡情報を、データストア５２２、ＬＦ処理エンジン５３０、視聴者プロファイリングモジュール５２８、ＬＦディスプレイシステム５００の任意の他の構成要素、またはそれらの何らかの組み合わせに提供し得る。
追跡モジュール５２６の文脈を提供するために、あるチームが基地を破壊することによって敵チームを打ち負かすビデオゲームを表示するＬＦディスプレイシステム５００の例示的な実施形態を検討する。コンテンツに応答して、視聴者はガッツポーズをして、興奮を示す。追跡システム５８０は、視聴者の手の動きを記録し、その記録を追跡モジュール５２６に送信し得る。これは、前述のように、ライトフィールドディスプレイアセンブリ５１０の外部のカメラ、深度センサ、または他のデバイスからなる追跡システム５８０を用いて、または、同時に、ライトフィールド画像を投影し、画像を記録する表示面であって、表示面から記録される画像がライトフィールド画像であり得る、表示面を用いて、もしくはこれらのデバイスの任意の組み合わせで、達成され得る。追跡モジュール５２６は、記録における視聴者の手の動作を追跡し、入力をＬＦ処理エンジン５３０に送信する。以下に説明するように、視聴者プロファイリングモジュール５２８は、視聴者の手の動作が肯定的な応答に関連付けられていることを画像内の情報が示していると判定する。したがって、十分な数の視聴者が肯定的な応答を有していると認識された場合、ＬＦ処理エンジン５３０は、勝利を祝福する適切なホログラフィックコンテンツを生成する。例えば、ＬＦ処理エンジン５３０は、シーンに紙吹雪を投影し得る。
ＬＦディスプレイシステム５００は、視聴者を識別し、かつプロファイリングするように構成された視聴者プロファイリングモジュール５２８を含む。視聴者プロファイリングモジュール５２８は、ＬＦディスプレイシステム５００によって表示されたホログラフィックコンテンツを見る１人または複数の視聴者のプロファイルを生成する。視聴者プロファイリングモジュール５２８は、視聴者の入力および監視された視聴者の行動、動作、ならびに反応に部分的に基づいて、視聴者プロファイルを生成する。視聴者プロファイリングモジュール５２８は、追跡システム５８０から取得された情報（例えば、記録された画像、ビデオ、音声など）にアクセスし、その情報を処理して、様々な情報を判定することができる。様々な例において、視聴者プロファイリングモジュール５２８は、任意の数のマシンビジョンまたは機械聴覚アルゴリズムを使用して、視聴者の行動、動作、および反応を判定することができる。監視される視聴者の行動には、例えば、笑顔、歓声、拍手、笑い、恐怖、悲鳴、興奮レベル、反動、他のジェスチャの変化、または視聴者による動きなどが含まれ得る。
より一般的には、視聴者プロファイルは、ＬＦディスプレイシステムからのホログラフィックコンテンツを見ている視聴者に関して受信および／または判定された任意の情報を含み得る。例えば、各視聴者プロファイルは、ＬＦディスプレイシステム５００によって表示されたコンテンツに対するその視聴者の動作または応答を記録し得る。視聴者プロファイルに含まれ得るいくつかの例示的な情報が、以下に提供される。
いくつかの実施形態では、視聴者プロファイルは、プレゼンテーション空間内に表示されるビデオゲームコンテンツ（例えば、チーム、コンテンツのタイプ、結果など）に関するプレゼンテーション空間内の視聴者の応答を説明し得る。例えば、視聴者プロファイルは、青い盾に馬の頭のマスコットを有する特定のｅスポーツチームに対して、視聴者が全般的に肯定的な応答を有していることを示し得る。
いくつかの実施形態では、視聴者プロファイルは、ゲームアプリケーションを視聴する視聴者か、またはゲームアプリケーションをプレイするプレーヤの特徴を示し得る。例えば、プレゼンテーション空間内のユーザは、特定の衣装を着用している。この場合、視聴者プロファイルは、特定の衣装を正確に表す仮想アバターを生成することができる。さらに、特定の衣装は、視聴者に関するいくつかの特徴を示し得る。より広義には、視聴者について記憶される視聴者の特徴は、例えば、年齢、性別、民族性、衣服、プレゼンテーション空間内での視聴場所などであり得る。
いくつかの実施形態では、視聴者プロファイルは、ゲームアプリケーションコンテンツ、プレゼンテーション空間の特徴、または両方に関して視聴者の選好を示し得る。例えば、視聴者プロファイルは、視聴者が、家族の一人ひとりの年齢に適切なホログラフィックコンテンツのみを見たがることを示す場合がある。別の例では、視聴者プロファイルは、ホログラフィックコンテンツを表示すべきホログラフィックオブジェクトボリューム（例えば、壁の上）およびホログラフィックコンテンツを表示すべきでないホログラフィックオブジェクトボリューム（例えば、視聴者の頭上）を示し得る。視聴者プロファイルはまた、視聴者が触覚インターフェースを自分たちの近くに提示させたがること、または触覚インターフェースを避けたがることを示し得る。
別の例では、視聴者プロファイルは、特定の視聴者のゲームアプリケーションの履歴を示す。例えば、視聴者プロファイリングモジュール５２８は、視聴者または視聴者のグループが以前にゲームアプリケーションを実行したことを判定する。したがって、ＬＦディスプレイシステム５００は、ゲームアプリケーションの実行中に行った以前のアクションを参照するホログラフィックコンテンツを表示し得る。一例として、ホログラフィックコンテンツを含むゲームアプリケーションは、勝利をトリガするために難易度が増加する一連の４つのミッションを含み得る。視聴者プロフィールは、視聴者が前の４つのミッションのうち２つを完了したことを示す。したがって、ゲームアプリケーションは、視聴者に、３番目のミッションのホログラフィックビデオゲームコンテンツを提示する。ビデオゲームのコンテンツは、１番目または２番目のミッションで行ったアクションを参照し得る。
いくつかの実施形態では、視聴者プロファイルはまた、特定の視聴者ではなく、視聴者のグループの特徴および選好を示し得る。例えば、視聴者プロファイリングモジュール５２８は、プレゼンテーション空間内でゲームアプリケーションによって生成されたビデオゲームコンテンツを視聴している観客のための視聴者プロファイルを生成し得る。一例では、視聴者プロファイリングモジュール５２８は、ゲームアプリケーションの競技会を放送するｅスポーツイベントを視聴する視聴者のための視聴者プロファイルを作成する。このプロファイルは、視聴者の５４．３％が２０歳～３５歳の男性であり、ゲームアプリケーションに対して肯定的な応答を有していることを示す。このプロファイルはまた、残りの４６．７％の視聴者がゲームアプリケーションに対して可もなく不可もない応答を有していることを示す。前述の情報および特徴のいずれもが、視聴者のグループに適用され得る。
視聴者プロファイリングモジュール５２８は、特定の１人または複数の視聴者に関連付けられたプロファイルに、１つ以上のサードパーティシステムからアクセスして、視聴者プロファイルを構築することもできる。例えば、視聴者は、その視聴者のソーシャルメディアアカウントにリンクされたサードパーティベンダーを使用して、ｅスポーツイベントのチケットを購入する。視聴者がチケットを使用してゲームアプリケーションのプレゼンテーション空間に入ると、視聴者プロファイリングモジュール５２８は、視聴者のソーシャルメディアアカウントからの情報にアクセスして、視聴者プロファイルを構築（または拡張）することができる。
いくつかの実施形態では、データストア５２２は、視聴者プロファイリングモジュール５２８によって生成、更新、および／または維持された視聴者プロファイルを記憶する視聴者プロファイルストアを含む。視聴者プロファイルは、視聴者プロファイリングモジュール５２８によって、いつでもデータストア内で更新され得る。例えば、一実施形態では、視聴者プロファイルストアは、特定の視聴者が、ＬＦディスプレイシステム５００によって提供されたホログラフィックコンテンツを見るときに、その特定の視聴者に関する情報を受信し、その視聴者の視聴者プロファイルに記憶する。この例では、視聴者プロファイリングモジュール５２８は、視聴者を認識し、視聴者が提示されたホログラフィックコンテンツを見るときに視聴者を確実に識別し得る顔認識アルゴリズムを含む。例示のために、視聴者がＬＦディスプレイシステム５００の標的エリアに入ると、追跡システム５８０が、視聴者の画像を取得する。視聴者プロファイリングモジュール５２８は、キャプチャされた画像を入力し、顔認識アルゴリズムを使用して視聴者の顔を識別する。識別された顔は、プロファイルストア内の視聴者プロファイルに関連付けられ、そのため、その視聴者に関して取得されたすべての入力情報が、その視聴者のプロファイルに記憶され得る。視聴者プロファイリングモジュールはまた、カード識別スキャナ、音声識別子、無線周波数識別（ＲＦＩＤ）チップスキャナ、バーコードスキャナなどを利用して、視聴者を確実に識別し得る。
視聴者プロファイリングモジュール５２８が視聴者を確実に識別することができる実施形態では、視聴者プロファイリングモジュール５２８は、ＬＦディスプレイシステム５００への各視聴者の各訪問を判定することができる。次に、視聴者プロファイリングモジュール５２８は、各訪問の日時を各視聴者の視聴者プロファイルに記憶し得る。同様に、視聴者プロファイリングモジュール５２８は、感覚フィードバックシステム５７０、追跡システム５８０、および／またはＬＦディスプレイアセンブリ５１０の任意の組み合わせから受信された、視聴者からの入力を、入力が発生するたびに記憶し得る。視聴者プロファイルシステム５２８は、コントローラ５２０の他のモジュールまたは構成要素から視聴者に関するさらなる情報を追加的に受信し得、この情報は、視聴者プロファイルとともに記憶され得る。次に、コントローラ５２０の他の構成要素も、その視聴者に提供される後のコンテンツを判定するために、記憶された視聴者プロファイルにアクセスし得る。
ＬＦ処理エンジン５３０は、ライトフィールドデータ、ならびにＬＦディスプレイシステム５００によってサポートされるすべての感覚領域のデータからなるホログラフィックコンテンツを生成する。例えば、ＬＦ処理エンジン５３０は、ＬＦディスプレイアセンブリ５１０によって実行されると、ＬＦディスプレイアセンブリ５１０にホログラフィックコンテンツを提示させる、ラスタライズ化されたフォーマットの４Ｄ座標（「ラスタライズ化されたデータ」）を生成し得る。ＬＦ処理エンジン５３０は、データストア５２２からラスタライズ化されたデータにアクセスし得る。さらに、ＬＦ処理エンジン５３０は、ベクトル化されたデータセットからラスタライズされたデータを構築し得る。ベクトル化されたデータを以下に説明する。ＬＦ処理エンジン５３０はまた、ホログラフィックオブジェクトを拡張する感覚コンテンツを提供するために必要な感覚命令を生成することができる。上記のように、感覚命令は、ＬＦディスプレイシステム５００によって実行されると、触覚表面、サウンドフィールド、およびＬＦディスプレイシステム５００によってサポートされる他の形態の感覚エネルギーを生成し得る。ＬＦデータ処理エンジン５３０は、データストア５２２から感覚命令にアクセスする、または、感覚命令を構築して、ベクトル化されたデータセットを形成し得る。全体として、４Ｄ座標および感覚データは、ホログラフィックおよび感覚コンテンツを生成するためにＬＦディスプレイシステムによって実行可能な表示命令として、ホログラフィックコンテンツを表す。より一般的には、ホログラフィックコンテンツは、理想的なライトフィールド座標を有するＣＧコンテンツ、ライブアクションコンテンツ、ラスタライズ化されたデータ、ベクトル化データ、リレーのセットによって輸送される電磁エネルギー、エネルギーデバイスのグループに送信される命令、１つ以上のエネルギー面上のエネルギー位置、表示面から投影されるエネルギー伝搬経路のセット、視聴者または聴衆に見えるホログラフィックオブジェクトの形態、および多くの他の同様の形態を採ることができる。
ＬＦディスプレイシステム５００内の様々なエネルギー源を通るエネルギーの流れを説明するラスタライズされたデータの量は、信じられないほど大量である。データストア５２２からアクセスされる場合、ラスタライズされたデータをＬＦディスプレイシステム５００に表示することは可能であるが、（例えば、ネットワークインターフェース５２４を介して）効率的に送信し、受信し、その後、ラスタライズされたデータをＬＦディスプレイシステム５００に表示することは不可能である。例えば、ＬＦディスプレイシステム５００によるホログラフィック投影用のゲームアプリケーションによって生成された少量のデータを表すラスタライズされたデータを取り上げる。この例では、ＬＦディスプレイシステム５００は、数ギガピクセルを含むディスプレイを含み、ラスタライズされたデータは、ディスプレイ上の各ピクセル場所の情報を含む。ラスタライズされたデータの対応するサイズは膨大であり（例えば、ホログラフィックコンテンツの毎秒多ギガバイト）、ネットワークインターフェース５２４を介した商用ネットワーク上での効率的な転送には管理不可能である。効率的な転送の問題は、ホログラフィックコンテンツのライブストリーミングを含むアプリケーションで増幅される可能性がある。感覚フィードバックシステム５７０または追跡モジュール５２６からの入力を使用してインタラクティブな体験が望まれる場合、単にラスタライズされたデータをデータストア５２２に記憶することに関する追加の問題が生じる。インタラクティブな体験を可能にするために、ＬＦ処理エンジン５３０によって生成されたライトフィールドコンテンツは、感覚または追跡入力に応答してリアルタイムで修正され得る。言い換えれば、場合によっては、ＬＦコンテンツは、データストア５２２から単純に読み取ることができない。
したがって、いくつかの構成では、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを表すデータは、ベクトル化されたデータフォーマット（「ベクトル化されたデータ」）でＬＦ処理エンジン５３０に転送され得る。ベクトル化されたデータは、ラスタライズされたデータよりも桁違いに小さい場合がある。さらに、ベクトル化されたデータは、データの効率的な共有を可能にするデータセットサイズを有しながら、高い画質を提供する。例えば、ベクトル化されたデータは、より密度の高いデータセットから派生した疎なデータセットである可能性がある。したがって、ベクトル化されたデータは、密度の高いラスタライズされたデータから疎なベクトル化されたデータがどのようにサンプリングされるかに基づいて、画質とデータ送信サイズとの間の調整可能なバランスを有する可能性がある。ベクトル化されたデータを生成するための調整可能なサンプリングにより、特定のネットワーク速度での画質の最適化が可能になる。結果として、ベクトル化されたデータは、ネットワークインターフェース５２４を介したホログラフィックコンテンツの効率的な送信を可能にする。ベクトル化されたデータにより、ホログラフィックコンテンツを商用ネットワーク経由でライブストリーミングすることもできる。
要約すると、ＬＦ処理エンジン５３０は、データストア５２２からアクセスされるラスタライズされたデータ、データストア５２２からアクセスされるベクトル化されたデータ、またはネットワークインターフェース５２４を介して受信されるベクトル化されたデータから導出されたホログラフィックコンテンツを生成し得る。様々な構成において、ベクトル化されたデータは、データ送信の前にエンコーダによって符号化され得、ＬＦコントローラ５２０による受信の後にデコーダによって復号化され得る。エンコーダとデコーダのペアは、同じ独自のシステムコーデックの一部であり得る。いくつかの例では、ベクトル化されたデータは、データ圧縮に関連する追加のデータセキュリティおよびゲームアプリケーションの向上のために符号化される。例えば、ネットワークインターフェースによって受信されたベクトル化されたデータは、ホログラフィックストリーミングアプリケーションから受信された符号化され、ベクトル化されたデータであり得る。いくつかの例では、ベクトル化されたデータは、デコーダ、ＬＦ処理エンジン５３０、またはこれらの両方が、ベクトル化されたデータ内の符号化された情報コンテンツにアクセスすることを必要とし得る。エンコーダおよび／またはデコーダシステムは、顧客に対して利用可能である場合があるか、またはサードパーティベンダーにライセンス供与されている場合がある。他の例示的な符号化および／または復号化スキームを使用して、ホログラフィックコンテンツを送信および／または提示することができる。
ベクトル化されたデータは、インタラクティブな体験をサポートし得る方法で、ＬＦディスプレイシステム５００によってサポートされる各感覚領域の各々の情報を含む。例えば、インタラクティブなホログラフィック体験のためのベクトル化されたデータは、ＬＦディスプレイシステム５００によってサポートされる感覚領域の各々に正確な物理学を提供することができる任意のベクトル化された特性を含み得る。ベクトル化された特性は、合成的にプログラムされ、キャプチャされ、計算により評価され得るなどの任意の特性を含み得る。ＬＦ処理エンジン５３０は、ベクトル化されたデータのベクトル化された特性をラスタライズされたデータに変換するように構成され得る。次に、ＬＦ処理エンジン５３０は、ＬＦディスプレイアセンブリ５１０を使用してベクトル化されたデータから変換されたホログラフィックコンテンツを投影し得る。様々な構成で、ベクトル化された特性には、１つ以上の赤／緑／青／アルファチャネル（ＲＧＢＡ）＋深度画像、１つの高解像度中央画像および低解像度の他のビューを含み得る様々な解像度での深度情報の有無にかかわらないマルチビュー画像、アルベドおよび反射率、表面法線、他の光学効果、表面識別、幾何学的オブジェクト座標、仮想カメラ座標、表示平面の場所、照明座標、表面の接触剛性、接触延性、接触強度、サウンドフィールドの振幅および座標、環境条件、テクスチャまたは温度の機械受容器に関連する体性感覚エネルギーベクトル、音声、ならびに他の感覚領域特性の座標が含まれ得る。他の多くのベクトル化された特性も可能である。
ＬＦディスプレイシステム５００は、インタラクティブな視聴体験を生成することもできる。すなわち、ホログラフィックコンテンツは、視聴者の場所、ジェスチャ、インタラクション、ホログラフィックコンテンツとのインタラクションに関する情報、または視聴者プロファイリングモジュール５２８および／または追跡モジュール５２６から導出された他の情報を含む入力刺激に応答し得る。例えば、一実施形態では、ＬＦ処理システム５００は、ゲームアプリケーションによって生成され、かつネットワークインターフェース５２４を介して受信されたリアルタイムビデオゲームデータのベクトル化されたデータを使用して、インタラクティブな視聴体験を作成する。別の例では、ホログラフィックオブジェクトが、視聴者のインタラクションに応じて直ちに特定の方向に移動する必要がある場合、ＬＦ処理エンジン５３０は、ホログラフィックオブジェクトがその要求された方向に移動するように、シーンのレンダリングを更新し得る。これには、ＬＦ処理エンジン５３０が、ベクトル化されたデータセットを使用して、適切なオブジェクトの配置および動き、衝突検出、オクルージョン、色、陰影、照明などを有する３Ｄグラフィカルシーンに基づいて、リアルタイムでライトフィールドをレンダリングし、視聴者のインタラクションに正しく応答することが必要であり得る。ＬＦ処理エンジン５３０は、ベクトル化されたデータを、ＬＦディスプレイアセンブリ５１０による提示のためにラスタライズされたデータに変換する。ＬＦディスプレイシステム５００は、ＬＦディスプレイシステムがほぼリアルタイムでホログラフィックコンテンツを提示することを可能にする様々な他の符号化／復号化技術を採用し得る。
ラスタライズされたデータには、リアルタイムゲームアプリケーションデータを表すホログラフィックコンテンツ命令および感覚命令（表示命令）が含まれる。ＬＦディスプレイアセンブリ５１０は、表示命令を実行することによって、リアルタイムゲームアプリケーションデータのホログラフィックおよび感覚コンテンツを同時に投影する。ＬＦディスプレイシステム５００は、追跡モジュール５２６および視聴者プロファイリングモジュール５２８を用いて、提示されたリアルタイムゲームアプリケーションデータのコンテンツとの視聴者のインタラクション（例えば、音声応答、タッチなど）を監視する。視聴者のインタラクションに応答して、ＬＦ処理エンジンは、視聴者に表示するための追加のホログラフィックおよび／または感覚コンテンツを生成することによって、インタラクティブな体験を作成し得る。
例示のために、ゲームアプリケーションの実行中に、プレゼンテーション空間の天井から落ちてくるバルーンを表す複数のホログラフィックオブジェクトを生成するＬＦ処理エンジン５３０を含むＬＦディスプレイシステム５００の例示的な一実施形態を検討する。視聴者は、バルーンを表すホログラフィックオブジェクトにタッチするように移動し得る。それに応じて、追跡システム５８０は、ホログラフィックオブジェクトに対する視聴者の手の動きを追跡する。視聴者の動きは追跡システム５８０によって記録され、コントローラ５２０に送信される。追跡モジュール５２６は、視聴者の手の動作を連続的に判定し、判定された動作をＬＦ処理エンジン５３０に送信する。ＬＦ処理エンジン５３０は、シーン内の視聴者の手の配置を判定し、ホログラフィックオブジェクトに必要な任意の変更（位置、色、またはオクルージョンなど）を含むために、グラフィックスのリアルタイムレンダリングを調整する。ＬＦ処理エンジン５３０は、ＬＦディスプレイアセンブリ５１０（および／または感覚フィードバックシステム５７０）に、体積触覚投影システムを使用して（例えば、超音波スピーカを使用して）触覚表面を生成するように指示する。生成された触覚表面は、ホログラフィックオブジェクトの少なくとも一部に対応し、ホログラフィックオブジェクトの外面の一部またはすべてと実質的に同じ空間を占有する。ＬＦ処理エンジン５３０は追跡情報を使用して、ＬＦディスプレイアセンブリ５１０に、バルーンにタッチする視覚的および触覚的知覚の両方を視聴者が与えられるように、触覚表面の位置を、レンダリングされたホログラフィックオブジェクトの位置とともに移動するよう動的に指示する。より簡単に言えば、視聴者がホログラフィックバルーンにタッチしている自分の手を見ると、視聴者は同時に、手がホログラフィックバルーンにタッチし、タッチに応答してバルーンが位置または動作を変更することを示す触覚フィードバックを感じる。いくつかの例では、データストア５２２からアクセスされるゲームアプリケーションによって生成されるコンテンツにインタラクティブバルーンを提示するのではなく、インタラクティブバルーンは、ネットワークインターフェース５２４を介してライブストリーミングアプリケーションから受信されるホログラフィックコンテンツの一部として受信され得る。言い換えれば、ＬＦディスプレイシステム５００によって表示されるホログラフィックコンテンツは、ホログラフィックコンテンツライブストリームであり得る。
ＬＦ処理エンジン５３０は、プレゼンテーション空間の体験を拡張するために、ゲームアプリケーションの実行の前、最中、および／または後に、プレゼンテーション空間の視聴者に表示するホログラフィックコンテンツを提供し得る。ホログラフィックコンテンツは、ゲームアプリケーションのパブリッシャによって提供され得、プレゼンテーション空間によって提供され得、広告主によって提供され得、ＬＦ処理エンジン５３０などによって生成され得る、などである。ホログラフィックコンテンツは、ゲームアプリケーション、ゲームアプリケーションのジャンル、プレゼンテーション空間の場所、広告などに関連付けられたコンテンツであってもよい。いずれの場合も、ホログラフィックコンテンツは、データストア５２２に記憶されるか、またはネットワークインターフェース５２４を介してベクトル化されたフォーマットでＬＦディスプレイシステム５００にストリーミングされ得る。例えば、ゲームアプリケーションによって生成されたビデオゲームコンテンツは、壁にＬＦディスプレイモジュールで拡張されたプレゼンテーション空間で示され得る。ゲームアプリケーションの配信業者は、ゲームアプリケーションの実行が始まる前に壁のディスプレイに提示するホログラフィックコンテンツを提供し得る。ＬＦ処理エンジン５３０は、ホログラフィックコンテンツにアクセスし、ゲームアプリケーションの実行の前に、プレゼンテーション空間の壁のディスプレイからアクセスされたコンテンツを提示する。別の例では、ＬＦディスプレイシステム５００を備えたプレゼンテーション空間がサンフランシスコにある。プレゼンテーション空間のＬＦディスプレイシステムは、ゲームアプリケーション固有のコンテンツが提供されていない場合に、ゲームアプリケーションの実行前に提示するＧｏｌｄｅｎ Ｇａｔｅ Ｂｒｉｄｇｅのホログラフィック表現を記憶する。ここでは、ゲームアプリケーション固有のホログラフィックコンテンツが提供されていないため、ＬＦ処理エンジン５３０は、プレゼンテーション空間のＧｏｌｄｅｎ Ｇａｔｅ Ｂｒｉｄｇｅにアクセスして提示する。別の例では、広告主が、ゲームアプリケーションの実行後に表示するために、その製品のホログラフィックコンテンツをプレゼンテーション空間に広告として提供している。ゲームアプリケーションの実行が終了した後、ＬＦ処理エンジン５３０は、視聴者がプレゼンテーション空間を離れるときに広告を提示する。他の例では、以下に説明するように、ＬＦ処理エンジンは、劇場の壁に表示するためにホログラフィックコンテンツを動的に生成し得る。
ＬＦ処理エンジン５００はまた、ホログラフィックコンテンツを提示しているプレゼンテーション空間に適合するようにホログラフィックコンテンツを修正し得る。例えば、すべてのプレゼンテーション空間が同じサイズである、同じ数の座席を有している、または同じ技術構成を有しているわけではない。したがって、ＬＦ処理エンジン５３０は、ホログラフィックコンテンツがプレゼンテーション空間内に適切に表示されるように、ホログラフィックコンテンツを修正し得る。一実施形態では、ＬＦ処理エンジン５３０は、プレゼンテーション空間のレイアウト、解像度、視野、他の技術仕様などを含む、プレゼンテーション空間の構成ファイルにアクセスし得る。ＬＦ処理エンジン５３０は、構成ファイルに含まれる情報に基づいて、ホログラフィックコンテンツをレンダリングおよび提示し得る。
ＬＦ処理エンジン５３０はまた、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを作成し得る。重要なことには、ここで、表示のためのホログラフィックコンテンツを作成することは、表示のためのホログラフィックコンテンツをアクセスすること、または受信することとは異なる。すなわち、コンテンツを作成するとき、ＬＦ処理エンジン５３０は、以前に生成および／または受信されたコンテンツをアクセスするのではなく、表示のための全く新しいコンテンツを生成する。ＬＦ処理エンジン５３０は、追跡システム５８０、感覚フィードバックシステム５７０、視聴者プロファイリングモジュール５２８、追跡モジュール５２６、またはそれらの何らかの組み合わせからの情報を使用して、表示のためのホログラフィックコンテンツを作成することができる。いくつかの例では、ＬＦ処理エンジン５３０は、ＬＦディスプレイシステム５００の要素からの情報（例えば、追跡情報および／または視聴者プロファイル）にアクセスし、それに応じて、その情報に基づいてホログラフィックコンテンツを作成し、作成されたホログラフィックコンテンツを、ＬＦディスプレイシステム５００を使用して表示し得る。作成されたホログラフィックコンテンツは、ＬＦディスプレイシステム５００によって表示されるときに、他の感覚コンテンツ（例えば、タッチ、音声、または匂い）で拡張され得る。さらに、ＬＦディスプレイシステム５００は、作成されたホログラフィックコンテンツが将来表示され得るように、作成されたホログラフィックコンテンツを記憶し得る。
ＬＦディスプレイシステムのための動的コンテンツ生成
いくつかの実施形態では、ＬＦ処理エンジン５３０は、人工知能（ＡＩ）モデルを組み込んで、ＬＦディスプレイシステム５００によって表示するためのホログラフィックコンテンツを作成する。ＡＩモデルは、回帰モデル、ニューラルネットワーク、分類器、または他のＡＩアルゴリズムを含むがこれらに限定されない、教師付きもしくは教師なし学習アルゴリズムを含み得る。ＡＩモデルは、視聴者の行動に関する情報を含み得る、ＬＦディスプレイシステム５００によって（例えば、追跡システム５８０によって）記録された視聴者情報に基づいて、視聴者の選好を判定するために使用され得る。
ＡＩモデルは、ホログラフィックコンテンツを作成するために、データストア５２２からの情報にアクセスし得る。例えば、ＡＩモデルは、データストア５２２内の１つまたは複数の視聴者プロファイルからの視聴者情報にアクセスし得るか、またはＬＦディスプレイシステム５００の様々な構成要素から視聴者情報を受信し得る。例示のために、ＡＩモデルは、視聴者が、公演者が蝶ネクタイを着用しているホログラフィックコンテンツを見るのを楽しんでいると判定し得る。ＡＩモデルは、以前見た、蝶ネクタイを着用している俳優を含むホログラフィックコンテンツに対する視聴者のグループの肯定的な反応または応答に基づいて、選好を判定し得る。つまり、ＡＩモデルは、学習された視聴者の選好に従って、視聴者のセットに合わせて個人化されたホログラフィックコンテンツを作成し得る。そのため、例えば、ＡＩモデルは、ＬＦディスプレイシステム５００を使用して、視聴者のグループによって視聴されるホログラフィックコンテンツに表示される俳優に蝶ネクタイを作成し得る。ＡＩモデルはまた、学習された各視聴者の選好を、データストア５２２の視聴者プロファイルストアに記憶し得る。いくつかの例では、ＡＩモデルは、視聴者のグループではなく、個々の視聴者のためにホログラフィックコンテンツを作成し得る。
視聴者の特徴を識別し、反応を識別し、かつ／または識別された情報に基づいてホログラフィックコンテンツを生成するために使用され得るＡＩモデルの一例が、現在の層のノードの値が前の層のノードでの値の変換である、ノードのレイヤを有する畳み込みニューラルネットワークモデルである。モデルにおける変換は、現在の層および前の層を接続する、重みおよびパラメータのセットを介して判定される。例えば、ＡＩモデルは、ノードの５つの層、すなわち層Ａ、Ｂ、Ｃ、Ｄ、およびＥを含み得る。層Ａから層Ｂへの変換は関数Ｗ１により与えられ、層Ｂから層Ｃへの変換はＷ２により与えられ、層Ｃから層Ｄへの変換はＷ３により与えられ、層Ｄから層Ｅへの変換はＷ４により与えられる。いくつかの例では、変換はまた、モデル内の前の層間を変換するために使用される重みおよびパラメータのセットを介して判定され得る。例えば、層Ｄから層Ｅへの変換Ｗ４は、層Ａから層Ｂへの変換Ｗ１を遂行するために使用されるパラメータに基づき得る。
モデルへの入力は、畳み込み層Ａ上に符号化された、追跡システム５８０によって撮影された画像であり得、モデルの出力は、出力層Ｅから復号化されたホログラフィックコンテンツである。代替的または追加的に、出力は、画像内で判定された視聴者の特徴であり得る。この例では、ＡＩモデルは、識別層Ｃの視聴者の特徴を表す、画像内の潜在情報を識別する。ＡＩモデルは、畳み込み層Ａの次元を識別層Ｃの次元まで低減して、画像内の任意の特徴、動作、応答などを識別する。いくつかの例では、ＡＩモデルは、次に、識別層Ｃの次元を増加してホログラフィックコンテンツを生成する。
追跡システム５８０からの画像は、畳み込み層Ａに符号化される。畳み込み層Ａに入力された画像は、識別層Ｃの様々な特徴および／または反応情報などに関連付けられ得る。これらの要素間の関連情報は、対応する層間に変換のセットを適用することによって検索され得る。すなわち、ＡＩモデルの畳み込み層Ａは、符号化された画像を表し、モデルの識別層Ｃは、笑顔の視聴者を表す。所与の画像内の笑顔の視聴者は、畳み込み層Ａの空間内の画像の画素値に変換Ｗ１およびＷ２を適用することによって識別され得る。変換の重みおよびパラメータは、画像に含まれる情報と笑顔の視聴者の識別との間の関係を示し得る。例えば、重みおよびパラメータは、画像内の笑顔の視聴者を表す情報に含まれる形状、色、サイズなどの量子化であり得る。重みおよびパラメータは、履歴データ（例えば、以前に追跡された視聴者）に基づき得る。
画像内の笑顔の視聴者は、識別層Ｃで識別される。識別層Ｃは、画像内の笑顔の視聴者に関する潜在情報に基づいて識別された笑顔の視聴者を表す。
画像内の識別された笑顔の視聴者を使用して、ホログラフィックコンテンツを生成することができる。ホログラフィックコンテンツを生成するために、ＡＩモデルは、識別層Ｃから開始して、変換Ｗ２およびＷ３を識別層Ｃの所与の識別された笑顔の視聴者の値に適用する。変換は、出力層Ｅのノードのセットをもたらす。変換の重みおよびパラメータは、識別された笑顔の視聴者と特定のホログラフィックコンテンツおよび／または選好との間の関係を示し得る。ホログラフィックコンテンツが、出力層Ｅのノードから直接出力される場合もあれば、コンテンツ生成システムが、出力層Ｅのノードをホログラフィックコンテンツに復号化する場合もある。例えば、出力が、識別された特徴のセットである場合、ＬＦ処理エンジンは、その特徴を使用してホログラフィックコンテンツを生成することができる。
追加的に、ＡＩモデルは、中間層として知られている層を含み得る。中間層は、画像に対応しない層であって、特徴／反応などを識別するか、またはホログラフィックコンテンツを生成する。例えば、所与の例では、層Ｂは、畳み込み層Ａと識別層Ｃとの間の中間層である。層Ｄは、識別層Ｃと出力層Ｅとの間の中間層である。隠れ層は、データ中では観測されないが、特徴を識別してホログラフィックコンテンツを生成するときに、画像の要素間の関係を支配し得る識別の様々な態様の潜在表現である。例えば、隠れ層のあるノードが、「笑っているヒトの笑顔」の共通点を共有する入力値および識別値と強いつながり（例えば、大きな重み値）を有している場合がある。別の例として、隠れ層の別のノードが、「怖がっているヒトの悲鳴」の共通点を共有する入力値および識別値と強いつながりを有している場合がある。当然のことながら、ニューラルネットワークには任意の数のリンケージが存在する。追加的に、各中間層は、例えば、残差ブロック、畳み込み層、プーリング操作、スキップ接続、連結などの機能の組み合わせである。任意の数の中間層Ｂが、畳み込み層を識別層まで減らすように機能し得、任意の数の中間層Ｄが、識別層を出力層まで増加させるように機能し得る。
一実施形態では、ＡＩモデルは、強化学習でトレーニングされた決定論的方法を含む（それにより、強化学習モデルを作成する）。モデルは、追跡システム５８０からの測定値を入力として、および作成されたホログラフィックコンテンツへの変更を出力として使用して、ゲームアプリケーションの実行中の体験の品質を高めるようにトレーニングされる。
強化学習は、数値的な報酬信号を最大化するために、機械が「何をすべきか」（状況を動作にマッピングする方法）を学習する機械学習システムである。学習器（例えば、ＬＦ処理エンジン５３０）は、取るべき動作（例えば、所定のホログラフィックコンテンツの生成）を告げられていないが、代わりに、動作を試行することによって、どの動作が最大の報酬をもたらすか（例えば、より多くのヒトに歓声を上げさせることによってホログラフィックコンテンツの品質を高めること）を発見する。場合によっては、動作は、即時報酬だけでなく、次の状況、かつそれを通じて、その後のすべての報酬にも影響を及ぼし得る。これらの２つの特徴（試行錯誤による探索および遅延報酬）が、強化学習の２つの際立った特徴である。
強化学習は、学習方法を特徴づけることによってではなく、学習問題を特徴づけることによって定義される。基本的に、強化学習システムは、目標を達成するために環境とインタラクションする学習エージェントが直面している問題の重要な態様をキャプチャする。つまり、パフォーマに曲を生成する例では、強化学習システムは、プレゼンテーション空間の視聴者に関する情報（例えば、年齢、気質など）をキャプチャする。このようなエージェントは、環境の状態を感知し、状態に影響を与える動作を実行して、１つ以上の目標を達成する（例えば、視聴者が歓声を上げるであろうポップソングを作成する）。最も基本的な形態では、強化学習の定式化は、学習器のための３つの態様、すなわち、感覚、動作、および目標を含む。曲の例に続いて、ＬＦ処理エンジン５３０は、追跡システム５８０のセンサで環境の状態を感知し、環境内の視聴者にホログラフィックコンテンツを表示し、視聴者のその曲の受容の尺度である目標を達成する。
強化学習で発生する課題のうちの１つが、探索と活用との間のトレードオフである。システム内の報酬を増加させるために、強化学習エージェントは、過去に試行し、報酬を生み出すのに効果的であることがわかった動作を好む。しかしながら、報酬を生み出す動作を発見するために、学習エージェントは、以前に選択したことのない動作を選択する。エージェントは、報酬を取得するために、すでに知っている情報を「活用」するが、将来、より良い動作を選択するために、情報を「探索」する。学習エージェントは、様々な動作を試み、依然として新しい動作を試行しながら、最良と思われる動作を次第に好むようになる。確率論的タスクでは、一般的に、各動作が、期待される報酬に対する信頼できる見積もりを得るために、何度も試行される。例えば、長い時間が経過した後に視聴者が笑うことになるであろうことをＬＦ処理エンジンが知っているホログラフィックコンテンツをＬＦ処理エンジンが作成する場合、ＬＦ処理エンジンは、視聴者が笑うまでの時間が減少するように、ホログラフィックコンテンツを変更し得る。
さらに、強化学習は、不確実環境とインタラクションする目標指向エージェントの問題全体を考慮する。強化学習エージェントは、明確な目標を有し、環境の側面を感知し得、高い報酬（すなわち、どよめく観衆）を受信するための動作を選択し得る。さらに、エージェントは、一般的に、直面する環境に関する重要な不確実性にかかわらず動作する。強化学習が計画を含む場合、システムは、計画とリアルタイムの動作選択との間の相互作用、ならびに環境要素をどのように取得して改善するかという問題に対処する。強化学習が進展するためには、重要なサブ問題を分離して研究する必要があり、サブ問題は、完全でインタラクティブなゴールシークエージェントで明確な役割を果たす。
強化学習問題は、目標を達成するためにインタラクションが処理され、動作が実行される機械学習問題のフレーミングである。学習器および意思決定器はエージェントと呼ばれる（例えば、ＬＦ処理エンジン５３０）。エージェントの外側のすべてのものを含む、エージェントがインタラクトするものは環境と呼ばれる（例えば、プレゼンテーション空間の視聴者など）。これら２つは継続的にインタラクションし、エージェントは動作を選択し（例えば、ホログラフィックコンテンツを作成し）、環境は、それらの動作に応答して、エージェントに新しい状況を提示する。環境はまた、エージェントが時間の経過とともに最大化しようとする特別の数値的な価値である報酬を生じさせる。ある文脈では、報酬は、ホログラフィックコンテンツに対する視聴者の肯定的な反応を最大化するように機能する。環境の完全な仕様は、強化学習問題の１つの実例であるタスクを定義する。
より多くの文脈を提供するために、エージェント（例えば、ＬＦ処理エンジン５３０）および環境は、離散時間ステップのシーケンスの各々、すなわち、ｔ＝０、１、２、３などにおいてインタラクションする。各時間ステップｔにおいて、エージェントは、環境の状態ｓｔの何らかの表現（例えば、追跡システム５８０からの測定値）を受信する。状態ｓｔはＳ内にあり、Ｓは、可能性がある状態のセットである。状態ｓｔおよび時間ステップｔに基づいて、エージェントは、アクションａｔを選択する（例えば、パフォーマに股割りをさせる）。アクションａｔは、Ａ（ｓｔ）内にあり、Ａ（ｓｔ）は、可能性があるアクションのセットである。１つの時間状態の後、部分的にはエージェントの動作の結果として、エージェントは、数値的な報酬ｒｔ＋１を受信する。状態ｒｔ＋１はＲ内にあり、Ｒは、可能性がある報酬のセットである。エージェントが報酬を受信すると、エージェントは、新しい状態ｓｔ＋１を選択する。
各タイムステップにおいて、エージェントは、状態から、各可能性がある動作を選択する確率へのマッピングを実装する。このマッピングはエージェントのポリシーと呼ばれ、πｔで表され、ここで、πｔ（ｓ，ａ）は、ｓｔ＝ｓであればａｔ＝ａとなる確率である。強化学習方法は、エージェントの動作から生じる状態および報酬の結果として、エージェントがポリシーをどのように変更するかを指示することができる。エージェントの目標は、時間の経過とともに、エージェントが受信する報酬の合計額を最大化することである。
この強化学習フレームワークは柔軟性があり、多くの異なる方法で多くの異なる問題（例えば、ホログラフィックコンテンツの生成）に適用され得る。このフレームワークは、感覚、記憶、および制御装置の詳細が何であれ、目標指向の行動を学習するすべての問題（または目的）が、エージェントとその環境との間を行き来する３つの信号、すなわち、エージェントによって行われた選択（動作）を表す１つの信号、選択が行われた根拠（状態）を表す１つの信号、およびエージェントの目標（報酬）を定義する１つの信号にまとめられ得ることを提案する。
当然のことながら、ＡＩモデルは、任意の数の機械学習アルゴリズムを含み得る。採用され得るいくつかの他のＡＩモデルは、線形および／またはロジスティック回帰、分類および回帰ツリー、ｋ平均法クラスタリング、ベクトル量子化、敵対的生成ネットワークなどである。いずれの場合も、通常、ＬＦ処理エンジン５３０が、追跡モジュール５２６および／または視聴者プロファイリングモジュール５２８から入力を取得し、機械学習モデルが、それに応じてホログラフィックコンテンツを作成する。同様に、ＡＩモデルは、ホログラフィックコンテンツのレンダリングを指向し得る。
一例では、ＬＦ処理エンジン５３０は、ゲームアプリケーションの仮想キャラクタを拡張する。ＬＦ処理エンジン５３０は、データストア５２２に記憶された視聴者プロファイルに含まれる情報を使用して、仮想キャラクタを拡張する。例えば、記憶された視聴者プロファイルに含まれている情報は、多くの視聴者が、モヒカン刈りの戦士の巫女に惹きつけられていることを示す。したがって、ＬＦ処理エンジン５３０は、ＬＦディスプレイシステム５００によって、オレンジ色のモヒカン刈りの女性の未開人のシャーマンとして表示されるように仮想キャラクタを拡張する。より明確には、ＬＦ処理エンジン５３０は、プレゼンテーション空間の視聴者の視聴者プロファイルにアクセスする。ＬＦ処理エンジン５３０は、各視聴者プロファイル内の情報をパラメータ化（例えば、定量化）する。例えば、ＬＦ処理エンジン５３０は、視聴者の年齢、場所、性別、選好などの特徴を定量化することができる。さらに、ＬＦ処理エンジン５３０は、視聴者プロファイルに含まれる他の情報をパラメータ化することができる。例えば、視聴者プロファイルは、視聴者が４人の強い女性の主役を含むゲームアプリケーションを実行しており、魔術師のクラス（ｍａｇｅ ｃｌａｓｓｅｓ）をプレイすることを好み、全般的にキャラクタにクレイジーなヘアカットを好むことを示し得る。視聴者プロファイルは、この傾向を定量化し得る（例えば、女性アスリートに対する視聴者の関心を示すスコアを生成する）。ＬＦ処理エンジン５３０は、パラメータ化されたユーザプロファイルを、入力パラメータに基づいて、仮想アスリートの特徴を生成するように構成されたＡＩモデル（例えば、ニューラルネットワーク）に入力し、それに応じて仮想キャラクタの特徴を受信する。次に、ＬＦ処理エンジン５３０は、仮想アスリートの特徴を、物理特徴のセットが与えられたアスリートを生成するように構成されたＡＩモデル（例えば、手続き型生成アルゴリズム）に入力し、仮想の女性アスリートを生成する。本開示では、ユーザがゲームアプリケーションで制御するエンティティとしてキャラクタの例を頻繁に使用しているが、いくつかのゲーム（パズルゲームまたはインディーゲームなど）では、制御されるエンティティは、意識を持たないオブジェクトであってもよい。例えば、パズルゲームでは、ホログラフィックビデオゲームの何らかの３Ｄカーソルによってブロックが移動させられ得る。
ＬＦ処理エンジン５３０は、プレゼンテーション空間に示されたゲームアプリケーションに基づいて、ホログラフィックコンテンツを作成することができる。例えば、プレゼンテーション空間で示されるゲームアプリケーションは、ゲームアプリケーションの特徴を記述するメタデータのセットに関連付けられている場合がある。メタデータは、例えば、設定、ジャンル、ゲームアプリケーションタイプ、テーマ、タイトル、プレイタイムなどを含み得る。ＬＦ処理エンジン５３０は、ゲームアプリケーションを記述するメタデータのいずれかにアクセスし、それに応じてプレゼンテーション空間内に提示するホログラフィックコンテンツを生成し得る。例えば、「Ｔｈｅ Ｅｘｃｅｌｌｅｎｔ Ｂｏｗｌ」というタイトルのゲームアプリケーションは、ＬＦディスプレイシステム５００で拡張されたプレゼンテーション空間でプレイしようとしているゲームである。ＬＦ処理エンジン５３０は、ゲームアプリケーションのメタデータにアクセスして、ゲームアプリケーションが始まる前にプレゼンテーション空間の壁にホログラフィックコンテンツを作成する。ここでは、メタデータは、Ｔｈｅ Ｅｘｃｅｌｌｅｎｔ Ｂｏｗｌに適切な活気のあるスタジアム設定を含む。ＬＦ処理エンジン５３０は、メタデータをＡＩモデルに入力し、それに応じて、プレゼンテーション空間の壁に表示するためのホログラフィックコンテンツを受信する。この例では、ＬＦ処理エンジン５３０は、ゲームアプリケーションがプレイされ始める前に、プレゼンテーション空間の壁に表示するために海辺の夕日を作成する。
一例では、ＬＦ処理エンジン５３０は、ＬＦディスプレイシステム５００を含むプレゼンテーション空間にいる視聴者に基づいて、ホログラフィックコンテンツを作成する。例えば、視聴者のグループは、ＬＦディスプレイシステム５００によって表示されるホログラフィックコンテンツによって拡張されるゲームアプリケーションのｅスポーツイベントを視聴するためにプレゼンテーション空間に入る。視聴者プロファイリングモジュール５２８は、プレゼンテーション空間内の視聴者の視聴者プロファイルと、プレゼンテーション空間内のすべての視聴者を表す集約視聴者プロファイルと、を生成する。ＬＦ処理エンジン５３０は、集約視聴者プロファイルにアクセスし、プレゼンテーション空間内の視聴者に表示するためのホログラフィックコンテンツを作成する。例えば、プレゼンテーション空間にいる視聴者は、選手権を目指して頑張っているチームを視聴しているｅスポーツファンのグループであり、したがって、集約視聴者プロファイルは、スポーツチームのスーパーファンに相応しいホログラフィックコンテンツを視聴者が楽しみ得ることを示す情報を含む（例えば、パラメータ化し、ＡＩモデルに入力することにより）。したがって、ＬＦ処理エンジン５３０は、プレゼンテーション空間がより騒々しい雰囲気（例えば、フォームフィンガ、声援、鳴り物など）であるようなホログラフィックコンテンツを生成する。
一例では、ＬＦ処理エンジン５３０は、ゲームアプリケーションの実行を視聴する視聴者の応答に基づいて、ホログラフィックコンテンツを作成する。例えば、プレゼンテーション空間の視聴者は、ゲームアプリケーションによって生成され、かつＬＦディスプレイシステム５００によって拡張されたプレゼンテーション空間にホログラフィックコンテンツとして提示されるビデオゲームデータを視聴している。追跡モジュール５２６および視聴者プロファイリングモジュール５２８は、ビデオゲームデータを視聴している視聴者の反応を監視する。例えば、追跡モジュール５２６は、ビデオゲームデータを視聴しているときの視聴者の画像を取得し得る。追跡モジュール５２６は、視聴者を識別し、視聴者プロファイリングモジュール５２８は、マシンビジョンアルゴリズムを使用し、画像に含まれる情報に基づいて、視聴者の反応を判定し得る。例えば、ＡＩモデルを使用して、ビデオゲームデータを視聴している視聴者が笑顔であるかどうかを識別することができ、それに応じて、視聴者プロファイリングモジュール５２８は、笑顔に基づいて、視聴者がビデオゲームデータに対して肯定的な応答を有しているか、否定的な応答を有しているかを視聴者プロファイルに示すことができる。他の反応も判定され得る。追跡モジュールは、視聴者の位置、視聴者の動き、視聴者のジェスチャ、視聴者の表現、視聴者の年齢、視聴者の性別、視聴者の民族性または視聴者が着用する衣服を含む視聴者に関する情報を判定し得る。この情報は、視聴者プロファイルを生成するために、視聴者プロファイリングモジュール５２８と共有され得る。
ＬＦ処理エンジン５３０は、既存の、または提供された広告コンテンツに基づいて、ホログラフィックコンテンツを作成し得る。すなわち、例えば、ＬＦ処理エンジン５３０は、ネットワークインターフェース５２４を介して、ネットワークシステムに広告を要求することができ、ネットワークシステムが、それに応じてホログラフィックコンテンツを提供し、ＬＦ処理エンジン５３０が、広告を含む、表示のためのホログラフィックコンテンツを作成する。広告のいくつかの例としては、製品、テキスト、ビデオなどを挙げることができる。広告は、特定の視聴ボリュームに、その視聴ボリューム内の視聴者に基づいて提示され得る。同様に、ホログラフィックコンテンツは、広告（例えば、プロダクトプレイスメント）で、ビデオゲームデータを拡張し得る。最も一般的には、ＬＦ処理エンジン５３０は、前述のように、プレゼンテーション空間内の視聴者の特徴および／または反応のうちのいずれかに基づいて、広告コンテンツを作成することができる。
コンテンツを作成する前述の例は、限定的なものではない。最も広義には、ＬＦ処理エンジン５３０は、ＬＦディスプレイシステム５００の視聴者に提示するためのホログラフィックコンテンツを作成する。ホログラフィックコンテンツは、ＬＦディスプレイシステム５００に含まれる情報のいずれかに基づいて作成され得る。
ゲームネットワーク
図５Ｂは、１つ以上のゲームシステム（例えば、ゲームシステム５６０Ａ、５６０Ｂ、５６０Ｃなど）からなる、１つ以上の実施形態による例示的なＬＦゲームネットワーク５５０を示す。各ゲームシステムは、ＬＦディスプレイシステム（例えば、ＬＦディスプレイシステム５００Ａ、５００Ｂなど）と、ゲームアプリケーションとを含み得るか、またはゲームアプリケーションを備えたスタンドアロンゲームシステム（例えば、ゲームシステム５６０Ｃ）であり得る。ＬＦディスプレイシステムは、本明細書に記載のＬＦディスプレイシステム（例えば、ＬＦディスプレイシステム１００、４００、５００）と同様に構成され得る。ゲームアプリケーションは、ホログラフィックビデオゲームデータを生み出し得るビデオゲームを実行するように構成された１つのソフトウェアである。いくつかの実施形態では、ゲームアプリケーションは、ホログラフィックビデオゲームデータおよび２Ｄデータの両方を生み出すことができ、またはゲームアプリケーションの別個のバージョンがあり得、そのうちの１つだけがホログラフィックビデオゲームデータを生み出す。
ＬＦディスプレイシステムは、ホログラフィックビデオゲームデータを使用して、ビデオゲームデータを提示するためのホログラフィックビデオゲームコンテンツを生成し得る。ＬＦゲームネットワーク５５０はまた、ゲームサーバ５５４、ネットワークシステム５５６、およびネットワーク５５２を含む。以下でより詳細に説明するように、ゲームサーバは、ゲームを運用管理する（すなわち、ゲームアプリケーション５９０を管理および／または調整する）ために採用され得る。ネットワークシステムは、ゲームアプリケーション、ビデオゲームデータ、およびホログラフィックビデオゲームコンテンツのデジタル権利および配信を管理するように構成され得る。ネットワーク５５２は、情報がＬＦゲームネットワーク５５０内のエンティティ間を移動することを可能にするネットワークである。他の実施形態では、ＬＦゲームネットワーク５５０は、本明細書に記載されているものよりも追加のまたは少ないモジュールを含む。同様に、機能は、本明細書の記載とは異なる方法で異なるエンティティ間に分散され得る。
より広義には、ゲームサーバ５５４はビデオゲームデータを生成する。いくつかの実施形態では、このビデオゲームデータは、ホログラフィックビデオゲームコンテンツであり得る。他の実施形態では、ゲームサーバ５５４は、１つ以上のゲームアプリケーションインスタンスのためのビデオゲームを運用管理する。ゲームサーバは、ルールを実施し、ゲーム状態を把握し、および／または複数のゲームアプリケーション間でゲーム状態を同期させることができる。これらの実施形態では、各ビデオゲームアプリケーション５９０は、対応するＬＦディスプレイシステム５００Ａまたは５００Ｂによる提示のためのホログラフィックビデオゲームコンテンツを生成し得る。ホログラフィックビデオゲームコンテンツは、ビデオゲームを示すときにＬＦディスプレイシステムによって投影され得るイベントの任意の記録された感覚データまたは合成データとともに、ホログラフィックビデオコンテンツからなり得る。例えば、感覚データは、記録された音声、記録された画像、オブジェクトとの記録されたインタラクションなどを含み得る。他の多くのタイプの感覚データが使用され得る。説明のために、記録された視覚的コンテンツは、３Ｄグラフィックスシーン、３Ｄモデル、オブジェクト配置、テクスチャ、色、陰影、および照明、ＡＩモデルおよび同様のビデオゲーム変換の大規模なデータセットを使用してホログラフィックフォーマットに変換できる２Ｄビデオゲームデータ、深度チャネルの有無にかかわらず、多くのカメラを備えたカメラリグからのマルチビューカメラデータ、プレノプティックカメラデータ、ＣＧコンテンツ、または本明細書に記載のイベントの他のタイプの記録された感覚データを含み得る。
いくつかの構成では、ホログラフィックビデオゲームコンテンツは、独自のエンコーダを介して符号化されて、ビデオゲーム用のホログラフィックビデオゲームコンテンツを、上述のようにベクトル化されたデータフォーマットに低減する符号化動作を実行し得る。場合によっては、ゲームサーバ５５４は、ホログラフィックビデオゲームコンテンツを生成し、ネットワーク５５４を介して送信される前に、上述のようにベクトル化されたフォーマットに符号化する。データをベクトル化されたデータに符号化することは、画像処理、音声処理、またはネットワーク５５２を介して送信することがより容易なデータセットの低減をもたらし得る任意の他の計算を含み得る。エンコーダは、ビデオゲーム製作業界の専門家が使用するフォーマットをサポートしている場合がある。他の構成では、ゲームサーバ５５４は、コンテンツを符号化することなく、ホログラフィックビデオゲームコンテンツをネットワークシステム５５６およびまたはＬＦディスプレイシステムに送信し得る。他の構成では、ゲームサーバ５５４は、通常のビデオゲームデータをビデオゲームアプリケーション５９０に送信し、ビデオゲームアプリケーション５９０は、ホログラフィックビデオゲームデータを生成し、ホログラフィックビデオゲームデータは、次に、ＬＦディスプレイシステム５００Ａまたは５００Ｂのベクトル化されたフォーマットに符号化され得る。
各ゲームシステム（例えば、５６０Ａ、５６０Ｂ、５６０Ｃ）は、ネットワークインターフェース（例えば、ネットワークインターフェース５２４）を介してネットワーク５５２から、ビデオゲームデータを受信し得る。いくつかの実施形態では、上記のように、ビデオゲームデータは、ベクトル化されたフォーマットに符号化されている可能性のあるホログラフィックビデオゲームデータであり得、各ＬＦディスプレイシステム５００のＬＦ処理エンジン５３０は、符号化されたホログラフィックビデオゲームコンテンツを復号化するデコーダを含む。他の実施形態では、通常のビデオゲームデータは、ゲームアプリケーション５９０によって受信され、ゲームアプリケーションは、ＬＦ処理エンジン５３０に送信される前に符号化される場合がある、またはされない場合があるホログラフィックビデオゲームデータを生成する。符号化されたデータを受信すると、ＬＦ処理エンジン５３０は、デコーダによって提供される復号化アルゴリズムを、受信された符号化されたホログラフィックゲームコンテンツに適用することによって、ＬＦディスプレイアセンブリ５１０にラスタライズされたデータを生成する。いくつかの例では、ＬＦ処理エンジンは、本明細書で説明するように、ＬＦディスプレイシステムの追跡モジュール、視聴者プロファイリングモジュール、および感覚フィードバックシステムからの入力を使用して、ＬＦディスプレイシステムにラスタライズされたデータをさらに生成し得る。いくつかの実施形態では、ＬＦディスプレイアセンブリ５１０のために生成されたラスタライズされたデータは、ゲームアプリケーション５９０によって生成されたゲームコンテンツを再現し、これが次に、ゲームサーバ５５４によって運用管理される。重要なことに、各ＬＦディスプレイシステム５００Ａおよび５００Ｂは、ゲームシステムがある場所の形状、解像度などの点で、ＬＦディスプレイアセンブリの特定の構成に適したラスタライズされたデータを生成する。いくつかの構成では、符号化および復号化のプロセスは、顧客を表示するために提供されるか、サードパーティによってライセンス供与され得る独自の符号化／復号化システムのペア（すなわち「コーデック」）の一部である。場合によっては、符号化／復号化システムのペアは、コンテンツ作成者に共通のプログラミングインターフェースを提供し得る独自のＡＰＩとして実装され得る。
いくつかの構成では、ＬＦゲームネットワーク５５０内の様々なＬＦゲームシステム５６０Ａ、５６０Ｂは、それぞれ、対応するＬＦディスプレイシステム５００Ａ、５００Ｂの異なるＬＦディスプレイアセンブリ５１０に対応する異なるハードウェア構成を有し得る。ハードウェア構成は、物理システム、エネルギー源、エネルギーセンサ、触覚インターフェース、センサ機能、解像度、視野、ＬＦディスプレイモジュール構成、またはＬＦゲームネットワーク５５０内のシステムの任意の他のハードウェア記述の配置を含み得る。各ハードウェア構成は、異なるデータフォーマットで感覚データを生成または利用し得る。したがって、デコーダシステムは、ＬＦディスプレイシステムのために符号化されたゲームコンテンツを復号化するように構成され得、ＬＦディスプレイシステムにゲームコンテンツが提示される。例えば、ＬＦゲームシステム５６０Ａは、対応するＬＦディスプレイシステム５００Ａの入力としてホログラフィックゲームコンテンツを生成するゲームアプリケーション５９０を実行する。ＬＦディスプレイシステム５００Ａは、第１のハードウェア構成を有し、復号化システムは、ゲームシステム５６０Ａのこの第１のハードウェア構成を説明する情報にアクセスする。復号化システムは、アクセスされたハードウェア構成を使用して、符号化されたゲームコンテンツを復号化し、その結果、復号化されたゲームコンテンツは、受信側ＬＦディスプレイシステム５００ＡのＬＦ処理エンジン５３０によって処理され得る。ＬＦ処理エンジン５３０は、特定のハードウェア構成の解像度、視野、度当たりの投影光線などにとらわれないフォーマットにおいて生成されているにもかかわらず、第１のハードウェア構成にラスタライズされたゲームコンテンツを生成および提示する。同様の方法で、ＬＦゲームシステム５６０Ｂのゲームアプリケーション５９０によって生成された同様のホログラフィックゲームコンテンツは、第２のハードウェア構成によって提示することができる。一般に、ホログラフィックゲームコンテンツは、対応するＬＦディスプレイシステム５００Ａ、５００ＢのＬＦディスプレイアセンブリのハードウェア構成が何であれ、任意のゲームシステム（例えば、ゲームシステム５６０Ａ、５６０Ｂ）に対して生成され得る。ハードウェア構成に含まれ得る他の様々な態様は、解像度、度当たりの投影光線の数、視野、表示面上の偏向角、および表示面の次元などを含み得る。追加的に、ハードウェア構成はまた、ＬＦディスプレイアセンブリのディスプレイパネルの数、ディスプレイパネルの相対的な配向、ディスプレイパネルの高さ、ディスプレイパネルの幅、およびディスプレイパネルのレイアウトを含み得る。
同様に、ＬＦゲームネットワーク５５０内の様々なゲームシステムは、異なる幾何学的配向を有し得る。幾何学的配向は、ゲームシステムのＬＦディスプレイシステムに含まれる様々なモジュールおよびシステムの物理的なサイズ、レイアウト、および配置を反映している。したがって、デコーダシステムは、幾何学的構成でＬＦディスプレイシステムのために符号化されたゲームコンテンツを復号化するように構成され得、ＬＦディスプレイシステムにゲームコンテンツが提示される。例えば、第１の幾何学的構成を有するＬＦディスプレイシステム（例えば、ＬＦディスプレイシステム５００Ａ）を含むゲームシステム（例えば、ゲームシステム５６０Ａ）は、任意の特定の幾何学的構成にとらわれないゲームコンテンツを生成するゲームサーバ（例えば、ゲームサーバ５５４）から符号化されたゲームコンテンツを受信する。復号化システムは、ＬＦゲームシステム５６０Ａの第１の幾何学的構成を説明する情報にアクセスする。復号化システムは、アクセスされた幾何学的構成を使用して、符号化されたゲームコンテンツを復号化し、その結果、復号化されたゲームコンテンツは、受信側ＬＦディスプレイシステム５００ＡのＬＦ処理エンジン５３０によって処理され得る。ＬＦ処理エンジン５３０は、特定の幾何学的構成にとらわれないフォーマットにおいて記録されているにもかかわらず、第１の幾何学的構成のためにコンテンツを生成および提示する。同様の方法で、ゲームサーバ５５４によって生成されたホログラフィックコンテンツは、幾何学的構成が何であれ、任意のＬＦゲームシステム（例えば、ＬＦディスプレイシステム５６０Ｂ）によって提示することができる。幾何学的構成に含まれ得る他の様々な態様は、ＬＦディスプレイアセンブリのディスプレイパネル（または表面）の数、ディスプレイパネルの相対的な配向を含み得る。
同様に、ＬＦゲームネットワーク５５０内の様々なゲーム表示エリア空間は、異なる構成を有し得る。プレゼンテーション空間の構成は、ホログラフィックオブジェクトボリュームの数および／または位置、視聴ボリュームの数および／または位置、ならびにＬＦディスプレイシステムに対する視聴場所の数および／または位置のうちのいずれかを反映する。したがって、デコーダシステムは、ゲーム表示エリアのために符号化されたゲームコンテンツを復号化するように構成され得、ゲーム表示エリアにゲームコンテンツが提示される。例えば、第１のゲーム表示エリア空間を有するＬＦディスプレイアセンブリ５１０を備えたＬＦディスプレイシステム（例えば、ＬＦディスプレイシステム５００Ａ）を有するゲームシステム（例えば、ゲームシステム５６０Ａ）は、汎用ゲーム表示エリア（または他の何らかの空間）のために生成されたゲームアプリケーション５９０からの符号化されたゲームコンテンツを受信する。復号化システムは、ＬＦディスプレイシステム５００Ａに固有のゲーム表示エリア空間を説明する情報にアクセスする。復号化システムは、適切なゲーム表示エリアのために符号化されたビデオゲームコンテンツを復号化し、その結果、復号化されたデータは、ゲーム表示エリアに設置されたＬＦ処理エンジン５３０によって処理され得る。ＬＦ処理エンジン５３０は、一般的なゲーム表示エリアでの提示のために生成されているにもかかわらず、ゲーム表示エリアのコンテンツを生成および提示する。
ネットワークシステム５５６は、ＬＦゲームネットワーク５５０内のシステム間のゲームコンテンツの送信を管理するように構成された任意のシステムである。例えば、ネットワークシステム５５６は、ゲームシステム５６０Ａからゲームコンテンツのリクエストを受信し、ゲームサーバ５５４からディスプレイシステム５００Ａへのゲームコンテンツの送信を容易にし得る。ネットワークシステム５５６はまた、ＬＦゲームネットワーク５５０内の他のゲームシステム５６０への送信および／またはそれらによる記憶のために、ゲームコンテンツ、視聴者プロファイル、追加のホログラフィックまたは感覚コンテンツなどを記憶し得る。ネットワークシステム５５６はまた、前述のようにホログラフィックコンテンツを生成することができるＬＦ処理エンジン５３０を含み得る。
ネットワークシステム５５６は、ゲームコンテンツのデジタル権利を管理するためのデジタル権利管理（ＤＲＭ）モジュールを含み得る。前に考察したように、場合によっては、ゲームサーバは、通常の非ホログラフィックゲーム状態データのみを１つ以上のゲームアプリケーション５９０と交換する。他の場合では、ゲームサーバ５５４は、ホログラフィックコンテンツをネットワークシステム５５６に送信し得、ＤＲＭモジュールは、デジタル暗号化フォーマットを使用して、ホログラフィックコンテンツを暗号化し得る。他の例では、ゲームサーバ５５４は、記録されたライトフィールドデータを、ＤＲＭモジュールによって管理することができるホログラフィックコンテンツフォーマットに符号化する。ネットワークシステム５５６は、ＬＦゲームシステム５６０Ａまたは５６０ＢのＬＦディスプレイシステムにデジタル暗号化鍵に鍵を提供し得、その結果、対応する各ＬＦディスプレイシステム５００Ａまたは５００Ｂが、それぞれ、ホログラフィックコンテンツを解読し、続いて視聴者に表示することができる。最も一般的には、ネットワークシステム５５６および／またはゲームサーバ５５４は、ビデオゲームデータを符号化し、ＬＦディスプレイシステムは、ビデオゲームデータを復号化し得る。
ネットワークシステム５５６は、以前に記録および／または作成されたホログラフィックコンテンツ（例えば、ゲームコンテンツ）のリポジトリとして機能し得る。ホログラフィックコンテンツの各部分は、受信されると、ネットワークシステム５５６に、トランザクション料金を提供するＬＦディスプレイシステム５００にホログラフィックコンテンツを送信させる取引料金に関連付けることができる。例えば、ＬＦディスプレイシステム５００Ａは、ネットワーク５５２を介してホログラフィックコンテンツへのアクセスを要求し得る。リクエストには、ホログラフィックコンテンツの取引料金が含まれる。それに応答して、ネットワークシステム５５６は、ホログラフィックコンテンツをＬＦディスプレイシステムに送信して、視聴者に表示する。他の例では、ネットワークシステム５５６は、ネットワークシステムに記憶されたホログラフィックコンテンツのサブスクリプションサービスとしても機能することができる。別の例では、ゲームサーバ５５４は、ゲームデータをリアルタイムで処理し、ビデオゲームを表すホログラフィックコンテンツを生成している。ゲームシステム５６０Ａは、ゲームコンテンツのリクエストをゲームサーバ５５４に送信する。リクエストには、ゲームコンテンツの取引料金が含まれる。それに応答して、ゲームサーバ５５４は、ゲームシステム上に表示するためのゲームコンテンツを送信する。一例として、ゲームシステム５６０Ａのユーザは、支払いをネットワークシステム５５６に送信して、ゲームアプリケーション５９０内の自身のキャラクタの特定の衣装にアクセスし得る。より一般的には、ネットワークシステム５５６は、取引料金を交換すること、および／またはネットワーク５５２を横切るホログラフィックコンテンツデータフローを管理することにおいて仲介者として機能し得る。追加的に、場合によっては、ネットワークシステムは、ホログラフィックコンテンツを受信するＬＦディスプレイシステムによって提示可能であるように、ホログラフィックコンテンツを修正することができる。
いくつかの例では、ネットワークシステム５５６は、ゲームアプリケーション（例えば、ＳＴＥＡＭ）のためのプラットフォームとして機能し得る。この場合、ネットワークシステムは、保存ファイル、プロファイル、デジタル権利、支払い情報、ゲームシステム構成情報などを記憶し得る。さらに、ネットワークシステムは、ゲームネットワーク５５０内のゲームシステムが追加のゲームアプリケーションにアクセスしてダウンロードし得るように、異なるゲームアプリケーションを記憶し得る。ネットワークシステム５５０はまた、特定のゲームアプリケーションに関連付けられた前述の情報のいずれかを記憶し得る。例えば、ネットワークシステムは、ネットワーク内の特定のゲームシステムにインストールされた第１のゲームアプリケーションおよび第２のゲームアプリケーションのデジタル権利を記憶し得る。別の例では、ネットワークシステムは、ユーザがＬＦゲームネットワーク５５６内の異なるゲームシステムから保存ファイルにアクセスすることができるように、複数のゲームアプリケーション用の保存ファイルを記憶し得る。
ネットワーク５５２は、ＬＦゲームネットワーク５５０内のシステム間の通信経路を表す。一実施形態では、ネットワークはインターネットであるが、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、モバイル、有線またはワイヤレスネットワーク、クラウドコンピューティングネットワーク、プライベートネットワーク、または仮想プライベートネットワーク、およびそれらの任意の組み合わせを含むがこれらに限定されない任意のネットワークであり得る。さらに、リンクのすべてまたは一部は、セキュアソケットレイヤ（ＳＳＬ）、Ｓｅｃｕｒｅ ＨＴＴＰ、および／または仮想プライベートネットワーク（ＶＰＮ）など従来の暗号化技術を使用して暗号化できる。別の実施形態では、エンティティは、上記のものの代わりに、またはそれに加えて、カスタムおよび／または専用のデータ通信技術を使用することができる。
ゲームネットワークにおけるゲームアプリケーション
上記のように、ゲームシステムは、各々対応するＬＦディスプレイシステム５００Ａ、５００Ｂをそれぞれ備えた様々なＬＦゲームシステム５６０Ａ、５６０Ｂを含むことができ、ゲームシステムは、一緒にネットワーク化されて、ＬＦゲームネットワーク５５０を形成することができる。ゲームネットワーク５５０内で、ゲームシステムはゲームアプリケーションを実行する。ゲームアプリケーションは、スタンドアロンハードウェアで実行することも、ＬＦディスプレイシステムに組み込むこともできる。いずれの場合も、ゲームアプリケーションは、ユーザがビデオゲームに参加することを可能にするソフトウェアプログラムである。ビデオゲームは、例えば、シミュレーション、ストラテジ、バトルロワイヤルなどを含む、様々なカテゴリを含む。ビデオゲームは、ゲームアプリケーションを実行するユーザにエンターテインメントを提供し得るコンテンツを生成する。
ゲームアプリケーション（例えば、ゲームアプリケーション５９０）によって生成されたビデオゲームコンテンツは、ＬＦディスプレイシステム（例えば、ＬＦディスプレイシステム５００Ａ）にホログラフィックコンテンツとして表示され得る。ゲームアプリケーション５９０は、ビデオゲームコンテンツを表すいくつかのデータフォーマットのうちの１つをコントローラ（例えば、コントローラ５２０）に提供し、ＬＦ処理エンジン（例えば、ＬＦ処理エンジン５３０）は、ビデオゲームコンテンツからホログラフィックコンテンツを生成する。
一実施形態では、コントローラ５２０に入力されるデータ（「入力データ」）は、ゲームアプリケーション５９０から生じる。例えば、入力データは、ゲームアプリケーション内からのコンピュータ生成（「ＣＧ」）シーンを表すことができる。シーンには、例えば、形状、テクスチャ、照明、および材料特性が含まれ得る。シーンはいくつかの方法に従ってレンダリングされ得る。例えば、深度チャネルの有無にかかわらず、複数の視点に対応する複数のビューで、４Ｄまたは５Ｄ（４Ｄ＋深度）ライトフィールドとして、深層画像（つまり、Ｘ－Ｙエネルギー源位置座標当たりの複数のＲＧＢＡＺ（赤、緑、青、アルファ、およびＺ）サンプルを可能にするフォーマット）として、より大きな解像度の中央ビューおよびより低い解像度の複数の視点に対応する複数の側面ビューとして、データのためにより低い帯域幅を得るための深度マップとして、増分ＲＧＢチャネルデータセットの違いのみが記録される、異なる視点に対応する複数の側面ビューを有する複数のビューとして、レンダリングされる。レンダリングは、任意の数の方法を組み合わせ得るか、またはここに開示されていない追加の方法を含み得る。より一般的には、入力データは、ライトフィールドのデータおよびすべての投影されたホログラフィック面上の視野角の関数としての光強度を説明するデータを保持するフォーマットでレンダリングされ得る。
一実施形態では、ゲームアプリケーション５９０は、ディスプレイアセンブリ５１０のハードウェア構成（解像度、度当たりの光線、形状など）に関するメタデータをゲームサーバ５５４に提供し、ゲームサーバ５５４は、これを使用して、ラスタライズされたＬＦデータを生成する。次に、ラスタライズされたＬＦデータは、場合によっては、さらなる操作のために、ネットワーク５５２を介してＬＦディスプレイシステムに提供されて、ＬＦディスプレイアセンブリ５１０に表示される前に、表示較正（例えば、必要なワーピング、局所色較正など）を考慮に入れる。他の実施形態では、ゲームサーバ５５４は、いくつかの共通のハードウェア構成をサポートし、ＬＦデータの２つ以上のストリームをゲームアプリケーション５９０に送達する。
いくつかの例では、ゲームアプリケーションまたはゲームシステムには、入力データからのホログラフィックコンテンツの生成を可能にするツールが提供され得る。例えば、ゲームアプリケーションには、レンダリングされた入力データをホログラフィック出力データに変換して、ＬＦディスプレイシステム５００内のＬＦコントローラ５２０のＬＦ処理エンジン５３０に提示されることを可能にするツールキット、ライブラリ、コーデック、アプリケーションプログラミングインターフェース（ＡＰＩ）など（「ツール」）が提供され得る。さらに、ツールは、ゲームアプリケーションおよび／またはゲームシステムが、特定のＬＦディスプレイシステムのために入力データを変換することを可能にし得る。例えば、ＬＦディスプレイシステムの複数のモデルを考慮して、ゲームアプリケーションは、入力データをＬＦディスプレイシステムのこれらすべてのモデルで使用できるようにするツールを採用し得る。
異なるエネルギー領域（例えば、音声、触覚など）のホログラフィックコンテンツも、ＬＦ処理エンジン５３０に入力されたビデオゲームデータから生成され得る。例えば、入力データには、ゲームからの音声データ（例えば、声または発砲）が含まれ得る。ＬＦ処理エンジン５３０は、符号化された音声データを備えたホログラフィックコンテンツを生成し得る。別の例では、入力データには、表面テクスチャまたは（例えば、爆発または白兵戦からの）伝播する圧力波に関する触覚情報が含まれ得る。この場合、ＬＦ処理エンジン５３０は、感覚フィードバックシステム５７０の一部として超音波トランスデューサを備えたＬＦディスプレイシステムが、超音波エネルギー波および／またはホログラフィックビデオゲームデータ内の表面を表す触覚表面を生成することを可能にするホログラフィックコンテンツを生成し得る。場合によっては、ＬＦ処理エンジン５３０は、感覚データのない入力データを解釈し、そのデータの感覚コンテンツを生成し得る。例えば、入力データは、爆発の視覚的表現のみを含み得、ＬＦ処理エンジン５３０は、爆発の触覚フィードバックを含む、対応するホログラフィックコンテンツを生成し得る。
ゲームアプリケーションは、ＬＦゲームネットワーク内で様々な方法で実装され得る。例えば、ゲームアプリケーションは、クライアントサーバゲームアプリケーションとして実装され得る。これらの例では、ゲーム状態の運用管理を担当する、権限のあるシングルまたはマルチプレーヤサーバ（例えば、ゲームサーバ５５４）がある。１つ以上のゲームシステム（例えば、ＬＦゲームシステム５６０Ａ）上で実行される１つ以上のプレーヤクライアント（例えば、ゲームアプリケーション５９０）は、このゲームサーバに接続してゲームに参加することができ、それによってゲーム状態に影響を及ぼす。本明細書では、ゲームサーバ５５４は、例えば、ゲームシステムからの入力の収集、クライアントからのタイムスタンプの収集、接続されたゲームシステム間のゲーム状態の同期、ゲームアプリケーションのグローバルルールの実施、ゲームアプリケーションのアクションの検証と実施、接続されたゲームシステムへのゲーム状態のスナップショットの送信などを含む、様々な方法を使用して、１つ以上のゲームアプリケーションのゲーム体験を運用管理し得る。他の例も可能である。
クライアントサーバアーキテクチャは、ゲームアプリケーション５９０が、実行のためにユーザ入力をゲームサーバ５５４に転送することを可能にする。例えば、ユーザは、ローカル計算デバイス（例えば、ＬＦゲームシステム５６０Ａ）からゲームアプリケーションを実行し、ゲームサーバ５５４は、プレーヤから離れた計算デバイス上に存在する。一実施形態では、ゲームシステム５６０Ａは、ゲームアプリケーション（例えば、ゲームアプリケーション５９０）のあるバージョンを実行し得、サーバは、ゲームアプリケーションの同一のバージョンを実行し得る。この実施形態では、ホログラフィックビデオゲームデータは、ネットワーク５５２を介して転送されない。別の実施形態では、ゲームサーバ５５４は、マルチプレーヤ接続を管理するように構成されたゲームアプリケーションのあるバージョンを実行し得る。ゲームサーバ５５４は、ゲームシステム５６０Ａ上で実行されるゲームアプリケーション５９０からサンプリングされた入力データを受信し、入力を使用して、ホログラフィックビデオゲームコンテンツを生成する。少なくとも１つの実施形態では、このホログラフィックビデオゲームデータは（例えば、ベクトル化されたフォーマットに）符号化され、ネットワーク５５２を介してＬＦゲームシステム５６０Ａ、５６０Ｂに転送される。
クライアントサーバアーキテクチャでは、ゲームアプリケーションのゲーム状態は、ゲームサーバ５５４によって維持される。ゲーム状態には、ゲームの実行に必要なすべてのデータおよび論理が含まれる。ゲーム状態情報のいくつかの例としては、例えば、現在のプレーヤのリソース、位置、およびある時点でのゲームのスナップショットを構成するすべてのオブジェクトが挙げられる。一般に、ゲームサーバ５５４にアクセスするゲームシステムは、メインゲーム状態を定義することを許可されておらず、むしろサーバからそれを受信する。ただし、プレーヤに即時の応答性の錯覚を提供するために、ゲームシステムはゲームの流れを予測し、プレーヤに示されるソフトな変更をゲームの状態に加える場合がある。この場合、ゲームサーバ５５４は、サーバからの到着時にサーバのゲーム状態の更新との調停を介して、これらの変更のいくつかを調整または消去さえし得る。更新されたサーバゲーム状態が到着すると、ゲームシステムでのゲームアプリケーションの予測された状態が、更新されたゲーム状態と、ゲームシステムがサーバに送信したがまだ受信確認されていないプレーヤ入力とから再計算される。ゲームシステムに応答する際に、ゲームサーバ５５４はまた、ラグ補償（例えば、発砲したクライアントが発砲時に何を見たかを判定して、その前の時間に標的が撃たれたかどうかを判定するために適切な量だけ時間を巻き戻す）などの技術を使用して、ネットワーク遅延を考慮に入れることによってゲーム状態を計算し得る。ゲーム論理を実行しているゲームサーバ５５４からゲームシステムが受信するデータは、ゲームデータとして知られることがある。
いくつかの実施形態では、図５Ｂに示すＬＦゲームネットワークは、代替の構成を有し得る。例えば、一実施形態では、ゲームアプリケーション５９０は、サーバおよびクライアントの両方である。ゲームアプリケーション５９０は、アプリケーションがネットワークを介した他の接続を許可し始める時（おそらくゲームプレイの途中）まで、サーバではなくシングルプレーヤである可能性がある。この場合、アプリケーションは、マルチプレーヤゲームの権限であると同時に、シングルプレーヤゲームのクライアントおよびインターフェースでもある。これは、ゲームの子プロセスとしてサーバを生成するように実装され得る場合がある。Ｍｉｎｅｃｒａｆｔはそのようなゲームの一例であり、アプリケーションの子プロセスが、アプリケーションのユーザが（ゲームが実行しており、キャラクタが子サーバプロセスによって駆動される世界にいる間に）ＵＩボタンをクリックしない限り、ローカルホストのみを聞くサーバであるように設計されている。ＵＩボタンは、次にネットワークインターフェース５２４へのポートを開く。
別の例では、ゲームアプリケーションは、ＬＦゲームネットワーク５５０内のリモートレンダリングを備えたサービスとしてのゲーム（ｇａｍｉｎｇ－ａｓ－ａ－ｓｅｒｖｉｃｅ ｗｉｔｈ ｒｅｍｏｔｅ ｒｅｎｄｅｒｉｎｇ）（ＲＲ－ＧａａＳ）アーキテクチャ（「リモートレンダリングアーキテクチャ」）として実装され得る。リモートレンダリングアーキテクチャでは、ゲームアプリケーションのインスタンスが、ＬＦゲームネットワーク５５０のリモートサーバ（例えば、ゲームサーバ５５４）に存在する。エンコーダモジュールが、フレームごとにゲームシーンをレンダリングし、シーンのデータを圧縮し、シーンのデータをクライアント（例えば、ＬＦゲームシステム５６０Ａ）に送信する。データを受信するＬＦゲームシステムは、ホログラフィックビデオゲームデータを復号化して表示する。ゲームシステムを動作させるプレーヤは、データがゲームサーバ５５４からストリーミングされるときに、ゲームシステムに表示されるコンテンツとインタラクトする。プレーヤの応答は符号化されてゲームサーバ５５４上のデコーダに送信され、ゲームサーバ５５４はこれらのプレーヤの応答を復号化し、それらをゲーム状態の制御入力として採用する。このリモートレンダリングモデルは、ビデオをローカルクライアントに転送するために広い帯域幅を必要とするが、ゲームエンジンの計算をゲームサーバ５５４上に保つ。
リモートレンダリングアーキテクチャでは、ゲームサーバは、ゲームサーバ５５４上で運用管理されるゲームのホログラフィックコンテンツを生成するＬＦ処理エンジン（例えば、ＬＦ処理エンジン５３０）を採用し得る。ゲームサーバ５５４は、ホログラフィックビデオゲームコンテンツをベクトル化されたフォーマットに圧縮し、それをコーデックで符号化し、データをネットワーク５５２を介してＬＦゲームシステム５６０Ａ、５６０Ｂに送信する。受信側ＬＦゲームシステム５６０Ａ、５６０ＢのＬＦディスプレイシステム５００Ａ、５００Ｂは、それぞれ、ＬＦディスプレイシステム５００Ａ、５００Ｂを使用するクライアントに表示するために、ベクトル化されたデータをラスタライズされたフォーマットに復号化する。
リモートレンダリングアーキテクチャでは、ＬＦゲームシステム５６０Ａ、５６０ＢのＬＦディスプレイシステム５００Ａ、５００Ｂは、ホログラフィックビデオゲームコンテンツを表示するときに、ゲームシステム５６０Ａ、５６０Ｂの対応するＬＦディスプレイアセンブリ５１０の正確なハードウェア構成（例えば、解像度、ＦＯＶ、ディスプレイパネルトポロジ、偏向角度、較正データなど）および／または視聴ボリュームを考慮に入れることができる。一例では、ＬＦディスプレイシステムは、構成またはデータベースファイルのセットを読み取って、ホログラフィックコンテンツを提示するための適切な表示命令を生成し得る。復号化コーデックは、データの符号化に使用されるコーデックと同じであってもよく、これは、ＬＦディスプレイシステムの製造業者またはゲーム開発者に独自のものであってもよい。上で考察したクライアントサーバアーキテクチャと同様に、更新されたホログラフィックビデオゲームコンテンツへの応答としてのプレーヤ入力は、従来のデバイス（例えば、キーボードまたはジョイスティック）を使用してサンプリングされ、ゲームサーバ５５０に転送され得る。
別の例では、ゲームアプリケーションは、ＬＦゲームネットワーク５５０内のローカルレンダリングを備えたサービスとしてのゲーム（ｇａｍｉｎｇ－ａｓ－ａ－ｓｅｒｖｉｃｅ ｗｉｔｈ ｌｏｃａｌ ｒｅｎｄｅｒｉｎｇ）（ＬＲ－ＧａａＳ）アーキテクチャ（「ローカルレンダリングアーキテクチャ」）として実装され得る。ローカルレンダリングアーキテクチャでは、ゲームアプリケーションのインスタンスは、ＬＦゲームネットワーク５５０内のゲームサーバ上に存在するが、ゲームサーバ５５４は、ゲームシステムに送信するために、ホログラフィックビデオコンテンツをレンダリングしない。代わりに、ゲームサーバ５５４は、１つ以上の接続されたゲームシステムからの入力を受信し、入力に対してゲーム論理を実行し、続いて、接続されたゲームシステムのゲーム状態を判定する。ゲームサーバ５５４は、ネットワーク５５２を介して、接続されたゲームシステムにゲーム状態データを送信し、各ゲームシステムは、ゲーム状態のホログラフィックビデオゲームコンテンツをローカルでレンダリングする。一実施形態では、ゲームサーバ５５４は、ゲーム状態データを、各ゲームシステムが各フレームを独立して描画することを可能にする高レベルのレンダリング命令として送信する。別の実施形態では、ゲームアプリケーションのインスタンスは、ゲームシステム上でローカルに実行され得、ゲームサーバは、ゲーム状態データを送信して、ローカルゲームアプリケーションのゲーム状態を更新するように構成されている。この場合、ゲームアプリケーションは、（例えば、対戦相手による動きまたは他のゲームプレイアクションを説明するために）現在のゲーム状態を１秒間に何度もローカルで更新およびレンダリングし得る。
このローカルレンダリングアーキテクチャでは、ゲームシステム上で実行されるゲームアプリケーションは、ローカルで実行されるＬＦディスプレイシステム５００のＬＦ処理エンジン５３０にいくつかのデータフォーマットのうちの１つを提供し得る。追加的に、ＬＦ処理エンジン５３０は、このデータを使用して、レンダリングされたホログラフィックビデオゲームコンテンツを適切に提示するために、ゲームシステムのハードウェア構成、視聴ボリュームなどを考慮に入れて、ＬＦディスプレイアセンブリのためにラスタライズされたビデオデータをレンダリングする。
別の例では、ゲームアプリケーションは、ＬＦゲームネットワーク５５０内のピアツーピアアーキテクチャとして実装され得る。ピアツーピアアーキテクチャでは、ゲームサーバ５５４は、グローバルなゲーム状態を運用管理しない。代わりに、接続されているすべてのゲームシステムがローカルのゲーム状態を制御する。ピア（例えば、ゲームシステム）は、他のすべてのピアにデータを送信し、それらからデータを受信する。この情報は信頼でき、正しいと全体的に想定されている。このアーキテクチャでは、ピアのうちの１つ以上が、ＬＦディスプレイシステムを使用して、ゲームのビューをレンダリングし得る。このプロセスは、本明細書および上に記載の方法と同様である。ゲームシステムはまた、ベクトル化されたホログラフィックビデオゲームコンテンツまたはビデオゲームデータを、他の接続されたゲームシステムおよび／または観戦客に送信し得る。
ＬＦゲームネットワーク５５０の様々なアーキテクチャには、いくつかの異なる収益モデルがある。例えば、ＬＦゲームネットワーク５５０は、サブスクリプションサービスを採用し得る。すなわち、ＬＦゲームネットワークは、ＬＦゲームネットワーク５５０内のゲームアプリケーション５９０の送信、実行、および／または運用管理を管理するための支払いを要求する場合がある。支払いは、一定期間（例えば、毎月）、ゲームごとのサブスクリプション特定のゲーム、またはゲームサーバ５５４上のゲームサービスにアクセスするための支払いであり得る。
一実施形態では、サブスクリプションは、異なる層を含み得る。各異なる層は、異なるレベルのホログラフィックコンテンツ体験に対応し得る。例えば、最下位層には、より低いレベルのレンダリングが含まれ得、最上位層には、より高いレベルのレンダリングが含まれる。別の例では、各層は、追加の感覚体験を含むことができる。説明のために、第１の層にはライトフィールドおよび聴覚のコンテンツのみが含まれ得、第２の層にはライトフィールド、聴覚、および触覚のコンテンツが含まれる。いくつかの例では、ＬＦディスプレイシステムを備えていないゲームシステムによって採用され得るように、ゲームアプリケーションの二次元表現のための層が用意され得る。ＬＦディスプレイシステムを含むゲームシステムは、特に購入可能なコンテンツをホログラムとして視聴することができる場合、ゲーム市場の価値を増加させ得る。
ＬＦゲームシステムは、ゲームアプリケーションの様々なタイプの観戦客をサポートし得る。一実施形態では、ＬＦゲームシステム５６０Ａ、５６０ＢのＬＦディスプレイシステム５００Ａ、５００Ｂは、ＬＦディスプレイシステムによって提示されるレンダリングされたホログラフィックビデオゲームコンテンツをベクトル化されたフォーマットに圧縮し、コーデックでそれを符号化し得、ＬＦゲームシステムは、ネットワーク５５２を介して他の観戦客に、データをライブストリームとして送信し得る。ストリームは様々なフォーマットを取ることができる。例えば、ゲームシステムは、異なるビューに対応する圧縮されたビデオをストリーミングし得る。第１のビューは、ゲームアクションから独立しているビューであり得る。第２のビューは、ストリームを提供しているゲームシステムの視点に局在化され得る。ＬＦゲームネットワーク５５０内の観戦客は、ＬＦゲームシステム上でゲームアプリケーションのインスタンスを実行して、ホログラフィックビデオゲームコンテンツを視聴し得る。ストリームは、観戦客のローカルのゲームアプリケーションのゲームデータをリアルタイムで、またはわずかな時間遅延で更新し得る。時間遅延は、ネットワーク遅延が原因で存在するか、または（例えば、ゲームストリームソースからのデータをバッファリングすることによって）不正行為を防ぐために意図的に挿入されている場合がある。観戦客は、ゲームアプリケーションのために入力を提供しないが、ゲーム状態の単なるオブザーバである。このような観戦客は、ストリームを２Ｄディスプレイ用の単一のビュー、自動立体視用の複数のビュー、または観戦客のライトフィールドディスプレイ用のホログラフィックデータとしてレンダリングすることを選択し得る。これらのレンダリング方法はすべて、デジタル権利管理システムから、支払いと引き換えに、ゲームごと、ゲームシリーズごと、一定期間のサブスクリプションモデル、または何らかの同様の取り決めとして提供され得る。別の実施形態では、ストリームは、他の視聴者が視聴可能なストリーミングサービス（例えば、Ｔｗｉｔｃｈ）に送信され得る。
ＬＦゲームネットワーク５５０内のゲームサーバ５５４は、ゲーム状態の二次元および／または四次元表現の両方を備えたゲームアプリケーションをサポートし得る。すなわち、ゲームサーバは、従来の２Ｄビデオ出力用にゲーム内のシーンをレンダリングすることもできれば、４Ｄライトフィールド出力用にシーンをレンダリングすることもできる。４Ｄライトフィールド出力は、ライトフィールドディスプレイ（例えば、触覚表面）に利用可能である追加のエネルギー領域コンテンツに関連付けられ得る。異なるタイプの表現は、本明細書に記載されているように、デジタル権利管理システムを採用し、支払いに対してコンテンツを交換し得る。
ゲームネットワークにおけるｅスポーツ
ＬＦゲームネットワークは、電子スポーツ（「ｅスポーツ」）をサポートするように構成され得る。ｅスポーツは、ビデオゲームを使用した競技会の一形態であり、特にプロのプレーヤ間で、個人またはチームとして、組織化されたマルチプレーヤのビデオゲーム競技会の形態を採る。ｅスポーツのトーナメントは通常、物理的な場所で開催され、ライブの観客の前で開催される。例えば、ｅスポーツの試合は、プレーヤがコート上でコンピュータシステムを採用する、別の目的に利用されるバスケットボールアリーナで開催され得、ビデオゲームは、アリーナの大きな表示面に提示される。
通常、ｅスポーツの試合中、本開示ではオブザーバと称される専用の観戦客が、アリーナ内でローカルに実行されているゲームのインスタンスを有する。オブザーバは、ゲーム内を動き回り、アリーナの大型モニタに自分の視点を提示し得、出席している観客は、プレーヤがゲームをプレイするのを眺め得る。このオブザーバはまた、ネットワークを介してはるかに幅広い観客に、自分の視点をオンラインでストリーミングし得る。オブザーバは、本明細書に上述される観戦モードのうちのいずれかを採用し得る。
ｅスポーツのアリーナは、ＬＦディスプレイシステムを使用して、ホログラフィックビデオゲームコンテンツを表示するように構成され得る。ＬＦディスプレイシステムは、複数の方法で構成することができる。例えば、ＬＦディスプレイシステム５００のＬＦディスプレイアセンブリ５１０の表面は、アリーナの床であり得る。他の例示的な構成には、ステージの水平面、アリーナ内に見える壁掛け式垂直ディスプレイ、湾曲表示面などが含まれる。これらの状況のすべてにおいて、ディスプレイシステムは、アリーナ内の視聴者によって視聴可能であるようにホログラフィックビデオゲームコンテンツを提示する。ＬＦディスプレイシステムは、本明細書に記載されているように、様々な形状を有し得る。例えば、ＬＦディスプレイシステムは、中央ディスプレイ、観客に向かって角度を付けられた側面ディスプレイを備えた中央ディスプレイ、観客に向かってもしくはその周りに湾曲した表示面、または表示面トポロジのいくつか他の変形を含み得る。
アリーナ内で、ゲームアプリケーションのインスタンスは、ゲームデータを実行し、そのデータをＬＦ処理エンジン５３０に提供する。ＬＦ処理エンジンは、ゲーム内のシーンをレンダリングし、レンダリングされたシーンを、アリーナのＬＦディスプレイシステムのホログラフィックオブジェクトボリューム内のホログラフィックビデオゲームコンテンツとして提示する。ホログラフィックビデオゲームデータは、本明細書に記載されているように、アリーナディスプレイアセンブリのハードウェア構成、視聴ボリュームの形状などを考慮に入れて生成され得る。ＬＦ処理エンジンは、オブザーバ、プレーヤのうちの誰か、またはリアルタイムでゲームデータで更新されているゲームエンジンの他の任意のインスタンスからの視点を生成し得る。
ｅスポーツのイベントは、リモートで視聴することもできる。例えば、リモートオブザーバがゲームアプリケーションのインスタンスを実行し得る。ｅスポーツを表すデータは、ネットワークを介して受信され、リモート場所にあるＬＦディスプレイシステムに入力することもできる。リモート場所にあるＬＦディスプレイシステムは、ｅスポーツのイベントのホログラフィックビデオゲームデータをレンダリングおよび提示するＬＦ処理エンジンを含む。上記と同様に、ローカルオブザーバは、リモート場所で提示された視点を管理することが可能であり得る。オブザーバの視点が、ゲームのインスタンスを実行していないＬＦディスプレイシステムに直接同時放送され得ることも可能である。例えば、ｅスポーツのアリーナ内のプレーヤのうちの１人またはオブザーバのＬＦディスプレイシステムは、ゲームデータをベクトル化されたデータにリアルタイムで圧縮し、このデータを、ネットワークを介してＬＦディスプレイシステムを備えた１人以上のリモートクライアントにストリーミングし得る。リモートクライアントは、ベクトル化されたデータを復号化し、リモートレンダリングアーキテクチャについてすでに説明したのと同様の方法でホログラフィックコンテンツを投影できる。ペイパービュー構造を採用して、そのようなイベントの視聴から収益を得ることができる。
ビデオゲーム用のライトフィールドディスプレイシステム
図６Ａ～図６Ｂは、いくつかの例示的な実施形態による、部屋に組み込まれたＬＦゲームシステムを示す。部屋（例えば、部屋６００Ａおよび部屋６００Ｂ）は、少なくとも第１の壁６０２および第２の壁６０４を含み、視聴者６１０の居間であり得る。ここでは、部屋は、壁６０２および壁６０４を覆うＬＦディスプレイモジュールのアレイ（「ＬＦアレイ」）６２０を備えたＬＦディスプレイシステムを含む。例示的なＬＦディスプレイシステムは、壁のうちの２つに組み込まれているが、部屋６００の他の任意の側面に組み込まれ得る。ＬＦアレイ６２０は、ホログラフィックビデオゲームコンテンツ（例えば、ホログラフィックオブジェクト６０６および６０８）を部屋の視聴者（例えば、視聴者６１０）に提示するように構成される。例示的な例では、視聴場所は、部屋６００内のどこかであるが、他の場所であってもよい。図６では、ＬＦアレイ６２０は、ＬＦディスプレイアセンブリ５１０の一実施形態である。さらに、ＬＦディスプレイアセンブリ５１０からなるＬＦディスプレイシステムは、ＬＦディスプレイシステム５００の一実施形態である。
ＬＦアレイ６２０は、ゲームアプリケーションによって生成されたビデオゲームデータのホログラフィックビデオゲームコンテンツを提示する。部屋の視聴者６１０は、提示されたホログラフィックコンテンツを知覚し、それとインタラクトすることが可能であり得る。この例では、ネットワークシステム５５６からのビデオゲームデータは、ビデオゲームデータをホログラフィックビデオゲームコンテンツに変換し、ホログラフィックコンテンツを、部屋の１人以上の視聴者（例えば、６１０）に表示するためにＬＦディスプレイシステム５００のコントローラ５２０に提示するゲームアプリケーションによって受信される。ビデオゲームアプリケーションは、ゲームキャラクタ、アイテム、およびイベント（例えば、爆発）など、様々なゲーム内オブジェクトを備えたゲーム世界を生成する。ビデオゲームアプリケーションはまた、ネットワークシステム５５６に送信される入力を生成し、ゲームアプリケーションは、ゲーム世界用のゲームデータを受信する。
ここでは、ＬＦアレイは、ゲーム世界の一部分を描写するホログラフィックゲームコンテンツを提示する。ホログラフィックゲームコンテンツには、ホログラフィックオブジェクトボリューム内の対応する実世界位置にあるゲーム世界のゲーム内オブジェクトを描写するホログラフィックオブジェクトが含まれる。ホログラフィックオブジェクトボリュームは、表示面の前（例えば、壁の前）で部屋の中に延在することができ、かつ表示面の後ろ（例えば、壁の後ろ）に延在することもできる。
図６Ａの部屋６００Ａにおいて、ホログラフィックゲームコンテンツは、ユーザに提示されるホログラフィックゲームコンテンツの部分にホログラフィックオブジェクト６０６およびホログラフィックオブジェクト６０８を含む。２つのホログラフィックオブジェクトは、ゲーム世界における異なるゲーム内オブジェクトを描写する。第１のホログラフィックオブジェクト６０６は、視聴者６１０の前に立っているエイリアンを描写し、第２のホログラフィックオブジェクト６０８は、視聴者６１０の左側で起こっている爆発を描写している。図６Ａには示されていないが、ホログラフィックゲームコンテンツはまた、ＬＦアレイ６２０の表示面の後ろに延在するホログラフィックオブジェクトボリュームの部分にホログラフィックオブジェクトを含むことができる。例えば、ホログラフィックゲームコンテンツは、ユーザが火星の表面に立っているように見せ掛けることができ、ホログラフィックオブジェクトは、表示面の後ろに表示される表面上の遠くの岩および他のゲーム内オブジェクトを描写する。
視聴者６１０は、部屋６００Ａに立ち、ホログラフィックゲームコンテンツを視聴することができる。ホログラフィックゲームコンテンツが提示されている間、ＬＦディスプレイシステムの追跡システムは、ユーザの身体部位のうちの１つ以上の実世界位置を追跡し得る。例えば、ＬＦディスプレイシステムは、ユーザの手、腕、または胴体などを追跡し、追跡した各身体部位のゲーム世界での対応する位置を判定する。いくつかの実施形態では、追跡システムは、１つ以上の２Ｄカメラ、ライトフィールドカメラ、１つ以上の深度センサ、またはこれらの組み合わせを含む。ゲームアプリケーションは、この身体部位位置データをユーザ入力として受け取るように構成され得、ＬＦディスプレイシステムによって取得された追跡情報でゲーム世界を更新することを可能にする。
上でより詳細に説明したように、ＬＦディスプレイシステムは、視聴者６１０の１つ以上の身体部位を追跡することができる。例えば、ＬＦディスプレイシステムは、ユーザの上半身、視聴者６１０の目、または視聴者６１０の手の位置を追跡し得る。追跡された位置は、部屋内のユーザの身体部位の全体の位置、または特定の位置を表すために使用することができる。ＬＦディスプレイシステムは、１つ以上の身体部位の位置を追跡し、部屋６００Ａにホログラフィックコンテンツとして提示されるゲーム世界の対応する位置を更新する。
ＬＦディスプレイシステムは、ゲームアプリケーションの実行中に発生するインタラクションの感覚キューを視聴者に提供することができる。追跡データを使用して、これらのインタラクションの発生を拡張または判定することができる。例えば、視聴者が戦争ゲームに参加している場合、ゲーム世界の対応する位置（すなわち、視聴者６１０に対応する位置）がゲームオブジェクトが占有する空間のボリュームに入ると、ゲーム内インタラクションが発生する。例えば、視聴者の手が追跡されている場合、視聴者６１０が前に手を伸ばし、その結果、エイリアン６０６を描写するホログラフィックオブジェクトが占有する空間のボリュームに自分の手が入ると、ゲーム内インタラクションが起こる。視聴者の手の位置は、部屋６００Ａ内のＬＦディスプレイシステムの追跡モジュールによって追跡され、ゲームアプリケーションへのユーザ入力として提供され得る。それに応答して、ゲームアプリケーションは、２つ以上のエネルギー領域のホログラフィックビデオゲームデータを生成し得る。例えば、ホログラフィックビデオゲームデータは、ＬＦディスプレイシステムによって処理され得、視覚的キュー（例えば、タッチに反応するホログラフィックエイリアンの表示）および触覚フィードバック（例えば、エイリアンの皮膚を表す体積触覚表面）の両方をもたらす。これは、視聴者６１０に、エイリアンにタッチすることの触覚および視覚的フィードバックの両方を提供し、これにより、ユーザが実際のエイリアンとインタラクトしているような錯覚を提供する没入型体験が可能になる。
別の例として、ゲーム内インタラクションは、ゲーム世界の移動するゲーム内オブジェクトが、追跡された身体部位に対応する位置と衝突するときに起こる。例えば、ユーザの胴体が追跡されており、この追跡された身体の位置がゲームアプリケーションへのユーザ入力として提供される場合、ゲームアプリケーション内の衝突検出論理が、移動するオブジェクトがユーザの胴体と衝突するときにゲーム内インタラクションが起こることを検出し得る。ゲームアプリケーションは、部屋６００ＡのＬＦディスプレイシステムのコントローラに多感覚ホログラフィックコンテンツを生成し得、これが次に、視覚的キュー（例えば、ユーザの胴体から跳ね返るホログラフィックオブジェクトの表示）および触覚フィードバック（例えば、ユーザの胴体への体積触覚表面の生成）の組み合わせを提供して、移動するオブジェクトに当たったことの物理的感覚および視覚的フィードバックの両方をユーザに提供する。
いくつかの例では、ゲーム世界のイベントが、追跡された身体部位に対応する位置の閾値距離内で発生する場合にも、ゲーム内インタラクションが起こり得る。前の例のように、ＬＦディスプレイシステムは、ゲームアプリケーションがゲーム内インタラクションが発生したことを示す多感覚ホログラフィックデータを生成すると、視覚的キューおよび触覚フィードバックの組み合わせを提供することができる。例えば、図６Ａに示す例では、爆発（イベントの一タイプ）が、ユーザに対応する位置の閾値距離内で起こっている。図６Ａに示す爆発イベントでは、ＬＦディスプレイシステムは、爆発を描写するホログラフィックオブジェクト６０８を表示し、かつ触覚フィードバック（例えば、触覚圧力波６１２）も提示して、爆発の爆風波に当たる物理的感覚をシミュレートする。ゲームアプリケーションは、視聴者６１０の追跡された位置、視聴者６１０の追跡された動き、または本明細書に記載の情報のうちのいずれかに基づいて、ゲーム内イベントの触覚フィードバックの大きさ、位置、方向などを判定することができる。
図６Ｂの部屋６００Ｂにおいて、ＬＦディスプレイシステムは、ホログラフィックユーザインターフェース６１４を視聴者６１０に提示している。ここでは、ＬＦディスプレイシステムは、視聴者６１０の位置を追跡し、ホログラフィックＵＩ６１４を、視聴者の追跡された位置に対応する位置に表示する。ＬＦディスプレイシステムは、視聴者６１０から閾値距離内の位置にホログラフィックＵＩを提示し得る。例えば、閾値距離は、ホログラフィックＵＩ６１４が視聴者６１０の腕が届く範囲内に投影されるように、平均的な成人の腕の長さに対応し得る。ＬＦディスプレイシステムは、視聴者６１０が部屋の中を動き回るときに視聴者６１０の位置を追跡し続け、それに応じて、ＬＦディスプレイシステムは、ホログラフィックＵＩ６１４が視聴者６１０に対して同じ位置に表示されるようにホログラフィックＵＩ６１４を移動させる。いくつかの実施形態では、ＬＦディスプレイシステムはまた、ＵＩ６１４のインターフェース要素の視聴者選択を追跡し、この追跡されたデータをゲームアプリケーションへの入力として提供し得る。
ホログラフィックＵＩ６１４は、視聴者６１０が選択することができる１つ以上のユーザインターフェース要素を含むインターフェースを描写し得る。ＵＩ要素は、メニューへのアクセスまたはユーザのゲーム内キャラクタが所有するアイテムの選択など、ゲームアプリケーションで様々な機能を制御することができる。他の実施形態では、ホログラフィックユーザインターフェースは、インターネットブラウザなどの非ゲームアプリケーションの一部であり、ＵＩ要素は、アプリケーションの様々な機能を制御する。
ＬＦディスプレイシステムは、視聴者６１０の身体部位（例えば、視聴者の片方または両方の手）の位置を追跡し得、その結果、視聴者６１０はホログラフィックＵＩ６１４とインタラクトし得る。例えば、ゲームアプリケーションは、ＬＦディスプレイシステムの追跡モジュール５２６によって提供されるユーザの手の位置を使用して、ユーザの手がＵＩ要素の同じ位置にあることを判定し、続いて、視聴者６１０がその要素とインタラクトしていることを判定し得る。それに応答して、ゲームアプリケーションは、適切なホログラフィックビデオゲームコンテンツおよび触覚コンテンツを生成して、ユーザがＵＩ要素を首尾よく選択したことをユーザに伝えることができる。例えば、ＬＦディスプレイシステムは、視聴者がホログラフィックＵＩ６１４の特定の部分とインタラクトするとき、選択されたＵＩ要素の色を変更し、超音波をユーザの手に向けて投射するように指示され得る。視覚的および触覚的フィードバックのこの組み合わせは、ユーザが実世界のタッチ面にタッチしてそれとインタラクトしているような印象を与える、より没入感のある体験を提供する。
図７は、１つ以上の実施形態による、テーブルトップ型ＬＦゲームシステムを示す。ここでは、テーブルトップ型ＬＦゲームシステム７００は、テーブル７０８の上面７０２上にＬＦディスプレイモジュールのアレイ（「ＬＦアレイ」）７２０を備えた、テーブル７０８に組み込まれたＬＦディスプレイシステムを含む。ＬＦアレイ７２０は、ゲームアプリケーションによって生成されたホログラフィックビデオゲームコンテンツを、テーブル７０８の上面７０２を見ることができる視聴場所にいる視聴者に提示するように構成される。図７では、ＬＦアレイ７２０は、ＬＦディスプレイアセンブリ５１０の一実施形態である。さらに、ＬＦディスプレイシステムは、ＬＦディスプレイシステム５００の一実施形態である。
ＬＦアレイ７２０は、ゲームアプリケーションによって生成されたホログラフィックビデオゲームコンテンツを、テーブル７０８の上面７０２上に現れるように提示する。ビデオゲームコンテンツには、ボタンを表すホログラフィックオブジェクト７０４が含まれる。視聴者は、提示されたホログラフィックオブジェクト７０４を知覚し、それとインタラクトすることが可能であり得る。例えば、視聴者は、自分の手７０６を使用して、ホログラフィックオブジェクト７０４とインタラクトすることができ（例えば、ボタンを押すことによって）、続いて、ＬＦディスプレイシステムは、手の動作を追跡し、手の位置をビデオゲームアプリケーションに提供し得る。ビデオゲームアプリケーションは、ボタンが押されたと判断し、その結果、表示用に更新されたホログラフィックビデオゲームデータを生成し得る（例えば、爆発が発生する）。
追加的に、ＬＦディスプレイシステムは、視聴者から他のタイプのインタラクション（例えば、聴覚的キュー、視覚的キューなど）を受信し、それに応じてユーザに提示されるホログラフィックビデオゲームコンテンツを変更するように構成することができる。一例として、テーブル７０８の視聴者は、「ゲームを一時停止する」と言うことができ、ＬＦディスプレイシステムは、音声を録音し、音声を認識し、それに応じてゲームアプリケーションを一時停止する。同様に、テーブル７０８の視聴者は、ホログラフィックコンテンツとインタラクトして、ＬＦアレイ７２０によって表示されるゲーム世界のビューを回転させることができる。一例として、視聴者は、自分の手を使用して、ＬＦアレイ７２０によって表示されるゲーム内世界のビューを回転させるジェスチャを作成することができる。そうするために、ＬＦディスプレイシステムは、ジェスチャをしている視聴者の画像シーケンスをキャプチャし、ジェスチャを認識し、それに応じてホログラフィックコンテンツを回転させる。
図８は、１つ以上の実施形態による、ＬＦディスプレイシステムを採用するホログラフィックビデオゲームを実装するための方法を示すフローチャートである。すなわち、方法８００は、ＬＦディスプレイシステム（例えば、ＬＦディスプレイシステム５００）によって実行される。プロセス８００は、追加のステップまたはより少ないステップを含み得、それらのステップは、異なる順序で起こり得る。さらに、様々なステップ、またはステップの組み合わせは、方法の実行中に何度でも繰り返すことができる。
ＬＦディスプレイシステムは、視聴者の身体部位のうちの１つ以上の実世界位置を追跡する（８１０）。例えば、図６Ａおよび図６Ｂに関して上で説明した部屋サイズのシステムでは、ＬＦディスプレイシステムの追跡システムは、視聴者の複数の身体部位（例えば、視聴者の頭、手、および胴体）を追跡し得る。
ＬＦディスプレイシステムは、追跡された身体部位の実世界位置に対応するゲーム世界のゲーム内位置を判定する（８２０）。例えば、ＬＦディスプレイシステムのコントローラは、実世界の三次元位置からゲーム世界のゲーム内三次元位置へのマッピングを維持し、このマッピングを使用して、追跡された身体部位の実世界位置に対応するゲーム世界のゲーム内位置を識別する。
ＬＦディスプレイシステムは、追跡された身体部位のゲーム世界位置を、ユーザ入力としてゲームアプリケーションに提供する（８３０）。ゲームアプリケーションは、ゲーム内インタラクションが、ゲーム世界のゲーム内位置で発生したことを判定し得る。図６Ａおよび図６Ｂに関して上で説明したように、ゲーム内インタラクションは、追跡された身体部位に対応するゲーム内位置が、ゲーム世界においてゲーム内オブジェクトが占有するボリュームを横断するとき（例えば、図６Ａでは、視聴者がエイリアンに「タッチ」したとき）に起こり得る。ゲーム内インタラクションはまた、追跡された身体部位に対応する位置の閾値距離内のゲーム世界のイベント（例えば、図６Ａでは、爆発の爆風半径内にいる視聴者）が起こり得る。ゲーム内インタラクションが発生したと判定することに応答して、ゲームアプリケーションは、１つ以上のエネルギー領域のホログラフィックコンテンツを、ＬＦディスプレイシステムのコントローラに提供し得る。ゲーム内インタラクションは、視覚的、触覚的、および他の感覚フィードバックの何らかの組み合わせによって表されて、インタラクションが起こっていることを視聴者に伝え、適切な多感覚フィードバックを提供する。
ＬＦディスプレイシステムのコントローラは、ゲーム内インタラクションを描出する視覚的、触覚的、および他の感覚領域のホログラフィックビデオゲームデータを受信する（８４０）。例えば、ゲーム内インタラクションを描出するホログラフィックコンテンツは、タッチされたことに反応するゲーム内オブジェクト（例えば、エイリアン）、または視聴者の位置の閾値距離内で発生しているゲーム内イベント（例えば、爆発）を描写することができる。
コントローラは、ゲーム内インタラクションを描出する１つ以上のエネルギー領域のホログラフィックコンテンツを提示するための命令を生成する（８５０）。ＬＦディスプレイシステムは、ゲーム内インタラクションを表すホログラフィックコンテンツを表示する（８５０）。フィードバックに多感覚フィードバックが含まれる場合、ＬＦディスプレイシステムは、適切な動作を行って、多感覚フィードバックを提供する（８５０）。例えば、ＬＦディスプレイシステムは、触覚インターフェースを生成したり、音を再生したり、ゲーム内インタラクションを表すライトフィールドを生成したりし得る。多感覚フィードバックを提供することで、視聴者が実際のオブジェクトとインタラクトしているような錯覚を作成する没入型の視聴者体験がもたらされる。コントローラは、上記のように、ＬＦディスプレイアセンブリ５１０の特定のハードウェア構成、および感覚フィードバックシステム５７０のハードウェア構成（例えば、触覚表面を生成するための超音波トランスデューサ構成の形状）の視覚的、触覚的、および他の感覚領域を表示するための命令を生成する。
電子スポーツ用のライトフィールドディスプレイシステム
図９は、１つ以上の実施形態による、ホログラフィックビデオゲームコンテンツを表示するためのＬＦディスプレイシステムを含むアリーナの断面図である。図９では、アリーナ９００は、ｅスポーツ競技会の一部としてホログラフィックビデオゲームコンテンツ９３０を表示するように構成される。図９では、ＬＦディスプレイシステム９４０は、ＬＦディスプレイシステム５００の一実施形態である。ホログラフィックビデオゲームコンテンツは、ゲームアプリケーションによって生成され、ＬＦディスプレイシステム９４０によって提示される。ＬＦディスプレイシステム９４０は、スポーツシミュレーションゲーム（例えば、ＭＡＤＤＥＮ ＮＦＬ）、リアルタイムストラテジゲーム（例えば、ＳＴＡＲＣＲＡＦＴ）、バトルアリーナゲーム（例えば、ＤＯＴＡ ２、ＬＥＡＧＵＥ ＯＦ ＬＥＧＥＮＤＳ）、またはシュータゲーム（例えば、ＣＡＬＬ ＯＦ ＤＵＴＹ）など、ｅスポーツの試合で一般的にプレイされる任意のタイプのビデオゲームのホログラフィックゲームコンテンツを表示するために使用することができる。
示される例では、アリーナ９００は、ｅスポーツの試合中のストラテジゲームのバトルフィールドを表すように構成されたディスプレイステージを含む。ステージは、他の大きなアリーナと同様の方法で位置付けられた視聴場所９２２に囲まれている。ステージ９０２の上面は、ステージの上のエリアが、ＬＦディスプレイシステム９４０のホログラフィックオブジェクトボリュームであるゲーム表示エリア９１０を形成するように、ＬＦディスプレイモジュールのアレイで覆われている。ゲーム表示エリアはステージ９０２の上にのみ示されているが、ゲーム表示エリアはまた、図２Ａに示すホログラフィックオブジェクトボリューム２５５と同様に、ステージ９０２の下に延在することに留意されたい。ＬＦディスプレイシステム９４０は、アリーナ９００の視聴者がホログラフィックビデオゲームコンテンツ９３０を知覚できるように、ゲーム表示エリア９１０にホログラフィックビデオゲームコンテンツ９３０を提示する。アリーナ９００において、視聴場所９２２は、各視聴場所の視線が、視聴ボリューム（例えば、視聴ボリューム９２０Ａ）からのスポーツコンテンツ９３０の妨害されない視聴を可能にするように、傾斜を付けて位置付けられている。ここでは、アリーナ９００は、すべての視聴者に同じホログラフィックビデオゲームコンテンツが提示されるように、視聴ボリューム９２０Ａおよび９２０Ｂを含む、ステージ９０２を取り囲む１つの視聴ボリュームを含む。他の構成では、１つ以上の視聴ボリュームが存在し得る。
より一般的には、ＬＦディスプレイシステム９４０は、実質的に水平であるか、またはほぼ水平である表示面を有し得る。いくつかの例では、ＬＦディスプレイシステムは、（ｉ）アリーナの床の少なくとも一部、（ｉｉ）ステージの少なくとも一部、（ｉｉｉ）アリーナ内の壁、（ｉｖ）多くのアリーナに共通の高くされたディスプレイボード、または（ｖ）アリーナ内の隆起した視聴プラットフォームの少なくとも一部分を含み得る。他のタイプの水平面も可能である。例示的な構成では、視聴者は、表示面に対して高くされ、下を向いて、表示面から投影されるホログラフィックビデオゲームコンテンツを見て、視聴者は、表示面を部分的または完全に囲むことができる。ライトフィールド表示面には他にも多くの構成があり、ＬＦ表示面のほぼ前に配列され、かつ本開示の他の場所で説明されている視聴場所を備えた垂直に取り付けられた表示面（図４Ｃに示す４５０Ａ、図４Ｄに示す４５０Ｂ、および図４Ｅに示す４５０Ｃ）、ならびに湾曲したＬＦ表示面を含む。
ゲーム表示エリア９１０は、明確にするために境界付けられた正方形として示されているが、ゲーム表示エリア９１０は、ホログラフィックビデオゲームコンテンツ９３０が投影され得る実際のゲーム表示エリアの一部分であり得る。例えば、ゲーム表示エリア９１０は、前述のように、アリーナ９００の上部に向かって、および／またはステージ９０２の中にさらに延在し得る。追加的に、ゲーム表示エリア９１０および視聴ボリューム９２０（例えば、９２０Ａおよび９２０Ｂ）の一部分は、空間的に重なり得る。部分的な重なりとして示されているが、ゲーム表示エリア９１０および視聴ボリューム９２０は、完全に空間的に重なり得る。空間的重なりは、前述のように、視聴者がホログラフィックビデオゲームコンテンツ９３０とインタラクトし得るエリアである。
また、ｅスポーツ競技会に参加している第１のプレーヤ９０６および第２のプレーヤ９０４からそれぞれ入力を受信する第１の制御端末機９１０および第２の制御端末機９１２も示されている。制御端末機は各々、プレーヤ位置を変更したり、シールドのアクティブ化または特別な力の提供などのプレーヤオプションを行使したり、武器の発射などのイベントを引き起こしたりするプレーヤからの入力を受信するゲームアプリケーションを実行している。プレーヤの入力は、ビデオゲームアプリケーションによって使用されて、ゲーム状態が更新され、ゲーム表示エリアに提示されるホログラフィックビデオゲームデータが生成される。いくつかの例では、各プレーヤからの入力は、ゲームアプリケーションの実行中にゲーム世界のそれぞれのキャラクタを制御する。言い換えれば、第１のプレーヤ９０６からの制御入力は、ゲーム表示エリア９１０内の第１のキャラクタを制御し、第２のプレーヤ９０４からの制御入力は、ゲーム表示エリア内の第２のキャラクタを制御する。いくつかの実施形態では、各ユーザからの制御入力は、複数のキャラクタを制御することができる。例えば、ゲームアプリケーションがストラテジゲームである場合、各ユーザから受信される制御入力は、各プレーヤのそれぞれの部隊における複数のキャラクタを制御することができる。
制御入力は、ゲーム表示エリア９１０内のキャラクタを異なる位置に移動させることができる。制御入力はまた、武器の発射、オブジェクトを拾い上げること、オブジェクトを投げること、近接攻撃の実行などのゲーム内アクションを実行するようにキャラクタを制御することもできる。キャラクタの制御とは別に、制御入力はまた、サッカーシミュレーションゲームのプレイ呼び出しインターフェースでの選択など、メニューオプションまたは他のＵＩ要素の選択を示すこともできる。示される例では、制御入力は、２人のプレーヤによって操作される制御端末機から受信される。各制御端末機は、ユーザからのユーザ入力を受信し、その入力をゲームアプリケーションに送信することができるデバイスであり、ゲームアプリケーションは、ＬＦディスプレイシステム９４０に表示されるホログラフィックビデオゲームデータを生成する。
一般的に、制御端末機は、コンピューティングデバイスである。例えば、図９に示す実施形態では、制御端末機はデスクトップコンピュータであり、プレーヤは、キーボード、マウス、ジョイスティック、ホイール、複数のコントロールを備えたゲームコンソール、または他の何らかの入力デバイスを介してユーザ入力を提供する。他の例では、制御端末機は、例えば、ポータブルコンピュータ、タッチスクリーン、ハンドヘルドデバイス、ホログラフィックＵＩ（図６Ｂに関して説明したＵＩなど）、他の何らかのデバイス、またはそれらの何らかの組み合わせを含み得る他のコンピューティングデバイスであり得る。
また、制御端末機には、ＬＦディスプレイシステムの構成要素のうちのいくつかまたはすべてが組み込まれ得る。例えば、制御端末機は、図６Ａ～図６Ｂに関して上で説明した部屋サイズのＬＦゲームシステムとして実装され得る。その場合、制御端末機は、（図６Ｂに関して説明したように）ゲームアプリケーションがホログラフィックＵＩとのインタラクションを検出することを可能とするためにユーザの手を追跡することによって、（図６Ａに関して説明したように）ホログラフィックオブジェクトとのインタラクションを検出するためにユーザの身体の１つ以上の部位を追跡することによって、またはこれら２つの何らかの組み合わせのいずれかで、上で説明した方法でユーザの身体部位を追跡することによってユーザ入力を受信する。
制御端末機の各々は、ゲーム世界の領域を描出するゲームコンテンツを表示する。一実施形態では、制御端末機のユーザは、表示されている領域を制御することができる。例えば、ゲームアプリケーションがリアルタイムストラテジゲームまたはバトルアリーナゲームである場合、ユーザは、マップインターフェースとインタラクトするか、またはマウスカーソルを画面の端に移動させることで、ゲーム世界の表示領域を変更することができる。制御端末機がコンピューティングデバイスとして実装される実施形態では、領域は、コンピューティングデバイスのディスプレイに表示される。制御端末機がＬＦディスプレイシステムの構成要素で実装される実施形態では、領域はホログラフィックコンテンツとして表示され得る。
いくつかの例では、制御端末機（例えば、制御端末機９１２）に表示されるゲームコンテンツのある部分は、ゲーム表示エリア９１０においてホログラフィックビデオゲームコンテンツ９３０として表示される。したがって、図９の例では、ＬＦディスプレイシステム９４０は、制御端末機のうちの１つで提供される視点に対応するホログラフィックビデオゲームコンテンツを表示する。このようにして、アリーナの視聴者も、プレーヤ（例えば、プレーヤ９０４）が制御端末機（例えば、制御端末機９１２）でインタラクトしているゲームコンテンツ、ビュー、コンテンツなどを知覚し得る。追加的に、提示されたホログラフィックビデオゲームコンテンツ９３０には、プレーヤによって見られないか、またはインタラクトされていないホログラフィックコンテンツが含まれ得る。例えば、ホログラフィックビデオゲームコンテンツには、他の仮想オブジェクト（例えば、建物、周囲など）、ゲーム世界のイベント（例えば、爆発、ミッションステータスなど）、広告、オーバーレイ、解説、プレーヤ統計などを描写するオブジェクトが含まれ得る。
一実施形態では、第３の制御端末機での第３のユーザ（例えば、ゲームアプリケーションのキャラクタを制御しないオブザービングユーザ）が、ゲーム表示エリア９１０に表示されるホログラフィックビデオゲームコンテンツ９３０を生成する。説明のために、第３の制御端末機（図示せず）は、ゲームデータで更新され、かつ第３のユーザ（図示せず）に、ＬＦディスプレイシステムによって表示されるホログラフィックビデオゲームコンテンツを選択するために、ユーザインターフェースを提示するビデオゲームアプリケーションを実行している場合がある。第３のユーザは、ホログラフィックビデオがレンダリングされるビデオゲーム内の視点を選択する必要があるが、ゲームにユーザ入力を入力することは許可されないことがある、およびゲーム状態を変更することは許可されないことがある観戦客にすぎない場合がある。これにより、第３のユーザは、大規模な戦闘などの主要なゲーム内イベントが起こっているゲーム世界の領域を選択および表示することが可能になり得る。他の例では、第３のユーザは、プレーヤの視点間から選択し、オーバーレイを表示し、ホログラフィックビデオゲームコンテンツ９３０を追加の感覚コンテンツで拡張し、全般的に、アリーナ９００の視聴者の視聴体験を増加させることが可能であり得る。場合によっては、観戦客は、サーバに対する「運用管理者」の権利を有し得、ゲームで何か問題が起きた場合（例えば、プレーヤがどこかでスタックするか、または他の何らかのバグ）、これらの権限を使用して、ゲーム状態を変更することができる。いくつかのシナリオでは、運用管理者の観戦客とオブザーバの観戦客の両方がいる場合がある。いくつかのシナリオ（例えば、競争のないｅスポーツ）では、運用管理者は、主な観戦客であるかどうかに関係なく、観客の入力に基づいてゲーム状態を変更することができる。
いくつかの実施形態では、制御端末機（例えば、制御端末機９１０）は、それぞれのプレーヤ（例えば、プレーヤ９０６）の画像をキャプチャし、プレーヤの表現が、ホログラフィックビデオゲームコンテンツ９３０の一部として表示される。これにより、アリーナ９００の視聴者には、ｅスポーツの試合中にプレーヤのビューが提供され、その結果、視聴者はプレーヤの顔の表情およびボディランゲージを見ることができる。制御端末機がプレーヤのビデオをキャプチャして表示する実施形態では、視聴ボリューム９２０Ａ、９２０Ｂの視聴者は、ゲームとインタラクトするためにプレーヤによって実行されている物理的ジェスチャを見ることができ、これは視聴者の楽しみを高めることができる。
ＬＦディスプレイシステム９４０はまた、アリーナ９００の視聴者に、触覚フィードバックまたは他の形態のフィードバックを提供する感覚フィードバックアセンブリを含むことができる。例えば、ゲーム世界で爆発または衝撃が起こる場合、ＬＦディスプレイシステムは、超音波圧力波を作成し、その波をアリーナ９００の視聴者に向けて投射し、その結果、視聴者は「爆発」の機械的エネルギーを体験し得る。いくつかの例では、これは、ゲーム表示エリア９１０が視聴ボリューム９２０と重なる領域で発生する。
一実施形態では、ＬＦディスプレイシステムは、ネットワークを介して（例えば、コンテンツストリームとして）情報を送信するように構成される。様々な構成において、情報は、ビデオゲームデータ、ホログラフィックビデオゲームコンテンツ、ビデオゲームデータまたはホログラフィックビデオゲームコンテンツの圧縮表現などであり得る。ネットワークを介して送信される情報は、他のＬＦディスプレイシステムによって受信され得、その結果、ホログラフィックビデオゲームコンテンツは別の場所に表示され得る。これにより、アリーナ９００にいない視聴者がｅスポーツの試合を視聴することができる。ネットワークからストリーミングホログラフィックビデオゲームコンテンツを受信するディスプレイシステムの一例を、図１０に関して以下に説明する。
図１０は、例示的な実施形態による、テーブルに組み込まれたＬＦディスプレイシステムを示す。ＬＦディスプレイシステム１０４０は、テーブル１００４の上面のＬＦディスプレイモジュールのアレイ（「ＬＦアレイ」１０２０）からなるＬＦディスプレイアセンブリを含む。例示のように、ＬＦディスプレイ１０４０システムは、テーブル１００４に組み込まれているが、他の平らな表面（例えば、床、壁など）に組み込まれ得る。ＬＦアレイ１０２０は、ホログラフィックビデオゲームコンテンツ１０３０を、テーブル１００４の上面を見ることができる視聴場所にいる視聴者に提示するように構成される。示される例では、視聴者１０３２は、各視聴者１０３２がＬＦアレイ１０２０によって提示されるホログラフィックビデオゲームコンテンツ１０３０を知覚することができるように、テーブル１００４を囲む視聴場所にいる。前述のように、他の視聴場所にいる視聴者もまた、ＬＦアレイ１０２０によって提示されるホログラフィックビデオゲームコンテンツ１０３０を知覚し得る。図１０では、ＬＦアレイ１０２０は、ＬＦディスプレイアセンブリ５１０の一実施形態である。さらに、ＬＦディスプレイシステム１０４０は、ＬＦディスプレイシステム５００の一実施形態である。
ＬＦアレイ１０２０は、テニスシミュレーションゲームのホログラフィックビデオゲームコンテンツ１０３０を、テーブル１００４の上面上に現れるように提示する。視聴者１０３２は、提示されたホログラフィックコンテンツ１０３０を知覚し、それとインタラクトすることが可能であり得る。この例では、ＬＦディスプレイシステムは、ネットワークを介してビデオゲームデータを入力し、ビデオゲームデータをホログラフィックビデオゲームコンテンツに変換し、ホログラフィックビデオゲームコンテンツ１０３０をテーブル１００４の上面に提示する。
いくつかの実施形態では、視聴者１０３２は、ＬＦディスプレイシステム１０４０とインタラクトして、提示されたホログラフィックビデオゲームコンテンツ１０３０を変更することができる。例えば、ＬＦディスプレイシステムは、聴覚的キュー、視覚的キューなどを受信し、それに応じてホログラフィックビデオゲームコンテンツ１０３０を変更するように構成することができる。一例として、視聴者１０３２は、「鳥瞰図を表示する」と言うことができ、ＬＦディスプレイシステムは、音声を記録し、音声を認識し、それに応じて表示されたホログラフィックビデオゲームコンテンツ１０３０の視点を変更する。同様に、視聴者１０３２は、ホログラフィックコンテンツ１０３０とインタラクトして、テーブルによって表示されるビューを回転させることができる。一例として、視聴者は、提示されたホログラフィックビデオゲームコンテンツ１０３０内のプレーヤに片手でタッチして、もう一方の手で回転ジェスチャをすることができる。この場合、ＬＦディスプレイシステムは、ジェスチャをしている視聴者の画像をキャプチャし、ジェスチャを認識し、それに応じてホログラフィックコンテンツを回転させる。
いくつかの構成では、ＬＦディスプレイシステム１０４０は、追加的または代替的に、サーバに実装されたストリーミングサービス（例えば、ＴＷＩＴＣＨ、ＹＯＵＴＵＢＥ）からのホログラフィックビデオゲームコンテンツを提示することができる。例えば、ＬＦディスプレイシステム１０４０は、ユーザが、事前に記録されたホログラフィックゲームコンテンツ（例えば、事前に記録されたｅスポーツの試合、他の事前に記録されたゲーム）の異なるアイテムおよび／またはホログラフィックゲームコンテンツの異なるライブストリーム（例えば、ライブのｅスポーツの試合、ビデオゲームストリーマのライブストリーム）から選択することを可能にするユーザインターフェースを提示することができる。ホログラフィックゲームコンテンツのアイテムまたはチャネルのユーザ選択を受信すると、ＬＦディスプレイシステム１０４０は、選択されたホログラフィックゲームコンテンツのリクエストをストリーミングサービスに送信し、ストリーミングサービスは、ホログラフィックビデオゲームコンテンツをＬＦディスプレイシステム１０４０に送信し、ＬＦディスプレイシステム１０４０は、ホログラフィックゲームコンテンツを提示する。
図１１は、１つ以上の実施形態による、ホログラフィックビデオゲームシステムを実装するためのプロセスを示すフローチャートである。プロセス１１００は、ＬＦディスプレイシステム（例えば、ＬＦディスプレイシステム５００）によって表示されるホログラフィックビデオゲームデータを生成するゲームアプリケーションからなるホログラフィックビデオゲームシステムによって実行される。プロセス１１００は、追加のステップまたはより少ないステップを含み得、それらのステップは、異なる順序で起こり得る。さらに、様々なステップ、またはステップの組み合わせは、方法の実行中に何度でも繰り返すことができる。
ホログラフィックビデオゲームシステムは、ゲームアプリケーションを実行して、ライトフィールドゲーム体験用のビデオゲームデータを生み出す。ゲームアプリケーションは、ＬＦディスプレイシステム（例えば、ＬＦディスプレイシステム５００）またはゲームアプリケーションを実行するように構成された他の何らかの計算デバイス上で実行され得る。
ゲームアプリケーションの実行中に、ユーザは、ゲーム状態に影響を及ぼすことができる様々な制御入力を生み出し、ホログラフィックビデオゲームシステムは制御入力を受信する（１１１０）。制御入力は、ＬＦディスプレイシステムのインターフェースとインタラクトするユーザによって生み出され得る。例えば、ユーザは、マウスをクリックして、ゲーム内のキャラクタを移動させることができる。追加的に、制御入力は、ユーザによって生成された音、動作、ジェスチャなどを解釈するＬＦディスプレイシステムによって生み出され得る。例えば、ユーザは自分の手を突き出すことができ、手の位置およびジェスチャは、追跡システム５８０によってキャプチャされ、ＬＦディスプレイシステム内の追跡モジュール５２６によって分析される。この追跡された手の動作は、ゲームアプリケーションに入力され得、これにより、ゲームアプリケーションのキャラクタが剣を突き出す。
ゲームアプリケーションは、受信した制御入力を使用して、ホログラフィックビデオゲームデータを生成する（１１２０）。例えば、ゲームアプリケーションは、マウスクリックを受信および解釈し、キャラクタの動きを表すビデオゲームデータを生成し得る。同様に、ゲームアプリケーションは、突き出しに対応する動作を受信および解釈し、キャラクタに剣を突き出させることができる。状況によっては、制御入力は、ネットワークを介して受信され得、それに応じてホログラフィックビデオゲームデータが生成される。ＬＦディスプレイシステムは、ホログラフィックビデオゲームデータを受信する。
ホログラフィックビデオゲームシステムのＬＦディスプレイは、ホログラフィックビデオゲームデータを使用して、ホログラフィックビデオゲームコンテンツの表示命令を生成する（１１３０）。例えば、ＬＦディスプレイシステムは、ＬＦディスプレイアセンブリのために、キャラクタの動き、または他の任意のシーンに対応する表示命令を生成し得る。表示命令には、２つ以上のタイプのエネルギーを投射するための命令が含まれ得る。例えば、表示命令には、視覚的ホログラフィックオブジェクトの投影のための命令、およびホログラフィックオブジェクトの近くまたはそれに一致する体積触覚表面の投影のための命令が含まれ得る。
ＬＦディスプレイは、ホログラフィックビデオゲームデータを提示する（１１４０）。上記の例を続けると、表示命令は、実行されると、ビデオゲームデータを、動くキャラクタのホログラフィックビデオゲームコンテンツとして提示する。多くの例では、ビデオゲームデータおよびホログラフィックビデオゲームコンテンツは、同じ場所に位置するホログラフィックビデオゲームシステムによって生成され得る。しかしながら、状況によっては、ビデオゲームデータおよびホログラフィックビデオゲームコンテンツは、異なる場所で生成され得る。例えば、ビデオゲームデータは、リモートサーバで生成され、その後、ネットワークを介してゲームアプリケーションおよびＬＦディスプレイシステムを備えた場所に送信され得る。ゲームアプリケーションは、ＬＦディスプレイシステムに直接提供され、プレーヤおよび／または１人以上の視聴者に表示されるホログラフィックビデオゲームデータを生成し得る。
ホログラフィックビデオゲームシステムは、ＬＦディスプレイシステムを使用して、ホログラフィックビデオゲームコンテンツを提示する。様々な構成において、ホログラフィックビデオゲームコンテンツは、第１のフォーマットで受信され、提示される前に第２のフォーマットに変換され得る。さらに、ホログラフィックビデオゲームコンテンツは、ホログラフィックビデオゲームコンテンツを提示するＬＦディスプレイシステムのハードウェア構成（例えば、ゲーム表示エリア）に適しているように修正され得る。例えば、ホログラフィックビデオゲームデータは、ホログラフィックビデオゲームコンテンツを提示するＬＦディスプレイシステムの構成に基づいて、より小さな空間で、追加の感覚コンテンツなどを用いて、より低い解像度で提示するために変換され得る。
拡大するために、ホログラフィックビデオゲームシステムは、制御入力に基づいて新しいビデオゲームデータを連続的に生成し、続いて、ビデオゲームデータを表すホログラフィックビデオゲームデータを生成し、ホログラフィックビデオゲームデータを提示する。ホログラフィックビデオゲームデータには、例えば、シーンの形状、視点、テクスチャ、照明、および知覚可能な遅延なしにユーザ制御入力に応答する、ライトフィールドをレンダリングするために使用される他のシーン情報が含まれ得る。例えば、ホログラフィックビデオゲームシステムは、ゲーム世界のある領域のホログラフィックビデオゲームコンテンツを生成する。ゲーム世界は、ユーザがゲーム世界とインタラクトすることができるように完全にインタラクティブであり得、それらのインタラクションは、制御入力として機能する。続いて、インタラクティブな制御入力により、ユーザに提示されるゲーム世界を変更することができる。
追加の構成情報
本開示の実施形態の前述の説明は、例示の目的で提示されたものであり、網羅的であること、または開示を、開示された正確な形態に限定することを意図するものではない。関連技術の当業者は、上記の開示に照らして、多くの修正および変形が可能であることを理解することができる。
本明細書のいくつかの部分は、情報に対する操作のアルゴリズムおよび記号表現の観点から、本開示の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理分野の当業者によって、自らの作業の本質を他の当業者に効果的に伝えるために一般的に使用される。これらの操作は、機能的、計算的、または論理的に説明される一方、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、これらの操作の配置を、一般性を損なうことなく、モジュールと呼ぶことが場合によっては好都合であることも判明している。説明された操作およびそれらの関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせにおいて具現化され得る。
本明細書に記載のステップ、操作、またはプロセスのうちのいずれかが、１つ以上のハードウェアまたはソフトウェアモジュールを使用して、単独で、または他のデバイスと組み合わせて、実行または実装され得る。一実施形態では、ソフトウェアモジュールは、説明されたステップ、操作、またはプロセスのうちのいずれかまたはすべてを実行するために、コンピュータプロセッサによって実行され得るコンピュータ・プログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品で実装される。
本開示の実施形態はまた、本明細書の操作を実行するための装置に関し得る。この装置は、要求された目的のために特別に構築され得、および／または、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を記憶するために好適な任意のタイプの媒体に記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、またはコンピューティング能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであり得る。
本開示の実施形態はまた、本明細書に記載のコンピューティングプロセスによって生み出される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報であって、その情報が非一時的な有形のコンピュータ可読記憶媒体に記憶される、情報を含み得、また本明細書に記載のコンピュータプログラム製品もしくは他のデータの組み合わせの任意の実施形態を含み得る。
最後に、本明細書で使用される言語は、主に読み易さおよび教示目的のために選択されており、本発明の主題を画成または制限するように選択されていないことがある。したがって、本開示の範囲は、この発明を実施するための形態によってではなく、本明細書に基づく出願に関して発行される任意の請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示することを意図するが、限定することを意図しない。

Claims (107)

  1. ゲームシステムであって、
    ゲームアプリケーションであって、前記ゲームアプリケーションの実行中にライトフィールドゲーム体験のためのホログラフィックビデオゲームデータを生み出すように構成されている、ゲームアプリケーションと、
    ホログラフィックコンテンツを提示するように構成されているライトフィールド（ＬＦ）ディスプレイアセンブリと、
    ライトフィールド処理エンジンであって、
    前記ホログラフィックビデオゲームデータを受信することと、
    前記ＬＦディスプレイアセンブリを使用して、前記ホログラフィックビデオゲームデータをホログラフィックコンテンツとして提示するために、前記ライトフィールドディスプレイアセンブリに対する表示命令を生成することと、を行うように構成されており、前記ホログラフィックコンテンツは、前記ライトフィールドゲーム体験内のシーンを表す、ライトフィールド処理エンジンと、を備える、ゲームシステム。
  2. 前記ＬＦ処理エンジンは、前記ＬＦディスプレイアセンブリのハードウェア構成を判定するようにさらに構成されており、
    前記ＬＦ処理エンジンは、前記ＬＦディスプレイアセンブリの前記ハードウェア構成に基づいて、前記シーンを表すホログラフィックコンテンツを生成するようにさらに構成されている、請求項１に記載のゲームシステム。
  3. 前記ハードウェア構成は、
    解像度、
    度当たりの提示光線の数、
    視野、
    表示面の偏向角、および
    前記表示面の次元、のうちのいずれかを含む、請求項２に記載のゲームシステム。
  4. 前記ＬＦ処理エンジンは、前記ＬＦディスプレイアセンブリの幾何学的配向を判定するようにさらに構成されており、
    前記ＬＦ処理エンジンは、前記ＬＦディスプレイシステムの前記幾何学的配向幾何学的配向に基づいて、前記シーンを表すホログラフィックコンテンツを生成するようにさらに構成されている、請求項１に記載のゲームシステム。
  5. 前記幾何学的配向は、
    前記ＬＦディスプレイアセンブリのディスプレイパネルの数、
    前記ディスプレイパネルの相対的な配向、
    前記ディスプレイパネルの高さ、
    前記ディスプレイパネルの幅、および
    前記ディスプレイパネルのレイアウト、のうちのいずれかを含む、請求項４に記載のゲームシステム。
  6. 前記ＬＦ処理エンジンは、前記ＬＦディスプレイアセンブリの場所の構成を判定するようにさらに構成されており、
    前記ＬＦ処理エンジンは、前記ＬＦディスプレイアセンブリの前記場所の前記構成に基づいて、前記シーンを表すホログラフィックコンテンツを生成するようにさらに構成されている、請求項１に記載のゲームシステム。
  7. 前記場所の前記構成は、
    １つ以上のホログラフィックオブジェクトボリューム、
    １つ以上の視聴ボリューム、および
    前記ＬＦディスプレイアセンブリに対する、前記ゲームアプリケーションを実行しているユーザの場所、のうちのいずれかを含む、請求項６に記載のゲームシステム。
  8. 前記ＬＦゲーム体験のための前記ホログラフィックビデオゲームデータは、前記ＬＦゲーム体験のシーンに対応する形状、テクスチャ、照明特性、および材料特性、のうちのいずれかを含む、請求項１に記載のゲームシステム。
  9. 前記ＬＦゲーム体験のための前記ホログラフィックビデオゲームデータは、
    前記ライトフィールドゲーム体験の前記シーン内の１つ以上の視点、
    前記ライトフィールドゲーム体験を表すライトフィールド、
    複数の赤、緑、青、およびアルファのサンプルを含む深層画像、
    前記ライトフィールドゲーム体験における１つ以上の表面のイルミネーション形状および視聴形状の関数によって判定される反射率、のうちのいずれかとしてレンダリングされる、請求項１に記載のゲームシステム。
  10. 前記ライトフィールドゲーム体験のための前記ホログラフィックビデオゲームデータは、前記ライトフィールドゲーム体験の前記シーン内の１つ以上の視点としてレンダリングされ、前記１つ以上の視点のうちの第１の視点は、他の視点よりも高い解像度を有する中央ビューに対応する、請求項１に記載のゲームシステム。
  11. 前記ホログラフィックビデオゲームデータは、前記ライトフィールドゲーム体験のシーン内の１つ以上の視点としてレンダリングされ、前記視点のうちの少なくともいくつかは、他の視点よりも低い解像度でレンダリングされる、請求項１に記載のゲームシステム。
  12. 前記ホログラフィックビデオゲームデータは、１つ以上の体積触覚表面としてレンダリングされ、前記ホログラフィックビデオゲームデータは、表面テクスチャ、材料硬度、延性、または触覚強度、のうちのいずれかとして前記体積触覚表面を記述する、請求項１に記載のゲームシステム。
  13. 前記ホログラフィックビデオゲームデータは、１つ以上の体積触覚表面としてレンダリングされ、前記ホログラフィックビデオゲームデータは、１つ以上の座標で生成される音波に対する１つ以上の振幅を含むサウンドフィールドとして前記体積触覚表面を記述する、請求項１に記載のゲームシステム。
  14. 前記ホログラフィックビデオゲームデータを符号化されたビデオゲームデータに符号化するためのエンコーダと、
    前記ライトフィールドディスプレイアセンブリに対する前記表示命令を生成するときに、符号化されたホログラフィックビデオゲームデータを復号化するように構成されているデコーダと、をさらに備える、請求項１に記載のゲームシステム。
  15. 前記符号化されたホログラフィックビデオゲームデータは、第１のフォーマットにあり、前記復号化されたホログラフィックビデオゲームデータは、第２のフォーマットにある、請求項１４に記載のゲームシステム。
  16. 前記第１のフォーマットは、ベクトル化されたデータフォーマットであり、前記第２のフォーマットは、ラスタライズされたデータフォーマットである、請求項１５に記載のゲームシステム。
  17. 前記デコーダは、独自のコーデックを採用して、前記符号化されたホログラフィックビデオゲームデータを復号化する、請求項１４に記載のゲームシステム。
  18. 前記符号化されたホログラフィックビデオゲームデータは、独自のコーデックによって復号化可能であるフォーマットにおいて符号化される、請求項１に記載のゲームシステム。
  19. ネットワーク接続を介して、ゲームサーバからグローバルゲーム情報を受信するように構成されているネットワークインターフェースをさらに備え、
    前記ゲームアプリケーションは、前記サーバから受信された前記グローバルゲームデータを使用して、ホログラフィックビデオゲームデータを生み出すようにさらに構成されている、請求項１に記載のゲームシステム。
  20. 前記ゲームサーバは、前記ゲームシステムと同じ場所に位置している、請求項１９に記載のゲームシステム。
  21. 前記ゲームサーバは、前記ゲームシステムとは異なる場所に位置している、請求項１９に記載のゲームシステム。
  22. 前記ホログラフィックビデオゲームコンテンツは、ｅスポーツ競技会の観客に提示される、請求項１９に記載のゲームシステム。
  23. ゲームサーバは、ネットワーク接続を介して、前記ライトフィールドゲーム体験を運用管理する、請求項１に記載のゲームシステム。
  24. 前記ライトフィールドゲーム体験の運用管理は、
    すべてのクライアントから入力を収集すること、
    前記クライアントからタイムスタンプを収集すること、
    ゲームの世界状態をプレーヤ間で同期させたままにすること、
    すべてのプレーヤクライアントがルールに従ってプレイしていることを確実にすること、
    プレーヤの動きを検証および実施すること、または
    前記ゲームの前記世界状態の定期的なスナップショットをすべてのクライアントに送信すること、のうちのいずれかを含む、請求項１に記載のゲームシステム。
  25. ネットワーク接続を介して、前記ライトフィールドゲーム体験のデータをゲームサーバに送信するように構成されているネットワークインターフェースをさらに備える、請求項１に記載のゲームシステム。
  26. 前記ライトフィールドゲーム体験の前記データは、プレーヤの位置、タイムスタンプ、プレーヤのアクション、または前記ライトフィールドゲーム体験におけるオブジェクトのステータス、のうちのいずれかを含む、請求項１に記載のゲームシステム。
  27. ネットワーク接続を介して、ゲームサーバから前記ホログラフィックビデオゲームデータの少なくともある部分を受信するように構成されているネットワークインターフェースをさらに備える、請求項１に記載のゲームシステム。
  28. 前記サーバから受信された前記ホログラフィックビデオゲームコンテンツは、第１のデータフォーマットにあり、前記ゲームシステムは、
    前記第１のデータフォーマットの前記ホログラフィックビデオゲームコンテンツを第２のデータフォーマットに復号化するように構成されているデコーダをさらに備え、前記第２のデータフォーマットは、ＬＦディスプレイアセンブリに対する表示命令を生成するように構成されている、請求項２７に記載のゲームシステム。
  29. 前記ゲームアプリケーションは、前記ゲームアプリケーションが前記シーン内の観戦客の視点から前記ライトフィールドゲーム体験を視聴するためのビデオゲームデータを生成する、観戦客モードで動作するように構成されている、請求項１に記載のゲームシステム。
  30. 前記ゲームアプリケーションは、前記ライトフィールドゲーム体験のゲーム状態に影響を及ぼすために入力として機能するビデオゲームデータを生成しない、請求項２９に記載のゲームシステム。
  31. 前記ゲームアプリケーションは、ネットワーク接続を介して、前記ホログラフィックビデオゲームデータを１つ以上の追加のＬＦディスプレイアセンブリに送信する、請求項１に記載のゲームシステム。
  32. 前記１つ以上の追加のＬＦディスプレイアセンブリは、前記ＬＦディスプレイアセンブリとは異なる場所にある、請求項３１に記載のゲームシステム。
  33. 前記１つ以上の追加のＬＦディスプレイアセンブリは、家、劇場、バー、アリーナ、またはスタジアムに位置している、請求項３１に記載のゲームシステム。
  34. 前記ゲームシステムは、家、劇場、バー、アリーナ、またはスタジアムに位置している、請求項１に記載のゲームシステム。
  35. 前記ゲームアプリケーションは、複数のサービスレベルのうちのサービスレベルでビデオゲームデータを生成するように構成されており、前記サービスレベルのうちの各々は、前記ＬＦディスプレイアセンブリによって提示される異なる品質のホログラフィックコンテンツに対応する、請求項１に記載のゲームシステム。
  36. 各サービスレベルは、対応するサブスクリプション価格に関連付けられる、請求項３５に記載のゲームシステム。
  37. 前記ゲームアプリケーションは、前記ライトフィールドゲーム体験を運用管理するゲームサーバに、サブスクリプション料金を提供する、請求項３５に記載のゲームシステム。
  38. 各サービスレベルは、対応するデジタル権利管理保護スキームによって保護される、請求項３５に記載のゲームシステム。
  39. 第１のサービスレベルは、視覚情報を含むホログラフィックコンテンツを含み、第２のサービスレベルは、視覚情報および聴覚情報を含むホログラフィックコンテンツを含む、請求項３５に記載のゲームシステム。
  40. 第１のサービスレベルは、視覚情報を含むホログラフィックコンテンツを含み、第２のサービスレベルは、視覚情報および触覚情報を含むホログラフィックコンテンツを含む、請求項３５に記載のゲームシステム。
  41. 前記ゲームアプリケーションは、ネットワーク接続を介して、ｅスポーツ競技会の観客に前記ビデオゲームデータをホログラフィックコンテンツとして提示するように構成されているＬＦディスプレイアセンブリに、前記ビデオゲームデータを送信する、請求項１に記載のゲームシステム。
  42. 前記観客およびＬＦディスプレイアセンブリは、前記ゲームアプリケーションとは異なる場所に位置している、請求項４１に記載のゲームシステム。
  43. 前記ＬＦディスプレイアセンブリは、音響コンテンツを提示するように構成されており、
    前記ＬＦ処理エンジンは、
    前記ホログラフィックビデオゲームデータを受信することと、
    前記ライトフィールドディスプレイアセンブリの音声命令を生成して、前記ホログラフィックビデオゲームデータを前記ライトフィールドゲーム体験の前記シーン内の聴覚コンテンツとして提示することと、を行うようにさらに構成されている、請求項１に記載のゲームシステム。
  44. 前記提示されたホログラフィックコンテンツは、第１のタイプのエネルギーおよび第２のタイプのエネルギーを含む、請求項１に記載のゲームシステム。
  45. 前記第１のタイプのエネルギーは、電磁エネルギーであり、前記第２のタイプのエネルギーは、超音波エネルギーである、請求項４４に記載のＬＦディスプレイシステム。
  46. 前記超音波エネルギーは、体積触覚表面を形成する、請求項４５に記載のＬＦディスプレイシステム。
  47. 前記第１のタイプのエネルギーおよび第２のタイプのエネルギーは、前記ＬＦディスプレイアセンブリが体積触覚表面をホログラフィックオブジェクトにおいてまたはホログラフィックオブジェクトの近くで提示するように、同じ場所で提示される、請求項４４に記載のＬＦディスプレイシステム。
  48. 電磁エネルギーをライトフィールドコンテンツとして記録するように構成されている１つ以上のエネルギーセンサを備えるライトフィールド記録アセンブリをさらに備える、請求項１に記載のゲームシステム。
  49. 前記ホログラフィックビデオゲームデータは、前記記録されたライトフィールドコンテンツを含む、請求項４８に記載のゲームシステム。
  50. 前記ゲームアプリケーションは、前記記録されたライトフィールドコンテンツに基づいて、ホログラフィックビデオゲームコンテンツを生み出す、請求項４９に記載のゲームシステム。
  51. 音響エネルギーを聴覚コンテンツとして記録するように構成されている１つ以上のエネルギーセンサを備えるライトフィールド記録アセンブリをさらに備える、請求項１に記載のゲームシステム。
  52. 前記ホログラフィックビデオゲームデータは、前記記録された聴覚コンテンツを含む、請求項５１に記載のゲームシステム。
  53. 前記ゲームアプリケーションは、前記記録された聴覚コンテンツに基づいて、ホログラフィックビデオゲームコンテンツを生み出す、請求項５１に記載のゲームシステム。
  54. 機械的エネルギー記録するように構成されている１つ以上の圧力センサを備えるライトフィールド記録アセンブリをさらに備える、請求項１に記載のゲームシステム。
  55. 前記ホログラフィックビデオゲームデータは、前記記録された機械的エネルギーを含む、請求項５４に記載のゲームシステム。
  56. 前記ゲームアプリケーションは、前記記録された機械的エネルギーに基づいて、ホログラフィックビデオゲームコンテンツを生み出す、請求項５４に記載のゲームシステム。
  57. ゲームシステムであって、
    ゲームアプリケーションであって、前記ゲームアプリケーションは、前記ゲームアプリケーションの実行中にライトフィールドゲーム体験のための複数の入力を生成するように構成されている、ゲームアプリケーションと、
    ネットワークインターフェースであって、
    ネットワーク接続を介して、前記複数の入力をゲームサーバに送信することと、
    前記ネットワーク接続を介して、ホログラフィックビデオゲームコンテンツを受信することと、を行うように構成されており、前記ホログラフィックビデオゲームコンテンツは、前記ライトフィールドゲーム体験の前記ホログラフィックビデオゲームコンテンツを提示するための複数の表示命令を含む、ネットワークインターフェースと、
    前記表示命令を入力することと、前記ホログラフィックビデオゲームコンテンツを前記ライトフィールドゲーム体験内のシーンとして提示することと、を行うように構成されているライトフィールド（ＬＦ）ディスプレイアセンブリと、を備える、ゲームシステム。
  58. 前記ゲームシステムは、前記ＬＦディスプレイアセンブリのハードウェア構成にアクセスするようにさらに構成されており、
    前記ネットワークインターフェースは、前記ＬＦディスプレイアセンブリの前記ハードウェア構成を前記ゲームサーバに送信するようにさらに構成されており、
    前記シーンを表す前記受信されたホログラフィックコンテンツは、前記ハードウェア構成を有するＬＦディスプレイアセンブリを使用して提示するように構成されている、請求項５７に記載のゲームシステム。
  59. 前記ハードウェア構成は、
    解像度、
    度当たりの提示光線の数、
    視野、
    表示面の偏向角、および
    前記表示面の次元、のうちのいずれかを含む、請求項５８に記載のゲームシステム。
  60. 前記ゲームシステムは、前記ＬＦディスプレイアセンブリの幾何学的配向にアクセスするようにさらに構成されており、
    前記ネットワークインターフェースは、前記ＬＦディスプレイアセンブリの前記幾何学的構成を前記ゲームサーバに送信するようにさらに構成されており、
    前記シーンを表す前記受信されたホログラフィックコンテンツは、前記幾何学的配向を有するＬＦディスプレイアセンブリを使用して提示するように構成されている、請求項５７に記載のゲームシステム。
  61. 前記幾何学的配向は、
    前記ＬＦディスプレイアセンブリのディスプレイパネルの数、
    前記ディスプレイパネルの相対的な配向、
    前記ディスプレイパネルの高さ、
    前記ディスプレイパネルの幅、および
    前記ディスプレイパネルのレイアウト、のうちのいずれかを含む、請求項６０に記載のゲームシステム。
  62. 前記ゲームシステムは、前記ＬＦディスプレイアセンブリの場所の構成にアクセスするようにさらに構成されており、
    前記ネットワークインターフェースは、前記ＬＦディスプレイアセンブリの前記場所の前記構成を前記ゲームサーバに送信するようにさらに構成されており、
    前記シーンを表す前記受信されたホログラフィックコンテンツは、前記構成を有する前記場所におけるＬＦディスプレイアセンブリを使用して提示するように構成されている、請求項５７に記載のゲームシステム。
  63. 前記場所の前記構成は、
    １つ以上のホログラフィックオブジェクトボリューム、
    １つ以上の視聴ボリューム、および
    前記ＬＦディスプレイアセンブリに対する、前記ゲームアプリケーションを実行しているユーザの場所、のうちのいずれかを含む、請求項６２に記載のゲームシステム。
  64. 前記ＬＦゲーム体験のための前記ホログラフィックビデオゲームデータは、前記ＬＦゲーム体験のシーンに対応する形状、テクスチャ、照明特性、および材料特性、のうちのいずれかを含む、請求項５７に記載のゲームシステム。
  65. 前記ＬＦゲーム体験のための前記受信されたホログラフィックビデオゲームデータは、
    前記ライトフィールドゲーム体験の前記シーン内の１つ以上の視点、
    前記ライトフィールドゲーム体験を表すライトフィールド、
    複数の赤、緑、青、およびアルファのサンプルを含む深層画像、
    前記ライトフィールドゲーム体験における１つ以上の表面のイルミネーション形状および視聴形状の関数によって判定される反射率、のうちのいずれかを含む、請求項５７に記載のゲームシステム。
  66. 前記ライトフィールドゲーム体験のための前記ホログラフィックビデオゲームデータは、前記ライトフィールドゲーム体験の前記シーン内の１つ以上の視点を含み、前記１つ以上の視点のうちの第１の視点は、他の視点よりも高い解像度を有する中央ビューに対応する、請求項５７に記載のゲームシステム。
  67. 前記ホログラフィックビデオゲームは、前記ライトフィールドゲーム体験の前記シーン内の１つ以上の視点を含み、前記視点のうちの少なくともいくつかは、他の視点よりも低い解像度でレンダリングされる、請求項５７に記載のゲームシステム。
  68. 前記ホログラフィックビデオゲームデータは、１つ以上の体積触覚表面としてレンダリングされ、前記ホログラフィックビデオゲームデータは、表面テクスチャ、材料硬度、延性、または触覚強度、のうちのいずれかとして前記体積触覚表面を記述する、請求項５７に記載のゲームシステム。
  69. 前記ホログラフィックビデオゲームデータは、１つ以上の体積触覚表面としてレンダリングされ、前記ホログラフィックビデオゲームデータは、１つ以上の座標における音波に対する１つ以上の振幅を含むサウンドフィールドとして前記体積触覚表面を記述する、請求項５７に記載のゲームシステム。
  70. 前記受信されたホログラフィックビデオゲームデータは、符号化されたホログラフィックビデオゲームデータであり、
    前記符号化されたホログラフィックビデオゲームコンテンツを受信するときに、前記符号化されたホログラフィックビデオゲームデータを復号化されたホログラフィックビデオゲームデータに復号化するように構成されているデコーダをさらに備える、請求項５７に記載のゲームシステム。
  71. 前記符号化されたホログラフィックビデオゲームデータは、第１のフォーマットにあり、前記復号化されたホログラフィックビデオゲームデータは、第２のフォーマットにある、請求項７０に記載のゲームシステム。
  72. 前記第１のフォーマットは、ベクトル化されたデータフォーマットであり、前記第２のフォーマットは、ラスタライズされたデータフォーマットである、請求項７１に記載のゲームシステム。
  73. 前記デコーダは、独自のコーデックを採用して、前記符号化されたストリーミングホログラフィックコンテンツを復号化する、請求項７０に記載のゲームシステム。
  74. 前記符号化されたホログラフィックビデオゲームデータは、独自のコーデックによって復号化可能であるフォーマットにおいて符号化される、請求項５７に記載のゲームシステム。
  75. 前記ゲームサーバは、前記ゲームシステムと同じ場所に位置している、請求項５７に記載のゲームシステム。
  76. 前記ゲームサーバは、前記ゲームシステムとは異なる場所に位置している、請求項５７に記載のゲームシステム。
  77. 前記ホログラフィックビデオゲームコンテンツは、ｅスポーツ競技会の観客に提示される、請求項５７に記載のゲームシステム。
  78. 前記ゲームサーバは、ネットワーク接続を介して、前記ライトフィールドゲーム体験を運用管理する、請求項５７に記載のゲームシステム。
  79. 前記ライトフィールドゲーム体験の運用管理は、
    すべてのクライアントから入力を収集すること、
    前記クライアントからタイムスタンプを収集すること、
    ゲームの世界状態をプレーヤ間で同期させたままにすること、
    すべてのプレーヤクライアントがルールに従ってプレイしていることを確実にすること、
    プレーヤの動きを検証および実施すること、または
    前記ゲームの前記世界状態の定期的なスナップショットをすべてのクライアントに送信すること、を含む、請求項５７に記載のゲームシステム。
  80. 前記ゲームアプリケーションは、前記ゲームアプリケーションが前記シーン内の観戦客の視点から前記ライトフィールドゲーム体験を視聴するためのビデオゲームデータを生成する、観戦客モードで動作するように構成されている、請求項５７に記載のゲームシステム。
  81. 前記ゲームアプリケーションは、前記ライトフィールドゲーム体験のゲーム状態に影響を及ぼすために入力として機能するビデオゲームデータを生成しない、請求項８０に記載のゲームシステム。
  82. 前記ネットワークインターフェースは、前記ネットワーク接続を介して、ホログラフィックビデオゲームデータを１つ以上の追加のＬＦディスプレイアセンブリに送信するようにさらに構成されている、請求項５７に記載のゲームシステム。
  83. 前記１つ以上の追加のＬＦディスプレイアセンブリは、前記ＬＦディスプレイアセンブリとは異なる場所にある、請求項８２に記載のゲームシステム。
  84. 前記１つ以上の追加のＬＦディスプレイアセンブリは、家、劇場、バー、アリーナ、またはスタジアムに位置している、請求項８２に記載のゲームシステム。
  85. 前記ゲームシステムは、家、劇場、バー、アリーナ、またはスタジアムに位置している、請求項５７に記載のゲームシステム。
  86. 前記ゲームアプリケーションは、複数のサービスレベルのうちのサービスレベルでビデオゲームデータを生成するように構成されており、前記サービスレベルのうちの各々は、前記ＬＦディスプレイアセンブリによって提示される異なる品質のホログラフィックコンテンツに対応する、請求項５７に記載のゲームシステム。
  87. 各サービスレベルは、対応するサブスクリプション価格に関連付けられる、請求項８６に記載のゲームシステム。
  88. 前記ゲームアプリケーションは、前記ライトフィールドゲーム体験を運用管理するゲームサーバにサブスクリプション料金を提供する、請求項８６に記載のゲームシステム。
  89. 各サービスレベルは、対応するデジタル権利管理保護スキームによって保護される、請求項８６に記載のゲームシステム。
  90. 第１のサービスレベルは、視覚情報を含むホログラフィックコンテンツを含み、第２のサービスレベルは、視覚情報および聴覚情報を含むホログラフィックコンテンツを含む、請求項８６に記載のゲームシステム。
  91. 第１のサービスレベルは、視覚情報を含むホログラフィックコンテンツを含み、第２のサービスレベルは、視覚情報および触覚情報を含むホログラフィックコンテンツを含む、請求項８６に記載のゲームシステム。
  92. 前記ネットワークインターフェースは、ネットワーク接続を介して、ｅスポーツ競技会の観客に前記ビデオゲームデータをホログラフィックコンテンツとして提示するように構成されているＬＦディスプレイアセンブリに、前記ホログラフィックビデオゲームデータを送信するようにさらに構成されている、請求項５７に記載のゲームシステム。
  93. 前記観客およびＬＦディスプレイアセンブリは、前記ゲームシステムとは異なる場所に位置している、請求項９２に記載のゲームシステム。
  94. 前記ＬＦディスプレイアセンブリは、音響コンテンツを提示するように構成されており、
    前記受信されたホログラフィックビデオゲームデータは、前記ライトフィールドディスプレイアセンブリが前記ホログラフィックビデオゲームデータを前記ライトフィールドゲーム体験の前記シーン内の聴覚コンテンツとして提示するための音声命令をさらに含む、請求項５７に記載のゲームシステム。
  95. 前記提示されたホログラフィックコンテンツは、第１のタイプのエネルギーおよび第２のタイプのエネルギーを含む、請求項５７に記載のゲームシステム。
  96. 前記第１のタイプのエネルギーは、電磁エネルギーであり、前記第２のタイプのエネルギーは、超音波エネルギーである、請求項９５に記載のＬＦディスプレイシステム。
  97. 前記超音波エネルギーは、体積触覚表面を形成する、請求項９６に記載のＬＦディスプレイシステム。
  98. 前記第１のタイプのエネルギーおよび第２のタイプのエネルギーは、前記ＬＦディスプレイアセンブリが体積触覚表面を提示するように、同じ場所で提示される、請求項９５に記載のＬＦディスプレイシステム。
  99. 電磁エネルギーをライトフィールドコンテンツとして記録するように構成されている１つ以上のエネルギーセンサを備えるライトフィールド記録アセンブリをさらに備える、請求項５７に記載のゲームシステム。
  100. 前記ネットワークインターフェースは、前記記録されたライトフィールドコンテンツを前記ゲームサーバに送信するようにさらに構成されている、請求項９９に記載のゲームシステム。
  101. 前記受信されたホログラフィックビデオゲームコンテンツは、前記ゲームサーバに送信された前記記録されたライトフィールドコンテンツに基づいている、請求項１００に記載のゲームシステム。
  102. 音響エネルギーを聴覚コンテンツとして記録するように構成されている１つ以上のエネルギーセンサを備えるライトフィールド記録アセンブリをさらに備える、請求項５７に記載のゲームシステム。
  103. 前記ネットワークインターフェースは、前記記録された聴覚コンテンツを前記ゲームサーバに送信するようにさらに構成されている、請求項１０２に記載のゲームシステム。
  104. 前記受信されたホログラフィックビデオゲームコンテンツは、前記ゲームサーバに送信された前記記録された聴覚コンテンツに基づいている、請求項１０２に記載のゲームシステム。
  105. 機械的エネルギーを記録するように構成されている１つ以上の圧力センサを備えるライトフィールド記録アセンブリをさらに備える、請求項５７に記載のゲームシステム。
  106. 前記ネットワークインターフェースは、前記記録された機械的エネルギーの表現を前記ビデオゲームサーバに送信するようにさらに構成されている、請求項１０５に記載のゲームシステム。
  107. 前記受信されたホログラフィックビデオゲームコンテンツは、前記ゲームサーバに送信された前記記録された機械的エネルギーの前記表現に基づいている、請求項１０５に記載のゲームシステム。
JP2022532789A 2019-12-03 2019-12-03 ビデオゲームおよび電子スポーツのためのライトフィールドディスプレイシステム Pending JP2023512869A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/064268 WO2021112830A1 (en) 2019-12-03 2019-12-03 Light field display system for video games and electronic sports

Publications (1)

Publication Number Publication Date
JP2023512869A true JP2023512869A (ja) 2023-03-30

Family

ID=76222646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022532789A Pending JP2023512869A (ja) 2019-12-03 2019-12-03 ビデオゲームおよび電子スポーツのためのライトフィールドディスプレイシステム

Country Status (8)

Country Link
US (1) US11938398B2 (ja)
EP (1) EP4069387A4 (ja)
JP (1) JP2023512869A (ja)
KR (1) KR20220106770A (ja)
CN (1) CN114761095A (ja)
AU (1) AU2019477064A1 (ja)
CA (1) CA3157637A1 (ja)
WO (1) WO2021112830A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220188877A1 (en) * 2020-12-16 2022-06-16 Bidstack Group PLC Methods and systems for video game live streaming
CN113596353B (zh) * 2021-08-10 2024-06-14 广州艾美网络科技有限公司 体感互动数据处理方法、装置及体感互动设备
WO2023076957A1 (en) * 2021-10-27 2023-05-04 Magic Leap, Inc. Acoustic playback waveguide for wearable xr glasses
JP7212744B1 (ja) 2021-11-17 2023-01-25 株式会社Ｄｒ．健康クラブ トレーニングサポートシステム、トレーニングサポートプログラム及びトレーニングサポート方法
US20230409149A1 (en) * 2022-06-09 2023-12-21 Lightguide, Inc. Virtual buttons for augmented reality light guided assembly system and calibration method

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL192610C (nl) 1990-12-13 1997-11-04 Enschede & Zonen Grafisch Beelddrager en werkwijze voor het op een beelddrager drukken van een beeld.
US7567241B2 (en) 2004-08-03 2009-07-28 Silverbrook Research Pty Ltd Stylus with customizable appearance
JP2009530661A (ja) 2006-03-15 2009-08-27 ゼブラ・イメージング・インコーポレイテッド 動的裸眼立体視ディスプレイ
US20080144174A1 (en) 2006-03-15 2008-06-19 Zebra Imaging, Inc. Dynamic autostereoscopic displays
US8149265B2 (en) 2007-08-11 2012-04-03 Massachusetts Institute Of Technology Holographic video display system
US10108146B2 (en) 2007-08-11 2018-10-23 Massachusetts Institute Of Technology Anisotropic leaky-mode modulator for holographic video displays
US20140300695A1 (en) 2007-08-11 2014-10-09 Massachusetts Institute Of Technology Full-Parallax Acousto-Optic/Electro-Optic Holographic Video Display
EP2304491A1 (en) 2008-07-10 2011-04-06 Real View Imaging Ltd. Broad viewing angle displays and user interfaces
US20100156895A1 (en) 2008-10-26 2010-06-24 Zebra Imaging, Inc. Processing Pre-recorded Hogel Data
US11277598B2 (en) 2009-07-14 2022-03-15 Cable Television Laboratories, Inc. Systems and methods for network-based media processing
WO2012173612A1 (en) 2011-06-15 2012-12-20 Hewlett Packard Development Company, L.P. Security image printing
CN102231044A (zh) 2011-06-29 2011-11-02 浙江大学 基于多屏拼接的体视三维显示装置
US8525829B2 (en) 2011-09-19 2013-09-03 Disney Enterprises, Inc. Transparent multi-view mask for 3D display systems
US8593564B2 (en) 2011-09-22 2013-11-26 Apple Inc. Digital camera including refocusable imaging mode adaptor
US8917453B2 (en) 2011-12-23 2014-12-23 Microsoft Corporation Reflective array waveguide
US9612395B2 (en) 2012-01-26 2017-04-04 Corning Incorporated Optical fiber with a variable refractive index profile
CN102591124A (zh) 2012-02-21 2012-07-18 浙江大学 基于拼接光场的横向大视场三维显示方法及系统
KR20130112541A (ko) 2012-04-04 2013-10-14 삼성전자주식회사 플레놉틱 카메라 장치
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US9860522B2 (en) 2012-08-04 2018-01-02 Paul Lapstun Head-mounted light field display
US9841563B2 (en) 2012-08-04 2017-12-12 Paul Lapstun Shuttered waveguide light field display
WO2014106823A2 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
US9417762B2 (en) 2013-01-09 2016-08-16 Northrop Grumman Systems Corporation System and method for providing a virtual immersive environment
US9241197B2 (en) 2013-01-25 2016-01-19 Cisco Technology, Inc. System and method for video delivery over heterogeneous networks with scalable video coding for multiple subscriber tiers
US9310769B2 (en) 2013-03-28 2016-04-12 Disney Enterprises, Inc. Coarse integral holographic display
US10228242B2 (en) * 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
US9304492B2 (en) 2013-10-31 2016-04-05 Disney Enterprises, Inc. Scalable and tileable holographic displays
CN103616770B (zh) 2013-12-12 2016-02-17 北京理工大学 基于多投影机和透射式散射屏幕的周视三维显示装置
US9615068B2 (en) 2014-01-15 2017-04-04 Disney Enterprises, Inc. Optical vortex 3D displays
CN103777455B (zh) 2014-02-25 2016-08-17 浙江大学 基于光场拼接的球形沉浸式三维显示方法及系统
US9465361B2 (en) 2014-03-31 2016-10-11 Disney Enterprises, Inc. Image based multiview multilayer holographic rendering algorithm
CN105334690B (zh) 2014-08-14 2018-07-27 台达电子工业股份有限公司 环绕光场显示器及其操作方法
US20160306390A1 (en) 2015-03-17 2016-10-20 Roel Vertegaal Flexible Display for a Mobile Computing Device
US9740169B2 (en) 2015-03-19 2017-08-22 Disney Enterprises, Inc. Holographic high power illumination distribution system
US10591869B2 (en) 2015-03-24 2020-03-17 Light Field Lab, Inc. Tileable, coplanar, flat-panel 3-D display with tactile and audio interfaces
US9602047B2 (en) 2015-03-24 2017-03-21 Ecole Polytechnique Federale De Lausanne (Eplf) Self-tracking solar concentrator device
US9712810B2 (en) 2015-06-03 2017-07-18 Disney Enterprises, Inc. Tracked automultiscopic 3D tabletop display
FR3046692B1 (fr) 2016-01-07 2018-01-05 Urgo Recherche Innovation Et Developpement Analyse numerique d'une image numerique representant une plaie pour sa caracterisation automatique
WO2017127571A1 (en) 2016-01-19 2017-07-27 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
WO2017127897A1 (en) 2016-01-27 2017-08-03 Paul Lapstun Shuttered waveguide light field display
US10154253B2 (en) 2016-08-29 2018-12-11 Disney Enterprises, Inc. Multi-view displays using images encoded with orbital angular momentum (OAM) on a pixel or image basis
US10560689B2 (en) 2017-11-28 2020-02-11 Paul Lapstun Viewpoint-optimized light field display
CA3088376A1 (en) 2018-01-14 2019-07-18 Light Field Lab, Inc. System and methods for rendering data from a 3d environment
US10792576B2 (en) * 2018-02-28 2020-10-06 Sony Interactive Entertainment LLC Player to spectator handoff and other spectator controls

Also Published As

Publication number Publication date
AU2019477064A1 (en) 2022-05-26
EP4069387A4 (en) 2023-11-01
KR20220106770A (ko) 2022-07-29
EP4069387A1 (en) 2022-10-12
CN114761095A (zh) 2022-07-15
US11938398B2 (en) 2024-03-26
US20220409995A1 (en) 2022-12-29
WO2021112830A1 (en) 2021-06-10
CA3157637A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
US11938398B2 (en) Light field display system for video games and electronic sports
US11691066B2 (en) Light field display system for sporting events
US11428933B2 (en) Light field display system for performance events
US20190073830A1 (en) Program for providing virtual space by head mount display, method and information processing apparatus for executing the program
US11212514B2 (en) Light field display system for cinemas
JP7492577B2 (ja) 成人向けライトフィールドディスプレイシステム発明者：ジョナサン・シャン・カラフィンブレンダン・エルウッド・ベベンシージョン・ドーム
US20240226723A1 (en) Light Field Display System for Video Games and Electronic Sports
US20220308359A1 (en) Light field display system for gaming environments

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221202

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20221228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240403