JP7263451B2 - レイヤ化拡張型エンターテインメント体験 - Google Patents

Description

［関連出願の相互参照］
本出願は、２０１７年４月１１日に出願された米国特許仮出願第６２／４８４，１２１号に基づく優先権の利益を主張し、この米国特許仮出願の開示の全体を本願において援用する。

本発明は、３次元（３Ｄ）エンターテインメント体験全般に関し、特に、レイヤ化（layered）拡張型（augmented）３Ｄエンターテインメント体験に関する。

実世界のシーンにおいて実世界の物体を視認するとき、人間の脳は、遠近調節（accommodation）プロセスを用いて毛様体筋を制御し、２つの眼の瞳孔の背後にある眼水晶体の
それぞれを幾つかの特定の焦点距離（または倍率）に合わせ、実世界の物体への合焦を行う。同時に、人間の脳は、実世界の物体の３Ｄ物体としての知覚をサポートするために、両眼転導プロセスを用いて外眼筋を制御し、２つの眼を実世界の物体に向けて同時に輻輳（converge）または開散（diverge）させる。

比較として、３Ｄ画像に示された物体を視認するとき、人間の脳は、３Ｄ画像に描写された物体がどこに位置するのかによらず、ディスプレイ上に描画された３Ｄ画像の明瞭視をサポートするために、遠近調節プロセスを用いて毛様体筋を制御して、鑑賞者の眼の眼水晶体を調整し、ディスプレイ（例えば、シネマディスプレイ等）への合焦を行う。同時に、人間の脳は、描写された物体の３Ｄ物体としての知覚をサポートするために、両眼転導プロセスを用いて外眼筋を制御し、眼を３Ｄ画像に描写された物体に向けて同時に輻輳または開散させる。

描写された物体が相対的に大きな負の視差（parallax：パララックス）を有し、したがって、ディスプレイの前方において相対的に眼の近くに視覚的に知覚される場合、遠近調節プロセスは、依然として眼をディスプレイ上に調整しようと試みる一方、両眼転導プロセスは、相対的に近い距離にある描写物体に眼を輻輳または開散しようとし、それによって、遠近調節と両眼転導との不整合が引き起こされる。この３Ｄ画像視認における遠近調節と両眼転導との不整合は、深刻な生理的不快感／気持ち悪さを誘発する傾向がある。したがって、相対的に大きな負の視差は、特にシネマ３Ｄエンターテインメント体験にはめったに用いられない。

本節に記載されているアプローチは、探求し得るアプローチではあるが、必ずしもこれまでに着想または探求されてきたアプローチではない。従って、別途示唆のない限り、本節に記載されたアプローチのいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、１以上のアプローチに関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。

添付図面の各図において、本発明を限定することなく例示する。同様の部材には同様の参照符号を付している。

多視点（multi-view：マルチビュー）画像に描写された例示の３Ｄ視覚物体を示す図である。 鑑賞者が、ウェアラブルデバイスのシネマディスプレイおよびデバイスディスプレイを用いて、多視点画像に描写された複数の視覚物体を視認する一例示の３Ｄ空間を示す図である。 鑑賞者が、ウェアラブルデバイスのシネマディスプレイおよびデバイスディスプレイを用いて、多視点画像に描写された複数の視覚物体を視認する一例示の３Ｄ空間を示す図である。 鑑賞者が、ウェアラブルデバイスのシネマディスプレイおよびデバイスディスプレイを用いて、多視点画像に描写された複数の視覚物体を視認する一例示の３Ｄ空間を示す図である。 鑑賞者が、ウェアラブルデバイスのシネマディスプレイおよびデバイスディスプレイを用いて、多視点画像に描写された複数の視覚物体を視認する一例示の３Ｄ空間を示す図である。 テンソルマップから導出された一例示の３Ｄピクセル分布を示す図である。 テンソルマップに基づいて生成された非レイヤ化（unlayered）視点画像からの例示のシングルレイヤ画像を示す図である。 画像描画処理において再構築されたテンソルマップを示す図である。 拡張型エンターテインメントシステムの例示の構成を示す図である。 拡張型エンターテインメントシステムの例示の構成を示す図である。 拡張型エンターテインメントシステムの例示の構成を示す図である。 シネマディスプレイが複数の鑑賞者の共有ディスプレイとしての機能を果たす例示の複数鑑賞者環境を示す図である。 シネマディスプレイが複数の鑑賞者の共有ディスプレイとしての機能を果たす例示の複数鑑賞者環境を示す図である。 プロセスフロー例を示す図である。 プロセスフロー例を示す図である。 本明細書において説明されるようなコンピュータまたはコンピューティングデバイスを実施することができる一例示のハードウェアプラットフォームを示す図である。

レイヤ化拡張型３Ｄエンターテインメント体験に関連する例示的実施形態が、本明細書に記載される。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。

例示の実施形態は、本明細書において以下のアウトラインに従って説明される。
１．一般的概要
２．拡張型エンターテインメント体験
３．レイヤ化画像生成
４．テンソルマップ
５．レイヤ化画像エンコーダおよび拡張型エンターテインメントシステム
６．プロセスフロー例
７．実装メカニズム－ハードウェア概要
８．均等物、拡張物、代替物およびその他

１．一般的概要
本概要は、本発明のある例示的実施形態が有するいくつかの側面について、基本的説明を提示する。本概要は、例示的実施形態が有する諸側面についての広範かつ網羅的な要約ではない、ということに留意すべきである。さらに留意すべきは、本概要は、例示的実施形態が有する任意の特に重要な側面または要素を示すものとして理解されるようには意図されておらず、その特定の例示的実施形態あるいは広く本発明の何らの範囲をも策定するものとして理解されるようにも意図されていない。本概要は、例示的実施形態に関するいくつかの概念を凝縮された簡素な形式で提示するに過ぎず、以下に続く例示的実施形態についてのより詳細な説明に対する単なる概念的な前置きとして理解されるべきである。本明細書では別個の実施形態が論じられているが、本明細書で論じられている実施形態の任意の組み合わせおよび／または部分的な実施形態は、組み合わせられてさらなる実施形態を形成し得ることに留意されたい。

本明細書において説明される技法は、３Ｄ技術とともに用いられて、拡張型エンターテインメント体験を提供することができる。この拡張型エンターテインメント体験では、鑑賞者が、共有ディスプレイ（shared display）と鑑賞者のウェアラブルデバイスの個々のデバイスディスプレイとの組み合わせを用いて、統合画像空間に３Ｄ物体を描写した画像を視認することができる。限定ではなく例として、共有ディスプレイは、Ｄｏｌｂｙ ３Ｄ、ＲｅａｌＤ、直線偏光ベースの３Ｄ、円偏光ベースの３Ｄ、スペクトル空間分離ベースの３Ｄ等のうちの任意のものに関連したディスプレイ等のシネマディスプレイであり得る。ウェアラブルデバイスのデバイスディスプレイは、共有ディスプレイに対して移動可能なディスプレイであってもよく、移動可能なディスプレイは、画像プロジェクター、ＡＲディスプレイ、ＨｏｌｏＬｅｎｓディスプレイ、Ｍａｇｉｃ Ｌｅａｐディスプレイ、複合現実（ＭＲ）ディスプレイ、テンソルディスプレイ、ボリュームディスプレイ、ライトフィールド（ＬＦ）ディスプレイ、Ｉｍｍｙディスプレイ、メタディスプレイ、相対的に単純なＡＲメガネ、遠近調節と両眼転導との不整合を克服する種々の広範な性能のうちの任意のものを有するディスプレイ等に関連したディスプレイ等である。ウェアラブルデバイスおよびデバイスディスプレイの例は、２０１８年４月４日に出願されたAjit NinanおよびNeil Mammenによる「AUGMENTED 3D ENTERTAINMENT SYSTEMS」という出願名称を有
する米国特許出願第１５／９４５，２３７号において知ることができる。この米国特許出願の全内容は本願において援用され、本明細書に完全に述べられているのと同等に取り扱われる。

シネマディスプレイ上には、２Ｄシネマ画像または３Ｄシネマ画像を表示することができる。シネマ画像を視聴している鑑賞者は、デバイスディスプレイ上に描画されたデバイス画像において追加の３Ｄ物体または追加の３Ｄ深度（depth：奥行き）情報も同時に見
る（または視覚的に知覚する）ことができる。デバイス画像に描写された追加の３Ｄ物体の中には、シネマディスプレイから鑑賞者の前面に飛び出すように見えるものがある。鑑賞者は、これらの３Ｄ物体のうちの任意のものを、そのような３Ｄ物体が、鑑賞者が位置している３Ｄ（物理）空間にあたかも実際に存在するように追うことができる。鑑賞者が３Ｄ物体の周囲を移動すると、鑑賞者は、３Ｄ物体周りの、直前には遮蔽されていた３Ｄ物体の視覚的細部を、現実感の次元または深度が追加／拡張された状態で見ることができる。したがって、デバイス画像およびシネマ画像の組み合わせを通じて、鑑賞者は、鑑賞者の頭部の移動に応じた異なる視差を見ることによって、物体が周囲を浮遊しているという（例えば、心理視覚的、精神物理的等の）感覚を得ることができる。

デバイスディスプレイは、１つ以上の画像平面（one or more image planes）において、鑑賞者の相対的に近くに仮想的または物理的に配置されるように設定することができる。したがって、鑑賞者が、シネマ画像に描写された物体と比較して、鑑賞者の相対的に近くに配置され得るデバイス画像に描写された３Ｄ物体を視認しているときであっても、デバイス画像に描写された３Ｄ物体は、依然として、デバイス画像が描画されたデバイスデ
ィスプレイ（またはこのデバイスディスプレイに関連した画像平面）に対して正の視差を有する。したがって、他の手法下で起こるであろう遠近調節と両眼転導との不整合は、本明細書において説明される技法の下では、回避または大幅に改善することができる。デバイスディスプレイは、鑑賞者の前方の単一距離の単一画像平面において、または、（例えば、時分割多重化等を通じて）複数の異なる距離の複数の画像平面において、デバイスディスプレイ画像を表示または投影することができる。画像平面のこれらの距離は、固定され得るし、自動調節可能にし得る。鑑賞者から自動調節可能な距離（単数または複数）の画像平面（単数または複数）を有するデバイスディスプレイの例は、２０１７年１０月３０日に出願された「EYEWEAR DEVICES WITH FOCUS TUNABLE LENSES」という出願名称を有
する米国特許出願第１５／７９８，２７４号において知ることができる。この米国特許出願の全内容は本願において援用され、本明細書に完全に述べられているのと同等に取り扱われる。

したがって、本明細書において説明される技法によるウェアラブルデバイスは、シネマ画像およびデバイス画像が同期して描画される、異なる深度の少なくとも２つの画像平面を鑑賞者に提供する。少なくとも２つの画像平面のうちの第１の画像平面は、シネマディスプレイの画像平面に対応する。少なくとも２つの画像平面のうちの１つ以上の第２の画像平面は、デバイスディスプレイの画像平面に対応する。

多視点非レイヤ化画像（例えば、事前にレイヤ化された画像、レイヤ化されていない画像、モノリシック画像、ユニタリー画像等）に描写された視覚物体（visual object）は
、多視点画像に表された３Ｄ画像空間内の様々な空間ロケーションにおいて仮想的に配置され得る。本明細書において、多視点非レイヤ化画像とは、レイヤ化画像生成処理が適用されるべき多視点画像を指す。

空間ロケーションに基づいて、多視点非レイヤ化画像に描写された視覚物体は、異なる画像レイヤに分割することができる。各多視点非レイヤ化画像について、画像レイヤのそれぞれは、視覚物体の部分集合を描写するシングルレイヤ画像を含む。

異なる画像レイヤの中で、シネマ画像レイヤは、基準空間ロケーションにおける鑑賞者から相対的に遠くにある多視点非レイヤ化画像における視覚物体（シネマディスプレイの近くまたは背後にあるような）の部分集合を描写する、シングルレイヤ画像を含むことができる。１つ以上のデバイス画像レイヤは、基準空間ロケーションにおける鑑賞者の相対的に近くにある多視点非レイヤ化画像における視覚物体（シネマディスプレイから鑑賞者の前面に飛び出して見えるような）の１つ以上の部分集合を描写するシングルレイヤ画像を含むことができる。

シネマ画像レイヤにおけるシングルレイヤ画像を用いると、シネマディスプレイ上に描画されるシネマディスプレイ画像を得ることができるのに対して、デバイス画像レイヤにおけるシングルレイヤ画像を用いると、ウェアラブルデバイスのデバイスディスプレイを用いて描画されるデバイスディスプレイ画像を得ることができる。３Ｄ画像空間は、シネマディスプレイ上に描画されるシネマディスプレイ画像に描写された３Ｄ画像空間の部分を用いて、３Ｄ物理空間内に固定または投影することができる。デバイスディスプレイ画像に描写された３Ｄ画像空間の他の部分は、シネマディスプレイ画像に描写された３Ｄ画像空間の部分とシームレスに接合するように、空間的に変換することができる。ウェアラブルデバイスのそれぞれの空間ロケーションおよび／または空間方向に応じて、異なるウェアラブルデバイスには異なる空間変換を適用することによって、異なるウェアラブルデバイスに個別に描写された３Ｄ画像空間の他の部分が、シネマディスプレイ画像に描写された３Ｄ画像空間の部分とシームレスに接合するようにできる。

単一の画像レンダラまたは複数の画像レンダラを用いて、シネマ画像描画処理およびデバイス画像描画処理を同時に駆動することができる。３Ｄ空間（例えば、シネマ、映画シアター等）に存在する複数の鑑賞者は、自身のウェアラブルデバイスをこれらの画像レンダラに登録して、拡張型エンターテインメントセッションを体験することができる。

幾つかの実施形態では、ウェアラブルデバイスを自動的に登録することができる。例えば、３Ｄ空間内のウェアラブルデバイスの空間位置および空間方向を追跡／監視するデバイストラッカを３Ｄ空間に配備することができる。追加的、選択的、または代替的に、デバイストラッカは、リモートデバイス追跡／監視を通じて、ＭＡＣアドレス、ネットワークアドレス、ＩＰアドレス等のウェアラブルデバイスのデバイスＩＤ情報を取得することができる。ウェアラブルデバイスのデバイスＩＤ情報、空間位置および空間方向を用いて、ウェアラブルデバイスを登録することができ、正しいＭＡＣアドレス、ネットワークアドレス、ＩＰアドレス等において登録されたウェアラブルデバイスにデバイスディスプレイ画像を配信することができる。デバイス追跡の例は、２０１８年４月１０日に出願されたAjit NinanおよびNeil Mammenによる「PASSIVE MULTI-WEARABLE-DEVICES TRACKING」という出願名称を有する米国特許出願第１５／９４９，５３６号において知ることができる。この米国特許出願の全内容は本願において援用され、本明細書に完全に述べられているのと同等に取り扱われる。

本明細書において説明される技法によれば、異なる画像レイヤから得られる複数のディスプレイ画像をデバイスディスプレイおよびシネマディスプレイ上に同時に描画することができ、元の多視点非レイヤ化画像（ここから異なる画像レイヤの複数のディスプレイ画像が直接または間接的に得られた）に以前に描写されていたのと同じ空間ロケーションに全ての視覚物体が位置するような、３Ｄ画像空間のシームレスな外観を提供または再構築することができる。

多視点非レイヤ化画像は、異なる視点（例えば、視認方向、視野等）に対応する非レイヤ化（単一）視点画像を含むことができる。多視点非レイヤ化画像における各非レイヤ化視点画像に関連した深度情報に基づいて、テンソルマップ（例えば、ｘ、ｙ、ｚ次元／座標／軸の次数３のテンソルマップ等）をレイヤ化画像生成処理において作成し、３Ｄ画像空間内の多視点非レイヤ化画像における非レイヤ化視点画像のピクセル分布を生成することができる。テンソルマップから生成されたピクセル分布におけるピクセルは、ｘ、ｙおよびｚ次元／座標／軸（例えば、画像フレームの列、画像フレームの行、深度等）において表される。テンソルマップが与えられると、例えば、レイヤ分離面を用いてシングルレイヤ画像を生成することができる。テンソルマップに基づく画像レイヤ生成処理は、多視点非レイヤ化画像における視点画像の各視点画像に適用され、異なる画像レイヤのそのような各視点画像のシングルレイヤ画像を生成することができる。

テンソルマップは、画像描画処理にも用いることができる。例えば、シングルレイヤ画像が、鑑賞者のウェアラブルデバイスを用いて描画されるディスプレイ画像を生成するために用いられるとき、これらのシングルレイヤ画像またはディスプレイ画像を、ウェアラブルデバイスの実際の空間位置および実際の空間方向に基づいて、並進、回転、拡大縮小等によって空間的に変換することができる。

シネマ画像レイヤにおけるシングルレイヤ画像から生成されたシネマディスプレイ画像を深度情報とともに用いて、３Ｄ画像空間の一部分に対応するテンソルマップの一部分を作成することができる。１つ以上のデバイス画像レイヤにおけるシングルレイヤ画像から生成されたデバイスディスプレイ画像を深度情報とともに用いて、３Ｄ画像空間の他の部分を作成することができる。デバイスディスプレイ画像は、デバイスディスプレイ画像から作成されたテンソルマップの他の部分が、シネマディスプレイ画像から作成された同じ
テンソルマップの上記部分とシームレスに接合するという制約条件の下で、ウェアラブルデバイスごとに、そのウェアラブルデバイスの特定の空間位置および／または特定の空間方向に基づいて個別に生成することができる。したがって、本明細書において説明される技法によれば、シネマディスプレイ画像およびデバイスディスプレイ画像の組み合わせによって描画される３Ｄ画像空間は、多視点非レイヤ化画像に当初描写された３Ｄ画像空間を正確にまたは忠実に再現する。

本明細書において説明される例示の実施形態は、画像レイヤを生成することに関する。１つ以上の多視点非レイヤ化画像に表される３次元（３Ｄ）画像空間内の複数の視覚物体の空間ロケーションを記述した空間情報にアクセスする。１つ以上の多視点非レイヤ化画像のそれぞれは、複数の視認方向に対応する複数の単視点非レイヤ化画像を含む。１つ以上の多視点非レイヤ化画像に表される３Ｄ画像空間内の複数の視覚物体の空間ロケーションを記述した空間情報に基づいて、１つ以上の多視点非レイヤ化画像から、複数の視覚物体における１つ以上の視覚物体の第１の真部分集合を描写した１つ以上のシングルレイヤシネマ画像を含むシネマ画像レイヤを生成し、１つ以上の多視点非レイヤ化画像から、１つ以上のデバイス画像レイヤのそれぞれが複数の視覚物体における１つ以上の視覚物体の１つ以上の第２の真部分集合を描写する１つ以上のシングルレイヤデバイス画像を含む、当該１つ以上のデバイス画像レイヤを生成すること等を行う。シネマ画像レイヤにおける１つ以上のシングルレイヤシネマ画像と、１つ以上のデバイス画像レイヤにおける１つ以上のシングルレイヤデバイス画像とを含む多レイヤ多視点ビデオ信号は、描画を行う１つ以上の下流側デバイスに送信される。

本明細書において説明される例示の実施形態は、画像レイヤから生成されたシネマディスプレイ画像およびデバイスディスプレイ画像を描画することに関する。シネマ画像レイヤにおける１つ以上のシングルレイヤシネマ画像と、１つ以上のデバイス画像レイヤにおける１つ以上のシングルレイヤデバイス画像とを含むマルチレイヤ（multi-layer）多視
点ビデオ信号が受信される。シネマ画像レイヤにおけるシングルレイヤシネマ画像と、１つ以上のデバイス画像レイヤにおけるシングルレイヤデバイス画像とは、１つ以上の多視点非レイヤ化画像から事前に得られたものである。１つ以上のシングルレイヤシネマ画像は、多レイヤ多視点ビデオ信号のシネマ画像レイヤから取り出される。１つ以上のシングルレイヤシネマ画像は、１つ以上の多視点非レイヤ化画像によって当初描写された複数の視覚物体における１つ以上の視覚物体の第１の真部分集合を描写する。１つ以上のシングルレイヤデバイス画像は、多レイヤ多視点ビデオ信号の１つ以上のデバイス画像レイヤから取り出される。１つ以上のデバイス画像は、１つ以上の多視点非レイヤ化画像によって当初描写された複数の視覚物体における１つ以上の視覚物体の１つ以上の第２の真部分集合を描写する。１つ以上の第１の多視点シングルレイヤ画像に描写された視覚物体の第１の真部分集合は、３Ｄ空間において鑑賞者に対してシネマディスプレイ上に描画される。１つ以上の第２の多視点シングルレイヤ画像に描写された視覚物体の１つ以上の第２の真部分集合は、３Ｄ空間において鑑賞者に対してデバイスディスプレイ上に同時に描画される。シネマディスプレイ上に描画された視覚物体の第１の真部分集合と、デバイスディスプレイ上に描画された視覚物体の１つ以上の第２の真部分集合とは、３Ｄ画像空間において、１つ以上の多視点非レイヤ化画像によって当初描写されたものと同じ空間ロケーションに位置する複数の視覚物体をひとまとめにして描写する。複数の視覚物体が位置する３Ｄ画像空間内の空間ロケーションを記述した空間情報は、１つ以上の多視点非レイヤ化画像によって当初描写された複数の視覚物体をシネマ画像レイヤおよび１つ以上のデバイス画像レイヤに分割するために事前に用いられたものである。

幾つかの例示の実施形態では、本明細書において説明されるメカニズムは、メディア処理システムの一部をなす。このメディア処理システムは、クラウドベースサーバ、モバイルデバイス、仮想現実システム、拡張現実システム、ヘッドアップディスプレイデバイス
、ヘルメットマウントディスプレイデバイス、ＣＡＶＥタイプシステム、壁サイズディスプレイ、ビデオゲームデバイス、ディスプレイデバイス、メディアプレーヤー、メディアサーバ、メディア制作システム、カメラシステム、ホームベースシステム、通信デバイス、ビデオ処理システム、ビデオコーデックシステム、スタジオシステム、ストリーミングサーバ、クラウドベースコンテンツサービスシステム、ハンドヘルドデバイス、ゲームマシン、テレビ、シネマディスプレイ、ラップトップコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、セルラー無線電話機、電子ブックリーダー、ＰＯＳ（point of sale）端末、デスクトップコンピュータ、コンピュータワークステーション、コ
ンピュータサーバ、コンピュータキオスク、または他の様々な種類の端末およびメディア処理ユニットのうちの任意のものを含むが、これらに限定されるものではない。

本明細書において説明される好適な実施形態並びに一般的な原理および特徴に対する様々な変更形態は、当業者には直ちに明らかであろう。したがって、本開示は、示された実施形態に限定されることを意図しておらず、本明細書において説明される原理および特徴と整合する最も広い範囲を与えられる。

２．拡張型エンターテインメント体験
幾つかの例示の実施形態では、本明細書において説明される技法は、共有ディスプレイ（例えば、シネマディスプレイ等）とウェアラブルデバイスのデバイスディスプレイとを用いて、統合された（例えば、３Ｄ、多視点等の）画像コンテンツを提示し、鑑賞者のエンターテインメント体験を拡張／強化するために用いることができる。鑑賞者は、シネマディスプレイ上のシネマ画像コンテンツを視認している間、当該鑑賞者によって用いられるウェアラブルデバイスのデバイスディスプレイを用いて描画されたデバイス画像コンテンツを同時に視認することができる。多視点非レイヤ化画像から得ることができるこれらのシネマ画像コンテンツおよびデバイス画像コンテンツは、同じ多視点非レイヤ化画像に当初描写されていた全ての視覚物体をひとまとめにして提示する。

ウェアラブルデバイスおよびこれに付随するデバイスディスプレイは、シネマディスプレイの付加物、ＴＶ等のフラットエンターテインメント画面等を表す。例えば、ウェアラブルデバイスは、鑑賞者によって装着されたＡＲメガネとすることができる。ウェアラブルデバイスは、シネマディスプレイ上の３Ｄコンテンツを視認するために、左眼および右眼の分離技術を実施することができる。同時に、ウェアラブルデバイス（またはウェアラブルデバイスを有するイメージャー）は、シネマディスプレイ上への２Ｄシネマ画像コンテンツまたは３Ｄシネマ画像コンテンツの描画と同期してデバイス画像コンテンツを描画することができる。したがって、ウェアラブルデバイスは、シネマディスプレイ単独によって通常提供することができる次元または深度の範囲に、新たな次元または深度の新たな範囲を追加することができる。

３Ｄシネマ画像コンテンツがシネマディスプレイ上に描画される場合、ウェアラブルデバイス上に描画されるデバイス画像コンテンツは、３Ｄデバイス画像コンテンツとすることができる。幾つかの実施形態では、ウェアラブルデバイスによって描画される３Ｄデバイス画像コンテンツは、鑑賞者とシネマディスプレイとの間の視覚物体に（例えば、ほとんど、実質的に、部分的に等で）合焦することができる。そのような３Ｄ画像コンテンツ部分は、シネマディスプレイ上に描画された場合に、負の視差および深度を有する。比較として、本明細書において説明される技法によれば、鑑賞者とシネマディスプレイとの間の３Ｄ画像コンテンツ部分を、ウェアラブルデバイスによって正の視差および深度を用いて表示することができる。したがって、シネマディスプレイ上に描画される正の視差の視覚物体と、ウェアラブルデバイスによって描画される同じく正の視差の視覚物体との間の非常に快適な移行を鑑賞者に提供することができる。

２Ｄシネマ画像コンテンツがシネマディスプレイ上に描画される場合、ＡＲメガネ上に描画されたデバイス画像コンテンツは、２Ｄシネマ画像コンテンツを補完する３Ｄデバイス画像コンテンツとすることができる。ウェアラブルデバイスによって描画される３Ｄデバイス画像コンテンツは、ウェアラブルデバイスの空間位置および／または空間方向に応じて、３Ｄの細部の適切な遮蔽および／または非遮蔽を伴って、視覚物体を、鑑賞者とシネマディスプレイとの間の３Ｄ物体として、および、任意選択で、鑑賞者に対してシネマディスプレイの背後にある３Ｄ物体として描写する全体画像コンテンツにおける３Ｄ画像コンテンツ部分に（例えば、ほとんど、実質的に、部分的に等で）合焦することができる。これらの３Ｄ画像コンテンツ部分のうちの幾つかは、シネマディスプレイ上に描画された場合、負の視差および深度を有する。比較として、本明細書において説明される技法によれば、鑑賞者とシネマディスプレイとの間の全ての３Ｄ画像コンテンツ部分と、更にはシネマディスプレイの背後にある３Ｄ画像コンテンツ部分とは、ＡＲメガネによって正の視差および深度を用いて表示することができる。したがって、鑑賞者がシネマディスプレイ上に描画される視覚物体と、ウェアラブルデバイスを用いて描画される視覚物体とを追跡するとき、非常に快適でシームレスな移行を鑑賞者に提供することができる。

シネマディスプレイの前面の非常に浅い深度に視覚物体を制限する他の手法、または、相対的に大きな負の視差を有する視覚物体を表示することによって深度の増加を試みる他の手法と異なり、本明細書において説明される技法による手法は、相対的に大きな負の視差を導入することなく、シネマディスプレイの前面に相対的に大きな深度を有する視覚物体を表示するために用いることができる。したがって、本明細書において説明される技法は、遠近調節と両眼転導との不整合を防止または解決する効果的な解決策を提供することができる。

シネマディスプレイのみ（本明細書において説明されるウェアラブルデバイスを有しない）を用いて３Ｄ視覚物体を描画するとき、特定の３Ｄ視覚物体が、シネマディスプレイの背後からシネマディスプレイの前面に移行する場合がある。この特定の３Ｄ視覚物体がシネマディスプレイから過度に遠くにある場合、この特定の３Ｄ視覚物体がシネマディスプレイによってサポートされる立体視野角範囲の外部に移動する場合があるので、シネマ画像コンテンツは、この特定の３Ｄ視覚物体を描画することができない場合がある。

比較すると、本明細書において説明される技法によれば、ウェアラブルデバイスを用いて特定の３Ｄ視覚物体を表示または描画し、シネマディスプレイ単独によって通常サポートすることができる視野角範囲よりもはるかに大きな視野角範囲をサポートすることができる。したがって、鑑賞者は、シネマディスプレイ単独によってサポートされる立体角に制限も制約もされることなく、そのはるかに大きな視野角範囲内で特定の３Ｄ視覚物体を視覚的に追跡し続けることができる。

本明細書において説明される技法は、多種多様な共有ディスプレイの中のある共有ディスプレイと、多種多様なウェアラブルデバイスの中のあるウェアラブルデバイスとの任意の組み合わせを用いて実施することができる。単一の共有ディスプレイまたは単一の専用ディスプレイを用いて３Ｄ画像を表示する代わりに、複数のディスプレイを同時に用いて、同じ多視点画像コンテンツから生成された複数の画像レイヤを表示することができる。これらの画像レイヤのそれぞれを描画して、正の視差または深度（または許容可能な負の視差量以下）の視覚物体を描写することができる。ウェアラブルデバイスの例としては、画像プロジェクター、ＡＲディスプレイ、ＨｏｌｏＬｅｎｓディスプレイ、Ｍａｇｉｃ Ｌｅａｐディスプレイ、複合現実（ＭＲ）ディスプレイ、テンソルディスプレイ、ボリュームディスプレイ、ライトフィールド（ＬＦ）ディスプレイ、Ｉｍｍｙディスプレイ、メタディスプレイ、相対的に単純なＡＲメガネ、遠近調節と両眼転導との不整合を克服する広範囲の能力のうちの任意のものを有するディスプレイ等の幾つかまたは全てを含むが、
必ずしもこれらのみに限定されるものではない。

ウェアラブルデバイスは、相対的に近い距離または遠近調節点の単一の画像平面（例えば、バーチャルディスプレイ、リアルディスプレイ、ＬＦディスプレイ等）に投影、合焦する相対的に単純なＡＲシステムとすることができる。鑑賞者には、ウェアラブルデバイスを用いて負の視差を回避する選択肢、および／または、シネマディスプレイによってサポートされる深度範囲においてシネマディスプレイを用いて提示された２Ｄ画像コンテンツもしくは３Ｄ画像コンテンツまたは視覚物体に加えて、追加の３Ｄ画像コンテンツもしくは視覚物体を同期して視認する選択肢を与えることができる。したがって、差別化された視認体験を鑑賞者に提供することができ、複数の深度を有する複数のディスプレイ上に描画された複数の画像レイヤを、広範囲の深度の単一ディスプレイ上に描画された全体的な画像コンテンツとして実際に思わせるように見せかけることができる。本明細書において説明される拡張型エンターテインメント体験は、相対的に大きな負の視差を有する視認体験よりも生理的に快適であり、相対的に大きな負の視差を有する視認体験によって表された精神的受容閾値よりも低い精神的受容閾値を表すので、人間の脳は、これらの知覚を容易に受け付けることができる（またはこれらの知覚に容易に適応することができる）。

３．レイヤ化画像生成
図１Ａは、多視点非レイヤ化画像に描写された３Ｄ視覚物体（例えば、１１８、１２０等）の例を示している。多視点非レイヤ化画像は、複数の異なる視点（例えば、視認方向、視野等）に対応する複数の非レイヤ化（単一）視点画像を含むことができる。多視点非レイヤ化画像の複数の非レイヤ化視点画像中の各非レイヤ化視点画像は、複数の異なる視点の中のそれぞれの視点に対応することができる。例えば、多視点非レイヤ化画像は、左視点に対応する第１の非レイヤ化視点画像（例えば、鑑賞者の左眼等に対して描画される）と、右視点に対応する第２の非レイヤ化視点画像（例えば、鑑賞者の右眼等に対して描画される）とを含むことができる。

幾つかの実施形態では、多視点非レイヤ化画像は、３Ｄ画像空間１９６に複数の（３Ｄ）視覚物体を描写する。簡略化するために、図１Ａに示すように、３Ｄ画像空間１９６には、２つの（３Ｄ）視覚物体１２０および１１８しか存在しない。しかしながら、本明細書において説明される多視点非レイヤ化画像は、任意の数の（３Ｄ）視覚物体を描写することができることに留意されたい。視覚物体の例としては、人間、アバター、コンピュータ生成図、動物、植物、山岳、河川、天空、家屋、公園、橋梁、飛行機、車両、船舶、または人間視覚系に描画することができるとともに人間視覚系によって知覚することができる他の視覚物体等を含むことができるが、必ずしもこれらに限定されるものではない。

多視点非レイヤ化画像は、物理的または仮想３Ｄシーンから、この３Ｄシーンに物理的または仮想的に存在し得る多種多様なキャプチャーデバイスの任意の組み合わせによって取得／撮像／合成することができる。幾つかの実施形態では、視覚物体モデルを用いて、多視点非レイヤ化画像における幾つかまたは全ての画像部分を描画または生成することができる。キャプチャーデバイスの例としては、スタジオカメラ、多視点カメラ、ライトフィールドカメラ、マイクロレンズ素子を備えるカメラ、ＨＤＲカメラ、モバイルフォンカメラ、コンピューティングデバイスと一体化されたカメラ、コンピューティングデバイスと連動動作するカメラ、非プロフェッショナルカメラ、プロフェッショナルカメラ、仮想カメラ、コンピュータ画像ジェネレータ、コンピュータ画像レンダラ、コンピュータグラフィックスジェネレータ、コンピュータアニメーター、仮想画像ジェネレータ等を含むが、これらに限定されるものではない。多視点非レイヤ化画像が得られる３Ｄシーンは、全面的に物理３Ｄシーンの場合もあるし、全面的に仮想３Ｄシーンの場合もあるし、１つ以上の物理３Ｄシーンおよび／または１つ以上の仮想３Ｄシーンの組み合わせの場合もあることに留意されたい。

３Ｄ画像空間１９６は、多視点非レイヤ化画像が取得／撮像／構成される３Ｄシーンの一部分を表すことができる。３Ｄ画像空間１９６の例は、３Ｄシーン全体、３Ｄシーンの１つ以上の顕著な部分、３Ｄシーンの１つ以上の細部、相対的に大きな部分、相対的に小さな部分等のうちの１つを含むことができるが、必ずしもこれのみに限定されるものではない。

図１Ｂは、鑑賞者が、シネマディスプレイ１０４、当該鑑賞者によって用いられるウェアラブルデバイスのデバイスディスプレイ１１６等の（画像）ディスプレイを用いて描画された画像を通じて、３Ｄ画像空間１９６内の複数の視覚物体を視認するために位置している一例示の３Ｄ空間１２６を示している。

３Ｄ空間１２６の例は、基準３Ｄ空間、物理空間、シネマ、シアター、コンサートホール、公会堂、遊園地、バー、自宅、部屋、展示場、会場、酒場、船舶、飛行機等のうちの任意のものを含むことができるが、必ずしもこれのみに限定されるものではない。３Ｄ空間１２６は、当該３Ｄ空間１２６に対して静止した３次元空間座標系（例えば、基準座標系、世界座標系等）内に表すことができる３次元ボリューム空間位置とすることができる。

限定ではなく例示として、３Ｄ空間１２６内の空間位置を表すために用いられる静止３次元空間座標系は、３Ｄ空間１２６の左下コーナーに描写された基準デカルト座標系とすることができる。この基準デカルト座標系は、図１Ｂに示すように、「ｐ」として示された基準空間位置に座標系原点を含むことができる。基準空間位置「ｐ」は、３Ｄ空間１２６に対して静止した任意の空間位置から選択することができる。

多視点非レイヤ化画像に描写された３Ｄ画像空間１９６は、ディスプレイが多視点非レイヤ化画像に複数の視覚物体を描画する（正：render）ために用いられる３Ｄ空間１２６のサイズと同じサイズ（または同一の広がり）を有する場合もあるし、有しない場合もある。特定の画像コンテンツ（例えば、広大な風景、小さな部屋等）または多視点非レイヤ化画像に関連したディスプレイアプリケーションに応じて、描画された３Ｄ画像空間１９６は、鑑賞者１１２－０およびディスプレイ（例えば、１０４、１１６等）が位置する３Ｄ空間１２６よりも大きい（例えば、はるかに大きい）場合もあるし、小さい（例えば、はるかに小さい）場合もある。

本明細書において説明される技法に従って複数の視覚物体を描画することによって、鑑賞者１１２－０が位置する３Ｄ空間１２６が３Ｄ画像空間１９６にあたかも合体、融合もしくは投影されているように、または、視覚物体（例えば、１１８、１２０等）が３Ｄ空間１２６内にまたはその一部としてあたかも存在する実際の３Ｄ物体であるように、鑑賞者１１２－０は、３Ｄ画像空間１９６に存在するというユーザー体験を有することが可能になる。

幾つかの実施形態では、本明細書において説明される技法の幾つかまたは全てを実施する拡張型エンターテインメントシステムが、多視点非レイヤ化画像から、レイヤ化画像エンコーダ（例えば、図２Ａの１８０等）等の上流側デバイスによって事前に生成された複数の画像レイヤにおけるシングルレイヤ画像を取得し、これらの受け取ったシングルレイヤ画像からシネマディスプレイ画像およびデバイスディスプレイ画像を生成し、多視点非レイヤ化画像（またはその中の単視点（single-view）非レイヤ化画像）を３Ｄ空間１２
６における単一ディスプレイ上に直接描画するのではなく、鑑賞者によって用いられるウェアラブルデバイスのデバイスディスプレイを含む３Ｄ空間１２６における複数のディスプレイ（例えば、１０４、１１６等）上にシネマディスプレイ画像およびデバイスディス
プレイ画像を描画する。

幾つかの実施形態では、上流側デバイスまたはレイヤ化画像エンコーダ（図２Ａの１８０）は、多視点非レイヤ化画像に描写された３Ｄ画像空間１９６内の複数の視覚物体中の各視覚物体の空間ロケーションを記述した空間情報にアクセスする。空間情報の例は、深度画像、ディスパリティ（disparity：視差）情報、エピポーラ情報、３Ｄメッシュ等の
うちの１つ以上を含むことができるが、必ずしもこれらのみに限定されるものではない。

１つ以上の多視点非レイヤ化画像に表された３Ｄ画像空間１９６内の複数の視覚物体の空間ロケーションを記述した空間情報に基づいて、レイヤ化画像エンコーダ（図２Ａの１８０）は、多視点非レイヤ化画像から複数の画像レイヤを生成する。

複数の画像レイヤにおける各画像レイヤは、多視点非レイヤ化画像に（例えば、当初、事前等に）描写された複数の視覚物体における１つ以上の視覚物体の真部分集合を描写した１つ以上の多視点シングルレイヤ画像を含む。

様々な選択的要因、空間関係閾値、空間関係基準等の任意の組み合わせを用いて、複数の画像レイヤにおける特定の画像レイヤに含まれる多視点非レイヤ化画像に描写される複数の視覚物体の中から視覚物体を選択することができる。選択的要因、空間関係閾値、空間関係基準等の例としては、３Ｄ空間１２６内のディスプレイの空間ロケーション；３Ｄ空間１２６内の鑑賞者１１２－０の空間ロケーション；ディスプレイまたは鑑賞者１１２－０の空間ロケーションに対する視覚物体の空間位置；鑑賞者１１２－０に対する３Ｄ空間１２６内の視覚物体の空間方向；視覚物体の相対的な芸術的重要性；視覚物体の視覚的性質（例えば、明度、色等）；視覚物体の運動特性（例えば、移動物体、静止物体、背景等）；視覚物体の過去の空間ロケーション；視覚物体の過去の空間方向等のうちの１つ以上を含むが、必ずしもこれらのみに限定されるものではない。

限定ではなく例として、複数の画像レイヤは、多視点非レイヤ化画像から、この多視点非レイヤ化画像に描写された視覚物体の深度に基づいて生成することができる。図１Ｂに示すように、多視点非レイヤ化画像の３Ｄ画像空間１９６は、３Ｄ空間１２６に静止した空間位置１９２（例えば、基準空間位置等）に位置する鑑賞者１１２－０（例えば、基準鑑賞者、実際の鑑賞者等）に対して３Ｄ空間１２６内に投影することができまたは重ね合わせることができる。多視点非レイヤ化画像に描写された複数の視覚物体における視覚物体の深度は、鑑賞者１１２－０の基準空間位置１９２に対して鑑賞者１１２－０の基準空間方向に沿って測定することができる。鑑賞者１１２－０のこの基準空間方向は、鑑賞者１１２－０によって用いられるウェアラブルデバイスの前方視認方向として求めることができる。この前方視認方向は、鑑賞者１１２－０の基準空間位置１９２から開始してシネマディスプレイ１０４に向かい、シネマディスプレイ１０４に垂直に交差する。

シネマディスプレイ１０４は、例えば、単一の鑑賞者または複数の鑑賞者によって視認される静止ディスプレイとして３Ｄ空間１２６に配備することができる。デバイスディスプレイ１１６は、鑑賞者１１２－０を含む鑑賞者によって用いられる個々のウェアラブルデバイスの個々のディスプレイの中の特定のディスプレイとすることができ、３Ｄ空間１２６において必ずしも静止したものとは限らない場合がある。

本明細書において説明される技法によれば、鑑賞者１１２－０によって用いられるウェアラブルデバイスのデバイスディスプレイ１１６と、鑑賞者の間で共有されるシネマディスプレイ１０４との双方が、多視点非レイヤ化画像から生成された複数の画像レイヤにおけるシングルレイヤ画像を鑑賞者１１２－０に対して描画するために用いられる。

図１Ｂに示すように、レイヤ化画像エンコーダは、レイヤ分離面１９４を用いて、レイヤ分離面１９４にあるかまたは鑑賞者１１２－０に対してその背後にある視覚物体（例えば、１１８等）の第１の真部分集合をシネマ画像レイヤに分割することができる。このシネマ画像レイヤは、視覚物体（例えば、１１８等）の第１の真部分集合を描写する多視点非レイヤ化画像の複数の非レイヤ化視点画像に、画像部分から生成された複数の第１の多視点シングルレイヤ画像を含む。

さらに、レイヤ化画像エンコーダは、レイヤ分離面１９４を用いて、鑑賞者１１２－０に対してレイヤ分離面１９４の前方にある視覚物体（例えば、１２０等）の１つ以上の第２の真部分集合を１つ以上のデバイス画像レイヤに分割することができる。視覚物体（例えば、１２０等）の１つ以上の第２の真部分集合における各第２の真部分集合は、１つ以上のデバイス画像レイヤにおけるそれぞれのデバイス画像レイヤに対応する。それぞれの画像レイヤは、視覚物体（例えば、１１８等）のそのような各第２の真部分集合を描写する多視点非レイヤ化画像の複数の非レイヤ化視点画像におけるそれぞれの画像部分から生成されたそれぞれの複数の第２の多視点シングルレイヤ画像を含む。したがって、１つ以上のデバイス画像レイヤは、視覚物体（例えば、１１８等）の１つ以上の第２の真部分集合を描写する多視点非レイヤ化画像の複数の非レイヤ化視点画像における画像部分から生成された１つ以上の複数の第２の多視点シングルレイヤ画像を含む。

図１Ｂに示すような１９４等の１つのレイヤ分離面に加えて、幾つかの実施形態では、０個以上の追加のレイヤ分離面を用いて、１つ以上のデバイス画像レイヤを互いに分割することができる。例えば、視覚物体の複数の第２の真部分集合が存在する場合に、追加のレイヤ分離面を用いて、視覚物体（例えば、１２０等）の１つ以上の第２の真部分集合の中で、ある部分集合を別の部分集合と分離または区別することができる。幾つかの実施形態では、視覚物体（例えば、３Ｄ物体等）は、２つ以上の画像レイヤにまたがってもよい。例えば、車両等の視覚物体は、第１のデバイス画像レイヤには、この車両の前部等の視覚物体の一部分を有するとともに、１つ以上の第２のデバイス画像レイヤには、この車両の後部等の視覚物体の他の部分を有する場合がある。追加的、選択的、または代替的に、本明細書において説明される視覚物体は、シネマ画像レイヤと、デバイス画像レイヤのうちの１つ以上とにまたがってもよい。

図１Ｃに示すように、鑑賞者１１２－０によって用いられるウェアラブルデバイスは、鑑賞者１１２－０の基準空間位置１９２からの１つ以上のデバイスディスプレイ１１６－１、１１６－２等（または種々の画像平面深度を有する単一のデバイスディスプレイ）を備えることができる。レイヤ分離面１９４によって分割されたシネマ画像レイヤにおけるシングルレイヤ画像を用いて、シネマディスプレイ１０４に描画／表示されるシネマディスプレイ画像を生成することができる。レイヤ分離面１９４－１によって更に分割された１つ以上のデバイス画像レイヤのうちの１つにおけるシングルレイヤ画像を用いて、デバイスディスプレイ１１６－１に描画／表示されるデバイスディスプレイ画像を生成することができる。１つ以上のデバイス画像レイヤの残りにあるシングルレイヤ画像を用いて、デバイスディスプレイ１１６－２に描画／表示される追加のディスプレイ画像を生成することができる。種々の画像平面深度に描画／表示されるディスプレイ画像は、同時に描画することもできるし、時分割多重化を用いて、単一の画像リフレッシュ時間または単一の画像フレーム間隔で時間的に連続して描画することもできる。

本明細書において説明されるレイヤ分離面の例は、平面、曲面、規則形状、不規則形状等のうちの任意のものを含むことができるが、必ずしもこれらのみに限定されるものではない。

幾つかの実施形態では、レイヤ分離面１９４の空間位置は、シネマディスプレイ１０４
に対して設定される。一例では、レイヤ分離面１９４は、シネマディスプレイ１０４と一致することができる。別の例では、レイヤ分離面１９４は、（図１Ｂに示すように）シネマディスプレイ１０４の背後の特定の距離に設定することもできるし、（図１Ｄに示すように）シネマディスプレイ１０４の前方の特定の距離に設定することもできる。レイヤ分離面１９４からシネマディスプレイ１０４までの特定の距離は、相対的に小さな距離、相対的に大きな距離、ゼロの距離、１メートル離れた距離、５メートル離れた距離、シネマディスプレイ１０４と鑑賞者１１２－０の空間位置１９２との間の深度または距離の一部等のうちの１つとすることができるが、これらに限定されるものではない。したがって、レイヤ分離面１９４からシネマディスプレイ１０４までの特定の距離は、多視点非レイヤ化画像に描写された複数の視覚物体における視覚物体を異なる画像レイヤに分離するために用いられる距離閾値（または相対深度閾値）を表すことができる。

幾つかの実施形態では、レイヤ分離面１９４の空間位置は、（基準）空間位置１９２における鑑賞者１１２－０に対して設定される。例えば、レイヤ分離面１９４は、鑑賞者１１２－０から特定の距離に設定することができる。レイヤ分離面１９４から鑑賞者１１２－０までの特定の距離は、相対的に小さな距離、相対的に大きな距離、５メートル離れた距離、２０メートル離れた距離、５０メートル離れた距離等のうちの１つとすることができるが、これらに限定されるものではない。したがって、レイヤ分離面１９４から鑑賞者１１２－０までの特定の距離は、多視点非レイヤ化画像に描写された複数の視覚物体における視覚物体を異なる画像レイヤに分離するために用いられる距離閾値（または相対深度閾値）を表すことができる。

幾つかの実施形態では、レイヤ分離面１９４の空間位置は、（基準）空間位置１９２における鑑賞者１１２－０およびシネマディスプレイ１０４の空間ロケーション以外の別の空間ロケーションに対して設定される。例えば、レイヤ分離面１９４は、基準座標系の原点「ｐ」から特定の距離に設定することができる。レイヤ分離面１９４から原点「ｐ」までの特定の距離は、相対的に小さな距離、相対的に大きな距離、ゼロの距離、１メートル離れた距離、５メートル離れた距離、２０メートル離れた距離、５０メートル離れた距離等のうちの１つとすることができるが、これらに限定されるものではない。したがって、レイヤ分離面１９４から原点「ｐ」までの特定の距離は、多視点非レイヤ化画像に描写された複数の視覚物体における視覚物体を異なる画像レイヤに分離するために用いられる距離閾値（または相対深度閾値）を表すことができる。

幾つかの実施形態では、図１Ｅに示すように、レイヤ化画像エンコーダは、レイヤ分離面（例えば、図１Ｂまたは図１Ｃの１９４等）を用いることなく、３Ｄ空間１２６に物理的または仮想的に存在する実体に対する空間関係に基づいて、多視点非レイヤ化画像における複数の視覚物体を画像レイヤに分割することができる。

例えば、複数の視覚物体（例えば、１１８、１２０等）は、これらの視覚物体が、それぞれ、図１Ｂに示すようなシネマディスプレイ１０４、（基準）空間ロケーション１９２における鑑賞者１１２－０、基準座標系の原点「ｐ」等のうちの１つ以上に関連した幾つかの特定の空間関係閾値（または基準）を満たすか否かに基づいて分割することができる。

シネマディスプレイ１０４に対する特定の空間関係閾値（または基準）を満たす視覚物体（例えば、１１８等）の第１の真部分集合は、シネマ画像レイヤに分割することができる。シネマディスプレイ１０４に対する特定の空間関係閾値（または基準）を満たさない視覚物体（例えば、１２０等）の１つ以上の第２の真部分集合は、１つ以上のデバイス画像レイヤに分割される。シネマディスプレイ１０４に対する特定の空間関係閾値（または基準）は、１つ以上のデバイス画像レイヤを互いに分割するために用いることができる更
なる空間関係閾値（または基準）を含むことができる。例えば、これらの更なる空間関係閾値（または基準）は、視覚物体（例えば、１２０等）の１つ以上の第２の真部分集合の中で、ある部分集合を別の部分集合と分離または区別するために用いることができる。

幾つかの実施形態では、空間関係閾値は、特定の深度閾値（例えば、１メートル以下、２メートル以下、シネマディスプレイ１０４の空間寸法に対する相対値として設定された空間寸法値以下等）を含むことができる。深度閾値は、シネマディスプレイ１０４から特定の深度の背後にある全ての視覚物体がシネマ画像レイヤに分割されることを指定する。深度閾値は、シネマディスプレイ１０４から特定の深度の前方にある他の全ての視覚物体が１つ以上のデバイス画像レイヤに分割されることを指定する。深度閾値は、シネマディスプレイ１０４までの特定の距離の正の値、０、または負の値によって表すことができる。

追加的、選択的、または代替的に、多視点非レイヤ化画像に描写された複数の視覚物体を異なる画像レイヤに選択または分割するために、空間視差閾値、空間ディスパリティ閾値等の異なる空間閾値を、深度閾値の代わりにまたはこれに加えて用いることができる。

例えば、シネマディスプレイ１０４は、画像描画処理においてゼロ視差平面／表面を表すことができる。シネマディスプレイ１０４の背後にあるシネマディスプレイ１０４上に描画されたシングルレイヤ画像とともに描写されるいずれの視覚物体も正の視差を有するのに対して、シネマディスプレイ１０４の前方にあるシネマディスプレイ１０４上に描画されたシングルレイヤ画像とともに描写されるいずれの視覚物体も負の視差を有する。

幾つかの実施形態では、空間関係閾値は、特定の視差閾値を含むことができる。この視差閾値は、シネマディスプレイ１０４によって表されるゼロ視差平面／表面に対して特定の視差以上の全ての視覚物体がシネマ画像レイヤに分割されることを指定する。この視差閾値は、シネマディスプレイ１０４によって表されるゼロ視差平面／表面に対して特定の視差未満の全ての視覚物体が１つ以上のデバイス画像レイヤに分割されることを指定する。視差閾値は、特定の視差の正の値、０、または負の値によって表すことができる。

追加的、選択的、または代替的に、シネマディスプレイ１０４は、画像描画処理においてゼロディスパリティ平面／表面を表すことができる。シネマディスプレイ１０４の背後にあるシネマディスプレイ１０４上に描画されたシングルレイヤ画像とともに描写されるいずれの視覚物体も正のディスパリティを有するのに対して、シネマディスプレイ１０４の前方にあるシネマディスプレイ１０４上に描画されたシングルレイヤ画像とともに描写されるいずれの視覚物体も負のディスパリティを有する。

幾つかの実施形態では、空間関係閾値は、特定のディスパリティ閾値を含むことができる。このディスパリティ閾値は、シネマディスプレイ１０４によって表されるゼロディスパリティ平面／表面に対して特定のディスパリティ以上の全ての視覚物体がシネマ画像レイヤに分割されることを指定する。このディスパリティ閾値は、シネマディスプレイ１０４によって表されるゼロディスパリティ平面／表面に対して特定のディスパリティ未満の全ての視覚物体が１つ以上のデバイス画像レイヤに分割されることを指定する。ディスパリティ閾値は、特定のディスパリティの正の値、０、または負の値によって表すことができる。

幾つかの実施形態では、多視点非レイヤ化画像は、時系列の多視点非レイヤ化画像を構成する複数の多視点非レイヤ化画像における特定の多視点非レイヤ化画像とすることができる。これらの時系列の多視点非レイヤ化画像は、メディアプログラム、放送番組、映画、ＶＲセッション、ＡＲセッション、リモートプレゼンスセッション、コンピュータゲー
ム等を表すことができる。

幾つかの実施形態では、視覚物体の過去および／または未来の空間ロケーション、視覚物体の過去および／または未来の空間方向、視覚物体の過去および／または未来の運動特性、特定の画像レイヤへの視覚物体の過去および／または未来のメンバーシップ等の幾つかまたは全てを用いて、これらの視覚物体のうちのいずれかが複数の画像レイヤにおける特定の画像レイヤに分割されるべきか否かを判断することができる。

例えば、視覚物体は、ある画像レイヤに存在すると事前に決定しておくことができ、その後、異なる画像レイヤに対応する空間ロケーション、空間方向等に移動することができる。視覚物体が異なる画像レイヤ間を相対的に短い期間に過度に高速または過度に頻繁に躍動するようなスラッシングを削減するために、遅延効果／メカニズム、減衰因子、平滑フィルター、雑音処理等のうちの１つ以上をレイヤ化画像エンコーダによって実施し、視覚物体が、現在の画像レイヤ、新たな画像レイヤ等に直ちに分割されまたは割り当てられるのではなく、以前の画像レイヤ、現在の画像レイヤ等の特定の画像レイヤに留まることを可能にすることができ、または、視覚物体をその特定の画像レイヤに割り当てることができる。これらの遅延効果／メカニズム、減衰因子、平滑フィルター、雑音処理等のうちの任意のものが、視覚物体の過去および／または未来の空間ロケーション、視覚物体の過去および／または未来の空間方向、視覚物体の過去および／または未来の運動特性、特定の画像レイヤへの視覚物体の過去および／または未来のメンバーシップ／割り当て等の幾つかまたは全てに応じて動作することができる。

追加的、選択的、または代替的に、視覚物体の相対的な芸術的重要性、視覚物体の視覚的性質（例えば、明度、色等）、視覚物体の運動特性（例えば、移動物体、静止物体、背景等）等も、上述したような上記選択因子、上記空間関係閾値、上記空間関係基準等の代わりにまたはこれらに加えて、選択因子、空間関係閾値、空間関係基準等として用いることができる。

幾つかの実施形態では、レイヤ化画像エンコーダは、それぞれのシングルレイヤ画像を有する複数の画像レイヤを多レイヤ多視点画像に符号化することができる。多レイヤ多視点画像は、他の多視点非レイヤ化画像から生成された他の多レイヤ多視点画像とともに、１つ以上の下流側デバイスに直接または間接的に送信される多レイヤ多視点ビデオ信号に符号化することができる。下流側デバイスの例としては、多視点画像を多レイヤ表現で描画する拡張型エンターテインメントシステム、多レイヤ表現の多視点画像を記憶する記憶デバイス、多レイヤ表現の多視点画像をストリーミングするメディアストリーミングサーバ等のうちの任意のものを含むことができるが、必ずしもこれらのみに限定されるものではない。

４．テンソルマップ
上記のように、多視点非レイヤ化画像は、複数の異なる視点（例えば、視認方向、視野等）に対応する複数の非レイヤ化（単一）視点画像を含むことができる。幾つかの実施形態では、多視点非レイヤ化画像における各非レイヤ化視点画像の深度情報に基づいて、テンソルマップ（例えば、ｘ、ｙ、ｚ次元／座標／軸等の次数３のテンソルマップ）を作成して、３Ｄ画像空間内の多視点非レイヤ化画像における非レイヤ化視点画像のピクセル分布を生成することができる。テンソルマップから生成されたピクセル分布におけるピクセルは、ｘおよびｙ次元／座標／軸（例えば、画像フレームの列、画像フレームの行等）だけでなく、ｚ次元／座標／軸（例えば、深度等）においても表される。

図１Ｆは、テンソルマップから導出された多視点非レイヤ化画像における非レイヤ化視点画像の一例示の３Ｄピクセル分布１８８を示している。図１Ｇは、３Ｄピクセル分布１
８８に基づいて非レイヤ化視点画像から生成された例示のシングルレイヤ画像１７６－１～１７６－３を示している。

テンソルマップは、（ａ）非レイヤ化視点画像に表されたｘおよびｙ次元／座標／軸における２Ｄピクセル分布と、（ｂ）分布における各ピクセルのｚ次元／軸を示す（例えば、正確、近似的等に示す）深度情報とに基づいて、多視点非レイヤ画像に描写される３Ｄ画像空間（例えば、１９６等）内に作成することができる。テンソルマップに基づくと、非レイヤ化視点画像における２Ｄピクセル分布は、次に、３Ｄ画像空間１９６における３Ｄピクセル分布１８８として表すことができる。

多視点非レイヤ化画像の３Ｄピクセル分布１８８を用いると、例えば、レイヤ分離面とともにシングルレイヤ画像を生成することができる。限定ではなく例として、２つのレイヤ分離面１９４－２および１９４－３を３Ｄ画像空間１９６に配置して、３Ｄピクセル分布１８８のピクセルを３つの異なる画像レイヤにおける３つのシングルレイヤ画像１７６－１～１７６－３に分離することができる。

図１Ｇに示すように、深度方向またはｚ方向（鑑賞者の前方視認方向）に沿った基準空間位置１９２における鑑賞者から第１のレイヤ分離面１９４－２への深度を有する全てのピクセルを含むことができる３Ｄピクセル分布１８８の第１の３Ｄピクセル分布１８８－１は、基準空間ロケーション１９２における鑑賞者からの第１の深度（例えば、ウェアラブルデバイスのデバイスディスプレイによってサポートされる画像平面に対応する深度等）におけるウェアラブルデバイスのデバイスディスプレイを用いて描画される第１のシングルレイヤ画像１７６－１に投影される。第１の３Ｄピクセル分布１８８－１における３Ｄピクセルは、当該第１の３Ｄピクセル分布１８８－１における３Ｄピクセルのｘおよびｙ次元／座標／軸に基づいて、第１のシングルレイヤ画像１７６－１の２Ｄピクセル（例えば、１７８－１、１７８－２等）上に投影することができる。

深度方向またはｚ方向に沿った第１のレイヤ分離面１９４－２から第２のレイヤ分離面１９４－３への深度を有する全てのピクセルを含むことができる３Ｄピクセル分布１８８の第２の３Ｄピクセル分布１８８－２は、基準空間ロケーション１９２における鑑賞者からの第２の深度（例えば、第１のレイヤ分離面１９４－２に対応する深度）におけるウェアラブルデバイスのデバイスディスプレイを用いて描画される第２のシングルレイヤ画像１７６－２に投影される。第２の３Ｄピクセル分布１８８－２における３Ｄピクセルは、当該第２の３Ｄピクセル分布１８８－２における３Ｄピクセルのｘおよびｙ次元／座標／軸に基づいて、第２のシングルレイヤ画像１７６－２の２Ｄピクセル（例えば、１７８－３、１７８－４等）上に投影することができる。

深度方向またはｚ方向に沿った第２のレイヤ分離面１９４－３の後方の深度を有する全てのピクセルを含むことができる３Ｄピクセル分布１８８の第３の３Ｄピクセル分布１８８－３は、基準空間ロケーション１９２における鑑賞者からの第３の深度（例えば、シネマディスプレイに対応する深度）におけるシネマディスプレイを用いて描画される第３のシングルレイヤ画像１７６－３に投影される。第３の３Ｄピクセル分布１８８－３における３Ｄピクセルは、当該第３の３Ｄピクセル分布１８８－３における３Ｄピクセルのｘおよびｙ次元／座標／軸に基づいて、第３のシングルレイヤ画像１７６－３の２Ｄピクセル（例えば、１７８－５、１７８－６等）上に投影することができる。

テンソルマップに基づく画像レイヤ生成技法は、多視点非レイヤ化画像における複数の視点画像の各視点画像に適用されて、そのような視点画像ごとにシングルレイヤ画像をそれぞれ生成することができる。したがって、複数の画像レイヤにおけるシングルレイヤ画像は、これらの画像レイヤ生成技法を用いて、多視点非レイヤ化画像から生成することが
できる。

シングルレイヤ画像は、鑑賞者のウェアラブルデバイスを用いて描画を行う拡張型エンターテインメントシステム内の画像レンダラに提供されると、ウェアラブルデバイスの実際の空間位置および実際の空間方向に基づいて、並進、回転、拡大縮小等によって空間的に変換することができる。例えば、第１のシングルレイヤ画像１７６－１（またはシネマ画像レイヤ）は、シネマディスプレイ上に描画することができるのに対して、第２のシングルレイヤ画像１７６－２および第３のシングルレイヤ画像１７６－３（またはデバイス画像レイヤ）は、ウェアラブルディスプレイのデバイスディスプレイを用いて描画することができる。

相対的に遠方の鑑賞者には、第１のシングルレイヤ画像１７６－１が、この相対的に遠方の鑑賞者とシネマディスプレイとの間の距離に反比例する相対的に小さな画像として見える。したがって、第２のシングルレイヤ画像および第３のシングルレイヤ画像を、相対的に遠方の鑑賞者によって視認されている第１のシングルレイヤ画像１７６－１のサイズまたは縦横比と一致するように比例して拡大することができる。さらに、相対的に遠方の鑑賞者は、基準空間ロケーション（例えば、１９２等）における鑑賞者から更に後方に位置している場合があるので、第２のシングルレイヤ画像および第３のシングルレイヤ画像またはそれらの画像における視覚物体は、相対的に遠方の鑑賞者と基準空間ロケーション１９２における鑑賞者との間の距離に少なくとも部分的に基づいて空間的に並進させることができる。相対的に遠方の鑑賞者のウェアラブルデバイスの空間方向が、画像レイヤおよびシングルレイヤ画像を生成するために用いられる基準空間ロケーション１９２における鑑賞者の前方視認方向と一致しない場合、第２のシングルレイヤ画像および第３のシングルレイヤ画像またはそれらの画像における視覚物体は、相対的に遠方の鑑賞者のウェアラブルデバイスの空間方向と基準空間ロケーション１９２における鑑賞者の前方視認方向との間の角度または角距離に少なくとも部分的に基づいて空間的に回転させることができる。同様に、相対的に近い鑑賞者についても、この相対的に近い鑑賞者の空間位置および／または空間方向に基づいて、並進、回転、拡大縮小等の空間変換をシングルレイヤ画像に同様に適用することができる。

幾つかの実施形態では、テンソルマップは、図１Ｈに示すように、画像描画処理においても用いることができる。例えば、シネマ画像レイヤにおけるシングルレイヤ画像から生成されてシネマディスプレイ１０４上に描画されるシネマディスプレイ画像を用いて、基準空間ロケーション１９２と同じ場合もあるし異なる場合もある空間ロケーションに鑑賞者が位置する、３Ｄ物理空間１２６における３Ｄ画像空間１９６の一部分に対応するテンソルマップ（またはピクセル分布）の一部分を再現することができる。１つ以上のデバイス画像レイヤにおけるシングルレイヤ画像から生成されて１つ以上の画像平面（例えば、１１６、１１６－１等）においてデバイスディスプレイを用いて描画されるデバイスディスプレイ画像を用いて、３Ｄ物理空間１２６における３Ｄ画像空間１９６の残りの部分に対応するテンソルマップ（またはピクセル分布）の他の部分を再現することができる。デバイスディスプレイ画像は、デバイスディスプレイ画像から再現されたテンソルマップ（またはピクセル分布）の他の部分が、シネマディスプレイ画像から再現された同じテンソルマップ（またはピクセル分布）の部分とシームレスに接合するという制約条件の下で、ウェアラブルデバイスの特定の空間位置および／または特定の空間方向に応じた空間変換（例えば、並進、回転、拡大縮小等）に基づいて、ウェアラブルデバイスについて個別に生成することができる。加えて、任意選択で、補間、鮮明化、ぼかし、非遮蔽等の画像処理演算の幾つかまたは全てを、本明細書において説明される技法による画像描画処理において実行することができる。したがって、シネマディスプレイ画像およびデバイスディスプレイ画像の組み合わせによって描画される３Ｄ画像空間は、多視点非レイヤ化画像に当初描写されたとおりに３Ｄ画像空間１９６に３Ｄピクセル分布１８８を正確または忠実に
再現する。

５．レイヤ化画像エンコーダおよび拡張型エンターテインメントシステム
図２Ａは、拡張型エンターテインメントシステムの一例示の構成１００を示している。この構成は、レイヤ化画像エンコーダ１８０、画像コンテンツ受信機１１０、画像レンダラ（例えば、１０６、１０８等）、デバイストラッカ１２２、３Ｄ空間（例えば、１２６等）における鑑賞者１１２－１のウェアラブル画像描画デバイス１０２－１等の１つ以上のウェアラブルデバイス等を備える。図２Ａに示す構成要素／デバイスの幾つかまたは全ては、１つ以上の機械構成要素、１つ以上の電気光学構成要素、ソフトウェア、ハードウェア、ソフトウェアおよびハードウェアの組み合わせ等による１つ以上のコンピューティングデバイス、モジュール、ユニット等によって実施することができる。図２Ａに示す構成要素／デバイスの幾つかまたは全ては、図２Ａに示す他の幾つかの構成要素／デバイスまたは図２Ａに示していない他の構成要素／デバイスと（例えば、無線、有線接続等を用いて）通信結合することができる。

幾つかの実施形態では、レイヤ化画像エンコーダ１８０は、非レイヤ化画像受信機１８２、レイヤ化画像ジェネレータ１８６、非レイヤ化画像データストア１８４等を備える。

幾つかの実施形態では、非レイヤ化画像受信機１８２は、例えば、非レイヤ化画像データストア１８４等の非レイヤ化画像ソース、クラウドベース画像ソース、ＶＲアプリケーション、ＡＲアプリケーション、リモートプレゼンスアプリケーション、ディスプレイアプリケーション等と関係したカメラシステムから非レイヤ化画像ビデオ信号または記憶された非レイヤ化画像データの形で多視点非レイヤ化画像を受信するように構成されたソフトウェア、ハードウェア、ソフトウェアおよびハードウェアの組み合わせ等を備える。

幾つかの実施形態では、レイヤ化画像ジェネレータ１８６は、多視点非レイヤ化画像のそれぞれに描写された３Ｄ画像空間（例えば、図１Ａの１９６等）内の複数の視覚物体における各視覚物体の空間ロケーションを記述した空間情報にアクセスするように構成されたソフトウェア、ハードウェア、ソフトウェアおよびハードウェアの組み合わせ等を備える。

多視点非レイヤ化画像のそれぞれにおける３Ｄ画像空間（図１Ａの１９６）内の複数の視覚物体の空間ロケーションを記述した空間情報に基づいて、レイヤ化画像ジェネレータ１８６は、そのような各多視点非レイヤ化画像からの複数の画像レイヤにおけるシングルレイヤ画像を生成する。したがって、複数の画像レイヤにおける各画像レイヤは、全ての多視点非レイヤ化画像からの多視点シングルレイヤ画像を含む。

非限定的な例では、複数の画像レイヤにおける第１の画像レイヤは、下流の受信側デバイスによってシネマ画像レイヤとして用いることができるのに対して、複数の画像レイヤにおける他の画像レイヤは、下流の受信側デバイスによってデバイス画像レイヤとして用いることができる。

レイヤ化画像ジェネレータ１８６は、多視点非レイヤ化画像から生成された複数の画像レイヤにおける多視点シングルレイヤ画像を画像コンテンツ１１４に符号化し、この画像コンテンツ１１４を、入力コンテンツ受信機１１０、データ記憶装置、シネマ３Ｄシステム等の１つ以上の下流側デバイスに提供／送信する。

幾つかの実施形態では、画像コンテンツ受信機１１０は、多視点（ＭＶ）画像受信機１５２、画像レイヤ送信機１５６、データレポジトリ１５４等を備える。

幾つかの実施形態では、多視点画像受信機１５２は、レイヤ化画像エンコーダ１８０、クラウドベース画像ソース、ＶＲアプリケーション、ＡＲアプリケーション、リモートプレゼンスアプリケーション、ディスプレイアプリケーション等に関係したカメラシステム等の画像ソースから（入力）画像コンテンツ１１４を受信し、入力画像ストリーム１１４を多レイヤ多視点画像シーケンスに復号化するように構成されたソフトウェア、ハードウェア、ソフトウェアおよびハードウェアの組み合わせ等を備える。各多レイヤ多視点画像は、多レイヤ多視点ビデオ信号からの多視点画像受信機１５２によって復号化されたシネマ画像レイヤにおける１つ以上のシングルレイヤシネマ画像および１つ以上のデバイス画像レイヤにおける１つ以上のシングルレイヤデバイス画像を含む。

シネマ画像レイヤから、画像レイヤ送信機１５６は、１つ以上のシングルレイヤシネマ画像を特定または生成する。この１つ以上のシングルレイヤシネマ画像は、シネマ画像レイヤおよび１つ以上のデバイス画像レイヤにおけるシングルレイヤシネマ画像およびシングルレイヤデバイス画像が事前に得られた（元の）多視点非レイヤ化画像に描写された複数の視覚物体（例えば、１１８、１２０等）における１つ以上の視覚物体（例えば、１１８等）の第１の真部分集合を描写することができる。

１つ以上のデバイス画像レイヤから、画像レイヤ送信機１５６は、１つ以上のシングルレイヤデバイス画像を特定または生成する。この１つ以上のシングルレイヤデバイス画像は、（元の）多視点非レイヤ化画像によって描写された複数の視覚物体（例えば、１１８、１２０等）における１つ以上の視覚物体（例えば、１２０等）の１つ以上の第２の真部分集合を描写することができる。

幾つかの実施形態では、画像レイヤ送信機１５６は、データフロー１５８を介して、全てのシングルレイヤシネマ画像を、画像レンダラ１０６、１０８またはその中のシネマ画像レンダラ（例えば、１０６等）に送信しまたは別の方向で提供する。さらに、画像レイヤ送信機１５６は、データフロー１５８を介して、全てのシングルレイヤデバイス画像を、画像レンダラ１０６、１０８またはその中のデバイス画像レンダラ（例えば、１０８等）に送信しまたは別の方法で提供する。

ユーザー１１２－１は、ランタイムにおいて移動し、ウェアラブルデバイス１０２－１の空間位置および空間方向の変化を引き起こす場合がある。幾つかの実施形態では、デバイストラッカ１２２は、ウェアラブルデバイス１０２－１の空間位置および／または空間方向を追跡／監視し、ウェアラブルデバイス１０２－１の空間位置および／または空間方向に基づいてウェアラブルデバイス１０２－１の位置データおよび方向データを生成する等を行うように構成されたソフトウェア、ハードウェア、ソフトウェアおよびハードウェアの組み合わせ等を備える。

デバイストラッカ１２２によって生成されるウェアラブルデバイス１０２－１の位置データおよび方向データは、相対的に微細な時間分解能（例えば、１ミリ秒ごと、５ミリ秒ごと等）のものとすることができ、画像コンテンツ受信機１１０および／または画像レンダラ１０６、１０８等の他のデバイスが所与の時間分解能（例えば、１ミリ秒ごと、５ミリ秒ごと等）でウェアラブルデバイス１０２－１の空間位置および／または空間方向を確立／確定するために用いることができる。

本明細書において説明されるデバイストラッカの例は、外部デバイストラッカ、内部デバイストラッカ、アウトサイドインデバイストラッカ、インサイドアウトデバイストラッカ等のうちの任意のものを含むことができるが、必ずしもこれらのみに限定されるものではない。限定ではなく例として、図２Ａに示すような構成１００におけるデバイストラッカ１２２は、外部デバイストラッカを表す。しかしながら、他の実施形態では、ウェアラ
ブルデバイス１０２－１の一部とすることもできるし、ウェアラブルデバイス１０２－１と同じ場所への配置、ウェアラブルデバイス１０２－１との共動等を行うこともできるインサイドアウトデバイストラッカも、（外部）デバイストラッカ１２２に加えてまたはその代わりに用いることができることに留意されたい。デバイストラッカ１２２は、相対的に多数のウェアラブルデバイスの空間座標を追跡することができる。これらのウェアラブルデバイスには、３Ｄ空間１２６に存在するウェアラブルデバイス１０２－１が含まれるが、これに限定されるものではない。

限定ではなく例示として、３Ｄ空間１２６内の空間位置を表すために用いられる静止３次元空間座標系は、基準デカルト座標系とすることができる。図２Ａは、基準デカルト座標系の２つの例示の空間次元、すなわち、ｘ軸およびｚ軸のみを示している。基準デカルト座標系は、別の空間次元、すなわち、図２Ａの紙面から外部に向いている、ｘ軸およびｚ軸の双方と直交するｙ軸を含むことができる。基準デカルト座標系は、図２Ａに示すように、「ｐ」として表記された基準空間位置に座標系原点を含むことができる。基準空間位置は、３Ｄ空間１２６に対して静止した任意の空間位置から選択することができる。

ウェアラブルデバイス１０２－１は、動作時において剛体（または固定空間形状）デバイスとすることができるが、必ずしもこれのみに限定されるものではない。ウェアラブルデバイス１０２－１上の空間位置は、ウェアラブルデバイス１０２－１に対して静止した３次元空間座標系で表すことができる。基準デカルト座標系に対するデバイス静止デカルト座標系は、ウェアラブルデバイス１０２－１上の空間位置および空間方向を表すために用いることができる。デバイス静止デカルト座標系は、図２Ａに示すようなｘ１軸およびｚ１軸と、図２Ａに示されていないｘ１軸およびｚ１軸の双方に直交するｙ１軸とを含むそれぞれの軸によって表された３つの空間次元を含む。デバイス静止デカルト座標系は、図２Ａに示すように、「ｐ１」として表記されたデバイス静止空間位置に座標系原点を含むことができる。デバイス静止空間位置は、ウェアラブルデバイス１０２－１に対して静止した任意の空間位置から選択することができる。幾つかの実施形態では、ウェアラブルデバイス１０２－１上に対称点である空間ロケーションが存在する場合、そのような空間ロケーションは、デバイス静止デカルト座標系に対する座標原点としての機能を果たすデバイス静止空間位置「ｐ１」として選択することができる。

幾つかの実施形態では、デバイストラッカ１２２は、３Ｄ空間１２６の基準デカルト座標系における所与の時点のウェアラブルデバイス１０２－１の１つ以上の空間座標を繰り返し（例えば、リアルタイム、準リアルタイム、厳密なタイミングバジェット内、１ミリ秒ごと、２ミリ秒ごと等で）追跡または決定する。幾つかの実施形態では、ウェアラブルデバイス１０２－１の１つ以上の空間座標は、３Ｄ空間１２６の基準デカルト座標系に対してウェアラブルデバイス１０２－１に静止したデバイス静止空間位置「ｐ１」の１つ以上の空間座標によって表すことができる。

ウェアラブルデバイス１０２－１のデバイス静止空間ロケーション「ｐ１」の空間座標は、時間の関数として表すことができるウェアラブルデバイス１０２－１の空間軌道を構成する。ウェアラブルデバイス１０２－１の１つ以上の運動特性の任意の組み合わせは、ウェアラブルデバイス１０２－１の空間軌道を表すこれらの時間の関数から決定することができる。

例えば、３Ｄ空間１２６において静止した基準デカルト座標系の原点「ｐ」等の基準点に対するウェアラブルデバイス１０２－１の（経時的な）線形位置／線形変位は、ウェアラブルデバイス１０２－１の空間軌道（前述したような時間の関数によって表される）から（例えば、ベクトル差等として）決定または導出することができる。追加的、選択的、または代替的に、３Ｄ空間１２６において静止した基準点に対するウェアラブルデバイス
１０２－１の（経時的な）線形速度、線形スピード、線形加速度等は、ウェアラブルデバイス１０２－１の空間軌道から（例えば、１次導関数、２次導関数等として）決定または導出することができる。

同様に、ウェアラブルデバイス１０２－１の（経時的な）角度位置／角度変位（例えば、ａ１等）は、基準デカルト座標系（例えば、ｘ、ｙ、ｚ等）に対するデバイス静止座標系（例えば、ｘ１、ｙ１、ｚ１等）の角度位置／角度変位から決定または導出することができる。

追加的、選択的、または代替的に、３Ｄ空間１２６における基準座標系に対するウェアラブルデバイス１０２－１の（経時的な）線形速度、線形スピード、線形加速度または角速度、角スピード、角加速度等は、ウェアラブルデバイス１０２－１の線形位置／線形変位または角度位置／角度変位（例えば、ｐ１、ａ１等）から（例えば、１次導関数、２次導関数等として）決定または導出することができる。

幾つかの実施形態では、画像レンダラ１０６、１０８は、図２Ｂおよび図２Ｃに示すように、シネマ画像レンダラ（例えば、１０６等）およびデバイス画像レンダラ（例えば、１０８）として別々に実施することができる。追加的、選択的、または代替的に、シネマ画像レンダラ１０６、デバイス画像レンダラ１０８等の画像レンダラは、図２Ａに示すように、単一のデバイス（例えば、シネマワイドサーバ等）内にひとまとめにして実施することができる。シネマ画像レンダラ１０６、デバイス画像レンダラ１０８等の画像レンダラ１０６、１０８における個々の任意の画像レンダラを、３Ｄ空間１２６において相対的に多数の鑑賞者と同時に関係した画像描画処理をリアルタイムでサポートするために並列に動作する複数のインスタンス（例えば、コンピュータ、デバイス、仮想マシン等）において実施することができる。

限定ではなく例として、画像レンダラ１０６、１０８は、画像レイヤ受信機１６０、デバイスレジスタ１７０、ディスプレイ画像ジェネレータ１６２等を備える。画像レンダラ１０６、１０８は、中央画像レンダラ、分散画像レンダラ、ウェアラブルデバイス（例えば、１０２－１等）の一部として実施される画像レンダラ、一部がウェアラブルデバイス（例えば、１０２－１等）の一部として実施されるとともに一部がウェアラブルデバイス１０２－１の外部の別個のデバイスにおいて実施される３Ｄ空間１２６におけるウェアラブルデバイス（例えば、１０２－１等）の幾つかまたは全ての外部の画像レンダラ等のうちの任意のものを含むことができるが、必ずしもこれらのみに限定されるものではない。

幾つかの実施形態では、画像レイヤ受信機１６０は、データフロー１５８を介して、多レイヤ多視点画像シーケンスにおける各多レイヤ多視点画像について、シネマ画像レイヤおよび１つ以上のデバイス画像レイヤを受信するように構成されたソフトウェア、ハードウェア、ソフトウェアおよびハードウェアの組み合わせ等を備える。

幾つかの実施形態では、デバイスレジスタ１７０は、３Ｄ空間１２６におけるウェアラブルデバイス（例えば、１０２－１等）のデバイスＩＤ情報（例えば、ＭＡＣアドレス、ネットワークアドレス、ＩＰアドレス等）の受信、ウェアラブルデバイス（例えば、１０２－１等）において描画されるデバイスディスプレイ画像を受信するウェアラブルデバイス（例えば、１０２－１等）のそれぞれの登録等を行うように構成されたソフトウェア、ハードウェア、ソフトウェアおよびハードウェアの組み合わせ等を備える。

シネマ画像レイヤにおけるシングルレイヤシネマ画像に基づいて、ディスプレイ画像ジェネレータ１６２は、１つ以上のシネマディスプレイ画像の生成、１つ以上のシネマディスプレイ画像のシネマディスプレイ１０４上への描画等を行う。

幾つかの実施形態では、画像レンダラ１０６、１０８またはこの画像レンダラにおけるディスプレイ画像ジェネレータ１６２は、３Ｄ空間１２６においてデバイストラッカ１２２によって追跡／監視されるウェアラブルデバイス（例えば、１０２－１等）のそれぞれの位置データおよび方向データを受信すること；１つ以上のデバイス画像レイヤにおけるシングルレイヤデバイス画像と、そのような各ウェアラブルデバイス（例えば、１０２－１等）の位置データおよび方向データとに基づいて、ウェアラブルデバイス（例えば、１０２－１等）のそれぞれの１つ以上のそれぞれのデバイスディスプレイ画像を生成すること；そのような各ウェアラブルデバイス（例えば、１０２－１等）を用いて、それぞれの１つ以上のデバイスディスプレイ画像をそれぞれのデバイスディスプレイ（例えば、図１Ｂの１１６等）上に描画すること等を行う。画像レンダラ（例えば、１０６、１０８等）は、制御情報、ステータス情報、位置データ、デバイスディスプレイ画像等の画像データ、メタデータ等をウェアラブル画像描画デバイス（例えば、１０２－１等）と１つ以上のデータ接続を介して通信することができる。データ接続の例としては、無線データ接続、有線データ接続、無線周波数ベースのデータ接続、セルラーデータ接続、Ｗｉ－Ｆｉデータ接続、赤外線ベースのデータ接続、座席／アームレスト／床等へのＨＤＭＩケーブルを介したデータ接続、光ケーブルを介したデータ接続、高速シリアルインターフェース（ＨＳＳＩ）、高精細シリアルデジタルインターフェース（ＨＤ－ＳＤＩ）、１２Ｇ－ＳＤＩ、ＵＳＢケーブル等を介したデータ接続を含むことができるが、これらに限定されない。

シネマディスプレイ画像および／またはデバイスディスプレイ画像の例は、モノスコープ画像、左視点画像および右視点画像の組み合わせ、２つ以上の多視点画像の組み合わせ等のうちの１つを含むが、必ずしもこれらのみに限定されるものではない。

画像レイヤが複数の異なる視点シングルレイヤ画像を含む処理シナリオでは、シネマ画像レンダラ１０６および／またはデバイス画像レンダラ１０８は、これらの複数の異なる視点シングルレイヤ画像の中から左視点画像および右視点画像を特定、選択、および／または補間することができる。例えば、そのような左視点画像および右視点画像の一方または双方は、異なる視点シングルレイヤ画像を組み合わせて左視点画像および／または右視点画像にする画像補間および／または画像再構築によって生成することができる。

幾つかの実施形態では、画像レンダラ１０６、１０８は、シネマディスプレイ画像および／またはデバイスディスプレイ画像の描画の一部としてディスプレイ管理処理を実行する。

拡張型エンターテインメントシステムは、リアルタイムビデオアプリケーション、準リアルタイムビデオアプリケーション、非リアルタイムビデオアプリケーション、仮想現実（ＶＲ）アプリケーション、拡張現実（ＡＲ）アプリケーション、リモートプレゼンスアプリケーション、自動車エンターテインメントアプリケーション、ヘルメットマウントディスプレイアプリケーション、ヘッドアップディスプレイアプリケーション、ゲーム、２Ｄディスプレイアプリケーション、３Ｄディスプレイアプリケーション、多視点ディスプレイアプリケーション等をサポートするために用いることができる。入力画像コンテンツデータ１１４の幾つかまたは全ては、拡張型エンターテインメントシステムによってリアルタイム、準リアルタイム、非リアルタイム等で受信、生成またはアクセスすることができる。

本明細書において説明される技法は、多種多様なディスプレイを用いて３Ｄ画像または多視点画像を描画することおよび視認することをサポートするために用いることができる。ディスプレイ（例えば、１０４、ウェアラブルデバイスのデバイスディスプレイ等）の例としては、シネマディスプレイ、ホームシアターディスプレイ、テレビ、投影ベースの
ディスプレイシステム、バックライトベースのディスプレイシステム、ライトフィールドベースのディスプレイシステム、光導波路ベースのディスプレイシステム、液晶ベースのディスプレイシステム、発光ダイオードベースのシステム、有機発光ダイオードベースのシステム、画像プロジェクター、ＡＲディスプレイ、ＨｏｌｏＬｅｎｓディスプレイ、Ｍａｇｉｃ Ｌｅａｐディスプレイ、複合現実（ＭＲ）ディスプレイ、テンソルディスプレイ、ボリュームディスプレイ、ライトフィールド（ＬＦ）ディスプレイ、Ｉｍｍｙディスプレイ、メタディスプレイ、相対的に単純なＡＲメガネ、遠近調節と両眼転導との不整合を克服する広範囲の能力のうちの任意のものを有するディスプレイ等のうちの任意のものを含むことができるが、必ずしもこれらのみに限定されるものではない。

幾つかの実施形態では、複数の画像レイヤにおけるシングルレイヤ画像を含む多レイヤ多視点画像をレイヤ化画像エンコーダ１８０等の外部画像ソースから受信する代わりに、多視点画像受信機１５２は、例えば、ローカルに、データレポジトリ１５４からこれらの多視点多レイヤ画像を受信しまたは取り出すことができる。データレポジトリ１５４は、多レイヤ多視点画像等の幾つかまたは全てに関する記憶、更新、取り出し、削除等の処理をサポートするように構成された１つ以上のデータベース、１つ以上のデータ記憶ユニット／モジュール／デバイス等を表す。

幾つかの実施形態では、画像レイヤを画像レンダラ（例えば、シネマ画像レンダラ、デバイス画像レンダラ等）に直接送信する代わりに、画像レイヤにおいて具体的に選択されたシングルレイヤ画像を含む画像セットを画像レンダラ（例えば、１０６、１０８等）に送信することができる。画像レイヤ送信機１５６は、画像レンダラ１０６、１０８内のある画像レンダラおよび／またはデバイストラッカ１２２から、デバイストラッカ１２２によって追跡／監視されるウェアラブルデバイス１０２－１の位置データおよび方向データを受信し、基準座標系に対する所与のウェアラブルデバイス（例えば、１０２－１等）の空間位置および／または空間方向を経時的に確立／決定し、受信された各多レイヤ多視点画像の画像レイヤにおける特定のシングルレイヤ画像を選択することによって１つ以上の画像セットを生成することができる。特定のシングルレイヤ画像は、ウェアラブルデバイス１０２－１の空間位置および／または空間方向に従ってウェアラブルデバイス１０２－１に特に適合することができる。さらに、画像レイヤ送信機１５６は、単数または複数の画像セットのビデオストリームへの符号化、データフロー１５８を介したビデオストリームの画像レンダラ１０６、１０８への提供／送信等を行うことができる。画像セットは、画像レンダラ１０６、１０８が画像再構築／補間を用いてウェアラブルデバイス１０２－１のデバイスディスプレイ画像を生成するために用いることができる。画像セットおよび画像再構築／補間の例は、２０１８年４月１０日に出願されたAjit NinanおよびNeil Mammenによる「ADAPTING VIDEO IMAGES FOR WEARABLE DEVICES」という出願名称の米国特許
出願第１５／９４９，７２０号において知ることができる。この米国特許出願の全内容は本願において援用され、本明細書に完全に述べられているのと同等に取り扱われる。

本明細書において説明される技法は、様々なシステムアーキテクチャにおいて実施することができる。本明細書において説明される幾つかまたは全ての画像処理演算は、クラウドベースビデオストリーミングサーバ、ウェアラブルデバイスと同じ場所に配置されまたはウェアラブルデバイス内に組み込まれたビデオストリーミングサーバ、ビデオストリーミングクライアント、画像コンテンツ受信機、画像描画デバイス等のうちの１つ以上によって実施することができる。受信側デバイスのビデオアプリケーションのタイプ、帯域幅／ビットレートバジェット、計算能力、リソース、負荷等、ビデオストリーミングサーバ、画像コンテンツ受信機、画像描画デバイス、下レイヤのコンピュータネットワーク等の計算能力、リソース、負荷等の１つ以上の要因に基づいて、幾つかの画像処理演算は、画像コンテンツ受信機が実行することができる一方、他の幾つかの画像処理演算は、画像描画デバイス等が実行することができる。

図２Ｂは、（３Ｄ）拡張型エンターテインメントシステムの別の例示の構成１００－１を示している。この構成は、デバイスディスプレイ１１２、シネマディスプレイ１０４、シネマ画像レンダラ１０６、デバイス画像レンダラ１０８、画像コンテンツ受信機１１０等を有するウェアラブルデバイス１０２等の３Ｄ画像描画ビューイングアイウェアデバイスを備える。図２Ｂに示す構成要素／デバイスの幾つかまたは全ては、１つ以上の機械構成要素、１つ以上の電気光学構成要素、ソフトウェア、ハードウェア、ソフトウェアおよびハードウェアの組み合わせ等による１つ以上のコンピューティングデバイス、モジュール、ユニット等によって実施することができる。図２Ｂに示す構成要素／デバイスの幾つかまたは全ては、図２Ｂに示す他の幾つかの構成要素／デバイスまたは図２Ｂに示していない他の構成要素／デバイスと（例えば、無線、有線接続等を用いて）通信結合することができる。

幾つかの実施形態では、画像コンテンツ受信機１１０は、シネマ画像レイヤから復号化されたシングルレイヤシネマ画像（図２Ａに関して前述）をシネマ画像レンダラ１０６に送信または別の方法で提供する。さらに、画像コンテンツ受信機１１０は、デバイス画像レイヤから復号化されたシングルレイヤデバイス画像（図２Ａに関して前述）をデバイス画像レンダラ１０８に送信または別の方法で提供する。

シングルレイヤシネマ画像に基づいて、シネマ画像レンダラ１０６は、シネマディスプレイ画像をシネマディスプレイ１０４上に描画する。これらのシネマディスプレイ画像は、第１のモノスコープ画像、第１の左視点画像および第１の右視点画像の組み合わせ、２つ以上の第１の多視点画像の組み合わせ等のうちの１つとすることができる。

シングルレイヤデバイス画像に基づいて、デバイス画像レンダラ１０８は、ウェアラブルデバイス１０２にデバイスディスプレイ画像をデバイスディスプレイ１１６上に描画させる。これらのデバイスディスプレイ画像は、第２のモノスコープ画像、第２の左視点画像および第２の右視点画像の組み合わせ、２つ以上の第２の多視点画像の組み合わせ等のうちの１つとすることができる。

幾つかの実施形態では、デバイスディスプレイ１１６は、物理的なディスプレイではなく、ウェアラブルデバイス１０２におけるイメージャー（単数または複数）によって放出された光線によって作成される画像平面または仮想的なディスプレイである。

幾つかの実施形態では、シネマディスプレイ１０４上に描画された左視点シネマディスプレイ画像および右視点シネマディスプレイ画像の対に描写された視覚物体（例えば、１１８等）の第１の真部分集合と、デバイスディスプレイ１１６上に描画された対応するデバイスディスプレイ画像に描写された視覚物体（例えば、１２０等）の１つ以上の第２の真部分集合とは、同時に（例えば、並行して、同期して、同じ画像フレーム間隔内等で）描画され、３Ｄ画像空間（例えば、図１Ａの１９６等）内の異なる空間ロケーションに位置する複数の視覚物体（例えば、１１８、１２０等）をひとまとめにして描写する。３Ｄ画像空間１９６内のこれらの空間ロケーションは、元々は、複数の視覚物体をシネマ画像レイヤ（または視覚物体の第１の真部分集合）と、１つ以上のデバイス画像レイヤ（または視覚物体の１つ以上の第２の真部分集合）とに分割するために用いられた多視点非レイヤ化画像の空間情報に指定または記述されたものと同じものとすることができる。

幾つかの実施形態では、シネマ画像レンダラ１０６および／またはデバイス画像レンダラ１０８は、（ａ）左視点シネマディスプレイ画像および右視点シネマディスプレイ画像および／または（ｂ）デバイスディスプレイ画像の描画の一部としてディスプレイ管理処理を実行する。

本明細書において説明される拡張型エンターテインメントシステムが複数鑑賞者環境において動作する処理シナリオでは、複数のユーザーの個々のウェアラブルデバイスの空間位置（複数のユーザーの個々の座席位置を含むが、これに限定されるものではない）および／または空間方向を追跡、計算および／または使用して、鑑賞者の個々のウェアラブルデバイスを用いて描画された個々のデバイス画像コンテンツを、シネマディスプレイ、投影ディスプレイ等の共有ディスプレイ上に描画される大画面コンテンツ（またはシネマ画像コンテンツ）とシームレスにオーバーレイ（または重ね合わせ）することができる。

図３Ａは、３Ｄ空間（例えば、１２６等）と、複数の鑑賞者の共有ディスプレイとしてのシネマディスプレイ（例えば、１０４等）とを備える一例示の複数鑑賞者環境の斜視図を示している。３Ｄ空間１２６は、複数の座席空間（例えば、３２６等）を含む視聴者エリア３２４を備えることができる。自身のそれぞれのウェアラブルデバイスを装着している複数の鑑賞者は、視聴者エリア３２４内の複数の座席空間に着席して、シネマディスプレイ１０４上に描画されるシネマ画像コンテンツを視認することができ、シネマ画像コンテンツを視認すると同時に、ウェアラブルデバイスによって個別に描画される適切にオーバーレイされたデバイス画像コンテンツを視認することができる。３Ｄ空間１２６の特定の幾何学的構成を所与として、ウェアラブルデバイスの高さ、線形距離および角距離は、複数鑑賞者環境においてシネマディスプレイ１０４に対して実質的に変化し得る。

鑑賞者およびそれらのウェアラブルデバイスの実際の座席位置は、複数の異なる方法のうちの１つ以上の任意の組み合わせで決定することができる。一例では、鑑賞者および鑑賞者のウェアラブルデバイスの特定の座席位置（または特定の座席空間）は、鑑賞者または鑑賞者のウェアラブルデバイスに発行された特定のチケットに基づいて決定することができる。別の例では、シネマ画像コンテンツまたはシネマディスプレイ１０４の周囲の空間エリアに基準マーカーを組み込むことができる。ウェアラブルデバイス（またはヘッドセット）は、これらの基準マーカーからの光線に応答して生成された画像マーカーを有する追跡画像を取得することができる。追跡画像内の画像マーカーに基づいて、ウェアラブルデバイスは、拡張型エンターテインメントセッション内の任意の所与の時点におけるウェアラブルデバイスの空間位置および／または空間方向を決定（例えば、正確に決定等）することができる。基準マーカーに基づくウェアラブルデバイスの空間位置および／または空間方向の決定の例は、前述した２０１８年４月１０日に出願されたAjit NinanおよびNeil Mammenによる「ADAPTING VIDEO IMAGES FOR WEARABLE DEVICES」という出願名称を
有する米国特許出願第１５／９４９，７２０号において知ることができる。

更なる例では、異なるウェアラブルデバイス（例えば、ＡＲヘッドセット等）が、３Ｄ空間１２６内のそれらのそれぞれの座席位置（または座席空間）に取り付けまたは割り当てられてもよい。

追加的、選択的、または代替的に、無線周波数（ＲＦ）ロケーション検出を用いて、拡張型エンターテインメントセッション内の任意の所与の時点におけるウェアラブルデバイスの空間位置および／または空間方向を決定することができる。ＲＦロケーション検出に基づくウェアラブルデバイスの空間位置および／または空間方向の決定の例は、米国特許第７，５８０，３７８号において知ることができる。この米国特許の全内容は本願において援用され、本明細書に完全に述べられているのと同等に取り扱われる。

幾つかの実施形態では、３Ｄ空間１２６（例えば、相対的に大きな３Ｄ空間等）は、複数のゾーンに分離することができる（例えば、これらのゾーンのうちの１つが図３Ｂの３２８等であってもよい）。複数のメディアストリーミングサーバを用いて、デバイス画像コンテンツを複数のゾーン（例えば、３２８等）内の鑑賞者にストリーミングすることが
できる。各ゾーン（例えば、３２８等）内の鑑賞者は、複数のメディアストリーミングサーバにおけるそれぞれのメディアストリーミングサーバによってサポートすることができる。幾つかの実施形態では、メディアストリーミングサーバは、このメディアストリーミングサーバによってサポートされるように指定された、ゾーン３２８に着席した鑑賞者の各鑑賞者用の鑑賞者固有のデバイス画像コンテンツを生成する。鑑賞者固有のデバイス画像コンテンツを受信すると、ゾーン３２８内の鑑賞者のウェアラブルデバイスは、更なる適合を伴わずもしくは更なる適合をほとんど伴わず、または、相対的に単純な画像描画処理（例えば、画像補間／再構築／選択等）を伴って、鑑賞者固有のデバイス画像コンテンツを描画することができる。幾つかの実施形態では、メディアストリーミングサーバは、このメディアストリーミングサーバによってサポートされるゾーン３２８において、このゾーン内の全ての鑑賞者用のゾーン固有のデバイス画像コンテンツを生成することができる。ゾーン固有のデバイス画像コンテンツを受信すると、ゾーン３２８内の個々の鑑賞者のウェアラブルデバイスは、このウェアラブルデバイスの空間位置および／または空間方向に基づいて、ゾーン固有のデバイス画像コンテンツを適合させ、この適合されたデバイス画像コンテンツを描画することができる。

拡張型エンターテインメントシステムは、デバイス追跡技法を実施しまたはこのデバイス追跡技法を用いて動作し、拡張型エンターテインメントセッション（例えば、ＶＲセッション、ＡＲセッション、リモートプレゼンスセッション、コンピュータゲームセッション、映画等）においてウェアラブルデバイスの空間位置および／または空間方向をリアルタイムで決定することができる。これらのデバイス追跡技法のうちの幾つかまたは全ては、相対的に多数の鑑賞者のウェアラブルデバイスの空間位置および／または空間方向を同時に追跡／監視するようにスケーリングすることができる。これらのウェアラブルデバイスの空間位置および／または空間方向は、デバイス画像コンテンツを、個々のウェアラブルデバイスおよび個々の鑑賞者向けに具体的に適合されたデバイス画像コンテンツに適合させ、この具体的に適合されたデバイス画像コンテンツを個々のウェアラブルデバイス上に描画するために用いることができる。

デバイス追跡技法の例としては、ウェアラブルデバイス単独で実行される追跡技法、外部デバイス単独で実行される追跡技法、一部はウェアラブルデバイスによって実行され、一部は外部デバイスによって実行される追跡技法、アウトサイドインデバイス追跡、インサイドアウトデバイス追跡、複数のデバイスが協力した分散デバイス追跡、基準マークに基づく追跡、ＲＦ信号または赤外線信号に基づく追跡等のうちの任意のものを含むことができるが、必ずしもこれらのみに限定されるものではない。これらのデバイス追跡技法の幾つかまたは全てを、拡張型エンターテインメントシステムが動作する特定の環境に具体的に適合させることができる。これらのデバイス追跡技法の幾つかまたは全ては、相対的に低コスト、相対的に低複雑度、相対的に高い弾力冗長性（redundancy for resilience
）、相対的に高い精度、相対的に多数の複数の鑑賞者等とともに実施することができる。

追加的、選択的、または代替的に、ウェアラブルデバイスのデバイスＩＤ情報は、本明細書において説明されるデバイス追跡技法によって取得することができる。このデバイスＩＤ情報は、ＭＡＣアドレス、ネットワークアドレス、ＩＰアドレス等を含むが、これらに限定されるものではない。

ウェアラブルデバイスの空間位置、空間方向、デバイスＩＤ情報、ネットワークアドレス等の幾つかまたは全ては、それぞれのメディアストリーミングサーバと通信し、ウェアラブルデバイスをそれぞれのメディアストリーミングサーバに（個別にまたはグループ／ゾーンで）登録し、シネマ画像コンテンツと同期して描画されるデバイス画像コンテンツを取得またはダウンロードするために用いることができる。

特定の時点におけるウェアラブルデバイスのデバイスＩＤ情報、特定の空間位置および／または特定の空間方向等は、その特定の時点用に生成されたデバイス画像コンテンツのストリーミングおよび描画を、その特定の時点用に生成されたシネマ画像コンテンツのストリーミングおよび描画と同期させるために用いることができる。例えば、第１の時点にシネマディスプレイ１０４上に描画される３Ｄシネマディスプレイ画像を生成するために用いられるシングルレイヤシネマ画像は、第１の時点を論理的に示すタイムスタンプによってインデックス付けすることができる。同じ第１の時点にウェアラブルデバイスを用いて描画される対応する３Ｄデバイスディスプレイ画像を生成するために用いられる対応するシングルレイヤデバイス画像は、同じタイムスタンプによってインデックス付けすることができる。したがって、ウェアラブルデバイスおよびシネマ画像レンダラ１０６の双方が、３Ｄシネマディスプレイ画像および対応する３Ｄデバイスディスプレイ画像を同時に表示することができる。

図２Ｃは、拡張型エンターテインメントシステムの一例示の構成１００－２を示している。この構成は、追跡センサーアセンブリ１２４とともに動作して、３Ｄ空間（例えば、１２６等）において第１の鑑賞者１１２－１によって用いられる第１のウェアラブルデバイス１０２－１、第２の鑑賞者１１２－２によって用いられる第２のウェアラブルデバイス１０２－２等の複数のウェアラブルデバイスを監視するデバイストラッカ１２２を備える。図２Ｃに示すように、この拡張型エンターテインメントシステムは、シネマ画像レンダラ（例えば、１０６等）、デバイス画像レンダラ（例えば、１０８等）、画像コンテンツ受信機（例えば、１１０等）、シネマディスプレイ（例えば、１０４等）、１つ以上のウェアラブルデバイスを更に備える。図２Ｃに示す構成要素／デバイスの幾つかまたは全ては、１つ以上の機械構成要素、１つ以上の電気光学構成要素、ソフトウェア、ハードウェア、ソフトウェアおよびハードウェアの組み合わせ等による１つ以上のコンピューティングデバイス、モジュール、ユニット等によって実施することができる。図２Ｃに示す構成要素／デバイスの幾つかまたは全ては、図２Ｃに示す他の幾つかの構成要素／デバイスまたは図２Ｃに示していない他の構成要素／デバイスと（例えば、無線、有線接続等を用いて）通信結合することができる。

幾つかの実施形態では、デバイストラッカ１２２および追跡センサーアセンブリ１２４は、追跡中のウェアラブルデバイスからリモートの中央追跡システムを表す。デバイストラッカ１２２および追跡センサーアセンブリ１２４は、ウェアラブルデバイスが複雑なおよび／または能動的な自己追跡機能を実施する必要なく、ウェアラブルデバイスを用いてデバイス追跡処理を行うことができる。したがって、ウェアラブルデバイスは、相対的に低コストで相対的に単純な設計を用いて作製することができる。追跡センサーアセンブリとともに動作するデバイストラッカの例は、２０１８年４月１０日に出願されたAjit NinanおよびNeil Mammenによる「PASSIVE MULTI-WEARABLE-DEVICES TRACKING」という出願名称を有する前述した米国特許出願第１５／９４９，５３６号において知ることができる。

本明細書において説明される中央追跡システムは、単一のウェアラブルデバイスまたは複数のウェアラブルデバイスの物理的な移動を正確で確実かつ敏感に追跡するために用いることができる。追跡目的に用いられる構成要素は、相対的に非常に小さなフットプリントに小型化する必要はなく、ウェアラブルデバイスの全体的なフォームファクターに機械的および／または電気的に組み込む必要はない。ウェアラブルデバイスの空間位置および視認方向を追跡する複雑な解析アルゴリズムの、ウェアラブルデバイスにおける設計、完成、および実施の必要はない。

幾つかの実施形態では、シネマ画像レンダラ１０６、デバイス画像レンダラ１０８およびデバイストラッカ１２２は、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）から離れて配置された１つ以上の中央メディアサーバにおいて実施することができる
。追跡センサーアセンブリ１２４とともに動作するデバイストラッカ１２２は、拡張型エンターテインメントセッション（例えば、ＶＲセッション、ＡＲセッション、リモートプレゼンスセッション、コンピュータゲームセッション、映画等）においてウェアラブルデバイス（例えば、１０２－１、１０２－２等）の空間位置および／または空間方向をリアルタイムで決定する。

第１のウェアラブルデバイス１０２－１は、第１のウェアラブルデバイス１０２－１に対して静止した３次元空間座標系において表すことができる空間位置にある剛体デバイスとすることができるが、必ずしもこれのみに限定されるものではない。基準デカルト座標系に対するデバイス静止デカルト座標系を用いて、第１のウェアラブルデバイス１０２－１に関する空間位置および空間方向を表すことができる。このデバイス静止デカルト座標系は、ｘ１軸およびｚ１軸と、図２Ｃに示されていないｘ１軸およびｚ１軸の双方に直交するｙ１軸とを含むそれぞれの軸によって表された３つの空間次元を備える。デバイス静止デカルト座標系は、「ｐ１」と表記されたデバイス静止空間位置に座標系原点を備えることができる。デバイス静止空間位置「ｐ１」は、第１のウェアラブルデバイス１０２－１に対して静止した任意の空間位置から選択することができる。幾つかの実施形態では、第１のウェアラブルデバイス１０２－１上に対称点である空間ロケーションが存在する場合、そのような空間ロケーションは、デバイス静止デカルト座標系に対する座標原点としての機能を果たすデバイス静止空間位置「ｐ１」として選択することができる。

同様に、第２のウェアラブルデバイス１０２－２は、第２のウェアラブルデバイス１０２－２に対して静止した第２の３次元空間座標系において表すことができる空間位置にある剛体デバイスとすることができるが、必ずしもこれのみに限定されるものではない。基準デカルト座標系に対する第２のデバイス静止デカルト座標系を用いて、第２のウェアラブルデバイス１０２－２に関する空間位置および空間方向を表すことができる。この第２のデバイス静止デカルト座標系は、ｘ２軸およびｚ２軸と、図２Ｃに示されていないｘ２軸およびｚ２軸の双方に直交するｙ２軸とを含むそれぞれの軸によって表された３つの空間次元を備える。第２のデバイス静止デカルト座標系は、「ｐ２」と表記されたデバイス静止空間位置に座標系原点を備えることができる。デバイス静止空間位置「ｐ２」は、第２のウェアラブルデバイス１０２－２に対して静止した任意の空間位置から選択することができる。幾つかの実施形態では、第２のウェアラブルデバイス１０２－２上に対称点である空間ロケーションが存在する場合、そのような空間ロケーションは、第２のデバイス静止デカルト座標系に対する座標原点としての機能を果たすデバイス静止空間位置「ｐ２」として選択することができる。

ウェアラブルデバイス（例えば、１０２－１、１０２－２等）の空間位置および／または空間方向は、デバイス画像コンテンツを、個々のウェアラブルデバイスおよび個々の鑑賞者向けに具体的に適合されたデバイス画像コンテンツに適合させ、この具体的に適合されたデバイス画像コンテンツを個々のウェアラブルデバイス上に描画するために用いることができる。

加えて、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）の空間位置および／または空間方向は、時間の関数としてシネマ画像レンダラ１０６およびデバイス画像レンダラ１０８に提供することができる。ウェアラブルデバイス（例えば、１０２－１、１０２－２等）の空間位置、空間方向等に基づいて、シネマ画像レンダラ１０６およびデバイス画像レンダラは、例えば、シネマ画像コンテンツおよびデバイス画像コンテンツをインデックス付けする共通のタイムスタンプを介して、特定の時点について生成されたデバイス画像コンテンツのストリーミングおよび描画を、その特定の時点について生成されたシネマ画像コンテンツのストリーミングおよび描画と同期させることができる。シネマ画像コンテンツおよびデバイス画像コンテンツをインデックス付けするタイムスタンプは
、それぞれシネマ画像コンテンツおよびデバイス画像コンテンツとともに記憶または送信することができる。シネマディスプレイ画像がシネマディスプレイ上に描画されている間、対応するデバイスディスプレイ画像は、ウェアラブルデバイスに（例えば、事前等に）ストリーミングされ、シネマディスプレイ上へのシネマディスプレイ画像の描画と同期してデバイスディスプレイ上に同時に描画される。

幾つかの実施形態では、シネマ画像コンテンツおよびデバイス画像コンテンツの幾つかまたは全ては、画像コンテンツ受信機または画像レンダラからの無線または有線データ接続によるストリーミングに代えてまたはこれに加えて、ローカルに記憶することができる。例えば、デバイス画像コンテンツは、ローカルハードドライブ（例えば、鑑賞者の個々の座席空間におけるＵＳＢデータ接続等から利用可能）からフェッチすることができる。タイムスタンプ、ピング（pinging）メッセージ等は、シネマディスプレイ上に描画され
ているシネマ画像コンテンツの描画と同期して描画すべき対応するデバイス画像コンテンツを特定するために、シネマ画像レンダラによって３Ｄ空間１２６内の全てのウェアラブルデバイスに送信することができる。追加的、選択的、または代替的に、タイムスタンプ、ピングメッセージ等に代えてまたはこれらに加えて、対応するデバイス画像コンテンツの描画をシネマ画像コンテンツと同期させることを目的として、ウォーターマーキング、メディアコンテンツに対して実行中のフィンガープリントアルゴリズムから導出されたフィンガープリント、基準マーク等を組み込み、搬送、表示、送信または追跡することができる。

したがって、デバイストラッカ１２２および追跡センサーアセンブリ１２４とともに実施される中央追跡システムを用いると、相対的に高いデバイス製造コスト、相対的に高いデバイスメンテナンスコスト（例えば、異なる連続した鑑賞者の間でウェアラブルデバイスを共有する商業的環境における相対的に高いデバイス洗浄／クリーニングコスト等）、相対的に高い通信コスト、相対的に高い同期コストを招く可能性が高い分散デバイス追跡を有するエンターテインメントシステムと比較して、拡張型エンターテインメントシステムにおけるシネマ画像コンテンツおよびデバイス画像コンテンツのストリーミングおよび描画の同期を、相対的に効率的な動作にすることができる。

ウェアラブルデバイス（例えば、１０２－１、１０２－２等）等は、静止物体または３Ｄ空間１２６において静止したシネマディスプレイ１０４等の静止座標系に対して相対運動を行うように、例えば、ユーザー（例えば、１１２－１、１１２－２等）によって駆動させることができる。これらの相対運動は、線形位置／線形変位、角度位置／角度変位、線形速度／線形スピード、角速度／角スピード、線形加速度、回転加速度等のうちの１つ以上の任意の組み合わせによって表すことができる。

例えば、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）は、映画シアター、ホームエンターテインメント空間、会場等の物理空間内で任意の所与の時点において特定の空間位置および特定の空間方向を有する３Ｄ物理物体とすることができる。

ウェアラブルデバイス（例えば、１０２－１、１０２－２等）の特定の空間位置は、このウェアラブルデバイス（例えば、１０２－１、１０２－２等）の特定の線形位置の空間座標によって特徴付けまたは測定することができる。そのような特定の線形位置の例は、メガネフレームの空間対称点、幾何学的中心点等、鑑賞者の眼の間の中点に対応する位置等とすることができる。線形位置の空間座標の例としては、デカルト座標系、極座標系等の空間座標とすることができる。

ウェアラブルデバイスの特定の空間方向は、３Ｄ空間１２６内で静止した基準３次元座標系に対する、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）に固定され
た (rigidly affixed)、すなわち、ウェアラブルデバイスに静止した(stationary with)
特定の３次元座標系の角度位置の空間座標によって特徴付けまたは測定することができる。３Ｄ空間１２６内の基準３次元座標系は、ｘ軸、ｙ軸およびｚ軸（図２Ｃには、ｘ軸およびｚ軸のみが示されている）を備え、その座標原点がシネマディスプレイ１０４の選択位置「ｐ」に位置している基準デカルト座標系とすることができる。ウェアラブル画像描画デバイス１０２に固定された、すなわち、このデバイスに静止したデバイス静止３次元座標系の例としては、鑑賞者の前方視認方向に対応する正のｚ方向と、鑑賞者の瞳孔間距離に平行なｘ方向と、ｘ方向およびｚ方向に垂直なｙ方向とを有する３次元デカルト座標系とすることができる。角度位置の空間座標の例としては、ピッチ、ヨー、ロール等とすることができる。

ウェアラブルデバイス（例えば、１０２－１、１０２－２等）の特定の空間位置および特定の空間方向は、一般に、６つの空間次元によって特徴付けることができる。そのうちの３つは並進に関係し、他の３つは回転に関係している。幾つかの実施形態では、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）の特定の空間位置および特定の空間方向を特徴付けるために用いられるこれらの６つの空間次元は、互いに完全に独立している。これらの実施形態では、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）は６自由度を有する。ただし、所与の自由度に対応する線形位置または角度位置は引き続きある範囲に制限し得ることが可能である。

例えば、映画シアターでは、シネマディスプレイ１０４に対して静止した基準デカルト座標系におけるｘ方向に沿ったウェアラブルデバイス（例えば、１０２－１、１０２－２等）の線形位置（例えば、左右揺等）は、鑑賞者（例えば、１１２－１、１１２－２等）に割り当てられた座席の幅の一部分に対応する範囲に制限することができる。シネマディスプレイ１０４に対して静止したデカルト座標系におけるｙ方向に沿ったウェアラブルデバイス（例えば、１０２－１、１０２－２等）の線形位置（上下揺）は、鑑賞者の頭部の一部分に対応する範囲に制限することができる。シネマディスプレイ１０４に対して静止したデカルト座標系におけるｚ方向に沿ったウェアラブルデバイス（例えば、１０２－１、１０２－２等）の線形位置（例えば、前後揺等）は、鑑賞者（例えば、１１２－１、１１２－２等）の座席の背面と鑑賞者（例えば、１１２－１、１１２－２等）の座席の直前の座席の背面との間の範囲に制限することができる。

本明細書において説明される技法は、３６０度（または球の４π立体角全体）までの全方向画像の視認をサポートするために用いることができる。例えば、シネマディスプレイ画像が描画されるシネマディスプレイが３Ｄ空間において固定または静止していても、本明細書において説明されるウェアラブルデバイスは、３６０度（または球の４π立体角全体）までの任意の視野角から方向固有デバイスディスプレイ画像を視認することができる。シネマディスプレイから離れて視認するとき、ウェアラブルデバイスの鑑賞者は、１つ以上のデバイス画像レイヤにおけるシングルレイヤデバイス画像から得られたデバイスディスプレイ画像のみを視認することができる。一方、幾つかの処理シナリオでは、シネマディスプレイ１０４に関するヨーのウェアラブルデバイス（例えば、１０２－１、１０２－２等）の角度位置は、前方視認方向の第１の範囲（例えば、＋／－２０度の角度、＋／－３０度の角度、最大で＋／－１８０度の角度等）に制限することができる。シネマディスプレイ１０４に関するロールのウェアラブルデバイス（例えば、１０２－１、１０２－２等）の角度位置は、前方視認方向の第２の範囲（例えば、＋／－２０度の角度、＋／－３０度の角度、最大で＋／－１８０度の角度等）に制限することができる。シネマディスプレイ１０４に関するピッチのウェアラブルデバイス（例えば、１０２－１、１０２－２等）の角度位置は、前方視認方向の第３の範囲（例えば、＋／－２０度の角度、＋／－３０度の角度、最大で＋／－１８０度の角度等）に制限することができる。これらの角度範囲は、異なって制約されてもよい。例えば、ピッチ運動は、相対的に深刻な吐き気および
生理的な不快感をもたらす傾向があるので、第３の範囲は、相対的に小さく設定されてもよい。

上述の位置範囲または角度範囲のうちのいずれかが、単一の値に縮小した場合または制約された場合、この単一の値の位置範囲または角度範囲に対応する自由度は、６自由度から喪失または除去される。シネマディスプレイ１０４に対するウェアラブルデバイス（例えば、１０２－１、１０２－２等）の並進および回転が（例えば、論理的、物理的等に）固定されているとき、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）が有する自由度は０である。シネマディスプレイ１０４に対するウェアラブルデバイス（例えば、１０２－１、１０２－２等）の回転は固定されているが、並進が直線または１次元曲線に沿って動作するように限定されているとき、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）が有する自由度は１である。同様に、シネマディスプレイ１０４に対するウェアラブルデバイス（例えば、１０２－１、１０２－２等）の並進は固定されているが、回転が単一の回転方向に限定されているとき、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）が有する自由度は１である。

幾つかの実施形態では、３Ｄ空間１２６に配備された追跡センサーアセンブリ１２４とともに動作するデバイストラッカ１２２は、３Ｄ空間１２６におけるウェアラブルデバイスの空間位置および空間方向を監視する。幾つかの実施形態では、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）は、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）に着脱可能もしくは着脱不能に取り付けられ、または別の方法で設置された光源を有する。これらの光源は、可視光波長の光線、不可視光波長の光線、赤外線光等の光線を放出または反射することができる。光源の例は、光放出器、発光ダイオード（ＬＥＤ）、非ＬＥＤ光、光再生器、光反射器、光散乱デバイス、再帰反射器等のうちの任意のものを含むことができるが、必ずしもこれらのみに限定されるものではない。限定ではなく例として、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）上の光源は、デバイス追跡目的用の赤外線光等の不可視光を放出または反射する。

幾つかの実施形態では、ウェアラブルデバイス上に配置された光源からの光線を撮像する追跡センサーアセンブリ１２４における１つ以上の追跡画像センサーが、デバイス追跡画像を生成する。これらのウェアラブルデバイスは、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）を含むが、これに限定されるものではない。これらの光線は、追跡センサーアセンブリ１２４における追跡画像センサーに向けて放出、反射／方向変換／散乱等することができる。これらの光線は、設定されたタイムスケジュール等において連続的に撮像することができる。例えば、デバイス追跡画像は、１ミリ秒または１ミリ秒の数分の１の時間分解能、１００分の１秒ごとの時間分解能、１０分の１秒ごとの時間分解能等で取得することができる。

幾つかの実施形態では、デバイストラッカ１２２は、ウェアラブルデバイスの光源からの光線から追跡画像センサー１２４によって所与の時点において撮像された１つ以上のデバイス追跡画像に基づいて、（例えば、ある時間間隔、３Ｄ映画の継続時間全体等にわたって）所与の時点においてウェアラブルデバイスのそれぞれの空間位置および空間方向を追跡または決定する。

幾つかの実施形態では、デバイス画像レンダラ１０８は、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）の空間位置および空間方向（例えば、ｐ１、ａ１、ｐ２、ａ２等）をデバイストラッカ１２２から（例えば、ある時間間隔、３Ｄ映画の継続時間全体等にわたって）経時的に受信する。ウェアラブルデバイス（例えば、１０２－１、１０２－２等）の空間位置および空間方向に基づいて、デバイス画像レンダラ１０８は、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）とシネマディスプレイ１０４
との間の空間関係を決定することができる。幾つかの実施形態では、これらの空間関係は、シネマディスプレイ１０４または３Ｄ空間１２６における基準デカルト座標系に対するウェアラブルデバイス（例えば、１０２－１、１０２－２等）の線形位置／線形変位、角度位置／角度変位、線形速度または角速度、線形スピードまたは角スピード、線形加速度または角加速度等のうちの１つ以上によって表すことができる。

例えば、多視点非レイヤ化画像から得られたシングルレイヤデバイス画像に基づいて、デバイス画像レンダラ１０８は、１つ以上の左視点デバイス画像および１つ以上の右視点デバイス画像を含む１つ以上の３Ｄデバイス画像を決定することができる。デバイス画像レンダラ１０８またはウェアラブルデバイス（例えば、１０２－１、１０２－２等）は、画像を描画する前に、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）とシネマディスプレイ１０４との間の空間関係に基づいて、（１つ以上の３Ｄデバイス画像における）１つ以上の左視点デバイス画像および１つ以上の右視点デバイス画像に対して空間変換を行うことができる。

空間変換によって変換された左視点デバイス画像および右視点デバイス画像に基づいて、デバイス画像レンダラ１０８は、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）にこれらの左視点デバイス画像および右視点デバイス画像を１つ以上のデバイスディスプレイ（例えば、１１６等）上に描画させることができる。デバイス画像レンダラ１０８は、制御情報、ステータス情報、位置データ、デバイス画像等の画像データ、メタデータ等をウェアラブル画像描画デバイス（例えば、１０２－１、１０２－２等）と１つ以上のデータ接続を介して通信することができる。データ接続の例としては、無線データ接続、有線データ接続、無線周波数ベースのデータ接続、セルラーデータ接続、Ｗｉ－Ｆｉデータ接続、赤外線ベースのデータ接続、座席／アームレスト／床等へのＨＤＭＩケーブルを介したデータ接続、光ケーブルを介したデータ接続、高速シリアルインターフェース（ＨＳＳＩ）、高精細シリアルデジタルインターフェース（ＨＤ－ＳＤＩ）、１２Ｇ－ＳＤＩ、ＵＳＢケーブル等を介したデータ接続を含むことができるが、これらに限定されない。

追加的、選択的、または代替的に、画像回転の決定、画像整列解析、シーンカット検出、座標系間の変換、時間的減衰、ディスプレイ管理、コンテンツマッピング、色マッピング、視野管理等の画像処理演算の幾つかまたは全ては、画像コンテンツ受信機１１０によって実行することができる。

幾つかの実施形態では、図２Ｃに示す１２２等の外部デバイストラッカを用いる代わりに、内部デバイストラッカを用いて、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）の空間位置および／または空間方向の追跡／監視、ウェアラブルデバイス（例えば、１０２－１、１０２－２等）の空間位置および／または空間方向に基づくウェアラブルデバイス（例えば、１０２－１、１０２－２等）の位置データおよび方向データの生成等を行うことができる。

幾つかの実施形態では、デバイス画像レンダラ１０８は、単一のウェアラブルデバイス（例えば、１０２－１等）のみとともに動作する場合もあるし、しない場合もある。限定ではなく例として、図２Ｃに示すようなデバイス画像レンダラ１０８は、同時に２つ以上のウェアラブルデバイス（例えば、１０２－１および１０２－２等）とともに動作する。

幾つかの実施形態では、デバイス画像レンダラ１０８は、ウェアラブルデバイス１０２－１および１０２－２のビデオストリームの受信、各ウェアラブルデバイス１０２－１または１０２－２の位置データおよび方向データに従ったそのような各ウェアラブルデバイス１０２－１または１０２－２のビデオストリームにおけるビデオデータからの１つ以上
のディスプレイ画像の生成、鑑賞者１１２－１または１１２－２へのそれぞれのウェアラブルデバイス１０２－１または１０２－２を用いた１つ以上のディスプレイ画像の描画等を行う。

６．プロセスフロー例
図４Ａは、本発明の一例示の実施形態による一例示のプロセスフローを示している。幾つかの例示の実施形態では、１つ以上のコンピューティングデバイスまたは構成要素が、このプロセスフローを実行することができる。ブロック４０２において、レイヤ化画像エンコーダ（例えば、図２Ａの１８０等）は、１つ以上の多視点非レイヤ化画像に表された３次元（３Ｄ）画像空間内の複数の視覚物体の空間ロケーションを記述した空間情報にアクセスする。１つ以上の多視点非レイヤ化画像のそれぞれは、複数の視認方向に対応する複数の単視点非レイヤ化画像を含む。

ブロック４０４において、１つ以上の多視点非レイヤ化画像に表された３Ｄ画像空間内の複数の視覚物体の空間ロケーションを記述した空間情報に基づいて、レイヤ化画像エンコーダ１８０は、１つ以上の多視点非レイヤ化画像から、複数の視覚物体における１つ以上の視覚物体の第１の真部分集合を描写する１つ以上のシングルレイヤシネマ画像を含むシネマ画像レイヤを生成する。

ブロック４０６において、１つ以上の多視点非レイヤ化画像に表される３Ｄ画像空間内の複数の視覚物体の空間ロケーションを記述した空間情報に基づいて、レイヤ化画像エンコーダ１８０は、１つ以上の多視点非レイヤ化画像から１つ以上のデバイス画像レイヤを生成する。これらのデバイス画像レイヤのそれぞれは、複数の視覚物体における１つ以上の視覚物体の１つ以上の第２の真部分集合を描写する１つ以上のシングルレイヤデバイス画像を含む。

ブロック４０８において、レイヤ化画像エンコーダ１８０は、シネマ画像レイヤにおける１つ以上のシングルレイヤシネマ画像と、１つ以上のデバイス画像レイヤにおける１つ以上のシングルレイヤデバイス画像とを含む多レイヤ多視点ビデオ信号を、描画を行う１つ以上の下流側デバイスに送信する。

一実施形態では、空間情報は、深度情報、ディスパリティ情報、視差情報、３Ｄメッシュ情報、エピポーラ情報、テンソルマップ情報等のうちの１つ以上を表す。

一実施形態では、３Ｄ画像空間は、１つ以上の実世界シーン、１つ以上の仮想世界シーン、１つ以上の実世界シーンおよび１つ以上の仮想世界シーンの組み合わせ等のうちの１つを表す。

一実施形態では、１つ以上の多視点非レイヤ化画像に表される３Ｄ画像空間における複数の視覚物体は、１つ以上のレイヤ分離面を用いて、シネマ画像レイヤと１つ以上のデバイス画像レイヤとに分離される。一実施形態では、１つ以上のレイヤ分離面のうちの少なくとも１つは、シネマ画像レイヤにおけるシングルレイヤシネマ画像から生成されたシネマディスプレイ画像を描画するために用いられるシネマディスプレイと一致する。一実施形態では、１つ以上のレイヤ分離面のいずれも、シネマ画像レイヤにおけるシングルレイヤシネマ画像から生成されたシネマディスプレイ画像を描画するために用いられるシネマディスプレイと一致しない。

一実施形態では、シネマ画像レイヤにおけるシングルレイヤシネマ画像および１つ以上のデバイス画像レイヤにおけるシングルレイヤデバイス画像のうちの少なくとも１つは、テンソルマップを用いて生成された３Ｄピクセル分布を用いて生成される。

一実施形態では、１つ以上の多視点非レイヤ化画像に表される３Ｄ画像空間内の複数の視覚物体は、３Ｄ基準空間内のディスプレイの空間ロケーション；３Ｄ基準空間内の基準空間ロケーションにおける鑑賞者の空間ロケーション；ディスプレイもしくは鑑賞者の空間ロケーションに対する３Ｄ基準空間に投影される視覚物体の空間位置；鑑賞者（１１２－０）に対する３Ｄ基準空間内の視覚物体の空間方向；視覚物体の相対的な芸術的重要性；視覚物体の視覚的性質；視覚物体の運動特性；視覚物体の過去、現在もしくは未来の空間ロケーション；視覚物体の過去、現在または未来の空間方向等、のうちの１つ以上に基づいてシネマ画像レイヤと１つ以上のデバイス画像レイヤとに分離される。

図４Ｂは、本発明の一例示の実施形態による一例示のプロセスフローを示している。幾つかの例示の実施形態では、１つ以上のコンピューティングデバイスまたは構成要素が、このプロセスフローを実行することができる。ブロック４５２において、拡張型エンターテインメントシステム（例えば、図２Ａ、図２Ｂまたは図２Ｃに示すもの等）は、シネマ画像レイヤにおける１つ以上のシングルレイヤシネマ画像と、１つ以上のデバイス画像レイヤにおける１つ以上のシングルレイヤデバイス画像とを含む多レイヤ多視点ビデオ信号を受信する。これらのシネマ画像レイヤにおけるシングルレイヤシネマ画像と、１つ以上のデバイス画像レイヤにおけるシングルレイヤデバイス画像とは、１つ以上の多視点非レイヤ化画像から事前に得られたものである。

ブロック４５４において、拡張型エンターテインメントシステムは、多レイヤ多視点ビデオ信号のシネマ画像レイヤから、１つ以上のシングルレイヤシネマ画像を取り出す。これらの１つ以上のシングルレイヤシネマ画像は、１つ以上の多視点非レイヤ化画像によって当初描写されていた複数の視覚物体における１つ以上の視覚物体の第１の真部分集合を描写する。

ブロック４５６において、拡張型エンターテインメントシステムは、多レイヤ多視点ビデオ信号の１つ以上のデバイス画像レイヤから、１つ以上のシングルレイヤデバイス画像を取り出し、当該１つ以上のデバイス画像は、１つ以上の多視点非レイヤ化画像によって当初描写されていた複数の視覚物体における１つ以上の視覚物体の１つ以上の第２の真部分集合を描写する。

ブロック４５８において、拡張型エンターテインメントシステムは、１つ以上のシングルレイヤシネマ画像に描写される視覚物体の第１の真部分集合を３Ｄ空間内のシネマディスプレイ上に鑑賞者に対して描画する。

ブロック４６０において、拡張型エンターテインメントシステムは、１つ以上のシングルレイヤデバイス画像に描写される視覚物体の１つ以上の第２の真部分集合を３Ｄ空間内のデバイスディスプレイ上に鑑賞者に対して同時に描画する。

一実施形態では、シネマディスプレイ上に描画される視覚物体の第１の真部分集合と、デバイスディスプレイ上に描画される視覚物体の１つ以上の第２の真部分集合とは、１つ以上の多視点非レイヤ化画像によって当初描写されていた３Ｄ画像空間内の同じ空間ロケーションに位置する複数の視覚物体をひとまとめにして描写する。一実施形態では、複数の視覚物体が位置する３Ｄ画像空間内の空間ロケーションを記述した空間情報が事前に用いられて、１つ以上の多視点非レイヤ化画像によって当初描写されていた複数の視覚物体が、シネマ画像レイヤと１つ以上のデバイス画像レイヤとに分割されている。

一実施形態では、デバイスディスプレイは、シネマディスプレイに対して１以上の自由度で空間的に移動可能である。

一実施形態では、デバイスディスプレイは、ウェアラブルデバイスによって用いられて画像を描画し、デバイスディスプレイは、ウェアラブルデバイスに対して空間的に固定されている。

一実施形態では、シネマディスプレイは静止ディスプレイであり、デバイスディスプレイは、鑑賞者によって用いられるウェアラブルデバイスのヘッドマウントディスプレイを表す。

一実施形態では、３Ｄ空間内のシネマディスプレイは、３Ｄ画像空間内のレイヤ分離面を画定するために用いられ、複数の視覚物体は、レイヤ分離面に対する複数の視覚物体の空間関係に少なくとも部分的に基づいて、視覚物体の第１の真部分集合と視覚物体の１つ以上の第２の真部分集合とに分割される。

一実施形態では、視覚物体の１つ以上の第２の真部分集合は、レイヤ分離面までの空間距離に基づいて複数の視覚物体の中から選択される。

一実施形態では、複数の視覚物体の中の少なくとも１つの視覚物体は、レイヤ分離面にまたがり、視覚物体の第１の真部分集合は、少なくとも１つの視覚物体の一部分を含み、視覚物体の１つ以上の第２の真部分集合は、当該少なくとも１つの視覚物体の残りの部分を含む。

一実施形態では、シネマディスプレイは、３Ｄ空間内のゼロの視差の空間表面を表し、シネマディスプレイの背後におけるシネマディスプレイ画像によって描写された視覚物体は正の視差を有し、シネマディスプレイの前面におけるシネマディスプレイ画像によって描写された視覚物体は負の視差を有し、複数の視覚物体は、複数の視覚物体における個々の視覚物体の個々の視差に基づいて、視覚物体の第１の真部分集合と、視覚物体の１つ以上の第２の真部分集合とに分割される。

一実施形態では、視覚物体の１つ以上の第２の真部分集合が、シネマディスプレイ上に描画されたシネマディスプレイ画像によって描画される場合に、視覚物体の１つ以上の第２の真部分集合における全ての視覚物体は負の視差を有する。

一実施形態では、視覚物体の１つ以上の第２の真部分集合が、シネマディスプレイ上に描画されたシネマディスプレイ画像によって描画される場合に、視覚物体の１つ以上の第２の真部分集合における少なくとも１つの視覚物体は正の視差を有する。

一実施形態では、拡張型エンターテインメントシステムは、１つ以上のシングルレイヤデバイス画像に描写された視覚物体の１つ以上の第２の真部分集合における視覚物体の２つの異なる真部分集合を、鑑賞者への２つの異なる距離の２つの異なる画像平面におけるデバイスディスプレイ上に描画することを実行するように更に構成されている。

一実施形態では、デバイスディスプレイは、鑑賞者の両眼転導角度に基づいて調節可能な距離の画像平面においてデバイスディスプレイ画像を描画する。

一実施形態では、デバイスディスプレイは、鑑賞者に対して固定された距離の画像平面においてデバイスディスプレイ画像を描画する。

一実施形態では、拡張型エンターテインメントシステムは、デバイスディスプレイを備えるウェアラブルデバイスの特定の空間位置または特定の空間方向のうちの１つ以上に基
づく空間変換を用いて、１つ以上のシングルレイヤデバイス画像をデバイスディスプレイ画像に適合させることを行うように更に構成されている。

一実施形態では、空間変換は、１つ以上の多視点非レイヤ化画像からシネマ画像レイヤおよび１つ以上のデバイス画像レイヤを生成するのに事前に用いられたテンソルモデルを再構築する。

一実施形態では、シネマディスプレイ上に描画されたシネマディスプレイ画像は、２次元画像または３Ｄ画像のうちの一方を表す。

一実施形態では、デバイスディスプレイを備えるウェアラブルデバイスは、シネマ画像コンテンツがシネマディスプレイ上に描画されているときに同時に描画されるデバイス画像コンテンツを受信するメディアシステムに自動的に登録される３Ｄ空間内の複数のウェアラブルデバイスの中の１つである。一実施形態では、ウェアラブルデバイスは、ウェアラブルデバイスの鑑賞者に発行された特定のチケットに基づく特定の座席位置、シネマ画像コンテンツもしくはシネマディスプレイの周囲の空間エリアに組み込まれた基準マーカー、デバイスＩＤ情報を用いて符号化された光線、無線周波数（ＲＦ）ロケーション検出、または３Ｄ空間内の視聴者エリアの特定のゾーン等のうちの１つ以上に基づいてメディアシステムに自動的に登録される。

一実施形態では、デバイスディスプレイを備えるウェアラブルデバイスは、３Ｄ空間内の視聴者エリアにおいて複数のゾーンに分割された３Ｄ空間内の複数のウェアラブルデバイスの中の１つであり、複数のゾーンにおける第１のゾーン内の第１のウェアラブルデバイスは、第１のデバイス画像コンテンツサーバ（例えば、第１のデバイス画像レンダラ等）からデバイス画像コンテンツを受信し、複数のゾーンにおける第２のゾーン内の第２のウェアラブルデバイスは、第２のデバイス画像コンテンツサーバ（例えば、第２のデバイス画像レンダラ等）からデバイス画像コンテンツを受信する。

一実施形態では、拡張型エンターテインメントシステムは、３Ｄ空間内の１つ以上の空間設置ロケーションに設置されたデバイスセンサーアセンブリを用いてウェアラブルデバイスを追跡することを行うように更に構成されている。一実施形態では、デバイスセンサーアセンブリのうちの少なくとも１つは、３Ｄ空間内の天井、壁、床、シネマディスプレイに近い空間エリア、シネマディスプレイから離れた空間エリア、座席空間、または座席の裏側のうちの１つにある。

様々な例示の実施形態では、装置、システム、装置、または１つ以上の他のコンピューティングデバイスが、説明した上記方法のうちの任意のものまたは一部を実行する。一実施形態では、非一時的なコンピュータ読み取り可能な記憶媒体が、１つ以上のプロセッサによって実行されると、本明細書において説明した方法の動作を生じさせるソフトウェア命令を記憶する。

個別の実施形態が本明細書において論述されているが、本明細書において論述した実施形態および／または部分的な実施形態を任意に組み合わせて、更なる実施形態を形成することができることに留意されたい。

７．実装メカニズム－ハードウェア概要
１つの実施形態によれば、本明細書において説明される技法は、１つ以上の専用コンピューティングデバイスによって実施される。専用コンピューティングデバイスは、上記技法を実行するように配線接続することができ、または、上記技法を実行するように永続的にプログラムされる、１つ以上の特定用途向け集積回路（ＡＳＩＣ）またはフィールドプ
ログラマブルゲートアレイ（ＦＰＧＡ）等のデジタル電子デバイスを含むことができ、または、ファームウェア、メモリ、他の記憶装置または組み合わせにおいてプログラム命令に従って上記技法を実行するようにプログラムされた、１つ以上の汎用ハードウェアプロセッサを含むことができる。こうした専用コンピューティングデバイスはまた、カスタムプログラミングによりカスタム配線論理、ＡＳＩＣまたはＦＰＧＡを結合して、上記技法を実現することもできる。専用コンピューティングデバイスは、上記技法を実施する配線および／またはプログラム論理を組み込んだ、デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルドデバイス、ネットワーキングデバイス、または他の任意のデバイスとすることができる。

例えば、図５は、本発明の一例示の実施形態を実施することができるコンピュータシステム５００を示すブロック図である。コンピュータシステム５００は、情報を通信するバス５０２または他の通信メカニズムと、バス５０２と結合された情報処理用のハードウェアプロセッサ５０４とを備える。ハードウェアプロセッサ５０４は、例えば、汎用マイクロプロセッサとすることができる。

コンピュータシステム５００は、情報と、プロセッサ５０４によって実行される命令とを記憶する、バス５０２に結合されたランダムアクセスメモリ（ＲＡＭ）または他の動的記憶デバイス等のメインメモリ５０６も備える。メインメモリ５０６は、プロセッサ５０４によって実行される命令の実行中に一時変数または他の中間情報を記憶するために用いることもできる。そのような命令は、プロセッサ５０４にアクセス可能な非一時的な記憶媒体に記憶されると、コンピュータシステム５００を、それらの命令において指定された動作を実行するようにカスタマイズされた専用マシンにする。

コンピュータシステム５００は、プロセッサ５０４の静的情報および命令を記憶する、バス５０２に結合されたリードオンリーメモリ（ＲＯＭ）５０８または他の静的記憶デバイスを更に備える。

情報および命令を記憶する磁気ディスクまたは光ディスク、固体ＲＡＭ等の記憶デバイス５１０が設けられ、バス５０２に結合されている。

コンピュータシステム５００は、情報をコンピュータユーザーに表示する液晶ディスプレイ等のディスプレイ５１２にバス５０２を介して結合することができる。英数字キーおよび他のキーを備える入力デバイス５１４は、情報およびコマンド選択をプロセッサ５０４に通信するバス５０２に結合される。別のタイプのユーザー入力デバイスは、方向情報およびコマンド選択をプロセッサ５０４に通信し、ディスプレイ５１２上でのカーソル移動を制御するマウス、トラックボール、またはカーソル方向キー等のカーソルコントロール５１６である。この入力デバイスは、通常、このデバイスが平面内の位置を指定することを可能にする第１の軸（例えばｘ）および第２の軸（例えばｙ）の２つの軸における２自由度を有する。

コンピュータシステム５００は、コンピュータシステムと組み合わさってコンピュータシステム５００を専用マシンとなるようにし、またはそのようにプログラムするカスタマイズされた配線論理、１つ以上のＡＳＩＣもしくはＦＰＧＡ、ファームウェアおよび／またはプログラム論理を用いて、本明細書において説明した技法を実施することができる。１つの実施形態によれば、本明細書における技法は、プロセッサ５０４が、メインメモリ５０６に含まれる１つ以上の命令の１つ以上のシーケンスを実行することに応答して、コンピュータシステム５００によって実行される。そのような命令は、記憶デバイス５１０等の別の記憶媒体からメインメモリ５０６内に読み込むことができる。メインメモリ５０６に含まれる命令のシーケンスの実行によって、プロセッサ５０４は、本明細書において
説明したプロセスステップを実行する。代替の実施形態では、ソフトウェア命令に代えてまたはソフトウェア命令と組み合わせて配線回路部を用いることができる。

本明細書において、「記憶媒体」という用語は、マシンを特定の方法で動作させるデータおよび／または命令を記憶する任意の非一時的な媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含むことができる。不揮発性媒体は、例えば、記憶デバイス５１０等の光ディスクまたは磁気ディスクを含む。揮発性媒体は、メインメモリ５０６等のダイナミックメモリを含む。一般的な形態の記憶媒体は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、固体ドライブ、磁気テープ、または他の任意の磁気データ記憶媒体、ＣＤ－ＲＯＭ、他の任意の光データ記憶媒体、ホールパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、ＮＶＲＡＭ、他の任意のメモリチップまたはカートリッジを含む。

記憶媒体は、伝送媒体と異なるが、伝送媒体とともに用いることができる。伝送媒体は、記憶媒体の間の情報の転送に関与する。例えば、伝送媒体は、バス５０２を構成する有線を含む同軸ケーブル、銅線および光ファイバーを含む。伝送媒体は、電波および赤外線のデータ通信中に生成されるような音波または光波の形態も取ることができる。

様々な形態の媒体が、１つ以上の命令の１つ以上のシーケンスを実行のためにプロセッサ５０４に搬送することに関与することができる。例えば、これらの命令は、最初に、リモートコンピュータの磁気ディスクまたは固体ドライブ上に保持しておくことができる。リモートコンピュータは、命令をそのダイナミックメモリ内にロードすることができ、モデムを用いて命令を、電話線を介して送信することができる。コンピュータシステム５００にローカルなモデムは、電話線上でデータを受信することができ、赤外線送信機を用いて、データを赤外線信号に変換することができる。赤外線検出器は、赤外線信号で搬送されたデータを受信することができ、適切な回路部は、そのデータをバス５０２上に置くことができる。バス５０２は、データをメインメモリ５０６に搬送し、このメインメモリから、プロセッサ５０４は命令を取り出して実行する。メインメモリ５０６によって受信された命令は、任意選択で、プロセッサ５０４による実行前または実行後に記憶デバイス５１０に記憶することができる。

コンピュータシステム５００は、バス５０２に結合された通信インターフェース５１８も備える。通信インターフェース５１８は、ローカルネットワーク５２２に接続されたネットワークリンク５２０に結合する２方向データ通信を提供する。例えば、通信インターフェース５１８は、サービス統合デジタル網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、または対応するタイプの電話線へのデータ通信接続を提供するモデムとすることができる。別の例として、通信インターフェース５１８は、互換性ＬＡＮにデータ通信接続を提供するローカルエリアネットワーク（ＬＡＮ）カードとすることができる。無線リンクも実施することができる。そのような実施態様ではいずれも、通信インターフェース５１８は、様々なタイプの情報を表すデジタルデータストリームを搬送する電気信号、電磁信号または光信号を送受信する。

ネットワークリンク５２０は、通常、他のデータデバイスへの１つ以上のネットワークを通じたデータ通信を提供する。例えば、ネットワークリンク５２０は、ホストコンピュータ５２４またはインターネットサービスプロバイダー（ＩＳＰ）５２６によって稼働されるデータ機器へのローカルネットワーク５２２を通じた接続を提供することができる。さらに、ＩＳＰ５２６は、今日「インターネット」５２８と一般に呼ばれている世界規模のパケットデータ通信ネットワークを通じてデータ通信サービスを提供する。ローカルネットワーク５２２およびインターネット５２８は、ともに、デジタルデータストリームを搬送する電気信号、電磁信号または光信号を用いる。コンピュータシステム５００へのデ
ジタルデータおよびコンピュータシステム５００からのデジタルデータを搬送する様々なネットワークを通る信号並びにネットワークリンク５２０上の信号および通信インターフェース５１８を通る信号は、伝送媒体の例示の形態である。

コンピュータシステム５００は、ネットワーク（単数または複数）、ネットワークリンク５２０および通信インターフェース５１８を通じて、メッセージを送信し、プログラムコードを含むデータを受信することができる。インターネットの例では、サーバ５３０は、インターネット５２８、ＩＳＰ５２６、ローカルネットワーク５２２および通信インターフェース５１８を通じて、アプリケーションプログラムの要求されたコードを送信することができる。

受信されたコードは、受信された際にプロセッサ５０４によって実行することができ、および／または、後の実行のために記憶デバイス５１０もしくは他の不揮発性記憶装置に記憶することができる。

８．均等物、拡張物、代替物、およびその他
この明細書において、態様毎に異なり得る多数の詳細事項に言及しながら本発明の実施形態を説明した。従って、本発明が何たるか、また、本出願人が本発明であると意図するものを示す唯一且つ排他的な指標は、本願が特許になった際の請求の範囲（今後のあらゆる補正を含む、特許された特定の請求項）である。当該請求項に含まれる用語について本明細書中に明示したあらゆる定義が、請求項において使用される当該用語の意味を決定する。よって、請求項において明示されていない限定事項、要素、性質、特徴、利点または属性は、その請求項の範囲をいかなる意味においても限定すべきではない。従って、本明細書および図面は、限定的ではなく、例示的であるとみなされるべきである。

Claims (21)

1. シネマ画像レイヤにおける１つ以上のシングルレイヤシネマ画像と、１つ以上のデバイス画像レイヤにおける１つ以上のシングルレイヤデバイス画像とを含む多レイヤ多視点ビデオ信号を受信することであって、該シネマ画像レイヤにおける該シングルレイヤシネマ画像と、該１つ以上のデバイス画像レイヤにおける該シングルレイヤデバイス画像とは、１つ以上の多視点非レイヤ化画像から事前に得られていることと、
   前記多レイヤ多視点ビデオ信号の前記シネマ画像レイヤから、前記１つ以上のシングルレイヤシネマ画像を取り出すことであって、該１つ以上のシングルレイヤシネマ画像は、前記１つ以上の多視点非レイヤ化画像によって描写されていた複数の視覚物体における第１視覚物体を描写することと、
   前記多レイヤ多視点ビデオ信号の前記１つ以上のデバイス画像レイヤから、前記１つ以上のシングルレイヤデバイス画像を取り出すことであって、該１つ以上のデバイス画像は、前記１つ以上の多視点非レイヤ化画像によって描写されていた前記複数の視覚物体における１つ以上の第２視覚物体を描写することと、
   前記第１視覚物体および前記第２視覚物体が位置する３Ｄ画像空間における空間ロケーションを記述する空間情報を受け取ることと、
   前記１つ以上のシングルレイヤシネマ画像に描写される前記第１視覚物体を３Ｄ空間内のシネマディスプレイ上に鑑賞者に対して描画することと、
   前記１つ以上のシングルレイヤデバイス画像に描写される前記１つ以上の第２視覚物体を前記３Ｄ空間内のデバイスディスプレイ上に前記鑑賞者に対して同時に描画することと、
   を含む方法。
2. 前記デバイスディスプレイは、前記シネマディスプレイに対して１以上の自由度で空間的に移動可能である、請求項１に記載の方法。
3. 前記デバイスディスプレイは、ウェアラブルデバイスによって用いられて画像を描画し、前記デバイスディスプレイは、前記ウェアラブルデバイスに対して空間的に固定されている、請求項１に記載の方法。
4. 前記シネマディスプレイは静止ディスプレイであり、前記デバイスディスプレイは、前記鑑賞者によって用いられるウェアラブルデバイスのヘッドマウントディスプレイを表す、請求項１に記載の方法。
5. 前記３Ｄ空間内の前記シネマディスプレイは、前記３Ｄ画像空間内のレイヤ分離面を画定するために用いられ、前記複数の視覚物体は、前記レイヤ分離面に対する前記複数の視覚物体の空間関係に少なくとも部分的に基づいて、前記第１視覚物体と前記１つ以上の第２視覚物体とに分割される、請求項１に記載の方法。
6. 前記１つ以上の第２視覚物体は、前記レイヤ分離面までの空間距離に基づいて前記複数の視覚物体の中から選択される、請求項５に記載の方法。
7. 前記複数の視覚物体の中の少なくとも１つの視覚物体は、前記レイヤ分離面にまたがり、前記第１視覚物体は、前記少なくとも１つの視覚物体の一部分を含み、前記１つ以上の第２視覚物体は、前記少なくとも１つの視覚物体の残りの部分を含む、請求項５に記載の方法。
8. 前記シネマディスプレイは、前記３Ｄ空間内のゼロの視差の空間表面を表し、前記シネマディスプレイの背後におけるシネマディスプレイ画像によって描写された視覚物体は正の視差を有し、前記シネマディスプレイの前面における前記シネマディスプレイ画像によって描写された視覚物体は負の視差を有し、前記複数の視覚物体は、該複数の視覚物体における個々の視覚物体の個々の視差に基づいて、前記第１視覚物体と、前記１つ以上の第２視覚物体とに分割される、請求項１に記載の方法。
9. 前記１つ以上の第２視覚物体が、前記シネマディスプレイ上に描画されたシネマディスプレイ画像によって描画される場合に、前記１つ以上の第２視覚物体における全ての視覚物体は負の視差を有する、請求項８に記載の方法。
10. 前記１つ以上の第２視覚物体が、前記シネマディスプレイ上に描画されたシネマディスプレイ画像によって描画される場合に、前記１つ以上の第２視覚物体における少なくとも１つの視覚物体は正の視差を有する、請求項８に記載の方法。
11. 前記１つ以上のシングルレイヤデバイス画像に描写される前記１つ以上の第２視覚物体における視覚物体の２つの異なる部分集合を、前記鑑賞者に対して、２つの異なる距離の２つの異なる画像平面において前記デバイスディスプレイ上に描画することを更に含む、請求項１に記載の方法。
12. 前記デバイスディスプレイは、前記鑑賞者の両眼転導角度に基づいて調節可能な距離の画像平面においてデバイスディスプレイ画像を描画する、請求項１に記載の方法。
13. 前記デバイスディスプレイは、前記鑑賞者に対して固定された距離の画像平面においてデバイスディスプレイ画像を描画する、請求項１に記載の方法。
14. 前記デバイスディスプレイを備えるウェアラブルデバイスの特定の空間位置または特定の空間方向のうちの１つ以上に基づく空間変換を用いて、前記１つ以上のシングルレイヤデバイス画像をデバイスディスプレイ画像に適合させることを更に含む、請求項１に記載の方法。
15. 前記空間変換は、前記１つ以上の多視点非レイヤ化画像から前記シネマ画像レイヤおよび前記１つ以上のデバイス画像レイヤを生成するのに事前に用いられたテンソルモデルを再構築する、請求項１４に記載の方法。
16. 前記シネマディスプレイ上に描画されたシネマディスプレイ画像は、２次元画像または３Ｄ画像のうちの一方を表す、請求項１に記載の方法。
17. 前記デバイスディスプレイを備えるウェアラブルデバイスは、シネマ画像コンテンツが前記シネマディスプレイ上に描画されているときに同時に描画されるデバイス画像コンテンツを受信するメディアシステムに自動的に登録される前記３Ｄ空間内の複数のウェアラブルデバイスの中の１つである、請求項１に記載の方法。
18. 前記ウェアラブルデバイスは、該ウェアラブルデバイスの鑑賞者に発行された特定のチケットに基づく特定の座席位置、シネマ画像コンテンツもしくは前記シネマディスプレイの周囲の空間エリアに組み込まれた基準マーカー、デバイスＩＤ情報を用いて符号化された光線、無線周波数（ＲＦ）ロケーション検出、または前記３Ｄ空間内の視聴者エリアの特定のゾーンのうちの１つ以上に基づいて前記メディアシステムに自動的に登録される、請求項１７に記載の方法。
19. 前記デバイスディスプレイを備えるウェアラブルデバイスは、前記３Ｄ空間内の視聴者エリアにおいて複数のゾーンに分割された前記３Ｄ空間内の複数のウェアラブルデバイスの中の１つであり、前記複数のゾーンにおける第１のゾーン内の第１のウェアラブルデバイスは、第１のデバイス画像コンテンツサーバからデバイス画像コンテンツを受信し、前記複数のゾーンにおける第２のゾーン内の第２のウェアラブルデバイスは、第２のデバイス画像コンテンツサーバからデバイス画像コンテンツを受信する、請求項１に記載の方法。
20. 前記３Ｄ空間内の１つ以上の空間設置ロケーションに設置されたデバイスセンサーアセンブリを用いて前記デバイスディスプレイを備えるウェアラブルデバイスを追跡することを更に含む、請求項１に記載の方法。
21. 前記デバイスセンサーアセンブリのうちの少なくとも１つは、前記３Ｄ空間内の天井、壁、床、前記シネマディスプレイに近い空間エリア、前記シネマディスプレイから離れた空間エリア、座席空間、または座席の裏側のうちの１つにある、請求項２０に記載の方法。

Images