JP2024504307A - ペッパーズ・ゴースト撮影および表示のためのシステムおよび方法 - Google Patents

Abstract

１つまたは複数の被写体の１つまたは複数のキャプチャ・ロケーションにおける１つまたは複数のビデオ画像の取得を含む、３Ｄ画像を撮影および表示するためのシステムおよび方法が提供され、画像は、保管および再生、または、ネットワークを介した、視ている観衆への送信のためにデータ・フィルムとして記録される。表示会場におけるビデオ画像が、ステージの背景の前方に見えるように配置構成されている半透明スクリーンへとまたは半透明スクリーンを通じて投影される。画像は、ライブ・パフォーマンスを行っているタレントとともに、または、そのタレントと同じステージ上に表示することができ、その投影は、見ている観衆によって仮想画像として知覚される。半透明スクリーンは、パフォーマンス中、視ている観衆またはカメラには見えない。オンライン観衆によって見られるビデオ画像は、被写体に非常に類似しているものとして知覚され、ステージ上でパフォーマンスを行っている仮想被写体の現実的な存在感を提供する。【選択図】図２

Description

関連出願の相互参照
本出願は、参照によりその全体が本明細書に組み込まれる、「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｐｅｐｐｅｒ’ｓ Ｇｈｏｓｔ Ｆｉｌｍｉｎｇ Ａｎｄ Ｄｉｓｐｌａｙ）」と題する、２０２１年１月１５日付で出願された米国特許仮出願第６３／１３８，０６０号の非仮出願であり、その利益を主張する。

本開示は、ペッパーズ・ゴースト画像または同様の３Ｄもしくはホログラム画像の撮影および表示に関する。

没入型テレプレゼンスは、リアル・タイム双方向低遅延テレプレゼンス・システムであり、画像のフィルムを受信し、その後、画像ソースによって投影されて、観衆に向けて方向付けられる部分反射画像を生成する半透明スクリーンに向かって画像を直接的に投影するように構成されている画像ソースを含み、部分反射画像は、観衆によって等身大または部分的に仮想的な人間の画像または別の３Ｄ浮遊画像として知覚され、仮想被写体の画像は、表示ステージまたは視聴媒体から遠隔ロケーションにあるスクリーンの前方の被写体を撮影することを含むプロセスを使用して取得される。この方法は、画像投影の３Ｄ効果を増強するための奥行き手掛かりを有するステージ・セットを作成することと、撮影被写体を取得するために使用される照明方向に近いものとして知覚されるように、被写体投影ディスプレイに向けて方向付けられる照明を制御することとを含むことができる。

ペッパーズ・ゴースト画像または他の３Ｄホログラムの従来の撮影および表示方法に伴う１つの問題は、投影画像の画像品質が不足し得、結果、撮影被写体の生きているような画像が生成されないことである。本出願人は、米国特許仮出願第６１／０８０，４１１号、米国特許第９，５６３，１１５号、国際出願第ＰＣＴ／ＧＢ２００９／０５０８５０号、および国際出願第ＰＣＴ／ＧＢ２００９／０５０８４９号に詳述されている発明によって、従来のペッパーズ・ゴースト・システムの欠点のいくつかに対処してきた。しかしながら、ペッパーズ・ゴースト画像の品質および明瞭性を増大させるための、これらの従来の出願において教示されている方法に対するさらなる改善が、本明細書において詳述されているように、本出願人によって発見された。加えて、ライブ通信伝送（たとえば、テレビ）に利用可能な限定された帯域幅で高品質ペッパーズ・ゴースト表示を効率的に送信することは困難であり得る。

したがって、ペッパーズ・ゴースト撮影および表示システムおよび方法に対する改善が必要とされている。

本発明の目的は、劇場、コンサート・ホールおよび会議場などの、より大きいオフィスおよび／または公衆環境において使用するための、より視覚的に現実感がある没入型テレプレゼンス（「ＴＰ」）体験を提供することである。改善は、１つまたは複数のキャプチャ・ロケーションにおける１つまたは複数のビデオ画像の取得に関し、画像は、保管および再生、または、ネットワークを介した、視ている観衆への送信のためにデータ・フィルムとして記録される。観衆は、本人が直接的に表示会場に位置するか、または、遠隔して位置している場合がある、表示会場において画像を取得し、ネットワークまたはケーブル接続を介して、観衆のロケーションにおいて動作される表示デバイスへと、主に対話的信号ではなく一方向であるものとして特徴付けられるビデオ・ストリームとしてパフォーマンスを送信するカメラを介して、被写体画像を見る。表示会場における１つまたは複数のビデオ画像が、ステージの照明背景の前方に見えるように配置構成されている半透明スクリーンへとまたは半透明スクリーンを通じて投影される。画像は、ライブ・パフォーマンスを行っているタレントとともに、または、そのタレントと同じステージ上に表示することができ、その投影は、見ている観衆によって、デジタル・ダブル、ペッパーズ・ゴーストまたは「ホログラム」表示としても知られる仮想画像として知覚される。半透明スクリーンは、パフォーマンス中、視ている観衆またはカメラには見えない。オンライン観衆によって見られるビデオ画像は、相当する現実の本物に非常に類似しているものとして知覚され、ステージ上でパフォーマンスを行っている仮想被写体の現実的な存在感を提供する。

本発明において開示されている技法はまた、拡張現実またはＡＲ被写体のビデオ画像を取得するのにも適しており、被写体の画像が、ビデオ・カメラ・モードの携帯電話によって取り込まれる画像領域内に見える人の画像、または、ライブまたは遠隔に位置する観衆の前でのステージ・プレゼンテーションまたはパフォーマンス中の１つまたは複数の大型中継投影（またはＩＭＡＧ）スクリーン上に見える人のクローズ・アップおよびヘッド・ショルダー・ショットなどの、ライブ・ステージ、仮想または現実の背景の撮影画像内のデジタル手段によって拡張される。本発明は、プレゼンターまたはステージ・アーティストなどの、ペッパーズ・ゴーストまたはＡＲ被写体の表示に適用される生成プロセスへの改善を提供し、表示は、ケーブル、無線または衛星ネットワークを介したオンライン観衆またはＴＶを見ている観衆への前方「ストリーミング」ブロードキャストのために１つまたは複数の補助カメラによって取得されるように最適化される。

図１．１は、ペッパーズ・ゴースト画像を送信するための従来技術のシステムの概略図である。図１．２は、図１．１の従来のコーデック・ボックスの概略図である。 図２．１は、ペッパーズ・ゴースト画像を表示するための本開示のシステムの一実施形態の概略図である。 図３．１は、ペッパーズ・ゴースト画像を表示するための本開示のシステム・セットアップの様々な実施形態の側面図である。 ペッパーズ・ゴースト画像を表示するための本開示のシステムの前方セットアップの側面図である。 ペッパーズ・ゴースト画像を表示するための本開示のシステムのミラーを有する前方セットアップの側面図である。 ペッパーズ・ゴースト画像を表示するための本開示のシステムの後方セットアップの側面図である。 ペッパーズ・ゴースト画像を表示するための本開示のシステムのミラーを有する後方セットアップの側面図である。 ペッパーズ・ゴースト画像を表示するための本開示のシステムの背面投影前方セットアップの側面図である。 ペッパーズ・ゴースト画像を表示するための本開示のシステムのミラーを有する背面投影前方セットアップの側面図である。 ペッパーズ・ゴースト画像を表示するための本開示のシステムの背面投影後方セットアップの側面図である。 ペッパーズ・ゴースト画像を表示するための本開示のシステムのミラーを有する背面投影後方セットアップの側面図である。 ペッパーズ・ゴースト画像を表示するための本開示のシステム・セットアップの様々な実施形態の斜視図である。 ペッパーズ・ゴースト画像を表示するための本開示のシステムの前方セットアップの斜視図である。 ペッパーズ・ゴースト画像を表示するための本開示のシステムのミラーを有する前方セットアップの斜視図である。 ペッパーズ・ゴースト画像を表示するための本開示のシステムの後方セットアップの斜視図である。 ペッパーズ・ゴースト画像を表示するための本開示のシステムのミラーを有する後方セットアップの斜視図である。 ペッパーズ・ゴースト画像を表示するための本開示のシステムの背面投影前方セットアップの斜視図である。 ペッパーズ・ゴースト画像を表示するための本開示のシステムのミラーを有する背面投影前方セットアップの斜視図である。 ペッパーズ・ゴースト画像を表示するための本開示のシステムの背面投影後方セットアップの斜視図である。 ペッパーズ・ゴースト画像を表示するための本開示のシステムのミラーを有する背面投影後方セットアップの斜視図である。 ビデオ壁がホイルの下方に位置付けられている、ペッパーズ・ゴースト画像を表示するためのシステムの別の実施形態の側面図である。 図４．２は、ペッパーズ・ゴースト表示のために被写体を撮影するためのシステムの一実施形態の側面図である。 図５．１は、放物面鏡を利用してペッパーズ・ゴースト画像を表示するための表示システムの一実施形態を示す図である。 図６．１は、表示ステージ上の知覚されるホログラムまでの観衆の目線の向きに類似している、撮影室内の被写体のカメラの目線の向きを示す、撮影および表示ステージの側方平面図である。 図７．１は、照明、カメラ、および音声について構成されているペッパーズ・ゴースト画像を表示するための公会堂の一実施形態の概略図である。図７．２は、照明、カメラ、および音声について構成されているペッパーズ・ゴースト画像を表示するためのより小さい会議室の一実施形態の概略図である。図７．３は、ステージ・ライザに対して一定の角度でフレーム内に予張されているホイルの側面図である。 図７（Ａ）は、本開示の撮影および表示システムの撮影室と表示ステージの、および、それらの間の電気的セットアップの一実施形態の概略図である。 本開示の撮影システムの撮影室の通信セットアップの一実施形態の概略図である。 本開示の表示システムの表示室の通信セットアップの一実施形態の概略図である。 本開示の撮影システムの撮影室の通信セットアップの別の実施形態の概略図である。 本開示の表示システムの表示室の通信セットアップの別の実施形態の概略図である。 本開示の発明の一実施形態による撮影スタジオ内の照明構成の側方斜視図である。 図８．１の照明構成の上面図である。 図８．１および図８．２の照明構成に使用される照明デバイスのリストの図である。 本開示の発明の一実施形態による撮影構成の上面図である。 本発明の一実施形態による照明構成のスタジオ・セットアップの断面図である。 図９に示すスタジオ・セットアップの概略平面図である。 図９および図１０のスタジオ・セットアップ内に配置構成されているものとしてのカメラによって取り込まれるショットの概略図である。 図９～図１１に示すスタジオ・セットアップの照明を自動的に調整するための照明制御システムの概略図である。 照明構成がＬＥＤランプを備える、本発明の別の実施形態による第１の照明構成のスタジオ・セットアップの斜視図である。 図１３のスタジオ・セットアップの平面図である。 照明構成がＬＥＤランプを備える、本発明の別の実施形態による第２の照明構成のスタジオ・セットアップの斜視図である。 被写体の顔および上半身を照射するように配置構成されている照明パネルからの光路が示されている、図１５のスタジオ・セットアップの斜視図である。 被写体のより暗い特徴部を照射するように配置構成されている照明パネルからの光路が示されている、図１５のスタジオ・セットアップの斜視図である。 被写体の下方部分を照射するように配置構成されている照明パネルからの光路が示されている、図１５のスタジオ・セットアップの斜視図である。 被写体の概して肩までを照射するように配置構成されている照明パネルからの光路が示されている、図１５のスタジオ・セットアップの斜視図である。 被写体の頭部／髪および上半身を照射するように配置構成されている照明パネルからの光路が示されている、図１５のスタジオ・セットアップの斜視図である。 頭部／髪を照射するように配置構成されている照明パネルからの光路が示されている、図１５のスタジオ・セットアップの斜視図である。 被写体の頭部に周縁を与えるように配置構成されている頭上照明パネルからの光路が示されている、図１５のスタジオ・セットアップの斜視図である。 図１５のスタジオ・セットアップの平面図である。 照明構成がＬＥＤランプを備える、本発明の別の実施形態による第３の照明構成のスタジオ・セットアップのスタジオの平面図である。 照明構成がＬＥＤランプを備える、本発明の別の実施形態による第４の照明構成のスタジオ・セットアップのスタジオの斜視図である。 図２５のスタジオ・セットアップの平面図である。 本発明の一実施形態による、照明フードを示す図である。 本発明の一実施形態による、照明バッフル／フードを有するＬＥＤアレイを示す図である。 本発明の別の実施形態による照明構成のスタジオ・セットアップの断面図である。 本発明の一実施形態による、照明マスクを有するＬＥＤアレイを有する床照明を示す図である。 本発明の一実施形態による、反射面を有するチャンバの内側のＬＥＤアレイを備える照明器具を示す図である。 複数のキャプチャ・カメラおよびフレーム・シンクロナイザを含む、ペッパーズ・ゴースト画像の撮影システム／撮影室の別の実施形態の概略図である。 対応する撮影カメラの向きをミラーリングする複数の表示スクリーンを含む、ペッパーズ・ゴースト画像の表示システム／表示構成の別の実施形態の概略図である。 ＧＯＢ ＬＥＤまたはフリップ・チップ・パネルを投影デバイスとして含む、ペッパーズ・ゴースト画像を表示するための本開示のシステムの前方セットアップの斜視図である。 ＧＯＢ ＬＥＤまたはフリップ・チップ・パネルを投影デバイスとして含む、ペッパーズ・ゴースト画像を表示するための本開示のシステムの後方セットアップの斜視図である。

本発明の目的は、劇場、コンサート・ホールおよび会議場などの、より大きいオフィスおよび／または公衆環境において使用するための、より視覚的に現実感がある没入型テレプレゼンス（「ＴＰ」）体験を提供することである。改善は、１つまたは複数のキャプチャ・ロケーションにおける１つまたは複数のビデオ画像の取得に関し、画像は、保管および再生、または、ネットワークを介した、視ている観衆への送信のためにデータ・フィルムとして記録される。観衆は、本人が直接的に表示会場に位置するか、または、遠隔して位置している場合がある、表示会場において画像を取得し、ネットワークまたはケーブル接続を介して、観衆のロケーションにおいて動作される表示デバイスへと、主に対話的信号ではなく一方向であるものとして特徴付けられるビデオ・ストリームとしてパフォーマンスを送信するカメラを介して、被写体画像を見る。表示会場における１つまたは複数のビデオ画像が、ステージの照明背景の前方に見えるように配置構成されている半透明スクリーンへとまたは半透明スクリーンを通じて投影される。画像は、ライブ・パフォーマンスを行っているタレントとともに、または、そのタレントと同じステージ上に表示することができ、その投影は、見ている観衆によって、デジタル・ダブル、ペッパーズ・ゴーストまたは「ホログラム」表示としても知られる仮想画像として知覚される。半透明スクリーンは、パフォーマンス中、視ている観衆またはカメラには見えない。オンライン観衆によって見られるビデオ画像は、相当する現実の本物に非常に類似しているものとして知覚され、ステージ上でパフォーマンスを行っている仮想被写体の現実的な存在感を提供する。

本開示において提供されている技法はまた、拡張現実またはＡＲ被写体のビデオ画像を取得するのにも適しており、被写体の画像が、ビデオ・カメラ・モードの携帯電話によって取り込まれる画像領域内に見える人の画像、または、ライブもしくは遠隔に位置する観衆の前でのステージ・プレゼンテーションもしくはパフォーマンス中の１つもしくは複数の大型中継投影（またはＩＭＡＧ）スクリーン上に見える被写体のクローズ・アップおよびヘッド・ショルダー・ショットなどの、ライブ・ステージまたは現実の背景の別のビデオ画像内のデジタル手段によって拡張される。本発明は、プレゼンターまたはステージ・アーティストなどの、ペッパーズ・ゴーストまたはＡＲ被写体の表示に適用される生成プロセスへの改善を提供し、被写体は、ケーブル、無線または衛星ネットワークを介したオンライン観衆またはＴＶを見ている観衆への前方「ストリーミング」ブロードキャストのために１つまたは複数の補助カメラによって取得されるように最適化されている表示に重ね合わされる。

米国特許仮出願第６１／０８０，４１１号、米国特許第９，５６３，１１５号、国際出願第ＰＣＴ／ＧＢ２００９／０５０８５０号、および国際出願第ＰＣＴ／ＧＢ２００９／０５０８４９号の内容全体が、参照により本明細書に組み込まれる。国際出願第ＰＣＴ／ＧＢ２００９／０５０８５０号の図面（図１～図８．４）および国際出願第ＰＣＴ／ＧＢ２００９／０５０８４９号の図面（図９～図３１）が、参照のために本出願に含まれている。これらの図面は、それらの全体が本明細書に組み込まれている、本出願人のそれぞれの従来の出願により詳細に論じられている。図１～図３１の特定の特徴および／または参照符号が、本明細書においてより詳細に論じられている場合があるが、図１～図３１のより詳細な論述については、上記で参照した本出願人の従来の国際出願を参照されたい。

ここで図４を参照すると、没入型テレプレゼンスは、リアル・タイム双方向低遅延テレプレゼンス・システムであり、画像のフィルムを受信し、その後、画像ソースによって投影されて、観衆に向けて方向付けられる部分反射画像を生成する半透明スクリーンに向かって画像を直接的に投影するように構成されている画像ソースを含み、部分反射画像は、観衆によって等身大もしくは部分的に仮想的な人間の画像もしくは別の３Ｄ浮遊画像として知覚され、仮想被写体の画像は、被写体の正面を照射するためのより多くの第１の照明のうちの１つと、被写体の後部および／もしくは側部を照射し、被写体の輪郭を鮮鋭化するように動作可能な１つもしくは複数の第２の照明と、任意選択で、画像が全身画像として表示されるべきである場合には、被写体の足を照射するための１つもしくは複数の第３の照明とを有する照明構成の下で、黒色、青色、もしくは緑色のバック・スクリーンの前方の被写体を撮影することを含むプロセスを使用して取得され、被写体を取得するために使用されるカメラは、静止もしくは「ロック・オフ」され、取得されている被写体は移動しており、ならびに／または、システムおよび方法は、画像投影の３Ｄ効果を増強するための奥行き手掛かりを有するステージ・セットを作成することを含む。これは、好ましくは、被写体投影ディスプレイの背後の背景を、ＬＥＤスポット・ライト、および／もしくはＬＥＤウォッシュ・ライト、および／もしくはＬＥＤバトン、および／もしくは型ごとの照明器具によってライトアップすることであって、照明は、半透明スクリーンの背後のステージ後方に位置し、ステージを照射し、および／もしくは、被写体の背後と側部とから被写体に向かって方向付けられ、被写体投影ディスプレイに向けて方向付けられる光が、非撮影被写体を取得するために使用される照明方向に近いものとして知覚されるように制御され、および／もしくは、被写体投影ディスプレイのロケーションにある人／物体の色温度は、ライブ観衆の裸眼で見たときに被写体投影ディスプレイの色温度に一致するかまたは一貫する色温度に照らされ、および／代替的に、被写体投影ディスプレイがモニタ上で見られるとき、色忠実度が、投影ディスプレイの画像を取得するカメラからの信号を介してさらに較正される、ライトアップすること、ならびに／または、撮影被写体の取得中に作用する照明環境の変化に応答して被写体投影ディスプレイを照射する照明を制御すること、ならびに／または、システムが、投影表示会場内に位置するＢａｒｃｏ Ｅｎｃｏｒｅ、およびＣｈｒｉｓｔｉｅ Ｓｐｙｄｅｒ Ｘ２０などのビデオ・プロセッサを組み込むことであって、プロセッサは、ヘッド・アップ・ディスプレイを提供するために１つのＡＶデバイスから別のＡＶデバイスへと複数の音響／ビデオ信号をルーティングするための切り替え可能なマトリックスを提供する、組み込むこと、ならびに／または、２つ以上の画像ソースのライブ表示を単一の表示になるように合成するためのアルファ・チャネル階層化を組み込むことによって、達成される。

方法はまた、いくつかの実施形態において、観衆を見ている１つもしくは複数のカメラとともに投影ステージを見ている１つもしくは複数のカメラ信号のピクチャ・イン・ピクチャ（ＰＩＰ）処理を提供すること、および／または、信号を画像サイジングすること、および／または、画像の向きを縦もしくは横モードに構成すること、および／または、ステージ上の撮影被写体の位置配置を制御すること、ならびに、任意選択で、コーデックまたは事前に記録されたメディア・プレーヤのいずれかを介してライブ信号からプロセッサの入力チャネルを介して撮影被写体表示の画像とともに３Ｄグラフィックスをルーティングまたは制御すること、および、ビデオ・プロセッサによって組み込まれているかまたは拡張されている信号マトリックスを介して、たとえば、図４．２に示すような、ヘッド・アップ・ディスプレイ（ＨＵＤ）の形態の、撮影取得スタジオ内の被写体によって、または、表示ステージ上のパフォーマーによって見るために配置されている１つまたは複数の参照スクリーンにルーティングするための手段を提供することを含んでもよく、あるいは、ビデオ・プロセッサが、ビデオ・ミキサを介して、複数のカメラ・ビューを、参照画像として撮影被写体に、または、ＴＶもしくはオンライン・ネットワークに前方ブロードキャストするための単一の１０８０ＨＤまたは４Ｋ ＵＨＤ画像にピクチャ・イン・ピクチャ合成することを提供し、好ましくは、大きい方のピクチャ内の小さい方のピクチャは、撮影被写体に向けて方向付けられた参照スクリーンの下側または中央部分に配置され、好ましくは、ペッパーズ・ゴースト表示ステージのカメラ・ビューを、大きい方のピクチャ内の小さい方のピクチャとして含む。

Ｂａｒｃｏ Ｅｎｃｏｒｅ、およびＣｈｒｉｓｔｉｅ Ｓｐｙｄｅｒ Ｘ２０は、シームレスに処理されている撮影被写体のピクチャ・イン・ピクチャ処理、サイジング、向きおよび位置付け、任意選択で、コーデックまたは事前に記録されたメディア・プレーヤを介したライブ信号からのプロセッサの入力チャネルを介した３Ｄグラフィックスの、ステージ上のペッパーズ・ゴースト被写体の表示ビデオへの追加を含め、音響／ビデオ信号の複数の入力および出力を切り替え可能マトリックスとして管理するのに適したビデオ・プロセッサの例である。大まかに類似したビデオ処理機能を提供するより最近のモデルは、Ｂａｒｃｏ Ｓ３およびＢａｒｃｏ Ｅ２を含む。

従来技術の範囲内のこれらのプロセッサの機能は、ＰＣＴ／ＧＢ２００９／０５０８５０明細書に文書化されている。プロセッサは、遠隔ロケーション間の対話の低遅延応答時間が重要である状況（Ｑ＆Ａセッションなど）、および／または、動画ビデオ品質が重要であるときにより高いビットもしくはデータ・レートがビデオ・ストリームに使用される状況において使用するのに効果的である。後者の要素において、そうでなければショーの対話的要素（観衆カメラ、位置参照カメラ）に割り当てられる帯域幅を、使用されていない間に一時的に切り替えることができ、代わりに、すべての利用可能なアップロードまたはダウンロード帯域幅が、最も現実感のある被写体動画体験の提供に集中される。これは、最も簡便には、関連付けられる機器とともに、切り替え可能スカラー（ＳｐｙｄｅｒまたはＥｎｃｏｒｅ）を使用して達成される。プレゼンテーションまたはパフォーマンス中の適切な瞬間にコントローラ・ボタン（プレゼンター、アーティストまたは他の指定のショー制御者によって管理される）が押下されると。制御ボタンは、画像取得ロケーションからのコーデック・ダウンロード／アップロード・データ供給を管理するネットワーク・ルータにリンクされている。

ホイルを通じて反射画像を表示するためにビデオ画像を鏡像反転するかまたは「ひっくり返す」ことが可能な、単純ではあるが効果的なビデオ・プロセッサは、３Ｇ／ＨＤ／ＳＤのためのＤｅｃｉｍａｔｏｒ Ｄｅｓｉｇｎ ＭＤ－ＨＸ ＨＤＭＩ（登録商標）／ＳＤＩ Ｃｒｏｓｓ Ｃｏｎｖｅｒｔｅｒである。プロジェクタは、この機能をそれらの設計と一体に有することが多いが、画像は、ホイル、およびまた、フィルム取得中に撮影被写体の前方に位置する表示リターン・フィードを通じて画像を反射させるために使用されるＬＥＤに対する送信の前に「ひっくり返す」必要がある。

仮想画像表示を最適化する方法は、被写体投影が表示されるロケーションにおけるまたはその付近の照射がフィルムの投影に起因しないことを保証することを含む。投影されている被写体輪郭を越えるフィルム領域は、ライブ・ステージ上で見られるときは、被写体画像が現実の背景に現実的に重ね合わされており、および／または、現実の背景と相互作用することが可能であるという錯覚を維持するように、見る者に対して透明、すなわち黒色であるべきである。たとえば、撮影画像が見えるステージに対する背景を照射する光は、光が、画像表示上にまたはその周りのロケーション付近に落ちるようにするステージ領域の反射面に向けて方向付けられる。この構成は、周囲環境に３Ｄリアリティを加え、仮想画像にリアリズムを加える。

特に、ペッパーズ・ゴースト画像は、観衆が画像をスクリーンの背後の背景内の「ゴースト」として知覚するように、プロジェクタ、および観衆の目線に対して４５度に配置された、半透明ホイルなどの半透明スクリーン上に画像を投影することによって作成される。しかしながら、半透明スクリーンは、投影画像の光の一定の割合のみを反射し、結果として、多くの場合、従来の照明構成を使用して撮影される画像は、背景よりも暗く見える。「半透明」という用語は、入射光の全部ではなく一部が通過することを可能にするという、その通常の意味をとるものとして理解されるべきである（すなわち、部分的に透明）。方法は、被写体のペッパーズ・ゴースト画像が現実世界の被写体と同じ高さに見えるように、フィルムを投影することを含んでもよい。

ヘッド・アップ・ディスプレイ
このヘッド・アップ・ディスプレイは、ホイルの後方にビデオ・スクリーンを取り付けることを含み、スクリーンは、任意選択で、機械的に可動である。ホイルは、後方ビデオ・スクリーンからの光の放出の平面に対して一定の角度に傾けられ、これは、前面または背面投影スクリーン、ＬＣＤ、ＬＥＤまたはＴＦＴスクリーンを使用したプロジェクタ、ビデオ・スクリーンから放出される光がそこから反射されるように配置構成された前面を有するホイル、および、仮想画像がスクリーンから反視される光から作成され、仮想画像がスクリーンの背後に位置するように見えるように観衆の後方にあるか、または、プレゼンターの前方にあるホイルに、画像を形成する光が衝突するように、画像を投影するように構成されているビデオ・スクリーンを含んでもよい。

スクリーンは、ホイル・スクリーンの骨組みを作るステージ・トラスに取り付けられ、実質的に水平に位置付けられてもよく、スクリーンは、ホイルに向かって下向きに角度付けされる（従来技術において記載されているホイルに固定されている１０３インチパネルと同様に）。ホイル・フレームは、図３．１および図３．２に示すペッパーズ・ゴーストとして知られる様々な構成において、背面投影スクリーンの前方に取り付けられ得る。前面投影／背面投影スクリーンが、プロジェクタ（好ましくは１０８０ＨＤ）からビデオ画像を反射するか、または、ホイルが直接的に、同じくホイル・フレームに取り付けることができるビデオまたはＬＥＤ壁から反射する。これは、図３．３に示されている。

ステージ上に位置するパフォーマーまたは対等の者は、観衆参加者の直上にまたはその間に浮遊しているペッパーズ・ゴースト画像としてビデオ画像を見るが、画像は、観衆には完全に見えない。後方背景の前方の反射画像のこの重ね合わせは、仮想画像がカメラの存在を隠している間であっても、ホイルを通じたカメラ撮影の前述した原理と同様である。

この特徴はまた、双方向リアル・タイム・ビデオ通信中の正確なアイ・コンタクトを必要とするタレントまでの見通し線案内の提供、および／または、ＴＰ会議室もしくはサイズが限られた領域の設計にも実用性がある。取得時と表示ステージ上の両方におけるライブ・タレントは、透明ホイル・スクリーンおよび仮想画像を通じて「ハード・コピー」基準を見ることが可能である。そのようなハード・コピー基準は、精密な視線方向ビューを正確に案内するように設計された照明または信号であり得る。

ＨＵＤモニタ／スクリーンの位置は、観衆参加者の位置に対する、ステージ上のライブ・パフォーマーまたは仮想被写体の間の位置および視線角度に対して参照され得る。スクリーン上の画像は、ライブ観衆メンバーと同じ座席ブロック／座席に見えるペッパーズ・ゴースト画像として強調または拡大された、仮想観衆メンバーの錯覚を作成する、観衆参加者のクローズ・アップ・カメラ・ショットであり得る。ホイルを通じた観衆の表示は、通信パーティを「より近く」し、撮影被写体およびステージ上のライブ・パフォーマーが、以前には可能でなかった顔の詳細および観衆対話（アイ・コンタクトを含む）の強度を体験することを可能にする。

代替的に、ヘッド・アップ・ディスプレイは、少なくとも幅９ｍおよび高さ８ｍのホイルを通じて反射する幅９．６ｍ×高さ６．３ｍまで、サイズをより大きくするために使用されるＬＥＤパネルを含んでもよい。そのようなスケールは、数千の仮想観衆が、ステージ・パフォーマーの視点から見えることを可能にする。

この効果の没入的な影響は、ステージ上のタレント（ペッパーズ・ゴースト表示を含む）がステージ前方ロケーションから撮影される場合に、観衆参加者にとって大きく増強され、画像は、ステージの側方または概して観衆領域の側方もしくは上方のいずれかに位置するより大きい中継（ＩＭＡＧ）スクリーンにリアル・タイムに送信される。この構成は、ステージ・パフォーマーの大幅に増強された身体／顔の詳細がパフォーマンス中に観衆によって見られることを提供にする。代替的に、表示会場に位置するカメラは、同じくまたは代替的に、ネットワークを介して、テレビ画面を含む、遠隔に位置するディスプレイにリアル・タイムで送信してもよい。

ペッパーズ・ゴーストの部分透明画像は、ＡＲ画像を代わりに使用することによって軽減される。これは、観衆が第２の平坦なスクリーン上でＡＲ画像を見ることを必要とし、ＡＲ画像は、ＡＲ画像が占める空間が空になっている、ペッパーズ・ゴースト表示ステージのプレートショットに合成される。

いくつかの実施形態において、ペッパーズ・ゴーストおよび／またはＡＲ画像としての被写体の「ライブ」投影が存在し、これは、「テレプレゼンス」という新造語で呼ばれることが多い。「ライブ」という用語は、パフォーマンスの時点において送信されるというその従来の意味をとるものとして理解されるべきである。通信リンクは、２つのパフォーマンス・ロケーションの間に８０ミリ秒～８００ｍｍのいくらかの遅延を導入し得ることが、当業者には理解されよう。そのような遅延は、観衆にとっては無視できるかまたは知覚できないかのいずれかである。たとえば、通信リンク、または、ビデオ・ストリームとしての仮想画像のモバイルまたはネットワーク接続されたデバイスへのブロードキャストにおいて衛星中継が使用される場合、数秒の遅延が発生する可能性がある。

従来技術の発明の一実施形態によれば、ペッパーズ・ゴースト画像を提供する方法であって、本発明の前述の態様および実施形態に従って被写体を撮影することと、フィルム画像がスクリーンに対する背景に重ね合わされた観衆に見えるように、好ましくは、被写体のペッパーズ・ゴースト画像が現実世界の被写体と同じ高さに見えるように、投影フィルムに対して好ましくは４５度の一定の角度に位置付けられている半透明スクリーンを通じてフィルムを投影すること、または、代替的に、フィルム画像がスクリーンに対する背景に重ね合わされた観衆に見えるように、投影フィルムおよび観衆の見通し線に対して一定の角度に位置付けられている半透明スクリーンを通じて被写体の画像を投影することとを含む、方法が提供される。

ペッパーズ・ゴースト・ディスプレイ
ディスプレイは、光の放出を直接的にまたはミラーもしくは鏡面レンズを介して、ホロガーゼ、ペッパー・スクリム、幌ネットなどとしても知られる紗幕、またはスクリムなどの半透明スクリーン、または、ポリマー・ホイル、鏡面ガラス、シート・ガラス、パースペックスなどのような、半透明スクリーンに対して３８～５２度の角度に構成されている前面もしくは背面投影スクリーンへと方向付けるプロジェクタを含んでもよく、スクリーンは、ポリマー・ホイルであり、ポリマー・ホイルは、任意選択でかつ好ましくは、９７％の透過性に対して目に見えるもやが３％未満であるか、または、好ましくは、１．８％未満の目に見えるもやを呈し、任意選択で洗いやすいスクリーンを提供するために、ホイル中に実質的に溶解された難燃性（ＦＲ）材料、および、様々なビデオ・ソースを使用して複数の異なる様式で構成されたフレーム内に予張されている静電気防止ホイルを含む。

本発明は、より多数の環境内で、環境にまたがって、および、環境の間で効果的に作動するための没入型ＴＰに対する改善を提供する。ここで図３４～図３５を参照すると、本発明の一態様に従って、ホイルまたはガラスのペッパーズ・ゴースト表示システム３４００は、平坦で、平滑な透明または半透明の表面を作成するために、パネルに取り付けられた発光ダイオード（ＬＥＤ）の上に設置されるように硬化された、透明樹脂トップ・コーティングを担持するＬＥＤパネル３４１０を備える。このプロセスに対する代替形態は、グルー・オン・ボード（ＧＯＢ）ＬＥＤとして知られている。

透明平滑面は、ダイオードによって放出される光を拡散させ、ＧＯＢ ＬＥＤによって照射されたときにホイル・ディスプレイ上に見える画像モアレの入射を最小限に抑える手段を提供する。モアレが無いことによって、仮想画像の強度が画像を歪ませる望ましくないモアレの入射によってもはや損なわれることが無くなるため、観衆およびブロードキャスト・カメラが、同等のＳＭＤ ＬＥＤディスプレイと比較して、はるかに近い距離から仮想画像を見ることが可能になる。モアレが無いことは、画像がクローズ・アップ・ショットにおいても見ている観衆に対するそのリアリズムおよび完全性を保持するため、１つまたは複数のブロードキャスト・カメラによって仮想画像表示を取得するときに、特に望ましい。

加えて、発光チップがパネル・シャーシ内で逆さまに取り付けられ、たとえば、ＬＥＤがステージ上の仮想画像の輪郭線の周りの黒色を含むフィルムを投影しているときに望ましくない白色光が放出されるのを大幅に低減するため、「フリップ・チップ」ＬＥＤパネル表示スクリーン３４１０は、動作モードにおいて、より暗いか、または、「より黒い」。この特徴は、投影スクリーンまたは従来のＳＭＤ ＬＥＤパネルの使用と比較して、拡張表示に使用するのに有利である。

投影スクリーンは、まさにそれらの性質によって、可能な限り多くの光を反射するように設計されている。したがって、投影環境が概して明るい場合（ガラス・アトリウムの下のショッピング・モール通路など）、スクリーン全体がホイル内の反射として見えるようになり得、画像が見る者にとって平坦に見え得る程度まで、一次画像のコントラストが減少する。より暗い環境においても、ステージ背景に対するＬＥＤ照明の使用は、ホイル・ペッパーズ・ゴースト表示内の望ましくない反射として拾われることがあり得る。

明るい環境において見られるとき、または、ＬＥＤパネルが、ビデオ信号が黒色を含む状態で動作しているとき、ＬＥＤパネルの相当の割合が灰色に見える。任意選択でかつ好ましくは、フリップ・チップＬＥＤは、従来のＳＭＤまたはチップ・オン・ボードＬＥＤパネル、および、最大４０，０００ルーメンの光出力またはそれ超にレーティングされるＬＥＤ／レーザ・プロジェクタと比較して、確実により大きい色コントラストおよびより明るい光出力を生成するために、冷陰極技術を組み込む。

フリップ・チップＬＥＤによって提供される追加の明るさは、半透明スクリーン、特に、３％未満のもやを呈するスクリーン、および、特に２％未満のもやを呈する超透明ホイル・スクリーンを通じた画像の反射から著しい光損失が存在するため、ペッパーズ・ゴースト表示の方法にとって有益である。

ペッパーズ・ゴースト表示のためにフリップ・チップＬＥＤスクリーンを動作させることによって、パフォーマンスにおいて良好に作用する、衣装および色の選択における、より大きい創造的自由がもたらされ、ライブＴＶスタジオ、オフィス、工場現場、レストラン、小売展示、音楽および展示ホールなどの公衆公会堂、ショッピング・モールまたはテーマ・パーク内の公共領域などの、より明るい環境においてＴＰ体験が効果的になることが可能になる。その上、本発明は、直接的にライブ会場内の観衆グループと、ならびに、遠隔に位置し、ネットワークを介してディスプレイにオンライン接続されている観衆と関与する、パフォーマンス・ステージ上の１つまたは複数の撮影被写体の対話的テレプレゼンスのための優れたシステムおよび方法を提供する。

本発明は、ＴＰプロセスにおいて使用される装置のセット全体に対する複数の増強を含む。増強は、選択的にまたは全体として使用されてもよく、したがって、パフォーマンス増強結果は、ケース・バイ・ケースで微細になる場合もあれば、多大になる場合もある。

特に周囲光の多い領域における、投影にまさるＬＥＤディスプレイの改善／利点に関しては、耐火性ホイルを記載している米国特許第９，５６３，１１５号、ならびに第１９欄および第２０欄を参照されたい。

撮影被写体の取得
本発明に対する従来技術は、被写体の画像を取得するための照明構成下の吸光性の黒色、青色、または緑色のバック・スクリーンの前方の被写体画像取込み領域内での１つまたは複数の被写体（典型的には一度に最大５つの被写体）の取得のための撮影および照明方法であって、照明構成は、被写体の正面を照射するための１つまたは複数の第１の照明と、被写体の後部および／または側部を照射し、被写体の輪郭または四肢を照射することによって鮮鋭化するように動作される１つまたは複数の第２の照明と、任意選択で、被写体の全身の画像を取得するときは被写体の足を照射するための１つまたは複数の第３の照明とを有し、第１の照明は、第１の照明によって放出される光の大部分、または、代替的に、第１の（または前方の）照明とバック・スクリーンとの間の距離よりも小さい減衰（照射）距離を有する光が被写体（またはカメラ）の後ろのバック・スクリーンによって反射されないように、被写体に向かって角度付けされる、方法を教示している。いずれかの方法の目的は、被写体を撮影するカメラのプレート・ショット・ビュー内でバック・スクリーンに入射する望ましくない光を最小限に抑えることである。いくつかの実施形態において、撮影被写体を照射する第１の照明および第２の照明は、好ましくは、被写体に向けて方向付けられる照射の６０％以上の比までのプロファイル・スポットライトを含む。

いくつかの実施形態において、第１の照明および第２の照明は、被写体が立方体ボリューム内を水平に移動するときに、被写体に対する照射の性質が実質的に同じままであり、任意選択でかつ好ましくは、照明が被写体にわたって影を落とし、形状および被写体にわたって移動する光の通過を強調するように、立方体ボリュームを照射するように配置構成される。いくつかの実施形態において、ＬＥＤランプは、ＬＥＤスポット・ライト・ビームを和らげ、および／または、縁部の柔らかい光を、被写体を照明する立方体領域内へと指向的に分散させるための、ＬＥＤアレイの真正面にある半不透明拡散パネルを備えることができる。いくつかの実施形態において、ＬＥＤフラッド・パネルまたはライトが、被写体を照射するための頭上照明を提供することができ、任意選択で、ＬＥＤパネル・ユニットは、平坦に、もしくは、撮影スタジオ壁および天井に実質的に平行に取り付けられるか、または、撮影スタジオ構造内へと同一平面上に固定されて構築される。

被写体を撮影するために使用される少なくとも１つのカメラは、静止しており、被写体は、移動している被写体であり、照明構成は、第２の（後部および／または側部の）照明を使用して被写体の輪郭を照射するように構成されており、第２の照明からの照射のレベルは、前方のまたは第１の照明から被写体に向けて方向付けられる照射のレベルと、少なくとも同じであるか、または、最も好ましくは、そのレベルよりも大きい。第１の照明に対して第２の照明によって作成される照射のコントラスト・レベルは、より丸みを帯びたまたは３Ｄの外観を画像に与え、被写体の衣服の陰影を持ち上げ、被写体が照明構成の下でカメラの前を移動するときに影が被写体にわたって動くようにする。

カメラ位置付けおよび観衆の目線
カメラの位置は、ＴＰシステム内でのその機能に従って変化する。カメラがパフォーマンス・ステージ上の仮想画像として表示される被写体のフィルムを取得するべきである場合、被写体に対するレンズ位置は、図２６に示すように、視ている観衆の目線ビューに広く対応すべきである。相対的な目線の高さを正確にすることが必須であり、そうでなければ、被写体は後方または前方に傾いて見えるようになり得る。

ステージ後方／ステージ前方への奥行きの見え方は錯覚である。この錯覚は、観衆の目線がステージ床のラインの直下にあり、被写体を撮影するカメラ・レンズが、被写体から少なくとも５ｍ離れて位置付けられ、被写体に対する観衆のビューの角度に対応して角度付けされるときに最も効果的に作用する。例として、ビューの角度は、仮想被写体がステージを歩き回るときに仮想被写体に属する靴底（またはそれらの反射）がかすかに見える様子を、見ている観衆が目撃することが可能であるときに、理想的になる。

カメラと被写体との間の距離は、レンズ焦点距離および被写体によって決定される。この場合、フレーム外に脱落することなくフレーム内で自由に腕を伸ばすことができる、立っている人を等身大で取り込むためには、４０ｍｍ（３５ｍｍフォーマット）レンズが使用される。この範囲内のレンズは、主観視点（「Ｐ．Ｏ．Ｖ．」）の「通常」範囲内に入る。ステージ・ライザは、画像キャプチャ・カメラの高さの約２０ｃｍ下にあり、カメラは、被写体のより中立なビューを得るために垂直方向において、上向き方向に調整可能であり、好ましくは、撮影被写体は、直接的なアイ・コンタクトを維持するために、カメラ・レンズを真っ直ぐ見ながらプレゼンテーションを実施している。

１フィート（０．３メートル）高さのステージ・ライザが、ペッパーズ・ゴースト被写体を撮影するために使用されていると仮定すると、レンズを地面から約２フィート（０．６メートル）離して配置することによって、見る者の視点が、反射テレプレゼンス画像がわずかに持ち上げられたステージ上で自然に見えるための通常の観賞範囲内に入ることが可能になる。カメラは、特定の用途または観賞状況についてより「中立」な視角を実現するために垂直方向に調整されることが可能であり得る。言い換えれば、ステージ上で仮想またはペッパーズ・ゴースト画像として投影される被写体を取得するカメラは、一般に、膝の高さと尻の高さとの間にある。

図２０において被写体が取得されていることを理解することが重要である。そのため、着色された被写体の目が「部屋中であなたを追う」とき、カメラ・レンズを真っ直ぐ見ている撮影被写体は、すべての観衆とアイ・コンタクトを行う。コントリビュータは、多くの場合、ライブ状況においてそうであるように、部屋を走査しないように指導される必要がある。

ＨＤカメラの一般的な規格は、すべて１．４８５ギガビット毎秒で１０ビット４２２色ストリームを処理するシングル・リンクＨＤ ＳＤＩであるＳｏｎｙモデルＨＤＷ Ｘ７５０、ＨＤＷ７９０、Ｆ９００Ｒ、および、２．２ギガビット毎秒で１２ビット４４４色ストリームを処理するシングル・リンクとデュアル・リンク両方のＨＤ ＳＤＩであるＦ２３である。

インターレースまたはプログレッシブ方式で５０／６０フレーム毎秒でＨＤ ＳＤＩ信号を使用して最も精細なピクチャ結果をもたらすモデルとして最近追加された同様のカメラは、Ｓｏｎｙ ＦＳ７、Ｓｏｎｙ Ｆ５５およびＳｏｎｙ Ｆ６５を含む。プログレッシブ・カメラは、４Ｋ、６Ｋおよび８Ｋの解像度に対応したＲｅｄ Ｃａｍｅｒａ Ｈｅｌｉｕｍを含む。

ＳｏｎｙＦ５５は、その４つの３Ｇ－ＳＤＩ出力コネクタの各々を介して４×１０８０ＨＤ ５０ｉ／６０ｉフィルムを出力するのに適している。各々が４つのＳＤＩ入力および出力を備えた４Ｋエンコーダおよび４ＫデコーダへのクアッドＳＤＩ信号を使用することが、ペッパーズ・ゴーストまたはＡＲビデオ画像の見た目が４Ｋ垂直ピクセル高さに近づくように、最大４つのＨＤ１０８０画像を取り込む手段としての本発明の新たな態様である。

ダンス・パフォーマンスおよび他の突発的な動きのシナリオの画像を首尾よく取得するためには、５０～１２０フレーム毎秒のＨＤ－ＳＤＩ信号が最も理想的である。リアル・タイム符号化（圧縮）を必要とするデータ・レートは、５０または６０フレーム毎秒よりも高くなるが、被写体取得ロケーションに位置付けられるコーデックへの最終的な圧縮は２０メガ／ビット毎秒になる。したがって、高速フレーム・レートが、ピクチャ最適化符号化エンコードを使用するコーデックを介して送信される。

下記により詳細に参照される、ＡＲホログラムを取得するように動作される撮影スタジオ内の追加のカメラが、被写体に対して垂直、および／もしくは被写体の頭上、下方、背後、ならびに／または後方を含む、撮影被写体に対する様々な角度においてスタジオ中に位置付けられる。ＡＲホログラム画像は、全身ショットまたはクローズ・アップ・ショットであってもよい。ＡＲカメラは、ジブもしくはトラック上に可動に取り付けられてもよく、または、カメラ操作者によって手持ちされてもよい。運動制御は、好ましくはネットワーク・デジタル・インターフェースなどの機敏なネットワーク制御プロトコルを使用して、ＬＡＮを介して、または、遠隔的にＷＡＮを介して動作されてもよい。

視ている観衆が拡張現実（「ＡＲ」）ホロ画像として撮影している補助スクリーン上で画像を見ている場合、カメラ高さは、腰の高さに、頭部の高さに、またはより高く持ち上げられる。ＡＲホログラムは、仮想画像と同じステージ上に表示するのに適しており、ペッパーズ・ゴースト表示の投影と同様に「ステージ・セットに落とされている」被写体の形態をとるが、不透明度はその照明背景に対して最大１００％である。これは、ＡＲ画像が第２のカメラを通じて見られることによってのみ達成され得る。これは、ＴＶまたはオンライン観衆にストリーミングするためのペッパーズ・ゴースト表示を取り込むために使用されるものと同じカメラであってもよい。ＡＲ画像はまた、スマート・フォンおよびタブレットなどの他のモバイル・デバイス内のアプリを介して見ることもでき、ＡＲは、カメラ・モードがモバイル・デバイス上で起動されたときに、電話機によって取得される背景に対して表示される。典型的には、ＡＲホログラムは、照明された緑色スクリーンの前方に取得される。任意選択で、ＡＲホログラムは、青色または黒色スクリーンの前方に取得されてもよい。

カメラは、好都合な取り付け位置に固定されたときに、カメラの電動式機械運動を提供する、「マジック・アーム」に取り付けられた遠隔可動ヘッドを備える。カメラの機能および調整がＬＡＮを介して遠隔制御され、環境プリセット（プログラムされた主題／照明入力に応答するシャッター速度など）にプログラム可能であることが望ましい。これは、同じカメラがペッパーズ・ゴーストとＡＲ画像とを同時に取り込むことを可能にする。

２４、２５または３０フレーム毎秒のより遅いフィルム・フレーム・レートが、たとえば、被写体が着席しているかまたは書見台からプレゼンテーションしているときなど、さほど動く必要がない被写体の取得に対しては許容可能である。観衆メンバーの画像取得に対しても、より遅いフィルム・フレーム・レートが許容可能である。

リターン・フィードまたは観衆信号通信もまた、高速ブロードキャスト・コーデック「よりも遅い」ものであり得る。たとえば、観衆の被写体ビューが、直接の双方向通信ではなく主に監視能力の１つである場合、観衆リターン・フィードは必ずしも高速ブロードキャスト・コーデックを必要とせず、下記にさらに説明する、より一般的に使用されているソフトウェア・ストリーミング・プロトコルまたはより低コストの寄与コーデックを介して送達されてもよい。

要約すると、２７０度に設定された調整可能なシャッター角度、インターレース方式で２５～１２０フレーム毎秒（ｆｐｓ）の間で調整可能なフレーム・レートを有し、プログレッシブ方式で最大６０ｆｐｓで撮影することが可能な、感光性高品質固定焦点レンズまたは広角ズーム・レンズを利用したカメラは、ペッパーズ・ゴーストまたは拡張現実ホログラムのいずれかとして表示される、静止テキストおよびグラフィックスから運動している仮想物体のストリーミング画像までの、ほとんどの種類のビデオ画像に対する主要な範囲の性能要件に対処する。

ピクセルを最大化するためのカメラ位置付けおよび向き

１つまたは複数のカメラは、カメラによって取り込まれる人の画像がカメラによって取り込まれる画像の高さ全体にわたって延在するように、人に対して配置され得る。これは有利には、人のピクセル・カウントを最大化し、画像内の人の解像度を最適化する。

余分な画像堅実性および鮮鋭性のために、撮影会場におけるカメラ・プレート・ショットと表示会場における投射の両方が、たとえば、３ｍ幅×１．７ｍ高さのより小さいサイズに制限され得、したがって、より小さい凝縮された空間、および、たとえば１．６８ｍ高さの画像の形成に使用される１９２０×１０８０ピクセルのパネルへのプロジェクタの輝度が最大化される。この技法は、プレゼンテーションまたはパフォーマンスが、大型画像（ＩＭＡＧ）側部スクリーンに対するリアル・タイム・ビデオ中継またはＴＶ放送カメラのためにペッパーズ・ゴーストＴＰ仮想図の撮影を必要とするときに、特に有利である。より高密度のピクセル・カウントおよびより明るい画像の見た目は、より大きい側部スクリーンに拡大されたときに、より中実で、現実感がある。この技法はまた、帯域幅制約が、各ＡＶ信号について３～４メガビット毎秒と低いコーデック圧縮を使用してＨＤ画像が投影されることを強いる場合にも使用され得る。

ホイルを使用すると、輝度が１０，０００ルーメンで１９２０×１０８０ピクセルの典型的なＤＬＰ３チップまたはＬＥＤレーザ・プロジェクタは、見ている観衆の最短視距離が少なくとも５ｍ離れた距離であることを条件として、最大５ｍ幅の仮想人間または他の物体の現実感のある画像を投影することができる。見ている観衆が５ｍ未満にいるか、または、画像がＴＶもしくはオンライン・ビデオ・チャネルへの前方ブロードキャストのためにカメラによって撮影される必要があると仮定すると、プロジェクタの投射はより短くなり（または、より狭い投射レンズが使用される）、ピクセル・カウントがより緊密になり、対応して、画像が、３ｍの視距離に最適な３ｍ幅に対して理想的に縮小される。これは、１９２０個の垂直線によって分割された３，０００ｍｍの垂直ピクセル・ピッチ、すなわち、１．５６ｍｍ、および、１．６８ｍの高さに対する１．５６ｍｍの水平ピクセル・ピッチを表す。

カメラは、３５ｍｍ～９０ｍｍの固定焦点レンズを使用したカメラによって見られ、取り込まれる、カメラと、ステージに対する非反射性または実質的に吸光性の黒色、青色、または緑色スクリーン材質背景との間に位置するステージ・ライザ上に位置する被写体の画像を取り込むために使用され、これは、任意選択でかつ／または好ましくは、１０８０ピクセル幅×１９２０ピクセル高さのＨＤ、または２１３６ピクセル幅×３８４０ピクセル高さの４Ｋ、または４，３２０水平ピクセルおよび７，６８０ピクセル高さの８Ｋを取り込むために横モードではなく縦モードに構成され、縦モードにおける画像キャプチャ・レンズのフレーム・サイジングは、１．２ｍ～９．６ｍ幅もしくは１．２ｍ～９．６ｍ高さの範囲内に入り、ならびに／または、画像キャプチャ・カメラのピクセル密度およびレンズ選択は、被写体のｃｍ身長あたり５～４０ピクセルに相当し、任意選択でかつ／または好ましくは、１０８０ピクセル（幅）×１９２０ピクセル（高さ）のＨＤを取り込むために横モードではなく縦モードに構成されているカメラおよびレンズは、１．５ｍｍ～３ｍｍのピクセル・ピッチを使用し、または、２１３６ピクセル（幅）×３８４０ピクセル（高さ）の４Ｋは、０．９ｍｍ～２．６ｍｍのピクセル・ピッチを使用し、または、４，３２０ピクセル（幅）×７，６８０ピクセル（高さ）の８Ｋは、０．３ｍｍ～２．１ｍｍのピクセル・ピッチを使用する。

図３２～図３３に示すように、いくつかの実施形態において、ステージ上のシーンまたは複数の被写体の撮影は、縦または横のいずれかの向きに位置付けられている複数のカメラ３２１０を使用することを含むことができ、ペッパーズ・ゴースト表示は、角度付けされたホイルの上方または下方に設置された対応するＬＥＤ表示スクリーン３３１０上に各撮影カメラからのフィードを表示することを含むことができる。ＬＥＤディスプレイ３３１０の向きは、ＬＥＤディスプレイ３３１０に信号を供給しているカメラ３２１０の向きに一致することができる。たとえば、縦のカメラ３２１２の向きは、好ましくは、縦向きＬＥＤディスプレイ３３１２にビデオ信号を出力し、横向きのカメラ３２１４は、横向きＬＥＤディスプレイ３３１４にビデオ信号を供給することができる。

縦または横のいずれかの向きで複数のカメラを用いてステージまたは複数の被写体を撮影することは、遠隔ディスプレイへのビデオ信号の送信時間を最小化することを助けながら、撮影被写体表示のピクセル・カウントを最大化することを助けることができる。

ピクセル密度の同じ原理がＬＥＤパネル、および、ペッパーズ・ゴースト表示のためのピクセル・ピッチの最適な選択に適用され、これは、見ている観衆（またはステージを撮影しているカメラ・ショット）が仮想画像により近くなるとき、より精細または緊密になるべきである。

ＬＥＤディスプレイは、ステージ上の各被写体のピクセル・カウントを最大化するために表示位置においてホイルの上方または下方の対応する向きにセット・アップすることができる。カメラおよび対応するＬＥＤディスプレイの向きは、取り込まれる被写体の特定のグループ（異なる構成のバンドおよび立っているメンバー対座っているメンバー）に対応するように変化することができる。

たとえば、１つの実施形態において、３つの縦向き撮影カメラおよび１つの横向き撮影カメラ３２１０ならびに対応するＬＥＤディスプレイ３３１０を利用して、取り込まれる被写体のペッパーズ・ゴースト表示を撮影および表示することができる。この向きは、たとえば、立っているギタリスト、ベース奏者、および歌手、ならびに座っているドラマーまたはピアノ奏者を含むバンドなどの、３人の立っているメンバーおよび１人の座っているメンバーを含む４ピース・バンドを取り込むのに有用であり得る。縦向きカメラ３２１２が、ギタリスト、ベース奏者、および／または歌手の少なくとも１人を取り込むことができ、横向きカメラ３２１４が、座っているドラマーまたはキーボード奏者を取り込むことができる。

代替的に、被写体のグループが、メンバー全員が立っているバンドである場合、４つの縦向きカメラおよび４つの対応する縦向きＬＥＤディスプレイを利用することができる。

この複数カメラ実施形態の１つの利点は、複数のＨＤカメラを利用して、ブロードバンド・ネットワークにわたって複数のＨＤ信号を送ることができ、ＨＤ信号をコーデックによって処理して、４ｋ以上の解像度を有するペッパーズ・ゴースト表示を生成することができることである。しかしながら、個々のビデオ信号がＨＤ解像度であるため、それらは、単一の４ｋビデオ・コーデックと、任意選択で、ライブ・パフォーマンスの外部ビデオ・ソースまたはタイムコードによって正確に較正されたビデオ／音響を提供するために、符号化プロセスの前および／または復号プロセスの後に、タイミングの誤ったビデオ信号を同期させ、ビデオ／音響信号を埋め込む手段を含むフレーム・レート・シンクロナイザ（登録商標）を使用して、４つの別個の信号としてともに送信することができる。送信のためのＡＶ信号をコーデックに同期させるための低コストで単純な例は、ｈｔｔｐｓ：／／ｗｗｗ．ａｊａ．ｃｏｍ／ｐｒｏｄｕｃｔｓ／ｏｇ－ｆｓ－ｍｉｎｉである。

本発明の別の実施形態において、ＬＥＤは、縦向き様式で、または、取得されている被写体の形状と一致する任意の他の形状に構成されてもよい。被写体は見えない背景に対向して取得されるため、立っている仮想人間画像の最大ピクセル・カウントを表示するために１０８０ＨＤのＬＥＤスクリーンを提供する画像キャプチャ・カメラ・プレート・ショットは、自然に縦モードにおいて行われ、１０８０ピクセルよりも大きく、好ましくは少なくとも１８００ピクセル～最大１９２０ピクセルの垂直高さピクセル・カウントを提供し、および／または、
約１８０ｃｍ～２２０ｃｍの高さに及ぶ等身大仮想人間画像の投影が、ＨＤ１０８０において最適に表示され、ここで、被写体表示から５ｍの最も近い視距離は、ペッパーズ・ゴースト被写体表示のｃｍ単位の原寸大測定値あたり少なくとも５ピクセル・カウント、好ましくは７ピクセルのＬＥＤパネル・ディスプレイを使用することを含む。したがって、ＬＥＤのピクセル・ピッチは、１．５ｍｍ～３ｍｍの範囲内とすることができ、および／または、約１８０ｃｍ～２２０ｓｍの高さに及ぶ等身大人間画像がＨＤ１０８０において最適に表示され、ここで、最も近い視距離は、ヘッド・アンド・ショルダー中継またはＴＶ放送カメラ・ショットなどの３ｍであり、ｃｍ単位の等身大のペッパーズ・ゴースト被写体表示あたり少なくとも７ピクセルおよび好ましくは少なくとも１０ピクセルのＬＥＤパネル・ディスプレイを使用することをさらに含む。したがって、ＬＥＤのピクセル・ピッチは１．２ｍｍ～２ｍｍの範囲内とすることができる。

４Ｋ仮想画像表示に使用するためのＬＥＤスクリーンに同じ原理を適用すると、垂直高さピクセル・カウントは２１６０ピクセルよりも大きくなり、好ましくは少なくとも２７００ピクセルで、最大３８４０ピクセルになり、および／または
約１８０ｃｍ～２２０ｓｍの高さに及ぶ等身大人間画像が４Ｋにおいて最適に表示され、ここで、２ｍの最も近い視距離が、被写体の頭または顔のクローズ・アップ・カメラ・ショットによって達成され、ｃｍ単位の等身大のペッパーズ・ゴースト被写体表示あたり少なくとも１０ピクセルおよび好ましくは２０ピクセルのＬＥＤパネル・ディスプレイをさらに含む。したがって、ＬＥＤのピクセル・ピッチは０．９ｍｍ～１．５６ｍｍの範囲内とすることができ、および／または
約１８０ｃｍ～２２０ｃｍの高さに及ぶ等身大人間画像が８Ｋにおいて最適に表示され、ここで、０．５ｍの最も近い視距離が、被写体の頭または顔のクローズ・アップ・カメラ・ショットによって達成され、ｃｍ単位の等身大のペッパーズ・ゴースト被写体表示あたり少なくとも２０ピクセルおよび好ましくは４０ピクセルのＬＥＤパネル・ディスプレイを使用することをさらに含む。したがって、ＬＥＤのピクセル・ピッチは０．３ｍｍ～０．９ｍｍの範囲内とすることができ、および／または
画像キャプチャ・スタジオもしくは投影されるペッパーズ・ゴースト画像のいずれかのロケーションにあるＬＥＤディスプレイまたはヘッド・アップ・ディスプレイ（「ＨＵＤ」）は、少なくとも６０ＨＺ、好ましくは１２０ＨＺの信号フレーム周波数レートを含み、好ましくは、３８４０ＨＺのフレーム・リフレッシュ・レートを含む。これは、リフレッシュ・レートが速いほど、投影画像内に見られる動画フィルムがより平滑になるためであり、
ホイルに向けて方向付けられているＬＥＤパネルは、ＬＥＤ画像に適用される、５５００～５６００度ケルビン（「Ｋ」）「昼光」色温度を含む、現実の人または物体の色温度に実質的に一致する、撮影されている被写体の色温度を作成するように制御される。照明およびディスプレイの色忠実度の正確な制御は、現実の「肉体を持った」タレントと仮想画像との間のように、肌の色合いおよびパフォーマンス衣装が最も近く一致することを保証する。

任意選択でかつ好ましくは、表示ステージのステージ上面の周りで、仮想画像の足の反射を含む、画像キャプチャ・ステージからステージ上面の一部における反射が、投影表示内に見えるべきであり、および／または
米国特許第９，５６３，１１５号に記載されているＬＥＤに重なる拡散スクリーンが、「グルー・オン・ボード」またはＧＯＢ ＬＥＤパネル技術と一致するように、好ましくはＬＥＤパネルと一体の拡散を有する（別個のスクリーンまたはパネル・カバーであるのではなく）ことによって改善され、これは、ＧＯＢ ＬＥＤによって照射されたときにホイル・ディスプレイ上に見える画像モアレの入射を最小限に抑えることが可能な平坦で平滑な表面の透明拡散スクリーンを作成するために、ＬＥＤパネルが実質的に透明な樹脂トップ・コーティング（黒色背面投影スクリーン・カバーの代わりに）を備え、コーティングがパネルに取り付けられた発光ダイオード（ＬＥＤ）の上に硬化されていることを特徴とし、任意選択でかつ好ましくは
ホイルに向けて方向付けられているＬＥＤスクリーンは、製造中にパネル・アセンブリ内に一体化された冷陰極技術を含んでもよく、ダイオードが屋内で動作し、３，０００～６，０００ＮＩＴＳ／Ｍ２の光出力を放出することを可能にする、ホイルに向けて方向付けられているこのより高い光度は、最適な容積不透明性を維持し、反射としてのペッパーズ・ゴースト画像が、ＴＶ放送またはストリーミング・スタジオなどのより明るく照明された条件内に現れるときに、より現実感をもって見えることを可能にし、任意選択でかつ好ましくは
ホイルに向けて方向付けられているＬＥＤスクリーンは、「フリップ・チップ」技術を含み、破壊抑制チップ接続部またはその頭字語であるＣ４としても知られているフリップ・チップは、ＩＣチップおよび微小電気機械システム（ＭＥＭＳ）などの半導体デバイスを、チップ・パッドに堆積されているはんだバンプを用いて外部回路に相互接続するための方法である。はんだバンプは、最終ウェハ処理ステップ中にウェハの上面上のチップ・パッド上に堆積される。チップを外部回路（たとえば、回路基板または別のチップもしくはウェハ）に取り付けるために、ダイオードが、その上面が下を向くように反転され、そのパッドが外部回路上の一致するパッドと位置整合するように位置整合され、その後、はんだがリフローされて、相互接続が完了する。これは、チップが直立して取り付けられ、チップ・パッドを外部回路に相互接続するためにワイヤが使用されるワイヤ・ボンディングとは対照的であり、または、代替的に、
フリップ・チップは、ＬＥＤが、高品質コントラストを維持するために白色光放出の入射を最小限に抑えるために、ＬＥＤハウジング・パネル内で上下逆さまに構成され、ワイヤレス接合されるプロセスであり、フリップ・チップは、耐久性の増強、熱放散の増強および優れた照明性能を含む、従来のＳＭＴ（表面実装技術）ＬＥＤにまさるいくつかの重要な性能上の利点を提供する。

フリップ・チップ技術は、コストおよびエネルギー消費を低下させ、エコロジカル・フットプリントを最小限に抑える。フリップ・チップは、従来のワイヤ・ボンドＬＥＤチップ・オン・ボード「ＣＯＢ」よりも低い熱抵抗およびより安価なパッケージング・コストを有するという点において、その利点を首尾よく実証している。チップ・オン・ボードＣＯＢは、コーティングされていない半導体素子（ダイス、ダイ、チップ）が直接的にＰＣＢ、または、たとえばガラス繊維エポキシ、典型的にはＦＲ４の基板の上に取り付けられ、ダイが金またはアルミニウムのパッドに接合される技術である。熱抵抗を下げることによって、フリップ・チップＬＥＤチップは、より低い接合部温度で機能し、熱放散が増強されながら、より低い熱崩壊を有することが可能である。それと同時に、より低い熱抵抗はまた、より高い駆動電流を通じて光出力を増大させる実行可能性も可能にする。ワイヤレス接合技術によって、チップは、ワイヤ・ボンドが影を落とすことなく、または、不均一な光分布を作成することなく、上部および側部から直接的に光を放出することができ、電力消費の最小限の差で、ＳＭＤ ＬＥＤと比較して１５％～４０％多い光出力を提供する。

好ましくは、ホイル内のＬＥＤパネルおよびシャーシの反射は、ブロードキャストされている背景画像が黒色であるピクセルを表示しているステージ領域内で見る者にとって黒色に見え、ＬＥＤおよびホイルの上方または下方のステージ・セットは、任意選択でかつ好ましくは、望ましくない反射の入射がホイル・スクリーンの後方または前方側のいずれかから見えることを回避するために、吸光暗色材料または黒色塗料コーティングを含む。そのようなステージおよび表示構成は、特に、小売ウィンドウ・ディスプレイまたは教室などの、より明るい環境内で使用されるときに、ホイル内に見える望ましくない光またはグレアの反射を最小限に抑え、ならびに、任意選択で
縦モードにおいてペッパーズ・ゴーストとして表示される１つまたは複数の１０８０ＨＤ×１９２０ピクセル画像のＬＥＤ表示は、そうでなければ４Ｋ画像３８４０×２１３６ピクセルの水平面として使用される２１３６ピクセル「画像パーセル」内の最大１９２０ピクセルの垂直ピクセル・カウントに対応するためにＨＤ ＬＥＤプロセッサの代わりに４Ｋ ＬＥＤプロセッサを使用し、ならびに、任意選択で、
４Ｋ ＬＥＤプロセッサは、単一のＨＤＭＩ（登録商標）２．０信号内で、横向きまたは縦向きモードにおいて均一に構成された最大４×１０８０ＨＤ×１９２０ピクセル画像パーセルを処理することができ、ならびに、
ＬＥＤは、複数のホイル・スクリーンまたは同じスクリーンの下のホイル・ディスプレイ内にレイアウトされてもよく、ＬＥＤは、４つの別個スクリーンとして構成されてもよく、各スクリーンは、画像パーセルの形状およびサイズに対して鏡像反転されて、ホイルの上方または下方のロケーションにおいて縦向きまたは横向きのいずれかのモードに配置構成され、ならびに、
ＬＥＤプロセッサは、任意選択でかつ好ましくは、任意選択で４Ｋビデオ入出力カードを備えたビデオ・プロセッサ、ミキサおよびスケーラ［たとえば、米国特許仮出願第６１／０８０，４１１号の図Ａに示されているＢａｒｃｏ Ｅｎｃｏｒｅシステム］に接続され、１９２０幅×１０８０高さの画像キャプチャ信号が、リアル・タイムで、幅１０８０×高さ１９２０の画像を表示するために９０度回転され、真の形態のホイル・ディスプレイを通じて被写体を反射するのに適した逆の鏡像になるように「反転」されてもよく、ならびに
ビデオ・プロセッサ／スケーラは、信号をビデオ・プロセッサに、４×ＨＤ１０８０ ３Ｇ ＳＤＩ信号として出力し、信号は、ビデオ・プロセッサ／スケーラまたは信号変換器によって、ＨＤＭＩ（登録商標）コネクタおよびケーブル、または、４Ｋ ＬＥＤプロセッサあたり単一のＨＤＭＩ（登録商標）２．０ ４Ｋ接続を使用してＬＥＤプロセッサと接続するように変換される。

本発明の新規の態様によれば、２つ以上のカメラが１つまたは複数の被写体の仮想画像を同時に取得するために使用されている場合、音響／ビデオ・ディスプレイが共通の時間基準に対してパフォーマンスとともに作動することを保証するために、入来ビデオおよび音響ソースのタイミングを既存のビデオ・システム（コーデックを含む）のタイミングに対して正確に較正（同期）するために、音響／ビデオ信号がフレーム・シンクロナイザに送信される。フレーム・シンクロナイザはまた、音響をビデオと正確に同期させるために音響をビデオ信号に組み込むために、および／または、ビデオ・ディスプレイに送信する前に各カメラ信号の正確な色忠実度を提供するために使用することもできる。

フレーム・シンクロナイザはまた、仮想画像の２つ以上の音響ビデオ信号をパフォーマンス内の共通のタイム・コードに対して表示するときに使用することもできる。たとえば、フレーム・シンクロナイザは、復号器と、投影またはＬＥＤディスプレイに送信するビデオ・プロセッサとの間の表示会場に設置されてもよい。

本発明のさらなる態様によれば、フレーム・シンクロナイザは、表示会場内に位置するＩＭＡＧスクリーンなどの補助スクリーン、または、観衆メンバーによって見られているスマートフォンもしくはＰＣなどの、遠隔して位置するスクリーンに画像を送信するビデオ・プロセッサまたはビデオ・ミキサに接続されてもよい。

１つの実施形態において、被写体の画像は、黒色、青色または緑色スクリーン背景に対向する２つ以上のカメラによって同時に取得される。背景は、被写体画像をＡＲ画像などの別の補助ビデオ画像に重ね合わせるために、取得される被写体画像が、背景との調和から外れ得るように、被写体の周りの側部、または、さらには被写体の下方のステージまで延在してもよい。

カメラは、それに対照して画像が記録される共通のタイムコード（たとえば、１つまたは複数のアーティストによる音楽演奏）を処理するようにプログラムされているフレーム・シンクロナイザに接続されてもよい。代替的に、カメラ信号が必ずしもライブ送信されていない場合、取得される画像は単純に、ビデオ生成において手動で編集されてもよい。

同期された画像は、表示会場に位置するビデオ・ミキサ／プロセッサに常駐する、仮想画像を第２のビデオ信号にライブで重ね合わせる手段を提供する能力を備えているビデオ・ミキサまたはビデオ・プロセッサに送信されてもよい。第２のビデオ画像は、たとえば、パフォーマンス・ステージの画像、または、表示会場においてパフォーマンス・ステージを見ている観衆の画像であり得る。

重ね合わされる第１の画像は、ステージ上ホログラムのためにロック・オフ・カメラによって取得される被写体の信号を含んでもよい。パフォーマンスの時間フローの中で、被写体の追加のＡＲ画像が、取得スタジオに位置する追加のカメラによって取得されてもよい。ＡＲカメラは、静止していてもよく、または、所定の運動トラックに対して運動していてもよい。

リアル・タイム・パフォーマンスのために、被写体の複数のＡＲカメラ画像が、ネットワークを介して送信する前に信号を符号化するために、フレーム・シンクロナイザを介してエンコーダ３２１６に送信される。ＡＲカメラ信号の視点および／または運動もまた、他のカメラが同時に展開されている共通のタイムコードに対する制御のためにフレーム・シンクロナイザによって記録されてもよい。

フレーム・レート・シンクロナイザから独立して、ＡＲ信号は、表示ロケーションにおいてビデオ・ミキサまたはビデオ・プロセッサによって処理され、ＡＲ画像がパフォーマンス・ステージの画像に重ね合わされ、任意選択で、ビデオ・プロセッサは、表示会場にある１つまたは複数のカメラによって取得される表示ステージ上のパフォーマンスの画像を見ている観衆に接続されている通信デバイスに送信する。パフォーマンス・ステージの画像は、生成指示に従って、任意のパフォーマーがいる状態またはいない状態で取得されてもよい。たとえば、ステージ画像は、ステージに現実のまたは仮想のタレントが投入される前に、予め取得されてもよい。

「空」のステージが、最終パフォーマンス照明に従って照明されてもよい。ステージ照明プログラムも、パフォーマンスのタイムコードに対して同期されてもよい。

ＡＲ画像は、ＬＥＤ後壁に表示されているＣＧＩグラフィックスを含む仮想背景と直接的に合成されて（図３３、Ｂ１０（１）参照）、または、代替的に、背景のコンピュータ・グラフィックと直接的に合成されて撮影されてもよく、Ｂ８（１．１～１．４を含む）として送信されている１つまたは複数のフィルム画像が、包含的なＢ１０（２）～（５）としての１つまたは複数のグラフィックス画像と組み合わされる。Ｂ１７ビデオ・プロセッサ制御部が、２つ以上の画像を混合し、オンライン観衆への前方送信のための合成画像として、モニタＢ６に出力する。

仮想パフォーマンスの「空の」ステージの画像を取得することによって、ＡＲカメラまたは表示ロケーションにあるカメラの信号は、首尾よく混合されて、仮想画像がステージ上に見えるという錯覚を提供し、画像は、ＡＲカメラとパフォーマンス会場カメラの両方の視点および／または運動トラックを一致させるために、タイムコード・パターンに対してさらに較正された被写体の視角を表示する。代替的に、ＡＲ画像は、ステージ背景または仮想スタジオ・シーンの３Ｄコンピュータ・グラフィックスを含む仮想ステージ・セットの前方に表示されてもよい。

仮想被写体の同期された画像は、ビデオ・ミキサまたはプロセッサを使用して、パフォーマンス・ステージの同期された画像に重ね合わされてもよい。ＡＲ画像をパフォーマンス・ステージおよび／または観衆の取得された画像と組み合わせた出力信号は、パフォーマンス会場に位置するＩＭＡＧスクリーンなどの補助スクリーン、または、遠隔して位置する観衆によって見られているＴＶ、ＰＣもしくはスマートフォンのスクリーンに送信される。

ＩＭＡＧスクリーン上にまたはオンライン観衆に遠隔して表示される混合画像は、ステージ上でパフォーマンスを行っている仮想被写体を提供し、被写体の身体の周りの取得カメラの動きは、ステージ上の仮想画像の見た目に、容積的な見掛けを追加する。仮想被写体に帰属するリアリズムのこの錯覚は、ステージまたは観衆画像に対して１００％の不透明性を保持するＡＲ画像によってさらに増強される。これは、被写体をステージ・ビュー内にアルファ・チャネリングすることによって達成される。

没入型テレプレゼンス・ディスプレイ対２ｄフラット・ビデオ・パネル
撮影被写体または観衆を表示するためにフラット・モニタ・スクリーンを使用することは、多くのプレゼンテーションにとって典型的な表示媒体であり、スケールと没入型体験の両方を達成することに対する、最も大きな制限要因である。パフォーマンス・ステージの前方に配置されるか、または、上方に配置されるかにかかわらず、リターン・フィードまたは参照用表示モニタは、モニタ・フレームを観衆に見せることなくステージ・パフォーマーの目の高さに静止して位置付けることはできない。これは、模索されている没入型体験にとって外乱である。

その上、分離に使用されるモニタおよび他のフラット・ディスプレイ・パネルは、視覚効果において限定されたリアリズムを提供し、同時にまた、それらの限定された効果を達成するためにより大きい量の「データ帯域幅」を消費する。表示が、等身大被写体のヘッド・アンド・ショルダー・ショットに限られることが多い、平坦な２次元画像に見えるため、それらの限定されたリアリズムが生じる。これは、従来のテレビまたはＬＥＤ／投影ディスプレイを視ている観衆には一般的で、よく知られている。

撮影被写体への観衆画像のリターン・フィード
モニタ・パネルまたは従来の投影スクリーンを使用することによって、カメラ・レンズは、典型的には、ディスプレイの周縁の周りに配置される。より多数の観衆を見るために、または、被写体の画像を取得しているカメラ・レンズが撮影被写体からいくらかの距離だけ離れている（たとえば、５ｍを超える）状況において、１つまたは複数の観衆メンバーを表示するリターン・フィードは、好ましくはカメラ・レンズの真上または真下に位置する、投影スクリーンへとリターン・フィードを発する画像プロジェクタを含んでもよい。投影スクリーンは、任意のサイズとすることができるが、モニタよりも大きい有用性を提供するためには、観衆を見る領域および観衆メンバーを取り込むカメラ・レンズのフレームの形状に従って垂直方向または水平方向に配置構成されている少なくとも３ｍ×２ｍの表面積を有するべきである。好ましくは、プロジェクタは、それぞれ、プロジェクタに内蔵されたＤＶＩ／ＨＤＭＩ（登録商標）およびＨＤＳＤＩインターフェースを通じてプログレッシブ信号とインターレース信号の両方を処理することが可能な、１０８０ＨＤである。

別のソリューションは、フレーム内に予張され、床に対して約４５度の角度に配置構成されている平滑な透明ホイルの背後から被写体撮影の画像を取得するように、カメラを構成することである。代替的に、透明ホイルを使用してリターン・フィードを表示することによって、カメラが、図４．２に示すようにスクリーンの真後ろを含む任意の場所に位置付けられることが可能になる。レンズは、好ましくは、観衆の中心点にほぼ対応する、スクリーンの中心点に位置付けられる。

ホイルは、設置中に正しく準備された場合、ＴＰカメラのレンズ・ビューを妨げない平滑で均一な表面を有するはずであり、ホイルを通じて撮影することによって画像が取り込まれることが可能になる。その上、ライブ・タレントまたは観衆に見える仮想画像の見掛け上のカメラ側も、レンズ・ビューにまったく影響を及ぼさない。

撮影スタジオ内の被写体と表示ロケーション内の観衆との間の対話の体験は、直に注意を向けているか、または、ネットワークにわたる接続を介して遠隔して視ているライブ観衆にプレゼンテーションを行っているときに被写体が受信する信号リターン・フィードの形態によって増強することができる。撮影被写体がステージの前方の半透明スクリーンを通じて表示されるリターン信号を見る画像取得スタジオの構成については、ＰＣＴ／ＧＢ２００９／０５０８５０の図２３およびまた米国特許第８，４６２，１９２号を参照されたい。

画像は、約４５度の角度に位置付けられた半透明スクリーンに向かってビデオ画像を方向付ける、ステージの上方または下方に配置されたプロジェクタおよび投影スクリーン（またはビデオ壁）によって生成される。

ビデオ壁または投影スクリーン、および周囲は、被写体の画像キャプチャ品質と干渉するビデオ投影または舞台照明からの望ましくない光グレアを防止または軽減するために、黒色吸光面によってマスクされる。

スクリーンの背後からいくらかの距離にある透明ホイルを通じて撮影することによって被写体の画像を取得するためのカメラを提供することによって、カメラ配置がより柔軟になる。しかしながら、カメラ・ビューが図２３に示す設計においてホイルを通じて撮影している状況において、一対の鏡像反転されたＴＰ室について、レンズ・ビューは反射性「跳ね返り」スクリーン、ビデオまたはＬＥＤ壁を取り囲む投影ピットの補助マスキングを除去しなければならない。

本発明の従来技術が説明するように、このように見られるリターン・フィードは、より「没入型」のテレプレゼンス体験を提供する。ビデオ画像は、１つまたは複数のカメラからの信号を含んでもよく、別の人の形態をとってもよい。観衆は、単一のロケーション内で遠隔して位置するか、または、複数のロケーションにまたがって遠隔して位置して、オンラインでプレゼンテーションを見、および／または、プレゼンテーションと相互作用してもよい。

図２３に示すような反射式投影スクリーンまたはＬＥＤパネル・ディスプレイは、撮影スタジオの床または天井に配置されてもよい。投影またはＬＥＤスクリーンは、従来の背面投影スクリーンと同じように画像を方向付ける。しかしながら、撮影カメラ・レンズの位置付けは、観衆フィールド領域に対して、周縁ではなく中心であり、これによって、観衆参加者と撮影被写体との間のより良好な位置反映および目の高さのコンタクトのための参照が大幅に改善される。

この最終構成は、ＴＰ会議室体験に使用される好適なセット・アップである。この特定の実施形態において、フレーム内に予張されているホイルは、床に対して４５度に配置され、ほぼ部屋の中心にあり、部屋をほぼ半分に切る。プロジェクタまたはＬＥＤビデオ壁／スクリーンは、被写体フィルムを取得する遠隔ロケーションからステージへと仮想画像を投影するために、図２３、図２７、図２８のいずれかに示すように配置構成される。

リターン・フィード・ビデオは、撮影被写体の鏡像であってもよく、コンピュータ生成グラフィックス（ＣＧＩ）が、鏡像内の被写体とともに、浮遊仮想３Ｄ画像として見える。画像は、リアル・タイムでペッパーズ・ゴースト被写体とともに見えるライブ・プレゼンターを含む、観衆ＰＯＶから遠隔ロケーションにあるステージ全体のビューの表示であり得る。ビデオ画像は、ミキサを介して任意の数の別個のビデオ信号を組み合わせて、被写体、ステージ・パフォーマーまたは観衆が見るための合成またはピクチャ・イン・ピクチャ（「ＰＩＰ」）画像を形成することができる。

観衆の画像を取得する１つまたは複数のカメラは、ステージ上の固定点にある好都合な任意の場所に位置付けられてもよく、レンズは、見ている観衆に向けて方向付けられる。パフォーマーが表示ステージ視点からの観衆の明確で正確なビューを取得するために、カメラ位置が優先的に考慮されるべきである。望ましくは、カメラ位置は、ステージ上の被写体と観衆メンバーとの間のアイ・コンタクトを可能にする。これは、最も好都合なことには、ほとんどの事例において、カメラが目の高さに位置付けられるように達成される。付加的に、撮影被写体が撮影中に（観衆メンバーを含めて）カメラ・レンズを真っ直ぐに見るように方向付けられるとき、撮影被写体は、観衆の全員と同時にアイ・コンタクトを行う。

観衆の観衆リターン・フィード・ビデオ画像は、観衆には見えないため、観衆の画像を取得するカメラのフレーム・レート／データ・レート／エンコードは、限定されたインターネット帯域幅がそれらがそうであることを必要としていると仮定して、撮影被写体信号と比較してより圧縮され得る。たとえば、フレーム・レートは、１０８０ ２５ｐ／３０ｐまたは２５ｉ／３０ｉであってもよい。

多数の観衆が存在する場合、２つ以上のカメラが使用されてもよい。事実、多数の観衆に対して、複数のソリューションが利用可能である。第１のソリューションは、マジック・アームを使用してリモート・ヘッド・カメラまたは複数のリモート・ヘッド・カメラを取り付けることであり、これらのカメラが、取り付け点に固定されながら動くことが可能になる。カメラは、少なくとも１０ｍの前後距離の遠隔調整を可能にする様々なズーム・レンズを備えている。

カメラは、フィルム被写体の照明を支援するために、シャーシと一体の照明を備えてもよく、および／または、光強度を補償するための、閾値未満の強度を有する光を黒色に見えるように処理するように構成されている調整可能絞りを備えてもよい。

カメラは、任意選択で、撮影プロセスにおける被写体ぶれを減少される手段として、開口速度が変化されることを可能にする調整可能シャッター速度を備えている。カメラは、プログレッシブまたはインターフェースのいずれかのＨＤビデオ信号を処理することを可能にされる。座っている観衆の画像を表示するためには、プログレッシブ信号が望ましい。

カメラは、リアル・タイムの音声記録を可能にするマイクロフォンを装着されてもよい。カメラは、信号または物体（赤外光もしくは紫外光、または黒色および白色のパターン化バーコードなど）を認識し、追跡することが可能であってもよい。レンズが信号を見当合わせすると、予めプログラムされた設定が、カメラのビューを方向付ける。

したがって、数百またはさらには数千人の観衆において、観衆メンバーがステージ上のパフォーマーまたは被写体（ライブまたは仮想）とリアル・タイムで対話するために選択されるとき、その観衆メンバーの精密な位置をカメラ・レンズにとって認識可能にするように強調する観衆管理システムを使用することができる。カメラのプログラム制御は、ズーム・レンズおよび任意の追加の光または音声記録デバイスが主に観衆メンバーに焦点を当てることを可能にし、目線に関して明確で参照に関して正確である画像を、ステージ上のライブまたは仮想パフォーマーにフィード・バックする。

観衆メンバーに使用される光または音声記録デバイスは、プリセットであってもよい。照明は、必要とされるときはいつでも観衆／個々の観衆メンバーを照明するために、永続的に設置され、電源オンにされている。カメラおよびマイクロフォンは、同様に構成される。図２７は、照明、カメラおよび音声について公会堂がどのように構成され得るかを示す。図２８は、より小さいＴＰ会議室がどのように構成され得るかを示す。それらの構成は、公会堂全体を通じて配置された照明および音声レコーダを示す。

照明は、ホイル投影画像の観衆視および体験を妨げないようにしながら、可能な限り多くの観衆視をパフォーマーにフィード・バックすることがないように、観衆に向けて、かつステージから外方に角度付けされる。

各観衆座席ブロックまたは個々の座席が、観衆メンバーが、たとえば、選択されたときに、その観衆参加者の周りの着席領域が最適な動画像キャプチャのためにその後、自動的に照明されるように、質問を尋ねるために、ステージ・タレントと対話することに対する関心を表明することを可能にするデバイスを備えていてもよい。近傍音声記録デバイスおよびリモート・ヘッド・カメラ（各シートに対する個別のものまたは座席ブロックに対するもののいずれかの、マジック・アーム上に位置する）が、適切な観衆画像を被写体に送信し戻し始めるために作動する。

３６０度カメラ・デバイスが、撮影被写体へのリターンまたは「参照」フィード・ビデオ信号上での前方表示のために表示会場内の画像を取り込むのに適している。３６０度カメラは、ホイルの後方に位置付けられ、観衆に向けて方向付けられてもよく、ただし、ステージ上にペッパーズ・ゴースト被写体とともに見えるライブ・パフォーマーを取り込むことも可能であり、または、座っている観衆の間の任意の生視点（ＰＯＶ）からステージおよび／もしくは観衆のライブ・ビデオ画像をストリーミングするように構成されるために、ホイルの前方に位置付けられてもよい。

カメラは、画像キャプチャ・ステージ、パフォーマンス・ステージ、または観衆領域上の照明設定を示すライブＲＡＷカメラ・データを送ることができる。このデータは、同じショー制御システムに送ることができ、撮影会場における照明制御が、パフォーマンス・ステージの周りの照明効果を適合させ、さらに、パフォーマンス会場内に位置する観衆の照明を制御するためにより容易にプログラム可能であることを可能にする。３６０度カメラはまた、観衆の画像をホイル・ビデオ・ディスプレイにブロードキャストするように構成することもできる。

座っている観衆は、表示ステージに遠隔して位置し、企業ネットワーク、またはＴｅａｍｓもしくはＺｏｏｍなどの公衆オンライン会議フォーラムを介して接続することができる。

最終参照カメラ位置は、ライブおよび仮想ステージ・パフォーマーと対等の者との間の対話のための必要な参照を提供するためのものである。少なくとも１つのカメラおよび表示スクリーンが、各ステージに必要とされる。これらのカメラの目的は、ステージ上のタレントの動きの正確な位置参照を提供することである。１つまたは複数のカメラは、観衆視点からステージの全部または一部の画像を取得するために、表示ステージの前方に位置する。

より大きい中継スクリーンへの送信によってＡＲ画像が表示される場合、被写体のＡＲ画像はまた、ペッパーズ・ゴーストと同様の照明構成を使用して緑色、青色または黒色スクリーンに対向して同時に（またはリアル・タイムで）取り込まれ得る。被写体の前方に面するＡＲカメラは、ペッパーズ・ゴースト画像キャプチャ・カメラと同じ平面内に、ただし、ペッパーズ・ゴースト画像キャプチャ・カメラよりも約２～３．６フィート（０．３ｍ～１ｍ）高く配置される。このＡＲカメラはロック・オフされている。残りのＡＲカメラは可動であり、被写体の種々のカメラ・ビューが、中継投影スクリーンの拡大画像、または、ホイルの後方もしくは背後から取り込まれる、ステージの予め生成されたカメラ・プレート・ショットを使用してステージ・ショット内へと拡張されるか、もしくは、異なる画像としてＡＲ画像をオンラインを見ている観衆に提示される３Ｄ ＣＧＩ仮想ステージ内へと拡張される、ホイル・ステージ上の画像を含め、観衆表示会場において見えるＡＲ画像として見えることを可能にする。

画像取得ステージの照明
適度な照明構成は、ホイルの室内ステージ後方を照明して、仮想画像に対して奥行きの錯覚を提供する。より十分な照明用具がホイルのステージ前方に配置構成されて、撮影されているライブ・タレントを適正に照明する。

この照明用具は、図３４に開示されるように配置構成された、自立型であってもよい。照明は、トラス・フレームによって、場合によってはホイル・トラスの延長部によって保持されてもよい。図３５も参照のこと。

本明細書の目的のため、「バック・ライト」という用語は、被写体の後部および／または側部を照射する照明を含む。「側部の照明」という用語は、被写体の側部を照射する照明を指すのに使用され、「後部の照明」という用語は、被写体の後部を照射するのに使用される照明を指すのに使用される。

「被写体の正面」という用語は、カメラに向かって面する被写体の面を指し、「被写体の後部」という用語は、カメラから離れて面する被写体の面を指すことが理解されよう。ほとんどの場合、被写体の正面は、いくつかの実施形態のように被写体の顔を含むことになり、被写体がカメラとのアイ・コンタクトを維持することが重要であるが、本発明は、被写体の顔を含む被写体の正面に限定されない。

従来のＴＰ照明は、座っているライブ参加者を、カメラ・レンズが鮮鋭なＨＤ画像をＨＤモニタ・スクリーン上に中継するのに十分に照射することができる。撮影スタジオで被写体を照明するには、さらに考慮された方策が取られなければならない。画像キャプチャ・ステージは、好ましくは、暗色で覆われた壁によって３面で、ならびに任意選択で天井によって骨組みが作られ、好ましくは吸光材料である。適切なカメラが、部屋の一端、ホイルのステージ後方、仮想画像と同じフィールド領域に、ライブ・タレントまたは観衆参加者に面して配置構成される。カメラに面する遠い壁は、黒色材料のドレープで覆うことができ、または短い投射距離（そうしなければ、ライブ・ステージ・タレントを照射するのに必要な照明が壁に漏れて、黒色材料を灰色にしてしまう場合）では、青色スクリーン／緑色スクリーンの背景および床の構成が好ましい。緑色スクリーンが必要なのは、黒色カーテンが灰色になるほど過度に照明された場合に、仮想画像の鮮明度が特に被写体輪郭の周りで損なわれ、ピンぼけによって仮想画像のリアルさが低下するためである。

関連要素としては、真に「黒色」の背景、投影画像を向上させる効果的な照明、適正な色忠実度、ストロボ照明またはシャッター撮影した外観がない最小限の被写体ぶれ、観衆の目線の高さを表す適正なカメラ高さ、タレントに合い、投影画像に利益をもたらす、効果的な「衣装」制御、被写体の直後が非反射性であること、好ましくは光を吸収する材料または構成が挙げられる。

あるいは、「光トラップ」が、さらに反射性の低い背景を達成することができてもよい。かかるデバイスは、凹状であるか、あるいは、照明を「漏らして」ルーバーを通過させ、カメラの傾斜角に垂直な角度にされたルーバーの表面でカメラの視野を妨げながら非反射性領域内で「捕捉される」ようにすることが可能な角度で、ルーバーを有することができる。

バンタブラックは、光トラップの効果を模倣するナノテクノロジーを含む塗料の形態である。バンタブラックの使用は、カメラ・レンズから背景までの６ｍ未満の空間（被写体をペッパーズ・ゴースト画像であるものとして撮影する）として規定された、限定空間内のソース・ステージに対する非反射性の「真の黒色」の背景の最も実用的な一例である。バンタブラックなどは、ＬＥＤパネル壁をバーチカル・モードで構築するのと同様の方式で、アルミニウム・フレーム上に構築されたシームレス・ディスプレイを形成するように配置構成された、アルミニウム・パネルに適用される。パネルは、パネルに向けて方向付けられた照明の９９％超を吸収する光トラップとして作用する、ナノテクノロジーから利益を得る。バンタブラックのナノテクノロジー特性は、パネルがタッチされず、したがって指定されない場合のみ無傷のままである。改良されたＴＰシステムは、光吸収性の黒色塗料の再使用可能なシート・パネルを備え、任意選択で照明を吸収するナノテクノロジーを組み込んだ、ペッパーズ・ゴースト撮影または表示に対する背景を備え、そのようなパネルは、サイズ約１ｍ×０．５ｍ、厚さ３ｍｍ、フレーム付きで、目的に合うように設計されたフライト・ケースに入れられ、パネル前面が最大で高さ６．３メートル×幅１８．８メートルのシームレス・フラット・パネルの背景を形成するように設置可能であり、それによって、設置中、動作中、および移動に何らかの表面と接触することが回避される（以下に十分に説明する）。

バンタブラックを含む別の実施形態は、調節可能な可動ステージ・セットであり、ステージ床に部分的に埋め込まれ、より垂直に傾けられ、スクリーン、フレーム、およびモニタは、目に見えない黒色として、またはステージ・セット／景色の成分として、観衆またはＴＰソース・タレントのビューから隠される。

人間の形は、照明の目的のため、基本的に２つの主要部分（頭から腰、腰から足）に分割されるが、別個の要素としての頭、顔（影塗り）、および髪の毛の塗り潰しの後ろに対する左右の制御が追加される。

「ホログラフィ」効果のために人間の形を照明するには、１つもしくは複数の正面（第１の）照明および１つもしくは複数の背面および／または側面（第２の）照明がそれぞれ、被写体の異なる部分を照射する異なるランプを備えること、異なる部分が被写体の垂直断面を含むこと、ならびに暗い点（それがあると画像が見えなくなるかもしくは消失する）または過度に明るい点（画像の漂白）がなく、均一な形で被写体の詳細を取り込むのに十分に明るいこと、といった基準を満たす必要がある。

照明は、異なるテクスチャを際立たせ、ならびに被写体全体に影を落として、形態を強調するとともに、被写体全体にわたって照明が移動する経過を強調すべきである。バック・ライトは、任意選択で、画像鮮鋭度を最大にするために被写体輪郭の周りに周縁を形成することができ、１つまたは複数の正面の照明は、被写体の目を照射するプロファイル・スポットライトと、照明が被写体の下面に入射して被写体の衣服の影を持ち上げるように下から被写体を照射する、フレネル・ランプなどのフィル・ランプとをさらに備える。カメラ・ラインに近い緊密にスロットを入れた「アイ・ライト」は、たとえば、身体を過度に塗り潰すことなく窪んだ目を持ち上げる。側部および周縁の照明と比較して正面／塗り潰しレベルを低減することで、三次元を強調する。本発明は、より暗い何かと対比させると物体がより明るく見えるという心理的効果を利用することによって、スクリーンを通過する照明が低減されるという問題を克服する。

本発明の一態様によれば、正面の照明を後部および／または側部の照明よりも暗くすることによって、被写体の縁部、特により暗い色の衣服、髪の毛、または皮膚が反比例的に明るく見えるようになり、それによって画像がより丸みを帯び、より深い奥行きに見えるという錯覚を作り出す。さらに、普通なら画像が平坦に見える明るい正面の照明によっても白っぽくならないので、被写体の影は、よりはっきりしている。

後部の照明の明るさを正面の照明と比べて増加させることによって、投影されたペッパーズ・ゴースト（またはＡＲ）画像が、従来の３点照明方法を使用して被写体を撮影することによって作られる画像よりも丸みを帯び、より深い奥行きを有するように見える。

任意選択で、また好ましくは、髪の毛、皮膚、または衣服の色が濃い被写体を撮影する場合、後部／周縁の照明をわずかに誇張することによって、投影画像の明るさおよび鮮鋭度が向上する。また、３Ｄ画像の知覚が促進される。色が濃く光沢がある髪の毛は、頭上のＫｉｎｏＦｉｏ照明器具の高さおよび位置を調節することによって持ち上げることができる。しかしながら、有利には、１つまたは複数の頭上照明は１つまたは複数のＬＥＤを備える。

本発明の一態様によれば、ペッパーズ・ゴーストおよび／またはＡＲ画像として投影される被写体を撮影する方法が提供され、方法は、１つまたは複数の床照明を有する照明構成下で被写体を撮影することを含み、被写体は、被写体が１つまたは複数の床照明によって下から照射されるように、１つまたは複数の床照明の直上に位置する。

１つまたは複数の床照明で被写体を下から照射することの考えられる利点は、正面、後部、または側部の照明によって照射されないであろう領域を照射できる点である。たとえば、被写体の靴または足の下面を床照明によって照射することができる。通常は照射されないであろう被写体の領域を照射することによって、ペッパーズ・ゴーストの場合の被写体の投影がよりリアルに見える。たとえば、被写体が足を持ち上げた場合、床照明が足の底面を照射するので、照射されないことによって足の底面が黒く見える代わりに、足の底面が投影フィルム上で取り込まれる。

一実施形態において、１つまたは複数の床照明は、１つまたは複数の床照明によって放射された照明をコリメートして、１つまたは複数の床照明によって放射された照明が被写体を撮影するのに使用されるカメラに直接入射しないようにする、マスクを備える。

全身画像を取得する間、被写体の脚および足を照射するように特に注意を払う。靴が最終投影フィルムにおいて見えるように変更されることを求める程度まで、両方がはっきり画定されていることを確かめる。照明構成は、被写体の足の底面が投影フィルム上で取り込まれるように、被写体の足の下面を照射するように配置構成される。

本発明の一態様は、ペッパーズ・ゴーストおよび／またはＡＲ画像として投影される被写体を撮影する方法を提供し、方法は、１つもしくは複数のＬＥＤを備える１つまたは複数の照明を有する照明構成下で被写体を撮影することを含み、被写体において測定したときに被写体の著しい照射が、１つまたは複数のＬＥＤによって提供される。

「被写体の著しい照射」という用語は、１つまたは複数のＬＥＤが、被写体に入射する照明出力の少なくとも１０％、被写体に入射する照明出力の少なくとも２５％、好ましくは照明出力の少なくとも５０％、最も好ましくは照明出力の少なくとも９０％を提供することを意味することが理解されるであろう。一実施形態において、照明構成のランプはすべてＬＥＤランプであり、したがって、照明出力の１００％がＬＥＤランプによって生み出される。いくつかの実施形態において、ＬＥＤランプはフラッド・ランプおよび／またはスポット・ランプであることができる。撮影被写体がＬＥＤによって照射されている場合、表示会場でもＬＥＤ照明を使用することが好ましい。ＬＥＤ照明は、ライブ・タレントの肌の色合いの色温度を投影画像として表示されている仮想被写体の肌の色合いに合わせるように、より簡単にプログラミングされる。

特定の、主に音楽の状況では、設計は追加のカラー・ウォッシュを要することがある。これらは、限定された範囲の独特な色を使用する周縁および側部の照明として最も効果的である。実質的なインパクトを与えるため、色ソースの強度は既存の周縁の照明を上回るものを示すのに十分でなければならない。ＰＡＲ６４バトンは、かすかなものではければ、照明用具を効果的に補うものである。

被写体の全身画像を取得するには、床と撮影空間との間で、被写体がその中で動く空間的境界を被写体に提供する、スチールのデッキ・ステージまたは類似のものを必要とする。ステージ・サイズは、表示ステージまたは表示ステージ内の投影領域のどちらか小さい方の寸法に一致しなければならない。

ステージに適用されるセミマット（たとえば、「ハーレクイン」ダンス・フロア）または高光沢表面は、撮影および表示ステージの上面を意味する。たとえば、黒色の「マーライト」または「ＴＶタイル」ライザは、仮想投影画像が、近傍に投影されている物理的なステージ上に「立っている」という錯覚の助けとなり得る、足などの何らかのかすかな反射を与えてもよい。

黒色のカーテンは、各ライブ・ステージ・タレントを撮影するのに最も好ましい背景であり、特定の状況では、シルバー・グレーまたはベンタブラックのモジュール式スクリーン構成を使用することができる。

照明は、ＲＡＷおよび／またはＤＮＧフォーマット（最新のアンドロイド（登録商標）・スマートフォンを含む）で３６０度画像を取り込み正確に繋ぎ合わせることができる、３６０度カメラ・デバイス（ＲＩＣＯＨ ＴＨＥＴＡ Ｚ１ ３６０など）によって測定されてもよい。ＤＮＧフォーマットはオープン標準であり、これは、ファイル・フォーマット仕様（ＴＩＦＦ６ファイル・フォーマットに基づく）を任意の第三者デベロッパが自由に利用できるようにすることを意味する。これは、ＤＮＧが、先の世代がＤＮＧ生データにアクセスし読み取ることができるようにする、長期ファイル保存の測定基準を満たすアーカイブ・フォーマットである事例をサポートする。ＤＮＧ生データは、被写体の撮影ステージの周りなど、単一の所与の領域における照明方向および光度を含んでもよい。

データ設定は、Ａｄｏｂｅ製のＬｉｇｈｔｒｏｏｍおよびＰｈｏｔｏｓｈｏｐを含むＤＮＧファイルから読み取り、ＤＮＧファイルに書き込むことができる、多数のプログラムによって処理されてもよい。データ設定は、スタジオの照明制御にプログラミングされて、撮影照明および／またはＲＡＷデータ・カメラ設定の位置、光度、または色温度を調整してもよい。カメラ生素材のキャッシングは、所有生ファイルを開くのがＬｉｇｈｔｒｏｏｍプログラムでできるようにされた高速ロード・データによってＤＮＧを開くのとほぼ同じ速さになる、プロセスである。ＤＮＧ仕様は画像の傾きも可能にし、それによって、一度に１つのプロセッサ・コアを使用して読み取ることしかできない、連続圧縮生ファイルの読み取りと比較して、マルチコア・プロセッサを使用してファイル・データ読み取り時間を加速させることができる。

表示ステージの照明
ステージ上でライブ中のパフォーマーに向けられた照明の色温度は、仮想パフォーマーに一致させた肌の色合い、表示ステージ上でライブ・タレントとして演じているのと同様の肌タイプの肌の色合いの色相および色温度とできるだけ一致させた肌の自然な色合いをもたらす。

ステージ上のライブ・タレントを照明するのに重要なのは、ライブ・ステージに送信されている人物に対する照明の色温度、強度、および角度と一致させるのが可能であることである。１つの選択肢は、最初にライブ・タレントを照明する適正な角度で装備される、多数の固定照明（一般的なもの）を使用するというものである。これらの照明は次に、ホログラフィック画像の色温度に一致するように、ゲルを用いて色補正することが必要であろう。

別の方法は、移動照明を使用してライブ・タレントを照明することであろう。移動ＬＥＤウォッシュ・ライトを使用することで、一般的な灯を使用する照明の主要な問題のうち１つは、ライブ・タレントに対する照明の強度を下げると、それが放射する色温度が変化し、色温度の不整合が大きくなることであるため、ライブ・タレントを照明するように調節することがより簡単になるであろう。移動ＬＥＤ照明が使用される場合、それらの強度が低減されたときに一定の色温度を維持し、したがって一致させるのが非常に簡単になる。また、移動ＬＥＤウォッシュ・ライトは、シアン、マゼンタ、イエロー、および時にはイータ（色温度オレンジ）を使用する統合色混合システムを有する。これらの効果によって、表示ステージから画像を取得するカメラを介して補助スクリーン上で見たときであっても、ライブ被写体と投影被写体との間の正確な色忠実度を提供することが特に適切になる。

ＴＰのライブ・ステージ要素に対する照明の別の要素は、ホログラムのタレントが背景から浮き出て、したがってより実物らしく見えるように、ステージ上に奥行きの錯覚を作り出すのが重要なことである。やはり、一般的な照明を使用してこの機能を実施することが可能である。即ち、床に設置したパー・カンを用いてステージの背景をライトアップして、ホログラムの投影を圧倒し、全体の効果を損なってしまうこれらの照明がいずれも、ホログラムのタレントの後方の領域を照射しないようにする。また、照明レベルがシステムの視野角全体を通して一貫していることを担保するように注意する必要がある。

このタスクをより簡単にするため、ここでも、ＬＥＤバトンおよび／またはパー・タイプの照明器具に加えて、ヘッドが可動のウォッシュ・ライトおよびスポット・ライトを使用することができる。移動照明およびＬＥＤ技術を使用することの利点は、ライブ環境におけるホログラムのタレントの位置を避けるように、背景上における強度、位置、色、およびテクスチャを変更できることである。ＬＥＤ照明はまた、強度を変更する能力によって色が変化する固定の設備を提供することができ、これがやはり、移動照明と同じ機能を実施する。

本発明の別の態様によれば、ＬＥＤステージ照明は、ステージ前方から、ペッパーズ・ゴースト・ディスプレイおよびＬＥＤディスプレイの周りのステージ後方に位置し、照明は、投影被写体画像の位置において撮影被写体を取得している間に使用されるような照明効果と一致するように制御され、ならびに／あるいは、
照明を制御することは、画像取得の位置において変化する照明環境に応答して、表示されている被写体を照射することを含み、ならびに／あるいは、
照明構成はさらに、表示ステージの上または下方に位置する１つまたは複数の床照明を備え、被写体ディスプレイは、見ている観衆には被写体が１つまたは複数の床照明によって下方から照射されているように見えるように、１つまたは複数の床照明の直上に位置し、ならびに／あるいは、
ペッパーズ・ゴーストが投影されるステージに対して背景をライトアップしながら、ペッパーズ・ゴーストの投影を圧倒することがあるこれらの照明がいずれもペッパーズ・ゴースト画像の後方の領域を照射しないようにし、ならびに／あるいは、
照明構成による被写体の照射の少なくとも１０％、少なくとも２５％、少なくとも５０％、少なくとも７５％、少なくとも９０％、もしくは実質的にすべてが、１つもしくは複数のＬＥＤ照明ユニットによって提供され、または１つもしくは複数のＬＥＤパネル（併せて「ＬＥＤ」と呼ばれる）が、照明を観衆もしくは前方のブロードキャスト・カメラに向けて直接放射するか、もしくはミラーによって観衆に向けて反射させるように構成され、ならびに／あるいは、
ペッパーズ・ゴースト画像として投影される被写体の撮影は、ガラスまたはホイルのシートなどの半透明スクリーンを通してテレプレゼンスを投影することを含み、画像取得または表示会場のどちらかに設置されたＬＥＤの照明出力特性は、実質的にリアル・タイムで制御され、ならびに／あるいは、
照明は、撮影されている被写体に対して、表示される仮想画像の位置における実際の人間／物体の色温度と実質的に一致する色温度を作り出すように制御され、ステージの周りに位置する白色スポット・ライトに適用される、および／または表示されている仮想画像に向けられる、さらに好ましくは、投影画像の足の周りのステージ上面に向けられる、５５００～５６００ケルビン（「Ｋ」）の「昼光」色温度を含み、ならびに／あるいは、
表示会場のＬＥＤパネルは、見ている観衆の裸眼および表示ステージ・パフォーマンスを取り込むカメラ信号フィードの両方に必要な、見た目および肌の色合いの現実的な一致を維持するように装備され、ＬＥＤは、ＬＥＤパネル・ディスプレイの白色に適用される５５００～５６００ケルビン（「Ｋ」）の「昼光」色温度を含む、１８００Ｋ～９２００Ｋの色温度範囲で表示用の仮想画像を生成し、ならびに／あるいは、
１つもしくは複数のＬＥＤの少なくとも１つによって放射される照明（半透明スクリーンに衝突する）を調整することは、前記照明の拡散を低減するように、１つまたは複数のＬＥＤの少なくとも１つに嵌合された少なくとも１つのフードまたはバッフルを使用することを含み、それにより、フードまたはバッフルによって照明がコリメートされて、実質的に平行でＬＥＤの発光面に対して垂直に向けられたビーム状になり、ならびに／あるいは、
ＬＥＤフードは、使用中にＬＥＤから照明を受け取るように配置構成された第１の開口を有する第１の端部と、前記受け取った照明がフード外に出ることを可能にするように配置構成された第２の開口を有する第２の端部とを有し、および／または第２の開口は第１の開口よりも小さく、および／または、少なくとも１つのフードは実質的に切頭円錐状または円筒状の形状を有し、フードの内表面は実質的に、プラスチック、ゴム、またはプラスチックとゴムの組み合わせで構成される。

ほとんどの撮影は、音声を記録することを伴うので、適切に遮音され音響処理されたスタジオを使用すべきである。音声はプレゼンテーション時に高レベルで再生され、あらゆる外音が聞こえることを念頭に置いておく。ブームまたはパーソナル／無線マイクを適宜介して記録する高品質マイクロフォンを使用するのに、プロの録音者が採用されることがある。

本発明の一態様によれば、命令が格納されたデータ・キャリアが提供され、命令は、プロセッサによって実行されるとプロセッサに、ペッパーズ・ゴーストおよび／またはＡＲ画像として投影するために撮影される被写体の特性に関する入力を受信させ、入力から、撮影中に被写体を照射するための照明構成のランプに必要な構成を決定させ、ランプの少なくとも１つに対して、ランプを必要な構成に調節するための制御信号を伝送させる。このように、制御システムは、撮影される被写体の特性による必要に応じてランプを自動的に構成して、時間を節約し、専門の照明技師の必要性を低減することができる。

照明制御システムは、被写体の異なる特性に対して必要とされるランプの構成に関するデータが格納されたメモリを備えてもよく、必要な構成の決定は、被写体の特性の入力をメモリに格納されたものと比較することによって実施されてもよい。制御システムは、照明のクレームのいずれかによる方法を実施するように、照明構成を制御するように構成されてもよい。

システムは、上記プロセスのいずれか１つによる方法を実行するための命令が格納されたデータ・キャリアを備えてもよい。

「仮想」の人間のペッパーズ・ゴースト画像は、ホイル・スクリーン製造および設置プロセスの発展に伴ってより一層現実的になってきており、１１～１２０ミクロンの薄い反射性ポリマー・ホイル材料で、平滑で折り目やしわなどの表面変形がない表面によって特徴付けられる、一般的には最大で幅３６ｍ×高さ８．１ｍの表面積を有する大型スクリーンを形成することが可能になっている。いくつかの実施形態において、ホイルを保持するフレームは、動作中に実質的にしわがなく平坦なスクリーン表面仕上げを維持するように、ホイルを再予張するための調節メカニズムを含むことができる。その結果、スクリーンは、照射されたステージ装置の一部として使用されるとき、見ている聴衆にとってはほとんど見えないが、元の画像とは仮想的に区別できる画像（静止またはビデオ）をステージ上に「跳ね返す」（反射させる）ことができる。

遠隔ロケーションへの仮想画像の送信
オンラインで見ている観衆メンバーが撮影被写体と対話できるようにするには、遠隔ロケーションの各表示モニタはカメラおよびマイクロフォンを要する。さらに、表示会場のライブ観衆は撮影被写体に見えている。ＡＶ信号の送信には、ＡＶ信号を遠隔ロケーションに送信するために、通信リンクからの特定の量のデータ空間、つまり帯域幅が必要である。必要なデータ空間の量は、「パッケージされていない」（圧縮されていない）フォーマットでの信号のデータ・サイズと、ＡＶ信号が次にどのように「パッケージ」または圧縮されるかという、２つの主要な要因に依存する。データのパッケージングは、音響／ビデオ・コーデックを使用して達成される。

テレプレゼンス（ＴＰ）とストリーミングとの主な違いは、ＴＰが１００ミリ秒～６００ミリ秒のリアル・タイム低遅延信号であるのに対して、ストリーミングは一般的に、ライブ・イベントのシナリオでは、７００ミリ秒～３０秒の範囲のより寄与的な形態の送信である点であり、あるいはストリーミング生成は、一般的にはＰＣ、スマートフォン、またはセット・トップ・ボックス・デバイスを使用して、ビデオ・オン・デマンド・サービスとして記録され、見ている観衆に送信されてもよい。

コーデック・アクセサリおよび通信プロトコルは多くの形態でもたらされる。一般に、コーデックは、ビデオおよび音響を暗号化および圧縮（併せてエンコーディング）してデータ・パケットにするソフトウェアを含み、それを次に、イーサネット、ｗｉ－ｆｉ、衛星、ワイヤレス４Ｇもしくは５Ｇセルラ接続または高周波信号を通じて送信することができ、符号化された信号は実質的に、遠隔ロケーションに位置する復号デバイスによって復号される。コーデックは多くの場合、一般的な小型ネットワーク・コンピュータ・シャーシのケーシングに良く似たボックス・シャーシに組み込まれる。

コーデック・シャーシは、複数のデータ・ストリームまたは信号フィードを内方向（ダウンロード）および外方向（アップロード）で処理することを可能にする、可変数の入力および出力を有することができる。コーデックがブロードキャスト・ストリームにどのように入れられるかを理解するには、ＰＣＴ／ＧＢ２００９／０５０８５０の添付図面図１を、コーデック・ユニットの内部作業を見るには図２を参照のこと。コーデックは、特定の種類の音響およびビデオ・ストリームを処理するように設計され構成される。（コーデック音響入力が、フィルタ、リミッタ、ゲート、圧縮、およびＥＱディレイとして説明される様々な技術的特徴と適合されている、図２を参照のこと。）

本発明に対する従来技術は、ブロードキャスト・パルまたはＮＴＳＣ（ＢＰ ＮＴＳＣ）の時代（２００８年）における、撮影室リターン・フィード・ディスプレイおよび／またはヘッド・アップ・ディスプレイ（特許ＵＳ８，４６２，１９２号を参照）のための水平線７２０本のプログレッシブ方式（７２０Ｐ）の高精細信号、ならびに表示ステージのための、最小で垂直線１９２０本×水平線１０８０本のプログレッシブ方式（１０８０Ｐ）および垂直線１９２０本×水平線１０８０本のインターレース方式（１０８０ｉ）の、主要なものから最も一般的なものまでのビデオ・ストリームに関する。２Ｋ、４Ｋ、および８Ｋ解像度などの他のビデオ標準も、ここでの教示から利益を得ることができるが、現在広く使用されているビデオ標準を使用して課題を解決することができる本発明者らのソリューションについて考えるものとする。

ＡＴＳＣおよびＤＶＢコーデックは、１０８０ｐビデオをサポートしているが、毎秒２４、２５、および３０フレームのフレーム・レート（１０８０ｐ２４、１０８０ｐ２５、１０８０ｐ３０）、およびそれらの１０００／１００１レートの低速バージョン（たとえば、毎秒３０フレームの代わりに２９．９７フレーム）のみである。１０８０ｐ５０および１０８０ｐ６０などのより高速のフレーム・レートは、より広い帯域幅で、またはより高度なコーデック（Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ）などを使用してしか伝送することができない。１０８０ｐ５０および１０８０ｐ６０などのより高速のフレーム・レートは、現在、フィルム、ストリーミング、およびＴＶ制作のブロードキャスティング標準として使用されている。

高速の１０ＭＢ公衆回線は、宛先に達する前のある地点で狭まることがあり、したがって信号にも影響し、それがＴＰ用途では、音声／ビデオ／画像の脱落、すなわち一時的な空白スクリーンまたは突然の言葉の欠落として現れ、リアルな没入型対話体験においては許容できない。

このフォーマットを効果的に働かせるには、現在の５０または６０フィールドのインターレース方式１９２０×１０８０の１．４８５Ｇｂｉｔ／秒から、５０ｐおよび６０ｐのプログレッシブ方式の公称の約３Ｇｂｉｔ／秒へとデータ・レートを二倍にした、カメラ、ストレージ、編集および寄与リンク（コーデック）を含む、全く新しい範囲のスタジオ機器が必要となる。４Ｋは公称１２Ｇｂｉｔ／秒である。

コーデック
本発明の新しい態様は、実物大のペッパーズ・ゴースト画像として表示するのに適した被写体を撮影し、任意選択で、ライブ・キャプチャ信号を、超低ビット・レートで私設または公衆ネットワークを通じて安全な低遅延のＨＤビデオで搬送する方法であり、
コーデック・ボックスは、その設計に不可欠であるか、または音響エコーをキャンセルする遅延デバイスによって強化される。このデバイスの機能は二重であり、音響信号（撮影被写体の話し声など）が、観客が見ているステージに被写体が現れるときの唇の動きと同期されるように、手動調節を可能にし、観衆の会場でブロードキャストされている増幅された音響信号が、リターン音響信号として撮影スタジオにフィード・バックされる際のエコー（撮影被写体の声を含む）を打ち消す。

音響エコー・キャンセレーション（ＡＥＣ）ブロックは、エコー、残響、および望ましくない追加された音を、音響空間を通過する信号から除去するように設計される。ＡＥＣは、遠端信号（通信ラインの他端から発せられた声）がラウドスピーカーを通じて残響音響空間内で再生され、マイクロフォンによってピック・アップされるときに必要とされる。ＡＥＣアルゴリズムが実装されなかった場合は、音声がスピーカーからマイクロフォンまで移動する際の遅延に対応するエコー、ならびに何らかの残響が、遠端に返されるであろう。不自然に響き、不快に聞こえることに加えて、アーチファクトは発話の了解度を実質的に低減させる。

図面に示されるように、表示ステージとして知られる、遠隔で話している人から発せられる音声は、並行してＤＳＰ経路および音響経路に伝送される。音響経路は、増幅器／ラウドスピーカー、音響環境、およびマイクロフォンから成り、信号をＤＳＰに返す。ＡＥＣブロックは適応ＦＩＲフィルタに基づく。アルゴリズムは、このフィルタを連続的に適応して音響経路をモデリングする。次に、フィルタの出力が音響経路信号から差し引かれて、音響エコーの線形部分がほぼ除去された「クリーンな」信号出力が生成される。ＡＥＣブロックはまた、非線形音響アーチファクトを含む残留信号を計算する。この信号は、入力信号をさらに回復する残留エコー・キャンセレーション・ブロック（ＲＥＳ）に伝送される。信号は次に（任意選択で）ノイズ低減機能に通されて、本発明では遠隔ロケーションである出力が生成される。フィルタは、遠端の入力に無関係な音声を音響経路内で検出すると、適応を一時中断する。これによって音声入力を遠端の出力に追加することが可能になる。

たとえば、ハンズ・フリー・システムまたはスピーカーフォンの場合、人がマイクロフォンに直接話すと適応が一時中断する。遠端にいる人は、近端空間における遠端からのエコーおよび残響ではなく、ローカル話者の声のみを聞く。これは、通信チャネルを通じた明瞭な全二重コンバージョンにとって絶対的に必要である。

ライブおよび対話型の音響ビデオ・ストリームで使用されるコーデックが、４ｍｂ／秒を使用して毎秒少なくとも５０フレームという１０８０ ＨＤのディスプレイのフレーム・レートをサポートする８０ミリ秒（ｍｓ）～８００ｍｓの、あるいは、全身ＨＤ画像に対して８ｍｂ／秒 １０８０ ５０ｐの望ましい信号データ・レートを接続するのに必要な帯域幅を提供する、イーサネット・ケーブル、ｗｉ－ｆｉ、衛星、ワイヤレス・セルラー４Ｇ、５Ｇ、およびさらには６Ｇの信号送信技術のいずれかを個別に、またはブレンドした形態で用いる、より高くより連続的な帯域幅の、信号リターン速度を送達することが望ましい。

Ｈ．２６４信号符号化および復号をサポートするコーデックは、単チャネルＳＤＩ、ＤＶＩ、およびデュアル・チャネルＳＤＩ構成を使用する、ライブ、対話型、および帯域幅制約対の用途に有益な場合があり、任意選択で、コーデックは、前方誤り訂正（ＦＥＣ）を用いて、または送信がフィルム取得と表示ステージとの間の公衆インターネット接続に著しく依存している場合に、調整可能な受信バッファが撮影被写体の信号速度パフォーマンスを調整することができる、セキュア・リライアブル・トランスポート（ＳＲＴ）オープン・ソース・プロトコルを使用することによって、パケット損失からの回復を提供する。

セキュア・リライアブル・トランスポート（ＳＲＴ）は、公衆インターネット接続などの予測できないネットワークを通したビデオ・ストリーミング・パフォーマンスを最適化する、オープン・ソース・ビデオ・プロトコルおよび技術スタックである。ＳＲＴの１つの主要な特徴は保証されたサービスであり、それにより、ネットワークに入る圧縮／符号化されたビデオ信号がデコーダで受信されるものと同一となって、復号プロセスが劇的に単純化される。ＳＲＴはまた、（単一のモードのみをサポートするＲＴＭＰおよびＨＴＴＰ両方と比べて）より簡単にネットワーク・ファイアウォールを横断する手段をユーザに提供する。ＳＲＴはまた、単一のＳＲＴストリーム内の複数のビデオ、音声、およびデータのストリームを合わせて、好ましくはＳＲＴゲートウェイと呼ばれる場合が多いネットワーク・クラウドを介する、マルチポイント間データ送達を含む、非常に複雑なデータ・ワークフローをサポートすることを提供する。

企業ファイアウォールは、それらの本質により、内方向のデータ・ストリームに対するゲートキーパーの形態で存在するので、低遅延ビデオ送信の内方向フローに対する一般的な妨害である。ＳＲＴを展開することで、信号脱落を緩和するプロセスが信号遅延に対する限界遅延でのみ現れる場合であっても、ネットワークの性能および利用可能な帯域幅にしたがって信号速度が最適化されるように制御することによって、信号の完全性が送信中は成功裏に保持されるという点でより堅牢になり、ならびに／あるいは、
前方誤り訂正（ＦＥＣ）またはチャネル・コーディングは、信頼できないまたはノイズがある通信チャネル、たとえば公衆インターネット接続を通じたデータ送信の誤り制御に使用される技法である。ＦＥＣの主要な原理は、送信側ロケーションからのビデオ送信データが、最も多くはＥＣＣを使用することによって、冗長な形で符号化されるというものである。

冗長性により、表示ロケーションのデコーダが、メッセージのどこかで起こり得る限定された数の誤りを検出し、また多くの場合、再送信せずにこれらの誤りを補正することが可能になる。ＦＥＣは受信側に、リバース・チャネルがデータの再送信を要求する必要なしに、固定のより高い前方チャネル帯域幅を費やして、誤りを補正する能力を与える。したがって、ＦＥＣは、一方向通信リンク、および複数の受信側にマルチキャストの状況で送信するときなど、再送信にコストがかかるかまたは再送信が不可能な状況で適用される。

あるいは、画像取得または表示ロケーションに位置し、通信ネットワークに接続された、１つまたは複数のカメラの信号送信および動作制御は、より最近のプロトコルＮＤＩ ＨＸ、ＮＤＩ ＨＸ２、最も望ましくはＮＤＩ５を含む、ネットワーク・デバイス・インターフェース（ＮＤＩ）の形態を取ることがある。ＮＤＩプロトコルは、最も一般的にはローカル・エリア・ネットワークを通じて操作されて、被写体またはパフォーマンス・ステージの画像を取得するカメラなど、ＮＤＩデバイスをより簡単に制御しモニタリングできるようにする。特に、ＮＤＩ５プロトコルは、ワイド・エリア・ネットワーク（ＷＡＮ）を通じたより効果的な動作制御、ならび音響をプロセスと統合して記録するカメラに対するサポートを提供する。

ＡＶ信号を送信するときに特に有用である、Ｈ．２６５またはＨＥＶＣプロトコルをサポートするコーデックは、私設または専用ＭＰＬＳ接続よりも公衆インターネット接続を通すことが望ましい。それは、Ｈ．２６４、ならびに／あるいは８ビットもしくは１０ビットのピクセル深度および４：２：０もしくは４：２：２のクロマ・サブサンプリングでストリームを復号できるＨ．２６４、Ｈ．２６５、およびＨＥＶＣコーデック、ならびに／あるいは合計３８４０×２１３６ピクセルになる単一の１２Ｇ ＳＤＩ信号を提供する４×３Ｇ １０８０ ＳＤＩコネクタ、および任意選択で、ピクセル幅１０８０×ピクセル高さ１９２０の信号のフレームＨＤに配置されたＬＥＤスクリーンに前方表示するようにビデオ・プロセッサ／スケーラを通して個々の信号が構成されるかもしくは後で処理される、２つ以上の３Ｇ １０８０ ＳＤＩコネクタを備える、４Ｋコーデック、ならびに／あるいはピクセル高さ１０８０でピクセル幅１９２０の信号の１つまたは複数の個々のＨＤと併せて、と比較したときにＨＥＶＣがビデオ品質を維持したまま帯域幅要件を最大５０％低減することができるためである。

この複数カメラの実施形態の１つの利点は、複数のＨＤカメラを、複数の３Ｇ ＳＤＩ入力を備えた単一のコーデックによって処理できる点であり、個々のビデオ信号は、単一の４ｋビデオ・コーデックおよび任意選択で単一のビデオ／音響エンベダーを使用して、４つの別個の信号とともに送信される、ＨＤ１０８０の解像度であり、それにより、複数の独立したコーデックを使用して複数の独立したＨＤ信号を送信するのと比較して、より正確な同期されたビデオ／音響精度またはプログラミングされたタイミング遅延がもたれされる。

コーデックはネットワーク・ルータに接続され、ネットワーク・ルータは、イーサネット・ケーブルを介して、または５Ｇワイヤレス・ルータおよび５Ｇデータ・シム・カードを通してワイヤレスで、高速アップロードおよびダウンロード・ネットワークに接続されて、公衆ネットワークまたは私設仮想ネットワークのどちらかを通じて、音響／ビデオ信号を撮影スタジオまたは表示ステージのそれぞれに送信する。

コーデックは、符号化または復号前に、音響およびビデオ信号をともに埋め込むように備えられてもよいが、任意選択で、かつ好ましくは、画像キャプチャ・ステージとの間で転送される音響およびビデオ・ストリームを埋め込み、ペッパーズ・ゴースト表示のインテリジェントなリップ・シンクおよび撮影被写体への観衆リターン・フィード信号を維持するために、表示ステージとの間でやり取りされる入ってくる音響ビデオ・ストリームを取り出すことができる、デバイスに接続される。好ましくは、ロケーションにかかわらず、埋め込まれた音響はテレプレゼンス・ディスプレイで使用される。

フレーム・シンクロナイザ３２１８は、１つまたは複数のカメラを使用して１つまたは複数のロケーションで取り込まれる、ならびに／あるいは１つまたは複数の被写体フィルムが１つもしくは複数の異なるロケーションから発生する、または１つもしくは複数の表示デバイスを使用して１つのロケーションにおいて表示される、ビデオ／音響の埋め込みおよび取り出しに使用されてもよい。フレーム・シンクロナイザ３２１８は、入ってくるビデオおよび音響のソースを既存のビデオ・システム（コーデックを含む）のタイミングに同期させて、音響／ビデオ・ディスプレイが音楽もしくは律動的クリック・トラックまたはゲンロック信号と共通の時間基準で働くことを担保する、既存の音楽または律動的クリック・トラックなど、音響／ビデオ・ディスプレイがビデオ・タイムコードまたはライブ・パフォーマンスで適用されるタイムコードと共通の時間基準で働くことを担保する。

フレーム・シンクロナイザ３２１８はまた、基準としての各ビデオ信号入力に対してアップ／ダウン／クロス・コンバージョンを提供してもよく、１０８０ｉから７２０ｐ、もしくは７２０ｐから１０８０ｐへのコンバージョンを可能にし、ならびに／あるいは５ミリ秒～１，０００ミリ秒（１秒）の個々の音響チャネル遅延調節、および任意選択で、各音響グルーピングに対する集合的な遅延調節を有する音響信号処理能力を提供し、ならびに／あるいは最大遅延１２フレームまたは５００ミリ秒の調節を提供する、フレーム・バッファを装備したビデオ信号処理能力を提供し、ならびに／あるいは３Ｇ／ＨＤ（同期／非同期）ビデオまたはＳＤ－ＳＤＩ＊（同期）入力のラインごとの埋込音響信号を提供し、ならびに／あるいはカメラ画像上のマイクロフォンなどの外部音源を重畳する埋込音響信号および／またはサンプリング・レート変換器と組み合わせて、音響－デジタルおよびデジタル－音響コンバージョン、ＭＵＸ／ＤＥＭＵＸ、および再マッピングを提供する。

外部ＬＴＣタイム・コードを挿入するのに加えて、選択された各チャネルがタイムコードを挿入するかまたはタイムコード・チャネルをまとめて迂回できるようにする、内部タイム・コード生成器を提供し、ならびに／あるいは音響／ビデオ・ディスプレイが既存のビデオ・ディスプレイの色パントーンおよび飽和と一致することを担保するために、正確な色忠実度を提供するＨＤＲ（ハイ・ダイナミック・レンジ）処理、および半透明スクリーンを備える表示デバイスのための正確な色の制御など、カメラと表示デバイスとの間の制御のため、ログ・ガンマ曲線を登録し、ならびに／あるいは音響／ビデオ・ディスプレイがＩＴＵ－Ｒ ＢＴ．２０２０ＷＣＧ（広色域）仕様と一致することを担保して、ライブ・タレント・パフォーマンスに対する色パントーンおよび飽和の制御を提供する、ＨＤＲ（ハイ・ダイナミック・レンジ）処理のため、ログ・ガンマ曲線を登録し、ならびに／あるいはディスプレイのホワイト・バランスを崩さずに、カメラ出力信号に色忠実度補正を提供し、ならびに／あるいはビデオ信号色をモノトーンまたはセピアに変換し、ならびに／あるいは任意のＳｏｎｙ Ｃａｍｅｒａ ＯｕｔｐｕｔからのレベルＢ ３Ｇビデオ信号を、様々なデバイスで発生する信号フォーマットを統一するようにアップ／ダウン／クロス／アスペクト・コンバータとして定義される、レベルＡ ３Ｇ信号に変換する。

フレーム・シンクロナイザ３２１８は、リアル・タイム低遅延処理および色忠実度が求められる、４×１０８０ｐまたは２１６０ｐ、４Ｋ（ＱＦＨＤ）ビデオ・プロセッサとしての働きを提供してもよく、４Ｋ対応フレーム・シンクロナイザ３２１８、ならびに４Ｋ色補正器として操作されてもよい。

フレーム・シンクロナイザ３２１８は、同軸ケーブルおよび任意選択でファイバー・ケーブルの選択肢の範囲にわたる、ＨＤＭＩ（登録商標） ｖ２．０ｂ／ＣＴＡ－８６１－Ｇ、クアッド１．５Ｇ、デュアル３Ｇ、ならびにクワッド３Ｇ、６Ｇ、および１２Ｇを含む、４Ｋ／超ＨＤディスプレイに対する入力および出力信号の選択肢のフル・レンジを装備してもよい。

フレーム・シンクロナイザ３２１８のシステム機能は、ネットワーク接続を介して全体的に遠隔で動作可能であってもよい。

システムの考察
本発明の一態様によれば、１つまたは複数の被写体のライブおよびオン・デマンドの音響／ビデオ画像を同時に取得するシステムが提供され、システムは、１つまたは複数のカメラと、黒色、青色、緑色、もしくは銀色のスクリーンの正面に配置構成されたステージ・ライザと、被写体の正面を照射する１つもしくは複数の第１の照明、および被写体の後部および／または側部を照射する１つもしくは複数の第２の照明を有し、被写体の輪郭を照射するように操作される照明構成とを備える。

１つまたは複数のカメラは、ズーム・レンズを装備するか、または好ましくは３５ｍｍ～５０ｍｍの固定プライム・レンズを装備してもよい。カメラは、１０８０ＨＤのインターレース方式もしくはプログレッシブ方式信号、またはＵＨＤ３８４０×２１６０ピクセル、または毎秒２４～１２０フレームの７６８０×４３２０のプログレッシブ方式で、画像を取得してもよい。カメラは、光強度を補償する調節可能な絞り設定を装備し、黒色である特定の閾値未満の強度を有する照明を処理するように配置構成されてもよい。カメラは、好ましくは、ストロボ照明またはシャッター撮影した外観がない撮影被写体のフルイド・モーションを提供する手段として、投影フィルムに現れる被写体の画像に対して被写体ぶれを適用する可変シャッター角度を装備してもよい。最適には、シャッター角度は、毎秒２４フレームで撮影する場合は１８０度に、毎秒６０フレームの１０８０ＨＤまたはＵＨＤ３８４０×２１６０または７６８０×４３２０のプログレッシブ方式で撮影する場合は２７０度に設定される。毎秒１２０フレームのさらに高速の撮影は、有利には、フィルムが露光中に照明をすべて受信する、３６０シャッターを使用してもよい。

システムは、カメラ・レンズをステージよりも少なくとも２０ｃｍ高くし、ステージよりも最大２００ｃｍ上の高さまでの垂直調節を提供する、カメラの三脚またはマウントを備える。

被写体後方の背景は、投影フィルムに現れる撮影照明の望ましくない反射を最小限に抑えるために、サージ・ウールのドレープ、またはバンタブラック（登録商標）でコーティングされたパネルなど、光吸収性または非反射性の黒色材料を備えてもよい。あるいは、背景は、送信中の背景からの被写体画像のより簡単な絵柄指定分離を提供する、緑色スクリーン、好ましくはデジタル・グリーンであってもよい。

ステージは、被写体の下半身部分および足を反射させる、マーライト・バレエ用フローリングなど、セミ・マットの黒色ビニール・フロア・トップで覆われてもよい。

照明は、被写体の下半身および足のためのウォッシュもしくはスポット・ライトおよび／または照射としてのＬＥＤパネルを含んでもよく、照射は好ましくは、床上または被写体の下に位置する照明から被写体に直接向けられる。

システムは、音響を取り込む１つまたは複数のマイクロフォンと、被写体が耳の中で音響信号を直接受信できるようにする１つまたは複数のインイヤー・モニタと、音響信号を増幅する１つまたは複数の増幅器と、音響空間内へと音響を送信する１つまたは複数の音響モニタと、音響を処理し、ＡＶ送信機器に分配する１つまたは複数の音響デスクとを備える、被写体の音響を取得する機器を備えてもよい。

音響は、任意選択で、１つまたは複数の音響・ビデオ・エンベダーおよび１つまたは複数のビデオ・音響ディエンベダーによって処理され、ユニットは、さらに詳細に後述するフレーム・シンクロナイザと一体であるか、またはＳＤＩもしくはＨＤＭＩ（登録商標）入力もしくは出力コネクタを装備したスタンドアロン型ユニットであり、エンベダーは、画像取得ロケーションで信号を符号化する前に、被写体の音響信号を被写体のビデオ信号に埋め込み、さらに表示ロケーションで信号が復号された後にビデオ信号から音響を取り出す手段を提供し、それにより、システムは音響およびビデオを正確に較正して、被写体音響に適正に同期された被写体の唇の動きを提示する。

システムは、ビデオ画像を取得するロケーションで音響ビデオ信号を符号化し、画像表示するロケーションでビデオ信号を復号する、一対または複数対のエンコーダおよびデコーダを備えてもよく、２つのロケーションはそれぞれさらに、画像取得ロケーションと表示ロケーションとの間で通信ネットワークを通じて送信するため、エンコーダおよびデコーダに接続されたネットワーク・ルータを装備する。

あるいは、遠隔会場間の送信は、ウェブベースのビデオ・コンテンツのホスティング、保存、および分配を提供する、ネットワーク・クラウド・サービスを介してもよい。任意選択で、エンコーダ／デコーダは、調節可能な受信バッファが信号速度パフォーマンスにとって最適なデータ・ストリームを調整することができる、前方誤り訂正（ＦＥＣ）またはセキュア・リライアブル・トランスポート（ＳＲＴ）オープン・ソース・プロトコルのどちらかを設計に組み込むか、またはそれらによって拡張されてもよい。

コーデックは、好ましくは、１つまたは複数の１０８０ｉ音響ビデオ信号を毎秒５０または６０フレームで、また好ましくは、３８４０×２１６０ピクセルの４×ＨＤ１０８０ｉ信号もしくは１×ＵＨＤ信号を符号化する、１つまたは複数のＳＤＩ ３Ｇ入力コネクタ、好ましくは少なくとも４入力を装備してもよい。コーデックは、好ましくは、エコー、残響、および望ましくない追加された音を、音響空間を通過する信号から除去するように設計された、音響エコー・キャンセレーション（ＡＥＣ）ブロックを装備するか、またはそこまで拡張される。

コーデックは、好ましくは、入ってくるビデオおよび音響ソースの最大５チャネルのタイミングを、既存のビデオ・システム（コーデックを含む）のタイミングに同期させる手段を提供する、フレーム・シンクロナイザを装備するかまたはそこまで拡張され、ビデオ遅延に対する利用可能な調節は、最大でチャネル当たり１２ビデオ・フレームまたは５００ミリ秒の大きい方であり、利用可能な音響遅延は８～１０００ミリ秒であって、音響／ビデオ信号が表示会場におけるパフォーマンスの一部を形成する共通の時間基準で働くことを担保する。

フレーム・シンクロナイザ３２１８は、エンコーダに送信する前に、単一の会場で取得した２つ以上のビデオ信号のフレーム・レート、フォーマット、および／または色特性を均質化する手段を提供する、特徴および機能性を備えてもよい。あるいは、複数のビデオ信号が２つ以上の取得スタジオのロケーションから表示会場まで送信される場合、フレーム・シンクロナイザは、上述したのと同様の機能を実施するために、ビデオがビデオ・プロセッサに、音響が音響デスクに送信される前に、表示会場に設置されて複数の信号をデコーダから受信してもよい。

フレーム・シンクロナイザは、１つまたは複数の画像取得ロケーションから既存の音楽または律動的クリック・トラックのタイミングに送信された、２つ以上の音響ソースを処理してもよく、パフォーマンスが複数の遠隔ロケーションから発生し、音楽または律動的クリック・トラックと共通の時間基準で働くことを担保し、最終パフォーマンスが表示ロケーションでブロードキャストされる前に、共通の時間基準に同期される。

システムは、デコーダとビデオ・ディスプレイとの間の表示会場内に位置するＢａｒｃｏ ＥｎｃｏｒｅおよびＣｈｒｉｓｔｉｅ Ｓｐｙｄｅｒ Ｘ２０などのビデオ・プロセッサ３３２０を組み込み、プロセッサが、複数の音響／ビデオ信号を１つのＡＶデバイスから別のＡＶデバイスにルーティングする切替可能なマトリックスを提供して、ヘッド・アップ・ディスプレイを提供し、ならびに／あるいは２つ以上の画像ソースのライブ・ディスプレイを合成して単一の合成画像ディスプレイとなる、アルファ・チャネル・レイヤリングを組み込み、ならびに／あるいは表示ロケーションの投影ステージを見ている１つまたは複数のカメラ信号を、表示ロケーションの観衆を見ている１つまたは複数のカメラとともにピクチャ・イン・ピクチャ（ＰＩＰ）処理し、ならびに／あるいは信号を画像サイジングし、ならびに／あるいは画像の向きを縦または横モードに配置構成し、ならびに／あるいはステージ上の撮影被写体の位置配置を制御し、ならびに任意選択で、コーデックまたは事前に記録されたメディア・プレーヤのいずれかを介してライブ信号からプロセッサの入力チャネルを介して撮影被写体表示の画像とともに３Ｄグラフィックを表示する。

ディスプレイのシステム
システムは、背景の前方のパフォーマンス・ステージ上に設置された半透明スクリーンと画像ソースとを備え、半透明スクリーンは、画像ソースによって投影されたビデオ画像を受信する、平滑で平坦な部分的に透過性の表面であり、画像ソースはプロジェクタおよび反射投影スクリーンを備え、またはビデオ壁は、部分反射画像を生成し観衆に向かって方向付けるＬＥＤパネルを備える。システムは、半透明スクリーンの後方に位置し、ステージ上または上方に設置されたＬＥＤ照明を備え、システムは、投影される被写体フィルムに対してある角度で配置された半透明スクリーンを含み、増幅された照明画像ソースは、被写体フィルムを半透明スクリーンに向かってステージの上方またはステージの下方から投影し、ステージ背景の照射は被写体および半透明スクリーンの後方に位置し、ステージ照明は、照射レベルが低減されたときに一貫した色温度を維持し、さらにはライブ被写体と投影被写体との間で色温度を均衡させる制御を提供するように装備される。

ＬＥＤ照明は、半透明スクリーンの背後のステージ後方に位置する、スポット・ライト、またはウォッシュ・ライトもしくはバトンおよび／またはパー・タイプの照明器具を含んでもよく、照明は、ステージを照射し、被写体の後方から被写体に向かって方向付けられ、フィルムを投影することによってペッパーズ・ゴースト画像を生成するように制御され、半透明スクリーンはホイルであり、たとえば、ＷＯ２００７０５２００５に記載されるようなペッパーズ・ゴースト・システムであり、ホイルに向かって方向付けられる増幅された照明画像ソースは、プロジェクタと前方または後方の投影スクリーンとを備える。

Claims (16)

1. 表示システムを備えるビデオ取得表示システムであって、該表示システムは、画像を生成および投影するためのビデオ壁を含み、該ビデオ壁は、少なくとも１つのＬＥＤパネルを備え、該ＬＥＤパネルは、該ビデオ壁によって生成される該画像に対するモアレの入射を最小限に抑えるために該少なくとも１つのＬＥＤパネルからの光を拡散させるための透明平滑表面コーティングを含み、該表示システムはさらに、フレーム内に与張されているホイル・スクリーンを含み、該ホイル・スクリーンは、該ＬＥＤパネルによって生成される該画像を反射し、該反射画像は、該ホイル・スクリーンの背後またはステージ後方に位置するステージ背景に重ね合わされるホログラムを形成する、システム。
2. 前記ＬＥＤパネルは、前記ホイル・スクリーンから少なくとも１２インチまたは２５ｃｍの距離において前記ホイル・スクリーンの最も近くに位置付けられている表示面を含む、請求項１に記載のシステム。
3. 前記透明平滑表面コーティングは、前記ビデオ壁によって生成される前記画像に対するモアレの前記入射を最小限に抑えるために前記少なくとも１つのＬＥＤパネルからの光を拡散させるための、平坦で、平滑な透明または半透明の表面を作成するために、前記ＬＥＤパネルの前記表示面に被着される透明樹脂トップ・コーティングである、請求項２に記載のシステム。
4. 前記表示システムから遠隔ロケーションにある１つまたは複数の被写体の前記画像を取り込むための撮影システムをさらに備え、該撮影システムは、
   対応する１つまたは複数の被写体の１つまたは複数の画像を取り込むように位置付けられている１つまたは複数の撮影カメラであって、該１つまたは複数の撮影カメラの各々は、該対応する１つまたは複数の被写体の向きに応じて、縦または横のいずれかの向きに向けられる、１つまたは複数の撮影カメラと、
   該１つまたは複数の撮影カメラから該取り込まれている１つまたは複数の画像を受信し、該１つまたは複数の画像をデータ・パケットに符号化し、該データ・パケットを前記表示システムに送信するように動作可能である単一のコーデック・エンコーダと
   を含む、請求項１に記載のシステム。
5. 前記表示システムの前記ビデオ壁は、前記撮影システムの対応する１つまたは複数の撮影カメラからの対応する取込み画像を各々が受信する１つまたは複数のＬＥＤパネルをさらに備え、該１つまたは複数のＬＥＤパネルの各々は、該対応する１つまたは複数の撮影カメラの縦または横のいずれかの向きをミラーリングし、該１つまたは複数の撮影カメラによって取得される該１つまたは複数の取込み画像の各々は、１０８０ＨＤ解像度ビデオであり、該１つまたは複数のＬＥＤパネルの各々は、１０８０ＨＤ解像度ＬＥＤパネルであり、結果、該１つまたは複数のＬＥＤパネルの各々が対応する該１０８０ＨＤ解像度取込み画像を前記ホイル・スクリーンに投影すると、結果もたらされる前記ホログラムは、垂直高さ解像度において最大１９２０ピクセルを有することができる、請求項４に記載のシステム。
6. 前記撮影システムは、前記１つまたは複数の撮影カメラから前記１つまたは複数の取込み画像を受信し、前記１つまたは複数の取込み画像を前記コーデック・エンコーダに送る前に、
   （ｉ）前記１つもしくは複数の取込み画像のタイミングを共通の時間基準と同期させる動作、および／または
   （ｉｉ）前記１つもしくは複数の取込み画像のタイミングをライブ・パフォーマンスの時間基準のタイミングと同期させる動作、および／または
   （ｉｉｉ）前記１つもしくは複数の取込み画像のタイミングを既存の音楽的もしくは律動的クリック・トラックの該時間基準と同期させる動作
   のうちの１つまたは複数を行うように動作可能なフレーム・シンクロナイザをさらに備える、請求項５に記載のシステム。
7. 前記１つまたは複数の取込み画像の各々は、音響構成要素および視覚構成要素を含み、前記フレーム・シンクロナイザは、前記１つまたは複数の取込み画像の該音響構成要素と該視覚構成要素の両方を、前記共通の時間基準、および／または、前記ライブ・パフォーマンスの前記時間基準、および／または、前記既存の音楽的または律動的クリック・トラックの前記時間基準に同期させるように動作可能である、請求項６に記載のシステム。
8. 前記フレーム・シンクロナイザは、
   （ｉ）前記１つもしくは複数の取込み画像の色パントーンおよび彩度が前記表示システムの既存のビデオ・ディスプレイの色パントーンおよび彩度に一致することを保証するために、前記撮影システムの前記１つもしくは複数のカメラと前記表示システムの前記１つもしくは複数のＬＥＤパネルとの間の色合わせを提供するＨＤＲ（高ダイナミックレンジ）^＊処理のための対数ガンマ曲線を登録すること、ならびに／または
   （ｉｉ）前記１つもしくは複数の取込み画像の色パントーンおよび彩度が前記表示システムの既存のライブ・パフォーマンス表示の色パントーンおよび彩度に一致することを保証するためのＨＤＲ（高ダイナミックレンジ）^＊処理のための対数ガンマ曲線を登録すること、ならびに／または
   （ｉｉｉ）前記１つもしくは複数の取込み画像がＩＴＵ－Ｒ ＢＴ．２０２０ＷＣＧ（広色域）仕様に一致することを保証するためのＨＤＲ（高ダイナミックレンジ）^＊処理のための対数ガンマ曲線を登録すること、ならびに／または
   （ｉｖ）前記表示システムのホワイト・バランスを乱すことなく１つもしくは複数の取込み画像に色補正を提供することを行うように動作可能である、請求項６に記載のシステム。
9. 前記１つまたは複数の撮影カメラの各々は、前記撮影システム内で異なる被写体の画像を取り込むように動作可能である、請求項４に記載のシステム。
10. 縦向きの１つまたは複数のカメラの各々は、対応する立っている被写体の前記画像を取り込むように動作可能であり、横向きの１つまたは複数のカメラの各々は、対応する座っている被写体の前記画像を取り込むように動作可能である、請求項４に記載のシステム。
11. 前記１つまたは複数のカメラは、互いに同じロケーションまたは互いから遠隔ロケーションにあることができる、請求項４に記載のシステム。
12. 前記表示システムは、前記ホログラムが投影される表示ステージを含み、該表示ステージは、投影されている前記ホログラムの背後に位置付けられている照明背景を含む、請求項１に記載のシステム。
13. １つまたは複数のカメラを使用して１つまたは複数のロケーション内で取り込まれる１つまたは複数の被写体の１つまたは複数の取込み音響／視覚画像の記録またはライブ送信のための方法であって、該１つまたは複数の取込み音響／視覚画像は、対応する取込み音響／視覚画像をフレーム内に予張されているホイル・スクリーンに向かって投影するために１つまたは複数のＬＥＤパネルを使用して別のロケーション内に表示され、該ホイル・スクリーンは、該１つまたは複数のＬＥＤパネルによって投影される該１つまたは複数の取込み音響／視覚画像を反射し、該反射画像は、該ホイル・スクリーンの背後またはステージ後方に位置するステージ背景に重ね合わされるホログラムを形成し、該１つまたは複数のＬＥＤパネルの各々は、該ＬＥＤパネルによって表示される該画像に対するモアレの入射を最小限に抑えるために該少なくとも１つのＬＥＤパネルからの光を拡散させるための、平坦で、平滑な透明または半透明の表面を作成するために、該１つまたは複数のＬＥＤパネルの表示面に被着される透明樹脂トップ・コーティングによって被覆され、被写体撮影信号は、
    （ｉ）該１つもしくは複数の取込み画像のタイミングを共通の時間基準と同期させ、および／または
    （ｉｉ）該１つもしくは複数の取込み画像のタイミングをライブ・パフォーマンスの時間基準のタイミングと同期させ、および／または
    （ｉｉｉ）前記１つもしくは複数の取込み画像のタイミングを既存の音楽的もしくは律動的クリック・トラックの該時間基準と同期させるために、フレーム・シンクロナイザを通じてチャネリングされる、方法。
14. 前記１つまたは複数の被写体の各々は、照明構成の下で黒色、青色、緑色または銀色スクリーンの前方で撮影され、該照明構成は、前記被写体の正面を照射するためのより多くの第１の照明のうちの１つであって、該第１の照明は、該第１の照明によって放出される光の大部分が前記被写体の後ろのバック・スクリーンによって反射されないように角度付けされる、より多くの第１の照明のうちの１つと、前記被写体の後部および／または側部を照射し、前記被写体の輪郭を照射するように動作される１つまたは複数の第２の照明とを有し、前記被写体の該輪郭を照射する該第２の照明からの照射のレベルは、該１つまたは複数の第１の照明からの照射のレベル以上であり、前記カメラはロック・オフされ、前記被写体は移動しており、該照明構成は、前記被写体が該照明構成の下で移動するときに影が前記被写体にわたって移動するようにするように構成されている、請求項１２に記載の方法。
15. 前記１つまたは複数のカメラの各々からの前記取込み画像は、対応するＬＥＤディスプレイに提供され、該ＬＥＤディスプレイから表示される、請求項１２に記載の方法。
16. 前記１つまたは複数のカメラの各々は、縦または横のいずれかの向きに向けられ、前記１つまたは複数のＬＥＤパネルの各々は、対応する前記１つまたは複数のカメラに一致する向きを有する、請求項１３に記載の方法。