JP7309148B2 - ホール用表示システム及びこれを用いて行うイベントの実施方法 - Google Patents

Description

本発明は、ホール用表示システム及びこれを用いて行うイベントの実施方法に関する。さらに詳しくは、ホールにおいて動作するアニメーションのキャラクターをメインキャラクター映像として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されてメインスクリーンと異なる映像を表示可能なサブスクリーンと、前記メインスクリーン及び前記サブスクリーンの映像を生成するコンピュータとを備えたホール用表示システム及びこれを用いて行うイベントの実施方法に関する。

３Ｄ画像を表示するホール用表示システム及びこれを用いて行うイベントの実施方法としては、次の特許文献１の如きものが存在している。この劇場システムでは、メインスクリーンにおいて、ホログラムの前方スクリーンと後方スクリーンの組み合わせで臨場感を得ることを目的としている。一方、近年、さらなる臨場感を求め、メインスクリーンの横にサブスクリーンを設け、例えばキャラクターを異なる角度で表示することで、臨場感を向上させる試みがなされている。

特表２０１７－５０９０２７号公報

かかる従来の実情に鑑みて、本発明は、さらに臨場感の高まるホール用表示システム及びこれを用いて行うイベントの実施方法を提供することを目的とする。

上記目的を達成するため、本発明に係るホール用表示システムの特徴は、ホールにおいて動作するアニメーションのキャラクターをメインキャラクター映像として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されてメインスクリーンと異なる映像を表示可能なサブスクリーンと、前記メインスクリーン及び前記サブスクリーンの映像を生成するコンピュータとを備えた構成において、前記両スクリーンを見る観客の客席を撮影する第一カメラをさらに有し、前記キャラクターは身体の一部に映像として表示される第二カメラを有し、前記第二カメラの仮想視野に入る前記客席の範囲を前記第一カメラによる映像から選択映像として選択し、前記選択映像を前記サブスクリーンに表示することにある。

上記特徴構成によれば、観客は、第一カメラにより撮影された客席の映像に映る。一方で、キャラクターは、身体の一部に映像として表示される第二カメラを有する。よって、キャラクターが自身が所持する第二カメラで客席（観客）を撮影する動きをした際に、第二カメラの仮想視野に入る客席の範囲を第一カメラによる映像から選択映像として選択することで、キャラクターがあたかもリアルタイムで客席（観客）を撮影したかの如き映像を生成することができる。そして、その選択映像をサブスクリーンに表示するので、臨場感を向上させることができ、キャラクターと観客との一体感も増す。

上記構成において、前記客席からは見えない場所に、アクターの動作するスペースと、前記アクターの身体に装着するマーカーと、同アクターの動作を前記マーカーによりキャプチャするモーションキャプチャ装置とをさらに備え、前記コンピュータはキャプチャされたアクターの動作と連動するキャラクタ映像をリアルタイムに生成するレンダリング機能を備えており、前記第二カメラはこのカメラが表示される近傍に存在する前記アクターのマーカーを基準に映像として生成され、前記仮想視野は当該マーカーを基準に決定されるとよい。これにより、メインキャラクター映像とキャラクターの第二カメラで撮影された選択映像との違いによる違和感を抑えられるので、選択映像のリアリティが増し、臨場感をさらに向上させることができる。

上記いずれかの構成において、前記サブスクリーンには、前記第二カメラの仮想視野の前記客席の映像が表示されるものであるとよく、また、前記サブスクリーンには、前記第二カメラの仮想視野の前記客席の映像及び前記仮想視野に含まれる前記キャラクターの映像が共に表示されるもの（所謂、自撮り映像）であってもよい。特に、自撮り映像では、キャラクターと共に観客が映るので、一体感やライブ感が高まる。

上記いずれかの構成に加え、前記サブスクリーンに表示される前記客席の映像として前記メインキャラクター映像の表示される基準となる実時刻Ｔ０より微小時間Δｔだけ遅延した過去時刻（Ｔ０－Δｔ）の映像を用い、前記サブスクリーンの映像は実時刻Ｔ０より微小時間Δｔだけ遅延した過去時刻（Ｔ０－Δｔ）の映像を用いるものであるとよい。これにより、観客は実時刻Ｔ０のメインキャラクター映像と、過去時刻（Ｔ０－Δｔ）の選択映像を同時に見ることとなる。実時刻と過去時刻とを同時に見ると共に、サブスクリーンに遅れた映像が現れることで、中央からサブへと人の注意が移り、その効果によって、空間的な広がり、臨場感をより一層感じるようになる。

前記メインスクリーンは、ステージ上に傾斜配置されホログラム映像を表示するホログラム再生スクリーンと、ステージ背面に配置される背面スクリーンとを備え、これら両スクリーンの合成画像を観客に表示するものであるとよい。

前記サブスクリーンは、少なくとも前記メインスクリーンの左右及び／または上に配置されているとよい。これにより、左右及び／または左右への広がりを持たせることができる。

また、上記目的を達成するため、本発明に係るイベントの実施方法の特徴は、ホールにおいて動作するアニメーションのキャラクターをメインキャラクター映像として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されてメインスクリーンと異なる映像を表示可能なサブスクリーンと、前記メインスクリーン及び前記サブスクリーンの映像を生成するコンピュータとを備えたホール用表示システムを用いて行うイベントの実施方法において、前記両スクリーンを見る観客の客席を撮影する第一カメラをさらに有し、前記キャラクターは身体の一部に映像として表示される第二カメラを有し、前記第二カメラの仮想視野に入る観客席の範囲を前記第一カメラによる映像から選択映像として選択し、前記選択映像を前記サブスクリーンに表示することにある。

上記本発明に係るホール用表示システム及びこれを用いて行うイベントの実施方法の特徴によれば、さらに臨場感の高まるホール用表示システム及びこれを用いて行うイベントの実施方法を提供しえるに至った。

本発明の他の目的、構成及び効果については、以下の発明の実施の形態の項から明らかになるであろう。

本発明のホールにおける構成を示す斜視図である。 ステージ周りの概略の構成を示す側面図である。 本発明のシステム構成を示す図である。 メインスクリーンの映像を示す図である。 サブスクリーンに映し出される撮影映像を示す図である。 サブスクリーンに映し出される自撮り映像を示す図である。 メイン、サブスクリーンにおけるキャラクターの姿勢と時間との関係を示す図である。 キャラクターが客席を撮影する場合のアクターの状態を示す図である。 キャラクターが客席を撮影する様子を示す図である。 客席の映像とキャラクターとの撮影画像との関係を示す図である。 キャラクターが客席を撮影する場合のフロー図である。 キャラクターが自撮りする場合の図６Ａ相当図である。 キャラクターが自撮りする場合の図６Ｂ相当図である。 キャラクターの映り込み映像を示す図である。 キャラクターが自撮りする場合のフロー図である。 ホールにおける構成の第２の実施形態を示す斜視図である。 ホールにおける構成の第３の実施形態を示す斜視図である。 ホールにおける構成の第４の実施形態を示す斜視図である。 （ａ）はステージ周り概略構成の第５の実施形態を示す側面図、（ｂ）は（ａ）の平面図である。 ステージ周り概略構成の第６の実施形態を示す平面図である。 ステージ周り及び客席の概略構成の第７の実施形態を示す平面図である。

次に、適宜添付図面を参照しながら、本発明をさらに詳しく説明する。
本発明に係るホール用表示システム１は、図１～３に示すように、大略、メインスクリーン２、左右一対のサブスクリーン３、実照明器具４、スピーカー６、両スクリーン２，３を見る観客の客席ＡＵの映像を撮影する第一カメラ１１、コンピュータ５０をホールＨまたはその近くに備えている。

ホール用表示システム１は、さらに第三カメラ１３及びマイク１４をホールＨとは別室に備えている。第三カメラ１３は、客席ＡＵからは見えない隔離スペースＳに設置され、身体に複数のマーカーｍを装着したアクターＡＣの動作を撮影し、モーションキャプチャモジュールＭＣ５１に送る。マイク１４は、声優またはボーカリストの声を録音しリップシンクモジュールＬＳ５４に送る。

ホールＨに設置されるメインスクリーン（メインスクリーン装置）２は、ステージＳＴに斜めに設置されるホログラム再生スクリーン２ａ、ステージＳＴの背面に設置される背面スクリーン２ｂ、ホログラム再生スクリーン２ａに映像を映すホログラムプロジェクタ２ｃ、背面スクリーン２ｂに映像を映す背面プロジェクタ２ｄを備えている。背面スクリーン２ｂの映像は、ホログラム再生スクリーン２ａを透過して、このホログラム再生スクリーン２ａの映像と共に合成されて客席ＡＵから見える。

一方、各サブスクリーン（サブスクリーン装置）３は、左右の横第一スクリーン３ａ１及び横第二スクリーン３ａ２（横スクリーン３ａ）と、これら両横スクリーン３ａにそれぞれ映像を映す第一サブスクリーンプロジェクタ３ｂ１及び第二サブスクリーンプロジェクタ（後者は図示省略、両方併せてサブスクリーンプロジェクタ３ｂ）を備えている。

第一カメラ１１は、例えば、ホログラム再生スクリーン２ａ及び背面スクリーン２ｂよりも客席ＡＵに近い位置で客席ＡＵに対し真正面から相対（正対）して配置（固定）され、客席ＡＵ全体が大凡含まれる範囲（視野）を撮影する。客席ＡＵの真正面から客席ＡＵ全体を撮影するので、後述する選択映像ＭＳＩにおいて、客席ＡＵの映像ＢＳＩとの差異や歪みが生じにくくなり、選択映像ＭＳＩの違和感も解消される。また、第一カメラ１１は大部分の客席ＡＵをカバーするので、選択映像に映らない客席ＡＵの部分（範囲）が減ることで観客の多くに選択映像に映る機会を与えることができ、臨場感及び一体感も増す。第一カメラ１１には、例えば広角カメラが用いられる。また、本発明において、キャラクターＣＨは、第二カメラとしての仮想カメラＣＡを有し、客席ＡＵを撮影する動作を行う。

コンピュータ５０は、モーションキャプチャモジュールＭＣ５１、リアルタイムレンダリングモジュールＲＲ５２、映像合成モジュールＩＭ５３、リップシンクモジュールＬＳ５４、バックステージイメージ生成モジュールＢＩ５５、バーチャルライトイメージ生成モジュールＶＬ５６、リアルライトコントローラＲＣ５８、音楽生成モジュールＳＧ５９、各モジュールの時点合わせの基準となるタイムマネジメントコントローラＴＭ６０を備えている。

モーションキャプチャモジュールＭＣ５１は、第三カメラ１３より撮影されたアクターＡＣの動作を分析し、リアルタイムレンダリングモジュールＲＲ５２において動作するキャラクターの３Ｄ映像を生成する。第三カメラ１３は複数台備えられており、アクターＡＣを異なった角度から撮影し、モーションキャプチャーを行う。通常は、正面の第三カメラ１３の撮影方向がメインキャラクターを生成する際の基本方向視Ｄ１となる。

バーチャルライトイメージ生成モジュールＶＬ５６はバーチャル空間での照明のイメージ像を作成し、リアルライトコントローラＲＣ５８と相まって光の情報をバックステージイメージ生成モジュールＢＩ５５とリアルタイムレンダリングモジュールＲＲ５２に送り、照明の状態と矛盾しない陰影付きの映像を生成する。実照明光制御部ＲＬ６１はリアルライトコントローラＲＣ５８に制御され、実照明器具４を動作させてホールＨ内の実照明を行う。

第一カメラ１１により撮影された客席ＡＵの映像ＢＳＩは、映像合成モジュールＩＭ５３で仮想カメラＣＡの仮想視野ＶＳの範囲でトリミング（選択）され、キャラクターＣＨが撮影した撮影映像ＭＳＩ１としてサブスクリーンプロジェクタ３ｂで横スクリーン３ａに映される。後述する自撮りの場合、上記と同様にトリミングされた客席ＡＵの映像（後述するサブ背景映像ＢＳＩ２）は、さらに先のリアルタイムレンダリングモジュールＲＲ５２のサブキャラクター映像ＳＩと合成され、キャラクターＣＨの自撮り映像ＭＳＩ２としてサブスクリーンプロジェクタ３ｂで横スクリーン３ａに映される。一方、ホログラム再生スクリーン２ａ、背面スクリーン２ｂには、リアルタイムレンダリングモジュールＲＲ５２の映像が、それぞれホログラムプロジェクタ２ｃ、背面プロジェクタ２ｄによりメインキャラクター映像ＭＩとして映し出される。

リップシンクモジュールＬＳ５４はマイク１４により録音した声優等の音声を上記メインキャラクター映像に合わせて遅延させる。また、音楽生成モジュールＳＧ５９は、ＢＧＭや効果音を生成し、これらのＢＧＭ等はマイク１４の音声と共にサウンドシステム６２を通じてスピーカー６によりホールＨに流される。

図１，５に示すように、メインスクリーン２には、キャラクターＣＨ（髪の毛ありＣＨ－Ａ、髪の毛無しＣＨ－Ｂ）が映し出されている。これに対し、左右一対のサブスクリーン３には、図１，４Ｂ，Ｃに示すように、選択映像ＭＳＩとしてキャラクターＣＨ（ＣＨ－Ａ，ＣＨ－Ｂ）が仮想カメラＣＡで撮影した映像ＭＳＩ１，ＭＳＩ２が映し出されている。なお、同図の例は、左右一対のサブスクリーン３に異なる映像を表示させているが、もちろん同じ選択映像ＭＳＩを表示させてもよい。

メインスクリーン２の映像を詳述すると、図４Ａに示すように、メインキャラクター映像ＭＩは、メインキャラクター本体映像ＭＩ１及びメインキャラクターの陰影ＭＩ２とよりなる。さらにこれにメイン背景映像ＢＭＩが加わり、メイン合成映像ＭＭＩができる。

一方、図４Ｂに示す例では、横第一スクリーン３ａ１には、キャラクターＣＨが撮影した客席ＡＵの映像が撮影映像ＭＳＩ１として映し出されている。また、図４Ｃに示す例では、横第二スクリーン３ａ２には、キャラクターＣＨが客席ＡＵをバックに自撮りした自撮り映像ＭＳＩ２が映し出されている。この自撮り映像ＭＳＩ２において、サブキャラクター映像ＳＩは、サブキャラクター本体映像ＳＩ１及びサブキャラクターの陰影ＳＩ２よりなる。そして、さらにサブ背景映像（客席ＡＵの映像の一部）ＢＳＩ２が加わることにより、自撮り映像ＭＳＩ２ができる。

メインスクリーン２におけるメイン合成映像ＭＭＩは、基本方向視Ｄ１でレンダリングされたキャラクターを利用している。この基本方向視Ｄ１は、第三カメラ１３の方向視と一致する場合もあれば異なる場合もある。一方、基本方向視Ｄ１とは異なる方向視Ｄ２は、たとえば第一カメラ１１の方向視Ｄ３を用いることができる。よって、自撮りしているキャラクターＣＨはメインスクリーン２では客席ＡＵに対し後ろ向きであるが、サブスクリーン３では前向きとなる。

ここで、図６，７を参照しながら、キャラクターＣＨの撮影映像ＭＳＩ１の生成について詳述する。
キャラクターＣＨ（ＣＨ－Ａ）が自身の体の前で仮想カメラＣＡである第二カメラを客席ＡＵに向けた場合、その映像には客席ＡＵのみが写される。この客席ＡＵの映像ＢＳＩには、第一カメラ１１の映像が用いられる（ステップＳ１１，１２）。

例えば、キャラクターＣＨ（ＣＨ－Ａ）が仮想カメラＣＡである第二カメラとしてスマートフォンＳＰを手に持って撮影する場合、図６Ａ，６Ｂに示すように、仮想カメラＣＡの位置（ｘ，ｙ，ｚ）は、仮想カメラＣＡに最も近いアクターＡＣの腕のマーカーｍ０の位置（ｘ０，ｙ０，ｚ０）を基準にスマートフォンＳＰ及びキャラクターＣＨの設定寸法から算出される。アクターＡＣが、実際にスマートフォンを持つ必要はない。そして、カメラＣＡの位置に仮想視野ＶＳを付与することで、図６Ｃに示す如く、第一カメラ１１の映像ＢＳＩにおけるトリミング範囲ＴＲ（ＴＲ１）が決定される。トリミング範囲ＴＲは、映像ＢＳＩの平面位置情報であるので、ｘ座標（ステージＳＴの幅（横）方向）及びｚ座標（鉛直方向）で表される（ステップＳ１３）。そして、この平面位置情報に基づいてトリミングされた映像ＭＳＩ１（ステップＳ１４）が、サブスクリーン３に表示される（ステップＳ１５）。

次に、図８，９を参照しながら、キャラクターＣＨ（ＣＨ－Ｂ）の自撮り映像ＭＳＩ２の生成について詳述する。
キャラクターＣＨが自身の背中を客席ＡＵに向けて自撮りした場合、その映像には客席ＡＵ及びキャラクターＣＨの体の一部が写される。客席ＡＵの映像としてのサブ背景映像ＢＳＩ２には、上述と同様に第一カメラ１１の映像ＢＳＩを図６Ｃのトリミング範囲ＴＲ（ＴＲ２）でトリミング（ステップＳ１１～１４）した映像が用いられる。

ここで、カメラＣＡの位置（ｘ’，ｙ’，ｚ’）は、上述と同様に基準マーカーｍ０’の位置（ｘ０’，ｙ０’，ｚ０’）を基準に算出される（ステップＳ２１）。また、映り込む身体の位置情報は、図８Ｃの例では、腕の位置、顔及び身体の位置情報を含み、先のｘ座標及びｚ座標にｙ座標（ステージＳＴの前後方向）を加えた３次元位置情報である（ステップＳ２２，２３）。この位置情報は、アクターＡＣの各マーカーｍの位置情報に基づく。そして、これらの３次元位置情報に基づき、仮想カメラＣＡの仮想視野ＶＳに映り込むキャラクターＣＨの部分（範囲）が決定され（ステップＳ２４）、当該部分がレンダリング処理され、サブキャラクター映像ＳＩを生成する（ステップＳ２５）。そして、トリミングされたサブ背景映像ＢＳＩ２とレンダリング処理されたキャラクターＣＨのサブキャラクター映像ＳＩとが合成された自撮り映像ＭＳＩ２（ステップＳ２６）が、サブスクリーン３に表示される（ステップＳ２７）。

図１において、実照明器具４からは、実照明光Ｌ１が客席ＡＵ、ステージＳＴ並びにキャラクターＣＨに照射されている。

図１，３～５に示すように、メインスクリーン２では実時刻Ｔ０のキャラクターＣＨが映し出されている。これに対し、サブスクリーン３では、微小時間Δｔだけ遡った過去時刻（Ｔ０－Δｔ）のキャラクターＣＨが撮影した映像ＭＳＩ１，２が映し出されている。これら各スクリーンの映像は、各時刻に合わせた実照明器具４の実照明光Ｌ１の情報に基づき陰影や背景が生成される。

映像ＭＳＩ１，２における客席ＡＵの映像ＢＳＩ１，２も、微小時間Δｔだけ遡った過去時刻（Ｔ０－Δｔ）の映像が用いられている。そして、特に、自撮り映像ＭＳＩ２の場合、サブキャラクター映像ＳＩも過去時刻（Ｔ０－Δｔ）のものを用いているので、照明光の色が異なる等の矛盾も生じなく、観客はとても自然な感覚をもってサブスクリーン３の映像を受け入れるため、臨場感が自然に認識されることとなる。図５の例では、実時刻（Ｔ０）のキャラクターＣＨは、過去時刻（Ｔ０－Δｔ）での自撮りの姿勢から客席ＡＵに身体を向ける途中の体勢であり、図中の破線の円で囲まれたキャラクターＣＨがスクリーンに映し出される。

ところで、客席ＡＵの映像ＢＳＩ１，２は、ハードウエアの性能上、微小時間Δｔの遅延を生じる可能性がある。自撮り映像ＭＳＩ２の場合、ハードウエアの性能に合わせて、サブキャラクター映像ＳＩも微小時間Δｔだけ遡った過去の映像を用いても良く、微小時間Δｔをハードウエアの遅延の映像合成モジュールＩＭ５３のソフトウエア遅延とで調整してもよい。微小時間Δｔは望ましくは０．１秒～０．５秒とすると好適に実施可能である。０．１秒以上あれば映像の違いを認識でき、０．５秒を超えると不自然に感じられるからである。

メインスクリーン２には、メインキャラクター本体映像ＭＩ１、メインキャラクターの陰影ＭＩ２及びメイン背景映像ＢＭＩが合成されて表示される。これらの要素は、ホログラム再生スクリーン２ａ、背面スクリーン２ｂに次のような組み合わせで表示されうる。
ケース１）ホログラム再生スクリーン２ａ；メインキャラクター本体映像ＭＩ１、背面スクリーン２ｂ；メインキャラクターの陰影ＭＩ２及びメイン背景映像ＢＭＩ
ケース２）ホログラム再生スクリーン２ａ；メインキャラクター本体映像ＭＩ１及びメインキャラクターの陰影ＭＩ２、背面スクリーン２ｂ；メイン背景映像ＢＭＩ
ケース３）ホログラム再生スクリーン２ａ；メインキャラクター本体映像ＭＩ１、メインキャラクターの陰影ＭＩ２及びメイン背景映像ＢＭＩの一部（ＢＭＩ１）、背面スクリーン２ｂ；メイン背景映像ＢＭＩの残余（ＢＭＩ２）
これらの映像のスクリーン割り付けは適宜必要に応じて採用される。

なお、上記では、アクターＡＣの動作するスペースやモーションキャプチャ装置を設けた。しかし、図３に示すように、上記イベントの実施の映像、音響、照明等のコントロールを全てレコーディングモジュールＲＳ５７に記録し、これを再生させることによりイベントを実施してもよい。

さらに、レコーディングモジュールＲＳ５７に記録された自撮り映像ＭＳＩ２等の選択映像を、例えば、客席ＡＵの観客の携帯端末等に送信（配信）したり、ＳＮＳ（ソーシャル・ネットワーキング・サービス：Social Networking Service）等のネットワーク上にリアルタイムで投稿（発信）するようにしてもよい。これにより、客席ＡＵにいる観客以外のファンとも一体感が得られる。

次に、本発明の別実施形態について説明する。上記第一実施形態と同様の部材には同一の符号を附してある。
上記実施形態において、仮想カメラＣＡをスマートフォンＳＰとしたが、これに限られるものではなく、各種の撮影機器でも同様に適用可能である。また、スマートフォンＳＰを手に持つ例を示したが、キャラクターＣＨの他の部位でもよく、さらに自撮り棒等の他の撮影道具を用いる撮影手法でも構わない。

上記実施形態において、第一カメラ１１を客席ＡＵとステージＳＴの間に配置した。しかし、客席ＡＵ全体をほぼ網羅して撮影できるのであれば、第一カメラ１１の位置はこれに限られない。例えば、メインスクリーン２（ホログラム再生スクリーン２ａ）の上方又は後方で客席ＡＵの真正面から客席ＡＵ全体を撮影するように第一カメラ１１を固定してもよい。この位置であれば、第一カメラ１１の位置とメインスクリーン２に映し出されるキャラクターＣＨの位置が客席ＡＵに対しほぼ同じとなるので、自撮り映像ＭＳＩ２のリアリティが増す。但し、第一カメラ１１にメインスクリーン２に映し出されるキャラクターＣＨが映り込まないようにしなければならない。

上記実施形態では、サブスクリーン３として、左右一対の横スクリーン３ａ（３ａ１，３ａ２）を設けたが、図１０の如く、さらにメインスクリーン２の上の上スクリーン３ｃを追加して設けてもよい。この例では、図６ｃのトリミング範囲ＴＲ３の映像が用いられる。また、図１１の如く、左右一対の横スクリーン３ａ（３ａ１，３ａ２）を設けずに、左右一対の上スクリーン３ｃ（３ｃ１，３ｃ２）を設けてもよい。なお、これら上スクリーン３ｃには、それぞれ対応するプロジェクタが設けられるが、図示省略し、以下同様とする。

上記実施形態では、メインスクリーン２に映すメイン合成映像ＭＭＩに実時刻Ｔ０のもの、左右のサブスクリーンに映す選択映像ＭＳＩに過去時刻（Ｔ０－Δｔ）のものを用い、スクリーン間の時刻の違いを二段階とした。しかし、３つのスクリーン間の時間を３段階に変えても良い。例えば、メインスクリーン２に実時刻、一方のサブスクリーン３に未来時刻、他法のサブスクリーン３に過去時刻を用いたり、現在、過去、さらに過去等、複数の時刻のものを用いても良い。スクリーンの数と時刻の切り替えは３以上の複数であってもよい。

図１２の別実施形態では、左右一対の横スクリーン３ａ（３ａ１，３ａ２）のほかに、左右一対の上スクリーン３ｃ（３ｃ１，３ｃ２）を設けている。そして、左右一対の上スクリーン３ｃ（３ｃ１，３ｃ２）には時刻Ｔ０－２Δｔの過去の映像（ＭＳＩ１’，ＭＳＩ２’）を、左右一対の横スクリーン３ａ（３ａ１，３ａ２）には時刻Ｔ０－Δｔの過去の映像（ＭＳＩ１，ＭＳＩ２）を映している。その他、上記の横スクリーン３ａと上スクリーン３ｃの時刻をこれらと逆にしたり、全てのサブスクリーンを同じ時刻にする他、サブスクリーンの時刻を適宜変化させて選択することができる。

図１３の別実施形態では、ステージＳＴ上に上述のメインスクリーン２及びサブスクリーン３が背中合わせでさらに１対設けられている。例えば、ホログラム再生スクリーン２ａは、符合２ａａ，２ａｂと表示されるように、符合の最後のアルファベットがａの第１の組とｂの第２の組の部材をそれぞれ設けている。また、左右一対の第１横スクリーン３ａａ（３ａ１ａ，３ａ２ａ）、左右一対の第２横スクリーン３ａｂ（３ａ１ｂ，３ａ２ｂ）には、それぞれ横スクリーンを上下左右に移動させるスクリーン駆動装置７０を設け、音と映像に合わせて、サブスクリーン３ａを上下及び左右に移動させる。

図１４の別実施形態では、ステージＳＴ上に上述のメインスクリーン２及びサブスクリーン３（３ｃのみ）が背中合わせで９０度ずつ変移させて４組設けられている。第１～第４の組において、符合の最後のアルファベットをａ～ｄにより各組を識別している。これらの配置では、周囲３６０度の範囲から観客はスクリーン２，３を見ることができ、例えば、アリーナの中央にこれらのステージＳＴを設けることで、より多くの観客をメインスクリーン２に近い位置に着席させることが可能となる。この場合、第１～第４の組において、同じ時刻の映像を映す他、第１～第４の組において、時刻をずらせた映像を映しても構わない。

図１５の別実施形態では、ステージＳＴの横に設けられた左右一対の第１横スクリーン３ａ（３ａ１，３ａ２）に加え、観客席８０に近づくように左右一対の第２横スクリーン３ａｘ（３ａ１ｘ，３ａ２ｘ）、第３横スクリーン３ａｙ（３ａ１ｙ，３ａ２ｙ）を順次設けても構わない。これら各横スクリーンの映像の時刻は上述の組み合わせに従い適宜変更することができる。

本発明は、バーチャルキャラクターによるコンサートやイベント等に用いることの可能なホール用表示システム及びこれを用いて行うイベントの実施方法として利用することができる。ホールは屋外も含まれ、ステージ上にスクリーンが設置できればよい。

ＡＵ：客席、ＣＨ（ＣＨ－Ａ、ＣＨ－Ｂ、ＣＨ－Ｃ）：キャラクター、Ｈ：ホール、ＳＴ：ステージ、ＡＣ：アクター、Ｓ：隔離スペース、Ｄ１：基本方向視、Ｄ２：基本方向視とは異なる方向視、Ｄ３：第一カメラの方向視、ＭＩ（ＭＩａ，ＭＩｂ）：メインキャラクター映像、ＭＩ１：メインキャラクター本体映像、ＭＩ２：メインキャラクターの陰影、ＢＭＩ：メイン背景映像、ＭＭＩ：メイン合成映像、ＳＩ：サブキャラクター映像、ＳＩ１：サブキャラクター本体映像、ＳＩ２：サブキャラクターの陰影、ＢＳＩ：客席映像、ＭＳＩ（ＭＳＩ１，ＭＳＩ２，ＭＳＩ１’，ＭＳＩ２’）：選択映像、ＭＳＩ１：撮影映像、ＭＳＩ２：自撮り映像、Ｌ１：実照明光、Ｔ０：実時刻、Δｔ：微小時間、Ｔ０－Δｔ：過去時刻、ｍ０：基準マーカー、ｍ：マーカー、ＶＳ：仮想視野、ＣＡ：仮想カメラ（第二カメラ）、ＴＲ：トリミング範囲、１：ホール用表示システム、２：メインスクリーン、２ａ：ホログラム再生スクリーン、２ｂ：背面スクリーン、２ｃ：ホログラムプロジェクタ、２ｄ：背面プロジェクタ、３：サブスクリーン、３ａ：横スクリーン、３ａ１：横第一スクリーン、３ａ２：横第二スクリーン、３ｂ：サブスクリーンプロジェクタ、３ｂ１：第一サブスクリーンプロジェクタ、４：実照明器具、６：スピーカー、１１：第一カメラ、１３：第三カメラ、１４：マイク、５０：コンピュータ、ＭＣ５１：モーションキャプチャモジュール、ＲＲ５２：リアルタイムレンダリングモジュール、ＩＭ５３：映像合成モジュール、ＬＳ５４：リップシンクモジュール、ＢＩ５５：バックステージイメージ生成モジュール、ＶＬ５６：バーチャルライトイメージ生成モジュール、ＶＳ（ＶＳ１，ＶＳ２，ＶＳ３）：仮想視野、ＲＳ５７：レコーディングモジュール、ＲＣ５８：リアルライトコントローラ、ＳＧ５９：音楽生成モジュール、ＴＭ６０：タイムマネジメントコントローラ、ＲＬ６１：実照明光制御部、６２：サウンドシステム

Claims (8)

1. ホールにおいて動作するアニメーションのキャラクターをメインキャラクター映像として表示するメインスクリーンと、
   前記メインスクリーンとは別に前記ホール内に配置されてメインスクリーンと異なる映像を表示可能なサブスクリーンと、
   前記メインスクリーン及び前記サブスクリーンの映像を生成するコンピュータとを備えたホール用表示システムであって、
   前記両スクリーンを見る観客の客席を撮影する第一カメラをさらに有し、
   前記キャラクターは身体の一部に映像として表示される第二カメラを有し、
   前記第二カメラの仮想視野に入る前記客席の範囲を前記第一カメラによる映像から選択映像として選択し、
   前記選択映像を前記サブスクリーンに表示するホール用表示システム。
2. 前記客席からは見えない場所に、アクターの動作するスペースと、前記アクターの身体に装着するマーカーと、同アクターの動作を前記マーカーによりキャプチャするモーションキャプチャ装置とをさらに備え、
   前記コンピュータはキャプチャされたアクターの動作と連動するキャラクタ映像をリアルタイムに生成するレンダリング機能を備えており、
   前記第二カメラはこのカメラが表示される近傍に存在する前記アクターのマーカーを基準に映像として生成され、前記仮想視野は当該マーカーを基準に決定される請求項１記載のホール用表示システム。
3. 前記サブスクリーンには、前記第二カメラの仮想視野の前記客席の映像が表示されるものである請求項１又は２記載のホール用表示システム。
4. 前記サブスクリーンには、前記第二カメラの仮想視野の前記客席の映像及び前記仮想視野に含まれる前記キャラクターの映像が共に表示されるものである請求項１又は２記載のホール用表示システム。
5. 前記サブスクリーンに表示される前記客席の映像として前記メインキャラクター映像の表示される基準となる実時刻Ｔ０より微小時間Δｔだけ遅延した過去時刻（Ｔ０－Δｔ）の映像を用い、前記サブスクリーンの映像は実時刻Ｔ０より微小時間Δｔだけ遅延した過去時刻（Ｔ０－Δｔ）の映像を用いるものである請求項１～４のいずれかに記載のホール用表示システム。
6. 前記メインスクリーンは、ステージ上に傾斜配置されホログラム映像を表示するホログラム再生スクリーンと、ステージ背面に配置される背面スクリーンとを備え、これら両スクリーンの合成画像を観客に表示するものである請求項１～５のいずれかに記載のホール用表示システム。
7. 前記サブスクリーンは、少なくとも前記メインスクリーンの左右及び／または上に配置されている請求項１～６のいずれかに記載のホール用表示システム。
8. ホールにおいて動作するアニメーションのキャラクターをメインキャラクター映像として表示するメインスクリーンと、
   前記メインスクリーンとは別に前記ホール内に配置されてメインスクリーンと異なる映像を表示可能なサブスクリーンと、
   前記メインスクリーン及び前記サブスクリーンの映像を生成するコンピュータとを備えたホール用表示システムを用いて行うイベントの実施方法であって、
   前記両スクリーンを見る観客の客席を撮影する第一カメラをさらに有し、
   前記キャラクターは身体の一部に映像として表示される第二カメラを有し、
   前記第二カメラの仮想視野に入る前記客席の範囲を前記第一カメラによる映像から選択映像として選択し、
   前記選択映像を前記サブスクリーンに表示するイベントの実施方法。

Images