特許法第30条第2項適用 ライブイベント「REWINDII」(DMM VR THEATER YOKOHAMA(神奈川県横浜市西区南幸2丁目1-5)で公開 平成29年11月3日~5日
次に、適宜添付図面を参照しながら、本発明をさらに詳しく説明する。本発明に係るホール用表示システム1は、図1~3に示すように、メインスクリーン2、左右一対のサブスクリーン3、実照明器具4、仮想照明器具5(仮想照明器具光源5a)、スピーカー6、観客席AUの映像を撮影する第一カメラ11、コンピュータ50をホールHまたはその近くに備えている。
ホール用表示システム1は、さらに第二カメラ12及びマイク13をホールHとは別室に備えている。第二カメラ12は隔離スペースSに設置され、アクターACの動作を撮影し、モーションキャプチャモジュールMC51に送る。マイク13は声優またはボーカリストの声を録音しリップシンクモジュールLS54に送る。
ホールHに設置されるメインスクリーン2は、ステージSTに斜めに設置されるホログラム再生スクリーン2a、ステージSTの背面に設置される背面スクリーン2b、ホログラム再生スクリーン2aに映像を映すホログラムプロジェクタ2c、背面スクリーン2bに映像を移す背面プロジェクタ2dを備えている。背面スクリーン2bの映像はホログラム再生スクリーン2aを透過して、このホログラム再生スクリーン2aの映像と共に合成されて観客席AUから見える。
一方、各サブスクリーン3は、左右の横第一スクリーン3a1及び横第二スクリーン3a2(横スクリーン3a)と、これら両横スクリーン3aにそれぞれ映像を映す第一サブスクリーンプロジェクタ3b1及び第二サブスクリーンプロジェクタ(後者は図示省略、両方併せてサブスクリーンプロジェクタ3b)を備えている。
コンピュータ50は、モーションキャプチャモジュールMC51、リアルタイムレンダリングモジュールRR52、映像合成モジュールIM53、リップシンクモジュールLS54、バックステージイメージ生成モジュールBI55、バーチャルライトイメージ生成モジュールVL56、リアルライトコントローラRC58、音楽生成モジュールSG59、各モジュールの時点合わせの基準となるタイムマネジメントコントローラTM60を備えている。
モーションキャプチャモジュールMC51は、第二カメラ12より撮影されたアクターACの動作を分析し、リアルタイムレンダリングモジュールRR52において動作するキャラクターの3D映像を生成する。第二カメラ12は複数台備えられており、アクターACを異なった角度から撮影し、モーションキャプチャーを行う。通常は正面の第二カメラ12の撮影方向がメインキャラクターを生成する際の基本方向視D1となる。
バーチャルライトイメージ生成モジュールVL56はバーチャル空間での照明のイメージ像を作成し、リアルライトコントローラRC58と相まって光の情報をバックステージイメージ生成モジュールBI55とリアルタイムレンダリングモジュールRR52に送り、照明の状態と矛盾しない陰影付きの映像を生成する。実照明光制御部RL61はリアルライトコントローラRC58に制御され、実照明器具4を動作させてホールH内の実照明を行う。
第一カメラ11により撮影された観客席AUの映像は、映像合成モジュールIM53で先のリアルタイムレンダリングモジュールRR52の映像と合成され、サブスクリーンプロジェクタ3bで横スクリーン3aに映される。一方、ホログラム再生スクリーン2a、背面スクリーン2bには、リアルタイムレンダリングモジュールRR52の映像が、それぞれホログラムプロジェクタ2c、背面プロジェクタ2dによりメインキャラクター映像として映し出される。
リップシンクモジュールLS54はマイク13により録音した声優等の音声を上記メインキャラクター映像に合わせて遅延させる。また、音楽生成モジュールSG59は、BGMや効果音を生成し、これらのBGM等はマイク13の音声と共にサウンドシステム62を通じてスピーカー6によりホールHに流される。
図1,4,5に示すように、メインスクリーン2には、キャラクターCHとして、キャラクターA(CH-A)とキャラクターB(CH-B)との2者が映し出されている。これに対し、左右一対のサブスクリーン3にはキャラクターB(CH-B)のみが映し出されている。
メインスクリーン2の映像を詳述すると、メインキャラクター映像MI(MIa、MIb)は、メインキャラクター本体映像MI1(MI1a,MI1b)及びメインキャラクターの陰影MI2(MI2a,MI2b)とよりなる。さらにこれにメイン背景映像BMIが加わり,メイン合成映像MMIができる。
一方、左右一対のサブスクリーン3では、サブキャラクター映像SI(観客席方向視サブキャラクター映像AI)は、サブキャラクター本体映像SI1及びサブキャラクターの陰影SI2よりなる。そして、さらにサブ背景映像(観客席の映像)BSIが加わることにより、サブ合成映像MSIができる。
メインスクリーン2におけるメイン合成映像MMIは、基本方向視D1でレンダリングされたキャラクターを利用している。この基本方向視D1は第二カメラ12の方向視と一致する場合もあれば異なる場合もある。一方、基本方向視とは異なる方向視D2は、たとえば第一カメラ11の観客席用カメラの方向視D3を用いることができる。よって、キャラクターB(CH-B)はメインスクリーンでは後ろ向きであるが、サブスクリーンでは前向きとなる。
図1において第一カメラ11の観客席用カメラの方向視D3の視野には実照明器具4が入っており、この実照明器具4からは実照明光L1が観客席AU、ステージST並びにキャラクターA(CH-A)及びキャラクターB(CH-B)に照射されている。
図4においてこの実照明器具4の光源の映像4’及び観客席に照射される実照明光L1がキャラクターB(CH-B)と共に映りこんでいる。キャラクターBに向かう実照明光L2は実際にはキャラクターに照射されないため、上記光源の映像4’の位置を仮想照明器具5の光源とも捉え、仮想照明光L2として表示している。
図1,3~5に示すように、メインスクリーン2では実時刻T0のキャラクターA(CH-A)とキャラクターB(CH-B)との2者が映し出されている。これに対し、サブスクリーンでは、微小時間Δtだけ遡った過去時刻(T0-Δt)のキャラクターB(CH-B)の映像が映し出されている。これら各スクリーンの映像は、各時刻に合わせた上記実照明器具4、仮想照明器具5の実照明光L1、仮想照明光L2の情報に基づき陰影や背景が生成される。
さらにサブ背景映像(観客席の映像)BSIも、微小時間Δtだけ遡った過去時刻(T0-Δt)の映像が用いられている。 サブキャラクター映像SIともに過去時刻(T0-Δt)のものを用いているので、照明光の色が異なる等の矛盾も生じなく、臨場感が自然に認識されることとなる。
ところで、サブ背景映像(観客席の映像)BSIは、ハードウエアの性能上、微小時間Δtの遅延を生じる可能性がある。この場合、ハードウエアの性能に合わせて、サブキャラクター映像SIも時刻微小時間Δtだけ遡った過去の映像を用いても良く、微小時間Δtをハードウエアの遅延の映像合成モジュールIM53のソフトウエア遅延とで調整してもよい。微小時間Δtは望ましくは0.1秒~0.5秒とすると好適に実施可能である。0.1秒以上あれば映像の違いを認識でき、0.5秒を超えると不自然に感じられるからである。
メインスクリーン2には、メインキャラクター本体映像MI1(MI1a,MI1b)、メインキャラクターの陰影MI2(MI2a,MI2b)及びメイン背景映像BMIが合成されて表示される。これらの要素は、ホログラム再生スクリーン2a、背面スクリーン2bに次のような組み合わせで表示されうる。
ケース1)ホログラム再生スクリーン2a;メインキャラクター本体映像MI1(MI1a,MI1b)、 背面スクリーン2b;メインキャラクターの陰影MI2(MI2a,MI2b)及びメイン背景映像BMI
ケース2)ホログラム再生スクリーン2a;メインキャラクター本体映像MI1(MI1a,MI1b)及びメインキャラクターの陰影MI2(MI2a,MI2b)、背面スクリーン2b;メイン背景映像BMI
ケース3)ホログラム再生スクリーン2a;メインキャラクター本体映像MI1(MI1a,MI1b)、メインキャラクターの陰影MI2(MI2a,MI2b)及びメイン背景映像BMIの一部(BMI1)、背面スクリーン2b;メイン背景映像BMIの残余(BMI2)
これらの映像のスクリーン割り付けは適宜必要に応じて採用される。
なお、上記では、アクターの動作するスペースやモーションキャプチャ装置を設けた。しかし、図3に示すように、上記イベントの実施の映像、音響、照明等のコントロールを全てレコーディングモジュールRS57に記録し、これを再生させることによりイベントを実施してもよい。
次に、本発明の別実施形態について説明する。上記第一実施形態と同様の部材には同一の符号を附してある。また、同趣旨の部材の言い換えをしているものは、下記で言及以外の上記要素のすべてに適用されうる。
上記実施形態では、実照明器具4及び仮想照明器具5の実照明光L1及び仮想照明光L2の時刻は、メイン、サブスクリーンで異なるものであった。しかし、図6(a)に示す第二実施形態では、両照明器具4,5のいずれか又は両照明器具4,5双方の照明光L1,L2をメインスクリーン2及びサブスクリーン3の方向に直接照射させて、これら両スクリーン2,3に映り込む照明の映像(桜吹雪F)をコンピュータ50において前記実時刻T0に同期させてある。本第二実施形態では、さらにホールHの一部であるスクリーン間H1やスクリーン周辺H2にも桜吹雪F3(F)を映している。これら両スクリーン2,3に映る桜吹雪F1,F2(F)は仮想照明器具5の仮想照明光L2によるもの、ホールHの一部であるスクリーン間H1やスクリーン周辺H2に映る桜吹雪F3(F)は実照明器具4の実照明光L1によるものである。
この実施例によれば、ホールHの一部であるスクリーン間H1やスクリーン周辺H2にも桜吹雪Fは映っているが、さらに観客席AUにも映してもよく、これらを映さないでメインスクリーン2及びサブスクリーン3のみに桜吹雪F1,F2を映しても良い。サブスクリーンの過去時刻(T0-Δt)とは時刻の異なる光がサブスクリーン4と他の部分を横断することで、より臨場感に深みを増すことができる。桜吹雪Fは結像した映像であるが、スポットライトのような結像していない照明光Lを用いても良い。なお、桜吹雪Fが方向視の異なるメインスクリーン2,サブスクリーン3に映るのが不自然である場合は図6(b)の如く、メインスクリーン2と同一方向視でサブスクリーン3のサブ背景映像MSIがメイン背景映像BMIと続くようにしてもよい。
上記実施形態では、メインスクリーン2に映すメイン合成映像MMIに実時刻T0のもの、左右のサブスクリーンに映すサブ合成映像MSIに過去時刻(T0-Δt)のものを用い、スクリーン間の時刻の違いを二段階とした。しかし、3つのスクリーン間の時間を3段階に変えても良い。例えば、メインスクリーン2に実時刻、一方のサブスクリーン3に未来時刻、他法のサブスクリーン3に過去時刻を用いたり、現在、過去、さらに過去等、複数の時刻のものを用いても良い。スクリーンの数と時刻の切り替えは3以上の複数であってもよい。
上記実施形態では、本発明を、ホールで利用するホール用表示システム及びこれを用いて行うイベントの実施方法として実施した。しかし、本発明は、パチンコ又はパチスロ等の遊技機においても実施することができる。この場合、アクターのモーションキャプチャーを行わなくても良く、また、上述の如く実施の映像、音響、照明等のコントロールを全てレコーディングモジュールRS57に記録し、これを再生させてもよい。
すなわち、本発明は、動作するアニメーションのキャラクターを陰影付きで基本方向視の映像(以下「メインキャラクター映像」という)として表示するメインスクリーンと、前記メインスクリーンとは別に前記キャラクターを陰影付きで前記基本方向視とは異なる方向視の映像(以下「サブキャラクター映像」という)として表示可能なサブスクリーンと、前記キャラクター及びこのキャラクターの陰影の映像を生成するコンピュータとを備えたパチンコ又はパチスロ等の遊技機であって、遊技機内を実照明光で照らす実照明器具と前記コンピュータ内において仮想照明光を生成し前記スクリーンに表示する仮想照明器具とをさらに備え、前記陰影は前記キャラクター及び前記両照明器具で前記キャラクターに照射された照明光と前記コンピュータにより関連付けられて生成されるものであり、遊技機外を撮影可能なカメラを備え、前記コンピュータは撮影された遊技機外の映像と前記カメラの方向視の映像として生成された前記サブキャラクター映像(以下「遊技機外方向視サブキャラクター映像」という)とを合成して前記サブスクリーンに表示するものであり、前記サブスクリーンに表示される前記遊技機外の映像として前記メインキャラクター映像の表示される基準となる実時刻T0より微小時間Δtだけ遅延した過去時刻(T0-Δt)の映像を用い、前記遊技機外方向視サブキャラクター映像は実時刻T0より微小時間Δtだけ遅延した過去時刻(T0-Δt)の映像を用いるものである遊技機として使用してもよい。
図7に示すように、遊技機の一例であるパチンコ台100は、遊技機本体101、パチンコ玉飛来可能部102、玉の発射をコントロールする駆動ハンドル103及び玉受け104を備えている。パチンコ玉飛来可能部102の中央には、メインスクリーン2、その左右には一対のサブスクリーン3,3としてそれぞれ液晶パネルが組み込まれている。また、実照明器具4の照明光の映像をLED4xや、同じく広範囲に設けられた他の液晶パネル4yにより再現することができる。
もちろん、実照明器具4を別に設けて、照明光をパチンコ玉飛来可能部102に照射させてもよい。第一カメラ11は本実施形態では遊技機本体10の中央に設けられているが、パチンコホールの天井や他の部分に設けてもよい。また、第一カメラ11や映像合成モジュールIM53を設けずに、上記他の要素を組み合わせて実施してもよい。本発明は同様にパチスロ器やその他の遊技機にも適用可能である。
本発明におけるキャラクターには、人物や動物等の他、植物や家具・花瓶などの静物も含まれる。照明が変わり、視点が切り替えられれば陰影も変わり、上記効果が奏されるからである。