JP6400550B2 - 空間像演出装置、空間像演出装置の制御方法および映像システム - Google Patents

Description

本発明は、空間像を表示する空間像演出装置、空間像演出装置の制御方法および映像システムに関する。

スポーツ中継などにおいて、遠隔地にいるスポーツ選手を記録した映像を、その選手がまるでその場にいるかのように演出して、より臨場感のある態様で再生する技術が検討されている。このような技術の１つとして、表示部（ディスプレイ）に表示された表示像を空間上に空間像として表示する技術が非特許文献１に開示されている。

非特許文献１においては、ディスプレイに映像を表示し、その表示像の空間像を光学素子によりステージ上に形成するととともに、ステージ上の実物体の動きに応じて空間像を移動させたり、ステージの上部に設けられた投影装置により、空間像の影に相当する映像を投影したりする技術が開示されている。この技術によれば、実物体の動きに応じて空間像を移動させたり、空間像の影に相当する映像を投影したりすることで、空間像により示された対象物が実際にステージ上に存在するかのように観察者に視認させることができ、より効果的な演出が可能となる。

Hanyuool Kim, Issei Takahashi, Hiroki Yamamoto, Satoshi Maekawa, Takeshi Naemura, "MARIO: Mid-air Augmented Reality Interaction with Objects", Entertainment Computing, Volume 5, Issue 4, December 2014, pages 233-241

一般に、ステージ上に空間像と実物体とが共存する場合、空間像が実物体に対して力を及ぼすことはないため、実物体が存在する位置に空間像が移動しても実物体は移動しない。この場合、空間像が実物体にめり込んだように見えたり、空間像と実物体とが重なりあって見えたりするので、空間像の存在感が低下する。

しかしながら、非特許文献１に開示されている技術においては、空間像の移動に対応して実物体の移動を制御することについて十分な考慮がなされておらず、より臨場感のある態様で空間像を観察者に視認させることが難しいという問題がある。

本発明の目的は、上述した課題を解決し、より臨場感のある態様で空間像を観察者に視認させることができる空間像演出装置、空間像演出装置の制御方法および映像システムを提供することにある。

上記課題を解決するため、本発明に係る空間像演出装置は、対象物を記録した映像データに示される映像の空間像を形成することで前記映像データを再生する空間像演出装置であって、前記映像データを再生する再生環境における実物体の動きを制御する実物体制御手段と、前記空間像の形成される位置に応じて前記実物体制御手段を制御する再生制御手段とを備える。

また、上記課題を解決するため、本発明に係る空間像演出装置の制御方法は、対象物を記録した映像データに示される映像の空間像を形成することで前記映像データを再生する空間像演出装置の制御方法であって、前記空間像演出装置が、前記空間像の形成される位置に応じて、前記映像データを再生する再生環境における実物体の動きを制御する制御ステップを含む。

また、上記課題を解決するため、本発明に係る映像システムは、対象物を記録する記録側と、前記記録側とネットワークを介して接続され、前記対象物が記録された映像データを前記記録側から前記ネットワークを介して取得し、該取得した映像データを再生する再生側とを備え、前記再生側には、前記映像データに示される映像の空間像を形成することで前記映像データを再生する空間像演出装置が設けられ、前記空間像演出装置は、前記映像データを再生する再生環境における実物体の動きを制御する実物体制御手段と、前記空間像の形成される位置に応じて前記実物体制御手段を制御する再生制御手段とを備える。

本発明に係る空間像演出装置、空間像演出装置の制御方法および映像システムによれば、より臨場感のある態様で空間像を観察者に視認させることができる。

本発明の一実施形態に係る空間像演出装置の概要を示す図である。 図１に示す空間像演出装置の全体構成例を示す図である。 空間像を形成するための構成の一例を示す図である。 空間像を形成するための構成の別の一例を示す図である。 図２に示す制御部の構成を示す図である。 図５に示す再生制御部による環境演出手段の制御例を示す図である。 実物体の動きを制御する環境演出手段の制御例を示す図である。 再生環境にスモークを発生させる構成を示す図である。 実物体の動きを制御する環境演出手段の制御例を示す図である。 実物体の動きを制御する環境演出手段の制御例を示す図である。

以下、本発明の実施の形態について説明する。

図１は、本発明の一実施形態に係る空間像演出装置１０の概要を示す図である。本実施形態に係る空間像演出装置１０は、対象物１を記録する記録側と、記録側において対象物１が記録された映像データを再生する再生側とを備える映像システムにおいて、再生側に設けられ、映像データに示される映像の空間像を形成することで映像データを再生するものである。なお、例えば、記録側と再生側とはネットワークを介して接続され、再生側は、ネットワークを介して記録側から映像データを取得することができる。

図１に示す空間像演出装置１０は、対象物１（例えば、競技中のスポーツ選手）を撮影装置２により撮影（記録）して得られたメディア情報（映像データ）が入力され、入力されたメディア情報に示される映像の空間像３をステージ４に形成することで映像データを再生し、観察者５に視認させるものである。なお、対象物１の撮影時には音声も合わせて記録されてもよく、メディア情報には記録された音声データが含まれてもよい。また、メディア情報として、映像データと共に、映像データの記録環境における照明情報、風向き情報などの、記録側の環境情報（記録環境情報）が記録されてもよい。メディア情報は、記録メディアに蓄積されてもよいし、ネットワークを通じて遠隔地に配信されてもよい。

図２は、図１に示す空間像演出装置１０の全体構成例を示す図である。

図２に示す空間像演出装置１０は、空間像投影装置１１と、プロジェクタ１２と、照明装置１３と、光源装置１４と、送風・空調装置１５と、スモーク発生装置１６と、スピーカ１７と、再生環境情報取得部１８と、制御部１００とを備える。プロジェクタ１２、照明装置１３、光源装置１４、送風・空調装置１５、スモーク発生装置１６およびスピーカ１７は、映像データを再生する再生環境（ステージ４およびその周囲）における演出を行う環境演出手段の一例である。なお、環境演出手段としては、図２に示した各種装置の他にも、ステージ４の傾斜や起伏を制御する地形制御装置などもある。

空間像投影装置１１は、ステージ４の床面４ａに対向して設けられており、例えば、プロジェクタなどである。床面４ａはスクリーン（表示部）として作用し、空間像投影装置１１は、制御部１００の制御に従い、メディア情報（映像データ）に示される映像を床面４ａ（スクリーン）に投影（表示）する。この表示により表示像（映像データに示される映像）の空間像が形成される。なお、空間像の形成方法の詳細については後述する。

プロジェクタ１２は、制御部１００の制御に従い、再生環境に映像（例えば、形成された空間像３の影に相当する映像３ａ）を表示（投影）する表示装置である。

照明装置１３は、制御部１００の制御に従い、再生環境を照明する。

光源装置１４は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの光源装置であり、制御部１００の制御に従い、点灯する。ここで、光源装置１４は、空間像３を観察する観察者５から見て再生環境における光源として認識されるように設けられるものであり、ステージ４の照明を主目的とするものではない。したがって、光源装置１４は、観察者５から視認可能な位置に設けられており、あたかも、光源装置１４が空間像を照明しているかのように観察者５に視認される。上述したように、光源装置１４は、ステージ４の照明を主目的とするものではないため、光源装置１４からの光がステージ４に入射しないように、光源装置１４のステージ４に向かう部分には目張りなどが行われてもよい。ただし、光源装置１４からの光がステージ４における表示に大きな影響を与えない場合には、そのような目張りは設けなくてもよい。

送風・空調装置１５は、制御部１００の制御に従い、再生環境における空調（風向き、風速）、温度、湿度などを制御する。

スモーク発生装置１６は、制御部１００の制御に従い、再生環境にスモーク（霧）を発生させる。

スピーカ１７は、制御部１００の制御に従い、再生環境における音響を制御する。

このように、環境演出手段であるプロジェクタ１２、照明装置１３、光源装置１４、送風・空調装置１５、スモーク発生装置１６およびスピーカ１７は、情報メディア（映像データ）を再生する再生環境の演出（再生環境における照明制御、空調制御、音響制御、スモークの発生、映像の表示など）を行うことができる。なお、光源装置１４は、ステージ４の周囲に複数配置されているか、あるいは、ステージ４の周囲を移動可能に設けられている。

再生環境情報取得部１８は、例えば、撮影装置であり、情報メディア（映像データ）の再生環境を撮影し、撮影した映像から種々の情報を再生環境情報として取得する。再生環境に実物体が存在する場合、再生環境情報にはこの実物体の情報も含まれる。再生環境に存在する実物体とは、再生環境に定置された物体に限られず、再生環境内で移動する物体であってもよい。さらに、再生環境に存在する実物体には、再生環境内の空間に存在するスモーク（霧）も含まれる。

制御部１００は、例えば、パーソナルコンピュータなどであり、メディア情報が入力され、入力されたメディア情報（映像データ）に示される映像を空間像投影装置１１に表示させる。空間像投影装置１１による映像の表示により、表示像の空間像がステージ４上に形成される。

また、制御部１００は、環境演出手段である各装置を制御する。

次に、空間像の形成について、図３から図５を参照して説明する。なお、図３から図５において、図２と同様の構成については同じ符号を付し、説明を省略する。

図３は、空間像を形成するための構成の一例を示す図である。

図３においては、表示部であるスクリーン２０が、観察者５の観察方向（Ｘ方向）に対して略水平に設けられている。スクリーン２０は、図２においては、ステージ４の床面４ａに相当する。空間像投影装置１１は、例えば、プロジェクタであり、スクリーン２０の一方の面（下面）側に設けられ、制御部１００の制御に従い、スクリーン２０に映像を投影（表示）する。

スクリーン２０の他方の面（上面）側には、光学素子である透明板２１が設けられている。透明板２１は、スクリーン２０から見て観察者５側に向かって（−Ｘ方向に）ほぼ４５°傾斜している。スクリーン２０への映像の表示に応じて、スクリーン２０からの出射光は、透明板２１に入射し、透明板２１において観察者５に向かう方向に向けられる。こうすることで、スクリーン２０に表示された表示像Ａの空間像Ｂ（虚像）が、スクリーン２０に対して略垂直に形成され、観察者５に視認される。

図４は、空間像を形成するための構成の別の一例を示す図である。

スクリーン２０の上面側には、光学素子である実像鏡２２が設けられている。実像鏡２２は、スクリーン２０から見て観察者５とは反対側に向かって（Ｘ方向に）ほぼ４５°傾斜している。スクリーン２０への映像の表示に応じて、スクリーン２０からの出射光は、実像鏡２２に入射し、実像鏡２２において観察者５に向かう方向に向けられる。こうすることで、スクリーン２０に表示された表示像Ａの空間像Ｂ（実像）が、スクリーン２０に対して略垂直に形成され、観察者５に視認される。なお、図３と図４とを比較すると、表示される表示像Ａの上下が反転している。

図３，４においては、空間像投影装置１１がスクリーン２０の下面から映像を投影する例を用いて説明したが、図２のように、空間像投影装置１１はスクリーン２０の上面から映像を投影してもよい。この場合、空間像投影装置１１による投影光は透過し、スクリーン２０からの出射光を観察者５の方向に向けるような光学素子を用いることで、スクリーン２０の表示像の空間像を形成することができる。

また、図３，４においては、スクリーン２０に空間像投影装置１１により映像を表示（投影）し、その表示に応じたスクリーン２０からの出射光を光学素子（透明板２１、実像鏡２２）により観察者５に向かう方向に向けることで空間像を形成する例を用いて説明したが、これに限られるものではない。例えば、空間像投影装置１１を液晶デバイスなどで構成し、スクリーン２０の位置に液晶デバイスの表示面を設け、表示面への映像の表示により空間像を形成するようにしてもよい。

次に、制御部１００の構成について、図５を参照して説明する。

図５に示す制御部１００は、記録環境情報取得部１０１（記録環境情報取得手段）と、再生制御部１０２（再生制御手段）とを備える。

記録環境情報取得部１０１は、メディア情報の入力に応じて、メディア情報（映像データ）の記録環境に関する記録環境情報を取得し、取得した記録環境情報およびメディア情報を再生制御部１０２に出力する。ここで、記録環境情報取得部１０１は、記録環境情報として、記録環境における光源に関する情報（光源の位置、光源からの光の色や強度など）を取得する。なお、記録環境情報取得部１０１は、記録環境情報を、映像データに示される映像の解析により取得したり、記録環境に設けられたセンサ（光センサなど）から取得したりする。また、記録環境情報取得部１０１は、記録時の記録側の照明、風量などの制御情報を参照して、記録環境情報を取得することもできる。

再生制御部１０２は、記録環境情報取得部１０１から出力されたメディア情報（映像データ）に示される映像を空間像投影装置１１に表示させるとともに、メディア情報に音声データが含まれる場合には、その音声データをスピーカ１７に再生させる。また、再生制御部１０２は、記録環境情報取得部１０１から出力された記録環境情報に基づき、環境演出手段である各装置を制御する。

図６は、再生制御部１０２による環境演出手段の制御例を示す図である。

再生制御部１０２は、空間像投影装置１１に、映像データに示される映像（対象物を記録した映像）をステージ４の床面４ａ（スクリーン）に表示させる。この表示により、映像データに示される映像の空間像３が形成される。

また、再生制御部１０２は、プロジェクタ１２に、記録環境における光源（仮想光源）の位置から対象物を照明した場合に生じる影に相当する映像３ａをステージ４の床面４ａに投影させる。なお、再生制御部１０２は、例えば、空間像を２値化し、その縦横比率を変更することで、空間像の影に相当する映像３ａを生成する。

また、再生制御部１０２は、再生環境内に実物体が存在する場合に、当該実物体と空間像３とが重なりあわないように再生環境を制御することが好ましい。なぜならば、空間像３には実体がなく実物体と作用できないため、再生制御部１０２がこのような制御をしなければ、空間像３が実物体と重なりあって実物体にめり込んだように見える現象等が起こりうるからである。再生制御部１０２がこのような制御をするための一つの方法としては、実物体の移動に合わせて空間像３が形成される位置を制御する方法がある。一方で、実物体の動きを制御する手段（以下、実物体制御手段ともいう）を用いて、空間像３の動きに合わせて、空間像３を避けるように実物体を動かす方法もある。以下、空間像３を避けるように実物体を動かす、つまり空間像３が形成される位置に実物体を移動させない、又は、空間像３が形成される位置の移動に応じて実物体を移動させる方法について説明する。

空間像３と重なりあうことがある実物体の一例は、スモークである。上述の通り、再生環境の演出のために、スモーク発生装置１６を用いて再生環境内にスモークを発生させることがある。図７は、ステージ４上にスモーク３１を発生させた例を示す図である。なお、空間像３の影に関する説明は図６と同様であるため省略する。

図７では、ステージ４上に人物を表す空間像３が形成されており、さらに再生環境の近傍に設けられているスモーク発生装置１６によってステージ４上にスモーク３１が発生している。仮にステージ４上に実物体としての人物がいたとすれば、スモーク３１は当該人物がいる位置には発生しない。またステージ４上で実物体としての人物が移動すれば、当該人物によりスモーク３１は押しのけられる。一方で、空間像３は実物体ではないため、スモーク３１が自由に拡散した場合には空間像３が形成されている位置にまで重なりあって発生しうる。また空間像３が形成されている位置が移動する場合、移動先に発生しているスモーク３１に重なりあうことが起こりうる。このように空間像３とスモーク３１とが重なりあう状況を視認した観察者５にとっては、空間像３に対する現実感が失われ、空間像３の存在感が低下してしまう。そこで、図７に示されているように、空間像３が形成されている位置にはスモーク３１を発生させず、空間像３とスモーク３１とが重なりあわないようにする必要がある。

図７に示す例では、空間像演出装置１０がスモーク除去装置１９をさらに備えている。スモーク除去装置１９は、指向性のある超音波を照射することによって局所的にスモーク３１を発散させて除去するものであり、再生制御部１０２によって制御される。再生制御部１０２は、スモーク除去装置１９に対して、空間像３が形成されている位置に超音波を照射する指示を含む制御信号を送信する。そして、スモーク除去装置１９が当該指示に応じた超音波を照射することにより、空間像３が形成されている位置に発生したスモーク３１が発散し除去される。このようにすることで、観察者５にとっては、空間像３がスモーク３１を押しのけて、空間像３とスモーク３１とが重なりあっていないように見え、空間像３に対して現実感を抱くことができ、空間像３の存在感が高まる。

空間像３が形成されている位置にスモーク３１が発生しないようにする方法は、上述のスモーク除去装置１９を用いる例に限られない。図８は、再生環境にスモークを発生させる構成の一例を示す図であり、ステージ４の床面４ａにスモーク３１が発生する孔１６２を設けられている。

図８（ａ）は、ステージ４とスモーク発生装置１６との接続を示す図である。ステージ４には、スモーク発生装置１６と当該スモーク発生装置１６を制御する制御装置１６１とが接続されている。また、スモーク発生装置１６と制御装置１６１とは互いに接続されている。

図８（ｂ）は、ステージ４の平面図である。ステージ４の床面４ａにはスモーク３１を発生する孔１６２が複数設けられている。複数の孔１６２は、例えば格子状に分布して配置されるがこれには限られず配置の形態は適宜定められてよい。床面４ａに設けられた複数の孔１６２はそれぞれ、ステージ４の内部に設けられたスモーク３１の通路を介してスモーク発生装置１６に接続されている。スモーク発生装置１６で発生したスモーク３１は、当該通路を通って床面４ａに設けられた複数の孔１６２に到達し、噴出される。こうすることで、ステージ４上にスモーク３１を発生させることができる。

複数の孔１６２につながる通路にはそれぞれバルブが設けられ、バルブが開いた場合にはスモーク３１が通過し、バルブが閉じた場合にはスモーク３１が遮断される。バルブは、例えばソレノイドやサーボモータにより制御される電子弁であるがこれには限られない。制御装置１６１は、床面４ａに設けられた複数の孔１６２のうちスモーク３１を発生させる箇所に対応する孔１６２につながる通路のバルブを開き、スモーク３１を発生させない箇所に対応する孔１６２につながる通路のバルブを閉じるように制御する。こうすることにより、ステージ４上における任意の位置にスモーク３１を発生させるように制御することができる。

再生制御部１０２は、空間像３が形成されている位置にはスモーク３１を発生させないようにするために、制御装置１６１に対して当該位置に対応する孔１６２につながる通路のバルブを閉じることを指示する制御信号を送信する。一方で再生制御部１０２は、空間像３が形成されていない位置にスモーク３１を発生させるようにするために、制御装置１６１に対して当該位置に対応する孔１６２につながる通路のバルブを開くことを指示する制御信号を送信する。そうすると、空間像３が形成されている位置にスモーク３１が発生せず、空間像３が形成されていない位置にスモーク３１が発生する。このようにすることで、観察者５にとっては、空間像３がスモーク３１を押しのけて、空間像３とスモーク３１とが重なりあっていないように見える。そして観察者５は空間像３に対して現実感を抱くことができ、空間像３の存在感が高まる。

上記説明では、孔１６２からはスモーク３１が噴出されるようにした。一方で、孔１６２からスモーク３１を含まない空気が噴出されるようにしてもよい。つまり、ステージ４上に発生したスモークに対して床面４ａに設けられた孔１６２から空気が噴出されれば、当該孔１６２に対応する位置にあるスモークが発散し除去される。このような制御を空間像３が形成されている位置において行うことにより、上記説明と同様に、観察者５にとっては、空間像３がスモーク３１を押しのけて、空間像３とスモーク３１とが重なりあっていないように見える。そして観察者５は空間像３に対して現実感を抱くことができ、空間像３の存在感が高まる。

また、空気を噴出する孔１６２とスモーク３１を噴出する孔１６２とが床面４ａに併設されてもよい。このようにすることで、スモーク３１の発生と発散とをより迅速に行うことができる。

以上、図７及び図８を用いてスモーク３１の発生と発散とを制御する装置について説明してきたが、これらの装置は実物体であるスモーク３１の動きを制御するものである。したがって、スモーク発生装置１６、制御装置１６１、床面４ａに設けられた孔１６２、孔１６２とスモーク発生装置１６をつなぐ通路、及び該通路に設けられたバルブは、実物体制御手段に含まれる。

空間像３と重なりあうことがある実物体のもう一つの例は、再生環境内で移動するロボットである。図９は、ステージ４の床面４ａ上に置かれたボール型ロボット３２に対して空間像３が力を及ぼして動かしているように見える態様を示す図である。なお、空間像３の影に関する説明は図６と同様であるため省略する。

ボール型ロボット３２は、略球体の外殻を有するロボットであり、その外殻より外には駆動機構が存在せず、内部にのみ駆動機構を有している。駆動機構は内部から外殻に対して回転させる駆動力を与え、この駆動力によって外殻が回転することによって、ボール型ロボット３２は３６０度全ての方向に転がって移動することができる。ボール型ロボット３２の移動は遠隔操作によって制御される。ボール型ロボット３２が床面４ａ上に置かれている場合、床面４ａ上を自由に移動することができる。

図９では、再生環境に人物を表す空間像３が２つ形成され、その間にボール型ロボット３２が置かれている。再生制御部１０２は、空間像３の動きに応じてボール型ロボット３２を移動させるために、ボール型ロボット３２に対して移動を指示する情報を含む制御信号を送信する。当該情報は、例えば、移動速度（移動する速さと移動する方向とを含む）、移動距離などに関する情報を含む。そして、ボール型ロボット３２は、再生制御部１０２から取得した制御信号に応じて自らの動きを制御する。例えば、一方の空間像３がボール型ロボット３２を蹴って他方の空間像３に向けてパスする動作をするように表示される場合、再生制御部１０２は、ボール型ロボット３２に対して、一方の空間像３から他方の空間像３に向けて移動することを指示する制御信号を送信する。そして、ボール型ロボット３２は、一方の空間像３から他方の空間像３に向けて移動するように自らの動きを制御する。

また、空間像３がボール型ロボット３２を蹴る動作における、空間像３の脚の動きの速度に応じてボール型ロボット３２の移動速度を制御するようにしてもよい。つまり、空間像３の脚の動きが速い場合にはボール型ロボット３２の移動速度を速くして強いパスを演出し、空間像３の脚の動きが遅い場合にはボール型ロボット３２の移動速度を遅くして緩いパスを演出するようにしてもよい。このようにすることで、より臨場感のある態様を演出できる。また再生制御部１０２は、空間像３がボール型ロボット３２を蹴ったように見える瞬間に、スピーカ１７から効果音が発せられるようにしてもよい。これにより、さらに臨場感が増す。

以上、図９を用いて空間像と重なりあうことがある実物体の一例としてボール型ロボット３２の例を説明したが、これに限られるものではなく、その動きを制御することができるロボットであれば他の形態のロボットであってもよい。例えば円盤型の自走ロボットでアイスホッケーのパックやカーリングのストーンを表すようにしてもよい。また、実物体はロボットという態様に限られることもなく、移動を制御することができる実物体であれば、例えば床面４ａ上を走行する車両や再生環境内を飛行するドローンのようなものであってもよい。また、実物体は自走する必要はなく外部から力を加えて移動を制御できるものであってもよい。例えば、床面４ａ上に配置した磁性体を含む実物体に対して、床面４ａの裏側から磁力を及ぼして、当該実物体の動きを制御するようにしてもよい。

図９を用いて説明した上記の例では、空間像３の動きは制御されておらず、空間像３が一方的に実物体の動きに影響を及ぼすように見える。一方で、空間像３と実物体とが互いに影響を及ぼしあうように見える態様とすることもできる。図１０は、ステージ４の床面４ａ上に置かれたボール型ロボット３２と空間像３とが互いに影響を及ぼしあうように見える例を示す図である。なお、空間像３の影に関する説明は図６と同様であるため省略する。

図１０では、ステージ４がビリヤード台を模した態様となっている。再生制御部１０２は、ステージ４の床面４ａ上で、実物のボールであるボール型ロボット３２の移動を、上述の図９に示す例と同様に制御する。図１０に示す例においてはさらに、再生制御部１０２は、空間像３の動きも制御する。つまり、記録済みの映像データが再生されることによって空間像３が形成されるのではなく、再生制御部１０２が映像データを逐次生成し、この映像データを空間像投影装置１１に再生させることによって形成される空間像３の動きを制御する。

再生制御部１０２は、ボール型ロボット３２の動きとボールを表す空間像３の動きとをそれぞれ制御する。観察者５の視点でボール型ロボット３２とボールを表す空間像３とが衝突したように見える瞬間、再生制御部１０２は、衝突前のボール型ロボット３２の速度と空間像３の速度とに応じて、衝突後のボール型ロボット３２の速度と空間像３の速度とを算出する。続いて再生制御部１０２は、ボール型ロボット３２に対して、算出した速度で移動することを指示する制御信号を送信する。さらに再生制御部１０２は、空間像３を算出した速度で移動させるために空間像３が算出した速度で移動するように見える映像データを生成し、空間像投影装置１１に対して、当該映像データを送信し再生させる。空間像投影装置１１が当該映像データを再生して、再生環境に表示することによって、空間像３は算出した速度で移動するように見える。

衝突後のそれぞれの速度を算出するに際して、運動量保存則やエネルギー保存則などの物理法則に従うことで、実際には衝突していないにもかかわらず衝突の臨場感を増すことができ、空間像３に対して質感を与えることができる。また再生制御部１０２は、衝突したように見える瞬間に、スピーカ１７から効果音が発せられるようにしてもよい。これによりさらに臨場感が増す。

以上、図１０を用いて空間像３と実物体とが互いに影響を及ぼしあうように見える例を説明した。図１０では実物体としてボール型ロボット３２を用いる例を説明したが、これに限られるものではなく、図９に示す例で述べた通り、種々の態様の実物体を用いることができる。また、図９及び図１０で説明したボール型ロボット３２などの実物体を制御するために用いられる装置、例えばボール型ロボット３２に制御信号を送信する装置などは、実物体制御手段に含まれる。

また、以上説明してきたいずれの例においても、再生制御部１０２は、再生環境情報取得部１８が取得した再生環境情報に基づいて、再生環境において所望の演出が行われているか否かを判定してもよい。そして再生制御部１０２は、再生環境において所望の演出が行われていないと判定した場合には、環境演出手段である各装置を再度、制御するようにしてもよいし、判定結果を用いて各装置をキャリブレーションしてもよい。

例えば図７に示す例で、スモーク除去装置１９によってスモーク３１が除去された位置と、空間像３が形成されている位置との間にずれが発生することがある。再生制御部１０２は、再生環境情報を解析することにより、当該ずれの発生を把握することができ、再生環境情報に基づいてスモーク除去装置１９が照射する超音波の方向をキャリブレーションすることができる。この他の例についても同様のことができる。

以上説明してきた通り、本実施形態に係る空間像演出装置及びその制御方法によれば、実物体と空間像３とが重なりあうことによって観察者から見た空間像３の存在感が低下することを防ぎ、より臨場感のある態様で空間像３を観察者に視認させることができる。

本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。したがって、これらの変形または修正は本発明の範囲に含まれることに留意されたい。

１０ 空間像演出装置
１１ 空間像投影装置
１２ プロジェクタ
１３ 照明装置
１４ 光源装置
１５ 空調・送風装置
１６ スモーク発生装置
１７ スピーカ
１８ 再生環境情報取得部
１９ スモーク除去装置
１００ 制御部
１０１ 記録環境情報取得部
１０２ 再生制御部
３ 空間像
３１ スモーク
３２ ボール型ロボット

Claims (7)

1. 対象物を記録した映像データに示される映像の空間像を形成することで前記映像データを再生する空間像演出装置であって、
   前記映像データを再生する再生環境における実物体の動きを制御する実物体制御手段と、
   前記空間像の形成される位置に応じて前記実物体制御手段を制御する再生制御手段と
   を備える空間像演出装置。
2. 請求項１記載の空間像演出装置において、
   前記実物体制御手段は、前記空間像の形成される位置に前記実物体を移動させないことを特徴とする空間像演出装置。
3. 請求項１または２記載の空間像演出装置において、
   前記実物体制御手段は、前記空間像の移動に応じて、前記実物体の動きを制御することを特徴とする空間像演出装置。
4. 請求項１から３のいずれか一項に記載の空間像演出装置において、
   前記実物体制御手段は、スモーク発生装置又はスモーク除去装置を含み、
   前記スモーク発生装置は、前記空間像の形成されない位置にスモークを発生し、
   前記スモーク除去装置は、前記空間像の形成される位置からスモークを除去する
   ことを特徴とする空間像演出装置。
5. 請求項１から４のいずれか一項に記載の空間像演出装置において、
   前記実物体制御手段は、前記空間像の移動速度に応じて、前記実物体の動きを制御することを特徴とする空間像演出装置。
6. 対象物を記録した映像データに示される映像の空間像を形成することで前記映像データを再生する空間像演出装置の制御方法であって、
   前記空間像演出装置が、前記空間像の形成される位置に応じて、前記映像データを再生する再生環境における実物体の動きを制御するステップを含む制御方法。
7. 対象物を記録する記録側と、前記記録側とネットワークを介して接続され、前記対象物が記録された映像データを前記記録側から前記ネットワークを介して取得し、該取得した映像データを再生する再生側とを備え、
   前記再生側には、前記映像データに示される映像の空間像を形成することで前記映像データを再生する空間像演出装置が設けられ、
   前記空間像演出装置は、
   前記映像データを再生する再生環境における実物体の動きを制御する実物体制御手段と、
   前記空間像の形成される位置に応じて前記実物体制御手段を制御する再生制御手段と
   を備える映像システム。

Images