JP6403650B2 - 空間像演出装置、その制御方法およびプログラム - Google Patents

Description

本発明は、空間像を表示する空間像演出装置、その制御方法およびプログラムに関する。

スポーツ中継などにおいて、遠隔地にいるスポーツ選手を記録した映像を、その選手がまるでその場にいるかのように演出して、より臨場感のある態様で再生する技術が検討されている。このような技術の１つとして、表示部（ディスプレイ）に表示された表示像を空間上に空間像として表示する技術が非特許文献１に開示されている。

非特許文献１においては、ディスプレイに映像を表示し、その表示像の空間像を光学素子によりステージ上に形成するととともに、ステージ上の実物体の動きに応じて空間像を移動させたり、ステージの上部に設けられた投影装置により、空間像の影に相当する映像を投影したりする技術が開示されている。この技術によれば、実物体の動きに応じて空間像を移動させたり、空間像の影に相当する映像を投影したりすることで、空間像により示された対象物が実際にステージ上に存在するかのように観察者に視認させることができ、より効果的な演出が可能となる。

Hanyuool Kim, Issei Takahashi, Hiroki Yamamoto, Satoshi Maekawa, Takeshi Naemura, "MARIO: Mid-air Augmented Reality Interaction with Objects", Entertainment Computing, Volume 5, Issue 4, December 2014, pages 233-241

一般に、ステージ上に空間像と実物体とが共存する場合、空間像と実物体とが同時に観察され、空間像の見た目と実物体の見た目とが対比的に観察される。ここで、空間像の見た目と実物体の見た目との差が大きい場合、空間像の存在感が低下する。

しかしながら、非特許文献１に開示されている技術においては、空間像の見た目と実物体の見た目との差異については十分な考慮がなされておらず、より臨場感のある態様で空間像を観察者に視認させることが難しいという問題がある。

本発明の目的は、上述した課題を解決し、より臨場感のある態様で空間像を観察者に視認させることができる空間像演出装置、その制御方法およびプログラムを提供することにある。

上記課題を解決するため、本発明に係る空間像演出装置は、対象物を記録した映像データに示される映像の空間像を形成することで前記映像データを再生する空間像演出装置であって、前記映像データを再生する再生環境における実物体の見た目の粗さを制御する実物体外見制御手段と、前記映像データの記録環境に関する記録環境情報に基づいて、前記実物体外見制御手段を制御する再生制御手段とを備える。

また、上記課題を解決するため、本発明に係る空間像演出装置の制御方法は、対象物を記録した映像データに示される映像の空間像を形成することで前記映像データを再生する空間像演出装置の制御方法であって、前記映像データの記録環境に関する記録環境情報に基づいて、前記映像データを再生する再生環境における前記実物体の見た目の粗さを制御する制御ステップを含む。

また、上記課題を解決するため、本発明に係るプログラムは、対象物を記録した映像データに示される映像の空間像を形成することで前記映像データを再生する空間像演出装置として機能するコンピュータに、前記映像データの記録環境に関する記録環境情報に基づいて、前記映像データを再生する再生環境における実物体の見た目の粗さを制御する制御ステップを実行させる。

本発明に係る空間像演出装置、その制御方法およびプログラムによれば、より臨場感のある態様で空間像を観察者に視認させることができる。

本発明の一実施形態に係る空間像演出装置の概要を示す図である。 図１に示す空間像演出装置の全体構成例を示す図である。 空間像を形成するための構成の一例を示す図である。 空間像を形成するための構成の別の一例を示す図である。 空間像を形成するための構成のさらに別の一例を示す図である。 図２に示す制御部の構成を示す図である。 図６に示す再生制御部による環境演出手段の制御例を示す図である。 空間像と実物体とが共存する場合の環境演出手段の制御例を示す図である。 空間像と実物体とが共存する場合の環境演出手段の制御例を示す図である。 空間像と実物体とが共存する場合の環境演出手段の制御例を示す図である。

以下、本発明の実施の形態について説明する。

図１は、本発明の一実施形態に係る空間像演出装置１０の概要を示す図である。

図１に示す空間像演出装置１０は、対象物１（例えば、競技中のスポーツ選手）を撮影装置２により撮影（記録）して得られたメディア情報（映像データ）が入力され、入力されたメディア情報に示される映像の空間像３をステージ４に形成することで映像データを再生し、観察者５に視認させるものである。なお、対象物１の撮影時には音声も合わせて記録されてもよく、メディア情報には記録された音声データが含まれてもよい。

図２は、図１に示す空間像演出装置１０の全体構成例を示す図である。

図２に示す空間像演出装置１０は、空間像投影装置１１と、プロジェクタ１２と、照明装置１３と、光源装置１４と、送風・空調装置１５と、スモーク発生装置１６と、スピーカ１７と、再生環境情報取得部１８と、制御部１００とを備える。プロジェクタ１２、照明装置１３、光源装置１４、送風・空調装置１５、スモーク発生装置１６およびスピーカ１７は、映像データを再生する再生環境（ステージ４およびその周囲）における演出を行う環境演出手段の一例である。なお、環境演出手段としては、図２に示した各種装置の他にも、ステージ４の傾斜や起伏を制御する地形制御装置などもある。

空間像投影装置１１は、ステージ４の床面４ａに対向して設けられており、例えば、プロジェクタなどである。床面４ａはスクリーン（表示部）として作用し、空間像投影装置１１は、制御部１００の制御に従い、メディア情報（映像データ）に示される映像を床面４ａ（スクリーン）に投影（表示）する。この表示により表示像（映像データに示される映像）の空間像が形成される。なお、空間像の形成方法の詳細については後述する。

プロジェクタ１２は、制御部１００の制御に従い、再生環境に映像（例えば、形成された空間像３の影に相当する映像３ａ）を表示（投影）する表示装置である。

照明装置１３は、制御部１００の制御に従い、再生環境を照明する。

光源装置１４は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの光源装置であり、制御部１００の制御に従い、点灯する。ここで、光源装置１４は、空間像３を観察する観察者５から見て再生環境における光源として認識されるように設けられるものであり、ステージ４の照明を主目的とするものではない。したがって、光源装置１４は、観察者５から視認可能な位置に設けられており、あたかも、光源装置１４が空間像を照明しているかのように観察者５に視認される。上述したように、光源装置１４は、ステージ４の照明を主目的とするものではないため、光源装置１４からの光がステージ４に入射しないように、光源装置１４のステージ４に向かう部分には目張りなどが行われてもよい。ただし、光源装置１４からの光がステージ４における表示に大きな影響を与えない場合には、そのような目張りは設けなくてもよい。

送風・空調装置１５は、制御部１００の制御に従い、再生環境における空調（風向き、風速）、温度、湿度などを制御する。

スモーク発生装置１６は、制御部１００の制御に従い、再生環境にスモーク（霧）を発生させる。

スピーカ１７は、制御部１００の制御に従い、再生環境における音響を制御する。

このように、環境演出手段であるプロジェクタ１２、照明装置１３、光源装置１４、送風・空調装置１５、スモーク発生装置１６およびスピーカ１７は、情報メディア（映像データ）を再生する再生環境の演出（再生環境における照明制御、空調制御、音響制御、スモークの発生、映像の表示など）を行うことができる。なお、光源装置１４は、ステージ４の周囲に１つ又は複数配置されているか、あるいは、ステージ４の周囲を移動可能に設けられている。

再生環境情報取得部１８は、例えば、撮影装置であり、情報メディア（映像データ）の再生環境を撮影し、撮影した映像から種々の情報を再生環境情報として取得する。また再生環境情報取得部１８は、空間像３の見た目の粗さに関する情報を再生環境情報として取得する。空間像３の見た目の粗さとは、観察者５によって視認される空間像３の空間解像度である。本実施形態では、空間像３の空間解像度が高いことを空間像３の見た目の粗さが小さいともいい、空間像３の空間解像度が低いことを空間像３の見た目の粗さが大きいともいう。空間像３の見た目の粗さを決定する要因の一つは、空間像投影装置１１の性能や映像データの解像度によって決定される空間像投影装置１１が投影する映像そのものの解像度である。よって再生環境情報取得部１８は、空間像投影装置１１が投影する映像そのものの解像度を空間像３の見た目の粗さに関する情報として取得してもよい。また空間像３の見た目の粗さは、再生環境に投影される他の映像や再生環境に照射される照明などの光によって影響を受ける。よって再生環境情報取得部１８は、再生環境に表示された空間像３を撮影し、撮影画像を解析することによって算出される空間像３の解像度を空間像３の見た目の粗さに関する情報として取得してもよい。

制御部１００は、例えば、パーソナルコンピュータなどであり、メディア情報が入力され、入力されたメディア情報（映像データ）に示される映像を空間像投影装置１１に表示させる。空間像投影装置１１による映像の表示により、表示像の空間像がステージ４上に形成される。

また、制御部１００は、環境演出手段である各装置を制御する。

次に、空間像の形成について、図３から図５を参照して説明する。なお、図３から図５において、図２と同様の構成については同じ符号を付し、説明を省略する。

図３は、空間像を形成するための構成の一例を示す図である。

図３においては、表示部であるスクリーン２０が、観察者５の観察方向（Ｘ方向）に対して略水平に設けられている。スクリーン２０は、図２においては、ステージ４の床面４ａに相当する。空間像投影装置１１は、例えば、プロジェクタであり、スクリーン２０の一方の面（下面）側に設けられ、制御部１００の制御に従い、スクリーン２０に映像を投影（表示）する。

スクリーン２０の他方の面（上面）側には、光学素子である透明板２１が設けられている。透明板２１は、スクリーン２０から見て観察者５側に向かって（−Ｘ方向に）ほぼ４５°傾斜している。スクリーン２０への映像の表示に応じて、スクリーン２０からの出射光は、透明板２１に入射し、透明板２１において観察者５に向かう方向に向けられる。こうすることで、スクリーン２０に表示された表示像Ａの空間像Ｂ（虚像）が、スクリーン２０に対して略垂直に形成され、観察者５に視認される。

図４は、空間像を形成するための構成の別の一例を示す図である。

スクリーン２０の上面側には、光学素子である実像鏡２２が設けられている。実像鏡２２は、スクリーン２０から見て観察者５とは反対側に向かって（Ｘ方向に）ほぼ４５°傾斜している。スクリーン２０への映像の表示に応じて、スクリーン２０からの出射光は、実像鏡２２に入射し、実像鏡２２において観察者５に向かう方向に向けられる。こうすることで、スクリーン２０に表示された表示像Ａの空間像Ｂ（実像）が、スクリーン２０に対して略垂直に形成され、観察者５に視認される。なお、図３と図４とを比較すると、表示される表示像Ａの上下が反転している。

図３，４においては、空間像投影装置１１がスクリーン２０の下面から映像を投影する例を用いて説明したが、図２のように、空間像投影装置１１はスクリーン２０の上面から映像を投影してもよい。この場合、空間像投影装置１１による投影光はスクリーン２０に投影され、スクリーン２０からの出射光を観察者５の方向に向けるような光学素子を用いることで、スクリーン２０の表示像の空間像を形成することができる。

また、図３，４においては、スクリーン２０に空間像投影装置１１により映像を表示（投影）し、その表示に応じたスクリーン２０からの出射光を光学素子（透明板２１、実像鏡２２）により観察者５に向かう方向に向けることで空間像を形成する例を用いて説明したが、これに限られるものではない。例えば、空間像投影装置１１を液晶デバイスなどで構成し、スクリーン２０の位置に液晶デバイスの表示面を設け、表示面への映像の表示により空間像を形成するようにしてもよい。

図５は、空間像を形成するための構成のさらに別の一例を示す図である。図５においては、スクリーン２０の代わりに、シースルースクリーン２３を用いて空間像を形成する例について説明する。

シースルースクリーン２３は、観察者５と対向するように（Ｘ方向に対して略垂直に）設けられている。シースルースクリーン２３は、略透明状のスクリーンであり、一方の面側（観察者５と対向する面とは反対の面側）から空間像投影装置１１により投影された映像を空間像として観察者５に視認させるとともに、投影されている部分以外の部分では、シースルースクリーン２３の後方の背景も観察者５に視認させることができる。したがって、シースルースクリーン２３の表示像とシースルースクリーン２３の後方の背景とを前後に重畳して、観察者５に視認させることができる。

次に、制御部１００の構成について、図６を参照して説明する。

図６に示す制御部１００は、記録環境情報取得部１０１（記録環境情報取得手段）と、再生制御部１０２（再生制御手段）とを備える。

記録環境情報取得部１０１は、メディア情報の入力に応じて、メディア情報（映像データ）の記録環境に関する記録環境情報を取得し、取得した記録環境情報およびメディア情報を再生制御部１０２に出力する。ここで、記録環境情報取得部１０１は、記録環境情報として、記録環境における光源に関する情報（光源の位置、光源からの光の色や強度など）を取得する。なお、記録環境情報取得部１０１は、記録環境情報を、映像データに示される映像の解析により取得したり、記録環境に設けられたセンサ（光センサなど）から取得したりする。

再生制御部１０２は、記録環境情報取得部１０１から出力されたメディア情報（映像データ）に示される映像を空間像投影装置１１に表示させるとともに、メディア情報に音声データが含まれる場合には、その音声データをスピーカ１７に再生させる。また、再生制御部１０２は、記録環境情報取得部１０１から出力された記録環境情報に基づき、環境演出手段である各装置を制御する。

図７は、再生制御部１０２による環境演出手段の制御例を示す図である。

再生制御部１０２は、空間像投影装置１１に、映像データに示される映像（対象物を記録した映像）をステージ４の床面４ａ（スクリーン）に表示させる。この表示により、映像データに示される映像の空間像３が再生環境に形成される。

また、再生制御部１０２は、プロジェクタ１２に、記録環境における光源（仮想光源）の位置から対象物を照明した場合に生じる影に相当する映像３ａをステージ４の床面４ａに投影させる。なお、再生制御部１０２は、例えば、空間像を２値化し、その縦横比率を変更することで、空間像の影に相当する映像３ａを生成する。

図７において再生環境情報取得部１８は、再生環境を撮影し、再生制御部１０２により再生環境に形成された空間像３の見た目の粗さに関する情報を取得する。上述の通り、空間像３の見た目の粗さに関する情報は、観察者５によって視認される空間像３の空間解像度である。ここで、再生環境には実物体が存在することがある。実物体とは、再生環境に存在する人物や動物であってもよいし、再生環境に配置された物体であってもよい。再生環境に配置された物体は、動かない物体や動く物体を含む。

再生環境に空間像３と実物体とが共存する場合、観察者５は空間像３と実物体とを同時に観察できる。よって観察者５の視点では、空間像３の見た目と実物体の見た目とが対比的に観察される。ここで、空間像３の見た目の粗さの大きさが実物体の見た目の粗さよりも大きい場合、観察者５にとっては空間像３の現実感が失われ、空間像３の存在感が低下する。そのため、空間像３の見た目の粗さと実物体の見た目の粗さとの差を所定の範囲内に収めることが好ましい。このようにするための一つの方法として、空間像投影装置１１を高性能化したり、映像データを高解像度したりすることにより、空間像３の見た目の粗さを小さくする方法が考えられる。一方で、実物体の見た目（外見）の粗さを制御する手段（以下、実物体外見制御手段ともいう）を用いて、実物体の見た目の粗さを大きくする方法も考えられる。

図８〜図１０は、再生環境に空間像３と実物体３１が共存する場合の環境演出手段の制御例を示す図である。

図８は、実物体３１の見た目の粗さを大きくするために実物体３１の周囲に霧またはスモークを発生させる例を示している。

図８では、実物体３１の近傍にスモーク発生装置１６が設けられている。スモーク発生装置１６は、上述の通り、環境演出手段の一種である。再生制御部１０２は、再生環境情報に含まれる空間像３の見た目の粗さに関する情報に応じて、実物体３１の見た目の粗さを制御するために、環境演出手段の一種であるスモーク発生装置１６を制御する。再生制御部１０２は、スモーク発生装置１６に対して、スモークの発生量やスモークの発生場所などを含む制御情報を送信する。スモーク発生装置１６は、再生制御部１０２から取得した制御情報に基づいて、スモーク１６１を再生環境に発生させる。図８では、実物体３１の周囲にスモーク１６１が発生している。当該スモーク１６１によって、実物体３１の輪郭や細部が見えにくくなりぼやけるため、実物体３１の見た目の粗さが大きくなる。このようにスモーク１６１によって実物体３１の見た目の粗さを制御できることから、スモーク発生装置１６は実物体外見制御手段であるともいえる。

空間像３の見た目の粗さと実物体３１の見た目の粗さとの差を所定の範囲内に収めるためには、スモーク発生装置１６が適切に制御される必要がある。再生制御部１０２は、実物体３１の周囲に発生させるスモークの量や濃度と実物体３１の見た目の粗さとの関係をキャリブレーションによって事前に取得しておき、当該関係に基づいてスモーク発生装置１６を制御してもよい。また再生制御部１０２は、再生環境情報取得部１８が再生環境を撮影した画像から、再生環境における実物体３１の見た目の粗さに関する情報を取得して、空間像３の見た目の粗さに関する情報と比較し、その比較結果をフィードバックしてスモーク発生装置１６を制御してもよい。

図９は、実物体３１の見た目の粗さを大きくするために実物体３１に照射する照明を制御する例を示している。

図９では、実物体３１の近傍に照明装置１３が設けられている。照明装置１３は、上述の通り、再生環境を照明するものであり、環境演出手段の一種である。再生制御部１０２は、再生環境情報に含まれる空間像３の見た目の粗さに関する情報に応じて、実物体３１の見た目の粗さを制御するために、環境演出手段の一種である照明装置１３を制御する。再生制御部１０２は、実物体３１に対して照射する照明の光量や色合い、照射方向などを含む制御情報を、照明装置１３に送信する。照明装置１３は、再生制御部１０２から取得した制御情報に基づいて実物体１３を照明する。図９では、実物体３１に対して照明装置１３から発した光が照射されている。照明装置１３が照射する光を暗くしたり、暗い色合いにしたりすることによって、実物体３１の輪郭や細部が見えにくくなりぼやけるため、実物体３１の見た目の粗さが大きくなる。このように照射する光によって実物体３１の見た目の粗さを制御できることから、照明装置１３は実物体外見制御手段であるともいえる。

空間像３の見た目の粗さと実物体３１の見た目の粗さとの差を所定の範囲内に収めるためには、照明装置１３が適切に制御される必要がある。再生制御部１０２は、実物体３１を照射する光量や色合いと実物体３１の見た目の粗さとの関係をキャリブレーションによって事前に取得しておき、当該関係に基づいて照明装置１３を制御してもよい。また再生制御部１０２は、再生環境情報取得部１８が再生環境を撮影した画像から、再生環境における実物体３１の見た目の粗さに関する情報を取得して、空間像３の見た目の粗さに関する情報と比較し、その比較結果をフィードバックして照明装置１３を制御してもよい。

図１０は、実物体３１の見た目の粗さを大きくするために実物体３１そのものの外面の解像度を制御する例を示している。

実物体３１は、その外面が例えば可動式のパネルで覆われており、当該パネルが動くことによって実物体３１の外面の凹凸を制御することができる。つまり図１０の例においては、実物体３１は外面制御装置を含んでいる。このような外面制御装置は、再生環境の演出に関係するものであり、環境演出手段の一種である。再生制御部１０２は、再生環境情報に含まれる空間像３の見た目の粗さに関する情報に応じて、実物体３１の見た目の粗さを制御するために、環境演出手段の一種である外面制御装置を制御する。再生制御部１０２は、外面制御装置に対して、実物体３１の外面形状制御するための制御情報を送信する。外面制御装置は、再生制御部１０２から取得した制御情報に基づいて実物体１３の外面の凹凸を制御する。図１０では、実物体３１の外面に凹凸がつけられることによって、実物体３１の見た目の粗さが大きくなる。このように実物体３１の外面の凹凸を制御することによって実物体３１の見た目の粗さを制御できることから、外面制御装置は実物体外見制御手段であるともいえる。

空間像３の見た目の粗さと実物体３１の見た目の粗さとの差を所定の範囲内に収めるためには、外面制御装置が適切に制御される必要がある。再生制御部１０２は、実物体３１の外面の凹凸と実物体３１の見た目の粗さとの関係をキャリブレーションによって事前に取得しておき、当該関係に基づいて外面制御装置を制御してもよい。また再生制御部１０２は、再生環境情報取得部１８が再生環境を撮影した画像から、再生環境における実物体３１の見た目の粗さに関する情報を取得して、空間像３の見た目の粗さに関する情報と比較し、その比較結果をフィードバックして外面制御装置を制御してもよい。

また、実物体３１に向けてプロジェクタで低解像度の映像（ノイズ）をリアルタイムで照射し、プロジェクションマッピングを行うことによって、実物体３１の見た目の粗さを大きく（解像度を低く）して実物体３１の外面の解像度を制御してもよい。この場合、実物体３１に向けて低解像度の映像を照射するプロジェクタは、実物体外見制御手段であるともいえる。

以上、図８〜１０について説明してきた。これらの例のように、空間像３と実物体３１とが共存する再生環境においても、実物体３１の見た目の粗さを制御することによって、観察者から見た空間像３の存在感が低下することを防ぎ、より臨場感のある態様で空間像を観察者に視認させることができる。

本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。したがって、これらの変形または修正は本発明の範囲に含まれることに留意されたい。

１０ 空間像演出装置
１１ 空間像投影装置
１２ プロジェクタ
１３ 照明装置
１４ 光源装置
１５ 空調・送風装置
１６ スモーク発生装置
１７ スピーカ
１８ 再生環境情報取得部
１００ 制御部
１０１ 記録環境情報取得部
１０２ 再生制御部
３ 空間像
３１ 実物体

Claims (8)

1. 対象物を記録した映像データに示される映像の空間像を形成することで前記映像データを再生する空間像演出装置であって、
   前記映像データを再生する再生環境における実物体の見た目の粗さを制御する実物体外見制御手段と、
   前記映像データの記録環境に関する記録環境情報に基づいて、前記実物体外見制御手段を制御する再生制御手段と
   を備える空間像演出装置。
2. 請求項１記載の空間像演出装置において、
   前記再生環境における前記空間像の見た目の粗さに関する情報を取得する再生環境情報取得手段をさらに備え、
   前記再生制御手段は、前記空間像の見た目の粗さに関する情報に応じて前記実物体外見制御手段を制御することを特徴とする空間像演出装置。
3. 請求項２記載の空間像演出装置において、
   前記再生制御手段は、前記空間像の見た目の粗さと前記実物体の見た目の粗さとの差が所定の範囲内となるように前記実物体外見制御手段を制御することを特徴とする空間像演出装置。
4. 請求項１乃至３いずれか一項に記載の空間像演出装置において、
   前記実物体外見制御手段は、スモーク発生装置であり、
   前記スモーク発生装置は、前記実物体の周囲にスモークを発生させることを特徴とする空間像演出装置。
5. 請求項１乃至３いずれか一項に記載の空間像演出装置において、
   前記実物体外見制御手段は、照明装置であり、
   前記照明装置は、前記実物体に対して照射する照明を制御することを特徴とする空間像演出装置。
6. 請求項１乃至３いずれか一項に記載の空間像演出装置において、
   前記実物体外見制御手段は、前記実物体の外面の凹凸を制御することを特徴とする空間像演出装置。
7. 対象物を記録した映像データに示される映像の空間像を形成することで前記映像データを再生する空間像演出装置の制御方法であって、
   前記映像データの記録環境に関する記録環境情報に基づいて、前記映像データを再生する再生環境における実物体の見た目の粗さを制御する制御ステップを含む制御方法。
8. 対象物を記録した映像データに示される映像の空間像を形成することで前記映像データを再生する空間像演出装置として機能するコンピュータに、
   前記映像データの記録環境に関する記録環境情報に基づいて、前記映像データを再生する再生環境における実物体の見た目の粗さを制御する制御ステップを実行させるプログラム。

Images