JP6958341B2 - Ｖｒコンテンツを再生する方法、装置、及びプログラム - Google Patents

Description

本発明は、ＶＲコンテンツの再生に関し、より詳細には、ＶＲコンテンツを再生する方法、装置、及びプログラムに関する。

従来、情報処理技術の発展は、種々の情報のデジタル化を可能とし、情報の可用性を拡大している。特に、印刷技術分野で発展した高精彩デジタル化技術やカラーマネージメント技術は、貴重な文化財のデジタルアーカイブに貢献している。例えば、高精細撮影データや、三次元形状計測データ・色彩計測データに基づいて、文化財を再現することで、鑑賞・体験することが可能になっている。また、バーチャルリアリティー（ＶＲ）技術は、文化財が高精細にデジタル表現された仮想空間内で、視点を移動しながら文化財を鑑賞・体験することを可能にしている。特に、大型のスクリーンに高精細映像を写すことができるシアターは、３Ｄ仮想空間の臨場感や没入感を得やすく、バーチャル体験を通じて文化財の魅力を伝えやすいことが知られている。

図１は、大型のスクリーンに高精細映像を写すことができるシアターの構成を例示する図である。図１に示すように、シアターは、入出力装置１２０を有するＶＲコンテンツ再生装置１００と、スクリーン１３０とを備えている。図１には、ナビゲータ１４０も示されている。

ナビゲータ１４０は、３Ｄ仮想空間における視点を移動したり視点の向き（水平／垂直方向）を変えたりして、鑑賞者１６０にスクリーンに映し出される映像について説明する解説員である。ナビゲータ１４０は、上演時間を考慮して、コンテンツの内の観所、鑑賞順序、解説内容などのシナリオを予め決定して、コンテンツの上演を行う。

ＶＲコンテンツ再生装置１００は、文化財などのデジタル表現を描画するコンピュータである。なお、本明細書中、文化財などのデジタル表現を描画することを、コンテンツを再生すると言い、デジタル表現の描画に用いるデータを含むファイルをＶＲ用ファイルと言う。描画の対象は、文化財に限らず、モデルルームのデジタル表現やその他のもののデジタル表現であってもよい。

入出力装置１２０は、ナビゲータ１４０がＶＲコンテンツ再生装置１００と対話する際に使用する、ディスプレイや、キーボード、ポインティングデバイスなどの装置である。

例えば、ナビゲータ１４０は、鑑賞者がシアターに入場する前に、入出力装置１２０を使用して、コンテンツ再生アプリケーションを起動し、再生するコンテンツを選択する。これにより、ＶＲコンテンツ再生装置１００は、選択されたコンテンツのＶＲ再生ファイルを用いて、コンテンツ再生アプリケーションを初期化する（選択されたコンテンツのＶＲ再生ファイルをロードして、コンテンツ再生アプリケーションが、当該選択されたコンテンツを再生できるようにする。）。

ナビゲータ１４０は、鑑賞者がシアターに入場した後に、コントローラ１５０を使用して、予め決定したシナリオに沿ってコンテンツの上演を進行するように、ＶＲコンテンツ再生装置１００によるコンテンツ再生を制御する。例えば、ナビゲータ１４０は、コントローラ１５０を使用して、コンテンツの再生を開始し、停止し、スクリーンに映し出される映像について説明し、視点を移動することができる。また、ナビゲータ１４０は、コントローラ１５０を使用して、コンテンツの再生位置を変更すること（コンテンツ内の観所がチャプタ化されている場合にはチャプタを変更すること、又は視点の経路と経路上の通過ポイントが予め設定されている場合には通過ポイント間を移動すること）ができる。さらに、ナビゲータ１４０は、コントローラ１５０を使用して、拡張情報（スクリーンに映し出される映像に関連した別の映像など）を表示させることができる。

図２および３を参照してＶＲコンテンツの再生方法を説明する。図２（ａ）は自動再生モードを説明するための図である。図２（ｂ）はマニュアル再生モードを説明するための図である。図３（ａ）は半自動再生モードを説明するための図である。

図２（ａ）の自動再生モードでは、ナビゲータ１４０がコントローラ１５０のボタンを１度押下すると、ＶＲコンテンツ再生装置１００は、ＶＲコンテンツの再生を開始する。ＶＲコンテンツの再生は、いわゆるプリレンダリングであってもリアルタイムレンダリングであっても良い。ＶＲコンテンツ再生装置１００は、ナビゲータ１４０がコントローラ１５０でコンテンツの再生を停止する操作を行うまでの間、ＶＲ空間内の視点の位置を予め決定された経路に沿って移動（及び視点の向きを変更）しながらＶＲコンテンツの再生を続ける。ＶＲコンテンツの再生は、予め設定された１つのシナリオの終点まで続けられる。あるいは、１つのシナリオの視点の経路が複数のセグメント（本明細書において、カメラパスともいう）から構成され場合には、ＶＲコンテンツの再生は、カメラパスの終点まで続けられる。したがって、予め決定したシナリオに沿ってコンテンツの上演を進行するために必要なナビゲータによるコントローラ１５０の操作は必要最小限となる。よって、ナビゲータ１４０はスクリーンに映しだされる映像についての解説に集中することができる。

図２（ｂ）のマニュアル再生モードでは、ナビゲータ１４０は、コントローラ１５０の１つ又は複数のボタン、及び方向キーや方向レバーなどを押下することで、ＶＲ空間内の視点の位置を自由に移動（及び向きを変更）することができる。ナビゲータ１４０が、コントローラ１５０を操作しない限り、ＶＲ空間内の視点の位置（及び向き）は変わらない。

図３（ａ）の半自動再生モードでは、ナビゲータ１４０がコントローラ１５０のボタンを押下している間、ＶＲコンテンツ再生装置１００は、ＶＲ空間内の予め決定された視点の経路（本明細書中、レールともいう）に沿って視点を移動しながらＶＲコンテンツを再生する。ナビゲータ１４０がコントローラ１５０のボタン押下を解放すると、ＶＲコンテンツの再生は停止する。ナビゲータ１４０は、コントローラ１５０のボタンを押下している間に、別のボタンや方向キーを押下することで、視点の位置をレールに沿って移動しながら視点の向きを変更することもできる。予め決定したシナリオに沿ってコンテンツの上演を進行するためのコントローラ１５０の操作に関するナビゲータの負担は、図２（ｂ）のマニュアル再生モードに比べ軽減され、また、ＶＲ空間における視点の移動の自由度は図２（ａ）の自動再生モードに比べ増大する。

従来、シアターでは、ナビゲータ１４０の解説の翻訳音声が提供される。例えば、鑑賞者１６０は、受信機で受信される翻訳音声をヘッドホンのスピーカで再生することで、翻訳音声を聞くことができる。解説の翻訳音声は、ナビゲータ１４０が、スクリーンに映し出される映像の解説を行いながら、コントローラ１５０を操作して、解説のタイミングに合わせてＶＲコンテンツ再生装置１００へ出力を指示している。

ナビゲータ１４０によるコントローラ１５０の操作に応じてコンテンツの上演が進行する場合には、ＶＲコンテンツ再生装置１００へ翻訳音声の出力を指示するためのコントローラ１５０の操作は、ナビゲータ１４０の負担を増大する。

したがって、解説の翻訳音声の提供に関するナビゲータの負担を軽減するような、ＶＲコンテンツを再生する方法が望まれている。

このような目的を達成するための本願発明の一態様は、ＶＲコンテンツを再生する方法である。この方法は、ＶＲコンテンツ再生装置が、ボタンスイッチを有するコントローラからボタンスイッチが押下されている間に出力される信号を受信することと、信号を受信している間に、ＶＲ空間内の視点の位置を予め決定された経路に沿って移動しながらＶＲコンテンツを再生することと、視点が経路の予め決定された位置に移動されたときに、予め決定された位置に関連付けられた音声信号を出力することとを含む。

本願発明の一態様は、ＶＲコンテンツを再生する装置である。本願発明の一態様は、ＶＲコンテンツを再生させるプログラムである。

以上説明したように、本発明によれば、解説の翻訳音声を提供に関するナビゲータの負担を軽減するような、ＶＲコンテンツを再生する方法を提供することができる。

大型のスクリーンに高精細映像を写すことができるシアターの構成を説明するための図である。 ＶＲコンテンツの再生方法を説明するための図であり、（ａ）は自動再生モードを説明するための図、（ｂ）はマニュアル再生モードを説明するための図である。 ＶＲコンテンツの再生方法を解説するための図であり、（ａ）半自動再生モードを説明するための図であり、（ｂ）及び（ｃ）は本発明の一実施形態にかかるＶＲコンテンツ再生方法の概要を説明する図である。 本発明の一実施形態にかかるＶＲコンテンツ再生方法を説明するための図である。 本発明の一実施形態にかかるＶＲコンテンツ再生装置のハードウェアの概略構成図である。 本発明の一実施形態にかかるＶＲコンテンツ再生装置における処理フローを示す図である。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。以下の説明は一例であり、本願発明はこれに限定されるものではなく、一般性を失うことなく他の例でも実施できる。

図３（ｂ）及び（ｃ）は、本発明の一実施形態にかかるＶＲコンテンツ再生方法の概要を説明する図である。図３（ｂ）及び（ｃ）は、イメージ図であり、シアターにおいてスクリーンに映し出された映像とともに、ナビゲータ及びランタイムバーが示されている。ランタイムバーは、上演の進捗を示す。上演の進捗は、ＶＲコンテンツと現在の再生位置（再生中のフレームの位置（コンテンツがリアルタイムレンダリングにより再生されている場合）やＶＲ空間内の視点の座標）との相対的関係を示す。

本実施形態にかかるＶＲコンテンツ再生方法は、半自動再生モードのＶＲコンテンツ再生方法である。上述したように、ナビゲータ１４０がコントローラ１５０のボタンを押下している間、ＶＲコンテンツ再生装置２００は、ＶＲ空間内の予め決定された視点のレール（経路）に沿って視点を移動しながらＶＲコンテンツを再生する。すなわち、図３（ｂ）に示すように、ナビゲータ１４０がコントローラ１５０のボタンを押下している間、ＶＲコンテンツの再生位置の変化に伴い、ランタイムバーの表示も変化する。コントローラ１５０は、例えば、ゲーム用コントローラのような、方向キーなどボタンスイッチを備えたコントローラでもよく、またはタブレット端末のような、タッチ式ディスプレイにグラフィカルユーザインタフェース（ボタンスイッチを含む）を表示するコントローラであってもよい。

また、図３（ｃ）に示すように、本実施形態にかかるＶＲコンテンツ再生方法は、ＶＲコンテンツの再生位置が予め決定された位置に移動されると、当該予め決定された位置に関連付けられた解説の音声信号を出力する。例えば、ナビゲータが日本語で解説を提供している場合に、当該日本語の解説に対応する１つ又は複数の外国語（英語、フランス語、中国語・・・）の解説の音声信号がＶＲコンテンツ再生装置から出力される。

このように、本実施形態にかかるＶＲコンテンツ再生方法では、半自動再生モードでＶＲコンテンツを再生中のナビゲータは、コントローラのボタンスイッチを押下してＶＲ空間の視点を予め決定されたレール（経路）に沿って移動し、解説を提供すればよいことになる。すなわち、外国語の解説の音声信号を出力するためのコントローラのボタンスイッチの操作は不要となり、ナビゲータの負担が軽減される。

図４は、本実施形態のＶＲコンテンツ再生方法を説明するための図である。図４は、大型のスクリーンに高精細映像を写すことができるシアターの構成を例示する。図１と同様に、シアターは、ＶＲコンテンツ再生装置２００と、スクリーン１３０とを備えている。ＶＲコンテンツ再生装置２００は、図１を参照して説明した入出力装置１２０と同様の入出力装置を有している。図４には、ナビゲータ１４０、及びＶＲコンテンツ再生装置２００によるコンテンツ再生を制御するためにナビゲータ１４０が使用するコントローラ１５０も示されている。

ＶＲコンテンツ再生装置２００は、コンテンツデータを記憶し、これを再生することができる。図４では、１つコンテンツのデータ（コンテンツ１のコンテンツデータ）のみが示されているが、ＶＲコンテンツ再生装置２００は、複数のコンテンツデータを記憶し、任意のコンテンツを再生することができる。各コンテンツデータは、コンテンツ再生アプリケーションにロードされるＶＲ再生ファイル（ＶＲ用ファイル）と、１つ又は複数の多言語音声ファイルと、再生位置設定ファイルとを含む。

図５は、本発明の一実施形態にかかるＶＲコンテンツ再生装置２００のハードウェアの概略構成図である。ＶＲコンテンツ再生装置２００は、文化財などのデジタル表現を描画するコンピュータである。ＶＲコンテンツ再生装置２００は、制御部３０１と、バス３１０を介して制御部３０１と結合された主記憶部３０２、補助記憶部３０３、通信部３０４、及び入出力部３０５とを備える。また、ＶＲコンテンツ再生装置２００は、コンテンツデータ３０６を記録したデータベースを備える、あるいはコンテンツデータ３０６を記録した外部のデータベースにアクセスすることができる。

制御部３０１は、例えば、ＣＰＵ、ＧＰＵなどのプロセッサである。プロセッサは、汎用プロセッサでも、専用プロセッサでもよい。プロセッサは、例えば、補助記憶部３０３に格納されたコンテンツ再生アプリケーションプログラム及びコンテンツデータ３０６を主記憶部３０２にロードしてコンテンツを再生し、映像信号を入出力部３０５（例えば、スクリーン１３０に映像を映し出すプロジェクタ）に提供することができる。さらに、プロセッサは、通信部３０４又は入出力部３０５を介して、多言語音声の音声信号を出力することができる。プロセッサは、例えば、補助記憶部３０３に格納されたコンテンツ再生アプリケーションプログラムを実行し、図６を参照して後述する処理を行う。

主記憶部３０２は、例えば、ＲＯＭ、ＲＡＭなどの記憶装置である。主記憶部３０２は、オペレーティングシステムや各種アプリケーションプログラムがロードされる領域を提供する。

補助記憶部３０３は、ハードディスクＨＤＤ装置、磁気ディスク装置、光磁気ディスク装置、光ディクス装置、フラッシュメモリ（半導体メモリ）装置である。補助記憶部３０３は、オペレーティングシステムや各種アプリケーションプログラム（コンテンツ再生アプリケーションプログラムを含む）を格納する領域を提供する。図５では、コンテンツデータ３０６を記録したデータベースを補助記憶部３０３と別に示しているが、コンテンツデータ３０６は、補助記憶部３０３内に、各種アプリケーションプログラムなどと共に格納されてもよい。

通信部３０４は、例えば、有線通信や無線通信のための通信インターフェース装置である。コンテンツ再生装置２００は、通信部３０４を介して、コントローラ１５０と接続されてもよい。コンテンツ再生装置２００とコントローラ１５０とは、有線通信により接続されてもよく、無線通信により接続されてもよく、有線通信と無線通信とを組み合わせて接続されてもよい。ナビゲータ１４０の可動性及び操作性の観点からは、コントローラ１５０側の通信は無線通信インターフェース装置を介した無線通信であることが好ましい。

入出力部３０５は、例えば、ナビゲータ１４０が操作するために使用するディスプレイ、キーボード、ポインティングデバイスである。また、入出力部３０５は、スクリーン１３０に映像を映し出すプロジェクタや音響機器を含み、必要に応じてプリンタなどを含んでもよい。コンテンツ再生装置２００は、入出力部３０５を介して、コントローラ１５０と接続されてもよい。

コンテンツデータ３０６は、コンテンツ再生アプリケーションにロードされるＶＲ再生ファイル（ＶＲ用ファイル）と、１つ又は複数の多言語音声ファイルと、再生位置設定ファイルとを含む。

多言語音声ファイルは、ナビゲータが提供する解説に対応する外国語の解説が符号化されたデジタル情報を格納する。ＶＲコンテンツ再生装置２００は、多言語音声ファイル内のデジタル情報を復号（再生）したアナログ信号を音声信号として出力することができる。また、ＶＲコンテンツ再生装置２００は、多言語音声ファイル内のデジタル情報を音声信号として出力することができる。音声信号は、鑑賞者１６０の受信機で受信されて、ヘッドホンのスピーカから翻訳音声として出力される。音声信号は、シアターに設置された音響機器により受信され翻訳音声として出力されてもよい。

再生位置設定ファイルは、多言語音声ファイルに対応する音声信号を出力するタイミングとＶＲコンテンツの再生位置とを指定した（マッピングした）情報を格納する。ＶＲコンテンツ再生装置２００は、ＶＲコンテンツの再生位置と再生位置設定ファイルに格納された情報とに基づいて、音声信号を出力するタイミングを決定し、音声信号を出力することができる。

図６は、本発明の一実施形態にかかるＶＲコンテンツ再生装置２００における処理フローを示す図である。

ステップＳ６０１において、ＶＲコンテンツ再生装置２００（制御部３０１）は、コンテンツ再生アプリケーションを実行し、半自動モード再生を開始する。より詳細には、ＶＲコンテンツ再生装置２００（制御部３０１）は、補助記憶部３０３に格納されたコンテンツ再生アプリケーションプログラムを主記憶部３０２にロードする。さらに、ＶＲコンテンツ再生装置２００（制御部３０１）は、コンテンツデータ３０６をロードして、コンテンツ再生アプリケーションが、コンテンツを半自動モード再生できるようにする。

ステップＳ６０３において、コントローラ１５０のスイッチボタンが押下され保持され、ステップＳ６１１においてスイッチボタンの押下が解放されるまで、ＶＲコンテンツ再生装置２００（制御部３０１）は、コントローラから出力される信号を受信して、以下のステップＳ６０５〜Ｓ６０９を繰り返す。また、ＶＲコンテンツ再生装置２００は、半自動モード再生の終了の指示を受け取ると、Ｓ６１３において、ＶＲコンテンツ再生装置２００（制御部３０１）は、半自動モード再生を終了する。

ステップＳ６０５において、ＶＲコンテンツ再生装置２００（制御部３０１）は、ＶＲ空間内の視点の位置を予め決定された経路に沿って移動しながらＶＲコンテンツを再生する。ＶＲコンテンツ再生装置２００（制御部３０１）は、再生したＶＲコンテンツの映像信号を出力する。

ステップＳ６０７において、ＶＲコンテンツ再生装置２００（制御部３０１）は、ＶＲコンテンツの再生位置が、予め設定された再生位置であるかどうかを判定する。

ＶＲコンテンツの再生位置が予め定められた再生位置であると判定されると（Ｓ６０７のＹＥＳ）、ステップＳ６０９において、ＶＲコンテンツ再生装置２００（制御部３０１）は、予め設定された再生位置に関連付けられた音声信号を出力する。例えば、多言語音声ファイルに格納された情報を再生（復号）する。

以上説明したように、本実施形態によれば、解説の翻訳音声を提供に関するナビゲータの負担を軽減することが可能となる。

１００、２００ ＶＲコンテンツ再生装置
１２０ 入出力装置
１３０ スクリーン
１４０ ナビゲータ
１５０ コントローラ
１６０ 鑑賞者
３０１ 制御部
３０２ 主記憶部
３０３ 補助記憶部
３０４ 通信部
３０５ 入出力部
３０６ コンテンツデータ
３１０ バス

Claims (5)

1. ＶＲコンテンツを再生する方法であって、ＶＲコンテンツ再生装置が、
   ボタンスイッチを有するコントローラから前記ボタンスイッチが押下されている間に出力される信号を受信することと、
   前記信号を受信している間に、ＶＲ空間内の視点の位置を予め決定された経路に沿って移動しながらＶＲコンテンツを再生することと、
   前記視点が前記経路の予め決定された位置に移動されたときに、前記予め決定された位置に関連付けられた音声信号を出力することと
   を含む方法。
2. 前記音声信号は、前記予め決定された位置に関連付けられた１つの解説についての１つ又は複数の言語にそれぞれ対応する１つ又は複数の音声信号である、請求項１に記載の方法。
3. 前記１つ又は複数の音声信号は、各々に前記経路の予め決定された位置に関連付けられている、請求項２に記載の方法。
4. ＶＲコンテンツを再生する装置であって、
   ボタンスイッチを有するコントローラから前記ボタンスイッチが押下されている間に出力される信号を受信し、
   前記信号を受信している間に、ＶＲ空間内の視点の位置を予め決定された経路に沿って移動しながらＶＲコンテンツを再生し、
   前記視点が前記経路の予め決定された位置に移動されたときに、前記予め決定された位置に関連付けられた音声信号を出力する
   よう構成されたプロセッサを備えた装置。
5. プロセッサを備えた装置にＶＲコンテンツを再生させるプログラムであって、前記プログラムは、前記プロセッサに、
   ボタンスイッチを有するコントローラから前記ボタンスイッチが押下されている間に出力される信号を受信することと、
   前記信号を受信している間に、ＶＲ空間内の視点の位置を予め決定された経路に沿って移動しながらＶＲコンテンツを再生することと、
   前記視点が前記経路の予め決定された位置に移動されたときに、前記予め決定された位置に関連付けられた音声信号を出力することと
   を実行させる、プログラム。

Images