特許法第30条第2項適用 [刊行物等] PlayStation祭2018、ナレッジキャピタルコングレコンベンションセンター、大阪府大阪市北区大深町3-1グランフロント大阪北館B2F(平成30年10月28日)
特許法第30条第2項適用 [刊行物等] PlayStation祭2018、アクロス福岡B2Fイベントホール、福岡県福岡市中央区天神1丁目1番1号(平成30年11月4日)
特許法第30条第2項適用 [刊行物等] PlayStation祭2018、広島コンベンションホール、広島県広島市東区二葉の里3丁目5番4号広テレビル(平成30年11月11日)
特許法第30条第2項適用 [刊行物等] PlayStation祭2018、サンフェスタイベントホール、宮城県仙台市若林区卸町2丁目15-2(平成30年11月25日)
特許法第30条第2項適用 [刊行物等] PlayStation祭2018、札幌コンベンションセンター、札幌市白石区東札幌6条1丁目1-1(平成30年12月22日)
特許法第30条第2項適用 [刊行物等] https://www.jp.playstation.com/blog/detail/7566/20180919-theaterroomvr.html(平成30年9月19日)[刊行物等] https://www.famitsu.com/news/201809/19164343.html(平成30年9月19日) [刊行物等] https://www.4gamer.net/games/999/G999905/20180919156/(平成30年9月19日) [刊行物等] https://news.nicovideo.jp/watch/nw3898680(平成30年9月19日)
特許法第30条第2項適用 [刊行物等] アプリケーション「Theater Room VR Beta」内(平成31年2月8日) [刊行物等] https://www.jp.playstation.com/blog/detail/8196/20190208-theaterroom-vr.html(平成31年2月8日)[刊行物等] https://www.animatetimes.com/news/details.php?id=1549632419(平成31年2月8日)[刊行物等] https://www.4gamer.net/games/085/G008540/20190208100/(平成31年2月8日) [刊行物等] https://www.moguravr.com/theater-room-vr-youjo-senki/(平成31年2月8日) [刊行物等] https://akiba-souken.com/article/38451/(平成31年2月8日) [刊行物等] https://news.nicovideo.jp/watch/nw4800318(平成31年2月8日)[刊行物等] https://www.excite.co.jp/news/article/MoguraVR_theater-room-vr-youjo-senki/(平成31年2月8日)
特許法第30条第2項適用 [刊行物等] http://news.livedoor.com/article/detail/16009696/(平成31年2月12日) [刊行物等] http://itlifehack.jp/archives/9992566.html(平成31年2月12日)
実施例の情報処理装置(後述の情報処理装置202)は、仮想空間に設置されたスクリーンにおいて映像コンテンツを再生表示させ、そのスクリーンを含む仮想現実映像(以下「VR画像」とも呼ぶ。)をユーザに視聴させる。実施例の情報処理装置は、映像コンテンツの再生表示中、仮想空間におけるスクリーンの外に、映像コンテンツに同期させて特殊効果用の画像(以下「エフェクト画像」とも呼ぶ。)を表示させる。
実施例の仮想空間はスクリーンが設置された仮想的な映画館であり、ユーザは、映画館内の座席からスクリーンに映る映像コンテンツを視聴する。この際、ユーザの視聴位置からスクリーンまでの間には空間が生じる。実施例では、この空間にエフェクト画像を表示することにより、スクリーンに映る映像コンテンツの立体感を高める。
実施例では、複数種類のエフェクト画像が表示され得る。複数種類のエフェクト画像は、稲妻が光る様子を示す稲妻画像(火花が光る様子を示す火花画像とも言える)、煙が立ちこめる様子を示す煙画像、およびビームが飛ぶ様子を示すビーム画像を含む。特に断らない限り、実施例における「画像」は、動画像(言い換えれば映像)と静止画の両方を含み得る。
図1は、実施例に係るヘッドマウントディスプレイの外観図である。ヘッドマウントディスプレイ100は、本体部110、前頭部接触部120、および側頭部接触部130を含む。ヘッドマウントディスプレイ100は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。ヘッドマウントディスプレイ100の形状に制限はなく、例えば、帽子型でもよく、眼鏡型でもよい。
実施例では、ヘッドマウントディスプレイ100に内蔵または外付けされたモーションセンサにより、ヘッドマウントディスプレイ100を装着したユーザの頭部の回転角や傾きといった姿勢情報およびユーザの視線を計測する。変形例として、ユーザがモーションセンサを頭部に装着したり、注視点検出装置を用いて赤外線の反射を検出したりすることで視線を検出してもよい。あるいは、ヘッドマウントディスプレイまたはユーザの頭部にマーカーを装着させ、その姿をカメラにより撮影し、撮影した画像を解析することにより、ヘッドマウントディスプレイまたはユーザの姿勢と視線を推定してもよい。
図2は、図1のヘッドマウントディスプレイ100の機能ブロックを示すブロック図である。本明細書のブロック図で示す複数の機能ブロックは、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムをCPUが実行すること等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
制御部10は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース20は、ユーザからの操作信号や設定信号を受け付け、制御部10に供給する。出力インタフェース30は、制御部10から画像信号を受け取り、ディスプレイに表示させる。バックライト32は、液晶ディスプレイにバックライトを供給する。
通信制御部40は、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、制御部10から入力されるデータを外部に送信する。通信制御部40は、また、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、外部からデータを受信し、制御部10に出力する。記憶部50は、制御部10が処理するデータやパラメータ、操作信号などを一時的に記憶する。
モーションセンサ64は、ヘッドマウントディスプレイ100の本体部110の回転角や傾きなどの姿勢情報を検出する。モーションセンサ64は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。外部入出力端子インタフェース70は、周辺機器を接続するためのインタフェースであり、例えばUSB(Universal Serial Bus)コントローラである。外部メモリ72は、フラッシュメモリなどの外部メモリである。
時計部80は、制御部10からの設定信号によって時間情報を設定し、時間データを制御部10に供給する。制御部10は、画像やテキストデータを出力インタフェース30に供給してディスプレイに表示させたり、通信制御部40に供給して外部に送信させたりすることができる。
図3は、実施例に係るエンタテインメントシステムの構成を示す。エンタテインメントシステム200は、様々な映像コンテンツを、ユーザの頭部に装着されたヘッドマウントディスプレイ100に表示させる情報処理システムである。映像コンテンツは、例えば、映画、アニメーション、コンサート、ゲーム映像等を含む。
情報処理装置202は、ヘッドマウントディスプレイ100における表示用画像を生成する画像生成装置であり、ヘッドマウントディスプレイ100の表示内容を制御する表示制御装置とも言える。実施例の情報処理装置202は、据置型ゲーム機とするが、変形例として、情報処理装置202は、PC、タブレット端末、スマートフォン、携帯型ゲーム機等であってもよい。また、情報処理装置202は、ヘッドマウントディスプレイ100と一体化されてもよく、言い換えれば、情報処理装置202の機能は、ヘッドマウントディスプレイ100に組み込まれてもよい。
情報処理装置202は、無線通信またはUSB等の周辺機器を接続するインタフェースを介してヘッドマウントディスプレイ100およびコントローラ204に接続される。また、情報処理装置202は、LAN・WAN・インターネット等を含む通信網208を介して、配信サーバ206と接続される。
コントローラ204は、ヘッドマウントディスプレイ100を装着したユーザが把持する操作デバイスであり、情報処理装置202に対するユーザの操作を受け付け、操作内容を情報処理装置202へ送信する。また、コントローラ204は、内蔵されたモーターを回転させることで持ち手部分を振動させる振動部(不図示)を備える。
配信サーバ206は、所定の記憶装置に記憶された映像コンテンツのデータを、所定のストリーミングプロトコルにしたがって情報処理装置202へ送信するストリーミングサーバである。
図4は、図3の情報処理装置202の内部回路構成を示す。情報処理装置202は、CPU(Central Processing Unit)222、GPU(Graphics Processing Unit)224、メインメモリ226を含む。これらの各部は、バス230を介して相互に接続されている。バス230にはさらに入出力インタフェース228が接続されている。
入出力インタフェース228には、USBやIEEE1394などの周辺機器インタフェースや、有線又は無線LANのネットワークインタフェースからなる通信部232、ハードディスクドライブや不揮発性メモリなどの記憶部234、ヘッドマウントディスプレイ100などの表示装置へデータを出力する出力部236、ヘッドマウントディスプレイ100からデータを入力する入力部238、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部240が接続される。
CPU222は、記憶部234に記憶されているオペレーティングシステムを実行することにより情報処理装置202の全体を制御する。CPU222はまた、リムーバブル記録媒体から読み出されてメインメモリ226にロードされた、あるいは通信部232を介してダウンロードされた各種プログラムを実行する。GPU224は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、CPU222からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部236に出力する。メインメモリ226はRAM(Random Access Memory)により構成され、処理に必要なプログラムやデータを記憶する。
図5は、図3の情報処理装置202の機能ブロックを示すブロック図である。情報処理装置202は、コンテンツ取得部250、コンテンツ記憶部252、操作検出部254、位置・姿勢取得部256、画像生成部258、画像出力部260、コントローラ制御部262、エフェクト画像記憶部264を備える。図5に示す複数の機能ブロックのうち少なくとも一部は、ヘッドマウントディスプレイ100(図2の制御部10、記憶部50等)に実装されてもよい。
また、図5に示す複数の機能ブロックのうち少なくとも一部は、コンピュータプログラム(例えば映像視聴アプリケーション)のモジュールとして実装されてもよい。このコンピュータプログラムは、DVD等の記録メディアに格納され、または、ネットワークからダウンロードされて、情報処理装置202の記憶部234にインストールされてもよい。情報処理装置202のCPU222およびGPU224は、このコンピュータプログラムをメインメモリ226に読み出して実行することにより、各機能ブロックの機能を発揮してもよい。
コンテンツ取得部250は、配信サーバ206から送信された映像コンテンツのデータであって、仮想空間において再生すべき映像コンテンツのデータを取得する。実施例の映像コンテンツは、一般的なディスプレイに表示されるものと同じ平面映像(言い換えれば2次元映像)とする。変形例として、映像コンテンツは、立体視が可能なよう視差を設けた立体映像(言い換えれば3次元映像)であってもよい。
なお、実施例の配信サーバ206は、映像コンテンツのデータとともに、エフェクトの態様を定めたデータ(以下「エフェクト定義データ」とも呼ぶ。)を提供する。コンテンツ取得部250は、映像コンテンツのデータとともにエフェクト定義データを取得する。実施例のエフェクト定義データは、複数個のレコードを含み、各レコードは、(1)映像コンテンツの再生期間におけるエフェクト画像を配置すべきタイミング、(2)エフェクト画像の種類、(3)エフェクト画像の配置位置、および(4)コントローラの振動態様を含む。
(1)エフェクト画像を配置すべきタイミングは、映像コンテンツの再生開始時点からの経過時間の形で、エフェクト画像の表示開始タイミングと表示終了タイミングを定めたデータでもよい。(2)エフェクト画像の種類は、稲妻画像、煙画像、ビーム画像のいずれかまたは組合せを指定するデータでもよい。なお、エフェクト画像の種類は、映像コンテンツのシーンと整合するものが指定されることが望ましい。例えば、エフェクト定義データは、爆発のシーンには煙画像を指定し、銃撃戦のシーンにはビーム画像を指定し、火花が飛ぶシーンには稲妻画像を指定するものであってもよい。
(3)エフェクト画像の配置位置は、仮想空間内の空間位置(例えば3次元座標位置)を指定するデータでもよい。実施例では、エフェクト画像の配置位置として、スクリーン302の外にあたる空間位置が指定され、言い換えれば、スクリーン302の空間位置と重複しない位置が指定される。また、エフェクト画像の配置位置として、ユーザの視聴位置(言い換えればユーザの視点位置)からスクリーン302までの間の空間位置が指定され得る。(4)コントローラの振動態様は、エフェクト画像の表示に伴いコントローラ204を振動させるか否かを指定するデータと、振動時間の長さを指定するデータとを含んでもよい。
コンテンツ記憶部252は、コンテンツ取得部250により取得された映像コンテンツのデータと、エフェクト定義データとを記憶する。
エフェクト画像記憶部264は、VR画像に配置すべき複数種類のエフェクト画像のデータを記憶する。実施例では、エフェクト画像記憶部264は、稲妻画像のデータ、煙画像のデータおよびビーム画像のデータを記憶する。これらのエフェクト画像のデータは、予めエフェクト画像記憶部264に格納されてもよい。または、配信サーバ206は、映像コンテンツのデータ、エフェクト定義データとともに、映像コンテンツの種類やストーリ等に適合するエフェクト画像のデータを情報処理装置202へ提供してもよい。コンテンツ取得部250は、配信サーバ206からエフェクト画像のデータを取得してエフェクト画像記憶部264に格納してもよい。
操作検出部254は、コントローラ204に対して入力されたユーザ操作を検出し、ユーザ操作に関するデータを画像生成部258へ出力する。なお、操作検出部254は、ユーザ操作に関するデータをコンテンツ取得部250へも出力する。コンテンツ取得部250は、ユーザの操作に応じて映像コンテンツを配信サーバ206から取得する。例えば、コンテンツ取得部250は、配信サーバ206が配信可能な複数の映像コンテンツのうちユーザにより選択された映像コンテンツを配信サーバ206に要求し、その選択された映像コンテンツを配信サーバ206から取得する。
位置・姿勢取得部256は、ヘッドマウントディスプレイ100の位置および/または姿勢を取得し、言い換えれば、ヘッドマウントディスプレイ100を装着したユーザの頭部の位置および/または姿勢を取得する。例えば、位置・姿勢取得部336は、ヘッドマウントディスプレイ100のモーションセンサ64の検出値に基づいて、ヘッドマウントディスプレイ100の位置および姿勢を所定のレートで検出する。
ヘッドマウントディスプレイ100の位置は、現実世界の3次元空間においてヘッドマウントディスプレイ100が存在する位置を示す座標であってもよい。ヘッドマウントディスプレイ100の姿勢は、縦方向、横方向、高さ方向の3軸におけるヘッドマウントディスプレイ100の傾きであってもよい。位置・姿勢取得部336は、情報処理装置202に接続した図示しない撮像装置による撮像画像に基づき、頭部の位置や姿勢を取得してもよく、その結果をモーションセンサによる情報と統合してもよい。位置・姿勢取得部256は、ヘッドマウントディスプレイ100の位置および/または姿勢を示すデータを画像生成部258へ出力する。
画像生成部258は、操作検出部254から入力されたユーザ操作に応じて、ヘッドマウントディスプレイ100に提供する表示用画像を生成する。また、画像生成部258は、位置・姿勢取得部256から入力されたヘッドマウントディスプレイ100の位置および姿勢に整合する内容の表示用画像を生成する。実施例における表示用画像は、ヘッドマウントディスプレイ100に表示されるVR画像である。
また、画像生成部258は、コンテンツ記憶部252に格納された映像コンテンツのデータおよびエフェクト定義データ、エフェクト画像記憶部264に格納されたエフェクト画像に基づいて、VR画像を生成する。実施例では、画像生成部258は、仮想空間に設けられたスクリーンにおいて映像コンテンツが再生されるVR画像であって、かつ、仮想空間におけるユーザの視聴位置からスクリーンまでの空間に映像コンテンツに基づくエフェクト画像を配置したVR画像を生成する。
また、画像生成部258は、アルファブレンド等の公知の方法により、エフェクト画像に所定の透過率を設定する。すなわち、画像生成部258は、仮想空間のスクリーンに映る映像コンテンツの上に重ねてエフェクト画像を配置する場合に、エフェクト画像の背後の映像コンテンツがエフェクト画像を通して見える態様のVR画像を生成する。エフェクト画像の透過率は、0%より大きい値であり、開発者の知見や、エンタテインメントシステム200を用いた実験により適切な値が決定されてよい。
図6は、画像生成部258におけるVR画像の描画処理の具体例を説明する図である。同図は、仮想スクリーンVSと二つの視点カメラC1及びC2とが配置された仮想空間を上方から見た様子を示している。同図に示すように、画像生成部258は、仮想空間内に仮想スクリーンVS(後述のスクリーン302に対応)を配置し、この仮想スクリーンVSに相対する位置に二つの視点カメラC1およびC2を配置する。二つの視点カメラC1およびC2は、左右方向に沿って所定距離離れて並んでいる。そして、画像生成部258は、仮想スクリーンVSの表面に、映像コンテンツのデータ(実施例では平面映像)をテクスチャとして貼り付ける。
この状態において、画像生成部258は、視点カメラC1から仮想空間内を見た様子を示す画像を描画して左目用のVR画像を生成し、また、視点カメラC2から仮想空間内を見た様子を示す画像を描画して右目用のVR画像を生成する。左目用のVR画像は、ヘッドマウントディスプレイ100の左目用ディスプレイに表示され、また、右目用のVR画像がヘッドマウントディスプレイ100の右目用ディスプレイに表示される。これにより、ユーザーは、自分の前方の離れた位置に存在する仮想スクリーンVSに平面映像Mが映っている様子を閲覧することできる。
さらに、画像生成部258は、ヘッドマウントディスプレイ100の姿勢(言い換えれば向き)の変化に応じて、二つの視点カメラC1およびC2の向き(すなわち視線方向)を変化させる。ここでヘッドマウントディスプレイ100の向きは、例えばヘッドマウントディスプレイ100の上下方向、左右方向、および前後方向のそれぞれの方向に沿った回転軸を中心とした回転角(すなわち、ヨー角、ピッチ角、及びロール角)によって定義されてよい。また、画像生成部258は、ヘッドマウントディスプレイ100の位置の変化(例えば平行移動)に応じて、二つの視点カメラC1及びC2の位置を変化させる。
具体的には、画像生成部258は、ヘッドマウントディスプレイ100の向きが変化した場合、その回転と同じ回転方向、および同じ回転量だけ視点カメラC1およびC2を回転させる。このとき、視点カメラC1およびC2は、両者の中心位置を回転中心として、互いの距離を保ったまま仮想空間内で回転する。また、ヘッドマウントディスプレイ100が基準位置から平行移動した場合、画像生成部258は、その移動方向及び移動量に応じて視点カメラC1とC2の両方を仮想空間内で移動させる。そして、位置および向きの変化した視点カメラC1とC2のそれぞれから仮想スクリーンVSを見た様子を描画することにより、左目用VR画像と右目用VR画像を生成する。このとき、視点カメラの位置や向きは変化するが、仮想スクリーンVSの仮想空間内における位置は変化しない。そのため、ユーザーは、あたかも映像コンテンツを映すスクリーンが固定されているかのような感覚で、映像コンテンツを視聴することができる。
図5に戻り、画像生成部258は、コンテンツ記憶部252に記憶されたエフェクト定義データにしたがって、エフェクト画像の配置態様を決定する。画像生成部258は、映像コンテンツの再生中に、上記決定した態様にて仮想空間内にエフェクト画像を配置したVR画像を生成する。すなわち、画像生成部258は、エフェクト定義データが定めるタイミングで、エフェクト定義データが定める種類のエフェクト画像を、エフェクト定義データが定める空間位置に配置する。
既述したように、実施例のエフェクト画像は、仮想空間におけるユーザの視聴位置からスクリーンまでの空間に配置され得る。この空間は、図6の例では、視点カメラC1および視点カメラC2から仮想スクリーンVSまでの間の空間である。
また、画像生成部258は、ユーザと同じ仮想空間で、ユーザと同じ映像コンテンツを視聴する1人以上のキャラクタの画像を含むVR画像を生成する。画像生成部258は、エフェクト画像の表示に伴ってキャラクタが動作する(言い換えればキャラクタの動きを含む)VR画像を生成する。例えば、画像生成部258は、稲妻画像等を含むVR画像を生成する際に、そのVR画像内でキャラクタを動作させてもよい。キャラクタの動作は、例えば、頭部を動かすこと、顔を覆うこと、または後ろを振り返ることでもよい。
なお、画像生成部258は、特定種類のエフェクト画像と、特定種類のキャラクタの特定種類の動作との対応関係を保持してもよい。画像生成部258は、特定種類のエフェクト画像をVR画像に設定する場合に、対応する特定種類のキャラクタの特定種類の動作をそのVR画像に含めてもよい。
画像出力部260は、画像生成部258により生成されたVR画像(実際には左目用VR画像および右目用VR画像)のデータを、出力部236を介してヘッドマウントディスプレイ100に所定のレートで送信する。これにより、ヘッドマウントディスプレイ100のディスプレイにVR画像を表示させる。
コントローラ制御部262は、コンテンツ記憶部252に記憶されたエフェクト定義データを参照して、エフェクト画像が表示される場合に、ユーザが把持するコントローラ204を振動させる。コントローラ制御部262は、エフェクト定義データにコントローラ204の振動有りを定めたレコードがある場合、そのレコードが定めるエフェクト表示タイミングにおいて、コントローラ204に対して振動を指示する所定の信号を送信することにより、コントローラ204を振動させてもよい。また、コントローラ制御部262は、エフェクト定義データが定める振動時間の長さだけ、コントローラ204を振動させてもよい。
変形例として、コントローラ制御部262は、特定種類のエフェクト画像と、コントローラ204の振動との対応関係を保持してもよい。コントローラ制御部262は、特定種類のエフェクト画像が表示される場合に、コントローラ204を振動させてもよい。
以上の構成によるエンタテインメントシステム200の動作を説明する。
ユーザが、情報処理装置202において映像視聴アプリケーションを起動すると、情報処理装置202の画像生成部258は、仮想空間として映画館を示すVR画像を生成する。情報処理装置202の画像出力部260は、映画館を示すVR画像をヘッドマウントディスプレイ100に表示させる。
図7は、VR画像300の例を示す。同図のVR画像300は、仮想空間としての映画館を示しており、映画館内の座席から左を向いた場合に見える内容を示している。すなわち、同図のVR画像300は、現実空間においてユーザが自身の頭部を左へ向けた場合に、ヘッドマウントディスプレイ100に表示される内容を示している。VR画像300は、ユーザの前方(ステージ側)に設けられた、映像コンテンツを映すためのスクリーン302を含む。また、VR画像300は、ユーザ以外の観客である複数のキャラクタ304を含む。
キャラクタ304は、ユーザと同じ映像コンテンツを視聴する他のユーザ、すなわち、異なる情報処理装置202を使用して同じ映像コンテンツを視聴する他のユーザのアバターでもよい。また、キャラクタ304は、NPC(Non Player Character)でもよい。例えば、情報処理装置202のコンテンツ取得部250は、ユーザと同じ映像コンテンツの配信を要求した他のユーザの情報(IDやアバターに関する情報等)を配信サーバ206から取得し、当該他のユーザを示すキャラクタ304をユーザと異なる座席に配置したVR画像300を生成してもよい。
ユーザが所望の映像コンテンツの再生開始を指示する操作をコントローラ204に入力すると、情報処理装置202の操作検出部254は、その操作を検出する。情報処理装置202のコンテンツ取得部250は、ユーザにより選択された映像コンテンツの提供を配信サーバ206に要求し、配信サーバ206は、その映像コンテンツのストリーミング送信を開始する。
情報処理装置202のコンテンツ取得部250は、配信サーバ206から送信された映像コンテンツのデータを取得する。画像生成部258は、映像コンテンツの再生結果である平面映像をスクリーン302に貼り付けたVR画像300を生成する。情報処理装置202の画像出力部260は、平面映像を再生中のスクリーン302を含むVR画像300をヘッドマウントディスプレイ100に表示させる。
図8も、VR画像300の例を示す。同図のVR画像300は、映画観内の座席から前方(正面)を向いた場合に見える内容を示している。すなわち、同図のVR画像300は、現実空間においてユーザが自身の頭部を正面へ向けた場合に、ヘッドマウントディスプレイ100に表示される内容を示している。VR画像300は、映像コンテンツを再生中のスクリーン302と複数のキャラクタ304(図8では後頭部が映る)とを含む。また、スクリーン302には、映像コンテンツの1シーンであって、具体的には、司令室が破壊されたシーンが映っている。
ここでは、配信サーバ206から提供されたエフェクト定義データに、図8に示す映像コンテンツのシーンの再生時間に対応付けて、稲妻画像を表示することと、その表示位置が定められている。画像生成部258は、図8に示すシーンの再生期間に、エフェクト定義データが定める仮想空間の位置に稲妻画像310(図8の網掛けで示すオブジェクト)を配置する。図8の例では、画像生成部258は、少なくとも一部の稲妻画像310を、ユーザの視聴位置(言い換えればユーザの座席位置)からスクリーン302までの間の空間内に配置している。図8の稲妻画像310には所定の透過率が設定される。ユーザは、稲妻画像310を通して、その背後に映る司令室の破壊シーンを見ることができる。
実施例の情報処理装置202によると、仮想空間のスクリーン302上で映像コンテンツを再生表示中に、ユーザの視聴位置からスクリーン302までの空間内にエフェクト画像を配置する。これにより、ユーザの目には、スクリーン302に映る映像コンテンツとエフェクト画像とが渾然一体となって見え、仮想空間ならではの斬新な視聴体験をユーザに提供できる。また、映像コンテンツの世界への臨場感および没入感を高めやすくなる。
また、情報処理装置202によると、エフェクト画像に透過性を持たせることにより、映像コンテンツの上にエフェクト画像を重ねても、映像コンテンツの視認性の低下を抑制できる。また、スクリーン302に2次元映像を映す場合でも、ユーザの視点位置から2次元映像までの間にエフェクト画像を配置することでユーザに奥行きを感じさせ、スクリーン302に3次元映像が映っているかのような立体感を醸成することができる。なお、既述したが、スクリーン302に映る映像コンテンツは3次元映像であってもよく、この場合、映像の立体感を一層高めることができる。
また、画像生成部258は、VR画像300で稲妻画像310を表示させる場合に、キャラクタ304の動作も表示させる。例えば、画像生成部258は、稲妻画像310を表示する一連のVR画像300(VR映像)の中に、キャラクタ304が仰け反る動きを含める。これにより、実際の映画館にいるような感覚をユーザに抱かせやすくなり、また、他の観客と一緒に同じ映像コンテンツを視聴しているという連帯感を醸成しやすくなる。
また、上記のエフェクト定義データには、図8に示す映像コンテンツのシーンの再生時間に対応付けて、コントローラを振動させることが定められている。情報処理装置202のコントローラ制御部262は、図8のシーンの再生期間、言い換えれば、稲妻画像310の表示期間に、コントローラ204を振動させる。これにより、映像コンテンツの世界への没入感およびユーザの興奮を一層高めやすくなる。
図9も、VR画像300の例を示す。同図のスクリーン302には、図8のシーンから先に進んだシーンであって、司令室が炎上しているシーンが映っている。ここでは、配信サーバ206から提供されたエフェクト定義データに、図9に示すシーンの再生時間に対応付けて、稲妻画像および煙画像を表示することと、それらの表示位置が定められている。画像生成部258は、稲妻画像310と煙画像312を、エフェクト定義データが定めるそれぞれの位置に配置する。図9の稲妻画像310および煙画像312には所定の透過率が設定される。ユーザは、稲妻画像310および煙画像312を通して、それらの背後に映る司令室の炎上シーンを見ることができる。
図10も、VR画像300の例を示す。同図のスクリーン302には、ロボット等による戦闘シーンであり、ミサイルやビームが飛び交う戦闘シーンが映っている。ここでは、配信サーバ206から提供されたエフェクト定義データに、図10に示すシーンの再生時間に対応付けて、煙画像およびビーム画像を表示することと、それらの表示位置が定められている。画像生成部258は、煙画像312とビーム画像314を、エフェクト定義データが定めるそれぞれの位置に配置する。図10の煙画像312およびビーム画像314には所定の透過率が設定される。ユーザは、煙画像312およびビーム画像314を通して、それらの背後に映る戦闘シーンを見ることができる。
このように、画像生成部258は、エフェクト定義データにしたがって、1つのVR画像に複数種類のエフェクト画像を配置し、言い換えれば、1つのVR画像において複数種類のエフェクト画像を同時に表示させる。複数種類のエフェクト画像を同時に表示させることで、映像コンテンツの世界への没入感およびユーザの興奮を一層高めやすくなる。
なお、エフェクト定義データでは、映像コンテンツに含まれる各シーンに適合するようにエフェクト画像の態様が定められることが望ましい。例えば、エフェクト定義データは、爆発のシーンには煙画像、銃撃戦のシーンにはビーム画像、火花が飛ぶシーンには稲妻画像を表示するように定められてもよい。映像コンテンツの各シーンに適合した態様のエフェクト画像を表示させることで、映像コンテンツの世界への臨場感および没入感を一層高めることができる。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
第1変形例を説明する。情報処理装置202の画像生成部258は、複数種類のエフェクト画像の中から仮想空間のスクリーン302で再生中の映像コンテンツの態様に適合する種類のエフェクト画像を動的に選択し、選択したエフェクト画像を配置したVR画像を生成してもよい。例えば、画像生成部258は、映像コンテンツの画像データを解析して、映像コンテンツの特定のシーンの場合に、そのシーンに対応するエフェクト画像の表示を動的に決定してもよい。
例えば、画像生成部258は、爆発のシーンには煙画像、銃撃戦のシーンにはビーム画像、火花が飛ぶシーンには稲妻画像という対応関係を予め記憶してもよい。画像生成部258は、公知の画像解析技術を使用して、表示対象のシーンが爆発のシーンか、銃撃戦のシーンか、火花が飛ぶシーンかを特定してもよい。画像生成部258は、特定した表示対象のシーンの種類に対応するエフェクト画像(例えば煙画像、ビーム画像、稲妻画像のいずれかまたは組合せ)を配置したVR画像を生成してもよい。
別の態様として、画像生成部258は、映像コンテンツのシーンに含まれるオブジェクトを画像解析により特定し、そのオブジェクトと同一または類似するエフェクト画像を配置したVR画像を生成してもよい。例えば、映像コンテンツにおいてビームが飛び交うシーンが表示される際、画像生成部258は、ビーム画像314を配置したVR画像を生成してもよい。また、映像コンテンツにおいて煙が上がるシーンが表示される際、画像生成部258は、煙画像312を配置したVR画像を生成してもよい。
また、画像生成部258は、映像コンテンツの音声データを解析して、再生される音声が特定の態様の場合に、その態様に対応するエフェクト画像の表示を動的に決定してもよい。音声の態様は、再生される音声の周波数と音量のいずれかまたは組合せであってもよい。画像生成部258は、第1の音声態様と煙画像、第2の音声態様とビーム画像、第3の音声態様と稲妻画像という対応関係を予め記憶してもよい。
画像生成部258は、公知の音声解析技術を使用して、再生対象音声が第1~第3の音声態様のいずれかに一致するか否かを判定してもよい。画像生成部258は、再生対象音声が第1の音声態様の場合に煙画像を表示させ、第2の音声態様の場合にビーム画像を表示させ、第3の音声対象の場合に稲妻画像を表示させてもよい。このように、映像コンテンツの各シーンの表示内容または音声に適合した態様のエフェクト画像を表示させることで、映像コンテンツの世界への臨場感および没入感を一層高めることができる。
第2変形例を説明する。情報処理装置202の画像生成部258は、映像コンテンツの画像データを解析して、映像コンテンツの特定のシーンの場合に、キャラクタ304を動作させることを動的に決定してもよい。例えば、画像生成部258は、爆発のシーンと、キャラクタ304の特定動作との対応関係を予め記憶してもよい。画像生成部258は、公知の画像解析技術により表示対象シーンが爆発のシーンであると判定した場合、キャラクタ304の特定動作を含むVR画像を生成してもよい。
また、画像生成部258は、映像コンテンツの音声データを解析して、再生される音声が特定の態様の場合に、キャラクタ304を動作させることを動的に決定してもよい。例えば、画像生成部258は、特定の音声態様とキャラクタ304の特定動作との対応関係を予め記憶してもよい。画像生成部258は、公知の音声解析技術を使用して、再生対象音声が特定の音声態様に一致するか否かを判定してもよい。画像生成部258は、再生対象音声が特定の音声態様に一致する場合、キャラクタ304の特定動作を含むVR画像を生成してもよい。
なお、画像生成部258は、映像コンテンツの終了とキャラクタ304の拍手動作との対応関係を予め記憶してもよい。画像生成部258は、画像解析や音声解析等により映像コンテンツの終了を検出した場合、キャラクタ304の拍手動作を含むVR画像を生成してもよい。
第3変形例を説明する。情報処理装置202のコントローラ制御部262は、公知の画像解析技術により映像コンテンツが特定のシーンであることを検出した場合、コントローラ204を振動させることを動的に決定してもよい。また、コントローラ制御部262は、公知の音声解析技術により再生対象音声が特定の態様であることを検出した場合、コントローラ204を振動させることを動的に決定してもよい。
上記の第1~第3変形例において、情報処理装置202は、映像コンテンツが特定のシーンか否かを判定する画像解析部、再生対象音声が特定の態様か否かを判定する音声解析部を備えてもよい。画像解析部および音声解析部は、判定結果を画像生成部258およびコントローラ制御部262へ出力してもよい。
第4変形例を説明する。情報処理装置202の画像生成部258は、仮想空間のスクリーン302で再生される映像コンテンツの色に適合する色のエフェクト画像を配置したVR画像を生成してもよい。これにより、映像コンテンツに対して自然な立体感を付与でき、また、エフェクト画像の背後にある映像コンテンツの視認性の低下を抑制できる。
第4変形例の第1の構成例として、エフェクト画像記憶部264は、複数種類のエフェクト画像のそれぞれについて、互いに異なる色が設定された複数のエフェクト画像を記憶してもよい。例えば、エフェクト画像記憶部264は、互いに異なる色が設定された複数の稲妻画像310を記憶してもよい。煙画像312、ビーム画像314に着いても同様である。なお、互いに異なる色が設定された複数のエフェクト画像は、色相、明度、彩度のうち少なくとも1つが異なるものであってよい。
画像生成部258は、映像コンテンツの或るシーンの表示に同期させて特定の種類のエフェクト画像(例えば煙画像312)を表示させる場合、そのシーンの色やそのシーンに含まれるオブジェクトの色と同一または類似する(言い換えれば同系統の)色が設定されたエフェクト画像を、エフェクト画像記憶部264に記憶された複数のエフェクト画像の中から選択してもよい。白い煙が上がっているシーンに同期させて煙画像312を表示させる場合、画像生成部258は、互いに色が異なる複数の煙画像312の中から白色の煙画像312を選択してVR画像に配置してもよい。
第4変形例の第2の構成例として、画像生成部258は、仮想空間のスクリーン302で再生される映像コンテンツの色に適合するように、エフェクト画像の色を動的に調整してもよい。例えば、画像生成部258は、映像コンテンツの或るシーンの表示に同期させて特定の種類のエフェクト画像を表示させる場合に、そのシーンの色やそのシーンに含まれるオブジェクトの色を特定し、特定した色と同一または類似する(言い換えれば同系統の)色をエフェクト画像に設定してもよい。白い煙が上がっているシーンに同期させて煙画像312を表示させる場合、画像生成部258は、白色に設定した煙画像312をVR画像に配置してもよい。
第5変形例を説明する。映像コンテンツに含まれる所定のオブジェクトの画像が仮想空間のスクリーン302に表示中の場合、エフェクト画像は、当該オブジェクトの画像に重ならない位置に配置されてもよい。所定のオブジェクトは、映像コンテンツにおける主要なキャラクタ(主役等)であってもよく、映像コンテンツのストーリにおいて重要な役割を果たす物体であってもよく、ここでは「重要オブジェクト」と呼ぶ。第5変形例の構成によると、エフェクト画像の表示によって、映像コンテンツで重要な役割を果たす物体の画像の視認性が低下することを防止できる。
第5変形例の第1の構成例として、エフェクト画像の配置位置が静的に定められる場合を説明する。エフェクト定義データには、エフェクト画像の配置位置として、ユーザから見て重要オブジェクトに重ならない位置が定められてもよい。言い換えれば、エフェクト定義データには、エフェクト画像の配置位置として、予め定まるユーザの視点位置から重要オブジェクトの表示領域までの間を除外した位置が定められてもよい。画像生成部258は、エフェクト定義データが定める位置にエフェクト画像を配置することで、エフェクト画像を重要オブジェクトの画像に重ならない位置に配置する。
第5変形例の第2の構成例として、エフェクト画像の配置位置が動的に決定される場合を説明する。画像生成部258は、公知の手法でスクリーン302に映る映像コンテンツを解析し、重要オブジェクトの有無およびその位置を特定してもよい。画像生成部258は、VR画像にエフェクト画像を配置する場合に、エフェクト画像の配置位置として、ユーザから見て重要オブジェクトに重ならない位置を決定してもよい。言い換えれば、画像生成部258は、エフェクト画像の配置位置として、予め定まるユーザの視点位置から重要オブジェクトの表示領域までの間を除外した位置を決定してもよい。
第6変形例を説明する。映像コンテンツの再生中にエフェクトを表示するか否かが、ユーザにより選択されてもよい。情報処理装置202の操作検出部254は、コントローラ204に対して入力された、エフェクトの有無を選択するユーザ操作を受け付けてもよい。操作検出部254は、エフェクトの有無に関するユーザの選択結果を画像生成部258へ入力し、画像生成部258は、その選択結果に応じて、エフェクト画像の付加有無を決定してもよい。例えば、エフェクト無しが選択された場合、画像生成部258は、スクリーン302において映像コンテンツが再生されるVR画像を生成しつつ、そのVR画像にエフェクト画像を付加する処理をスキップしてもよい。
第7変形例を説明する。情報処理装置202の画像生成部258は、ユーザから見える仮想空間においてエフェクト画像をスクリーン302の上に被らないように配置してもよい。この場合、エフェクト定義データでは、ユーザの視聴位置からスクリーン302までの間の空間位置が排除されたエフェクト画像の配置位置が定められてもよい。
第8変形例を説明する。情報処理装置202は、ヘッドマウントディスプレイ100に搭載された各種センサから出力されたデータまたは外部カメラの撮像画像に基づいて、ユーザの視線方向を検出し、その視線方向に該当する仮想空間の領域を注目領域として検出する注目領域検出部をさらに備えてもよい。画像生成部258は、エフェクト画像を注目領域に被らないように配置してもよい。例えば、画像生成部258は、エフェクト定義データで定められたエフェクト画像の配置位置のうち注目領域に含まれる位置にエフェクト画像を配置すること(すなわち表示させること)を抑制してもよい。
第9変形例を説明する。上記実施例では、エフェクト画像として、稲妻画像310、煙画像312およびビーム画像314を示したが、エフェクト画像はこれらに制限されない。例えば、エフェクト画像は、気象現象を示す画像(雨画像、雪画像、雷画像等)を含んでもよい。情報処理装置202の画像生成部258は、映像コンテンツの再生中のシーンが示す気象現象に適合するエフェクト画像をVR画像に配置してもよい。
第10変形例を説明する。上記実施例では言及していないが、情報処理装置202の画像生成部258は、映像コンテンツの再生中のシーンに応じて、仮想的な映画館内の環境を調整してもよい。仮想的な映画館内の環境は、スクリーン302の周辺領域、天井、壁の少なくとも1つにおける輝度または明度であってもよい。例えば、映像コンテンツの再生中のシーンが所定の基準より明るいシーンの場合、画像生成部258は、映画館内のスクリーン302以外の所定領域における輝度または明度を相対的に高くしたVR画像を生成してもよい。一方、映像コンテンツの再生中のシーンが所定の基準より暗いシーンの場合、画像生成部258は、映画館内のスクリーン302以外の所定領域における輝度または明度を相対的に低くしたVR画像を生成してもよい。
第11変形例を説明する。上記実施例では、映像コンテンツのデータおよびエフェクト定義データは、配信サーバ206から情報処理装置202へストリーミング配信されることとしたが、実施例に記載の技術思想はこれに制限されない。例えば、映像コンテンツのデータおよびエフェクト定義データは、情報処理装置202の記憶部234に予め記憶されてもよく、リムーバブル記録媒体に格納されてもよい。情報処理装置202のコンテンツ取得部250は、記憶部234またはリムーバブル記録媒体から映像コンテンツのデータおよびエフェクト定義データを読み出してもよい。
第12変形例を説明する。上記実施例では仮想空間の画像を表示する装置としてヘッドマウントディスプレイ100を例示したが、仮想空間の画像を表示する装置は、ヘッドマウントディスプレイ100に制限されない。例えば、一般的なディスプレイで仮想空間の画像(例えばスクリーンを備える映画館の画像)を表示させ、そのスクリーンに映像コンテンツを表示する場合にも実施例に記載の技術思想は有用である。
上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。