JP5919546B1 - 画像再生方法、画像再生装置、及び画像再生プログラム - Google Patents

Abstract

【課題】 ＨＭＤ装置等の画像再生装置による球面全方位動画の再生において、視聴者の見る方向に応じて再生動画をインタラクティブにして、多彩な仮想現実感を提供する。【解決手段】 動画再生プログラム格納部１１４から動画再生プログラムが読み出されてＲＡＭ１２に展開されつつ実行されると、ＨＭＤ１２のジャイロセンサ１２１からの角速度情報に基づき、動画情報格納部１１５から必要な動画情報が読み出されてデコードされ、ＨＭＤ１２側に送られてその表示部１２２に表示される。そして、特に、このように再生されている動画を視聴している視聴者が、頭を振って特定の方向を向いたとき、すなわち、ＨＭＤ１２の表示部１２２に特定の画像域が表示されたときに、特定のイベントを起動する。各イベントがどのような条件のときに起動されるかは、好適には、所定のスクリプト言語で記述されたスクリプトファイルＳＦに含まれている。【選択図】 図１

Description

本発明は、画像再生方法、画像再生装置、及び画像再生プログラムに関し、特に、球面全方位カメラにより撮像された動画を再生する際の画像再生方法、画像再生装置、及び画像再生プログラムに関する。

最近では、仰角０度のパノラマ画像が撮像できる全方位カメラのみならず、鉛直方向、すなわち天空に向けたカメラを備え、仰角９０度までを含めた画像、すなわち少なくとも半球面の範囲の画像（以下、「球面全方位画像」と称す）、を撮像することができる球面全方位カメラも普及し始めている。また、それらの全方位カメラは、動画としても撮像できる。

このような複数のカメラを備えた全方位カメラにより動画が撮像された場合、時系列に係る各フレームごとに、各カメラで得られた画像情報は、球面変換されたうえで合成されてフレーム単位では１つの球面全方位画像として構成され、更にそれらの球面全方位画像がフレームごとに平面にマッピングされ、例えばＪＰＥＧ（Joint Photographic Expert Group）等の手法により圧縮符号化されて記憶部に記憶される。

静止画としての球面全方位画像や、それらをフレームとして時系列に並べることにより構成される動画像（以下、「球面全方位動画」と称す）の情報は、例えば、ジャイロセンサを備えたヘッドマウントディスプレイ（Head Mount Display）（以下、「ＨＭＤ」と称す）に供給することにより、それを装着した視聴者は、頭の動き（向き）に応じて見る方向が変わる球面全方位画像又は動画を観賞することが可能となる。また、所定の処理により、立体視観賞も可能となる。

このように全方位カメラの記憶部に格納された動画情報は、必要に応じて、画像編集装置に導入され、不要なシーンの削除や各シーンの連結処理等の画像編集が施されたのち、所望のサーバ等に格納される。かかる画像編集装置は、例えば特許文献１に開示されている。

特開２００５−２２３４１６号公報

このようにサーバ等に格納された動画情報は、前述のようにジャイロセンサを備えたＨＭＤ装置に供給することにより、それを装着した視聴者は、頭の動き（向き）に応じて見る方向が変わる球面全方位動画を視聴でき、仮想的空間を享受することが可能となる。

ＨＭＤ装置で球面全方位動画を再生する態様としては、上述のように、ＨＭＤ装置を装着した視聴者が、前述の画像編集装置で編集して作成された一定の球面全方位動画（例えば一定時間に渡った風景動画）をそのＨＭＤ装置で再生して、当該視聴者自身の志向に応じて自由な方向に顔を向けることにより、その球面全方位動画を楽しむという態様が最もシンプルな態様である。

しかしながら、ＨＭＤ装置による球面全方位動画（静止画であっても）の再生における、「同時に全方位を見ることは不可能」及び「見る方向は視聴者の自由」という前提（特徴）を利用すれば、ＨＭＤ装置による球面全方位動画の再生において、各種の応用を考えることができる。すなわち、視聴者の見る方向に応じて、再生動画をインタラクティブにすることが可能となる。もう少し具体的には、視聴者の見る特定の方向に起因して、特定の動画を起動、又は再生中の動画を変化させることができる。具体例としては、ホラー映像を内容とした球面全方位動画において、ある特定の場所に殺人鬼等を潜在させておき、視聴者がその方向を見たときに襲い掛かってくるような緊迫した場面を構成することができる。例えばこれによれば、緊迫感やワクワク感を主とした遊興感を全方位動画の視聴に与えることができる。また、ＨＭＤ装置に流れている動画に含まれる、視聴者の興味のある映像物についての属性・特性情報等を提供する、という応用も考えられる。

本発明は上述のような事情から為されたものであり、本発明の目的は、ＨＭＤ装置等の画像再生装置による球面全方位動画の再生において、視聴者の見る方向に応じて再生動画をインタラクティブにして、多彩な仮想現実感を提供することができる画像再生方法、画像再生装置、及び画像再生プログラムを提供することにある。

上記目的を達成するため、本発明の画像再生方法は、球面全方位カメラにより撮像された映像及び音声からなるコンテンツである球面全方位動画を、ジャイロセンサを有するヘッドマウントディスプレイにより再生する際の画像再生方法であって、再生中に、視聴者の視線が、視線先の映像の所定範囲内に入った場合に、当該所定範囲の映像に関連した映像及び音声の少なくとも一方であるイベントを起動し、前記イベントによっては、対応する前記所定範囲に入っていない段階で、前記視線を、対応する前記所定範囲に誘導することを要旨とする。

このとき、前記所定範囲に入った後、指定された時間後に前記イベントを起動することが効果的な場合もある。

前記視線を誘導する場合に、現在の前記視線の方向とは異なる方向からの誘導音又は誘導映像により、前記視線を、対応する前記所定範囲に誘導する。

また、上記目的を達成するため、本発明の画像再生装置は、ジャイロセンサと、表示部と、スピーカと、球面全方位カメラにより撮像された映像及び音声からなるコンテンツである球面全方位動画を、前記ジャイロセンサからの変位信号に基づいて、前記表示部に表示すると共に、前記スピーカより音声を出力するように制御を行う表示制御手段と、を備える画像再生装置であって、前記ジャイロセンサからの変位信号に基づき、視聴者の視線が、視線先の映像の所定範囲内に入った場合に、当該所定範囲の映像に関連した映像及び音声の少なくとも一方であるイベントを起動し、前記イベントによっては、対応する前記所定範囲に入っていない段階で、前記視線を、対応する前記所定範囲に誘導することを要旨とする。

また、上記目的を達成するため、本発明の画像再生プログラムは、ジャイロセンサを有する画像再生装置に、球面全方位カメラにより撮像された映像及び音声からなるコンテンツである球面全方位動画を再生するための画像再生プログラムであって、前記ジャイロセンサからの変位信号に基づき、視聴者の視線が、視線先の映像の所定範囲内に入った場合に、当該所定範囲の映像に関連した映像及び音声の少なくとも一方であるイベントを起動し、前記イベントによっては、対応する前記所定範囲に入っていない段階で、前記視線を、対応する前記所定範囲に誘導することを要旨とする。

このとき、前記視聴者の視線の向きを少なくとも含む、前記イベントを起動する条件は、スクリプト言語で記述されていることが好適である。

本発明の画像再生方法、画像再生装置、及び画像再生プログラムによれば、ＨＭＤ装置等の画像再生装置による球面全方位動画の再生において、視聴者の見る方向に応じて再生動画をインタラクティブにして、多彩な仮想現実感を提供することができる。また、視聴者の視線の向きを少なくとも含む、イベントを起動する条件を、スクリプト言語で記述するようにすれば、高度なプログラマーでなくとも容易に作成することができる。

本発明の画像再生装置の一実施形態であるＨＭＤ装置のハードウェア構成ブロック図である。 いくつかのイベントの例とそれらの起動条件等を示す図である。 いくつかのイベントの例とそれらの起動条件等を示す図である。 動画再生プログラムにおけるイベント起動判定処理部分のアルゴリズムを示すフローチャートである。 動画再生プログラムにおける起動条件成立判定及び起動処理部分のアルゴリズムを示すフローチャートである。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本発明の画像再生装置の一実施形態であるＨＭＤ装置のハードウェア構成ブロック図である。同図に示すＨＭＤ装置１は、再生制御装置１１と、それに接続されたＨＭＤ１２とで構成されている。なお、再生制御装置１１とＨＭＤ１２とを併せてＨＭＤと称することもある。また、この実施形態においては、ＨＭＤ１２専用の再生制御装置としての再生制御装置１１を構成としているが、再生制御装置の機能は、例えば汎用のパーソナルコンピュータによっても実現できる。

そのうち、再生制御装置１１は、概して、ＣＰＵ（Central Processing Unit）１１１、ＲＡＭ（Random Access Memory）１１２、ＲＯＭ（Read Only Memory）１１３、動画再生プログラム格納部１１４、動画情報格納部１１５を少なくとも備えている。ここで、動画再生プログラム格納部１１４及び動画情報格納部１１５は、フラッシュメモリやハードディスクである。一方、ＨＭＤ１２は、少なくともジャイロセンサ１２１、表示部１２２、及びスピーカ１２３を備えている。

ここで、特に、再生制御装置１１の動画再生プログラム格納部１１４には、好適には、後に詳述する、各イベント起動条件が所定のスクリプト言語で記述されたスクリプトファイルＳＦを含んでいる。また、動画情報格納部１１５には、各フレームについて、複数のブロック単位で符号化が行える符号化方式により動画が符号化されて格納されている。そのような符号化方式としては前述のＪＰＥＧがあるがそれには限られない。

上述のような構成のＨＭＤ装置１の一般的な動作としては、動画再生プログラム格納部１１４から動画再生プログラムが読み出されてＲＡＭ１２に展開されつつ実行されると、ＨＭＤ１２のジャイロセンサ１２１からの角速度情報に基づき、動画情報格納部１１５から必要な動画情報が読み出されてデコードされ、ＨＭＤ１２側に送られてその表示部１２２に表示される。また、同時に音声がスピーカ１２３から再生される。

また、本発明においては、特に、上述のように再生されている動画を視聴している視聴者が、頭を振って特定の方向を向いたとき、すなわち、ＨＭＤ１２の表示部１２２に特定の画像域が表示されたときに、特定のイベントを起動することができるようになっている。

図２及び図３は、いくつかのイベントの例とそれらの起動条件等を示す図である。ここで、イベント内容としては、大きく分けて、映像のみのもの、音のみのもの、映像と音の組み合わせのものがある。また、背後に流れている映像に映像及び／又は音を重ね合わせるものや、起動条件成立をもって、特定のカットへジャンプ（フレームのシーク）する態様等がある。いずれにしても、イベント起動条件成立をもって発生・変化するものであって、固定的シーケンスで流れる映像・音声とはこの点で異なる。なお、背後の映像に特定の映像を重畳させる方法としては、アルファ（α）チャンネルの技術を利用すればよい。

イベント起動条件としては、必ず“視野範囲”が含まれる。これは、球面全方位における所定の範囲を方位角と仰角で特定したもので、例えば、表示部１２２の中心に対応する点（視点と推定）が、当該特定の範囲に入っていれば、視野範囲内の条件を満たした、と規定することができる。また、“有効時間”というのは、イベント起動を許容（イネーブル）する時間であるが、むしろそれ以外を、イベント起動禁止（ディセーブル）にする条件と捉えられる。このイベント起動条件には、その他にも、例えば、前記視点が、視野範囲に所定時間留まっていることを含めてもよい。次に、“条件成立後の起動遅延時間”は、文字通り、イベント起動条件成立後、どの程度に時間を置いて該当イベントを起動するか、という時間である。球面全方位動画のコンテンツやその内容の特定の状況によっては、即座にイベントを起動した方が有効である場合や、逆に、所定時間置いてから起動した方が好適な場合等各種がある。

次に、“誘導”について説明する。前述のように、ＨＭＤ装置１等の画像再生装置で球面全方位動画を視聴する場合には、見る方向は視聴者の自由である。従って、極端には、永遠に見ない方向が生じる可能性もある。しかしながら、これも、球面全方位動画のコンテンツやその内容の特定の状況によっては、必ず特定のイベントが起動されないと映像として成立しない場合がある。例えば、ホラー映像等のストーリー性のあるものである。かかる場合には、最終期限時刻に（典型的には、有効時間の末尾）おいて強制的にイベントを起動するのであるが、視聴者の視野範囲外でイベントが発生しても無意味であるので、その視野へ強制的に進めたり、視聴者を誘導したりすることが必要である。そこで、ここでは視聴者を誘導することを考える。そこで、１つには、誘導をいつ開始するか（“誘導開始時刻”）を規定する。それには、前記の最終期限時刻のどの程度前であるかを規定すればよい。この時間は、十分誘導できる時間を規定すればよいが、時間内に誘導しきれない場合は、強制的に進める等、対処が必要である。また、“誘導手段”を規定する。例えば、ホラー映像等であれば、足音や光などが典型的な誘導手段である。

なお、上述においては、視野範囲を方位角及び仰角で規定したが、それに限られることはない。

図２（ａ）は、ホラー映像の典型例を示すものであるが、イベント［１１］が「外からドアがノックされる」（音）というイベント内容であるが、視野範囲としてはドアが位置する方向の所定範囲を規定すればよい。この場合には、音声（のみ）の重畳となる。また、誘導手段としては足音が典型的となる。また、視聴者の緊迫感を維持させるため、条件成立後の起動遅延時間は５秒としている。更に、イベント［１２］として、「殺人鬼が視聴者に向かって襲い掛かる」というイベント内容であるが、視野範囲としては、殺人鬼等が突然現れる茂み等に対応する所定範囲を指定すればよい。この場合は、殺人鬼が現れるカットへのジャンプの態様で実現できる。また、誘導手段としては、茂み等の方向からの光が典型的である。また、視聴者への恐怖感を最大限にするため、条件成立後の起動遅延時間は０としている。

次に、図２（ｂ）は、天体の映像への応用の例であり、イベント［２１］は、イベント内容が「流星の発生」である。この場合は、背後の映像に他の映像（この場合、流星の映像）を重畳させる態様である。視野範囲としては、流星を発生させる場所に対応する所定範囲を指定すればよい。また、この場合には、イベント起動を制限する時間は通常必要ないのであるから、有効時間は全時間としている。また、必ずしも視聴者が見る必要もないものであるから、誘導もなしとしている。更に、イベント［２２］は、イベント内容が「星座の説明を音声で流す」である。視聴者が各星座の方向へ視線をやったときに、当該星座の説明が音声で流れるようにする。この場合、音声のみの重畳である。視野範囲としては、映し出す各星座の場所に対応する所定範囲を指定すればよい。なお、音声で提供する代わりに、映像上で文字情報として重ね合わせて提供するという態様も考えられる。

次に、図３（ａ）は、戦闘ゲームに応用した場合の例を示している。このようにゲームにも適用できるものであるが、当然、各イベントの起動においては、視野範囲及び有効時間のみならず、他の条件との組み合わせで構成されるものである。

次に、図３（ｂ）は、他の情報を提供の例を示すものであり、ここでは不動産情報の例を示している。例えば、仲介業者が、任意の戸建てやマンション等の住宅において、玄関から内部を所定のルートで全室に渡って球面全方位カメラで撮影しておく。そして、訪れた顧客に対して、希望のマンション等の映像をＨＭＤ装置１で提供する。これにより、顧客は所定のルートではあるが、首を振ることにより自由に内部を確認できる。そのとき、顧客が向いた方向にある設備や備品等の情報を映像で重ね合わせて提供すれば、不動産情報の提供として効果が高い。なお、この場合、音声で提供してもよい。

次に、本発明の特徴部分に係る処理構成について説明する。
図４は、本発明の動画再生プログラムにおけるイベント起動判定処理部分のアルゴリズムを示すフローチャートである。図４に示した処理は、例えばタイマー割り込み処理等を利用して、各イベントごとに所定時間間隔で実行される処理である。なお、後述のように図４に示した処理は、判定アルゴリズムの一般的な概念を示したものであり、現実に実装されるプログラムとしては各種の態様が考えられる。

そこで、図４において、まず、当該イベントが“誘導あり”のものであるか否かを判定する（ステップＳ１１）。ステップＳ１１において、誘導なしのものであれば（否定判定）、ステップＳ１２を飛ばしてステップＳ１３に移行する。一方、ステップＳ１１において、誘導ありのものであれば（肯定判定）、次に、誘導開始時刻に達したか否かを判定する（ステップＳ１２）。ステップＳ１２において、誘導開始時刻に達していれば（肯定判定）、誘導を開始し（ステップＳ１６）、無条件にステップＳ１７（イベント起動条件成立）へと導く。例えば、図２（ａ）に示したイベント［１１］であれば、有効時間が５〜１０分であり、誘導開始時刻が、有効時間終了１分前であるので、９分に達したら、足音により誘導を開始する。一方、ステップＳ１２において、誘導開始時刻に達していなければ（否定判定）、ステップＳ１３に移行する。

ステップＳ１３においては、起動有効時間内であるか否かを判定する。当該ステップにおいて、起動有効時間内でなければ（否定判定）、無条件に当該処理を抜ける。一方、ステップＳ１３において、起動有効時間内であると判定された場合には（肯定判定）、次に、ＨＭＤ１２の方位、すなわち視聴者の向いている方向を、ジャイロセンサ１２１からの信号により取得する（ステップＳ１４）。そして、その方位が、当該イベントに係る起動条件の視野範囲に含まれているか否かを判定する（ステップＳ１５）。当該ステップにおいて、視野範囲内でなければ（否定判定）、無条件に当該処理を抜ける。一方、ステップＳ１５において、視野範囲内であると判定された場合には（肯定判定）、ステップＳ１７に移行し、イベント起動条件が成立したとして、例えば、条件成立フラグを設定する。

次に、図５は、本発明の動画再生プログラムにおける起動条件成立判定及び起動処理部分のアルゴリズムを示すフローチャートである。図５に示した処理は、例えばタイマー割り込み処理等を利用して、各イベントごとに所定時間間隔で実行される処理である。なお、後述のように図５に示した処理は、判定アルゴリズムの一般的な概念を示したものであり、現実に実装されるプログラムとしては各種の態様が考えられる。

そこで、図５（ａ）において、例えば、上述のような条件成立フラグをみることにより、起動条件が成立しているか否かを判定する（ステップＳ２１）。当該ステップにおいて、起動条件が成立していない場合には（否定判定）、無条件に当該処理を抜ける。一方、ステップＳ２１において、起動条件が成立している場合には（肯定判定）、次に、起動遅延時間が経過したか否かを判定する（ステップＳ２２）。当該ステップにおいて、起動遅延時間がまだ経過していない場合には（否定判定）、待機する。一方、ステップＳ２２において、起動遅延時間が経過した場合には（肯定判定）、イベントを起動する（ステップＳ２３）。すなわち、この場合には、フレームのシークにより所定のカットへジャンプする。

図５（ｂ）は、イベントとして、アルファチャンネルを利用して背景画像に所定画像を重ね合わせる態様のイベントの場合を示しており、図５（ｃ）は、イベントとして、音を発生する態様のイベントの場合を示しているが、同様の詳細処理は説明を省略する。なお、ここでは、３つの処理に分けて記載したが、典型的なイベントを分かり易く説明するための便宜であり、実際は１つの処理である。

なお、前述のように、図４及び図５に示した手順は、本発明の特徴に係る一般的論理的なアルゴリズムを示したものであり、具体的にどのような指向でどのような言語で記述するかは各種のやり方がある。例えば、図１に示したように、本発明の特徴に係る部分について、スクリプト言語で記述した条件ルールの集まりであるスクリプトファイルで作成しておくことも一案である。この例を下に示す。
例えば、イベント［１１］の場合、
play sound.wav when azi-theta>=-20 && azi-theta<=00 && ele-theta>-00 && ele-theta<=20 && time>=5min && time<=10min after 5sec
であり、イベント［１２］の場合、
seek 100 when when azi-theta>=60 && azi-theta<=80 && ele-theta>-00 && ele-theta<=20 && time>=30min && time<=40min && frame<100 after 0sec（１００フレームに飛ぶ）
である。
かかるスクリプト言語による記述によれば、高度なプログラマーでなくとも、例えば動画作成編集者であっても、容易に作成できるという利点がある。

なお、上述の実施形態においては、ジャイロセンサを備えたＨＭＤ装置で説明したが、ジャイロセンサを備えた他の映像出力機器でもよく、例えばスマートフォンのような携帯情報端末であってもよい。

以上のように、本発明の画像再生方法、画像再生装置、及び画像再生プログラムにおける一実施形態によれば、ＨＭＤ装置１による球面全方位動画の再生において、視聴者の見る方向に応じて再生動画をインタラクティブにして、多彩な仮想現実感を提供することができる。

本発明の画像再生方法、画像再生装置、及び画像再生プログラムは、例えば、ヘッドマウントディスプレイに応用できる。

１ ＨＭＤ装置
１１ 再生制御装置
１１１ ＣＰＵ
１１２ ＲＡＭ
１１３ ＲＯＭ
１１４ 動画再生プログラム格納部
ＳＦ スクリプトファイル
１１５ 動画情報格納部
１２ ＨＭＤ
１２１ ジャイロセンサ
１２２ 表示部
１２３ スピーカ

Claims (6)

1. 球面全方位カメラにより撮像された映像及び音声からなるコンテンツである球面全方位動画を、ジャイロセンサを有するヘッドマウントディスプレイにより再生する際の画像再生方法であって、
   再生中に、視聴者の視線が、視線先の映像の所定範囲内に入った場合に、当該所定範囲の映像に関連した映像及び音声の少なくとも一方であるイベントを起動し、前記イベントによっては、対応する前記所定範囲に入っていない段階で、前記視線を、対応する前記所定範囲に誘導することを特徴とする画像再生方法。
2. 前記所定範囲に入った後、指定された時間後に前記イベントを起動することを特徴とする請求項１に記載の画像再生方法。
3. 前記視線を誘導する場合に、現在の前記視線の方向とは異なる方向からの誘導音又は誘導映像により、前記視線を、対応する前記所定範囲に誘導することを特徴とする請求項１に記載の画像再生方法。
4. ジャイロセンサと、
   表示部と、
   スピーカと、
   球面全方位カメラにより撮像された映像及び音声からなるコンテンツである球面全方位動画を、前記ジャイロセンサからの変位信号に基づいて、前記表示部に表示すると共に、前記スピーカより音声を出力するように制御を行う表示制御手段と、
   を備える画像再生装置であって、
   前記ジャイロセンサからの変位信号に基づき、視聴者の視線が、視線先の映像の所定範囲内に入った場合に、当該所定範囲の映像に関連した映像及び音声の少なくとも一方であるイベントを起動し、前記イベントによっては、対応する前記所定範囲に入っていない段階で、前記視線を、対応する前記所定範囲に誘導することを特徴とする画像再生装置。
5. ジャイロセンサを有する画像再生装置に、球面全方位カメラにより撮像された映像及び音声からなるコンテンツである球面全方位動画を再生するための画像再生プログラムであって、
   前記ジャイロセンサからの変位信号に基づき、視聴者の視線が、視線先の映像の所定範囲内に入った場合に、当該所定範囲の映像に関連した映像及び音声の少なくとも一方であるイベントを起動し、前記イベントによっては、対応する前記所定範囲に入っていない段階で、前記視線を、対応する前記所定範囲に誘導することを特徴とする画像再生プログラム。
6. 前記視聴者の視線の向きを少なくとも含む、前記イベントを起動する条件は、スクリプト言語で記述されていることを特徴とする請求項５に記載の画像再生プログラム。

Images