JP6859286B2 - Ｖｒ映像配信装置および方法、ｖｒ映像再生装置および方法ならびにｖｒ映像システム - Google Patents

Description

本発明は、VR映像配信装置および方法、VR映像再生装置および方法ならびにVR映像システムに係り、特に、エンコーダの解像度が限られているなかで、視野移動時の視認性を確保しながら視野内を高解像化できるVR映像配信装置および方法、VR映像再生装置および方法ならびにVR映像システムに関する。

近年、次世代における高臨場感メディアの一つとしてVR映像が注目されている。VR映像とは、一般にHMD（ヘッドマウントディスプレイ、以下、クライアントと表現する場合もある）を装着したユーザに対して、頭の向きに合わせて３６０度の視野すべてを表示することができる映像形態である。クライアントの形態としては、PCと接続して利用する形態、スタンドアロンの専用端末を用いる形態およびスマートフォンを簡易なゴーグルに装着する形態などがある。

しかしながら、特にスマートフォンを利用する形態では、クライアントで３６０度コンテンツの高度なレンダリングができないため、サーバから映像を配信することでVR映像を視聴するシステムが検討されている。

VR映像の配信方式として、３６０度の視野を平面展開した２次元映像（以下、パノラマ映像）を配信する方式がある。パノラマ映像は、３６０度カメラの映像やCG（コンピュータグラフィクス）のような元となる３次元コンテンツから、特定の３次元視点位置の全周囲のデータを特定の３次元モデルに射影し、平面に展開することによって取得される２次元映像である。全周囲の情報を含むため、ユーザの視聴時の視野以外の情報も含む。

例えば、３次元視点位置を中心とする球面のデータを、Equirectangular projection （ERP、正距円筒図法）という射影形式に従って２次元映像に展開したものが該当する。クライアントは、パノラマ映像をデコードし、各フレームを射影形式に応じて球面に射影変換し、ユーザの向きに応じた視野映像を切り出して表示する。

一般的なクライアントは、二眼のVR映像の形式で表示する。これにより３６０度の映像表示を可能とする。なお、実際のアプリケーションでは、球面以外にも立方体や正八面体など複数の射影形式が利用されるが、ここでは平面に展開された映像をまとめてパノラマ映像と呼称する。

パノラマ映像を配信する方式は、３６０度の情報を全て送るため、ユーザが首を振って向きを変えたような場合にも遅延なく視野映像を表示することが可能である。

その一方、上述のような射影方式を用いるパノラマ映像では、ユーザの向きに依らず３６０度の情報を等しい品質で送るため、効率が悪いという問題がある。つまり、ユーザが見ていない向きの映像も配信され、帯域が不必要に多く消費され、全体の品質が低下する。

このような技術課題に対して、特許文献１では、パノラマ映像を予めスライス分割し、スライスごとに異なる解像度およびビットレートを設定し、ユーザの可視領域の品質を高くする一方、ユーザの非可視領域は低くすることで全体のビットレートを削減している。配信においては、ユーザの向きに基づいて可視・非可視領域を判定し、スライスごとの解像度およびビットレートを決定する。

非特許文献１では、パノラマ映像を予めHEVCにおけるmotion vector constraint付きのタイル分割によりエンコードしておき、さらにそれらを複数の解像度で生成しておく。上記のタイルは並列で配信・デコードが可能であるため、ユーザの向きに応じて必要なタイル部分だけを配信できる。そして、ユーザの視野を覆うタイルは高解像度のパノラマ映像から取得し、それ以外は低解像度のものを取得する。これによりユーザの見ている部分だけを高解像度で配信することが可能である。

特開2016-105593号公報

Robert Skupin, Yago Sanchez, Cornelius Hellge, Thomas Schierl, "Tile Based HEVC Video for Head Mounted Displays", ISM2016

特許文献１および非特許文献１では、パノラマ映像単位でのエンコードを行い、その後、パノラマ映像の一部を抽出する。これは、ユーザの可視領域のみを覆う映像であり、視野映像と呼ばれる。また、予めあらゆるユーザの可視領域に応じた視野映像をエンコードしておくこともできない。そのため、視野映像の解像度を上げるにはパノラマ映像単位で解像度を上げる必要がある。

しかしながら、エンコーダの最大解像度に上限がある場合、パノラマ映像の解像度が上限に達すると、視野映像の解像度をそれ以上に上げることができない。例えば、エンコーダの解像度が4Kまで対応している条件では、4Kパノラマ映像を生成すると2Kの視野映像を抽出できる。

その一方、同条件下で解像度を上げるには、(1) 領域は同じのまま4Kでエンコードする、(2) より狭い視野映像を抽出して2Kでエンコードする、がある。

本発明の目的は、上記の技術課題を解決し、ユーザが注視した領域にエンコード範囲を任意に絞ることで高解像化を実現するVR映像配信装置および方法、VR映像再生装置および方法ならびにVR映像システムを提供することにある。

上記の目的を達成するために、本発明は、以下の構成を具備した点に特徴がある。

(1) 本発明のVR映像配信装置は、三次元コンテンツからパノラマ画像を生成する手段と、パノラマ画像をエンコードして高解像パノラマ映像を生成する第１エンコーダと、パノラマ画像をエンコードして低解像パノラマ映像を生成する第２エンコーダと、VR映像を視聴するユーザの向き情報を取得する手段と、向き情報に基づいて前記高解像パノラマ映像から視野映像を切り出す手段と、前記向き情報に基づいて前記三次元コンテンツをエンコードし、前記視野映像よりも高解像の中心視野映像を生成する第３エンコーダと、前記低解像パノラマ映像ならびに前記視野映像および中心視野映像の少なくとも一方を選択的に配信する手段とを具備した。

(2) 前記選択的に配信する手段は、向き情報の統計値に基づいて映像を選択するようにした。

(3) 前記選択的に配信する手段が、低解像パノラマ映像および視野映像を配信する通常モード、低解像パノラマ映像、視野映像および中心視野映像を配信するハイブリッドモードならびに低解像パノラマ映像および中心視野映像を配信する注視モードを備え、視野の分布および移動速度の分布の少なくとも一方の分散値が小さいほど、モードを通常モードからハイブリッドモードへ切り換え、さらに注視モードへ切り換えるようにした。

(4) 第３エンコーダは、中心視野映像の配信時刻と低解像パノラマ映像の配信時刻とが同期するように、先行して三次元コンテンツをエンコードするようにした。

(5) 配信先の属性情報を取得する手段を更に具備し、前記選択的に配信する手段は、視野の分布および／または移動速度の分布の各分散値に基づいて動作モードを切り替える際の切り換え点を変更するようにした。

(6) 本発明のVR映像再生装置は、VR映像を視聴するユーザの向きを検知して向き情報を発生する手段と、前記向き情報をVR映像配信装置へ通知する手段と、VR映像配信装置が配信した低解像パノラマ映像ならびに視野映像および中心視野映像の少なくとも一方に基づいてVR映像を生成する手段とを具備した。

(7) 本発明のVR映像システムは、VR映像配信装置およびVR映像再生装置を含み、前記VR映像配信装置は、三次元コンテンツからパノラマ画像を生成する手段と、パノラマ画像をエンコードして高解像パノラマ映像を生成する第１エンコーダと、パノラマ画像をエンコードして低解像パノラマ映像を生成する第２エンコーダと、VR映像を視聴するユーザの向き情報を取得する手段と、前記向き情報に基づいて前記高解像パノラマ映像から視野映像を切り出す手段と、前記向き情報に基づいて前記三次元コンテンツをエンコードし、前記視野映像よりも高解像の中心視野映像を生成する第３エンコーダと、前記低解像パノラマ映像ならびに前記視野映像および中心視野映像の少なくとも一方を選択的に配信する手段とを具備した。
また、前記VR映像再生装置は、前記VR映像を視聴するユーザの向きを検知して向き情報を発生する手段と、前記向き情報をVR映像配信装置へ通知する手段と、VR映像配信装置が配信した低解像パノラマ映像ならびに視野映像および中心視野映像の少なくとも一方に基づいてVR映像を生成する手段とを具備した。

本発明によれば、以下のような効果が達成される。

(1) エンコーダの最大解像度でエンコードしたパノラマ映像から切り出した視野映像とは別に、三次元コンテンツから生成した中心視野画像を最大解像度でエンコードした中心視野映像を配信できるので、エンコーダの最大解像度を変更することなく、ユーザの視野に関して従来と同一解像度の視野映像のみならず、これよりも相対的に高解像の中心視野映像を配信できるようになる。

(2) ユーザの視野を代表する向き情報の統計値に基づいて、配信する映像やその組み合わせを切り換えるので、ユーザの向きおよびその変化に応じて最適な映像を配信できるようになる。

(3) リアルタイムでエンコードすることになる中心視野映像に関しては、そのレンダリングやエンコードに要する遅延時間分だけ先行してエンコードが実施されるので、中心視野映像の再生タイミングを視野映像やパノラマ映像の再生タイミングに同期させることができるようになる。

(4) 配信先の属性情報に基づいて、配信する映像やその組み合わせを切り換える際の切り換え点を変更するので、配信先の属性情報に応じた配信が可能になる。

本発明の一実施形態にかかるVR映像配信システムの機能ブロック図である。 視野の移動速度および分布に応じて配信モードが切り換わる例を示した図である。 中心視野映像の投機的配信の例を模式的に示した図である。 本実施形態における各映像の配信方法を模式的に示した図である。 各映像の再生形態を仮想的に示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るVR映像システムの主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。本発明のVR映像システムは、VR映像を配信するVR映像配信サーバ１と、視聴ユーザに装着されて前記VR映像を受信、再生するHMD等のクライアント２とを、ネットワークで接続して構成される。

VR映像配信サーバ１において、３次元コンテンツサーバ１０１には、３６０度カメラの映像やCGのような３次元コンテンツが蓄積されている。パノラマ画像生成部１０２は、特定の３次元視点位置の全周囲のデータを特定の３次元モデルに射影し、平面に展開することによってパノラマ画像を生成する。

第１エンコーダ１０３は、前記パノラマ画像を相対的に高解像でエンコードして高解像パノラマ映像VP_Hを生成する。本実施形態では、HEVCにおけるmotion vector 制約付きタイルで分割されたストリームが生成される。これにより、異なる位置にあるタイル同士で時間的な参照関係を持たないため、特定位置のタイルのみを独立でデコードすることが可能になる。

第２エンコーダ１０４は、前記パノラマ画像を相対的に低解像でエンコードして低解像パノラマ映像VP_Lを生成する。第２エンコーダ１０４では上記のようなタイル分割が不要である。これはクライアント２が向きを変えた場合に表示が遅延しないよう全天球の映像を送る場合があるためである。このように、本実施形態ではパノラマ映像VPに関して、タイル分割された高解像パノラマ映像VP_Hおよびタイル分割されていない低解像パノラマ映像VP_Lが生成される。

視野映像切出部１０５は、クライアント２から通知される、後に詳述する向き情報Idに基づいて、前記高解像パノラマ映像PV_Hの一部領域を視野映像V_Mとして切り出す。

中心視野画像生成部１０８は、クライアント２から通知される向き情報Idを分析し、３次元コンテンツに基づいて中心視野画像をリアルタイムでレンダリングする。第３エンコーダ１０６は、クライアントから取得した向き情報Idに基づいて、前記中心視野画像をリアルタイムでエンコードして相対的に高解像の中心視野映像V_Hを生成する。ここで、中心視野映像V_Hとは、前記視野映像V_Mと同一またはより狭い範囲を、画素密度がより高くなるようにエンコードして得られる高解像の映像である。

配信制御部１０７は、クライアント２から通知される向き情報Idの統計値（本実施形態では、視野の２次元分布および移動速度の分布の少なくとも一方）に基づいて、前記低解像パノラマ映像VP_L、ならびに前記視野映像V_Mおよび中心視野映像V_Hの少なくとも一方を選択的にクライアント２へ配信する。

本実施形態では、配信制御部１０７が配信モードとして、低解像パノラマ映像VP_Lおよび視野映像V_Mを配信する通常モード１０７ａ、低解像パノラマ映像VP_L、視野映像V_Mおよび中心視野映像V_Hを配信するハイブリッドモード１０７ｂならびに低解像パノラマ映像VP_Lおよび中心視野映像V_Hを配信する注視モード１０７ｃを備え、図２に示したように、視野移動速度の分布の分散値D1が小さいほど、および／または視野の分布の分散値D2が小さいほど、その配信モードを通常モード１０７ａからハイブリッドモード１０７ｂへ切り換え、さらに注視モード１０７ｃへと切り換える。

例えば、前記各分散値D1，D2に関して第１閾値Ref1および第２閾値Ref2（Ref1＞Ref1）がそれぞれ用意されており、分散値D1，D2が第１閾値Ref1よりも大きければ、通常モード１０７ａが採用されて低解像パノラマ映像VP_Lおよび視野映像V_Mが配信される。また、Ref1≧D1，D2＞Ref2であれば、ハイブリッドモード１０７ｂが採用されて低解像パノラマ映像VP_L、視野映像V_Mおよび中心視野映像V_Hが配信される。さらに、Ref2＞D1，D2であれば、注視モード１０７ｃが採用されて低解像パノラマ映像VP_Lおよび中心視野映像V_Hが配信される。

前記第１閾値Ref1および第２閾値Ref2は、ユーザの属性情報に基づいて変化するようにしても良い。例えばVR映像の配信サービスを有料で提供する場合、料金の高い契約をしているユーザに対しては、料金の低い契約をしているユーザよりも、前記第１閾値Ref1および第２閾値Ref2を相対的に高くすることで、ハイブリッドモード１０７ｂや注視モード１０７ｃの選択確率を高くしても良い。

配信制御部１０７の投機的配信実行部１０７ｄは、後述するクライアント２の遅延計測部２０４が通知する中心視野映像の配信遅延時間Δtだけ、当該中心視野映像V_Hのエンコードタイミングを投機的に前倒しする。

図３は、前記投機的配信実行部１０７ｄによる中心視野映像V_Hの投機的配信の例を模式的に示した図であり、予め生成されているパノラマ映像VP_L等の配信時刻に対して、中心視野映像V_Hの配信時刻がΔ3tだけ遅延する場合、投機的配信実行部１０７ｄは第３エンコーダ１０６に対して、前記Δ3tだけ先行してデコードを指示する。すなわち、時刻2tにおいて時刻5tの中心視野画像に対するエンコードを指示する。

このとき、第３エンコーダ１０６は時刻2tでの向き情報Idに基づいて中心視野を選択するため、時刻5tにおける向きとの間にずれの生じる可能性がある。そこで、本実施形態では配信時刻tにおける向き情報Id_tと前記遅延時間Δ3tだけ前の向き情報Id_Δ3tとを比較し、両者の差分が所定の閾値を超える場合には中心視野映像V_Hを破棄するようにしている。

クライアント２において、視聴要求部２０１は、VR映像配信サーバ１へ視点情報又は再生時刻情報の記述された視聴要求を送信してVR映像配信サーバ１に所望のVR映像を配信させる。向き検知部２０２は、例えばジャイロセンサや加速度センサを備え、クライアント２を装着しているユーザの視線の向きおよび移動速度を検知する。視野情報計算部２０３は、向き検知部２０２が検知した向き情報Idの時系列に基づいて、視野の２次元分布および移動速度の２次元分布を計算し、この計算結果をVR映像配信サーバ１へ提供する。

第１映像合成部２０５は、VR映像配信サーバ１が通常モードで配信する低解像パノラマ映像VP_Lと視野映像V_Mとを合成し、その合成映像を出力する。デコーダ２０６は、前記合成映像および中心視野映像V_Hをそれぞれデコードする。第２映像合成部２０７は、前記合成映像および中心視野映像V_Hのデコード画像を取得すると、前記向き情報Idに応じて、現在のクライアント２の向きと時刻とに合う中心視野画像V_Hを前記合成映像に更に重畳する。

本実施形態では、第２映像合成部２０７が２つのフレームバッファを備え、その一方は向き情報Idに応じて前記合成画像を全天球面に射影し、他方は中心視野画像V_Hを視線正面の平面に射影する。射影は対応座標をOpenGLで記述できる。VR映像再生部２０８は、合成されたVR映像を再生する。

遅延計算部２０４は、前記向き情報Idに記述されている時刻情報と、配信サーバ１が配信する中心視野映像V_Hに記述されている時刻情報とを比較して中心視野映像の遅延時間Δtを計算し、これを配信サーバ１へ通知する。

図４は、本実施形態における各映像の配信方法を模式的に示した図であり、図５は、各映像の再生形態を仮想的に示した図である。ここでは、低解像パノラマ映像VP_Lとして2K解像度のパノラマ映像、視野映像V_Mとして2K解像度相当の映像、中心視野映像V_Hとして2K解像度相当または4K解像度相当の映像が配信される場合を例にして説明する。

通常モードでは、パノラマ画像から低解像エンコードにより生成された2kパノラマ映像と、パノラマ画像から高解像エンコードにより生成された4kパノラマ映像から前記向き情報Idに基づいて切り出された2k視野映像が配信される。したがって、クライアント(HMD)２では図５(a)に示したように、解像度が視野では4kパノラマ相当、視野以外では2Kパノラマ相当のVR映像を視聴できるようになる。

注視モードでは、前記2k視野映像に代えて、前記視野映像V_Mと同じ範囲を4k解像度でエンコードした4k中心視野映像が配信される。したがって、クライアント２では図５(b)に示したように、解像度が視野では8kパノラマ相当、視野以外では2Kパノラマ相当のVR映像を視聴できるようになる。

ハイブリッドモードでは、前記2Kパノラマ映像および2K視野映像、ならびに前記視野映像V_Mよりも更に狭い範囲を2k解像度でエンコードした2k中心視野映像が配信される。したがって、クライアント２では図５(c)に示したように、解像度が視野の中心部では8Kパノラマ相当、中心部以外の視野では4Kパノラマ相当、視野以外で2Kパノラマ相当のVR映像を視聴できるようになる。

なお、エンコード範囲が狭くなり、クライアント２の物理的なppiを超える場合にも、内部解像度の増加による解像度感の向上が図れる。

１…VR映像配信サーバ，２…クライアント，１０１…３次元コンテンツサーバ，１０２…パノラマ画像生成部，１０３…第１エンコーダ，１０４…第２エンコーダ，１０５…視野映像切出部，１０６…第３エンコーダ，１０７…配信制御部，１０７ｄ…投機的配信実行部，１０８…中心視野画像生成部，２０１…視聴要求部，２０２…向き検知部，２０３…視野情報計算部，２０４…遅延計算部，２０５…第１映像合成部，２０６…デコーダ，２０７…第２映像合成部，２０８…VR映像再生部

Claims (14)

1. 三次元コンテンツからパノラマ画像を生成する手段と、
   前記パノラマ画像をエンコードして高解像パノラマ映像を生成する第１エンコーダと、
   前記パノラマ画像をエンコードして低解像パノラマ映像を生成する第２エンコーダと、
   映像を視聴するユーザの向き情報を取得する手段と、
   前記向き情報に基づいて前記高解像パノラマ映像から視野映像を切り出す手段と、
   前記向き情報に基づいて前記三次元コンテンツをエンコードし、前記視野映像よりも高解像の中心視野映像を生成する第３エンコーダと、
   前記低解像パノラマ映像ならびに前記視野映像および中心視野映像の少なくとも一方を選択的に配信する手段とを具備したことを特徴とするVR映像配信装置。
2. 前記選択的に配信する手段は、前記向き情報の統計値に基づいて映像を選択することを特徴とする請求項１に記載のVR映像配信装置。
3. 前記統計値が、視野の分布および移動速度の分布の少なくとも一方であることを特徴とする請求項２に記載のVR映像配信装置。
4. 前記選択的に配信する手段が、
   低解像パノラマ映像および視野映像を配信する通常モード、低解像パノラマ映像、視野映像および中心視野映像を配信するハイブリッドモードならびに低解像パノラマ映像および中心視野映像を配信する注視モードを備え、
   前記視野の分布および移動速度の分布の少なくとも一方の分散値が小さいほど、配信モードを通常モードからハイブリッドモードへ切り換え、さらに注視モードへ切り換えることを特徴とする請求項３に記載のVR映像配信装置。
5. 前記中心視野映像の範囲が、ハイブリッドモードでは注視モードよりも狭いことを特徴とする請求項４に記載のVR映像配信装置。
6. 前記第３エンコーダは、中心視野映像の配信時刻と低解像パノラマ映像の配信時刻とが同期するように、先行して三次元コンテンツをエンコードすることを特徴とする請求項１ないし５のいずれかに記載のVR映像配信装置。
7. 前記先行して三次元コンテンツをエンコードした際の向き情報と配信時の向き情報との差が所定の閾値を超えていると当該先行してエンコードした中心視野映像を破棄することを特徴とする請求項６に記載のVR映像配信装置。
8. 前記選択的に配信する手段は、前記視野の分布および／または移動速度の分布の各分散値に基づいて動作モードを切り替える際の切り換え点を配信先の属性情報に基づいて変更することを特徴とする請求項４に記載のVR映像配信装置。
9. 配信されたVR映像を再生するVR映像再生装置において、
   VR映像を視聴するユーザの向きを検知して向き情報を発生する手段と、
   前記向き情報をVR映像配信装置へ通知する手段と、
   前記VR映像配信装置が前記向き情報に応じて選択的に配信する、三次元コンテンツのパノラマ画像をエンコードして生成された相対的に低解像の低解像パノラマ映像、三次元コンテンツのパノラマ画像をエンコードして生成された相対的に高解像の高解像パノラマ映像から前記向き情報に基づいて切り出した視野映像および前記向き情報に基づいて三次元コンテンツをエンコードすることで生成されて前記視野映像よりも高解像の中心視野映像を受信する手段と、
   前記低解像パノラマ映像ならびに視野映像および中心視野映像の少なくとも一方に基づいてVR映像を生成する手段とを具備したことを特徴とするVR映像再生装置。
10. 前記向き情報の時系列に基づいて、ユーザの視野の分布および移動速度の分布の少なくとも一方の分散を計算して前記VR映像配信装置へ通知する手段をさらに具備したことを特徴とする請求項９に記載のVR映像再生装置。
11. 前記向き情報に記述された時刻情報と前記中心視野映像に記述された時刻情報とに基づいて当該中心視野映像の遅延時間を計算し、前記VR映像配信装置へ通知する手段をさらに具備したことを特徴とする請求項９または１０に記載のVR映像再生装置。
12. VR映像を配信するVR映像配信装置および当該配信されたVR映像を再生するVR映像再生装置を含むVR映像システムにおいて、
    前記VR映像配信装置が、
    三次元コンテンツからパノラマ画像を生成する手段と、
    前記パノラマ画像をエンコードして高解像パノラマ映像を生成する第１エンコーダと、
    前記パノラマ画像をエンコードして低解像パノラマ映像を生成する第２エンコーダと、
    映像を視聴するユーザの向き情報を取得する手段と、
    前記向き情報に基づいて前記高解像パノラマ映像から視野映像を切り出す手段と、
    前記向き情報に基づいて前記三次元コンテンツをエンコードし、前記視野映像よりも高解像の中心視野映像を生成する第３エンコーダと、
    前記低解像パノラマ映像ならびに前記視野映像および中心視野映像の少なくとも一方を選択的に配信する手段とを具備し、
    前記VR映像再生装置が、
    前記VR映像を視聴するユーザの向きを検知して向き情報を発生する手段と、
    前記向き情報をVR映像配信装置へ通知する手段と、
    VR映像配信装置が配信した低解像パノラマ映像ならびに視野映像および中心視野映像の少なくとも一方に基づいてVR映像を生成する手段とを具備したことを特徴とするVR映像システム。
13. コンピュータがVR映像を配信する方法において、
    三次元コンテンツからパノラマ画像を生成し、
    パノラマ画像をエンコードして高解像パノラマ映像を生成し、
    パノラマ画像をエンコードして低解像パノラマ映像を生成し、
    VR映像を視聴するユーザの向き情報を取得し、
    前記向き情報に基づいて前記高解像パノラマ映像から視野映像を切り出し、
    前記向き情報に基づいて前記三次元コンテンツをエンコードし、前記視野映像よりも高解像の中心視野映像を生成し、
    前記低解像パノラマ映像ならびに前記視野映像および中心視野映像の少なくとも一方を選択的に配信することを特徴とするVR映像配信方法。
14. コンピュータが配信されたVR映像を再生するVR映像再生方法において、
    VR映像を視聴するユーザの向きを検知して向き情報を発生し、
    前記向き情報をVR映像配信装置へ通知し、
    前記VR映像配信装置が前記向き情報に応じて選択的に配信する、三次元コンテンツのパノラマ画像をエンコードして生成された相対的に低解像の低解像パノラマ映像、三次元コンテンツのパノラマ画像をエンコードして生成された相対的に高解像の高解像パノラマ映像から前記向き情報に基づいて切り出した視野映像および前記向き情報に基づいて三次元コンテンツをエンコードすることで生成されて前記視野映像よりも高解像の中心視野映像を受信し、
    前記低解像パノラマ映像ならびに視野映像および中心視野映像の少なくとも一方に基づいてVR映像を生成することを特徴とするVR映像再生方法。

Images