JP6075889B2 - 映像配信装置及び映像再生装置 - Google Patents

Description

本発明は、全天周映像または円筒型のパノラマ映像のインタラクティブ映像配信を行う映像配信装置と、映像再生を行う映像再生装置に関する。

近年、４Ｋ、８Ｋおよび巨大なパノラマ映像等のハイビジョン品質を大きく上回る解像度を持つ高精細映像から、視聴者が好みの位置や大きさで自由に操作しながら視聴する技術の研究が行われている。例えば、非特許文献１では、ハイビジョン品質を越える解像度の巨大なパノラマ映像を対象としている。非特許文献１では、高精細映像の一部を再生する再生端末として、ハイスペックなパソコンを前提としているが、これに加えて、非特許文献２では、ロースペックなタブレットやスマートフォンで、高精細映像の一部の再生を可能とする技術の検討も行われている。

非特許文献２では、巨大なパノラマ映像を、まず複数の解像度に分割した上で、さらに、各解像度の映像を一定サイズの矩形を少しずつずらしたビューに分割し、それぞれのビュー単位で映像符号化を行っている。図８は、高精細映像に対するビューの構成例を示す図である。図８に示すように、解像度を例えば３段階の高解像度、中解像度、低解像度に分けて、それぞれの映像から一定サイズの矩形を少しずつずらしたビューを構成している。図８において、（１）〜（３）、（１１）、（１２）、（２０）がそれぞれビューである。非特許文献２では、国際標準規格であるＨ．２６４／ＭＶＣ（Multi View Coding）フォーマットに従って、各ビューの映像符号化データをまとめて１つのパノラマ映像ストリームを構成している。

その上で、視聴者が、巨大なパノラマ映像から、好みの位置や大きさを自由に操作しながら視聴する場合は、この１つのパノラマ映像ストリームから、視聴者の視聴している領域（表示領域）を含む最適な解像度のビューと、パノラマ映像全体を含んだ最低解像度のビューの２つのビューを読み込んで復号する。そして、これらの最適な解像度の映像と最低解像度の映像の復号結果を重畳したうえで、この画像からクリッピングして表示デバイスへの表示を行っている。

視聴者の操作により表示画像の位置や大きさが変化した場合は、これに追随して読み込む最適な解像度のビューの位置を変更（位置変化時）や、あるいは最適な解像度を変更（大きさ変化時）して、これらを復号化することで、映像が時間的にも、空間的にも途切れることなく表示を継続可能とするシステムとなっている。

次に、図９を参照して、高精細映像ストリームを配信サーバから低スペックの端末への映像ストリームの配信動作を説明する。図９は、映像ストリームの配信動作を示す図である。まず、クライアント端末から、映像の表示領域が含まれる、適切な高解像度のビュー（図９のビューＡ）と、最低解像度のビュー（図９のビューＢ）とを配信要求する（図９（ｉ））。続いて、配信サーバは、クライアント端末から要求されたビューＡ、ビューＢを配信する（図９（ｉｉ））。

これを受けて、クライアント端末は、適切な高解像度のビュー（ビューＡ）と最低解像度のビュー（ビューＢ）を同時にデコード（２つのビューを復号）して重畳した映像を得る（図９（ｉｉｉ））。クライアント端末は、得られた映像から視聴者の要求する位置、大きさの映像をクリッピングして、画面に表示する（図９（ｉｖ））。

この処理動作の後、視聴者の要求する位置、大きさ（映像の表示領域）が変更された場合は、適切な高解像度のビューを変更して、前述した処理動作を繰り返す。

次に、図１０を参照して、図９に示す配信サーバとクライアント端末の構成を説明する。図１０は、配信サーバ１０とクライアント端末２０の構成を示すブロック図である。図１０に示す配信サーバ１０とクライアント端末２０とからなる高精細映像部分配信システムにおいて、ライブ映像などをリアルタイムに映像／音声情報出力部１１から映像情報、音声情報が送出され、映像／音声符号化部１２において符号化する。なお、映像情報、音声情報は、映像／音声情報出力部１１に予め保管されたファイル情報である。

映像／音声符号化部１２では、映像情報を複数の映像に分割（例えば、図８のような分割）して符号化する。このとき、複数の映像の位置を複数映像位置情報送信部１３に出力する。また、複数映像位置情報としては、例えば図８のような分割の場合は、映像のサイズ（複数の解像度が有る場合は、それぞれの解像度毎の映像サイズ）、ビューのサイズ、およびビューの左右のずらし量と上下のずらし量を映像位置情報とし、予め左上からラスタスキャンして番号を付与するといった取り決めにより、映像位置を確定することができる。

そして、オフライン（非リアルタイム）で符号化を行った映像情報、音声情報は映像／音声情報保存部１４に保存され、送信部１５を介して、クライアント端末２０側の受信部２４に符号化済の映像情報、符号化済の音声情報を送信する。その後、映像／音声復号化部２５は、符号化済の映像情報、符号化済の音声情報の復号を行う。映像／音声再生部２６は、視聴者が映像／音声の視聴を可能となるように映像と音声を再生する。

なお、本システムの特徴として、クライアント端末２０の複数映像位置情報受信部２１から画面操作制御部２２に対して複数映像位置情報を伝え、視聴者が視聴している注視領域（＝表示領域）が変更された場合には、複数映像位置情報から、変更された視聴者の注視領域を抽出し、これを注視領域要求部２３に伝え、さらに、これを配信サーバ１０側の注視領域制御部１６に送信する。これにより、配信サーバ１０側ではクライアント端末２０側の注視領域にあった最適な解像度の映像と最低解像度の映像の、複数の映像を送信部１５に出力することで、視聴者の注視領域に適合した符号化済の映像情報が送信され、変更された視聴者の注視領域が視聴可能となる。

Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani :「Panorama video coding for user-driven interactive video application」,IEEE International Symposium on Consumer Electronics (ISCE) 2009,2009. Hideaki Kimata, Daisuke Ochi, Akio Kameda, Hajime Noto, Katsuhiko Fukazawa, and Akira Kojima, "Mobile and Multi-device Interactive PanoramaVideo Distribution System,"IEEE GCCE 2012, 2012.

ところで、非特許文献２に開示されている従来技術を全天周映像を前提とした正距円筒図法により展開したパノラマ映像、もしくは円筒型のパノラマ映像として適用した場合に以下の課題がある。

パノラマ映像を配信する際には、全天周映像の視聴位置から、正距円筒図法によるパノラマ映像のビューとの対応づけする対応表（図１１参照）が必要である。図１１は、全天周映像の視聴位置とパノラマ映像上のビューの番号とを対応付ける対応表の一例を示す図である。この対応表を参照することにより、全天周映像の視聴位置を示す俯角αと方位角βを特定すれば、これに対応するパノラマ映像上のビュー番号を特定することができる。

しかし、全天周映像の解像度が高くなると、視聴位置を表す角度（α、β）の間隔が小さくなり、正距円筒図法により展開したパノラマ映像の解像度が高くなってビューが増加することから、対応表のサイズが非常に大きくなる傾向がある。これは、円筒型のパノラマ映像でも同様である。

また、従来技術では、平面の矩形領域で表されるユーザの視聴領域から算出される２次元的な視聴領域の重心（ｘ，ｙ）（パノラマ映像中の画素の位置）と、各ビューの重心の位置を比較して最も位置の近いビューを要求していた。さらに、ユーザの視聴領域の大きさからコンテンツ設計者が指定する解像度のパノラマ映像を選択していた。

しかし、全天周映像の各画素の位置は３次元的に配置され、全天周映像の視聴領域の重心を求めるのに、従来技術のような２次元的な視聴領域の重心（ｘ，ｙ）では表現できず、このままでは従来技術でビューを指定する技術を容易に転用できない。また、一度、正距円筒図法によるパノラマ映像にユーザの視聴領域を射影することも考えられるが、この場合は従来技術よりも射影変換の分だけ演算コストが増加してしまう（第１の課題）。これは、円筒型のパノラマ映像でも同様である。

さらに、全天周映像の正距円筒図法によるパノラマ映像、もしくは円筒型のパノラマ映像の境界部では、３次元的な表現となるため、左右の境界部の接合部としての連続性が保たれる必要がある。しかし、従来技術のパノラマ映像では境界部で連続性がないため適切なビューを選択することができないケースが存在する（第２の課題）。

本発明は、このような事情に鑑みてなされたもので、全天周映像または円筒型のパノラマ映像をインタラクティブに視聴する際に、映像を配信するための帯域を抑制しつつ、視聴者の注目部分の映像品質を向上させることができる映像配信装置及び映像再生装置を提供することを目的とする。

本発明は、全体映像データのうち指定された一部領域である映像再生領域の映像データを映像再生装置に対して配信する映像配信装置であって、前記全体映像データとして、全天周映像を正距円筒図法によって展開したパノラマ映像を扱う際に、展開した前記パノラマ映像の境界部の連続性を保つために、所定のサイズの映像を前記境界部の外側に付与した全天周映像対応パノラマ映像を生成し、前記映像再生装置からの配信要求に応じて、前記全天周映像対応パノラマ映像から切り出した前記映像再生領域の前記映像データを配信することを特徴とする。

本発明は、前記境界部の外側に付与する所定のサイズの映像は、各解像度における最大の視野角分の映像であることを特徴とする。

本発明は、前記境界部の外側に付与する所定のサイズの映像は、ビューの横サイズ分の映像であることを特徴とする。

本発明は、全体映像データのうち指定された一部領域である映像再生領域の映像データを映像再生装置に対して配信する映像配信装置であって、前記全体映像データとして、円筒型のパノラマ映像を展開したパノラマ映像を扱う際に、展開した前記パノラマ映像の境界部の連続性を保つために、所定のサイズの映像を前記境界部の外側に付与した円筒型対応パノラマ映像を生成し、前記映像再生装置からの配信要求に応じて、前記円筒型対応パノラマ映像から切り出した前記映像再生領域の前記映像データを配信することを特徴とする。

本発明は、前記境界部の外側に付与する所定のサイズの映像は、各解像度における最大の視野角分の映像であることを特徴とする。

本発明は、前記境界部の外側に付与する所定のサイズの映像は、ビューの横サイズ分の映像であることを特徴とする。

本発明は、前記映像配信装置から映像データを受信して再生する映像再生装置であって、映像再生領域の視野角に合わせて複数の解像度から所定の解像度のパノラマ映像を選択し、俯角と方位角で表現される前記パノラマ映像の位置情報から再生すべき前記映像再生領域を選択し、選択した前記映像再生領域の前記映像データの配信を前記映像配信装置に対して要求することを特徴とする。

本発明は、前記映像配信装置から映像データを受信して再生する映像再生装置であって、映像再生領域の視野角に合わせて複数の解像度から所定の解像度のパノラマ映像を選択し、高さと方位角で表現される前記パノラマ映像の位置情報から再生すべき前記映像再生領域を選択し、選択した前記映像再生領域の前記映像データの配信を前記映像配信装置に対して要求することを特徴とする。

本発明によれば、全天周映像もしくは円筒型のパノラマ映像をインタラクティブに視聴する際に、映像を配信するための帯域を抑制しつつ、視聴者の注目部分の映像品質を向上させることができる。

本発明の一実施形態の構成を示すブロック図である。 全天周映像の正距円筒図法によるパノラマ映像のビューの対応付けの例を示す説明図である。 円筒型のパノラマ映像のビューの対応付けの例を示す説明図である。 正距円筒図法または円筒型向けパノラマ映像への境界部に対する処理の例を示す説明図である。 角度β方向の最大の視野角γを示す説明図である。 正距円筒図法における座標変換の例を示す説明図である。 円筒型のパノラマ映像における座標変換の例を示す説明図である。 高精細映像に対するビューの構成例を示す図である。 映像ストリームの配信動作を示す図である。 配信サーバ１０とクライアント端末２０の構成を示すブロック図である。 全天周映像の視聴位置とパノラマ映像上のビューの番号とを対応付ける対応表の一例を示す図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像配信装置及び映像再生装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、図１０に示す従来の装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が従来の装置と異なる点は、映像／音声符号化部１２０、注視領域制御部１６０、注視領域要求部２３０及び映像／音声再生部２６０が設けられている点である。

次に、図１に示す装置の動作を説明する。始めに、配信サーバ１０（映像配信装置）は映像の符号化を行う動作を説明する。まず、映像／音声符号化部１２０は、全天周映像を正距円筒図法によるパノラマ映像として、図８に示すような複数の解像度のパノラマ映像として生成する。全天周映像を正距円筒図法でパノラマ映像とした際、パノラマ映像の解像度は、「コンテンツ設計者」が指定することになる。例えば、全天周映像の赤道近傍でドットバイドット表示するのであれば、全天周映像の赤道上における最大の視野角９０度で６４０画素なら、全体の３６０度に展開すると４倍（９０×４＝３６０度）の２５６０画素（横方向）になることを意味する。

これに追従して縦方向は１８０度と半分なので画素数は半分の１２８０画素になる。このとき、全天周映像の原点は図２の左上に示す球の中心である。図２は、全天周映像の正距円筒図法によるパノラマ映像のビューの対応付けの例を示す説明図である。全天周映像の視聴領域を特定するための位置情報は、図２の左下に示すように、角度αと角度βを用いる。角度αは、俯角に相当する。また、角度βは、方位に相当する。図２の右上は、縦軸を角度α（０〜１８０°）、横軸を角度β（０〜３６０°）として、正距円筒図法によって展開したある解像度のパノラマ映像である。ビューの選択は、角度（α，β）に近い重心のビューを選択する。

また、円筒型のパノラマ映像の場合は、映像／音声符号化部１２０は、円筒型のパノラマ映像として、図８に示すような複数の解像度のパノラマ映像として生成する。このとき、図３に示すように円筒の中心を原点とする。なお、「高さ」は円筒上辺からの距離を表すものとする。図３は、円筒型のパノラマ映像のビューの対応付けの例を示す説明図である。

円筒型のパノラマ映像の視聴領域を特定するための位置情報は、図２左に示すように、角度βと高さｈを用いる。図２の右は、縦軸を高さｈ（０〜Ｈ（高さの最大値））、横軸を角度β（０〜３６０°）として、展開したある解像度のパノラマ映像である。ビューの選択は、（ｈ，β）に近い重心のビューを選択する。

次に、映像／音声符号化部１２０は、図４に示すように、最大の視野角分をパノラマ映像に追加する。図４は、正距円筒図法または円筒型向けパノラマ映像への境界部に対する処理の例を示す説明図である。図４の上に示すように、展開したパノラマ映像において、（α，β）または（ｈ，β）に最も近い重心のビューを選択する際に、該当するビューが存在しない場合がある。図４に示すように、（α，β）で指定される位置がパノラマ映像の右端に近い場合、ビューがパノラマ映像の境界部からはみ出してしまう。これは、パノラマ映像の左端と右端は本来つながっているものであるが、展開を行ったため、左端と右端が切断された状態になったためである。

そこで、図４の下に示すように、パノラマ映像の右端から所定の画素数の幅を有する領域（図４に示す領域Ａ１）をパノラマ映像の左端の外側の領域（図４に示す領域Ａ２）として追加する。また、パノラマ映像の左端から所定の画素数の幅を有する領域（図４に示す領域Ａ３）をパノラマ映像の右端の外側の領域（図４に示す領域Ａ４）として追加する。これにより、（α，β）または（ｈ，β）に最も近い重心のビューを選択可能になる。なお、説明ではパノラマ映像の左端、右端に外側の領域を付与しているが、どちらかい一方（左端、または右端）の外側に領域を付与してもよい。

複数解像度に対応するため、全天周映像を正距円筒図法によるある解像度のパノラマ映像のサイズをＸ（横）×Ｙ（縦）画素とし、全天周映像の赤道上（α＝９０度）における角度β方向の最大の視野角がγ（度）の場合は、横方向に付与する必要がある映像のサイズは、
Ｘ×γ／３６０画素分
となる。図５は、角度β方向の最大の視野角γを示す説明図である。これは、ある解像度のパノラマ映像に、最大の視野角分の映像を付与することで、どの解像度においても、β＝０度もしくはβ＝３６０度近傍（ある解像度のパノラマ映像の左端や右端周辺）が視聴位置として指定された場合を考慮すると、最大の視野角分の表示領域を、必ずある１つのビューに含むことができるためである。

例えば、全天周映像を正距円筒図法による最高解像度のパノラマ映像のサイズを２５６０（横）×１２８０（縦）画素としたとき、最大の視野角が９０度であれば、
２５６０×９０（度）／３６０（度）＝６４０画素分
を横方向に付与する必要がある。

一方、ある解像度のパノラマ映像のサイズが１２８０×６４０画素であった場合は、
１２８０×９０（度）／３６０（度）＝３２０画素分
を横方向に付与すればよく、ある解像度のパノラマ映像のサイズにより、横方向に付与する画素分は、それぞれの解像度と最大の視野角に合わせて映像を付与する。

なお、最低解像度のパノラマ映像は全ての全天周映像の正距円筒図法によるパノラマ映像、もしくは円筒型のパノラマ映像のすべての情報が含まれているため、図４に示すような横方向への映像は必要ない。これは、円筒型のパノラマ映像でも同様である。

そのうえで、映像／音声符号化部１２０は、図４に示す処理まで完了した各解像度のパノラマ映像を、図８のように、あるサイズの重なりをもつビューに分割し、これらの各ビューの映像をＨ．２６４／ＭＶＣ等で符号化／多重化する。

次に、クライアント端末２０（映像再生装置）が映像再生を行う動作を説明する。注視領域要求部２３０は、注視領域の要求を行う際に、全天周映像の場合は、図２に示すように角度α、βにより視聴位置を配信サーバ１０に対して指定する。

これを受けて、注視領域制御部１６０は、図２に示す角度α、βから、重心の近い高解像度のビューを特定する。なお、該当する高解像度のビューは複数あってもよい。加えて、パノラマ映像全体を含む低解像度の各ビューを特定し、映像／音声情報保存部１４は、これらのビューを送信部１５からクライアント端末２０に対して送信する。

そして、映像／音声再生部２６０は、相互の座標変換を行うことにより、低解像度および高解像度のビューから全天周映像を生成して再生する。これによって、全天周映像を視聴することが可能となる。相互の座標変換については、図６に示すように、以下のように行う。図６は、正距円筒図法における座標変換の例を示す説明図である。全天周映像の場合、パノラマ映像の横方向の画素の座標をｕ、縦方向の画素の座標をｖとしたとき、
β＝３６０×ｕ／Ｗ
α＝１８０×ｖ／Ｈ
が成り立つ。ここで、Ｗは、横方向の映像サイズであり、Ｈは、縦方向の映像サイズである。
したがって、パノラマ映像上の画素の座標ｕ，ｖは、
ｕ＝Ｗ×β／３６０
ｖ＝Ｈ×α／１８０
によって求めることができる。

一方、円筒型のパノラマ映像の場合、注視領域要求部２３０は、図３に示すように高さｈ、角度βにより視聴位置を配信サーバ１０に指定する。

これを受けて、注視領域制御部１６０は、図３に示す高さｈ、角度βから、重心の近い高解像度のビューを特定する。なお、該当する高解像度のビューは複数あってもよい。加えて、パノラマ映像全体を含む低解像度の各ビューを特定し、映像／音声情報保存部１４は、これらのビューを送信部１５からクライアント端末２０に対して送信する。

そして、映像／音声再生部２６０は、相互の座標変換を行うことにより、低解像度および高解像度のビューから全天周映像を生成して再生する。これによって、円筒型のパノラマ映像を視聴することが可能となる。相互の座標変換については、図７に示すように、以下のように行う。図７は、円筒型のパノラマ映像における座標変換の例を示す説明図である。

円筒型のパノラマ映像の高さｈ（最大値：Ｈ）と、最高解像度のオリジナルのパノラマ映像の高さｈ（最大値：Ｈ）は一致する。しかし、複数解像度の概念から、他のある解像度のパノラマ映像では、オリジナルのパノラマ映像と比較して縮小されているため、他のある解像度のパノラマ映像高さｈ２は、円筒型のパノラマ映像の高さｈとしてそのままでは使用できない。

そこで、ある解像度のパノラマ映像高さｈ２として、最大値をＨ２としたとき、
円筒型のパノラマ映像の高さｈは以下で表現される。
ｈ＝ｈ２×Ｈ／Ｈ２

逆に、円筒型のパノラマ映像の高さｈから、ある解像度のパノラマ映像の高さｈ２を求める場合は、
ｈ２＝ｈ×Ｈ２／Ｈ
と変換する必要がある。

同様に、横方向についても
β＝３６０×ｕ／Ｗ２
によって表現できるため、
ｕ＝Ｗ２×β／３６０
と変換すればよい。

なお、視聴のとき、ユーザの視野角が狭い（映像を拡大して見る視野角のケース）ときはより高解像度のパノラマ映像のビューが採用され、視野角が広い（映像を引いた状態で見る視野角のケース）ときは、より低解像度のパノラマ映像のビューが採用されることになる。また、具体的な解像度の指定は、例えば、解像度１ならβ＋１０００、解像度２ならβ＋２０００といったようにβに含めることも可能である。

＜第２実施形態＞
次に、図面を参照して、本発明の第２実施形態による映像配信装置及び映像再生装置を説明する。第２実施形態では、図４に示すように、ビューの横サイズ分をパノラマ映像に追加する。複数解像度を考慮した場合でも、ビューの横サイズがＶｘの場合は、ある解像度のパノラマ映像の横方向に付与する必要がある映像のサイズは、Ｖｘ画素分となる。

これは、図２に示すように角度α、βで示される視聴位置から、重心の近いビューを特定するが、どの解像度においても、β＝０度もしくはβ＝３６０度近傍（ある解像度のパノラマ映像の左端や右端周辺）が視聴位置として指定された場合を考慮すると、図４の上のような映像が欠けるビューを生成しないためには、最大でビューの横サイズ分の映像が必要となるためである。

なお、最低解像度のパノラマ映像は全ての全天周映像の正距円筒図法によるパノラマ映像、もしくは円筒型のパノラマ映像のすべての情報が含まれているため、図４のような横方向への映像は必要ない。これは、円筒型のパノラマ映像でも同様である。

そのうえで、図４に示す処理まで完了した各解像度のパノラマ映像を、図８のように、あるサイズの重なりをもつビューに分割し、これらの各ビューの映像をＨ．２６４／ＭＶＣ等で符号化／多重化する。この処理は、図１に示す映像／音声符号化部１２０が行う。

一方、クライアント端末２０側では、全天周映像の場合は、図２に示すように角度α、βにより視聴位置を配信サーバ１０に対して指定する。この処理は、図１に示す注視領域要求部２３０が行う。

図１に示す注視領域制御部１６０は、図２における角度α、βから、重心の近い高解像度のビューを特定する。なお、該当する高解像度のビューは複数あってもよい。加えて、パノラマ映像全体を含む低解像度の各ビューを特定し、これらのビューを送信部１５から送出する。

さらに、図１に示す映像／音声再生部２６０において、相互の座標変換については、図６に示すように、低解像度および高解像度のビューから全天周映像を生成することで視聴が可能となる。

同様に、円筒型のパノラマ映像の場合は、図３に示すように高さｈ、角度βにより視聴位置を配信サーバ１０に対して指定する。この処理は、図１の注視領域要求部２３０が行う。

図１に示す注視領域制御部１６０は、図３における高さｈ、角度βから、重心の近い高解像度のビューを特定する。なお、該当する高解像度のビューは複数あってもよい。加えて、パノラマ映像全体を含む低解像度の各ビューを特定し、これらのビューを送信部１５から送出する。

さらに、図１に示す映像／音声再生部２６０において、相互の座標変換については、図７に示すように、低解像度および高解像度のビューから円筒型のパノラマ映像を生成することで視聴が可能となる。なお、円筒型のパノラマ映像の高さｈ（最大値：Ｈ）と、最高解像度のオリジナルのパノラマ映像の高さｈ（最大値：Ｈ）は一致する。しかし、複数解像度の概念から、他のある解像度のパノラマ映像では、オリジナルのパノラマ映像と比較して縮小されているため、他のある解像度のパノラマ映像高さｈ２は、円筒型のパノラマ映像のｈとしてそのままでは使用できない。

そこで、ある解像度のパノラマ映像高さｈ２として、最大値をＨ２としたとき、円筒型のパノラマ映像の高さｈは以下で表現される。
ｈ＝ｈ２×Ｈ／Ｈ２

逆に、円筒型のパノラマ映像の高さｈから、ある解像度のパノラマ映像の高さｈ２を求める場合は、
ｈ２＝ｈ×Ｈ２／Ｈ
と変換する必要がある。

なお、視聴のとき、ユーザの視野角が狭い（映像を拡大して見る視野角のケース）ときはより高解像度のパノラマ映像のビューが採用され、視野角が広い（映像を引いた状態で見る視野角のケース）ときは、より低解像度のパノラマ映像のビューが採用されることとする。また、具体的な解像度の指定は、例えば、解像度１ならβ＋１０００、解像度２ならβ＋２０００といったようにβに含めることも可能である。

なお、展開したパノラマ映像の境界部の連続性を保つために、境界部の外側に付与する映像のサイズは、各解像度における最大の視野角分と、ビューの横サイズ分に限るものではなく、任意のサイズであってもよい。

このように、全天周映像のユーザの視聴領域として、全天周映像の正距円筒図法によるパノラマ映像の各画素とビューの対応表を作成せず、全天周映像の角度α、βの２つのパラメータのみを使用して、正距円筒図法によるパノラマ映像の各ビューの重心に最も近いビューを高解像度のビューとして配信するようにした。また、同時に、全天周映像の正距円筒図法によるパノラマ映像全体を含む低解像度のビューも配信するようにした。また、円筒型パノラマ映像の場合は、高さｈ、角度βの２つのパラメータのみを使用して同様に配信するようにした。この構成により、第１の課題を解決することができる。

また、全天周映像の正距円筒図法によるパノラマ映像、もしくは円筒型のパノラマ映像の境界部に、連続性を保つために所定のサイズの映像を付与し、これを新たな全天周映像の正距円筒図法によるパノラマ映像もしくは円筒形のパノラマ映像として符号化することで、従来の境界部での不連続性を回避するようにした。また、連続性を保つために付与すべき映像のサイズの例として、ユーザの視聴領域の最大の視野角にあわせたサイズが適用できる。また別の例として、ビューの横サイズが適用できる。この構成により、第２の課題を解決することができる。

以上説明したように、全天周映像を、正距円筒図法によりハイビジョン品質を大きく上回るパノラマ映像から生成する際に、インタラクティブ性を考慮して全天周映像全体（低解像度）の映像を配信サーバから全天周映像再生クライアントに配信し、そのうえで、ユーザが注目している部分のみの一部を高解像度で配信する。また、全天周映像に加えて、円筒型のパノラマ映像でもよい。これにより、ユーザが注目している部分を移動させた場合、しばらくは低解像度の映像が表示されるが、後にユーザが注目している部分の高解像度の映像が配信されることで、より鮮明な映像を視聴することができる。また、全天周映像全体を高解像度な映像品質で配信するときの帯域よりも、より少ない帯域で配信が可能となる。

これを実現するため、本実施形態では、全天周映像の正距円筒図法によるパノラマ映像、もしくは円筒型のパノラマ映像に「複数解像度」と「ビュー」の概念を導入し、映像配信の帯域を抑えつつ、インタラクティブな映像視聴を可能とした。さらに、全天周映像の正距円筒図法によるパノラマ映像、もしくは円筒型のパノラマ映像を生成する際に、最大の視野角分、あるいはビューの横サイズ分の映像を、境界部に連続性を持たせて追加することにより、従来のパノラマ映像のビューの概念では解決できなかった全天周映像／円筒型向けのパノラマ映像の適切なビューの選択を可能とした。

この構成によれば、全天周映像もしくは円筒型のパノラマ映像をインタラクティブに視聴する際に、映像を配信するための帯域を抑制しつつ、ユーザが注目する部分の解像度（映像品質）を向上させるインタラクティブ映像視聴が可能となる。さらに、全天周映像の正距円筒図法によるパノラマ映像への変換のみでは、境界部で適切なビューが選択されない問題があったが、正距円筒図法によるパノラマ映像、もしくは円筒型のパノラマ映像への映像の部分的な追加により、適切なビューが選択可能になる。

前述した実施形態における配信サーバ、クライアント端末をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

全天周映像もしくは円筒型のパノラマ映像をインタラクティブに視聴する際に、映像を配信するための帯域を抑制しつつ、視聴者の注目部分の映像品質を向上させるとともに、適切なビュー選択を行うことが不可欠な用途に適用できる。

１０・・・配信サーバ（映像配信装置）、１１・・・映像／音声情報出力部、１２０・・・映像／音声符号化部、１３・・・複数映像位置情報送信部、１４・・・映像／音声情報保存部、１５・・・送信部、１６０・・・注視領域制御部、２０・・・クライアント端末（映像再生装置）、２１・・・複数映像位置情報受信部、２２・・・画面操作制御部、２３０・・・注視領域要求部、２４・・・受信部、２５・・・映像／音声復号化部、２６０・・・映像／音声再生部

Claims (7)

1. 全体映像データのうち指定された一部領域である映像再生領域の映像データを映像再生装置に対して配信する映像配信装置であって、
   前記全体映像データとして、全天周映像を正距円筒図法によって展開したパノラマ映像を扱う際に、展開した前記パノラマ映像の境界部の連続性を保つために、所定のサイズの映像を前記境界部の外側に付与した複数の解像度の全天周映像対応パノラマ映像を生成し、前記映像再生装置からの配信要求に含まれる俯角と方位角と基づいて前記複数の解像度の全天周映像対応パノラマ映像から切り出した前記映像再生領域の前記映像データを配信することを特徴とする映像配信装置。
2. 前記境界部の外側に付与する所定のサイズの映像は、各解像度における最大の視野角分の映像であることを特徴とする請求項１に記載の映像配信装置。
3. 前記境界部の外側に付与する所定のサイズの映像は、ビューの横サイズ分の映像であることを特徴とする請求項１に記載の映像配信装置。
4. 全体映像データのうち指定された一部領域である映像再生領域の映像データを映像再生装置に対して配信する映像配信装置であって、
   前記全体映像データとして、円筒型のパノラマ映像を展開したパノラマ映像を扱う際に、展開した前記パノラマ映像の境界部の連続性を保つために、所定のサイズの映像を前記境界部の外側に付与した複数の解像度の円筒型対応パノラマ映像を生成し、前記映像再生装置からの配信要求に含まれる高さと方位角とに基づいて前記複数の解像度の円筒型対応パノラマ映像から切り出した前記映像再生領域の前記映像データを配信し、
   前記境界部の外側に付与する所定のサイズの映像は、各解像度における最大の視野角分の映像であることを特徴とする映像配信装置。
5. 全体映像データのうち指定された一部領域である映像再生領域の映像データを映像再生装置に対して配信する映像配信装置であって、
   前記全体映像データとして、円筒型のパノラマ映像を展開したパノラマ映像を扱う際に、展開した前記パノラマ映像の境界部の連続性を保つために、所定のサイズの映像を前記境界部の外側に付与した複数の解像度の円筒型対応パノラマ映像を生成し、前記映像再生装置からの配信要求に含まれる高さと方位角とに基づいて前記複数の解像度の円筒型対応パノラマ映像から切り出した前記映像再生領域の前記映像データを配信し、
   前記境界部の外側に付与する所定のサイズの映像は、ビューの横サイズ分の映像であることを特徴とする映像配信装置。
6. 請求項１から３のいずれか１項に記載の映像配信装置から映像データを受信して再生する映像再生装置であって、
   映像再生領域の視野角に合わせて複数の解像度から所定の解像度のパノラマ映像を選択し、前記俯角と前記方位角とで表現される前記パノラマ映像の位置情報から再生すべき前記映像再生領域を選択し、選択した前記映像再生領域の前記映像データの配信を前記映像配信装置に対して要求することを特徴とする映像再生装置。
7. 請求項４又は請求項５に記載の映像配信装置から映像データを受信して再生する映像再生装置であって、
   映像再生領域の視野角に合わせて複数の解像度から所定の解像度のパノラマ映像を選択し、前記高さと前記方位角とで表現される前記パノラマ映像の位置情報から再生すべき前記映像再生領域を選択し、選択した前記映像再生領域の前記映像データの配信を前記映像配信装置に対して要求することを特徴とする映像再生装置。

Images