JP6140099B2 - エンコード方法、エンコード装置及びエンコードプログラム - Google Patents

Description

本発明は、映像をエンコードするエンコード方法、エンコード装置及びエンコードプログラムに関する。

近年、４Ｋ映像、８Ｋ映像、パノラマ映像のような、現在主流であるＨＤ（High Definition）テレビに表示することのできる映像以上の画素を持ったコンテンツが登場している。それらの映像を一般的なＨＤテレビやそれよりも小さな画素数のパネルを持ったスマートフォンやタブレットのような端末で表示しようとした場合、元の高画質な映像を縮小する、一部を切り出して表示するといった、本来の映像ソースが持つ映像の精細さや内容が失われるような映像提示方法が一般的であった。

一方、映像ソースの持つ画素数よりも小さい画素数の端末でも、元の映像の精細さや内容を失うことがない視聴方法として、インタラクティブパノラマのような映像の部分配信技術が登場してきた（例えば、非特許文献１参照）。

Hideaki Kimata, Daisuke Ochi, Akio Kameda, Hajime Noto, Katsuhiko Fukazawa, Akira Kojima,"Mobile and Multi-device Interactive Panorama Video Distribution System," IEEE GCCE 2012, 2012.

この方法では、視聴者がタブレットやスマートフォン、コントローラといったデバイスで選択した位置、画角に応じて最も適切な解像度を持ったタイル領域をデコードして提示することができる。図６は、非特許文献１の矩形映像において、複数のタイル領域をエンコードする方法を示す説明図である。図６に示すように、非特許文献１では、予め映像を複数の解像度（解像度［１］、解像度［２］、・・・、解像度［ｎ］）に分け、さらにそれらの複数解像度映像を予め決められた大きさのタイル領域に区切り、解像度毎に予め決められたビットレートでエンコードしておく。そして、デバイスで選択した位置、画角に応じて最も適切な解像度を持ったタイル領域をデコードして提示する。視聴者は位置・画角の選択をインタラクティブに行うことにより、見る位置や大きさを変更することができる。このため、映像の精細さを失わないだけでなく、映像そのものが持つ内容も失うことがない。

しかしながら、このようなインタラクティブパノラマの技術を含め、一般的な映像撮影用のカメラ、映像のエンコードやデコードに用いられるエンコーダ、デコーダは主に平面的、かつ矩形映像を対象としている。扱う映像が最終的に平面とは異なる形状のオブジェクトにテクスチャマッピングされる場合、例えば、全天周（全天球）や円筒形状のオブジェクトにテクスチャマッピングされるような場合がある。このような場合、映像の撮影自体は、１台以上のカメラを用いて矩形映像をカメラの台数分撮影し、対象のオブジェクト形状にマッピングできるような形に歪める、切り取る、別カメラの映像を貼り合わせる等の処理を施す。その後、エンコーダに入力するためにマッピング先のオブジェクト形状に合った形に平面展開される。

図７は、従来のエンコードの方法を示す説明図である。図７に示すように、例えば、球状に撮影された映像を平面展開する際に、映像を歪める処理を行って映像を矩形にする。続いて、矩形映像を複数解像度化してタイル領域に分けてエンコードする。そして、テクスチャマッピングのために、再度映像を歪める処理を行って、球状に再マッピングされた映像を生成する。

この平面展開の際、矩形映像の解像度全てを有効に活用するため、平面展開された映像を矩形映像にフィットするよう引き伸ばすように歪める方法が一般的である。エンコードされた映像は再度目的のオブジェクト（例えば、球状のオブジェクト）にフィットするよう再度逆に歪ませてテクスチャマッピングされる。ここで、インタラクティブパノラマのように、矩形映像をタイル領域に区切ってエンコードした場合、テクスチャマッピングされる場所によっては、実際にユーザが視聴するタイル領域の面積は様々となる。

このような場合、エンコーダで映像圧縮を行う際、各タイル領域を同じビットレートで圧縮することは、必ずしもすべてのタイル領域が同じ面積で視聴されないため、非常に非効率となる。また、１台以上のカメラを用いて矩形映像をカメラの台数分撮影した映像全てをエンコードし、デコーダ側に配信するという手段も考えられるが、デコーダは通常クライアントに搭載されるのが一般的である。また、クライアントはタブレットやスマートフォンといった処理能力の乏しいデバイスであることが多い。このため、クライアント側に対象のオブジェクト形状にマッピングできるような形に歪める、切り取る、別カメラの映像を貼り合わせる等の負荷のかかる処理を行わせることは現実的ではない。

本発明は、このような事情に鑑みてなされたもので、各タイル領域がどの程度の面積で視聴されるかを算出し、その面積に応じて各タイル領域に割り当てるビットレートを変化させることができるエンコード方法、エンコード装置及びエンコードプログラムを提供することを目的とする。

本発明は、映像をエンコードするエンコード方法であって、矩形以外の形状になるように撮影された映像を矩形になるように変形させる映像変形ステップと、矩形に変形させた前記映像を複数の小領域であるタイル領域に分割するタイル分割ステップと、分割した前記タイル領域のデコード時において、エンコード時とは逆の変形を行う必要がある領域の面積と前記タイル領域全体の面積との第１の割合を求め、該第１の割合を所定のビットレートに乗算することにより該タイル領域のエンコード時に用いるビットレートを算出するビットレート算出ステップと、算出した前記ビットレートを用いて前記タイルをエンコードするエンコードステップとを有することを特徴とする。

本発明は、矩形以外の形状に撮影された前記映像を撮影する際に撮像素子で撮影されたピクセルが前記タイル領域の全体のピクセルに占める第２の割合を算出する撮影ピクセル算出ステップをさらに有し、前記ビットレート算出ステップでは、前記第２の割合をさらに乗算して前記ビットレートを算出することを特徴とする。

本発明は、映像をエンコードするエンコード装置であって、矩形以外の形状になるように撮影された映像を矩形になるように変形させる映像変形手段と、矩形に変形させた前記映像を複数の小領域であるタイル領域に分割するタイル分割手段と、分割した前記タイル領域のデコード時において、エンコード時とは逆の変形を行う必要がある領域の面積と前記タイル領域全体の面積との第１の割合を求め、該第１の割合を所定のビットレートに乗算することにより該タイル領域のエンコード時に用いるビットレートを算出するビットレート算出手段と、算出した前記ビットレートを用いて前記タイルをエンコードするエンコード手段とを備えることを特徴とする。

本発明は、コンピュータに、前記エンコード方法を実行させるためのエンコードプログラム特徴とする。

本発明によれば、各タイル領域がどの程度の面積で視聴されるかを算出し、その面積に応じて各タイル領域に割り当てるビットレートを変化させることができる。このため、無駄なビットレートの割り当てがなくなり、ユーザが視聴する画質・体感品質に応じた効率的なビットレート割り当てが可能になるという効果が得られる。

本発明の第１実施形態のシステム全体の構成を示すブロック図である。 図１に示すシステムを実際の装置で実現した例を示す図である。 図１に示す映像圧縮部３におけるエンコード処理の動作を示す説明図である。 図１に示す映像圧縮部３における第２実施形態によるエンコード処理の動作を示す説明図である。 第３実施形態によるシステムの処理動作を示す説明図である。 非特許文献１の矩形映像の複数タイル領域をエンコードする方法を示す説明図である。 従来のエンコードの方法を示す説明図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態によるエンコード装置を説明する。図１は同実施形態のシステムの全体構成を示すブロック図である。この図において、符号１は、４Ｋ／８Ｋカメラ等を含む一般的なビデオカメラ、パノラマ映像撮影用全天周カメラ・複数台ビデオカメラ等、映像を撮像することが可能なあらゆるデバイスで構成する映像撮影部である。符号２は、映像撮像部１で撮影された映像を保持する領域として使用する映像記憶部である。符号３は、映像をエンコードする映像圧縮部である。ここでは、複数台ビデオカメラで撮影された映像を最終的な映像ソースとするための切り貼りや変形等を含む合成処理、映像ソースの複数解像度化、タイル領域分割を含む。また、本実施形態では各タイル領域に割り当てるビットレートの算出を行う。

符号４は、映像圧縮部３においてエンコードされた圧縮映像を保持する領域として使用する圧縮映像記憶部である。符号５は、要求された映像のタイル領域を配信する映像配信部である。符号６は、情報通信可能なネットワークである。符号７は、映像配信部５に対してネットワーク６を介してタイル領域の映像の配信を要求する映像要求部である。

符号８は、映像配信部からネットワーク６を介して配信されるタイル領域の映像を受信する映像受信部である。符号９は、映像受信部８において受信された映像を予め決められた単位（時間）分揃うまで格納する領域として使用する映像バッファ部である。映像バッファ部９は、映像を扱う上では映像配信部５と映像受信部８間の経路揺らぎ等による映像データ到着にかかる時間の揺らぎを吸収するために用いられる。

符号１０は、映像受信部８から渡されるエンコードされた映像をデコードする映像展開部である。符号１１は、映像展開部１０においてデコードされた映像をユーザが視聴できる形にして描画する映像描画部である。ここでは一般的なモニタや３次元モニタ、プロジェクタ、ＨＭＤ（ヘッドマウントディスプレイ）、スマートフォン、タブレットといった表示デバイスも含む。

符号１２は、ユーザの所望する映像上の位置や画角を入力するユーザ入力部である。ユーザ入力部１２は、例えば、コントローラ、マウス、キーボード、スマートフォンやタブレットのタッチインタフェース、といった入力デバイスだけでなく、方位センサ、加速度センサなどのセンサからの入力等も含む。映像要求部７は、ユーザ入力部１２からの入力に応じて必要となるタイル領域の配信を映像配信部５に対して要求する。

次に、図２を参照して、図１に示すシステムを実際の装置で実現した例について説明する。図２は、図１に示すシステムを実際の装置で実現した例を示す図である。まず映像撮影部１は、全天周カメラで構成する。映像記憶部２は、ストレージで構成する。映像圧縮部３は、エンコードＰＣ（パソコン）で構成する。圧縮映像記憶部４と映像配信部５は、配信サーバで構成する。ネットワーク６はインターネットを用いる。

映像要求部７、映像受信部８、映像バッファ部９及び映像展開部１０は、ＨＭＤ（ヘッドマウントディスプレイ）が、接続されたクライアントＰＣで構成する。映像要求部７、映像受信部８、映像展開部１０は、クライアントＰＣ上のアプリケーションで実現する。映像バッファ部９は、クライアントＰＣ搭載のメモリで実現する。

映像描画部１１とユーザ入力部１２は、ヘッドマウントディスプレイで構成する。映像描画部１１は、ヘッドマウントディスプレイ搭載のディスプレイで実現する。ユーザ入力部１２は、ヘッドマウントディスプレイ搭載のジャイロで実現する。

なお、システムの形態としては、各役割がそれぞれ別の物理システム上で動いていてもかまわないし、複数の役割が同一のシステム内で動いていてもかまわない。また、それぞれの役割の間は有線・無線にかかわらず、ネットワークで接続されていることや同じシステム内のバスで接続されているなど、形態は問わない。

次に、図３を参照して、図１に示す映像圧縮部３におけるエンコード処理の動作を説明する。図３は、図１に示す映像圧縮部３におけるエンコード処理の動作を示す説明図である。図３左は、映像を矩形にするため歪められた（変形した）後の映像であり、エンコードする映像の一解像度を例示するものである。

図３右は、エンコードするタイル領域の一つを例示するものである。このタイル領域中、エンコード後、再度歪められて（変形して）最終的にマッピングされる部分の面積の合計をＡ、歪められた（変形した）部分（最終的にマッピングされない部分）の面積の合計をＢとする。なお、面積値Ａと面積値Ｂは最終的にマッピングするオブジェクト形状が既知（ここでは球形）であるため、事前に算出可能である。

なお、矩形に歪める（変形する）方法は、例えば、全天周が撮影可能な一般的なカメラ製品（例：ＰｏｉｎｔＧｒｅｙ社Ｌａｄｙｂｕｇ）で用いられている方法（http://www.ptgrey.com/support/downloads/documents/TAN2008010_Overview_Ladybug_Image_Stitching.pdf）のような公知技術を用いるとよい。

映像圧縮部３は、矩形に歪められた（変形した）各タイル領域に割り当てるビットレートを（１）式を用いて算出する。そして、映像圧縮部３は、算出したビットレートを使用してタイルをエンコードする。

各タイル領域について、最終的に対象のオブジェクト形状にテクスチャマッピングされると面積が変化し、従来の技術では割り当てられたビットレートが異なってしまう。しかし、本実施形態による方法によれば、どのタイル領域も同じビットレートでのエンコードが可能となり、小さい面積なのに高いビットレートが割り当てられるといった無駄がなくなる。

また、均一のビットレートの割り当てが可能となるため、同じ映像内の異なるタイル領域での映像の見えが異なることがなくなり、違和感のない画作り、ひいてはユーザの体感品質向上が可能となる。さらに、無駄なビットレートでのエンコードがなくなるため、エンコード時間の短縮、エンコードにかかわる計算機リソース（ＣＰＵやメモリ利用率）の節約、また出来上がった映像の容量、配信時のネットワークリソース（ネットワーク帯域やネットワーク経路にあるネットワーク機器のリソース等）の節約にもなる。

＜第２実施形態＞
次に、本発明の第２実施形態によるエンコード装置を説明する。第２実施形態のおけるシステム構成は、図１に示すシステム構成と同じであるため、ここでは詳細な説明を省略する。図４は、図１に示す映像圧縮部３における第２実施形態によるエンコード処理の動作を示す説明図である。図４左は、映像を矩形にするため歪められた（変形した）後の映像であり、エンコードする映像の一解像度を例示するものである。図４右は、エンコードするタイル領域の一つを例示するものである。

第２実施形態においては、第１実施形態の処理に加え、タイル領域において、実際に撮像素子で撮影されたピクセルの割合をＣとし、映像圧縮部３は、矩形に歪められた（変形された）各タイル領域に割り当てるビットレートを（２）式を用いて算出する。そして、映像圧縮部３は、算出したビットレートを使用してタイルをエンコードする。

エンコードのために分割された各矩形領域に、元の矩形形状の映像をカメラで撮像した際、その矩形領域に割り当てられたカメラの受光素子数が分かっていれば、その矩形領域が含む実際に受光素子で撮影されたピクセル数の割合が分かる。その割合をビットレート割り当てを利用し、多くの割合で受光素子で撮影されたピクセル数が含まれる矩形領域はビットレートを高く、少ない割合で受光素子で撮影されたピクセル数が含まれる矩形領域はビットレートを低くする。このようにすることにより、元々撮影されていた素材の解像度・精細感を最大限に活かし、体感品質の高いビットレート割り当てを実現することが可能となる。

＜第３実施形態＞
次に、本発明の第３実施形態によるエンコード装置を説明する。第３実施形態のおけるシステム構成は、図１に示すシステム構成と同じであるため、ここでは詳細な説明を省略する。第３実施形態では、ユーザの端末に許容されるネットワーク帯域に応じて、ユーザの選択したタイル領域周辺（別解像度も含む）のタイル領域も併せて映像受信部８側に送信する。

図５は、第３実施形態によるシステムの処理動作を示す説明図である。各タイル領域は５００ｋｂｐｓでエンコードされており、ユーザＡの端末は３Ｍｂｐｓ、ユーザＢの端末は５．５Ｍｂｐｓのネットワーク帯域が確保されているものとする。また、解像度は３段階（解像度［１］〜［３］）あるものとする。

ユーザＢの方が確保できるネットワーク帯域が大きいため、総じて多くのタイルを送信することが可能となる。なお、許容されるネットワーク帯域はユーザ自身が入力してもかまわないし、システムが自動で計測して設定してもかまわない。

また、周辺タイル領域の選択アルゴリズムは、すべて同一解像度の周辺タイル領域を選ぶ、上下左右の周辺タイルを選んだ後に前後の解像度からユーザの選択したタイル領域を含むタイル領域を選ぶ等、ユーザまたはシステム設計者が自由に設計できるものとする。また、送付するタイル領域を決定するのは、映像配信部５または映像要求部７どちらでもよい。

ユーザが視聴するタイル領域に加え、その周辺や近傍のタイル領域、現在見ている画質の上下の解像度のタイル領域等も併せてデコード手段に引き渡すことが可能となる。このため、ユーザが視聴タイル領域をインタラクティブに動かした際、周辺のタイル領域をすぐに提示できることでユーザの体感品質が向上するといった効果が期待できる。

なお、前述した説明においては隣り合う各タイル領域は重複領域（互いに重なり合う部分）を持たない例で説明したが、決められた量だけ重複領域を持っていてもよい。また、前述した説明においては、球へのテクスチャマッピングの例を説明したが、円筒形状や立方体形状など、マッピングするオブジェクト形状は問わない。また、映像の平面展開形状についても今回例示した限りではない。

以上説明したように、扱う映像が最終的に平面とは異なる形状のオブジェクトにテクスチャマッピングされる場合、最終的に各タイル領域がユーザの視聴する仮想視聴視点からどの程度の大きさ（面積）で視聴されるかを映像エンコード時に算出し、その面積に応じて各タイル領域に割り当てるビットレートを変化させるようにした。

この構成により、これまでのようなテクスチャマッピング時に視聴面積が小さくなるにも関わらず均一ビットレートを割り当てるといった、無駄なビットレートの割り当てがなくなり、ユーザが視聴する画質・体感品質に応じた効率的なビットレート割り当てが可能となる。また、映像のエンコード時間の短縮、エンコードに際しての計算機リソース、映像保存領域、また、映像配信を行う場合は、ネットワークリソース（帯域等）の節約にもなる。

また、予め許容される総ビットレートが決まっているような環境においては、ユーザが視聴するタイル領域に加え、その周辺や近傍のタイル領域、現在見ている画質の上下の解像度のタイル領域等も併せてデコード手段に引き渡すことが可能となる。このため、ユーザが視聴タイル領域をインタラクティブに動かした際、周辺のタイル領域をすぐに提示できることでユーザの体感品質が向上するといった副次的な効果も期待できる。

また、あらかじめ許容される総ビットレートを値の小さいものから大きいものまで複数想定しておき、圧縮映像記憶部に同じコンテンツをビットレート違いで複数セット保存しておくことで、ユーザクライアントまでのネットワーク帯域に応じて、ユーザ自身がどのセットを視聴するか選ぶ、または自動的にネットワーク帯域の大きさを映像配信部が判定してユーザクライアントに適切なビットレートのコンテンツセットからタイル領域を配信することで、ユーザは自身の環境に応じて、最大限の画質でコンテンツを視聴可能となる。

さらに、先に記述したエンコードのために分割された各矩形領域に、元の矩形形状の映像をカメラで撮像した際、その矩形領域に割り当てられたカメラの受光素子数が分かっていれば、その矩形領域が含む実際に受光素子で撮影されたピクセル数の割合が分かる。その割合をビットレート割り当てに利用し、多くの割合で受光素子で撮影されたピクセル数が含まれる矩形領域はビットレートを高く、少ない割合で受光素子で撮影されたピクセル数が含まれる矩形領域はビットレートを低くする。これにより、元々撮影されていた素材の解像度・精細感を最大限に活かし体感品質の高いビットレート割り当てを実現することが可能となる。

前述した実施形態におけるエンコード装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

各タイル領域がどの程度の面積で視聴されるかを算出し、その面積に応じて各タイル領域に割り当てるビットレートを変化させることが不可欠な用途にも適用できる。

１・・・映像撮影部、２・・・映像記憶部、３・・・映像圧縮部、４・・・圧縮映像記憶部、５・・・映像配信部、６・・・ネットワーク、７・・・映像要求部、８・・・映像受信部、９・・・映像バッファ部、１０・・・映像展開部、１１・・・映像描画部、１２・・・ユーザ入力部

Claims (4)

1. 映像をエンコードするエンコード方法であって、
   矩形以外の形状になるように撮影された映像を矩形になるように変形させる映像変形ステップと、
   矩形に変形させた前記映像を複数の小領域であるタイル領域に分割するタイル分割ステップと、
   分割した前記タイル領域のデコード時において、エンコード時とは逆の変形を行う必要がある領域の面積と前記タイル領域全体の面積との第１の割合を求め、該第１の割合を所定のビットレートに乗算することにより該タイル領域のエンコード時に用いるビットレートを算出するビットレート算出ステップと、
   算出した前記ビットレートを用いて前記タイルをエンコードするエンコードステップと
   を有することを特徴とするエンコード方法。
2. 矩形以外の形状に撮影された前記映像を撮影する際に撮像素子で撮影されたピクセルが前記タイル領域の全体のピクセルに占める第２の割合を算出する撮影ピクセル算出ステップをさらに有し、
   前記ビットレート算出ステップでは、前記第２の割合をさらに乗算して前記ビットレートを算出することを特徴とする請求項１に記載のエンコード方法。
3. 映像をエンコードするエンコード装置であって、
   矩形以外の形状になるように撮影された映像を矩形になるように変形させる映像変形手段と、
   矩形に変形させた前記映像を複数の小領域であるタイル領域に分割するタイル分割手段と、
   分割した前記タイル領域のデコード時において、エンコード時とは逆の変形を行う必要がある領域の面積と前記タイル領域全体の面積との第１の割合を求め、該第１の割合を所定のビットレートに乗算することにより該タイル領域のエンコード時に用いるビットレートを算出するビットレート算出手段と、
   算出した前記ビットレートを用いて前記タイルをエンコードするエンコード手段と
   を備えることを特徴とするエンコード装置。
4. コンピュータに、請求項１または２に記載のエンコード方法を実行させるためのエンコードプログラム。

Images