JP6305279B2 - 映像圧縮装置および映像再生装置 - Google Patents

Description

実施形態は、映像圧縮および映像再生に関する。

近年、Ｗｅｂページに配信する映像の画質をネットワーク（例えば、インターネット）の帯域に応じて変化させることによって当該映像を途切れなく再生する、アダプティブストリーミング技術が開発されている。一般的に、インターネットの帯域（接続速度）は、ユーザ数、周辺環境などの種々の要因により不定期に変動するが、当該帯域を予測し、利用可能な帯域に見合ったビットストリームを適応的に選択して配信することで、画質劣化を抑制しながら映像を安定的に再生することが可能となる。

アダプティブストリーミング技術は、ダイナミック型およびスタティック型に大別される。ダイナミック型のアダプティブストリーミング技術によれば、映像サーバは、映像クライアントからの要求に応じて、配信用のビットストリームを適応的に生成する。ダイナミック型のアダプティブストリーミング技術は、１対１の映像配信に好適であるが、映像サーバは要求に応じてリアルタイムに映像を圧縮する必要がある。他方、スタティック型のアダプティブストリーミング技術によれば、映像クライアントは、映像サーバに準備されている複数のビットストリームから配信用のビットストリームを、帯域予測によって導出された利用可能な帯域に基づいて適応的に選択して要求する。スタティック型のアダプティブストリーミング技術は、１対多の映像配信に好適であるが、映像サーバはビットレートの異なる複数のビットストリームを予め準備する必要がある。

通常、ユーザの映像に対する注目度は画面内で一様ではない。従って、映像配信において、例えばＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）などの特定領域の画質を他の領域に比べて優先的に高めることは、表示映像の主観画質を効率的に向上させる観点から有用である。しかしながら、従来のスタティック型のアダプティブストリーミング技術において係る局所的な画質制御を実現するためには、映像サーバにおいて相当数のビットストリームを準備する必要がある。特に、上記特定領域を任意に選択できるようにする場合には、ビットストリームの総数は膨大になるおそれがある。ビットストリームの総数が増加するほど、必要な圧縮装置の数、ストレージの容量などが増加するので、映像サーバのコストは増加することになる。

特開２０１３−２２９８０６号公報 特開２００７−２３５３１４号公報

実施形態は、スタティック型のアダプティブストリーミング技術において局所的な画質制御を実現することを目的とする。

実施形態によれば、映像圧縮装置は、第１の圧縮部と、第２の圧縮部と、分離部と、通信部とを含む。第１の圧縮部は、第１の映像を圧縮することによって第１のビットストリームを生成する。第２の圧縮部は、第２の映像に複数の領域を設定し、当該複数の領域の各々が独立して復号可能であるように当該第２の映像を当該領域毎に圧縮することによって、第２のビットストリームを得る。分離部は、第２のビットストリームを領域単位で分離することによって、分離された第２のビットストリームを得る。通信部は、領域の一部または全部である特定領域を示す領域情報を受信し、分離された第２のビットストリームから当該特定領域に対応するビットストリームを選択して送信する。

第１の実施形態に係る映像配信システムを例示するブロック図。 第１の実施形態に係る映像圧縮装置を例示するブロック図。 映像符号化方式の説明図。 スライスの説明図。 タイルの説明図。 図２の映像圧縮装置において生成される第１のビットストリームを例示する図。 図２の映像圧縮装置において生成される分離された第１のビットストリームを例示する図。 第１の実施形態に係る映像再生装置を例示するブロック図。 スタティック型のアダプティブストリーミング技術に付随する帯域予測の説明図。 図８の映像再生装置によって受信される第１のビットストリームを例示する図。 図８の映像再生装置によって受信される第２のビットストリームを例示する図。 結合ビットストリームを例示する図。 第１の実施形態に係る映像配信システムの動作の説明図。 図２の映像圧縮装置によって行われる映像圧縮処理を例示するフローチャート。 図２の映像圧縮装置によって行われる映像配信処理を例示するフローチャート。 図８の映像再生装置によって行われる映像要求処理を例示するフローチャート。 図８の映像再生装置によって行われる映像再生処理を例示するフローチャート。 図１の表示装置によって行われるユーザ要求作成処理を例示するフローチャート。 第２の実施形態に係る映像圧縮装置を例示するブロック図。 第２の実施形態に係る映像再生装置を例示するブロック図。 図２０の映像再生装置によって生成される結合ビットストリームを例示する図。 図２１の変形例を示す図。 第２の実施形態に係る映像配信システムの動作の説明図。 図１９の映像圧縮装置によって行われる映像圧縮処理を例示するフローチャート。 図２０の映像再生装置によって行われる映像再生処理を例示するフローチャート。 第３の実施形態に係る映像圧縮装置を例示するブロック図。 第３の実施形態に係る映像再生装置を例示するブロック図。 入力Ｉ／Ｆに対する入力座標情報に基づいてユーザ要求領域を特定する処理の説明図。 入力Ｉ／Ｆに対する入力座標情報に基づいてユーザ要求領域を特定する処理の説明図。 入力Ｉ／Ｆに対する入力座標情報に基づいてユーザ要求領域を特定する処理の説明図。

以下、図面を参照しながら実施形態の説明が述べられる。
なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。また、「映像」という用語は、「画像」、「画素」、「画像信号」、「絵」、「画像データ」などという用語として適宜読み替えられてよい。さらに、「圧縮」という用語は、「符号化」という用語として適宜読み替えられてもよい。

（第１の実施形態）
図１に例示されるように、第１の実施形態に係る映像配信システム１００は、撮像装置１１０と、映像圧縮装置２００と、チャネル１２０と、映像再生装置３００と、表示装置１３０とを含む。

撮像装置１１０は、第１の映像１１および第２の映像１２を生成する。なお、第１の映像１１および第２の映像１２は、同一の映像であってもよいし、異なる映像であってもよい。撮像装置１１０は、第１の映像１１および第２の映像１２を映像圧縮装置２００へと出力する。撮像装置１１０は、典型的には、カメラまたはイメージセンサに相当し、被写体を光学的に撮影することによって（自然）映像としての静止画像または動画像を生成する。しかしながら、撮像装置１１０は、ビデオゲームなどで用いられるコンピュータグラフィクス（ＣＧ）映像または当該ＣＧ映像と自然映像との合成映像を生成する任意の映像生成装置に置き換えられてもよい。或いは、撮像装置１１０は、図示されない他の撮像装置または映像生成装置によって生成された映像を保存するビデオストレージに置き換えられてもよい。

図１に示されるように、撮像装置１１０は、メモリ１１１と、イメージセンサ１１２と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１３と、出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１１４と、通信部１１５を含む。

メモリ１１１には、ＣＰＵ１１３によって実行されるプログラム、通信部１１５によってやり取りされるデータなどが一時的に保存される。イメージセンサ１１２は、被写体を光学的に撮影することによって映像信号を生成する。

ＣＰＵ１１３は、プログラムを実行することによって、種々の機能部として動作する。具体的には、ＣＰＵ１１３は、イメージセンサ１１２によって生成された映像信号をディジタルフォーマットへと変換したり、デモザイキング処理を行ったりする。出力Ｉ／Ｆ１１４は、例えば映像圧縮装置２００などの外部装置へと映像を出力する。通信部１１５は、外部装置とデータをやり取りする。

なお、図１に示される撮像装置１１０の各要素は適宜削除することは可能であるし、図示されない要素を適宜付加することも可能である。例えば、通信部１１５が映像圧縮装置２００へ映像を送信するのであれば、出力Ｉ／Ｆ１１４を削除してもよい。他方、映像を撮像装置１１０の内部に保存する必要がある場合には、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などのストレージを付加してもよい。

映像圧縮装置２００は、第１の映像１１および第２の映像１２を撮像装置１１０から受け取る。映像圧縮装置２００は、第１の映像１１および第２の映像１２に後述される複数の領域をそれぞれ設定し、当該第１の映像１１および第２の映像１２をそれぞれ圧縮することによって、第１のビットストリーム１３および第２のビットストリーム１４を得る。なお、映像圧縮装置２００は、設定した複数の領域の各々が独立して復号可能であるように、第１の映像１１および第２の映像１２をそれぞれ圧縮する。各領域が独立して復号可能であることとは、ある領域の圧縮データが他のいかなる領域の圧縮データも必要とせずに復号できることを意味する。映像圧縮装置２００は、第１のビットストリーム１３および第２のビットストリーム１４を上記領域単位で分離することによって、分離された第１のビットストリーム１５−１および分離された第２のビットストリーム１５−２を得る。映像圧縮装置２００は、分離された第１のビットストリーム１５−１および分離された第２のビットストリーム１５−２を保存しておく。

映像圧縮装置２００は、チャネル１２０を介して、ビットストリーム送信要求および後述される領域情報を映像再生装置３００から受信すると、当該領域情報に対応するビットストリームを前述の分離された第１のビットストリーム１５−１および分離された第２のビットストリーム１５−２から選択する。それから、映像圧縮装置２００は、チャネル１２０を介して、選択したビットストリームを映像再生装置３００へと送信する。

図１に示されるように、映像圧縮装置２００は、メモリ２１１と、ＣＰＵ２１２と、入出力Ｉ／Ｆ２１３と、通信部２１４を含む。

メモリ２１１には、ＣＰＵ２１２によって実行されるプログラム、通信部２１４によってやり取りされるデータなどが一時的に保存される。ＣＰＵ２１２は、プログラムを実行することによって、種々の機能部として動作する。具体的には、ＣＰＵ２１２は、例えば後述される映像圧縮処理および映像配信処理を行ってもよい。

入出力Ｉ／Ｆ２１３は、例えば撮像装置１１０などの外部装置から映像を入力したり、映像再生装置３００などの外部装置へとビットストリームを出力したりする。通信部２１４は、外部装置とデータをやり取りする。

なお、図１に示される映像圧縮装置２００の各要素は適宜削除することは可能であるし、図示されない要素を適宜付加することも可能である。例えば、通信部２１４が撮像装置１１０から映像を受信したり、映像再生装置３００へビットストリームを送信したりするのであれば、入出力Ｉ／Ｆ２１３を削除してもよい。他方、映像またはビットストリームを映像圧縮装置２００の内部に保存するために、ＨＤＤまたはＳＳＤなどのストレージを付加してもよい。

なお、映像圧縮装置２００は、適宜機能分割することが可能である。例えば、映像圧縮装置２００は前述の機能の一部（映像圧縮機能）を担当し、当該映像圧縮装置とは別体の映像配信装置が前述の機能の残部（映像配信機能）を担当してもよい。

チャネル１２０は、映像圧縮装置２００および映像再生装置３００の間を接続するネットワークである。チャネル１２０は、情報伝送に利用可能な様々な通信資源を意味する。チャネル１２０は、有線チャネルであってもよいし、無線チャネルであってもよいし、両者の混合チャネルであってもよい。チャネル１２０は、例えば、インターネット網、地上放送網、衛星放送網などであってよい。また、チャネル１２０は、例えば、ケーブルを用いた通信、電波通信、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）、３Ｇ（３^ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、４Ｇ（４^ｔｈ Ｇｅｎｅｒａｔｉｏｎ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ミリ波通信、レーダ通信などの種々の通信向けのチャネルであってもよい。

映像再生装置３００は、チャネル１２０を介して、ビットストリーム送信要求および領域情報を映像圧縮装置２００へと送信する。そして、映像再生装置３００は、チャネル１２０を介して、上記ビットストリーム送信要求および領域情報に応じたビットストリーム（第１のビットストリーム３３−１および第２のビットストリーム３３−２の少なくとも一方）を受信する。このビットストリームは、映像圧縮装置２００によって領域単位で分離されており、映像再生装置３００は当該ビットストリームを結合することによって結合ビットストリーム３４を得る。映像再生装置３００は、結合ビットストリーム３４を復号することによって、復号映像３５を得る。映像再生装置３００は、復号映像３５を表示装置１３０へと出力する。

図１に示されるように、映像再生装置３００は、メモリ３１１と、ＣＰＵ３１２と、入出力Ｉ／Ｆ３１３と、通信部３１４を含む。

メモリ３１１には、ＣＰＵ３１２によって実行されるプログラム、通信部３１４によってやり取りされるデータなどが一時的に保存される。ＣＰＵ３１２は、プログラムを実行することによって、種々の機能部として動作する。具体的には、ＣＰＵ３１２は、例えば後述される映像要求処理および映像再生処理を行ってもよい。

入出力Ｉ／Ｆ３１３は、例えば映像圧縮装置２００などの外部装置からビットストリームを入力したり、表示装置１３０などの外部装置へと復号映像を出力したりする。通信部３１４は、外部装置とデータをやり取りする。

なお、図１に示される映像再生装置３００の各要素は適宜削除することは可能であるし、図示されない要素を適宜付加することも可能である。例えば、通信部３１４が映像圧縮装置２００からビットストリームを受信したり、表示装置１３０へ復号映像を送信したりするのであれば、入出力Ｉ／Ｆ３１３を削除してもよい。他方、ビットストリームまたは復号映像を映像再生装置３００の内部に保存するために、ＨＤＤまたはＳＳＤなどのストレージを付加してもよい。

表示装置１３０は、映像再生装置から復号映像３５を受け取り、当該復号映像３５を表示する。表示装置１３０は、典型的には、ディスプレイ、テレビ受像機またはビデオモニタに相当する。なお、表示装置１３０は、映像表示機能に加えて入力Ｉ／Ｆ機能を持つ、タッチパネルなどであってもよい。

図１に示されるように、表示装置１３０は、メモリ１３１と、ディスプレイ１３２と、ＣＰＵ１３３と、入力Ｉ／Ｆ１３４と、通信部１３５とを含む。

メモリ１３１には、ＣＰＵ１３３によって実行されるプログラム、通信部１３５によってやり取りされるデータなどが一時的に保存される。ディスプレイ１３２は映像を表示する。

ＣＰＵ１３３は、プログラムを実行することによって、種々の機能部として動作する。具体的には、ＣＰＵ１３３は、表示装置１３０から受け取った復号映像３５を拡大または縮小する。

入力Ｉ／Ｆ１３４は、ユーザが例えば映像再生装置３００に対するユーザ要求３２を入力するためのインターフェースである。入力Ｉ／Ｆ１３４は、例えば、マウス、タッチパッド、タッチパネル、タッチペンなどであってよい。通信部１３５は、外部装置とデータをやり取りする。

なお、図１に示される表示装置１３０の各要素は適宜削除することは可能であるし、図示されない要素を適宜付加することも可能である。例えば、復号映像３５を表示装置１３０の内部に保存する必要がある場合には、ＨＤＤまたはＳＳＤなどのストレージを付加してもよい。

図２に例示されるように、映像圧縮装置２００は、第１の圧縮部２０１と、第２の圧縮部２０２と、分離部２０３と、記憶部２０４と、通信部２０５とを含む。

第１の圧縮部２０１は、撮像装置１１０から第１の映像１１を受け取る。第１の圧縮部２０１は、第１の映像１１に複数の領域を設定する。そして、第１の圧縮部２０１は、設定した複数の領域の各々が独立して復号可能であるように、第１の映像１１を領域毎に圧縮することによって第１のビットストリーム１３を得る。第１の圧縮部２０１は、第１のビットストリーム１３を分離部２０３へと出力する。

以降の説明において、圧縮映像データはビットストリームの形式で取り扱われ、「ビットストリーム」の用語は基本的には圧縮映像データを指す。なお、圧縮音声データ、映像に関する情報、再生方式に関する情報、チャネルに関する情報、多重化方式に関する情報などがビットストリームの形式で取り扱われてもよい。

ビットストリームは、マルチメディアコンテナに格納されてもよい。マルチメディアコンテナとは、映像、音声などの圧縮データ（すなわち、ビットストリーム）を格納するためのファイルフォーマットである。マルチメディアコンテナは、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−２ Ｓｙｓｔｅｍ、ＭＰ４（ＭＰＥＧ−４ Ｐａｒｔ １４）、ＭＰＥＧ−ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）、ＡＳＦ（Ａｄｖａｎｃｅｄ Ｓｙｓｔｅｍｓ Ｆｏｒｍａｔ）などにおいて規定されているものでよい。また、圧縮データは複数のビットストリームまたはセグメントを含むが、セグメント毎に１つのファイルを作成してもよいし、複数のセグメント毎に１つのファイルを作成してもよい。

第２の圧縮部２０２は、撮像装置１１０から第２の映像１２を受け取る。第２の圧縮部２０２は、第２の映像１２に複数の領域を設定する。そして、第２の圧縮部２０２は、設定した複数の領域の各々が独立して復号可能であるように、第２の映像１２を領域毎に圧縮することによって第２のビットストリーム１４を得る。第２の圧縮部２０２は、第２のビットストリーム１４を分離部２０３へと出力する。

なお、第１のビットストリーム１３および第２のビットストリーム１４は、ビットレートにおいて異なる。例えば、第１のビットストリーム１３のビットレートは１Ｍｂｐｓであり、第２のビットストリーム１４のビットレートは５Ｍｂｐｓである。ここで、第１の映像１１および第２の映像１２が同一であるならば、第２のビットストリーム１４の復号映像は、第１のビットストリーム１３の復号映像に比べて通常は高画質となる。

第１の圧縮部２０１が第１の映像１１に含まれる第１のピクチャに設定する領域の第１の分割法、ならびに、第２の圧縮部２０２が第２の映像１２に含まれる第２のピクチャ（例えば、第１のピクチャと同一時刻のピクチャ）に設定する領域の第２の分割法は、共通であることが好ましい。

第１の分割法は第１の映像１１の中で固定であってもよいし可変であってもよい。同様に、第２の分割法は第２の映像１２の中で固定であってもよいし可変であってもよい。例えば、第１の分割法および第２の分割法は、第１の映像１１および第２の映像１２の映像フォーマット（例えば、サイズ、フレームレートなど）に応じてそれぞれ変更されてよい。第１の分割法および第２の分割法は、ユーザの設定に従って決定されてもよいし、例えばシステムのリソースなどに応じて自動的に変更されてもよい。

なお、スタティック型のアダプティブストリーミングでは、配信用のビットストリームを特定のランダムアクセスポイントにおいて切り替え可能である。故に、第１の分割法および第２の分割法は、好ましくは、隣接するランダムアクセスポイント間に位置するピクチャ（すなわち、セグメントの途中）では変更されない。換言すれば、第１の分割法および第２の分割法は、好ましくは、ランダムアクセスポイントに位置するピクチャにおいて変更される。

第１の圧縮部２０１および第２の圧縮部２０２がサポートする映像符号化方式（コーデック）は特に限定されないが、典型的なコーデックでは、図３に例示されるように符号化対象画像２１が所定のブロック単位で符号化される。図３の例では、符号化対象ブロック２３は、ラスタスキャン順で決定される。故に、符号化対象ブロック２３よりも上側の列に位置するブロックおよび符号化対象ブロック２３と同列かつ左側に位置するブロックが、符号化済み領域２２に相当する。

前述のように、第１の圧縮部２０１は、設定した複数の領域の各々が独立して復号可能であるように第１の映像１１を領域毎に圧縮し、第２の圧縮部２０２は、設定した複数の領域の各々が独立して復号可能であるように第２の映像１２を領域毎に圧縮する。

領域は、図４に例示されるスライス２４に相当してもよい。スライスは、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ）とＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）との共同で勧告された、ＩＴＵ−Ｔ ＲＥＣ． Ｈ．２６４およびＩＳＯ／ＩＥＣ １４４９６−１０（以下、単に「Ｈ．２６４」と称する）において規定されている。任意のスライスは、他のスライスから影響を受けないので、独立に圧縮することができる。そして、任意のスライスは独立して復号可能である。すなわち、任意のスライスのビットストリームと他のスライスのビットストリームとの間に依存関係がないので、他のスライスのビットストリームを必要とせずに任意のスライスを復号することが可能である。

或いは、領域は、図５に例示されるタイル２５に相当してもよい。タイルは、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同で勧告された、ＩＴＵ−Ｔ ＲＥＣ． Ｈ．２６５、及びＩＳＯ／ＩＥＣ ２３００８−２（以下、単に「ＨＥＶＣ」と称する）において規定されている。ＨＥＶＣは、前述のＨ．２６４の符号化効率を大幅に向上させたコーデックであり、前述のスライス分割に加えてタイル分割が利用可能である。タイルは、符号化対象画像を任意の矩形状に分割した領域である。

タイル分割には、２種類の方式が用意されている。第１の方式によれば、符号化対象画像はタイル分割され、各タイルがさらにスライス分割される。第２の方式によれば、符号化対象画像はスライス分割され、各スライスはさらにタイル分割される。タイル分割の方式に関わらず、各タイルまたは各スライスは、独立して復号可能であるようにタイル単位またはスライス単位で圧縮可能である。図５の例によれば、符号化対象画像が４つのタイルへと分割され、各タイルが１つのスライスへと分割されている。図５に示される「０」、「１」、「２」、「３」は、タイルを識別する情報（タイル番号とも呼ばれる）である。以降の説明では、係る分割法が採用されるものとする。

Ｈ．２６４およびＨＥＶＣによれば、圧縮データはＮＡＬ（Ｎｅｔｗｏｒｋ Ａｄｓｔｒａｔｉｏｎ Ｌａｙｅｒ）ユニットと呼ばれるパケット毎にまとめてシステムレイヤで伝送される。システムレイヤでは、データはＮＡＬユニット毎に取り扱われる。そして、（映像再生装置３００に含まれる）デコーダは、所与のＮＡＬユニットのヘッダ情報またはマルチメディアコンテナの情報に基づいて、当該ＮＡＬユニットの内容を大まかに知ることができる。各スライスは、個別のＮＡＬユニットとしてまとめられ、かつ、独立に復号可能である。従って、デコーダは、圧縮映像データとしてのビットストリームを必ずしも全て復号する必要はなく、必要なＮＡＬユニットを抽出して復号すればよい。

分離部２０３は、第１の圧縮部２０１から第１のビットストリーム１３を受け取り、第２の圧縮部２０２から第２のビットストリーム１４を受け取る。分離部２０３は、第１のビットストリーム１３を領域単位で分離し、それぞれ形式を整える（例えば適切なヘッダ情報を付加する）ことで、分離された第１のビットストリーム１５−１を生成する。分離された第１のビットストリーム１５−１は、領域毎のビットストリームを含む。同様に、分離部２０３は、第２のビットストリーム１４を領域単位で分離し、それぞれ形式を整えることによって、分離された第２のビットストリーム１５−２を生成する。分離された第２のビットストリーム１５−２は、領域毎のビットストリームを含む。分離部２０３は、分離ビットストリーム１５（これは、分離された第１のビットストリーム１５−１および分離された第２のビットストリーム１５−２を含む）を記憶部２０４へと出力する。

具体的には、分離部２０３は、図６に例示される第１のビットストリーム１３を領域（タイル）単位で分離し、それぞれ形式を整えることで、図７に例示される分離された第１のビットストリーム１５−１を生成する。第１のビットストリーム１３は、「Ｈｅａｄ」と記載されたヘッダ情報に対応するＮＡＬユニットと、領域（図６の例ではタイル）毎の圧縮映像データに対応するＮＡＬユニットとを含む。ヘッダ情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＶＵＩ（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ）などのピクチャに関するハイレベルのシンタクス情報を含む。

前述のように、各タイルは１つのスライスに分割される。故に、図６の例によれば、第１のビットストリーム１３は、所与の時刻（ｔ）に関連付けられる４つのタイルの圧縮データに対応するＮＡＬユニット（すなわち、Ｔｉｌｅ１−０（ｔ）、Ｔｉｌｅ１−１（ｔ）、Ｔｉｌｅ１−２（ｔ）およびＴｉｌｅ１−３（ｔ））を含む。例えば、フレームレートが６０フレーム／秒である映像に対して１秒毎にランダムアクセスポイントが設定されているならば、各ビットストリームは相異なる時刻に関連付けられる合計６０枚のピクチャの圧縮データを含み、ピクチャ毎に４つのタイルの圧縮データに対応するＮＡＬユニットを含む。

なお、図６の例では、タイルの圧縮データに対応するＮＡＬユニットは、Ｔｉｌｅ１−０（ｔ）、Ｔｉｌｅ１−１（ｔ）、Ｔｉｌｅ１−２（ｔ）およびＴｉｌｅ１−３（ｔ）の順で配列されているが、これらの順序は特に限定されない。各タイルの圧縮データに対応するＮＡＬユニットは時刻およびタイル番号に基づいて一意に識別することができるので、これらがどのような順序で配列されていたとしてもデコーダは所望のＮＡＬユニットを復号できる。

なお、ここでは複数の時刻に１つのＨｅａｄを付ける例を示しているが、時刻毎にＨｅａｄを付けることも可能であるし、Ｔｉｌｅ毎にＨｅａｄを付けることも可能である。

分離された第１のビットストリーム１５−１は、図７の例によれば、タイル０の第１のビットストリーム１５−１−０、タイル１の第１のビットストリーム１５−１−１、タイル２の第１のビットストリーム１５−１−２およびタイル３の第１のビットストリーム１５−１−３を含む。各タイルのビットストリームは、ヘッダ情報（「Ｈｅａｄ」）と、当該タイルの圧縮データに対応するＮＡＬユニットとを含む。

記憶部２０４には、分離ビットストリーム１５が保存される。分離ビットストリーム１５は、通信部２０５によって必要に応じて記憶部２０４から読み出される。記憶部２０４は、例えばＨＤＤ、ＳＳＤ、種々のメモリなどによって実装される。

通信部２０５は、所定の通信プロトコルに従い、外部装置（例えば、映像再生装置３００）とチャネル１２０を介して通信データ１６をやり取りする。通信データ１６は、例えば、記憶部２０４から読み出された配信用のビットストリームであってもよいし、外部装置からのビットストリーム送信要求および領域情報であってもよい。具体的には、通信部２０５は、チャネル１２０を介して、外部装置からのビットストリーム送信要求および領域情報を受信すると、記憶部２０４に記憶されているビットストリームのうち当該領域情報に対応するビットストリームを読み出す。通信部２０５は、チャネル１２０を介して、読み出されたビットストリームを映像再生装置３００へと送信する。

なお、図２の例では、記憶部２０４には、分離ビットストリーム１５が保存される。しかしながら、記憶部２０４には、分離ビットストリーム１５の代わりに第１のビットストリーム１３および第２のビットストリーム１４が保存されてもよい。この場合には、通信部２０５が外部装置からのビットストリーム送信要求および領域情報を受信してから、記憶部２０４から第１のビットストリーム１３および第２のビットストリーム１４が読み出され、分離部２０３が分離ビットストリーム１５を生成する。

図２の映像圧縮装置２００は、図１４に例示されるように映像圧縮処理を行う。図１４の映像圧縮処理は、映像圧縮装置２００が撮像装置１１０から第１の映像１１および第２の映像１２を受け取ることで開始する。

第１の圧縮部２０１および第２の圧縮部２０２は、第１の映像１１および第２の映像１２に対してそれぞれ複数の領域を設定する（ステップＳ１１）。さらに、第１の圧縮部２０１および第２の圧縮部２０２は、第１の映像１１および第２の映像１２に対してそれぞれ目標ビットレートを設定する（ステップＳ１２）。

第１の圧縮部２０１は、ステップＳ１２において設定した目標ビットレートに従い、ステップＳ１１において設定した複数の領域の各々が独立して復号可能であるように、第１の映像１１を圧縮することによって、第１のビットストリーム１３を生成する（ステップＳ１３）。他方、第２の圧縮部２０２は、ステップＳ１２において設定した目標ビットレートに従い、ステップＳ１１において設定した複数の領域の各々が独立して復号可能であるように、第２の映像１２を圧縮することによって、第２のビットストリーム１４を生成する（ステップＳ１４）
分離部２０３は、ステップＳ１３において生成された第１のビットストリーム１３およびステップＳ１４において生成された第２のビットストリーム１４をそれぞれ領域単位で分離し、それぞれ形式を整えることで、分離ビットストリーム１５を生成する（ステップＳ１５）。記憶部２０４には、ステップＳ１５において生成された、分離ビットストリーム１５が保存され（ステップＳ１６）、図１４の映像圧縮処理は終了する。

図２の映像圧縮装置２００は、図１５に例示されるように映像配信処理を行う。
通信部２０５は、チャネル１２０を介して、ビットストリーム送信要求および領域情報を受信する（ステップＳ２１）。通信部２０５は、ステップＳ２１において受信した領域情報に従って、分離された第２のビットストリーム１５−２から当該領域情報の示す特定領域のビットストリームを選択し、分離された第１のビットストリーム１５−１から当該特定領域とは異なる領域のビットストリームを選択する（ステップＳ２２）。

通信部２０５は、チャネル１２０を介して、ステップＳ２２において選択したビットストリームを映像再生装置３００へと送信し（ステップＳ２３）、図１５の映像配信処理は終了する。

図８に例示されるように、映像再生装置３００は、通信部３０１と、ストリーム制御部３０２と、結合部３０３と、第１の復号部３０４とを含む。

通信部３０１は、所定の通信プロトコルに従い、外部装置（例えば、映像圧縮装置２００）とチャネル１２０を介して通信データ３１をやり取りする。通信データ３１は、例えば、ストリーム制御部３０２からのビットストリーム送信要求および領域情報であってもよいし、外部装置からの配信用のビットストリーム（例えば、第１のビットストリーム３３−１および第２のビットストリーム３３−２）であってもよい。具体的には、通信部３０１は、ストリーム制御部３０２からの制御に従って、チャネル１２０を介してビットストリーム送信要求および領域情報を映像圧縮装置２００へと送信する。通信部３０１は、チャネル１２０を介して第１のビットストリーム３３−１および第２のビットストリーム３３−２を受信すると、当該第１のビットストリーム３３−１および第２のビットストリーム３３−２をストリーム制御部３０２へと出力する。

ストリーム制御部３０２は、通信部３０１によって受信されたビットストリームなどの情報に基づいてチャネル１２０の帯域予測を行うことによって、利用可能な帯域（すなわち、チャネル１２０を介して取得できるデータサイズ（ビットレート））を導出する。ストリーム制御部３０２は、少なくとも利用可能な帯域に基づいて、画質向上用のビットストリーム（例えば、分離された第２のビットストリーム１５−２）から送信を要求する特定領域を識別する情報（例えば、特定領域に対応するタイル番号またはスライス番号）を含む領域情報を生成する。なお、ストリーム制御部３０２は、利用可能な帯域に加えてユーザ要求３２に基づいて、領域情報を生成してもよい。ストリーム制御部３０２は、通信部３０１に、ビットストリーム送信要求および領域情報を送信させる。ストリーム制御部３０２は、通信部３０１から第１のビットストリーム３３−１および第２のビットストリーム３３−２を受け取ると、当該第１のビットストリーム３３−１および第２のビットストリーム３３−２を結合部３０３へと出力する。

具体的には、ストリーム制御部３０２は、スタティック型のアダプティブストリーミング技術に付随する帯域予測を行う。係る帯域予測によれば、過去の受信ビットストリームのデータサイズ（ビットレート）、その受信時間などに基づいて、将来に受信可能なビットストリームのデータサイズ（ビットレート）を予測することができる。

一般的なスタティック型のアダプティブストリーミング技術によれば、図９に例示されるように、帯域予測によって導出された利用可能な帯域に基づいて、配信用のビットストリームがセグメント単位で適応的に選択される。図９の例では、ビットレートの異なるビットストリームＡ、ビットストリームＢおよびビットストリームＣが選択可能である。ビットストリームＡのビットレートは最も低く、ビットストリームＣのビットレートは最も高い。

例えば、次のセグメントについて利用可能な帯域が広くなると予測される場合には、次のセグメントでは現行のセグメントよりも高いビットレートを持つビットストリームが選択されるかもしれない。他方、次のセグメントについて利用可能な帯域が狭くなると予測される場合には、次のセグメントでは現行のセグメントよりも低いビットレートを持つビットストリームが選択されるかもしれない。このように配信用のビットストリームを適応的に選択することで、帯域の変動に関わらず映像を途切れなく再生することが可能となる。なお、図９に例示される一般的なスタティック型のアダプティブストリーミング技術は、Ｗｅｂブラウザ向けの映像配信において既に活用されている。

第１の映像１１および第２の映像１２に対してそれぞれ設定された領域の総数をＭとし、第１のビットストリーム１３のビットレートをＮ［Ｍｂｐｓ］とし、第２のビットストリーム１４のビットレートをＯ［Ｍｂｐｓ］とし、帯域予測によって導出された利用可能な帯域をＰ［Ｍｂｐｓ］とし、分離された第１のビットストリーム１５−１から送信を要求する領域の総数をＴとすると、ストリーム制御部３０２は下記数式（１）が満足するようにＴを定める必要がある。

数式（１）において左辺は、送信を要求するビットストリームの合計データサイズを表す。数式（１）において（Ｍ−Ｔ）は、分離された第２のビットストリーム１５−２から送信を要求する領域の総数を表す。前述のように、第２のビットストリーム１４のビットレートは第１のビットストリーム１３のビットレートに比べて高いので、分離された第２のビットストリーム１５−２は画質向上用のビットストリームに相当する。従って、数式（１）を満足させるＴの最小値を用いることで、利用可能な帯域の下で復号映像３５の画質を最大化させることができる。

なお、上記数式（１）では、帯域を最大限活用するために、分離された第１のビットストリーム１５−１から送信を要求する領域の総数（Ｔ）と分離された第２のビットストリーム１５−２から送信を要求する領域（すなわち、特定領域）の総数（Ｍ−Ｔ）との和がＭに一致すると仮定している。故に、送信を要求する領域は、好ましくは、分離された第１のビットストリーム１５−１と分離された第２のビットストリーム１５−２との間で重複しない。係る重複が存在する場合には、表示映像（すなわち、復号映像３５）において表示不可能（データなし）領域が発生する。

Ｔ＞１の場合には、ストリーム制御部３０２は、分離された第２のビットストリーム１５−２からいずれの領域の送信を要求するかを選択する必要がある。ここで、ストリーム制御部３０２はユーザの注目度が高い領域を特定領域として優先的に選択することによって、表示映像の主観画質を効率的に向上させることができる。

例えば、ストリーム制御部３０２は、特定領域として優先的に選択する領域（以下、優先領域と呼ばれる）を自動的に若しくはユーザ要求３２に基づいて予め定めておいてもよい。優先領域の総数をＳとし、下記数式（２）が満足しない場合には、ストリーム制御部３０２は優先領域を全て特定領域として選択可能である。他方、数式（２）が満足する場合には、ストリーム制御部３０２は優先領域をさらに絞り込む必要がある。

或いは、ストリーム制御部３０２は、各領域の優先度を自動的に若しくはユーザ要求３２に基づいて計算し、領域と優先度とを対応付ける優先度リストを作成してもよい。この場合に、ストリーム制御部３０２は、優先度が最も高い領域から第（Ｍ−Ｔ）番目に高い領域までを特定領域として選択する。なお、優先度リストは、動的に更新されてもよいし、固定であってもよい。

例えば、第１の映像１１および第２の映像１２が固定カメラによって撮影された監視映像に相当し、監視対象が予め固定されているかもしれない。この場合には、各領域の優先度を画角に応じて算出し、算出された優先度を固定的に利用してもよい。

また、一般的に、ユーザの視線は画面の端に比べて画面の中心に集まりやすいので、ストリーム制御部３０２は、例えば画面中心（或いは他の所定位置）からの距離が小さい領域ほど優先度が高くなるように優先度を算出してもよい。同様に、一般的に、ユーザの視線は静止したオブジェクトに比べて動きのあるオブジェクトに集まりやすいので、ストリーム制御部３０２は、動きのあるオブジェクトを含む領域およびその周辺領域の優先度がより高くなるように優先度を算出してもよい。

さらに、ストリーム制御部３０２は、過去の受信ビットストリームを復号することによって得られた圧縮パラメータに基づいて、各領域の優先度を算出してもよい。圧縮パラメータは、例えば、符号量、量子化パラメータ、動き情報（例えば、動きベクトル）、予測モード情報などである。（映像圧縮装置２００に含まれる）エンコーダは、圧縮するのが難しい領域、動きの激しい領域、テクスチャが細かい領域、過去の映像に対して変化の生じた領域、当該エンコーダが何らかの理由で重要であると判断した領域などに大きな符号量を割り当てたと考えられる。故に、ストリーム制御部３０２は、例えば過去に割り当てられた符号量が大きい領域ほど優先度が高くなるように優先度を算出してもよい。

前述のように、ストリーム制御部３０２は、利用可能な帯域に加えてユーザ要求３２に基づいて領域情報を生成してもよい。ユーザは、外部装置（例えば、表示装置１３０）を介してユーザ要求３２を入力できる。ユーザ要求３２は、通信データ３１の一部として通信部３０１によって受信されてもよい。

ユーザ要求３２は、例えば、ユーザが高画質での視聴を要求したユーザ要求領域を識別する情報（例えば、ユーザ要求領域に対応するタイル番号またはスライス番号、ユーザによって指定された座標情報など）であってもよい。ストリーム制御部３０２は、ユーザ要求３２の示すユーザ要求領域を前述の優先領域に含めてもよいし、当該ユーザ要求領域の優先度がより高くなるように優先度を算出してもよい。或いは、ストリーム制御部３０２は、ユーザ要求３２の示すユーザ要求領域からの距離が小さい領域ほど優先度が高くなるように優先度を算出してもよい。

ユーザ要求３２は、外部装置（例えば表示装置１３０）によって作成された、領域と優先度とを対応付ける優先度リストであってもよい。具体的には、表示装置１３０は以下に説明されるようにユーザ要求３２としての優先度リストを作成できる。

ユーザは、入力Ｉ／Ｆ１３４を操作することにより、高画質での視聴を要求する領域を指定する。ユーザは、ディスプレイ１３２に復号映像３５が表示されている間に入力Ｉ／Ｆ１３４を操作してもよい。ユーザ要求３２としての優先度リストを作成するためには、入力Ｉ／Ｆ１３４は、ユーザが画面内の任意のポイントを指定することを可能にする入力デバイスであればよい。

例えば図２８に示されるように、ユーザは、入力Ｉ／Ｆ１３４としてのマウスをクリックすることにより、高画質での視聴を要求するポイント（例えば、ユーザが注目するオブジェクトなどの任意の１点）を指定してもよい。図２８の例によれば、表示装置１３０は、入力座標情報（例えば、クリック時のマウスポインタの座標情報）を検出し、当該入力座標情報の属する領域を判定することによって、１つのユーザ要求領域を特定する。

表示装置１３０は、特定されたユーザ要求領域の優先度がより高くなるように優先度を算出してもよい。但し、図２８の例によれば、特定されるユーザ要求領域は１つである。故に、各領域のサイズが小さい場合には、ユーザが注目するオブジェクトなどがユーザ要求領域に収まらないおそれがある。

そこで、表示装置１３０は、ユーザ要求領域からの距離が小さい領域ほど優先度が高くなるように優先度を算出してもよい。このように優先度を算出することで、表示装置１３０はユーザ要求領域およびその周辺領域を高画質で表示しやすくなる。さらに、表示装置１３０は、前述の圧縮パラメータをさらに考慮して各領域の優先度を算出してもよい。例えば、ユーザ要求領域の圧縮パラメータと類似する圧縮パラメータに関連付けられる領域は、当該ユーザ要求領域と同一のオブジェクトを表す可能性が高い。他方、ユーザ要求領域の圧縮パラメータと非類似の圧縮パラメータに関連付けられる領域は、当該ユーザ要求領域とは異なるオブジェクトを表すかもしれない。例えば、ユーザ要求領域が動きのあるオブジェクトを表す場合に、静止した背景を表す領域の圧縮パラメータは当該ユーザ要求領域の圧縮パラメータとは大きく異なるであろう。故に、表示装置１３０は、係る圧縮パラメータ間の類似性を考慮し、ユーザ要求領域とは異なるオブジェクトを表す周辺領域の優先度が不必要に高く算出されることを予防可能である。

或いは、図２９に示されるように、ユーザは、入力Ｉ／Ｆ１３４としてのマウスを操作することにより、高画質での視聴を要求する領域の輪郭線を指定してもよい。輪郭線は、直線であってもよいし、曲線であってもよいし、直線および曲線の組み合わせであってもよい。図２９の例によれば、表示装置１３０は、入力座標情報（例えば、輪郭線の座標情報）を検出し、当該入力座標情報のいずれかが属する領域と当該領域によって囲まれる領域とを判定することによって、１以上のユーザ要求領域を特定する。

表示装置１３０は、特定されたユーザ要求領域の優先度がより高くなるように優先度を算出してもよい。図２９の例によれば、ユーザが注目するオブジェクトなどが収まるようにユーザ要求領域を指定することが可能となる。

図２８および図２９の例では、ユーザ要求領域は画面内の１つのロケーションに集中する。故に、このようにユーザ要求領域を指定することは、例えば１人のユーザが１つのオブジェクトに注目するケースで有用である。他方、例えば１人のユーザが複数のオブジェクトに注目するケース、複数のユーザが個別のオブジェクトに注目するケースなどでは、ユーザ要求領域は画面内の複数のロケーションに分散することが好ましいかもしれない。

例えば図３０に示されるように、ユーザは、入力Ｉ／Ｆ１３４としてのタッチパネルをなぞることにより、高画質での視聴を要求する相異なる領域の輪郭線をそれぞれ指定してもよい。なお、１人のユーザが複数の輪郭線を指定してもよいし、複数人のユーザが個別の輪郭線を指定してもよい。複数人のユーザが個別の輪郭線を指定する場合には、各ユーザが個別のタッチパネル（すなわち、入力Ｉ／Ｆ１３４）を操作してもよい。輪郭線は、直線であってもよいし、曲線であってもよいし、直線および曲線の組み合わせであってもよい。図３０の例によれば、表示装置１３０は、入力座標情報（例えば、各輪郭線の座標情報）を検出し、当該入力座標情報のいずれかが属する領域と当該領域によって囲まれる領域とを判定することによって、１以上のユーザ要求領域を特定する。

表示装置１３０は、特定されたユーザ要求領域の優先度がより高くなるように優先度を算出してもよい。なお、複数人のユーザが個別の輪郭線を指定する場合には、ユーザ毎に優先度を重み付けすることも可能である。例えば、表示装置１３０は、あるユーザによって指定された輪郭線に基づいて特定されたユーザ要求領域に割り当てられる優先度に比べて、別のユーザによって指定された輪郭線に基づいて特定されたユーザ要求に割り当てる優先度が高くなるように優先度を算出してもよい。図３０の例によれば、ユーザ要求領域を画面内の複数のロケーションに分散させることが可能となる。

表示装置１３０は、好ましくは、ユーザ要求３２のデフォルト値（例えば、初期優先度リスト）を予め設定する。ユーザが入力Ｉ／Ｆ１３４を操作するまで、表示装置１３０はこのデフォルト値をユーザ要求３２として映像再生装置３００へと出力してもよい。ストリーム制御部３０２は、このユーザ要求３２を利用することで、ユーザが入力Ｉ／Ｆ１３４を操作しない場合であっても、ユーザの注目度が高くなりやすい領域（例えば、画面中心に近い領域）を特定領域として優先的に選択し、表示映像の主観画質を効率的に向上させることができる。

図１の表示装置１３０は、図１８に例示されるようにユーザ要求作成処理を行う。図１８のユーザ要求作成処理は、表示装置１３０以外の外部装置によって行われてもよいし、映像再生装置３００によって行われてもよい。

表示装置１３０は、最初に、ユーザ要求３２のデフォルト値を設定する（ステップＳ７１）。例えば、表示装置１３０は、画面中心からの距離が小さい領域ほど優先度が高くなるように優先度を算出し、領域と優先度を対応付ける初期優先度リストを作成してもよい。ステップＳ７１において設定されたデフォルト値は、ユーザが入力Ｉ／Ｆ１３４を操作するまでユーザ要求３２として映像再生装置３００によって利用される。

ステップＳ７１の後に、ユーザが入力Ｉ／Ｆ１３４を操作すると、表示装置１３０は当該入力Ｉ／Ｆ１３４に対する入力座標情報を検出する（ステップＳ７２）。表示装置１３０は、ステップＳ７２において検出した入力座標情報に基づいてユーザ要求領域を特定する（ステップＳ７３）。表示装置１３０は、ステップＳ７３において特定したユーザ要求領域に基づいて各領域の優先度を算出し、領域と優先度とを対応付ける優先度リストを作成する（ステップＳ７４）。表示装置１３０が優先度リストをユーザ要求３２として映像再生装置３００へと出力し、図１８のユーザ要求作成処理は終了する。

結合部３０３は、ストリーム制御部３０２から第１のビットストリーム３３−１および第２のビットストリーム３３−２を受け取る。結合部３０３は、領域単位のビットストリームに相当する第１のビットストリーム３３−１および第２のビットストリーム３３−２を結合し、形式を整える（例えば適切なヘッダ情報を付加する）ことで、ピクチャ単位のビットストリームに相当する結合ビットストリーム３４を生成する。すなわち、結合部３０３は分離部２０３の逆処理を行う。結合部３０３は、結合ビットストリーム３４を第１の復号部３０４へと出力する。

具体的には、結合部３０３は、図１０に例示される第１のビットストリーム３３−１および図１１に例示される第２のビットストリーム３３−２を結合することによって、図１２に例示される結合ビットストリーム３４を生成する。図１０、図１１および図１２の例では、ストリーム制御部３０２は、分離された第１のビットストリーム１５−１からタイル０のビットストリームの送信を要求し、分離された第２のビットストリーム１５−２からタイル１、タイル２およびタイル３のビットストリームの送信を要求している。なお、図１０、図１１および図１２の例では、ストリーム制御部３０２が送信を要求した領域は分離された第１のビットストリーム１５−１と分離された第２のビットストリーム１５−２との間で重複しないので、帯域は有効活用されている。

図１０の第１のビットストリーム３３−１は、タイル０の第１のビットストリーム３３−１−０を含んでいるがタイル１、タイル２およびタイル３の第１のビットストリームを含んでいない。他方、図１１の第２のビットストリーム３３−２は、タイル１の第２のビットストリーム３３−２−１、タイル２の第２のビットストリーム３３−２−２およびタイル３の第２のビットストリーム３３−２−３を含んでいるがタイル０の第２のビットストリームを含んでいない。そして、図１２の結合ビットストリーム３４は、分離された第１のビットストリーム１５−１に由来するタイル０の圧縮データと、分離された第２のビットストリーム１５−２に由来するタイル１、タイル２およびタイル３の圧縮データを含む。

第１の復号部３０４は、結合部３０３から結合ビットストリーム３４を受け取る。第１の復号部３０４は、結合ビットストリーム３４を復号することによって、復号映像３５を生成する。第１の復号部３０４は、第１の圧縮部２０１および第２の圧縮部２０２と共通のコーデックを用いる。第１の復号部３０４は、復号映像３５を外部装置（例えば、表示装置１３０）へと出力する。復号映像３５は、外部装置のバッファに保存され、ユーザによる視聴のために適時に表示される。

図８の映像再生装置３００は、図１６に例示されるように映像要求処理を行う。図１６の映像要求処理が開始すると、ストリーム制御部３０２は、ネットワークの帯域予測を行うことによって、利用可能な帯域を導出する（ステップＳ３１）。

ストリーム制御部３０２は、ステップＳ３１において導出した利用可能な帯域を超えないように、分離された第１のビットストリーム１５−１および分離された第２のビットストリーム１５−２のそれぞれから送信を要求する領域数を設定する（ステップＳ３２）。

ストリーム制御部３０２は、ステップＳ３２において設定した領域数に従い、優先度リストを用いて、分離された第２のビットストリーム１５−２から送信を要求する特定領域を選択し、当該特定領域を識別する領域情報を設定する（ステップＳ３３）。

ストリーム制御部３０２は、通信部３０１に、ビットストリーム送信要求およびステップＳ３３において設定した領域情報を送信させ（ステップＳ３４）、図１６の映像要求処理は終了する。

図８の映像再生装置３００は、図１７に例示されるように映像再生処理を行う。
通信部３０１は、チャネル１２０を介して、第１のビットストリーム３３−１および第２のビットストリーム３３−２を受信する（ステップＳ４１）。

結合部３０３は、ステップＳ４１において受信された第１のビットストリーム３３−１および第２のビットストリーム３３−２を結合し、形式を整えることで、結合ビットストリーム３４を生成する（ステップＳ４２）。

第１の復号部３０４は、ステップＳ４２において生成された結合ビットストリーム３４を復号することによって、復号映像３５を生成する（ステップＳ４３）。さらに、第１の復号部３０４がステップＳ４３において生成した復号映像３５を外部装置（例えば、表示装置１３０）へと出力し（ステップＳ４４）、図１７の映像再生処理は終了する。

第１の実施形態に係る映像配信システムは図１３に例示されるように動作する。図１３の例では、第１の映像１１および第２の映像１２がそれぞれ６３個のタイルに分割され、第１のビットストリーム１３のビットレートが１Ｍｂｐｓであり、第２のビットストリーム１４のビットレートが５Ｍｂｐｓである。前述のように、記憶部２０４には、第１のビットストリーム１３および第２のビットストリーム１４をそれぞれタイル単位で分離することによって得られる、分離された第１のビットストリーム１５−１および分離された第２のビットストリーム１５−２が保存される。

ストリーム制御部３０２は、上記数式（１）を満足するＴの最小値が５９であると導出する。それから、ストリーム制御部３０２は、例えば優先度リストに基づいて４個の特定領域を選択し、選択された特定領域を識別する領域情報を生成する。前述のように、ストリーム制御部３０２は、領域の優先度に従って特定領域を選択することにより、表示映像の主観画質を効率的に向上させることができる。ストリーム制御部３０２は、通信部３０１に、ビットストリーム送信要求および領域情報を送信させる。

結果的に、通信部３０１は、分離された第２のビットストリーム１５−２から特定領域に相当する４個のタイルのビットストリームを受信し、分離された第１のビットストリーム１５−１から特定領域とは異なる５９個のタイルのビットストリームを受信する。すなわち、第１のビットストリーム３３−１および第２のビットストリーム３３−２は、図１３において点描で示されるタイルのビットストリームを含まない。結合部３０３は、第１のビットストリーム３３−１および第２のビットストリーム３３−２を結合することによって結合ビットストリーム３４を生成する。第１の復号部３０４は、結合ビットストリーム３４を復号することによって、復号映像３５を生成する。復号映像３５のビットレートは、約１．２（＝５９×１／６３＋４×５／６３）Ｍｂｐｓと概算できるが、ストリーム制御部３０２は利用可能な帯域の増減に応じて特定領域の数を調整することにより復号映像３５のビットレートを柔軟に変更できる。

なお、ストリーム制御部３０２は、例えば各領域の過去のビットレートの累積値を用いて領域毎のビットレート予測を行うことにより、より微小なビットレート変動向けのアダプティブストリーミング技術を実現してもよい。

以上説明したように、第１の実施形態に係る映像配信システムにおいて、映像圧縮装置は、第１の映像および第２の映像に対して複数の領域を設定し、当該複数の領域の各々が独立して復号可能であるように当該第１の映像および第２の映像を領域毎に圧縮することによって、第１のビットストリームおよび第２のビットストリームを生成する。映像圧縮装置は、第１のビットストリームおよび第２のビットストリームを前述の領域単位で分離するので、映像再生装置は当該領域単位で第１のビットストリームまたは第２のビットストリームを選択して要求できる。故に、このシステムによれば、映像圧縮装置が膨大なビットストリームを用意しなくても、映像再生装置は利用可能な帯域に応じて送信を要求するビットストリームのデータサイズを柔軟に変更できるので画質劣化を抑制しながら映像を安定的に再生できる。

さらに、映像再生装置は、画質向上用のビットストリームから送信を要求する領域（特定領域）を利用可能な帯域の下で任意に選択可能である。従って、このシステムによれば、画質向上用のビットストリームからユーザの注目度が高い領域を優先的に特定領域として選択することで、表示映像の主観画質を効率的に向上させることができる。

（第２の実施形態）
第２の実施形態に係る映像配信システムは、図１の映像配信システム１００のうち映像圧縮装置２００および映像再生装置３００を映像圧縮装置４００および映像再生装置５００へとそれぞれ変形したシステムに相当する。

映像圧縮装置４００および映像再生装置５００は、ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅ Ｃｏｄｉｎｇ）を行う。ＳＶＣ（階層符号化とも呼ばれる）は、ベースレイヤおよび１以上の拡張レイヤを用いて映像を階層的に符号化する。各拡張レイヤは、ベースレイヤまたはより下層の拡張レイヤを参照することで高効率に予測符号化することができる。以降の説明では、映像圧縮装置４００および映像再生装置５００は、標準化済みであるＨ．２６４のＳＶＣ方式を用いると仮定されるが、例えば、標準化作業中であるＨＥＶＣのＳＶＣ方式、多視点符号化（ＭＶＣ：Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式などを用いてもよい。

図１９に例示されるように、映像圧縮装置４００は、第１の圧縮部４０１と、第２の圧縮部４０２と、分離部４０３と、記憶部４０４と、通信部２０５と、変換部４０６とを含む。

変換部４０６は、撮像装置１１０から第１の映像１１を受け取る。変換部４０６は、第１の映像１１に対して所定の変換を適用することによって、第１の変換映像４１を生成する。変換部４０６は、第１の変換映像４１を第２の圧縮部４０２へと出力する。

所定の変換は、例えば、（１）解像度の拡大または縮小、（２）フレームレートの増加または削減、（３）インターレース映像からプログレッシブ映像を生成するためのＩ（Ｉｎｔｅｒｌａｃｅ）／Ｐ（Ｐｒｏｇｒｅｓｓｉｖｅ）変換（デインタレース処理とも呼ばれる）またはその逆のＰ／Ｉ変換、（４）画素ビット長（画素深度、ダイナミックレンジなどと呼ぶこともできる）の拡大または縮小、（５）色空間の変更、（６）画角の変更、ならびに、（７）幾何学的変換、のうち一部または全部に相当してもよい。所定の変換は、映像圧縮装置４００および映像再生装置５００によって提供されるスケーラビリティの種別に応じて決定することができる。映像圧縮装置４００および映像再生装置５００は、例えば、解像度スケーラビリティ、時間スケーラビリティ（または、フレームレートスケーラビリティ）、ダイナミックレンジスケーラビリティ、色空間スケーラビリティ、コーデックスケーラビリティなどを提供可能である。

なお、映像圧縮装置４００および映像再生装置５００によって提供されるスケーラビリティの種別次第で、変換部４０６は省略されてもよい。例えば、映像圧縮装置４００および映像再生装置５００が、画質スケーラビリティ、ビットレートスケーラビリティ、ＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）スケーラビリティなどを提供する場合には、変換部４０６を省略可能である。

コーデックスケーラビリティとは、第１の圧縮部４０１と第２の圧縮部４０２とで異なるコーデック、すなわち圧縮規格や圧縮方法、を利用できることを指す。たとえば、ＨＥＶＣのスケーラブル拡張機能を利用すれば、第１の圧縮部４０１のコーデックをＨ．２６４とし、第２の圧縮部４０２のコーデックをＨＥＶＣのスケーラブル拡張機能とした構成を実現できる。

第１の圧縮部４０１は、変換部４０６から第１の変換映像４１を受け取る。第１の圧縮部４０１は、第１の変換映像４１を圧縮することによって第１のビットストリーム４３を得る。第１のビットストリーム４３はベースレイヤに相当する。第１の圧縮部４０１は、第１のビットストリーム４３を記憶部４０４へと出力する。さらに、第１の圧縮部４０１は、圧縮処理の一部である局所復号処理（参照画像生成処理と呼ぶこともできる）を行うことによって第１の復号映像４７を生成し、第２の圧縮部４０２へと出力する。この第１の復号映像４７は、符号化歪などを無視すれば、第１の変換映像４１と等しい。

第２の圧縮部４０２は、撮像装置１１０から第２の映像１２を受け取り、第１の圧縮部４０１から第１の復号映像４７を受け取る。第２の圧縮部４０２は、第２の映像１２に複数の領域を設定する。そして、第２の圧縮部４０２は、設定した複数の領域の各々が独立して復号可能であるように、第２の映像１２を領域毎に第１の復号映像４７に基づいて圧縮することによって第２のビットストリーム４４を得る。第２のビットストリーム４４は拡張レイヤに相当する。第２の圧縮部４０２は、第２のビットストリーム４４を分離部４０３へと出力する。

第２の圧縮部４０２は、前述したとおり第１の圧縮部４０１と異なるコーデックを利用してもよい。例えば、第１の圧縮部４０１がＨ．２６４に従って第１の変換映像４１を圧縮し、第２の圧縮部４０２がＨＥＶＣのスケーラブル拡張機能に従って第２の映像１２を圧縮してもよい。

第２の圧縮部４０２は、前述の所定の変換の逆変換を必要に応じて第１の復号映像４７に適用してもよい。なお、係る逆変換は、第２の圧縮部４０２の代わりに、第１の圧縮部４０１および第２の圧縮部４０２の間に挿入される図示されない逆変換部によって行われてもよい。

具体的には、第１の映像１１および第２の映像１２が同一の映像（例えば、３８４０×２１６０画素サイズの４Ｋ映像）であって、所定の変換が解像度の縮小に相当するならば、映像圧縮装置４００および映像再生装置５００は解像度スケーラビリティおよびＰＳＮＲスケーラビリティを提供できる。この場合に、第２の圧縮部４０２は、第１の復号映像４７（例えば、１９２０×１０８０画素サイズのＨＤ映像に相当）の解像度を拡大することで参照画像を生成し、当該参照画像を用いて第２の映像１２を予測符号化する。解像度の縮小は、第１のビットストリーム４３のビットレートの削減を容易にするので、狭帯域伝送に有効である。

第１の映像１１および第２の映像１２が同一の映像であって、所定の変換がフレームレートの削減に相当するならば、映像圧縮装置４００および映像再生装置５００は時間スケーラビリティを提供できる。なお、変換部４０６は、第１の映像１１に対して、フレームドロップを適用することで、または、低域通過型のフィルタを時間方向に適用することで、フレームレートの削減を行ってもよい。この場合に、第２の圧縮部４０２は、第１の復号映像４７のフレームレートを増加させる（例えば、第１の復号映像４７に対してフレーム補間を適用する）ことで参照画像を生成し、当該参照画像を用いて第２の映像１２を予測符号化する。

第１の映像１１および第２の映像１２が同一のプログレッシブ映像であって、所定の変換がＰＩ変換に相当するとする。なお、変換部４０６は、奇数フレームと偶数フレームとで異なる位相を用いて第１の映像１１の縦解像度をダウンコンバートする（例えば、低域通過型のフィルタを時間方向に適用する）ことでＰＩ変換を行ってもよい。この場合に、第２の圧縮部４０２は、第１の復号映像４７にＩＰ変換を適用することで参照画像を生成し、当該参照画像を用いて第２の映像１２を予測符号化する。

第１の映像１１および第２の映像１２が同一の映像であって、所定の変換が画素ビット長の縮小に相当するならば、映像圧縮装置４００および映像再生装置５００はダイナミックレンジスケーラビリティを提供できる。なお、変換部４０６は、第１の映像１１の画素ビットを例えば２ビット右シフトすることで第１の映像１１の画素ビット長を２ビット縮小してもよい。この場合に、第２の圧縮部４０２は、第１の復号映像４７の画素ビット長を拡大する（例えば、第１の復号映像４７の画素ビット長を例えば丸め処理を考慮して２ビット左シフトする）ことで参照画像を生成し、当該参照画像を用いて第２の映像１２を予測符号化する。

第１の映像１１および第２の映像１２が同一の映像であって、所定の変換が色空間の変更に相当するとするならば、映像圧縮装置４００および映像再生装置５００は色空間スケーラビリティを提供できる。例えば、第１の映像１１がＩＴＵ−Ｒ ＢＴ．２０２０によって勧告される色空間（以降、単に「ＢＴ．２０２０の色空間」と称する）上の画像信号に相当し、第１の復号映像４７がＩＴＵ−Ｒ ＢＴ．７０９（以降、単に「ＢＴ．７０９の色空間」と称する）によって勧告される色空間上の画像信号に相当するとする。この場合に、第２の圧縮部４０２は、第１の復号映像４７の色空間をＩＴＵ−Ｒ ＢＴ．２０２０の色空間へと変更することで参照画像を生成し、当該参照画像を用いて第２の映像１２を予測符号化する。

第１の映像１１および第２の映像１２が同一の映像であって、所定の変換が所定領域の切り出し（すなわち、画角の変更）であってもよい。所定領域は、好ましくは、ユーザの注目度が高い（または高くなりやすい）領域（例えば、監視対象領域、または、前述の特定領域、ユーザ要求領域若しくは優先領域など）である。この場合に、第２の圧縮部４０２は、第１の復号映像４７を参照画像として用いてもよいし、第１の復号映像４７の画角補正を行うことで参照画像を生成してもよい。第２の圧縮部４０２は、参照画像を用いて第２の映像１２を予測符号化する。

画角補正は、所定領域の切り出しによって欠損した領域に対して画素値をパディングする処理であってもよい。パディング処理に用いられる画素値は、第１の映像１１における上記欠損した領域の画素値に基づいて決定されてよい。また、パディング処理に用いられる画素値を示す情報が第２のビットストリーム４４に埋め込まれてもよい。第２のビットストリーム４４に係る情報を埋め込むことにより、映像再生装置５００は第２の圧縮部４０２と同様の画角補正を行うことができる。変換部４０６が画角の変更を行うと、第２の圧縮部４０２における符号化効率は低くなりやすいが、利用可能な帯域が狭い場合には表示対象がピクチャ全体から上記所定領域へと制限されるので画質の劣化を抑制可能であるし、利用可能な帯域が広い場合には広画角かつ高解像度の映像を表示可能である。

映像圧縮装置４００および映像再生装置５００は、複数のスケーラビリティの組み合わせを提供することもできる。例えば、映像圧縮装置４００および映像再生装置５００は、解像度スケーラビリティおよび色空間スケーラビリティの組み合わせを提供してもよい。例えば、第１の復号映像４７がフルハイビジョン放送の映像（すなわち、ＢＴ．７０９の色空間を持つＨＤＴＶサイズのインターレース映像）に相当し、第２の映像１２が４Ｋ放送の映像（すなわち、ＢＴ．２０２０の色空間を持つ４Ｋサイズのプログレッシブ映像）に相当するとする。この場合に、第２の圧縮部４０２は、第１の復号映像４７に対して、色空間の変更、解像度の拡大およびＩＰ変換を適用することで参照画像を生成し、当該参照画像を用いて第２の映像１２を予測符号化する。

或いは、映像圧縮装置４００および映像再生装置５００は、時間スケーラビリティ、解像度スケーラビリティおよびＰＳＮＲスケーラビリティの組み合わせを提供してもよい。第１の映像１１および第２の映像１２が同一の映像（例えば、３８４０×２１６０画素サイズかつ６０ｆｐｓの４Ｋ映像）であって、所定の変換が解像度の縮小およびフレームレートの削減に相当するとする。この場合に、第２の圧縮部４０２は、第１の復号映像４７（例えば、１９２０×１０８０画素サイズかつ３０ｆｐｓのＨＤ映像に相当）の解像度を拡大し、フレームレートを増加させることで参照画像を生成し、当該参照画像を用いて第２の映像１２を予測符号化する。解像度の縮小およびフレームレートの削減は、第１のビットストリーム４３のビットレートの削減を容易にするので、狭帯域伝送に有効である。

映像圧縮装置４００および映像再生装置５００は、本実施形態において例示されていないスケーラビリティを提供してもよい。上記所定の変換は、スケーラビリティに応じて適宜変更されてよい。また、映像圧縮装置４００および映像再生装置５００は本実施形態において例示されているスケーラビリティを提供する場合であっても、上記所定の変換は例示されたものに限定されない。例えば、映像圧縮装置４００および映像再生装置５００がダイナミックレンジスケーラビリティを提供する場合に、変換部４０６はビットシフトの代わりにガンマ変換を用いて画素ビット長を拡大または縮小してもよい。

なお、変換部４０６は、第１の映像１１の代わりに第２の映像１２に対して所定の変換を適用することによって、第２の変換映像を生成してもよい。例えば、変換部４０６は、第２の映像１２の解像度を減少させたり、第２の映像１２の所定領域を切り出したりすることによって、第２の変換映像を生成してもよい。変換部４０６が第２の映像１２に対して係る変更を行うことにより、利用可能な帯域が狭い場合にもピクチャ全体の表示が可能であるし、利用可能な帯域が広い場合には上記所定の領域を高画質化することができる。

分離部４０３は、第２の圧縮部４０２から第２のビットストリーム４４を受け取る。分離部４０３は、第２のビットストリーム４４を領域単位で分離し、それぞれ形式を整える（例えば適切なヘッダ情報を付加する）ことによって、分離された第２のビットストリーム４５を生成する。分離された第２のビットストリーム４５は、領域毎のビットストリームを含む。分離部４０３は、分離された第２のビットストリーム４５を記憶部４０４へと出力する。

なお、分離部４０３は、図１９に示されるように、第１のビットストリーム４３を分離しない。前述のように第１のビットストリーム４３はベースレイヤに相当しており、ＳＶＣ方式においてデコーダはベースレイヤを取得しない限り拡張レイヤを正しく復号できない。故に、映像再生装置５００は、基本的にはピクチャの全域について第１のビットストリーム４３の送信を要求するので、分離部４０３は第１のビットストリーム４３を分離する必要がない。

但し、分離部４０３は、分離部２０３と同様に、第１のビットストリーム４３を領域単位で分離してもよい。仮に、映像再生装置５００が一部の領域について第１のビットストリーム４３の送信を要求しなければ、当該領域は復号不可能であるから復号映像に欠損領域が生じてしまう。この場合に、映像再生装置５００は、欠損領域を補てんする処理を行ってもよい。

記憶部４０４には、第１のビットストリーム４３および分離された第２のビットストリーム４５が保存される。第１のビットストリーム４３および分離された第２のビットストリーム４５は、通信部２０５によって必要に応じて記憶部４０４から読み出される。記憶部４０４は、例えばＨＤＤ、ＳＳＤ、種々のメモリなどによって実装される。

なお、図１９の例では、記憶部４０４には、分離された第２のビットストリーム４５が保存される。しかしながら、記憶部４０４には、分離された第２のビットストリーム４５の代わりに第２のビットストリーム４４が保存されてもよい。この場合には、通信部２０５が外部装置からのビットストリーム送信要求および領域情報を受信してから、記憶部４０４から第２のビットストリーム４４が読み出され、分離部４０３が分離された第２のビットストリーム４５を生成する。

図１９の映像圧縮装置４００は、図２４に例示されるように映像圧縮処理を行う。図２４の例では、簡単化のために変換部４０６に関する説明は省略されている。図２４の映像圧縮処理は、映像圧縮装置４００が撮像装置１１０から第１の映像１１および第２の映像１２を受け取ることで開始する。

第２の圧縮部４０２は、第２の映像１２に対して複数の領域を設定する（ステップＳ５１）。さらに、第１の圧縮部４０１および第２の圧縮部４０２は、第１の映像１１（或いは第１の変換映像４１）および第２の映像１２に対してそれぞれ目標ビットレートを設定する（ステップＳ５２）。なお、第１のビットストリーム４３は基本的にピクチャの全域について要求されるベースレイヤに相当するので、第１の映像１１に対する目標ビットレートは適切な範囲で抑制しておくことが望ましい。

第１の圧縮部４０１は、ステップＳ５２において設定した目標ビットレートに従い、第１の映像１１（或いは第１の変換映像４１）を圧縮することによって、ベースレイヤに相当する第１のビットストリーム４３および第１の復号映像４７を生成する（ステップＳ５３）。

他方、第２の圧縮部４０２は、ステップＳ５２において設定した目標ビットレートに従い、ステップＳ５１において設定した複数の領域の各々が独立して復号可能であるように、ステップＳ５３において生成された第１の復号映像４７に基づいて第２の映像１２を圧縮することによって、拡張レイヤに相当する第２のビットストリーム４４を生成する（ステップＳ５４）。

分離部４０３は、ステップＳ５４において生成された第２のビットストリーム４４を領域単位で分離し、それぞれ形式を整えることで、分離された第２のビットストリーム４５を生成する（ステップＳ５５）。

記憶部２０４には、ステップＳ５３において生成された第１のビットストリーム４３と、ステップＳ５５において生成された、分離された第２のビットストリーム４５が保存され（ステップＳ５６）、図２４の映像圧縮処理は終了する。

図２０に例示されるように、映像再生装置５００は、通信部３０１と、ストリーム制御部５０２と、結合部５０３と、第１の復号部５０４と、第２の復号部５０５とを含む。

ストリーム制御部５０２は、ストリーム制御部３０２と同様に、通信部３０１によって受信されたビットストリームなどの情報に基づいてチャネル１２０の帯域予測を行うことによって、利用可能な帯域を導出する。ストリーム制御部５０２は、少なくとも利用可能な帯域に基づいて、画質向上用のビットストリーム（例えば、分離された第２のビットストリーム４５）から送信を要求する特定領域を識別する情報を含む領域情報を生成する。なお、ストリーム制御部５０２は、利用可能な帯域に加えてユーザ要求３２に基づいて、領域情報を生成してもよい。ストリーム制御部５０２は、通信部３０１に、ビットストリーム送信要求および領域情報を送信させる。ストリーム制御部５０２は、通信部３０１から第１のビットストリーム５３−１および第２のビットストリーム５３−２を受け取ると、当該第１のビットストリーム５３−１を第１の復号部５０４へと出力し、第２のビットストリーム５３−２を結合部５０３へと出力する。

第２の映像１２に対して設定された領域の総数をＭとし、第１のビットストリーム４３のビットレートをＮ［Ｍｂｐｓ］とし、第２のビットストリーム４４のビットレートをＯ［Ｍｂｐｓ］とし、帯域予測によって導出された利用可能な帯域をＰ［Ｍｂｐｓ］とし、分離された第２のビットストリーム４５から送信を要求する領域（すなわち、特定領域）の総数をＷとすると、ストリーム制御部５０２は下記数式（３）が満足するようにＷを定める必要がある。

数式（３）において左辺は、送信を要求するビットストリームの合計データサイズを表す。前述のように、第２のビットストリーム４４は拡張レイヤに相当するので、分離された第２のビットストリーム４５は画質向上用のビットストリームに相当する。故に、数式（３）を満足させるＷの最大値を用いることで、利用可能な帯域の下で第２の復号映像５５−２の画質を最大化させることができる。なお、ベースレイヤに相当する第１のビットストリーム４３を取得できればピクチャ全域の復号は可能であるから、利用可能な帯域が狭い時にはＷ＝０であってもよい。

Ｗ＞１の場合には、分離された第２のビットストリーム４５からいずれの領域の送信を要求するかを選択する必要がある。ここで、ユーザの注目度が高い領域を特定領域として優先的に選択することによって、表示映像の主観画質を効率的に向上させることができる。例えば、ストリーム制御部５０２は、前述の優先領域を自動的に若しくはユーザ要求３２に基づいて、予め定めておいてもよい。優先領域の総数をＳとし、下記数式（４）が満足しない場合には、ストリーム制御部５０２は優先領域を全て特定領域として選択可能である。他方、数式（４）が満足する場合には、ストリーム制御部５０２は優先領域をさらに絞り込む必要がある。

或いは、ストリーム制御部５０２は、各領域の優先度を自動的に若しくはユーザ要求３２に基づいて計算し、領域と優先度とを対応付ける優先度リストを作成してもよい。この場合に、ストリーム制御部５０２は、優先度が最も高い領域から第Ｗ番目に高い領域までを特定領域として選択する。なお、優先度リストは、第１の実施形態と同様の技法によって作成可能である。

結合部５０３は、ストリーム制御部５０２から第２のビットストリーム５３−２を受け取る。結合部５０３は、領域単位のビットストリームに相当する第２のビットストリーム５３−２を結合し、形式を整える（例えば適切なヘッダ情報を付加する）ことで、ピクチャ単位のビットストリームに相当する結合ビットストリーム５４を生成する。すなわち、結合部５０３は分離部４０３の逆処理を行う。結合部５０３は、結合ビットストリーム５４を第２の復号部５０５へと出力する。

結合部５０３は、第２のビットストリーム５３−２が一部の領域のビットストリームを含まない場合には、当該領域が欠損した状態の結合ビットストリーム５４を生成してもよい。しかしながら、パケットロスを考慮せずに設計されたＳＶＣデコーダは、拡張レイヤのビットストリームに欠損がある場合に、欠損部分を受け取るまで復号処理を保留するおそれがある。第２の復号部５０５が係るＳＶＣデコーダに相当するならば、一部の領域が欠損した状態の結合ビットストリーム５４を受け取ったとしても、復号処理を保留して映像の再生を停止するかもしれない。このような事態を防止するために、結合部５０３は、第２のビットストリーム５３−２が一部の領域のビットストリームを含まない場合には、結合ビットストリーム５４において当該領域の圧縮データの代わりに所定のビットストリームを補填してもよい。

例えば、結合部５０３は、第２のビットストリーム５３−２が一部の領域のビットストリームを含まない場合には、当該領域をスキップ領域として取り扱ってもよい。スキップ領域とは、Ｈ．２６４またはＨＥＶＣにおいて規定されるスキップモードが設定された領域を意味する。スキップ領域は、他の領域の予測画像をコピーすることによって復号される。具体的には、第２の復号部５０５は、第１の復号映像５５−１に含まれる対応領域をスキップ領域にコピーすればよい。

なお、映像圧縮装置４００が、所定のビットストリームを映像再生装置５００へと送信してもよい。例えば、通信部２０５が、ビットストリーム送信要求および領域情報を受信すると、当該領域情報に基づいて特定領域に対応するビットストリームを分離された第２のビットストリーム４５から選択して送信するとともに当該特定領域とは異なる領域について上記所定のビットストリームを送信してもよい。映像圧縮装置４００が所定のビットストリームを送信すれば、第２のビットストリーム５３−２のビットレートは増加するものの、結合部５０３による補填処理を省略できる。

具体的には、結合部５０３は、第２のビットストリーム５３−２を結合することによって、図２１または図２２に例示される結合ビットストリーム５４を生成する。これらの例では、ストリーム制御部５０２は、分離された第２のビットストリーム４５から、タイル１、タイル２およびタイル３のビットストリームの送信を要求している。第２のビットストリーム５３−２は、タイル１のビットストリーム５３−２−１、タイル２のビットストリーム５３−２−２およびタイル３のビットストリーム５３−２−３を含んでいるがタイル０のビットストリームを含んでいない。

図２１の結合ビットストリーム５４は、分離された第２のビットストリーム４５に由来するタイル１、タイル２およびタイル３の圧縮データを含むものの、タイル０の圧縮データが欠損している。しかしながら、第２の映像１２は各領域を独立に復号可能であるように圧縮されているので、第２の復号部５０５は結合ビットストリーム５４に基づいてタイル１、タイル２およびタイル３をそれぞれ復号できる。そして、第２の復号部５０５は、タイル０を復号できないので、当該タイル０には第１の復号映像５５−１（すなわち、ベースレイヤの映像）の対応領域の映像をコピーする。

図２２の結合ビットストリーム５４は、分離された第２のビットストリーム４５に由来するタイル１、タイル２およびタイル３の圧縮データを含み、タイル０がスキップ領域として取り扱われている。前述のように、第２の復号部５０５は結合ビットストリーム５４に基づいてタイル１、タイル２およびタイル３をそれぞれ復号できる。そして、タイル０はスキップ領域に相当するので、第２の復号部５０５は当該タイル０には第１の復号映像５５−１の対応領域の映像をコピーする。

第１の復号部５０４は、ストリーム制御部５０２から第１のビットストリーム５３−１を受け取る。第１の復号部５０４は、第１のビットストリーム５３−１を復号することによって、第１の復号映像５５−１を生成する。第１の復号部５０４は、第１の圧縮部４０１と共通のコーデックを用いる。第１の復号部５０４は、第１の復号映像５５−１を外部装置（例えば、表示装置１３０）へと出力する。第１の復号映像５５−１は、外部装置のバッファに保存され、ユーザによる視聴のために適時に表示される。

第２の復号部５０５は、結合部５０３から結合ビットストリーム５４を受け取る。第２の復号部５０５は、結合ビットストリーム５４を復号することによって、第２の復号映像５５−２を生成する。第２の復号部５０５は、第２の圧縮部４０２と共通のコーデックを用いる。第２の復号部５０５は、第２の復号映像５５−２を外部装置（例えば、表示装置１３０）へと出力する。第２の復号映像５５−２は、外部装置のバッファに保存され、ユーザによる視聴のために適時に表示される。

なお、第１の復号部５０４および第２の復号部５０５は、第１の復号映像５５−１および第２の復号映像５５−２の一方を外部装置へ出力しなくてもよい。例えば、第２のビットストリーム５３−２を受信できない場合には第１の復号部５０４が第１の復号映像５５−１を出力し、第２のビットストリーム５３−２を受信できる場合には第２の復号部５０５が第２の復号映像５５−２を出力してもよい。

図２０の映像再生装置５００は、図２５に例示されるように映像再生処理を行う。
通信部３０１は、チャネル１２０を介して、第１のビットストリーム５３−１および第２のビットストリーム５３−２を受信する（ステップＳ６１）。

結合部３０３は、ステップＳ６１において受信された、拡張レイヤに相当する第２のビットストリーム５３−２を結合し、形式を整えることで、結合ビットストリーム５４を生成する（ステップＳ６２）。

第１の復号部５０４は、ステップＳ６１において受信された、ベースレイヤに相当する第１のビットストリーム５３−１を復号することによって、第１の復号映像５５−１を生成する（ステップＳ６３）。

第２の復号部５０５は、ステップＳ６２において生成された、拡張レイヤに相当する結合ビットストリーム５４をステップＳ６３において生成された第１の復号映像５５−１に基づいて復号することによって、第２の復号映像５５−２を生成する（ステップＳ６４）。

さらに、第１の復号部５０４および第２の復号部５０５がステップＳ６３およびステップＳ６４においてそれぞれ生成した第１の復号映像５５−１および第２の復号映像５５−２を外部装置（例えば、表示装置１３０）へと出力し（ステップＳ６５）、図２５の映像再生処理は終了する。

第２の実施形態に係る映像配信システムは図２３に例示されるように動作する。図２３の例では、第２の映像１２が６３個のタイルに分割され、第１のビットストリーム４３のビットレートが１Ｍｂｐｓであり、第２のビットストリーム４４のビットレートが５Ｍｂｐｓである。前述のように、記憶部４０４には、第１のビットストリーム４３と、第２のビットストリーム４４をタイル単位で分離することによって得られる、分離された第２のビットストリーム４５とが保存される。

ストリーム制御部５０２は、上記数式（３）を満足するＷの最大値が例えば４であると導出する。ストリーム制御部５０２は、例えば優先度リストに基づいて４個の特定領域を選択し、選択された特定領域を識別する領域情報を生成する。前述のように、ストリーム制御部５０２は、領域の優先度に従って特定領域を選択することにより、表示映像の主観画質を効率的に向上させることができる。ストリーム制御部５０２は、通信部３０１に、ビットストリーム送信要求および領域情報を送信させる。

結果的に、通信部３０１は、第１のビットストリーム４３を受信し、分離された第２のビットストリーム４５から特定領域に相当する４個のタイルのビットストリームを受信する。すなわち、第２のビットストリーム５３−２は、図２３において点描で示されるタイルのビットストリームを含まない。結合部５０３は、第２のビットストリーム５３−２を結合することによって結合ビットストリーム５４を生成する。第１の復号部５０４は、第１のビットストリーム５３−１を復号することによって、第１の復号映像５５−１を生成する。第２の復号部５０５は、第１の復号映像５５−１に基づいて結合ビットストリーム５４を復号することによって、第２の復号映像５５−２を生成する。第２の復号映像５５−２のビットレートは、約１．３（＝１＋４×５／６３）Ｍｂｐｓと概算できるが、ストリーム制御部５０２は利用可能な帯域の増減に応じて特定領域の数を調整することにより、第２の復号映像５５−２のビットレートを柔軟に変更できる。

例えば、利用可能な帯域が増加した場合に、ストリーム制御部５０２は、上記数式（３）を満足するＷの最大値が例えば１２であると導出するかもしれない。この場合に、第２の復号映像５５−２のビットレートは、約２（＝１＋１２×５／６３）Ｍｂｐｓと概算できる。

以上説明したように、第２の実施形態に係る映像配信システムは、前述の第１の実施形態に係る映像配信システムをＳＶＣ向けに変形したシステムに相当する。従って、この映像配信システムによれば、第１の実施形態と同一または類似の効果に加えて種々のスケーラビリティを提供することができる。

（第３の実施形態）
第３の実施形態に係る映像配信システムは、図１の映像配信システム１００のうち映像圧縮装置２００および映像再生装置３００を映像圧縮装置６００および映像再生装置７００へとそれぞれ変形したシステムに相当する。映像圧縮装置６００および映像再生装置７００は差分符号化を行う。

図２６に例示されるように、映像圧縮装置６００は、第１の圧縮部４０１と、第２の圧縮部６０２と、分離部４０３と、記憶部４０４と、通信部２０５と、変換部４０６と、減算器６０７とを含む。

図２６の第１の圧縮部４０１は、第１の復号映像４７を第２の圧縮部４０２の代わりに減算器６０７へと出力する点で図１９の第１の圧縮部４０１とは異なる。図２６の分離部４０３は、第２のビットストリーム４４の代わりに第２のビットストリーム６４を分離する点で図１９の分離部４０３とは異なる。

減算器６０７は、撮像装置１１０から第２の映像１２を受け取り、第１の圧縮部４０１から第１の復号映像４７を受け取る。減算器６０７は、第２の映像１２から第１の復号映像４７を減算することによって、差分映像６２を生成する。減算器６０７は、差分映像６２を第２の圧縮部６０２へと出力する。

第２の圧縮部６０２は、減算器６０７から差分映像６２を受け取る。第２の圧縮部６０２は、差分映像６２に複数の領域を設定する。そして、第２の圧縮部６０２は、設定した複数の領域の各々が独立して復号可能であるように、差分映像６２を領域毎に圧縮することによって第２のビットストリーム６４を得る。第２の圧縮部６０２のコーデックは、Ｈ．２６４であってもよいし、ＨＥＶＣであってもよい。第２の圧縮部６０２は、第２のビットストリーム６４を分離部４０３へと出力する。

図２７に例示されるように、映像再生装置７００は、通信部３０１と、ストリーム制御部５０２と、結合部５０３と、第１の復号部５０４と、第２の復号部７０５と、加算器７０６とを含む。

図２７の第１の復号部５０４は、第２の復号部５０５の代わりに加算器７０６へと第１の復号映像５５−１を出力する点で図２０の第１の復号部５０４とは異なる。

第２の復号部７０５は、結合部５０３から結合ビットストリーム５４を受け取る。第２の復号部７０５は、結合ビットストリーム５４を復号することによって、復号差分映像７６を生成する。第２の復号部７０５は、第２の圧縮部６０２と共通のコーデックを用いる。第２の復号部７０５は、復号差分映像７６を加算器７０６へと出力する。

加算器７０６は、第１の復号部５０４から第１の復号映像５５−１を受け取り、第２の復号部７０５から復号差分映像７６を受け取る。加算器７０６は、第１の復号映像５５−１および復号差分映像７６を加算することによって、第２の復号映像７５−２を生成する。加算器７０６は、第２の復号映像７５−２を外部装置（例えば、表示装置１３０）へと出力する。第２の復号映像７５−２は、外部装置のバッファに保存され、ユーザによる視聴のために適時に表示される。

なお、第１の復号部５０４および加算器７０６は、第１の復号映像５５−１および第２の復号映像７５−２の一方を外部装置へ出力しなくてもよい。例えば、第２のビットストリーム５３−２を受信できない場合には第１の復号部５０４が第１の復号映像５５−１を出力し、第２のビットストリーム５３−２を受信できる場合には加算器７０６が第２の復号映像７５−２を出力してもよい。

以上説明したように、第３の実施形態に係る映像配信システムは、Ｈ．２６４またはＨＥＶＣをエンコーダおよびデコーダのコーデックとして利用できる。従って、この映像配信システムによれば、第２の実施形態に比べて広く流通しているエンコーダおよびデコーダを用いて当該第２の実施形態と同一または類似の効果を得ることができる。

なお、前述の第１の実施形態乃至第３の実施形態の説明において、映像圧縮装置は、２種類のビットストリームを用意しているが、３種類以上のビットストリームを用意してもよい。映像圧縮装置が用意するビットストリームが増加するほど、当該映像圧縮装置のコストは増加するが、映像再生装置は送信を要求するビットストリームをより柔軟に選択できるので帯域をより有効に活用することができる。

例えば、図２の映像圧縮装置２００に第３の圧縮部が付加されてもよい。第３の圧縮部は、第１の映像１１および第２の映像１２とは異なる目標ビットレートを第３の映像に設定し、第３のビットストリームを生成する。

或いは、図１９の映像圧縮装置４００に、第２の圧縮部４０２とは異なる拡張レイヤを生成するための第３の圧縮部が付加されてもよい。例えば、第２の圧縮部４０２はＰＳＮＲスケーラビリティを提供するための第１の拡張レイヤを生成し、第３の圧縮部は解像度スケーラビリティを提供するための第２の拡張レイヤを生成してもよい。第２の圧縮部４０２および第３の圧縮部は並列に用意されてもよいし、一方が他方にカスケード接続されてもよい。

第２の圧縮部４０２および第３の圧縮部が並列に用意される場合には、映像再生装置５００は、第２の圧縮部４０２および第３の圧縮部によってそれぞれ生成される第１の拡張レイヤおよび第２の拡張レイヤを任意に（例えば、ユーザ要求３２に基づいて）選択できる。

第２の圧縮部４０２が第３の圧縮部にカスケード接続される場合には、第３の圧縮部は第２の圧縮部４０２によって生成された第１の拡張レイヤに基づいて第２の拡張レイヤを高効率に生成できる。

さらに、前述の第１の実施形態乃至第３の実施形態を適宜組み合わせることもできる。係る組み合わせによっても第１の実施形態乃至第３の実施形態と同一または類似の効果を得ることができる。

上記各実施形態において説明された映像圧縮装置および映像再生装置は、ＣＰＵ、ＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）チップ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのハードウェアを用いて実現可能である。また、映像圧縮装置および映像再生装置は例えばＣＰＵなどのプロセッサにプログラムを実行させることによって（すなわち、ソフトウェアによって）実現可能である。また、撮像装置は、これらのハードウェアまたはソフトウェアに加えてイメージセンサを組み合わせることによって実装可能である。表示装置は、これらのハードウェアまたはソフトウェアに加えディスプレイを組み合わせることによって実装可能である。

上記各実施形態の処理の少なくとも一部は、汎用のコンピュータを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１・・・第１の映像
１２・・・第２の映像
１３，３３−１，４３，５３−１・・・第１のビットストリーム
１４，３３−２，４４，５３−２，６４・・・第２のビットストリーム
１５・・・分離ビットストリーム
１５−１・・・分離された第１のビットストリーム
１５−２，４５・・・分離された第２のビットストリーム
１６，３１・・・通信データ
２１・・・符号化対象画像
２２・・・符号化済み領域
２３・・・符号化対象ブロック
２４・・・スライス
２５・・・タイル
３２・・・ユーザ要求
３４，５４・・・結合ビットストリーム
３５・・・復号映像
４１・・・第１の変換映像
４７，５５−１・・・第１の復号映像
５５−２，７５−２・・・第２の復号映像
６２・・・差分映像
７６・・・復号差分映像
１００・・・映像配信システム
１１０・・・撮像装置
１１１，１３１，２１１，３１１・・・メモリ
１１２・・・イメージセンサ
１１３，１３３，２１２，３１２・・・ＣＰＵ
１１４・・・出力Ｉ／Ｆ
１１５，１３５，２０５，２１４，３０１，３１４・・・通信部
１２０・・・チャネル
１３０・・・表示装置
１３２・・・ディスプレイ
１３４・・・入力Ｉ／Ｆ
２００，４００，６００・・・映像圧縮装置
２０１，４０１・・・第１の圧縮部
２０２，４０２，６０２・・・第２の圧縮部
２０３，４０３・・・分離部
２０４，４０４・・・記憶部
２１３，３１３・・・入出力Ｉ／Ｆ
３００，５００，７００・・・映像再生装置
３０２，５０２・・・ストリーム制御部
３０３，５０３・・・結合部
３０４，５０４・・・第１の復号部
４０６・・・変換部
５０５，７０５・・・第２の復号部
６０７・・・減算器
７０６・・・加算器

Claims (12)

1. 第１の映像を圧縮することによって第１のビットストリームを生成する第１の圧縮部と、
   第２の映像に複数の領域を設定し、当該複数の領域の各々が独立して復号可能であるように当該第２の映像を当該領域毎に圧縮することによって、第２のビットストリームを得る第２の圧縮部と、
   前記第２のビットストリームを前記領域単位で分離することによって、分離された第２のビットストリームを得る分離部と、
   前記領域の一部または全部である特定領域を示す領域情報を受信し、前記分離された第２のビットストリームから当該特定領域に対応するビットストリームを選択して送信する通信部と
   を具備し、
   前記第１の圧縮部は、前記第１の映像に前記複数の領域を設定し、当該複数の領域の各々が独立して復号可能であるように当該第１の映像を当該領域毎に圧縮することによって、前記第１のビットストリームを生成し、
   前記分離部は、前記第１のビットストリームを前記領域単位で分離することによって、分離された第１のビットストリームを得て、
   前記通信部は、前記分離された第１のビットストリームから前記特定領域とは異なる領域に対応するビットストリームを選択して送信し、
   前記領域情報は、映像再生装置において高画質での視聴が要求された１以上の要求領域を識別する情報に基づいて、前記要求領域からの距離が小さい領域ほど高く算出される優先度の降順に前記特定領域が選択されるように生成される、
   映像圧縮装置。
2. 第１の映像を圧縮することによって第１のビットストリームを生成する第１の圧縮部と、
   第２の映像に複数の領域を設定し、当該複数の領域の各々が独立して復号可能であるように当該第２の映像を当該領域毎に圧縮することによって、第２のビットストリームを得る第２の圧縮部と、
   前記第２のビットストリームを前記領域単位で分離することによって、分離された第２のビットストリームを得る分離部と、
   前記領域の一部または全部である特定領域を示す領域情報を受信し、前記分離された第２のビットストリームから当該特定領域に対応するビットストリームを選択して送信する通信部と
   を具備し、
   前記第１の圧縮部は、前記第１の映像を圧縮することによって前記第１のビットストリームおよび第１の復号映像を生成し、
   前記第２の圧縮部は、前記第１の復号映像に基づいて前記第２の映像を圧縮し、
   前記領域情報は、映像再生装置において高画質での視聴が要求された１以上の要求領域を識別する情報に基づいて、前記要求領域からの距離が小さい領域ほど高く算出される優先度の降順に前記特定領域が選択されるように生成される、
   映像圧縮装置。
3. 第１の映像を圧縮することによって第１のビットストリームを生成する第１の圧縮部と、
   第２の映像に複数の領域を設定し、当該複数の領域の各々が独立して復号可能であるように当該第２の映像を当該領域毎に圧縮することによって、第２のビットストリームを得る第２の圧縮部と、
   前記第２のビットストリームを前記領域単位で分離することによって、分離された第２のビットストリームを得る分離部と、
   前記領域の一部または全部である特定領域を示す領域情報を受信し、前記分離された第２のビットストリームから当該特定領域に対応するビットストリームを選択して送信する通信部と、
   第３の映像から第１の復号映像を減算することによって前記第２の映像を生成する減算器と
   を具備し、
   前記第１の圧縮部は、前記第１の映像を圧縮することによって前記第１のビットストリームおよび前記第１の復号映像を生成し、
   前記領域情報は、映像再生装置において高画質での視聴が要求された１以上の要求領域を識別する情報に基づいて、前記要求領域からの距離が小さい領域ほど高く算出される優先度の降順に前記特定領域が選択されるように生成される、
   映像圧縮装置。
4. 第１の映像を圧縮することによって第１のビットストリームを生成する第１の圧縮部と、
   第２の映像に複数の領域を設定し、当該複数の領域の各々が独立して復号可能であるように当該第２の映像を当該領域毎に圧縮することによって、第２のビットストリームを得る第２の圧縮部と、
   前記第２のビットストリームを前記領域単位で分離することによって、分離された第２のビットストリームを得る分離部と、
   前記領域の一部または全部である特定領域を示す領域情報を受信し、前記分離された第２のビットストリームから当該特定領域に対応するビットストリームを選択して送信する通信部と
   を具備し、
   前記第１の映像および前記第２の映像が同一の映像であり、
   前記領域情報は、映像再生装置において高画質での視聴が要求された１以上の要求領域を識別する情報に基づいて、前記要求領域からの距離が小さい領域ほど高く算出される優先度の降順に前記特定領域が選択されるように生成される、
   映像圧縮装置。
5. 第３の映像に対して、（ａ）解像度の拡大または縮小、（ｂ）フレームレートの増加または削減、（ｃ）画素ビット長の拡大または縮小、（ｄ）幾何学的変換、ならびに、（ｅ）画角の変更、のうち一部または全部を適用することによって、前記第１の映像を生成する変換部をさらに具備する、請求項１乃至請求項４のいずれか１項の映像圧縮装置。
6. 前記特定領域は、（ａ）前記第１のビットストリームおよび前記第２のビットストリームの少なくとも一方のビットレート、（ｂ）前記第１のビットストリームおよび前記第２のビットストリームの少なくとも一方に含まれる量子化パラメータ、動き情報および予測モード情報のうち少なくとも１つ、（ｃ）前記第２の映像に含まれる監視対象、（ｄ）ユーザ要求、ならびに、（ｅ）画面内の所定位置からの距離、のうち一部または全部に基づいて決定される、請求項１乃至請求項４のいずれか１項の映像圧縮装置。
7. 前記第１の圧縮部および前記第２の圧縮部のコーデックは、Ｈ．２６４、ＨＥＶＣ、Ｈ．２６４のＳＶＣ方式およびＨＥＶＣのＳＶＣ方式のいずれかであり、
   前記複数の領域は、前記第２の映像に対して、（ａ）スライス分割、（ｂ）タイル分割、または、（ｃ）スライス分割およびタイル分割の両方のいずれかを適用することによって得られる、
   請求項１乃至請求項４のいずれか１項の映像圧縮装置。
8. 独立して復号可能な領域単位で分離された第２のビットストリームから送信を要求する特定領域を選択し、当該特定領域を示す領域情報を生成する制御部と、
   前記領域情報を送信し、前記領域単位で分離された第１のビットストリームのうち少なくとも一部の領域に対応するビットストリームと前記第２のビットストリームのうち前記特定領域に対応するビットストリームとを受信する通信部と、
   前記第１のビットストリームのうち前記少なくとも一部の領域に対応するビットストリームと前記第２のビットストリームのうち前記特定領域に対応するビットストリームとを結合することによって結合ビットストリームを得る結合部と、
   前記結合ビットストリームを復号することによって復号映像を得る復号部と
   を具備し、
   前記制御部は、高画質での視聴が要求された１以上の要求領域を識別する情報に基づいて、前記要求領域からの距離が小さい領域ほど高く算出される優先度の降順に前記特定領域が選択されるように前記領域情報を生成する、
   映像再生装置。
9. 前記制御部は、利用可能な帯域を予測し、当該利用可能な帯域に基づいて前記特定領域の総数を決定する、請求項８の映像再生装置。
10. 独立して復号可能な領域単位で分離された第２のビットストリームから送信を要求する特定領域を選択し、当該特定領域を示す領域情報を生成する制御部と、
    前記領域情報を送信し、第１のビットストリームと前記第２のビットストリームのうち前記特定領域に対応するビットストリームとを受信する通信部と、
    前記第１のビットストリームを復号することによって第１の復号映像を得る第１の復号部と、
    前記第２のビットストリームのうち前記特定領域に対応するビットストリームを結合することによって結合ビットストリームを得る結合部と、
    前記結合ビットストリームを前記第１の復号映像に基づいて復号することによって第２の復号映像を得る第２の復号部と
    を具備し、
    前記制御部は、高画質での視聴が要求された１以上の要求領域を識別する情報に基づいて、前記要求領域からの距離が小さい領域ほど高く算出される優先度の降順に前記特定領域が選択されるように前記領域情報を生成する、
    映像再生装置。
11. 前記第２の復号部は、前記第２の復号映像のうち前記特定領域とは異なる領域に前記第１の復号映像の対応領域の映像をコピーする、請求項１０の映像再生装置。
12. 前記結合部は、前記特定領域とは異なる領域に対応するビットストリームの代わりに所定のビットストリームを補填することによって前記結合ビットストリームを得る、請求項１０の映像再生装置。

Images