JP5300760B2 - 映像伝送システム、映像伝送方法及びプログラム - Google Patents

映像伝送システム、映像伝送方法及びプログラム Download PDF

Info

Publication number
JP5300760B2
JP5300760B2 JP2010037959A JP2010037959A JP5300760B2 JP 5300760 B2 JP5300760 B2 JP 5300760B2 JP 2010037959 A JP2010037959 A JP 2010037959A JP 2010037959 A JP2010037959 A JP 2010037959A JP 5300760 B2 JP5300760 B2 JP 5300760B2
Authority
JP
Japan
Prior art keywords
encoded data
data
unit
evaluation value
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010037959A
Other languages
English (en)
Other versions
JP2011176497A (ja
Inventor
雅之 井上
英明 木全
勝彦 深澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2010037959A priority Critical patent/JP5300760B2/ja
Publication of JP2011176497A publication Critical patent/JP2011176497A/ja
Application granted granted Critical
Publication of JP5300760B2 publication Critical patent/JP5300760B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、同期した複数のストリーム構成をもつ映像データを一定の伝送帯域以内で伝送する映像伝送システム、映像伝送方法及びプログラムに関する。
複数のカメラ映像をまとめて圧縮する符号化方式として、国際標準符号化方式Ｈ．２６４ Ａｎｎｅｘ Ｈである多視点映像符号化（ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ））が標準化されている（例えば、非特許文献１参照）。ＭＶＣでは、複数の映像符号化データを多重化した形で圧縮符号化する。映像符号化データとは、映像データを符号化したデータである。このとき、同じタイムスタンプのフレームの映像符号化データを連続して多重化する。すなわち、映像符号化データは、複数の映像データが多重化されたストリームになる。同じタイムスタンプのフレームが連続して多重化されているため、復号器はＭＶＣの映像符号化データを復号することで、同じタイムスタンプの複数のカメラ映像を連続して復号して出力することができる。
図２０は、従来技術による映像伝送システムの構成を示すブロック図である。従来技術の映像伝送システムは、多重化装置１と、映像伝送サーバ２と、映像再生クライアント３と含んで構成される。多重化装置１は、複数のストリーム構成を持つ映像データを符号化し多重化する装置である。映像伝送サーバ２は、多重化装置１にて符号化された映像データを映像再生クライアント３へ送信する装置である。映像再生クライアント３は、映像伝送サーバ２から受信した映像データを復号化して再生する装置である。
多重化装置１は、符号化部１０１とデータ蓄積部１０２とを含んで構成される。符号化部１０１は、Ｍ本のストリーム構成を持つ映像データを入力とし、このＭ本のストリームを同一の固定符号化レート（例えば、ビットレート）で符号化し多重化したデータを生成する。Ｍは1以上の整数である。そして、符号化部１０１は、生成したデータをデータ蓄積部１０２に書き込む。データ蓄積部１０２は、符号化部１０１が生成したデータを蓄積する。
映像伝送サーバ２は、データ送信部１０３を含んで構成される。データ送信部１０３は、データ蓄積部１０２からＮ（≦Ｍ）本のストリームを読み出し、読み出したストリームを映像再生クライアント３のデータ受信部１０４へ送信する。Ｎは、1以上の整数である。ここで、Ｎ本のストリームを送出するためには、Ｎ×固定符号化レート分の伝送レートが必要となる。
映像再生クライアント３は、データ受信部１０４と、復号化部１０５と、映像表示部１０６とを含んで構成される。データ受信部１０４は、映像伝送サーバ２のデータ送信部１０３からＮ本のストリームを受信する。復号化部１０５は、データ受信部１０４が受信したＮ本のストリームを復号する。映像表示部１０６は、復号化部１０５が復号したストリームの映像を表示する。
図２１は、複数のストリームを５００ｋｂｐｓで符号化した際の復号映像におけるＳＮＲ（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）変動の具体例を示す概略図である。
この図において、横軸は時間（単位はフレーム）であり、縦軸はＳＮＲである。図示するように、各映像ストリーム間の違いより、空間的にＳＮＲが異なる。例えば、Ｓｔｒ＿３５で表すストリームとＳｔｒ＿２１で表すストリームとでは、約１０ｄＢ映像品質に差がある。これは、各ストリームに入力される映像は、それぞれ画像の特徴が異なるためである。ここで、ＳＮＲが他の部分と比較し小さい部分は、空間的に被写体が動く部分である。また、各ストリームに入力される映像はそれぞれ重要度が異なる。例えば、ユーザにとって被写体が動く部分が重要である場合には、ＳＮＲが小さい部分が空間的に重要度の高い部分となる。また、この図において、Ｓｔｒ＿７やＳｔｒ＿１４で表すストリームのＳＮＲの時系列変動をみると、５ｄＢ以上の映像品質の変動がある。これにより、１つのストリームでも時間的な映像品質に変動があることがわかる。
Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani, "Panorama video coding for user-driven interactive video application," IEEE International Symposium on Consumer Electronics (ISCE) 2009, 2009.
しかしながら、上述した従来技術では、伝送レート＜Ｎ×固定符号化レートの場合には、Ｎ本のストリームから構成される映像を送出できないという問題がある。また、伝送レート≧Ｎ×固定符号化レートとなるように符号化レートを下げ過ぎると、画像品質が悪くなる場合があるという問題がある。
本発明は、このような事情を考慮してなされたものであり、その目的は、符号化レートを下げ過ぎることなく、伝送レートに応じた最適な高画質映像を伝送することができる映像伝送システム、映像伝送方法及びプログラムを提供することにある。
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、同期した複数のストリームを有する映像データを入力し、入力した前記複数のストリームの各々を複数の符号化レートで符号化してストリームごとに複数の符号化データを生成する符号化手段と、前記符号化手段により生成された複数の符号化データの各々に対する評価値を算出する評価値算出手段と、前記複数のストリームのうち所定数のストリームの組合わせに含まれるストリームそれぞれの符号化レートの総和が所定の伝送帯域以内となる符号化データの組合わせであり、かつ、前記組合わせに含まれるストリームのうち最低の評価値となるストリームから順に評価値が大きくなるようにストリームに対応する複数の符号化データからいずれかの符号化データを選択した符号化データの組合わせを特定する参照情報を作成する参照情報作成手段と、前記参照情報作成手段により作成された参照情報にて特定された符号化データの組合わせを伝送する伝送手段と、前記伝送手段により伝送された符号化データを復号化した映像を表示する映像表示手段とを備え、前記参照情報生成手段は、前記所定数のストリームの組合わせに含まれるストリームそれぞれの最低の評価値に対応する符号化データを選択し、選択した符号化データのうち最低の評価値の符号化データを該符号化データに対応し一段階高い符号化レートで符号化された符号化データに変更する処理を、選択した符号化データの符号化レートの総和が前記所定の伝送帯域を超えない範囲で繰り返し行うことにより、符号化データの組合わせを特定して前記参照情報を作成することを特徴とする映像伝送システムである。
（２）また、本発明の一態様は、上述の映像伝送システムが、サーバ装置とクライアント装置とを有するものであって、前記サーバ装置は、前記入力した複数のストリームの各々を複数の符号化レートで符号化してストリームごとに複数の符号化データを生成する符号化部と、前記符号化部により生成された複数の符号化データを蓄積するデータ蓄積部と、前記符号化部により生成された複数の符号化データの各々に対する評価値を算出する評価値計算部と、前記評価値計算部により算出された評価値を前記クライアント装置に送信する評価値送信部と、符号化データの組合わせを指定するストリーム要求情報を前記クライアント装置から受信すると、該符号化データをデータ蓄積部から読み出すデータ管理部と、前記データ管理部により読み出された符号化データをクライアント装置に伝送するデータ送信部と、を有し、前記クライアント装置は、前記サーバ装置から前記評価値を受信する評価値受信部と、前記複数のストリームのうち所定数のストリームの組合わせに含まれるストリームそれぞれの符号化レートの総和が前記伝送帯域以内となる符号化データの組合わせであり、かつ、前記組合わせに含まれるストリームのうち最低の評価値となるストリームから順に評価値が大きくなるようにストリームに対応する複数の符号化データからいずれかの符号化データを選択した符号化データの組合わせを特定する前記参照情報を作成する参照情報作成部と、前記参照情報作成部により作成された参照情報に基づいて、ストリーム要求情報を前記サーバ装置へ送信するコマンド送信部と、前記サーバ装置から前記参照情報にて特定された符号化データを受信するデータ受信部と、前記データ受信部により受信された符号化データを復号化した映像を表示する映像表示部と、を有する、ことを特徴とする。
（３）また、本発明の一態様は、上記の映像伝送システムにおいて、前記参照情報作成部は、前記データ管理部が符号化データを読み出す時間と前記映像表示部が該符号化データの映像を表示する時間の差を表す平均評価値算出開始オフセットを用いて平均評価値を算出し、算出した平均評価値を前記評価値として用いて前記符号化データの組合わせを特定する前記参照情報を作成することを特徴とする。
（４）また、本発明の一態様は、上記の映像伝送システムにおいて、前記サーバ装置は、入力された映像データを分割することで複数のストリームを生成する映像分割部を更に備え、前記符号化部は、前記映像分割部により分割された複数のストリームの各々を、複数の符号化レートで符号化して符号化データを生成することを特徴とする。
（５）また、本発明の一態様は、上記の映像伝送システムにおいて、前記参照情報作成部は、各ストリームの空間的な重要度を表す重み係数を前記評価値に乗じることを特徴とする。
（６）また、本発明の一態様は、上記の映像伝送システムにおいて、前記クライアント装置は、前記所定数のストリームの組合わせを指定する指定部を更に備え、前記参照情報作成部は、前記指定部によりストリームの組合わせが指示されると、該ストリームに対応する符号化データの組合わせを特定する参照情報を作成することを特徴とする。
（７）また、本発明の一態様は、上記の映像伝送システムにおいて、前記コマンド送信部は、前記指定部により前記所定数のストリームの組合わせが指示されると、前記ストリーム要求情報を前記サーバ装置へ送信することを特徴とする。
（８）また、本発明の一態様は、サーバ装置の符号化部が、同期した複数のストリームを有する映像データを入力し、入力した前記複数のストリームの各々を複数の符号化レートで符号化してストリームごとに複数の符号化データを生成し、該符号化データをデータ蓄積部に書き込むステップと、前記サーバ装置の評価値計算部が、前記符号化部により生成された複数の符号化データの各々に対する評価値を算出するステップと、前記サーバ装置の評価値送信部が、前記評価値計算部により算出された評価値を送信するステップと、クライアント装置の評価値受信部が、前記サーバ装置から前記評価値を受信するステップと、前記クライアント装置の参照情報作成部が、前記複数のストリームのうち所定数のストリームの組合わせに含まれるストリームそれぞれの符号化レートの総和が所定の伝送帯域以内となる符号化データの組合わせであり、かつ、前記組合わせに含まれるストリームのうち最低の評価値となるストリームから順に評価値が大きくなるようにストリームに対応する複数の符号化データからいずれかの符号化データを選択した符号化データの組合わせを特定する参照情報を作成するステップと、前記クライアント装置のコマンド送信部が、前記参照情報作成部により作成された参照情報に基づいて、符号化データの組合わせを指定するストリーム要求情報を前記サーバ装置へ送信するステップと、前記サーバ装置のデータ管理部が、ストリーム要求情報を受信すると、該ストリーム要求情報にて指定される符号化データをデータ蓄積部から読み出すステップと、前記サーバ装置のデータ送信部が、前記データ管理部により読み出された符号化データを前記クライアント装置に伝送するステップと、前記クライアント装置のデータ受信部が、前記サーバ装置から前記符号化データを受信するステップと、前記クライアント装置の映像表示部が、前記データ受信部により受信された符号化データを復号化した映像を表示するステップと、を有し、前記参照情報を作成するステップでは、前記所定数のストリームの組合わせに含まれるストリームそれぞれの最低の評価値に対応する符号化データを選択し、選択した符号化データのうち最低の評価値の符号化データを該符号化データに対応し一段階高い符号化レートで符号化された符号化データに変更する処理を、選択した符号化データの符号化レートの総和が前記所定の伝送帯域を超えない範囲で繰り返し行うことにより、符号化データの組合わせを特定して前記参照情報を作成することを特徴とする映像伝送方法である。
（９）また、本発明の一態様は、同期した複数のストリームを有する映像データを入力し、入力した前記複数のストリームの各々を複数の符号化レートで符号化してストリームごとに複数の符号化データを生成し、該符号化データをデータ蓄積部に書き込むステップと、前記生成した複数の符号化データの各々に対する評価値を算出するステップと、前記算出した評価値を送信するステップと、符号化データの組合わせを指定するストリーム要求情報を受信すると、該符号化データをデータ蓄積部から読み出すステップと、前記読み出した符号化データを所定の伝送帯域で伝送するステップと、をコンピュータに実行させるためのプログラムである。
（１０）また、本発明の一態様は、同期した複数のストリームの各々を複数の符号化レートで符号化して生成されたストリームごとの複数の符号化データに対して算出された評価値をサーバ装置から受信するステップと、前記複数のストリームのうち所定数のストリームの組合わせに含まれるストリームそれぞれの符号化レートの総和が所定の伝送帯域以内となる符号化データの組合わせであり、かつ、前記組合わせに含まれるストリームのうち最低の評価値となるストリームから順に評価値が大きくなるようにストリームに対応する複数の符号化データからいずれかの符号化データを選択した符号化データの組合わせを特定する参照情報を作成するステップと、前記作成した参照情報に基づいて、符号化データの組合わせを指定するストリーム要求情報を前記サーバ装置へ送信するステップと、前記サーバ装置から前記符号化データを受信するステップと、前記受信した符号化データを復号化した映像を表示するステップと、をコンピュータに実行させ、前記参照情報を作成するステップでは、前記所定数のストリームの組合わせに含まれるストリームそれぞれの最低の評価値に対応する符号化データを選択し、選択した符号化データのうち最低の評価値の符号化データを該符号化データに対応し一段階高い符号化レートで符号化された符号化データに変更する処理を、選択した符号化データの符号化レートの総和が前記所定の伝送帯域を超えない範囲で繰り返し行うことにより、符号化データの組合わせを特定して前記参照情報を作成するためのプログラムである。
本発明によれば、各ストリームの符号化レートの総和が伝送帯域内となり、かつ、各ストリームの符号化レートがより大きくなるよう、評価値を用いて伝送する符号化データを特定する。これにより、符号化レートを下げすぎることなく、伝送帯域に応じた最適な高画質映像を伝送することができる。
本発明の第１実施形態による映像伝送システムの構成を示すブロック図である。 本実施形態によるデータ再生時刻とデータ読出し時刻の関係を説明するための概略図である。 本実施形態による多重化装置と映像再生クライアントにおける平均評価値算出区間を説明するための概略図である。 本実施形態による評価値算出処理の手順を示すフローチャートである。 本実施形態によるストリームＩＤと映像符号化データＩＤの対応情報のデータ構造及びデータ例を示す概略図である。 本実施形態による参照情報作成処理の手順を示すフローチャートである。 本実施形態による平均評価値算出処理の手順を示すフローチャートである。 本実施形態による平均評価値をキーとした映像符号化データＩＤの昇順ソートの具体例を示す概念図である。 本実施形態による参照情報の具体例を示す概念図である。 本実施形態による映像再生クライアントにおけるコマンド送信処理を説明するためのフローチャートである。 本実施形態による映像伝送サーバにおけるコマンド受信およびデータ送信処理を説明するためのフローチャートである。 本実施形態による映像再生クライアントにおけるデータ受信および映像表示処理を説明するためのフローチャートである。 第２実施形態による映像伝送システムの構成を示すブロック図である。 本実施形態によるタイル分割処理を説明するための概略図である。 本実施形態による評価値算出処理の手順を示すフローチャートである。 本実施形態による映像符号化データＩＤの具体例を示す概略図である。 本実施形態によるタイルＩＤと映像符号化データＩＤの対応情報のデータ構造及びデータ例を示す概略図である。 本実施形態による重み係数マトリクスを示す概略図である。 本実施形態による映像表示部における映像表示例を表す概略図である。 従来技術による映像伝送システムの構成を示すブロック図である。 複数のストリームを５００ｋｂｐｓで符号化した際の復号映像におけるＳＮＲ変動の具体例を示す概略図である。
以下、本発明の一実施形態を、図面を参照して詳しく説明する。
Ａ．第１実施形態
図１は、本発明の第１実施形態による映像伝送システムの構成を示すブロック図である。
映像伝送システムは、多重化装置１０と、映像伝送サーバ２０と、映像再生クライアント３０とを含んで構成される。多重化装置１０は、映像データを符号化し多重化して蓄積する装置である。映像伝送サーバ２０は、多重化装置１０に蓄積された映像データを映像再生クライアント３０に送信する装置である。ここで、多重化装置１０と映像伝送サーバ２０とがサーバ装置である。映像再生クライアント３０（クライアント）は、映像伝送サーバ２０から受信した映像データを復号し再生する装置である。
多重化装置１０は、符号化部２０１と、データ蓄積部２０２と、評価値計算部２０３と、評価値蓄積部２０４とを含んで構成される。符号化部２０１（符号化手段）は、同期した複数（Ｍ本）のストリーム構成を持つ映像データを入力とし、入力されたストリームの各々を複数の符号化レートを指定するパラメータ（例えば、ビットレート）で符号化し多重化して符号化データを生成する。そして、符号化部２０１は、生成した符号化データをデータ蓄積部２０２へ書き込む。なお、本実施形態では、符号化レートを指定するパラメータをビットレートとしたが、これに限られることはなく、例えばＱＰ値（量子化パラメータ）などでもよい。データ蓄積部２０２は、符号化部２０１が生成した符号化データを蓄積する。評価値計算部２０３（評価値算出手段）は、データ蓄積部２０２に蓄積されている符号化データの各々に対する評価値をフレーム毎に算出する。評価値はＳＮＲである。そして、評価値計算部２０３は、所定時間（たとえば、５フレームに相当する時間）における評価値の平均値である平均評価値を算出し、評価値蓄積部２０４へ書き込む。評価値蓄積部２０４は、評価値計算部２０３が算出した平均評価値を蓄積する。
なお、評価値蓄積部２０４は平均評価値を蓄積しているが、評価値を蓄積してもよい。また、データ蓄積部２０２は、評価値、符号化データの順に多重化したデータを蓄積してもよい。
映像伝送サーバ２０は、データ管理部２０５と、コマンド受信部２０６と、データ送信部２０７と、評価値送信部２０８とを含んで構成される。コマンド受信部２０６は、映像再生クライアント３０のコマンド送信部２０９からストリーム要求情報などのコマンドを受信する。ストリーム要求情報は、映像再生クライアント３０が表示する符号化データの組合わせを指定するデータである。データ管理部２０５は、コマンド受信部２０６がストリーム要求情報を受信すると、該ストリーム要求情報に従って、データ蓄積部２０２へＮ（≦Ｍ）本のストリームを要求することで、データ蓄積部２０２に蓄積されたＭ本のストリームからＮ本のストリームを読み出す。そして、データ管理部２０５は、読み出したＮ本のストリームをデータ送信部２０７へ転送する。データ送信部２０７（伝送手段）は、データ管理部２０５から入力されたＮ本のストリームを映像再生クライアント３０のデータ受信部２１２へ所定の伝送帯域で伝送する。なお、評価値送信部２０８は、データ送信部２０７がストリームを送信する前に、事前に評価値蓄積部２０４から評価値情報を読み出し、読み出した評価情報を映像再生クライアント３０の評価値受信部２１５へ送信する。評価値情報は、評価値蓄積部２０４に蓄積された平均評価値のデータである。
映像再生クライアント３０は、コマンド送信部２０９と、参照情報蓄積部２１０と、コマンド変換部２１１と、データ受信部２１２と、復号化部２１３と、映像表示部２１４と、評価値受信部２１５と、評価値蓄積部２１６と、ストリーム組合わせ指定部２１７と、参照情報作成部２１８と、パラメータ指定部２１９とを含んで構成される。データ受信部２１２は、映像伝送サーバ２０のデータ送信部２０７からＮ本のストリームを受信する。復号化部２１３は、データ受信部２１２が受信したストリームを復号する。映像表示部２１４は、復号化部２１３が復号化した映像を表示する。評価値受信部２１５は、映像伝送サーバ２０の評価値送信部２０８から評価値情報を受信し、受信した評価値情報を評価値蓄積部２１６に書き込む。評価値蓄積部２１６は、評価値受信部２１５が受信した評価値情報を蓄積する。ストリーム組合わせ指定部２１７は、ストリーム組合わせ指定の変更入力を受付ける。
参照情報作成部２１８（参照情報作成手段）は、ストリーム組合わせ指定部２１７にてストリーム組合わせ指定に変更があった場合に、参照情報を作成する。参照情報は、符号化データの組合わせを特定するデータである。具体的には、参照情報作成部２１８は、評価値蓄積部２１６から評価値情報を読み出し、該評価情報に基づいて平均評価値を算出する。そして、参照情報作成部２１８は、Ｍ本のストリームのうちＮ本のストリームについて、符号化レートの総和が所定の伝送帯域以内となり、かつ、各ストリームの符号化レートがより大きくなるように、具体的には、全てのストリームで最低の評価値となるストリームから順に評価値が大きくなるように、平均評価値を用いて符号化データの組合わせを特定する。パラメータ指定部２１９は、参照情報を作成する際に用いる平均評価値算出開始オフセットと平均評価値算出区間の指定の入力を受け付ける。平均評価値算出開始オフセットは、データ管理部２０５が符号化データを読み出す時間と映像表示部２１４が該符号化データの映像を表示する時間の差を表すパラメータである。平均評価値算出区間とは、平均評価値を算出する区間である。参照情報蓄積部２１０は、参照情報作成部２１８が作成した参照情報を蓄積する。コマンド変換部２１１は、ストリーム組合わせ指定部２１７にてストリーム組合わせ指定に変更があった場合に、参照情報蓄積部２１０に蓄積された参照情報を参照してストリーム要求情報を作成する。コマンド送信部２０９は、コマンド変換部２１１が作成したストリーム要求情報を映像伝送サーバ２０のコマンド受信部２０６にコマンド送信する。つまり、コマンド送信部２０９は、ストリーム組合わせ指定部２１７によりストリームの組合わせが指定されると、ストリーム要求情報を映像伝送サーバ２０のコマンド受信部２０６に送信する。
なお、多重化装置１０におけるデータ蓄積部２０２と評価値蓄積部２０４とを機能統合してもよい。また、映像伝送サーバ２０におけるデータ送信部２０７と評価値送信部２０８とを機能統合してもよい。或いは、映像再生クライアント３０におけるデータ受信部２１２と評価値受信部２１５とを機能統合するような構成も可能である。
図２は、本実施形態によるデータ再生時刻とデータ読出し時刻の関係を説明するための概略図である。同図を参照して以下のように用語を定義する。
データ読出し時刻ｔｓは、データ管理部２０５がデータ蓄積部２０２からＮ本のストリームを読み出す時刻である。データ再生時刻ｔｃは、映像表示部２１４が映像を表示する時刻である。なお、各時刻は、映像データの先頭を０とした場合のフレーム位置（第Ｘフレーム目（Ｘは正の整数））で表す。ここでは、説明のため時間の単位をフレームとする。Δａは、復号化部２１３におけるバッファ時間（単位はフレーム）である。Δｂは、データ受信部２１２におけるバッファ時間（単位はフレーム）である。Δｃは、データ送信部２０７におけるバッファ時間（単位はフレーム）である。Δｄは、コマンド受信部２０６におけるバッファ時間（単位はフレーム）である。また、総和時間Ｔｂは、復号化部２１３とデータ受信部２１２とデータ送信部２０７とコマンド受信部２０６とにおけるバッファの総和時間であり、Ｔｂ＝Δａ＋Δｂ＋Δｃ＋Δｄである。本実施形態では、総和時間Ｔｂが平均評価値算出開始オフセットである。また、ｔｓ＝ｔｃ＋Ｔｂである。ここで、総和時間Ｔｂを正確に測定することが困難な場合は、各機能部のバッファ設定値から推定されるバッファの総和時間をＴｂとして予め映像再生クライアント３０に手動設定する。
また、Ｍ本のストリーム（以下、全体ストリームとする）から構成される映像を「全体映像」、Ｎ（≦Ｍ）本のストリーム（以下、部分ストリームとする）から構成される映像を「部分映像」、１本のストリームから構成される映像を「単位映像」と定義する。つまり、全体映像はＭ個の単位映像、部分映像はＮ個の単位映像から構成される。
図３は、本実施形態による多重化装置１０と映像再生クライアント３０における平均評価値算出区間を説明するための概略図である。同図において、横軸は時間であり、映像フレーム３０１は映像再生クライアント３０にて再生する部分映像の映像フレームである。同図を参照して以下のように用語を定義する。
データ終端時刻Ｔｅは、部分映像の終端時刻である。ジャンプ再生開始時刻ｔｒｓは、部分映像を再生開始する時刻である。映像再生クライアント３０は、ユーザからジャンプ再生開始時刻ｔｒｓが指定されると、部分映像をジャンプ再生開始時刻ｔｒｓから再生する。平均評価値算出区間Ｔａｓは多重化装置１０における平均評価値を算出する区間である。平均評価値算出区間Ｔａｃは、映像再生クライアント３０における平均評価値を算出する区間である。平均評価値Ａｉ（ｉ＝１，２，３，…）は、Ｔａｓにおける平均評価値である。また、平均評価値Ａａｊ（ｊ＝１，２，３，…）は、Ｔａｃにおける平均評価値である。
次に、図４を参照して多重化装置１０による評価値算出処理について説明する。図４は、本実施形態による評価値算出処理の手順を示すフローチャートである。
まず、符号化部２０１は、同期した複数のストリーム（以下、入力ストリームとする）が入力されると、各入力ストリームにストリームＩＤを付与する。ストリームＩＤは、各ストリームを識別するための識別子である。次に、符号化部２０１は、各入力ストリームを複数段階のビットレートで符号化する（ステップＳ００１）。そして、符号化部２０１は、符号化後のストリームに対して映像符号化データＩＤを付与する（ステップＳ００２）。映像符号化データＩＤは、符号化後のストリームを識別するための識別子である。続いて、評価値計算部２０３が、ストリームＩＤと映像符号化データＩＤの対応情報の作成を行う（ステップＳ００３）。そして、評価値計算部２０３は、各映像符号化データＩＤに対する評価値の算出をフレーム毎に行う（ステップＳ００４）。最後に、評価値計算部２０３は、平均評価値算出区間Ｔａｓにおける平均評価値Ａｉを映像符号化データＩＤ毎に算出する（ステップＳ００５）。
なお、各フレームの評価値ＳＮＲは、次の式（１）により算出する。
ＳＮＲ＝１０＊ｌｏｇ１０（ＭＡＸ２／ＭＳＥ） … （１）
単位はデシベル［ｄＢ］である。ＭＡＸは、映像データにおける原画像が取り得る最大画素値である。例えば、ビット深度が８ビットの場合、ＭＡＸの値は２５５である。また、ＭＳＥとは、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）のことであり、原画像とローカルデコード画像との差分の二乗総和を、画像の画素数で割ることで求められる。また、符号化部２０１にてローカルデコード画像が得られない符号化モード（例えば、フルイントラモード）などの場合には、ローカルデコード画像作成（復号化）を符号化手順とは別に行う必要がある。
図５は、本実施形態によるストリームＩＤと映像符号化データＩＤの対応情報のデータ構造及びデータ例を示す概略図である。図示するように、ストリームＩＤと映像符号化データＩＤの対応情報テーブルは、行と列からなる２次元の表形式のデータであり、ストリームＩＤと、各符号化レート（５００ｋｂｐｓ，１Ｍｂｐｓ，１．５Ｍｂｐｓ）における映像符号化データＩＤの各項目の列を有している。このテーブルの各行はストリームＩＤ毎に存在する。
次に、図６を参照して映像再生クライアント３０による参照情報作成処理について説明する。図６は、本実施形態による参照情報作成処理の手順を示すフローチャートである。
まず、ストリーム組合わせ指定部２１７が、伝送レートとストリーム組合わせの入力を受け付ける（ステップＳ７０１）。伝送レートは、映像伝送サーバ２０から映像再生クライアント３０へストリームを送信する際の伝送帯域である。ストリーム組合わせは、ストリームＩＤの組合わせである。映像再生クライアント３０のユーザは、伝送レートとストリーム組合わせをストリーム組合わせ指定部２１７に設定する。次に、パラメータ指定部２１９が、各パラメータ（ベースビットレートと、改善ビットレートと、平均評価値算出開始オフセットと、平均評価値算出区間Ｔａｃ）の入力を受け付ける（ステップＳ７０２）。ベースビットレートは、ストリームを伝送する際に基本となる符号化レートである。改善ビットレートは、ベースビットレートより大きい符号化レートである。映像再生クライアント３０のユーザは、ベースビットレートと改善ビットレートと平均評価値算出開始オフセットＴｂと平均評価値算出区間Ｔａｃをパラメータ指定部２１９に設定する。なお、伝送レートと、ストリーム組合わせと、各パラメータは、映像再生クライアント３０に予め設定しておいてもよい。
次に、参照情報作成部２１８が、ストリーム組合わせに含まれるストリームＩＤに対応する平均評価値Ａｉを評価値蓄積部２１６から読み出し、平均評価値Ａｉを用いて平均評価値算出区間Ｔａｃにおける平均評価値Ａａｊを算出する（ステップＳ７０３）。平均評価値Ａａｊの算出方法については後述する。そして、参照情報作成部２１８は、ベースビットレートによる符号化データに付与された映像符号化データＩＤにストリームＩＤを変更する。次に、参照情報作成部２１８は、算出した平均評価値Ａａｊをキーとした映像符号化データＩＤの昇順ソートを行う（ステップＳ７０４）。
次に、参照情報作成部２１８は、平均評価値Ａａｊが最低値を示す映像符号化データＩＤを、１段階上の改善ビットレートで符号化された符号化データに付与された映像符号化データＩＤに変更する（ステップＳ７０５）。つまり、参照情報作成部２１８は、評価値の小さいストリームから順に符号化レートを大きくする。したがって、順に評価値が大きくなるように符号化レートを指定するパラメータを変更することができる。そして、参照情報作成部２１８は、映像符号化データＩＤに対応するビットレートの総和（以下、総ビットレートとする）が伝送レートより大きいか否かを判定する（ステップＳ７０６）。
総ビットレートが伝送レート以下の場合（ステップＳ７０６のＮＯ）には、ステップＳ７０４に戻る。一方、総ビットレートが伝送レートより大きい場合（ステップＳ７０６のＹＥＳ）には、参照情報作成部２１８は、直前に行った映像符号化データＩＤの変更を元に戻す（ステップＳ７０７）。最後に、参照情報作成部２１８は、参照情報の作成を行う（ステップＳ７０８）。参照情報の詳細については後述する。
次に、図７を参照して映像再生クライアント３０による平均評価値算出処理について説明する。図７は、本実施形態による平均評価値算出処理の手順を示すフローチャートである。
まず、参照情報作成部２１８は、「ｔｃ−ｔｒｓ＜Ｔｂ」または「ｔｃ≧Ｔｅ−Ｔｂ」であるか否かを判定する（ステップＳ２３１）。ステップＳ２３１でＹＥＳの場合には、参照情報作成部２１８は、区間［ｔｃ〜ｔｃ＋Ｔａｃ］（ｔｃからｔｃ＋Ｔａｃの間）における平均評価値Ａｉの平均値を平均評価値Ａａｊとする（ステップＳ２３２）。一方、ステップＳ２３１でＮＯの場合には、参照情報作成部２１８は、区間［ｔｃ＋Ｔｂ〜ｔｃ＋Ｔｂ＋Ｔａｃ］（ｔｃ＋Ｔｂからｔｃ＋Ｔｂ＋Ｔａｃの間）における平均評価値Ａｉの平均値を平均評価値Ａａｊとする（ステップＳ２３３）。
次に、平均評価値算出処理について具体的な例を用いて説明する。ここでは、映像データをジャンプ再生（ユーザの指定する任意の時刻から再生）する際に、バッファクリア（バッファにあるデータを消去）するケースについて説明する。
ここで、データ送信部２０７、データ受信部２１２、復号化部２１３、コマンド受信部２０６などに存在するバッファにより，映像再生クライアント３０によるデータ再生時刻ｔｃと映像伝送サーバ２０によるデータ読出し時刻ｔｓが異なる。このため、時間的な映像品質の変動を考慮する際に、このデータ再生時刻ｔｃとデータ読出し時刻ｔｓ差異を考慮する必要がある。
以下、多重化装置１０における平均評価値算出区間Ｔａｓが５フレームであり、データ終端時刻Ｔｅが第４０フレーム目であり、映像再生クライアント３０における平均評価値算出区間Ｔａｃが１５フレームであり、平均評価値算出開始オフセットＴｂが１５フレームである場合を例に平均評価値算出処理について説明する。また、以下、ストリーム組合わせ指定部２１７にてストリーム組合わせが指定された時刻とデータ再生時刻ｔｃは同時刻である。また、ジャンプ再生開始時刻ｔｒｓからｔｒｓ＋Ｔｂまでの区間をコンテンツデータ再生先頭部分と定義し、データ終端時刻Ｔｅ−ＴｂからＴｅまでの区間をコンテンツデータ再生終端部分と定義し、その他の区間をコンテンツデータ再生中間部分と定義する。
まず、ジャンプ再生開始時刻ｔｒｓが第１フレーム目であり、データ再生時刻ｔｃが第３フレーム目である場合について説明する。このとき、ｔｃ−ｔｒｓ＝３−１＝２である。よって、ｔｃ−ｔｒｓ＜Ｔｂ（＝１５）であるため、上述したＳ２３１の判定はＹＥＳである。つまり、データ再生時刻ｔｃは、コンテンツデータ再生先頭部分である。そして、平均値の算出区間は、[ｔｃ〜ｔｃ＋Ｔａｃ]＝区間[３〜１８]となる。ここで、参照情報作成部２１８は、区間[３〜１８]と重なりのあるＡ１，Ａ２，Ａ３，Ａ４を用いて平均評価値を算出する。従って、平均評価値は図３に示すＡａ１となり、次の式（２）により算出する。
Ａａ１＝（Ａ１＋Ａ２＋Ａ３＋Ａ４）／４ …（２）
次に、ジャンプ再生開始時刻ｔｒｓがマイナス第１５フレーム目（時間軸方向逆に１５フレーム目）であり、データ再生時刻ｔｃが第３フレーム目である場合について説明する。このとき、ｔｃ−ｔｒｓ＝３−(−１５)＝１８である。よって、ｔｃ−ｔｒｓ≧Ｔｂ(＝１５)であるため、上述したＳ２３１の判定はＮｏである。つまり、データ再生時刻ｔｃは、コンテンツデータ再生中間部分である。そして、平均値の算出区間は、区間[ｔｃ＋Ｔｂ〜Ｔｃ＋Ｔｂ＋Ｔａｃ]＝区間[１８〜３３]となる。ここで、参照情報作成部２１８は、区間[１８〜３３]と重なりのあるＡ４，Ａ５，Ａ６，Ａ７を用いて平均評価値を算出する。従って、平均評価値は図３に示すＡａ２となり、次の式（３）により算出する。
Ａａ２＝（Ａ４＋Ａ５＋Ａ６＋Ａ７）／４ …（３）
このように「ストリーム組合わせ」の指定の変化があった際に、平均評価値算出開始オフセットＴｂを用いて映像再生クライアント３０における平均評価値を計算することで、新規のストリーム要求時点における、サーバ装置側データ読出し時刻ｔｓ付近の映像品質を考慮したデータ要求が可能となる。
なお、Ａａ２は必ずしも平均値である必要はなく、参照情報作成処理における評価値の算出の際に、平均評価値算出開始オフセットと平均評価値算出区間を指定することが、時間的な画像品質変動を考慮した新規のストリーム要求には重要である。
最後に、データ再生時刻ｔｃが第３０フレーム目である場合について説明する。このとき、Ｔｅ−Ｔｂ＝４０−１５＝２５である。つまり、データ再生時刻ｔｃはコンテンツデータ再生終端部分である。よって、ｔｃ(＝３０)≧Ｔｅ−Ｔｂであるため、上述したＳ２３１はＹＥＳ判定となり、平均値の算出区間は、区間[ｔｃ〜ｔｃ＋Ｔａｃ]＝区間[３０〜４５]となる。ここで、参照情報作成部２１８は、区間[３０〜４５]と重なりのある区間のＡ７，Ａ８を用いて平均評価値を算出する。したがって、平均評価値は図３に示すＡａ３となり、次の式（４）により算出する。
Ａａ３＝（Ａ７＋Ａ８）／２ …（４）
次に、図８及び図９を参照して参照情報作成処理について具体例を用いて説明する。図８は、本実施形態による平均評価値をキーとした映像符号化データＩＤの昇順ソートの具体例を示す概念図である。以下、伝送レートが１１Ｍｂｐｓであり、ベースビットレートが５００ｋｂｐｓであり、改善ビットレートが１Ｍｂｐｓ及び１．５Ｍｂｐｓ（２段階の改善）であり、各機能部のバッファの総和時間Ｔｂを示す平均評価値算出開始オフセットが１５フレームであり、平均評価値算出区間Ｔａｃが１５フレームである場合について説明する。
図８（ａ）は、各ストリームの平均評価値Ａａｊを示す概略図である。参照情報作成部２１８は、上述したステップＳ７０３において、各ストリームＩＤに対し、５００ｋｂｐｓで符号化した場合の平均評価値ＳＮＲ＿Ｙ５００と、１Ｍｂｐｓで符号化した場合の平均評価値ＳＮＲ＿Ｙ１０００と、１．５Ｍｂｐｓで符号化した場合の平均評価値ＳＮＲ＿Ｙ１５００とを算出する。
図８（ｂ）は、映像符号化データＩＤを変更した結果を示す概略図である。参照情報作成部２１８は、上述したステップＳ７０４からＳ７０７までの処理を繰り返すことにより、映像符号化データＩＤを変更する。まず、参照情報作成部２１８は、ストリーム組合わせ指定部２１７にて指定されたストリームＩＤ＝（７，８，９，１３，１４，１５，１９，２０，２１，２５，２６，２７）を、ベースビットレートによる符号化データに付与された映像符号化データＩＤ＝（１０７，１０８，１０９，１１３，１１４，１１５，１１９，１２０，１２１，１２５，１２６，１２７）に変更する。そして、参照情報作成部２１８は、ベースビットレートにおける平均評価値ＳＮＲ＿Ｙ５００をキーとした映像符号化データＩＤの昇順ソートを行う（ステップＳ７０４）。次に、参照情報作成部２１８は、映像符号化データＩＤ＝（１０７，１０８，１０９，１１３，１１４，１１５，１１９，１２０，１２１，１２５，１２６，１２７）のうち、ＳＮＲ＿Ｙ５００が最低値を示す映像符号化データＩＤ＝１２１を、１段階上の１Ｍｂｐｓで符号化された符号化データに付与された映像符号化データＩＤ＝２２１に変更する（ステップＳ７０５）。変更後は、映像符号化データＩＤ＝（１０７，１０８，１０９，１１３，１１４，１１５，１１９，１２０，２２１，１２５，１２６，１２７）となる。
この結果、総ビットレート１１×０．５Ｍｂｐｓ＋１×１Ｍｂｐｓ＝６．５Ｍｂｐｓ＜伝送レート＝１１Ｍｂｐｓとなり（ステップＳ７０６のＮＯ）、Ｓ７０４へ戻る。なお、ソートと映像符号化データＩＤ変更を複数回行った後、映像符号化データＩＤ＝２２１をさらに変更する際には、１段階上の１．５Ｍｂｐｓで符号化されたデータに付与された映像符号化データＩＤ＝３２１に変更する。図８（ｂ）において、斜線での網掛け部分（映像符号化データＩＤ＝（２０７，２１５、２１３、２１４、２２７，２２０，２１９，２０９））は映像符号化データＩＤを１回変更した部分であり、点での網掛け部分（映像符号化ＩＤ＝３２１）は映像符号化ＩＤを２回変更した部分である。
そして、ステップＳ７０６にてＹＥＳとなった場合には、総ビットレートが伝送レートを超えていることを示しているので、参照情報作成部２１８は、直前の映像符号化データＩＤ変更を元に戻す（ステップＳ７０７）。今回のケースでは、参照情報作成部２１８は、１０回の映像符号化データＩＤ変更を実施し、図８（ｂ）に示すような結果を得ることができる。ここで、ＳＮＲ＿Ｙは、変更後の映像符号化データＩＤに対応する平均評価値Ａａｊを示している。
図９は、本実施形態による参照情報の具体例を示す概念図である。図９（ａ）は、映像符号化データＩＤ変更結果を示す概略図である。映像符号化データＩＤ変更結果は、参照情報作成部２１８が上述したステップＳ７０４からＳ７０７までの処理を繰り返すことにより、映像符号化データＩＤを変更した結果の映像符号化データＩＤとＳＮＲ＿Ｙである。図９（ｂ）は、参照情報のデータ構造及びデータ例を示す概略図である。図示するように、参照情報は、行と列からなる２次元の表形式のデータであり、ストリーム組合わせとストリーム要求情報の各項目の列を有している。このテーブルの各行はストリーム組合わせ毎に存在する。ストリーム組合わせは、ストリームＩＤの組合わせを識別するための識別番号である。ストリーム要求情報は、要求する映像符号化データＩＤの組合わせである。図示する例では、ストリーム組合わせＩＤ＝６に対応するストリーム要求情報が「２０７，２１５，２１６，１０８，２１３，２１４，３２１，２２７，１２５，２２０，２１９，２０９」であり、図９（ａ）に示す映像符号化データＩＤの変更結果である。
次に、本第１実施形態による映像伝送システムで、映像再生クライアント３０からのコマンド送信から映像表示までの一連の手順について図１０から図１２を参照して説明する。
図１０は、本実施形態による映像再生クライアント３０におけるコマンド送信処理を説明するためのフローチャートである。まず、ストリーム組合わせ指定部２１７が、ストリーム組合わせの指定を受け付ける（ステップＳ１１１）。次に、コマンド変換部２１１が、参照情報蓄積部２１０から参照情報を読み出し、ストリーム組合わせ指定部２１７にて指定されたストリーム組合わせに対応するストリーム要求情報を参照情報から読み出すことによりコマンド変換を行う（ステップＳ１１２）。そして、コマンド送信部２０９が、読み出したストリーム要求情報をコマンド送信する（ステップＳ１１３）。
図１１は、本実施形態による映像伝送サーバ２０におけるコマンド受信およびデータ送信処理を説明するためのフローチャートである。まず、コマンド受信部２０６が、映像再生クライアント３０のコマンド送信部２０９からストリーム要求情報を含むコマンドを受信する（ステップＳ１２１）。次に、データ管理部２０５が、要求データＩＤを解釈する（ステップＳ１２２）。具体的には、データ管理部２０５は、受信したストリーム要求情報に含まれる映像符号化データＩＤを要求データＩＤとする。そして、データ管理部２０５は、要求データＩＤに対応するストリームをデータ蓄積部２０２から読み出し、読み出したストリームをデータ送信部２０７へ転送する（ステップＳ１２３）。最後に、データ送信部２０７が、入力されたストリームを映像再生クライアント３０のデータ受信部２１２へ送信する（ステップＳ１２４）。
図１２は、本実施形態による映像再生クライアント３０におけるデータ受信および映像表示処理を説明するためのフローチャートである。まず、データ受信部２１２がストリームの受信を行う（ステップＳ１３１）。次に、復号化部２１３が受信したストリームの復号化を行う（ステップＳ１３２）。最後に、映像表示部２１４が復号化した映像の表示を行う（ステップＳ１３３）。
このように、本実施形態によれば、参照情報作成部２１８は、平均評価値に基づいて、各ストリームの符号化レートの総和≦伝送レートにおいて、各ストリームの符号化レートがより大きくなるよう符号化データを特定する。これにより、符号化レートを下げすぎることなく、伝送レートに応じた最適な高画質映像を伝送することができる。
また、参照情報作成部２１８が平均評価値算出開始オフセットＴｂを用いて平均評価値Ａａｊを算出することにより、新規のストリーム要求時点における、サーバ装置側データ読出し時刻ｔｓ付近の映像品質を考慮したデータ要求が可能となる。つまり、時間的な映像品質の変動に対応したストリームの伝送をすることができる。
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図１３は、第２実施形態による映像伝送システムの構成を示すブロック図である。図１３から明らかなように、本実施形態における映像伝送システムは、図１に示す構成に対して多重化装置４０における映像分割部１４１を新たに設けている。他の構成は第１実施形態と同様である。なお、図１と同様の構成については説明を省略する。映像分割部１４１は、入力された映像データ（以下、入力映像データとする）を小領域に分割（タイル分割）することでＭ本のストリームを生成する。符号化部３０１は、映像分割部１４１が分割した各ストリームを複数の符号化レートで符号化し多重化して符号化データを作成する。
図１４は、本実施形態によるタイル分割処理を説明するための概略図である。
上述したように、本第２実施形態では、映像分割部１４１にて、入力映像データ４００を同期した複数のストリーム（タイル４０１）に分割する。ここで、映像データにおいて、四角形の画像の所定の方向を縦方向とし、縦方向に対して直交する方向を横方向として定める。例えば、入力映像データ４００の画素数（以下、入力映像サイズとする）が３８４０×１９２０画素、タイル４０１の画素数（以下、タイルサイズとする）が６４０×３２０画素である場合には、図１４に示すように、映像分割部１４１は入力映像データ４００を縦方向に６、横方向に６分割する。つまり、入力映像データ４００のストリームは３６本のストリームに分割される。また、このとき、映像分割部１４１は、分割した各タイル４０１に対して、各タイルを識別するためのタイルＩＤを付与する。
次に、図１５を参照して多重化装置４０による評価値算出処理について説明する。図１５は、本実施形態による評価値算出処理の手順を示すフローチャートである。
まず、映像分割部１４１が、３８４０×１９２０画素の入力映像データを、６×６＝３６個にタイル分割する（ステップＳ１７１）。次に、符号化部３０１が、分割された各タイルを複数段階のビットレート（例えば、５００ｋｂｐｓ、１Ｍｂｐｓ、１．５Ｍｂｐｓ）で符号化する（ステップＳ１７２）。続いて、符号化部３０１は、各タイルの符号化結果に対して映像符号化データＩＤの付与を行う（ステップＳ１７３）。
次に、評価値計算部３０３が、タイルＩＤと映像符号化データＩＤの対応情報を作成する（ステップＳ１７４）。そして、評価値計算部３０３は、各映像符号化データＩＤに対する評価値を算出する（ステップＳ１７５）。具体的には、評価値計算部３０３は、入力画像のタイル分割後に得られるタイルサイズの原画像と、符号化部３０１での処理の過程で得られるタイルサイズのローカルデコード画像とからＳＮＲを算出し、その値を評価値とする。最後に、評価値計算部３０３は、平均評価値を算出する（ステップＳ１７６）。
図１６は、本実施形態による映像符号化データＩＤの具体例を示す概略図である。図１６（ａ）は５００Ｋｂｐｓ、図１６（ｂ）は１Ｍｂｐｓ、図１６（ｃ）は１．５Ｍｂｐｓで各タイルを符号化した場合の映像符号化データＩＤを示す。図示するように、上述したステップＳ１７３において、符号化部３０１は、タイルＩＤ０から３５のストリームを５００Ｋｂｐｓで符号化した結果に対して映像符号化データＩＤ１００から１３５を付与する。また、符号化部３０１は、タイルＩＤ０から３５のストリームを１Ｍｂｐｓで符号化した結果に対して映像符号化データＩＤ２００から２３５を付与する。また、符号化部３０１は、タイルＩＤ０から３５のストリームを１．５Ｍｂｐｓで符号化した結果に対して映像符号化データＩＤ３００から３３５を付与する。
図１７は、本実施形態によるタイルＩＤと映像符号化データＩＤの対応情報のデータ構造及びデータ例を示す概略図である。図示するように、タイルＩＤと映像符号化データＩＤの対応情報テーブルは、行と列からなる２次元の表形式のデータであり、タイルＩＤと、各符号化レート（５００ｋｂｐｓ，１Ｍｂｐｓ，１．５Ｍｂｐｓ）における映像符号化データＩＤの各項目の列を有している。このテーブルの各行はタイルＩＤ毎に存在する。
次に、本実施形態による映像再生クライアント６０における参照情報作成処理について図１８を参照して説明する。図１８は、本実施形態による重み係数マトリクスを示す概略図である。重み係数マトリクスは、各タイルの重み係数を示すマトリクスである。重み係数とは、各タイルの空間的な重要度を表す係数である。本実施形態では、各ストリームは表示の際に空間的に配置されるため、各ストリームが空間的な意味を持ち、それぞれ重要度が異なる。このため、参照情報作成部３１８は、重み係数を平均評価値に乗じた後に、平均評価値をキーとした映像符号化データＩＤの昇順ソートを実施する。他の処理は前述した第１実施形態と同様である。これにより、空間的な重要度を考慮した参照情報を作成することができる。本実施形態では、重み係数が小さいほど重要度が高い。図に示す例では、中心に位置するタイルＩＤ＝（１４，１５，２０，２１）の重み係数が０．５であり、他のタイルの重み係数１より小さい。つまり、タイルＩＤ＝（１４，１５，２０，２１）の重要度は、他のタイルより大きい。ここで、各タイルの重み係数は時間的に変動する。
なお、重み係数マトリクスは、映像伝送サーバ５０から映像再生クライアント６０へストリームの伝送する前にストリームごとに事前に送信される。或いは、映像再生クライアント６０で各タイルの重み係数を設定してもよい。
図１９は、本実施形態による映像表示部３１４における映像表示例を表す概略図である。
図に示す例では、映像表示部３１４が表示する映像のサイズは１９２０×１０８０画素であり、映像表示部３１４は４×３＝１２のタイルを表示する。また、映像表示部３１４が表示する映像の表示パターンは１２通り（表示パターンＰ１からＰ１２）である。図１９において、斜線で示すタイルが映像表示部３１４で表示する映像である。例えば、表示パターンＰ１では、映像表示部３１４はタイルＩＤ＝（０，１，２，６，７，８，１２，１３，１４，１８，１９，２０）を表示する。また、表示パターンＰ２では、映像表示部３１４はタイルＩＤ＝（１，２，３，７，８，９，１３，１４，１５，１９，２０，２１）を表示する。表示パターンＰ３では、映像表示部３１４はタイルＩＤ＝（２，３，４，８，９，１０，１４，１５，１６，２０，２１，２２）を表示する。表示パターンＰ４では、映像表示部３１４はタイルＩＤ＝（３，４，５，９，１０，１１，１５，１６，１７，２１，２２，２３）を表示する。表示パターンＰ５では、映像表示部３１４はタイルＩＤ＝（６，７，８，１２，１３，１４，１８，１９，２０，２４，２５，２６）を表示する。表示パターンＰ６では、映像表示部３１４はタイルＩＤ＝（７，８，９，１３，１４，１５，１９，２０，２１，２５，２６，２７）を表示する。表示パターンＰ７では、映像表示部３１４はタイルＩＤ＝（８，９，１０，１４，１５，１６，２０，２１，２２，２６，２７，２８）を表示する。表示パターンＰ８では、映像表示部３１４はタイルＩＤ＝（９，１０，１１，１５，１６，１７，２１，２２，２３，２７，２８，２９）を表示する。表示パターンＰ９では、映像表示部３１４はタイルＩＤ＝（１２，１３，１４，１８，１９，２０，２４，２５，２６，３０，３１，３２）を表示する。表示パターンＰ１０では、映像表示部３１４はタイルＩＤ＝（１３，１４，１５，１９，２０，２１，２５，２６，２７，３１，３２，３３）を表示する。表示パターンＰ１１では、映像表示部３１４はタイルＩＤ＝（１４，１５，１６，２０，２１，２２，２６，２７，２８，３２，３３，３４）を表示する。表示パターンＰ１２では、映像表示部３１４はタイルＩＤ＝（１５，１６，１７，２１，２２，２３，２７，２８，２９，３３，３４，３５）を表示する。
このように、本実施形態によれば、映像分割部１４１が映像データを複数のタイルに分割し、参照情報作成部３１８が分割した各タイルに重み係数を付与する。これにより、各タイルにおける映像の空間的な重要度を考慮して各タイルの符号化レートを選択することができる。つまり、より重要度の高いタイルがより大きい符号化レートで伝送されるため、重要度の高いタイルの映像を高画質にて再生することができる。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
１，１０，４０…多重化装置 ２，２０，５０…映像伝送サーバ ３，３０，６０…映像再生クライアント １０１，２０１，３０１…符号化部 １０２，２０２，３０２…データ蓄積部 １０３，２０７，３０７…データ送信部 １０４，２１２，３１２…データ受信部 １０５，２１３，３１３…復号化部 １０６，２１４，３１４…映像表示部 １４１…映像分割部 ２０３，３０３…評価値計算部 ２０４，３０４…評価値蓄積部 ２０５，３０５…データ管理部 ２０６，３０６…コマンド受信部 ２０８，３０８…評価値送信部 ２０９，３０９…コマンド送信部 ２１０，３１０…参照情報蓄積部 ２１１，３１１…コマンド変換部 ２１５，３１５…評価値受信部 ２１６，３１６…評価値蓄積部 ２１７，３１７…ストリーム組合わせ指定部 ２１８，３１８…参照情報作成部 ２１９，３１９…パラメータ指定部

Claims (10)

  1. 同期した複数のストリームを有する映像データを入力し、入力した前記複数のストリームの各々を複数の符号化レートで符号化してストリームごとに複数の符号化データを生成する符号化手段と、
    前記符号化手段により生成された複数の符号化データの各々に対する評価値を算出する評価値算出手段と、
    前記複数のストリームのうち所定数のストリームの組合わせに含まれるストリームそれぞれの符号化レートの総和が所定の伝送帯域以内となる符号化データの組合わせであり、かつ、前記組合わせに含まれるストリームのうち最低の評価値となるストリームから順に評価値が大きくなるようにストリームに対応する複数の符号化データからいずれかの符号化データを選択した符号化データの組合わせを特定する参照情報を作成する参照情報作成手段と、
    前記参照情報作成手段により作成された参照情報にて特定された符号化データの組合わせを伝送する伝送手段と、
    前記伝送手段により伝送された符号化データを復号化した映像を表示する映像表示手段と
    を備え、
    前記参照情報生成手段は、
    前記所定数のストリームの組合わせに含まれるストリームそれぞれの最低の評価値に対応する符号化データを選択し、
    選択した符号化データのうち最低の評価値の符号化データを該符号化データに対応し一段階高い符号化レートで符号化された符号化データに変更する処理を、選択した符号化データの符号化レートの総和が前記所定の伝送帯域を超えない範囲で繰り返し行うことにより、符号化データの組合わせを特定して前記参照情報を作成する
    ことを特徴とする映像伝送システム。
  2. 請求項１記載の映像伝送システムは、サーバ装置とクライアント装置とを有するものであって、
    前記サーバ装置は、
    前記入力した複数のストリームの各々を複数の符号化レートで符号化してストリームごとに複数の符号化データを生成する符号化部と、
    前記符号化部により生成された複数の符号化データを蓄積するデータ蓄積部と、
    前記符号化部により生成された複数の符号化データの各々に対する評価値を算出する評価値計算部と、
    前記評価値計算部により算出された評価値を前記クライアント装置に送信する評価値送信部と、
    符号化データの組合わせを指定するストリーム要求情報を前記クライアント装置から受信すると、該符号化データをデータ蓄積部から読み出すデータ管理部と、
    前記データ管理部により読み出された符号化データをクライアント装置に伝送するデータ送信部と、
    を有し、
    前記クライアント装置は、
    前記サーバ装置から前記評価値を受信する評価値受信部と、
    前記複数のストリームのうち所定数のストリームの組合わせに含まれるストリームそれぞれの符号化レートの総和が前記伝送帯域以内となる符号化データの組合わせであり、かつ、前記組合わせに含まれるストリームのうち最低の評価値となるストリームから順に評価値が大きくなるようにストリームに対応する複数の符号化データからいずれかの符号化データを選択した符号化データの組合わせを特定する前記参照情報を作成する参照情報作成部と、
    前記参照情報作成部により作成された参照情報に基づいて、ストリーム要求情報を前記サーバ装置へ送信するコマンド送信部と、
    前記サーバ装置から前記参照情報にて特定された符号化データを受信するデータ受信部と、
    前記データ受信部により受信された符号化データを復号化した映像を表示する映像表示部と、
    を有する、
    ことを特徴とする映像伝送システム。
  3. 前記参照情報作成部は、
    前記データ管理部が符号化データを読み出す時間と前記映像表示部が該符号化データの映像を表示する時間の差を表す平均評価値算出開始オフセットを用いて平均評価値を算出し、
    算出した平均評価値を前記評価値として用いて前記符号化データの組合わせを特定する前記参照情報を作成する
    ことを特徴とする請求項２に記載の映像伝送システム。
  4. 前記サーバ装置は、
    入力された映像データを分割することで複数のストリームを生成する映像分割部を更に備え、
    前記符号化部は、
    前記映像分割部により分割された複数のストリームの各々を、複数の符号化レートで符号化して符号化データを生成する
    ことを特徴とする請求項２又は請求項３のいずれかに記載の映像伝送システム。
  5. 前記参照情報作成部は、
    各ストリームの空間的な重要度を表す重み係数を前記評価値に乗じる
    ことを特徴とする請求項４に記載の映像伝送システム。
  6. 前記クライアント装置は、
    前記所定数のストリームの組合わせを指定する指定部を更に備え、
    前記参照情報作成部は、
    前記指定部によりストリームの組合わせが指示されると、該ストリームに対応する符号化データの組合わせを特定する参照情報を作成する
    ことを特徴とする請求項２から請求項５までのいずれか１項に記載の映像伝送システム。
  7. 前記コマンド送信部は、
    前記指定部により前記所定数のストリームの組合わせが指示されると、前記ストリーム要求情報を前記サーバ装置へ送信する
    ことを特徴とする請求項６に記載の映像伝送システム。
  8. サーバ装置の符号化部が、同期した複数のストリームを有する映像データを入力し、入力した前記複数のストリームの各々を複数の符号化レートで符号化してストリームごとに複数の符号化データを生成し、該符号化データをデータ蓄積部に書き込むステップと、
    前記サーバ装置の評価値計算部が、前記符号化部により生成された複数の符号化データの各々に対する評価値を算出するステップと、
    前記サーバ装置の評価値送信部が、前記評価値計算部により算出された評価値を送信するステップと、
    クライアント装置の評価値受信部が、前記サーバ装置から前記評価値を受信するステップと、
    前記クライアント装置の参照情報作成部が、前記複数のストリームのうち所定数のストリームの組合わせに含まれるストリームそれぞれの符号化レートの総和が所定の伝送帯域以内となる符号化データの組合わせであり、かつ、前記組合わせに含まれるストリームのうち最低の評価値となるストリームから順に評価値が大きくなるようにストリームに対応する複数の符号化データからいずれかの符号化データを選択した符号化データの組合わせを特定する参照情報を作成するステップと、
    前記クライアント装置のコマンド送信部が、前記参照情報作成部により作成された参照情報に基づいて、符号化データの組合わせを指定するストリーム要求情報を前記サーバ装置へ送信するステップと、
    前記サーバ装置のデータ管理部が、ストリーム要求情報を受信すると、該ストリーム要求情報にて指定される符号化データをデータ蓄積部から読み出すステップと、
    前記サーバ装置のデータ送信部が、前記データ管理部により読み出された符号化データを前記クライアント装置に伝送するステップと、
    前記クライアント装置のデータ受信部が、前記サーバ装置から前記符号化データを受信するステップと、
    前記クライアント装置の映像表示部が、前記データ受信部により受信された符号化データを復号化した映像を表示するステップと、
    を有し、
    前記参照情報を作成するステップでは、
    前記所定数のストリームの組合わせに含まれるストリームそれぞれの最低の評価値に対応する符号化データを選択し、
    選択した符号化データのうち最低の評価値の符号化データを該符号化データに対応し一段階高い符号化レートで符号化された符号化データに変更する処理を、選択した符号化データの符号化レートの総和が前記所定の伝送帯域を超えない範囲で繰り返し行うことにより、符号化データの組合わせを特定して前記参照情報を作成する
    ことを特徴とする映像伝送方法。
  9. 同期した複数のストリームを有する映像データを入力し、入力した前記複数のストリームの各々を複数の符号化レートで符号化してストリームごとに複数の符号化データを生成し、該符号化データをデータ蓄積部に書き込むステップと、
    前記生成した複数の符号化データの各々に対する評価値を算出するステップと、
    前記算出した評価値を送信するステップと、
    符号化データの組合わせを指定するストリーム要求情報を受信すると、該符号化データをデータ蓄積部から読み出すステップと、
    前記読み出した符号化データを所定の伝送帯域で伝送するステップと、
    をコンピュータに実行させるためのプログラム。
  10. 同期した複数のストリームの各々を複数の符号化レートで符号化して生成されたストリームごとの複数の符号化データに対して算出された評価値をサーバ装置から受信するステップと、
    前記複数のストリームのうち所定数のストリームの組合わせに含まれるストリームそれぞれの符号化レートの総和が所定の伝送帯域以内となる符号化データの組合わせであり、かつ、前記組合わせに含まれるストリームのうち最低の評価値となるストリームから順に評価値が大きくなるようにストリームに対応する複数の符号化データからいずれかの符号化データを選択した符号化データの組合わせを特定する参照情報を作成するステップと、
    前記作成した参照情報に基づいて、符号化データの組合わせを指定するストリーム要求情報を前記サーバ装置へ送信するステップと、
    前記サーバ装置から前記符号化データを受信するステップと、
    前記受信した符号化データを復号化した映像を表示するステップと、
    をコンピュータに実行させ、
    前記参照情報を作成するステップでは、
    前記所定数のストリームの組合わせに含まれるストリームそれぞれの最低の評価値に対応する符号化データを選択し、
    選択した符号化データのうち最低の評価値の符号化データを該符号化データに対応し一段階高い符号化レートで符号化された符号化データに変更する処理を、選択した符号化データの符号化レートの総和が前記所定の伝送帯域を超えない範囲で繰り返し行うことにより、符号化データの組合わせを特定して前記参照情報を作成する
    ためのプログラム。
JP2010037959A 2010-02-23 2010-02-23 映像伝送システム、映像伝送方法及びプログラム Expired - Fee Related JP5300760B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010037959A JP5300760B2 (ja) 2010-02-23 2010-02-23 映像伝送システム、映像伝送方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010037959A JP5300760B2 (ja) 2010-02-23 2010-02-23 映像伝送システム、映像伝送方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2011176497A JP2011176497A (ja) 2011-09-08
JP5300760B2 true JP5300760B2 (ja) 2013-09-25

Family

ID=44688972

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010037959A Expired - Fee Related JP5300760B2 (ja) 2010-02-23 2010-02-23 映像伝送システム、映像伝送方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5300760B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2680527A1 (en) * 2012-06-28 2014-01-01 Alcatel-Lucent Adaptive streaming aware node, encoder and client enabling smooth quality transition
US10623736B2 (en) * 2018-06-14 2020-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Tile selection and bandwidth optimization for providing 360° immersive video

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03163979A (ja) * 1989-11-22 1991-07-15 Nippon Telegr & Teleph Corp <Ntt> 映像符号化多重伝送方式
JPH0662393A (ja) * 1992-08-04 1994-03-04 G C Technol Kk 多重化した動画像符号化方法と装置
JPH0698324A (ja) * 1992-09-16 1994-04-08 Hitachi Ltd 画像情報伝送システム
JP3203612B2 (ja) * 1994-05-02 2001-08-27 日本電信電話株式会社 画像符号化復号化方法
JP2000224589A (ja) * 1999-01-29 2000-08-11 Toshiba Corp 動画像符号化装置および動画像符号化方法
JP3575348B2 (ja) * 1999-09-22 2004-10-13 松下電器産業株式会社 番組再生装置
JP2004088621A (ja) * 2002-08-28 2004-03-18 Ntt Docomo Inc マルチメディア通信制御方法、マルチメディア通信制御サーバ及びマルチメディア通信システム
JP4157740B2 (ja) * 2002-08-30 2008-10-01 富士通株式会社 画像伝送装置、画像伝送方法及びソフトウェアプログラム
JP4538724B2 (ja) * 2004-08-18 2010-09-08 富士ゼロックス株式会社 パラメータ決定装置、符号化装置、パラメータ決定方法及びそのプログラム
JP5006763B2 (ja) * 2007-11-05 2012-08-22 キヤノン株式会社 画像符号化装置及びその制御方法、コンピュータプログラム

Also Published As

Publication number Publication date
JP2011176497A (ja) 2011-09-08

Similar Documents

Publication Publication Date Title
CN101273635B (zh) 使用相机参数对多视图画面编码和解码的设备和方法
CN101002471B (zh) 对图像编码的方法和设备及对图像数据解码的方法和设备
CN102549507B (zh) 选择视点用于在3d视频中生成附加视图
US20060222252A1 (en) Apparatus and method for encoding multi-view video using camera parameters, apparatus and method for generating multi-view video using camera parameters, and recording medium storing program for implementing the methods
CN107211193A (zh) 感知体验质量估计驱动的智能适应视频流传输方法和系统
US20100220792A1 (en) Encoding device and decoding device
JP2011525745A (ja) 映像生成方法、映像処理方法及びその装置
US11252397B2 (en) File generation apparatus and file generation method as well as reproduction apparatus and reproduction method
US20190349627A1 (en) Streaming media transmission method and client applied to virtual reality technology
JP2009194920A (ja) 画像符号化装置、および画像送信装置
JP4789212B2 (ja) 映像品質評価方法および装置
CN111818295A (zh) 一种图像获取方法及装置
JP4510678B2 (ja) 映像伝送装置および映像伝送・受信再生装置
JP5339290B2 (ja) 映像多重化装置、映像多重化方法、及びプログラム
JP2011151721A (ja) 画像処理装置、画像処理方法、およびプログラム
JP5300760B2 (ja) 映像伝送システム、映像伝送方法及びプログラム
CN113141526B (zh) QoE驱动下的联合资源分配的点云视频自适应传输方法
CN102870416A (zh) 运动图像编码装置以及运动图像解码装置
CN111901601B (zh) 动态点云数据传输中的不等差错保护的码率分配方法
US20180270507A1 (en) Method for encoding streams of video data based on groups of pictures (gop)
US20110317758A1 (en) Image processing apparatus and method of processing image and video
JP7287523B2 (ja) 画像復号化装置、画像復号化方法及び画像復号化プログラム
CN102316345A (zh) 图像处理单元、图像处理方法及计算机程序
JP2020005201A (ja) 送信装置及び受信装置
JP2005151176A (ja) 画像伝送方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130408

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130618

R150 Certificate of patent or registration of utility model

Ref document number: 5300760

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees