JP5064305B2 - ビットレート変換装置及び変換方法 - Google Patents

Description

本発明は、ビットレート変換装置及び変換方法に関し、特に、ある伝送路で送信するために符号化された動画像データを、異なるビットレートをもつ動画像データに変換する動画像ビットレート変換装置に関する。

特許文献１には、映像情報に付随する補助情報に基づき、画像中の領域により画質を決定し、映像製作者が重要と考える部分の画質劣化を抑制することのできるビットレート変換器について記載されている。
特許文献２には、画像中の重要領域を検出し重要領域に多くの符号化量を割り当てることにより、視認性を向上させることのできるビットレート変換器について記載されている。
特開２００３−６１０８９号公報 特開２００３−１９９１０２号公報

動画像を記憶媒体に記録あるいはネットワークを用いて伝送する際に、画質を維持したままデータ量を削減するため、MPEG−2（ISO／IEC 13818）等の動画像の符号化方式が用いられる。通常、単位時間当たりのデータ量を表すビットレートに基づき、各フレームにおける符号化量が決定される。
動画像のビットレートは、放送波等の伝送路の容量に応じて決定される。そのため、ある伝送路で送信することを前提に符号化された動画像データを別のより狭い帯域を持った伝送路で送信する際には、より低いビットレートの動画像データに変換する必要が生じる。
しかし、ビットレートを下げることは、画質の劣化を引き起こす要因となる。そのため、記録された動画像データをよりビットレートの低い動画像データに変換する際に、視聴者が重要と感じると推測される情報を失わないようにする種々の工夫が考えられている。

特許文献１および特許文献２に記載の手法は、動画像の内容に基づき重要領域の画質劣化を抑える方法であり、画像を用いて視聴者に情報を伝達したい場合に適しているといえる。これらの手法は動画像の各フレームにおいて、重要なオブジェクトを含まない領域の画質の劣化を許容することで、重要なオブジェクトを含む領域の画質の劣化を防ぐ。
しかし、視聴者にとっての映像の重要度は時間によっても変化する。例えば、サッカー競技では各チームの得点により勝敗が決まるため、サッカー競技の中継放送番組では、ゴールシーンは視聴者の関心事のうちの一つである。故に、ゴールシーンの時刻の前後の、ある一定の範囲の時間に含まれる動画像フレームは、それ以外の部分の動画像フレームと比較して相対的に重要度が高いといえる。このため、時間軸方向にもシーンの重要度に応じて動画像の再生時刻に応じて符号化量の割り当てを行うことができれば、視聴者が重要と感じるシーンの画質の劣化を防げると期待できる。

本発明の動画像ビットレート変換装置は、動画像のビットレートを変換する際に、映像の各再生時刻について与えられる重要度と、変換元の動画像データのビットレート情報と、伝送路の伝送容量とから、生成される動画像データのビットレートを算術的に求め、ビットレート変換を行うことを特徴とする。

すなわち、本発明は、符号化された第一の動画像データを、前記第一の動画像データとは異なるビットレートをもつ第二の動画像データに変換するビットレート変換装置において、前記第一の動画像データの経過時刻毎に重要度を表す評価値を保持する手段を備え、前記第一の動画像データのビットレート情報と、前記第一の動画像データの経過時刻の所定範囲毎の重要度を表す評価値と、目標平均ビットレートとから、算術的に前記第二の動画像データのビットレートを、経過時刻毎に重要度を表す評価値の高い部分に対し符号量を優先的に割り当てるよう決定し、前記第二の動画像データを生成するビットレート変換装置である。

また、本発明は、前記重要度を表す評価値は、第一の動画像データの経過時刻の所定範囲毎の重要度を表す評価値であり、重要度を表す評価値のない経過時刻について、評価値の補間処理を行うビットレート変換装置である。

そして、本発明は、前記第二の動画像データのビットレートを決定する際に、前記第二の動画像データの送信先である受信装置から受信バッファの総容量と、受信バッファの使用量と、受信速度のビットレートとを受け取り、データ受信中に受信バッファの使用量が受信バッファの総容量を上回らないように前記第二の動画像のビットレートを経過時刻毎に決定するビットレート変換装置である。

更に、本発明は、前記第一の動画像データに動画像の復号に無関係な付加的データが埋め込まれている場合に、前記第一の動画像データの経過時刻毎の重要度を表す評価値の高い区間から、相対的に低い区間へと前記付加的データを全てあるいは一部移動させるとともに、前記移動に伴って生じた区間毎の付加的データのビット量の増減を相殺するように、前記第二の動画像データのビットレートを経過時刻毎に決定するビットレート変換装置である。

また、本発明は、符号化された第一の動画像データを、前記第一の動画像データとは異なるビットレートをもつ第二の動画像データに変換するビットレート変換方法において、前記第一の動画像データの経過時刻毎に重要度を表す評価値を保持することと、前記第一の動画像データのビットレート情報と、前記第一の動画像データの経過時刻の所定範囲毎の重要度を表す評価値と、目標平均ビットレートとから、算術的に前記第二の動画像データのビットレートを、経過時刻毎に重要度を表す評価値の高い部分に対し符号量を優先的に割り当てるよう決定し、前記第二の動画像データを生成することを含むビットレート変換方法である。

そして、本発明は、前記第二の動画像データのビットレートを決定する際に、前記第二の動画像データの送信先である受信装置から受信バッファの総容量と、受信バッファの使用量と、受信速度のビットレートとを受け取り、データ受信中に受信バッファの使用量が受信バッファの総容量を上回らず、かつ、総容量がなくならないように、前記第二の動画像のビットレートを経過時刻毎に決定することを含むビットレート変換方法である。

本発明によって、符号化された動画像データのデータ量をさらに削減する目的、あるいは帯域の狭いネットワークで映像を送信するためにビットレートを低くする目的で、動画像データのビットレート変換を行う際に、再生時刻毎に与えられる重要度についての評価値が高い部分に対し符号化量を優先的に割り当てることで画質の劣化を防ぐので、視聴者が重要と感じるシーンの動画像の視認性が向上する。

また、本発明のビットレート変換装置と、動画像受信装置とをネットワーク等を介して接続し、映像を配信する場合において、受信側のバッファ容量に応じて、前記符号化量の割り当ての際に一度に処理する再生時刻の範囲を決定するので、様々な受信バッファ容量を持つ動画像受信装置に対応することができる。さらに、受信バッファ容量が変動する場合でも、適切にビットレート変換を行うことができる。

また、本発明のビットレート変換装置は、さらにMPEG２システム（ISO13818−1）で規定されるカルーセルのような付加的データが変換元の動画像データに含まれる場合において、重要度の低い時刻に付加的データが割り当てられるよう再多重化を行うので、重要度に応じて各データに割り当てられたビットレートを再割り当てすることができ、視聴者が重要と感じるシーンの動画像の視認性を向上させる効果がさらに高まる。

以下、本発明による好適な実施の形態を、添付図面を参照しながら説明する。
本発明のビットレート変換装置及び方法の実施例について、図面を用いて説明する。

実施例１を説明する。図１は本発明の第一の実施の形態のシステム構成図である。なお、図１ではストリーム入力部101、ストリーム入力バッファ部102、ビットレート変換部103、ストリーム送信部104、ビットレート算出部105、ビットレート制御部106、評価値算出部121の各ブロックは別々のブロックとして表現されているが、ソフトウェアとして実現される場合、単一のプログラムであってよい。

以下、ビットレート変換装置109の各ブロックの詳細について説明する。ストリーム入力部101は、ストリーム格納部111からストリームを読み取り、ストリーム入力バッファ部102に格納する。ビットレート変換部103は、ストリーム入力バッファ部102から動画像データを、ビットレート制御部106からビットレートをそれぞれ受け取り、指定されたビットレートに変換した後、ストリーム送信部104に出力する。
ストリーム送信部104は、ビットレート変換部103から入力される動画像ストリームを、任意の通信手段を使ってビットレート変換装置109の外部に出力する。なお、ストリーム送信部104を、ビットレート変換部103から入力されるストリームを外部に出力せず、ストリーム格納部111に格納する構成としてもよい。

評価値算出部121は、ストリーム格納部111から動画像ストリームを読み出し、ジャンル情報等のメタ情報と、動画像データと音声データとを解析し、各フレームに対して重要度を表す数値を算出し、算出した評価値を評価値格納部112に書き出す。
評価値算出部121を構成する手段として、例えば、ダイジェスト映像生成技術における重要度の評価手法を用いてよい。重要なシーンを含むと思われるフレームを抜き出すことで、元の動画像を要約した新たな動画像を生成するダイジェスト映像生成技術の分野においては、動画像に含まれる各フレームに対し、視聴者にとって重要であると推測される度合いを数値化した値を算出するものがある。例えば、図３に示すように動画像の各再生（経過）時刻に対しスコア（評価値）を算出する。
ビットレート算出部105は、評価値格納部112から重要度を表す評価値を読み出し、変換対象となる再生時刻範囲と、当該再生時刻範囲内の各再生時刻における重要度を表す評価値と、当該再生時刻範囲内の入力動画像データのビットレートとから、当該時刻範囲における出力動画像データのビットレートを算出し、ビットレート制御部106に出力される動画像ストリームのビットレートを設定する。ビットレート制御部106は、各時刻におけるビットレートの目標値に基づきビットレートの値をビットレート変換部103へ出力する。

次に、本発明の第一の実施の処理シーケンスを説明する図２を用いて、処理の手順の一例について説明する。なお、図２ではビットレートの変換処理のシーケンスのみが説明されており、評価値算出部121における評価値の算出処理については省略されている。ビットレートの変換処理が指示されると、ストリーム入力部101はビットレート算出部105に入力ストリームのストリームIDと共にストリーム入力開始通知（メッセージ601）を送信する。次に、ビットレート算出部105は表価値格納部112に評価値を問い合わせる（メッセージ602）。次に、ビットレート算出部105はビットレートの値を算出する（メッセージ603）。ストリーム入力部101がストリームの一部をストリーム入力バッファ部102に書き込む（メッセージ611）と、ビットレート変換機は、読み出そうとするストリームの再生時刻の範囲と共にビットレート開始通知をビットレート制御部106に送信（メッセージ612）した後、ストリーム入力バッファ部102からストリームの読み出す（メッセージ613）。ビットレート制御部106は、ビットレート算出部105に当該範囲のビットレートを問い合わせ（メッセージ614）、ビットレート変換部103にビットレートを設定する（メッセージ615）。次に、ビットレート変換部103は、設定されたビットレートに従って、ビットレート変換処理を行う（メッセージ616）。その後、ビットレート変換部103は変換後のストリームをストリーム送信部104に書き出す（メッセージ617）。以降、入力ストリームが尽きるまで、区間651に含まれる処理と同様の処理が、例えば区間652のように、繰り返される。

次に、ストリーム格納部111が保持する情報について、ストリーム管理テーブルを説明する図４を用いて説明する。ストリーム管理テーブルは、ストリームのIDを表す列701と、再生時間を表す列702と、ストリームの実体が格納されている位置を表す列703との各列からなる。

次に、評価値算出部121が算出する評価値について図３を用いて説明する。算出された評価値は、図３におけるテーブル301の形式で格納される。図４において、ストリームIDを表す項目313はテーブル301自身の内容がどの動画像ストリームから算出されたかを表す識別子である。開始時刻を表す列311の値は評価の行われた範囲の開始時刻を表している。評価値を表す列312の値はその範囲における評価値を表す。例えば、行324の開始時刻から行325の開始時刻までの区間についての評価値は、行324における列312の値「2」となる。

次に、各時刻のビットレートの算出方法を説明する図５、入力ストリームのビットレートを説明する図６、および出力ストリームの目標ビットレートを説明する図７を用いて、ビットレート算出部105の行うビットレート算出処理について説明する。
ビットレート算出部105は、ストリーム入力部101が読み出すストリームに対し、そのストリームIDをキーとして評価値格納部112から、対応する評価値テーブルを読み出す。読み出した評価値テーブルの値をその値の時間範囲の代表値とみなし、時間範囲の中心にその値をプロットする。例えば、図５において、区間411の評価値は図３における行322における列312から得られるが、この値を点412にプロットする。
プロットされた点に対し、補間処理を行い、時刻に関する評価値の関数Ｓ^ｎ（ｔ）を求める。図５においては、プロットされた点を補間した結果、グラフ421で示される関数を得る。なお、補間方法としては、線形補間、スプライン補間等、種々のものを用いてよい。

入力ストリームのビットレートと評価値を乗算し、ビットレートの時間変動を決定する。例えば、次式に示す、ストリームIDがｎである入力ストリームについての関数Ｒ^ｎ _ｖ（ｔ）を用いて、時間変動の関数値を求める。

ここで、ｔは再生時刻（秒）、Ｒ^ｎ _{ｉｎｐｕｔ}（ｔ）はストリームIDがnである入力ストリームについての時間変動の関数、Ｃ_１およびＣ_２は夫々あらかじめ定められた定数であり、例えば目標平均ビットレートから決定してよい。

算出された時間変動の関数値を、正規化し、あらかじめ定められた目標平均ビットレートＲ_{ｔａｒｇｅｔ}（図７のグラフ512）を乗算することで、ストリームIDがｎである入力ストリームについての、出力ストリームの目標ビットレートＲ^ｎ _{ｏｕｔｐｕｔ}（ｔ）を得る。

ここで、項Tmは入力ストリームの時刻を表す数列で、例えば10秒単位で符号化量の割り当てを行う場合、Ｔ_ｍ＝１０・ｍ（単位は秒）となる。Ｒ_{ｔａｒｇｅｔ}は目標平均ビットレートを表す定数である。

実施例２を説明する。図８は本発明の第二の実施の形態のシステム構成図である。図８におけるビットレート変換装置139の各ブロックは、本発明の第一の実施の形態の構成図である図１におけるビットレート変換装置109と基本的には同様であるが、映像受信装置209からストリーム受信バッファに関する情報を受け取るバッファ情報受信部132と、さらにその情報を用いてビットレートの値を算出するビットレート算出部131を備える点が異なる。

以下、ビットレート変換装置139および映像受信装置209の各ブロックのデータの流れについて説明する。映像受信装置209のストリーム受信部201は、ネットワーク211を介してビットレート変換装置139のストリーム送信部104から送信される映像ストリームを受信し、ストリーム受信バッファ部202へ出力する。ネットワーク211は、有線あるいは無線通信により構成されるネットワークで種々のものを用いてよい。ストリーム受信バッファ部202は、映像ストリームを一時的に保持するブロックで、メモリ等の記憶装置により構成される。デコーダ部203は都度、ストリーム受信バッファ部202から映像ストリームを読み出し、符号化された情報を復号する。受信バッファ監視部204は、ストリーム受信バッファ部202を監視し、受信バッファの総容量と、受信バッファの使用量と、受信ビットレートからなる受信バッファ情報を求め、バッファ情報送信部205に出力する。バッファ情報送信部205は、ネットワーク211を介して、バッファ情報受信部132に受信バッファ情報を送信する。バッファ情報受信部132はビットレート算出部131に対し、受信バッファ情報を与える。

ビットレート算出部131は、評価値格納部112から重要度を表す評価値を読み出し、変換対象となる再生時刻範囲と、当該再生時刻範囲内の各再生時刻における重要度を表す評価値と、当該再生時刻範囲内の入力動画像データのビットレートと、バッファの総容量および使用量とから、当該時刻範囲における出力動画像データのビットレートを算出し、ビットレート制御部106に出力される動画像ストリームのビットレートを設定する。

次に、ビットレート算出部131で行う処理の一例について、ビットレート算出処理の流れを説明する図９を用いて説明する。ビットレート算出部105は、1) ビットレート変換部が処理する再生時刻範囲のビットレートがまだ算出されていない場合と、2) バッファ情報受信部から受信バッファに関する情報が入力された場合とに、ビットレートの算出を行う。図９では2) バッファ情報受信部から受信バッファに関する情報が入力された場合の処理シーケンスが記載されている。図９において、区間651の処理は本発明の第一の実施例と同様である。バッファ情報受信部132は、任意のタイミングで受信バッファ情報通知をビットレート算出部131に送出する。例えば、区間661の先頭で受信して通知したとする（メッセージ621）。すると、ビットレート算出部は評価値格納部112から評価値を読み出し（メッセージ622）、ビットレートを算出する（メッセージ623）。ビットレート変換部がビットレート変換開始通知を送ると（メッセージ624）、ビットレート制御部は変換対象時刻のビットレートをビットレート算出部131に問い合わせる（メッセージ625）。このとき、ビットレート算出処理（メッセージ623）で算出された値が得られ、これをビットレート変換部に設定する（メッセージ626）。このようにして、ビットレート変換部103は再計算されたビットレートに基づいて、ビットレート変換処理を行う（メッセージ627）。

次に、各時刻のビットレートの算出方法の一例を、ビットレート算出処理のフローを説明する図１０を用いて説明する。ビットレート算出部105は、ストリーム入力部101が読み出すストリームに対し、そのストリームIDをキーとして評価値格納部112から、対応する評価値テーブルを読み出す（ステップ801）。次に、本発明の第一の実施の形態と同様の手順で、評価値の補間処理を行う（ステップ802）。次に、ストリームIDに対応するストリームのビットレート情報を読み出す（ステップ803）。次に、ビットレートを算出する（ステップ804）。次に、受信バッファ動作の検証処理を行う（ステップ805）。検証処理の結果に基づき判定処理を行う（ステップ806）。受信バッファのオーバーフローもしくはアンダーフローが生じないと判定された場合は、算出されたビットレートを結果とし、処理を終了する。それ以外の場合は、ステップ807へ進む。ステップ807では、目標ビットレートを平滑化するようパラメータを再設定し、ステップ804へ戻る。

次に、ステップ804のビットレートを算出する処理について説明する。入力ストリームのビットレートと評価値を乗算し、ビットレートの時間変動を決定する。例えば、次式に示す、ストリームIDがｎである入力ストリームについての関数Ｒ^ｎ _v（ｔ）を用いて、時間変動の関数値を求める。

ここで、ｔは再生時刻、Ｒ^ｎ _{ｉｎｐｕｔ}（ｔ）はストリームIDがnである入力ストリームについての時間変動の関数、Ｃ_１およびＣ_２は夫々あらかじめ定められた定数であり、例えば目標平均ビットレートから決定してよい。

算出された時間変動の関数値を、正規化し、目標平均ビットレートを乗算することで、ストリームIDがｎである入力ストリームについての、出力ストリームの目標ビットレートｒ^ｎ _{ｏｕｔｐｕｔ}（ｔ）を得る。

ここで、Ｔ_ｗは符号化量を割り振る対象となる再生時刻の長さを表す、あらかじめ定められた定数である。ｔ_ｃはビットレート変換を行っている再生時刻を表す。ｒ_{ｔａｒｇｅｔ}は目標平均ビットレートを表す定数であり、バッファ情報受信部132から得られる。この関数の値は区間ｔ_ｃ≦ｔ＜ｔ_ｃ＋Ｔ_ｗでのみ有効であり、この区間外の値が要求された場合は、要求された区間を含む範囲について都度計算する必要がある。

次に、受信バッファ動作の検証処理（ステップ805）について、図１１を用いて説明する。図１１において、縦軸901は受信バッファに入力される累積ビット量を、横軸902は時刻を、グラフ921は送信される累積ビット量の予測値を、グラフ922はデコーダ部203が消費する累積ビット量を、ビット量911はある時刻における受信バッファの使用ビット量を、区間912は符号化量を割り振る対象となる再生時刻の範囲を、時刻931はバッファ情報に含まれるタイムスタンプの時刻を、時刻932は対象となる再生時刻の開始時刻を、時刻933は終了時刻を、ビット量913はバッファ情報に含まれる受信バッファの使用ビット量を、区間914はビットレート変換済みの区間をそれぞれ表している。

受信バッファ動作の検証処理では、区間912が示す範囲ｔ_ｃ≦ｔ＜ｔ_ｃ＋Ｔ_ｗに、ステップ804で算出した関数値ｒ^ｎ _{ｏｕｔｐｕｔ}（ｔ）の積分結果をプロットし、区間912において、グラフ921の予測値からグラフ922の累積ビット値を減算した受信バッファの使用ビット量（例えばビット量911）が、バッファ情報に含まれるバッファの総容量以下であり、かつ0（ゼロ）以上であることを常に満たすかどうかを調べる。バッファの総容量を超える時刻が存在する場合はオーバーフロー、0を下回る時刻が存在する場合はアンダーフローを報告する。オーバーフロー／アンダーフローが報告された場合、ステップ807ではｒ^ｎ _{ｏｕｔｐｕｔ}（ｔ）を平滑化するよう、係数を再設定する。例えば、定数Ｃ_２を増加させる。

実施例３を説明する。図１２は本発明の第三の実施の形態のシステム構成図である。図１２におけるビットレート変換装置149の各ブロックは、本発明の第一の実施の形態の構成図である図１におけるビットレート変換装置109と基本的には同様であるが、ストリームに周期的に含まれるデータ（データ放送等）であるカルーセルと映像ストリームとを分離するカルーセル分離部141と、カルーセルと、映像ストリームとを多重化して単一のストリームとするカルーセル多重部142と、カルーセルの多重化位置を調整するカルーセル多重位置調整部143とを備える点が異なる。

以下、本実施例におけるビットレート変換装置149の各ブロックのデータの流れにについて説明する。ストリーム入力部101はストリーム格納部111からストリームを読み取り、カルーセル分離部141に出力する。カルーセル分離部141は入力されたストリームをカルーセルと動画像データに分割し、カルーセルをカルーセル多重位置調整部143に、それ以外のストリームをストリーム入力バッファ部102に格納する。カルーセル多重位置調整部143は、評価値格納部112から重要度を表す評価値を読み出し、カルーセルの元々の多重化位置と、重要度を表す評価値とに基づいてカルーセルの新たな多重化位置を決定し、カルーセル多重部142に出力するとともに、ビットレート算出部144にカルーセルの移動情報を出力する。ビットレート変換部103はストリーム入力バッファ部102から動画像データを、ビットレート制御部106からビットレートをそれぞれ受け取り、指定されたビットレートに変換した後、カルーセル多重部142に出力する。カルーセル多重部142は、ビットレート変換部103から入力される動画像データと、カルーセル多重位置調整部143から入力されるカルーセルとを、調整後のカルーセルの多重化位置に従うよう多重化し、ストリーム送信部104に出力する。ビットレート算出部144は、評価値格納部112から重要度を表す評価値を読み出し、変換対象となる再生時刻範囲と、当該再生時刻範囲内の各再生時刻における重要度を表す評価値と、当該再生時刻範囲内の入力動画像データのビットレートと、さらにカルーセル多重位置調整部143から入力されるカルーセルの移動情報とから、当該時刻範囲における出力動画像データのビットレートを算出し、ビットレート制御部106に出力される動画像ストリームのビットレートを設定する。その他のデータの流れは、本発明の第一の実施の形態のデータの流れと同様である。

次に、カルーセル多重位置調整部143の行う、カルーセルの新たな多重化位置を決定する多重化位置調整処理について、図１３を用いて説明する。なお、図中のグラフ421は図５のものと同様である。図１３において、閾値701は重要区間を決定するためのあらかじめ定められた評価値の値、区間711は評価値が閾値701以上となる区間、区間712は評価値が閾値701未満となる区間を示している。多重化位置調整処理では、評価値が閾値を上回る区間を重要区間と定め、重要区間に含まれるカルーセルの多重化位置を、順序を保ったまま、全数もしくは一部（一定の割合）だけ非重要区間に移動する。例えば、重要区間に含まれるカルーセルを直前の非重要区間に割り当てる場合、区間711と区間712とに含まれるカルーセルを、区間712に均等に配置する。新たな多重化位置が確定した区間について都度、その区間とカルーセルのデータ量の増減値（移動後のデータ量から移動前のデータ量を引いた値）を組としたカルーセルの移動情報を、ビットレート算出部144に出力する。

次に、目標ビットレートを説明する図１４を用いて、ビットレート算出部144の行うビットレート算出処理について説明する。本実施例のビットレート算出処理は、本発明の第一の実施の形態と基本的には同様であるが、カルーセル多重位置調整部143から入力されるカルーセルの移動情報に基づき、一度にビットレート算出処理を行う区間と、その区間における区間目標平均ビットレートを決定する点が異なる。具体的には、一定時刻毎に区間を区切るのに加え、重要区間と非重要区間の境目でも区間を区切る。図中の区間７１１を処理する場合、区間７１１におけるカルーセルのデータ量の増減値から、単位時間あたりの増減値を求め、目標平均ビットレート（図５におけるグラフ512）から減算することでこの区間の区間目標平均ビットレート721を求める。区間目標平均ビットレートをＲ_{ｔａｒｇｅｔ}として、第一の実施の形態と同様に目標ビットレートＲ^ｎ _{ｏｕｔｐｕｔ}（ｔ）を算出する。

実施例１のシステム構成を説明する図 実施例１における処理の流れを説明する図 実施例１におけるストリーム情報テーブルを説明する図 実施例１における評価値テーブルを説明する図 実施例１における各時刻の評価値の算出方法を説明する図 実施例１における入力ストリームのビットレートを説明する図 実施例１における目標ビットレートを説明する図 実施例２のシステム構成を説明する図 実施例２における処理の流れを説明する図 実施例２におけるビットレート算出処理の流れを説明する図 実施例２における受信バッファ動作の検証処理を説明する図 実施例３のシステム構成を説明する図 実施例３における多重化位置調整処理について説明する図 実施例３における目標ビットレートを説明する図

符号の説明

１０１…ストリーム入力部
１０２…ストリーム入力バッファ部
１０３…ビットレート変換部
１０４…ストリーム送信部
１０５…ビットレート算出部
１０６…ビットレート制御部
１０９…ビットレート変換装置
１１１…ストリーム格納部
１１２…評価値格納部
１１９…二次記憶装置
１２１…評価値算出部
１３１…ビットレート算出部
１３２…バッファ情報受信部
１３９…ビットレート変換装置
１４１…カルーセル分離部
１４２…カルーセル多重部
１４３…カルーセル多重位置調整部
１４４…ビットレート算出部
１４９…ビットレート変換装置
２０１…ストリーム受信部
２０２…ストリーム受信バッファ部
２０３…デコーダ部
２０４…受信バッファ監視部
２０５…バッファ情報送信部
２０９…映像受信装置

Claims (5)

1. 符号化された第一の動画像データのビットレートを、該第一の動画像データとは異なるビットレートをもつ第二の動画像データに変換するビットレート変換手段を備えたビットレート変換装置において、
   前記第一の動画像データの経過時刻毎に重要度を表す評価値を保持する手段と、
   前記第一の動画像データのビットレート情報と、前記第一の動画像データの経過時刻の重要度を表す評価値と、目標平均ビットレートとから、前記第二の動画像データのビットレートを、経過時刻毎に重要度を表す評価値の高い部分に対し符号量を優先的に割り当てるよう決定し、前記第二の動画像データを生成する手段を備え、
   前記第二の動画像データを生成する手段は、前記第二の動画像データのビットレートを決定する際に、前記第二の動画像データの送信先である受信装置から受信バッファの総容量と、受信バッファの使用量と、受信速度のビットレートとを受け取り、受信バッファの使用量が受信バッファの総容量を上回らず、かつ、受信バッファが空にならないように前記第二の動画像のビットレートを経過時刻毎に決定する
   ことを特徴とするビットレート変換装置。
2. 前記重要度を表す評価値は、第一の動画像データの経過時刻の所定範囲毎の重要度を表す評価値であり、前記重要度を表す評価値のない経過時刻について、評価値の補間処理を行う請求項１記載のビットレート変換装置。
3. 前記第二の動画像データを生成する手段は、前記受信バッファの総容量および前記使用量を求めるバッファ情報送受信部および前記第一の動画像データの変換対象となる再生時刻範囲と、当該再生時刻範囲内の各再生時刻における重要度を表す評価値と、当該再生時刻範囲内の第一の動画像データのビットレートと、前記バッファ情報送受信部のバッファの総容量および使用量とから、当該時刻範囲における第二の動画像データのビットレートを算出するビットレート算出部を含み、
   前記ビットレート算出部は、前記第二の動画像データのビットレートを決定する際に、前記第一の動画像のストリームに対し、前記第一の動画像のストリームのビットレートを読み出し、ビットレートを算出し、前記受信バッファの動作検証を行い、該検証結果により前記受信バッファの使用量が受信バッファの総容量を上回らないか否か、また前記受信バッファが空にならないか否か判定し、前記受信バッファの使用量が該受信バッファの総容量を上回らず、かつ、前記受信バッファが空にならないように、前記第二の出力動画像データのビットレートを経過時刻毎に決定する請求項１記載のビットレート変換装置。
4. 前記第二の動画像データを生成する手段は、
   前記第一の動画像データに動画像の復号に無関係な付加的データが埋め込まれている場合、当該付加的データの元々の多重化位置と前記重要度を表す評価値とに基づいて当該付加的データの新たな多重化位置を決定し、当該付加的データの移動情報を出力する多重位置調整部および前記第一の動画像データの変換対象となる再生時刻範囲と、当該再生時刻範囲内の各再生時刻における重要度を表す評価値と、当該再生時刻内の第一の動画像データのビットレートと、当該付加的データの移動情報とから、当該時刻範囲における前記第二の動画像データのビットレートを算出し、前記移動に伴って生じた区間毎の付加的データのビット量の増減を相殺するように、前記第二の動画像データのビットレートを経過時間毎に決定するビットレート算出部を含み、
   前記多重位置調整部は、
   前記第一の動画像データに動画像の復号に無関係な付加的データが埋め込まれている場合に、前記第一の動画像データの経過時刻毎の重要度を表す評価値の高い重要区間から、該重要区間に含まれる付加的データの多重化位置を、相対的に評価値の低い非重要区間へと移動させ、
   ビットレート算出部は、
   前記多重位置調整部から入力される付加的データの移動情報に基づき、ビットレート算出処理を行う区間と、その区間における区間目標平均ビットレートを決定し、
   前記移動に伴って生じた区間毎の付加的データのビット量の増減を相殺するように、前記第二の動画像データのビットレートを経過時刻毎に決定する請求項１記載のビットレート変換装置。
5. 符号化された第一の動画像データのビットレートを、前記第一の動画像データとは異なるビットレートをもつ第二の動画像データに変換するビットレート変換方法において、
   前記第一の動画像データの経過時刻毎に重要度を表す評価値を保持することと、前記第一の動画像データのビットレート情報と、前記第一の動画像データの経過時刻の重要度を表す評価値と、目標平均ビットレートとから、前記第二の動画像データのビットレートを、経過時刻毎に重要度を表す評価値の高い部分に対し符号量を優先的に割り当てるよう決定し、前記第二の動画像データを生成することを含み、
   前記第二の動画像データのビットレートを決定する際に、前記第二の動画像データの送信先である受信装置から受信バッファの総容量と、受信バッファの使用量と、受信速度のビットレートとを受け取り、受信バッファの使用量が受信バッファの総容量を上回らず、かつ、受信バッファが空にならないように前記第二の動画像のビットレートを経過時刻毎に決定することを含むことを特徴とするビットレート変換方法。

Images