JP5592913B2

JP5592913B2 - 映像符号化装置、映像符号化方法及び映像符号化プログラム

Info

Publication number: JP5592913B2
Application number: JP2012166237A
Authority: JP
Inventors: 卓佐野; 一人上倉; 裕尚如澤
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-02-01
Filing date: 2012-07-26
Publication date: 2014-09-17
Anticipated expiration: 2032-07-26
Also published as: JP2013255208A

Description

本発明は、複数の映像データを並行して符号化処理する映像符号化装置、映像符号化方法及び映像符号化プログラムに関する。

映像符号化技術は、ＭＰＥＧ−２、Ｈ．２６３、ＭＰＥＧ−４を経て、最近ではＨ．２６４規格が主流となっている。Ｈ．２６４規格ではＭＰＥＧ−２の２倍以上の圧縮率が得られ、地上波デジタル放送のワンセグ放送（携帯電話・移動体端末向けの１セグメント部分受信サービス）やＢｌｕ−ｒａｙ（登録商標）規格に採用されている。また、Ｈ．２６４規格の次の映像符号化規格としてＨＥＶＣ（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ）が現在提案されている。

映像を符号化する際には、Ｂｌｕ−ｒａｙ（登録商標）規格のような蓄積メディアは画質が最も重要な条件になるため、映像特性に応じて符号化レートを変化させ高画質に符号化を行うＶＢＲ（ＶａｒｉａｂｌｅＢｉｔＲａｔｅ）方式がよく用いられる。また、ワンセグ放送やＩＰＴＶ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌＴｅｌｅＶｉｓｉｏｎ）のような映像配信システムについては伝送レートに限りがあるため、符号化レートを一定にさせ符号化を行うＣＢＲ（ＣｏｎｓｔａｎｔＢｉｔＲａｔｅ）方式を用いる。

近年では、３Ｄ映像サービスの普及により左右２つの映像を同時に符号化し伝送するニーズや、複数チャンネルの映像ストリームを同時に配信し視聴可能とするマルチディスプレイサービス等の要求が高まってきている。また、フルＨＤの４倍の解像度である４Ｋｘ２Ｋ映像やＮＨＫ（日本放送協会）が提唱しているＳＨＶ（ＳｕｐｅｒＨｉｇｈＶｉｓｉｏｎ、フルＨＤの１６倍の解像度）の映像等、フルＨＤを超える大画面化が進みつつある。

しかし映像符号化装置についてはまだフルＨＤレベルの製品が主流であるため、４Ｋｘ２Ｋ映像やＳＨＶ映像の符号化を行う際にはフルＨＤ対応の符号化装置を複数用いて符号化し伝送を行う場合が多い。また、ＩＰＴＶの多チャンネル化やスポーツ中継等で複数カメラの映像を同時に放送局へ伝送する場合など、フルＨＤサイズの映像を複数同時に符号化し伝送する機会も多くなってきている。

従来、限られた伝送レートの中で複数の映像ストリームを伝送する際は、最大の伝送レートを映像ストリームの数で均等に配分し個々に符号化処理を行っていたため、映像特性に応じて主観画質に差異が生じてしまう。例えば、一方がニュース番組等の比較的動きの少ないコンテンツであり、他方がスポーツ中継のような動きの大きいコンテンツである場合、動きの少ないコンテンツでは十分な符号量が割り当てられるため主観画質は良いが、動きの大きいコンテンツでは符号量割り当てが少ないため主観画質が悪くなってしまうという問題がある。また、スポーツ中継を大画面で符号化・伝送を行う際には、プレーヤが映っていない領域では十分な符号量が割り当てられるため主観画質はよいが、プレーヤが大きく動いている領域では符号量割り当てが少ないため主観画質が悪くなってしまう。視聴する立場から見てもプレーヤが動いている部分が注視領域となる事が多いため、全体の主観画質が悪く感じられてしまうという問題がある。

このような問題を解決するために、合計の符号化レートを一定に保ちつつ個々の符号化レートを動的に変化させる統計多重符号量制御方式が知られている。この方式ではそれぞれの映像特性に応じて符号化レートを設定できるため、上記の問題が発生するような場合でも動きの少ないコンテンツの符号化レートを下げ、動きの大きい符号化レートを上げることで双方の主観画質を均等に保つことができる。

また、複数チャネル間の適応ビットレート配分を実現する機能を有する映像符号化装置も知られている（例えば、特許文献１参照）。これは、各符号化部において各チャネルの入力画像の内容に応じた可変ビットレートの符号化ストリームを生成し、一本のストリームに多重化する動画像符号化装置において、各符号化部のストリームバッファに対して直接同じタイミングで出力ビットレートの切替えを指示することなく、符号化部のストリームバッファから出力された符号化ストリームのビットレートの総和を常に一定値以下にするものである。これにより、複数チャネル間の適応ビットレート配分機能を有する動画像符号化装置の実現がより容易になる。

特開２００５−２５２７５２号公報

しかしながら、特許文献１に記載の映像符号化装置では複雑さ指標と呼ばれる量子化パラメータに発生符号量を乗じた値を元に新たなビットレートを設定している。そのため、量子化マトリックスセットを適応的に切り替えた場合、複雑さ指標の傾向も変わってしまうため適切な制御ができなくなる場合がある。したがって、双方の主観画質を良好に保つことができないという問題がある。

本発明は、このような事情に鑑みてなされたもので、複数の映像データを並行して符号化処理を行う際に、各映像データの主観画質を良好に保つことができる映像符号化装置、映像符号化方法及び映像符号化プログラムを提供することを目的とする。

本発明は、複数の映像データを並行して符号化処理する映像符号化装置であって、第１の映像データと第２の映像データをそれぞれ入力する映像入力手段と、前記第１及び第２の映像データそれぞれについて符号化処理単位毎の量子化パラメータの１ピクチャ平均値を算出する平均値算出手段と、前記第１及び第２の映像データそれぞれの前記１ピクチャ平均値の複数ピクチャ分の平均値を算出する複数ピクチャ平均値算出手段と、前記第１の映像データの前記複数ピクチャ平均値と前記第２の映像データの前記複数ピクチャ平均値との差分値を算出する差分算出手段と、前記差分値と現在設定されているビットレート設定値とに応じて、前記第１の映像データ及び第２の映像データそれぞれを符号化する際の新たなビットレート設定値を決定する設定値決定手段と、前記新たなビットレート設定値のうち、現在設定されている設定値からビットレートを減少させる設定値を使用して、前記第１または第２の映像データのうち、いずれか一方を符号化して出力する第１の符号化手段と、前記第１の符号化手段により前記新たなビットレート設定値を使用した符号化を実行して所定時間経過した後に、前記新たなビットレート設定値のうち、現在設定されている設定値からビットレートを増加させる設定値を使用して、前記第１または第２の映像データのうち、他方を符号化して出力する第２の符号化手段とを備えたことを特徴とする。

本発明は、複数の映像データを並行して複数の符号化処理によって符号化する映像符号化装置であって、複数の映像データそれぞれを入力する映像入力手段と、前記映像データそれぞれについて符号化処理単位ごとの量子化パラメータの１ピクチャ平均値を算出する平均値算出手段と、前記映像データそれぞれの前記１ピクチャ平均値の複数ピクチャ分の平均値を算出する複数ピクチャ平均値算出手段と、前記映像データそれぞれから算出した複数ピクチャ分の前記平均値の最大値と最小値を算出する最大最小値算出手段と、前記最大値を示す前記映像データの符号化処理に用いた符号化情報と、前記最小値を示す前記映像データの符号化処理に用いた符号化情報を用いて新たな符号化ビットレート設定値を決定する符号化ビットレート設定値決定手段と、前記新たな符号化ビットレート設定値を設定した際に、現在設定されている符号化ビットレートの設定値が減少となる符号化ビットレート設定値を使用した前記符号化処理に対して前記新たな符号化ビットレートの設定値を設定して符号化を行う第１の符号化手段と、前記第１の符号化手段により前記新たな符号化ビットレート設定値を使用して符号化ビットレート設定値を減少させた符号化処理を実行して所定時間経過した後に、前記新たな符号化ビットレート設定値を設定した際に、現在設定されている符号化ビットレートの設定値が増加となる符号化ビットレート設定値を使用した符号化処理に対して、前記新たな符号化ビットレートの設定値を設定して符号化を行う第２の符号化手段とを備えたことを特徴とする。

本発明は、前記符号化ビットレート設定値決定手段は、前記映像データから算出した複数ピクチャ平均値の最大値と最小値の差分値を算出し、前記差分値と、前記映像データから算出した複数ピクチャ分の前記平均値が最小値である前記符号化処理の符号化ビットレート設定値とに応じて、前記新たな符号化ビットレート設定値を決定することを特徴とする。

本発明は、前記符号化ビットレート設定値決定手段は、前記符号化ビットレート設定値を決定後に、符号化ビットレート設定値の変更処理に用いられなかった符号化処理が２つ以上残っている場合に、符号化ビットレート設定値の変更処理に用いられなかった符号化処理が１つ以下になるまで前記符号化ビットレート設定値の決定を繰り返し実行することを特徴とする。

本発明は、複数の映像データを並行して符号化処理する映像符号化装置が行う映像符号化方法であって、第１の映像データと第２の映像データをそれぞれ入力する映像入力ステップと、前記第１及び第２の映像データそれぞれについて符号化処理単位毎の量子化パラメータの１ピクチャ平均値を算出する平均値算出ステップと、前記第１及び第２の映像データそれぞれの前記１ピクチャ平均値の複数ピクチャ分の平均値を算出する複数ピクチャ平均値算出ステップと、前記第１の映像データの前記複数ピクチャ平均値と前記第２の映像データの前記複数ピクチャ平均値との差分値を算出する差分算出ステップと、前記差分値と現在設定されているビットレート設定値とに応じて、前記第１の映像データ及び第２の映像データそれぞれを符号化する際の新たなビットレート設定値を決定する設定値決定ステップと、前記新たなビットレート設定値のうち、現在設定されている設定値からビットレートを減少させる設定値を使用して、前記第１または第２の映像データのうち、いずれか一方を符号化して出力する第１の符号化ステップと、前記第１の符号化ステップにより前記新たなビットレート設定値を使用した符号化を実行して所定時間経過した後に、前記新たなビットレート設定値のうち、現在設定されている設定値からビットレートを増加させる設定値を使用して、前記第１または第２の映像データのうち、他方を符号化して出力する第２の符号化ステップとを有することを特徴とする。

本発明は、複数の映像データを並行して複数の符号化処理によって符号化する映像符号化装置が行う映像符号化方法であって、複数の映像データそれぞれを入力する映像入力ステップと、前記映像データそれぞれについて符号化処理単位ごとの量子化パラメータの１ピクチャ平均値を算出する平均値算出ステップと、前記映像データそれぞれの前記１ピクチャ平均値の複数ピクチャ分の平均値を算出する複数ピクチャ平均値算出ステップと、前記映像データそれぞれから算出した複数ピクチャ分の前記平均値の最大値と最小値を算出する最大最小値算出ステップと、前記最大値を示す前記映像データの符号化処理に用いた符号化情報と、前記最小値を示す前記映像データの符号化処理に用いた符号化情報を用いて新たな符号化ビットレート設定値を決定する符号化ビットレート設定値決定ステップと、前記新たな符号化ビットレート設定値を設定した際に、現在設定されている符号化ビットレートの設定値が減少となる符号化ビットレート設定値を使用した前記符号化処理に対して前記新たな符号化ビットレートの設定値を設定して符号化を行う第１の符号化ステップと、前記第１の符号化ステップにより前記新たな符号化ビットレート設定値を使用して符号化ビットレート設定値を減少させた符号化処理を実行して所定時間経過した後に、前記新たな符号化ビットレート設定値を設定した際に、現在設定されている符号化ビットレートの設定値が増加となる符号化ビットレート設定値を使用した符号化処理に対して、前記新たな符号化ビットレートの設定値を設定して符号化を行う第２の符号化ステップとを有することを特徴とする。

本発明は、前記符号化ビットレート設定値決定ステップは、前記映像データから算出した複数ピクチャ平均値の最大値と最小値の差分値を算出し、前記差分値と、前記映像データから算出した複数ピクチャ分の前記平均値が最小値である前記符号化処理の符号化ビットレート設定値とに応じて、前記新たな符号化ビットレート設定値を決定することを特徴とする。

本発明は、前記符号化ビットレート設定値決定ステップは、前記符号化ビットレート設定値を決定後に、符号化ビットレート設定値の変更処理に用いられなかった符号化処理が２つ以上残っている場合に、符号化ビットレート設定値の変更処理に用いられなかった符号化処理が１つ以下になるまで前記符号化ビットレート設定値の決定を繰り返し実行することを特徴とする。

本発明は、コンピュータを、前記映像符号化装置として機能させるための映像符号化プログラムである。

本発明によれば、複数の映像データを並行して符号化処理する際に、入力した複数の映像データそれぞれの符号化ビットレートを動的に変化させながら映像符号化処理を行うようにしたため、ビットレートを一定に保ちつつ最適な符号量で符号化処理を行うことができる。そのため、映像の主観画質を向上させることができるという効果が得られる。

本発明の第１実施形態の構成を示すブロック図である。ビットレートの変更量を示す説明図である。ＱｍａｔとＱｏｆｆｓｅｔの対応の一例を示す説明図である。本発明の第２実施形態の構成を示すブロック図である。ＱｍａｔとＱｏｆｆｓｅｔの対応の一例を示す説明図である。本発明の第３実施形態の構成を示すブロック図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像符号化装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１０は、少なくとも２つの映像コンテンツデータ（第１、第２の映像コンテンツデータ）を入力し、それぞれ符号化を行い、多重化したトランスポートストリーム（ＴＳ）を出力する映像符号化装置である。

符号１１、１２はそれぞれ映像符号化部であり、映像コンテンツの符号化を行い、符号化結果から量子化パラメータの１ピクチャ平均値を算出する。さらに現在符号化を行ったピクチャから過去数ピクチャ分の１ピクチャ平均値の平均値を算出する。平均値を算出するピクチャ数は予め任意に設定しておく。符号化構成に応じて１ＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅ）にあたるピクチャ枚数を設定しておけばよい。映像符号化部１１、１２は、それぞれ動作を統括して制御する制御部１１１、１２１と、ストリームを生成するストリーム生成部１１２、１２２を備える。

符号１３はホストＣＰＵであり、２つの映像符号化部の全体制御と新たなビットレート設定値の決定処理を行う出力ビットレート決定制御部１３１を備える。符号１４は、映像符号化部１１、１２から出力された２系統のエレメンタリーストリーム（ＥＳ）を多重化し１系統のトランスポートストリーム（ＴＳ）にして出力する多重化部である。

次に、図１を参照して、図１に示す映像符号化装置１０の動作を説明する。まず、映像符号化部１１、１２の制御部１１１、１２２のそれぞれは、入力した第１の映像コンテンツデータと第２の映像コンテンツデータそれぞれを符号化した際に用いた処理ブロック毎の量子化パラメータの１ピクチャ平均値を算出する。さらに制御部１１１、１２２のそれぞれは、現在符号化を行ったピクチャから過去数ピクチャ分の１ピクチャ平均値の平均値を算出する。

ここでは、制御部１１１において算出した量子化パラメータの複数ピクチャ平均値をＱａｖｅ_１とし、制御部１２１において算出した量子化パラメータの複数ピクチャ平均値をＱａｖｅ_２とする。制御部１１１と制御部１２１のそれぞれは、算出したそれぞれの量子化パラメータの複数ピクチャ平均値をホストＣＰＵ１３へ出力する。同時にそれぞれの映像符号化部１１、１２において設定されている出力ビットレート設定値（それぞれＢＲ_１，ＢＲ_２とする）と、そのピクチャの符号化に用いた量子化マトリックス番号（Ｑｍａｔ_１，Ｑｍａｔ_２）もホストＣＰＵ１３へ出力する。

次に、出力ビットレート決定制御部１３１は、量子化パラメータ平均値の差分Ｄｉｆｆ＿Ｑを算出する。量子化パラメータ平均値の差分Ｄｉｆｆ＿Ｑは、（１）式によって算出する。

ここで、Ｑｏｆｆｓｅｔ_１，Ｑｏｆｆｓｅｔ_２は量子化マトリックスセットに応じたオフセット値であり、予め任意に設定しておく。係数の小さい量子化マトリックスの場合はＱｏｆｆｓｅｔは小さな値に、係数の大きい量子化マトリックスの場合はＱｏｆｆｓｅｔを大きな値に設定しておけばよい。図３に、ＱｍａｔとＱｏｆｆｓｅｔの対応の一例を示す。

そして、出力ビットレート決定制御部１３１は、Ｄｉｆｆ＿Ｑが正の値の場合、映像符号化部１１の方が主観画質が悪いことが想定されるため、映像符号化部１１のビットレート設定値を増加させ、映像符号化部１２のビットレート設定値を減少させる。反対にＤｉｆｆ＿Ｑが負の値の場合、映像符号化部１２の方が主観画質が悪いことが想定されるため、映像符号化部１２のビットレート設定値を増加させ、映像符号化部１１のビットレート設定値を減少させる。

増加又は減少させるビットレート値は（２）式のように算出する。ビットレート設定値を下げようとする側の現在のビットレートをＢＲｄｅｃとする。

これらの値からビットレートの変更量ＢＲｖａｌは（３）式により示される。

実際にハードウェア又はソフトウェアに実装する際はＢＲｖａｌは適宜四捨五入して用いる。ＢＲｂａｓｅはビットレート変更幅の元となるパラメータであり、ＢＲｂａｓｅを大きくするとビットレートが急峻に変更され、ＢＲｂａｓｅを小さくするとビットレートは緩やかに推移する。

またＢＲｄｅｃにこれからビットレート設定値を下げようとする側の現在のビットレートを設定することにより、２つの映像符号化部のビットレートの差が大きくなる方向には緩やかに推移し、２つの映像符号化部１１、１２のビットレートの差が小さくなる方向には急峻に推移する。これによってシーンチェンジ等の急激な映像特性の変化に対しても主観画質の低下を防ぐ効果がある。

図２に、ＢＲｂａｓｅ＝０．０１とした場合のＤｉｆｆ＿ＱとＢＲｄｅｃに応じたビットレート変更量の関係を定義したテーブル構造を示す。図２に示すテーブルは、ホストＣＰＵ１３１内に保持しておき、出力ビットレート決定制御部１３１が、このテーブルを参照して、ビットレート変更量を決定する。

次に、出力ビットレート決定制御部１３１は、（４）式により新たなビットレート設定値（ＢＲｎｅｗ_１，ＢＲｎｅｗ_２）を得る。

ビットレートを変更する際はビットレートを下げる側の映像符号化部への送信を先に行いビットレート変更処理を実行する。その後一定時間経過した後にビットレートを上げる側の映像符号化部ビットレート設定値を送信し、ビットレート変更処理を実行する。これによって全体の符号量が設定値以上になり、デコーダバッファにアンダーフローが発生するのを回避することができる。

次に、出力ビットレート決定制御部１３１は、得られた新たなビットレート設定値をそれぞれ映像符号化部１１、１２に出力する。これを受けて、映像符号化部１１、１２は、新たなビットレート設定値を用いてストリームを生成して出力する。多重化部１４は、２つの映像符号化部１１、１２から出力するストリームを多重化して出力する。

なお、前述した説明ではホストＣＰＵ１３１内の出力ビットレート決定制御部１３１においてビットレート変更処理を行う構成としたが、どちらか一方の映像符号化部で前述の演算処理を行うようにしてもよい。例えば、映像符号化部１２において算出した量子化パラメータ平均値Ｑａｖｅ_２と出力ビットレート設定値ＢＲ_２と量子化マトリックスセット番号をホストＣＰＵ１３経由で映像符号化部１１へ出力し、映像符号化部１１にて新たなビットレート設定値ＢＲｎｅｗ_１，ＢＲｎｅｗ_２を算出し、ＢＲｎｅｗ_２をホストＣＰＵ１３経由で映像符号化部１２へする。これにより、ホストＣＰＵ１３の処理負荷を低減することができる。

このように、複数の映像を並行して符号化する際に伝送レートが一定という条件下でのビットレート変更処理について、確実な制御を可能とすることができ、双方の映像の主観画質を良好に保つことができる。特に、前述した映像符号化装置においては、新たなビットレート算出の際に量子化マトリックスセットに応じたオフセット値を設定するようにしたため、第１及び第２の映像データの主観画質を良好に保つことができる。

＜第２実施形態＞
次に、本発明の第２実施形態による映像符号化装置を説明する。図４は同実施形態の構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、新たに映像符号化部１５、１６が新たに設けられており、これに伴い、ホストＣＰＵ１３０、多重化部１４０が設けられている点である。映像符号化装置１００は、４つの映像コンテンツデータ（第１、第２、第３、第４の映像コンテンツデータ）を入力し、それぞれ符号化を行い、多重化したＴＳストリーム（トランスポートストリーム）を出力する。

映像符号化部１１、１２、１５、１６は、映像コンテンツの符号化を行い、符号化結果から量子化パラメータの１ピクチャ平均値を算出する。さらに現在符号化を行ったピクチャから過去数ピクチャ分の１ピクチャ平均値の平均値を算出する。平均値を算出するピクチャ数はあらかじめ任意に設定しておく。少なくとも１ＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅ）にあたるピクチャ枚数以上のピクチャ枚数を設定しておけばよい。映像符号化部１１、１２、１５、１６は、それぞれ動作を統括して制御する制御部１１１、１２１、１５１、１６１と、ストリームを生成するストリーム生成部１１２、１２２、１５２、１５２を備える。

ホストＣＰＵ１３０は、４つの映像符号化部１１、１２、１５、１６の全体制御と新たな符号化ビットレート設定値の決定処理を行う出力ビットレート決定制御部１３１を備える。多重化部１４０は、映像符号化部１１、１２、１５、１６から出力されたエレメンタリーストリーム（ＥＳ）を多重化し１系統のトランスポートストリーム（ＴＳ）にして出力する。

次に、図４を参照して、図４に示す映像符号化装置１００の動作を説明する。まず、制御部１１１、１２１、１５１、１６１のそれぞれは、入力した第１〜第４の映像コンテンツデータを符号化した際に用いた処理ブロックごとの量子化パラメータの１ピクチャ平均値を算出する。さらに制御部１１１、１２１、１５１、１６１のそれぞれは、現在符号化を行ったピクチャから過去数ピクチャ分の１ピクチャ平均値の平均値を算出する。

ここでは制御部１１１、１２１、１５１、１６１において算出した量子化パラメータの複数ピクチャ平均値をそれぞれＱａｖｅ１、Ｑａｖｅ２、Ｑａｖｅ３、Ｑａｖｅ４とする。制御部１１１、１２１、１５１、１６１それぞれは算出したそれぞれの量子化パラメータの複数ピクチャ平均値をホストＣＰＵ１３０へ出力する。同時にそれぞれの映像符号化部１１、１２、１５、１６において設定されている出力ビットレート設定値（それぞれＢＲ１、ＢＲ２、ＢＲ３、ＢＲ４とする）と、そのピクチャの符号化に用いた量子化マトリックス番号（Ｑｍａｔ１、Ｑｍａｔ２、Ｑｍａｔ３、Ｑｍａｔ４）もホストＣＰＵ１３０へ出力する。

次に、出力ビットレート決定制御部１３１は、量子化パラメータ平均値Ｑａｖｅ１〜Ｑａｖｅ４の中から最大値と最小値を選択し、その値をそれぞれＱｍａｘ、Ｑｍｉｎとする。また、Ｑｍａｘが選択された映像符号化部に対応する出力ビットレート設定値と、量子化マトリックス番号をそれぞれＢＲｍａｘ、Ｑｍａｔ＿ｍａｘとし、Ｑｍｉｎが選択された映像符号化部に対応する出力ビットレート設定値と、量子化マトリックス番号をそれぞれＢＲｍｉｎ、Ｑｍａｔ＿ｍｉｎとする。

次に、出力ビットレート決定制御部１３１は、量子化パラメータ平均値の差分Ｄｉｆｆ＿Ｑを算出する。量子化パラメータ平均値の差分Ｄｉｆｆ＿Ｑは（５）式によって算出する。

ここで、Ｑｏｆｆｓｅｔ＿ｍａｘ、Ｑｏｆｆｓｅｔ＿ｍｉｎは量子化マトリックスセットに応じたオフセット値であり、予め任意に設定しておく。量子化係数が比較的小さい量子化マトリックスの場合はＱｏｆｆｓｅｔは小さな値に、量子化係数が比較的大きい量子化マトリックスの場合はＱｏｆｆｓｅｔを大きな値に設定しておけばよい。図５にＱｍａｔとＱｏｆｆｓｅｔの対応の一例を示す。

符号化ビットレートの変更量ＢＲｖａｌは（６）式により示される。

実際にハードウェア又はソフトウェアに実装する際はＢＲｖａｌは適宜四捨五入して用いる。ＢＲｂａｓｅは符号化ビットレート変更幅のもととなるパラメータであり、ＢＲｂａｓｅを大きくすると符号化ビットレートが急峻に変更され、ＢＲｂａｓｅを小さくすると符号化ビットレートは緩やかに推移する。

またこれにより２つの映像符号化部の符号化ビットレートの差が大きくなる方向には緩やかに推移し、２つの映像符号化部の符号化ビットレートの差が小さくなる方向には急峻に推移する。これによってシーンチェンジ等の急激な映像特性の変化に対しても主観画質の低下を防ぐ効果がある。

最後に、出力ビットレート決定制御部１３１は、ＢＲｍａｘに対応する映像符号化部の出力ビットレート設定値にＢＲｖａｌを加算し、ＢＲｍｉｎに対応する符号化部の出力ビットレート設定値にＢＲｖａｌを減算することで新たな符号化ビットレートを設定する。

４つ以上の映像符号化部で構成されている映像符号化装置の場合、今回符号化ビットレート変更量算出に用いた符号化部情報を除いた残りの符号化部の情報を用いて出力ビットレート決定制御部１３１による上記の処理を行い、残りの符号化部情報が１つ以下になるまで繰り返す。

符号化ビットレート変更する際は符号化ビットレートを下げる側の映像符号化部への送信を先に行い符号化ビットレート変更処理を実行する。その後一定時間経過した後に符号化ビットレートを上げる側の映像符号化部へ符号化ビットレート設定値を送信し、符号化ビットレート変更処理を実行する。

図４では４つの映像符号化部１１、１２、１５、１６で構成された例を示したが、２つ以上の任意の数の映像符号化部で構成された符号化装置であれば、上記処理動作が適用可能である。

＜第３実施形態＞
次に、本発明の第３実施形態による映像符号化装置を説明する。図６は同実施形態の構成を示すブロック図である。この図において、符号２１、２２、２３、２４はそれぞれ映像符号化装置であり、映像コンテンツの符号化を行い、符号化結果から量子化パラメータの１ピクチャ平均値を算出する。複数ある映像符号化装置のうちの１つをマスター装置とし、その他の映像符号化装置はマスター装置に対して符号化パラメータを送信する。マスター装置は、図４に示すホストＣＰＵ１３０が行った出力ビットレート決定処理を実行し、新たな符号化ビットレートを各符号化装置に送信する。図６においては、符号化装置２１をマスター装置とした場合の図である。各映像符号化装置２１、２２、２３、２４が備える制御部２１１、２２１、２３１、２４１は、図４に示す映像符号化部１１、１２、１５、１６が備える制御部１１１、１２１、１５１、１６１と同等であるので詳細な処理動作の説明を省略する。また、図６に示すストリーム生成部２１２、２２２、２３２、２４２についても、図４に示すストリーム生成部１１２、１２２、１５２、１６２と同等であるので、詳細な処理動作の説明を省略する。

以上説明したように、２つ以上の複数の映像を並行して符号化する際に伝送レートが一定という条件下での符号化ビットレート変更処理について、確実な制御を行うことができ、全体の映像の主観画質を良好に保つことができる。

なお、図１、図４、図６における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像符号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

複数の映像データを並行して符号化処理することが不可欠な映像符号化装置に適用できる。

１０・・・映像符号化装置、１１・・・映像符号化装置、１１１・・・制御部、１１２・・・ストリーム生成部、１２・・・映像符号化装置、１２１・・・制御部、１２２・・・ストリーム生成部、１３・・・ホストＣＰＵ、１３１・・・出力ビットレート決定制御部、１４・・・多重化部

Claims

複数の映像データを並行して符号化処理する映像符号化装置であって、
第１の映像データと第２の映像データをそれぞれ入力する映像入力手段と、
前記第１及び第２の映像データそれぞれについて符号化処理単位毎の量子化パラメータの１ピクチャ平均値を算出する平均値算出手段と、
前記第１及び第２の映像データそれぞれの前記１ピクチャ平均値の複数ピクチャ分の平均値を算出する複数ピクチャ平均値算出手段と、
前記第１の映像データの前記複数ピクチャ平均値と前記第２の映像データの前記複数ピクチャ平均値との差分値を算出する差分算出手段と、
前記差分値と前記第１の映像データ及び第２の映像データそれぞれを符号化するために現在設定されているそれぞれのビットレート設定値とに応じて、前記第１の映像データ及び第２の映像データそれぞれを符号化する際のそれぞれの新たなビットレート設定値を決定する設定値決定手段
前記新たなビットレート設定値のうち、現在設定されている設定値からビットレートを減少させる設定値を使用して、前記第１または第２の映像データのうち、いずれか一方を符号化して出力する第１の符号化手段と、
前記第１の符号化手段により前記新たなビットレート設定値を使用した符号化を実行して所定時間経過した後に、前記新たなビットレート設定値のうち、現在設定されている設定値からビットレートを増加させる設定値を使用して、前記第１または第２の映像データのうち、他方を符号化して出力する第２の符号化手段と
を備えたことを特徴とする映像符号化装置。
複数の映像データを並行して複数の符号化処理によって符号化する映像符号化装置であって、
複数の映像データそれぞれを入力する映像入力手段と、
前記映像データそれぞれについて符号化処理単位ごとの量子化パラメータの１ピクチャ平均値を算出する平均値算出手段と、
前記映像データそれぞれの前記１ピクチャ平均値の複数ピクチャ分の平均値を算出する複数ピクチャ平均値算出手段と、
前記映像データそれぞれから算出した複数ピクチャ分の前記平均値の最大値と最小値を算出する最大最小値算出手段と、
前記最大値を示す前記映像データの符号化処理に用いた符号化情報と、前記最小値を示す前記映像データの符号化処理に用いた符号化情報を用いて新たな符号化ビットレート設定値を決定する符号化ビットレート設定値決定手段と、
前記新たな符号化ビットレート設定値を設定した際に、現在設定されている符号化ビットレートの設定値が減少となる符号化ビットレート設定値を使用した前記符号化処理に対して前記新たな符号化ビットレートの設定値を設定して符号化を行う第１の符号化手段と、
前記第１の符号化手段により前記新たな符号化ビットレート設定値を使用して符号化ビットレート設定値を減少させた符号化処理を実行して所定時間経過した後に、前記新たな符号化ビットレート設定値を設定した際に、現在設定されている符号化ビットレートの設定値が増加となる符号化ビットレート設定値を使用した符号化処理に対して、前記新たな符号化ビットレートの設定値を設定して符号化を行う第２の符号化手段と
を備えたことを特徴とする映像符号化装置。
前記符号化ビットレート設定値決定手段は、
前記映像データから算出した複数ピクチャ平均値の最大値と最小値の差分値を算出し、前記差分値と、前記映像データから算出した複数ピクチャ分の前記平均値が最小値である前記符号化処理の符号化ビットレート設定値とに応じて、前記新たな符号化ビットレート設定値を決定することを特徴とする請求項２に記載の映像符号化装置。
前記符号化ビットレート設定値決定手段は、
前記符号化ビットレート設定値を決定後に、符号化ビットレート設定値の変更処理に用いられなかった符号化処理が２つ以上残っている場合に、符号化ビットレート設定値の変更処理に用いられなかった符号化処理が１つ以下になるまで前記符号化ビットレート設定値の決定を繰り返し実行することを特徴とする請求項２に記載の映像符号化装置。
複数の映像データを並行して符号化処理する映像符号化装置が行う映像符号化方法であって、
第１の映像データと第２の映像データをそれぞれ入力する映像入力ステップと、
前記第１及び第２の映像データそれぞれについて符号化処理単位毎の量子化パラメータの１ピクチャ平均値を算出する平均値算出ステップと、
前記第１及び第２の映像データそれぞれの前記１ピクチャ平均値の複数ピクチャ分の平均値を算出する複数ピクチャ平均値算出ステップと、
前記第１の映像データの前記複数ピクチャ平均値と前記第２の映像データの前記複数ピクチャ平均値との差分値を算出する差分算出ステップと、
前記差分値と前記第１の映像データ及び第２の映像データそれぞれを符号化するために現在設定されているそれぞれのビットレート設定値とに応じて、前記第１の映像データ及び第２の映像データそれぞれを符号化する際のそれぞれの新たなビットレート設定値を決定する設定値決定ステップと、
前記新たなビットレート設定値のうち、現在設定されている設定値からビットレートを減少させる設定値を使用して、前記第１または第２の映像データのうち、いずれか一方を符号化して出力する第１の符号化ステップと、
前記第１の符号化ステップにより前記新たなビットレート設定値を使用した符号化を実行して所定時間経過した後に、前記新たなビットレート設定値のうち、現在設定されている設定値からビットレートを増加させる設定値を使用して、前記第１または第２の映像データのうち、他方を符号化して出力する第２の符号化ステップと
を有することを特徴とする映像符号化方法。
複数の映像データを並行して複数の符号化処理によって符号化する映像符号化装置が行う映像符号化方法であって、
複数の映像データそれぞれを入力する映像入力ステップと、
前記映像データそれぞれについて符号化処理単位ごとの量子化パラメータの１ピクチャ平均値を算出する平均値算出ステップと、
前記映像データそれぞれの前記１ピクチャ平均値の複数ピクチャ分の平均値を算出する複数ピクチャ平均値算出ステップと、
前記映像データそれぞれから算出した複数ピクチャ分の前記平均値の最大値と最小値を算出する最大最小値算出ステップと、
前記最大値を示す前記映像データの符号化処理に用いた符号化情報と、前記最小値を示す前記映像データの符号化処理に用いた符号化情報を用いて新たな符号化ビットレート設定値を決定する符号化ビットレート設定値決定ステップと、
前記新たな符号化ビットレート設定値を設定した際に、現在設定されている符号化ビットレートの設定値が減少となる符号化ビットレート設定値を使用した前記符号化処理に対して前記新たな符号化ビットレートの設定値を設定して符号化を行う第１の符号化ステップと、
前記第１の符号化ステップにより前記新たな符号化ビットレート設定値を使用して符号化ビットレート設定値を減少させた符号化処理を実行して所定時間経過した後に、前記新たな符号化ビットレート設定値を設定した際に、現在設定されている符号化ビットレートの設定値が増加となる符号化ビットレート設定値を使用した符号化処理に対して、前記新たな符号化ビットレートの設定値を設定して符号化を行う第２の符号化ステップと
を有することを特徴とする映像符号化方法。
前記符号化ビットレート設定値決定ステップは、
前記映像データから算出した複数ピクチャ平均値の最大値と最小値の差分値を算出し、前記差分値と、前記映像データから算出した複数ピクチャ分の前記平均値が最小値である前記符号化処理の符号化ビットレート設定値とに応じて、前記新たな符号化ビットレート設定値を決定することを特徴とする請求項６に記載の映像符号化方法。
前記符号化ビットレート設定値決定ステップは、
前記符号化ビットレート設定値を決定後に、符号化ビットレート設定値の変更処理に用いられなかった符号化処理が２つ以上残っている場合に、符号化ビットレート設定値の変更処理に用いられなかった符号化処理が１つ以下になるまで前記符号化ビットレート設定値の決定を繰り返し実行することを特徴とする請求項６に記載の映像符号化方法。
コンピュータを、請求項１から４のいずれか１項に記載の映像符号化装置として機能させるための映像符号化プログラム。