JP4755239B2 - 映像符号量制御方法，映像符号化装置，映像符号量制御プログラムおよびその記録媒体 - Google Patents

Description

本発明は，音声ストリームのビットレートと映像ストリームのビットレートとの和が所定のビットレートの範囲内になるように，音声の発生符号量に応じて映像の符号量を制御する映像符号量制御方法，映像符号化装置，映像符号量制御プログラムおよびその記録媒体に関するものである。

一般に，映像ストリームと，音声やデータなどの他のストリームとを多重化して送るような伝送システムでは，映像は，他のストリームとは独立にビットレート制御を行っていた（非特許文献１，２参照）。

一般に映像・音声符号化では，複雑で変化の多い入力信号に対しては符号量が多くなり，単調で変化の少ない入力信号に対しては符号量が少なくなる。

ロッシー符号化ストリームは，固定ビットレート（ＣＢＲ：Constant Bit Rate ）で伝送するために，信号の劣化の程度を変化させることにより，発生符号量を所定の範囲内に収めるように制御する。一方，ロスレス符号化ストリームでは，発生符号量の変化を制御することができないため，一般に可変ビットレート（ＶＢＲ：Variable Bit Rate ）で伝送される。
ISO/IEC 13818-2 Annex C, ITU-T Recomendation H.264 Annex C 映像情報メディア学会編，"総合マルチメディア選書ＭＰＥＧ"，社団法人映像情報メディア学会，（株）オーム社発行，1996.4.20

ＭＰＥＧ−４ ＡＬＳのようなロスレス音声符号化ストリームと映像符号化ストリーム（以下，符号化ストリームを単に「ストリーム」ともいう）とを多重化する場合，音声伝送ビットレートの変動が映像伝送ビットレートに比べて無視できないほど大きいことが多い。

したがって，映像と音声の多重化ストリームにおいて，固定で割り当てられていた音声のビットレートのうち，音声符号化データの発生符号量が小さい余剰符号量分を映像符号化に利用することができれば，ビットレートに無駄が生じることがなく，画質の向上に寄与すると考えられる。

しかし，このように音声符号化データの発生符号量の変動分を，映像符号化に有効に利用することを考えた場合，映像の全体としての画質は向上するものの，音声符号化データの発生符号量が多い場面では画質の劣化が大きく，音声符号化データの発生符号量が少ない場面では画質が鮮明になり過ぎることがあり，そのため音声符号化データの変動に応じて画質の変動が目立ってしまうことがあるという，新たな問題が生じる。

図９は，本発明の課題を説明する図である。従来，符号化ビットレートが固定の音声符号化ストリームと映像符号化ストリームを多重化する場合，図９（Ａ）に示すように，映像は，音声のストリームとは独立にビットレート制御が行われていた。なお，ＧＯＰ（Group Of Pictures ）は，一般に十数フレームから数十フレームのピクチャ群からなる映像符号化データの単位であり，ここで，ＧＯＰ（ｎ）はｎ番目のＧＯＰを表している。

ロスレス音声符号化ストリームの場合，音声の発生符号量は変動し，音声符号化データのデータ量が，与えられた音声ビットレートで送信可能なデータ量よりもかなり少なくなることがある。このビットレートの余裕分の符号量を，ここでは余剰符号量という。図９（Ｂ）に斜線を付して示している部分が余剰符号量である。

図９（Ｃ）は，図９（Ｂ）に示した音声の余剰符号量を映像符号化データの伝送に利用することを考えた場合の音声ビットレートと映像ビットレートとの関係を示している。音声の余剰符号量を映像符号化データの伝送に利用することにより，映像符号化時におけるＧＯＰ単位の目標符号量を，元の映像ビットレートによる目標符号量よりも大きくすることができる。

図９（Ｃ）に示すように，音声の余剰符号量分を映像符号化データの伝送に利用したとすると，映像の発生符号量を増加させることができるので，映像の画質が向上すると考えられるが，音声ビットレートの変動に応じて映像ビットレートが変動することになり，画質の変動が目につく可能性があるという，新たな問題が発生する。

本発明は，上記課題の解決を図り，音声の余剰符号量分を映像符号化に有効に利用し，画質を向上させるとともに，全体として画質の変動を目立たせなくすることを目的とする。

本発明は，上記課題を解決するため，ロスレス音声符号化ストリームやデータストリーム等の符号化ビットレートを制御できないストリームと，ロッシー映像符号化ストリームとをＣＢＲに多重化する場合に，次のように音声の発生符号量に応じて映像の符号量を制御する。

（１）映像符号化時の目標符号量と発生符号量の差，量子化ステップサイズ，アクティビティなどのパラメータが，所定の条件に合致した場合にのみ，音声の余剰符号量を映像符号化に利用する。

（２）映像符号化に利用可能な音声の余剰符号量は，その時点で符号化済みの音声符号化データの余剰符号量や伝送タイミングから求める。また，余剰符号量の利用判断，利用量を決めるタイミングは，ＧＯＰの先頭またはフレーム単位とする。

（３）映像のＧＯＰ符号化開始時に，ＧＯＰ期間分音声を先行して符号化した場合には，同一ＧＯＰ期間の，そうでない場合には直前のＧＯＰ期間の音声の余剰符号量分を求める。余剰符号量の利用が決定された場合，その余剰符号量を上限とする。画質改善のために必要な符号量は，量子化ステップサイズ，アクティビティから計算する。

以上の点を踏まえて，本発明は，次のように映像の符号量を制御する。まず，符号化済みの音声発生符号量から映像符号化制御単位（例えばＧＯＰまたはフレーム）の期間における音声の余剰符号量を算出する。その余剰符号量を映像符号化制御単位における目標符号量に加えるかどうかの，あらかじめ定められた映像の発生符号量に影響する映像の特徴または符号化の条件を判定する。条件が満たされる場合には，余剰符号量の一部または全部を映像符号化制御単位における目標符号量に加え，条件が満たされない場合には，余剰符号量を映像符号化制御単位における目標符号量に加えないで，次に符号化する映像符号化制御単位における目標符号量を決定する。決定された目標符号量に従って，映像符号化制御単位における映像信号を符号化する。

前記条件として，本発明は，以下のような条件のいずれかを用いる。
・過去の所定数の映像フレームの平均量子化パラメータが所定の閾値以上であるという条件，
・過去の所定数の映像フレームの平均量子化ステップが所定の閾値以上であるという条件，
・これから符号化する映像符号化制御単位のアクティビティ平均値が所定の閾値以上であるという条件，
・これから符号化する映像符号化制御単位にシーンチェンジがあるという条件，
・過去の所定数の映像フレームの目標符号量と発生符号量との差の総和が所定の閾値以上であるという条件。

映像符号化に利用する音声の余剰符号量の算出方法としては，次のような方法を用いることができる。
・音声の余剰符号量を，映像符号化制御単位と同一表示期間の音声符号化制御単位群における，各音声符号化制御単位の所定の最大発生符号量と実際の発生符号量との差の総和から算出する方法，
・音声の余剰符号量を，映像符号化制御単位より所定の映像フレーム数だけ前の映像符号化制御単位と同じ長さの期間の映像フレーム群と同一表示期間の音声符号化制御単位群における，各音声符号化制御単位の所定の最大発生符号量と実際の発生符号量との差の総和から算出する方法。

本発明は，映像符号化データと，映像符号化データ以外の符号化データとを多重化して伝送する場合に，前述した音声符号化データの余剰符号量と同様に，映像符号化データ以外の符号化データの余剰符号量をもとに，追加目標符号量を決定し，映像符号化の符号量を制御することもできる。

本発明によれば，映像と音声とを多重化した符号化ストリームが所定のビットレートの範囲内になるように映像を符号化する場合に，映像の符号化が困難なシーンでは画質を向上させ，全体としては画質の変動を目立たせなくすることで，主観的な画質を向上させることができるようになる。

以下，本発明の実施の形態を図面を用いながら詳細に説明する。

図１は，本発明の実施例に係る装置の構成例を示す図である。映像符号化装置１０は，映像・音声重畳信号のうち映像信号を入力し，映像信号を符号化して映像ストリームを出力する。音声符号化装置２０は，映像・音声重畳信号のうち音声信号を入力し，音声ストリームを出力する。多重化部３０は，音声ストリームと映像ストリームとを所定のビットレートとなるように多重化して出力する。

本実施例において，音声符号化装置２０は，フレーム毎もしくは逐次，音声発生符号量を映像符号化装置１０に伝達する機能を持つほかは従来技術と同様に構成できるので，その内部構成についての詳しい説明は省略する。

映像符号化装置１０は，映像信号を入力する映像入力部１１，入力した映像信号を蓄積する映像入力バッファ１２，ＧＯＰ毎の映像の目標符号量を決定する映像ＧＯＰ目標符号化量決定部１３，映像フレーム毎の目標符号量を決定する映像フレーム目標符号量決定部１４，映像信号をフレーム目標符号量に従って符号化する映像フレーム符号化処理部１５，映像ストリームを出力する映像ストリーム出力部１６，映像ストリームを一時的に蓄積する映像ストリーム出力バッファ１７を備える。

映像ＧＯＰ目標符号量決定部１３は，ＧＯＰ毎に音声発生符号量から映像符号化に利用することができる余剰符号量を算出する余剰符号量算出部１３１と，算出した余剰符号量を映像符号化に利用するかどうかを判定する条件判定部１３２と，条件の判定結果に従ってＧＯＰ目標符号量を算出するＧＯＰ目標符号量算出部１３３とを備える。

アクティビティ・シーンチェンジ解析部１８は，入力映像信号のうち符号化に先立って解析される先行解析対象映像データについて，アクティビティ値の算出もしくはシーンチェンジの有無を検出するものであり，後述する実施例３，４で用いられる。他の実施例では省略することができる。

〔実施例１〕
図２は，本発明の実施例１の映像符号化処理のフローチャートである。実施例１では，過去のいくつかの数の映像フレームの平均量子化パラメータＱＰ_ave （ｎ）が，ある閾値ＴＨ_qp以上の場合に，音声の余剰符号量を映像符号化に利用する。これは，映像符号化に利用できる符号量の不足により平均量子化パラメータＱＰ_ave （ｎ）がある値以上になると，画質の粗くなる程度が大きくなり，画質向上の必要性が増すとともに，音声の余剰符号量の追加による画質の変動が目立ちにくくなるからである。

ｎ番目のＧＯＰ(Group Of Pictures) を，ＧＯＰ（ｎ）とする。映像と音声の符号化は並行して行われる。ただし，本実施例では，ＧＯＰ（ｎ）の映像フレーム符号化開始より前に，ＧＯＰ（ｎ）の映像フレームと同一表示期間の音声フレームの符号化が完了しているものとする。

まず，映像ＧＯＰ目標符号量決定部１３は，以下のステップＳ１０１〜Ｓ１０５の処理を実行する。音声符号化装置２０から音声発生符号量の情報を受け取り，ＧＯＰ（ｎ）の映像フレームと同一表示期間の音声フレームｊ〜ｊ＋Ｍ−１について，ＧＯＰ（ｎ）期間の余剰符号量Ｇ_r （ｎ）を，次式によって求める（ステップＳ１０１）。

Ｇ_r （ｎ）＝Σ_x=j ^j+M-1 ｛Ｓ_amax−Ｓ_a （ｘ）｝
ここで，Ｍは，ＧＯＰ（ｎ）期間の音声フレーム数，Ｓ_amaxは，各音声フレームの最大発生符号量，Ｓ_a （ｘ）は，ｘ番目の音声フレームの発生符号量である。Ｓ_amaxとしては，あらかじめ定めた値を用いてよい。

次に，過去の数映像フレームの平均量子化パラメータＱＰ_ave （ｎ）が，ある閾値ＴＨ_qp以上かどうかを判定する（ステップＳ１０２）。平均をとる映像フレーム数は任意の数でよく，あらかじめ定められる。平均量子化パラメータＱＰ_ave （ｎ）が，ある閾値ＴＨ_qp以上の場合には，余剰符号量Ｇ_r （ｎ）を超えない範囲で，平均量子化パラメータＱＰ_ave （ｎ）の閾値ＴＨ_qp超過分に比例して，追加ＧＯＰ目標符号量Ｇ_d （ｎ）を決定する（ステップＳ１０３）。この場合のＧ_d （ｎ）は，次式によって求められる。

Ｇ_d （ｎ）＝ｍｉｎ（Ｇ_r （ｎ），ａ・（ＱＰ_ave （ｎ）−ＴＨ_qp））
ｍｉｎ（）は，最小値を返す関数であり，ａは予め定められた定数である。

一方，平均量子化パラメータＱＰ_ave （ｎ）が，ある閾値ＴＨ_qp以上でない場合には，追加ＧＯＰ目標符号量Ｇ_d （ｎ）を０とする（ステップＳ１０４）。

次に，ＧＯＰ目標符号量Ｇ（ｎ）を，ＧＯＰ内フレーム数Ｎ×基準映像ビットレートＲ／映像フレームレートＰと，追加ＧＯＰ目標符号量Ｇ_d （ｎ）と，前のＧＯＰからの繰越符号量の和で求める（ステップＳ１０５）。ＧＯＰ目標符号量Ｇ（ｎ）は，次のようになる。

Ｇ（ｎ）＝Ｎ・Ｒ／Ｐ＋Ｇ_d （ｎ）＋前のＧＯＰからの繰越符号量
なお，基準映像ビットレートＲとは，音声フレームの発生符号量が常に最大の場合に確保できる映像ビットレートを指す。

次に，映像フレーム目標符号量決定部１４および映像フレーム符号化処理部１５は，以下に説明するステップＳ１０６〜Ｓ１０９の処理を，ＧＯＰ（ｎ）内のフレームの符号化が終了するまで繰り返す（ステップＳ１１０）。

映像フレーム目標符号量決定部１４は，ＧＯＰ（ｎ）の目標符号量をＧＯＰ内の各フレームに対して配分し，次フレームの目標符号量Ｔ（ｉ）を求める（ステップＳ１０６）。ＧＯＰ（ｎ）の目標符号量から，次フレームの目標符号量Ｔ（ｉ）を算出する方法としては，例えば次の参考文献１に開示されている方法などがあり，周知技術であるため，ここでの詳細な説明は省略する。
［参考文献１］International Organisation for Standardisation, Test Model Editing Committee, 1993, Test Model 5, April, ISO-IEC/JTC1/SC29/WG11/N0400
次に，映像フレーム目標符号量決定部１４は，伝送先の映像復号装置におけるデコーダ受信バッファのバッファサイズや転送済みのデータ量から算出したバッファ占有量をもとに，デコーダ受信バッファが破綻しない限界の符号量を求め，目標符号量がその値を超えないようにクリッピングする（ステップＳ１０７）。なお，デコーダ受信バッファのバッファサイズが十分大きい場合や，デコードまでの遅延時間を大きくしてもよい場合には，このクリッピングの処理を省略する実施も可能である。

映像フレーム符号化処理部１５は，映像フレーム目標符号量決定部１４が算出した目標符号量に従って，フレームｉを符号化する（ステップＳ１０８）。なお，インターレースの指定があればフィールド単位で符号化するが，説明を簡単にするため，フィールド単位の符号化の場合も単にフレームの符号化として説明する。

フレームの符号化が終了すると，映像フレーム目標符号量決定部１４は，ＧＯＰ（ｎ）の目標符号量から発生符号量Ｓ（ｉ）を減算する（ステップＳ１０９）。その後，ＧＯＰ（ｎ）内の全フレームについて符号化が終了したかどうかを判定し，終了していなければ，ステップＳ１０６に戻って，全フレームについて符号化が終了まで同様に処理を繰り返す（ステップＳ１１０）。

映像ＧＯＰ目標符号量決定部１３は，ＧＯＰ開始時のＧＯＰ目標符号量Ｇ（ｎ）と，ＧＯＰ発生符号量との差から，次のＧＯＰへの繰越符号量を決定する（ステップＳ１１１）。以下，ステップＳ１０１に戻って，次のＧＯＰについて同様に符号化処理を行う。

〔実施例２〕
図３は，本発明の実施例２の映像符号化処理のフローチャートである。実施例２では，過去のいくつかの数の映像フレームの平均量子化ステップＱ_ave （ｎ）が，ある閾値ＴＨ_q 以上の場合に，音声の余剰符号量を映像符号化に利用する。これは，映像符号化に利用できる符号量の不足により平均量子化ステップＱ_ave （ｎ）がある値以上になると，画質の粗くなる程度が大きくなり，画質向上の必要性が増すとともに，音声の余剰符号量の追加による画質の変動が目立ちにくくなるからである。

前述した実施例１と実施例２との違いは，音声の余剰符号量を映像符号化に利用するか否かの条件の判定を，平均量子化パラメータＱＰ_ave （ｎ）で行うか平均量子化ステップＱ_ave （ｎ）で行うかという点である。量子化パラメータと量子化ステップの換算式は，符号化規格によって異なるが，一般に「（符号量）＝ａ／（量子化ステップ）＋ｂ」（ａ，ｂは定数）で近似できるため，実施例１より実施例２のほうが追加目標符号量の計算精度がよい。

実施例２では，図２に示すフローチャートのうち，ステップＳ１０２〜Ｓ１０４が，図３のステップＳ２０２〜Ｓ２０４に置き換わり，他の部分については同様であるので，以下では，ステップＳ２０２〜Ｓ２０４の部分についてだけ説明する。

図２に示すステップＳ１０１を実行した後，映像ＧＯＰ目標符号量決定部１３の条件判定部１３２は，過去の数映像フレームの平均量子化ステップＱ_ave （ｎ）が，ある閾値ＴＨ_q 以上かどうかを判定する（ステップＳ２０２）。ＧＯＰ目標符号量算出部１３３は，平均量子化パラメータＱ_ave （ｎ）が閾値ＴＨ_q 以上の場合には，余剰符号量Ｇ_r （ｎ）を超えない範囲で，平均量子化パラメータＱ_ave （ｎ）の閾値ＴＨ_q 超過分に応じて，追加ＧＯＰ目標符号量Ｇ_d （ｎ）を決定する（ステップＳ２０３）。この場合のＧ_d （ｎ）は，次式によって求められる。

Ｇ_d （ｎ）＝ｍｉｎ（Ｇ_r （ｎ），ａ・（１／ＴＨ_q −１／Ｑ_ave （ｎ））
ｍｉｎ（）は，最小値を返す関数であり，ａは予め定められた定数である。

一方，平均量子化パラメータＱ_ave （ｎ）が閾値ＴＨ_q 以上でない場合には，追加ＧＯＰ目標符号量Ｇ_d （ｎ）を０とする（ステップＳ２０４）。

以降の処理は，実施例１における図２のステップＳ１０５〜Ｓ１１１と同様である。

〔実施例３〕
図４は，本発明の実施例３の映像符号化処理のフローチャートである。実施例３では，これから符号化するＧＯＰのアクティビティ平均値ａｃｔ（ｎ）が，ある閾値ＴＨ_act 以上の場合に，音声の余剰符号量を映像符号化に利用する。これは，アクティビティ平均値ａｃｔ（ｎ）が大きいと発生符号量が増え，画質が粗くなり，画質向上の必要性が増すとともに，音声の余剰符号量の追加による画質の変動が目立ちにくくなるからである。

実施例３では，図１に示す映像符号化装置１０において，アクティビティ・シーンチェンジ解析部１８が設けられ，アクティビティ・シーンチェンジ解析部１８は，映像符号化より１ＧＯＰ分先行して，映像のアクティビティ解析を行い，アクティビティ平均値ａｃｔ（ｎ）を事前に算出する。ここで，アクティビティとは，符号化対象領域の画素値分布の特徴を示すものであり，画素値の変動具合を表す値である。例えばアクティビティは，マクロブロックをさらに分割した小ブロックの分散値の最小値などで定義される。小ブロックの分散値とは，小ブロック内の輝度値の平均値とその小ブロック内の各画素の輝度値との差分の絶対値の総和を取ったものである。

実施例３では，図２に示すフローチャートのうち，ステップＳ１０２〜Ｓ１０４が，図４のステップＳ３０２〜Ｓ３０４に置き換わり，他の部分については同様であるので，以下では，ステップＳ３０２〜Ｓ３０４の部分についてだけ説明する。

図２に示すステップＳ１０１を実行した後，映像ＧＯＰ目標符号量決定部１３の条件判定部１３２は，これから符号化するＧＯＰのアクティビティ平均値ａｃｔ（ｎ）が，ある閾値ＴＨ_act 以上かどうかを判定する（ステップＳ３０２）。ＧＯＰ目標符号量算出部１３３は，アクティビティ平均値ａｃｔ（ｎ）が閾値ＴＨ_act 以上の場合には，余剰符号量Ｇ_r （ｎ）を超えない範囲で，アクティビティ平均値ａｃｔ（ｎ）の閾値ＴＨ_act 超過分に比例して，追加ＧＯＰ目標符号量Ｇ_d （ｎ）を決定する（ステップＳ３０３）。この場合のＧ_d （ｎ）は，次式によって求められる。

Ｇ_d （ｎ）＝ｍｉｎ（Ｇ_r （ｎ），ａ・（ａｃｔ（ｎ）−ＴＨ_act ））
ｍｉｎ（）は，最小値を返す関数であり，ａは予め定められた定数である。

一方，アクティビティ平均値ａｃｔ（ｎ）が閾値ＴＨ_act 以上でない場合には，追加ＧＯＰ目標符号量Ｇ_d （ｎ）を０とする（ステップＳ３０４）。

以降の処理は，実施例１における図２のステップＳ１０５〜Ｓ１１１と同様である。

〔実施例４〕
図５は，本発明の実施例４の映像符号化処理のフローチャートである。実施例４では，これから符号化するＧＯＰにシーンチェンジがあった場合に，音声の余剰符号量を映像符号化に利用する。これは，これから符号化するＧＯＰにシーンチェンジがあると，シーンチェンジ直後のフレームにおいて動き補償が当たらず，同じ画質を保つためには，通常より多くの符号量を必要とするためである。

実施例４では，図１に示す映像符号化装置１０において，アクティビティ・シーンチェンジ解析部１８が設けられ，アクティビティ・シーンチェンジ解析部１８は，映像符号化より１ＧＯＰ分先行して，映像のアクティビティ解析およびシーンチェンジ解析を行い，シーンチェンジの有無と，シーンチェンジがある場合のシーンチェンジフレームのアクティビティａｃｔ_scを事前に求める。

シーンチェンジの検出方法は，例えば次の参考文献２に記載されているような方法など，従来から種々の方法が知られているので，ここでの詳しい説明は省略する。
［参考文献２］大辻，外村，“映像カット自動検出方式の検討”，社団法人映像情報メディア学会，テレビジョン学会技術報告ITEJ Technical Report, Vol.16, No.43(19920710), pp.7-12
実施例４では，図２に示すフローチャートのうち，ステップＳ１０２〜Ｓ１０４が，図５のステップＳ４０２〜Ｓ４０４に置き換わり，他の部分については同様であるので，以下では，ステップＳ４０２〜Ｓ４０４の部分についてだけ説明する。

図２に示すステップＳ１０１を実行した後，映像ＧＯＰ目標符号量決定部１３の条件判定部１３２は，アクティビティ・シーンチェンジ解析部１８による解析結果から，これから符号化するＧＯＰにシーンチェンジがあるかどうかを判定する（ステップＳ４０２）。ＧＯＰ目標符号量算出部１３３は，シーンチェンジがある場合には，余剰符号量Ｇ_r （ｎ）を超えない範囲で，シーンチェンジフレームのアクティビティａｃｔ_scに比例して，追加ＧＯＰ目標符号量Ｇ_d （ｎ）を決定する（ステップＳ４０３）。この場合のＧ_d （ｎ）は，次式によって求められる。

Ｇ_d （ｎ）＝ｍｉｎ（Ｇ_r （ｎ），ａ・ａｃｔ_sc＋ｂ））
ｍｉｎ（）は，最小値を返す関数であり，ａ，ｂは予め定められた定数である。

一方，これから符号化するＧＯＰにシーンチェンジがない場合には，追加ＧＯＰ目標符号量Ｇ_d （ｎ）を０とする（ステップＳ４０４）。

以降の処理は，実施例１における図２のステップＳ１０５〜Ｓ１１１と同様である。

〔実施例５〕
図６は，本発明の実施例５の映像符号化処理のフローチャートである。実施例５では，過去のいくつかの数の映像フレームの目標符号量と発生符号量との差の総和ΔＢが，ある閾値ＴＨ_B 以上の場合に，音声の余剰符号量を映像符号化に利用する。これは，目標符号量と発生符号量との差が大きい状態が続く場合には，符号量が不足していると考えられるためである。

実施例５では，図２に示すフローチャートのうち，ステップＳ１０２〜Ｓ１０４が，図６のステップＳ５０２〜Ｓ５０４に置き換わり，他の部分については同様であるので，以下では，ステップＳ５０２〜Ｓ５０４の部分についてだけ説明する。

図２に示すステップＳ１０１を実行した後，映像ＧＯＰ目標符号量決定部１３の条件判定部１３２は，過去の数映像フレームの目標符号量と実際の発生符号量との差の総和ΔＢが，ある閾値ＴＨ_B 以上かどうかを判定する（ステップＳ５０２）。ＧＯＰ目標符号量算出部１３３は，差の総和ΔＢが閾値ＴＨ_q 以上の場合には，余剰符号量Ｇ_r （ｎ）を超えない範囲で，閾値ＴＨ_B 超過分に比例して，追加ＧＯＰ目標符号量Ｇ_d （ｎ）を決定する（ステップＳ５０３）。この場合のＧ_d （ｎ）は，次式によって求められる。

Ｇ_d （ｎ）＝ｍｉｎ（Ｇ_r （ｎ），ａ・（ΔＢ−ＴＨ_B ））
ｍｉｎ（）は，最小値を返す関数であり，ａは予め定められた定数である。

一方，差の総和ΔＢが閾値ＴＨ_B 以上でない場合には，追加ＧＯＰ目標符号量Ｇ_d （ｎ）を０とする（ステップＳ５０４）。

以降の処理は，実施例１における図２のステップＳ１０５〜Ｓ１１１と同様である。

〔実施例６〕
図７は，本発明の実施例６の映像符号化処理のフローチャートである。実施例６と，前述した実施例１〜５との違いは，余剰符号量算出部１３１におけるＧＯＰ（ｎ）期間の余剰符号量Ｇ_r （ｎ）の算出方法である。

実施例６においても，映像と音声の符号化は並行して行われる。ただし，実施例１〜５では，ＧＯＰ（ｎ）の映像フレームと同一表示期間の音声フレームの発生符号量をもとにＧＯＰ（ｎ）期間の余剰符号量Ｇ_r （ｎ）を算出するのに対し，実施例６では，ＧＯＰ（ｎ）の最後の映像フレームよりＡ個の映像フレーム分だけ前の期間と，同じ長さの同一表示期間の音声フレームの発生符号量をもとに，ＧＯＰ（ｎ）期間の余剰符号量Ｇ_r （ｎ）を算出する。ここで，Ａは予め定められた非負の整数である。

したがって，本実施例では，ＧＯＰ（ｎ）の映像フレーム符号化開始より前に，音声符号化装置２０により，このＧＯＰ（ｎ）の最後の映像フレームのＡ映像フレーム前の期間（長さはＧＯＰ（ｎ）期間と同じ）と同一表示期間の音声フレームの符号化が完了しているものとする。

実施例６は，ＧＯＰ（ｎ）の映像符号化期間と音声発生符号量算出期間との時間的なずれにより，前述した実施例と比べて余剰符号量Ｇ_r （ｎ）の算出精度が多少悪くなる場合があるが，音声を先行して符号化する期間を短くすることが可能になるため，符号化の遅延時間を前述した実施例に比べて短縮することができるようになる。

実施例６では，図２に示すフローチャートのうち，ステップＳ１０１が，図７のステップＳ６０１に置き換わる。

ステップＳ６０１では，映像ＧＯＰ目標符号量決定部１３の余剰符号量算出部１３１が，音声符号化装置２０から通知された音声発生符号量の情報をもとに，ＧＯＰ（ｎ）の映像フレーム期間よりＡ映像フレーム前の同一長期間と同じ表示期間の音声フレームｊ〜ｊ＋Ｍ−１（Ｍは前記表示期間の音声フレーム数）について，ＧＯＰ（ｎ）期間の余剰符号量Ｇ_r （ｎ）を，次式によって求める。

Ｇ_r （ｎ）＝Σ_x=j ^j+M-1 ｛Ｓ_amax−Ｓ_a （ｘ）｝
ここで，Ｓ_amaxは，各音声フレームの最大発生符号量，Ｓ_a （ｘ）は，ｘ番目の音声フレームの発生符号量である。

以降の処理は，実施例１における図２のステップＳ１０２〜Ｓ１１１と同様であるが，余剰符号量利用条件の判定を，前述した実施例２〜５の方法を用いて実施してもよい。この場合，図２のステップＳ１０２〜Ｓ１０４が，実施例２の場合には図３のステップＳ２０２〜Ｓ２０４に，実施例３の場合には図４のステップＳ３０２〜Ｓ３０４に，実施例４の場合には図５のステップＳ４０２〜Ｓ４０４に，実施例５の場合には図６のステップＳ５０２〜Ｓ５０４に，さらに置き換わることになる。

〔実施例７〕
図８は，本発明の実施例７の映像符号化処理のフローチャートである。実施例７と，前述した実施例１〜６との違いは，前述した実施例１〜６では，音声の余剰符号量を映像符号化に利用していたのに対し，実施例７では，符号化ストリームに重畳する映像ストリーム以外のデータストリームの余剰符号量を，余剰符号量算出部１３１におけるＧＯＰ（ｎ）期間の余剰符号量Ｇ_r （ｎ）として算出している点である。

本実施例では，ＧＯＰ（ｎ）の映像フレーム符号化開始より前に，ＧＯＰ（ｎ）の映像フレームと同一デコード時刻の符号化ストリーム中に多重化するデータのデータビット量が判明しているものとする。この場合の基準映像ビットレートは，データフレームのビット量が常に最大の場合に確保できる映像ビットレートを指す。

実施例７では，図２に示すフローチャートのうち，ステップＳ１０１が，図８のステップＳ７０１に置き換わる。

ステップＳ７０１では，映像ＧＯＰ目標符号量決定部１３の余剰符号量算出部１３１が，ＧＯＰ（ｎ）の映像フレームのデコード時刻と同一時刻に受信側で必要とされるデータフレームｊ〜ｊ＋Ｍ−１（ＭはＧＯＰ（ｎ）と同一期間のデータフレーム数）について，ＧＯＰ（ｎ）期間の余剰符号量Ｇ_r （ｎ）を，次式によって求める。

Ｇ_r （ｎ）＝Σ_x=j ^j+M-1 ｛Ｓ_dmax−Ｓ_d （ｘ）｝
ここで，Ｓ_dmaxは，各データフレームの最大発生符号量，Ｓ_d （ｘ）は，ｘ番目のデータフレームの発生符号量である。

以降の処理は，実施例１における図２のステップＳ１０２〜Ｓ１１１と同様であるが，実施例６の場合と同じように，余剰符号量利用条件の判定を，実施例２〜５の方法を用いて行ってもよい。

以上の映像符号化の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。

本発明の実施例に係る装置の構成例を示す図である。 本発明の実施例１の映像符号化処理のフローチャートである。 本発明の実施例２の映像符号化処理のフローチャートである。 本発明の実施例３の映像符号化処理のフローチャートである。 本発明の実施例４の映像符号化処理のフローチャートである。 本発明の実施例５の映像符号化処理のフローチャートである。 本発明の実施例６の映像符号化処理のフローチャートである。 本発明の実施例７の映像符号化処理のフローチャートである。 本発明の課題を説明する図である。

符号の説明

１０ 映像符号化装置
１１ 映像入力部
１２ 映像入力バッファ
１３ 映像ＧＯＰ目標符号化量決定部
１３１ 余剰符号量算出部
１３２ 条件判定部
１３３ ＧＯＰ目標符号量算出部
１４ 映像フレーム目標符号量決定部
１５ 映像フレーム符号化処理部
１６ 映像ストリーム出力部
１７ 映像ストリーム出力バッファ
１８ アクティビティ・シーンチェンジ解析部
２０ 音声符号化装置
３０ 多重化部

Claims (7)

1. 映像符号化データと音声符号化データとを多重化した符号化ストリームが所定のビットレートの範囲内になるように，映像の符号量を制御する映像符号量制御方法であって，
   符号化済みの音声発生符号量から映像符号化制御単位の期間における音声の余剰符号量を算出する過程と，
   前記余剰符号量を映像符号化制御単位における目標符号量に加えるかどうかの，あらかじめ定められた映像の発生符号量に影響する映像の特徴または符号化の条件を判定する過程と，
   前記条件が満たされると判定された場合に，前記余剰符号量の一部または全部を映像符号化制御単位における目標符号量に加え，前記条件が満たされないと判定された場合に，前記余剰符号量を映像符号化制御単位における目標符号量に加えないで，次に符号化する映像符号化制御単位における目標符号量を決定する過程と，
   前記決定された目標符号量に従って，映像符号化制御単位における映像信号を符号化する過程とを有し，
   前記条件は，過去の所定数の映像フレームの平均量子化パラメータが所定の閾値以上であるという条件，または過去の所定数の映像フレームの平均量子化ステップが所定の閾値以上であるという条件，またはこれから符号化する映像符号化制御単位のアクティビティ平均値が所定の閾値以上であるという条件，またはこれから符号化する映像符号化制御単位にシーンチェンジがあるという条件，または過去の所定数の映像フレームの目標符号量と発生符号量との差の総和が所定の閾値以上であるという条件である
   ことを特徴とする映像符号量制御方法。
2. 請求項１に記載の映像符号量制御方法において，
   前記音声の余剰符号量を，前記映像符号化制御単位と同一表示期間の音声符号化制御単位群における，各音声符号化制御単位の所定の最大発生符号量と実際の発生符号量との差の総和から算出する
   ことを特徴とする映像符号量制御方法。
3. 請求項１に記載の映像符号量制御方法において，
   前記音声の余剰符号量を，前記映像符号化制御単位より所定の映像フレーム数だけ前の前記映像符号化制御単位と同じ長さの期間の映像フレーム群と同一表示期間の音声符号化制御単位群における，各音声符号化制御単位の所定の最大発生符号量と実際の発生符号量との差の総和から算出する
   ことを特徴とする映像符号量制御方法。
4. 映像符号化データと他の符号化データとを多重化した符号化ストリームが所定のビットレートの範囲内になるように，映像の符号量を制御する映像符号量制御方法であって，
   符号化済みの前記他の符号化データの発生符号量から映像符号化制御単位の期間における前記他の符号化データの余剰符号量を算出する過程と，
   前記余剰符号量を映像符号化制御単位における目標符号量に加えるかどうかの，あらかじめ定められた映像の発生符号量に影響する映像の特徴または符号化の条件を判定する過程と，
   前記条件が満たされると判定された場合に，前記余剰符号量の一部または全部を映像符号化制御単位における目標符号量に加え，前記条件が満たされないと判定された場合に，前記余剰符号量を映像符号化制御単位における目標符号量に加えないで，次に符号化する映像符号化制御単位における目標符号量を決定する過程と，
   前記決定された目標符号量に従って，映像符号化制御単位における映像信号を符号化する過程とを有し，
   前記条件は，過去の所定数の映像フレームの平均量子化パラメータが所定の閾値以上であるという条件，または過去の所定数の映像フレームの平均量子化ステップが所定の閾値以上であるという条件，またはこれから符号化する映像符号化制御単位のアクティビティ平均値が所定の閾値以上であるという条件，またはこれから符号化する映像符号化制御単位にシーンチェンジがあるという条件，または過去の所定数の映像フレームの目標符号量と発生符号量との差の総和が所定の閾値以上であるという条件である
   ことを特徴とする映像符号量制御方法。
5. 映像符号化データと音声符号化データとを多重化した符号化ストリームが所定のビットレートの範囲内になるように，映像の符号量を制御し，映像信号を符号化する映像符号化装置であって，
   符号化済みの音声発生符号量を取得し，映像符号化制御単位の期間における音声の余剰符号量を算出する手段と，
   前記余剰符号量を映像符号化制御単位における目標符号量に加えるかどうかの，あらかじめ定められた映像の発生符号量に影響する映像の特徴または符号化の条件を判定する手段と，
   前記条件が満たされると判定された場合に，前記余剰符号量の一部または全部を映像符号化制御単位における目標符号量に加え，前記条件が満たされないと判定された場合に，前記余剰符号量を映像符号化制御単位における目標符号量に加えないで，次に符号化する映像符号化制御単位における目標符号量を決定する手段と，
   前記決定された目標符号量に従って，映像符号化制御単位における映像信号を符号化する手段とを備え，
   前記条件は，過去の所定数の映像フレームの平均量子化パラメータが所定の閾値以上であるという条件，または過去の所定数の映像フレームの平均量子化ステップが所定の閾値以上であるという条件，またはこれから符号化する映像符号化制御単位のアクティビティ平均値が所定の閾値以上であるという条件，またはこれから符号化する映像符号化制御単位にシーンチェンジがあるという条件，または過去の所定数の映像フレームの目標符号量と発生符号量との差の総和が所定の閾値以上であるという条件である
   ことを特徴とする映像符号化装置。
6. 請求項１から請求項４までのいずれか１項に記載の映像符号量制御方法を，コンピュータに実行させるための映像符号量制御プログラム。
7. 請求項１から請求項４までのいずれか１項に記載の映像符号量制御方法を，コンピュータに実行させるための映像符号量制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images