JP4364350B2 - 可変レート動画像符号化装置 - Google Patents
可変レート動画像符号化装置 Download PDFInfo
- Publication number
- JP4364350B2 JP4364350B2 JP19123399A JP19123399A JP4364350B2 JP 4364350 B2 JP4364350 B2 JP 4364350B2 JP 19123399 A JP19123399 A JP 19123399A JP 19123399 A JP19123399 A JP 19123399A JP 4364350 B2 JP4364350 B2 JP 4364350B2
- Authority
- JP
- Japan
- Prior art keywords
- rate
- coding
- target
- image
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＤＶＤ等の蓄積系ディジタル動画像コンテンツ作成やディジタルビデオカメラ等に用いられ、入力画像信号を可変レートで符号化する可変レート動画像符号化装置に関する。
【０００２】
近年、画像データをディジタルデータとして扱うようになり、静止画像や動画像の画像データを、ディジタル信号により光ディスクや磁気ディスク等に蓄積し、高品質な画像を再生することが可能となっている。しかし、画像データはデータ量が多く、蓄積メディアのコストや高速性等の観点から、画像データを可変レートにより符号化し圧縮する必要がある。
【０００３】
【従来の技術】
図５は従来の可変レート動画像符号化装置の構成図である。また、図６は従来の可変レート動画像符号化装置による符号化処理のフロー図である。従来の画像符号化装置は、入力画像信号と前画面画像信号とを差分演算部５−１に入力し、差分演算部５−１から出力されるその差分画像信号に対して、ＤＣＴ部５−２により離散コサイン変換し、ＤＣＴ部５−２から出力されるＤＣＴ係数を量子化部５−３により量子化する。
【０００４】
量子化部５−３の出力信号は、可変長符号化部５−１１に入力されるとともに、逆量子化部５−４に入力され、逆量子化部５−４は、量子化された画像信号を逆量子化し、逆ＤＣＴ部５−５は、逆量子化された画像信号に対して逆離散コサイン変換の演算を行い、復号差分画像信号を出力する。
【０００５】
逆ＤＣＴ部５−５から出力される復号差分画像信号に、加算部５−６により動き補償部５−９の出力信号を加算して生成した復号画像信号が、フレームメモリ５−７に記憶される。
【０００６】
また、動き検出部５−８には、入力画像信号とフレームメモリ５−７に記憶された前画面の復号画像信号とが入力され、動き検出部５−８は、それらの画像信号から入力画像の動きを検出し、その動きベクトルを動き補償部５−９に送出する。
【０００７】
動き補償部５−９は、該動きベクトルを基にフレームメモリ５−７から予測画信号を抽出し、該予測画信号を差分演算部５−１及び加算部５−６にスイッチ部５−１０を介して出力する。なお、スイッチ部５−１０はフレーム間画素差分値に対する演算を行うときにオン状態とされ、フレーム内画素値に対する演算のときはオフ状態とされる。
【０００８】
可変長符号化部５−１１は、量子化部５−３から出力される量子化信号に対して、符号によって長さが異なる可変長符号化を行い、バッファ５−１２を介して該符号化によるビットストリームを出力するが、その前に、蓄積メディアの容量に合せて発生符号量を制御するために、従来の可変レート動画像符号化装置は、▲１▼１回目の符号化において、入力画像信号の全てに対し、量子化部５−３で固定量子化による符号化を行う（図２のフロー６−１参照）。
【０００９】
そして、▲２▼各画像フレームの発生符号量を発生符号量測定部５−１３で測定し、測定した発生符号量を符号量用メモリ５−１４に蓄積し、入力画像信号の全ての符号化を終了した後、蓄積メディアの容量と符号用メモリ５−１４に蓄積された各画像フレームの発生符号量から、各画像フレームに対する目標符号量を、目標符号量計算部５−１５で計算し、該目標符号量を量子化制御部５−１６に通知する（同６−２参照）。
【００１０】
そして、▲３▼同じ入力画像信号に対する２回目の符号化において、量子化制御部５−１６は、目標符号量計算部５−１５から通知される各フレーム毎の目標符号量で各画像フレームの符号化を行うよう量子化部５−３を制御し、量子化部５−３は、該目標符号量によって量子化した符号を、可変長符号化部５−１１及びバッファ５−１２を介して出力する（同６−３参照）。
【００１１】
【発明が解決しようとする課題】
従って、従来の可変レート動画像符号化装置は、入力画像信号を蓄積メディアの容量に合せた符号量により可変レート符号化するためには、符号化処理を２回行う必要があった。
【００１２】
また、ディジタルビデオカメラ等の入力画像信号のように、最後までの全体の画像が確定していない入力画像信号に対しては、可変レート符号化の平均レートを制御する手法が存在せず、蓄積メディアに対する録画可能時間を決定することができなかった。
【００１３】
本発明は、可変レート符号化の平均レートを画像の複雑度に応じて制御し、１回の符号化処理により、蓄積メディアの容量に合せた同一レートの固定レート符号化（固定量子化）と比較して高画質の符号化を行うことができる可変レート動画像符号化装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明の可変レート動画像符号化装置は、（１）量子化スケールを変化させて発生符号量を制御する可変レート動画像符号化装置において、目標平均符号化レートと、所定枚数の画像フレームからなる符号化済みの符号化区間に対する発生符号量及び量子化スケールの実測データと、該所定枚数の画像フレームからなる符号化中の符号化区間における符号化済み画像フレームに対する発生符号量及び画像複雑度の実測データとを蓄積する記憶手段と、前記記憶手段に蓄積されたデータを基に、最新の符号化区間までの所定数の符号化区間の画像複雑度に対する最新の符号化区間の画像複雑度に応じて、次の符号化区間に対する目標符号化レートを算出する手段と、該目標符号化レートと前記符号化区間の時間長との積により定まる目標符号量を各画像フレームへ割当てる手段と、前記記憶手段に蓄積されたデータを基に、符号化中の符号化区間における最新画像フレームの複雑度の変化に応じて、次の画像フレームに対する前記目標符号化レートを更新する手段と、画像フレーム毎に前記更新した目標符号化レートにより定まる割当て符号量により、動画像信号の符号化を繰返す手段とを備えたものである。
【００１５】
また、（２）量子化スケールを変化させて発生符号量を制御する可変レート動画像符号化装置において、目標平均符号化レートと、所定枚数の画像フレームからなる符号化済みの符号化区間に対する発生符号量及び画像複雑度の実測データと、該所定枚数の画像フレームからなる符号化中の符号化区間における符号化済み画像フレームに対する発生符号量及び画像複雑度の実測データとを蓄積する記憶手段と、前記記憶手段に蓄積されたデータをもとに、多区間の符号化区間の画像複雑度に対する最新の符号化区間の画像複雑度に応じて、次の符号化区間に対する目標符号化レートを算出する手段と、該目標符号化レートと前記符号化区間の時間長との積により定まる目標符号量を各画像フレームへ割当てる手段と、前記記憶手段に蓄積されたデータをもとに、符号化中の符号化区間における最新画像フレームの画像複雑度の変化に応じて、次の画像フレームに対する前記目標符号化レートを更新する手段と、画像フレーム毎に前記更新した目標符号化レートにより定まる割当て符号量により、動画像信号の符号化を繰返す手段とを備え、目標平均符号化レートを中心に可変レートで動画像信号を符号化し、所定の割り当て容量の蓄積媒体に所定記録時間の動画像信号を１回の符号化処理により符号化して蓄積する構成を有するものである。
【００１６】
また、（３）前述の、次の符号化区間に対する目標符号化レートを計算する手段は、目標符号化レートを、目標平均符号化レートと該目標平均符号化レートからの偏差を表す可変レート補正項との和で算定し、前記可変レート補正項を、画像複雑度変化指数と平均符号化レート補正係数と目標平均符号化レートとの積として算定し、前記画像複雑度変化指数を、最新の符号化区間における画像複雑度と、最新の符号化区間までの所定数の符号化区間における画像複雑度を平均化した多区間平均画像複雑度とから算定し、かつ、その両者の画像複雑度の比に応じて増減し、最新の符号化区間における画像複雑度が多区間平均画像複雑度より高いと正となり、最新の符号化区間における画像複雑度が多区間平均画像複雑度より低いと負となる算定式により算定し、前記平均符号化レート補正係数を、目標平均符号化レートと、目標平均符号化レートからの平均符号化レート許容変動幅と、最新の符号化区間までの所定数の符号化区間に対する過去の符号化レートの実績値を平均化した多区間平均符号化レートとから算定し、かつ、多区間平均符号化レートが目標平均符号化レートに近づくと値が増大し、多区間平均符号化レートが目標平均符号化レートから外れるにつれて値が零に漸近する算定式により算定する構成を有するものである。
【００１７】
また、（４）前述の、符号化中の符号化区間における次の画像フレームに対する目標符号化レートを更新する手段は、目標符号化レート更新値を、符号化中の符号化区間の目標符号化レートと目標符号化レート補正項の和で算定し、前記目標符号化レート補正項を、目標平均符号化レートと画像複雑度補正係数と平均符号化レート補正係数との積として算定し、前記画像複雑度補正係数を、最新画像フレームの画像複雑度と、該最新画像フレームと同一ピクチャタイプで該最新画像フレームの直前に符号化した画像フレームの画像複雑度と、当該符号化中の符号化区間における同一ピクチャタイプの残りの画像フレーム数と、最新の符号化区間までの所定数の符号化区間に対する画像複雑度の実績値を平均化した多区間平均画像複雑度とから算定し、かつ、最新画像フレームの画像複雑度の変化分に比例して増減する算定式により算定し、前記平均符号化レート補正係数を、目標平均符号化レートと、目標平均符号化レートからの平均符号化レート許容変動幅と、最新の符号化区間までの所定数の符号化区間に対する過去の符号化レートの実績値を平均化した多区間平均符号化レートとから算定し、かつ、多区間平均符号化レートが目標平均符号化レートに近づくと値が増大し、多区間平均符号化レートが目標平均符号化レートから外れるにつれて値が零に漸近する算定式により算定する構成を有するものである。
【００１８】
また、（５）前述の、目標符号化レートを算出する手段又は目標符号化レートを更新する手段は、前記画像複雑度を、所定数の隣接画素の集合であるマクロブロック毎に定まる量子化スケールの画像フレーム内平均値と、画像フレームに対する発生符号量との積の値を、符号化区間にわたって累積して算定する構成を有するものである。
【００１９】
また、（６）前述の、目標符号化レートを算出する手段又は目標符号化レートを更新する手段は、前記画像複雑度を、所定数の隣接画素の集合であるマクロブロックに対し、フレーム内符号化が行われるマクロブロックでは画素の分散を、フレーム間符号化が行われるマクロブロックでは動き補償後の画素の分散を画像フレーム内で累積した値を、符号化区間にわたって累積して算定する構成を有するものである。
【００２０】
また、（７）前述の、目標符号化レートを算出する手段又は目標符号化レートを更新する手段は、前記画像複雑度を、所定数の隣接画素の集合であるマクロブロックに対し、フレーム内符号化が行われるマクロブロックではマクロブロックの画素の平均値からの差分絶対値和を、フレーム間符号化が行われるマクロブロックでは動き補償後のマクロブロックの画素の平均値からの差分絶対値和を画像フレーム内で累積した値を、符号化区間にわたって累積して算定する構成を有するものである。
【００２１】
また、（８）量子化スケールを変化させて発生符号量を制御する可変レート動画像符号化装置において、量子化された動画像信号を可変長符号化する可変長符号化部の出力符号から、所定数の隣接画素の集合であるマクロブロック及び画像フレームに対する発生符号量を、所定枚数の画像フレームからなる符号化区間毎に測定する発生符号量測定部と、前記発生符号量測定部で測定した各発生符号量及び量子化制御部から通知されるマクロブロック毎の量子化スケールを蓄積する符号化データメモリと、前記符号化データメモリに蓄積した各発生符号量及び量子化スケールから、各画像フレームの平均画像複雑度、前記符号化区間の平均画像複雑度、多区間の符号化区間における平均画像複雑度、及び多区間の符号区間における平均符号化レートを算出する平均値計算部と、前記符号化データメモリに蓄積された各発生符号量及び前記平均値計算部の計算データから、上記（３）に記載の、次の符号化区間に対する目標符号化レートを計算する手段における各算定手段により、次の符号化区間に対する目標符号化レートを算定し、かつ、上記（４）に記載の、符号化中の符号化区間における次の画像フレームに対する目標符号化レートを更新する手段における各算定手段により、符号化中の符号化区間における次の画像フレームに対する目標符号化レートを更新し、該目標符号化レートにより定まる各画像フレームへの割当て目標符号量を計算する目標符号量計算部と、前記目標符号量計算部により計算された画像フレーム当りの目標符号量を、画像フレーム当りの発生符号量として、動画像信号に対する量子化を行うように量子化部を制御する量子化制御部とを備えたものである。
【００２２】
また、（９）前述の平均値計算部は、平均画像複雑度として、フレーム内符号化が行われるマクロブロックでは画素の分散又はマクロブロックの画素の平均値からの差分絶対値和を、フレーム間符号化が行われるマクロブロックでは動き補償後の画素の分散又はマクロブロックの画素の平均値からの差分絶対値和を、累積して算定する構成を有するものである。
【００２３】
【発明の実施の形態】
図１は、本発明の可変レート動画像符号化装置の構成図である。同図において、１−１は差分演算部、１−２はＤＣＴ部、１−３は量子化部、１−４は逆量子化部、１−５は逆ＤＣＴ部、１−６は加算部、１−７はフレームメモリ、１−８は動き検出部、１−９は動き補償部、１−１０はスイッチ部、１−１１は可変長符号化部、１−１２はバッファであり、それらの機能は図５に示した従来におけるものと同様であるので重複した説明は省略する。
【００２４】
発生符号量測定部１−１３は、可変長符号化部１−１１から出力されるビットストリームの符号量を常時測定し、所定数の画像フレームからなる符号化区間毎の各マクロブロック及び画像フレームの発生符号量を測定し、それらの発生符号量を符号化データ用メモリ１−１４に蓄積する。なお、マクロブロックとは、画像フレーム内の所定数（例えば、１６×１６）の隣接画素の集合である。
【００２５】
符号化データ用メモリ１−１４は、発生符号量測定部１−１３から出力される前述の発生符号量データを蓄積し、また、量子化制御部１−１６から出力されるマクロブロック毎の量子化スケール値又は画像フレーム毎の平均量子化スケール値を蓄積し、更にそれらを基に算定される画像複雑度等の画像符号化パラメータを蓄積する。
【００２６】
平均値計算部１−１５ａは、符号化データ用メモリ１−１４に蓄積された量子化スケール値及び発生符号量データから、所定数の画像フレームからなる符号化区間毎の画像複雑度ＧＣＭi 、所定数の符号化区間からなる多区間の平均画像複雑度ＧＣＭav、及び多区間の平均符号化レートＲavを算出する。
【００２７】
目標符号量計算部１−１５ｂは、平均値計算部１−１５ａからの平均値データと符号化データ用メモリ１−１４中のデータとから、次の符号化区間の入力画像信号に対する目標符号化レートＲ及び該目標符号化レートと符号化区間の時間長との積として定まる目標符号量を決定し、更に符号化中の符号化区間の目標符号化レートを更新して割り当て符号量の随時修正を行う。
【００２８】
量子化制御部１−１６は、バッファ１−１２の占有度及び目標符号量計算部１−１５ｂから出力される目標符号量に従って入力画像信号を量子化し、該量子化に使用する量子化スケールｑを決定する。
【００２９】
図２は本発明の可変レート動画像符号化装置による符号化処理のフロー図である。まず最初に所定の符号化レートにより、所定枚数の画像フレームからなる符号化区間の画像の符号化を行う（図２のフロー２−１参照）。
【００３０】
符号化の開始後、符号化画像フレームに対する発生符号量、量子化スケール値、画像複雑度等の画像符号化パラメータを取得し、平均値計算部１−１５ａは、多区間平均符号化レートＲav、多区間平均画像複雑度ＧＣＭav、画像フレームの平均量子化スケールｑj 等を計算する（同２−２参照）。
【００３１】
目標符号量計算部１−１５ｂは、所定枚数の画像フレームからなる符号化区間毎に、上記画像符号化パラメータから平均量子化スケールがほぼ一定になる、つまりほぼ同一の画質になるように、次の符号化区間の目標符号化レートＲを算出する（同２−３参照）。
【００３２】
ただし、平均符号化レートが目標平均符号化レートの許容変動幅から外れないように目標符号化レートＲを修正し、該目標符号化レートと符号化区間の時間長の積により目標符号量を計算する。
【００３３】
量子化制御部１−１６は、この目標符号量に基いて各画像フレームへ割り当てる符号量を制御するとともに、量子化スケールｑを決定し、該量子化スケールｑを使用して画像フレームの符号化を行う（同２−４参照）。
【００３４】
そして、１つの符号化区間の符号化が全て終了したかどうかを判定し（同２−５参照）、終了していなければ、目標符号化レートＲを画像フレーム毎の変化に対応したものにするよう目標符号化レートＲを修正する（同２−６参照）。
【００３５】
この目標符号化レートＲの更新は、画像フレームを符号化する毎に行い、また、この画像フレーム毎の更新に際し、平均符号化レートが目標平均符号化レートの許容変動幅から外れないように行う。
【００３６】
そして上記の処理（２−２〜２−６）を、１つの符号化区間の符号化が終了するまで繰返し、該符号化区間の符号化が終了すると、全ての符号化区間の符号化が終了したかどうかを判定し（同２−７参照）、これらの処理（２−２〜２−７）を符号化終了まで繰り返す。
【００３７】
前述の目標符号化レートＲを設定するときに、ある程度の平均符号化レートの変動を許容することにより、短時間の画像複雑度の変化による量子化スケールｑの変化が抑制されるため、画像の複雑度の変動に依存せず画質が安定し、同一レートの固定レート符号化の場合と比較して高画質で符号化することが可能となる。
【００３８】
つまり、画像複雑度が高く、圧縮されにくい画像に対して目標符号化レートを高くし、画像複雑度が低く、圧縮されやすい画像に対して目標符号化レートを低くすることにより、同一レートの固定レート符号化より高品質画像となる符号化を行うことができる。
【００３９】
前述の目標符号量計算部１−１５ｂにおける次の符号化区間の目標符号化レートＲは、以下の（式１）ように、目標平均符号化レートＲO と可変レート補正項ＲC との和により算定する。
Ｒ＝ＲO ＋ＲC ・・・（式１）
【００４０】
可変レート補正項ＲC は、以下の（式２）のように、画像複雑度変化指数Ｇと平均符号化レート補正係数Ｃと目標平均符号化レートＲO との積により算定する。
ＲC ＝Ｇ×Ｃ×ＲO ・・・（式２）
【００４１】
画像複雑度変化指数Ｇは、最新の符号化区間の画像複雑度ＧＣＭi と多区間平均画像複雑度ＧＣＭavとから、以下の（式３）により算定する。
Ｇ＝ＧＣＭi ／ＧＣＭav−１ ・・・（式３）。
【００４２】
最新の符号化区間の画像複雑度ＧＣＭi は、各画像フレームの平均量子化スケールｑj と画像フレームの符号量Ｐj との積を、符号化区間の画像分積算（Σｑj ×Ｐj ）することにより算出される。また、多区間平均画像複雑度ＧＣＭavは、最新の符号化区間までの所定数の符号化区間に対する画像複雑度の平均値として算出される。
【００４３】
また、平均符号化レート補正係数Ｃは、目標平均符号化レートＲO と平均符号化レート許容変動幅ＲI と多区間平均符号化レートＲavとから、以下の（式４1 ）及び（式４2 ）により算定する。
Ｃ＝（（ＲO ＋ＲI ）−Ｒav）／ＲI （Ｒav＞ＲO の場合）・・・（式４1 ）
Ｃ＝（Ｒav−（ＲO −ＲI ））／ＲI （Ｒav＜ＲO の場合）・・・（式４2 ）
【００４４】
図３は前述の画像複雑度変化指数Ｇ及び平均符号化レート補正係数Ｃの特性を示し、図の（ａ）は画像複雑度ＧＣＭi の変化に対する画像複雑度変化指数Ｇ、図の（ｂ）は多区間平均符号化レートＲavの変化に対する平均符号化レート補正係数Ｃの依存特性を示している。
【００４５】
図３の（ａ）に示すように、最新の符号化区間の画像複雑度ＧＣＭi が、多区間平均画像複雑度ＧＣＭavより高い（大きい）場合、画像複雑度変化指数Ｇは正の値となり、( 式２) で算定される可変レート補正項ＲC が正となって、（式１）で算定される目標符号化レートＲを増大させる。
【００４６】
一方、最新の符号化区間の画像複雑度ＧＣＭi が、多区間平均画像複雑度ＧＣＭavより低い（小さい）場合、画像複雑度変化指数Ｇは負の値となり、( 式２) で算定される可変レート補正項ＲC が負となって、（式１）で算定される目標符号化レートＲを減少させる。
【００４７】
また、図３の（ｂ）に示すように、多区間平均符号化レートＲavが目標平均符号化レートＲO から外れるにつれて、平均符号化レート補正係数Ｃの値は零に漸近し、( 式２) で算定される可変レート補正項ＲC を零に漸近させ、目標符号化レートＲの変動を抑制する。
【００４８】
目標符号量計算部１−１５ｂは、上記のように次の符号化区間の目標符号化レートＲを計算し、該目標符号化レートと符号化区間の時間長との積により目標符号量を算出して量子化制御部１−１６に通知する。量子化制御部１−１６は、通知された目標符号量に応じて符号化区間の量子化スケールｑを決定し、前述したように入力画像信号の量子化を行う。
【００４９】
さらに、目標符号量計算部１−１５ｂは、符号化区間の各々の画像フレームを符号化する毎に、以下の（式５）ように、上記の目標符号化レートＲに目標符号化レート補正項ΔＲを加え、目標符号化レートを更新する。ここで、更新された目標符号化レートをＲ' とする。
Ｒ' ＝Ｒ＋ΔＲ ・・・（式５）
【００５０】
目標符号化レート補正項ΔＲは、以下の（式６）に示すように、目標平均符号化レートＲO と画像複雑度補正係数Ｆと平均符号化レート補正係数Ｃとの積により算定する。
ΔＲ＝ＲO ×Ｆ×Ｃ ・・・（式６）
【００５１】
画像複雑度補正係数Ｆは、以下の（式７）のように、直前に符号化した画像フレームｆj ' の画像複雑度Ｘj ' と、該画像フレームｆj ' と同一のピクチャタイプで、該画像フレームｆj ' に一番時間的に近い画像フレームｆj の画像複雑度Ｘj と、多区間平均画像複雑度ＧＣＭavと、符号化中の符号化区間における同一ピクチャタイプの残りの画像フレーム枚数Ｎr とから、算定する。
Ｆ＝（Ｘj ' −Ｘj ）／ＧＣＭav×Ｎr ・・・（式７）
【００５２】
ここで、ピクチャタイプとは、予測符号化方式に対応した画像タイプであり、前方向フレーム間符号化（Ｐピクチャ）、双方向予測符号化（Ｂピクチャ）等である。また、平均符号化レート補正係数Ｃは、前述の（式４1 ）（式４2 ）により算定されるものである。
【００５３】
画像複雑度補正係数Ｆは、直前に符号化した画像フレームｆj ' の画像複雑度Ｘj ' と、その直近の同一ピクチャタイプの画像フレームｆj の画像複雑度Ｘj との差分に、同一ピクチャタイプの残りの画像フレーム枚数Ｎr を乗じたもので、残りの画像フレームの複雑度を予測し、該予測による残りの画像フレームの複雑度に応じて目標符号化レートを増減させる。
【００５４】
すなわち、直前に符号化した画像フレームｆj ' の画像複雑度Ｘj ' が、その前に符号化した画像フレームｆj の画像複雑度Ｘj より高い場合には、（式７）により算定される画像複雑度補正係数Ｆは正の値となり、（式６）により算定される目標符号化レート補正項ΔＲも正となって、（式５）により算定される目標符号化レートの更新値Ｒ' は増大する。
【００５５】
また、直前に符号化した画像フレームｆj ' の画像複雑度Ｘj ' が、その前に符号化した画像フレームｆj の画像複雑度Ｘj より低い場合には、（式７）により算定される画像複雑度補正係数Ｆは負の値となり、（式６）により算定される目標符号化レート補正項ΔＲも負となって、（式５）により算定される目標符号化レートの更新値Ｒ' は減少する。
【００５６】
このように、直近の符号化区間又は符号化中の符号化区間に対する各画像フレームの符号量の実測結果に比例して、符号化中の符号化区間内の各画像フレームへ符号量の割り当てを行う。
【００５７】
量子化制御部１−１６は、バッファ１−１２の占有度、目標符号化レートＲ及びその更新値Ｒ' に従って、固定レート符号化と同様の手法で入力画像信号の符号化を行う。このように一定時間毎にビットレートの異なる固定レート符号化を連続的に行っていく。このときの平均符号ビットレートの変動の様子を図４に示す。
【００５８】
平均符号レートは、目標平均符号レートＲO を中心として、±平均符号化レート許容変動幅ＲI の間で、画像複雑度に応じて変動し、画像複雑度の高い画像フレームに多くの符号量を割当て、画像複雑度の低い画像フレームに少ない符号量を割当てることにより、高画質の符号化を行うことができる。
【００５９】
なお、前述の実施の形態において、画像複雑度を、量子化スケールと発生情報量との積により算出したが、画像複雑度として、マクロブロック毎の画素の分散、又はマクロブロックの画素の平均値からの差分絶対値和を、画像フレーム内で累積した値を、符号化区間にわたって累積して算定することもできる。
【００６０】
この場合、フレーム内符号化が行われるマクロブロックについては、マクロブロックの画素の分散又は平均値からの差分絶対値和を、フレーム間符号化が行われるマクロブロックについては、動き補償後のマクロブロックの画素の分散又は平均値からの差分絶対値和を、画像フレーム内で累積した値を符号化区間にわたって累積して定めることができる。
【００６１】
【発明の効果】
以上説明したように、本発明によれば、可変レート符号化の平均レートを、入力画像フレームの複雑度に応じて、所定数の画像フレームからなる符号化区間毎及び画像フレーム毎に順次制御し、複雑度の高い画像フレームには許容変動幅の範囲内で多くの符号量を割当て、複雑度の低い画像フレームには許容変動幅の範囲内で少ない符号量を割当てることにより、同一のビットレートの固定レート符号化と比較して、高画質の画像を復元できる符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明の可変レート動画像符号化装置の構成図である。
【図２】本発明の可変レート動画像符号化装置による符号化処理のフロー図である。
【図３】本発明の画像複雑度変化指数Ｇ及び平均符号化レート補正係数Ｃの特性を示す図である。
【図４】本発明の可変レート符号化による平均符号ビットレートの変動の様子を示す図である。
【図５】従来の可変レート動画像符号化装置の構成図である。
【図６】従来の可変レート動画像符号化装置による符号化処理のフロー図である。
【符号の説明】
１−１ 差分演算部
１−２ ＤＣＴ部
１−３ 量子化部
１−４ 逆量子化部
１−５ 逆ＤＣＴ部
１−６ 加算部
１−７ フレームメモリ
１−８ 動き検出部
１−９ 動き補償部
１−１０ スイッチ部
１−１１ 可変長符号化部
１−１２ バッファ
１−１３ 発生符号量測定部
１−１４ 符号化データ用メモリ
１−１５ａ 平均値計算部
１−１５ｂ 目標符号量計算部
１−１６ 量子化制御部
【発明の属する技術分野】
本発明は、ＤＶＤ等の蓄積系ディジタル動画像コンテンツ作成やディジタルビデオカメラ等に用いられ、入力画像信号を可変レートで符号化する可変レート動画像符号化装置に関する。
【０００２】
近年、画像データをディジタルデータとして扱うようになり、静止画像や動画像の画像データを、ディジタル信号により光ディスクや磁気ディスク等に蓄積し、高品質な画像を再生することが可能となっている。しかし、画像データはデータ量が多く、蓄積メディアのコストや高速性等の観点から、画像データを可変レートにより符号化し圧縮する必要がある。
【０００３】
【従来の技術】
図５は従来の可変レート動画像符号化装置の構成図である。また、図６は従来の可変レート動画像符号化装置による符号化処理のフロー図である。従来の画像符号化装置は、入力画像信号と前画面画像信号とを差分演算部５−１に入力し、差分演算部５−１から出力されるその差分画像信号に対して、ＤＣＴ部５−２により離散コサイン変換し、ＤＣＴ部５−２から出力されるＤＣＴ係数を量子化部５−３により量子化する。
【０００４】
量子化部５−３の出力信号は、可変長符号化部５−１１に入力されるとともに、逆量子化部５−４に入力され、逆量子化部５−４は、量子化された画像信号を逆量子化し、逆ＤＣＴ部５−５は、逆量子化された画像信号に対して逆離散コサイン変換の演算を行い、復号差分画像信号を出力する。
【０００５】
逆ＤＣＴ部５−５から出力される復号差分画像信号に、加算部５−６により動き補償部５−９の出力信号を加算して生成した復号画像信号が、フレームメモリ５−７に記憶される。
【０００６】
また、動き検出部５−８には、入力画像信号とフレームメモリ５−７に記憶された前画面の復号画像信号とが入力され、動き検出部５−８は、それらの画像信号から入力画像の動きを検出し、その動きベクトルを動き補償部５−９に送出する。
【０００７】
動き補償部５−９は、該動きベクトルを基にフレームメモリ５−７から予測画信号を抽出し、該予測画信号を差分演算部５−１及び加算部５−６にスイッチ部５−１０を介して出力する。なお、スイッチ部５−１０はフレーム間画素差分値に対する演算を行うときにオン状態とされ、フレーム内画素値に対する演算のときはオフ状態とされる。
【０００８】
可変長符号化部５−１１は、量子化部５−３から出力される量子化信号に対して、符号によって長さが異なる可変長符号化を行い、バッファ５−１２を介して該符号化によるビットストリームを出力するが、その前に、蓄積メディアの容量に合せて発生符号量を制御するために、従来の可変レート動画像符号化装置は、▲１▼１回目の符号化において、入力画像信号の全てに対し、量子化部５−３で固定量子化による符号化を行う（図２のフロー６−１参照）。
【０００９】
そして、▲２▼各画像フレームの発生符号量を発生符号量測定部５−１３で測定し、測定した発生符号量を符号量用メモリ５−１４に蓄積し、入力画像信号の全ての符号化を終了した後、蓄積メディアの容量と符号用メモリ５−１４に蓄積された各画像フレームの発生符号量から、各画像フレームに対する目標符号量を、目標符号量計算部５−１５で計算し、該目標符号量を量子化制御部５−１６に通知する（同６−２参照）。
【００１０】
そして、▲３▼同じ入力画像信号に対する２回目の符号化において、量子化制御部５−１６は、目標符号量計算部５−１５から通知される各フレーム毎の目標符号量で各画像フレームの符号化を行うよう量子化部５−３を制御し、量子化部５−３は、該目標符号量によって量子化した符号を、可変長符号化部５−１１及びバッファ５−１２を介して出力する（同６−３参照）。
【００１１】
【発明が解決しようとする課題】
従って、従来の可変レート動画像符号化装置は、入力画像信号を蓄積メディアの容量に合せた符号量により可変レート符号化するためには、符号化処理を２回行う必要があった。
【００１２】
また、ディジタルビデオカメラ等の入力画像信号のように、最後までの全体の画像が確定していない入力画像信号に対しては、可変レート符号化の平均レートを制御する手法が存在せず、蓄積メディアに対する録画可能時間を決定することができなかった。
【００１３】
本発明は、可変レート符号化の平均レートを画像の複雑度に応じて制御し、１回の符号化処理により、蓄積メディアの容量に合せた同一レートの固定レート符号化（固定量子化）と比較して高画質の符号化を行うことができる可変レート動画像符号化装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明の可変レート動画像符号化装置は、（１）量子化スケールを変化させて発生符号量を制御する可変レート動画像符号化装置において、目標平均符号化レートと、所定枚数の画像フレームからなる符号化済みの符号化区間に対する発生符号量及び量子化スケールの実測データと、該所定枚数の画像フレームからなる符号化中の符号化区間における符号化済み画像フレームに対する発生符号量及び画像複雑度の実測データとを蓄積する記憶手段と、前記記憶手段に蓄積されたデータを基に、最新の符号化区間までの所定数の符号化区間の画像複雑度に対する最新の符号化区間の画像複雑度に応じて、次の符号化区間に対する目標符号化レートを算出する手段と、該目標符号化レートと前記符号化区間の時間長との積により定まる目標符号量を各画像フレームへ割当てる手段と、前記記憶手段に蓄積されたデータを基に、符号化中の符号化区間における最新画像フレームの複雑度の変化に応じて、次の画像フレームに対する前記目標符号化レートを更新する手段と、画像フレーム毎に前記更新した目標符号化レートにより定まる割当て符号量により、動画像信号の符号化を繰返す手段とを備えたものである。
【００１５】
また、（２）量子化スケールを変化させて発生符号量を制御する可変レート動画像符号化装置において、目標平均符号化レートと、所定枚数の画像フレームからなる符号化済みの符号化区間に対する発生符号量及び画像複雑度の実測データと、該所定枚数の画像フレームからなる符号化中の符号化区間における符号化済み画像フレームに対する発生符号量及び画像複雑度の実測データとを蓄積する記憶手段と、前記記憶手段に蓄積されたデータをもとに、多区間の符号化区間の画像複雑度に対する最新の符号化区間の画像複雑度に応じて、次の符号化区間に対する目標符号化レートを算出する手段と、該目標符号化レートと前記符号化区間の時間長との積により定まる目標符号量を各画像フレームへ割当てる手段と、前記記憶手段に蓄積されたデータをもとに、符号化中の符号化区間における最新画像フレームの画像複雑度の変化に応じて、次の画像フレームに対する前記目標符号化レートを更新する手段と、画像フレーム毎に前記更新した目標符号化レートにより定まる割当て符号量により、動画像信号の符号化を繰返す手段とを備え、目標平均符号化レートを中心に可変レートで動画像信号を符号化し、所定の割り当て容量の蓄積媒体に所定記録時間の動画像信号を１回の符号化処理により符号化して蓄積する構成を有するものである。
【００１６】
また、（３）前述の、次の符号化区間に対する目標符号化レートを計算する手段は、目標符号化レートを、目標平均符号化レートと該目標平均符号化レートからの偏差を表す可変レート補正項との和で算定し、前記可変レート補正項を、画像複雑度変化指数と平均符号化レート補正係数と目標平均符号化レートとの積として算定し、前記画像複雑度変化指数を、最新の符号化区間における画像複雑度と、最新の符号化区間までの所定数の符号化区間における画像複雑度を平均化した多区間平均画像複雑度とから算定し、かつ、その両者の画像複雑度の比に応じて増減し、最新の符号化区間における画像複雑度が多区間平均画像複雑度より高いと正となり、最新の符号化区間における画像複雑度が多区間平均画像複雑度より低いと負となる算定式により算定し、前記平均符号化レート補正係数を、目標平均符号化レートと、目標平均符号化レートからの平均符号化レート許容変動幅と、最新の符号化区間までの所定数の符号化区間に対する過去の符号化レートの実績値を平均化した多区間平均符号化レートとから算定し、かつ、多区間平均符号化レートが目標平均符号化レートに近づくと値が増大し、多区間平均符号化レートが目標平均符号化レートから外れるにつれて値が零に漸近する算定式により算定する構成を有するものである。
【００１７】
また、（４）前述の、符号化中の符号化区間における次の画像フレームに対する目標符号化レートを更新する手段は、目標符号化レート更新値を、符号化中の符号化区間の目標符号化レートと目標符号化レート補正項の和で算定し、前記目標符号化レート補正項を、目標平均符号化レートと画像複雑度補正係数と平均符号化レート補正係数との積として算定し、前記画像複雑度補正係数を、最新画像フレームの画像複雑度と、該最新画像フレームと同一ピクチャタイプで該最新画像フレームの直前に符号化した画像フレームの画像複雑度と、当該符号化中の符号化区間における同一ピクチャタイプの残りの画像フレーム数と、最新の符号化区間までの所定数の符号化区間に対する画像複雑度の実績値を平均化した多区間平均画像複雑度とから算定し、かつ、最新画像フレームの画像複雑度の変化分に比例して増減する算定式により算定し、前記平均符号化レート補正係数を、目標平均符号化レートと、目標平均符号化レートからの平均符号化レート許容変動幅と、最新の符号化区間までの所定数の符号化区間に対する過去の符号化レートの実績値を平均化した多区間平均符号化レートとから算定し、かつ、多区間平均符号化レートが目標平均符号化レートに近づくと値が増大し、多区間平均符号化レートが目標平均符号化レートから外れるにつれて値が零に漸近する算定式により算定する構成を有するものである。
【００１８】
また、（５）前述の、目標符号化レートを算出する手段又は目標符号化レートを更新する手段は、前記画像複雑度を、所定数の隣接画素の集合であるマクロブロック毎に定まる量子化スケールの画像フレーム内平均値と、画像フレームに対する発生符号量との積の値を、符号化区間にわたって累積して算定する構成を有するものである。
【００１９】
また、（６）前述の、目標符号化レートを算出する手段又は目標符号化レートを更新する手段は、前記画像複雑度を、所定数の隣接画素の集合であるマクロブロックに対し、フレーム内符号化が行われるマクロブロックでは画素の分散を、フレーム間符号化が行われるマクロブロックでは動き補償後の画素の分散を画像フレーム内で累積した値を、符号化区間にわたって累積して算定する構成を有するものである。
【００２０】
また、（７）前述の、目標符号化レートを算出する手段又は目標符号化レートを更新する手段は、前記画像複雑度を、所定数の隣接画素の集合であるマクロブロックに対し、フレーム内符号化が行われるマクロブロックではマクロブロックの画素の平均値からの差分絶対値和を、フレーム間符号化が行われるマクロブロックでは動き補償後のマクロブロックの画素の平均値からの差分絶対値和を画像フレーム内で累積した値を、符号化区間にわたって累積して算定する構成を有するものである。
【００２１】
また、（８）量子化スケールを変化させて発生符号量を制御する可変レート動画像符号化装置において、量子化された動画像信号を可変長符号化する可変長符号化部の出力符号から、所定数の隣接画素の集合であるマクロブロック及び画像フレームに対する発生符号量を、所定枚数の画像フレームからなる符号化区間毎に測定する発生符号量測定部と、前記発生符号量測定部で測定した各発生符号量及び量子化制御部から通知されるマクロブロック毎の量子化スケールを蓄積する符号化データメモリと、前記符号化データメモリに蓄積した各発生符号量及び量子化スケールから、各画像フレームの平均画像複雑度、前記符号化区間の平均画像複雑度、多区間の符号化区間における平均画像複雑度、及び多区間の符号区間における平均符号化レートを算出する平均値計算部と、前記符号化データメモリに蓄積された各発生符号量及び前記平均値計算部の計算データから、上記（３）に記載の、次の符号化区間に対する目標符号化レートを計算する手段における各算定手段により、次の符号化区間に対する目標符号化レートを算定し、かつ、上記（４）に記載の、符号化中の符号化区間における次の画像フレームに対する目標符号化レートを更新する手段における各算定手段により、符号化中の符号化区間における次の画像フレームに対する目標符号化レートを更新し、該目標符号化レートにより定まる各画像フレームへの割当て目標符号量を計算する目標符号量計算部と、前記目標符号量計算部により計算された画像フレーム当りの目標符号量を、画像フレーム当りの発生符号量として、動画像信号に対する量子化を行うように量子化部を制御する量子化制御部とを備えたものである。
【００２２】
また、（９）前述の平均値計算部は、平均画像複雑度として、フレーム内符号化が行われるマクロブロックでは画素の分散又はマクロブロックの画素の平均値からの差分絶対値和を、フレーム間符号化が行われるマクロブロックでは動き補償後の画素の分散又はマクロブロックの画素の平均値からの差分絶対値和を、累積して算定する構成を有するものである。
【００２３】
【発明の実施の形態】
図１は、本発明の可変レート動画像符号化装置の構成図である。同図において、１−１は差分演算部、１−２はＤＣＴ部、１−３は量子化部、１−４は逆量子化部、１−５は逆ＤＣＴ部、１−６は加算部、１−７はフレームメモリ、１−８は動き検出部、１−９は動き補償部、１−１０はスイッチ部、１−１１は可変長符号化部、１−１２はバッファであり、それらの機能は図５に示した従来におけるものと同様であるので重複した説明は省略する。
【００２４】
発生符号量測定部１−１３は、可変長符号化部１−１１から出力されるビットストリームの符号量を常時測定し、所定数の画像フレームからなる符号化区間毎の各マクロブロック及び画像フレームの発生符号量を測定し、それらの発生符号量を符号化データ用メモリ１−１４に蓄積する。なお、マクロブロックとは、画像フレーム内の所定数（例えば、１６×１６）の隣接画素の集合である。
【００２５】
符号化データ用メモリ１−１４は、発生符号量測定部１−１３から出力される前述の発生符号量データを蓄積し、また、量子化制御部１−１６から出力されるマクロブロック毎の量子化スケール値又は画像フレーム毎の平均量子化スケール値を蓄積し、更にそれらを基に算定される画像複雑度等の画像符号化パラメータを蓄積する。
【００２６】
平均値計算部１−１５ａは、符号化データ用メモリ１−１４に蓄積された量子化スケール値及び発生符号量データから、所定数の画像フレームからなる符号化区間毎の画像複雑度ＧＣＭi 、所定数の符号化区間からなる多区間の平均画像複雑度ＧＣＭav、及び多区間の平均符号化レートＲavを算出する。
【００２７】
目標符号量計算部１−１５ｂは、平均値計算部１−１５ａからの平均値データと符号化データ用メモリ１−１４中のデータとから、次の符号化区間の入力画像信号に対する目標符号化レートＲ及び該目標符号化レートと符号化区間の時間長との積として定まる目標符号量を決定し、更に符号化中の符号化区間の目標符号化レートを更新して割り当て符号量の随時修正を行う。
【００２８】
量子化制御部１−１６は、バッファ１−１２の占有度及び目標符号量計算部１−１５ｂから出力される目標符号量に従って入力画像信号を量子化し、該量子化に使用する量子化スケールｑを決定する。
【００２９】
図２は本発明の可変レート動画像符号化装置による符号化処理のフロー図である。まず最初に所定の符号化レートにより、所定枚数の画像フレームからなる符号化区間の画像の符号化を行う（図２のフロー２−１参照）。
【００３０】
符号化の開始後、符号化画像フレームに対する発生符号量、量子化スケール値、画像複雑度等の画像符号化パラメータを取得し、平均値計算部１−１５ａは、多区間平均符号化レートＲav、多区間平均画像複雑度ＧＣＭav、画像フレームの平均量子化スケールｑj 等を計算する（同２−２参照）。
【００３１】
目標符号量計算部１−１５ｂは、所定枚数の画像フレームからなる符号化区間毎に、上記画像符号化パラメータから平均量子化スケールがほぼ一定になる、つまりほぼ同一の画質になるように、次の符号化区間の目標符号化レートＲを算出する（同２−３参照）。
【００３２】
ただし、平均符号化レートが目標平均符号化レートの許容変動幅から外れないように目標符号化レートＲを修正し、該目標符号化レートと符号化区間の時間長の積により目標符号量を計算する。
【００３３】
量子化制御部１−１６は、この目標符号量に基いて各画像フレームへ割り当てる符号量を制御するとともに、量子化スケールｑを決定し、該量子化スケールｑを使用して画像フレームの符号化を行う（同２−４参照）。
【００３４】
そして、１つの符号化区間の符号化が全て終了したかどうかを判定し（同２−５参照）、終了していなければ、目標符号化レートＲを画像フレーム毎の変化に対応したものにするよう目標符号化レートＲを修正する（同２−６参照）。
【００３５】
この目標符号化レートＲの更新は、画像フレームを符号化する毎に行い、また、この画像フレーム毎の更新に際し、平均符号化レートが目標平均符号化レートの許容変動幅から外れないように行う。
【００３６】
そして上記の処理（２−２〜２−６）を、１つの符号化区間の符号化が終了するまで繰返し、該符号化区間の符号化が終了すると、全ての符号化区間の符号化が終了したかどうかを判定し（同２−７参照）、これらの処理（２−２〜２−７）を符号化終了まで繰り返す。
【００３７】
前述の目標符号化レートＲを設定するときに、ある程度の平均符号化レートの変動を許容することにより、短時間の画像複雑度の変化による量子化スケールｑの変化が抑制されるため、画像の複雑度の変動に依存せず画質が安定し、同一レートの固定レート符号化の場合と比較して高画質で符号化することが可能となる。
【００３８】
つまり、画像複雑度が高く、圧縮されにくい画像に対して目標符号化レートを高くし、画像複雑度が低く、圧縮されやすい画像に対して目標符号化レートを低くすることにより、同一レートの固定レート符号化より高品質画像となる符号化を行うことができる。
【００３９】
前述の目標符号量計算部１−１５ｂにおける次の符号化区間の目標符号化レートＲは、以下の（式１）ように、目標平均符号化レートＲO と可変レート補正項ＲC との和により算定する。
Ｒ＝ＲO ＋ＲC ・・・（式１）
【００４０】
可変レート補正項ＲC は、以下の（式２）のように、画像複雑度変化指数Ｇと平均符号化レート補正係数Ｃと目標平均符号化レートＲO との積により算定する。
ＲC ＝Ｇ×Ｃ×ＲO ・・・（式２）
【００４１】
画像複雑度変化指数Ｇは、最新の符号化区間の画像複雑度ＧＣＭi と多区間平均画像複雑度ＧＣＭavとから、以下の（式３）により算定する。
Ｇ＝ＧＣＭi ／ＧＣＭav−１ ・・・（式３）。
【００４２】
最新の符号化区間の画像複雑度ＧＣＭi は、各画像フレームの平均量子化スケールｑj と画像フレームの符号量Ｐj との積を、符号化区間の画像分積算（Σｑj ×Ｐj ）することにより算出される。また、多区間平均画像複雑度ＧＣＭavは、最新の符号化区間までの所定数の符号化区間に対する画像複雑度の平均値として算出される。
【００４３】
また、平均符号化レート補正係数Ｃは、目標平均符号化レートＲO と平均符号化レート許容変動幅ＲI と多区間平均符号化レートＲavとから、以下の（式４1 ）及び（式４2 ）により算定する。
Ｃ＝（（ＲO ＋ＲI ）−Ｒav）／ＲI （Ｒav＞ＲO の場合）・・・（式４1 ）
Ｃ＝（Ｒav−（ＲO −ＲI ））／ＲI （Ｒav＜ＲO の場合）・・・（式４2 ）
【００４４】
図３は前述の画像複雑度変化指数Ｇ及び平均符号化レート補正係数Ｃの特性を示し、図の（ａ）は画像複雑度ＧＣＭi の変化に対する画像複雑度変化指数Ｇ、図の（ｂ）は多区間平均符号化レートＲavの変化に対する平均符号化レート補正係数Ｃの依存特性を示している。
【００４５】
図３の（ａ）に示すように、最新の符号化区間の画像複雑度ＧＣＭi が、多区間平均画像複雑度ＧＣＭavより高い（大きい）場合、画像複雑度変化指数Ｇは正の値となり、( 式２) で算定される可変レート補正項ＲC が正となって、（式１）で算定される目標符号化レートＲを増大させる。
【００４６】
一方、最新の符号化区間の画像複雑度ＧＣＭi が、多区間平均画像複雑度ＧＣＭavより低い（小さい）場合、画像複雑度変化指数Ｇは負の値となり、( 式２) で算定される可変レート補正項ＲC が負となって、（式１）で算定される目標符号化レートＲを減少させる。
【００４７】
また、図３の（ｂ）に示すように、多区間平均符号化レートＲavが目標平均符号化レートＲO から外れるにつれて、平均符号化レート補正係数Ｃの値は零に漸近し、( 式２) で算定される可変レート補正項ＲC を零に漸近させ、目標符号化レートＲの変動を抑制する。
【００４８】
目標符号量計算部１−１５ｂは、上記のように次の符号化区間の目標符号化レートＲを計算し、該目標符号化レートと符号化区間の時間長との積により目標符号量を算出して量子化制御部１−１６に通知する。量子化制御部１−１６は、通知された目標符号量に応じて符号化区間の量子化スケールｑを決定し、前述したように入力画像信号の量子化を行う。
【００４９】
さらに、目標符号量計算部１−１５ｂは、符号化区間の各々の画像フレームを符号化する毎に、以下の（式５）ように、上記の目標符号化レートＲに目標符号化レート補正項ΔＲを加え、目標符号化レートを更新する。ここで、更新された目標符号化レートをＲ' とする。
Ｒ' ＝Ｒ＋ΔＲ ・・・（式５）
【００５０】
目標符号化レート補正項ΔＲは、以下の（式６）に示すように、目標平均符号化レートＲO と画像複雑度補正係数Ｆと平均符号化レート補正係数Ｃとの積により算定する。
ΔＲ＝ＲO ×Ｆ×Ｃ ・・・（式６）
【００５１】
画像複雑度補正係数Ｆは、以下の（式７）のように、直前に符号化した画像フレームｆj ' の画像複雑度Ｘj ' と、該画像フレームｆj ' と同一のピクチャタイプで、該画像フレームｆj ' に一番時間的に近い画像フレームｆj の画像複雑度Ｘj と、多区間平均画像複雑度ＧＣＭavと、符号化中の符号化区間における同一ピクチャタイプの残りの画像フレーム枚数Ｎr とから、算定する。
Ｆ＝（Ｘj ' −Ｘj ）／ＧＣＭav×Ｎr ・・・（式７）
【００５２】
ここで、ピクチャタイプとは、予測符号化方式に対応した画像タイプであり、前方向フレーム間符号化（Ｐピクチャ）、双方向予測符号化（Ｂピクチャ）等である。また、平均符号化レート補正係数Ｃは、前述の（式４1 ）（式４2 ）により算定されるものである。
【００５３】
画像複雑度補正係数Ｆは、直前に符号化した画像フレームｆj ' の画像複雑度Ｘj ' と、その直近の同一ピクチャタイプの画像フレームｆj の画像複雑度Ｘj との差分に、同一ピクチャタイプの残りの画像フレーム枚数Ｎr を乗じたもので、残りの画像フレームの複雑度を予測し、該予測による残りの画像フレームの複雑度に応じて目標符号化レートを増減させる。
【００５４】
すなわち、直前に符号化した画像フレームｆj ' の画像複雑度Ｘj ' が、その前に符号化した画像フレームｆj の画像複雑度Ｘj より高い場合には、（式７）により算定される画像複雑度補正係数Ｆは正の値となり、（式６）により算定される目標符号化レート補正項ΔＲも正となって、（式５）により算定される目標符号化レートの更新値Ｒ' は増大する。
【００５５】
また、直前に符号化した画像フレームｆj ' の画像複雑度Ｘj ' が、その前に符号化した画像フレームｆj の画像複雑度Ｘj より低い場合には、（式７）により算定される画像複雑度補正係数Ｆは負の値となり、（式６）により算定される目標符号化レート補正項ΔＲも負となって、（式５）により算定される目標符号化レートの更新値Ｒ' は減少する。
【００５６】
このように、直近の符号化区間又は符号化中の符号化区間に対する各画像フレームの符号量の実測結果に比例して、符号化中の符号化区間内の各画像フレームへ符号量の割り当てを行う。
【００５７】
量子化制御部１−１６は、バッファ１−１２の占有度、目標符号化レートＲ及びその更新値Ｒ' に従って、固定レート符号化と同様の手法で入力画像信号の符号化を行う。このように一定時間毎にビットレートの異なる固定レート符号化を連続的に行っていく。このときの平均符号ビットレートの変動の様子を図４に示す。
【００５８】
平均符号レートは、目標平均符号レートＲO を中心として、±平均符号化レート許容変動幅ＲI の間で、画像複雑度に応じて変動し、画像複雑度の高い画像フレームに多くの符号量を割当て、画像複雑度の低い画像フレームに少ない符号量を割当てることにより、高画質の符号化を行うことができる。
【００５９】
なお、前述の実施の形態において、画像複雑度を、量子化スケールと発生情報量との積により算出したが、画像複雑度として、マクロブロック毎の画素の分散、又はマクロブロックの画素の平均値からの差分絶対値和を、画像フレーム内で累積した値を、符号化区間にわたって累積して算定することもできる。
【００６０】
この場合、フレーム内符号化が行われるマクロブロックについては、マクロブロックの画素の分散又は平均値からの差分絶対値和を、フレーム間符号化が行われるマクロブロックについては、動き補償後のマクロブロックの画素の分散又は平均値からの差分絶対値和を、画像フレーム内で累積した値を符号化区間にわたって累積して定めることができる。
【００６１】
【発明の効果】
以上説明したように、本発明によれば、可変レート符号化の平均レートを、入力画像フレームの複雑度に応じて、所定数の画像フレームからなる符号化区間毎及び画像フレーム毎に順次制御し、複雑度の高い画像フレームには許容変動幅の範囲内で多くの符号量を割当て、複雑度の低い画像フレームには許容変動幅の範囲内で少ない符号量を割当てることにより、同一のビットレートの固定レート符号化と比較して、高画質の画像を復元できる符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明の可変レート動画像符号化装置の構成図である。
【図２】本発明の可変レート動画像符号化装置による符号化処理のフロー図である。
【図３】本発明の画像複雑度変化指数Ｇ及び平均符号化レート補正係数Ｃの特性を示す図である。
【図４】本発明の可変レート符号化による平均符号ビットレートの変動の様子を示す図である。
【図５】従来の可変レート動画像符号化装置の構成図である。
【図６】従来の可変レート動画像符号化装置による符号化処理のフロー図である。
【符号の説明】
１−１ 差分演算部
１−２ ＤＣＴ部
１−３ 量子化部
１−４ 逆量子化部
１−５ 逆ＤＣＴ部
１−６ 加算部
１−７ フレームメモリ
１−８ 動き検出部
１−９ 動き補償部
１−１０ スイッチ部
１−１１ 可変長符号化部
１−１２ バッファ
１−１３ 発生符号量測定部
１−１４ 符号化データ用メモリ
１−１５ａ 平均値計算部
１−１５ｂ 目標符号量計算部
１−１６ 量子化制御部
Claims (9)
- 量子化スケールを変化させて発生符号量を制御する可変レート動画像符号化装置において、
目標平均符号化レートと、所定枚数の画像フレームからなる符号化済みの符号化区間に対する発生符号量及び量子化スケールの実測データと、該所定枚数の画像フレームからなる符号化中の符号化区間における符号化済み画像フレームに対する発生符号量及び画像複雑度の実測データとを基に、最新の符号化区間までの所定数の符号化区間の画像複雑度の平均に対して最新の符号化区間の画像複雑度が高い場合は次の符号化区間の目標符号化レートを高く算出し、低い場合は次の符号化区間の目標符号化レートを低く算出するよう、次の符号化区間に対する目標符号化レートを算出する手段と、
該目標符号化レートと前記符号化区間の時間長との積により定まる目標符号量を各画像フレームへ割当てる手段と、
前記記憶手段に蓄積されたデータを基に、符号化中の符号化区間における最新画像フレームの画像複雑度が、その前に符号化した画像フレームの画像複雑度より高い場合に次の画像フレームに対する前記目標符号化レートを増大させ、低い場合に次の画像フレームに対する前記目標符号化レートを減少させるよう、次の画像フレームに対する前記目標符号化レートを更新する手段と、
画像フレーム毎に前記更新した目標符号化レートにより定まる割当て符号量により、動画像信号の符号化を繰返す手段と
を備えたことを特徴とする可変レート動画像符号化装置。 - 量子化スケールを変化させて発生符号量を制御する可変レート動画像符号化装置において、
目標平均符号化レートと、所定枚数の画像フレームからなる符号化済みの符号化区間に対する発生符号量及び画像複雑度の実測データと、該所定枚数の画像フレームからなる符号化中の符号化区間における符号化済み画像フレームに対する発生符号量及び画像複雑度の実測データとを基に、最新の符号化区間までの所定数の符号化区間の画像複雑度の平均に対して最新の符号化区間の画像複雑度が高い場合は次の符号化区間の目標符号化レートを高く算出し、低い場合は次の符号化区間の目標符号化レートを低く算出するよう、次の符号化区間に対する目標符号化レートを算出する手段と、
該目標符号化レートと前記符号化区間の時間長との積により定まる目標符号量を各画像フレームへ割当てる手段と、
前記記憶手段に蓄積されたデータをもとに、符号化中の符号化区間における最新画像フレームの画像複雑度が、その前に符号化した画像フレームの画像複雑度より高い場合に次の画像フレームに対する前記目標符号化レートを増大させ、低い場合に次の画像フレームに対する前記目標符号化レートを減少させるよう、次の画像フレームに対する前記目標符号化レートを更新する手段と、
画像フレーム毎に前記更新した目標符号化レートにより定まる割当て符号量により、動画像信号の符号化を繰返す手段とを備え、
目標平均符号化レートを中心に可変レートで動画像信号を符号化し、所定の割り当て容量の蓄積媒体に所定記録時間の動画像信号を１回の符号化処理により符号化して蓄積する構成を有することを特徴とする可変レート動画像符号化装置。 - 請求項１又は２に記載の可変レート動画像符号化装置において、次の符号化区間に対する目標符号化レートを計算する手段は、目標符号化レートを、目標平均符号化レートと該目標平均符号化レートからの偏差を表す可変レート補正項との和で算定し、
前記可変レート補正項を、画像複雑度変化指数と平均符号化レート補正係数と目標平均符号化レートとの積として算定し、
前記画像複雑度変化指数を、最新の符号化区間における画像複雑度と、最新の符号化区間までの所定数の符号化区間における画像複雑度を平均化した多区間平均画像複雑度とから算定し、かつ、その両者の画像複雑度の比に応じて増減し、最新の符号化区間における画像複雑度が多区間平均画像複雑度より高いと正となり、最新の符号化区間における画像複雑度が多区間平均画像複雑度より低いと負となる算定式により算定し、
前記平均符号化レート補正係数を、目標平均符号化レートと、目標平均符号化レートからの平均符号化レート許容変動幅と、最新の符号化区間までの所定数の符号化区間に対する過去の符号化レートの実績値を平均化した多区間平均符号化レートとから算定し、かつ、多区間平均符号化レートが目標平均符号化レートに近づくと値が増大し、多区間平均符号化レートが目標平均符号化レートから外れるにつれて値が零に漸近する算定式により算定する
構成を有することを特徴とする可変レート動画像符号化装置。 - 請求項１又は２に記載の可変レート動画像符号化装置において、符号化中の符号化区間における次の画像フレームに対する目標符号化レートを更新する手段は、目標符号化レート更新値を、符号化中の符号化区間の目標符号化レートと目標符号化レート補正項の和で算定し、
前記目標符号化レート補正項を、目標平均符号化レートと画像複雑度補正係数と平均符号化レート補正係数との積として算定し、
前記画像複雑度補正係数を、最新画像フレームの画像複雑度と、該最新画像フレームと同一ピクチャタイプで該最新画像フレームの直前に符号化した画像フレームの画像複雑度と、当該符号化中の符号化区間における同一ピクチャタイプの残りの画像フレーム数と、最新の符号化区間までの所定数の符号化区間に対する画像複雑度の実績値を平均化した多区間平均画像複雑度とから算定し、かつ、最新画像フレームの画像複雑度がその直前に符号化した同一ピクチャタイプの画像フレームの画像複雑度より高い場合は目標符号化レートの更新値を増大させ、低い場合は目標符号化レートの更新値を減少させるよう算定し、
前記平均符号化レート補正係数を、目標平均符号化レートと、目標平均符号化レートからの平均符号化レート許容変動幅と、最新の符号化区間までの所定数の符号化区間に対する過去の符号化レートの実績値を平均化した多区間平均符号化レートとから算定し、かつ、多区間平均符号化レートが目標平均符号化レートに近づくと値が増大し、多区間平均符号化レートが目標平均符号化レートから外れるにつれて値が零に漸近する算定式により算定する構成を有することを特徴とする可変レート動画像符号化装置。 - 請求項１乃至４のいずれかに記載の可変レート動画像符号化装置において、前記目標符号化レートを算出する手段又は目標符号化レートを更新する手段は、前記画像複雑度を、所定数の隣接画素の集合であるマクロブロック毎に定まる量子化スケールの画像フレーム内平均値と、画像フレームに対する発生符号量との積の値を、符号化区間にわたって累積して算定する構成を有することを特徴とする可変レート動画像符号化装置。
- 請求項１乃至４のいずれかに記載の可変レート動画像符号化装置において、前記目標符号化レートを算出する手段又は目標符号化レートを更新する手段は、前記画像複雑度を、所定数の隣接画素の集合であるマクロブロックに対し、フレーム内符号化が行われるマクロブロックでは画素の分散を、フレーム間符号化が行われるマクロブロックでは動き補償後の画素の分散を画像フレーム内で累積した値を、符号化区間にわたって累積して算定する構成を有することを特徴とする可変レート動画像符号化装置。
- 請求項１乃至４のいずれかに記載の可変レート動画像符号化装置において、前記目標符号化レートを算出する手段又は目標符号化レートを更新する手段は、前記画像複雑度を、所定数の隣接画素の集合であるマクロブロックに対し、フレーム内符号化が行われるマクロブロックではマクロブロックの画素の平均値からの差分絶対値和を、フレーム間符号化が行われるマクロブロックでは動き補償後のマクロブロックの画素の平均値からの差分絶対値和を画像フレーム内で累積した値を、符号化区間にわたって累積して算定する構成を有することを特徴とする可変レート動画像符号化装置。
- 量子化スケールを変化させて発生符号量を制御する可変レート動画像符号化装置において、
量子化された動画像信号を可変長符号化する可変長符号化部の出力符号から、所定数の隣接画素の集合であるマクロブロック及び画像フレームに対する発生符号量を、所定枚数の画像フレームからなる符号化区間毎に測定する発生符号量測定部と、
前記発生符号量測定部で測定した各発生符号量、量子化制御部から通知されるマクロブロック毎の量子化スケール及び画像複雑度を蓄積する符号化データメモリと、
前記符号化データメモリに蓄積した各発生符号量及び量子化スケールから、各画像フレームの平均画像複雑度、前記符号化区間の平均画像複雑度、多区間の符号化区間における平均画像複雑度、及び多区間の符号化区間における平均符号化レートを算出する平均値計算部と、
前記符号化データメモリに蓄積された各発生符号量及び前記平均値計算部の計算データから、請求項３に記載の、次の符号化区間に対する目標符号化レートを計算する手段における各算定手段により、次の符号化区間に対する目標符号化レートを算定し、かつ、請求項４に記載の、符号化中の符号化区間における次の画像フレームに対する目標符号化レートを更新する手段における各算定手段により、符号化中の符号化区間における次の画像フレームに対する目標符号化レートを更新し、該目標符号化レートにより定まる各画像フレームへの割当て目標符号量を計算する目標符号量計算部と、
前記目標符号量計算部により計算された画像フレーム当りの目標符号量を、画像フレーム当りの発生符号量として、動画像信号に対する量子化を行うように量子化部を制御する量子化制御部と
を備えたことを特徴とする可変レート動画像符号化装置。 - 請求項８に記載の可変レート動画像符号化装置において、前記平均値計算部は、前記平均画像複雑度として、フレーム内符号化が行われるマクロブロックでは画素の分散又はマクロブロックの画素の平均値からの差分絶対値和を、フレーム間符号化が行われるマクロブロックでは動き補償後の画素の分散又はマクロブロックの画素の平均値からの差分絶対値和を、累積して算定する構成を有することを特徴とする可変レート動画像符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19123399A JP4364350B2 (ja) | 1999-07-06 | 1999-07-06 | 可変レート動画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19123399A JP4364350B2 (ja) | 1999-07-06 | 1999-07-06 | 可変レート動画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001025008A JP2001025008A (ja) | 2001-01-26 |
| JP4364350B2 true JP4364350B2 (ja) | 2009-11-18 |
Family
ID=16271126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19123399A Expired - Fee Related JP4364350B2 (ja) | 1999-07-06 | 1999-07-06 | 可変レート動画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4364350B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4100317B2 (ja) | 2003-09-30 | 2008-06-11 | 日本電気株式会社 | 画像符号化装置およびその量子化制御方法 |
| CN100342728C (zh) * | 2003-11-28 | 2007-10-10 | 联发科技股份有限公司 | 控制视频信号编码比特流的量化程度的方法与相关装置 |
| CN100461862C (zh) * | 2005-01-07 | 2009-02-11 | 广达电脑股份有限公司 | 视讯编码系统及其方法 |
| US7672524B2 (en) * | 2006-03-02 | 2010-03-02 | Mitsubishi Electric Research Laboratories, Inc. | Quality control for image transcoding |
| US11323703B2 (en) | 2018-07-03 | 2022-05-03 | Nec Corporation | Moving-image encoding device, moving-image encoding method, and program |
| WO2020150992A1 (zh) * | 2019-01-25 | 2020-07-30 | 深圳市大疆创新科技有限公司 | 码率分配的方法与装置 |
| CN113438501B (zh) * | 2020-03-23 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 视频压缩方法、装置、计算机设备和存储介质 |
-
1999
- 1999-07-06 JP JP19123399A patent/JP4364350B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001025008A (ja) | 2001-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4256574B2 (ja) | 画像信号符号化方法および画像信号符号化装置 | |
| KR100484148B1 (ko) | 개선된 비트율 제어 방법과 그 장치 | |
| KR100505699B1 (ko) | 실시간 가변 비트율 제어로 화질을 개선시키는 비디오인코더의 인코딩율 제어기, 이를 구비한 비디오 데이터전송 시스템 및 그 방법 | |
| KR100756596B1 (ko) | 비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법 | |
| JPH05167998A (ja) | 画像の符号化制御処理方法 | |
| WO2009035143A1 (ja) | 画像処理装置及び方法 | |
| JPH07184196A (ja) | 画像符号化装置 | |
| KR100790986B1 (ko) | 가변 비트율 비디오 코딩에서 비트율을 제어하는 장치 및방법 | |
| US6879632B1 (en) | Apparatus for and method of variable bit rate video coding | |
| JP4221655B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| CN1502207A (zh) | 使用比特预算执行视频编码速率控制的方法 | |
| JP3187097B2 (ja) | 動画像符号化における符号量配分方法とこれを用いた動画像符号化方法及び装置 | |
| JP2948562B2 (ja) | ファジィ制御を用いるｍｐｅｇ映像信号の伝送率制御装置 | |
| JP3872849B2 (ja) | 動画像符号化装置 | |
| JP4364350B2 (ja) | 可変レート動画像符号化装置 | |
| US7480332B2 (en) | Bit rate control method and apparatus for MPEG-4 video coding | |
| WO1998041027A1 (en) | Video signal coding method and coding device | |
| KR20000023504A (ko) | 가변비트율 부호화장치 | |
| EP1157560A1 (en) | Bit rate control for video data compression | |
| JP5032936B2 (ja) | 動画像符号化装置及びその制御方法 | |
| KR100708182B1 (ko) | 동영상 부호화기의 비트율 제어 장치 및 방법 | |
| JP2000261799A (ja) | 可変レート動画像符号化装置 | |
| JP3812267B2 (ja) | 動画像符号化装置及びその方法 | |
| JP4362793B2 (ja) | 動画像符号化装置及びその方法 | |
| JP3812269B2 (ja) | 動画像符号化装置及びその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090619 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090721 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090819 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |