JP3937248B2 - Video signal encoding method and video signal encoding apparatus - Google Patents

Description

【数２】

【数３】

によつて定義されたＩピクチヤ、Ｐピクチヤ及びＢピクチヤの複雑さ指標Ｘ_I 、Ｘ_P 及びＸ_B を更新する。
【００１３】
ここでＳ_I 、Ｓ_P 及びＳ_B は、それぞれＩピクチヤ、Ｐピクチヤ及びＢピクチヤでの発生符号量を表す。またＱ_Iave、Ｑ_Pave及びＱ_Baveは、それぞれＩピクチヤ、Ｐピクチヤ及びＢピクチヤにおける平均的な量子化パラメータ、すなわち１フレーム中における全てのマクロブロツクの量子化ステツプの平均値（１〜31の範囲に正規化されている）を表す。
【００１４】
この複雑さ指標Ｘ_I 、Ｘ_P 及びＸ_B は、符号化した際の発生符号量が多いような画像対しては大きくなり、高い圧縮率が得られる画像に対しては小さくなる。従つてこれから符号化を行おうとしている画像タイプによつてどの程度符号量が必要であるかを、ある数値で規格化することにより相対的に見積もつたものである。
【００１５】
この複雑さ指標Ｘ_I 、Ｘ_P 及びＸ_B の初期値Ｘ_I(init) 、Ｘ_P(init) 及びＸ_B(init) は、それぞれ次式
【数４】

【数５】

【数６】

によつて定義されている。
【００１６】
ＧＯＰ中の次のフレームに対する割当て符号量Ｔ_I 、Ｔ_P 及びＴ_B は、Ｉピクチヤ、Ｐピクチヤ及びＢピクチヤ毎にそれぞれ次式
【数７】

【数８】

【数９】

によつて表される。
【００１７】
ここでＧＯＰとは、必ずＩピクチヤを含む何枚かのピクチヤをひとまとまりとした処理単位であり、ＧＯＰ内のフレームの枚数（すなわちＩピクチヤの間隔）をＮというパラメータで表し、Ｐピクチヤ又はＩピクチヤの間隔をＭというパラメータで表す。従つてＧＯＰはパラメータＮ及びＭによつて決定される。
【００１８】
（７）式〜（９）式において、Ｋ_P 及びＫ_B は、量子化マトリクスに依存する恒常的な定数であり、それぞれＩピクチヤに対するＰピクチヤの量子化の際の粗さの程度、及びＩピクチヤに対するＢピクチヤの量子化の際の粗さの程度を表す。このテストモデルの場合、Ｋ_P ＝ 1.0と定義されているので、ＰピクチヤはＩピクチヤと同じ粗さで量子化され、Ｂピクチヤについては、Ｋ_B ＝ 1.4と定義されているので、ＢピクチヤはＩピクチヤの 1.4倍の粗さで量子化される。
【００１９】
またＮ_P 及びＮ_B は、それぞれ１ＧＯＰ中の符号化順序において、Ｐピクチヤ及びＢピクチヤの残りの枚数を表す。Ｒは、符号化対象としているＧＯＰに与えられた残りの符号量（ビツト数）であり、あるフレームを符号化した後においては、次式
【数１０】

【数１１】

【数１２】

のいずれかとなる。
【００２０】
すなわち例えば（７）式を用いてＩピクチヤの割当て符号量Ｔ_I を算出した後、Ｉピクチヤの後に続くピクチヤ、例えばＢピクチヤの割当て符号量Ｔ_B を（９）式を用いて算出する際には、（９）式におけるＲは、Ｉピクチヤに使用された符号量Ｓ_I を除いた値（すなわち（１０）式で計算されたＲ＝Ｒ−Ｓ_I ）が用いられ、これにより１ＧＯＰに割り当てられた割当て符号量を一定に保持している。ここでＧＯＰ中の最初のピクチヤ、すなわち符号化順序で最初のピクチヤであるＩピクチヤの割当て符号量Ｔ_I を算出する際のＲは、次式
【数１３】

に設定されている。
【００２１】
従つてＩピクチヤの割当て符号量Ｔ_I 、Ｐピクチヤの割当て符号量Ｔ_P 及びＢピクチヤの割当て符号量Ｔ_B は、ＧＯＰ中における残りの符号量Ｒを、当該ＧＯＰ中におけるＩピクチヤ、Ｐピクチヤ及びＢピクチヤの残りの枚数の自分の画像タイプに換算したもので除算することによつて得ることができる。すなわち（７）式〜（９）式は、ＧＯＰ中における符号化されていない全てのピクチヤが、これから符号化しようとするピクチヤと同じ画像タイプであるとみなしたとき、１フレーム当たりどの程度の符号量を割り当てることができるかの目安を与えることを表している。
【００２２】
（２）量子化制御アルゴリズムの第２ステツプ
この第２ステツプは、各フレームにおける各マクロブロツクを順次符号化しながら、仮の量子化ステツプ、すなわち後述するように、画像の複雑さや動きの激しさを考慮しない場合の量子化ステツプ（以下、これを参照量子化ステツプと呼ぶ）を第１の量子化ステツプとして算出するステツプであり、符号化対象としているフレームに対する割当て符号量Ｔ_I 、Ｔ_P 又はＴ_B と、符号化して実際に発生した発生符号量との差分をマクロブロツク毎にフイードバツクする。
【００２３】
従つて実際に符号化して発生した発生符号量が、当初想定していた割当て符号量より多い場合には、発生符号量を減らすために量子化ステツプは大きくなり、発生符号量が割当て符号量より少ない場合には、量子化ステツプは小さくなる。
【００２４】
まず符号化対象としているＩピクチヤ、Ｐピクチヤ又はＢピクチヤにおけるｉ番目のマクロブロツクｉを符号化する前に、Ｉピクチヤ、Ｐピクチヤ及びＢピクチヤ毎にそれぞれ用意された仮想的なバツフアの充満度ｄ_Ii、ｄ_Pi及びｄ_Biを、それぞれ次式
【数１４】

【数１５】

【数１６】

を用いて算出する。
【００２５】
これら（１４）式〜（１６）式において、Ｂ_i-1 は、ｉ番目のマクロブロツクを含んで符号化対象としているフレームのそれまでの全てのマクロブロツクを実際に符号化して発生した発生符号量の合計を表し、MB＿cnt は、１フレーム内のマクロブロツク数を表す（以下、同様）。従つて（１４）式、（１５）式及び（１６）式において、Ｔ_I ×（ｉ−１）／MB＿cnt 、Ｔ_P ×（ｉ−１）／MB＿cnt 及びＴ_B ×（ｉ−１）／MB＿cnt は、それぞれＩピクチヤ、Ｐピクチヤ及びＢピクチヤにそれぞれ割り当てられた割当て符号量Ｔ_I 、Ｔ_P 及びＴ_B を、それぞれＩピクチヤ、Ｐピクチヤ及びＢピクチヤにおける各マクロブロツクに対して均等に割り当てたと想定したときの想定割当て符号量を表すことになる。
【００２６】
従つて（１４）式、（１５）式及び（１６）式は、ｉ番目のマクロブロツクを含んで符号化対象としているフレームのそれまでの全てのマクロブロツクを符号化して発生した発生符号量の合計と、符号化対象としているフレームの割当て符号量Ｔ_I 、Ｔ_P 又はＴ_B を符号化対象としているフレームの各マクロブロツクに均等に割り当てたと想定したときのｉ−１番目までの想定符号量の合計との差分をマクロブロツク毎に算出し、当該差分を、符号化対象としているフレームと同じ画像タイプの１つ前のフレームの最後のマクロブロツクについての参照量子化ステツプＱを算出する際に用いた仮想的なバツフアの充満度ｄＩ₀ 、ｄＰ₀ 又はｄＢ₀ に加算することにより、符号化対象としているマクロブロツクｉについての参照量子化ステツプＱ_i を算出する際に用いる仮想的なバツフアの充満度ｄＩ_i 、ｄＰ_i 及びｄＢ_i として算出している。
【００２７】
ここで各画像タイプにおける最後のマクロブロツクについて算出した仮想的なバツフアの充満度ｄＩ_i 、ｄＰ_i 及びｄＢ_i は、次の同じ画像タイプのフレームにおける各マクロブロツクについての参照量子化ステツプＱを算出する際の初期値ｄＩ₀ 、ｄＰ₀ 及びｄＢ₀ として使用される。
【００２８】
また最初のＧＯＰ中の最初のＩピクチヤ、Ｐピクチヤ及びＢピクチヤにおける最初のマクロブロツクについての参照量子化ステツプＱを算出する際に用いる仮想的なバツフアの充満度ｄＩ_i 、ｄＰ_i 及びｄＢ_i を算出するために必要となる仮想的なバツフアの充満度ｄＩ₀ 、ｄＰ₀ 及びｄＢ₀ （すなわち初期値）は、それぞれ次式
【数１７】

【数１８】

【数１９】

によつて定義されている。
【００２９】
続いてマクロブロツクｉの参照量子化ステツプＱ_i は、次式
【数２０】

で与えられる。ここで＊は当該フレームの画像タイプのいずれかを表す（以下、同様）。またピクチヤレートに対するビツトレート（符号化データ速度）の割合いで表される第１のパラメータｒは、次式
【数２１】

によつて定義されている。ここで（１７）式における第１のパラメータｒも（２０）式によつて表される。
【００３０】
かくして各画像タイプにおける各マクロブロツク毎の参照量子化ステツプＱが算出される。
【００３１】
（３）量子化制御アルゴリズムの第３ステツプ
上述の第２ステツプにおいて算出した参照量子化ステツプＱは、各マクロブロツクにおける画像の複雑さ（空間周波数の振幅の大きさ）や動きの激しさを考慮せずに算出した値であるため、この第３ステツプにおいては、各マクロブロツクにおける画像の複雑さや動きの激しさを考慮した各マクロブロツク毎の量子化ステツプMQUANTを第２の量子化ステツプとして算出するステツプである。すなわち量子化パラメータの平均値を、マクロブロツク毎のアクテイビテイ（ブロツク当たりのＡＣ成分のエネルギー（活性度））によつて変化させる。
【００３２】
マクロブロツクｉの空間的なアクテイビテイact _i は、その輝度ブロツク（１マクロブロツク中に４個存在する）よりイントラ（intra ）画素値を用いて次式
【数２２】

を用いて算出する。ここで var_sblkは、マクロブロツクｉの４つの輝度ブロツク（サブブロツクsblk）におけるアクテイビテイを表し、各サブブロツクsblkにおけるアクテイビテイ var_sblkは、次式
【数２３】

によつて算出する。ここで各マクロブロツクは16×16画素から構成されているものとし、Ｐ_j は画素値を表す。
【００３３】
すなわち（２３）式は、４つの各サブブロツクsblkついて、サブブロツクsblkにおける各画素値Ｐ_j と、次式
【数２４】

を用いて算出した当該サブブロツクsblkにおける各画素値Ｐ_j の平均値Ｐ_ave との差分を２乗したものを、当該サブブロツクsblkにおける全ての画素（64個）について算出し、これら各画素毎に算出した演算結果（Ｐ_j −Ｐ_ave ）² の合計を当該サブブロツクsblkにおけるアクテイビテイ var_sblkとして算出し、４つのサブブロツクsblkについてそれぞれ算出したアクテビテイ var_sblkのうち、最小のアクテイビテイ var_sblkをもつサブブロツクsblkのアクテイビイテイ var_sblkをマクロブロツクｉについてのアクテイビテイ act_i とすることを意味する。
【００３４】
このようにして算出したマクロブロツクｉのアクテイビテイ act_i を正規化した係数を次式
【数２５】

を用いて正規化する。すなわちアクテイビテイ act_i を、平均的なアクテイビテイの値からの偏りによつて 0.5〜2.0 の範囲に正規化した係数 N＿ act_i を算出する。
【００３５】
ここで avg＿act は、符号化対象としているフレームの１つ前のフレームにおける act_i の平均値を表す。マクロブロツクｉについての最終的な量子化ステツプMQUANT_i は、次式
【数２６】

によつて得られる。
【００３６】
すなわち画像の複雑さや動きの激しさを考慮しないときの各マクロブロツクについての参照量子化ステツプＱ_i に、正規化した係数 N＿ act_i を乗ずることにより、マクロブロツクｉについて画像の複雑さや動きの激しさを考慮した量子化ステツプMQUANT_i を得ることかできる。最終的にMQUANT_i は、１〜31の範囲の整数に制限される。
【００３７】
このようにして符号化対象としているフレームの符号化対象としているマクロブロツクｉについての量子化ステツプMQUANT_i が決定されると、当該量子化ステツプMQUANT_i を用いてマクロブロツクが量子化されて符号化され、このときに実際に発生した発生符号量が（１４）式、（１５）式又は（１６）式におけるＢ_i-1 に加算される。
【００３８】
以降、次のフレームに対して上述の第１〜第３のステツプを繰り返すことにより当該フレームについての全てのマクロブロツクについて量子化ステツプMQUANT_i が順次決定し、デイジタル映像信号中のあるＧＯＰにおける全てのフレームについて全てのマクロブロツクに対する量子化ステツプMQUANTが決定すると、次のＧＯＰについて上述の第１〜第３のステツプが行われる。
【００３９】
ところが上述のようなテストモデルによる量子化制御法においては、ビツトレートとして固定レートを前提としているので、上述のような可変レート符号化方式に適用することができなかつた。すなわちビツトレートが固定であるということは、（２１）式において第１のパラメータｒが固定であることを意味し、従つて各ＧＯＰにおける第１のパラメータｒも一定となるので、テストモデルによる量子化制御法を絵柄の複雑さや動きの激しさに応じてビツトレートを可変にする可変レート符号化方式には適用できなかつた。
【００４０】
本発明は以上の点を考慮してなされたもので、可変レート符号化方式に対応し得る量子化制御を行うことのできる映像信号符号化方法及び映像信号符号化装置を提案しようとするものである。
【００４１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、ＧＯＰ又はピクチヤ毎の割当て符号量に基づいて、ＧＯＰにおけるピクチヤ当たりの平均符号化データ速度を算出し、ピクチヤレートに対する平均符号化データ速度の割合いで表される第１のパラメータをＧＯＰ毎に算出し、符号化対象としているＧＯＰより時間的に１つ前のＧＯＰにおいて、符号化順序で現在の符号化対照のピクチヤと同じ画像タイプの最後のピクチヤにおける最後のブロツクについての第１の量子化ステツプ及び符号化対象としているＧＯＰについての第１のパラメータに基づいて、各画像タイプ毎の各ピクチヤにおける各ブロツクについての量子化ステツプを算出する際に用いる仮想的なバツフアの充満度を第３のパラメータとして算出し、符号化対象のブロツクの一つ前のブロツクまでについての割当て符号量と発生符号量との差分を第３のパラメータに反映させた仮想的なバツフアの充満度を、第２のパラメータとして算出し、第１のパラメータ及び第２のパラメータに基づいて符号化対象としているブロツクについての第１の量子化ステツプを算出するようにした。
【００４２】
【発明の実施の形態】
以下図面について、本発明の一実施例を詳述する。
【００４３】
（１）全体構成
図１において、１は全体として本発明を適用した映像信号符号化装置を示し、映像信号Ｓ１は画像符号化タイプ指定回路２に入力される。
画像符号化タイプ指定回路２は入力される映像信号Ｓ１の各フレームを第２の映像単位としてＩピクチヤ、Ｐピクチヤ又はＢピクチヤのうちのどの画像タイプのピクチヤとして処理するかを指定して画像符号化並替え回路３に送出する。この映像信号符号化装置１は、例えば15個のフレームを第１の映像単位としての１ＧＯＰとして処理の１単位とする。
【００４４】
画像符号化順序並替え回路３は指定された画像符号化タイプに従つて各フレームを符号化する順番に並び替えて画像信号Ｓ２としてスキヤンコンバータ４に送出すると共に、当該画像信号Ｓ２についての画像符号化タイプＳ３を予測モード決定回路５、動きベクトル検出回路６及び量子化制御回路７に送出する。また画像符号化並替え回路３は現在符号化されているフレームの動きベクトルを検出するために現在画像と、当該現在画像より時間的に過去にある画像（以下、これを過去参照画像と呼ぶ）及び又は現在画像より時間的に未来にある画像（以下、これを未来参照画像と呼ぶ）Ｓ４とを動きベクトル検出回路６に送出する。
【００４５】
スキヤンコンバータ４は、画像信号Ｓ２をフレーム毎にブロツクフオーマツトの信号に変換し、この１フレームの信号を16ラインを１単位としてＮ個のスライスに区分すると共に、各スライスを16×16の画素に対応する輝度信号によつて構成されるＭ個のマクロブロツクに分割し、当該各マクロブロツクを第３の映像単位（伝送単位）として量子化制御回路７及び演算回路８に送出する。
【００４６】
動きベクトル検出回路６は画像信号Ｓ２の各フレームに同期した画像符号化タイプＳ３に従つて各フレームの画像データをＩピクチヤ、Ｐピクチヤ又はＢピクツチヤとして処理する。すなわちＩピクチヤとして処理されるフレームの画像データは、動きベクトル検出回路６から、過去参照画像を格納する過去参照画像メモリ（図示せず）に格納され、Ｂピクチヤとして処理されるフレームの画像データは現在画像を格納する現在画像メモリ（図示せず）に格納され、Ｐピクチヤとして処理されるフレームの画像データは未来参照画像を格納する未来参照画像メモリ（図示せず）に格納される。
【００４７】
ここで次のタイミングにおいて、Ｂピクチヤ又はＰピクチヤとして処理すべきフレームが動きベクトル検出回路６に入力されたとき、これまでに未来参照画像メモリに格納されていた最初のＰピクチヤの画像データは過去参照画像メモリに格納される。また次のＢピクチヤの画像データは現在画像メモリに格納され、次のＰピクチヤの画像データは未来参照画像メモリに格納される。以降このような動作が順次繰り返される。
【００４８】
動きベクトル検出回路６は順方向予測における動きベクトル及びそのときの動きベクトル推定残差Ｓ５を予測モード決定回路５に送出する。ここで動きベクトル検出回路６は、Ｂピクチヤの場合には、逆方向予測における動きベクトルとそのときの動きベクトル推定残差とを送出する。
予測モード決定回路５はイントラモード、順方向予測モード、逆方向予測モード又は双方向予測モードのうちどの予測モードを選択するかを決定する。
【００４９】
ここでイントラモードは、符号化対象となるフレームの画像データをそのまま伝送データとして伝送する処理であり、順方向予測モードは、過去参照画像との予測残差と順方向動きベクトルとを伝送する処理である。また逆方向予測モードは、未来参照画像との予測残差と逆方向動きベクトルとを伝送する処理であり、双方向予測モードは、過去参照画像と未来参照画像の２つの予測画像の平均値との予測残差と順方向及び逆方向の２つの動きベクトルとを伝送する処理である。Ｂピクチヤの場合には、これら４種類の予測モードをマクロブロツク単位で切り換える。
【００５０】
予測モード決定回路５は画像符号化並替え回路３から送出される画像符号化タイプＳ３に基づいて、Ｉピクチヤの場合にはイントラモードを選択し、Ｐピクチヤの場合にはイントラモード又は順方向予測モードのいずれかの予測モードを選択し、Ｂピクチヤの場合には、イントラモード、順方向予測モード、逆方向予測モード又は双方向予測モードのうちいずれかの予測モードを選択し、選択した予測モードＳ６を演算回路８に送出する。
【００５１】
演算回路８はスキヤンコンバータ４より読み出されたマクロブロツクＳ７に対して、予測モードＳ６に基づいてイントラ、順方向予測、逆方向予測又は双方向予測の演算を行う。
演算回路８はマクロブロツクＳ７としてＩピクチヤとして処理すべき画像データが入力された場合、当該画像データをイントラ符号化してＤＣＴ（Discrete Cosine Transform 、離散コサイン変換）回路９に送出する。ＤＣＴ回路９はイントラ符号化された画像データをＤＣＴ係数に変換して量子化回路１０に送出する。
【００５２】
量子化回路１０は各ＤＣＴ係数を量子化制御回路７から指定された量子化ステツプで量子化して可変長符号化回路１１及び逆量子化回路１２に送出する。
可変長符号化回路１１は量子化された画像データ、予測モード決定回路５から送出される予測モードＳ６及び動きベクトル検出回路６から送出される動きベクトルＳ５を例えばハフマン符号などの可変長符号に変換し、バツフア１３を介して量子化制御回路７に送出すると共に外部に出力する。
【００５３】
逆量子化回路１２は量子化された画像データを量子化時における量子化ステツプに応じて逆量子化してＩＤＣＴ（逆ＤＣＴ）回路１４に送出する。ＩＤＣＴ回路１４は逆量子化回路１２からの出力を逆ＤＣＴ処理する。ＩＤＣＴ回路１４からの出力は演算器１５を介してフレームメモリ１６内の過去参照画像を格納する過去参照画像記憶部（図示せず）に格納される。
【００５４】
次に演算回路８にスキヤンコンバータ４からＰピクチヤとして処理すべき画像データが入力され、予測モード決定回路５から送出される予測モードＳ６がイントラモードの場合、当該画像データは上述のＩピクチヤの場合と同様にイントラ符号化されてＤＣＴ回路９、量子化回路１０、可変長符号化回路１１及びバツフア１３を介して量子化制御回路７に送出される共に外部に出力され、逆量子化回路１２、ＩＤＣＴ回路１４及び演算器１５を介してフレームメモリ１６内の未来参照画像を格納する未来参照画像記憶部（図示せず）に格納される。
【００５５】
予測モードＳ６が順方向予測モードの場合には、フレームメモリ１６の過去参照画像記憶部に格納されている画像データ（この場合Ｉピクチヤの画像データ）が読み出されて動き補償回路１７に送出される。
動き補償回路１７はこの画像データを動きベクトル検出回路６から送出される順方向動きベクトルＳ５に対応して動き補償する。
【００５６】
すなわち動き補償回路１７は、順方向予測モードの場合、フレームメモリ１６の過去参照画像記憶部の読出しアドレスを、動きベクトル検出回路６が現在出力しているマクロブロツクの位置に対応する位置から順方向動きベクトルＳ５に対応する分だけずらしてデータを読み出して予測参照画像を生成し、演算回路８及び演算器１５に送出する。
【００５７】
演算回路８はスキヤンコンバータ４から送出される参照画像のマクロブロツクのデータから、動き補償回路１７から送出された当該マクロブロツクに対応する予測参照画像の画像データを減算して予測残差としての差分データを得、この差分データをＤＣＴ回路９に送出する。この差分データはＤＣＴ回路９、量子化回路１０、可変長符号化回路１１及びバツフア１３を介して量子化制御回路７に送出されると共に外部に出力される。またこの差分データは逆量子化回路１２及びＩＤＣＴ回路１４によつて局所的に復号されて演算器１５に送出される。
【００５８】
演算器１５はＩＤＣＴ回路１４から送出される差分データに、動き補償回路１７から送出される予測参照画像の画像データを加算する。これにより局所的に復号したＰピクチヤの画像データが得られる。このＰピクチヤの画像データはフレームメモリ１６内の未来参照画像を格納する未来参照画像記憶部に格納される。
【００５９】
次に演算回路８にスキヤンコンバータ４からＢピクチヤとして処理すべきフレームの画像データが入力され、予測モード決定回路５から送出される予測モードＳ６がイントラモード又は順方向予測モードの場合、当該フレームの画像データは上述のＰピクチヤの場合と同様に処理される。これに対して予測モードＳ６が逆方向予測モードに設定された場合には、フレームメモリ１６の未来参照画像記憶部に格納されている画像データ（この場合Ｐピクチヤの画像データ）が読み出されて動き補償回路１７に送出される。
動き補償回路１７はこの画像データを動きベクトル検出回路６から送出される逆方向動きベクトルＳ５に対応して動き補償する。
【００６０】
すなわち動き補償回路１７は、逆方向予測モードの場合、フレームメモリ１６の未来参照画像記憶部の読出しアドレスを、動きベクトル検出回路６が現在出力しているマクロブロツクの位置に対応する位置から動きベクトルＳ５に対応する分だけずらしてデータを読み出して予測参照画像を生成し、演算回路８及び演算器１５に送出する。
【００６１】
演算回路８はスキヤンコンバータ４から送出される参照画像のマクロブロツクのデータから、動き補償回路１７から送出された当該マクロブロツクに対応する予測参照画像の画像データを減算して予測残差としての差分データを得、この差分データをＤＣＴ回路９に送出する。この差分データはＤＣＴ回路９、量子化回路１０、可変長符号化回路１１及びバツフア１３を介して量子化制御回路７に送出されると共に外部に送出される。またこの差分データは逆量子化回路１２及びＩＤＣＴ回路１４によつて局所的に復号されて演算器１５に送出される。
演算器１５はＩＤＣＴ回路１４から送出される差分データに、動き補償回路１７から送出される予測参照画像の画像データを加算する。これにより局所的に復号したＢピクチヤの画像データが得られる。
【００６２】
双方向予測モードの場合には、フレームメモリ１６の過去参照画像記憶部に格納されている画像データ（この場合Ｉピクチヤの画像データ）と、未来参照画像記憶部に格納されている画像データ（この場合Ｐピクチヤの画像データ）とが読み出されて動き補償回路１７に送出される。
動き補償回路１７はこの画像データを動きベクトル検出回路６から送出される順方向動きベクトル及び逆方向動きベクトルＳ５に対応して動き補償する。
【００６３】
すなわち動き補償回路１７は、双方向予測モードの場合、フレームメモリ１６の過去参照画像記憶部と未来参照画像記憶部の読出しアドレスを、動きベクトル検出回路６が現在出力しているマクロブロツクの位置に対応する位置から順方向動きベクトル及び逆方向動きベクトルＳ５に対応する分だけずらしてデータを読み出して予測参照画像を生成し、演算回路８及び演算器１５に送出する。
【００６４】
演算回路８はスキヤンコンバータ４から送出される参照画像のマクロブロツクのデータから、動き補償回路１７から送出された当該マクロブロツクに対応する予測参照画像の画像データの平均値を減算して予測残差としての差分データを得、この差分データをＤＣＴ回路９に送出する。この差分データはＤＣＴ回路９、量子化回路１０、可変長符号化回路１１及びバツフア１３を介して量子化制御回路７に送出されると共に外部に出力される。またこの差分データは逆量子化回路１２及びＩＤＣＴ回路１４によつて局所的に復号されて演算器１５に送出される。
【００６５】
演算器１５はＩＤＣＴ回路１４から送出される差分データに、動き補償回路１７から送出される予測参照画像の画像データを加算する。これにより局所的に復号したＢピクチヤの画像データが得られる。ここでＢピクチヤは他の画像の予測画像として使用されないので、フレームメモリ１６には格納されない。
【００６６】
（２−１）量子化制御部の構成
ここで映像信号符号化装置１における量子化制御部７の構成について説明する。図２に示すように、量子化制御部７は、以下に説明する量子化制御アルゴリズに応じたプログラムを記録媒体としてのＲＯＭ（Read Only Memory）７Ａに格納しており、ＣＰＵ７Ｂがこの量子化制御アルゴリズムに従つて量子化回路１０において各マクロブロツクを量子化する際に用いる量子化ステツプMQUANTを、ＲＡＭ（Random Access Memory）７Ｃをワークエリアとして用いて算出し、当該量子化ステツプMQUANTを量子化回路１０に送出する。
【００６７】
量子化制御部７における量子化制御アルゴリズムについて図３及び図４に示すフローチヤートを用いて説明する。
ここでこの映像信号符号化装置１は、符号化方法として可変レート符号化方式を採用しており、量子化制御アルゴリズムを開始する前に、まずデイジルタ映像信号Ｓ１を固定の量子化ステツプで符号化した際に発生した発生符号量に基づいて各フレーム毎の割当て符号量Ｔ_i を決定し、当該各フレーム毎の割当て符号量Ｔ_i を量子化制御部７のＲＡＭ７Ｃに格納しているものとする。
【００６８】
実際上、量子化制御部７は固定の量子化ステツプＱＳを量子化回路１０に送出する。量子化回路１０は、量子化制御部７によつて指定された量子化ステツプＱＳに基づいて、ＤＣＴ回路９から出力されるＤＣＴ係数を量子化して可変長符号化回路１１に送出する。可変長符号化回路１１は、量子化回路１０からの出力を可変長符号化して、当該符号化結果を量子化制御部７に送出する。量子化制御部７は、可変長符号化回路１１からの出力に基づいて、各フレーム毎に実際に発生した発生符号量を算出し、当該発生符号量に基づいて各フレーム毎の割当て符号量Ｔ_i を算出し、ＲＡＭ７Ｃに格納する。
【００６９】
ＣＰＵ７Ｂは、ステツプＳＰ１より量子化制御アルゴリズムを開始し、ステツプＳＰ２において、デイジタル映像信号Ｓ１における最初のＧＯＰ中において符号化順序で最初のＩピクチヤの最初のマクロブロツクについての量子化ステツプｑＩ_PREVの初期値を「10」に設定する。また最初のＧＯＰ中において符号化順序で最初のＰピクチヤの最初のマクロブロツクについての量子化ステツプｑＰ_PREVとして、Ｉピクチヤにおける最後のマクロブロツクについての参照量子化ステツプＱ（第１の量子化ステツプ）にｋ_P （ｋ_P ＝ 1.0）を乗じた値を設定し、最初のＧＯＰ中において符号化順序で最初のＢピクチヤの最初のマクロブロツクについての量子化ステツプｑＢ_PREVとして、Ｉピクチヤにおける最後のマクロブロツクについての参照量子化ステツプＱにｋ_B （ｋ_B ＝ 1.0）を乗じた値を設定する。ここでＫ_P ＝ 1.0、Ｋ_B ＝ 1.4であり、上述したテストモデルの場合と同様にＩピクチヤに対する粗さの程度を表す。
【００７０】
ここで実際上、量子化制御は各ピクチヤ毎に符号化順に行われるので、ステツプＳＰ２において、最初のＧＯＰ中において符号化順序で最初のＰピクチヤ及びＢピクチヤにおけるそれぞれ最初のマクロブロツクについての量子化ステツプｑＢ_PREV及びｑＰ_PREVは、Ｉピクチヤに対する量子化制御が終了してから設定される。
【００７１】
またデイジルタ映像信号Ｓ１における最初のＧＯＰ以降のＧＯＰにおいて符号化順序で最初のＩピクチヤにおける最初のマクロブロツクについての量子化ステツプｑＩ_PREVとして、１つ前のＧＯＰにおける最後のＩピクチヤの最後のマクロブロツクについての参照量子化ステツプＱを用いる。従つて最初のＧＯＰ以降のＧＯＰにおいて符号化順序で最初のＰピクチヤ及びＢピクチヤにおける最初のマクロブロツクについての量子化ステツプｑＰ_PREV及びｑＩ_PREVとしては、符号化対象としているＧＯＰにおけるＩピクチヤの最後のマクロブロツクについての量子化ステツプｑＩ_PREVにそれぞれＫ_P 及びＫ_B を乗じたものが使用される。
【００７２】
続いてＣＰＵ７Ｂは、ステツプＳＰ３において、カウンタcurr＿GOP を最初のＧＯＰに設定した後、ステツプＳＰ４において、符号化対象としているＧＯＰcurr＿GOP に対応する各フレームの割当て符号量Ｔ_i をＲＡＭ７Ｃより順次読み出し、符号化対象としているＧＯＰcurr＿GOP における１フレーム当たりの平均ビツトレートcurr＿brを、平均符号化データ速度として、次式
【数２７】

を用いて算出する。ここでこの映像信号符号化装置１は、可変レート符号化方式を採用しているので、ステツプＳＰ４において算出した平均ビツトレートCurr＿brはＧＯＰ毎に変化することになる。
【００７３】
平均ビツトレートCurr＿brの算出処理について図４に示すフローチヤートを用いて説明する。
ＣＰＵ７Ｂは、ステツプＳＰ２０より平均ビツトレートCurr＿brの算出処理を開始し、ステツプＳＰ２１において、フレーム数をカウントするカウンタのカウンタ値ｋを初期化すると共に、符号化対象としているＧＯＰcurr＿GOP 中における各フレームの割当て符号量Ｔ_i の累積値を演算する演算器の累計値sum を初期化した後、ステツプＳＰ２２において、符号化対象としているＧＯＰcurr＿GOP 中のｋ番目のフレームの割当て符号量Ｔ_k を演算器の累積値sum に足し込む。
【００７４】
続いてＣＰＵ７Ｂは、ステツプＳＰ２３において、カウンタのカウント値ｋと符号化対象としているＧＯＰcurr＿GOP 中のフレーム数Ｎとを比較し、カウンタのカウント値ｋとフレーム数Ｎとが一致していないと判断したときには、当該ＧＯＰcurr＿GOP 中の全てのフレームについての割当て符号量Ｔ_i が累積値sum に累積されていないと判断してステツプＳＰ２４に進み、カウンタのカウント値ｋをインクリメントしてステツプＳＰ２２に進む。
【００７５】
すなわちＣＰＵ７Ｂは、符号化対象としているＧＯＰcurr＿GOP 中の全てのフレームの割当て符号量Ｔ_i の累積値sum を得るまでステツプＳＰ２２からステツプＳＰ２４までの処理ループを実行する。ＣＰＵ７Ｂは、ステツプＳＰ２３において肯定結果を得ると、ステツプＳＰ２５に進んで、累積値sum 及びピクチヤレート Picture＿rateに基づいて、符号化対象としているＧＯＰcurr＿GOP における１フレーム当たりの平均ビツトレートCurr＿brを算出し、ステツプＳＰ２６において平均ビツトレートCurr＿brの算出処理を終了してメインルーチンのステツプＳＰ５に進む。
【００７６】
ＣＰＵ７Ｂは、ステツプＳＰ５において、平均ビツトレートCurr＿br及びピクチヤレート Picture＿rateに基づき、次式
【数２８】

を用いて第１のパラメータｒを算出する。すなわちＣＰＵ７Ｂは、ピクチヤレート Picture＿rateに対する平均ビツトレートCurr＿br（平均符号化データ速度）の割合いで表される第１のパラメータｒを算出する。ここでステツプＳＰ４において算出した平均ビツトレートCurr＿brはＧＯＰ毎に変化するので、これに連動して第１のパラメータｒもＧＯＰ毎に変化することになる。
【００７７】
次いでＣＰＵ７Ｂは、ステツプＳＰ６において、符号化対象としているＧＯＰcurr＿GOP の１つ前のＧＯＰにおける各ピクチヤタイプの最後のフレームにおける最後のマクロブロツクの量子化ステツプｑＩ_PREV、ｑＰ_PREV又はｑＢ_PREV（すなわち後述する参照量子化ステツプＱ）と、ステツプＳＰ５において算出した第１のパラメータｒとに基づき、次式
【数２９】

【数３０】

【数３１】

をそれぞれ用いて、符号化対象としているマクロブロツクｊについての参照量子化ステツプＱ_j を算出する際に用いる各ピクチヤタイプ毎の仮想的なバツフアの充満度ｄＩ₀ 、ｄＰ₀ 及びｄＢ₀ を第３のパラメータとして算出する。
【００７８】
ここで従来のテストモデルは、第１のパラメータｒが固定であつた（すなわちビツトレートが固定であつた）ため学習効果を利用することができたが、本発明では、ビツトレートがＧＯＰ毎に変化するために第１のパラメータｒもＧＯＰ毎に変化するため、そのままでは学習効果を得ることができない。このため本発明においては、第１のパラメータｒの変化に伴つて仮想的なバツフアの充満度をＧＯＰ毎に計算する。
【００７９】
また最初のＧＯＰ中における符号化順序で最初のピクチヤとなるＩピクチヤの最初のマクロブロツクについての参照量子化ステツプＱを算出する際に用いるＩピクチヤ用の仮想的なバツフアの充満度ｄＩ₀ を算出するために必要となる量子化ステツプｑＩ_PREV（ステツプＳＰ６）は、「10」となる。
【００８０】
次いでＣＰＵ７Ｂは、ステツプＳＰ７において、符号化対象としているフレームCurr＿frame を符号化対象としているＧＯＰcurr＿GOP 中の最初のフレームに設定した後、ステツプＳＰ８において、フレームカウンタｊを初期化する。続いてＣＰＵ７Ｂは、ステツプＳＰ９において、次式
【数３２】

を用いて、符号化対象としているフレームCurr＿frame についての仮想的なバツフアの充満度ｄ＊_j を第２のパラメータとして算出する。
【００８１】
ここでＣＰＵ７Ｂは、（３２）式におけるｄ＊₀ として、各ピクチヤタイプに応じて、ステツプＳＰ６において算出した仮想的なバツフアの充満度ｄＩ₀ 、ｄＰ₀ 又はｄＢ₀ を初期値として用いる。従つてステツプＳＰ６において算出した仮想的なバツフアの充満度ｄＩ₀ 、ｄＰ₀ 又はｄＢ₀ は、第１のパラメータｒがＧＯＰ毎に変動すると共に、後述するように量子化ステツプｑＩ_PREV、ｑＰ_PREV及びｑＢ_PREVもＧＯＰ毎に変動するので、仮想的なバツフアの充満度ｄ＊₀ （すなわち第３のパラメータｄＩ₀ 、ｄＰ₀ 及びｄＢ₀ ）はＧＯＰ毎に更新されることになる。
【００８２】
ここでＢ_j-1 は符号化対象としているフレームCurr＿frame における最初のマクロブロツクから（ｊ−１）番目のマクロブロツクまでに実際に発生した発生符号量の合計を表し、Ｔ_curr＿_frame は符号化対象としているフレームCurr＿frame の割当て符号量Ｔを表す。従つてｄ＊_j は、符号化対象としているフレームのｊ番目のマクロブロツクについての参照量子化ステツプＱ_j を算出する際に用いる仮想的なバツフアの充満度を表している。さらにMB＿cnt は、符号化対象としているフレームにおけるマクロブロツク数を表す。
【００８３】
すなわちＣＰＵ７Ｂは、ステツプＳＰ６において算出した各ピクチヤタイプ毎の第３のパラメータとしての仮想的なバツフアの充満度ｄ＊₀ （すなわちｄＩ₀ 、ｄＰ₀ 又はｄＢ₀ ）を初期値として、当該第３のパラメータに、（ｊ−１）番目のマクロブロツクまでに実際に発生した発生符号量Ｂ_i-1 と、符号化対象としているフレームCurr＿frame の割当て符号量Ｔ_curr＿_frame を符号化対象としているフレームCurr＿frame の各マクロブロツクに均等に割り当てたと想定したときのｊ−１番目までの想定割当て符号量の合計（（ｊ−１）×Ｔ_curr＿_frame ／ＭＢ＿ｃｎｔ）との差分（マクロブロツク毎の差分）を反映させたものを、符号化対象としているマクロブロツクｊについての参照量子化ステツプＱ_j を算出する際に用いる仮想的なバツフアの充満度ｄ＊_j （ｄＩ_j 、ｄＰ_j 又はｄＢ_j ）を第２のパラメータとして算出する。これにより、ステツプＳＰ５において算出した第１のパラメータｒが、符号化対象としているＧＯＰCurr＿GOP において変化しないように、第２のパラメータとしての仮想的なバツフアの充満度ｄ＊_j を制御するようになされている。
【００８４】
次いでＣＰＵ７Ｂは、ステツプＳＰ１０において、第１のパラメータｒ及び第２のパラメータとしての仮想的なバツフアの容量ｄ＊_j に基づき、次式
【数３３】

を用いて、符号化対象としているマクロブロツクｊの参照量子化ステツプＱ_j を算出した後、ステツプＳＰ１１において、ステツプＳＰ６における量子化ステツプｑ＊_prev（ｑＩ_prev、ｑＰ_prev又はｑＢ_prev）を当該参照量子化ステツプＱ_j に更新する。
【００８５】
従つて符号化対象としているＧＯＰ中の全てのフレームについて全てのマクロブロツクについて参照量子化ステツプＱを算出すると、当該ＧＯＰ中における各ピクチヤタイプの最後のピクチヤにおける最後のマクロブロツクについての参照量子化ステツプＱが、次のＧＯＰ中における各ピクチヤタイプの最初のマクロブロツクについての量子化ステツプｑＩ_prev、ｑＰ_prev及びｑＢ_prev（ステツプＳＰ６）として使用され、これにより次のＧＯＰにおいて、各ピクチヤタイプ毎に各マクロブロツクについての参照量子化ステツプＱを算出する際に用いる第２のパラメータとしての仮想的なバツフアの充満度ｄ＊_j を算出する際に用いる第３のパラメータとしての仮想的なバツフアの充満度ｄＩ₀ 、ｄＰ₀ 及びｄＢ₀ （初期値）が更新される。かくして各ＧＯＰ毎に第１のパラメータｒが変化しても参照量子化ステツプＱの連続性を保持することができるようになされている。
【００８６】
続いてＣＰＵ７Ｂは、ステツプＳＰ１２において、上述したテストモデルにおける第３のステツプと同様の処理を行うことにより、マクロブロツクｊについての量子化ステツプMQUANT_j を第２の量子化ステツプとして算出する。すなわちＣＰＵ７Ｂは、まずマクロブロツクｊを４つのサブブロツク（輝度ブロツク）sblkに分割した後、４つの各サブブロツクsblkについて、サブブロツクsblkにおける各画素値Ｐ_m と、次式
【数３４】

を用いて算出した当該サブブロツクsblkにおける各画素値Ｐ_m の平均値Ｐ_ave との差分を２乗したものを、当該サブブロツクsblkにおける全ての画素（64個）について算出し、これら各画素毎に算出した演算結果（Ｐ_m −Ｐ_ave ）² の合計を当該サブブロツクsblkにおけるアクテイビテイ var_sblkとして次式
【数３５】

を用いて算出し、次式
【数３６】

を用いて、４つのサブブロツクsblkのうち、最小のアクテイビテイ var_sblkをもつサブブロツクsblkのアクテイビテイ var_sblkをマクロブロツクｊについてのアクテイビテイ act_j として算出する。
【００８７】
次いでＣＰＵ７Ｂは、マクロブロツクｊについてのアクテイビテイ act_j を次式
【数３７】

を用いて正規化した後、正規化した係数 N＿ act_j と、ステツプＳＰ１１で算出した参照量子化ステツプＱ_j とに基づき、次式
【数３８】

を用いて、マクロブロツクｊについての最終的な量子化ステツプMQUANT_j を算出する。
【００８８】
続いてＣＰＵ７Ｂは、ステツプＳＰ１３において、符号化対象としているマクロブロツクｊが符号化対象としているフレームCurr＿frame における最後のマクロブロツクか否かを判定し、否定結果を得たときには、ステツプＳＰ１４に進んで、フレームカウンタｊをインクリメントとし、ステツプＳＰ９からステツプＳＰ１２までの処理を実行する。すなわちＣＰＵ７Ｂは、ステツプＳＰ１３において肯定結果を得るまで、すなわち符号化対象としているフレームCurr＿frame の全てのマクロブロツクについて量子化ステツプMQUANTを算出するまで、ステツプＳＰ９からステツプＳＰ１４までの処理ループを実行する。
【００８９】
ＣＰＵ７Ｂは、ステツプＳＰ１３において肯定結果を得ると、ステツプＳＰ１５に進んで、符号化対象としているフレームCurr＿frame が符号化対象としているＧＯＰCurr＿GOP における最後のフレームであるか否かを判定し、否定結果を得たときには、ステツプＳＰ１６に進んで処理対象を次のフレームに設定し、ステツプＳＰ８からステツプＳＰ１３までの処理を実行する。すなわちＣＰＵ７Ｂは、ステツプＳＰ１５において肯定結果を得るまで、すなわち符号化対象としているＧＯＰCurr＿GOP 中の全てのフレームにおける全てのマクロブロツクについて量子化ステツプMQUANTを算出するまで、ステツプＳＰ８からステツプＳＰ１６までの処理ループを実行する。
【００９０】
ＣＰＵ７Ｂは、ステツプＳＰ１５において肯定結果を得ると、ステツプＳＰ１７に進んで、符号化対象としているＧＯＰCurr＿GOP がデイジルタ映像信号Ｓ１における最後のＧＯＰであるか否かを判定し、否定結果を得たときには、ステツプＳＰ１８に進んで処理対象を次のＧＯＰに設定し、ステツプＳＰ４からステツプＳＰ１７までの処理を実行する。すなわちＣＰＵ７Ｂは、ステツプＳＰ１７において肯定結果を得るまで、すなわち符号化対象としているデイジルタ映像信号Ｓ１における全てのＧＯＰ中において、全てのフレームにおける全てのマクロブロツクについて量子化ステツプMQUANTを算出するまで、ステツプＳＰ４からステツプＳＰ１８までの処理ループを実行する。
ＣＰＵ７Ｂは、ステツプＳＰ１７において肯定結果を得ると、ステツプＳＰ１９において量子化制御アルゴリズムを終了する。
【００９１】
量子化制御部７は上述の量子化制御アルゴリズムに従つて各マクロブロツク毎に算出した量子化ステツプMQUANTを量子化回路１１に送出し、量子化回路１１は、ＤＣＴ回路９から出力されるＤＣＴ係数を量子化制御部７によつて指定された量子化ステツプMQUANTに基づいて量子化する。
かくしてこの映像信号符号化装置１は、可変レート符号化方式においても量子化制御し得るようになされている。
【００９２】
（２−２）実施例の動作及び効果
以上の構成において、この映像信号符号化装置１は、ＧＯＰ毎にＧＯＰにおける１フレーム当たりの平均符号化データ速度curr＿brを算出し、当該平均符号化データ速度curr＿brを用いてＧＯＰ毎に第１のパラメータｒを算出するので、第１のパラメータｒを各ＧＯＰにおける符号化データ速度curr＿brに応じて変化させることができる。
【００９３】
またこの映像信号符号化装置１は、ＧＯＰ中における各ピクチヤタイプ毎の各フレームについての量子化ステツプＱを算出する際に用いる第３のパラメータとしての仮想的なバツフアの充満度ｄＩ_o 、ｄＰ_o 及びｄＢ_o を、それぞれ符号化対象としているＧＯＰより１つ前のＧＯＰにおいて、符号化順序で各ピクチヤタイプの最後のフレームにおける最後のマクロブロツクについての参照量子化ステツプＱを用いて更新したので、ＧＯＰ毎に第１のパラメータｒが変化しても各ＧＯＰ間における参照量子化ステツプＱの連続性を維持することができる。
【００９４】
以上の構成によれば、ＧＯＰ毎にＧＯＰにおける１フレーム当たりの平均符号化データ速度curr＿brを算出し、当該平均符号化データ速度curr＿brを用いてＧＯＰ毎に第１のパラメータｒを算出し、符号化対象としているＧＯＰより１つ前のＧＯＰにおいて、符号化順序で各ピクチヤタイプの最後のフレームにおける最後のマクロブロツクについての参照量子化ステツプＱ及び符号化対象としているＧＯＰについて算出した第１のパラメータｒに基づいて、各ピクチヤタイプ毎の各フレームにおける各マクロブロツクについての量子化ステツプＱを算出する際に用いる仮想的なバツフアの充満度ｄＩ_o 、ｄＰ_o 及びｄＢ_o を第３のパラメータとして算出し、当該仮想的なバツフアの充満度ｄＩ_o 、ｄＰ_o 及びｄＢ_o に、符号化対象としているマクロブロツクｊの１つ前のマクロブロツクまでに実際に発生した発生符号量の合計と、符号化対象としているマクロブロツクｊの１つ前のマクロブロツクまでの想定割当て符号量の合計との差分を反映させたものをそれぞれのピクチヤタイプ毎に第２のパラメータとしての仮想的なバツフアの充満度ｄＩ_j 、ｄＰ_j 及びｄＢ_j として算出し、当該仮想的なバツフアの充満度ｄＩ_j 、ｄＰ_j 又はｄＢ_j 及び符号化対象としているＧＯＰについて算出した第１のパラメータｒに基づいて、各ピクチヤタイプの各フレームにおける各マクロブロツクについての参照量子化ステツプＱを算出し、当該各参照量子化ステツプＱについて画像の複雑さや動きの激しさを考慮した量子化ステツプMQUANTを算出したことにより、第１のパラメータｒを各ＧＯＰにおける平均符号化データ速度curr＿brに応じて変化させることができると共に、ＧＯＰ毎に第１のパラメータｒが変化しても各ＧＯＰ間における参照量子化ステツプＱの連続性を維持することができる。
かくして可変レート符号化方式に対応し得る量子化制御を行うことのできる映像信号符号化方法及び映像信号符号化装置を実現し得る。また図３に示すような量子化アルゴリズムをプログラムとして記録媒体（ＲＯＭ７Ａ）に記録することにより、可変レート符号化方式に対応し得る量子化制御を行うことのできる映像信号符号化装置を実現することができる。
【００９５】
（３）第３実施例
なお上述の実施例においては、デイジタル映像信号Ｓ１を固定の量子化ステツプに基づいて符号化して発生した発生符号量に基づいて各フレーム毎の割当て符号量Ｔ_i を決定し、当該各フレーム毎の割当て符号量Ｔ_i を量子化制御部７のＲＡＭ７Ｃに格納した場合について述べたが、本発明はこれに限らず、デイジタル映像信号Ｓ１を固定の量子化ステツプで符号化して発生した発生符号量に基づいて各ＧＯＰ毎の割当て符号量を決定し、当該各ＧＯＰ毎の割当て符号量を量子化制御部７のＲＡＭ７Ｃに格納しておくようにしてもよい。この場合、上述のタイムモデルにおける第１ステツプにおけるＲ（ＧＯＰに与えられた残りの符号量）をＧＯＰ毎に変えて、この第１ステツプと同様の処理で各フレームに対して割当て符号量を割り当てた後、本発明の量子化制御アルゴリズムを適用する。
【００９６】
また上述の実施例においては、デイジタル映像信号Ｓ１を固定の量子化ステツプに基づいて符号化して発生した発生符号量に基づいて決定した各フレーム毎の割当て符号量Ｔ_i を予め量子化制御部７のＲＡＭ７Ｃに格納しておいた場合について述べたが、本発明はこれに限らず、デイジタル映像信号Ｓ１を固定の量子化ステツプで符号化して発生した発生符号量に基づいて各フレーム毎の割当て符号量Ｔ_i を決定するステツプを、図３に示す量子化アルゴリズムの最初の処理ステツプとしてプログラムしてもよい。
【００９７】
さらに上述の実施例においては、ＧＯＰを第１の映像単位として平均符号化データ速度を算出した場合について述べたが、本発明はこれに限らず、図５に示すように、符号化対象としているフレームを含んで１つずつフレームをスライドさせていくようにして平均ビツトレートを算出するようにしてもよい。この場合、符号化対象としているフレームを含んで所定数分スライドさせていくようにしてもよい。またＧＯＰよりも大きな映像単位、例えば２ＧＯＰ単位で平均ビツトレートを算出したり、ＧＯＰより小さな単位で平均ビツトレートを算出するようにしてもよい。この図５においては、Ｎ＝６の場合の例である。
【００９８】
さらに上述の実施例においては、映像信号符号化装置１において、デイジタル映像信号Ｓ１を固定の量子化ステツプで符号化した際に発生した発生符号量に基づいて各フレーム毎の割当て符号量Ｔ_i を決定し、当該各フレーム毎の割当て符号量Ｔ_i を量子化制御部７のＲＡＭ７Ｃに格納した場合について述べたが、本発明はこれに限らず、別の映像信号符号化装置を用いて各フレーム毎の割当て符号量を算出し、当該各フレーム毎の割当て符号量を量子化制御部７に送出してＲＡＭ７Ｃに格納させるようにしてもよい。
【００９９】
さらに上述の実施例においては、図３に示した量子化制御アルゴリズムをプログラムとして有するＲＯＭ７Ａを用いて実現した場合について述べたが、本発明はこれに限らず、図３に示した量子化制御アルゴリズムをハードウエアとして実現するようにしてもよい。
【０１００】
【発明の効果】
上述のように本発明によれば、ＧＯＰ又はピクチヤ毎の割当て符号量に基づいて、ＧＯＰにおけるピクチヤ当たりの平均符号化データ速度を算出し、ピクチヤレートに対する平均符号化データ速度の割合いで表される第１のパラメータをＧＯＰ毎に算出し、符号化対象としているＧＯＰより時間的に１つ前のＧＯＰにおいて、符号化順序で現在の符号化対照のピクチヤと同じ画像タイプの最後のピクチヤにおける最後のブロツクについての第１の量子化ステツプ及び符号化対象としているＧＯＰについての第１のパラメータに基づいて、各画像タイプ毎の各ピクチヤにおける各ブロツクについての量子化ステツプを算出する際に用いる仮想的なバツフアの充満度を第３のパラメータとして算出し、符号化対象のブロツクの一つ前のブロツクまでについての割当て符号量と発生符号量との差分を第３のパラメータに反映させた仮想的なバツフアの充満度を、第２のパラメータとして算出し、第１のパラメータ及び第２のパラメータに基づいて符号化対象としているブロツクについての第１の量子化ステツプを算出することにより、第１のパラメータを各ＧＯＰにおける平均符号化データ速度に応じて変化させることができる。かくして可変レート符号化方式に対応し得る量子化制御を行うことのできる映像信号符号化方法及び映像信号符号化装置を実現することができる。
【図面の簡単な説明】
【図１】本発明を適用した映像信号符号化装置の全体構成を示すブロツク図である。
【図２】量子化制御部の構成を示すブロツク図である。
【図３】量子化制御部における量子化アルゴリズムの説明に供するフローチヤートである。
【図４】平均ビツトレートの算出処理の処理手順の説明に供するフローチヤートである。
【図５】他の実施例による平均ビツトレートの算出方法の説明に供する略線図である。
【符号の説明】
１……映像信号符号化装置、２……画像符号化タイプ指定回路、３……画像符号化順序並替え回路、４……スキヤンコンバータ、５……予測モード決定回路、６……動きベクトル検出回路、７……量子化制御回路、７Ａ……ＲＯＭ、７Ｂ……ＣＰＵ、７Ｃ……ＲＡＭ、８……演算回路、９……ＤＣＴ回路、１０……量子化回路、１１……可変長符号化回路、１２……逆量子化回路、１３……バツフア、１４……ＩＤＣＴ回路、１５……演算器、１６……フレームメモリ、１７……動き補償回路。[0001]
【table of contents】
The present invention will be described in the following order.
TECHNICAL FIELD OF THE INVENTION
Conventional technology
Problems to be solved by the invention
Means for solving the problem
BEST MODE FOR CARRYING OUT THE INVENTION
(1) Overall configuration (Fig. 1)
(2-1) Configuration of quantization control unit (FIGS. 2 to 4)
(2-2) Operation and effect of the embodiment
(3) Third embodiment
The invention's effect
[0002]
BACKGROUND OF THE INVENTION
The present invention relates to a video signal encoding method and a video signal encoding device, and in particular, can be applied to a video signal encoding method and a video signal encoding device that encode a digital video signal at a variable rate for each predetermined video unit.
[0003]
[Prior art]
Conventionally, when a video signal is digitized and recorded or transmitted on a predetermined recording medium, the amount of data is enormous, and thus the data is encoded (compressed). Motion compensation predictive coding is known as a typical coding method.
This motion-compensated predictive coding is a method that uses the correlation in the time axis direction of a video signal. The motion information (motion vector) to be encoded is estimated from a video signal that has already been decoded and reproduced, and is decoded. This is a method of compressing the amount of information necessary for encoding by moving a moving video signal in accordance with the motion of the signal and transmitting this motion vector and the prediction residual at that time.
[0004]
MPEG (Moving Picture Expert Group) is known as a representative example of the motion compensation predictive coding. In this MPEG system, one image (one frame or one field) is divided into blocks called macroblocks composed of 16 × 16 pixels, and motion compensation predictive coding is performed in units of the blocks.
There are two methods of motion compensation predictive coding: intra coding and non-intra coding. Intra coding is a coding method that uses only information of its own macroblock, and non-intra coding is coding that uses both information of its own macroblock and information obtained from images appearing at other times. Is the method.
[0005]
The MPEG system encodes each frame as a picture of one of three picture types: I picture (intra coded picture), P picture (predictive coded picture), or B picture (bidirectionally predictive coded picture).
The I-picture image signal is transmitted by encoding the image signal for one frame as it is. The difference between the image signal of the P picture and the image signal of the I picture or the P picture that is temporally earlier than the P picture is encoded and transmitted. The difference between the B picture and the P picture or I picture that is in the past in time or the picture of the P picture or I picture that is in the future in time is encoded and transmitted, or the past is temporally past. The difference between both the I-picture and the P-picture in the future is encoded and transmitted.
[0006]
Thus, the data (bit stream) encoded by the video signal encoding apparatus is output at a fixed bit rate, recorded on a predetermined recording medium, or transmitted to the digital video signal decoding apparatus.
[0007]
[Problems to be solved by the invention]
By the way, the video signal includes an image that is not suitable for compression coding because it has a pattern with intense motion, and an image that is close to a still image that can be compressed and encoded very easily. Therefore, when the video signal is encoded at a fixed rate, the image quality of a complex picture is greatly deteriorated.
[0008]
Therefore, by increasing the amount of code to be assigned to complex pictures and reducing the amount of code to be assigned to simple pictures, a variable-rate coding method that realizes high image quality as a whole video signal even if the average bit rate is low, A so-called encoding method has been proposed. This variable rate encoding method can be used in a recording medium whose reading speed can be freely adjusted, for example, a digital video disk (DVD).
[0009]
Therefore, when this variable rate coding method is used, it is necessary to grasp in advance the difficulty of compression of the input video signal (that is, the complexity of the pattern and the intensity of movement). Therefore, in this variable rate coding method, first, a GOP (Group of Pictures) or an allocated code amount for each frame is calculated based on a generated code amount generated by encoding a digital video signal based on a fixed quantization step. A so-called two-pass encoding method is used in which a digital video signal is encoded according to the allocated code amount.
[0010]
Here, when the assigned code amount for each frame is determined, it is necessary to perform quantization control so as to satisfy the assigned code amount. Here, the quantization control means that the quantization step in the quantization is controlled so that the generated code amount generated by the encoding becomes a predetermined bit rate when viewed in a certain time width. As this quantization control method, a quantization control method called a test model defined in the MPEG system is generally used. This quantization control method called a test model feeds back the difference between the generated code amount and the assigned code amount (target number of bits).
[0011]
Hereinafter, the quantization control algorithm in this test model will be described. This quantization control algorithm is composed of three large steps.
[0012]
(1) First step of quantization control algorithm
This first step is a step of calculating an assigned code amount for each image type. Before encoding each frame, the following equations are used.
[Expression 1]

[Expression 2]

[Equation 3]

Complexity index X of I-picture, P-picture and B-picture defined by _I , X _P And X _B Update.
[0013]
Where S _I , S _P And S _B Represents the amount of generated codes in the I picture, P picture and B picture, respectively. Q _Iave , Q _Pave And Q _Bave Represents the average quantization parameter in each of the I, P, and B pictures, ie, the average value of the quantization steps of all macroblocks in one frame (normalized to a range of 1 to 31). .
[0014]
This complexity index X _I , X _P And X _B Is large for an image that has a large amount of generated code when it is encoded, and small for an image that provides a high compression rate. Therefore, the amount of code required for the type of image to be encoded will be relatively estimated by standardizing with a certain numerical value.
[0015]
This complexity index X _I , X _P And X _B Initial value X _{I (init)} , X _{P (init)} And X _{B (init)} Respectively
[Expression 4]

[Equation 5]

[Formula 6]

Defined by
[0016]
Allocated code amount T for the next frame in the GOP _I , T _P And T _B For each of the I, P, and B pictures
[Expression 7]

[Equation 8]

[Equation 9]

It is expressed by
[0017]
Here, the GOP is a processing unit in which several pictures including the I picture are always collected, and the number of frames in the GOP (that is, the interval between the I pictures) is represented by a parameter N, and the P picture or I picture is displayed. The interval between pictures is represented by a parameter M. Therefore, the GOP is determined by the parameters N and M.
[0018]
In the equations (7) to (9), K _P And K _B Are constants that depend on the quantization matrix, and represent the degree of roughness in the quantization of the P-picture for the I-picture and the degree of roughness in the quantization of the B-picture for the I-picture, respectively. . For this test model, K _P = 1.0, so the P picture is quantized with the same roughness as the I picture, and for the B picture, _B Since it is defined as 1.4, the B picture is quantized with 1.4 times the roughness of the I picture.
[0019]
N _P And N _B Represents the remaining number of P-pictures and B-pictures, respectively, in the encoding order in 1 GOP. R is the remaining code amount (number of bits) given to the GOP to be encoded. After encoding a certain frame, R
[Expression 10]

## EQU11 ##

[Expression 12]

Either.
[0020]
That is, for example, using the equation (7), the I code assigned code amount T _I After calculating I, the assigned code amount T of the picture following the I picture, for example, the B picture _B Is calculated using equation (9), R in equation (9) is the code amount S used for the I-picture. _I (Ie, R = R−S calculated by equation (10)) _I ) Is used, and the allocated code amount allocated to 1 GOP is kept constant. Here, the allocated code amount T of the first picture in the GOP, that is, the I picture which is the first picture in the coding order. _I R when calculating is
[Formula 13]

Is set to
[0021]
Therefore, the assigned code amount T for I-picture _I , P picture allocation code amount T _P And B picture code size T _B Can be obtained by dividing the remaining code amount R in the GOP by converting the remaining number of I-pictures, P-pictures, and B-pictures in the GOP into their own image types. In other words, the equations (7) to (9) indicate that all the unencoded pictures in the GOP have the same image type as the picture to be encoded, and how many codes per frame It represents giving an indication of whether the amount can be allocated.
[0022]
(2) Second step of quantization control algorithm
This second step is a temporary quantization step while sequentially encoding each macroblock in each frame, that is, a quantization step in the case where the complexity of the image and the intensity of motion are not considered, as will be described later. Is referred to as a reference quantization step) as a first quantization step, and the allocated code amount T for the frame to be encoded is calculated. _I , T _P Or T _B And the difference between the generated code amount actually generated by encoding is fed back for each macro block.
[0023]
Accordingly, when the generated code amount actually generated by encoding is larger than the initially assumed allocated code amount, the quantization step is increased to reduce the generated code amount, and the generated code amount is larger than the allocated code amount. If it is less, the quantization step will be smaller.
[0024]
First, before the i-th macroblock i in the I-picture, P-picture, or B-picture to be encoded is encoded, the degree of fullness d of the virtual buffer prepared for each of the I-picture, P-picture, and B-picture. _Ii , D _Pi And d _Bi Respectively,
[Expression 14]

[Expression 15]

[Expression 16]

Calculate using.
[0025]
In these formulas (14) to (16), B _i-1 Represents the total amount of generated codes generated by actually encoding all the macroblocks up to that point including the i-th macroblock and MB_cnt is the number of macroblocks in one frame (Hereinafter the same). Therefore, in the equations (14), (15) and (16), T _I × (i-1) / MB_cnt, T _P × (i-1) / MB_cnt and T _B X (i-1) / MB_cnt is an assigned code amount T assigned to each of the I picture, the P picture, and the B picture. _I , T _P And T _B Are assumed to be allocated code amounts when it is assumed that they are equally allocated to the macroblocks in the I picture, the P picture, and the B picture, respectively.
[0026]
Therefore, Equations (14), (15) and (16) are used to calculate the amount of generated code generated by encoding all the macroblocks up to that point in the frame to be encoded including the i-th macroblock. The total and the allocated code amount T of the frame to be encoded _I , T _P Or T _B Is calculated for each macroblock, and the difference from the sum of the assumed code amount up to the (i-1) th when assuming that the frame is equally allocated to each macroblock of the frame to be encoded is set as the encoding target. The degree of fullness dI of the virtual buffer used in calculating the reference quantization step Q for the last macroblock of the previous frame of the same image type as the current frame ₀ , DP ₀ Or dB ₀ To the reference quantization step Q for the macroblock i to be encoded. _i Degree of fullness dI of the virtual buffer used when calculating _i , DP _i And dB _i It is calculated as
[0027]
Here, the virtual buffer fullness dI calculated for the last macroblock in each image type _i , DP _i And dB _i Is the initial value dI for calculating the reference quantization step Q for each macroblock in the next frame of the same image type ₀ , DP ₀ And dB ₀ Used as.
[0028]
Also, the virtual buffer fullness dI used in calculating the reference quantization step Q for the first macroblock in the first I, P and B pictures in the first GOP. _i , DP _i And dB _i The degree of fullness dI of the virtual buffer required to calculate ₀ , DP ₀ And dB ₀ (That is, the initial value)
[Expression 17]

[Formula 18]

[Equation 19]

Defined by
[0029]
Subsequently, the reference quantization step Q of the macroblock i _i Is
[Expression 20]

Given in. Here, * represents one of the image types of the frame (hereinafter the same). The first parameter r expressed as the ratio of bit rate (encoded data rate) to picture rate is given by
[Expression 21]

Defined by Here, the first parameter r in the equation (17) is also expressed by the equation (20).
[0030]
Thus, the reference quantization step Q for each macroblock in each image type is calculated.
[0031]
(3) Third step of quantization control algorithm
The reference quantization step Q calculated in the second step described above is a value calculated without considering the complexity of the image (the magnitude of the spatial frequency amplitude) and the intensity of motion in each macro block. In the third step, a quantization step MQUANT for each macro block in consideration of the complexity of the image and the intensity of motion in each macro block is calculated as the second quantization step. That is, the average value of the quantization parameter is changed depending on the activity (energy (activity) of the AC component per block) for each macro block.
[0032]
Macroblock i spatial activity act _i Is calculated from the luminance block (there are four in one macro block) using the intra pixel value as follows:
[Expression 22]

Calculate using. Where var _sblk Represents the activity in the four luminance blocks (subblock sblk) of the macroblock i, and the activity var in each subblock sblk _sblk Is
[Expression 23]

To calculate. Here, each macro block is assumed to be composed of 16 × 16 pixels, and P _j Represents a pixel value.
[0033]
That is, the equation (23) indicates that each pixel value P in the sub-block sblk is related to each of the four sub-blocks sblk. _j And the following formula
[Expression 24]

Each pixel value P in the sub-block sblk calculated using _j Average value P _ave Is calculated for all pixels (64 pixels) in the sub-block sblk, and the calculation result (P _j -P _ave ) ² The total of the activity in the subblock sblk var _sblk The activity var calculated for each of the four subblocks sblk _sblk Of the minimum activity var _sblk Subblock sblk activity with var _sblk Act on Macroblock i act _i Means that
[0034]
Activity of macro block i calculated in this way act _i Is the coefficient normalized to
[Expression 25]

Normalize using. That is, act _i Is a coefficient N_act normalized to a range of 0.5 to 2.0 by deviation from the average activity value _i Is calculated.
[0035]
Where avg_act is the act in the previous frame of the frame to be encoded _i The average value of. Final quantization step for macroblock i MQUANT _i Is
[Equation 26]

Is obtained.
[0036]
That is, the reference quantization step Q for each macro block when the complexity of the image and the intensity of motion are not considered. _i To the normalized coefficient N_act _i Quantization step MQUANT taking into account the complexity of the image and the intensity of motion for macroblock i _i You can get. Finally MQUANT _i Is limited to an integer in the range of 1-31.
[0037]
In this way, the quantization step MQUANT for the macroblock i to be encoded of the frame to be encoded _i Is determined, the quantization step MQUANT _i The macro block is quantized and encoded using the above, and the generated code amount actually generated at this time is the B in the equation (14), (15) or (16). _i-1 Is added to
[0038]
Thereafter, the quantization step MQUANT for all macroblocks for the frame is repeated by repeating the first to third steps described above for the next frame. _i Are sequentially determined, and when the quantization steps MQUANT for all macroblocks for all frames in a GOP in the digital video signal are determined, the first to third steps described above are performed for the next GOP.
[0039]
However, the quantization control method using the test model as described above assumes a fixed rate as the bit rate, and thus cannot be applied to the variable rate encoding method as described above. That is, the fact that the bit rate is fixed means that the first parameter r in equation (21) is fixed, and therefore the first parameter r in each GOP is also constant. The control method could not be applied to a variable rate coding method in which the bit rate is variable according to the complexity of the pattern and the intensity of movement.
[0040]
The present invention has been made in consideration of the above points, and intends to propose a video signal encoding method and a video signal encoding apparatus capable of performing quantization control compatible with a variable rate encoding method. is there.
[0041]
[Means for Solving the Problems]
In order to solve such a problem, in the present invention, an average encoded data rate per picture in the GOP is calculated based on an assigned code amount for each GOP or picture, and is expressed as a ratio of the average encoded data rate to the picture rate. The first parameter is calculated for each GOP, and in the GOP temporally preceding the GOP to be encoded, the last parameter in the last picture of the same image type as the current encoding control picture in the encoding order Based on the first quantization step for the block and the first parameter for the GOP to be encoded, a virtual step used to calculate the quantization step for each block in each picture for each image type. The buffer fill level is calculated as the third parameter and is one of the blocks to be encoded. The degree of fullness of the virtual buffer reflecting the difference between the allocated code amount and the generated code amount up to the block of the second parameter is calculated as the second parameter, and the first parameter and the second parameter are calculated. Based on the above, the first quantization step for the block to be encoded is calculated.
[0042]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
[0043]
(1) Overall configuration
In FIG. 1, reference numeral 1 denotes a video signal encoding apparatus to which the present invention is applied as a whole, and a video signal S 1 is input to an image encoding type designation circuit 2.
The image coding type designation circuit 2 designates each frame of the input video signal S1 as a second video unit as a picture type of I picture, P picture, or B picture, and designates it as an image code. It is sent to the conversion / rearrangement circuit 3. The video signal encoding apparatus 1 uses, for example, 15 frames as 1 GOP as a first video unit as one unit of processing.
[0044]
The image coding order rearrangement circuit 3 rearranges the frames in the order of coding according to the designated image coding type and sends the frames to the scan converter 4 as an image signal S2, and the image coding for the image signal S2 The quantization type S3 is sent to the prediction mode determination circuit 5, the motion vector detection circuit 6, and the quantization control circuit 7. The image encoding / reordering circuit 3 detects a motion vector of a frame that is currently encoded, and an image temporally past the current image (hereinafter referred to as a past reference image). In addition, an image that is in the future in time from the current image (hereinafter referred to as a future reference image) S4 is sent to the motion vector detection circuit 6.
[0045]
The scan converter 4 converts the image signal S2 into a block format signal for each frame, divides the signal of one frame into N slices with 16 lines as one unit, and each slice is a 16 × 16 pixel. Are divided into M macroblocks constituted by luminance signals corresponding to, and each macroblock is sent to the quantization control circuit 7 and the arithmetic circuit 8 as a third video unit (transmission unit).
[0046]
The motion vector detection circuit 6 processes the image data of each frame as an I-picture, P-picture, or B-picture according to an image encoding type S3 synchronized with each frame of the image signal S2. That is, the image data of the frame processed as the I picture is stored from the motion vector detection circuit 6 in the past reference image memory (not shown) for storing the past reference image, and the image data of the frame processed as the B picture is Image data of a frame that is stored in a current image memory (not shown) that stores a current image and processed as a P-picture is stored in a future reference image memory (not shown) that stores a future reference image.
[0047]
Here, at the next timing, when a frame to be processed as a B-picture or P-picture is input to the motion vector detection circuit 6, the image data of the first P-picture stored in the future reference picture memory so far is past. Stored in the reference image memory. The image data of the next B picture is stored in the current image memory, and the image data of the next P picture is stored in the future reference image memory. Thereafter, such an operation is sequentially repeated.
[0048]
The motion vector detection circuit 6 sends the motion vector in the forward prediction and the motion vector estimation residual S5 at that time to the prediction mode determination circuit 5. Here, in the case of the B-picture, the motion vector detection circuit 6 sends out the motion vector in the backward prediction and the motion vector estimation residual at that time.
The prediction mode determination circuit 5 determines which prediction mode is selected from the intra mode, the forward prediction mode, the backward prediction mode, or the bidirectional prediction mode.
[0049]
Here, the intra mode is a process of transmitting image data of a frame to be encoded as transmission data as it is, and the forward prediction mode is a process of transmitting a prediction residual with a past reference image and a forward motion vector. It is. The backward prediction mode is a process of transmitting a prediction residual with a future reference image and a backward motion vector, and the bidirectional prediction mode is an average value of two predicted images of the past reference image and the future reference image. This is a process of transmitting the prediction residual and two motion vectors in the forward and backward directions. In the case of the B picture, these four types of prediction modes are switched in units of macroblocks.
[0050]
The prediction mode determination circuit 5 selects the intra mode in the case of the I picture and the intra mode or the forward prediction in the case of the P picture based on the image coding type S3 sent from the image coding rearrangement circuit 3. One of the prediction modes is selected, and in the case of the B-picture, the prediction mode is selected from among the intra mode, the forward prediction mode, the backward prediction mode, or the bidirectional prediction mode. S6 is sent to the arithmetic circuit 8.
[0051]
The arithmetic circuit 8 performs intra, forward prediction, backward prediction or bidirectional prediction on the macroblock S7 read from the scan converter 4 based on the prediction mode S6.
When image data to be processed as an I-picture is input as the macroblock S7, the arithmetic circuit 8 intra-codes the image data and sends it to a DCT (Discrete Cosine Transform) circuit 9. The DCT circuit 9 converts the intra-coded image data into DCT coefficients and sends them to the quantization circuit 10.
[0052]
The quantization circuit 10 quantizes each DCT coefficient at the quantization step designated by the quantization control circuit 7 and sends it to the variable length coding circuit 11 and the inverse quantization circuit 12.
The variable length coding circuit 11 converts the quantized image data, the prediction mode S6 sent from the prediction mode determination circuit 5 and the motion vector S5 sent from the motion vector detection circuit 6 into a variable length code such as a Huffman code. Then, the data is sent to the quantization control circuit 7 via the buffer 13 and output to the outside.
[0053]
The inverse quantization circuit 12 inversely quantizes the quantized image data according to the quantization step at the time of quantization, and sends it to the IDCT (inverse DCT) circuit 14. The IDCT circuit 14 performs inverse DCT processing on the output from the inverse quantization circuit 12. An output from the IDCT circuit 14 is stored in a past reference image storage unit (not shown) that stores a past reference image in the frame memory 16 via the calculator 15.
[0054]
Next, when image data to be processed as a P-picture is input from the scan converter 4 to the arithmetic circuit 8, and the prediction mode S6 sent from the prediction mode determination circuit 5 is the intra mode, the image data is the above-mentioned I-picture. In the same manner as above, the intra-coded signal is sent to the quantization control circuit 7 via the DCT circuit 9, the quantization circuit 10, the variable length coding circuit 11 and the buffer 13, and is also output to the outside. The data is stored in a future reference image storage unit (not shown) that stores the future reference image in the frame memory 16 via the IDCT circuit 14 and the arithmetic unit 15.
[0055]
When the prediction mode S6 is the forward prediction mode, the image data (in this case, I-picture image data) stored in the past reference image storage unit of the frame memory 16 is read and sent to the motion compensation circuit 17. The
The motion compensation circuit 17 performs motion compensation on this image data in accordance with the forward motion vector S5 sent from the motion vector detection circuit 6.
[0056]
That is, in the forward prediction mode, the motion compensation circuit 17 forwards the read address of the past reference image storage unit of the frame memory 16 from the position corresponding to the position of the macroblock currently output by the motion vector detection circuit 6. The prediction reference image is generated by reading the data shifted by the amount corresponding to the motion vector S5, and sent to the arithmetic circuit 8 and the arithmetic unit 15.
[0057]
The arithmetic circuit 8 subtracts the image data of the prediction reference image corresponding to the macro block transmitted from the motion compensation circuit 17 from the macro block data of the reference image transmitted from the scan converter 4 to obtain a difference as a prediction residual. Data is obtained and the difference data is sent to the DCT circuit 9. The difference data is sent to the quantization control circuit 7 via the DCT circuit 9, the quantization circuit 10, the variable length coding circuit 11, and the buffer 13, and is output to the outside. The difference data is locally decoded by the inverse quantization circuit 12 and the IDCT circuit 14 and sent to the computing unit 15.
[0058]
The computing unit 15 adds the image data of the predicted reference image sent from the motion compensation circuit 17 to the difference data sent from the IDCT circuit 14. As a result, locally decoded P-picture image data is obtained. The image data of the P picture is stored in a future reference image storage unit that stores a future reference image in the frame memory 16.
[0059]
Next, when image data of a frame to be processed as a B picture is input from the scan converter 4 to the arithmetic circuit 8 and the prediction mode S6 sent from the prediction mode determination circuit 5 is the intra mode or the forward prediction mode, The image data is processed in the same manner as in the case of the P picture described above. On the other hand, when the prediction mode S6 is set to the backward prediction mode, the image data (in this case, P-picture image data) stored in the future reference image storage unit of the frame memory 16 is read out. It is sent to the motion compensation circuit 17.
The motion compensation circuit 17 performs motion compensation on this image data in accordance with the backward motion vector S5 sent from the motion vector detection circuit 6.
[0060]
That is, in the backward prediction mode, the motion compensation circuit 17 sets the read address of the future reference image storage unit of the frame memory 16 from the position corresponding to the position of the macroblock currently output by the motion vector detection circuit 6. The prediction reference image is generated by reading the data shifted by the amount corresponding to S5 and sent to the arithmetic circuit 8 and the arithmetic unit 15.
[0061]
The arithmetic circuit 8 subtracts the image data of the prediction reference image corresponding to the macro block transmitted from the motion compensation circuit 17 from the macro block data of the reference image transmitted from the scan converter 4 to obtain a difference as a prediction residual. Data is obtained and the difference data is sent to the DCT circuit 9. The difference data is sent to the quantization control circuit 7 via the DCT circuit 9, the quantization circuit 10, the variable length coding circuit 11 and the buffer 13, and is sent to the outside. The difference data is locally decoded by the inverse quantization circuit 12 and the IDCT circuit 14 and sent to the computing unit 15.
The computing unit 15 adds the image data of the predicted reference image sent from the motion compensation circuit 17 to the difference data sent from the IDCT circuit 14. As a result, locally decoded B-picture image data is obtained.
[0062]
In the bidirectional prediction mode, image data stored in the past reference image storage unit of the frame memory 16 (in this case, I-picture image data) and image data stored in the future reference image storage unit (this (P-picture image data) is read out and sent to the motion compensation circuit 17.
The motion compensation circuit 17 performs motion compensation on this image data in accordance with the forward motion vector and the backward motion vector S5 sent from the motion vector detection circuit 6.
[0063]
That is, in the bidirectional prediction mode, the motion compensation circuit 17 sets the read addresses of the past reference image storage unit and the future reference image storage unit of the frame memory 16 to the position of the macro block currently output by the motion vector detection circuit 6. Data is read out from the corresponding position by an amount corresponding to the forward motion vector and the backward motion vector S5 to generate a predicted reference image, and is sent to the arithmetic circuit 8 and the arithmetic unit 15.
[0064]
The arithmetic circuit 8 subtracts the average value of the image data of the predicted reference image corresponding to the macro block transmitted from the motion compensation circuit 17 from the macro block data of the reference image transmitted from the scan converter 4 to predict the residual. And the difference data is sent to the DCT circuit 9. The difference data is sent to the quantization control circuit 7 via the DCT circuit 9, the quantization circuit 10, the variable length coding circuit 11, and the buffer 13, and is output to the outside. The difference data is locally decoded by the inverse quantization circuit 12 and the IDCT circuit 14 and sent to the computing unit 15.
[0065]
The computing unit 15 adds the image data of the predicted reference image sent from the motion compensation circuit 17 to the difference data sent from the IDCT circuit 14. As a result, locally decoded B-picture image data is obtained. Here, since the B picture is not used as a predicted image of another image, it is not stored in the frame memory 16.
[0066]
(2-1) Configuration of quantization control unit
Here, the configuration of the quantization control unit 7 in the video signal encoding device 1 will be described. As shown in FIG. 2, the quantization control unit 7 stores a program corresponding to a quantization control algorithm described below in a ROM (Read Only Memory) 7A as a recording medium, and the CPU 7B performs this quantization control. According to the algorithm, a quantization step MQUANT used when quantizing each macroblock in the quantization circuit 10 is calculated using a RAM (Random Access Memory) 7C as a work area, and the quantization step MQUANT is calculated. 10 to send.
[0067]
The quantization control algorithm in the quantization control unit 7 will be described with reference to the flowcharts shown in FIGS.
Here, the video signal encoding apparatus 1 employs a variable rate encoding method as an encoding method. Before starting the quantization control algorithm, first, the digital video signal S1 is encoded by a fixed quantization step. The allocated code amount T for each frame based on the generated code amount generated _i And the allocated code amount T for each frame _i Are stored in the RAM 7C of the quantization control unit 7.
[0068]
In practice, the quantization control unit 7 sends a fixed quantization step QS to the quantization circuit 10. The quantization circuit 10 quantizes the DCT coefficient output from the DCT circuit 9 based on the quantization step QS designated by the quantization control unit 7 and sends it to the variable length coding circuit 11. The variable length coding circuit 11 performs variable length coding on the output from the quantization circuit 10 and sends the coding result to the quantization control unit 7. The quantization control unit 7 calculates the generated code amount actually generated for each frame based on the output from the variable length encoding circuit 11, and assigns the allocated code amount T for each frame based on the generated code amount. _i Is calculated and stored in the RAM 7C.
[0069]
The CPU 7B starts the quantization control algorithm from step SP1, and in step SP2, the quantization step qI for the first macroblock of the first I-picture in the coding order in the first GOP in the digital video signal S1. _PREV Set the initial value of to "10". Also, the quantization step qP for the first macroblock of the first P picture in the coding order in the first GOP _PREV Let k be the reference quantization step Q (first quantization step) for the last macroblock in the I-picture. _P (K _P = 1.0), and the quantization step qB for the first macroblock of the first B picture in the coding order in the first GOP _PREV As k in the reference quantization step Q for the last macroblock in the I-picture. _B (K _B = A value multiplied by 1.0) is set. Where K _P = 1.0, K _B = 1.4, which represents the degree of roughness for the I-picture as in the case of the test model described above.
[0070]
Here, in practice, since the quantization control is performed for each picture in the coding order, the quantization for the first macroblock in the first P picture and the B picture in the coding order in the first GOP in step SP2. Step qB _PREV And qP _PREV Is set after the quantization control for the I-picture is completed.
[0071]
Also, the quantization step qI for the first macroblock in the first I picture in the encoding order in the GOP after the first GOP in the digital video signal S1. _PREV As a reference quantization step Q for the last macroblock of the last I-picture in the previous GOP. Therefore, the quantization step qP for the first macroblock in the first P-picture and B-picture in the GOP after the first GOP in the coding order. _PREV And qI _PREV Is the quantization step qI for the last macroblock of the I-picture in the GOP being encoded. _PREV Each with K _P And K _B The one multiplied by is used.
[0072]
Subsequently, in step SP3, the CPU 7B sets the counter curr_GOP to the first GOP, and then in step SP4, the allocated code amount T of each frame corresponding to GOPcurr_GOP to be encoded. _i Are sequentially read from the RAM 7C, and the average bit rate curr_br per frame in the GOP curr_GOP to be encoded is defined as the average encoded data rate as follows:
[Expression 27]

Calculate using. Here, since the video signal encoding apparatus 1 employs a variable rate encoding method, the average bit rate Curr_br calculated in step SP4 changes for each GOP.
[0073]
The calculation process of the average bit rate Curr_br will be described using the flowchart shown in FIG.
The CPU 7B starts the calculation process of the average bit rate Curr_br from the step SP20, initializes the counter value k of the counter that counts the number of frames at the step SP21, and assigns the code amount allocated to each frame in the GOPcurr_GOP to be encoded. T _i After initializing the cumulative value sum of the arithmetic unit that calculates the cumulative value of, the allocated code amount T of the kth frame in the GOPcurr_GOP to be encoded in step SP22 _k Is added to the cumulative value sum of the calculator.
[0074]
Subsequently, in step SP23, the CPU 7B compares the count value k of the counter with the number of frames N in GOPcurr_GOP to be encoded, and determines that the count value k of the counter does not match the number of frames N. , Allocated code amount T for all frames in the GOPcurr_GOP _i Is not accumulated in the accumulated value sum, the process proceeds to step SP24, the count value k of the counter is incremented, and the process proceeds to step SP22.
[0075]
That is, the CPU 7B assigns the allocated code amount T of all frames in the GOPcurr_GOP to be encoded. _i The processing loop from step SP22 to step SP24 is executed until the cumulative value sum of is obtained. If the CPU 7B obtains a positive result in step SP23, it proceeds to step SP25, calculates the average bit rate Curr_br per frame in the GOPcurr_GOP to be encoded based on the accumulated value sum and the picture rate Picture_rate, and averages it in step SP26. The calculation processing of bit rate Curr_br is terminated, and the process proceeds to step SP5 of the main routine.
[0076]
In step SP5, the CPU 7B calculates the following equation based on the average bit rate Curr_br and the picture rate Picture_rate.
[Expression 28]

Is used to calculate the first parameter r. That is, the CPU 7B calculates the first parameter r represented by the ratio of the average bit rate Curr_br (average encoded data rate) to the picture rate Picture_rate. Here, since the average bit rate Curr_br calculated in step SP4 changes for each GOP, the first parameter r also changes for each GOP in conjunction with this.
[0077]
Next, in step SP6, the CPU 7B determines the quantization step qI of the last macroblock in the last frame of each picture type in the GOP immediately preceding the GOPcurr_GOP to be encoded. _PREV , QP _PREV Or qB _PREV (Ie, a reference quantization step Q to be described later) and the first parameter r calculated in step SP5,
[Expression 29]

[30]

[31]

, And a reference quantization step Q for the macroblock j to be encoded _j Of virtual buffer dI for each picture type used to calculate ₀ , DP ₀ And dB ₀ Is calculated as a third parameter.
[0078]
Here, the conventional test model can use the learning effect because the first parameter r is fixed (that is, the bit rate is fixed), but in the present invention, the bit rate changes for each GOP. Therefore, since the first parameter r also changes for each GOP, the learning effect cannot be obtained as it is. Therefore, in the present invention, the virtual buffer fullness is calculated for each GOP as the first parameter r changes.
[0079]
In addition, the fullness dI of the virtual buffer for the I picture used in calculating the reference quantization step Q for the first macroblock of the I picture that is the first picture in the coding order in the first GOP. ₀ Quantization step qI required to calculate _PREV (Step SP6) is "10".
[0080]
Next, in step SP7, the CPU 7B sets the frame Curr_frame to be encoded as the first frame in the GOPcurr_GOP to be encoded, and then initializes the frame counter j in step SP8. Subsequently, in step SP9, the CPU 7B
[Expression 32]

, The virtual buffer fullness d * for the frame Curr_frame to be encoded _j Is calculated as the second parameter.
[0081]
Here, the CPU 7B determines d * in the equation (32). ₀ As shown below, the virtual buffer fullness dI calculated in step SP6 according to each picture type ₀ , DP ₀ Or dB ₀ Is used as the initial value. Therefore, the virtual buffer fullness dI calculated in step SP6. ₀ , DP ₀ Or dB ₀ The first parameter r varies from GOP to GOP and, as will be described later, the quantization step qI _PREV , QP _PREV And qB _PREV Fluctuates from GOP to GOP, so the virtual buffer fullness d * ₀ (Ie the third parameter dI ₀ , DP ₀ And dB ₀ ) Is updated for each GOP.
[0082]
Where B _j-1 Represents the total amount of generated codes actually generated from the first macroblock to the (j−1) th macroblock in the frame Curr_frame to be encoded, T _curr _ _frame Represents the allocated code amount T of the frame Curr_frame to be encoded. Therefore d * _j Is the reference quantization step Q for the jth macroblock of the frame to be encoded. _j This represents the degree of fullness of the virtual buffer used when calculating. Furthermore, MB_cnt represents the number of macroblocks in the frame to be encoded.
[0083]
That is, the CPU 7B determines the virtual buffer fullness d * as the third parameter for each picture type calculated in step SP6. ₀ (Ie dI ₀ , DP ₀ Or dB ₀ ) As an initial value, the generated code amount B actually generated up to the (j−1) th macroblock is set as the third parameter. _i-1 And the allocated code amount T of the frame Curr_frame to be encoded _curr _ _frame Is the total of (j−1) × T assumed allocation code amounts up to the j−1th when it is assumed that the frame is uniformly allocated to each macro block of the frame Curr_frame to be encoded. _curr _ _frame / MB_cnt), which reflects the difference (difference for each macroblock), the reference quantization step Q for the macroblock j to be encoded _j Degree of virtual buffer d * used when calculating _j (DI _j , DP _j Or dB _j ) As the second parameter. As a result, the degree of fullness d * of the virtual buffer as the second parameter is set so that the first parameter r calculated in step SP5 does not change in GOPCurr_GOP to be encoded. _j Has been made to control.
[0084]
Next, in step SP10, the CPU 7B determines the capacity d * of the virtual buffer as the first parameter r and the second parameter. _j Based on
[Expression 33]

And the reference quantization step Q of the macroblock j to be encoded _j Is calculated, and in step SP11, the quantization step q * in step SP6 is calculated. _prev (QI _prev , QP _prev Or qB _prev ) For the reference quantization step Q _j Update to
[0085]
Therefore, when the reference quantization step Q is calculated for all macroblocks for all frames in the GOP to be encoded, the reference quantization step Q for the last macroblock in the last picture of each picture type in the GOP is calculated. Is the quantization step qI for the first macroblock of each picture type in the next GOP _prev , QP _prev And qB _prev (Step SP6), so that in the next GOP, the filling degree d * of the virtual buffer as the second parameter used when calculating the reference quantization step Q for each macroblock for each picture type _j Of virtual buffer dI as a third parameter used when calculating ₀ , DP ₀ And dB ₀ (Initial value) is updated. Thus, the continuity of the reference quantization step Q can be maintained even if the first parameter r changes for each GOP.
[0086]
Subsequently, in step SP12, the CPU 7B performs the same process as the third step in the above-described test model, whereby the quantization step MQUANT for the macroblock j is performed. _j Is calculated as a second quantization step. That is, the CPU 7B first divides the macro block j into four sub blocks (luminance blocks) sblk, and then, for each of the four sub blocks sblk, each pixel value P in the sub block sblk. _m And the following formula
[Expression 34]

Each pixel value P in the sub-block sblk calculated using _m Average value P _ave Is calculated for all pixels (64 pixels) in the sub-block sblk, and the calculation result (P _m -P _ave ) ² The total of the activity in the subblock sblk var _sblk As
[Expression 35]

Is calculated using the following formula:
[Expression 36]

The minimum activity var of the four sub-blocks sblk _sblk Subblock sblk activity with var _sblk Act on Macroblock j act _j Calculate as
[0087]
Next, the CPU 7B performs an activity act on the macroblock j. _j The following formula
[Expression 37]

Followed by normalization using the normalized coefficient N_act _j And the reference quantization step Q calculated in step SP11. _j And based on
[Formula 38]

, The final quantization step for macroblock j MQUANT _j Is calculated.
[0088]
Subsequently, in step SP13, the CPU 7B determines whether or not the macro block j to be encoded is the last macro block in the frame Curr_frame to be encoded, and when a negative result is obtained, the process proceeds to step SP14. The frame counter j is incremented, and the processing from step SP9 to step SP12 is executed. That is, the CPU 7B executes a processing loop from step SP9 to step SP14 until a positive result is obtained at step SP13, that is, until the quantization step MQUANT is calculated for all macroblocks of the frame Curr_frame to be encoded.
[0089]
When the CPU 7B obtains a positive result in step SP13, the CPU 7B proceeds to step SP15, determines whether or not the frame Curr_frame to be encoded is the last frame in GOPCurr_GOP to be encoded, and obtains a negative result. In some cases, the process proceeds to step SP16 to set the processing target to the next frame, and the processing from step SP8 to step SP13 is executed. That is, the CPU 7B executes the processing loop from step SP8 to step SP16 until it obtains a positive result at step SP15, that is, until it calculates the quantization step MQUANT for all macroblocks in all frames in the GOPCurr_GOP to be encoded. Execute.
[0090]
If the CPU 7B obtains an affirmative result at step SP15, it proceeds to step SP17 to determine whether or not GOPCurr_GOP to be encoded is the last GOP in the digital video signal S1. Proceeding to SP18, the processing target is set to the next GOP, and the processing from step SP4 to step SP17 is executed. That is, until the CPU 7B obtains a positive result in step SP17, that is, until it calculates the quantization step MQUANT for all macroblocks in all frames in all GOPs in the digital video signal S1 to be encoded, step SP4. To the process SP18 is executed.
If the CPU 7B obtains a positive result at step SP17, it ends the quantization control algorithm at step SP19.
[0091]
The quantization control unit 7 sends the quantization step MQUANT calculated for each macro block to the quantization circuit 11 according to the above-described quantization control algorithm. The quantization circuit 11 outputs the DCT coefficient output from the DCT circuit 9. Is quantized based on the quantization step MQUANT designated by the quantization control unit 7.
Thus, the video signal encoding apparatus 1 can perform quantization control even in the variable rate encoding method.
[0092]
(2-2) Operation and effect of the embodiment
In the above configuration, the video signal encoding apparatus 1 calculates the average encoded data rate curr_br per frame in the GOP for each GOP, and uses the average encoded data rate curr_br for the first parameter for each GOP. Since r is calculated, the first parameter r can be changed according to the encoded data rate curr_br in each GOP.
[0093]
The video signal encoding apparatus 1 also includes a virtual buffer fullness dI as a third parameter used when calculating the quantization step Q for each frame for each picture type in the GOP. _o , DP _o And dB _o Is updated using the reference quantization step Q for the last macroblock in the last frame of each picture type in the GOP in the GOP immediately before the GOP to be encoded. Even if the parameter r of 1 changes, the continuity of the reference quantization step Q between the GOPs can be maintained.
[0094]
According to the above configuration, the average encoded data rate curr_br per frame in the GOP is calculated for each GOP, and the first parameter r is calculated for each GOP using the average encoded data rate curr_br. In the GOP immediately preceding the target GOP, the reference quantization step Q for the last macroblock in the last frame of each picture type in the encoding order and the first parameter r calculated for the GOP to be encoded Based on the virtual buffer fullness dI used to calculate the quantization step Q for each macroblock in each frame for each picture type. _o , DP _o And dB _o As the third parameter, and the virtual buffer fullness dI _o , DP _o And dB _o Further, the sum of the generated code amounts actually generated up to the macro block immediately before the macro block j to be encoded and the assumed allocation code to the macro block immediately before the macro block j to be encoded A virtual buffer fullness dI as a second parameter for each picture type that reflects the difference from the total amount _j , DP _j And dB _j And the degree of fullness dI of the virtual buffer _j , DP _j Or dB _j And a reference quantization step Q for each macroblock in each frame of each picture type based on the first parameter r calculated for the GOP to be encoded, and the complexity of the image for each reference quantization step Q By calculating the quantization step MQUANT considering the intensity of sheath movement, the first parameter r can be changed according to the average encoded data rate curr_br in each GOP, and the first parameter for each GOP. Even if r changes, the continuity of the reference quantization step Q between the GOPs can be maintained.
Thus, it is possible to realize a video signal encoding method and a video signal encoding apparatus capable of performing quantization control that can support a variable rate encoding method. Further, by recording a quantization algorithm as shown in FIG. 3 on a recording medium (ROM 7A) as a program, a video signal encoding device capable of performing quantization control compatible with a variable rate encoding method is realized. Can do.
[0095]
(3) Third embodiment
In the above-described embodiment, the allocated code amount T for each frame based on the generated code amount generated by encoding the digital video signal S1 based on the fixed quantization step. _i And the allocated code amount T for each frame _i Is stored in the RAM 7C of the quantization controller 7, but the present invention is not limited to this. For each GOP, the digital video signal S1 is encoded by a fixed quantization step. May be determined, and the allocated code amount for each GOP may be stored in the RAM 7C of the quantization control unit 7. In this case, the R (remaining code amount given to the GOP) in the first step in the above time model is changed for each GOP, and the allocated code amount is assigned to each frame in the same process as in the first step. After that, the quantization control algorithm of the present invention is applied.
[0096]
In the above-described embodiment, the allocated code amount T for each frame determined based on the generated code amount generated by encoding the digital video signal S1 based on the fixed quantization step. _i Was previously stored in the RAM 7C of the quantization control unit 7, but the present invention is not limited to this, and is based on the generated code amount generated by encoding the digital video signal S1 in a fixed quantization step. Code amount T for each frame _i May be programmed as the first processing step of the quantization algorithm shown in FIG.
[0097]
Further, in the above-described embodiment, the case where the average encoded data rate is calculated using GOP as the first video unit has been described. However, the present invention is not limited to this, and as shown in FIG. The average bit rate may be calculated by sliding the frames one by one including the frames. In this case, a predetermined number of frames including the frame to be encoded may be slid. Also, the average bit rate may be calculated in video units larger than GOP, for example, 2 GOP units, or the average bit rate may be calculated in units smaller than GOP. FIG. 5 shows an example when N = 6.
[0098]
Further, in the above-described embodiment, in the video signal encoding apparatus 1, the allocated code amount T for each frame is based on the generated code amount generated when the digital video signal S1 is encoded in a fixed quantization step. _i And the allocated code amount T for each frame _i Is stored in the RAM 7C of the quantization control unit 7, but the present invention is not limited to this, and the allocated code amount for each frame is calculated by using another video signal encoding device, and for each frame. May be sent to the quantization control unit 7 and stored in the RAM 7C.
[0099]
Further, in the above-described embodiment, the case where the quantization control algorithm shown in FIG. 3 is realized using the ROM 7A as a program has been described. However, the present invention is not limited to this, and the quantization control algorithm shown in FIG. May be realized as hardware.
[0100]
【The invention's effect】
As described above, according to the present invention, the average encoded data rate per picture in the GOP is calculated based on the allocated code amount for each GOP or picture, and is expressed as a ratio of the average encoded data rate to the picture rate. 1 parameter is calculated for each GOP, and the last block in the last picture of the same picture type as the current coding control picture in the coding order in the GOP one temporally before the GOP to be coded. A virtual buffer used to calculate the quantization step for each block in each picture for each image type based on the first quantization step for GOP and the first parameter for the GOP to be encoded. Is calculated as the third parameter, and the block before the block to be encoded is calculated. The degree of fullness of the virtual buffer reflecting the difference between the assigned code amount and the generated code amount for the third parameter is calculated as the second parameter, and based on the first parameter and the second parameter By calculating the first quantization step for the block to be encoded, the first parameter can be changed according to the average encoded data rate in each GOP. Thus, it is possible to realize a video signal encoding method and a video signal encoding apparatus capable of performing quantization control that can support a variable rate encoding method.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the overall configuration of a video signal encoding apparatus to which the present invention is applied.
FIG. 2 is a block diagram showing a configuration of a quantization control unit.
FIG. 3 is a flowchart for explaining a quantization algorithm in a quantization control unit;
FIG. 4 is a flowchart for explaining the processing procedure of the average bit rate calculation processing.
FIG. 5 is a schematic diagram for explaining a method of calculating an average bit rate according to another embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Video signal encoding device, 2 ... Image encoding type designation circuit, 3 ... Image encoding order rearrangement circuit, 4 ... Scan converter, 5 ... Prediction mode determination circuit, 6 ... Motion vector detection Circuit: 7: Quantization control circuit, 7A: ROM, 7B: CPU, 7C: RAM, 8: Arithmetic circuit, 9: DCT circuit, 10: Quantization circuit, 11: Variable length code , 12... Inverse quantization circuit, 13... Buffer, 14... IDCT circuit, 15... Arithmetic unit, 16.

Claims (12)

In a video signal encoding method for encoding a digital video signal,
Assigned code amount for each GOP or each picture generated based on a GOP (Group of Pictures) or a generated code amount for each picture obtained by encoding the digital video signal based on a fixed quantization step An average encoded data rate calculating step for calculating an average encoded data rate per picture in the GOP, based on
A first parameter calculation step for calculating, for each GOP, a first parameter expressed by a ratio of the average encoded data rate to a picture rate;
In GOP before one temporally than the GOP is an encoding target, the first quantization step and codes for the last block in the last picture of the same picture type as the current encoding target picture in the coding order Based on the first parameter for the GOP to be converted, the third parameter is the degree of fullness of the virtual buffer used when calculating the quantization step for each block in each picture for each image type. The degree of fullness of the virtual buffer, which is calculated and reflects the difference between the allocated code amount and the generated code amount up to the block immediately preceding the block to be encoded in the third parameter, is set as the second parameter. A second parameter calculating step to calculate as
A first quantization step calculating step for calculating the first quantization step for the block to be encoded based on the first parameter and the second parameter ;
A quantization processing step for generating quantized data by quantizing the digital video signal using the first quantization step calculated in the first quantization step calculating step;
A video signal encoding method comprising: an encoding step for encoding the quantized data . The allocated code amount for each picture is calculated by calculating the allocated code amount for each GOP based on the generated code amount generated by encoding the digital video signal based on a fixed quantization step. The video signal encoding method according to claim 1, wherein the video signal encoding method is determined based on an allocated code amount. The activity for the block is calculated based on the pixel value in each luminance block of the block to be encoded, and the block is based on the activity and the first quantization step for the block to be encoded. A second quantization step calculating step for calculating a second quantization step for
The quantization processing step generates the quantized data by quantizing the digital video signal using the second quantization step calculated in the second quantization step calculating step. The video signal encoding method according to claim 1. In a video signal encoding method for encoding a digital video signal,
Assigned code of the predetermined number of pictures generated based on the generated code amount of the predetermined number of pictures including the picture to be encoded obtained by encoding the digital video signal based on a fixed quantization step An average encoded data rate calculating step for calculating an average encoded data rate per picture for the predetermined number of pictures based on a quantity;
A first parameter calculating step for calculating a first parameter expressed by a ratio of the average encoded data rate to a picture rate for each GOP (Group of Pictures);
In GOP before one temporally than the GOP is an encoding target, the first quantization step and codes for the last block in the last picture of the same picture type as the current encoding target picture in the coding order Based on the first parameter for the GOP to be converted, the third parameter is the degree of fullness of the virtual buffer used when calculating the quantization step for each block in each picture for each image type. The degree of fullness of the virtual buffer, which is calculated and reflects the difference between the allocated code amount and the generated code amount up to the block immediately preceding the block to be encoded in the third parameter, is set as the second parameter. A second parameter calculating step to calculate as
A first quantization step calculating step for calculating the first quantization step for the block to be encoded based on the first parameter and the second parameter ;
A quantization processing step for generating quantized data by quantizing the digital video signal using the first quantization step calculated in the first quantization step calculating step;
A video signal encoding method comprising: an encoding step for encoding the quantized data . In a video signal encoding method for encoding a digital video signal,
A generated code amount calculating step for calculating a generated code amount for each GOP (Group of Pictures) or picture by encoding the digital video signal based on a fixed quantization step;
An allocated code amount calculation step for calculating an allocated code amount for each GOP or the picture based on the generated code amount calculated in the generated code amount calculation step;
An average encoded data rate calculating step for calculating an average encoded data rate per picture in the GOP based on the allocated code amount calculated in the allocated code amount calculating step;
A first parameter calculation step for calculating, for each GOP, a first parameter expressed by a ratio of the average encoded data rate to a picture rate;
In GOP before one temporally than the GOP is an encoding target, the first quantization step and codes for the last block in the last picture of the same picture type as the current encoding target picture in the coding order Based on the first parameter for the GOP to be converted, the third parameter is the degree of fullness of the virtual buffer used when calculating the quantization step for each block in each picture for each image type. The degree of fullness of the virtual buffer, which is calculated and reflects the difference between the allocated code amount and the generated code amount up to the block immediately preceding the block to be encoded in the third parameter, is set as the second parameter. A second parameter calculating step to calculate as
A first quantization step calculating step for calculating the first quantization step for the block to be encoded based on the first parameter and the second parameter;
A quantization processing step for generating quantized data by quantizing the digital video signal using the first quantization step calculated in the first quantization step calculating step;
A video signal encoding method comprising: an encoding step for encoding the quantized data. In a video signal encoding method for encoding a digital video signal,
A generated code amount calculating step for calculating a generated code amount of a predetermined number of pictures including a picture to be encoded by encoding the digital video signal based on a fixed quantization step;
An allocation code amount calculation step for calculating an allocation code amount of the predetermined number of pictures based on the generated code amount calculated in the generated code amount calculation step;
An average encoded data rate calculating step for calculating an average encoded data rate per picture in the predetermined number of pictures based on the assigned code quantity calculated in the allocated code quantity calculating step;
A first parameter calculating step for calculating a first parameter expressed by a ratio of the average encoded data rate to a picture rate for each GOP (Group of Pictures);
In GOP before one temporally than the GOP is an encoding target, the first quantization step and codes for the last block in the last picture of the same picture type as the current encoding target picture in the coding order Based on the first parameter for the GOP to be converted, the third parameter is the degree of fullness of the virtual buffer used when calculating the quantization step for each block in each picture for each image type. The degree of fullness of the virtual buffer, which is calculated and reflects the difference between the allocated code amount and the generated code amount up to the block immediately preceding the block to be encoded in the third parameter, is set as the second parameter. A second parameter calculating step to calculate as
A first quantization step calculating step for calculating the first quantization step for the block to be encoded based on the first parameter and the second parameter;
A quantization processing step for generating quantized data by quantizing the digital video signal using the first quantization step calculated in the first quantization step calculating step;
A video signal encoding method comprising: an encoding step for encoding the quantized data. In a video signal encoding device for encoding a digital video signal,
Assigned code amount for each GOP or each picture generated based on a GOP (Group of Pictures) or a generated code amount for each picture obtained by encoding the digital video signal based on a fixed quantization step An average encoded data rate calculating means for calculating an average encoded data rate per picture in the GOP,
First parameter calculating means for calculating, for each GOP, a first parameter expressed by a ratio of the average encoded data rate to a picture rate;
In GOP before one temporally than the GOP is an encoding target, the first quantization step and codes for the last block in the last picture of the same picture type as the current encoding target picture in the coding order Based on the first parameter for the GOP to be converted, the third parameter is the degree of fullness of the virtual buffer used when calculating the quantization step for each block in each picture for each image type. The degree of fullness of the virtual buffer, which is calculated and reflects the difference between the allocated code amount and the generated code amount up to the block immediately preceding the block to be encoded in the third parameter, is set as the second parameter. Second parameter calculation means for calculating
First quantization step calculating means for calculating the first quantization step for the block to be encoded based on the first parameter and the second parameter ;
Quantization means for quantizing the digital video signal using the first quantization step calculated by the first quantization step calculation means to generate quantized data;
A video signal encoding apparatus comprising encoding means for encoding the quantized data . The allocated code amount for each picture is calculated by calculating the allocated code amount for each GOP based on the generated code amount generated by encoding the digital video signal based on a fixed quantization step. The video signal encoding apparatus according to claim 7, wherein the video signal encoding apparatus is determined based on an allocated code amount. The activity for the block is calculated based on the pixel value in each luminance block of the block to be encoded, and the block is based on the activity and the first quantization step for the block to be encoded. Comprising a second quantization step calculating means for calculating a second quantization step for
The quantization means quantizes the digital video signal using the second quantization step calculated by the second quantization step calculation means to generate the quantized data. Item 8. The video signal encoding device according to Item 7. In a video signal encoding device for encoding a digital video signal,
Assigned code of the predetermined number of pictures generated based on the generated code amount of the predetermined number of pictures including the picture to be encoded obtained by encoding the digital video signal based on a fixed quantization step An average encoded data rate calculating means for calculating an average encoded data rate per picture in the predetermined number of pictures based on a quantity;
First parameter calculation means for calculating a first parameter expressed by a ratio of the average encoded data rate to a picture rate for each GOP (Group of Pictures);
In GOP before one temporally than the GOP is an encoding target, the first quantization step and codes for the last block in the last picture of the same picture type as the current encoding target picture in the coding order Based on the first parameter for the GOP to be converted, the third parameter is the degree of fullness of the virtual buffer used when calculating the quantization step for each block in each picture for each image type. The degree of fullness of the virtual buffer, which is calculated and reflects the difference between the allocated code amount and the generated code amount up to the block immediately preceding the block to be encoded in the third parameter, is set as the second parameter. Second parameter calculation means for calculating
First quantization step calculating means for calculating the first quantization step for the block to be encoded based on the first parameter and the second parameter ;
Quantization means for quantizing the digital video signal using the first quantization step calculated by the first quantization step calculation means to generate quantized data;
A video signal encoding apparatus comprising encoding means for encoding the quantized data . In a video signal encoding device for encoding a digital video signal,
A generated code amount calculating means for calculating a generated code amount for each GOP (Group of Pictures) or picture by encoding the digital video signal based on a fixed quantization step;
An allocated code amount calculating means for calculating an allocated code amount for each GOP or the picture based on the generated code amount calculated by the generated code amount calculating means;
Average encoded data rate calculating means for calculating an average encoded data rate per picture in the GOP based on the allocated code amount calculated by the allocated code amount calculating means;
First parameter calculating means for calculating, for each GOP, a first parameter expressed by a ratio of the average encoded data rate to a picture rate;
In GOP before one temporally than the GOP is an encoding target, the first quantization step and codes for the last block in the last picture of the same picture type as the current encoding target picture in the coding order Based on the first parameter for the GOP to be converted, the third parameter is the degree of fullness of the virtual buffer used when calculating the quantization step for each block in each picture for each image type. The degree of fullness of the virtual buffer, which is calculated and reflects the difference between the allocated code amount and the generated code amount up to the block immediately preceding the block to be encoded in the third parameter, is set as the second parameter. Second parameter calculation means for calculating
First quantization step calculating means for calculating the first quantization step for the block to be encoded based on the first parameter and the second parameter;
Quantization means for quantizing the digital video signal using the first quantization step calculated by the first quantization step calculation means to generate quantized data;
A video signal encoding apparatus comprising: encoding means for encoding the quantized data. In a video signal encoding device for encoding a digital video signal,
A generated code amount calculating means for calculating a generated code amount of a predetermined number of pictures including a picture to be encoded by encoding the digital video signal based on a fixed quantization step;
Allocation code amount calculation means for calculating an allocation code amount of the predetermined number of pictures based on the generated code amount calculated by the generated code amount calculation means;
Average encoded data rate calculating means for calculating an average encoded data rate per picture in the predetermined number of pictures based on the assigned code quantity calculated by the allocated code quantity calculating means;
First parameter calculation means for calculating a first parameter expressed by a ratio of the average encoded data rate to a picture rate for each GOP (Group of Pictures);
In GOP before one temporally than the GOP is an encoding target, the first quantization step and codes for the last block in the last picture of the same picture type as the current encoding target picture in the coding order Based on the first parameter for the GOP to be converted, the third parameter is the degree of fullness of the virtual buffer used when calculating the quantization step for each block in each picture for each image type. The degree of fullness of the virtual buffer, which is calculated and reflects the difference between the allocated code amount and the generated code amount up to the block immediately preceding the block to be encoded in the third parameter, is set as the second parameter. Second parameter calculation means for calculating
First quantization step calculating means for calculating the first quantization step for the block to be encoded based on the first parameter and the second parameter;
Quantization means for quantizing the digital video signal using the first quantization step calculated by the first quantization step calculation means to generate quantized data;
A video signal encoding apparatus comprising: encoding means for encoding the quantized data.

Images