JPWO2009035143A1 - 画像処理装置及び方法 - Google Patents

Abstract

一の量子化スケールで計算した符号量から目標符号量を予測する。本発明は、固定量子化スケール（ＱＩ）においてＭＢ発生符号量が相違する複数の予測用量子化データについて、複数の量子化ステップを表す複数の量子化スケール（Ｑ）とＭＢ発生符号量との関係を表す関係情報を予測曲線として記憶している。本発明は、予め定められた複数の量子化スケール（Ｑ）のうち、マクロブロックごとに、一の固定量子化スケール（ＱＩ）で画像データを量子化して仮の量子化データを生成し、当該仮の量子化データのマクロブロック単位ごとのＭＢ発生符号量を算出する。そして本発明は、仮の量子化データのＭＢ発生符号量及び固定量子化スケール（ＱＩ）に基づいて複数の予測曲線から一の予測用量子化データを選択し、選択された一の予測用量子化データに基づいて、量子化選択部によって選択されなかった量子化スケール（Ｑ）によって画像データを量子化したときのＭＢ発生符号量を予測する。

Description

本発明は、画像処理装置及び方法に係り、特に固定の量子化スケールで計算した発生符号量から精度よく目標符号量を予測する技術分野に関する。

従来、ＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）等の画像符号化方式において、符号量を理想的に配分することは、主観的な画質を維持するための大きな課題である。
例えば、静止画における理想的な符号量配分とは、歪を均一とした状態（固定的な量子化スケール）で符号化した状態である。この歪が大きくなるような符号量になると、高周波成分や複雑部に歪を偏らせることと併せて、主観的な画質を高めることができる。
ここで、例えば特許文献１では、所謂フィードフォワード方式の符号量制御を採用し画質信号の局所的性質に適応した制御を可能とすることによって、復号画像の画質を向上できる画質信号の符号化方法が開示されている。フィードフォワード方式とは、等長化単位において発生する符号量を、複数の量子化スケールに基づく量子化ステップについて予め計算し、発生符号量が目標符号量を超えない範囲で、予め適切な量子化スケールを決定するものである。
一方、ＭＰＥＧ−２でテストモデルとして提案されているＴＭ５等の符号量制御では、仮想バッファの残量と以前エンコードした際の量子化ステップと発生符号量の関係を用いてフィードバック制御することによって、符号量制御を行っている。
国際公開第ＷＯ９６／２８９３７号公報。

しかしながら、静止画に係る上記従来技術では、目標の符号量に近い画面全体で均一となる平均的な量子化ステップを見つける為には、複数回、異なる量子化ステップで符号量を計算して予測する必要があり、演算するための回路に係るコストは大きくなる。

そこで、本発明は、固定の量子化ステップで計算した発生符号量から当該固定の量子化ステップ以外の量子化ステップにおける発生符号量を予測することで、発生符号量を予測する処理を簡易にし、結果として演算を行うための回路を削減することを課題とする。
量子化選択部によって選択された量子化ステップで画像データを量子化して仮の量子化データを生成し、当該仮の量子化データの量子化単位ごとの発生符号量である量子化単位発生符号量を算出する仮符号化部と、量子化選択部によって選択された量子化ステップにおいて量子化単位発生符号量が相違する複数の予測用量子化データについて、複数の量子化ステップと量子化単位発生符号量との関係を表す関係情報を記憶する記憶部と、仮の量子化データの量子化単位発生符号量及び量子化選択部によって選択された量子化ステップに基づいて関係情報から予測用量子化データを選択するデータ選択部と、データ選択部によって選択された予測用量子化データに基づいて、複数の量子化ステップのうち、量子化選択部によって選択されなかった量子化ステップによって画像データを量子化したときの量子化単位発生符号量を予測する符号量予測部とを設けるようにした。
従って、量子化選択部によって選択された量子化ステップで計算した発生符号量から量子化選択部によって選択されなかった量子化ステップにおける発生符号量を予測できる。
複数の量子化ステップのうち、量子化単位ごとに量子化ステップを選択する量子化選択ステップと、選択ステップにおいて選択された量子化ステップで画像データを量子化して仮の量子化データを生成し、当該仮の量子化データの量子化単位ごとの発生符号量である量子化単位発生符号量を算出する仮符号化ステップと、量子化選択ステップで選択された量子化ステップにおいて量子化単位発生符号量が相違する複数の予測用量子化データについて、複数の量子化ステップと量子化単位発生符号量との関係を表す関係情報を記憶する記憶ステップと、仮の量子化データの量子化単位発生符号量及び量子化選択ステップで選択された量子化ステップに基づいて、関係情報から予測用量子化データを選択するデータ選択ステップと、量子化選択ステップにおいて選択された予測用量子化データに基づいて、複数の量子化ステップのうち、量子化選択部によって選択されなかった量子化ステップによって画像データを量子化したときの量子化単位発生符号量を予測する符号量予測ステップとを設けるようにした。
従って、量子化選択部によって選択された量子化ステップで計算した発生符号量から量子化選択部によって選択されなかった量子化ステップにおける発生符号量を予測できる。
本発明によれば、従って、量子化選択部によって選択された量子化ステップで計算した発生符号量から量子化選択部によって選択されなかった量子化ステップにおける発生符号量を予測でき、簡易な処理で異なる量子化ステップにおける発生符号量を予測し得る画像処理装置及び画像処理方法を提供することができる。

図１は、本発明の第１の実施の形態に係る符号化装置の構成図。
図２は、本発明の第１の実施の形態に係る符号化装置による符号化処理について詳述するフローチャート。
図３は、符号量予測の処理を詳述するフローチャート。
図４は、統計的に求めた遷移曲線（ＭＢ量子化値と発生量の関係）を示す図。
図５は、従来技術に係る符号化装置の構成図。
図６は、本発明の第２の実施の形態に係る符号化装置の構成図。
図７は、本発明の第２の実施の形態に係る符号化装置の変形例の構成図。
図８は、本発明の第２の実施の形態に係る符号化装置による符号化処理について詳述するフローチャート。
図９は、本発明の第２の実施の形態に係る符号化装置によるピクチャ符号化（発生符号量収集）の詳細を示すフローチャート。
図１０は、本発明の第２の実施の形態に係る符号化装置によるピクチャ符号化の詳細を示すフローチャート。
図１１は、本発明の第３の実施の形態に係る符号化装置の構成図。
図１２は、本発明の第３の実施の形態に係る符号化装置によるピクチャ符号化（発生符号量収集）の詳細を示すフローチャート。
図１３は、本発明の第３の実施の形態に係る符号化装置によるピクチャ符号化の詳細を示すフローチャート。
図１４は、本発明の第４の実施の形態に係る符号化装置の構成図。
図１５は、本発明の第４の実施の形態に係る符号化装置による符号化処理について詳述するフローチャート。
図１６は、本発明の第４の実施の形態による符号量予測処理について説明するフローチャート。
図１７は、本発明の第４の実施の形態によるＭＢの符号量予測処理について説明するフローチャート。
図１８は、固定補正値を概念的に示す図。
図１９は、可変補正値を概念的に示す図。
図２０は、復号化装置の構成を示す図。

符号の説明

１……プレコーダ、２……パラメータエンコーダ、３……マクロブロック符号量制御部、４……ディレイバッファ、１１……予測モード決定部、１２……ＤＣＴ部、１３……量子化部、１４……逆量子化部、１５……ＩＤＣＴ部、１６……予測画生成部、１７……符号長計算部、１８……符号量のグルーピング部、１９……ピクチャ符号量予測部、２１……予測モード選択部、２２……ＤＣＴ部、２３……量子化部、２４……逆量子化部、２５……ＩＤＣＴ部、２６……予測画生成部、２７……符号化部、３０……プレコーダ、３１……統計量算出部、３２……ＤＣＴ部、３３……量子化インデックス決定部、３４……量子化部、３５……可変長符号化部、３６……バッファ、４０……レート制御部、４１……仮想バッファ初期値の予測部、４２……仮想バッファ更新部、４３……量子化インデックス決定部、４４……マクロブロック目標符号量の予測部、５０……パラメータエンコーダ、５１……量子化部、５２……可変長符号化部、５３……バッファ、６０……プレコーダ、６１……統計量算出部、６２……ＤＣＴ部、６３……固定Ｑ量子化部、６４……可変長符号量計算部、６５……統計量算出部、７０……レート制御部、７１……量子化インデックス予測部、７２……量子化インデックス補正部、７３……ターゲットビット量積算部、７４……発生ビット量積算部、８０……パラメータエンコーダ、８１……量子化部、８２……可変長符号化部、８３……バッファ、９１……フォーマット変換マクロブロック化部、９２……ＤＣＴ部、１０１……統計量算出部、２０１……プレコーダ、２０２……符号量見積り処理部、２０３……パラメータエンコーダ、２０４……ディレイバッファ、２１１……予測モード決定部、２１２……ＤＣＴ部、２１３……量子化部、２１４……逆量子化部、２１５……ＩＤＣＴ部、２１６……予測画生成部、２１７……符号長計算部、２２１……ピクチャ符号量予測部、２２２……符号量のグルーピング部、２２３……マクロブロック符号量予測部

以下、図面を参照して、本発明を実施するための最良の形態（以下、単に実施の形態と称する）について詳細に説明する。なお説明は以下の順序で行う。
（１）第１の実施の形態（固定量子化スケールに基づく発生符号量の予測（ＭＰＥＧ−２））
（２）第２の実施の形態（予測された発生符号量を用いたフィードバック制御（ＭＰＥＧ−２））
（３）第３の実施の形態（スライス単位でのフィードバック制御（ＭＰＥＧ−２）
（４）第４の実施の形態（固定量子化スケールに基づく発生符号量の予測（ＡＶＣ））
本発明の第１の実施の形態は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−２等に代表される固定的なハフマンテーブルを使用する符号化方式において、以下の特徴的な処理を行う。
即ち、第１に、固定量子化スケールＱＩに基づく固定量子化ステップで仮の符号化を行い、マクロブロック毎のＭＢ発生符号量から全ての量子化スケールに基づく量子化ステップについてＭＢ発生符号量を予測し、ピクチャ全体分だけ積算することでピクチャごとのピクチャ発生符号量を予測する。第２に、マクロブロックの状態を示すマクロブロックモード毎に所定のグルーピングを行い、ＭＢ発生符号量のレンジ毎に統計的或いは近似式により求めた関係情報としての遷移曲線を基にＭＢ発生符号量を見積もる。そして、第３に、ＭＢ発生符号量のレンジ毎に量子化スケールＱのオフセットを付与するようにして、画像の複雑部ほど強く量子化するＡｃｔｉｖｉｔｙ（例えば、ＴＭ５のＳｔｅｐ３）の処理を行う。
本発明の第２の実施の形態は、事前に固定量子化スケールＱＩでエンコードを行いマクロブロック毎のＭＢ発生符号量を利用して、ピクチャの平均量子化スケールＱａの予測、マクロブロックの目標符号量の予測、を行うことにより、ピクチャ内の量子化スケールＱの分布が良好になるようなレート制御を行うことを特徴としている。
本発明の第３の実施の形態では、第２の実施の形態においてマクロブロック単位で行っていたレート制御（フィードバック制御）を、スライス単位で行うものである。
本発明の第４の実施の形態は、ＡＶＣにおいて固定量子化パラメータＱＰＩに基づく固定量子化ステップで仮の符号化を行う。そして第３の実施の形態では、関係情報を基に予測されたＭＢ発生符号量を補正することにより、ＭＢ発生符号量から全ての量子化スケールに基づく量子化ステップについてＭＢ発生符号量を予測するものである。
以下、各実施の形態について詳述する。
（１）第１の実施の形態
（１−１）符号化装置の構成
図１には本発明の第１の実施の形態に係る符号化装置の構成を示し説明する。
この図１に示されるように、符号化装置は、ＭＰＥＧ−２に対応しており、プレコーダ１、パラメータエンコーダ２、マクロブロック符号量制御部３、ディレイバッファ４を備える。プレコーダ１は、予測モード決定部１１、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）部１２、量子化部１３、逆量子化部１４、ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）部１５、動き予測と予測画生成部１６、符号長計算部１７、符号量のグルーピング部１８、ピクチャ符号量予測部１９からなる。そして、パラメータエンコーダ２は、予測画選択部２１、ＤＣＴ部２２、量子化部２３、逆量子化部２４、ＩＤＣＴ部２５、予測画生成部２６、符号化部２７からなる。
このような構成において、プレコーダ１はプレエンコード（Ｐｒｅ Ｅｎｃｏｄｅ）を行い、パラメータエンコーダ２は本エンコードを行うことになる。尚、プレコーダ１は例えば仮符号化部に相当し、パラメータエンコーダ２は例えば本符号化部に相当し、マクロブロック符号量制御部３は例えば符号量制御部に相当する。
以下、図２及び図３のフローチャートを参照して、本発明の第１の実施の形態に係る画像処理装置としての符号化装置による符号化処理について詳述する。尚、以下の処理の全部又は一部は本発明の第１の実施の形態に係る画像処理方法としての画像符号化方法にも相当するものである。
入力ビデオ信号には、予測モード決定部１１でＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）周期を決定するＮと、Ｉ又はＰピクチャの周期を決定するための初期設定値Ｍとを基に、ピクチャタイプがＩＢＢＰＢＢＰ…のように周期的に割り振られる（ステップＳ１）。続いて、予測モード決定部１１では、該入力ビデオ信号を受けて、マクロブロックのタイプを、予測画生成部１６で求めたＭＣ画との残差（ＭＡＤ）とマクロブロックの分散等に基づいて、イントラＭＢ（ＭＢ＿Ｉｎｔｒａ）、前方予測ＭＢ（ＭＢ＿ＦＷ）、後方予測ＭＢ（ＭＢ＿ＢＷ）、双方向Ｍ（ＭＢ＿ＢＩ）等の中から予測モードが決定され、予測画像がＤＣＴ部１２に送出される（ステップＳ２）。
ＤＣＴ部１２では、予測画像が離散コサイン変換により周波数空間に変換され、ＤＣＴ係数データが量子化部１３に送出される。この量子化部１３は、ＤＣＴ係数データに対して固定的な固定量子化スケールＱＩ（例えばｑ＿ｓｃａｌｅ＝１０）に基づく量子化ステップを用いて量子化処理を行う（ステップＳ３）。尚、この量子化スケールＱは、量子化インデックスにより定められる。
逆量子化部１４、ＩＤＣＴ部１５では、量子化部１３の出力に基づいて予測画像を得るためにローカルデコード画像が生成される。即ち、逆量子化部１４では、量子化部１３から供給される量子化データが逆量子化されて、ＤＣＴ係数データが再生される。ＩＤＣＴ部１５では、このＤＣＴ係数データが逆離散コサイン変換されて、ローカルデコード画像が生成される。そして、このローカルデコード画像に基づいて、予測画生成部１６により動き予測が行われることになる（ステップＳ４、Ｓ５）。
続いて、符号量予測が行われる（ステップＳ６）。より詳細には、図３のフローチャートに示されるように、量子化部１３の出力（量子化データ）は、更に符号長計算部１７にも送出され、実際に符号化するハフマンテーブルの符号長を基にＭＢ発生符号量がマクロブロック毎に計数される（ステップＳ１１）。符号量のグルーピング部１８では、予測モード決定部１１で求められたマクロブロックタイプ別の分類とＭＢ発生符号量の上位ビット等を基に符号量が１６〜３２程度のグループに分類される（ステップＳ１２）。このグルーピング（この例では１６通り）したデータは、ピクチャ符号量予測部１９に送出される。ピクチャ符号量予測部１９では、統計的に求めた曲線（図４で後述する量子化スケールＱとＭＢ発生符号量の関係）を基にＭＢ発生符号量を積算することでピクチャ当たりのピクチャ発生符号量を求める（ステップＳ１３）。これに次いで、ピクチャのベースとなる平均量子化スケールＱａを求め（ステップＳ１４）、この平均量子化スケールＱａを基に、マクロブロック毎の目標符号量Ｔａｒｇｅｔ_ＭＢとマクロブロック単位での基本量子化スケールＱ_ＭＢを決定し（ステップＳ１５）、図３の処理を終了する。
尚、アクティビティを考慮する場合には、後述する図４の遷移曲線の各曲線毎（すなわちグループ毎）に所定のオフセットを定義することで、ピクチャ毎の目標符号量Ｔａｒｇｅｔ_ＭＢが求められる。
さて、再び図１の説明に戻り、上述したようにマクロブロック符号量制御部３では、ピクチャの量子化スケールＱが、符号量のグルーピング部１８でグルーピングした情報と統計的に求めた遷移曲線に基づいて、マクロブロック毎の基本量子化スケールＱ_ＭＢとターゲットとなる目標符号量Ｔａｒｇｅｔ_ＭＢに変換され、設定されることになる。
パラメータエンコーダ２では、プレコーダ１で求めたピクチャタイプ、マクロブロックの予測モード、動きベクトル、ピクチャ符号量予測部１９で決定した基本量子化スケールＱ_ＭＢと目標符号量Ｔａｒｇｅｔ_ＭＢに基づいて、実際のＭＢ発生符号量がフィードバックされ（ステップＳ７）ながら符号量制御が行われ、パラメータエンコードが行われる（ステップＳ８）。
即ち、入力ビデオ信号がディレイバッファ４による遅延処理を経て入力される。予測モード選択部２１では、マクロブロック符号量制御部３によりマクロブロックの予測モードが指示され、これに従って予測モードが選択される。ＤＣＴ部２２では離散コサイン変換がなされ、ＤＣＴ係数データが量子化部２３に送出される。量子化部２３では、このＤＣＴ係数データに対してマクロブロック符号量制御部３で求められた基本量子化スケールＱ_ＭＢに基づく量子化ステップによる量子化がなされ、量子化データが符号化部２７に送出される。この符号化部２７では、可変長符号化がなされ、こうして符号化ストリームが出力される。尚、逆量子化部２４、ＩＤＣＴ部２５、予測画生成部２６では、量子化部２３の出力（量子化データ）に基づいて予測画像を得るためにローカルデコード画像が生成される。こうして、一連の処理を終了する。
ここで、図４に、統計的に求めた遷移曲線（ＭＢ量子化値と発生量の関係）を示し説明する。この図４は、実画像から、取り得る量子化スケールＱ（Ｑ＝１〜３１）の全ての場合についてマクロブロック毎のＭＢ発生符号量を求め、イントラ（Ｉｎｔｒａ）のピクチャについてマクロブロックの発生量で１３段階にグルーピングしてプロットしたものである。
ＭＰＥＧ−２等では可変長符号化としてハフマンテーブルを固定的に使用しており、ゼロランと非ゼロ係数の組み合わせでマクロブロック単位に符号化する。量子化スケールＱの値を大きくするにつれてゼロランは次第に増加していき、非ゼロ係数のレベルは減少していくため、量子化スケールＱを大きくするにつれて、単調減少する。画像の異なるマクロブロックであっても、ある量子化スケールＱの値で同程度の発生量であったマクロブロックは同程度の減少曲線を描く傾向が確認できた。しかるに、本実施の形態に係る符号化装置では、この特徴的な傾向に着目し、１回の仮の符号化結果（固定量子化スケールＱＩ）を用いて、目標とする目標符号量Ｔａｒｇｅｔ_ＭＢをＭＢ発生符号量として求める点に特徴の一つがある。
すなわち符号化装置は、ＭＢ発生符号量の異なる複数（ここでは１３）の画像データを、全ての量子化スケールＱを用いてそれぞれ量子化したときに得られる予測用量子化データのＭＢ発生符号量を関係情報として例えば図示しないＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に記憶しておく。これにより符号化装置は、選択された固定量子化スケールＱＩによるＭＢ発生符号量に基づいて、当該ＭＢ発生符号量に最も近い予測用量子化データを選択し、当該選択された予測用量子化データにおけるＭＢ発生符号量を各量子化スケールＱにおけるＭＢ発生符号量として予測することができる。
次に、プレコーダ１によるプレエンコードの特徴を更に詳述する。
先ず、ピクチャ符号量予測部１９による符号量予測処理について詳述する。
第１の実施の形態に係る符号化装置では、プレコーダ１の固定量子化スケールＱＩでの量子化後の量子化データについて、実際に符号化に使用するハフマンテーブルの符号長を基に、マクロブロックの発生量を計算する。例えば、固定量子化スケールＱＩ（Ｑ＝１０）でのＭＢ発生符号量が０〜５１２ｂｙｔｅ程度に収まるとするならば、上位の４ｂｉｔでＭＢ発生符号量を基に、１６通りに分類する。この分類により図４における、どの曲線を使用してＭＢ発生符号量を予測するかを決定する。先に図４に示したな遷移曲線はイントラのマクロブロックとインターのマクロブロックで異なるため、イントラＭＢ（ＭＢ＿Ｉｎｔｒａ）、前方予測ＭＢ（ＭＢ＿ＦＷ）、後方予測ＭＢ（ＭＢ＿ＢＷ）、双方向ＭＢ（ＭＢ＿ＢＩ）の予測モード等で個別に予測曲線を使用する。
具体的にピクチャ符号量予測部１９は、グループごとにグループ閾値範囲を記憶している。そしてピクチャ符号量予測部１９は、固定量子化スケールＱＩにおけるマクロブロックのＭＢ発生符号量がどのグループ範囲閾値にあるかを判別し、当該マクロブロックを対応するグループに分類する。
予測曲線はＶｉｒＢｉｔ［ｍｂ＿ｍｏｄｅ］［ｑ＿ｓｃａｌｅ］［ｂｙｔｅ＿ｇｒｏｕｐ］のように表すことができる。
ここで、ｍｂ＿ｍｏｄｅはマクロブロックの予測モード（４モード）、ｑ＿ｓｃａｌｅは１〜３１までの量子化インデックスから選択された量子化スケールＱの値、ｂｙｔｅ＿ｇｒｏｕｐはＭＢ発生符号量で分類した１６通りのグループである。
画面全体（ピクチャごと）である量子化スケールＱ（ｑ＿ｓｃａｌｅ）でのＭＢ発生符号量ＧｅｎＢｉｔＰｉｃ（ｑ＿ｓｃａｌｅ）は、次式のように３１通りの量子化スケールＱ（ｑ＿ｓｃａｌｅ）の分だけ求めることができる。
ＧｅｎＢｉｔＰｉｃ（ｑ＿ｓｃａｌｅ）＝ΣＶｉｒＢｉｔ［ｍｂ＿ｍｏｄｅ］［ｑ＿ｓｃａｌｅ］［ｂｙｔｅ＿ｇｒｏｕｐ］ ……（１）
すなわちピクチャ符号量予測部１９は、マクロブロックごとに予測モードｍｂ＿ｍｏｄｅ、固定量子化スケールＱＩ及び当該固定量子化スケールＱＩにおけるＭＢ発生符号量から分類されたグループｂｙｔｅ＿ｇｒｏｕｐ（予測曲線）を選択する。そしてピクチャ符号量予測部１９は、当該グループｂｙｔｅ＿ｇｒｏｕｐに該当する選択された予測曲線が示す固定量子化スケールＱＩ以外の量子化スケールＱについてのＭＢ発生符号量を、当該固定量子化スケールＱＩ以外の量子化スケールＱにおけるＭＢ発生符号量として予測することができる。さらにピクチャ符号量予測部１９は、当該固定量子化スケールＱＩ以外の量子化スケールＱのＭＢ発生符号量をピクチャごとに積算することにより、ピクチャごとのピクチャ発生符号量を子測することができる。
このときピクチャ符号量予測部１９は、関係情報として、予測モードｍｂ＿ｍｏｄｅとグループｂｙｔｅ＿ｇｒｏｕｐに相当する情報（すなわち予測モードｍｂ＿ｍｏｄｅごとに全グループ（全ての予測量子化データ）に対応する量子化スケールＱ及びＭＢ発生符号量の関係を表す関係情報（予測曲線））を保持しておけば、予測曲線（遷移曲線）を基にマクロブロックの予測発生量を求めることができる。
次にピクチャ符号量予測部１９によるＡｃｔｉｖｉｔｙへの対応について詳述する。ピクチャ符号量予測部１９にてＭＢ発生符号量を基に振り分けたｂｙｔｅ＿ｇｒｏｕｐはマクロブロックのＭＢ発生符号量の多い場合ほど複雑な画像情報を含んでいるとみなせる。
複雑なブロックほど量子化スケールＱを大きくするような処理はグループｂｙｔｅ＿ｇｒｏｕｐ毎にオフセットを付けることで実現できる。このアクティビティのオフセットをλ［ｑ＿ｓｃａｌｅ］［ｂｙｔｅ＿ｇｒｏｕｐ］とするならば、例えば、量子化スケールＱ（例えばｑ＿ｓｃａｌｅ＝１５）については、±４程度のアクティビティをつけるとき、次式のようにしておけばよいことになる。
λ［１５］［ｂｙｔｅ＿ｇｒｏｕｐ］＝｛−４，−４，−３，−３，−２，−２，−１，０，１，２，２，３，３，４，４，４｝ ……（２）
すなわちピクチャ符号量予測部１９は、量子化スケールＱ及びグループｂｙｔｅ＿ｇｒｏｕｐごとにオフセットを設定している。ピクチャ符号量予測部１９は、例えばＭＢ発生符号量を予測する量子化スケールＱ（ｑ＿ｓｃａｌｅ）が「１５」であり、ＭＢ発生符号量の小さいほうから３番目のグループに属する場合、（２）式における左から３番目の「−３」を量子化スケールＱ（ｑ＿ｓｃａｌｅ）の「１５」に付加することになる。
一般に、量子化スケールＱ（ｑ＿ｓｃａｌｅ）の小さいときはアクティビティを使用する必要はないので、オフセットのレンジは量子化スケールＱ（ｑ＿ｓｃａｌｅ）で変化させるようにしておき、量子化スケールＱ（ｑ＿ｓｃａｌｅ）が大きくなる程、レンジを大きくする方が良い。
このλを用いると、画面全体のピクチャ発生符号量ＧｅｎＢｉｔＰｉｃの予測値は次式のようになる。
ＧｅｎＢｉｔＰｉｃ（ｑ＿ｓｃａｌｅ＿ｐｉｃ）＝ΣＶｉｒＢｉｔ［ｍｂ＿ｍｏｄｅ］［ａｃｔ＿ｑ＿ｓｃａｌｅ］［ｂｙｔｅ＿ｇｒｏｕｐ］ ……（３）
すなわちピクチャ符号量予測部１９は、予測対象となる量子化スケールＱ（ピクチャごとに固定）に対してアクティビティによるオフセットを付加した量子化スケールＱに基づくピクチャ発生符号量を予測する。このときピクチャ符号量予測部１９は、オフセットの付加及び予測曲線に基づくＭＢ発生符号量の予測をマクロブロックごとに実行する。そしてピクチャ符号量予測部１９は、ＭＢ発生符号量をピクチャごとに積算することにより、予測対象の量子化スケールＱに基づくピクチャ発生符号量ＧｅｎＢｉｔＰｉｃを予測することができる。
ａｃｔ＿ｑ＿ｓｃａｌｅ（ｑ＿ｓｃａｌｅ＿ｐｉｃ）＝ｍｉｎ（ｍａｘ（１，ｑ＿ｓｃａｌｅ＿ｐｉｃ＋λ［ｑ＿ｓａｌｅ＿ｐｉｃ］［ｂｙｔｅ＿ｇｒｏｕｐ］），３１） ……（４）
ここで、（４）式におけるｍｉｎ（ａ，ｂ）はａ，ｂのうち小さい値、ｍａｘ（ｃ，ｄ）はｃ，ｄのうち大きい値を示す。
すなわちピクチャ符号量予測部１９は、予測対象となる量子化スケールＱにオフセットが付加された結果「１」未満となる場合には、アクティビティによるオフセットを付加した量子化スケールＱを「１」とする。またピクチャ符号量予測部１９は、予測対象となる量子化スケールＱにオフセットが付加された結果「３１」を超える場合には、アクティビティによるオフセットを付加した量子化スケールＱを「３１」とする。言い換えるとピクチャ符号量予測部１９は、アクティビティによるオフセットを付加した量子化スケールＱを、量子化インデックスによって定められた「１〜３１」の中から選択するようになされている。
このようにピクチャ符号量予測部１９は、画面全体の量子化スケールＱ（ｑ＿ｓｃａｌｅ＿ｐｉｃ＝１〜３１）の全ての場合について、ピクチャ単位でのピクチャ発生符号量を求めることができ、目標とするピクチャ目標符号量に近い量子化スケールＱ（ｑ＿ｓｃａｌｅ＿ｔａｒｇｅｔ）を平均量子化スケールＱａとして導出する。
次に、マクロブロック符号量制御部３による量子化インデックス決定処理について詳述する。このマクロブロック符号量制御部３によるマクロブロック単位の符号量制御ではマクロブロックの基本量子化スケールＱ_ＭＢと目標とするマクロブロックのＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢを、次式のように予測することができる。
Ｑ_ＭＢ＝ａｃｔ＿ｑ＿ｓｃａｌｅ（ｑ＿ｓｃａｌｅ＿ｔａｒｇｅｔ） ……（５）
すなわちマクロブロック符号量制御部３は、平均量子化スケールＱａに対してアクティビティによるオフセットを付加することにより、基本量子化スケールＱ_ＭＢを決定する。
Ｔａｒｇｅｔ_ＭＢ＝ＶｉｒＢｉｔ［ｍｂ＿ｍｏｄｅ］［Ｑ_ＭＢ］［ｂｙｔｅ＿ｇｒｏｕｐ］ ……（６）
またマクロブロック符号量制御部３は、基本量子化スケールＱ_ＭＢにおいてマクロブロックごとに予測されるＭＢ発生符号量を、ＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢとして予測する。
すなわち符号化装置は、ＭＢ発生符号量の相違する複数の予測用量子化データのＭＢ発生符号量と、各量子化スケールＱにおけるＭＢ発生符号量との関係を予測曲線として記憶しておく。そして符号化装置は、固定量子化スケールＱＩ及び当該固定量子化スケールＱＩにおけるＭＢ発生符号量に基づいて、予測対象となるマクロブロックをグルーピングし、予測用量子化データに当て嵌める。そして符号化装置は、当該当て嵌められた予測用量子化データにおける固定量子化スケールＱＩ以外の量子化スケールＱにおけるＭＢ発生符号量を、当該当て嵌められた予測用量子化データのＭＢ発生符号量から予測する。
すなわち符号化装置は、固定量子化スケールＱＩに基づく量子化ステップを用いた１回の符号化により、想定されている全ての量子化スケールＱに基づく量子化ステップを用いたときのＭＢ発生符号量を予測することができる。
そしてパラメータエンコーダ２による本エンコードでは、プレコーダ１で求めたピクチャタイプ、マクロブロックモード、動きベクトル、予測したマクロブロックの基本量子化スケールＱ_ＭＢを使用して、パラメータエンコードを行う。尚、マクロブロックのＭＢ発生符号量の情報は、フィードバックし、前述したような符号量制御を行うことになる。
この結果符号化装置は、当該予測したＭＢ発生符号量に基づいて画像に応じた適切な基本量子化スケールＱ_ＭＢ及びＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢを設定することができ、いわゆるフィードフォワードによる符号量制御を実行し得るようになされている。
以上説明したように、本発明の第１の実施の形態に係る符号化装置及び方法によれば、マクロブロック単位の基本量子化スケールＱ_ＭＢ、ＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢの予測値を精度良く求めることができる。
（１−２）符号化処理手順
次に、符号化プログラムに従って実行される符号化処理について、図２及び図３のフローチャートを用いて説明する。
符号化装置のプレコーダ１は、入力ビデオ信号が供給されると、符号化処理手順ＲＴ１を開始し、ステップＳ１において、ＧＯＰ周期及びＩ，Ｐピクチャの周期を決定するための初期設定値Ｍを基に、ピクチャタイプを周期的に割り振ると、次のステップＳ２へ移る。
ステップＳ２において、プレコーダ１は、入力ビデオ信号が表す符号化対象となる対象画像及び予測の対象となる予測画像から、最適な予測モード（ｍｂ＿ｍｏｄｅ）を決定すると共に、当該最適な予測モードを用いた差分画像データＳＡＤを生成し、次のステップＳ３へ移る。
ステップＳ３において、プレコーダ１は、差分画像データＳＡＤに対し、マクロブロック単位で整数精度ＤＣＴにより直交変換を行い、さらに固定量子化スケールＱＩを用いて量子化を実行することにより、量子化データを生成すると、次のステップＳ４及びステップＳ６へ移る。
ステップＳ４において、プレコーダ１は、量子化データに対して逆量子化及びＩＤＣＴを実行し、ローカル差分画像データＳＡＤＬを生成すると、次のステップＳ５へ移る。ステップＳ５において、プレコーダ１は、当該ローカル差分画像データＳＡＤＬを予測画像とし、以降の対象画像に対するステップ２における処理を遂行させる。
ステップＳ６において、プレコーダ１は、符号量予測処理手順ＲＴ２（図３）のステップＳ１１へ移る。
ステップＳ１１において、プレコーダ１は、符号長計算部１７によって量子化データを符号化し、仮の量子化データとして符号化ストリームを生成することにより、固定量子化スケールＱＩでのマクロブロックごとのＭＢ発生符号量（すなわち仮の量子化データのＭＢ発生符号量）を計算すると、次のステップＳ１２へ移る。
ステップＳ１２において、プレコーダ１は、符号量のグルーピング部１８により、ステップＳ２において決定された予測モード及びステップ１１において算出されたＭＢ発生符号量とに基づいて、複数記憶されている予測曲線（例えば予測モードごとに準備された各１６の曲線）の中から、一の予測曲線（グループ）に予測対象となるマクロブロックを割り当てると、次のステップＳ１３へ移る。
ステップＳ１３において、プレコーダ１は、ピクチャ符号量予測部１９により、全ての量子化スケールＱ（ｑ＿ｓｃａｌｅ）におけるＭＢ発生符号量を、ピクチャごとに算出すると、次のステップＳ１４へ移る。
このときプレコーダ１は、各マクロブロックがどのグループに割り当てられたかに応じて、（２）式に示したように、量子化スケールＱに対してアクティビティによるオフセットを増減した適応量子化スケールＱｔ（ａｃｔ＿ｑ＿ｓｃａｌｅ）を算出する。プレコーダ１は、（３）式に示すように、適応量子化スケールＱｔ（ａｃｔ＿ｑ＿ｓｃａｌｅ）を用いたときのマクロブロックごとのＭＢ発生符号量を、割り当てられた予測曲線から算出する。
そしてプレコーダ１は、このマクロブロックごとのＭＢ発生符号量をピクチャごとに積算することにより、ピクチャごとのピクチャ発生符号量を各量子化スケールＱによるピクチャ発生符号量として算出する。
ステップＳ１４において、プレコーダ１は、ピクチャ目標符号量よりも小さく、かつ最も近いＭＢ発生符号量でなる量子化スケールＱを平均量子化スケールＱａ（ｑ＿ｓｃａｌｅ＿ｔａｒｇｅｔ）として選定すると、次のステップＳ１５へ移る。
ステップＳ１５において、プレコーダ１は、（５）式に示したように、平均量子化スケールＱａにおける適応量子化スケールＱｔ（ａｃｔ＿ｑ＿ｓｃａｌｅ）を基本量子化スケールＱ_ＭＢとし、当該基本量子化スケールＱ_ＭＢにおけるマクロブロックごとのＭＢ発生符号量を目標符号量Ｔａｒｇｅｔ_ＭＢとすると、符号量予測処理手順ＲＴ２を終了して符号化処理手順ＲＴ１（図２）のステップＳ６へ戻り、次のステップＳ７へ移る。
ステップＳ７において、マクロブロック符号量制御部３は、基本量子化スケールＱ_ＭＢ及びＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢを用いた符号量制御により、パラメータエンコーダ２を制御しながら、ステップＳ８においてパラメータエンコーダ２に本エンコードを実行させることにより、本符号化ストリーム（すなわち本量子化データ）を生成すると、終了ステップへ移って処理を終了する。
（１−３）動作及び効果
以上の構成によれば、符号化装置は、複数の量子化スケールＱに基づく複数の量子化ステップのうち、選択された量子化スケールＱＩである固定量子化スケールＱＩに基づいて量子化単位であるマクロブロックごとに量子化ステップを選択し、当該選択された量子化ステップで画像データとしてのＤＣＴ係数データを量子化し、仮の量子化データを生成する。このとき符号化装置は、当該仮の量子化データのマクロブロック単位ごとの発生符号量をＭＢ発生符号量として算出する。
符号化装置は、固定量子化スケールＱＩに基づいて選択された量子化ステップにおいてＭＢ発生符号量が相違する複数の予測用量子化データについて、複数の量子化ステップを表す複数の量子化スケールＱとＭＢ発生符号量との関係を表す関係情報を予測曲線として記憶している。
符号化装置は、仮の量子化データのＭＢ発生符号量及び固定量子化スケールＱＩに基づいて複数の予測曲線から予測用量子化データを選択し、当該選択された予測用量子化データに基づいて、複数の量子化スケールＱのうち、固定量子化スケールＱＩ以外の量子化スケールＱに基づく量子化ステップ（すなわち選択されなかった量子化ステップ）によって画像データを量子化したときのＭＢ発生符号量を予測する。
これにより符号化装置は、固定量子化スケールＱＩに基づいて選択された１つの量子化ステップにおいて予測対象となるＤＣＴ係数データを量子化するだけで、複数の量子化スケールＱに基づく複数の量子化ステップにより当該対象となるＤＣＴ係数データを量子化したときのＭＢ発生符号量を予測することができる。この結果符号化装置は、複数の量子化スケールＱにおいてＤＣＴ係数データを量子化する従来の方法と比較して、処理負荷を軽減して構成を簡易にすることができる。
また符号化装置は、予測したＭＢ発生符号量を積算することにより、符号化単位であるピクチャごとの量子化データの発生符号量であるピクチャ発生符号量ＧｅｎＢｉｔＰｉｃを予測する。これにより符号化装置は、予測したＭＢ発生符号量を積算するだけの簡易な処理によりピクチャ発生符号量ＧｅｎＢｉｔＰｉｃを予測することができる。
さらに符号化装置は、複数の量子化スケールＱに基づく複数の量子化ステップのうち、ピクチャ発生符号量ＧｅｎＢｉｔＰｉｃがピクチャごとの目標となるピクチャ目標符号量に近づくよう基本量子化ステップＱ_ＭＢを予測する。
ここで上記ＴＭ５に代表される従来のフィードバック型の符号量制御では、基本量子化スケールＱ_ＭＢによって発生する実際のＭＢ発生符号量が全くの未知であるため、ＭＢ目標符号量と実際のＭＢ発生符号量とが大きく相違する場合がある。このため従来の符号量制御では、例えばマクロブロックごとに異なるシーケンスに切り替わる際には、切り替わる前の基本量子化スケールに応じて不適切な基本量子化スケールが設定される場合があった。このような場合、従来の符号量制御では、シーケンス突入時に符号量を発生しすぎてしまい、ピクチャ後半において符号量を抑える必要が生じ、画面下部が上部よりも歪が大きくなり、画質の劣化が目立ってしまっていた。
これに対して符号化装置は、ピクチャが表す画像に応じた適切な基本量子化ステップＱ_ＭＢを設定することができ、実際のピクチャ発生符号量ＧｅｎＢｉｔＰｉｃをピクチャ目標符号量に近づけることができ、かかる画質の劣化を抑制することができる。
また符号化装置は、マクロブロック単位ごとにＤＣＴ係数データを量子化して本量子化データを生成する。このとき符号化装置は、本量子化データのピクチャ発生符号量ＧｅｎＢｉｔＰｉｃがピクチャ目標符号量に近づくよう、基本量子化ステップＱ_ＭＢから変動させた変動量子化ステップでＤＣＴ係数データを量子化させる。
これにより符号化装置は、本符号化において実際に発生する符号量に基づき基本量子化ステップＱ_ＭＢを適宜変更することができるため、本量子化データのピクチャ発生符号量ＧｅｎＢｉｔＰｉｃをピクチャ目標符号量に近づけることができる。
さらに符号化装置は、本量子化データのＭＢ発生符号量とマクロブロック単位ごとのＭＢ発生符号量の目標となるＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢとの符号量の差分に基づいて基本量子化スケールＱ_ＭＢから変動させた変動量子化スケールＱＳ_ＭＢによる変動量子化ステップを決定する。
これにより符号化装置は、本量子化データのＭＢ発生符号量とＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢとの差分に基づくフィードバック制御により、基本量子化ステップＱ_ＭＢを適宜変更することができる。このため符号化装置は、符号量の不足に起因するピクチャ全体における部分的な画質劣化を引き起こすことなく、適切にＤＣＴ係数データを量子化することができる。
また符号化装置は、予測された基本量子化スケールＱ_ＭＢに基づいて予測したＭＢ発生符号量を、ＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢとする。
これにより符号化装置は、基本量子化スケールＱ_ＭＢを決定するためのピクチャ発生符号量ＧｅｎＢｉｔＰｉｃの予測のために算出されたＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢをそのままＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢとして用いることができるため、処理負荷を軽減することができる。
さらに符号化装置は、ピクチャ発生符号量ＧｅｎＢｉｔＰｉｃがピクチャ目標符号量よりも小さく、かつピクチャ発生符号量ＧｅｎＢｉｔＰｉｃ及びピクチャ目標符号量の差分が最小となる平均量子化ステップＱａを選択し、当該平均量子化ステップＱａに対してアクティビティ増減値としてのオフセットλを加減することにより、基本量子化ステップＱ_ＭＢを予測する。
これにより符号化装置は、画像の複雑さに応じて基本量子化ステップＱ_ＭＢを変動させることができ、複雑な画像に対する誤差を認識しづらいという人間の視覚特性を利用して、量子化によって発生する誤差を視覚的に目立ちにくくすることができる。
また符号化装置は、予測用量子化データ（すなわちグループ）に応じたオフセットλを平均量子化ステップＱａに対して加算する。これにより符号化装置は、グループに応じて単純にオフセットλを加算するだけで済み、例えばＤＣＴ係数データにおける分散を算出などの適応量子化のための処理をわざわざ実行する必要がなく、処理を簡易にすることができる。
これにより符号化装置は、固定量子化スケールＱＩに基づく量子化ステップ（すなわち選択された量子化ステップ）によりピクチャ単位のＤＣＴ係数データを量子化する。これにより符号化装置は、ピクチャ発生符号量ＧｅｎＢｉｔＰｉｃを算出する際に適応量子化をしなくて済み、処理を簡易にすることができる。
さらに符号化装置は、ピクチャタイプ（すなわち予測モードｍｂ＿ｍｏｄｅ）ごとに関係情報（すなわち複数の予測用量子化データ）を記憶し、ピクチャタイプに応じた関係情報から予測用量子化データを選択する。
これにより符号化装置は、ピクチャタイプに応じた関係情報を用いてＭＢ発生符号量を予測できるため、予測の精度を向上させることができる。
また符号化装置は、ＤＣＴ係数データを量子化した後に固定的なテーブルを用いた可変長符号化であるハフマン符号化をすることにより仮の量子化データを生成する。符号化装置は、選択された予測用量子化データにおける固定量子化スケールＱＩ以外の量子化スケールＱに基づく量子化ステップ（すなわち選択されなかった量子化ステップ）におけるＭＢ発生符号量を、当該選択されなかった量子化ステップによってＤＣＴ係数データを量子化したときのＭＢ発生符号量として予測する。
これにより符号化装置は、量子化スケールＱの値を大きくするにつれてゼロランは次第に増加していき、非ゼロ係数のレベルは減少していくため、量子化スケールＱを大きくするにつれて、ＭＢ発生符号量が単調減少するという特性を利用して、高い精度でＭＢ発生符号量を予測することができる。
さらに符号化装置は、入力される画像データとしてのビデオ入力信号に対して所定の直交変換処理であるＤＣＴ処理を施すことにより、画像データを生成することにより、符号化効率を向上させることができる。
符号化装置では、本エンコード時のフィードバックは符号量を制御するための保険的な処理である為、ピクチャ当たりの理想的な符号量配分を予測することができ、例えばＶＴＲシステム等で使用するＩｎｔｒａ Ｆｒａｍｅ ＣＢＲの符号量制御を従来のように５段の並列処理を行うことなく実現できる。また、ＴＭ５等のフィードバック型の符号量制御で問題となる、シーケンスの変った場合の符号量の使い過ぎによる時間的な不均衡な歪などを低減できる。
以上の構成によれば、符号化装置は、予めＭＢ発生符号量の相違する複数の予測用量子化データについて、量子化スケールＱとＭＢ発生符号量との関係を記憶しておき、固定量子化スケールＱＩを用いて画像データを量子化したときのＭＢ発生符号量から、最も近いＭＢ発生符号量を示す予測用量子化データを選択する。符号化装置は、選択した予測用量子化データにおける固定量子化スケールＱＩ以外の量子化スケールＱにおけるＭＢ発生符号量を、画像データを量子化したときの固定量子化スケールＱＩ以外の量子化スケールＱにおけるＭＢ発生符号量と擬制することにより、画像データを固定量子化スケールＱＩ以外の量子化スケールＱによって量子化したときのＭＢ発生符号量を予測するようにした。
これにより符号化装置は、固定量子化スケールＱＩに基づく選択された量子化ステップを用いて画像データを量子化するだけで固定量子化スケールＱＩ以外の量子化スケールＱに基づく量子化ステップ（すなわち選択されなかった量子化ステップ）によって当該画像データを量子化したときのＭＢ発生符号量を予測することができる。かくして本発明は、固定の量子化ステップで計算した発生符号量から異なる量子化ステップにおける発生符号量を精度よく予測でき、演算を行うための回路を削減し得るよう、簡易な処理で異なる量子化ステップにおける発生符号量を予測し得る画像処理装置及び画像処理方法を実現できる。
（２）第２の実施の形態
（２−１）符号化装置の構成
図５には従来技術に係る符号化装置の構成を示し説明する。
同図に示されるように、この符号化装置では、統計量算出部１０１で目標とする符号量の１フレーム分の割り当てビット量を計算し、ＤＣＴ部１０２では離散コサイン変換を行いＤＣＴ係数データを量子化部１０３に送出する。量子化部１０３では、このＤＣＴ係数データを量子化スケールで量子化し量子化データを可変長符号化部１０４に送出する。可変長符号化部１０４では、量子化データを可変長符号化し、バッファ１０５に送出する。バッファ１０５は、送信データを一時記憶し、ビットストリームとして出力する。この処理の過程で、レート制御部１０６によるレート制御が行われる。即ち、仮想バッファ初期化部１０７により仮想バッファの初期化が行われ、仮想バッファ更新部１０８により仮想バッファの更新がなされ、量子化インデックス決定部１０９により量子化部１０３で採用する量子化スケールＱを特定する。
しかるに、このような従来技術では、シーケンス先頭ピクチャやシーンチェンジ直後ピクチャのエンコードにおいては、仮想バッファが固定値となるために、エンコードするピクチャが当該固定値から大きく乖離するような絵柄の場合では、量子化スケールＱのフィードバック制御により、画面上部から下部にかけて量子化スケールＱが増加もしくは減少するため画質が劣化していた。また、この従来技術のような量子化スケールＱのフィードバック制御を採用した場合には、マクロブロック毎にＭＢ発生符号量と目標符号量の差分値を用いて次のマクロブロックの量子化スケールＱを決定することになるが、マクロブロック目標符号量は常に一定であった為、画面上部が符号量小、画面下部が符号量大となる画像においては、画面上部に多くの符号量を割り当ててしまい、画面下部に割り当てる符号量が不足する為、マクロブロックスキップが発生することがあった。
このような問題に鑑みて、本発明の第２の実施の形態に係る符号化装置及び方法では、事前に固定量子化スケールＱＩでエンコードを行い、マクロブロック毎のＭＢ発生符号量を利用して、ピクチャの平均量子化スケールａｖｇＱの予測とマクロブロックごとの目標符号量Ｔａｒｇｅｔ_ＭＢの予測を行うことにより、ピクチャ内の量子化値分布が良好になるようなレート制御を行うことを特徴の一つとしている。以下、その構成及び作用効果を詳述する。
図６には本発明の第２の実施の形態に係る符号化装置の構成を示し説明する。
この図６に示されるように、この符号化装置は、ＭＰＥＧ−２に対応しており、１パス目のプレコーダ３０、レート制御部４０、２パス目のパラメータエンコーダ５０からなる。
より詳細には、プレコーダ３０は、統計量算出部３１、ＤＣＴ部３２、量子化インデックス決定部３３、量子化部３４、可変長符号化部３５、バッファ３６からなる。レート制御部４０は、仮想バッファ初期値の予測部４１、仮想バッファ更新部４２、量子化インデックス決定部４３、マクロブロック目標符号量の予測部４４からなる。そして、パラメータエンコーダ５０は、量子化部５１、可変長符号化部５２、バッファ５３からなる。
このような構成において、レート制御部４０では、マクロブロック単位のレート制御が実施される。そして、ピクチャ毎に２パス方式のエンコードを行う。即ち、プレコーダ３０による１パス目は固定量子化スケールＱＩでエンコードを行いマクロブロック毎のＭＢ発生符号量を収集する。パラメータエンコーダ５０による２パス目は収集したＭＢ発生符号量からピクチャの平均量子化スケールａｖｇＱを予測すると共にマクロブロック毎のＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢを予測する。そして、これら予測値を用いて、レート制御手段としてのレート制御部が、例えばＴＭ５のような量子化スケールフィードバックによるレート制御を行うものである。
尚、図６の構成では、２パス目のパラメータエンコーダ５０にはＤＣＴ部等が備えられてないが、図７に示されるように、フォーマット変換マクロブロック化部９１、ＤＣＴ部９２、量子化部５１、可変長符号化部５２、バッファ５３で構成されているのと等価であり、この構成にレート制御部４０が関与するようにすることもできる。
以下、図８のフローチャートを参照して、第２の実施の形態に係る符号化装置による２パス方式エンコードでのレート制御について説明する。統計量算出部３１は目標とする符号量の１フレーム分の割り当てビット量を計算する（ステップＳ２１）。例えば、３０フレーム／ｓｅｃの符号化を５０Ｍｂｐｓで行うとき、ＶＴＲ等の１フレーム当たりの符号量を一定とするシステム等では、５０Ｍｂｐｓを１秒当たりのフレーム数「３０」で除算した値（５０Ｍｂｐｓ／３０）に基づいてピクチャ目標符号量ｐｉｃｔＢｉｔｓを算出する。
ここで用いる目標符号量ｐｉｃｔＢｉｔｓは、次式により決定される。
Ｉピクチャのとき
ｐｉｃｔＢｉｔｓ＝ＫＩ×Ｂｉｔｒａｔｅ／（ＫＩ×ＮＩ＋ＫＰ×ＮＰ＋ＫＢ×ＮＢ）
Ｐピクチャのとき
ｐｉｃｔＢｉｔｓ＝ＫＰ×Ｂｉｔｒａｔｅ／（ＫＩ×ＮＩ＋ＫＰ×ＮＰ＋ＫＢ×ＮＢ）
Ｂピクチャのとき
ｐｉｃｔＢｉｔｓ＝ＫＢ×Ｂｉｔｒａｔｅ／（ＫＩ×ＮＩ＋ＫＰ×ＮＰ＋ＫＢ×ＮＢ）
ＫＩ＝５，ＫＰ＝３，ＫＢ＝１
Ｂｉｔｒａｔｅは１秒辺りの発生符号量
ＮＩ、ＮＰ、ＮＢはＩ、Ｐ、Ｂピクチャの１秒あたりの発生個数
続いて、ピクチャ毎に１パス目のプレコーダ３０により２回のエンコードを行う。即ち、１回目は量子化スケール固定値でエンコードしマクロブロック毎のＭＢ発生符号量を収集し（ステップＳ２２）、２回目は該ＭＢ発生符号量を用いて量子化スケールＱの分布が適切になるようなレート制御をレート制御部４０により行う（ステップＳ２３）。こうして最終ピクチャであるか否かを判断し、上記処理を最終ピクチャとなるまで繰り返し（ステップＳ２４）、最終ピクチャに到達すると、処理を終了することになる。
ここで、上記ステップＳ２２の処理の詳細は図９のフローチャートに示される。
即ち、１回目のエンコードはＭＢ発生符号量の収集を目的とするものであり、量子化スケールＱを固定値である固定量子化スケールＱＩに設定し（ステップＳ３１）、さらに視覚特性を利用した適応量子化を行い最終的な適応量子化スケールＱｔを決定する（ステップＳ３２）。その適応量子化スケールＱｔを用いて量子化部３４による量子化、及び可変長符号化部３５による可変長符号化を行い（ステップＳ３３）、そこで得られたＭＢ発生符号量をマクロブロック毎にバッファ３６に保存する（ステップＳ３４）。以上の処理をマクロブロック毎に繰り返し（ステップＳ３５）、最終マクロブロックに至ると、図７のステップＳ２３以降の処理にリターンする。
次に、上記ステップＳ２３の処理の詳細は図１０のフローチャートに示される。
即ち、２回目のエンコードでは、ＭＢ発生符号量と量子化スケールＱの相関関係を予め統計的に把握しておき、これを変換式（関係情報）として記憶している。そして当該変換式により１回目のピクチャ発生符号量からピクチャ目標符号量ｐｉｃｔＢｉｔｓに最も近いピクチャ発生符号量を発生させる量子化スケールを平均量子化スケールａｖｇＱとして予測する。この仮想バッファの初期値ｖｉｒｔｕａｌＢｕｆは次式により決定される（ステップＳ４１）。

ここで、ｖｉｒｔｕａｌＢｕｆは仮想バッファの初期値、ｐｉｃｔＢｉｔｓはピクチャの目標符号量、ａｖｇＱはピクチャの平均量子化スケールを意味している。
すなわち仮想バッファの初期値は、平均量子化スケールａｖｇＱを「３１」によって正規化した値とピクチャ目標符号量ｐｉｃｔＢｉｔｓとを乗算した値を「２」で除算することにより算出され、平均量子化スケールａｖｇＱ及びピクチャ目標符号量ｐｉｃｔＢｉｔｓに応じて変化することになる。
仮想バッファが確定したら平均量子化スケールａｖｇＱを基本量子化スケールＱ_ＭＢとし、次式によりマクロブロック毎に変動量子化スケールＱＳ_ＭＢを算出する（ステップＳ４２）。

ＱＳ_ＭＢはマクロブロックの変動量子化スケール、ｖｉｒｔｕａｌＢｕｆ_ＭＢはマクロブロック処理時点の仮想バッファ、ｐｉｃｔｓＢｉｔｓはピクチャ目標符号量を意味している。
すなわち変動量子化スケールＱＳ_ＭＢは、仮想バッファ現在値ｖｉｒｔｕａｌＢｕｆ_ＭＢをピクチャ目標符号量ｐｉｃｔＢｉｔｓによって除算した値に、「３１」及び「２」を乗算することにより算出される。ここでピクチャ目標符号量ｐｉｃｔＢｉｔｓは同一ピクチャ内で固定であることから、変動量子化スケールＱＳ_ＭＢは、仮想バッファ現在値ｖｉｒｔｕａｌＢｕｆ_ＭＢに応じて変動することになる。

ここで、ＴａｒｇｅｔＢｉｔｓ_ＭＢはマクロブロックの目標符号量、ｐｉｃｔＢｉｔｓはピクチャ目標符号量、ＧｅｎＢｉｔｓ_ＭＢは固定量子化スケールＱＩによるマクロブロックのＭＢ発生符号量、ｎｕｍＯｆＭＢは１ピクチャのマクロブロック数である。
すなわちマクロブロックのＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢは、固定量子化スケールＱＩによるＭＢ発生符号量ＧｅｎＢｉｔｓ_ＭＢの１ピクチャ分のＭＢ発生符号量ΣＧｅｎＢｉｔｓ_ＭＢの合計値に対する割合をＭＢ割合として算出し、当ＭＢ該割合に対してピクチャ目標符号量ｐｉｃｔＢｉｔｓを乗算して算出される。言い換えると、１ピクチャ分のＭＢ発生符号量ΣＧｅｎＢｉｔｓ_ＭＢに拘らずＭＢ割合が殆ど変化しないものとし、１ピクチャ分のＭＢ発生符号量ΣＧｅｎＢｉｔｓ_ＭＢがピクチャ目標符号量ｐｉｃｔＢｉｔｓとなるときのマクロブロックのＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢを算出している。
こうして変動量子化スケールＱＳ_ＭＢが決定したら１回目のエンコードと同じく量子化部３４により適応量子化を行い（ステップＳ４３）、可変長符号化部３５により可変長符号化を実施する（ステップＳ４４）。ピクチャ発生符号量をピクチャ目標符号量ｐｉｃＢｉｔｓに近づけるために量子化スケールフィードバック制御を行うが、これは実際のＭＢ発生符号量ｇｅｎＢｉｔｓ_ＭＢとＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢとの差分に応じて基本量子化スケールＱ_ＭＢから増減された変動量子化スケールＱＳ_ＭＢを用いることにより実現される。
実際上仮想バッファ更新部４２は、マクロブロック毎に実際のＭＢ発生符号量ｇｅｎＢｉｔｓ_ＭＢ−１と目標符号量Ｔａｒｇｅｔ_ＭＢの差分を仮想バッファへ加算していく（ステップＳ４６）。仮想バッファ現在値ｖｉｒｔｕａｌＢｕｆ_ＭＢは次式で求められる。なお１マクロブロック前のＭＢ発生符号量ｇｅｎＢｉｔｓ_ＭＢ−１を使用するのは、実際に符号化する際に遅延が生じるためである。
ｖｉｒｔｕａｌＢｕｆ_ＭＢ＝ｖｉｒｔｕａｌＢｕｆ_ＭＢ−１＋（ｇｅｎＢｉｔｓ_ＭＢ−１−ＴａｒｇｅｔＢｉｔｓ_ＭＢ） ……（１０）
すなわち仮想バッファ現在値ｖｉｒｔｕａｌＢｕｆ_ＭＢは、実際のＭＢ発生符号量ｇｅｎＢｉｔｓ_ＭＢ−１と目標符号量Ｔａｒｇｅｔ_ＭＢとの符号量の差異が小さければ殆ど変動せず、当該符号量の差異が大きければ大きく変動することになる。
この結果、（８）式によって算出される変動量子化スケールＱＳ_ＭＢの値は、実際のＭＢ発生符号量ｇｅｎＢｉｔｓ_ＭＢ−１とＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢとの符号量の差異が小さければ当該基本量子化スケールＱ_ＭＢ（平均量子化スケールＱａｖｇ）から殆ど変動することなく決定される。一方、変動量子化スケールＱＳ_ＭＢの値は、実際のＭＢ発生符号量ｇｅｎＢｉｔｓ_ＭＢ−１と目標符号量Ｔａｒｇｅｔ_ＭＢとの符号量の差異が大きい場合には、仮想バッファ現在値ｖｉｒｔｕａｌＢｕｆ_ＭＢに応じて当該基本量子化スケールＱ_ＭＢから変動した値に決定されることになる。
以上の処理をマクロブロック毎に繰り返す。即ち、最終マクロブロックに至ったか否かを判断し（ステップＳ４７）、最終マクロブロックに至るまで上記処理を繰り返し、最終マクロブロックに至ると図８の処理にリターンすることになる。
以上説明したように、本発明の第２の実施の形態に係る符号化装置及び方法によれば、一つ前のピクチャの絵柄に関わらず量子化スケールの分布が良好なエンコードができ画質が向上する。さらに、当該ピクチャの絵柄に関わらずより正確なマクロブロック毎のレート配分を行うことができ画質が向上する。これにより、一部画像で符号量不足を原因とする画面下部マクロブロックスキップを防ぐことができる。
（２−２）符号化処理手順
次に、符号化プログラムに従って実行される符号化処理について、図８〜図１０のフローチャートを用いて説明する。
符号化装置は、画像データとしてのビデオ入力信号が供給されると、符号化処理手順ＲＴ３を開始し、ステップＳ２１においてプレコーダ３０の統計量算出部３１によってピクチャ目標符号量ｐｉｃｔＢｉｔｓを決定すると、次のステップＳ２２に移る。
ステップＳ２２において、符号化装置は、プレコーダ３０によって発生符号量を収集するために、固定量子化スケールＱＩを用いて画像データを符号化する符号量予測処理手順ＲＴ４（図９）のステップＳ３１に移る。
ステップＳ２２において、プレコーダ３０は、ＤＣＴ部３２によって画像データに対してＤＣＴ処理を施すと共に、量子化インデックス３３によって固定量子化スケールＱＩを決定し、次のステップＳ３２へ移る。
ステップＳ３２において、プレコーダ３０は、量子化部３４によってＤＣＴ変換された画像データに対して、固定量子化スケールＱＩを用いて画像の複雑さに応じた適応量子化を行うと、次のステップＳ３２へ移る。
ステップＳ３３において、プレコーダ３０は、可変長符号化部３５によって適応量子化が実行された画像データに対して可変長符号化を実行し、仮量子化データを生成すると、次のステップＳ３４へ移る。ステップＳ３４において、プレコーダ３０は、当該仮量子化データのマクロブロックごとのＭＢ発生符号量ＧｅｎＢｉｔｓ_ＭＢをバッファ３６に一時保存し、次のステップＳ３５へ移る。
ステップＳ３５において、プレコーダ３０は、統計量算出部３１によって処理対象となるマクロブロックが現在のピクチャにおける最終マクロブロックであるか否かを判別し、否定結果が得られた場合、ステップＳ３２へ戻り、符号量予測処理を継続する。
これに対してステップＳ３５において肯定結果が得られた場合、このことは次のピクチャに対する符号量予測処理を実行すべきことを表しており、このときプレコーダ３０は、符号化処理手順ＲＴ３のステップＳ２２へ戻り、次のステップＳ２３へ移る。
ステップＳ２３において、符号化装置は、ステップＳ２２において算出されたＭＢ発生符号量ＧｅｎＢｉｔｓ_ＭＢを基にレート制御を実行しながら画像データを符号化する本符号化処理手順ＲＴ５（図１０）のステップＳ４１へ移る。
ステップＳ４１において、符号化装置のレート制御部４０は、ステップＳ２２において算出されたＭＢ発生符号量ＧｅｎＢｉｔｓ_ＭＢを基に平均量子化スケールａｖｇＱを算出する。さらにレート制御部４０は、仮想バッファ初期値の予測部４１によって平均量子化スケールａｖｇＱを基に当該（７）式に従って仮想バッファの初期値ｖｉｒｔｕａｌＢｕｆを算出し、これを仮想バッファ更新部４２に設定すると、次のステップＳ４２に移る。
ステップＳ４２において、レート制御部４０は、量子化インデックス決定部４３により、平均量子化スケールａｖｇＱを基本量子化スケールＱ_ＭＢとし、（８）式に従い、仮想バッファ現在値ｖｉｒｔｕａｌＢｕｆ_ＭＢに応じて当該基本量子化スケールＱ_ＭＢ（平均量子化スケールＱａｖｇ）から変動した変動量子化スケールＱＳ_ＭＢを決定すると、次のステップＳ４３へ移る。
ステップＳ４３において、レート制御部４０は、量子化インデックス決定部４３により、変動量子化スケールＱＳ_ＭＢに基づき、画像データの複雑さ（アクティビティ）に応じた適応量子化スケールＱＳｔ_ＭＢを決定する。そしてレート制御部４０は、パラメータエンコーダ５０の量子化部５１に対し、当該適応量子化スケールＱＳｔ_ＭＢを用いて量子化を実行するよう、当該量子化部５１を制御すると、次のステップＳ４４へ移る。
この結果量子化部５１は、プレコーダ３０のＤＣＴ部３２から供給されるＤＣＴ処理された画像データ（ＤＣＴ係数データ）を、当該適応量子化スケールＱＳｔ_ＭＢを用いて量子化することになる。
ステップＳ４４において、パラメータエンコーダ５０は、ステップＳ４４において量子化された量子化データを、可変長符号化部５２により、可変長符号化して仮量子化データとしての符号化ストリームを生成し、これをバッファ５３に一時記憶し、次のステップＳ４５へ移る。
ステップＳ４５において、レート制御部４０は、ステップＳ２１において決定されたピクチャ目標符号量ｐｉｃｔＢｉｔｓ及びバッファ３６一時記憶されたＭＢ発生符号量ＧｅｎＢｉｔｓ_ＭＢを基に（９）式に従ってマクロブロックの次のマクロブロックに対するＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢを算出すると、次のステップＳ４６へ移る。
ステップＳ４６において、レート制御部４０は、仮想バッファ更新部４２により次のＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢ及びステップＳ４４においてバッファ５３に一時記憶されたマクロブロックの実際のＭＢ発生符号量ｇｅｎＢｉｔｓ_ＭＢ−１に基づいて、（１０）式に従って仮想バッファ現在値ｖｉｒｔｕａｌＢｕｆ_ＭＢを算出し、これを仮想バッファ更新部４２に設定すると、次のステップ４７へ移る。
この結果、ＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢ及び実際のＭＢ発生符号量ｇｅｎＢｉｔｓ_ＭＢ−１の符号量の差異に基づいて逐次仮想バッファ現在値ｖｉｒｔｕａｌＢｕｆ_ＭＢが更新され、当該仮想バッファ現在値ｖｉｒｔｕａｌＢｕｆ_ＭＢを用いて算出される
ステップＳ４７において、レート制御部４０は、処理対象となるマクロブロックが最終ブロックであるか否かを判別し、否定結果が得られた場合には、ステップＳ４２へ戻り、本符号化処理を継続する。
これに対してステップＳ４７において肯定結果が得られた場合、このことは次のピクチャに対する処理を実行すべきことを表しており、このとき符号化装置は、符号化処理手順ＲＴ３（図８）のステップＳ２３へ戻り、次のステップＳ２４へ移る。
ステップＳ２４において、符号化装置は、処理したピクチャが最終ピクチャであるか否かを判別し、否定結果が得られた場合には、ステップＳ２２へ戻り、符号化処理を継続する。
これに対してステップＳ２４において否定結果が得られた場合、符号化装置は、終了ステップへ移って処理を符号化終了する。
（２−３）動作及び効果
以上の構成において、符号化装置は、（９）式に従って、選択された量子化ステップとして、固定量子化スケールＱＩに基づく量子化ステップ（すなわち量子化に使用された適応量子化スケールＱｔに基づく量子化ステップ）によるピクチャ発生符号量に対するピクチャ目標符号量ｐｉｃｔＢｉｔの比率を、固定量子化スケールＱＩに基づくＭＢ発生符号量ＧｅｎＢｉｔｓ_ＭＢに対して乗算した値を、ＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢとする。
ここで量子化スケールＱが変化した場合、全体的な符号量は変動するものの、ピクチャ全体においてマクロブロックが実際に占有する符号量の割合はさほど変動しないと考えられる。
このため符号化装置は、固定量子化スケールＱＩに基づくＭＢ発生符号量ＧｅｎＢｉｔｓ_ＭＢから当該ＭＢ発生符号量ＧｅｎＢｉｔｓ_ＭＢが当該固定量子化スケールＱＩにおけるピクチャ発生符号量に占める割合を算出する。そして符号化装置は、ピクチャ目標符号量ｐｉｃｔＢｉｔに対する固定量子化スケールＱＩにおけるピクチャ発生符号量の比率を当該割合に乗算して符号量のスケールを調整することにより、ＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢを算出する。
これにより符号化装置は、画像データに応じた適切なＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢに基づくフィードバック制御を実行することができるため、画像の種類やシーケンスの切り替りなどであっても、ＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢと実際のＭＢ発生符号量ｇｅｎＢｉｔｓ_ＭＢとの符号量の差異を小さくすることができる。この結果符号化装置は、ピクチャの後方で割り当てる符号量が不足するような事態を未然に防止することができる。
また符号化装置は、プレコーダ３０により、固定量子化スケールＱＩを用いて適応量子化を行うことにより、マクロブロックごとの画像データに応じて、量子化スケールＱに基づく量子化ステップ（すなわち適応量子化スケールＱｔに基づく量子化ステップ）を選択し、当該選択された量子化ステップにより画像データを量子化する。
これにより符号化装置は、ＭＢ発生符号量ＧｅｎＢｉｔｓ_ＭＢを単純に積算することにより、適応量子化を行った後のピクチャ発生符号量を算出することができる。
さらに符号化装置は、パラメータエンコーダ５０により、平均量子化スケールＱａｖｇをそのまま基本量子化スケールＱ_ＭＢとして使用すると共に、当該平均量子化スケールＱａｖｇから（７）式及び（８）式に従って算出された変動量子化スケールＱＳ_ＭＢに基づいて適応量子化を実行するようにした。これにより符号化装置は、適応量子化により量子化歪みを目立ちにくくすることができる。
以上の構成によれば、符号化装置は、固定量子化スケールＱＩによるＭＢ発生符号量ＧｅｎＢｉｔｓ_ＭＢに基づいて、関係情報から基本量子化スケールＱ_ＭＢを決定すると共に、当該ＭＢ発生符号量ＧｅｎＢｉｔｓ_ＭＢのピクチャに占める符号量の割合に基づいてＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢを決定するようにした。
これにより符号化装置は、画像データに応じた適切な基本量子化スケールＱ_ＭＢ及びＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢを設定することができるため、ピクチャ目標符号量ｐｉｃｔＢｉｔに従ってピクチャ全体を適切に符号化することができる。
（３）第３の実施の形態
（３−１）符号化装置の構成
以上説明した第２の実施の形態に係る符号化装置は、以下に示すように変形することもできる。この第３の実施の形態では、２パス符号量予測方式は、予想曲線から求めたマクロブロック毎の量子化スケールＱ（ｑ＿ｓｃａｌｅ）とＭＢ発生符号量を使用し、スライス単位でのフィードバック制御を実行する。
図１１には第３の実施の形態における符号化装置の構成を示し説明する。この図１１に示されるように、この符号化装置は、１パス目のプレコーダ６０、レート制御部７０、２パス目のパラメータエンコーダ８０からなる。
より詳細には、プレコーダ６０は、統計量算出部６１、ＤＣＴ部６２、固定Ｑ量子化部６３、可変長符号量計算部６４、統計量算出部６５からなる。レート制御部７０は、量子化インデックス予測部７１、量子化インデックス補正部７２、スライス毎にターゲットビット量積算部７３、ピクチャ毎に発生ビット量積算部７４からなる。２パス目のパラメータエンコーダ８０は、量子化部８１、可変長符号化部８２、バッファ８３からなる。
以下、図１２及び図１３のフローチャートを参照して、この変形例による符号化処理について詳細に説明する。メインフローは、図８と同様である。
まず、図１２のピクチャ符号化（ＭＢ発生符号量収集）処理では、固定Ｑ量子化部６３で用いる量子化スケールに固定値を設定し（ステップＳ５１）、この固定量子化スケールでＤＣＴ部６２によるＤＣＴ後のＤＣＴ係数データを固定Ｑ量子化部６３で量子化し、可変長符号量計算部６４で可変長符号量を計算し（ステップＳ５２）、マクロブロック毎のＭＢ発生符号量を求める（ステップＳ５３）。このような処理を１ピクチャ分繰り返し、最終マクロブロックまで処理がなされたか否かを判断し（ステップＳ５４）、処理が最終マクロブロックまでなされるとリターンする。
次に、図１３に示される処理では、統計量算出部６５において、関係情報としての統計データＶｉｒＢｉｔを用いて、第１の実施の形態と同様に、ピクチャ目標発生量に近い量子化スケールＱ（ｑ＿ｓｃａｌｅ＿ｔａｒｇｅｔ）を平均量子化スケールＱａとして決定（ステップＳ６１）する。また平均量子化スケールＱａをベースとした適応量子化により、（５）式に従ってマクロブロックの基本量子化スケールＱ_ＭＢ（ｑ＿ｓｃａｌｅ_ＭＢ）を決定する（ステップＳ６２）。このときのＭＢ発生符号量Ｔａｒｇｅｔ_ＭＢは、（６）式によって表される。
ところでフィードバックの単位である１つのマクロブロック内にエッジ境界など８ｘ８ＤＣＴブロックの特性の著しく異なる個所を有する場合などでは、特性の異なるグループの特性が加算されてしまい、グルーピングの単位がマクロブロックでは適切でない個所である。
このような、統計的な曲線から外れるようなマクロブロックの暴れの影響を取り除くために、マクロブロックよりも大きな単位で、フィードバック制御を行うことができる。システムで許容できる実際に発生する実発生符号量の誤差の許容範囲で、例えば１ライン分のマクロブロックから１画面分までなどの単位で、行えばよい。
このフィードバックの単位をスライス（Ｓｌｉｃｅ）と以下では称することにする。
１ｓｌｉｃｅの本符号化の終了する都度、実ＭＢ発生符号量ｇｅｎＢｉｔ_ＭＢ及びＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢをそれぞれ積算することにより、スライスごとの実際の発生符号量であるスライス実発生符号量ＧｅｎＢｉｔｓｓｌｉｃｅとスライスごとの目標符号量であるスライス目標符号量Ｔａｒｇｅ ｔ ｓｌｉｃｅを計算しておく（ステップＳ６５、Ｓ６６）。次のスライスに対応する全マクロブロックの基本量子化スケールＱ_ＭＢ（ｑ＿ｓｃａｌｅ）について変動値ｑ＿ａｄｊだけ補正する（ステップＳ６５）ことでスライス単位のフィードバック制御を行う。
ＴａｒｇｅｔＢｉｔｓｓｌｉｃｅ＝ΣＶｉｒＢｉｔ［ｍｂ＿ｍｏｄｅ］［ａｃｔ＿ｑ＿ｓｃａｌｅ］［ｂｙｔｅ＿ｇｒｏｕｐ］ ……（１１）
ＧｅｎＢｉｔｓｓｌｉｃｅ＝ΣＧｅｎＢｉｔｓ_ＭＢ ……（１２）
ここで、ＴａｒｇｅｔＢｉｔｓｓｌｉｃｅはスライス分のＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢの積算値、ＧｅｎＢｉｔｓｓｌｉｃｅはスライス分の実ＭＢ発生符号量である。
ｑ＿ａｄｊ＝（ΣＧｅｎＢｉｔｓｓｌｉｃｅ−ΣＴａｒｇｅｔＢｉｔｓｓｌｉｃｅ）／ΣＤｅｌｔａｓｌｉｃｅ ……（１３）
ここで、変動値ｑ＿ａｄｊは次に符号化するスライス内の各基本量子化スケール（ｑ＿ｓｃａｌｅ）に対して加算する。Ｄｅｌｔａｓｌｉｃｅは基本量子化スケールＱ_ＭＢ（ｑ＿ｓｃａｌｅ）の１変化量相当の境界値であり、Σは先頭スライスからの相を意味している。
すなわち仮に変動値ｑ＿ａｄｊが大きく設定されすぎると、変動量子化スケールＱＳ_ＭＢ（ｑ＿ｓｃａｌｅ＿ａｄｊ）の基本量子化スケールＱ_ＭＢからの変動が大きくなりすぎ、発散してしまう可能性がある。従ってスライス実発生符号量ＧｅｎＢｉｔｓｓｌｉｃｅとスライスごとの目標符号量であるスライス目標符号量Ｔａｒｇｅ ｔ ｓｌｉｃｅとの符号量の差をΣＤｅｌｔａｓｌｉｃｅで除算することにより、変動値ｑ＿ａｄｊを適正な値に調整するようになされている。
次のスライスに対して変動値ｑ＿ａｄｊを補正後の変動量子化スケールＱＳ_ＭＢ（ｑ＿ｓｃａｌｅ＿ａｄｊ）は「ｑ＿ｓｃａｌｅ＋ｑ＿ａｄｊ」すなわち基本量子化スケールＱ_ＭＢに対して変動値ｑ＿ａｄｊとして表すことができる。そして当該変動量子化スケールＱＳ_ＭＢ（ｑ＿ｓｃａｌｅ＿ａｄｊ）を用いて実符号化を行う（ステップＳ６４）。以上の処理を、最後のスライスまで繰り返し（ステップＳ６７）、最後のスライスまで処理を行うとリターンする。
（３−２）符号化処理手順
次に、符号化プログラムに従って実行される符号化処理手順について、図１２及び図１３のフローチャートを用いて説明する。なお図１２のフローチャートは、符号化処理手順ＲＴ３（図８）におけるステップＳ２２において実行される符号量予測処理を表し、図１３のフローチャートは、符号化処理手順ＲＴ３（図８）におけるステップＳ２３において実行される本符号化処理を表している。
ステップＳ２２において、符号化装置は、プレコーダ６０によって発生符号量を収集するために、固定量子化スケールＱＩを用いて画像データを符号化する符号量予測処理手順ＲＴ６（図１２）のステップＳ５１に移る。
ステップＳ５１において、プレコーダ６０は、入力データに対してＤＣＴ部６２によってＤＣＴ処理を施すと共に、当該ＤＣＴ変換された画像データ（ＤＣＴ係数データ）に対して、固定量子化スケールＱＩを用いて量子化を行い、仮量子化データを生成する。さらにプレコーダ６０は、仮量子化データに対し、可変長符号量計算部６４によって可変長符号化を行うことにより、仮の量子化データとして符号化ストリームを生成すると、次のステップＳ５３へ移る。
ステップＳ５３において、プレコーダ６０は、当該符号化ストリームのマクロブロックごとのＭＢ発生符号量ＧｅｎＢｉｔｓ_ＭＢを統計量算出部に一時保存し、次のステップＳ５４へ移る。
ステップＳ５４において、プレコーダ６０は、統計量算出部３１によって処理対象となるマクロブロックが現在のピクチャにおける最終マクロブロックであるか否かを判別し、否定結果が得られた場合、ステップＳ５２へ戻り、符号量予測処理を継続する。
これに対してステップＳ５４において肯定結果が得られた場合、このことは次のピクチャに対する符号量予測処理を実行すべきことを表しており、このときプレコーダ６０は、符号化処理手順ＲＴ３（図８）のステップＳ２２へ戻り、次のステップＳ２３へ移る。
ステップＳ２３において、符号化装置は、ステップＳ２２において算出されたＭＢ発生符号量ＧｅｎＢｉｔｓ_ＭＢを基にレート制御を実行しながら画像データ（ＤＣＴ係数データ）を符号化する本符号化処理手順ＲＴ７（図１３）のステップＳ６１へ移る。
ステップＳ６１において、符号化装置のレート制御部７０は、量子化インデックス予測部７１により、ステップＳ２２において算出されたＭＢ発生符号量ＧｅｎＢｉｔｓ_ＭＢを基に、ピクチャごとに決定される平均量子化スケールＱａを算出すると、次のステップＳ６２へ移る。
ステップＳ６２において、レート制御部７０は、量子化インデックス予測部７１により、平均量子化スケールＱａを基にアクティビティによるオフセットλを増減することにより、基本量子化スケールＱ_ＭＢを予測すると、次のステップＳ６３へ移る。
ステップＳ６３において、レート制御部７０は、量子化インデックス補正部７２により、基本量子化スケールＱ_ＭＢを基に、（１３）式に従い、変動値ｑ＿ａｄｊに応じて当該基本量子化スケールＱ_ＭＢから変動した変動量子化スケールＱＳ_ＭＢを決定すると、次のステップＳ６４へ移る。
ステップＳ６４において、パラメータエンコーダ８０は、変動量子化スケールＱＳ_ＭＢに基づいて量子化部８１により画像データを量子化して量子化データを生成すると共に、可変長符号化部８２によって当該量子化データを可変長符号化して仮の量子化データである符号化ストリームを生成すると、これをバッファ８３に一時記憶し、次のステップＳ６５へ移る。
ステップＳ６５において、レート制御部７０は、ターゲットビット量積算部７３により、（１４）式に従ってＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢを積算し、スライス目標符号量Ｔａｒｇｅ ｔ ｓｌｉｃｅを算出すると、次のステップ６６へ移る。
ステップＳ６６において、レート制御部７０は、発生ビット量積算部７４により、（１２）式に従ってＭＢ発生符号量ＧｅｎＢｉｔ_ＭＢを積算し、スライス発生符号量ＴａｒｇｅｔｏＢｉｔｓｌｉｃｅを算出する。このときレート制御部７０は、スライス目標符号量Ｔａｒｇｅ ｔ ｓｌｉｃｅ及びスライス目標符号量Ｔａｒｇｅ ｔ ｓｌｉｃｅに基づき、（１３）式に従って変動値ｑ＿ａｄｊを算出すると、次のステップＳ６７へ移る。
ステップＳ６７において、レート制御部４０は、処理対象となるスライスが最終スライスであるか否かを判別し、否定結果が得られた場合には、ステップＳ６２へ戻り、本符号化処理を継続する。
これに対してステップＳ６７において肯定結果が得られた場合、このことは次のピクチャに対する処理を実行すべきことを表しており、このとき符号化装置は、符号化処理手順ＲＴ３（図８）のステップＳ２３へ戻り、次のステップＳ２４へ移る。
（３−３）動作及び効果
以上の構成において、符号化装置は、スライス単位でスライス目標符号量Ｔａｒｇｅ ｔ ｓｌｉｃｅを設定し、当該スライス目標符号量Ｔａｒｇｅ ｔ ｓｌｉｃｅ及びスライスごとの実際の発生符号量であるスライス実発生符号量ＧｅｎＢｉｔｓｓｌｉｃｅとの差分に基づいてフィードバック制御を実行する。
これにより符号化装置は、同一マクロブロック内にエッジの境界が存在し、２種類の異なる画像が存在するような場合であっても、適切なフィードバック単位によってフィードバック制御を実行することができる。
（４）第４の実施の形態
（４−１）概略
上述したように、ＭＰＥＧ−２でテストモデルとして提案されているＴＭ５等の符号量制御では、仮想バッファの残量と以前エンコードした際の量子化インデックスとＭＢ発生符号量の関係を用いてフィードバック制御することによって、符号量制御を行っている。
しかしながら、静止画に係る上記従来技術では、目標の符号量に近い画面全体で均一となる平均的な量子化スケールを見つける為には、複数回、異なる量子化スケールで符号量を計算して予測する必要があり、演算するための回路に係るコストは大きくなる。
また、上記ＴＭ５に代表されるフィードバック型の符号量制御では、異なるシーケンスに切り替わる度に適切な発生量をもたらす量子化スケールを付与することができず、画面下部が上部よりも歪が大きくなり視覚的に目立ち易くなり、シーケンス突入時に符号量を発生しすぎてしまい、符号量を抑える必要が生じ、画質の劣化が目立ってしまう。
このような問題は、事前にある値で量子化したときの発生量を知ることで解決することができる場合がある。第１の実施の形態で説明したように、ＭＰＥＧ−２、特にＭＰＥＧ−２ Ｉｎｔｒａの場合、ＤＣＴ係数の低周波から高周波に向かうにつれて値が小さくなる。自然画の場合、常にこれが成り立つ。よって、マクロブロックＭＢの符号量と係数分布の相関が強く、符号量だけで予測が可能である。
しかしながら、ＭＰＥＧ−４ Ｐａｒｔ１０：ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）以下、ＡＶＣ規格と呼ぶ）では、Ｉｎｔｒａ ＭＢでも画面内予測（入力画からＩ−ｐｒｅｄ画／ＭＣ画を引いた画、つまり差分画）などがあり、それが成り立たない場合はＭＰＥＧ−２でのＤＣＴ係数の分布と同じ分布にならない。ゆえに、ＭＰＥＧ−２の対応と同じ方法を採用しても精度のよいＭＢ発生符号量の見積りができない場合がある。
そこで、本発明は、ピクチャあたりの理想的な符号量配分を予測することを可能としＶＴＲシステム等で使用するＣＢＲ（ｃｏｎｓｔａｎｔ ｂｉｔ ｒａｔｅ）の符号量制御を少ないコストで実現すると共に、ＴＭ５などのフィードバック型の符号量制御で問題となる、シーケンスの変った場合の符号量の使い過ぎによる時間的な不均衡な歪などを無くすことを課題とする。
（４−２）符号化装置の構成
図１４には本発明の一実施の形態に係る符号化装置の構成を示し説明する。
この符号化装置は、ＡＶＣ規格に対応すると共に、２Ｐａｓｓ Ｅｎｃｏｄｅ方式を採用している。
２Ｐａｓｓ Ｅｎｃｏｄｅ方式の本来の目的は、符号化したときのＭＢ発生符号量を正確に見積もり、ピクチャ内の符号量の配分やピクチャ間の符号量の配分を高画質になるように行うことであるが、この実施の形態では、その要素技術である、ある量子化値で符号化した時のＭＢ発生符号量を予測する点に特徴がある。
この図１４に示されるように、符号化装置は、プレコーダ２０１、パラメータエンコーダ２０３、符号量見積り処理部２０２、ディレイバッファ２０４を備える。プレコーダ２０１は、予測モード決定部２１１、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）部２１２、量子化部２１３、逆量子化部２１４、ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）部２１５、予測画生成部２１６、符号長計算部２１７からなる。符号量見積り処理部２０２は、ピクチャ符号量予測部２２１、符号量のグルーピング部２２２、マクロブロック符号量予測部２２３からなる。そして、パラメータエンコーダ２０３は、予測画選択部２３１、ＤＣＴ部２３２、量子化部２３３、逆量子化部２３４、ＩＤＣＴ部２３５、予測画生成部２３６、符号化部２３７からなる。
このような構成の下、２Ｐａｓｓ Ｅｎｃｏｄｅの基本的な制御では、選択された１つの量子化パラメータＱＰを用いてプレエンコード（Ｐｒｅ Ｅｎｃｏｄｅ）と呼んでいる情報を得るためのエンコードを行い、そこで取得した情報と予め作成しておいた統計量を基に、選択されなかった他の量子化パラメータＱＰでエンコードした場合のＭＢ発生符号量を予測することになる。即ち、プレコーダ１はプレエンコードを行い、パラメータエンコーダ２０３は本エンコードを行うことになる。尚、プレコーダ１は例えば仮符号化手段に相当し、パラメータエンコーダ２０３は例えば本符号化手段に相当し、符号量見積り処理部２０２は、例えば符号量予測部に相当する。但し、これに限定されない。ピクチャとしてはＩｎｔｒａピクチャ（画面内予測を用いた差分画）を用いる。
プレコーダ１によるプレエンコードでは、全てのマクロブロックを固定の量子化パラメータＱＰ（以下、これを固定量子化パラメータＱＰＩと呼ぶ、例えばＱＰＩ＝１６）で符号化し、符号化処理の部分は、コンテキスト適応型可変長符号化方式（ＣＡＶＬＣ；Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）で行っている。即ち、本エンコードはＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）で符号化を行う場合でも、プレエンコードはＣＡＶＬＣで符号化する。
ＣＡＶＬＣで行うのは、ＣＡＢＡＣよりも処理が簡単であること、特にハードウェアではバイナライズの部分での発生量が大きくなりすぎてＣＡＢＡＣの処理に時間がかかりすぎてしまう可能性があるからである。ＣＡＢＡＣは、算術符号化であり、ＣＡＶＬＣは可変長符号化で符号化の方式が違う。また、ＣＡＶＬＣで符号化することで回路規模を抑えることも狙いとしている。
一般的には、可変長符号化はある特定の領域の情報を効率よく符号化しており、算術符号化は領域を特定することなく効率よく符号化できる。
本来ならばこの特徴により、可変長符号化から算術符号化のＭＢ発生符号量を予測すると情報の出力によって大きく誤差がでるが、ＣＡＶＬＣはコンテキストを適用的に変更することにより、一般的な可変長符号化に比べて、あまり領域を特定せずに効率よく符号化することができる。これにより、誤差が全くないわけではないが、ＣＡＢＡＣのＭＢ発生符号量の推測はＣＡＶＬＣでの符号化によるＭＢ発生符号量でも可能である。それ以外の、ＭＥ（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｔｏｎ）やＭＢＭｏｄｅ決定の処理は本エンコードとほぼ同じ処理を行う。
プレエンコード（プレコーダ２０１）では使用しないが、本エンコード（パラメータエンコーダ２０３）では画の特徴にあわせて量子化パラメータＱＰを増減させる処理、例えば画の劣化が目立ちやすいマクロブロックは量子化パラメータＱＰを下げる、目立ちにくいＭＢは量子化パラメータＱＰを上げる、いわゆるアクティビティ処理を行う。この増減値も本エンコードでの見積もり精度を上げるために、プレエンコードの時点で計算して、その情報をマクロブロック毎に出力する。
それ以外にプレエンコードで出力する情報としては、各マクロブロックのＤＣＴ係数のＭＢ発生符号量やヘッダ（Ｈｅａｄｅｒ）のＭＢ発生符号量、非０の係数の数がある。尚、各ＭＢのＤＣＴ係数のＭＢ発生符号量やヘッダ（Ｈｅａｄｅｒ）のＭＢ発生符号量は別々に出力する。
これに加えて、ＭＢ毎の各係数を“Ｃｏｅｆ Ｃｏｓｔ”と称される値を計算し、その総和も併せて出力することで、精度のよい見積りを可能とする。後述するが、この実施の形態ではこのＣｏｅｆ Ｃｏｓｔを基に統計量から得られるマクロブロックのＭＢ発生符号量を補正する。
ここ、Ｃｏｅｆ Ｃｏｓｔの意味合いは、係数が０になるまでの量子化パラメータＱＰの増加値の指標であるといえる。換言すれば、Ｃｏｅｆ Ｃｏｓｔとは、量子化パラメータＱＰをどの程度増やせば、係数が０に落ちるかという指標にする値である。この実施の形態では、Ｃｏｅｆ Ｃｏｓｔは係数の大きさから求めており、係数が０なら０、１なら１、２なら２、３〜４なら３、５〜８なら４、９〜１６なら５とし、それ以降は（係数の大きさ／１６）＋５で計算している。
係数の小さい場合は、係数の大きさよりも係数が０になるということが大きな意味をもつのでビット（Ｂｉｔ）数を重要視する。一方、係数が大きい場合は、徐々に係数の大きさが小さくなる情報を反映するために、この実施の形態では１６ごとにＣｏａｆ Ｃｏｓｔを増やす。
すなわち小さい量子化係数についてのＣｏｅｆ Ｃｏｓｔは、係数の増減に対するＣｏｅｆ Ｃｏｓｔの増減を大きくする。一方、大きい量子化係数についてのＣｏｅｆ Ｃｏｓｔは、係数の増減に対するＣｏｅｆ Ｃｏｓｔの増減を小さくしている。
ここで、ＭＢ発生符号量の予測にかなり精度を要求される場合は、このＣｏｅｆ Ｃｏｓｔのヒストグラムを出力する方がよいが、情報量も巨大になってしまう。
しかしながら、そこまでの精度がいらない場合は、Ｃｏｅｆ Ｃｏｓｔの総和／非０の係数の数つまり、１係数あたりのＣｏｅｆ Ｃｏｓｔの情報を使い、精度を上げることが可能である。そこで、この実施の形態では、Ｃｏｅｆ Ｃｏｓｔの総和を情報として出力している。非０係数の数は出力しているので、総和があれば計算で求めることが可能である。
以下、図１５のフローチャートを参照して、本発明の一実施の形態に係る符号化装置による符号化処理について詳述する。尚、以下の処理の全部又は一部は本発明の第１の実施の形態に係る画像符号化方法にも相当するものである。
入力ビデオ信号には、予測モード決定部２１１でＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）周期を決定するＮと、Ｉ又はＰピクチャの周期を決定するための初期設定値Ｍとを基に、ピクチャタイプがＩＢＢＰＢＢＰ…のように周期的に割り振られる（ステップＳ１）。続いて、予測モード決定部２１１では、該入力ビデオ信号を受けて、マクロブロックのタイプを、予測画生成部１６で求めたＭＣ画との残差（ＳＡＤ）とマクロブロックの分散等に基づいて、予測モードが決定され、予測画像がＤＣＴ部２１２に送出される（ステップＳ２）。
ＤＣＴ部２１２では、予測画像が離散コサイン変換により周波数空間に変換され、ＤＣＴ係数データが量子化部２１３に送出される。この量子化部２１３は、ＤＣＴ係数データに対して固定的な量子化パラメータＱＰ（例えばＱＰ＝１６）を用いて量子化処理を行う（ステップＳ３）。
逆量子化部２１４、ＩＤＣＴ部２１５では、量子化部２１３の出力に基づいて予測画像を得るためにローカルデコード画像が生成される。即ち、逆量子化部２１４では、量子化部２１３から供給される量子化データが逆量子化されて、ＤＣＴ係数データが再生される。ＩＤＣＴ部２１５では、このＤＣＴ係数データが逆離散コサイン変換されて、ローカルでコード画像が生成される。そして、このローカルデコード画像に基づいて、予測画生成部１６により動き予測が行われることになる（ステップＳ４、Ｓ５）。
続いて、符号量見積り処理部２０２のピクチャ符号量予測部２２１により符号量予測が行われる（ステップＳ６）。その詳細については、図１６を参照して後述する。
このとき、マクロブロック符号量予測部２２３では、ピクチャの量子化パラメータＱＰが、符号量のグルーピング部２２２でグルーピングした情報と統計的に求めた予測曲線（遷移曲線）に基づいて、マクロブロック毎に予測される量子化パラメータＱＰ（以下、これを基本量子化パラメータＱＰ_ＭＢと呼ぶ）とターゲットとなるマクロブロックごとの目標符号量Ｔａｒｇｅｔ_ＭＢに変換され、パラメータエンコーダ２０３に設定されることになる（ステップＳ７）。
パラメータエンコーダ２０３では、プレコーダ２０１で求めたピクチャタイプ、マクロブロックの予測モード、動きベクトル、ピクチャ符号量予測部２２１で決定した基本量子化パラメータＱＰ_ＭＢと目標符号量Ｔａｒｇｅｔ_ＭＢに基づいて、実ＭＢ発生符号量がフィードバックされながら符号量制御が行われ、パラメータエンコードが行われる（ステップＳ８）。
即ち、入力ビデオ（Ｖｉｄｅｏ）信号がディレイバッファ４による遅延処理を経て入力される。予測画選択部２３１では、マクロブロック符号量予測部２２３によりマクロブロックの予測モードが設定され、予測画像が選択される。ＤＣＴ部２３２では、ＤＣＴ変換がなされ、ＤＣＴ係数データが量子化部２３３に送出される。量子化部２３３では、このＤＣＴ係数データに対してマクロブロック符号量予測部２２３で求められた基本量子化パラメータＱＰ_ＭＢによる量子化がなされ、量子化データが符号化部２３７に送出される。この符号化部３７では、符号化がなされ符号化ストリームが仮の量子化データとして出力される。尚、逆量子化部２３４、ＩＤＣＴ部２３５、予測画生成部２３６では、量子化部２３３の出力（量子化データ）に基づいて予測画像を得るためにローカルデコード画像が生成される。こうして、一連の処理を終了する。
次に、図１６のフローチャートを参照して、図１５のステップＳ６で実行される符号量予測処理について説明する。
符号量予測処理では、ＧＯＰをある量子化パラメータＱＰで量子化したときのピクチャ発生符号量を計算する（ステップＳ１１１）。これは、ピクチャを量子化パラメータＱＰで量子化したときのＭＢ発生符号量を計算することによって行われる（ステップＳ１１２）。具体的には、マクロブロックごとの符号量予測によって行われる（ステップＳ１１３）。このマクロブロックごとの符号量予測については図１７で後に詳述する。
すなわち、ある量子化パラメータＱＰで量子化したときのマクロブロックごとにＭＢ発生符号量を計算し積算することにより、当該量子化パラメータＱＰにおけるピクチャごとのピクチャ発生符号量を計算する。さらにピクチャ発生符号量を積算することにより、当該量子化パラメータＱＰにおけるＧＯＰごとのＧＯＰ発生符号量を算出する。
こうして、ＧＯＰ発生符号量が目標のＧＯＰ目標符号量以内に収まっているか否かを判断し（ステップＳ１１４）、収まっていない場合には量子化パラメータＱＰを変更しステップＳ１１１に戻り上記処理を繰り返す。一方、収まっている場合には、この処理を終了し、図１５のステップＳ７以降の処理に移行することになる。
次に、図１７のフローチャートを参照して、図１６のステップＳ１１３で実施されるマクロブロックの符号量予測処理について詳述する。
尚、前提として、この実施の形態では、各ＭＢ Ｇｒｏｕｐ毎に、１係数のＣｏｅｆ Ｃｏｓｔの代表値の統計量を作成している。更に、各ＭＢ Ｇｒｏｕｐごとに量子化パラメータＱＰが「０〜５１」の場合の、＜マクロブロックが発生するＤＣＴ係数の符号量の代表値＞の統計量を作成している。また、各ＭＢ Ｇｒｏｕｐごとに量子化パラメータＱＰが「０〜５１」の場合の、「１係数のＣｏｅｆ Ｃｏｓｔが＜１係数のＣｏｅｆ Ｃｏｓｔの代表値＞から１ずれた場合の＜ＭＢ発生符号量が変動する代表値＞」の統計量の作成している。あるマクロブロックのＭＢ発生符号量を統計量から得るときには、そのマクロブロックの増減値ＡｄｄＱｐを反映させる。（→「０」又は「１」については後日確認）
さて、ある量子化パラメータＱＰで符号量を予測する場合、先ずプレコーダ２０１のプレエンコードで求めたマクロブロックのＤＣＴ係数のＭＢ発生符号量から、マクロブロックをグルーピングする（ステップＳ１２１）。
この実施の形態では、ＤＣＴ係数のＭＢ発生符号量／６４をグループ番号（以下、ＭｂＧｒｏｕｐＮｏ）としている。ＭＢ発生符号量を予測するに際しては、関係情報として統計量から作成した量子化パラメータＱＰとＭＢ発生符号量との関係を示す関係テーブル（第１の実施の形態における予測曲線に対応）を使用する。その関係テーブルはＶｉｒＢｉｔｓ［ＭｂＧｒｏｕｐＮｏ］［Ｑｐ］と表現することができ、マクロブロックのグループ番号ごとの予測テーブルとして記憶されている。従って、当該関係テーブルを用いることにより、対象となる量子化パラメータＱＰのＭＢ発生符号量の予測値を得ることができる。
この実施の形態では、Ｉｎｔｅｒ Ｓｌｉｃｅ／Ｉｎｔｒａ Ｓｌｉｃｅで別々の関係テーブルを準備しており、当該Ｉｎｔｅｒ Ｓｌｉｃｅ／Ｉｎｔｒａ Ｓｌｉｃｅごとの関係テーブルを合わせて統計テーブルと呼び、ＶｉｒＢｉｔｓ［ＳｌｉｃｅＴｙｐｅ］［ＭｂＧｒｏｕｐ］［Ｑｐ］と表すことができる。
すなわち量子化パラメータＱＰごとにＭＢ発生符号量が対応付けられた予測テーブルが、マクロブロックグループのグループ番号ごとに設定されることにより関係テーブルを形成し、当該関係テーブルがスライスごとのピクチャタイプ（すなわち予測モード）ごとに設定されることにより統計テーブルが設定されている。この統計テーブルは、図示しないＲＯＭ等に記憶されている。
続いて、１ピクチャは１つのある基本の量子化パラメータＱＰ（ＴａｒｇｅｔＱｐ）についてのＭＢ発生符号量の予測を行うが、画の特徴に応じてマクロブロック毎に量子化パラメータＱＰを増減させる（ステップＳ１２２）。即ち、プレエンコード時の画の特徴に応じて量子化パラメータＱＰの増減値ＡｄｄＱｐを加算する。その増減値ＡｄｄＱｐを反映させた１ピクチャのピクチャ発生符号量は、次式のように表される（ステップＳ１２３）。
Ｓｕｍ（ＶｉｒＢｉｔｓ［ＳｌｉｃｅＴｙｐｅ］［ＭｂＧｒｏｕｐ］［ＴａｒｅｔＱｐ＋ＡｄｄＱｐ］） ……（１４）
すなわち、ピクチャタイプ、マクロブロックのグループ番号及び予測対象となる量子化パラメータＱＰ（ＴａｒｇｅｔＱｐ）に対して増減値ＡｄｄＱｐを反映させた量子化パラメータＱＰ（ＴａｒｇｅｔＱｐ＋ＡｄｄＱｐ）に対応付けられている発生符号量をピクチャごとに積算した値を、当該予測対象となる量子化パラメータＱＰ（ＴａｒｇｅｔＱｐ）におけるピクチャ発生符号量とする。
それに加えてテーブルから得られるＭＢ発生符号量はグループで１つであるから、グループ内でのＭＢ発生符号量の差を反映させるほうが予測の精度が向上すると考えられる。そのために、プレエンコードで得られたＭＢ発生符号量とＶｉｒＢｉｔｓ［ＳｌｉｃｅＴｙｐｅ］［ＭｂＧｒｏｕｐ］［Ｐｒｅ Ｅｎｃｏｄｅ時の量子化パラメータＱＰ］に差（ＤｉｆｆＢｉｔｓ）がある場合は、その差をどの量子化パラメータＱＰでも加算する（ステップＳ２４）。これを式で表すと次のようになる。
ＤｉｆｆＢｉｔｓ＝Ｐｒｅ Ｅｎｃｏｄｅ時のＭＢ発生符号量
−ＶｉｒＢｉｔｓ［ＳｌｉｃｅＴｙｐｅ］［ＭｂＧｒｏｕｐ］［Ｐｒｅ Ｅｎｃｏｄｅ時の量子化パラメータＱＰ］……（１５）
つまり、ここでは、あるマクロブロックをある量子化パラメータＱＰでのＭＢ発生符号量を予測するときに、そのマクロブロックがプレエンコードで実際に発生した符号量と、そのＭＢ Ｇｒｏｕｐでその量子化パラメータＱＰの＜ＭＢが発生するＤＣＴ係数の符号量の代表値＞の差分値を求め、これを固定補正値ＤｉｆｆＢｉｔｓとして付加することになる。この固定補正値は、図１８に概念的に示される。
即ち、図１８において縦軸は符号量、横軸は量子化パラメータＱＰを示している。実線で示した統計量の値に対して、該統計量から外れるものを破線で示している。同図から、同じような状況のマクロブロックの場合、ある量子化パラメータＱＰでＭＢ発生符号量に差があると（図中、矢印で示す）、その差はどの量子化パラメータＱＰでもある程度同じような値である。この点に鑑みて、この固定補正値ＤｉｆｆＢｉｔｓは、グループ内でのＭＢ発生符号量の差として反映させる。
言い換えると、差分値を固定補正値ＤｉｆｆＢｉｔｓとして利用することにより、統計量が表す予測曲線を平行移動させて使用することになる。
続いて、プレエンコード時のＣｏｅｆ Ｃｏｓｔと同じグループの統計量のＣｏｅｆ Ｃｏｓｔの差を求める（ステップＳ１２５）。以下、その理由を説明する。
プレエンコード時は同じグループであっても、量子化パラメータＱＰが変わった場合は、全てのＭＢが同じように減少したり、増加したりはしない。あるマクロブロックはすぐにＭＢ発生符号量が減少するが、あるマクロブロックはなかなかＭＢ発生符号量が減少しない。ＭＢ発生符号量だけの統計量だとそれらの違いが分らず、各ＭＢに誤差が多少出てしまう。個々の誤差はそれほど大きいものではないが、１ピクチャ分加算されるとそれなりの誤差になってしまう。その誤差を修正するために、このステップでは、１係数あたりのＣｏｅｆ Ｃｏｓｔという情報を使うのである。
このＣｏｅｆ Ｃｏｓｔは係数の大きさから計算されており、値が小さいと量子化パラメータＱＰが少し上がっただけでも、０係数となる係数が多いことを示し、逆に値が大きいと量子化パラメータＱＰが多少上がっても０係数となる係数が少ないことを示す。ＭＣ規格に準拠した符号化においては、この０係数の数を増やすとＭＢ発生符号量大きく減少しやすいので、この値を使って誤差を補正する。
この可変補正値は、図１９に概念的に示される。
即ち、図１９において縦軸は符号量、横軸は量子化パラメータＱＰを示している。実線で示した統計量の値に対して、該統計量から外れるものを破線で示している。１係数あたりのＣｏｅｆ Ｃｏｓｔ（Ｃｏｅｆ Ｃｏｓｔ／０でない係数の数）が小さいと、マクロブロックの係数が小さいものが多いということになり、量子化パラメータＱＰを上げると０になるものがすぐに増加していく傾向がある（減少率が大きい）。一方、１係数あたりのＣｏｅｆ Ｃｏｓｔが大きいとマクロブロックの係数が大きいものが多いということになり、量子化パラメータＱＰを上げても０になるものがあまり増加しない傾向がある（減少率が少ない）。そこで、１係数あたりのＣｏｅｆ Ｃｏｓｔと発生ビット数の比率から可変補正値ＣｏｒｒｅｃｔＢｉｔｓを求めて、補正を行う。
言い換えると、実際にＭＢ発生符号量を算出した固定量子化パラメータＱＰＩにおけるＭＢ発生符号量を中心として、可変補正値ＣｏｒｒｅｃｔＢｉｔｓにより統計量が表す予測曲線の傾きを変化させて使用することになる。
具体的には、誤差を補正するために、先ずそのマクロブロックの１係数あたりのＣｏｅｆ Ｃｏｓｔが統計量で作成したグループの１係数あたりのＣｅｏｆ Ｃｏｓｔからのずれ量ＣｏｓｔＤｉｆｆによって算出される。これを式で表すと次のようになる。
ＣｏｓｔＤｉｆｆ＝１係数あたりのＣｏｅｆ Ｃｏｓｔ−Ｃｏｅｆ Ｃｏｓｔ［ＭｂＧｒｏｕｐ］ ……（１６）
つぎに、Ｃｏｅｆ Ｃｏｓｔの差の補正値を統計量から計算し、ＭＢ発生符号量を求める（ステップＳ２６）。即ち、ここでは、統計量から求めた１係数あたりのＣｏｅｆ Ｃｏｓｔが１違えばどのくらいＭＢ発生符号量が増減するという増減テーブルを参照し、次式より可変補正量ＣｏｒｒｅｃｔＢｉｔｓを求める。
ＣｏｒｒｅｃｔＢｉｔｓ＝ＲａｔｉｏＣｏｓｔＢｉｔｓ［ＳｌｉｃｅＴｙｐｅ］［ＭｂＧｒｏｕｐＮｏ］［ＴａｒｇｅｔＱｐ＋ＡｄｄＱｐ］^＊ＣｏｓｔＤｉｆｆ ……（１７）
つまり、このステップでは、あるマクロブロックをある量子化パラメータＱＰでのＭＢ発生符号量を予測するときに、そのＭＢの１係数のＣｏｅｆ Ｃｏｓｔの値とそのＭＢ Ｇｒｏｕｐの１係数のＣｏｅｆ Ｃｏｓｔの代表値にがある場合、その差と「１係数のＣｏｅｆ Ｃｏｓｔが＜１係数のＣｏｅｆ Ｃｏｓｔの代表値＞から１ずれた場合の＜ＭＢ発生符号量が変動する代表値＞（以下、これを補正係数ＲａｔｉｏｎＣｏｓｔＢｉｔと呼ぶ）」から補正するＭＢ発生符号量を求める。
すなわちＭＢ発生符号量は、スライスのピクチャタイプ、マクログループ番号、増減値ＡｄｄＱｐを反映させた量子化パラメータＱＰ（ＴａｒｇｅｔＱｐ＋ＡｄｄＱｐ）から選択された補正係数ＲａｔｉｏｎＣｏｓｔＢｉｔに対し、ずれ量ＣｏｓｔＤｉｆｆが乗算されることにより算出される。
よって１ピクチャのピクチャ発生符号量は、次式のようになる。
Ｓｕｍ（ＶｉｒＢｉｔｓ［ＳｌｉｃｅＴｙｐｅ］［ＭｂＧｒｏｕｐ］［ＴａｒｅｔＱｐ＋ＡｄｄＱｐ］＋ＤｉｆｆＢｉｔｓ＋ＣｏｒｒｅｃｔＢｉｔｓ） ……（１８）
こうして、マクロブロックの符号量予測を終了し、図１６のステップＳ１１４以降の処理に進むことになる。
尚、この実施の形態では、１係数あたりのＣｏｅｆ Ｃｏｓｔという情報を用いて補正を行ったが、Ｃｏｅｆ Ｃｏｓｔという情報を計算する必要がある。処理を少なくする必要がある場合、多少予測精度は落ちてしまうが、１係数あたりのＣｏｅｆ Ｃｏｓｔは１係数あたりの発生符号量でも代用は可能であることは勿論である。この場合、作成する統計量は、１係数の発生符号量の代表値と「１係数の発生符号量が＜１係数の発生符号量の代表値＞から１ずれた場合の＜発生符号量が変動する代表値」となる。
また、マクロブロックのヘッダ（Ｈｅａｄｅｒ）部分の発生符号量は１ピクチャごと行い、量子化パラメータＱＰが０−２６の間は変更なし、４０‐５１の間は１ＭＢあたりある固定ｂｉｔｓ（Ａ ｂｉｔｓ）とする。プレエンコードでのＭＢ Ｈｅａｄｅｒの発生符号量が平均で１ＭＢあたり、Ａ ｂｉｔｓ以上の場合で量子化パラメータＱＰが２７−３９の場合は、量子化パラメータＱＰが４０のときに、１ＭＢあたりＡ ｂｉｔｓになるように直線補間でもとめる。
ここで、固定量子化パラメータＱＰＩは、パラメータエンコードの際に使用されることの多い量子化パラメータＱＰ（例えば「１０〜２０」程度の値）が設定されることが想定されている。ここで符号化装置では、量子化パラメータＱＰが増減した場合であってもヘッダ部分のＭＢ発生符号量が大きく変動しないという特性を利用し、固定量子化パラメータＱＰＩに近い「０〜２６」では、固定量子化パラメータＱＰＩによるＭＢ発生符号量をそのまま固定量子化パラメータＱＰＩ以外の量子化パラメータＱＰＩによるＭＢ発生符号量と予測する。
また符号化装置は、量子化パラメータＱＰＩが一定値を超えると、ヘッダ部分のＭＢ発生符号量が殆ど変化しなくなる特性を利用して、量子化パラメータＱＰが「４０」以上の場合には、固定値「Ａ」ｂｉｔを固定量子化パラメータＱＰＩ以外の量子化パラメータＱＰＩによるＭＢ発生符号量と予測する。
そして符号化装置は、量子化パラメータＱＰＩが「２７〜３９」の場合には、固定値「Ａ」を量子化パラメータＱＰが「４０」のときのＭＢ発生符号量とし、固定量子化パラメータＱＰＩのときのＭＢ発生符号量を「２６」のときのＭＢ発生符号量とし、直線補間によりＭＢ発生符号量を予測する。
これにより符号化装置は、ヘッダ部分の特性を利用して、簡易な処理により高い精度でヘッダ部分のＭＢ発生符号量を予測し得るようになされている。
そして符号化装置は、第１〜第３の実施の形態のいずれかと同様にしてＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢ及び基本量子化パラメータＱＰ_ＭＢを設定し、上述したレート制御を実行するようになされている。
以上詳述したように、本発明の一実施の形態によれば、ＭＢ単位の基本量子化パラメータＱＰ_ＭＢ、ＭＢ目標符号量Ｔａｒｇｅｔ_ＭＢの予測値を精度良く求めることが出来る。本エンコード時のフィードバックは符号量を制御するための保険的な処理である。このため、ピクチャあたりの理想的な符号量配分を予測することが出来、ＶＴＲシステムなどで使用するＣＢＲの符号量制御を少ないＣｏｓｔで実現できる。また、ＴＭ５などのフィードバック型の符号量制御で問題となる、シーケンスの変った場合の符号量の使いすぎによる時間的な不均衡な歪などを無くすことができる。画質が向上する。さらに、当該ピクチャの絵柄に関わらずより正確なマクロブロック毎のレート配分を行うことができ画質が向上する。これにより、一部画像で符号量不足を原因とする画面下部マクロブロックスキップを防ぐことができる。
（４−３）符号化処理手順
次に、符号化プログラムに従って実行されるＭＢ符号量予測処理について、図１７のフローチャートを用いて説明する。
符号化装置のピクチャ符号量予測部２２１は、固定量子化パラメータＱＰによって量子化された量子化データに基づく符号化ストリーム（仮量子化データ）が供給されると、符号量のグルーピング部２２２により、当該符号ストリームのマクロブロックごとの発生符号量ＧｅｎＢｉｔ_ＭＢ及びピクチャタイプから当該マクロブロックをグループに分類し、次のステップＳ１２２へ移る。
ステップＳ２２２において、ピクチャ符号量予測部２２１は、マクロブロック符号量予測部２２３によって、プレコーダ２０１によるプレコード時に算出した画の特徴に応じて、予測対象となる量子化パラメータＱＰに対して増減値ＡｄｄＱＰを加算し、適応量子化パラメータＱＰｔを算出すると、次のステップＳ１２３へ移る。
ステップＳ１２３において、ピクチャ符号量予測部２２１は、マクロブロック符号量予測部２２３によって、マクロブロックのピクチャタイプに基づいて統計テーブルの中から１つの関係テーブルを選択すると共に、マクロブロックが分類されたグループに基づいて１つの予測テーブルを選択し、当該マクロブロックの適応量子化パラメータＱＰｔにおけるＭＢ発生符号量を読出すと、次のステップＳ１２４へ移る。
ステップＳ１２４において、ピクチャ符号量予測部２２１は、マクロブロック符号量予測部２２３により、プレコード時のＭＢ発生符号量ＧｅｎＢｉｔ_ＭＢと選択された予測テーブルにおける固定量子化パラメータＱＰにおける発生符号量との差分値ＤｉｆｆＢｉｔｓを（１５）式に従って算出する。次のステップＳ１２５へ移る。
ステップＳ１２５において、ピクチャ符号量予測部２２１は、マクロブロック符号量予測部２２３により、マクロブロックごとのＣｏｅｆ Ｃｏｓｔの総和を非ゼロ係数の数（すなわちゼロでない係数の数）で除算することにより、１係数当たりのＣｏｅｆ Ｃｏｓｔを算出する。さらにマクロブロック符号量予測部２２３は、プレコード時に算出されたマクロブロックの１係数当たりのＣｏｅｆ Ｃｏｓｔと、当該マクロブロックが分類されたグループの固定量子化パラメータＱＰにおいて算出された１係数当たりのＣｏｅｆ Ｃｏｓｔとの差分値ＣｏｓｔＤｉｆｆを（１６）式に従って算出すると、次のステップＳ１２６へ移る。
ステップＳ１２６において、ピクチャ符号量予測部２２１は、マクロブロック符号量予測部２２３により、ピクチャタイプ、グループ、適応量子化パラメータＱＰｔの値ごとに記憶されている補正情報から対応する補正係数ＲａｔｉｏＣｏｓｔＢｉｔを選択する。さらにマクロブロック符号量予測部２２３は、当該選択された補正係数とステップＳ１２５で算出した差分値ＣｏｓｔＤｉｆｆとを乗算することにより、（１７）式に従って補正値ＣｏｒｒｅｃｔＢｉｔｓを算出する。
そしてマクロブロック符号量予測部２２３は、ステップＳ１２４において読出した適応量子化パラメータＱＰｔにおけるＭＢ発生符号最に対し、ステップＳ１２４において算出した差分値ＤｉｆｆＢｉｔｓ及び補正値ＣｏｒｒｅｃｔＢｉｔｓを加算することにより、（１８）式に従って適応量子化パラメータＱＰｔにおけるＭＢ発生符号量を予測すると、終了ステップへ移って処理を終了し、符号量予測処理手順ＲＴ９のステップＳ１１３へ戻る。
（４−４）復号化装置
次に、このようにして符号化された本符号化ストリームを復号する復号化装置３００の構成を、図２０を用いて説明する。
復号化装置３００は、本符号化ストリームが供給されると、当該本符号化ストリームに設定された設定情報を用いて当該本符号化ストリームの復号化を行う。具体的に復号化装置３００は、本符号化ストリームを復号化部３０１に供給する。復号化部３０１は、本符号化ストリームを復号化して量子化データを生成し、逆量子化部３０２に供給する。
逆量子化部３０２は、設定情報に設定された量子化パラメータＱＰを用いて量子化データを逆量子化することにより、ＤＣＴ係数でなる画像データを復元し、これをＩＤＣＴ部３０３へ供給する。ＩＤＣＴ部３０３は、画像データに対してＩＤＣＴ処理を施し、差分画像データＳＡＤを予測画像加算部３０４に供給する。
予測画像加算部３０４は、差分画像データＳＡＤに対し、逆イントラ予測処理及び動き予測処理によって予測した予測値を加算し、画像を表すビデオ出力信号を生成し、これを図示しない外部機器などに出力するようになされている。
（４−５）動作及び効果
以上の構成において、符号化装置は、画像データを量子化した後に領域に応じてマクロブロック発生符号量が大きく変化しない符号化方式によって符号化した符号化ストリームを仮量子化データとする。また符号化装置は、予測用量子化データとして予測テーブルを用い、当該予測テーブルにおける固定量子化パラメータＱＰＩ以外の量子化パラメータＱＰに基づく量子化ステップ（すなわち選択されなかった量子化ステップ）におけるＭＢ発生符号量を、可変補正値ＣｏｒｒｅｃｔＢｉｔｓを用いて補正することにより、画像データとしてのＤＣＴ係数データを当該選択されなかった量子化ステップによって量子化したときのＭＢ発生符号量を予測する。
これにより符号化装置は、領域に応じてマクロブロック発生符号量が大きく変化しない符号化方式によって量子化データを符号化したような場合であっても、選択された固定量子化パラメータＱＰを用いて算出したＭＢ発生符号量に基づいて固定量子化パラメータＱＰＩ以外の量子化パラメータＱＰにおけるＭＢ発生符号量を予測することが可能となる。
また符号化装置は、画像データに対して所定の直交変換処理であるＤＣＴ処理を施すことにより画像データとしてのＤＣＴ係数データ（変換係数）を生成し、当該ＤＣＴ係数データに基づいて、予測曲線における固定量子化パラメータＱＰＩ以外の量子化パラメータＱＰによる量子化ステップ（すなわち選択されなかった量子化ステップ）におけるマクロブロック発生符号量を補正する可変補正値ＣｏｒｒｅｃｔＢｉｔｓを選択する。
さらに符号化装置は、ＤＣＴ係数をゼロにするのに必要となるゼロ量子化ステップに基づく量子化パラメータＱＰに応じて算出される指標値としてのＣｏｅｆ Ｃｏｓｔのマクロブロックごとの指標総和として、当該Ｃｏｅｆ Ｃｏｓｔの総和を算出する。符号化装置は、当該Ｃｏｅｆ Ｃｏｓｔの総和に基づいてＭＢ発生符号量を補正する補正値としての可変補正値ＣｏｒｒｅｃｔＢｉｔｓを決定する。
これにより符号化装置は、ＭＢ発生符号量に大きな影響を与えるＣｏｅｆ Ｃｏｓｔに基づいて可変補正値ＣｏｒｒｅｃｔＢｉｔｓを決定できるため、ＭＢ発生符号量を適切に補正することができる。また符号化装置は、Ｃｏｅｆ Ｃｏｓｔの総和を用いることにより、Ｃｏｅｆ Ｃｏｓｔの全ての値を用いる場合と比較して、記憶しておく可変補正値ＣｏｒｒｅｃｔＢｉｔｓの情報量及び処理負荷を低減させることができる。
また符号化装置は、小さい値でなるゼロ量子化ステップに基づく量子化パラメータＱＰに対してＣｏｅｆ Ｃｏｓｔの増減が大きくなるようＣｏｅｆ Ｃｏｓｔを算出する。
これにより符号化装置は、量子化パラメータＱＰの増加に応じて「０」になる可能性の高いＤＣＴ係数について、Ｃｏｅｆ Ｃｏｓｔの増減を大きくすることができ、ＭＢ発生符号量の変動の大きさをそのままＣｏｅｆ Ｃｏｓｔに反映させることができる。
さらに符号化装置は、ＤＣＴ係数がゼロでない非ゼロ係数の数当たりのＣｏｅｆ Ｃｏｓｔである１係数当たりのＣｏｅｆ Ｃｏｓｔに基づいて可変補正値ＣｏｒｒｅｃｔＢｉｔｓを決定する。
これにより符号化装置は、ＭＢ発生符号量に大きな影響を与える非ゼロ係数の数を可変補正値ＣｏｒｒｅｃｔＢｉｔｓを決定する際の因子とすることができるため、補正によるＭＢ発生符号量の予測精度を向上させることができる。
また符号化装置は、ＤＣＴ係数がゼロでない非ゼロ係数の数当たりのＣｏｅｆ Ｃｏｓｔ及びＭＢ発生符号量の予測対象となる固定量子化パラメータＱＰＩ以外の量子化パラメータＱＰによる量子化ステップ（すなわち選択されなかった量子化ステップ）に基づいて可変補正値ＣｏｒｒｅｃｔＢｉｔｓを決定する。
これにより符号化装置は、固定量子化パラメータＱＰＩと当該固定量子化パラメータＱＰＩ以外の量子化パラメータＱＰとの差分（すなわち選択された量子化ステップと選択されなかった量子化ステップとの差分）に応じた可変補正値ＣｏｒｒｅｃｔＢｉｔｓを決定することができるため、補正によるＭＢ発生符号量の予測精度を向上させることができる。
さらに符号化装置は、仮量子化データである符号化ストリームのＭＢ発生符号量に応じて、選択された予測テーブルの固定量子化パラメータＱＰＩ以外の量子化ステップにおけるＭＢ発生符号量を補正する可変補正値ＣｏｒｒｅｃｔＢｉｔｓを決定する。
また符号化装置は、予測テーブルの選択された量子化ステップ（固定量子化パラメータＱＰＩに基づく量子化ステップ）におけるＭＢ発生符号量から、予測テーブルが表す予測用量子化データにおける当該選択された量子化ステップによるＭＢ発生符号量の差分値として固定補正値ＤｉｆｆＢｉｔｓを算出する。そして符号化装置は、選択されなかった量子化パラメータＱＰ（すなわち固定量子化パラメータＱＰＩ以外のに応じてによる予測テーブルが表すＭＢ発生符号量に対して固定補正値ＤｉｆｆＢｉｔｓを加算することにより、当該選択されなかった量子化ステップによるＭＢ発生符号量を予測する。
これにより符号化装置は、予測量子化データへのグループ分けの際に生じる誤差を固定補正値ＤｉｆｆＢｉｔｓによって補正することができるため、ＭＢ発生符号量の予測精度を向上させることができる。
さらに符号化装置は、画像データのうち、画像部分のＭＢ発生符号量と、画像データのうち、ヘッダ部分のＭＢ発生符号量とを別々に予測する。
これにより符号化装置は、増減傾向が異なる画像部分及びヘッダ部分のＭＢ発生符号量を別々に予測できるため、ＭＢ発生符号量の予測精度を向上させることができる。
また符号化装置は、選択されなかった量子化ステップの基となる固定量子化パラメータＱＰＩ以外の量子化パラメータＱＰが選択された量子化ステップの基になる固定量子化パラメータＱＰＩに近い「０〜２６」までの第１のステップ範囲である場合には、当該固定量子化パラメータＱＰＩにおけるヘッダ部分のＭＢ発生符号量を固定量子化パラメータＱＰＩ以外の量子化パラメータＱＰにおけるヘッダ部分のＭＢ発生符号量とする。
さらに符号化装置は、選択されなかった量子化ステップの基となる固定量子化パラメータＱＰＩ以外の量子化パラメータＱＰが選択された量子化ステップの基になる固定量子化パラメータＱＰＩから遠い「４０」以上の第２のステップ範囲である場合には、予め定められた固定値「Ａ」でなる固定のＭＢ発生符号量を固定量子化パラメータＱＰＩ以外の量子化パラメータＱＰにおけるヘッダ部分のＭＢ発生符号量とする。
加えて符号化装置は、選択されなかった量子化ステップの基になる固定量子化パラメータＱＰＩ以外の量子化パラメータＱＰが「０〜２６」及び「４０」以上の間となる「２７〜３９」の第３のステップ範囲である場合には、選択された量子化ステップの基になる固定量子化パラメータＱＰＩにおけるＭＢ発生符号量と固定のＭＢ発生符号量（ただし、量子化パラメータＱＰＩを第１のステップ範囲の最大値「２６」及び第２のステップ範囲の最小値「４０」とする）との直線補間により算出された値を固定量子化パラメータＱＰＩ以外の量子化パラメータＱＰにおけるＭＢ発生符号量とする。
これにより符号化装置は、ヘッダ部分の特性に応じてＭＢ発生符号量を予測することができるため、ＭＢ発生符号量の予測精度を向上させることができる。
符号化装置は、画像データを量子化した後に算術符号化によって符号化することにより本量子化データとしての本符号化ストリームを生成し、画像データを量子化した後に、コンテキストを適用的に変更してなる可変長符号化によって符号化することにより仮の量子化データとしての仮符号化ストリームを生成する。
これにより符号化装置は、算術符号化よりも簡易な可変長符号化を用いて各画像データのＭＢ発生符号量を予測できるため、構成を簡易にすることができる。また、コンテキストを適用的に変更してなる可変長符号化を用いることにより、算術符号化との間に生じる誤差を小さくし得る。
以上の構成によれば、符号化装置は、予測テーブルにおいて固定量子化パラメータＱＰＩ以外の量子化パラメータＱＰが示すＭＢ発生符号量を符号化方式に応じて補正することにより、固定量子化パラメータＱＰに基づくＭＢ発生符号量に基づいて、固定量子化パラメータＱＰＩ以外の量子化パラメータによるＭＢ発生符号量を高い精度で予測することができる。
（５）他の実施の形態
なお上述した第１の実施の形態においては、固定量子化スケールＱＩを「１０」に設定するようにした場合について述べた。本発明はこれに限らず、１〜３１でなる量子化インデックスの中から任意に選択することが可能である。また第４の実施の形態における固定量子化パラメータＱＰＩについても同様であり、０〜５１でなる量子化インデックスの中から任意に選択することが可能である。
また上述した第１〜第４の実施の形態においては、１６×１６画素でなるマクロブロックを量子化単位とするようにした場合について述べた。本発明はこれに限らず、例えば８×８画素のサブマクロブロックや４×４画素を量子化単位としても良く、量子化単位となる画素数について特に制限はない。
さらに上述した第１〜第４の実施の形態においては、ピクチャを符号化単位とするようにした場合について述べたが、本発明はこれに限られない。例えば所定数のピクチャからなるＧＯＰや、複数のマクロブロックからなるスライス、２つのピクチャからなるフレームなどを符号化単位とするようにしても良く、特に制限はない。
さらに上述した第１〜第３の実施の形態においては、ＭＰＥＧ−２に準拠して符号化が実行されるようにした場合について述べたが、本発明はこれに限られない。また第４の実施の形態についても同様であり、ＡＶＣ規格に限られない。符号化方式について特に制限されず、要は予め定められた複数の量子化ステップによって量子化がなされる全ての符号化装置に適用することが可能である。
さらに上述した第１〜第４の実施の形態においては、あるＭＢ発生符号量を有する複数の複数の予測用量子化データについて、統計的に量子化スケールＱ又は量子化パラメータＱＰとＭＢ発生符号量の関係を採取し、関係情報として記憶するようにした場合について述べた。本発明はこれに限られず、例えば量子化スケールＱ又は量子化パラメータＱＰと複数の予測用量子化データについてのＭＢ発生符号量の関係を離散的に採取し、これらに基づく変換式などにより、線形補間などにより近似的に予測用量子化データのＭＢ発生符号量を予測し、関係情報として記憶することも可能である。またこの関係情報は、必ずしもピクチャタイプごとに生成されなくても良い。さらに、関係情報に設定される予測量子化データ（すなわちグループ）の数も任意に設定することができる。
さらに上述した第１〜第４の実施の形態においては、パラメータエンコード（本符号化）において適応量子化を実行するようにした場合について述べた。本発明はこれに限られず、必ずしも適応量子化を実行する必要はない。この場合、プレエンコード（仮符号化）の際にも、適応量子化（アクティビティによる量子化ステップの増減）が不要となる。また、適応量子化の指標として必ずしもアクティビティを用いる必要はなく、他の指標を用いて適応量子化を実行することもできる。
さらに上述した第１〜第４の実施の形態においては、他の量子化ステップによるＭＢ発生符号量を予測して、レート制御による目標発生符号量Ｔａｒｇｅｔ_ＭＢに反映させるようにした場合について述べた。本発明はこれに限らず、例えば符号化ストリームが記憶媒体の記憶容量内に収納可能か否かを判別する処理や、圧縮率を決定する処理において使用されるようにしても良い。
さらに上述した第１〜第４の実施の形態においては、基本量子化スケールＱから変動させた変動量子化スケールＱＳ_ＭＢ又は基本量子化パラメータＱＰに基づく基本量子化ステップから変動させた変動量子化パラメータＱＰＳ_ＭＢに基づく変動量子化ステップによって量子化することにより、ピクチャ発生符号量をピクチャ目標符号量に近づけるようにした場合について述べた。本発明はこれに限らず、単純に基本量子化スケールＱや基本量子化パラメータＱＰを用いて量子化しても良い。
さらに上述した第１〜第４の実施の形態においては、ピクチャ発生符号量がピクチャ目標符号量ｐｉｃｔＢｉｔよりも小さく、かつ最も近い量子化スケールＱ又は量子化パラメータＱＰを平均量子化スケールＱａとするようにした場合について述べた。本発明はこれに限らず、例えばピクチャ発生符号量がピクチャ目標符号量ｐｉｃｔＢｉｔに最も近い量子化スケールＱ選択しても良い。量子化パラメータＱＰについても同様である。
さらに上述した第４の実施の形態においては、可変補正値ＣｏｒｒｅｃｔＢｉｔｓを決定するための指標値としてＣｏｅｆ Ｃｏｓｔを用いるようにした場合について述べた。本発明はこれに限らず、その他種々の方法により可変補正値ＣｏｒｒｅｃｔＢｉｔｓを決定することができる。また、Ｃｏｅｆ Ｃｏｓｔを総和ではなく単体として使用したり、１係数当たりでなくＣｏｅｆ Ｃｏｓｔ同士を比較したりしても良い。またＣｏｅｆ Ｃｏｓｔの算出方法にも制限はなく、ＤＣＴ係数に対して単純に比例するような値をＣｏｅｆ Ｃｏｓｔとして用いても良い。
さらに上述した第４の実施の形態においては、固定補正値ＣｏｓｔＤｉｆｆを加算するようにした場合について述べた。本発明はこれに限らず、必ずしも固定補正値ＣｏｓｔＤｉｆｆによる補正は必要ではない。
さらに上述した第４の実施の形態においては、画像部分とヘッダ部分のＭＢ発生符号量を別々に予測するようにした場合について述べた。本発明はこれに限らず、同時に予測することも可能である。またヘッダ部分のＭＢ発生符号量の予測方法に制限はなく、例えば画像部分と同様に、ヘッダ部分専用の関係情報を用いるようにすることもできる。
さらに上述した第４の実施の形態においては、算術符号化により本符号化処理を実行する一方、可変長符号化により仮符号化処理を実行する場合について述べた。本発明はこれに限らず、符号化方式に制限はなく、同一の符号化方式により符号化しても良く、また他の符号化方式を用いることもできる。
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。また上述した第１〜第４の実施の形態の構成を適宜組み合わせることが可能である。
例えば、前述した第１〜第４の実施の形態に係る画像処理装置及び方法は、コンピュータにより実行されるプログラム、及び該プログラムを格納した記録媒体としても実施可能であることは勿論であり、その場合も、前述した作用効果が奏される。

Claims (20)

1. 複数の量子化ステップのうち、量子化単位ごとに量子化ステップを選択する量子化選択部と、
   上記量子化選択部によって選択された量子化ステップで画像データを量子化して仮の量子化データを生成し、当該仮の量子化データの量子化単位ごとの発生符号量である量子化単位発生符号量を算出する仮符号化部と、
   上記量子化選択部によって選択された量子化ステップにおいて上記量子化単位発生符号量が相違する複数の予測用量子化データについて、上記複数の量子化ステップと上記量子化単位発生符号量との関係を表す関係情報を記憶する記憶部と、
   上記仮の量子化データの上記量子化単位発生符号量及び上記量子化選択部によって選択された量子化ステップに基づいて上記関係情報から予測用量子化データを選択するデータ選択部と、
   上記データ選択部によって選択された上記予測用量子化データに基づいて、上記複数の量子化ステップのうち、上記量子化選択部によって選択されなかった量子化ステップによって上記画像データを量子化したときの上記量子化単位発生符号量を予測する符号量予測部と
   を有する画像処理装置。
2. 予測した上記量子化単位発生符号量を積算することにより、符号化単位ごとの上記量子化データの発生符号量である符号化単位発生符号量を予測する符号化単位発生符号量予測部
   を有する請求項１に記載の画像処理装置。
3. 上記複数の量子化ステップのうち、上記符号化単位発生符号量が上記符号化単位ごとの目標となる符号化単位目標符号量に近づくよう基本量子化ステップを予測する基本量子化ステップ予測部
   を有する請求項２に記載の画像処理装置。
4. 上記量子化単位ごとに上記画像データを量子化し、本量子化データを生成する本符号化部と、
   上記本量子化データの上記符号化単位発生符号量が上記符号化単位目標符号量に近づくよう、上記基本量子化ステップから変動させた変動量子化ステップで上記画像データを量子化させるよう上記本符号化部を制御する符号量制御部と
   を有する請求項３に記載の画像処理装置。
5. 本量子化データの上記量子化単位発生符号量と上記量子化単位ごとの発生符号量の目標となる量子化単位目標符号量との符号量の差分に基づいて上記変動量子化ステップを決定する変動量子化ステップ決定部
   を有する請求項４に記載の画像処理装置。
6. 上記基本量子化ステップ予測部によって予測された上記基本量子化ステップに基づいて予測した上記量子化単位発生符号量を、上記量子化単位目標符号量とする量子化単位目標符号量設定部
   を有する請求項４に記載の画像処理装置。
7. 上記符号量制御部は、
   上記量子化選択部によって選択された量子化ステップによる上記符号化単位発生符号量に対する上記符号化単位目標符号量の比率を、上記量子化選択部によって選択された量子化ステップに基づく上記量子化単位発生符号量に対して乗算した値を、上記量子化単位目標符号量とする量子化単位目標符号量設定部
   を有する請求項４に記載の画像処理装置。
8. 上記基本量子化ステップ予測部は、
   上記符号化単位発生符号量が上記符号化単位目標符号量よりも小さく、かつ上記符号化単位発生符号量及び上記符号化単位目標符号量の差分が最小となる平均量子化ステップを選択し、当該平均量子化ステップに対してアクティビティ増減値を加減することにより、上記基本量子化ステップを予測する
   請求項１に記載の画像処理装置。
9. 上記仮符号化部は、
   上記量子化選択部によって選択された量子化ステップにより上記符号化単位の上記画像データを量子化する
   請求項１に記載の画像処理装置。
10. 上記記憶部は、
    ピクチャタイプごとに上記関係情報を記憶し、
    上記符号量予測部は、
    上記ピクチャタイプに応じた関係情報から上記予測用量子化データを選択する
    請求項１に記載の画像処理装置。
11. 上記仮符号化部は、
    上記量子化単位ごとの上記画像データに応じた量子化ステップにより上記画像データを量子化する
    請求項１に記載の画像処理装置。
12. 上記仮符号化部は、
    上記画像データを量子化した後に固定的なテーブルを用いて可変長符号化することにより上記仮量子化データを生成し、
    上記符号量予測部は、
    上記データ選択部によって選択された上記予測用量子化データの上記量子化選択部によって選択されなかった量子化ステップにおける上記量子化単位発生符号量を、上記量子化選択部によって選択されなかった量子化ステップによって上記画像データを量子化したときの上記量子化単位発生符号量として予測する
    請求項１に記載の画像処理装置。
13. 上記仮符号化部は、
    上記画像データを量子化した後に領域に応じて上記量子化単位発生符号量が大きく変化しない符号化方式によって符号化することにより上記仮量子化データを生成し、
    上記符号量予測部は、
    上記データ選択部によって選択された上記予測用量子化データの上記量子化選択部によって選択されなかった量子化ステップにおける上記量子化単位発生符号量を補正することにより、上記量子化選択部によって選択されなかった量子化ステップによって上記画像データを量子化したときの発生符号量を予測する
    請求項１に記載の画像処理装置。
14. 上記仮符号化部は、
    画像データに対して所定の直交変換処理を施すことにより、上記画像データを生成し、
    上記符号量予測部は、
    上記画像データにおける変換係数に基づいて、上記データ選択部によって選択された上記予測用量子化データの上記量子化選択部によって選択されなかった量子化ステップにおける上記量子化単位発生符号量を補正する補正値を決定する
    請求項１３に記載の画像処理装置。
15. 上記符号量予測部は、
    上記変換係数をゼロにするのに必要となるゼロ量子化ステップに応じて算出される指標値の上記量子化単位ごとの指標総和を算出し、当該指標総和に基づいて上記量子化単位発生符号量を補正する補正値を決定する
    請求項１４に記載の画像処理装置。
16. 上記符号量予測部は、
    上記量子化選択部によって選択された量子化ステップにおける上記予測用量子化データの発生符号量からの上記量子化単位発生符号量の差分を、上記量子化選択部によって選択されなかった量子化ステップによる上記予測用量子化データの量子化単位発生符号量に対して加算することにより、上記量子化選択ステップによって選択されなかった量子化ステップによる上記量子化単位発生符号量を予測する
    請求項１に記載の画像処理装置。
17. 上記符号量予測部は、
    上記画像データのうち、画像部分の上記量子化単位発生符号量を予測する画像符号量予測部と、
    上記画像データのうち、ヘッダ部分の上記量子化単位発生符号量を予測するヘッダ符号量予測部と
    を有する請求項１に記載の画像処理装置。
18. 上記仮符号化部は、
    ＡＶＣ規格に従って上記量子化データを生成し、
    上記符号量予測部は、
    上記画像データのうち、画像部分の上記量子化単位発生符号量を予測する画像符号量予測部と、
    上記画像データのうち、ヘッダ部分の上記量子化単位発生符号量を予測するヘッダ符号量予測部とを有し、
    上記ヘッダ符号量予測部は、
    量子化ステップの基になる０〜５１の量子化パラメータのうち、上記量子化選択部によって選択されなかった量子化ステップが２６以下の上記量子化パラメータに基づくときには上記量子化選択部によって選択された量子化ステップにおける上記量子化単位発生符号量を上記量子化選択部によって選択されなかった量子化ステップにおける上記量子化単位発生符号量とする第１のヘッダ符号量予測部と、
    上記量子化選択部によって選択されなかった量子化ステップが４０以上５１以下の上記量子化パラメータに基づくときには、予め定められた固定値でなる固定発生符号量を上記量子化選択部によって選択されなかった量子化ステップにおける上記量子化単位発生符号量とする第２のヘッダ符号量予測部と、
    上記量子化選択部によって選択されなかった量子化ステップが２７以上３９以下の上記量子化パラメータに基づくときには、上記量子化選択部によって選択された量子化ステップにおける上記量子化単位発生符号量と上記固定発生符号量（ただし、量子化ステップをそれぞれ第１のステップ範囲の最大値及び第２のステップ範囲の最小値とする）との直線補間により算出された値を上記量子化選択部によって選択されなかった量子化ステップにおける上記量子化単位発生符号量とする第３のヘッダ符号量予測部と
    を有する請求項１３に記載の画像処理装置。
19. 上記本符号化部は、
    画像データを量子化した後に算術符号化によって符号化することにより上記本量子化データを生成し、
    上記仮符号化部は、
    画像データを量子化した後に、コンテキストを適用的に変更してなる可変長符号化によって符号化することにより上記仮の量子化データを生成する
    請求項４に記載の画像処理装置。
20. 複数の量子化ステップのうち、量子化単位ごとに量子化ステップを選択する量子化選択ステップと、
    上記選択ステップにおいて選択された量子化ステップで画像データを量子化して仮の量子化データを生成し、当該仮の量子化データの量子化単位ごとの発生符号量である量子化単位発生符号量を算出する仮符号化ステップと、
    上記量子化選択ステップで選択された量子化ステップにおいて上記量子化単位発生符号量が相違する複数の予測用量子化データについて、上記複数の量子化ステップと上記量子化単位発生符号量との関係を表す関係情報を記憶する記憶ステップと、
    上記仮の量子化データの上記量子化単位発生符号量及び上記量子化選択ステップで選択された量子化ステップに基づいて、上記関係情報から予測用量子化データを選択するデータ選択ステップと、
    上記量子化選択ステップにおいて選択された上記予測用量子化データに基づいて、上記複数の量子化ステップのうち、上記量子化選択部によって選択されなかった量子化ステップによって上記画像データを量子化したときの上記量子化単位発生符号量を予測する符号量予測ステップと
    を有する画像処理方法。

Images