JPWO2009157579A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

本発明は、使用量子化因子を大きく変動させることなく、画像単位ごとの発生符号量を目標符号量以下に確実に抑制することができる。画像符号化装置（２００）は、入力画像（９１）を符号化したときの本エンコード発生符号量が目標符号量の近傍になると予測される基本量子化因子としての基本量子化パラメータ（ＱＰＭＢ）を決定する。画像符号化装置（２００）は、少なくとも基本量子化パラメータ（ＱＰＭＢ）に基づいて決定された使用量子化因子としての平均量子化パラメータＢａｓｅＱＰに基づく適応量子化パラメータ（ＱＰｔ）を用いて量子化することにより、入力画像（９１）をフィードバック制御単位ごとに符号化する。画像符号化装置（２００）は、符号化された入力画像（９１）の発生符号量をフィードバック制御単位ごとに確認し、画像単位ごとの発生符号量が画像単位ごとの目標符号量を超えると予測する場合に、平均量子化パラメータＢａｓｅＱＰを増大させることにより、適応量子化パラメータ（ＱＰｔ）の値を増大させる。

Description

本発明は、例えば画像符号化装置等に係り、特に１ピクチャに与えられた目標符号量に画面内フィードバック制御を行わずに発生符号量を合わせ込む技術分野に関する。

従来、動画のビットストリームを伝送したり記録メディアに記録したりするシステム等においては、伝送路或いは記録容量を効率良く利用するために、高能率符号化が実施されている。これを実現する画像符号化装置では、エンコーダで発生するビットストリームの符号化ビットレートは伝送メディアの転送レートに合わせて一定とされており、この制限の下でデータ発生量、つまり、エンコーダにおける量子化の量子化ステップが制御されている。すなわち、画像符号化装置は、例えば絵柄が複雑な画像が連続するときは量子化ステップを大きくしてデータ発生量を抑圧し、これとは逆に単純な絵柄が連続するときは量子化ステップを小さくしてデータ発生量を増加させることで、バッファメモリのオーバーフロー又はアンダーフローを生じさせないようにして固定レートを保持している。
従って、このような従来技術に係る画像符号化装置は、複雑な画像が連続するときは量子化ステップが大きくなり画質を劣化させ、単純な画像が連続するときは量子化ステップが小さくなり全体を通じて均等な画質を得ることができなかった。この問題に鑑みて、例えば特許文献１では、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）毎の符号化の難易度と複数のＧＯＰの符号化の難易度の総和の比に従って各ＧＯＰ自身に割り当てられる割当符号量を、絵柄が複雑な画像を含むＧＯＰに対しては多く割り当て、絵柄が単純な画像を含むＧＯＰに対しては少なく割り当てるように算出する画像符号化装置が開示されている。
一方、１ピクチャに与えられた目標符号量に発生符号量を合わせ込む方法として、例えばＴＭ５（ｔｅｓｔ ｍｏｄｅｌ ５）のｓｔｅｐ２が良く知られている。これは、ピクチャに割り当てられた符号量をマクロブロック（ＭＢ；Ｍａｃｒｏ ｂｌｏｃｋ）に均等に配分したものをＭＢの目標符号量とし、ピクチャ内でフィードバック（ｆｅｅｄ ｂａｃｋ）制御をかける事で、目標符号量に合わせ込む手法である。
また、ＭＰＥＧ等の冗長圧縮方式の符号化処理において、画像符号化装置はＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）等の直行変換を施した後、量子化処理を行うことで情報量を減らす処理を行う。そして、画像符号化装置は、この量子化の値を制御して、符号量の制御を行う。このとき、量子化パラメータと発生符号量との間には単調な減少関係が成立する。このため、画像符号化装置は、適当な間隔の量子化値で実際に符号量を計算して、その中間に位置する符号量の予測値については直線的な補間を行う等すれば、発生符号量を予測することができる（ＤＶ等のイントラＶＴＲで行われるバイナリサーチ等）。
この方法は、ＭＰＥＧ２等の固定テーブルを使用した符号化方式だけでなく、ＡＶＣ等で用いられる適応型（Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ）な符号化方式においても適用可能である。
特許第３３５８６２０号公報。

しかしながら、前述したＴＭ５のｓｔｅｐ２の方法では、シーケンス先頭ピクチャやシーンチェンジ直後ピクチャのエンコードにおいて、量子化ステップの初期値が、そのピクチャの絵柄に合ったものではないため、画質が劣化する場合があった。
例えばＴＭ５のｓｔｅｐ２の方法において、画像符号化装置は、フォードバックが絵柄に追従するまでの部分の量子化ステップが大きすぎる場合は、その部分の画質が他の部分に比べて劣化してしまい、量子化値が小さすぎる場合は、その部分で符号量を使いすぎてしまい、他の部分にその影響が及ぶおそれがある。
また、画像符号化装置は、ＭＢの目標符号量を常に一定にしているため、画面内で画の難しさに偏りがある時などは、不適切な符号量配分になっていた。
そこで、本発明は、量子化ステップの基になる使用量子化因子を大きく変動させることなく、画像単位ごとの発生符号量を目標符号量以下に確実に抑制することを課題とする。

かかる課題を解決するため本発明の画像処理装置においては入力画像を符号化したときの画像単位ごとの発生符号量が画像単位ごとの目標符号量の近傍になると予測される基本量子化因子を決定する基本量子化因子決定部と、少なくとも基本量子化因子に基づいて決定された使用量子化因子を用いて量子化することにより、入力画像をフィードバック制御単位ごとに符号化する符号化部と、符号化部によって符号化された入力画像の発生符号量をフィードバック制御単位ごとに確認し、画像単位ごとの発生符号量が画像単位ごとの目標符号量を超えると予測する場合に、使用量子化因子を増大させるフィードバック制御部とを設けるようにした。
これにより、画像処理装置は、限定的な条件において、使用量子化因子を増大のみさせるため、使用量子化因子の変動を最小限に抑制することができる。
また、本発明の画像処理方法では、入力画像を符号化したときの画像単位ごとの発生符号量が画像単位ごとの目標符号量の近傍になると予測される基本量子化因子を決定する基本量子化因子決定ステップと、少なくとも基本量子化因子に基づいて決定された使用量子化因子を用いて量子化することにより、入力画像をフィードバック制御単位ごとに符号化して符号化ストリームを生成する符号化ステップと、符号化ステップにおいて符号化された入力画像の発生符号量をフィードバック制御単位ごとに確認し、画像単位ごとの発生符号量が画像単位ごとの目標符号量を超えると予測する場合に、使用量子化因子を増大させるフィードバック制御ステップとを設けるようにした。
これにより、画像処理方法は、限定的な条件において、使用量子化因子を増大のみさせるため、使用量子化因子の変動を最小限に抑制することができる。
本発明によれば、限定的な条件において、使用量子化因子を増大のみさせるため、使用量子化因子の変動を最小限に抑制することができる。かくして使用量子化因子を大きく変動させることなく、画像単位ごとの発生符号量を目標符号量以下に確実に抑制することができる画像処理装置及び画像処理方法を実現できる。

図１は、本発明の第１の形態に係る画像符号化装置の構成図。
図２は、本発明の第１の実施の形態に係る画像符号化装置による符号化の処理手順を詳細に説明するフローチャート。
図３は、適応的なＱ Ｍａｔｒｉｘの切り替え処理について更に説明するフローチャート。
図４は、離散的な値のＱＰの補正を行い、間のＱＰについて補間により符号量を計算することを説明する概念図。
図５は、本発明の第２の形態に係る画像符号化装置の構成図。
図６は、フィードバック制御での基本ＱＰの決定処理について、その処理手順を説明するフローチャート。

１…第１のプレエンコード部、２…第２のプレエンコード部、３…エンコード部、４…符号量制御部、５，６…ディレイバッファ、１１…画面内予測モード決定部、１２…画面内予測処理部、１３…ＤＣＴ部、１４…量子化部、１５…エントロピー符号長計算部、２１…画面内予測処理部、２２…ＤＣＴ部、２３…量子化部、２４…エントロピー符号長計算部、２５…バッファ、２６…ＩＤＣＴ部、２７…逆量子化部、３１…画面内予測処理部、３２…ＤＣＴ部、３３…量子化部、３４…エントロピー符号化部、３５…バッファ、３６…ＩＤＣＴ部、３７…逆量子化部

以下、図面を参照して、本発明を実施するための最良の形態（以下、単に実施の形態と称する）について詳細に説明する。なお説明は以下の順序で行う。
１．第１の実施の形態（離散的な選択量子化パラメータを用いた発生符号量の推測）
２．第２の実施の形態（フィードバック制御）
３．他の実施の形態
＜１．第１の実施の形態＞
［１−１．本発明の特徴］
この実施の形態に係る画像符号化装置１００及び画像符号化方法は、以下などを特徴とする。
画像符号化装置１００は、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；高度動画像圧縮符号化標準）等に代表される算術符号化を用いた画像圧縮方式でなる。画像符号化装置１００は、符号量制御を行う際に、ピクチャ内で良好な符号量分布を実現するために、並列プレエンコード（Ｐｒｅ Ｅｎｃｏｄｅ）と直列プレエンコードを組み合わせる。これにより、画像符号化装置１００は、回路規模とＬａｔｅｎｃｙ（遅延時間）の増加を抑えつつ、精度のよい予測を行う。
より詳細には、画像符号化装置１００は、第１及び第２のプレエンコード部１及び２により、量子化と符号長計算部のみ並列に行い、他の処理要素は共用することで、回路共通化による回路規模の削減を図る。
つまり、本来であれば、並列プレエンコードを行う場合には、全ての処理要素を並列に設ける必要があるところ、この実施の形態に係る画像符号化装置１００では、精度に影響なく共通化できる処理要素を的確に特定し、該処理要素につき回路を共通化する。これにより、第１及び第２のプレエンコード部１及び２自体の回路規模とｌａｔｅｎｃｙ（遅延時間）の増加を抑える。
そして、第１のプレエンコード部１では、少し精度を落とし回路規模並びに処理負荷を抑えた並列プレエンコードを広い範囲の量子化パラメータ（ＱＰ）で行い、目標符号量を実現するＱＰを粗く見積もる。第２のプレエンコード部２では、精度を上げた並列プレエンコードを狭い範囲で行い、本エンコード部３で使用する基本量子化パラメータＱＰ_ＭＢを決定する。以上により、画像符号化装置１００は、画像符号化の精度を上げつつ処理負荷を軽減する。さらに、プレエンコードを簡略化したことによる誤差がビットレートや量子化パラメータＱＰと相関を持つことから、詳細は後述するような統計モデルを予め作成しておき、ビットレートや量子化パラメータＱＰから誤差の補正を行うこととしている。
図１には、本発明の一実施の形態に係る画像符号化装置１００の構成を示し説明する。
この画像符号化装置１００は、第１のプレエンコード部１、第２のプレエンコード部２、本エンコード部３、符号量制御部４、ディレイバッファ５，６を有している。
第１のプレエンコード部１は、第１のプレエンコードを行うモジュールであり、画面内予測モード決定部１１、画面内予測処理部１２、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）部１３、量子化部１４、エントロピー符号長計算部１５、アクティビティ（Ａｃｔｉｖｉｔｙ）計算部１６を備えている。
第２のプレエンコード部２は、第２のプレエンコードを行うモジュールであり、画面内予測処理部２１、ＤＣＴ部２２、量子化部２３、エントロピー符号長計算部２４、バッファ２５、ＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤＣＴ）部２６、逆量子化部２７を備えている。
そして、本エンコード部３は、本エンコードを行うモジュールであり、画面内予測処理部３１、ＤＣＴ部３２、量子化部３３、エントロピー符号化部３４、バッファ３５、ＩＤＣＴ部３６、逆量子化部３７を備えている。
符号量制御部４は、符号量制御を行うモジュールである。
［１−２．量子化パラメータ及び量子化行列の予測］
［１−２−１．低精度発生符号量の算出］
画像符号化装置１００は、符号化難易度に応じて例えば３つの量子化行列Ｑ Ｍａｔｒｉｘを適用的に選択して使用する（詳しくは後述する）。画像符号化装置１００は、一の量子化行列Ｑ Ｍａｔｒｉｘを設定すると共に、当該設定された量子化行列Ｑ Ｍａｔｒｉｘの取り得る範囲の量子化パラメータＱＰについて、第１のプレエンコード部１による簡易な処理によって発生符号量を粗く見積もる。以下、当該プレエンコード部１の結果により見積もられた発生符号量を低精度発生符号量と呼ぶ。画像符号化装置１００は、全ての量子化行列Ｑ Ｍａｔｒｉｘについて同様の処理を実行し、量子化行列Ｑ Ｍａｔｒｉｘ及び量子化パラメータＱＰを変更したときの低精度発生符号量を算出する。そして画像符号化装置１００は、低精度発生符号量が目標符号量に最も近くなる量子化パラメータＱＰ及び量子化行列Ｑ Ｍａｔｒｉｘを次のステップ（第２のプレエンコード部２）でピクチャの平均量子化パラメータＢａｓｅ ＱＰとして使用する予測量子化パラメータＱＰｄ、次のステップで使用するピクチャの量子化行列Ｑ Ｍａｔｒｉｘ（以下、これを予測量子化行列Ｑ ＭａｔｒｉｘＤと呼ぶ）とする。
このとき画像符号化装置１００は、離散的に選択された一部の量子化パラメータＱＰ（以下、これを選択量子化パラメータＱＰｌと呼ぶ）を用いて入力画像９１における低精度発生符号量を算出する。画像符号化装置１００は、選択量子化パラメータＱＰｌ間の低精度発生符号量を補間によって算出することにより、量子化行列Ｑ Ｍａｔｒｉｘが取り得る範囲の量子化パラメータＱＰの全てについて、低精度発生符号量を算出するようになされている。
実際上、入力画像９１は、最初に第１のプレエンコード部１の画面内予測モード決定部１１に入力される。画面内予測モード決定部１１は、この入力画像９１に基づいて、全ての画面内予測モードによって差分画像データを生成すると共に、当該差分画像データの発生符号量の予測に基づいて画面内予測モードを決定する。予測モード（予測方向）は、最小４×４画素単位で９通りの予測モードの中から決定されることになる。
この決定された画面内予測モードは、画面内予測処理部１２に送出されると共に、第２のプレエンコード部２や本エンコード部３にも送出される。この画面内予測モードは、第２のプレエンコード部２による第２のプレエンコード、本エンコード部３による本エンコードでも使用される。
次に画面内予測処理部１２は、予測画像と入力画像９１との差分画像を計算し、差分画像データを生成する。ここでの予測画像は、処理を削減するため入力画像９１から作られる。このように、第１のプレエンコード部１は、入力画像を用いて画面内予測処理を行うことで、逆量子化部、ＩＤＣＴ部、バッファを削減することができ、回路規模を削減することが可能となる。
ＤＣＴ部１３は、差分画像データに対して整数精度ＤＣＴ処理を実行し、ＤＣＴ係数を生成すると、これを量子化部１４に送出する。量子化部１４は、このＤＣＴ係数について量子化を行い、量子化係数を生成すると、これをエントロピー符号長計算部１５に送出する。エントロピー符号長計算部１５は、量子化係数に対し、コンテキスト適応型可変長符号化方式（ＣＡＶＬＣ；Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）を行うことにより符号量を計算する。ＣＡＶＬＣによれば、周囲の状況に応じて高効率の符号化方式を適応的に選択できる。
このように第１のプレエンコードでは、本エンコードにおいてエントロピー符号化方式としてＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）を用いる場合でも、符号量計算にＣＡＶＬＣを用いることを特徴の一つとしている。尚、ＣＡＢＡＣとは、コンテキスト適応型２値算術符号化方式である。
ここで、量子化部１４は、並列に設けられた量子化部１４−１，…，１４−ｎ（ｎ＝１，２，３・・）により構成され、エントロピー符号長計算部１５は、並列に設けられたエントロピー符号長計算部１５−１，…，１５−ｎ（ｎ＝１，２，３・・）により構成されている。ｎの値は、例えば１５に設定されている。量子化部１４は、０〜５１でなる量子化パラメータＱＰのうち、設定されている量子化行列Ｑ Ｍａｔｒｉｘに対応した選択量子化パラメータＱＰｌを各量子化部１４−１，…，１４−ｎに設定する。この選択量子化パラメータＱＰｌは、量子化行列Ｑ Ｍａｔｒｉｘが取り得る量子化パラメータＱＰの範囲から、任意の間隔で離散的に選択される。なお選択量子化パラメータＱＰｌは、例えば一定間隔で選択されても良く、量子化パラメータＱＰの値に応じて変化する間隔で選択されても良い。このような構成の下、第１のプレエンコード部１は、量子化と符号長計算を、上記並列数と同数の複数の量子化パラメータＱＰに対して並列に実行し、それぞれの発生符号量を符号量制御部４に出力する。
即ち、第１のプレエンコード部１は、量子化部１４、エントロピー符号長計算部１５による回路規模を抑えた並列プレエンコードにより、広い範囲の量子化パラメータＱＰで第１のプレエンコードを行うことで、広い範囲の量子化パラメータＱＰに対する発生符号量を算出する。
ここで、アクティビティ計算部１６は、画面内予測モード決定部１１による画面内予測モードの決定と同時並行して、アクティビティ（Ａｃｔｉｖｉｔｙ）を計算し、該アクティビティによりマクロブロック（ＭＢ；Ｍａｃｒｏ Ｂｌｏｃｋ）をグループ分けする。つまり、ＮｕｍＯｆＡｃｔｉｖｉｔｙＧｒｏｕｐのグループに分ける場合を想定すると、アクティビティ計算部１６は、ＡｃｔｉｖｉｔｙＴｈｅｓｈｏｌｄ［０］〜ＡｃｔｉｖｉｔｙＴｈｅｓｈｏｌｄ［ＮｕｍＯｆＡｃｔｉｖｉｔｙＧｒｏｕｐ−２］とアクティビティの値とを比較することにより、アクティビティグループを決定する。
尚、量子化処理において実際に使用される量子化パラメータＱＰは、ピクチャの平均量子化パラメータＱＰ（ＢａｓｅＱＰ）に対して、アクティビティグループに依存したオフセット（ＡｄａｐｔＱＰＤｅｌｔａ）を加えることで求められる。

例えば、ＮｕｍＯｆＡｃｔｉｖｉｔｙＧｒｏｕｐを１３とするなら、ＡｄａｐｔＱＰＤｅｌｔａの各値は、
ＡｄａｐｔＱＰＤｅｌｔａ［１３］＝｛−６，−５，−４，−３，−２，−１，０，１，２，３，４，５，６｝
とすることができる。
各ＭＢに対して決定されたアクティビティグループ（Ａｃｔｉｖｉｔｙ Ｇｒｏｕｐ）番号は、量子化部１４に入力される。量子化部１４は、選択量子化パラメータＱＰｌに対し、アクティビティグループに応じたオフセットを付加して適応量子化パラメータＱＰｔを算出する。量子化部１４は、適応量子化パラメータＱＰｔに基づいて、ＤＣＴ係数に対する量子化処理を実行する。
第１のプレエンコード部１は、次の量子化行列Ｑ Ｍａｔｒｉｘ及び当該量子化行列Ｑ Ｍａｔｒｉｘに対応する選択量子化パラメータＱＰｌを設定することにより、同様にして発生符号量を算出する。この結果、第１のプレエンコード部１は、量子化行列Ｑ Ｍａｔｒｉｘ及び当該量子化行列Ｑ Ｍａｔｒｉｘに対応する選択量子化パラメータＱＰｌについて、発生符号量をそれぞれ算出することになる。
［１−２−２．発生符号量の誤差の補正］
符号量制御部４は、第１のプレエンコード部１において算出された発生符号量に対して補正を行う。
ここでの補正は、誤差が、ある程度の傾向を持っている事を利用して行う。
一つ目の誤差要因は、画面内予測処理にローカルデコード（Ｌｏｃａｌ Ｄｅｃｏｄｅ）画ではなく入力画像９１を用いている事である。この場合、画面内予測に使う画にコーデック（Ｃｏｄｅｃ）による歪がのっていないので、実際のエンコードより符号化効率が良くなり、符号量が少なめに出る傾向がある。この誤差の大きさは、歪の大きさに依存するので、発生符号量と誤差の関係では、ビットレート（Ｂｉｔ ｒａｔｅ）が小さくなると誤差が大きくなる傾向がある。また、量子化パラメータＱＰと誤差の関係では、量子化パラメータＱＰが大きくなると誤差が大きくなる傾向にある。よって、予め誤差の大きさの統計データを取り、ビットレート“ｒ”とＱＰ“ｑ”の関数として定義する。
具体的に、符号量制御部４は、ＣＡＶＬＣによって符号化されたときの発生符号量について、ビットレートによる平均的な誤差のモデル、量子化パラメータＱＰによる平均的な誤差のモデルをそれぞれ作成しておく。この誤差モデルは、量子化パラメータＱＰ及びビットレートにそれぞれ対応する例えば数式やテーブルとして予め記憶される。符号量制御部４は、量子化パラメータＱＰ及びビットレートから補正すべき誤差を表す補正量Ｃ＿ｒａｔｅ、Ｃ＿ｑｐを、対応する誤差モデルからそれぞれ算出する。符号量制御部４は、量子化パラメータＱＰ及びビットレートに対応する補正量Ｃ＿ｒａｔｅ、Ｃ＿ｑｐのうち、次式に従って小さい値を補正量Ｃｖとして選択する。
補正量Ｃｖ＝ｍｉｎ（Ｃ＿ｒａｔｅ、Ｃ＿ｑｐ）
これにより、誤差の補正量が大きくなり過ぎてしまい、補正された発生符号量が第２のプレエンコード部２において算出される高精度発生符号量よりも大きくなってしまうことを防止し得るようになされている。なおこの補正量Ｃ＿ｒａｔｅ、Ｃ＿ｑｐは、第１のプレエンコード部１によって算出された発生符号量（Ｐｒｅ−Ｅｎｃｏｄｅ符号量）に対する補正量の割合（％）を表している。
符号量制御部４は、第１のプレエンコード部１によって算出された発生符号量に対し、次式に従って補正量Ｃｖを乗算することにより、発生符号量に対する補正量（以下、これをＣＡＶＬＣ補正符号量と呼ぶ）を算出する。
ＣＡＶＬＣ補正符号量＝Ｐｒｅ−Ｅｎｃｏｄｅ符号量×Ｃｖ
符号量制御部４は、発生符号量に対してＣＡＶＬＣ補正符号量を加算することにより、ＣＡＶＬＣについての低精度発生符号量を算出する。
二つ目の誤差要因は、エントロピー符号化方式でＣＡＢＡＣを選択したときのみ発生するものである。第１のプレエンコード部１では、ＣＡＢＡＣによる符号化を実行せず、ＣＡＶＬＣの符号量からＣＡＢＡＣによって符号化したときの低精度発生符号量を予測する。ＣＡＢＡＣはＣＡＶＬＣより符号化効率が良いので、ＣＡＶＬＣでプレエンコードした発生符号量は、実際の符号量より多めに出る傾向がある。例えば、発生符号量と誤差の関係では、この誤差の大きさは統計的に見てビットレート（Ｂｉｔ ｒａｔｅ）が小さくなるとＣＡＢＡＣの効率が良くなることに起因して、大きくなる傾向にある。これも同様に、予め誤差の大きさの統計データを取り、平均的な誤差のモデルを作成しておくことで補正する。
ＣＡＢＡＣに起因する誤差は、ＣＡＶＬＣの符号量による符号化において生じる誤差と比較して、量子化パラメータＱＰ及びビットレートに関し反対側に変化し、その変化量は小さいことが明らかになった。
そこで、ＣＡＢＡＣについての補正量（以下、これをＣＡＢＡＣ補正量と呼ぶ）をビットレート“ｒ”とＱＰ“ｑ”の関数として定義する。このとき、補正量Ｃｂは、次式によって算出される。
補正量Ｃｂ＝ｍｉｎ（ｒ，ｑ）
符号量制御部４は、第１のプレエンコード部１によって算出された発生符号量（Ｐｒｅ−Ｅｎｃｏｄｅ符号量）に対し、次式に従って補正量Ｃｖを乗算することにより、発生符号量に対する補正量（以下、これをＣＡＢＡＣ補正符号量と呼ぶ）を算出する。
ＣＡＢＡＣ補正符号量＝Ｐｒｅ−Ｅｎｃｏｄｅ符号量×Ｃｂ
符号量制御部４は、低精度発生符号量に対してＣＡＢＡＣ補正符号量を加算することにより、ＣＡＢＡＣについての低精度発生符号量を算出する。符号量制御部４は、図２に示すように、第１のプレエンコード部１によって算出された発生符号量（四角で表す）に対して補正されたＣＡＶＬＣ補正量及びＣＡＢＡＣ補正符号量（黒丸で表す）をそれぞれ算出することができる。
次に、符号量制御部４は、量子化パラメータ（ＱＰ）の推定処理を行う。上述したように、第１のプレエンコード部１は、任意の間隔で、離散的な値の選択量子化パラメータＱＰｌでプレエンコードを行って発生符号量を取得している。符号量制御部４は、量子化行列Ｑ Ｍａｔｒｉｘの取り得る量子化パラメータＱＰの範囲のうち、選択量子化パラメータＱＰｌ以外の量子化パラメータＱＰに関して、補間により発生符号量を計算する（白丸で示す）。補間処理としては、線形補間など一般的な補間処理を用いることができる。
即ち、図２に示されるように、第１のプレエンコード部１で得た離散的な値の量子化パラメータＱＰ（四角で示す）ついて、補正を行い補正後の量子化パラメータＱＰ（黒丸で示す）を得て、更に、その間の量子化パラメータＱＰ（白に丸で示す）について補間により符号量を計算することになる。
このように、符号量制御部４は、第１のプレエンコード部１によって算出された発生符号量に対し、当該第１のプレエンコード部１において簡易化した処理に応じて発生する発生符号量の誤差を補正してＣＡＶＬＣについての低精度発生符号量を算出する。これにより、符号量制御部４は、簡易化された符号化処理による発生符号量の予測精度を向上させ得る。符号量制御部４は、ＣＡＶＬＣについての低精度発生符号量を用いてＣＡＢＡＣによる発生符号量の予測量である低精度発生符号量を算出する。これにより、符号量制御部４は、処理の複雑なＣＡＢＡＣを行うことなく、ＣＡＢＡＣによる低精度発生符号量を見積もることができる。符号量制御部４は、離散的に選択された選択量子化パラメータＱＰｌによって予測された低精度発生符号量から、補間処理により、当該選択量子化パラメータＱＰｌ以外の量子化パラメータＱＰについての低精度発生符号量を予測する。これにより、符号量制御部４は、わざわざ全ての量子化パラメータＱＰを用いて入力画像９１を符号化せずに済み、第１のプレエンコード部１の構成を簡易にすることができる。
［１−２−３．予測量子化行列の決定］
上述したように、量子化行列Ｑ Ｍａｔｒｉｘが取り得る全ての量子化パラメータＱＰについて、低精度発生符号量が算出された。符号量制御部４は、符号化難易度に応じて量子化行列Ｑ Ｍａｔｒｉｘを変更し、変更された量子化行列Ｑ Ｍａｔｒｉｘに対応する低精度発生符号量に基づいて、目標符号量に最も近い量子化パラメータＱＰを基本量子化パラメータＱＰ_ＭＢとして選択するようになされている。
符号量制御部４は、量子化行列Ｑ Ｍａｔｒｉｘ毎に、目標符号量に一番近い低精度発生符号量が生成されたときに使用された量子化パラメータＱＰを近傍量子化パラメータＱＰｎとして選択する。符号量制御部４は、符号化難易度として、例えば各量子化行列Ｑ Ｍａｔｒｉｘ毎に選択された近傍量子化パラメータＱＰｎを使用する。もちろん、アクティビティなど別の指標を用いることも可能である。ここでは、切り替えて使う量子化行列Ｑ Ｍａｔｒｉｘの数をＮｕｍＯｆＱＭａｔｒｉｘＩｄとし、傾斜の緩やかな量子化行列Ｑ Ｍａｔｒｉｘから昇順にＩｄ（識別子）を付け、各量子化行列Ｑ Ｍａｔｒｉｘの取り得る範囲における最大の量子化パラメータＱＰをＱＭａｔｒｉｘＴｈｅｓｈｏｌｄ［Ｉｄ］とする。
符号量制御部４は、Ｉｄの値の小さい量子化行列Ｑ Ｍａｔｒｉｘから近傍量子化パラメータＱＰｎとＱＭａｔｒｉｘＴｈｅｓｈｏｌｄとを比較する。符号量制御部４は、近傍量子化パラメータＱＰｎがＱＭａｔｒｉｘＴｈｅｓｈｏｌｄ［Ｉｄ］より小さい量子化行列Ｑ Ｍａｔｒｉｘのうち、最小のＩｄを有する量子化行列Ｑ Ｍａｔｒｉｘを予測量子化行列Ｑ ＭａｔｒｉｘＤとして決定する。符号量制御部４は、当該予測量子化行列Ｑ ＭａｔｒｉｘＤにおける近傍量子化パラメータＱＰｎを予測量子化パラメータＱＰｄとして決定する。
すなわち符号量制御部４は、低精度発生符号量が目標符号量に近い量子化パラメータＱＰを取り得る量子化行列Ｑ Ｍａｔｒｉｘのうち、最小の傾斜を有する量子化行列Ｑ Ｍａｔｒｉｘを予測量子化行列Ｑ ＭａｔｒｉｘＤとして決定する。この予測量子化行列Ｑ ＭａｔｒｉｘＤは本エンコード部３による本エンコードにも使用されることになる。符号量制御部４は、低精度発生符号量の条件を満たす中で最小の傾斜を有する量子化行列Ｑ Ｍａｔｒｉｘを用いることができるため、画質の劣化を極力防止することができる。
なお、符号量制御部４は、第１のプレエンコード部１によってＩｄの小さい量子化行列Ｑ Ｍａｔｒｉｘから順に当該量子化行列Ｑ Ｍａｔｒｉｘの取り得る範囲の選択量子化パラメータＱＰｌについて低精度発生符号量を算出する。そして符号量制御部４は、近傍量子化パラメータＱＰｎがＱＭａｔｒｉｘＴｈｅｓｈｏｌｄ［Ｉｄ］より小さい量子化行列Ｑ Ｍａｔｒｉｘを検出した場合には、当該量子化行列Ｑ Ｍａｔｒｉｘ及び近傍量子化パラメータＱＰｎを予測量子化行列Ｑ ＭａｔｒｉｘＤ及び予測量子化パラメータＱＰｄとして決定する。このとき符号量制御部４は、第１のプレエンコード部１に次のピクチャに対する処理を開始させる。すなわち符号量制御部４は、第１のプレエンコード部１に処理中のピクチャに関する次のＩｄでなる量子化行列Ｑ Ｍａｔｒｉｘについての低精度発生符号量を算出させない。これにより、符号量制御部４は、予測量子化パラメータＱＰｄ及び予測量子化行列Ｑ ＭａｔｒｉｘＤを決定するのに要する処理時間を短縮し得る。
このように、符号量制御部４は、低精度発生符号量が目標符号量に近くなる量子化パラメータＱＰを取り得る量子化行列Ｑ Ｍａｔｒｉｘのうち、画質の低下を防止するために最も傾斜の小さい量子化行列Ｑ Ｍａｔｒｉｘを予測量子化行列Ｑ ＭａｔｒｉｘＤとして選択する。符号量制御部４は、予測量子化行列Ｑ ＭａｔｒｉｘＤにおいて低精度発生符号量が目標符号量に最も近くなる量子化パラメータＱＰを予測量子化パラメータＱＰｄとして選択する。これにより、符号量制御部４は、画質を極力低下させないように適応的に量子化行列Ｑ Ｍａｔｒｉｘを変更しつつ、低精度発生符号量が目標符号量に最も近くなる量子化パラメータＱＰを予測量子化パラメータＱＰｄとして選択することができる。
［１−３．基本量子化パラメータの決定］
第２のプレエンコード部２は、予測量子化パラメータＱＰｄ及び予測量子化行列Ｑ ＭａｔｒｉｘＤを用いて実際にエンコーダ３と同様の符号化を実行することにより、高精度発生符号量を高い精度で算出する。以下、この第２のプレエンコード部２によって算出された発生符号量を高精度発生符号量と呼ぶ。このとき第２のプレエンコード部２は、予測量子化パラメータＱＰｄだけでなく、当該予測量子化パラメータＱＰｄの前後の量子化パラメータＱＰを用いて高精度発生符号量を算出し、その変動率を用いて予測量子化パラメータＱＰｄ近傍の高精度発生符号量を予測する。
符号量制御部４は、予測量子化パラメータＱＰｄ、予測量子化行列Ｑ ＭａｔｒｉｘＤ及び各ＭＢのアクティビティグループを第２のプレエンコード部２に供給する。第２のプレエンコード部２は、これらの値に基づいて第２のプレエンコードを行う。
第２のプレエンコード部２では、入力画像９１が、ディレイバッファ５を介して遅延処理された後に画面内予測処理部２１に入力される。画面内予測処理部２１は、予測画像と入力画像９１との差分を計算し、差分画像データを生成する。そして、ＤＣＴ部２２は、差分画像データに対してＤＣＴ処理を実行しＤＣＴ係数を生成する。量子化部２３は、ＤＣＴ係数に対して量子化処理を実行し、量子化係数を生成する。エントロピー符号長計算部２４は、ＣＡＶＬＣ又はＣＡＢＡＣを用いて量子化係数をそれぞれエントロピー符号化し、高精度発生符号量を計算する。
尚、第２のプレエンコード部２における処理の過程において、量子化部２３は量子化係数を逆量子化部２７に送出する。逆量子化部２７は、量子化係数を逆量子化してＤＣＴ係数を再生する。そして、ＩＤＣＴ部２６はＤＣＴ係数をＩＤＣＴ変換し、ローカルデコード画像を生成し、バッファ２５に保存することになる。
ここで、量子化部２３は、この例では３段の量子化部２３−１，２３−２，２３−３により構成され、エントロピー符号長計算部２４は、この例では３段のエントロピー符号長計算部２４−１，２４−２，２４−３により構成されている。３段と少なくしているのは、既に第１のプレエンコードで量子化パラメータＱＰが広い範囲で粗く見積もられているからである。
このような構成の下、量子化部２３、エントロピー符号長計算部２４は、並列に処理を実行し、予測量子化パラメータＱＰｄ及び当該予測量子化パラメータＱＰｄの前後の量子化パラメータＱＰでの高精度発生符号量を得ることになる。このとき、エントロピー符号長計算部２４は、本エンコード部３による本エンコードのエントロピー符号化方式と同じ方式をＣＡＢＡＣ／ＣＡＶＬＣのいずれかから選択する。
続いて、符号量制御部４は、第２のプレエンコードにより得られた高精度発生符号量から、本エンコードで使用するピクチャの基本量子化パラメータＱＰ_ＭＢを決定する。そして、符号量制御部４は、この決定されたピクチャの基本量子化パラメータＱＰ_ＭＢや予測量子化行列Ｑ ＭａｔｒｉｘＤ、各ＭＢのアクティビティグループから、量子化の情報（Ｑ Ｍａｔｒｉｘ、各ＭＢのＱＰ等）を本エンコード部３に送出する。
より詳細には、目標符号量が、第２のプレエンコードで得られた高精度発生符号量に挟まれている場合、つまり、

の場合には、目標符号量に最も近い量子化パラメータＱＰを基本量子化パラメータＱＰ_ＭＢとして選択する。
そうでない場合、符号量制御部４は、量子化パラメータＱＰの変化に対する高精度発生符号量の変動率を、第２のプレエンコードの結果から求める。予測量子化パラメータＱＰｄは、第１のプレエンコード部１による低精度発生符号量に基づいて算出されている。このため目標符号量に最も近い量子化パラメータＱＰは、予測量子化パラメータＱＰｄの近傍に存在する。量子化パラメータＱＰの値が近い場合、発生符号量の変動率は略一定である。そこで、符号量制御部４は、予測量子化パラメータＱＰｄ及び当該予測量子化パラメータＱＰｄの前後の量子化パラメータＱＰにおける高精度発生符号量の変動率から各量子化パラメータＱＰでの高精度発生符号量を予測し、目標符号量に最も近い量子化パラメータＱＰを基本量子化パラメータＱＰ_ＭＢとして選択する。
まず、量子化パラメータＱＰが「１」減算されたときに、高精度発生符号量が何％変わるかを表すＤｉｆｆＲａｔｉｏ＿１を、第２のプレエンコード２の結果から以下のようにして求める。なお、Ｇｅｎｅｒａｔｅｄ＿ｂｉｔｓは第２のプレエンコード２における発生符号量を表しており、ＱＰ＿ｐｒｅｃｏｄｅ１は、予測量子化パラメータＱＰｄを、ＱＰ＿ｐｒｅｃｏｄｅ１−１は予測量子化パラメータＱＰｄより「１」小さい量子化パラメータＱＰを表している。

量子化パラメータＱＰが「１」加算されたときに、高精度発生符号量が何％変わるかを表すＤｉｆｆＲａｔｉｏ＿２を、第２のプレエンコード２の結果から以下のようにして求める。ＱＰ＿ｐｒｅｃｏｄｅ１＋１は予測量子化パラメータＱＰｄより「１」大きい量子化パラメータＱＰを表している。

予測量子化パラメータＱＰｄの近傍における高精度発生符号量の変動率ＤｉｆｆＲａｔｉｏを、以下のようにして求める。
ＤｉｆｆＲａｔｉｏ＝（ＤｉｆｆＲａｔｉｏ＿１＋ＤｉｆｆＲａｔｉｏ＿２）／２
すなわち、予測量子化パラメータＱＰｄから正負の方向にそれぞれ「１」だけ変化したときの発生符号量の変動の平均値としてＤｉｆｆＲａｔｉｏを算出する。
ＤｅｌｔａＱＰを、高精度発生符号量が目標符号量に最も近い量子化パラメータＱＰと予測量子化パラメータＱＰｄ（ＱＰ＿ｐｒｅｃｏｄｅ１）との差の絶対値とすると、目標符号量に最も近い高精度発生符号量に対応する量子化パラメータＱＰが予測量子化パラメータＱＰｄより１だけ小さい量子化パラメータＱＰ（ＱＰ＿ｐｒｅｃｏｄｅ１−１）より小さいときには、高精度発生符号量が目標符号量に最も近い量子化パラメータＱＰの高精度発生符号量（Ｇｅｎｅｒａｔｅｄ＿ｂｉｔｓ（ＱＰ））を以下のように算出する。

目標符号量に最も近い高精度発生符号量に対応する量子化パラメータＱＰが予測量子化パラメータＱＰｄより１だけ大きい量子化パラメータＱＰ（ＱＰ＿ｐｒｅｃｏｄｅ１＋１）より大きいときには、高精度発生符号量が目標符号量に最も近い量子化パラメータＱＰの高精度発生符号量（Ｇｅｎｅｒａｔｅｄ＿ｂｉｔｓ（ＱＰ））を以下のように算出する。

すなわち、符号量制御部４は、予測量子化パラメータＱＰｄの前後の量子化パラメータＱＰを用いたときの高精度発生符号量に対し、予測量子化パラメータＱＰｄを中心に量子化パラメータＱＰの値が「１」だけ変化したときの変動率に応じた符号量だけ増減させる。符号量制御部４は、予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰを用いた場合の高精度発生符号量を高い精度で算出することができる。
以上のようにして、符号量制御部４は、目標符号量に最も近い量子化パラメータＱＰを本エンコードにおいて平均量子化パラメータ（ＢａｓｅＱＰ）として使用する基本量子化パラメータＱＰ_ＭＢとして選択することになる。
上述したように、第２のプレエンコード部２では、第１のプレエンコード部１により推定された予測量子化パラメータＱＰｄ（ＱＰ＿ｐｒｅｃｏｄｅ１）と、ひとつ大きい量子化パラメータＱＰ（ＱＰ＿ｐｒｅｃｏｄｅ１＋１），ひとつ小さい量子化パラメータＱＰ（ＱＰ＿ｐｒｅｃｏｄｅ１−１）でプレエンコードする。ここで、回路規模削減のため、前述したように、量子化部２３とエントロピー符号長計算部２４のみ並列化し、その他の処理は共用する。
このとき、画面内予測処理で使用するローカルデコード（Ｌｏｃａｌ Ｄｅｃｏｄｅ）画は、第１のプレエンコード部１の結果に基づいて推定された予測量子化パラメータＱＰｄ（ＱＰ＿ｐｒｅｃｏｄｅ１）で量子化したデータとする。つまり、逆量子化とＩＤＣＴで処理されるデータは、予測量子化パラメータＱＰｄ（ＱＰ＿ｐｒｅｃｏｄｅ１）の量子化の出力である。これは、予測量子化パラメータＱＰｄの前後の量子化パラメータＱＰ（ＱＰ＿ｐｒｅｃｏｄｅ１＋１、ＱＰ＿ｐｒｅｃｏｄｅ１−１）を使うプレエンコードの画面内予測処理の入力を、自分自身のローカルデコード（Ｌｏｃａｌ Ｄｅｃｏｄｅ）画ではなく、予測量子化パラメータＱＰｄ（ＱＰ＿ｐｒｅｃｏｄｅ１）のローカルデコード（Ｌｏｃａｌ Ｄｅｃｏｄｅ）画で代用することを意味する。
このように、符号量制御部４は、第１のプレエンコード部１の結果に基づく低精度発生符号量の予測により、低精度発生符号量が目標符号量に最も近くなる可能性が極めて高い予測量子化パラメータＱＰｄ及びその前後の量子化パラメータＱＰによって本エンコードと同様の符号化によって高精度発生符号量を算出する。これにより、符号量制御部４は、予測量子化パラメータＱＰｄ及びその前後の量子化パラメータＱＰを用いた場合の高精度発生符号量をほぼ正確に算出することができる。さらに本発明は、狭い範囲内では量子化パラメータＱＰの変化に伴う高精度発生符号量の変動率がほぼ一定であることに着目した。符号量制御部４は、予測量子化パラメータＱＰｄ及びその前後の量子化パラメータＱＰにおける高精度発生符号量の変動率に基づいて、予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰを用いたときの高精度発生符号量を算出する。これにより符号量制御部４は、予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰについても、ほぼ正確に高精度発生符号量を算出することができる。
［１−４．本エンコード］
本エンコード部３は、第２のプレエンコード部２の結果に基づいて得られる基本量子化パラメータＱＰ_ＭＢ、並びに第１のプレエンコード部１の結果に基づいて得られる予測量子化行列Ｑ Ｍａｔｒｉｘ、アクティビティグループ、画面内予測モード等を使用して本エンコードを行う。即ち、本エンコード部３は、ディレイバッファ６を介して遅延処理された入力画像９１を受けると、画面内予測処理部３１では第１のプレエンコード時に決定された画面内予測モードで、予測画像と入力画像９１との差分画像データが計算される。ＤＣＴ部３２はＤＣＴ処理を行い、量子化部３３はＤＣＴ係数の量子化を行う。量子化部３３の出力（量子化係数）は逆量子化部３７にも送られる。逆量子化部３７は、量子化係数を逆量子化してＤＣＴ係数を再生する。そして、ＩＤＣＴ部３６はＤＣＴ係数をＩＤＣＴ変換し、予測画像を生成し、バッファ３５に保存する。
こうして、前述したようなＤＣＴ部３２によるＤＣＴ、量子化部３３によるＤＣＴ係数の量子化を経て、エントロピー符号化部３４によりエントロピー符号化がなされ、目標符号量とされた出力ストリーム９２が出力される。
［１−５．まとめ］
このように、この実施の形態に係る画像符号化装置１００では、第１のプレエンコード部１による第１のプレエンコードにおいて、複数の選択量子化パラメータＱＰｌでエンコードした時の低精度発生符号量を粗く計算することにより、目標符号量になる予測量子化パラメータＱＰｄを見積もる。
このとき、第１のプレエンコード部１は、任意の間隔の選択量子化パラメータＱＰｌでエンコードした場合の発生符号量を計算するために、並列にエンコードを行うこととしている。
一般的には、並列にエンコードを行うためには、回路規模が非常に大きくなってしまうが、この実施の形態では、回路規模削減のために並列エンコードを実現しつつ、出来るだけ共通に処理を行うようにして問題を解消している。
即ち、より具体的に、第１のプレエンコード部１は、先に説明したように、量子化部１４とエントロピー符号長計算部１５のみ並列に設け、他の処理は共用する。また、逆量子化部、ＩＤＣＴ部、バッファを削減するために、予測画像として入力画像を用いて、画面内予測処理を行うこととしている。
一方、エントロピー符号化でＣＡＢＡＣを用いる場合、高いビットレートでは、処理できない事である。即ち、第１のプレエンコード部１は、仮にエントロピー符号化でＣＡＢＡＣを用いる場合、符号量予測のために、ある量子化パラメータＱＰで符号量計算を行おうとしたとき、その量子化パラメータＱＰでの符号量が大きい場合（すなわち量子化係数における各値が大きい場合）、発生符号量を予測することが出来ない。
ＣＡＢＡＣは１ｂｉｔ毎に確率計算を行ってデータを圧縮していくエントロピー符号化方式である。１ｂｉｔずつ処理するということは、符号量が多くなると処理時間が長くなることを意味し、一定の時間内（例えば１フレームの時間）に処理が終了しなくなる。よって、第１のプレエンコード部１は、仮にエントロピー符号化でＣＡＢＡＣを用いる場合、符号量が多い場合は、エントロピー符号化後の発生符号量を計算することができなくなり、高いビットレートにおいて発生符号量を予測することができないのである。
この点、第１の実施の形態において、第１のプレエンコード部１は、符号量計算にＣＡＶＬＣを用いる。このように、第１のプレエンコード部１では、回路規模を削減し、処理を削減し、簡略化したプレエンコードを行うことで、低精度発生符号量を粗く見積もる。そして符号量制御部４は、目標符号量に近い低精度発生符号量を有する量子化パラメータＱＰを予測量子化パラメータＱＰｄとして選択する。
第２のプレエンコード部２では、第１のプレエンコード部１による予測量子化パラメータＱＰｄの推定が誤差を持っていることに鑑み、再度プレエンコードすることで、量子化パラメータＱＰ推定の精度を上げる。即ち、第１のプレエンコード部１により大まかに見積もった予測量子化パラメータＱＰｄの周辺の量子化パラメータＱＰで、再度プレエンコードすることにより高精度発生符号量を取得し、目標とする高精度発生符号量に一番近い量子化パラメータＱＰを再度求める。エントロピー符号長計算は、本エンコードと同じ方式（ＣＡＢＡＣ又はＣＡＶＬＣ）を用いる。
尚、画面内予測処理の入力（ローカルデコード画像）が異なる事による誤差は存在するが、量子化パラメータＱＰが略同じ値であり、エンコードによる歪も略同じ量であるので、無視できるものとする。
［１−６．処理手順］
以下、図３のフローチャートを参照して、本発明の一実施の形態に係る画像符号化装置１００による符号化の処理手順ＲＴ１を詳細に説明する。この処理手順の一部または全部は、一実施の形態に係る画像符号化方法にも相当する。
先ず、アクティビティ計算部１６は、ＭＢ毎にアクティビティを計算し、その値に応じてＭＢをアクティビティグループに分ける（ステップＳ１）。
続いて、画面内予測モード決定部１１は、入力画像９１に基づいて画面内予測モードを決定する（ステップＳ２）。この画面内予測モードは、第２のプレエンコード部２による第２のプレエンコード、本エンコード部３による本エンコードでも使用される。
次に画面内予測処理部１２は、予測画像と入力画像との差分画像データを計算する。ここでの予測画像は、処理を削減するため入力画像９１が用いられる。次いで、ＤＣＴ部１３は、整数精度ＤＣＴを行い、ＤＣＴ係数を量子化部１４に送出する（ステップＳ３）。
量子化部１４は、任意の間隔の複数の選択量子化パラメータＱＰｌをピクチャの平均量子化パラメータ（ＢａｓｅＱＰ）としてＤＣＴ係数値を量子化する。エントロピー符号長計算部１５は、量子化係数を可変長符号化し、符号長計算を行うことで、選択量子化パラメータＱＰｌごとの発生符号量を取得する（ステップＳ４）。この時、ＭＢの量子化パラメータＱＰは、前述したようにアクティビティを考慮した値が与えられて、エンコードされる。即ち、前述したように、ＭＢの量子化パラメータＱＰは、ピクチャの平均量子化パラメータ（ＢａｓｅＱＰ）に対して、アクティビティグループに依存したオフセットを加えることで求められる。
尚、適応的な量子化行列Ｑ Ｍａｔｒｉｘ切り替え処理に対応させる場合には、上記の処理を量子化行列Ｑ Ｍａｔｒｉｘ毎に行う。つまり、量子化行列Ｑ Ｍａｔｒｉｘ毎に、離散的な（飛び飛びの）値の選択量子化パラメータＱＰｌでプレエンコードを行って、１ピクチャ分の発生符号量を取得する。この時、量子化行列Ｑ Ｍａｔｒｉｘ毎に量子化パラメータＱＰの取り得る範囲をカバーするように選択量子化パラメータＱＰｌを選択する。
次に符号量制御部４が、第１のプレエンコード部１によって算出された発生符号量の補正処理を行い、低精度発生符号量を算出する。符号量制御部４は、プレエンコードを簡略化したことによる誤差の補正を行うと共に、補間処理により、選択量子化パラメータＱＰｌ以外の量子化パラメータＱＰに対応する低精度発生符号量を算出する（ステップＳ５）。
符号量制御部４は、各量子化行列Ｑ Ｍａｔｒｉｘに対し、ステップＳ５の処理を実行し、量子化行列Ｑ Ｍａｔｒｉｘごとの低精度発生符号量を算出する（ステップＳ６）。以上の処理で、必要となる全ての量子化パラメータＱＰに対する低精度発生符号量が求められるので、その中で目標符号量に最も近い低精度発生符号量を生成し得る量子化パラメータＱＰのうち、傾斜の最も小さい量子化行列Ｑ Ｍａｔｒｉｘを予測量子化行列Ｑ ＭａｔｒｉｘＤとして選択する。さらに符号量制御部４は、予測量子化行列Ｑ ＭａｔｒｉｘＤに対応する目標符号量に最も近い低精度発生符号量を生成し得る量子化パラメータＱＰを予測量子化パラメータＱＰｄとして選択する。（ステップＳ７）。また、上記の様に量子化行列Ｑ Ｍａｔｒｉｘを選択することで、取り得る量子化パラメータＱＰの範囲を限定することになり、第１のプレエンコード部１で低精度発生符号量を算出する際の選択量子化パラメータＱＰｌの範囲を減らすことが可能になる。これが、第１のプレエンコード部１にて決定された予測量子化行列Ｑ ＭａｔｒｉｘＤと予測量子化パラメータＱＰｄとなる。
続いて、第２のプレエンコード部２による発生符号量取得処理を行う（ステップＳ８〜Ｓ１０）。この第２のプレエンコード部２の目的は、第１のプレエンコード部１による予測量子化パラメータＱＰｄの推定が誤差を持っていることに鑑みて、再度プレエンコードすることで、基本量子化パラメータＱＰ_ＭＢ推定の精度を上げることにある。
即ち、第１のプレエンコード部１の結果により大まかに見積もった予測量子化パラメータＱＰｄの周辺の量子化パラメータＱＰで、再度プレエンコードすることにより高精度発生符号量を取得し、目標符号量に一番近い量子化パラメータＱＰを再度求める。エントロピー符号長計算は、本エンコードと同じ方式（ＣＡＢＡＣ又はＣＡＶＬＣ）が用いられる。
具体的には、第１のプレエンコード部１の結果により決定された画面内予測モードを用いて画面内予測処理部２１による画面内予測処理及びＤＣＴ部２２によるＤＣＴを行う（ステップＳ８）。第２のプレエンコード部２は、画面内予測で使用するローカルデコード画像（予測画像）として、第１のプレエンコード部１の結果により推定された予測量子化パラメータＱＰｄ（ＱＰ＿ｐｒｅｃｏｄｅ１）で量子化したローカルデコード画像を共用する。
量子化に際しては、第１のプレエンコード部１の結果により決定された予測量子化パラメータＱＰｄ（ＱＰ＿ｐｒｅｃｏｄｅ１）、量子化行列Ｑ Ｍａｔｒｉｘ及びアクティビティグループ（Ａｃｔｉｖｉｔｙ Ｇｒｏｕｐ）が用いられる。量子化部２３−１には予測量子化パラメータＱＰｄ（ＱＰ＿ｐｒｅｃｏｄｅ１）が設定され、量子化部２３−２には予測量子化パラメータＱＰｄよりも「１」だけ小さい量子化パラメータＱＰ（ＱＰ＿ｐｒｅｃｏｄｅ１−１）が設定され、量子化部２３−３には予測量子化パラメータＱＰｄよりも「１」だけ大きい量子化パラメータ（ＱＰ＿ｐｒｅｃｏｄｅ１＋１）が設定される。
さらに、ＭＢの量子化パラメータ（ＱＰ）には、アクティビティを考慮した値が与えられてエンコードされる。以上の第２のプレエンコードにより、１ピクチャの高精度発生符号量を取得することができる（ステップＳ９）。
続いて、符号量制御部４は、第２のプレエンコード部２に基づいて得られた高精度発生符号量から基本量子化パラメータＱＰ_ＭＢを決定する（ステップＳ１０）。
続いて、本エンコード部３が本エンコードを行う（ステップＳ１１）。本エンコードでは、第２のプレエンコード部２の結果により決定されたピクチャの基本量子化パラメータＱＰ_ＭＢ、第１のプレエンコード部１の結果により決定された予測量子化行列Ｑ ＭａｔｒｉｘＤ、Ａｃｔｉｖｉｔｙ Ｇｒｏｕｐを使用してエンコードを行う。こうして符号化に関わる一連の処理を終了する。
以下、図４のフローチャートを参照して、画像符号化装置１００による符号化の処理手順ＲＴ１のステップＳ７において実行されるＱ Ｍａｔｒｉｘ決定処理手順ＲＴ２について更に説明する。
この処理を開始すると、符号量制御部４は、先ずＩｄをＩｄ＝０にイニシャライズした後（ステップＳ２１）、Ｉｄの値の小さい量子化行列Ｑ−Ｍａｔｒｉｘから、低精度発生符号量が目標符号量に最も近い量子化パラメータ（ＱＰ）と、量子化行列Ｑ−Ｍａｔｒｉｘにおいて取り得る最大の量子化パラメータＱＰ（ＱＭａｔｒｉｘＴｈｅｓｈｏｌｄ［Ｉｄ］）とを比較する（ステップＳ２２）。そして、符号量制御部４は、Ｉｄ番目の量子化行列Ｑ−Ｍａｔｒｉｘでの低精度発生符号量が目標符号量に最も近い量子化パラメータ（ＱＰ）がＱＭａｔｒｉｘＴｈｅｓｈｏｌｄ［Ｉｄ］より小さければ、現在の量子化行列Ｑ−Ｍａｔｒｉｘを予測量子化行列Ｑ ＭａｔｒｉｘＤに決定する。さらに符号量制御部４は、予測量子化行列Ｑ ＭａｔｒｉｘＤにおける低精度発生符号量が目標符号量に最も近い量子化パラメータ（ＱＰ）を予測量子化パラメータＱＰｄに決定すると（ステップＳ２３）、Ｑ Ｍａｔｒｉｘ決定処理手順ＲＴ２を終了する。
一方、ステップＳ２２において、符号量制御部４は、Ｉｄ番目の量子化行列Ｑ−Ｍａｔｒｉｘでの低精度発生符号量が目標符号量に最も近い量子化パラメータ（ＱＰ）がＱＭａｔｒｉｘＴｈｅｓｈｏｌｄ［Ｉｄ］以上であれば、Ｉｄをインクリメント（ステップＳ２４）する。符号量制御部４は、Ｉｄ＝量子化行列Ｑ−Ｍａｔｒｉｘの総数よりも「１」小さい（ＮｕｍＯｆＱＭａｔｒｉｘＩｄ−１）であるか否かを判断する（ステップＳ２５）。そして、Ｉｄ＝ＮｕｍＯｆＱＭａｔｒｉｘＩｄ−１でなければステップＳ２２に戻り、次の量子化行列Ｑ−Ｍａｔｒｉｘをチェックする。一方、Ｉｄ＝ＮｕｍＯｆＱＭａｔｒｉｘＩｄ−１であれば、一番急峻な傾斜を有する量子化行列Ｑ−Ｍａｔｒｉｘ（ＩＤがＮｕｍＯｆＱＭａｔｒｉｘＩｄの量子化行列Ｑ−Ｍａｔｒｉｘ）が選択され（ステップＳ２３）、Ｑ Ｍａｔｒｉｘ決定処理手順ＲＴ２を終了する。
この図４のＱ Ｍａｔｒｉｘ決定処理手順ＲＴ２により、符号量制御部４は、量子化行列Ｑ−Ｍａｔｒｉｘ毎に、取り得る最大の量子化パラメータＱＰを設定して、傾斜の緩やかな量子化行列Ｑ−Ｍａｔｒｉｘから順に、低精度発生符号量が目標符号量に最も近いと推定された量子化パラメータＱＰに対応する低精度発生符号量が目標符号量に本当に近い値を示すか否かを判断する。そして、近い値であれば対応する量子化行列Ｑ−Ｍａｔｒｉｘを本エンコードで用いる予測量子化行列Ｑ ＭａｔｒｉｘＤとして決定することになる。
以上説明したように、本発明の一実施の形態では、ピクチャ単位の２回のプレエンコードを実施する。そして、画像符号化装置１００は、効率向上のためには、処理量が増大し、それに起因してエンコードの回路規模が増大するとの問題を解消するために、回路一部共有化による部分的並列構成を採用する。これにより、プレエンコーダの構成を簡略化しつつ、該簡略化に伴う誤差を統計データで補正する。
従って、画像符号化装置１００は、１ピクチャに与えられた目標符号量に、画面内Ｆｅｅｄ Ｂａｃｋ制御を行わずに本エンコードにおいて発生する本エンコード発生符号量を合わせ込むことが可能になる。これにより、画像符号化装置１００は、Ｆｅｅｄ Ｂａｃｋパラメータの不適切な初期値による弊害や、不適切な目標符号量配分など、Ｆｅｅｄ Ｂａｃｋ制御の問題を取り除くことが可能になる。その結果、画像符号化装置１００は、目標符号量に本エンコード発生符号量を一致させ、視覚特性を考慮した符号量配分、つまり適切な量子化パラメータの決定が可能となる。
なお、本発明は前述した実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲で種々の改良や変更が可能である。
たとえば、上記画像符号化装置１００及び画像符号化方法は、該装置に実装されるコンピュータプログラム或いは該プログラムを記録した記録媒体、該方法を実施するコンピュータプログラム或いは該プログラムを記録した記録媒体としての実施も可能である。
［１−７．動作及び効果］
以上の構成によれば、画像処理装置としての画像符号化装置１００は、入力画像９１が簡易な処理により符号化されてなる簡易符号化データであるＤＣＴ係数を、量子化因子である量子化パラメータＱＰから離散的に選択された選択量子化パラメータＱＰｌに基づいて入力画像である入力画像９１を少なくとも量子化することにより入力画像９１を符号化し、符号化による入力画像９１の発生符号量を算出する。
画像符号化装置１００は、符号化による入力画像の発生符号量における簡易な処理に応じて発生する誤差を補正し、低精度発生符号量を算出する。
画像符号化装置１００は、選択量子化パラメータＱＰｌに基づいて入力画像９１が符号化されたときの低精度発生符号量に対する補間処理により、選択量子化パラメータＱＰｌ以外の量子化パラメータＱＰに基づいて入力画像９１が符号化されたときの低精度発生符号量を算出する。
これにより、画像符号化装置１００は、全ての量子化パラメータＱＰを符号化しなくても、当該全ての量子化パラメータＱＰに基づく低精度発生符号量を算出することができ、低精度発生符号量の算出を簡易にすると共に、算出回路を削減することができる。
画像符号化装置１００は、選択量子化パラメータＱＰｌに基づく符号化及び補間処理により算出された低精度発生符号量に基づいて、入力画像９１を符号化したときの本エンコード発生符号量が目標符号量に最も近いと予測される量子化パラメータＱＰを基本量子化パラメータＱＰ_ＭＢとして決定する。画像符号化装置１００は、本エンコード部３により基本量子化パラメータＱＰ_ＭＢに基づいて入力画像９１を符号化（本エンコード）する。
これにより、画像符号化装置１００は、簡易な処理により生成された低精度発生符号量に基づいて基本量子化パラメータＱＰ_ＭＢを決定することができるため、基本量子化パラメータＱＰ_ＭＢを決定するための処理を簡易化することができる。
＜２．第２の実施の形態＞
図５〜図６に示す第２の実施の形態においては、図１〜図４に示した第１の実施の形態と対応する箇所に同一符号を附して示すように、画像符号化装置２００における本エンコード部３が、実際に発生した本エンコード発生符号量に応じてフィードバック制御を行う点が、第１の実施の形態と異なっている。
［２−１．本エンコードにおけるフィードバック制御］
画像符号化装置２００は、第１の実施の形態と同様、本エンコード発生符号量が目標符号量に最も近くなると予測される基本量子化パラメータＱＰ_ＭＢを用いたフィードフォワード制御により、本エンコードを実行する。このため、画像符号化装置２００は、殆どの場合、本エンコード発生符号量を目標符号量に抑えることができる。しかしながら、画像符号化装置２００は、ごく稀に高精度発生符号量の算出を失敗し、不適切な基本量子化パラメータＱＰ_ＭＢを選択してしまう場合がある。そこで、画像符号化装置２００は、かかる場合に対処するべく、本エンコード発生符号量のフィードバック制御により、本エンコード発生符号量を目標符号量に確実に抑えるようになされている。なお、第２の実施の形態において、符号量制御部４は、例えば高精度発生符号量が目標符号量を超えず、かつ高精度発生符号量が目標符号量に最も近い量子化パラメータＱＰを基本量子化パラメータＱＰ_ＭＢに決定する。これにより、符号量制御部４は、本エンコード発生符号量が目標符号量より少し小さくなるように基本量子化パラメータＱＰ_ＭＢを決定している。
図５に示すように、画像符号化装置２００は、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；高度動画像圧縮符号化標準）などに代表される画像圧縮方式に従い、符号量制御を行う際に、ピクチャ内で良好な符号量分布を実現し、且つ、Ｐｉｃｔｕｒｅ固定長符号化を実現するために、以下の処理を実施する。
・ 画像符号化装置２００は、３ｐａｓｓエンコードの本エンコードにおいて、画面内フィードバック（Ｆｅｅｄ Ｂａｃｋ）によるレート制御を行い、符号量を一定値以下に抑える。
・ 画像符号化装置２００は、フィードバック制御による量子化パラメータＱＰの不要な変動を抑えるため、ピクチャごとの発生符号量が目標符号量を超えないと予測される場合には、視覚特性（アクティビティ）によってのみ、使用する量子化パラメータＱＰ（使用量子化因子）を基本量子化パラメータＱＰ_ＭＢから変更する。すなわち、画像符号化装置２００は、基本量子化パラメータＱＰ_ＭＢを平均ピクチャＢａｓｅＱＰとしたときの適応量子化パラメータＱＰｔを、使用する量子化パラメータＱＰとする。
・ 画像符号化装置２００は、フィードバック制御により、本エンコード発生符号量が目標符号量を超えてしまうと予測される場合、平均量子化パラメータＢａｓｅＱＰを基本量子化パラメータＱＰ_ＭＢから変更する。このとき、画像符号化装置２００は、平均量子化パラメータＢａｓｅＱＰの不要な変動を抑えるため、量子化パラメータＱＰが大きくなる方向にのみ（すなわち発生符号量が小さくなる方向にのみ）平均量子化パラメータＢａｓｅＱＰを変更する。この結果、画像符号化装置２００は、変更された平均量子化パラメータＢａｓｅＱＰに基づく適応量子化パラメータＱＰｔを使用する量子化パラメータＱＰとする。なお一旦大きい方向に変更された平均量子化パラメータＢａｓｅＱＰは、小さくなる方向に戻ることはない。
具体的に、画像符号化装置２００の本エンコード部３は、第２のプレエンコード部２の結果に基づいて決定された基本量子化パラメータＱＰ_ＭＢを平均量子化パラメータＢａｓｅＱＰとし、第１のプレエンコード部１により決定された量子化行列Ｑ Ｍａｔｒｉｘ、Ａｃｔｉｖｉｔｙ Ｇｒｏｕｐを使用してエンコードを行う。この時、画像符号化装置２００は、目標符号量を越えることが無い様に平均量子化パラメータＢａｓｅＱＰをフィードバック制御する。
画像符号化装置２００の符号量制御部４は、複数のＭＢからなるフィードバック制御単位ＦｅｅｄＢａｃｋＵｎｉｔごとに、フィードバック制御を実行する。符号量
制御部４には、エントロピー符号化部３４から出力ストリーム９２の発生符号量が供給される。符号量制御部４は、第２のプレエンコードの予測量子化パラメータＱＰｄ（ＱＰ＿ｐｒｅｃｏｄｅ１）でのＭＢ毎の発生符号量（つまり、量子化部２３−１、エントロピー符号長計算部２４−１の出力）を用い、ピクチャごとの目標符号量（以下、これをピクチャ目標符号量と呼ぶ）から、フィードバック制御単位ＦｅｅｄＢａｃｋＵｎｉｔ毎の目標符号量（以下、これをフィードバック目標符号量と呼ぶ）を算出する。
いま、第２のプレエンコード部２の結果に基づくフィードバック制御単位（ＦｅｅｄＢａｃｋＵｎｉｔ）の高精度発生符号量をＰｒｅｃｏｄｅＧｅｎｅｒａｔｅｄＢｉｔｓ＿ＦｅｅｄＢａｃｋＵｎｉｔ［ｎｏ］、第２のプレエンコード部２の結果に基づくピクチャごとの高精度発生符号量をＰｒｅｃｏｄｅＧｅｎｅｒａｔｅｄＢｉｔｓとすると、フィードバック制御単位ＦｅｅｄＢａｃｋＵｎｉｔのフィードバック目標符号量（ＴａｒｇｅｔＢｉｔ＿ＦｅｅｄＢａｃｋＵｎｉｔ［ｎｏ］）は次式で求められる。なお、ｎｏはＦｅｅｄＢａｃｋＵｎｉｔの番号（０〜ＦｅｅｄＢａｃｋＵｎｉｔ個数−１）、ＴａｒｇｅｔＢｉｔはピクチャ目標符号量である。

すなわち、符号量制御部４は、フィードバック制御単位の高精度発生符号量（ＰｒｅｃｏｄｅＧｅｎｅｒａｔｅｄＢｉｔｓ＿ＦｅｅｄＢａｃｋＵｎｉｔ［ｎｏ］）のピクチャの高精度発生符号量（ＰｒｅｃｏｄｅＧｅｎｅｒａｔｅｄＢｉｔｓ）に対する割合に対し、ピクチャ目標符号量ＴａｒｇｅｔＢｉｔを乗算することにより、フィードバック目標符号量（ＴａｒｇｅｔＢｉｔ＿ＦｅｅｄＢａｃｋＵｎｉｔ［ｎｏ］）を算出する。
具体的に、画像符号化装置２００の符号量制御部４は、以下の様な処理を行う。
（１）符号量制御部４は、エンコードを前半処理、後半処理に分け、前半処理ではフィードバック制御を行わない。符号量制御部４は、プレエンコードのフィードバック制御単位（ＦｅｅｄＢａｃｋＵｎｉｔ）の符号量比によりフィードバック制御単位（ＦｅｅｄＢａｃｋＵｎｉｔ）の目標符号量を決定している。この符号量比は、量子化パラメータＱＰの変動により変化する。よって、画像符号化装置２００は、エンコード前半の発生符号量が少ない時点でフィードバック制御を行うと、不必要な平均量子化パラメータＢａｓｅＱＰの変更を行ってしまう可能性がある。言い換えると、画像符号化装置２００は、本エンコード発生符号量がピクチャ目標符号量に近くなるよう、基本量子化パラメータＱＰ_ＭＢを選定している。従って、ピクチャの早い段階で平均量子化パラメータＢａｓｅＱＰを変動させてしまうと、本エンコード発生符号量とピクチャ目標符号量とが乖離してしまう可能性が生じてしまうためである。
（２）符号量制御部４は、量子化パラメータＱＰの安定化と、本エンコード発生符号量を目標符号量以下に抑えることの両面から前半処理、後半処理の切り替えタイミングを判定する。すなわち、符号量制御部４は、（ａ）及び（ｂ）に示す以下に示す条件のうちのいずれか一方を満たす場合に、後半処理に移行する。
（ａ）符号量制御部４は、ピクチャを一定割合以上エンコードしている、換言すれば、一定数以上のＭＢをエンコードし終えとき、後半処理に移行する。量子化パラメータＱＰを安定化させるためである。
（ｂ）符号量制御部４は、エンコードしていない部分（ＭＢ）で使用できる残り符号量（ピクチャ目標符号量からその時点までの本エンコード発生符号量を減算した値）と、エンコードしていない部分（ＭＢ）の目標符号量（ピクチャ目標符号量からその時点までのフィードバック目標符号量を減算した値）とを比較する。残り符号量が一定割合以下になると、後半処理に移行する。本エンコード発生符号量を目標符号量以下に抑えるためである。
この（２）（ｂ）の条件を式で表すと以下のようになる。

ここで、ＴａｒｇｅｔＢｉｔ＿Ａｃｃｕｍ、ＧｅｎｅｒａｔｅｄＢｉｔｓ＿Ａｃｃｕｍは、それぞれこの時点までのフィードバック目標符号量（ＴａｒｇｅｔＢｉｔ＿ＦｅｅｄＢａｃｋＵｎｉｔ［ｎｏ］）、フィードバック制御単位の本エンコード発生符号量（ＧｅｎｅｒａｔｅｄＢｉｔｓ＿ＦｅｅｄＢａｃｋＵｎｉｔ［ｎｏ］）の積算値である。また、ＴｈｒｅｓｈｏｌｄＲａｔｉｏは、許容できるずれの割合である。本エンコード発生符号量が目標符号量になっている場合、残り符号量とエンコードしていない部分の目標符号量がイコールとなる。一方、本エンコード発生符号量が目標符号量をオーバーしている場合、残り符号量がエンコードしていない部分の目標符号量よりも小さくなる。例えば、符号量制御部４は、残り符号量がエンコードしていない部分の目標符号量のＴｈｒｅｓｈｏｌｄＲａｔｉｏ倍未満になったとき、後半処理に移行する。符号量制御部４は、発生符号量が目標符号量を必ず下回るように制御する場合、ＴｈｒｅｓｈｏｌｄＲａｔｉｏを１未満に設定する。これにより、符号量制御部４は、エンコードが終了した部分の発生符号量が目標符号量を下回り、かつ当該目標符号量に近づいてきたときに後半処理に移行することができる。また、符号量制御部４は、発生符号量が目標符号量の近傍になるよう制御する場合、このＴｈｒｅｓｈｏｌｄＲａｔｉｏを１超に設定する。これにより、符号量制御部４は、エンコードが終了した部分の発生符号量が目標符号量を一定の比率以上で上回ったときに後半処理に移行することができる。もちろん、ＴｈｒｅｓｈｏｌｄＲａｔｉｏを「１」に設定することも可能である。
これにより、符号量制御部４は、目標符号量と実際の本エンコード発生符号量が乖離する前に、フィードバック制御に入ることができ、残り符号量が少なすぎて本エンコード発生符号量が制御できなくなることを確実に防止することができる。
言い換えると、符号量制御部４は、本エンコード発生符号量の少ないうちは、残り符号量の絶対量が大きいため、目標符号量と本エンコード発生符号量が極めて大きく乖離しない限り、条件を満たすことはなく、後半処理に移行してフィードバック制御に入ることはない。符号量制御部４は、本エンコード発生符号量が大きくなってきたら、残り符号量の絶対量が小さいため、目標符号量と本エンコード発生符号量が小さく乖離しただけでも条件を満たすことになり、後半処理に移行して、フィードバック制御に入ることになる。
（３）符号量制御部４は、後半処理において、ピクチャごとの本エンコード発生符号量がピクチャ目標符号量を超えると予想した場合にのみ、平均量子化パラメータＢａｓｅＱＰを基本量子化パラメータＱＰ_ＭＢより大きくする方向に変更する。符号量制御部４は、平均量子化パラメータＢａｓｅＱＰを大きくする場合には、一回のフィードバック処理（すなわちフィードバック制御単位ごと）で、平均量子化パラメータＢａｓｅＱＰを「１」のみ変化させる。これにより、符号量制御部４は、過剰な平均量子化パラメータＢａｓｅＱＰの変化を抑えるようになされている。
符号量制御部４は、以下の（ａ）又は（ｂ）のいずれかの条件に当て嵌まる場合、ピクチャごとの本エンコード発生符号量がピクチャ目標符号量を超えると予想し、平均量子化パラメータＢａｓｅＱＰを大きくする。
（ａ）符号量制御部４は、フィードバック制御単位のエンコードが終了した時点で直前（処理を終えた直後）のフィードバック発生符号量を確認し、フィードバック発生符号量（ＧｅｎｅｒａｔｅｄＢｉｔｓ＿ＦｅｅｄＢａｃｋＵｎｉｔ［ｃｕｒ］）とフィードバック目標符号量（ＴａｒｇｅｔＢｉｔ＿ＦｅｅｄＢａｃｋＵｎｉｔ［ｃｕｒ］）とを次式に従って比較する。

フィードバック発生符号量（ＧｅｎｅｒａｔｅｄＢｉｔｓ＿ＦｅｅｄＢａｃｋＵｎｉｔ［ｃｕｒ］）がフィードバック目標符号量（ＴａｒｇｅｔＢｉｔ＿ＦｅｅｄＢａｃｋＵｎｉｔ［ｃｕｒ］）より大きいことは、発生符号量が増大する傾向にあるため、以降のエンコードにおいて生じる本エンコー
ド発生符号量が目標符号量を超える可能性があることを示唆している。このとき、符号量制御部４は、平均量子化パラメータＢａｓｅＱＰを大きくするか否かを判別する。このときの条件を以下に示す。
符号量制御部４は、この時点でエンコードが終了した部分についての目標符号量から発生符号量を減算することにより、発生符号量の余りＳｕｒｐｌｕｓＢｉｔｓを以下の様に計算する。

符号量制御部４は、次のフィードバック制御単位において本エンコード発生符号量が目標符号量を超えると予測した場合にのみ、平均量子化パラメータＢａｓｅＱＰを大きくする。
符号量制御部４は、次のフィードバック制御単位の目標符号量に対して次のフィードバック制御単位でオーバーすると予測される最大の符号量（以下、これを過剰最大符号量と呼ぶ）を、次のフィードバック制御単位の目標符号量から以下の様に求める。ここで、ＭａｘＥｒｒｏｒＲａｔｉｏは、フィードバック発生符号量がフィードバック目標符号量に対する誤差として取り得る最大比率である。

これを元に、以下の判定を行う。

符号量制御部４は、発生符号量の余りＳｕｒｐｌｕｓＢｉｔｓと次のフィードバック制御単位の過剰最大符号量とを比較する。符号量制御部４は、発生符号量の余りＳｕｒｐｌｕｓＢｉｔｓよりも過剰最大符号量が大きい場合、次のフィードバック制御単位においてエンコードが終了した部分の本エンコード発生符号量が目標符号量を超える可能性があると判別し、平均量子化パラメータＢａｓｅＱＰを＋１する。
すなわち、符号量制御部４は、「直前のフィードバック制御単位の発生符号量が、直前のフィードバック制御単位の目標符号量より大きい」且つ、「この時点での符号量の余りＳｕｒｐｌｕｓＢｉｔｓが、次のフィードバック制御単位でオーバーする可能性のある過剰最大符号量より小さい」とき、平均量子化パラメータＢａｓｅＱＰを＋１する。発生符号量が増大する傾向にあり、かつ符号量の余りに余裕がないため、最終的なピクチャ発生符号量がピクチャ目標符号量を超えてしまうと予測されるからである。
言い換えると、符号量制御部４は、現状維持でも次のフィードバック制御単位でエンコードが終了した部分の本エンコード発生符号量が目標符号量を超えないと判断されれば、平均量子化パラメータＢａｓｅＱＰを＋１しない。これにより、符号量制御部４は、エンコードが終了した部分の本エンコード発生符号量が目標符号量を超えそうな兆候が見られた時でも、過度に反応することを避け、平均量子化パラメータＢａｓｅＱＰを不要に大きくし過ぎることを防止し、平均量子化パラメータＢａｓｅＱＰを安定化させ得る。
（ｂ）符号量制御部４は、（ａ）に当て嵌まらない場合、すなわち「直前のフィードバック制御単位の発生符号量が、直前のフィードバック制御単位の目標符号量より小さい」又は「この時点での符号量の余りＳｕｒｐｌｕｓＢｉｔｓが、次のフィードバック制御単位でオーバーする可能性のある過剰最大符号量より大きい」とき、発生符号量の余りＳｕｒｐｌｕｓＢｉｔｓが負であるかを確認する。ＳｕｒｐｌｕｓＢｉｔｓが負である場合、エンコードが終了した時点での本エンコード発生符号量が目標符号量を超えてしまっていることを意味している。このとき、符号量制御部４は、以下の様に、直前のフィードバック制御単位の目標符号量と発生符号量の比から、残りの符号化部分での発生符号量の、目標からのずれを予測する。
符号量制御部４は、直前のＦｅｅｄ Ｂａｃｋ制御単位の目標符号量と発生符号量の比Ｄｉｆｆ＿Ｒａｔｉｏを以下のように算出する。

符号量制御部４は、残りの符号化部分の目標符号量ＴａｒｇｅｔＢｉｔ＿Ｒｅｍを以下のように算出する。
ＴａｒｇｅｔＢｉｔ＿Ｒｅｍ＝ＴａｒｇｅｔＢｉｔ−ＴａｒｇｅｔＢｉｔ＿Ａｃｃｕｍ
符号量制御部４は、残りの符号化部分での発生符号量が、直前のフィードバック制御単位の目標符号量と発生符号量の比Ｄｉｆｆ＿Ｒａｔｉｏと同一比率でずれると仮定し、目標からのずれを、以下のように算出する。
ＴａｒｇｅｔＢｉｔ＿Ｒｅｍ^＊Ｄｉｆｆ＿Ｒａｔｉｏ
符号量制御部４は、符号化した部分と符号化してない部分のずれを足したものが、正であり、以下の条件を満たす場合、平均量子化パラメータＢａｓｅＱＰを＋１する。

符号量制御部４は、「エンコードした部分の発生符号量が、目標符号量を超えている」且つ、「直前のフィードバック制御単位の目標符号量と発生符号量の比から求めたピクチャの予測発生符号量が、ピクチャ目標符号量を超えている」時、平均量子化パラメータＢａｓｅＱＰを＋１する。
すなわち、符号量制御部４は、ある時点で発生符号量が目標符号量を超えていても、目標符号量に対して発生符号量が減少傾向にあるため最終的にはピクチャ発生符号量がピクチャ目標符号量以下に収まると判断されれば、平均量子化パラメータＢａｓｅＱＰを＋１しない。
このように、画像符号化装置２００は、入力画像９１を本エンコードする際、ピクチャに対する本エンコードを開始した時点ではフィードバック制御を実行せず、一定条件を満たしたときのみ後半処理としてフィードバック制御を実行する。
すなわち、画像符号化装置２００は、原則的にピクチャの後半部分に対してのみフィードバック制御を実行する。画像符号化装置２００は、ピクチャの前半部分であっても、エンコードした部分の発生符号量と目標符号量との比率が一定以上となる場合には、以降の発生符号量が目標符号量から乖離する可能性があるため、フィードバック制御を実行する。
画像符号化装置２００は、フィードバック制御として、平均量子化パラメータＢａｓｅＱＰの変動を最小限に抑制するため、ピクチャごとの本エンコード発生符号量をピクチャ目標符号量以下に抑えることができないと予測したときのみ、平均量子化パラメータＢａｓｅＱＰを「１」だけ増大させる。
すなわち、画像符号化装置２００は、フィードバック発生符号量がフィードバック目標符号量よりも大きく、発生符号量が目標符号量よりも増大する傾向があり、かつ次のフィードバック制御単位でエンコードした部分の発生符号量が目標符号量を超える可能性がある場合、最終的なピクチャ発生符号量がピクチャ目標符号量を超えると予測されるため、平均量子化パラメータＢａｓｅＱＰを＋１する。
これにより、画像符号化装置２００は、発生符号量が目標符号量よりも増大する傾向がある場合であっても、残り符号量に余裕がある場合には、平均量子化パラメータＢａｓｅＱＰを＋１しないようにでき、平均量子化パラメータＢａｓｅＱＰを不要に増大させずに済む。
さらに、画像符号化装置２００は、平均量子化パラメータＢａｓｅＱＰを＋１していない場合において、エンコードした部分の発生符号量が目標符号量を超えており、最終的なピクチャの発生符号量がピクチャ目標符号量を超えると予測される場合には、平均量子化パラメータＢａｓｅＱＰを＋１する。
これにより、画像符号化装置２００は、エンコードした部分の発生符号量が目標符号量を超えている場合であっても、発生符号量が減少傾向にあり、ピクチャの発生符号量がピクチャ目標符号量を超えないと予測される場合には、最終的な平均量子化パラメータＢａｓｅＱＰを＋１しないようにでき、平均量子化パラメータＢａｓｅＱＰを不要に増大させずに済む。
［２−２．処理手順］
以下、図６のフローチャートを参照して、フィードバック制御処理手順ＲＴ４について説明する。この処理を開始すると、符号量制御部４は、プレエンコードで決定された基本量子化パラメータＱＰ_ＭＢを平均量子化パラメータＢａｓｅＱＰにセットする（ステップＳ３１）。続いて、符号量制御部４は、フィードバック制御単位ＦｅｅｄＢａｃｋＵｎｉｔごとに入力画像９１をエンコードする（ステップＳ３２）。
続いて、符号量制御部４は、ピクチャにおける全てのＭＢをエンコードしたか否かを判断する（ステップＳ３３）。ここで、符号量制御部４は、全てのＭＢをエンコードした場合には、終了ステップへ移って処理を終了する。一方、符号量制御部４は、全てのＭＢをエンコードしていない場合には、次のステップＳ３４へ移る。符号量制御部４は、一定数以上のＭＢをエンコードしたか否かを判断する（ステップＳ３４）。これは、前述したように、エンコード前半の発生符号量が少ない時点で、フィードバック制御を行うと平均量子化パラメータＢａｓｅＱＰを不必要に変更する可能性があるからである。
ここで、符号量制御部４は、一定数以上のＭＢをエンコードしたと判断した場合には、ステップＳ３６に移行する。一方、符号量制御部４は、一定数以上のＭＢをエンコードしていないと判断した場合には、ステップ３５に移り、エンコードしていない部分（ＭＢ）で使用できる残り符号量（目標符号量からその時点までの発生符号量を引いたもの）と、エンコードしていない部分（ＭＢ）の目標符号量とを比較し、残り符号量とエンコードしていない部分の目標符号量との比率が一定割合以下か否かを判断する（ステップＳ３５）。ここで、符号量制御部４は、残り符号量とエンコードしていない部分の目標符号量との比率が一定割合以下でないと判断した場合には、現在エンコード処理しているＭＢが後半部分ではなく、かつエンコードした部分の発生符号量が目標符号量から乖離もしていないため、ステップＳ３２に戻り上記処理を繰り返す。一方、使用できる符号量が一定割合以下であると判断した場合にはステップＳ３６に移行し、フィードバック制御を実行する。
続いて、符号量制御部４は、直前のフィードバック制御単位の発生符号量が、直前のフィードバック制御単位の目標符号量より大きいか否かを判断する（ステップＳ３６）。ここで、符号量制御部４は、直前のフィードバック制御単位の発生符号量が、直前のフィードバック制御単位の目標符号量より大きいと判断した場合には、この時点での符号量の余りが、次のフィードバック制御単位でオーバーする可能性があるか否かを判断する（ステップＳ３７）。符号量制御部４は、直前のフィードバック制御単位の発生符号量が、直前のフィードバック制御単位の目標符号量より小さい場合には、ステップＳ３９へ移る。
符号量制御部４は、この時点での符号量の余りが、次のフィードバック制御単位でオーバーする可能性があると判断した場合、平均量子化パラメータＢａｓｅＱＰを＋１し（ステップＳ３８）、ステップＳ３２に戻る。一方、符号量制御部４は、この時点での符号量の余りが、次のフィードバック制御単位でオーバーする可能性がないと判断した場合、ステップＳ３９に進む。
そして、ステップＳ３９において、符号量制御部４は、エンコードした部分の発生符号量が、目標符号量を超えているか否かを判断する（ステップＳ３９）。ここで、符号量制御部４は、エンコードした部分の発生符号量が、目標符号量を超えていないと判断した場合には、ステップＳ３２に戻り、上記処理を繰り返す。
一方、符号量制御部４は、エンコードした部分の発生符号量が、目標符号量を超えていると判断した場合には、直前のフィードバック制御単位の目標符号量と発生符号量の比から求めたピクチャの予測発生符号量がピクチャ目標符号量を超えているか否かを判断する（ステップＳ４０）。そして、符号量制御部４は、ピクチャの予測発生符号量がピクチャ目標符号量を超えていないと判断した場合には、ステップＳ３２に戻り、上記処理を繰り返す。
符号量制御部４は、ピクチャの予測発生符号量がピクチャ目標符号量を超えていると判断した場合には、平均量子化パラメータＢａｓｅＱＰを＋１し（ステップＳ３８）、ステップＳ３２に戻り、上記処理を繰り返す。こうして、符号量制御部４は、ステップＳ３３において、全てのＭＢをエンコードしたと判断するまで、この処理を継続する。
以上説明したように、本実施の形態によれば、画像符号化装置２００は、二分探索法を用いることなく、ピクチャをほぼ固定長にして符号化する事が可能になるため、回路規模、消費電力を小さくすることができ、符号化遅延も短く出来る。この際、画像符号化装置２００は、フィードバック制御による平均量子化パラメータＢａｓｅＱＰの不要な変動が抑えられるため、フィードバック制御を導入していても、最適な符号量配分つまり、ピクチャ目標符号量にピクチャ発生符号量を一致させ、視覚特性を考慮した符号量配分が可能になる。
なお、本発明は前述した実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲で種々の改良や変更が可能である。
たとえば、上記画像符号化装置及び画像符号化方法は、該装置に実装されるコンピュータプログラム或いは該プログラムを記録した記録媒体、該方法を実施するコンピュータプログラム或いは該プログラムを記録した記録媒体としての実施も可能である。
上述した一連の符号化処理は、ハードウェアにより実行させることもでき、また、ソフトウェアにより実行させることも可能である。符号化処理をソフトウェアによって実現する場合、ＣＰＵ及びＲＡＭに仮想的に画像符号化装置１００が形成される。そして、ＲＯＭに格納された符号化プログラムをＲＡＭに展開することにより、符号化処理が実行される。
［２−３．動作及び効果］
以上の構成において、画像符号化装置２００は、入力画像９１を符号化したときのピクチャごとの本エンコード発生符号量がピクチャ目標符号量の近傍になると予測される基本量子化因子としての基本量子化パラメータＱＰ_ＭＢを決定する。
画像符号化装置２００は、少なくとも基本量子化パラメータＱＰ_ＭＢに基づいて決定された使用量子化因子としての平均量子化パラメータＢａｓｅＱＰに基づく適応量子化パラメータＱＰｔを用いて量子化することにより、入力画像９１をフィードバック制御単位ごとに符号化する。
画像符号化装置２００は、符号化された入力画像９１の発生符号量をフィードバック制御単位ごとに確認し、画像単位ごとの発生符号量が画像単位ごとの目標符号量を超えると予測する場合に、平均量子化パラメータＢａｓｅＱＰを増大させることにより、適応量子化パラメータＱＰｔの値を増大させる。
これにより、画像符号化装置２００は、ピクチャごとの本エンコード発生符号量がピクチャ目標符号量の近傍になるよう予め調整された状態において、限定的に平均量子化パラメータＢａｓｅＱＰを増大させるため、使用する量子化パラメータＱＰ（適応量子化パラメータＱＰｔ）の値が不要に変動することを防止することができる。
ＡＶＣなどの量子化を伴う符号化方式では、複数回に亘って符号化を実行することによる画質の劣化が確認されている。この画質の劣化を防止するため、前回の符号化の際に使用された量子化パラメータＱＰを検出して再度使用するバックサーチと呼ばれる手法が提案されている（例えば特許文献２参照）。
国際出願番号ＰＣＴ／ＪＰ２００８／０６６９１７。

このバックサーチでは、予測量子化パラメータＱＰｄに基づいてバックサーチの検索範囲を設定することにより、バックサーチの検索範囲を限定して処理を簡易にすることができる。
画像符号化装置２００は、使用する量子化パラメータＱＰの変動を極力抑制することができるため、使用する量子化パラメータＱＰがバックサーチの検索範囲から外れてしまうことを抑制でき、バックサーチの検出率を低下させずに済む。
画像符号化装置２００は、フィードバック制御単位ごとのフィードバック発生符号量が増大する傾向にあり、かつ画像単位であるピクチャにおいて符号化された部分の目標符号量から符号化された部分の発生符号量を減算した符号量の余りに余裕がない場合、ピクチャ発生符号量がピクチャ目標符号量を超えると予測する。
画像符号化装置２００は、直前のフィードバック制御単位の発生符号量が、直前のフィードバック制御単位の目標符号量より大きいとき、フィードバック制御単位ごとの発生符号量が増大する傾向にあると判別する。
画像符号化装置２００は、次のフィードバック制御単位における発生符号量が目標符号量を超える可能性のある過剰最大符号量より小さいとき、符号量の余りに余裕がないと判別する。
これにより、画像符号化装置２００は、フィードバック発生符号量が増大する傾向にあり、符号量の余りに余裕がないといった限定的な場合にのみ平均量子化パラメータＢａｓｅＱＰを増大させるため、平均量子化パラメータＢａｓｅＱＰの不要な変動を防止することができる。
画像符号化装置２００は、ピクチャにおいて符号化された部分の発生符号量が当該符号化された部分の目標符号量を超えており、かつ目標符号量と発生符号量の比率が変化しないと仮定したときにピクチャ発生符号量がピクチャ目標符号量を超える場合に、ピクチャ発生符号量がピクチャ目標符号量を超えると予測する。
画像符号化装置２００は、直前のフィードバック制御単位のフィードバック目標符号量とフィードバック発生符号量の比から求めたピクチャ発生符号量の予測値（ピクチャ予測発生符号量）が目標符号量を超えた場合に、目標符号量と発生符号量の比率が変化しないと仮定したときにピクチャ発生符号量がピクチャ目標符号量を超えると判別する。
これにより、画像符号化装置２００は、フィードバック発生符号量とフィードバック目標符号量の比率が現状維持された場合にピクチャ発生符号量がピクチャ目標符号量を超えるといった限定的な場合にのみ平均量子化パラメータＢａｓｅＱＰを増大させるため、平均量子化パラメータＢａｓｅＱＰの不要な変動を防止することができる。
画像符号化装置２００は、ピクチャにおける後半部分において、ピクチャ発生符号量がピクチャ目標符号量を超えるか否かを予測する。
これにより、画像符号化装置２００は、これからエンコードされる残り部分が多く、平均量子化パラメータＢａｓｅＱＰの変動がピクチャ発生符号量に大きな影響を与える前半部分において極力フィードバック制御を実行しない。この結果、画像符号化装置２００は、前半部分において不要に平均量子化パラメータＢａｓｅＱＰが変動したことによりピクチャ発生符号量のバランスが崩れることを防止できる。
画像符号化装置２００は、ピクチャにおいて符号化された部分の発生符号量が当該符号化された部分の目標符号量と乖離する場合には、ピクチャにおける位置に拘らず、ピクチャ発生符号量がピクチャ目標符号量を超えかるか否かを予測する。
画像符号化装置２００は、ピクチャにおいて符号化された部分の発生符号量が、当該符号化された部分の目標符号量に対して許容されるずれ量ＴｈｒｅｓｈｏｌｄＲａｔｉｏを乗算した値よりも小さい場合に、ピクチャにおいて符号化された部分の発生符号量が当該符号化された部分の目標符号量と乖離すると判別する。
これにより、画像符号化装置２００は、例えば基本量子化パラメータＱＰ_ＭＢの推測に失敗した場合には、ピクチャの早い段階でもフィードバック制御を実行でき、不測の事態にも対応することができる。
画像符号化装置２００は、ピクチャ発生符号量がピクチャ目標符号量を超えると予測する場合に、平均量子化パラメータＢａｓｅＱＰを１だけ増大させる。
これにより、画像符号化装置２００は、平均量子化パラメータＢａｓｅＱＰの変動を最小限に抑制でき、ピクチャ内における画質を安定させ得る。
画像符号化装置２００は、入力画像９１を符号化したときの発生符号量が目標符号量よりも小さくなるよう、基本量子化パラメータＱＰ_ＭＢを決定する。
これにより、画像符号化装置２００は、ピクチャ発生符号量を抑制できるため、ピクチャ発生符号量がピクチャ目標符号量を超えないように一段と制御し易くなる。
画像符号化装置２００は、許容されるずれ量ＴｈｒｅｓｈｏｌｄＲａｔｉｏとして、１未満の値を設定する。これにより、画像符号化装置２００は、符号化された部分の発生符号量が、当該符号化された部分の目標符号量より小さいものの近接してきた場合に、フィードバック制御を実行できるため、ピクチャ発生符号量がピクチャ目標符号量を超えないように確実に制御することができる。
画像符号化装置２００は、広範囲に亘る量子化パラメータＱＰ（選択量子化パラメータＱＰｌ）を用いて入力画像９１を符号化することにより算出された低精度発生符号量に基づいて、基本量子化パラメータＱＰ_ＭＢの近傍であると予測される予測量子化パラメータＱＰｄを決定し、当該予測量子化パラメータＱＰｄ及び当該予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰを用いて入力画像９１を符号化することにより算出された高精度発生符号量に基づいて、基本量子化パラメータＱＰ_ＭＢを決定する。
これにより、画像符号化装置２００は、高い精度で基本量子化パラメータＱＰ_ＭＢを決定しているため、当該基本量子化パラメータＱＰ_ＭＢを用いることによりピクチャごとの本エンコード発生符号量をピクチャ目標符号量に近くできる。従って、画像符号化装置２００は、極稀にフィードバック制御による平均量子化パラメータＢａｓｅＱＰを変動させるだけで済み、平均量子化パラメータＢａｓｅＱＰの変動を極力抑制できる。
以上の構成によれば、画像符号化装置２００は、符号化された部分の発生符号量及び当該符号化された部分の目標符号量から、ピクチャ発生符号量がピクチャ目標符号量を超えると予測された場合にのみ平均量子化パラメータＢａｓｅＱＰを増大させるよう、フィードバック制御を実行する。
これにより、画像符号化装置２００は、平均量子化パラメータＢａｓｅＱＰの変動を最小限に抑制しつつ確実にピクチャ発生符号量をピクチャ目標符号量以下にすることができる。かくして本発明は、均質な画質を維持しつつ確実にピクチャ発生符号量をピクチャ目標符号量以下にすることができる画像処理装置及び画像処理方法を実現できる。
＜３．他の実施の形態＞
なお上述した第２の実施の形態においては、画像符号化装置２００が第１のプレエンコード部１の結果に基づいて予測量子化パラメータＱＰｄを決定し、第２のプレエンコード部２の結果に基づいて基本量子化パラメータＱＰ_ＭＢを決定する３パス構成でなるようにした場合について述べた。本発明はこれに限らず、例えば第１のエンコード部１が基本量子化パラメータＱＰ_ＭＢを決定する２パス構成や、４パス以上の構成でなる画像符号化装置に本発明を適用するようにしても良い。
また上述した第１及び第２の実施の形態においては、入力画像９１を画面内予測、ＤＣＴによる直交変換、量子化及びＣＡＶＬＣ又はＣＡＢＡＣによる符号化によって符号化するようにした場合について述べた。本発明はこれに限らず、いずれを省略しても良く、少なくとも入力画像９１を量子化すれば良い。また、これら以外の符号化方法を用いて入力画像９１を符号化することもできる。
さらに上述した第２の実施の形態においては、複数のＭＢでなるフィードバック制御単位ごとにフィードバック発生符号量を確認するようにした場合について述べた。本発明はこれに限らず、フィードバック制御単位のサイズに制限はなく、例えばフィードバック制御単位をＭＢやスライスに設定するようにしても良い。
さらに上述した第２の実施の形態においては、画像単位としてピクチャごとの発生符号量を目標符号量以下に抑制するようにした場合について述べた。本発明はこれに限らず、例えば画像単位としてスライスごとや複数のピクチャごとに発生符号量を目標符号量以下に抑制するようにしても良い。
さらに上述した第２の実施の形態においては、１のフィードバック制御単位に対するフィードバック制御につき、平均量子化パラメータＢａｓｅＱＰを１だけ増大させるようにした場合について述べた。本発明はこれに限らず、条件に応じて２以上増大させるようにしても良い。
さらに上述した第１及び第２の実施の形態においては、直前のフィードバック発生符号量がフィードバック目標符号量を超えた場合に、フィードバック制御単位ごとの発生符号量が増大する傾向にあると判別するようにした場合について述べた。本発明はこれに限らず、例えば直前の複数のフィードバック制御単位ごとに発生符号量が目標符号量を超えるか否かにより、フィードバック制御単位ごとの発生符号量が増大する傾向にあると判別するようにしても良い。
さらに、上述した第２の実施の形態においては、（３）（ａ）及び（３）（ｂ）のいずれかに該当するときに、画像単位ごとの発生符号量が上記画像単位ごとの目標符号量を超えると予測するようにした場合について述べた。本発明はこれに限らず、いずれか一方に該当する場合や、他の手法により画像単位ごとの発生符号量が上記画像単位ごとの目標符号量を超えると予測するようにしても良い。
さらに上述した第２の実施の形態においては、直前のフィードバック発生符号量とフィードバック目標符号量の比率からピクチャ発生符号量がピクチャの目標符号量を超えるか否かを予測するようにした場合について述べた。本発明はこれに限らず、例えば複数のフィードバック制御単位ごとやＭＢごとの目標符号量と発生符号量の比率からピクチャ発生符号量がピクチャの目標符号量を超えるか否かを予測するようにしても良い。
さらに上述した第２の実施の形態においては、ピクチャの後半部分に入ると、自動的にフィードバック制御を実行するようにした場合について述べた。本発明はこれに限らず、例えばエンコードした部分の発生符号量が目標符号量を超えた場合にのみフィードバック制御を実行するようにしても良い。
さらに上述した第２の実施の形態においては、エンコードした部分の発生符号量が目標符号量を超えた場合にフィードバック制御を実行するようにした場合について述べた。本発明はこれに限らず、その他種々の条件に応じてフィードバック制御を実行するようにしても良い。
さらに上述した第２の実施の形態においては、本エンコード発生符号量がピクチャ目標符号量を少し下回るように基本量子化パラメータＱＰ_ＭＢを決定するようにした場合について述べた。本発明はこれに限らず、本エンコード発生符号量がピクチャ目標符号量に最も近くなるよう基本量子化パラメータＱＰ_ＭＢを決定しても良い。
さらに、上述した第１及び第２の実施の形態においては、ＡＶＣに本発明を適用するようにした場合について述べた。本発明はこれに限らず、適応的にＶＬＣテーブルを選択する種々の符号化方式に本発明を適用することが可能である。例えばＭＰＥＧ−２に本発明を適用する場合、量子化因子として量子化スケールが用いられる。
さらに上述した第２の実施の形態においては、基本量子化因子決定部としての第１のプレコード部１、第２のプレコード部２及び符号量制御部４と、符号化部としての本エンコード部３と、フィードバック制御部としての符号量制御部４とによって画像処理装置としての画像符号化装置２００を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の構成による基本量子化因子決定部と、符号化部と、フィードバック制御部とによって本発明の画像処理装置を構成するようにしても良い。

Claims (15)

1. 入力画像を符号化したときの画像単位ごとの発生符号量が上記画像単位ごとの目標符号量の近傍になると予測される基本量子化因子を決定する基本量子化因子決定部と、
   少なくとも上記基本量子化因子に基づいて決定された使用量子化因子を用いて量子化することにより、上記入力画像をフィードバック制御単位ごとに符号化する符号化部と、
   上記符号化部によって符号化された上記入力画像の発生符号量を上記フィードバック制御単位ごとに確認し、上記画像単位ごとの発生符号量が上記画像単位ごとの目標符号量を超えると予測する場合に、上記使用量子化因子を増大させるフィードバック制御部と
   を有する画像処理装置。
2. 上記フィードバック制御部は、
   上記フィードバック制御単位ごとの発生符号量が増大する傾向にあり、かつ上記画像単位において符号化された部分の目標符号量から符号化された部分の発生符号量を減算した符号量の余りに余裕がない場合、上記画像単位ごとの発生符号量が上記画像単位ごとの目標符号量を超えると予測する
   請求項１に記載の画像処理装置。
3. 上記フィードバック制御部は、
   直前のフィードバック制御単位の発生符号量が、直前のフィードバック制御単位の目標符号量より大きいとき、上記フィードバック制御単位ごとの発生符号量が増大する傾向にあると判別する
   請求項２に記載の画像処理装置。
4. 上記フィードバック制御部は、
   上記符号量の余りが、次のフィードバック制御単位における発生符号量が目標符号量を超える可能性のある過剰最大符号量より小さいとき、上記符号量の余りに余裕がないと判別する
   請求項３に記載の画像処理装置。
5. 上記フィードバック制御部は、
   上記画像単位において符号化された部分の発生符号量が当該符号化された部分の上記目標符号量を超えており、かつ目標符号量と発生符号量の比率が変化しないと仮定したときに画像単位ごとの発生符号量が上記画像単位ごとの目標符号量を超える場合に、画像単位ごとの発生符号量が上記画像単位ごとの目標符号量を超えると予測する
   請求項２に記載の画像処理装置。
6. 上記フィードバック制御部は、
   直前のフィードバック制御単位の目標符号量と発生符号量の比から求めた画像単位の発生符号量の予測値が目標符号量を超えた場合に、上記目標符号量と発生符号量の比率が変化しないと仮定したときに画像単位ごとの発生符号量が上記画像単位ごとの目標符号量を超えると判別する
   請求項５に記載の画像処理装置。
7. 上記フィードバック制御部は、
   上記画像単位における後半部分において、上記画像単位ごとの発生符号量が上記画像単位ごとの目標符号量を超えかるか否かを予測する
   請求項６に記載の画像処理装置。
8. 上記フィードバック制御部は、
   上記画像単位において符号化された部分の発生符号量が当該符号化された部分の目標符号量と乖離する場合には、上記画像単位における位置に拘らず、上記画像単位ごとの発生符号量が上記画像単位ごとの目標符号量を超えかるか否かを予測する
   請求項７に記載の画像処理装置。
9. 上記フィードバック制御部は、
   上記画像単位において符号化された部分の発生符号量が、当該符号化された部分の目標符号量に対して許容されるずれ量を乗算した値よりも小さい場合に、上記画像単位において符号化された部分の発生符号量が当該符号化された部分の目標符号量と乖離すると判別する
   請求項１に記載の画像処理装置。
10. 上記フィードバック制御部は、
    上記画像単位ごとの発生符号量が上記画像単位ごとの目標符号量を超えると予測する場合に、上記使用量子化因子を１だけ増大させる
    を有する請求項１に記載の画像処理装置。
11. 上記基本量子化因子は、
    上記入力画像を符号化したときの発生符号量が上記目標符号量よりも小さくなるよう、上記基本量子化因子を決定する
    請求項９に記載の画像処理装置。
12. 上記許容されるずれ量は、１未満の値でなる
    請求項１１に記載の画像処理装置。
13. 上記符号化部は、
    上記画像単位ごとに決定される上記基本量子化因子を平均量子化因子とし、当該平均量子化因子に対してアクティビティに応じたオフセットが付加された値を、上記使用量子化因子として使用し、
    上記フィードバック制御部は、
    上記平均量子化因子を増大させることにより、上記使用量子化因子を増大させる
    請求項１に記載の画像処理装置。
14. 上記基本量子化因子決定部は、
    広範囲に亘る量子化因子を用いて上記入力画像を符号化することにより算出された発生符号量に基づいて、基本量子化因子の近傍であると予測される予測量子化因子を決定し、当該予測量子化因子及び当該予測量子化因子の近傍の量子化因子を用いて上記入力画像を符号化することにより算出された発生符号量に基づいて、上記基本量子化因子を決定する
    請求項７に記載の画像処理装置。
15. 入力画像を符号化したときの画像単位ごとの発生符号量が上記画像単位ごとの目標符号量の近傍になると予測される基本量子化因子を決定する基本量子化因子決定ステップと、
    少なくとも上記基本量子化因子に基づいて決定された使用量子化因子を用いて量子化することにより、上記入力画像をフィードバック制御単位ごとに符号化して符号化ストリームを生成する符号化ステップと、
    上記符号化ステップにおいて符号化された上記入力画像の発生符号量を上記フィードバック制御単位ごとに確認し、上記画像単位ごとの発生符号量が上記画像単位ごとの目標符号量を超えると予測する場合に、上記使用量子化因子を増大させるフィードバック制御ステップと
    を有する画像処理方法。

Images