JP4038774B2 - 符号化装置及び符号化方法 - Google Patents

Description

本発明は、予め圧縮符号化された例えばビデオ信号の１次符号化ビットストリームをデータ量を削減するように再符号化して２次符号化ビットストリームを生成する符号化装置及び符号化方法に関し、特に、１次符号化ビットストリームのブロック毎の符号量、量子化係数を使用した画像複雑度を算出し、その値によってブロック毎の目標符号量を設定し、その目標符号量に適合するように再符号化を行うことで、１次符号化ビットストリームの符号量制御装置の影響を抑えた画質が均一な２次符号化ビットストリームを作成可能とした符号化装置及び符号化方法に関する。

従来より、ディジタル画像処理システムやディジタル画像サービスシステムにおいて画像情報を伝送・蓄積する場合は、その画像情報を符号化することによって情報量を低減し、その情報量を低減した符号化ビットストリームを伝送・蓄積することが行われる。

一方、近年は、予め画像を圧縮符号化した１次符号化ビットストリームから画像情報を復号し、それをより高い圧縮率等の異なる符号化条件にて再符号化した２次符号化ビットストリームを生成して伝送・蓄積するアプリケーションが増加している。

例えば、画像情報を放送するような場合においては、画像素材の収集、テレビ局間の１次分配、家庭への２次分配等、編集処理を交えながらのディジタル信号の縦列的な伝送、すなわち１つの画像を複数回処理する階層的な伝送が行われつつあり、さらに放送形態が多様化するに従って、この階層的な伝送と異なる、より自由度の高い伝送方式が普及するものと思われる。

また、画像データベース等に格納されライブラリとしての利用が見込まれるビデオクリップは、多くのユーザからビデオソースが提供されると同時に、多くのユーザがこれを利用し、かつ編集を交えて反復的に伝送・蓄積されるようになると考えられる。

このように符号化及び復号を複数回行う従来の縦列接続符号化システムにおいては、単一回の符号化及び復号を行うシステムをそのまま縦列接続することにより、再符号化を行うようになされている。このため、再符号化時にもその再符号化装置毎に独立のパラメータを用いた符号化を行うこととなり、対象画像の符号化履歴については全く考慮されていなかった。すなわち例えば、従来は、再符号化時に、その再符号化装置のみにおける圧縮率等のみを考慮した処理が行われていた。

また、再符号化の別の応用例としては、ディジタルＶＤＲ（ビデオ・ディスク・レコーダー）上での再生記録を挙げることができる。この応用例の場合、ビデオストリームは、ある放送品質（例えば標準品位ビデオ「ＮＴＳＣ程度」に対しては６Ｍｂｐｓ、高品位ビデオ「ハイビジョン程度」に対しては２４Ｍｂｐｓのレートに対応する品位）でユーザの家庭に放送される。つまり、これらビデオストリームの提供を受けたユーザは、ディジタルＶＤＲの再符号化機能を用いて、現在の家庭用ビデオテープコーダーである例えばＶＨＳ方式レコーダの拡張再生ＥＰモード（長時間モード）に類似する、低下した符号化レートでそのビデオデータを記録し、より多量のビデオプログラムを低品質でディジタルＶＤＲに記録するような例が考えられる。

しかしながら、再符号化の際には、元の信号中の、より高品位の情報ができるだけ活用されるべきであり、より低いビットレートで得られた新しい信号の画質もできるだけ高品位であることが必要である。すなわち、符号化及び復号を複数回繰り返すようなシステムにおいても、望ましくは、その複数回の符号化及び復号により得られる信号の画質を、例えば元のビデオソースを低下したレートで１回のみ符号化することによって作成された信号の画質に、できる限り近づける必要がある。

図５には、予め符号化された１次符号化ビットストリームを復号し、データ量を減少させるように再符号化して２次符号化ビットストリームを生成する、従来の再符号化装置の概略構成例を示す。

なお、この図５の例では、再符号化装置の全般的な動作を示すため、主要な機能素子だけが図示されている。例えば、圧縮ビデオ信号には種々の形のデータが含まれ、それらのデータ中、一部だけが量子化される。他のデータは、再量子化又は再符号化装置を迂回させられ、マルチプレクサ１０６において再符号化されたデータともう一度多重化される。なお、マルチプレクサ１０６が上記機能を実行するために必要であることは一般に公知であり、マルチプレクサ１０６の多重化機能についても公知であるため、ここではその説明を省略している。

この図５において、符号化ビデオ入力端子１００には、既に圧縮又は符号化された１次符号化ビットストリームが入力される。すなわち、当該１次符号化ビットストリームは、この図５に示す再符号化装置にて再符号化されるべき信号である。

ここで、この再符号化されるべき１次符号化ビットストリームは、ブロック符号化された信号であると想定する。すなわち、符号化前の各々の画像は、複数のブロック又はマクロブロックに分割され、ブロック毎又はマクロブロック毎に所定の圧縮符号化手法にて圧縮されており、したがって、符号化ビデオ入力端子１００には、そのように少なくとも部分的に符号化されたブロック又はマクロブロックのストリームが供給されている。また、各々のマクロブロックのデータ中の少なくとも一部分は、量子化され、可変長で符号化されていることとする。なお、上記の圧縮符号化手法の代表的例としては、いわゆるＭＰＥＧ１方式やＭＰＥＧ２方式等を挙げることができる。

符号化ビデオ入力端子１００に入力された上述の１次符号化ビットストリームは、可変長復号を行う可変長復号器（ＶＬＤ）１０１に供給される。なお、この図５の例では、ビットストリームに含まれる動きベクトル及びその他の量子化されていない符号語を、次段の回路（逆量子化器（Ｑ−１）１０３、量子化器（Ｑ）１０４、可変長符号化器（ＶＬＣ）１０５）に送らずに迂回するようにした構成を示しているが、例えばそれら次段の回路（逆量子化器１０３、量子化器１０４、可変長符号化器１０５）が再符号化装置によって変えられるべきではない信号成分に対し反応しないよう条件付けることができる場合には、実際上、それら動きベクトル及び他の量子化されていない符号語を、それら次段の回路（逆量子化器１０３、量子化器１０４、可変長符号化器１０５）を通過させるようにしても良い。可変長復号器１０１にて可変長復号化された符号語は、遅延器１０２にて所定時間遅延された後、逆量子化器１０３に送られる。

当該逆量子化器１０３では、可変長復号化された符号語を逆量子化することにより、圧縮処理の際に量子化された信号成分を復元する。この逆量子化器１０３にて逆量子化された信号成分は、量子化器１０４に送られる。

量子化器１０４では、レート制御器１０９の制御下、逆量子化器１０３から供給された信号成分を量子化（再量子化）する。このときのレート制御器１０９は、所望の低下したレートと適合して再符号化された２次符号化ビットストリームを生成するように調整されている。すなわち、この例の場合のレート制御器１０９による再符号化の制御は、１次符号化ビットストリームに対する元の圧縮符号化処理よりも粗い各々の符号語の量子化信号が得られるように、量子化器１０４に対して量子化値をレート制御器１０９から供給することによって行われる。量子化器１０４にて再度量子化された符号語は、可変長符号化器（ＶＬＣ）１０５に送られる。

可変長符号化器１０５では、再量子化された符号語を可変長符号化し、その可変長符号化処理後の符号語をマルチプレクサ１０６に供給する。

マルチプレクサ１０６では、可変長符号化処理後の符号語と、アナライザ１１０を介することで再量子化を受けなかった信号成分とをマルチプレクスして、再度フォーマット化した信号を生成する。この再度フォーマット化された信号は、レートバッファ１０７に送られる。

再度フォーマット化された信号は、一般的にバースト的な信号であり、レートバッファ１０７では、このバースト的な信号を一定レートの信号に変換する。なお、このときのレートバッファ１０７には、量子化器１０４が一定レートの信号を発生するよう条件付けるために、レートバッファを制御する制御信号を供給する占有モニターを備えている。当該レートバッファ１０７にて一定レートとなされた信号は、この図５の再符号化装置により再符号化された２次符号化ビットストリームとして、符号化ビデオ出力端子１０８から出力される。

ところで、ＭＰＥＧ方式によるビデオ圧縮の場合、量子化には、量子化値のマトリックスと量子化係数を必要とする。量子化値のマトリックスは、心理視覚的なパラメータに従って定められる。また、量子化値のマトリックスは、画素のブロックを表わす係数のブロック内の各離散コサイン変換（ＤＣＴ）の各々の値を有し、マトリックスは、通常、フレーム内の全てのマクロブロックを量子化するため共通に使用される。一方、量子化係数は、マクロブロックに固有である。すなわち、各量子化係数は、その量子化係数が割り当てられたマクロブロックだけに適合する。また、量子化係数は、マトリックスが各々のマクロブロックを量子化するため使用される前に、マトリックス内の全ての量子化値を重み付けするため使用される。なお、以下の説明で、量子化パラメータの発生とは、一般的に上記量子化係数の発生を意味する。

図６のフローチャートを参考にして、図５の再符号化装置での処理をさらに詳細に説明する。

先ず、再符号化装置は、ステップＳ１００の処理として、１次符号化ビットストリームから新しいピクチャー（フレーム）を取得する。

次に、アナライザ１１０は、ステップＳ１０１の処理として、後述するようにＡＣ離散コサイン変換係数に加えて、各々のフレームに対し全符号化ビットΣ（ＴＢ）を計数する。

また、再符号化装置では、ステップＳ１０２の処理として、可変長復号化器１０１にてフレームの可変長復号化と解析を行う。

ここで、可変長復号化器１０１は、可変長符号化されていない符号語に対して透過性であり、可変長符号化されていない符号語をそのまま通過させる。例えば、ＭＰＥＧ方式の信号中の可変長符号化された符号語は確定した境界をもたないため、可変長復号化器１０１は、各々の符号語の境界を定め、タイプを用いて符号語を識別する。可変長復号化器１０１で解析された可変長符号化されていない符号語は、実際には復号化されず、ステップＳ１０３の処理として、識別子が付けられ遅延器１０２に格納される。また、解析された可変長符号化されていない符号語は、アナライザ１１０に供給される。

アナライザ１１０のプロフィル作成部１１１は、上記例の場合、各々の圧縮フレーム（またはフィールド又は画像等）全体のマクロブロックに対し、ＡＣ離散コサイン変換（ＤＣＴ）係数のプロフィルを生成する。

すなわち、アナライザ１１０のプロフィル作成部１１１は、先ず、ステップＳ１０５の処理として、マクロブロックに基づいてＡＣ離散コサイン変換係数ビットの現在の和を発生し、マクロブロックの番号で識別された各々の和を、ステップＳ１０４の処理として、メモリ１１２に格納する。

ここで、フレーム（ピクチャー）内の１番目のマクロブロックＭＢ１に対する和は、この１番目のマクロブロックＭＢ１内のＡＣ離散コサイン変換に対応する当該１番目のマクロブロックＭＢ１内の全ビットの和（ΣＭＢ^AC１）である。また、フレーム内の２番目までのマクロブロックＭＢ２に対する和は、１番目のマクロブロックＭＢ１における前記和（ΣＭＢ^AC１）と、２番目のマクロブロックＭＢ２内のＡＣ離散コサイン変換に対応する当該２番目のマクロブロックＭＢ２内の全ビットの和（ΣＭＢ^AC２）との加算された値となる。さらに、フレーム内の３番目までのマクロブロックＭＢ３に対する和は、１番目のマクロブロックＭＢ１における（ΣＭＢ^AC１）と、２番目のマクロブロックＭＢ２における和（ΣＭＢ^AC２）と、３番目のマクロブロックＭＢ３内のＡＣ離散コサイン変換に対応する当該３番目のマクロブロックＭＢ３内の全ビットの和（ΣＭＢ^AC３）との加算された値、すなわち、（ΣＭＢ^AC１）＋（ΣＭＢ^AC２）＋（ΣＭＢ^AC３）の値(ΣΣＭＢ ^AC ３)である。
フレーム内の４番目以降の各マクロブロックまでの和についても上述同様である。図７には、再符号化されるフレーム内のｉ番目のマクロブロック番号ＭＢｉと共に、そのｉ番目のマクロブロック番号ＭＢｉまでの和（ΣΣＭＢ^ACｉ）を縦座標とするグラフ（プロフィルと表わされている）を示している。従って、図７において、上記したプロフィルは、ＡＣ離散コサイン変換係数ビットをｉ番目のマクロブロック番号ＭＢｉまで累積した状態を示したものである。

また、上記ＡＣ離散コサイン変換係数に加えて、アナライザ１１０では、ステップＳ１０１の処理として、各々のフレームに対し全符号化ビットΣ（ＴＢ）を計数する。

そして、アナライザ１１０は、ステップＳ１０６の処理として、各々のフレームに対する全マクロブロックの分析が終了したか否か判断し、全マクロブロックを分析したならば、ステップＳ１０８の処理として、フレーム当たりのＡＣ離散コサイン変換の新しい目標値ＴＶ^ACを、以下の式（１）に示す関係に従って計算する。

ＴＶ^AC＝（ΣΣＭＢ^AC last）−％×Σ（ＴＢ）−Ｂ_EXCESS （１）
なお、式（１）中、（ΣΣＭＢ^AC last）は、ＡＣ離散コサイン変換係数のマクロブロックの最後（last）までの和であり、フレーム内のＡＣ離散コサイン変換ビットの総データ量に対応する。また、式（１）中のΣ（ＴＢ）はフレームの全符号化ビットであり、式（１）中のＢ_EXCESSは前のフレームの発生符号量と目標符号量の差を表わしている。さらに、式（１）中の％は、符号化ビットストリームのレートを縮小する割合であり、例えば８Ｍｂｐｓの１次符号化ビットストリームＰを４Ｍｂｐｓの２次符号化ビットストリームＳに再符号化するとき、量子化係数に依存しない符号量（量子化係数非依存の符号量）が２．０Ｍｂｐｓとすると、再符号化されるべき１次符号化ビットフレームＰの量子化係数依存の符号量は、６．０Ｍｂｐｓとなる。したがって、再符号化した結果の２次符号化ビットストリームＳは、４−２＝２Ｍｂｐｓとなり、量子化係数依存の符号量は６Ｍｂｐｓから２Ｍｂｐｓに減少させることとなる。したがって、式（１）中の％は、次式（２）のようになる。

％＝（１−２／６）＝２／３ （２）
次に、アナライザ１１０は、ステップＳ１０９の処理として、ＡＣ離散コサイン変換ビットのプロフィルを、式（３）に示す係数ratioによってスケーリングする。

ratio＝ＴＶ^AC／ΣΣＭＢ^AC last （３）
当該スケーリングは、図７に示された線形にスケーリングされたプロフィルを得るため、各々の和（ΣＭＢ^ACｉ）を各々の係数ratioで乗算することにより行われる。すなわち、スケーリングは、式（４）により行われる。

ＴＶ^ACｉ＝ratio＊ΣＭＢ^ACｉ （４）
なお、式（４）中のＴＶ^ACｉはｉ番目のマクロブロックＭＢｉまでの目標符号量である。

次に、各々の和（ΣΣＭＢ^ACｉ）は、次式（５）のように、メモリ１１２でスケーリングされた和と置き換えられる。

ＴＶ^AC ｉ＝ＴＶ^AC／ΣΣＭＢ^AC last＊ΣΣＭＢ^AC ｉ （５）
図５の再符号化装置において、上述したようにプロフィルがスケーリングされた後、各々の解析された可変長符号化されていない符号語は、一度にマクロブロック単位でメモリ１１２から出し入れされる。また、ＡＣ離散コサイン変換されていない符号語はマルチプレクサ１０６に送られ、マルチプレクサ１０６は本質的に出力を再度組み立てる。

また、アナライザ１１０は符号語をレートバッファ１０７に送るようメモリ１１２を条件付けし、マクロブロック当たり制限された量の符号語を受け入れるようレートバッファ１０７を条件付ける。

最終的に求められた最終マクロブロックまでの目標符号量ＴＶ^AC _lastは、現在のフレームの再量子化のためのレート制御器１０９に供給される。

また、可変長復号器１０１にて可変長復号化され、遅延器１０２に一旦蓄積された信号は、当該遅延器１０２からアクセスされ、ステップＳ１１０の処理として逆量子化器１０３にて逆量子化され、さらに上述したように計算された目標符号量ＴＶ^AC _lastを利用するレート制御器１０９の制御下で、ステップＳ１１１の処理として当該目標符号量ＴＶ^AC _lastに合うように、量子化器１０４によって再量子化され、さらに可変長符号化器１０５にて可変長符号化される。

ここで、量子化器１０４における再量子化にて用いられる量子化係数Ｑは以下のようにして設定される。

図５の再符号化装置では、ステップＳ１１２の処理として、ｉ番目のマクロブロックＭＢｉの量子化係数の評価値（Ｑ_Nｉ）を設定する。ここで、ｉ番目のマクロブロックＭＢｉに対する新しい量子化係数Ｑ_Nｉは、式（６）で表される係数となる。

Ｑ_Nｉ＝Ｑ_MBin／（１−％） （６）
なお、Ｑ_MBinは入力された量子化係数である。この式（６）は、量子化係数と発生符号量が反比例の関係であると仮定した場合である。

図６の再符号化装置では、ステップＳ１１２の処理にてｉ番目のマクロブロックＭＢｉの量子化係数の評価値（Ｑ_Nｉ）を取得した後、ステップＳ１１３の処理として、量子化されていないマクロブロックを遅延器１０２からアクセスする。

次に、ステップＳ１１４の処理として、図６の再符号化装置の量子化器１０４では、前記評価された量子化係数（Ｑ_Nｉ）を用い、当該ｉ番目のマクロブロックＭＢｉを量子化する。

次に、ステップＳ１１５の処理として、図６の再符号化装置の可変長符号化器１０５では、量子化器１０４にて量子化されたマクロブロックを可変長符号化する。

次に、図６の再符号化装置では、ステップＳ１１６の処理として、マクロブロックに対する新しい全ビットΣＭＢ^ACinを加算し、再量子化されたマクロブロックの符号語をステップＳ１１７の処理として再組立する。さらに、ビットの和ΣＭＢ^ACinは、再量子化され記録された符号化ビットストリームの現在のマクロブロックのプロフィル値Σ（ΣＭＢ^ACin）を形成するため、先に量子化されたマクロブロックのビットの和と加算される。

次に、ステップＳ１１９の処理として、新しいプロフィル値Σ（ΣＭＢ^ACin）と元のスケーリングされたプロフィル値Σ（ΣＭＢ^ACｉ）の差は、次式（７）によりビット誤差の値ΔＥを作成するために計算される。

誤差ΔＥ＝ΣΣＭＢ^ACｉ−ΣΣＭＢ^ACin （７）
次に、ステップＳ１２０の処理として、ビット誤差ΔＥは、閾値ΔＥ_THと比較される。このステップＳ１２０での比較において、ビット誤差ΔＥが閾値ΔＥ_THよりも大きい場合は、ステップＳ１２１の処理として新しい量子化係数Ｑ_Nｉが計算される。当該新しい量子化係数Ｑ_Nｉは、一例として以下式（８）の関係に従って計算される。

Ｑ_Nｉ＝Ｑ_Nｉ＋ｓｇｎ（ΔＥ） （８）
なお、式（８）中のＱ_Nｉは、ｉ番目のマクロブロックに対し使用された最後の量子化係数に対応し、最初のパスでＱ_Nｉと等しく、また式中のｓｇｎ（ΔＥ）は、ビット誤差ΔＥが正及び負である場合にそれぞれ±１と一致する。すなわち、式（８）に基づいてＱ_Nｉ＝Ｑ_MBin／（１−％）のように計算されたＱ_Nｉに対して、式（９），（１０）となる。

ΔＥ＜０：Ｑ_Nｉ＝Ｑ_Nｉ＋１ （９）
ΔＥ＞０：Ｑ_Nｉ＝Ｑ_Nｉ−１ （１０）
ステップＳ１２１の処理後、ｉ番目のマクロブロックＭＢｉは、ステップＳ１１３の処理としてもう一度遅延器１０２からアクセスされ、新しい量子化係数Ｑ_Nｉを使用して再量子化される。ステップＳ１１３からステップＳ１２１は、誤差ΔＥが閾値ΔＥ_THより小さくなるまで繰り返される。

一方、ステップＳ１２０においてビット誤差ΔＥが閾値ΔＥ_THよりも小さいと判定された場合は、ステップＳ１２２の処理として、フレーム内の全てのマクロブロックが再量子化されたかどうかを判定するためチェックされる。このステップＳ１２２にて、フレーム内の全てのマクロブロックが再量子化されていないと判定された場合は、ステップＳ１１８の処理として、ｉ番目のマクロブロックの番号（インデックスｉ）が１ずつ増加され、ステップＳ１１２の処理に戻り、ｉ＋１番目のマクロブロックＭＢｉ＋１についての再量子化処理が開始される。

また、ステップＳ１２２にてフレーム内の全てのマクロブロックが再量子化されたと判定された場合、当該再符号化装置の処理はステップＳ１００に飛び、次のフレームの処理が開始される。

ところで、上述した従来の再符号化装置において、再量子化を行うとき、元の１次符号化ビットストリームが最適な方法で符号量配分され符号化されている場合には問題は少ないが、必ずしも最適な符号量配分で符号化されたかどうかはわからない。なぜならば、先の１次符号化の時に、ビット発生量に伴って、ある制限された転送レートに制御するため、量子化係数によるレート制御を受け、本来画質を均一にするべき量子化係数とは異なる量子化係数で符号化されている場合が考えられるためである。したがって、レート制御のために画質を一定（略々ピクチャー内量子化スケール一定）にできず、その結果、再符号化した場合には、圧縮に伴う符号化ひずみが顕著になる場合がある。

本発明は、上述の課題に鑑みてなされたものであり、圧縮符号化される以前の画像データが存在しない１次符号化ビットストリーム、言い換えると、圧縮符号化された画像データが存在する１次符号化ビットストリームについて再符号化を行う場合に、画質が均一になるような最適なピクチャー内符号量配分を行い、ピクチャータイプ毎の最低目標符号量によって発振を防ぎ、画質劣化の少ない再符号化後の２次符号化ビットストリームを作成することを可能とする、符号化装置及び符号化方法の提供を目的とする。

請求項１記載の本発明に係る符号化装置は、上述の課題を解決するために、符号化されている１次符号化ビットストリームを復号し、再符号化して２次符号化ビットストリームを生成する符号化装置において、
少なくとも所定単位分の１次符号化ビットストリームを取り込むビットストリーム取り込み手段と、
前記所定単位内のブロック毎にＡＣ離散コサイン変換係数の符号量と量子化係数の積のべき乗を用いて符号化難易度を求める符号化難易度演算手段と、
前記ブロック毎に求めた前記符号化難易度を所定番目のブロックまで累積した値を前記所定単位内の全ブロックまで累積した符号化難易度の値で除算した結果と、予め前記所定単位内のピクチャータイプ毎に設定された最低目標符号量とを乗算して、前記所定番目のブロックの目標符号量を求めるようにスケーリングして、前記所定単位内のピクチャータイプ毎の最低目標符号量に対して各ブロックの目標符号量を配分するスケーリング手段とを有する。

請求項２記載の本発明に係る符号化装置は、請求項１記載の本発明に係る符号化装置において、少なくとも１所定単位分の再符号化を行った結果の符号量と前記目標符号量との誤差を未来に再符号化する所定単位の目標符号量に加算する。

請求項３記載の本発明に係る符号化装置は、請求項１又は請求項２記載の本発明に係る符号化装置において、少なくとも１所定単位分の前記目標符号量に対して、前の所定単位の発生符号量と前記目標符号量との差を各々の所定単位の目標符号量の合計で割った値を配分する。

請求項４記載の本発明に係る符号化方法は、符号化されている１次符号化ビットストリームを復号し、再符号化して２次符号化ビットストリームを生成する符号化方法において、
少なくとも所定単位分の１次符号化ビットストリームを取り込むビットストリーム取り込みステップと、
前記所定単位内のブロック毎にＡＣ離散コサイン変換係数の符号量と量子化係数の積のべき乗を用いて符号化難易度を求める符号化難易度演算ステップと、
前記ブロック毎に求めた前記符号化難易度を所定番目のブロックまで累積した値を前記所定単位内の全ブロックまで累積した符号化難易度の値で除算した結果と、予め前記所定単位内のピクチャータイプ毎に設定された最低目標符号量とを乗算して、前記所定番目のブロックの目標符号量を求めるようにスケーリングして、前記所定単位内のピクチャータイプ毎の最低目標符号量に対して各ブロックの目標符号量を配分するスケーリングステップとを有する。

請求項１記載の本発明に係る符号化装置によれば、符号化されている１次符号化ビットストリームを復号し、再符号化して２次符号化ビットストリームを生成するにあたって、少なくとも所定単位分の１次符号化ビットストリームを取り込み、所定単位内のブロック毎にＡＣ離散コサイン変換係数の符号量と量子化係数の積のべき乗を用いて符号化難易度を求め、ブロック毎に求めた符号化難易度を所定番目のブロックまで累積した値を所定単位内の全ブロックまで累積した符号化難易度の値で除算した結果と、予め前記所定単位内のピクチャータイプ毎に設定された最低目標符号量とを乗算して、所定番目のブロックの目標符号量を求めるようにスケーリングして、所定単位内のピクチャータイプ毎の最低目標符号量に対して各ブロックの目標符号量を配分することにより、圧縮符号化される以前の画像データが存在しない１次符号化ビットストリーム、言い換えると、圧縮符号化された画像データが存在する１次符号化ビットストリームについて再符号化を行う場合に、小さな符号量誤差の場合に発生し易い発振を防ぐことができ、容易に品質の劣化が少ない２次符号化ビットストリームを作成することが可能である。

請求項２記載の本発明に係る符号化装置によれば、少なくとも１所定単位分の再符号化を行なった結果の符号量と目標符号量との誤差を未来に再符号化する所定単位の目標符号量に加算することにより、符号化される以前のデータが存在しない１次符号化ビットストリーム、言い換えると、圧縮符号化された画像データが存在するについて再符号化を行う場合に、急激な品質の劣化を抑えて、高品質の２次符号化ビットストリームを作成することが可能である。

請求項３記載の本発明に係る符号化装置によれば、少なくとも１所定単位分の目標符号量に対して、前の所定単位の発生符号量と目標符号量との差を各々の所定単位の目標符号量の合計で割った値を配分することにより、所定単位の誤差の伝播を分散させることができ、符号化される以前のデータが存在しない１次符号化ビットストリーム、言い換えると、圧縮符号化された画像データが存在するについて再符号化を行う場合に、急激な品質の劣化を抑えて、高品質の２次符号化ビットストリームを作成することが可能である。

請求項４記載の本発明に係る符号化方法によれば、上記した請求項１記載と同様に、符号化されている１次符号化ビットストリームを復号し、再符号化して２次符号化ビットストリームを生成するにあたって、少なくとも所定単位分の１次符号化ビットストリームを取り込み、所定単位内のブロック毎にＡＣ離散コサイン変換係数の符号量と量子化係数の積のべき乗を用いて符号化難易度を求め、ブロック毎に求めた符号化難易度を所定番目のブロックまで累積した値を所定単位内の全ブロックまで累積した符号化難易度の値で除算した結果と、予め前記所定単位内のピクチャータイプ毎に設定された最低目標符号量とを乗算して、所定番目のブロックの目標符号量を求めるようにスケーリングして、所定単位内のピクチャータイプ毎の最低目標符号量に対して各ブロックの目標符号量を配分することにより、圧縮符号化される以前の画像データが存在しない１次符号化ビットストリーム、言い換えると、圧縮符号化された画像データが存在する１次符号化ビットストリームについて再符号化を行う場合に、小さな符号量誤差の場合に発生し易い発振を防ぐことができ、容易に品質の劣化が少ない２次符号化ビットストリームを作成することが可能である。

以下に本発明に係る符号化装置及び符号化方法について、図面を参照して詳細に説明する。尚、本発明に係る符号化装置に対して実施の形態では再符号化装置と呼称して説明を行う。

図１には、予め符号化された１次符号化ビットストリームを復号し、データ量を減少させるように再符号化して２次符号化ビットストリームを生成する、本発明実施の形態の再符号化装置の概略構成例を示す。

なお、この図１の例では、前述の図５に示した従来例と同様に、再符号化装置の全般的な動作を示すために、主要な機能素子だけが図示されている。すなわち例えば、圧縮ビデオ信号には種々の形のデータが含まれ、それらのデータ中、一部だけが量子化されるが、他のデータは、再量子化又は再符号化装置を迂回させられ、マルチプレクサ１６において再符号化されたデータともう一度多重化される。マルチプレクサ１６の機能については公知であるため、ここではその説明を省略している。

この図１において、符号化ビデオ入力端子１０には、既に圧縮又は符号化された１次符号化ビットストリームが入力される。当該１次符号化ビットストリームは、この図１に示す再符号化装置にて再符号化されるべき信号である。また、本実施の形態においては、当該再符号化されるべき１次符号化ビットストリームを、ブロック符号化された信号であると想定する。すなわち、符号化前の各々の画像は、複数のブロック又はマクロブロックに分割され、ブロック毎又はマクロブロック毎に所定の圧縮符号化手法にて圧縮されている。したがって、符号化ビデオ入力端子１０には、そのように少なくとも部分的に符号化されたブロック又はマクロブロックのストリームが供給されている。また、各々のマクロブロックのデータ中の少なくとも一部分は、量子化され、可変長で符号化されている。なお、本実施の形態においても、上記の圧縮符号化手法の代表的例としては、いわゆるＭＰＥＧ１方式やＭＰＥＧ２方式等を挙げることができる。

符号化ビデオ入力端子１０に入力された上述の１次符号化ビットストリームは、可変長復号を行う可変長復号器（ＶＬＤ）１１に供給される。なお、この図１の例では、１次符号化ビットストリームに含まれる動きベクトル及びその他の量子化されていない符号語を、次段の回路（逆量子化器（Ｑ−１）１３、量子化器（Ｑ）１４、可変長符号化器（ＶＬＣ）１５）に送らずに迂回するようにした構成を示しているが、例えばそれら次段の回路（逆量子化器１３、量子化器１４、可変長符号化器１５）が再符号化装置によって変えられるべきではない信号成分に対し反応しないよう条件付けることができる場合には、実際上、それら動きベクトル及び他の量子化されていない符号語を、それら次段の回路（逆量子化器１３、量子化器１４、可変長符号化器１５）を通過させるようにしても良い。可変長復号器１１にて可変長復号化された符号語は、遅延器１２にて所定時間遅延された後、逆量子化器１３に送られる。

当該逆量子化器１３では、可変長復号化された符号語を逆量子化することにより、圧縮処理で量子化された信号成分を復元する。この逆量子化器１３にて逆量子化された信号成分は、量子化器１４に送られる。

量子化器１４では、レート制御器１９の制御下、逆量子化器１３から供給された信号成分を量子化（再量子化）する。このときのレート制御器１９は、所望の低下したレートと適合して再符号化された２次符号化ビットストリームを生成するように調整されている。すなわち、この例の場合のレート制御器１９による再符号化の制御は、１次符号化ビットストリームに対する元の圧縮符号化処理よりも粗い各々の符号語の量子化信号が得られるように、量子化器１４に対して量子化値をレート制御器１９から供給することによって行われる。このような制御がなされた量子化器１４にて再度量子化された符号語は、可変長符号化器（ＶＬＣ）１５に送られる。

可変長符号化器１５では、再量子化された符号語を可変長符号化し、その可変長符号化処理後の符号語をマルチプレクサ１６に供給する。

マルチプレクサ１６では、可変長符号化処理後の符号語と、アナライザ１１を介することで再量子化を受けなかった信号成分とをマルチプレクスして、再度フォーマット化した信号を生成する。この再度フォーマット化された信号は、レートバッファ１７に送られる。

ここで、再度フォーマット化された信号は、一般的にバースト的な信号であり、レートバッファ１７では、このバースト的な信号を一定レートの信号に変換する。なお、このときのレートバッファ１７には、量子化器１４が一定レートの信号を発生するよう条件付けるために、レートバッファ１７を制御する制御信号を供給する占有モニターを備えている。当該レートバッファ１７にて一定レートとなされた信号は、この図１に示す本実施の形態の再符号化装置により再符号化された２次符号化ビットストリームとして、符号化ビデオ出力端子１８から出力されることになる。

以上説明した再符号化装置の基本的な動作は、前述した図５の例と略々同じであるが、本実施の形態の再符号化装置の場合は、アナライザ２０におけるピクチャー（フレーム）内プロフィル作成部２１における動作が異なる。

すなわち、アナライザ２０のプロフィル作成部２１では、ピクチャー（フレーム）の目標符号量ＴＶ^ACを前述した式（１）の関係に従った計算により求めるが、本実施の形態の再符号化装置の場合は、さらにピクチャータイプ毎（例えばＭＰＥＧにおけるＩピクチャー（Intra-coded picture），Ｐピクチャー（Predictive-coded picture），Ｂピクチャー（Bidirectionally predictive-coded picture）毎）に最低目標符号量ＴＢ_min(typ)を設定する。

ここで、フレーム当たりのＡＣ離散コサイン変換の目標符号量ＴＶ^ACが例えば非常に小さな値を取るとき（例えば静止画に近いとき等）、レート制御器１９の制御応答が良くなり、小さな符号量誤差でも量子化係数が変動し、発振し易くなるが、本実施の形態では、当該ピクチャータイプ毎の最低目標符号量ＴＢ_min(typ)によって、発振を防ぐようにしている。なお、最低目標符号量は、簡略化してピクチャータイプ別に分けないものを設定するようにしてもよい。

上述したように、本実施の形態の場合は、ピクチャータイプ毎の最低目標符号量ＴＢ_min(typ)を用いることで、ピクチャーの目標符号量ＴＶ^ACは、次式（１１）のようになる。

ＴＶ^AC＝ＭＩＮ（ＴＶ^AC，ＴＢ_min(typ) ） （１１）
なお、この式（１１）におけるＭＩＮ（Ａ，Ｂ）は、Ａ，Ｂの小さい値を返す関数である。例えば、Ａ＞Ｂならば、ＭＩＮ（Ａ，Ｂ）はＢの値を返すことを表す。

前述した図５の従来例の再符号化装置のアナライザ１１０のプロフィル作成部１１１では、量子化係数に非依存のＡＣ係数によってピクチャー（フレーム）内プロフィルを作成していたが、本発明実施の形態のアナライザ２０のプロフィル作成部２１では、元の１次符号化ビットストリームのマクロブロック毎の発生符号量ΣＭＢ^ACｉとピクチャー内量子化係数Ｑｉの積のべき乗を用いる。つまり、本実施の形態のアナライザ２０では、次式（１２）のような、ｉ番目のマクロブロックＭＢｉの符号化難易度Ｘｉを用いる。

Ｘｉ＝（ΣＭＢ^ACｉ＊Ｑｉ）α （１２）
なお、式（１２）のαは（０＜α≦１）である。

本実施の形態の再符号化装置において、このようなことを行う理由について以下に説明する。

一般に、ｉ番目のマクロブロックＭＢｉにおいて、前記和（ΣＭＢ^ACｉ）の小さなマクロブロックは符号化が易しく、また、量子化係数Ｑｉが小さいマクロブロックＭＢｉも同様に符号化が易しい。一方、一般的に符号化が難しいマクロブロックＭＢｉほど符号化歪みは人間の視覚に感知し難いことが知られている。したがって、前記和ΣＭＢ^ACｉまたは量子化係数Ｑｉが大きくなると、そのマクロブロックＭＢｉの目標符号量は余り大きくなくて良いことになる。そこで、ＡＣ離散コサイン変換係数の目標符号量ＴＶ^ACがあまり大きくならないような関数を用いることが必要である。

本発明実施の形態では、当該関数の一例として、式（１２）の符号化難易度Ｘｉを用いているが、さらに、次式（１３）等の図２に示すような対数関数的に人間の感覚に合致した関数を用いることが望ましい。

Ｘｉ＝ＬＯＧ（ΣＭＢ^ACｉ＊Ｑｉ＋Ｂ）＋Ａ （１３）
なお、式（１３）のＡ，Ｂは定数である。

つまり、本発明実施の形態の再符号化装置のアナライザ２０では、ピクチャーの目標符号量ＴＶ^ACを、各々のマクロブロック毎に符号化難易度Ｘｉをピクチャー内の全てのマクロブロックの符号化難易度の総和でスケーリングする。

すなわち、ｉ番目までのマクロブロックＭＢｉの目標符号量ΣＴＭＢｉ＝（ＴＶ^ACｉ）
は、次式（１４）のようになる。

ΣＴＭＢｉ＝（ＴＶ^ACｉ）＝ΣＸｉ＊ＴＶ^AC／ΣＸ_last （１４）
次に、図３のフローチャートを参考にして、本発明の第１の実施の形態の再符号化装置での処理をさらに詳細に説明する。

先ず、再符号化装置は、ステップＳ１０の処理として、１次符号化ビットストリームから新しいピクチャー（フレーム）を取得する。次に、アナライザ２０は、ステップＳ１１の処理として、ＡＣ離散コサイン変換係数に加えて、各々のピクチャー（フレーム）に対して全符号化ビットΣ（ＴＢ）を計数する。さらに、再符号化装置では、ステップＳ１２の処理として、可変長復号化器１１にてフレームの可変長復号化と解析を行う。

なお、可変長復号化器１１は、可変長符号化されていない符号語に対して透過性であり、可変長符号化されていない符号語をそのまま通過させる。例えば、ＭＰＥＧ方式の信号中の可変長符号化された符号語は確定した境界をもたないため、可変長復号化器１１は各々の符号語の境界を定め、タイプを用いて符号語を識別する。符号語は、実際には復号化されず、可変長復号化器１１で解析された可変長符号化されていない符号語は、ステップＳ１３の処理として、識別子が付けられ遅延器１２に格納される。

解析された可変長符号化されていない符号語は、アナライザ２０に供給される。アナライザ２０は、ステップＳ１５の処理として、前記式（１２）又は式（１３）によって、符号化難易度Ｘｉを計算し、さらにステップＳ１４の処理として、その符号化難易度Ｘｉの合計ΣＸｉを求めてメモリ２２に記憶せる。

次に、アナライザ２０では、ステップＳ１６の処理として、各々のピクチャーに対する全マクロブックが分析されたか否かを判定し、全マクロブロックが分析されたと判定した場合はステップＳ１８の処理に進む。

ステップＳ１８の処理に進むと、アナライザ２０のプロフィル作成部２１は、ピクチャー当たりのＡＣ離散コサイン変換の目標符号量ＴＶ^ACを前記式（１）と式（１１）から求める。

次に、アナライザ２０は、ステップＳ１９の処理として、符号化難易度の合計ΣＸｉとピクチャー当たりのＡＣ離散コサイン変換の目標符号量ＴＶ^ACから、ＡＣ離散コサイン変換係数累積ビット数のプロフィルをスケーリングする。図４には、本実施の形態の場合のプロフィルを示す。

続いて、本実施の形態の再符号化装置では、ステップＳ２０の処理として、逆量子化器１３において逆量子化がなされ、次に、ステップＳ２１の処理として、量子化器１４において、記録された信号がスケーリングされたプロフィルと適合するよう再量子化がなされ、さらに可変長符号化器１５において可変長符号化がなされる。

ここで、再量子化処理における量子化係数について、詳細に説明すると、本実施の形態の再符号化装置では、ステップＳ２２の処理として、ｉ番目のマクロブロックＭＢｉに対して新しい量子化係数Ｑ_Nｉを評価する。本実施の形態では、当該量子化係数の評価値を多数の方法（例えば第１〜第５の方法）を使用して求める。

すなわち、量子化係数の評価値を得るための第１の方法では、新しい量子化係数Ｑ_Nｉがｉ番のマクロブロックＭＢｉの元の量子化係数を表わす場合、前述の従来例の場合と同様に、当該新しい量子化係数Ｑ_Nｉを前記式（６）にて計算する。これは量子化係数と発生符号量が反比例の関係であると仮定した場合である。

また、評価値を得るための第２の方法では、量子化係数に依存するＡＣ離散コサイン変換係数の符号量を用いて、次式（１５）により、量子化係数Ｑ_Nｉを計算する。

Ｑ_Nｉ＝Ｑ_MB in／（ＴＶ^AC／ΣΣＭＢ^AC last） （１５）
評価値を得るための第３の方法では、ｉ番目のマクロブロックの一つ前（ｉ−１）のマクロブロックＭＢｉ−１の量子化係数をＱ_Nｉ−１とした場合に、新しい量子化係数として、単にｉ番目のマクロブロックの量子化係数Ｑ_Nｉとしてその一つ前のマクロブロックＭＢｉ−１の量子化係数Ｑ_Nｉ−１を使用する。すなわち、Ｑ_Nｉ＝Ｑ_Nｉ−１を使用する。なお、その後は、後述するステップＳ２９〜ステップＳ３２の処理により、新しい量子化係数ＱNｉを設定する。

評価値を得るための第４の方法では、最も直前のピクチャーに対応するマクロブロックに対して計算された最終的な量子化係数Ｑ_Nｉ_lastを使用する。

評価値を得るための第５の方法では、最も直前の同じ符号化構造（例えばＭＰＥＧ方式のＩ，Ｐ，Ｂのピクチャーのいずれか）を持ったピクチャーに対して計算された最終的な量子化係数Ｑ_Nｉ_lastを、新しい量子化係数Ｑ_Nｉとして使用する。

本実施の形態の再符号化装置では、ステップＳ２２において、上述した第１〜第５の方法のうち、何れかの方法で新しい量子化係数Ｑ_Nｉを求める。

次に、本実施の形態の再符号化装置は、ステップＳ２２においてｉ番目のマクロブロックＭＢｉの新しい量子化係数の評価値（Ｑ_Nｉ）の取得後、ステップＳ２３の処理として、量子化されていないマクロブロックを遅延器１２からアクセスする。

すなわち、本実施の形態の再符号化装置の量子化器１４では、ステップＳ２４の処理として、当該ｉ番目のマクロブロックＭＢｉを、上述したように評価された量子化係数Ｑ_Nｉを用いて量子化する。

次に、本実施の形態の再符号化装置の可変長符号化器１５では、ステップＳ２５の処理として、再量子化後のマクロブロックを可変長符号化する。

その後、再符号化装置では、ステップＳ２６の処理として、マクロブロックに対する新しい画像の符号化複雑度Ｘｉ＝（ΣＭＢ^ACｉ＊Ｑｉ）αを加算し、さらにステップＳ２７の処理として、再量子化されたマクロブロックの符号語を再組立する。

このとき、再符号化装置では、ステップＳ２９の処理として、次式（１６）により、新しいプロフィル値Σ（ΣＭＢ^ACin）ｉと元のスケーリングされたプロフィル値ΣＴＭＢｉとの差をビット誤差ΔＥとして作成する。

ΔＥ＝ΣＴＭＢｉ−Σ（ΣＭＢ^ACin）ｉ （１６）
このように求めたビット誤差ΔＥは、次にステップＳ３０の処理において、閾値ΔＥ_THと比較される。このステップＳ３０の比較において、ビット誤差ΔＥが閾値ΔＥ_THよりも大きい場合は、ステップＳ３２に処理として、新しい量子化係数Ｑ_Nｉを計算する。この新しい量子化係数Ｑ_Nｉは、前述した式（８）に従って計算される。

この時、前記式（８）中のＱ_Nｉはｉ番目のマクロブロックＭＢｉに対し使用された最後の量子化係数に対応し、最初のパスでＱ_Nｉと等しく、ｓｇｎ（ΔＥ）はビット誤差ΔＥが正及び負である場合に各々±１と一致する。すなわち、前記式（９）のように計算されたＱ_Nｉに対して、Ｑ_Nｉ±１となる。

その後、ｉ番目のマクロブロックＭＢｉは、ステップＳ２２の処理としてもう一度遅延器１２からアクセスされ、新しい量子化係数Ｑ_Nｉを使用して再量子化がなされる。なお、ステップＳ２３からステップＳ３２までは、ビット誤差ΔＥが閾値ΔＥ_THより小さくなるまで繰り返される。あるいは、ステップＳ３１での制限繰り返し回数（リトライ回数）内で繰り返し制限を付けても良い。

一方、ステップＳ３０においてビット誤差ΔＥが閾値ΔＥ_THよりも小さいと判定された場合は、本実施の形態の再符号化装置では、ステップＳ３３の処理として、ピクチャー内の全てのマクロブロックが再量子化されたかどうかを判定するためチェックを行う。このステップＳ３３でのチェックの結果、ピクチャー内の全てのマクロブロックが再量子化されていないと判定された場合は、ステップＳ２８の処理として、ｉ番目のマクロブロックの番号（インデックスｉ）が１ずつ増加され、ステップＳ２２の処理に戻り、ｉ＋１番目のマクロブロックＭＢｉ＋１についての再量子化処理が開始される。

また、ステップＳ３３でのチェックの結果、ピクチャー内の全てのマクロブロックが再量子化されたと判定された場合、本実施の形態の再符号化装置の処理はステップＳ１０の処理に戻り、次のピクチャーの処理を開始する。

なお、上述した本実施の形態の再符号化装置での処理は、図４に示すプロフィルを正確に追従し、量子化係数Ｑ_MBｉｎの変化を殆ど許容しない傾向がある。また、量子化係数は、１ピクチャーの間非常に均一となる。また、特定のマクロブロックに引き続く処理パスの各々に対し、上記マクロブロックの前の処理パスの間に再組立されたデータは捨てられ、最終的なパスの再組立されたデータだけが保持されることになる。

次に、本発明の第２の実施の形態の再符号化装置での処理について説明する。

本発明の第２の実施の形態では、図３のフローチャートのステップＳ３０〜ステップＳ３２を省略した例である。

すなわち当該第２の実施の形態では、次式（１７）に示す、前のピクチャーの発生符号量と目標符号量の差の最終的な値Ｂ^AC _EXCESSを、次のピクチャーへＢ^AC _EXCESSとして、次の目標符号量に加算する。または、誤差を未来の複数のピクチャーに伝播させてもよい。

Ｂ^AC _EXCESS＝ΔＥ_last＝ＴＶ^AC−Σ（ΣＭＢ^ACin） （１７）
次に、本発明の第３の実施の形態の再符号化装置での処理について説明する。

本発明の第３の実施の形態では、Ｎピクチャー分の１次符号化ビットストリームを受信して、Ｎピクチャーの１次符号化ビットストリームを解析し、１ピクチャー分の目標符号量ＴＶ^ACに、Ｂ^AC _EXCESSをＮピクチャー分の目標符号量ＴＶ^AC _Nで割った値を配分する。すなわち、本発明の第３の実施の形態では、Ｎ個のピクチャーの各ピクチャー目標符号量がそれぞれＴＶ^AC ₀，ＴＶ^AC ₁，ＴＶ^AC ₂，・・・，ＴＶ^AC _Nであるとし、次に符号化するピクチャーについて前述した演算により求められる目標符号量をＴＶ^AC ₀とした場合、この第３の実施の形態では、当該次に再符号化するピクチャーの目標符号量として、次式（１８）のＴＶ^ACを求める。

ＴＶ^AC＝ＴＶ^AC ₀＋Ｂ^AC _EXCESS／Σ（ＴＶ^AC _N） （１８）
この結果、当該第３の実施の形態では、１ピクチャーの誤差の伝播を分散させることができ、画質の急激な変化を抑えることが可能となる。

以上説明したように、本発明の各実施の形態の再符号化装置によれば、再符号化時の符号量発生プロフィル作成の際に、予め圧縮符号化された１次符号化ビットストリームがピクチャー内ブロック毎に最適な符号量配分が行われていない場合においても適切な量子化係数の設定を行なうことができ、画質劣化の少ない２次符号化ビットストリームを作成できる。

本発明実施の形態の再符号化装置の概略構成を示すブロック図である。 本実施の形態の再符号化装置において用いる、対数関数的に人間の感覚に合致した符号化難易度の関数についての説明に用いる図である。 本発明の第１の実施の形態の再符号化装置での処理の流れを示すフローチャートである。 本発明実施の形態の再符号化装置のアナライザのプロフィル作成部が作成するプロフィルの説明に用いる図である。 従来の再符号化装置の概略構成を示すブロック図である。 従来の再符号化装置での処理の流れを示すフローチャートである。 従来の再符号化装置のアナライザのプロフィル作成部が作成するプロフィルの説明に用いる図である。

符号の説明

１０…符号化ビデオ入力端子、１１…可変長復号器、１３…逆量子化器、１４…量子化器、
１５…可変長符号化器、１６…マルチプレクサ、１７…レートバッファ、
１８…符号化ビデオ出力端子、１９…レート制御器、２０…アナライザ、
２１…プロフィル作成部、２２…メモリ。

Claims (4)

1. 符号化されている１次符号化ビットストリームを復号し、再符号化して２次符号化ビットストリームを生成する符号化装置において、
   少なくとも所定単位分の１次符号化ビットストリームを取り込むビットストリーム取り込み手段と、
   前記所定単位内のブロック毎にＡＣ離散コサイン変換係数の符号量と量子化係数の積のべき乗を用いて符号化難易度を求める符号化難易度演算手段と、
   前記ブロック毎に求めた前記符号化難易度を所定番目のブロックまで累積した値を前記所定単位内の全ブロックまで累積した符号化難易度の値で除算した結果と、予め前記所定単位内のピクチャータイプ毎に設定された最低目標符号量とを乗算して、前記所定番目のブロックの目標符号量を求めるようにスケーリングして、前記所定単位内のピクチャータイプ毎の最低目標符号量に対して各ブロックの目標符号量を配分するスケーリング手段とを有することを特徴とする符号化装置。
2. 少なくとも１所定単位分の再符号化を行った結果の符号量と前記目標符号量との誤差を未来に再符号化する所定単位の目標符号量に加算することを特徴とする請求項１記載の符号化装置。
3. 少なくとも１所定単位分の前記目標符号量に対して、前の所定単位の発生符号量と前記目標符号量との差を各々の所定単位の目標符号量の合計で割った値を配分することを特徴とする請求項１又は請求項２記載の符号化装置。
4. 符号化されている１次符号化ビットストリームを復号し、再符号化して２次符号化ビットストリームを生成する符号化方法において、
   少なくとも所定単位分の１次符号化ビットストリームを取り込むビットストリーム取り込みステップと、
   前記所定単位内のブロック毎にＡＣ離散コサイン変換係数の符号量と量子化係数の積のべき乗を用いて符号化難易度を求める符号化難易度演算ステップと、
   前記ブロック毎に求めた前記符号化難易度を所定番目のブロックまで累積した値を前記所定単位内の全ブロックまで累積した符号化難易度の値で除算した結果と、予め前記所定単位内のピクチャータイプ毎に設定された最低目標符号量とを乗算して、前記所定番目のブロックの目標符号量を求めるようにスケーリングして、前記所定単位内のピクチャータイプ毎の最低目標符号量に対して各ブロックの目標符号量を配分するスケーリングステップとを有することを特徴とする符号化方法。