JP3934712B2

JP3934712B2 - 映像信号符号化方法及び装置

Info

Publication number: JP3934712B2
Application number: JP25605396A
Authority: JP
Inventors: 隆幸菅原; 基晴上田; 裕史中川; 勝義西谷; 光章藤原
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1996-09-27
Filing date: 1996-09-27
Publication date: 2007-06-20
Anticipated expiration: 2016-09-27
Also published as: EP0833522A3; US6084636A; JPH10108179A; EP0833522A2; KR19980025048A

Description

【０００１】
【発明の属する技術分野】
本発明は映像信号符号化方法及び装置に係り、特に動画像に関する映像信号を量子化を使用した符号化を行うに際し、映像信号を第１のパスと第２のパスに分けて符号化し、第１のパスでは第２のパスの符号化に必要な情報を出力する映像信号符号化方法及び装置に関する。
【０００２】
【従来の技術】
従来より、映像信号を第１のパスと第２のパスに分けて、それぞれ入力画像データを量子化後に可変長符号化し、第１のパスでは第２のパスの符号化に必要な情報を出力する映像信号符号化方法及び装置として、カラー動画像蓄積用符号化方式のＭＰＥＧなどの符号化方式を使い、情報は全ビデオシーケンスに対してピクチャ単位、若しくはピクチャを所定の大きさ（例えば１６×１６画素）に分割したブロック単位に発生符号量を情報として記録する方法及び装置が知られている（特開平７−２８４０９７号公報）。
【０００３】
ここで、ＭＰＥＧに代表されるような符号化方式では、可変長符号化を採用しているので、第１のパスで画像データを量子化幅を固定にして量子化した後可変長符号化すると、符号化画像の複雑さや動き補償残差成分量に応じて発生符号量が多くなる。この性質を利用して、発生符号量の分布状態を予め調査し、第２のパスではその分布に極力近くなるように符号量の配分を行うことで画質を均一、かつ、高画質にすることが可能となる。このとき、ピクチャ単位の調査結果を用いることにより、時間的に各ピクチャの画質を均一に制御することが可能となり、ブロック単位の調査結果を用いることによりピクチャ内のブロック毎の画質を均一に制御することが可能となる。
【０００４】
第２のパスでは、その符号量配分比率を保つと同時に、全体の目標符号量に転送レート制御しなければならない。従来、発生符号量は、第１のパスで発生したピクチャ単位、若しくはブロック単位に発生符号量を調査し、何らかの手段で情報記録を行っていた。第１のパスでは一般的に量子化幅を小さめにして、第２のパスで出力される最終的な符号量より多くの符号量を発生させるのが普通である。小さくすることで画像の高周波成分まで細かく情報を検出して、その画像の特性を検出する必要があるからである。
【０００５】
従来はその発生符号量と量子化幅の示すほぼ反比例の関係を用いて、第２のパスで最終的な目標符号量になるように制御すると同時に、ピクチャやブロックに対し、第１のパスとほぼ同じ符号量配分比率になるように制御する。符号量を制御するには、量子化幅を変更し、所望の符号量にする。
【０００６】
【発明が解決しようとする課題】
従来は、可変長符号化による発生符号量と量子化幅の示すほぼ反比例の関係を用いて、第２のパスで最終的な目標符号量に制御すると同時に、ピクチャやブロックに対し、第１のパスとほぼ同じ符号量配分比率になるように制御していた。符号量を制御するには、量子化幅を変更し、所望の符号量にすることになる。しかし、実際には量子化幅を変更しても変化しない符号量が原理的に存在する。それは、量子化回路により量子化されないが、可変長符号化により符号化される付加的な情報、すなわち、量子化幅に依存しない付加的な情報で、ＭＰＥＧを例にとると各種ヘッダ情報や動きベクトルである。
【０００７】
これらはピクチャの大きさにも依存するが、７２０×４８０画素程度のピクチャで、ＭＰＥＧ２の方式に則って符号化すると、ピクチャ全体で平均的に２０〜５０ｋビット程発生する。例えば、第１のパスの結果を示すと、図７（Ａ）に示すように、全体の発生符号量に対して斜線部分の量子化幅に依存しない発生符号量は、実際に配分する符号量にもよるが、平均６Ｍｂｐｓぐらいの転送レートで平均的に２０％程度の占有率となる。これを第２のパスでは一般に第１のパスより平均転送レートを下げて符号化するので、図７（Ｂ）に示すように、平均４Ｍｂｐｓの目標符号量に対して、斜線部分の量子化幅に依存しない目標符号量は、平均的に３０％程度の占有率となる。
【０００８】
また、ブロック単位の符号量配分をするときも、図８（Ａ）に示すように、斜線部分の量子化幅に依存しない付加的な情報の発生符号量の占有率は大きいところで５０％を越えることもある。これを第２のパスでは一般に第１のパスより平均レートを下げて符号化するので、図８（Ｂ）に示すように、斜線部分の量子化幅に依存しない目標符号量の占有率は大きいところで７０％を越えることもある。
【０００９】
しかるに、従来は量子化幅に依存しない発生符号量を含めた値をそのまま総発生符号量として使用して第２のパスの符号量配分を行っているため、”量子化幅”と”量子化幅に依存する発生符号量”の示すほぼ反比例の関係を十分に生かすことができない場合が多く、局部的に符号量配分量が不足したりする現象が発生し、結果的に画質を損なう原因になっている。
【００１０】
本発明は以上の点に鑑みなされたもので、局部的な符号量配分量の不足を防止し、画質を向上し得る映像信号符号化方法及び装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記の目的を達成するため、本発明の映像信号符号化方法は、
入力画像データに対し所定の信号処理を施してから固定の量子化幅で量子化を行って得た第１のデータと、量子化を行わない付加的な情報である第２のデータとをそれぞれ可変長符号化し、
その可変長符号化時の符号化の最小単位であるブロック毎の発生符号量及び前記ブロックの所定数の集まりであるピクチャ毎の発生符号量を、前記第１のデータに関する量子化幅の大きさに依存する第１の発生符号量と、前記第２のデータに関する量子化幅の大きさに依存しない第２の発生符号量とに分けて記憶した後、
予め定められた全体目標符号量と前記記憶した第１及び第２の発生符号量とに基づいて、各前記ピクチャ毎の目標符号量と各前記ブロック毎の目標符号量とを決定し、
前記入力画像データと同じ画像データに対し所定の信号処理を施してから前記各ピクチャ毎の目標符号量に基づいた量子化幅で量子化を行って得た第３のデータと、量子化を行わない付加的な情報である第４のデータとをそれぞれ可変長符号化して符号化データを出力すると共に、
前記各ピクチャにおける先頭からｎ−１番目（先頭ブロックを１番目のブロックとしｎは２以上の整数とする）のブロックまでの前記ブロック毎の目標符号量の和と、前記各ピクチャにおける先頭からｎ−１番目のブロックまでの前記第３及び第４のデータの可変長符号化による発生符号量の和との誤差に応じて、各ピクチャにおける先頭からｎ番目のブロックに対する量子化幅を可変制御して、各ピクチャにおける前記ｎ番目のブロックの第３のデータを得るようにし、各ピクチャにおける前記第３及び第４のデータの可変長符号化による発生符号量の和を前記各ピクチャ毎の目標符号量に近付ける符号化を行う。
また、上記の目的を達成するため、本発明の映像信号符号化装置は、
入力画像データに対し所定の信号処理を施してから第１の量子化回路により固定の量子化幅で量子化を行って得た第１のデータと、量子化を行わない付加的な情報である第２のデータとをそれぞれ第１の可変長符号化回路により可変長符号化し、その可変長符号化時の符号化の最小単位であるブロック毎の発生符号量及び前記ブロックの所定数の集まりであるピクチャ毎の発生符号量を、前記第１のデータに関する量子化幅の大きさに依存する第１の発生符号量と、前記第２のデータに関する量子化幅の大きさに依存しない第２の発生符号量とに分けて計測する第１の計測手段を有する第１の符号化回路と、
前記第１の計測手段により計測された前記第１のデータに関する量子化幅の大きさに依存する前記ブロック毎の発生符号量と前記ピクチャ毎の発生符号量とである前記第１の発生符号量と、前記第２のデータに関する量子化幅の大きさに依存しない前記ブロック毎の発生符号量と前記ピクチャ毎の発生符号量とである前記第２の発生符号量とをそれぞれ記憶する記憶手段と、
予め定められた全体目標符号量と前記記憶手段から読み出した第１及び第２の発生符号量とに基づいて、目標符号量決定回路により各前記ピクチャ毎の目標符号量と各前記ブロック毎の目標符号量とを決定し、前記第１の符号化回路に入力された前記画像データと同じ画像データに対し所定の信号処理を施してから符号量制御回路により前記各ピクチャ毎の目標符号量に基づいた量子化幅を求め、この量子化幅で第２の量子化回路により量子化を行って得た第３のデータと、量子化を行わない付加的な情報である第４のデータとをそれぞれ第２の可変長符号化回路により可変長符号化して符号化データを出力すると共に、その可変長符号化時の発生符号量を、前記第３のデータに関する量子化幅の大きさに依存する第１の発生符号量と、前記第４のデータに関する量子化幅の大きさに依存しない第２の発生符号量とに分けて第２の計測手段により計測し、前記各ピクチャにおける先頭からｎ−１番目（先頭ブロックを１番目のブロックとしｎは２以上の整数とする）のブロックまでの前記ブロック毎の目標符号量の和と、前記各ピクチャにおける先頭からｎ−１番目のブロックまでの前記第３及び第４のデータの可変長符号化による第１及び第２の発生符号量の和との誤差を前記符号量制御回路により求め、その誤差に応じて、各ピクチャにおける先頭からｎ番目のブロックに対する前記第２の量子化回路の量子化幅を前記符号量制御回路により可変制御して、各ピクチャにおける前記ｎ番目のブロックの第３のデータを得るようにし、各ピクチャにおける前記第３及び第４のデータの可変長符号化による発生符号量の和を前記各ピクチャ毎の目標符号量に近付ける符号化を行う第２の符号化回路と、
を有する。
上記の本発明の映像信号符号化方法及び装置では、第１のパスにおいて入力画像データに対して量子化幅固定で量子化後、可変長符号化して得られた発生符号量を、量子化幅の大きさに依存する第１の発生符号量と、量子化幅の大きさに依存しない第２の発生符号量とに分けて記憶手段に記憶し、続いて第２のパスで記憶手段から読み出した第１及び第２の発生符号量を用いて各ピクチャ毎の目標符号量と各ブロック毎の目標符号量とを決定し、各ピクチャにおける先頭からｎ−１番目（先頭ブロックを１番目のブロックとしｎは２以上の整数とする）のブロックまでのブロック毎の目標符号量の和と、各ピクチャにおける先頭からｎ−１番目のブロックまでの第２のパスの可変長符号化による発生符号量の和との誤差に応じて、量子化幅を可変制御して発生符号量を目標符号量に近付ける符号化を行うようにしたため、量子化幅の大きさに依存しない第２の発生符号量を考慮した符号量配分が第２のパスで適切にできる。
【００１２】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。
【００１３】
図１は本発明装置の第１の実施の形態のブロック図を示す。ここで、この実施の形態及び後述する実施の形態では符号化は、一例としてＭＰＥＧ符号化を用いる。このＭＰＥＧ符号化については、国際標準化機構（ＩＳＯ）のＩＳＯ−ＩＥＣ１１１７２−２、国際電気通信連合（ＩＴＵ）のＩＴＵ−ＴＨ．２６２／ＩＳＯ−ＩＥＣ１３８１８−２に詳細な説明がなされているので、ここでは概略のみ説明する。ＭＰＥＧでは、動画の１シーケンスを複数のフレーム（ピクチャ）からなるグループオブピクチャ（ＧＯＰ）に分割して符号化を行い、ＧＯＰはフレーム内符号化画像であるＩピクチャ、フレーム間順方向予測符号化画像であるＰピクチャ、双方向予測符号化画像であるＢピクチャの３つのピクチャから構成される。符号化の最小単位は８×８画素のブロックで、位置的に隣接する４つの輝度信号ブロックとそれに対応する２種類の色差信号の各１ブロックからなる計６ブロックが動き補償予測の最小単位であるマクロブロック（ＭＢ）を構成し、複数個のマクロブロックによりピクチャ（スライス）が構成される。
【００１４】
図１において、映像信号をディジタル信号に変換して得られた画像データは、第１のパスを構成する第１の符号化回路１に供給され、ここで固定の量子化幅により量子化及び符号化され、量子化幅の大きさに依存する第１の発生符号量と、量子化幅の大きさに依存しない第２の発生符号量が、それぞれ所定の単位で生成されて記憶回路２に記憶される。
【００１５】
また、第１の符号化回路１に入力される画像データは、画像遅延バッファ３に入力されて蓄積され、ここで第１の符号化回路１により画像データ入力から上記の第１及び第２の発生符号量を記憶回路２に記憶するまでに要する処理時間相当の遅延を受けて第２のパスを構成する第２の符号化回路４に供給される。
【００１６】
第２の符号化回路４は画像遅延バッファ３から入力される画像データを可変量子化幅の量子化と符号化を行うと共に、その符号化の際に、この第２の符号化回路４の全体目標符号量と記憶回路２から読み出した前記第１及び第２の符号量結果情報とを用いてピクチャ単位の目標符号量を後述するアルゴリズムで設定し、更に、このピクチャ単位の目標符号量と前記第１及び第２の符号量結果情報とを用いて各ピクチャ内のブロック単位の目標符号量を設定して符号化を行う。
【００１７】
ここで、上記のピクチャ単位の目標符号量の設定は、前記第２の発生符号量情報から得た量子化幅の大きさに依存しないピクチャ符号量の総和を第２の符号化回路４の全体目標符号量から差し引き、その差の値に対し前記第１の発生符号量情報から得た量子化幅の大きさに依存するピクチャ符号量の比率を基にしてピクチャ単位に仮の目標符号量を計算し、量子化幅の大きさに依存しないピクチャ毎の符号量を加算することにより行う。また、上記のブロック単位の目標符号量の設定は、前記第２の発生符号量情報から得た量子化幅の大きさに依存しないブロック毎の符号量の総和を上記のピクチャ単位の目標符号量から差し引き、その差の値に対し前記第１の発生符号量情報から得た量子化幅の大きさに依存するブロック毎のピクチャ符号量の比率を基にして、ブロック単位に仮の目標符号量を計算し、量子化幅の大きさに依存しないブロック毎の符号量を加算することにより行う。
【００１８】
これにより、第２の符号化回路４で符号量を配分するときには、量子化幅に依存しない付加的な符号量の値を考慮した配分ができ、局部的な符号量配分量の不足を防止できる。
【００１９】
次に、図２乃至図５を参照して本実施の形態について更に詳細に説明する。図２は図１中の第１の符号化回路１の一例のブロック図、図３は図２中の符号量カウンタの一例のブロック図、図４は図２の符号化回路の情報の記憶フォーマット例を示す図、図５は図１中の第２の符号化回路４の一例のブロック図を示す。
【００２０】
図２において、記憶回路２以外の回路部が第１の符号化回路１である。輝度信号と色差信号で構成された映像信号は、ディジタル化された後ピクチャタイプに合わせて画面の並べ換えが行われる。入力画像データはこの符号化順に減算器１０及び動き補償予測回路１１に供給され、減算器１０で動き補償予測回路１１の出力信号と減算された後、離散コサイン変換（ＤＣＴ）回路１２に供給されてブロック単位にＤＣＴ演算されてＤＣＴ係数が得られる。このＤＣＴ係数には、ＤＣ（直流で、画素の平均値）とＡＣ（交流で、高周波成分）とがあり、いずれも符号量が量子化幅の大きさに依存する。
【００２１】
このＤＣＴ係数は量子化回路１３に供給されて固定の量子化幅で量子化された後、可変長符号化（ＶＬＣ）回路１８に供給される一方、ＩピクチャやＰピクチャは後で動き補償予測の参照画面として用いる必要があるため、逆量子化回路１４に供給されて逆量子化され、更に逆ＤＣＴ回路１５に供給されて逆ＤＣＴ演算された後、動き補償予測回路１１からの動き補償信号と加算器１６で加算されることにより、局部復号化が行われ、復号器と同じ画像データに復元されて画像メモリ１７に蓄積される。
【００２２】
画像メモリ１７により所定フレーム数分だけ遅延された画像データは、次の動き補償予測の参照画像データとして動き補償予測回路１１に供給される。動き補償予測回路１１は入力画像データと画像メモリ１７からの遅延復号画像データとを入力信号として受け、例えばマクロブロック単位にフレーム間予測符号化及びフレーム内予測符号化を選択的に行って予測信号を得ると共に、ある複数画素領域内での入力画像データと予測信号との差分が最も小さくなる位置を示す動きベクトルを検出し、動きベクトルに応じて動き補償した画像データを減算器１０に供給して次の画像データとの差分を生成させ、また、加算器１６に供給する。更に、動き補償予測回路１１は検出した動きベクトルと、どの予測符号化を選択したかを示す予測モード信号をＶＬＣ回路１８に供給する。これらの動きベクトルや予測モード信号は、符号量が量子化幅の大きさに依存しない。
【００２３】
ＶＬＣ回路１８は、量子化回路１３から順次に入力される量子化されたＤＣＴ係数と動き補償予測回路１１からの動きベクトルや予測モード信号を、出現確率が高いものほど符号長を短くするなどの可変長符号化を行う。可変長符号化されたＤＣＴ係数などの情報は、不規則なレートで発生するため、バッファメモリ１９に一旦蓄積された後、一定レートで符号化データ（ＭＰＥＧビデオストリーム）として出力される。
【００２４】
以上はＭＰＥＧで良く知られている一般的な符号化であるが、この実施の形態では更に、ＶＬＣ回路１８で可変長符号化をする際、符号量が量子化幅の大きさに依存するＡＣやＤＣのＤＣＴ係数等の符号量情報と、動きベクトルなどのそれ以外の符号量結果情報を符号量カウンタ２０にブロック単位に送る。
【００２５】
符号量カウンタ２０は図３に示すように、入力信号をスイッチ２１によりＡＣ，ＤＣ符号量加算回路２２とＡＣ，ＤＣ以外の符号量加算回路２３の一方へ選択入力する構成とされており、ＶＬＣ回路１８がＡＣ、ＤＣのＤＣＴ係数等のブロックの情報を可変長符号化しているときには、その可変長符号化される情報がスイッチ２１によりＡＣ、ＤＣ符号量加算回路２２に選択入力されて順次に加算され、他方、それ以外のブロックの情報を可変長符号化しているときは、その可変長符号化される情報がＡＣ、ＤＣ以外の符号量加算回路２０３に選択入力されて加算される。
【００２６】
ＡＣ，ＤＣ符号量加算回路２２により得られた加算出力は、量子化幅の大きさに依存する第１の発生符号量情報として、またＡＣ，ＤＣ以外の符号量加算回路２３により得られた加算出力は、量子化幅の大きさに依存しない第２の発生符号量情報としてそれぞれ記憶回路２に供給されて記憶される。この記憶回路２はハードディスクや高速のストレージメディアなどで構成される。
【００２７】
ブロック毎の発生符号量の記憶の方法としては、ブロック毎の発生符号量をそのまま記憶してもよいし、精度を落として（例えば２５６で割り算する）記憶してもよい。また、ピクチャ全体の総和が求まった時点で、その値を仮に２のＮ乗とした場合の規格化した符号量を記憶しておくこともできる。２のＮ乗で規格化しておくことは、第２の符号化回路（第２のパス）４で与えられる目標符号量に対しての比例計算を行う場合、分母がビットシフト演算になるので都合がよい。この実施の形態では、仮に２¹¹（＝２０４８）とする。
【００２８】
ブロック毎の発生符号量は５ビット（０から３１）の値で表現する。ここで必要な情報は後述する第２の符号化回路４でブロック毎の発生符号量を符号化順に加算していったときの推移なので、一つのブロックで３１／２０４８の値を越えるような発生符号量があった場合には、５ビットの最大値３１でリミッティングして、表現しきれなかった符号量は次のブロックの発生符号量と加算して表現することにする。記憶する符号量はいずれにしても量子化幅の大きさに依存する符号量と、それ以外の符号量に分けて記憶される。
【００２９】
ピクチャ毎の発生符号量の記憶の方法としては、発生符号量をそのまま記憶してもよいし、精度を落として（例えば２５６＝２⁸で割り算する）記憶してもよい。この場合は、例えば符号化されるピクチャの最大符号量が１Ｍビットなら、それをそのまま記憶するには２０ビット必要となるが、８ビット精度を落として１２ビットで記憶することができる。この場合も量子化幅の大きさに依存する符号量と、それ以外の符号量に分けて記憶される。
【００３０】
ブロック毎の発生符号量を規格化して記憶した場合には、ピクチャ毎の発生符号量を記憶しておく必要がある。規格化していない場合には、ブロック毎の発生符号量の情報はブロックを全数加算することにより得られるので、ピクチャ毎の発生符号量を記憶しなくてもよい。
【００３１】
記憶のフォーマットとしては、図４に示すように、始めにピクチャの量子化幅の大きさに依存する符号量（ピクチャＡＣＤＣ）と、依存しない符号量（ピクチャＥＴＣ）を各々１２ビットずつ記憶し、その後にブロックの量子化幅の大きさに依存する符号量（ブロックＡＣＤＣ）と、依存しない符号量（ブロックＥＴＣ）をそれぞれ５ビットずつブロックの数だけ（ここでは１３５０ブロック）記憶する。
【００３２】
次に、第２の符号化回路（第２のパス）４について図５のブロック図と共に説明する。図５において、記憶回路２以外の回路部が第２の符号化回路４である。図５に示す第２の符号化回路４において、減算器３０、動き補償予測回路３１、ＤＣＴ回路３２、量子化回路３３、逆量子化回路３４、逆ＤＣＴ回路３５、加算器３６、画像メモリ３７、ＶＬＣ回路３８及びバッファメモリ３９よりなる回路部は、図２に示した第１の符号化回路１の減算器１０、動き補償予測回路１１、ＤＣＴ回路１２、量子化回路１３、逆量子化回路１４、逆ＤＣＴ回路１５、加算器１６、画像メモリ１７、ＶＬＣ回路１８及びバッファメモリ１９よりなる回路部と同様の符号化動作を行う。
【００３３】
この第２の符号化回路４が第１の符号化回路１と異なる点は、記憶回路２に記憶されたピクチャＡＣＤＣ、ピクチャＥＴＣ、ブロックＡＣＤＣ、ブロックＥＴＣの情報を用いて後述するアルゴリズムによってピクチャ毎の目標符号量、あるいはブロック毎の目標符号量を設定する目標符号量決定回路４０と、符号量カウンタ４１と、目標符号量決定回路４０で設定された目標符号量に合うように発生符号量を制御する符号量制御回路４２とが設けられており、量子化回路３３の量子化幅が符号量制御回路４２により可変制御される点である。符号量制御回路４２は、後述するアルゴリズムを用いて、ＶＬＣ回路３８により可変長符号化されたデータの発生符号量を符号量カウンタ４１にて計算し、その発生符号量値と目標の符号量値との誤差を量子化回路３３にフィードバックして、符号量制御を行う。
【００３４】
次に、目標符号量決定回路４０内のアルゴリズム例を説明する。第１の符号化回路１で使用する量子化幅をＱｆｉｘとする。その結果、発生した符号量は上記したように、ピクチャＡＣＤＣ、ピクチャＥＴＣ、ブロックＡＣＤＣ、ブロックＥＴＣの情報として記憶回路２に記憶される。これは画像の解像度や、動き補償予測誤差量を精度良く検出するため、一般的に第２の符号化回路４の符号化で取り得る可能性のある量子化幅より、小さくするのが適当である。
【００３５】
第２の符号化回路４で行う符号化の目標符号量を、「ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ」と記すことにすると、このＴＡＲＧＥＴ＿ＢＵＤＧＥＴを、第１の符号化回路１の発生符号量結果の比に分配する。ただし、発生符号量のうち、ピクチャＥＴＣは量子化幅を変化させても変動する値ではない。このことから、第２のパスの全体目標符号量ＴＡＲＧＥＴ＿ＢＵＤＧＥＴから予めピクチャＥＴＣの総和を引いて計算する必要がある。
【００３６】
すなわち、純粋なＡＣＤＣに対する目標符号量ＴＡＲＧＥＴ＿ＢＵＤＧＥＴをＡＣＤＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴとすると、これは
ＡＣＤＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ＝ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ
−ΣＰＥＴＣ（ｉ）（１）
で表される。ただし、上式中、ＰＥＴＣ（ｉ）はピクチャＥＴＣの値で、ｉは０から（ピクチャ総枚数−１）までの値をとる。
【００３７】
この式により得られたＡＣＤＣだけに対する目標符号量ＡＣＤＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴは、第１の符号化回路（第１のパス）１の結果の量子化幅の大きさに依存するピクチャＡＣＤＣの比率に分配される。分配されるピクチャ毎のＡＣＤＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴをＰＩＣ＿ＡＣＤＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）と記すものとすると、これは
ＰＩＣ＿ＡＣＤＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）
＝ＡＣＤＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ×ＰＡＣＤＣ（ｉ）／
ΣＰＡＣＤＣ（ｉ）（２）
で表される。ただし、上式中、ＰＡＣＤＣ（ｉ）はピクチャＡＣＤＣの値で、ｉは０から（ピクチャ総枚数−１）までの値をとる。
【００３８】
この（２）式に、初めに減算していたＰＥＴＣ（ｉ）を次式のように加算すると、各ピクチャの目標符号量ＰＩＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）を得ることができる。
【００３９】
ＰＩＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）
＝ＰＩＣ＿ＡＣＤＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）＋ＰＥＴＣ（ｉ）
（３）
同様に、ピクチャ毎のＡＣＤＣだけに対する目標符号量ＰＩＣ＿ＡＣＤＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）をブロック毎に配分するには、変数ｊを０から（ブロック数−１）までをとる値とすると、ＡＣＤＣだけに対する目標符号量を第１の符号化回路（第１のパス）１の結果のブロックＡＣＤＣ比率に分配する。ｉ枚目のピクチャの分配されるブロック毎のＡＣＤＣの目標符号量をＢＬＯＣＫ＿ＡＣＤＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）（ｊ）とすると、これは次式で表される。
【００４０】
ＢＬＯＣＫ＿ＡＣＤＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）（ｊ）
＝ＰＩＣ＿ＡＣＤＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）
×ＢＡＣＤＣ（ｊ）／２０４８（４）
また、ｉ枚目のピクチャの分配されるブロック毎のＥＴＣの目標符号量をＢＬＯＣＫ＿ＥＴＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）（ｊ）とすると、これは次式で表される。
【００４１】
ＢＬＯＣＫ＿ＥＴＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）（ｊ）
＝ＰＥＴＣ（ｉ）×ＢＥＴＣ（ｊ）／２０４８（５）
ただし、上式中、ＢＥＴＣ（ｊ）はブロックＥＴＣの値である。
【００４２】
これらを加算すると、各ブロックの目標符号量を得ることができる。
【００４３】
ＢＬＯＣＫ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）（ｊ）
＝ＢＬＯＣＫ＿ＡＣＤＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）（ｊ）
＋ＢＬＯＣＫ＿ＥＴＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）（ｊ）（６）
次に、符号量制御回路４２内のアルゴリズム例を説明する。ここでは、実際の各ピクチャに割り当てられた目標符号量ＰＩＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）に制御するため、マクロブロック（ＭＢ）毎に発生符号量を符号化したところまで加算しつつ、目標符号量から途中での予測目標符号量との差を量子化値にＭＢ単位でフィードバックする。すなわち、
ｄ（ｊ）＝ｄ０＋Ｂｉｔｓ（ｊ−１）−ＴＧＴ（ｊ−１）（７）
とし、誤差ｄ（ｊ）を量子化値にフィードバックする。ここで、上式中、ｄ０は各仮想バッファの初期占有量、Ｂｉｔｓ（ｊ）は各ピクチャの先頭からｊ番目のブロックまでの発生符号量の和、ＴＧＴ（ｊ）は各ピクチャの先頭からｊ番目のブロックまでの各ブロックの目標符号量ＢＬＯＣＫ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）（ｊ）の和である。
【００４４】
また、ｊ番目の量子化値Ｑ（ｊ）は、次式で表される。
【００４５】
Ｑ（ｊ）＝ｄ（ｊ）×３１／ｒ（８）
ここで、ｒはフィードバックの応答速度を決定するパラメータで、
ｒ＝２×Ｂｉｔ＿ｒａｔｅ／Ｐｉｃｔｕｒｅ＿ｒａｔｅ（９）
と表される。ここでは符号化する映像信号のＢｉｔ＿ｒａｔｅ／Ｐｉｃｔｕｒｅ＿ｒａｔｅに比例するように設定している。なお、Ｂｉｔ＿ｒａｔｅは１秒間当りの平均目標符号量、Ｐｉｃｔｕｒｅ＿ｒａｔｅは１秒間当りの入力フレーム数である。
【００４６】
第１ブロック目は（７）式中のＢｉｔｓ（ｊ−１）−ＴＧＴ（ｊ−１）を０とし、各仮想バッファの初期占有量ｄ０がそのまま反映されるようにする。第１の符号化回路（第１のパス）１での量子化値はＱｆｉｒｓｔ、ＡＣＤＣの発生符号量を上記のピクチャＡＣＤＣの値ＰＡＣＤＣとし、第２の符号化回路（第２のパス）４で配分された目標符号量を、上記のピクチャ毎のＡＣＤＣだけに対する目標符号量ＰＩＣ＿ＡＣＤＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）とすると、初期値としてのＱ０は例えば量子化値と発生符号量の大まかな反比例関係を利用してＱ０＝Ｑｆｉｒｓｔ×ＰＡＣＤＣ／ＰＩＣ＿ＡＣＤＣ＿ＴＡＲＧＥＴ＿ＢＵＤＧＥＴ（ｉ）（１０）
で求めることができ、その量子化値に対応する各仮想バッファの初期占有量ｄ０は次式により求めることができる。
【００４７】
ｄ０＝Ｑ０×ｒ／３１（１１）
このようにして、ピクチャ内の符号量制御を行うことができる。
【００４８】
次に、本発明の第２の実施の形態について説明する。図６は本発明になる映像信号符号化装置の第２の実施の形態のブロック図を示す。同図中、図５と同一構成部分には同一符号を付してある。図６に示す実施の形態は、第１の符号化回路１と第２の符号化回路４の要部をそれぞれ共用するように構成したものである。
【００４９】
すなわち、減算器５０、動き補償予測回路５１、ＤＣＴ回路５２、量子化回路５３、逆量子化回路５４、逆ＤＣＴ回路５５、加算器５６、画像メモリ５７、ＶＬＣ回路５８及びバッファメモリ５９よりなる回路部は、図２に示した第１の符号化回路１の減算器１０、動き補償予測回路１１、ＤＣＴ回路１２、量子化回路１３、逆量子化回路１４、逆ＤＣＴ回路１５、加算器１６、画像メモリ１７、ＶＬＣ回路１８及びバッファメモリ１９よりなる回路部と、第２の符号化回路４の減算器３０、動き補償予測回路３１、ＤＣＴ回路３２、量子化回路３３、逆量子化回路３４、逆ＤＣＴ回路３５、加算器３６、画像メモリ３７、ＶＬＣ回路３８及びバッファメモリ３９よりなる回路部とを共用した回路部で、前記した第１及び第２の符号化回路１及び４と基本的に同様の符号化動作を行う。
【００５０】
また、符号量カウンタ６３は符号量カウンタ２０及び４１を共用した符号量カウンタである。更に、１パス／２パス制御回路６０はその出力制御信号により、スイッチ６３、６４及び６５を連動して切り換え制御し、これらのスイッチ６３、６４及び６５を端子ａ側に接続することにより、前記第１の符号化回路（第１のパス）１と同等の回路構成とし、また端子ｂ側に切り換え接続することにより、前記第２の符号化回路（第２のパス）４と同等の回路構成に切り換える。
【００５１】
なお、量子化幅設定回路６１は予め定められた固定の量子化幅を量子化回路５３に対して設定する。また、データストレージ６６は、記憶回路２よりも大容量のハードディスクあるいはメモリ等の記憶装置で、記憶回路２の記憶情報をまとめて記憶し、読み出す。
【００５２】
次に、この実施の形態の動作について説明する。まず、１パス／２パス制御回路６０の出力制御信号により、スイッチ６３、６４及び６５がそれぞれ端子ａ側に接続制御される。これにより、符号量カウンタ６２の出力端子はスイッチ６３を介して記憶回路２に接続され、また、量子化幅設定回路６１の出力信号がスイッチ６５を介して量子化回路５３に供給されることにより、量子化回路５３は量子化幅設定回路６１で設定された固定の量子化幅で動作する。
【００５３】
このとき入力される画像データは、前記第１の符号化回路（第１のパス）１と同様にして、ＭＰＥＧで良く知られている一般的な符号化を行われると共に、ＶＬＣ回路５８で可変長符号化をする際、符号量が量子化幅の大きさに依存するＡＣやＤＣのＤＣＴ係数等の発生符号量情報と、動きベクトルなどのＡＣ，ＤＣ以外の発生符号量情報とが符号量カウンタ６２にブロック単位に供給されてそれぞれ個別に加算され、ＡＣ，ＤＣ符号量の加算出力は、量子化幅の大きさに依存する第１の発生符号量情報として、またＡＣ，ＤＣ以外の符号量の加算出力は、量子化幅の大きさに依存しない第２の発生符号量情報としてそれぞれ記憶回路２に供給されて記憶される。この記憶回路２に記憶された第１及び第２の発生符号量情報はデータストレージ６６に更に蓄積される。
【００５４】
次に、１パス／２パス制御回路６０の出力制御信号により、スイッチ６３、６４及び６５がそれぞれ端子ｂ側に切り換え接続制御される。これにより、符号量カウンタ６２の出力端子はスイッチ６３を介して符号量制御回路４２に接続され、また、記憶回路２がスイッチ６４を介して目標符号量決定回路４０に接続され、更に符号量制御回路４２の出力信号がスイッチ６５を介して量子化回路５３に供給されることにより、量子化回路５３は符号量制御回路４２の出力制御信号に応じた可変の量子化幅で動作する。
【００５５】
このとき入力される画像データは、スイッチ６３〜６５がそれぞれ端子ａ側に接続されている時に入力された画像データと同一の画像データで、図示しない信号源から再び入力される。例えば、画像データを磁気テープに記録しておき、これを前回ＶＴＲで再生して入力した場合、今回もその磁気テープを巻き戻した後ＶＴＲでその磁気テープから再生されて入力される。この入力画像データは、前記第２の符号化回路（第２のパス）４と同様にして、ＭＰＥＧで良く知られている一般的な符号化を行われる。
【００５６】
また、このときＶＬＣ回路５８により可変長符号化されたデータの発生符号量が符号量カウンタ６２にて計算され、また、データストレージ６６から記憶回路２を介して読み出された前記第１及び第２の発生符号量情報に基づいて、目標符号量決定回路４０により前述したアルゴリズムによってピクチャ毎の目標符号量、あるいはブロック毎の目標符号量が決定され、更に、符号量制御回路４２が前述したアルゴリズムを用いて、上記符号量カウンタ６２からの発生符号量値と目標符号量決定回路４０からの目標符号量値との誤差をスイッチ６５を介して量子化回路５３にフィードバックして、符号量制御を行う。
【００５７】
これにより、この実施の形態も第１の実施の形態と同様に、第２のパスで符号量を配分するときに、量子化幅に依存しない付加的な符号量の値を考慮した適切な符号量配分ができるため、局部的に符号量配分量が不足したり、画面内において局部的に画質を損なうことを防止でき、しかもこの実施の形態では部品点数少なく安価な回路構成ができる。
【００５８】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば図１に示した実施の形態では画像遅延バッファ３を設けているが、要は第２の符号化回路４の目標符号量決定回路４０に記憶回路２の記憶情報が入力されるのに合わせて同じ画像データが入力されればよく、よって画像遅延バッファ３を設けずに、同じ映像信号源から同じ画像データを入力することもできる。
【００５９】
【発明の効果】
以上説明したように、本発明によれば、第１のパスで固定の量子化幅で量子化後可変長符号化した際に得られる発生符号量を、量子化幅に依存する符号量と共に、量子化幅に依存しない付加的な符号量の値も分けて記憶手段に記憶し、第２のパスで符号量を配分するときには、量子化幅に依存しない付加的な符号量の分を考慮して量子化幅の可変制御により符号量を制御することで、ピクチャ毎に適切な符号量配分を行うことができるため、局部的に符号配分量が不足したり、画面内において局部的に画質を損なうことを防止でき、結果的に高画質を達成することができる。
【００６０】
また、本発明によれば、ブロック単位の符号量配分をするときも、量子化幅に依存しない付加的な符号量の値を記憶しているので、第２のパスで符号量を配分するときには、その分を考慮した配分が可能となり、画質を大きく向上することができる。
【００６１】
更に、本発明によれば、第１のパスを構成する第１の符号化回路と、第２のパスを構成する第２の符号化回路の大部分を共用することができるため、部品点数少なく、安価に構成することができる。
【図面の簡単な説明】
【図１】本発明装置の第１の実施の形態のブロック図である。
【図２】図１中の第１の符号化回路の一例のブロック図である。
【図３】図２中の符号量カウンタの一例のブロック図である。
【図４】図２の符号化回路の情報の記憶フォーマット例を示す図である。
【図５】図１中の第２の符号化回路４の一例のブロック図
【図６】本発明装置の第２の実施の形態のブロック図である。
【図７】量子化幅を固定して量子化後可変長符号して得られた発生符号量及び目標符号量とピクチャの関係の一例を示す図である。
【図８】量子化幅を固定して量子化後可変長符号して得られた発生符号量及び目標符号量とブロックの関係の一例を示す図である。
【符号の説明】
１第１の符号化回路（第１のパス）
２記憶回路（記憶手段）
３画像遅延バッファ（遅延手段）
４第２の符号化回路（第２のパス）
１０、３０減算器
１１、３１動き補償予測回路
１２、３２離散コサイン変換（ＤＣＴ）回路
１３、３３量子化回路（第１、第２の量子化回路）
１４、３４逆量子化回路
１５、３５逆ＤＣＴ回路
１６、３６加算器
１７、３７画像メモリ
１８、３８可変長符号化（ＶＬＣ）回路（第１、第２の可変長符号化回路）
１９、３９バッファメモリ
２０、４１符号量カウンタ（第１、第２の計測手段）
４０目標符号量決定回路
４２符号量制御回路
５０減算器（信号処理部）
５１動き補償予測回路（信号処理部）
５２離散コサイン変換（ＤＣＴ）回路（信号処理部）
５３量子化回路
５４逆量子化回路（信号処理部）
５５逆ＤＣＴ回路（信号処理部）
５６加算器（信号処理部）
５７画像メモリ（信号処理部）
５８可変長符号化（ＶＬＣ）回路
５９バッファメモリ
６０１パス／２パス制御回路（切り換え手段）
６１量子化幅設定回路
６２符号量カウンタ（計測手段）
６３、６４、６５スイッチ（切り換え手段）
６６データストレージ（記憶手段）

Claims

入力画像データに対し所定の信号処理を施してから固定の量子化幅で量子化を行って得た第１のデータと、量子化を行わない付加的な情報である第２のデータとをそれぞれ可変長符号化し、
その可変長符号化時の符号化の最小単位であるブロック毎の発生符号量及び前記ブロックの所定数の集まりであるピクチャ毎の発生符号量を、前記第１のデータに関する量子化幅の大きさに依存する第１の発生符号量と、前記第２のデータに関する量子化幅の大きさに依存しない第２の発生符号量とに分けて記憶した後、
予め定められた全体目標符号量と前記記憶した第１及び第２の発生符号量とに基づいて、各前記ピクチャ毎の目標符号量と各前記ブロック毎の目標符号量とを決定し、
前記入力画像データと同じ画像データに対し所定の信号処理を施してから前記各ピクチャ毎の目標符号量に基づいた量子化幅で量子化を行って得た第３のデータと、量子化を行わない付加的な情報である第４のデータとをそれぞれ可変長符号化して符号化データを出力すると共に、
前記各ピクチャにおける先頭からｎ−１番目（先頭ブロックを１番目のブロックとしｎは２以上の整数とする）のブロックまでの前記ブロック毎の目標符号量の和と、前記各ピクチャにおける先頭からｎ−１番目のブロックまでの前記第３及び第４のデータの可変長符号化による発生符号量の和との誤差に応じて、各ピクチャにおける先頭からｎ番目のブロックに対する量子化幅を可変制御して、各ピクチャにおける前記ｎ番目のブロックの第３のデータを得るようにし、各ピクチャにおける前記第３及び第４のデータの可変長符号化による発生符号量の和を前記各ピクチャ毎の目標符号量に近付ける符号化を行う、
ことを特徴とする映像信号符号化方法。
入力画像データに対し所定の信号処理を施してから第１の量子化回路により固定の量子化幅で量子化を行って得た第１のデータと、量子化を行わない付加的な情報である第２のデータとをそれぞれ第１の可変長符号化回路により可変長符号化し、その可変長符号化時の符号化の最小単位であるブロック毎の発生符号量及び前記ブロックの所定数の集まりであるピクチャ毎の発生符号量を、前記第１のデータに関する量子化幅の大きさに依存する第１の発生符号量と、前記第２のデータに関する量子化幅の大きさに依存しない第２の発生符号量とに分けて計測する第１の計測手段を有する第１の符号化回路と、
前記第１の計測手段により計測された前記第１のデータに関する量子化幅の大きさに依存する前記ブロック毎の発生符号量と前記ピクチャ毎の発生符号量とである前記第１の発生符号量と、前記第２のデータに関する量子化幅の大きさに依存しない前記ブロック毎の発生符号量と前記ピクチャ毎の発生符号量とである前記第２の発生符号量とをそれぞれ記憶する記憶手段と、
予め定められた全体目標符号量と前記記憶手段から読み出した第１及び第２の発生符号量とに基づいて、目標符号量決定回路により各前記ピクチャ毎の目標符号量と各前記ブロック毎の目標符号量とを決定し、前記第１の符号化回路に入力された前記画像データと同じ画像データに対し所定の信号処理を施してから符号量制御回路により前記各ピクチャ毎の目標符号量に基づいた量子化幅を求め、この量子化幅で第２の量子化回路により量子化を行って得た第３のデータと、量子化を行わない付加的な情報である第４のデータとをそれぞれ第２の可変長符号化回路により可変長符号化して符号化データを出力すると共に、その可変長符号化時の発生符号量を、前記第３のデータに関する量子化幅の大きさに依存する第１の発生符号量と、前記第４のデータに関する量子化幅の大きさに依存しない第２の発生符号量とに分けて第２の計測手段により計測し、前記各ピクチャにおける先頭からｎ−１番目（先頭ブロックを１番目のブロックとしｎは２以上の整数とする）のブロックまでの前記ブロック毎の目標符号量の和と、前記各ピクチャにおける先頭からｎ−１番目のブロックまでの前記第３及び第４のデータの可変長符号化による第１及び第２の発生符号量の和との誤差を前記符号量制御回路により求め、その誤差に応じて、各ピクチャにおける先頭からｎ番目のブロックに対する前記第２の量子化回路の量子化幅を前記符号量制御回路により可変制御して、各ピクチャにおける前記ｎ番目のブロックの第３のデータを得るようにし、各ピクチャにおける前記第３及び第４のデータの可変長符号化による発生符号量の和を前記各ピクチャ毎の目標符号量に近付ける符号化を行う第２の符号化回路と、
を有することを特徴とする映像信号符号化装置。