JPH0918873A - 画像符号化方法、画像符号化装置及び画像記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像の複雑さに応じた最適の符号化レートで
符号化を行い、しかも、人間の視覚特性が反映された、
特に画像の明暗に応じた符号化を行う。 【解決手段】 第１の符号化回路１０は、入力画像信号
に予測符号化、ＤＣＴ変換、量子化及び可変長符号化処
理を施す。輝度信号の平均値計算回路６０は、入力映像
信号の輝度信号の所定時間毎の平均値を求め、符号化制
御回路３０に送る。符号化制御回路３０は、第１の符号
化回路１０の符号化データの所定時間毎の発生符号量
と、画像解析回路６０からの画像特性情報と、使用可能
なデータ総量とに基づいて所定時間毎の符号化レートを
求める。第２の符号化回路４０は、この求められた符号
化レートに基づいて所定時間毎に入力映像信号を符号化
して、第２の符号化データを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化方法、
画像符号化装置及び画像記録媒体に関し、特に、光ディ
スク、磁気ディスク、磁気テープ等の画像記録媒体に動
画の映像信号を蓄積用符号化して記録するシステムや、
伝送路を介して動画の映像信号を伝送するシステム等に
おいて使用される画像符号化方法、画像符号化装置及び
画像記録媒体に関するものである。

【０００２】

【従来の技術】従来、例えばテレビ会議システム、テレ
ビ電話システム等のように動画の映像信号を遠隔地に伝
送するシステムや、動画の映像信号を光ディスク、磁気
ディスク、磁気テープ等の画像記録媒体に記録し、また
記録された動画の映像信号を再生するシステム等におい
て、伝送路（あるいは画像記録媒体）を効率良く利用す
るために、映像信号の有するライン相関やフレーム相関
を利用して映像信号を所謂高能率符号化し、空間軸方向
と時間軸方向の冗長度を落として有意情報のみを伝送
し、伝送効率を高めるようになされている。

【０００３】例えば空間軸方向の符号化処理（以下フレ
ーム内符号化処理という）では、映像信号の例えばライ
ン相関を利用するもので、図８のＡに示す時刻ｔ₁ 、ｔ
₂ 、ｔ₃ 、・・・において動画を構成する各画像ＰＣ
１、ＰＣ２、ＰＣ３・・・を伝送しようとする場合、伝
送処理すべき画像データを、例えば同一走査線内で１次
元符号化したり、例えば画像を複数のブロックに分割
し、各ブロックの画像データを２次元符号化することに
より、データ圧縮を行い、伝送効率を向上させている。

【０００４】また、時間軸方向の符号化処理（以下フレ
ーム間符号化処理という）では、映像信号のフレーム間
相関を利用して例えば所謂予測符号化により、すなわち
図８のＢに示すように、順次隣合う画像ＰＣ１及びＰＣ
２、ＰＣ２及びＰＣ３・・・間の対応する画素毎の画像
データの差分（所謂予測誤差）でなる画像データＰＣ１
２、ＰＣ２３・・・を求め、これらの画像データＰＣ１
２、ＰＣ２３・・・を伝送することにより、データ圧縮
を行い、伝送効率を向上させている。

【０００５】かくして、画像ＰＣ１、ＰＣ２、ＰＣ３・
・・の全ての画像データを伝送する場合と比較して、格
段に少ないデータ量で映像信号を伝送することができ
る。

【０００６】また、上述のフレーム間符号化処理におけ
る予測符号化では、さらに効率を高めるために、例えば
マクロブロック単位で動き補償予測が用いられる。すな
わち、例えば画面中央の人物が移動する場合等、画面中
の動いている物体に対してその動きを検出し、その動き
分だけ前の画像中で予測に用いる画像データの位置を補
正して予測符号化を行うことにより、符号化効率を向上
させることができる。しかし、これでもまだ、物体が移
動して後ろから出現した部分に対しては、多くのデータ
を送らなけらばならない。そこで、動き補償予測を上述
の前方だけではなく、後方あるいは両者を組み合わせて
行うことにより、さらに符号化効率を高めることができ
る。

【０００７】具体的には、図９のＡに示すように、伝送
しようとする動画の映像信号ＶＤの第０、第１、第２、
第３・・・番目のフレームのフレームデータＦ０、Ｆ
１、Ｆ２、Ｆ３・・・のマクロブロックにおいて、順次
フレーム間に動きベクトルＸ０、Ｘ１、Ｘ２、Ｘ３・・
・でそれぞれ表わされるような画像の変化があった場
合、送信側の装置は、所定フレーム数（例えば１フレー
ム）置きの、すなわち第２、第４・・・番目のフレーム
を補間フレームに指定し、これらの補間フレームに対し
て、図９のＢに示すように、所定の補間フレーム処理に
より伝送補間フレームデータＦ２Ｘ、Ｆ４Ｘ・・・を生
成する。また、残りの非補間フレームに対して、フレー
ムデータＦ１、Ｆ３・・・に所定の符号化処理を施し
て、伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ・・・を
生成する。

【０００８】例えば、動き補償されたフレームデータＦ
３とフレームデータＦ２の差分ＳＰ２（予測誤差）、動
き補償されたフレームデータＦ１とフレームデータＦ２
の差分ＳＰ３、動き補償されたフレームデータＦ１、Ｆ
３を補間処理して得られるフレームデータとフレームデ
ータＦ２の差分ＳＰ４をマクロブロック単位でそれぞれ
求め、フレームデータＦ２のマクロブロックＳＰ１とこ
れらの差分の比較を行う。そして、これらのデータＳＰ
１〜ＳＰ４のうちでデータ発生量が最小のデータをマク
ロブロック単位で伝送補間データＦ２Ｘとし、以下同様
して各補間フレームに対する伝送補間データＦ４Ｘ・・
・を生成する。また、非補間フレームのフレームデータ
Ｆ１、Ｆ３・・・にそれぞれ、例えばＤＣＴ変換処理、
可変長符号化処理等を施して伝送非補間フレームデータ
Ｆ１Ｘ、Ｆ３Ｘ・・・を生成する。

【０００９】そして、これらの伝送非補間フレームデー
タＦ１Ｘ、Ｆ３Ｘ・・・及び伝送補間データＦ２Ｘ、Ｆ
４Ｘ・・・を、動きベクトルＸ０, Ｘ１, Ｘ３・・・の
データと共に、伝送データDATAとして受信側の装置に伝
送する。

【００１０】一方、受信側の装置は、送られてくる伝送
データDATA（伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ
・・・、伝送補間データＦ２Ｘ、Ｆ４Ｘ・・・、動きベ
クトルＸ０, Ｘ１, Ｘ３・・・のデータ）に、送信側の
符号化処理に対応した復号化処理を施して、フレームデ
ータＦ０、Ｆ１、Ｆ２、Ｆ３・・・を再生する。この結
果、動き補償予測を前方だけではなく、後方あるいは両
者を組み合わせて行うことにより、さらに符号化効率を
高めることができる。

【００１１】ここで、上述の機能を有する画像符号化装
置と画像復号化装置について、図１０７を参照しながら
説明する。

【００１２】この図１０に示す画像符号化装置７０は、
入力映像信号ＶＤを輝度信号と色差信号に分離する前処
理回路７１と、該前処理回路７１からの輝度信号、色差
信号をそれぞれディジタル信号に変換するアナログ／デ
ィジタル（以下Ａ／Ｄという）変換回路７２ａ、７２ｂ
と、該Ａ／Ｄ変換回路７２ａ、７２ｂからの輝度デー
タ、色差データ（以下これらを画像データという）を記
憶するフレームメモリ群７３と、フレームメモリ群７３
から画像データをブロックフォーマットに従って読み出
すフォーマット変換回路７４と、フォーマット変換回路
７４からのブロックの画像データを高能率符号化するエ
ンコーダ７５とを備える。

【００１３】そして、前処理回路７１は、入力映像信号
ＶＤを輝度信号と色差信号に分離し、Ａ／Ｄ変換回路７
２ａ、７２ｂは、輝度信号、色差信号をそれぞれ８ビツ
トからなる輝度データ、色差データに変換し、フレーム
メモリ群７３は、これらの輝度データ、色差データを記
憶する。

【００１４】フォーマット変換回路７４は、フレームメ
モリ群７３に記憶されている画像データ（輝度データ、
色差データ）を、ブロックフォーマットに従って読み出
し、エンコーダ７５は、この読みだされた画像データを
所定の高能率符号化により符号化して、ビットストリー
ムを出力する。

【００１５】そして、このビットストリームは、伝送路
や、光ディスク、磁気ディスク、磁気テープ等の画像記
録媒体からなる伝送メディア９０を介して、画像復号化
装置８０に供給される。

【００１６】この画像復号化装置８０は、上述の図１０
に示すように、上記エンコーダ７５に対応したデコーダ
８１と、該デコーダ８１で再生された画像データを、フ
レームフォーマットに変換するフォーマット変換回路８
２と、該フォーマット変換回路８２からの画像データを
記憶するフレームメモリ群８３と、該フレームメモリ群
８３から読み出された輝度データ、色差データをアナロ
グ信号に変換するＤ／Ａ変換回路８４ａ、８４ｂと、該
Ｄ／Ａ変換回路８４ａ、８４ｂからの輝度信号、色差信
号を混合して出力映像信号を生成する後処理回路８５と
を備える。

【００１７】そして、デコーダ８１は、エンコーダ７５
の高能率符号化に対応した復号化によりビットストリー
ムを復号化して、ブロックフォーマットの画像データを
再生し、フォーマット変換回路８２は、この画像データ
をフレームフォーマットに変換してフレームメモリ群８
３に記憶する。

【００１８】Ｄ／Ａ変換回路８４ａ、８４ｂは、フレー
ムメモリ群８３から読み出された輝度データ、色差デー
タをそれぞれ輝度信号、色差信号に変換し、後処理回路
８１は、これらの輝度信号、色差信号を混合して出力映
像信号を生成する。

【００１９】具体的には、前処理回路７１及びＡ／Ｄ変
換回路７２ａ、７２ｂは、上述したように輝度信号及び
色差信号をディジタル信号に変換すると共に、色差信号
に対しては上下左右方向に画素数が輝度信号の１／２と
なるようにデータ量を削減した後、時間軸多重化し、得
られる輝度データと色差データをフレームメモリ群７３
に供給する。

【００２０】そして、フレームメモリ群７３からは、上
述したようにブロックフォーマットに従って輝度データ
と色差データが読み出される。すなわち、例えば１フレ
ーム分の画像データは、図１１のＡに示すように、Ｎ個
のスライスに分割され、各スライスが、図１１のＢに示
すように、Ｍ個のマクロブロックを含むようになされ、
各マクロブロックは、図１１のＣに示すように、８×８
画素からなるブロック単位であって上下左右に隣接する
４つの輝度ブロックの輝度データＹ[1] 、Ｙ[2] 、Ｙ
[3] 、Ｙ[4] と、これらの４つの輝度ブロックに対応す
る範囲の８×８画素からなる色差ブロックの色差データ
Ｃb[5]、Ｃr[6]とを含んでなる。そして、フレームメモ
リ群７３からは、スライスではマクロブロツク単位で画
像データが連続し、マクロブロツク内ではＹ[1],Ｙ[2],
Ｙ[3],Ｙ[4],Ｃb[5],Ｃr[6] の順に連続するように輝度
データと色差データが読み出される。このようにしてブ
ロックフォーマットに従って読み出された画像データ
は、エンコーダ７５に供給される。

【００２１】エンコーダ７５は、図１２に示すように、
動きベクトル検出回路１０１を備え、この動きベクトル
検出回路１０１は、ブロックフォーマットで供給される
画像データの動きベクトルをマクロブロック単位で検出
する。すなわち、動きベクトル検出回路１０１は、フレ
ームメモリ群１０２に記憶された前方原画像及び／又は
後方原画像を用いて、現在の参照画像の動きベクトルを
マクロブロック単位で検出する。ここで、動きベクトル
の検出は、マクロブロック単位でのフレーム間差分の絶
対値和が最小になるものを、その動きベクトルとする。
そして、検出された動きベクトルは動き補償回路１１３
等に供給され、マクロブロック単位でのフレーム間差分
の絶対値和はフレーム内／前方／後方／両方向予測判定
回路１０３に供給される。

【００２２】このフレーム内／前方／後方／両方向予測
判定回路１０３は、この値をもとに、参照ブロックの予
測モードを決定し、決定した予測モードに基づいて、マ
クロブロック単位でフレーム内／前方／後方／両方向予
測の切り換えを行うように予測符号化回路１０４を制御
する。そして、予測符号化回路１０４は、加算回路１０
４ａ、１０４ｂ、１０４ｃ及び切換スイッチ１０４ｄを
備え、フレーム内符号化モードのときは入力画像データ
そのものを、前方／後方／両方向予測モードのときはそ
れぞれの予測画像に対する入力画像データの画素毎の差
分（以下差分データという）を選択し、選択したデータ
をＤＣＴ回路１０５に供給する。

【００２３】ＤＣＴ回路１０５は、映像信号の２次元相
関を利用して、入力画像データ又は差分データをブロツ
ク単位でＤＣＴ変換し、得られる係数データを量子化回
路１０６に供給する。

【００２４】量子化回路１０６は、マクロブロック又は
スライス毎に定まる量子化ステップサイズ（量子化スケ
ール）を用いて係数データを量子化し、得られる量子化
データを可変長符号化（ＶＬＣ：Variable Length Cod
e）回路１０７及び逆量子化回路１０８に供給する。と
ころで、この量子化に用いる量子化ステップサイズは、
後述する送信バッファメモリ１０９のバッファ残量をフ
ィードバックすることによって、送信バッファメモリ１
０９が破綻しない値に決定され、この量子化ステップサ
イズも、可変長符号化回路１０７及び逆量子化回路１０
８に供給される。

【００２５】可変長符号化回路１０７は、量子化データ
を、量子化ステップサイズ、予測モード、動きベクトル
と共に可変長符号化し、伝送データとして送信バッファ
メモリ１０９に供給する。

【００２６】送信バッファメモリ１０９は、伝送データ
を一旦記憶した後、一定のビットレートで読み出すこと
により、伝送データを平滑化してビットストリームとし
て出力すると共に、メモリに残留している残留データ量
に応じてマクロブロック単位の量子化制御信号を量子化
回路１０６にフィードバックして量子化ステップサイズ
を制御する。これにより送信バッファメモリ１０９は、
ビットストリームとして発生されるデータ量を調整し、
メモリ内に適正な残量（オーバーフロー又はアンダーフ
ローを生じさせないようなデータ量）のデータを維持す
る。例えば、送信バッファメモリ１０９のデータ残量が
許容上限にまで増量すると、送信バッファメモリ１０９
は、量子化制御信号によつて量子化回路１０６の量子化
ステップサイズを大きくすることにより、量子化データ
のデータ量を低下させる。一方、送信バッファメモリ１
０９のデータ残量が許容下限まで減量すると、送信バッ
ファメモリ１０９は、量子化制御信号によつて量子化回
路１０６の量子化ステップサイズを小さくすることによ
り、量子化データのデータ量を増大させる。

【００２７】このようにして、バッファメモリ１０９か
ら出力されるビットストリームは一定のビットレート
で、上述したように伝送路や、光ディスク、磁気ディス
ク、磁気テープ等の画像記録媒体からなる伝送メディア
９０を介して、画像復号化装置８０に供給される。

【００２８】一方、逆量子化回路１０８は、量子化回路
１０６から供給される量子化データを逆量子化して、上
述のＤＣＴ回路１０５の出力に対応する係数データ（量
子化歪みが加算されている）を再生し、この係数データ
を逆離散余弦変換（以下ＩＤＣＴ：Inverse Discrete C
osine Trasformという）回路１１０に供給する。

【００２９】ＩＤＣＴ回路１１０は、係数データをＩＤ
ＣＴ変換して、フレーム内符号化モードでは入力画像デ
ータに対応する画像データを再生し、前方／後方／両方
向予測モードでは予測符号化回路１０４の出力に対応す
る差分データを再生して、加算回路１１１に供給する。

【００３０】この加算回路１１１には、前方／後方／両
方向予測モードのとき、後述する動き補償回路１１３か
ら動き補償された予測画像データが供給されており、こ
の動き補償された予測画像データと差分データを加算す
ることにより、入力画像データに対応する画像データを
再生する。

【００３１】そして、このようにして再生された画像デ
ータは、フレームメモリ１１２に記憶される。すなわ
ち、逆量子化回路１０８〜加算回路１１１は、局所復号
化回路を構成し、予測モードに基づいて、量子化回路１
０６から出力される量子化データを局所復号化し、得ら
れる復号画像を前方予測画像もしくは後方予測画像とし
てフレームメモリ１１２に書き込む。フレームメモリ１
１２は、複数のフレームメモリからなり、フレームメモ
リのバンク切り換えが行われ、符号化する画像に応じ
て、単一のフレームが、前方予測画像データとして出力
されたり、後方予測画像データとして出力される。ま
た、両方向予測の場合は、前方予測画像データと後方予
測画像データが例えば平均化されて出力される。これら
の予測画像データは、後述するデコーダ８１で再生され
る画像と全く同一の画像であり、次の処理画像はこの予
測画像をもとに前方／後方／両方向予測符号化が行われ
る。

【００３２】すなわち、フレームメモリ１１２から読み
出された画像データは動き補償回路１１３に供給され、
この動き補償回路１１３は、動きベクトルに基づいて、
予測画像データに動き補償を施し、動き補償された予測
画像データを予測符号化回路１０４及び加算回路１１１
に供給する。

【００３３】次に、デコーダ８１について図１３を参照
しながら説明する。

【００３４】この図１３に示すデコーダ８１には、上記
図１０の伝送メディア９０を介してビットストリームが
入力される。このビットストリームは、受信バッファ２
０１を介して可変長復号化（ＩＶＬＣ）回路２０２に入
力される。可変長復号化回路２０２は、ビットストリー
ムから量子化データ、動きベクトル、予測モード、量子
化ステップサイズ等を再生する。これらの量子化データ
と量子化ステップサイズは逆量子化回路２０３に供給さ
れ、動きベクトルは動き補償回路２０７に供給され、予
測モードは加算回路２０５に供給される。

【００３５】逆量子化回路２０３〜加算回路２０５の動
作は、上記図１１に示すエンコーダ７５の局所復号化回
路と同様であり、フレームメモリ群２０６、動き補償回
路２０７の動作はそれぞれエンコーダ７５のフレームメ
モリ１１２、動き補償回路１１３と同じであり、量子化
データ、動きベクトル、予測モード、量子化ステップサ
イズをもとに復号化が行われる。この結果、加算回路２
０５から再生画像データが出力され、この再生画像デー
タは、上記図１０のフォーマット変換回路８２に送られ
る。

【００３６】

【発明が解決しようとする課題】以上のように、従来の
装置では、エンコーダ７５で発生するビットストリーム
の符号化ビットレートは伝送メディア９０の転送レート
にあわせて一定とされ、この制限のもとでデータ発生
量、すなわちエンコーダ７５における量子化回路１０６
の量子化ステップサイズが制御されていた。換言する
と、例えば絵柄が複雑な画像が連続するときは、量子化
ステップサイズを大きくしてデータ発生量を抑圧し、逆
に単純な絵柄が連続するときは、量子化ステップサイズ
を小さくしてデータ発生量を増加させることにより、バ
ッファメモリ１０９のオーバーフロー又はアンダーフロ
ーを生じさせないようにして固定レートを保持するよう
になっていた。

【００３７】したがって、従来の装置では複雑な画像が
連続するときは、量子化ステップサイズが大きくされ、
画質が劣化し、単純な画像が連続するときは、量子化ス
テップサイズが小さくされ、全体を通じて均等な画質を
得ることができなかった。

【００３８】また、ビットストリームをデータ容量が限
られている画像記録媒体に記録する場合、絵柄が複雑な
画像に対する極端な画質劣化を避けるためには、この複
雑な画像の画質を損なわないような高いレートの固定レ
ートを全体に対して適用しなければならず、記録時間を
減少させる結果となっていた。

【００３９】さらに、単に画像の複雑さが同じ場合で
も、絵柄によって符号化画質の主観的印象が悪い場合が
ある。これは、人間の視覚特性によるものであり、例え
ば画像の暗い部分で、符号化ノイズ、例えばブロックノ
イズやモスキートノイズ等が目立つ、という問題があ
る。

【００４０】本発明は、このような実情に鑑みてなされ
たものであり、全体を通じて均等で良好な画質を得るこ
とができ、また長時間記録を可能にし、さらに、人間の
視覚特性を反映して符号化ノイズを目立たせないように
符号化することが可能な画像符号化方法、画像符号化装
置及び画像記録媒体を提供することを目的とする。

【００４１】

【課題を解決するための手段】本発明によれば、上述の
課題を解決するために、入力映像信号の少なくとも一部
を符号化して第１の符号化データを生成し、この第１の
符号化データの所定時間毎のデータ量あるいは割当符号
量ｙと、入力映像信号の輝度信号の所定時間毎の平均値
Ｌと、使用可能なデータ総量Ｂとに基づいて所定時間毎
の符号化レートを求め、この符号化レートに基づいて所
定時間毎に入力映像信号を符号化して第２の符号化デー
タを生成することを特徴としている。

【００４２】これにより、画像の複雑さに応じた所定時
間毎のデータ量に基づく符号化レートで符号化が行え、
しかも、人間の視覚特性が反映された符号化が行える。

【００４３】

【発明の実施の形態】以下、本発明に係る画像符号化方
法、画像符号化装置及び画像記録媒体の好ましい実施の
形態について図面を参照しながら説明する。

【００４４】本発明の実施の形態を適用した画像符号化
装置は、例えば図１に示すように、入力映像信号を符号
化して第１の符号化データを生成する第１の符号化回路
１０と、入力映像信号の輝度信号の平均値を計算する平
均値計算回路６０と、該第１の符号化回路１０からの第
１の符号化データの所定時間毎のデータ量、及び該平均
値計算回路６０からのデータ、及び使用可能なデータ総
量に基づいて上記所定時間毎の符号化レートを求める符
号化制御回路３０と、該符号化制御回路３０からの符号
化レートに基づいて上記所定時間毎に上記入力映像信号
を符号化して第２の符号化データを生成する第２の符号
化回路４０とを備える。

【００４５】上記輝度信号の平均値計算回路６０では、
入力されるマクロブロックの輝度信号値の所定時間毎の
平均値Ｌを計算する。各マクロブロックは、前記図１１
のＣに示したように、８×８画素からなるブロック単位
であって上下左右に隣接する４つの輝度ブロックの輝度
データＹ１、Ｙ２、Ｙ３、Ｙ４と、これらの４つの輝度
ブロックに対応する範囲の８×８画素からなる色差ブロ
ックの色差データＣｂ、Ｃｒとを含んでなる。計算回路
６０では、マクロブロック毎に、輝度ブロックＹ１、Ｙ
２、Ｙ３、Ｙ４をつくる２５６画素（８×８画素×４ブ
ロック）の平均値を計算し、そしてマクロブロック毎の
平均値を累積加算し、所定時間毎、例えばピクチャでの
平均値Ｌを計算する。この輝度信号の平均値Ｌは、その
ピクチャの明るさを代表する指標である。画素の輝度値
が８ビット精度である場合、平均値Ｌは０から２５５の
範囲である。

【００４６】さらに、上記第１の符号化回路１０は、図
１に示すように、入力映像信号である入力画像データを
記憶するフレームメモリ群１２と、該フレームメモリ群
１２に記憶された画像データに基づいて、入力画像デー
タの動きベクトルを検出する動きベクトル検出回路１１
と、予測画像データを記憶するフレームメモリ２２と、
上記動きベクトル検出回路１１からの動きベクトルに基
づいて、上記フレームメモリ２２から読み出された予測
画像データに動き補償を施する動き補償回路２３と、該
動き補償回路２３からの動き補償された予測画像データ
に基づいて、入力画像データを予測符号する予測符号化
回路１４と、該予測符号化回路１４からの予測誤差であ
る差分等を符号化、例えば離散余弦変換（以下ＤＣＴ：
DiscreteCosine Transform という）して係数データを
生成するＤＣＴ回路１５と、該ＤＣＴ回路１５からの係
数データを一定の量子化ステップサイズで量子化して、
量子化データを生成する量子化回路１６と、該量子化回
路１６からの量子化データを可変長符号化して、可変長
符号データを出力する可変長符号化（ＶＬＣ：Variable
Length Code）回路１７と、上記量子化回路１６からの
量子化データを逆量子化して係数データを再生する逆量
子化回路１８と、該逆量子化回路１８からの係数データ
を復号化、例えば逆離散余弦変換（以下ＩＤＣＴ：Inve
rse DiscreteCosine Trasformという）して上記差分を
再生するＩＤＣＴ回路２０と、該ＩＤＣＴ回路２０から
の差分と上記動き補償回路２３からの動き補償された予
測画像データを加算して次の入力画像データに対する予
測画像データを生成し、該予測画像データを上記フレー
ムメモリ２２に供給する加算回路２１とを備える。

【００４７】また、上記第２の符号化回路４０は、上述
の図１に示すように、入力画像データを遅延する遅延器
４３と、予測画像データを記憶するフレームメモリ５２
と、上記動きベクトル検出回路１１からの動きベクトル
に基づいて上記フレームメモリ５２から読み出された予
測画像データに動き補償を施す動き補償回路５３と、該
動き補償回路５３からの動き補償された予測画像データ
に基づいて、上記遅延器４３で遅延された入力画像デー
タを予測符号化する予測符号化回路４４と、該予測符号
化回路４４からの差分等を符号化、例えばＤＣＴ変換し
て係数データを生成するＤＣＴ回路４５と、上記符号化
制御回路３０からの符号化レートに基づいて量子化ステ
ップサイズを設定する量子化スケール設定回路３３と、
上記ＤＣＴ回路４５からの係数データを上記量子化スケ
ール設定回路３３からの量子化ステップサイズで量子化
して、量子化データを生成する量子化回路４６と、該量
子化回路４６からの量子化データを可変長符号化して、
可変長符号データを出力する可変長符号化回路４７と、
該可変長符号化回路４７からの可変長符号データを一旦
記憶し、一定のビットレートで出力する送信バッファメ
モリ４９と、上記量子化回路４６からの量子化データを
逆量子化して係数データを再生する逆量子化回路４８
と、該逆量子化回路４８からの係数データを復号化、例
えばＩＤＣＴ変換して上記差分を再生するＩＤＣＴ回路
５０と、該ＩＤＣＴ回路５０からの差分と上記動き補償
回路５３からの動き補償された予測画像データを加算し
て次の入力画像データに対する予測画像データを生成
し、該予測画像データを上記フレームメモリ５２に供給
する加算回路５１とを備える。

【００４８】この画像符号化装置では、第１の符号化回
路１０により、入力画像データの１シーケンスに対して
符号化処理、例えば予測符号化処理、ＤＣＴ変換処理、
一定の量子化ステップサイズでの量子化処理、可変長符
号化処理を施し、符号化制御回路３０により、得られる
第１のビットストリームである可変長符号データの所定
時間毎のデータ量と、輝度信号の平均値計算回路６０に
より、入力映像信号の輝度信号Ｙの所定時間毎の平均値
Ｌと、例えば光ディスク、磁気ディスク、磁気テープ等
からなる画像記録媒体５５のデータ容量、あるいは伝送
路のビットレート（転送レート）等により定まる使用可
能なデータ総量とに基づいて所定時間毎の符号化ビット
レートを求めた後、第２の符号化回路４０により、入力
画像データに再び予測符号化処理、ＤＣＴ変換処理、量
子化処理、可変長符号化処理を施して、第２のビットス
トリームである可変長符号データを生成する際に、符号
化ビットレートに基づいた量子化ステップサイズで量子
化するようにしている。

【００４９】ここで、この実施の形態の画像符号化装置
を構成する第１の符号化回路１０の動作の具体例につい
て、図２のフローチャートを参照しながら説明する。

【００５０】すなわち、図２に示すフローチャートのス
テップＳＴ１において、第１の符号化回路１０の量子化
回路１６は、量子化ステップサイズを固定値にして、Ｄ
ＣＴ回路１５から供給される係数データを量子化して、
量子化データを生成し、符号化制御回路３０のカウンタ
３１は、この量子化データを可変長符号化して得られる
可変長符号データ（第１のビットストリーム）のデータ
量を所定時間、例えばピクチャ毎に計数して、発生符号
量をピクチャ毎に求める。

【００５１】次のステップＳＴ２において、上記ビット
レート演算回路３２は、上記ピクチャ毎の発生符号量
と、ピクチャ毎の輝度信号の平均値Ｌと、使用可能なデ
ータ総量Ｂに基づいて、ピクチャ毎に割当符号量を求め
る。

【００５２】ステップＳＴ３において、第２の符号化回
路４０の量子化回路４６は、割当符号量に基づいた量子
化ステップサイズにより、ＤＣＴ回路４５から供給され
る係数データを量子化して、量子化データを生成するよ
うになっている。

【００５３】このような第１の符号化回路１０の動作に
ついて、図１を参照しながらより具体的に説明する。

【００５４】入力された画像データは、フレームメモリ
群１２に一旦記憶される。そして、フレームメモリ群１
２からは、従来の技術で述べたようにブロックフォーマ
ットに従って読み出される。

【００５５】動きベクトル検出回路１１は、フレームメ
モリ群１２から必要な画像データを上述のマクロブロッ
ク単位で読みだし、動きベクトルを検出する。すなわ
ち、動きベクトル検出回路１１は、フレームメモリ群１
２に記憶されている前方原画像及び／又は後方原画像を
用いて、現在の参照画像の動きベクトルをマクロブロッ
ク単位で検出する。ここで、動きベクトルの検出は、例
えばマクロブロック単位でのフレーム間差分の絶対値和
が最小になるものを、その動きベクトルとする。そし
て、検出された動きベクトルは動き補償回路２３、５３
等に供給され、マクロブロック単位でのフレーム間差分
の絶対値和はフレーム内／前方／後方／両方向予測判定
回路１３に供給される。

【００５６】フレーム内／前方／後方／両方向予測判定
回路１３は、この値をもとに、参照ブロックの予測モー
ドを決定し、決定した予測モードに基づいて、ブロック
単位でフレーム内／前方／後方／両方向予測の切り換え
を行うように予測符号化回路１４を制御する。

【００５７】予測符号化回路１４は、上述の図１に示す
ように、加算回路１４ａ、１４ｂ、１４ｃ及び切換スイ
ッチ１４ｄを備え、フレーム内符号化モードのときは入
力画像データそのものを、前方／後方／両方向予測モー
ドのときはそれぞれの予測画像に対する入力画像データ
の画素毎の差分（以下差分データという）を選択し、選
択したデータをＤＣＴ回路１５に供給する。

【００５８】ＤＣＴ回路１５は、映像信号の２次元相関
を利用して、切換スイッチ１４ｄから供給される入力画
像データ又は差分データをブロツク単位でＤＣＴ変換
し、得られる係数データを量子化回路１６に供給する。

【００５９】量子化回路１６は、量子化ステップサイズ
を固定値、例えば１にして、ＤＣＴ回路１５から供給さ
れる係数データを量子化し、得られる量子化データを可
変長符号化回路１７及び逆量子化回路１８に供給する。

【００６０】可変長符号化回路１７は、量子化データ
を、量子化ステップサイズ、予測モード、動きベクトル
等と共に可変長符号化し、得られる可変長符号データを
第１のビットストリームとして符号化制御回路３０に供
給する。

【００６１】符号化制御回路３０は、上述の図１に示す
ように、上記可変長符号化回路１７から可変長符号デー
タの所定時間毎のデータ量を計数するカウンタ３１と、
該カウンタ３１からのデータ量及び使用可能なデータ総
量に基づいて所定時間当たりの割当符号量を求めるビッ
トレート演算回路３２とを備える。そして、カウンタ３
１は、第１のビットストリームのデータ量を所定時間
毎、例えばマクロブロック毎に計数して、発生符号量を
マクロブロック毎に求め、この発生符号量をビットレー
ト演算回路３２に供給する。

【００６２】ビットレート演算回路３２は、このピクチ
ャ毎の発生符号量と、ピクチャの輝度信号Ｙの平均値Ｌ
と、使用可能なデータ総量に基づいて、そのピクチャの
割当符号量すなわちピクチャ時間毎の平均符号化レート
を求めると共に、この割当符号量を第２の符号化回路４
０の量子化スケール設定回路３３に供給する。

【００６３】具体的には、ビットレート演算回路３２
は、入力動画像シーケンスの全ピクチャ数をＮとし、使
用可能なデータ総量をＢとし、ｉ（ｉ＝０、１、２・・
・Ｎ−１）番目のピクチャにおいて量子化ステップサイ
ズを固定とした時のｉ番目のピクチャの発生符号量をｙ
i とし、ｉ番目のピクチャの輝度信号の平均値をＬｉと
し、下記の式１に示すように、関数ｆ₁ の特性から係数
αを求め、下記の式２に示すように、それらとｙｉの積
により、符号化の難易度（difficulty）ｄｉを求めてい
る。

【００６４】 α ＝ ｆ₁（Ｌｉ，ｙｉ） ・・・式１ ｄｉ ＝ α×ｙｉ ・・・式２ ここで係数αは、符号化画像の画質の主観的印象を符号
化難易度ｄｉへ反映するものである。実験により経験的
に、画像符号化による画質劣化の見え方は、画像の明る
さと関係があり、暗い画像では、符号化ノイズ（ブロッ
クノイズ、モスキートノイズ）を知覚しやすいことがわ
かった。

【００６５】図３に、動画像シーケンスにおけるｙｉと
Ｌｉの時間変化の例を示す。図に示すように、発生符号
量ｙｉが同じ値であっても、画像の明るさＬｉは同じ値
とは限らない。なぜならば、発生符号量ｙｉは、画像の
絵柄の複雑さに関係するものであり、大部分がＤＣＴ係
数の交流（ＡＣ）係数のエネルギー量が反映されるもの
であるからである。画像の明るさＬｉは、ＤＣＴ係数の
直流（ＤＣ）係数が反映されるが、その符号量は交流係
数の符号量に比べ、非常に小さい。そのため、ｙｉに
は、画質の主観的印象と関係がある画像の明るさが十分
に反映されていない。したがって、ｙｉだけでなく、Ｌ
ｉを用いることによって、より画質の主観的印象を考え
た符号化難易度ｄｉを計算できる。

【００６６】上記式１に示すように、関数ｆ₁ は、量子
化ステップサイズを固定とした時の発生符号量ｙｉとピ
クチャの輝度信号平均値Ｌｉを引数とする関数である。

【００６７】ここで、図４、図５に、上記関数ｆ₁ の具
体的な特性の一例を示す。これらの図４、図５におい
て、縦軸はいずれも係数αをとっており、横軸は、図４
では輝度信号Ｙの平均値Ｌをとり、図５では発生符号量
ｙをとっている。この特性は、実験により経験的にわか
った以下の結果により作られたものである。

【００６８】すなわち、一般に、人間の目は、暗い画像
では、符号化ノイズをわかりやすい。ただし、あるレベ
ル以下の暗さでは、暗すぎて符号化ノイズを知覚できな
くなる。また、比較的明るい画像では、符号化ノイズが
知覚されにくいことがわかった。すなわち、輝度信号平
均値が、あるレベル範囲の暗さをもつ画像について、符
号化ノイズが最も知覚されやすいことがわかった。

【００６９】さらに、絵柄の複雑度が比較的小さいピク
チャであり、かつピクチャの輝度信号平均値Ｌが上記レ
ベル範囲にある暗いピクチャの場合、特に符号化ノイズ
が知覚されやすいことがわかった。上述したように絵柄
の複雑度は、量子化ステップサイズを固定とした時の発
生符号量ｙと関係する。具体的に、符号化ノイズが知覚
されやすいｙの範囲としては、その画像シーケンスにお
けるｙの平均値より小さい場合である。

【００７０】図６は、映画等の動画像シーケンスにおけ
る上記符号発生量ｙの分布図の一例を示している。ここ
で、ｙavは、動画像シーケンスにおけるｙの平均値であ
る。上述した符号化ノイズが知覚されやすいｙの範囲と
は、だいたいＸ₁〜Ｘ₂の範囲である。

【００７１】次に、上記図４、図５に示す関数ｆ１の特
性を説明する。ここで、明るさＬの軸は、Ｌ＝０が黒で
あり、Ｌ＝２５５が最も明るい値である。Ｌ＝１２８は
グレーレベルである。

【００７２】（１）発生符号量ｙが比較的小さいＸ₁≦
ｙ≦Ｘ₂の範囲（図６参照）にある絵柄の複雑度が比較
的小さいピクチャであり、かつＬがＺ₁≦Ｌ≦Ｚ₂の範囲
にある暗いピクチャの場合、α＞１であり、Ｘ₁≦ｙ≦
Ｘ₂，Ｚ₁≦Ｌ≦Ｚ₂の範囲の中でαはピークをもつ特性
とする。これは、図４の実線に対応する。 （２）ｙに関係なく、Ｌ＞Ｚ₂ である比較的明るいピク
チャの場合は、α＜１であり、Ｌが大きい程、αが小さ
くなる特性とする。これは、図４の破線に対応する。 （３）上記（１），（２）以外の場合には、α＝１であ
る。これにあてはまる場合は、次の３つの場合である。
第１に、ｙに関係なく、Ｌ＜Ｚ₁ の場合であり、これ
は、ほとんど黒のピクチャである。第２に、Ｌ＜Ｚ₂か
つｙ＜Ｘ₁の場合であり、これは、暗い画像であるが絵
柄がほとんど平坦なピクチャである。第３に、Ｌ＜Ｚ₂
かつｙ＞Ｘ₂の場合であり、暗い画像であるが絵柄が比
較的複雑なピクチャである。これは、図４の一点鎖線に
対応する。

【００７３】なお、図４、図５において、特性の特徴点
を明瞭にするために、図４では、発生符号量ｙがほぼ
（Ｘ₁−Ｘ₂）／２のときの輝度信号の平均値Ｌに対する
係数αを示し、また図５では、輝度信号の平均値Ｌがほ
ぼ（Ｚ₁−Ｚ₂）／２のときの発生符号量ｙに対する係数
αを示している。

【００７４】このように求めた係数αを、上記式２に示
すように発生符号量ｙi と積算し、符号化の難易度（di
fficulty）ｄｉとする。式２からわかるように、α＞１
の場合、符号化難易度ｄｉを増大させ、逆にα＜１の場
合、符号化難易度ｄｉを減少させる効果がある。

【００７５】なお、ピクチャの輝度信号の平均値Ｌｉの
計算方法は、１ピクチャでの全てのマクロブロックの平
均値としてもよいし、１ピクチャの中で指定された一部
のマクロブロックの平均値としてもよい。後者の方法
は、例えばレターボックスフォーマット、すなわち、
４：３のモニターにシネマサイズの画像を表示するため
にフレームの上下が黒帯でマスクされているフォーマッ
トの画像を扱う場合に有効である。この場合、画像の上
下の黒帯のマスク部分を除いた中央の有効な画像部分を
構成するマクロブロックについて、Ｌｉを計算する。こ
の方法では、フレームの中央の有効な画像部分について
の性質を正確にとらえることができるので有効である。

【００７６】ｉ番目のピクチャに対する割当符号量をｂ
i として、この割当符号量ｂiを下記式３に示すように
符号化難易度ｄi に比例させると、データ総量Ｂは、下
記式４に示すように、全ピクチャの割当符号量ｂiを加
算することにより求められる。なお、ａ，ｃは定数であ
る。

【００７７】

【数１】

【００７８】ここで、定数ｃは、一シーケンスでの平均
ビットレートに応じて、あらかじめ決定される値であ
る。また、定数ａは下記式５により求めることができ、
この定数ａを上記式３に代入すると、ｉ番目のフレーム
に対する割当符号量ｂi は、下記式６により求めること
ができる。

【００７９】

【数２】

【００８０】かくして、ビットレート演算回路３２は、
例えば符号化ノイズが知覚されやすいピクチャまたは複
雑な絵柄のピクチャに対しては割当符号量を多くし、逆
に符号化ノイズが知覚されにくいピクチャまたは単純な
絵柄のピクチャに対しては割当符号量を少なくする。こ
の割当符号量に合わせて、第２の符号化回路４０で実際
の符号化を行なうことで、各ピクチャと記録媒体に対し
て最適な符号量配分を行なう。

【００８１】一方、逆量子化回路１８は、量子化回路１
６から供給される量子化データを、量子化ステップサイ
ズを１として逆量子化して、ＤＣＴ回路１５の出力に対
応した係数データ（量子化歪みが加算されている）を再
生し、この係数データをＩＤＣＴ回路２０に供給する。

【００８２】ＩＤＣＴ回路２０は、係数データをＩＤＣ
Ｔ変換して、フレーム内符号化モードでは予測符号化回
路１４の出力に対応した入力画像データを再生し、前方
／後方／両方向予測モードでは差分データを再生して、
加算回路２１に供給する。

【００８３】加算回路２１には、前方／後方／両方向予
測モードのとき、動き補償回路２３から動き補償された
予測画像データが供給されており、この予測画像データ
とＩＤＣＴ回路２０から供給される差分データを加算す
ることにより、入力画像データに対応した画像データを
再生する。

【００８４】そして、このようにして再生された画像デ
ータは、フレームメモリ２２に予測画像データとして記
憶される。すなわち、逆量子化回路１８〜加算回路２１
は、局所復号化回路を構成し、予測モードに基づいて、
量子化回路１６から出力される量子化データを局所復号
化し、得られる復号画像を前方予測画像もしくは後方予
測画像としてフレームメモリ２２に書き込む。フレーム
メモリ２２は、複数のフレームメモリからなり、フレー
ムメモリのバンク切り替えが行われ、符号化する画像に
応じて、例えば単一のフレームが、前方予測画像データ
として出力されたり、後方予測画像データとして出力さ
れる。また、両方向予測の場合は、前方予測画像データ
と後方予測画像データが例えば平均化されて出力され
る。これらの予測画像データは、後述する画像復号化装
置で再生される画像データと全く同一の画像データであ
り、次の処理画像はこの予測画像をもとに前方／後方／
両方向予測符号化が行われる。

【００８５】次に、第２の符号化回路４０の動作につい
て説明する。なお、第２の符号化回路４０を構成する量
子化スケール設定回路３３、遅延器４３、量子化回路４
６、送信バッファメモリ４９以外の回路は、上述した第
１の符号化回路１０を構成する回路と同じ動作を行うの
で、説明を省略する。

【００８６】遅延器４３は、入力画像データを、例えば
符号化制御回路３０から符号化制御信号が出力されるま
での時間遅延する。そして、予測符号化回路４４、ＤＣ
Ｔ回路４５において、遅延された入力画像データにフレ
ーム内／前方／後方／両方向予測判定回路１３から供給
される予測モードに従った予測符号化処理、ＤＣＴ変換
処理が施され、係数データが生成される。

【００８７】量子化スケール設定回路３３は、供給され
たフレーム毎の割当符号量から、マクロブロック毎の割
当符号量（例えば、フレーム毎の割当符号量を１フレー
ム中のマクロブロックの数で割ったもの）を求め、送信
バッファ４９からのバッファフィードバックから検出さ
れる、あのマクロブロックにおいて発生した発生符号量
と、このマクロブロック毎の割当符号量の比較を行う。

【００８８】量子化スケール設定回路３３は、各フレー
ムの符号化ビットレートと設定されたフレーム時間毎の
平均符号化ビットレートに近付けるため、当該マクロブ
ロックにおける発生符号量がマクロブロック毎の割当符
号量より大きい場合、次のマクロブロックの発生符号量
を抑えるために次のマクロブロックの量子化ステップサ
イズを大きく設定し、当該マクロブロックにおける発生
符号量がマクロブロック毎の割当符号量より小さい場合
は、発生符号量を多くするために次のマクロブロックの
量子化ステップサイズを小さくする。ただし、量子化ス
ケール設定回路３３は、送信バッファ４９からのバッフ
ァフィードバックが、送信バッファ４９のオーバーフロ
ーが近いことを示す場合、上記の割当符号量と発生符号
量との比較結果によらず、量子化ステップサイズを大き
くしてオーバーフローを抑制し、また、送信バッファか
らのバッファフィードバックが、送信バッファ４９のア
ンダーフローが近いことを示す場合、上記の割当符号量
と発生符号量との比較結果によらず、量子化ステップサ
イズを小さくしてアンダーフローを抑制する。

【００８９】なお、上記の説明では、マクロブロック毎
に発生符号量と割当符号量とを比較して、マクロブロッ
ク毎に量子化ステップサイズを切り換えるようにした
が、スライス毎、フレーム毎、あるいはＧＯＰ毎に切り
換えを行うこともできる。

【００９０】また、上記の説明では、発生符号量を送信
バッファ４９の蓄積量から検出するようにしたが、可変
長符号化回路４７の出力から直接得ることもできる。量
子化スケール設定回路３３は、このようにして設定した
量子化ステップサイズを量子化回路４６に供給する。

【００９１】量子化回路４６は、上述した量子化スケー
ル設定回路３３から供給される量子化ステップサイズに
より、ＤＣＴ回路４５から供給される係数データを量子
化して、量子化データを生成する。

【００９２】そして、可変長符号化回路４７は、量子化
回路４６から供給される量子化データを、量子化スケー
ル設定回路３３からの量子化ステップサイズ、フレーム
内／前方／後方／両方向予測判定回路１３からの予測モ
ード、動きベクトル検出回路１１からの動きベクトル等
と共に可変長符号化し、得られる可変長符号データを第
２のビットストリームとして送信バッファメモリ４９に
供給する。

【００９３】ここで、図７は、この画像符号化装置の第
２の符号化回路４０の動作を概略的に示すフローチャー
トである。

【００９４】この図７に示すように、ステップＳＴ１１
において、遅延器４３を介して画像データが入力される
と、ステップＳＴ１２において、量子化スケール設定回
路３３は、現在符号化の対象とされているフレームに対
する割当符号量を符号化制御回路３０から読み込み、ス
テップＳＴ１３に進む。

【００９５】ステップＳＴ１３において、予測符号化回
路４４〜可変長符号化回路４７は、画像データに予測符
号化処理、ＤＣＴ変換処理を施すと共に、マクロブロッ
クの割当符号量に基づいた量子化ステップサイズにより
係数データを量子化した後、可変長符号化し、ステップ
ＳＴ１４に進む。

【００９６】ステップＳＴ１４において、例えば同一の
画面サイズや同一の転送レートが適用される全フレーム
（シーケンス）に対して符号化処理が終了したかが判断
され、該当するときは終了し、該当しないときはステッ
プＳＴ１１に戻る。かくして、フレーム単位で符号化レ
ートが変わる可変レート符号化が実現され、絵柄が複雑
な画像（フレーム）が連続しても、これらの画像に対し
て量子化ステップサイズが従来の装置のように大きくさ
れることなく、全体を通じて均等な高画質を得ることが
できる。

【００９７】一方、逆量子化回路４８は、量子化回路４
６から供給される量子化データを、上述の量子化回路４
６で用いた量子化ステップサイズにより逆量子化して、
ＤＣＴ回路４５の出力に対応した係数データ（量子化歪
みが加算されている）を再生し、この係数データをＩＤ
ＣＴ回路５０に供給する。すなわち、局所復号化回路を
構成する逆量子化回路４８〜加算回路５１は、量子化回
路４６から出力される量子化データを局所復号化し、得
られる復号画像を前方予測画像もしくは後方予測画像と
してフレームメモリ５２に書き込む。フレームメモリ５
２に記憶された画像データは、次の処理画像に対する予
測画像として使用される。

【００９８】送信バッファメモリ４９は、必要に応じて
設ければよいが、設けた場合には、送信バッファメモリ
４９は、可変長符号データを一旦記憶した後、一定のビ
ットレートで読み出すことにより、可変長符号データを
平滑化してビットストリームとして出力する。そして、
送信バッファメモリ４９から出力されたビットストリー
ムは、例えば符号化されたオーディオ信号、同期信号等
と多重化され、更にエラー訂正用のコードが付加され、
伝送あるいは記録に適した所定の変調が加えられた後、
例えば伝送路を介して画像復号化装置に伝送されたり、
上述の図１に示すように、光ディスク、磁気ディスク、
磁気テープ等からなる画像記録媒体５５に記録される。
すなわち、第２の符号化回路４０において、例えば予め
複雑な画像に対しては割当符号量ｂi を多くして、単純
な画像に対しては割当符号量ｂｉを少なくして可変レー
ト符号化を行っていることから、従来の装置のように絵
柄が複雑な画像に対して極端な画質劣化をさけるために
全体を通じて高いレートの固定レートを適用する必要が
なく、画像記録媒体５５の記録時間を長くすることがで
きる。

【００９９】送信バッファメモリ４９を設けない場合、
あるいは小容量のメモリを設ける場合には、可変ビット
レートで出力ビットストリームが画像記録媒体５５に供
給されることになるが、記録レートを可変制御でき最高
記録レートが出力ビットストリームの最高ビットレート
以上の記録装置を用いることにより、画像記録媒体５５
の全記録容量あるいは上記使用可能なデータ総量Ｂをオ
ーバーフローすることがない範囲で、しかも使用可能な
データ総量Ｂに近いデータ量で、１シーケンスの映像信
号を記録することができ、画像記録媒体５５の全記録容
量を、複雑な画像には多く、単純な画像には少なく割り
当てて、全体として最も良好な画質が得られるように、
媒体容量の最適の有効利用を図ることができる。

【０１００】以上説明した本発明の実施の形態からも明
らかなように、第１の符号化回路１０において、所定時
間毎に符号化の難易度（ｄｉｆｆｉｃｕｌｔｙ）を計算
するために、標準量子化値を予め設定し、バッファの占
有量による制御を行なわず、適応量子化のみでＤＣＴ係
数を量子化し符号量を求めており、適応量子化は、固定
の標準量子化値とした時の符号化情報量に加え、輝度信
号の平均値を所定時間毎に計算し、ビットレート演算回
路では、この輝度信号の平均値と、符号化情報量と、使
用可能なデータ総量とに基づいて、所定時間毎に割り当
てられる割当符号量、例えばフレーム時間毎の平均符号
化レートを求めている。

【０１０１】第２の符号化回路４０では、仮符号化（第
１の符号化）で得られた所定時間毎の発生符号量に対し
て、目標符号量を決めて、量子化ステップサイズあるい
は量子化値を制御して、画像の符号化を行なう。すなわ
ち、各所定時間毎に、人間の視覚特性に応じた符号量が
配分されるように、暗い画像のノイズを知覚しやすい部
分で量子化ステップサイズを小さくしている。

【０１０２】このように、人間の視覚特性が反映された
符号化を行うことにより、絵柄によって符号化画質の主
観的印象が悪い、例えば画像の暗い部分でも、符号化ノ
イズ（ブロックノイズ、モスキートノイズ）が目立つこ
とを未然に回避できる。

【０１０３】すなわち、上述したような本発明の実施の
形態によれば、入力映像信号を符号化、例えば予測符号
化、ＤＣＴ変換、一定の量子化ステップサイズでの量子
化、可変長符号化して、第１の符号化データを生成し、
この第１の符号化データの所定時間毎、例えばフレーム
毎やＧＯＰ毎のデータ量及び使用可能なデータ総量に基
づいてフレーム毎やＧＯＰ毎の割当符号量を求め、この
割当符号量に基づいて所定時間毎に入力映像信号を符号
化して第２の符号化データを生成することにより、所定
時間毎で符号化レートが変わる可変レート符号化が実現
され、絵柄が複雑な画像（フレーム）が連続しても、こ
れらの画像に対して量子化ステップサイズが従来の装置
のように大きくされることなく、全体を通じて均等な高
画質を得ることができる。

【０１０４】また、上述のようにして得られる第２の符
号化データは可変レートであるため、これを画像記録媒
体に記録することにより、限られた記憶容量を有効に使
うことができ、画像記録媒体の記録時間を長くすること
ができる。そして、この画像記録媒体から全体を通じて
均等な高画質の画像データを再生することができる。

【０１０５】なお、本発明は上述の実施の形態に限定さ
れるものではなく、例えば上述の実施の形態おいては、
変換符号化をＤＣＴとしているが、所謂ストラト変換、
ハール変換、ウエーブレット変換等としてもよい。

【０１０６】

【発明の効果】以上の説明からも明らかなように、本発
明によれば、入力映像信号の少なくとも一部を符号化し
て第１の符号化データを生成し、この第１の符号化デー
タの所定時間毎のデータ量と、入力映像信号の映像信号
の所定時間毎の平均値と、使用可能なデータ総量とに基
づいて上記所定時間毎の符号化レートを求め、この符号
化レートに基づいて上記所定時間毎に上記入力映像信号
を符号化して第２の符号化データを生成しているため、
画像の複雑さに応じた所定時間毎のデータ量に基づくと
共に、画像特性情報により人間の視覚特性が反映された
符号化レートで、使用可能なデータ総量を有効に活用し
た符号化が行える。

【０１０７】また、第２の符号化データは可変レートで
あるため、これを画像記録媒体に記録することにより、
限られた記憶容量を有効に使うことができ、画像記録媒
体の記録時間を長くすることができる。そして、この画
像記録媒体から全体を通じて均等な高画質の画像データ
を再生することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態を適用した画像符号化装置
の要部の回路構成を示すブロック図である。

【図２】上記画像符号化装置を構成する第１の符号化回
路の動作を説明するためのフローチャートである。

【図３】動画像シーケンスにおいて、量子化ステップサ
イズを固定としたときのピクチャの発生符号量ｙとピク
チャの輝度信号の平均値Ｌの時間変化の一例を示す図で
ある。

【図４】ピクチャの輝度信号の平均値Ｌと符号化難易度
を導くための係数αとの関係を示す図である。

【図５】ピクチャの発生符号量ｙと符号化難易度を導く
ための係数αとの関係を示す図である。

【図６】動画像シーケンスにおいて、量子化ステップサ
イズを固定としたときの発生符号量ｙの分布の例を示す
図である。

【図７】上記画像符号化装置を構成する第２の符号化回
路の動作を説明するためのフローチャートである。

【図８】予測符号化の原理を説明するための画像を示す
図である。

【図９】動き補償予測符号化の原理を説明するための画
像を示す図である。

【図１０】画像符号化装置と画像復号化装置の構成例を
示すブロック図である。

【図１１】マクロブロック、スライスの構成を示す図で
ある。

【図１２】従来のエンコーダの回路構成の一例を示すブ
ロック図である。

【図１３】従来のデコーダの回路構成の一例を示すブロ
ック図である。

【符号の説明】

１０ 第１の符号化回路 １４、４４ 予測符号化回路 １５、４５ ＤＣＴ回路 １６、４６ 量子化回路 １７、４７ 可変長符号化回路 ３０ 符号化制御回路 ３１ カウンタ ３２ ビットレート演算回路 ３３ 量子化スケール設定回路 ４０ 第２の符号化回路 ４３ 遅延器 ６０ 輝度信号の平均値計算回路

Claims (4)

【特許請求の範囲】
1. 【請求項１】 入力映像信号の少なくとも一部を符号化
   して第１の符号化データを生成し、 この第１の符号化データの所定時間毎のデータ量と、上
   記入力映像信号の輝度信号の所定時間毎の平均値とを求
   め、 これらの所定時間毎の符号化データ量及び所定時間毎の
   輝度信号の平均値と、使用可能なデータ総量とに基づい
   て所定時間毎の符号化レートを求め、 この符号化レートに基づいて上記所定時間毎に上記入力
   映像信号を符号化して第２の符号化データを生成するこ
   とを特徴とする画像符号化方法。
2. 【請求項２】 上記第１の符号化データの所定時間毎の
   データ量と上記入力映像信号の輝度信号の所定時間毎の
   平均値とに基づいて符号化難易度を求め、 この符号化難易度と上記使用可能なデータ総量とに基づ
   いて所定時間毎の割当符号量を求めることを特徴とする
   請求項１記載の画像符号化方法。
3. 【請求項３】 入力映像信号の少なくとも一部を符号化
   して第１の符号化データを生成する第１の符号化手段
   と、 上記入力信号の輝度信号の所定時間毎の平均値を求める
   輝度信号の平均値算出手段と、 上記第１の符号化手段からの第１の符号化データの所定
   時間毎のデータ量と、上記平均値算出手段からの輝度信
   号の平均値と、使用可能なデータ総量とに基づいて上記
   所定時間毎の符号化レートを求める符号化制御手段と、 この符号化制御手段からの所定時間毎の符号化レートに
   基づいて上記所定時間毎に上記入力映像信号を符号化し
   て第２の符号化データを生成する第２の符号化手段とを
   備えることを特徴とする画像符号化装置。
4. 【請求項４】 入力映像信号の少なくとも一部を符号化
   して第１の符号化データを生成し、この第１の符号化デ
   ータの所定時間毎のデータ量と、上記入力映像信号の所
   定時間毎の輝度信号の平均値と、使用可能なデータ総量
   とに基づいて上記所定時間毎の符号化レートを求め、こ
   の符号化レートに基づいて上記所定時間毎に上記入力映
   像信号が符号化されて得られた第２の符号化データが記
   録されて成ることを特徴とする画像記録媒体。