JPH0918872A - 画像符号化方法、画像符号化装置及び画像記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像の複雑さに応じた最適の符号化レートで
符号化を行い、しかも、人間の視覚特性が反映された符
号化を行う。 【解決手段】 第１の符号化回路１０は、入力画像信号
に予測符号化、ＤＣＴ変換、量子化及び可変長符号化処
理を施す。画像解析回路６０は、入力画像の輝度、色
度、平坦度、動画像の動き量等の画像特性情報を求め、
符号化制御回路３０に送る。符号化制御回路３０は、第
１の符号化回路１０の符号化データの所定時間毎の発生
符号量と、画像解析回路６０からの画像特性情報と、使
用可能なデータ総量とに基づいて所定時間毎の符号化レ
ートを求める。第２の符号化回路４０は、この求められ
た符号化レートに基づいて所定時間毎に入力映像信号を
符号化して、第２の符号化データを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化方法、
画像符号化装置及び画像記録媒体に関し、特に、光ディ
スク、磁気ディスク、磁気テープ等の画像記録媒体に動
画の映像信号を蓄積用符号化して記録するシステムや、
伝送路を介して動画の映像信号を伝送するシステム等に
おいて使用される画像符号化方法、画像符号化装置及び
画像記録媒体に関するものである。

【０００２】

【従来の技術】従来、例えばテレビ会議システム、テレ
ビ電話システム等のように動画の映像信号を遠隔地に伝
送するシステムや、動画の映像信号を光ディスク、磁気
ディスク、磁気テープ等の画像記録媒体に記録し、また
記録された動画の映像信号を再生するシステム等におい
て、伝送路（あるいは画像記録媒体）を効率良く利用す
るために、映像信号の有するライン相関やフレーム相関
を利用して映像信号を所謂高能率符号化し、空間軸方向
と時間軸方向の冗長度を落として有意情報のみを伝送
し、伝送効率を高めるようになされている。

【０００３】例えば空間軸方向の符号化処理（以下フレ
ーム内符号化処理という）では、映像信号の例えばライ
ン相関を利用するもので、図１５のＡに示す時刻ｔ₁ 、
ｔ₂、ｔ₃ 、・・・において動画を構成する各画像ＰＣ
１、ＰＣ２、ＰＣ３・・・を伝送しようとする場合、伝
送処理すべき画像データを、例えば同一走査線内で１次
元符号化したり、例えば画像を複数のブロックに分割
し、各ブロックの画像データを２次元符号化することに
より、データ圧縮を行い、伝送効率を向上させている。

【０００４】また、時間軸方向の符号化処理（以下フレ
ーム間符号化処理という）では、映像信号のフレーム間
相関を利用して例えば所謂予測符号化により、すなわち
図１５のＢに示すように、順次隣合う画像ＰＣ１及びＰ
Ｃ２、ＰＣ２及びＰＣ３・・・間の対応する画素毎の画
像データの差分（所謂予測誤差）でなる画像データＰＣ
１２、ＰＣ２３・・・を求め、これらの画像データＰＣ
１２、ＰＣ２３・・・を伝送することにより、データ圧
縮を行い、伝送効率を向上させている。

【０００５】かくして、画像ＰＣ１、ＰＣ２、ＰＣ３・
・・の全ての画像データを伝送する場合と比較して、格
段に少ないデータ量で映像信号を伝送することができ
る。

【０００６】また、上述のフレーム間符号化処理におけ
る予測符号化では、さらに効率を高めるために、例えば
マクロブロック単位で動き補償予測が用いられる。すな
わち、例えば画面中央の人物が移動する場合等、画面中
の動いている物体に対してその動きを検出し、その動き
分だけ前の画像中で予測に用いる画像データの位置を補
正して予測符号化を行うことにより、符号化効率を向上
させることができる。しかし、これでもまだ、物体が移
動して後ろから出現した部分に対しては、多くのデータ
を送らなけらばならない。そこで、動き補償予測を上述
の前方だけではなく、後方あるいは両者を組み合わせて
行うことにより、さらに符号化効率を高めることができ
る。

【０００７】具体的には、図１６のＡに示すように、伝
送しようとする動画の映像信号ＶＤの第０、第１、第
２、第３・・・番目のフレームのフレームデータＦ０、
Ｆ１、Ｆ２、Ｆ３・・・のマクロブロックにおいて、順
次フレーム間に動きベクトルＸ０、Ｘ１、Ｘ２、Ｘ３・
・・でそれぞれ表わされるような画像の変化があった場
合、送信側の装置は、所定フレーム数（例えば１フレー
ム）置きの、すなわち第２、第４・・・番目のフレーム
を補間フレームに指定し、これらの補間フレームに対し
て、図１６のＢに示すように、所定の補間フレーム処理
により伝送補間フレームデータＦ２Ｘ、Ｆ４Ｘ・・・を
生成する。また、残りの非補間フレームに対して、フレ
ームデータＦ１、Ｆ３・・・に所定の符号化処理を施し
て、伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ・・・を
生成する。

【０００８】例えば、動き補償されたフレームデータＦ
３とフレームデータＦ２の差分ＳＰ２（予測誤差）、動
き補償されたフレームデータＦ１とフレームデータＦ２
の差分ＳＰ３、動き補償されたフレームデータＦ１、Ｆ
３を補間処理して得られるフレームデータとフレームデ
ータＦ２の差分ＳＰ４をマクロブロック単位でそれぞれ
求め、フレームデータＦ２のマクロブロックＳＰ１とこ
れらの差分の比較を行う。そして、これらのデータＳＰ
１〜ＳＰ４のうちでデータ発生量が最小のデータをマク
ロブロック単位で伝送補間データＦ２Ｘとし、以下同様
して各補間フレームに対する伝送補間データＦ４Ｘ・・
・を生成する。また、非補間フレームのフレームデータ
Ｆ１、Ｆ３・・・にそれぞれ、例えばＤＣＴ変換処理、
可変長符号化処理等を施して伝送非補間フレームデータ
Ｆ１Ｘ、Ｆ３Ｘ・・・を生成する。

【０００９】そして、これらの伝送非補間フレームデー
タＦ１Ｘ、Ｆ３Ｘ・・・及び伝送補間データＦ２Ｘ、Ｆ
４Ｘ・・・を、動きベクトルＸ０, Ｘ１, Ｘ３・・・の
データと共に、伝送データDATAとして受信側の装置に伝
送する。

【００１０】一方、受信側の装置は、送られてくる伝送
データDATA（伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ
・・・、伝送補間データＦ２Ｘ、Ｆ４Ｘ・・・、動きベ
クトルＸ０, Ｘ１, Ｘ３・・・のデータ）に、送信側の
符号化処理に対応した復号化処理を施して、フレームデ
ータＦ０、Ｆ１、Ｆ２、Ｆ３・・・を再生する。この結
果、動き補償予測を前方だけではなく、後方あるいは両
者を組み合わせて行うことにより、さらに符号化効率を
高めることができる。

【００１１】ここで、上述の機能を有する画像符号化装
置と画像復号化装置について、図１７を参照しながら説
明する。

【００１２】この図１７に示す画像符号化装置７０は、
入力映像信号ＶＤを輝度信号と色差信号に分離する前処
理回路７１と、該前処理回路７１からの輝度信号、色差
信号をそれぞれディジタル信号に変換するアナログ／デ
ィジタル（以下Ａ／Ｄという）変換回路７２ａ、７２ｂ
と、該Ａ／Ｄ変換回路７２ａ、７２ｂからの輝度デー
タ、色差データ（以下これらを画像データという）を記
憶するフレームメモリ群７３と、フレームメモリ群７３
から画像データをブロックフォーマットに従って読み出
すフォーマット変換回路７４と、フォーマット変換回路
７４からのブロックの画像データを高能率符号化するエ
ンコーダ７５とを備える。

【００１３】そして、前処理回路７１は、入力映像信号
ＶＤを輝度信号と色差信号に分離し、Ａ／Ｄ変換回路７
２ａ、７２ｂは、輝度信号、色差信号をそれぞれ８ビツ
トからなる輝度データ、色差データに変換し、フレーム
メモリ群７３は、これらの輝度データ、色差データを記
憶する。

【００１４】フォーマット変換回路７４は、フレームメ
モリ群７３に記憶されている画像データ（輝度データ、
色差データ）を、ブロックフォーマットに従って読み出
し、エンコーダ７５は、この読みだされた画像データを
所定の高能率符号化により符号化して、ビットストリー
ムを出力する。

【００１５】そして、このビットストリームは、伝送路
や、光ディスク、磁気ディスク、磁気テープ等の画像記
録媒体からなる伝送メディア９０を介して、画像復号化
装置８０に供給される。

【００１６】この画像復号化装置８０は、上述の図１７
に示すように、上記エンコーダ７５に対応したデコーダ
８１と、該デコーダ８１で再生された画像データを、フ
レームフォーマットに変換するフォーマット変換回路８
２と、該フォーマット変換回路８２からの画像データを
記憶するフレームメモリ群８３と、該フレームメモリ群
８３から読み出された輝度データ、色差データをアナロ
グ信号に変換するＤ／Ａ変換回路８４ａ、８４ｂと、該
Ｄ／Ａ変換回路８４ａ、８４ｂからの輝度信号、色差信
号を混合して出力映像信号を生成する後処理回路８５と
を備える。

【００１７】そして、デコーダ８１は、エンコーダ７５
の高能率符号化に対応した復号化によりビットストリー
ムを復号化して、ブロックフォーマットの画像データを
再生し、フォーマット変換回路８２は、この画像データ
をフレームフォーマットに変換してフレームメモリ群８
３に記憶する。

【００１８】Ｄ／Ａ変換回路８４ａ、８４ｂは、フレー
ムメモリ群８３から読み出された輝度データ、色差デー
タをそれぞれ輝度信号、色差信号に変換し、後処理回路
８１は、これらの輝度信号、色差信号を混合して出力映
像信号を生成する。

【００１９】具体的には、前処理回路７１及びＡ／Ｄ変
換回路７２ａ、７２ｂは、上述したように輝度信号及び
色差信号をディジタル信号に変換すると共に、色差信号
に対しては上下左右方向に画素数が輝度信号の１／２と
なるようにデータ量を削減した後、時間軸多重化し、得
られる輝度データと色差データをフレームメモリ群７３
に供給する。

【００２０】そして、フレームメモリ群７３からは、上
述したようにブロックフォーマットに従って輝度データ
と色差データが読み出される。すなわち、例えば１フレ
ーム分の画像データは、図１８のＡに示すように、Ｎ個
のスライスに分割され、各スライスが、図１８のＢに示
すように、Ｍ個のマクロブロックを含むようになされ、
各マクロブロックは、図１８のＣに示すように、８×８
画素からなるブロック単位であって上下左右に隣接する
４つの輝度ブロックの輝度データＹ[1] 、Ｙ[2] 、Ｙ
[3] 、Ｙ[4] と、これらの４つの輝度ブロックに対応す
る範囲の８×８画素からなる色差ブロックの色差データ
Ｃb[5]、Ｃr[6]とを含んでなる。そして、フレームメモ
リ群７３からは、スライスではマクロブロツク単位で画
像データが連続し、マクロブロツク内ではＹ[1],Ｙ[2],
Ｙ[3],Ｙ[4],Ｃb[5],Ｃr[6] の順に連続するように輝度
データと色差データが読み出される。このようにしてブ
ロックフォーマットに従って読み出された画像データ
は、エンコーダ７５に供給される。

【００２１】エンコーダ７５は、図１９に示すように、
動きベクトル検出回路１０１を備え、この動きベクトル
検出回路１０１は、ブロックフォーマットで供給される
画像データの動きベクトルをマクロブロック単位で検出
する。すなわち、動きベクトル検出回路１０１は、フレ
ームメモリ群１０２に記憶された前方原画像及び／又は
後方原画像を用いて、現在の参照画像の動きベクトルを
マクロブロック単位で検出する。ここで、動きベクトル
の検出は、マクロブロック単位でのフレーム間差分の絶
対値和が最小になるものを、その動きベクトルとする。
そして、検出された動きベクトルは動き補償回路１１３
等に供給され、マクロブロック単位でのフレーム間差分
の絶対値和はフレーム内／前方／後方／両方向予測判定
回路１０３に供給される。

【００２２】このフレーム内／前方／後方／両方向予測
判定回路１０３は、この値をもとに、参照ブロックの予
測モードを決定し、決定した予測モードに基づいて、マ
クロブロック単位でフレーム内／前方／後方／両方向予
測の切り換えを行うように予測符号化回路１０４を制御
する。そして、予測符号化回路１０４は、加算回路１０
４ａ、１０４ｂ、１０４ｃ及び切換スイッチ１０４ｄを
備え、フレーム内符号化モードのときは入力画像データ
そのものを、前方／後方／両方向予測モードのときはそ
れぞれの予測画像に対する入力画像データの画素毎の差
分（以下差分データという）を選択し、選択したデータ
をＤＣＴ回路１０５に供給する。

【００２３】ＤＣＴ回路１０５は、映像信号の２次元相
関を利用して、入力画像データ又は差分データをブロツ
ク単位でＤＣＴ変換し、得られる係数データを量子化回
路１０６に供給する。

【００２４】量子化回路１０６は、マクロブロック又は
スライス毎に定まる量子化ステップサイズ（量子化スケ
ール）を用いて係数データを量子化し、得られる量子化
データを可変長符号化（ＶＬＣ：Variable Length Cod
e）回路１０７及び逆量子化回路１０８に供給する。と
ころで、この量子化に用いる量子化ステップサイズは、
後述する送信バッファメモリ１０９のバッファ残量をフ
ィードバックすることによって、送信バッファメモリ１
０９が破綻しない値に決定され、この量子化ステップサ
イズも、可変長符号化回路１０７及び逆量子化回路１０
８に供給される。

【００２５】可変長符号化回路１０７は、量子化データ
を、量子化ステップサイズ、予測モード、動きベクトル
と共に可変長符号化し、伝送データとして送信バッファ
メモリ１０９に供給する。

【００２６】送信バッファメモリ１０９は、伝送データ
を一旦記憶した後、一定のビットレートで読み出すこと
により、伝送データを平滑化してビットストリームとし
て出力すると共に、メモリに残留している残留データ量
に応じてマクロブロック単位の量子化制御信号を量子化
回路１０６にフィードバックして量子化ステップサイズ
を制御する。これにより送信バッファメモリ１０９は、
ビットストリームとして発生されるデータ量を調整し、
メモリ内に適正な残量（オーバーフロー又はアンダーフ
ローを生じさせないようなデータ量）のデータを維持す
る。例えば、送信バッファメモリ１０９のデータ残量が
許容上限にまで増量すると、送信バッファメモリ１０９
は、量子化制御信号によつて量子化回路１０６の量子化
ステップサイズを大きくすることにより、量子化データ
のデータ量を低下させる。一方、送信バッファメモリ１
０９のデータ残量が許容下限まで減量すると、送信バッ
ファメモリ１０９は、量子化制御信号によつて量子化回
路１０６の量子化ステップサイズを小さくすることによ
り、量子化データのデータ量を増大させる。

【００２７】このようにして、バッファメモリ１０９か
ら出力されるビットストリームは一定のビットレート
で、上述したように伝送路や、光ディスク、磁気ディス
ク、磁気テープ等の画像記録媒体からなる伝送メディア
９０を介して、画像復号化装置８０に供給される。

【００２８】一方、逆量子化回路１０８は、量子化回路
１０６から供給される量子化データを逆量子化して、上
述のＤＣＴ回路１０５の出力に対応する係数データ（量
子化歪みが加算されている）を再生し、この係数データ
を逆離散余弦変換（以下ＩＤＣＴ：Inverse Discrete C
osine Trasformという）回路１１０に供給する。

【００２９】ＩＤＣＴ回路１１０は、係数データをＩＤ
ＣＴ変換して、フレーム内符号化モードでは入力画像デ
ータに対応する画像データを再生し、前方／後方／両方
向予測モードでは予測符号化回路１０４の出力に対応す
る差分データを再生して、加算回路１１１に供給する。

【００３０】この加算回路１１１には、前方／後方／両
方向予測モードのとき、後述する動き補償回路１１３か
ら動き補償された予測画像データが供給されており、こ
の動き補償された予測画像データと差分データを加算す
ることにより、入力画像データに対応する画像データを
再生する。

【００３１】そして、このようにして再生された画像デ
ータは、フレームメモリ１１２に記憶される。すなわ
ち、逆量子化回路１０８〜加算回路１１１は、局所復号
化回路を構成し、予測モードに基づいて、量子化回路１
０６から出力される量子化データを局所復号化し、得ら
れる復号画像を前方予測画像もしくは後方予測画像とし
てフレームメモリ１１２に書き込む。フレームメモリ１
１２は、複数のフレームメモリからなり、フレームメモ
リのバンク切り換えが行われ、符号化する画像に応じ
て、単一のフレームが、前方予測画像データとして出力
されたり、後方予測画像データとして出力される。ま
た、両方向予測の場合は、前方予測画像データと後方予
測画像データが例えば平均化されて出力される。これら
の予測画像データは、後述するデコーダ８１で再生され
る画像と全く同一の画像であり、次の処理画像はこの予
測画像をもとに前方／後方／両方向予測符号化が行われ
る。

【００３２】すなわち、フレームメモリ１１２から読み
出された画像データは動き補償回路１１３に供給され、
この動き補償回路１１３は、動きベクトルに基づいて、
予測画像データに動き補償を施し、動き補償された予測
画像データを予測符号化回路１０４及び加算回路１１１
に供給する。

【００３３】次に、デコーダ８１について図２０を参照
しながら説明する。

【００３４】この図２０に示すデコーダ８１には、上記
図１７の伝送メディア９０を介してビットストリームが
入力される。このビットストリームは、受信バッファ２
０１を介して可変長復号化（ＩＶＬＣ）回路２０２に入
力される。可変長復号化回路２０２は、ビットストリー
ムから量子化データ、動きベクトル、予測モード、量子
化ステップサイズ等を再生する。これらの量子化データ
と量子化ステップサイズは逆量子化回路２０３に供給さ
れ、動きベクトルは動き補償回路２０７に供給され、予
測モードは加算回路２０５に供給される。

【００３５】逆量子化回路２０３〜加算回路２０５の動
作は、上記図１８に示すエンコーダ７５の局所復号化回
路と同様であり、フレームメモリ群２０６、動き補償回
路２０７の動作はそれぞれエンコーダ７５のフレームメ
モリ１１２、動き補償回路１１３と同じであり、量子化
データ、動きベクトル、予測モード、量子化ステップサ
イズをもとに復号化が行われる。この結果、加算回路２
０５から再生画像データが出力され、この再生画像デー
タは、上記図１７のフォーマット変換回路８２に送られ
る。

【００３６】

【発明が解決しようとする課題】以上のように、従来の
装置では、エンコーダ７５で発生するビットストリーム
の符号化ビットレートは伝送メディア９０の転送レート
にあわせて一定とされ、この制限のもとでデータ発生
量、すなわちエンコーダ７５における量子化回路１０６
の量子化ステップサイズが制御されていた。換言する
と、例えば絵柄が複雑な画像が連続するときは、量子化
ステップサイズを大きくしてデータ発生量を抑圧し、逆
に単純な絵柄が連続するときは、量子化ステップサイズ
を小さくしてデータ発生量を増加させることにより、バ
ッファメモリ１０９のオーバーフロー又はアンダーフロ
ーを生じさせないようにして固定レートを保持するよう
になっていた。

【００３７】したがって、従来の装置では複雑な画像が
連続するときは、量子化ステップサイズが大きくされ、
画質が劣化し、単純な画像が連続するときは、量子化ス
テップサイズが小さくされ、全体を通じて均等な画質を
得ることができなかった。

【００３８】また、ビットストリームをデータ容量が限
られている画像記録媒体に記録する場合、絵柄が複雑な
画像に対する極端な画質劣化を避けるためには、この複
雑な画像の画質を損なわないような高いレートの固定レ
ートを全体に対して適用しなければならず、記録時間を
減少させる結果となっていた。

【００３９】さらに、単に画像の複雑さが同じ場合で
も、絵柄によって符号化画質の主観的印象が悪い場合が
ある。これは、人間の視覚特性によるものであり、例え
ば画像の暗い部分や、赤い部分や、平坦な部分で、符号
化ノイズ、例えばブロックノイズやモスキートノイズ等
が目立つ、という問題がある。

【００４０】本発明は、このような実情に鑑みてなされ
たものであり、全体を通じて均等で良好な画質を得るこ
とができ、また長時間記録を可能にし、さらに、人間の
視覚特性を反映して符号化ノイズを目立たせないように
符号化することが可能な画像符号化方法、画像符号化装
置及び画像記録媒体を提供することを目的とする。

【００４１】

【課題を解決するための手段】本発明によれば、入力映
像信号の少なくとも一部を符号化して第１の符号化デー
タを生成し、この第１の符号化データの所定時間毎のデ
ータ量と、入力映像信号の所定時間毎の画像特性情報
と、使用可能なデータ総量とに基づいて上記所定時間毎
の符号化レートを求め、この符号化レートに基づいて上
記所定時間毎に上記入力映像信号を符号化して第２の符
号化データを生成することにより、上述の課題を解決す
る。

【００４２】また、上述の課題を解決するために、上記
第１の符号化データを生成することなしに、入力映像信
号の所定時間毎の画像特性情報に基づいて所定時間毎の
符号化難易度を求め、この符号化難易度と、使用可能な
データ総量とに基づいて所定時間毎の符号化レートを求
め、この符号化レートに基づいて上記所定時間毎に上記
入力映像信号を符号化して符号化データを生成してもよ
い。

【００４３】上記画像特性情報としては、画像の輝度情
報としての輝度信号の所定時間毎の平均値、色度情報と
しての色度信号の所定時間毎の平均値、平坦度情報とし
ての輝度信号の分散値、画像の動き情報としてのマクロ
ブロックの動きベクトル量の所定時間毎の平均値、画像
間差分としてのマクロブロックの動きベクトルの画像間
予測残差の所定時間毎の総和等を挙げることができる。

【００４４】入力映像信号の少なくとも一部を符号化し
て得られる第１の符号化データの所定時間毎のデータ量
と、入力映像信号の所定時間毎の画像特性情報と、使用
可能なデータ総量とに基づいて上記所定時間毎の符号化
レートを求める。または、上記第１の符号化データを生
成せずに、入力映像信号の所定時間毎の画像特性情報か
ら計算した所定時間毎の符号化難易度と、使用可能なデ
ータ総量とに基づいて上記所定時間毎の符号化レートを
求める。

【００４５】この求められた符号化レートに基づいて上
記所定時間毎に上記入力映像信号を符号化して、第２の
符号化データを生成する。これにより、画像の複雑さに
応じた所定時間毎のデータ量に基づく符号化レートで符
号化が行え、しかも、人間の視覚特性が反映された符号
化が行える。

【００４６】

【発明の実施の形態】以下、本発明に係る画像符号化方
法、画像符号化装置及び画像記録媒体のいくつかの好ま
しい実施の形態について図面を参照しながら説明する。

【００４７】第１の実施の形態本発明の第１の実施の形
態を適用した画像符号化装置は、例えば図１に示すよう
に、入力映像信号を符号化して第１の符号化データを生
成する第１の符号化回路１０と、入力映像信号の統計的
性質あるいは画像特性を求める画像解析回路６０と、該
第１の符号化回路１０からの第１の符号化データの所定
時間毎のデータ量、及び該画像解析回路６０からの統計
データあるいは画像特性情報、及び使用可能なデータ総
量に基づいて上記所定時間毎の符号化レートを求める符
号化制御回路３０と、該符号化制御回路３０からの符号
化レートに基づいて上記所定時間毎に上記入力映像信号
を符号化して第２の符号化データを生成する第２の符号
化回路４０とを備える。

【００４８】上記画像解析回路６０は、上述の図１に示
すように、フレーム内情報解析回路６１とフレーム間情
報解析回路６２からなる。フレーム内情報解析回路６１
では、入力画像の画像特性情報として、例えば、輝度，
色度，平坦度の統計情報を計算し、フレーム間情報解析
回路６２では、入力画像の画像特性情報として、例え
ば、動画像の動き量の統計情報を計算する。

【００４９】上記画像特性情報の具体例を挙げると、入
力画像の輝度についての統計情報としては、例えば、輝
度信号Ｙの所定時間毎の平均値（Ｌ）を計算し、また入
力画像の色度についての統計情報としては、例えば、色
度信号Ｃｒの所定時間毎の平均値（Ｒ）を計算し、また
入力画像の平坦度の統計情報としては、例えば、輝度信
号Ｙの所定時間毎の分散値（Ｖ）を計算し、入力画像の
動き量の統計情報としては、例えば、動きベクトル量の
所定時間毎の平均値（Ｍ）を計算する。

【００５０】さらに、上記第１の符号化回路１０は、上
述の図１に示すように、入力映像信号である入力画像デ
ータを記憶するフレームメモリ群１２と、該フレームメ
モリ群１２に記憶された画像データに基づいて、入力画
像データの動きベクトルを検出する動きベクトル検出回
路１１と、予測画像データを記憶するフレームメモリ２
２と、上記動きベクトル検出回路１１からの動きベクト
ルに基づいて、上記フレームメモリ２２から読み出され
た予測画像データに動き補償を施する動き補償回路２３
と、該動き補償回路２３からの動き補償された予測画像
データに基づいて、入力画像データを予測符号する予測
符号化回路１４と、該予測符号化回路１４からの予測誤
差である差分等を符号化、例えば離散余弦変換（以下Ｄ
ＣＴ：Discrete Cosine Transform という）して係数デ
ータを生成するＤＣＴ回路１５と、該ＤＣＴ回路１５か
らの係数データを一定の量子化ステップサイズで量子化
して、量子化データを生成する量子化回路１６と、該量
子化回路１６からの量子化データを可変長符号化して、
可変長符号データを出力する可変長符号化（ＶＬＣ：Va
riable Length Code）回路１７と、上記量子化回路１６
からの量子化データを逆量子化して係数データを再生す
る逆量子化回路１８と、該逆量子化回路１８からの係数
データを復号化、例えば逆離散余弦変換（以下ＩＤＣ
Ｔ：Inverse Discrete Cosine Trasformという）して上
記差分を再生するＩＤＣＴ回路２０と、該ＩＤＣＴ回路
２０からの差分と上記動き補償回路２３からの動き補償
された予測画像データを加算して次の入力画像データに
対する予測画像データを生成し、該予測画像データを上
記フレームメモリ２２に供給する加算回路２１とを備え
る。

【００５１】また、上記第２の符号化回路４０は、上述
の図１に示すように、入力画像データを遅延する遅延器
４３と、予測画像データを記憶するフレームメモリ５２
と、上記動きベクトル検出回路１１からの動きベクトル
に基づいて上記フレームメモリ５２から読み出された予
測画像データに動き補償を施す動き補償回路５３と、該
動き補償回路５３からの動き補償された予測画像データ
に基づいて、上記遅延器４３で遅延された入力画像デー
タを予測符号化する予測符号化回路４４と、該予測符号
化回路４４からの差分等を符号化、例えばＤＣＴ変換し
て係数データを生成するＤＣＴ回路４５と、上記符号化
制御回路３０からの符号化レートに基づいて量子化ステ
ップサイズを設定する量子化スケール設定回路３３と、
上記ＤＣＴ回路４５からの係数データを上記量子化スケ
ール設定回路３３からの量子化ステップサイズで量子化
して、量子化データを生成する量子化回路４６と、該量
子化回路４６からの量子化データを可変長符号化して、
可変長符号データを出力する可変長符号化回路４７と、
該可変長符号化回路４７からの可変長符号データを一旦
記憶し、一定のビットレートで出力する送信バッファメ
モリ４９と、上記量子化回路４６からの量子化データを
逆量子化して係数データを再生する逆量子化回路４８
と、該逆量子化回路４８からの係数データを復号化、例
えばＩＤＣＴ変換して上記差分を再生するＩＤＣＴ回路
５０と、該ＩＤＣＴ回路５０からの差分と上記動き補償
回路５３からの動き補償された予測画像データを加算し
て次の入力画像データに対する予測画像データを生成
し、該予測画像データを上記フレームメモリ５２に供給
する加算回路５１とを備える。

【００５２】この画像符号化装置では、第１の符号化回
路１０により、入力画像データの１シーケンスに対して
符号化処理、例えば予測符号化処理、ＤＣＴ変換処理、
一定の量子化ステップサイズでの量子化処理、可変長符
号化処理を施し、符号化制御回路３０により符号化ビッ
トレートを求めた後、この得られた符号化ビットレート
に基づいて第２の符号化回路４０により符号化を行って
いる。ここで、上記１シーケンスとは、例えば映画や番
組の１本分のように、１つの画像記録媒体に記録される
全フレームを想定しており、この他、記録媒体を分割し
て用いるときには各分割領域毎に記録される全フレーム
を１シーケンスとしてもよい。符号化制御回路３０は、
第１の符号化回路により得られた第１のビットストリー
ムである可変長符号データの所定時間毎のデータ量と、
画像解析回路６０により求められた入力映像信号の輝度
信号Ｙの所定時間毎の平均値（Ｌ）および分散（Ｖ），
色度信号Ｃｒの所定時間毎の平均値（Ｒ）と、動きベク
トル量の所定時間毎の平均値（Ｍ）と、例えば光ディス
ク、磁気ディスク、磁気テープ等からなる画像記録媒体
５５のデータ容量、あるいは伝送路のビットレート（転
送レート）等により定まる使用可能なデータ総量とに基
づいて、所定時間毎の符号化ビットレートを上記１シー
ケンス分求めている。また、第２の符号化回路４０は、
入力画像データに再び予測符号化処理、ＤＣＴ変換処
理、量子化処理、可変長符号化処理を施して、第２のビ
ットストリームである可変長符号データを生成する際
に、上記符号化ビットレートに基づいた量子化ステップ
サイズで量子化している。

【００５３】ここで、上記第１の実施の形態の画像符号
化装置を構成する第１の符号化回路１０の動作の具体例
について、図２のフローチャートを参照しながら説明す
る。

【００５４】すなわち、図２に示すフローチャートのス
テップＳＴ１において、上記図１の第１の符号化回路１
０の量子化回路１６は、量子化ステップサイズを例えば
１としてＤＣＴ回路１５から供給される係数データを量
子化して、量子化データを生成し、符号化制御回路３０
のカウンタ３１は、この量子化データを可変長符号化し
て得られる可変長符号データ（第１のビットストリー
ム）のデータ量を所定の単位時間、例えばマクロブロッ
ク毎に計数して、発生符号量（ｙ）をマクロブロック毎
に求める。さらに、画像解析回路６０により、該マクロ
ブロック内の輝度信号Ｙの平均値（Ｌ）及び分散（Ｖ）
と、色度信号Ｃｒの平均値（Ｒ）とを求め、またマクロ
ブロックの動きベクトル量の平均値（Ｍ）を求める。

【００５５】次のステップＳＴ２において、上記ビット
レート演算回路３２は、上記各値ｙ，Ｌ，Ｖ，Ｒ，Ｍ
と、上述した使用可能なデータ総量（Ｂ）とに基づい
て、マクロブロック毎に割り当てられる割当符号量
（ｂ）を求める。この場合、具体的には上記各値ｙ，
Ｌ，Ｖ，Ｒ，Ｍに基づいて符号化の難易度（difficult
y）（ｄ）を求め、この符号化難易度（ｄ）と上記使用
可能なデータ総量（Ｂ）とに基づいて上記割当符号量
（ｂ）を求めている。

【００５６】ステップＳＴ３において、第２の符号化回
路４０の量子化回路４６は、割当符号量に基づいた量子
化ステップサイズにより、ＤＣＴ回路４５から供給され
る係数データを量子化して、量子化データを生成するよ
うになっている。

【００５７】このような第１の符号化回路１０の動作に
ついて、図１を参照しながらより具体的に説明する。

【００５８】入力された画像データは、フレームメモリ
群１２に一旦記憶される。そして、フレームメモリ群１
２からは、従来の技術で述べたようにブロックフォーマ
ットに従って読み出される。

【００５９】動きベクトル検出回路１１は、フレームメ
モリ群１２から必要な画像データを上述のマクロブロッ
ク単位で読みだし、動きベクトルを検出する。すなわ
ち、動きベクトル検出回路１１は、フレームメモリ群１
２に記憶されている前方原画像及び／又は後方原画像を
用いて、現在の参照画像の動きベクトルをマクロブロッ
ク単位で検出する。ここで、動きベクトルの検出は、例
えばマクロブロック単位でのフレーム間差分の絶対値和
が最小になるものを、その動きベクトルとする。そし
て、検出された動きベクトルは動き補償回路２３、５３
等に供給され、マクロブロック単位でのフレーム間差分
の絶対値和はフレーム内／前方／後方／両方向予測判定
回路１３に供給される。

【００６０】フレーム内／前方／後方／両方向予測判定
回路１３は、この値をもとに、参照ブロックの予測モー
ドを決定し、決定した予測モードに基づいて、ブロック
単位でフレーム内／前方／後方／両方向予測の切り換え
を行うように予測符号化回路１４を制御する。

【００６１】予測符号化回路１４は、上述の図１に示す
ように、加算回路１４ａ、１４ｂ、１４ｃ及び切換スイ
ッチ１４ｄを備え、フレーム内符号化モードのときは入
力画像データそのものを、前方／後方／両方向予測モー
ドのときはそれぞれの予測画像に対する入力画像データ
の画素毎の差分（以下差分データという）を選択し、選
択したデータをＤＣＴ回路１５に供給する。

【００６２】ＤＣＴ回路１５は、映像信号の２次元相関
を利用して、切換スイッチ１４ｄから供給される入力画
像データ又は差分データをブロツク単位でＤＣＴ変換
し、得られる係数データを量子化回路１６に供給する。

【００６３】量子化回路１６は、一定の量子化ステップ
サイズ、例えば量子化ステップサイズを１として、ＤＣ
Ｔ回路１５から供給される係数データを量子化し、得ら
れる量子化データを可変長符号化回路１７及び逆量子化
回路１８に供給する。

【００６４】可変長符号化回路１７は、量子化データ
を、量子化ステップサイズ、予測モード、動きベクトル
等と共に可変長符号化し、得られる可変長符号データを
第１のビットストリームとして符号化制御回路３０に供
給する。

【００６５】符号化制御回路３０は、上述の図１に示す
ように、上記可変長符号化回路１７から可変長符号デー
タの所定時間毎のデータ量を計数するカウンタ３１と、
該カウンタ３１からのデータ量及び使用可能なデータ総
量に基づいて所定時間当たりの割当符号量を求めるビッ
トレート演算回路３２とを備える。そして、カウンタ３
１は、第１のビットストリームのデータ量を所定時間
毎、例えばマクロブロック毎に計数して、発生符号量を
マクロブロック毎に求め、この発生符号量をビットレー
ト演算回路３２に供給する。

【００６６】ビットレート演算回路３２は、このマクロ
ブロック毎の発生符号量と、マクロブロックの輝度信号
Ｙの平均値（Ｌ）と分散（Ｖ）と、マクロブロックの色
度信号Ｃｒの平均値（Ｒ）と、マクロブロックの動きベ
クトル量の平均値（Ｍ）と、使用可能なデータ総量に基
づいて、マクロブロック毎に割り当てられる割当符号量
すなわちマクロブロック時間毎の平均符号化レートを求
めると共に、この割当符号量を第２の符号化回路４０の
量子化スケール設定回路３３に供給する。

【００６７】具体的には、ビットレート演算回路３２
は、全マクロブロック数をＮとし、使用可能なデータ総
量をＢとし、ｉ（ｉ＝０、１、２・・・Ｎ−１）番目の
マクロブロックの発生符号量をｙi とし、ｉ番目のマク
ロブロックの輝度信号Ｙの平均値をＬｉ、分散をＶｉと
し、色度信号Ｃｒの平均値をＲｉとし、動きベクトル量
の平均値をＭｉとし、それぞれ関数ｆ₁ 、ｆ₂ 、ｆ₃ 、
ｆ₄ の特性から画像の絵柄の主観的印象を符号化難易度
ｄi へ反映する係数α_i ，β_i ，γ_i ，θ_i を求め、式
１に示すように、これらの係数とｙｉの積により、符号
化難易度ｄｉを求めている。

【００６８】 α_i ＝ ｆ₁（Ｌｉ） β_i ＝ ｆ₂（Ｒｉ） γ_i ＝ ｆ₃（Ｖｉ） θ_i ＝ ｆ₄（Ｍｉ） ｄ_i ＝ α_i×β_i×γ_i×θ_i×ｙ_i ・・・式１ ここで、関数ｆ₁ 、ｆ₂ 、ｆ₃ 、ｆ₄ の特性の具体例に
ついて、図３〜図６を参照しながら説明する。

【００６９】図３に、輝度信号Ｙの平均値Ｌに対する係
数αを表す関数ｆ₁ の特性を示す。この図３の横軸のＬ
は、０が黒であり、ＭＡＸが最も明るい値である。一般
に、人間の目は、暗い画像では、符号化ノイズをわかり
やすい。ただし、あるレベル以下の暗さでは、暗すぎて
符号化ノイズを知覚できなくなる。この特徴に基づい
て、Ｌ＝０付近では、α＝１とし、最も劣化を知覚しや
すいＬのレベルで、αはピークをもち、それ以上のＬで
は、徐々にαを小さくする。αが１以上の場合、符号化
難易度ｄを増大させ、逆にαが１以下の場合、符号化難
易度ｄを減少させる。なお、ｉ番目のマクロブロックに
ついての輝度信号Ｙの平均値はＬｉであり、このｉ番目
のマクロブロックについての係数α_i は ｆ₁（Ｌｉ）と
なる。

【００７０】図４に、色度信号Ｃｒの平均値Ｒと係数β
の関数ｆ₂ の特性を示す。図４の横軸のＲは、０がグレ
ーであり、ＭＡＸが最も赤い値である。一般に、人間の
目は赤の劣化をわかりやすい特徴がある。この特徴に基
づいて、Ｒが大きい値ほどβを１以上の大きな値とし、
符号化難易度ｄを増大させる。なお、ｉ番目のマクロブ
ロックについての色度信号Ｃｒの平均値はＲｉであり、
このｉ番目のマクロブロックについての係数β_i は ｆ₂
（Ｒｉ）となる。

【００７１】図５に、輝度信号Ｙの分散値Ｖと係数γの
関数ｆ₃ の特性を示す。図５の横軸のＶは、０が完全に
平坦であり、ＭＡＸが最も絵柄が乱雑である。一般に、
人間の目は、絵柄の平坦部分で、符号化ノイズがわかり
やすく、逆に、絵柄が乱雑な部分では、劣化はわかりに
くい。この特徴に基づいて、Ｖが大きい値ほどγを１以
下の小さな値とし、符号化難易度ｄを減少させる。ｉ番
目のマクロブロックについての輝度信号Ｙの分散値はＶ
ｉであり、このｉ番目のマクロブロックについての係数
γ_i は ｆ₃（Ｖｉ）となる。

【００７２】図６に、動きベクトル量の平均値Ｍと係数
θの関数ｆ₄ の特性を示す。図６の横軸のＭは、０が静
止している場合で、ＭＡＸが最も動きが大きい（速
い）。一般に、人間の目は、画像の動きが大きい（速
い）と、目が動きについていけず、画像の劣化がわかり
にくい。この特徴に基づいて、Ｍが大きい値ほどθを１
以下の小さな値とし、符号化難易度ｄを減少させる。な
お、マクロブロックがイントラ符号化される時は、θ＝
１とする。ｉ番目のマクロブロックについての動きベク
トル量の平均値はＭｉで、このｉ番目のマクロブロック
についての係数θ_i はｆ₄（Ｍｉ）となる。

【００７３】このように求めた係数α，β，γ，θを、
発生符号量ｙと乗算することで、符号化難易度ｄを求め
る。なお、ｉ番目のマクロブロックについては、それぞ
れ係数α_i ，β_i ，γ_i ，θ_i を求め、上記式１に示し
たように発生符号量ｙi と乗算し、符号化難易度ｄｉと
する。

【００７４】ここで、ｉ番目のマクロブロックに対する
割当符号量をｂi として、この割当符号量ｂi を下記式
２に示すように上記符号化難易度ｄi に比例させると、
データ総量Ｂは、下記式３に示すように、全マクロブロ
ックの割当符号量ｂi を加算することにより求められ
る。なお、ａ，ｃは定数である。

【００７５】 ｂｉ ＝ ａ×ｄi ＋ ｃ ・・・式２

【００７６】

【数１】

【００７７】ここで、定数ｃは、上記１シーケンスでの
平均ビットレートに応じて、予め決定される値である。
また、定数ａは下記式４により求めることができ、この
定数ａを上記式２に代入すると、ｉ番目のマクロブロッ
クに対する割当符号量ｂi は、下記式５により求めるこ
とができる。

【００７８】

【数２】

【００７９】１スライスを構成する全てのマクロブロッ
クについてのｂｉを加算したものが、そのスライスの割
当符号量である。また、１フレームを構成する全てのマ
クロブロックについてのｂｉを加算したものが、そのフ
レームの割当符号量である。かくして、ビットレート演
算回路３２は、例えば複雑な絵柄のフレームに対しては
割当符号量を多くし、逆に単純な絵柄のフレームに対し
ては割当符号量を少なくする。

【００８０】一方、逆量子化回路１８は、量子化回路１
６から供給される量子化データを、量子化ステップサイ
ズを１として逆量子化して、ＤＣＴ回路１５の出力に対
応した係数データ（量子化歪みが加算されている）を再
生し、この係数データをＩＤＣＴ回路２０に供給する。

【００８１】ＩＤＣＴ回路２０は、係数データをＩＤＣ
Ｔ変換して、フレーム内符号化モードでは予測符号化回
路１４の出力に対応した入力画像データを再生し、前方
／後方／両方向予測モードでは差分データを再生して、
加算回路２１に供給する。

【００８２】加算回路２１には、前方／後方／両方向予
測モードのとき、動き補償回路２３から動き補償された
予測画像データが供給されており、この予測画像データ
とＩＤＣＴ回路２０から供給される差分データを加算す
ることにより、入力画像データに対応した画像データを
再生する。

【００８３】そして、このようにして再生された画像デ
ータは、フレームメモリ２２に予測画像データとして記
憶される。すなわち、逆量子化回路１８〜加算回路２１
は、局所復号化回路を構成し、予測モードに基づいて、
量子化回路１６から出力される量子化データを局所復号
化し、得られる復号画像を前方予測画像もしくは後方予
測画像としてフレームメモリ２２に書き込む。フレーム
メモリ２２は、複数のフレームメモリからなり、フレー
ムメモリのバンク切り替えが行われ、符号化する画像に
応じて、例えば単一のフレームが、前方予測画像データ
として出力されたり、後方予測画像データとして出力さ
れる。また、両方向予測の場合は、前方予測画像データ
と後方予測画像データが例えば平均化されて出力され
る。これらの予測画像データは、後述する画像復号化装
置で再生される画像データと全く同一の画像データであ
り、次の処理画像はこの予測画像をもとに前方／後方／
両方向予測符号化が行われる。

【００８４】次に、第２の符号化回路４０の動作につい
て説明する。なお、第２の符号化回路４０を構成する量
子化スケール設定回路３３、遅延器４３、量子化回路４
６、送信バッファメモリ４９以外の回路は、上述した第
１の符号化回路１０を構成する回路と同じ動作を行うの
で、説明を省略する。

【００８５】遅延器４３は、入力画像データを、例えば
符号化制御回路３０から符号化制御信号が出力されるま
での時間遅延する。そして、予測符号化回路４４、ＤＣ
Ｔ回路４５において、遅延された入力画像データにフレ
ーム内／前方／後方／両方向予測判定回路１３から供給
される予測モードに従った予測符号化処理、ＤＣＴ変換
処理が施され、係数データが生成される。

【００８６】量子化スケール設定回路３３は、送信バッ
ファ４９からのバッファフィードバックから検出され
る、あるマクロブロックにおいて発生した発生符号量
と、このマクロブロック毎の割当符号量の比較を行う。

【００８７】量子化スケール設定回路３３は、第２の符
号化での各マクロブロックの発生符号量を設定された各
マクロブロックの割当符号量に近付けるため、当該マク
ロブロックにおける発生符号量がマクロブロック毎の割
当符号量より大きい場合、次のマクロブロックの発生符
号量を抑えるために次のマクロブロックの量子化ステッ
プサイズを大きく設定し、当該マクロブロックにおける
発生符号量がマクロブロック毎の割当符号量より小さい
場合は、発生符号量を多くするために次のマクロブロッ
クの量子化ステップサイズを小さくする。なお上記の説
明では、マクロブロック毎に割当符号量と発生符号化量
を近付けるように制御したが、この他、スライス毎に、
フレーム毎に、あるいは後述するようにＧＯＰ（グルー
プオブピクチャ）毎に制御を行わせるようにしてもよ
い。

【００８８】さらに、量子化スケール設定回路３３は、
送信バッファ４９からのバッファフィードバックが、送
信バッファ４９のオーバーフローが近いことを示す場
合、上記の割当符号量と発生符号量との比較結果によら
ず、量子化ステップサイズを大きくしてオーバーフロー
を抑制し、また、送信バッファからのバッファフィード
バックが、送信バッファ４９のアンダーフローが近いこ
とを示す場合、上記の割当符号量と発生符号量との比較
結果によらず、量子化ステップサイズを小さくしてアン
ダーフローを抑制するようにしてもよい。

【００８９】なお、上記の説明では、マクロブロック毎
に発生符号量と割当符号量とを比較して、マクロブロッ
ク毎に量子化ステップサイズを切り換えるようにした
が、スライス毎、フレーム毎、あるいはＧＯＰ毎に切り
換えを行うこともできる。

【００９０】また、上記の説明では、発生符号量を送信
バッファ４９の蓄積量から検出するようにしたが、可変
長符号化回路４７の出力から直接得ることもできる。量
子化スケール設定回路３３は、このようにして設定した
量子化ステップサイズを量子化回路４６に供給する。

【００９１】量子化回路４６は、上述した量子化スケー
ル設定回路３３から供給される量子化ステップサイズに
より、ＤＣＴ回路４５から供給される係数データを量子
化して、量子化データを生成する。

【００９２】そして、可変長符号化回路４７は、量子化
回路４６から供給される量子化データを、量子化スケー
ル設定回路３３からの量子化ステップサイズ、フレーム
内／前方／後方／両方向予測判定回路１３からの予測モ
ード、動きベクトル検出回路１１からの動きベクトル等
と共に可変長符号化し、得られる可変長符号データを第
２のビットストリームとして送信バッファメモリ４９に
供給する。

【００９３】ここで、図７は、この画像符号化装置の第
２の符号化回路４０の動作を概略的に示すフローチャー
トである。

【００９４】この図７に示すように、ステップＳＴ１１
において、遅延器４３を介して画像データが入力される
と、ステップＳＴ１２において、量子化スケール設定回
路３３は、現在符号化の対象とされているフレームに対
する割当符号量を符号化制御回路３０から読み込み、ス
テップＳＴ１３に進む。

【００９５】ステップＳＴ１３において、予測符号化回
路４４〜可変長符号化回路４７は、画像データに予測符
号化処理、ＤＣＴ変換処理を施すと共に、マクロブロッ
クの割当符号量に基づいた量子化ステップサイズにより
係数データを量子化した後、可変長符号化し、ステップ
ＳＴ１４に進む。

【００９６】ステップＳＴ１４において、例えば同一の
画面サイズや同一の転送レートが適用される全フレーム
（シーケンス）に対して符号化処理が終了したかが判断
され、該当するときは終了し、該当しないときはステッ
プＳＴ１１に戻る。かくして、フレーム単位で符号化レ
ートが変わる可変レート符号化が実現され、絵柄が複雑
な画像（フレーム）が連続しても、これらの画像に対し
て量子化ステップサイズが従来の装置のように大きくさ
れることなく、全体を通じて均等な高画質を得ることが
できる。

【００９７】一方、逆量子化回路４８は、量子化回路４
６から供給される量子化データを、上述の量子化回路４
６で用いた量子化ステップサイズにより逆量子化して、
ＤＣＴ回路４５の出力に対応した係数データ（量子化歪
みが加算されている）を再生し、この係数データをＩＤ
ＣＴ回路５０に供給する。すなわち、局所復号化回路を
構成する逆量子化回路４８〜加算回路５１は、量子化回
路４６から出力される量子化データを局所復号化し、得
られる復号画像を前方予測画像もしくは後方予測画像と
してフレームメモリ５２に書き込む。フレームメモリ５
２に記憶された画像データは、次の処理画像に対する予
測画像として使用される。

【００９８】送信バッファメモリ４９は、必要に応じて
設ければよいが、設けた場合には、送信バッファメモリ
４９は、可変長符号データを一旦記憶した後、一定のビ
ットレートで読み出すことにより、可変長符号データを
平滑化してビットストリームとして出力する。そして、
送信バッファメモリ４９から出力されたビットストリー
ムは、例えば符号化されたオーディオ信号、同期信号等
と多重化され、更にエラー訂正用のコードが付加され、
伝送あるいは記録に適した所定の変調が加えられた後、
例えば伝送路を介して画像復号化装置に伝送されたり、
上述の図１に示すように、光ディスク、磁気ディスク、
磁気テープ等からなる画像記録媒体５５に記録される。
すなわち、第２の符号化回路４０において、例えば予め
複雑な画像に対しては割当符号量ｂi を多くして、単純
な画像に対しては割当符号量ｂiを少なくして可変レー
ト符号化を行っていることから、従来の装置のように絵
柄が複雑な画像に対して極端な画質劣化をさけるために
全体を通じて高いレートの固定レートを適用する必要が
なく、画像記録媒体５５の記録時間を長くすることがで
きる。

【００９９】送信バッファメモリ４９を設けない場合、
あるいは小容量のメモリを設ける場合には、可変ビット
レートで出力ビットストリームが画像記録媒体５５に供
給されることになるが、記録レートを可変制御でき最高
記録レートが出力ビットストリームの最高ビットレート
以上の記録装置を用いることにより、画像記録媒体５５
の全記録容量あるいは上記使用可能なデータ総量Ｂをオ
ーバーフローすることがない範囲で、しかも使用可能な
データ総量Ｂに近いデータ量で、１シーケンスの映像信
号を記録することができ、画像記録媒体５５の全記録容
量を、複雑な画像には多く、単純な画像には少なく割り
当てて、全体として最も良好な画質が得られるように、
媒体容量の最適の有効利用を図ることができる。

【０１００】以上説明した本発明の実施の形態からも明
らかなように、第１の符号化回路１０において、所定時
間毎に符号化の難易度（difficulty）を計算するため
に、標準量子化値を予め設定し、バッファの占有量によ
る制御を行なわず、適応量子化のみでＤＣＴ係数を量子
化し符号量を求めており、適応量子化は、固定の標準量
子化値とした時の符号化情報量に加え、画像の明る
さ、、平坦度、色度、画像の動きのような画像特性情報
を所定時間毎に計算し、ビットレート演算回路では、こ
れらの画像特性情報と、符号化情報量と、使用可能なデ
ータ総量とに基づいて、所定時間毎に割り当てられる割
当符号量、例えばフレーム時間毎の平均符号化レートを
求めている。

【０１０１】ここで、上記画像の明るさとしては、例え
ば、輝度信号Ｙの所定時間毎の平均値（Ｌ）を、平坦度
としては、例えば、輝度信号Ｙの所定時間毎の分散値
（Ｖ）を、色度としては、例えば、色度信号Ｃｒの所定
時間毎の平均値（Ｒ）を、画像の動きとしては、例え
ば、マクロブロックの動きベクトル量の所定時間毎の平
均値（Ｍ）を、それぞれ用いている。

【０１０２】第２の符号化回路４０では、仮符号化（第
１の符号化）で得られた所定時間毎の発生符号量に対し
て、目標符号量を決めて、量子化ステップサイズあるい
は量子化値を制御して、画像の符号化を行なう。すなわ
ち、各所定時間毎に、人間の視覚特性に応じた符号量が
配分されるように、暗い画像のノイズを知覚しやすい部
分で量子化ステップサイズを小さくし、画面の平坦部分
ほど量子化ステップサイズを小さくし、赤レベルが大き
いほど量子化ステップサイズを小さくし、動きベクトル
量が大きい（動きが速い）ほど量子化ステップサイズを
大きくしている。

【０１０３】このように、人間の視覚特性が反映された
符号化を行うことにより、絵柄によって符号化画質の主
観的印象が悪い場合、例えば、画像の暗い部分や、赤い
部分や、平坦な部分等でも、符号化ノイズ（ブロックノ
イズ、モスキートノイズ）が目立つことを未然に回避で
きる。

【０１０４】第２の実施の形態ところで、上述の第１の
実施の形態では、所定時間当たりの割当符号量、すなわ
ち所定時間当たりの平均符号化レートを、マクロブロッ
クを所定時間としてマクロブロック毎に得るようにして
いるが、本発明はこれに限定されるものではない。例え
ば、フレームを所定時間とする場合も同様である。この
場合は、上記式１〜式５における、ｙｉ，Ｌｉ，Ｒｉ，
Ｖｉ，Ｍｉのパラメータ群を１フレーム時間を所定時間
として計算する。それらパラメータ群に基づいて、各フ
レーム毎にその割当符号量ｂｉを上記式５により求める
ことができる。

【０１０５】この第２の実施の形態の場合のＬｉ，Ｒ
ｉ，Ｖｉ，Ｍｉの計算方法は、１フレームでの全てのマ
クロブロックの平均値としても良いし、１フレームの中
で指定された一部のマクロブロックの平均値としても良
い。後者の方法は、レターボックスフォーマット、すな
わち４：３の画面に１６：９の画像を表示するためにフ
レームの上下が黒帯でマスクされているフォーマットの
画像を扱う場合に有効である。この場合、画像の上下の
黒帯のマスク部分を除いた中央の有効な画像部分を構成
するマクロブロックについて、Ｌｉ，Ｒｉ，Ｖｉ，Ｍｉ
を計算する。この方法では、フレームの中央の有効な画
像部分についての性質を正確にとらえることができ、上
記黒帯のマスク部分の計算を省略することができるので
有効である。

【０１０６】この第２の実施の形態における第２の符号
化回路４０では、上述の第１の実施の形態と比べ、量子
化スケール設定回路３３において、マクロブロック毎の
割当符号量を計算する必要がある。この場合、量子化ス
ケール設定回路３３は、供給されたフレーム毎の割当符
号量ｂｉから、マクロブロック毎の割当符号量を、例え
ば、フレーム毎の割当符号量ｂｉを１フレーム中のマク
ロブロックの数で割ったものとする。送信バッファ４９
からのバッファフィードバック制御は、上述の第１の実
施の形態と同じである。

【０１０７】この第２の実施の形態では、割当符号量ｂ
ｉをフレームに基づいて求めていることから、上述の第
１の実施の形態に比して、すべてのｂｉを記憶するため
に必要なメモリ量を節約することが可能である。

【０１０８】第３の実施の形態上述の実施の形態では、
所定時間当たりの割当符号量すなわち所定時間当たりの
平均符号化レートを、フレームを所定時間としてフレー
ム毎に得るようにしているが、本発明はこれに限定され
るものではない。例えば、所謂ＭＰＥＧ（Moving Pictu
re ExpertGroup）におけるＧＯＰ（Group of Picture）
を所定時間としてもよい。なお、上述のＭＰＥＧは、所
謂ＩＳＯ（国際標準化機構）とＩＥＣ（国際電気標準会
議）のＪＴＣ（Joint Technical Committee ）１におけ
るＳＣ（Sub Committee ）２９のＷＧ（Working Group
）１１において検討されている動画像符号化方式の通
称である。

【０１０９】すなわち、この第３の実施の形態におい
て、上記ＭＰＥＧにおけるＧＯＰは、少なくとも１枚の
所謂Ｉピクチャと、複数枚のＰピクチャ又はＢピクチャ
（非Ｉピクチャ）とから構成される。具体的には、例え
ば図８に示すように、１枚のＩピクチャと、３ピクチャ
周期の４枚のＰピクチャと、１０枚のＢピクチャとから
構成されるとすると、符号化制御回路３０は、ＧＯＰ毎
に割当符号量を求める。ここで、Ｉピクチャとは、フィ
ールド内若しくはフレーム内符号化される画像であり、
Ｐピクチャとは、前方向からのみ予測可能とされ、フィ
ールド間若しくはフレーム間符号化される画像であり、
Ｂピクチャとは、前方向から、後方向から、および両方
向から予測可能とされ、フィールド間若しくはフレーム
間符号化される画像である。

【０１１０】そして、第１の符号化回路１０において、
例えば図９に示すように、ＧＯＰを構成するピクチャ数
を周期としてＧＯＰ内の連続する任意の２枚のピクチャ
を仮にＩピクチャ、Ｐピクチャとすると共に、量子化ス
テップサイズを例えば１として、これらのＩピクチャ、
Ｐピクチャの画像データに予測符号化処理、ＤＣＴ変換
処理、可変長符号化処理を施して、可変長符号データを
生成し、この可変長符号データを符号化制御回路３０に
供給する。ここで、２枚のピクチャをＩピクチャ、Ｐピ
クチャとするのは、絵柄の複雑さと、フレーム間の相関
性を調べるためであり、Ｉピクチャの発生符号量から絵
柄の複雑さを知ることができ、Ｐピクチャの発生符号量
からフレーム間の相関性を知ることができる。一般的
に、連続する複数のフレームは類似した画像をもつた
め、抽出した２枚のピクチャからでも、ＧＯＰの絵柄の
傾向を見ることができる。

【０１１１】符号化制御回路３０は、Ｉピクチャのデー
タ量 bitＩj とＰピクチャのデータ量 bitＰj をＧＯＰ
毎に計数すると共に、例えば下記式６に示すように、こ
れらのデータ量 bitＩj 、 bitＰj と、ＧＯＰを構成す
るＰピクチャの枚数Ｎとに基づいて、発生符号量ＧＯＰ
ｙj （ｊ＝０、１、２・・・）をＧＯＰ毎に求める。

【０１１２】 ＧＯＰｙj ＝ bitＩj ＋Ｎ× bitＰj ・・・式６ そして、符号化制御回路３０は、このＧＯＰ毎の発生符
号量ＧＯＰｙj と、使用可能なデータ総量に基づいて、
ＧＯＰ毎に割り当てられる割当符号量を求めると共に、
この割当符号量を第２の符号化回路４０に供給する。

【０１１３】具体的には、全ＧＯＰ数をＭとし、使用可
能なデータ総量をＢとし、ｊ（ｊ＝０、１、２・・・Ｍ
−１）番目のＧＯＰの発生符号量をＧＯＰｙj とし、ｊ
番目のＧＯＰでの輝度信号Ｙの平均値をＬｊ、分散をＶ
ｊとし、色度信号Ｃｒの平均値をＲｊとし、動きベクト
ル量の平均値をＭｊとし、それぞれ関数ｆ₁ 、ｆ₂ 、ｆ
₃ 、ｆ₄ の特性から画像の絵柄の主観的印象を符号化難
易度ＧＯＰｄj へ反映する係数α_j，β_j，γ_j，θ_jを求
め、式７に示すように、それらとｙj の積により、符号
化難易度ＧＯＰｄj を求める。関数ｆ₁ 、ｆ₂ 、ｆ₃ 、
ｆ₄ のそれぞれの特性は、上述した図３〜図６に示した
ものと同じものが適用できる。

【０１１４】ｊ番目のＧＯＰに対する割当符号量をＧＯ
Ｐｂj とし、この割当符号量ＧＯＰｂj を下記式８に示
すように難易度に比例させると、データ総量Ｂは、下記
式９に示すように、全ＧＯＰの割当符号量ＧＯＰｂj を
加算することにより求められる。なお、ａ，ｃは定数で
ある。

【０１１５】 α_j ＝ ｆ₁（Ｌj） β_j ＝ ｆ₂（Ｒj） γ_j ＝ ｆ₃（Ｖj） θ_j ＝ ｆ₄（Ｍj） ＧＯＰｄj ＝ α_j×β_j×γ_j×θ_j×ＧＯＰｙj ・・・式７ ＧＯＰｂj ＝ ａ×ＧＯＰｄj ＋ ｃ ・・・式８

【０１１６】

【数３】

【０１１７】ここで、定数ｃは、１シーケンスでの平均
ビットレートに応じて、あらかじめ決定される値であ
る。また、定数ａは下記式１０により求めることがで
き、この定数ａを式８に代入すると、ｊ番目のＧＯＰに
対する割当符号量ＧＯＰｂj は、下記式１１により求め
ることができる。

【０１１８】

【数４】

【０１１９】かくして、符号化制御回路３０は、例えば
絵柄が複雑な画像が含まれる或いはフレーム間の相関が
低いＧＯＰに対しては割当符号量ＧＯＰｂj を多くし、
逆に単純な絵柄の画像が含まれる或いはフレーム間の相
関が高いＧＯＰに対しては割当符号量ＧＯＰｂj を少な
くする。

【０１２０】次に、第２の符号化回路４０は、例えば図
１０に示すように、ステップＳＴ２１において遅延器４
３を介して画像データが入力されると、ステップＳＴ２
２において、現在入力されている画像データがＧＯＰの
先頭ピクチャかを判断し、該当するときはステップＳＴ
２３に進み、該当しないときはステップＳＴ２４に進
む。

【０１２１】ステップＳＴ２３において、第２の符号化
回路４０は、現在符号化の対象とされているＧＯＰに対
する割当符号量を符号化制御回路３０から読み込み、ス
テップＳＴ２４に進む。

【０１２２】ステップＳＴ２４において、第２の符号化
回路４０は、画像データに予測符号化処理、ＤＣＴ変換
処理を施すと共に、割当符号量に基づいた量子化ステッ
プサイズにより係数データを量子化した後、可変長符号
化し、ステップＳＴ２５に進む。

【０１２３】ここで、量子化スケール設定回路３３は、
供給されたＧＯＰ毎の割当符号量から、フレーム毎の割
当符号量を、実際の符号化におけるピクチャタイプ（Ｉ
ピクチャ、Ｐピクチャ、Ｂピクチャ）、すなわち図８に
示されるピクチャタイプを考慮して設定する。具体的に
は、Ｉピクチャに対する割当符号量を多くし、Ｂピクチ
ャに対する割当符号量を少なくし、Ｐピクチャに対する
割当符号量をその中間とする。量子化スケール設定回路
３３の以降の処理は、上述のフレーム毎に割当符号量を
求めた実施の形態と同様である。

【０１２４】次にステップＳＴ２５において、同一の画
面サイズや同一の転送レートが適用される全フレーム
（シーケンス）に対して符号化処理が終了したかが判断
され、該当するときは終了し、該当しないときはステッ
プＳＴ２１に戻る。かくして、ＧＯＰ単位で符号化レー
トが変わる可変レート符号化が実現され、絵柄が複雑な
画像（フレーム）が連続しても、これらの画像に対して
量子化ステップサイズが従来の装置のように大きくされ
ることなく、全体を通じて均等な高画質を得ることがで
きる。また、この実施の形態ではＧＯＰ毎の割当符号量
を２つのピクチャに基づいて求めていることから、上述
の実施の形態に比して高速処理が可能である。なお、Ｇ
ＯＰ内の全ピクチャのデータ量に基づいて各ＧＯＰの割
当符号量を求めるようにしてもよいことは言うまでもな
い。

【０１２５】第４の実施の形態次に、本発明を適用した
画像符号化装置の第４の実施の形態について、図１１を
参照しながら説明する。

【０１２６】この第４の実施の形態と、上記第１〜第３
の実施の形態とでは、次に示すような２つの相違点があ
る。すなわち、第１に、図１の第１の符号化回路１０が
なく符号化難易度の求め方が異なっており、第２に、ビ
ットレート演算回路３２の動作が異なっている。以下
に、これらの違いについて説明する。

【０１２７】この図１１に示す第４の実施の形態の画像
符号化装置は、入力映像信号の統計的性質を求める画像
解析回路６０と、該画像解析回路６０からの統計デー
タ、及び使用可能なデータ総量に基づいて所定時間毎の
符号化レートを求める符号化制御回路３０と、該符号化
制御回路３０からの符号化レートに基づいて上記所定時
間毎に上記入力映像信号を符号化して符号化データを生
成する符号化回路４０とを備える。

【０１２８】画像解析回路６０では、入力映像信号の統
計的性質に基づく情報あるいは画像特性情報を求めてお
り、この画像特性情報として、例えば、輝度信号Ｙの所
定時間毎の平均値（Ｌ）を計算し、また入力画像の色度
についての統計情報、例えば、色度信号Ｃｒの所定時間
毎の平均値（Ｒ）を計算し、また入力画像の平坦度の統
計情報、例えば、輝度信号Ｙの所定時間毎の分散値
（Ｖ）を計算し、入力画像の動き量の統計情報、例え
ば、動きベクトル量の所定時間毎の平均値（Ｍ）を計算
し、さらに、画像間差分情報、例えば動きベクトルの画
像間予測残差の所定時間毎の絶対値和（Ｅ）を計算す
る。

【０１２９】すなわち、動きベクトルの画像間予測残差
としては、符号化対象マクロブロックの輝度信号Ｙj
と、動きベクトルにより参照されるマクロブロックの輝
度信号Ｒi の差の絶対値の和Ｅを求める。

【０１３０】

【数５】

【０１３１】なお、Ｅについては、絶対値和の代わりに
二乗和を用いてもよい。

【０１３２】この画像符号化装置では、例えば図１２に
示すように、ステップＳＴ３１において、符号化難易度
（difficulty）を表す入力映像信号の統計的性質の情報
である画像特性情報、ここではマクロブロックの輝度信
号Ｙの平均値Ｌと分散Ｖ、そして色度信号Ｃｒの平均値
Ｒ、そしてマクロブロックの動きベクトル量の平均値Ｍ
と動きベクトルの画像間予測残差の絶対値和Ｅを、所定
時間毎、例えばマクロブロック毎に求める。なお、マク
ロブロックがイントラ符号化モード、いわゆるＩピクチ
ャの場合は、上記動きベクトルの画像間予測残差の絶対
値和を計算するよりも、むしろマクロブロック内の平均
値分離残差の絶対値和を計算することが好ましい。

【０１３３】すなわち、イントラ符号化モードのブロッ
ク内の平均値分離残差の絶対値和として、符号化対象マ
クロブロックの輝度信号Ｙi と、マクロブロックの輝度
信号Ｙi の平均値Ｙavとの差の絶対値和Ｅを、次の式１
３により求める。

【０１３４】

【数６】

【０１３５】なお、この式１３のＥについて、絶対値和
の代わりに、二乗和、すなわち上記分散値Ｖを用いるよ
うにしてもよい。

【０１３６】次のステップＳＴ３２において、ビットレ
ート演算回路３２は、マクロブロック毎の輝度信号の平
均値と分散と、色度信号の平均値と、動きベクトル量の
平均値と、動きベクトルの画像間予測残差又は輝度信号
の平均値分離残差と、使用可能なデータ総量に基づい
て、マクロブロック毎に割り当てられる割当符号量を求
める。

【０１３７】次のステップＳＴ３３において、符号化回
路４０の量子化回路４６は、割当符号量に基づいた量子
化ステップサイズにより、ＤＣＴ回路４５から供給され
る係数データを量子化して、量子化データを生成するよ
うになっている。

【０１３８】ここで、ビットレート演算回路３２の具体
的な動作を説明する。ビットレート演算回路３２は、シ
ーケンスの全マクロブロック数をＮとし、ｉ（ｉ＝０、
１、２・・・Ｎ−１）番目のマクロブロックの輝度信号
Ｙの平均値をＬｉ、分散をＶｉとし、色度信号Ｃｒの平
均値をＲｉとし、動きベクトル量の平均値をＭｉとし、
関数ｆ₁ 、ｆ₂ 、ｆ₃ 、ｆ₄ の特性から画像の絵柄の主
観的印象を符号化難易度ｄi へ反映する係数α_i ，
β_i ，γ_i ，θ_i を求める。また、動きベクトルの画像
間予測残差の絶対値和Ｅに基づき、関数ｆ₆ の特性か
ら、そのマクロブロックの発生符号量の推定値、すなわ
ち上記第１の実施の形態でのｙｉに相当するものｙ'ｉ
を経験的に推定する。そして、下記の式３１に示すよう
に、各係数α_i，β_i ，γ_i ，θ_i と発生符号量の推定
値ｙ'ｉ との積により、符号化難易度ｄｉを求めてい
る。

【０１３９】 α_i ＝ ｆ₁（Ｌｉ） ・・・式１４ β_i ＝ ｆ₂（Ｒｉ） ・・・式１５ γ_i ＝ ｆ₃（Ｖｉ） ・・・式１６ θ_i ＝ ｆ₄（Ｍｉ） ・・・式１７ ｙ'_i ＝ ｆ₆（Ｅｉ） ・・・式１８ ｄ_i ＝ α_i×β_i×γ_i×θ_i×ｙ'_i ・・・式１９ 上記関数ｆ₁ 、ｆ₂ 、ｆ₃ 、ｆ₄ の特性の具体例は、上
記図３〜図６に示すものを使用できる。また、上記関数
ｆ₆ の一例を図１３に示す。すなわち、この図１３は、
動きベクトルの画像間予測残差に対するマクロブロック
単位の発生符号量の推定値ｙ' を示している。実験結果
から経験的にＥとｙ’とはほぼ比例する関係にあり、ｉ
番目のマクロブロックの動きベクトルの画像間予測残差
Ｅｉについての発生符号量の推定値ｙ'ｉ は ｆ₆（Ｖ
ｉ）となる。

【０１４０】符号化対象マクロブロックがイントラ符号
化モードの場合は、マクロブロック内の輝度信号の上記
平均値分離残差の絶対値和、又は分散値（Ｖ）を用いる
ことが好ましく、この場合には、例えば輝度信号Ｙの分
散Ｖｉに基づき、関数ｆ₅ の特性から、そのマクロブロ
ックの発生符号量の推定値ｙ'ｉ を推定する。

【０１４１】 ｙ'_i ＝ ｆ₅（Ｖｉ） ・・・式２０ この関数 ｆ₅（Ｖｉ）の具体例を図１４に示す。この図
１４は、輝度信号Ｙの分散Ｖに対するマクロブロック単
位の発生符号量の推定値ｙ' を示しており、ｉ番目のマ
クロブロックの輝度信号Ｙの分散Ｖｉについての発生符
号量の推定値ｙ'ｉ は ｆ₅（Ｖｉ）となる。

【０１４２】ｉ番目のマクロブロックに対する割当符号
量ｂｉは、上記第１の実施の形態で説明した式５のよう
にして求めることができる。

【０１４３】かくして、ビットレート演算回路３２は、
例えば複雑な絵柄のフレームに対しては割当符号量を多
くし、逆に単純な絵柄のフレームに対しては割当符号量
を少なくする。

【０１４４】符号化回路４０の動作は、上記第１の実施
の形態で説明した第２の符号化回路４０と同じであるの
で、省略する。

【０１４５】ここで、上述した実施の形態では、所定時
間当たりの割当符号量ｂｉについて、マクロブロックを
所定時間として、マクロブロック毎に得るようにた例を
説明しているが、この所定時間をフレームまたはＧＯＰ
（グループオブピクチャ）とする場合も同様である。こ
の場合、上記第２、第３の実施の形態のように、輝度信
号Ｙの平均値Ｌｉ、分散値Ｖｉ、色度信号Ｃｒの平均値
Ｒｉ、及び動きベクトル量の平均値Ｍｉの各パラメータ
を所定時間毎に計算し、さらに上記動きベクトルの画像
間予測残差又は輝度信号の平均値分離残差の絶対値和Ｅ
ｉを所定時間毎に計算し、上記式１９のように、所定時
間毎の符号化難易度を計算し、上記式５のように、所定
時間毎の割当符号量を計算すればよい。

【０１４６】なお、本発明は上述の実施の形態に限定さ
れるものではなく、例えば上述の実施の形態おいては、
変換符号化をＤＣＴとしているが、所謂ストラト変換、
ハール変換、ウエーブレット変換等としてもよい。

【０１４７】

【発明の効果】以上の説明からも明らかなように、本発
明によれば、入力映像信号の少なくとも一部を符号化し
て第１の符号化データを生成し、この第１の符号化デー
タの所定時間毎のデータ量と、入力映像信号の所定時間
毎の画像特性情報と、使用可能なデータ総量とに基づい
て上記所定時間毎の符号化レートを求め、この符号化レ
ートに基づいて上記所定時間毎に上記入力映像信号を符
号化して第２の符号化データを生成しているため、画像
の複雑さに応じた所定時間毎のデータ量に基づくと共
に、画像特性情報により人間の視覚特性が反映された符
号化レートで、使用可能なデータ総量を有効に活用した
符号化が行える。

【０１４８】また、絵柄が複雑な画像（フレーム）が連
続しても、これらの画像に対して量子化ステップサイズ
が従来の装置のように大きくされることなく、全体を通
じて視覚的に好ましく均等な高画質を得ることができ
る。

【０１４９】さらに、上述のようにして得られる第２の
符号化データは可変レートであるため、これを画像記録
媒体に記録することにより、限られた記憶容量を有効に
使うことができ、画像記録媒体の記録時間を長くするこ
とができる。そして、この画像記録媒体から全体を通じ
て均等でしかも視覚的に良好な高画質の画像データを再
生することができる。

【０１５０】また、上記第１の符号化データを生成する
ことなしに、入力映像信号の所定時間毎の画像特性情報
から計算した所定時間毎の符号化難易度情報と、使用可
能なデータ総量とに基づいて上記所定時間毎の符号化レ
ートを求め、この符号化レートに基づいて上記所定時間
毎に上記入力映像信号を符号化することにより、可変レ
ートの符号化データを生成するようにしても、ほぼ上述
と同様な効果が得られる。さらに、システムの簡略化が
図れる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を適用した画像符号
化装置の要部の回路構成を示すブロック図である。

【図２】第１の実施の形態の画像符号化装置を構成する
第１の符号化回路の動作を説明するためのフローチャー
トである。

【図３】輝度信号Ｙの平均値Ｌと係数αの関数ｆ₁ の特
性図である。

【図４】色度信号Ｃｒの平均値Ｒと係数βの関数ｆ₂ の
特性図である。

【図５】輝度信号Ｙの分散値Ｖと係数γの関数ｆ₃ の特
性図である。

【図６】動きベクトル量の平均値Ｍと係数θの関数ｆ₄
の特性図である。

【図７】第１の実施の形態の画像符号化装置を構成する
第２の符号化回路の動作を説明するためのフローチャー
トである。

【図８】ＭＰＥＧにおけるＧＯＰの構成を説明するため
の各ピクチャを示す図である。

【図９】ＧＯＰ毎の符号化制御信号を説明するための各
ピクチャを示す図である。

【図１０】本発明の第３の実施の形態となる画像符号化
装置を構成する第２の符号化回路の動作を説明するため
のフローチャートである。

【図１１】本発明の第４の実施の形態を適用した画像符
号化装置の要部の回路構成を示すブロック図である。

【図１２】該第４の実施の形態の画像符号化装置の要部
の動作を説明するためのフローチャートである。

【図１３】動きベクトルの画像間予測残差に対するマク
ロブロック単位の発生符号量の推定値ｙ'iの関数ｆ₆ の
特性図である。

【図１４】輝度信号Ｙの分散値Ｖとマクロブロックの発
生符号量の推定値ｙ'iの関数ｆ₅の特性図である。

【図１５】予測符号化の原理を説明するための画像を示
す図である。

【図１６】動き補償予測符号化の原理を説明するための
画像を示す図である。

【図１７】画像符号化装置と画像復号化装置の構成例を
示すブロック図である。

【図１８】マクロブロック、スライスの構成を示す図で
ある。

【図１９】従来のエンコーダの回路構成の一例を示すブ
ロック図である。

【図２０】従来のデコーダの回路構成の一例を示すブロ
ック図である。

【符号の説明】 １０ 第１の符号化回路 １４、４４ 予測符号化回路 １５、４５ ＤＣＴ回路 １６、４６ 量子化回路 １７、４７ 可変長符号化回路 ３０ 符号化制御回路 ３１ カウンタ ３２ ビットレート演算回路 ３３ 量子化スケール設定回路 ４０ 第２の符号化回路 ４３ 遅延器 ６０ 画像解析回路 ６１ フレーム内情報解析回路 ６２ フレーム間情報解析回路

Claims (7)

【特許請求の範囲】
1. 【請求項１】 入力映像信号の所定時間毎の画像特性情
   報に基づいて所定時間毎の符号化難易度を求め、 この符号化難易度と、使用可能なデータ総量とに基づい
   て所定時間毎の符号化レートを求め、 この符号化レートに基づいて上記所定時間毎に上記入力
   映像信号を符号化して符号化データを生成することを特
   徴とする画像符号化方法。
2. 【請求項２】 上記画像特性情報は、画像の輝度、色
   度、平坦度、画像の動き、画像間差分の少なくとも１つ
   を所定時間毎に計算して求めることを特徴とする請求項
   １記載の画像符号化方法。
3. 【請求項３】 上記画像特性情報は、画像の輝度情報と
   しての輝度信号の所定時間毎の平均値、色度情報として
   の色度信号の所定時間毎の平均値、平坦度情報としての
   輝度信号の分散値、画像の動き情報としてのマクロブロ
   ックの動きベクトル量の所定時間毎の平均値、画像間差
   分としてのマクロブロックの動きベクトルの画像間予測
   残差の所定時間毎の総和の内の少なくとも１つを求める
   ことを特徴とする請求項１記載の画像符号化方法。
4. 【請求項４】 入力映像信号の少なくとも一部を符号化
   して第１の符号化データを生成する第１の符号化手段
   と、 この第１の符号化手段からの第１の符号化データの所定
   時間毎のデータ量と、入力映像信号の所定時間毎の画像
   特性情報と、使用可能なデータ総量とに基づいて上記所
   定時間毎の符号化レートを求める符号化制御手段と、 この符号化制御手段からの所定時間毎の符号化レートに
   基づいて上記所定時間毎に上記入力映像信号を符号化し
   て第２の符号化データを生成する第２の符号化手段とを
   備えることを特徴とする画像符号化装置。
5. 【請求項５】 上記符号化制御手段は、上記画像特性情
   報として、画像の輝度、色度、平坦度、画像の動きの少
   なくとも１つを所定時間毎に計算して求めることを特徴
   とする請求項４記載の画像符号化装置。
6. 【請求項６】 上記符号化制御手段は、上記画像特性情
   報として、画像の輝度情報としての輝度信号の所定時間
   毎の平均値、色度情報としての色度信号の所定時間毎の
   平均値、平坦度情報としての輝度信号の分散値、画像の
   動き情報としてのマクロブロックの動きベクトル量の所
   定時間毎の平均値の内の少なくとも１つを求めることを
   特徴とする請求項５記載の画像符号化装置。
7. 【請求項７】 入力映像信号の少なくとも一部を符号化
   して第１の符号化データを生成し、この第１の符号化デ
   ータの所定時間毎のデータ量と、入力映像信号の所定時
   間毎の画像特性情報と、使用可能なデータ総量とに基づ
   いて上記所定時間毎の符号化レートを求め、この符号化
   レートに基づいて上記所定時間毎に上記入力映像信号が
   符号化されて得られた第２の符号化データが記録されて
   成ることを特徴とする画像記録媒体。