JP3857342B2 - 画像符号化方法及び画像符号化装置 - Google Patents
画像符号化方法及び画像符号化装置 Download PDFInfo
- Publication number
- JP3857342B2 JP3857342B2 JP31334895A JP31334895A JP3857342B2 JP 3857342 B2 JP3857342 B2 JP 3857342B2 JP 31334895 A JP31334895 A JP 31334895A JP 31334895 A JP31334895 A JP 31334895A JP 3857342 B2 JP3857342 B2 JP 3857342B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- circuit
- encoding
- image
- predetermined time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、画像符号化方法及び画像符号化装置に関し、特に、光ディスク、磁気ディスク、磁気テープ等の画像記録媒体に動画の映像信号を蓄積用符号化して記録するシステムや、伝送路を介して動画の映像信号を伝送するシステム等において使用される画像符号化方法及び画像符号化装置に関するものである。
【０００２】
【従来の技術】
従来、例えばテレビ会議システム、テレビ電話システム等のように動画の映像信号を遠隔地に伝送するシステムや、動画の映像信号を光ディスク、磁気ディスク、磁気テープ等の画像記録媒体に記録し、また記録された動画の映像信号を再生するシステム等において、伝送路（あるいは画像記録媒体）を効率良く利用するために、映像信号の有するライン相関やフレーム相関を利用して映像信号を所謂高能率符号化し、空間軸方向と時間軸方向の冗長度を落として有意情報のみを伝送し、伝送効率を高めるようになされている。
【０００３】
例えば空間軸方向の符号化処理（以下フレーム内符号化処理という）では、映像信号の例えばライン相関を利用するもので、図８のＡに示す時刻ｔ1 、ｔ2 、ｔ3 、・・・において動画を構成する各画像ＰＣ１、ＰＣ２、ＰＣ３・・・を伝送しようとする場合、伝送処理すべき画像データを、例えば同一走査線内で１次元符号化したり、例えば画像を複数のブロックに分割し、各ブロックの画像データを２次元符号化することにより、データ圧縮を行い、伝送効率を向上させている。
【０００４】
また、時間軸方向の符号化処理（以下フレーム間符号化処理という）では、映像信号のフレーム間相関を利用して例えば所謂予測符号化により、すなわち図８のＢに示すように、順次隣合う画像ＰＣ１及びＰＣ２、ＰＣ２及びＰＣ３・・・間の対応する画素毎の画像データの差分（所謂予測誤差）でなる画像データＰＣ１２、ＰＣ２３・・・を求め、これらの画像データＰＣ１２、ＰＣ２３・・・を伝送することにより、データ圧縮を行い、伝送効率を向上させている。
【０００５】
かくして、画像ＰＣ１、ＰＣ２、ＰＣ３・・・の全ての画像データを伝送する場合と比較して、格段に少ないデータ量で映像信号を伝送することができる。
【０００６】
また、上述のフレーム間符号化処理における予測符号化では、さらに効率を高めるために、例えばマクロブロック単位で動き補償予測が用いられる。すなわち、例えば画面中央の人物が移動する場合等、画面中の動いている物体に対してその動きを検出し、その動き分だけ前の画像中で予測に用いる画像データの位置を補正して予測符号化を行うことにより、符号化効率を向上させることができる。しかし、これでもまだ、物体が移動して後ろから出現した部分に対しては、多くのデータを送らなけらばならない。そこで、動き補償予測を上述の前方だけではなく、後方あるいは両者を組み合わせて行うことにより、さらに符号化効率を高めることができる。
【０００７】
具体的には、図９のＡに示すように、伝送しようとする動画の映像信号ＶＤの第０、第１、第２、第３・・・番目のフレームのフレームデータＦ０、Ｆ１、Ｆ２、Ｆ３・・・のマクロブロックにおいて、順次フレーム間に動きベクトルＸ０、Ｘ１、Ｘ２、Ｘ３・・・でそれぞれ表わされるような画像の変化があった場合、送信側の装置は、所定フレーム数（例えば１フレーム）置きの、すなわち第２、第４・・・番目のフレームを補間フレームに指定し、これらの補間フレームに対して、図９のＢに示すように、所定の補間フレーム処理により伝送補間フレームデータＦ２Ｘ、Ｆ４Ｘ・・・を生成する。また、残りの非補間フレームに対して、フレームデータＦ１、Ｆ３・・・に所定の符号化処理を施して、伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ・・・を生成する。
【０００８】
例えば、動き補償されたフレームデータＦ３とフレームデータＦ２の差分ＳＰ２（予測誤差）、動き補償されたフレームデータＦ１とフレームデータＦ２の差分ＳＰ３、動き補償されたフレームデータＦ１、Ｆ３を補間処理して得られるフレームデータとフレームデータＦ２の差分ＳＰ４をマクロブロック単位でそれぞれ求め、フレームデータＦ２のマクロブロックＳＰ１とこれらの差分の比較を行う。そして、これらのデータＳＰ１〜ＳＰ４のうちでデータ発生量が最小のデータをマクロブロック単位で伝送補間データＦ２Ｘとし、以下同様して各補間フレームに対する伝送補間データＦ４Ｘ・・・を生成する。また、非補間フレームのフレームデータＦ１、Ｆ３・・・にそれぞれ、例えばＤＣＴ変換処理、可変長符号化処理等を施して伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ・・・を生成する。
【０００９】
そして、これらの伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ・・・及び伝送補間データＦ２Ｘ、Ｆ４Ｘ・・・を、動きベクトルＸ０, Ｘ１, Ｘ３・・・のデータと共に、伝送データDATAとして受信側の装置に伝送する。
【００１０】
一方、受信側の装置は、送られてくる伝送データDATA（伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ・・・、伝送補間データＦ２Ｘ、Ｆ４Ｘ・・・、動きベクトルＸ０, Ｘ１, Ｘ３・・・のデータ）に、送信側の符号化処理に対応した復号化処理を施して、フレームデータＦ０、Ｆ１、Ｆ２、Ｆ３・・・を再生する。この結果、動き補償予測を前方だけではなく、後方あるいは両者を組み合わせて行うことにより、さらに符号化効率を高めることができる。
【００１１】
ここで、上述の機能を有する画像符号化装置と画像復号化装置について、図１０を参照しながら説明する。
【００１２】
この図１０に示す画像符号化装置７０は、入力映像信号ＶＤを輝度信号と色差信号に分離する前処理回路７１と、該前処理回路７１からの輝度信号、色差信号をそれぞれディジタル信号に変換するアナログ／ディジタル（以下Ａ／Ｄという）変換回路７２ａ、７２ｂと、該Ａ／Ｄ変換回路７２ａ、７２ｂからの輝度データ、色差データ（以下これらを画像データという）を記憶するフレームメモリ群７３と、フレームメモリ群７３から画像データをブロックフォーマットに従って読み出すフォーマット変換回路７４と、フォーマット変換回路７４からのブロックの画像データを高能率符号化するエンコーダ７５とを備える。
【００１３】
そして、前処理回路７１は、入力映像信号ＶＤを輝度信号と色差信号に分離し、Ａ／Ｄ変換回路７２ａ、７２ｂは、輝度信号、色差信号をそれぞれ８ビツトからなる輝度データ、色差データに変換し、フレームメモリ群７３は、これらの輝度データ、色差データを記憶する。
【００１４】
フォーマット変換回路７４は、フレームメモリ群７３に記憶されている画像データ（輝度データ、色差データ）を、ブロックフォーマットに従って読み出し、エンコーダ７５は、この読みだされた画像データを所定の高能率符号化により符号化して、ビットストリームを出力する。
【００１５】
そして、このビットストリームは、伝送路や、光ディスク、磁気ディスク、磁気テープ等の画像記録媒体からなる伝送メディア９０を介して、画像復号化装置８０に供給される。
【００１６】
この画像復号化装置８０は、上述の図１０に示すように、上記エンコーダ７５に対応したデコーダ８１と、該デコーダ８１で再生された画像データを、フレームフォーマットに変換するフォーマット変換回路８２と、該フォーマット変換回路８２からの画像データを記憶するフレームメモリ群８３と、該フレームメモリ群８３から読み出された輝度データ、色差データをアナログ信号に変換するＤ／Ａ変換回路８４ａ、８４ｂと、該Ｄ／Ａ変換回路８４ａ、８４ｂからの輝度信号、色差信号を混合して出力映像信号を生成する後処理回路８５とを備える。
【００１７】
そして、デコーダ８１は、エンコーダ７５の高能率符号化に対応した復号化によりビットストリームを復号化して、ブロックフォーマットの画像データを再生し、フォーマット変換回路８２は、この画像データをフレームフォーマットに変換してフレームメモリ群８３に記憶する。
【００１８】
Ｄ／Ａ変換回路８４ａ、８４ｂは、フレームメモリ群８３から読み出された輝度データ、色差データをそれぞれ輝度信号、色差信号に変換し、後処理回路８５は、これらの輝度信号、色差信号を混合して出力映像信号を生成する。
【００１９】
具体的には、前処理回路７１及びＡ／Ｄ変換回路７２ａ、７２ｂは、上述したように輝度信号及び色差信号をディジタル信号に変換すると共に、色差信号に対しては上下左右方向に画素数が輝度信号の１／２となるようにデータ量を削減した後、時間軸多重化し、得られる輝度データと色差データをフレームメモリ群７３に供給する。
【００２０】
そして、フレームメモリ群７３からは、上述したようにブロックフォーマットに従って輝度データと色差データが読み出される。すなわち、例えば１フレーム分の画像データは、図１１のＡに示すように、Ｎ個のスライスに分割され、各スライスが、図１１のＢに示すように、Ｍ個のマクロブロックを含むようになされ、各マクロブロックは、図１１のＣに示すように、８×８画素からなるブロック単位であって上下左右に隣接する４つの輝度ブロックの輝度データＹ[1] 、Ｙ[2] 、Ｙ[3] 、Ｙ[4] と、これらの４つの輝度ブロックに対応する範囲の８×８画素からなる色差ブロックの色差データＣb[5]、Ｃr[6]とを含んでなる。そして、フレームメモリ群７３からは、スライスではマクロブロツク単位で画像データが連続し、マクロブロツク内ではＹ[1],Ｙ[2],Ｙ[3],Ｙ[4],Ｃb[5],Ｃr[6] の順に連続するように輝度データと色差データが読み出される。このようにしてブロックフォーマットに従って読み出された画像データは、エンコーダ７５に供給される。
【００２１】
エンコーダ７５は、図１２に示すように、動きベクトル検出回路１０１を備え、この動きベクトル検出回路１０１は、ブロックフォーマットで供給される画像データの動きベクトルをマクロブロック単位で検出する。すなわち、動きベクトル検出回路１０１は、フレームメモリ群１０２に記憶された前方原画像及び／又は後方原画像を用いて、現在の参照画像の動きベクトルをマクロブロック単位で検出する。ここで、動きベクトルの検出は、マクロブロック単位でのフレーム間差分の絶対値和が最小になるものを、その動きベクトルとする。そして、検出された動きベクトルは動き補償回路１１３等に供給され、マクロブロック単位でのフレーム間差分の絶対値和はフレーム内／前方／後方／両方向予測判定回路１０３に供給される。
【００２２】
このフレーム内／前方／後方／両方向予測判定回路１０３は、この値をもとに、参照ブロックの予測モードを決定し、決定した予測モードに基づいて、マクロブロック単位でフレーム内／前方／後方／両方向予測の切り換えを行うように予測符号化回路１０４を制御する。そして、予測符号化回路１０４は、加算回路１０４ａ、１０４ｂ、１０４ｃ及び切換スイッチ１０４ｄを備え、フレーム内符号化モードのときは入力画像データそのものを、前方／後方／両方向予測モードのときはそれぞれの予測画像に対する入力画像データの画素毎の差分（以下差分データという）を選択し、選択したデータをＤＣＴ回路１０５に供給する。
【００２３】
ＤＣＴ回路１０５は、映像信号の２次元相関を利用して、入力画像データ又は差分データをブロツク単位でＤＣＴ変換し、得られる係数データを量子化回路１０６に供給する。
【００２４】
量子化回路１０６は、マクロブロック又はスライス毎に定まる量子化ステップサイズ（量子化スケール）を用いて係数データを量子化し、得られる量子化データを可変長符号化（ＶＬＣ：Variable Length Code）回路１０７及び逆量子化回路１０８に供給する。ところで、この量子化に用いる量子化ステップサイズは、後述する送信バッファメモリ１０９のバッファ残量をフィードバックすることによって、送信バッファメモリ１０９が破綻しない値に決定され、この量子化ステップサイズも、可変長符号化回路１０７及び逆量子化回路１０８に供給される。
【００２５】
可変長符号化回路１０７は、量子化データを、量子化ステップサイズ、予測モード、動きベクトルと共に可変長符号化し、伝送データとして送信バッファメモリ１０９に供給する。
【００２６】
送信バッファメモリ１０９は、伝送データを一旦記憶した後、一定のビットレートで読み出すことにより、伝送データを平滑化してビットストリームとして出力すると共に、メモリに残留している残留データ量に応じてマクロブロック単位の量子化制御信号を量子化回路１０６にフィードバックして量子化ステップサイズを制御する。これにより送信バッファメモリ１０９は、ビットストリームとして発生されるデータ量を調整し、メモリ内に適正な残量（オーバーフロー又はアンダーフローを生じさせないようなデータ量）のデータを維持する。例えば、送信バッファメモリ１０９のデータ残量が許容上限にまで増量すると、送信バッファメモリ１０９は、量子化制御信号によつて量子化回路１０６の量子化ステップサイズを大きくすることにより、量子化データのデータ量を低下させる。一方、送信バッファメモリ１０９のデータ残量が許容下限まで減量すると、送信バッファメモリ１０９は、量子化制御信号によつて量子化回路１０６の量子化ステップサイズを小さくすることにより、量子化データのデータ量を増大させる。
【００２７】
このようにして、バッファメモリ１０９から出力されるビットストリームは一定のビットレートで、上述したように伝送路や、光ディスク、磁気ディスク、磁気テープ等の画像記録媒体からなる伝送メディア９０を介して、画像復号化装置８０に供給される。
【００２８】
一方、逆量子化回路１０８は、量子化回路１０６から供給される量子化データを逆量子化して、上述のＤＣＴ回路１０５の出力に対応する係数データ（量子化歪みが加算されている）を再生し、この係数データを逆離散余弦変換（以下ＩＤＣＴ：Inverse Discrete Cosine Transformという）回路１１０に供給する。
【００２９】
ＩＤＣＴ回路１１０は、係数データをＩＤＣＴ変換して、フレーム内符号化モードでは入力画像データに対応する画像データを再生し、前方／後方／両方向予測モードでは予測符号化回路１０４の出力に対応する差分データを再生して、加算回路１１１に供給する。
【００３０】
この加算回路１１１には、前方／後方／両方向予測モードのとき、後述する動き補償回路１１３から動き補償された予測画像データが供給されており、この動き補償された予測画像データと差分データを加算することにより、入力画像データに対応する画像データを再生する。
【００３１】
そして、このようにして再生された画像データは、フレームメモリ１１２に記憶される。すなわち、逆量子化回路１０８〜加算回路１１１は、局所復号化回路を構成し、予測モードに基づいて、量子化回路１０６から出力される量子化データを局所復号化し、得られる復号画像を前方予測画像もしくは後方予測画像としてフレームメモリ１１２に書き込む。フレームメモリ１１２は、複数のフレームメモリからなり、フレームメモリのバンク切り換えが行われ、符号化する画像に応じて、単一のフレームが、前方予測画像データとして出力されたり、後方予測画像データとして出力される。また、両方向予測の場合は、前方予測画像データと後方予測画像データが例えば平均化されて出力される。これらの予測画像データは、後述するデコーダ８１で再生される画像と全く同一の画像であり、次の処理画像はこの予測画像をもとに前方／後方／両方向予測符号化が行われる。
【００３２】
すなわち、フレームメモリ１１２から読み出された画像データは動き補償回路１１３に供給され、この動き補償回路１１３は、動きベクトルに基づいて、予測画像データに動き補償を施し、動き補償された予測画像データを予測符号化回路１０４及び加算回路１１１に供給する。
【００３３】
次に、デコーダ８１について図１３を参照しながら説明する。
【００３４】
この図１３に示すデコーダ８１には、上記図１０の伝送メディア９０を介してビットストリームが入力される。このビットストリームは、受信バッファ２０１を介して可変長復号化（ＩＶＬＣ）回路２０２に入力される。可変長復号化回路２０２は、ビットストリームから量子化データ、動きベクトル、予測モード、量子化ステップサイズ等を再生する。これらの量子化データと量子化ステップサイズは逆量子化回路２０３に供給され、動きベクトルは動き補償回路２０７に供給され、予測モードは加算回路２０５に供給される。
【００３５】
逆量子化回路２０３〜加算回路２０５の動作は、上記図１２に示すエンコーダ７５の局所復号化回路と同様であり、フレームメモリ群２０６、動き補償回路２０７の動作はそれぞれエンコーダ７５のフレームメモリ１１２、動き補償回路１１３と同じであり、量子化データ、動きベクトル、予測モード、量子化ステップサイズをもとに復号化が行われる。この結果、加算回路２０５から再生画像データが出力され、この再生画像データは、上記図１０のフォーマット変換回路８２に送られる。
【００３６】
【発明が解決しようとする課題】
以上のように、従来の装置では、エンコーダ７５で発生するビットストリームの符号化ビットレートは伝送メディア９０の転送レートにあわせて一定とされ、この制限のもとでデータ発生量、すなわちエンコーダ７５における量子化回路１０６の量子化ステップサイズが制御されていた。換言すると、例えば絵柄が複雑な画像が連続するときは、量子化ステップサイズを大きくしてデータ発生量を抑圧し、逆に単純な絵柄が連続するときは、量子化ステップサイズを小さくしてデータ発生量を増加させることにより、バッファメモリ１０９のオーバーフロー又はアンダーフローを生じさせないようにして固定レートを保持するようになっていた。
【００３７】
したがって、従来の装置では複雑な画像が連続するときは、量子化ステップサイズが大きくされ、画質が劣化し、単純な画像が連続するときは、量子化ステップサイズが小さくされ、全体を通じて均等な画質を得ることができなかった。
【００３８】
また、ビットストリームをデータ容量が限られている画像記録媒体に記録する場合、絵柄が複雑な画像に対する極端な画質劣化を避けるためには、この複雑な画像の画質を損なわないような高いレートの固定レートを全体に対して適用しなければならず、記録時間を減少させる結果となっていた。
【００３９】
さらに、単に画像の複雑さが同じ場合でも、絵柄によって符号化画質の主観的印象が悪い場合がある。これは、人間の視覚特性によるものであり、例えば画像の暗い部分で、符号化ノイズ、例えばブロックノイズやモスキートノイズ等が目立つ、という問題がある。
【００４０】
本発明は、このような実情に鑑みてなされたものであり、全体を通じて均等で良好な画質を得ることができ、また長時間記録を可能にし、さらに、人間の視覚特性を反映して符号化ノイズを目立たせないように符号化することが可能な画像符号化方法及び画像符号化装置を提供することを目的とする。
【００４１】
【課題を解決するための手段】
本発明によれば、上述の課題を解決するために、入力映像信号の少なくとも一部を符号化して第１の符号化データを生成し、この第１の符号化データの所定時間毎のデータ量と、上記入力映像信号を所定の単位毎に複数のブロックに分けた際に指定された一部の当該ブロックの輝度信号の所定時間毎の平均値とを求め、これらの所定時間毎の符号化データ量及び所定時間毎の輝度信号の平均値と、使用可能なデータ総量とに基づいて所定時間毎の符号化レートを求め、この符号化レートに基づいて上記所定時間毎に上記入力映像信号を符号化して第２の符号化データを生成することを特徴としている。
【００４２】
これにより、画像の複雑さに応じた所定時間毎のデータ量に基づく符号化レートで符号化が行え、しかも、人間の視覚特性が反映された符号化が行える。
【００４３】
【発明の実施の形態】
以下、本発明に係る画像符号化方法、画像符号化装置及び画像記録媒体の好ましい実施の形態について図面を参照しながら説明する。
【００４４】
本発明の実施の形態を適用した画像符号化装置は、例えば図１に示すように、入力映像信号を符号化して第１の符号化データを生成する第１の符号化回路１０と、入力映像信号の輝度信号の平均値を計算する平均値計算回路６０と、該第１の符号化回路１０からの第１の符号化データの所定時間毎のデータ量、及び該平均値計算回路６０からのデータ、及び使用可能なデータ総量に基づいて上記所定時間毎の符号化レートを求める符号化制御回路３０と、該符号化制御回路３０からの符号化レートに基づいて上記所定時間毎に上記入力映像信号を符号化して第２の符号化データを生成する第２の符号化回路４０とを備える。
【００４５】
上記輝度信号の平均値計算回路６０では、入力されるマクロブロックの輝度信号値の所定時間毎の平均値Ｌを計算する。各マクロブロックは、前記図１１のＣに示したように、８×８画素からなるブロック単位であって上下左右に隣接する４つの輝度ブロックの輝度データＹ１、Ｙ２、Ｙ３、Ｙ４と、これらの４つの輝度ブロックに対応する範囲の８×８画素からなる色差ブロックの色差データＣｂ、Ｃｒとを含んでなる。計算回路６０では、マクロブロック毎に、輝度ブロックＹ１、Ｙ２、Ｙ３、Ｙ４をつくる２５６画素（８×８画素×４ブロック）の平均値を計算し、そしてマクロブロック毎の平均値を累積加算し、所定時間毎、例えばピクチャでの平均値Ｌを計算する。この輝度信号の平均値Ｌは、そのピクチャの明るさを代表する指標である。画素の輝度値が８ビット精度である場合、平均値Ｌは０から２５５の範囲である。
【００４６】
さらに、上記第１の符号化回路１０は、図１に示すように、入力映像信号である入力画像データを記憶するフレームメモリ群１２と、該フレームメモリ群１２に記憶された画像データに基づいて、入力画像データの動きベクトルを検出する動きベクトル検出回路１１と、予測画像データを記憶するフレームメモリ２２と、上記動きベクトル検出回路１１からの動きベクトルに基づいて、上記フレームメモリ２２から読み出された予測画像データに動き補償を施する動き補償回路２３と、該動き補償回路２３からの動き補償された予測画像データに基づいて、入力画像データを予測符号する予測符号化回路１４と、該予測符号化回路１４からの予測誤差である差分等を符号化、例えば離散余弦変換（以下ＤＣＴ：Discrete Cosine Transform という）して係数データを生成するＤＣＴ回路１５と、該ＤＣＴ回路１５からの係数データを一定の量子化ステップサイズで量子化して、量子化データを生成する量子化回路１６と、該量子化回路１６からの量子化データを可変長符号化して、可変長符号データを出力する可変長符号化（ＶＬＣ：Variable Length Code）回路１７と、上記量子化回路１６からの量子化データを逆量子化して係数データを再生する逆量子化回路１８と、該逆量子化回路１８からの係数データを復号化、例えば逆離散余弦変換（以下ＩＤＣＴ：Inverse Discrete Cosine Transformという）して上記差分を再生するＩＤＣＴ回路２０と、該ＩＤＣＴ回路２０からの差分と上記動き補償回路２３からの動き補償された予測画像データを加算して次の入力画像データに対する予測画像データを生成し、該予測画像データを上記フレームメモリ２２に供給する加算回路２１とを備える。
【００４７】
また、上記第２の符号化回路４０は、上述の図１に示すように、入力画像データを遅延する遅延器４３と、予測画像データを記憶するフレームメモリ５２と、上記動きベクトル検出回路１１からの動きベクトルに基づいて上記フレームメモリ５２から読み出された予測画像データに動き補償を施す動き補償回路５３と、該動き補償回路５３からの動き補償された予測画像データに基づいて、上記遅延器４３で遅延された入力画像データを予測符号化する予測符号化回路４４と、該予測符号化回路４４からの差分等を符号化、例えばＤＣＴ変換して係数データを生成するＤＣＴ回路４５と、上記符号化制御回路３０からの符号化レートに基づいて量子化ステップサイズを設定する量子化スケール設定回路３３と、上記ＤＣＴ回路４５からの係数データを上記量子化スケール設定回路３３からの量子化ステップサイズで量子化して、量子化データを生成する量子化回路４６と、該量子化回路４６からの量子化データを可変長符号化して、可変長符号データを出力する可変長符号化回路４７と、該可変長符号化回路４７からの可変長符号データを一旦記憶し、一定のビットレートで出力する送信バッファメモリ４９と、上記量子化回路４６からの量子化データを逆量子化して係数データを再生する逆量子化回路４８と、該逆量子化回路４８からの係数データを復号化、例えばＩＤＣＴ変換して上記差分を再生するＩＤＣＴ回路５０と、該ＩＤＣＴ回路５０からの差分と上記動き補償回路５３からの動き補償された予測画像データを加算して次の入力画像データに対する予測画像データを生成し、該予測画像データを上記フレームメモリ５２に供給する加算回路５１とを備える。
【００４８】
この画像符号化装置では、第１の符号化回路１０により、入力画像データの１シーケンスに対して符号化処理、例えば予測符号化処理、ＤＣＴ変換処理、一定の量子化ステップサイズでの量子化処理、可変長符号化処理を施し、符号化制御回路３０により、得られる第１のビットストリームである可変長符号データの所定時間毎のデータ量と、輝度信号の平均値計算回路６０により、入力映像信号の輝度信号Ｙの所定時間毎の平均値Ｌと、例えば光ディスク、磁気ディスク、磁気テープ等からなる画像記録媒体５５のデータ容量、あるいは伝送路のビットレート（転送レート）等により定まる使用可能なデータ総量とに基づいて所定時間毎の符号化ビットレートを求めた後、第２の符号化回路４０により、入力画像データに再び予測符号化処理、ＤＣＴ変換処理、量子化処理、可変長符号化処理を施して、第２のビットストリームである可変長符号データを生成する際に、符号化ビットレートに基づいた量子化ステップサイズで量子化するようにしている。
【００４９】
ここで、この実施の形態の画像符号化装置を構成する第１の符号化回路１０の動作の具体例について、図２のフローチャートを参照しながら説明する。
【００５０】
すなわち、図２に示すフローチャートのステップＳＴ１において、第１の符号化回路１０の量子化回路１６は、量子化ステップサイズを固定値にして、ＤＣＴ回路１５から供給される係数データを量子化して、量子化データを生成し、符号化制御回路３０のカウンタ３１は、この量子化データを可変長符号化して得られる可変長符号データ（第１のビットストリーム）のデータ量を所定時間、例えばピクチャ毎に計数して、発生符号量をピクチャ毎に求める。
【００５１】
次のステップＳＴ２において、上記ビットレート演算回路３２は、上記ピクチャ毎の発生符号量と、ピクチャ毎の輝度信号の平均値Ｌと、使用可能なデータ総量Ｂに基づいて、ピクチャ毎に割当符号量を求める。
【００５２】
ステップＳＴ３において、第２の符号化回路４０の量子化回路４６は、割当符号量に基づいた量子化ステップサイズにより、ＤＣＴ回路４５から供給される係数データを量子化して、量子化データを生成するようになっている。
【００５３】
このような第１の符号化回路１０の動作について、図１を参照しながらより具体的に説明する。
【００５４】
入力された画像データは、フレームメモリ群１２に一旦記憶される。そして、フレームメモリ群１２からは、従来の技術で述べたようにブロックフォーマットに従って読み出される。
【００５５】
動きベクトル検出回路１１は、フレームメモリ群１２から必要な画像データを上述のマクロブロック単位で読みだし、動きベクトルを検出する。すなわち、動きベクトル検出回路１１は、フレームメモリ群１２に記憶されている前方原画像及び／又は後方原画像を用いて、現在の参照画像の動きベクトルをマクロブロック単位で検出する。ここで、動きベクトルの検出は、例えばマクロブロック単位でのフレーム間差分の絶対値和が最小になるものを、その動きベクトルとする。そして、検出された動きベクトルは動き補償回路２３、５３等に供給され、マクロブロック単位でのフレーム間差分の絶対値和はフレーム内／前方／後方／両方向予測判定回路１３に供給される。
【００５６】
フレーム内／前方／後方／両方向予測判定回路１３は、この値をもとに、参照ブロックの予測モードを決定し、決定した予測モードに基づいて、ブロック単位でフレーム内／前方／後方／両方向予測の切り換えを行うように予測符号化回路１４を制御する。
【００５７】
予測符号化回路１４は、上述の図１に示すように、加算回路１４ａ、１４ｂ、１４ｃ及び切換スイッチ１４ｄを備え、フレーム内符号化モードのときは入力画像データそのものを、前方／後方／両方向予測モードのときはそれぞれの予測画像に対する入力画像データの画素毎の差分（以下差分データという）を選択し、選択したデータをＤＣＴ回路１５に供給する。
【００５８】
ＤＣＴ回路１５は、映像信号の２次元相関を利用して、切換スイッチ１４ｄから供給される入力画像データ又は差分データをブロツク単位でＤＣＴ変換し、得られる係数データを量子化回路１６に供給する。
【００５９】
量子化回路１６は、量子化ステップサイズを固定値、例えば１にして、ＤＣＴ回路１５から供給される係数データを量子化し、得られる量子化データを可変長符号化回路１７及び逆量子化回路１８に供給する。
【００６０】
可変長符号化回路１７は、量子化データを、量子化ステップサイズ、予測モード、動きベクトル等と共に可変長符号化し、得られる可変長符号データを第１のビットストリームとして符号化制御回路３０に供給する。
【００６１】
符号化制御回路３０は、上述の図１に示すように、上記可変長符号化回路１７から可変長符号データの所定時間毎のデータ量を計数するカウンタ３１と、該カウンタ３１からのデータ量及び使用可能なデータ総量に基づいて所定時間当たりの割当符号量を求めるビットレート演算回路３２とを備える。そして、カウンタ３１は、第１のビットストリームのデータ量を所定時間毎、例えばマクロブロック毎に計数して、発生符号量をマクロブロック毎に求め、この発生符号量をビットレート演算回路３２に供給する。
【００６２】
ビットレート演算回路３２は、このピクチャ毎の発生符号量と、ピクチャの輝度信号Ｙの平均値Ｌと、使用可能なデータ総量に基づいて、そのピクチャの割当符号量すなわちピクチャ時間毎の平均符号化レートを求めると共に、この割当符号量を第２の符号化回路４０の量子化スケール設定回路３３に供給する。
【００６３】
具体的には、ビットレート演算回路３２は、入力動画像シーケンスの全ピクチャ数をＮとし、使用可能なデータ総量をＢとし、ｉ（ｉ＝０、１、２・・・Ｎ−１）番目のピクチャにおいて量子化ステップサイズを固定とした時のｉ番目のピクチャの発生符号量をｙi とし、ｉ番目のピクチャの輝度信号の平均値をＬｉとし、下記の式１に示すように、関数ｆ1 の特性から係数αを求め、下記の式２に示すように、それらとｙｉの積により、符号化の難易度（difficulty）ｄｉを求めている。
【００６４】
α ＝ ｆ1（Ｌｉ，ｙｉ） ・・・式１
ｄｉ ＝ α×ｙｉ ・・・式２
ここで係数αは、符号化画像の画質の主観的印象を符号化難易度ｄｉへ反映するものである。実験により経験的に、画像符号化による画質劣化の見え方は、画像の明るさと関係があり、暗い画像では、符号化ノイズ（ブロックノイズ、モスキートノイズ）を知覚しやすいことがわかった。
【００６５】
図３に、動画像シーケンスにおけるｙｉとＬｉの時間変化の例を示す。図に示すように、発生符号量ｙｉが同じ値であっても、画像の明るさＬｉは同じ値とは限らない。なぜならば、発生符号量ｙｉは、画像の絵柄の複雑さに関係するものであり、大部分がＤＣＴ係数の交流（ＡＣ）係数のエネルギー量が反映されるものであるからである。画像の明るさＬｉは、ＤＣＴ係数の直流（ＤＣ）係数が反映されるが、その符号量は交流係数の符号量に比べ、非常に小さい。そのため、ｙｉには、画質の主観的印象と関係がある画像の明るさが十分に反映されていない。したがって、ｙｉだけでなく、Ｌｉを用いることによって、より画質の主観的印象を考えた符号化難易度ｄｉを計算できる。
【００６６】
上記式１に示すように、関数ｆ1 は、量子化ステップサイズを固定とした時の発生符号量ｙｉとピクチャの輝度信号平均値Ｌｉを引数とする関数である。
【００６７】
ここで、図４、図５に、上記関数ｆ1 の具体的な特性の一例を示す。これらの図４、図５において、縦軸はいずれも係数αをとっており、横軸は、図４では輝度信号Ｙの平均値Ｌをとり、図５では発生符号量ｙをとっている。この特性は、実験により経験的にわかった以下の結果により作られたものである。
【００６８】
すなわち、一般に、人間の目は、暗い画像では、符号化ノイズをわかりやすい。ただし、あるレベル以下の暗さでは、暗すぎて符号化ノイズを知覚できなくなる。また、比較的明るい画像では、符号化ノイズが知覚されにくいことがわかった。すなわち、輝度信号平均値が、あるレベル範囲の暗さをもつ画像について、符号化ノイズが最も知覚されやすいことがわかった。
【００６９】
さらに、絵柄の複雑度が比較的小さいピクチャであり、かつピクチャの輝度信号平均値Ｌが上記レベル範囲にある暗いピクチャの場合、特に符号化ノイズが知覚されやすいことがわかった。上述したように絵柄の複雑度は、量子化ステップサイズを固定とした時の発生符号量ｙと関係する。具体的に、符号化ノイズが知覚されやすいｙの範囲としては、その画像シーケンスにおけるｙの平均値より小さい場合である。
【００７０】
図６は、映画等の動画像シーケンスにおける上記符号発生量ｙの分布図の一例を示している。ここで、ｙavは、動画像シーケンスにおけるｙの平均値である。上述した符号化ノイズが知覚されやすいｙの範囲とは、だいたいＸ1〜Ｘ2の範囲である。
【００７１】
次に、上記図４、図５に示す関数ｆ１の特性を説明する。ここで、明るさＬの軸は、Ｌ＝０が黒であり、Ｌ＝２５５が最も明るい値である。Ｌ＝１２８はグレーレベルである。
【００７２】
（１）発生符号量ｙが比較的小さいＸ1≦ｙ≦Ｘ2の範囲（図６参照）にある絵柄の複雑度が比較的小さいピクチャであり、かつＬがＺ1≦Ｌ≦Ｚ2の範囲にある暗いピクチャの場合、α＞１であり、Ｘ1≦ｙ≦Ｘ2，Ｚ1≦Ｌ≦Ｚ2の範囲の中でαはピークをもつ特性とする。これは、図４の実線に対応する。
（２）ｙに関係なく、Ｌ＞Ｚ2 である比較的明るいピクチャの場合は、α＜１であり、Ｌが大きい程、αが小さくなる特性とする。これは、図４の破線に対応する。
（３）上記（１），（２）以外の場合には、α＝１である。これにあてはまる場合は、次の３つの場合である。第１に、ｙに関係なく、Ｌ＜Ｚ1 の場合であり、これは、ほとんど黒のピクチャである。第２に、Ｌ＜Ｚ2かつｙ＜Ｘ1の場合であり、これは、暗い画像であるが絵柄がほとんど平坦なピクチャである。第３に、Ｌ＜Ｚ2かつｙ＞Ｘ2の場合であり、暗い画像であるが絵柄が比較的複雑なピクチャである。これは、図４の一点鎖線に対応する。
【００７３】
なお、図４、図５において、特性の特徴点を明瞭にするために、図４では、発生符号量ｙがほぼ（Ｘ1−Ｘ2）／２のときの輝度信号の平均値Ｌに対する係数αを示し、また図５では、輝度信号の平均値Ｌがほぼ（Ｚ1−Ｚ2）／２のときの発生符号量ｙに対する係数αを示している。
【００７４】
このように求めた係数αを、上記式２に示すように発生符号量ｙi と積算し、符号化の難易度（difficulty）ｄｉとする。式２からわかるように、α＞１の場合、符号化難易度ｄｉを増大させ、逆にα＜１の場合、符号化難易度ｄｉを減少させる効果がある。
【００７５】
なお、ピクチャの輝度信号の平均値Ｌｉの計算方法は、１ピクチャでの全てのマクロブロックの平均値としてもよいし、１ピクチャの中で指定された一部のマクロブロックの平均値としてもよい。後者の方法は、例えばレターボックスフォーマット、すなわち、４：３のモニターにシネマサイズの画像を表示するためにフレームの上下が黒帯でマスクされているフォーマットの画像を扱う場合に有効である。この場合、画像の上下の黒帯のマスク部分を除いた中央の有効な画像部分を構成するマクロブロックについて、Ｌｉを計算する。この方法では、フレームの中央の有効な画像部分についての性質を正確にとらえることができるので有効である。
【００７６】
ｉ番目のピクチャに対する割当符号量をｂi として、この割当符号量ｂiを下記式３に示すように符号化難易度ｄi に比例させると、データ総量Ｂは、下記式４に示すように、全ピクチャの割当符号量ｂiを加算することにより求められる。なお、ａ，ｃは定数である。
【００７７】
【数１】
【００７８】
ここで、定数ｃは、上記式３において、符号化難易度ｄｉが最小値となるときの最小限の割当符号量を確保するために、一シーケンスでの平均ビットレートを考慮して、あらかじめ適当に決定される値である。また、定数ａは下記式５により求めることができ、この定数ａを上記式３に代入すると、ｉ番目のフレームに対する割当符号量ｂi は、下記式６により求めることができる。
【００７９】
【数２】
【００８０】
かくして、ビットレート演算回路３２は、例えば符号化ノイズが知覚されやすいピクチャまたは複雑な絵柄のピクチャに対しては割当符号量を多くし、逆に符号化ノイズが知覚されにくいピクチャまたは単純な絵柄のピクチャに対しては割当符号量を少なくする。この割当符号量に合わせて、第２の符号化回路４０で実際の符号化を行なうことで、各ピクチャと記録媒体に対して最適な符号量配分を行なう。
【００８１】
一方、逆量子化回路１８は、量子化回路１６から供給される量子化データを、量子化ステップサイズを１として逆量子化して、ＤＣＴ回路１５の出力に対応した係数データ（量子化歪みが加算されている）を再生し、この係数データをＩＤＣＴ回路２０に供給する。
【００８２】
ＩＤＣＴ回路２０は、係数データをＩＤＣＴ変換して、フレーム内符号化モードでは予測符号化回路１４の出力に対応した入力画像データを再生し、前方／後方／両方向予測モードでは差分データを再生して、加算回路２１に供給する。
【００８３】
加算回路２１には、前方／後方／両方向予測モードのとき、動き補償回路２３から動き補償された予測画像データが供給されており、この予測画像データとＩＤＣＴ回路２０から供給される差分データを加算することにより、入力画像データに対応した画像データを再生する。
【００８４】
そして、このようにして再生された画像データは、フレームメモリ２２に予測画像データとして記憶される。すなわち、逆量子化回路１８〜加算回路２１は、局所復号化回路を構成し、予測モードに基づいて、量子化回路１６から出力される量子化データを局所復号化し、得られる復号画像を前方予測画像もしくは後方予測画像としてフレームメモリ２２に書き込む。フレームメモリ２２は、複数のフレームメモリからなり、フレームメモリのバンク切り替えが行われ、符号化する画像に応じて、例えば単一のフレームが、前方予測画像データとして出力されたり、後方予測画像データとして出力される。また、両方向予測の場合は、前方予測画像データと後方予測画像データが例えば平均化されて出力される。これらの予測画像データは、後述する画像復号化装置で再生される画像データと全く同一の画像データであり、次の処理画像はこの予測画像をもとに前方／後方／両方向予測符号化が行われる。
【００８５】
次に、第２の符号化回路４０の動作について説明する。なお、第２の符号化回路４０を構成する量子化スケール設定回路３３、遅延器４３、量子化回路４６、送信バッファメモリ４９以外の回路は、上述した第１の符号化回路１０を構成する回路と同じ動作を行うので、説明を省略する。
【００８６】
遅延器４３は、入力画像データを、例えば符号化制御回路３０から符号化制御信号が出力されるまでの時間遅延する。そして、予測符号化回路４４、ＤＣＴ回路４５において、遅延された入力画像データにフレーム内／前方／後方／両方向予測判定回路１３から供給される予測モードに従った予測符号化処理、ＤＣＴ変換処理が施され、係数データが生成される。
【００８７】
量子化スケール設定回路３３は、供給されたフレーム毎の割当符号量から、マクロブロック毎の割当符号量（例えば、フレーム毎の割当符号量を１フレーム中のマクロブロックの数で割ったもの）を求め、送信バッファ４９からのバッファフィードバックから検出される、あのマクロブロックにおいて発生した発生符号量と、このマクロブロック毎の割当符号量の比較を行う。
【００８８】
量子化スケール設定回路３３は、各フレームの符号化ビットレートと設定されたフレーム時間毎の平均符号化ビットレートに近付けるため、当該マクロブロックにおける発生符号量がマクロブロック毎の割当符号量より大きい場合、次のマクロブロックの発生符号量を抑えるために次のマクロブロックの量子化ステップサイズを大きく設定し、当該マクロブロックにおける発生符号量がマクロブロック毎の割当符号量より小さい場合は、発生符号量を多くするために次のマクロブロックの量子化ステップサイズを小さくする。ただし、量子化スケール設定回路３３は、送信バッファ４９からのバッファフィードバックが、送信バッファ４９のオーバーフローが近いことを示す場合、上記の割当符号量と発生符号量との比較結果によらず、量子化ステップサイズを大きくしてオーバーフローを抑制し、また、送信バッファからのバッファフィードバックが、送信バッファ４９のアンダーフローが近いことを示す場合、上記の割当符号量と発生符号量との比較結果によらず、量子化ステップサイズを小さくしてアンダーフローを抑制する。
【００８９】
なお、上記の説明では、マクロブロック毎に発生符号量と割当符号量とを比較して、マクロブロック毎に量子化ステップサイズを切り換えるようにしたが、スライス毎、フレーム毎、あるいはＧＯＰ毎に切り換えを行うこともできる。
【００９０】
また、上記の説明では、発生符号量を送信バッファ４９の蓄積量から検出するようにしたが、可変長符号化回路４７の出力から直接得ることもできる。量子化スケール設定回路３３は、このようにして設定した量子化ステップサイズを量子化回路４６に供給する。
【００９１】
量子化回路４６は、上述した量子化スケール設定回路３３から供給される量子化ステップサイズにより、ＤＣＴ回路４５から供給される係数データを量子化して、量子化データを生成する。
【００９２】
そして、可変長符号化回路４７は、量子化回路４６から供給される量子化データを、量子化スケール設定回路３３からの量子化ステップサイズ、フレーム内／前方／後方／両方向予測判定回路１３からの予測モード、動きベクトル検出回路１１からの動きベクトル等と共に可変長符号化し、得られる可変長符号データを第２のビットストリームとして送信バッファメモリ４９に供給する。
【００９３】
ここで、図７は、この画像符号化装置の第２の符号化回路４０の動作を概略的に示すフローチャートである。
【００９４】
この図７に示すように、ステップＳＴ１１において、遅延器４３を介して画像データが入力されると、ステップＳＴ１２において、量子化スケール設定回路３３は、現在符号化の対象とされているフレームに対する割当符号量を符号化制御回路３０から読み込み、ステップＳＴ１３に進む。
【００９５】
ステップＳＴ１３において、予測符号化回路４４〜可変長符号化回路４７は、画像データに予測符号化処理、ＤＣＴ変換処理を施すと共に、マクロブロックの割当符号量に基づいた量子化ステップサイズにより係数データを量子化した後、可変長符号化し、ステップＳＴ１４に進む。
【００９６】
ステップＳＴ１４において、例えば同一の画面サイズや同一の転送レートが適用される全フレーム（シーケンス）に対して符号化処理が終了したかが判断され、該当するときは終了し、該当しないときはステップＳＴ１１に戻る。かくして、フレーム単位で符号化レートが変わる可変レート符号化が実現され、絵柄が複雑な画像（フレーム）が連続しても、これらの画像に対して量子化ステップサイズが従来の装置のように大きくされることなく、全体を通じて均等な高画質を得ることができる。
【００９７】
一方、逆量子化回路４８は、量子化回路４６から供給される量子化データを、上述の量子化回路４６で用いた量子化ステップサイズにより逆量子化して、ＤＣＴ回路４５の出力に対応した係数データ（量子化歪みが加算されている）を再生し、この係数データをＩＤＣＴ回路５０に供給する。すなわち、局所復号化回路を構成する逆量子化回路４８〜加算回路５１は、量子化回路４６から出力される量子化データを局所復号化し、得られる復号画像を前方予測画像もしくは後方予測画像としてフレームメモリ５２に書き込む。フレームメモリ５２に記憶された画像データは、次の処理画像に対する予測画像として使用される。
【００９８】
送信バッファメモリ４９は、必要に応じて設ければよいが、設けた場合には、送信バッファメモリ４９は、可変長符号データを一旦記憶した後、一定のビットレートで読み出すことにより、可変長符号データを平滑化してビットストリームとして出力する。そして、送信バッファメモリ４９から出力されたビットストリームは、例えば符号化されたオーディオ信号、同期信号等と多重化され、更にエラー訂正用のコードが付加され、伝送あるいは記録に適した所定の変調が加えられた後、例えば伝送路を介して画像復号化装置に伝送されたり、上述の図１に示すように、光ディスク、磁気ディスク、磁気テープ等からなる画像記録媒体５５に記録される。すなわち、第２の符号化回路４０において、例えば予め複雑な画像に対しては割当符号量ｂi を多くして、単純な画像に対しては割当符号量ｂi を少なくして可変レート符号化を行っていることから、従来の装置のように絵柄が複雑な画像に対して極端な画質劣化をさけるために全体を通じて高いレートの固定レートを適用する必要がなく、画像記録媒体５５の記録時間を長くすることができる。
【００９９】
送信バッファメモリ４９を設けない場合、あるいは小容量のメモリを設ける場合には、可変ビットレートで出力ビットストリームが画像記録媒体５５に供給されることになるが、記録レートを可変制御でき最高記録レートが出力ビットストリームの最高ビットレート以上の記録装置を用いることにより、画像記録媒体５５の全記録容量あるいは上記使用可能なデータ総量Ｂをオーバーフローすることがない範囲で、しかも使用可能なデータ総量Ｂに近いデータ量で、１シーケンスの映像信号を記録することができ、画像記録媒体５５の全記録容量を、複雑な画像には多く、単純な画像には少なく割り当てて、全体として最も良好な画質が得られるように、媒体容量の最適の有効利用を図ることができる。
【０１００】
以上説明した本発明の実施の形態からも明らかなように、第１の符号化回路１０において、所定時間毎に符号化の難易度（difficulty）を計算するために、標準量子化値を予め設定し、バッファの占有量による制御を行なわず、適応量子化のみでＤＣＴ係数を量子化し符号量を求めており、適応量子化は、固定の標準量子化値とした時の符号化情報量に加え、輝度信号の平均値を所定時間毎に計算し、ビットレート演算回路では、この輝度信号の平均値と、符号化情報量と、使用可能なデータ総量とに基づいて、所定時間毎に割り当てられる割当符号量、例えばフレーム時間毎の平均符号化レートを求めている。
【０１０１】
第２の符号化回路４０では、仮符号化（第１の符号化）で得られた所定時間毎の発生符号量に対して、目標符号量を決めて、量子化ステップサイズあるいは量子化値を制御して、画像の符号化を行なう。すなわち、各所定時間毎に、人間の視覚特性に応じた符号量が配分されるように、暗い画像のノイズを知覚しやすい部分で量子化ステップサイズを小さくしている。
【０１０２】
このように、人間の視覚特性が反映された符号化を行うことにより、絵柄によって符号化画質の主観的印象が悪い、例えば画像の暗い部分でも、符号化ノイズ（ブロックノイズ、モスキートノイズ）が目立つことを未然に回避できる。
【０１０３】
すなわち、上述したような本発明の実施の形態によれば、入力映像信号を符号化、例えば予測符号化、ＤＣＴ変換、一定の量子化ステップサイズでの量子化、可変長符号化して、第１の符号化データを生成し、この第１の符号化データの所定時間毎、例えばフレーム毎やＧＯＰ毎のデータ量及び使用可能なデータ総量に基づいてフレーム毎やＧＯＰ毎の割当符号量を求め、この割当符号量に基づいて所定時間毎に入力映像信号を符号化して第２の符号化データを生成することにより、所定時間毎で符号化レートが変わる可変レート符号化が実現され、絵柄が複雑な画像（フレーム）が連続しても、これらの画像に対して量子化ステップサイズが従来の装置のように大きくされることなく、全体を通じて均等な高画質を得ることができる。
【０１０４】
また、上述のようにして得られる第２の符号化データは可変レートであるため、これを画像記録媒体に記録することにより、限られた記憶容量を有効に使うことができ、画像記録媒体の記録時間を長くすることができる。そして、この画像記録媒体から全体を通じて均等な高画質の画像データを再生することができる。
【０１０５】
なお、本発明は上述の実施の形態に限定されるものではなく、例えば上述の実施の形態おいては、変換符号化をＤＣＴとしているが、所謂ストラト変換、ハール変換、ウエーブレット変換等としてもよい。
【０１０６】
【発明の効果】
以上の説明からも明らかなように、本発明によれば、入力映像信号の少なくとも一部を符号化して第１の符号化データを生成し、この第１の符号化データの所定時間毎のデータ量と、入力映像信号の映像信号の所定時間毎の平均値と、使用可能なデータ総量とに基づいて上記所定時間毎の符号化レートを求め、この符号化レートに基づいて上記所定時間毎に上記入力映像信号を符号化して第２の符号化データを生成しているため、画像の複雑さに応じた所定時間毎のデータ量に基づくと共に、画像特性情報により人間の視覚特性が反映された符号化レートで、使用可能なデータ総量を有効に活用した符号化が行える。
【０１０７】
また、第２の符号化データは可変レートであるため、これを画像記録媒体に記録することにより、限られた記憶容量を有効に使うことができ、画像記録媒体の記録時間を長くすることができる。そして、この画像記録媒体から全体を通じて均等な高画質の画像データを再生することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を適用した画像符号化装置の要部の回路構成を示すブロック図である。
【図２】上記画像符号化装置を構成する第１の符号化回路の動作を説明するためのフローチャートである。
【図３】動画像シーケンスにおいて、量子化ステップサイズを固定としたときのピクチャの発生符号量ｙとピクチャの輝度信号の平均値Ｌの時間変化の一例を示す図である。
【図４】ピクチャの輝度信号の平均値Ｌと符号化難易度を導くための係数αとの関係を示す図である。
【図５】ピクチャの発生符号量ｙと符号化難易度を導くための係数αとの関係を示す図である。
【図６】動画像シーケンスにおいて、量子化ステップサイズを固定としたときの発生符号量ｙの分布の例を示す図である。
【図７】上記画像符号化装置を構成する第２の符号化回路の動作を説明するためのフローチャートである。
【図８】予測符号化の原理を説明するための画像を示す図である。
【図９】動き補償予測符号化の原理を説明するための画像を示す図である。
【図１０】画像符号化装置と画像復号化装置の構成例を示すブロック図である。
【図１１】マクロブロック、スライスの構成を示す図である。
【図１２】従来のエンコーダの回路構成の一例を示すブロック図である。
【図１３】従来のデコーダの回路構成の一例を示すブロック図である。
【符号の説明】
１０ 第１の符号化回路
１４、４４ 予測符号化回路
１５、４５ ＤＣＴ回路
１６、４６ 量子化回路
１７、４７ 可変長符号化回路
３０ 符号化制御回路
３１ カウンタ
３２ ビットレート演算回路
３３ 量子化スケール設定回路
４０ 第２の符号化回路
４３ 遅延器
６０ 輝度信号の平均値計算回路
【産業上の利用分野】
本発明は、画像符号化方法及び画像符号化装置に関し、特に、光ディスク、磁気ディスク、磁気テープ等の画像記録媒体に動画の映像信号を蓄積用符号化して記録するシステムや、伝送路を介して動画の映像信号を伝送するシステム等において使用される画像符号化方法及び画像符号化装置に関するものである。
【０００２】
【従来の技術】
従来、例えばテレビ会議システム、テレビ電話システム等のように動画の映像信号を遠隔地に伝送するシステムや、動画の映像信号を光ディスク、磁気ディスク、磁気テープ等の画像記録媒体に記録し、また記録された動画の映像信号を再生するシステム等において、伝送路（あるいは画像記録媒体）を効率良く利用するために、映像信号の有するライン相関やフレーム相関を利用して映像信号を所謂高能率符号化し、空間軸方向と時間軸方向の冗長度を落として有意情報のみを伝送し、伝送効率を高めるようになされている。
【０００３】
例えば空間軸方向の符号化処理（以下フレーム内符号化処理という）では、映像信号の例えばライン相関を利用するもので、図８のＡに示す時刻ｔ1 、ｔ2 、ｔ3 、・・・において動画を構成する各画像ＰＣ１、ＰＣ２、ＰＣ３・・・を伝送しようとする場合、伝送処理すべき画像データを、例えば同一走査線内で１次元符号化したり、例えば画像を複数のブロックに分割し、各ブロックの画像データを２次元符号化することにより、データ圧縮を行い、伝送効率を向上させている。
【０００４】
また、時間軸方向の符号化処理（以下フレーム間符号化処理という）では、映像信号のフレーム間相関を利用して例えば所謂予測符号化により、すなわち図８のＢに示すように、順次隣合う画像ＰＣ１及びＰＣ２、ＰＣ２及びＰＣ３・・・間の対応する画素毎の画像データの差分（所謂予測誤差）でなる画像データＰＣ１２、ＰＣ２３・・・を求め、これらの画像データＰＣ１２、ＰＣ２３・・・を伝送することにより、データ圧縮を行い、伝送効率を向上させている。
【０００５】
かくして、画像ＰＣ１、ＰＣ２、ＰＣ３・・・の全ての画像データを伝送する場合と比較して、格段に少ないデータ量で映像信号を伝送することができる。
【０００６】
また、上述のフレーム間符号化処理における予測符号化では、さらに効率を高めるために、例えばマクロブロック単位で動き補償予測が用いられる。すなわち、例えば画面中央の人物が移動する場合等、画面中の動いている物体に対してその動きを検出し、その動き分だけ前の画像中で予測に用いる画像データの位置を補正して予測符号化を行うことにより、符号化効率を向上させることができる。しかし、これでもまだ、物体が移動して後ろから出現した部分に対しては、多くのデータを送らなけらばならない。そこで、動き補償予測を上述の前方だけではなく、後方あるいは両者を組み合わせて行うことにより、さらに符号化効率を高めることができる。
【０００７】
具体的には、図９のＡに示すように、伝送しようとする動画の映像信号ＶＤの第０、第１、第２、第３・・・番目のフレームのフレームデータＦ０、Ｆ１、Ｆ２、Ｆ３・・・のマクロブロックにおいて、順次フレーム間に動きベクトルＸ０、Ｘ１、Ｘ２、Ｘ３・・・でそれぞれ表わされるような画像の変化があった場合、送信側の装置は、所定フレーム数（例えば１フレーム）置きの、すなわち第２、第４・・・番目のフレームを補間フレームに指定し、これらの補間フレームに対して、図９のＢに示すように、所定の補間フレーム処理により伝送補間フレームデータＦ２Ｘ、Ｆ４Ｘ・・・を生成する。また、残りの非補間フレームに対して、フレームデータＦ１、Ｆ３・・・に所定の符号化処理を施して、伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ・・・を生成する。
【０００８】
例えば、動き補償されたフレームデータＦ３とフレームデータＦ２の差分ＳＰ２（予測誤差）、動き補償されたフレームデータＦ１とフレームデータＦ２の差分ＳＰ３、動き補償されたフレームデータＦ１、Ｆ３を補間処理して得られるフレームデータとフレームデータＦ２の差分ＳＰ４をマクロブロック単位でそれぞれ求め、フレームデータＦ２のマクロブロックＳＰ１とこれらの差分の比較を行う。そして、これらのデータＳＰ１〜ＳＰ４のうちでデータ発生量が最小のデータをマクロブロック単位で伝送補間データＦ２Ｘとし、以下同様して各補間フレームに対する伝送補間データＦ４Ｘ・・・を生成する。また、非補間フレームのフレームデータＦ１、Ｆ３・・・にそれぞれ、例えばＤＣＴ変換処理、可変長符号化処理等を施して伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ・・・を生成する。
【０００９】
そして、これらの伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ・・・及び伝送補間データＦ２Ｘ、Ｆ４Ｘ・・・を、動きベクトルＸ０, Ｘ１, Ｘ３・・・のデータと共に、伝送データDATAとして受信側の装置に伝送する。
【００１０】
一方、受信側の装置は、送られてくる伝送データDATA（伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ・・・、伝送補間データＦ２Ｘ、Ｆ４Ｘ・・・、動きベクトルＸ０, Ｘ１, Ｘ３・・・のデータ）に、送信側の符号化処理に対応した復号化処理を施して、フレームデータＦ０、Ｆ１、Ｆ２、Ｆ３・・・を再生する。この結果、動き補償予測を前方だけではなく、後方あるいは両者を組み合わせて行うことにより、さらに符号化効率を高めることができる。
【００１１】
ここで、上述の機能を有する画像符号化装置と画像復号化装置について、図１０を参照しながら説明する。
【００１２】
この図１０に示す画像符号化装置７０は、入力映像信号ＶＤを輝度信号と色差信号に分離する前処理回路７１と、該前処理回路７１からの輝度信号、色差信号をそれぞれディジタル信号に変換するアナログ／ディジタル（以下Ａ／Ｄという）変換回路７２ａ、７２ｂと、該Ａ／Ｄ変換回路７２ａ、７２ｂからの輝度データ、色差データ（以下これらを画像データという）を記憶するフレームメモリ群７３と、フレームメモリ群７３から画像データをブロックフォーマットに従って読み出すフォーマット変換回路７４と、フォーマット変換回路７４からのブロックの画像データを高能率符号化するエンコーダ７５とを備える。
【００１３】
そして、前処理回路７１は、入力映像信号ＶＤを輝度信号と色差信号に分離し、Ａ／Ｄ変換回路７２ａ、７２ｂは、輝度信号、色差信号をそれぞれ８ビツトからなる輝度データ、色差データに変換し、フレームメモリ群７３は、これらの輝度データ、色差データを記憶する。
【００１４】
フォーマット変換回路７４は、フレームメモリ群７３に記憶されている画像データ（輝度データ、色差データ）を、ブロックフォーマットに従って読み出し、エンコーダ７５は、この読みだされた画像データを所定の高能率符号化により符号化して、ビットストリームを出力する。
【００１５】
そして、このビットストリームは、伝送路や、光ディスク、磁気ディスク、磁気テープ等の画像記録媒体からなる伝送メディア９０を介して、画像復号化装置８０に供給される。
【００１６】
この画像復号化装置８０は、上述の図１０に示すように、上記エンコーダ７５に対応したデコーダ８１と、該デコーダ８１で再生された画像データを、フレームフォーマットに変換するフォーマット変換回路８２と、該フォーマット変換回路８２からの画像データを記憶するフレームメモリ群８３と、該フレームメモリ群８３から読み出された輝度データ、色差データをアナログ信号に変換するＤ／Ａ変換回路８４ａ、８４ｂと、該Ｄ／Ａ変換回路８４ａ、８４ｂからの輝度信号、色差信号を混合して出力映像信号を生成する後処理回路８５とを備える。
【００１７】
そして、デコーダ８１は、エンコーダ７５の高能率符号化に対応した復号化によりビットストリームを復号化して、ブロックフォーマットの画像データを再生し、フォーマット変換回路８２は、この画像データをフレームフォーマットに変換してフレームメモリ群８３に記憶する。
【００１８】
Ｄ／Ａ変換回路８４ａ、８４ｂは、フレームメモリ群８３から読み出された輝度データ、色差データをそれぞれ輝度信号、色差信号に変換し、後処理回路８５は、これらの輝度信号、色差信号を混合して出力映像信号を生成する。
【００１９】
具体的には、前処理回路７１及びＡ／Ｄ変換回路７２ａ、７２ｂは、上述したように輝度信号及び色差信号をディジタル信号に変換すると共に、色差信号に対しては上下左右方向に画素数が輝度信号の１／２となるようにデータ量を削減した後、時間軸多重化し、得られる輝度データと色差データをフレームメモリ群７３に供給する。
【００２０】
そして、フレームメモリ群７３からは、上述したようにブロックフォーマットに従って輝度データと色差データが読み出される。すなわち、例えば１フレーム分の画像データは、図１１のＡに示すように、Ｎ個のスライスに分割され、各スライスが、図１１のＢに示すように、Ｍ個のマクロブロックを含むようになされ、各マクロブロックは、図１１のＣに示すように、８×８画素からなるブロック単位であって上下左右に隣接する４つの輝度ブロックの輝度データＹ[1] 、Ｙ[2] 、Ｙ[3] 、Ｙ[4] と、これらの４つの輝度ブロックに対応する範囲の８×８画素からなる色差ブロックの色差データＣb[5]、Ｃr[6]とを含んでなる。そして、フレームメモリ群７３からは、スライスではマクロブロツク単位で画像データが連続し、マクロブロツク内ではＹ[1],Ｙ[2],Ｙ[3],Ｙ[4],Ｃb[5],Ｃr[6] の順に連続するように輝度データと色差データが読み出される。このようにしてブロックフォーマットに従って読み出された画像データは、エンコーダ７５に供給される。
【００２１】
エンコーダ７５は、図１２に示すように、動きベクトル検出回路１０１を備え、この動きベクトル検出回路１０１は、ブロックフォーマットで供給される画像データの動きベクトルをマクロブロック単位で検出する。すなわち、動きベクトル検出回路１０１は、フレームメモリ群１０２に記憶された前方原画像及び／又は後方原画像を用いて、現在の参照画像の動きベクトルをマクロブロック単位で検出する。ここで、動きベクトルの検出は、マクロブロック単位でのフレーム間差分の絶対値和が最小になるものを、その動きベクトルとする。そして、検出された動きベクトルは動き補償回路１１３等に供給され、マクロブロック単位でのフレーム間差分の絶対値和はフレーム内／前方／後方／両方向予測判定回路１０３に供給される。
【００２２】
このフレーム内／前方／後方／両方向予測判定回路１０３は、この値をもとに、参照ブロックの予測モードを決定し、決定した予測モードに基づいて、マクロブロック単位でフレーム内／前方／後方／両方向予測の切り換えを行うように予測符号化回路１０４を制御する。そして、予測符号化回路１０４は、加算回路１０４ａ、１０４ｂ、１０４ｃ及び切換スイッチ１０４ｄを備え、フレーム内符号化モードのときは入力画像データそのものを、前方／後方／両方向予測モードのときはそれぞれの予測画像に対する入力画像データの画素毎の差分（以下差分データという）を選択し、選択したデータをＤＣＴ回路１０５に供給する。
【００２３】
ＤＣＴ回路１０５は、映像信号の２次元相関を利用して、入力画像データ又は差分データをブロツク単位でＤＣＴ変換し、得られる係数データを量子化回路１０６に供給する。
【００２４】
量子化回路１０６は、マクロブロック又はスライス毎に定まる量子化ステップサイズ（量子化スケール）を用いて係数データを量子化し、得られる量子化データを可変長符号化（ＶＬＣ：Variable Length Code）回路１０７及び逆量子化回路１０８に供給する。ところで、この量子化に用いる量子化ステップサイズは、後述する送信バッファメモリ１０９のバッファ残量をフィードバックすることによって、送信バッファメモリ１０９が破綻しない値に決定され、この量子化ステップサイズも、可変長符号化回路１０７及び逆量子化回路１０８に供給される。
【００２５】
可変長符号化回路１０７は、量子化データを、量子化ステップサイズ、予測モード、動きベクトルと共に可変長符号化し、伝送データとして送信バッファメモリ１０９に供給する。
【００２６】
送信バッファメモリ１０９は、伝送データを一旦記憶した後、一定のビットレートで読み出すことにより、伝送データを平滑化してビットストリームとして出力すると共に、メモリに残留している残留データ量に応じてマクロブロック単位の量子化制御信号を量子化回路１０６にフィードバックして量子化ステップサイズを制御する。これにより送信バッファメモリ１０９は、ビットストリームとして発生されるデータ量を調整し、メモリ内に適正な残量（オーバーフロー又はアンダーフローを生じさせないようなデータ量）のデータを維持する。例えば、送信バッファメモリ１０９のデータ残量が許容上限にまで増量すると、送信バッファメモリ１０９は、量子化制御信号によつて量子化回路１０６の量子化ステップサイズを大きくすることにより、量子化データのデータ量を低下させる。一方、送信バッファメモリ１０９のデータ残量が許容下限まで減量すると、送信バッファメモリ１０９は、量子化制御信号によつて量子化回路１０６の量子化ステップサイズを小さくすることにより、量子化データのデータ量を増大させる。
【００２７】
このようにして、バッファメモリ１０９から出力されるビットストリームは一定のビットレートで、上述したように伝送路や、光ディスク、磁気ディスク、磁気テープ等の画像記録媒体からなる伝送メディア９０を介して、画像復号化装置８０に供給される。
【００２８】
一方、逆量子化回路１０８は、量子化回路１０６から供給される量子化データを逆量子化して、上述のＤＣＴ回路１０５の出力に対応する係数データ（量子化歪みが加算されている）を再生し、この係数データを逆離散余弦変換（以下ＩＤＣＴ：Inverse Discrete Cosine Transformという）回路１１０に供給する。
【００２９】
ＩＤＣＴ回路１１０は、係数データをＩＤＣＴ変換して、フレーム内符号化モードでは入力画像データに対応する画像データを再生し、前方／後方／両方向予測モードでは予測符号化回路１０４の出力に対応する差分データを再生して、加算回路１１１に供給する。
【００３０】
この加算回路１１１には、前方／後方／両方向予測モードのとき、後述する動き補償回路１１３から動き補償された予測画像データが供給されており、この動き補償された予測画像データと差分データを加算することにより、入力画像データに対応する画像データを再生する。
【００３１】
そして、このようにして再生された画像データは、フレームメモリ１１２に記憶される。すなわち、逆量子化回路１０８〜加算回路１１１は、局所復号化回路を構成し、予測モードに基づいて、量子化回路１０６から出力される量子化データを局所復号化し、得られる復号画像を前方予測画像もしくは後方予測画像としてフレームメモリ１１２に書き込む。フレームメモリ１１２は、複数のフレームメモリからなり、フレームメモリのバンク切り換えが行われ、符号化する画像に応じて、単一のフレームが、前方予測画像データとして出力されたり、後方予測画像データとして出力される。また、両方向予測の場合は、前方予測画像データと後方予測画像データが例えば平均化されて出力される。これらの予測画像データは、後述するデコーダ８１で再生される画像と全く同一の画像であり、次の処理画像はこの予測画像をもとに前方／後方／両方向予測符号化が行われる。
【００３２】
すなわち、フレームメモリ１１２から読み出された画像データは動き補償回路１１３に供給され、この動き補償回路１１３は、動きベクトルに基づいて、予測画像データに動き補償を施し、動き補償された予測画像データを予測符号化回路１０４及び加算回路１１１に供給する。
【００３３】
次に、デコーダ８１について図１３を参照しながら説明する。
【００３４】
この図１３に示すデコーダ８１には、上記図１０の伝送メディア９０を介してビットストリームが入力される。このビットストリームは、受信バッファ２０１を介して可変長復号化（ＩＶＬＣ）回路２０２に入力される。可変長復号化回路２０２は、ビットストリームから量子化データ、動きベクトル、予測モード、量子化ステップサイズ等を再生する。これらの量子化データと量子化ステップサイズは逆量子化回路２０３に供給され、動きベクトルは動き補償回路２０７に供給され、予測モードは加算回路２０５に供給される。
【００３５】
逆量子化回路２０３〜加算回路２０５の動作は、上記図１２に示すエンコーダ７５の局所復号化回路と同様であり、フレームメモリ群２０６、動き補償回路２０７の動作はそれぞれエンコーダ７５のフレームメモリ１１２、動き補償回路１１３と同じであり、量子化データ、動きベクトル、予測モード、量子化ステップサイズをもとに復号化が行われる。この結果、加算回路２０５から再生画像データが出力され、この再生画像データは、上記図１０のフォーマット変換回路８２に送られる。
【００３６】
【発明が解決しようとする課題】
以上のように、従来の装置では、エンコーダ７５で発生するビットストリームの符号化ビットレートは伝送メディア９０の転送レートにあわせて一定とされ、この制限のもとでデータ発生量、すなわちエンコーダ７５における量子化回路１０６の量子化ステップサイズが制御されていた。換言すると、例えば絵柄が複雑な画像が連続するときは、量子化ステップサイズを大きくしてデータ発生量を抑圧し、逆に単純な絵柄が連続するときは、量子化ステップサイズを小さくしてデータ発生量を増加させることにより、バッファメモリ１０９のオーバーフロー又はアンダーフローを生じさせないようにして固定レートを保持するようになっていた。
【００３７】
したがって、従来の装置では複雑な画像が連続するときは、量子化ステップサイズが大きくされ、画質が劣化し、単純な画像が連続するときは、量子化ステップサイズが小さくされ、全体を通じて均等な画質を得ることができなかった。
【００３８】
また、ビットストリームをデータ容量が限られている画像記録媒体に記録する場合、絵柄が複雑な画像に対する極端な画質劣化を避けるためには、この複雑な画像の画質を損なわないような高いレートの固定レートを全体に対して適用しなければならず、記録時間を減少させる結果となっていた。
【００３９】
さらに、単に画像の複雑さが同じ場合でも、絵柄によって符号化画質の主観的印象が悪い場合がある。これは、人間の視覚特性によるものであり、例えば画像の暗い部分で、符号化ノイズ、例えばブロックノイズやモスキートノイズ等が目立つ、という問題がある。
【００４０】
本発明は、このような実情に鑑みてなされたものであり、全体を通じて均等で良好な画質を得ることができ、また長時間記録を可能にし、さらに、人間の視覚特性を反映して符号化ノイズを目立たせないように符号化することが可能な画像符号化方法及び画像符号化装置を提供することを目的とする。
【００４１】
【課題を解決するための手段】
本発明によれば、上述の課題を解決するために、入力映像信号の少なくとも一部を符号化して第１の符号化データを生成し、この第１の符号化データの所定時間毎のデータ量と、上記入力映像信号を所定の単位毎に複数のブロックに分けた際に指定された一部の当該ブロックの輝度信号の所定時間毎の平均値とを求め、これらの所定時間毎の符号化データ量及び所定時間毎の輝度信号の平均値と、使用可能なデータ総量とに基づいて所定時間毎の符号化レートを求め、この符号化レートに基づいて上記所定時間毎に上記入力映像信号を符号化して第２の符号化データを生成することを特徴としている。
【００４２】
これにより、画像の複雑さに応じた所定時間毎のデータ量に基づく符号化レートで符号化が行え、しかも、人間の視覚特性が反映された符号化が行える。
【００４３】
【発明の実施の形態】
以下、本発明に係る画像符号化方法、画像符号化装置及び画像記録媒体の好ましい実施の形態について図面を参照しながら説明する。
【００４４】
本発明の実施の形態を適用した画像符号化装置は、例えば図１に示すように、入力映像信号を符号化して第１の符号化データを生成する第１の符号化回路１０と、入力映像信号の輝度信号の平均値を計算する平均値計算回路６０と、該第１の符号化回路１０からの第１の符号化データの所定時間毎のデータ量、及び該平均値計算回路６０からのデータ、及び使用可能なデータ総量に基づいて上記所定時間毎の符号化レートを求める符号化制御回路３０と、該符号化制御回路３０からの符号化レートに基づいて上記所定時間毎に上記入力映像信号を符号化して第２の符号化データを生成する第２の符号化回路４０とを備える。
【００４５】
上記輝度信号の平均値計算回路６０では、入力されるマクロブロックの輝度信号値の所定時間毎の平均値Ｌを計算する。各マクロブロックは、前記図１１のＣに示したように、８×８画素からなるブロック単位であって上下左右に隣接する４つの輝度ブロックの輝度データＹ１、Ｙ２、Ｙ３、Ｙ４と、これらの４つの輝度ブロックに対応する範囲の８×８画素からなる色差ブロックの色差データＣｂ、Ｃｒとを含んでなる。計算回路６０では、マクロブロック毎に、輝度ブロックＹ１、Ｙ２、Ｙ３、Ｙ４をつくる２５６画素（８×８画素×４ブロック）の平均値を計算し、そしてマクロブロック毎の平均値を累積加算し、所定時間毎、例えばピクチャでの平均値Ｌを計算する。この輝度信号の平均値Ｌは、そのピクチャの明るさを代表する指標である。画素の輝度値が８ビット精度である場合、平均値Ｌは０から２５５の範囲である。
【００４６】
さらに、上記第１の符号化回路１０は、図１に示すように、入力映像信号である入力画像データを記憶するフレームメモリ群１２と、該フレームメモリ群１２に記憶された画像データに基づいて、入力画像データの動きベクトルを検出する動きベクトル検出回路１１と、予測画像データを記憶するフレームメモリ２２と、上記動きベクトル検出回路１１からの動きベクトルに基づいて、上記フレームメモリ２２から読み出された予測画像データに動き補償を施する動き補償回路２３と、該動き補償回路２３からの動き補償された予測画像データに基づいて、入力画像データを予測符号する予測符号化回路１４と、該予測符号化回路１４からの予測誤差である差分等を符号化、例えば離散余弦変換（以下ＤＣＴ：Discrete Cosine Transform という）して係数データを生成するＤＣＴ回路１５と、該ＤＣＴ回路１５からの係数データを一定の量子化ステップサイズで量子化して、量子化データを生成する量子化回路１６と、該量子化回路１６からの量子化データを可変長符号化して、可変長符号データを出力する可変長符号化（ＶＬＣ：Variable Length Code）回路１７と、上記量子化回路１６からの量子化データを逆量子化して係数データを再生する逆量子化回路１８と、該逆量子化回路１８からの係数データを復号化、例えば逆離散余弦変換（以下ＩＤＣＴ：Inverse Discrete Cosine Transformという）して上記差分を再生するＩＤＣＴ回路２０と、該ＩＤＣＴ回路２０からの差分と上記動き補償回路２３からの動き補償された予測画像データを加算して次の入力画像データに対する予測画像データを生成し、該予測画像データを上記フレームメモリ２２に供給する加算回路２１とを備える。
【００４７】
また、上記第２の符号化回路４０は、上述の図１に示すように、入力画像データを遅延する遅延器４３と、予測画像データを記憶するフレームメモリ５２と、上記動きベクトル検出回路１１からの動きベクトルに基づいて上記フレームメモリ５２から読み出された予測画像データに動き補償を施す動き補償回路５３と、該動き補償回路５３からの動き補償された予測画像データに基づいて、上記遅延器４３で遅延された入力画像データを予測符号化する予測符号化回路４４と、該予測符号化回路４４からの差分等を符号化、例えばＤＣＴ変換して係数データを生成するＤＣＴ回路４５と、上記符号化制御回路３０からの符号化レートに基づいて量子化ステップサイズを設定する量子化スケール設定回路３３と、上記ＤＣＴ回路４５からの係数データを上記量子化スケール設定回路３３からの量子化ステップサイズで量子化して、量子化データを生成する量子化回路４６と、該量子化回路４６からの量子化データを可変長符号化して、可変長符号データを出力する可変長符号化回路４７と、該可変長符号化回路４７からの可変長符号データを一旦記憶し、一定のビットレートで出力する送信バッファメモリ４９と、上記量子化回路４６からの量子化データを逆量子化して係数データを再生する逆量子化回路４８と、該逆量子化回路４８からの係数データを復号化、例えばＩＤＣＴ変換して上記差分を再生するＩＤＣＴ回路５０と、該ＩＤＣＴ回路５０からの差分と上記動き補償回路５３からの動き補償された予測画像データを加算して次の入力画像データに対する予測画像データを生成し、該予測画像データを上記フレームメモリ５２に供給する加算回路５１とを備える。
【００４８】
この画像符号化装置では、第１の符号化回路１０により、入力画像データの１シーケンスに対して符号化処理、例えば予測符号化処理、ＤＣＴ変換処理、一定の量子化ステップサイズでの量子化処理、可変長符号化処理を施し、符号化制御回路３０により、得られる第１のビットストリームである可変長符号データの所定時間毎のデータ量と、輝度信号の平均値計算回路６０により、入力映像信号の輝度信号Ｙの所定時間毎の平均値Ｌと、例えば光ディスク、磁気ディスク、磁気テープ等からなる画像記録媒体５５のデータ容量、あるいは伝送路のビットレート（転送レート）等により定まる使用可能なデータ総量とに基づいて所定時間毎の符号化ビットレートを求めた後、第２の符号化回路４０により、入力画像データに再び予測符号化処理、ＤＣＴ変換処理、量子化処理、可変長符号化処理を施して、第２のビットストリームである可変長符号データを生成する際に、符号化ビットレートに基づいた量子化ステップサイズで量子化するようにしている。
【００４９】
ここで、この実施の形態の画像符号化装置を構成する第１の符号化回路１０の動作の具体例について、図２のフローチャートを参照しながら説明する。
【００５０】
すなわち、図２に示すフローチャートのステップＳＴ１において、第１の符号化回路１０の量子化回路１６は、量子化ステップサイズを固定値にして、ＤＣＴ回路１５から供給される係数データを量子化して、量子化データを生成し、符号化制御回路３０のカウンタ３１は、この量子化データを可変長符号化して得られる可変長符号データ（第１のビットストリーム）のデータ量を所定時間、例えばピクチャ毎に計数して、発生符号量をピクチャ毎に求める。
【００５１】
次のステップＳＴ２において、上記ビットレート演算回路３２は、上記ピクチャ毎の発生符号量と、ピクチャ毎の輝度信号の平均値Ｌと、使用可能なデータ総量Ｂに基づいて、ピクチャ毎に割当符号量を求める。
【００５２】
ステップＳＴ３において、第２の符号化回路４０の量子化回路４６は、割当符号量に基づいた量子化ステップサイズにより、ＤＣＴ回路４５から供給される係数データを量子化して、量子化データを生成するようになっている。
【００５３】
このような第１の符号化回路１０の動作について、図１を参照しながらより具体的に説明する。
【００５４】
入力された画像データは、フレームメモリ群１２に一旦記憶される。そして、フレームメモリ群１２からは、従来の技術で述べたようにブロックフォーマットに従って読み出される。
【００５５】
動きベクトル検出回路１１は、フレームメモリ群１２から必要な画像データを上述のマクロブロック単位で読みだし、動きベクトルを検出する。すなわち、動きベクトル検出回路１１は、フレームメモリ群１２に記憶されている前方原画像及び／又は後方原画像を用いて、現在の参照画像の動きベクトルをマクロブロック単位で検出する。ここで、動きベクトルの検出は、例えばマクロブロック単位でのフレーム間差分の絶対値和が最小になるものを、その動きベクトルとする。そして、検出された動きベクトルは動き補償回路２３、５３等に供給され、マクロブロック単位でのフレーム間差分の絶対値和はフレーム内／前方／後方／両方向予測判定回路１３に供給される。
【００５６】
フレーム内／前方／後方／両方向予測判定回路１３は、この値をもとに、参照ブロックの予測モードを決定し、決定した予測モードに基づいて、ブロック単位でフレーム内／前方／後方／両方向予測の切り換えを行うように予測符号化回路１４を制御する。
【００５７】
予測符号化回路１４は、上述の図１に示すように、加算回路１４ａ、１４ｂ、１４ｃ及び切換スイッチ１４ｄを備え、フレーム内符号化モードのときは入力画像データそのものを、前方／後方／両方向予測モードのときはそれぞれの予測画像に対する入力画像データの画素毎の差分（以下差分データという）を選択し、選択したデータをＤＣＴ回路１５に供給する。
【００５８】
ＤＣＴ回路１５は、映像信号の２次元相関を利用して、切換スイッチ１４ｄから供給される入力画像データ又は差分データをブロツク単位でＤＣＴ変換し、得られる係数データを量子化回路１６に供給する。
【００５９】
量子化回路１６は、量子化ステップサイズを固定値、例えば１にして、ＤＣＴ回路１５から供給される係数データを量子化し、得られる量子化データを可変長符号化回路１７及び逆量子化回路１８に供給する。
【００６０】
可変長符号化回路１７は、量子化データを、量子化ステップサイズ、予測モード、動きベクトル等と共に可変長符号化し、得られる可変長符号データを第１のビットストリームとして符号化制御回路３０に供給する。
【００６１】
符号化制御回路３０は、上述の図１に示すように、上記可変長符号化回路１７から可変長符号データの所定時間毎のデータ量を計数するカウンタ３１と、該カウンタ３１からのデータ量及び使用可能なデータ総量に基づいて所定時間当たりの割当符号量を求めるビットレート演算回路３２とを備える。そして、カウンタ３１は、第１のビットストリームのデータ量を所定時間毎、例えばマクロブロック毎に計数して、発生符号量をマクロブロック毎に求め、この発生符号量をビットレート演算回路３２に供給する。
【００６２】
ビットレート演算回路３２は、このピクチャ毎の発生符号量と、ピクチャの輝度信号Ｙの平均値Ｌと、使用可能なデータ総量に基づいて、そのピクチャの割当符号量すなわちピクチャ時間毎の平均符号化レートを求めると共に、この割当符号量を第２の符号化回路４０の量子化スケール設定回路３３に供給する。
【００６３】
具体的には、ビットレート演算回路３２は、入力動画像シーケンスの全ピクチャ数をＮとし、使用可能なデータ総量をＢとし、ｉ（ｉ＝０、１、２・・・Ｎ−１）番目のピクチャにおいて量子化ステップサイズを固定とした時のｉ番目のピクチャの発生符号量をｙi とし、ｉ番目のピクチャの輝度信号の平均値をＬｉとし、下記の式１に示すように、関数ｆ1 の特性から係数αを求め、下記の式２に示すように、それらとｙｉの積により、符号化の難易度（difficulty）ｄｉを求めている。
【００６４】
α ＝ ｆ1（Ｌｉ，ｙｉ） ・・・式１
ｄｉ ＝ α×ｙｉ ・・・式２
ここで係数αは、符号化画像の画質の主観的印象を符号化難易度ｄｉへ反映するものである。実験により経験的に、画像符号化による画質劣化の見え方は、画像の明るさと関係があり、暗い画像では、符号化ノイズ（ブロックノイズ、モスキートノイズ）を知覚しやすいことがわかった。
【００６５】
図３に、動画像シーケンスにおけるｙｉとＬｉの時間変化の例を示す。図に示すように、発生符号量ｙｉが同じ値であっても、画像の明るさＬｉは同じ値とは限らない。なぜならば、発生符号量ｙｉは、画像の絵柄の複雑さに関係するものであり、大部分がＤＣＴ係数の交流（ＡＣ）係数のエネルギー量が反映されるものであるからである。画像の明るさＬｉは、ＤＣＴ係数の直流（ＤＣ）係数が反映されるが、その符号量は交流係数の符号量に比べ、非常に小さい。そのため、ｙｉには、画質の主観的印象と関係がある画像の明るさが十分に反映されていない。したがって、ｙｉだけでなく、Ｌｉを用いることによって、より画質の主観的印象を考えた符号化難易度ｄｉを計算できる。
【００６６】
上記式１に示すように、関数ｆ1 は、量子化ステップサイズを固定とした時の発生符号量ｙｉとピクチャの輝度信号平均値Ｌｉを引数とする関数である。
【００６７】
ここで、図４、図５に、上記関数ｆ1 の具体的な特性の一例を示す。これらの図４、図５において、縦軸はいずれも係数αをとっており、横軸は、図４では輝度信号Ｙの平均値Ｌをとり、図５では発生符号量ｙをとっている。この特性は、実験により経験的にわかった以下の結果により作られたものである。
【００６８】
すなわち、一般に、人間の目は、暗い画像では、符号化ノイズをわかりやすい。ただし、あるレベル以下の暗さでは、暗すぎて符号化ノイズを知覚できなくなる。また、比較的明るい画像では、符号化ノイズが知覚されにくいことがわかった。すなわち、輝度信号平均値が、あるレベル範囲の暗さをもつ画像について、符号化ノイズが最も知覚されやすいことがわかった。
【００６９】
さらに、絵柄の複雑度が比較的小さいピクチャであり、かつピクチャの輝度信号平均値Ｌが上記レベル範囲にある暗いピクチャの場合、特に符号化ノイズが知覚されやすいことがわかった。上述したように絵柄の複雑度は、量子化ステップサイズを固定とした時の発生符号量ｙと関係する。具体的に、符号化ノイズが知覚されやすいｙの範囲としては、その画像シーケンスにおけるｙの平均値より小さい場合である。
【００７０】
図６は、映画等の動画像シーケンスにおける上記符号発生量ｙの分布図の一例を示している。ここで、ｙavは、動画像シーケンスにおけるｙの平均値である。上述した符号化ノイズが知覚されやすいｙの範囲とは、だいたいＸ1〜Ｘ2の範囲である。
【００７１】
次に、上記図４、図５に示す関数ｆ１の特性を説明する。ここで、明るさＬの軸は、Ｌ＝０が黒であり、Ｌ＝２５５が最も明るい値である。Ｌ＝１２８はグレーレベルである。
【００７２】
（１）発生符号量ｙが比較的小さいＸ1≦ｙ≦Ｘ2の範囲（図６参照）にある絵柄の複雑度が比較的小さいピクチャであり、かつＬがＺ1≦Ｌ≦Ｚ2の範囲にある暗いピクチャの場合、α＞１であり、Ｘ1≦ｙ≦Ｘ2，Ｚ1≦Ｌ≦Ｚ2の範囲の中でαはピークをもつ特性とする。これは、図４の実線に対応する。
（２）ｙに関係なく、Ｌ＞Ｚ2 である比較的明るいピクチャの場合は、α＜１であり、Ｌが大きい程、αが小さくなる特性とする。これは、図４の破線に対応する。
（３）上記（１），（２）以外の場合には、α＝１である。これにあてはまる場合は、次の３つの場合である。第１に、ｙに関係なく、Ｌ＜Ｚ1 の場合であり、これは、ほとんど黒のピクチャである。第２に、Ｌ＜Ｚ2かつｙ＜Ｘ1の場合であり、これは、暗い画像であるが絵柄がほとんど平坦なピクチャである。第３に、Ｌ＜Ｚ2かつｙ＞Ｘ2の場合であり、暗い画像であるが絵柄が比較的複雑なピクチャである。これは、図４の一点鎖線に対応する。
【００７３】
なお、図４、図５において、特性の特徴点を明瞭にするために、図４では、発生符号量ｙがほぼ（Ｘ1−Ｘ2）／２のときの輝度信号の平均値Ｌに対する係数αを示し、また図５では、輝度信号の平均値Ｌがほぼ（Ｚ1−Ｚ2）／２のときの発生符号量ｙに対する係数αを示している。
【００７４】
このように求めた係数αを、上記式２に示すように発生符号量ｙi と積算し、符号化の難易度（difficulty）ｄｉとする。式２からわかるように、α＞１の場合、符号化難易度ｄｉを増大させ、逆にα＜１の場合、符号化難易度ｄｉを減少させる効果がある。
【００７５】
なお、ピクチャの輝度信号の平均値Ｌｉの計算方法は、１ピクチャでの全てのマクロブロックの平均値としてもよいし、１ピクチャの中で指定された一部のマクロブロックの平均値としてもよい。後者の方法は、例えばレターボックスフォーマット、すなわち、４：３のモニターにシネマサイズの画像を表示するためにフレームの上下が黒帯でマスクされているフォーマットの画像を扱う場合に有効である。この場合、画像の上下の黒帯のマスク部分を除いた中央の有効な画像部分を構成するマクロブロックについて、Ｌｉを計算する。この方法では、フレームの中央の有効な画像部分についての性質を正確にとらえることができるので有効である。
【００７６】
ｉ番目のピクチャに対する割当符号量をｂi として、この割当符号量ｂiを下記式３に示すように符号化難易度ｄi に比例させると、データ総量Ｂは、下記式４に示すように、全ピクチャの割当符号量ｂiを加算することにより求められる。なお、ａ，ｃは定数である。
【００７７】
【数１】
ここで、定数ｃは、上記式３において、符号化難易度ｄｉが最小値となるときの最小限の割当符号量を確保するために、一シーケンスでの平均ビットレートを考慮して、あらかじめ適当に決定される値である。また、定数ａは下記式５により求めることができ、この定数ａを上記式３に代入すると、ｉ番目のフレームに対する割当符号量ｂi は、下記式６により求めることができる。
【００７９】
【数２】
かくして、ビットレート演算回路３２は、例えば符号化ノイズが知覚されやすいピクチャまたは複雑な絵柄のピクチャに対しては割当符号量を多くし、逆に符号化ノイズが知覚されにくいピクチャまたは単純な絵柄のピクチャに対しては割当符号量を少なくする。この割当符号量に合わせて、第２の符号化回路４０で実際の符号化を行なうことで、各ピクチャと記録媒体に対して最適な符号量配分を行なう。
【００８１】
一方、逆量子化回路１８は、量子化回路１６から供給される量子化データを、量子化ステップサイズを１として逆量子化して、ＤＣＴ回路１５の出力に対応した係数データ（量子化歪みが加算されている）を再生し、この係数データをＩＤＣＴ回路２０に供給する。
【００８２】
ＩＤＣＴ回路２０は、係数データをＩＤＣＴ変換して、フレーム内符号化モードでは予測符号化回路１４の出力に対応した入力画像データを再生し、前方／後方／両方向予測モードでは差分データを再生して、加算回路２１に供給する。
【００８３】
加算回路２１には、前方／後方／両方向予測モードのとき、動き補償回路２３から動き補償された予測画像データが供給されており、この予測画像データとＩＤＣＴ回路２０から供給される差分データを加算することにより、入力画像データに対応した画像データを再生する。
【００８４】
そして、このようにして再生された画像データは、フレームメモリ２２に予測画像データとして記憶される。すなわち、逆量子化回路１８〜加算回路２１は、局所復号化回路を構成し、予測モードに基づいて、量子化回路１６から出力される量子化データを局所復号化し、得られる復号画像を前方予測画像もしくは後方予測画像としてフレームメモリ２２に書き込む。フレームメモリ２２は、複数のフレームメモリからなり、フレームメモリのバンク切り替えが行われ、符号化する画像に応じて、例えば単一のフレームが、前方予測画像データとして出力されたり、後方予測画像データとして出力される。また、両方向予測の場合は、前方予測画像データと後方予測画像データが例えば平均化されて出力される。これらの予測画像データは、後述する画像復号化装置で再生される画像データと全く同一の画像データであり、次の処理画像はこの予測画像をもとに前方／後方／両方向予測符号化が行われる。
【００８５】
次に、第２の符号化回路４０の動作について説明する。なお、第２の符号化回路４０を構成する量子化スケール設定回路３３、遅延器４３、量子化回路４６、送信バッファメモリ４９以外の回路は、上述した第１の符号化回路１０を構成する回路と同じ動作を行うので、説明を省略する。
【００８６】
遅延器４３は、入力画像データを、例えば符号化制御回路３０から符号化制御信号が出力されるまでの時間遅延する。そして、予測符号化回路４４、ＤＣＴ回路４５において、遅延された入力画像データにフレーム内／前方／後方／両方向予測判定回路１３から供給される予測モードに従った予測符号化処理、ＤＣＴ変換処理が施され、係数データが生成される。
【００８７】
量子化スケール設定回路３３は、供給されたフレーム毎の割当符号量から、マクロブロック毎の割当符号量（例えば、フレーム毎の割当符号量を１フレーム中のマクロブロックの数で割ったもの）を求め、送信バッファ４９からのバッファフィードバックから検出される、あのマクロブロックにおいて発生した発生符号量と、このマクロブロック毎の割当符号量の比較を行う。
【００８８】
量子化スケール設定回路３３は、各フレームの符号化ビットレートと設定されたフレーム時間毎の平均符号化ビットレートに近付けるため、当該マクロブロックにおける発生符号量がマクロブロック毎の割当符号量より大きい場合、次のマクロブロックの発生符号量を抑えるために次のマクロブロックの量子化ステップサイズを大きく設定し、当該マクロブロックにおける発生符号量がマクロブロック毎の割当符号量より小さい場合は、発生符号量を多くするために次のマクロブロックの量子化ステップサイズを小さくする。ただし、量子化スケール設定回路３３は、送信バッファ４９からのバッファフィードバックが、送信バッファ４９のオーバーフローが近いことを示す場合、上記の割当符号量と発生符号量との比較結果によらず、量子化ステップサイズを大きくしてオーバーフローを抑制し、また、送信バッファからのバッファフィードバックが、送信バッファ４９のアンダーフローが近いことを示す場合、上記の割当符号量と発生符号量との比較結果によらず、量子化ステップサイズを小さくしてアンダーフローを抑制する。
【００８９】
なお、上記の説明では、マクロブロック毎に発生符号量と割当符号量とを比較して、マクロブロック毎に量子化ステップサイズを切り換えるようにしたが、スライス毎、フレーム毎、あるいはＧＯＰ毎に切り換えを行うこともできる。
【００９０】
また、上記の説明では、発生符号量を送信バッファ４９の蓄積量から検出するようにしたが、可変長符号化回路４７の出力から直接得ることもできる。量子化スケール設定回路３３は、このようにして設定した量子化ステップサイズを量子化回路４６に供給する。
【００９１】
量子化回路４６は、上述した量子化スケール設定回路３３から供給される量子化ステップサイズにより、ＤＣＴ回路４５から供給される係数データを量子化して、量子化データを生成する。
【００９２】
そして、可変長符号化回路４７は、量子化回路４６から供給される量子化データを、量子化スケール設定回路３３からの量子化ステップサイズ、フレーム内／前方／後方／両方向予測判定回路１３からの予測モード、動きベクトル検出回路１１からの動きベクトル等と共に可変長符号化し、得られる可変長符号データを第２のビットストリームとして送信バッファメモリ４９に供給する。
【００９３】
ここで、図７は、この画像符号化装置の第２の符号化回路４０の動作を概略的に示すフローチャートである。
【００９４】
この図７に示すように、ステップＳＴ１１において、遅延器４３を介して画像データが入力されると、ステップＳＴ１２において、量子化スケール設定回路３３は、現在符号化の対象とされているフレームに対する割当符号量を符号化制御回路３０から読み込み、ステップＳＴ１３に進む。
【００９５】
ステップＳＴ１３において、予測符号化回路４４〜可変長符号化回路４７は、画像データに予測符号化処理、ＤＣＴ変換処理を施すと共に、マクロブロックの割当符号量に基づいた量子化ステップサイズにより係数データを量子化した後、可変長符号化し、ステップＳＴ１４に進む。
【００９６】
ステップＳＴ１４において、例えば同一の画面サイズや同一の転送レートが適用される全フレーム（シーケンス）に対して符号化処理が終了したかが判断され、該当するときは終了し、該当しないときはステップＳＴ１１に戻る。かくして、フレーム単位で符号化レートが変わる可変レート符号化が実現され、絵柄が複雑な画像（フレーム）が連続しても、これらの画像に対して量子化ステップサイズが従来の装置のように大きくされることなく、全体を通じて均等な高画質を得ることができる。
【００９７】
一方、逆量子化回路４８は、量子化回路４６から供給される量子化データを、上述の量子化回路４６で用いた量子化ステップサイズにより逆量子化して、ＤＣＴ回路４５の出力に対応した係数データ（量子化歪みが加算されている）を再生し、この係数データをＩＤＣＴ回路５０に供給する。すなわち、局所復号化回路を構成する逆量子化回路４８〜加算回路５１は、量子化回路４６から出力される量子化データを局所復号化し、得られる復号画像を前方予測画像もしくは後方予測画像としてフレームメモリ５２に書き込む。フレームメモリ５２に記憶された画像データは、次の処理画像に対する予測画像として使用される。
【００９８】
送信バッファメモリ４９は、必要に応じて設ければよいが、設けた場合には、送信バッファメモリ４９は、可変長符号データを一旦記憶した後、一定のビットレートで読み出すことにより、可変長符号データを平滑化してビットストリームとして出力する。そして、送信バッファメモリ４９から出力されたビットストリームは、例えば符号化されたオーディオ信号、同期信号等と多重化され、更にエラー訂正用のコードが付加され、伝送あるいは記録に適した所定の変調が加えられた後、例えば伝送路を介して画像復号化装置に伝送されたり、上述の図１に示すように、光ディスク、磁気ディスク、磁気テープ等からなる画像記録媒体５５に記録される。すなわち、第２の符号化回路４０において、例えば予め複雑な画像に対しては割当符号量ｂi を多くして、単純な画像に対しては割当符号量ｂi を少なくして可変レート符号化を行っていることから、従来の装置のように絵柄が複雑な画像に対して極端な画質劣化をさけるために全体を通じて高いレートの固定レートを適用する必要がなく、画像記録媒体５５の記録時間を長くすることができる。
【００９９】
送信バッファメモリ４９を設けない場合、あるいは小容量のメモリを設ける場合には、可変ビットレートで出力ビットストリームが画像記録媒体５５に供給されることになるが、記録レートを可変制御でき最高記録レートが出力ビットストリームの最高ビットレート以上の記録装置を用いることにより、画像記録媒体５５の全記録容量あるいは上記使用可能なデータ総量Ｂをオーバーフローすることがない範囲で、しかも使用可能なデータ総量Ｂに近いデータ量で、１シーケンスの映像信号を記録することができ、画像記録媒体５５の全記録容量を、複雑な画像には多く、単純な画像には少なく割り当てて、全体として最も良好な画質が得られるように、媒体容量の最適の有効利用を図ることができる。
【０１００】
以上説明した本発明の実施の形態からも明らかなように、第１の符号化回路１０において、所定時間毎に符号化の難易度（difficulty）を計算するために、標準量子化値を予め設定し、バッファの占有量による制御を行なわず、適応量子化のみでＤＣＴ係数を量子化し符号量を求めており、適応量子化は、固定の標準量子化値とした時の符号化情報量に加え、輝度信号の平均値を所定時間毎に計算し、ビットレート演算回路では、この輝度信号の平均値と、符号化情報量と、使用可能なデータ総量とに基づいて、所定時間毎に割り当てられる割当符号量、例えばフレーム時間毎の平均符号化レートを求めている。
【０１０１】
第２の符号化回路４０では、仮符号化（第１の符号化）で得られた所定時間毎の発生符号量に対して、目標符号量を決めて、量子化ステップサイズあるいは量子化値を制御して、画像の符号化を行なう。すなわち、各所定時間毎に、人間の視覚特性に応じた符号量が配分されるように、暗い画像のノイズを知覚しやすい部分で量子化ステップサイズを小さくしている。
【０１０２】
このように、人間の視覚特性が反映された符号化を行うことにより、絵柄によって符号化画質の主観的印象が悪い、例えば画像の暗い部分でも、符号化ノイズ（ブロックノイズ、モスキートノイズ）が目立つことを未然に回避できる。
【０１０３】
すなわち、上述したような本発明の実施の形態によれば、入力映像信号を符号化、例えば予測符号化、ＤＣＴ変換、一定の量子化ステップサイズでの量子化、可変長符号化して、第１の符号化データを生成し、この第１の符号化データの所定時間毎、例えばフレーム毎やＧＯＰ毎のデータ量及び使用可能なデータ総量に基づいてフレーム毎やＧＯＰ毎の割当符号量を求め、この割当符号量に基づいて所定時間毎に入力映像信号を符号化して第２の符号化データを生成することにより、所定時間毎で符号化レートが変わる可変レート符号化が実現され、絵柄が複雑な画像（フレーム）が連続しても、これらの画像に対して量子化ステップサイズが従来の装置のように大きくされることなく、全体を通じて均等な高画質を得ることができる。
【０１０４】
また、上述のようにして得られる第２の符号化データは可変レートであるため、これを画像記録媒体に記録することにより、限られた記憶容量を有効に使うことができ、画像記録媒体の記録時間を長くすることができる。そして、この画像記録媒体から全体を通じて均等な高画質の画像データを再生することができる。
【０１０５】
なお、本発明は上述の実施の形態に限定されるものではなく、例えば上述の実施の形態おいては、変換符号化をＤＣＴとしているが、所謂ストラト変換、ハール変換、ウエーブレット変換等としてもよい。
【０１０６】
【発明の効果】
以上の説明からも明らかなように、本発明によれば、入力映像信号の少なくとも一部を符号化して第１の符号化データを生成し、この第１の符号化データの所定時間毎のデータ量と、入力映像信号の映像信号の所定時間毎の平均値と、使用可能なデータ総量とに基づいて上記所定時間毎の符号化レートを求め、この符号化レートに基づいて上記所定時間毎に上記入力映像信号を符号化して第２の符号化データを生成しているため、画像の複雑さに応じた所定時間毎のデータ量に基づくと共に、画像特性情報により人間の視覚特性が反映された符号化レートで、使用可能なデータ総量を有効に活用した符号化が行える。
【０１０７】
また、第２の符号化データは可変レートであるため、これを画像記録媒体に記録することにより、限られた記憶容量を有効に使うことができ、画像記録媒体の記録時間を長くすることができる。そして、この画像記録媒体から全体を通じて均等な高画質の画像データを再生することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を適用した画像符号化装置の要部の回路構成を示すブロック図である。
【図２】上記画像符号化装置を構成する第１の符号化回路の動作を説明するためのフローチャートである。
【図３】動画像シーケンスにおいて、量子化ステップサイズを固定としたときのピクチャの発生符号量ｙとピクチャの輝度信号の平均値Ｌの時間変化の一例を示す図である。
【図４】ピクチャの輝度信号の平均値Ｌと符号化難易度を導くための係数αとの関係を示す図である。
【図５】ピクチャの発生符号量ｙと符号化難易度を導くための係数αとの関係を示す図である。
【図６】動画像シーケンスにおいて、量子化ステップサイズを固定としたときの発生符号量ｙの分布の例を示す図である。
【図７】上記画像符号化装置を構成する第２の符号化回路の動作を説明するためのフローチャートである。
【図８】予測符号化の原理を説明するための画像を示す図である。
【図９】動き補償予測符号化の原理を説明するための画像を示す図である。
【図１０】画像符号化装置と画像復号化装置の構成例を示すブロック図である。
【図１１】マクロブロック、スライスの構成を示す図である。
【図１２】従来のエンコーダの回路構成の一例を示すブロック図である。
【図１３】従来のデコーダの回路構成の一例を示すブロック図である。
【符号の説明】
１０ 第１の符号化回路
１４、４４ 予測符号化回路
１５、４５ ＤＣＴ回路
１６、４６ 量子化回路
１７、４７ 可変長符号化回路
３０ 符号化制御回路
３１ カウンタ
３２ ビットレート演算回路
３３ 量子化スケール設定回路
４０ 第２の符号化回路
４３ 遅延器
６０ 輝度信号の平均値計算回路
Claims (3)
- 入力映像信号の少なくとも一部を符号化して第１の符号化データを生成し、
この第１の符号化データの所定時間毎のデータ量と、上記入力映像信号を所定の単位毎に複数のブロックに分けた際に指定された一部の当該ブロックの輝度信号の所定時間毎の平均値とを求め、
これらの所定時間毎の符号化データ量及び所定時間毎の輝度信号の平均値と、使用可能なデータ総量とに基づいて所定時間毎の符号化レートを求め、
この符号化レートに基づいて上記所定時間毎に上記入力映像信号を符号化して第２の符号化データを生成する
ことを特徴とする画像符号化方法。 - 上記第１の符号化データの所定時間毎のデータ量と上記入力映像信号の輝度信号の所定時間毎の平均値とに基づいて符号化難易度を求め、
この符号化難易度と上記使用可能なデータ総量とに基づいて所定時間毎の上記符号化レートを求めることを特徴とする請求項１記載の画像符号化方法。 - 入力映像信号の少なくとも一部を符号化して第１の符号化データを生成する第１の符号化手段と、
上記入力信号を所定の単位毎に複数のブロックに分けた際に指定された一部の当該ブロックの輝度信号の所定時間毎の平均値を求める輝度信号の平均値算出手段と、
上記第１の符号化手段からの第１の符号化データの所定時間毎のデータ量と、上記平均値算出手段からの輝度信号の平均値と、使用可能なデータ総量とに基づいて上記所定時間毎の符号化レートを求める符号化制御手段と、
この符号化制御手段からの所定時間毎の符号化レートに基づいて上記所定時間毎に上記入力映像信号を符号化して第２の符号化データを生成する第２の符号化手段と
を備えることを特徴とする画像符号化装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31334895A JP3857342B2 (ja) | 1995-04-28 | 1995-11-30 | 画像符号化方法及び画像符号化装置 |
| US08/962,222 US6151360A (en) | 1995-04-28 | 1997-10-31 | Method for encoding video signal using statistical information |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7-106403 | 1995-04-28 | ||
| JP10640395 | 1995-04-28 | ||
| JP31334895A JP3857342B2 (ja) | 1995-04-28 | 1995-11-30 | 画像符号化方法及び画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0918873A JPH0918873A (ja) | 1997-01-17 |
| JP3857342B2 true JP3857342B2 (ja) | 2006-12-13 |
Family
ID=26446511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31334895A Expired - Fee Related JP3857342B2 (ja) | 1995-04-28 | 1995-11-30 | 画像符号化方法及び画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3857342B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100504772B1 (ko) * | 1997-12-27 | 2005-10-21 | 엘지전자 주식회사 | 부호화알고리즘선택방법 |
| JP4203707B2 (ja) * | 2001-01-31 | 2009-01-07 | 日本電気株式会社 | 事前解析を用いた動画像符号化装置、動画像符号化方法、及びそのプログラム。 |
| JP4674419B2 (ja) * | 2001-07-05 | 2011-04-20 | ソニー株式会社 | 画像圧縮装置及びプリフィルタ回路 |
| US8054880B2 (en) * | 2004-12-10 | 2011-11-08 | Tut Systems, Inc. | Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window |
| JP5306282B2 (ja) * | 2010-05-20 | 2013-10-02 | 日本電信電話株式会社 | 動画像符号化装置、動画像符号化方法及びプログラム |
-
1995
- 1995-11-30 JP JP31334895A patent/JP3857342B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0918873A (ja) | 1997-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4223571B2 (ja) | 画像符号化方法及び装置 | |
| JP3268306B2 (ja) | 画像符号化方法 | |
| JP3358620B2 (ja) | 画像符号化方法及び画像符号化装置 | |
| JP4132664B2 (ja) | トランスコーディング | |
| US6628713B1 (en) | Method and device for data encoding and method for data transmission | |
| JPH06189281A (ja) | 適応的フレーム／フィールドフォーマット圧縮を用いた映像信号符号化装置 | |
| JP3707118B2 (ja) | 画像符号化方法及び装置 | |
| JPH0879766A (ja) | 動画像符号化方法及び動画像符号化装置 | |
| GB2316827A (en) | Compensating quantization errors of a decoded video signal by using an adaptive filter | |
| JP3857342B2 (ja) | 画像符号化方法及び画像符号化装置 | |
| JP2003348597A (ja) | 画像符号化装置および画像符号化方法 | |
| JPH06225279A (ja) | 符号化方法、復号化方法、符号化装置及び復号化装置 | |
| US5614953A (en) | Image signal decoding apparatus having an encoding error compensation | |
| KR100323235B1 (ko) | 저 복잡도의 동영상 인코더 장치 및 방법 | |
| JP4636159B2 (ja) | 符号化装置及び方法 | |
| JP2004015351A (ja) | 符号化装置及び方法、プログラム、記録媒体 | |
| JPH07111653A (ja) | 符号化装置 | |
| JPH10150659A (ja) | 画像符号化装置 | |
| JP4007398B2 (ja) | 量子化制御装置およびその方法 | |
| JPH06153181A (ja) | 予測符号化方法、予測復号化方法、予測符号化装置及び予測復号化装置 | |
| JPH06189293A (ja) | 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置及び記録媒体 | |
| KR100397133B1 (ko) | 영상 데이터 압축 전송 시스템 및 그 방법 | |
| JP2006020355A (ja) | 符号化モード選択方法、動画像符号化装置、符号化方法、記録方法、及び伝送方法 | |
| JPH06292028A (ja) | 高能率符号化復号化装置 | |
| JP2005072846A (ja) | 動画像符号化装置及び動画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040329 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040608 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040809 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060914 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090922 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130922 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |