JP3707118B2

JP3707118B2 - Image coding method and apparatus

Info

Publication number: JP3707118B2
Application number: JP31143695A
Authority: JP
Inventors: 元樹加藤; 尚小嶋; 剛小田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-04-28
Filing date: 1995-11-29
Publication date: 2005-10-19
Anticipated expiration: 2015-11-29
Also published as: JPH0918872A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像符号化方法及び装置に関し、特に、光ディスク、磁気ディスク、磁気テープ等の画像記録媒体に動画の映像信号を蓄積用符号化して記録するシステムや、伝送路を介して動画の映像信号を伝送するシステム等において使用される画像符号化方法及び装置に関するものである。
【０００２】
【従来の技術】
従来、例えばテレビ会議システム、テレビ電話システム等のように動画の映像信号を遠隔地に伝送するシステムや、動画の映像信号を光ディスク、磁気ディスク、磁気テープ等の画像記録媒体に記録し、また記録された動画の映像信号を再生するシステム等において、伝送路（あるいは画像記録媒体）を効率良く利用するために、映像信号の有するライン相関やフレーム相関を利用して映像信号を所謂高能率符号化し、空間軸方向と時間軸方向の冗長度を落として有意情報のみを伝送し、伝送効率を高めるようになされている。
【０００３】
例えば空間軸方向の符号化処理（以下フレーム内符号化処理という）では、映像信号の例えばライン相関を利用するもので、図１５のＡに示す時刻ｔ₁、ｔ₂、ｔ₃、・・・において動画を構成する各画像ＰＣ１、ＰＣ２、ＰＣ３・・・を伝送しようとする場合、伝送処理すべき画像データを、例えば同一走査線内で１次元符号化したり、例えば画像を複数のブロックに分割し、各ブロックの画像データを２次元符号化することにより、データ圧縮を行い、伝送効率を向上させている。
【０００４】
また、時間軸方向の符号化処理（以下フレーム間符号化処理という）では、映像信号のフレーム間相関を利用して例えば所謂予測符号化により、すなわち図１５のＢに示すように、順次隣合う画像ＰＣ１及びＰＣ２、ＰＣ２及びＰＣ３・・・間の対応する画素毎の画像データの差分（所謂予測誤差）でなる画像データＰＣ１２、ＰＣ２３・・・を求め、これらの画像データＰＣ１２、ＰＣ２３・・・を伝送することにより、データ圧縮を行い、伝送効率を向上させている。
【０００５】
かくして、画像ＰＣ１、ＰＣ２、ＰＣ３・・・の全ての画像データを伝送する場合と比較して、格段に少ないデータ量で映像信号を伝送することができる。
【０００６】
また、上述のフレーム間符号化処理における予測符号化では、さらに効率を高めるために、例えばマクロブロック単位で動き補償予測が用いられる。すなわち、例えば画面中央の人物が移動する場合等、画面中の動いている物体に対してその動きを検出し、その動き分だけ前の画像中で予測に用いる画像データの位置を補正して予測符号化を行うことにより、符号化効率を向上させることができる。しかし、これでもまだ、物体が移動して後ろから出現した部分に対しては、多くのデータを送らなけらばならない。そこで、動き補償予測を上述の前方だけではなく、後方あるいは両者を組み合わせて行うことにより、さらに符号化効率を高めることができる。
【０００７】
具体的には、図１６のＡに示すように、伝送しようとする動画の映像信号ＶＤの第０、第１、第２、第３・・・番目のフレームのフレームデータＦ０、Ｆ１、Ｆ２、Ｆ３・・・のマクロブロックにおいて、順次フレーム間に動きベクトルＸ０、Ｘ１、Ｘ２、Ｘ３・・・でそれぞれ表わされるような画像の変化があった場合、送信側の装置は、所定フレーム数（例えば１フレーム）置きの、すなわち第２、第４・・・番目のフレームを補間フレームに指定し、これらの補間フレームに対して、図１６のＢに示すように、所定の補間フレーム処理により伝送補間フレームデータＦ２Ｘ、Ｆ４Ｘ・・・を生成する。また、残りの非補間フレームに対して、フレームデータＦ１、Ｆ３・・・に所定の符号化処理を施して、伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ・・・を生成する。
【０００８】
例えば、動き補償されたフレームデータＦ３とフレームデータＦ２の差分ＳＰ２（予測誤差）、動き補償されたフレームデータＦ１とフレームデータＦ２の差分ＳＰ３、動き補償されたフレームデータＦ１、Ｆ３を補間処理して得られるフレームデータとフレームデータＦ２の差分ＳＰ４をマクロブロック単位でそれぞれ求め、フレームデータＦ２のマクロブロックＳＰ１とこれらの差分の比較を行う。そして、これらのデータＳＰ１〜ＳＰ４のうちでデータ発生量が最小のデータをマクロブロック単位で伝送補間データＦ２Ｘとし、以下同様して各補間フレームに対する伝送補間データＦ４Ｘ・・・を生成する。また、非補間フレームのフレームデータＦ１、Ｆ３・・・にそれぞれ、例えばＤＣＴ変換処理、可変長符号化処理等を施して伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ・・・を生成する。
【０００９】
そして、これらの伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ・・・及び伝送補間データＦ２Ｘ、Ｆ４Ｘ・・・を、動きベクトルＸ０, Ｘ１, Ｘ３・・・のデータと共に、伝送データDATAとして受信側の装置に伝送する。
【００１０】
一方、受信側の装置は、送られてくる伝送データDATA（伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ・・・、伝送補間データＦ２Ｘ、Ｆ４Ｘ・・・、動きベクトルＸ０, Ｘ１, Ｘ３・・・のデータ）に、送信側の符号化処理に対応した復号化処理を施して、フレームデータＦ０、Ｆ１、Ｆ２、Ｆ３・・・を再生する。この結果、動き補償予測を前方だけではなく、後方あるいは両者を組み合わせて行うことにより、さらに符号化効率を高めることができる。
【００１１】
ここで、上述の機能を有する画像符号化装置と画像復号化装置について、図１７を参照しながら説明する。
【００１２】
この図１７に示す画像符号化装置７０は、入力映像信号ＶＤを輝度信号と色差信号に分離する前処理回路７１と、該前処理回路７１からの輝度信号、色差信号をそれぞれディジタル信号に変換するアナログ／ディジタル（以下Ａ／Ｄという）変換回路７２ａ、７２ｂと、該Ａ／Ｄ変換回路７２ａ、７２ｂからの輝度データ、色差データ（以下これらを画像データという）を記憶するフレームメモリ群７３と、フレームメモリ群７３から画像データをブロックフォーマットに従って読み出すフォーマット変換回路７４と、フォーマット変換回路７４からのブロックの画像データを高能率符号化するエンコーダ７５とを備える。
【００１３】
そして、前処理回路７１は、入力映像信号ＶＤを輝度信号と色差信号に分離し、Ａ／Ｄ変換回路７２ａ、７２ｂは、輝度信号、色差信号をそれぞれ８ビツトからなる輝度データ、色差データに変換し、フレームメモリ群７３は、これらの輝度データ、色差データを記憶する。
【００１４】
フォーマット変換回路７４は、フレームメモリ群７３に記憶されている画像データ（輝度データ、色差データ）を、ブロックフォーマットに従って読み出し、エンコーダ７５は、この読みだされた画像データを所定の高能率符号化により符号化して、ビットストリームを出力する。
【００１５】
そして、このビットストリームは、伝送路や、光ディスク、磁気ディスク、磁気テープ等の画像記録媒体からなる伝送メディア９０を介して、画像復号化装置８０に供給される。
【００１６】
この画像復号化装置８０は、上述の図１７に示すように、上記エンコーダ７５に対応したデコーダ８１と、該デコーダ８１で再生された画像データを、フレームフォーマットに変換するフォーマット変換回路８２と、該フォーマット変換回路８２からの画像データを記憶するフレームメモリ群８３と、該フレームメモリ群８３から読み出された輝度データ、色差データをアナログ信号に変換するＤ／Ａ変換回路８４ａ、８４ｂと、該Ｄ／Ａ変換回路８４ａ、８４ｂからの輝度信号、色差信号を混合して出力映像信号を生成する後処理回路８５とを備える。
【００１７】
そして、デコーダ８１は、エンコーダ７５の高能率符号化に対応した復号化によりビットストリームを復号化して、ブロックフォーマットの画像データを再生し、フォーマット変換回路８２は、この画像データをフレームフォーマットに変換してフレームメモリ群８３に記憶する。
【００１８】
Ｄ／Ａ変換回路８４ａ、８４ｂは、フレームメモリ群８３から読み出された輝度データ、色差データをそれぞれ輝度信号、色差信号に変換し、後処理回路８１は、これらの輝度信号、色差信号を混合して出力映像信号を生成する。
【００１９】
具体的には、前処理回路７１及びＡ／Ｄ変換回路７２ａ、７２ｂは、上述したように輝度信号及び色差信号をディジタル信号に変換すると共に、色差信号に対しては上下左右方向に画素数が輝度信号の１／２となるようにデータ量を削減した後、時間軸多重化し、得られる輝度データと色差データをフレームメモリ群７３に供給する。
【００２０】
そして、フレームメモリ群７３からは、上述したようにブロックフォーマットに従って輝度データと色差データが読み出される。すなわち、例えば１フレーム分の画像データは、図１８のＡに示すように、Ｎ個のスライスに分割され、各スライスが、図１８のＢに示すように、Ｍ個のマクロブロックを含むようになされ、各マクロブロックは、図１８のＣに示すように、８×８画素からなるブロック単位であって上下左右に隣接する４つの輝度ブロックの輝度データＹ[1] 、Ｙ[2] 、Ｙ[3] 、Ｙ[4] と、これらの４つの輝度ブロックに対応する範囲の８×８画素からなる色差ブロックの色差データＣb[5]、Ｃr[6]とを含んでなる。そして、フレームメモリ群７３からは、スライスではマクロブロツク単位で画像データが連続し、マクロブロツク内ではＹ[1],Ｙ[2],Ｙ[3],Ｙ[4],Ｃb[5],Ｃr[6] の順に連続するように輝度データと色差データが読み出される。このようにしてブロックフォーマットに従って読み出された画像データは、エンコーダ７５に供給される。
【００２１】
エンコーダ７５は、図１９に示すように、動きベクトル検出回路１０１を備え、この動きベクトル検出回路１０１は、ブロックフォーマットで供給される画像データの動きベクトルをマクロブロック単位で検出する。すなわち、動きベクトル検出回路１０１は、フレームメモリ群１０２に記憶された前方原画像及び／又は後方原画像を用いて、現在の参照画像の動きベクトルをマクロブロック単位で検出する。ここで、動きベクトルの検出は、マクロブロック単位でのフレーム間差分の絶対値和が最小になるものを、その動きベクトルとする。そして、検出された動きベクトルは動き補償回路１１３等に供給され、マクロブロック単位でのフレーム間差分の絶対値和はフレーム内／前方／後方／両方向予測判定回路１０３に供給される。
【００２２】
このフレーム内／前方／後方／両方向予測判定回路１０３は、この値をもとに、参照ブロックの予測モードを決定し、決定した予測モードに基づいて、マクロブロック単位でフレーム内／前方／後方／両方向予測の切り換えを行うように予測符号化回路１０４を制御する。そして、予測符号化回路１０４は、加算回路１０４ａ、１０４ｂ、１０４ｃ及び切換スイッチ１０４ｄを備え、フレーム内符号化モードのときは入力画像データそのものを、前方／後方／両方向予測モードのときはそれぞれの予測画像に対する入力画像データの画素毎の差分（以下差分データという）を選択し、選択したデータをＤＣＴ回路１０５に供給する。
【００２３】
ＤＣＴ回路１０５は、映像信号の２次元相関を利用して、入力画像データ又は差分データをブロツク単位でＤＣＴ変換し、得られる係数データを量子化回路１０６に供給する。
【００２４】
量子化回路１０６は、マクロブロック又はスライス毎に定まる量子化ステップサイズ（量子化スケール）を用いて係数データを量子化し、得られる量子化データを可変長符号化（ＶＬＣ：Variable Length Code）回路１０７及び逆量子化回路１０８に供給する。ところで、この量子化に用いる量子化ステップサイズは、後述する送信バッファメモリ１０９のバッファ残量をフィードバックすることによって、送信バッファメモリ１０９が破綻しない値に決定され、この量子化ステップサイズも、可変長符号化回路１０７及び逆量子化回路１０８に供給される。
【００２５】
可変長符号化回路１０７は、量子化データを、量子化ステップサイズ、予測モード、動きベクトルと共に可変長符号化し、伝送データとして送信バッファメモリ１０９に供給する。
【００２６】
送信バッファメモリ１０９は、伝送データを一旦記憶した後、一定のビットレートで読み出すことにより、伝送データを平滑化してビットストリームとして出力すると共に、メモリに残留している残留データ量に応じてマクロブロック単位の量子化制御信号を量子化回路１０６にフィードバックして量子化ステップサイズを制御する。これにより送信バッファメモリ１０９は、ビットストリームとして発生されるデータ量を調整し、メモリ内に適正な残量（オーバーフロー又はアンダーフローを生じさせないようなデータ量）のデータを維持する。例えば、送信バッファメモリ１０９のデータ残量が許容上限にまで増量すると、送信バッファメモリ１０９は、量子化制御信号によつて量子化回路１０６の量子化ステップサイズを大きくすることにより、量子化データのデータ量を低下させる。一方、送信バッファメモリ１０９のデータ残量が許容下限まで減量すると、送信バッファメモリ１０９は、量子化制御信号によつて量子化回路１０６の量子化ステップサイズを小さくすることにより、量子化データのデータ量を増大させる。
【００２７】
このようにして、バッファメモリ１０９から出力されるビットストリームは一定のビットレートで、上述したように伝送路や、光ディスク、磁気ディスク、磁気テープ等の画像記録媒体からなる伝送メディア９０を介して、画像復号化装置８０に供給される。
【００２８】
一方、逆量子化回路１０８は、量子化回路１０６から供給される量子化データを逆量子化して、上述のＤＣＴ回路１０５の出力に対応する係数データ（量子化歪みが加算されている）を再生し、この係数データを逆離散余弦変換（以下ＩＤＣＴ：Inverse Discrete Cosine Trasformという）回路１１０に供給する。
【００２９】
ＩＤＣＴ回路１１０は、係数データをＩＤＣＴ変換して、フレーム内符号化モードでは入力画像データに対応する画像データを再生し、前方／後方／両方向予測モードでは予測符号化回路１０４の出力に対応する差分データを再生して、加算回路１１１に供給する。
【００３０】
この加算回路１１１には、前方／後方／両方向予測モードのとき、後述する動き補償回路１１３から動き補償された予測画像データが供給されており、この動き補償された予測画像データと差分データを加算することにより、入力画像データに対応する画像データを再生する。
【００３１】
そして、このようにして再生された画像データは、フレームメモリ１１２に記憶される。すなわち、逆量子化回路１０８〜加算回路１１１は、局所復号化回路を構成し、予測モードに基づいて、量子化回路１０６から出力される量子化データを局所復号化し、得られる復号画像を前方予測画像もしくは後方予測画像としてフレームメモリ１１２に書き込む。フレームメモリ１１２は、複数のフレームメモリからなり、フレームメモリのバンク切り換えが行われ、符号化する画像に応じて、単一のフレームが、前方予測画像データとして出力されたり、後方予測画像データとして出力される。また、両方向予測の場合は、前方予測画像データと後方予測画像データが例えば平均化されて出力される。これらの予測画像データは、後述するデコーダ８１で再生される画像と全く同一の画像であり、次の処理画像はこの予測画像をもとに前方／後方／両方向予測符号化が行われる。
【００３２】
すなわち、フレームメモリ１１２から読み出された画像データは動き補償回路１１３に供給され、この動き補償回路１１３は、動きベクトルに基づいて、予測画像データに動き補償を施し、動き補償された予測画像データを予測符号化回路１０４及び加算回路１１１に供給する。
【００３３】
次に、デコーダ８１について図２０を参照しながら説明する。
【００３４】
この図２０に示すデコーダ８１には、上記図１７の伝送メディア９０を介してビットストリームが入力される。このビットストリームは、受信バッファ２０１を介して可変長復号化（ＩＶＬＣ）回路２０２に入力される。可変長復号化回路２０２は、ビットストリームから量子化データ、動きベクトル、予測モード、量子化ステップサイズ等を再生する。これらの量子化データと量子化ステップサイズは逆量子化回路２０３に供給され、動きベクトルは動き補償回路２０７に供給され、予測モードは加算回路２０５に供給される。
【００３５】
逆量子化回路２０３〜加算回路２０５の動作は、上記図１８に示すエンコーダ７５の局所復号化回路と同様であり、フレームメモリ群２０６、動き補償回路２０７の動作はそれぞれエンコーダ７５のフレームメモリ１１２、動き補償回路１１３と同じであり、量子化データ、動きベクトル、予測モード、量子化ステップサイズをもとに復号化が行われる。この結果、加算回路２０５から再生画像データが出力され、この再生画像データは、上記図１７のフォーマット変換回路８２に送られる。
【００３６】
【発明が解決しようとする課題】
以上のように、従来の装置では、エンコーダ７５で発生するビットストリームの符号化ビットレートは伝送メディア９０の転送レートにあわせて一定とされ、この制限のもとでデータ発生量、すなわちエンコーダ７５における量子化回路１０６の量子化ステップサイズが制御されていた。換言すると、例えば絵柄が複雑な画像が連続するときは、量子化ステップサイズを大きくしてデータ発生量を抑圧し、逆に単純な絵柄が連続するときは、量子化ステップサイズを小さくしてデータ発生量を増加させることにより、バッファメモリ１０９のオーバーフロー又はアンダーフローを生じさせないようにして固定レートを保持するようになっていた。
【００３７】
したがって、従来の装置では複雑な画像が連続するときは、量子化ステップサイズが大きくされ、画質が劣化し、単純な画像が連続するときは、量子化ステップサイズが小さくされ、全体を通じて均等な画質を得ることができなかった。
【００３８】
また、ビットストリームをデータ容量が限られている画像記録媒体に記録する場合、絵柄が複雑な画像に対する極端な画質劣化を避けるためには、この複雑な画像の画質を損なわないような高いレートの固定レートを全体に対して適用しなければならず、記録時間を減少させる結果となっていた。
【００３９】
さらに、単に画像の複雑さが同じ場合でも、絵柄によって符号化画質の主観的印象が悪い場合がある。これは、人間の視覚特性によるものであり、例えば画像の暗い部分や、赤い部分や、平坦な部分で、符号化ノイズ、例えばブロックノイズやモスキートノイズ等が目立つ、という問題がある。
【００４０】
本発明は、このような実情に鑑みてなされたものであり、全体を通じて均等で良好な画質を得ることができ、また長時間記録を可能にし、さらに、人間の視覚特性を反映して符号化ノイズを目立たせないように符号化することが可能な画像符号化方法及び装置を提供することを目的とする。
【００４１】
【課題を解決するための手段】
本発明によれば、入力映像信号の少なくとも一部を符号化して第１の符号化データを生成し、この第１の符号化データの所定時間毎のデータ量と、入力映像信号の所定時間毎の画像特性情報と、使用可能なデータ総量とに基づいて上記所定時間毎の符号化レートを求め、この符号化レートに基づいて上記所定時間毎に上記入力映像信号を符号化して第２の符号化データを生成することにより、上述の課題を解決する。
【００４２】
また、上述の課題を解決するために、上記第１の符号化データを生成することなしに、入力映像信号の所定時間毎の画像特性情報に基づいて所定時間毎の符号化難易度を求め、この符号化難易度と、使用可能なデータ総量とに基づいて所定時間毎の符号化レートを求め、この符号化レートに基づいて上記所定時間毎に上記入力映像信号を符号化して符号化データを生成してもよい。
【００４３】
上記画像特性情報としては、画像の輝度情報としての輝度信号の所定時間毎の平均値、色度情報としての色度信号の所定時間毎の平均値、平坦度情報としての輝度信号の分散値、画像の動き情報としてのマクロブロックの動きベクトル量の所定時間毎の平均値、画像間差分としてのマクロブロックの動きベクトルの画像間予測残差の所定時間毎の総和等を挙げることができる。
【００４４】
すなわち、本発明に係る画像符号化方法及び装置は、入力画像信号の少なくとも一部を符号化して第１の符号化データを生成し、輝度信号の平均値を第１のパラメータとし、符号化ノイズの知覚しやすい低輝度でピーク値を有する第１の関数により、入力画像信号の所定時間毎の輝度信号の平均値に対応する第１の関数値を算出し、上記第１の関数値と上記第１の符号化データの所定時間毎のデータ量との積に基づき上記所定時間毎の符号化難易度を算出し、上記符号化難易度に比例させて、使用可能なデータ総量から上記所定時間毎に符号量を割り当てることにより、上記所定時間毎の符号化レートを求め、上記所定時間毎の符号化レートに基づいて上記所定時間毎に上記入力画像信号を符号化して第２の符号化データを生成することを特徴とするものである。
【００４５】
これにより、画像の複雑さに応じた所定時間毎のデータ量に基づく符号化レートで符号化が行え、しかも、人間の視覚特性が反映された符号化が行える。
【００４６】
【発明の実施の形態】
以下、本発明に係る画像符号化方法及び装置のいくつかの好ましい実施の形態について図面を参照しながら説明する。
【００４７】
第１の実施の形態
本発明の第１の実施の形態を適用した画像符号化装置は、例えば図１に示すように、入力映像信号を符号化して第１の符号化データを生成する第１の符号化回路１０と、入力映像信号の統計的性質あるいは画像特性を求める画像解析回路６０と、該第１の符号化回路１０からの第１の符号化データの所定時間毎のデータ量、及び該画像解析回路６０からの統計データあるいは画像特性情報、及び使用可能なデータ総量に基づいて上記所定時間毎の符号化レートを求める符号化制御回路３０と、該符号化制御回路３０からの符号化レートに基づいて上記所定時間毎に上記入力映像信号を符号化して第２の符号化データを生成する第２の符号化回路４０とを備える。
【００４８】
上記画像解析回路６０は、上述の図１に示すように、フレーム内情報解析回路６１とフレーム間情報解析回路６２からなる。フレーム内情報解析回路６１では、入力画像の画像特性情報として、例えば、輝度，色度，平坦度の統計情報を計算し、フレーム間情報解析回路６２では、入力画像の画像特性情報として、例えば、動画像の動き量の統計情報を計算する。
【００４９】
上記画像特性情報の具体例を挙げると、入力画像の輝度についての統計情報としては、例えば、輝度信号Ｙの所定時間毎の平均値（Ｌ）を計算し、また入力画像の色度についての統計情報としては、例えば、色度信号Ｃｒの所定時間毎の平均値（Ｒ）を計算し、また入力画像の平坦度の統計情報としては、例えば、輝度信号Ｙの所定時間毎の分散値（Ｖ）を計算し、入力画像の動き量の統計情報としては、例えば、動きベクトル量の所定時間毎の平均値（Ｍ）を計算する。
【００５０】
さらに、上記第１の符号化回路１０は、上述の図１に示すように、入力映像信号である入力画像データを記憶するフレームメモリ群１２と、該フレームメモリ群１２に記憶された画像データに基づいて、入力画像データの動きベクトルを検出する動きベクトル検出回路１１と、予測画像データを記憶するフレームメモリ２２と、上記動きベクトル検出回路１１からの動きベクトルに基づいて、上記フレームメモリ２２から読み出された予測画像データに動き補償を施する動き補償回路２３と、該動き補償回路２３からの動き補償された予測画像データに基づいて、入力画像データを予測符号する予測符号化回路１４と、該予測符号化回路１４からの予測誤差である差分等を符号化、例えば離散余弦変換（以下ＤＣＴ：Discrete Cosine Transform という）して係数データを生成するＤＣＴ回路１５と、該ＤＣＴ回路１５からの係数データを一定の量子化ステップサイズで量子化して、量子化データを生成する量子化回路１６と、該量子化回路１６からの量子化データを可変長符号化して、可変長符号データを出力する可変長符号化（ＶＬＣ：Variable Length Code）回路１７と、上記量子化回路１６からの量子化データを逆量子化して係数データを再生する逆量子化回路１８と、該逆量子化回路１８からの係数データを復号化、例えば逆離散余弦変換（以下ＩＤＣＴ：Inverse Discrete Cosine Trasformという）して上記差分を再生するＩＤＣＴ回路２０と、該ＩＤＣＴ回路２０からの差分と上記動き補償回路２３からの動き補償された予測画像データを加算して次の入力画像データに対する予測画像データを生成し、該予測画像データを上記フレームメモリ２２に供給する加算回路２１とを備える。
【００５１】
また、上記第２の符号化回路４０は、上述の図１に示すように、入力画像データを遅延する遅延器４３と、予測画像データを記憶するフレームメモリ５２と、上記動きベクトル検出回路１１からの動きベクトルに基づいて上記フレームメモリ５２から読み出された予測画像データに動き補償を施す動き補償回路５３と、該動き補償回路５３からの動き補償された予測画像データに基づいて、上記遅延器４３で遅延された入力画像データを予測符号化する予測符号化回路４４と、該予測符号化回路４４からの差分等を符号化、例えばＤＣＴ変換して係数データを生成するＤＣＴ回路４５と、上記符号化制御回路３０からの符号化レートに基づいて量子化ステップサイズを設定する量子化スケール設定回路３３と、上記ＤＣＴ回路４５からの係数データを上記量子化スケール設定回路３３からの量子化ステップサイズで量子化して、量子化データを生成する量子化回路４６と、該量子化回路４６からの量子化データを可変長符号化して、可変長符号データを出力する可変長符号化回路４７と、該可変長符号化回路４７からの可変長符号データを一旦記憶し、一定のビットレートで出力する送信バッファメモリ４９と、上記量子化回路４６からの量子化データを逆量子化して係数データを再生する逆量子化回路４８と、該逆量子化回路４８からの係数データを復号化、例えばＩＤＣＴ変換して上記差分を再生するＩＤＣＴ回路５０と、該ＩＤＣＴ回路５０からの差分と上記動き補償回路５３からの動き補償された予測画像データを加算して次の入力画像データに対する予測画像データを生成し、該予測画像データを上記フレームメモリ５２に供給する加算回路５１とを備える。
【００５２】
この画像符号化装置では、第１の符号化回路１０により、入力画像データの１シーケンスに対して符号化処理、例えば予測符号化処理、ＤＣＴ変換処理、一定の量子化ステップサイズでの量子化処理、可変長符号化処理を施し、符号化制御回路３０により符号化ビットレートを求めた後、この得られた符号化ビットレートに基づいて第２の符号化回路４０により符号化を行っている。ここで、上記１シーケンスとは、例えば映画や番組の１本分のように、１つの画像記録媒体に記録される全フレームを想定しており、この他、記録媒体を分割して用いるときには各分割領域毎に記録される全フレームを１シーケンスとしてもよい。符号化制御回路３０は、第１の符号化回路により得られた第１のビットストリームである可変長符号データの所定時間毎のデータ量と、画像解析回路６０により求められた入力映像信号の輝度信号Ｙの所定時間毎の平均値（Ｌ）および分散（Ｖ），色度信号Ｃｒの所定時間毎の平均値（Ｒ）と、動きベクトル量の所定時間毎の平均値（Ｍ）と、例えば光ディスク、磁気ディスク、磁気テープ等からなる画像記録媒体５５のデータ容量、あるいは伝送路のビットレート（転送レート）等により定まる使用可能なデータ総量とに基づいて、所定時間毎の符号化ビットレートを上記１シーケンス分求めている。また、第２の符号化回路４０は、入力画像データに再び予測符号化処理、ＤＣＴ変換処理、量子化処理、可変長符号化処理を施して、第２のビットストリームである可変長符号データを生成する際に、上記符号化ビットレートに基づいた量子化ステップサイズで量子化している。
【００５３】
ここで、上記第１の実施の形態の画像符号化装置を構成する第１の符号化回路１０の動作の具体例について、図２のフローチャートを参照しながら説明する。
【００５４】
すなわち、図２に示すフローチャートのステップＳＴ１において、上記図１の第１の符号化回路１０の量子化回路１６は、量子化ステップサイズを例えば１としてＤＣＴ回路１５から供給される係数データを量子化して、量子化データを生成し、符号化制御回路３０のカウンタ３１は、この量子化データを可変長符号化して得られる可変長符号データ（第１のビットストリーム）のデータ量を所定の単位時間、例えばマクロブロック毎に計数して、発生符号量（ｙ）をマクロブロック毎に求める。さらに、画像解析回路６０により、該マクロブロック内の輝度信号Ｙの平均値（Ｌ）及び分散（Ｖ）と、色度信号Ｃｒの平均値（Ｒ）とを求め、またマクロブロックの動きベクトル量の平均値（Ｍ）を求める。
【００５５】
次のステップＳＴ２において、上記ビットレート演算回路３２は、上記各値ｙ，Ｌ，Ｖ，Ｒ，Ｍと、上述した使用可能なデータ総量（Ｂ）とに基づいて、マクロブロック毎に割り当てられる割当符号量（ｂ）を求める。この場合、具体的には上記各値ｙ，Ｌ，Ｖ，Ｒ，Ｍに基づいて符号化の難易度（difficulty）（ｄ）を求め、この符号化難易度（ｄ）と上記使用可能なデータ総量（Ｂ）とに基づいて上記割当符号量（ｂ）を求めている。
【００５６】
ステップＳＴ３において、第２の符号化回路４０の量子化回路４６は、割当符号量に基づいた量子化ステップサイズにより、ＤＣＴ回路４５から供給される係数データを量子化して、量子化データを生成するようになっている。
【００５７】
このような第１の符号化回路１０の動作について、図１を参照しながらより具体的に説明する。
【００５８】
入力された画像データは、フレームメモリ群１２に一旦記憶される。そして、フレームメモリ群１２からは、従来の技術で述べたようにブロックフォーマットに従って読み出される。
【００５９】
動きベクトル検出回路１１は、フレームメモリ群１２から必要な画像データを上述のマクロブロック単位で読みだし、動きベクトルを検出する。すなわち、動きベクトル検出回路１１は、フレームメモリ群１２に記憶されている前方原画像及び／又は後方原画像を用いて、現在の参照画像の動きベクトルをマクロブロック単位で検出する。ここで、動きベクトルの検出は、例えばマクロブロック単位でのフレーム間差分の絶対値和が最小になるものを、その動きベクトルとする。そして、検出された動きベクトルは動き補償回路２３、５３等に供給され、マクロブロック単位でのフレーム間差分の絶対値和はフレーム内／前方／後方／両方向予測判定回路１３に供給される。
【００６０】
フレーム内／前方／後方／両方向予測判定回路１３は、この値をもとに、参照ブロックの予測モードを決定し、決定した予測モードに基づいて、ブロック単位でフレーム内／前方／後方／両方向予測の切り換えを行うように予測符号化回路１４を制御する。
【００６１】
予測符号化回路１４は、上述の図１に示すように、加算回路１４ａ、１４ｂ、１４ｃ及び切換スイッチ１４ｄを備え、フレーム内符号化モードのときは入力画像データそのものを、前方／後方／両方向予測モードのときはそれぞれの予測画像に対する入力画像データの画素毎の差分（以下差分データという）を選択し、選択したデータをＤＣＴ回路１５に供給する。
【００６２】
ＤＣＴ回路１５は、映像信号の２次元相関を利用して、切換スイッチ１４ｄから供給される入力画像データ又は差分データをブロツク単位でＤＣＴ変換し、得られる係数データを量子化回路１６に供給する。
【００６３】
量子化回路１６は、一定の量子化ステップサイズ、例えば量子化ステップサイズを１として、ＤＣＴ回路１５から供給される係数データを量子化し、得られる量子化データを可変長符号化回路１７及び逆量子化回路１８に供給する。
【００６４】
可変長符号化回路１７は、量子化データを、量子化ステップサイズ、予測モード、動きベクトル等と共に可変長符号化し、得られる可変長符号データを第１のビットストリームとして符号化制御回路３０に供給する。
【００６５】
符号化制御回路３０は、上述の図１に示すように、上記可変長符号化回路１７から可変長符号データの所定時間毎のデータ量を計数するカウンタ３１と、該カウンタ３１からのデータ量及び使用可能なデータ総量に基づいて所定時間当たりの割当符号量を求めるビットレート演算回路３２とを備える。そして、カウンタ３１は、第１のビットストリームのデータ量を所定時間毎、例えばマクロブロック毎に計数して、発生符号量をマクロブロック毎に求め、この発生符号量をビットレート演算回路３２に供給する。
【００６６】
ビットレート演算回路３２は、このマクロブロック毎の発生符号量と、マクロブロックの輝度信号Ｙの平均値（Ｌ）と分散（Ｖ）と、マクロブロックの色度信号Ｃｒの平均値（Ｒ）と、マクロブロックの動きベクトル量の平均値（Ｍ）と、使用可能なデータ総量に基づいて、マクロブロック毎に割り当てられる割当符号量すなわちマクロブロック時間毎の平均符号化レートを求めると共に、この割当符号量を第２の符号化回路４０の量子化スケール設定回路３３に供給する。
【００６７】
具体的には、ビットレート演算回路３２は、全マクロブロック数をＮとし、使用可能なデータ総量をＢとし、ｉ（ｉ＝０、１、２・・・Ｎ−１）番目のマクロブロックの発生符号量をｙi とし、ｉ番目のマクロブロックの輝度信号Ｙの平均値をＬｉ、分散をＶｉとし、色度信号Ｃｒの平均値をＲｉとし、動きベクトル量の平均値をＭｉとし、それぞれ関数ｆ₁、ｆ₂、ｆ₃、ｆ₄の特性から画像の絵柄の主観的印象を符号化難易度ｄi へ反映する係数α_i，β_i，γ_i，θ_iを求め、式１に示すように、これらの係数とｙｉの積により、符号化難易度ｄｉを求めている。
【００６８】
α_i ＝ｆ₁（Ｌｉ）
β_i ＝ｆ₂（Ｒｉ）
γ_i ＝ｆ₃（Ｖｉ）
θ_i ＝ｆ₄（Ｍｉ）
ｄ_i ＝ α_i×β_i×γ_i×θ_i×ｙ_i ・・・式１
ここで、関数ｆ₁、ｆ₂、ｆ₃、ｆ₄の特性の具体例について、図３〜図６を参照しながら説明する。
【００６９】
図３に、輝度信号Ｙの平均値Ｌに対する係数αを表す関数ｆ₁の特性を示す。この図３の横軸のＬは、０が黒であり、ＭＡＸが最も明るい値である。一般に、人間の目は、暗い画像では、符号化ノイズをわかりやすい。ただし、あるレベル以下の暗さでは、暗すぎて符号化ノイズを知覚できなくなる。この特徴に基づいて、Ｌ＝０付近では、α＝１とし、最も劣化を知覚しやすいＬのレベルで、αはピークをもち、それ以上のＬでは、徐々にαを小さくする。αが１以上の場合、符号化難易度ｄを増大させ、逆にαが１以下の場合、符号化難易度ｄを減少させる。なお、ｉ番目のマクロブロックについての輝度信号Ｙの平均値はＬｉであり、このｉ番目のマクロブロックについての係数α_i はｆ₁（Ｌｉ）となる。
【００７０】
図４に、色度信号Ｃｒの平均値Ｒと係数βの関数ｆ₂の特性を示す。図４の横軸のＲは、０がグレーであり、ＭＡＸが最も赤い値である。一般に、人間の目は赤の劣化をわかりやすい特徴がある。この特徴に基づいて、Ｒが大きい値ほどβを１以上の大きな値とし、符号化難易度ｄを増大させる。なお、ｉ番目のマクロブロックについての色度信号Ｃｒの平均値はＲｉであり、このｉ番目のマクロブロックについての係数β_i はｆ₂（Ｒｉ）となる。
【００７１】
図５に、輝度信号Ｙの分散値Ｖと係数γの関数ｆ₃の特性を示す。図５の横軸のＶは、０が完全に平坦であり、ＭＡＸが最も絵柄が乱雑である。一般に、人間の目は、絵柄の平坦部分で、符号化ノイズがわかりやすく、逆に、絵柄が乱雑な部分では、劣化はわかりにくい。この特徴に基づいて、Ｖが大きい値ほどγを１以下の小さな値とし、符号化難易度ｄを減少させる。ｉ番目のマクロブロックについての輝度信号Ｙの分散値はＶｉであり、このｉ番目のマクロブロックについての係数γ_i はｆ₃（Ｖｉ）となる。
【００７２】
図６に、動きベクトル量の平均値Ｍと係数θの関数ｆ₄の特性を示す。図６の横軸のＭは、０が静止している場合で、ＭＡＸが最も動きが大きい（速い）。一般に、人間の目は、画像の動きが大きい（速い）と、目が動きについていけず、画像の劣化がわかりにくい。この特徴に基づいて、Ｍが大きい値ほどθを１以下の小さな値とし、符号化難易度ｄを減少させる。なお、マクロブロックがイントラ符号化される時は、θ＝１とする。ｉ番目のマクロブロックについての動きベクトル量の平均値はＭｉで、このｉ番目のマクロブロックについての係数θ_i はｆ₄（Ｍｉ）となる。
【００７３】
このように求めた係数α，β，γ，θを、発生符号量ｙと乗算することで、符号化難易度ｄを求める。なお、ｉ番目のマクロブロックについては、それぞれ係数α_i，β_i，γ_i，θ_iを求め、上記式１に示したように発生符号量ｙi と乗算し、符号化難易度ｄｉとする。
【００７４】
ここで、ｉ番目のマクロブロックに対する割当符号量をｂi として、この割当符号量ｂi を下記式２に示すように上記符号化難易度ｄi に比例させると、データ総量Ｂは、下記式３に示すように、全マクロブロックの割当符号量ｂi を加算することにより求められる。なお、ａ，ｃは定数である。
【００７５】
ｂｉ＝ａ×ｄi ＋ｃ・・・式２
【００７６】
【数１】

【００７７】
ここで、定数ｃは、上記割当符号量ｂi を平均化したときの平均ビットレートを考慮して、上記１シーケンスでの平均ビットレートに応じて、予め決定される値である。また、定数ａは下記式４により求めることができ、この定数ａを上記式２に代入すると、ｉ番目のマクロブロックに対する割当符号量ｂi は、下記式５により求めることができる。
【００７８】
【数２】

【００７９】
１スライスを構成する全てのマクロブロックについてのｂｉを加算したものが、そのスライスの割当符号量である。また、１フレームを構成する全てのマクロブロックについてのｂｉを加算したものが、そのフレームの割当符号量である。かくして、ビットレート演算回路３２は、例えば複雑な絵柄のフレームに対しては割当符号量を多くし、逆に単純な絵柄のフレームに対しては割当符号量を少なくする。
【００８０】
一方、逆量子化回路１８は、量子化回路１６から供給される量子化データを、量子化ステップサイズを１として逆量子化して、ＤＣＴ回路１５の出力に対応した係数データ（量子化歪みが加算されている）を再生し、この係数データをＩＤＣＴ回路２０に供給する。
【００８１】
ＩＤＣＴ回路２０は、係数データをＩＤＣＴ変換して、フレーム内符号化モードでは予測符号化回路１４の出力に対応した入力画像データを再生し、前方／後方／両方向予測モードでは差分データを再生して、加算回路２１に供給する。
【００８２】
加算回路２１には、前方／後方／両方向予測モードのとき、動き補償回路２３から動き補償された予測画像データが供給されており、この予測画像データとＩＤＣＴ回路２０から供給される差分データを加算することにより、入力画像データに対応した画像データを再生する。
【００８３】
そして、このようにして再生された画像データは、フレームメモリ２２に予測画像データとして記憶される。すなわち、逆量子化回路１８〜加算回路２１は、局所復号化回路を構成し、予測モードに基づいて、量子化回路１６から出力される量子化データを局所復号化し、得られる復号画像を前方予測画像もしくは後方予測画像としてフレームメモリ２２に書き込む。フレームメモリ２２は、複数のフレームメモリからなり、フレームメモリのバンク切り替えが行われ、符号化する画像に応じて、例えば単一のフレームが、前方予測画像データとして出力されたり、後方予測画像データとして出力される。また、両方向予測の場合は、前方予測画像データと後方予測画像データが例えば平均化されて出力される。これらの予測画像データは、後述する画像復号化装置で再生される画像データと全く同一の画像データであり、次の処理画像はこの予測画像をもとに前方／後方／両方向予測符号化が行われる。
【００８４】
次に、第２の符号化回路４０の動作について説明する。なお、第２の符号化回路４０を構成する量子化スケール設定回路３３、遅延器４３、量子化回路４６、送信バッファメモリ４９以外の回路は、上述した第１の符号化回路１０を構成する回路と同じ動作を行うので、説明を省略する。
【００８５】
遅延器４３は、入力画像データを、例えば符号化制御回路３０から符号化制御信号が出力されるまでの時間遅延する。そして、予測符号化回路４４、ＤＣＴ回路４５において、遅延された入力画像データにフレーム内／前方／後方／両方向予測判定回路１３から供給される予測モードに従った予測符号化処理、ＤＣＴ変換処理が施され、係数データが生成される。
【００８６】
量子化スケール設定回路３３は、送信バッファ４９からのバッファフィードバックから検出される、あるマクロブロックにおいて発生した発生符号量と、このマクロブロック毎の割当符号量の比較を行う。
【００８７】
量子化スケール設定回路３３は、第２の符号化での各マクロブロックの発生符号量を設定された各マクロブロックの割当符号量に近付けるため、当該マクロブロックにおける発生符号量がマクロブロック毎の割当符号量より大きい場合、次のマクロブロックの発生符号量を抑えるために次のマクロブロックの量子化ステップサイズを大きく設定し、当該マクロブロックにおける発生符号量がマクロブロック毎の割当符号量より小さい場合は、発生符号量を多くするために次のマクロブロックの量子化ステップサイズを小さくする。なお上記の説明では、マクロブロック毎に割当符号量と発生符号化量を近付けるように制御したが、この他、スライス毎に、フレーム毎に、あるいは後述するようにＧＯＰ（グループオブピクチャ）毎に制御を行わせるようにしてもよい。
【００８８】
さらに、量子化スケール設定回路３３は、送信バッファ４９からのバッファフィードバックが、送信バッファ４９のオーバーフローが近いことを示す場合、上記の割当符号量と発生符号量との比較結果によらず、量子化ステップサイズを大きくしてオーバーフローを抑制し、また、送信バッファからのバッファフィードバックが、送信バッファ４９のアンダーフローが近いことを示す場合、上記の割当符号量と発生符号量との比較結果によらず、量子化ステップサイズを小さくしてアンダーフローを抑制するようにしてもよい。
【００８９】
なお、上記の説明では、マクロブロック毎に発生符号量と割当符号量とを比較して、マクロブロック毎に量子化ステップサイズを切り換えるようにしたが、スライス毎、フレーム毎、あるいはＧＯＰ毎に切り換えを行うこともできる。
【００９０】
また、上記の説明では、発生符号量を送信バッファ４９の蓄積量から検出するようにしたが、可変長符号化回路４７の出力から直接得ることもできる。量子化スケール設定回路３３は、このようにして設定した量子化ステップサイズを量子化回路４６に供給する。
【００９１】
量子化回路４６は、上述した量子化スケール設定回路３３から供給される量子化ステップサイズにより、ＤＣＴ回路４５から供給される係数データを量子化して、量子化データを生成する。
【００９２】
そして、可変長符号化回路４７は、量子化回路４６から供給される量子化データを、量子化スケール設定回路３３からの量子化ステップサイズ、フレーム内／前方／後方／両方向予測判定回路１３からの予測モード、動きベクトル検出回路１１からの動きベクトル等と共に可変長符号化し、得られる可変長符号データを第２のビットストリームとして送信バッファメモリ４９に供給する。
【００９３】
ここで、図７は、この画像符号化装置の第２の符号化回路４０の動作を概略的に示すフローチャートである。
【００９４】
この図７に示すように、ステップＳＴ１１において、遅延器４３を介して画像データが入力されると、ステップＳＴ１２において、量子化スケール設定回路３３は、現在符号化の対象とされているフレームに対する割当符号量を符号化制御回路３０から読み込み、ステップＳＴ１３に進む。
【００９５】
ステップＳＴ１３において、予測符号化回路４４〜可変長符号化回路４７は、画像データに予測符号化処理、ＤＣＴ変換処理を施すと共に、マクロブロックの割当符号量に基づいた量子化ステップサイズにより係数データを量子化した後、可変長符号化し、ステップＳＴ１４に進む。
【００９６】
ステップＳＴ１４において、例えば同一の画面サイズや同一の転送レートが適用される全フレーム（シーケンス）に対して符号化処理が終了したかが判断され、該当するときは終了し、該当しないときはステップＳＴ１１に戻る。かくして、フレーム単位で符号化レートが変わる可変レート符号化が実現され、絵柄が複雑な画像（フレーム）が連続しても、これらの画像に対して量子化ステップサイズが従来の装置のように大きくされることなく、全体を通じて均等な高画質を得ることができる。
【００９７】
一方、逆量子化回路４８は、量子化回路４６から供給される量子化データを、上述の量子化回路４６で用いた量子化ステップサイズにより逆量子化して、ＤＣＴ回路４５の出力に対応した係数データ（量子化歪みが加算されている）を再生し、この係数データをＩＤＣＴ回路５０に供給する。すなわち、局所復号化回路を構成する逆量子化回路４８〜加算回路５１は、量子化回路４６から出力される量子化データを局所復号化し、得られる復号画像を前方予測画像もしくは後方予測画像としてフレームメモリ５２に書き込む。フレームメモリ５２に記憶された画像データは、次の処理画像に対する予測画像として使用される。
【００９８】
送信バッファメモリ４９は、必要に応じて設ければよいが、設けた場合には、送信バッファメモリ４９は、可変長符号データを一旦記憶した後、一定のビットレートで読み出すことにより、可変長符号データを平滑化してビットストリームとして出力する。そして、送信バッファメモリ４９から出力されたビットストリームは、例えば符号化されたオーディオ信号、同期信号等と多重化され、更にエラー訂正用のコードが付加され、伝送あるいは記録に適した所定の変調が加えられた後、例えば伝送路を介して画像復号化装置に伝送されたり、上述の図１に示すように、光ディスク、磁気ディスク、磁気テープ等からなる画像記録媒体５５に記録される。すなわち、第２の符号化回路４０において、例えば予め複雑な画像に対しては割当符号量ｂi を多くして、単純な画像に対しては割当符号量ｂi を少なくして可変レート符号化を行っていることから、従来の装置のように絵柄が複雑な画像に対して極端な画質劣化をさけるために全体を通じて高いレートの固定レートを適用する必要がなく、画像記録媒体５５の記録時間を長くすることができる。
【００９９】
送信バッファメモリ４９を設けない場合、あるいは小容量のメモリを設ける場合には、可変ビットレートで出力ビットストリームが画像記録媒体５５に供給されることになるが、記録レートを可変制御でき最高記録レートが出力ビットストリームの最高ビットレート以上の記録装置を用いることにより、画像記録媒体５５の全記録容量あるいは上記使用可能なデータ総量Ｂをオーバーフローすることがない範囲で、しかも使用可能なデータ総量Ｂに近いデータ量で、１シーケンスの映像信号を記録することができ、画像記録媒体５５の全記録容量を、複雑な画像には多く、単純な画像には少なく割り当てて、全体として最も良好な画質が得られるように、媒体容量の最適の有効利用を図ることができる。
【０１００】
以上説明した本発明の実施の形態からも明らかなように、第１の符号化回路１０において、所定時間毎に符号化の難易度（difficulty）を計算するために、標準量子化値を予め設定し、バッファの占有量による制御を行なわず、適応量子化のみでＤＣＴ係数を量子化し符号量を求めており、適応量子化は、固定の標準量子化値とした時の符号化情報量に加え、画像の明るさ、、平坦度、色度、画像の動きのような画像特性情報を所定時間毎に計算し、ビットレート演算回路では、これらの画像特性情報と、符号化情報量と、使用可能なデータ総量とに基づいて、所定時間毎に割り当てられる割当符号量、例えばフレーム時間毎の平均符号化レートを求めている。
【０１０１】
ここで、上記画像の明るさとしては、例えば、輝度信号Ｙの所定時間毎の平均値（Ｌ）を、平坦度としては、例えば、輝度信号Ｙの所定時間毎の分散値（Ｖ）を、色度としては、例えば、色度信号Ｃｒの所定時間毎の平均値（Ｒ）を、画像の動きとしては、例えば、マクロブロックの動きベクトル量の所定時間毎の平均値（Ｍ）を、それぞれ用いている。
【０１０２】
第２の符号化回路４０では、仮符号化（第１の符号化）で得られた所定時間毎の発生符号量に対して、目標符号量を決めて、量子化ステップサイズあるいは量子化値を制御して、画像の符号化を行なう。すなわち、各所定時間毎に、人間の視覚特性に応じた符号量が配分されるように、暗い画像のノイズを知覚しやすい部分で量子化ステップサイズを小さくし、画面の平坦部分ほど量子化ステップサイズを小さくし、赤レベルが大きいほど量子化ステップサイズを小さくし、動きベクトル量が大きい（動きが速い）ほど量子化ステップサイズを大きくしている。
【０１０３】
このように、人間の視覚特性が反映された符号化を行うことにより、絵柄によって符号化画質の主観的印象が悪い場合、例えば、画像の暗い部分や、赤い部分や、平坦な部分等でも、符号化ノイズ（ブロックノイズ、モスキートノイズ）が目立つことを未然に回避できる。
【０１０４】
第２の実施の形態
ところで、上述の第１の実施の形態では、所定時間当たりの割当符号量、すなわち所定時間当たりの平均符号化レートを、マクロブロックを所定時間としてマクロブロック毎に得るようにしているが、本発明はこれに限定されるものではない。例えば、フレームを所定時間とする場合も同様である。この場合は、上記式１〜式５における、ｙｉ，Ｌｉ，Ｒｉ，Ｖｉ，Ｍｉのパラメータ群を１フレーム時間を所定時間として計算する。それらパラメータ群に基づいて、各フレーム毎にその割当符号量ｂｉを上記式５により求めることができる。
【０１０５】
この第２の実施の形態の場合のＬｉ，Ｒｉ，Ｖｉ，Ｍｉの計算方法は、１フレームでの全てのマクロブロックの平均値としても良いし、１フレームの中で指定された一部のマクロブロックの平均値としても良い。後者の方法は、レターボックスフォーマット、すなわち４：３の画面に１６：９の画像を表示するためにフレームの上下が黒帯でマスクされているフォーマットの画像を扱う場合に有効である。この場合、画像の上下の黒帯のマスク部分を除いた中央の有効な画像部分を構成するマクロブロックについて、Ｌｉ，Ｒｉ，Ｖｉ，Ｍｉを計算する。この方法では、フレームの中央の有効な画像部分についての性質を正確にとらえることができ、上記黒帯のマスク部分の計算を省略することができるので有効である。
【０１０６】
この第２の実施の形態における第２の符号化回路４０では、上述の第１の実施の形態と比べ、量子化スケール設定回路３３において、マクロブロック毎の割当符号量を計算する必要がある。この場合、量子化スケール設定回路３３は、供給されたフレーム毎の割当符号量ｂｉから、マクロブロック毎の割当符号量を、例えば、フレーム毎の割当符号量ｂｉを１フレーム中のマクロブロックの数で割ったものとする。送信バッファ４９からのバッファフィードバック制御は、上述の第１の実施の形態と同じである。
【０１０７】
この第２の実施の形態では、割当符号量ｂｉをフレームに基づいて求めていることから、上述の第１の実施の形態に比して、すべてのｂｉを記憶するために必要なメモリ量を節約することが可能である。
【０１０８】
第３の実施の形態
上述の実施の形態では、所定時間当たりの割当符号量すなわち所定時間当たりの平均符号化レートを、フレームを所定時間としてフレーム毎に得るようにしているが、本発明はこれに限定されるものではない。例えば、所謂ＭＰＥＧ（Moving Picture ExpertGroup）におけるＧＯＰ（Group of Picture）を所定時間としてもよい。なお、上述のＭＰＥＧは、所謂ＩＳＯ（国際標準化機構）とＩＥＣ（国際電気標準会議）のＪＴＣ（Joint Technical Committee ）１におけるＳＣ（Sub Committee ）２９のＷＧ（Working Group ）１１において検討されている動画像符号化方式の通称である。
【０１０９】
すなわち、この第３の実施の形態において、上記ＭＰＥＧにおけるＧＯＰは、少なくとも１枚の所謂Ｉピクチャと、複数枚のＰピクチャ又はＢピクチャ（非Ｉピクチャ）とから構成される。具体的には、例えば図８に示すように、１枚のＩピクチャと、３ピクチャ周期の４枚のＰピクチャと、１０枚のＢピクチャとから構成されるとすると、符号化制御回路３０は、ＧＯＰ毎に割当符号量を求める。ここで、Ｉピクチャとは、フィールド内若しくはフレーム内符号化される画像であり、Ｐピクチャとは、前方向からのみ予測可能とされ、フィールド間若しくはフレーム間符号化される画像であり、Ｂピクチャとは、前方向から、後方向から、および両方向から予測可能とされ、フィールド間若しくはフレーム間符号化される画像である。
【０１１０】
そして、第１の符号化回路１０において、例えば図９に示すように、ＧＯＰを構成するピクチャ数を周期としてＧＯＰ内の連続する任意の２枚のピクチャを仮にＩピクチャ、Ｐピクチャとすると共に、量子化ステップサイズを例えば１として、これらのＩピクチャ、Ｐピクチャの画像データに予測符号化処理、ＤＣＴ変換処理、可変長符号化処理を施して、可変長符号データを生成し、この可変長符号データを符号化制御回路３０に供給する。ここで、２枚のピクチャをＩピクチャ、Ｐピクチャとするのは、絵柄の複雑さと、フレーム間の相関性を調べるためであり、Ｉピクチャの発生符号量から絵柄の複雑さを知ることができ、Ｐピクチャの発生符号量からフレーム間の相関性を知ることができる。一般的に、連続する複数のフレームは類似した画像をもつため、抽出した２枚のピクチャからでも、ＧＯＰの絵柄の傾向を見ることができる。
【０１１１】
符号化制御回路３０は、Ｉピクチャのデータ量 bitＩj とＰピクチャのデータ量 bitＰj をＧＯＰ毎に計数すると共に、例えば下記式６に示すように、これらのデータ量 bitＩj 、 bitＰj と、ＧＯＰを構成するＰピクチャの枚数Ｎとに基づいて、発生符号量ＧＯＰｙj （ｊ＝０、１、２・・・）をＧＯＰ毎に求める。
【０１１２】
ＧＯＰｙj ＝ bitＩj ＋Ｎ× bitＰj ・・・式６
そして、符号化制御回路３０は、このＧＯＰ毎の発生符号量ＧＯＰｙj と、使用可能なデータ総量に基づいて、ＧＯＰ毎に割り当てられる割当符号量を求めると共に、この割当符号量を第２の符号化回路４０に供給する。
【０１１３】
具体的には、全ＧＯＰ数をＭとし、使用可能なデータ総量をＢとし、ｊ（ｊ＝０、１、２・・・Ｍ−１）番目のＧＯＰの発生符号量をＧＯＰｙj とし、ｊ番目のＧＯＰでの輝度信号Ｙの平均値をＬｊ、分散をＶｊとし、色度信号Ｃｒの平均値をＲｊとし、動きベクトル量の平均値をＭｊとし、それぞれ関数ｆ₁、ｆ₂、ｆ₃、ｆ₄の特性から画像の絵柄の主観的印象を符号化難易度ＧＯＰｄj へ反映する係数α_j，β_j，γ_j，θ_jを求め、式７に示すように、それらとｙj の積により、符号化難易度ＧＯＰｄj を求める。関数ｆ₁、ｆ₂、ｆ₃、ｆ₄のそれぞれの特性は、上述した図３〜図６に示したものと同じものが適用できる。
【０１１４】
ｊ番目のＧＯＰに対する割当符号量をＧＯＰｂj とし、この割当符号量ＧＯＰｂj を下記式８に示すように難易度に比例させると、データ総量Ｂは、下記式９に示すように、全ＧＯＰの割当符号量ＧＯＰｂj を加算することにより求められる。なお、ａ，ｃは定数である。
【０１１５】
α_j ＝ｆ₁（Ｌj）
β_j ＝ｆ₂（Ｒj）
γ_j ＝ｆ₃（Ｖj）
θ_j ＝ｆ₄（Ｍj）
ＧＯＰｄj ＝ α_j×β_j×γ_j×θ_j×ＧＯＰｙj ・・・式７
ＧＯＰｂj ＝ａ×ＧＯＰｄj ＋ｃ・・・式８
【０１１６】
【数３】

【０１１７】
ここで、定数ｃは、上記割当符号量ｂi を平均化したときの平均ビットレートを考慮して、上記１シーケンスでの平均ビットレートに応じて、予め決定される値である。また、定数ａは下記式１０により求めることができ、この定数ａを式８に代入すると、ｊ番目のＧＯＰに対する割当符号量ＧＯＰｂj は、下記式１１により求めることができる。
【０１１８】
【数４】

【０１１９】
かくして、符号化制御回路３０は、例えば絵柄が複雑な画像が含まれる或いはフレーム間の相関が低いＧＯＰに対しては割当符号量ＧＯＰｂj を多くし、逆に単純な絵柄の画像が含まれる或いはフレーム間の相関が高いＧＯＰに対しては割当符号量ＧＯＰｂj を少なくする。
【０１２０】
次に、第２の符号化回路４０は、例えば図１０に示すように、ステップＳＴ２１において遅延器４３を介して画像データが入力されると、ステップＳＴ２２において、現在入力されている画像データがＧＯＰの先頭ピクチャかを判断し、該当するときはステップＳＴ２３に進み、該当しないときはステップＳＴ２４に進む。
【０１２１】
ステップＳＴ２３において、第２の符号化回路４０は、現在符号化の対象とされているＧＯＰに対する割当符号量を符号化制御回路３０から読み込み、ステップＳＴ２４に進む。
【０１２２】
ステップＳＴ２４において、第２の符号化回路４０は、画像データに予測符号化処理、ＤＣＴ変換処理を施すと共に、割当符号量に基づいた量子化ステップサイズにより係数データを量子化した後、可変長符号化し、ステップＳＴ２５に進む。
【０１２３】
ここで、量子化スケール設定回路３３は、供給されたＧＯＰ毎の割当符号量から、フレーム毎の割当符号量を、実際の符号化におけるピクチャタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）、すなわち図８に示されるピクチャタイプを考慮して設定する。具体的には、Ｉピクチャに対する割当符号量を多くし、Ｂピクチャに対する割当符号量を少なくし、Ｐピクチャに対する割当符号量をその中間とする。量子化スケール設定回路３３の以降の処理は、上述のフレーム毎に割当符号量を求めた実施の形態と同様である。
【０１２４】
次にステップＳＴ２５において、同一の画面サイズや同一の転送レートが適用される全フレーム（シーケンス）に対して符号化処理が終了したかが判断され、該当するときは終了し、該当しないときはステップＳＴ２１に戻る。かくして、ＧＯＰ単位で符号化レートが変わる可変レート符号化が実現され、絵柄が複雑な画像（フレーム）が連続しても、これらの画像に対して量子化ステップサイズが従来の装置のように大きくされることなく、全体を通じて均等な高画質を得ることができる。また、この実施の形態ではＧＯＰ毎の割当符号量を２つのピクチャに基づいて求めていることから、上述の実施の形態に比して高速処理が可能である。なお、ＧＯＰ内の全ピクチャのデータ量に基づいて各ＧＯＰの割当符号量を求めるようにしてもよいことは言うまでもない。
【０１２５】
第４の実施の形態
次に、本発明を適用した画像符号化装置の第４の実施の形態について、図１１を参照しながら説明する。
【０１２６】
この第４の実施の形態と、上記第１〜第３の実施の形態とでは、次に示すような２つの相違点がある。すなわち、第１に、図１の第１の符号化回路１０がなく符号化難易度の求め方が異なっており、第２に、ビットレート演算回路３２の動作が異なっている。以下に、これらの違いについて説明する。
【０１２７】
この図１１に示す第４の実施の形態の画像符号化装置は、入力映像信号の統計的性質を求める画像解析回路６０と、該画像解析回路６０からの統計データ、及び使用可能なデータ総量に基づいて所定時間毎の符号化レートを求める符号化制御回路３０と、該符号化制御回路３０からの符号化レートに基づいて上記所定時間毎に上記入力映像信号を符号化して符号化データを生成する符号化回路４０とを備える。
【０１２８】
画像解析回路６０では、入力映像信号の統計的性質に基づく情報あるいは画像特性情報を求めており、この画像特性情報として、例えば、輝度信号Ｙの所定時間毎の平均値（Ｌ）を計算し、また入力画像の色度についての統計情報、例えば、色度信号Ｃｒの所定時間毎の平均値（Ｒ）を計算し、また入力画像の平坦度の統計情報、例えば、輝度信号Ｙの所定時間毎の分散値（Ｖ）を計算し、入力画像の動き量の統計情報、例えば、動きベクトル量の所定時間毎の平均値（Ｍ）を計算し、さらに、画像間差分情報、例えば動きベクトルの画像間予測残差の所定時間毎の絶対値和（Ｅ）を計算する。
【０１２９】
すなわち、動きベクトルの画像間予測残差としては、符号化対象マクロブロックの輝度信号Ｙj と、動きベクトルにより参照されるマクロブロックの輝度信号Ｒi の差の絶対値の和Ｅを求める。
【０１３０】
【数５】

【０１３１】
なお、Ｅについては、絶対値和の代わりに二乗和を用いてもよい。
【０１３２】
この画像符号化装置では、例えば図１２に示すように、ステップＳＴ３１において、符号化難易度（difficulty）を表す入力映像信号の統計的性質の情報である画像特性情報、ここではマクロブロックの輝度信号Ｙの平均値Ｌと分散Ｖ、そして色度信号Ｃｒの平均値Ｒ、そしてマクロブロックの動きベクトル量の平均値Ｍと動きベクトルの画像間予測残差の絶対値和Ｅを、所定時間毎、例えばマクロブロック毎に求める。なお、マクロブロックがイントラ符号化モード、いわゆるＩピクチャの場合は、上記動きベクトルの画像間予測残差の絶対値和を計算するよりも、むしろマクロブロック内の平均値分離残差の絶対値和を計算することが好ましい。
【０１３３】
すなわち、イントラ符号化モードのブロック内の平均値分離残差の絶対値和として、符号化対象マクロブロックの輝度信号Ｙi と、マクロブロックの輝度信号Ｙi の平均値Ｙavとの差の絶対値和Ｅを、次の式１３により求める。
【０１３４】
【数６】

【０１３５】
なお、この式１３のＥについて、絶対値和の代わりに、二乗和、すなわち上記分散値Ｖを用いるようにしてもよい。
【０１３６】
次のステップＳＴ３２において、ビットレート演算回路３２は、マクロブロック毎の輝度信号の平均値と分散と、色度信号の平均値と、動きベクトル量の平均値と、動きベクトルの画像間予測残差又は輝度信号の平均値分離残差と、使用可能なデータ総量に基づいて、マクロブロック毎に割り当てられる割当符号量を求める。
【０１３７】
次のステップＳＴ３３において、符号化回路４０の量子化回路４６は、割当符号量に基づいた量子化ステップサイズにより、ＤＣＴ回路４５から供給される係数データを量子化して、量子化データを生成するようになっている。
【０１３８】
ここで、ビットレート演算回路３２の具体的な動作を説明する。ビットレート演算回路３２は、シーケンスの全マクロブロック数をＮとし、ｉ（ｉ＝０、１、２・・・Ｎ−１）番目のマクロブロックの輝度信号Ｙの平均値をＬｉ、分散をＶｉとし、色度信号Ｃｒの平均値をＲｉとし、動きベクトル量の平均値をＭｉとし、関数ｆ₁、ｆ₂、ｆ₃、ｆ₄の特性から画像の絵柄の主観的印象を符号化難易度ｄi へ反映する係数α_i，β_i，γ_i，θ_iを求める。また、動きベクトルの画像間予測残差の絶対値和Ｅに基づき、関数ｆ₆の特性から、そのマクロブロックの発生符号量の推定値、すなわち上記第１の実施の形態でのｙｉに相当するものｙ'ｉを経験的に推定する。そして、下記の式３１に示すように、各係数α_i，β_i，γ_i，θ_iと発生符号量の推定値ｙ'ｉとの積により、符号化難易度ｄｉを求めている。
【０１３９】
α_ｉ＝ｆ_１（Ｌｉ）・・・式１４
β_ｉ＝ｆ_２（Ｒｉ）・・・式１５
γ_ｉ＝ｆ_３（Ｖｉ）・・・式１６
θ_ｉ＝ｆ_４（Ｍｉ）・・・式１７
ｙ'_ｉ＝ｆ_６（Ｅｉ）・・・式１８
ｄ_ｉ＝ α_ｉ×β_ｉ×γ_ｉ×θ_ｉ×ｙ'_ｉ・・・式１９
上記関数ｆ_１、ｆ_２、ｆ_３、ｆ_４の特性の具体例は、上記図３〜図６に示すものを使用できる。また、上記関数ｆ_６の一例を図１３に示す。すなわち、この図１３は、動きベクトルの画像間予測残差に対するマクロブロック単位の発生符号量の推定値ｙ' を示している。実験結果から経験的にＥとｙ’とはほぼ比例する関係にあり、ｉ番目のマクロブロックの動きベクトルの画像間予測残差Ｅｉについての発生符号量の推定値ｙ'ｉはｆ_６（Ｅｉ）となる。
【０１４０】
符号化対象マクロブロックがイントラ符号化モードの場合は、マクロブロック内の輝度信号の上記平均値分離残差の絶対値和、又は分散値（Ｖ）を用いることが好ましく、この場合には、例えば輝度信号Ｙの分散Ｖｉに基づき、関数ｆ₅の特性から、そのマクロブロックの発生符号量の推定値ｙ'ｉを推定する。
【０１４１】
ｙ'_i＝ｆ₅（Ｖｉ）・・・式２０
この関数ｆ₅（Ｖｉ）の具体例を図１４に示す。
この図１４は、輝度信号Ｙの分散Ｖに対するマクロブロック単位の発生符号量の推定値ｙ' を示しており、ｉ番目のマクロブロックの輝度信号Ｙの分散Ｖｉについての発生符号量の推定値ｙ'ｉはｆ₅（Ｖｉ）となる。
【０１４２】
ｉ番目のマクロブロックに対する割当符号量ｂｉは、上記第１の実施の形態で説明した式５のようにして求めることができる。
【０１４３】
かくして、ビットレート演算回路３２は、例えば複雑な絵柄のフレームに対しては割当符号量を多くし、逆に単純な絵柄のフレームに対しては割当符号量を少なくする。
【０１４４】
符号化回路４０の動作は、上記第１の実施の形態で説明した第２の符号化回路４０と同じであるので、省略する。
【０１４５】
ここで、上述した実施の形態では、所定時間当たりの割当符号量ｂｉについて、マクロブロックを所定時間として、マクロブロック毎に得るようにた例を説明しているが、この所定時間をフレームまたはＧＯＰ（グループオブピクチャ）とする場合も同様である。この場合、上記第２、第３の実施の形態のように、輝度信号Ｙの平均値Ｌｉ、分散値Ｖｉ、色度信号Ｃｒの平均値Ｒｉ、及び動きベクトル量の平均値Ｍｉの各パラメータを所定時間毎に計算し、さらに上記動きベクトルの画像間予測残差又は輝度信号の平均値分離残差の絶対値和Ｅｉを所定時間毎に計算し、上記式１９のように、所定時間毎の符号化難易度を計算し、上記式５のように、所定時間毎の割当符号量を計算すればよい。
【０１４６】
なお、本発明は上述の実施の形態に限定されるものではなく、例えば上述の実施の形態おいては、変換符号化をＤＣＴとしているが、所謂ストラト変換、ハール変換、ウエーブレット変換等としてもよい。
【０１４７】
【発明の効果】
以上の説明から明らかなように、本発明によれば、入力画像信号の少なくとも一部を符号化して第１の符号化データを生成し、第１の符号化データの所定時間毎のデータ量と入力画像信号の所定時間毎の輝度信号の平均値をパラメータとする第１の関数との積に基づき符号化難易度を算出し、この符号化難易度と、使用可能なデータ総量とに基づいて所定時間毎の符号化レートを求め、所定時間毎の符号化レートに基づいて所定時間毎に入力映像信号を符号化して第２の符号化データを生成しているため、画像の複雑さに応じた所定時間毎のデータ量に基づくと共に、人間の視覚特性が反映された符号化レートで、使用可能なデータ総量を有効に活用した符号化が行える。
【０１４８】
また、絵柄が複雑な画像（フレーム）が連続しても、これらの画像に対して量子化ステップサイズが従来の装置のように大きくされることなく、全体を通じて視覚的に好ましく均等な高画質を得ることができる。
【０１４９】
さらに、上述のようにして得られる第２の符号化データは可変レートであるため、これを画像記録媒体に記録することにより、限られた記憶容量を有効に使うことができ、画像記録媒体の記録時間を長くすることができる。そして、この画像記録媒体から全体を通じて均等でしかも視覚的に良好な高画質の画像データを再生することができる。
【０１５０】
また、上記第１の符号化データを生成することなしに、入力映像信号の所定時間毎の画像特性情報から計算した所定時間毎の符号化難易度情報と、使用可能なデータ総量とに基づいて上記所定時間毎の符号化レートを求め、この符号化レートに基づいて上記所定時間毎に上記入力映像信号を符号化することにより、可変レートの符号化データを生成するようにしても、ほぼ上述と同様な効果が得られる。さらに、システムの簡略化が図れる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を適用した画像符号化装置の要部の回路構成を示すブロック図である。
【図２】第１の実施の形態の画像符号化装置を構成する第１の符号化回路の動作を説明するためのフローチャートである。
【図３】輝度信号Ｙの平均値Ｌと係数αの関数ｆ₁の特性図である。
【図４】色度信号Ｃｒの平均値Ｒと係数βの関数ｆ₂の特性図である。
【図５】輝度信号Ｙの分散値Ｖと係数γの関数ｆ₃の特性図である。
【図６】動きベクトル量の平均値Ｍと係数θの関数ｆ₄の特性図である。
【図７】第１の実施の形態の画像符号化装置を構成する第２の符号化回路の動作を説明するためのフローチャートである。
【図８】ＭＰＥＧにおけるＧＯＰの構成を説明するための各ピクチャを示す図である。
【図９】ＧＯＰ毎の符号化制御信号を説明するための各ピクチャを示す図である。
【図１０】本発明の第３の実施の形態となる画像符号化装置を構成する第２の符号化回路の動作を説明するためのフローチャートである。
【図１１】本発明の第４の実施の形態を適用した画像符号化装置の要部の回路構成を示すブロック図である。
【図１２】該第４の実施の形態の画像符号化装置の要部の動作を説明するためのフローチャートである。
【図１３】動きベクトルの画像間予測残差に対するマクロブロック単位の発生符号量の推定値ｙ'iの関数ｆ₆の特性図である。
【図１４】輝度信号Ｙの分散値Ｖとマクロブロックの発生符号量の推定値ｙ'iの関数ｆ₅の特性図である。
【図１５】予測符号化の原理を説明するための画像を示す図である。
【図１６】動き補償予測符号化の原理を説明するための画像を示す図である。
【図１７】画像符号化装置と画像復号化装置の構成例を示すブロック図である。
【図１８】マクロブロック、スライスの構成を示す図である。
【図１９】従来のエンコーダの回路構成の一例を示すブロック図である。
【図２０】従来のデコーダの回路構成の一例を示すブロック図である。
【符号の説明】
１０第１の符号化回路
１４、４４予測符号化回路
１５、４５ＤＣＴ回路
１６、４６量子化回路
１７、４７可変長符号化回路
３０符号化制御回路
３１カウンタ
３２ビットレート演算回路
３３量子化スケール設定回路
４０第２の符号化回路
４３遅延器
６０画像解析回路
６１フレーム内情報解析回路
６２フレーム間情報解析回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image encoding method and apparatus, and in particular, a system for encoding and recording a moving image signal on an image recording medium such as an optical disk, a magnetic disk, and a magnetic tape, and a moving image image via a transmission line. The present invention relates to an image encoding method and apparatus used in a system for transmitting signals.
[0002]
[Prior art]
Conventionally, for example, a video transmission system such as a video conferencing system or a videophone system transmits a video signal to a remote location, and a video signal is recorded on an image recording medium such as an optical disk, a magnetic disk, or a magnetic tape. In a system for reproducing a video signal of a moving image, etc., in order to efficiently use a transmission path (or image recording medium), so-called high-efficiency encoding is performed on the video signal using line correlation or frame correlation of the video signal. The system reduces the redundancy in the space axis direction and the time axis direction and transmits only significant information to increase transmission efficiency.
[0003]
For example, in the encoding process in the spatial axis direction (hereinafter referred to as intra-frame encoding process), for example, line correlation of the video signal is used, and the time t shown in FIG. ₁ , T ₂ , T _Three When transmitting each image PC1, PC2, PC3... Constituting the moving image in..., The image data to be transmitted is one-dimensionally encoded within the same scanning line, for example, a plurality of images, for example. By dividing the block into two blocks and two-dimensionally encoding the image data of each block, data compression is performed and transmission efficiency is improved.
[0004]
Further, in the encoding process in the time axis direction (hereinafter referred to as interframe encoding process), for example, by so-called predictive encoding using the interframe correlation of the video signal, that is, as shown in FIG. Image data PC12, PC23..., Which are image data differences (so-called prediction errors) for the corresponding pixels between the images PC1 and PC2, PC2 and PC3..., Are obtained, and these image data PC12, PC23. By transmitting the data, data compression is performed and transmission efficiency is improved.
[0005]
Thus, it is possible to transmit a video signal with a remarkably small amount of data compared to the case of transmitting all image data of the images PC1, PC2, PC3.
[0006]
Further, in the predictive coding in the above-described interframe coding processing, motion compensation prediction is used, for example, in units of macroblocks in order to further increase the efficiency. That is, for example, when a person in the center of the screen moves, the movement of the moving object in the screen is detected, and the position of the image data used for prediction is corrected in the previous image by the amount of the movement. Encoding efficiency can be improved by performing encoding. However, a lot of data still needs to be sent to the part where the object has moved and appeared from behind. Therefore, encoding efficiency can be further improved by performing motion compensation prediction not only in the above-described direction but also in the backward direction or a combination of both.
[0007]
Specifically, as shown in FIG. 16A, the frame data F0, F1, F2, and the 0th, 1st, 2nd, 3rd,..., Frame data of the video signal VD of the moving image to be transmitted. In the macro block of F3..., When there is a change in the image represented by the motion vectors X0, X1, X2, X3. Every other frame), that is, the second, fourth,... Frames are designated as interpolation frames, and transmission interpolation is performed for these interpolation frames by predetermined interpolation frame processing as shown in FIG. Frame data F2X, F4X,... Are generated. Further, the frame data F1, F3,... Are subjected to a predetermined encoding process for the remaining non-interpolated frames to generate transmission non-interpolated frame data F1X, F3X,.
[0008]
For example, the difference SP2 (prediction error) between the frame data F3 and the frame data F2 subjected to motion compensation, the difference SP3 between the frame data F1 and the frame data F2 subjected to motion compensation, and the frame data F1 and F3 subjected to the motion compensation are interpolated. The difference SP4 between the obtained frame data and the frame data F2 is obtained for each macroblock, and the difference between the macroblock SP1 of the frame data F2 and these differences is compared. Then, among these data SP1 to SP4, data with the smallest data generation amount is set as transmission interpolation data F2X in units of macroblocks, and transmission interpolation data F4X... For each interpolation frame is generated in the same manner. Further, the non-interpolated frame data F1, F3,... Are subjected to, for example, DCT conversion processing, variable length coding processing, and the like to generate transmission non-interpolated frame data F1X, F3X,.
[0009]
These transmission non-interpolated frame data F1X, F3X,... And transmission interpolation data F2X, F4X,..., Together with the motion vectors X0, X1, X3. To transmit.
[0010]
On the other hand, the receiving-side apparatus sends transmission data DATA (transmission non-interpolated frame data F1X, F3X..., Transmission interpolation data F2X, F4X..., Motion vectors X0, X1, X3. ) Is subjected to a decoding process corresponding to the encoding process on the transmission side to reproduce the frame data F0, F1, F2, F3. As a result, encoding efficiency can be further improved by performing motion compensation prediction not only in the forward direction but also in the backward direction or a combination of both.
[0011]
Here, an image encoding device and an image decoding device having the above-described functions will be described with reference to FIG.
[0012]
The image encoding apparatus 70 shown in FIG. 17 converts a preprocessing circuit 71 that separates an input video signal VD into a luminance signal and a color difference signal, and converts the luminance signal and the color difference signal from the preprocessing circuit 71 into digital signals, respectively. Analog / digital (hereinafter referred to as A / D) conversion circuits 72a and 72b; a frame memory group 73 for storing luminance data and color difference data (hereinafter referred to as image data) from the A / D conversion circuits 72a and 72b; A format conversion circuit 74 that reads image data from the frame memory group 73 according to a block format, and an encoder 75 that performs high-efficiency encoding on the block image data from the format conversion circuit 74 are provided.
[0013]
The preprocessing circuit 71 separates the input video signal VD into a luminance signal and a color difference signal, and the A / D conversion circuits 72a and 72b convert the luminance signal and the color difference signal into luminance data and color difference data each consisting of 8 bits. The frame memory group 73 stores these luminance data and color difference data.
[0014]
The format conversion circuit 74 reads image data (luminance data, color difference data) stored in the frame memory group 73 in accordance with the block format, and the encoder 75 reads the read image data by predetermined high-efficiency encoding. Encode and output a bitstream.
[0015]
The bit stream is supplied to the image decoding apparatus 80 via a transmission path 90 and a transmission medium 90 including an image recording medium such as an optical disk, a magnetic disk, and a magnetic tape.
[0016]
As shown in FIG. 17, the image decoding apparatus 80 includes a decoder 81 corresponding to the encoder 75, a format conversion circuit 82 for converting image data reproduced by the decoder 81 into a frame format, A frame memory group 83 for storing image data from the format conversion circuit 82; D / A conversion circuits 84a and 84b for converting luminance data and color difference data read from the frame memory group 83 into analog signals; And a post-processing circuit 85 that generates an output video signal by mixing luminance signals and color difference signals from the / A conversion circuits 84a and 84b.
[0017]
The decoder 81 decodes the bit stream by decoding corresponding to the high-efficiency encoding of the encoder 75 and reproduces the image data in the block format, and the format conversion circuit 82 converts the image data into the frame format. And stored in the frame memory group 83.
[0018]
The D / A conversion circuits 84a and 84b convert the luminance data and color difference data read from the frame memory group 83 into luminance signals and color difference signals, respectively. The post-processing circuit 81 mixes these luminance signals and color difference signals. Thus, an output video signal is generated.
[0019]
Specifically, the pre-processing circuit 71 and the A / D conversion circuits 72a and 72b convert the luminance signal and the color difference signal into digital signals as described above, and the number of pixels in the vertical and horizontal directions with respect to the color difference signal. After reducing the data amount so as to be ½ of the luminance signal, time axis multiplexing is performed, and the obtained luminance data and color difference data are supplied to the frame memory group 73.
[0020]
Then, as described above, the luminance data and the color difference data are read from the frame memory group 73 according to the block format. That is, for example, image data for one frame is divided into N slices as shown in FIG. 18A, and each slice includes M macroblocks as shown in B of FIG. As shown in FIG. 18C, each macro block is a block unit composed of 8 × 8 pixels, and luminance data Y [1], Y [2], Y of four luminance blocks adjacent vertically and horizontally. [3], Y [4] and color difference data Cb [5], Cr [6] of a color difference block composed of 8 × 8 pixels in a range corresponding to these four luminance blocks. From the frame memory group 73, image data continues in units of macroblocks in the slice, and Y [1], Y [2], Y [3], Y [4], Cb [5], in the macroblock. Luminance data and color difference data are read out so as to be continuous in the order of Cr [6]. The image data read according to the block format in this way is supplied to the encoder 75.
[0021]
As shown in FIG. 19, the encoder 75 includes a motion vector detection circuit 101. The motion vector detection circuit 101 detects a motion vector of image data supplied in a block format in units of macroblocks. That is, the motion vector detection circuit 101 detects the motion vector of the current reference image in units of macroblocks using the front original image and / or the rear original image stored in the frame memory group 102. Here, in the detection of the motion vector, the motion vector is determined so that the absolute value sum of the inter-frame difference in the macro block unit is minimized. The detected motion vector is supplied to the motion compensation circuit 113 and the like, and the sum of absolute values of inter-frame differences in units of macroblocks is supplied to the intraframe / forward / backward / bidirectional prediction determination circuit 103.
[0022]
Based on this value, the intra-frame / forward / backward / bidirectional prediction determination circuit 103 determines the prediction mode of the reference block, and based on the determined prediction mode, the intra-frame / front / backward / backward / The predictive coding circuit 104 is controlled so as to switch bidirectional prediction. The predictive coding circuit 104 includes

adder circuits

104a, 104b, and 104c and a changeover switch 104d. The predictive encoding circuit 104 predicts the input image data itself in the intra-frame encoding mode and the predictive encoding circuit in the forward / backward / bidirectional prediction mode. A difference for each pixel of input image data with respect to an image (hereinafter referred to as difference data) is selected, and the selected data is supplied to the DCT circuit 105.
[0023]
The DCT circuit 105 performs DCT conversion of input image data or difference data in units of blocks using the two-dimensional correlation of the video signal, and supplies the obtained coefficient data to the quantization circuit 106.
[0024]
The quantization circuit 106 quantizes the coefficient data using a quantization step size (quantization scale) determined for each macroblock or slice, and the obtained quantization data is a variable length coding (VLC) circuit 107. And supplied to the inverse quantization circuit 108. By the way, the quantization step size used for the quantization is determined to a value that does not cause the transmission buffer memory 109 to fail by feeding back the remaining buffer capacity of the transmission buffer memory 109, which will be described later. This quantization step size is also a variable length. This is supplied to the encoding circuit 107 and the inverse quantization circuit 108.
[0025]
The variable length coding circuit 107 performs variable length coding of the quantized data together with the quantization step size, the prediction mode, and the motion vector, and supplies the data to the transmission buffer memory 109 as transmission data.
[0026]
The transmission buffer memory 109 temporarily stores the transmission data, and then reads out the transmission data at a constant bit rate, thereby smoothing the transmission data and outputting it as a bit stream, and also according to the amount of residual data remaining in the memory. The unit quantization control signal is fed back to the quantization circuit 106 to control the quantization step size. As a result, the transmission buffer memory 109 adjusts the amount of data generated as a bit stream, and maintains an appropriate remaining amount of data (data amount that does not cause overflow or underflow) in the memory. For example, when the remaining amount of data in the transmission buffer memory 109 increases to an allowable upper limit, the transmission buffer memory 109 increases the quantization step size of the quantization circuit 106 with the quantization control signal, thereby Reduce the amount of data. On the other hand, when the remaining amount of data in the transmission buffer memory 109 is reduced to the allowable lower limit, the transmission buffer memory 109 reduces the quantization step size of the quantization circuit 106 by using the quantization control signal, so that the quantized data data is reduced. Increase the amount.
[0027]
In this way, the bit stream output from the buffer memory 109 has a constant bit rate and, as described above, via the transmission path and the transmission medium 90 composed of an image recording medium such as an optical disk, a magnetic disk, or a magnetic tape, This is supplied to the image decoding device 80.
[0028]
On the other hand, the inverse quantization circuit 108 inversely quantizes the quantized data supplied from the quantization circuit 106, and reproduces coefficient data (quantization distortion added) corresponding to the output of the DCT circuit 105 described above. The coefficient data is supplied to an inverse discrete cosine transform (IDCT: Inverse Discrete Cosine Trasform) circuit 110.
[0029]
The IDCT circuit 110 performs IDCT conversion on the coefficient data and reproduces image data corresponding to the input image data in the intra-frame coding mode, and a difference corresponding to the output of the prediction coding circuit 104 in the forward / backward / bidirectional prediction mode. Data is reproduced and supplied to the adder circuit 111.
[0030]
In the forward / backward / bidirectional prediction mode, the adder circuit 111 is supplied with motion compensated predicted image data from a motion compensation circuit 113 described later, and adds the motion compensated predicted image data and difference data. As a result, the image data corresponding to the input image data is reproduced.
[0031]
The image data reproduced in this way is stored in the frame memory 112. That is, the inverse quantization circuit 108 to the addition circuit 111 constitute a local decoding circuit, and based on the prediction mode, the quantized data output from the quantization circuit 106 is locally decoded, and the obtained decoded image is subjected to forward prediction. An image or a backward predicted image is written in the frame memory 112. The frame memory 112 is composed of a plurality of frame memories, the bank of the frame memory is switched, and a single frame is output as forward prediction image data or output as backward prediction image data depending on the image to be encoded. Is done. Further, in the case of bi-directional prediction, the forward prediction image data and the backward prediction image data are averaged and output, for example. These predicted image data are exactly the same as the images reproduced by the decoder 81, which will be described later, and the next processed image is subjected to forward / rearward / bidirectional predictive coding based on the predicted image.
[0032]
That is, the image data read from the frame memory 112 is supplied to the motion compensation circuit 113. The motion compensation circuit 113 performs motion compensation on the predicted image data based on the motion vector, and the motion compensated predicted image data. Is supplied to the prediction encoding circuit 104 and the addition circuit 111.
[0033]
Next, the decoder 81 will be described with reference to FIG.
[0034]
A bit stream is input to the decoder 81 shown in FIG. 20 via the transmission medium 90 shown in FIG. This bit stream is input to the variable length decoding (IVLC) circuit 202 via the reception buffer 201. The variable length decoding circuit 202 reproduces quantized data, a motion vector, a prediction mode, a quantization step size, and the like from the bit stream. The quantized data and the quantization step size are supplied to the inverse quantization circuit 203, the motion vector is supplied to the motion compensation circuit 207, and the prediction mode is supplied to the addition circuit 205.
[0035]
The operations of the inverse quantization circuit 203 to the addition circuit 205 are the same as those of the local decoding circuit of the encoder 75 shown in FIG. 18, and the operations of the frame memory group 206 and the motion compensation circuit 207 are the frame memory 112 of the encoder 75, respectively. Similar to the motion compensation circuit 113, decoding is performed based on the quantized data, the motion vector, the prediction mode, and the quantization step size. As a result, reproduced image data is output from the adder circuit 205, and this reproduced image data is sent to the format conversion circuit 82 in FIG.
[0036]
[Problems to be solved by the invention]
As described above, in the conventional apparatus, the encoding bit rate of the bit stream generated by the encoder 75 is constant according to the transfer rate of the transmission medium 90, and the data generation amount, that is, the encoder 75 The quantization step size of the quantization circuit 106 was controlled. In other words, for example, when images with complicated patterns continue, the quantization step size is increased to suppress the amount of data generated, and conversely, when simple patterns continue, the quantization step size is decreased to reduce the data generation amount. By increasing the generation amount, a fixed rate is maintained without causing an overflow or underflow of the buffer memory 109.
[0037]
Therefore, in the conventional apparatus, when complex images are continuous, the quantization step size is increased and the image quality is deteriorated. When simple images are continuous, the quantization step size is decreased and the image quality is uniform throughout. Could not get.
[0038]
Also, when recording a bitstream on an image recording medium with a limited data capacity, a high rate that does not impair the image quality of the complex image in order to avoid extreme image quality degradation for images with complex patterns. A fixed rate had to be applied to the whole, resulting in a reduction in recording time.
[0039]
Furthermore, even if the complexity of the images is the same, the subjective impression of the encoded image quality may be poor depending on the design. This is due to human visual characteristics. For example, there is a problem that coding noise such as block noise and mosquito noise is conspicuous in a dark portion, a red portion, and a flat portion of an image.
[0040]
The present invention has been made in view of such a situation, and can obtain uniform and good image quality throughout the whole, and can record for a long time, and further encodes reflecting human visual characteristics. An object of the present invention is to provide an image encoding method and apparatus capable of encoding so as not to make noise conspicuous.
[0041]
[Means for Solving the Problems]
According to the present invention, first encoded data is generated by encoding at least a part of an input video signal, and the amount of data of the first encoded data per predetermined time and the predetermined time of the input video signal. The coding rate for each predetermined time is obtained based on the image characteristic information and the total amount of data that can be used, and the input video signal is coded for each predetermined time based on the coding rate to obtain the second code. The above-mentioned problem is solved by generating the digitized data.
[0042]
Further, in order to solve the above-described problem, the encoding difficulty level for each predetermined time is obtained based on the image characteristic information for each predetermined time period of the input video signal without generating the first encoded data, An encoding rate for each predetermined time is obtained based on the encoding difficulty level and the total amount of usable data, and the input video signal is encoded for each predetermined time based on the encoding rate to generate encoded data. It may be generated.
[0043]
As the image characteristic information, the average value of the luminance signal as the luminance information of the image every predetermined time, the average value of the chromaticity signal as the chromaticity information every predetermined time, the variance value of the luminance signal as the flatness information, The average value of the motion vector amount of the macroblock as the motion information of the image at every predetermined time, the sum of the prediction residual between the images of the motion vector of the macroblock as the difference between the images at the predetermined time, and the like can be mentioned.
[0044]
That is, the image encoding method and apparatus according to the present invention encodes at least a part of an input image signal to generate first encoded data, uses the average value of the luminance signal as the first parameter, and encodes noise. The first function value corresponding to the average value of the luminance signal for each predetermined time of the input image signal is calculated by the first function having a peak value with low brightness that is easy to perceive, and the first function value and the above An encoding difficulty level for each predetermined time is calculated based on a product of the first encoded data and a data amount for each predetermined time period, and is proportional to the encoding difficulty level, and is calculated from the total available data amount for the predetermined time period. By assigning a code amount every time, an encoding rate for each predetermined time is obtained, and the input image signal is encoded for each predetermined time based on the encoding rate for each predetermined time to obtain second encoded data Specially to produce It is an.
[0045]
As a result, encoding can be performed at an encoding rate based on the amount of data every predetermined time according to the complexity of the image, and encoding that reflects human visual characteristics can be performed.
[0046]
DETAILED DESCRIPTION OF THE INVENTION
Several preferred embodiments of an image coding method and apparatus according to the present invention will be described below with reference to the drawings.
[0047]
First embodiment
An image encoding apparatus to which the first embodiment of the present invention is applied includes a first encoding circuit 10 that encodes an input video signal and generates first encoded data, for example, as shown in FIG. An image analysis circuit 60 for obtaining a statistical property or an image characteristic of the input video signal, a data amount of the first encoded data from the first encoding circuit 10 per predetermined time, and the image analysis circuit 60 A coding control circuit 30 that obtains a coding rate for each predetermined time based on the statistical data or image characteristic information and the total usable data amount, and the predetermined data based on the coding rate from the coding control circuit 30. And a second encoding circuit 40 that encodes the input video signal and generates second encoded data every time.
[0048]
The image analysis circuit 60 includes an intra-frame information analysis circuit 61 and an inter-frame information analysis circuit 62 as shown in FIG. The intra-frame information analysis circuit 61 calculates, for example, statistical information on luminance, chromaticity, and flatness as the image characteristic information of the input image, and the inter-frame information analysis circuit 62 calculates, for example, the image characteristic information of the input image. Calculate statistical information on the amount of motion of moving images.
[0049]
As a specific example of the image characteristic information, as the statistical information about the luminance of the input image, for example, an average value (L) of the luminance signal Y every predetermined time is calculated, and the statistical information about the chromaticity of the input image As the information, for example, an average value (R) of the chromaticity signal Cr every predetermined time is calculated, and as the statistical information of the flatness of the input image, for example, the variance value (V) of the luminance signal Y every predetermined time As the statistical information of the motion amount of the input image, for example, an average value (M) of the motion vector amount per predetermined time is calculated.
[0050]
Further, as shown in FIG. 1, the first encoding circuit 10 includes a frame memory group 12 that stores input image data that is an input video signal, and image data stored in the frame memory group 12. Based on the motion vector detection circuit 11 for detecting the motion vector of the input image data, the frame memory 22 for storing the predicted image data, and the frame memory 22 based on the motion vector from the motion vector detection circuit 11. A motion compensation circuit 23 that performs motion compensation on the predicted image data that has been output; a prediction encoding circuit 14 that predictively encodes input image data based on the motion-compensated prediction image data from the motion compensation circuit 23; A difference or the like that is a prediction error from the predictive encoding circuit 14 is encoded, for example, a discrete cosine transform (hereinafter referred to as DCT: Discrete Cosine Transform). ) To generate coefficient data, quantize the coefficient data from the DCT circuit 15 with a constant quantization step size, and generate quantized data; and the quantizing circuit 16 A variable length coding (VLC) circuit 17 that performs variable length coding on the quantized data from the output and outputs variable length code data, and a coefficient obtained by dequantizing the quantized data from the quantization circuit 16 An inverse quantization circuit 18 for reproducing data, and an IDCT circuit 20 for decoding the coefficient data from the inverse quantization circuit 18, for example, inverse discrete cosine transform (hereinafter referred to as IDCT) and reproducing the difference. And the difference from the IDCT circuit 20 and the motion compensated predicted image data from the motion compensation circuit 23 are added to obtain predicted image data for the next input image data. Form, and an adder circuit 21 supplied to the frame memory 22 the predicted image data.
[0051]
As shown in FIG. 1, the second encoding circuit 40 includes a delay unit 43 that delays input image data, a frame memory 52 that stores predicted image data, and the motion vector detection circuit 11. A motion compensation circuit 53 for performing motion compensation on the predicted image data read out from the frame memory 52 based on the motion vector, and the delay unit based on the motion compensated predicted image data from the motion compensation circuit 53. A predictive encoding circuit 44 that predictively encodes input image data delayed at 43, a DCT circuit 45 that encodes a difference from the predictive encoding circuit 44, for example, DCT transforms to generate coefficient data, and the above A quantization scale setting circuit 33 for setting a quantization step size based on an encoding rate from the encoding control circuit 30; and a coefficient from the DCT circuit 45 Data is quantized with the quantization step size from the quantization scale setting circuit 33 to generate quantized data, and the quantized data from the quantization circuit 46 is variable-length encoded, Variable length encoding circuit 47 for outputting variable length code data, transmission buffer memory 49 for temporarily storing variable length code data from the variable length encoding circuit 47 and outputting it at a constant bit rate, and the quantization circuit An inverse quantization circuit 48 that dequantizes the quantized data from 46 to reproduce coefficient data, and an IDCT circuit 50 that decodes the coefficient data from the inverse quantization circuit 48, for example, performs IDCT conversion to reproduce the difference. And the difference from the IDCT circuit 50 and the motion compensated predicted image data from the motion compensation circuit 53 are added to generate predicted image data for the next input image data. And, an adding circuit 51 supplied to the frame memory 52 the predicted image data.
[0052]
In this image coding device, the first coding circuit 10 performs coding processing on one sequence of input image data, for example, prediction coding processing, DCT conversion processing, and quantization processing with a constant quantization step size. After the variable length coding process is performed and the coding bit rate is obtained by the coding control circuit 30, the second coding circuit 40 performs coding based on the obtained coding bit rate. Here, the one sequence assumes all frames recorded on one image recording medium, for example, for one movie or program. In addition, each sequence is used when the recording medium is divided and used. All frames recorded for each divided area may be one sequence. The encoding control circuit 30 has a data amount per predetermined time of the variable length code data that is the first bit stream obtained by the first encoding circuit, and the luminance of the input video signal obtained by the image analysis circuit 60. The average value (L) and variance (V) of the signal Y every predetermined time, the average value (R) of the chromaticity signal Cr every predetermined time, and the average value (M) of the motion vector amount every predetermined time, for example, Based on the total data volume determined by the data capacity of the image recording medium 55 such as an optical disk, magnetic disk, magnetic tape or the like, or the bit rate (transfer rate) of the transmission path, the encoding bit rate per predetermined time is determined. One sequence is obtained. Further, the second encoding circuit 40 performs the predictive encoding process, the DCT conversion process, the quantization process, and the variable length encoding process on the input image data again to obtain the variable length code data that is the second bit stream. When generating, quantization is performed with a quantization step size based on the encoding bit rate.
[0053]
Here, a specific example of the operation of the first encoding circuit 10 constituting the image encoding apparatus of the first embodiment will be described with reference to the flowchart of FIG.
[0054]
That is, in step ST1 of the flowchart shown in FIG. 2, the quantization circuit 16 of the first encoding circuit 10 in FIG. 1 quantizes the coefficient data supplied from the DCT circuit 15 with the quantization step size set to 1, for example. Then, the quantized data is generated, and the counter 31 of the encoding control circuit 30 determines the data amount of the variable length code data (first bit stream) obtained by variable length encoding the quantized data for a predetermined unit time. For example, the number of generated codes (y) is obtained for each macroblock by counting for each macroblock. Further, the image analysis circuit 60 obtains the average value (L) and variance (V) of the luminance signal Y in the macroblock and the average value (R) of the chromaticity signal Cr, and the motion vector amount of the macroblock The average value (M) is obtained.
[0055]
In the next step ST2, the bit rate calculation circuit 32 assigns each macroblock based on the values y, L, V, R, and M and the total usable data (B) described above. The code amount (b) is obtained. In this case, specifically, the encoding difficulty (difficulty) (d) is obtained based on the values y, L, V, R, and M, and the encoding difficulty (d) and the usable data are obtained. The allocated code amount (b) is obtained based on the total amount (B).
[0056]
In step ST3, the quantization circuit 46 of the second encoding circuit 40 quantizes the coefficient data supplied from the DCT circuit 45 with the quantization step size based on the allocated code amount, and generates quantized data. It is like that.
[0057]
The operation of the first encoding circuit 10 will be described more specifically with reference to FIG.
[0058]
The input image data is temporarily stored in the frame memory group 12. Then, it is read from the frame memory group 12 according to the block format as described in the prior art.
[0059]
The motion vector detection circuit 11 reads necessary image data from the frame memory group 12 in units of the macroblocks described above, and detects a motion vector. That is, the motion vector detection circuit 11 detects the motion vector of the current reference image in units of macroblocks using the front original image and / or the rear original image stored in the frame memory group 12. Here, for the detection of the motion vector, for example, a motion vector having the smallest absolute value sum of inter-frame differences in units of macroblocks is set as the motion vector. The detected motion vector is supplied to the

motion compensation circuits

23 and 53, and the absolute value sum of the inter-frame difference in units of macroblocks is supplied to the intra-frame / forward / backward / bidirectional prediction determination circuit 13.
[0060]
The intra-frame / forward / backward / bidirectional prediction determination circuit 13 determines the prediction mode of the reference block based on this value, and based on the determined prediction mode, the intra-frame / forward / backward / bidirectional prediction is performed in units of blocks. The predictive coding circuit 14 is controlled so as to perform switching.
[0061]
As shown in FIG. 1 described above, the predictive encoding circuit 14 includes adder circuits 14a, 14b, 14c, and a changeover switch 14d. In the mode, a difference for each pixel of input image data (hereinafter referred to as difference data) with respect to each predicted image is selected, and the selected data is supplied to the DCT circuit 15.
[0062]
The DCT circuit 15 DCT-transforms input image data or difference data supplied from the changeover switch 14d in units of blocks using the two-dimensional correlation of the video signal, and supplies the obtained coefficient data to the quantization circuit 16.
[0063]
The quantization circuit 16 quantizes the coefficient data supplied from the DCT circuit 15 with a constant quantization step size, for example, a quantization step size of 1, and converts the obtained quantized data into the variable length coding circuit 17 and the inverse quantum. To the circuit 18.
[0064]
The variable length coding circuit 17 performs variable length coding on the quantized data together with the quantization step size, prediction mode, motion vector, and the like, and supplies the obtained variable length code data to the coding control circuit 30 as a first bit stream. To do.
[0065]
As shown in FIG. 1 described above, the encoding control circuit 30 includes a counter 31 that counts the data amount of the variable length code data from the variable length encoding circuit 17 every predetermined time, and the data amount from the counter 31 and And a bit rate calculation circuit 32 for obtaining an allocated code amount per predetermined time based on the total usable data amount. Then, the counter 31 counts the data amount of the first bit stream every predetermined time, for example, every macro block, obtains the generated code amount for each macro block, and supplies this generated code amount to the bit rate calculation circuit 32. To do.
[0066]
The bit rate calculation circuit 32 generates the generated code amount for each macroblock, the average value (L) and variance (V) of the luminance signal Y of the macroblock, and the average value (R) of the chromaticity signal Cr of the macroblock. Based on the average value (M) of the motion vector amount of the macroblock and the total usable data amount, the assigned code amount assigned to each macroblock, that is, the average coding rate for each macroblock time is obtained, and this assigned code The quantity is supplied to the quantization scale setting circuit 33 of the second encoding circuit 40.
[0067]
Specifically, the bit rate calculation circuit 32 sets the total number of macro blocks to N, sets the total usable data amount to B, and sets the i (i = 0, 1, 2,..., N−1) -th macro block. The generated code amount is yi, the average value of the luminance signal Y of the i-th macroblock is Li, the variance is Vi, the average value of the chromaticity signal Cr is Ri, the average value of the motion vector amount is Mi, f ₁ , F ₂ , F _Three , F _Four The coefficient α that reflects the subjective impression of the image pattern on the coding difficulty di from the characteristics of _i , Β _i , Γ _i , Θ _i As shown in Equation 1, the encoding difficulty level di is obtained by the product of these coefficients and yi.
[0068]
α _i = F ₁ (Li)
β _i = F ₂ (Ri)
γ _i = F _Three (Vi)
θ _i = F _Four (Mi)
d _i = Α _i × β _i × γ _i × θ _i Xy _i ... Formula 1
Where the function f ₁ , F ₂ , F _Three , F _Four Specific examples of the characteristics will be described with reference to FIGS.
[0069]
FIG. 3 shows a function f representing the coefficient α with respect to the average value L of the luminance signal Y. ₁ The characteristics of In the L on the horizontal axis in FIG. 3, 0 is black and MAX is the brightest value. In general, human eyes can easily understand coding noise in dark images. However, at darkness below a certain level, it is too dark to perceive coding noise. Based on this feature, α = 1 in the vicinity of L = 0, L is at the level of L that is most easily perceived of deterioration, α has a peak, and at more than L, α is gradually reduced. When α is 1 or more, the encoding difficulty level d is increased. Conversely, when α is 1 or less, the encoding difficulty level d is decreased. Note that the average value of the luminance signal Y for the i-th macroblock is Li, and the coefficient α for this i-th macroblock is _i Is f ₁ (Li).
[0070]
FIG. 4 shows a function f of the average value R and coefficient β of the chromaticity signal Cr. ₂ The characteristics of As for R on the horizontal axis in FIG. 4, 0 is gray and MAX is the most red value. In general, the human eye has a feature that makes red deterioration easy to understand. Based on this feature, the larger R is, the larger β is 1 or more, and the encoding difficulty d is increased. Note that the average value of the chromaticity signal Cr for the i-th macroblock is Ri, and the coefficient β for this i-th macroblock is _i Is f ₂ (Ri).
[0071]
FIG. 5 shows a function f of the variance value V of the luminance signal Y and the coefficient γ. _Three The characteristics of As for V on the horizontal axis in FIG. 5, 0 is completely flat, and MAX has the most random pattern. In general, the human eye can easily understand the coding noise in the flat portion of the design, and conversely, the deterioration is difficult to understand in the portion where the design is messy. Based on this feature, as the value of V increases, γ is set to a smaller value of 1 or less, and the encoding difficulty d is decreased. The variance value of the luminance signal Y for the i-th macroblock is Vi, and the coefficient γ for this i-th macroblock is _i Is f _Three (Vi).
[0072]
FIG. 6 shows a function f of the average value M of the motion vector amount and the coefficient θ. _Four The characteristics are shown. M on the horizontal axis in FIG. 6 is a case where 0 is stationary, and MAX has the largest movement (fast). In general, when the movement of an image is large (fast), the human eye cannot keep up with the movement and it is difficult to understand the deterioration of the image. Based on this feature, θ is set to a smaller value of 1 or less as M increases, and the encoding difficulty d is reduced. When the macro block is intra-coded, θ = 1. The average motion vector amount for the i-th macroblock is Mi, and the coefficient θ for this i-th macroblock is _i Is f _Four (Mi).
[0073]
The coefficient α, β, γ, θ obtained in this way is multiplied by the generated code amount y to obtain the encoding difficulty level d. For the i-th macroblock, the coefficient α _i , Β _i , Γ _i , Θ _i And is multiplied by the generated code amount yi as shown in the above equation 1 to obtain the encoding difficulty level di.
[0074]
Here, when the allocated code amount for the i-th macroblock is bi, and this allocated code amount bi is proportional to the encoding difficulty di as shown in the following equation 2, the total data amount B is expressed by the following equation 3. Thus, it is obtained by adding the allocated code amount bi of all macroblocks. Note that a and c are constants.
[0075]
bi = a × di + c (2)
[0076]
[Expression 1]

[0077]
Here, the constant c is a value determined in advance according to the average bit rate in the one sequence in consideration of the average bit rate when the allocated code amount bi is averaged. Further, the constant a can be obtained by the following equation 4. When the constant a is substituted into the above equation 2, the allocated code amount bi for the i-th macroblock can be obtained by the following equation 5.
[0078]
[Expression 2]

[0079]
A sum of bi for all macroblocks constituting one slice is an allocated code amount of the slice. Also, the sum of bi for all macroblocks constituting one frame is the allocated code amount of that frame. Thus, for example, the bit rate calculation circuit 32 increases the assigned code amount for a frame with a complex picture, and conversely reduces the assigned code amount for a frame with a simple picture.
[0080]
On the other hand, the inverse quantization circuit 18 inversely quantizes the quantization data supplied from the quantization circuit 16 with a quantization step size of 1, and adds coefficient data (quantization distortion is added) corresponding to the output of the DCT circuit 15. The coefficient data is supplied to the IDCT circuit 20.
[0081]
The IDCT circuit 20 performs IDCT conversion on the coefficient data, reproduces input image data corresponding to the output of the predictive coding circuit 14 in the intra-frame coding mode, and reproduces difference data in the forward / backward / bidirectional prediction mode. , And supplied to the adding circuit 21.
[0082]
In the forward / backward / bidirectional prediction mode, the adder circuit 21 is supplied with predicted image data subjected to motion compensation from the motion compensation circuit 23, and adds the predicted image data and the difference data supplied from the IDCT circuit 20. Thus, the image data corresponding to the input image data is reproduced.
[0083]
The image data reproduced in this way is stored in the frame memory 22 as predicted image data. That is, the inverse quantization circuit 18 to the addition circuit 21 constitute a local decoding circuit, locally decode the quantized data output from the quantization circuit 16 based on the prediction mode, and perform forward prediction on the obtained decoded image. An image or a backward predicted image is written in the frame memory 22. The frame memory 22 is composed of a plurality of frame memories, and bank switching of the frame memory is performed. Depending on the image to be encoded, for example, a single frame is output as forward predicted image data or as backward predicted image data Is output. Further, in the case of bi-directional prediction, the forward prediction image data and the backward prediction image data are averaged and output, for example. These predicted image data are exactly the same image data as those reproduced by an image decoding apparatus to be described later, and the next processed image is subjected to forward / backward / bidirectional predictive coding based on this predicted image. Is called.
[0084]
Next, the operation of the second encoding circuit 40 will be described. The circuits other than the quantization scale setting circuit 33, the delay unit 43, the quantization circuit 46, and the transmission buffer memory 49 that constitute the second encoding circuit 40 are circuits that constitute the first encoding circuit 10 described above. Since the same operation is performed, the description is omitted.
[0085]
The delay unit 43 delays the input image data for a time until the encoding control signal is output from the encoding control circuit 30, for example. Then, the predictive encoding circuit 44 and the DCT circuit 45 perform predictive encoding processing and DCT conversion processing according to the prediction mode supplied from the intra-frame / forward / backward / bidirectional prediction determination circuit 13 to the delayed input image data. The coefficient data is generated.
[0086]
The quantization scale setting circuit 33 compares the generated code amount generated in a certain macroblock detected from the buffer feedback from the transmission buffer 49 and the allocated code amount for each macroblock.
[0087]
The quantization scale setting circuit 33 approaches the generated code amount of each macroblock in the second encoding to the assigned code amount of each set macroblock, so that the generated code amount in the macroblock is assigned to each macroblock. When the code amount is larger, the quantization step size of the next macroblock is set to be large in order to suppress the generated code amount of the next macroblock, and the generated code amount in the macroblock is smaller than the allocated code amount for each macroblock. Reduces the quantization step size of the next macroblock in order to increase the amount of generated codes. In the above description, the allocated code amount and the generated encoding amount are controlled to be close to each macroblock. However, in addition to this, for each slice, for each frame, or for each GOP (group of pictures) as described later. Control may be performed.
[0088]
Further, when the buffer feedback from the transmission buffer 49 indicates that the overflow of the transmission buffer 49 is close, the quantization scale setting circuit 33 performs quantization regardless of the comparison result between the allocated code amount and the generated code amount. If the overflow is suppressed by increasing the step size, and the buffer feedback from the transmission buffer indicates that the underflow of the transmission buffer 49 is close, it does not depend on the comparison result between the allocated code amount and the generated code amount. The underflow may be suppressed by reducing the quantization step size.
[0089]
In the above description, the generated code amount and the assigned code amount are compared for each macro block, and the quantization step size is switched for each macro block. However, the switching is performed for each slice, each frame, or each GOP. Can also be done.
[0090]
In the above description, the generated code amount is detected from the accumulated amount of the transmission buffer 49, but it can also be obtained directly from the output of the variable length encoding circuit 47. The quantization scale setting circuit 33 supplies the quantization step size set in this way to the quantization circuit 46.
[0091]
The quantization circuit 46 quantizes the coefficient data supplied from the DCT circuit 45 with the quantization step size supplied from the quantization scale setting circuit 33 described above, and generates quantized data.
[0092]
Then, the variable length coding circuit 47 converts the quantized data supplied from the quantization circuit 46 into the quantization step size from the quantization scale setting circuit 33, the intra-frame / forward / backward / bidirectional prediction determination circuit 13 and the like. Variable length coding is performed together with the prediction mode, the motion vector from the motion vector detection circuit 11 and the like, and the obtained variable length code data is supplied to the transmission buffer memory 49 as a second bit stream.
[0093]
Here, FIG. 7 is a flowchart schematically showing the operation of the second encoding circuit 40 of the image encoding apparatus.
[0094]
As shown in FIG. 7, when image data is input via the delay unit 43 in step ST11, in step ST12, the quantization scale setting circuit 33 allocates a frame to be currently encoded. The code amount is read from the encoding control circuit 30, and the process proceeds to step ST13.
[0095]
In step ST13, the predictive coding circuit 44 to the variable length coding circuit 47 perform predictive coding processing and DCT conversion processing on the image data, and also obtain coefficient data by a quantization step size based on the allocated code amount of the macroblock. After quantization, variable length coding is performed, and the process proceeds to step ST14.
[0096]
In step ST14, for example, it is determined whether or not the encoding process has been completed for all frames (sequences) to which the same screen size and the same transfer rate are applied. If applicable, the process ends. If not, step ST11. Return to. Thus, variable-rate coding in which the coding rate is changed in units of frames is realized, and even if images (frames) with complicated patterns are continuous, the quantization step size for these images is large as in the conventional device. Therefore, uniform image quality can be obtained throughout.
[0097]
On the other hand, the inverse quantization circuit 48 inversely quantizes the quantized data supplied from the quantization circuit 46 with the quantization step size used in the quantization circuit 46 described above, and a coefficient corresponding to the output of the DCT circuit 45. Data (quantized distortion is added) is reproduced, and this coefficient data is supplied to the IDCT circuit 50. That is, the inverse quantization circuit 48 to the addition circuit 51 constituting the local decoding circuit locally decode the quantized data output from the quantization circuit 46, and use the obtained decoded image as a forward prediction image or a backward prediction image as a frame. Write to memory 52. The image data stored in the frame memory 52 is used as a predicted image for the next processed image.
[0098]
The transmission buffer memory 49 may be provided as necessary. In such a case, the transmission buffer memory 49 temporarily stores the variable length code data and then reads out the variable length code by reading it at a constant bit rate. Data is smoothed and output as a bit stream. The bit stream output from the transmission buffer memory 49 is multiplexed with, for example, an encoded audio signal, a synchronization signal, etc., and further added with an error correction code to perform predetermined modulation suitable for transmission or recording. After being added, for example, it is transmitted to an image decoding apparatus via a transmission path, or recorded on an image recording medium 55 made up of an optical disk, a magnetic disk, a magnetic tape or the like as shown in FIG. That is, in the second encoding circuit 40, variable rate coding is performed by increasing the allocated code amount bi for a complex image in advance and decreasing the allocated code amount bi for a simple image, for example. Therefore, it is not necessary to apply a high fixed rate throughout the image in order to avoid extreme image quality degradation with respect to an image with a complicated pattern as in the conventional apparatus, and the recording time of the image recording medium 55 is increased. can do.
[0099]
When the transmission buffer memory 49 is not provided or when a small-capacity memory is provided, the output bit stream is supplied to the image recording medium 55 at a variable bit rate. However, the recording rate can be variably controlled and the maximum recording rate can be controlled. By using a recording device having a maximum bit rate of the output bit stream, the total recording capacity of the image recording medium 55 or the usable total data amount B is not overflowed, and the usable total data amount B is reduced. A sequence of video signals can be recorded with a close amount of data, and the overall recording capacity of the image recording medium 55 is allocated to a large amount for a complex image and a small amount for a simple image. As a result, optimum effective utilization of the medium capacity can be achieved.
[0100]
As is clear from the embodiment of the present invention described above, a standard quantization value is set in advance in the first encoding circuit 10 in order to calculate an encoding difficulty level every predetermined time. However, the code amount is obtained by quantizing the DCT coefficient only by adaptive quantization without performing control based on the buffer occupancy, and adaptive quantization is added to the amount of encoded information when a fixed standard quantization value is used. Image characteristic information such as image brightness, flatness, chromaticity, and image motion is calculated every predetermined time, and the bit rate calculation circuit uses the image characteristic information, the amount of encoded information, and the usage Based on the total amount of possible data, an allocated code amount allocated every predetermined time, for example, an average encoding rate for each frame time is obtained.
[0101]
Here, as the brightness of the image, for example, the average value (L) of the luminance signal Y every predetermined time, and as the flatness, for example, the variance value (V) of the luminance signal Y every predetermined time, As the chromaticity, for example, an average value (R) per predetermined time of the chromaticity signal Cr, and as the image motion, for example, an average value (M) per predetermined time of the motion vector amount of the macroblock, respectively. Used.
[0102]
In the second encoding circuit 40, a target code amount is determined with respect to the generated code amount for each predetermined time obtained by the temporary encoding (first encoding), and the quantization step size or the quantization value is set. Control and perform image coding. That is, at each predetermined time, the quantization step size is reduced at a portion where the noise of dark images is easily perceived so that a code amount corresponding to human visual characteristics is allocated, and the quantization step is performed at a flat portion of the screen. The size is reduced, the quantization step size is reduced as the red level is increased, and the quantization step size is increased as the motion vector amount is increased (motion is faster).
[0103]
In this way, by performing encoding that reflects human visual characteristics, if the subjective impression of encoded image quality is bad depending on the design, for example, even in the dark part, red part, flat part, etc. of the image, The conspicuous encoding noise (block noise, mosquito noise) can be avoided in advance.
[0104]
Second embodiment
By the way, in the first embodiment described above, the allocated code amount per predetermined time, that is, the average coding rate per predetermined time is obtained for each macro block with the macro block as the predetermined time. Is not limited to this. For example, the same applies when the frame is set to a predetermined time. In this case, the parameter group of yi, Li, Ri, Vi, and Mi in the above formulas 1 to 5 is calculated with one frame time as a predetermined time. Based on these parameter groups, the allocated code amount bi can be obtained for each frame by the above equation (5).
[0105]
The calculation method of Li, Ri, Vi, and Mi in the second embodiment may be an average value of all macroblocks in one frame, or a part of macros specified in one frame. It is good also as an average value of a block. The latter method is effective when dealing with an image in a letterbox format, that is, a format in which a 16: 9 image is displayed on a 4: 3 screen and the upper and lower frames are masked with black bands. In this case, Li, Ri, Vi, and Mi are calculated for macroblocks that constitute the central effective image portion excluding the upper and lower black belt mask portions of the image. This method is effective because the properties of the effective image portion at the center of the frame can be accurately grasped and the calculation of the mask portion of the black belt can be omitted.
[0106]
In the second encoding circuit 40 according to the second embodiment, it is necessary to calculate the allocated code amount for each macroblock in the quantization scale setting circuit 33 as compared with the first embodiment described above. In this case, the quantization scale setting circuit 33 calculates the allocated code amount for each macroblock from the supplied allocated code amount bi for each frame, for example, the allocated code amount bi for each frame is the number of macroblocks in one frame. Divided by. Buffer feedback control from the transmission buffer 49 is the same as that in the first embodiment.
[0107]
In the second embodiment, since the allocated code amount bi is obtained based on the frame, the memory amount necessary to store all the bi is smaller than that in the first embodiment. It is possible to save.
[0108]
Third embodiment
In the above-described embodiment, the allocated code amount per predetermined time, that is, the average coding rate per predetermined time is obtained for each frame with the frame as the predetermined time. However, the present invention is not limited to this. Absent. For example, a GOP (Group of Picture) in a so-called MPEG (Moving Picture Expert Group) may be set as the predetermined time. Note that the above-mentioned MPEG is a moving image that is being studied in the WG (Working Group) 11 of the SC (Sub Committee) 29 in the so-called ISO (International Organization for Standardization) and JTC (Joint Technical Committee) 1 of the IEC (International Electrotechnical Commission). It is a common name for image coding.
[0109]
That is, in the third embodiment, the MPEG GOP is composed of at least one so-called I picture and a plurality of P pictures or B pictures (non-I pictures). Specifically, for example, as shown in FIG. 8, if it is composed of one I picture, four P pictures of three picture periods, and ten B pictures, the encoding control circuit 30 The allocated code amount is obtained for each GOP. Here, an I picture is an image that is encoded in a field or in a frame, and a P picture is an image that can be predicted only from the forward direction and is encoded between fields or between frames. Is an image that can be predicted from the forward direction, the backward direction, and from both directions, and is encoded between fields or between frames.
[0110]
Then, in the first encoding circuit 10, for example, as shown in FIG. 9, any two consecutive pictures in the GOP with the number of pictures constituting the GOP as a cycle are temporarily set as an I picture and a P picture, For example, assuming that the quantization step size is 1, the image data of these I picture and P picture is subjected to predictive coding processing, DCT conversion processing, and variable length coding processing to generate variable length code data. Data is supplied to the encoding control circuit 30. Here, the reason why the two pictures are the I picture and the P picture is to check the complexity of the picture and the correlation between the frames, and the complexity of the picture can be known from the generated code amount of the I picture. The correlation between frames can be known from the generated code amount of the P picture. In general, since a plurality of consecutive frames have similar images, the tendency of the GOP pattern can be seen from two extracted pictures.
[0111]
The encoding control circuit 30 counts the data amount bitIj of the I picture and the data amount bitPj of the P picture for each GOP, and configures these data amounts bitIj, bitPj and GOP as shown in the following equation 6, for example. Based on the number of P pictures N, the generated code amount GOPyj (j = 0, 1, 2,...) Is obtained for each GOP.
[0112]
GOPyj = bitIj + N × bitPj Equation 6
Then, the encoding control circuit 30 obtains the allocated code amount allocated for each GOP based on the generated code amount GOPyj for each GOP and the total usable data amount, and the allocated code amount is second encoded. Supply to circuit 40.
[0113]
Specifically, the total number of GOPs is M, the total usable data amount is B, the generated code amount of the j (j = 0, 1, 2,... M−1) th GOP is GOPyj, and the jth In the GOP, the average value of the luminance signal Y is Lj, the variance is Vj, the average value of the chromaticity signal Cr is Rj, the average value of the motion vector amount is Mj, and the function f ₁ , F ₂ , F _Three , F _Four The coefficient α that reflects the subjective impression of the picture pattern on the coding difficulty GOPdj from the characteristics of _j , Β _j , Γ _j , Θ _j As shown in Equation 7, the encoding difficulty GOPdj is obtained by the product of these and yj. Function f ₁ , F ₂ , F _Three , F _Four The same characteristics as those shown in FIGS. 3 to 6 can be applied.
[0114]
If the allocated code amount for the jth GOP is GOPbj, and this allocated code amount GOPbj is proportional to the degree of difficulty as shown in the following equation 8, the total data amount B becomes the allocated code of all GOPs as shown in the following equation 9. It is obtained by adding the quantity GOPbj. Note that a and c are constants.
[0115]
α _j = F ₁ (Lj)
β _j = F ₂ (Rj)
γ _j = F _Three (Vj)
θ _j = F _Four (Mj)
GOPdj = α _j × β _j × γ _j × θ _j × GOPyj ・・・ Formula 7
GOPbj = a * GOPdj + c (Formula 8)
[0116]
[Equation 3]

[0117]
Here, the constant c is a value determined in advance according to the average bit rate in the one sequence in consideration of the average bit rate when the allocated code amount bi is averaged. Further, the constant a can be obtained by the following equation 10. When the constant a is substituted into the equation 8, the allocated code amount GOPbj for the j-th GOP can be obtained by the following equation 11.
[0118]
[Expression 4]

[0119]
Thus, the encoding control circuit 30 increases the allocated code amount GOPbj for, for example, a GOP having a complex picture or a low correlation between frames, and conversely a simple picture or frame. For GOPs having a high correlation between them, the allocated code amount GOPbj is reduced.
[0120]
Next, as shown in FIG. 10, for example, when the image data is input via the delay unit 43 in step ST21, the second encoding circuit 40 determines that the currently input image data is GOP in step ST22. If it is applicable, the process proceeds to step ST23. Otherwise, the process proceeds to step ST24.
[0121]
In step ST23, the second encoding circuit 40 reads the allocated code amount for the GOP currently being encoded from the encoding control circuit 30, and proceeds to step ST24.
[0122]
In step ST24, the second encoding circuit 40 performs predictive encoding processing and DCT conversion processing on the image data, and after quantizing the coefficient data with a quantization step size based on the allocated code amount, Go to step ST25.
[0123]
Here, the quantization scale setting circuit 33 converts the allocated code amount for each frame from the supplied allocated code amount for each GOP to the picture type (I picture, P picture, B picture) in actual encoding, that is, 8 is set in consideration of the picture type shown in FIG. Specifically, the allocated code amount for the I picture is increased, the allocated code amount for the B picture is decreased, and the allocated code amount for the P picture is set in the middle. The subsequent processing of the quantization scale setting circuit 33 is the same as that in the embodiment in which the allocated code amount is obtained for each frame described above.
[0124]
Next, in step ST25, it is determined whether or not the encoding process has been completed for all frames (sequences) to which the same screen size and the same transfer rate are applied. If applicable, the process ends. Return to ST21. In this way, variable rate coding in which the coding rate is changed in units of GOP is realized, and even if images (frames) with complicated patterns are continuous, the quantization step size for these images is large as in the conventional device. Therefore, uniform image quality can be obtained throughout. Further, in this embodiment, since the allocated code amount for each GOP is obtained based on two pictures, high-speed processing is possible as compared with the above-described embodiment. Needless to say, the allocated code amount of each GOP may be obtained based on the data amount of all the pictures in the GOP.
[0125]
Fourth embodiment
Next, a fourth embodiment of an image encoding device to which the present invention is applied will be described with reference to FIG.
[0126]
The fourth embodiment and the first to third embodiments have the following two differences. That is, first, there is no first encoding circuit 10 in FIG. 1, and the method of obtaining the encoding difficulty is different, and secondly, the operation of the bit rate calculation circuit 32 is different. Hereinafter, these differences will be described.
[0127]
The image coding apparatus according to the fourth embodiment shown in FIG. 11 has an image analysis circuit 60 that obtains statistical properties of an input video signal, statistical data from the image analysis circuit 60, and the total amount of usable data. A coding control circuit 30 for obtaining a coding rate for each predetermined time based on the coding rate, and generating the coded data by coding the input video signal for each predetermined time based on the coding rate from the coding control circuit 30 Encoding circuit 40.
[0128]
The image analysis circuit 60 obtains information or image characteristic information based on the statistical properties of the input video signal. As this image characteristic information, for example, an average value (L) for each predetermined time of the luminance signal Y is calculated, Further, statistical information on the chromaticity of the input image, for example, an average value (R) of the chromaticity signal Cr every predetermined time is calculated, and statistical information on the flatness of the input image, for example, every predetermined time of the luminance signal Y The variance value (V) of the input image is calculated, the statistical information of the motion amount of the input image, for example, the average value (M) of the motion vector amount per predetermined time is calculated, and further, the difference information between images, for example, the motion vector image An absolute value sum (E) for each predetermined time of the inter prediction residual is calculated.
[0129]
That is, as the inter-picture prediction residual of the motion vector, a sum E of absolute values of differences between the luminance signal Yj of the encoding target macroblock and the luminance signal Ri of the macroblock referred to by the motion vector is obtained.
[0130]
[Equation 5]

[0131]
For E, a sum of squares may be used instead of the sum of absolute values.
[0132]
In this image encoding device, for example, as shown in FIG. 12, in step ST31, image characteristic information that is statistical property information of an input video signal representing the difficulty of encoding (difficulty), here, a luminance signal of a macroblock The average value L and variance V of Y, the average value R of the chromaticity signal Cr, the average value M of the motion vector amount of the macroblock, and the absolute value sum E of the inter-picture prediction residuals of the motion vector are calculated every predetermined time, For example, it is calculated for each macro block. If the macroblock is an intra coding mode, that is, a so-called I picture, the absolute value sum of the average value separation residuals in the macroblock is calculated rather than calculating the absolute value sum of the inter-picture prediction residuals of the motion vector. Is preferably calculated.
[0133]
That is, the absolute value sum E of the difference between the luminance signal Yi of the encoding target macroblock and the average value Yav of the macroblock luminance signal Yi is used as the absolute value sum of the average value separation residuals in the block of the intra coding mode. Is obtained by the following equation (13).
[0134]
[Formula 6]

[0135]
For E in Equation 13, the sum of squares, that is, the variance value V may be used instead of the absolute value sum.
[0136]
In the next step ST32, the bit rate calculation circuit 32 calculates the average value and variance of the luminance signal for each macroblock, the average value of the chromaticity signal, the average value of the motion vector amount, and the inter-picture prediction residual of the motion vector. Alternatively, the assigned code amount assigned to each macroblock is obtained based on the average value separation residual of the luminance signal and the total usable data amount.
[0137]
In the next step ST33, the quantization circuit 46 of the encoding circuit 40 quantizes the coefficient data supplied from the DCT circuit 45 with a quantization step size based on the assigned code amount so as to generate quantized data. It has become.
[0138]
Here, a specific operation of the bit rate calculation circuit 32 will be described. The bit rate calculation circuit 32 sets the total number of macroblocks in the sequence to N, sets the average value of the luminance signal Y of the i (i = 0, 1, 2,..., N−1) -th macroblock to Li, and sets the variance to Vi. The average value of the chromaticity signal Cr is Ri, the average value of the motion vector amount is Mi, and the function f ₁ , F ₂ , F _Three , F _Four The coefficient α that reflects the subjective impression of the image pattern on the coding difficulty di from the characteristics of _i , Β _i , Γ _i , Θ _i Ask for. Also, based on the absolute value sum E of the inter-picture prediction residual of the motion vector, the function f ₆ From this characteristic, an estimated value of the generated code amount of the macroblock, that is, y′i corresponding to yi in the first embodiment is estimated empirically. Then, as shown in Equation 31 below, each coefficient α _i , Β _i , Γ _i , Θ _i And the estimated value y′i of the generated code amount, the encoding difficulty level di is obtained.
[0139]
α _i = F ₁ (Li) Formula 14
β _i = F ₂ (Ri) ... Formula 15
γ _i = F ₃ (Vi) Formula 16
θ _i = F ₄ (Mi) ... Formula 17
y ' _i = F ₆ (Ei) Expression 18
d _i = Α _i × β _i × γ _i × θ _i Xy ' _i ... Formula 19
The function f ₁ , F ₂ , F ₃ , F ₄ Specific examples of the characteristics shown in FIGS. 3 to 6 can be used. In addition, the function f ₆ An example is shown in FIG. That is, FIG. 13 shows the estimated value y ′ of the generated code amount in units of macroblocks with respect to the inter-picture prediction residual of the motion vector. From the experimental results, E and y ′ are empirically proportional to each other, and the estimated value y′i of the generated code amount for the inter-picture prediction residual Ei of the motion vector of the i-th macroblock is f ₆ (Ei).
[0140]
When the encoding target macroblock is in the intra coding mode, it is preferable to use the absolute value sum or variance value (V) of the average value separation residual of the luminance signal in the macroblock. In this case, for example, Based on the variance Vi of the luminance signal Y, the function f _Five From this characteristic, an estimated value y′i of the generated code amount of the macroblock is estimated.
[0141]
y ' _i = F _Five (Vi) Expression 20
This function f _Five A specific example of (Vi) is shown in FIG.
FIG. 14 shows the estimated value y ′ of the generated code amount for each macroblock with respect to the variance V of the luminance signal Y. The estimated value y of the generated code amount for the variance Vi of the luminance signal Y of the i-th macroblock. 'i is f _Five (Vi).
[0142]
The assigned code amount bi for the i-th macroblock can be obtained as shown in Equation 5 described in the first embodiment.
[0143]
Thus, for example, the bit rate calculation circuit 32 increases the assigned code amount for a frame with a complex picture, and conversely reduces the assigned code amount for a frame with a simple picture.
[0144]
Since the operation of the encoding circuit 40 is the same as that of the second encoding circuit 40 described in the first embodiment, a description thereof will be omitted.
[0145]
Here, in the embodiment described above, an example has been described in which the allocated code amount bi per predetermined time is obtained for each macroblock with the macroblock as the predetermined time. The same applies to the case of (group of picture). In this case, as in the second and third embodiments, each parameter of the average value Li of the luminance signal Y, the variance value Vi, the average value Ri of the chromaticity signal Cr, and the average value Mi of the motion vector amount is set. Further, the absolute value sum Ei of the inter-picture prediction residual of the motion vector or the average value separation residual of the luminance signal is calculated every predetermined time. The encoding difficulty level may be calculated, and the allocated code amount for each predetermined time may be calculated as in Equation 5 above.
[0146]
Note that the present invention is not limited to the above-described embodiment. For example, in the above-described embodiment, the transform coding is DCT. Good.
[0147]
【The invention's effect】
As is apparent from the above description, according to the present invention, the first encoded data is generated by encoding at least a part of the input image signal, and the amount of data of the first encoded data per predetermined time and An encoding difficulty level is calculated based on the product of the first function using the average value of the luminance signal for each predetermined time of the input image signal as a parameter, and based on the encoding difficulty level and the total amount of usable data. Since the encoding rate for each predetermined time is obtained and the second encoded data is generated by encoding the input video signal every predetermined time based on the encoding rate for every predetermined time, depending on the complexity of the image In addition, it is possible to perform encoding that effectively uses the total amount of data that can be used at an encoding rate that is based on the data amount for each predetermined time and reflects human visual characteristics.
[0148]
In addition, even if images (frames) with complicated patterns are consecutive, the quantization step size for these images is not increased as in the conventional apparatus, and a visually preferable and uniform high image quality is achieved throughout. Obtainable.
[0149]
Furthermore, since the second encoded data obtained as described above has a variable rate, recording this on the image recording medium enables effective use of the limited storage capacity. The recording time can be lengthened. It is possible to reproduce high-quality image data that is uniform and visually good throughout the entire image recording medium.
[0150]
Further, based on the encoding difficulty level information for each predetermined time calculated from the image characteristic information for each predetermined time of the input video signal and the total usable data amount without generating the first encoded data. Even if the encoding rate at every predetermined time is obtained and the input video signal is encoded at every predetermined time based on the encoding rate to generate variable rate encoded data, it is almost the same as described above. The same effect can be obtained. Furthermore, the system can be simplified.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a circuit configuration of a main part of an image encoding device to which a first embodiment of the present invention is applied.
FIG. 2 is a flowchart for explaining an operation of a first coding circuit constituting the image coding apparatus according to the first embodiment;
FIG. 3 is a function f of an average value L of a luminance signal Y and a coefficient α. ₁ FIG.
FIG. 4 is a function f of an average value R of a chromaticity signal Cr and a coefficient β. ₂ FIG.
FIG. 5 is a function f of a variance value V of a luminance signal Y and a coefficient γ. _Three FIG.
FIG. 6 is a function f of an average value M of motion vector quantities and a coefficient θ. _Four FIG.
FIG. 7 is a flowchart for explaining an operation of a second coding circuit constituting the image coding apparatus according to the first embodiment;
FIG. 8 is a diagram illustrating each picture for explaining the configuration of a GOP in MPEG.
FIG. 9 is a diagram illustrating each picture for explaining an encoding control signal for each GOP.
FIG. 10 is a flowchart for explaining an operation of a second coding circuit constituting the image coding apparatus according to the third embodiment of the present invention.
FIG. 11 is a block diagram illustrating a circuit configuration of a main part of an image encoding device to which a fourth embodiment of the present invention has been applied.
FIG. 12 is a flowchart for explaining an operation of a main part of the image coding apparatus according to the fourth embodiment.
FIG. 13 is a function f of an estimated value y′i of a generated code amount for each macroblock with respect to an inter-picture prediction residual of a motion vector. ₆ FIG.
FIG. 14 is a function f of the variance value V of the luminance signal Y and the estimated value y′i of the generated code amount of the macroblock. _Five FIG.
FIG. 15 is a diagram illustrating an image for explaining the principle of predictive encoding.
FIG. 16 is a diagram illustrating an image for explaining the principle of motion compensation predictive coding.
FIG. 17 is a block diagram illustrating a configuration example of an image encoding device and an image decoding device.
FIG. 18 is a diagram illustrating a configuration of macroblocks and slices.
FIG. 19 is a block diagram illustrating an example of a circuit configuration of a conventional encoder.
FIG. 20 is a block diagram showing an example of a circuit configuration of a conventional decoder.
[Explanation of symbols]
10 First encoding circuit
14, 44 Predictive coding circuit
15, 45 DCT circuit
16, 46 Quantization circuit
17, 47 Variable length coding circuit
30 Encoding control circuit
31 counter
32-bit rate arithmetic circuit
33 Quantization scale setting circuit
40 Second encoding circuit
43 Delayer
60 Image analysis circuit
61 In-frame information analysis circuit
62 Inter-frame information analysis circuit

Claims

Encoding at least a portion of the input image signal to generate first encoded data;
The first function corresponding to the average value of the luminance signal for each predetermined time of the input image signal by the first function having the average value of the luminance signal as the first parameter and having a low luminance and peak value that is easy to perceive encoding noise. The function value of
Based on the product of the first function value and the data amount per predetermined time of the first encoded data, the encoding difficulty level per predetermined time is calculated,
By assigning a code amount every predetermined time from the total amount of usable data in proportion to the degree of encoding difficulty, an encoding rate per predetermined time is obtained,
An image encoding method, wherein the second encoded data is generated by encoding the input image signal every predetermined time based on the encoding rate every predetermined time.

The encoding difficulty level is obtained by calculating a data amount per predetermined time of the first encoded data, the first function value, and an average value of chromaticity signals per predetermined time of the input image signal as a second value . 2. The image encoding method according to claim 1, wherein the image encoding method is calculated based on a product of a function value of a second function that increases as the second parameter increases.

The encoding difficulty level is obtained based on image characteristic information for each macroblock of the input image signal, and the encoding difficulty level d _i of the i-th (i is an integer) macroblock is:
A data amount y _i of encoded data of the i-th macroblock of the input image signal;
And the function value of the first function of the mean value L _i of the luminance signal Y of the i-th macroblock of the input image signal and the first parameter,
The average value R _i of the chromaticity signal Cr of the i-th macroblock of the input image signal is set as the second parameter, and the function value of the second function that increases as the second parameter increases,
The variance V _i of the luminance signal Y of the i-th macroblock of the input image signal is the third parameter, and the function value of the third function that decreases as the third parameter increases,
Based on the product of the average value M _i of the motion vector amount of the i-th macroblock of the input image signal as the fourth parameter and the function value of the fourth function that decreases as the fourth parameter increases. The image encoding method according to claim 1, wherein the image encoding method is calculated.

First encoding means for encoding at least part of an input image signal to generate first encoded data;
Encoding control means for determining a data amount of the first encoded data from the first encoding means per predetermined time;
And a second encoding means for generating a second encoded data by encoding the input image signal,
The encoding control means uses the average value of the luminance signal as the first parameter and the luminance signal of the input image signal for each predetermined time by a first function having a peak value with low luminance that is easy to perceive encoding noise. A first function value corresponding to the average value is calculated;
Based on the product of the first function value and the data amount per predetermined time of the first encoded data, the encoding difficulty level per predetermined time is calculated,
By assigning a code amount every predetermined time from the total amount of usable data in proportion to the degree of encoding difficulty, an encoding rate per predetermined time is obtained ,
The second encoding means generates the second encoded data by encoding the input image signal at the predetermined time based on the encoding rate at the predetermined time . apparatus.

The encoding difficulty level is obtained by calculating a data amount per predetermined time of the first encoded data, the first function value, and an average value of chromaticity signals per predetermined time of the input image signal as a second value . 5. The image encoding apparatus according to claim 4, wherein the image encoding device is calculated based on a product of a function value of a second function that increases as the second parameter increases as the second parameter increases.

The encoding difficulty level is obtained based on image characteristic information for each macroblock of the input image signal, and the encoding difficulty level d _i of the i-th (i is an integer) macroblock is:
A data amount y _i of encoded data of the i-th macroblock of the input image signal;
And the function value of the first function of the mean value L _i of the luminance signal Y of the i-th macroblock of the input image signal and the first parameter,
The average value R _i of the chromaticity signal Cr of the i-th macroblock of the input image signal is set as the second parameter, and the function value of the second function that increases as the second parameter increases,
The variance V _i of the luminance signal Y of the i-th macroblock of the input image signal is the third parameter, and the function value of the third function that decreases as the third parameter increases,
Based on the product of the average value M _i of the motion vector amount of the i-th macroblock of the input image signal as the fourth parameter and the function value of the fourth function that decreases as the fourth parameter increases. 5. The image encoding device according to claim 4, wherein the image encoding device is calculated.