JP3711572B2 - 画像符号化装置及び方法 - Google Patents
画像符号化装置及び方法 Download PDFInfo
- Publication number
- JP3711572B2 JP3711572B2 JP23811194A JP23811194A JP3711572B2 JP 3711572 B2 JP3711572 B2 JP 3711572B2 JP 23811194 A JP23811194 A JP 23811194A JP 23811194 A JP23811194 A JP 23811194A JP 3711572 B2 JP3711572 B2 JP 3711572B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- quantization step
- amount
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、例えば画像を圧縮符号化する場合に用いて好適な画像符号化装置及び方法に関する。
【０００２】
【従来の技術】
従来の例えば画像を圧縮符号化する場合に用いて好適な画像符号化装置の構成例を図７に示す。
この図７の画像符号化装置において、入力端子１には、図８に示すように、
輝度成分(Y) 352(H)×240(V)×30フレーム
クロマ成分(Cb) 174(H)×120(V)×30フレーム
クロマ成分(Cr) 174(H)×120(V)×30フレーム
のピクセル数にディジタル化された画像データが供給される。
【０００３】
上記入力端子１に供給された入力画像データは、当該入力画像データを一時的に蓄えて然るべき順番に入れ替えるためのフレームメモリ１０を介して、動き検出器２０とブロック分割器１１に送られる。
当該ブロック分割器１１は、フレームメモリ１０から供給されたそれぞれのフレームを、図９に示すように、輝度成分(Y) ，クロマ成分(Cr),(Cb) それぞれを８×８ピクセルのブロックに分割する。なお、輝度成分(Y) の４つのブロック(Y0,Y1,Y2,Y3）と１つのクロマ成分(Cb)のブロックと、１つのクロマ成分(Cr)のブロックからなる合計６つのブロック(Y0,Y1,Y2,Y3,Cb,Cr) は、マクロブロック(MB)と呼ばれている。
【０００４】
このブロック分割器１１からのマクロブロック単位のデータは差分器１２に送られる。
この差分器１２では、ブロック分割器１１からのデータと後述するフレーム間予測画像データとの差分をとり、その出力を後述するフレーム間予測符号化がなされるフレームのデータとして切換スイッチ１３の被切換端子ｂに送る。また、当該切換スイッチ１３の被切換端子ａには、上記ブロック分割器１１からのデータが後述するフレーム内符号化がなされるフレームのデータとして供給される。
【０００５】
上記切換スイッチ１３を介したブロック単位のデータはＤＣＴ回路１４によって離散コサイン変換（ＤＣＴ）処理され、そのＤＣＴ係数が量子化器１５に送られる。当該量子化器１５では、所定の量子化ステップ幅で上記ＤＣＴ出力を量子化し、この量子化した係数がジグザグスキャン回路１６に送られる。
当該ジグザグスキャン回路１６では、上記量子化係数を図１０に示すようにいわゆるジグザグスキャンによって並べ換え、その出力を可変長符号化回路１７に送る。この可変長符号化回路１７では、上記ジグザグスキャン回路１６の出力データを可変長符号化（ＶＬＣ）し、その出力を出力バッファ１８に送ると共に、当該可変長符号化処理により発生した符号量を示す情報を、量子化ステップ制御器１９に送る。量子化ステップ制御器１９は、可変長符号化回路１７からの符号量を示す情報に基づいて量子化器１５の量子化ステップ幅を制御する。また、上記出力バッファ１８から出力されたデータは圧縮符号化がなされた符号化出力として出力端子２から出力される。
【０００６】
また、上記量子化器１５からの出力は、逆量子化器２７によって逆量子化され、さらに逆ＤＣＴ回路２６によって逆ＤＣＴ処理される。当該逆ＤＣＴ回路２６の出力は、加算器２５に送られる。
この加算器２５には、フレーム間予測符号化のフレームのときにオンとなる切換スイッチ２４を介した動き補償器２１からのフレーム間予測画像データも供給され、当該データと上記逆ＤＣＴ回路２６の出力データとの加算が行われる。この加算器２５の出力データは、フレームメモリ２２に一時的に蓄えられた後、動き補償器２１に送られる。
【０００７】
当該動き補償器２１は、上記動き検出器２０によって検出された動きベクトルに基づいて動き補償を行い、これによって得たフレーム間予測画像データを出力する。
以下、上記図７の従来の画像符号化装置の具体的な動作について詳細に説明する。ここで、説明のために以下のように各フレームの呼び名を定義する。
【０００８】
先ず、表示順にフレームを並べたとき、それぞれを
Ｉ０，Ｂ１，Ｂ２，Ｐ３，Ｂ４，Ｂ５，Ｐ６，Ｂ７，Ｂ８，Ｉ９，Ｂ１０，Ｂ１１，Ｂ１２，・・・・・
と呼ぶこととする。これらのフレームのうち、Ｉ，Ｐ，Ｂは、後に説明するが、圧縮方法の種類を示し、これらＩ，Ｐ，Ｂの次の数字は、単純に表示順を示している。
【０００９】
カラー動画像符号化方式の国際標準化作業グループであるいわゆるＭＰＥＧ（Moving Picture Expert Group)のうちＭＰＥＧ１では、この様な画像を圧縮するために、以下のようにすることが規定されている。
先ず、Ｉ０の画像を圧縮する。
次に、Ｐ３の画像を圧縮するのだが、Ｐ３そのものを圧縮するのではなく、Ｐ３とＩ０の画像との差分データを圧縮する。
【００１０】
その次に、Ｂ１の画像を圧縮するのだが、Ｂ１そのものを圧縮するのではなく、Ｂ１とＩ０或いは、Ｂ１とＰ３との差分データ或いはＩ０とＰ３の平均値との差分（いずれか情報の少ない方）を圧縮する。
その次に、Ｂ２の画像を圧縮するのだが、Ｂ２そのものを圧縮するのではなく、Ｂ２とＩ０或いは、Ｂ２とＰ３との差分データ或いはＩ０とＰ３の平均値との差分（どちらか情報の少ない方を選んで）を圧縮する。
【００１１】
次に、Ｐ６の画像を圧縮するのだが、Ｐ６そのものを圧縮するのではなく、Ｐ６とＰ３の画像との差分データを圧縮する。
上述したような処理を順番に並べて表すと、
となる。このようにエンコード順は、
Ｉ０，Ｐ３，Ｂ１，Ｂ２，Ｐ６，Ｂ４，Ｂ５，Ｐ９，Ｂ７，Ｂ８，Ｉ９，Ｐ１２，Ｂ１０，Ｂ１１，・・・・
のように、表示順とは順番が入れ替わる。圧縮後のデータ（符号化データ）はこの順番に並ぶことになる。
【００１２】
以下、上述したことを図７の構成の動作と共にさらに詳しく述べる。
１枚目の画像（すなわちＩ０）のエンコードでは、先ず、上記フレームメモリ１０から１枚目に圧縮すべき画像のデータが、ブロック分割器１１によってブロック化される。このブロック分割器１１からは、前記Ｙ０，Ｙ１，Ｙ２，Ｙ３，Ｃｂ，Ｃｒの順にブロック毎のデータが出力され、被切換端子ａ側に切り換えられた切換スイッチ１３を介してＤＣＴ回路１４に送られる。このＤＣＴ回路１４では、それぞれのブロックについて縦横２次元の離散コサイン変換処理を行う。これにより、時間軸であったデータが周波数軸に変換される。
【００１３】
このＤＣＴ回路１４からのＤＣＴ係数は、量子化器１５に送られ、当該量子化器１５で所定の量子化ステップ幅で量子化される。その後、ジグザグスキャン回路１６によって図１０のようにジグザグ順に並べ変えられる。このようにジグザグ順に並べると、後ろへ行くほど、その係数は周波数成分の高い係数となるから、一般的に係数の値は後ろの方が小さくなる傾向にある。したがって、ある値Ｓで量子化すると、後ろへ行くほど、その結果は０になる頻度が増し、結果的に高域の成分が切り落とされることになる。
【００１４】
その後、この量子化後の係数は、可変長符号化（ＶＬＣ）回路１７へ送られ、ここでいわゆるハフマンコーディングが施される。この結果得られる圧縮されたビットストリームは、出力バッファ１８に一旦蓄えられた後、一定のビットレートで送出される。当該出力バッファ１８は、不規則に発生するビットストリームを一定のビットレートで送出できるようにするための緩衝のためのメモリである。
【００１５】
以上の様に１枚の画像だけ単独で圧縮することをフレーム内（イントラ：Intra ）符号化と言い、この画像をＩピクチャと呼ぶ。
したがって、デコーダが上記のＩピクチャのビットストリームを受信した場合は、以上に述べたことを逆にたどり、１枚目の画像を完成させる。
次に、２枚目の画像（すなわちＰ３）のエンコードでは、以下のようになされる。
【００１６】
すなわち、この２枚目以降もＩピクチャとして圧縮してビットストリームを作っても良いが圧縮率を上げるには、連続する画像の内容には相関があることを利用して、以下の様な方法で圧縮する。
先ず、動き検出器２０では、２枚目の画像を構成するマクロブロック毎に、１枚目の画像（Ｉ０）の中からそれに良く似たパターンを捜し出し、それを動きベクトルという（ｘ，ｙ）の相対位置の座標として表現する。
【００１７】
また、２枚目の画像ではそれぞれのブロックを、上記Ｉピクチャの場合のようにそのままＤＣＴ回路１４に送るのではなく、そのブロック毎の動きベクトルに従って一枚目の画像から引っ張ってきたブロックとの差分のデータ（差分器１２による差分データ）を、ＤＣＴ回路１４へ送るようにする。なお、動きベクトルの検出方法としては、ＩＳＯ／ＩＥＣ 11172-2 annex D.6.2 に詳細に述べられているためここでは省略する。
【００１８】
ここで、例えば上記動きベクトルによって示された一枚目の画像のパターンと、これから圧縮しようとするブロックのパターンとの間で、相関が非常に強くなっていれば、その差分データは非常に小さくなり、したがって、上記フレーム内（イントラ）符号化で圧縮するよりも、上記動きベクトルと上記差分データとを符号化した方が、圧縮後のデータ量は小さくなる。
【００１９】
このような圧縮方法を、フレーム間（インター：Inter)予測符号化と呼んでいる。ただし、常に差分データが少なくなるわけではなく、絵柄（画像内容）によっては、差分を取るよりも、上記フレーム内符号化で圧縮した方が、圧縮率が上がる場合がある。このような場合は、上記フレーム内符号化で圧縮する。フレーム間予測符号化にするか、フレーム内符号化にするかは、マクロブロック毎に異なる。
【００２０】
以上のことを図７の画像符号化装置（エンコーダ）に即して説明すると、先ず、フレーム間予測符号化を行うためには、エンコーダ側でたえずデコーダ側で作られる画像と同じ画像を作って置く必要がある。
そのためにエンコーダ内には、デコーダと同じ回路が存在する。その回路をローカルデコーダ（局部復号器）と呼ぶ。図７の逆量子化器２７と逆ＤＣＴ回路２６と加算器２５とフレームメモリ２２と動き補償器２１が当該ローカルデコーダに対応し、フレームメモリ２２内に記憶される画像のことをローカルデコーデッドピクチャ（Local decoded picture)又はローカルデコーデッドデータ(Local decoded data)と呼ぶ。これに対して、圧縮前の画像のデータは、オリジナルピクチャ(Original picture)又はオリジナルデータ(Original data) と呼ぶ。
【００２１】
なお、前述した１枚目のＩピクチャの圧縮時にも、上記ローカルデコーダを通して復号化された１枚目の画像が、上記フレームメモリ２２内に格納される。ここで、注意すべきことは、このローカルデコーダによって得られる画像は、圧縮前の画像ではなく、圧縮後復元した画像であり、圧縮による画質劣化のある、デコーダが復号化する画像とまったく同じ画像であるということである。
【００２２】
このような状態のエンコーダに２枚目の画像（Ｐ３）のデータ(Original data）が入ってくるわけだが（この段階ですでに、動きベクトルは検出済でなければならない）、データはブロック毎に動きベクトルを持ち、このベクトルが動き補償器（MC:Motion Compensation）２１に与えられる。当該動き補償回路２１は、その動きベクトルの示すローカルデコーデッドピクチャ上のデータ（動き補償データ：MC data:１マクロブロック）を上記フレーム間予測画像データとして出力する。
【００２３】
上記２枚目のオリジナルデータとこの動き補償データ（フレーム間予測画像データ）のピクセル毎の、差分器１２による差分データが、上記ＤＣＴ回路１４に入力される。それからの後の圧縮方法は、基本的にＩピクチャと同じである。上述のような圧縮方法によって圧縮する画像をＰピクチャ（Predicted picture)と呼ぶ。
【００２４】
さらに詳しく説明すると、Ｐピクチャにおいてすべてのマクロブロックがフレーム間予測符号化で圧縮するとは限らず、フレーム内符号化で圧縮する方が効率が良いと判断されるときは、そのマクロブロックは当該フレーム内符号化で符号化を行う。
すなわち、Ｐピクチャにおいても、マクロブロック毎に、フレーム内符号化によるか（このマクロブロックをイントラマクロブロックと呼ぶ）、又はフレーム間予測符号化によるか（このマクロブロックをインターマクロブロックと呼ぶ）のどちらかを選択して圧縮を行う。
【００２５】
上述のように、上記ローカルデコーダでは、量子化器１５の出力が、逆量子化器２７で逆量子化され、さらに逆ＤＣＴ回路２６で逆ＤＣＴ処理された後、エンコード時に動き補償データ（MC data ）と足され最終的なローカルデコーデッドピクチャとなる。
次に、３枚目の画像（すなわちＢ１）のエンコードでは、以下のようになされる。
【００２６】
上記３枚目の画像（Ｂ１）のエンコードでは、Ｉ０，Ｐ３の２枚の画像それぞれに対する動きベクトルを探索する。ここで、Ｉ０に対する動きベクトルをフォワードベクトル（forward Vector）ＭＶｆ(x,y) と呼び、Ｐ３に対する動きベクトルをバックワードベクトル（Backward Vector)ＭＶｂ(x,y) と呼ぶ。
この３枚目の画像についても差分データを圧縮するわけであるが、どのデータを圧縮するのかが、問題である。この場合も一番情報量が少なくなるものとの差分を取れば良い。このときの圧縮方法の選択肢としては、
（１）フォワードベクトルＭＶｆ(x,y) の示すＩ０上のデータとの差分
（２）バックワードベクトルＭＶｂ(x,y) の示すＰ３上のデータとの差分
（３）フォワードベクトルＭＶｆ(x,y) の示すＩ０上のデータとバックワードベクトルＭＶｂ(x,y) の示すＰ３上のデータの平均値との差分
（４）差分データは使わない（フレーム内符号化）
の４つである。マクロブロック毎にこの４種類の圧縮方法から一つが選択される。上記圧縮方法の選択肢のうちの（１），（２），（３）の場合は、それぞれの動きベクトルも動き補償器２１に送られ、差分器２１ではその動き補償データとの差分をとり、これがＤＣＴ回路１４に送られる。上記圧縮方法の選択肢のうちの（４）の場合は、そのままのデータがＤＣＴ回路１４へ送られる。
【００２７】
上述した１枚目、２枚目のエンコードの処理の結果、ローカルデコーデッドピクチャを格納するフレームメモリ２２には、Ｉ０，Ｐ３の２枚のピクチャが、復元されているのでこのようなことが可能である。
次に、４枚目の画像（すなわちＢ２）のエンコードでは、以下のようになされる。
【００２８】
上記４枚目の画像（Ｂ２）のエンコードでは、上述した３枚目（Ｂ１）のエンコード方法のところの説明文で、Ｂ１をＢ２に置き換えたこと以外は、上記３枚目のエンコードと同じ方法で圧縮する。
次に、５枚目の画像（すなわちＰ６）のエンコードでは、以下のようになされる。
【００２９】
上記５枚目の画像（Ｐ６）のエンコードでは、上述した２枚目（Ｐ３）のエンコード方法のところの説明文で、Ｐ３をＰ６に、Ｉ０をＰ３に置き換えただけで、他は同じ説明となる。
６枚目以降は、上述の繰り返しとなるので説明は省略する。
また、ＭＰＥＧにおいては、ＧＯＰ（Group Of Picture）と呼ばれるものが規定されている。
【００３０】
すなわち、何枚かのピクチャの集まりがグループオブピクチャ（ＧＯＰ）と呼ばれており、当該ＧＯＰは符号化データ（圧縮後のデータ）上で見て連続した画像の集まりでなくてはならないものである。また、ＧＯＰはランダムアクセスを考慮したもので、そのためには符号化データ上で見てＧＯＰの最初に来るピクチャは上記Ｉピクチャである必要がある。さらに、表示順（ディスプレイ順）でＧＯＰの最後は、Ｉ又はＰピクチャでなくてはならない。
【００３１】
図１１には、最初が４枚のピクチャからなるＧＯＰで、それ以降が６枚のピクチャからなるＧＯＰとなる例を挙げる。なお、図１１のＡはディスプレイ順を示し、図１１のＢは符号化データ順を示している。
この図１１において、ＧＯＰ２に注目すると、Ｂ４，Ｂ５はＰ３，Ｉ６から形成されるため、例えばランダムアクセスでＩ６にアクセスされると、Ｐ３が無いため、Ｂ４，Ｂ５は正しく復号化できない。このようにＧＯＰ内だけで正しく復号化できないＧＯＰは、クローズドＧＯＰ（Closed GOP）でないという。
【００３２】
これに対し、もしＢ４，Ｂ５がＩ６だけしか参照していないとしならば、例えばランダムアクセスでＩ６にアクセスしても、Ｐ３は必要ないため、これらＢ４，Ｂ５は正しく復号化できることになる。このようにＧＯＰ内だけの情報で、完全に復号化できるＧＯＰをクローズドＧＯＰ（Closed GOP）と呼ぶ。
以上のような圧縮方法の選択の中から一番効率の良い方法で圧縮するわけであるが、その結果発生する符号化データ（Coded data）の量は、入力画像にも依存し、実際に圧縮してみないと判らない。
【００３３】
しかし、圧縮後のデータのビットレートを一定にするためにコントロールすることも必要である。当該コントロールを行うためのパラメータは、量子化器１５に与える前記符号量を表す情報としての量子化ステップ（又は量子化スケール：Q-scale ）である。同じ圧縮方法でも、上記量子化ステップを大きくすれば発生ビット量は減り、小さくすれば増える。
【００３４】
この量子化ステップの値は、次のようにして制御する。
エンコーダには、圧縮後のデータを一定のビットレートにするために、出力に緩衝バッファ（出力バッファ１８）が設けられており、これによって画像毎のある程度のデータ発生量の差は吸収できるようになされている。
しかし、定められたビットレートを超えるようなデータの発生が続けば、出力バッファ１８の残量が増加し、ついにはオーバーフローを起こすことになる。逆にビットレートを下回るデータの発生が続けば出力バッファ１８の残量は減少し、最後にはアンダーフローを引き起こすことになる。
【００３５】
したがって、エンコーダは、出力バッファ１８の残量をフィードバックすることにより、前記量子化ステップ制御器１９が量子化器１５の量子化ステップをコントロールし、ここで出力バッファ１８の残量が少なくなればあまり圧縮しないように量子化ステップを小さくなるよう制御し、出力バッファ１８の残量が多くなれば圧縮率を高くするように量子化ステップを大きくするようにコントロールを行うようにしている。
【００３６】
また、前述した圧縮方法（前記フレーム内符号化やフレーム間予測符号化）によって発生する符号化データ量の範囲には、大きな差がある。
特にフレーム内符号化方式で圧縮をすると大量のデータが発生するため、出力バッファ１８の空き容量が小さい場合には量子化ステップサイズを大きくしなければならず、場合によっては量子化ステップサイズを最大にしてもバッファ１８のオーバーフローを招くかもしれない。よしんばバッファ１８に収まったとしても量子化ステップが大きければフレーム内符号化の画像は後のフレーム間予測符号化の画質に影響するので、フレーム内符号化での圧縮を行う前には出力バッファ１８に十分な空き容量が必要である。
【００３７】
したがって、予め定められた順序の圧縮方法を決めておき、フレーム内符号化の前には十分な出力バッファ１８の空き容量を確保するように、量子化ステップ制御器１９は量子化ステップサイズのフィードバックコントロールを行うようにしている。
以上のようにして一定レートの符号化データに抑えることが可能となる。
【００３８】
【発明が解決しようとする課題】
上述した従来の方法では、以下の理由により高画質を得られないことが欠点となっている。
すなわち、時々刻々情報量の変化する入力画像を一定のビットレートで平均的に高画質に圧縮するためには、出力バッファによって低ビットレートを維持できる範囲でかつ画質が均質になるように、情報量の多い画像（絵）には多めの圧縮データを許し、情報量の少ない画像には少なめの圧縮データにすることが必要だが、次のような場合に従来の方法ではそれができない。
【００３９】
例えば、情報量の少ない画像が連続し、そのあとで急に情報量の多い画像が入ってくる場合を考えると、先に供給される情報量の少ない画像に対しては量子化ステップをあまり小さくし過ぎず、その後に続く情報量が多い画像が符号化されるまで出力バッファの残量を低く保つべきであるのに、前述した出力バッファ残量をフィードバックする方式では、上記情報量が少ない画像が連続するうちに出力バッファの残量を増加させてしまうようになる。
【００４０】
逆に、情報量が多い画像の後に情報量の少ない画像が続く場合では、先に供給される情報量の多い画像を大きな量子化ステップで圧縮して出力バッファの残量を減らさなくても、その後に続くのは情報量の少ない画像なのでオーバーフローし難いはずであるが、上記出力バッファ残量フィードバック方式では、続く画像の情報量がわからないためバッファの残量を減らす方向、すなわち量子化ステップを大きくする方向に制御し、画質を低下させてしまう。
【００４１】
このようなことから、例えば、入力画像の情報量を評価し、この評価値に基づいて量子化ステップを制御するような構成も考えられる。
ところが、上記入力画像の情報量の評価値を求めるような機構を備えた画像符号化装置において、例えば１枚の入力画像を圧縮する際には、当該入力情報を圧縮した後に得られることになるデータに対して使用可能な割当量を、当該入力画像の情報量（難易度）に応じて配当することになるが、そのときの量子化器の量子化ステップを、当該割当量に応じて精度良く予測する必要がある。
【００４２】
ここで、もしも、上記予測した量子化ステップが適当でない場合には、上記圧縮後のデータに対して使用可能な割当量を大幅に割り込んだり、逆にオーバーしたりしてしまうことになる。このように割当量を大幅に割り込んだり、オーバーしたりすると、他のピクチャの圧縮の際の割当量に影響を与えてしまうことになる。
【００４３】
すなわち例えば、割当量が少なくなったフレームでは、量子化ステップが大きくなり、したがって画質が低下するようになる。このため、例えば連続的に見て均等な画質のフレームが続かなくなり、全体的に見ても画質が悪い印象になってしまう。また、上記予測が大幅にずれると、最悪の場合、バッファのアンダーフローやオーバーフローを招くことになる。
【００４４】
ここで、そのようにならないようにするために、例えば、１画面内で圧縮後の情報量と予定割当量と圧縮の進捗の画面内での割合で量子化ステップを制御していたとしても、基本の量子化ステップの予測が外れると画面内での量子化ステップの大きな変動が起こるようになる。このように画面内での量子化ステップの大きな変動が起こると、上記圧縮はラスタースキャン順になされるものなので、画面上で帯状に画質の不均等な部分が認識され、画質低下をもたらすようになる。
【００４５】
そこで、本発明は、上述のような実情に鑑みて提案されたものであり、効率の良い画像圧縮が可能で、全体的に画質を向上させることができる画像符号化装置及び方法を提供することを目的とするものである。
【００４６】
【課題を解決するための手段】
本発明の画像符号化装置は、上述した目的を達成するために提案されたものであり、入力画像データを複数枚蓄える画像データ蓄積手段と、上記画像データ蓄積手段に蓄積された複数枚の画像データから、当該入力画像データの情報量を評価するための画像自身の情報量を示す第１のパラメータ、画像の差分情報量を示す第２のパラメータ及び画像カウントのための画像情報を出力する画像情報評価手段と、上記画像データ蓄積手段に蓄積された複数枚の画像データの画像間の相関情報として、上記画像情報評価手段からの上記第２のパラメータを用いてシーンチェンジを検出する画像間相関検出手段と、画像データに直交変換処理を施し、直交変換係数を生成する直交変換手段と、上記直交変換手段により生成された直交変換係数を、所定の量子化ステップで量子化する量子化手段と、上記画像情報評価手段によって得られた上記画像情報と上記画像間相関検出手段からの画像間の相関情報であるシーンチェンジの検出出力とに基づいて、上記画像情報のカウント値によりフレーム内符号化を定期的に選択すると共に上記シーンチェンジの検出時にもフレーム内符号化を選択し、それら以外ではフレーム間予測符号化を選択する圧縮方法選択手段と、上記圧縮方法選択手段が選択した圧縮方法で１画面分の画像データを圧縮することにより得られる予定圧縮データ量とマクロブロックタイプに応じて上記第１、第２のパラメータのどちらかを加算し１画面分合計することにより求められた難易度とから、上記量子化手段における量子化の際の基本量子化ステップを予測する量子化ステップ制御手段とを有し、上記量子化ステップ制御手段は、上記１画面分の画像データの予定圧縮データ量をallocated_bit とし、上記難易度をdifficultyとし、上記基本量子化ステップをQ_scale とするとき、予め定められたパラメータＡ、Ｂを用いて、
Q_scale ＝ exp((log(allocated_bit/difficulty)-B)/A)
の式により基本量子化ステップQ_scale を求めることを特徴とするものである。
また、本発明の画像符号化方法は、入力画像データを複数枚蓄える画像データ蓄積手段に蓄積された複数枚の画像データから、当該入力画像データの情報量を評価するための画像自身の情報量を示す第１のパラメータ、画像の差分情報量を示す第２のパラメータ及び画像カウントのための画像情報を出力する画像情報評価工程と、上記画像データ蓄積手段に蓄積された複数枚の画像データの画像間の相関情報として、上記画像情報評価手段からの上記第２のパラメータを用いてシーンチェンジを検出する画像間相関検出工程と、上記画像情報評価工程にて得られた画像情報と上記画像間相関検出工程にて得られた画像間の相関情報であるシーンチェンジの検出出力とに基づいて、上記画像情報のカウント値によりフレーム内符号化を定期的に選択すると共に上記シーンチェンジの検出時にもフレーム内符号化を選択し、それら以外ではフレーム間予測符号化を選択する圧縮方法選択工程と、画像データに直交変換処理を施し、直交変換係数を生成する直交変換工程と、上記圧縮方法選択工程にて選択された圧縮方法で１画面分の画像データを圧縮することにより得られる予定圧縮データ量とマクロブロックタイプに応じて上記第１、第２のパラメータのどちらかを加算し１画面分合計することにより求められた難易度とから、量子化の際の基本量子化ステップを予測する量子化ステップ制御工程と、上記直交変換工程にて生成された直交変換係数を、上記所定の量子化ステップで量子化する量子化工程とを有し、上記量子化ステップ制御工程では、上記１画面分の画像データの予定圧縮データ量をallocated_bit とし、上記難易度をdifficultyとし、上記基本量子化ステップをQ_scale とするとき、予め定められたパラメータＡ、Ｂを用いて、
Q_scale ＝ exp((log(allocated_bit/difficulty)-B)/A)
の式により基本量子化ステップQ_scale を求めることを特徴とするものである。
【００４７】
ここで、上記量子化ステップ制御手段は、実際に圧縮に使用した量子化ステップと圧縮後のデータ量と上記評価値の関係を学習し、当該学習結果に応じて上記基本量子化ステップの予測を行う。また、上記量子化ステップ制御手段は、画像データを複数に分割したマクロブロック毎の上記評価値を１画面分合計して合計評価値を求め、当該合計評価値を上記基本量子化ステップの予測に使用する。このとき、上記画像情報評価手段は、動き検出による動きベクトルに応じた参照画像のマクロブロックの画素データと入力画像のマクロブロックの画素データとの差分のマクロブロック毎の絶対値和を、上記評価値とする。
【００４９】
【作用】
本発明によれば、蓄積した複数枚の画像データから情報量を評価し、さらに画像間の相関を検出し、情報量の評価値と画像間の相関情報とに基づいて適応的に画像データの圧縮方法を選択し、選択した圧縮方法で１画面分の画像データを圧縮することにより得られる予定圧縮データ量と評価値とから基本量子化ステップを予測することで、基本量子化ステップの予測精度を高めている。
【００５０】
また、本発明によれば、実際に圧縮に使用した量子化ステップと圧縮後のデータ量と評価値の関係を学習し、当該学習結果に応じて基本量子化ステップの予測を行うことで、入力画像の変動に追従させるようにしている。
【００５２】
【実施例】
以下、図面を参照し、本発明の実施例について詳述する。
図１には本発明実施例の画像符号化装置の概略構成を示す。なお、この図１において、前述した図７と同じ構成については同一の指示符号を付してその説明については省略する。
【００５３】
なお、この図１の構成において、前記図７の構成に追加された構成要素は画像情報評価回路５０とシーンチェンジ検出回路３１と圧縮方法選択回路３２と動きベクトル発生回路３３であり、また、動き検出器３８と量子化ステップ制御器３９とフレームメモリ４０とが変更されている。
すなわち、本発明実施例の画像符号化装置は、入力画像データを複数枚蓄える画像データ蓄積手段としてのフレームメモリ４０と、上記フレームメモリ４０に蓄積された複数枚の画像データから、当該入力画像データの情報量を評価する画像情報評価回路５０と、上記フレームメモリ４０に蓄積された複数枚の画像データから画像間の相関を検出する画像間相関検出手段としてのシーンチェンジ検出回路３１と、画像データに直交変換処理（ＤＣＴ処理）を施してそのＤＣＴ係数を生成するＤＣＴ回路１４と、上記ＤＣＴ回路１４によって生成されたＤＣＴ係数を所定の量子化ステップで量子化する量子化器１５と、上記画像情報評価回路５０によって得られた情報量の評価値と上記シーンチェンジ検出回路３１からの画像間の相関情報（シーンチェンジ検出出力）とに基づいて適応的に画像データの圧縮方法（ピクチャタイプ，マクロブロックタイプ，ＧＯＰ長）を選択する圧縮方法選択回路３２と、上記圧縮方法選択回路３２が選択した圧縮方法で１画面分の画像データを圧縮することにより得られる予定圧縮データ量と上記評価値とから、上記量子化器１５における量子化の際の基本量子化ステップを予測する量子化ステップ制御器３９とを有することを特徴とする。
【００５４】
この図１において、先ず、入力端子１から入力された入力画像データは、フレームメモリ４０に蓄えられる。このフレームメモリ４０は、図３のフレームメモリ１０とは異なり、所定数のフレームを蓄積できるものである。このときの蓄積する所定数としては、多過ぎるとフレームメモリ４０が大規模になってしまうので好ましくない。上記所定数として効率的な長さ（フレーム数）は、ビットレートと出力バッファ１８の容量、フレーム内符号化の圧縮方式の画像同士の間隔（ほとんどの場合ＧＯＰの長さといっても差し支えない）に大きく依存する。これは圧縮方法及び圧縮率の違いから生ずる圧縮データの大きさのむらを上記出力バッファ１８によって吸収し、定ビットレートにすることができる範囲が、上記ビットレート及び出力バッファ容量とフレーム内符号化がなされる画像同士の間隔等の条件によって制約されるからである。
【００５５】
ところで、一般的にフレーム内符号化方式で圧縮することは定期的に行われる（これがＧＯＰの区切りになることが多い）ものであり、このフレーム内符号化の圧縮方式は当該圧縮後のデータ量が他の方式（フレーム間予測符号化）に比べてかなり大きいものである。このため、当該フレーム内符号化による圧縮画像同士（或いはＧＯＰ）の間隔で情報量を調べ、データ量の配分をするのは、一つの合理的な方法である。
【００５６】
しかし、本実施例の方式では、後述するようにシーンチェンジ等によって前後の画像の相関が著しく低くなった場合にもフレーム内符号化方式で圧縮するようにしており、このようにシーンチェンジ部分でフレーム内符号化を行うようにすると、例えば、当該シーンチェンジに基づくフレーム内符号化画像の近傍に前記定期的なフレーム内符号化がきた場合、当該定期的に行われるフレーム内符号化の画像に対しては、定ビットレート或いは均質な画質の維持が困難になるため、フレーム内符号化による圧縮である必然性を失い、当該フレーム内符号化で圧縮することを取り止める必要がでてくる。
【００５７】
したがって、上記フレームメモリ４０の記憶可能な容量（上記所定数）は、上述のようにシーンチェンジが上記定期的に行われるはずであるフレーム内符号化の画像の近傍にくる場合があることを考慮して、当該定期的にフレーム内符号化で圧縮を行う周期の２倍程度とすることが適当である。
もちろん、上記所定数は一例であり、これに限定されることはなく様々な条件に合わせて変更することは可能である。
【００５８】
上記フレームメモリ４０に蓄積された画像データは、適宜、画像情報評価回路５０に送られる。
ここで、当該画像情報評価回路５０は、大別して２通りのパラメータを算出するものである。
第１のパラメータは、フレーム内符号化で圧縮を行った場合の圧縮後のデータ量を予測することが可能なように、その画像自身の情報量を示すものである。この第１のパラメータとしては、例えば、フレームメモリ４０から供給された画像データに対して、ＤＣＴ処理をブロック毎に行い、そのＤＣＴ係数の和や統計をとったものとしたり、また、それでは規模が大きくなる場合には、平均自乗誤差のブロック毎の和を求めたものとする。いずれにしても、当該画像情報評価回路５０では、画像の情報量を表し、圧縮後のデーター量を類推するに足るパラメータを算出する。
【００５９】
第２のパラメータは、フレーム間予測符号化で圧縮を行った場合の圧縮後のデータ量を予測することが可能な、画像の差分情報量を示すものである。この場合のパラメータとしては、例えば、フレームメモリ４０に格納された画像と動き補償後の画像との差分値のブロック内の和を用いる。このパラメータ算出の際には、一般的な動きベクトル検出回路（動き検出器３８及び動きベクトル発生回路３３）で得られる動きベクトルが検出された最小誤差を利用することができる。
【００６０】
このとき、フレーム間予測符号化による圧縮後のデータ量の類推（予測）のためのパラメータとしては、一般的な輝度情報だけの動きベクトル検出回路（動き検出器３８及び動きベクトル発生回路３３）で得られる動きベクトル及びその動きベクトルが検出された輝度情報だけで求めた最小誤差に加えて、本実施例ではその動きベクトルが検出された色差情報だけで求めた最小誤差を新たに用いるようにする。
【００６１】
本実施例装置では、このようにして求めた輝度情報からの最小誤差と色差情報からの最小誤差を用いて、そのマクロブロックの誤差とし、当該マクロブロックの誤差を用いて後述する圧縮方法選択回路３２で圧縮方法の判定を行なう。
上記画像情報評価回路５０によって、上述したようにして算出された画像情報の評価値（パラメータ）は、次に説明するシーンチェンジ検出回路３１と、圧縮方法選択回路３２と、量子化ステップ制御器３９とに送られる。
【００６２】
また、画像情報評価回路５０からは、後述する圧縮方法選択回路３２においてＧＯＰの長さを決定する際に画像のカウントを行うため、その圧縮方法選択回路３２に対して画像情報も送られる。
次に、シーンチェンジ検出回路３１は、上記画像情報評価回路５０の出力（例えば第２のパラメータ）を用いてシーンチェンジを検出するものである。
【００６３】
ここで、当該シーンチェンジ検出回路３１においてシーンチェンジを検出する目的は、フレーム間予測符号化かフレーム内符号化のいずれかの圧縮方式を決定するための判断材料にすることが主である。それは、シーンチェンジ部分のように前後で相関の極めて低い画像では、フレーム間予測符号化で圧縮するよりもフレーム内符号化で圧縮する方が効率良く圧縮できるからである。また、シーンチェンジ部分では、圧縮後のデータも大きなものとなるため、データ量配分や出力バッファマネジメントの観点からも当該シーンチェンジを把握することは重要である。
【００６４】
上述のようなシーンチェンジは前後の画像で相関が著しく損なわれる所に存在するものであるため、当該シーンチェンジ部分は、例えば、前後の画像についてそれぞれ例えば動きベクトル補償後の画像との差分値を求め、それぞれこの差分値の画像全体での総和を求めて、さらに当該前後の画像での上記総和の比を求めるなどして検出できる。
【００６５】
このようなことから、本実施例のシーンチェンジ検出回路３１では、上記画像情報評価回路５０の出力を用いてシーンチェンジを検出するようにしている。すなわち、上記画像情報評価回路５０は、前述のように動き補償後の画像の差分値のブロック内の和を第２のパラメータとして出力するため、当該シーンチェンジ検出回路３１では、当該差分値のブロック内の和を用いて、上述のシーンチェンジ検出のための演算を行うことができる。
【００６６】
次に、圧縮方法選択回路３２について説明する。
当該圧縮方法選択回路３２は、上記シーンチェンジ検出回路３１からのシーンチェンジ検出出力と、画像情報評価回路５０からの画像情報をカウントしたカウント値と、前記輝度情報と色差情報からそれぞれ求めた第２のパラメータ（最小誤差）とに基づいて、フレーム内符号化／フレーム間予測符号化（Ｐ，Ｂピクチャ）のいずれの圧縮方式で圧縮を行うのかを選択する回路である。
【００６７】
すなわち当該圧縮方法選択回路３２では、上記画像情報評価回路５０によって得られるマクロブロック毎の輝度情報及び色差情報から求めたパラメータに基づいて、マクロブロック毎のフレーム内符号化／フレーム間予測符号化の各圧縮方法によって発生するデータの予想量（発生予想量）を比較し、より発生予想量の少なくなる圧縮方法を選択するようにしている。
【００６８】
また、フレーム内符号化方式による圧縮画像は少なくともＧＯＰの最初になければならない。さらに、ＧＯＰはランダムアクセスを考慮してある程度の間隔となされているので、必然的にＩピクチャは当該間隔で定期的に発生するものであり、また、本実施例ではシーンチェンジ等によっても発生するものである。
このようなことから、当該圧縮方法選択回路３２では、上記画像情報評価回路５０からの画像情報のカウントを行うと共に、上記シーンチェンジ検出回路３１からのシーンチェンジ検出出力が当該圧縮方法選択回路３２に加えられる。これにより当該圧縮方法選択回路３２では、上記画像のカウント値から定期的なフレーム内符号化を選択すると共にシーンチェンジ検出時にもフレーム内符号化を選択（すなわちＧＯＰの間隔を決定する）し、それら以外ではフレーム間予測符号化を選択するようにしている。
【００６９】
この圧縮方法選択回路３２は、上記圧縮方法の選択に応じて前記切換スイッチ１３と２４の切換制御を行うと共に、その選択結果を示す情報を量子化ステップ制御器３９に送る。
量子化ステップ制御器３９は、可変長符号化回路１７からの符号量を示す情報に基づいて量子化器１５の量子化ステップ幅を制御する。また、上記出力バッファ１８から出力されたデータは圧縮符号化がなされた符号化出力として出力端子２から出力される。
【００７０】
また、上記量子化器１５からの出力は、逆量子化器２７によって逆量子化され、さらに逆ＤＣＴ回路２６によって逆ＤＣＴ処理される。当該逆ＤＣＴ回路２６の出力は、加算器２５に送られる。
この加算器２５には、フレーム間予測符号化のフレームのときにオンとなる切換スイッチ２４を介した動き補償器２１からのフレーム間予測画像データも供給され、当該データと上記逆ＤＣＴ回路２６の出力データとの加算が行われる。この加算器２５の出力データは、フレームメモリ２２に一時的に蓄えられた後、動き補償器２１に送られる。
【００７１】
当該動き補償器２１は、上記動き検出器３８によって検出され動きベクトル発生回路３３によって発生された動きベクトルに基づいて動き補償を行い、これによって得たフレーム間予測画像データを出力する。
また、上記量子化ステップ制御器３９は、前記画像情報評価回路５０からの評価値（パラメータ）から画像の情報量、さらにはシーンチェンジのように前後の画像の相関が極めて低くなる所を知ると共に、圧縮方法選択回路３２からの選択結果を示す情報からフレーム内符号化かフレーム間予測符号化のいずれが選択された画像であるかも知ることができる。
【００７２】
したがって、当該量子化ステップ制御器３９においては、出力バッファ１８の残量のみをフィードバックする従来の量子化ステップ制御に比べて、入力画像の急激な情報量変化に追随できることになり、また、画像の情報量の変化に応じて適切な量子化ステップ制御が可能で、さらに、フレーム内符号化／フレーム間予測符号化の圧縮方法に応じて適切な量子化ステップ制御も可能となる。
【００７３】
次に本実施例の構成における処理の流れを、図２のフローチャートに沿って説明する。
先ず、ステップＳ８１では、入力端子１に入力された画像データが順次フレームメモリ４０へ格納される。
ここで、先に述べたようにＩピクチャの頻度や間隔の決定が画質に影響を及ぼすので、これに関係して符号化に先だってＧＯＰを決めておく必要があり、また、レートコントロール（量子化ステップ制御によるビットレートのコントロール）をするために符号化に先だって１ＧＯＰ分の画像についての情報を収集しなければならない。このように、次々と入力されてくる画像データに対してその間に分析を行い、符号化するまでの十分な遅延時間を稼ぐため、大量のフレームメモリ４０を用いる。
【００７４】
次に、ステップＳ８２では、動き検出器３８及び動きベクトル発生回路３３によって、フレーム間予測符号化で圧縮するために必要な動きベクトルを検出及び発生させる。すなわち、このステップＳ８２では、予め定められたスケジュールでフレームメモリ４０中の各画像データをＰピクチャ或いはＢピクチャとして圧縮符号化できるように、動き検出（モーションエスティメーション）を行う。
【００７５】
ここで、動き検出を行う画像については、Ｉピクチャを規定しない。それはどの画像データがＩピクチャになるのかこの時点では確定していないからであり、またＩピクチャは動き補償を必要としないため、後にどの画像データでもＩピクチャにすることが可能だからである。
上記画像情報評価回路５０は、上記動き検出をする際に用いられる最小歪み（Minimum Distortion）或いは誤差の絶対値和（ＡＤ：Absolute Difference ）と呼ばれるものを符号化に用いるパラメータの一つ（第２のパラメータ）として読み出し格納する。
【００７６】
なお、上記誤差の絶対値和（ＡＤ）は、リファレンス側の画像を８×８ピクセルのブロックに分割し、輝度データ８×８×４ピクセルと色差データ８×８×２ピクセルのマクロブロック（ＭＢ）に対し、動き検出を行なった際に求めた動きベクトルで切りだされるサーチ側のマクロブロックとの各画素同士の差の絶対値和で、以下の式(1) で求めることができる。
【００７７】
【数１】
【００７８】
これをさらにマクロブロック内のブロックについて集計したものを用いてマクロブロックの誤差の絶対値和（ＡＤ）とする。
このパラメータはシーンチェンジの判定やフレーム間予測符号化で圧縮する場合の画像の相関も考慮した情報量の推定に用いるものである。
このパラメータはまた、後述するようにマクロブロックタイプを決定するために使われる。
【００７９】
画像の情報量を推定するパラメータＳＡＤは、式(2) のように、一つの画像内の上記誤差の絶対値和（ＡＤ）を合計したものである。
ＳＡＤ＝ΣＡＤ (2)
もちろん、上記誤差の絶対値和（ＡＤ）以外に最小歪み（Minimum Distortion）を用いてもよい。
【００８０】
次に、ステップＳ８３では、画像情報評価回路５０において、上記動き検出で得られたパラメータ以外に誤差の平均絶対値和（ＭＡＤ：Mean Absolute Difference）、アクティビティ（Activity）を各画像毎に評価する。
上記誤差の平均絶対値和（ＭＡＤ）はＩピクチャの情報量を推定するためのパラメータで、下記の式(3) によって８×８画素のブロック毎に求め、必要に応じてマクロブロック或いは画面で集計を行う。このパラメータはまた、マクロブロックタイプを決定するために使われる。
【００８１】
【数２】
【００８２】
これをさらに、式(4) のように、マクロブロック内のブロックについて合計したものを用いてマクロブロックの判定に用いる。
ＭＡＤ＝Σ blockＭＡＤ (4)
またさらに、式(5) のように、マクロブロックの値を一つの画像内で合計してその値を、その画像の（Ｉピクチャとしての）情報量を表すパラメータＳＭＡＤとする。
【００８３】
ＳＭＡＤ＝ΣＭＡＤ (5)
また、上記アクティビティは、一つの画面の中でそのマクロブロックの画像の状態に応じてよりきめ細かに量子化ステップを制御することによって画質を維持しながら、より圧縮効率を高めるために、その画像の状態を定量化するためのパラメータである。
【００８４】
例えば一つのブロック内で画像が画素のレベル変化の少ない平坦な部分（フラットな部分）では量子化による歪みが目立ち易く、量子化ステップを小さくしてやるべきで、逆にレベル変化が多い複雑なパターンのブロックでは量子化歪みは目立ち難く、情報量も多いので量子化ステップを大きくするべきである。
そこで、例えばブロックの平坦度（フラットネス）を表すパラメータをこのアクティビティとして用いる。
【００８５】
次に、ステップＳ８４では、上記シーンチェンジ検出回路３１でシーンチェンジの検出を行う。このシーンチェンジ検出回路３１でのシーンチェンジ検出は、上記画像情報評価回路５０で得られたパラメータＡＤを使ってなされる。具体的には、上記パラメータＡＤを１画面分合計した上記パラメータＳＡＤを使い、その変化の割合で上記シーンチェンジを検出する。
【００８６】
次に、圧縮方法選択回路３２においては、ステップＳ８５でＧＯＰ長の決定を行い、ステップＳ８６で圧縮方法の選択（ピクチャタイプの決定）を行う。
ここでは、すでに述べたように、符号化に際してランダムアクセス性を考慮して適当なフレーム数毎にＧＯＰを区切る。このとき少なくともＧＯＰの符号順で最初のピクチャはＩピクチャでなければならないから、ピクチャの数をカウントし定期的にピクチャタイプをＩピクチャにする。
【００８７】
一方、上記シーンチェンジによって前後のピクチャで相関が低くなった場合、これも先に述べたようにＩピクチャで圧縮符号化すると効率が良い。しかしながら、Ｉピクチャは圧縮率が低いため、低ビットレートにおいては頻繁に現れると画質の低下を招く。したがって、シーンチェンジ検出回路３１によってシーンチェンジが検出された場合、圧縮方法選択回路３２は、Ｉピクチャ同士の間隔を適度に保つよう適応的にＧＯＰの長さを決める。
【００８８】
次のステップＳ８７では、圧縮方法選択回路３２において、後述する図３のフローチャートに示すような合計評価値（難易度：difficulty) の集計を行い、これに基づいてマクロブロックタイプの判定を行う。すなわち、圧縮方法選択回路３２では、ステップＳ８７においてマクロブロック毎の圧縮方法とマクロブロックタイプとを決める。
【００８９】
前述のように既に求めた上記誤差の平均絶対値和（ＭＡＤ）と誤差の絶対値和（ＡＤ）は、それぞれフレーム内符号化／フレーム間予測符号化で圧縮したときの圧縮後のデータ量に関係するので、この２つのパラメータを比較すればフレーム内符号化／フレーム間予測符号化のどちらのマクロブロックタイプがより少ないデータ量になるか判定できる。
【００９０】
次のステップＳ８８では、量子化ステップ制御器３９において、レートコントロールのためのビット配分を行う。すなわちこのステップＳ８８では、上記ステップＳ８７で求めた難易度（difficulty) に応じて１画面毎の割り当て量をビット配分する。
各ピクチャ毎の圧縮符号化された後のデータサイズは、その符号化方式や元々の画像データが持つ情報量、前後の相関などによって大きく変動する。平均的な画質を保つようにするならばことさらである。
【００９１】
各ピクチャ毎の圧縮符号化された後のデータサイズのむらは出力バッファ１８によってある程度吸収されるが、平均的には一定のビットレートにしなければならない。したがって、ある区間を定めればその間のピクチャのトータルの圧縮後のデータ量が決まる。そこで、既に決定しているピクチャタイプと、予め調べておいた画像の情報量パラメータとを用いて各ピクチャ毎に圧縮後のデータ量、すなわち各ピクチャが使って良いビットの量を決める。
【００９２】
このとき、例えば情報量の少ない画像やＢピクチャには少なく、情報量の多い画像やＩピクチャには多くする。これをビット配分と呼ぶ。これによって画質のばらつきを抑え、なおかつ一定レートに保つことが容易になる。
例えば本実施例ではＧＯＰをその区間として、次の式(6) ，式(7) のようにビット配分を行う。
Total Bit Count ＝（Bit Rate [bit/s]× Number Of Picture In GOP [picture])／（Picture Rate [picture/s]） [bit] (6)
Available Bits＝（Total Bit Count ×ターゲットの画像情報量パラメータ）／画像情報量パラメータのＧＯＰ合計値） [bit] (7)
なお、この式(7) で使用している情報量パラメータは、先に述べたパラメータＳＭＡＤ，ＳＡＤを用い、これに圧縮するピクチャタイプ別の乗数をかけたものである。また、上記乗数は各ピクチャタイプ間のパラメータと画質との関係を調整するものである。
【００９３】
なお、上記式(7) の上記画像情報量パラメータのＧＯＰ合計値は、式(8) に示すようにして求める。
画像情報量パラメータのＧＯＰ合計値＝Ki×ΣDifi＋Kp×ΣDifp＋Kb×ΣDifb
Difi: Ｐピクチャの難易度
Difb: Ｂピクチャの難易度 (8)
上記量子化ステップ制御器３９においては、次のステップＳ８９において、後述する図４のフローチャートのような学習パラメータＡ，Ｂによる回帰予測の処理に基づいて基本量子化ステップの決定を行う。すなわち、このステップＳ８９では、上述した１画面のビット割当量と難易度から回帰予測による基本量子化ステップの決定（予測）を行う。
【００９４】
上述のようにしてピクチャタイプが決まり、マクロブロックタイプが決まれば、マクロブロックタイプに応じて１画面分の上記誤差の平均絶対値和（ＭＡＤ）、誤差の絶対値和（ＡＤ）を集計することで、１画面の情報量パラメータ（すなわち難易度）が測定できる。したがって、過去の実績から、情報量パラメータと量子化後のデータ量が決まれば量子化ステップを推定することができる。
【００９５】
本発明は、この基本量子化ステップ決定機構に関してのものであり、本実施例の量子化ステップ制御器３９は、１画面毎の割当ビット量(allocated＿bit)と上記難易度(difficulty)とから、以下の方法により一画面の基本の量子化ステップ（量子化スケール：Q ＿scale)を決めるようにしている。
先ず、式(10)に示すように、
log(allocated＿bit/difficulty) ＝A*log(Q ＿scale)+B (10)
という関係があると仮定し、上記式(10)中のＡ，Ｂを予め学習（実験）により求めておく。さらに、上記式(10)を変形した式(11)から、上記量子化スケール(Q＿scale)を求める。
【００９６】
Q＿scale ＝exp((log(allocated＿bit/difficulty)-B)/A) (11)
このようにして求めた量子化ステップをそのピクチャの基本量子化ステップとする。
次に、量子化ステップ制御器３９は、ステップＳ９０のように、画面内の量子化ステップの制御を行う。
【００９７】
すなわち、当該量子化ステップ制御器３９は、先に述べたように画面内の量子化ステップを各ブロック毎に、なるべく画質を高く、しかも圧縮効率を高くするように制御する。具体的には、上記アクティビティやマクロブロックタイプなどの情報をもとに、基本量子化ステップからマクロブロック毎の量子化ステップを加減することで、量子化器１５に対する量子化ステップの制御を行う。
【００９８】
次のステップＳ９１では前記可変長符号化回路１７において符号化を行う。上述のようにして圧縮符号化の全てのパラメータが決まっているのでその後は、ＭＰＥＧの規則にしたがって圧縮符号化する。
次のステップＳ９２ではマクロブロック毎のビット発生量と、量子化スケール(Q＿scale)の集計を行う。
【００９９】
最後に、ステップＳ９３では、前述した各パラメータの更新を行う。すなわち、後述する図５のフローチャートに示すように、マクロブロック毎の量子化ステップの平均と、マクロブロック毎の発生量の合計値と、難易度（difficulty) とによる予測標本の更新を行う。
ここで、画像情報量と基本量子化ステップ、圧縮後のデータ量の関係は、圧縮する画像に依存する。したがって、ここでは、その関係を表す式に用いるパラメータ、予測パラメータを、圧縮後の実際のデータ量をフィードバックすることにより学習させ、予測の精度を向上させている。
【０１００】
この場合、先ず、ピクチャタイプ毎に学習パラメータＡ，Ｂを以下の方法により、学習し、修正する。
例えば、マクロブロック毎の量子化スケール(Q-scale) の平均値を(average＿Q)とし、１画面圧縮した後の発生量を(generated bit) とすると、式(12)に示すように、
x = log(average＿Q), y = log(generated bit/ difficulty) (12)
となり、ＡとＢのパラメータを最小２乗誤差法で以下の式(13)、式(14)のようにして求める事ができる。なお、式中ｎは標本数である。
次に図２のステップＳ８７における難易度（difficulty) の集計のフローチャートについて図３を用いて説明する。
【０１０１】
図２のステップＳ８７で難易度（difficulty) の集計の処理に進むと、図３のステップＳ１００以降の処理に移る。
この図３において、ステップＳ１０１では、先ず、初期化としてdifficulty＝０とし、次のステップＳ１０２では、マクロブロックタイプがフレーム内符号化マクロブロック（イントラマクロブロック:intra MB)か否かの判定を行う。ここで、イントラマクロブロックであると判断した場合にはステップＳ１０６で難易度（difficulty）を前記１画面分の誤差の平均絶対値和（MAD)とした後、ステップＳ１１０に進む。また、ステップＳ１０２でマクロブロックタイプがイントラマクロブロックでないと判定した場合には、ステップＳ１０３に進む。
【０１０２】
このステップＳ１０３では、マクロブロックタイプがフレーム間予測符号化マクロブロック（インターマクロブロック:inter MB)のうちの前方予測マクロブロック(forward MB)か否かの判定を行う。当該ステップＳ１０３で前方予測マクロブロックであると判断した場合にはステップＳ１０７で難易度（difficulty）を前方予測マクロブロックの誤差の絶対値和（AD＿for)とした後、ステップＳ１１０に進む。また、ステップＳ１０３でマクロブロックタイプが前方予測マクロブロックでないと判定した場合には、ステップＳ１０４に進む。
【０１０３】
このステップＳ１０４では、マクロブロックタイプがインターマクロブロックのうちの後方予測マクロブロック(backward MB) か否かの判定を行う。当該ステップＳ１０４で後方予測マクロブロックであると判断した場合にはステップＳ１０８で難易度（difficulty）を後方予測マクロブロックの誤差の絶対値和（AD＿bac)とした後、ステップＳ１１０に進む。また、ステップＳ１０４でマクロブロックタイプが後方予測マクロブロックでないと判定した場合には、ステップＳ１０５に進む。
【０１０４】
このステップＳ１０５では、マクロブロックタイプがインターマクロブロックのうちの両方向予測マクロブロック(bidirectional MB)か否かの判定を行う。当該ステップＳ１０５で両方向予測マクロブロックであると判断した場合にはステップＳ１０９で難易度（difficulty）を両方向予測マクロブロックの誤差の絶対値和（AD＿bid)とした後、ステップＳ１１０に進む。また、ステップＳ１０５でマクロブロックタイプが両方向予測マクロブロックでないと判定した場合には、ステップＳ１１０に進む。
【０１０５】
上記ステップＳ１１０では、全マクロブロック分の難易度の集計が終了したか否かの判定を行い、終了していないと判定した場合にはステップＳ１０２に戻り、終了したと判定した場合にはステップＳ１１１で難易度の集計を終了し、ステップＳ８７に戻る。
次に図２のステップＳ８９における学習パラメータＡ，Ｂに因る回帰予測のフローチャートについて図４を用いて説明する。
【０１０６】
図２のステップＳ８９で学習パラメータＡ，Ｂに因る回帰予測の処理に進むと、図４のステップＳ１２０以降の処理に移る。
この図４において、ステップＳ１２１では、前記式(11)の演算を行い、次のステップＳ１２２では、この式(11)の演算により得られた学習パラメータＡ，Ｂによる回帰予測処理を終了し、図２のステップＳ８９に戻る。
【０１０７】
次に図２のステップＳ９３における学習パラメータＡ，Ｂの修正更新のフローチャートについて図５を用いて説明する。すなわちこの図５のフローチャートでは、新たな標本を標本集合に加え、最小２乗誤差法によりパラメータＡ，Ｂを求め、古い標本を標本集合から除くことで、回帰予測のための学習パラメータＡ，Ｂを更新修正する。
【０１０８】
図２のステップＳ９３で学習パラメータＡ，Ｂの修正構成の処理に進むと、図５のステップＳ１３０以降の処理に移る。
この図５において、ステップＳ１３１では、最小２乗誤差法で、学習パラメータＡ，Ｂの修正と更新を行う。ここでは、１画面のデータを集計し、以下の式(15),(16) に示すように、
ｘ＝log(average ＿Q) (14)
ｙ＝log(generated ＿bit/difficulty) (15)
とする。
【０１０９】
次のステップＳ１３２では、新しいｘ，ｙデータを回帰分析標本集合に加え、ステップＳ１３３では学習パラメータＡ，Ｂを最小２乗誤差法により計算する。さらに次のステップＳ１３４では学習パラメータＡ，Ｂを最大値，最小値でクリップし、ステップＳ１３５では古いｘ，ｙデータを回帰分析の標本集合から除く。その後、ステップＳ１３６では学習パラメータＡ，Ｂの修正更新を終了して、図２のステップＳ９３に戻る。
【０１１０】
上述のようにして求めた発生ビット量と量子化スケール（Q ＿scale)の関係は、図６に示すようになる。
上述した本発明実施例の画像符号化装置についてまとめると、本実施例の画像符号化装置においては、基本量子化ステップの制御の際に、入力画像データの情報量を見積るパラメータ（評価値）と量子化後の予定圧縮データ量とから、基本量子化ステップを精度良く予測するようにしている。
【０１１１】
ここで、当該基本量子化ステップを精度良く予測するために、入力画像データの情報量を見積るパラメータと実際に圧縮に使用した量子化ステップと圧縮後のデータ量の関係を学習するようにしている。また、基本量子化ステップを予測する際には、入力画像データの情報量を見積る方法として、１画面毎に難しさ（難易度）を、マクロブロックタイプ決定後のマクロブロックタイプに応じて誤差の絶対値和（ＡＤ），誤差の平均絶対値和（ＭＡＤ）のどちらかを加算し、１画面分合計し、これをその画面の難易度(difficulty)としている。さらに、本実施例では、１画面毎の割当ビット量(allocated＿bit)を、難易度(difficulty)を１ＧＯＰ分集計し、この１ＧＯＰ分の難易度に応じてビット配分を行うようにしている。
【０１１２】
また、本実施例装置では、１画面毎の割当ビット量(allocated＿bit)と難易度(difficulty)から、ピクチャタイプ毎に前記式(10)の関係があると仮定し、予め式中のＡ，Ｂを学習により求めておき、さらに式(10)を変形した式(11)から基本量子化スケール(Q＿scale)を求めるようにしている。このとき、マクロブロック毎の学習パラメータＡ，Ｂは、前記式(12), 式(13), 式(14)のように、マクロブロック毎の量子化ステップの平均値と１画面圧縮した後の発生量とを用い、最小２乗誤差法で求めることができる。
【０１１３】
またさらに、学習パラメータＡ，Ｂを学習し、修正する際には、ピクチャータイプ毎に各々最近のｎ秒間のデータから求める（すなわち、最近の過去ｎ秒間以上過去のデータは使わない）ようにしている。このとき、過去のデータを図６のようにグラフにプロットし、直線近似ができそうな部分の基本量子化スケール(Q＿scale)の最大値、最小値の平均データを標本集合中に入れておき、予測直線を安定させるようにし、さらには学習パラメータＡ，Ｂには上限下限を設定し、特異なデータが多く入力されても安定した基本量子化ステップ予測を行えるようにしている。
【０１１４】
上述したようなことから、本実施例の画像符号化装置によれば、基本量子化ステップを精度良く予測できるため、画面内で量子化ステップの制御を特に行わなくても一画面に割り当てた圧縮後の予想ビット量に近くなり、したがって、画面毎にビットの使い込みや余りが起きなくなるので、平均した画質を維持できるようになる。例えば、画面内で量子化ステップの制御を上手に行ったとしても、基本量子化ステップが大きく外れていたならば、画面内で量子化ステップの変動がおき、画質の不均質を検出できる圧縮画ができてしまうが、本実施例では、圧縮に際しての難易度に応じてビット配分を行うため、基本量子化ステップを精度良く予測でき、したがって、無駄なくビットが使われ、画面内や画面毎の不均質が検出し難い圧縮画ができる。
【０１１５】
また、本実施例では、基本量子化ステップを精度良く予測する機構が、変動する入力画によって修正、学習を行い、入力画に追随するため、基本量子化ステップを精度良く予測する機構が維持できる。
さらに、本実施例装置では、基本量子化ステップを精度良く予測する機構が、過去の学習結果に引きずられることなく、最近のある期間の入力画の影響を学習に使用するようにしているため、入力画に素早く追随した基本量子化ステップの予測が行なえる。
【０１１６】
また、本実施例装置では、基本量子化ステップを精度良く予測する機構が、実験で求めた多くの学習データからの予測直線を最近の入力画の学習データで更新し、なおかつ実験で求めた予測直線データは、ｘ，ｙ共に最大値、最小値に近いデータが入力されている。したがって、最小二乗誤差法では、実験の影響が大きくなるため、もし特異な入力画の学習データが入ったとしても、それに引きずられずに基本量子化ステップの予測が行なえる。
【０１１７】
またさらに、本実施例の画像符号化装置によれば、上記の実験で求めた最大値，最小値の付近のｘ，ｙから求められる学習パラメータＡ，Ｂでの変動抑制でも防げないような予測直線となった場合でも、最終的にパラメータＡ，Ｂをクリップすることにより、異常な学習結果を保存しないので、基本量子化ステップを精度良く予測する機構を維持できる。
【０１１８】
【発明の効果】
本発明の画像符号化装置においては、蓄積した複数枚の画像データから情報量を評価し、さらに画像間の相関を検出し、情報量の評価値と画像間の相関情報とに基づいて適応的に画像データの圧縮方法を選択し、選択した圧縮方法で１画面分の画像データを圧縮することにより得られる予定圧縮データ量と評価値とから基本量子化ステップを予測することにより、基本量子化ステップが精度良く予測でき、画面内で量子化ステップの制御を特に行わなくても一画面に割り当てた圧縮後の予想ビット量に近くなり、したがって、画面毎にビットの使い込みや余りが起きなくなるので、平均した画質を維持できるようになる。このため、効率の良い画像圧縮が可能で、全体的に画質を向上させることが可能となる。
【０１１９】
また、本発明の画像符号化装置においては、実際に圧縮に使用した量子化ステップと圧縮後のデータ量と評価値の関係を学習し、当該学習結果に応じて基本量子化ステップの予測を行うようにしているため、変動する入力画像でもその入力画像に追従でき、基本量子化ステップを精度良く予測することが可能となっている。
【図面の簡単な説明】
【図１】本発明実施例の画像符号化装置の概略構成を示すブロック回路図である。
【図２】本実施例装置の動作を説明するためのフローチャートである。
【図３】難易度の集計のフローチャートである。
【図４】学習パラメータＡ，Ｂに因る回帰予測のフローチャートである。
【図５】学習パラメータＡ，Ｂの修正，更新のフローチャートである。
【図６】発生ビット量と基本量子化スケールとの関係を示す図である。
【図７】従来の画像符号化装置の概略構成を示すブロック回路図である。
【図８】画像の解像度と構成について説明するための図である。
【図９】マクロブロックとブロックについて説明するための図である。
【図１０】ジグザグスキャンについて説明するための図である。
【図１１】ＧＯＰの一例について説明するための図である。
【符号の説明】
２２，４０ フレームメモリ
１１ ブロック分割器
１２ 差分器
１３，２４ スイッチ
１４ ＤＣＴ回路
１５ 量子化器
１６ ジグザグスキャン回路
１７ 可変長符号化回路
１８ 出力バッファ
１９，３９ 量子化ステップ制御器
２０ 動き検出器
２１ 動き補償器
２５ 加算器
２６ 逆ＤＣＴ回路
２７ 逆量子化器
３１ シーンチェンジ検出回路
３２ 圧縮方法選択回路
３３ 動きベクトル発生回路
５０ 画像情報評価回路
【産業上の利用分野】
本発明は、例えば画像を圧縮符号化する場合に用いて好適な画像符号化装置及び方法に関する。
【０００２】
【従来の技術】
従来の例えば画像を圧縮符号化する場合に用いて好適な画像符号化装置の構成例を図７に示す。
この図７の画像符号化装置において、入力端子１には、図８に示すように、
輝度成分(Y) 352(H)×240(V)×30フレーム
クロマ成分(Cb) 174(H)×120(V)×30フレーム
クロマ成分(Cr) 174(H)×120(V)×30フレーム
のピクセル数にディジタル化された画像データが供給される。
【０００３】
上記入力端子１に供給された入力画像データは、当該入力画像データを一時的に蓄えて然るべき順番に入れ替えるためのフレームメモリ１０を介して、動き検出器２０とブロック分割器１１に送られる。
当該ブロック分割器１１は、フレームメモリ１０から供給されたそれぞれのフレームを、図９に示すように、輝度成分(Y) ，クロマ成分(Cr),(Cb) それぞれを８×８ピクセルのブロックに分割する。なお、輝度成分(Y) の４つのブロック(Y0,Y1,Y2,Y3）と１つのクロマ成分(Cb)のブロックと、１つのクロマ成分(Cr)のブロックからなる合計６つのブロック(Y0,Y1,Y2,Y3,Cb,Cr) は、マクロブロック(MB)と呼ばれている。
【０００４】
このブロック分割器１１からのマクロブロック単位のデータは差分器１２に送られる。
この差分器１２では、ブロック分割器１１からのデータと後述するフレーム間予測画像データとの差分をとり、その出力を後述するフレーム間予測符号化がなされるフレームのデータとして切換スイッチ１３の被切換端子ｂに送る。また、当該切換スイッチ１３の被切換端子ａには、上記ブロック分割器１１からのデータが後述するフレーム内符号化がなされるフレームのデータとして供給される。
【０００５】
上記切換スイッチ１３を介したブロック単位のデータはＤＣＴ回路１４によって離散コサイン変換（ＤＣＴ）処理され、そのＤＣＴ係数が量子化器１５に送られる。当該量子化器１５では、所定の量子化ステップ幅で上記ＤＣＴ出力を量子化し、この量子化した係数がジグザグスキャン回路１６に送られる。
当該ジグザグスキャン回路１６では、上記量子化係数を図１０に示すようにいわゆるジグザグスキャンによって並べ換え、その出力を可変長符号化回路１７に送る。この可変長符号化回路１７では、上記ジグザグスキャン回路１６の出力データを可変長符号化（ＶＬＣ）し、その出力を出力バッファ１８に送ると共に、当該可変長符号化処理により発生した符号量を示す情報を、量子化ステップ制御器１９に送る。量子化ステップ制御器１９は、可変長符号化回路１７からの符号量を示す情報に基づいて量子化器１５の量子化ステップ幅を制御する。また、上記出力バッファ１８から出力されたデータは圧縮符号化がなされた符号化出力として出力端子２から出力される。
【０００６】
また、上記量子化器１５からの出力は、逆量子化器２７によって逆量子化され、さらに逆ＤＣＴ回路２６によって逆ＤＣＴ処理される。当該逆ＤＣＴ回路２６の出力は、加算器２５に送られる。
この加算器２５には、フレーム間予測符号化のフレームのときにオンとなる切換スイッチ２４を介した動き補償器２１からのフレーム間予測画像データも供給され、当該データと上記逆ＤＣＴ回路２６の出力データとの加算が行われる。この加算器２５の出力データは、フレームメモリ２２に一時的に蓄えられた後、動き補償器２１に送られる。
【０００７】
当該動き補償器２１は、上記動き検出器２０によって検出された動きベクトルに基づいて動き補償を行い、これによって得たフレーム間予測画像データを出力する。
以下、上記図７の従来の画像符号化装置の具体的な動作について詳細に説明する。ここで、説明のために以下のように各フレームの呼び名を定義する。
【０００８】
先ず、表示順にフレームを並べたとき、それぞれを
Ｉ０，Ｂ１，Ｂ２，Ｐ３，Ｂ４，Ｂ５，Ｐ６，Ｂ７，Ｂ８，Ｉ９，Ｂ１０，Ｂ１１，Ｂ１２，・・・・・
と呼ぶこととする。これらのフレームのうち、Ｉ，Ｐ，Ｂは、後に説明するが、圧縮方法の種類を示し、これらＩ，Ｐ，Ｂの次の数字は、単純に表示順を示している。
【０００９】
カラー動画像符号化方式の国際標準化作業グループであるいわゆるＭＰＥＧ（Moving Picture Expert Group)のうちＭＰＥＧ１では、この様な画像を圧縮するために、以下のようにすることが規定されている。
先ず、Ｉ０の画像を圧縮する。
次に、Ｐ３の画像を圧縮するのだが、Ｐ３そのものを圧縮するのではなく、Ｐ３とＩ０の画像との差分データを圧縮する。
【００１０】
その次に、Ｂ１の画像を圧縮するのだが、Ｂ１そのものを圧縮するのではなく、Ｂ１とＩ０或いは、Ｂ１とＰ３との差分データ或いはＩ０とＰ３の平均値との差分（いずれか情報の少ない方）を圧縮する。
その次に、Ｂ２の画像を圧縮するのだが、Ｂ２そのものを圧縮するのではなく、Ｂ２とＩ０或いは、Ｂ２とＰ３との差分データ或いはＩ０とＰ３の平均値との差分（どちらか情報の少ない方を選んで）を圧縮する。
【００１１】
次に、Ｐ６の画像を圧縮するのだが、Ｐ６そのものを圧縮するのではなく、Ｐ６とＰ３の画像との差分データを圧縮する。
上述したような処理を順番に並べて表すと、
Ｉ０，Ｐ３，Ｂ１，Ｂ２，Ｐ６，Ｂ４，Ｂ５，Ｐ９，Ｂ７，Ｂ８，Ｉ９，Ｐ１２，Ｂ１０，Ｂ１１，・・・・
のように、表示順とは順番が入れ替わる。圧縮後のデータ（符号化データ）はこの順番に並ぶことになる。
【００１２】
以下、上述したことを図７の構成の動作と共にさらに詳しく述べる。
１枚目の画像（すなわちＩ０）のエンコードでは、先ず、上記フレームメモリ１０から１枚目に圧縮すべき画像のデータが、ブロック分割器１１によってブロック化される。このブロック分割器１１からは、前記Ｙ０，Ｙ１，Ｙ２，Ｙ３，Ｃｂ，Ｃｒの順にブロック毎のデータが出力され、被切換端子ａ側に切り換えられた切換スイッチ１３を介してＤＣＴ回路１４に送られる。このＤＣＴ回路１４では、それぞれのブロックについて縦横２次元の離散コサイン変換処理を行う。これにより、時間軸であったデータが周波数軸に変換される。
【００１３】
このＤＣＴ回路１４からのＤＣＴ係数は、量子化器１５に送られ、当該量子化器１５で所定の量子化ステップ幅で量子化される。その後、ジグザグスキャン回路１６によって図１０のようにジグザグ順に並べ変えられる。このようにジグザグ順に並べると、後ろへ行くほど、その係数は周波数成分の高い係数となるから、一般的に係数の値は後ろの方が小さくなる傾向にある。したがって、ある値Ｓで量子化すると、後ろへ行くほど、その結果は０になる頻度が増し、結果的に高域の成分が切り落とされることになる。
【００１４】
その後、この量子化後の係数は、可変長符号化（ＶＬＣ）回路１７へ送られ、ここでいわゆるハフマンコーディングが施される。この結果得られる圧縮されたビットストリームは、出力バッファ１８に一旦蓄えられた後、一定のビットレートで送出される。当該出力バッファ１８は、不規則に発生するビットストリームを一定のビットレートで送出できるようにするための緩衝のためのメモリである。
【００１５】
以上の様に１枚の画像だけ単独で圧縮することをフレーム内（イントラ：Intra ）符号化と言い、この画像をＩピクチャと呼ぶ。
したがって、デコーダが上記のＩピクチャのビットストリームを受信した場合は、以上に述べたことを逆にたどり、１枚目の画像を完成させる。
次に、２枚目の画像（すなわちＰ３）のエンコードでは、以下のようになされる。
【００１６】
すなわち、この２枚目以降もＩピクチャとして圧縮してビットストリームを作っても良いが圧縮率を上げるには、連続する画像の内容には相関があることを利用して、以下の様な方法で圧縮する。
先ず、動き検出器２０では、２枚目の画像を構成するマクロブロック毎に、１枚目の画像（Ｉ０）の中からそれに良く似たパターンを捜し出し、それを動きベクトルという（ｘ，ｙ）の相対位置の座標として表現する。
【００１７】
また、２枚目の画像ではそれぞれのブロックを、上記Ｉピクチャの場合のようにそのままＤＣＴ回路１４に送るのではなく、そのブロック毎の動きベクトルに従って一枚目の画像から引っ張ってきたブロックとの差分のデータ（差分器１２による差分データ）を、ＤＣＴ回路１４へ送るようにする。なお、動きベクトルの検出方法としては、ＩＳＯ／ＩＥＣ 11172-2 annex D.6.2 に詳細に述べられているためここでは省略する。
【００１８】
ここで、例えば上記動きベクトルによって示された一枚目の画像のパターンと、これから圧縮しようとするブロックのパターンとの間で、相関が非常に強くなっていれば、その差分データは非常に小さくなり、したがって、上記フレーム内（イントラ）符号化で圧縮するよりも、上記動きベクトルと上記差分データとを符号化した方が、圧縮後のデータ量は小さくなる。
【００１９】
このような圧縮方法を、フレーム間（インター：Inter)予測符号化と呼んでいる。ただし、常に差分データが少なくなるわけではなく、絵柄（画像内容）によっては、差分を取るよりも、上記フレーム内符号化で圧縮した方が、圧縮率が上がる場合がある。このような場合は、上記フレーム内符号化で圧縮する。フレーム間予測符号化にするか、フレーム内符号化にするかは、マクロブロック毎に異なる。
【００２０】
以上のことを図７の画像符号化装置（エンコーダ）に即して説明すると、先ず、フレーム間予測符号化を行うためには、エンコーダ側でたえずデコーダ側で作られる画像と同じ画像を作って置く必要がある。
そのためにエンコーダ内には、デコーダと同じ回路が存在する。その回路をローカルデコーダ（局部復号器）と呼ぶ。図７の逆量子化器２７と逆ＤＣＴ回路２６と加算器２５とフレームメモリ２２と動き補償器２１が当該ローカルデコーダに対応し、フレームメモリ２２内に記憶される画像のことをローカルデコーデッドピクチャ（Local decoded picture)又はローカルデコーデッドデータ(Local decoded data)と呼ぶ。これに対して、圧縮前の画像のデータは、オリジナルピクチャ(Original picture)又はオリジナルデータ(Original data) と呼ぶ。
【００２１】
なお、前述した１枚目のＩピクチャの圧縮時にも、上記ローカルデコーダを通して復号化された１枚目の画像が、上記フレームメモリ２２内に格納される。ここで、注意すべきことは、このローカルデコーダによって得られる画像は、圧縮前の画像ではなく、圧縮後復元した画像であり、圧縮による画質劣化のある、デコーダが復号化する画像とまったく同じ画像であるということである。
【００２２】
このような状態のエンコーダに２枚目の画像（Ｐ３）のデータ(Original data）が入ってくるわけだが（この段階ですでに、動きベクトルは検出済でなければならない）、データはブロック毎に動きベクトルを持ち、このベクトルが動き補償器（MC:Motion Compensation）２１に与えられる。当該動き補償回路２１は、その動きベクトルの示すローカルデコーデッドピクチャ上のデータ（動き補償データ：MC data:１マクロブロック）を上記フレーム間予測画像データとして出力する。
【００２３】
上記２枚目のオリジナルデータとこの動き補償データ（フレーム間予測画像データ）のピクセル毎の、差分器１２による差分データが、上記ＤＣＴ回路１４に入力される。それからの後の圧縮方法は、基本的にＩピクチャと同じである。上述のような圧縮方法によって圧縮する画像をＰピクチャ（Predicted picture)と呼ぶ。
【００２４】
さらに詳しく説明すると、Ｐピクチャにおいてすべてのマクロブロックがフレーム間予測符号化で圧縮するとは限らず、フレーム内符号化で圧縮する方が効率が良いと判断されるときは、そのマクロブロックは当該フレーム内符号化で符号化を行う。
すなわち、Ｐピクチャにおいても、マクロブロック毎に、フレーム内符号化によるか（このマクロブロックをイントラマクロブロックと呼ぶ）、又はフレーム間予測符号化によるか（このマクロブロックをインターマクロブロックと呼ぶ）のどちらかを選択して圧縮を行う。
【００２５】
上述のように、上記ローカルデコーダでは、量子化器１５の出力が、逆量子化器２７で逆量子化され、さらに逆ＤＣＴ回路２６で逆ＤＣＴ処理された後、エンコード時に動き補償データ（MC data ）と足され最終的なローカルデコーデッドピクチャとなる。
次に、３枚目の画像（すなわちＢ１）のエンコードでは、以下のようになされる。
【００２６】
上記３枚目の画像（Ｂ１）のエンコードでは、Ｉ０，Ｐ３の２枚の画像それぞれに対する動きベクトルを探索する。ここで、Ｉ０に対する動きベクトルをフォワードベクトル（forward Vector）ＭＶｆ(x,y) と呼び、Ｐ３に対する動きベクトルをバックワードベクトル（Backward Vector)ＭＶｂ(x,y) と呼ぶ。
この３枚目の画像についても差分データを圧縮するわけであるが、どのデータを圧縮するのかが、問題である。この場合も一番情報量が少なくなるものとの差分を取れば良い。このときの圧縮方法の選択肢としては、
（１）フォワードベクトルＭＶｆ(x,y) の示すＩ０上のデータとの差分
（２）バックワードベクトルＭＶｂ(x,y) の示すＰ３上のデータとの差分
（３）フォワードベクトルＭＶｆ(x,y) の示すＩ０上のデータとバックワードベクトルＭＶｂ(x,y) の示すＰ３上のデータの平均値との差分
（４）差分データは使わない（フレーム内符号化）
の４つである。マクロブロック毎にこの４種類の圧縮方法から一つが選択される。上記圧縮方法の選択肢のうちの（１），（２），（３）の場合は、それぞれの動きベクトルも動き補償器２１に送られ、差分器２１ではその動き補償データとの差分をとり、これがＤＣＴ回路１４に送られる。上記圧縮方法の選択肢のうちの（４）の場合は、そのままのデータがＤＣＴ回路１４へ送られる。
【００２７】
上述した１枚目、２枚目のエンコードの処理の結果、ローカルデコーデッドピクチャを格納するフレームメモリ２２には、Ｉ０，Ｐ３の２枚のピクチャが、復元されているのでこのようなことが可能である。
次に、４枚目の画像（すなわちＢ２）のエンコードでは、以下のようになされる。
【００２８】
上記４枚目の画像（Ｂ２）のエンコードでは、上述した３枚目（Ｂ１）のエンコード方法のところの説明文で、Ｂ１をＢ２に置き換えたこと以外は、上記３枚目のエンコードと同じ方法で圧縮する。
次に、５枚目の画像（すなわちＰ６）のエンコードでは、以下のようになされる。
【００２９】
上記５枚目の画像（Ｐ６）のエンコードでは、上述した２枚目（Ｐ３）のエンコード方法のところの説明文で、Ｐ３をＰ６に、Ｉ０をＰ３に置き換えただけで、他は同じ説明となる。
６枚目以降は、上述の繰り返しとなるので説明は省略する。
また、ＭＰＥＧにおいては、ＧＯＰ（Group Of Picture）と呼ばれるものが規定されている。
【００３０】
すなわち、何枚かのピクチャの集まりがグループオブピクチャ（ＧＯＰ）と呼ばれており、当該ＧＯＰは符号化データ（圧縮後のデータ）上で見て連続した画像の集まりでなくてはならないものである。また、ＧＯＰはランダムアクセスを考慮したもので、そのためには符号化データ上で見てＧＯＰの最初に来るピクチャは上記Ｉピクチャである必要がある。さらに、表示順（ディスプレイ順）でＧＯＰの最後は、Ｉ又はＰピクチャでなくてはならない。
【００３１】
図１１には、最初が４枚のピクチャからなるＧＯＰで、それ以降が６枚のピクチャからなるＧＯＰとなる例を挙げる。なお、図１１のＡはディスプレイ順を示し、図１１のＢは符号化データ順を示している。
この図１１において、ＧＯＰ２に注目すると、Ｂ４，Ｂ５はＰ３，Ｉ６から形成されるため、例えばランダムアクセスでＩ６にアクセスされると、Ｐ３が無いため、Ｂ４，Ｂ５は正しく復号化できない。このようにＧＯＰ内だけで正しく復号化できないＧＯＰは、クローズドＧＯＰ（Closed GOP）でないという。
【００３２】
これに対し、もしＢ４，Ｂ５がＩ６だけしか参照していないとしならば、例えばランダムアクセスでＩ６にアクセスしても、Ｐ３は必要ないため、これらＢ４，Ｂ５は正しく復号化できることになる。このようにＧＯＰ内だけの情報で、完全に復号化できるＧＯＰをクローズドＧＯＰ（Closed GOP）と呼ぶ。
以上のような圧縮方法の選択の中から一番効率の良い方法で圧縮するわけであるが、その結果発生する符号化データ（Coded data）の量は、入力画像にも依存し、実際に圧縮してみないと判らない。
【００３３】
しかし、圧縮後のデータのビットレートを一定にするためにコントロールすることも必要である。当該コントロールを行うためのパラメータは、量子化器１５に与える前記符号量を表す情報としての量子化ステップ（又は量子化スケール：Q-scale ）である。同じ圧縮方法でも、上記量子化ステップを大きくすれば発生ビット量は減り、小さくすれば増える。
【００３４】
この量子化ステップの値は、次のようにして制御する。
エンコーダには、圧縮後のデータを一定のビットレートにするために、出力に緩衝バッファ（出力バッファ１８）が設けられており、これによって画像毎のある程度のデータ発生量の差は吸収できるようになされている。
しかし、定められたビットレートを超えるようなデータの発生が続けば、出力バッファ１８の残量が増加し、ついにはオーバーフローを起こすことになる。逆にビットレートを下回るデータの発生が続けば出力バッファ１８の残量は減少し、最後にはアンダーフローを引き起こすことになる。
【００３５】
したがって、エンコーダは、出力バッファ１８の残量をフィードバックすることにより、前記量子化ステップ制御器１９が量子化器１５の量子化ステップをコントロールし、ここで出力バッファ１８の残量が少なくなればあまり圧縮しないように量子化ステップを小さくなるよう制御し、出力バッファ１８の残量が多くなれば圧縮率を高くするように量子化ステップを大きくするようにコントロールを行うようにしている。
【００３６】
また、前述した圧縮方法（前記フレーム内符号化やフレーム間予測符号化）によって発生する符号化データ量の範囲には、大きな差がある。
特にフレーム内符号化方式で圧縮をすると大量のデータが発生するため、出力バッファ１８の空き容量が小さい場合には量子化ステップサイズを大きくしなければならず、場合によっては量子化ステップサイズを最大にしてもバッファ１８のオーバーフローを招くかもしれない。よしんばバッファ１８に収まったとしても量子化ステップが大きければフレーム内符号化の画像は後のフレーム間予測符号化の画質に影響するので、フレーム内符号化での圧縮を行う前には出力バッファ１８に十分な空き容量が必要である。
【００３７】
したがって、予め定められた順序の圧縮方法を決めておき、フレーム内符号化の前には十分な出力バッファ１８の空き容量を確保するように、量子化ステップ制御器１９は量子化ステップサイズのフィードバックコントロールを行うようにしている。
以上のようにして一定レートの符号化データに抑えることが可能となる。
【００３８】
【発明が解決しようとする課題】
上述した従来の方法では、以下の理由により高画質を得られないことが欠点となっている。
すなわち、時々刻々情報量の変化する入力画像を一定のビットレートで平均的に高画質に圧縮するためには、出力バッファによって低ビットレートを維持できる範囲でかつ画質が均質になるように、情報量の多い画像（絵）には多めの圧縮データを許し、情報量の少ない画像には少なめの圧縮データにすることが必要だが、次のような場合に従来の方法ではそれができない。
【００３９】
例えば、情報量の少ない画像が連続し、そのあとで急に情報量の多い画像が入ってくる場合を考えると、先に供給される情報量の少ない画像に対しては量子化ステップをあまり小さくし過ぎず、その後に続く情報量が多い画像が符号化されるまで出力バッファの残量を低く保つべきであるのに、前述した出力バッファ残量をフィードバックする方式では、上記情報量が少ない画像が連続するうちに出力バッファの残量を増加させてしまうようになる。
【００４０】
逆に、情報量が多い画像の後に情報量の少ない画像が続く場合では、先に供給される情報量の多い画像を大きな量子化ステップで圧縮して出力バッファの残量を減らさなくても、その後に続くのは情報量の少ない画像なのでオーバーフローし難いはずであるが、上記出力バッファ残量フィードバック方式では、続く画像の情報量がわからないためバッファの残量を減らす方向、すなわち量子化ステップを大きくする方向に制御し、画質を低下させてしまう。
【００４１】
このようなことから、例えば、入力画像の情報量を評価し、この評価値に基づいて量子化ステップを制御するような構成も考えられる。
ところが、上記入力画像の情報量の評価値を求めるような機構を備えた画像符号化装置において、例えば１枚の入力画像を圧縮する際には、当該入力情報を圧縮した後に得られることになるデータに対して使用可能な割当量を、当該入力画像の情報量（難易度）に応じて配当することになるが、そのときの量子化器の量子化ステップを、当該割当量に応じて精度良く予測する必要がある。
【００４２】
ここで、もしも、上記予測した量子化ステップが適当でない場合には、上記圧縮後のデータに対して使用可能な割当量を大幅に割り込んだり、逆にオーバーしたりしてしまうことになる。このように割当量を大幅に割り込んだり、オーバーしたりすると、他のピクチャの圧縮の際の割当量に影響を与えてしまうことになる。
【００４３】
すなわち例えば、割当量が少なくなったフレームでは、量子化ステップが大きくなり、したがって画質が低下するようになる。このため、例えば連続的に見て均等な画質のフレームが続かなくなり、全体的に見ても画質が悪い印象になってしまう。また、上記予測が大幅にずれると、最悪の場合、バッファのアンダーフローやオーバーフローを招くことになる。
【００４４】
ここで、そのようにならないようにするために、例えば、１画面内で圧縮後の情報量と予定割当量と圧縮の進捗の画面内での割合で量子化ステップを制御していたとしても、基本の量子化ステップの予測が外れると画面内での量子化ステップの大きな変動が起こるようになる。このように画面内での量子化ステップの大きな変動が起こると、上記圧縮はラスタースキャン順になされるものなので、画面上で帯状に画質の不均等な部分が認識され、画質低下をもたらすようになる。
【００４５】
そこで、本発明は、上述のような実情に鑑みて提案されたものであり、効率の良い画像圧縮が可能で、全体的に画質を向上させることができる画像符号化装置及び方法を提供することを目的とするものである。
【００４６】
【課題を解決するための手段】
本発明の画像符号化装置は、上述した目的を達成するために提案されたものであり、入力画像データを複数枚蓄える画像データ蓄積手段と、上記画像データ蓄積手段に蓄積された複数枚の画像データから、当該入力画像データの情報量を評価するための画像自身の情報量を示す第１のパラメータ、画像の差分情報量を示す第２のパラメータ及び画像カウントのための画像情報を出力する画像情報評価手段と、上記画像データ蓄積手段に蓄積された複数枚の画像データの画像間の相関情報として、上記画像情報評価手段からの上記第２のパラメータを用いてシーンチェンジを検出する画像間相関検出手段と、画像データに直交変換処理を施し、直交変換係数を生成する直交変換手段と、上記直交変換手段により生成された直交変換係数を、所定の量子化ステップで量子化する量子化手段と、上記画像情報評価手段によって得られた上記画像情報と上記画像間相関検出手段からの画像間の相関情報であるシーンチェンジの検出出力とに基づいて、上記画像情報のカウント値によりフレーム内符号化を定期的に選択すると共に上記シーンチェンジの検出時にもフレーム内符号化を選択し、それら以外ではフレーム間予測符号化を選択する圧縮方法選択手段と、上記圧縮方法選択手段が選択した圧縮方法で１画面分の画像データを圧縮することにより得られる予定圧縮データ量とマクロブロックタイプに応じて上記第１、第２のパラメータのどちらかを加算し１画面分合計することにより求められた難易度とから、上記量子化手段における量子化の際の基本量子化ステップを予測する量子化ステップ制御手段とを有し、上記量子化ステップ制御手段は、上記１画面分の画像データの予定圧縮データ量をallocated_bit とし、上記難易度をdifficultyとし、上記基本量子化ステップをQ_scale とするとき、予め定められたパラメータＡ、Ｂを用いて、
Q_scale ＝ exp((log(allocated_bit/difficulty)-B)/A)
の式により基本量子化ステップQ_scale を求めることを特徴とするものである。
また、本発明の画像符号化方法は、入力画像データを複数枚蓄える画像データ蓄積手段に蓄積された複数枚の画像データから、当該入力画像データの情報量を評価するための画像自身の情報量を示す第１のパラメータ、画像の差分情報量を示す第２のパラメータ及び画像カウントのための画像情報を出力する画像情報評価工程と、上記画像データ蓄積手段に蓄積された複数枚の画像データの画像間の相関情報として、上記画像情報評価手段からの上記第２のパラメータを用いてシーンチェンジを検出する画像間相関検出工程と、上記画像情報評価工程にて得られた画像情報と上記画像間相関検出工程にて得られた画像間の相関情報であるシーンチェンジの検出出力とに基づいて、上記画像情報のカウント値によりフレーム内符号化を定期的に選択すると共に上記シーンチェンジの検出時にもフレーム内符号化を選択し、それら以外ではフレーム間予測符号化を選択する圧縮方法選択工程と、画像データに直交変換処理を施し、直交変換係数を生成する直交変換工程と、上記圧縮方法選択工程にて選択された圧縮方法で１画面分の画像データを圧縮することにより得られる予定圧縮データ量とマクロブロックタイプに応じて上記第１、第２のパラメータのどちらかを加算し１画面分合計することにより求められた難易度とから、量子化の際の基本量子化ステップを予測する量子化ステップ制御工程と、上記直交変換工程にて生成された直交変換係数を、上記所定の量子化ステップで量子化する量子化工程とを有し、上記量子化ステップ制御工程では、上記１画面分の画像データの予定圧縮データ量をallocated_bit とし、上記難易度をdifficultyとし、上記基本量子化ステップをQ_scale とするとき、予め定められたパラメータＡ、Ｂを用いて、
Q_scale ＝ exp((log(allocated_bit/difficulty)-B)/A)
の式により基本量子化ステップQ_scale を求めることを特徴とするものである。
【００４７】
ここで、上記量子化ステップ制御手段は、実際に圧縮に使用した量子化ステップと圧縮後のデータ量と上記評価値の関係を学習し、当該学習結果に応じて上記基本量子化ステップの予測を行う。また、上記量子化ステップ制御手段は、画像データを複数に分割したマクロブロック毎の上記評価値を１画面分合計して合計評価値を求め、当該合計評価値を上記基本量子化ステップの予測に使用する。このとき、上記画像情報評価手段は、動き検出による動きベクトルに応じた参照画像のマクロブロックの画素データと入力画像のマクロブロックの画素データとの差分のマクロブロック毎の絶対値和を、上記評価値とする。
【００４９】
【作用】
本発明によれば、蓄積した複数枚の画像データから情報量を評価し、さらに画像間の相関を検出し、情報量の評価値と画像間の相関情報とに基づいて適応的に画像データの圧縮方法を選択し、選択した圧縮方法で１画面分の画像データを圧縮することにより得られる予定圧縮データ量と評価値とから基本量子化ステップを予測することで、基本量子化ステップの予測精度を高めている。
【００５０】
また、本発明によれば、実際に圧縮に使用した量子化ステップと圧縮後のデータ量と評価値の関係を学習し、当該学習結果に応じて基本量子化ステップの予測を行うことで、入力画像の変動に追従させるようにしている。
【００５２】
【実施例】
以下、図面を参照し、本発明の実施例について詳述する。
図１には本発明実施例の画像符号化装置の概略構成を示す。なお、この図１において、前述した図７と同じ構成については同一の指示符号を付してその説明については省略する。
【００５３】
なお、この図１の構成において、前記図７の構成に追加された構成要素は画像情報評価回路５０とシーンチェンジ検出回路３１と圧縮方法選択回路３２と動きベクトル発生回路３３であり、また、動き検出器３８と量子化ステップ制御器３９とフレームメモリ４０とが変更されている。
すなわち、本発明実施例の画像符号化装置は、入力画像データを複数枚蓄える画像データ蓄積手段としてのフレームメモリ４０と、上記フレームメモリ４０に蓄積された複数枚の画像データから、当該入力画像データの情報量を評価する画像情報評価回路５０と、上記フレームメモリ４０に蓄積された複数枚の画像データから画像間の相関を検出する画像間相関検出手段としてのシーンチェンジ検出回路３１と、画像データに直交変換処理（ＤＣＴ処理）を施してそのＤＣＴ係数を生成するＤＣＴ回路１４と、上記ＤＣＴ回路１４によって生成されたＤＣＴ係数を所定の量子化ステップで量子化する量子化器１５と、上記画像情報評価回路５０によって得られた情報量の評価値と上記シーンチェンジ検出回路３１からの画像間の相関情報（シーンチェンジ検出出力）とに基づいて適応的に画像データの圧縮方法（ピクチャタイプ，マクロブロックタイプ，ＧＯＰ長）を選択する圧縮方法選択回路３２と、上記圧縮方法選択回路３２が選択した圧縮方法で１画面分の画像データを圧縮することにより得られる予定圧縮データ量と上記評価値とから、上記量子化器１５における量子化の際の基本量子化ステップを予測する量子化ステップ制御器３９とを有することを特徴とする。
【００５４】
この図１において、先ず、入力端子１から入力された入力画像データは、フレームメモリ４０に蓄えられる。このフレームメモリ４０は、図３のフレームメモリ１０とは異なり、所定数のフレームを蓄積できるものである。このときの蓄積する所定数としては、多過ぎるとフレームメモリ４０が大規模になってしまうので好ましくない。上記所定数として効率的な長さ（フレーム数）は、ビットレートと出力バッファ１８の容量、フレーム内符号化の圧縮方式の画像同士の間隔（ほとんどの場合ＧＯＰの長さといっても差し支えない）に大きく依存する。これは圧縮方法及び圧縮率の違いから生ずる圧縮データの大きさのむらを上記出力バッファ１８によって吸収し、定ビットレートにすることができる範囲が、上記ビットレート及び出力バッファ容量とフレーム内符号化がなされる画像同士の間隔等の条件によって制約されるからである。
【００５５】
ところで、一般的にフレーム内符号化方式で圧縮することは定期的に行われる（これがＧＯＰの区切りになることが多い）ものであり、このフレーム内符号化の圧縮方式は当該圧縮後のデータ量が他の方式（フレーム間予測符号化）に比べてかなり大きいものである。このため、当該フレーム内符号化による圧縮画像同士（或いはＧＯＰ）の間隔で情報量を調べ、データ量の配分をするのは、一つの合理的な方法である。
【００５６】
しかし、本実施例の方式では、後述するようにシーンチェンジ等によって前後の画像の相関が著しく低くなった場合にもフレーム内符号化方式で圧縮するようにしており、このようにシーンチェンジ部分でフレーム内符号化を行うようにすると、例えば、当該シーンチェンジに基づくフレーム内符号化画像の近傍に前記定期的なフレーム内符号化がきた場合、当該定期的に行われるフレーム内符号化の画像に対しては、定ビットレート或いは均質な画質の維持が困難になるため、フレーム内符号化による圧縮である必然性を失い、当該フレーム内符号化で圧縮することを取り止める必要がでてくる。
【００５７】
したがって、上記フレームメモリ４０の記憶可能な容量（上記所定数）は、上述のようにシーンチェンジが上記定期的に行われるはずであるフレーム内符号化の画像の近傍にくる場合があることを考慮して、当該定期的にフレーム内符号化で圧縮を行う周期の２倍程度とすることが適当である。
もちろん、上記所定数は一例であり、これに限定されることはなく様々な条件に合わせて変更することは可能である。
【００５８】
上記フレームメモリ４０に蓄積された画像データは、適宜、画像情報評価回路５０に送られる。
ここで、当該画像情報評価回路５０は、大別して２通りのパラメータを算出するものである。
第１のパラメータは、フレーム内符号化で圧縮を行った場合の圧縮後のデータ量を予測することが可能なように、その画像自身の情報量を示すものである。この第１のパラメータとしては、例えば、フレームメモリ４０から供給された画像データに対して、ＤＣＴ処理をブロック毎に行い、そのＤＣＴ係数の和や統計をとったものとしたり、また、それでは規模が大きくなる場合には、平均自乗誤差のブロック毎の和を求めたものとする。いずれにしても、当該画像情報評価回路５０では、画像の情報量を表し、圧縮後のデーター量を類推するに足るパラメータを算出する。
【００５９】
第２のパラメータは、フレーム間予測符号化で圧縮を行った場合の圧縮後のデータ量を予測することが可能な、画像の差分情報量を示すものである。この場合のパラメータとしては、例えば、フレームメモリ４０に格納された画像と動き補償後の画像との差分値のブロック内の和を用いる。このパラメータ算出の際には、一般的な動きベクトル検出回路（動き検出器３８及び動きベクトル発生回路３３）で得られる動きベクトルが検出された最小誤差を利用することができる。
【００６０】
このとき、フレーム間予測符号化による圧縮後のデータ量の類推（予測）のためのパラメータとしては、一般的な輝度情報だけの動きベクトル検出回路（動き検出器３８及び動きベクトル発生回路３３）で得られる動きベクトル及びその動きベクトルが検出された輝度情報だけで求めた最小誤差に加えて、本実施例ではその動きベクトルが検出された色差情報だけで求めた最小誤差を新たに用いるようにする。
【００６１】
本実施例装置では、このようにして求めた輝度情報からの最小誤差と色差情報からの最小誤差を用いて、そのマクロブロックの誤差とし、当該マクロブロックの誤差を用いて後述する圧縮方法選択回路３２で圧縮方法の判定を行なう。
上記画像情報評価回路５０によって、上述したようにして算出された画像情報の評価値（パラメータ）は、次に説明するシーンチェンジ検出回路３１と、圧縮方法選択回路３２と、量子化ステップ制御器３９とに送られる。
【００６２】
また、画像情報評価回路５０からは、後述する圧縮方法選択回路３２においてＧＯＰの長さを決定する際に画像のカウントを行うため、その圧縮方法選択回路３２に対して画像情報も送られる。
次に、シーンチェンジ検出回路３１は、上記画像情報評価回路５０の出力（例えば第２のパラメータ）を用いてシーンチェンジを検出するものである。
【００６３】
ここで、当該シーンチェンジ検出回路３１においてシーンチェンジを検出する目的は、フレーム間予測符号化かフレーム内符号化のいずれかの圧縮方式を決定するための判断材料にすることが主である。それは、シーンチェンジ部分のように前後で相関の極めて低い画像では、フレーム間予測符号化で圧縮するよりもフレーム内符号化で圧縮する方が効率良く圧縮できるからである。また、シーンチェンジ部分では、圧縮後のデータも大きなものとなるため、データ量配分や出力バッファマネジメントの観点からも当該シーンチェンジを把握することは重要である。
【００６４】
上述のようなシーンチェンジは前後の画像で相関が著しく損なわれる所に存在するものであるため、当該シーンチェンジ部分は、例えば、前後の画像についてそれぞれ例えば動きベクトル補償後の画像との差分値を求め、それぞれこの差分値の画像全体での総和を求めて、さらに当該前後の画像での上記総和の比を求めるなどして検出できる。
【００６５】
このようなことから、本実施例のシーンチェンジ検出回路３１では、上記画像情報評価回路５０の出力を用いてシーンチェンジを検出するようにしている。すなわち、上記画像情報評価回路５０は、前述のように動き補償後の画像の差分値のブロック内の和を第２のパラメータとして出力するため、当該シーンチェンジ検出回路３１では、当該差分値のブロック内の和を用いて、上述のシーンチェンジ検出のための演算を行うことができる。
【００６６】
次に、圧縮方法選択回路３２について説明する。
当該圧縮方法選択回路３２は、上記シーンチェンジ検出回路３１からのシーンチェンジ検出出力と、画像情報評価回路５０からの画像情報をカウントしたカウント値と、前記輝度情報と色差情報からそれぞれ求めた第２のパラメータ（最小誤差）とに基づいて、フレーム内符号化／フレーム間予測符号化（Ｐ，Ｂピクチャ）のいずれの圧縮方式で圧縮を行うのかを選択する回路である。
【００６７】
すなわち当該圧縮方法選択回路３２では、上記画像情報評価回路５０によって得られるマクロブロック毎の輝度情報及び色差情報から求めたパラメータに基づいて、マクロブロック毎のフレーム内符号化／フレーム間予測符号化の各圧縮方法によって発生するデータの予想量（発生予想量）を比較し、より発生予想量の少なくなる圧縮方法を選択するようにしている。
【００６８】
また、フレーム内符号化方式による圧縮画像は少なくともＧＯＰの最初になければならない。さらに、ＧＯＰはランダムアクセスを考慮してある程度の間隔となされているので、必然的にＩピクチャは当該間隔で定期的に発生するものであり、また、本実施例ではシーンチェンジ等によっても発生するものである。
このようなことから、当該圧縮方法選択回路３２では、上記画像情報評価回路５０からの画像情報のカウントを行うと共に、上記シーンチェンジ検出回路３１からのシーンチェンジ検出出力が当該圧縮方法選択回路３２に加えられる。これにより当該圧縮方法選択回路３２では、上記画像のカウント値から定期的なフレーム内符号化を選択すると共にシーンチェンジ検出時にもフレーム内符号化を選択（すなわちＧＯＰの間隔を決定する）し、それら以外ではフレーム間予測符号化を選択するようにしている。
【００６９】
この圧縮方法選択回路３２は、上記圧縮方法の選択に応じて前記切換スイッチ１３と２４の切換制御を行うと共に、その選択結果を示す情報を量子化ステップ制御器３９に送る。
量子化ステップ制御器３９は、可変長符号化回路１７からの符号量を示す情報に基づいて量子化器１５の量子化ステップ幅を制御する。また、上記出力バッファ１８から出力されたデータは圧縮符号化がなされた符号化出力として出力端子２から出力される。
【００７０】
また、上記量子化器１５からの出力は、逆量子化器２７によって逆量子化され、さらに逆ＤＣＴ回路２６によって逆ＤＣＴ処理される。当該逆ＤＣＴ回路２６の出力は、加算器２５に送られる。
この加算器２５には、フレーム間予測符号化のフレームのときにオンとなる切換スイッチ２４を介した動き補償器２１からのフレーム間予測画像データも供給され、当該データと上記逆ＤＣＴ回路２６の出力データとの加算が行われる。この加算器２５の出力データは、フレームメモリ２２に一時的に蓄えられた後、動き補償器２１に送られる。
【００７１】
当該動き補償器２１は、上記動き検出器３８によって検出され動きベクトル発生回路３３によって発生された動きベクトルに基づいて動き補償を行い、これによって得たフレーム間予測画像データを出力する。
また、上記量子化ステップ制御器３９は、前記画像情報評価回路５０からの評価値（パラメータ）から画像の情報量、さらにはシーンチェンジのように前後の画像の相関が極めて低くなる所を知ると共に、圧縮方法選択回路３２からの選択結果を示す情報からフレーム内符号化かフレーム間予測符号化のいずれが選択された画像であるかも知ることができる。
【００７２】
したがって、当該量子化ステップ制御器３９においては、出力バッファ１８の残量のみをフィードバックする従来の量子化ステップ制御に比べて、入力画像の急激な情報量変化に追随できることになり、また、画像の情報量の変化に応じて適切な量子化ステップ制御が可能で、さらに、フレーム内符号化／フレーム間予測符号化の圧縮方法に応じて適切な量子化ステップ制御も可能となる。
【００７３】
次に本実施例の構成における処理の流れを、図２のフローチャートに沿って説明する。
先ず、ステップＳ８１では、入力端子１に入力された画像データが順次フレームメモリ４０へ格納される。
ここで、先に述べたようにＩピクチャの頻度や間隔の決定が画質に影響を及ぼすので、これに関係して符号化に先だってＧＯＰを決めておく必要があり、また、レートコントロール（量子化ステップ制御によるビットレートのコントロール）をするために符号化に先だって１ＧＯＰ分の画像についての情報を収集しなければならない。このように、次々と入力されてくる画像データに対してその間に分析を行い、符号化するまでの十分な遅延時間を稼ぐため、大量のフレームメモリ４０を用いる。
【００７４】
次に、ステップＳ８２では、動き検出器３８及び動きベクトル発生回路３３によって、フレーム間予測符号化で圧縮するために必要な動きベクトルを検出及び発生させる。すなわち、このステップＳ８２では、予め定められたスケジュールでフレームメモリ４０中の各画像データをＰピクチャ或いはＢピクチャとして圧縮符号化できるように、動き検出（モーションエスティメーション）を行う。
【００７５】
ここで、動き検出を行う画像については、Ｉピクチャを規定しない。それはどの画像データがＩピクチャになるのかこの時点では確定していないからであり、またＩピクチャは動き補償を必要としないため、後にどの画像データでもＩピクチャにすることが可能だからである。
上記画像情報評価回路５０は、上記動き検出をする際に用いられる最小歪み（Minimum Distortion）或いは誤差の絶対値和（ＡＤ：Absolute Difference ）と呼ばれるものを符号化に用いるパラメータの一つ（第２のパラメータ）として読み出し格納する。
【００７６】
なお、上記誤差の絶対値和（ＡＤ）は、リファレンス側の画像を８×８ピクセルのブロックに分割し、輝度データ８×８×４ピクセルと色差データ８×８×２ピクセルのマクロブロック（ＭＢ）に対し、動き検出を行なった際に求めた動きベクトルで切りだされるサーチ側のマクロブロックとの各画素同士の差の絶対値和で、以下の式(1) で求めることができる。
【００７７】
【数１】
これをさらにマクロブロック内のブロックについて集計したものを用いてマクロブロックの誤差の絶対値和（ＡＤ）とする。
このパラメータはシーンチェンジの判定やフレーム間予測符号化で圧縮する場合の画像の相関も考慮した情報量の推定に用いるものである。
このパラメータはまた、後述するようにマクロブロックタイプを決定するために使われる。
【００７９】
画像の情報量を推定するパラメータＳＡＤは、式(2) のように、一つの画像内の上記誤差の絶対値和（ＡＤ）を合計したものである。
ＳＡＤ＝ΣＡＤ (2)
もちろん、上記誤差の絶対値和（ＡＤ）以外に最小歪み（Minimum Distortion）を用いてもよい。
【００８０】
次に、ステップＳ８３では、画像情報評価回路５０において、上記動き検出で得られたパラメータ以外に誤差の平均絶対値和（ＭＡＤ：Mean Absolute Difference）、アクティビティ（Activity）を各画像毎に評価する。
上記誤差の平均絶対値和（ＭＡＤ）はＩピクチャの情報量を推定するためのパラメータで、下記の式(3) によって８×８画素のブロック毎に求め、必要に応じてマクロブロック或いは画面で集計を行う。このパラメータはまた、マクロブロックタイプを決定するために使われる。
【００８１】
【数２】
これをさらに、式(4) のように、マクロブロック内のブロックについて合計したものを用いてマクロブロックの判定に用いる。
ＭＡＤ＝Σ blockＭＡＤ (4)
またさらに、式(5) のように、マクロブロックの値を一つの画像内で合計してその値を、その画像の（Ｉピクチャとしての）情報量を表すパラメータＳＭＡＤとする。
【００８３】
ＳＭＡＤ＝ΣＭＡＤ (5)
また、上記アクティビティは、一つの画面の中でそのマクロブロックの画像の状態に応じてよりきめ細かに量子化ステップを制御することによって画質を維持しながら、より圧縮効率を高めるために、その画像の状態を定量化するためのパラメータである。
【００８４】
例えば一つのブロック内で画像が画素のレベル変化の少ない平坦な部分（フラットな部分）では量子化による歪みが目立ち易く、量子化ステップを小さくしてやるべきで、逆にレベル変化が多い複雑なパターンのブロックでは量子化歪みは目立ち難く、情報量も多いので量子化ステップを大きくするべきである。
そこで、例えばブロックの平坦度（フラットネス）を表すパラメータをこのアクティビティとして用いる。
【００８５】
次に、ステップＳ８４では、上記シーンチェンジ検出回路３１でシーンチェンジの検出を行う。このシーンチェンジ検出回路３１でのシーンチェンジ検出は、上記画像情報評価回路５０で得られたパラメータＡＤを使ってなされる。具体的には、上記パラメータＡＤを１画面分合計した上記パラメータＳＡＤを使い、その変化の割合で上記シーンチェンジを検出する。
【００８６】
次に、圧縮方法選択回路３２においては、ステップＳ８５でＧＯＰ長の決定を行い、ステップＳ８６で圧縮方法の選択（ピクチャタイプの決定）を行う。
ここでは、すでに述べたように、符号化に際してランダムアクセス性を考慮して適当なフレーム数毎にＧＯＰを区切る。このとき少なくともＧＯＰの符号順で最初のピクチャはＩピクチャでなければならないから、ピクチャの数をカウントし定期的にピクチャタイプをＩピクチャにする。
【００８７】
一方、上記シーンチェンジによって前後のピクチャで相関が低くなった場合、これも先に述べたようにＩピクチャで圧縮符号化すると効率が良い。しかしながら、Ｉピクチャは圧縮率が低いため、低ビットレートにおいては頻繁に現れると画質の低下を招く。したがって、シーンチェンジ検出回路３１によってシーンチェンジが検出された場合、圧縮方法選択回路３２は、Ｉピクチャ同士の間隔を適度に保つよう適応的にＧＯＰの長さを決める。
【００８８】
次のステップＳ８７では、圧縮方法選択回路３２において、後述する図３のフローチャートに示すような合計評価値（難易度：difficulty) の集計を行い、これに基づいてマクロブロックタイプの判定を行う。すなわち、圧縮方法選択回路３２では、ステップＳ８７においてマクロブロック毎の圧縮方法とマクロブロックタイプとを決める。
【００８９】
前述のように既に求めた上記誤差の平均絶対値和（ＭＡＤ）と誤差の絶対値和（ＡＤ）は、それぞれフレーム内符号化／フレーム間予測符号化で圧縮したときの圧縮後のデータ量に関係するので、この２つのパラメータを比較すればフレーム内符号化／フレーム間予測符号化のどちらのマクロブロックタイプがより少ないデータ量になるか判定できる。
【００９０】
次のステップＳ８８では、量子化ステップ制御器３９において、レートコントロールのためのビット配分を行う。すなわちこのステップＳ８８では、上記ステップＳ８７で求めた難易度（difficulty) に応じて１画面毎の割り当て量をビット配分する。
各ピクチャ毎の圧縮符号化された後のデータサイズは、その符号化方式や元々の画像データが持つ情報量、前後の相関などによって大きく変動する。平均的な画質を保つようにするならばことさらである。
【００９１】
各ピクチャ毎の圧縮符号化された後のデータサイズのむらは出力バッファ１８によってある程度吸収されるが、平均的には一定のビットレートにしなければならない。したがって、ある区間を定めればその間のピクチャのトータルの圧縮後のデータ量が決まる。そこで、既に決定しているピクチャタイプと、予め調べておいた画像の情報量パラメータとを用いて各ピクチャ毎に圧縮後のデータ量、すなわち各ピクチャが使って良いビットの量を決める。
【００９２】
このとき、例えば情報量の少ない画像やＢピクチャには少なく、情報量の多い画像やＩピクチャには多くする。これをビット配分と呼ぶ。これによって画質のばらつきを抑え、なおかつ一定レートに保つことが容易になる。
例えば本実施例ではＧＯＰをその区間として、次の式(6) ，式(7) のようにビット配分を行う。
Total Bit Count ＝（Bit Rate [bit/s]× Number Of Picture In GOP [picture])／（Picture Rate [picture/s]） [bit] (6)
Available Bits＝（Total Bit Count ×ターゲットの画像情報量パラメータ）／画像情報量パラメータのＧＯＰ合計値） [bit] (7)
なお、この式(7) で使用している情報量パラメータは、先に述べたパラメータＳＭＡＤ，ＳＡＤを用い、これに圧縮するピクチャタイプ別の乗数をかけたものである。また、上記乗数は各ピクチャタイプ間のパラメータと画質との関係を調整するものである。
【００９３】
なお、上記式(7) の上記画像情報量パラメータのＧＯＰ合計値は、式(8) に示すようにして求める。
画像情報量パラメータのＧＯＰ合計値＝Ki×ΣDifi＋Kp×ΣDifp＋Kb×ΣDifb
Difi: Ｐピクチャの難易度
Difb: Ｂピクチャの難易度 (8)
上記量子化ステップ制御器３９においては、次のステップＳ８９において、後述する図４のフローチャートのような学習パラメータＡ，Ｂによる回帰予測の処理に基づいて基本量子化ステップの決定を行う。すなわち、このステップＳ８９では、上述した１画面のビット割当量と難易度から回帰予測による基本量子化ステップの決定（予測）を行う。
【００９４】
上述のようにしてピクチャタイプが決まり、マクロブロックタイプが決まれば、マクロブロックタイプに応じて１画面分の上記誤差の平均絶対値和（ＭＡＤ）、誤差の絶対値和（ＡＤ）を集計することで、１画面の情報量パラメータ（すなわち難易度）が測定できる。したがって、過去の実績から、情報量パラメータと量子化後のデータ量が決まれば量子化ステップを推定することができる。
【００９５】
本発明は、この基本量子化ステップ決定機構に関してのものであり、本実施例の量子化ステップ制御器３９は、１画面毎の割当ビット量(allocated＿bit)と上記難易度(difficulty)とから、以下の方法により一画面の基本の量子化ステップ（量子化スケール：Q ＿scale)を決めるようにしている。
先ず、式(10)に示すように、
log(allocated＿bit/difficulty) ＝A*log(Q ＿scale)+B (10)
という関係があると仮定し、上記式(10)中のＡ，Ｂを予め学習（実験）により求めておく。さらに、上記式(10)を変形した式(11)から、上記量子化スケール(Q＿scale)を求める。
【００９６】
Q＿scale ＝exp((log(allocated＿bit/difficulty)-B)/A) (11)
このようにして求めた量子化ステップをそのピクチャの基本量子化ステップとする。
次に、量子化ステップ制御器３９は、ステップＳ９０のように、画面内の量子化ステップの制御を行う。
【００９７】
すなわち、当該量子化ステップ制御器３９は、先に述べたように画面内の量子化ステップを各ブロック毎に、なるべく画質を高く、しかも圧縮効率を高くするように制御する。具体的には、上記アクティビティやマクロブロックタイプなどの情報をもとに、基本量子化ステップからマクロブロック毎の量子化ステップを加減することで、量子化器１５に対する量子化ステップの制御を行う。
【００９８】
次のステップＳ９１では前記可変長符号化回路１７において符号化を行う。上述のようにして圧縮符号化の全てのパラメータが決まっているのでその後は、ＭＰＥＧの規則にしたがって圧縮符号化する。
次のステップＳ９２ではマクロブロック毎のビット発生量と、量子化スケール(Q＿scale)の集計を行う。
【００９９】
最後に、ステップＳ９３では、前述した各パラメータの更新を行う。すなわち、後述する図５のフローチャートに示すように、マクロブロック毎の量子化ステップの平均と、マクロブロック毎の発生量の合計値と、難易度（difficulty) とによる予測標本の更新を行う。
ここで、画像情報量と基本量子化ステップ、圧縮後のデータ量の関係は、圧縮する画像に依存する。したがって、ここでは、その関係を表す式に用いるパラメータ、予測パラメータを、圧縮後の実際のデータ量をフィードバックすることにより学習させ、予測の精度を向上させている。
【０１００】
この場合、先ず、ピクチャタイプ毎に学習パラメータＡ，Ｂを以下の方法により、学習し、修正する。
例えば、マクロブロック毎の量子化スケール(Q-scale) の平均値を(average＿Q)とし、１画面圧縮した後の発生量を(generated bit) とすると、式(12)に示すように、
x = log(average＿Q), y = log(generated bit/ difficulty) (12)
となり、ＡとＢのパラメータを最小２乗誤差法で以下の式(13)、式(14)のようにして求める事ができる。なお、式中ｎは標本数である。
【０１０１】
図２のステップＳ８７で難易度（difficulty) の集計の処理に進むと、図３のステップＳ１００以降の処理に移る。
この図３において、ステップＳ１０１では、先ず、初期化としてdifficulty＝０とし、次のステップＳ１０２では、マクロブロックタイプがフレーム内符号化マクロブロック（イントラマクロブロック:intra MB)か否かの判定を行う。ここで、イントラマクロブロックであると判断した場合にはステップＳ１０６で難易度（difficulty）を前記１画面分の誤差の平均絶対値和（MAD)とした後、ステップＳ１１０に進む。また、ステップＳ１０２でマクロブロックタイプがイントラマクロブロックでないと判定した場合には、ステップＳ１０３に進む。
【０１０２】
このステップＳ１０３では、マクロブロックタイプがフレーム間予測符号化マクロブロック（インターマクロブロック:inter MB)のうちの前方予測マクロブロック(forward MB)か否かの判定を行う。当該ステップＳ１０３で前方予測マクロブロックであると判断した場合にはステップＳ１０７で難易度（difficulty）を前方予測マクロブロックの誤差の絶対値和（AD＿for)とした後、ステップＳ１１０に進む。また、ステップＳ１０３でマクロブロックタイプが前方予測マクロブロックでないと判定した場合には、ステップＳ１０４に進む。
【０１０３】
このステップＳ１０４では、マクロブロックタイプがインターマクロブロックのうちの後方予測マクロブロック(backward MB) か否かの判定を行う。当該ステップＳ１０４で後方予測マクロブロックであると判断した場合にはステップＳ１０８で難易度（difficulty）を後方予測マクロブロックの誤差の絶対値和（AD＿bac)とした後、ステップＳ１１０に進む。また、ステップＳ１０４でマクロブロックタイプが後方予測マクロブロックでないと判定した場合には、ステップＳ１０５に進む。
【０１０４】
このステップＳ１０５では、マクロブロックタイプがインターマクロブロックのうちの両方向予測マクロブロック(bidirectional MB)か否かの判定を行う。当該ステップＳ１０５で両方向予測マクロブロックであると判断した場合にはステップＳ１０９で難易度（difficulty）を両方向予測マクロブロックの誤差の絶対値和（AD＿bid)とした後、ステップＳ１１０に進む。また、ステップＳ１０５でマクロブロックタイプが両方向予測マクロブロックでないと判定した場合には、ステップＳ１１０に進む。
【０１０５】
上記ステップＳ１１０では、全マクロブロック分の難易度の集計が終了したか否かの判定を行い、終了していないと判定した場合にはステップＳ１０２に戻り、終了したと判定した場合にはステップＳ１１１で難易度の集計を終了し、ステップＳ８７に戻る。
次に図２のステップＳ８９における学習パラメータＡ，Ｂに因る回帰予測のフローチャートについて図４を用いて説明する。
【０１０６】
図２のステップＳ８９で学習パラメータＡ，Ｂに因る回帰予測の処理に進むと、図４のステップＳ１２０以降の処理に移る。
この図４において、ステップＳ１２１では、前記式(11)の演算を行い、次のステップＳ１２２では、この式(11)の演算により得られた学習パラメータＡ，Ｂによる回帰予測処理を終了し、図２のステップＳ８９に戻る。
【０１０７】
次に図２のステップＳ９３における学習パラメータＡ，Ｂの修正更新のフローチャートについて図５を用いて説明する。すなわちこの図５のフローチャートでは、新たな標本を標本集合に加え、最小２乗誤差法によりパラメータＡ，Ｂを求め、古い標本を標本集合から除くことで、回帰予測のための学習パラメータＡ，Ｂを更新修正する。
【０１０８】
図２のステップＳ９３で学習パラメータＡ，Ｂの修正構成の処理に進むと、図５のステップＳ１３０以降の処理に移る。
この図５において、ステップＳ１３１では、最小２乗誤差法で、学習パラメータＡ，Ｂの修正と更新を行う。ここでは、１画面のデータを集計し、以下の式(15),(16) に示すように、
ｘ＝log(average ＿Q) (14)
ｙ＝log(generated ＿bit/difficulty) (15)
とする。
【０１０９】
次のステップＳ１３２では、新しいｘ，ｙデータを回帰分析標本集合に加え、ステップＳ１３３では学習パラメータＡ，Ｂを最小２乗誤差法により計算する。さらに次のステップＳ１３４では学習パラメータＡ，Ｂを最大値，最小値でクリップし、ステップＳ１３５では古いｘ，ｙデータを回帰分析の標本集合から除く。その後、ステップＳ１３６では学習パラメータＡ，Ｂの修正更新を終了して、図２のステップＳ９３に戻る。
【０１１０】
上述のようにして求めた発生ビット量と量子化スケール（Q ＿scale)の関係は、図６に示すようになる。
上述した本発明実施例の画像符号化装置についてまとめると、本実施例の画像符号化装置においては、基本量子化ステップの制御の際に、入力画像データの情報量を見積るパラメータ（評価値）と量子化後の予定圧縮データ量とから、基本量子化ステップを精度良く予測するようにしている。
【０１１１】
ここで、当該基本量子化ステップを精度良く予測するために、入力画像データの情報量を見積るパラメータと実際に圧縮に使用した量子化ステップと圧縮後のデータ量の関係を学習するようにしている。また、基本量子化ステップを予測する際には、入力画像データの情報量を見積る方法として、１画面毎に難しさ（難易度）を、マクロブロックタイプ決定後のマクロブロックタイプに応じて誤差の絶対値和（ＡＤ），誤差の平均絶対値和（ＭＡＤ）のどちらかを加算し、１画面分合計し、これをその画面の難易度(difficulty)としている。さらに、本実施例では、１画面毎の割当ビット量(allocated＿bit)を、難易度(difficulty)を１ＧＯＰ分集計し、この１ＧＯＰ分の難易度に応じてビット配分を行うようにしている。
【０１１２】
また、本実施例装置では、１画面毎の割当ビット量(allocated＿bit)と難易度(difficulty)から、ピクチャタイプ毎に前記式(10)の関係があると仮定し、予め式中のＡ，Ｂを学習により求めておき、さらに式(10)を変形した式(11)から基本量子化スケール(Q＿scale)を求めるようにしている。このとき、マクロブロック毎の学習パラメータＡ，Ｂは、前記式(12), 式(13), 式(14)のように、マクロブロック毎の量子化ステップの平均値と１画面圧縮した後の発生量とを用い、最小２乗誤差法で求めることができる。
【０１１３】
またさらに、学習パラメータＡ，Ｂを学習し、修正する際には、ピクチャータイプ毎に各々最近のｎ秒間のデータから求める（すなわち、最近の過去ｎ秒間以上過去のデータは使わない）ようにしている。このとき、過去のデータを図６のようにグラフにプロットし、直線近似ができそうな部分の基本量子化スケール(Q＿scale)の最大値、最小値の平均データを標本集合中に入れておき、予測直線を安定させるようにし、さらには学習パラメータＡ，Ｂには上限下限を設定し、特異なデータが多く入力されても安定した基本量子化ステップ予測を行えるようにしている。
【０１１４】
上述したようなことから、本実施例の画像符号化装置によれば、基本量子化ステップを精度良く予測できるため、画面内で量子化ステップの制御を特に行わなくても一画面に割り当てた圧縮後の予想ビット量に近くなり、したがって、画面毎にビットの使い込みや余りが起きなくなるので、平均した画質を維持できるようになる。例えば、画面内で量子化ステップの制御を上手に行ったとしても、基本量子化ステップが大きく外れていたならば、画面内で量子化ステップの変動がおき、画質の不均質を検出できる圧縮画ができてしまうが、本実施例では、圧縮に際しての難易度に応じてビット配分を行うため、基本量子化ステップを精度良く予測でき、したがって、無駄なくビットが使われ、画面内や画面毎の不均質が検出し難い圧縮画ができる。
【０１１５】
また、本実施例では、基本量子化ステップを精度良く予測する機構が、変動する入力画によって修正、学習を行い、入力画に追随するため、基本量子化ステップを精度良く予測する機構が維持できる。
さらに、本実施例装置では、基本量子化ステップを精度良く予測する機構が、過去の学習結果に引きずられることなく、最近のある期間の入力画の影響を学習に使用するようにしているため、入力画に素早く追随した基本量子化ステップの予測が行なえる。
【０１１６】
また、本実施例装置では、基本量子化ステップを精度良く予測する機構が、実験で求めた多くの学習データからの予測直線を最近の入力画の学習データで更新し、なおかつ実験で求めた予測直線データは、ｘ，ｙ共に最大値、最小値に近いデータが入力されている。したがって、最小二乗誤差法では、実験の影響が大きくなるため、もし特異な入力画の学習データが入ったとしても、それに引きずられずに基本量子化ステップの予測が行なえる。
【０１１７】
またさらに、本実施例の画像符号化装置によれば、上記の実験で求めた最大値，最小値の付近のｘ，ｙから求められる学習パラメータＡ，Ｂでの変動抑制でも防げないような予測直線となった場合でも、最終的にパラメータＡ，Ｂをクリップすることにより、異常な学習結果を保存しないので、基本量子化ステップを精度良く予測する機構を維持できる。
【０１１８】
【発明の効果】
本発明の画像符号化装置においては、蓄積した複数枚の画像データから情報量を評価し、さらに画像間の相関を検出し、情報量の評価値と画像間の相関情報とに基づいて適応的に画像データの圧縮方法を選択し、選択した圧縮方法で１画面分の画像データを圧縮することにより得られる予定圧縮データ量と評価値とから基本量子化ステップを予測することにより、基本量子化ステップが精度良く予測でき、画面内で量子化ステップの制御を特に行わなくても一画面に割り当てた圧縮後の予想ビット量に近くなり、したがって、画面毎にビットの使い込みや余りが起きなくなるので、平均した画質を維持できるようになる。このため、効率の良い画像圧縮が可能で、全体的に画質を向上させることが可能となる。
【０１１９】
また、本発明の画像符号化装置においては、実際に圧縮に使用した量子化ステップと圧縮後のデータ量と評価値の関係を学習し、当該学習結果に応じて基本量子化ステップの予測を行うようにしているため、変動する入力画像でもその入力画像に追従でき、基本量子化ステップを精度良く予測することが可能となっている。
【図面の簡単な説明】
【図１】本発明実施例の画像符号化装置の概略構成を示すブロック回路図である。
【図２】本実施例装置の動作を説明するためのフローチャートである。
【図３】難易度の集計のフローチャートである。
【図４】学習パラメータＡ，Ｂに因る回帰予測のフローチャートである。
【図５】学習パラメータＡ，Ｂの修正，更新のフローチャートである。
【図６】発生ビット量と基本量子化スケールとの関係を示す図である。
【図７】従来の画像符号化装置の概略構成を示すブロック回路図である。
【図８】画像の解像度と構成について説明するための図である。
【図９】マクロブロックとブロックについて説明するための図である。
【図１０】ジグザグスキャンについて説明するための図である。
【図１１】ＧＯＰの一例について説明するための図である。
【符号の説明】
２２，４０ フレームメモリ
１１ ブロック分割器
１２ 差分器
１３，２４ スイッチ
１４ ＤＣＴ回路
１５ 量子化器
１６ ジグザグスキャン回路
１７ 可変長符号化回路
１８ 出力バッファ
１９，３９ 量子化ステップ制御器
２０ 動き検出器
２１ 動き補償器
２５ 加算器
２６ 逆ＤＣＴ回路
２７ 逆量子化器
３１ シーンチェンジ検出回路
３２ 圧縮方法選択回路
３３ 動きベクトル発生回路
５０ 画像情報評価回路
Claims (3)
- 入力画像データを複数枚蓄える画像データ蓄積手段と、
上記画像データ蓄積手段に蓄積された複数枚の画像データから、当該入力画像データの情報量を評価するための画像自身の情報量を示す第１のパラメータ、画像の差分情報量を示す第２のパラメータ及び画像カウントのための画像情報を出力する画像情報評価手段と、
上記画像データ蓄積手段に蓄積された複数枚の画像データの画像間の相関情報として、上記画像情報評価手段からの上記第２のパラメータを用いてシーンチェンジを検出する画像間相関検出手段と、
画像データに直交変換処理を施し、直交変換係数を生成する直交変換手段と、
上記直交変換手段により生成された直交変換係数を、所定の量子化ステップで量子化する量子化手段と、
上記画像情報評価手段によって得られた上記画像情報と上記画像間相関検出手段からの画像間の相関情報であるシーンチェンジの検出出力とに基づいて、上記画像情報のカウント値によりフレーム内符号化を定期的に選択すると共に上記シーンチェンジの検出時にもフレーム内符号化を選択し、それら以外ではフレーム間予測符号化を選択する圧縮方法選択手段と、
上記圧縮方法選択手段が選択した圧縮方法で１画面分の画像データを圧縮することにより得られる予定圧縮データ量とマクロブロックタイプに応じて上記第１、第２のパラメータのどちらかを加算し１画面分合計することにより求められた難易度とから、上記量子化手段における量子化の際の基本量子化ステップを予測する量子化ステップ制御手段とを有し、
上記量子化ステップ制御手段は、上記１画面分の画像データの予定圧縮データ量を allocated_bit とし、上記難易度を difficulty とし、上記基本量子化ステップを Q_scale とするとき、予め定められたパラメータＡ、Ｂを用いて、
Q_scale ＝ exp((log(allocated_bit/difficulty)-B)/A)
の式により基本量子化ステップ Q_scale を求めることを特徴とする画像符号化装置。 - 上記パラメータＡ、Ｂは、実際に圧縮に使用した量子化ステップQ_scale と圧縮後のデータ量allocated_bit と上記難易度をdifficultyとの関係に基づいて、最小２乗誤差法によりパラメータＡ、Ｂの修正と更新を行うことにより求められたものであることを特徴とする請求項１記載の画像符号化装置。
- 入力画像データを複数枚蓄える画像データ蓄積手段に蓄積された複数枚の画像データから、当該入力画像データの情報量を評価するための画像自身の情報量を示す第１のパラメータ、画像の差分情報量を示す第２のパラメータ及び画像カウントのための画像情報を出力する画像情報評価工程と、
上記画像データ蓄積手段に蓄積された複数枚の画像データの画像間の相関情報として、上記画像情報評価手段からの上記第２のパラメータを用いてシーンチェンジを検出する画像間相関検出工程と、
上記画像情報評価工程にて得られた画像情報と上記画像間相関検出工程にて得られた画像間の相関情報であるシーンチェンジの検出出力とに基づいて、上記画像情報のカウント値によりフレーム内符号化を定期的に選択すると共に上記シーンチェンジの検出時にもフレーム内符号化を選択し、それら以外ではフレーム間予測符号化を選択する圧縮方法選択工程と、
画像データに直交変換処理を施し、直交変換係数を生成する直交変換工程と、
上記圧縮方法選択工程にて選択された圧縮方法で１画面分の画像データを圧縮することにより得られる予定圧縮データ量とマクロブロックタイプに応じて上記第１、第２のパラメータのどちらかを加算し１画面分合計することにより求められた難易度とから、量子化の際の基本量子化ステップを予測する量子化ステップ制御工程と、
上記直交変換工程にて生成された直交変換係数を、上記所定の量子化ステップで量子化する量子化工程とを有し、
上記量子化ステップ制御工程では、上記１画面分の画像データの予定圧縮データ量をallocated_bit とし、上記難易度をdifficultyとし、上記基本量子化ステップをQ_scale とするとき、予め定められたパラメータＡ、Ｂを用いて、
Q_scale ＝ exp((log(allocated_bit/difficulty)-B)/A)
の式により基本量子化ステップQ_scale を求めることを特徴とする画像符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23811194A JP3711572B2 (ja) | 1994-09-30 | 1994-09-30 | 画像符号化装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23811194A JP3711572B2 (ja) | 1994-09-30 | 1994-09-30 | 画像符号化装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08102951A JPH08102951A (ja) | 1996-04-16 |
| JP3711572B2 true JP3711572B2 (ja) | 2005-11-02 |
Family
ID=17025346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23811194A Expired - Fee Related JP3711572B2 (ja) | 1994-09-30 | 1994-09-30 | 画像符号化装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3711572B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3473528B2 (ja) | 1999-12-10 | 2003-12-08 | 日本電気株式会社 | 動き検出装置及び動き検出方法 |
| JP4608136B2 (ja) * | 2001-06-22 | 2011-01-05 | オリンパス株式会社 | 動きベクトル及び視差ベクトル検出装置 |
| JP5128389B2 (ja) * | 2008-07-01 | 2013-01-23 | 株式会社日立国際電気 | 動画像符号化装置及び動画像符号化方法 |
| JP6867273B2 (ja) * | 2017-10-31 | 2021-04-28 | 日本電信電話株式会社 | 符号量推定装置及び符号量推定プログラム |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2516082B2 (ja) * | 1990-03-19 | 1996-07-10 | 日本ビクター株式会社 | デ―タ圧縮装置 |
| JPH04175085A (ja) * | 1990-11-08 | 1992-06-23 | Olympus Optical Co Ltd | 動画像符号化方式 |
| JPH04336894A (ja) * | 1991-05-14 | 1992-11-25 | Oki Electric Ind Co Ltd | 動画像符号化装置 |
| JP3047942B2 (ja) * | 1991-05-24 | 2000-06-05 | 三菱電機株式会社 | 符号化制御方法および装置 |
| JPH04354488A (ja) * | 1991-05-31 | 1992-12-08 | Toshiba Corp | 動画像符号化装置 |
| JPH0541860A (ja) * | 1991-08-05 | 1993-02-19 | Oki Electric Ind Co Ltd | 画像圧縮符号化装置 |
| US5231484A (en) * | 1991-11-08 | 1993-07-27 | International Business Machines Corporation | Motion video compression system with adaptive bit allocation and quantization |
| JPH0678287A (ja) * | 1992-03-23 | 1994-03-18 | Canon Inc | 符号化方法及び装置 |
| JPH05344493A (ja) * | 1992-06-10 | 1993-12-24 | Victor Co Of Japan Ltd | 動画像符号化装置 |
| JPH0654315A (ja) * | 1992-07-31 | 1994-02-25 | Canon Inc | 動画像符号化方法及び装置 |
-
1994
- 1994-09-30 JP JP23811194A patent/JP3711572B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08102951A (ja) | 1996-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3954656B2 (ja) | 画像符号化装置及び方法 | |
| JP3755155B2 (ja) | 画像符号化装置 | |
| JP3711571B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| CN100463523C (zh) | 帧层速率控制的视讯编码方法和系统 | |
| US7593462B2 (en) | Moving picture encoding system | |
| KR100366426B1 (ko) | 블록기반비디오코딩시스템에서동적코딩비율제어 | |
| RU2502213C2 (ru) | Устройство обработки изображений и способ обработки изображений | |
| EP1063851B1 (en) | Apparatus and method of encoding moving picture signal | |
| US8451891B2 (en) | Rate control method for video encoder using Kalman filter and FIR filter | |
| JP2007089035A (ja) | 動画像符号化方法、装置及びプログラム | |
| JPH0974565A (ja) | 映像信号符号化システム用コントローラ | |
| JP4221655B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JPH09200761A (ja) | 映像信号符号化システム用コントローラ | |
| JP2006135557A (ja) | 動画像符号化装置 | |
| JP3450384B2 (ja) | 動画像符号化装置 | |
| JP3711572B2 (ja) | 画像符号化装置及び方法 | |
| JP3480067B2 (ja) | 画像符号化装置及び方法 | |
| JPH07264595A (ja) | 画像のソース符号化方法 | |
| JP3812269B2 (ja) | 動画像符号化装置及びその方法 | |
| JP3711573B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP3888533B2 (ja) | 画像特徴に応じた画像符号化装置 | |
| JP2001238215A (ja) | 動画像符号化装置及びその方法 | |
| KR100930485B1 (ko) | 발생 비트량을 이용한 동영상 부호화기의 적응적 비트율제어 기법 | |
| JP2004328799A (ja) | 動画像符号化装置および動画像符号化方法 | |
| JPH0898177A (ja) | 画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040713 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040913 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041026 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041227 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050726 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050808 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080826 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110826 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |