JPH08102951A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】 【構成】 フレームメモリ４０に蓄積した複数枚の画像
データから入力画像データの情報量を評価する画像情報
評価回路５０と、シーンチェンジを検出するシーンチェ
ンジ検出回路３１と、画像データのＤＣＴ処理するＤＣ
Ｔ回路１４と、ＤＣＴ係数を量子化する量子化器１５
と、評価値とシーンチェンジ検出出力とに基づいて適応
的に圧縮方法を選択する圧縮方法選択回路３２と、選択
した圧縮方法で１画面分の画像データを圧縮することに
より得られる予定圧縮データ量と評価値とから、量子化
器１５における量子化の際の基本量子化ステップを予測
する量子化ステップ制御器３９とを有する。 【効果】 効率の良い画像圧縮が可能で、全体的に画質
を向上させることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば画像を圧縮符号
化する場合に用いて好適な画像符号化装置に関する。

【０００２】

【従来の技術】従来の例えば画像を圧縮符号化する場合
に用いて好適な画像符号化装置の構成例を図７に示す。
この図７の画像符号化装置において、入力端子１には、
図８に示すように、 輝度成分(Y) 352(H)×240(V)×30フレーム クロマ成分(Cb) 174(H)×120(V)×30フレーム クロマ成分(Cr) 174(H)×120(V)×30フレーム のピクセル数にディジタル化された画像データが供給さ
れる。

【０００３】上記入力端子１に供給された入力画像デー
タは、当該入力画像データを一時的に蓄えて然るべき順
番に入れ替えるためのフレームメモリ１０を介して、動
き検出器２０とブロック分割器１１に送られる。当該ブ
ロック分割器１１は、フレームメモリ１０から供給され
たそれぞれのフレームを、図９に示すように、輝度成分
(Y) ，クロマ成分(Cr),(Cb) それぞれを８×８ピクセル
のブロックに分割する。なお、輝度成分(Y) の４つのブ
ロック(Y0,Y1,Y2,Y3）と１つのクロマ成分(Cb)のブロッ
クと、１つのクロマ成分(Cr)のブロックからなる合計６
つのブロック(Y0,Y1,Y2,Y3,Cb,Cr) は、マクロブロック
(MB)と呼ばれている。

【０００４】このブロック分割器１１からのマクロブロ
ック単位のデータは差分器１２に送られる。この差分器
１２では、ブロック分割器１１からのデータと後述する
フレーム間予測画像データとの差分をとり、その出力を
後述するフレーム間予測符号化がなされるフレームのデ
ータとして切換スイッチ１３の被切換端子ｂに送る。ま
た、当該切換スイッチ１３の被切換端子ａには、上記ブ
ロック分割器１１からのデータが後述するフレーム内符
号化がなされるフレームのデータとして供給される。

【０００５】上記切換スイッチ１３を介したブロック単
位のデータはＤＣＴ回路１４によって離散コサイン変換
（ＤＣＴ）処理され、そのＤＣＴ係数が量子化器１５に
送られる。当該量子化器１５では、所定の量子化ステッ
プ幅で上記ＤＣＴ出力を量子化し、この量子化した係数
がジグザグスキャン回路１６に送られる。当該ジグザグ
スキャン回路１６では、上記量子化係数を図１０に示す
ようにいわゆるジグザグスキャンによって並べ換え、そ
の出力を可変長符号化回路１７に送る。この可変長符号
化回路１７では、上記ジグザグスキャン回路１６の出力
データを可変長符号化（ＶＬＣ）し、その出力を出力バ
ッファ１８に送ると共に、当該可変長符号化処理により
発生した符号量を示す情報を、量子化ステップ制御器１
９に送る。量子化ステップ制御器１９は、可変長符号化
回路１７からの符号量を示す情報に基づいて量子化器１
５の量子化ステップ幅を制御する。また、上記出力バッ
ファ１８から出力されたデータは圧縮符号化がなされた
符号化出力として出力端子２から出力される。

【０００６】また、上記量子化器１５からの出力は、逆
量子化器２７によって逆量子化され、さらに逆ＤＣＴ回
路２６によって逆ＤＣＴ処理される。当該逆ＤＣＴ回路
２６の出力は、加算器２５に送られる。この加算器２５
には、フレーム間予測符号化のフレームのときにオンと
なる切換スイッチ２４を介した動き補償器２１からのフ
レーム間予測画像データも供給され、当該データと上記
逆ＤＣＴ回路２６の出力データとの加算が行われる。こ
の加算器２５の出力データは、フレームメモリ２２に一
時的に蓄えられた後、動き補償器２１に送られる。

【０００７】当該動き補償器２１は、上記動き検出器２
０によって検出された動きベクトルに基づいて動き補償
を行い、これによって得たフレーム間予測画像データを
出力する。以下、上記図７の従来の画像符号化装置の具
体的な動作について詳細に説明する。ここで、説明のた
めに以下のように各フレームの呼び名を定義する。

【０００８】先ず、表示順にフレームを並べたとき、そ
れぞれをＩ０，Ｂ１，Ｂ２，Ｐ３，Ｂ４，Ｂ５，Ｐ６，
Ｂ７，Ｂ８，Ｉ９，Ｂ１０，Ｂ１１，Ｂ１２，・・・・
・と呼ぶこととする。これらのフレームのうち、Ｉ，
Ｐ，Ｂは、後に説明するが、圧縮方法の種類を示し、こ
れらＩ，Ｐ，Ｂの次の数字は、単純に表示順を示してい
る。

【０００９】カラー動画像符号化方式の国際標準化作業
グループであるいわゆるＭＰＥＧ（Moving Picture Exp
ert Group)のうちＭＰＥＧ１では、この様な画像を圧縮
するために、以下のようにすることが規定されている。
先ず、Ｉ０の画像を圧縮する。次に、Ｐ３の画像を圧縮
するのだが、Ｐ３そのものを圧縮するのではなく、Ｐ３
とＩ０の画像との差分データを圧縮する。

【００１０】その次に、Ｂ１の画像を圧縮するのだが、
Ｂ１そのものを圧縮するのではなく、Ｂ１とＩ０或い
は、Ｂ１とＰ３との差分データ或いはＩ０とＰ３の平均
値との差分（いずれか情報の少ない方）を圧縮する。そ
の次に、Ｂ２の画像を圧縮するのだが、Ｂ２そのものを
圧縮するのではなく、Ｂ２とＩ０或いは、Ｂ２とＰ３と
の差分データ或いはＩ０とＰ３の平均値との差分（どち
らか情報の少ない方を選んで）を圧縮する。

【００１１】次に、Ｐ６の画像を圧縮するのだが、Ｐ６
そのものを圧縮するのではなく、Ｐ６とＰ３の画像との
差分データを圧縮する。上述したような処理を順番に並
べて表すと、 となる。このようにエンコード順は、Ｉ０，Ｐ３，Ｂ
１，Ｂ２，Ｐ６，Ｂ４，Ｂ５，Ｐ９，Ｂ７，Ｂ８，Ｉ
９，Ｐ１２，Ｂ１０，Ｂ１１，・・・・のように、表示
順とは順番が入れ替わる。圧縮後のデータ（符号化デー
タ）はこの順番に並ぶことになる。

【００１２】以下、上述したことを図７の構成の動作と
共にさらに詳しく述べる。１枚目の画像（すなわちＩ
０）のエンコードでは、先ず、上記フレームメモリ１０
から１枚目に圧縮すべき画像のデータが、ブロック分割
器１１によってブロック化される。このブロック分割器
１１からは、前記Ｙ０，Ｙ１，Ｙ２，Ｙ３，Ｃｂ，Ｃｒ
の順にブロック毎のデータが出力され、被切換端子ａ側
に切り換えられた切換スイッチ１３を介してＤＣＴ回路
１４に送られる。このＤＣＴ回路１４では、それぞれの
ブロックについて縦横２次元の離散コサイン変換処理を
行う。これにより、時間軸であったデータが周波数軸に
変換される。

【００１３】このＤＣＴ回路１４からのＤＣＴ係数は、
量子化器１５に送られ、当該量子化器１５で所定の量子
化ステップ幅で量子化される。その後、ジグザグスキャ
ン回路１６によって図１０のようにジグザグ順に並べ変
えられる。このようにジグザグ順に並べると、後ろへ行
くほど、その係数は周波数成分の高い係数となるから、
一般的に係数の値は後ろの方が小さくなる傾向にある。
したがって、ある値Ｓで量子化すると、後ろへ行くほ
ど、その結果は０になる頻度が増し、結果的に高域の成
分が切り落とされることになる。

【００１４】その後、この量子化後の係数は、可変長符
号化（ＶＬＣ）回路１７へ送られ、ここでいわゆるハフ
マンコーディングが施される。この結果得られる圧縮さ
れたビットストリームは、出力バッファ１８に一旦蓄え
られた後、一定のビットレートで送出される。当該出力
バッファ１８は、不規則に発生するビットストリームを
一定のビットレートで送出できるようにするための緩衝
のためのメモリである。

【００１５】以上の様に１枚の画像だけ単独で圧縮する
ことをフレーム内（イントラ：Intra ）符号化と言い、
この画像をＩピクチャと呼ぶ。したがって、デコーダが
上記のＩピクチャのビットストリームを受信した場合
は、以上に述べたことを逆にたどり、１枚目の画像を完
成させる。次に、２枚目の画像（すなわちＰ３）のエン
コードでは、以下のようになされる。

【００１６】すなわち、この２枚目以降もＩピクチャと
して圧縮してビットストリームを作っても良いが圧縮率
を上げるには、連続する画像の内容には相関があること
を利用して、以下の様な方法で圧縮する。先ず、動き検
出器２０では、２枚目の画像を構成するマクロブロック
毎に、１枚目の画像（Ｉ０）の中からそれに良く似たパ
ターンを捜し出し、それを動きベクトルという（ｘ，
ｙ）の相対位置の座標として表現する。

【００１７】また、２枚目の画像ではそれぞれのブロッ
クを、上記Ｉピクチャの場合のようにそのままＤＣＴ回
路１４に送るのではなく、そのブロック毎の動きベクト
ルに従って一枚目の画像から引っ張ってきたブロックと
の差分のデータ（差分器１２による差分データ）を、Ｄ
ＣＴ回路１４へ送るようにする。なお、動きベクトルの
検出方法としては、ＩＳＯ／ＩＥＣ 11172-2 annex D.
6.2 に詳細に述べられているためここでは省略する。

【００１８】ここで、例えば上記動きベクトルによって
示された一枚目の画像のパターンと、これから圧縮しよ
うとするブロックのパターンとの間で、相関が非常に強
くなっていれば、その差分データは非常に小さくなり、
したがって、上記フレーム内（イントラ）符号化で圧縮
するよりも、上記動きベクトルと上記差分データとを符
号化した方が、圧縮後のデータ量は小さくなる。

【００１９】このような圧縮方法を、フレーム間（イン
ター：Inter)予測符号化と呼んでいる。ただし、常に差
分データが少なくなるわけではなく、絵柄（画像内容）
によっては、差分を取るよりも、上記フレーム内符号化
で圧縮した方が、圧縮率が上がる場合がある。このよう
な場合は、上記フレーム内符号化で圧縮する。フレーム
間予測符号化にするか、フレーム内符号化にするかは、
マクロブロック毎に異なる。

【００２０】以上のことを図７の画像符号化装置（エン
コーダ）に即して説明すると、先ず、フレーム間予測符
号化を行うためには、エンコーダ側でたえずデコーダ側
で作られる画像と同じ画像を作って置く必要がある。そ
のためにエンコーダ内には、デコーダと同じ回路が存在
する。その回路をローカルデコーダ（局部復号器）と呼
ぶ。図７の逆量子化器２７と逆ＤＣＴ回路２６と加算器
２５とフレームメモリ２２と動き補償器２１が当該ロー
カルデコーダに対応し、フレームメモリ２２内に記憶さ
れる画像のことをローカルデコーデッドピクチャ（Loca
l decoded picture)又はローカルデコーデッドデータ(L
ocal decoded data)と呼ぶ。これに対して、圧縮前の画
像のデータは、オリジナルピクチャ(Original picture)
又はオリジナルデータ(Original data) と呼ぶ。

【００２１】なお、前述した１枚目のＩピクチャの圧縮
時にも、上記ローカルデコーダを通して復号化された１
枚目の画像が、上記フレームメモリ２２内に格納され
る。ここで、注意すべきことは、このローカルデコーダ
によって得られる画像は、圧縮前の画像ではなく、圧縮
後復元した画像であり、圧縮による画質劣化のある、デ
コーダが復号化する画像とまったく同じ画像であるとい
うことである。

【００２２】このような状態のエンコーダに２枚目の画
像（Ｐ３）のデータ(Original data）が入ってくるわけ
だが（この段階ですでに、動きベクトルは検出済でなけ
ればならない）、データはブロック毎に動きベクトルを
持ち、このベクトルが動き補償器（MC:Motion Compensa
tion）２１に与えられる。当該動き補償回路２１は、そ
の動きベクトルの示すローカルデコーデッドピクチャ上
のデータ（動き補償データ：MC data:１マクロブロッ
ク）を上記フレーム間予測画像データとして出力する。

【００２３】上記２枚目のオリジナルデータとこの動き
補償データ（フレーム間予測画像データ）のピクセル毎
の、差分器１２による差分データが、上記ＤＣＴ回路１
４に入力される。それからの後の圧縮方法は、基本的に
Ｉピクチャと同じである。上述のような圧縮方法によっ
て圧縮する画像をＰピクチャ（Predicted picture)と呼
ぶ。

【００２４】さらに詳しく説明すると、Ｐピクチャにお
いてすべてのマクロブロックがフレーム間予測符号化で
圧縮するとは限らず、フレーム内符号化で圧縮する方が
効率が良いと判断されるときは、そのマクロブロックは
当該フレーム内符号化で符号化を行う。すなわち、Ｐピ
クチャにおいても、マクロブロック毎に、フレーム内符
号化によるか（このマクロブロックをイントラマクロブ
ロックと呼ぶ）、又はフレーム間予測符号化によるか
（このマクロブロックをインターマクロブロックと呼
ぶ）のどちらかを選択して圧縮を行う。

【００２５】上述のように、上記ローカルデコーダで
は、量子化器１５の出力が、逆量子化器２７で逆量子化
され、さらに逆ＤＣＴ回路２６で逆ＤＣＴ処理された
後、エンコード時に動き補償データ（MC data ）と足さ
れ最終的なローカルデコーデッドピクチャとなる。次
に、３枚目の画像（すなわちＢ１）のエンコードでは、
以下のようになされる。

【００２６】上記３枚目の画像（Ｂ１）のエンコードで
は、Ｉ０，Ｐ３の２枚の画像それぞれに対する動きベク
トルを探索する。ここで、Ｉ０に対する動きベクトルを
フォワードベクトル（forward Vector）ＭＶｆ(x,y) と
呼び、Ｐ３に対する動きベクトルをバックワードベクト
ル（Backward Vector)ＭＶｂ(x,y) と呼ぶ。この３枚目
の画像についても差分データを圧縮するわけであるが、
どのデータを圧縮するのかが、問題である。この場合も
一番情報量が少なくなるものとの差分を取れば良い。こ
のときの圧縮方法の選択肢としては、 （１）フォワードベクトルＭＶｆ(x,y) の示すＩ０上の
データとの差分 （２）バックワードベクトルＭＶｂ(x,y) の示すＰ３上
のデータとの差分 （３）フォワードベクトルＭＶｆ(x,y) の示すＩ０上の
データとバックワードベクトルＭＶｂ(x,y) の示すＰ３
上のデータの平均値との差分 （４）差分データは使わない（フレーム内符号化）の４
つである。マクロブロック毎にこの４種類の圧縮方法か
ら一つが選択される。上記圧縮方法の選択肢のうちの
（１），（２），（３）の場合は、それぞれの動きベク
トルも動き補償器２１に送られ、差分器２１ではその動
き補償データとの差分をとり、これがＤＣＴ回路１４に
送られる。上記圧縮方法の選択肢のうちの（４）の場合
は、そのままのデータがＤＣＴ回路１４へ送られる。

【００２７】上述した１枚目、２枚目のエンコードの処
理の結果、ローカルデコーデッドピクチャを格納するフ
レームメモリ２２には、Ｉ０，Ｐ３の２枚のピクチャ
が、復元されているのでこのようなことが可能である。
次に、４枚目の画像（すなわちＢ２）のエンコードで
は、以下のようになされる。

【００２８】上記４枚目の画像（Ｂ２）のエンコードで
は、上述した３枚目（Ｂ１）のエンコード方法のところ
の説明文で、Ｂ１をＢ２に置き換えたこと以外は、上記
３枚目のエンコードと同じ方法で圧縮する。次に、５枚
目の画像（すなわちＰ６）のエンコードでは、以下のよ
うになされる。

【００２９】上記５枚目の画像（Ｐ６）のエンコードで
は、上述した２枚目（Ｐ３）のエンコード方法のところ
の説明文で、Ｐ３をＰ６に、Ｉ０をＰ３に置き換えただ
けで、他は同じ説明となる。６枚目以降は、上述の繰り
返しとなるので説明は省略する。また、ＭＰＥＧにおい
ては、ＧＯＰ（Group Of Picture）と呼ばれるものが規
定されている。

【００３０】すなわち、何枚かのピクチャの集まりがグ
ループオブピクチャ（ＧＯＰ）と呼ばれており、当該Ｇ
ＯＰは符号化データ（圧縮後のデータ）上で見て連続し
た画像の集まりでなくてはならないものである。また、
ＧＯＰはランダムアクセスを考慮したもので、そのため
には符号化データ上で見てＧＯＰの最初に来るピクチャ
は上記Ｉピクチャである必要がある。さらに、表示順
（ディスプレイ順）でＧＯＰの最後は、Ｉ又はＰピクチ
ャでなくてはならない。

【００３１】図１１には、最初が４枚のピクチャからな
るＧＯＰで、それ以降が６枚のピクチャからなるＧＯＰ
となる例を挙げる。なお、図１１のＡはディスプレイ順
を示し、図１１のＢは符号化データ順を示している。こ
の図１１において、ＧＯＰ２に注目すると、Ｂ４，Ｂ５
はＰ３，Ｉ６から形成されるため、例えばランダムアク
セスでＩ６にアクセスされると、Ｐ３が無いため、Ｂ
４，Ｂ５は正しく復号化できない。このようにＧＯＰ内
だけで正しく復号化できないＧＯＰは、クローズドＧＯ
Ｐ（Closed GOP）でないという。

【００３２】これに対し、もしＢ４，Ｂ５がＩ６だけし
か参照していないとしならば、例えばランダムアクセス
でＩ６にアクセスしても、Ｐ３は必要ないため、これら
Ｂ４，Ｂ５は正しく復号化できることになる。このよう
にＧＯＰ内だけの情報で、完全に復号化できるＧＯＰを
クローズドＧＯＰ（Closed GOP）と呼ぶ。以上のような
圧縮方法の選択の中から一番効率の良い方法で圧縮する
わけであるが、その結果発生する符号化データ（Coded
data）の量は、入力画像にも依存し、実際に圧縮してみ
ないと判らない。

【００３３】しかし、圧縮後のデータのビットレートを
一定にするためにコントロールすることも必要である。
当該コントロールを行うためのパラメータは、量子化器
１５に与える前記符号量を表す情報としての量子化ステ
ップ（又は量子化スケール：Q-scale ）である。同じ圧
縮方法でも、上記量子化ステップを大きくすれば発生ビ
ット量は減り、小さくすれば増える。

【００３４】この量子化ステップの値は、次のようにし
て制御する。エンコーダには、圧縮後のデータを一定の
ビットレートにするために、出力に緩衝バッファ（出力
バッファ１８）が設けられており、これによって画像毎
のある程度のデータ発生量の差は吸収できるようになさ
れている。しかし、定められたビットレートを超えるよ
うなデータの発生が続けば、出力バッファ１８の残量が
増加し、ついにはオーバーフローを起こすことになる。
逆にビットレートを下回るデータの発生が続けば出力バ
ッファ１８の残量は減少し、最後にはアンダーフローを
引き起こすことになる。

【００３５】したがって、エンコーダは、出力バッファ
１８の残量をフィードバックすることにより、前記量子
化ステップ制御器１９が量子化器１５の量子化ステップ
をコントロールし、ここで出力バッファ１８の残量が少
なくなればあまり圧縮しないように量子化ステップを小
さくなるよう制御し、出力バッファ１８の残量が多くな
れば圧縮率を高くするように量子化ステップを大きくす
るようにコントロールを行うようにしている。

【００３６】また、前述した圧縮方法（前記フレーム内
符号化やフレーム間予測符号化）によって発生する符号
化データ量の範囲には、大きな差がある。特にフレーム
内符号化方式で圧縮をすると大量のデータが発生するた
め、出力バッフファ１８の空き容量が小さい場合には量
子化ステップサイズを大きくしなければならず、場合に
よっては量子化ステップサイズを最大にしてもバッファ
１８のオーバーフローを招くかもしれない。よしんばバ
ッファ１８に収まったとしても量子化ステップが大きけ
ればフレーム内符号化の画像は後のフレーム間予測符号
化の画質に影響するので、フレーム内符号化での圧縮を
行う前には出力バッファ１８に十分な空き容量が必要で
ある。

【００３７】したがって、予め定められた順序の圧縮方
法を決めておき、フレーム内符号化の前には十分な出力
バッファ１８の空き容量を確保するように、量子化ステ
ップ制御器１９は量子化ステップサイズのフィードバッ
クコントロールを行うようにしている。以上のようにし
て一定レートの符号化データに抑えることが可能とな
る。

【００３８】

【発明が解決しようとする課題】上述した従来の方法で
は、以下の理由により高画質を得られないことが欠点と
なっている。すなわち、時々刻々情報量の変化する入力
画像を一定のビットレートで平均的に高画質に圧縮する
ためには、出力バッファによって低ビットレートを維持
できる範囲でかつ画質が均質になるように、情報量の多
い画像（絵）には多めの圧縮データを許し、情報量の少
ない画像には少なめの圧縮データにすることが必要だ
が、次のような場合に従来の方法ではそれができない。

【００３９】例えば、情報量の少ない画像が連続し、そ
のあとで急に情報量の多い画像が入ってくる場合を考え
ると、先に供給される情報量の少ない画像に対しては量
子化ステップをあまり小さくし過ぎず、その後に続く情
報量が多い画像が符号化されるまで出力バッファの残量
を低く保つべきであるのに、前述した出力バッファ残量
をフィードバックする方式では、上記情報量が少ない画
像が連続するうちに出力バッファの残量を増加させてし
まうようになる。

【００４０】逆に、情報量が多い画像の後に情報量の少
ない画像が続く場合では、先に供給される情報量の多い
画像を大きな量子化ステップで圧縮して出力バッファの
残量を減らさなくても、その後に続くのは情報量の少な
い画像なのでオーバーフローし難いはずであるが、上記
出力バッファ残量フィードバック方式では、続く画像の
情報量がわからないためバッファの残量を減らす方向、
すなわち量子化ステップを大きくする方向に制御し、画
質を低下させてしまう。

【００４１】このようなことから、例えば、入力画像の
情報量を評価し、この評価値に基づいて量子化ステップ
を制御するような構成も考えられる。ところが、上記入
力画像の情報量の評価値を求めるような機構を備えた画
像符号化装置において、例えば１枚の入力画像を圧縮す
る際には、当該入力情報を圧縮した後に得られることに
なるデータに対して使用可能な割当量を、当該入力画像
の情報量（難易度）に応じて配当することになるが、そ
のときの量子化器の量子化ステップを、当該割当量に応
じて精度良く予測する必要がある。

【００４２】ここで、もしも、上記予測した量子化ステ
ップが適当でない場合には、上記圧縮後のデータに対し
て使用可能な割当量を大幅に割り込んだり、逆にオーバ
ーしたりしてしまうことになる。このように割当量を大
幅に割り込んだり、オーバーしたりすると、他のピクチ
ャの圧縮の際の割当量に影響を与えてしまうことにな
る。

【００４３】すなわち例えば、割当量が少なくなったフ
レームでは、量子化ステップが大きくなり、したがって
画質が低下するようになる。このため、例えば連続的に
見て均等な画質のフレームが続かなくなり、全体的に見
ても画質が悪い印象になってしまう。また、上記予測が
大幅にずれると、最悪の場合、バッファのアンダーフロ
ーやオーバーフローを招くことになる。

【００４４】ここで、そのようにならないようにするた
めに、例えば、１画面内で圧縮後の情報量と予定割当量
と圧縮の進捗の画面内での割合で量子化ステップを制御
していたとしても、基本の量子化ステップの予測が外れ
ると画面内での量子化ステップの大きな変動が起こるよ
うになる。このように画面内での量子化ステップの大き
な変動が起こると、上記圧縮はラスタースキャン順にな
されるものなので、画面上で帯状に画質の不均等な部分
が認識され、画質低下をもたらすようになる。

【００４５】そこで、本発明は、上述のような実情に鑑
みて提案されたものであり、効率の良い画像圧縮が可能
で、全体的に画質を向上させることができる画像符号化
装置を提供することを目的とするものである。

【００４６】

【課題を解決するための手段】本発明の画像符号化装置
は、上述した目的を達成するために提案されたものであ
り、入力画像データを複数枚蓄える画像データ蓄積手段
と、上記画像データ蓄積手段に蓄積された複数枚の画像
データから当該入力画像データの情報量を評価する画像
情報評価手段と、上記画像データ蓄積手段に蓄積された
複数枚の画像データから画像間の相関を検出する画像間
相関検出手段と、画像データに直交変換処理を施して直
交変換係数を生成する直交変換手段と、上記直交変換手
段により生成された直交変換係数を所定の量子化ステッ
プで量子化する量子化手段と、上記画像情報評価手段に
よって得られた情報量の評価値と上記画像間相関検出手
段からの画像間の相関情報とに基づいて適応的に画像デ
ータの圧縮方法を選択する圧縮方法選択手段と、上記圧
縮方法選択手段が選択した圧縮方法で１画面分の画像デ
ータを圧縮することにより得られる予定圧縮データ量と
上記評価値とから上記量子化手段における量子化の際の
基本量子化ステップを予測する量子化ステップ制御手段
とを有することを特徴とするものである。

【００４７】ここで、上記量子化ステップ制御手段は、
実際に圧縮に使用した量子化ステップと圧縮後のデータ
量と上記評価値の関係を学習し、当該学習結果に応じて
上記基本量子化ステップの予測を行う。また、上記量子
化ステップ制御手段は、画像データを複数に分割したマ
クロブロック毎の上記評価値を１画面分合計して合計評
価値を求め、当該合計評価値を上記基本量子化ステップ
の予測に使用する。このとき、上記画像情報評価手段
は、動き検出による動きベクトルに応じた参照画像のマ
クロブロックの画素データと入力画像のマクロブロック
の画素データとの差分のマクロブロック毎の絶対値和
を、上記評価値とする。

【００４８】さらに、上記量子化ステップ制御手段は、
フレーム内符号化がなされる周期を１単位とし、上記合
計評価値を当該１単位分集計して、上記量子化手段にお
ける量子化の際のビット配分を行う。また、上記量子化
ステップ制御手段は、１画面毎の量子化の割当ビット量
と上記合計評価値との関係が上記選択された圧縮方法毎
に所定の関係式にあると仮定し、予め求めた学習パラメ
ータと上記所定の関係式とから、上記基本量子化ステッ
プを計算する。このとき、上記量子化ステップ制御手段
は、上記マクロブロック毎の基本量子化ステップの１画
面分の平均値と１画面分圧縮した後のデータ量と１画面
分の上記評価値とを用い、最小２乗誤差法によって予め
上記学習パラメータを求める。また上記量子化ステップ
制御手段は、上記圧縮方法選択手段で選択された圧縮方
法毎に過去ｎ秒間の情報を使用して上記学習パラメータ
を求める。さらに、上記量子化ステップ制御手段は、基
本量子化ステップの予測に際し、過去に求めた複数の量
子化ステップと発生ビット量と情報量とに基づいて予測
を行う。またさらに、上記量子化ステップ制御手段は、
予測に使用する直線の傾きとオフセットに対して、上限
及び下限を設けるようにもしている。

【００４９】

【作用】本発明によれば、蓄積した複数枚の画像データ
から情報量を評価し、さらに画像間の相関を検出し、情
報量の評価値と画像間の相関情報とに基づいて適応的に
画像データの圧縮方法を選択し、選択した圧縮方法で１
画面分の画像データを圧縮することにより得られる予定
圧縮データ量と評価値とから基本量子化ステップを予測
することで、基本量子化ステップの予測精度を高めてい
る。

【００５０】また、本発明によれば、実際に圧縮に使用
した量子化ステップと圧縮後のデータ量と評価値の関係
を学習し、当該学習結果に応じて基本量子化ステップの
予測を行うことで、入力画像の変動に追従させるように
している。また、本発明によれば、選択された圧縮方法
毎に過去ｎ秒間の情報を使用して学習を行うようにする
ことで、ｎ秒以上の過去の学習結果を使用しないように
している。

【００５１】さらに、本発明によれば、基本量子化ステ
ップの予測の際に、過去に求めた複数の量子化ステップ
と発生ビット量と情報量に基づいて予測を行うこと、ま
た、予測に使用する直線の傾きとオフセットに対して上
限及び下限を設けるようにしているため、基本量子化ス
テップの予測が例えば特異な入力画画像の学習データに
引きずられることのないようにしている。

【００５２】

【実施例】以下、図面を参照し、本発明の実施例につい
て詳述する。図１には本発明実施例の画像符号化装置の
概略構成を示す。なお、この図１において、前述した図
７と同じ構成については同一の指示符号を付してその説
明については省略する。

【００５３】なお、この図１の構成において、前記図７
の構成に追加された構成要素は画像情報評価回路５０と
シーンチェンジ検出回路３１と圧縮方法選択回路３２と
動きベクトル発生回路３３であり、また、動き検出器３
８と量子化ステップ制御器３９とフレームメモリ４０と
が変更されている。すなわち、本発明実施例の画像符号
化装置は、入力画像データを複数枚蓄える画像データ蓄
積手段としてのフレームメモリ４０と、上記フレームメ
モリ４０に蓄積された複数枚の画像データから、当該入
力画像データの情報量を評価する画像情報評価回路５０
と、上記フレームメモリ４０に蓄積された複数枚の画像
データから画像間の相関を検出する画像間相関検出手段
としてのシーンチェンジ検出回路３１と、画像データに
直交変換処理（ＤＣＴ処理）を施してそのＤＣＴ係数を
生成するＤＣＴ回路１４と、上記ＤＣＴ回路１４によっ
て生成されたＤＣＴ係数を所定の量子化ステップで量子
化する量子化器１５と、上記画像情報評価回路５０によ
って得られた情報量の評価値と上記シーンチェンジ検出
回路３１からの画像間の相関情報（シーンチェンジ検出
出力）とに基づいて適応的に画像データの圧縮方法（ピ
クチャタイプ，マクロブロックタイプ，ＧＯＰ長）を選
択する圧縮方法選択回路３２と、上記圧縮方法選択回路
３２が選択した圧縮方法で１画面分の画像データを圧縮
することにより得られる予定圧縮データ量と上記評価値
とから、上記量子化器１５における量子化の際の基本量
子化ステップを予測する量子化ステップ制御器３９とを
有することを特徴とする。

【００５４】この図１において、先ず、入力端子１から
入力された入力画像データは、フレームメモリ４０に蓄
えられる。このフレームメモリ４０は、図３のフレーム
メモリ１０とは異なり、所定数のフレームを蓄積できる
ものである。このときの蓄積する所定数としては、多過
ぎるとフレームメモリ４０が大規模になってしまうので
好ましくない。上記所定数として効率的な長さ（フレー
ム数）は、ビットレートと出力バッファ１８の容量、フ
レーム内符号化の圧縮方式の画像同士の間隔（ほとんど
の場合ＧＯＰの長さといっても差し支えない）に大きく
依存する。これは圧縮方法及び圧縮率の違いから生ずる
圧縮データの大きさのむらを上記出力バッファ１８によ
って吸収し、定ビットレートにすることができる範囲
が、上記ビットレート及び出力バッファ容量とフレーム
内符号化がなされる画像同士の間隔等の条件によって制
約されるからである。

【００５５】ところで、一般的にフレーム内符号化方式
で圧縮することは定期的に行われる（これがＧＯＰの区
切りになることが多い）ものであり、このフレーム内符
号化の圧縮方式は当該圧縮後のデータ量が他の方式（フ
レーム間予測符号化）に比べてかなり大きいものであ
る。このため、当該フレーム内符号化による圧縮画像同
士（或いはＧＯＰ）の間隔で情報量を調べ、データ量の
配分をするのは、一つの合理的な方法である。

【００５６】しかし、本実施例の方式では、後述するよ
うにシーンチェンジ等によって前後の画像の相関が著し
く低くなった場合にもフレーム内符号化方式で圧縮する
ようにしており、このようにシーンチェンジ部分でフレ
ーム内符号化を行うようにすると、例えば、当該シーン
チェンジに基づくフレーム内符号化画像の近傍に前記定
期的なフレーム内符号化がきた場合、当該定期的に行わ
れるフレーム内符号化の画像に対しては、定ビットレー
ト或いは均質な画質の維持が困難になるため、フレーム
内符号化による圧縮である必然性を失い、当該フレーム
内符号化で圧縮することを取り止める必要がでてくる。

【００５７】したがって、上記フレームメモリ４０の記
憶可能な容量（上記所定数）は、上述のようにシーンチ
ェンジが上記定期的に行われるはずであるフレーム内符
号化の画像の近傍にくる場合があることを考慮して、当
該定期的にフレーム内符号化で圧縮を行う周期の２倍程
度とすることが適当である。もちろん、上記所定数は一
例であり、これに限定されることはなく様々な条件に合
わせて変更することは可能である。

【００５８】上記フレームメモリ４０に蓄積された画像
データは、適宜、画像情報評価回路５０に送られる。こ
こで、当該画像情報評価回路５０は、大別して２通りの
パラメータを算出するものである。第１のパラメータ
は、フレーム内符号化で圧縮を行った場合の圧縮後のデ
ータ量を予測することが可能なように、その画像自身の
情報量を示すものである。この第１のパラメータとして
は、例えば、フレームメモリ４０から供給された画像デ
ータに対して、ＤＣＴ処理をブロック毎に行い、そのＤ
ＣＴ係数の和や統計をとったものとしたり、また、それ
では規模が大きくなる場合には、平均自乗誤差のブロッ
ク毎の和を求めたものとする。いずれにしても、当該画
像情報評価回路５０では、画像の情報量を表し、圧縮後
のデーター量を類推するに足るパラメータを算出する。

【００５９】第２のパラメータは、フレーム間予測符号
化で圧縮を行った場合の圧縮後のデータ量を予測するこ
とが可能な、画像の差分情報量を示すものである。この
場合のパラメータとしては、例えば、フレームメモリ４
０に格納された画像と動き補償後の画像との差分値のブ
ロック内の和を用いる。このパラメータ算出の際には、
一般的な動きベクトル検出回路（動き検出器３８及び動
きベクトル発生回路３３）で得られる動きベクトルが検
出された最小誤差を利用することができる。

【００６０】このとき、フレーム間予測符号化による圧
縮後のデータ量の類推（予測）のためのパラメータとし
ては、一般的な輝度情報だけの動きベクトル検出回路
（動き検出器３８及び動きベクトル発生回路３３）で得
られる動きベクトル及びその動きベクトルが検出された
輝度情報だけで求めた最小誤差に加えて、本実施例では
その動きベクトルが検出された色差情報だけで求めた最
小誤差を新たに用いるようにする。

【００６１】本実施例装置では、このようにして求めた
輝度情報からの最小誤差と色差情報からの最小誤差を用
いて、そのマクロブロックの誤差とし、当該マクロブロ
ックの誤差を用いて後述する圧縮方法選択回路３２で圧
縮方法の判定を行なう。上記画像情報評価回路５０によ
って、上述したようにして算出された画像情報の評価値
（パラメータ）は、次に説明するシーンチェンジ検出回
路３１と、圧縮方法選択回路３２と、量子化ステップ制
御器３９とに送られる。

【００６２】また、画像情報評価回路５０からは、後述
する圧縮方法選択回路３２においてＧＯＰの長さを決定
する際に画像のカウントを行うため、その圧縮方法選択
回路３２に対して画像情報も送られる。次に、シーンチ
ェンジ検出回路３１は、上記画像情報評価回路５０の出
力（例えば第２のパラメータ）を用いてシーンチェンジ
を検出するものである。

【００６３】ここで、当該シーンチェンジ検出回路３１
においてシーンチェンジを検出する目的は、フレーム間
予測符号化かフレーム内符号化のいずれかの圧縮方式を
決定するための判断材料にすることが主である。それ
は、シーンチェンジ部分のように前後で相関の極めて低
い画像では、フレーム間予測符号化で圧縮するよりもフ
レーム内符号化で圧縮する方が効率良く圧縮できるから
である。また、シーンチェンジ部分では、圧縮後のデー
タも大きなものとなるため、データ量配分や出力バッフ
ァマネジメントの観点からも当該シーンチェンジを把握
することは重要である。

【００６４】上述のようなシーンチェンジは前後の画像
で相関が著しく損なわれる所に存在するものであるた
め、当該シーンチェンジ部分は、例えば、前後の画像に
ついてそれぞれ例えば動きベクトル補償後の画像との差
分値を求め、それぞれこの差分値の画像全体での総和を
求めて、さらに当該前後の画像での上記総和の比を求め
るなどして検出できる。

【００６５】このようなことから、本実施例のシーンチ
ェンジ検出回路３１では、上記画像情報評価回路５０の
出力を用いてシーンチェンジを検出するようにしてい
る。すなわち、上記画像情報評価回路５０は、前述のよ
うに動き補償後の画像の差分値のブロック内の和を第２
のパラメータとして出力するため、当該シーンチェンジ
検出回路３１では、当該差分値のブロック内の和を用い
て、上述のシーンチェンジ検出のための演算を行うこと
ができる。

【００６６】次に、圧縮方法選択回路３２について説明
する。当該圧縮方法選択回路３２は、上記シーンチェン
ジ検出回路３１からのシーンチェンジ検出出力と、画像
情報評価回路５０からの画像情報をカウントしたカウン
ト値と、前記輝度情報と色差情報からそれぞれ求めた第
２のパラメータ（最小誤差）とに基づいて、フレーム内
符号化／フレーム間予測符号化（Ｐ，Ｂピクチャ）のい
ずれの圧縮方式で圧縮を行うのかを選択する回路であ
る。

【００６７】すなわち当該圧縮方法選択回路３２では、
上記画像情報評価回路５０によって得られるマクロブロ
ック毎の輝度情報及び色差情報から求めたパラメータに
基づいて、マクロブロック毎のフレーム内符号化／フレ
ーム間予測符号化の各圧縮方法によって発生するデータ
の予想量（発生予想量）を比較し、より発生予想量の少
なくなる圧縮方法を選択するようにしている。

【００６８】また、フレーム内符号化方式による圧縮画
像は少なくともＧＯＰの最初になければならない。さら
に、ＧＯＰはランダムアクセスを考慮してある程度の間
隔となされているので、必然的にＩピクチャは当該間隔
で定期的に発生するものであり、また、本実施例ではシ
ーンチェンジ等によっても発生するものである。このよ
うなことから、当該圧縮方法選択回路３２では、上記画
像情報評価回路５０からの画像情報のカウントを行うと
共に、上記シーンチェンジ検出回路３１からのシーンチ
ェンジ検出出力が当該圧縮方法選択回路３２に加えられ
る。これにより当該圧縮方法選択回路３２では、上記画
像のカウント値から定期的なフレーム内符号化を選択す
ると共にシーンチェンジ検出時にもフレーム内符号化を
選択（すなわちＧＯＰの間隔を決定する）し、それら以
外ではフレーム間予測符号化を選択するようにしてい
る。

【００６９】この圧縮方法選択回路３２は、上記圧縮方
法の選択に応じて前記切換スイッチ１３と２４の切換制
御を行うと共に、その選択結果を示す情報を量子化ステ
ップ制御器３９に送る。量子化ステップ制御器３９は、
可変長符号化回路１７からの符号量を示す情報に基づい
て量子化器１５の量子化ステップ幅を制御する。また、
上記出力バッファ１８から出力されたデータは圧縮符号
化がなされた符号化出力として出力端子２から出力され
る。

【００７０】また、上記量子化器１５からの出力は、逆
量子化器２７によって逆量子化され、さらに逆ＤＣＴ回
路２６によって逆ＤＣＴ処理される。当該逆ＤＣＴ回路
２６の出力は、加算器２５に送られる。この加算器２５
には、フレーム間予測符号化のフレームのときにオンと
なる切換スイッチ２４を介した動き補償器２１からのフ
レーム間予測画像データも供給され、当該データと上記
逆ＤＣＴ回路２６の出力データとの加算が行われる。こ
の加算器２５の出力データは、フレームメモリ２２に一
時的に蓄えられた後、動き補償器２１に送られる。

【００７１】当該動き補償器２１は、上記動き検出器３
８によって検出され動きベクトル発生回路３３によって
発生された動きベクトルに基づいて動き補償を行い、こ
れによって得たフレーム間予測画像データを出力する。
また、上記量子化ステップ制御器３９は、前記画像情報
評価回路５０からの評価値（パラメータ）から画像の情
報量、さらにはシーンチェンジのように前後の画像の相
関が極めて低くなる所を知ると共に、圧縮方法選択回路
３２からの選択結果を示す情報からフレーム内符号化か
フレーム間予測符号化のいずれが選択された画像である
かも知ることができる。

【００７２】したがって、当該量子化ステップ制御器３
９においては、出力バッファ１８の残量のみをフィード
バックする従来の量子化ステップ制御に比べて、入力画
像の急激な情報量変化に追随できることになり、また、
画像の情報量の変化に応じて適切な量子化ステップ制御
が可能で、さらに、フレーム内符号化／フレーム間予測
符号化の圧縮方法に応じて適切な量子化ステップ制御も
可能となる。

【００７３】次に本実施例の構成における処理の流れ
を、図２のフローチャートに沿って説明する。先ず、ス
テップＳ８１では、入力端子１に入力された画像データ
が順次フレームメモリ４０へ格納される。ここで、先に
述べたようにＩピクチャの頻度や間隔の決定が画質に影
響を及ぼすので、これに関係して符号化に先だってＧＯ
Ｐを決めておく必要があり、また、レートコントロール
（量子化ステップ制御によるビットレートのコントロー
ル）をするために符号化に先だって１ＧＯＰ分の画像に
ついての情報を収集しなければならない。このように、
次々と入力されてくる画像データに対してその間に分析
を行い、符号化するまでの十分な遅延時間を稼ぐため、
大量のフレームメモリ４０を用いる。

【００７４】次に、ステップＳ８２では、動き検出器３
８及び動きベクトル発生回路３３によって、フレーム間
予測符号化で圧縮するために必要な動きベクトルを検出
及び発生させる。すなわち、このステップＳ８２では、
予め定められたスケジュールでフレームメモリ４０中の
各画像データをＰピクチャ或いはＢピクチャとして圧縮
符号化できるように、動き検出（モーションエスティメ
ーション）を行う。

【００７５】ここで、動き検出を行う画像については、
Ｉピクチャを規定しない。それはどの画像データがＩピ
クチャになるのかこの時点では確定していないからであ
り、またＩピクチャは動き補償を必要としないため、後
にどの画像データでもＩピクチャにすることが可能だか
らである。上記画像情報評価回路５０は、上記動き検出
をする際に用いられる最小歪み（Minimum Distortion）
或いは誤差の絶対値和（ＡＤ：Absolute Difference ）
と呼ばれるものを符号化に用いるパラメータの一つ（第
２のパラメータ）として読み出し格納する。

【００７６】なお、上記誤差の絶対値和（ＡＤ）は、リ
ファレンス側の画像を８×８ピクセルのブロックに分割
し、輝度データ８×８×４ピクセルと色差データ８×８
×２ピクセルのマクロブロック（ＭＢ）に対し、動き検
出を行なった際に求めた動きベクトルで切りだされるサ
ーチ側のマクロブロックとの各画素同士の差の絶対値和
で、以下の式(1) で求めることができる。

【００７７】

【数１】

【００７８】これをさらにマクロブロック内のブロック
について集計したものを用いてマクロブロックの誤差の
絶対値和（ＡＤ）とする。このパラメータはシーンチェ
ンジの判定やフレーム間予測符号化で圧縮する場合の画
像の相関も考慮した情報量の推定に用いるものである。
このパラメータはまた、後述するようにマクロブロック
タイプを決定するために使われる。

【００７９】画像の情報量を推定するパラメータＳＡＤ
は、式(2) のように、一つの画像内の上記誤差の絶対値
和（ＡＤ）を合計したものである。 ＳＡＤ＝ΣＡＤ (2) もちろん、上記誤差の絶対値和（ＡＤ）以外に最小歪み
（Minimum Distortion）を用いてもよい。

【００８０】次に、ステップＳ８３では、画像情報評価
回路５０において、上記動き検出で得られたパラメータ
以外に誤差の平均絶対値和（ＭＡＤ：Mean Absolute Di
fference）、アクティビティ（Activity）を各画像毎に
評価する。上記誤差の平均絶対値和（ＭＡＤ）はＩピク
チャの情報量を推定するためのパラメータで、下記の式
(3) によって８×８画素のブロック毎に求め、必要に応
じてマクロブロック或いは画面で集計を行う。このパラ
メータはまた、マクロブロックタイプを決定するために
使われる。

【００８１】

【数２】

【００８２】これをさらに、式(4) のように、マクロブ
ロック内のブロックについて合計したものを用いてマク
ロブロックの判定に用いる。 ＭＡＤ＝Σ blockＭＡＤ (4) またさらに、式(5) のように、マクロブロックの値を一
つの画像内で合計してその値を、その画像の（Ｉピクチ
ャとしての）情報量を表すパラメータＳＭＡＤとする。

【００８３】ＳＭＡＤ＝ΣＭＡＤ (5) また、上記アクティビティは、一つの画面の中でそのマ
クロブロックの画像の状態に応じてよりきめ細かに量子
化ステップを制御することによって画質を維持しなが
ら、より圧縮効率を高めるために、その画像の状態を定
量化するためのパラメータである。

【００８４】例えば一つのブロック内で画像が画素のレ
ベル変化の少ない平坦な部分（フラットな部分）では量
子化による歪みが目立ち易く、量子化ステップを小さく
してやるべきで、逆にレベル変化が多い複雑なパターン
のブロックでは量子化歪みは目立ち難く、情報量も多い
ので量子化ステップを大きくするべきである。そこで、
例えばブロックの平坦度（フラットネス）を表すパラメ
ータをこのアクティビティとして用いる。

【００８５】次に、ステップＳ８４では、上記シーンチ
ェンジ検出回路３１でシーンチェンジの検出を行う。こ
のシーンチェンジ検出回路３１でのシーンチェンジ検出
は、上記画像情報評価回路５０で得られたパラメータＡ
Ｄを使ってなされる。具体的には、上記パラメータＡＤ
を１画面分合計した上記パラメータＳＡＤを使い、その
変化の割合で上記シーンチェンジを検出する。

【００８６】次に、圧縮方法選択回路３２においては、
ステップＳ８５でＧＯＰ長の決定を行い、ステップＳ８
６で圧縮方法の選択（ピクチャタイプの決定）を行う。
ここでは、すでに述べたように、符号化に際してランダ
ムアクセス性を考慮して適当なフレーム数毎にＧＯＰを
区切る。このとき少なくともＧＯＰの符号順で最初のピ
クチャはＩピクチャでなければならないから、ピクチャ
の数をカウントし定期的にピクチャタイプをＩピクチャ
にする。

【００８７】一方、上記シーンチェンジによって前後の
ピクチャで相関が低くなった場合、これも先に述べたよ
うにＩピクチャで圧縮符号化すると効率が良い。しかし
ながら、Ｉピクチャは圧縮率が低いため、低ビットレー
トにおいては頻繁に現れると画質の低下を招く。したが
って、シーンチェンジ検出回路３１によってシーンチェ
ンジが検出された場合、圧縮方法選択回路３２は、Ｉピ
クチャ同士の間隔を適度に保つよう適応的にＧＯＰの長
さを決める。

【００８８】次のステップＳ８７では、圧縮方法選択回
路３２において、後述する図３のフローチャートに示す
ような合計評価値（難易度：difficulty) の集計を行
い、これに基づいてマクロブロックタイプの判定を行
う。すなわち、圧縮方法選択回路３２では、ステップＳ
８７においてマクロブロック毎の圧縮方法とマクロブロ
ックタイプとを決める。

【００８９】前述のように既に求めた上記誤差の平均絶
対値和（ＭＡＤ）と誤差の絶対値和（ＡＤ）は、それぞ
れフレーム内符号化／フレーム間予測符号化で圧縮した
ときの圧縮後のデータ量に関係するので、この２つのパ
ラメータを比較すればフレーム内符号化／フレーム間予
測符号化のどちらのマクロブロックタイプがより少ない
データ量になるか判定できる。

【００９０】次のステップＳ８８では、量子化ステップ
制御器３９において、レートコントロールのためのビッ
ト配分を行う。すなわちこのステップＳ８８では、上記
ステップＳ８７で求めた難易度（difficulty) に応じて
１画面毎の割り当て量をビット配分する。各ピクチャ毎
の圧縮符号化された後のデータサイズは、その符号化方
式や元々の画像データが持つ情報量、前後の相関などに
よって大きく変動する。平均的な画質を保つようにする
ならばことさらである。

【００９１】各ピクチャ毎の圧縮符号化された後のデー
タサイズのむらは出力バッファ１８によってある程度吸
収されるが、平均的には一定のビットレートにしなけれ
ばならない。したがって、ある区間を定めればその間の
ピクチャのトータルの圧縮後のデータ量が決まる。そこ
で、既に決定しているピクチャタイプと、予め調べてお
いた画像の情報量パラメータとを用いて各ピクチャ毎に
圧縮後のデータ量、すなわち各ピクチャが使って良いビ
ットの量を決める。

【００９２】このとき、例えば情報量の少ない画像やＢ
ピクチャには少なく、情報量の多い画像やＩピクチャに
は多くする。これをビット配分と呼ぶ。これによって画
質のばらつきを抑え、なおかつ一定レートに保つことが
容易になる。例えば本実施例ではＧＯＰをその区間とし
て、次の式(6) ，式(7) のようにビット配分を行う。 Total Bit Count ＝（Bit Rate [bit/s]× Number Of Picture In GOP [picture ])／（Picture Rate [picture/s]） [bit] (6) Available Bits＝（Total Bit Count ×ターゲットの画像情報量パラメータ）／ 画像情報量パラメータのＧＯＰ合計値） [bit] (7) なお、この式(7) で使用している情報量パラメータは、
先に述べたパラメータＳＭＡＤ，ＳＡＤを用い、これに
圧縮するピクチャタイプ別の乗数をかけたものである。
また、上記乗数は各ピクチャタイプ間のパラメータと画
質との関係を調整するものである。

【００９３】なお、上記式(7) の上記画像情報量パラメ
ータのＧＯＰ合計値は、式(8) に示すようにして求め
る。 画像情報量パラメータのＧＯＰ合計値＝Ki×ΣDifi＋Kp×ΣDifp＋Kb×ΣDifb Difi: Ｐピクチャの難易度 Difb: Ｂピクチャの難易度 (8) 上記量子化ステップ制御器３９においては、次のステッ
プＳ８９において、後述する図４のフローチャートのよ
うな学習パラメータＡ，Ｂによる回帰予測の処理に基づ
いて基本量子化ステップの決定を行う。すなわち、この
ステップＳ８９では、上述した１画面のビット割当量と
難易度から回帰予測による基本量子化ステップの決定
（予測）を行う。

【００９４】上述のようにしてピクチャタイプが決ま
り、マクロブロックタイプが決まれば、マクロブロック
タイプに応じて１画面分の上記誤差の平均絶対値和（Ｍ
ＡＤ）、誤差の絶対値和（ＡＤ）を集計することで、１
画面の情報量パラメータ（すなわち難易度）が測定でき
る。したがって、過去の実績から、情報量パラメータと
量子化後のデータ量が決まれば量子化ステップを推定す
ることができる。

【００９５】本発明は、この基本量子化ステップ決定機
構に関してのものであり、本実施例の量子化ステップ制
御器３９は、１画面毎の割当ビット量(allocated＿bit)
と上記難易度(difficulty)とから、以下の方法により一
画面の基本の量子化ステップ（量子化スケール：Q ＿sc
ale)を決めるようにしている。先ず、式(10)に示すよう
に、 log(allocated＿bit/difficulty) ＝A*log(Q ＿scale)+B (10) という関係があると仮定し、上記式(10)中のＡ，Ｂを予
め学習（実験）により求めておく。さらに、上記式(10)
を変形した式(11)から、上記量子化スケール(Q＿scale)
を求める。

【００９６】 Q＿scale ＝exp((log(allocated＿bit/difficulty)-B)/A) (11) このようにして求めた量子化ステップをそのピクチャの
基本量子化ステップとする。次に、量子化ステップ制御
器３９は、ステップＳ９０のように、画面内の量子化ス
テップの制御を行う。

【００９７】すなわち、当該量子化ステップ制御器３９
は、先に述べたように画面内の量子化ステップを各ブロ
ック毎に、なるべく画質を高く、しかも圧縮効率を高く
するように制御する。具体的には、上記アクティビティ
やマクロブロックタイプなどの情報をもとに、基本量子
化ステップからマクロブロック毎の量子化ステップを加
減することで、量子化器１５に対する量子化ステップの
制御を行う。

【００９８】次のステップＳ９１では前記可変長符号化
回路１７において符号化を行う。上述のようにして圧縮
符号化の全てのパラメータが決まっているのでその後
は、ＭＰＥＧの規則にしたがって圧縮符号化する。次の
ステップＳ９２ではマクロブロック毎のビット発生量
と、量子化スケール(Q＿scale)の集計を行う。

【００９９】最後に、ステップＳ９３では、前述した各
パラメータの更新を行う。すなわち、後述する図５のフ
ローチャートに示すように、マクロブロック毎の量子化
ステップの平均と、マクロブロック毎の発生量の合計値
と、難易度（difficulty) とによる予測標本の更新を行
う。ここで、画像情報量と基本量子化ステップ、圧縮後
のデータ量の関係は、圧縮する画像に依存する。したが
って、ここでは、その関係を表す式に用いるパラメー
タ、予測パラメータを、圧縮後の実際のデータ量をフィ
ードバックすることにより学習させ、予測の精度を向上
させている。

【０１００】この場合、先ず、ピクチャタイプ毎に学習
パラメータＡ，Ｂを以下の方法により、学習し、修正す
る。例えば、マクロブロック毎の量子化スケール(Q-sca
le) の平均値を(average＿Q)とし、１画面圧縮した後の
発生量を(generated bit) とすると、式(12)に示すよう
に、 x = log(average＿Q), y = log(generated bit/ difficulty) (12) となり、ＡとＢのパラメータを最小２乗誤差法で以下の
式(13)、式(14)のようにして求める事ができる。なお、
式中ｎは標本数である。 Ａ＝(sum(x*y)-(sum(x) * sum(y))/n)／(sum(x*x)-(sum(x) * sum(x))/(n) (13) Ｂ＝((sum(y)/n)-a) * (sum(x)/n) (14) 次に図２のステップＳ８７における難易度（difficult
y) の集計のフローチャートについて図３を用いて説明
する。

【０１０１】図２のステップＳ８７で難易度（difficul
ty) の集計の処理に進むと、図３のステップＳ１００以
降の処理に移る。この図３において、ステップＳ１０１
では、先ず、初期化としてdifficulty＝０とし、次のス
テップＳ１０２では、マクロブロックタイプがフレーム
内符号化マクロブロック（イントラマクロブロック:int
ra MB)か否かの判定を行う。ここで、イントラマクロブ
ロックであると判断した場合にはステップＳ１０６で難
易度（difficulty）を前記１画面分の誤差の平均絶対値
和（MAD)とした後、ステップＳ１１０に進む。また、ス
テップＳ１０２でマクロブロックタイプがイントラマク
ロブロックでないと判定した場合には、ステップＳ１０
３に進む。

【０１０２】このステップＳ１０３では、マクロブロッ
クタイプがフレーム間予測符号化マクロブロック（イン
ターマクロブロック:inter MB)のうちの前方予測マクロ
ブロック(forward MB)か否かの判定を行う。当該ステッ
プＳ１０３で前方予測マクロブロックであると判断した
場合にはステップＳ１０７で難易度（difficulty）を前
方予測マクロブロックの誤差の絶対値和（AD＿for)とし
た後、ステップＳ１１０に進む。また、ステップＳ１０
３でマクロブロックタイプが前方予測マクロブロックで
ないと判定した場合には、ステップＳ１０４に進む。

【０１０３】このステップＳ１０４では、マクロブロッ
クタイプがインターマクロブロックのうちの後方予測マ
クロブロック(backward MB) か否かの判定を行う。当該
ステップＳ１０４で後方予測マクロブロックであると判
断した場合にはステップＳ１０８で難易度（difficult
y）を後方予測マクロブロックの誤差の絶対値和（AD＿b
ac)とした後、ステップＳ１１０に進む。また、ステッ
プＳ１０４でマクロブロックタイプが後方予測マクロブ
ロックでないと判定した場合には、ステップＳ１０５に
進む。

【０１０４】このステップＳ１０５では、マクロブロッ
クタイプがインターマクロブロックのうちの両方向予測
マクロブロック(bidirectional MB)か否かの判定を行
う。当該ステップＳ１０５で両方向予測マクロブロック
であると判断した場合にはステップＳ１０９で難易度
（difficulty）を両方向予測マクロブロックの誤差の絶
対値和（AD＿bid)とした後、ステップＳ１１０に進む。
また、ステップＳ１０５でマクロブロックタイプが両方
向予測マクロブロックでないと判定した場合には、ステ
ップＳ１１０に進む。

【０１０５】上記ステップＳ１１０では、全マクロブロ
ック分の難易度の集計が終了したか否かの判定を行い、
終了していないと判定した場合にはステップＳ１０２に
戻り、終了したと判定した場合にはステップＳ１１１で
難易度の集計を終了し、ステップＳ８７に戻る。次に図
２のステップＳ８９における学習パラメータＡ，Ｂに因
る回帰予測のフローチャートについて図４を用いて説明
する。

【０１０６】図２のステップＳ８９で学習パラメータ
Ａ，Ｂに因る回帰予測の処理に進むと、図４のステップ
Ｓ１２０以降の処理に移る。この図４において、ステッ
プＳ１２１では、前記式(11)の演算を行い、次のステッ
プＳ１２２では、この式(11)の演算により得られた学習
パラメータＡ，Ｂによる回帰予測処理を終了し、図２の
ステップＳ８９に戻る。

【０１０７】次に図２のステップＳ９３における学習パ
ラメータＡ，Ｂの修正更新のフローチャートについて図
５を用いて説明する。すなわちこの図５のフローチャー
トでは、新たな標本を標本集合に加え、最小２乗誤差法
によりパラメータＡ，Ｂを求め、古い標本を標本集合か
ら除くことで、回帰予測のための学習パラメータＡ，Ｂ
を更新修正する。

【０１０８】図２のステップＳ９３で学習パラメータ
Ａ，Ｂの修正構成の処理に進むと、図５のステップＳ１
３０以降の処理に移る。この図５において、ステップＳ
１３１では、最小２乗誤差法で、学習パラメータＡ，Ｂ
の修正と更新を行う。ここでは、１画面のデータを集計
し、以下の式(15),(16) に示すように、 ｘ＝log(average ＿Q) (14) ｙ＝log(generated ＿bit/difficulty) (15) とする。

【０１０９】次のステップＳ１３２では、新しいｘ，ｙ
データを回帰分析標本集合に加え、ステップＳ１３３で
は学習パラメータＡ，Ｂを最小２乗誤差法により計算す
る。さらに次のステップＳ１３４では学習パラメータ
Ａ，Ｂを最大値，最小値でクリップし、ステップＳ１３
５では古いｘ，ｙデータを回帰分析の標本集合から除
く。その後、ステップＳ１３６では学習パラメータＡ，
Ｂの修正更新を終了して、図２のステップＳ９３に戻
る。

【０１１０】上述のようにして求めた発生ビット量と量
子化スケール（Q ＿scale)の関係は、図６に示すように
なる。上述した本発明実施例の画像符号化装置について
まとめると、本実施例の画像符号化装置においては、基
本量子化ステップの制御の際に、入力画像データの情報
量を見積るパラメータ（評価値）と量子化後の予定圧縮
データ量とから、基本量子化ステップを精度良く予測す
るようにしている。

【０１１１】ここで、当該基本量子化ステップを精度良
く予測するために、入力画像データの情報量を見積るパ
ラメータと実際に圧縮に使用した量子化ステップと圧縮
後のデータ量の関係を学習するようにしている。また、
基本量子化ステップを予測する際には、入力画像データ
の情報量を見積る方法として、１画面毎に難しさ（難易
度）を、マクロブロックタイプ決定後のマクロブロック
タイプに応じて誤差の絶対値和（ＡＤ），誤差の平均絶
対値和（ＭＡＤ）のどちらかを加算し、１画面分合計
し、これをその画面の難易度(difficulty)としている。
さらに、本実施例では、１画面毎の割当ビット量(alloc
ated＿bit)を、難易度(difficulty)を１ＧＯＰ分集計
し、この１ＧＯＰ分の難易度に応じてビット配分を行う
ようにしている。

【０１１２】また、本実施例装置では、１画面毎の割当
ビット量(allocated＿bit)と難易度(difficulty)から、
ピクチャタイプ毎に前記式(10)の関係があると仮定し、
予め式中のＡ，Ｂを学習により求めておき、さらに式(1
0)を変形した式(11)から基本量子化スケール(Q＿scale)
を求めるようにしている。このとき、マクロブロック毎
の学習パラメータＡ，Ｂは、前記式(12), 式(13), 式(1
4)のように、マクロブロック毎の量子化ステップの平均
値と１画面圧縮した後の発生量とを用い、最小２乗誤差
法で求めることができる。

【０１１３】またさらに、学習パラメータＡ，Ｂを学習
し、修正する際には、ピクチャータイプ毎に各々最近の
ｎ秒間のデータから求める（すなわち、最近の過去ｎ秒
間以上過去のデータは使わない）ようにしている。この
とき、過去のデータを図６のようにグラフにプロット
し、直線近似ができそうな部分の基本量子化スケール(Q
＿scale)の最大値、最小値の平均データを標本集合中に
入れておき、予測直線を安定させるようにし、さらには
学習パラメータＡ，Ｂには上限下限を設定し、特異なデ
ータが多く入力されても安定した基本量子化ステップ予
測を行えるようにしている。

【０１１４】上述したようなことから、本実施例の画像
符号化装置によれば、基本量子化ステップを精度良く予
測できるため、画面内で量子化ステップの制御を特に行
わなくても一画面に割り当てた圧縮後の予想ビット量に
近くなり、したがって、画面毎にビットの使い込みや余
りが起きなくなるので、平均した画質を維持できるよう
になる。例えば、画面内で量子化ステップの制御を上手
に行ったとしても、基本量子化ステップが大きく外れて
いたならば、画面内で量子化ステップの変動がおき、画
質の不均質を検出できる圧縮画ができてしまうが、本実
施例では、圧縮に際しての難易度に応じてビット配分を
行うため、基本量子化ステップを精度良く予測でき、し
たがって、無駄なくビットが使われ、画面内や画面毎の
不均質が検出し難い圧縮画ができる。

【０１１５】また、本実施例では、基本量子化ステップ
を精度良く予測する機構が、変動する入力画によって修
正、学習を行い、入力画に追随するため、基本量子化ス
テップを精度良く予測する機構が維持できる。さらに、
本実施例装置では、基本量子化ステップを精度良く予測
する機構が、過去の学習結果に引きずられることなく、
最近のある期間の入力画の影響を学習に使用するように
しているため、入力画に素早く追随した基本量子化ステ
ップの予測が行なえる。

【０１１６】また、本実施例装置では、基本量子化ステ
ップを精度良く予測する機構が、実験で求めた多くの学
習データからの予測直線を最近の入力画の学習データで
更新し、なおかつ実験で求めた予測直線データは、ｘ，
ｙ共に最大値、最小値に近いデータが入力されている。
したがって、最小二乗誤差法では、実験の影響が大きく
なるため、もし特異な入力画の学習データが入ったとし
ても、それに引きずられずに基本量子化ステップの予測
が行なえる。

【０１１７】またさらに、本実施例の画像符号化装置に
よれば、上記の実験で求めた最大値，最小値の付近の
ｘ，ｙから求められる学習パラメータＡ，Ｂでの変動抑
制でも防げないような予測直線となった場合でも、最終
的にパラメータＡ，Ｂをクリップすることにより、異常
な学習結果を保存しないので、基本量子化ステップを精
度良く予測する機構を維持できる。

【０１１８】

【発明の効果】本発明の画像符号化装置においては、蓄
積した複数枚の画像データから情報量を評価し、さらに
画像間の相関を検出し、情報量の評価値と画像間の相関
情報とに基づいて適応的に画像データの圧縮方法を選択
し、選択した圧縮方法で１画面分の画像データを圧縮す
ることにより得られる予定圧縮データ量と評価値とから
基本量子化ステップを予測することにより、基本量子化
ステップが精度良く予測でき、画面内で量子化ステップ
の制御を特に行わなくても一画面に割り当てた圧縮後の
予想ビット量に近くなり、したがって、画面毎にビット
の使い込みや余りが起きなくなるので、平均した画質を
維持できるようになる。このため、効率の良い画像圧縮
が可能で、全体的に画質を向上させることが可能とな
る。

【０１１９】また、本発明の画像符号化装置において
は、実際に圧縮に使用した量子化ステップと圧縮後のデ
ータ量と評価値の関係を学習し、当該学習結果に応じて
基本量子化ステップの予測を行うようにしているため、
変動する入力画像でもその入力画像に追従でき、基本量
子化ステップを精度良く予測することが可能となってい
る。

【０１２０】また、本発明装置では、圧縮方法選択手段
で選択された圧縮方法毎に過去ｎ秒間の情報を使用して
学習を行うようにしているため、過去の学習結果を引き
ずられることなく、入力画像に素早く追随した基本量子
化ステップの予測が行なえる。さらに、本発明装置で
は、上記基本量子化ステップを予測する際には、過去に
求めた複数の量子化ステップと発生ビット量と情報量と
に基づいて予測を行うようにしているため、例えば特異
な入力画画像の学習データが入ったとしても、それに引
きずられずに基本量子化ステップの予測が行なえる。ま
たこのとき、本発明では予測に使用する直線の傾きとオ
フセットに対して、上限及び下限を設けるようにしてい
るため、学習パラメータの変動抑制でも防げないような
予測直線となった場合でも、最終的にパラメータをクリ
ップでき、異常な学習結果を保存しないので、基本量子
化ステップを精度良く予測することが可能となる。

【図面の簡単な説明】

【図１】本発明実施例の画像符号化装置の概略構成を示
すブロック回路図である。

【図２】本実施例装置の動作を説明するためのフローチ
ャートである。

【図３】難易度の集計のフローチャートである。

【図４】学習パラメータＡ，Ｂに因る回帰予測のフロー
チャートである。

【図５】学習パラメータＡ，Ｂの修正，更新のフローチ
ャートである。

【図６】発生ビット量と基本量子化スケールとの関係を
示す図である。

【図７】従来の画像符号化装置の概略構成を示すブロッ
ク回路図である。

【図８】画像の解像度と構成について説明するための図
である。

【図９】マクロブロックとブロックについて説明するた
めの図である。

【図１０】ジグザグスキャンについて説明するための図
である。

【図１１】ＧＯＰの一例について説明するための図であ
る。

【符号の説明】

２２，４０ フレームメモリ １１ ブロック分割器 １２ 差分器 １３，２４ スイッチ １４ ＤＣＴ回路 １５ 量子化器 １６ ジグザグスキャン回路 １７ 可変長符号化回路 １８ 出力バッファ １９，３９ 量子化ステップ制御器 ２０ 動き検出器 ２１ 動き補償器 ２５ 加算器 ２６ 逆ＤＣＴ回路 ２７ 逆量子化器 ３１ シーンチェンジ検出回路 ３２ 圧縮方法選択回路 ３３ 動きベクトル発生回路 ５０ 画像情報評価回路

Claims (10)

【特許請求の範囲】
1. 【請求項１】 入力画像データを複数枚蓄える画像デー
   タ蓄積手段と、 上記画像データ蓄積手段に蓄積された複数枚の画像デー
   タから、当該入力画像データの情報量を評価する画像情
   報評価手段と、 上記画像データ蓄積手段に蓄積された複数枚の画像デー
   タから、画像間の相関を検出する画像間相関検出手段
   と、 画像データに直交変換処理を施し、直交変換係数を生成
   する直交変換手段と、 上記直交変換手段により生成された直交変換係数を、所
   定の量子化ステップで量子化する量子化手段と、 上記画像情報評価手段によって得られた情報量の評価値
   と上記画像間相関検出手段からの画像間の相関情報とに
   基づいて、適応的に画像データの圧縮方法を選択する圧
   縮方法選択手段と、 上記圧縮方法選択手段が選択した圧縮方法で１画面分の
   画像データを圧縮することにより得られる予定圧縮デー
   タ量と上記評価値とから、上記量子化手段における量子
   化の際の基本量子化ステップを予測する量子化ステップ
   制御手段とを有することを特徴とする画像符号化装置。
2. 【請求項２】 上記量子化ステップ制御手段は、実際に
   圧縮に使用した量子化ステップと圧縮後のデータ量と上
   記評価値の関係を学習し、当該学習結果に応じて上記基
   本量子化ステップの予測を行うことを特徴とする請求項
   １記載の画像符号化装置。
3. 【請求項３】 上記量子化ステップ制御手段は、画像デ
   ータを複数に分割したマクロブロック毎の上記評価値を
   １画面分合計して合計評価値を求め、当該合計評価値を
   上記基本量子化ステップの予測に使用することを特徴と
   する請求項１又は２記載の画像符号化装置。
4. 【請求項４】 上記画像情報評価手段は、動き検出によ
   る動きベクトルに応じた参照画像のマクロブロックの画
   素データと入力画像のマクロブロックの画素データとの
   差分のマクロブロック毎の絶対値和を、上記評価値とす
   ることを特徴とする請求項３記載の画像符号化装置。
5. 【請求項５】 上記量子化ステップ制御手段は、フレー
   ム内符号化がなされる周期を１単位とし、上記合計評価
   値を当該１単位分集計して、上記量子化手段における量
   子化の際のビット配分を行うことを特徴とする請求項４
   記載の画像符号化装置。
6. 【請求項６】 上記量子化ステップ制御手段は、１画面
   毎の量子化の割当ビット量と上記合計評価値との関係が
   上記選択された圧縮方法毎に所定の関係式にあると仮定
   し、予め求めた学習パラメータと上記所定の関係式とか
   ら、上記基本量子化ステップを計算することを特徴とす
   る請求項５記載の画像符号化装置。
7. 【請求項７】 上記量子化ステップ制御手段は、上記マ
   クロブロック毎の基本量子化ステップの１画面分の平均
   値と１画面分圧縮した後のデータ量と１画面分の上記評
   価値とを用い、最小２乗誤差法によって予め上記学習パ
   ラメータを求めることを特徴とする請求項６記載の画像
   符号化装置。
8. 【請求項８】 上記量子化ステップ制御手段は、上記圧
   縮方法選択手段で選択された圧縮方法毎に過去ｎ秒間の
   情報を使用して上記学習パラメータを求めることを特徴
   とする請求項７記載の画像符号化装置。
9. 【請求項９】 上記量子化ステップ制御手段は、基本量
   子化ステップの予測に際し、過去に求めた複数の量子化
   ステップと発生ビット量と情報量とに基づいて予測を行
   うことを特徴とする請求項７記載の画像符号化装置。
10. 【請求項１０】 上記量子化ステップ制御手段は、予測
    に使用する直線の傾きとオフセットに対して、上限及び
    下限を設けることを特徴とする請求項７記載の画像符号
    化装置。