JPH08102965A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】 【構成】 入力画像データを分割したブロックの輝度デ
ータと色差データの複数組からなるマクロブロック毎に
サーチ側とリファレンス側のピクセル毎の誤差値を輝度
データと色差データとから求め、当該誤差値を合計した
合計誤差値が最小となる動きベクトルを検出する動き検
出器４１及び動きベクトル発生回路３４と、求めた動き
ベクトルに基づいて適応的に画像データの圧縮方法を選
択する圧縮方法選択回路３２と、選択した圧縮方法に従
って入力画像データに所定の圧縮符号化処理を施す差分
器１２から可変長符号化回路１７及びローカルデコーダ
とを有する。 【効果】 効率の良い画像圧縮が可能で、全体的に画質
を向上させることができると共に、コストの低減も可能
となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば画像を圧縮符号
化する場合に用いて好適な画像符号化装置に関する。

【０００２】

【従来の技術】従来の例えば画像を圧縮符号化する場合
に用いて好適な画像符号化装置の構成例を図６に示す。
この図６の画像符号化装置において、入力端子１には、
図７に示すように、 輝度成分(Y) 352(H)×240(V)×30フレーム クロマ成分(Cb) 174(H)×120(V)×30フレーム クロマ成分(Cr) 174(H)×120(V)×30フレーム のピクセル数にディジタル化された画像データが供給さ
れる。

【０００３】上記入力端子１に供給された入力画像デー
タは、当該入力画像データを一時的に蓄えて然るべき順
番に入れ替えるためのフレームメモリ１０を介して、動
き検出器２０とブロック分割器１１に送られる。当該ブ
ロック分割器１１は、フレームメモリ１０から供給され
たそれぞれのフレームを、図８に示すように、輝度成分
(Y) ，クロマ成分(Cr),(Cb) それぞれを８×８ピクセル
のブロックに分割する。なお、輝度成分(Y) の４つのブ
ロック(Y0,Y1,Y2,Y3）と１つのクロマ成分(Cb)のブロッ
クと、１つのクロマ成分(Cr)のブロックからなる合計６
つのブロック(Y0,Y1,Y2,Y3,Cb,Cr) は、マクロブロック
(MB)と呼ばれている。なお、マクロブロックを構成する
輝度画素（ルミナンスピクセル）とクロマ画素（クロミ
ナンスピクセル）との関係は、図９に示すようになって
いる。

【０００４】このブロック分割器１１からのマクロブロ
ック単位のデータは差分器１２に送られる。この差分器
１２では、ブロック分割器１１からのデータと後述する
フレーム間予測画像データとの差分をとり、その出力を
後述するフレーム間予測符号化がなされるフレームのデ
ータとして切換スイッチ１３の被切換端子ｂに送る。ま
た、当該切換スイッチ１３の被切換端子ａには、上記ブ
ロック分割器１１からのデータが後述するフレーム内符
号化がなされるフレームのデータとして供給される。

【０００５】上記切換スイッチ１３を介したブロック単
位のデータはＤＣＴ回路１４によって離散コサイン変換
（ＤＣＴ）処理され、そのＤＣＴ係数が量子化器１５に
送られる。当該量子化器１５では、所定の量子化ステッ
プ幅で上記ＤＣＴ出力を量子化し、この量子化した係数
がジグザグスキャン回路１６に送られる。当該ジグザグ
スキャン回路１６では、上記量子化係数を図１０に示す
ようにいわゆるジグザグスキャンによって並べ換え、そ
の出力を可変長符号化回路１７に送る。この可変長符号
化回路１７では、上記ジグザグスキャン回路１６の出力
データを可変長符号化（ＶＬＣ）し、その出力を出力バ
ッファ１８に送ると共に、当該可変長符号化処理により
発生した符号量を示す情報を、量子化ステップ制御器１
９に送る。量子化ステップ制御器１９は、可変長符号化
回路１７からの符号量を示す情報に基づいて量子化器１
５の量子化ステップ幅を制御する。また、上記出力バッ
ファ１８から出力されたデータは圧縮符号化がなされた
符号化出力として出力端子２から出力される。

【０００６】また、上記量子化器１５からの出力は、逆
量子化器２７によって逆量子化され、さらに逆ＤＣＴ回
路２６によって逆ＤＣＴ処理される。当該逆ＤＣＴ回路
２６の出力は、加算器２５に送られる。この加算器２５
には、フレーム間予測符号化のフレームのときにオンと
なる切換スイッチ２４を介した動き補償器２１からのフ
レーム間予測画像データも供給され、当該データと上記
逆ＤＣＴ回路２６の出力データとの加算が行われる。こ
の加算器２５の出力データは、フレームメモリ２２に一
時的に蓄えられた後、動き補償器２１に送られる。

【０００７】当該動き補償器２１は、上記動き検出器２
０によって検出された動きベクトルに基づいて動き補償
を行い、これによって得たフレーム間予測画像データを
出力する。以下、上記図６の従来の画像符号化装置の具
体的な動作について詳細に説明する。ここで、説明のた
めに以下のように各フレームの呼び名を定義する。

【０００８】先ず、表示順にフレームを並べたとき、そ
れぞれを Ｉ０，Ｂ１，Ｂ２，Ｐ３，Ｂ４，Ｂ５，Ｐ６，Ｂ７，Ｂ
８，Ｉ９，Ｂ１０，Ｂ１１，Ｂ１２，・・・・・ と呼ぶこととする。これらのフレームのうち、Ｉ，Ｐ，
Ｂは、後に説明するが、圧縮方法の種類を示し、これら
Ｉ，Ｐ，Ｂの次の数字は、単純に表示順を示している。

【０００９】カラー動画像符号化方式の国際標準化作業
グループであるいわゆるＭＰＥＧ（Moving Picture Exp
ert Group)のうちＭＰＥＧ１では、この様な画像を圧縮
するために、以下のようにすることが規定されている。
先ず、Ｉ０の画像を圧縮する。次に、Ｐ３の画像を圧縮
するのだが、Ｐ３そのものを圧縮するのではなく、Ｐ３
とＩ０の画像との差分データを圧縮する。

【００１０】その次に、Ｂ１の画像を圧縮するのだが、
Ｂ１そのものを圧縮するのではなく、Ｂ１とＩ０或い
は、Ｂ１とＰ３との差分データ或いはＩ０とＰ３の平均
値との差分（いずれか情報の少ない方）を圧縮する。そ
の次に、Ｂ２の画像を圧縮するのだが、Ｂ２そのものを
圧縮するのではなく、Ｂ２とＩ０或いは、Ｂ２とＰ３と
の差分データ或いはＩ０とＰ３の平均値との差分（どち
らか情報の少ない方を選んで）を圧縮する。

【００１１】次に、Ｐ６の画像を圧縮するのだが、Ｐ６
そのものを圧縮するのではなく、Ｐ６とＰ３の画像との
差分データを圧縮する。上述したような処理を順番に並
べて表すと、 となる。このようにエンコード順は、 Ｉ０，Ｐ３，Ｂ１，Ｂ２，Ｐ６，Ｂ４，Ｂ５，Ｐ９，Ｂ
７，Ｂ８，Ｉ９，Ｐ１２，Ｂ１０，Ｂ１１，・・・・ のように、表示順とは順番が入れ替わる。圧縮後のデー
タ（符号化データ）はこの順番に並ぶことになる。

【００１２】以下、上述したことを図６の構成の動作と
共にさらに詳しく述べる。１枚目の画像（すなわちＩ
０）のエンコードでは、先ず、上記フレームメモリ１０
から１枚目に圧縮すべき画像のデータが、ブロック分割
器１１によってブロック化される。このブロック分割器
１１からは、前記Ｙ０，Ｙ１，Ｙ２，Ｙ３，Ｃｂ，Ｃｒ
の順にブロック毎のデータが出力され、被切換端子ａ側
に切り換えられた切換スイッチ１３を介してＤＣＴ回路
１４に送られる。このＤＣＴ回路１４では、それぞれの
ブロックについて縦横２次元の離散コサイン変換処理を
行う。これにより、時間軸であったデータが周波数軸に
変換される。

【００１３】このＤＣＴ回路１４からのＤＣＴ係数は、
量子化器１５に送られ、当該量子化器１５で所定の量子
化ステップ幅で量子化される。その後、ジグザグスキャ
ン回路１６によって図１０のようにジグザグ順に並べ変
えられる。このようにジグザグ順に並べると、後ろへ行
くほど、その係数は周波数成分の高い係数となるから、
一般的に係数の値は後ろの方が小さくなる傾向にある。
したがって、ある値Ｓで量子化すると、後ろへ行くほ
ど、その結果は０になる頻度が増し、結果的に高域の成
分が切り落とされることになる。

【００１４】その後、この量子化後の係数は、可変長符
号化（ＶＬＣ）回路１７へ送られ、ここでいわゆるハフ
マンコーディングが施される。この結果得られる圧縮さ
れたビットストリームは、出力バッファ１８に一旦蓄え
られた後、一定のビットレートで送出される。当該出力
バッファ１８は、不規則に発生するビットストリームを
一定のビットレートで送出できるようにするための緩衝
のためのメモリである。

【００１５】以上の様に１枚の画像だけ単独で圧縮する
ことをフレーム内（イントラ：Intra ）符号化と言い、
この画像をＩピクチャと呼ぶ。したがって、デコーダが
上記のＩピクチャのビットストリームを受信した場合
は、以上に述べたことを逆にたどり、１枚目の画像を完
成させる。次に、２枚目の画像（すなわちＰ３）のエン
コードでは、以下のようになされる。

【００１６】すなわち、この２枚目以降もＩピクチャと
して圧縮してビットストリームを作っても良いが圧縮率
を上げるには、連続する画像の内容には相関があること
を利用して、以下の様な方法で圧縮する。先ず、動き検
出器２０では、２枚目の画像を構成するマクロブロック
毎に、１枚目の画像（Ｉ０）の中からそれに良く似たパ
ターンを捜し出し、それを動きベクトルという（ｘ，
ｙ）の相対位置の座標として表現する。

【００１７】また、２枚目の画像ではそれぞれのブロッ
クを、上記Ｉピクチャの場合のようにそのままＤＣＴ回
路１４に送るのではなく、そのブロック毎の動きベクト
ルに従って一枚目の画像から引っ張ってきたブロックと
の差分のデータ（差分器１２による差分データ）を、Ｄ
ＣＴ回路１４へ送るようにする。なお、動きベクトルの
検出方法としては、ＩＳＯ／ＩＥＣ 11172-2 annex D.
6.2 に詳細に述べられているためここでは省略する。

【００１８】ここで、例えば上記動きベクトルによって
示された一枚目の画像のパターンと、これから圧縮しよ
うとするブロックのパターンとの間で、相関が非常に強
くなっていれば、その差分データは非常に小さくなり、
したがって、上記フレーム内（イントラ）符号化で圧縮
するよりも、上記動きベクトルと上記差分データとを符
号化した方が、圧縮後のデータ量は小さくなる。

【００１９】このような圧縮方法を、フレーム間（イン
ター：Inter)予測符号化と呼んでいる。ただし、常に差
分データが少なくなるわけではなく、絵柄（画像内容）
によっては、差分を取るよりも、上記フレーム内符号化
で圧縮した方が、圧縮率が上がる場合がある。このよう
な場合は、上記フレーム内符号化で圧縮する。フレーム
間予測符号化にするか、フレーム内符号化にするかは、
マクロブロック毎に異なる。

【００２０】以上のことを図６の画像符号化装置（エン
コーダ）に即して説明すると、先ず、フレーム間予測符
号化を行うためには、エンコーダ側でたえずデコーダ側
で作られる画像と同じ画像を作って置く必要がある。そ
のためにエンコーダ内には、デコーダと同じ回路が存在
する。その回路をローカルデコーダ（局部復号器）と呼
ぶ。図６の逆量子化器２７と逆ＤＣＴ回路２６と加算器
２５とフレームメモリ２２と動き補償器２１が当該ロー
カルデコーダに対応し、フレームメモリ２２内に記憶さ
れる画像のことをローカルデコーデッドピクチャ（Loca
l decoded picture)又はローカルデコーデッドデータ(L
ocal decoded data)と呼ぶ。これに対して、圧縮前の画
像のデータは、オリジナルピクチャ(Original picture)
又はオリジナルデータ(Original data) と呼ぶ。

【００２１】なお、前述した１枚目のＩピクチャの圧縮
時にも、上記ローカルデコーダを通して復号化された１
枚目の画像が、上記フレームメモリ２２内に格納され
る。ここで、注意すべきことは、このローカルデコーダ
によって得られる画像は、圧縮前の画像ではなく、圧縮
後復元した画像であり、圧縮による画質劣化のある、デ
コーダが復号化する画像とまったく同じ画像であるとい
うことである。

【００２２】このような状態のエンコーダに２枚目の画
像（Ｐ３）のデータ(Original data）が入ってくるわけ
だが（この段階ですでに、動きベクトルは検出済でなけ
ればならない）、データはブロック毎に動きベクトルを
持ち、このベクトルが動き補償器（MC:Motion Compensa
tion）２１に与えられる。当該動き補償回路２１は、そ
の動きベクトルの示すローカルデコーデッドピクチャ上
のデータ（動き補償データ：MC data:１マクロブロッ
ク）を上記フレーム間予測画像データとして出力する。

【００２３】上記２枚目のオリジナルデータとこの動き
補償データ（フレーム間予測画像データ）のピクセル毎
の、差分器１２による差分データが、上記ＤＣＴ回路１
４に入力される。それからの後の圧縮方法は、基本的に
Ｉピクチャと同じである。上述のような圧縮方法によっ
て圧縮する画像をＰピクチャ（Predicted picture)と呼
ぶ。

【００２４】さらに詳しく説明すると、Ｐピクチャにお
いてすべてのマクロブロックがフレーム間予測符号化で
圧縮するとは限らず、フレーム内符号化で圧縮する方が
効率が良いと判断されるときは、そのマクロブロックは
当該フレーム内符号化で符号化を行う。すなわち、Ｐピ
クチャにおいても、マクロブロック毎に、フレーム内符
号化によるか（このマクロブロックをイントラマクロブ
ロックと呼ぶ）、又はフレーム間予測符号化によるか
（このマクロブロックをインターマクロブロックと呼
ぶ）のどちらかを選択して圧縮を行う。

【００２５】上述のように、上記ローカルデコーダで
は、量子化器１５の出力が、逆量子化器２７で逆量子化
され、さらに逆ＤＣＴ回路２６で逆ＤＣＴ処理された
後、エンコード時に動き補償データ（MC data ）と足さ
れ最終的なローカルデコーデッドピクチャとなる。次
に、３枚目の画像（すなわちＢ１）のエンコードでは、
以下のようになされる。

【００２６】上記３枚目の画像（Ｂ１）のエンコードで
は、Ｉ０，Ｐ３の２枚の画像それぞれに対する動きベク
トルを探索する。ここで、Ｉ０に対する動きベクトルを
フォワードベクトル（forward Vector）ＭＶｆ(x,y) と
呼び、Ｐ３に対する動きベクトルをバックワードベクト
ル（Backward Vector)ＭＶｂ(x,y) と呼ぶ。この３枚目
の画像についても差分データを圧縮するわけであるが、
どのデータを圧縮するのかが、問題である。この場合も
一番情報量が少なくなるものとの差分を取れば良い。こ
のときの圧縮方法の選択肢としては、 （１）フォワードベクトルＭＶｆ(x,y) の示すＩ０上の
データとの差分 （２）バックワードベクトルＭＶｂ(x,y) の示すＰ３上
のデータとの差分 （３）フォワードベクトルＭＶｆ(x,y) の示すＩ０上の
データとバックワードベクトルＭＶｂ(x,y) の示すＰ３
上のデータの平均値との差分 （４）差分データは使わない（フレーム内符号化） の４つである。マクロブロック毎にこの４種類の圧縮方
法から一つが選択される。上記圧縮方法の選択肢のうち
の（１），（２），（３）の場合は、それぞれの動きベ
クトルも動き補償器２１に送られ、差分器２１ではその
動き補償データとの差分をとり、これがＤＣＴ回路１４
に送られる。上記圧縮方法の選択肢のうちの（４）の場
合は、そのままのデータがＤＣＴ回路１４へ送られる。

【００２７】上述した１枚目、２枚目のエンコードの処
理の結果、ローカルデコーデッドピクチャを格納するフ
レームメモリ２２には、Ｉ０，Ｐ３の２枚のピクチャ
が、復元されているのでこのようなことが可能である。
次に、４枚目の画像（すなわちＢ２）のエンコードで
は、以下のようになされる。

【００２８】上記４枚目の画像（Ｂ２）のエンコードで
は、上述した３枚目（Ｂ１）のエンコード方法のところ
の説明文で、Ｂ１をＢ２に置き換えたこと以外は、上記
３枚目のエンコードと同じ方法で圧縮する。次に、５枚
目の画像（すなわちＰ６）のエンコードでは、以下のよ
うになされる。

【００２９】上記５枚目の画像（Ｐ６）のエンコードで
は、上述した２枚目（Ｐ３）のエンコード方法のところ
の説明文で、Ｐ３をＰ６に、Ｉ０をＰ３に置き換えただ
けで、他は同じ説明となる。６枚目以降は、上述の繰り
返しとなるので説明は省略する。また、ＭＰＥＧにおい
ては、ＧＯＰ（Group Of Picture）と呼ばれるものが規
定されている。

【００３０】すなわち、何枚かのピクチャの集まりがグ
ループオブピクチャ（ＧＯＰ）と呼ばれており、当該Ｇ
ＯＰは符号化データ（圧縮後のデータ）上で見て連続し
た画像の集まりでなくてはならないものである。また、
ＧＯＰはランダムアクセスを考慮したもので、そのため
には符号化データ上で見てＧＯＰの最初に来るピクチャ
は上記Ｉピクチャである必要がある。さらに、表示順
（ディスプレイ順）でＧＯＰの最後は、Ｉ又はＰピクチ
ャでなくてはならない。

【００３１】図１１には、最初が４枚のピクチャからな
るＧＯＰで、それ以降が６枚のピクチャからなるＧＯＰ
となる例を挙げる。なお、図１１のＡはディスプレイ順
を示し、図１１のＢは符号化データ順を示している。こ
の図１１において、ＧＯＰ２に注目すると、Ｂ４，Ｂ５
はＰ３，Ｉ６から形成されるため、例えばランダムアク
セスでＩ６にアクセスされると、Ｐ３が無いため、Ｂ
４，Ｂ５は正しく復号化できない。このようにＧＯＰ内
だけで正しく復号化できないＧＯＰは、クローズドＧＯ
Ｐ（Closed GOP）でないという。

【００３２】これに対し、もしＢ４，Ｂ５がＩ６だけし
か参照していないとしならば、例えばランダムアクセス
でＩ６にアクセスしても、Ｐ３は必要ないため、これら
Ｂ４，Ｂ５は正しく復号化できることになる。このよう
にＧＯＰ内だけの情報で、完全に復号化できるＧＯＰを
クローズドＧＯＰ（Closed GOP）と呼ぶ。以上のような
圧縮方法の選択の中から一番効率の良い方法で圧縮する
わけであるが、その結果発生する符号化データ（Coded
data）の量は、入力画像にも依存し、実際に圧縮してみ
ないと判らない。

【００３３】しかし、圧縮後のデータのビットレートを
一定にするためにコントロールすることも必要である。
当該コントロールを行うためのパラメータは、量子化器
１５に与える前記符号量を表す情報としての量子化ステ
ップ（又は量子化スケール：Q-scale ）である。同じ圧
縮方法でも、上記量子化ステップを大きくすれば発生ビ
ット量は減り、小さくすれば増える。

【００３４】この量子化ステップの値は、次のようにし
て制御する。エンコーダには、圧縮後のデータを一定の
ビットレートにするために、出力に緩衝バッファ（出力
バッファ１８）が設けられており、これによって画像毎
のある程度のデータ発生量の差は吸収できるようになさ
れている。しかし、定められたビットレートを超えるよ
うなデータの発生が続けば、出力バッファ１８の残量が
増加し、ついにはオーバーフローを起こすことになる。
逆にビットレートを下回るデータの発生が続けば出力バ
ッファ１８の残量は減少し、最後にはアンダーフローを
引き起こすことになる。

【００３５】したがって、エンコーダは、出力バッファ
１８の残量をフィードバックすることにより、前記量子
化ステップ制御器１９が量子化器１５の量子化ステップ
をコントロールし、ここで出力バッファ１８の残量が少
なくなればあまり圧縮しないように量子化ステップを小
さくなるよう制御し、出力バッファ１８の残量が多くな
れば圧縮率を高くするように量子化ステップを大きくす
るようにコントロールを行うようにしている。

【００３６】また、前述した圧縮方法（前記フレーム内
符号化やフレーム間予測符号化）によって発生する符号
化データ量の範囲には、大きな差がある。特にフレーム
内符号化方式で圧縮をすると大量のデータが発生するた
め、出力バッフファ１８の空き容量が小さい場合には量
子化ステップサイズを大きくしなければならず、場合に
よっては量子化ステップサイズを最大にしてもバッファ
１８のオーバーフローを招くかもしれない。よしんばバ
ッファ１８に収まったとしても量子化ステップが大きけ
ればフレーム内符号化の画像は後のフレーム間予測符号
化の画質に影響するので、フレーム内符号化での圧縮を
行う前には出力バッファ１８に十分な空き容量が必要で
ある。

【００３７】したがって、予め定められた順序の圧縮方
法を決めておき、フレーム内符号化の前には十分な出力
バッファ１８の空き容量を確保するように、量子化ステ
ップ制御器１９は量子化ステップサイズのフィードバッ
クコントロールを行うようにしている。以上のようにし
て一定レートの符号化データに抑えることが可能とな
る。

【００３８】

【発明が解決しようとする課題】ところで、上述した従
来の方法では、以下の理由により高画質を得られないこ
とが欠点となっている。すなわち、入力画像は様々であ
り、例えば、輝度データは殆ど空間的に変化がなく色差
データだけが変化している画像や、時間的に輝度データ
は殆ど変化がなく色差データだけが変化している画像が
存在する。

【００３９】このような入力画像に対して従来の技術で
処理を行なった場合には、以下のような問題がある。動
きベクトルの検出においては、サーチ側とリファレンス
側のピクセル毎の誤差値が、輝度データだけに限って最
小となるような動きベクトルを検出しても輝度データは
殆ど変化がないため、色差データも含めて誤差値が最小
となるような圧縮を行う上で有利でしかも高画質になる
と思われる動きベクトルは検出できない。

【００４０】また、マクロブロック毎にフレーム内符号
化／フレーム間予測符号化の判定を行う場合でも、色差
データを画像評価の指標として収集していなければ、輝
度データだけの誤差値は小さく、したがって、例えば時
間的に輝度データはほとんど変化しないで色差データが
大きく変化する画像があった場合は、正しくはフレーム
内符号化と判定すべきであるがフレーム間予測符号化と
判定してしまうことがある。

【００４１】さらに、従来の方法では、ＭＰＥＧ１の場
合で画像データの中（マクロブロックを構成する前記６
つのブロック(Y0,Y1,Y2,Y3,Cb,Cr) の中）で２／６を占
める色差データ（ブロック(Cb,Cr))を、画像評価の指標
として全く収集していないため、色差データの状況が全
く推定できない。このため、色差データの状況によって
圧縮後のデータ量が予測を外れることがあった。

【００４２】また、圧縮後の画像データは全体として一
定レートに制御されるものであるため、例えば画像のあ
る部分で圧縮後のデータ量の予測が外れ、例えば当該あ
る部分に多くのデータ量を使用した場合には、それ以外
のいずれかの部分に対する使用可能なデータ量が少なく
なってしまい、結果としてその部分では画質が劣化して
しまうことになる。

【００４３】さらに、色素データ１ブロックは、データ
量的には全体の１／６と少ないが、面積的にはこの色差
データ１ブロックが輝度データ４ブロックに相当するた
め、色差データの視覚的影響は大きくなる。しかし、各
ブロックを単に合計しただけでは、その影響の大きさが
反映されないため、圧縮後の画像の色差データに劣化が
目だっていた。

【００４４】そこで、本発明は、上述のような実情に鑑
みて提案されたものであり、効率の良い画像圧縮が可能
で、全体的に画質を向上させることができると共に、コ
ストの低減も可能な画像符号化装置を提供することを目
的とするものである。

【００４５】

【課題を解決するための手段】本発明は上述した目的を
達成するために提案されたものであり、入力画像データ
を複数のブロックに分割し、分割したブロックの輝度デ
ータと色差データの複数組からなるマクロブロック毎
に、サーチ側とリファレンス側のピクセル毎の誤差値を
輝度データと色差データとから求め、当該誤差値を合計
した合計誤差値が最小となる動きベクトルを検出する動
きベクトル検出手段と、上記動きベクトル検出手段によ
って得られた動きベクトルに基づいて、適応的に画像デ
ータの圧縮方法を選択する圧縮方法選択手段と、上記圧
縮方法選択手段により選択された圧縮方法に従って上記
入力画像データに所定の圧縮符号化処理を施す圧縮符号
化処理手段とを有することを特徴とするものである。

【００４６】ここで、上記動きベクトル検出手段は、輝
度データのブロックと色差データのブロックの面積に応
じて上記合計誤差値の計算に重み付けを行ったり、輝度
データと色差データの重視する度合いに応じて上記合計
誤差値の計算に重み付けを行うことができる。また、上
記動きベクトル検出手段は、輝度データの誤差値が最小
となる動きベクトルを使用して切り出したサーチ側とリ
ファレンス側のピクセル毎の色差データの誤差値を求め
ることができる。

【００４７】さらに、上記圧縮方法選択手段は、上記ブ
ロック毎の輝度データと色差データの複雑さをマクロブ
ロック単位に集計した第１の集計値と、上記動きベクト
ルに基づく予測データと入力画像データとの誤差値をマ
クロブロック単位に集計した第２の集計値とを用いて、
マクロブロック毎の圧縮方法を選択する。また、本発明
の画像符号化装置は、上記各ブロック毎に輝度データと
色差データとを用いて画像情報を評価する画像情報評価
手段をも設けることができ、このとき上記圧縮符号化処
理手段は、上記画像情報評価手段からの評価値に基づい
て、圧縮符号化のビット割当を行う。また、上記画像情
報評価手段は、輝度データのブロックと色差データのブ
ロックの面積に応じて上記評価に重み付けを行ったり、
輝度データと色差データの重視する度合いに応じて上記
評価に重み付けを行うものとすることができる。

【００４８】

【作用】本発明によれば、輝度データのみならず色差デ
ータからも誤差値を求めており、これら輝度データと色
差データから求めた誤差値の合計誤差値から動きベクト
ルを検出しており、空間的に輝度が変化せずに色差だけ
に特徴がある入力画像でも効率的に圧縮するための動き
ベクトルを検出している。

【００４９】また、動きベクトル検出手段は、輝度デー
タのブロックと色差データのブロックの面積若しくは輝
度データと色差データの重視する度合いに応じて合計誤
差値の計算に重み付けを行うことで、色差データ部を重
視した色差部分の誤差の少ない動きベクトルを検出して
いる。また、動きベクトル検出手段は、輝度データの誤
差値が最小となる動きベクトルを使用して切り出したサ
ーチ側とリファレンス側のピクセル毎の色差データの誤
差値を求めることで、色差データのための誤差値の計算
を容易にし、計算コストを低減している。

【００５０】次に、圧縮方法選択手段は、ブロック毎の
輝度データと色差データの複雑さをマクロブロック単位
に集計した第１の集計値と、動きベクトルに基づく予測
データと入力画像データとの誤差値をマクロブロック単
位に集計した第２の集計値とを用いることで、輝度デー
タのみならず色差データも考慮した圧縮方法の選択を行
い、さらに、面積や重視する度合いに応じて色差データ
を重視した圧縮方法の選択を行うようにしている。

【００５１】また、本発明の画像符号化装置によれば、
画像情報を評価する画像情報評価手段をも設け、ここで
各ブロック毎に輝度データと色差データとを用いて画像
情報を評価することで、輝度データのみならず色差デー
タも考慮した画面内の画像情報を評価でき、さらにこの
ときの圧縮符号化処理手段は、その評価値に基づいて、
圧縮符号化のビット割当を行うことができる。また、こ
の画像情報評価手段でも、面積若しくは輝度データと色
差データの重視する度合いに応じて評価に重み付けを行
うことで、色差データ部を重視した評価が行える。

【００５２】

【実施例】以下、図面を参照し、本発明の実施例につい
て詳述する。図１には本発明実施例の画像符号化装置の
概略構成を示す。なお、この図１において、前述した図
６と同じの構成については同一の指示符号を付してその
説明については省略する。

【００５３】この図１の構成において、前記図６の構成
に追加された構成要素は画像情報評価回路５０とシーン
チェンジ検出回路３１と圧縮方法選択回路３２と動きベ
クトル発生回路３４であり、また、フレームメモリ４０
と動き検出器４１及び量子化ステップ制御器３３が変更
されている。すなわち、本発明実施例の画像符号化装置
は、入力画像データを前記図７及び図８のように複数の
ブロックに分割し、分割したブロックの輝度データと色
差データの複数組からなるマクロブロック毎に、サーチ
側とリファレンス側のピクセル毎の誤差値を輝度データ
と色差データとから求め、当該誤差値を合計した合計誤
差値が最小となる動きベクトルを検出する動きベクトル
検出手段としての動き検出器４１及び動きベクトル発生
回路３４と、上記動きベクトル検出手段によって得られ
た動きベクトルに基づいて、適応的に画像データの圧縮
方法（フレーム内符号化／フレーム間（前方，後方，両
方向）予測符号化）を選択する圧縮方法選択回路３２
と、上記圧縮方法選択回路３２により選択された圧縮方
法に従って上記入力画像データに所定の圧縮符号化処理
を施す圧縮符号化処理手段としての差分器１２から可変
長符号化回路１７及びローカルデコーダとを有すること
を特徴とするものである。

【００５４】先ず、入力端子１から入力された入力画像
データは、フレームメモリ４０に蓄えられる。このフレ
ームメモリ４０は、図６のフレームメモリ１０とは異な
り、所定数のフレームを蓄積できるものである。このと
きの蓄積する所定数のフレームとしては、多過ぎるとフ
レームメモリ４０が大規模になってしまうので好ましく
ない。上記所定数として効率的な容量は、ビットレート
と出力バッファ１８の容量、フレーム内符号化の圧縮方
式の画像同士の間隔（ほとんどの場合ＧＯＰの長さとい
っても差し支えない）に大きく依存するものである。こ
れは圧縮方法及び圧縮率の違いから生ずる圧縮データの
大きさのむらを出力バッファ１８によって吸収し定ビッ
トレートにすることができる範囲が上記条件によって制
約されるからである。

【００５５】ここで、一般的にフレーム内符号化方式で
圧縮することは定期的に行われる（これがＧＯＰになる
ことが多い）ものであり、フレーム内符号化の圧縮方式
は圧縮後のデータ量が他の方式に比べてかなり大きいた
め、フレーム内符号化による圧縮画像同士（或いはＧＯ
Ｐ）の間隔で情報量を調べ、データ量の配分をするのは
一つの合理的な方法である。

【００５６】しかし、本実施例の方式では、後述するシ
ーンチェンジ等によって前後の画像の相関が著しく低く
なった場合にも、フレーム内符号化方式で圧縮するよう
にしている。その場合、定期的に行うはずである近傍の
フレーム内符号化によって圧縮を行う画像は、定ビット
レート或いは均質な画質の維持が困難になるため、フレ
ーム内符号化による圧縮である必然性を失い、フレーム
内符号化で圧縮することを取り止める必要がでてくる。

【００５７】したがって、フレーム内符号化による圧縮
を行う周期の２倍程度を上記フレームメモリ４０の長さ
（上記所定数）とすることが適当である。もちろん、上
記フレーム数は一例であり、これに限定されることはな
く様々な条件に合わせて変更することは可能である。上
記フレームメモリ４０に蓄積された画像データは、適
宜、画像情報評価回路５０に送られる。

【００５８】ここで、当該画像情報評価回路５０は、大
別して２通りのパラメータを算出するものである。第１
のパラメータは、フレーム内符号化で圧縮を行った場合
の圧縮後のデータ量を予測することが可能なように、そ
の画像自身の情報量を示すものである。この第１のパラ
メータとしては、例えば、フレームメモリ４０から供給
された画像データに対して、ＤＣＴ処理をブロック毎に
行い、そのＤＣＴ係数の和や統計をとったものとした
り、また、それでは規模が大きくなる場合には、平均自
乗誤差のブロック毎の和を求めたものとする。いずれに
しても、当該画像情報評価回路５０では、画像の情報量
を表し、圧縮後のデーター量を類推するに足るパラメー
タを算出する。ここで、本実施例の画像情報評価回路５
０では、輝度データと色差データとから、圧縮後のデー
タ量を類推するのに足るパラメータを求めている。

【００５９】第２のパラメータは、フレーム間予測符号
化で圧縮を行った場合の圧縮後のデータ量を予測するこ
とが可能な、画像の差分情報量を示すものである。この
場合のパラメータとしては、例えば、フレームメモリ４
０に格納された画像と動き補償後の画像との差分値の絶
対値のブロック内の和を用いる。このパラメータ算出の
際には、一般的な動きベクトル検出回路（動き検出器４
１及び動きベクトル発生回路３４）で得られる動きベク
トルが検出された最小誤差を利用することができる。こ
の場合も、輝度データと色差データとから圧縮後のデー
タ量を類推するパラメータを求める。

【００６０】このときのフレーム間予測符号化による圧
縮後のデータ量の類推（予測）のためのパラメータとし
ては、一般的な輝度情報だけの動きベクトル検出回路
（動き検出器４１及び動きベクトル発生回路３４）で得
られる動きベクトル及びその動きベクトルが検出された
輝度情報だけで求めた最小誤差に加えて、本実施例では
その動きベクトルが検出された色差情報だけで求めた最
小誤差を新たに用いるようにする。

【００６１】すなわち、本実施例装置において、動き検
出器４１及び動きベクトル発生回路３４では、リファレ
ンス側のマクロブロックの輝度ピクセル（１６×１６ピ
クセル）とサーチ側の輝度ピクセル（１６×１６ピクセ
ル）との誤差の絶対値和（ＡＤ）の合計値ＡＤｙと、同
様に色差ピクセル（８×８×２ピクセル）同士の誤差の
絶対値和（ＡＤ）の合計値ＡＤｃが生成され、これらの
合計値が最小となる動きベクトルが検出される。

【００６２】また、本実施例装置では、上記動きベクト
ル検出に際し、輝度データと色差データのブロックの面
積（ピクセル数に対応する面積）や、輝度データと色差
データの重視する度合いに応じて、上記合計誤差値の計
算に重み付けを行うことも可能である。なお、上記マク
ロブロック毎の色差データまで含めた動き検出について
は、後述する図３〜図５のフローチャートにて詳細に説
明する。

【００６３】本実施例装置では、このようにして求めた
輝度情報からの最小誤差と色差情報からの最小誤差を用
いて、そのマクロブロックの誤差とし、当該マクロブロ
ックの誤差を用いて後述する圧縮方法選択回路３２で圧
縮方法の判定を行なう。すなわち、上記画像情報評価回
路５０では、マクロブロック毎に圧縮方式（フレーム内
符号化／フレーム間予測符号化）を判定するための情報
として、輝度データと色差データそれぞれに後述する誤
差の平均絶対値和（輝度データの誤差の平均絶対値和Ｍ
ＡＤｙと色差データの誤差の平均絶対値和ＭＡＤｃ）
と、それぞれの誤差の絶対値和（輝度データの誤差の絶
対値和ＡＤｙと色差データの誤差の絶対値和ＡＤｃ）を
測定し、圧縮方法選択回路３２では、フレーム内符号化
で圧縮したほうが高画質でより少ないビット量で圧縮で
きるのか、それともフレーム間予測符号化で圧縮したほ
うが良いかを、これら求められた誤差の平均絶対値和
（ＭＡＤ），誤差の絶対値和（ＡＤ）を使用して推定を
行なう。また、フレーム間予測符号化の中でも、前方，
後方，両方向をどの方向で圧縮したほうがよいかを前
方，後方の誤差の絶対値和を用いて行う。このように、
誤差の平均絶対値和（ＭＡＤ），誤差の絶対値和（Ａ
Ｄ）は、輝度データのみならず色差データも収集してあ
るのでフレーム内符号化／フレーム間予測符号化の判定
を誤ることなく、効率的に圧縮できるようになる。

【００６４】また、本実施例では、輝度データと色差デ
ータから入力画像の平坦度を求めており、後述する量子
化ステップ制御器３３においてそれぞれパラメータを収
集し、より精度の高い平坦度を求め、マクロブロック毎
の量子化ステップを決定するようにしている。上記画像
情報評価回路５０によって、上述したようにして算出さ
れた画像情報の評価値（パラメータ）は、次に説明する
シーンチェンジ検出回路３１と、圧縮方法選択回路３２
と、量子化ステップ制御器３３とに送られる。

【００６５】また、画像情報評価回路５０からは、後述
する圧縮方法選択回路３２においてＧＯＰの長さを決定
する際に画像のカウントを行うため、その圧縮方法選択
回路３２に対して画像情報も送られる。次に、シーンチ
ェンジ検出回路３１は、入力画像のシーンチェンジを後
述するように動き検出で得たパラメータを用いて検出す
る。

【００６６】ここで、当該シーンチェンジ検出回路３１
においてシーンチェンジを検出する目的は、フレーム間
予測符号化かフレーム内符号化のいずれかの圧縮方式を
決定するための判断材料にすることが主である。なぜな
ら、前後で相関の極めて低い画像では、フレーム間予測
符号化で圧縮するよりもフレーム内符号化で圧縮する方
が効率良く圧縮できるからである。また、圧縮後のデー
タも大きなものとなるため、データ量配分や出力バッフ
ァマネジメントの観点からもシーンチェンジを把握する
ことは重要である。

【００６７】上述のようなシーンチェンジは前後の画像
で相関が著しく損なわれる所に存在するものであるた
め、当該シーンチェンジ部分は、例えば、前後の画像に
ついてそれぞれ例えば動きベクトル補償後の画像との差
分値を求め、それぞれこの差分値の画像全体での総和を
求めて、さらに当該前後の画像での上記総和の比を求め
るなどして検出できる。

【００６８】このようなことから、本実施例のシーンチ
ェンジ検出回路３１では、上記画像情報評価回路５０の
出力を用いてシーンチェンジを検出するようにしてい
る。すなわち、上記画像情報評価回路５０は、前述のよ
うに動き補償後の画像の差分値のブロック内の和を第２
のパラメータとして出力するため、当該シーンチェンジ
検出回路３１では、当該差分値のブロック内の和を用い
て、上述のシーンチェンジ検出のための演算を行うこと
ができる。

【００６９】次に、圧縮方法選択回路３２について説明
する。当該圧縮方法選択回路３２は、上記シーンチェン
ジ検出回路３１からのシーンチェンジ検出出力を用いて
フレーム内符号化／フレーム間予測符号化（Ｐ，Ｂピク
チャ）のいずれの圧縮方式で圧縮を行うのかを選択す
る。また、当該圧縮方法選択回路３２では、上記画像情
報評価回路５０によって得られるマクロブロック毎の輝
度情報及び色差情報から求めたパラメータに基づいて、
マクロブロック毎のフレーム内符号化／フレーム間予測
符号化の各圧縮方法によって発生するデータの予想量
（発生予想量）を比較し、より発生予想量の少なくなる
圧縮方法をマクロブロック毎に選択するようにしてい
る。

【００７０】また、フレーム内符号化方式による圧縮画
像は少なくともＧＯＰの最初になければならない。さら
に、ＧＯＰはランダムアクセスを考慮してある程度の間
隔となされているので、必然的にＩピクチャは当該間隔
で定期的に発生するものであり、また、本実施例ではシ
ーンチェンジ等によっても発生するものである。このよ
うなことから、当該圧縮方法選択回路３２では、上記画
像情報評価回路５０からの画像情報のカウントを行うと
共に、上記シーンチェンジ検出回路３１からのシーンチ
ェンジ検出出力が当該圧縮方法選択回路３２に加えられ
る。これにより当該圧縮方法選択回路３２では、上記画
像のカウント値から定期的なフレーム内符号化を選択す
ると共にシーンチェンジ検出時にもフレーム内符号化を
選択（すなわちＧＯＰの間隔を決定する）し、それら以
外ではフレーム間予測符号化を選択するようにしてい
る。

【００７１】この圧縮方法選択回路３２は、上記圧縮方
法の選択に応じて前記切換スイッチ１３と２４の切換制
御を行うと共に、その選択結果を示す情報を量子化ステ
ップ制御器３３に送る。また、上記量子化ステップ制御
器３３は、前記画像情報評価回路５０からの評価値（パ
ラメータ）から画像の情報量、さらにはシーンチェンジ
のように前後の画像の相関が極めて低くなる所を知ると
共に、圧縮方法選択回路３２からの選択結果を示す情報
からフレーム内符号化かフレーム間予測符号化のいずれ
が選択された画像であるかも知ることができる。

【００７２】したがって、当該量子化ステップ制御器３
３においては、出力バッファ１８の残量のみをフィード
バックする従来の量子化ステップ制御に比べて、入力画
像の急激な情報量変化に追随できることになり、また、
画像の情報量の変化に応じて適切な量子化ステップ制御
が可能で、さらに、フレーム内符号化／フレーム間予測
符号化の圧縮方法に応じて適切な量子化ステップ制御も
可能となる。

【００７３】次に本実施例の構成における処理の流れ
を、図２のフローチャートに沿って説明する。先ず、ス
テップＳ１では、入力端子１に入力された画像データが
順次フレームメモリ４０へ格納される。ここで、先に述
べたようにＩピクチャの頻度や間隔の決定が画質に影響
を及ぼすので、これに関係して符号化に先だってＧＯＰ
を決めておく必要があり、また、レートコントロール
（量子化ステップ制御によるビットレートのコントロー
ル）をするために符号化に先だって１ＧＯＰ分の画像に
ついての情報を収集しなければならない。このように、
次々と入力されてくる画像データに対してその間に分析
を行い、符号化するまでの十分な遅延時間を稼ぐため、
大量のフレームメモリ４０を用いる。

【００７４】次に、ステップＳ２では、動き検出器２０
において、フレーム間予測符号化で圧縮するために必要
な動きベクトルを検出する。すなわち、このステップＳ
２では、予め定められたスケジュールでフレームメモリ
４０中の各画像データをＰピクチャ或いはＢピクチャと
して圧縮符号化できるように、動き検出（モーションエ
スティメーション）を行う。

【００７５】ここで、動き検出を行う画像については、
Ｉピクチャを規定しない。それはどの画像データがＩピ
クチャになるのかこの時点では確定していないからであ
り、またＩピクチャは動き補償を必要としないため、後
にどの画像データでもＩピクチャにすることが可能だか
らである。上記画像情報評価回路５０は、上記動き検出
をする際に用いられる最小歪み（Minimum Distortion）
或いは誤差の絶対値和（ＡＤ：Absolute Difference ）
と呼ばれるものを符号化に用いるパラメータの一つ（第
２のパラメータ）として読み出し格納する。なお、差分
の自乗和或いはより簡略化して差分の和をパラメータと
することも可能である。

【００７６】ここで、上記誤差の絶対値和（ＡＤ）は、
リファレンス側の画像を８×８ピクセルのブロックに分
割し、輝度データ８×８×４ピクセルと色差データ８×
８×２ピクセルのマクロブロック（ＭＢ）に対し、動き
検出を行なった際に求めた動きベクトルで切りだされる
サーチ側のマクロブロックとの各画素同士の差の絶対値
和で、以下の式(1) で求めることができる。

【００７７】

【数１】

【００７８】これをさらにマクロブロック内のブロック
について集計したものを用いてマクロブロックの誤差の
絶対値和（ＡＤ）とする。このパラメータはシーンチェ
ンジの判定やフレーム間予測符号化で圧縮する場合の画
像の相関も考慮した情報量の推定に用いるものである。
このパラメータはまた、後述するようにマクロブロック
タイプを決定するために使われる。

【００７９】画像の情報量を推定するパラメータＳＡＤ
は、式(2) のように、一つの画像内の上記誤差の絶対値
和（ＡＤ）を合計したものである。 ＳＡＤ＝ΣＡＤ (2) もちろん、上記誤差の絶対値和（ＡＤ）以外に最小歪み
（Minimum Distortion）を用いてもよい。

【００８０】次に、画像情報評価回路５０では、ステッ
プＳ３のように、上記動き検出で得られたパラメータ以
外に、誤差の平均絶対値和（ＭＡＤ：Mean Absolute Di
fference）、アクティビティ（Activity）を各画像毎に
評価する。上記誤差の平均絶対値和（ＭＡＤ）はＩピク
チャの情報量を推定するためのパラメータで、下記の式
(3) によって８×８画素のブロック毎に求め、必要に応
じてマクロブロック或いは画面で集計を行う。このパラ
メータはまた、マクロブロックタイプを決定するために
使われる。

【００８１】

【数２】

【００８２】これをさらに、式(4) のように、マクロブ
ロック内のブロックについて合計したものを用いてマク
ロブロックの判定に用いる。 ＭＡＤ＝Σ blockＭＡＤ (4) またさらに、式(5) のように、マクロブロックの値を一
つの画像内で合計してその値を、その画像の（Ｉピクチ
ャとしての）情報量を表すパラメータＳＭＡＤとする。

【００８３】ＳＭＡＤ＝ΣＭＡＤ (5) また、上記アクティビティは、一つの画面の中でそのマ
クロブロックの画像の状態に応じてよりきめ細かに量子
化ステップを制御することによって画質を維持しながら
より圧縮効率を高めるために、その画像の状態を定量化
するためのパラメータである。

【００８４】例えば一つのブロック内で画像が画素のレ
ベル変化の少ない平坦な部分では量子化による歪みが目
立ち易く、量子化ステップを小さくしてやるべきで、逆
にレベル変化が多い複雑なパターンのブロックでは量子
化歪みは目立ち難く、情報量も多いので量子化ステップ
を大きくするべきである。そこで、例えばブロックの平
坦度を表すパラメータをこのアクティビティとして用い
るようにしている。

【００８５】次に、ステップＳ４では、上記シーンチェ
ンジ検出回路３１でシーンチェンジの検出を行う。この
シーンチェンジ検出回路３１でのシーンチェンジ検出
は、動き検出器４１で得られた上記パラメータＡＤを使
って、シーンチェンジを検出する。ここで、シーンチェ
ンジ検出回路３１におけるシーンチェンジ検出では、上
記誤差の絶対値和（ＡＤ）を１画面分合計した合計値
（ＳＡＤ）を使い、過去の誤差の絶対値和（ＡＤ）の値
から検出しようとしている現在の誤差の絶対値和（Ａ
Ｄ）の値が、ある比率以上に大きくなった場合をシーン
チェンジとして検出する。

【００８６】すなわち、このシーンチェンジ検出方法で
は、例えば、あるフレームから前方向の動きベクトルの
検出を行ったときにマクロブロック毎の誤差の絶対値和
を１画面分（１フレーム分）合計した値（合計値(SAD)
）と、過去のフレームで同様に前方向の動きベクトル
検出を行ったときにマクロブロック毎の誤差の絶対値和
を１画面分（１フレーム分）合計した値（合計値(prev
＿SAD)との比（SAD ／prev＿SAD)が、ある閾値(Thresh)
を越えた場合は当該フレームがシーンチェンジであると
判定する。ただし、このシーンチェンジ検出方法の場
合、誤差の絶対値の合計値(SAD) が、ある閾値(min＿SA
D)と比べて異常に小さい場合には、直前の誤差の絶対値
の上記合計値(prev ＿SAD)を更新しないようにする。ま
た、シーンチェンジであると判定された場合は、直前の
上記合計値(prev ＿SAD)を更新しないようにする。

【００８７】次のステップＳ５では、ＧＯＰ長の決定を
行い、ステップＳ６では圧縮方法の選択（ピクチャタイ
プの決定）とを行う。ここでは、すでに述べたように、
符号化に際してランダムアクセス性を考慮して適当なフ
レーム数毎にＧＯＰを区切る。このとき少なくともＧＯ
Ｐの符号順で最初のピクチャはＩピクチャでなければな
らないからピクチャの数をカウントし定期的にピクチャ
タイプをＩピクチャにする。

【００８８】一方、上記シーンチェンジによって前後の
ピクチャで相関が低くなった場合、これも先に述べたよ
うにＩピクチャで圧縮符号化すると効率が良い。しかし
ながら、Ｉピクチャは圧縮率が低いため、低ビットレー
トにおいては頻繁に現れると画質の低下を招く。したが
ってシーンチェンジが検出された場合、Ｉピクチャ同士
の間隔を適度に保つよう適応的にＧＯＰの長さを決め
る。

【００８９】次に、圧縮方法選択回路３２は、ステップ
Ｓ７においてマクロブロックタイプの判定を行う。すな
わち、圧縮方法選択回路３２では、当該ステップＳ７に
おいてマクロブロック毎の圧縮方法とマクロブロックタ
イプとを決める。前述のように既に求めた上記誤差の平
均絶対値和（ＭＡＤ）と誤差の絶対値和（ＡＤ）は、そ
れぞれフレーム内符号化／フレーム間予測符号化で圧縮
したときの圧縮後のデータ量に関係するので、この２つ
のパラメータを比較すればフレーム内符号化／フレーム
間予測符号化のどちらのマクロブロックタイプがより少
ないデータ量になるか判定できる。

【００９０】次のステップＳ８では、量子化ステップ制
御器３３において、レートコントロールのためのビット
配分を行う。各ピクチャ毎の圧縮符号化された後のデー
タサイズは、その符号化方式や元々の画像データが持つ
情報量、前後の相関などによって大きく変動する。平均
的な画質を保つようにするならばことさらである。

【００９１】各ピクチャ毎の圧縮符号化された後のデー
タサイズのむらは出力バッファ１８によってある程度吸
収されるが、平均的には一定のビットレートにしなけれ
ばならない。したがって、ある区間を定めればその間の
ピクチャのトータルの圧縮後のデータ量が決まる。そこ
で、既に決定しているピクチャタイプと、予め調べてお
いた画像の情報量パラメータとを用いて各ピクチャ毎に
圧縮後のデータ量、すなわち各ピクチャが使用可能なビ
ットの量を決める。

【００９２】このとき、例えば情報量の少ない画像やＢ
ピクチャには少なく、情報量の多い画像やＩピクチャに
は多くする。これをビット配分と呼ぶ。これによって画
質のばらつきを抑え、なおかつ一定レートに保つことが
容易になる。本実施例ではＧＯＰをビット配分の区間と
して、次の式(6) ，式(7) のようにビット配分を行う。 Total Bit Count ＝（Bit Rate [bit/s]× Number Of Picture In GOP [picture ])／（Picture Rate [picture/s]） [bit] (6) Available Bits＝（Total Bit Count ×ターゲットの画像情報量パラメータ）／ 画像情報量パラメータのＧＯＰ合計値） [bit] (7) なお、この式(7) で使用している情報量パラメータは、
先に述べたパラメータＳＭＡＤ，ＳＡＤを用い、これに
圧縮するピクチャタイプ別の乗数をかけたものである。
また、上記乗数は各ピクチャタイプ間のパラメータと画
質との関係を調整するものである。

【００９３】なお、上記式(7) の上記画像情報量パラメ
ータのＧＯＰ合計値は、式(8) に示すようにして求め
る。 画像情報量パラメータのＧＯＰ合計値＝Ki×ΣSMAD＋Kp
×ΣSADp＋Kb×ΣSADb SADp: ＰピクチャのＳＡＤ SADb: ＢピクチャのＳＡＤ (8) 上記量子化ステップ制御器３３においては、次のステッ
プＳ９，ステップＳ１０で基本量子化ステップの決定及
び画面内の量子化ステップの制御を行う。

【００９４】すなわち、上述のようにしてピクチャタイ
プが決まり、マクロブロックタイプが決まれば、上記画
像情報評価回路５０によって求めた情報量パラメータと
量子化ステップとから量子化後のデータサイズをある程
度予測できる。したがって、情報量パラメータと量子化
後のデータ量が決まっていれば、量子化ステップを逆算
することができる。このようにして求めた量子化ステッ
プを、そのピクチャの基本量子化ステップとする。

【００９５】量子化ステップ制御器３３では、上述のよ
うに画面内の量子化ステップを各ブロック毎になるべく
画質を高く、かつ、圧縮効率も高くするように制御す
る。この制御は、上記アクティビティやマクロブロック
タイプなどの情報を基に基本量子化ステップを制御する
ことで実現する。次のステップＳ１１では、可変長符号
化回路１７において符号化を行う。

【００９６】ここまでで圧縮符号化の全てのパラメータ
が決まっているので、これ以後は、ＭＰＥＧの規則にし
たがって圧縮符号化する。最後に、ステップＳ１２で
は、前述した各パラメータの更新を行う。ここで、画像
情報量と基本量子化ステップ、圧縮後のデータ量の関係
は、圧縮する画像に依存する。したがって、その関係を
表す式に用いるパラメータ、予測パラメータを圧縮後の
実際のデータ量をフィードバックしてやることにより学
習させ、予測の精度を向上させている。

【００９７】次に、図３のフローチャートを用いてマク
ロブロック毎の色差まで含めた動き検出について説明す
る。この図３において、ステップＳ３０１では動きベク
トル検出のサーチ時の座標（Ｘ，Ｙ）を変数(-search＿
X)、変数(-search＿Y)とおき、次のステップＳ３０２で
は誤差の絶対値和（ＡＤ）を関数(MAXINT)とする。

【００９８】ステップＳ３０３では、サーチ側の地点
（Ｘ，Ｙ）のマクロブロック輝度データを切り出し、ス
テップＳ３０４ではリファレンス側のマクロブロック輝
度データとピクセル毎の差分値の絶対値和（誤差の絶対
値和ＡＤ）を求め、これをｅｒｒＹとする。ステップＳ
３０５では、サーチ側の地点（Ｘ，Ｙ）のマクロブロッ
ク色差データを切り出し、ステップＳ３０６では、リフ
ァレンス側のマクロブロック色差データとピクセル毎の
差分値の絶対値和（誤差の絶対値和ＡＤ）を求め、これ
をｅｒｒＣとする。

【００９９】次のステップＳ３０７では、輝度データの
重み付けの定数Ｋｙと、色差データの重み付けの定数Ｋ
ｃと、上記マクロブロック輝度データにおける差分値の
絶対値和ｅｒｒＹと、上記マクロブロック色差データに
おける差分値の絶対値和ｅｒｒＣとから、式(9) に示す
ように、 Ｋｙ＊ｅｒｒＹ＋Ｋｃ＊ｅｒｒＣ (9) を求め、これをｅｒｒとする。なお、上記輝度データの
重み付けの定数Ｋｙは例えば１に、また、色差データの
重み付けの定数Ｋｃは例えば１．５に設定することがで
きる。

【０１００】次のステップＳ３０８では、絶対値和ＡＤ
と上記のように求めたｅｒｒとから、ＡＤ＞ｅｒｒか否
かの判定を行う。この判定において、ＡＤ＞ｅｒｒであ
ると判定した場合にはステップＳ３０９に進み、それ以
外と判定した場合にはステップＳ３１０に進む。ステッ
プＳ３０９では、上記ステップＳ３０３〜Ｓ３０７同様
に、マクロブロック輝度データにおける絶対値和ＡＤｙ
をｅｒｒＹとし、マクロブロック色差データにおける絶
対値和ＡＤｃをｅｒｒＣとし、絶対値和ＡＤをｅｒｒと
し、さらに動きベクトルの座標(vec＿X, vec＿Y)を
（Ｘ，Ｙ）とした後、ステップＳ３１０に進む。

【０１０１】このステップＳ３１０ではＸを増加させ、
次のステップＳ３１１では、Ｘ≧search＿X か否かの判
定を行う。このステップＳ３１１でノーと判定した場合
にはステップＳ３０３に戻り、イエスと判定した場合に
はステップＳ３１２に進む。ステップＳ３１２では、Ｘ
を-search ＿X とし、さらにＹを増加させる。その後、
ステップＳ３１３では、Ｙ≧search＿Y か否かの判定を
行う。このステップＳ３１３でノーと判定した場合には
ステップＳ３０３に戻り、イエスと判定した場合には処
理を終了する。

【０１０２】次に、図４のフローチャートを用いて動き
検出時に輝度データだけの誤差しか求めていないときの
色差データ誤差の計算方法について説明する。この図４
において、ステップＳ３２１では、動きベクトル（Ｘ，
Ｙ）を変数(Vec＿X)、変数(Vec＿Y)とおく。このVec ＿
X 、Vec ＿Y は、輝度データだけで求めたものである。

【０１０３】次のステップＳ３２２では、サーチ側の地
点（Ｘ，Ｙ）のマクロブロック色差データを切り出す。
ステップＳ３２３では、リファレンス側のマクロブロッ
ク色差データとピクセル毎の差分値の絶対値和を求め、
これをＡＤｃとする。次のステップＳ３２４では、輝度
データの重み付けの定数Ｋｙと、色差データの重み付け
の定数Ｋｃと、上記マクロブロックの輝度データにおけ
る差分値の絶対値和ＡＤｙと、上記マクロブロック輝度
データにおける差分値の絶対値和ＡＤｃとから、式(10)
に示すように、 Ｋｙ＊ａｄｙ＋Ｋｃ＊ＡＤｃ (10) を求め、これをＡＤとする。

【０１０４】次に、図５のフローチャートを用いて色差
データも考慮したマクロブロックタイプ判定の方法につ
いて説明する。この図５において、ステップＳ３３１で
は、色差データも含んだ誤差の絶対値和ＡＤと、色差デ
ータも含んだ誤差の平均絶対値和ＭＡＤを求める。次の
ステップＳ３３２では、マクロブロックタイプ判定式に
従来の誤差の平均絶対値和ＭＡＤと誤差の絶対値和ＡＤ
の代わりに、色差データを含んだ誤差の平均絶対値和Ｍ
ＡＤと誤差の絶対値和ＡＤを使い、判定を行う。

【０１０５】上述したように、本発明実施例の画像符号
化装置においては、動き検出器４１と動きベクトル発生
回路３４で輝度データのみならず色差データの誤差値も
計算して動きベクトルを検出（若しくは輝度データから
動きベクトルを検出した後に色差データの誤差値を計
算）することで、空間的に輝度が変化せずに色差だけに
特徴がある入力画像でも効率的に圧縮可能となってい
る。

【０１０６】また、本実施例装置においては、誤差の平
均絶対値和（ＭＡＤ）や誤差の絶対値和（ＡＤ）を使用
し、圧縮後のデータ量の推測を行なっており、したがっ
て、推測のためのデータが圧縮後のデータ量との相関が
高く精度良くなれば、必要なところにデータ量を割り当
てることができ、効率良く圧縮できることができる。さ
らに、動きベクトル検出，マクロブロックの判定、画像
情報評価を行う時に、色差データと輝度データのピクセ
ル数と対応する面積や情報としてどちらを重視するか等
に応じて重み付け係数をかけて調整するようにしている
ため、よりよい圧縮画像を得ることが可能となる。

【０１０７】

【発明の効果】本発明の画像符号化装置においては、輝
度データのみならず色差データからも誤差値を求めてお
り、これら輝度データと色差データから求めた誤差値の
合計誤差値から動きベクトルを検出することで、空間的
に輝度が変化せずに色差だけに特徴がある入力画像でも
効率的に圧縮するための動きベクトルを検出でき、した
がって、効率の良い画像圧縮が可能である。

【０１０８】また、動きベクトル検出手段は、輝度デー
タのブロックと色差データのブロックの面積若しくは輝
度データと色差データの重視する度合いに応じて合計誤
差値の計算に重み付けを行うことで、色差データ部を重
視した色差部分の誤差の少ない動きベクトルを検出で
き、したがって、効率の良い画像圧縮が可能である。ま
た、動きベクトル検出手段は、輝度データの誤差値が最
小となる動きベクトルを使用して切り出したサーチ側と
リファレンス側のピクセル毎の色差データの誤差値を求
めることで、色差データのための誤差値の計算を容易に
している。

【０１０９】次に、圧縮方法選択手段は、ブロック毎の
輝度データと色差データの複雑さをマクロブロック単位
に集計した第１の集計値と、動きベクトルに基づく予測
データと入力画像データとの誤差値をマクロブロック単
位に集計した第２の集計値とを用いることで、輝度デー
タのみならず色差データも考慮した圧縮方法の選択を行
うようにしているため、圧縮方法の選択ミスが減少し効
率の良い高画質な画像圧縮が可能となる。さらに、この
ときも面積や重視する度合いに応じて色差データを重視
した圧縮方法の選択を行うことで、さらに圧縮方法の選
択ミスが減少し効率の良い画像圧縮が可能である。

【０１１０】また、本発明の画像符号化装置において
は、画像情報を評価する画像情報評価手段をも設け、こ
こで各ブロック毎に輝度データと色差データとを用いて
画像情報を評価することで、輝度データのみならず色差
データも考慮した画面内の画像情報（例えば平坦度等）
を精度良く評価でき、効率の良い高画質な画像圧縮が可
能となる。さらにこのときの圧縮符号化処理手段は、そ
の評価値に基づいて、圧縮符号化のビット割当を行うこ
とで、必要なところにデータ量を割り当てることがで
き、効率良く圧縮できることが可能である。また、画像
情報評価手段でも、面積若しくは輝度データと色差デー
タの重視する度合いに応じて評価に重み付けを行うこと
で、色差データ部を重視した評価が行える。

【図面の簡単な説明】

【図１】本発明実施例の画像符号化装置の概略構成を示
すブロック回路図である。

【図２】本実施例装置の動作を説明するためのフローチ
ャートである。

【図３】マクロブロック毎の色差まで含めた動き検出の
フローチャートである。

【図４】動き検出時に輝度データだけの誤差しか求めて
いないときの色差データの誤差の計算方法のフローチャ
ートである。

【図５】色差データも考慮したマクロブロックタイプの
判定のフローチャートである。

【図６】従来の画像符号化装置の概略構成を示すブロッ
ク回路図である。

【図７】画像の解像度と構成について説明するための図
である。

【図８】マクロブロックとブロックについて説明するた
めの図である。

【図９】ルミナンスピクセルとクロミナンスピクセルの
配置について説明するための図である。

【図１０】ジグザグスキャンについて説明するための図
である。

【図１１】ＧＯＰの一例について説明するための図であ
る。

【符号の説明】

１０，２２ フレームメモリ １１ ブロック分割器 １２ 差分器 １３，２４ スイッチ １４ ＤＣＴ回路 １５ 量子化器 １６ ジグザグスキャン回路 １７ 可変長符号化回路 １８ 出力バッファ ２１ 動き補償器 ２５ 加算器 ２６ 逆ＤＣＴ回路 ２７ 逆量子化器 ３１ シーンチェンジ検出回路 ３２ 圧縮方法選択回路 ３３ 量子化ステップ制御器 ３４ 動きベクトル発生回路 ４１ 動き検出器 ５０ 画像情報評価回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/32

Claims (8)

【特許請求の範囲】
1. 【請求項１】 入力画像データを複数のブロックに分割
   し、分割したブロックの輝度データと色差データの複数
   組からなるマクロブロック毎に、サーチ側とリファレン
   ス側のピクセル毎の誤差値を輝度データと色差データと
   から求め、当該誤差値を合計した合計誤差値が最小とな
   る動きベクトルを検出する動きベクトル検出手段と、 上記動きベクトル検出手段によって得られた動きベクト
   ルに基づいて、適応的に画像データの圧縮方法を選択す
   る圧縮方法選択手段と、 上記圧縮方法選択手段により選択された圧縮方法に従っ
   て上記入力画像データに所定の圧縮符号化処理を施す圧
   縮符号化処理手段とを有することを特徴とする画像符号
   化装置。
2. 【請求項２】 上記動きベクトル検出手段は、輝度デー
   タのブロックと色差データのブロックの面積に応じて、
   上記合計誤差値の計算に重み付けを行うことを特徴とす
   る請求項１記載の画像符号化装置。
3. 【請求項３】 上記動きベクトル検出手段は、輝度デー
   タと色差データの重視する度合いに応じて、上記合計誤
   差値の計算に重み付けを行うことを特徴とする請求項１
   記載の画像符号化装置。
4. 【請求項４】 上記動きベクトル検出手段は、輝度デー
   タの誤差値が最小となる動きベクトルを使用して切り出
   したサーチ側とリファレンス側のピクセル毎の色差デー
   タの誤差値を求めることを特徴とする請求項１から請求
   項３のうちのいずれか１項に記載の画像符号化装置。
5. 【請求項５】 上記圧縮方法選択手段は、上記ブロック
   毎の輝度データと色差データの複雑さをマクロブロック
   単位に集計した第１の集計値と、上記動きベクトルに基
   づく予測データと入力画像データとの誤差値をマクロブ
   ロック単位に集計した第２の集計値とを用いて、マクロ
   ブロック毎の圧縮方法を選択することを特徴とする請求
   項１から請求項４のうちいずれか１項に記載の画像符号
   化装置。
6. 【請求項６】 上記各ブロック毎に輝度データと色差デ
   ータとを用いて画像情報を評価する画像情報評価手段を
   設け、 上記圧縮符号化処理手段は、上記画像情報評価手段から
   の評価値に基づいて、圧縮符号化のビット割当を行うこ
   とを特徴とする請求項１から請求項５のうちいずれか１
   項に記載の画像符号化装置。
7. 【請求項７】 上記画像情報評価手段は、輝度データの
   ブロックと色差データのブロックの面積に応じて、上記
   評価に重み付けを行うことを特徴とする請求項６記載の
   画像符号化装置。
8. 【請求項８】 上記画像情報評価手段は、輝度データと
   色差データの重視する度合いに応じて、上記評価に重み
   付けを行うことを特徴とする請求項６記載の画像符号化
   装置。