JPH0898178A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】 【構成】 入力画像データを複数のブロックに分割する
ブロック分割器１１と、各ブロック毎に所定の圧縮符号
化処理を施す差分器１２から可変長符号化回路１７まで
及び動き検出器２０，動き補償器２１，フレームメモリ
２２やローカルデコーダを備え、さらに、入力画像デー
タを蓄積するフレームメモリ１０と、上記フレームメモ
リ１０に蓄積された画像データの情報量を評価する画像
情報評価回路５０と、その情報量の評価値に基づいて入
力画像データに蓄積された画像データに対して適応的に
フィルタリングを施すフィルタ回路５１とを有し、フィ
ルタリング後の画像データに所定の圧縮符号化処理を施
す。 【効果】 効率の良い画像圧縮が可能で、全体的に画質
を向上させることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば画像を圧縮符号
化する場合に用いて好適な画像符号化装置に関する。

【０００２】

【従来の技術】従来の例えば画像を圧縮符号化する場合
に用いて好適な画像符号化装置の構成例を図４に示す。

【０００３】この図４の画像符号化装置において、入力
端子１には、図５に示すように、 輝度成分(Y) 352(H)×240(V)×30フレーム クロマ成分(Cb) 174(H)×120(V)×30フレーム クロマ成分(Cr) 174(H)×120(V)×30フレーム のピクセル数にディジタル化された画像データが供給さ
れる。

【０００４】上記入力端子１に供給された入力画像デー
タは、当該入力画像データを一時的に蓄えて然るべき順
番に入れ替えるためのフレームメモリ１０を介して、動
き検出器２０とブロック分割器１１に送られる。

【０００５】当該ブロック分割器１１は、フレームメモ
リ１０から供給されたそれぞれのフレームを、図６に示
すように、輝度成分(Y) ，クロマ成分(Cr),(Cb) それぞ
れを８×８ピクセルのブロックに分割する。なお、輝度
成分(Y) の４つのブロック(Y0,Y1,Y2,Y3）と１つのクロ
マ成分(Cb)のブロックと、１つのクロマ成分(Cr)のブロ
ックからなる合計６つのブロック(Y0,Y1,Y2,Y3,Cb,Cr)
は、マクロブロック(MB)と呼ばれている。

【０００６】このブロック分割器１１からのマクロブロ
ック単位のデータは差分器１２に送られる。

【０００７】この差分器１２では、ブロック分割器１１
からのデータと後述するフレーム間予測画像データとの
差分をとり、その出力を後述するフレーム間予測符号化
がなされるフレームのデータとして切換スイッチ１３の
被切換端子ｂに送る。また、当該切換スイッチ１３の被
切換端子ａには、上記ブロック分割器１１からのデータ
が後述するフレーム内符号化がなされるフレームのデー
タとして供給される。

【０００８】上記切換スイッチ１３を介したブロック単
位のデータはＤＣＴ回路１４によって離散コサイン変換
（ＤＣＴ）処理され、そのＤＣＴ係数が量子化器１５に
送られる。当該量子化器１５では、所定の量子化ステッ
プ幅で上記ＤＣＴ出力を量子化し、この量子化した係数
がジグザグスキャン回路１６に送られる。

【０００９】当該ジグザグスキャン回路１６では、上記
量子化係数を図７に示すようにいわゆるジグザグスキャ
ンによって並べ換え、その出力を可変長符号化回路１７
に送る。この可変長符号化回路１７では、上記ジグザグ
スキャン回路１６の出力データを可変長符号化（ＶＬ
Ｃ）し、その出力を出力バッファ１８に送ると共に、当
該可変長符号化処理により発生した符号量を示す情報
を、量子化ステップ制御器１９に送る。量子化ステップ
制御器１９は、可変長符号化回路１７からの符号量を示
す情報に基づいて量子化器１５の量子化ステップ幅を制
御する。また、上記出力バッファ１８から出力されたデ
ータは圧縮符号化がなされた符号化出力として出力端子
２から出力される。

【００１０】また、上記量子化器１５からの出力は、逆
量子化器２７によって逆量子化され、さらに逆ＤＣＴ回
路２６によって逆ＤＣＴ処理される。当該逆ＤＣＴ回路
２６の出力は、加算器２５に送られる。

【００１１】この加算器２５には、フレーム間予測符号
化のフレームのときにオンとなる切換スイッチ２４を介
した動き補償器２１からのフレーム間予測画像データも
供給され、当該データと上記逆ＤＣＴ回路２６の出力デ
ータとの加算が行われる。この加算器２５の出力データ
は、フレームメモリ２２に一時的に蓄えられた後、動き
補償器２１に送られる。

【００１２】当該動き補償器２１は、上記動き検出器２
０によって検出された動きベクトルに基づいて動き補償
を行い、これによって得たフレーム間予測画像データを
出力する。

【００１３】以下、上記図４の従来の画像符号化装置の
具体的な動作について詳細に説明する。ここで、説明の
ために以下のように各フレームの呼び名を定義する。

【００１４】先ず、表示順にフレームを並べたとき、そ
れぞれをＩ０，Ｂ１，Ｂ２，Ｐ３，Ｂ４，Ｂ５，Ｐ６，
Ｂ７，Ｂ８，Ｉ９，Ｂ１０，Ｂ１１，Ｂ１２，・・・・
・と呼ぶこととする。これらのフレームのうち、Ｉ，
Ｐ，Ｂは、後に説明するが、圧縮方法の種類を示し、こ
れらＩ，Ｐ，Ｂの次の数字は、単純に表示順を示してい
る。

【００１５】カラー動画像符号化方式の国際標準化作業
グループであるいわゆるＭＰＥＧ（Moving Picture Exp
ert Group)のうちＭＰＥＧ１では、この様な画像を圧縮
するために、以下のようにすることが規定されている。

【００１６】先ず、Ｉ０の画像を圧縮する。

【００１７】次に、Ｐ３の画像を圧縮するのだが、Ｐ３
そのものを圧縮するのではなく、Ｐ３とＩ０の画像との
差分データを圧縮する。

【００１８】その次に、Ｂ１の画像を圧縮するのだが、
Ｂ１そのものを圧縮するのではなく、Ｂ１とＩ０或い
は、Ｂ１とＰ３との差分データ或いはＩ０とＰ３の平均
値との差分（いずれか情報の少ない方）を圧縮する。

【００１９】その次に、Ｂ２の画像を圧縮するのだが、
Ｂ２そのものを圧縮するのではなく、Ｂ２とＩ０或い
は、Ｂ２とＰ３との差分データ或いはＩ０とＰ３の平均
値との差分（どちらか情報の少ない方を選んで）を圧縮
する。

【００２０】次に、Ｐ６の画像を圧縮するのだが、Ｐ６
そのものを圧縮するのではなく、Ｐ６とＰ３の画像との
差分データを圧縮する。

【００２１】上述したような処理を順番に並べて表す
と、 となる。このようにエンコード順は、Ｉ０，Ｐ３，Ｂ
１，Ｂ２，Ｐ６，Ｂ４，Ｂ５，Ｐ９，Ｂ７，Ｂ８，Ｉ
９，Ｐ１２，Ｂ１０，Ｂ１１，・・・・のように、表示
順とは順番が入れ替わる。圧縮後のデータ（符号化デー
タ）はこの順番に並ぶことになる。

【００２２】以下、上述したことを図４の構成の動作と
共にさらに詳しく述べる。

【００２３】１枚目の画像（すなわちＩ０）のエンコー
ドでは、先ず、上記フレームメモリ１０から１枚目に圧
縮すべき画像のデータが、ブロック分割器１１によって
ブロック化される。このブロック分割器１１からは、前
記Ｙ０，Ｙ１，Ｙ２，Ｙ３，Ｃｂ，Ｃｒの順にブロック
毎のデータが出力され、被切換端子ａ側に切り換えられ
た切換スイッチ１３を介してＤＣＴ回路１４に送られ
る。このＤＣＴ回路１４では、それぞれのブロックにつ
いて縦横２次元の離散コサイン変換処理を行う。これに
より、時間軸であったデータが周波数軸に変換される。

【００２４】このＤＣＴ回路１４からのＤＣＴ係数は、
量子化器１５に送られ、当該量子化器１５で所定の量子
化ステップ幅で量子化される。その後、ジグザグスキャ
ン回路１６によって図７のようにジグザグ順に並べ変え
られる。このようにジグザグ順に並べると、後ろへ行く
ほど、その係数は周波数成分の高い係数となるから、一
般的に係数の値は後ろの方が小さくなる傾向にある。し
たがって、ある値Ｓで量子化すると、後ろへ行くほど、
その結果は０になる頻度が増し、結果的に高域の成分が
切り落とされることになる。

【００２５】その後、この量子化後の係数は、可変長符
号化（ＶＬＣ）回路１７へ送られ、ここでいわゆるハフ
マンコーディングが施される。この結果得られる圧縮さ
れたビットストリームは、出力バッファ１８に一旦蓄え
られた後、一定のビットレートで送出される。当該出力
バッファ１８は、不規則に発生するビットストリームを
一定のビットレートで送出できるようにするための緩衝
のためのメモリである。

【００２６】以上の様に１枚の画像だけ単独で圧縮する
ことをフレーム内（イントラ：Intra ）符号化と言い、
この画像をＩピクチャと呼ぶ。

【００２７】したがって、デコーダが上記のＩピクチャ
のビットストリームを受信した場合は、以上に述べたこ
とを逆にたどり、１枚目の画像を完成させる。

【００２８】次に、２枚目の画像（すなわちＰ３）のエ
ンコードでは、以下のようになされる。

【００２９】すなわち、この２枚目以降もＩピクチャと
して圧縮してビットストリームを作っても良いが圧縮率
を上げるには、連続する画像の内容には相関があること
を利用して、以下の様な方法で圧縮する。

【００３０】先ず、動き検出器２０では、２枚目の画像
を構成するマクロブロック毎に、１枚目の画像（Ｉ０）
の中からそれに良く似たパターンを捜し出し、それを動
きベクトルという（ｘ，ｙ）の相対位置の座標として表
現する。

【００３１】また、２枚目の画像ではそれぞれのブロッ
クを、上記Ｉピクチャの場合のようにそのままＤＣＴ回
路１４に送るのではなく、そのブロック毎の動きベクト
ルに従って一枚目の画像から引っ張ってきたブロックと
の差分のデータ（差分器１２による差分データ）を、Ｄ
ＣＴ回路１４へ送るようにする。なお、動きベクトルの
検出方法としては、ＩＳＯ／ＩＥＣ 11172-2 annex D.
6.2 に詳細に述べられているためここでは省略する。

【００３２】ここで、例えば上記動きベクトルによって
示された一枚目の画像のパターンと、これから圧縮しよ
うとするブロックのパターンとの間で、相関が非常に強
くなっていれば、その差分データは非常に小さくなり、
したがって、上記フレーム内（イントラ）符号化で圧縮
するよりも、上記動きベクトルと上記差分データとを符
号化した方が、圧縮後のデータ量は小さくなる。

【００３３】このような圧縮方法を、フレーム間（イン
ター：Inter)予測符号化と呼んでいる。ただし、常に差
分データが少なくなるわけではなく、絵柄（画像内容）
によっては、差分を取るよりも、上記フレーム内符号化
で圧縮した方が、圧縮率が上がる場合がある。このよう
な場合は、上記フレーム内符号化で圧縮する。フレーム
間予測符号化にするか、フレーム内符号化にするかは、
マクロブロック毎に異なる。

【００３４】以上のことを図４の画像符号化装置（エン
コーダ）に即して説明すると、先ず、フレーム間予測符
号化を行うためには、エンコーダ側でたえずデコーダ側
で作られる画像と同じ画像を作って置く必要がある。

【００３５】そのためにエンコーダ内には、デコーダと
同じ回路が存在する。その回路をローカルデコーダ（局
部復号器）と呼ぶ。図４の逆量子化器２７と逆ＤＣＴ回
路２６と加算器２５とフレームメモリ２２と動き補償器
２１が当該ローカルデコーダに対応し、フレームメモリ
２２内に記憶される画像のことをローカルデコーデッド
ピクチャ（Local decoded picture)又はローカルデコー
デッドデータ(Local decoded data)と呼ぶ。これに対し
て、圧縮前の画像のデータは、オリジナルピクチャ(Ori
ginal picture)又はオリジナルデータ(Original data)
と呼ぶ。

【００３６】なお、前述した１枚目のＩピクチャの圧縮
時にも、上記ローカルデコーダを通して復号化された１
枚目の画像が、上記フレームメモリ２２内に格納され
る。ここで、注意すべきことは、このローカルデコーダ
によって得られる画像は、圧縮前の画像ではなく、圧縮
後復元した画像であり、圧縮による画質劣化のある、デ
コーダが復号化する画像とまったく同じ画像であるとい
うことである。

【００３７】このような状態のエンコーダに２枚目の画
像（Ｐ３）のデータ(Original data）が入ってくるわけ
だが（この段階ですでに、動きベクトルは検出済でなけ
ればならない）、データはブロック毎に動きベクトルを
持ち、このベクトルが動き補償器（MC:Motion Compensa
tion）２１に与えられる。当該動き補償回路２１は、そ
の動きベクトルの示すローカルデコーデッドピクチャ上
のデータ（動き補償データ：MC data:１マクロブロッ
ク）を上記フレーム間予測画像データとして出力する。

【００３８】上記２枚目のオリジナルデータとこの動き
補償データ（フレーム間予測画像データ）のピクセル毎
の、差分器１２による差分データが、上記ＤＣＴ回路１
４に入力される。それからの後の圧縮方法は、基本的に
Ｉピクチャと同じである。上述のような圧縮方法によっ
て圧縮する画像をＰピクチャ（Predicted picture)と呼
ぶ。

【００３９】さらに詳しく説明すると、Ｐピクチャにお
いてすべてのマクロブロックがフレーム間予測符号化で
圧縮するとは限らず、フレーム内符号化で圧縮する方が
効率が良いと判断されるときは、そのマクロブロックは
当該フレーム内符号化で符号化を行う。

【００４０】すなわち、Ｐピクチャにおいても、マクロ
ブロック毎に、フレーム内符号化によるか（このマクロ
ブロックをイントラマクロブロックと呼ぶ）、又はフレ
ーム間予測符号化によるか（このマクロブロックをイン
ターマクロブロックと呼ぶ）のどちらかを選択して圧縮
を行う。

【００４１】上述のように、上記ローカルデコーダで
は、量子化器１５の出力が、逆量子化器２７で逆量子化
され、さらに逆ＤＣＴ回路２６で逆ＤＣＴ処理された
後、エンコード時に動き補償データ（MC data ）と足さ
れ最終的なローカルデコーデッドピクチャとなる。

【００４２】次に、３枚目の画像（すなわちＢ１）のエ
ンコードでは、以下のようになされる。

【００４３】上記３枚目の画像（Ｂ１）のエンコードで
は、Ｉ０，Ｐ３の２枚の画像それぞれに対する動きベク
トルを探索する。ここで、Ｉ０に対する動きベクトルを
フォワードベクトル（forward Vector）ＭＶｆ(x,y) と
呼び、Ｐ３に対する動きベクトルをバックワードベクト
ル（Backward Vector)ＭＶｂ(x,y) と呼ぶ。

【００４４】この３枚目の画像についても差分データを
圧縮するわけであるが、どのデータを圧縮するのかが、
問題である。この場合も一番情報量が少なくなるものと
の差分を取れば良い。このときの圧縮方法の選択肢とし
ては、 （１）フォワードベクトルＭＶｆ(x,y) の示すＩ０上の
データとの差分 （２）バックワードベクトルＭＶｂ(x,y) の示すＰ３上
のデータとの差分 （３）フォワードベクトルＭＶｆ(x,y) の示すＩ０上の
データとバックワードベクトルＭＶｂ(x,y) の示すＰ３
上のデータの平均値との差分 （４）差分データは使わない（フレーム内符号化） の４つである。マクロブロック毎にこの４種類の圧縮方
法から一つが選択される。上記圧縮方法の選択肢のうち
の（１），（２），（３）の場合は、それぞれの動きベ
クトルも動き補償器２１に送られ、差分器２１ではその
動き補償データとの差分をとり、これがＤＣＴ回路１４
に送られる。上記圧縮方法の選択肢のうちの（４）の場
合は、そのままのデータがＤＣＴ回路１４へ送られる。

【００４５】上述した１枚目、２枚目のエンコードの処
理の結果、ローカルデコーデッドピクチャを格納するフ
レームメモリ２２には、Ｉ０，Ｐ３の２枚のピクチャ
が、復元されているのでこのようなことが可能である。

【００４６】次に、４枚目の画像（すなわちＢ２）のエ
ンコードでは、以下のようになされる。

【００４７】上記４枚目の画像（Ｂ２）のエンコードで
は、上述した３枚目（Ｂ１）のエンコード方法のところ
の説明文で、Ｂ１をＢ２に置き換えたこと以外は、上記
３枚目のエンコードと同じ方法で圧縮する。

【００４８】次に、５枚目の画像（すなわちＰ６）のエ
ンコードでは、以下のようになされる。

【００４９】上記５枚目の画像（Ｐ６）のエンコードで
は、上述した２枚目（Ｐ３）のエンコード方法のところ
の説明文で、Ｐ３をＰ６に、Ｉ０をＰ３に置き換えただ
けで、他は同じ説明となる。

【００５０】６枚目以降は、上述の繰り返しとなるので
説明は省略する。

【００５１】また、ＭＰＥＧにおいては、ＧＯＰ（Grou
p Of Picture）と呼ばれるものが規定されている。

【００５２】すなわち、何枚かのピクチャの集まりがグ
ループオブピクチャ（ＧＯＰ）と呼ばれており、当該Ｇ
ＯＰは符号化データ（圧縮後のデータ）上で見て連続し
た画像の集まりでなくてはならないものである。また、
ＧＯＰはランダムアクセスを考慮したもので、そのため
には符号化データ上で見てＧＯＰの最初に来るピクチャ
は上記Ｉピクチャである必要がある。さらに、表示順
（ディスプレイ順）でＧＯＰの最後は、Ｉ又はＰピクチ
ャでなくてはならない。

【００５３】図８には、最初が４枚のピクチャからなる
ＧＯＰで、それ以降が６枚のピクチャからなるＧＯＰと
なる例を挙げる。なお、図８のＡはディスプレイ順を示
し、図８のＢは符号化データ順を示している。

【００５４】この図８において、ＧＯＰ２に注目する
と、Ｂ４，Ｂ５はＰ３，Ｉ６から形成されるため、例え
ばランダムアクセスでＩ６にアクセスされると、Ｐ３が
無いため、Ｂ４，Ｂ５は正しく復号化できない。このよ
うにＧＯＰ内だけで正しく復号化できないＧＯＰは、ク
ローズドＧＯＰ（Closed GOP）でないという。

【００５５】これに対し、もしＢ４，Ｂ５がＩ６だけし
か参照していないとしならば、例えばランダムアクセス
でＩ６にアクセスしても、Ｐ３は必要ないため、これら
Ｂ４，Ｂ５は正しく復号化できることになる。このよう
にＧＯＰ内だけの情報で、完全に復号化できるＧＯＰを
クローズドＧＯＰ（Closed GOP）と呼ぶ。

【００５６】以上のような圧縮方法の選択の中から一番
効率の良い方法で圧縮するわけであるが、その結果発生
する符号化データ（Coded data）の量は、入力画像にも
依存し、実際に圧縮してみないと判らない。

【００５７】しかし、圧縮後のデータのビットレートを
一定にするためにコントロールすることも必要である。
当該コントロールを行うためのパラメータは、量子化器
１５に与える前記符号量を表す情報としての量子化ステ
ップ（又は量子化スケール：Q-scale ）である。同じ圧
縮方法でも、上記量子化ステップを大きくすれば発生ビ
ット量は減り、小さくすれば増える。

【００５８】この量子化ステップの値は、次のようにし
て制御する。

【００５９】エンコーダには、圧縮後のデータを一定の
ビットレートにするために、出力に緩衝バッファ（出力
バッファ１８）が設けられており、これによって画像毎
のある程度のデータ発生量の差は吸収できるようになさ
れている。

【００６０】しかし、定められたビットレートを超える
ようなデータの発生が続けば、出力バッファ１８の残量
が増加し、ついにはオーバーフローを起こすことにな
る。逆にビットレートを下回るデータの発生が続けば出
力バッファ１８の残量は減少し、最後にはアンダーフロ
ーを引き起こすことになる。

【００６１】したがって、エンコーダは、出力バッファ
１８の残量をフィードバックすることにより、前記量子
化ステップ制御器１９が量子化器１５の量子化ステップ
をコントロールし、ここで出力バッファ１８の残量が少
なくなればあまり圧縮しないように量子化ステップを小
さくなるよう制御し、出力バッファ１８の残量が多くな
れば圧縮率を高くするように量子化ステップを大きくす
るようにコントロールを行うようにしている。

【００６２】また、前述した圧縮方法（前記フレーム内
符号化やフレーム間予測符号化）によって発生する符号
化データ量の範囲には、大きな差がある。

【００６３】特にフレーム内符号化方式で圧縮をすると
大量のデータが発生するため、出力バッフファ１８の空
き容量が小さい場合には量子化ステップサイズを大きく
しなければならず、場合によっては量子化ステップサイ
ズを最大にしてもバッファ１８のオーバーフローを招く
かもしれない。よしんばバッファ１８に収まったとして
も量子化ステップが大きければフレーム内符号化の画像
は後のフレーム間予測符号化の画質に影響するので、フ
レーム内符号化での圧縮を行う前には出力バッファ１８
に十分な空き容量が必要である。

【００６４】したがって、予め定められた順序の圧縮方
法を決めておき、フレーム内符号化の前には十分な出力
バッファ１８の空き容量を確保するように、量子化ステ
ップ制御器１９は量子化ステップサイズのフィードバッ
クコントロールを行うようにしている。

【００６５】以上のようにして一定レートの符号化デー
タに抑えることが可能となる。

【００６６】

【発明が解決しようとする課題】上述した従来の方法で
は、以下の理由により高画質を得られないことが欠点と
なっている。

【００６７】すなわち、符号化において画像が複雑過ぎ
たり、動きの激しいシーンの場合、符号化できないこと
があったり、また、符号化できてもブロック歪み等によ
り画質が劣化することがある。

【００６８】このような場合は、入力画像そのものを加
工しなければならない。例えば、一旦符号化できるかど
うか、画質が劣化するかどうか試行の後、入力ソースに
フィルタリングを施すことになり効率が悪い。また、入
力画像の一部に符号化が困難なシーンがある場合、例え
ば全体にフィルタリングを施すようにすると、問題の無
いシーンの画像までも必要以上に変えてしまうことにな
って都合が悪い。

【００６９】そこで、本発明は、上述のような実情に鑑
みて提案されたものであり、効率の良い画像圧縮が可能
で、全体的に画質を向上させることができる画像符号化
装置を提供することを目的とするものである。

【００７０】

【課題を解決するための手段】本発明の画像符号化装置
は、上述した目的を達成するために提案されたものであ
り、入力画像データを複数のブロックに分割し、各ブロ
ック毎に所定の圧縮符号化処理を施す画像符号化装置で
あり、入力画像データを蓄積する画像データ蓄積手段
と、上記画像データ蓄積手段に蓄積された画像データの
情報量を評価する画像情報評価手段と、上記画像情報評
価手段によって得られた情報量の評価値に基づいて上記
入力画像データに蓄積された画像データに対して適応的
にフィルタリングを施すフィルタ手段とを有し、上記フ
ィルタリング後の画像データに所定の圧縮符号化処理を
施すことを特徴としている。

【００７１】ここで、本発明の画像符号化装置では、上
記画像情報評価手段で画面毎に上記情報量の評価を行
い、上記フィルタ手段で画面毎の画像データに対して適
応的にフィルタリングを施す。或いは、上記画像情報評
価手段で上記ブロック毎に上記情報量の評価を行い、上
記フィルタ手段で上記ブロック毎の画像データに対して
適応的にフィルタリングを施すようにしている。

【００７２】また、本発明の画像符号化装置のフィルタ
手段は、上記情報量の評価値に応じて、適応的にフィル
タ係数を変更したり、適応的にフィルタリングを中止す
るようになされている。

【００７３】

【作用】本発明によれば、圧縮符号化処理に先だって入
力画像データが本来持っている情報量を調べる。そし
て、情報量を調べ符号化が困難であると判断されるよう
な場合、或いはそのままではブロック歪みなどによって
著しく画質が劣化するようになると判断された場合に
は、その程度に応じて入力画像にフィルタリングを施
す。

【００７４】さらに、本発明によれば、フィルタ手段
は、入力画像の変化に合わせ、フィルタ係数を変更した
りフィルタリングそのものを中止する。

【００７５】

【実施例】以下、図面を参照し、本発明の実施例につい
て詳述する。

【００７６】図１には本発明実施例の画像符号化装置の
概略構成を示す。なお、この図１において、前述した図
４と同じの構成については同一の指示符号を付してその
説明については省略する。

【００７７】この図１の構成において、前記図４の構成
に追加された構成要素は、後述する画像情報評価回路５
０と、フィルタ回路５１である。

【００７８】すなわち、本発明実施例の画像符号化装置
は、入力画像データを複数のブロックに分割するブロッ
ク分割器１１と、各ブロック毎に所定の圧縮符号化処理
を施す差分器１２から可変長符号化回路１７まで及び動
き検出器２０，動き補償器２１，フレームメモリ２２や
ローカルデコーダを備える画像符号化装置であり、入力
画像データを蓄積する画像データ蓄積手段としてのフレ
ームメモリ１０と、上記フレームメモリ１０に蓄積され
た画像データの情報量を評価する画像情報評価回路５０
と、上記画像情報評価回路５０によって得られた情報量
の評価値に基づいて上記入力画像データに蓄積された画
像データに対して適応的にフィルタリングを施すフィル
タ回路５１とを有し、上記フィルタリング後の画像デー
タに所定の圧縮符号化処理を施すようにしたものであ
る。

【００７９】この図１において、先ず、入力端子１から
入力された入力画像データは、フレームメモリ１０に蓄
えられる。

【００８０】このフレームメモリ１０に蓄積された画像
データは、適宜、画像情報評価回路５０に送られる。

【００８１】ここで、当該画像情報評価回路５０は、動
き検出をする際に用いられる最小歪み（Minimum Distor
tion）或いは誤差の絶対値和（ＡＤ：Absolute Differe
nce）と呼ばれるフレーム間予測符号化で圧縮する場合
の画像の相関も考慮した情報量の推定パラメータを取り
出す。

【００８２】一方、フレーム内符号化で圧縮する場合の
情報量を推定するためのパラメータとして誤差の平均絶
対値和（ＭＡＤ：Mean Absolute Difference）という下
記の式(1) 及び式(2) によって得られるパラメータを取
り出す。これは、８×８画素のブロック毎に求めるもの
で、必要に応じてマクロブロック或いは画面で集計をす
る。

【００８３】

【数１】

【００８４】ＭＡＤ＝Σ blockＭＡＤ (2) また、上記フレームメモリ１０に蓄えられた画像データ
は、フィルタ回路５１にも送られる。

【００８５】当該フィルタ回路５１は、例えばディジタ
ルフィルタを有し、このディジタルフィルタによって画
像データに対してフィルタリングを施すと共に、上記画
像情報評価回路５０からの入力画像の情報量の評価値
（情報量を推定するパラメータ）などに応じて、上記入
力画像データにフィルタリングを施すか又は施さないか
のいずれかを選択できるフィルタ制御手段をも有してい
る。さらにこのフィルタ制御手段は、ディジタルフィル
タのフィルタ係数を随時変更することもできるものであ
り、またさらに、画面内で領域を指定して随時徐々にフ
ィルタ係数を可変にすることもできるものである。な
お、本実施例では、ディジタルフィルタを使用している
が、ディジタルの画像データをアナログ信号に変換した
画像信号（若しくはディジタル化される前のアナログの
画像信号）に対してアナログフィルタによるフィルタリ
ングを行うことも可能である。

【００８６】ここで、上記フィルタ回路５１において、
画像の情報量を推定するパラメータから圧縮後の状態を
推測し、フィルタ係数をフレーム毎に随時更新する場合
のフローチャートを図２に示す。

【００８７】この図２において、先ず、ステップＳ１４
１では、上記情報量を推定するパラメータとして前記画
像情報評価回路５０で誤差の平均絶対値和（ＭＡＤ）と
誤差の絶対値和（ＡＤ）とが求められて、当該フィルタ
回路５１に供給される。

【００８８】次のステップＳ１４２では、当該フィルタ
回路５１のフィルタ制御手段において、上記誤差の平均
絶対値和（ＭＡＤ）と誤差の絶対値和（ＡＤ）が共に大
きいか否かの判定を行う。このステップＳ１４２におい
て、共に大きいと判定した場合にはステップＳ１４４に
進む。当該ステップＳ１４４では、画像をぼかすフィル
タ係数に変更してフィルタリングの処理を行い、その後
処理を終了する。

【００８９】一方、上記ステップＳ１４２において、フ
ィルタ制御手段が上記上記誤差の平均絶対値和（ＭＡ
Ｄ）と誤差の絶対値和（ＡＤ）が大きくないと判定した
場合にはステップＳ１４３に進む。このステップＳ１４
３ではさらにフィルタ制御手段において誤差の絶対値和
（ＡＤ）が共に小さいか否かの判定を行う。このステッ
プＳ１４３において共に小さいと判定した場合にはステ
ップＳ１４５に進む。当該ステップＳ１４５では、フィ
ルタ制御手段が画像をぼかす効果が弱くなる方へディジ
タルフィルタのフィルタ係数を変更する。また、上記ス
テップＳ１４２で小さくないと判定した場合と、上記ス
テップＳ１４５の後は処理を終了する。

【００９０】すなわち、情報量の推定のパラメータの誤
差の平均絶対値和（ＭＡＤ）と誤差の絶対値和（ＡＤ）
が共に大きい場合、一定レートに圧縮するためには量子
化ステップを大きくしなければならず、ブロック歪み等
が現れやすくなり画質が低下する。さらには、一定レー
トに圧縮することが出来なくなることもある。

【００９１】そこで、本実施例装置では、上記画像情報
評価回路５０においてそのような場合にそれら圧縮後の
状態を予想し、フィルタ回路５１のフィルタ制御手段は
それに応じて原画像の情報量が減少するように画像がぼ
やけるようなフィルタの係数に変更する。

【００９２】これに対して、もしも誤差の絶対値和（Ａ
Ｄ）が小さくフレーム間予測符号化で圧縮する場合に
は、効率良く圧縮することができ、量子化ステップも小
さくなるので、フィルタ回路５１のフィルタ制御しゅだ
んは、その程度に応じて余りぼやけないフィルタ係数
に、或いはフィルタリングしないようにフィルタ係数を
変更する。

【００９３】なお、上記は一例であり、上記画像情報評
価回路５１における情報の推定のためのパラメータとし
ては、上記誤差の平均絶対値和（ＭＡＤ）と誤差の絶対
値和（ＡＤ）ではなく、他のパラメータ（例えば誤差の
自乗和や、より簡略化して差分値）等を用いてフィルタ
係数をコントロールすることも可能である。

【００９４】また、上述のようにフィルタ係数を変更す
る場合は、画像が徐々にぼやけていくようにフレーム毎
にフィルタ係数を少しづつ変えていくが、シーンチェン
ジ等があり、フィルタ係数の変わり目が判り難いような
場合にはシーンの変わり目で大きくフィルタ係数を変更
させるようなこともできる。

【００９５】図３には、画面内の局所的フィルタリング
の一例を示す。

【００９６】この図３には、１枚の画像の画枠を示し、
例えば色が濃い部分ほど強いフィルタリングを行う様子
を示している。これによって、例えばいわゆるカラオケ
の歌詞などをはっきりとさせながら画像の情報量を落と
し、画質の低下を避けることが出来る。

【００９７】上述したように、本発明実施例の画像符号
化装置においては、本発明によれば、圧縮符号化処理に
先だって入力画像データが本来持っている情報量を調
べ、情報量を調べ符号化が困難であると判断されるよう
な場合、或いはそのままではブロック歪みなどによって
著しく画質が劣化するようになると判断された場合に
は、その程度に応じて入力画像にフィルタリングを施す
ことにより、低ビットレート時に符号化できない情報の
多い画像の符号化を可能にし、また、ブロック歪みを低
減させることができる。さらに入力画像データにフィル
タリングを施すことで、得られる画像に特殊効果を施す
などの効果も期待できる。

【００９８】また、本発明においては、入力画像データ
の情報に基づいて適応的にフィルタリングを行うため、
シーケンスに一部情報の多いシーンがある場合でもそこ
だけをスポット的にフィルタリングでき、このため、シ
ーケンス全体の画質を極力そこなうことなく符号化が可
能となる。

【００９９】さらに、入力画像データの情報に基づいて
画面内でも適応的にフィルタリングがなされるため、画
面内に例えばカラオケの歌詞やタイトル、出演者の顔な
ど注目すべき部分がある場合でも、その部分をクリアに
し、それ以外の部分をそこから等高線的に徐々にフィル
タリングを行うことができる。このため、画面内の視覚
的な画質を極力損なうことなく符号化が可能となる。

【０１００】

【発明の効果】本発明においては、入力画像データの情
報量を評価し、その情報量の評価値に基づいて、入力画
像データに蓄積された画像データに対して適応的にフィ
ルタリングを施すことにより、低ビットレート時に符号
化できない情報の多い画像を符号化可能にでき、また、
ブロック歪みを低減させることができ、効率の良い画像
圧縮が可能で、全体的に画質を向上させることができ
る。さらには特殊効果を施すなどの効果も期待できる。

【０１０１】また、本発明においては、入力画像データ
の情報に基づいて適応的にフィルタリングされるため、
シーケンスに一部情報の多いシーンがある場合でもそこ
だけをスポット的にフィルタリングできるため、シーケ
ンス全体の画質を極力そこなうことなく符号化が可能と
なる。

【０１０２】さらに、本発明においては、入力画像デー
タの情報に基づいて画面内でも適応的にフィルタリング
されるため、画面内に例えばカラオケの歌詞やタイト
ル、出演者の顔など注目すべき部分がある場合でも、そ
の部分をクリアにし、それ以外の部分をそこから等高線
的に徐々にフィルタリングを行うことができ、このた
め、画面内の視覚的な画質を極力そこなうことなく符号
化が可能となる。

【図面の簡単な説明】

【図１】本発明実施例の画像符号化装置の概略構成を示
すブロック回路図である。

【図２】フレーム毎のフィルタ係数の更新の動作を示す
フローチャートである。

【図３】局所的なフィルタリングの例を示す図である。

【図４】従来の画像符号化装置の概略構成を示すブロッ
ク回路図である。

【図５】画像の解像度と構成について説明するための図
である。

【図６】マクロブロックとブロックについて説明するた
めの図である。

【図７】ジグザグスキャンについて説明するための図で
ある。

【図８】ＧＯＰの一例について説明するための図であ
る。

【符号の説明】

１０，２２ フレームメモリ １１ ブロック分割器 １２ 差分器 １３，２４ スイッチ １４ ＤＣＴ回路 １５ 量子化器 １６ ジグザグスキャン回路 １７ 可変長符号化回路 １８ 出力バッファ １９ 量子化ステップ制御器 ２０ 動き検出器 ２１ 動き補償器 ２５ 加算器 ２６ 逆ＤＣＴ回路 ２７ 逆量子化器 ５０ 画像情報評価回路 ５１ フィルタ回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 5/92 Ｈ

Claims (5)

【特許請求の範囲】
1. 【請求項１】 入力画像データを複数のブロックに分割
   し、各ブロック毎に所定の圧縮符号化処理を施す画像符
   号化装置において、 入力画像データを蓄積する画像データ蓄積手段と、 上記画像データ蓄積手段に蓄積された画像データの情報
   量を評価する画像情報評価手段と、 上記画像情報評価手段によって得られた情報量の評価値
   に基づいて、上記入力画像データに蓄積された画像デー
   タに対して適応的にフィルタリングを施すフィルタ手段
   とを有し、 上記フィルタリング後の画像データに所定の圧縮符号化
   処理を施すことを特徴とする画像符号化装置。
2. 【請求項２】 上記画像情報評価手段は画面毎に上記情
   報量の評価を行い、 上記フィルタ手段は画面毎の画像データに対して適応的
   にフィルタリングを施すことを特徴とする請求項１記載
   の画像符号化装置。
3. 【請求項３】 上記画像情報評価手段は上記ブロック毎
   に上記情報量の評価を行い、 上記フィルタ手段は上記ブロック毎の画像データに対し
   て適応的にフィルタリングを施すことを特徴とする請求
   項１記載の画像符号化装置。
4. 【請求項４】 上記フィルタ手段は、上記情報量の評価
   値に応じて、適応的にフィルタ係数を変更することを特
   徴とする請求項１から請求項３のうちいすれか１項に記
   載の画像符号化装置。
5. 【請求項５】 上記フィルタ手段は、上記情報量の評価
   値に応じて、適応的にフィルタリングを中止することを
   特徴とする請求項１から請求項３のうちいすれか１項に
   記載の画像符号化装置。