JPH07107481A - 画像信号符号化方法及び画像信号符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、画像信号符号化方法及び画像信号符
号化装置において、量子化ステツプサイズをブロツク毎
に適応制御して主観的画質を向上する。 【構成】ブロツクの量子化ステツプサイズを決定すると
きに、統計量から求まるブロツクアクテイビテイだけで
なく、ブロツクの局所的な平坦さをあらわす値を別途求
めて、ブロツクの量子化歪みの画質への影響度を計算し
て、これとバツフア蓄積度から量子化クラス分けを行う
か、またはバツフア蓄積度、ブロツクアクテイビテイ、
平坦さをあらわす値の３つのパラメータによる３次元ク
ラス分けを行うようにしたことにより、画質をなるべく
損なわずかつ発生情報量に見合つた量子化ステツプサイ
ズを割り振ることができる。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術（図２２〜図２６） 発明が解決しようとする課題 課題を解決するための手段（図８〜図１３） 作用（図８〜図１３） 実施例 （１）ウエーブレツト変換による画像信号符号化方法の
原理（図１〜図７） （２）第１実施例の画像信号符号化方法及び画像信号符
号化装置（図８〜図１５、図２６） （３）第２実施例の画像信号符号化方法及び画像信号符
号化装置（図１２、図１６〜図２１） （４）他の実施例 発明の効果

【０００２】

【産業上の利用分野】本発明は画像信号符号化方法及び
画像信号符号化装置に関し、画像信号を伝送したり記録
再生する際に例えば限られた伝送容量を持つ伝送媒体に
よる画像の遠隔地伝送やテープレコーダやデイスクレコ
ーダ等への記録及び再生を行うものに適用し得る。

【０００３】

【従来の技術】従来、画像信号符号化には、例えば予測
符号化のような画像を画素単位に扱う符号化方式、離散
コサイン変換方式（ＤＣＴ（Discrete Cosine Transfor
m ））に代表される直交変換符号化や、サブバンド符号
やウエーブレツト変換に代表される帯域分割符号化のよ
うに画像をブロツクに分割して扱うブロツク符号化方式
がある。予測符号化は装置化が容易であるが、高い圧縮
率では劣化が知覚されやすい。ＤＣＴやブロツク分割に
よるサブバンド符号やウエーブレツト変換のようなブロ
ツク符号化方式では、各ブロツクごとに適切な量子化を
行うことによつて、高い圧縮率でも比較的高画質が得ら
れる。

【０００４】図２２にブロツク分割による画像信号符号
化装置の例を、図２３に画像信号復号化装置の例を示
す。画像信号符号化装置においては、ウエーブレツト変
換のような帯域分割の後、ブロツク化して伝送する符号
化方式について図示した。この他ＤＣＴ等の直交変換符
号化ではブロツク変換回路のあとに直交変換回路が配さ
れる。また蓄積符号化ではバツフアメモリのかわりに仮
想バツフア計算回路が使われる。

【０００５】画像信号符号化装置において、入力画像信
号Ｄ１１は変換回路１１に入力され、変換されて係数Ｄ
１２として出力される。係数Ｄ１２はマクロブロツク変
換回路１２によつて、並べ換えられてマクロブロツクを
構成して、マクロブロツク係数Ｄ１３となる。このマク
ロブロツクの構成を図２４に示す。またブロツクアクテ
イビテイ計算回路１７は、画像信号Ｄ１１から当該マク
ロブロツクの信号値を取り出して、ブロツクアクテイビ
テイ値Ｄ１８を計算して出力する。

【０００６】量子化制御回路１８は、当該マクロブロツ
クの信号値から計算されたブロツクアクテイビテイＤ１
８と、後段に配置されるバツフアメモリ１５の蓄積情報
量Ｄ１９を参照して、量子化ステツプサイズＤ２０を計
算し、量子化回路１３に入力する。量子化制御回路の構
成を図２５に示す。なおこの量子化制御回路は図２２に
おける量子化回路１３の一部を含んだ形で示してある。

【０００７】入力画像信号のマクロブロツクの輝度信号
に相当する部分のデータＦ１３から、ブロツクアクテイ
ビテイ計算回路３１でブロツクアクテイビテイＦ１４が
計算される。またバツフアメモリ蓄積情報量Ｆ１５か
ら、バツフア蓄積度計算回路３２でバツフア蓄積度Ｆ１
６が計算される。量子化基準値計算回路３３は、ブロツ
クアクテイビテイＦ１４とバツフア蓄積度Ｆ１６から、
量子化基準値Ｆ１７を計算して出力する。

【０００８】量子化基準値Ｆ１７はマクロブロツク内の
位置に応じて、量子化マトリツクス３４を参照して、量
子化ステツプサイズＦ１９に変換される。この量子化マ
トリツクスを図２６に示す。図中での値Ａは量子化基準
値Ｆ１７に相当する。マクロブロツク係数Ｆ１１は除算
器３５に入力されて、量子化ステツプサイズＦ１９で割
られて、量子化係数Ｆ１２になる。

【０００９】ここで画像信号符号化装置（図２２）にお
いて、マクロブロツク係数Ｄ１３は量子化回路１３によ
つて、量子化ステツプサイズＤ２０に従つて量子化され
て量子化係数Ｄ１４となる。量子化された係数Ｄ１４
は、可変長符号化回路１４に入力されて、例えばハフマ
ン符号と０のランレングス符号を組み合わせた可変長符
号化が行なわれて、可変長符号化量子化係数Ｄ１５にな
る。

【００１０】可変長符号化量子化係数Ｄ１５はバツフア
メモリ１５で情報量を平滑化されて、多重化回路１６に
入力される。多重化回路１６では、バツフアメモリ１５
によつて一定情報量化された可変長符号化量子化係数Ｄ
１６と、ブロツクアクテイビテイＤ１８及びバツフアメ
モリ蓄積情報量Ｄ１９から計算された、量子化ステツプ
サイズＤ２０が多重化されて、画像信号符号化装置の出
力Ｄ１７として送出される。

【００１１】一方画像信号復号化装置（図２３）におい
て、入力データＥ１１は分流回路２１に入力され、分流
回路２１は可変長符号化量子化係数Ｅ１２と量子化ステ
ツプサイズＤ２０を分離する。可変長符号化量子化係数
Ｅ１２はバツフアメモリ２２にいつたん入力されたの
ち、可変長復号化回路２３に入力されて、可変長復号化
されて量子化係数Ｅ１４となる。

【００１２】量子化係数Ｅ１４は逆量子化回路２４に入
力され、量子化情報Ｅ１８を基に逆量子化されて、復元
マクロブロツク係数Ｅ１５となる。復元マクロブロツク
係数Ｅ１５はマクロブロツク逆変換回路２５によつて、
復元係数Ｅ１６となる。復元係数Ｅ１６は逆変換回路２
６によつて逆変換され、この結果得られる復元画像信号
Ｅ１７が画像信号復号化装置の出力として送出される。

【００１３】

【発明が解決しようとする課題】ところで上述したよう
に画像信号をブロツクに分割して、ブロツク単位で量子
化するブロツク符号化方法においては、統計量から求ま
るブロツクアクテイビテイとバツフア蓄積度から、量子
化回路の量子化ステツプサイズを制御するアルゴリズム
では、１つのブロツク内に平坦部とエツジ部が混在した
り、単純な繰り返し等が現れると、量子化ステツプが不
適切に割り振られて、視角上きわめて大きな妨害が発生
する場合があり、また量子化歪みが目立たないパターン
の場合に、細かい量子化器が割り振られて不必要に情報
量が増加してしまうという問題がある。

【００１４】本発明は以上の点を考慮してなされたもの
で、量子化ステツプサイズをブロツク毎に適応制御して
主観的画質を向上し得る画像信号符号化方法及び画像信
号符号化装置を提案しようとするものである。

【００１５】

【課題を解決するための手段】かかる課題を解決するた
めに本発明においては、入力される画像信号を複数のブ
ロツクに分割し、その各ブロツク毎に変換を行つて得ら
れる変換係数に対してブロツク単位で量子化する画像信
号符号化方法において、各ブロツクを量子化する際の量
子化ステツプサイズを、伝送又は蓄積された情報量と、
ブロツクのアクテイビテイと、平坦さを表す値とを用い
て、３次元クラス分けを行い適応制御するようにした。

【００１６】また本発明においては、入力される画像信
号Ｄ１１を再帰的に複数の帯域に分割し、その各帯域成
分の係数Ｄ１２から複数のブロツクＤ１３を構成し、そ
のブロツク単位で量子化する画像信号符号化方法におい
て、各ブロツクＤ１３を量子化する際の量子化ステツプ
サイズＤ２０を、伝送又は蓄積された情報量Ｄ１９（Ｇ
１７）と、ブロツクＤ１３のアクテイビテイＧ１４と、
平坦さを表す値Ｇ１５とを用いて、３次元クラス分けを
行い適応制御するようにした。

【００１７】また本発明においては、入力される画像信
号を複数のブロツクに分割し、その各ブロツク毎に変換
を行つて得られる変換係数に対してブロツク単位で符号
化する画像信号符号化方法において、ブロツクのアクテ
イビテイと、平坦さを表す値とを用いて、ブロツクの量
子化歪みの画質への影響度を数値化するようにした。

【００１８】また本発明においては、入力される画像信
号を再帰的に複数の帯域に分割し、その各帯域成分の係
数から複数のブロツクを構成し、そのブロツク単位で符
号化する画像信号符号化方法において、ブロツクのアク
テイビテイと、平坦さを表す値とを用いて、ブロツクの
量子化歪みの画質への影響度を数値化するようにした。

【００１９】また本発明においては、入力される画像信
号を複数のブロツクに分割し、その各ブロツク毎に変換
を行つて得られる変換係数に対してブロツク単位で量子
化する画像信号符号化方法において、各ブロツクを量子
化する際の量子化ステツプサイズを、伝送又は蓄積され
た情報量と、ブロツク内の画素の分布の平坦さを表す値
に応じて決定するようにした。

【００２０】また本発明においては、入力される画像信
号を複数のブロツクに分割し、その各ブロツク毎に変換
を行つて得られる変換係数に対してブロツク単位で量子
化する画像信号符号化装置において、各ブロツクを量子
化する際の量子化ステツプサイズを、伝送又は蓄積され
た情報量と、ブロツクのアクテイビテイと、平坦さを表
す値とを用いて、３次元クラス分けを行い適応制御する
量子化制御手段を設けるようにした。

【００２１】また本発明においては、入力される画像信
号Ｄ１１を再帰的に複数の帯域に分割し、その各帯域成
分の係数Ｄ１２から複数のブロツクＤ１３を構成し、そ
のブロツク単位で量子化する画像信号符号化装置におい
て、各ブロツクＤ１３を量子化する際の量子化ステツプ
サイズＤ２０を、伝送又は蓄積された情報量Ｄ１９（Ｇ
１７）と、ブロツクＤ１３のアクテイビテイＤ１４と、
平坦さを表す値Ｇ１５とを用いて、３次元クラス分けを
行い適応制御する量子化制御手段４１〜４７を設けるよ
うにした。

【００２２】また本発明においては、入力される画像信
号を複数のブロツクに分割し、その各ブロツク毎に変換
を行つて得られる変換係数に対してブロツク単位で符号
化する画像信号符号化装置において、ブロツクのアクテ
イビテイと、平坦さを表す値とを用いて、ブロツクの量
子化歪みの画質への影響度を数値化する画質検出手段を
設けるようにした。

【００２３】また本発明においては、入力される画像信
号を再帰的に複数の帯域に分割し、その各帯域成分の係
数から複数のブロツクを構成し、そのブロツク単位で符
号化する画像信号符号化装置において、ブロツクのアク
テイビテイと、平坦さを表す値とを用いて、ブロツクの
量子化歪みの画質への影響度を数値化する画質検出手段
を設けるようにした。

【００２４】また本発明においては、入力される画像信
号を複数のブロツクに分割し、その各ブロツク毎に変換
を行つて得られる変換係数に対してブロツク単位で量子
化する画像信号符号化装置において、各ブロツクを量子
化する際の量子化ステツプサイズを、伝送又は蓄積され
た情報量と、ブロツク内の画素の分布の平坦さを表す値
に応じて決定する量子化制御手段を設けるようにした。

【００２５】

【作用】ブロツクＤ１３の量子化ステツプサイズＤ２０
を決定するときに、統計量から求まるブロツクアクテイ
ビテイＧ１４だけでなく、ブロツクの局所的な平坦さを
あらわす値Ｇ１５を別途求めて、ブロツクの量子化歪み
の画質への影響度を計算して、これとバツフア蓄積度Ｇ
１８から量子化クラス分けを行うか、またはバツフア蓄
積度Ｇ１８、ブロツクアクテイビテイＧ１４、平坦さを
あらわす値Ｇ１５の３つのパラメータによる３次元クラ
ス分けを行うようにしたことにより、画質をなるべく損
なわずかつ発生情報量に見合つた量子化ステツプサイズ
Ｄ２０を設定し得る。

【００２６】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００２７】（１）ウエーブレツト変換による画像信号
符号化方法の原理 図１にウエーブレツト変換による画像信号符号化装置の
全体構成を示す。ウエーブレツト変換を実現するフイル
タには多くの種類が存在するが、一般に変換をフレーム
全体で行わなければならず、ハードウエア規模の点で無
理がある。この画像信号符号化装置で用いるＨａａｒフ
イルタは、ブロツク単位の処理が可能なうえ、他のフイ
ルタと比較しても主観評価で良好な画質が得られたもの
である。Ｈａａｒ関数から作られる変換基底は図２に示
すようなものである。この図からもわかるように、３段
階のオクターブ分割によるＨａａｒ基底は８点で完結す
る。

【００２８】まず入力画像はマクロブロツクに並べ直さ
れ、ウエーブレツト変換が行われる。ウエーブレツト変
換はいろいろなパターンの帯域分割基底を取ることが可
能である。この画像信号符号化方法では、図３に示すよ
うな４種類の基底を、マクロブロツクの局所的性質に合
わせて適応的に選択している。量子化回路もマクロブロ
ツクごとに局所的性質を調べて、それに合わせて適応的
な量子化を行う。

【００２９】次に行われる可変長符号化は、０のランレ
ングスを組み合わせたホフマン符号によつて、効率的な
エントロビー符号化を構成している。そして最後にバツ
フアメモリで平滑化し、伝送ないし記録される。このよ
うにＨａａｒ関数を用いることにより、８画素単位で処
理が完結するので、マクロブロツクサイズを８に取れば
ＤＣＴとまつたく同じように扱うことが可能である。

【００３０】またＨａａｒ基底は乗算を必要とせず、ビ
ツトシフトと加算だけで実現されるので、ハードウエア
規模を大幅に縮小できる。実際のゲート数の概算を図４
の図表に示す。表より分かるようにＨａａｒウエーブレ
ツト変換回路はＤＣＴ回路の１／６のゲート数で実現さ
れ、画像信号符号化装置を小型化及び省電力化し得る。

【００３１】ところで画像は各マクロブロツクごとに局
所的な性質が異なつている。一般に、分割Ａでは画質は
良いがその分情報量も多い。逆に分割Ｄでは画質はやや
劣化するが情報量は少なめであり、分割ＢとＣはその中
間である。このため各マクロブロツクごとに係数を調べ
て、人間の目につきやすいエツジや明瞭なパターンのあ
る部分では分割Ａを、劣化を知覚しにくい不明瞭なパタ
ーンの部分では分割Ｄをそれぞれ割り当てる。

【００３２】さらに分割Ｂは横のパターンに強く、分割
Ｃは縦のパターンに強いので、マクロブロツク内に縦又
は横のエツジが存在する場合は、それぞれ分割Ｂ又は分
割Ｃを割り当てる。このように各マクロブロツクはどの
ような特徴を持つているかによつて分類され、それぞれ
適した分割基底を適用する。

【００３３】量子化回路はマクロブロツクごとに求めら
れるブロツクアクテイビテイ、ブロツク平坦度、バツフ
ア蓄積度の３つのパラメータから、適切な量子化クラス
を決定し、この値からサブバンドごとに量子化除数を計
算して、係数毎に量子化する。基本的には高次側の係数
ほど粗い量子化が行われ、最低次係数及びＤＣ成分は常
に最も細かい量子化が行われる。

【００３４】ブロツクアクテイビテイはマクロブロツク
内の中高次係数の自乗和で、そのマクロブロツクの持つ
パワーである。この値の小さな部分ではデイテールを保
存するために細かく量子化される。ブロツク平坦度はマ
クロブロツク内に平坦な部分があるかどうかをチエツク
するものであり、一部でも平坦部を持つマクロブロツク
では、その平坦さを保存するため細かく量子化される。
バツフア蓄積度は後段のバツフアメモリの蓄積情報量を
フイードバツクするものであり、バツフアメモリがあふ
れそうな時には、発生情報量を減少させるために粗く量
子化される。

【００３５】この画像信号符号化方法では、係数値の大
きさと０のランレングスの長さに対して、別々のホフマ
ン符号を割り当てて、各マクロブロツクで完結するよう
な可変長符号化を行う。一般にウエーブレツト変換で
は、変換された係数データは位置の情報を含んでいる。
これはウエーブレツト変換が必ずしも効率の良い変換で
はないことを示しているが、位置情報を落としていない
からこそエツジの保存性が良いとも言える。従来はサブ
バンドごとにスキヤンパスをとつていたが、今回はこの
性質を利用して、空間的に同一位置を占める係数を、サ
ブバンド間にわたつて飛び越しスキヤンすることで、０
のランレングスを長くし得るようになされている。

【００３６】この画像信号符号化方法を実際の画像信号
に対して検証するシミユレーシヨンの仕様について図５
の図表に示す。シミユレーシヨンには主としてモービル
アンドカレンダ、フラワーガーデンの２つの画像を使用
した。これらは圧縮が難しく歪みも目につきやすい画像
の代表として、符号化方式の評価用に広く使われてい
る。いくつかの画像のシミユレーシヨン結果を、ＤＣＴ
の例としてＪＰＥＧによる結果とあわせて図６の図表に
示す。

【００３７】これから分かるようにＳＮＲでは、ＤＣＴ
の方がＨａａｒウエーブレツト変換よりも良いが、実際
に画像を主観的に評価すると、全ての画像に対して同程
度か、Ｈａａｒウエーブレツト変換の方が評価が高い。
この原因としてエツジの再現性があげられる。なめらか
に変化している部分での画質はＤＣＴの方が良いが、輪
郭部での画質はＨａａｒウエーブレツト変換の方がきれ
いに再構成される。特にモービルアンドカレンダのよう
に圧縮難度の高い画像では、その傾向が顕著である。

【００３８】またダビング等のカスケード接続時の符号
化特性のシミユレーシヨン結果を図７に示す。ここでＭ
Ｃはモービルアンドカレンダを、ＦＧはフラワーガーデ
ンを表し、それぞれに対してＤＣＴとＨａａｒウエーブ
レツト変換を１〜10回行つた。これによるとモービルア
ンドカレンダ、フラワーガーデンのどちらにおいても、
Ｈａａｒウエーブレツト変換ではダビング劣化が５回目
でほぼ飽和し、それ以上悪くならないことが分かる。こ
れに対してＤＣＴの方は、はじめのうちはＨａａｒウエ
ーブレツト変換よりもＳＮＲは良いが、回数を重ねるご
とに逐次劣化して行くことが分かる。

【００３９】また例えば３回目の再生画像では、ＤＣＴ
の方がＨａａｒウエーブレツト変換よりもＳＮＲでは、
モービルアンドカレンダで 0.5〔dB〕、フラワーガーデ
ンでで２〔dB〕以上良い。しかし実際に画像を主観的に
比較すると、どちらの画像においてもＨａａｒウエーブ
レツト変換ではほとんど劣化は知覚されないが、ＤＣＴ
では明らかなブロツク歪みが発生している。これはこの
２枚の画像が、画面全体では複雑だが、空や壁のような
簡単な部分も存在する画像であるため、そこでブロツク
歪みが顕在化するためと考えられる。

【００４０】このように高画質用途の圧縮符号化におけ
る、Ｈａａｒウエーブレツト変換を用いた符号化方法に
ついて、シミユレーシヨンによりその性能を調べた結
果、ＳＮＲに関しては同程度かＤＣＴの方が１〜２〔d
B〕良いといえる。しかし標準画像の中では最も複雑な
画像のひとつであるモービルアンドカレンダでは、むし
ろＨａａｒウエーブレツト変換の方が 0.3〔dB〕ほどＤ
ＣＴを上回つている。

【００４１】さらに主観的な評価では、Ｈａａｒウエー
ブレツト変換がＤＣＴを下回つたものはなく、エツジの
再現の良さでＨａａｒウエーブレツト変換の方が高い評
価が得られた。またビデオテープレコーダ（ＶＴＲ）等
で重要なダビング時の符号化の累積劣化の面でも、Ｈａ
ａｒウエーブレツト変換の方が有効であることが分かつ
た。

【００４２】このＨａａｒウエーブレツト変換による画
像信号符号化方法は、変換における演算量の少なさか
ら、複数の変換ブロツクを並列化する場合や、ローカル
デコードを持つようなシステム、さらにワークステーシ
ヨン上のソフトウエアや、組込み汎用ＣＰＵによるリア
ルタイム画像処理などの用途にも有効である。

【００４３】（２）第１実施例の画像信号符号化方法及
び画像信号符号化装置 図８〜図１５を用いて、本発明の第１実施例について述
べる。図８と図１０は第１実施例の画像信号符号化装置
における量子化制御回路の構成を示す。実際上まず図８
の量子化制御回路においては、入力画像信号のマクロブ
ロツクの輝度信号に相当する部分のデータＧ１３から、
ブロツクアクテイビテイ計算回路４１でブロツクアクテ
イビテイＧ１４と、ブロツク平坦度計算回路４２で平坦
度Ｇ１５が計算される。ブロツクアクテイビテイの計算
法を図１１に示し、平坦度計算法を図１２に示す。

【００４４】ブロツクアクテイビテイＧ１４とブロツク
平坦度Ｇ１５は量子化基準クラス計算回路４３に入力さ
れ、当該マクロブロツクの量子化基準クラスＧ１６が計
算される。これはマクロブロツクの量子化歪みの、画質
への影響度だけを抜き出して数値化したものと考えてよ
い。このクラス割当テーブルを図９に示す。またバツフ
アメモリ蓄積情報量Ｇ１７から、バツフア蓄積度Ｇ１８
が計算される。バツフア蓄積度の計算法を図１３に示
す。

【００４５】量子化基準値計算回路４５は、量子化基準
クラスＧ１６とバツフア蓄積度Ｇ１８から、量子化基準
値Ｇ１９を計算して出力する。この基準値テーブルを図
１４に示す。量子化基準値Ｇ１９はマクロブロツク内の
位置に応じて、量子化マトリツクス４６を参照して、量
子化ステツプサイズＧ２１に変換される。

【００４６】この量子化マトリツクスを図２６に示す。
これは従来の量子化制御回路で使われるマトリツクスと
同一であり、この図２６での値Ａは図１４から引いてき
た量子化基準値Ｇ１９に相当する。マクロブロツク係数
Ｇ１１は除算器４７に入力されて、量子化ステツプサイ
ズＧ２１で割られて、量子化係数Ｇ１２になる。

【００４７】次に図１０の量子化制御回路について説明
する。入力画像信号のマクロブロツクに相当する部分の
データＨ１３から、ブロツクアクテイビテイ計算回路５
１でブロツクアクテイビテイＨ１４と、ブロツク平坦度
計算回路５２で平坦度Ｈ１５が計算される。またバツフ
アメモリ蓄積情報量Ｈ１６から、バツフア蓄積度Ｈ１７
が計算される。

【００４８】ブロツクアクテイビテイＨ１４とブロツク
平坦度Ｈ１５とバツフア蓄積度Ｈ１７は量子化基準値計
算回路５４に入力され、量子化基準値Ｈ１８を計算して
出力する。この基準値テーブルを図１５に示す。量子化
基準値Ｈ１８はマクロブロツク内の位置に応じて、量子
化マトリツクス５５を参照して、量子化ステツプサイズ
Ｈ２０に変換される。

【００４９】この量子化マトリツクスを図２６に示す。
これは従来の量子化制御回路で使われるマトリツクスと
同一であり、この図２６での値Ａは図１５から引いてき
た量子化基準値Ｈ２０に相当する。マクロブロツク係数
Ｈ１１は除算器５６に入力されて、量子化ステツプサイ
ズＨ２０で割られて、量子化係数Ｈ１２になる。

【００５０】以上の構成によれば、バツフア蓄積度と、
アクテイビテイからわかるブロツクの全体的な傾向と、
平坦さをあらわす値からわかる局所的な傾向を考慮する
ことにより、ブロツクの量子化歪みの画質への影響度を
知ることができるので、従来の量子化制御方法では困難
であつたブロツクにも、適切な量子化器を割り振ること
ができる。

【００５１】かくして従来と比較して、１つのブロツク
内に平坦部とエツジ部が混在するような、エツジの保存
が困難であつたブロツクに対して、細かい量子化器を割
り振れるため、エツジまわりの画質を改善することがで
きる。

【００５２】さらに従来と比較して、複雑なパターンの
ために、量子化歪みが目立たないようなブロツクに対し
て、無駄に細かい量子化ステツプが割り振られることが
なく、情報量の有効な配分ができる。また量子化制御の
ためのパラメータが機能的に独立なので、システムの設
計が簡単になり、設計コストを低減することができる。

【００５３】（３）第２実施例の画像信号符号化方法及
び画像信号符号化装置 この第２実施例では図１２について上述したＦの値を平
坦度として用いる。このＦの値は４つの画素の輝度値が
同一平面上にあるときに最小値０をとる。すなわちこの
値が小さいほど平坦な画像であると判断できる。同様に
Ｆの値が小さいときは、Ｆが局所値Ｆ_SUB の最小値であ
ることから、ブロツクの中の平坦なサブブロツクがある
と判断できる。ブロツク内の平坦なサブブロツクは平坦
であると判断した方が良い。従つてＦの値が小さいとき
にはブロツクは平坦であり、大きいときには平坦でない
と判断する。

【００５４】８×８の画像ブロツクを図１６に示すよう
に４つのサブブロツクに分けたとき、Ｆの値は、図１７
の計算によつて求められ、その回路は図１８に示すよう
になる。すなわち８×８の画像ブロツクの64画素は入力
信号Ｓ６１として、順に画像データ一時記憶ＲＡＭ６１
に蓄えられ、アドレスデコーダＲＯＭ６５の発生させた
アドレスＱ６２に従つて、サブブロツク順にサブブロツ
ク内の４画素ずつを順次係数Ｓ６２として計算回路６２
に送られる。

【００５５】計算回路６２は係数Ｓ６２が４つ入力され
た時点で単位値Ｆ_LOCAL を計算し、これを係数Ｓ６３と
して加算器６３に送る。加算器６３はサブブロツク内の
それまでの単位値Ｆ_LOCAL の和Ｓ６４と係数Ｓ６３を加
え、改めて係数Ｓ６４として出力するサブブロツク内の
単位値Ｆ_LOCAL が全て計算された時点でタイミングデコ
ーダＲＯＭから発生されるＱ６３に従つて、係数Ｓ６４
は局所値Ｆ_SUB として係数Ｓ６５となつて出力される。

【００５６】次にアドレスデコーダＲＯＭ６５の発生す
るどのサブブロツクであるかを示すアドレスに従つて、
サブブロツク４以外のときは係数Ｓ６５を係数Ｓ６６〜
Ｓ６８として一時記憶ＲＡＭ６６〜６８に記憶する。そ
して４つの局所値Ｆ_SUB がすべた求まつた時点で、４つ
の係数を最小値選択回路６９に入力して最小値を選び、
平坦度Ｆが係数Ｓ６１０として出力される。

【００５７】以上の構成において、図１９（Ａ）及び
（Ｂ）のような画像ブロツクを変換して量子化を行う場
合について説明する。なお１画素は３ビツト（０〜７）
で表されているとする。図１９（Ａ）の画像と図１９
（Ｂ）の画像は、平均値、平均誤差、平均２乗誤差など
の統計量は全て同じになる。しかし原画像に対し量子化
によるノイズが発生した場合、図１９（Ａ）の画像の方
が図１９（Ｂ）の画像よりも人の目に対してノイズが目
立つ。これはブロツク内の画素値の分布状況によるもの
である。

【００５８】ここで、量子化制御回路をＲＯＭで構成し
た場合の量子化回路制御信号発生用ＲＯＭのメモリマツ
プを図２０に示すように設定し、Ｆの値に応じて０〜７
の量子化回路制御信号を発生するようにする。図２０の
出力の値が大きくなるに従つて、量子化器では量子化ス
テツプを大きくした粗い量子化を行うこととする。

【００５９】いま図１９（Ａ）のサブブロツク１内で求
まる９つの単位値Ｆ_LOCAL の値は図２１（Ａ）のように
なり、一方図１９（Ｂ）のサブブロツク１で求まる９つ
の単位値Ｆ_LOCAL の値は図２１（Ｂ）のようになる。サ
ブブロツク１の局所値Ｆ_SUBはこの９つの値を加えるこ
とで求まるから、Ａは35（＝７×５＋０×４）であり、
Ｂは 126（＝14×９）である。またサブブロツク２〜４
についても局所値Ｆ_SUB を求めると、ＡＢともにサブブ
ロツク１と同じ値になることが分かる。

【００６０】従つて平坦度Ｆの値すなわち図１８の回路
の出力は、Ａが35、Ｂが 126になる。これを図２０の量
子化回路制御信号発生用ＲＯＭに送ると、発生する量子
化回路制御信号はＡが２、Ｂが７となる。従つて図１９
（Ａ）のブロツクは図１９（Ｂ）のブロツクより小さな
量子化ステツプで量子化されることになり、このように
して人間の視覚特性に適応した量子化が可能になる。

【００６１】以上の構成によれば、サブブロツク内の情
報の分布状況をブロツクの量子化ステツプの決定に反映
させることができるため、平坦部において観測されやす
いノイズを軽減するような量子化ステツプが設定可能と
なり、主観的な画質を向上させることができる。

【００６２】（４）他の実施例 なお上述の実施例においては、サブバンド符号やウエー
ブレツト変換のような帯域分割符号化について述べた
が、例えばＤＣＴのような直交変換符号化についても同
様に構成でき、その場合はブロツクアクテイビテイの計
算法や量子化マトリツクスの内容が、それに応じて変更
される。

【００６３】また上述の実施例においては、ウエーブレ
ツト変換として２次元多重解像度分解による低次側への
再帰的帯域分割方式を図示し、これに従つて説明した
が、これに限らず、例えば１次元の分解を縦横独立に行
う２次元分離型の帯域分割方式や、再帰的分割と分離型
分割を組み合わせたハイブリツド分割方式等を用いるよ
うにしても上述の実施例と同様の効果を実現できる。

【００６４】また上述の実施例においては、ブロツクア
クテイビテイの計算法として、８×16のサイズのブロツ
クに対して、高次係数と中次係数の絶対値和を求めてア
クテイビテイの値としたが、ブロツクのサイズはこれに
限らず、マクロブロツクの形状に合わせて、８×８や16
×16等でも良い。また係数は例えばＤＣ成分を除く他の
任意の係数の組合せでも良く、さらに絶対値和に限らず
２乗和や重み付和などでも良い。

【００６５】また上述の実施例においては、平坦度の計
算法として、８×16のサイズのブロツクについて例を示
したが、このサイズは偶数×偶数であれば任意に取るこ
とができ、一般には符号化におけるブロツクのサイズに
合わせれば良い。さらにアルゴリズム自体もここに示し
た方法に限定されるわけではなく、例えば平均からの誤
差をとるような方法でも、上述の実施例と同様の効果を
実現できる。

【００６６】また上述の実施例においては、バツフア蓄
積度の計算法として、バツフアメモリの蓄積量そのもの
に対応して蓄積度を求めているが、これに限らず例えば
バツフアメモリに蓄積される情報量の増減を元にするよ
うにしても良い。またこの実施例における量子化マトリ
ツクスでは、各サブバンド内では同一の値を設定してい
るが、この他位置に応じて値を変えるなどの設定をして
も良い。

【００６７】さらに上述の実施例においては、本発明を
伝送を前提とした画像信号符号化方法及び画像信号符号
化装置に適用したが、バツフアメモリの代えて仮想バツ
フア計算回路を用いて、実際の発生情報量と仮想バツフ
ア容量との差をバツフア蓄積度と置き換えることによ
り、蓄積のための画像信号符号化方法及び画像信号符号
化装置に対しても適用し得る。

【００６８】

【発明の効果】上述のように本発明によれば、ブロツク
の量子化ステツプサイズを決定するときに、統計量から
求まるブロツクアクテイビテイだけでなく、ブロツクの
局所的な平坦さをあらわす値を別途求めて、ブロツクの
量子化歪みの画質への影響度を計算して、これとバツフ
ア蓄積度から量子化クラス分けを行うか、またはバツフ
ア蓄積度、ブロツクアクテイビテイ、平坦さをあらわす
値の３つのパラメータによる３次元クラス分けを行うよ
うにしたことにより、画質をなるべく損なわずかつ発生
情報量に見合つた量子化ステツプサイズを割り振ること
ができる画像信号符号化方法及び画像信号符号化装置を
実現できる。

【図面の簡単な説明】

【図１】Haarウエーブレツト変換による画像信号符号化
方法の説明として画像符号化装置を示すブロツク図であ
る。

【図２】Ｈａａｒ関数による８点ウエーブレツト変換基
底を示す略線図である。

【図３】ウエーブレツト変換の帯域分割基底の説明に供
する略線図である。

【図４】ウエーブレツト変換とＤＣＴのゲートサイズを
比較して示す図表である。

【図５】ウエーブレツト変換とＤＣＴのシミユレーシヨ
ン仕様の説明に供する図表である。

【図６】ウエーブレツト変換とＤＣＴのシミユレーシヨ
ン結果の説明に供する図表である。

【図７】ウエーブレツト変換とＤＣＴのダビング符号化
特性の説明に供する特性曲線図である。

【図８】本発明による画像信号符号化装置における量子
化制御回路のうち２段階制御を行う構成を示すブロツク
図である。

【図９】図８の量子化制御回路における量子化クラス分
けの実施例を示す図表である。

【図１０】本発明による画像信号符号化装置における量
子化制御回路のうち３次元制御を行う構成を示すブロツ
ク図である。

【図１１】量子化制御回路におけるブロツクアクテイビ
テイの計算法を示す略線図である。

【図１２】量子化制御回路におけるブロツク平坦度の計
算法の説明に供する略線図である。

【図１３】量子化制御回路におけるバツフア蓄積度の計
算法の説明に供する略線図である。

【図１４】図８の量子化制御回路における量子化基準値
テーブルを示す図表である。

【図１５】図１０の量子化制御回路における量子化基準
値テーブルを示す図表である。

【図１６】８×８の画像ブロツクを４つのサブブロツク
に分割する説明に供する略線図である。

【図１７】８×８の画像ブロツクに対する平坦度を求め
る計算式を示す略線図である。

【図１８】本発明による画像信号符号化装置におけるブ
ロツクアクテイビテイの計算回路を示すブロツク図であ
る。

【図１９】８×８の画像ブロツクの説明に供する略線図
である。

【図２０】量子化回路制御信号発生用ＲＯＭのメモリマ
ツプを示す略線図である。

【図２１】サブブロツク１内の単位値の値を示す略線図
である。

【図２２】ウエーブレツト変換による画像信号符号化装
置を示すブロツク図である。

【図２３】ウエーブレツト変換による画像信号復号化装
置を示すブロツク図である。

【図２４】ウエーブレツト変換係数のマクロブロツクの
構成を示す略線図である。

【図２５】従来の量子化制御回路の構成を示すブロツク
図である。

【図２６】量子化マトリツクスの構成を示す略線図であ
る。

【符号の説明】

１１……ウエーブレツト変換回路、１２……マクロブロ
ツク変換回路、１３……量子化回路、１４……可変長符
号化回路、１５……バツフアメモリ、１６……多重化回
路、１７……ブロツクアクテイビテイ計算回路、１８…
…量子化制御回路、２１……分流回路、２２……バツフ
アメモリ、２３……可変長復号化回路、２４……逆量子
化回路、２５……マクロブロツク逆変換回路、２６……
逆ウエーブレツト変換回路、３１、４１、５１……ブロ
ツクアクテイビテイ計算回路、３２、４４、５３……バ
ツフア蓄積度計算回路、３３、４５、５４……量子化基
準値計算回路、３４、４６、５５……量子化マトリツク
ス、３５、４７、５６……除算回路、４２、５２……ブ
ロツク平坦度計算回路、４３……量子化クラス計算回
路。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 1/41 Ｂ (72)発明者 吉本 正和 東京都品川区北品川６丁目７番35号ソニー 株式会社内 (72)発明者 小島 雄一 東京都品川区北品川６丁目７番35号ソニー 株式会社内

Claims (14)

【特許請求の範囲】
1. 【請求項１】入力される画像信号を複数のブロツクに分
   割し、当該各ブロツク毎に変換を行つて得られる変換係
   数に対してブロツク単位で量子化する画像信号符号化方
   法において、 上記各ブロツクを量子化する際の量子化ステツプサイズ
   を、伝送又は蓄積された情報量と、上記ブロツクのアク
   テイビテイと、平坦さを表す値とを用いて、３次元クラ
   ス分けを行い適応制御するようにしたことを特徴とする
   画像信号符号化方法。
2. 【請求項２】入力される画像信号を再帰的に複数の帯域
   に分割し、当該各帯域成分の係数から複数のブロツクを
   構成し、当該ブロツク単位で量子化する画像信号符号化
   方法において、 上記各ブロツクを量子化する際の量子化ステツプサイズ
   を、伝送又は蓄積された情報量と、上記ブロツクのアク
   テイビテイと、平坦さを表す値とを用いて、３次元クラ
   ス分けを行い適応制御するようにしたことを特徴とする
   画像信号符号化方法。
3. 【請求項３】入力される画像信号を複数のブロツクに分
   割し、当該各ブロツク毎に変換を行つて得られる変換係
   数に対してブロツク単位で符号化する画像信号符号化方
   法において、 上記ブロツクのアクテイビテイと、平坦さを表す値とを
   用いて、上記ブロツクの量子化歪みの画質への影響度を
   数値化するようにしたことを特徴とする画像信号符号化
   方法。
4. 【請求項４】入力される画像信号を再帰的に複数の帯域
   に分割し、当該各帯域成分の係数から複数のブロツクを
   構成し、当該ブロツク単位で符号化する画像信号符号化
   方法において、 上記ブロツクのアクテイビテイと、平坦さを表す値とを
   用いて、上記ブロツクの量子化歪みの画質への影響度を
   数値化するようにしたことを特徴とする画像信号符号化
   方法。
5. 【請求項５】上記数値化された上記ブロツクの上記量子
   化歪みの画質への影響度と、伝送又は蓄積された情報量
   を用いて、上記各ブロツクを量子化する際の上記量子化
   ステツプサイズを適応制御するようにしたことを特徴と
   する請求項３又は請求項４に記載の画像信号符号化方
   法。
6. 【請求項６】入力される画像信号を複数のブロツクに分
   割し、当該各ブロツク毎に変換を行つて得られる変換係
   数に対して上記ブロツク単位で量子化する画像信号符号
   化方法において、 上記各ブロツクを量子化する際の量子化ステツプサイズ
   を、伝送又は蓄積された情報量と、上記ブロツク内の画
   素の分布の平坦さを表す値に応じて決定するようにした
   ことを特徴とする画像信号符号化方法。
7. 【請求項７】上記ブロツク内の画素の分布の平坦さを表
   す値として、上記ブロツクを複数のサブブロツクに分割
   し、 当該サブブロツク内で正方形状に隣接する全ての４画素
   に対し、左上の画素値と右下の画素値との和及び右上の
   画素値と左下の画素値との和の差分の絶対値を求め、 上記サブブロツク内で上記絶対値の和を取り、さらに上
   記ブロツク内の全ての上記サブブロツクの中での最小値
   を求め、当該最小値を用いるようにしたことを特徴とす
   る請求項６に記載の画像信号符号化方法。
8. 【請求項８】入力される画像信号を複数のブロツクに分
   割し、当該各ブロツク毎に変換を行つて得られる変換係
   数に対してブロツク単位で量子化する画像信号符号化装
   置において、 上記各ブロツクを量子化する際の量子化ステツプサイズ
   を、伝送又は蓄積された情報量と、上記ブロツクのアク
   テイビテイと、平坦さを表す値とを用いて、３次元クラ
   ス分けを行い適応制御する量子化制御手段を具えること
   を特徴とする画像信号符号化装置。
9. 【請求項９】入力される画像信号を再帰的に複数の帯域
   に分割し、当該各帯域成分の係数から複数のブロツクを
   構成し、当該ブロツク単位で量子化する画像信号符号化
   装置において、 上記各ブロツクを量子化する際の量子化ステツプサイズ
   を、伝送又は蓄積された情報量と、上記ブロツクのアク
   テイビテイと、平坦さを表す値とを用いて、３次元クラ
   ス分けを行い適応制御する量子化制御手段を具えること
   をことを特徴とする画像信号符号化装置。
10. 【請求項１０】入力される画像信号を複数のブロツクに
    分割し、当該各ブロツク毎に変換を行つて得られる変換
    係数に対してブロツク単位で符号化する画像信号符号化
    装置において、 上記ブロツクのアクテイビテイと、平坦さを表す値とを
    用いて、上記ブロツクの量子化歪みの画質への影響度を
    数値化する画質検出手段を具えることを特徴とする画像
    信号符号化装置。
11. 【請求項１１】入力される画像信号を再帰的に複数の帯
    域に分割し、当該各帯域成分の係数から複数のブロツク
    を構成し、当該ブロツク単位で符号化する画像信号符号
    化装置において、 上記ブロツクのアクテイビテイと、平坦さを表す値とを
    用いて、上記ブロツクの量子化歪みの画質への影響度を
    数値化する画質検出手段を具えることを特徴とする画像
    信号符号化装置。
12. 【請求項１２】上記数値化された上記ブロツクの上記量
    子化歪みの画質への影響度と、伝送又は蓄積された情報
    量を用いて、上記各ブロツクを量子化する際の上記量子
    化ステツプサイズを適応制御する量子化制御手段を具え
    ることを特徴とする請求項１０又は請求項１１に記載の
    画像信号符号化装置。
13. 【請求項１３】入力される画像信号を複数のブロツクに
    分割し、当該各ブロツク毎に変換を行つて得られる変換
    係数に対してブロツク単位で量子化する画像信号符号化
    装置において、 上記各ブロツクを量子化する際の量子化ステツプサイズ
    を、伝送又は蓄積された情報量と、上記ブロツク内の画
    素の分布の平坦さを表す値に応じて決定する量子化制御
    手段を具えることを特徴とする画像信号符号化装置。
14. 【請求項１４】上記量子化制御手段は、上記ブロツク内
    の画素の分布の平坦さを表す値として、上記ブロツクを
    複数のサブブロツクに分割し、当該サブブロツク内で正
    方形状に隣接する全ての４画素に対し、左上の画素値と
    右下の画素値との和及び右上の画素値と左下の画素値と
    の和の差分の絶対値を求め、上記サブブロツク内で上記
    絶対値の和を取り、さらに上記ブロツク内の全ての上記
    サブブロツクの中での最小値を求め、当該最小値を用い
    るようにしたことを特徴とする請求項１３に記載の画像
    信号符号化装置。