JPH04130862A - 画像符号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） この発明は、画像符号化方式に関し、特に可変ブロック
サイズで直交変換を行う場合の符号化方式の改良に関す
る。

（従来の技術） 画像を圧縮符号化して伝送する方式において、入力信号
をいくつかの小単位（以下、ブロックという）に分けた
後、直交変換を行いその変換係数を符号化する方式を変
換符号化方式という。特にブロックの大きさが画面内で
等しくない場合は、可変ブロックサイズ変換符号化とい
う。

可変ブロックサイズで変換を行う意義は、画像の局所に
よって発生情報量（即ち単位面積あたりの符号量）が異
っていることから、ブロックの面積を変えてブロックあ
たりの符号量をほぼ同じとすることにある。

第９図にこの可変ブロックサイズ変換符号化を用いた場
合の画面分割の例を示す。これは、ＩＣＡＳＳＰ’９０
（１９９０Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｔｅｒ
ｅｎｃｅｏｎ　Ａｃｏｕｓｔｉｃｓ、５ｐｅｅｃｈ、ａ
ｎｄ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ。

１９９０年４月３〜６日アメリカ・ニューメキシコにて
開催）　”Ｌａｖ　Ｂｉｔ　Ｒａｔｅ　Ｖｉｄｅｏ　Ｃ
ｏｄｉｎｇ　ｕｓｉｎｇＶａｒｉａｂｌｅ　Ｂｌｏｃｋ
　５ｉｚｅ　Ｍｏｄｅｌ”　（Ｍ８．３）に記載されて
いるもので、この内容を簡単に述べると、ブロック間で
符号化を行う場合は前フレームの動き補償を行って得た
ブロックとの２乗誤差をブロック内の場合は現ブロック
内の分散値を計算し、この値が所定のスレショルドに達
するまでブロックの大きさを拡大する、というものであ
る。この結果第９図に示したように、動きがはげしい人
物の部分は小さなブロック、動きがなく分散も小さい背
景の部分は大きなブロックに分割されている。ブロック
サイズは８×８〜３２Ｘ　３２である。ブロックの大き
さが決まると、大きさに応じた直交変換を行、い変換係
数の低周波成分６４個を符号化伝送し、残りの係数は伝
送せず捨てていた。このように伝送する係数の数をブロ
ックあたり一定とすることにより、各ブロックの発生情
報量とほぼ同じようにしていた。

（発明が解決しようとする課題） しかしながら、従来のようにブロックの分散値や動き補
償後の誤差によってブロックの大きさを決める方法では
、変換後の変換係数の分布と直接の相関がないために、
符号化伝送する部分（６４個の係数）以外の係数に重要
な情報が発生している場合があり、これらの係数を伝送
せず捨てることによって、画質の劣化を招いていた。

この発明はこのような従来の方法を改良すべくなされた
もので、ブロックの大きさを決める方法として、変換・
量子化後の変換係数の分布を調べ、ある領域（例えば低
周波成分６４個の部分）以外の変換係数に重要な情報が
ないように大きさを定めることにより、復号後の画質劣
化を押えることを目的とする。

［発明の構成］ （課題を解決するための手段） 上記目的を達成させるため、この発明は、画像符号化時
の局所的なブロックサイズを決定する手段として、変換
・量子化を行ったときに変換係数がある領域（例えば低
周波成分６４個の部分）以外で０となるようにブロック
サイズを選び、伝送（蓄積）の際にこの領域の変換係数
のみを符号化するようにしている。

（作用） このようにブロックサイズを決定する際に変換係数の分
布を確認し切り捨てることになる領域（例えば高周波成
分）に重要な変換係数が存在しないようにブロックサイ
ズを選ぶことにより、変換・量子化後の非ゼロ係数は必
ず伝送（蓄積）することができ、再生時の画質を向上さ
せることができる。

（実施例） 第１図は本発明の符号化方式が適用された第１の実施例
を示すブロック図である。

まず、変換行列メモリ１０５には、次数の異なる変換行
列を複数、予め貯えておく。ここでは例えば、４次、８
次、　１２次、・・・、３２次のＤＣＴを計８個備える
とする。第２図に４次、８次、　１６次のＤＣＴの変換
行列を例示する。８個のＤＣＴを７４．Ｔ８．Ｔ１゜。

・・・、Ｔ３２と書く。Ｔ４．・・・、Ｔ３２はゲイン
調整のため、通常のＯＣＴの定数倍になっている。

第３図はブロックサイズの決定方法を示すフローチャー
トであり、これを用いて符号化手順を以下に説明する。

符号化する画像は、第１図のフレームメモリ１０１に貯
えておく。画像の大きさは水平Ｈ画素、垂直Ｖ画素とす
る。まず初めに、左上画素アドレス計算回路１０２より
初めに符号化するブロックの左上画素のアドレスが拡大
率判定回路１０９に出力される。初めのブロックではア
ドレスは（１、１）である。合わせて最大拡大率垂直■
Ｖ、水平ａｈが拡大率判定回路１０９に出力されるが、
ここでは変換行列の最大次数が３２なので、ｍＶ≦８゜
Ｉｌｈ≦８である。次に拡大率判定回路１０９は、変換
行列メモリ１０５に拡大率を出力する（ステップ５３０
２）。そして変換回路１０Ｂ　、　ｊ量子化回路１０７
を介して拡大率判定回路１０９は行列Ｃ（ｎｉ、ｎｊ）
を得る（ステップ５３０３）。これらの出力により、フ
レームメモリ１０１より左上画像アドレスが（１，１）
である垂直ａ＋ｖＸ４．水平ｍｈＸ４画素のブロック力
（読み出される。４画素単位なのは、ＤＣＴの次数が４
次単位で変わるためで、一般にはこの限りではない。

次に、読み出されたブロックを変換回路１０６において
変換するが、その際変換する画素はブロック左上（ｉＸ
４）Ｘ　（ｊＸ４）の部分とし、変換行列はＴ、Ｔ、　
　　を用いるとする。ｉ、ｊは１×４　　　コＸ４ はじめ１である（ステップ５３０４）が、後の拡大判定
（ステップ８３０５）により順次変わり最大ｉｖ、　ａ
ｈまでの値をとる。変換された（Ｉｘ４）ｘ　（ｊＸ４
）の係数行列は、量子化回路１０７において量子化され
る。量子化手法は問わない。例えばステップサイズ１６
の線型量子化とすればよい。１＝ｊ−１のときのみ、量
子化された変換係数行列は無条件にメモリ１０８に貯え
る。

量子化された変換係数行列は拡大判定回路１０９に送ら
れ、ここで現在の（ｉＸ４）Ｘ　（ｊＸ４）の大きさの
ブロックのうち非ゼロ係数が左上４×４の部分以外に存
在するかどうかを調べる（ステップ５１０８．５３０７
）。非ゼロ係数が４Ｘ４の部分に収まらない時にはこれ
以上の拡大は行わず、メモリ１０８に貯えておいた変換
係数行列を符号化回路１０４において符号化し出力する
。同時に１番目のブロックの拡大率１．Ｊを決定しくス
テップ５３０１３）　、Ｉ　、　　Ｊは符号化回路１０
３において符号化し出力する。ステップ８３０Ｂ、　５
３０７において非ゼロ係数が左上４×４の部分のみであ
った場合には、左上４×４の変換係数行列を一端メモリ
１０８に貯え、拡大率ｉまたはｊを増やしくステップ５
３０９．５ｏｌｏ）　、ステップ５３１１．５８１２を
介して再び（ｉＸ４）Ｘ　（ｊＸ４）の大きさの変換を
行う。

符号化回路１０３．１０４における符号化手法は問わな
い。例えばハフマン符号を用いればよい。

このようにして１番目のブロックが符号化されると、左
上画素アドレス計算回路１０２より２番目のブロックの
左上画素の位置及び最大拡大率が出力される。このアド
レス計算方法の一例を第４図にフローチャートとして示
した。以下、同様に行い、符号化するブロックがなくな
るまで続ける。

第５図に、水平画素数（Ｈ）１２ｇ、垂直画素数ｍ８４
の場合のブロックの分割の例を示す。第５図は符号化が
終了した時点の可変ブロックサイズの区分けを表してお
り、各ブロックの左上隅の数字は、符号化された順番を
示す。

復号・再生の手順を以下に説明する。入力された符号は
、復号化回路ｌｌｌにおいて符号化され逆量子化回路１
１２において逆量子化される。次に逆変換回路１１３に
おいて逆変換を行うが、ここでは必ず４次の直交変換Ｔ
ｊを用いて４×４のブロックに戻す。Ｔ′４は第２図の
Ｔ４を４倍した変換行列である。この４Ｘ４のブロック
は、復号化回路１１０において復号化された拡大率１．
Ｊおよび左上画素アドレス計算回路１１５において計算
された左上画素アドレスとともに、フレームメモリ１１
４に貯えられる。

このようにして、全てのブロックの４×４個の画素値と
拡大率、および左上画素アドレスが貯えられた後、補間
回路１１６において拡大率に応じた補間が行われ、符号
化時の画像の大きさＨＸＶに戻された後、画像出力とな
る。

補間の方法の例を第６図に示す。第６図（ａ）は、中央
のマス目の書いであるブロックを補間する場合を示して
いる。このブロックの拡大率は垂直・水平とも２倍であ
る。マス目は補間すべき画素の位置を示す。・は、現ブ
ロックの符号化された画素値１６個を、ブロック内に均
等間隔に配置したものである。まず、現ブロックと辺を
接するブロックを選び出し、それぞれの現ブロックに近
い復号化画素値を、拡大率に従い配置する。これを△で
示す。例えばＯで示した画素を補間する場合は、・と△
のすべての中からＯに近いもの４点を選び出し、これら
の値と現画素との距離を用いて現画素を計算すればよい
。

第６図（ｂ）は別の補間方法を表している。ブロックに
とられれずラスク方向に補間していく場合、現ラインの
上辺および現画素の左側は必ず既に補間が終っている。

これらの画素を口で示す。・は（ａ）と同様なものであ
る。■は現ブロック内で既に符号化が終った画素を示す
。例えば０で示した画素を補間する場合は、直上・直左
の口又は■Ｃ画素値と現画素Ｏとの距離および・のすべ
ての［から０に近゛も２点を選び出０・た０画素値・距
離とを用いて現画素値を計算すればよい。

このように再生の時に一種の変換を用いるの１はなく、
変換時と同じ次数の変換を用いて進度ｔを行うのでもよ
い。その場合補間回路は不用でｊる。

補間は第６図に示した例の場合、３ブロツクラインが再
生されていれば行えるので、フレームクモリ１１４は一
画像分を貯える必要はなく、３ブ【ツクライン分でよい
。

拡大率は本例では水平方向・垂直方向で異な＝でもよい
ようにしたが、これは同じ拡大率とし１もよい。この場
合符号化する拡大率は片方のみてよい。

第７図は本発明の符号化方式が適用された第２の実施例
を示すブロック図である。

第７図におけるフレームメモリ８０１．左上画素アドレ
ス計算回路６０２．符号化回路６ｏ３．ｅｏ４，６換行
列メモリ６０５．変換回路６０６．量子化回路６０７．
変換行列メモリ６０８は、第１図における１０１〜１０
８と同じ機能であるので説明を省略する。

第８図に拡大率判定の方法及び最終拡大率ｌの決定法に
ついてのフローチャートを示す。以下このフローチャー
トにもとづいて説明する。なお、拡大率は水平・垂直方
向について異なってもよいが、本実施例では簡単のため
同じとする。まずステップ５８０１で左上画素アドレス
計算回路６０２から最大拡大率ａｓｈ、　ｍｖを入力さ
れた拡大率判定回路６０９は、拡大率ｉを変換行列メモ
リ６０５に出力する（ステップ５８０２）。このときｉ
をＩとして、変換行列Ｔ　　を用いて変換回路６０６で
変換を行い、Ｘ４ 量子化された係数と量子化前の係数とを拡大率判定回路
６０９へ送る（ステップ８８０３）。またｉ−１のとき
は、量子化された変換係数行列を無条件にメモリＧＯ８
へ貯える。またｉ−１のときはこれを拡大率メモリ６１
０に貯える。拡大率判定回路６０９では、量子化された
変換係数行列のある一定の部分を除いて他の部分を０と
しくステップ５８０４）、量子化前の係数行列との平均
２乗誤差をとり（ステップ９８０５）　、これをステッ
プ５８０６で比較し、前記平均２乗誤差があるスレショ
ルド例えば５００以下ならば、メモリ６０８及び６１０
に変換係数行列及び拡大率を貯え、ｉを順次増やしくス
テップｓｇａｒ）、再びＴ　　を用いて変換・量子化を
行うＸ４ そしてステップ５ｓｏｅでスレショルドを超える場合は
拡大率をＩｍｉとして出力しくステップ５８１０）拡大
を停止する。またステップ８８０８でｉがｍより大きけ
ればｉｍｍとしくステップ８８０９）　、同様に拡大を
停止する。メモリ６０８に貯えられている変換係数を符
号化回路６０４において符号化し、メモリ６１０に貯え
られている拡大率を符号化回路８０３において符号化し
、次のブロックの符号化にうつる。

復号・再生の方法を以下に説明する。入力された符号は
、復号回路６１２において復号され、逆量子化回路［Ｘ
１３において逆量子化される。同時に、復号回路６１１
において該ブロックの拡大率Ｉが復号され、この１に従
い変換行列メモリ６１７より”ｉｘ４を呼び出し逆変換
回路６１４において逆変換を行う。Ｔｏ　　はＴ　　と
同じでよいが、ゲインｌｘ４　　１Ｘ４ 調整のため定数（Ｉ　ｘ４）倍することが必要である。

また定数倍は回路８１４又は６１３中で行うのでもよい
。このように逆変換されたブロックは、符号化前と同じ
ＩＸＩの大きさに戻る。このブロックを、左上画素アド
レス計算回路６１６より算出された左上画素アドレスを
使い、もとの画面位置に埋め込む。これをフレームメモ
リ６１５に貯え、全ブロックの復号再生が終了した後、
画像を出力する。なお第１の実施例のように、逆変換を
すべて同じ次数の変換を用いて行い後補間をするのでも
よい。

（発明の効果］ 以上説明してきたように、本発明によればブロックの大
きさを決める際に変換係数の値を調べ、伝送（蓄積）で
きない領域の変換係数についてこれを切り捨てることの
影響を最少限に留めるような方法を用いているので、従
来の技術よりも画質を改善することができる。

【図面の簡単な説明】

第１図は本発明を適用した第１の実施例を説明するブロ
ック図。 第２図は、変換行列の例を示した図。 第３図はブロックサイズの決定方法を示すフローチャー
ト。 第４図はブロックを順次符号化する時の順番を定める方
法を示すフローチャート。 第５図は可変ブロックサイズ符号化の場合のブロック区
分けを示した図。 第６図は第１の実施例における再生時の画素補間法の例
を示した図。 第７図は本発明を適用した第２の実施例を説明するブロ
ック図。 第８図はブロックサイズの決定方法を示するフローチャ
ート。 第９図は従来の可変ブロックサイズの様子を示した図で
ある。

Claims (3)

【特許請求の範囲】
1. （１）画面をブロックに分割し、変換を行った後符号化
   する変換符号化方式において、前記画面の各部によって
   ブロックの大きさを変え、該ブロックの大きさに合わせ
   た次数の変換行列を用いて変換を行い、変換・量子化後
   の変換係数行列の値を用いて該ブロックの大きさを決定
   することを特徴とする画像符号化方式。
2. （２）前記変換・量子化後の変換係数行列が所定の部分
   を除き０であるようにブロックの大きさを決定すること
   を特徴とする請求項１記載の画像符号化方式。
3. （３）前記変換・量子化後の変換係数行列の所定の部分
   を残してすべて０とした場合に、前記変換係数行列の変
   換係数の平均２乗誤差又はこれに類する量を調べ、この
   量があるスレショルド以下であるようにブロックの大き
   さを決定することを特徴とする請求項１記載の画像符号
   化方式。