JPH02200082A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、動画像の伝送・記録や静止画ファイル等にお
いて画像の高能率の符号化を実現する画像符号化装置に
関するものである。

〔従来の技術〕

従来の画像符号化装置に用いられる符号化方式のなかで
、最も標準的な方式として直交変換とブロック符号化を
組み合わせた方式がある。（例えば、吹抜敬彦著″画像
の゛ディジタル信号処理″日刊工業新聞社刊） この方式は、ブロック内の信号を２次元の周波数成分に
変換した場合に、次数の低いもの（平均値に相当する直
流項）の近くに電力が集中することを利用したものであ
る。直交変換の手法としてはＯＣＴ　（ディスクリート
　コサイン　トランスフオーム：　Ｄｉｓｃｒｅｔｅ　
Ｃｏ５１ｎｅ　Ｔｒａｎｓｆｏｒｍ）が一般的であり、
動画像符号化の国際規格標準化の候補にもなっている。

この動画像符号化では、６４　ｋ　ｂ　／　ｓの整数倍
に伝送レートが定められている。とくに低ビツトレート
の場合、各ブロックの制御コードの全体に占める割合も
無視できなくなるため、上記の標準他案では、縦横２ブ
ロック計４ブロックからなるマクロブロックを定義して
いる。

制御コードには、例えばフレーム間の差分の有無を示す
有効／無効の判定ビットや、動き補償フレーム間符号化
における動きベクトル等があり、これらは上記のマクロ
ブロック単位に伝送することになっている。

〔発明が解決しようとする課題〕

しかしながら、従来の手法ではマクロブロックに属する
各ブロックはそれぞれ独立に離散コサイン変換されてお
り、これらのブロックの変換係数間の相関が利用されて
いなかった。

本発明の目的は、これらの変換係数の間に残されている
相関を利用することにより、符号化効率を一段と改善し
た画像符号化装置を実現することにある。

また、本発明の他の目的は、上記のマクロブロック内の
段差成分（ブロック歪）を軽減し１画質が一段と改善さ
れた符号化装置を提供することにある。

Ｃ課題を解決するための手段〕 本装置では、上記の目的を達成するため、前記マクロブ
ロックの信号から、水平・垂直方向の偶・偶、偶・奇、
奇・偶および奇・奇対称成分を求め、これらの成分に応
じて、異なる線形変換、たとえば前記偶対称成分には、
離散コサイン変換（ＤＣＴ）　、前記奇対称成分には、
離散サイン変換（ＤＳＴ）を行なっている。

〔作用〕

これは、偶関数の半周期にあたる原信号については、離
散サイン変換より離散コサイン変換が、また奇関数の半
周期にあたる原信号については、＃を敗コサイン変換よ
り離散サイン変換の方が、特定の係数に対する電力の集
中度が高くなるという性質によるものである８　（この
関係については。

実施例の中で述べる。） また、４ブロックからなる原画像を、ブロック間にまた
がる偶・奇関数の重ね合わせで表現したことにより、本
質的にブロック間の連続性がみたされ易くなっているこ
とによるものである。

〔実施例〕

以下、本発明の第１の実施例について第１図。

第２図および、第３図を用いて説明する。

第１図は、動画像符号化装置のブロック符号化部の構成
を示す構成図である。

ＴＶカメラ１の信号は、Ａ／Ｄ変換器２により。

ディジタル信号化され、フレームメモリ３に取り込まれ
る。、このメモリの内容は、第２図に示すような２ＮＸ
２Ｎ画素からなるマクロブロックを単位として切り出さ
れ、伝送済みのフレームの内容に近いマクロブロックと
の差分が、減算器４により計算される。ここでフレーム
メモリ５には、伝送済みのフレームの内容が書き込まれ
ており、動き補償回路６により、上記ブロックの動き量
の補償が行なわれる。なお、この動き量は、＠きベクト
ルとして別途符号化されて伝送される。

減算器４の出力は、対称成分変換器７によって水平・垂
直方向の偶対称・奇対称性に基づく４つの成分に変換さ
れる。この変換の詳細は、第３図をもとに後述する。

この４成分はすべてＮＸＮのマトリクスで表わすことが
でき、直交変換回路８により、それぞれＮＸＮの周波数
成分に対応する係数に変換される。

なお、これらの変換に用いられる変換マトリクスは、そ
の偶対称・奇対称性によって、個別に係数メモリ９から
読み出される。

直交変換回路８の出力は、それぞれ量子化回路１０を経
由したのち、エントロピー符号器１１により、可変長符
号に変換され、伝送路１２に送り出される。

一方、量子化回路１０の出力は、逆斌子化回路１３、逆
直交変換回路１４．対称成分逆変換回路１５により、フ
レーム間の差分信号に変換される。

この信号は加算器１６により、動き補償された前フレー
ムの内容と加算されて、フレームメモリ５に書き込まれ
る。フレームメモリ５．動き補償回路６．加算器１６で
構成されるループは、受信側のループに対応しており、
受信した画像を模擬していることになる。

一方の受信側では、伝送路１２より送られた可変長符号
が、エントロピー復号器１７．逆量子化回路１８．逆直
交変換回路１９．対称成分逆変換回路２０、および係数
メモリ２１により、フレーム間差分信号に逆変換される
。この信号は、上記送信側のフレーム間差分信号と同じ
ものであり、動き補償回路２３により補正されたフレー
ムメモリ２２の内容が加算器２１で加算される。この信
号は新たなフレーム信号として、フレームメモリ２２に
書き込まれるとともに、Ｄ／Ａ変換器２４によりアナロ
グ信号に変換され、モニタ２５に表示される。

次に、対称成分変換器７、および直交変換回路８で行わ
れる変換の詳細について、第２図および第３図を用いて
説明する。

第２図は、拡大ブロックとその対称軸の関係、第３図は
、水平・垂直方向の偶対称・奇対称性により分類される
Ｇｏｅｒ　Ｇａｅ、Ｇｅｏｔ　ＧｏＯの４成分について
示したものである。

２次元の対称性について述べるまえに、１次元の例につ
いて簡単に補足する。

一般に、２Ｎ個の実数列Ｘ　（ｉ）　　（ｉ＝　−（Ｎ
−１）、・・・、０，１．・・・、Ｎ）は、ｉ　＝　１
　／　２について対称な偶対称数列Ｘｅ　（ｉ）と奇対
称数列Ｘｏ　（ｉ）の和で表わすことができる。すなわ
ち、次式が成り立つ。

Ｘ　（ｉ）＝Ｘｅ　（ｉ）　十Ｘｏ　（ｉ）（ｉ　＝−
（Ｎ　−１）、　　・・、０，１．　　・・、Ｎ）ここ
で次の関係がある。

Ｘ５（ｉ）＝１／２　［Ｘ（ｉ）＋Ｘ（１−ｉ）コＸｏ
（ｉ）　＝１／２　［Ｘ（ｉ）−Ｘ（１−ｉ）　］これ
を、マトリクスを用いて次のように表すことができる。

ここで、右辺のマトリクスは２次のアダマール行列であ
る。

以上の考えを容易に２次元に拡張することができる。

１ブロックがＮＸＮ画素のとき、縦・横２ブロツ’）、
２ＮＸ２Ｎｆｊ索からなるマクロブロックＤ　（ｍ＋　
ｎ）（ｍ＋　ｎ＝−（Ｎ−１）ｔ−＋　０１１、・・・
、Ｎ）を第２図のように定義する。このとき、対称軸は
ｍ　＝　１　／　２　、　ｎ　＝　１　／　２である。

２次元の任意の実数列に関しても、第１表に示すような
水平・垂直方向の偶対称成分と奇対称成分の和で表わす
ことが可能である。

第１表　２次元数列の偶対称・奇対称成分すなわち１次
式が成立する。

Ｄ（ｍ、ｎ）＝Ｇｅａ（ｎｕｎ）＋Ｇｏａ（ｍ、ｎ）＋
　Ｇｏｏ（ｍ　、　ｎ　）＋　Ｇｏｏ（ｍ　、　ｎ　）
（ＩＴ１＋　ｎ＝　　（Ｎ　　ＩＬ　−ｅ　Ｏｐ　Ｉｓ
　・＝＋　Ｎ）このとき、次の関係式が成り立つ。

（ｍ、ｎ＝１，２．・・・、Ｎ−１） ここで、右辺のマトリクスは、４次の７ダマ一ル行列で
あり、逆行列が転置行列に等しいため、ユニタリ行列と
なる。

なお、偶対称・奇対称成分について次の関係式％式％ Ｇｏｏ（ｍ、ｎ）＝　　Ｇｏｏ（１−ｍ、ｎ）（ｍ＝１
．２．　　・・・、Ｎ−１） （ｎ　＝−（Ｎ　−１）、　　−、０、１、−、Ｎ）（
２）垂直方向 Ｇｅｊ（ｒｒｚ　ｎ）＝　　Ｇａｓ（ｍ＋　１−ｎ）Ｇ
ｏｓ（ｍ、ｎ）＝　　Ｑｏａ（ｍ、１−ｎ）Ｇｅｏ（ｍ
、　ｎ）＝−Ｇｅｏ（ｍ、　１−ｎ、）Ｇｏｏ（ｍ　、
　ｎ　）＝　　Ｇｏｏ（ｍ　Ｈ１ｎ　）（ｍ＝−（Ｎ−
１）、”、０，１．”・、Ｎ）（ｎ＝１．２．・・・、
Ｎ−１） 本発明では、ＩＭ画像Ｄ　（ｍ、ｎ）を直接ＤＣＴする
のではなく、上記の４成分についてそれぞれ次のような
変換を施す。

［Ｃｅｅコ　＝ｔ［１゛コ　・　［Ｇａｓコ　・［１゛
コＣＣｏｅコ　＝’　　［’ｌ’］　　−［Ｇａｓコ−
［Ｓコ［Ｃｅｏ］　　＝Ｌ　［Ｓ］　　・　［Ｇａｓコ
　−［Ｔ］［Ｃｏｏｌ　”’　［Ｓ］　”　［Ｇｏｏｌ
　’　［８１ここで［Ｔコおよび［Ｓコは、ＤＣＴ、Ｄ
ＳＴマトリクスであり、それぞれ次のようになる。

Ｔ＋ｊ＝％・Ｋｉ−ｃｏｓ［（ｉ　　１）（ｊ−１／２
）π／ｎ］（１＋　　、）＝＝１．　２．　　・・・＋
ｎ）ｉ　＝　１　　のとき　Ｋｉ＝、１／Ｊ’Ｔｉ≠１
　のとき　Ｋ　ｉ　＝　１ Ｓｉｊ＝、／’ｉΣｎ　・ｓｉｎ［（ｉ−１／２）（ｊ
　　　１／２）ｇ／ｎコ（ｘ＋　　ｊ＝ｌＬ＋　　２＋
　　・・・＋ｎ）次に、偶対称成分はＤＣＴ、奇対称成
分はＤＳＴが適していることを、第４図を用いて定性的
に説明する。

ＤＣＴは、与えられたＮ個の入力信号から同図（ａ）の
ような鏡像を用いて、その２倍の周期をもつ偶関数を生
成し、これをフーリエ級数に展開したときのコサインの
係数に等価である。このとき、その対称性からサインの
項はすべてＯとなり、サンプリングの１／２以上の周波
数成分があらかじめ除去されているという仮定により、
Ｎ／２次以上のコサインの項も０となる。

この結果、Ｎ個の入力離散信号は、直流を含むＮ個の周
波数成分に変換されていることになる。

このようにＤＣＴは、鏡像を用いて、任意の入力から滑
らかに接続する周期関数を生成している。

したがって、ＤＦＴ（入力を周期関数とみなす）の場合
に発生する、境界部の不連続に起因する周波数成分の乱
れがＤＣＴでは解決されている。

これより、ＤＣＴに関し次の性質が成り立つことがわか
る。

１）マクロブロックに関し偶対称となる成分は。

上記の偶関数と等価になる。

２）マクロブロックに関し奇対称となる成分は、鏡像に
より第４図（ｂ）のように偶関数化される。したがって
、本来低い周波数成分を有する入力であっても、中央付
近の凹（凸）部の影響により、コサインの高調波成分が
あられれる。

（この成分は、符号化効率の低下をもたらす、）上記の
説明の偶関数の部分を奇関数とし、コサインをサインと
することにより、ＤＳＴについても同様の性質が見いだ
される。

以上の説明から、マクロブロックに関し奇対称となる成
分は、コサインの重ね合わせで表現するＤＣＴより、サ
インの重ね合わせのＤＳＴで表わした方が、特定の係数
に対する集中度が良く、符号化効率も改善されることが
わかる。

同様に、マクロブロックに関し偶対称となる成分は、Ｄ
ＳＴより、ＤＣＴの方−が有利となる。

第５図は本手法と、従来の手法すなわち、マクロブロッ
ク内の４ブロックについて、個別にＤＣＴを行なった場
合の符号化特性を比較したものである。

０．３ビット／画素で３ｄＢ、０．６ビツト／画素で約
１ｄＢ、１ビット／画素以上で０．５　ｄ　Ｂ程度の改
善効果が得られている。

これは、本手法により、ブロック間の相関（−般の画像
では、ブロック境界が滑らかに接続していることが多い
）が利用されたことによる改善と考えられる。

なお、マクロブロック内における各ブロック間の段差成
分（ブロック歪）も本手法により軽減されており、特に
Ｓ／Ｎが低い場合はど画質の改善効果は顕著となる。

これは、本手法がマクロブロック内の４ブロックの内容
を、その境界で滑らかに接続するコサインとサインの曲
面の重ね合わせとして表現していることによるものであ
る。

なお１本実施例では、直交変換としてＤＣＴとＤＳＴを
用いた説明を行なったが、他の変換１例えばＫＬ（カル
ーネン・レープ）変換、アダマール変換等を用いても、
同様の効果を得ることができる。

また５動画像以外の応用、例えば静止画の符号化や、あ
らゆる多次元情報の符号化に適用可能なことは明かであ
る。

〔発明の効果〕

このように９本発明によれば、画像の符号化において、
マクロブロックに属する各ブロックの変換係数間の残さ
れている相関を用いることにより。

符号化効率を大幅に改善することが可能になる。

さらに上記ブロック間の段差成分（ブロック歪）が軽減
され、画質的にも改善することができる。

【図面の簡単な説明】 第１図は本発明の１実施例の符号化装置のブロック構成
図、第２図はマクロブロックとその対称軸との関係を示
す概念図、第３図は水平・垂直方向の偶対称・奇対称成
分と、マクロブロックとの関係を示す概念図、第４図は
１次元ＤＣＴとその鏡像の関係を示す概念図、第５図は
本発明の実施例による符号化効率の改善効果を示す特性
図である。 １・・・ＴＶカメラ、２・・・Ａ／Ｄ変換器、３・・・
フレームメモリ、４・・・減算器、５・・・フレームメ
モリ、６・・動き補償回路、７・・・対称成分変換器、
８・・・直交変換回路５９・・・係数メモリ、１０・・
・量子化回路。 １１・・・エントロピー符号器、１２・・・伝送路、］
−３・・・逆量子化回路、１４・・・逆直交変換回路、
１５・・対称成分逆変換回路、１６・・・加算器、１７
・・・エントロピー復号器、１８・・・逆量子化回路、
１９・・・逆直交変換回路、２０・・・対称成分逆変換
回路、２１・・・係数メモリ、２２・・・フレームメモ
リ、２３・・・動第　Ｉ！２１ 茅２閉 茅３閃

Claims (1)

1. 【特許請求の範囲】 １、サンプリングされた画像信号をブロックに分割し、
   前記ブロックに属する信号を線形変換の手法により係数
   に変換したあと伝送、もしくは記録・再生する画像符号
   化装置であつて、水平・垂直方向に接続する縦横２ブロ
   ック、計４ブロックからなる拡大ブロックの信号から、
   水平・垂直方向の偶・偶、偶・奇、奇・偶および奇・奇
   対称成分を求め、これらの成分に応じて、異なる線形変
   換を行なうことを特徴とする画像符号化装置。 ２、特許請求の範囲第１項記載の画像符号化装置におい
   て、前記偶対称成分には、離散コサイン変換、前記奇対
   称成分には、離散サイン変換を行なうことを特徴とする
   画像符号化装置。