JP3796354B2

JP3796354B2 - 画像符号化方法

Info

Publication number: JP3796354B2
Application number: JP14904298A
Authority: JP
Inventors: 秀夫北島; 美紀長谷山; 亮星野
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 1998-05-29
Filing date: 1998-05-29
Publication date: 2006-07-12
Anticipated expiration: 2018-05-29
Also published as: JPH11338853A

Description

【０００１】
【発明の属する技術分野】
本発明は画像符号化方法に係わり、特に、画像を複数の画素よりなる画素ブロックに分割し、各画素ブロックにアダマール変換を施し、得られた変換データを符号化して出力する画像符号化方法に関する。
【０００２】
【従来の技術】
送信側のデジタル画像を受信側で無歪で再生できるロスレス符号化（可逆符号化）が、放送業務・医療・衛星通信等の分野で必要とされている。
画像の符号化手法として、従来、画像をｍ×ｎ画素よりなる画素ブロックに分割し、各ｍ×ｎ画素ブロックにＤＣＴ（離散コサイン変換）やアダマール変換等を用いて直交変換を行って画像の高周波成分を分離し、これにより、いわゆるエントロピ値を低くして効果的なデータ符号化を実現する手法が知られている。
【０００３】
図１１は従来のアダマール変換による画像符号化説明図であり、１は画像をｎ×ｎ画素（たとえば２×２画素）よりなるブロックに分割する分割部、２は各画素ブロックＸにアダマール変換を施すアダマール変換部、３はアダマール変換データＹを符号化する符号化部で、たとえばハフマン符号化部である。
【０００４】
２次のアダマール行列Ｈは
【数２】

で表現され、一般に、２ｎ次のアダマール行列Ｈ_2nは
【数３】

で表現される。
【０００５】
２次のアダマール変換は、Ｘを２×２の原画像データ、Ｙを２×２の変換後データとすると次式
Ｙ＝１／２（ＨＸＨ^T） (3)
を実行することである。但し、上式において上付きＴは行列の転置を表わす。
いま、デジタル化された２進数表現画素データ（各画素それぞれにａビットのデータ長を持つ）を画素ブロック分割部１で２×２画素のブロックに分割する。アダマール変換部２は画像分割により得られた２×２画素のデータを原画像データＸとし、前述の２次アダマール行列Ｈ₂によりアダマール変換を行う。このアダマール変換により得られる変換データＹは０次および１次のウォルシュ関数を基底とする直交座標系で表わされ、２×２のマトリクスであるＸおよびＹの各要素は互いに対応している。
【０００６】
変換データＹは２次（２×２）アダマール行列による変換の結果（１／２しているため）、小数点以下１桁までを含む“yyyyyy.y”形で求められる。又、原画像データの各要素の量子化ビット長をａとすると、アダマール変換に依る操作の結果、変換後データＹのデータ長は（ａ＋２）ビットとなる。しかし、低次のウォルシュ関数成分にデータの出現頻度が片寄ることにより情報のエントロピが低下し、ハフマン符号化等のエントロピ符号化手法を採用することで、データ量を削減できる。又、以下のアダマール変換の特徴を考慮することにより更に符号量を削減できる。すなわち、アダマール変換後の各要素の最下位ビット（小数点以下１桁目）は全て同じになることが知られており、従って、２×２行列の各要素データの１つだけが判れば、残り３つの最下位ビットデータについても自ずから決定される。また、同様に、４つの要素データの総和は常に偶数となることも知られており、前述の最下位ビットデータが全て同じことから、下位２ビット目のデータの総和も偶数とならなければならず、これにより、４つの要素データのうち３つのデータから残り１つの下位２ビット目のデータが求められる。このように各要素（変換係数）の相互関係を利用して下位ビットを省略することによって符号量を更に削減でき、JPEGロスレスモードと同程度の符号化効率を実現している。なお、各ブロック毎に４ビットのデータ削減を行っても削減前のデータが完全に再現できることが知られている。
【０００７】
【発明が解決しようとする課題】
以上のように、従来のアダマール変換によれば、JPEGロスレスモードと同程度の符号化効率を実現できるが、更に符号量を削減することが要望されている。
したがって、本発明の目的は、符号量を更に削減できる画像符号化方法を提供することである。
【０００８】
【課題を解決するための手段】
上記課題は本発明によれば、アダマール行列を、「Ｍを法とする演算(Modulo M)」を用いてのアダマール行列Ｈ′（後述する(4)式参照)に拡張し、このアダマール行列Ｈ′を用いてアダマール変換を実行することにより達成される。「Ｍを法とする演算(Modulo M)」は任意の整数Ｌを整数Ｍで割った余りの数Ｋを扱う演算である。又、法Ｍは、原画像データビット長をａビットとするとき、Ｍ≧２^aで、かつ、Ｍと２^aの最大公約数が１となるように選ぶ。このようにすれば、効率良く符号化でき、演算の際のレジスタ長を削減できるなどの利点がある。
又、上記課題は本発明によれば、アダマール変換により得られた変換データをＮ（＝ｍ×ｎ）で割り、商と余りをそれぞれ符号化して出力することにより達成される。このようにすれば、商に注目すると画像データの一般的な特徴から隣り合う画素間の相関が非常に強いため、商により構成されるｍ×ｎマトリクスの要素は殆ど同じ値となりエントロピが低下し、符号量を削減できる。
【０００９】
この場合、ｍ×ｎ行列の余りのパターン数Ｌ(N)は
Ｌ(N)＝２^N/2・Ｌ(N/2)²
となる。例えば、２×２のマトリクスでは余りのパターン数は１６種類となる。この事実に着目すれば、所定数のビットでｍ×ｎ行列の余りパターンを符号化でき（２×２の場合は４ビットで符号化が可能）、符号量を更に削減できる。
また、Ｌ(N)個の余りパターンをＬ(N)／２^A(Aは整数)種類にまとめて符号化すれば、余りパターン数がますます少なくなって符号量を更に削減することができる。
【００１０】
【発明の実施の形態】
（Ａ）第１実施例
図１は本発明の第１実施例の画像符号化方法を実現する装置の構成図である。図中、１１は画像をｎ×ｎ画素（たとえば２×２画素）よりなる画素ブロックに分割する画素ブロック分割部、１２は各画素ブロックＸに整数論的アダマール変換を施す整数論的アダマール変換部、１３はアダマール変換データＹを符号化する符号化部で、たとえばハフマン符号化部である。
第１実施例は、「Ｍを法とする演算(Modulo M)」を用いてのアダマール行列によりアダマール変換して画像を符号化する方法である。「Ｍを法とする演算（Modul M)」とは、任意の整数Ｌを整数Ｍで割った余の数Ｋを扱う演算である。例えば、Ｍ＝７、Ｌ＝２５であれば、Ｋ＝４のように求められる。又、−１≡Ｍ−１（Modulo M)が恒等的に等しくなる。さらに、原画像データのビット長がａビットの時、Ｍ≧２^aとし、且つ、Ｍと２^aの最大公約数が１となるように法Ｍを選ぶ。
【００１１】
以上の条件のもとで、「Ｍを法とする演算（Modulo M)」を用いてのアダマール行列の拡張Ｈ′は
【数４】

となり、この変換行列を用いて変換された画像データＹ′は
Ｙ′＝Ｈ′ＸＨ′^T (5)
とｎａる。ここで拡張された新しい変換行列Ｈ′を用いたアダマール変換を「整数論的アダマール変換」と呼ばれる。
【００１２】
デジタル化された２進数表現画素データ（各画素それぞれにａビットのデータ長を持つ）を画素ブロック分割部１１で２×２画素のブロックに分割する。整数論的アダマール変換部１２は、分割により得られた２×２画素のデータを原画像データＸとし、変換行列Ｈ′を用いて(5)式の整数論的アダマール変換を行い、ハフマン符号化部１３は整数論的アダマール変換により得られた変換データＹを符号化して出力する。
【００１３】
整数論的アダマール変換を用いて実現される符号化方法の特徴は以下のとおりである。今、原画像の各要素のデータ長を仮にａ＝８ビットとすると、変換後のデータ長は従来法で触れたように、（ａ＋２）＝１０ビット長のデータとなる。しかし、第２実施例では法となる数Ｍを２５７と選ぶことで、２５７より大きな値を扱わない。この結果、整数論的アダマール変換後のデータ長は２５７まで表現できれば良く、９ビットで表現でき、従来のアダマール変換による符号化方法に比べて１ビット少なくできる。このことは、少ないデータ長での演算が可能であることを意味する。信号処理用集積回路（ＤＳＰＩＣ）を用いて画像処理を行う場合、処理できるデータ長は集積回路により決定されてしまうが、第１実施例では少ないデータ長での演算が可能であるため、より精度の高い演算を行うことが出来るというメリットがある。
【００１４】
（Ｂ）第２実施例
図２は本発明の第２実施例の画像符号化装置の構成図であり、２１は画像をｎ×ｎ画素（たとえば２×２画素）よりなるブロックに分割する画素ブロック分割部、２２はアダマール変換部で、画素ブロックＸに(1)式のアダマール行列Ｈ₂を用いてアダマール変換を施すもの、２３はアダマール変換により得られたｎ×ｎ要素より成る変換データＹの各要素をＮ（＝ｎ²）で除算し、ｎ×ｎマトリクスの商行列とｎ×ｎマトリクスの剰余行列を出力する除算部、２４は商を符号化する符号化部で、たとえばハフマン符号化部、２５は余りを符号化する余り符号化部、２６は商及び余り符号化結果を合成して出力する符号合成部である。
ｎ×ｎ要素で構成された原画像データＸにまずアダマール変換部２２で通常のアダマール変換を施し、そこで得られた変換データＹを除算部２３でＮ＝ｎ²で割り、商と余りに分割する。
【００１５】
簡単のために２×２要素の原画像データで説明する。原画像データにアダマール変換を施し、そこで得られた変換データＹを更にＮ＝４で割り、商と余りに分割する。余りはＹの下位２ビット、商はＹの下位２ビットを削除し２ビット右にシフトした値となる。
この様にして得られた新しいデータの内、商に注目すると画像データの一般的な特徴から隣り合う画素間の相関が非常に強く、ほとんどの場合、これら商により構成される２×２マトリクスの要素は殆ど同じ値となりエントロピが低下する。すなわち、ハフマン符号化部２４における商の符号化に使用する符号量を少なくできる。
【００１６】
一方、余りにより構成される２×２のマトリクスはＮ＝４で割った余りであるからその値は、０，１，２，３のいずれかとなる。また、マトリクスサイズは２×２であるからその組み合わせ数は２²×２²×２²×２²＝２⁸＝２５６通りとなる。したがって、８ビットで２×２のマトリクスで表現された余りを表現できる。余り符号化部２５はこの原理に従って、余りにより構成される２×２のマトリクスを符号化して出力する。
符号合成部２６は各符号化部から出力する商及び余りの符号を合成して出力する。
図３は第２実施例の符号量を示す図表であり、ハフマン符号化を用いて符号化した時の１画素あたりの符号量を図４に示す各画像（girl, lena, moon) について示すもので、従来例と対比して示している。この図より明らかなように、第２実施例によれば、１画素当り0.7〜0.9ビットの符号量の削減ができる。
【００１７】
（Ｃ）第３実施例
図５は本発明の第３実施例の画像符号化装置の構成図であり、図２の第２実施例と同一部分には同一符号を付している。異なる点は、第２実施例の余り符号化部２５に代えて余り圧縮符号化部３１を設けている点である。
除算部２３から出力する余りで構成される２×２のマトリクスはＮ＝４で割った余りであるため、各要素の値は、０，１，２，３のいずれかである。また、マトリクスサイズは２×２であるからその組み合わせ数は２²×２²×２²×２²＝２⁸＝２５６通りとなる。このため、第２実施例は８ビットで余りにより構成される２×２のマトリクスを符号化して出力する。
ところで、アダマール変換の性質から２×２の余り行列パターンの組み合わせは図６に示す２⁴＝１６種類に限定される。すなわち、４ビットで２×２の余りマトリクスを符号化して出力できる。この原理に従って、余り圧縮符号化部３１は４ビットで余りマトリクスを符号化して出力する。符号合成部２６は各符号化部２４，３１から出力する商及び余りの符号を合成して出力する。
図７は第３実施例の符号量を示す図表であり、ハフマン符号化を用いて符号化した時の１画素あたりの符号量を図４に示す各画像（girl, lena, moon) について示すもので、従来例と対比して示している。この図より明らかなように、第３実施例によれば、第２実施例より更に１画素当りの符号量の削減ができる。
【００１８】
以上は２×２次のアダマール変換の場合であるが、一般にｎ×ｎ次のアダマール変換で計算される変換係数をＮ（＝ｎ×ｎ）で割った剰余のパターンはある決まった種類に限定される特徴があり、この特徴はどのブロックサイズにおいても成り立つ。すなわち、ブロックサイズがｎ×ｎの場合、変換係数をＮ（＝ｎ²）で割った剰余についてブロック毎のパターンの種類は次式
Ｌ(N)＝２^N/2・Ｌ(N/2)² (6)
で計算されるＬ(N)種類に限定される。従って、ブロックサイズがｎ×ｎの場合にもこの特徴を利用してロスレス符号化を行って符号量を削減できる。
【００１９】
（Ｄ）アダマール変換を利用した準ロスレス符号圧縮(第４実施例)
ロスレス符号化、準ロスレス符号化について簡単に説明する。
ロスレス符号化（可逆符号化）とは、送信側のデジタルデータと、受信側のデジタルデータとが完全に一致する様な符号化法をいう。一般に用いられているJPEGやMPEG等の標準化画像符号化手法は、画質をある程度犠牲にして、そのかわりデータ量を大幅に削減して伝送時間ないしメモリ量を削減することに観点が置かれている。従って、送信前の原画像データと受信画像データが完全に一致するということは無く、いわゆる非可逆符号化となっている。このため、標準化された符号化手法は非可逆符号化であり、繰り返し行われるデータの送受信の都度、ノイズや歪みが蓄積されて、画像が劣化するという欠点をもっている。
一方、原画像データに若干の加工を施して大幅にデータ量を削減するものの、それ以降のデータの送受信に際し可逆変換が成り立つような符号化手法があり、これを「準ロスレス符号化（準可逆符号）」という。
【００２０】
さて、第２実施例は、除算部から出力する余りで構成される２×２のマトリクスは、Ｎ＝４で割った余りであるため、各要素の値は、０，１，２，３のいずれかである。また、マトリクスサイズは２×２であるからその組み合わせ数は２²×２²×２²×２²＝２⁸＝２５６通りとなる。このため、第２実施例では８ビットで余りにより構成される２×２のマトリクスを符号化して出力する。
第３実施例は、アダマール変換の性質から実際に余りにより構成される２×２のマトリクスの組み合わせは図６に示す２⁴＝１６種類に限定されることに着目し、４ビットで余りにより構成される２×２のマトリクスを符号化して出力する。尚、図６に示す０〜１５の１６種類の余りのパターンをパターン１〜パターン１５という。
【００２１】
ところで、１６種類の余りのパターンの幾つかを他のパターンで近似し、その際の符号化画像の誤差を最小にできれば、更に少ないビット数で余りにより構成される２×２のマトリクスを符号化して出力できる。
１６種類の余りのパターンを他のパターンで近似した場合、符号化画像への影響として以下の特徴があることが判明した。すなわち、
・パターン０〜６はパターン８に、パターン９〜１５はパターン７に近似した場合、符号化画像の誤差が最小になる、
・ペアの偶数同士あるいはペアの奇数同士は同じパターン（例えば、パターン２と１０，パターン４と１２，パターン１と９、パターン５と１３など）に近似した場合、誤差が最小になる、
という特徴がある。
以上の特徴を考慮して、余りにより構成される上記１６種類のマトリクスを代表的な１６／２^A種類(A＝１，２，３，４のいずれか)にまとめて符号化することで、更にデータ量の削減が可能となる。これがアダマール変換を用いた準ロスレス変換である。
【００２２】
図８は１６種類のマトリクスを１種類（１／２⁴種類）、２種類（１／２³種類）、４種類（１／２²種類）、８種類（１／２種類）にまとめる場合の代表パターン決定法を示す説明図である。

である。
【００２３】
上記▲１▼〜▲４▼の各剰余パターンの近似において、余りパターンが、(1) 代表パターンであればそのまま、(2) 代表パターンでなくペアとなっている他方が代表パターンであれば該ペアのパターンで近似、(3) それ以外はパターン０〜６はパターン８に、パターン９〜１５はパターン７で近似する。例えば、８種類のパターン０，７，９，１１．１３，１４，１５で近似する場合、
パターン０→パターン０
パターン１→パターン９
パターン２→パターン８
パターン３→パターン１１
パターン４→パターン８
パターン５→パターン１３
パターン６→パターン１４
パターン７→パターン７
パターン８→パターン８
パターン９→パターン９
パターン１０→パターン７
パターン１１→パターン１１
パターン１２→パターン７
パターン１３→パターン１３
パターン１４→パターン１４
パターン１５→パターン１５
にそれぞれ近似する。
【００２４】
図９は剰余パターンを省略しない場合（１６種類）および８種利、４種類、２種類、１種類まで省略した準ロスレス符号化における１画素当りの符号量とＳ／Ｎ比を示す実験結果説明図であり、図４に示した３つの画像girl, lena, moonのについて、１画素当りの符号量とＳ／Ｎ比を示している(カッコ内数値はＳ／Ｎ比である)。この実験結果より省略の度合いを１６種類、→８種類、→４種類→１種類と強めるに従って、符号量の削減効果が大きくなっていることがわかる。
【００２５】
図１０は第４実施例とJPEGのＳ／Ｎ比を比較するための実験結果説明図であり、横軸に１画素当りのビット数、縦軸にＳ／Ｎ比を示している。実線は画像girlの場合、点線は画像lenaの場合、一点鎖線は画像moonの場合である。この図１０より、同じ符号量では,JPEGよりも第４実施例の方が良好な復元画像が得られることがわかる。以上では２×２のブロックサイズについて説明したが、４×４ブロックサイズについても同様の手法により準ロスレス符号化を実現できる。
以上、本発明を実施例により説明したが、本発明は請求の範囲に記載した本発明の主旨に従い種々の変形が可能であり、本発明はこれらを排除するものではない。
【００２６】
【発明の効果】
以上本発明によれば、アダマール行列を「Ｍを法とする演算(Modulo M)」を用いてアダマール行列Ｈ′（(4)式参照)に拡張し、このアダマール行列Ｈ′を用いてのアダマール変換を実行するようにしたから、効率良く符号化でき、演算の際のレジスタ長を削減できるなどの利点がある。
又、本発明によれば、アダマール変換により得られた変換データをＮ（＝ｍ×ｎ）で割り、商と余りをそれぞれ符号化して出力するようにしたから、商により構成されるｍ×ｎマトリクスの要素は殆ど同じ値となりエントロピが低下し、符号量を削減できる。
又、本発明によれば、ｍ×ｎ行列の余りのパターン数Ｌ(N)は
Ｌ(N)＝２^N/2・Ｌ(N/2)²
となることに着目し、より少ないビット数でｍ×ｎ行列の余りパターンを符号化でき、符号量を更に削減できる。
また、本発明によれば、Ｌ(N)個の余りパターンをＬ(N)／２^A(Aは整数)種類にまとめて符号化するようにしたから、余りパターン数がますます少なくなって符号量を更に削減することができる。
【図面の簡単な説明】
【図１】整数論的アダマール変換による画像符号化装置の構成図である。
【図２】第２実施例の画像符号化装置の構成図である。
【図３】第２実施例の符号量説明図表である。
【図４】画像説明図である。
【図５】第３実施例の画像符号化装置の構成図である。
【図６】剰余パターン説明図表である。
【図７】第３実施例の符号量説明図である。
【図８】剰余パターン近似法説明図表である。
【図９】準ロスレス符号化の符号量とＳＮ比の説明図表である。
【図１０】ＪＰＥＧとの比較説明図である。
【図１１】従来のアダマール変換による画像符号化説明図である。
【符号の説明】
１１・・画素ブロック分割部
１２・・整数論的アダマール変換部
１３・・ハフマン符号化部
２１・・画素ブロック分割部
２２・・アダマール変換部
２３・・除算部
２４・・符号化部
２５・・余り符号化部
２６・・符号合成部
３１・・余り圧縮符号化部

Claims

画像をｍ×ｎ画素よりなる画素ブロックに分割し、各画素ブロックにアダマール行列を用いてアダマール変換を施し、得られた変換データを符号化して出力する画像符号化方法において、
アダマール行列を、「Ｍを法とする演算(Modulo M)」を用いての次式のアダマール行列Ｈ′に拡張し、

（ただし、「Ｍを法とする演算(Modulo M)」は任意の整数Ｌを整数Ｍで割った余りの数Ｋを扱う演算であり、又、法Ｍは、原画像データビット長をａビットとするとき、Ｍ≧２^aで、かつ、Ｍと２^aの最大公約数が１となるように選ぶ）
前記アダマール行列Ｈ′を用いて前記アダマール変換を実行し、
該アダマール変換により得られた変換データをＮ（＝ｍ×ｎ）で割り、商と余りを演算し、
前記商を符号化するとともに、余りのパターン数Ｌ (N) を
Ｌ (N) ＝２ ^N/2 ・Ｌ (N/2) ²
とするとき、該余りのパターン数Ｌ (N) をＬ (N) ／２ ^A (A は整数 ) 種類に近似して余りを符号化する、
ことを特徴とする画像符号化方法。