JP3774201B2 - Image processing device - Google Patents

Description

であることを特徴とする。
【０００８】
本発明の画像処理装置は、４×４の画素から構成される画素ブロックにおいて、各画素の画素値を平均化して、ＤＣ値を生成して出力するＤＣ画像生成部と、前記画素ブロックを、２×２のサブ画素ブロックに分割し、各サブ画素ブロック毎の平均画素値を求め、処理対象の画素ブロックと、この画素ブロックに対して上下左右に隣接した他の画素ブロックとのＤＣ値から、２×２の各サブ画素ブロック毎の第１のＤＣ画素値を求める交流成分予測の演算と、この平均画素値と第１のＤＣ画素値との第１の差分値の前記合成演算を行い、この第１の差分値に対して４×４の画素単位におけるアダマール変換を行い第１のアダマール係数を出力するとともに、逆アダマール変換を行い第１の差分値を復号し、この復号された第１の差分値に基づき、サブ画素ブロックの平均画素値を再生して出力する第１段階アダマール符号化部と、この平均画素値から４×４の画素毎の第２のＤＣ画素値を求める交流成分予測の演算と、この第２のＤＣ画素値と前記画素ブロックとの４×４の画素毎の第２の差分値を求める演算を合成演算とし、前記平均画素値と各画素の画素値とから第２の差分値に対するアダマール変換を行い第２のアダマール係数を出力する第２段階アダマール符号化部とを具備することを特徴とする。
【０００９】
本発明の画像処理装置は、前記第２段階アダマール符号化部における合成演算の式が
【数５】

であることを特徴とする。
【００１０】
本発明の画像処理装置は、４×４の画素の画素ブロックにおける画素値の平均値であるＤＣ値から、このＤＣ値に基づき、画素ブロックを４分割したサブ画素ブロックごとの予測画素値を求める交流成分予測の演算と、元画像のサブ画素ブロックにおける画素の平均画素値及びこの予測画素値の差分値に基づくアダマール係数を逆アダマール変換する演算とを合成演算とし、前記ＤＣ値とアダマール係数とから各サブ画素ブロックにおける画素の平均画素値を求めることを特徴とする。
【００１１】
本発明の画像処理装置は、前記合成演算の式が
【数６】

であることを特徴とする。
【００１２】
本発明の画像処理装置は、符号化された４×４の画素ブロックにおける画素のＤＣ画像を復号するＤＣ画像復号部と、処理対象の画素ブロックと、この画素ブロックに対して上下左右に隣接した他の画素ブロックのＤＣ値から２×２の各サブ画素ブロック毎の第１のＤＣ画素値を求める交流成分予測の演算と、元画像のサブ画素ブロックにおける画素の平均画素値及びこの予測画素値の差分値に基づく第１のアダマール係数を逆アダマール変換する演算とを合成演算とし、前記ＤＣ値と第１のアダマール係数とから各サブ画素ブロックにおける画素の平均画素値を求める第１段階アダマール復号化部と、この平均画素値から４×４の画素毎の第２のＤＣ画素値を求める交流成分予測の演算と、元画像のサブ画素ブロックにおける画素の画素値及びこの平均画素値の差分値に基づく第２のアダマール係数を逆アダマール変換する演算とを合成演算とし、前記平均画素値と第２のアダマール係数とから各サブ画素ブロックにおける画素の画素値を求める第２段階アダマール復号化部とを具備することを特徴とする。
【００１３】
【発明の実施の形態】
本発明による画像処理装置は、元画像を複数の画素（ｎ×ｎ画素）からなる画素ブロックに分割し、例えば４×４の画素からなる画素ブロックに分割し、この画素ブロック毎に各画素の画素値の平均値を計算し、この画素ブロックにおいて、各画素の平均化された画素値として各ＤＣ画像のＤＣ値を求める。
そして、本発明による画像処理装置は、このＤＣ値に基づいて、第１段階目のＡＣＰ（交流成分予測）法に基づく演算から、サブ画素ブロック（２×２画素のブロック）毎の第１のＤＣ画素値を求め、サブ画素ブロックにおける元画像の画素の画素値の平均値からこの第１のＤＣ画素値を減算して第１の差分値を求めて、この第１の差分値に対してアダマール変換を行い、アダマール係数の一部を求めて量子化して出力する。
【００１４】
次に、本発明による画像処理装置は、この第１アダマール係数を逆量子化して、逆アダマール変換を行い、上記第１の差分値を再生する（量子化により再生された情報は劣化している）。
そして、本発明による画像処理装置は、この第１の差分値を対応するサブ画素ロックの画素値（すなわち第１のＤＣ画素値）に加算して、上記サブＤＣ画像の新たな第１のＤＣ画素値として出力する。
次に、本発明による画像処理装置は、ＤＣ画像の上記新たな第１のＤＣ画素値に基づいて、第２段階目のＡＣＰ法に基づく演算を行い、各画素毎の第２のＤＣ画素値を求める。
【００１５】
そして、本発明による画像処理装置は、元画像の各画素の画素値と上記第２のＤＣ画素値との第２の差分値を求め（画素の画素値から第２のＤＣ画素値を減算）、この第２の差分値に対応する第２のアダマール変換を行い、上記第１のアダマール係数を除いた残りのアダマール係数を第２のアダマール係数として求める。
上述したように、上記画像処理装置は、上記２段階におけるＡＣＰ法により求めた画素値と元画像の画素値との差分値を、同様に対応する２段階に分けてアダマール係数を求める演算を行っている。
【００１６】
このようにすることで、画像処理装置は、１６個の画素から求められる１６個のアダマール係数（内１つはＤＣ値）のうち、第１段階のアダマール変換において、ＤＣ画像処理を行った時点でＤＣ値を生成し、低周波数成分の３個を第１のアダマール係数として求め、第２段階のアダマール変換において、残りの１２個のアダマール係数として求めている。
そして、画像処理装置は、求めた１５個のアダマール係数及びＤＣ値とを、量子化した後にエントロピー符号化（例えば、ハフマン等）を行いて、データ圧縮を行い出力する。
【００１７】
これにより、画像処理装置は、第１のアダマール変換において、サブ画素ブロック範囲内における元画像の画素値の平均値と、第１のＤＣ画素値との第１の差分値をアダマール変換して、差分値としての情報量の多い低周波成分を抽出し、アダマール変換により符号化し、さらに量子化によりデータ圧縮して符号化した後に、この第１の差分値を逆量子化して伸張し、さらに逆アダマール変換することで復号し、第１のＤＣ値に加えて新たな第１のＤＣ値とし、この新たな第１のＤＣ値から第２のＤＣ値を求めた後に、第２のアダマール変換により符号化し残りの高周波側のアダマール係数を求めている。
【００１８】
一方、本願発明の画像処理装置は、矩形関数を基底関数とするアダマール変換により画像データの符号化を行うため、正弦関数を基底関数とするＤＣＴと比較して符号量は減少するが、それはつまり復号時には方形波近似となるためＤＣＴのような(隣接する画素の画素値が滑らかに変化する画像を前提とした)精度の高い符号化が行えない。
このため、本願発明の画像処理装置は、その後圧縮の観点から量子化が必要であり、画像復号時において逆量子化の後に逆アダマール変換を行った際、ＤＣＴがなめらかに近似して(存在しない中間値を曲線的に生成して)復元できるのに対し、アダマール変換では方形波ゆえにエッジが鋭く画素間の画素値の差が開きやすく、ＤＣＴの同じ符号量のものよりブロックノイズが目立つことになる。
【００１９】
しかしながら、本願発明の画像処理装置は、第１段階アダマール変換により低周波成分に関するアダマール係数を抽出後、その係数値を第１のＤＣ値に加えて新たな第１のＤＣ値として符号化に反映させ、この第１のＤＣ値に対してＡＣＰで周辺ブロックとの差異を補い、元画像の画素値との差を求め、その第２の差分値に対して第２段階のアダマール変換を施すことにより、ＤＣＴと同等以上（ＪＰＥＧとの比較を後に示す）の画質で画像を復元するとともに、元画像の画素値との差分値を取っているため、第２段階の処理（第２段階ＡＣＰ及び第２段階アダマール変換）において精度の高い符号化が可能となる。
【００２０】
また、本発明の画像処理装置は、第１段階の処理（第１段階ＡＣＰ及び第１段階アダマール変換）アダマール変換の結果を反映しているため、第２段階の処理（第２段階ＡＣＰ及び第２段階アダマール変換）で符号化する情報量を抑えることができ、ＤＣＴのように高圧縮時の高周波成分復元時に現れるモスキートノイズを、ＡＣＰ処理により大幅に軽減できる。
さらに、ＤＣＴにおいて、必ず実数値に対する乗算が必要となるが、本発明の画像処理装置の符号化処理は、ＡＣＰとアダマール変換との併用方式であり、整数値に対する加減算ビットシフトにより、符号化に必要な演算が実現できるため、ＤＣＴに比較して高速に圧縮伸張を行うことができる。
すなわち、本発明は、ＡＣＰとアダマール変換の段階的併用画像符号化アルゴリズムに基づく画像処理装置に関するものである。
【００２１】
また、本発明による画像処理装置は、ＡＣＰ処理を行うためのＤＣ値と、このＤＣ値に対してＡＣＰ処理を行った後の第１及び第２のＤＣ値及び元画像の差分値が符号化された情報のアダマール係数と、を出力するので、上述したように画像の再生処理に必要な情報量を少なくし、なにより、元画像との差分値をアダマール係数として出力するため、符号化データの精度（復号時の画質、すなわち再生の精度）を高めることができ、かつＪＰＥＧ等のＤＣＴ処理に比較して少ない情報量で元画像に対して高い再現性を持たせることが可能である。
【００２２】
さらに、本発明による画像処理装置は、アダマール変換だけでなくＡＣＰ法による周辺の画素ブロックまたはサブ画素ブロックからの成分予測処理も加わっているため、モスキートノイズだけでなく、アダマール変換をブロック単位で行うために現れやすいブロックノイズをも削減することができる。
また、さらに、本発明による画像処理装置は、加減算とビットシフトとの演算のみにより、上述した処理を行うことが可能なため、コンパクトな処理構成で実現でき、加えて、画素値の大きさの違いに伴う分岐処理もなく、所定の周期で連続して処理を行うことが可能なため、高速な符号化及び復号化（符号化の逆の操作）の処理が行える。
【００２３】
以下、図面を参照して本発明の実施形態について詳細に説明する。図１は本発明の一実施形態による画像処理装置の構成を示すブロック図である。
この図において、本発明の画像処理装置は、元画像から求めたＤＣ画像に基づきＡＣＰ（交流成分予測）法及びアダマール変換を用いて画像の符号化を行う符号化部１と、符号化部１により生成されたＤＣ画像とアダマール係数とに基づき復号化を行う復号化部２とから構成されている。
【００２４】
符号化部１は、少なくとも、元画像からＤＣ画像を生成するＤＣ画像作成部３と、このＤＣ画像に基づき第１段階のＡＣＰ処理を行い、サブ画素ブロック毎の第１のＤＣ画素値を求め、この第１のＤＣ画素値と、サブ画素ブロック範囲内における元画像の画素値の平均値との第１の差分値を求め、この第１の差分値に対して第１段階のアダマール変換を行い、第１のアダマール係数（ＡＣ符号）を求めて出力し、かつ第１のＤＣ画素値と第１の差分値とを加算し、新たな第１のＤＣ画素値を生成して出力する第１段階アダマール符号化部５と、この新たな第１のＤＣ画素値に基づいて第２段階のＡＣＰ処理を行い、元画像の各画素に対応した第２のＤＣ画素値を演算し、元画像の各画素の画素値と第２のＤＣ画素値との第２の差分値を求め、この第２の差分値に対して第２段階のアダマール変換を行い、第２のアダマール係数（ＡＣ符号）を求める第２段階アダマール符号化部７から構成されている。
【００２５】
復号化部２は、符号化されたＤＣ値（ＤＣ符号）を復号してＤＣ画像を復号（再生）するＤＣ画像復号部８と、このＤＣ画像に基づき第１段階のＡＣＰ処理を行い、サブ画素ブロック毎の第１のＤＣ画素値を求め、入力される第１のアダマール係数に対して逆アダマール変換を行い、第１の差分値を求め、この第１の差分値と第１のＤＣ画素値とを加算し、新たな第１のＤＣ画素値を生成する第１段階アダマール復号化部１０と、この新たな第１のＤＣ画素値に基づき、第２のＡＣＰ処理を行い、元画像の各画素に対応した第２のＤＣ画素値を演算し、入力される第２のアダマール係数に対して第２段階の逆アダマール変換を行い、第２の差分値を演算し、この第２の差分値と第２のＤＣ画素値とを加算し、元画像の各画素を復号する第２段階アダマール復号化部１２から構成されている。
【００２６】
次に、図１を参照し、一実施形態による画像処理装置の動作例を説明する。
符号化部１の動作を詳細に説明する。
ＤＣ画像作成部３は、元画像（図１の２ａ）を複数の画素（ｎ×ｎ画素、例えば４×４画素）から構成される画素ブロックに分割して、この画素ブロック内の画素の平均値をＤＣ値として求め、量子化及びエントロピー符号化してＤＣ符号として出力する。
【００２７】
このＤＣ値で画素値が示される画素ブロックはＤＣ画像として定義される。
すなわち、図２（ａ）に示すように、４×４画素を画素ブロックとし、図２（ｂ）に示すように、ＤＣ値を求めることで各画素ブロックはＤＣ画像となる。
ここで、画素ブロックＳは、画素ｄ(0,0)〜画素ｄ(3,3)（これらの画素は各々、図２（ｄ）において画素値ｐn(x,y);n∈[0,3]、x,y∈[0,1]に対応している）の１６の各画素からなるＤＣ画像であり（図１の２ｂ）、この１６の各画素の画素値の平均値であるＤＣ値を画素値としている。
【００２８】
第１段階交流成分予測部４は、交流成分予測法に基づいて、ＤＣ画像からサブ画素ブロックを生成する。
ここで、第１のアダマール係数α01，α10，α11を求めるため、交流成分予測法に基づき、画素ブロックのＤＣ値から第１のＤＣ値が求められる。
すなわち、図３（ａ）において、画素ブロックＳからサブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4（第１段階ＡＣＰ適用後画像２ｃ）のＤＣ値（サブ画素ブロックとしての画素値、すなわち第１のＤＣ値）を、以下の交流成分予測の演算により、予測する（生成する）場合、これら各サブ画素ブロックのＤＣ値として第１のＤＣ値を、画素ブロックＳのＤＣ値とともに、画素ブロックＳに対して、上下左右に隣接する画素ブロック（ＤＣ画像）Ｕ（上部），Ｌ（左側部），Ｒ（右側部），Ｂ（下部）のＤＣ値を用いて以下の式により表される。（ここで、各画素ブロックのＤＣ値は各画素ブロック名と同様な文字を使用する。）
ＳP0,0＝Ｓ＋(Ｕ＋Ｌ−Ｂ−Ｒ)／８ …サブ画素ブロックＳ1の第１のＤＣ値
ＳP0,1＝Ｓ＋(Ｕ＋Ｒ−Ｂ−Ｌ)／８ …サブ画素ブロックＳ2の第１のＤＣ値
ＳP1,0＝Ｓ＋(Ｂ＋Ｌ−Ｕ−Ｒ)／８ …サブ画素ブロックＳ3の第１のＤＣ値
ＳP1,1＝Ｓ＋(Ｂ＋Ｒ−Ｕ−Ｌ)／８ …サブ画素ブロックＳ4の第１のＤＣ値
【００２９】
第１段階アダマール符号化部５は、サブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4の各々に各々対応させて、元画像の画素ｄ(0,0)，(0,1)，(1,0)，(1,1)と、画素ｄ(0,2)，(0,3)，(1,2)，(1,3)と、画素ｄ(2,0)，(2,1)，(3,0)，(3,1)と、画素ｄ(2,2)，(2,3)，(3,2)，(3,3)との、各４つの画素の画素値の平均値を演算して、平均画素値として出力する。
また、第１段階アダマール符号化部５は、サブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4の各第１のＤＣ値（ＳP0,0、ＳP0,1、ＳP1,0、ＳP1,1）から、対応する画素の上記平均画素値を減算して、各サブ画素ブロック各々における第１の差分値を演算し、この第１の差分値に対して第１段階のアダマール変換を行う。
【００３０】
第１段階アダマール符号化部５は、以下の（１）式に示すようにサブ画素ブロックの構成を２×２画素と見なして、２×２サブ画素ブロックに対応する第１の差分値のアダマール変換を行う。
【数７】

この（１）式において、Ｈはアダマール変換に用いるアダマール変換係数行列であり、以下に示す（２）式の構造となっている。
【数８】

また、Ｈ^Ｔは、Ｈに対する転置行列であり、（２）式の構造と同様である。
【００３１】
そして、αは求められるアダマール係数の行列を示し、ｆは２×２画素に対応する以下に説明する各画素の差分値（すなわち、各サブ画素ブロックの第１の差分値）に対応している。
αの行列の各要素αu,vは、以下の（３）式により求められる。
【数９】

ここで、ｓ(x,y)は、サブ画素ブロックに対応した各々の第１の差分値の値であり、変換係数ｈu,v(x,y)もサブ画素ブロックに対応して設けられている。
【００３２】
そして、２×２サブ画素ブロックにおけるアダマール変換における変換係数ｈu,v(x,y)は、図４（ａ）に示す左上部分の４つの変換係数に対応している（白が「−１」であり、黒が「＋１」である）。ここで、サブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4各々に対応する変換係数ｈu,v(x,y)の位置関係（図４（ａ）に示す左上部分の４つの変換係数における）は、図２（ｃ）に示しているｓ(x,y)のx,yの示す位置関係に対応している（ここでは、変換係数ｈu,v(x,y)の位置関係のみを示している）。
【００３３】
また、ｆの行列は、以下の（４）式の構造をしている。
【数１０】

この第１段階のＡＣＰ後においては、画素ｄ(0,0)〜ｄ(3,3)の画素値は、帰属するサブ画素ブロック，すなわち対応するサブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4の第１のＤＣ値に対応している。
【００３４】
このとき、第１段階アダマール符号化部５は、ＤＣ値及び第２段階アダマール変換で生成する第２のアダマール係数を除く、画素ブロックＳに対応するアダマール係数α1,α2,α3を求めるため、サブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4各々に対応する第１の差分値（ｓ(0,0),ｓ(0,1),ｓ(1,0),ｓ(1,1)）を、それぞれ、元画像の画素ｄ(0,0)，(0,1)，(1,0)，(1,1)の平均画素値（SH0,0）からサブ画素ブロックＳ1の第１のＤＣ値(SP0,0)を減算し、元画像の画素ｄ(0,2)，(0,3)，(1,2)，(1,3)の平均画素値（SH0,1）からサブ画素ブロックＳ2の第１のＤＣ値(SP0,1)を減算し、元画像の画素ｄ(2,0)，(2,1)，(3,0)，(3,1)の平均画素値（SH1,0）からサブ画素ブロックＳ3の第１のＤＣ値(SP1,0)を減算し、元画像の画素ｄ(2,2)，(2,3)，(3,2)，(3,3)の平均画素値（SH1,1）からサブ画素ブロックＳ4の第１のＤＣ値(SP1,1)を減算して求める。
【００３５】
すなわち，この第１のアダマール変換では，４×４画素のアダマール変換における画素ブロックＳに対応する（低周波側）のアダマール係数α1,α2,α3を，２×２の平均画素(SH0,0、SH0,1、 SH1,0、SH1,1)と２×２の第１のＤＣ値(SP0,0、SP0,1、SP1,0、SP1,1)の差分値より求めている。
【００３６】
（３）式で求められるアダマール係数α01，α10，α11は、第１段階アダマール符号化部５において量子化され、第１のアダマール係数として出力される。
【００３７】
しかしながら、第１のアダマール係数を演算するために、第１の差分値を求めるとき、各サブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4の各々の平均画素値（SH0,0、SH0,1、 SH1,0、SH1,1）と、各画素ブロックに対応する第１のＤＣ値（SP0,0、SP0,1、SP1,0、SP1,1）との各々の差分値（Ｓ(0,0)，Ｓ(0,1)，Ｓ(1,0)，Ｓ(1,1)）は、
Ｓ(0,0)＝SH0,0−SP0,0
Ｓ(0,1)＝SH0,1−SP0,1
Ｓ(1,0)＝SH1,0−SP1,0
Ｓ(1,1)＝SH1,1−SP1,1
と表される。
【００３８】
ここで、（３）式のアダマール変換の結果は、
α01＝（Ｓ(0,0)−Ｓ(0,1)＋Ｓ(1,0)−Ｓ(1,1)）／２
α10＝（Ｓ(0,0)＋Ｓ(0,1)−Ｓ(1,0)−Ｓ(1,1)）／２
α11＝（Ｓ(0,0)−Ｓ(0,1)−Ｓ(1,0)＋Ｓ(1,1)）／２
としてアダマール係数が表される。
【００３９】
そして、上記α01の式に、平均画素値と第１のＤＣ値との差分値を求める式を代入すると、各々のアダマール係数を求める式は、以下に示すように

と、論理圧縮することが可能であり、同様に
α10＝｛（SH0,0−SH0,1＋SH1,0−SH1,1）*２−（Ｕ−Ｂ）｝／４
α11＝（SH0,0−SH0,1＋SH1,0−SH1,1）／２
と論理圧縮され、予測符号化の計算に関する項目が相殺されて、α01,α10については２項のＤＣ値の減算となり、α11については予測符号化の計算に関する項目（予測符号化の結果）が全てなくなっていることが判る。
【００４０】
このように、アダマール係数を求める式に、第１の差分値を求める式を代入して、すなわち、（３）式を以下に示す（５）式に変形することにより、差分値の計算と第１段階のＡＣＰ処理の演算とを組み合わせて合成演算することが可能となり、予測符号化（ＡＣＰ処理）及びアダマール変換の演算部分での演算誤差の発生を防止でき、出力するアダマール係数の演算精度を向上させることが可能となる。
【００４１】
このとき、合成演算を２倍した式を用いて計算し、その後の量子化で一括してビットシフトする演算方法を採用することにより、出力するアダマール係数の演算精度をさらに向上させることが可能となる。
また、第１段階アダマール符号化部５は、すでに述べた予測符号化の演算を行わないため、処理速度を向上させて、高速にアダマール係数を演算して得ることができる。
【数１１】

【００４２】
そして、上述したように、（５）式により論理圧縮したアダマール係数α01，10，11を求める式を第１段階アダマール符号化部５に設定しておくことにより、各アダマール係数に対応した式に、サブ画素ブロックにおける各画素の画素値の平均値と、各アダマール係数の所定の画素ブロックのＤＣ値とを代入することにより、各画素の第１の差分値のアダマール係数を求めることができる。
【００４３】
さらに、第１段階アダマール符号化部５は、量子化された第１のアダマール係数の逆量子化を行い、さらに逆アダマール変換を行い第１の差分値を再生し、再生した第１の差分値（Ｓ(0,0)，Ｓ(0,1)，Ｓ(1,0)，Ｓ(1,1)）に基づき、各サブ画素ブロックにおける画素値の平均値、すなわち第１段階Ｈｄｍ（アダマール変換）適用後画像（図１の２ｄ）を再生する。
この第１のアダマール係数からの第１段階Ｈｄｍ（アダマール変換）適用後画像の再生についての説明は、復号化部２における説明で行う。
ここで再生される上記第１の差分値は、量子化されたときに情報が劣化している。
【００４４】
次に、各サブ画素ブロックに対応する１２個のアダマール係数βn(u,v)，ｎ∈[0,3]，u,v∈[0,1]（第２の差分値のアダマール係数）の演算について、上述した画素ブロックに対応するアダマール係数α01,α10,α11の場合と同様に検討してみる。
第２の差分値のアダマール係数を求めるため、各画素値から減算するための第２のＤＣ値を求める必要がある。
【００４５】
そして、第１段階アダマール符号化部５において、すでに求められている第１段階Ｈｄｍ適用後画像のサブ画素ブロックＳ1、Ｓ2，Ｓ3，Ｓ4の各々の新たな第１のＤＣ値（すなわち、画素の平均値SG0,0、SG0,1、SG1,0、SG1,1）と、各サブ画素ブロックと上下左右において隣接するサブ画素ブロックの第１のＤＣ画素値（これらも第１段階Ｈｄｍ適用後画像のサブ画素ブロックＳ1、Ｓ2，Ｓ3，Ｓ4の各々の新たな第１のＤＣ画素値）とに基づき、交流成分予測の演算を行い、各画素ｄ(0,0)，…，(3,3)各々の第２のＤＣ画素値dn(x,y)〜dn(x,y)、x,y∈［0,1］、ｎ∈［0,3］を求める。
【００４６】
以下、上記SG0,0、SG0,1、SG1,0、SG1,1を、説明を簡単にするため、各々新たな１のＤＣ値としてSP0,0、SP0,1、SP1,0、SP1,1（各々サブ画素ブロックＳ1,Ｓ2,Ｓ3,Ｓ4の平均画素値）として表す（他のサブ画素ブロックの第１のＤＣ値についても同様な処理を行っている）。
ここで、第２段階交流成分の演算において、例えば、図３（ｂ）に示すサブ画素ブロックＳ1における画素ｄ(0,0)〜ｄ(1,1)各々の第２のＤＣ値d0（0,0)，d0（0,1)，d0(1,0)，d0(1,1)が、以下に示す第１のＤＣ値に基づく式により表される。
d0(0,0) ＝ SP0,0＋（UP1,0＋LP0,1−SP1,0−SP0,1）／８
d0(0,1) ＝ SP0,0＋（UP1,0＋SP0,1−SP1,0−LP0,1）／８
d0(1,0) ＝ SP0,0＋（SP1,0＋LP0,1−UP1,0−SP0,1）／８
d0(1,1) ＝ SP0,0＋（SP1,0＋SP0,1−UP1,0−LP0,1）／８
【００４７】
同様に、第２段階交流成分の演算において、他の残りのサブ画素ブロックＳ2〜Ｓ4における各画素の第２のＤＣ画素値を演算し、サブ画素ブロックＳ1〜Ｓ4までの各画素の第２のＤＣ画素値が表される。
・サブ画素ブロックＳ2の各画素
d1(0,0) ＝ SP0,1 ＋（UP1,1＋SP0,0−SP1,1−RP0,0）／８
d1(0,1) ＝ SP0,1 ＋（UP1,1＋RP0,0−SP1,1−SP0,0）／８
d1(1,0) ＝ SP0,1 ＋（SP1,1＋SP0,0−UP1,1−RP0,0）／８
d1(1,1) ＝ SP0,1 ＋（SP1,1＋RP0,0−UP1,1−SP0,0）／８
・サブ画素ブロックＳ3の各画素
d2(0,0) ＝ SP1,0＋（SP0,0＋LP1,1−SB0,0−SP1,1）／８
d2(0,1) ＝ SP1,0＋（SP0,0＋SP1,1−SB0,0−LP1,1）／８
d2(1,0) ＝ SP1,0＋（SB0,0＋LP1,1−SP0,0−SP1,1）／８
d2(1,1) ＝ SP1,0＋（SB0,0＋SP1,1−SP0,0−LP1,1）／８
・サブ画素ブロックＳ4の各画素
d3(0,0) ＝ SP1,1＋（SP0,1＋SP1,0−SB0,1−RP1,0）／８
d3(0,1) ＝ SP1,1＋（SP0,1＋RP1,0−SB0,1−SP1,0）／８
d3(1,0) ＝ SP1,1＋（SB0,1＋SP1,0−SP0,1−RP1,0）／８
d3(1,1) ＝ SP1,1＋（SB0,1＋RP1,0−SP0,1−SP1,0）／８
【００４８】
第２段階アダマール符号化部７は、サブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4の各画素の第２のＤＣ値から、対応する画素の画素値を減算して、各画素毎に対応した第２の差分値を演算し、この第２の差分値に対して第２段階のアダマール変換を行う。
【００４９】
第２段階アダマール符号化部７は、以下に示す（６）式において、各サブ画素ブロック内の２×２画素毎の第２の差分値に対してアダマール変換を行う。
【数１２】

この（６）式において、Ｋnはアダマール変換に用いるアダマール変換係数行列であり、以下に示す（７）式の構造となっている。
【数１３】

【００５０】
そして、βnは求められるアダマール係数の行列を示し、下記の（８）式に示すように、ｇnは２×２画素に対応する以下に説明する、サブ画素ブロック毎の各画素の差分値（すなわち、各サブ画素ブロック内の画素毎の第２の差分値）の行列に対応している。
【数１４】

【００５１】
ここで、各画素とこの画素に対応する差分値との対応関係は、図２(e)と図３(ｂ)とにより示されている。
また、以下の説明において、画素ｄ(0,0)〜ｄ(3,3)の画素値を、対応する部分の符号に対応させて、図２（ｄ）に示すように画素値ｐn(x,y);n∈[0,3]、x,y∈[0,1]（対応関係は図３（b））で表している。
すなわち、画素ｄ(0,0)〜ｄ(3,3)の画素値は、以下に示すように、対応するサブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4における各画素値の第２のＤＣ値に対応している。
【００５２】
このとき、第２段階アダマール符号化部７は、サブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4それぞれにおいて、各画素ｄ(0,0)，(0,1)，(1,0)，(1,1)、画素ｄ(0,2)，(0,3)，(1,2)，(1,3)、画素ｄ(2,0)，(2,1)，(3,0)，(3,1)、画素ｄ(2,2)，(2,3)，(3,2)，(3,3)の各第２のＤＣ値と、元画像の画素ｄ(0,0)，(0,1)，(1,0)，(1,1)、画素ｄ(0,2)，(0,3)，(1,2)，(1,3)、画素ｄ(2,0)，(2,1)，(3,0)，(3,1)、画素ｄ(2,2)，(2,3)，(3,2)，(3,3)の各々の画素値との差分を演算（元画像の画素値から各画素の第２のＤＣ値を減算、例えば、画素ｄ(0,0)において元画像の画素値ｐ0(0,0)から第２のＤＣ値ｄ0(0,0)を減算、これをｄ(0,0)〜ｄ(3,3)までの画素に対して行う）し、演算結果を第２の差分値として、図２（ｅ）における様に、それぞれサブ画素ブロック（Ｓ１〜Ｓ４）毎に対して、各画素毎に差分値ｅn(0,0)，…,ｅn(1,1)，ｎ∈[0,3]として求め、この第２の差分値を用いて、以下に示す（９）式により第２段階目のアダマール変換を行う。
【００５３】
ここで、ｋn，βn，ｇn，ｅn(x,y)各々の添え字「n」は、各サブ画素ブロックの位置に対応している。例えば、図２(ｅ)を例として示すと、「ｎ＝０」がサブ画素ブロックS1に対応し、「ｎ＝１」がサブ画素ブロックS2に対応し、「ｎ＝２」がサブ画素ブロックS3に対応し、「ｎ＝３」がサブ画素ブロックS4に対応している。
【００５４】
そして、βnの行列の各要素βn(u,v)は、以下の（９）式により求められる。
【数１５】

ここで、２×２画素におけるアダマール変換係数ｈn(u,v)(x,y)は、図４（ａ）に示す各画素に対応した構成となっている（白が「−１」であり、黒が「＋１」である）。ここで、図４（ａ）におけるアダマール変換係数ｈn(u,v)(x,y)の位置関係は、図４（ｂ）に示している。
この（９）式におけるｋnの添え字「n」は、図２（ｅ）と同様に、各サブ画素ブロック（Ｓ１〜Ｓ４）の位置に対応している。
【００５５】
また、図４（ａ）に示す本発明のアダマール変換係数において、すでに述べた第１段階目のアダマール変換に対応した変換係数部分は従来の構成と同様なものの、第２段階目のアダマール変換に対応した部分はサブ画素ブロック（Ｓ1,Ｓ2,Ｓ3,Ｓ4）毎に対応するように構成されている。
すなわち、４×４画素からなる画素ブロックにおいて、図４（ａ）におけるグループＡの４つ（Ａ1〜Ａ4において、Ａ1がｈ0,0(x,y)、Ａ2がｈ0,1(x,y)，Ａ3がｈ1,0(x,y)、Ａ4がｈ1,1(x,y)）である。
【００５６】
ここで、アダマール変換係数ｈ0,0(x,y)は、図４（ａ）に示すように全て黒であり、変換係数として全て「１」であり、全てのサブ画素ブロック差分値を加算したもの、すなわち元画像ブロックの各画素の画素値の平均値と、ＤＣ値との差分値に対応したものである。
この全てのサブ画素ブロック差分値を加算したものは、誤差を除いて「０」に等しいため、数値自身が符号化部１内部に保存されていない。
【００５７】
また、図４（ｂ）に示すｎ＝０〜３の各図は、グループＢにおける各々のサブ画素ブロック（２×２画素）に対応した、アダマール変換係数の組み合わせとなっている。
例えば、図２（ｂ）の画素ブロックＳにおいて、各画素に対する（８）式における変換係数の対応関係を確認すると、ｎ＝０（サブ画素ブロックS１）においてｋ0(u,v)(x,y)，u,v,x,y∈[0,1]となり、ｎ＝１（サブ画素ブロックS2）においてｋ1(u,v)(x,y)，u,v,x,y∈[0,1]となり、ｎ＝２（サブ画素ブロックS3）においてｋ2(u,v)(x,y)，u,v,x,y∈[0,1]となり、ｎ＝３（サブ画素ブロックS4）においてｋ3(u,v)(x,y)、ここでu,v,x,y∈[0,1]となり、添え字「ｎ」を除くと、各サブ画素ブロックにおいて、図４（ａ）におけるＡ１〜Ａ４の対応と同様となる。
【００５８】
ここで、アダマール変換係数ｋ0（0,0)(x,y)，ｋ1（0,0)(x,y)，ｋ2（0,0)(x,y)，ｋ3（0,0)(x,y)、x,y∈[0,1]各々は、図４（ｂ）で示されているように、全て黒であり、変換係数として全て「１」であり、全ての画素の差分値を加算したもの、すなわち、各サブ画素ブロックにおける画素値の平均値と、新たな第１のＤＣ値との差分値に対応したものである。
この全ての画素の差分値を加算したものは、誤差を除いて「０」に等しいため、数値自身が符号化部１内部に保存されていない。
最終的に、第２段階アダマール符号化部７は、アダマール係数として、（９）式により、第２のアダマール係数βn(u,v)、ｎ∈[0,3]、u,v∈[0,1]として演算し、量子化処理を行って出力する。
【００５９】
しかしながら、例えば、サブ画素ブロックＳn，ｎ∈[0,3]における画素（ｎ＝０のときｄ(0,0)，ｄ(0,1)，ｄ(1,0)，ｄ(1,1)、ｎ＝１のときｄ(0,2)，ｄ(0,3)，ｄ(1,2)，ｄ(1,3)、ｎ＝２のときｄ(2,0)，ｄ(2,1)，ｄ(3,0)，ｄ(3,1)、ｎ＝３のときｄ(2,2)，ｄ(2,3)，ｄ(3,0)，ｄ(3,1)）において、画素各々の画素値（ｎ＝０のときｐ0(0,0)，ｐ0(0,1)，ｐ0(1,0)，ｐ0(1,1)、ｎ＝１のときｐ1(0,0)，ｐ1(0,1)，ｐ1(1,0)，ｐ1(1,1)、ｎ＝２のときｐ2(0,0)，ｐ2(0,1)，ｐ2(1,0)，ｐ2(1,1)、ｎ＝３のときｐ3(0,0)，ｐ3(0,1)，ｐ3(1,0)，ｐ3(1,1)、すなわち元画像の画素値がｐn(0,0)，ｐn(0,1)，ｐn(1,0)，ｐn(1,1)、ｎ∈[0,3]となる）と、各画素ブロックに対応する第２のＤＣ値（ｎ＝０のときｄ0(0,0)，ｄ0(0,1)，ｄ0(1,0)，ｄ0(1,1)、ｎ＝１のときｄ1(0,0)，ｄ1(0,1)，ｄ1(1,0)，ｄ1(1,1)、ｎ＝２のときｄ2(0,0)，ｄ2(0,1)，ｄ2(1,0)，ｄ2(1,1)、ｎ＝３のときｄ3(0,0)，ｄ3(0,1)，ｄ3(1,0)，ｄ3(1,1)、すなわち画素単位の予測値がｄn(0,0)，ｄn(0,1)，ｄn(1,0)，ｄn(1,1)、ｎ∈[0,3]となる）との各々の差分値（ｅn(0,0)，ｅn(0,1)，ｅn(1,0)，ｅn(1,1)，ｎ∈[0,3]）は、
ｎ∈[0,3]として、
ｅn(0,0)＝ｐn(0,0)−ｄn(0,0)
ｅn(0,1)＝ｐn(0,1)−ｄn(0,1)
ｅn(1,0)＝ｐn(1,0)−ｄn(1,0)
ｅn(1,1)＝ｐn(1,1)−ｄn(1,1)
と求められる。
【００６０】
そして、第１段階アダマール符号化部５と同様に、アダマール係数を求める式に、差分値を求める式を代入して、すなわち、（９）式を以下に示す（１０）式として、第２段階アダマール符号化部７に設定することにより、差分の演算を組み合わせて合成演算とすることが可能となる。
また、第２段階アダマール符号化部７は、すでに述べた予測符号化の演算を行わないため、処理速度を向上させることができ、高速にアダマール係数を演算して得ることが可能となる。
【数１６】

【００６１】
ここで、（１０）式のアダマール変換の結果として、サブ画素グループS1における各画素毎の第２の差分値に対応する第２のアダマール係数β0(u,v)、u,v∈[0,1]を代表で検討してみる。
図４（ａ）のアダマール変換の基底に基づき行う。
β0(0,1)＝（ｅ0(0,0)−ｅ0(0,1)＋ｅ0(1,0)−ｅ0(1,1)）／２
β0(1,0)＝（ｅ0(0,0)＋ｅ0(0,1)−ｅ0(1,0)−ｅ0(1,1)）／２
β0(1,1)＝（ｅ0(0,0)−ｅ0(0,1)−ｅ0(1,0)＋ｅ0(1,1)）／２
【００６２】
そして、（１０）式に各々差分値を求める式を代入させて、（９）式に対応させて、上記β0(0,1)，β0(1,0)，β0(1,1)を各々求めると、

と、論理圧縮して、サブ画素ブロックS1の各画素（ｄ(0,0),ｄ(0,1),ｄ(1,0),ｄ(1,1)）に対応する上記第２のアダマール係数β0(0,1)，β0(1,0)，β0(1,1)を、各々演算することが可能であることが判る。
【００６３】
同様に、第２段階アダマール符号化部７は、他のサブ画素ブロックS2,S3,S4のアダマール係数βn(0,1)，βn(1,0)，βn(1,1)，ｎ∈[1,3]も論理圧縮して計算を行う。
このとき、第２段階アダマール符号化部７は、（１０）式における元画像の画素値と、予測画素値とにおいて、ｐn(x,y)及びｄn(x,y)の次数「x,y」は、図２（ｅ）及び（８）式におけるｅn(x,y)のｘ及びｙの位置に対応させて計算する。
【００６４】
上述してきたように、サブ画素ブロックＳ１，Ｓ２，Ｓ３，Ｓ４各々に対応して、３つずつの変換のための基底が対応付けられており、各サブ画素ブロッ単位において独立してアダマール係数の演算が行えるため、画素ブロックにおける第１のアダマール係数の演算と同様に、サブ画素ブロック毎に４つの第２の差分値（ｅn(0,0)，ｅn(0,1)，ｅn(1,0)，ｅn(1,1)，ｎ∈[0,3]）を用い、３つの第２のアダマール係数βn(0,1)，βn(1,0)，βn(1,1)，ｎ∈[0,3]のみを生成することになる。
【００６５】
この結果、本発明においては、第２のアダマール係数の演算において、第１のアダマール係数の演算と同様に、各サブ画素ブロック内の各画素に対応する第２の差分値のみ、すなわち４つの第２の差分値を用いての演算となるので、通常のアダマール変換における基底を使用する場合と異なり、大幅に演算量を削減することができる。
【００６６】
このように、アダマール係数を求める式に、差分値を求める式を代入して、すなわち、（９）式を（１０）式に変形して、第２段階アダマール符号化部７に設定しておくことにより、第２の差分値を求める演算と第２段階ＡＣＰの処理とを合成演算することができ、元画像の各サブ画素ブロックの画素値と、隣接するサブ画素ブロックにおける画素の画素値の平均値とのみで第２のアダマール係数を演算することが可能となる。
【００６７】
このため、本願発明の画像処理装置においては、実質的に第２段階のＡＣＰの演算を省略することが可能となり、第２のアダマール係数の演算速度を向上させるとともに、ＡＣＰ処理における除算に基づく誤差の発生を防止して符号の演算精度を向上、すなわち符号化する画像の再生時の再現性が向上する。
そして、最終的に（１０）式により論理圧縮したアダマール係数α及びβn（ｎ∈[0,3]）を求める式を第２段階アダマール符号化部７に設定しておくことにより、各アダマール係数に対応した式に、サブ画素ブロックにおける各画素の画素値と、この画素ブロックにおける画素の画素値の平均値とを代入することにより、各画素の第２の差分値のアダマール係数を求めることができる。
【００６８】
また、第２段階アダマール符号化部７は、量子化された第２のアダマール係数の逆量子化を行い、第２の差分値を再生し、再生した第２の差分値を、各部分に対応する第２のＤＣ画素値に加算して、第２段階Ｈｄｍ（アダマール変換）適用後画像（図１の２ｆ）として、復号部２で復号されて出力される画像と同一な画像を再生して出力することもできる。
この第２のアダマール係数からの第２段階Ｈｄｍ（アダマール変換）適用後画像の再生についての説明は、復号化部２における説明で行う。
【００６９】
次に、復号化部２の動作を詳細に説明する。
ＤＣ画像復号部８は、入力されるＤＣ符号に対して、逆量子化及びエントロピー復号化を行い、画素ブロック各々のＤＣ値を求め、ＤＣ画像（図１の４ｂ）を再生する。
第１段階アダマール復号化部１０は、入力される符号化された第１のアダマール係数に対して、逆量子化及びエントロピー復号化を行い、第１のアダマール係数の復号（再生）を行う。
【００７０】
ここで、この第１のアダマール係数に対して、以下に示す（１１）式を用いて、逆アダマール変換を行うことにより、第１の差分値を復号（再生）する。
【数１７】

【００７１】
すなわち、以下の（１３）式のｆ'の示す再生されるサブ画素ブロックの各部分に対応する第１の差分値を、以下に示す（１２）式を用いて演算して求める。
【数１８】

【数１９】

そして、サブ画素ブロックＳ1，Ｓ2，Ｓ3，Ｓ4に対応する差分値（Ｓ'(0,0),Ｓ'(0,1),Ｓ'(1,0),Ｓ'(1,1)）は、符号化部１から入力される第１のアダマール係数α10，01，11に基づき、
Ｓ'(0,0)＝（α10＋α01＋α11）／２
Ｓ'(0,1)＝（−α10＋α01−α11）／２
Ｓ'(1,0)＝（α10−α01−α11）／２
Ｓ'(1,1)＝（−α10−α01＋α11）／２
の各式により求められる。
ここで、α00は、符号化部１の説明で述べたように、誤差を除いて「０」に等しいため、復号化部２に入力されない。
【００７２】
これにより、第１段階ＡＣＰ処理により求まる第１のＤＣ値（SP0,0、SP0,1、SP1,0、SP1,1）に対して、以下に示す式のように第１の差分値を加算することで、各サブ画素ブロックの復号画素値（SC0,0、SC0,1、SC1,0、SC1,1）を求めることができる。
SC0,0＝SP0,0＋Ｓ'(0,0)
SC0,1＝SP0,1＋Ｓ'(0,1)
SC1,0＝SP1,0＋Ｓ'(1,0)
SC1,1＝SP1,1＋Ｓ'(1,1)
【００７３】
しかしながら、復号化部２も符号化部１と同様に、ＡＣＰによる処理を削減するため、（１２）式から直接各サブ画素ブロックの画素値を求めるようにするため、
以下に示す、第１のアダマール係数に逆ＡＣＰ処理の項を加えた（１４）式を検討する。
【数２０】

【００７４】
この（１４）式は、（５）式の第１のＤＣ値（SPxy）の項（第１の差分値における第１のＤＣ値）を左辺に移項した構成であり、すなわち、符号化部１から入力される第１のアダマール係数α01,10,11を示す各式
α01＝｛（SH0,0−SH0,1＋SH1,0−SH1,1）*２−（Ｌ−Ｒ）｝／４
α10＝｛（SH0,0−SH0,1＋SH1,0−SH1,1）*２−（Ｕ−Ｂ）｝／４
α11＝（SH0,0−SH0,1＋SH1,0−SH1,1）／２
を移項することにより、
α'01＝α01＋（Ｌ−Ｒ）／４＝（SH0,0−SH0,1＋SH1,0−SH1,1）*２
α'10＝α10＋（Ｕ−Ｂ）／４＝（SH0,0−SH0,1＋SH1,0−SH1,1）*２
α'11＝α11＝（SH0,0−SH0,1＋SH1,0−SH1,1）*２
と表すことができる。
【００７５】
また、復号されたサブ画素ブロックの画素値（SC0,0，SC0,１，SC1,0，SC1,1）と、第１の差分値Ｓ'(0,0),Ｓ'(0,1),Ｓ'(1,0),Ｓ'(1,1)）と、第１のＤＣ値（SP0,0、SP0,1、SP1,0、SP1,1）との関係は、

の関係がある。
【００７６】
この上記関係に基づき、元画像の各サブ画素ブロック（Ｓ1，Ｓ2，Ｓ3，Ｓ4）における画素の平均値(SH0,0,SH0,1,SH1,0,SH1,1)と、上記復号されたサブ画素ブロックの画素値（SC0,0，SC0,1，SC1,0，SC1,1）との関係は、（１２）式より、
SC0,0＝（α'01＋α'10＋α'11）/２＝(３SH0,0−SH0,1−SH1,0−SH1,1)/４＝SH0,0−S
SC0,1＝（−α'01＋α'10−α'11）/２＝(３SH0,1−SH0,0−SH1,0−SH1,1)/４＝SH0,1−S
SC1,0＝（α'01−α'10−α'11）/２＝(３SH1,0−SH0,0−SH0,1−SH1,1)/４＝SH1,0−S
SC1,1＝（−α'01−α'10＋α'11）/２＝(３SH1,1−SH0,0−SH0,1−SH1,0)/４＝SH1,1−S
【００７７】
したがって、求める元画像の各サブ画素ブロックの平均値（SH0,0，SH0,1，SH1,0，SH1,1）は以下に示す構成となる。
SH0,0＝SC0,0＋Ｓ
SH0,1＝SC0,1＋Ｓ
SH1,0＝SC1,0＋Ｓ
SH1,1＝SC1,1＋Ｓ
ここで、各復号されるサブ画素ブロックの画素値は、

と求められる。
【００７８】
結果的に、求める元画像の各サブ画素ブロックにおける画素の画素値の平均値（SH0,0，SH0,1，SH1,0，SH1,1）は以下に示す、アダマール係数及び交流予測成分の項を有する構成となる。
SH0,0＝(α01+α10+α11)／２＋（Ｕ−Ｂ＋Ｌ−Ｒ）／８＋Ｓ
SH0,1＝(-α01+α10-α11)／２＋（Ｕ−Ｂ−Ｌ＋Ｒ）／８＋Ｓ
SH1,0＝(α01-α10-α11)／２＋（−Ｕ＋Ｂ＋Ｌ−Ｒ）／８＋Ｓ
SH1,1＝(-α01-α10+α11)／２＋（−Ｕ＋Ｂ−Ｌ＋Ｒ）／８＋Ｓ
【００７９】
この（１２）式に対応したサブ画素ブロックにおける画素の画素値の平均値（SH0,0，SH0,1，SH1,0，SH1,1）を求める上述した式を第１段階アダマール復号化部１０に設定しておくことにより、符号化部１からの各画素ブロックのＤＣ値と、第１のアダマール係数とのみにより、元画像の各サブ画素ブロックの画素値の平均値を演算することが可能となる。
したがって、本発明の画像処理装置における復号化部１は、各画素ブロックのＤＣ値から第１のＤＣ値を再生するＡＣＰ処理の演算と、この第１のＤＣ値及び第１の差分値の加算処理の演算とを、合成演算とすることにより、実質的にＡＣＰ処理の演算を省略することができ、ＡＣＰ処理の演算による誤差の発生を防止するとともに、元画像の各サブ画素ブロックの画素値の平均値（第１段階Ｈｄｍ適用後画像（図１の４ｄ））を求める演算速度を向上させることができる。
【００８０】
そして、各サブ画素ブロックにおける各画素の画素値の復号処理において、入力される第１段階Ｈｄｍ適用後画像における各サブ画素ブロックに基づき、符号化部１と同様な式を用いた交流予測法（ＡＣＰ処理）の演算により、サブ画素ブロックの各画素の第２のＤＣ画素値を求める。
次に、符号化部１から入力される第２のアダマール係数により、以下に示す（１５）式により第２の差分値を演算する。
【数２１】

ここで、第２の差分値の行列ｇ'nは、以下の（１６）式に表すものである。
【数２２】

そして、各画素値に対応する差分値ｅ'n(x,y)、ｎ∈[0,3]、x,y∈[0,1]は、下記に示す（１７）式により求められる。このｅ'n(x,y)は、各々ｅn(x,y)の位置に対応している。
【数２３】

さらに、サブ画素ブロックにおける各画素単位で得られた第２の差分値を、対応する部分の第２のＤＣ画素値に加算して、第２段階Ｈｄｍ適用後画像（図１の４ｆ）として、すなわち再生画像として出力する。
【００８１】
このとき、第２段階アダマール復号化部１２は、第１段階アダマール復号化部１０と同様に、入力される符号化された第２のアダマール係数を逆量子化及びエントロピー復号化を行い第２のアダマール係数β'n(u,v)、ｎ∈[0,3]、u,v∈[0,1]の復号（再生）を行う。
ここで、この第２のアダマール係数に対して、上述した（１５）式を用いて、逆アダマール変換を行うことにより、第２の差分値を復号（再生）する。
【００８２】
そして、サブ画素ブロックにおける画素値、例えば、サブ画素ブロックＳ1に対応する第２の差分値（ｅ'0(0,0),ｅ'0(0,1),ｅ'0(1,0),ｅ'0(1,1)）は、符号化部１から入力される第２のアダマール係数β'0(0,1)，β'0(1,0)，β'0(1,1)に基づき、
ｅ'0(0,0)＝（β'0(1,0)＋β'0(0,1)＋β'0(1,1)）／２
ｅ'0(0,1)＝（−β'0(1,0)＋β'0(0,1)−β'0(1,1)）／２
ｅ'0(1,0)＝（β'0(1,0)−β'0(0,1)−β'0(1,1)）／２
ｅ'0(1,1)＝（−β'0(1,0)−β'0(0,1)＋β'0(1,1)）／２
の各式により求められる。
【００８３】
これにより、第２段階ＡＣＰ処理により求まる第２のＤＣ値（d0(0,0),d0(0,1),d0(1,0),d0(1,1)）に対して、以下に示す式のように加算することで、各サブ画素ブロックの復号画素値（ｐ0(0、0)、ｐ0(0、1)、ｐ0(1、0)、ｐ0(1、1)）を求めることができる。
ｐ0(0、0)＝d0(0,0)＋ｅ'0(0,0)
ｐ0(0、1)＝d0(0,1)＋ｅ'0(0,1)
ｐ0(1、0)＝d0(1,0)＋ｅ'0(1,0)
ｐ0(1、1)＝d0(1,1)＋ｅ'0(1,1)
【００８４】
しかしながら、復号化部２も復号化部１と同様に、ＡＣＰによる処理を削減するため、（１５）式を直接各サブ画素ブロックの画素値を求めるようにするため、第２段階アダマール復号化部１２において、第１段階アダマール復号化部１０と同様な構成として、以下に示す（１８）式を用いることを検討する。
【数２４】

【００８５】
第２段階アダマール復号化部１２において、上記（１８）式は、（１０）式の第２のＤＣ値（ｄn(x,y)）の項（第２の差分値における第２のＤＣ値）を左辺に移項した構成であり、すなわち、符号化部１から入力されるアダマール係数β0(0,1)，β0(1,0)，β0(1,1)を示す各式
β0(0,1)＝(ｐ0(0,0)−ｐ0(0,1)＋ｐ0(1,0)−ｐ0(1,1)/2 −(SP0,1−RP0,0)/4
β0(1,0)＝(ｐ0(0,0)＋ｐ0(0,1)−ｐ0(1,0)−ｐ0(1,1))/2 −(SP1,1−UP1,1)/4
β0(1,1)＝(ｐ0(0,0)−ｐ0(0,1)−ｐ0(1,0)＋ｐ0(1,1))/2
を移項することにより、

と表すことができる。
【００８６】
また、復号されたサブ画素ブロックにおける各画素の画素値（ｐ0(0、0)、ｐ0(0、1)、ｐ0(1、0)、ｐ0(1、1)）と、第２の差分値（ｅ'0(0,0),ｅ'0(0,1),ｅ'0(1,0),ｅ'0(1,1)）と、第２のＤＣ値（d0(0,0),d0(0,1),d0(1,0),d0(1,1)）との関係は、

の関係がある。
【００８７】
ここで、上記関係に基づき、第２のアダマール係数β'0(x,y)に対して、逆アダマール変換を施すことにより、サブ画素ブロックＳ1における画素の画素値の平均値（SH0,0）と、上記復号されたサブ画素ブロックＳ1における各画素の画素値（ｐ0(0,0)、ｐ0(0,1)、ｐ0(1,0)、ｐ0(1,1)）との関係は、（１２）式より、

と表すことができる。
【００８８】
したがって、求める元画像のサブ画素ブロックＳ１の各画素の画素値（ｐ'0(0、0)、ｐ'0(0、1)、ｐ'0(1、0)、ｐ'0(1、1)）は以下に示す構成となる。
ｐ0(0、0)＝ｐ'0(0、0)＋SH0,0
ｐ0(0、1)＝ｐ'0(0、1)＋SH0,0
ｐ0(1、0)＝ｐ'0(1、0)＋SH0,0
ｐ0(1、1)＝ｐ'0(1、1)＋SH0,0
ここで、復号されるサブ画素ブロックＳ1における第２のアダマール係数β'0(x,y)に対する逆アダマール変換は、

と展開できる。
【００８９】
結果的に、求める元画像のサブ画素ブロックＳ１における画素の各画素値（ｐ0(0、0)、ｐ0(0、1)、ｐ0(1、0)、ｐ0(1、1)）は以下に示す構成となる。

ここでは、サブ画素ブロックにおける画素の画素値の再生（復号）に、代表としてサブ画素ブロックS1を用いて行った。
また、説明上、分かり易くするため、画素の画素値をｐn(x,y)、ｎ∈[0,3]、x,y∈[1,0]として、復号化前と復号化後とで同様な符号を用いている。
【００９０】
すなわち、すでに述べたように、本発明におけるアダマール変換の基底、すなわち、図４（ａ）に示すアダマール変換の基底が、画素ブロック内のサブ画素ブロック各々で独立に行える構成としてある。
このため、各サブ画素ブロックのみに対応するアダマール係数αを演算することができ、各基底の組み合わせにおいて、各サブ画素ブロックで同様な構成の基底の組み合わせとなっているため、他のサブ画素ブロックＳ２，Ｓ３，Ｓ４においても、サブ画素ブロックＳ１と同様の処理により、各サブ画素ブロックにおける画素の画素値を演算することが可能である。
このとき、第２段階アダマール符号化部７は、（１７）式及び（１８）式において、ｎ∈[0,3]のとき、アダマール係数β'n(x,y)及びアダマール変換係数ｋn(u,v)(x,y)を、各画素値の次数「x,y」各々において、図２（ｅ）及び（８）式におけるｅn(x,y)のｘ及びｙの位置に対応させて計算する。
【００９１】
この（１８）式に対応したサブ画素ブロックＳ１における各画素の画素値（SC00，SC01，SC10，SC11）を求める上述した式を第２段階アダマール復号化部１２に設定しておくことにより、第１段階アダマール復号化部１０からの各サブ画素ブロックの平均画素値と、第２のアダマール係数とのみにより、元画像のサブ画素ブロックにおける各画素の画素値を演算することが可能となる。
したがって、本発明の画像処理装置における復号化部１は、各サブ画素ブロックの第１のＤＣ値から第２のＤＣ値を再生するＡＣＰ処理の演算と、この第２のＤＣ値及び第２の差分値の加算処理の演算とを、合成演算とすることにより、実質的にＡＣＰ処理の演算を省略することができ、ＡＣＰ処理の演算による誤差の発生を防止するとともに、元画像のサブ画素ブロックの各画素の画素値（第２段階Ｈｄｍ適用後画像（図１の４f））を求める演算速度を向上させることができる。
【００９２】
上述したように、本発明による画像処理装置は、画素ブロックにおけるサブ画素ブロックの第１のＤＣ値に対応する差分値Ｓ(x,y)，x,y∈[0,1]より求める第１のアダマール変換において、元画像の画素値とサブ画素ブロック第１のＤＣ画素値との第１の差分値をアダマール変換して、差分値としての情報量の多い低周波成分の低周波側の３個の第１のアダマール係数を抽出した後に、この第１の差分値を復号し第１のＤＣ値に加えて、サブ画素ブロックの各画素の第２のＤＣ値を求めた後に、第２のアダマール変換により各サブ画素ブロックの画素毎に第２の差分値を求め、この第２の差分値から第２のアダマール係数を求めるので、１２個の第２のアダマール係数の情報量を削減することが出来る、ＡＣＰ処理及びアダマール変換を１回ずつ行う１段階処理に比較して、第２の差分値のデータ量を減少させることが可能なため、１段階処理の差分値から全てのアダマール係数を求める場合に比較して、アダマール係数のデータ量を少なくすることができる。
【００９３】
また、本発明による画像処理装置は、ＡＣＰ処理を行うためのＤＣ値と、このＤＣ値に対してＡＣＰ処理を行った後の第１及び第２のＤＣ値及び元画像の差分値をアダマール係数として圧縮情報として出力するので、画像の再生処理に必要な情報量を少なくし、なにより、元画像との差分値をアダマール係数として出力するため、元画像に対して高い再現性を持たせることが可能である。
【００９４】
また、本発明による画像処理装置は、上述したアダマール変換だけでなく、第１段階交流成分予測部４及び第２段階交流成分予測部６において、ＡＣＰ法による画像処理も加わっているため、画素ブロックまたはサブ画素ブロックに対するアダマール変換による符号化に起因するブロックノイズを削減することができる。
さらに、本発明による画像処理装置は、第１段階交流成分予測部４，９，第２段階交流成分予測部６，１１，第１段階アダマール符号化部５，第２段階アダマール符号化部７，第１段階アダマール復号化部９，第２段階アダマール復号化部１２により、各々、加減算とビットシフトとの演算のみにより、上述した処理を行うことが可能なため、コンパクトな回路構成で実現でき、加えて、画素値の大きさに伴う圧縮または伸張における分岐処理もなく、所定の一定の周期で連続して処理を行うことが可能なため、高速な符号化及び復号化の処理が行える。
【００９５】
また、さらに、本発明による画像処理装置は、符号化部１及び復号化部２の双方において、第１の差分値に関する演算及び第１段階ＡＣＰ処理を合成演算し、かつ、第２の差分値に関する演算及び及び第２段階ＡＣＰ処理を合成演算する構成としているため、ＡＣＰ処理の効果を得ながら、実質的なＡＣＰ処理の演算を行うことがなく、画質を向上及び演算処理速度の向上を合わせて実現している。加えて、本発明による画像処理装置は、符号化部１及び復号化部２を同一機器内に搭載する場合、第１段階アダマール符号化部５と第１段階アダマール復号化部９と、及び第２段階アダマール符号化部１０と第２段階アダマール復号化部１２とが、各々で行う演算が同様なため、この演算を同様の回路で処理することができ、回路のかなりの部分を共通化することができるので、処理構成のコンパクト化をさらに向上させることが可能である。
【００９６】
ここで、アダマール変換係数が「１」または「−１」であるので、（５），（１０），（１４），（１８）式における画素値やアダマール係数に対してのアダマール変換係数の積は、乗算ではなく符号の付加として計算する。
その他の演算において、基本となる演算は式から判るように加算であり、また量子化に対してはビットシフトにより演算を行う。
【００９７】
次に、本発明の圧縮及び復号方法を用いた場合と、ＪＰＥＧを用いた場合との比較を行った結果を説明する。
図５は、横軸が圧縮後のファイルサイズ（byte数）を示し、縦軸がＰＮＳＲ（ピーク値対誤差比）を示しており、圧縮されたファイルサイズに対する画質の程度を示すグラフである。
実線が本発明の画像処理装置を使用した場合のファイルサイズとＰＮＳＲとの関係を示すものであり、波線がＪＰＥＧを使用した場合のファイルサイズとＰＮＳＲとの関係を示すものである。
【００９８】
上述の画像データとしては、本発明及びＪＰＥＧ双方において、画素の処理数が「Ｙ：Ｕ：Ｖ＝４：１：１」の割合で処理されている。
また、サンプルとして使用した画像は、図６に示す３２０×２４０の画素数の自然画であり、１画素あたり２４ビットのカラー情報を有し、全データ量が230,456byteである。
この図５から判るように、同一のファイルサイズの場合で比較すると、本発明の画像処理装置により圧縮及び復号された画像の画質のほうが、ＪＰＥＧの処理により圧縮及び復号された画像の画質より高い。
【００９９】
次に、図７は、横軸が圧縮後のファイルサイズ（byte数）を示し、縦軸が時間を示しており、圧縮されたファイルサイズ対応して、復号処理にかかる時間を示すグラフである。
実線が本発明の画像処理装置を使用した場合のファイルサイズと復号処理にかかる時間との関係を示すものであり、波線がＪＰＥＧを使用した場合のファイルサイズと復号処理にかかる時間との関係を示すものである。
双方の復号処理に使用したハードウェアは、ゲームボーイアドバンス（登録商標）である。
そして、本発明の復号処理方法及びＪＰＥＧの復号処理のソフトウェアを、ゲームボーイアドバンス（登録商標）にそれぞれ移植して行い、ファイルサイズ毎に復号処理にかかる時間の測定を行った。
【０１００】
上述の図７の画像データとしては、図５の場合と同様に、本発明及びＪＰＥＧ双方において、画素の処理数が「Ｙ：Ｕ：Ｖ＝４：１：１」の割合で処理されている。
また、サンプルとして使用した画像は、図８に示す２４０×１６０の画素数の自然画であり、１画素あたり２４ビットのカラー情報を有し、全データ量が115,256byteである。
この図７から判るように、同一のファイルサイズの場合で比較すると、本発明の画像処理装置による復号及び伸張の処理速度のほうが、ＪＰＥＧにおける復号及び伸張の処理速度に対してより高速である。
【０１０１】
以上、本発明の一実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
例えば、図１において、符号化部１及び復号化部２が同一の装置内に構成されて示されているが、符号化部１のみ、または、復号化部２のみで装置に組み込んで用いても良い。
【０１０２】
上述してきた画像の圧縮及び復号の処理は、デジタル動画に用いられるＹ，Ｕ，Ｖ（輝度=Y、赤の色差=U、青の色差=V）の画像データにより行うものである。ＲＧＢ（Red＝赤、Green＝緑、Blue＝青の階調を用いて画像を表現）形式の画像データに対しては、ＹＵＶ形式の画像データに変換する必要がある。
また、本発明の画像処理装置は、 Ｙ，Ｕ，Ｖに対して同様の処理を行い、画像の圧縮及び復号を行う。
【０１０３】
また、本発明の画像処理装置は、アダマール変換を複数段にわたって行うことを当然含んでおり、例えば、元画像を８×８画素から構成される画素ブロックに分割して、この画素ブロックに対応して、上述したよう２段階のアダマール変換と同様に、３段階のアダマール変換による画像処理を行っても良い。
例えば、８×８画素からなる画素ブロックの６４画素に対して、計６４個のアダマール係数が最終的に算出されるが、この内訳は、８×８画素単位でのＤＣ値を１個、４×４画素単位のアダマール係数としてαu,v;u,v∈[0,1]により３個、２×２画素単位のアダマール係数としてβn(u,v);ｎ∈[0,3],u,v∈[0,1]により１２個、各画素単位のアダマール係数としてγ(m,n)(u,v);m,n∈[0,3]、u,v∈[0,1]により４８個となる。
【０１０４】
他の処理については、符号化部１及び復号化部２に、新たに第３段階の交流成分予測部、アダマール符号化部、アダマール復号化部が加わり、第３のアダマール係数に対応した処理を行うのみで、他の処理は上述した２段階のアダマール係数に対する処理と同様である。
この３段階でアダマール変換を行うとき、第１段階及び第２段階では、２段階でアダマール変換を行う場合の１段階と同様な処理を各々行い、第３段階では２段階でアダマール変換を行う場合の１段階と同様な処理を行う。
【０１０５】
本発明の画像処理装置は、２段階で述べたように、画素ブロックに含まれる画素の数に対応するアダマール係数を求める段階を増やす毎に、各画素のＤＣ値と元画像の画素値との差分を一回でアダマール変換する場合に比較して、アダマール係数全体の画像圧縮に必要な情報量を減少させることが可能となり、かつ、アダマール係数の変動量が減少する（アダマール係数を示すビット量が減少するこ）ことでエントロピー符号化における圧縮効率が向上する。
【０１０６】
次に、本発明の実施の形態によるコンピュータが実行するためのプログラムについて説明する。
図１における画像処理装置（画像処理システム）の動作におけるコンピュータシステムのＣＰＵが実行するためのプログラムは、本発明によるプログラムを構成する。
このプログラムを格納するための記録媒体としては、光磁気ディスク、光ディスク、半導体メモリ、磁気記録媒体等を用いることができ、これらをＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、フレキシブルディスク、メモリカード等に構成して用いてよい。
【０１０７】
また上記記録媒体は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部のＲＡＭ等の揮発性メモリのように、一定時間プログラムを保持するものも含まれる。
また上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータシステムに伝送されるものであってもよい。上記伝送媒体とは、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体をいうものとする。
【０１０８】
また、上記プログラムは、前述した機能の一部を実現するためであってもよい。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１０９】
従って、このプログラムを図１のシステム又は装置とは異なるシステム又は装置において用い、そのシステム又は装置のコンピュータがこのプログラムを実行することによっても、上記実施の形態で説明した機能及び効果と同等の機能及び効果を得ることができ、本発明の目的を達成することができる。
【０１１０】
【発明の効果】
本発明による画像処理装置によれば、元画像の画素値とサブ画素ブロック第１のＤＣ画素値との第１の差分値をアダマール変換して、差分値としての情報量の多い低周波成分を抽出した後に、この第１の差分値を復号し第１のＤＣ値に加えて、サブ画素ブロックの各画素の第２のＤＣ値を求めた後に、第２のアダマール変換により残り高周波側のアダマール係数を求めるので、残りの第２のアダマール係数の情報量を削減することが出来るため、ＡＣＰ処理及びアダマール変換を１回ずつ行う１段階処理に比較して、第２の差分値のデータ量を減少させることが可能となり、１段階の差分値から全てのアダマール係数を求める場合に比較して、アダマール係数のデータ量を少なくし、ＪＰＥＧと同等以上の画像品質により、画像の圧縮及び復号を行うことができる。
【０１１１】
また、本発明による画像処理装置によれば、アダマール変換だけでなくＡＣＰ法による圧縮処理も加わっているため、アダマール変換をブロック単位で行うために現れやすいブロックノイズを削減することができる。
さらに、本発明による画像処理装置によれば、ＡＣＰ法とアダマール変換処理のみを用いるため、加減算とビットシフトとの演算のみにより、上述した処理を行うことが可能なため、コンパクトな回路構成で実現でき、携帯端末等に搭載することが可能となり、加えて、画素値の大きさに伴う分岐処理もなく、所定の周期で連続して処理を行うことが可能なため、ＪＰＥＧによる画像の圧縮及び復号に対して高速な圧縮及び復号の処理が行える。
【図面の簡単な説明】
【図１】 本発明の一実施形態による画像処理装置の構成例を示すブロック図である。
【図２】 図１に示す画像処理装置の動作例を説明するための概念図である。
【図３】 第１段階及び第２段階のＡＣＰ法による画像処理を説明する概念図である。
【図４】 アダマール変換において使用するアダマール変換係数の一例を示す概念図である。
【図５】 本発明の画像処理装置及びＪＰＥＧによる圧縮及び復号の処理におけるファイルサイズとＰＮＳＲとの関係を示すグラフである。
【図６】 図５の処理に用いたサンプル画像。
【図７】 本発明の画像処理装置及びＪＰＥＧによる復号処理におけるファイルサイズと復号処理にかかる時間との関係を示すグラフである。
【図８】 図７の処理に用いたサンプル画像。
【符号の説明】
１ 符号化部
２ 復号化部
３ ＤＣ画像作成部
５ 第１段階アダマール符号化部
７ 第２段階アダマール符号化部
８ ＤＣ画像復号部
１０ 第１段階アダマール復号化部
１２ 第２段階アダマール復号化部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus that performs image processing to create image data (data structure for efficiently performing image compression) at a previous stage for image compression and expansion.
[0002]
[Prior art]
As a conventional image compression method, JPEG (Joint Photograph Expert Group) is well known.
Further, as seen in the transition from JPEG to JPEG2000, the processing system is made large-scale and complicated on the premise of mounting on high-performance hardware to improve image quality and encoding efficiency (for example, Patent Document 1). reference).
[0003]
[Patent Document 1]
JP 09-223226 A
[0004]
[Problems to be solved by the invention]
However, the above-described JPEG or the like has a limitation on the CPU clock frequency due to power consumption in a portable terminal such as a portable game machine, and the processing capacity of the CPU is lower than that of a general-purpose personal computer. If compression / decompression processing cannot be performed and the JPEG function is configured as a dedicated circuit, the dedicated circuit becomes large and complicated, and it is difficult to implement from the viewpoint of product cost.
[0005]
The object of the present invention is made under such a background, and performs compression / decompression processing that performs compression / decompression of images at high speed by simple calculation and obtains compression efficiency higher than JPEG and image quality after decompression. An object of the present invention is to provide an image processing apparatus having an image encoding function that can be performed.
[0006]
[Means for Solving the Problems]
The image processing apparatus of the present invention obtains a DC value that is an average value of pixel values in a pixel block of 4 × 4 pixels, performs an operation for obtaining an average pixel value of pixels in a sub-pixel block obtained by dividing the pixel block into four, An AC component prediction calculation is performed on the DC value to obtain a first DC pixel value of the sub pixel block, and a difference value between the average pixel value and the first DC pixel value is calculated for each corresponding sub pixel block. An image processing apparatus that performs an operation to obtain, obtains a Hadamard coefficient of the difference value, and outputs the DC value and the Hadamard coefficient as encoded data for image compression, and calculates the AC component prediction and the operation to obtain the difference value And a Hadamard coefficient is obtained based on the DC value and the average pixel value by a combining operation.
[0007]
In the image processing apparatus of the present invention, an equation for obtaining the Hadamard coefficient is
[Expression 4]

It is characterized by being.
[0008]
The image processing apparatus of the present invention includes a DC image generation unit that averages pixel values of each pixel and generates and outputs a DC value in a pixel block composed of 4 × 4 pixels, and the pixel block. It is divided into 2 × 2 sub-pixel blocks, and an average pixel value for each sub-pixel block is obtained. From the DC values of the pixel block to be processed and other pixel blocks adjacent to the pixel block in the vertical and horizontal directions The calculation of the AC component prediction for obtaining the first DC pixel value for each 2 × 2 sub-pixel block, and the combination calculation of the first difference value between the average pixel value and the first DC pixel value are performed. The first difference value is subjected to 4 × 4 pixel Hadamard transformation to output a first Hadamard coefficient, and the inverse Hadamard transformation is performed to decode the first difference value. Based on the difference value of 1 A first-stage Hadamard encoding unit that reproduces and outputs an average pixel value of a sub-pixel block; an AC component prediction calculation that calculates a second DC pixel value for each 4 × 4 pixel from the average pixel value; An operation for obtaining a second difference value for each 4 × 4 pixel between the second DC pixel value and the pixel block is a synthesis operation, and the second difference value is calculated from the average pixel value and the pixel value of each pixel. And a second-stage Hadamard encoding unit that performs Hadamard transform and outputs a second Hadamard coefficient.
[0009]
In the image processing apparatus of the present invention, the expression of the synthesis operation in the second stage Hadamard encoding unit is
[Equation 5]

It is characterized by being.
[0010]
The image processing apparatus according to the present invention obtains a predicted pixel value for each sub-pixel block obtained by dividing a pixel block into four based on the DC value based on a DC value that is an average value of pixel values in a pixel block of 4 × 4 pixels. The calculation of the AC component prediction and the calculation of inverse Hadamard transform of the Hadamard coefficient based on the average pixel value of the pixel in the sub-pixel block of the original image and the difference value of the predicted pixel value are combined, and the DC value and the Hadamard coefficient Thus, an average pixel value of pixels in each sub-pixel block is obtained.
[0011]
In the image processing apparatus of the present invention, the composition calculation formula is
[Formula 6]

It is characterized by being.
[0012]
An image processing apparatus according to the present invention includes a DC image decoding unit that decodes a DC image of a pixel in an encoded 4 × 4 pixel block, a pixel block to be processed, and a pixel block adjacent to the pixel block vertically and horizontally Calculation of AC component prediction for obtaining a first DC pixel value for each 2 × 2 sub-pixel block from DC values of other pixel blocks, an average pixel value of pixels in the sub-pixel block of the original image, and the predicted pixel value A first-stage Hadamard decoding for calculating an average pixel value of pixels in each sub-pixel block from the DC value and the first Hadamard coefficient using a synthesis operation as an operation for performing inverse Hadamard transform on the first Hadamard coefficient based on the difference value of And an AC component prediction calculation for obtaining a second DC pixel value for each 4 × 4 pixel from the average pixel value, and a pixel value of the pixel in the sub-pixel block of the original image An operation for inverse Hadamard transform of the second Hadamard coefficient based on the difference value of the average pixel value is a synthesis operation, and a pixel value of a pixel in each sub-pixel block is obtained from the average pixel value and the second Hadamard coefficient. And a two-stage Hadamard decoding unit.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
The image processing apparatus according to the present invention divides an original image into pixel blocks composed of a plurality of pixels (n × n pixels) and divides the original image into pixel blocks composed of 4 × 4 pixels, for example. An average value of the pixel values is calculated, and in this pixel block, a DC value of each DC image is obtained as an averaged pixel value of each pixel.
Then, the image processing apparatus according to the present invention uses the first value for each sub-pixel block (block of 2 × 2 pixels) from the calculation based on the first-stage ACP (AC component prediction) method based on the DC value. A DC pixel value is obtained, and a first difference value is obtained by subtracting the first DC pixel value from an average value of pixel values of pixels of the original image in the sub-pixel block. A Hadamard transform is performed, a part of the Hadamard coefficient is obtained, quantized, and output.
[0014]
Next, the image processing apparatus according to the present invention inverse quantizes the first Hadamard coefficient, performs inverse Hadamard transform, and reproduces the first difference value (information reproduced by the quantization is deteriorated). ).
Then, the image processing apparatus according to the present invention adds the first difference value to the corresponding pixel value of the sub-pixel lock (that is, the first DC pixel value), and the new first DC of the sub-DC image is added. Output as pixel value.
Next, the image processing apparatus according to the present invention performs a calculation based on the second-stage ACP method based on the new first DC pixel value of the DC image, and performs a second DC pixel value for each pixel. Ask for.
[0015]
The image processing apparatus according to the present invention obtains a second difference value between the pixel value of each pixel of the original image and the second DC pixel value (subtracts the second DC pixel value from the pixel value of the pixel). Then, the second Hadamard transform corresponding to the second difference value is performed, and the remaining Hadamard coefficients excluding the first Hadamard coefficient are obtained as the second Hadamard coefficients.
As described above, the image processing apparatus performs an operation for obtaining the Hadamard coefficient by dividing the difference value between the pixel value obtained by the ACP method in the two stages and the pixel value of the original image into two corresponding stages. ing.
[0016]
By doing in this way, the image processing apparatus performs the DC image processing in the first-stage Hadamard transform among the 16 Hadamard coefficients (one is a DC value) obtained from the 16 pixels. The DC value is generated by the above, three low frequency components are obtained as the first Hadamard coefficients, and the remaining 12 Hadamard coefficients are obtained in the second-stage Hadamard transform.
Then, the image processing apparatus performs entropy coding (for example, Huffman) after quantizing the obtained 15 Hadamard coefficients and DC values, and performs data compression and output.
[0017]
Thereby, in the first Hadamard transform, the image processing device Hadamard transforms the first difference value between the average value of the pixel values of the original image in the sub-pixel block range and the first DC pixel value, After extracting a low-frequency component with a large amount of information as a difference value, encoding by Hadamard transform, and further compressing and encoding data by quantization, the first difference value is dequantized and expanded, and then further inverted. Decoding by Hadamard transform to obtain a new first DC value in addition to the first DC value, obtaining a second DC value from the new first DC value, and then performing a second Hadamard transform The remaining high frequency side Hadamard coefficients are obtained by encoding.
[0018]
On the other hand, since the image processing apparatus of the present invention encodes image data by Hadamard transform using a rectangular function as a basis function, the code amount is reduced as compared with DCT using a sine function as a basis function. Since a square wave approximation is used at the time of decoding, high-accuracy encoding such as DCT (assuming an image in which the pixel values of adjacent pixels change smoothly) cannot be performed.
For this reason, the image processing apparatus of the present invention needs to be quantized from the viewpoint of compression thereafter, and when inverse Hadamard transform is performed after inverse quantization at the time of image decoding, DCT approximates smoothly (does not exist) The Hadamard transform has a sharp edge and easily opens a pixel value difference between pixels because block waves are more conspicuous than those with the same DCT code amount. Become.
[0019]
However, the image processing apparatus of the present invention extracts the Hadamard coefficient related to the low-frequency component by the first-stage Hadamard transform, and then adds the coefficient value to the first DC value and reflects it in the encoding as a new first DC value. The first DC value is compensated for the difference from the neighboring blocks by ACP, the difference from the pixel value of the original image is obtained, and the second-stage Hadamard transform is performed on the second difference value. Thus, since the image is restored with an image quality equal to or higher than that of DCT (comparison with JPEG will be described later) and the difference value from the pixel value of the original image is taken, the second stage processing (second stage ACP and In the second stage Hadamard transform), highly accurate encoding is possible.
[0020]
In addition, since the image processing apparatus of the present invention reflects the result of the first-stage process (first-stage ACP and first-stage Hadamard transform) Hadamard transform, the second-stage process (second-stage ACP and first-stage Hadamard transform). The amount of information to be encoded by the two-stage Hadamard transform) can be suppressed, and mosquito noise that appears at the time of high-frequency component restoration at high compression, such as DCT, can be greatly reduced by ACP processing.
Furthermore, in DCT, multiplication of real values is always required, but the encoding processing of the image processing apparatus according to the present invention is a combined method of ACP and Hadamard transform, and encoding is performed by adding / subtracting bit shifts to integer values. Since necessary operations can be realized, compression / decompression can be performed at a higher speed than DCT.
That is, the present invention relates to an image processing apparatus based on a stepwise combined image encoding algorithm of ACP and Hadamard transform.
[0021]
In addition, the image processing apparatus according to the present invention encodes the DC value for performing the ACP process, the first and second DC values after the ACP process is performed on the DC value, and the difference value between the original images. Since the Hadamard coefficient of the generated information is output, the amount of information necessary for image reproduction processing is reduced as described above, and the difference value from the original image is output as the Hadamard coefficient. (The image quality at the time of decoding, that is, the accuracy of reproduction) can be increased, and the original image can be highly reproducible with a small amount of information compared to DCT processing such as JPEG.
[0022]
Furthermore, since the image processing apparatus according to the present invention includes not only Hadamard transform but also component prediction processing from surrounding pixel blocks or sub-pixel blocks by ACP method, not only mosquito noise but also Hadamard transform is performed on a block basis. Therefore, block noise that tends to appear can be reduced.
Furthermore, since the image processing apparatus according to the present invention can perform the above-described processing only by addition / subtraction and bit shift operations, the image processing device can be realized with a compact processing configuration. Since there is no branch processing associated with the difference and processing can be performed continuously at a predetermined cycle, high-speed encoding and decoding (inverse operation of encoding) can be performed.
[0023]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to an embodiment of the present invention.
In this figure, an image processing apparatus according to the present invention includes an encoding unit 1 that encodes an image using an ACP (alternating current component prediction) method and Hadamard transform based on a DC image obtained from an original image, and an encoding unit 1. The decoding unit 2 is configured to perform decoding on the basis of the DC image generated by the above and Hadamard coefficients.
[0024]
The encoding unit 1 performs at least a DC image creation unit 3 that generates a DC image from an original image, and performs a first-stage ACP process based on the DC image to obtain a first DC pixel value for each sub-pixel block. A first difference value between the first DC pixel value and the average value of the pixel values of the original image within the sub-pixel block range is obtained, and a first-stage Hadamard transform is performed on the first difference value. A first Hadamard coefficient (AC code) is obtained and output, and the first DC pixel value and the first difference value are added to generate and output a new first DC pixel value. The first-stage Hadamard encoding unit 5 performs a second-stage ACP process based on the new first DC pixel value, calculates a second DC pixel value corresponding to each pixel of the original image, and generates the original image. A second difference value between the pixel value of each pixel and the second DC pixel value is obtained, The second performs a Hadamard transformation in the second stage with respect to the difference value, and a second Hadamard coefficient second stage Hadamard encoding unit 7 for obtaining the (AC code) of.
[0025]
The decoding unit 2 decodes the encoded DC value (DC code) and decodes (reproduces) the DC image, and performs a first-stage ACP process based on the DC image. A first DC pixel value for each pixel block is obtained, an inverse Hadamard transform is performed on the input first Hadamard coefficient, a first difference value is obtained, and the first difference value and the first DC pixel are obtained. The first stage Hadamard decoding unit 10 that adds a value and generates a new first DC pixel value, and performs a second ACP process based on the new first DC pixel value, A second DC pixel value corresponding to each pixel is calculated, a second-stage inverse Hadamard transform is performed on the input second Hadamard coefficient, a second difference value is calculated, and this second difference is calculated. A second stage for adding the value and the second DC pixel value and decoding each pixel of the original image And a Hadamard decoding section 12.
[0026]
Next, an operation example of the image processing apparatus according to the embodiment will be described with reference to FIG.
The operation of the encoding unit 1 will be described in detail.
The DC image creation unit 3 divides the original image (2a in FIG. 1) into pixel blocks composed of a plurality of pixels (n × n pixels, for example, 4 × 4 pixels), and averages the pixels in this pixel block The value is obtained as a DC value, quantized and entropy encoded, and output as a DC code.
[0027]
A pixel block whose pixel value is indicated by this DC value is defined as a DC image.
That is, as shown in FIG. 2A, 4 × 4 pixels are used as pixel blocks, and as shown in FIG. 2B, each pixel block becomes a DC image by obtaining a DC value.
Here, the pixel block S includes pixels d (0,0) to pixels d (3,3) (these pixels are represented by pixel values pn (x, y); n∈ [0, 3] (corresponding to x, y ∈ [0, 1]), which is a DC image composed of 16 pixels (2b in FIG. 1), and is the average value of the pixel values of the 16 pixels. The value is a pixel value.
[0028]
The first stage AC component prediction unit 4 generates a sub-pixel block from the DC image based on the AC component prediction method.
Here, in order to obtain the first Hadamard coefficients α01, α10, α11, the first DC value is obtained from the DC value of the pixel block based on the AC component prediction method.
That is, in FIG. 3A, the DC value (pixel value as the sub-pixel block, that is, the first DC value) from the pixel block S to the sub-pixel blocks S1, S2, S3, and S4 (first-stage ACP applied image 2c). Value) is predicted (generated) by the following AC component prediction calculation, the first DC value as the DC value of each of the sub-pixel blocks, together with the DC value of the pixel block S, for the pixel block S The pixel block (DC image) U (upper part), L (left part), R (right part), and B (lower part) adjacent to each other in the vertical and horizontal directions are expressed by the following equations. (Here, the DC value of each pixel block uses the same character as the name of each pixel block.)
SP0,0 = S + (U + L−B−R) / 8... First DC value of the sub-pixel block S1
SP0,1 = S + (U + R−B−L) / 8... First DC value of sub-pixel block S2
SP1,0 = S + (B + L−U−R) / 8... First DC value of the sub-pixel block S3
SP1,1 = S + (B + R−UL) / 8... First DC value of the sub-pixel block S4
[0029]
The first-stage Hadamard encoding unit 5 corresponds to each of the sub-pixel blocks S1, S2, S3, and S4, and the original image pixels d (0,0), (0,1), (1,0). , (1,1), pixels d (0,2), (0,3), (1,2), (1,3) and pixels d (2,0), (2,1), ( 3,0), (3,1) and the average value of the pixel values of each of the four pixels of pixel d (2,2), (2,3), (3,2), (3,3) Is output as an average pixel value.
The first-stage Hadamard encoding unit 5 responds from the first DC values (SP0,0, SP0,1, SP1,0, SP1,1) of the sub-pixel blocks S1, S2, S3, S4. The average pixel value of the pixels is subtracted to calculate a first difference value in each sub-pixel block, and a first-stage Hadamard transform is performed on the first difference value.
[0030]
The first-stage Hadamard encoding unit 5 regards the configuration of the sub-pixel block as 2 × 2 pixels as shown in the following equation (1), and the Hadamard of the first difference value corresponding to the 2 × 2 sub-pixel block: Perform conversion.
[Expression 7]

In this equation (1), H is a Hadamard transform coefficient matrix used for Hadamard transform, and has the structure of the following equation (2).
[Equation 8]

H ^T Is a transposed matrix for H, which is the same as the structure of equation (2).
[0031]
Α indicates a matrix of calculated Hadamard coefficients, and f corresponds to a difference value of each pixel described below corresponding to 2 × 2 pixels (that is, a first difference value of each sub-pixel block). .
Each element αu, v of the matrix of α is obtained by the following equation (3).
[Equation 9]

Here, s (x, y) is the value of each first difference value corresponding to the sub-pixel block, and the conversion coefficient hu, v (x, y) is also provided corresponding to the sub-pixel block. Yes.
[0032]
The transform coefficient hu, v (x, y) in the Hadamard transform in the 2 × 2 sub-pixel block corresponds to the four transform coefficients in the upper left part shown in FIG. 4A (white is “−1”). And black is “+1”). Here, the positional relationship of the transform coefficients hu, v (x, y) corresponding to each of the sub-pixel blocks S1, S2, S3, S4 (in the four transform coefficients in the upper left part shown in FIG. 4A) is shown in FIG. This corresponds to the positional relationship indicated by x, y of s (x, y) shown in 2 (c) (here, only the positional relationship of the conversion coefficients hu, v (x, y) is shown). .
[0033]
Moreover, the matrix of f has the structure of the following (4) Formula.
[Expression 10]

After the first-stage ACP, the pixel values of the pixels d (0,0) to d (3,3) are assigned to the subpixel blocks to which they belong, that is, the corresponding subpixel blocks S1, S2, S3, S4. Corresponds to a DC value of 1.
[0034]
At this time, the first-stage Hadamard encoding unit 5 obtains the Hadamard coefficients α1, α2, α3 corresponding to the pixel block S excluding the DC value and the second Hadamard coefficient generated by the second-stage Hadamard transform. First difference values (s (0,0), s (0,1), s (1,0), s (1,1)) corresponding to the pixel blocks S1, S2, S3, and S4, respectively. , From the average pixel value (SH0,0) of the pixels d (0,0), (0,1), (1,0), (1,1) of the original image, the first DC value ( SP0,0) is subtracted from the average pixel value (SH0,1) of pixels d (0,2), (0,3), (1,2), (1,3) of the original image, and the sub-pixel block S2 The first DC value (SP0,1) is subtracted, and the average pixel values (SH1,1) of the pixels d (2,0), (2,1), (3,0), (3,1) of the original image are subtracted. 0) is subtracted from the first DC value (SP1,0) of the sub-pixel block S3, and pixels d (2,2), (2,3), (3,2), (3,3) of the original image From the average pixel value (SH1,1) of the first sub-pixel block S4 Obtained by subtracting the DC value (SP1,1).
[0035]
That is, in this first Hadamard transform, Hadamard coefficients α1, α2, α3 corresponding to the pixel block S in the 4 × 4 pixel Hadamard transform (low frequency side) are converted into 2 × 2 average pixels (SH0,0, (SH0,1, SH1,0, SH1,1) and a difference value between the 2 × 2 first DC values (SP0,0, SP0,1, SP1,0, SP1,1).
[0036]
The Hadamard coefficients α01, α10, and α11 obtained by the equation (3) are quantized by the first-stage Hadamard encoding unit 5 and output as the first Hadamard coefficients.
[0037]
However, when the first difference value is obtained in order to calculate the first Hadamard coefficient, the average pixel values (SH0,0, SH0,1, SH1, each of the sub-pixel blocks S1, S2, S3, S4) are calculated. 0, SH1,1) and the first DC value (SP0,0, SP0,1, SP1,0, SP1,1) corresponding to each pixel block, each difference value (S (0,0), S (0,1), S (1,0), S (1,1))
S (0,0) = SH0,0−SP0,0
S (0,1) = SH0,1−SP0,1
S (1,0) = SH1,0−SP1,0
S (1,1) = SH1,1-SP1,1
It is expressed.
[0038]
Here, the result of the Hadamard transform of equation (3) is
α01 = (S (0,0) −S (0,1) + S (1,0) −S (1,1)) / 2
α10 = (S (0,0) + S (0,1) −S (1,0) −S (1,1)) / 2
α11 = (S (0,0) −S (0,1) −S (1,0) + S (1,1)) / 2
As a Hadamard coefficient.
[0039]
Then, by substituting the equation for obtaining the difference value between the average pixel value and the first DC value into the equation of α01, the equations for obtaining the respective Hadamard coefficients are as follows:

And can be logically compressed, as well
α10 = {(SH0,0−SH0,1 + SH1,0−SH1,1) * 2− (U−B)} / 4
α11 = (SH0,0−SH0,1 + SH1,0−SH1,1) / 2
And the items related to the prediction encoding calculation are canceled out, and the DC value of the two terms is subtracted for α01 and α10, and the items related to the prediction encoding calculation (result of the prediction encoding) are all about α11 You can see that it is gone.
[0040]
Thus, by substituting the equation for obtaining the first difference value into the equation for obtaining the Hadamard coefficient, that is, by transforming equation (3) into equation (5) shown below, It is possible to perform a composite operation in combination with the one-step ACP processing operation, prevent occurrence of calculation errors in the calculation portion of predictive coding (ACP processing) and Hadamard transform, and improve the calculation accuracy of the Hadamard coefficient to be output. It becomes possible to improve.
[0041]
At this time, it is possible to further improve the calculation accuracy of the Hadamard coefficient to be output by adopting a calculation method in which the calculation is performed using a formula obtained by doubling the synthesis operation and then bit-shifting at a time by subsequent quantization. Become.
Further, since the first-stage Hadamard encoding unit 5 does not perform the above-described prediction encoding calculation, the first-stage Hadamard encoding unit 5 can improve the processing speed and calculate the Hadamard coefficients at high speed.
[Expression 11]

[0042]
Then, as described above, by setting the equations for obtaining the Hadamard coefficients α01, 10, 11 logically compressed by the equation (5) in the first-stage Hadamard encoding unit 5, the equations corresponding to the Hadamard coefficients are obtained. The Hadamard coefficient of the first difference value of each pixel can be obtained by substituting the average value of the pixel values of each pixel in the sub-pixel block and the DC value of the predetermined pixel block of each Hadamard coefficient.
[0043]
Further, the first-stage Hadamard encoding unit 5 performs inverse quantization of the quantized first Hadamard coefficient, further performs inverse Hadamard transform, reproduces the first difference value, and reproduces the reproduced first difference value. Based on (S (0,0), S (0,1), S (1,0), S (1,1)), the average value of the pixel values in each sub-pixel block, that is, the first stage Hdm (Hadamard Conversion) The image after application (2d in FIG. 1) is reproduced.
The reproduction of the image after application of the first stage Hdm (Hadamard transform) from the first Hadamard coefficient will be described in the description of the decoding unit 2.
The information of the first difference value reproduced here is degraded when quantized.
[0044]
Next, twelve Hadamard coefficients βn (u, v), n∈ [0,3], u, v∈ [0,1] corresponding to each sub-pixel block (Hadamard coefficients of the second difference value) The calculation will be examined in the same manner as in the case of the Hadamard coefficients α01, α10, α11 corresponding to the pixel block described above.
In order to obtain the Hadamard coefficient of the second difference value, it is necessary to obtain a second DC value for subtraction from each pixel value.
[0045]
Then, in the first-stage Hadamard encoding unit 5, new first DC values (that is, pixel values) of the sub-pixel blocks S1, S2, S3, and S4 of the already obtained first-stage Hdm applied image are obtained. Average values SG0,0, SG0,1, SG1,0, SG1,1) and first DC pixel values of subpixel blocks adjacent to each subpixel block in the vertical and horizontal directions (these are also images after applying the first stage Hdm) Of the sub-pixel blocks S1, S2, S3, and S4), an AC component prediction calculation is performed, and each pixel d (0,0),..., (3,3 ) Find each second DC pixel value dn (x, y) to dn (x, y), x, yε [0,1], nε [0,3].
[0046]
Hereinafter, SG0,0, SG0,1, SG1,0, SG1,1 will be referred to as SP0,0, SP0,1, SP1,0, SP1,1 as new DC values for the sake of simplicity. (Average pixel values of sub-pixel blocks S1, S2, S3, and S4) (the same processing is performed for the first DC values of other sub-pixel blocks).
Here, in the calculation of the second-stage AC component, for example, the second DC value d0 (0) of each of the pixels d (0,0) to d (1,1) in the sub-pixel block S1 shown in FIG. , 0), d0 (0,1), d0 (1,0), d0 (1,1) are expressed by the following formula based on the first DC value.
d0 (0,0) = SP0,0 + (UP1,0 + LP0,1−SP1,0−SP0,1) / 8
d0 (0,1) = SP0,0 + (UP1,0 + SP0,1−SP1,0−LP0,1) / 8
d0 (1,0) = SP0,0 + (SP1,0 + LP0,1−UP1,0−SP0,1) / 8
d0 (1,1) = SP0,0 + (SP1,0 + SP0,1−UP1,0−LP0,1) / 8
[0047]
Similarly, in the calculation of the second-stage AC component, the second DC pixel value of each pixel in the other remaining subpixel blocks S2 to S4 is calculated, and the second value of each pixel in the subpixel blocks S1 to S4 is calculated. DC pixel values are represented.
・ Each pixel of sub-pixel block S2
d1 (0,0) = SP0,1 + (UP1,1 + SP0,0−SP1,1−RP0,0) / 8
d1 (0,1) = SP0,1 + (UP1,1 + RP0,0−SP1,1−SP0,0) / 8
d1 (1,0) = SP0,1 + (SP1,1 + SP0,0−UP1,1−RP0,0) / 8
d1 (1,1) = SP0,1 + (SP1,1 + RP0,0−UP1,1−SP0,0) / 8
・ Each pixel of sub-pixel block S3
d2 (0,0) = SP1,0 + (SP0,0 + LP1,1−SB0,0−SP1,1) / 8
d2 (0,1) = SP1,0 + (SP0,0 + SP1,1−SB0,0−LP1,1) / 8
d2 (1,0) = SP1,0 + (SB0,0 + LP1,1-SP0,0-SP1,1) / 8
d2 (1,1) = SP1,0 + (SB0,0 + SP1,1-SP0,0-LP1,1) / 8
・ Each pixel of sub-pixel block S4
d3 (0,0) = SP1,1 + (SP0,1 + SP1,0−SB0,1−RP1,0) / 8
d3 (0,1) = SP1,1 + (SP0,1 + RP1,0−SB0,1−SP1,0) / 8
d3 (1,0) = SP1,1 + (SB0,1 + SP1,0−SP0,1−RP1,0) / 8
d3 (1,1) = SP1,1 + (SB0,1 + RP1,0−SP0,1−SP1,0) / 8
[0048]
The second-stage Hadamard encoding unit 7 subtracts the pixel value of the corresponding pixel from the second DC value of each pixel of the sub-pixel blocks S1, S2, S3, and S4, and outputs the second corresponding to each pixel. The second difference Hadamard transform is performed on the second difference value.
[0049]
The second-stage Hadamard encoding unit 7 performs Hadamard transform on the second difference value for every 2 × 2 pixels in each sub-pixel block in the following equation (6).
[Expression 12]

In this equation (6), Kn is a Hadamard transform coefficient matrix used for Hadamard transform and has the structure of the following equation (7).
[Formula 13]

[0050]
Βn represents a matrix of Hadamard coefficients to be obtained. As shown in the following equation (8), gn corresponds to 2 × 2 pixels, which will be described below. , Corresponding to a matrix of second difference values for each pixel in each sub-pixel block).
[Expression 14]

[0051]
Here, the correspondence between each pixel and the difference value corresponding to this pixel is shown in FIG. 2 (e) and FIG. 3 (b).
In the following description, the pixel values of the pixels d (0,0) to d (3,3) are made to correspond to the codes of the corresponding portions, and the pixel value pn (x , y); nε [0,3], x, yε [0,1] (corresponding relationship is shown in FIG. 3B).
That is, the pixel values of the pixels d (0,0) to d (3,3) are set to the second DC values of the pixel values in the corresponding sub-pixel blocks S1, S2, S3, and S4 as shown below. It corresponds.
[0052]
At this time, the second-stage Hadamard encoding unit 7 in each of the sub-pixel blocks S1, S2, S3, and S4, each pixel d (0,0), (0,1), (1,0), (1, 1), pixel d (0,2), (0,3), (1,2), (1,3), pixel d (2,0), (2,1), (3,0), ( 3,1), pixels d (2,2), (2,3), (3,2), (3,3), and the original image pixel d (0,0), (0,1), (1,0), (1,1), pixel d (0,2), (0,3), (1,2), (1,3), pixel d (2,0 ), (2,1), (3,0), (3,1), each pixel value of pixel d (2,2), (2,3), (3,2), (3,3) (Subtract the second DC value of each pixel from the pixel value of the original image, for example, the second DC value from the pixel value p0 (0,0) of the original image at the pixel d (0,0)) d0 (0,0) is subtracted and this is performed for the pixels from d (0,0) to d (3,3)), and the result of the operation is used as the second difference value in FIG. Similarly, for each sub-pixel block (S1 to S4), the difference value en (0,0),. n (1, 1), determined as n? [0, 3], using the second difference value, performs Hadamard transform of the second stage by shown below Formula (9).
[0053]
Here, the subscript “n” of kn, βn, gn, en (x, y) corresponds to the position of each sub-pixel block. For example, referring to FIG. 2E, “n = 0” corresponds to the sub-pixel block S1, “n = 1” corresponds to the sub-pixel block S2, and “n = 2” corresponds to the sub-pixel block. Corresponding to S3, “n = 3” corresponds to the sub-pixel block S4.
[0054]
Then, each element βn (u, v) of the matrix of βn is obtained by the following equation (9).
[Expression 15]

Here, the Hadamard transform coefficient hn (u, v) (x, y) in 2 × 2 pixels has a configuration corresponding to each pixel shown in FIG. 4A (white is “−1”). Black is “+1”). Here, the positional relationship of the Hadamard transform coefficients hn (u, v) (x, y) in FIG. 4 (a) is shown in FIG. 4 (b).
The subscript “n” of kn in the equation (9) corresponds to the position of each sub-pixel block (S1 to S4), as in FIG.
[0055]
Further, in the Hadamard transform coefficient of the present invention shown in FIG. 4A, the transform coefficient portion corresponding to the first-stage Hadamard transform described above is the same as the conventional configuration, but the second-stage Hadamard transform is used. The corresponding part is configured to correspond to each sub-pixel block (S1, S2, S3, S4).
That is, in a pixel block composed of 4 × 4 pixels, four groups A in FIG. 4A (in A1 to A4, A1 is h0,0 (x, y) and A2 is h0,1 (x, y). , A3 is h1,0 (x, y), and A4 is h1,1 (x, y)).
[0056]
Here, the Hadamard transform coefficients h0,0 (x, y) are all black as shown in FIG. 4A, and are all “1” as transform coefficients, and all sub-pixel block difference values are added. Corresponding to the difference value between the average value of the pixel values of each pixel of the original image block and the DC value.
Since the sum of all the sub-pixel block difference values is equal to “0” except for errors, the numerical value itself is not stored in the encoding unit 1.
[0057]
Each diagram of n = 0 to 3 shown in FIG. 4B is a combination of Hadamard transform coefficients corresponding to each sub-pixel block (2 × 2 pixels) in the group B.
For example, in the pixel block S of FIG. 2B, when the correspondence relationship of the conversion coefficient in the equation (8) for each pixel is confirmed, k0 (u, v) (x, y) at n = 0 (sub-pixel block S1). ), U, v, x, y ∈ [0, 1], and when n = 1 (sub-pixel block S2), k 1 (u, v) (x, y), u, v, x, y ∈ [0, 1], and n = 2 (subpixel block S3), k2 (u, v) (x, y), u, v, x, y∈ [0,1], and n = 3 (subpixel block S4) K3 (u, v) (x, y), where u, v, x, y∈ [0,1], and when subscript “n” is removed, in each sub-pixel block, FIG. This is the same as the correspondence of A1 to A4.
[0058]
Here, Hadamard transform coefficients k0 (0,0) (x, y), k1 (0,0) (x, y), k2 (0,0) (x, y), k3 (0,0) (x , y), x, y∈ [0, 1], as shown in FIG. 4B, all are black, all are “1” as conversion coefficients, and the difference values of all pixels In other words, corresponding to the difference value between the average value of the pixel values in each sub-pixel block and the new first DC value.
Since the sum of the difference values of all the pixels is equal to “0” except for the error, the numerical value itself is not stored in the encoding unit 1.
Finally, the second-stage Hadamard encoding unit 7 uses the second Hadamard coefficient βn (u, v), n∈ [0,3], u, v∈ [0 as the Hadamard coefficient according to the equation (9). , 1], quantize, and output.
[0059]
However, for example, pixels in the sub-pixel block Sn, nε [0,3] (when n = 0, d (0,0), d (0,1), d (1,0), d (1,1 ), When n = 1, d (0,2), d (0,3), d (1,2), d (1,3), when n = 2, d (2,0), d (2 , 1), d (3,0), d (3,1), when n = 3, d (2,2), d (2,3), d (3,0), d (3,1) ), The pixel value of each pixel (p0 (0,0), p0 (0,1), p0 (1,0), p0 (1,1) when n = 0, p1 (0 , 0), p1 (0,1), p1 (1,0), p1 (1,1), when n = 2, p2 (0,0), p2 (0,1), p2 (1,0) , P2 (1,1), when n = 3, p3 (0,0), p3 (0,1), p3 (1,0), p3 (1,1), that is, the pixel value of the original image is pn ( 0,0), pn (0,1), pn (1,0), pn (1,1), n∈ [0,3]) and the second DC value corresponding to each pixel block ( d0 (0,0), d0 (0,1), d0 (1,0), d0 (1,1) when n = 0, d1 (0,0), d1 (0,1) when n = 1 ), D1 (1,0), d1 (1,1), and when n = 2, d2 (0,0), d2 (0,1), d2 (1 , 0), d2 (1,1), when n = 3, d3 (0,0), d3 (0,1), d3 (1,0), d3 (1,1), that is, a predicted value in pixel units Are dn (0,0), dn (0,1), dn (1,0), dn (1,1), n∈ [0,3]) (en (0, 0), en (0,1), en (1,0), en (1,1), n∈ [0,3])
As n∈ [0,3],
en (0,0) = pn (0,0) −dn (0,0)
en (0,1) = pn (0,1) −dn (0,1)
en (1,0) = pn (1,0) −dn (1,0)
en (1,1) = pn (1,1) −dn (1,1)
Is required.
[0060]
Then, similarly to the first-stage Hadamard encoding unit 5, the expression for obtaining the difference value is substituted into the expression for obtaining the Hadamard coefficient, that is, the expression (9) is expressed as the following expression (10), By setting the Hadamard encoding unit 7, it is possible to combine the difference operations into a composite operation.
Further, since the second-stage Hadamard encoding unit 7 does not perform the above-described prediction encoding calculation, the processing speed can be improved, and the Hadamard coefficient can be calculated and obtained at high speed.
[Expression 16]

[0061]
Here, as a result of the Hadamard transform of Equation (10), the second Hadamard coefficients β0 (u, v), u, v∈ [0, corresponding to the second difference value for each pixel in the sub-pixel group S1. Let's consider 1] as a representative.
This is performed based on the basis of the Hadamard transform in FIG.
β0 (0,1) = (e0 (0,0) −e0 (0,1) + e0 (1,0) −e0 (1,1)) / 2
β0 (1,0) = (e0 (0,0) + e0 (0,1) −e0 (1,0) −e0 (1,1)) / 2
β0 (1,1) = (e0 (0,0) −e0 (0,1) −e0 (1,0) + e0 (1,1)) / 2
[0062]
Then, by substituting the respective equations for obtaining the difference values into the equation (10) and corresponding to the equation (9), the above β0 (0,1), β0 (1,0), β0 (1,1) When asked

And the second compression unit corresponding to each pixel (d (0,0), d (0,1), d (1,0), d (1,1)) of the sub-pixel block S1. It can be seen that the Hadamard coefficients β0 (0,1), β0 (1,0), β0 (1,1) can be respectively calculated.
[0063]
Similarly, the second stage Hadamard encoding unit 7 performs Hadamard coefficients βn (0,1), βn (1,0), βn (1,1), n∈ [of other subpixel blocks S2, S3, S4. 1,3] is also logically compressed and calculated.
At this time, the second-stage Hadamard encoding unit 7 uses the order “x, y” of pn (x, y) and dn (x, y) in the pixel value of the original image and the predicted pixel value in the equation (10). "Is calculated in correspondence with the x and y positions of en (x, y) in the equations (e) and (8) of FIG.
[0064]
As described above, three transform bases are associated with each of the sub-pixel blocks S1, S2, S3, and S4, and the Hadamard coefficient is independently determined in each sub-pixel block unit. Since the calculation can be performed, as in the calculation of the first Hadamard coefficient in the pixel block, four second difference values (en (0,0), en (0,1), en (1, 0), en (1,1), n∈ [0,3]), and three second Hadamard coefficients βn (0,1), βn (1,0), βn (1,1), n Only ∈ [0,3] will be generated.
[0065]
As a result, in the present invention, in the calculation of the second Hadamard coefficient, as in the calculation of the first Hadamard coefficient, only the second difference value corresponding to each pixel in each sub-pixel block, that is, the four first Since the calculation is performed using the difference value of 2, unlike the case of using the basis in the normal Hadamard transform, the calculation amount can be greatly reduced.
[0066]
In this way, the formula for obtaining the difference value is substituted into the formula for obtaining the Hadamard coefficient, that is, the formula (9) is transformed into the formula (10) and set in the second-stage Hadamard encoding unit 7. Thus, the calculation for obtaining the second difference value and the second-stage ACP process can be combined to calculate the pixel value of each sub-pixel block of the original image and the pixel value of the pixel in the adjacent sub-pixel block. It is possible to calculate the second Hadamard coefficient only with the average value.
[0067]
For this reason, in the image processing apparatus of the present invention, it is possible to substantially omit the second-stage ACP calculation, improve the calculation speed of the second Hadamard coefficient, and increase the error due to the division in the ACP process. Is prevented and the calculation accuracy of the code is improved, that is, the reproducibility of the image to be encoded is improved.
And finally, the Hadamard coefficients α and βn (n∈ [0,3]) logically compressed by the expression (10) are set in the second-stage Hadamard encoding unit 7 so that each Hadamard coefficient By substituting the pixel value of each pixel in the sub-pixel block and the average value of the pixel values of this pixel block into the formula corresponding to, the Hadamard coefficient of the second difference value of each pixel can be obtained. it can.
[0068]
The second-stage Hadamard encoding unit 7 performs inverse quantization on the quantized second Hadamard coefficient, reproduces the second difference value, and corresponds the reproduced second difference value to each part. In addition to the second DC pixel value, the second stage Hdm (Hadamard transform) applied image (2f in FIG. 1) is reproduced as the same image as the image decoded and output by the decoding unit 2. It can also be output.
The description of the reproduction of the image after application of the second stage Hdm (Hadamard transform) from the second Hadamard coefficient will be given in the description of the decoding unit 2.
[0069]
Next, the operation of the decoding unit 2 will be described in detail.
The DC image decoding unit 8 performs inverse quantization and entropy decoding on the input DC code, obtains the DC value of each pixel block, and reproduces the DC image (4b in FIG. 1).
The first-stage Hadamard decoding unit 10 performs inverse quantization and entropy decoding on the input encoded first Hadamard coefficient, and decodes (reproduces) the first Hadamard coefficient.
[0070]
Here, the first difference value is decoded (reproduced) by performing inverse Hadamard transform on the first Hadamard coefficient using the following equation (11).
[Expression 17]

[0071]
That is, the first difference value corresponding to each part of the sub-pixel block to be reproduced indicated by f ′ in the following equation (13) is calculated using the following equation (12).
[Formula 18]

[Equation 19]

The difference values (S ′ (0,0), S ′ (0,1), S ′ (1,0), S ′ (1,1)) corresponding to the sub-pixel blocks S1, S2, S3, S4) Is based on the first Hadamard coefficients α10, 01, 11 input from the encoding unit 1,
S ′ (0,0) = (α10 + α01 + α11) / 2
S ′ (0,1) = (− α10 + α01−α11) / 2
S ′ (1,0) = (α10−α01−α11) / 2
S ′ (1,1) = (− α10−α01 + α11) / 2
It is calculated | required by each formula of.
Here, α00 is not input to the decoding unit 2 because it is equal to “0” except for errors, as described in the description of the encoding unit 1.
[0072]
As a result, the first difference value is added to the first DC value (SP0,0, SP0,1, SP1,0, SP1,1) obtained by the first-stage ACP processing as shown in the following expression. Thus, the decoded pixel value (SC0,0, SC0,1, SC1,0, SC1,1) of each sub-pixel block can be obtained.
SC0,0 = SP0,0 + S '(0,0)
SC0,1 = SP0,1 + S '(0,1)
SC1,0 = SP1,0 + S '(1,0)
SC1,1 = SP1,1 + S '(1,1)
[0073]
However, like the encoding unit 1, the decoding unit 2 also obtains the pixel value of each sub-pixel block directly from the equation (12) in order to reduce the processing by ACP.
Consider the following equation (14) in which a term of inverse ACP processing is added to the first Hadamard coefficient.
[Expression 20]

[0074]
This equation (14) is a configuration in which the term of the first DC value (SPxy) of equation (5) (the first DC value in the first difference value) is moved to the left side, that is, the encoding unit 1 Equations indicating the first Hadamard coefficients α01,10,11 input from
α01 = {(SH0,0−SH0,1 + SH1,0−SH1,1) * 2− (LR)} / 4
α10 = {(SH0,0−SH0,1 + SH1,0−SH1,1) * 2− (U−B)} / 4
α11 = (SH0,0−SH0,1 + SH1,0−SH1,1) / 2
By transposing
α'01 = α01 + (LR) / 4 = (SH0,0−SH0,1 + SH1,0−SH1,1) * 2
α'10 = α10 + (UB) / 4 = (SH0,0−SH0,1 + SH1,0−SH1,1) * 2
α'11 = α11 = (SH0,0−SH0,1 + SH1,0−SH1,1) * 2
It can be expressed as.
[0075]
Further, the pixel values (SC0,0, SC0,1, SC1,0, SC1,1) of the decoded sub-pixel block and the first difference values S ′ (0,0), S ′ (0,1) , S ′ (1,0), S ′ (1,1)) and the first DC value (SP0,0, SP0,1, SP1,0, SP1,1) is

There is a relationship.
[0076]
Based on this relationship, the average value (SH0,0, SH0,1, SH1,0, SH1,1) of the pixels in each sub-pixel block (S1, S2, S3, S4) of the original image and the above-described decoding are performed. The relationship with the pixel values (SC0,0, SC0,1, SC1,0, SC1,1) of the sub-pixel block is as follows:
SC0,0 = (α′01 + α′10 + α′11) / 2 = (3SH0,0−SH0,1−SH1,0−SH1,1) / 4 = SH0,0−S
SC0,1 = (− α′01 + α′10−α′11) / 2 = (3SH0,1−SH0,0−SH1,0−SH1,1) / 4 = SH0,1−S
SC1,0 = (α'01−α′10−α′11) / 2 = (3SH1,0−SH0,0−SH0,1−SH1,1) / 4 = SH1,0−S
SC1,1 = (− α′01−α′10 + α′11) / 2 = (3SH1,1−SH0,0−SH0,1−SH1,0) / 4 = SH1,1−S
[0077]
Accordingly, the average value (SH0,0, SH0,1, SH1,0, SH1,1) of each sub-pixel block of the original image to be obtained is configured as follows.
SH0,0 = SC0,0 + S
SH0,1 = SC0,1 + S
SH1,0 = SC1,0 + S
SH1,1 = SC1,1 + S
Here, the pixel value of each decoded sub-pixel block is:

Is required.
[0078]
As a result, the average values (SH0,0, SH0,1, SH1,0, SH1,1) of the pixels in each sub-pixel block of the original image to be obtained are the following Hadamard coefficients and AC prediction component terms It becomes the composition which has.
SH0,0 = (α01 + α10 + α11) / 2 + (U−B + LR) / 8 + S
SH0,1 = (− α01 + α10−α11) / 2 + (U−B−L + R) / 8 + S
SH1,0 = (α01−α10−α11) / 2 + (− U + B + LR) / 8 + S
SH1,1 = (− α01−α10 + α11) / 2 + (− U + B−L + R) / 8 + S
[0079]
The above-described equation for obtaining the average value (SH0,0, SH0,1, SH1,0, SH1,1) of the pixels in the sub-pixel block corresponding to the equation (12) is expressed by the first-stage Hadamard decoding unit 10. By setting to, it is possible to calculate the average value of the pixel values of each sub-pixel block of the original image only by using the DC value of each pixel block from the encoding unit 1 and the first Hadamard coefficient. It becomes.
Therefore, the decoding unit 1 in the image processing apparatus of the present invention calculates the ACP process for reproducing the first DC value from the DC value of each pixel block, and adds the first DC value and the first difference value. By making the calculation of the process a composite calculation, the calculation of the ACP process can be substantially omitted, the occurrence of an error due to the calculation of the ACP process is prevented, and the pixel value of each sub-pixel block of the original image The calculation speed for obtaining the average value (image after applying the first stage Hdm (4d in FIG. 1)) can be improved.
[0080]
Then, in the decoding process of the pixel value of each pixel in each sub-pixel block, an AC prediction method using an expression similar to that of the encoding unit 1 based on each sub-pixel block in the input first-stage Hdm applied image ( A second DC pixel value of each pixel of the sub-pixel block is obtained by calculation of (ACP processing).
Next, based on the second Hadamard coefficient input from the encoding unit 1, the second difference value is calculated according to the following equation (15).
[Expression 21]

Here, the second difference value matrix g′n is expressed by the following equation (16).
[Expression 22]

Then, the difference values e′n (x, y), n∈ [0, 3], x, y∈ [0, 1] corresponding to each pixel value are obtained by the following equation (17). Each e′n (x, y) corresponds to the position of en (x, y).
[Expression 23]

Furthermore, the second difference value obtained for each pixel in the sub-pixel block is added to the second DC pixel value of the corresponding part, and as an image after applying the second stage Hdm (4f in FIG. 1), That is, it is output as a reproduced image.
[0081]
At this time, similarly to the first stage Hadamard decoding unit 10, the second stage Hadamard decoding unit 12 performs inverse quantization and entropy decoding on the input second Hadamard coefficient that is input. Decode (reproduce) Hadamard coefficients β′n (u, v), n∈ [0,3], u, v∈ [0,1].
Here, the second difference value is decoded (reproduced) by performing inverse Hadamard transform on the second Hadamard coefficient using the above-described equation (15).
[0082]
Then, the pixel value in the sub-pixel block, for example, the second difference value (e′0 (0,0), e′0 (0,1), e′0 (1,0)) corresponding to the sub-pixel block S1. , e′0 (1,1)) are the second Hadamard coefficients β′0 (0,1), β′0 (1,0), β′0 (1,1) input from the encoder 1. )
e'0 (0,0) = (β'0 (1,0) + β'0 (0,1) + β'0 (1,1)) / 2
e′0 (0,1) = (− β′0 (1,0) + β′0 (0,1) −β′0 (1,1)) / 2
e′0 (1,0) = (β′0 (1,0) −β′0 (0,1) −β′0 (1,1)) / 2
e′0 (1,1) = (− β′0 (1,0) −β′0 (0,1) + β′0 (1,1)) / 2
It is calculated | required by each formula of.
[0083]
As a result, the second DC value (d0 (0,0), d0 (0,1), d0 (1,0), d0 (1,1)) obtained by the second stage ACP process is as follows. The decoded pixel values (p0 (0, 0), p0 (0, 1), p0 (1, 0), p0 (1, 1))) of each sub-pixel block are obtained by adding as shown in the expression. Can do.
p0 (0,0) = d0 (0,0) + e'0 (0,0)
p0 (0,1) = d0 (0,1) + e'0 (0,1)
p0 (1, 0) = d0 (1,0) + e'0 (1,0)
p0 (1,1) = d0 (1,1) + e'0 (1,1)
[0084]
However, in the same way as the decoding unit 1, the decoding unit 2 also uses the second-stage Hadamard decoding unit in order to directly obtain the pixel value of each sub-pixel block from the equation (15) in order to reduce the processing by ACP. 12, it is considered to use the following equation (18) as the same configuration as the first-stage Hadamard decoding unit 10.
[Expression 24]

[0085]
In the second-stage Hadamard decoding unit 12, the equation (18) is expressed by the term of the second DC value (dn (x, y)) of the equation (10) (the second DC value in the second difference value). , I.e., each expression indicating the Hadamard coefficients β0 (0,1), β0 (1,0), β0 (1,1) input from the encoding unit 1.
β0 (0,1) = (p0 (0,0) −p0 (0,1) + p0 (1,0) −p0 (1,1) / 2 − (SP0,1−RP0,0) / 4
β0 (1,0) = (p0 (0,0) + p0 (0,1) −p0 (1,0) −p0 (1,1)) / 2 − (SP1,1−UP1,1) / 4
β0 (1,1) = (p0 (0,0) −p0 (0,1) −p0 (1,0) + p0 (1,1)) / 2
By transposing

It can be expressed as.
[0086]
In addition, the pixel value (p0 (0,0), p0 (0,1), p0 (1,0), p0 (1,1)) of each pixel in the decoded sub-pixel block) and the second difference value (E'0 (0,0), e'0 (0,1), e'0 (1,0), e'0 (1,1)) and the second DC value (d0 (0,0) ), d0 (0,1), d0 (1,0), d0 (1,1))

There is a relationship.
[0087]
Here, based on the above relationship, the inverse Hadamard transform is performed on the second Hadamard coefficient β′0 (x, y), thereby obtaining the average value (SH0,0) of the pixel values of the pixels in the sub-pixel block S1. And the pixel value (p0 (0,0), p0 (0,1), p0 (1,0), p0 (1,1)) of each pixel in the decoded sub-pixel block S1 is From equation (12)

It can be expressed as.
[0088]
Therefore, the pixel values (p′0 (0,0), p′0 (0,1), p′0 (1,0), p′0 (1, 1)) has the following configuration.
p0 (0,0) = p'0 (0,0) + SH0,0
p0 (0,1) = p'0 (0,1) + SH0,0
p0 (1, 0) = p'0 (1, 0) + SH0,0
p0 (1,1) = p'0 (1,1) + SH0,0
Here, the inverse Hadamard transform for the second Hadamard coefficient β′0 (x, y) in the sub-pixel block S1 to be decoded is

And can be expanded.
[0089]
As a result, each pixel value (p0 (0,0), p0 (0,1), p0 (1,0), p0 (1,1)) of the sub-pixel block S1 of the original image to be obtained is as follows: It becomes the composition shown.

Here, the pixel value of the pixel in the sub-pixel block is reproduced (decoded) using the sub-pixel block S1 as a representative.
For the sake of simplicity, the pixel values of the pixels are pn (x, y), n∈ [0,3], x, y∈ [1,0] before and after decoding. Similar symbols are used.
[0090]
That is, as already described, the basis of the Hadamard transform in the present invention, that is, the basis of the Hadamard transform shown in FIG. 4A can be performed independently in each sub-pixel block in the pixel block.
For this reason, the Hadamard coefficient α corresponding only to each sub-pixel block can be calculated, and in each combination of bases, each sub-pixel block has a combination of bases having the same configuration. Also in S2, S3, and S4, it is possible to calculate the pixel value of the pixel in each sub-pixel block by the same processing as in the sub-pixel block S1.
At this time, the second-stage Hadamard encoding unit 7 uses the Hadamard coefficient β′n (x, y) and the Hadamard transform coefficient kn () when n∈ [0,3] in Expressions (17) and (18). u, v) (x, y) is made to correspond to the positions of x and y in en (x, y) in FIGS. 2 (e) and (8) in each of the order “x, y” of each pixel value. To calculate.
[0091]
By setting the above-described equation for obtaining the pixel values (SC00, SC01, SC10, SC11) of each pixel in the sub-pixel block S1 corresponding to the equation (18) in the second-stage Hadamard decoding unit 12, The pixel value of each pixel in the sub-pixel block of the original image can be calculated only from the average pixel value of each sub-pixel block from the one-stage Hadamard decoding unit 10 and the second Hadamard coefficient.
Therefore, the decoding unit 1 in the image processing apparatus according to the present invention calculates the ACP processing for reproducing the second DC value from the first DC value of each sub-pixel block, the second DC value, and the second DC value. By calculating the difference value addition process as a synthesis operation, the calculation of the ACP process can be substantially omitted, and the occurrence of an error due to the calculation of the ACP process is prevented, and the sub-pixel block of the original image The calculation speed for obtaining the pixel value of each pixel (image after applying the second stage Hdm (4f in FIG. 1)) can be improved.
[0092]
As described above, the image processing apparatus according to the present invention obtains the first value obtained from the difference value S (x, y), x, y∈ [0, 1] corresponding to the first DC value of the sub-pixel block in the pixel block. In the Hadamard transform, the first difference value between the pixel value of the original image and the first DC pixel value of the sub-pixel block is subjected to Hadamard transform, and the low frequency component of the low frequency component having a large amount of information as the difference value After extracting the first Hadamard coefficients, the first difference value is decoded and added to the first DC value to obtain the second DC value of each pixel of the sub-pixel block. Since the second difference value is obtained for each pixel of each sub-pixel block by the Hadamard transform and the second Hadamard coefficient is obtained from the second difference value, the information amount of the 12 second Hadamard coefficients is reduced. Can perform ACP processing and Hadamard transformation once Since the data amount of the second difference value can be reduced compared to the one-step process, the data amount of the Hadamard coefficient is compared with the case where all Hadamard coefficients are obtained from the difference value of the one-step process. Can be reduced.
[0093]
In addition, the image processing apparatus according to the present invention uses a Hadamard coefficient as a DC value for performing ACP processing, and first and second DC values after the ACP processing is performed on the DC value and a difference value between the original images. Output as compressed information, so that the amount of information required for image reproduction processing is reduced, and above all, the difference value from the original image is output as a Hadamard coefficient, so that the original image has high reproducibility. Is possible.
[0094]
The image processing apparatus according to the present invention includes not only the Hadamard transform described above but also the image processing by the ACP method in the first-stage AC component prediction unit 4 and the second-stage AC component prediction unit 6, so that the pixel block Alternatively, it is possible to reduce block noise resulting from encoding by Hadamard transform for sub-pixel blocks.
Furthermore, the image processing apparatus according to the present invention includes first-stage AC component prediction units 4 and 9, second-stage AC component prediction units 6 and 11, first-stage Hadamard coding unit 5, second-stage Hadamard coding unit 7, Since the first stage Hadamard decoding unit 9 and the second stage Hadamard decoding unit 12 can perform the above-described processing only by addition and subtraction and bit shift, respectively, it can be realized with a compact circuit configuration. In addition, since there is no branch processing in compression or expansion accompanying the size of the pixel value, it is possible to perform processing continuously at a predetermined constant cycle, so that high-speed encoding and decoding processing can be performed.
[0095]
Furthermore, the image processing apparatus according to the present invention combines the calculation relating to the first difference value and the first-stage ACP process in both the encoding unit 1 and the decoding unit 2, and the second difference value. The calculation and the second-stage ACP process are combined and calculated, so that the effect of the ACP process is obtained, the substantial ACP process is not performed, and the image quality is improved and the calculation processing speed is improved. Has been realized. In addition, when the encoding unit 1 and the decoding unit 2 are mounted in the same device, the image processing apparatus according to the present invention includes a first stage Hadamard encoding unit 5, a first stage Hadamard decoding unit 9, and Since the two-stage Hadamard encoding unit 10 and the second-stage Hadamard decoding unit 12 perform the same operations, these operations can be processed by the same circuit, and a considerable part of the circuit is shared. Therefore, it is possible to further improve the compactness of the processing configuration.
[0096]
Here, since the Hadamard transform coefficient is “1” or “−1”, the product of the Hadamard transform coefficient with respect to the pixel value and the Hadamard coefficient in the expressions (5), (10), (14), and (18). Is calculated as a sign addition rather than a multiplication.
In other operations, the basic operation is addition as can be seen from the equation, and the quantization is performed by bit shift.
[0097]
Next, the results of comparison between the case of using the compression and decoding method of the present invention and the case of using JPEG will be described.
FIG. 5 is a graph showing the degree of image quality with respect to the compressed file size, with the horizontal axis indicating the file size (number of bytes) after compression and the vertical axis indicating PNSR (peak value to error ratio).
The solid line indicates the relationship between the file size and PNSR when the image processing apparatus of the present invention is used, and the wavy line indicates the relationship between the file size and PNSR when JPEG is used.
[0098]
As the above-described image data, the number of processed pixels is processed at a ratio of “Y: U: V = 4: 1: 1” in both the present invention and JPEG.
Further, the image used as a sample is a natural image of 320 × 240 pixels shown in FIG. 6, has 24-bit color information per pixel, and the total data amount is 230,456 bytes.
As can be seen from FIG. 5, when compared with the case of the same file size, the image quality of the image compressed and decoded by the image processing apparatus of the present invention is higher than the image quality of the image compressed and decoded by the JPEG processing. .
[0099]
Next, FIG. 7 is a graph showing the time taken for the decoding process corresponding to the compressed file size, with the horizontal axis showing the file size (number of bytes) after compression and the vertical axis showing time. .
The solid line shows the relationship between the file size when the image processing apparatus of the present invention is used and the time required for the decoding process, and the relationship between the file size when the wavy line uses JPEG and the time required for the decoding process. It is shown.
The hardware used for both decoding processes is Gameboy Advance (registered trademark).
Then, the decoding processing method of the present invention and JPEG decoding processing software were respectively ported to Game Boy Advance (registered trademark), and the time required for the decoding processing was measured for each file size.
[0100]
As in the case of FIG. 5, the image data shown in FIG. 7 is processed at a ratio of “Y: U: V = 4: 1: 1” in both the present invention and JPEG. .
Further, the image used as a sample is a natural image of 240 × 160 pixels shown in FIG. 8, has 24-bit color information per pixel, and the total data amount is 115,256 bytes.
As can be seen from FIG. 7, when compared with the case of the same file size, the decoding and decompression processing speed by the image processing apparatus of the present invention is faster than the decoding and decompression processing speed in JPEG.
[0101]
As mentioned above, although one embodiment of the present invention has been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and there are design changes and the like without departing from the gist of the present invention. Are also included in the present invention.
For example, in FIG. 1, the encoding unit 1 and the decoding unit 2 are shown configured in the same apparatus, but only the encoding unit 1 or only the decoding unit 2 is incorporated into the apparatus and used. Also good.
[0102]
The above-described image compression and decoding processes are performed using image data of Y, U, and V (luminance = Y, red color difference = U, blue color difference = V) used for digital moving images. For RGB (Red = red, Green = green, Blue = blue) image data, it is necessary to convert the image data into YUV format image data.
The image processing apparatus of the present invention performs similar processing on Y, U, and V, and compresses and decodes images.
[0103]
In addition, the image processing apparatus of the present invention naturally includes performing Hadamard transform over a plurality of stages. For example, the image processing apparatus divides the original image into pixel blocks composed of 8 × 8 pixels, and corresponds to the pixel blocks. As described above, image processing by three-stage Hadamard transformation may be performed in the same manner as the two-stage Hadamard transformation.
For example, a total of 64 Hadamard coefficients are finally calculated for 64 pixels of a pixel block made up of 8 × 8 pixels. This breakdown consists of one DC value in units of 8 × 8 pixels, 4 × 3 Hadamard coefficients in units of 4 pixels by αu, v; u, v∈ [0,1], βn (u, v); n∈ [0,3], u as Hadamard coefficients in units of 2 × 2 pixels , v∈ [0,1], 12 γ (m, n) (u, v); m, n∈ [0,3], u, v∈ [0,1] 48.
[0104]
For other processing, a third stage AC component prediction unit, Hadamard encoding unit, and Hadamard decoding unit are newly added to the encoding unit 1 and decoding unit 2, and processing corresponding to the third Hadamard coefficient is performed. Other processing is the same as the processing for the two-stage Hadamard coefficient described above.
When performing the Hadamard transform in these three stages, the first stage and the second stage perform the same processing as the one stage in the case of performing the Hadamard transform in the two stages, respectively, and the third stage performs the Hadamard transform in the two stages. The same process as in step 1 is performed.
[0105]
As described in the second step, the image processing apparatus of the present invention increases the step of obtaining the Hadamard coefficient corresponding to the number of pixels included in the pixel block every time the DC value of each pixel and the pixel value of the original image are increased. Compared to the case where the Hadamard transform is performed once, the amount of information necessary for image compression of the entire Hadamard coefficient can be reduced, and the amount of fluctuation of the Hadamard coefficient is reduced (the bit amount indicating the Hadamard coefficient). The compression efficiency in entropy coding is improved.
[0106]
Next, a program executed by the computer according to the embodiment of the present invention will be described.
The program executed by the CPU of the computer system in the operation of the image processing apparatus (image processing system) in FIG. 1 constitutes a program according to the present invention.
As a recording medium for storing this program, a magneto-optical disk, an optical disk, a semiconductor memory, a magnetic recording medium, and the like can be used, and these are configured as a ROM, a RAM, a CD-ROM, a flexible disk, a memory card, and the like. May be used.
[0107]
In addition, the recording medium can store a program for a certain period of time, such as a volatile memory such as a RAM in a computer system serving as a server or a client when the program is transmitted via a network such as the Internet or a communication line such as a telephone line. The thing to hold is also included.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. The transmission medium refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
[0108]
The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
[0109]
Therefore, even if this program is used in a system or apparatus different from the system or apparatus of FIG. 1 and the computer of the system or apparatus executes this program, the functions equivalent to the functions and effects described in the above embodiments are also provided. And the effect of the present invention can be achieved.
[0110]
【The invention's effect】
According to the image processing device of the present invention, the first difference value between the pixel value of the original image and the first DC pixel value of the sub-pixel block is subjected to Hadamard transform, and a low frequency component having a large amount of information as the difference value is obtained. After extraction, the first difference value is decoded and added to the first DC value to obtain the second DC value of each pixel of the sub-pixel block, and then the remaining high frequency side Hadamard is obtained by the second Hadamard transform. Since the coefficient is obtained, the information amount of the remaining second Hadamard coefficient can be reduced. Therefore, the data amount of the second difference value can be reduced as compared with the one-step process in which the ACP process and the Hadamard transform are performed once. Compared to the case where all Hadamard coefficients are obtained from one-stage difference values, the data amount of Hadamard coefficients is reduced, and image compression and decompression is performed with an image quality equivalent to or better than JPEG. It can be carried out.
[0111]
Further, according to the image processing apparatus of the present invention, not only the Hadamard transform but also the compression processing by the ACP method is added, so that the block noise that easily appears because the Hadamard transform is performed in units of blocks can be reduced.
Furthermore, according to the image processing apparatus of the present invention, since only the ACP method and Hadamard transform processing are used, the above-described processing can be performed only by addition / subtraction and bit shift operations. In addition, it can be mounted on a portable terminal or the like, and in addition, there is no branching process associated with the size of the pixel value, and processing can be performed continuously at a predetermined cycle. High-speed compression and decoding processing can be performed for decoding.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an image processing apparatus according to an embodiment of the present invention.
FIG. 2 is a conceptual diagram for explaining an operation example of the image processing apparatus shown in FIG. 1;
FIG. 3 is a conceptual diagram illustrating image processing by the ACP method in the first stage and the second stage.
FIG. 4 is a conceptual diagram illustrating an example of Hadamard transform coefficients used in Hadamard transform.
FIG. 5 is a graph showing the relationship between the file size and the PNSR in the image processing apparatus of the present invention and JPEG compression and decoding processing.
6 is a sample image used in the process of FIG.
FIG. 7 is a graph showing the relationship between the file size and the time required for decoding processing in the image processing apparatus of the present invention and JPEG decoding processing.
8 is a sample image used in the process of FIG.
[Explanation of symbols]
1 Encoding unit
2 Decryption unit
3 DC image generator
5 First-stage Hadamard encoding unit
7 Second stage Hadamard encoding unit
8 DC image decoding unit
10 First-stage Hadamard decoding unit
12 Second-stage Hadamard decoding unit

Claims (2)

In an image processing apparatus that divides an original image into a plurality of pixel blocks including a plurality of pixels (n × n pixels) and performs data compression for each pixel block,
A first DC value S that is an average pixel value of a pixel block to be processed, and a first pixel value that is an average pixel value of each of a plurality of pixel blocks that are vertically and horizontally adjacent to the pixel block to be processed A DC value (L, R, U, B) is obtained, and the first DC value (S, L, R, U, B) is subjected to quantization and entropy coding and output as encoded data. A DC image creation unit;
The first DC value (L, R, U, B) and a second DC value that is an average pixel value of each of a plurality of sub-pixel blocks obtained by dividing the pixel block to be processed ( The first Hadamard coefficient (α01, α10, α11) is obtained by substituting SH0,0, SH0,1, SH1,0, SH1,1) into the first equation for obtaining the first Hadamard coefficient. The first Hadamard coefficients (α01, α10, α11) are quantized and output as encoded data, and inverse quantization and inverse Hadamard transformation are applied to the first Hadamard coefficient that is the encoded data. And a first Hadamard encoding unit that reproduces a plurality of first difference values and reproduces a third DC value of each of the plurality of sub-pixel blocks based on the plurality of first difference values. When,
Using each of the plurality of sub-pixel blocks as a processing target, the third DC value (LP2, SP2, SP3, UP3) and the pixel value (p0 (0,0), By substituting p0 (0,1), p0 (1,0), p0 (1,1)) into the second expression for obtaining the second Hadamard coefficient, the second Hadamard coefficient (β0 (0 , 1), β0 (1,0), β0 (1,1)) and determine the second Hadamard coefficient (β0 (0,1), β0 (1,0), β0 (1,1)) A second Hadamard encoding unit that performs quantization and outputs the encoded data.
The first equation for obtaining the Hadamard coefficient is:
α01 = {(SH0,0−SH0,1 + SH1,0−SH1,1) * 2− (LR)} / 4
α10 = {(SH0,0−SH0,1 + SH1,0−SH1,1) * 2− (U−B)} / 4
α11 = (SH0,0−SH0,1 + SH1,0−SH1,1) * 2
And
The second equation for obtaining the Hadamard coefficient is:
β0 (0,1) = (p0 (0,0) −p0 (0,1) + p0 (1,0) −p0 (1,1)) / 2− (LP2−SP2) / 4
β0 (1,0) = (p0 (0,0) + p0 (0,1) −p0 (1,0) −p0 (1,1)) / 2− (LP3−SP3) / 4
β0 (1,1) = (p0 (0,0) −p0 (0,1) −p0 (1,0) + p0 (1,1)) / 2
An image processing apparatus characterized by the above. The original image is divided into a plurality of pixel blocks composed of a plurality of pixels (n × n pixels), and the encoded data output from the image processing device according to claim 1 is used for each pixel block. In an image processing apparatus that performs decoding,
First DC values (S, L, R, U, B) of the plurality of pixel blocks obtained by performing entropy decoding and inverse quantization on the encoded data, and inverse quantization on the encoded data The first Hadamard coefficient (α01, α10, α11) obtained by performing the conversion is a second pixel value that is an average pixel value of a plurality of sub-pixel blocks obtained by dividing the pixel block to be processed A first DC value (SH0,0, SH0,1, SH1,0, SH1,1) of each of the plurality of sub-pixel blocks is output by substituting it into a first expression for obtaining a DC value. Hadamard decoder of
The first DC value SH0,0 of the sub-pixel block to be processed and the second DC value (SP0) of each of the plurality of sub-pixel blocks adjacent to the sub-pixel block to be processed vertically and horizontally. , 0, RP0,0, SP1,1, UP1,1) and second Hadamard coefficients (β0 (0,1), β0 (1,0) obtained by performing inverse quantization on the encoded data. ), Β0 (1,1)) is substituted into the second equation for obtaining the third DC value, which is a plurality of pixel values of the original image, thereby obtaining the third DC value (p0 (0,0)). , P0 (0,1), p0 (1,0), p0 (1,1)), and a second Hadamard decoding unit,
The first equation for obtaining the second DC value is transferred from the equation for obtaining the first Hadamard coefficient (α01, α10, α11) according to claim 1 to α′01 = α01 + (LR ) / 4
α'10 = α10 + (UB) / 4
α'11 = α11
Α'01, α'10 and α'11 were obtained
SH0,0 = (α'01 + α'10 + α'11) / 2 + S
SH0,1 = (− α′01 + α′10−α′11) / 2 + S
SH1,0 = (α'01-α'10-α'11) / 2 + S
SH1,1 = (− α′01−α′10 + α′11) / 2 + S
And
The second equation for obtaining the third DC value is the second Hadamard coefficient (β0 (0,1), β0 (1,0), β0 (1,1)) described in claim 1. Move the equation to find
β′0 (0,1) = β0 (0,1) + (SP0,0−RP0,0) / 4
β'0 (1,0) = β0 (1,0) + (SP1,1-UP1,1) / 4
β'0 (1,1) = β0 (1,1)
Β'0 (0,1), β'0 (1,0), and β'0 (1,1) are calculated as p0 (0,0) = (β0 '(1,0) + β'0 ( 0,1) + β'0 (1,1)) / 2 + SH0,0
p0 (0,1) = (− β′0 (1,0) + β′0 (0,1) −β′0 (1,1)) / 2 + SH0,0
p0 (1,0) = (β′0 (1,0) −β′0 (0,1) −β′0 (1,1)) / 2 + SH0,0
p0 (1,1) = (− β′0 (1,0) −β′0 (0,1) + β′0 (1,1)) / 2 + SH0,0
An image processing apparatus characterized by the above.

Images