JP5007431B2 - 交流成分予測システムおよび交流成分予測プログラム - Google Patents

Description

本発明は、交流成分予測システムおよび交流成分予測プログラムに関する。

従来より、交流成分予測（ＡＣＰ：ＡＣ Component Prediction）と呼ばれる画像処理が知られている。交流成分予測とは、図１に例示するように、処理対象となる対象ブロックの周辺領域（例えばＰＢl，ＰＢr，ＰＢt，ＰＢb）の情報を参照して、このブロックＰＢsを細分化したサブブロックの情報ｃ00〜ｃ11を求める手法をいう。交流成分予測では、対象ブロックＰＢsと、その近傍に位置する周辺領域との間における空間的な相関性を利用して、対象ブロックＰＢsのＤＣ値（直流成分）を保持しつつ、空間分解能がより高いＡＣ値（交流成分）が算出される。特許文献１〜３には、対象ブロックを順次細分化し、画像データを階層的に符号化する再帰的交流成分予測符号化（ＲＡＣＰ）が開示されている。具体的には、まず画像平面上において対象ブロックを所定方向に順次シフトさせながら、これを細分化したサブブロックの予測画素値が順次算出される。つぎに、予測画素値と本来の画素値（真値）との差分が残差成分として算出される。そして、この残差成分に対して、非可逆変換およびエントロピー符号化を施すことによって、圧縮画像データの一部となる画像の交流成分が生成される。以上のような処理が、例えば、８×８画素のブロック（最上位階層）、４×４画素のブロック（第２位階層）、２×２画素のブロック(第３位階層）および１×１画素のブロック（最下位階層）よりなる階層構造において、再帰的に繰り返される。

日本特許第４０００１５７号公報 日本特許第３７７４２０１号公報 日本特許第３７００９７６号公報

ところで、周知のように、画像平面（実空間）上のブロックは、アダマール空間に写像することによって、理論上、このブロックの直流成分ＤＣと、互いに直交した３つのアダマール基底とで表現できる。図２に示すように、２×２画素で構成されるブロックは、その内部に存在する４つの画素値ｃ00〜ｃ11がどのような値であったとしても、このブロックの直流成分ＤＣと、スカラー倍された３つのアダマール基底の和で表現できる。ここで、平均値ＤＣの後に続く第１のアダマール基底（α基底）では、＋１，−１が水平方向に並んでいる。また、これに続く第２のアダマール基底（β基底）では、＋１，−１が垂直方向に並んでいる。そして、これに続く第３のアダマール基底（γ基底）では、＋１，−１が斜めにクロスして並んでいる。これらのアダマール基底は、任意のものを選択して内積すると必ず０になることから明らかなように、互いに直交している。また、乗数αはα基底のスカラー値（α成分）、乗数βはβ基底のスカラー値（β成分）、乗数γはγ基底のスカラー値（γ成分）である。実空間からアダマール空間への写像では、周知のアダマール変換が用いられ、これによって、画素値ｃ00〜ｃ11からα成分、β成分およびγ成分が一義的に特定される。一方、周波数空間から実空間への写像では、周知の逆アダマール変換が用いられ、これによって、α成分、β成分およびγ成分から画素値ｃ00〜ｃ11が一義的に特定される。このことは、実空間上の処理と等価なことをアダマール空間上で行ってもよいことを意味する。交流成分予測についても同様で、ブロック内の画素値ｃ00〜ｃ11を予測することは、ブロックの平均値ＤＣが既知であることを前提に、α成分、β成分およびγ成分を予測することと等価である。なお、α成分およびβ成分だけでも（γ成分を０とみなしても）、画素値ｃ00〜ｃ11を良好に近似できる。

交流成分予測による画像の予測精度は高い方が好ましい。予測精度が高いほど、予測値の集合としての予測画像と本来の画像との相関が高まり、両者の差分に相当する予差成分が小さくなるからである。残差成分の低減は、統計的に見た残差成分の出現頻度が０近傍に偏る傾向が高まることを意味する。したがって、例えば、残差成分にエントロピー符号化を施してデータ圧縮する場合、残差成分の低減によって、圧縮率を高めることができる。交流成分予測では、対象ブロックからの距離が近い参照領域ほど、すなわち空間的な相関性が高いほど、画素値の変化量（傾き）の除数が小さくなり、より精度の高い予測が可能になる。この点に関して、特許文献１〜３では、今回の処理で算出すべき交流成分の予測値として、それ以前の処理における残差成分（すなわち、従前の処理で生じた原画像に対する予測の誤差）を何ら考慮することなく、各ブロックの処理で互いに独立した予測を行っているため、予測精度の向上を図る余地が残されていた。

そこで、本発明の目的は、交流成分予測における予測精度の一層の向上を図ることである。

かかる課題を解決すべく、第１の発明は、低周波交流成分予測部と、高周波交流成分予測部と、予測処理部と、交流成分復元部と、高周波交流成分算出部とを有し、画像平面上に設定されたブロック毎の繰り返し処理によって、ブロック単位で交流成分予測を行う交流成分予測システムを提供する。低周波交流成分予測部は、今回の処理で処理対象となる対象ブロックの参照領域に相当するブロックの直流成分を用いた交流成分予測によって、対象ブロックの低周波交流成分を予測する。高周波交流成分予測部は、処理済ブロックの高周波交流成分を用いた重み付け予測によって、対象ブロックの高周波交流成分を予測する。この処理済ブロックは、対象ブロックの近傍に位置し、かつ、従前の処理で既に処理されたブロックである。予測処理部は、低周波交流成分予測部によって予測された低周波交流成分と、高周波交流成分予測部によって予測された高周波交流成分とを加算することによって、対象ブロックの交流成分の予測値を算出する。交流成分復元部は、予測処理部によって算出された予測値と、原画像との残差成分とを加算することによって、対象ブロックの交流成分の復元値を算出する。高周波交流成分算出部は、交流成分復元部によって算出された復元値と、低周波交流成分予測部によって予測された低周波交流成分との差分に基づいて、次回以降の処理で処理済ブロックの情報として用いられる高周波交流成分を算出する。

ここで、第１の発明において、高周波交流成分予測部は、対象ブロックと処理済ブロックとの間における画素値の誤差が小さくなるように、対象ブロックを基準とした処理済ブロックの予測方向に応じて、処理済ブロックの高周波交流成分の符号を反転させた上で、上記重み付け予測を行うことが好ましい。ここで、上記交流成分は、水平方向のアダマール基底の成分を規定する水平成分を含むことが好ましい。この場合、高周波交流成分予測部は、対象ブロックの垂直方向に近接した処理済ブロックに関する水平成分と、対象ブロックの水平方向に近接した処理済ブロックに関する水平成分の符号を反転させた値とを加算することによって、水平成分に含まれる高周波交流成分に関する上記重み付け予測を行うことが望ましい。また、上記交流成分は、垂直方向のアダマール基底の成分を規定する垂直成分を含むことが好ましい。この場合、高周波交流成分予測部は、対象ブロックの垂直方向に近接した処理済ブロックに関する垂直成分の符号を反転させた値と、対象ブロックの水平方向に近接した処理済ブロックに関する垂直成分とを加算することによって、垂直成分に含まれる高周波交流成分に関する上記重み付け予測を行うことが望ましい。

また、第１の発明に係る交流成分予測システムは、画像を非可逆圧縮するエンコーダに適用してもよい。この場合、上記交流成分復元部は、減算器と、非可逆変換部と、エントロピー符号化部と、逆変換部と、加算器とを有することが好ましい。減算器は、予測処理部によって算出された予測値と、原画像における真値との差分を残差成分として算出する。非可逆変換部は、減算器によって算出された残差成分に非可逆変換を施す。エントロピー符号化部は、非可逆変換部から出力された残差成分にエントロピー符号化を施して、画像の圧縮データを出力する。逆変換部は、非可逆変換部から出力された残差成分に、非可逆変換とは逆の処理を施すことによって、残差成分を復元する。加算器は、予測処理部によって算出された予測値に、逆変換部から出力された残差成分を加算する。

また、第１の発明に係る交流成分予測システムは、非可逆圧縮された画像を伸張するデコーダに適用してもよい。この場合、上記交流成分復元部は、逆変換部と、加算器とを有する。逆変換部は、非可逆圧縮された画像の圧縮データに対して、画像圧縮時に施された非可逆変換およびエントロピー符号化の逆処理を行うことによって、原画像との残差成分を復元する。加算器は、予測処理部によって算出された予測値に、逆変換部から出力された残差成分を加算することによって、伸長画像を出力する。

一方、第２の発明は、画像平面上に設定されたブロック毎の繰り返し処理によって、ブロック単位で行われる交流成分予測をコンピュータに実行させる交流成分予測プログラムを提供する。このプログラムは、今回の処理で処理対象となる対象ブロックの参照領域に相当するブロックの直流成分を用いた交流成分予測によって、対象ブロックの低周波交流成分を予測する第１のステップと、対象ブロックの近傍に位置し、かつ、従前の処理で既に処理された処理済ブロックの高周波交流成分を用いた重み付け予測によって、対象ブロックの高周波交流成分を予測する第２のステップと、低周波交流成分と、高周波交流成分とを加算することによって、対象ブロックの交流成分の予測値を算出する第３のステップと、予測値と、原画像との残差成分とを加算することによって、対象ブロックの交流成分の復元値を算出する第４のステップと、復元値と、低周波交流成分との差分に基づいて、次回以降の処理で処理済ブロックの情報として用いられる高周波交流成分を算出する第５のステップとをコンピュータに実行させる。

ここで、第２の発明において、上記第２のステップは、対象ブロックと処理済ブロックとの間における画素値の誤差が小さくなるように、対象ブロックを基準とした処理済ブロックの予測方向に応じて、処理済ブロックの高周波交流成分の符号を反転させた上で、重み付け予測を行うステップであってもよい。ここで、上記交流成分は、水平方向のアダマール基底の成分を規定する水平成分を含むことが好ましい。この場合、上記第２のステップは、対象ブロックの垂直方向に近接した処理済ブロックに関する水平成分と、対象ブロックの水平方向に近接した処理済ブロックに関する水平成分の符号を反転させた値とを加算することによって、水平成分に含まれる高周波交流成分に関する重み付け予測を行うステップであることが望ましい。また、上記交流成分は、垂直方向のアダマール基底の成分を規定する垂直成分を含むことが好ましい。この場合、上記第２のステップは、対象ブロックの垂直方向に近接した処理済ブロックに関する垂直成分の符号を反転させた値と、対象ブロックの水平方向に近接した処理済ブロックに関する垂直成分とを加算することによって、垂直成分に含まれる高周波交流成分に関する重み付け予測を行うステップであることが望ましい。

また、第２の発明に係る交流成分予測プログラムは、画像を非可逆圧縮するエンコードプログラムに適用してもよい。この場合、上記第４のステップは、予測値と、原画像における真値との差分を残差成分として算出するステップと、残差成分に非可逆変換を施すステップと、残差成分にエントロピー符号化を施して、画像の圧縮データを出力するステップと、残差成分に非可逆変換とは逆の処理を施すことによって、残差成分を復元するステップと、予測値に残差成分を加算するステップとを有することが望ましい。

さらに、第２の発明に係る交流成分予測プログラムは、非可逆圧縮された画像を伸張するデコードプログラムに適用してもよい。この場合、上記第４のステップは、非可逆圧縮された画像の圧縮データに対して、画像圧縮時に施された非可逆変換およびエントロピー符号化の逆処理を行うことによって、原画像との残差成分を復元するステップと、予測値に残差成分を加算することによって、伸長画像を出力するステップとを有することが望ましい。

第１および第２の発明によれば、対象ブロックに関する交流成分の予測値として、交流成分予測によって予測された低周波交流成分そのものではなく、これに高周波交流成分を加算することによって、補正された値が用いられる。今回の予測で加味すべき高周波交流成分は、処理済ブロックの高周波交流成分、すなわち従前の処理で既に算出された値を用いた重み付け予測によって算出される。高周波交流成分は、予測値に残差成分を加算した交流成分の復元値（低周波交流成分および高周波交流成分の双方を含む）から低周波交流成分を除いたものに相当する。したがって、高周波交流成分の大きさは残差成分に依存し、予測が外れて原画像との残差成分が大きくなるほど高周波交流成分が大きくなる。従前の高周波交流成分から今回の高周波交流成分を予測し、これを今回の低周波交流成分に加算することによって、今回の予測値に従前の残差成分が反映される。また、今回の高周波交流成分を用いて次回以降の高周波交流成分を予測し、これを次回以降の低周波交流成分に加算することによって、次回以降の予測値に今回の残差成分が反映される。このような処理の繰り返しによって、あるブロックの残差成分が他のブロックに順次伝搬・反映されていく。その結果、交流成分予測だけでは捉えられない成分が予測値に加味されるので、予測画像が原画像に近づく傾向が高まり、予測精度の一層の向上を図ることが可能になる。

画像平面におけるブロックの順次処理の説明図 画像平面上のブロックと、アダマール空間の表現との関係図 ＲＡＣＰエンコーダの全体構成図 並列処理における動作タイミングチャート 逐次処理における動作タイミングチャート ＲＡＣＰエンコーダにおける階層処理部の構成図 ブロック中心位置および近傍予測点の位置的関係の説明図 ３点を用いた近傍画素値の算出説明図（λ＝１／２） ３点を用いた近傍画素値の算出説明図（λ＝１／４） ３点を用いた近傍画素値の算出説明図（λ＝１／８） ２点を用いた近傍画素値の算出説明図（λ＝１／２） 水平成分（αhigh）の重み付け予測における符号反転の説明図 垂直成分（βhigh）の重み付け予測における符号反転の説明図 あるブロックを起点とした残差伝搬の説明図 ＲＡＣＰエンコードプログラムのフローチャート ＲＡＣＰデコーダの全体構成図 ＲＡＣＰデコーダにおける階層処理部の構成図 ＲＡＣＰデコードプログラムのフローチャート

以下、本発明に係る交流成分予測を適用した実施形態として、再帰的交流成分予測符号化（ＲＡＣＰ：Recursive ＡＣＰ）を例に説明する。

（ＲＡＣＰエンコーダ）
図３は、ＲＡＣＰエンコーダの全体構成図である。このエンコーダは、ＤＣ算出部１と、ＤＣ符号化部２と、階層処理部３ａ〜３ｃとを有し、本実施形態では、４階層によって構成されている。これらのユニット１，２，３ａ〜３ｃより出力されたデータＴＤＣn，ＤＣn（n=0,1,2）は、図示しないバッファ（記憶部）に一時的に随時格納される。

ＤＣ算出部１は、圧縮対象となる入力画像を予め設定されたサイズのブロックに分割し、それぞれのブロックの直流成分、すなわち、ブロック内に含まれる画素の平均値をＴＤＣ0〜ＴＤＣ3として出力する。ここで、ＴＤＣ0は８×８画素のブロック（以下「８×８ブロック」という）の直流成分、ＴＤＣ1は４×４画素のブロック（以下「４×４ブロック」という）の直流成分、ＴＤＣ2は２×２画素のブロック（以下「２×２ブロック」という）の直流成分である。また、ＴＤＣ3は１×１画素のブロック（以下「１×１ブロック」という）の直流成分、すなわち、画像の最小単位である画素の画素値そのものである。なお、入力画像から直接算出される直流成分ＴＤＣ0〜ＴＤＣ3（真の値）は、ユニット２，３ａ〜３ｃ内での処理を経て復元される直流成分ＤＣ0〜ＤＣ2（復元値）とは区別される点に留意されたい。両者の値は、符号化の過程で非可逆変換をともなうので、厳密には一致しない。

ＤＣ符号化部２および階層処理部３ａ〜３ｃは、８×８ブロック（最上位階層）、４×４ブロック（第２位階層）、２×２ブロック（第３位階層）、１×１ブロック（最下位階層）よりなる４階層構造において、自己に割り当てられた階層処理を行う。

最上位階層のＤＣ符号化部２は、バッファから読み出された８×８ブロック毎の直流成分ＴＤＣ0に対して、差分パルス符号変調（ＤＰＣＭ：Differential Pulse Code Modulation）およびエントロピー符号化を施す。差分パルス符号変調によって、画像平面上において互いに隣接したブロックに関する直流成分ＴＤＣ0の差分が符号化される。そして、この符号化された差分に対して、量子化後、ハフマン符号化や算術符号化といったエントロピー符号化が施される。このような処理を経たデータは、圧縮データの一部となる画像の直流成分ＤＣ0として出力されるとともに、直下位の階層の階層処理部３ａにも供給すべく、８×８ブロックの直流成分を復元（逆量子化）した値ＤＣ0として出力される。

３つの階層処理部３ａ〜３ｃは、ＤＣ算出部１によって生成された直流成分ＴＤＣn（n=1,2,3、以下同様）と、直上位の階層によって生成された直流成分ＤＣn-1とを入力とした交流成分予測を含む処理によって、圧縮データの一部としての画像の交流成分ＡＣnを出力する。それとともに、階層処理部３ａ〜３ｂ（３ｃは除く）は、交流成分ＡＣnより直流成分ＤＣnを復元する。復元された直流成分ＤＣ0,1,2は、直下位の階層に供給するために出力される。

具体的には、第２位階層の階層処理部３ａは、８×８ブロックを処理対象とした交流成分予測および残差成分の算出といった処理を経て、４×４ブロックの交流成分ＡＣ1と、４×４ブロックの直流成分ＤＣ1とを出力する。この階層では、交流成分予測で参照すべき情報として、最上位階層で生成された８×８ブロックの直流成分ＤＣ0が用いられる。それとともに、残差成分を算出するために、ＤＣ算出部１によって算出された４×４ブロックの直流成分ＴＤＣ1が入力される。第３位階層の階層処理部３ｂは、４×４ブロックを処理対象とした交流成分予測等の処理を経て、２×２ブロックの交流成分ＡＣ2と、２×２ブロックの直流成分ＤＣ2とを出力する。この階層では、交流成分予測の参照情報として、第２位階層で生成された４×４ブロックの直流成分ＤＣ1とが用いられる。それとともに、残差成分を算出するために、ＤＣ算出部１によって算出された２×２ブロックの直流成分ＴＤＣ2が入力される。最下位階層の階層処理部３ｃは、２×２ブロックを処理対象とした交流成分予測等の処理を経て、１×１ブロックの交流成分ＡＣ3を出力する（ＤＣ3の算出は不要）。この階層では、交流成分予測の参照情報として、第３位階層で生成された２×２ブロックの直流成分ＤＣ2が用いられる。それとともに、残差成分を算出するために、ＤＣ算出部１によって算出された１×１ブロックの直流成分ＴＤＣ3が用いられる。

このように、処理対象となるブロックのサイズが異なる階層構造において、ＤＣ符号化部２および階層処理部３ａ〜３ｃが互いに連係することによって、交流成分予測を主体とした画像処理が再帰的に実行される。これによって、圧縮データとして、画像の直流成分ＤＣ0と、その交流成分ＡＣ1〜ＡＣ3とが出力される。なお、圧縮データには、これら以外にもハフマンテーブル等の付随情報も含まれる。

図１に示すように、交流成分予測の処理単位となるブロックは、圧縮対象となる画像（１フレームの画像またはその部分画像）を縦横に分割することで、画像平面上に複数設定される。ブロックのサイズは、階層が下位になるにしたがって段階的に小さくなるように設定されている。ある階層で処理対象となるブロックのサイズは、その直上位に位置する階層で細分化されたサブブロックのサイズと一致する。逆にいえば、上位階層のサブブロックのサイズは、その直下に位置する下位階層のブロックのサイズと一致する。ある階層における画像全体の処理は、処理対象となるブロックを画面上で順次シフトさせながら処理を繰り返し、画像中の全ブロックを処理することによって達成される。このシフト方向（スキャン方向）は、図示したように、水平方向に沿った線順次走査的なものであってもよいが、垂直方向に沿ったものも含めて任意に設定してよい。また、それぞれの階層におけるシフトの方向は、必ずしも同一である必要もない。図示したシフト方向の場合、処理対象となるブロックを”ＰＢs”とすると、この対象ブロックＰＢsが属する水平ラインよりも上側が処理済領域となり、これよりも下側が未処理領域となる。また、対象ブロックＰＢsの水平ラインについては、対象ブロックＰＢsの左側が処理済領域となり、その右側が未処理領域となる。対象ブロックＰＢsの処理で参照される参照領域として、例えば、ブロックサイズが同一である８つのブロックＰＢt，ＰＢtt，ＰＢl，ＰＢll，ＰＢb，ＰＢbb，ＰＢr，ＰＢrrが用いられる。これらの参照ブロックのうち、特にブロックＰＢt，ＰＢl，ＰＢb，ＰＢrを「内側ブロック」といい、ブロックＰＢtt，ＰＢll，ＰＢbb，ＰＢrrを「外側ブロック」という。内側ブロックＰＢtは、対象ブロックＰＢsの上方に隣接しているとともに、外側ブロックＰＢttは、内側ブロックＰＢtと対象ブロックＰＢsとを結ぶ上方の予測方向において、内側ブロックＰＢtの外側に隣接している。同様の関係で、ブロックＰＢl，ＰＢllは左方の予測方向において、ブロックＰＢb，ＰＢbbは下方の予測方向において、ブロックＰＢr，ＰＢrrは右方の予測方向において、それぞれ隣接している。対象ブロックＰＢsの交流成分予測によって、これを４つに分割したサブブロックのそれぞれの平均画素値（サブブロックの直流成分）が算出される。以下、あるブロックを細分化したサブブロック際、左上のサブブロックを”00”，右上を”01”，右下を”11”，左下を”10”の添字を以て識別する。

ＲＡＣＰエンコーダの処理は、並行処理および逐次処理のどちらであってもよい。図４は、並行処理における動作タイミングチャートである。まず、ＤＣ算出部１が動作して、直流成分ＴＤＣ0〜ＴＤＣ3を生成する。そして、すべての直流成分ＴＤＣ0〜ＴＤＣ3の生成が終了したことを以て、ＤＣ符号化部２および階層処理部３ａ〜３ｃが並行して動作する。ただし、これらの動作が開始するタイミングは同じではなく、階層が下位になるほど開始タイミングが遅くなる。この遅延は、上位階層の順次シフトによる処理遅延に起因して生じる。図１を参照すると、ある階層でブロックＰＢsの処理を行う場合、その参照ブロックＰＢt〜ＰＢrrの処理が直上位の階層で終了していることが条件（階層処理開始条件）となる。換言すれば、上位階層において、順次シフトが進行してブロックＰＢbbまでの処理が終了しない限り、下位階層におけるブロックＰＢsの処理が開始できない。これが下位階層における動作遅延が生じる所以である。ただし、図５に示すような逐次処理と比較すると、図４に示したパイプライン的な並行処理の方が高速である。一方、図５の逐次処理では、ある階層の処理が全て終了した時点で、直下位の階層の処理が開始される。したがって、逐次処理においても、上記階層処理開始条件を当然に満たす。

図６は、ＲＡＣＰエンコーダにおける階層処理部３（３ａ〜３ｃの総称）の構成図である。それぞれの階層における階層処理部３は、取り扱うブロックサイズが異なる点を除けば、基本的な構成および動作はほぼ同様である（最下位の階層処理部３ｃについては一部簡略化できる）。階層処理部３は、低周波交流成分予測部３１と、高周波交流成分予測部３２と、予測処理部３３と、アダマール変換部３４と、交流成分復元部３５と、エントロピー符号化部３６と、逆アダマール変換部３７と、高周波交流成分算出部３８とを主体に構成されている。

低周波交流成分予測部３１には、対象ブロックＰＢの低周波交流成分予測に必要な情報がバッファから読み出されて供給される。本実施形態では、この処理に必要な情報として、図１に示したように、今回の処理対象となる対象ブロックＰＢsの直流成分ＤＣ(n-1)と、その周囲に位置する８つの参照ブロックＰＢt〜ＰＢrr(参照領域）の直流成分ＤＣ(n-1)が用いられる。参照ブロックＰＢt〜ＰＢrrの直流成分ＤＣ(n-1)は、そのブロックが処理済／未処理の区別に関わりなく、換言すれば、そのブロック内のサブブロックの情報が算出されているか否かに関わりなく、直上位の階層（ｎ−１）で算出済みの直流成分ＤＣ(n-1)が一律に用いられる。

低周波交流成分予測部３１は、参照ブロックＰＢt〜ＰＢrrの直流成分ＤＣ(n-1)を用いた交流成分予測によって、対象ブロックＰＢsの低周波交流成分ＡＣlowを予測する。その際、上下左右の各予測方向に関して、内側ブロックの中心位置よりも対象ブロックＰＢsに近い位置に近傍予測点が設定され、この近傍予測点における近傍画素値が予測・算出される。交流成分予測は、各予測方向について個別に算出された近傍画素値を用いて行われる。

低周波交流成分予測部３１は、対象ブロックＰＢsの参照領域に相当する参照ブロックＰＢt〜ＰＢrrの直流成分ＤＣ(n-1)を用いた交流成分予測によって、対象ブロックＰＢsの低周波交流成分ＡＣlow＝｛αlow，βlow，γlow｝を予測する。この予測は、以下の数式１，２に基づいて行われる。以下、あるブロック（例えば”ＰＢr”）の直流成分の値ＤＣ(n-1)を、そのブロックの添字（例えば添字”Ｒ”）を以て記載するものとする。

（数式１）
ｃ00 ＝ Ｓ＋（αlow＋βlow＋γlow）
ｃ01 ＝ Ｓ＋（−αlow＋βlow−γlow）
ｃ10 ＝ Ｓ＋（αlow−βlow−γlow）
ｃ11 ＝ Ｓ＋（−αlow−βlow＋γlow）

（数式２）
αlow ＝ （Ｌ’−Ｒ’）／６
βlow ＝ （Ｔ’−Ｂ’）／６
γlow ＝ ０
Ｌ’ ＝ Ｌ＋（Ｓ−ＬＬ）／８
Ｒ’ ＝ Ｒ＋（Ｓ−ＲＲ）／８
Ｔ’ ＝ Ｔ＋（Ｓ−ＴＴ）／８
Ｂ’ ＝ Ｂ＋（Ｓ−ＢＢ）／８

ここで、ｃ00〜ｃ11は、対象ブロックＰＢsを細分化したサブブロックｓ00〜ｓ11の予測画素値である。実空間とアダマール空間との間における写像の可逆性より、実空間の画素値ｃ00〜ｃ11を予測することは、対象ブロックＰＢsの直流成分Ｓが既知であることを前提に、アダマール空間の低周波交流成分ＡＣlow、すなわちαlow，βlow，γlowの各成分を予測することと等価である。ただし、線形予測が困難なγ成分を省略し、α，β成分だけを用いても、画素値ｃ00〜ｃ11を良好に近似できることは、従来技術として例示した先行技術文献から周知である。αlowは、水平方向のアダマール基底の成分を規定する水平成分に関する低周波交流成分であり、βlowは、垂直方向のアダマール基底の成分を規定する垂直成分に関する低周波交流成分である。また、γlowは、これら２つの基底と直交したそれ以外の成分に関する低周波交流成分である。また、数式２は、λ＝１／２の場合における近傍画素値Ｌ’，Ｒ’，Ｔ’，Ｌ’の算出式である。このλに関しては、対象ブロックＰＢsから参照ブロックに至る方向で、対象ブロックと内側ブロックの間のブロック境界をλ=０とし、そこから内側ブロックの中心位置までの距離をλ=１とする。また、近傍画素値Ｌ’，Ｒ’，Ｔ’，Ｂ’は、内側ブロックの中心位置よりも対象ブロックＰＢsに近い近傍予測点について線形予測等によって予測された値である。

図７は、λ＝１／２におけるブロック中心位置および近傍予測点の位置的関係の説明図である。それぞれのブロックの中心位置における中心画素値は、そのブロック自体の直流成分ＤＣ(n-1)とみなす。λの尺度と一致させるべく、ブロックを４分割したときの正方形の１辺の長さを１とし、サブブロックを更に４分割したときの正方形の１辺の長さを１／２とする。この場合、隣り合ったブロック同士の中心間距離は２となり、対象ブロックＰＢsの中心位置および各近傍予測点（その近傍画素値＝Ｌ’，Ｒ’，Ｔ’，Ｂ’）間の距離はすべて３／２となる。それぞれの予測方向に関して、近傍予測点の近傍画素値（例えばＲ’）は、内側ブロックの中心画素値（例えばＲ）と、外側ブロックの中心画素値（例えばＲＲ）とを少なくとも用い、かつ、ブロック同士の中心位置間の距離と、ブロックの中心位置および近傍予測点の間の距離とに基づいて予測・算出される。

図８は、λ＝１／２における３点を用いた右方の予測方向に関する近傍画素値Ｒ’の算出説明図である。まず、対象ブロックＰＢsの中心画素値Ｓおよび右外側ブロックＰＢrrの中心画素値ＲＲの差を、これらのブロックの中心間距離４で除算することにより、傾きθが算出される。この傾きθは、対象ブロックＰＢsおよび右外側ブロックＰＢrrの単位距離あたりの画素値の変化率に相当する。つぎに、同じ予測方向では画素値が一様に変化するという前提の下、右方の予測方向の傾きθに、右内側ブロックＰＢrの中心位置および右方の近傍予測点の間の距離１／２を乗算することにより、右内側ブロックＰＢrの中心画素値Ｒからの変化量Δｐが算出される。そして、右内側ブロックＰＢrの中心画素値Ｒに変化量Δｐを加算することにより、右方の近傍予測点の近傍画素値Ｒ’が算出される。同様の方法で、上方、λ＝１／２で共通化された各近傍予測点の近傍画素値Ｔ’，Ｌ’，Ｂ’が算出される。

画像の空間的な相関性から、対象ブロックＰＢsに近い近傍予測点の近傍画素値Ｔ’〜Ｒ’は、これよりも遠い内側ブロックＰＢt〜ＰＢrの中心画素値Ｔ〜Ｒよりも対象ブロックＰＢsの特性を色濃く反映している傾向があり、より真値に近いと考えることができる。したがって、中心画素値Ｔ〜Ｒそのものに代えて近傍画素値Ｔ’〜Ｒ’を用いることで、より予測精度の高い交流成分予測を行うことが可能になる。なお、画像平面上の縁部のように周辺領域の一部が欠落している場合、低周波交流成分予測部３１は、例外的に、対象ブロックＰＢsの中心画素値Ｓをその部分の情報として用いる。また、実際の処理においては、上記数式１，２を統合して、単一の数式として扱ってもよいのは当然である。

低周波交流成分予測部３１は、ブロック一辺の１／２よりも高い分解能（λ≦１）で、対象ブロックＰＢsにより近い近傍画素値Ｔ’〜Ｒ’を予測（典型的には線形予測）し、これを用いた交流成分予測を行う。したがって、λの値は１／２以外にも、λ≦１となる任意の値を設定してよい。特に、λを１／２よりも小さな値（１／４や１／８等）に設定すれば、サブブロックの分解能以上の精度を確保できる。図９は、λ＝１／４における３点を用いた近傍画素値Ｔ’〜Ｒ’の算出説明図である。この場合、ブロック同士の中心位置間の距離と、ブロックの中心位置および近傍予測点の間の距離とを考慮した線形予測的な考え方から、近傍画素値Ｔ’〜Ｒ’および低周波交流成分ＡＣlow＝｛αlow，βlow，γlow｝は、数式３より算出される。

（数式３）
αlow ＝ （Ｌ’−Ｒ’）／５
βlow ＝ （Ｔ’−Ｂ’）／５
γlow ＝ ０
Ｌ’ ＝ Ｌ＋（Ｓ−ＬＬ）×３／１６
Ｒ’ ＝ Ｒ＋（Ｓ−ＲＲ）×３／１６
Ｔ’ ＝ Ｔ＋（Ｓ−ＴＴ）×３／１６
Ｂ’ ＝ Ｂ＋（Ｓ−ＢＢ）×３／１６

図１０は、λ＝１／８における３点を用いた近傍画素値の算出説明図である。この場合、近傍画素値Ｔ’〜Ｒ’および低周波交流成分ＡＣlow＝｛αlow，βlow，γlow｝は、数式４より算出される。

（数式４）
αlow ＝ （Ｌ’−Ｒ’）×４／１８
βlow ＝ （Ｔ’−Ｂ’）×４／１８
γlow ＝ ０
Ｌ’ ＝ Ｌ＋（Ｓ−ＬＬ）×７／３２
Ｒ’ ＝ Ｒ＋（Ｓ−ＲＲ）×７／３２
Ｔ’ ＝ Ｔ＋（Ｓ−ＴＴ）×７／３２
Ｂ’ ＝ Ｂ＋（Ｓ−ＢＢ）×７／３２

例示した３つのケース（λ＝１／２，１／４，１／８）のように、対象ブロックＰＢsと同サイズの参照ブロックＰＢt〜ＰＢrrのみを参照して交流成分予測を行う場合、λ＝１／４の位置の画素を予測することが最適である。また、上述した３点を用いた線形予測にはやや劣るものの、図１１に示すような２点を用いた線形予測にて近傍画素値Ｔ’〜Ｒ’を数式５のように算出してもよい。λ＝１／２を一例に説明すると、例えば近傍画素値Ｒ’は、右内側・右外側ブロックＰＢr，ＰＢrrの単位距離あたりの画素値の変化率（傾きθ＝（Ｒ−ＲＲ）／２）に、内側ブロックの中心位置および近傍予測点の間の距離である１／２を乗算し、この乗算によって得られた値Δｐを内側ブロックＰＢrの中心画素値Ｒに加算することによって得られる。

（数式５）
αlow ＝ （Ｌ’−Ｒ’）／６
βlow ＝ （Ｔ’−Ｂ’）／６
γlow ＝ ０
Ｌ’ ＝ （５Ｌ−ＬＬ）／４
Ｒ’ ＝ （５Ｒ−ＲＲ）／４
Ｔ’ ＝ （５Ｔ−ＴＴ）／４
Ｂ’ ＝ （５Ｂ−ＢＢ）／４

また、例えば、特許第３７００９７６号公報に開示されている以下の数式６に基づいた交流成分予測を行ってもよい。同数式６において、除算値８は、線形予測における隣接ブロックの距離に応じて一義的に特定される。

（数式６）
ｃ00 ＝ Ｓ＋（Ｕ＋Ｌ−Ｂ−Ｒ）／８
ｃ01 ＝ Ｓ＋（Ｕ＋Ｒ−Ｂ−Ｌ）／８
ｃ10 ＝ Ｓ＋（Ｂ＋Ｌ−Ｕ−Ｒ）／８
ｃ11 ＝ Ｓ＋（Ｂ＋Ｒ−Ｕ−Ｌ）／８

同数式６の手法では、対象ブロックＰＢsの参照領域として、対象ブロックＰＢsと同サイズである上下左右の参照ブロックＰＢt〜ＰＢrのみが用いられ、ブロック毎の繰り返し処理によって随時生成されるサブブロックの情報（ＡＣ成分）は必要ない。また、対象ブロックＰＢsと同サイズのブロックのみを用いた手法以外にも、特許第３７７４２０１号公報や特許第４０００１５７号公報に開示されているように、処理済領域（例えば図１のＰＢt，ＰＢl）については、ブロックを細分化したサブブロックの情報（ＡＣ成分）を併用してもよい。さらに、対象ブロックＰＢsに直接隣接したブロックやサブブロックのみならず、そこから１ブロック離れたブロック等を含めて、参照領域は適宜設定すればよい。

ここに例示した交流成分予測のすべてに共通する点は、対象ブロックＰＢsの参照領域として、少なくとも対象ブロックＰＢsと同一サイズのブロックが用いられるという点であり、これが本実施形態に係る低周波交流成分の必要条件となる。低周波交流成分予測部３１によって算出された低周波交流成分ＡＣlowは、予測処理部３３および高周波交流成分算出部３８に供給される。

一方、低周波交流成分予測部３１と並列に設けられた高周波交流成分予測部３２には、対象ブロックＰＢの高周波交流成分予測に必要な情報がバッファから読み出されて供給される。この処理に必要な情報は、対象ブロックＰＢsの近傍に位置し、かつ、従前の処理で既に処理された処理済ブロックの高周波交流成分ＡＣhigh(n)であり、本実施形態では、対象ブロックＰＢsの垂直／水平方向の近傍に位置する参照ブロックＰＢt，ＰＢlに関するものが用いられる。垂直方向（上方）の処理済ブロックＰＢtに関する高周波交流成分ＡＣ(t)highは、これを対象ブロックＰＢsとした同一階層（ｎ）での従前の処理において、高周波交流成分算出部３８によって既に算出され、今回の処理を開始する時点ではバッファ内に格納されている。同様に、水平方向（左方）のブロックＰＢlに関する高周波交流成分ＡＣ(l)highは、これを対象ブロックＰＢsとした同一階層（ｎ）での従前の処理において、高周波交流成分算出部３８によって既に算出され、今回の処理を開始する時点ではバッファ内に格納されている。

対象ブロックＰＢsの高周波交流成分予測では、数式７に示すように、高周波交流成分ＡＣ(t)high，ＡＣ(l)highを用いた重み付け予測によって、対象ブロックＰＢsの高周波交流成分ＡＣhigh＝｛αhigh，βhigh，γhigh｝が予測される。そして、高周波交流成分予測部３２によって予測された高周波交流成分ＡＣhighは、予測処理部３３に供給される。ここで、同数式７の定数ｋは、重み付け予測における予測の強さを表す。この定数ｋが大きすぎると発散してしまうので、ｋ＜１とする必要がある。本実施形態では一例としてｋ＝１／４に設定しているが、これ以外に１／２，１／８等の適宜の値を設定してもよい。

（数式７）
αhigh ＝ （α(t)high−α(l)high）・ｋ
βhigh ＝ （β(l)high−β(t)high）・ｋ
γhigh ＝ ０

この重み付け予測では、算出済みの高周波交流成分ＡＣ(t)high，ＡＣ(l)highを単純に加算するのではなく、対象ブロックＰＢを基準とした処理済ブロックＰＢt，ＰＢlの予測方向に応じて、高周波交流成分ＡＣ(t)high，ＡＣ(l)highの符号を適宜反転させている。

図１２は、水平成分（αhigh）の重み付け予測における符号反転の説明図である。図２に示したように、水平方向のアダマール基底（α基底）では、＋１，−１が水平方向に並んでいる。したがって、対象ブロックＰＢsの垂直方向（上方）に近接した処理済ブロックＰＢtに関しては、その交流成分を符号を反転させることなく、そのままの値（＋α(t)high）を用いた方が上方の画素との誤差が小さくなる。また、対象ブロックＰＢsの水平方向（左方）に近接した処理済ブロックＰＢlに関しては、その交流成分の符号を反転させた値（−α(l)high）を用いた方が左方の画素との誤差が小さくなる。したがって、数式７に示した符号反転付の重み付け予測を行えば、対象ブロックＰＢsに関する水平方向の高周波交流成分αhighを適切に予測できる。

図１３は、垂直成分（αhigh）の重み付け予測における符号反転の説明図である。図２に示したように、垂直方向のアダマール基底（β基底）では、＋１，−１が垂直方向に並んでいる。したがって、対象ブロックＰＢsの垂直方向（上方）に近接した処理済ブロックＰＢtに関しては、その交流成分の符号を反転させた値（−β(t)high）を用いた方が上方の画素との誤差が小さくなる。また、対象ブロックＰＢsの水平方向（左方）に近接した処理済ブロックＰＢlに関しては、その交流成分を符号を反転させることなく、そのままの値（＋β(l)high）を用いた方が左方の画素との誤差が小さくなる。したがって、数式７に示した符号反転付の重み付け予測を行えば、対象ブロックＰＢsに関する垂直方向の高周波交流成分βhighを適切に予測できる。

なお、高周波交流成分予測の別の手法として、垂直方向（上方）の高周波交流成分ＡＣ(t)highおよび水平方向の高周波交流成分ＡＣ(l)highのいずれか一方のみを用いて、対象ブロックＰＢsの高周波交流成ＡＣhighを予測してもよい。例えば、左方の成分ＡＣ(l)highのみを用いる場合には、単純にＡＣ(t)high＝０とし、係数ｋを例えば１／４から１／２に変えればよい。さらに、本実施形態では、γ成分についてはγlow，γhigh＝０としているが、適宜の手法を用いてγ成分の予測を加えてもよい。γ成分の予測に関しては、例えば、本出願人が既に出願した特願２０１０−１０９０７９号にその詳細が開示されている。その概略は、まず、対象ブロックＰＢsの直流成分および参照情報を用いた線形予測によって、α成分およびβ成分が算出される。つぎに、対象ブロックＰＢsに関して、所定の処理済ブロックの直流成分と、先に算出されたα，β成分とを用いた重み付き加算によって、γ成分が算出される。重み付け加算は、対象ブロックＰＢsと処理済ブロックとの間における画素値の誤差を最小化するフィルタを用いて行われ、そのフィルタ係数は、これらのブロックの間における画素値の二乗誤差を極値または極値近傍にする値として予め設定されている。

予測処理部３３は、数式８に示すように、低周波交流成分予測部３１によって予測された低周波交流成分ＡＣlowと、高周波交流成分予測部３２によって予測された高周波交流成分ＡＣhighとを加算することによって、対象ブロックＰＢsの交流成分の予測値ＡＣpred＝｛αpred，βpred，γpred｝を算出する。予測処理部３３によって算出された予測値ＡＣpredは、交流成分復元部３５に供給される。

（数式８）
αpred ＝ αlow＋αhigh
βpred ＝ βlow＋βhigh
γpred ＝ γlow＋γhigh

交流成分復元部３５は、減算器３５ａと、非可逆変換部３５ｂと、逆変換部３５ｃと、加算器３５ｄとを有する。交流成分復元部３５が担う役割としては、交流成分の予測値ＡＣpredと原画像との間に生じる残差成分ΔＡＣの算出・変換、および、交流成分の復元という２つがある。

具体的には、減算器３５ａは、数式９に示すように、予測処理部３３によって算出された予測値ＡＣpred＝｛αpred．βpred，γpred｝と、原画像における真値ＴＡＣ＝｛Ｔα，Ｔβ．Ｔγ｝との差分を残差成分ΔAC＝｛Δα，Δβ，Δγ｝として算出する。

（数式９）
Δα ＝ Ｔα−αpred
Δβ ＝ Ｔβ−βpred
Δγ ＝ Ｔγ−γpred

ここで、交流成分の真値ＴＡＣは、アダマール変換部３４によって算出・供給される。すなわち、図３に示したＤＣ算出部１によって算出されたＴＤＣ(n)のうち、対象ブロックＰＢsに関するもの（４値）がバッファから読み出され、これにアダマール変換を施すことによって、対象ブロックＰＢsに関する交流成分の真値ＴＡＣが生成される。予測値ＡＣpredが本来の画像（真値ＴＡＣ）に近くなるほど、残差成分ΔＡＣが小さくなる。残差成分ΔＡＣが小さくなれば、統計的に見た残差成分ΔＡＣの出現頻度が０近傍に偏る傾向が高まるので、エントロピー符号化を施す上で有利になる。

非可逆変換部３５ｂは、減算器３５ａによって算出された残差成分ΔＡＣに対して、例えば量子化といった非可逆変換を施し、エントロピー符号化部３６および逆変換部３５ｃに出力する。エントロピー符号化部３６は、残差成分ΔＡＣを非可逆変換したデータに対して、ハフマン符号化や算術符号化といったエントロピー符号化を施すことによって、最終的な出力である画像の圧縮データ（圧縮ＡＣn）を生成する。

一方、逆変換部３５ｃは、残差成分ΔＡＣを非可逆変換したデータに対して、可逆変換部３５ｂにおける非可逆変換とは逆の処理を施すことによって、残差成分ΔＡＣ’＝｛Δα’，Δβ’，Δγ’｝を算出する。この残差成分ΔＡＣ’は、本来の残差成分ΔＡＣを復元した値だが、非可逆変換（元の値を完全に復元することはできない）が施されている関係上、本来の残差成分ΔＡＣとは僅かに相違する。

加算器３５ｄは、数式１０に示すように、予測処理部３３から供給された交流成分の予測値ＡＣpredに、残差成分ΔＡＣ’を加算することによって、交流成分の復元値ＡＣ’＝｛α’，β’，γ’｝を算出する。加算器３５ｄの入力として本来の残差成分ΔＡＣはなく、復元された残差成分ΔＡＣ’を用いる理由は、デコード時の繰り返し処理によって誤差が累積することを防止し、伸張画像の再現性を担保するためである。

（数式１０）
α' ＝ αpred＋Δα’
β’ ＝ βpred＋Δβ’
γ’ ＝ γpred＋Δγ’

逆アダマール変換部３７は、加算器３５ｄより出力された対象ブロックＰＢsの交流成分ＡＣ’（復元値）と、バッファから読み出された対象ブロックＰＢsの直流成分ＤＣ(n-1)とを入力とした逆アダマール変換を行い、対象ブロックＰＢsを細分化した各サブブロックの平均画素値ＤＣ(n)（サブブロックの直流成分）を算出する。算出された直流成分ＤＣ(n)は、バッファに一時的に格納される。バッファに格納された直流成分ＤＣ(n)は、直下位の階層における処理で随時読み出され、その処理に必要な情報として用いられる。

高周波交流成分算出部３８は、数式１１に示すように、交流成分復元部３５によって復元された交流成分ＡＣ’と、低周波交流成分予測部３１によって予測された低周波交流成分ＡＣlowとの差分に基づいて、この対象ブロックＰＢsの高周波交流成分ＡＣhigh(n)＝｛αhigh(n)，βhigh(n)，γhigh(n)｝を算出する。

（数式１１）
αhigh(n) ＝ α’−αlow
βhigh(n) ＝ β’−βlow
γhigh(n) ＝ γ’−γlow

高周波交流成分算出部３８によって算出された高周波交流成分ＡＣhigh(n)は、バッファに一時的に格納される。バッファに格納された高周波交流成分ＡＣhigh(n)は、同一階層での次回以降の処理において随時読み出され、その処理に必要な処理済ブロックの情報として用いられる。

なお、以上の説明から明らかなように、対象ブロックＰＢsを対象とした今回の処理では、２種類の高周波交流成分ＡＣhigh，ＡＣhigh(n)が算出されるが、両者は異なる用途で用いられる点に留意されたい。高周波交流成分予測部３２の出力である高周波交流成分ＡＣhighは、今回の処理で算出される対象ブロックＰＢsの予測値ＡＣpred自体に反映すべき値である。これに対して、高周波交流成分算出部３８の出力である高周波交流成分ＡＣhigh(n)は、それ以降の処理で高周波交流成分ＡＣhighを予測するために、換言すれば、対象ブロックＰＢsの予測残差ΔＡＣ（≒ΔＡＣ’）を他のブロックに反映するために用いられる。

このように、本実施形態に係るＲＡＣＰエンコーダによれば、対象ブロックＰＢsに関する交流成分の予測値ＡＣpredとして、低周波交流成分予測部３１によって予測された低周波交流成分ＡＣlowそのものではなく、これに高周波交流成分予測部３２によって予測された高周波交流成分ＡＣhighを加算することによって、補正された値が用いられる。すなわち、予測値ＡＣpredは、低周波交流成分ＡＣlowを高周波交流成分ＡＣhighで補正することによって算出される。高周波交流成分予測部３２は、今回の予測で加味すべき高周波交流成分ＡＣhigh（低周波交流成分予測では予測できない）を、処理済ブロックの高周波交流成分ＡＣhigh(n)、すなわち従前の処理で既に算出された値を用いた重み付け予測によって算出する。高周波交流成分ＡＣhigh(n)は、予測値ＡＣpredに残差成分ΔＡＣ（≒ΔＡＣ’）を加算した復元値ＡＣ（≒ＡＣ’）から低周波交流成分ＡＣlowを除いたものに相当する。したがって、高周波交流成分ＡＣhigh(n)は残差成分ΔＡＣに依存することになり、予測が外れて原画像との残差成分ΔＡＣが大きくなるほど高周波交流成分ＡＣhigh(n)も大きくなる。従前の高周波交流成分ＡＣhigh(n)から今回の高周波交流成分ＡＣhighが予測され、これが今回の低周波交流成分ＡＣlowに加算される。これにより、今回の予測値ＡＣpredに従前の残差成分ΔＡＣが反映される。また、今回の処理で高周波交流成分算出部３８が算出した高周波交流成分ＡＣhigh(n)を用いて、次回以降の高周波交流成分ＡＣhighが予測され、これが次回以降の低周波交流成分ＡＣlowに加算される。これにより、次回以降の予測値ＡＣpred（将来値）に今回の残差成分ΔＡＣ’（過去値）が反映される。このような処理の繰り返しによって、あるブロックの残差成分ΔＡＣが高周波交流成分ＡＣhigh(n)として他のブロックに順次伝搬・反映されていく。

残差成分ΔＡＣの伝搬について、図１４を参照して詳述する。図１４は、ある任意のブロックＰＢ11を起点とした残差伝搬の説明図である。ブロックＰＢ11の残差成分ΔＡＣ11は、このブロックＢ11を参照するブロックＰＢ12の高周波交流成分ＡＣhighを介して、ブロックＰＢ12の予測値ＡＣpredに反映された後、それ以降の水平方向のブロックＰＢ13，ＰＢ14にも順次伝搬されていく。一方、この残差成分ΔＡＣ11は、ブロックＰＢ11を参照するブロックＰＢ21の高周波交流成分ＡＣhighを介して、ブロックＰＢ21の予測値ＡＣpredに反映された後、それ以降の垂直方向のブロックＰＢ31，ＰＢ41にも順次伝搬されていく。同様に、各ブロックＰＢ21，ＰＢ31，ＰＢ41よりも右側に位置する水平方向のブロックにも残差成分ΔＡＣ11が順次伝搬されていく。ここで、高周波交流成分ＡＣhighの予測手法として重み付け予測を用いている関係上、他のブロックに及ぼす残差成分ΔＡＣ11の影響の度合いは、ブロックＰＢ11から遠くなるほど低下する。上述した数式７より、残差成分ΔＡＣの影響を受けるブロックが参照ブロックＰＢ11から遠くなるほど、このブロックにより近い他の参照ブロックの影響の方が強くなっていくからである。画像に空間的な相関性があるということは、予測誤差の生じ方にも空間的な相関性が認められるということである。この知得に基づき、ブロックＰＢ11に近いブロックほど、その予測値ＡＣpredに残差成分ΔＡＣ11を強く反映させる。これにより、通常の交流成分予測（低周波交流成分予測）だけでは空間的に近い画像領域内で同様に生じるであろう残差成分ΔＡＣを、高周波交流成分ＡＣhighを加味することによって相殺できる。残差成分ΔＡＣ11を他のブロックにどの程度強く反映させるかは、予測の強さを表す係数ｋ（数式７を参照）によって決定される。逆に、ブロックＰＢ11から遠いブロックほど、その予測値ＡＣpredに対する残差成分ΔＡＣ11の反映の度合いを低下させる。これにより、相関性が低いブロックに及ぼす残差成分ΔＡＣ11の悪影響が抑制される。以上のような残差伝搬は、ブロックＰＢ11以外のブロックについても、それを起点として同様に生じる。

このような残差成分ΔＡＣの伝搬によって、交流成分予測だけでは捉えられない成分（従前の残差成分ΔＡＣに起因したもの）が予測値ＡＣpredに加味されるので、予測画像が原画像に近づく傾向が高まり、予測精度の一層の向上を図ることが可能になる。そして、予測精度が向上した分だけ、画像の圧縮率を高めることができる。特に、図４に示したようなパイプライン的な並行処理を行えば、全体的な処理時間を短縮できる。

（ＲＡＣＰエンコードプログラム）
つぎに、ハードウェアとして実現されるＲＡＣＰエンコーダと同等の処理を、コンピュータのソフトウェア処理によって実現するためのＲＡＣＰエンコードプログラムについて説明する。なお、ハードウェア処理とソフトウェア処理との間には本質的な相違はないので、ここでは概略的な説明に留め、その詳細は上述したＲＡＣＰエンコーダに関する記載を参照するものとする。

図１５は、ＲＡＣＰエンコードプログラムのフローチャートである。コンピュータによるソフトウェア処理では、図５に示したような逐次処理が基本となる。まず、ステップ１において、入力画像の画像平面上にブロック（４タイプ）が複数設定され、それぞれのブロックの平均画素値ＴＤＣ0〜ＴＤＣ3が算出される。算出された平均画素値ＴＤＣ0〜3は、バッファに随時格納される。すべてのブロックの処理が終了するとステップ２に進む。

ステップ２において、８×８ブロックの平均画素値ＴＤＣ0に対して、ＤＣ符号化、すなわち、差分パルス幅変調とエントロピー符号化とが施され、これによって、圧縮データの一部となる画像の直流成分ＤＣ0が生成・出力される。また、その復元値がＤＣ0としてバッファに格納される。

ステップ３において、階層番号ＬＮが１（初期値）にセットされる。ＬＮ＝１は、処理を行うべき階層が最上位階層であることを示す。そして、１つの階層処理が終了する毎に１ずつインクリメントされ（ステップ１６）、下位の階層へと順番に推移していく。そして、ＬＮ＝３、すなわち最下位階層の処理が終わった時点で、全ての処理が終了する（ステップ１５）。

ステップ４において、ブロック番号ＢＮが１（初期値）にセットされる。先のステップ３における階層番号ＬＮの設定にともない、その階層で処理対象となるブロックのサイズは一義的に特定され、全体のブロック数に応じた終了ブロック番号ＢＮendも特定される。同一階層内におけるブロックの処理が終了する毎にブロック番号ＢＮが１ずつインクリメントされ（ステップ１４）、処理対象が所定の方向に順次シフトしていく。そして、終了ブロック番号ＢＮendに相当するブロックの処理が終了した時点で、その階層における処理が終了する（ステップ１３）。

ステップ５において、ブロック番号ＢＮによって指定されたブロックを対象ブロックＰＢsとして、その低周波交流成分ＡＣlowが予測される。低周波交流成分ＡＣlowは、対象ブロックＰＢsの参照領域に相当するブロックの直流成分ＤＣ(n-1)（直上位の階層にて算出）を用いた交流成分予測によって算出される。なお、対象ブロックＰＢsと同一サイズのブロックのみを用いた交流成分予測のみならず、サブブロックの直流成分ＤＣ(n)（同一階層にて算出）を併用した交流成分予測を行ってもよいことは上述した通りである。

ステップ６において、対象ブロックＰＢsの高周波交流成分ＡＣhighが予測される。高周波交流成分ＡＣhighは、対象ブロックＰＢsの近傍に位置し、かつ、従前の処理で既に処理された処理済ブロックの高周波交流成分ＡＣhigh(n)（同一階層にて算出）を用いた重み付け予測によって算出される。この予測によって、上記処理済ブロックの残差成分ΔＡＣ’が高周波交流成分ＡＣhighに反映される。

ステップ７において、対象ブロックＰＢsの低周波交流成分ＡＣlowと、対象ブロックＰＢsの高周波交流成分ＡＣhighとを加算することによって、対象ブロックＰＢsの交流成分の予測値ＡＣpredが算出される。これにより、ステップ６で述べた上記処理済ブロックの残差成分ΔＡＣ’は、高周波交流成分ＡＣhighを介して、予測値ＡＣpredに反映されることになるので、予測精度の向上が期待できる。そして、ステップ８において、対象ブロックＰＢsの予測値ＡＣpredと、対象ブロックＰＢsに対応した原画像の真値ＴＡＣとの差分が残差成分ΔＡＣとして算出される。

ステップ９では、ステップ８で算出された残差成分ΔＡＣに対して、非可逆変換およびエントロピー符号化が施される。これによって、画像の圧縮データの一部としての圧縮ＡＣ(n)が生成される。ステップ９に続くステップ１０において、非可逆変換が施された残差成分ΔＡＣに対して、その逆処理が行われ、本来の残差成分ΔＡＣを復元した復元値ΔＡＣ’が算出される。

ステップ１１では、ステップ７で算出された予測値ＡＣpredに、残差成分ΔＡＣ’（復元値）を加算することによって、対象ブロックＰＢsの交流成分ＡＣ’が復元される。そして、これを入力とした逆アダマール変換によって、対象ブロックＰＢsを細分化した各サブブロックの平均画素値ＤＣ(n)が算出される。

ステップ１２では、ステップ１１で算出された交流成分の復元値ＡＣ’と、ステップ５で算出された低周波交流成分ＡＣlowとの差分に基づいて、次回以降の処理で処理済ブロックの情報として用いられる高周波交流成分ＡＣhigh(n)が算出される。なお、ステップ１０〜１２の処理は、ＬＮ＝３、すなわち最下位の階層処理ではスキップされる。

ステップ１３において、ブロック番号ＢＮが終了ブロック番号ＢＮendに到達したか否かが判断される。終了ブロック番号ＢＮendに到達するまでは、ステップ１４においてブロック番号ＢＮが１ずつインクリメントされていき、ステップ５〜１４のループが繰り返される。そして、終了ブロック番号ＢＮendに到達した場合、すなわち、画像平面内の全ブロックの処理が終了した場合には、ループを抜けてステップ１５に進む。

ステップ１５において、階層番号ＬＮが３（最下位階層）に到達したか否かが判断される。ＬＮ＝３に到達するまでは、ステップ１６において階層番号ＬＮが１ずつインクリメントされていき、それぞれの階層の処理としてステップ５〜１４のループが繰り返される。これにより、階層が下位になるにしたがって、処理対象となるブロックのサイズが段階的に小さくなっていき、上述した一連の処理が再帰的に実行される。上位階層側において算出されたサブブロックの直流成分ＤＣn（出力）は、下位階層側のブロックの直流成分ＤＣn-1（入力）として用いられる。そして、ＬＮ＝３で、かつ、ＢＮ＝ＢＮendに到達した場合、すなわち、最下位階層の全処理が終了した場合には、ステップ１３，１５の判断からループを抜け、これによって、本プログラムの処理が終了する。

本実施形態に係るＲＡＣＰエンコードプログラムによれば、上述したＲＡＣＰエンコーダと同様、予測精度の一層の向上を図ることができ、画像の圧縮率を高めることができる。

（ＲＡＣＰデコーダ）
図１６は、上述したＲＡＣＰエンコーダまたはＲＡＣＰエンコードプログラムによって生成された圧縮データを伸張するＲＡＣＰデコーダの全体構成図である。このデコーダは、ＤＣ復号化５と、３つの階層処理部６ａ〜６ｃとを主体に構成されている。これらのユニット５，６ａ〜６ｃより出力されたデータＤＣn（n=0,1,2,3）は、図示しないバッファ（記憶部）に一時的に格納される。

ＤＣ復号化５および階層処理部６ａ〜６ｃは、８×８ブロック（最上位階層）、４×４ブロック（第２位階層）、２×２ブロック（第３位階層）、１×１ブロック（最下位階層）の階層構造において、自己に割り当てられた階層処理を行う。最上位階層のＤＣ復号化部５は、画像の直流成分ＤＣ0に関する圧縮データに対して、画像圧縮時に施された処理の逆処理を行うことによって、８×８ブロックの平均画素値ＤＣ0を生成し、これを第２位階層の階層処理部６ａに供給する。

ＲＡＣＰデコーダの階層構造自体は、ＲＡＣＰエンコーダのそれとほぼ同様であるが、エンコーダにおける階層処理部３ａ〜３ｃの出力となる交流成分ＡＣ1〜ＡＣ3が、デコーダにおける階層処理部６ａ〜６ｃの入力となる点が相違する。これらの階層処理部６ａ〜６ｃは、画像の交流成分ＡＣ1〜ＡＣ3に関する圧縮データと、直上位の階層より供給された平均画素値ＤＣn-1とに基づいて、平均画素値ＤＣnを復元する。復元された平均画素値ＤＣnは、必要に応じて直下位の階層に供給するために出力され、バッファに格納される。そして、最下位階層の階層処理部６ｃによって算出された１×１ブロックの平均画素値ＤＣ3の集合が最終的な伸張画像となる。なお、デコーダにおける順次シフトの方向は、エンコーダのそれに準じるものとする。また、デコーダの処理は、並列処理および逐次処理のどちらであってもよい。

図１７は、ＲＡＣＰデコーダにおける階層処理部６（６ａ〜６ｃの総称）の構成図である。それぞれの階層における階層処理部６は、取り扱うブロックのサイズが異なる点を除けば、基本的な構成および動作はほぼ同様である（最下位の階層処理部６ｃについては一部簡略化できる）。階層処理部６は、低周波交流成分予測部６１と、高周波交流成分予測部６２と、予測処理部６３と、交流成分復元部６５と、逆アダマール変換部６７と、高周波交流成分算出部６８とを主体に構成されている。

低周波交流成分予測部６１は、対象ブロックＰＢsの参照領域に相当するブロックの直流成分ＤＣ(n-1)を用いた交流成分予測によって、対象ブロックＰＢsの低周波交流成分を予測する。高周波交流成分予測部６２は、対象ブロックＰＢsの近傍に位置し、かつ、従前の処理で既に処理された処理済ブロックの高周波交流成分ＡＣhigh(n)を用いた重み付け予測によって、対象ブロックＰＢsの高周波交流成分ＡＣhighを予測する。そして、予測処理部６３は、低周波交流成分予測部６１によって予測された低周波交流成分ＡＣlowと、高周波交流成分予測部６２によって予測された高周波交流成分ＡＣhighとを加算することによって、対象ブロックＰＢsの交流成分の予測値ＡＣpredを算出する。ここまでの処理は、図６に示したＲＡＣＰエンコーダのユニット３１〜３３の処理と同様である。

交流成分復元部６５は、予測処理部６３によって算出された予測値ＡＣpredと、原画像との残差成分ΔＡＣ’(復元値）とを加算することによって、対象ブロックＰＢsの交流成分の復元値ＡＣ’を算出する。交流成分復元部６５は、図６に示した逆変換部３５ｃと同様の逆変換部６５ｃと、同図に示した加算器３５ｄと同様の加算器６５ｄとを有するが、同図に示した減算器３５ａや非可逆変換部３５ｂの如きものは存在しない。逆変換部６５ｃは、非可逆圧縮された画像の圧縮データ（圧縮ＡＣ(n)）に対して、画像圧縮時に施された非可逆変換およびエントロピー符号化の双方に関する逆処理を行うことによって、原画像との残差成分ΔＡＣ’を復元する。加算器６５ｄは、予測処理部６３によって算出された予測値ＡＣpredに、逆変換部６５ｃから出力された残差成分ΔＡＣ’を加算することによって、対象ブロックＰＢsの交流成分の復元値ＡＣ’を算出する。

逆アダマール変換部６７は、加算器６５ｄより出力された対象ブロックＰＢsの交流成分ＡＣ’（復元値）と、バッファから読み出された対象ブロックＰＢsの直流成分ＤＣ(n-1)とを入力とした逆アダマール変換を行い、対象ブロックＰＢsを細分化した各サブブロックの平均画素値ＤＣ(n)（サブブロックの直流成分）を算出する。算出された直流成分ＤＣ(n)は、バッファに一時的に格納される。バッファに格納された直流成分ＤＣ(n)は、直下位の階層における処理で随時読み出され、その処理に必要な情報として用いられる。

高周波交流成分算出部６８は、交流成分復元部６５によって復元された交流成分ＡＣ’と、低周波交流成分予測部３１によって予測された低周波交流成分ＡＣlowとの差分に基づいて、この対象ブロックＰＢsの高周波交流成分ＡＣhigh(n)を算出する。算出された高周波交流成分ＡＣhigh(n)は、バッファに一時的に格納される。バッファに格納された高周波交流成分ＡＣhigh(n)は、同一階層での次回以降の処理において随時読み出され、その処理に必要な処理済ブロックの情報として用いられる。

このように、本実施形態に係るＲＡＣＰデコーダによれば、上述したＲＡＣＰデコーダまたはＲＡＣＰエンコードプログラムによって生成された圧縮データを適切に伸張できる。特に、図４に示したようなパイプライン的な並行処理を行えば、全体的な処理時間を短縮できる。

（ＲＡＣＰデコードプログラム）
つぎに、ハードウェアとして実現されるＲＡＣＰデコーダと同等の処理を、コンピュータのソフトウェア処理によって実現するためのＲＡＣＰデコードプログラムについて説明する。なお、ハードウェア処理とソフトウェア処理との間には本質的な相違はないので、ここでは概略的な説明に留め、その詳細は上述したＲＡＣＰデコーダ等に関する記載を参照するものとする。

図１８は、ＲＡＣＰデコードプログラムのフローチャートである。コンピュータによるソフトウェア処理では、図５に示したような逐次処理が基本となる。まず、ステップ２１において、画像の直流成分ＤＣ0の圧縮データに対して、ＤＣ復号化、すなわち、データ圧縮時に施された符号化処理の逆処理が施され、これによって、８×８ブロックの平均画素値ＤＣ0が復元され、これがバッファに格納される。

ステップ２２，２３において、ＲＡＣＰエンコードプログラムと同様に、階層番号ＬＮが１（初期値）、ブロック番号ＢＮが１（初期値）にそれぞれセットされる。つぎに、ステップ２４，２５において、ブロック番号ＢＮによって指定されたブロックを対象ブロックＰＢsとして、その低周波交流成分ＡＣhighおよび高周波交流成分ＡＣhighがそれぞれ予測される。ステップ２５に続くステップ２６では、対象ブロックＰＢsの低周波交流成分ＡＣlowと、対象ブロックＰＢsの高周波交流成分ＡＣhighとを加算することによって、対象ブロックＰＢsの交流成分の予測値ＡＣpredが算出される。

ステップ２７では、画像の圧縮データである圧縮ＡＣn(n)が伸張され、これによって、残差成分ΔＡＣ’が復元される。ステップ２８では、ステップ２６で算出された交流成分の予測値ＡＣpredに、ステップ２７で算出された残差成分ΔＡＣ’を加算することによって、対象ブロックＰＢsの交流成分の復元値ＡＣ’が復元される。そして、これを入力とした逆アダマール変換によって、対象ブロックＰＢsを細分化した各サブブロックの平均画素値ＤＣ(n)が算出される。そして、ステップ２９では、ステップ１８で算出された交流成分の復元値ＡＣ’と、ステップ２４で算出された低周波交流成分ＡＣlowとの差分に基づいて、次回以降の処理で処理済ブロックの情報として用いられる高周波交流成分ＡＣhigh(n)が算出される。なお、ステップ２９の処理は、ＬＮ＝３、すなわち最下位の階層処理ではスキップされる。

ステップ３０において、ブロック番号ＢＮが終了ブロック番号ＢＮendに到達したか否かが判断される。終了ブロック番号ＢＮendに到達するまでは、ステップ３１においてブロック番号ＢＮが１ずつインクリメントされていき、ステップ２４〜３１のループが繰り返される。そして、終了ブロック番号ＢＮendに到達した場合、すなわち、画像平面内の全ブロックの処理が終了した場合には、ステップ３０の判断結果よりループを抜け、ステップ３２に進む。

ステップ３２において、階層番号ＬＮが３（最下位階層）に到達したか否かが判断される。Ｎ＝３に到達するまでは、ステップ３３において階層番号ＬＮが１ずつインクリメントされていき、それぞれの階層の処理としてステップ２４〜３１のループが繰り返される。これにより、階層が下位になるにしたがって、処理対象となるブロックのサイズが段階的に小さくなっていき、上述した一連の処理が再帰的に実行される。上位階層側において算出されたサブブロックの直流成分ＤＣn（出力）は、下位階層側のブロックの直流成分ＤＣn-1（入力）として用いられる。そして、ＬＮ＝３で、かつ、ＢＮ＝ＢＮendに到達した場合、すなわち、最下位階層の処理が終了した場合には、ステップ３０，３２の判断からループを抜け、これによって、本プログラムの処理が終了する。

本実施形態に係るＲＡＣＰデコードプログラムによれば、上述したＲＡＣＰデコーダと同様の効果を奏する。

なお、以上の本実施形態に関する説明では、従前の残差成分ΔＡＣに起因した高周波交流成分ＡＣhighに関しては、交流成分予測だけでは予測できず、その予測値ＡＣlowには含まれない成分であるという意味合いで、予測値ＡＣlow（低周波成分）に対する高周波成分と位置付けている。これを別の視点で捉えるならば、高周波交流成分ＡＣhighを、交流成分予測によって予測された交流成分ＡＣlowの補正成分とみなすこともできる。この場合、低交流周波成分ＡＣlowおよび高周波交流成分ＡＣhighの加算にて予測値ＡＣpredを算出するプロセスは、交流成分予測によって予測された予測値ＡＣlowを、従前の残差成分ΔＡＣ（≒ＡＣhigh(n)）に起因した補正成分ＡＣhighで補正することによって、補正予測値ＡＣpredを算出するプロセスであると言い換えることができる。

以上のように、本発明に係る交流成分予測手法は、予測精度の向上により画像の圧縮率を高める用途に対して、広く適用できる。

１ ＤＣ算出部
２ ＤＣ符号化部
３（３ａ〜３ｃ） 階層処理部
５ ＤＣ復号化部
６（６ａ〜６ｃ） 階層処理部
３１，６１ 低周波交流成分予測部
３２，６２ 高周波交流成分予測部
３３，６３ 予測処理部
３４ アダマール変換部
３５，６５ 交流成分復元部
３５ａ 減算器
３５ｂ 非可逆変換部
３５ｃ，６５ｃ 逆変換部
３５ｄ，６５ｄ 加算器
３６ エントロピー符号化部
３７，６７ 逆アダマール変換部
３８，６８ 高周波交流成分算出部

Claims (12)

1. 画像平面上に設定されたブロック毎の繰り返し処理によって、ブロック単位で交流成分予測を行う交流成分予測システムにおいて、
   今回の処理で処理対象となる対象ブロックの参照領域に相当するブロックの直流成分を用いた交流成分予測によって、前記対象ブロックの低周波交流成分を予測する低周波交流成分予測部と、
   前記対象ブロックの近傍に位置し、かつ、従前の処理で既に処理された処理済ブロックの高周波交流成分を用いた重み付け予測によって、前記対象ブロックの高周波交流成分を予測する高周波交流成分予測部と、
   前記低周波交流成分予測部によって予測された低周波交流成分と、前記高周波交流成分予測部によって予測された高周波交流成分とを加算することによって、前記対象ブロックの交流成分の予測値を算出する予測処理部と、
   前記予測処理部によって算出された予測値と、原画像との残差成分とを加算することによって、前記対象ブロックの交流成分の復元値を算出する交流成分復元部と、
   前記交流成分復元部によって算出された復元値と、前記低周波交流成分予測部によって予測された低周波交流成分との差分に基づいて、次回以降の処理で前記処理済ブロックの情報として用いられる高周波交流成分を算出する高周波交流成分算出部と
   を有することを特徴とする交流成分予測システム。
2. 前記高周波交流成分予測部は、前記対象ブロックと前記処理済ブロックとの間における画素値の誤差が小さくなるように、前記対象ブロックを基準とした前記処理済ブロックの予測方向に応じて、前記処理済ブロックの高周波交流成分の符号を反転させた上で、前記重み付け予測を行うことを特徴とする請求項１に記載された交流成分予測システム。
3. 前記交流成分は、水平方向のアダマール基底の成分を規定する水平成分を含み、
   前記高周波交流成分予測部は、前記対象ブロックの垂直方向に近接した前記処理済ブロックに関する前記水平成分と、前記対象ブロックの水平方向に近接した前記処理済ブロックに関する前記水平成分の符号を反転させた値とを加算することによって、前記水平成分に含まれる高周波交流成分に関する前記重み付け予測を行うことを特徴とする請求項２に記載された交流成分予測システム。
4. 前記交流成分は、垂直方向のアダマール基底の成分を規定する垂直成分を含み、
   前記高周波交流成分予測部は、前記対象ブロックの垂直方向に近接した前記処理済ブロックに関する前記垂直成分の符号を反転させた値と、前記対象ブロックの水平方向に近接した前記処理済ブロックに関する前記垂直成分とを加算することによって、前記垂直成分に含まれる高周波交流成分に関する前記重み付け予測を行うことを特徴とする請求項２または３に記載された交流成分予測システム。
5. 前記交流成分予測システムは、画像を非可逆圧縮するエンコーダであって、
   前記交流成分復元部は、
   前記予測処理部によって算出された予測値と、原画像における真値との差分を残差成分として算出する減算器と、
   前記減算器によって算出された残差成分に非可逆変換を施す非可逆変換部と、
   前記非可逆変換部から出力された残差成分にエントロピー符号化を施して、画像の圧縮データを出力するエントロピー符号化部と、
   前記非可逆変換部から出力された残差成分に、前記非可逆変換とは逆の処理を施すことによって、残差成分を復元する逆変換部と、
   前記予測処理部によって算出された予測値に、前記逆変換部から出力された残差成分を加算する加算器と
   を有することを特徴とする請求項１から４のいずれかに記載された交流成分予測システム。
6. 前記交流成分予測システムは、非可逆圧縮された画像を伸張するデコーダであって、
   前記交流成分復元部は、
   非可逆圧縮された画像の圧縮データに対して、画像圧縮時に施された非可逆変換およびエントロピー符号化の逆処理を行うことによって、原画像との残差成分を復元する逆変換部と、
   前記予測処理部によって算出された予測値に、前記逆変換部から出力された残差成分を加算することによって、交流成分を復元する加算器と
   を有することを特徴とする請求項１から４のいずれかに記載された交流成分予測プログラム。
7. 画像平面上に設定されたブロック毎の繰り返し処理によって、ブロック単位で行われる交流成分予測をコンピュータに実行させる交流成分予測プログラムにおいて、
   今回の処理で処理対象となる対象ブロックの参照領域に相当するブロックの直流成分を用いた交流成分予測によって、前記対象ブロックの低周波交流成分を予測する第１のステップと、
   前記対象ブロックの近傍に位置し、かつ、従前の処理で既に処理された処理済ブロックの高周波交流成分を用いた重み付け予測によって、前記対象ブロックの高周波交流成分を予測する第２のステップと、
   前記低周波交流成分と、前記高周波交流成分とを加算することによって、前記対象ブロックの交流成分の予測値を算出する第３のステップと、
   前記予測値と、原画像との残差成分とを加算することによって、前記対象ブロックの交流成分の復元値を算出する第４のステップと、
   前記復元値と、前記低周波交流成分との差分に基づいて、次回以降の処理で前記処理済ブロックの情報として用いられる高周波交流成分を算出する第５のステップと
   を実行させることを特徴とする交流成分予測プログラム。
8. 前記第２のステップは、前記対象ブロックと前記処理済ブロックとの間における画素値の誤差が小さくなるように、前記対象ブロックを基準とした前記処理済ブロックの予測方向に応じて、前記処理済ブロックの高周波交流成分の符号を反転させた上で、前記重み付け予測を行うステップであることを特徴とする請求項７に記載された交流成分予測プログラム。
9. 前記交流成分は、水平方向のアダマール基底の成分を規定する水平成分を含み、
   前記第２のステップは、前記対象ブロックの垂直方向に近接した前記処理済ブロックに関する前記水平成分と、前記対象ブロックの水平方向に近接した前記処理済ブロックに関する前記水平成分の符号を反転させた値とを加算することによって、前記水平成分に含まれる高周波交流成分に関する前記重み付け予測を行うステップであることを特徴とする請求項８に記載された交流成分予測プログラム。
10. 前記交流成分は、垂直方向のアダマール基底の成分を規定する垂直成分を含み、
    前記第２のステップは、前記対象ブロックの垂直方向に近接した前記処理済ブロックに関する前記垂直成分の符号を反転させた値と、前記対象ブロックの水平方向に近接した前記処理済ブロックに関する前記垂直成分とを加算することによって、前記垂直成分に含まれる高周波交流成分に関する前記重み付け予測を行うステップであることを特徴とする請求項８または９に記載された交流成分予測プログラム。
11. 前記交流成分予測プログラムは、画像を非可逆圧縮するエンコードプログラムであって、
    前記第４のステップは、
    前記予測値と、原画像における真値との差分を残差成分として算出するステップと、
    前記残差成分に非可逆変換を施すステップと、
    前記残差成分にエントロピー符号化を施して、画像の圧縮データを出力するステップと、
    前記残差成分に前記非可逆変換とは逆の処理を施すことによって、残差成分を復元するステップと、
    前記予測値に前記残差成分を加算するステップと
    を有することを特徴とする請求項７から１０のいずれかに記載された交流成分予測プログラム。
12. 前記交流成分予測プログラムは、非可逆圧縮された画像を伸張するデコードプログラムであって、
    前記第４のステップは、
    非可逆圧縮された画像の圧縮データに対して、画像圧縮時に施された非可逆変換およびエントロピー符号化の逆処理を行うことによって、原画像との残差成分を復元するステップと、
    前記予測値に前記残差成分を加算することによって、交流成分を復元するステップと
    を有することを特徴とする請求項７から１０のいずれかに記載された交流成分予測プログラム。

Images