JP5007430B2 - 交流成分予測システムおよび交流成分予測プログラム - Google Patents

Description

本発明は、交流成分予測システムおよび交流成分予測プログラムに係り、特に、ブロックの水平基底および垂直基底に直交する基底の成分（γ成分）の予測に関する。

従来より、交流成分予測（ＡＣＰ：ＡＣ Component Prediction）と呼ばれる画像処理手法が知られている。交流成分予測とは、図３に例示するように、処理対象となる対象ブロックの周辺領域（例えばＰＢl，ＰＢr，ＰＢt，ＰＢb）の情報を参照して、このブロックＰＢsを細分化したサブブロックの情報ｃ00〜ｃ11を求める手法をいう。交流成分予測では、対象ブロックＰＢsと、その近傍に位置する周辺領域との間における空間的な相関性を利用して、対象ブロックＰＢsのＤＣ値（平均値）を保持しつつ、空間分解能がより高いＡＣ値（交流成分）が算出される。特許文献１〜３には、対象ブロックを順次細分化し、画像画像データを階層的に符号化する再帰的交流成分予測符号化（ＲＡＣＰ）が開示されている。具体的には、まず画像平面上において対象ブロックを所定方向に順次シフトさせながら、これを細分化したサブブロックの予測画素値が順次算出される。つぎに、予測画素値と本来の画素値（真値）との差分が予測残差として算出される。そして、この予測残差に対して、非可逆変換およびエントロピー符号化を施すことによって、圧縮画像データの一部となる画像の交流成分が生成される。以上のような処理が、例えば、８×８画素のブロック（最上位階層）、４×４画素のブロック（第２位階層）、２×２画素のブロック(第３位階層）および１×１画素のブロック（最下位階層）よりなる階層構造において、再帰的に繰り返される。

日本特許第４０００１５７号公報 日本特許第３７７４２０１号公報 日本特許第３７００９７６号公報

ところで、周知のように、画像平面（実空間）上のブロックは、アダマール空間に写像することによって、理論上、互いに直交した３つのアダマール基底で表現することができる。図１は、画像平面上のブロックと、アダマール空間の表現式との関係図である。例えば、２×２画素で構成されるブロックは、その内部に存在する４つの画素値ｃ00〜ｃ11がどのような値であったとしても、このブロックの平均値ＤＣと、スカラー倍された３つのアダマール基底の和で表現できる。ここで、平均値ＤＣの後に続く第１のアダマール基底（α基底）では、＋１，−１が水平方向に並んでいる。また、これに続く第２のアダマール基底（β基底）では、＋１，−１が垂直方向に並んでいる。そして、これに続く第３のアダマール基底（γ基底）では、＋１，−１が斜めにクロスして並んでいる。これらのアダマール基底は、任意のものを選択して内積すると必ず０になることから明らかなように、互いに直交している。また、乗数αはα基底のスカラー値（α成分）、乗数βはβ基底のスカラー値（β成分）、乗数γはγ基底のスカラー値（γ成分）である。実空間からアダマール空間への写像では、周知のアダマール変換が用いられ、これによって、画素値ｃ00〜ｃ11からα成分、β成分およびγ成分が一義的に特定される。一方、周波数空間から実空間への写像では、周知の逆アダマール変換が用いられ、これによって、α成分、β成分およびγ成分から画素値ｃ00〜ｃ11が一義的に特定される。このことは、実空間上の処理と等価なことをアダマール空間上で行ってもよいことを意味する。交流成分予測についても同様で、ブロック内の画素値ｃ00〜ｃ11を予測することは、ブロックの平均値ＤＣが既知であることを前提に、α成分、β成分およびγ成分を予測することと等価である。

上述した従来技術に開示された交流成分予測をアダマール空間上の処理として捉えた場合、これらはいずれも水平方向および垂直方向のα，β成分の予測しかを行っておらず、これらに直交するγ成分については何ら考慮されていない。α，β成分のみの予測であっても、予測精度をある程度確保できるものの、γ成分についても予測できれば更なる精度向上が期待できる。なお、γ成分を考慮しない理由は、γ基底における＋１，−１の並びが斜めに交叉したサドル型になっているので、水平方向または垂直方向で行われているような単純な線形予測の適用が困難だからである。

そこで、本発明の目的は、交流成分予測において、水平方向および垂直方向以外の他の直交成分（γ成分）も予測することで、予測精度の一層の向上を図ることである。

かかる課題を解決すべく、第１の発明は、記憶部と、データ読出部と、第１の予測部と、第２の予測部と、データ書込部とを有し、画像平面上に設定されたブロック毎の順次処理によって、ブロック単位で交流成分予測を行う交流成分予測システムを提供する。記憶部は、それぞれのブロックの平均画素データを記憶しているとともに、交流成分予測によって算出されたブロックの画像データを順次記憶する。データ読出部は、処理対象となる対象ブロックの参照情報に相当するデータと、対象ブロックの平均画素データとを記憶部から読み出す。第１の予測部は、対象ブロックに関して、平均画素データおよび参照情報を用いた線形予測によって、水平方向のアダマール基底の成分を規定する第１の成分と、垂直方向のアダマール基底の成分を規定する第２の成分とを算出する。第２の予測部は、対象ブロックに関して、所定の処理済領域の画素値と、第１の成分および第２の成分とを用いた重み付き加算によって、水平方向のアダマール基底および垂直方向のアダマール基底に直交する他のアダマール基底の成分を規定する第３の成分を算出する。この処理済領域は、参照情報であって、対象ブロックの周辺に位置し、かつ、従前の処理によって交流成分予測が既に行われた領域の画素値である。データ書込部は、対象ブロックに関して、第１の成分と、第２の成分と、第３の成分とに応じた画像データを記憶部に書き込む。

ここで、第１の発明において、上記重み付き加算は、対象ブロックから第１の方向に位置する処理済領域において互いに隣接した複数の第１の画素値と、これらの第１の画素値と隣接した対象ブロック内の複数の画素値とを用いて行ってもよい。また、これに加えて、上記重み付き加算は、対象ブロックから第１の方向とは異なる第２の方向に位置する処理済領域において互いに隣接した複数の第２の画素値と、これらの第２の画素値と隣接した対象ブロック内の複数の画素値とを用いて行ってもよい。

第１の発明において、上記重み付け加算は、対象ブロックと処理済領域との間における画素値の誤差を最小化する重み係数群を用いて行うことが好ましい。この場合、重み係数群は、対象ブロックと処理済領域との間における画素値の二乗誤差を極値または極値近傍にする値として予め設定されていることがより望ましい。

第１の発明において、対象ブロックに関して、第１の成分と、第２の成分と、第３の成分とを用いた逆アダマール変換によって、対象ブロック内の画素値を算出する逆アダマール変換部をさらに設けてもよい。この場合、データ書込部は、逆アダマール変換部によって算出された対象ブロック内の画素値を、対象ブロックの画像データとして、記憶部に書き込むことが好ましい。

第１の発明において、第１の予測部は、自己において算出された第１の成分および第２の成分に原画像との残差情報を加算することによって、第１の成分および第２の成分を復元し、これらの復元値を第３の成分の算出に用いられる第１の成分および第２の成分として出力してもよい。また、第２の予測部は、自己において算出された第３の成分に原画像との残差情報を加算することによって、第３の成分を復元してもよい。この場合、データ書込部は、第１の成分の復元値と、第２の成分の復元値と、第３の成分の復元値とに応じた画像データを記憶部に書き込むことが好ましい。残差情報を用いて各成分を復元することによって、デコード時におけるブロック単位の繰り返し処理に起因した誤差の累積が防止され、伸張画像の再現性を担保できる。

第２の発明は、画像平面上に設定されたブロック毎の順次処理によって、ブロック単位の交流成分予測処理をコンピュータに実行させる交流成分予測プログラムを提供する。このプログラムは、処理対象となる対象ブロックの参照情報に相当するデータと、対象ブロックの平均画素データとを入力するステップと、対象ブロックに関して、平均画素データおよび参照情報を用いた線形予測によって、水平方向のアダマール基底の成分を規定する第１の成分と、垂直方向のアダマール基底の成分を規定する第２の成分とを算出するステップと、対象ブロックに関して、参照情報であって、対象ブロックの周辺に位置し、かつ、従前の処理によって交流成分予測が既に行われた処理済領域の画素値と、第１の成分および第２の成分とを用いた重み付き加算によって、水平方向のアダマール基底および垂直方向のアダマール基底に直交する他のアダマール基底の成分を規定し、かつ、第１の成分および第２の成分と共に対象ブロックの画像データを特定するのに必要な第３の成分を算出するステップとを有する交流成分予測処理をコンピュータに実行させる。

ここで、第２の発明において、上記重み付き加算は、対象ブロックから第１の方向に位置する処理済領域において互いに隣接した複数の第１の画素値と、これらの第１の画素値と隣接した対象ブロック内の複数の画素値とを用いて行ってもよい。また、これに加えて、上記重み付き加算は、対象ブロックから第１の方向とは異なる第２の方向に位置する処理済領域において互いに隣接した複数の第２の画素値と、これらの第２の画素値と隣接した対象ブロック内の複数の画素値とを用いて行ってもよい。

第２の発明において、上記重み付け加算は、対象ブロックと処理済領域との間における画素値の誤差を最小化する重み係数群を用いて行うことが好ましい。この場合、重み係数群は、対象ブロックと処理済領域との間における画素値の二乗誤差を極値または極値近傍にする値として予め設定されていることが望ましい。

第２の発明において、上記第２のステップは、このステップで算出された第１の成分および第２の成分に原画像との残差情報を加算することによって、第１の成分および第２の成分を復元し、これらの復元値を第３の成分の算出に用いられる第１の成分および第２の成分として出力するステップを含んでいてもよい。また、上記第３のステップは、このステップで算出された第３の成分に原画像との残差情報を加算することによって、第３の成分を復元するステップを含んでいてもよい。この場合、対象ブロックに関して、第１の成分の復元値と、第２の成分の復元値と、第３の成分の復元値とを用いた逆アダマール変換によって、前記対象ブロック内の画素値を算出する第４のステップと、対象ブロック内の画素値を、それ以降の処理における参照情報として用いるために記憶部に書き込む第５のステップとをさらに実行してもよい。残差情報を用いて各成分を復元することによって、デコード時におけるブロック単位の繰り返し処理に起因した誤差の累積が防止され、伸張画像の再現性を担保できる。

第１および第２の発明によれば、処理対象となる対象ブロックに関して、線形予測によって、水平方向のアダマール基底に関する第１の成分と、垂直方向のアダマール基底に関する第２の成分とが予測される。そして、この先行して予測された第１および第２の成分と、参照情報である処理済領域の画素値とを用いた重み付き加算によって、他のアダマール基底に関する第３の成分が予測される。このような２段階の予測を行うことで、先行する線形予測では予測することが困難な成分を補完的に算出することができる。このように、水平・垂直方向の予測に加えて、これらと直交する他のアダマール基底の成分も予測することで、水平・垂直方向の予測のみを行う従来技術と比較して、予測精度の一層の向上を図ることが可能になる。

画像平面上のブロックと、アダマール空間の表現との関係図 交流成分予測システムの構成図 画像平面におけるブロックの順次処理の説明図 γ予測で用いられる重み係数群の説明図 誤差関数ｅｒを用いたγ成分の予測を示す図 第１の変形例に係る重み係数群を示す図 第２の変形例に係る重み係数群を示す図 好ましくない重み係数群を示す図 交流成分予測予測プログラムのフローチャート

図２は、本実施形態に係る交流成分予測システムの構成図である。この交流成分予測システム１は、記憶部２と、データ読出部３と、２段階の予測部４，５と、逆アダマール変換部６と、データ書込部７とを主体に構成されており、画像平面上に設定されたブロック毎の順次処理によって、ブロック単位で交流成分予測を行う。この交流成分予測によって算出された画像データは、記憶部２にブロック単位で順次記憶される。本実施形態において、画像データは、処理対象となるブロック内に存在する画素値の集合（予測画像）である。また、記憶部２には、交流成分予測の開始に先立ち、それぞれのブロックの平均値ＤＣ（画素平均値）も記憶されている。この平均値ＤＣは、例えば、２×２画素でブロックが構成されている場合、その内部に存在する４つの画素値の平均である。

図３は、画像平面におけるブロックの順次処理の説明図である。ブロックＰＢは、交流成分予測を行おうとする画像（例えば１フレームの画像またはその部分画像）を縦横に分割することで、画像平面上に複数設定される。そして、交流成分予測は、画面上に設定されたブロックＰＢ毎に処理される。ブロックＰＢは、２×２画素以上であれば任意のサイズでよい。画像全体に対する処理は、処理対象となる対象ブロックＰＢsを画面上で順次シフトさせながらブロック単位で繰り返され、画像中の全ブロックの処理の終了を以て完了する。処理のシフト方向（スキャン方向）は、図示したように、水平方向に沿った線順次走査的なものであってもよいが、垂直方向に沿ったものも含めて、実装に応じて任意に設定することができる。図示したような線順次走査的なシフト方向の場合、対象ブロックＰＢsが属する水平ラインよりも上側が処理済領域、すなわち、従前の処理（対象ブロックＰＢsよりも前の処理）によって交流成分予測が既に行われた領域となる。そして、対象ブロックＰＢsが属する水平ラインよりも下側が未処理領域、すなわち、対象ブロックＰＢsの処理時点では交流成分予測が未だ行われていない領域となる。また、対象ブロックＰＢs上の水平ラインについては、その左側が処理済領域となり、その右側が未処理領域となる。したがって、対象ブロックＰＢsの上および左に隣接したブロックＰＢt，ＰＢlが処理済領域、対象ブロックＰＢsの下および右に隣接したＰＢb，ＰＢrが未処理領域にそれぞれ相当する。対象ブロックＰＢsの交流成分予測においては、対象ブロックＰＢs自体の平均値ＤＣのみならず、その周辺に位置する参照領域の情報が参照される。交流成分予測によって、対象ブロックＰＢsを４つに分割したサブブロックｓｂ00，ｓｂ01，ｓｂ10，ｓｂ11の画素値が特定される。細分化されたサブブロックｓｂ自体が複数の画素によって構成される場合、ここで特定される画素値は、サブブロックｓｂ内に含まれる複数の画素値の平均に相当する。以下、あるブロックＰＢを細分化した際、左上のサブブロックｓｂを”00”、右上を”01”、左下を”10”、右下を”11”の添字を以て識別する。

データ読出部３は、処理対象となる対象ブロックＰＢsの参照情報に相当する画像データと、対象ブロックＰＢs自体の平均値ＤＣとを記憶部２から読み出す。参照情報として読み出される画像データに関する画面上の位置およびブロックのサイズは、次に述べる前段予測部４および後段予測部５における参照領域の設定の仕方に依存する。

前段予測部４は、対象ブロックＰＢsに関して、その平均値ＤＣおよび参照情報を用いた線形予測によって、水平方向のアダマール基底の成分を規定するα成分と、垂直方向のアダマール基底の成分を規定するβ成分とを算出する。線形予測を用いた交流成分予測については、従来より様々な手法が提案されており、いずれの手法を用いてもよい。

例えば、特許第３７００９７６号公報に開示されている以下の数式１に基づいて算出することができる。ここで、ＤＣは対象ブロックＰＢs自体の平均値ＤＣである。また、Ｕは対象ブロックＰＢsの上方に隣接する上ブロックの平均値、Ｌは対象ブロックＰＢsの左方に隣接する左ブロックの平均値、Ｂは対象ブロックＰＢsの下方に隣接する下ブロックの平均値、そして、Rは対象ブロックＰＢsの右方に隣接する右ブロックの平均値である。上下左右のブロックのサイズは、対象ブロックＰＢsのそれと同じである。また、同数式における除算値８は、線形予測における隣接ブロックの距離に応じて一義的に特定される。

（数式１）
ｃ00 ＝ ＤＣ＋（Ｕ＋Ｌ−Ｂ−Ｒ）／８
ｃ01 ＝ ＤＣ＋（Ｕ＋Ｒ−Ｂ−Ｌ）／８
ｃ10 ＝ ＤＣ＋（Ｂ＋Ｌ−Ｕ−Ｒ）／８
ｃ11 ＝ ＤＣ＋（Ｂ＋Ｒ−Ｕ−Ｌ）／８

図１に示した関係から、数式１は、以下の数式２に示すアダマール式によって表現することができる。実空間とアダマール空間との間における写像の可逆性より、実空間におけるｃ00〜ｃ11を算出することは、アダマール空間におけるα，β成分を算出することと等価である。

（数式２）
ｃ00 ＝ ＤＣ＋α＋β
ｃ01 ＝ ＤＣ−α＋β
ｃ10 ＝ ＤＣ＋α−β
ｃ11 ＝ ＤＣ−α−β

上記例示の手法では、対象ブロックＰＢsの参照情報として、対象ブロックＰＢsと同サイズである上下左右のブロックの平均値（既知）のみが用いられ、ブロックの順次処理によって随時生成されるサブブロックの情報は必要ない。また、対象ブロックＰＢsと同サイズのブロックのみを用いた手法以外にも、特許第３７７４２０１号公報や特許第４０００１５７号公報に開示されているように、処理済領域（例えば図３のＰＢt，ＰＢl）については、ブロックを細分化したサブブロックの情報を用いてもよい。さらに、対象ブロックＰＢsに直接隣接したブロックやサブブロックの情報のみならず、そこから１ブロック離れたブロック等の情報も参照してもよい。いずれの手法でも、対象ブロックＰＢsの平均値ＤＣと、その参照情報とを用いた線形予測によって、実質的に対象ブロックＰＢsのα成分およびβ成分のみ算出される点に留意されたい。本実施形態の特徴の一つは、次に述べる後段予測部５におけるγ成分の予測に先立ち、線形予測によって対象ブロックＰＢsのα，β成分（またはそれと等価な画素値ｃ00〜ｃ11）を予測する点にある。

なお、本実施形態に係る交流成分予測を非可逆圧縮と組み合わせて用いる場合には、デコード時における伸張画像の再現性を担保する必要がある。このような場合、上記算出値（α，β成分）そのものではなく、原画像との残差情報を用いた復元値（α’，β’成分）が後段予測部５に出力される。具体的には、まず、対象ブロックＰＢsの残差情報として、原画像の本来値（αt，βt成分）と、上記算出値（α，β成分）との差分（Δα，Δβ）が算出される。そして、非可逆圧縮およびその逆変換が施された残差情報Δα’，Δβ’に上記算出値（α，β成分）を加算することによって、上記復元値（α’，β’成分）が算出される。なお、このような残差情報を用いた画像データの復元については、特開２０１０−９３６０８号公報、特開２０１０−８７６７３号公報、特開２００６−２９５８０４号公報等に詳細が開示されているので必要ならば参照されたい。

後段予測部５は、対象ブロックＰＢsに関して、水平・垂直方向のアダマール基底に直交する他のアダマール基底の成分を規定するγ成分を算出する。このγ成分の算出は、参照情報となる所定の処理済領域の画素値とα，β成分とを用いた重み付き加算によって、或いは、上記処理済領域の画素値とα，β成分に残差を加算した値とを用いた重み付き加算によって行われる。本実施形態では、図４（ａ）に例示するように、対象ブロックＰＢsの上方において互いに隣接した２つのサブブロックの画素値t10，t11の画素値と、対象ブロックＰＢsの左方において互いに隣接した２つのサブブロックの画素値l01，l11とが、処理済領域の画素値（参照情報）として用いられる。これらの画素値ｔ10，ｔ11，ｌ01，ｌ11は、画像の処理の開始時においては未知だが、ブロック単位の順次処理によって、対象ブロックＰＢsの処理の開始時には既知になっている。これらの参照情報は、対象ブロックＰＢs内の画素値と共に、同図（ｂ）に例示するような重み係数群（フィルタ係数）を用いて重み付き加算される。すなわち、γ成分は、数式３の予測式によって算出される。

（数式３）
γ ＝ （ｔ10−ｔ11＋ｌ01−ｌ11−２×ｃ00＋ｃ01＋ｃ10）／４

同数式において、画素値ｃ00，ｃ01，ｃ10は、数式１に示したように、前段予測部４によって先行して予測・展開された値である。これらは、対象ブロックＰＢsのα，β成分と以下の数式４のような関係にある。

（数式４）
−２×ｃ00＋ｃ01＋ｃ10 ＝ −４×（α＋β）

したがって、数式３は以下の数式５のような予測式で表すことができ、前段予測部４の出力をα，β成分にすることによってγ成分の予測を簡略化できる。

（数式５）
γ ＝ （ｔ10−ｔ11＋ｌ01−ｌ11−４（α＋β））／４

ここで、数式３，５に示したγ成分の予測式の導出について説明する。このγ予測の着眼点は、対象ブロックＰＢsのα，β成分を先行して展開し、これによって特定される対象ブロックＰＢsの画素と、周囲の画素との誤差が最小化されるように、γ成分を決定する点にある。対象ブロックＰＢsの処理時において、その上方に位置する処理済領域において互いに隣接した２つのサブブロックの画素値ｔ10，ｔ11、および、その左方に位置する処理済領域において互いに隣接した２つのサブブロックの画素値ｌ01，ｌ11は既知である。また、これらの画素値ｔ10，ｔ11，ｌ01，ｌ11と隣接した対象ブロックＰＢs内の画素値ｃ00，ｃ01，ｃ10については、対象ブロックＰＢsのα，β成分が反映されている。この場合、対象ブロックＰＢsと、その処理済領域との間における画素値の誤差を最小化する誤差関数ｅｒとして、数式６に示す二乗誤差を考える。

（数式６）
ｅｒ ＝ (ｔ10−(ｃ00＋γ))²＋(ｌ01−(ｃ00＋γ))²＋(ｌ11−(ｃ10−γ))²＋(ｔ11−(ｃ01−γ))²

つぎに、この誤差関数ｅｒを最小化するγを求める。図５に示すように、誤差関数ｅｒは、γの二次関数となるので、微分して０（傾き＝０）と置くことで極値が得られる。微分値（d/dγ）ｅｒは、以下の数式７で表され、この数式を変形することによって、γ成分の予測式が得られる。この予測式は、図４（ｂ）に示した重み係数群と等価である。

（数式７）
（d/d γ）ｅｒ ＝ −２(ｔ10−(ｃ00＋γ)−２(ｌ01−(ｃ00＋γ))＋２(ｌ11−(ｃ10−γ))＋２(ｔ11−(ｃ01−γ))
＝ ８γ−２ｔ10＋２ｃ00−２ｌ01＋２ｃ00＋２ｌ01ー２ｃ10＋2ｔ11−２ｃ01
＝ ０
γ ＝ （−２ｃ00＋ｃ01＋ｃ10−ｌ11−ｔ11＋ｌ01＋ｔ10）／４

なお、上記重み係数群は、数式６に示した誤差関数ｅｒを極値にするような値に設定することが最も好ましいが、極値近傍にする値であってもよい。極値近傍の値に近づけた分だけ、α，β成分だけでは表現しきれない成分に関する有効な補間が期待できるからである。このように、近傍画素との誤差に着目して予測することで、単なる線形予測では予測が困難なγ成分が補完的に算出される。

なお、本実施形態に係る交流成分予測を非可逆圧縮と組み合わせて用いる場合には、デコード時における伸張画像の再現性を担保すべく、上記算出値（γ成分）そのものではなく、原画像との残差情報を用いた復元値（γ’成分）が出力される。具体的には、まず、対象ブロックＰＢsの残差情報として、原画像の本来値（γt成分）と、上記算出値（γ成分）との差分（Δγ）が算出される。そして、非可逆圧縮およびその逆変換が施された残差情報Δγ’に上記算出値（γ成分）を加算することによって、上記復元値（γ’成分）が算出される。

逆アダマール変換部６は、前段予測部４によって算出されたα，β成分と、後段予測部５によって算出されたγ成分とを入力とした逆アダマール変換によって、対象ブロックＰＢs内の画素値ｃ00〜ｃ11を算出する。そして、データ書込部７は、対象ブロックＰＢsに関するα，β，γ成分に応じた画像データ、すなわち、これらの成分によって一義的に特定される画素ブロックＰＢs内の画素値ｃ00〜ｃ11を記憶部２に書き込む。なお、本実施形態に係る交流成分予測を非可逆圧縮と組み合わせて用いる場合には、復元α’，β’，γ’成分に応じた画像データが記憶部２に書き込まれる。

以上のような処理によって、今回の処理対象となる対象ブロックＰＢsの交流成分予測が終了し、次の処理対象に移行する。今回の処理で記憶部２に記憶された画像データは、それ以降の処理において参照情報として用いられる。そして、画像平面上のすべてのブロックの処理が終了したことを以て、この画像に対する交流成分予測が完了する。

このように、本実施形態によれば、処理対象となる対象ブロックＰＢsに関して、線形予測によって、水平方向のアダマール基底に関するα成分と、垂直方向のアダマール基底に関するβ成分とが予測される。そして、この先行して予測されたα，β成分と、参照情報である処理済領域の画素値とを用いた重み付き加算によって、他のアダマール基底に関するγ成分が予測される。このような２段階の予測を行うことで、先行する線形予測では予測することが困難なγ成分を補完的に算出することができる。この点に関して、上ブロックおよび左ブロックの平均値を予測に用いる従来の交流成分予測では、最小二乗解を計算する過程で上画素と左画素が打ち消し合い、重み付き係数が０となるため、γ成分の予測が実質的にできなかった。本実施形態では、処理済画素と、先行して展開されたα，β成分を用いることで、γ成分の予測を実現し、水平・垂直方向の予測に加えて、これらと直交する他のアダマール基底の成分も予測することで、水平・垂直方向の予測のみを行う従来技術と比較して、予測精度の一層の向上を図ることが可能になる。

また、本実施形態に係る交流成分予測を非可逆圧縮と組み合わせて用いる場合、残差情報を用いてα，β，γ成分を復元し、これらの復元値を用いて圧縮を行えば、デコード時におけるブロック単位の繰り返し処理に起因した誤差の累積が防止され、伸張画像の再現性を担保できる。

なお、上述した実施形態では、記憶部２に記憶される画像データの形式として、逆アダマール変換部６によって算出された画素値ｃ00〜ｃ11であるが、これに代えて、対象ブロックＰＢsのα，β，γ成分としてもよい。ただし、画素値ｃ00〜ｃ11の形式で記憶した方が、それ以降の処理において、読み出した画像データを参照情報としてそのまま使えるので有利である。

また、上述した実施形態では、図４に示したように、７つの画素値を用いた重み付き加算によってγ成分を予測しているが、この予測に用いる画素数を削減することも可能である。

図６は、第１の変形例に係る重み係数群を示す図である。この場合、対象ブロックＰＢsから上方に位置する処理済領域において互いに隣接した２つの画素値と、これらと隣接した対象ブロックＰＢs内の２つ画素値とを含む４つの画素値を用いて、以下の数式８からγ成分が予測される。

（数式８）
γ ＝ （ｔ10−ｔ11−ｃ00＋ｃ10）／２

図７は、第２の変形例に係る重み係数群を示す図である。この場合、対象ブロックＰＢsから左方に位置する処理済領域において互いに隣接した２つの画素値と、これらと隣接した対象ブロックＰＢs内の２つ画素値とを含む４つの画素値を用いて、以下の数式９からγ成分が予測される。

（数式９）
γ ＝ （ｌ01−ｌ11−ｃ00＋ｃ10）／２

ただし、図８に示すように、対象ブロックＰＢs内の単一の画素値（対象画素）で実装した場合、対象がその左上画素と近傍の画素については誤差が最小になるが、対象がその左下および右上画素と近傍画素については誤差が考慮されず、非連続になるという問題が生じる。そのため、対象ブロックＰＢs内における対象画素は、複数であることが好ましい。

さらに、上述した実施形態に係る交流成分予測システムと等価な処理は、コンピュータによっても実現できる。したがって、本発明は、画像平面上に設定されたブロック毎の順次処理によって、ブロック単位の交流成分予測処理をコンピュータに実行させる交流成分予測プログラムとして捉えることもできる。図９は、この交流成分予測予測プログラムのフローチャートである。

まず、ステップ１において、ループ変数ｋを初期化する。このループ変数ｋは、ブロック単位の順次処理の進捗を示し、処理が行われたブロックの個数をカウントする。ループ変数の初期値を１とし、画像平面上のブロックの総数をｋendとする。

ステップ２において、ループ変数ｋにおいて処理対象となるブロック、すなわち、対象ブロックＰＢs(k)に関して、その平均値ＤＣと、その参照情報に相当するデータとが入力される。これらの情報は、コンピュータの記憶部に記憶されており、ループ変数ｋに対応したデータが読み出され、これが入力される。

ステップ２に続くステップ３では、対象ブロックＰＢs(k)に関して、その平均値ＤＣと、参照情報とを用いた線形予測によって、水平方向のアダマール基底の成分を規定するα成分と、垂直方向のアダマール基底の成分を規定するβ成分とが先行予測される。このステップ３における処理については、上述した前段予測部４のそれと同様である。

ステップ４では、対象ブロックＰＢs（ｋ）に関して、参照情報となる処理済領域の画素値と、ステップ３で先行予測されたα，β成分とを用いた重み付き加算によって、γ成分が算出される。このγ成分は、α，β成分と共に対象ブロックＰＢs(k)の画像データを特定するのに必要な情報である。このステップ４の処理については、上述した後段予測部５のそれと同様である。対象ブロックＰＢs(k)に関するα，β，γ成分は、画像データとしてそのまま、或いは、画素値に変換された上、記憶部に記憶される。

ステップ５において、ループ変数ｋがブロック総数ｋendに到達したか否かが判定される。ブロック総数ｋendに到達していない場合には、ステップ６に進み、ループ変数ｋに１をインクリメントして、ステップ２に戻る。これにより、順次処理における次のブロックの交流成分予測が実行される。そして、最後のブロックの処理が完了するまで、ステップ２〜６のループが繰り返される。

そして、最後のブロックの処理が完了すると、ステップ５の判定によってループを抜ける。これによって、画像全体の処理が終了する。

本発明に係る交流成分予測手法は、画像の拡大・縮小、或いは、画像の圧縮・伸長といった用途に対して広く適用できる。前者の用途の場合には、予測画像の精度を高めることで、画像品質の向上を寄与する。また、後者の用途の場合には、予測画像の精度を高めることで、原画像との予測誤差を低減し、予測誤差が０近傍に偏ることを利用して、圧縮率の向上を図ることができる。

１ 交流成分予測システム
２ 記憶部
３ データ読出部
４ 前段予測部
５ 後段予測部
６ 逆アダマール変換部
７ データ書込部

Claims (16)

1. 画像平面上に設定されたブロック毎の順次処理によって、ブロック単位で交流成分予測を行う交流成分予測システムにおいて、
   それぞれのブロックの平均画素データを記憶しているとともに、交流成分予測によって算出されたブロックの画像データを順次記憶する記憶部と、
   処理対象となる対象ブロックの参照情報に相当するデータと、前記対象ブロックの平均画素データとを前記記憶部から読み出すデータ読出部と、
   前記対象ブロックに関して、前記平均画素データおよび前記参照情報を用いた線形予測によって、水平方向のアダマール基底の成分を規定する第１の成分と、垂直方向のアダマール基底の成分を規定する第２の成分とを算出する第１の予測部と、
   前記対象ブロックに関して、前記参照情報であって、前記対象ブロックの周辺に位置し、かつ、従前の処理によって交流成分予測が既に行われた処理済領域の画素値と、前記第１の成分および前記第２の成分とを用いた重み付き加算によって、水平方向のアダマール基底および垂直方向のアダマール基底に直交する他のアダマール基底の成分を規定する第３の成分を算出する第２の予測部と、
   前記対象ブロックに関して、前記第１の成分と、前記第２の成分と、前記第３の成分とに応じた画像データを前記記憶部に書き込むデータ書込部と
   を有することを特徴とする交流成分予測システム。
2. 前記重み付き加算は、前記対象ブロックから第１の方向に位置する前記処理済領域において互いに隣接した複数の第１の画素値と、当該複数の第１の画素値と隣接した前記対象ブロック内の複数の画素値とを用いて、行われることを特徴とする請求項１に記載された交流成分予測システム。
3. 前記重み付き加算は、前記対象ブロックから前記第１の方向とは異なる第２の方向に位置する前記処理済領域において互いに隣接した複数の第２の画素値と、当該複数の第２の画素値と隣接した前記対象ブロック内の複数の画素値とを用いて、行われることを特徴とする請求項２に記載された交流成分予測システム。
4. 前記重み付け加算は、前記対象ブロックと前記処理済領域との間における画素値の誤差を最小化する重み係数群を用いて、行われることを特徴とする請求項１から３のいずれかに記載された交流成分予測システム。
5. 前記重み係数群は、前記対象ブロックと前記処理済領域との間における画素値の二乗誤差を極値または極値近傍にする値として予め設定されていることを特徴とする請求項４に記載された交流成分予測システム。
6. 前記対象ブロックに関して、前記第１の成分と、前記第２の成分と、前記第３の成分とを用いた逆アダマール変換によって、前記対象ブロック内の画素値を算出する逆アダマール変換部をさらに有し、
   前記データ書込部は、前記逆アダマール変換部によって算出された前記対象ブロック内の画素値を、前記対象ブロックの画像データとして、前記記憶部に書き込むことを特徴とする請求項１から５のいずれかに記載された交流成分予測システム。
7. 前記第１の予測部は、自己において算出された前記第１の成分および前記第２の成分に原画像との残差情報を加算することによって、前記第１の成分および前記第２の成分を復元し、当該復元値を前記第３の成分の算出に用いられる前記第１の成分および前記第２の成分として出力することを特徴とする請求項１から６のいずれかに記載された交流成分予測システム。
8. 前記第２の予測部は、自己において算出された前記第３の成分に原画像との残差情報を加算することによって、前記第３の成分を復元し、
   前記データ書込部は、前記第１の成分の復元値と、前記第２の成分の復元値と、前記第３の成分の復元値とに応じた前記画像データを前記記憶部に書き込むことを特徴とする請求項７に記載された交流成分予測システム。
9. 画像平面上に設定されたブロック毎の順次処理によって、ブロック単位の交流成分予測処理をコンピュータに実行させる交流成分予測プログラムにおいて、
   処理対象となる対象ブロックの参照情報に相当するデータと、前記対象ブロックの平均画素データとを入力する第１のステップと、
   前記対象ブロックに関して、前記平均画素データおよび前記参照情報を用いた線形予測によって、水平方向のアダマール基底の成分を規定する第１の成分と、垂直方向のアダマール基底の成分を規定する第２の成分とを算出する第２のステップと、
   前記対象ブロックに関して、前記参照情報であって、前記対象ブロックの周辺に位置し、かつ、従前の処理によって交流成分予測が既に行われた処理済領域の画素値と、前記第１の成分および前記第２の成分とを用いた重み付き加算によって、水平方向のアダマール基底および垂直方向のアダマール基底に直交する他のアダマール基底の成分を規定し、かつ、前記第１の成分および前記第２の成分と共に前記対象ブロックの画像データを特定するのに必要な第３の成分を算出する第３のステップと
   を実行することを特徴とする交流成分予測プログラム。
10. 前記重み付き加算は、前記対象ブロックから第１の方向に位置する前記処理済領域において互いに隣接した複数の第１の画素値と、当該複数の第１の画素値と隣接した前記対象ブロック内の複数の画素値とを用いて、行われることを特徴とする請求項９に記載された交流成分予測プログラム。
11. 前記重み付き加算は、前記対象ブロックから前記第１の方向とは異なる第２の方向に位置する前記処理済領域において互いに隣接した複数の第２の画素値と、当該複数の第２の画素値と隣接した前記対象ブロック内の複数の画素値とを用いて、行われることを特徴とする請求項１０に記載された交流成分予測プログラム。
12. 前記重み付け加算は、前記対象ブロックと前記処理済領域との間における画素値の誤差を最小化する重み係数群を用いて、行われることを特徴とする請求項９から１１のいずれかに記載された交流成分予測プログラム。
13. 前記重み係数群は、前記対象ブロックと前記処理済領域との間における画素値の二乗誤差を極値または極値近傍にする値として予め設定されていることを特徴とする請求項１２に記載された交流成分予測プログラム。
14. 前記第２のステップは、前記算出された第１の成分および第２の成分に原画像との残差情報を加算することによって、前記第１の成分および前記第２の成分を復元し、当該復元値を前記第３の成分の算出に用いられる前記第１の成分および前記第２の成分として出力するステップを含むことを特徴とする請求項９から１３のいずれかに記載された交流成分予測プログラム。
15. 前記第３のステップは、前記算出された第３の成分に原画像との残差情報を加算することによって、前記第３の成分を復元するステップを含むことを特徴とする請求項１４に記載された交流成分予測プログラム。
16. 前記対象ブロックに関して、前記第１の成分の復元値と、前記第２の成分の復元値と、前記第３の成分の復元値とを用いた逆アダマール変換によって、前記対象ブロック内の画素値を算出する第４のステップと、
    前記対象ブロック内の画素値を、それ以降の処理における前記参照情報として用いるために記憶部に書き込む第５のステップと
    をさらに実行することを特徴とする請求項１５に記載された交流成分予測プログラム。

Images