JP3687101B2 - データ処理方法及びデータ処理装置 - Google Patents

データ処理方法及びデータ処理装置 Download PDF

Info

Publication number
JP3687101B2
JP3687101B2 JP53414498A JP53414498A JP3687101B2 JP 3687101 B2 JP3687101 B2 JP 3687101B2 JP 53414498 A JP53414498 A JP 53414498A JP 53414498 A JP53414498 A JP 53414498A JP 3687101 B2 JP3687101 B2 JP 3687101B2
Authority
JP
Japan
Prior art keywords
processing
data
extrapolation
filter
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP53414498A
Other languages
English (en)
Inventor
昌美 緒形
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Application granted granted Critical
Publication of JP3687101B2 publication Critical patent/JP3687101B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/148Wavelet transforms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Multimedia (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

技術分野
本発明は、有限長のデータを複数の周波数帯域に分割してデータ処理を行うデータ処理方法及びデータ処理装置に関し、音声や画像などのデータ圧縮を目的とした符号化又はその復号を行うAV機器や通信機器、データベース装置などに適用される。
背景技術
デジタル信号の圧縮を目的とした符号化/復号方法として、サブバンド符号化がある。このサブバンド符号化は、例えばウエーブレット変換を行うためのフィルタ(以下、ウエーブレット変換フィルタという。)によって、デジタル信号の帯域分割を行い、デジタル信号の圧縮を行うものである。すなわち、サブバンド符号化は、入力された信号に対して、異なる通過帯域を有する複数のフィルタでフィルタリング処理を施した後、各周波数帯域に応じた間隔でダウンサンプリングを施し、各フィルタの出力信号のエネルギーの偏りを利用して圧縮を行うものである。
サブバンド符号化及びウエーブレット変換を用いた帯域分割による信号処理に関しては、例えば文献「ウエーブレット変換とサブバンド符号化」マーチン・ヴエターリ著、電子情報通信学会誌Vol1.74 No.12 pp1275-1278 1991年12月に説明されている。
一般に、ウエーブレット変換は、サブバンド符号化の下位概念とも改良とも言われているが、以下、単にウエーブレットと記述する場合は、ウエーブレット変換フィルタに限定されることなく、サブバンド符号化に適用されるフィルタを用いた技術を広く包含しているものとする。
ウエーブレット変換及び逆ウエーブレット変換による帯域分割及び合成のための基本構成を図1示す。ここでは入力を1次元信号x[i]とする。
図1に示したウエーブレット変換器100では、入力された信号x[i]を複数の周波数帯域(サブバンド)の信号xa'[j],xb'[j],xc'[j]・・・に分割する。逆ウエーブレット変換器200は、サブバンドに分割されている各信号xa'[j],xb'[j],xc'[j]・・・を合成し、入力信号x"[i]の復元を行う。また、信号処理器300では周波数帯域に分割に施されたデータに対して所定の処理が行われる。例えば、符号化処理を行う場合には、量子化処理や可変長符号化処理,伝送,可変長復号処理,逆量子化処理などが行われる。
すなわち、ウエーブレット変換器100において、各解析用フィルタ111,112,113・・・は帯域分割のためのフィルタリング処理を行う。そして、ダウンサンプリング器121,122,123・・・は、各解析用フィルタ111,112,113・・・によりフィルタリングされて帯域分割された各周波数帯域のデータ列xa[j],xb[j],xc[j]・・・に対して、与えられたサンプリング間隔Di(i=1,2,3・・・)のデータを保存して他のデータを間引くダウンサンプリング処理を施すことにより、各周波数帯域の信号xa'[j],xb'[j],xc'[j]・・・を生成する。
一方、逆ウエーブレット変換器200において、アップサンプル器211,212,213・・・は、入力された各周波数帯域の信号xa'[j],xb'[j],xc'[j]・・・に対して、隣接する2つのデータの間に適当な数だけゼロを挿入する。挿入するゼロの数は、対応するダウンサンプル器121,122,123・・・で間引かれたデータのサンプル数(Di−1)と等しい。そして、合成用フィルタ221,222,223・・・は、ゼロの値が挿入されたデータ列xa"[j],xb"[j],xc"[j]・・・に対して、補間処理を行うためのフィルタリング処理を行う。そして、加算器230は、合成用フィルタ221,222,223・・・により補間処理が施された各周波数帯域のデータ列xa"[j],xb"[j],xc"[j]・・・を加算合成し、その合成出力信号x"[i]として入力信号x[i]を復元する。
ここで、入力データを2つのサブバンドに分割する場合の例について、より詳細に説明する。この場合、ウエーブレット変換器100における2つの解析用フィルタ111,112はローパスフィルタとハイパスフィルタとなる。これら2つの解析用ローパスフィルタ111と解析用ハイパスフィルタ112によって、入力信号x[i]は、低周波数帯域信号XL[i]と高周波数帯域信号XH[i]に帯域分割される。ダウンサンプル器121,122は、次の式(1),式(2)のように帯域分割された各信号に対して1サンプル毎の間引き処理を行う。
XL[j]=XL[i],j=i/2 式(1)
XH[j]=XH[i],j=i/2 式(2)
逆ウエーブレット変換器200では、先ず、アップサンプル器211,212によって、サンプル間隔が2倍に引き伸ばされるとともに、次の式(3),式(4)のように、その中心位置にゼロの値を持つサンプルが挿入される。
Figure 0003687101
そして、アップサンプル器211,212におけるアップサンプリングにより得られた各周波数帯域の信号XL[i],XH[i]は、解析用ローパスフィルタ111及び解析用ハイパスフィルタ112に対応する合成用ローパスフィルタ211及び合成用ハイパスフィルタ212を介して加算器230に供給される。合成用ローパスフィルタ211及び合成用ハイパスフィルタ212では、アップサンプル器211,212の各出力信号XL[i],XH[i]に補間処理が施される。その後、加算器230において各周波数帯域の信号XL[i],XH[i]が加算合成されることによって、その合成出力信号x"[i]として入力信号x[i]が復元される。
ここで、ウエーブレット変換器100側で使用される解析用ローパスフィルタ111及び解析用ハイパスフィルタ112と逆ウエーブレット変換器200側で使用される合成用ローパスフィルタ211及び合成用ハイパスフィルタ212は、次の式(5),式(6)の関係が完全に又は近似的に満たされるように構成されている。
0(-z)F0(z)+H1(-z)F1(z)=0 式(5)
0(z)F0(z)+H1(z)F1(z)=2z-L 式(6)
式(5),式(6)において、H0(z),H1(z),F0(z),F1(z)は、それぞれ解析用ローパスフィルタ111,解析用ハイパスフィルタ112,合成用ローパスフィルタ211,合成用ハイパスフィルタ212の伝達関数であり、Lは任意の整数である。この拘束条件によって、入力データが無限長である場合、逆ウエーブレット変換器200における加算器230からの合成出力信号x"[i]が入力信号x[i]と完全にあるいは近似的に一致することが保証される。
解析用ローパスフィルタ111と解析用ハイパスフィルタ112及び対応する合成用ローパスフィルタ211と合成用ハイパスフィルタ212のフィルタ係数の一例を次の表1に示す。
Figure 0003687101
上記のようなウエーブレット分割/合成を符号化に用いる場合、ダウンサンプル器121,122とアップサンプル器211,212の間で符号化/復号処理が行われることになる。
ここでは、入力データを2つのサブバンドに分割する場合の例について詳しく説明したが、データ量の圧縮を目的とした符号化では、より効率的に圧縮を行うために、3つ以上のサブバンドに分割することが行われており、各周波数帯域をさらに再帰的に分割していくことが行われている。
次に、ウエーブレット変換を用いた1次元データ列の符号化装置及び復号装置の構成を図2及び図3に示す。
この図2に示した符号化装置400では、1段目の解析用ローパスフィルタ411と解析用ハイパスフィルタ412によって入力信号x[i]を低周波数帯域信号XL0[i]と高周波数帯域信号XH0[i]に帯域分割する。低周波数帯域信号XL0[i]は、ダウンサンプル器421に供給され、このダウンサンプル器421により式(1)と同様のダウンサンプリング処理が施される。ダウンサンプル器421におけるダウンサンプリング処理により得られた低周波数帯域信号XL0[j]は、2段目の解析用ローパスフィルタ431と解析用ハイパスフィルタ432によってさらに低周波数帯域信号XL1[j]と高周波数帯域信号XH1[j]に帯域分割される。そして、低周波数帯域信号XL1[j]と高周波数帯域信号XH1[j]は、それぞれダウンサンプル器441,442に供給され、ダウンサンプル器441,442によりダウンサンプリング処理が施される。ダウンサンプル器441,442におけるダウンサンプリング処理により、低周波数帯域信号XL1[k]及び高周波数帯域信号XH1[k]が生成される。
一方、1段目の解析用ハイパスフィルタ412を通過した高周波数帯域信号XH0[i]は、ダウンサンプル器422に供給され、このダウンサンプル器422によりダウンサンプリング処理が施される。そして、ダウンサンプル器422におけるダウンサンプリング処理により得られた高周波数帯域信号XH0[j]は、低周波数帯域信号との同期をとるために遅延器434に入力される。
上記ダウンサンプル器441,442におけるダウンサンプル処理により得られた低周波数帯域信号XL1[k]及び高周波数帯域信号XH1[k]と上記遅延器434によって遅延された高周波数帯域信号XH0[j]は、それぞれ量子化器451,452,453に入力され、対応する量子化ステップQL1,QH1,QH0によって、次の式(7),式(8),式(9)のように量子化される。
XL1'[k]=XL1[k]/QL1 式(7)
XH1'[k]=XH1[k]/QH1 式(8)
XH0'[j]=XH0[j]/QH0 式(9)
ただし、これらの計算における小数点以下の丸めは通常四捨五入が用いられる。各量子化データXL1'[k],XH1'[k],XH0'[j]は、可逆符号器/多重化器460に入力され、ハフマン符号化や算術符号化などの可逆符号化、さらに多重化処理などが施されて、蓄積媒体や伝送路を介して図3に示す復号装置500に送られる。
この図3に示した復号装置500では、はじめに、逆多重化器/可逆復号器510によって、上述の符号装置400でなされた多重化処理や可逆符号化に対する復号処理が行われ、各量子化データXL1'[k],XH1'[k],XH0'[j]が復元される。各量子化データXL1'[k],XH1'[k],XH0'[j]は、それぞれ異なる逆量子化器521,522,523に入力され、逆量子化器521,522,523により、符号装置400側の量子化器451,452,453における量子化と逆の次の式(10),式(11),式(12)に示されるのような変換が施される。
XL1"[k]=XL1'[k]×QL1 式(10)
XH1"[k]=XH1'[k]×QH1 式(11)
XH0"[j]=XH0'[j]×QH0 式(12)
逆量子化器521,522,523の出力信号XL1"[k],XH1"[k],XH0"[j]の中で、符号化装置400側の2段目の帯域分割に対応する低周波数帯域信号XL1"[k]及び高周波数帯域信号XH1"[k]は、それぞれアップサンプル器531,532に入力され、アップサンプル器531,532によって式(3)及び式(4)と同様のアップサンプリング処理が施される。
上記アップサンプル器531,532におけるアップサンプリング処理により得られた低周波数帯域信号XL1"[k]及び高周波数帯域信号XH1"[k]は、それぞれ解析用ローパスフィルタ431及び解析用ハイパスフィルタ432と式(5)及び式(6)の関係にある合成用ローパスフィルタ541及び合成用ハイパスフィルタ542を介して加算器550に入力される。そして、合成用ローパスフィルタ541及び合成用ハイパスフィルタ542の各出力信号は、加算器550によって加算され、符号化装置400において1段目の帯域分割によって得られた低周波数帯域信号XL0[j]に対応する低周波数帯域信号XL0"[j]となる。
また、逆量子化器522により得られた1段目の帯域分割に対応する高周波数帯域信号XH0"[j]は、遅延器535に入力され、1段目の帯域分割に対応した低周波数帯域信号XL0"[j]が再構成されるのに必要な時間だけ遅延器535により遅延される。
加算器550によって得られた低周波数帯域信号XL0"[j]と遅延器535によって遅延された高周波数帯域信号XH0"[j]は、それぞれアップサンプル器561,562に供給され、アップサンプル器561,562によりアップサンプリング処理が施される。アップサンプル器561,562におけるアップサンプリング処理により得られた周波数帯域信号XL0"[i],XH0"[i]は、それぞれ合成用ローパスフィルタ571及び合成用ハイパスフィルタ572によるフィルタリング処理が施されて、加算器580に供給される。そして、これらの周波数帯域信号XL0"[i],XH0"[i]が加算器580において加算されることにより合成され、入力信号x[i]に対応する復元信号x"[i]が得られる。
なおここでは、解析用ローパスフィルタ412,431、解析用ハイパスフィルタ412,432、合成用ローパスフィルタ541,571及び合成用ハイパスフィルタ542,572はすべての分割レベルにおいて同じ組合せを用いた例を示したが、レベル毎に異なる組合せのものを用いることもできる。
次に、ウエーブレット変換を用いた2次元画像符号化装置及び復号装置の従来例の構成を図4及び図5に示す。入力信号x[i]は、2次元画像を図6に示す順序で走査して得られたデータ列である。
図4に示した2次元画像符号化装置600では、画像上での水平、垂直の両方向への帯域分割を行うために、4回のフィルタリング処理すなわち解析用水平ローパスフィルタ611,613と解析用水平ハイパスフィルタ612,614による水平方向に対するローパスフィルタリングとハイパスフィルタリング及び解析用垂直ローパスフィルタ641,643,645,647と解析用垂直ハイパスフィルタ642,644,646,648による垂直方向に対するローパスフィルタリングとハイパスフィルタリングを行っている。
1段目の解析用水平ローパスフィルタ611と解析用水平ハイパスフィルタ612を通過した各周波数帯域信号は、ダウンサンプル器621,622によりダウンサンプリング処理が施された後、メモリ631,632を介して2段目の解析用垂直ローパスフィルタ641,643と解析用垂直ハイパスフィルタ642,644にそれぞれ入力される。上記解析用垂直ローパスフィルタ641を通過した低周波数帯域信号は、ダウンサンプル器651によりダウンサンプリング処理が施された後、3段目の解析用水平ローパスフィルタ613と解析用水平ハイパスフィルタ614にそれぞれ入力される。この解析用水平ローパスフィルタ613と解析用水平ハイパスフィルタ614を通過した各周波数帯域信号は、ダウンサンプル器623,624によりダウンサンプリング処理が施された後、メモリ633,634を介して4段目の解析用垂直ローパスフィルタ645,647と解析用垂直ハイパスフィルタ646,648にそれぞれ入力される。そして、4段目の解析用垂直ローパスフィルタ645,647と解析用垂直ハイパスフィルタ646,648を通過した各周波数帯域信号は、ダウンサンプル器655,656,657,657によりそれぞれダウンサンプリング処理が施された後、それぞれ量子化器661,662,663,664に入力され、対応する量子化ステップで量子化される。
一方、2段目の解析用垂直ローパスフィルタ643と解析用垂直ハイパスフィルタ642,644を通過した各周波数帯域信号は、ダウンサンプル器653,652,654によりそれそれダウンサンプリング処理が施された後、低周波数帯域信号との同期をとるために遅延器636,635,637を介して量子化器666,665,667に入力され、対応する量子化ステップで量子化される。
そして、各量子化器661〜667により量子化された各量子化データは、可逆符号器/多重化器670に入力され、ハフマン符号化や算術符号化などの可逆符号化、さらに多重化処理などが施されて、蓄積媒体や伝送路を介して図5に示す復号装置700に送られる。
図5に示した復号装置700では、先ず、逆多重化器/可逆復号器710によって、上述の符号化装置600でなされた多重化処理や可逆符号化に対する復号処理が行われ、各量子化データが復元される。これらは逆量子化器721〜727に入力され、量子化器661〜667によってなされたのと逆の変換が施される。
この復号装置700では、メモリ731〜738、垂直アップサンプリング器741〜748、合成用垂直ローパスフィルタ751,753,755,757、合成用垂直ハイパスフィルタ752,754,756,758、加算器761〜766、水平アップサンプリング器771〜774、合成用水平ローパスフィルタ781,783及び合成用水平ハイパスフィルタ782,784により、符号化装置600に対応した補間用のフィルタリング処理が行われる。
上記符号化装置600における垂直ダウンサンプリング器651〜658は、画像上での垂直方向のダウンサンプリング処理すなわち1ラインごとの間引き処理が行われる。逆に、復号装置700における垂直アップサンプル器741〜748では、入力される各ライン間にすべてがゼロである1ラインを挿入する処理が行われる。メモリ731〜738は、水平方向に走査されて流れてくる各周波数帯域信号に対して上記のような垂直方向の処理を施すために、必要な数のラインを一時的に保存するラインメモリである。
なおここでは、水平方向と垂直方向に同じフィルタを用いたが、各方向毎に異なる組フィルタを用いることもできる。
これら従来のウエーブレット変換、逆ウエーブレット変換では、各周波数帯域信号のデータ末端位置におけるフィルタリング処理のための外挿処理の方法は、経験的に決めることが多い。
発明の開示
上述のようにウエーブレット変換/逆ウエーブレット変換に用いる解析用フィルタ及び合成用フィルタは、無限長のデータに対して完全再構成の条件を満足、あるいは近似的に満足するように構成されているが、実際の応用場面では、データの長さは有限であるため、データ列の末端における畳み込み演算を行う際に必要となるデータを適切に外挿しなければ、必ずしも完全再構成条件は満足されなくなる。このような不適切な外挿処理による完全再構成条件の破綻は、画像処理におけるエッジ検出など、解析のみを目的としてウエーブレット変換を用いる場合には問題とならないが、解析/合成の処理を必要とする画像圧縮などでは大きな問題となる。
また、外挿処理による影響は、データ列の先頭及び終端近傍にのみに現れ、その範囲は用いるフィルタのタップ数の約半分程度と考えられる。したがって、フィルタのタップ数に対してデータ長が十分に大きければ外挿処理の影響も全体的には小さい。しかしウエーブレット変換を用いた画像圧縮では、通常、低周波数側のサブバンドに対して分割を繰り返し、複数のサブバンドを生成するため、分割が進むほど畳み込み演算を施すデータ長が、用いるフィルタのタップに対して相対的に小さくなり、外挿処理の影響はデータ列中で広い範囲に分散することになる。
そこで、本発明の目的は、適切な外挿処理によって性能の高いウエーブレット変換及び逆ウエーブレット変換を行うことができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
また、本発明の他の目的は、正確に適切な外挿処理の判断を行うことができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
また、本発明の他の目的は、有限長のデータ列に対してもウエーブレット変換及び逆ウエーブレット変換に用いるフィルタが保証する精度内において、完全再構成条件を満たすウエーブレット変換及び逆ウエーブレット変換を実現できるようにしたデータ処理方法及びデータ処理装置を提供することにある。
また、本発明の他の目的は、外部より与えられた外挿処理の方法が適切でない場合に、用いるフィルタなどの条件を再設定することができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
また、本発明の他の目的は、外部より与えられた外挿処理の方法が適切でない場合にも、処理を継続することができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
また、本発明の他の目的は、外挿処理の方法を有用な4つの折り返し法に絞ることができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
また、本発明の他の目的は、完全再構成条件が満足されるか否かの判定を容易に行うことができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
また、本発明の他の目的は、データ列の長さに比較して用いるフィルタ長(タップ数)が長く、1度の折り返しでは外挿データが不足する場合にも、完全再構成条件が満足されるような外挿処理を行うことができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
また、本発明の他の目的は、データ列の長さに比較して用いるフィルタ長(タップ数)が長く、1度の折り返しでは外挿データが不足する場合に、完全再構成条件が満足されるか否かの判定を行うことができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
また、本発明の他の目的は、データ列の先頭位置と終端位置における外挿処理の方法の可能な組合せすべてを検証し、適切な外挿処理を判定することができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
また、本発明の他の目的は、データ列の先頭位置、及び終端位置に対する折り返し法の組合せに、適切なものが存在しない場合、用いるフィルタなどの条件を再設定することができる。
また、本発明の他の目的は、データ列の先頭位置、及び終端位置に対する折り返し法の組合せに、適切なものが存在しない場合にも、処理を継続することができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
また、本発明の他の目的は、データ列の末端位置においてデータの不連続を生じさせることなく外挿処理を行うことができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
また、本発明の他の目的は、解析用フィルタに対する適切な外挿処理の方法を正確に判定できるとともに、対応する合成用フィルタに対する適切な外挿処理を予測することができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
また、本発明の他の目的は、データ列の長さに比較して用いるフィルタ長(タップ数)が長く、1度の折り返しでは外挿データが不足する場合に、完全再構成条件が満足されるか否かの判定を正確に行うことができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
また、本発明の他の目的は、合成用フィルタに対する適切な外挿処理の方法を正確に予測することができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
また、本発明の他の目的は、用いられる頻度の高い条件において、解析用フィルタと合成用フィルタに対する適切な外挿処理の方法をフィルタのタップ数のみから容易に決定することができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
また、本発明の他の目的は、ウエーブレット変換において、得られたサブバンドをさらに分割することを複数回繰り返し、かつ分割毎に異なる解析用フィルタを用いる場合にも、完全再構成条件を満たすようにすることができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
また、本発明の他の目的は、ウエーブレット変換及び逆ウエーブレット変換を用いた性能の高い符号化/復号処理を行うことができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
さらに、本発明の他の目的は、ウエーブレット変換及び逆ウエーブレット変換を用いた性能の高い静止画像又は動画像の符号化/復号処理を行うことができるようにしたデータ処理方法及びデータ処理装置を提供することにある。
そこで、本発明では、ウエーブレット変換を行い、有限長のデータを複数の周波数帯域に分割してデータ処理を行うにあたり、帯域分割処理及び対応する帯域合成処理に対するデータの両端部における畳み込み演算のための外挿処理について、ウエーブレット変換に用いるフィルタの対称性、タップ数、群遅延、、ダウンサンプリング処理のサンプリング間隔及びウエーブレット変換を施すデータ列の長さによって、外挿処理が適切であるか否かを判断する。
すなわち、本発明は、ウエーブレット変換を行い、有限長のデータを複数の周波数帯域に分割してデータ処理を行うデータ処理方法において、帯域分割処理及び対応する帯域合成処理に対するデータの両端部における畳み込み演算のための外挿処理について、ウエーブレット変換に用いるフィルタの対称性、タップ数、群遅延、、ダウンサンプリング処理のサンプリング間隔及びウエーブレット変換を施すデータ列の長さによって、外挿処理が適切であるか否かを判断することを特徴とする。
また、本発明は、ウエーブレット変換を行い、有限長のデータを複数の周波数帯域に分割してデータ処理を行うデータ処理装置において、帯域分割処理及び対応する帯域合成処理に対するデータの両端部における畳み込み演算のための外挿処理について、ウエーブレット変換に用いるフィルタの対称性、タップ数、群遅延、、ダウンサンプリング処理のサンプリング間隔及びウエーブレット変換を施すデータ列の長さによって、外挿処理が適切であるか否かを判断する外挿処理判定手段を備えることを特徴とする。
本発明に係るデータ処理方法及びデータ処理装置では、上記外挿処理方法が、例えば、完全再構成条件を満足する場合に、当該外挿処理方法が適切であるとみなす。
また、本発明に係るデータ処理方法及びデータ処理装置において、上記外挿処理は、例えば、データ列の末端サンプル位置を対象の中心として折り返すゼロシフト偶関数折り返し処理、又は、末端サンプル位置の半サンプル外側を対象の中心として折り返す半シフト偶関数折り返し処理のいずれかである。
また、本発明に係るデータ処理方法及びデータ処理装置では、例えば、データ列の先頭位置あるいは終端位置のそれぞれに対して、折り返し処理、解析フィルタによるフィルタリング処理、ダウンサンプリング処理による対称中心位置から位相シフト量を計算し、先頭位置に対しては、当該位相シフトが0又はサンプリング間隔の1/2にマイナスの符号をつけたものである場合に、終端位置に対しては、当該位相シフトが0又はダウンサンプリングで用いるサンプリング間隔の1/2である場合に、用いた折り返し処理が適切であると判断する。
また、本発明に係るデータ処理方法及びデータ処理装置では、例えば、上記2つの折り返し処理の中から、データ列の先頭位置及び終端位置に対する外挿処理を選択して、その組合せが適切であるか否かの判定をすべての可能な組合せについて順次行っていく。
さらに、本発明に係るデータ処理方法及びデータ処理装置では、例えば、データ列の先頭位置及び終端位置において用いた外挿処理の組合せが適切であると判定された場合に、対応する逆ウエーブレット変換に用いる折り返し処理として、位相シフト量の値が0で解析フィルタが偶関数である場合にはゼロシフト偶関数折り返し処理を、位相シフト量の値が0で解析フィルタが奇関数である場合にはゼロシフト奇関数折り返し処理を、位相シフト量が、データ列の終端位置に対してはサンプリング間隔の1/2、先頭位置に対してはサンプリング間隔の1/2にマイナスの符号をつけた値であり、解析フィルタが偶関数である場合には半シフト偶関数折り返し処理を、位相シフト量の値が終端位置に対してはサンプリング間隔の1/2、先頭位置に対してはサンプリング間隔の1/2にマイナスの符号をつけた値であり、解析フィルタが奇関数である場合には半シフト奇関数折り返し処理を採用する。
【図面の簡単な説明】
図1は、ウエーブレット変換及び逆ウエーブレット変換による帯域分割及び合成のための基本構成をブロック図である。
図2は、ウエーブレット変換を用いた従来の1次元データ符号化/復号装置における符号化装置の構成を示すブロック図である。
図3は、上記1次元データ符号化/復号装置における復号装置の構成を示すブロック図である。
図4は、ウエーブレット変換を用いた従来の2次元データ符号化/復号装置における符号化装置の構成を示すブロック図である。
図5は、上記2次元データ符号化/復号装置における復号装置の構成を示すブロック図である。
図6は、上記2次元データ符号化/復号装置における画像の走査方向を示す図である。
図7は、本発明の第1の実施の形態の要部構成を示すブロック図である。
図8A〜図8Dは、上記第1の実施の形態における外挿処理の4つのパターンを示す図である。
図9は、上記第1の実施の形態における外挿処理判定器の構成を示すブロック図である。
図10A〜図10Dは、ゼロシフト偶関数折り返し法及び半シフト偶関数折り返し法の組合せによる基本周期を示す図である。
図11は、基本周期を持つ周期的データ列を生成する方法を説明するフローチャートである。
図12は、本発明の第2の実施の形態の要部構成を示すブロック図である。
図13は、上記第2の実施の形態における外挿処理判定器の構成を示すブロック図である。
図14は、本発明の第2の実施の形態における符号化装置の要部構成を示すブロック図である。
図15は、本発明の第3の実施の形態における復号装置の要部構成を示すブロック図である。
発明を実施するための最良の形態
以下、本発明を実施するための最良の形態を図面を参照しながら詳細に説明する。
図7に示す本発明の第1の実施の形態は、上述の図1に示した従来のデータ処理装置に本発明を適用したものである。
この第1の実施の形態におけるデータ処理装置1000は、入力された信号x[i]を複数の周波数帯域(サブバンド)の各信号Xi[j]に帯域分割するウエーブレット変換器1100と、複数のサブバンドに分割されている各信号Xi[j]を合成し、入力信号x[i]の復元を行う逆ウエーブレット変換器1200と、ウエーブレット変換器1100により複数のサブバンドに帯域分割された各信号Xi[j]に対して、量子化処理や可変長符号化処理,伝送,可変長復号処理,逆量子化処理などを行い、信号処理済みの各信号を上記逆ウエーブレット変換器1200に供給する信号処理器1300と、上記ウエーブレット変換器1100における帯域分割処理及び対応する逆ウエーブレット変換器1200における帯域合成処理に対するデータの両端部における畳み込み演算のための外挿処理の方法が適切であるか否かを判定する外挿処理判定器1400を備える。
この第1の実施の形態において、ウエーブレット変換器1100の解析用フィルタ1110及びダウンサンプル器1120は、各解析用フィルタ111,112,113・・・及び各ダウンサンプル器121,122,123・・・にそれぞれ対応し、また、逆ウエーブレット変換器1200のアップサンプル器1210及び合成用フィルタ1220は、上述の図1に示したデータ処理装置における逆ウエーブレット変換器200の各ダウンサンプル器211,212,213・・・及び各合成用フィルタ221,222,223・・・にそれぞれ対応するものである。
ウエーブレット変換器1100では、解析用フィルタ1110によって、入力信号x[i]を複数の周波数帯域(サブバンド)の信号Xi[i]に帯域分割する。そして、ダウンサンプル器1120は、解析用フィルタ1110により帯域分割された各周波数帯域の信号Xi[i]に対して、1サンプル毎の間引き処理を行う。
Xi[j]=Xi[i],j=i/2 式(13)
また、逆ウエーブレット変換器1200では、ウエーブレット変換器1100により複数のサブバンドに帯域分割された各信号Xi[j]に対して、先ず、アップサンプル器1210によって、サンプル間隔を2倍に引き伸ばすとともに、その中心位置にゼロの値を持つサンプルを挿入する。そして、アップサンプル器1210におけるアップサンプリングにより得られた各周波数帯域の信号Xi[i]は、上述の解析用フィルタ1110に対応する合成用フィルタ補間処理が施され、図示しない加算器によって加算合成される。これにより、入力信号x[i]が復元される。
外挿処理判定器1400は、解析用フィルタ1110によるフィルタリング処理が始まる前に、そのサブバンドの処理に用いる解析用フィルタの対称性(奇関数か偶関数か)S、タップ数Ma及び群遅延gda、合成用フィルタのタップ数Msと群遅延gds、ダウンサンプリングのサンプリング間隔D、処理するデータのサンプル数N及び外部より指定された先頭位置に対する外挿処理法Pと終端位置に対する外挿処理法Qに基づき、その外挿処理が完全再構成条件を満足するか否かの判定を行う。上記判定処理に必要な各種パラメータは図示しないレジスタを介して与えられる。
外挿処理としては、図8A,図8B,図8C,図8Dに示すような4つの折り返し法が考えられる。すなわち、図8Aに示すゼロシフト偶関数折り返し法(ZE)では、入力データ列の末端位置を対称の中心として折り返し、図8Bに示すゼロシフト奇関数折り返し法(ZO)では、末端位置のデータがゼロである場合に、その位置を対称の中心として折り返し、符号の反転を行う。また、図8Cに示す半シフト偶関数折り返し法(HE)では、末端位置のデータから外側に半サンプル分外側の位置を対称の中心として折り返し、図8Dに示す半シフト奇関数折り返し法(HO)では、その位置を中心に折り返して符号の反転を行う。ただし、ウエーブレット変換で用いる方法としては、データ列の末端位置における不連続性を回避するために、ゼロシフト偶関数折り返し法(ZE)又は半シフト偶関数折り返し法(HE)のいずれかが用いられる。
図9に外挿処理判定器1400の構成を示す。2つの位相シフト算出器1411,1412は、それぞれデータ列の先頭位置又は終端位置に対応し、折り返し処理、解析用フィルタ1110によるフィルタリング処理、ダウンサンプリング処理によって生じる対称中心位置の位相シフト量dB,dEを次の式(14),式(15)により算出する。
dB=dP+dF−dDB 式(14)
dE=dQ+dF+dDE 式(15)
ここで、dP,dQは折り返しによる位相シフト量で、各折り返し法に対して次の表2に示すような値となる。
Figure 0003687101
また、dgaは解析用フィルタの群遅延量であり、フィルタのタップ数が奇数の場合には整数値(サンプル単位)に、偶数の場合には整数+0.5になる。dDB,dDEは、先頭位置及び終端位置におけるダウンサンプリングによる位相シフトの量であり、ダウンサンプリングのサンプル間隔Dと入力データ列のサンプル数Nによって決まる。通常のダウンサンプリン処理では、先頭データが残るようにサンプリングが行われるため、dDB=0であり、dDEは次の式(16)によって決まる。
dDE=mod((N−1)/D) 式(16)
ここで、modは、割り算の余りを返す関数である。算出された位相シフト量dB,dEは指定された折り返し法P,Qとともに対応する対称性判定器1431,1432に送られる。
周期性判定器1420は、はじめに、解析用フィルタ110のタップ数Ma、合成用フィルタのタップ数Ms及びデータ列の長さNによって、データ列の末端における1度の折り返しで必要な外挿データが得られるか否かの判定を次の式(17),式(18),式(19),式(20)によって行う。
Figure 0003687101
ここで、式(19)における割り算では、小数点以下が切り捨てられる。MpはMa又はMsのいずれかであり、gdpはgda又はgdsのいずれかを表す。データ列の先頭位置及び終端位置のいずれにおいてもMa’,Ms’が上述の式(13)を満足する場合には、1度の折り返しで必要な外挿データが得られ、周期性の条件が不要となるためw=0の信号を対称性判定器1430に送る。
それ以外の場合には、両端における折り返し法の組合せP,Qによって定まる基本周期Tをダウンサンプリングによるサンプリング間隔Dで割った余りwが次の式(21)により算出され、対称性判定器1430に送られる。
w=mod(T/D) 式(21)
基本周期Tは、データ列の先頭位置及び終端位置において指定された折り返し処理を用い、生成される周期的データ列の1周期の長さであり、図10A,図10B,図10C,図10D5に示すように、各折り返し法の組合せに対しては表3に示すような値となる。
Figure 0003687101
この第1の実施の形態における解析用フィルタ1110及び合成用フィルタ1220は、それぞれ、後述する外挿処理判定器1400によって適切であると判定された外挿処理法P,Q,P’,Q’を用いて、図11に示すフローチャートの手順に従って、外挿処理を行い、フィルタリングを実行する。
ただし、このとき合成用フィルタ1220においては、アップサンプル器1210によってゼロ値が挿入される前のデータ列に対して、指定された折り返し法が適用されるようにする。すなわち、外挿されるべきデータの位置が、アップサンプル器1210によってゼロ値が挿入されるべき位置に対応する場合には、その値は常にゼロとし、それ以外の外挿位置においては、アップサンプル器1210によってゼロ値が挿入された位置を無視して折り返し規則を適用し、外挿データの値を求める。
図11のフローチャートに示す外挿処理において、xはデータ列上の位置を表すインデックスであり、N個の入力データに対しては、0〜N−1のインデックスが割り当てられているとする。ここでの外挿処理は、xがこの範囲に存在しない位置に対するデータ値を折り返しによって求める処理に相当する。
そして、最初のステップS1では、変数x’と変数sgnの初期化(x’=x,sgn=1)を行う。
次のステップS2では、変数x’が0以上でN−1以下であるか否かを判定する。このステップS2における判定結果がx’≧Nすなわち変数x’がN以上である場合にはステップS3に進み、また、判定結果がx’<0すなわち変数x’が0未満である場合にはステップS6に進み、さらに、判定結果がYESすなわち変数x’が0以上でN−1以下である場合には、ステップS9に進む。
ステップS3では、判定された外挿処理法が偶関数的折り返しであるか否かを判定する。このステップS3における判定結果がNOすなわち偶関数的折り返しでない場合にはステップS4に進み、また、判定結果がYESすなわち偶関数的折り返しである場合にはステップS5に進む。ステップS4では、変数sgnをsgn=sgn×(−1)として変数sgnの符号を反転させて、ステップS5に進む。そして、ステップS5では、変数x’をx’=SymB(x’)として、ステップS2に戻る。
また、ステップS6では、使用されるフィルタが偶関数的折り返しであるか否かを判定する。このステップS7における判定結果がNOすなわち偶関数的折り返しでない場合にはステップS7に進み、また、判定結果がYESすなわち遇関数的折り返しである場合にはステップS8に進む。ステップS7では、変数sgnをsgn=sgn×(−1)として変数sgnの符号を反転させて、ステップS8に進む。そして、ステップS8では、変数x’をx’=SymE(x’)として、ステップS2に戻る。
ここで、SymB(x)、SymE(x)はそれぞれ、データ列の先頭に対する折り返し法によって得られるxに対応する位置、終端位置に対する折り返し法によって得られるxの対応位置を表している。
そして、ステップS9では、位置xにおけるデータ値G(x)をG(x)=sgn×G(x’)とする。
なお、解析用フィルタ1110及び合成用フィルタ1210によって実際にフィルタリング処理を行う際に、データ列の末端位置において1度の折り返しで必要となる外挿データが得られない場合には、図11に示したフローチャートに基づいて、周期的な折り返しを行う。
2つの対称性判定器1431,1432は、それぞれデータ列の先頭位置又は終端位置に対応し、それぞれにおいて、周期性判定器42から送られてくる値wが0であり、なおかつ先頭位置に対しては位相シフト算出器1411から送られてくる位相シフト量dBが0又は−D/2、終端位置に対しては位相シフト算出器1412から送られてくる位相シフト量dEが0又はD/2である場合には、そのシフト量と、折り返し法を合成フィルタ用外挿処理判定器1441,1442に送る。これ以外の場合には、指定された折り返し法が不適切であることを示す信号を出力し、その時点ですべての処理を停止させる。ただし、Dはダウンサンプリングによるサンプリング間隔である。
2つの合成フィルタ用外挿処理判定器1441,1442は、それぞれデータ列の先頭位置又は終端位置に対応し、対称性判定器1431,1432から送られてくる解析用フィルタに対する折り返し法P,Qを解析用フィルタ1110に通知するとともに、同じく対称性判定器1431,1432から送られてくる位相シフトの量dP,dQから適切な折り返し法P’,Q’を判定し、これを合成用フィルタ1220に送る。このとき、表4に示すように、解析用フィルタ1110が偶関数である場合、位相シフト量の絶対値が0であればゼロシフト偶関数折り返し法を、位相シフト量の絶対値がD/2であれば、半シフト偶関数折り返し法を合成フィルタ用の外挿処理として、合成用フィルタ1220に通知する。また解析用フィルタ110が奇関数である場合には、位相シフト量の絶対値が0であればゼロシフト奇関数折り返し法を、位相シフト量の絶対値がD/2であれば、半シフト奇関数折り返し法を合成フィルタ用の外挿処理として、合成用フィルタ1220に通知する。
Figure 0003687101
なお、対称性判定器1431,1432において、解析用フィルタに対する折り返し法として指定されたP,Qが不適切であると判定された場合、すべての処理を停止させるかわりに、あらかじめ設定されたデフォルトの折り返し法を合成フィルタ用外挿処理判定器1441,1442に送り、処理を続行させるようにすることもできる。
またウエーブレット変換では、従来例で示したように各サブバンドをさらに複数のサブバンドに分割するといった処理を繰り返すことも可能であるが、この場合にもそれぞれのサブバンドに対して同様に外挿方式の判定を行うことができる。
上記第1の実施の形態における外挿処理判定器1400での処理は、次のようにすることができる。
すなわち、外挿処理の方法を外部から外挿処理判定器1400入力するのではなく、ゼロシフト偶関数折り返し法(ZE)と半シフト偶関数折り返し法(HE)の組合せ(ZE,ZE),(ZE,HE),(HE,ZE),(HE,HE)を順次発生し、データ列の先頭位置及び終端位置における外挿処理法としての可能性を順次検証していく。適切な折り返し法の組合せが検出された時点で、合成用フィルタに対する外挿処理の方法を決定し、解析用フィルタ1110、合成用フィルタ1220に対応する折り返し法を通知する。すべての組合せが不適切と判定された場合には、第1の実施の形態と同様にすべての処理を停止させるか、あるいはあらかじめ設定されたデフォルトの折り返し法を解析用フィルタ1110及び合成用フィルタ1220に通知して処理を続行する。
また、上記第1の実施の形態において、データサンプルの数、ウエーブレット変換によって分割されるサブバンドの数及びダウンサンプリング処理におけるサンプリング間隔に制限を加え、例えば、データサンプル数を偶数とし、サブバンド数、サンプリング間隔をいずれも2とした場合の対称中心位置の位相シフト量を示す。ここで、この制限は特殊なものではなく、実際画像の符号化などで頻繁に用いられている条件に相当する。
この場合の条件に対応する対称中心位置の位相シフト量を表5に示す。
Figure 0003687101
この場合、解析用フィルタに対する適切な折り返しであるためには、対称中心位置の位相シフト量がデータ列の先頭位置で0又は−D/2=−1、終端位置で0又はD/2=1となる必要があるが、表5からも明らかなように、位相シフト量が整数値になるのは、フィルタのタップ数が奇数である場合には、先頭位置、終端位置とともにゼロシフト偶関数折り返し(ZE)の組合せ、偶数である場合には、先頭位置、終端位置ともに半シフト偶関数折り返し(HE)の組合せのみとなる。ただし、これらの組合せが適切な折り返しとなるためには、フィルタの群遅延を用いて実際に算出された位相シフト量が、先頭位置で0又は−D/2=−1、終端位置で0又はD/2=1とならなければならない。また、対応する合成用フィルタにおける折り返し法も実際に算出された位相シフト量とフィルタの対称性に依存する。
なお、解析用フィルタの折り返し法として、上記のように先端位置及び終端位置で同じものを用いる場合、上記表2からわかるように基本周期Tは(ZE,ZE)に対しては2N−2(Nはサンプル数)、(HE,HE)に対しては2Nとなり、いずれにおいてもサンプリング間隔D=2で割り切れるため、常に周期性の条件を満足することになる。
また、このように2つのサブバンドに分割する場合、解析用フィルタ1110は、ローパスフィルタとハイパスフィルタになるが、タップ数が奇数である場合にはいずれも偶関数となるため、合成用フィルタ1220での外挿処理は、ローパスフィルタ及びハイパスフィルタのいずれに対しても偶関数的な折り返し法となる。これに対してタップ数が偶数である場合には、ローパスフィルタは偶関数、ハイパスフィルタは奇関数となるため、合成用フィルタでの外挿処理は、ローパスフィルタで偶関数的な折り返し法、ハイパスフィルタで奇関数的な折り換し法となる。
次に、本発明の第2の実施の形態について図12及び図13を参照して説明する。
図12に示す第2の実施の形態のデータ処理装置2000は、全体的な構成は上述の第1の実施の形態のデータ処理装置1000と同じであるが、各サブバンドの処理を行う構成及び図13に示す外挿処理判定器2400の構成が異なる。なお、この第2の実施の形態において、上述の第1の実施の形態のデータ処理装置1000と同一の構成要素については、同一番号を図12及び図13中に付して、その詳細な説明を省略する。
この第2の実施の形態におけるデータ処理装置2000は、入力された信号x[i]を複数の周波数帯域(サブバンド)の各信号Xi[j]に帯域分割するウエーブレット変換器2100と、複数のサブバンドに分割されている各信号Xi[j]を合成し、入力信号x[i]の復元を行う逆ウエーブレット変換器2200と、ウエーブレット変換器2100により複数のサブバンドに帯域分割された各信号Xi[j]に対して、量子化処理や可変長符号化処理,伝送,可変長復号処理,逆量子化処理などを行い、信号処理済みの各信号を上記逆ウエーブレット変換器2200に供給する信号処理器2300と、上記ウエーブレット変換器2100における帯域分割処理及び対応する逆ウエーブレット変換器2200における帯域合成処理に対するデータの両端部における畳み込み演算のための外挿処理の方法が適切であるか否かを判定する外挿処理判定器2400を備える。
ウエーブレット変換器2100には解析用フィルタ1110とダウンサンプル器1120の間に第1のオフセット器1115を設置し、また、逆ウエーブレット変換器2200にはアップサンプル器1210と合成用フィルタ1220の間に第2のオフセット器1215を設置してある。
上記第1及び第2のオフセット器1115,1215には、図13に示すように外挿処理判定器2400に設けられたオフセット判定器1450からオフセット量dcB(=dcE)が与えられるようになっている。
このデータ処理装置2000において、外挿処理判定器2400には、図13に示すように、対称性判定器1431,1432と合成フィルタ用外挿処理判定器1441,1442に接続されたオフセット判定器1450が設けられている。
対称性判定器1431,1432では、周期性判定器1420から送られてくる値wが0であり、位相シフト算出器1411,1412から送られてくる位相シフトの量dP,dQの絶対値がサンプリング周期Dの整数倍あるいはサンプリング周期の1/2すなわちD/2の奇数倍である場合に、その位相シフト量にサンプリング間隔Dの整数倍を加算して、データ列の先頭位置に対しては、−1/2以上0以下の値を、終端位置に対しては0以上1/2以下の値を得るために必要な加算量を算出し、その値をオフセット量dcB,dcEとしてオフセット判定器1450に、また、解析用フィルタ1110で用いた折り返し法P又はQを合成用外挿処理判定器1441,1442に送る。
そして、オフセット判定器1450では、先頭位置及び終端位置に対応する対称性判定器1431,1432から送られてきたオフセット量を比較し、両者が一致する場合には、その旨を示す信号c1を2つの合成フィルタ用外挿処理判定器1441,1442に送るとともに、オフセット量dcB(=dcE)を第1のオフセット器1115と第2のオフセット器1215に送る。一致しない場合にはその旨を知らせる信号を出力し、すべての処理をその時点で中止する。
そして、ウエーブレット変換器2100では、解析用フィルタ1110によってフィルタリング処理されたデータが、オフセット判定器1450から送られてくるオフセット量だけ第1のオフセット器1115によりシフトされてから、ダウンサンプル器1120によりダウンサンプリングされる。
また、逆ウエーブレット変換器2200では、第2のオフセット器1115では、アップサンプル器1210によりアップサンプリングされたデータが、上述のオフセット判定器1450から送られてくるシフト量だけ逆方向にシフトされてから、合成用フィルタ1220によるフィルタリング処理が施される。
次に、本発明の第3の実施の形態について説明する。
この第3の実施の形態は、図14及び図15に示す本発明の第3の実施の形態は、上述の図2及び図3に示した符号化装置400及び復号装置500に本発明を適用したもので、1次元データ列の符号化及び復号を行う符号化/復号装置である。
この図14に示す符号化装置3000は、入力された信号x[i]を3つ周波数帯域(サブバンド)の信号XL1'[k],XH1'[k],XH0'[j]に帯域分割するウエーブレット変換器3100と、上記ウエーブレット変換器3100における帯域分割処理に対するデータの両端部における畳み込み演算のための外挿処理の方法が適切であるか否かを判定する外挿処理判定器3200と、上記ウエーブレット変換器3100により帯域分割された各信号XL1'[k],XH1'[k],XH0'[j]に対して、ハフマン符号化や算術符号化などの可逆符号化、さらに多重化処理などを施す可逆符号器/多重化器3300を備える。
この符号化装置3000におけるウエーブレット変換器3100は、1度の分割では2つのサブバンドを生成し、各ダウンサンプリング処理におけるサンプリング間隔を2とする。また低周波数側のサブバンドをさらに2分割していくオクターブ分割を2回繰り返して行うが、各レベルでのサブバンド処理に対する入力データ列の数は偶数であるとする。この場合、第1の実施の形態で示したように適切な折り返し法は、各フィルタのタップ数と群遅延によって決定できる。
外挿処理判定器3200は、ウエーブレット変換器3100において、各段の解析用ローパスフィルタ3111,3131及び解析用ハイパスフィルタ3112,3132によるフィルタリング処理が始まる前に、そのサブバンドの処理に用いる解析用フィルタのタップ数MLa,MHa及び群遅延gdLa,gdHa、対応する合成用フィルタのタップ数MLs,MHsと群遅延gdLs,gdLs及び外部より指定された先頭位置に対する外挿処理法PL,PHと終端位置に対する外挿処理法QL,QHに基づき、その外挿処理が完全再構成条件を満足するか否かの判定を行い、適正な外挿処理法PL,QL/PH,QHを各段の解析用ローパスフィルタ3111,3131及び解析用ハイパスフィルタ3112,3132に通知する。
ウエーブレット変換器3100では、1段目の解析用ローパスフィルタ3111と解析用ハイパスフィルタ3112により入力信号x[i]を低周波数帯域信号XL0[i]と高周波数帯域信号XH0[[i]に帯域分割する。低周波数帯域信号XL0[i]は、ダウンサンプル器3121に供給され、このダウンサンプル器3121により式(13)と同様のダウンサンプリング処理が施される。ダウンサンプル器3121におけるダウンサンプリング処理により得られた低周波数帯域信号XL0[j]は、2段目の解析用ローパスフィルタ3131と解析用ハイパスフィルタ3132によってさらに低周波数帯域信号XL1[j]と高周波数帯域信号XH1[j]に帯域分割される。そして、低周波数帯域信号XL1[j]と高周波数帯域信号XH1[j]は、それぞれダウンサンプル器3141,3142に供給され、ダウンサンプル器3141,3142によりダウンサンプリング処理が施される。ダウンサンプル器3141,3142におけるダウンサンプリング処理により、低周波数帯域信号XL1[k]及び高周波数帯域信号XH1[k]が生成される。
一方、1段目の解析用ハイパスフィルタ3112を通過した高周波数帯域信号XH0[i]は、ダウンサンプル器3122に供給され、このダウンサンプル器3122によりダウンサンプリング処理が施される。そして、ダウンサンプル器3122におけるダウンサンプリング処理により得られた高周波数帯域信号XH0[j]は、低周波数帯域信号との同期をとるために遅延器3134に入力される。
上記ダウンサンプル器3141,3142におけるダウンサンプル処理により得られた低周波数帯域信号XL1[k]及び高周波数帯域信号XH1[k]と上記遅延器3134によって遅延された高周波数帯域信号XH0[j]は、それぞれ量子化器3151,3152,3153に入力され、対応する量子化ステップQL1,QH1,QH0によって、次の式(22),式(23),式(24)のように量子化される。
XL1'[k]=XL1[k]/QL1 式(22)
XH1'[k]=XH1[k]/QH1 式(23)
XH0'[j]=XH0[j]/QH0 式(24)
ただし、これらの計算における小数点以下の丸めは通常四捨五入が用いられる。
そして、ウエーブレット変換器3100により帯域分割された各量子化データXL1'[k],XH1'[k],XH0'[j]は、可逆符号器/多重化器3300に入力され、ハフマン符号化や算術符号化などの可逆符号化、さらに多重化処理などが施されて、蓄積媒体や伝送路を介して図15に示す復号装置4000に送られる。
この図15に示した復号装置4000は、上述の符号化装置3000において可逆符号器/多重化器3300でなされた多重化処理や可逆符号化に対する復号処理を入力信号に施す逆多重化器/可逆復号器4100と、この逆多重化器/可逆復号器4100により入力信号から復元された各量子化データXL1'[k],XH1'[k],XH0'[j]に、上述の符号化装置3000においるウエーブレット変換器3100と逆の変換処理を施す逆ウエーブレット変換器4200と、この逆ウエーブレット変換器3200における帯域合成処理に対するデータの両端部における畳み込み演算のための外挿処理の方法が適切であるか否かを判定する外挿処理判定器4300を備える。
この図15に示した復号装置4000では、はじめに、逆多重化器/可逆復号器4100によって、上述の符号化装置3000でなされた多重化処理や可逆符号化に対する復号処理が行われ、各量子化データXL1'[k],XH1'[k],XH0'[j]が復元される。そして、逆ウエーブレット変換器4200では、各量子化データXL1'[k],XH1'[k],XH0'[j]が逆量子化器4211,4212,4213に入力され、逆量子化器4211,4212,4213により、符号化装置3000側の量子化器3151,3152,3153における量子化と逆の次の式(25),式(26),式(27)に示されるのような変換が施される。
XL1"[k]=XL1'[k]×QL1 式(25)
XH1"[k]=XH1'[k]×QH1 式(26)
XH0"[j]=XH0'[j]×QH0 式(27)
逆量子化器4211,4212,4213の出力信号XL1"[k],XH1"[k],XH0"[j]の中で、符号化装置3000側の2段目の帯域分割に対応する低周波数帯域信号XL1"[k]及び高周波数帯域信号XH1"[k]は、それぞれアップサンプル器4221,4222に入力され、アップサンプル器4221,4222によってアップサンプリング処理が施される。
上記アップサンプル器4221,4222におけるアップサンプリング処理により得られた低周波数帯域信号XL1"[j]及び高周波数帯域信号XH1"[k]は、それぞれ上述の解析用ローパスフィルタ3111及び解析用ハイパスフィルタ3112と次の式(28)及び式(29)の関係にある合成用ローパスフィルタ4231及び合成用ハイパスフィルタ4232を介して加算器4240に入力される。
0(-z)F0(z)+H1(-z)F1(z)=0 式(28)
0(z)F0(z)+H1(z)F1(z)=2z-L 式(29)
式(28),式(29)において、H0(z),H1(z),F0(z),F1(z)は、それぞれ解析用ローパスフィルタ3111,解析用ハイパスフィルタ3112,合成用ローパスフィルタ4231,合成用ハイパスフィルタ4232の伝達関数であり、Lは任意の整数である。
そして、合成用ローパスフィルタ4231及び合成用ハイパスフィルタ4232の各出力信号は、加算器4240によって加算され、符号化装置3000において1段目の帯域分割によって得られた低周波数帯域信号XL0[j]に対応する低周波数帯域信号XL0"[j]となる。
また、逆量子化器4213により得られた1段目の帯域分割に対応する高周波数帯域信号XH0"[j]は、遅延器4230に入力され、1段目の帯域分割に対応した低周波数帯域信号XL0"[j]が再構成されるのに必要な時間だけ遅延器4230により遅延される。
加算器4240によって得られた低周波数帯域信号XL0"[j]と遅延器4230によって遅延された高周波数帯域信号XH0"[j]は、それぞれアップサンプル器2451,4252に供給され、アップサンプル器2451,4252によりアップサンプリング処理が施される。アップサンプル器2451,4252におけるアップサンプリング処理により得られた周波数帯域信号XL0"[i],XH0"[i]は、それぞれ合成用ローパスフィルタ4261及び合成用ハイパスフィルタ4262によるフィルタリング処理が施されて、加算器4270に供給される。そして、これらの周波数帯域信号XL0"[i],XH0"[i]が加算器4270において加算されることにより合成され、入力信号x[i]に対応する復元信号x"[i]が得られる。
外挿処理判定器4300は、逆ウエーブレット変換器4200において、各段の合成用ローパスフィルタ4231,4261及び合成用ハイパスフィルタ4232,4262によるフィルタリング処理が始まる前に、そのサブバンドの処理に用いる解析用フィルタのタップ数MLa,MHa及び群遅延gdLa,gdHa、対応する合成用フィルタのタップ数MLs,MHsと群遅延gdLs,gdLs及び外部より指定された先頭位置に対する外挿処理法PL’,PH’と終端位置に対する外挿処理法QL,QHに基づき、その外挿処理が完全再構成条件を満足するか否かの判定を行い、適正な外挿処理法PL’,QL/PH’,QHを各段の合成用ローパスフィルタ4231,4261及び合成用ハイパスフィルタ4232,4262に通知する。
なおここでは、解析用ローパスフィルタ3111,3131、解析用ハイパスフィルタ3112,3132、合成用ローパスフィルタ4231,4261及び合成用ハイパスフィルタ4232,4262はすべての分割レベルにおいて同じ組合せを用いた例を示したが、レベル毎に異なる組合せのものを用いることもできる。
また、各段の分割あるいは合成において異なるフィルタを用いる場合には、外挿処理判定器3200において、それぞれのフィルタに対する外挿処理の判定が行われ、各フィルタに適切な外挿処理の方法が通知される。
また、この第3の実施の形態においても、第2の実施の形態と同様に、ダウンサンプリング器3121,3122,3141,3142の前段及びアップサンプリング器4221,4222,4251,4252の後段にオフセット器を設置し、オフセットを調節して適切な外挿処理を判定するようにすることもできる。
さらに、この第3の実施の形態では、符号化装置3000側と復号装置4000側の両方に外挿処理判定器3200,4300を設置したが、符号化装置3000側のみに外挿処理判定器3200を設置し、ここで合成用フィルタの折り返し法を決定しその結果を他の情報とともに可変長符号器/多重化器3300を通して復号装置4000側の合成用フィルタに通知することも可能である。
さらに、本発明は、従来例に示したような2次元画像の符号化に適用することもでき、水平方向と垂直方向に対して異なるフィルタを用いることが可能であるが、この場合にも、上述の第5の実施の形態において各レベルの分割/合成で異なるフィルタを用いる場合に対して述べたと同様に、それぞれのフィルタに対する判定を外挿処理判定器3200,4300において行い、対応するフィルタに通知することで、全体として完全構成条件を満たすウエーブレット変換、逆ウエーブレット変換を行うことができる。
また、動き補償を用いた動画像の符号化方式に適用することも可能である。
なお、本発明は、以上の実施の形態に限らず、本発明の要旨を逸脱することなく、その他様々の構成をとりうることはもちろんである。

Claims (12)

  1. ウエーブレット変換を行い、有限長のデータを複数の周波数帯域に分割してデータ処理を行うデータ処理方法において、
    帯域分割処理及び対応する帯域合成処理に対するデータの両端部における畳み込み演算のための外挿処理について、
    ウエーブレット変換に用いるフィルタの対称性、タップ数、群遅延、ダウンサンプリング処理のサンプリング間隔及びウエーブレット変換を施すデータ列の長さによって、外挿処理が適切であるか否かを判断する
    ことを特徴とするデータ処理方法。
  2. 上記外挿処理方法が、完全再構成条件を満足する場合に、当該外挿処理方法が適切であるとみなすことを特徴とする請求項1に記載のデータ処理方法。
  3. 上記外挿処理は、データ列の末端サンプル位置を対象の中心として折り返すゼロシフト偶関数折り返し処理、または末端サンプル位置の半サンプル外側を対象の中心として折り返す半シフト偶関数折り返し処理のいずれかであることを特徴とする請求項1に記載のデータ処理方法。
  4. データ列の先頭位置あるいは終端位置のそれぞれに対して、折り返し処理、解析フィルタによるフィルタリング処理、ダウンサンプリング処理による対称中心位置から位相シフト量を計算し、先頭位置に対しては、当該位相シフトが0又はサンプリング間隔の1/2にマイナスの符号をつけたものである場合に、終端位置に対しては、当該位相シフトが0又はダウンサンプリングで用いるサンプリング間隔の1/2である場合に、用いた折り返し処理が適切であると判断することを特徴とする請求項1に記載のデータ処理方法。
  5. 上記2つの折り返し処理の中から、データ列の先頭位置及び終端位置に対する外挿処理を選択して、その組合せが適切であるか否かの判定をすべての可能な組合せについて順次行っていくことを特徴とする請求項3に記載のデータ処理方法。
  6. データ列の先頭位置及び終端位置において用いた外挿処理の組合せが適切であると判定された場合に、対応する逆ウエーブレット変換に用いる折り返し処理として、位相シフト量の値が0で解析フィルタが偶関数である場合にはゼロシフト偶関数折り返し処理を、位相シフト量の値が0で解析フィルタが奇関数である場合にはゼロシフト奇関数折り返し処理を、位相シフト量が、データ列の終端位置に対してはサンプリング間隔の1/2、先頭位置に対してはサンプリング間隔の1/2にマイナスの符号をつけた値であり、解析フィルタが偶関数である場合には半シフト偶関数折り返し処理を、位相シフト量の値が終端位置に対してはサンプリング間隔の1/2、先頭位置に対してはサンプリング間隔の1/2にマイナスの符号をつけた値であり、解析フィルタが奇関数である場合には半シフト奇関数折り返し処理を採用することを特徴とする請求項1に記載のデータ処理方法。
  7. ウエーブレット変換を行い、有限長のデータを複数の周波数帯域に分割してデータ処理を行うデータ処理装置において、
    帯域分割処理及び対応する帯域合成処理に対するデータの両端部における畳み込み演算のための外挿処理について、ウエーブレット変換に用いるフィルタの対称性、タップ数、群遅延、ダウンサンプリング処理のサンプリング間隔及びウエーブレット変換を施すデータ列の長さによって、外挿処理が適切であるか否かを判断する外挿処理判定手段を備える
    ことを特徴とするデータ処理装置。
  8. 上記外挿処理判定手段は、完全再構成条件を満足する場合に、当該外挿処理方法が適切であるとみなすことを特徴とする請求項7に記載のデータ処理装置。
  9. 上記外挿処理判定手段が判断する外挿処理は、データ列の末端サンプル位置を対象の中心として折り返すゼロシフト偶関数折り返し処理、または末端サンプル位置の半サンプル外側を対象の中心として折り返す半シフト偶関数折り返し処理のいずれかであることを特徴とする請求項7に記載のデータ処理装置。
  10. 上記外挿処理判定手段は、データ列の先頭位置あるいは終端位置のそれぞれに対して、折り返し処理、解析フィルタによるフィルタリング処理、ダウンサンプリング処理による対称中心位置から位相シフト量を計算し、先頭位置に対しては、当該位相シフトが0又はサンプリング間隔の1/2にマイナスの符号をつけたものである場合に、終端位置に対しては、当該位相シフトが0又はダウンサンプリングで用いるサンプリング間隔の1/2である場合に、用いた折り返し処理が適切であると判断することを特徴とする請求項7に記載のデータ処理装置。
  11. 上記外挿処理判定手段は、上記2つの折り返し処理の中から、データ列の先頭位置及び終端位置に対する外挿処理を選択して、その組合せが適切であるか否かの判定をすべての可能な組合せについて順次行っていくことを特徴とする請求項9に記載のデータ処理装置。
  12. 上記外挿処理判定手段は、データ列の先頭位置及び終端位置において用いた外挿処理の組合せが適切であると判定された場合に、対応する逆ウエーブレット変換に用いる折り返し処理として、位相シフト量の値が0で解析フィルタが偶関数である場合にはゼロシフト偶関数折り返し処理を、位相シフト量の値が0で解析フィルタが奇関数である場合にはゼロシフト奇関数折り返し処理を、位相シフト量が、データ列の終端位置に対してはサンプリング間隔の1/2、先頭位置に対してはサンプリング間隔の1/2にマイナスの符号をつけた値であり、解析フィルタが偶関数である場合には半シフト偶関数折り返し処理を、位相シフト量の値が終端位置に対してはサンプリング間隔の1/2、先頭位置に対してはサンプリング間隔の1/2にマイナスの符号をつけた値であり、解析フィルタが奇関数である場合には半シフト奇関数折り返し処理を採用することを特徴とする請求項7に記載のデータ処理装置。
JP53414498A 1997-02-10 1998-02-09 データ処理方法及びデータ処理装置 Expired - Fee Related JP3687101B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP4168297 1997-02-10
PCT/JP1998/000528 WO1998035449A1 (en) 1997-02-10 1998-02-09 Method and equipment for processing data

Publications (1)

Publication Number Publication Date
JP3687101B2 true JP3687101B2 (ja) 2005-08-24

Family

ID=12615209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP53414498A Expired - Fee Related JP3687101B2 (ja) 1997-02-10 1998-02-09 データ処理方法及びデータ処理装置

Country Status (4)

Country Link
US (1) US6658379B1 (ja)
EP (1) EP0897222A4 (ja)
JP (1) JP3687101B2 (ja)
WO (1) WO1998035449A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076107B1 (en) * 1999-04-15 2006-07-11 Ricoh Co., Ltd. Method and apparatus for high speed data compression and decompression
US7196641B2 (en) * 2005-04-26 2007-03-27 Gen Dow Huang System and method for audio data compression and decompression using discrete wavelet transform (DWT)
JP4360379B2 (ja) * 2006-05-16 2009-11-11 ソニー株式会社 画像処理装置及び画像処理方法、プログラム及び記録媒体
US8655101B2 (en) 2009-06-04 2014-02-18 Sharp Kabushiki Kaisha Signal processing device, control method for signal processing device, control program, and computer-readable storage medium having the control program recorded therein
WO2011061957A1 (ja) 2009-11-17 2011-05-26 シャープ株式会社 符号化装置、復号化装置、符号化装置の制御方法、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
US8824825B2 (en) 2009-11-17 2014-09-02 Sharp Kabushiki Kaisha Decoding device with nonlinear process section, control method for the decoding device, transmission system, and computer-readable recording medium having a control program recorded thereon
EP2538658A4 (en) 2010-02-15 2013-07-24 Sharp Kk SIGNAL PROCESSING DEVICE, CONTROL PROGRAM AND INTEGRATED CIRCUIT
US8958510B1 (en) * 2010-06-10 2015-02-17 Fredric J. Harris Selectable bandwidth filter
EP2624536A1 (en) 2010-09-29 2013-08-07 Sharp Kabushiki Kaisha Signal processing device, control program, and integrated circuit
MY174587A (en) * 2010-12-07 2020-04-28 Sony Corp Image processing device and image processing method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4817182A (en) * 1987-05-04 1989-03-28 General Electric Company Truncated subband coding of images
US4815023A (en) * 1987-05-04 1989-03-21 General Electric Company Quadrature mirror filters with staggered-phase subsampling
JP2989225B2 (ja) * 1990-07-17 1999-12-13 日本放送協会 伝送信号sn比改善装置
JPH04239893A (ja) * 1991-01-23 1992-08-27 Fujitsu Ltd 動画像の帯域分割符号化方式
JPH06338760A (ja) * 1993-05-28 1994-12-06 Oki Electric Ind Co Ltd ウェーブレット変換装置
JPH06338761A (ja) * 1993-05-28 1994-12-06 Oki Electric Ind Co Ltd ウェーブレット変換装置
JPH089367A (ja) * 1994-06-16 1996-01-12 Oki Electric Ind Co Ltd 画像符号化方法
US5666163A (en) * 1994-07-12 1997-09-09 Sony Corporation Electronic image resolution enhancement by frequency-domain extrapolation
JPH0865667A (ja) * 1994-08-26 1996-03-08 Oki Electric Ind Co Ltd 画像信号符号化方法
US5568142A (en) * 1994-10-20 1996-10-22 Massachusetts Institute Of Technology Hybrid filter bank analog/digital converter
US5852681A (en) * 1995-04-20 1998-12-22 Massachusetts Institute Of Technology Method and apparatus for eliminating artifacts in data processing and compression systems
JP3249729B2 (ja) * 1995-10-24 2002-01-21 シャープ株式会社 画像符号化装置及び画像復号装置
US5953388A (en) * 1997-08-18 1999-09-14 George Mason University Method and apparatus for processing data from a tomographic imaging system

Also Published As

Publication number Publication date
EP0897222A1 (en) 1999-02-17
EP0897222A4 (en) 2007-07-25
WO1998035449A1 (en) 1998-08-13
US6658379B1 (en) 2003-12-02

Similar Documents

Publication Publication Date Title
JP3339054B2 (ja) データ符号化方法及び装置、データ復号方法及び装置、並びに記録媒体
KR101517265B1 (ko) 2차원 변환에 의한 오디오 스케일 팩터의 압축
JP4198757B2 (ja) ウェーブレット状及び逆ウェーブレット状にデジタルデータを変換するためのシステム及び方法
JP4850837B2 (ja) 異なるサブバンド領域同士の間の通過によるデータ処理方法
US20030198394A1 (en) Wavelet encoding method and apparatus and wavelet decoding method and apparatus
RU2607230C2 (ru) Адаптация взвешивающих окон анализа или синтеза для кодирования или декодирования путем преобразования
US6591017B1 (en) Wavelet transform method and apparatus
JP3687101B2 (ja) データ処理方法及びデータ処理装置
JP4326031B2 (ja) 帯域合成フィルタバンク及びフィルタリング方法並びに復号化装置
JP3796432B2 (ja) フィルタ処理装置およびフィルタ処理方法
JP2000244743A (ja) フィルタバンク構成方法及びフィルタバンク装置
US6934420B1 (en) Wave image compression
US7050641B1 (en) Method of providing extension to a signal and apparatus therefor
WO2001008306A1 (en) Filtering device
EP1421579B1 (en) Audio coding with non-uniform filter bank
JP4371070B2 (ja) 画像階層符号化方法及び画像階層復号化方法
JP3619534B2 (ja) サブバンド分離及び結合方式
US5777900A (en) Filtering processor and filter method
JP5491193B2 (ja) 音声コード化の方法および装置
JP2503915B2 (ja) サブバンド符号化方式
JP2000125293A (ja) ウェーブレット復号化装置及び方法
JPH09508516A (ja) 画像又は音声信号を伝送するシステム及び方法
JP2004226742A (ja) 量子化装置及び逆量子化装置、並びにそれらの装置を利用可能なオーディオ及び画像の符号化装置及び復号装置
JP2008005343A (ja) 分析フィルタバンク装置、分析フィルタバンク方法及び分析フィルタバンクプログラム、合成フィルタバンク装置、合成フィルタバンク方法及び合成フィルタバンクプログラム、画像圧縮装置及び画像圧縮方法、並びに画像伸長装置及び画像伸長方法
JPH09181612A (ja) サブバンド符号化方法、サブバンド復号方法、サブバンド符号化装置、サブバンド復号装置及びサブバンド符号化復号装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050530

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080617

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090617

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090617

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100617

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees