JP3813025B2 - デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体 - Google Patents

デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体 Download PDF

Info

Publication number
JP3813025B2
JP3813025B2 JP30899998A JP30899998A JP3813025B2 JP 3813025 B2 JP3813025 B2 JP 3813025B2 JP 30899998 A JP30899998 A JP 30899998A JP 30899998 A JP30899998 A JP 30899998A JP 3813025 B2 JP3813025 B2 JP 3813025B2
Authority
JP
Japan
Prior art keywords
short
block
blocks
acoustic signal
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP30899998A
Other languages
English (en)
Other versions
JP2000137497A (ja
Inventor
禎史 荒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP30899998A priority Critical patent/JP3813025B2/ja
Publication of JP2000137497A publication Critical patent/JP2000137497A/ja
Application granted granted Critical
Publication of JP3813025B2 publication Critical patent/JP3813025B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はデジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体に関し、特に例えばDVD、デジタル放送等に利用するデジタル音響信号の圧縮・符号化に関する。
【0002】
【従来の技術】
従来より、デジタル音響信号の高品質圧縮・符号化においては、人間の聴覚心理特性が利用されている。その特性は、小さな音が大きな音によってマスキングされて聴こえなくなるというものである。即ち、ある周波数で大きな音が発生すると、その近傍の周波数の小さな音はマスクされて人間の耳には感知されなくなる。ここで、マスクされて聴こえなくなる限界の強度をマスキング閾値という。一方、人間の耳はマスキングとは無関係に、4kHz付近の音に対して最も感度が良く、それより上下の帯域になればなるほど次第に感度が悪くなっていくという性質もある。この性質は、静寂な状況で音を感知し得る限界の強度として表され、これを絶対可聴閾値という。
【0003】
これらのことを音響信号の強度分布を示す図6に従って説明する。太い実線(A)が音響信号の強度分布、点線(B)がこの音響信号に対するマスキング閾値、そして、細い実線(C)が絶対可聴閾値を、それぞれ表す。同図に示すように、人間の耳には、音響信号に対するマスキング閾値及び絶対可聴閾値よりも大きな強度の音のみ感知できる。従って、音響信号の強度分布の中で、音響信号に対するマスキング閾値及び絶対可聴閾値よりも大きな部分の情報のみを取りだしても、聴覚的には元の音響信号と同じように感じられるのである。
【0004】
このことは、音響信号の符号化においては、図6の斜線で示した部分のみに符号化ビットを割り当てることと等価である。ただし、ここでのビット割り当ては、音響信号の全帯域を複数の小帯域に分割して、その分割帯域(D)の単位で行っている。各斜線の領域の横幅は、その分割帯域幅に相当する。
【0005】
各分割帯域で、斜線領域の下限の強度以下の音は耳に聴こえない。よって、原音と符号/復号化音の強度の誤差がこの下限を超えなければ両者の差を感知できない。その意味で、この下限の強度を許容誤差強度と呼ぶ。音響信号を量子化して圧縮するに際し、原音に対する符号/復号化音の量子化誤差強度が許容誤差強度以下になるように量子化すれば、原音の音質を損なわずに音響信号を圧縮できる。よって、図6の斜線領域のみに符号化ビットを割り当てるということは、各分割帯域での量子化誤差強度がちょうど許容誤差強度になるように量子化することと等価である。
【0006】
この音響信号の符号化方式としては、MPEG(Moving Picture Experts Group) AudioやDolby Digital等があるが、いずれもここで説明したような性質を用いている。その中で、現在最も符号化効率がよいとされているのが、ISO/IEC 13818−7にて標準化されているMPEG−2AudioAAC(Advanced Audio Coding)という方式である。
【0007】
図7はAACの符号化の基本的な構成を示すブロック図である。同図において、聴覚心理モデル部71は時間軸に沿ってブロック化された入力音響信号の各分割帯域毎に許容誤差強度を算出する。一方、同じくブロック化された入力信号に対して、ゲインコントロール72及びフィルタバンク73ではMDCT(Modified Discrete Cosine Transform)による周波数領域への変換を行い、TNS(Temporal Noise Shaping)74、予測器76では予測符号化、そしてインテンシティ/カップリング75及びMSステレオ(Middle Side Stereo)(以下M/Sと略す)77では、ステレオ相関符号化処理を、それぞれ行う。その後、正規化係数78を決定し、量子化器79ではその正規化係数78を基に音響信号を量子化する。この正規化係数は図6の許容誤差強度に対応するもので、各分割帯域毎に定められる。量子化後、ノイズレスコーディング80では予め定められたハフマン符号表に基づいて、正規化係数と量子化値にそれぞれハフマン符号を与えてノイズレスコーディングを行い、最後にマルチプレクサ81にて符号ビットストリームを形成する。
【0008】
さて、上述のフィルタバンク73におけるMDCTとは、図8に示すように時間軸に沿って変換領域を50%ずつオーバーラップさせながらDCTを施すものである。これによって、各変換領域の境界部での歪みの発生が抑えられる。また、生成されるMDCT係数の数は変換領域のサンプル数の半分である。AACでは入力音響信号ブロックに対して、2048サンプルの長い変換領域(ロングブロック)、又は各256サンプルの8個の短い変換領域(ショートブロック)のいずれかを適用する。よって、MDCT係数の数はロングの場合は1024、ショートでは128となる。ショートブロックは常に8ブロックを連続して適用することにより、ロングブロックを用いた場合とMDCT係数の数を合わせるようになっている。
【0009】
一般に、図9のように信号波形の変化の少ない定常的な部分にはロングブロックを、図10ように変化の激しいアタック部にはショートブロックを用いる。
この両者の使い分けは重要で、もし図10のような信号にロングブロックを適用すると、本来のアタックの前にプリエコーとよばれるノイズが発生する。また、図9のような信号にショートブロックを適用すると、周波数領域での解像度の不足から適切なビット割り当てがなされずに符号化効率が低下し、やはりノイズが発生し、特に低周波数の音に対しては顕著である。
【0010】
ショートブロックについては、さらに、グループ分けの問題がある。グループ分けとは、上記の8つのショートブロックを、正規化係数の同じ連続するブロックごとにまとめてグループ化することである。グループ内で正規化係数を共通化することで、情報量の削減効果が上がる。具体的には、図7のノイズレスコーディング80にて正規化係数にハフマン符号を割り当てる際に、各ショートブロック単位ではなく、グループ単位で割り当てるのである。図11にグループ分けの一例を示す。ここではグループ数が3で、各グループ内のブロック数は、最初の第0グループでは5、次の第1グループでは1、最後の第2グループでは2、となっている。グループ分けを適切に行わないと、符号量の増加や音質の低下を招く。グループの分割数が多きすぎると、本来共通化できるはずの正規化係数を重複して符号化することになり、符号化効率が低下する。逆に、グループ数が少なすぎると、音響信号の変化が激しいにも拘わらず共通の正規化係数で量子化することになるので、音質が低下する。なお、ISO/IEC13818−7では、グループ分けに関して、符号のシンタクスの規定はあるものの、具体的なグループ分けの基準や手法については考慮されていない。
【0011】
前述のように、符号化に際しては入力音響信号ブロックに対して適切にロングブロックとショートブロックを区別して適用しなければならない。このロング/ショートの判定を行うのは図7の聴覚心理モデル部71である。ISO/IEC13818−7では、聴覚心理モデル部71における、各着目ブロックに対するロング/ショートの判定方法の一例が示されている。その判定処理の概要を以下に説明する。
【0012】
ステップ1:音響信号の再構築
ロングブロック用に1024サンプル(ショートブロック用には128サンプル)を新たに読み込み、前ブロックにて既に読み込んでいる1024サンプル(128サンプル)と合わせて2048サンプル(256サンプル)の信号系列を再構築する。
【0013】
ステップ2:ハン窓の掛け合わせとFFT
ステップ1にて構築した2048サンプル(256サンプル)の音響信号にハン窓を掛け合わせ、さらに、FFT(Fast Fourier Transform)を施して1024個(128個)のFFT係数を算出する。
【0014】
ステップ3:FFT係数の予測値の計算
先行する2ブロック分のFFT係数の実数部と虚数部から、現在着目しているブロックのFFT係数の実数部と虚数部を予測し、それぞれ1024個(128個)の予測値を算出する。
【0015】
ステップ4:非予測可能性値の計算
ステップ2にて算出した各FFT係数の実数部と虚数部と、ステップ3にて算出した各FFT係数の実数部と虚数部の予測値から、それぞれの非予測可能性値を算出する。ここで、非予測可能性値は0から1の間の値をとり、0に近いほど音響信号の純音性が高く、1に近いほど雑音性が高い、言い替えれば純音性が低いことを示す。
【0016】
ステップ5:各分割帯域での音響信号の強度と非予測可能性値の計算
ここでの分割帯域は、図6で示したものに相当する。各分割帯域毎に、ステップ2にて算出した各FFT係数を基にして音響信号の強度を算出する。さらに、ステップ4にて算出した非予測可能性値を強度で重み付けして、各分割帯域毎の非予測可能性値を算出する。
【0017】
ステップ6:広がり関数を掛けた強度と非予測可能性値の畳み込み
各分割帯域における他の分割帯域の音響信号強度及び非予測可能性値の影響を広がり関数で求め、それぞれを畳み込んで正規化する。
【0018】
ステップ7:純音性指標の計算
各分割帯域bにおいて、ステップ6にて算出した畳み込み非予測可能性値(cb(b))を基に、純音性指標tb(b)(=−0.299−0.43loge(cb(b)))を算出する。さらに、純音性指標を0から1の間に制限する。ここで、指標が1に近いほど音響信号の純音性が高く、0に近いほど雑音性が高いことを示す。
【0019】
ステップ8:S/N比の計算
各分割帯域において、ステップ7にて算出した純音性指標を基に、S/N比を算出する。ここで、一般に雑音成分のほうが純音成分よりもマスキング効果が大きいという性質を利用する。
【0020】
ステップ9:強度比の計算
各分割帯域において、ステップ8にて算出したS/N比を基に、畳み込み音響信号強度とマスキング閾値の比を算出する。
【0021】
ステップ10:許容誤差強度の計算
各分割帯域において、ステップ6にて算出した畳み込み音響信号強度と、ステップ9にて算出した音響信号強度とマスキング閾値の比を基に、マスキング閾値を算出する。
【0022】
ステップ11:プリエコー調整と絶対可聴閾値の考慮
各分割帯域において、ステップ10にて算出したマスキング閾値を、前ブロックでの許容誤差強度を用いてプリエコー調整する。さらに、この調整値と絶対可聴閾値の大きい方の値を、現ブロックでの許容誤差強度とする。
【0023】
ステップ12:知覚エントロピーの計算
ロングブロック用とショートブロック用のそれぞれについて、式(1)で定義される知覚エントロピー(Perceptual Entropy(PE))を算出する。
【0024】
【数1】
Figure 0003813025
【0025】
ただし、w(b)は分割帯域bの幅、nb(b)はステップ11にて算出した分割帯域bにおける許容誤差強度、e(b)はステップ5にて算出した分割帯域bにおける音響信号の強度、をそれぞれ示す。ここで、PEは図6におけるビット割り当て領域(斜線領域)の面積の総和に対応すると考えられる。
【0026】
ステップ13:ロング/ショートブロックの判定(図12に示すロング/ショートブロック判定動作フローを参照)
ステップ12にて算出したロングブロック用のPEの値(ステップS1201)が、予め定められた定数(switch_pe)より大きい場合は、着目ブロックをショートブロックと判定し(ステップS1202,S1203)、小さい場合はロングブロックと判定する(ステップS1202,S1204)。ここで、switch_peはアプリケーションに依存して決められる値である。
【0027】
以上が、ISO/IEC13818−7にて記載されたロング/ショートの判定方法である。
【0028】
一方、特開平9−232964号公報では、入力信号を所定区間毎に取り込んで2乗和をそれぞれ求め、各区間毎に2乗和された信号の少なくとも2以上の区間にわたる変化度によって上記信号の過渡状態を検出するように過渡状態検出回路2を構成し、直交変換処理やフィルタ処理を行わずに、時間軸上の入力信号の2乗和計算を行うだけで過渡状態、即ち、ロング/ショートが変化する部分を検出することができるようにしている。
【0029】
【発明が解決しようとする課題】
しかしながら、上述のISO/IEC13818−7にて記載されたロング/ショートブロックの判定方法では、必ずしも適切な判定がなされない。つまり、本来ショートと判定すべき部分をロングと判定して(またはその逆で)、音質の劣化を生じる場合がある。
【0030】
また、上記従来例の公開公報の方法では入力信号の2乗和のみを用いて、知覚エントロピーを考慮していないので、必ずしも聴覚上の特性に合致した判定ができず、音質が劣化する恐れがある。
【0031】
本発明はこれらの問題点を解決するためのものであり、符号量の増加や音質の低下が起こらないように適切にロング/ショートブロックの別を判定すると共にショートブロックのグループ分けができる、デジタル音響信号装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体を提供することを目的とする。
【0032】
【課題を解決するための手段】
本発明は前記問題点を解決するために、デジタル音響信号を時間軸に沿って入力してブロック化し、各ブロック毎にサブバンド分割や周波数領域への変換等の処理を施し、該音響信号を複数の帯域に分割し、各帯域毎に符号化ビットを割り当て、割り当てた符号化ビット数に応じて正規化係数を求め、音響信号を正規化係数で量子化することにより圧縮符号化するデジタル音響信号符号化装置であって、周波数領域への変換を行う際に、ブロック化した音響信号を1つの長い変換ブロック又は複数の短い変換ブロックのいずれかにて変換し、短い変換ブロックを用いる場合は当該複数の短い変換ブロックを、それぞれ1つまたは複数の短い変換ブロックを含むような複数のブロックにグループ化し、同一グループ内に含まれる1つまたは複数の短い変換ブロックには共通の正規化係数を対応させて音響信号を量子化するデジタル音響信号符号化装置において、各々の短い変換ブロック毎に算出した入力音響信号の知覚エントロピーを算出する知覚エントロピー算出手段と、該知覚エントロピー算出手段によって算出された知覚エントロピーの最大値と最小値との差を求める最大・最小値差算出手段と、該最大値と最小値との差と予め定めた閾値とを比較する比較手段と、該比較手段による比較結果に基づいて、複数の短い変換ブロックのグループ分けを行うグルーピング手段と、を具備することに特徴がある。また、当該グルーピング手段によって分けられたグループの数によって音響信号のブロックをロングブロック又はショートブロックのいずれかで変換するかを判定する、又はグルーピング手段によって分けられたグループの数及び知覚エントロピー算出手段によって算出された各長い変換ブロック毎の知覚エントロピーによって音響信号のブロックを1つの長いブロック又は複数の短いブロックのいずれかで周波数帯域で変換するかを判定するロング/ショートブロック判定手段を設けたことに特徴がある。よって、聴覚上の特性が似たショートブロック同士をグループ化することにより各グループ内で量子化の際の量子化係数を共通化しても音質の劣化を小さく抑えることができると共に、符号化効率を向上させることができる。また、音響信号の特性に合致した適切な判定がなされ、また音響信号の特性を反映した判定がなされることにより音質の劣化を抑えることができる。
【0033】
また、別の発明として、デジタル音響信号を時間軸に沿って入力してブロック化し、各ブロック毎にサブバンド分割や周波数領域への変換等の処理を施し、該音響信号を複数の帯域に分割し、各帯域毎に符号化ビットを割り当て、割り当てた符号化ビット数に応じて正規化係数を求め、音響信号を正規化係数で量子化することにより圧縮符号化するデジタル音響信号符号化方法であって、周波数領域への変換を行う際に、ブロック化した音響信号を1つの長い変換ブロック又は複数の短い変換ブロックのいずれかにて変換し、短い変換ブロックを用いる場合は当該複数の短い変換ブロックを、それぞれ1つまたは複数の短い変換ブロックを含むような複数のブロックにグループ化し、同一グループ内に含まれる1つまたは複数の短い変換ブロックには共通の正規化係数を対応させて音響信号を量子化するデジタル音響信号符号化方法において、各々の短い変換ブロック毎に算出した音響信号の知覚エントロピーを用いて、同一グループ内に含まれる各短い変換ブロックに対応する各知覚エントロピーの最大値と最小値の差が予め定めた閾値以下になるように複数の短い変換ブロックのグループ分けを行うことに特徴がある。更に複数の短い変換ブロックのグループ分けの結果に基づいて、入力音響信号ブロックを1つの長い変換ブロックで周波数領域に変換するか、あるいは複数の短い変換ブロックで周波数領域に変換するかの判定を行う。そして複数の短い変換ブロックのグループ分けの結果、全ての短い変換ブロックが同一のグループに含まれる場合は、音響信号ブロックを1つの長い変換ブロックで周波数領域に変換し、短い変換ブロックが複数のグループにグループ分けされる場合は、音響信号ブロックを複数の短い変換ブロックで周波数領域に変換する。よって、音響信号の特性に合致した適な判定がなされると共に音質の劣化を抑えることができる。更に、複数の短い変換ブロックのグループ分けの結果と、長い変換ブロックに関して算出した入力音響信号の知覚エントロピーとを用いて、入力音響ブロックを1つの長い変換ブロックで周波数領域に変換するか、あるいは、複数の短い変換ブロックで複数領域に変換するかの判定を行う。また長い変換ブロックに対応する知覚エントロピーが予め定めた閾値以下で、かつ、複数の短い変換ブロックのグループ分けの結果全ての短い変換ブロックが同一のグループに含まれる場合は、音響信号ブロックを1つの長い変換ブロックで周波数領域に変換し、これ以外の場合は、音響信号ブロックを複数の短い変換ブロックで周波数領域に変換する。そして処理対象の音響信号ブロックにおける長い変換ブロックに対応する知覚エントロピーと、既に符号化を完了した直前の音響信号ブロックにおける長い変換ブロックに対応する知覚エントロピーの差が、予め定めた閾値以下で、かつ、複数の短い変換ブロックのグループ分けの結果全ての短い変換ブロックが同一のグループに含まれる場合は、処理対象の音響信号ブロックを1つの長い変換ブロックで周波数領域に変換し、これ以外の場合は、音響信号ブロックを複数の短い変換ブロックで周波数領域に変換する。よって、音響信号の特性を反映した判定がなされる共に音質の劣化を抑えることができる。
【0034】
更なる別の発明として、コンピュータにより、デジタル音響信号を時間軸に沿って入力してブロック化し、各ブロック毎にサブバンド分割や周波数領域への変換等の処理を施し、該音響信号を複数の帯域に分割し、各帯域毎に符号化ビットを割り当て、割り当てた符号化ビット数に応じて正規化係数を求め、音響信号を正規化係数で量子化することにより圧縮符号化するデジタル音響信号符号化プログラムであって、周波数領域への変換を行う際に、ブロック化した音響信号を1つの長い変換ブロック又は複数の短い変換ブロックのいずれかにて変換し、短い変換ブロックを用いる場合は当該複数の短い変換ブロックを、それぞれ1つまたは複数の短い変換ブロックを含むような複数のブロックにグループ化し、同一グループ内に含まれる1つまたは複数の短い変換ブロックには共通の正規化係数を対応させて音響信号を量子化するように実行するデジタル音響信号符号化プログラムを記録した媒体において、各々の短い変換ブロック毎に算出した音響信号の知覚エントロピーを用いて、同一グループ内に含まれる各短い変換ブロックに対応する各知覚エントロピーの最大値と最小値の差が予め定めた閾値以下になるように複数の短い変換ブロックのグループ分けを行う機能を有するデジタル音響信号符号化プログラムを記録した媒体に特徴がある。また、別の発明として、長い変換ブロックに対応する知覚エントロピーが予め定めた閾値以下で、かつ、複数の短い変換ブロックのグループ分けの結果全ての短い変換ブロックが同一のグループに含まれる場合は、音響信号ブロックを1つの長い変換ブロックで周波数領域に変換し、これ以外の場合は、音響信号ブロックを複数の短い変換ブロックで周波数領域に変換する機能を有するデジタル音響信号符号化プログラムを記録した媒体に特徴がある。よって、既存のシステムを変えることなく、かつ符号化システムを構築する装置を汎用的に使用することができる。
【0035】
【発明の実施の形態】
各々の短い変換ブロック毎に算出した入力音響信号の知覚エントロピーを算出する知覚エントロピー算出手段と、該知覚エントロピー算出手段によって算出された知覚エントロピーの最大値と最小値との差を求める最大・最小値差算出手段と、該最大値と最小値との差と予め定めた閾値とを比較する比較手段と、該比較手段による比較結果に基づいて、複数の短い変換ブロックのグループ分けを行うグルーピング手段と、を具備する。
【0036】
【実施例】
以下、本発明の実施例を図面に基づいて説明する。
図1は本発明の一実施例に係るデジタル音響信号符号化装置の構成を示すブロックである。同図に示す本実施例のデジタル音響信号符号化装置は、入力された音響信号を所定の数、以下の説明では8つの連続するブロックに分割するブロック分割手段11、分割された各ブロックの知覚エントロピーPEを上述した算出式によって計算する知覚エントロピー算出手段12、算出された知覚エントロピーの最大値と最小値の差を求める最大・最小値差算出手段13、最大値と最小値の差と予め定めた閾値とを比較する比較手段14、比較結果に応じてグループ分けを行うグルーピング手段15、グループ分けの状態に応じてロングブロック又はショートブロックのいずれかを判定するロング/ショートブロック判定手段16及び各手段の動作を制御する制御手段17を含んで構成されている。ここで、図2はデジタル音響信号符号化装置の動作を示すフローチャートである。以下、両図を用いて本実施例の具体的な動作を説明する。その際、入力音響信号の例として、図3の音響データを用いる。これは図6の音響データと同様のものであるが、図3では連続する8つの各ショートブロックに対応する通し番号を付している。
【0037】
先ず、ブロック分割手段11によって入力された音響信号は連続する8つのショートブロックに分割される。そして、この8つのショートブロックの知覚エントロピーを知覚エントロピー算出手段12によってそれぞれ計算し、これらを順にPE(i)(0≦i≦7)とする(ステップS101)。この計算は、上述のISO/IEC13818−7における各着目ブロックに対するロング/ショートの判定方法のステップ1からステップ12にて説明した方法を各ショートブロックに対して行うことで実現する。ここでは、図3の音響データに対しては図4に示すような知覚エントロピーPE(i)が算出されたとする。次に、group_len[0]=1,group_len[gnum]=0(0≦gnum≦7)と初期化する(ステップS102)。ここで、gnumはグループ分におけるグループの通し番号、group_len[gnum]は第gnumグループ内に含まれるショートブロックの数、をそれぞれ表す。そして、gnum=0,min=PE(0),max=PE(0)とそれぞれ初期化する(ステップS103)。このmin,maxは、PE(i)の最小値、最大値をそれぞれ表す。図4より、ここにおける例では、min=110,max=110となる。さらに、インデックスiをi=1と初期化する(ステップS104)。このインデックスはショートブロックの通し番号に対応する。
【0038】
次に、PE(i)によってmin、又はmaxの更新をする。即ち、PE(i)<minならmin=PE(i)、PE(i)>maxならmax=PE(i)とする(ステップS105)。図4の例では、PE(1)=96なので、min=96,max=110となる。そして、グループ分けの判定をする(ステップS106)。即ち、最大・最小値差算出手段13によって求めたmax−minが比較手段14にて予め定められた閾値thと比較されて当該閾値th以上の場合は、ショートブロックi−1とiの間でグルーピング手段15においてグループ分けを行うためにステップS107に進み、thより小さい場合は、制御手段17によりショートブロックi−1とiが同一グループに含まれると判定してステップS108に進むのである。この例ではth=50としておく。即ち、同一のグループに含まれる各ショートブロックのPE(i)の最大値と最小値の差が50より小さくなるように、グループ分けするということである。すると、i=1のときは、max−min=110−96=14<50=thなので、ショートブロック0と1は同一グループに含まれると判定されてステップS108へ進む。なお、ここではgnum=0なので、ショートブロック0と1は第0グループに含まれる。そして、group_len[gnum]の値を1だけインクリメントする(ステップS109)。これは、第gnumグループに含まれるショートブロックの数を1だけ増やすということである。この例では、ステップS102,S103でgnum=0かつgroup_len[0]=1と初期化されているので、ステップS108ではgroup_len[0]=2となる。これは、第0グループに含まれるショートブロックとしてブロック0,1の2つのブロックが既に確定していることに対応する。
【0039】
次に、インデックスiを1だけインクリメントし(ステップS109)、iが7より小さい場合はステップS105へ戻る(ステップS110)。この例ではi=2<7となるのでステップS105)へ戻る。
【0040】
その後、以上で説明したのと同様の動作がi=4まで続く。i=4のときは、図4より、図2のステップS105にてmin=96,max=137となるので、ステップS106では最大・最小値差算出手段13及び比較手段14並びに制御手段17によってmax−min=41<50=thと判定され、やはり、ステップS106からそのままステップS108へ進む。そして、ステップS108にて、group_len[0]=5となる。これは即ち、第0グループに含まれるショートブロックとしてブロック0,1,2,3,4の5つのブロックが確定したことに対応する。そして、ステップS109にてi=5となった後、ステップS110を経て再びステップS105に戻ると、今度はPE(5)=152なのでmin=96,max=152となる。すると、ステップS106では最大・最小値差算出手段13及び比較手段14並びに制御手段17によってmax−min=56>50=thと判定されるので、ステップS107へ進む。これはグルーピング手段15によってショートブロック4と5の間でグループ分けを行うことを意味する。ステップS107ではgnumの値を1だけインクリメントし、かつ、min,maxをそれぞれ最新のPE(i)に置き換える。ここでは、gnum=1,min=152,max=152となる。gnum=1はショートブロック5が含まれるグループが第1グループであることに対応する。
【0041】
次に、ステップS108でgroup_len[1]を1だけインクリメントする。group_len[1]はステップS102にて0に初期化されていたので、ここで改めてgroup_len[1]=1となる。これは、第1グループに含まれるショートブロックとしてブロック5の1つのブロックが確定したことに対応する。
【0042】
以下同様に、図1のステップS109でi=6となり、ステップS110からまたステップS105へ戻ると、今度は図3よりPE(6)=269なので、min=152,max=269となり、最大・最小値差算出手段13及び比較手段14並びに制御手段17によってステップS106にてmax−min=117>50と判定され、ステップS107へ進む。つまり、グルーピング手段15によってショートブロック5と6の間でもグループ分けがなされるのである。そして、ステップS107にてgnum=2,min=269,max=269となり、さらにステップS108でgroup_len[2]=1となる。そして、ステップS109でi=7とした後これ間でと同様に、ステップS105でPE(7)=231なので、min=231,max=269となり、最大・最小値差算出手段13及び比較手段14並びに制御手段17によってステップS106にてmax−min=38<50と判定され、ステップS108へ進む。つまり、グルーピング手段15によってショートブロック6と7はいずれも第2グループに含まれる。これに対応して、ステップS108でgroup_len[2]=2となる。さて、次のステップS109でi=8となるとステップS110の判定により、ステップS111へ進む。これで、8つのショートブロック全てについてのグループ分けが完了したことになる。
【0043】
この例では、結局、gnum=2,group_len[0]=5,group_len[1]=1,group_len[2]=2となる。即ち、グループの数は3で、各グループに含まれるショートブロックの数は、第0グループが5、第1グループが1、第2グループが2という結果である。これは、図11に示したグループ分けの例と同様のものである。
【0044】
次に、本発明の第2の実施例について図2のフローチャートを基に行う。第2の実施例では、グループ分けの結果グループ数によってロング/ショートを判定する方法を示している。即ち、図1のロング/ショートブロック判定手段16は図2のステップS111にて、gnumの値が0か否かを判定する。もし0ならば、グループの数は1であり、0でないならばグループの数は2以上ということになる。。そこで、gnum=0ならばステップS112へ進んで入力音響ブロックを1つのロングブロックによってMDCT変換するものと判定し、gnum=0でないならばステップS113へ進んで入力音響ブロックを8つのショートブロックによってMDCT変換するものと判定する。この例ではgnum=2なので、ステップS113へ進み、ショートブロックで変換すると判定する。
【0045】
なお、このロング/ショートの判定法は、第2の実施例に示したものに限るものではない。グループ数だけではなく、ロングブロックに関する知覚エントロピーの値も判定に用いる方法を述べている。その中で、ロングブロックに関する知覚エントロピーについてのある閾値を予め定めておき、実際に計算したロングブロックの知覚エントロピーがこの閾値以下で、かつ、グループ数が1の場合に、ロングブロックと判定し、それ以外の場合はショートブロックと判定するとしても構わない。また、ロングブロックに関する知覚エントロピーの差についてのある閾値を予め定めておいてもよい。そして、現在着目中の入力音響信号ブロックにおけるロングブロックの知覚エントロピーと、既に符号化を完了した直前の入力音響信号ブロックにおけるロングブロックの知覚エントロピーの差が、この閾値以下で、かつ、グループ数が1の場合に、ロングブロックと判定し、それ以外の場合はショートブロックと判定することも考えられる。
【0046】
次に、図5は本発明のシステム構成を示すブロック図である。つまり、同図は上記実施例におけるデジタル音響信号符号化方法によるソフトウェアを実行するマイクロプロセッサ等から構築するハードウェアを示すものである。同図において、デジタル音響信号符号化システムはインターフェース(以下I/Fと略す)51、CPU52、ROM53、RAM54、表示装置55、ハードディスク56、キーボード57及びCD−ROMドライブ58を含んで構成されている。また、汎用の処理装置を用意し、CD−ROM59などの読取可能な記録媒体には、本発明のデジタル音響信号符号化方法を実行するプログラムが記録されている。更に、I/F51を介して外部装置から制御信号が入力され、キーボード57によって操作者による指令又は自動的に本発明のプログラムが起動される。そして、CPU52は当該プログラムに従って上述のデジタル音響信号符号化方法に伴う符号化制御処理を施し、その処理結果をRAM54やハードディスク56等の記憶装置に格納し、必要により表示装置55などに出力する。以上のように、本発明のデジタル音響信号符号化方法を実行するプログラムが記録した媒体を用いることにより、既存のシステムを変えることなく、かつ符号化システムを構築する装置を汎用的に使用することができる。
【0047】
なお、本発明は上記実施例に限定されるものではなく、特許請求の範囲内に記載であれば多種の変形や置換可能であることは言うまでもない。
【0048】
【発明の効果】
以上説明しように、本発明によれば、音響信号ブロックを複数のショートブロックに分割し、それぞれのショートブロックに関する知覚エントロピーに基づいてグループ化し、その際に、各グループに含まれるショートブロックの知覚エントロピーの最大値と最小値の差が予め定めた閾値以下になるようにグループ化するので、聴覚上の特性が似たショートブロック同志をグループ化することになり、その結果、各グループ内で、量子化の際の量子化係数を共通化しても音質の劣化を小さく抑えることができ、かつ、符号化効率を向上させることができる。
【0049】
また、ロング/ショートブロックの判定に関し、音響信号ブロックを知覚エントロピーに基づくグループ分けをした結果のグループ数によって判定し、その際、グループ数が1の場合は音響信号ブロックの聴覚上の特性の変化が少ないとみなしてロングブロックと判定し、グループ数が複数以上の場合は変化が大きいとみなしてショートと判定するので、音響信号の特性に合致した適切な判定がなされ、音質の劣化を抑えることができる。
【0050】
更に、ロング/ショートブロックの判定に関し、グループ分けの結果のグループ数を利用した判定をしているので、音響信号の特性を反映した判定がなされ、音質の劣化を抑えることができる。
【0051】
本発明のデジタル音響信号符号化方法を実行するプログラムが記録した媒体を用いることにより、既存のシステムを変えることなく、かつ符号化システムを構築する装置を汎用的に使用することができる。
【図面の簡単な説明】
【図1】本発明の一実施例に係るデジタル音響信号符号化装置の構成を示すブロック図である。
【図2】本発明の一実施例に係るデジタル音響信号符号化方法の動作を示すフローチャートである。
【図3】本実施例における音響信号の一例の信号波形を示す図である。
【図4】図3の音響信号に対する知覚エントロピーの関係を示す図である。
【図5】本発明のシステム構成を示すブロック図である。
【図6】音響信号とマスキング閾値及び絶対可聴閾値の強度分布を示す図である。
【図7】AACの符号化の基本的な構成を示すブロック図である。
【図8】MDCTの変換領域を示す図である。
【図9】変化の少ない信号波形の場合のMDCTの変換領域を示す図である。
【図10】変化の激しい信号波形の場合のMDCTの変換領域を示す図である。
【図11】グループ分けの一例を示す図である。
【図12】ISO/IEC13818−7におけるロング/ショートブロック判定動作を示すフローチャートである。
【符号の説明】
11 ブロック分割手段
12 知覚エントロピー算出手段
13 最大・最小値差算出手段
14 比較手段
15 グルーピング手段
16 ロング/ショートブロック判定手段
17 制御手段
51 I/F
52 CPU
53 ROM
54 RAM
55 表示装置
56 ハードディスク
57 キーボード
58 CD−ROMドライブ
59 CD−ROM

Claims (11)

  1. デジタル音響信号を時間軸に沿って入力してブロック化し、各ブロック毎にサブバンド分割や周波数領域への変換等の処理を施し、該音響信号を複数の帯域に分割し、各帯域毎に符号化ビットを割り当て、割り当てた符号化ビット数に応じて正規化係数を求め、前記音響信号を前記正規化係数で量子化することにより圧縮符号化するデジタル音響信号符号化装置であって、前記周波数領域への変換を行う際に、ブロック化した前記音響信号を1つの長い変換ブロック又は複数の短い変換ブロックのいずれかにて変換し、短い変換ブロックを用いる場合は当該複数の短い変換ブロックを、それぞれ1つまたは複数の短い変換ブロックを含むような複数のブロックにグループ化し、同一グループ内に含まれる1つまたは複数の短い変換ブロックには共通の正規化係数を対応させて音響信号を量子化するデジタル音響信号符号化装置において、
    各々の短い変換ブロック毎に算出した入力音響信号の知覚エントロピーを算出する知覚エントロピー算出手段と、
    該知覚エントロピー算出手段によって算出された知覚エントロピーの最大値と最小値との差を求める最大・最小値差算出手段と、
    該最大値と最小値との差と予め定めた閾値とを比較する比較手段と、
    該比較手段による比較結果に基づいて、複数の短い変換ブロックのグループ分けを行うグルーピング手段と、
    を具備することを特徴とするデジタル音響信号符号化装置。
  2. 前記グルーピング手段によって分けられたグループの数によって音響信号のブロックをロングブロック又はショートブロックのいずれかで変換するかを判定するロング/ショートブロック判定手段具備する請求項1記載のデジタル音響信号符号化装置。
  3. 前記グルーピング手段によって分けられたグループの数及び前記知覚エントロピー算出手段によって算出された各短い変換ブロック毎の知覚エントロピーによって音響信号のブロックを1つの長いブロック又は複数の短いブロックのいずれかで周波数帯域で変換するかを判定するロング/ショートブロック判定手段具備する請求項1記載のデジタル音響信号符号化装置。
  4. デジタル音響信号を時間軸に沿って入力してブロック化し、各ブロック毎にサブバンド分割や周波数領域への変換等の処理を施し、該音響信号を複数の帯域に分割し、各帯域毎に符号化ビットを割り当て、割り当てた符号化ビット数に応じて正規化係数を求め、前記音響信号を前記正規化係数で量子化することにより圧縮符号化するデジタル音響信号符号化方法であって、前記周波数領域への変換を行う際に、ブロック化した前記音響信号を1つの長い変換ブロック又は複数の短い変換ブロックのいずれかにて変換し、短い変換ブロックを用いる場合は当該複数の短い変換ブロックを、それぞれ1つまたは複数の短い変換ブロックを含むような複数のブロックにグループ化し、同一グループ内に含まれる1つまたは複数の短い変換ブロックには共通の正規化係数を対応させて音響信号を量子化するデジタル音響信号符号化方法において、
    各々の短い変換ブロック毎に算出した音響信号の知覚エントロピーを用いて、同一グループ内に含まれる各短い変換ブロックに対応する各知覚エントロピーの最大値と最小値の差が予め定めた閾値以下になるように複数の短い変換ブロックのグループ分けを行うことを特徴とするデジタル音響信号符号化方法。
  5. 複数の短い変換ブロックのグループ分けの結果、全ての短い変換ブロックが同一のグループに含まれる場合は、音響信号ブロックを1つの長い変換ブロックで周波数領域に変換し、短い変換ブロックが複数のグループにグループ分けされる場合は、音響信号ブロックを複数の短い変換ブロックで周波数領域に変換する請求項4記載のデジタル音響信号符号化方法。
  6. デジタル音響信号を時間軸に沿って入力してブロック化し、各ブロック毎にサブバンド分割や周波数領域への変換等の処理を施し、該音響信号を複数の帯域に分割し、各帯域毎に符号化ビットを割り当て、割り当てた符号化ビット数に応じて正規化 係数を求め、前記音響信号を前記正規化係数で量子化することにより圧縮符号化するデジタル音響信号符号化方法であって、前記周波数領域への変換を行う際に、ブロック化した前記音響信号を1つの長い変換ブロック又は複数の短い変換ブロックのいずれかにて変換し、短い変換ブロックを用いる場合は当該複数の短い変換ブロックを、それぞれ1つまたは複数の短い変換ブロックを含むような複数のブロックにグループ化し、同一グループ内に含まれる1つまたは複数の短い変換ブロックには共通の正規化係数を対応させて音響信号を量子化するデジタル音響信号符号化方法において、
    長い変換ブロックに対応する知覚エントロピーが予め定めた閾値以下で、かつ、複数の短い変換ブロックのグループ分けの結果全ての短い変換ブロックが同一のグループに含まれる場合は、音響信号ブロックを1つの長い変換ブロックで周波数領域に変換し、これ以外の場合は、音響信号ブロックを複数の短い変換ブロックで周波数領域に変換することを特徴とするデジタル音響信号符号化方法。
  7. 複数の短い変換ブロックのグループ分けの結果に基づいて、入力音響信号ブロックを1つの長い変換ブロックで周波数領域に変換するか、あるいは複数の短い変換ブロックで周波数領域に変換するかの判定を行う請求項4又は6に記載のデジタル音響信号符号化方法。
  8. 複数の短い変換ブロックのグループ分けの結果と、長い変換ブロックに関して算出した入力音響信号の知覚エントロピーとを用いて、入力音響ブロックを1つの長い変換ブロックで周波数領域に変換するか、あるいは、複数の短い変換ブロックで複数領域に変換するかの判定を行う請求項4又は6に記載のデジタル音響信号符号化方法。
  9. 処理対象の音響信号ブロックにおける長い変換ブロックに対応する知覚エントロピーと、既に符号化を完了した直前の音響信号ブロックにおける長い変換ブロックに対応する知覚エントロピーの差が、予め定めた閾値以下で、かつ、複数の短い変換ブロックのグループ分けの結果全ての短い変換ブロックが同一のグループに含まれる場合は、処理対象の音響信号ブロックを1つの長い変換ブロックで周波数領域に変換し、これ以外の場合は、音響信号ブロックを複数の短い変換ブロックで周波数領域に変換する請求項4又は6に記載のデジタル音響信号符号化方法。
  10. コンピュータにより、デジタル音響信号を時間軸に沿って入力してブロック化し、各ブロック毎にサブバンド分割や周波数領域への変換等の処理を施し、該音響信号を複数の帯域に分割し、各帯域毎に符号化ビットを割り当て、割り当てた符号化ビット数に応じて正規化係数を求め、前記音響信号を前記正規化係数で量子化することにより圧縮符号化するデジタル音響信号符号化プログラムであって、前記周波数領域への変換を行う際に、ブロック化した前記音響信号を1つの長い変換ブロック又は複数の短い変換ブロックのいずれかにて変換し、短い変換ブロックを用いる場合は当該複数の短い変換ブロックを、それぞれ1つまたは複数の短い変換ブロックを含むような複数のブロックにグループ化し、同一グループ内に含まれる1つまたは複数の短い変換ブロックには共通の正規化係数を対応させて音響信号を量子化するように実行するデジタル音響信号符号化プログラムを記録した媒体において、
    各々の短い変換ブロック毎に算出した音響信号の知覚エントロピーを用いて、同一グループ内に含まれる各短い変換ブロックに対応する各知覚エントロピーの最大値と最小値の差が予め定めた閾値以下になるように複数の短い変換ブロックのグループ分けを行う機能を有するデジタル音響信号符号化プログラムを記録した媒体。
  11. コンピュータにより、デジタル音響信号を時間軸に沿って入力してブロック化し、各ブロック毎にサブバンド分割や周波数領域への変換等の処理を施し、該音響信号を複数の帯域に分割し、各帯域毎に符号化ビットを割り当て、割り当てた符号化ビット数に応じて正規化係数を求め、前記音響信号を前記正規化係数で量子化することにより圧縮符号化するデジタル音響信号符号化プログラムであって、前記周波数領域への変換を行う際に、ブロック化した前記音響信号を1つの長い変換ブロック又は複数の短い変換ブロックのいずれかにて変換し、短い変換ブロックを用いる場合は当該複数の短い変換ブロックを、それぞれ1つまたは複数の短い変換ブロックを含むような複数のブロックにグループ化し、同一グループ内に含まれる1つまたは複数の短い変換ブロックには共通の正規化係数を対応させて音響信号を量子化するように実行するデジタル音響信号符号化プログラムを記録した媒体において、
    長い変換ブロックに対応する知覚エントロピーが予め定めた閾値以下で、かつ、複数の短い変換ブロックのグループ分けの結果全ての短い変換ブロックが同一のグループに含まれる場合は、音響信号ブロックを1つの長い変換ブロックで周波数領域に変換し、これ以外の場合は、音響信号ブロックを複数の短い変換ブロックで周波数領域に変換する機能を有するデジタル音響信号符号化プログラムを記録した媒体。
JP30899998A 1998-10-29 1998-10-29 デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体 Expired - Fee Related JP3813025B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30899998A JP3813025B2 (ja) 1998-10-29 1998-10-29 デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30899998A JP3813025B2 (ja) 1998-10-29 1998-10-29 デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体

Publications (2)

Publication Number Publication Date
JP2000137497A JP2000137497A (ja) 2000-05-16
JP3813025B2 true JP3813025B2 (ja) 2006-08-23

Family

ID=17987707

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30899998A Expired - Fee Related JP3813025B2 (ja) 1998-10-29 1998-10-29 デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体

Country Status (1)

Country Link
JP (1) JP3813025B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175098A (ja) * 2000-09-21 2002-06-21 Matsushita Electric Ind Co Ltd 符号化装置、符号化方法、プログラムおよびプログラム記録媒体
JP4635400B2 (ja) * 2001-09-27 2011-02-23 パナソニック株式会社 オーディオ信号符号化方法
DE60204039T2 (de) 2001-11-02 2006-03-02 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur kodierung und dekodierung von audiosignalen
DE102012211031B3 (de) * 2012-06-27 2013-11-28 Siemens Aktiengesellschaft Verfahren zur Codierung eines Datenstroms

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316355A (ja) * 1992-05-13 1993-11-26 Matsushita Electric Ind Co Ltd 画像データ符号化復号化装置
JP2776277B2 (ja) * 1994-12-08 1998-07-16 日本電気株式会社 音声符号化装置
JP3418305B2 (ja) * 1996-03-19 2003-06-23 ルーセント テクノロジーズ インコーポレーテッド オーディオ信号を符号化する方法および装置および知覚的に符号化されたオーディオ信号を処理する装置
DE19613643A1 (de) * 1996-04-04 1997-10-09 Fraunhofer Ges Forschung Verfahren zum Codieren eines mit einer niedrigen Abtastrate digitalisierten Audiosignals

Also Published As

Publication number Publication date
JP2000137497A (ja) 2000-05-16

Similar Documents

Publication Publication Date Title
JP3762579B2 (ja) デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体
JP3739959B2 (ja) デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体
US9153240B2 (en) Transform coding of speech and audio signals
US9305558B2 (en) Multi-channel audio encoding/decoding with parametric compression/decompression and weight factors
EP1715476B1 (en) Low-bitrate encoding/decoding method and system
US7539612B2 (en) Coding and decoding scale factor information
US7383180B2 (en) Constant bitrate media encoding techniques
US8615391B2 (en) Method and apparatus to extract important spectral component from audio signal and low bit-rate audio signal coding and/or decoding method and apparatus using the same
US20080082325A1 (en) Sound signal encoding method and apparatus, sound signal decoding method and apparatus, program, and recording medium
JP4021124B2 (ja) デジタル音響信号符号化装置、方法及び記録媒体
KR100813193B1 (ko) 정보 신호의 양자화 방법 및 장치
US7466245B2 (en) Digital signal processing apparatus, digital signal processing method, digital signal processing program, digital signal reproduction apparatus and digital signal reproduction method
JP2004199075A (ja) ビット率調節可能なステレオオーディオ符号化・復号化方法及びその装置
JP3813025B2 (ja) デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体
RU2752520C1 (ru) Управление полосой частот в кодерах и/или декодерах
Davidson Digital audio coding: Dolby AC-3
JP4721355B2 (ja) 符号化データの符号化則変換方法および装置
JP2000206990A (ja) デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体
Liu et al. Audio coding standards
KR100640833B1 (ko) 디지털 오디오의 부호화 방법
JPH0918348A (ja) 音響信号符号化装置及び音響信号復号装置
Nosirov et al. The fractal method of compression of broadband audio signals
JP2000276198A (ja) デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体
KR20050031227A (ko) 디지털 오디오 부호화 방법 및 장치
JPH11177435A (ja) 量子化装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060530

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090609

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100609

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110609

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110609

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120609

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees