JP4627737B2 - デジタルデータ復号化装置 - Google Patents
デジタルデータ復号化装置 Download PDFInfo
- Publication number
- JP4627737B2 JP4627737B2 JP2006062290A JP2006062290A JP4627737B2 JP 4627737 B2 JP4627737 B2 JP 4627737B2 JP 2006062290 A JP2006062290 A JP 2006062290A JP 2006062290 A JP2006062290 A JP 2006062290A JP 4627737 B2 JP4627737 B2 JP 4627737B2
- Authority
- JP
- Japan
- Prior art keywords
- quantization
- unit
- data
- frequency band
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、ミニディスク（ＭＤ）やフラッシュメモリ等の記録媒体に記録された圧縮されたデジタルオーディオデータやデジタルビデオデータ等のデジタルデータを復号化するデジタルデータ復号化装置に関する。
近年では、楽音や音声等からなるアナログオーディオ信号を音質の劣化を最小限度に抑えつつ小さなデータサイズのデジタルオーディオデータに符号化する圧縮符号化技術が開発されている。この種の圧縮符号化技術を用いれば、圧縮されたデジタルオーディオデータは、圧縮されていないデジタルオーディオデータの１／１０程度にデータが圧縮されているため、多数の楽曲のデジタルオーディオデータをそれほど記録容量が多くないハードディスク（ＨＤ）やフラッシュメモリあるいはミニディスク（ＭＤ）に記録することができる。
しかし、上記圧縮されたデジタルオーディオデータは、圧縮符号化技術により符号化する際に一部の情報が削除されているため、楽音や音声等を忠実に再生できる本格的なオーディオ再生装置に供給した場合には、人は物足りなさや違和感を受けることがしばしばある。これは、以下に示す理由による。すなわち、圧縮符号化技術では、符号化する際に、聴覚心理特性上人の耳には聴こえにくい又は聴き分けにくいと考えられるスペクトルの情報を削除している。ところが、上記した本格的なオーディオ再生装置では、そのようなスペクトルの情報であっても忠実に再生することができるため、上記圧縮されたデジタルオーディオデータを再生した場合には、本来あるべき情報が再生されないからである。
そこで、最近では、上記問題を解決するために、上記圧縮されたデジタルオーディオデータを伸長復号化する際に、圧縮符号化時に削除した情報を擬似的に補間する技術が提案されている。例えば、従来のデジタルオーディオデータ復号化装置には、核復号化手段と、拡張復号化手段とを備えているものがある。核復号化手段は、入力された符号化列を復号化して、第１周波数スペクトル情報を生成する。拡張復号化手段は、上記第１周波数スペクトル情報に基づいて、符号化列によって表されていない周波数帯域に、第１周波数スペクトル情報が示す調波構造を周波数軸上で延長したものに等しい調波構造を示す第２周波数スペクトル情報を生成する（例えば、特許文献１参照。）。
特開２００３−１０８１９７号公報（請求項１，［０００９］〜［００１９］、図１〜図５）
上記した従来のデジタルオーディオデータ復号化装置では、符号化列に表された帯域内でオーディオ信号に比較的一般的な性質である調波構造を抽出して、高域に拡張スペクトル情報を追加的に復元したり（上記特許文献１の段落［００１７］参照）、周波数スペクトル情報のエネルギー分布が調波周期Ｔにおいて余弦関数で表現できると仮定して、１つの調波周期Ｔの間の低域周波数スペクトル情報をそのまま高域に繰り返しコピーしたり増幅したりしている（上記特許文献１の段落［００１９］参照）。
ところが、ある符号化列の復号化された低域周波数スペクトル情報に含まれる調波構造と、符号化の際に削除された実際の高域の調波構造とが同一であるとは限らない。また、周波数スペクトル情報のエネルギー分布が調波周期Ｔにおいて余弦関数で表現できるという仮定が常に当てはまるとは限らない。一方、この仮定が妥当だとしても、低域周波数スペクトル情報をそのまま高域に繰り返しコピーや増幅しただけでは、符号化の際に削除された実際の高域が復元できたとはいいがたい。従って、補間は不完全であり、上記した物足りなさや違和感が解消されない場合がある。また、上記した従来のデジタルオーディオデータ復号化装置では、圧縮符号化時に完全に削除された高域に、原音に近い成分をたとえ付加することができたとしても、量子化ビット数が非零の帯域の量子化ノイズを除去することができないという課題があった。
以上説明した不都合は、アナログビデオ信号を、視覚心理特性等に基づいて、デジタルビデオデータに圧縮符号化した後、記録媒体に記録し、記録媒体から読み出された圧縮符号化されたデジタルビデオデータを伸長復号化する場合にも同様に当てはまる。
以上説明した不都合は、アナログビデオ信号を、視覚心理特性等に基づいて、デジタルビデオデータに圧縮符号化した後、記録媒体に記録し、記録媒体から読み出された圧縮符号化されたデジタルビデオデータを伸長復号化する場合にも同様に当てはまる。
本発明は、上述した事情に鑑みてなされたものであり、上述のような課題を解決することができるデジタルデータ復号化装置を提供することを目的とする。
上記課題を解決するために、請求項１記載の発明は、複数の周波数帯域に分割され、周波数帯域毎に設定される指標に基づいて周波数帯域毎に量子化、符号化されているスペクトルデータを復号化するデジタルデータ復号化装置に係り、量子化ビット割り当てが零である前記周波数帯域の前記スペクトルデータを、前記量子化ビット割り当てが非零の前記周波数帯域に存在する前記スペクトルデータを用いて補間する補間処理部を具備し、前記補間処理部は、前記量子化ビット割り当てが非零の前記周波数帯域に存在する前記スペクトルデータを用いて算出したマスキングしきい値と最小可聴限特性とを合成して作製した合成マスキングしきい値と、前記補間で得られたスペクトルデータの量子化雑音パワー又はエネルギーとの比が、前記量子化ビット割り当てが非零の帯域の前記比を超えないように、前記補間で得られたスペクトルデータに乗算すべき係数を決定し、前記補間で得られたスペクトルデータにそれぞれ乗算することを特徴としている。
また、請求項２記載の発明は、請求項１に記載のデジタルデータ復号化装置に係り、前記補間処理部は、前記補間、前記係数の乗算、前記係数の補正を、前記量子化ビット割り当てが非零の前記周波数帯域に存在する複数の前記スペクトルデータのうち、最大値及びそれに次ぐ値を有する複数のスペクトルデータを用いて行うことを特徴としている。
本発明によれば、圧縮されたデジタルデータを復号化する際に、量子化分解能が２値、４値等の低いスペクトルの分解能を高めることができ、符号化時に削除されたスペクトルを、物足りなさや違和感を受けることなく、補間することができる。この結果、再生された楽音や音声等からなるアナログ信号は高品質である。
実施の形態１．
図１は、本発明の実施の形態１に係るデジタルデータ復号化装置を構成する補間処理部の構成を示すブロック図、図２は、図１に示す補間処理部を適用したデジタルオーディオ記録再生システムの構成を示すブロック図である。この例のデジタルオーディオ記録再生システムは、ミニディスク（ＭＤ）等で採用されている音声圧縮符号化技術の１つであるＡＴＲＡＣ（Adaptive TRanceform Acoustic Coding）方式が適用されており、図２に示すように、デジタルオーディオデータ符号化装置１と、デジタルオーディオデータ復号化装置２とから構成されている。量子化ビット数は、例えば、０〜１６ビットであり、量子化データは符号を持つため、量子化ビット数の１は存在せず、０以外の最低量子化ビット数は２となっている。
図１は、本発明の実施の形態１に係るデジタルデータ復号化装置を構成する補間処理部の構成を示すブロック図、図２は、図１に示す補間処理部を適用したデジタルオーディオ記録再生システムの構成を示すブロック図である。この例のデジタルオーディオ記録再生システムは、ミニディスク（ＭＤ）等で採用されている音声圧縮符号化技術の１つであるＡＴＲＡＣ（Adaptive TRanceform Acoustic Coding）方式が適用されており、図２に示すように、デジタルオーディオデータ符号化装置１と、デジタルオーディオデータ復号化装置２とから構成されている。量子化ビット数は、例えば、０〜１６ビットであり、量子化データは符号を持つため、量子化ビット数の１は存在せず、０以外の最低量子化ビット数は２となっている。
デジタルオーディオデータ符号化装置１は、デジタルオーディオデータＤＡＤをデジタルオーディオ符号化データＣＤＡＤに圧縮符号化した後、ミニディスク等の記録媒体３に記録する。ここで、デジタルオーディオデータＤＡＤは、楽音や音声等からなるアナログオーディオ信号がリニアＰＣＭ（Pulse Code Modulation）と呼ばれる符号化方式により、圧縮することなく符号化されたものである。記録媒体３がデジタルオーディオデータ復号化装置２にセットされると、デジタルオーディオデータ復号化装置２は、記録媒体３からデジタルオーディオ符号化データＣＤＡＤを読み出した後、デジタルオーディオデータＤＡＤ'に復号化する。
デジタルオーディオデータ符号化装置１は、周波数帯域分割部１１と、時間周波数変換部１２と、帯域毎のパワー算出部１３と、マスキング算出部１４と、最小可聴限合成部１５と、量子化ビット数算出部１６と、スケールファクタ算出部１７と、量子化部１８と、パッキング部１９とを有している。デジタルオーディオデータ符号化装置１の入力端には、例えば、４４．１ｋＨｚのサンプリング周波数でサンプリングされた圧縮されていないデジタルオーディオデータＤＡＤ（マルチビットデータ）が所定時間毎、例えば約１１．６ｍｓのフレーム単位で入力される。
周波数帯域分割部１１は、帯域分割フィルタの１種である直交鏡像フィルタ（ＱＭＦ；Quadrature Mirror Filter）を有し、入力されたデジタルオーディオデータＤＡＤを複数の周波数帯域（サブバンドフレーム）に分割する。サブバンドフレームとしては、例えば、約０〜５．５ｋＨｚの低帯域サブバンドフレームＳＢ１１、約５．５〜１１ｋＨｚの中帯域サブバンドフレームＳＢ１２及び約１１〜２２ｋＨｚの高帯域サブバンドフレームＳＢ１３の３帯域からなるものや、約０〜５．５ｋＨｚの低帯域サブバンドフレームＳＢ２１、約５．５〜１１ｋＨｚの中帯域サブバンドフレームＳＢ２２、約１１〜１６．５ｋＨｚの中高帯域サブバンドフレームＳＢ２３及び約１６．５〜２２ｋＨｚの高帯域サブバンドフレームＳＢ２４の４帯域からなるものがある。
時間周波数変換部１２は、複数のサブバンドフレーム単位に分割されたデジタルオーディオデータについて、修正離散余弦変換（ＭＤＣＴ；Modified Discrete Cosine Transform）処理を施すことにより、対応する周波数帯域の周波数成分のＭＤＣＴ係数（スペクトルデータ）に直交変換する。帯域毎のパワー算出部１３は、上記周波数帯域毎に設けられており、対応する周波数帯域の周波数成分のＭＤＣＴ係数を２乗和等して、ｉ個の各周波数帯域のスペクトルパワーＳｉ（ｉ＝１，２，…，Ｉ、例えば、Ｉ＝２５）を算出する。ただし、このスペクトルパワーＳｉの算出方法については特に限定しない。ここで、上記周波数帯域には、臨界帯域（単位：Bark）等が用いられる。臨界帯域とは、周波数選択性、マスキングしきい値等の特定の音響心理学的規則性が有効な広帯域オーディオスペクトルの特性的部分をいう。また、パワーとは、単位時間当たりのエネルギーをいう。なお、マスキングしきい値については後述する。
マスキング算出部１４は、上記周波数帯域毎に、各々のスペクトルパワーＳｉが他の周波数帯に与える同時マスキング効果によるマスキングしきい値を算出し、その最大値を当該スペクトルパワーＳｉに対するマスキングしきい値とする。ここで、同時マスキング効果とは、複数の周波数成分の音が同時に発生している場合、ある大きな音圧レベルの音によって、その近傍の周波数に存在する音圧レベルの低い別の音がマスキングされ、人には聴こえない又は聴こえにくいという聴感効果をいう。
最小可聴限合成部１５は、式（１）等で表される最小可聴限特性ｌｔ（ｆ）（ｄＢ）等と上記マスキングしきい値とを合成して、図３に示す最終のマスキングしきい値Ｍｉ（ｉ＝１，２，…，Ｉ、例えば、Ｉ＝２５）を各周波数帯域について決定する。この合成処理において、最小可聴限特性ｌｔ（ｆ）（ｄＢ）と上記マスキングしきい値とのうち、大きい値の方を採用する。最小可聴限特性ｌｔ（ｆ）は、テーブルＲＯＭに予め記憶しておいても良い。図３において、破線が合成されたマスキングカーブを示している。
ｌｔ（ｆ）＝−０．６×３．６４×（ｆ／１０００）−０．８＋６．５×ｅｘｐ｛−０．６×（ｆ／１０００−３．３）２｝−１０−３×（ｆ／１０００）４ …（１）
なお、上記のｆは周波数（Ｈｚ）である。
ｌｔ（ｆ）＝−０．６×３．６４×（ｆ／１０００）−０．８＋６．５×ｅｘｐ｛−０．６×（ｆ／１０００−３．３）２｝−１０−３×（ｆ／１０００）４ …（１）
なお、上記のｆは周波数（Ｈｚ）である。
量子化ビット数算出部１６は、まず、ｉ（周波数帯域のインデックス）毎に、帯域毎のパワー算出部１３において算出されたスペクトルパワーＳｉと、最小可聴限合成部１５において算出された各周波数帯域のマスキングしきい値Ｍｉとの比ＳＭＲｉ（式（２）参照）をすべての周波数帯域について算出する。
ＳＭＲｉ＝Ｓｉ／Ｍｉ …（２）
ＳＭＲｉ＝Ｓｉ／Ｍｉ …（２）
次に、量子化ビット数算出部１６は、各周波数帯域の上記スペクトルパワーＳｉをｎビット（ｎ＝０〜１６）で量子化した場合の、当該スペクトルパワーＳｉと量子化雑音パワーＮｉ（ｎ）との比ＳＮＲｉ（ｎ）（式（３）参照）を算出する。
ＳＮＲｉ（ｎ）＝Ｓｉ／Ｎｉ（ｎ） …（３）
上記比ＳＮＲｉ（ｎ）は、統計的には、信号の特性に応じた定数（２０×ｌｏｇ１０２ｎ）となるので、統計処理によって予め算出しておいても良い。
さらに、量子化ビット数算出部１６は、上記比ＳＮＲｉ（ｎ）と上記比ＳＭＲｉとの比から、マスキングしきい値Ｍｉと量子化雑音パワーＮｉ（ｎ）との比ＭＮＲｉ（ｎ）（式（４）参照）を算出する。
ＭＮＲｉ（ｎ）＝ＳＮＲｉ（ｎ）／ＳＭＲｉ …（４）
ＳＮＲｉ（ｎ）＝Ｓｉ／Ｎｉ（ｎ） …（３）
上記比ＳＮＲｉ（ｎ）は、統計的には、信号の特性に応じた定数（２０×ｌｏｇ１０２ｎ）となるので、統計処理によって予め算出しておいても良い。
さらに、量子化ビット数算出部１６は、上記比ＳＮＲｉ（ｎ）と上記比ＳＭＲｉとの比から、マスキングしきい値Ｍｉと量子化雑音パワーＮｉ（ｎ）との比ＭＮＲｉ（ｎ）（式（４）参照）を算出する。
ＭＮＲｉ（ｎ）＝ＳＮＲｉ（ｎ）／ＳＭＲｉ …（４）
これ以降、量子化ビット数算出部１６は、上記ビット数ｎを０から順に大きくしてゆき、その都度、各周波数帯域のマスキングしきい値Ｍｉと量子化雑音パワーＮｉ（ｎ）との比ＭＮＲｉ（ｎ）を算出し、当該比ＭＮＲｉ（ｎ）が最小となる周波数帯域から順にビットを割り当ててゆき、上記ビット数ｎを更新する毎に、同様に比ＭＮＲｉ（ｎ）が最小となる周波数帯域にビット割り当てを行い、所望のビットレートに応じた所定の割当可能ビット数となるまでビット割り当てを行う。すなわち、上記スペクトルパワーＳｉのうち、マスキングしきい値Ｍｉを超えた部分の長さが最も長い周波数帯域から順次ビット割り当てが行われることになる。このように算出された量子化ビット数ＷＬ（ｉ）は、同一周波数帯域内のスペクトルに対し、同一に配分される。ただし、スペクトルパワーＳｉを基に、聴覚心理特性を利用するビット配分の方法は、これに限ったものではない。
一方、スケールファクタ算出部１７は、時間周波数変換部１２において直交変換された各周波数帯域の周波数成分のＭＤＣＴ係数の絶対最大値（例えば、１６ビット、フル振幅を０ｄＢとする。）から約２ｄＢ毎にスケールファクタ（指標）（例えば、０ｄＢの場合、６０）を算出する。このスケールファクタは、スペクトル（ＭＤＣＴ係数）のスケール（大きさ）の因子を表しており、一般的には、量子化される周波数単位の中で、最大スペクトルの絶対値をコード化することにより算出される。すなわち、各周波数帯域のＭＤＣＴ係数の絶対最大値をＫｍａｘ（ｉ）、その時のスケールファクタをＳＦ（ｉ）とすれば、式（５）を満たすスケールファクタＳＦ（ｉ）が算出される。
ＳＦ（ｉ）×２−１／３≦Ｋｍａｘ（ｉ）＜ＳＦ（ｉ） …（５）
ＳＦ（ｉ）×２−１／３≦Ｋｍａｘ（ｉ）＜ＳＦ（ｉ） …（５）
量子化部１８は、量子化ビット数算出部１６において算出された各周波数帯域の量子化ビット数ＷＬ（ｉ）と、スケールファクタ算出部１７において算出されたスケールファクタＳＦ（ｉ）と、時間周波数変換部１２において直交変換された各周波数帯域の周波数成分のＭＤＣＴ係数Ｋ（ｍ）とに基づいて、式（６）に示す量子化した量子化係数ＭＫ（ｍ）を算出する。
ＭＫ（ｍ）＝Ｒｏｕｎｄ｛Ｋ（ｍ）×（２ＷＬ（ｉ）−１−１）／ＳＦ（ｉ）｝ …（６）
式（６）において、ｍはＭＤＣＴ係数のインデックス、ｉは量子化周波数帯域のインデックスを表しており、Ｒｏｕｎｄは小数点以下を四捨五入する関数である。
ＭＫ（ｍ）＝Ｒｏｕｎｄ｛Ｋ（ｍ）×（２ＷＬ（ｉ）−１−１）／ＳＦ（ｉ）｝ …（６）
式（６）において、ｍはＭＤＣＴ係数のインデックス、ｉは量子化周波数帯域のインデックスを表しており、Ｒｏｕｎｄは小数点以下を四捨五入する関数である。
パッキング部１９は、量子化部１８において量子化された量子化係数ＭＫ（ｍ）、量子化ビット数算出部１６において算出された各周波数帯域の量子化ビット数ＷＬ（ｉ）、スケールファクタ算出部１７において算出されたスケールファクタＳＦ（ｉ）をフレーム情報とともにパッキングした後、デジタルオーディオ符号化データＣＤＡＤに符号化し、記録媒体３に記録する。
デジタルオーディオデータ復号化装置２は、アンパッキング部２１と、逆量子化部２２と、純音性判定部２３と、切換部２４と、補間処理部２５と、周波数時間変換部２６と、周波数帯域合成部２７とを有している。アンパッキング部２１は、記録媒体３から読み出されたデジタルオーディオ符号化データＣＤＡＤを構成するフレーム情報に基づいて、量子化係数ＭＫ（ｍ）、量子化ビット数ＷＬ（ｉ）及びスケールファクタＳＦ（ｉ）をアンパッキングする。
逆量子化部２２は、量子化係数ＭＫ（ｍ）、量子化ビット数ＷＬ（ｉ）及びスケールファクタＳＦ（ｉ）を逆量子化するとともに、これらに基づいて、式（７）に示す逆量子化した、各周波数帯域の周波数成分の逆修正離散余弦変換（ＩＭＤＣＴ；Inverse Modified Discrete Cosine Transform）係数Ｉ（ｍ）（スペクトルデータ）を算出する。
Ｉ（ｍ）＝ＳＦ（ｉ）×ＭＫ（ｍ）／（２ＷＬ（ｉ）−１−１） …（７）
式（７）において、ｍはＩＭＤＣＴ係数のインデックス、ｉは逆量子化周波数帯域のインデックスを表している。
Ｉ（ｍ）＝ＳＦ（ｉ）×ＭＫ（ｍ）／（２ＷＬ（ｉ）−１−１） …（７）
式（７）において、ｍはＩＭＤＣＴ係数のインデックス、ｉは逆量子化周波数帯域のインデックスを表している。
純音性判定部２３は、逆量子化部２２で逆量子化されたスケールファクタＳＦ（ｉ）の最大値ＳＦｍａｘと平均値ＳＦａｖ（＝ΣＳＦｊ／Ｊ）との差分値（ＳＦｍａｘ−ＳＦａｖ）を求めるとともに、当該差分値（ＳＦｍａｘ−ＳＦａｖ）の大小に基づいてデジタルオーディオ符号化データＣＤＡＤの純音性の高低を判定し、その判定結果に基づいて切換部２４の切換制御を行う。すなわち、純音性判定部２３は、差分値（ＳＦｍａｘ−ＳＦａｖ）が非常に大きい場合（例えば、７０ｄＢより大）に純音性が高いと判定し、切換部２４に対して、逆量子化部２２で逆量子化された量子化係数ＭＫ（ｍ）、量子化ビット数ＷＬ（ｉ）及びスケールファクタＳＦ（ｉ）を周波数時間変換部２６に供給するように制御する。一方、純音性判定部２３は、差分値（ＳＦｍａｘ−ＳＦａｖ）が例えば７０ｄＢ以下の場合に、純音性が低いと判定し、切換部２４に対して、逆量子化部２２で逆量子化された量子化係数ＭＫ（ｍ）、量子化ビット数ＷＬ（ｉ）及びスケールファクタＳＦ（ｉ）を補間処理部２５に供給するように制御する。
ここで、純音性判定部２３を設け、純音性の高いデジタルオーディオ符号化データＣＤＡＤに後述する補間処理を施さない理由について説明する。正弦波のように純音性の高いデジタルオーディオ符号化データＣＤＡＤの場合、極めて狭い帯域にデータビットが集中しているため、後述する補間処理を施すと、上記した物足りなさや違和感が解消されないばかりか却って音質が劣化してしまうのである。
なお、純音性判定部２３の詳細については、例えば、特開２００５−１９５９８３号公報を参照されたい。
なお、純音性判定部２３の詳細については、例えば、特開２００５−１９５９８３号公報を参照されたい。
切換部２４は、純音性判定部２３の制御の下、逆量子化部２２で逆量子化された量子化係数ＭＫ（ｍ）、量子化ビット数ＷＬ（ｉ）及びスケールファクタＳＦ（ｉ）を補間処理部２５又は周波数時間変換部２６のいずれかに供給する。補間処理部２５は、量子化ビット数ＷＬ（ｉ）が「０」ビット、「２」ビット又は「３」ビットであるＩＭＤＣＴ係数Ｉ（ｍ）（スペクトルデータ）について補間する。周波数時間変換部２６は、サブバンドフレーム毎に、補間処理部２５又は逆量子化部２２から供給されるＩＭＤＣＴ係数Ｉ（ｍ）（スペクトルデータ）について、ＩＭＤＣＴ処理を施すことにより、対応する時間軸のデータに直交変換する。周波数帯域合成部２７は、帯域合成フィルタの１種である逆直交鏡像フィルタ（Inverse ＱＭＦ；Quadrature Mirror Filter）を有し、入力された複数の周波数帯域（サブバンドフレーム）を帯域合成してデジタルオーディオデータＤＡＤ'に復号化する。
次に、補間処理部２５の機能及び構成について説明する。この実施の形態１では、補間処理部２５は、以下に示す処理を行う。
（１）量子化ビット数ＷＬ（ｉ）が「２」ビット又は「３」ビットである帯域に関する補間処理
（ａ）量子化ビット数が「２」ビット又は「３」ビットに丸められている複数のスペクトルデータについて、量子化ビット数ＷＬ（ｉ）が「４」ビット以上の他の帯域に存在する複数のスペクトルデータと自身の帯域に存在するスペクトルデータを用いて補正する。
（ｂ）上記帯域は量子化ビット数ＷＬ（ｉ）が「２」ビット又は「３」ビットにビット割り当てされているために、本来値を有すべきであるが、０に丸められているスペクトルデータについて、（ａ）で補正された複数のスペクトルデータと、量子化ビット数ＷＬ（ｉ）が「４」ビット以上の他の帯域に存在する複数のスペクトルデータとを用いて補正する。
（１）量子化ビット数ＷＬ（ｉ）が「２」ビット又は「３」ビットである帯域に関する補間処理
（ａ）量子化ビット数が「２」ビット又は「３」ビットに丸められている複数のスペクトルデータについて、量子化ビット数ＷＬ（ｉ）が「４」ビット以上の他の帯域に存在する複数のスペクトルデータと自身の帯域に存在するスペクトルデータを用いて補正する。
（ｂ）上記帯域は量子化ビット数ＷＬ（ｉ）が「２」ビット又は「３」ビットにビット割り当てされているために、本来値を有すべきであるが、０に丸められているスペクトルデータについて、（ａ）で補正された複数のスペクトルデータと、量子化ビット数ＷＬ（ｉ）が「４」ビット以上の他の帯域に存在する複数のスペクトルデータとを用いて補正する。
（２）圧縮符号化される段階において、比ＳＭＲｉが、採用されるビットレートで定まるオフセット（しきい）値に対して小さいために、量子化ビット数ＷＬ（ｉ）が「０」ビットとされた帯域に本来存在すべき複数のスペクトルデータに関する補正処理
（ａ）すべてのスペクトルデータについて、量子化ビット数ＷＬ（ｉ）が「０」ビット以上の他の帯域に存在する複数のスペクトルデータを用いて補間する。
（ｂ）量子化ビット数ＷＬ（ｉ）が「２」ビット以上の他の帯域に存在する複数のスペクトルデータを用いて算出したマスキングしきい値と最小可聴限特性ｌｔ（ｆ）（ｄＢ）等とを合成して作製した合成マスキングカーブに基づいて、（ａ）における補間で得られたすべてのスペクトルデータの係数を補正する。
（３）（１）及び（２）の処理において、前のフレーム又は後のフレームのいずれか一方又は両方の同一帯域に複数のスペクトルデータが存在する場合には、これら複数のスペクトルデータを用いて補間する。
（ａ）すべてのスペクトルデータについて、量子化ビット数ＷＬ（ｉ）が「０」ビット以上の他の帯域に存在する複数のスペクトルデータを用いて補間する。
（ｂ）量子化ビット数ＷＬ（ｉ）が「２」ビット以上の他の帯域に存在する複数のスペクトルデータを用いて算出したマスキングしきい値と最小可聴限特性ｌｔ（ｆ）（ｄＢ）等とを合成して作製した合成マスキングカーブに基づいて、（ａ）における補間で得られたすべてのスペクトルデータの係数を補正する。
（３）（１）及び（２）の処理において、前のフレーム又は後のフレームのいずれか一方又は両方の同一帯域に複数のスペクトルデータが存在する場合には、これら複数のスペクトルデータを用いて補間する。
次に、補間処理部２５の構成について、図１を参照して説明する。補間処理部２５は、量子化ビット数判定部３１と、ＩＭＤＣＴ係数１次補正部３２と、１次ゲイン制御部３３と、帯域毎のパワー算出部３４と、マスキング算出部３５と、最小可聴限合成部３６と、ＭＮＲ算出部３７と、係数保存部３８と、ＩＭＤＣＴ係数２次補間部３９と、２次ゲイン制御部４０とから構成されている。
量子化ビット数判定部３１は、入力されたＩＭＤＣＴ係数Ｉ（ｍ）の量子化ビット数ＷＬ（ｉ）が何ビットであるかを判定し、判定結果をＩＭＤＣＴ係数１次補正部３２に供給する。ＩＭＤＣＴ係数１次補正部３２は、量子化ビット数ＷＬ（ｉ）と、スケールファクタＳＦ（ｉ）と、逆量子化部２２で逆量子化されたＩＭＤＣＴ係数Ｉ（ｍ）（スペクトルデータ）とに基づいて、周波数領域において、量子化ビット数ＷＬ（ｉ）が「２」ビット又は「３」ビットのスペクトルデータについてラグランジュ補間又はスプライン補間を行い、既存の量子化されたスペクトルデータを上記ラグランジュ補間又はスプライン補間で得られる補間曲線上のスペクトルデータに置き換える。ラグランジュ補間は、ある区間の全部の点を通る単一の補間多項式を算出する補間であり、既知のデータの間隔が等しくない場合でも目的の値を算出することができるという特徴がある。スプライン補間は、ある区間毎に分けてその区間毎に式を算出することにより与えられた全部の点を通る式を構成する区分的多項式を算出する補間の代表である。
また、ＩＭＤＣＴ係数１次補正部３２は、量子化ビット数ＷＬ（ｉ）と、スケールファクタＳＦ（ｉ）と、係数保存部３８に保存された、前のフレームの補間処理後のＩＭＤＣＴ係数Ｉ（ｍ）（スペクトルデータ）と、逆量子化部２２で逆量子化されたＩＭＤＣＴ係数Ｉ（ｍ）（スペクトルデータ）とに基づいて、前後のフレームの同一周波数について、量子化ビット数ＷＬ（ｉ）が「２」ビット又は「３」ビットのスペクトルデータについてラグランジュ補間又はスプライン補間を行い、既存の量子化されたスペクトルデータを上記ラグランジュ補間又はスプライン補間で得られる補間曲線上のスペクトルデータに置き換える。この場合、ＩＭＤＣＴ係数１次補正部３２は、補正対象のスペクトルデータに隣接するスペクトルデータが前後のフレームの同一周波数及び同一フレームの隣接する周波数にともに存在する場合は、補正対象のスペクトルデータに隣接するスペクトルデータのうち、大きな振幅値を有するスペクトルデータに基づいて補正されたスペクトルデータを使用する。ここで、上記した「前後のフレームの同一周波数」とは、図３において、ｔ１、ｔ２、ｔ３を各々のフレームの番号とし、被補間フレームをｔ２とすれば、被補間帯域がｉの場合に、ｔ１、ｔ３の同一周波数の複数のＩＭＤＣＴ係数（スペクトル）であるＩｉ（ｔ１）、Ｉｉ（ｔ３）を用いてＩｉ（ｔ２）の補間を行うことを示している。また、前記「同一フレームの隣接する周波数」とは、被補間フレームをｔ２とすれば、被補間帯域がｉの場合に、Ｉｉ−１（ｔ２）、Ｉｉ＋１（ｔ２）を用いてＩｉ（ｔ２）の補間を行うことを示している。図３において、実線はＩｉのスペクトルパワーを表している。
１次ゲイン制御部３３は、量子化係数ＭＫ（ｍ）に関する上記した式（６）に基づいて、量子化係数ＭＫ（ｍ）が、量子化ビット数ＷＬ（ｉ）とスケールファクタＳＦ（ｉ）と量子化係数ＭＫ（ｍ）から定まるＭＤＣＴ係数Ｋ（ｍ）の理論範囲に収まるように、ＩＭＤＣＴ係数１次補正部３２によって補正されたスペクトルデータの大きさを調整する。例えば、図４で示すように、量子化ビット数ＷＬ（ｉ）が「２」ビットであり、スケールファクタＳＦ（ｉ）が２５、量子化周波数帯域ｉのスペクトルデータの本数が６本である場合、補正処理前のスペクトルデータが０に丸められており、かつ、補正処理後のスペクトルデータが０．５×２５を超える場合は、補正する範囲が０〜０．５×２５に収まるように、ゲイン係数を決定し、補正された量子化周波数帯域ｉのすべてのスペクトルデータに乗算する。補正された範囲全体がＭＤＣＴ係数Ｋ（ｍ）の理論範囲に収まらない場合は、０．５×２５又は０でクリップされる。図４において、×は量子化丸め前のスペクトルデータの値、○は量子化丸め後のスペクトルデータの値を表している。
帯域毎のパワー算出部３４は、上記周波数帯域毎に設けられており、量子化ビット数判定部３１から供給された判定結果が、入力されたＩＭＤＣＴ係数Ｉ（ｍ）の量子化ビット数ＷＬ（ｉ）が非零ビットであることを示す場合には、入力された対応する周波数帯域の周波数成分のＩＭＤＣＴ係数Ｉ（ｍ）を２乗和等して、ｉ個の各周波数帯域のスペクトルパワーＳｉ（ｉ＝１，２，…，Ｉ、例えば、Ｉ＝２５）を算出する。ただし、このスペクトルパワーＳｉの算出方法については特に限定しない。ここで、上記周波数帯域には、臨界帯域（単位：Bark）等が用いられる。
マスキング算出部３５は、帯域毎のパワー算出部３４において算出された各々のスペクトルパワーＳｉが他の周波数帯に与える同時マスキング効果によるマスキングしきい値を算出し、その最大値を当該スペクトルパワーＳｉに対するマスキングしきい値とする。このマスキングしきい値は、後述するＩＭＤＣＴ係数２次補間部３９での補間において、データの値が振動することがあるが、それを抑止する効果がある。最小可聴限合成部３６は、式（１）等で表される最小可聴限特性ｌｔ（ｆ）（ｄＢ）等と上記マスキング算出部３５において算出された上記マスキングしきい値とを合成して、図３に示す最終のマスキングしきい値Ｍｉ（ｉ＝１，２，…，Ｉ、例えば、Ｉ＝２５）を各周波数帯域について決定する。最小可聴限特性ｌｔ（ｆ）は、テーブルＲＯＭに予め記憶しておいても良い。
ＭＮＲ算出部３７は、入力された量子化ビット数ＷＬ（ｉ）が上記した式（４）に基づいて線形変換されたものであると仮定し、すなわち、圧縮符号化時に採用されたビットレートで定まるマスキングしきい値に基づいて機械的にビット割り当てが行われていると仮定し、この量子化ビット数ＷＬ（ｉ）に基づいて周波数帯域毎のＭＮＲｉ（ｎ）の範囲を算出する。式（４）において、比ＳＮＲｉ（ｎ）は、上記したように、統計的には、信号の特性に応じた定数（２０×ｌｏｇ１０２ｎ）となるので、統計処理によって予め算出しておいても良い。これにより、例えば、量子化ビット数ＷＬ（ｉ）が「３」ビットである場合には、ＭＮＲｉ（ｎ）は、６ｄＢより大きく、１２ｄＢ以下となる。
ＭＮＲ算出部３７は、まず、ｉ（周波数帯域のインデックス）毎に、帯域毎のパワー算出部３４において算出されたスペクトルパワーＳｉと、最小可聴限合成部３６において算出された各周波数帯域のマスキングしきい値Ｍｉとの比ＳＭＲｉ（上記式（２）参照）をすべての周波数帯域について算出する。次に、ＭＮＲ算出部３７は、各周波数帯域の上記スペクトルパワーＳｉをｎビット（ｎ＝０〜１６）で量子化した場合の、当該スペクトルパワーＳｉと量子化雑音パワーＮｉ（ｎ）との比ＳＮＲｉ（ｎ）（上記式（３）参照）を算出する。
上記比ＳＮＲｉ（ｎ）は、上記したように、統計的には、信号の特性に応じた定数（２０×ｌｏｇ１０２ｎ）となるので、統計処理によって予め算出しておいても良い。
さらに、ＭＮＲ算出部３７は、上記比ＳＮＲｉ（ｎ）と上記比ＳＭＲｉとの比から、マスキングしきい値Ｍｉと量子化雑音パワーＮｉ（ｎ）との比ＭＮＲｉ（ｎ）（上記式（４）参照）を算出し、算出された周波数帯域毎のＭＮＲｉ（ｎ）の範囲のうち、量子化ビット数ＷＬ（ｉ）が、すべての周波数帯域についてのＭＮＲｉ（ｎ）の範囲に含まれるように、全体のＭＮＲｉ（ｎ）のオフセットを調整する。このオフセット値は、上記線形変換の際の切片を表している。
上記比ＳＮＲｉ（ｎ）は、上記したように、統計的には、信号の特性に応じた定数（２０×ｌｏｇ１０２ｎ）となるので、統計処理によって予め算出しておいても良い。
さらに、ＭＮＲ算出部３７は、上記比ＳＮＲｉ（ｎ）と上記比ＳＭＲｉとの比から、マスキングしきい値Ｍｉと量子化雑音パワーＮｉ（ｎ）との比ＭＮＲｉ（ｎ）（上記式（４）参照）を算出し、算出された周波数帯域毎のＭＮＲｉ（ｎ）の範囲のうち、量子化ビット数ＷＬ（ｉ）が、すべての周波数帯域についてのＭＮＲｉ（ｎ）の範囲に含まれるように、全体のＭＮＲｉ（ｎ）のオフセットを調整する。このオフセット値は、上記線形変換の際の切片を表している。
係数保存部３８は、例えば、ＲＡＭやフラッシュメモリ等の半導体メモリ、ＦＤ（フレキシブルディスク）が装着されるＦＤドライブ、ＨＤが装着されるＨＤドライブ、ＭＯ（光磁気）ディスクが装着されるＭＯディスクドライブ、ＣＤ−Ｒ（Recordable）、ＣＤ−ＲＷ（ReWritable）やＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等が装着されるＣＤ／ＤＶＤドライブ等からなる。係数保存部３８には、前又は後のフレームのいずれか一方又は両方の補間処理後のＩＭＤＣＴ係数Ｉ（ｍ）（スペクトルデータ）が保存される。
ＩＭＤＣＴ係数２次補間部３９は、量子化ビット数ＷＬ（ｉ）が「０」ビット、すなわち無音の帯域について、逆量子化部２２で逆量子化されたＩＭＤＣＴ係数Ｉ（ｍ）の有音スペクトルデータと、ＩＭＤＣＴ係数１次補正及び１次ゲイン制御がそれぞれ施された有音スペクトルデータ、及び「０」ビットの帯域のいずれかの無音スペクトルデータを用いて、ラグランジュ補間又はスプライン補間を行い、有音化する。
ゲイン制御部４０は、ＩＭＤＣＴ係数２次補間部３９によって補間された「０」ビットの帯域のスペクトルデータが、ＭＮＲ算出部３７において算出されたＭＮＲｉ（ｎ）以下の値に収まるように、補間されたスペクトルデータに乗算する係数を決定し、補正された量子化周波数帯域ｉのすべてのスペクトルデータに乗算する。
次に、上記構成を有するデジタルオーディオ記録再生システムの動作のうち、まず、デジタルオーディオデータ復号化装置２の動作の概略について説明する。図示せぬスピンドルモータにより回転駆動される図示せぬターンテーブルに記録媒体３がセットされると、スピンドルモータは、記録媒体３を回転駆動する。これにより、アンパッキング部２１は、記録媒体３から読み出されたデジタルオーディオ符号化データＣＤＡＤを構成するフレーム情報に基づいて、量子化係数ＭＫ（ｍ）、量子化ビット数ＷＬ（ｉ）及びスケールファクタＳＦ（ｉ）をアンパッキングする。
次に、逆量子化部２２は、量子化係数ＭＫ（ｍ）、量子化ビット数ＷＬ（ｉ）及びスケールファクタＳＦ（ｉ）を逆量子化するとともに、これらに基づいて、上記した式（７）に示す逆量子化した各周波数帯域の周波数成分のＩＭＤＣＴ係数Ｉ（ｍ）を算出する。また、純音性判定部２３は、逆量子化部２２で逆量子化されたスケールファクタＳＦ（ｉ）の最大値ＳＦｍａｘと平均値ＳＦａｖとの差分値（ＳＦｍａｘ−ＳＦａｖ）を求めるとともに、差分値（ＳＦｍａｘ−ＳＦａｖ）が非常に大きい場合（例えば、７０ｄＢより大）に純音性が高いと判定し、切換部２４に対して、逆量子化部２２で逆量子化された量子化係数ＭＫ（ｍ）、量子化ビット数ＷＬ（ｉ）及びスケールファクタＳＦ（ｉ）を補間処理部２５に供給するように制御する。一方、純音性判定部２３は、差分値（ＳＦｍａｘ−ＳＦａｖ）が例えば７０ｄＢ以下の場合に、純音性が低いと判定し、切換部２４に対して、逆量子化部２２で逆量子化された量子化係数ＭＫ（ｍ）、量子化ビット数ＷＬ（ｉ）及びスケールファクタＳＦ（ｉ）を周波数時間変換部２６に供給するように制御する。
これにより、純音性判定部２３において純音性が低いと判定された場合には、切換部２４は、逆量子化部２２で逆量子化された量子化係数ＭＫ（ｍ）、量子化ビット数ＷＬ（ｉ）及びスケールファクタＳＦ（ｉ）を補間処理部２５に供給する。従って、補間処理部２５は、純音性判定部２３において純音性が低いと判定された場合には、量子化ビット数ＷＬ（ｉ）が「０」ビット、「２」ビット又は「３」ビットであるＩＭＤＣＴ係数Ｉ（ｍ）（スペクトルデータ）について補間する。
そして、周波数時間変換部２６は、純音性判定部２３において純音性が低いと判定された場合には、サブバンドフレーム毎に、補間処理部２５から供給されるＩＭＤＣＴ係数Ｉ（ｍ）（スペクトルデータ）について、ＩＭＤＣＴ処理を施すことにより、対応する時間軸のデータに直交変換する。一方、純音性判定部２３において純音性が高いと判定された場合には、周波数時間変換部２６は、サブバンドフレーム毎に、逆量子化部２２から切換部２４を経て供給される供給されるＩＭＤＣＴ係数Ｉ（ｍ）（スペクトルデータ）について、ＩＭＤＣＴ処理を施すことにより、対応する時間軸のデータに直交変換する。次に、周波数帯域合成部２７は、入力された複数の周波数帯域（サブバンドフレーム）を帯域合成してデジタルオーディオデータＤＡＤ'に復号化する。
以下、補間処理部２５の動作についてより具体的に説明する。
まず、量子化ビット数判定部３１は、逆量子化されたＩＭＤＣＴ係数Ｉ（ｍ）の量子化ビット数ＷＬ（ｉ）が何ビットであるかを判定し、判定結果をＩＭＤＣＴ係数１次補正部３２に供給する。ＩＭＤＣＴ係数１次補正部３２は、量子化ビット数ＷＬ（ｉ）と、スケールファクタＳＦ（ｉ）と、逆量子化部２２で逆量子化されたＩＭＤＣＴ係数Ｉ（ｍ）（スペクトルデータ）とに基づいて、周波数領域において、量子化ビット数ＷＬ（ｉ）が「２」ビット又は「３」ビットのスペクトルデータについてラグランジュ補間又はスプライン補間を行い、既存の量子化されたスペクトルデータを上記ラグランジュ補間又はスプライン補間で得られる補間曲線上のスペクトルデータに置き換える。
まず、量子化ビット数判定部３１は、逆量子化されたＩＭＤＣＴ係数Ｉ（ｍ）の量子化ビット数ＷＬ（ｉ）が何ビットであるかを判定し、判定結果をＩＭＤＣＴ係数１次補正部３２に供給する。ＩＭＤＣＴ係数１次補正部３２は、量子化ビット数ＷＬ（ｉ）と、スケールファクタＳＦ（ｉ）と、逆量子化部２２で逆量子化されたＩＭＤＣＴ係数Ｉ（ｍ）（スペクトルデータ）とに基づいて、周波数領域において、量子化ビット数ＷＬ（ｉ）が「２」ビット又は「３」ビットのスペクトルデータについてラグランジュ補間又はスプライン補間を行い、既存の量子化されたスペクトルデータを上記ラグランジュ補間又はスプライン補間で得られる補間曲線上のスペクトルデータに置き換える。
また、ＩＭＤＣＴ係数１次補正部３２は、量子化ビット数ＷＬ（ｉ）と、スケールファクタＳＦ（ｉ）と、係数保存部３８に保存された、前のフレームの補間処理後のＩＭＤＣＴ係数Ｉ（ｍ）（スペクトルデータ）と、逆量子化部２２で逆量子化されたＩＭＤＣＴ係数Ｉ（ｍ）（スペクトルデータ）とに基づいて、前後のフレームの同一周波数について、量子化ビット数ＷＬ（ｉ）が「２」ビット又は「３」ビットのスペクトルデータについてラグランジュ補間又はスプライン補間を行い、既存の量子化されたスペクトルデータを上記ラグランジュ補間又はスプライン補間で得られる補間曲線上のスペクトルデータに置き換える。この場合、ＩＭＤＣＴ係数１次補正部３２は、補正対象のスペクトルデータに隣接するスペクトルデータが前後のフレームの同一周波数及び同一フレームの隣接する周波数にともに存在する場合は、補正対象のスペクトルデータに隣接するスペクトルデータのうち、大きな振幅値を有するスペクトルデータに基づいて補正されたスペクトルデータを使用する。
１次ゲイン制御部３３は、量子化係数ＭＫ（ｍ）に関する上記した式（６）に基づいて、量子化係数ＭＫ（ｍ）が、量子化ビット数ＷＬ（ｉ）とスケールファクタＳＦ（ｉ）と量子化係数ＭＫ（ｍ）から定まるＭＤＣＴ係数Ｋ（ｍ）の理論範囲に収まるように、ＩＭＤＣＴ係数１次補正部３２によって補正されたスペクトルデータの大きさを調整する。例えば、図４で示すように、量子化ビット数ＷＬ（ｉ）が「２」ビットであり、スケールファクタＳＦ（ｉ）が２５、量子化周波数帯域ｉのスペクトルデータの本数が６本である場合、補正処理前のスペクトルデータが０に丸められており、かつ、補正処理後のスペクトルデータが０．５×２５を超える場合は、補正する範囲が０〜０．５×２５に収まるように、ゲイン係数を決定し、補正された量子化周波数帯域ｉのすべてのスペクトルデータに乗算する。補正された範囲全体がＭＤＣＴ係数Ｋ（ｍ）の理論範囲に収まらない場合は、０．５×２５又は０でクリップされる。
上記周波数帯域毎に設けられた帯域毎のパワー算出部３４は、量子化ビット数判定部３１から供給された判定結果が、入力されたＩＭＤＣＴ係数Ｉ（ｍ）の量子化ビット数ＷＬ（ｉ）が非零ビットであることを示す場合には、入力された対応する周波数帯域の周波数成分のＩＭＤＣＴ係数Ｉ（ｍ）を２乗和等して、ｉ個の各周波数帯域のスペクトルパワーＳｉをそれぞれ算出する。
マスキング算出部３５は、帯域毎のパワー算出部３４において算出された各々のスペクトルパワーＳｉに基づいて、マスキングしきい値を算出する。最小可聴限合成部３６は、上記した式（１）等で表される最小可聴限特性ｌｔ（ｆ）等と上記マスキング算出部３５において算出された上記マスキングしきい値とを合成して、図３に示す最終のマスキングしきい値Ｍｉを各周波数帯域について決定する。
ＭＮＲ算出部３７は、入力された量子化ビット数ＷＬ（ｉ）が上記した式（４）に基づいて線形変換されたものであると仮定し、量子化ビット数ＷＬ（ｉ）に基づいて周波数帯域毎のＭＮＲｉ（ｎ）の範囲を算出する。例えば、量子化ビット数ＷＬ（ｉ）が「３」ビットである場合には、ＭＮＲｉ（ｎ）は、６ｄＢより大きく、１２ｄＢ以下であるとする。
ＭＮＲ算出部３７は、まず、ｉ毎に、帯域毎のパワー算出部３４において算出されたスペクトルパワーＳｉと、最小可聴限合成部３６において算出された各周波数帯域のマスキングしきい値Ｍｉとの比ＳＭＲｉ（上記式（２）参照）をすべての周波数帯域について算出する。次に、ＭＮＲ算出部３７は、各周波数帯域の上記スペクトルパワーＳｉをｎビット（ｎ＝０〜１６）で量子化した場合の、当該スペクトルパワーＳｉと量子化雑音パワーＮｉ（ｎ）との比ＳＮＲｉ（ｎ）（上記式（３）参照）を算出する。
さらに、ＭＮＲ算出部３７は、上記比ＳＮＲｉ（ｎ）と上記比ＳＭＲｉとの比から、マスキングしきい値Ｍｉと量子化雑音パワーＮｉ（ｎ）との比ＭＮＲｉ（ｎ）（上記式（４）参照）を算出し、算出された周波数帯域毎のＭＮＲｉ（ｎ）の範囲のうち、量子化ビット数ＷＬ（ｉ）が、すべての周波数帯域についてのＭＮＲｉ（ｎ）の範囲に含まれるように、全体のＭＮＲｉ（ｎ）のオフセットを調整する。このオフセット値は、上記線形変換の際の切片を表している。
さらに、ＭＮＲ算出部３７は、上記比ＳＮＲｉ（ｎ）と上記比ＳＭＲｉとの比から、マスキングしきい値Ｍｉと量子化雑音パワーＮｉ（ｎ）との比ＭＮＲｉ（ｎ）（上記式（４）参照）を算出し、算出された周波数帯域毎のＭＮＲｉ（ｎ）の範囲のうち、量子化ビット数ＷＬ（ｉ）が、すべての周波数帯域についてのＭＮＲｉ（ｎ）の範囲に含まれるように、全体のＭＮＲｉ（ｎ）のオフセットを調整する。このオフセット値は、上記線形変換の際の切片を表している。
係数保存部３８には、前又は後のフレームのいずれか一方又は両方の補間処理後のＩＭＤＣＴ係数Ｉ（ｍ）（スペクトルデータ）が保存される。
ＩＭＤＣＴ係数２次補間部３９は、量子化ビット数ＷＬ（ｉ）が「０」ビット、すなわち無音の帯域について、逆量子化部２２で逆量子化されたＩＭＤＣＴ係数Ｉ（ｍ）の有音スペクトルデータと、ＩＭＤＣＴ係数１次補正及び１次ゲイン制御がそれぞれ施された有音スペクトルデータ、及び「０」ビットの帯域のいずれかの無音スペクトルデータを用いて、ラグランジュ補間又はスプライン補間を行い、有音化する。
ゲイン制御部４０は、ＩＭＤＣＴ係数２次補間部３９によって補間された「０」ビットの帯域のスペクトルデータが、ＭＮＲ算出部３７において算出されたＭＮＲｉ（ｎ）以下の値に収まるように、補間されたスペクトルデータに乗算する係数を決定し、補正された量子化周波数帯域ｉのすべてのスペクトルデータに乗算する。
以上説明したように、補間処理部２５では、以下に示す処理が行われている。
（１）量子化ビット数ＷＬ（ｉ）が「２」ビット又は「３」ビットである帯域に関する補間処理
（ａ）量子化ビット数ＷＬ（ｉ）が「４」ビット以上の他の帯域に存在する複数のスペクトルデータのうち、最大値及びそれに次ぐ値を有する複数のスペクトルデータと自身の帯域に存在するスペクトルデータとに基づいて、量子化ビット数が「２」ビット又は「３」ビットに丸められている複数のスペクトルデータを補正する。さらに、上記補正されたスペクトルデータがスケールファクタＳＦ（ｉ）及び量子化ビット数ＷＬ（ｉ）で定まる範囲内に存在する場合には、上記補間及び係数乗算により得られたスペクトルデータをそのまま採用し、上記範囲外に存在する場合には、上記範囲内の値に補正する。
（ｂ）上記帯域が量子化ビット数ＷＬ（ｉ）が「２」ビット又は「３」ビットにビット割り当てされているために、本来値を有すべきであるが、０に丸められているスペクトルデータについて、（ａ）で補間及び補正された複数のスペクトルデータと、量子化ビット数ＷＬ（ｉ）が「４」ビット以上の他の帯域に存在する複数のスペクトルデータとを用いて、（ａ）と同様に、補正する。
（１）量子化ビット数ＷＬ（ｉ）が「２」ビット又は「３」ビットである帯域に関する補間処理
（ａ）量子化ビット数ＷＬ（ｉ）が「４」ビット以上の他の帯域に存在する複数のスペクトルデータのうち、最大値及びそれに次ぐ値を有する複数のスペクトルデータと自身の帯域に存在するスペクトルデータとに基づいて、量子化ビット数が「２」ビット又は「３」ビットに丸められている複数のスペクトルデータを補正する。さらに、上記補正されたスペクトルデータがスケールファクタＳＦ（ｉ）及び量子化ビット数ＷＬ（ｉ）で定まる範囲内に存在する場合には、上記補間及び係数乗算により得られたスペクトルデータをそのまま採用し、上記範囲外に存在する場合には、上記範囲内の値に補正する。
（ｂ）上記帯域が量子化ビット数ＷＬ（ｉ）が「２」ビット又は「３」ビットにビット割り当てされているために、本来値を有すべきであるが、０に丸められているスペクトルデータについて、（ａ）で補間及び補正された複数のスペクトルデータと、量子化ビット数ＷＬ（ｉ）が「４」ビット以上の他の帯域に存在する複数のスペクトルデータとを用いて、（ａ）と同様に、補正する。
（２）圧縮符号化される段階において、比ＳＭＲｉが、採用されるビットレートで定まるオフセット（しきい）値に対して小さいために、量子化ビット数ＷＬ（ｉ）が「０」ビットとされた帯域に本来存在すべき複数のスペクトルデータに関する補正処理
（ａ）すべてのスペクトルデータについて、量子化ビット数ＷＬ（ｉ）が「２」ビット以上の他の帯域に存在する複数のスペクトルデータのうち、最大値及びそれに次ぐ値を有する複数のスペクトルデータに基づいて、無音の周波数帯域ｉを補間する。
（ｂ）量子化ビット数ＷＬ（ｉ）が「２」ビット以上の他の帯域に存在するスペクトルデータを用いて算出したマスキングしきい値と最小可聴限特性ｌｔ（ｆ）（ｄＢ）を合成して合成マスキングカーブを作製する。上記（ａ）で補間した帯域ｉのスペクトルデータのパワー値を上記合成マスキングカーブで除算して得た比ＳＭＲｉが、圧縮符号化時にＷＬ（ｉ）を「０」にしたと想定されるオフセット（しきい）値より小さい場合には、上記（ａ）で補間した帯域ｉに存在するスペクトルデータをそのまま採用し、上記オフセット（しきい）値より大きい場合には、上記（ａ）で求めた帯域ｉに存在するスペクトルデータの係数を補正する。
（３）（１）及び（２）の処理において、前のフレーム又は後のフレームのいずれか一方又は両方の同一帯域に複数のスペクトルデータが存在する場合には、これら複数のスペクトルデータを用いて補間する。
（ａ）すべてのスペクトルデータについて、量子化ビット数ＷＬ（ｉ）が「２」ビット以上の他の帯域に存在する複数のスペクトルデータのうち、最大値及びそれに次ぐ値を有する複数のスペクトルデータに基づいて、無音の周波数帯域ｉを補間する。
（ｂ）量子化ビット数ＷＬ（ｉ）が「２」ビット以上の他の帯域に存在するスペクトルデータを用いて算出したマスキングしきい値と最小可聴限特性ｌｔ（ｆ）（ｄＢ）を合成して合成マスキングカーブを作製する。上記（ａ）で補間した帯域ｉのスペクトルデータのパワー値を上記合成マスキングカーブで除算して得た比ＳＭＲｉが、圧縮符号化時にＷＬ（ｉ）を「０」にしたと想定されるオフセット（しきい）値より小さい場合には、上記（ａ）で補間した帯域ｉに存在するスペクトルデータをそのまま採用し、上記オフセット（しきい）値より大きい場合には、上記（ａ）で求めた帯域ｉに存在するスペクトルデータの係数を補正する。
（３）（１）及び（２）の処理において、前のフレーム又は後のフレームのいずれか一方又は両方の同一帯域に複数のスペクトルデータが存在する場合には、これら複数のスペクトルデータを用いて補間する。
このように、本発明の実施の形態１によれば、量子化分解能が２値、４値等の低いスペクトルの分解能を高めることができ、マスキング効果が高いスペクトルデータの量子化ビット数を小さくするという圧縮符号化の手法（アルゴリズム）を可能な限り流用することにより、圧縮されたデジタルデータを復号化する際に、符号化時に削除されたスペクトルの情報を、物足りなさや違和感を受けることなく、補間することができる。この結果、再生された楽音や音声等からなるアナログ信号は高品質である。
また、本発明の実施の形態１によれば、比ＭＮＲｉ（ｎ）を算出し、この比ＭＮＲｉ（ｎ）に基づいて、補間された複数のスペクトルデータに乗算すべき係数を決定しているので、如何なるビットレートの圧縮符号化であっても、無音のスペクトルデータの大きさを適切に補間することができる。
実施の形態２．
上述の実施の形態１においては、デジタルオーディオデータ復号化装置２をハードウェアで構成した例を示したが、これに限定されない。すなわち、上記デジタルオーディオデータ復号化装置２のうち、補間処理部２５を、ＣＰＵ（中央処理装置）と、ＲＯＭやＲＡＭ等の内部記憶装置と、ＦＤドライブ、ＨＤドライブ、ＭＯディスクドライブ、ＣＤ／ＤＶＤドライブ等の外部記憶装置と、出力手段と、入力手段とを有するコンピュータによって構成しても良い。そして、ＣＰＵの機能が補間処理プログラムとして、ＲＯＭ等の半導体メモリや、ＦＤ、ＨＤやＣＤ−ＲＯＭ等の記憶媒体に記憶されていると構成しても良い。この場合、上記内部記憶装置、あるいは外部記憶装置が係数保存部３８となり、補間処理プログラムは、記憶媒体からＣＰＵに各々読み込まれ、ＣＰＵの動作を制御する。補間処理プログラムが起動されると、ＣＰＵは上記補間処理部２５を構成する量子化ビット数判定部３１と、ＩＭＤＣＴ係数１次補正部３２と、１次ゲイン制御部３３と、帯域毎のパワー算出部３４と、マスキング算出部３５と、最小可聴限合成部３６と、ＭＮＲ算出部３７と、ＩＭＤＣＴ係数２次補間部３９と、２次ゲイン制御部４０として機能し、補間処理プログラムの制御により、上記した処理を実行するのである。
上述の実施の形態１においては、デジタルオーディオデータ復号化装置２をハードウェアで構成した例を示したが、これに限定されない。すなわち、上記デジタルオーディオデータ復号化装置２のうち、補間処理部２５を、ＣＰＵ（中央処理装置）と、ＲＯＭやＲＡＭ等の内部記憶装置と、ＦＤドライブ、ＨＤドライブ、ＭＯディスクドライブ、ＣＤ／ＤＶＤドライブ等の外部記憶装置と、出力手段と、入力手段とを有するコンピュータによって構成しても良い。そして、ＣＰＵの機能が補間処理プログラムとして、ＲＯＭ等の半導体メモリや、ＦＤ、ＨＤやＣＤ−ＲＯＭ等の記憶媒体に記憶されていると構成しても良い。この場合、上記内部記憶装置、あるいは外部記憶装置が係数保存部３８となり、補間処理プログラムは、記憶媒体からＣＰＵに各々読み込まれ、ＣＰＵの動作を制御する。補間処理プログラムが起動されると、ＣＰＵは上記補間処理部２５を構成する量子化ビット数判定部３１と、ＩＭＤＣＴ係数１次補正部３２と、１次ゲイン制御部３３と、帯域毎のパワー算出部３４と、マスキング算出部３５と、最小可聴限合成部３６と、ＭＮＲ算出部３７と、ＩＭＤＣＴ係数２次補間部３９と、２次ゲイン制御部４０として機能し、補間処理プログラムの制御により、上記した処理を実行するのである。
以上、本発明の実施の形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれる。
例えば、上述の各実施の形態では、本発明は、ＡＴＲＡＣ方式が適用されたデジタルオーディオ記録再生システムに適用する例を示したが、これに限定されない。本発明は、ＩＭＤＣＴ係数Ｉ（ｍ）（スペクトルデータ）、量子化ビット数ＷＬ（ｉ）及びスケールファクタＳＦ（ｉ）があれば良いので、例えば、ＭＰ３（MPEG Audio Layer-3）方式、ＡＡＣ（Advanced Audio Coding）方式、あるいはＷＭＡ（Windows Media Audio）（Windowsは登録商標）方式等の音声圧縮符号化技術が適用されたデジタルオーディオ記録再生システムにも適用することができる。
例えば、上述の各実施の形態では、本発明は、ＡＴＲＡＣ方式が適用されたデジタルオーディオ記録再生システムに適用する例を示したが、これに限定されない。本発明は、ＩＭＤＣＴ係数Ｉ（ｍ）（スペクトルデータ）、量子化ビット数ＷＬ（ｉ）及びスケールファクタＳＦ（ｉ）があれば良いので、例えば、ＭＰ３（MPEG Audio Layer-3）方式、ＡＡＣ（Advanced Audio Coding）方式、あるいはＷＭＡ（Windows Media Audio）（Windowsは登録商標）方式等の音声圧縮符号化技術が適用されたデジタルオーディオ記録再生システムにも適用することができる。
また、上述の各実施の形態では、量子化ビット数は、０〜１６ビットである例を示したが、これに限定されず、量子化ビット数は、何ビットでも良い。また、量子化係数がハフマン符号により符号化された方式にも適応することができる。これと関連して、上述の各実施の形態では、量子化ビット数ＷＬ（ｉ）が「０」ビット、「２」ビット又は「３」ビットである帯域に関する補間処理を行う例を示したが、これに限定されず、量子化ビット数ＷＬ（ｉ）が「４」ビット以上である帯域に関する補間処理を行うようにしても良い。
また、上述の各実施の形態では、本発明をミニディスク（ＭＤ）等の記録媒体に記録された圧縮されたデジタルオーディオデータから圧縮されていないデジタルオーディオデータを復号化する場合に適用する例を示したが、これに限定されない。本発明は、例えば、通常の生活者レベル程度の速度で変化するアナログビデオ信号を、視覚心理特性等に基づいて、デジタルビデオデータに圧縮符号化した後、記録媒体に記録し、記録媒体から読み出された圧縮符号化されたデジタルビデオデータを圧縮されていないデジタルビデオデータに復号化する場合にも適用することができる。
また、上述の各実施の形態では、記録媒体としてミニディスク（ＭＤ）を用いる例を示したが、これに限定されず、記録媒体は、例えば、コンパクトディスク（ＣＤ）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（ＨＤ）、あるいはフラッシュメモリなどの半導体メモリでも良い。
また、上述の各実施の形態では、符号化デジタルデータを生成するための変換方法としては、ＭＤＣＴを挙げたが、ＤＣＴといった直交変換する変換方法であれば本発明が適用可能である。
また、上述の各実施の形態では、マスキングとして同時マスキングを用いる例を示したが、これに限定されず、経時マスキングを用いたり、同時マスキング及び経時マスキングの両方を用いたりしても良い。
また、上述の各実施の形態では、符号化デジタルデータを生成するための変換方法としては、ＭＤＣＴを挙げたが、ＤＣＴといった直交変換する変換方法であれば本発明が適用可能である。
また、上述の各実施の形態では、マスキングとして同時マスキングを用いる例を示したが、これに限定されず、経時マスキングを用いたり、同時マスキング及び経時マスキングの両方を用いたりしても良い。
１ デジタルオーディオデータ符号化装置
２ デジタルオーディオデータ復号化装置
３ 記録媒体
１１ 周波数帯域分割部
１２ 時間周波数変換部
１３，３４ 帯域毎のパワー算出部
１４，３５ マスキング算出部
１５，３６ 最小可聴限合成部
１６ 量子化ビット数算出部
１７ スケールファクタ算出部
１８ 量子化部
１９ パッキング部
２１ アンパッキング部
２２ 逆量子化部
２３ 純音性判定部
２４ 切換部
２５ 補間処理部
２６ 周波数時間変換部
２７ 周波数帯域合成部
３１ 量子化ビット数判定部
３２ ＩＭＤＣＴ係数１次補正部
３３ １次ゲイン制御部
３７ ＭＮＲ算出部
３８ 係数保存部
３９ ＩＭＤＣＴ係数２次補間部
４０ ２次ゲイン制御部
２ デジタルオーディオデータ復号化装置
３ 記録媒体
１１ 周波数帯域分割部
１２ 時間周波数変換部
１３，３４ 帯域毎のパワー算出部
１４，３５ マスキング算出部
１５，３６ 最小可聴限合成部
１６ 量子化ビット数算出部
１７ スケールファクタ算出部
１８ 量子化部
１９ パッキング部
２１ アンパッキング部
２２ 逆量子化部
２３ 純音性判定部
２４ 切換部
２５ 補間処理部
２６ 周波数時間変換部
２７ 周波数帯域合成部
３１ 量子化ビット数判定部
３２ ＩＭＤＣＴ係数１次補正部
３３ １次ゲイン制御部
３７ ＭＮＲ算出部
３８ 係数保存部
３９ ＩＭＤＣＴ係数２次補間部
４０ ２次ゲイン制御部
Claims (2)
- 複数の周波数帯域に分割され、周波数帯域毎に設定される指標に基づいて周波数帯域毎に量子化、符号化されているスペクトルデータを復号化するデジタルデータ復号化装置であって、
量子化ビット割り当てが零の前記周波数帯域の前記スペクトルデータを、前記量子化ビット割り当てが非零の前記周波数帯域に存在する前記スペクトルデータを用いて補間する補間処理部を具備し、
前記補間処理部は、
前記量子化ビット割り当てが非零の前記周波数帯域に存在する前記スペクトルデータを用いて算出したマスキングしきい値と最小可聴限特性とを合成して作製した合成マスキングしきい値と、前記補間で得られたスペクトルデータの量子化雑音パワー又はエネルギーとの比が、前記量子化ビット割り当てが非零の帯域の前記比を超えないように、前記補間で得られたスペクトルデータに乗算すべき係数を決定し、前記補間で得られたスペクトルデータにそれぞれ乗算することを特徴とするデジタルデータ復号化装置。 - 前記補間処理部は、
前記補間、前記係数の乗算、前記係数の補正を、前記量子化ビット割り当てが非零の前記周波数帯域に存在する複数の前記スペクトルデータのうち、最大値及びそれに次ぐ値を有する複数のスペクトルデータを用いて行うことを特徴とする請求項１に記載のデジタルデータ復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006062290A JP4627737B2 (ja) | 2006-03-08 | 2006-03-08 | デジタルデータ復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006062290A JP4627737B2 (ja) | 2006-03-08 | 2006-03-08 | デジタルデータ復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007240819A JP2007240819A (ja) | 2007-09-20 |
| JP4627737B2 true JP4627737B2 (ja) | 2011-02-09 |
Family
ID=38586431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006062290A Expired - Fee Related JP4627737B2 (ja) | 2006-03-08 | 2006-03-08 | デジタルデータ復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4627737B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101162275B1 (ko) * | 2007-12-31 | 2012-07-04 | 엘지전자 주식회사 | 오디오 신호 처리 방법 및 장치 |
| EP4407610A1 (en) * | 2008-07-11 | 2024-07-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program |
| WO2019121982A1 (en) * | 2017-12-19 | 2019-06-27 | Dolby International Ab | Methods and apparatus for unified speech and audio decoding qmf based harmonic transposer improvements |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001102930A (ja) * | 1999-09-27 | 2001-04-13 | Pioneer Electronic Corp | 量子化誤差補正方法及び装置並びにオーディオ情報復号方法及び装置 |
| JP2004053891A (ja) * | 2002-07-19 | 2004-02-19 | Sony Corp | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 |
-
2006
- 2006-03-08 JP JP2006062290A patent/JP4627737B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001102930A (ja) * | 1999-09-27 | 2001-04-13 | Pioneer Electronic Corp | 量子化誤差補正方法及び装置並びにオーディオ情報復号方法及び装置 |
| JP2004053891A (ja) * | 2002-07-19 | 2004-02-19 | Sony Corp | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007240819A (ja) | 2007-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5048697B2 (ja) | 符号化装置、復号化装置、符号化方法、復号化方法、プログラムおよび記録媒体 | |
| JP3926726B2 (ja) | 符号化装置および復号化装置 | |
| JP5543939B2 (ja) | 統合化不可逆的可逆的音声圧縮 | |
| JP2004264814A (ja) | 純可逆的音声圧縮における技術革新 | |
| JP2006011456A (ja) | 低ビット率符号化／復号化方法及び装置並びにコンピュータ可読媒体 | |
| JP2005202248A (ja) | オーディオ符号化装置およびオーディオ符号化装置のフレーム領域割り当て回路 | |
| JP2010079275A (ja) | 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム | |
| JPH08237132A (ja) | 信号符号化方法及び装置、信号復号化方法及び装置、並びに情報記録媒体及び情報伝送方法 | |
| JP2007017908A (ja) | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 | |
| WO2003096325A1 (en) | Coding method, coding device, decoding method, and decoding device | |
| JP4760278B2 (ja) | 補間装置、オーディオ再生装置、補間方法および補間プログラム | |
| JP3964860B2 (ja) | ステレオオーディオの符号化方法、ステレオオーディオ符号化装置、ステレオオーディオの復号化方法、ステレオオーディオ復号化装置及びコンピュータで読み取り可能な記録媒体 | |
| JP2004198485A (ja) | 音響符号化信号復号化装置及び音響符号化信号復号化プログラム | |
| JP2008033269A (ja) | デジタル信号処理装置、デジタル信号処理方法およびデジタル信号の再生装置 | |
| WO2004044891A1 (ja) | 音楽情報符号化装置及び方法、並びに音楽情報復号装置及び方法 | |
| JP4627737B2 (ja) | デジタルデータ復号化装置 | |
| JP4649351B2 (ja) | デジタルデータ復号化装置 | |
| JP4641272B2 (ja) | デジタルデータ復号化装置 | |
| JP2013073230A (ja) | オーディオ符号化装置 | |
| JP3776004B2 (ja) | ディジタルデータの符号化方法 | |
| JP3984468B2 (ja) | 符号化装置、復号化装置及び符号化方法 | |
| JPH1083623A (ja) | 信号記録方法、信号記録装置、記録媒体および信号処理方法 | |
| JPH0863901A (ja) | 信号記録方法及び装置、信号再生装置、並びに記録媒体 | |
| JP4024185B2 (ja) | デジタルデータ符号化装置 | |
| JP2005114813A (ja) | オーディオ信号再生装置及び再生方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100706 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100903 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101102 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101108 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |