JP4041385B2 - 信号補間装置、信号補間方法及びプログラム - Google Patents
信号補間装置、信号補間方法及びプログラム Download PDFInfo
- Publication number
- JP4041385B2 JP4041385B2 JP2002347893A JP2002347893A JP4041385B2 JP 4041385 B2 JP4041385 B2 JP 4041385B2 JP 2002347893 A JP2002347893 A JP 2002347893A JP 2002347893 A JP2002347893 A JP 2002347893A JP 4041385 B2 JP4041385 B2 JP 4041385B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- frequency
- interpolation
- unit
- interpolated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
Description
【発明の属する技術分野】
本発明は、信号補間装置、信号補間方法及びプログラムに関する。
【0002】
【従来の技術】
音楽等の音声を表す音声データを、インターネット等のネットワークを介して配信したり、MD(Mini Disk)等の記録媒体に記録して利用することが、近年盛んになっている。ネットワークで配信されたり記録媒体に記録されたりする音声データは、帯域が過度に広くなることによるデータ量の増大や占有帯域幅の広がりを避けるため、一般に、供給する対象の音楽等のうち一定の周波数以上の成分を除去されている。
例えば、MP3(MPEG1 audio layer 3)形式の音声データでは、約16キロヘルツ以上の周波数成分が除去されている。また、ATRAC3(Adaptive TRansform Acoustic Coding 3)形式の音声データでは、約14キロヘルツ以上の周波数成分が除去されている。
【0003】
このように、一定値以上の周波数成分が除去された音楽等は通常、オリジナルの音楽等に比べて音質が劣化している。そこで、除去された周波数成分に代わる信号を加算することが考えられる。このための手法としては、特許文献1に開示されている手法がある。
【0004】
【特許文献1】
特開平7−93900号公報
【0005】
特許文献1に開示されている手法は、PCM(Pulse Code Modulation)ディジタルオーディオ信号をローパスフィルタに通して得られる出力オーディオ信号を、当該出力信号の絶対値成分を含む信号を乗算することにより歪みを生じさせる、という手法である。
【0006】
また、他の手法としては、スペクトルの包絡線を、スペクトル成分が除去された部分に外挿し、外挿された包絡線に沿うように雑音を追加する手法も考えられる。
【0007】
【発明が解決しようとする課題】
しかし、音楽を表す音声信号は一般に、電子楽器や人間の声(ヴォーカル)の高調波によって、図8にスペクトルを示すように、10キロヘルツ以上の成分が、周波数が高くなるにつれて減衰しつつ数百ヘルツ程度(100ヘルツ以上1キロヘルツ未満)の間隔で並ぶピークを多数含んだスペクトル分布をもつようになる。また、電話回線を介して伝送される音声を表す音声信号の場合は一般に、4キロヘルツ以上の成分が、同様の特徴を有するスペクトル分布を示すようになる。
【0008】
このため、出力オーディオ信号の低域成分の波形を絶対値回路等を用いて歪ませることにより高調波を発生させるに過ぎない特許文献1のオーディオ信号再生装置を用いても、また、スペクトルの包絡線を外挿して雑音を追加する上述の手法によっても、図8に示すようなスペクトルに近いスペクトルを有する信号を得ることができない。
【0009】
この発明は、上記実状に鑑みてなされたものであり、原信号の帯域を制限した信号を用いて得られる変調波から、歪みが少なく原信号に近い信号を復元できるようにするための信号補間装置、及び信号補間方法を提供することを目的とする。
また、この発明は、オーディオ信号を高音質で復元するための信号補間装置、及び信号補間方法を提供することを目的とする。
【0010】
【課題を解決するための手段】
上記目的を達成するため、この発明の第1の観点に係る信号補間装置は、
スペクトルを補間される対象である音声を表す被補間信号のデータ形式と、当該被補間信号の占有帯域の上限周波数とを対応付けて予め記憶する記憶部と、
当該被補間信号と、当該被補間信号の表す音声のジャンルを指定するジャンル情報とを取得する取得部と、
前記取得部により取得された被補間信号のデータ形式に対応する当該上限周波数を前記記憶部から特定し、当該被補間信号のうち前記特定された上限周波数より小さい所定周波数以上である成分を、当該上限周波数と当該所定周波数との差だけ高周波側にシフトさせることにより補間用信号を生成する生成部と、
前記取得部により取得されたジャンル情報の示すジャンルに予め対応付けられたQ値とピーク周波数とを有するフィルタであって、当該上限周波数と当該所定周波数との差より大きく当該上限周波数より小さい範囲内に当該ピーク周波数が存在し、且つ、当該ピーク周波数より高周波側において周波数が高いほど減衰率が小さいフィルタを用いて、前記生成部により生成された補間用信号をフィルタリングするフィルタと、
前記フィルタによりフィルタリングされた補間用信号を増幅して利得を調整する調整部と、
前記取得部により取得された被補間信号と、前記調整部により調整された補間用信号との和を表す出力信号を出力する出力部と、
を備えることを特徴とする。
また、この信号補間装置は、ユーザから前記フィルタのQ値を指定する指示入力を受け付ける入力受付部をさらに備え、
前記フィルタは、前記入力受付部が受け付けた指示入力に基づいてQ値を決定し、当該決定したQ値を用いてフィルタリングしてもよい。
また、前記被補間信号は音楽を表す信号であり、
前記フィルタは、前記被補間信号に対応付けられている当該音楽のジャンルを示すジャンル情報に応じて予め定められたQ値を用いてフィルタリングしてもよい。
また、前記出力部は、前記調整部により調整された補間用信号と実質的に同相になるように前記被補間信号を遅延させる遅延部を備え、前記被補間信号と、前記遅延部により遅延された被補間信号との和を表す前記出力信号を出力してもよい。
【0013】
前記所定の周波数は、例えば、10キロヘルツ以上の周波数であればよい。
【0014】
前記取得部は、例えば、電話回線を介して伝送される当該被補間信号を取得してもよい。
【0017】
前記フィルタは、当該上限周波数と当該所定周波数との差より大きく、且つ、当該上限周波数より小さい周波数帯域に、利得のピークを有していてもよい。
【0018】
前記フィルタは、例えば、IIR(Infinite Impulse Response)型又はFIR(Finite Impulse Response)型のハイパスフィルタ若しくはバンドパスフィルタより構成されていればよい。
【0021】
前記フィルタは、例えば、1以上7以下の範囲でQの値が決定されるものであってもよい。
【0022】
前記出力部は、前記調整部により調整された補間用信号と実質的に同相になるように前記被補間信号を遅延させる遅延部を備えていてもよく、前記被補間信号と、前記遅延部により遅延された被補間信号との和を表す前記出力信号を出力するものであってもよい。
【0024】
また、この発明の第2の観点に係る信号補間方法は、
記憶部を有する信号補間装置にて実行される信号補間方法であって、
前記記憶部には、スペクトルを補間される対象である音声を表す被補間信号のデータ形式と、当該被補間信号の占有帯域の上限周波数とが対応付けて予め記憶され、
当該被補間信号と、当該被補間信号の表す音声のジャンルを指定するジャンル情報とを取得する取得ステップと、
前記取得ステップにより取得された被補間信号のデータ形式に対応する当該上限周波数を前記記憶部から特定し、当該補間用信号のうち前記特定された上限周波数より小さい所定周波数以上である成分を、当該上限周波数と当該所定周波数との差だけ高周波側にシフトさせることにより補間用信号を生成する生成ステップと、
前記取得ステップにより取得されたジャンル情報の示すジャンルに予め対応付けられたQ値とピーク周波数とを有するフィルタであって、当該上限周波数と当該所定周波数との差より大きく当該上限周波数より小さい範囲内に当該ピーク周波数が存在し、且つ、当該ピーク周波数より高周波側において周波数が高いほど減衰率が小さいフィルタを用いて、前記生成ステップにより生成された補間用信号をフィルタリングするステップと、
前記フィルタリングされた補間用信号を増幅して利得を調整する調整ステップと、
前記取得ステップにより取得された被補間信号と、前記調整ステップにより調整された補間用信号との和を表す出力信号を出力する出力ステップと、
を備えることを特徴とする。
【0025】
また、この発明の第3の観点に係るプログラムは、
コンピュータを、
スペクトルを補間される対象である音声を表す被補間信号のデータ形式と、当該被補間信号の占有帯域の上限周波数とを予め記憶する記憶部、
当該被補間信号と、当該被補間信号の表す音声のジャンルを指定するジャンル情報とを取得する取得部、
前記取得部により取得された被補間信号のデータ形式に対応する当該上限周波数を前記記憶部から特定し、当該被補間信号のうち前記特定された上限周波数より小さい所定周波数以上である成分を、当該上限周波数と当該所定周波数との差だけ高周波側にシフトさせることにより補間用信号を生成する生成部、
前記取得部により取得されたジャンル情報の示すジャンルに予め対応付けられたQ値とピーク周波数とを有するフィルタであって、当該上限周波数と当該所定周波数との差より大きく当該上限周波数より小さい範囲内に当該ピーク周波数が存在し、且つ、当該ピーク周波数より高周波側において周波数が高いほど減衰率が小さいフィルタを用いて、前記生成部により生成された補間用信号をフィルタリングするフィルタ、
前記フィルタによりフィルタリングされた補間用信号を増幅して利得を調整する調整部、
前記取得部により取得された被補間信号と、前記調整部により調整された補間用信号との和を表す出力信号を出力する出力部、
として機能させることを特徴とする。
【0026】
【発明の実施の形態】
以下に、図面を参照して、この発明の実施の形態に係る信号補間装置を、高域信号補間器を例として説明する。
【0027】
図1は、この発明の実施の形態に係る高域信号補間器の構成を示す図である。図示するように、この高域信号補間器は、入力部1と、遅延部2と、制御部3と、局部発振部4と、混合部5と、HPF(ハイパスフィルタ)6と、利得調整部7と、加算部8とより構成されている。
【0028】
入力部1は、記録媒体ドライブ装置と、CPU(Central Processing Unit)等のプロセッサと、タッチパネル等の入力デバイスとより構成されている。記録媒体ドライブ装置は、例えば、MD(Mini Disc)ドライブや、CD(Compact Disc)ドライブなどからなっていればよい。入力部1の記録媒体ドライブ装置及び入力デバイスは、入力部1のプロセッサに接続されている。
【0029】
入力部1は、記録媒体が自己に装着されている状態で、ユーザの操作等に従ってこの記録媒体にアクセスし、この記録媒体に記録されているデータを読み出す。
以下では、入力部1に装着される記録媒体には、音声を表す入力音声データと、この入力音声データに対応付けられた制御用データとが、予め記録されているものとする。
【0030】
入力音声データは、具体的には、例えば、MP3(MPEG1 audio layer 3)形式のデータや、あるいはATRAC3(Adaptive TRansform Acoustic Coding 3)形式のデータからなっている。
【0031】
入力音声データが表す音声信号(以下、入力音声信号と呼ぶ)は、例えば図2(a)にスペクトル分布の概略を示すように、元の音声のうち、周波数が一定値以上である成分が除去されたものに相当するスペクトル分布を有しているものとする。
入力音声信号の占有帯域の上限を示すこの一定値(すなわち、図2(a)で「fIN」として示す値)は、例えば、入力音声データがMP3形式のデータからなっている場合は約16キロヘルツであり、また、ATRAC3形式のデータからなっている場合は、約14キロヘルツである。
【0032】
制御用データは、当該制御用データに対応付けられている入力音声データの形式(例えば、MP3形式、ATRAC3形式、等)を示す情報や、この入力音声データが音楽を表すものであるとして、この音楽のジャンル(例えば、クラシック、ロック、ジャズ、等)を示す情報を含んでいる。制御用データを記録する記録媒体がMDである場合、制御用データの一部又は全部は、例えば、UTOC(User Table Of Contents)に含まれていてもよい。
【0033】
入力部1は、記録媒体から、互いに対応付けられている入力音声データ及び制御用データを読み出すと、読み出した入力音声データが表す入力音声信号を遅延部2及び混合部5に供給し、一方、読み出した制御用データを制御部3に供給する。
【0034】
遅延部2、制御部3、局部発振部4、混合部5、HPF6、利得調整部7及び加算部8は、いずれも、DSP(Digital Signal Processor)やCPUなどのプロセッサ、あるいは専用の集積回路などより構成されている。ただし、遅延部2、制御部3、局部発振部4、混合部5、HPF6、利得調整部7及び加算部8の一部又は全部の機能を、単一のプロセッサが行うようにしてもよい。
【0035】
なお、図3は、遅延部2、局部発振部4及びHPF6の論理的な構成を示す図である。図3は、遅延部2、局部発振部4、混合部5、HPF6、利得調整部7及び加算部8の相互の接続関係も示している。
【0036】
遅延部2は、入力部1より入力音声信号を供給されると、この入力音声信号を遅延させて加算部8に供給する。
遅延部2が信号を遅延させる時間の長さは、混合部5に供給された入力音声信号が混合部5、HPF6及び利得調整部7での処理を経て加算部8に供給されるまでに経過する時間の長さに実質的に等しいものとする。また、遅延部2から加算部8に供給される遅延された入力音声信号の位相と、利得調整部7から加算部8に供給される信号の位相とは、加算部8に同時に供給されるもの同士の間では、実質的に同相であるものとする。
【0037】
制御部3は、入力部1より供給された制御用データの内容に基づいて、局部発振部4が発生する後述の局部発振信号の周波数を決定し、決定した周波数を示す情報を局部発振部4に供給する。
また、制御部3は、この制御用データの内容に基づき、HPF6の通過帯域特性を決定し、決定した通過帯域特性を示す情報を、HPF6に供給する。
【0038】
制御部3は、具体的には、例えば、EEPROM(Electrically Erasable/Programmable Read Only Memory)等の不揮発性メモリを更に備え、この不揮発性メモリが、帯域幅テーブルと、Q値テーブルとを予め記憶する。
帯域幅テーブルは、入力音声信号の占有帯域の上限の値を、入力音声データがとり得る形式のそれぞれについて示しているデータを格納するテーブルである。Q値テーブルは、HPF6のQの値を、入力音声データが表す音楽のジャンル毎に指定するデータを格納するテーブルである。Qの値は、1程度から7程度までの範囲とする。
そして、制御部3は、具体的には、以下(1)〜(4)として述べる処理を行う。
【0039】
(1) まず、制御部3は、制御用データが示す形式の入力音声データの占有帯域の上限の値を、帯域幅テーブルを検索することにより特定する。
【0040】
(2) 次に、制御部3は、以下(a)及び(b)として示す条件に合致するように、HPF6の通過帯域と、局部発振信号の周波数とを決定する。すなわち、図2(b)及び(c)に示すように、
(a) 局部発振信号の周波数fOSCが、入力音声信号の占有帯域の上限の周波数fINより低く、
(b) HPF6の利得のピークの周波数fPが、上述の周波数fINより低く、且つ、周波数(fIN−fOSC)より高い、
という関係が成り立つように、HPF6の通過帯域と、局部発振信号の周波数とを決定する。すなわち、fIN、fOSC及びfPの各値の間には、実質的に数式1及び数式2に示す関係がある。
【0041】
【数1】
fOSC <fIN
【数2】
(fIN −fOSC)<fP <fIN
【0042】
ただし、音楽を表す信号は一般に、図8を参照して説明したように、10キロヘルツ以上の成分が、周波数が高くなるにつれて減衰しつつ数百ヘルツ程度の間隔で並ぶピークを多数含んだスペクトル分布を有する、という特徴を持つ。
このため、後述の処理によりこのような特徴のある成分を入力音声信号に追加して出力音声信号を生成するためには、図2(b)に示すように、入力音声信号のうち周波数が約10キロヘルツ以上の成分(あるいは、10キロヘルツ以上でなくとも、当該特徴のある成分)が、混合部5の処理によって、周波数fIN以上の帯域を占めるよう周波数変換されることが望ましい。
このような周波数変換の結果を得るため、例えば、入力音声信号のうち当該特徴を有する部分が約10キロヘルツ以上の周波数成分であれば、局部発振信号の周波数fOSCは、(fIN−10kHz)程度とされることが望ましい。
【0043】
(3) (2)の処理を行う一方、制御部3は、制御用データが示す音楽のジャンルを検索キーとしてQ値テーブルを検索することにより、HPF6がとるべきQの値を決定する。
【0044】
(4) そして、制御部3は、上述の(a)の条件を満たすfOSCの値を示す情報を局部発振部4に供給する。また、上述の(b)の条件を満たすfPの値をHPF6の通過帯域特性のピークの周波数として指定する情報、及び、上述の(3)の処理で決定したQの値を指定する情報を、HPF6に供給する。
【0045】
局部発振部4は、制御部3より局部発振信号の周波数を示す情報を供給されると、この情報が示す通りの周波数を有する局部発振信号を発生して混合部5へと供給する。
【0046】
局部発振部4は、例えば、図3に示すように、IIR(Infinite Impulse Response)型のローパスフィルタより構成されている。ただし、このローパスフィルタのQの値は実質上無限大に設定されているものとする。
図3に示す局部発振部4は、たとえば制御部3などが、局部発振信号の発生開始を局部発振部4に指示するためトリガパルスを生成して供給すると、このトリガパルスにより励起されて発振することにより、ほぼ正弦波である局部発振信号を生成するものである。
局部発振部4が図3に示す構成を有している場合、局部発振部4は、例えば、信号の増幅を行う各処理ブロックの増幅率を調整することにより、局部発振部4の発振周波数を、制御部3から供給される情報が示す通りの値に調整する。
【0047】
なお、図3において、“D”は信号の遅延を行う処理ブロックを表し、“A”は信号の増幅を行う処理ブロックを表し、“+”は信号の加算を行う処理ブロックを表すものとする。
【0048】
混合部5は、遅延部2に供給されたものと同一の入力音声信号を、遅延部2と同時に供給される。そして、この入力音声信号と局部発振部4が発生する局部発振信号とを混合することにより、入力音声信号と局部発振信号との積を表す信号を生成し、生成した信号をHPF6に供給する。
【0049】
混合部5がHPF6に供給する信号は、入力音声信号の周波数と局部発振信号の周波数の和にあたる周波数を有する成分(和成分)、及び、入力音声信号と局部発振信号の周波数の差にあたる周波数を有する成分(差成分)を含んでいる。
和成分のスペクトルは、図2(b)に示すように、周波数fOSCを下限とし周波数(fIN+fOSC)を上限とする帯域を占める。また、差成分のスペクトルは、図2(b)に示すように、周波数(fIN−fOSC)を上限とする帯域を占める。
【0050】
HPF6は、混合部5より供給された成分をフィルタリングして利得調整部7に供給する。
HPF6は、通過帯域特性の一例のグラフを図4に示すように、IIR型のハイパスフィルタに相当する通過帯域特性を有しており、ピークを持ち、このピークより高周波側では、周波数が増大するにつれてHPF6の減衰率は大きくなっている。そして、HPF6は、このピークの周波数及びQの値を、制御部3から供給される情報が示す通りの値に調整する。Qの値が大きいほど、HPF6の通過帯域特性のピークは急峻となる。
【0051】
なお、図3は、HPF6が、2次のIIR型のハイパスフィルタを2段カスケード接続したものからなっている場合の論理的構成を例示している。
HPF6が図3に示す構成を有している場合、HPF6は、例えば、信号の増幅を行う各処理ブロックの増幅率を調整することにより、HPF6の通過帯域特性のピークの周波数及びQの値を、制御部3から供給される情報が示す通りの値に調整する。
【0052】
混合部5がHPF6に供給する信号の和成分及び差成分は、上述の通り、図2(b)に示すような帯域を占める。一方、HPF6の通過帯域特性のピークの周波数fPは、(fIN−fOSC)を超えfIN未満である。
従って、HPF6は、図2(c)に示すように、混合部5が供給する信号のうち、周波数がfP以上でfIN+fOSC以下である和成分を通過させ、その他の成分を実質的に遮断する。
ただし、上述の通り、HPF6は、通過帯域特性のピークより高周波側では周波数が増大するにつれ減衰率が大きくなっているので、HPF6を通過する和成分も、周波数が高い成分ほど減衰が大きくなる。
【0053】
利得調整部7は、HPF6から供給される信号を増幅して加算部8に供給する。
利得調整部7の利得は、加算部8が生成する後述の出力信号のスペクトルの包絡線が、周波数fINの近傍で滑らかになるような値に設定されているものとする。この値は、例えば、この高域信号補間器の製造者等が予め経験的に決定すればよい。
【0054】
加算部8は、遅延部2から供給される遅延された入力音声信号と利得調整部7から供給される信号との和を表す信号を生成し、出力音声信号として出力する。出力音声信号の形式は任意であり、例えばアナログ信号であってもよいし、PCM(Pulse Code Modulation)形式などのデジタル信号であってもよい。
【0055】
出力音声信号は、図2(d)に示すように、入力音声信号に相当する成分と、追加された成分とからなっている。そして、追加された成分は、入力音声信号のうち周波数が所定値以上である成分を、当該所定値と入力音声信号の占有帯域の上限の周波数の差に相当する量だけ高周波側に周波数変換することで得られている。
【0056】
入力音声信号が帯域を制限された信号である場合、元の音声信号から除去された成分は、元の音声信号のうち10キロヘルツ以上の成分の高調波成分より構成されている可能性が高い。従って、入力音声信号が帯域を制限された信号である場合、出力音声信号は、帯域が制限される前の元の音声信号に近いものとなる。
【0057】
また、出力音声信号のうち入力音声信号に追加された成分は、HPF6の通過帯域特性のピークより高周波側の成分であり、周波数が高い成分ほど大きな減衰を受けている。このため、出力音声信号のスペクトルは、周波数が高い成分ほど強度が小さくなるような、音声の典型的なスペクトルに近い自然な分布を示す。
【0058】
また、局部発振信号の周波数やHPF6の通過帯域特性は、入力音声信号の占有帯域幅に従って変化するので、さまざまな占有帯域幅を有する入力音声信号に適切な補間を行うことができる。
【0059】
また、HPF6のQの値を変化させることにより、出力音声信号のうち入力音声信号に追加される高域成分の包絡線の形状が変化するので、これを利用して、音楽のジャンルに適したスペクトル分布を得ることが可能となる。
具体的には、シンバル等、高音を発する音源が多用されるロックの場合はQの値を低くして高域成分が減衰せず多く残るようにし、そのような音源が多用されないクラシックの場合はQの値を高くして高域成分を大きく減衰させるようにする、などの用い方が考えられる。
【0060】
なお、この高域信号補間器の構成は上述のものに限られない。
例えば、入力音声データの形式はMP3形式やATRAC3形式である必要はなく、AAC(Advanced Audio Coding)形式やその他任意の形式であってよい。
また、この高域信号補間器は、加算部8が生成した出力信号が表す音響を再生するためのオーディオ増幅器やスピーカ等を更に備えていてもよい。
【0061】
また、入力部1は、記録媒体ドライバに代えて、あるいは記録媒体ドライバと共に、外部の通信回線に接続するためのインターフェース(例えば、モデム等)より構成される通信制御装置を備えていてもよい。この場合、入力部1は、入力音声データや制御用データを記録媒体から読み出す代わりに、外部の通信回線から取得するようにしてもよい。
【0062】
なお、上述したように、電話回線を介して伝送される音声を表す音声信号の場合は一般に、4キロヘルツ以上の成分が、周波数が高くなるにつれて減衰しつつ数百ヘルツ程度の間隔で並ぶピークを多数含んだスペクトル分布を有する、という特徴を示す。
このため、入力音声信号が電話回線を介して伝送されたものである場合(例えば、この高域信号補間器が携帯電話等の電話端末に組み込まれ、この電話端末が受話する音声の補間を行うような場合)、元の音声信号に近い出力音声信号を生成するためには、入力音声信号のうち周波数が約4キロヘルツ以上の成分が、混合部5の処理によって、周波数fIN以上の帯域を占めるよう周波数変換されることが望ましい。このような周波数変換の結果を得るため、局部発振信号の周波数fOSCは、(fIN−4kHz)程度とされることが望ましい。
【0063】
また、制御用データは、入力音声データの占有帯域の上限の周波数の値を直接示すものであってもよい。
また、入力音声信号の占有帯域の上限は、この入力音声信号を表す入力音声データの形式とは無関係に、この入力音声信号が伝送された回線(例えば、電話回線)の品質等の影響を受けて、一定値に制限されている場合もあり得る。このため、制御用データは、入力音声データが伝送された回線の種類や品質を示すものであってもよい。この場合、帯域幅テーブルは、例えば、入力音声信号の占有帯域の上限の値を、入力音声信号が伝送された回線の種類あるいは品質と対応付けて示すデータを含むようにすればよい。
【0064】
また、制御用データは入力音声データに1対1に対応付けられていなくてもよく、例えば、記録媒体に記録されている制御用データが、この記録媒体に記録されているすべての入力音声データ形式や音楽のジャンルを表すものであってもよい。
【0065】
また、入力音声データの占有帯域の上限が予め固定されているならば、局部発振部4は局部発振信号の周波数を可変とする必要はなく、また、HPF6も通過帯域特性のピークの周波数を可変とする必要がない。また、HPF6のQの値も、必ずしも可変である必要はない。なお、Qの値を固定値とする場合、Qの値を2.3程度とすると、音楽一般につき、聴覚上好適な結果が得られる。
局部発振信号の周波数、HPF6の通過帯域特性のピークの周波数及びQの値がいずれも固定されているならば制御部3は不要であり、入力部1は制御用データを取得しなくてもよい。
【0066】
また、制御部3は、局部発振信号の周波数、HPF6の通過帯域特性のピークの周波数及び/又はQの値を、ユーザの指示に従って設定するようにしてもよい。この場合、制御部3は、例えば、タッチパネル等の入力デバイスを備え、この入力デバイスを操作する操作者の指示に従うものとすればよい。なお、この入力デバイスの機能を、入力部1の入力デバイスが兼ねていてもよい。
【0067】
また、音声の典型的なスペクトルに近い自然なスペクトル分布を示す出力音声信号を得にくくなるものの、HPF6の通過帯域特性は必ずしもピークを有している必要はなく、また、HPF6は必ずしもIIR型でなくてもよい。従って、HPF6は、例えば、FIR(Finite Impulse Response)型のハイパスフィルタからなっていてもよい。
なお、HPF6の通過帯域特性がピークを有していない場合は、例えば、ピークの周波数に代えて、カットオフ周波数が上述の(b)の条件を満たしていればよい。
【0068】
また、HPF6は、IIR型やFIR型のバンドパスフィルタからなっていてもよい。この場合は、HPF6の低周波側のピークの周波数又は低周波側のカットオフ周波数が、上述の(b)の条件を満たしていればよい。
【0069】
また、出力音声信号のうち入力音声信号にあたる部分と追加された部分との位相のずれが聴覚上無視できるものであれば、この高域信号補間器は、必ずしも遅延部2を備えなくてもよく、この場合は、入力部1が、入力音声信号を直接に加算部8に供給するようにすればよい。
【0070】
また、HPF6が図3に示す構成を有している場合、制御部3は、HPF6の通過帯域特性を決定した後、HPF6のうち信号の増幅を行う各処理ブロックの増幅率を、この通過帯域特性が実現されるように決定して、決定した増幅率をHPF6に通知するようにしてもよい。この場合、HPF6は、信号の増幅を行う各処理ブロックの増幅率を、制御部3から通知された通りの値に調整すればよい。
【0071】
また、この高域信号補間器は、アナログ回路より構成されていてもよい。具体的には、例えば、局部発振部4を公知の発振回路より構成してもよい。また、混合部5を公知の乗算回路ないし振幅変調回路より構成してもよい。また、HPF6を、公知のバッファ回路あるいは演算増幅器、抵抗器及びコンデンサなどからなるチェビシェフ型、バターワース型等の公知のハイパスフィルタ回路より構成してもよい。また、遅延部2を、ディレイライン等の公知の遅延素子やあるいはバッファ回路などより構成してもよい。また、利得調整部7を公知の増幅回路より構成してもよい。また、加算部8を演算増幅器や抵抗器などからなる公知の加算回路より構成してもよい。
【0072】
なお、図5は、混合部が振幅変調回路より構成され、HPF6がチェビシェフ型のハイパスフィルタ回路より構成され、遅延部2がバッファ回路より構成され、加算部8が演算増幅器加算回路からなる場合における、この高域信号補間器の構成の一例を示す図である。ただし、図5において、“B”はバッファ回路を表し、“OPA”は演算増幅器を表すものとする。また、図5の構成においては、HPF6を構成するバッファ回路が利得調整部7の機能を行うものとする。
【0073】
局部発振部4が、アナログVCO(Voltage Controlled Oscillator)等、外部から制御信号を供給することにより発振周波数を制御可能な可変周波数発振回路より構成される場合は、制御部3は、上述の(a)の条件を満たす周波数の局部発振信号を生成させるような制御信号を局部発振部4に供給することにより、局部発振信号の発振周波数を制御すればよい。
【0074】
また、HPF6を構成するハイパスフィルタ回路の通過帯域特性を決定する抵抗器やコンデンサ等の素子として、外部から供給される制御信号により抵抗値や静電容量が可変な素子(例えば、電界効果トランジスタやバリキャップ等)を用いれば、制御部3が、この制御信号をHPF6のこれらの素子に供給することにより、HPF6の通過帯域特性のピークの周波数やQの値を制御することができる。
【0075】
また、この高域信号補間器は、例えば、マイクロコンピュータやパーソナルコンピュータ等のコンピュータに、上述の入力部1、遅延部2、制御部3、局部発振部4、混合部5、HPF6、利得調整部7及び加算部8の動作を実行するためのプログラムを格納した記録媒体(CD−ROM、フロッピー(登録商標)ディスク等)からこのプログラムをインストールすることにより構成してもよい。
【0076】
このプログラムは、例えば、図6に示す処理をコンピュータに行わせるものであればよい。
【0077】
すなわち、このプログラムを実行するコンピュータのプロセッサは、記録媒体から、互いに対応付けられている入力音声データ及び制御用データをロードして主記憶装置に格納する。そして、ロードした制御用データに基づき、上述の制御部3と同様にして、局部発振信号の周波数と、後述するステップS5でのフィルタリングで得るべき通過帯域特性とを決定する(ステップS1)。
【0078】
次に、コンピュータのプロセッサは、ロードした入力音声データのうちから入力音声信号1サンプル分を取得する(ステップS2)。また、ステップS1で決定した周波数を有する局部発振信号の1サンプル分のデータを生成する(ステップS3)。なお、ステップS2では、まだステップS2で取得していないもののうち先頭の1サンプル分を取得し、また、ステップS3では、ステップS3で最後に生成したデータより1サンプル分位相が遅れたデータ(ただし、初回のステップS3の処理では任意の初期位相を有するデータ)を生成するものとする。
【0079】
次に、プロセッサは、ステップS2で取得した入力音声データの値とステップS3で生成した局部発振信号のサンプルの値との積を計算し(ステップS4)、得られた積をフィルタリングする(ステップS5)。
【0080】
ステップS5でのフィルタリングは、例えば、図7にソースコードを示す関数を、1回又は複数回呼び出すことにより行えばよい。
図7は、2次のIIR型フィルタの機能をコンピュータに行わせるための処理をC言語で記述したソースコードの一例を示す。
【0081】
図7に示すソースコードは、変数"a0","a1","a2","b0","b1"及び"b2"の値により決まる通過帯域特性を有するIIR型のフィルタにより変数"xl"及び"xr"を個別にフィルタリングして、変数"xl"をフィルタリングした結果をポインタ"yl"が示す記憶位置に格納し、変数"xr"をフィルタリングした結果をポインタ"yr"が示す記憶位置に格納する、という処理を表すものである。(すなわち、図7に示すソースコードは、2個の入力音声信号を並行してフィルタリングする処理を表すものである。しかし、並行して処理する入力音声信号の数は任意でよいのはもちろんである。)
【0082】
そして、プロセッサは、ステップS2で取得した入力音声データの値とステップS5でのフィルタリングの結果得られた値とを加算し(ステップS6)、加算結果を出力音声信号として出力して(ステップS7)、処理をステップS2に戻す。
【0083】
なお、例えば、通信回線の掲示板(BBS)にこのプログラムをアップロードし、これを通信回線を介して配信してもよく、また、このプログラムを表す信号により搬送波を変調し、得られた変調波を伝送し、この変調波を受信した装置が変調波を復調して該プログラムを復元するようにしてもよい。
そして、このプログラムを起動し、OSの制御下に、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行することができる。
【0084】
なお、OSが処理の一部を分担する場合、あるいは、OSが本願発明の1つの構成要素の一部を構成するような場合には、記録媒体には、その部分をのぞいたプログラムを格納してもよい。この場合も、この発明では、その記録媒体には、コンピュータが実行する各機能又はステップを実行するためのプログラムが格納されているものとする。
【0085】
【発明の効果】
以上説明したように、この発明によれば、原信号の帯域を制限した信号を用いて得られる変調波から、歪みが少なく原信号に近い信号を復元できるようにするための信号補間装置、音響再生装置及び信号補間方法が実現される。
また、この発明によれば、オーディオ信号を高音質で復元するための信号補間装置、音響再生装置及び信号補間方法が実現される。
【図面の簡単な説明】
【図1】この発明の実施の形態に係る高域信号補間器の構成を示す図である。
【図2】(a)は、入力音声信号のスペクトルを表すグラフであり、(b)は、混合部が発生する和成分及び差成分のスペクトルを表すグラフであり、(c)は、HPFが出力する成分のスペクトル及びHPFの通過帯域特性を表すグラフであり、(d)は、出力音声信号のスペクトルを示すグラフである。
【図3】遅延部、局部発振部及びHPFの論理的な構成を示す図である。
【図4】HPFの通過帯域特性を表すグラフである。
【図5】この発明の実施の形態に係る高域信号補間器の変形例の構成を示す図である。
【図6】コンピュータがこの発明の実施の形態に係る高域信号補間器の機能を行う場合に行う処理の流れを示すフローチャートである。
【図7】図6に示すフィルタリングの処理を記述するソースコードの一例である。
【図8】音楽を表す音声信号の典型的なスペクトルを表すグラフである。
【符号の説明】
1 入力部
2 遅延部
3 制御部
4 局部発振部
5 混合部
6 HPF
7 利得調整部
8 加算部
Claims (11)
- スペクトルを補間される対象である音声を表す被補間信号のデータ形式と、当該被補間信号の占有帯域の上限周波数とを対応付けて予め記憶する記憶部と、
当該被補間信号と、当該被補間信号の表す音声のジャンルを指定するジャンル情報とを取得する取得部と、
前記取得部により取得された被補間信号のデータ形式に対応する当該上限周波数を前記記憶部から特定し、当該被補間信号のうち前記特定された上限周波数より小さい所定周波数以上である成分を、当該上限周波数と当該所定周波数との差だけ高周波側にシフトさせることにより補間用信号を生成する生成部と、
前記取得部により取得されたジャンル情報の示すジャンルに予め対応付けられたQ値とピーク周波数とを有するフィルタであって、当該上限周波数と当該所定周波数との差より大きく当該上限周波数より小さい範囲内に当該ピーク周波数が存在し、且つ、当該ピーク周波数より高周波側において周波数が高いほど減衰率が小さいフィルタを用いて、前記生成部により生成された補間用信号をフィルタリングするフィルタと、
前記フィルタによりフィルタリングされた補間用信号を増幅して利得を調整する調整部と、
前記取得部により取得された被補間信号と、前記調整部により調整された補間用信号との和を表す出力信号を出力する出力部と、
を備えることを特徴とする信号補間装置。 - ユーザから前記フィルタのQ値を指定する指示入力を受け付ける入力受付部をさらに備え、
前記フィルタは、前記入力受付部が受け付けた指示入力に基づいてQ値を決定し、当該決定したQ値を用いてフィルタリングする、
ことを特徴とする請求項1に記載の信号補間装置。 - 前記被補間信号は音楽を表す信号であり、
前記フィルタは、前記被補間信号に対応付けられている当該音楽のジャンルを示すジャンル情報に応じて予め定められたQ値を用いてフィルタリングする、
ことを特徴とする請求項1又は2に記載の信号補間装置。 - 前記フィルタは、1以上7以下の範囲のQ値を用いてフィルタリングする、
ことを特徴とする請求項3に記載の信号補間装置。 - 前記出力部は、前記調整部により調整された補間用信号と実質的に同相になるように前記被補間信号を遅延させる遅延部を備え、前記被補間信号と、前記遅延部により遅延された被補間信号との和を表す前記出力信号を出力する、
ことを特徴とする請求項1乃至4のいずれか1項に記載の信号補間装置。 - 前記所定周波数は、10キロヘルツ以上の周波数である、
ことを特徴とする請求項1乃至5のいずれか1項に記載の信号補間装置。 - 前記取得部は、電話回線を介して伝送される当該被補間信号を取得する、
ことを特徴とする請求項1乃至6のいずれか1項に記載の信号補間装置。 - 前記フィルタは、当該上限周波数と当該所定周波数との差より大きく、且つ、当該上限周波数より小さい周波数帯域に、利得のピークを有する、
ことを特徴とする請求項1乃至7のいずれか1項に記載の信号補間装置。 - 前記フィルタはIIR(Infinite Impulse Response)型又はFIR(Finite Impulse Response)型のハイパスフィルタ若しくはバンドパスフィルタより構成されている、
ことを特徴とする請求項1乃至8のいずれか1項に記載の信号補間装置。 - 記憶部を有する信号補間装置にて実行される信号補間方法であって、
前記記憶部には、スペクトルを補間される対象である音声を表す被補間信号のデータ形式と、当該被補間信号の占有帯域の上限周波数とが対応付けて予め記憶され、
当該被補間信号と、当該被補間信号の表す音声のジャンルを指定するジャンル情報とを取得する取得ステップと、
前記取得ステップにより取得された被補間信号のデータ形式に対応する当該上限周波数を前記記憶部から特定し、当該補間用信号のうち前記特定された上限周波数より小さい所定周波数以上である成分を、当該上限周波数と当該所定周波数との差だけ高周波側にシフトさせることにより補間用信号を生成する生成ステップと、
前記取得ステップにより取得されたジャンル情報の示すジャンルに予め対応付けられたQ値とピーク周波数とを有するフィルタであって、当該上限周波数と当該所定周波数との差より大きく当該上限周波数より小さい範囲内に当該ピーク周波数が存在し、且つ、当該ピーク周波数より高周波側において周波数が高いほど減衰率が小さいフィルタを用いて、前記生成ステップにより生成された補間用信号をフィルタリングするステップと、
前記フィルタリングされた補間用信号を増幅して利得を調整する調整ステップと、
前記取得ステップにより取得された被補間信号と、前記調整ステップにより調整された補間用信号との和を表す出力信号を出力する出力ステップと、
を備えることを特徴とする信号補間方法。 - コンピュータを、
スペクトルを補間される対象である音声を表す被補間信号のデータ形式と、当該被補間信号の占有帯域の上限周波数とを予め記憶する記憶部、
当該被補間信号と、当該被補間信号の表す音声のジャンルを指定するジャンル情報とを取得する取得部、
前記取得部により取得された被補間信号のデータ形式に対応する当該上限周波数を前記記憶部から特定し、当該被補間信号のうち前記特定された上限周波数より小さい所定周波数以上である成分を、当該上限周波数と当該所定周波数との差だけ高周波側にシフトさせることにより補間用信号を生成する生成部、
前記取得部により取得されたジャンル情報の示すジャンルに予め対応付けられたQ値とピーク周波数とを有するフィルタであって、当該上限周波数と当該所定周波数との差より大きく当該上限周波数より小さい範囲内に当該ピーク周波数が存在し、且つ、当該ピーク周波数より高周波側において周波数が高いほど減衰率が小さいフィルタを用いて、前記生成部により生成された補間用信号をフィルタリングするフィルタ、
前記フィルタによりフィルタリングされた補間用信号を増幅して利得を調整する調整部、
前記取得部により取得された被補間信号と、前記調整部により調整された補間用信号との和を表す出力信号を出力する出力部、
して機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002347893A JP4041385B2 (ja) | 2002-11-29 | 2002-11-29 | 信号補間装置、信号補間方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002347893A JP4041385B2 (ja) | 2002-11-29 | 2002-11-29 | 信号補間装置、信号補間方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004184472A JP2004184472A (ja) | 2004-07-02 |
JP4041385B2 true JP4041385B2 (ja) | 2008-01-30 |
Family
ID=32750951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002347893A Expired - Fee Related JP4041385B2 (ja) | 2002-11-29 | 2002-11-29 | 信号補間装置、信号補間方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4041385B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE429698T1 (de) * | 2004-09-17 | 2009-05-15 | Harman Becker Automotive Sys | Bandbreitenerweiterung von bandbegrenzten tonsignalen |
JP2007155843A (ja) * | 2005-11-30 | 2007-06-21 | Kenwood Corp | 信号補間装置 |
JP4766559B2 (ja) * | 2006-06-09 | 2011-09-07 | Kddi株式会社 | 音楽信号の帯域拡張方式 |
JP4972742B2 (ja) * | 2006-10-17 | 2012-07-11 | 国立大学法人九州工業大学 | 高域信号補間方法及び高域信号補間装置 |
US8295507B2 (en) | 2006-11-09 | 2012-10-23 | Sony Corporation | Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium |
US8301281B2 (en) | 2006-12-25 | 2012-10-30 | Kyushu Institute Of Technology | High-frequency signal interpolation apparatus and high-frequency signal interpolation method |
JP4872086B2 (ja) * | 2007-03-30 | 2012-02-08 | 国立大学法人九州工業大学 | 高域信号補間装置 |
JP4992621B2 (ja) * | 2007-09-13 | 2012-08-08 | 株式会社Jvcケンウッド | オーディオ再生装置、方法及びプログラム |
JP5565405B2 (ja) | 2011-12-21 | 2014-08-06 | ヤマハ株式会社 | 音響処理装置および音響処理方法 |
JP6693551B1 (ja) | 2018-11-30 | 2020-05-13 | 株式会社ソシオネクスト | 信号処理装置および信号処理方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3436614B2 (ja) * | 1995-08-07 | 2003-08-11 | フクダ電子株式会社 | 音声信号変換装置および超音波診断装置 |
JPH0955778A (ja) * | 1995-08-15 | 1997-02-25 | Fujitsu Ltd | 音声信号の広帯域化装置 |
SE512719C2 (sv) * | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
JP2000305599A (ja) * | 1999-04-22 | 2000-11-02 | Sony Corp | 音声合成装置及び方法、電話装置並びにプログラム提供媒体 |
JP3810257B2 (ja) * | 2000-06-30 | 2006-08-16 | 松下電器産業株式会社 | 音声帯域拡張装置及び音声帯域拡張方法 |
JP2002215195A (ja) * | 2000-11-06 | 2002-07-31 | Matsushita Electric Ind Co Ltd | 音楽信号処理装置 |
-
2002
- 2002-11-29 JP JP2002347893A patent/JP4041385B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004184472A (ja) | 2004-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2209116B1 (en) | Device and method for high-frequency range interpolation of an audio signal | |
JP4041385B2 (ja) | 信号補間装置、信号補間方法及びプログラム | |
JP2005501278A (ja) | 音声信号の帯域幅拡張 | |
JP3605363B2 (ja) | 音響効果装置、その方法及びプログラム記録媒体 | |
KR20060004695A (ko) | 오디오 신호의 대역을 확장하기 위한 방법 및 장치 | |
JP2581047B2 (ja) | 楽音信号発生方法 | |
JPH06177688A (ja) | オーディオ信号処理装置 | |
Giampiccolo et al. | A time-domain virtual bass enhancement circuital model for real-time music applications | |
JP2000510255A (ja) | 長さ変調デジタル遅延線を使って音を合成するシステムと方法 | |
EP1675258A1 (en) | Three-channel state-variable compressor circuit | |
JP2003233377A (ja) | 楽音生成装置および楽音生成方法 | |
US20210319800A1 (en) | Frequency band expansion device, frequency band expansion method, and storage medium storing frequency band expansion program | |
JP5034228B2 (ja) | 補間装置、音再生装置、補間方法および補間プログラム | |
US6763246B2 (en) | Portable cordless telephone having an improved ringing device | |
JP4516805B2 (ja) | オーディオ装置 | |
JP2007166315A (ja) | 信号処理装置及び信号処理方法 | |
JP4715385B2 (ja) | 補間装置、オーディオ再生装置、補間方法および補間プログラム | |
JP4736756B2 (ja) | 信号補間装置及び信号補間方法 | |
JP2003122361A (ja) | 効果付与装置 | |
JP3873282B2 (ja) | 音色制御フィルタ | |
JP5092902B2 (ja) | Firフィルタ係数算出装置、firフィルタ装置、および、firフィルタ係数算出プログラム | |
JP2001337680A (ja) | 波形信号生成方法、波形信号生成装置および記録媒体 | |
JP2002006853A (ja) | 共鳴装置 | |
JPH082119B2 (ja) | 音響再生装置 | |
JPH08234790A (ja) | 音程変換装置及びこれを用いた音響装置並びに音程変換方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071109 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4041385 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131116 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |