JP4766559B2

JP4766559B2 - 音楽信号の帯域拡張方式

Info

Publication number: JP4766559B2
Application number: JP2006161071A
Authority: JP
Inventors: 郷志上村
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2006-06-09
Filing date: 2006-06-09
Publication date: 2011-09-07
Anticipated expiration: 2026-06-09
Also published as: JP2007328268A

Description

本発明は音楽信号の帯域拡張方式に関し、特に、品質が劣化した音楽信号と音響的に類似したカテゴリに属する音楽信号から帯域を拡張するために必要なパラメータを獲得し、原信号に近い音楽信号を復元する音楽信号の帯域拡張方式に関する。

近年、パーソナルコンピュータあるいは携帯端末を利用して、ネットワークを介して接続されたサーバにアクセスし音楽信号を取得する機会が多くなっている。しかしながら、サーバから携帯端末へネットワークを介して音楽信号を配信する際には、ネットワーク負荷の軽減およびハードディスク装置あるいはフラッシュメモリ等記録媒体の効率利用を優先させるために、原信号に対して情報の間引き、帯域制限などの加工を施し、データを圧縮した状態で配信することが一般的である。現在、ＭＰ３（ＭＰＥＧ１ Audio Layer III)あるいはＡＡＣ（Advanced Audio Coding）等、人間の聴覚特性を利用して高い情報圧縮を実現する方式が広く用いられている。

上述のように、ネットワークを介して配信される音楽信号は、原信号に対して加工が施されているため、本来原信号が有していた高周波成分が欠落し、明瞭性、音の広がり等の点において品質が劣化している。例えば、図７に示すように、原音楽信号Ｂが周波数ｆ２（２０ｋＨｚ程度）までの信号であるとすると、ネットワークを介して配信される音楽信号Ｃは高周波成分ｆ１〜ｆ２（ただし、ｆ１＜ｆ２）が欠落した信号Ｃとなっている。このように、品質が劣化した信号から原信号に近い信号を復元するための技術として、特許文献１，２などがある。

特許文献１では、まず、品質が劣化した信号から生成した変調波に対して、高域通過フィルタを適用し高周波成分のみを含んだスペクトルを生成する。次に、適当にゲインを調整した後、上記劣化信号に加算することで音質を向上させようとするものである。

特許文献２では、まず、特定の周波数帯域が抑制されて品質が劣化した信号Ｐに対して、帯域通過フィルタを適用し複数の周波数帯域に分割する。次に、抑圧された帯域Ｑに隣接する帯域の帯域成分信号から変調波を生成した後、低域通過フィルタを適用し帯域Ｑの帯域成分信号を擬似的に復元する。その際、信号Ｐのスペクトルパターンと予め登録しておいた複数のスペクトルパターンとを比較照合した結果に基づいてゲイン調整を行うことにより、聴感的に良好な音楽信号を生成しようとするものである。
特開２００４−１８４４７２号公報国際公開ＷＯ０３／０１９５３３号

しかしながら、上述したいずれの方法であっても、品質が劣化した音楽信号自身から変調波を生成し、ゲイン調整等の加工を施すことによって、失われた情報を擬似的に復元し音質を向上させようとするものであって、必ずしも原信号に近い音質を持った信号を復元することはできなかった。

本発明は、上記した従来技術の課題に鑑みてなされたものであり、その目的は、対象とする音楽信号と音響的特徴が類似している楽曲カテゴリを特定し、前記楽曲カテゴリに分類される音楽信号の情報を利用して帯域拡張に必要なパラメータを算出し、原信号に近い信号を復元する音楽信号の帯域拡張方式を提供することにある。

前記した目的を達成するために、本発明は、原信号に対して品質が劣化した状態で記録された音楽信号の帯域拡張方式において、前記音楽信号から特徴ベクトルと振幅スペクトルと位相とを、少なくとも算出する音響分析手段と、各楽曲カテゴリに対する代表的な特徴ベクトルと、前記楽曲カテゴリ毎に、劣化した音楽信号の特徴ベクトルから原信号の特徴ベクトルへの変換関数を備えたデータベース部と、前記音響分析手段で算出された特徴ベクトルと、前記データベース部の前記各楽曲カテゴリに対する代表的な特徴ベクトルとを照合して、前記音楽信号の楽曲カテゴリを特定する楽曲カテゴリ特定手段と、前記音楽信号の特徴ベクトルと、前記特定された楽曲カテゴリに関する前記データベース部の変換関数とを用いて、前記音楽信号の帯域を拡張するための帯域拡張パラメータを生成する拡張パラメータ生成手段と、前記帯域拡張パラメータから高域スペクトルを生成する高域スペクトル生成手段とを具備し、前記音響分析手段で算出された振幅スペクトルに前記高域スペクトルを加えて原信号に近い音楽信号を復元する点に第１の特徴がある。

また、本発明は、前記拡張パラメータ生成手段は、前記データベース部から前記楽曲カテゴリ特定手段によって特定された楽曲カテゴリに関する変換関数を受け取り、前記音楽信号の特徴ベクトルを用いて最大事後確率推定を行い、帯域拡張に必要なパラメータを算出する点に第２の特徴がある。

さらに、本発明は、前記音響分析手段、高域スペクトル生成手段、楽曲カテゴリ特定手段、データベース部、及び拡張パラメータ生成手段を、パーソナルコンピュータや携帯端末などの端末に配置した点、あるいは前記音響分析手段および高域スペクトル生成手段は、パーソナルコンピュータや携帯端末などの端末側に配置し、前記楽曲カテゴリ特定手段、データベース部、及び拡張パラメータ生成手段を、前記端末にネットワークを介して接続されたサーバに配置した点に第３の特徴がある。

本発明によれば、劣化した信号と音響的特徴が類似した他の音楽信号の情報を利用して、帯域拡張に必要なパラメータを獲得し原信号に近い信号を精度良く復元できる。

また、ネットワークを介して配信される音楽信号は、原信号に対して加工が施されているため、本来原信号が有していた高周波成分が欠落し、明瞭性、音の広がり等の点において品質が劣化しているが、パーソナルコンピュータや携帯端末などの端末が該劣化した音楽信号を受信しても、原音楽信号に近い品質に復元して聴くことができるようになる。

以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の概略の構成を示すブロック図である。

図１の分析窓１には、パーソナルコンピュータ、携帯端末等の端末に搭載されたハードディスク装置あるいはフラッシュメモリ上に記録された音楽信号Ａが入力され、該分析窓（窓関数）１は、該音楽信号Ａに対して１０ミリ秒から２０ミリ秒程度の短時間の音楽信号を切り出す。この場合、図２、図３に示すように、切り出し間隔を一部重複させ、時間軸方向に一定時間Δｔミリ秒ずつずらせながら切り出すのが好適である。本発明に用いる分析窓１は、音声・音響分野において広く用いられているハミング窓あるいはハニング窓を想定しているが、その他の分析窓を用いてもよい。

分析窓１で切り出された短時間の音楽信号は音響分析部２に送られ、少量の特徴ベクトルｘ_ｉが算出される。ここで、ｘ_ｉは第ｉフレームに関する特徴ベクトルを表しており、該フレーム内の信号のパワーに、スペクトル情報を表す１２次程度のメルケプストラム係数あるいはＭＦＣＣ（Mel-frequency cepstral coefficients)ベクトルを結合したものである（図３参照）。音響分析部２は、分析窓１を通して、次々と入力してくる前記切り出された短時間の音楽信号から特徴ベクトル｛ｘ_ｉ：ｉ＝１，２，３，・・・｝を次々と算出し、楽曲カテゴリ特定部３およびパラメータ生成部４に送信する。

前記特徴ベクトルｘ_ｉを前記楽曲カテゴリ特定部３およびパラメータ生成部４へ送信する際には、前記した特徴ベクトルの送信に代え、図４に示すような、予め特徴ベクトルの代表的なパターン（１１）ｘ_ｌ，ｘ_ｍ，ｘ_ｎ，・・・と、それらに対応する符号（１２）を示したコードブック１０を音響分析部２、楽曲カテゴリ特定部３、パラメータ生成部４内に予め用意しておき、該コードブック１０を利用して特徴ベクトルをベクトル量子化し、コードブックベクトルの符号、例えば「３」を前記楽曲カテゴリ特定部３およびパラメータ生成部４へ送信するようにしてもよい。

前記楽曲カテゴリ特定部３は、データベース部５に接続されている。該データベース部５に格納されるデータについて、以下に説明する。複数の楽曲カテゴリ毎に分類された多数の音楽信号に対して、図５に示すように、劣化信号Ｂおよびその原信号Ｃのペアを、それぞれ分析窓１１ａ、１１ｂに入力し、次いで音響分析部１２ａ、１２ｂで特徴ベクトルｘ，ｙを算出する。ここに、分析窓１１ａ、１１ｂ、音響分析部１２ａ、１２ｂは、前記分析窓１、音響分析部２と同じまたは同等物である。次いで、モデル学習部１４にて、特徴ベクトルｘからｙへの変換関数を、混合正規分布モデル（ＧＭＭ：Gaussian mixture model)あるいは隠れマルコフモデル（ＨＭＭ：Hidden Marcov Model）等の統計モデルを用いて学習する。学習された変換関数Ｆは、データベース部５に格納される。ここで、劣化信号Ｂから算出する特徴ベクトルｘは、端末から送信されてくる音楽信号Ａの特徴ベクトルと同様に、分析窓内の信号のパワーに１２次程度のメルケプストラム係数あるいはＭＦＣＣベクトルを結合したものである。一方、原信号Ｃから算出する特徴ベクトルｙは、分析窓内の信号のパワーにスペクトル情報を表すメルケプストラム係数あるいはＭＦＣＣベクトルを結合したものである。

上述の混合正規分布モデル（ＧＭＭ）を用いた変換関数Ｆの算出手順について、以下に説明する。

混合正規分布モデルでは、劣化信号Ｂおよび原信号Ｃから算出した特徴ベクトルｘ、ｙを用いて結合ベクトルｚ＝［ｘ^Ｔ，ｙ^Ｔ］^Ｔを構成し、その結合確率密度ｐ（ｚ）を次式に示すように、Ｍ個のｐ次正規分布Ｎ（ｚ；μ_ｉ，Σ_ｉ）の線形結合によりモデル化する。

ただし、上記の式(1)、(2)、(3)において、α_ｉは混合重み、μ_ｉ ^ｘ、μ_ｉ ^ｙ、μ_ｉは、それぞれベクトルｘ，ｙ，ｚの平均ベクトル、Σ_ｉ ^ｘｘ、Σ_ｉ ^ｘｙ、Σ_ｉ ^ｙｘ、Σ_ｉ ^ｙｙ、Σ_ｉはベクトルｘ，ｙ，ｚに関する分散共分散行列を表す。

この時、入力特徴量ｘ^＊から変換特徴量ｙ^＊を求めるための変換関数Ｆは、次の式(4)、(5)のように表すことができる。

したがって、楽曲カテゴリ毎に、学習データを用いて最適化処理を行い、上記混合正規分布におけるモデルパラメータα_ｉ、μ_ｉ、Σ_ｉを求めておくことで、信号の高周波成分を生成する変換関数Ｆを算出することができる。なお、楽曲カテゴリとしては、ロック、ポップスなどの汎用的な音楽ジャンルに限らず、リズム、テンポ、曲調などが類似した音楽信号を集めたものであってもよい。図６は、前記データベース部５に格納されているデータの概念図である。図６から分かるように、楽曲カテゴリ（例えば、ロック、ポップス、クラシック、・・・）毎に、それぞれに代表的な特徴ベクトルｘ_ｌ、ｘ_ｍ、ｘ_ｎ、・・・、変換関数Ｆ_ｌ（モデルパラメータα_ｌ、μ_ｌ、Σ_ｌを含む）、Ｆ_ｍ、Ｆ_ｎ、・・・が格納されている。

なお、図４に示したコードブック１０を使用して楽曲カテゴリを特定した場合には、前記データベース部５は、ＧＭＭあるいはＨＭＭ等の統計モデルにより劣化信号Ｂの特徴ベクトルから原信号Ｃの特徴ベクトルへの変換関数Ｆを算出し保持しておくのに代えて、劣化信号Ｂのコードブックを原信号Ｃのコードブックに変換するデータまたは式を保持するようにする。

再度、図１に戻って、説明を続ける。前記楽曲カテゴリ特定部３では、音響分析部２から送信された特徴ベクトル｛ｘ_ｉ：ｉ＝１，２，３，・・・｝をデータベース部５内の特徴ベクトルｘ_ｌ、ｘ_ｍ、ｘ_ｎ、・・・と照合して、音楽信号Ａの楽曲カテゴリを特定する。楽曲カテゴリの特定方法としては、データベース部５に格納されている前記代表的な特徴ベクトルｘ_ｌ、ｘ_ｍ、ｘ_ｎ、・・・のパターンと、前記音響分析部２から送信された特徴ベクトルｘ_ｉとの距離を算出し、この距離が最小となる代表パターンを有するカテゴリを、前記音楽信号Ａのカテゴリとして選択する方法などが考えられる。

楽曲カテゴリ特定部３は、前記のようにして、音楽信号Ａがどのカテゴリに属するかを特定すると、該カテゴリに関する情報をデータベース部５に送る。データベース部５は、この情報に基づいて、特定されたカテゴリに対応する変換関数Ｆ_ｉを読み出し、パラメータ生成部４に送る。

パラメータ生成部４では、前記特定されたカテゴリに対応する変換関数Ｆ_ｉをデータベース部５から受け取り、さらに音響分析部２からの特徴ベクトルｘ_ｉを用いて、下記の(6)、(7)式に示すように、最大事後確率推定を行い、特徴ベクトルｘ_ｉに付加すべき帯域拡張パラメータｙ_ｉを算出する。

前記データベース部５内に音楽信号のコードブックを原信号のコードブックに変換するデータまたは式を保持していた場合には、パラメータ生成部４は、該音楽信号のコードブックを原信号のコードブックに変換するデータまたは式に基づいて、帯域拡張に必要なパラメータを算出する。

高域スペクトル生成部６は、該帯域拡張パラメータｙ_ｉを用いて、高周波成分を含んだ振幅スペクトルを生成する。すなわち、図７の高周波成分ｆ１〜ｆ２の振幅スペクトルを生成する。次いで、音響分析部２にて音楽信号Ａから算出された振幅スペクトルｙ_ｉ’に、前記高周波成分を含んだ振幅スペクトルを、加算部７にて加える。この振幅スペクトルｙ_ｉ’は図７の前記高周波成分ｆ１〜ｆ２が劣化した信号である。次に、該振幅スペクトル（ｙ_ｉ＋ｙ_ｉ’）に位相情報Ｐを組み合わせ、逆フーリエ変換部８にて、これに逆フーリエ変換を施すことで、原信号に近い信号Ａ’を復元する。

以上のようにして、本実施形態によれば、高周波成分が欠落した音楽信号Ａが入力してきても、該高周波成分を補完することができるので、原信号に近い信号Ａ’に復元して提供することができる。

本発明をシステム化するにあたっては、前記分析窓１，音響分析部２，カテゴリ特定部３，パラメータ生成部４，データベース部５，高域スペクトル生成部６，加算部７，および逆フーリエ変換部８の全てを、パーソナルコンピュータ、携帯端末などの端末側に設けても良いし、あるいは前記カテゴリ特定部３，パラメータ生成部４，およびデータベース部５は、前記端末とネットワークを介して接続されたサーバ内に設けてもよい。後者の場合には、音響分析部２で算出された特徴ベクトルｘ_ｉはネットワークを介してサーバ内のカテゴリ特定部３およびパラメータ生成部４に、一方パラメータ生成部４で生成された帯域拡張パラメータｙ_ｉはネットワークを介して端末内の高域スペクトル生成部６に送信する必要がある。

また、上記に限らず、前記カテゴリ特定部３，パラメータ生成部４，およびデータベース部５のうちのいずれか一つまたは二つを前記サーバ内に配置し、他のものは端末側に配置するようにしてもよい。

本発明の音楽信号の帯域拡張方式の一実施形態の概略の構成を示すブロック図である。分析窓で切り出される音楽信号の説明図である。音楽信号の特徴ベクトルの説明図である。コードブックを用いたカテゴリ特定の説明図である。データベース部に蓄積される変換関数の作成方法を示すブロック図である。データベース部に蓄積されているデータの概念図である。音楽信号の周波数スペクトルパターンと、劣化した音楽信号の周波数スペクトルパターンの説明図である。

符号の説明

１・・・分析窓、２・・・音響分析部、３・・・楽曲カテゴリ特定部、４・・・パラメータ生成部、５・・・データベース部、６・・・高域スペクトル生成部、８・・・逆フーリエ変換部、１０・・・コードブック。

Claims

原信号に対して品質が劣化した状態で記録された音楽信号の帯域拡張方式において、
前記音楽信号から特徴ベクトルと振幅スペクトルと位相とを、少なくとも算出する音響分析手段と、
各楽曲カテゴリに対する代表的な特徴ベクトルと、前記楽曲カテゴリ毎に、劣化した音楽信号の特徴ベクトルから原信号の特徴ベクトルへの変換関数を備えたデータベース部と、
前記音響分析手段で算出された特徴ベクトルと、前記データベース部の前記各楽曲カテゴリに対する代表的な特徴ベクトルとを照合して、前記音楽信号の楽曲カテゴリを特定する楽曲カテゴリ特定手段と、
前記音楽信号の特徴ベクトルと、前記特定された楽曲カテゴリに関する前記データベース部の変換関数とを用いて、前記音楽信号の帯域を拡張するための帯域拡張パラメータを生成する拡張パラメータ生成手段と、
前記帯域拡張パラメータから高域スペクトルを生成する高域スペクトル生成手段とを具備し、
前記音響分析手段で算出された振幅スペクトルに前記高域スペクトルを加えて原信号に近い音楽信号を復元することを特徴とする音楽信号の帯域拡張方式。
請求項１に記載の音楽信号の帯域拡張方式において、
前記音響分析手段は、予め、特徴ベクトルの代表的なパターンと対応する符号を示したコードブックを用意しておき、該コードブックを利用して特徴ベクトルをベクトル量子化し、コードブックベクトルの符号を前記楽曲カテゴリ特定手段および前記拡張パラメータ生成手段に送るようにしたことを特徴とする音楽信号の帯域拡張方式。
請求項１に記載の音楽信号の帯域拡張方式において、
前記データベース部は、予め、品質が劣化した音楽信号の特徴ベクトルを帯域拡張するのに必要な変換関数を統計モデルにより学習し、該学習により得られた変換関数を楽曲カテゴリ別に蓄積していることを特徴とする音楽信号の帯域拡張方式。
請求項１に記載の音楽信号の帯域拡張方式において、
前記拡張パラメータ生成手段は、前記データベース部から前記楽曲カテゴリ特定手段によって特定された楽曲カテゴリに関する変換関数を受け取り、前記音楽信号の特徴ベクトルを用いて最大事後確率推定を行い、帯域拡張に必要なパラメータを算出することを特徴とする音楽信号の帯域拡張方式。
請求項１ないし４のいずれかに記載の音楽信号の帯域拡張方式において、
前記音響分析手段および高域スペクトル生成手段は、パーソナルコンピュータや携帯端末などの端末側に配置し、
前記楽曲カテゴリ特定手段、データベース部、及び拡張パラメータ生成手段を、前記端末にネットワークを介して接続されたサーバに配置したことを特徴とする音楽信号の帯域拡張方式。
請求項１ないし４のいずれかに記載の音楽信号の帯域拡張方式において、
前記音響分析手段、高域スペクトル生成手段、楽曲カテゴリ特定手段、データベース部、及び拡張パラメータ生成手段を、パーソナルコンピュータや携帯端末などの端末に配置したことを特徴とする音楽信号の帯域拡張方式。