JP6451143B2 - 音声帯域拡張装置及びプログラム、並びに、音声特徴量抽出装置及びプログラム - Google Patents

Description

本発明は音声帯域拡張装置及びプログラム、並びに、音声特徴量抽出装置及びプログラムに関し、例えば、電話機器（ソフトフォン等を含む）に適用し得るものである。なお、「音声帯域拡張装置及びプログラム、並びに、音声特徴量抽出装置及びプログラム」とネーミングしているが、本発明が取扱う信号は、音声信号に限定されず、音楽信号等の他の音信号であっても良い。

従来の音声帯域拡張装置として、特許文献１に開示されているものがある。図８は、特許文献１に記載の音声帯域拡張装置を示すブロック図である（特許文献１の図１参照）。

特許文献１に開示されている音声帯域拡張装置７００は、ＭｏｄＧＩ算出手段７０１、拡張ゲイン算出手段７０２、サンプリング変換手段７０３、バンドパスフィルタ（ＢＰＦ）手段７０４、全波整流処理手段７０５、ハイパスフィルタ（ＨＰＦ）手段７０６、ゲイン乗算手段７０７及び拡張信号加算手段７０８を有する。

次に、特許文献１に開示の音声帯域拡張装置７００の動作を簡単に説明する。

ＭｏｄＧＩ算出手段７０１及びサンプリング変換手段７０３には、入力信号が与えられる。入力信号は、低いサンプリング周波数でサンプリングされた音声である。低いサンプリング周波数とは、例えば、音声信号であれば８ｋＨｚ、音楽信号であれば４８ｋＨｚなどである。ＭｏｄＧＩ算出手段７０１は、周波数特性に関する特徴量の一つであるＭｏｄＧＩを入力信号から算出する。ここで、ＭｏｄＧＩは、入力信号の２階差分の振幅又はパワーを、入力信号の振幅又はパワーで除した特徴量である。拡張ゲイン算出手段７０２は、例えば、ＭｏｄＧＩを定数倍する方法などにより、ＭｏｄＧＩに基づいて拡張ゲインを算出する。サンプリング変換手段７０３は、入力信号のサンプリング周波数を高いサンプリング周波数に変換する。ＢＰＦ手段７０４により、高いサンプリング周波数の入力信号から２ｋＨｚ〜４ｋＨｚの帯域を抽出し、その抽出出力を全波整流処理手段７０５で全波整流した後、ＨＰＦ手段７０６で４ｋＨｚ以上の成分を抽出することにより、拡張帯域（４ｋＨｚ〜８ｋＨｚ）に成分を有する拡張信号を得る。ゲイン乗算手段７０７は、拡張信号に拡張ゲインを乗じて、調整拡張信号を生成し、拡張信号加算手段７０８は、高いサンプリング周波数の入力信号と調整拡張信号とを加算して、広帯域化信号を生成する。

特許文献１によれば、拡張帯域の振幅と相関のあるＭｏｄＧＩを拡張ゲインの算出に用いることで、広帯域化信号の無声部が聴き取り易くなり、明瞭度を向上させることができるとしている。

特開２０１４−１０６３３７号公報

しかしながら、特許文献１の記載技術では、通信のための帯域制限やノイズキャンセラ等の前処理によって入力信号が変形している場合が考慮されていない。ここで、前処理とは、当該音声帯域拡張装置を搭載している音声通信装置における処理に限定されず、当該音声帯域拡張装置を搭載している音声通信装置へ音声信号を送信する音声通信装置における処理が該当する場合もある。

例えば、当該音声帯域拡張装置への入力信号が帯域制限を受けている場合がある。この場合は、送信前に帯域制限フィルタがかけられ、さらにボコーダを介して音声を受信するため、帯域制限フィルタとボコーダによって当該音声帯域拡張装置への入力信号の周波数特性が、送信しようとしている原信号の周波数特性から変化している可能性が高い。また例えば、前処理として、ノイズキャンセラが適用されている場合がある。ノイズキャンセラは、低い周波数の雑音をより正確に除去できるため、周波数の低い成分が抑圧され易い。このように入力信号が変形していると、算出される拡張ゲインが不適切な値となり、結果として広帯域化音声の音質劣化が引き起こされる。

そのため、入力信号に前処理が施されていても、高音質の広帯域化音声が得られる音声帯域拡張装置及びプログラムが望まれている。また、入力信号に前処理が施されていても、前処理の影響を除外した音声特徴量を得ることができる音声特徴量抽出装置及びプログラムが望まれている。

以上の課題を解決するために、第１の本発明は、入力信号の成分が存在しない周波数帯域に信号成分を追加して周波数帯域を拡張する音声帯域拡張装置において、（１）上記入力信号から周波数特性に関する１つ以上の特徴量を抽出する特徴量抽出手段と、（２）抽出された上記特徴量と予め定められた目標特徴量とに基づいて補正情報を形成する補正情報算出手段と、（３）上記補正情報に基づいて、上記入力信号の周波数特性を補正した補正信号を生成する入力信号補正手段と、（４）上記補正信号から周波数特性に関する１つ以上の補正特徴量を抽出する補正特徴量抽出手段と、（５）上記補正特徴量に基づいて上記入力信号の帯域を拡張して広帯域化信号を生成する広帯域化手段とを備えることを特徴とする。

第２の本発明の音声帯域拡張プログラムは、入力信号に成分が存在しない周波数帯域に信号成分を追加して周波数帯域を拡張する音声帯域拡張プログラムであって、コンピュータを、（１）上記入力信号から周波数特性に関する１つ以上の特徴量を抽出する特徴量抽出手段と、（２）抽出された上記特徴量と予め定められた目標特徴量とに基づいて補正情報を形成する補正情報算出手段と、（３）上記補正情報に基づいて、上記入力信号の周波数特性を補正した補正信号を生成する入力信号補正手段と、（４）上記補正信号から周波数特性に関する１つ以上の補正特徴量を抽出する補正特徴量抽出手段と、（５）上記補正特徴量に基づいて上記入力信号の帯域を拡張して広帯域化信号を生成する広帯域化手段として機能させることを特徴とする。

第３の本発明は、入力信号の周波数特性に関する１つ以上の特徴量を抽出する音声特徴量抽出装置において、（１）上記入力信号から周波数特性に関する１つ以上の特徴量を抽出する特徴量抽出手段と、（２）抽出された上記特徴量と予め定められた目標特徴量とに基づいて補正情報を形成する補正情報算出手段と、（３）上記補正情報に基づいて、上記入力信号の周波数特性を補正した補正信号を生成する入力信号補正手段と、（４）上記補正信号から周波数特性に関する１つ以上の補正特徴量を抽出する補正特徴量抽出手段とを備えることを特徴とする。

第４の本発明の音声特徴量抽出プログラムは、入力信号の周波数特性に関する１つ以上の特徴量を抽出する音声特徴量抽出プログラムであって、コンピュータを、（１）上記入力信号から周波数特性に関する１つ以上の特徴量を抽出する特徴量抽出手段と、（２）抽出された上記特徴量と予め定められた目標特徴量とに基づいて補正情報を形成する補正情報算出手段と、（３）上記補正情報に基づいて、上記入力信号の周波数特性を補正した補正信号を生成する入力信号補正手段と、（４）上記補正信号から周波数特性に関する１つ以上の補正特徴量を抽出する補正特徴量抽出手段として機能させることを特徴とする。

第１及び第２の本発明によれば、入力信号に前処理が施されていても、高音質の広帯域化音声が得られる。また、第３及び第４の本発明によれば、入力信号に前処理が施されていても、前処理の影響を除外した音声特徴量を得ることができる。

第１の実施形態に係る音声帯域拡張装置の構成を示す機能ブロック図である。 第１の実施形態の音声帯域拡張装置における入力信号補正手段の具体的構成を示すブロック図である。 第１の実施形態の音声帯域拡張装置における広帯域化手段の詳細構成例を示すブロック図である。 第２の実施形態の音声帯域拡張装置における入力信号補正手段の具体的構成を示すブロック図である。 第３の実施形態に係る音声帯域拡張装置の構成を示す機能ブロック図である。 第４の実施形態に係る音声帯域拡張装置の構成を示す機能ブロック図である。 第４の実施形態に係る音声帯域拡張装置における、音声区間での補正情報の修正方法の説明図である。 従来の音声帯域拡張装置の構成を示す機能ブロック図である。

（Ａ）各実施形態に共通する前提
後述する全ての実施形態において、拡張する対象を人間の音声であるとし、入力信号における帯域である入力帯域は０Ｈｚ〜４ｋＨｚ（又は３００Ｈｚ〜３．４ｋＨｚ）の帯域を有することを前提とする。しかし、本発明は、これに限定されず、例えば０Ｈｚ〜２４ｋＨｚの帯域を有する音楽信号を帯域拡張対象とする場合こともでき、周波数に関する数値を音楽信号用に設定し直すことで、本発明を適用することができる。

（Ｂ）第１の実施形態
以下、本発明による音声帯域拡張装置及びプログラム、並びに、音声特徴量抽出装置及びプログラムの第１の実施形態を、図面を参照しながら説明する。

（Ｂ−１）第１の実施形態の構成
図１は、第１の実施形態に係る音声帯域拡張装置の構成を示す機能ブロック図である。ここで、第１の実施形態の音声帯域拡張装置は、ハードウェアで構成することも可能であり、また、ＣＰＵが実行するソフトウェア（音声帯域拡張プログラム）とＣＰＵとで実現することも可能であるが、いずれの実現方法を採用した場合であっても、機能的には図１で表すことができる。

第１の実施形態の音声帯域拡張装置１００は、図１に示すように、特徴量抽出手段１０１と、補正情報算出手段１０２と、入力信号補正手段１０３と、補正特徴量抽出手段１０４と、広帯域化手段１０５とを有する。

ここで、特徴量抽出手段１０１、補正情報算出手段１０２、入力信号補正手段１０３及び補正特徴量抽出手段１０４でなる部分が、第１の実施形態の音声特徴量抽出装置を構成している。

第１の実施形態の音声帯域拡張装置１００に与えられた入力信号（入力音声）は、特徴量抽出手段１０１及び広帯域化手段１０５に与えられる。

特徴量抽出手段１０１は、入力信号を解析して、入力信号の周波数特性に関する少なくとも１つ以上の特徴量を抽出し、得られた特徴量を補正情報算出手段１０２に与える。特徴量として、例えば、２ｋＨｚ〜４ｋＨｚの帯域の振幅を０Ｈｚ〜２ｋＨｚの帯域の振幅で除した入力帯域振幅比、特許文献１に記載のＭｏｄＧＩ、サブバンドパワー等を適用することができる。

補正情報算出手段１０２は、目標特徴量と、特徴量抽出手段１０１から与えられた特徴量とを比較して、補正情報を算出し、得られた補正情報を入力信号補正手段１０３に与える。

目標特徴量は、特徴量抽出手段１０１で抽出された特徴量の目標となる値であり、予め定められた定数値で与えられる。目標特徴量は、例えば、音声帯域拡張装置１００に与えられた入力信号が前処理の影響を受けないとした場合における、特徴量抽出手段１０１からの特徴量の平均等であり、例えば、前処理が施されていない入力信号を適用したシミュレーション等によって予め決定される。なお、目標特徴量を、ユーザが任意のタイミングで随時指定できるようにしても良い。補正情報は、例えば、補正される周波数と補正量に関する情報で構成されるが、入力信号を補正できる情報であれば、これに限定されるものではない。

以下、補正情報算出手段１０２が補正情報を算出する方法の具体例を、特徴量が、入力帯域振幅比、ＭｏｄＧＩ、サブバンドパワーである場合のそれぞれについて説明する。

まず、特徴量として入力帯域振幅比を用いる場合について説明する。入力信号に施される前処理がノイズキャンセラによる処理である場合、入力帯域振幅比は好適な特徴量であり、以下の説明では、前処理がノイズキャンセラによる処理であるとする。

前処理がノイズキャンセラによる処理の場合、前処理によって低い周波数帯域が高い周波数成分よりも強く抑圧されている可能性が高い。そこで、低い周波数帯域の振幅を増大させる補正量を適用して目標特徴量に近付けるようにすれば良い。今、０Ｈｚ〜２ｋＨｚの帯域の振幅をＡ_low、２ｋＨｚ〜４ｋＨｚの帯域の振幅をＡ_high、補正量をＣ、入力帯域振幅比の目標特徴量をＲ_trg、期待値の演算をＥ｛・｝で書くこととして、（１）式を満たすような補正量Ｃを求めるようにすれば、補正量Ｃを適用して得た後述する補正特徴量を目標特徴量Ｒ_trgに近付けることができる。（１）式は、入力帯域振幅比Ａ_high／Ａ_lowを補正量候補（補正量）Ｃで補正した値の期待値と目標特徴量Ｒ_trgとの差の絶対値が最小となるような補正量候補を補正量とすることを表している。なお、補正量Ｃは、低い周波数帯域の振幅を増大させるものであるので、１以上であるという制約がある。（１）式を満たす補正量Ｃは（２）式で与えられる。そして、後述する補正処理で、０Ｈｚ〜２ｋＨｚの帯域の振幅がＣ倍となるように入力信号を補正すれば良い。なお、実行可能という意味では期待値の算出は必要ないが、期待値でなく瞬時値を用いると、特定の条件下（ここではＣ≧１が満たされている場合）においては補正後の特徴量が常に目標特徴量と等しくなって、入力信号の時間変化に応じた広帯域化処理（後述）が行えなくなるため、期待値に基づいて補正量を算出することが特に好ましい。

次に、特徴量としてＭｏｄＧＩを用いる場合について説明する。入力信号に施される前処理が通信のための帯域制限である場合、ＭｏｄＧＩは好適な特徴量であり、以下の説明では、前処理が帯域制限であるとする。

ＭｏｄＧＩは、おおよそ、全帯域の振幅のうち高域側の振幅が占める割合を表しているから、ＭｏｄＧＩを（３）式に示すように近似することとする。なお、（３）式において、ＭｏｄＧＩをＭ、入力帯域０Ｈｚ〜４ｋＨｚの振幅をＡ_inで表している。ＭｏｄＧＩの目標特徴量をＭ_trgで書くこととして、（４）式を満たすような補正量Ｃを求めるようにすれば、補正量Ｃを適用して得た後述する補正特徴量を目標特徴量Ｍ_trgに近付けることができる。（４）式は、ＭｏｄＧＩ（の近似値）Ｍを補正量候補（補正量）Ｃで補正した値の期待値と目標特徴量Ｍ_trgとの差の絶対値が最小となるような補正量候補を補正量とすることを表している。なお、補正量Ｃは、入力帯域全体に対する制限を元に復帰させるものであるので、１以上であるという制約がある。（４）式を満たす補正量Ｃは（５）式で与えられる。そして、後述する補正処理で、２Ｈｚ〜４ｋＨｚの帯域の振幅がＣ倍となるように入力信号を補正すれば良い。

最後に、特徴量としてサブバンドパワーを用いる場合について説明する。サブバンドパワーは、入力信号を少なくとも２つ以上のサブバンドに帯域分割し、各サブバンドのパワー（又は振幅）を算出した系列であり、以下では、入力帯域のパワーで正規化したサブバンドパワーの場合を説明する。サブバンドパワーを特徴量として用い、かつ、各サブバンドパワーを目標値と比較すれば、前処理によってどの帯域がどの程度変化させられたのかが分かるので、多様な前処理に対応し得る。

入力帯域０Ｈｚ〜４ｋＨｚのパワーをＰ_in、サブバンドの番号をｋ（ｋ＝０〜Ｋ−１）、サブバンドｋのサブバンドパワーをＰ_k、Ｐ_inで正規化されたサブバンドｋのパワーＰ_k／Ｐ_inに対する目標値（目標特徴量）をＱ_k、サブバンドｋの補正量をＣ_kで書くこととして、（６）式を満たすような補正量Ｃ_kを求めるようにすれば、補正量Ｃ_kを適用して得た後述する補正後のサブバンドパワーを目標値Ｑ_kに近付けることができる。（６）式は、Ｐ_inで正規化されたサブバンドｋのパワーＰ_k／Ｐ_inを補正量候補（補正量）Ｃ_kで補正した値の期待値（（６）式では固定値を期待値演算の外に出しているが、意味合いは上述した通りである）と目標値Ｑ_kとの差の絶対値が最小となるような補正量候補を補正量とすることを表している。（６）式を満たす補正量Ｃ_kは（７）式で与えられる。そして、後述する補正処理で、入力信号を、各サブバンドのパワーがＣ_k倍となるように補正すれば良い。

入力信号補正手段１０３は、補正情報算出手段１０２から与えられた補正情報に基づいて入力信号を補正し、得られた補正後の信号を補正特徴量抽出手段１０４に与える。入力信号補正手段１０３は、上述した３つの具体例の説明で言及したように、入力信号を補正すれば良い。

上述したように、特徴量が、入力帯域振幅比、ＭｏｄＧＩ、サブバンドパワーのいずれであっても、入力信号の補正は、その周波数特性の一部又は全てに対するゲインの増減である。そのため、入力信号補正手段１０３を、図２に示すように、周波数特性（Ｆ特）を補正するＦ特補正手段２０１を中心要素として実現することができる。Ｆ特補正手段２０１は、補正情報に基づいて入力信号の周波数特性を補正して補正信号を生成する。Ｆ特補正手段２０１における補正方法として、帯域分割して補正の対象となる帯域の振幅又はパワーを補正して再合成する方法など、既存の周波数特性の補正方法を適用することができる。Ｆ特補正手段２０１として、一部の帯域を増幅又は減衰させるイコライジングフィルタは好適である。

以下では、Ｆ特補正手段２０１としてイコライジングフィルタを適用した場合の補正方法の具体例を、特徴量が、入力帯域振幅比、ＭｏｄＧＩ、サブバンドパワーである場合のそれぞれについて説明する。ノイズキャンセラによる影響を入力帯域振幅比に基づいて補正する場合には、特定の周波数より低い帯域を増幅又は減衰させるローシェルフフィルタ（Ｌｏｗ Ｓｈｅｌｆ Ｆｉｌｔｅｒ）と呼ばれるイコライジングフィルタを用いて低域側を増幅させる。帯域制限による影響をＭｏｄＧＩに基づいて補正する場合には、特定の周波数より高い帯域を増幅又は減衰させるハイシェルフフィルタ（Ｈｉｇｈ Ｓｈｅｌｆ Ｆｉｌｔｅｒ）と呼ばれるイコライジングフィルタを用いて高域側を増幅させる。サブバンドパワーに基づいて補正する場合には、各サブバンドに対応させた（サブバンドの中心周波数でピークに達する周波数特性を有する）ピークフィルタ（Ｐｅａｋ Ｆｉｌｔｅｒ）と呼ばれるイコライジングフィルタをサブバンドの数と同じ数だけ用いてサブバンド毎に増幅又は減衰させる。

補正特徴量抽出手段１０４は、広帯域化に必要となる少なくとも一つ以上の特徴量を補正信号から抽出し、得られた補正特徴量を広帯域化手段１０５に与える。補正特徴量の具体例については後述する。

広帯域化手段１０５は、入力信号の拡張帯域に補正特徴量を反映させた適当な成分を追加して帯域を拡張して広帯域化信号を生成して出力する。拡張帯域に成分を追加する方法として、任意の方法（広帯域化方法）を用いることができる。図３は、広帯域化手段１０５の詳細構成例を示すブロック図であり、この詳細構成例は、拡張帯域に成分を追加するために全波整流を利用している。

図３において、広帯域化手段１０５は、ＢＰＦ手段３０１、全波整流処理手段３０２、ＨＰＦ手段３０３、拡張ゲイン算出手段３０４、ゲイン調整手段３０５及び拡張信号加算手段３０６を有する。ここで、広帯域化手段１０５に与えられた入力信号は、ＢＰＦ手段３０１及び拡張信号加算手段３０６に与えられ、広帯域化手段１０５に与えられた補正特徴量は、拡張ゲイン算出手段３０４に与えられる。

ＢＰＦ手段３０１は、入力信号から、バンドパスフィルタリングによって入力帯域の一部の帯域を濾波し、得られた濾波信号を全波整流処理手段３０２に与える。濾波帯域は限定されるものではないが、例えば、２ｋＨｚ〜４ｋＨｚの帯域が好適である。なお、ＢＰＦ手段３０１を省略し、０Ｈｚ〜４ｋＨｚの帯域を有する入力信号をそのまま全波整流処理手段３０２に与えるようにしても良い。

全波整流処理手段３０２は、与えられた濾波信号に対して全波整流処理を施して、得られた全波整流信号をＨＰＦ手段３０３に与える。全波整流処理によって、拡張帯域にも成分を有する信号が得られる。

ＨＰＦ手段３０３は、与えられた全波整流信号から、ハイパスフィルタリングによって拡張帯域の全部又は一部の成分を濾波し、得られた拡張信号をゲイン調整手段３０５に与える。ハイパスフィルタリングによる濾波帯域は、拡張帯域に含まれる帯域であれば良く限定されるものではないが、４ｋＨｚ〜８ｋＨｚの帯域が好適である。なお、ＨＰＦ手段３０３に代え、４ｋＨｚ〜７ｋＨｚ等の拡張帯域に含まれる帯域を濾波するＢＰＦ手段を適用するようにしても良い。

拡張ゲイン算出手段３０４は、補正特徴量に基づいて拡張ゲインを算出し、ゲイン調整手段３０５に与える。補正特徴量には、補正信号の周波数特性を表す任意の特徴量を用いることができる。補正特徴量は、広帯域化手段１０５で利用される広帯域化処理に適した特徴量であり、一方、上述した特徴量抽出手段１０１が抽出する特徴量は、入力信号における周波数特性の補正に適した特徴量であり、これら２つの特徴量は同一である必要はない（勿論、同一であっても良い）。図３に示す広帯域化手段１０５で利用される補正特徴量としてはＭｏｄＧＩが好適である。補正特徴量としてＭｏｄＧＩを抽出した場合には、特許文献１の記載技術と同様に、ＭｏｄＧＩを定数倍した値を拡張ゲインとする方法が好適である。なお、広帯域化手段１０５で用いられている広帯域化方法によって、好適な補正特徴量は変化する。

ゲイン調整手段３０５は、拡張ゲインに基づいて、拡張信号の振幅を調整し、得られた調整拡張信号を拡張信号加算手段３０６に与える。拡張信号の振幅を調整する方法には、拡張信号に拡張ゲインを乗じる方法が好適である。また、拡張ゲインを入力信号に加算すべき拡張信号の真の振幅であると捉えて拡張信号をそれ自身の振幅で除した後で拡張ゲインを乗じる構成としても良い。

拡張信号加算手段３０６は、入力信号に調整拡張信号を加算して、広帯域化信号を生成する。

（Ｂ−２）第１の実施形態の動作
次に、第１の実施形態の音声帯域拡張装置１００の動作を説明する。

音声帯域拡張装置１００において、入力音声は、特徴量抽出手段１０１及び広帯域化手段１０５に与えられる。

特徴量抽出手段１０１においては、入力信号が解析されて、入力信号の周波数特性に関する特徴量が抽出されて補正情報算出手段１０２に与えられる。補正情報算出手段１０２においては、特徴量抽出手段１０１から与えられた特徴量が目標特徴量と比較され、補正情報が算出されて入力信号補正手段１０３に与えられる。そして、入力信号補正手段１０３において、入力信号が、補正情報算出手段１０２から与えられた補正情報に基づいて補正され、補正後の信号が補正特徴量抽出手段１０４に与えられる。

補正特徴量抽出手段１０４においては、広帯域化に必要となる特徴量（補正特徴量）が、補正後の信号から抽出されて広帯域化手段１０５に与えられる。そして、広帯域化手段１０５において、入力信号の拡張帯域に補正特徴量を反映させた適当な成分が追加され、帯域が拡張された広帯域化信号が生成されて出力される。

広帯域化手段１０５の詳細構成は、図３に示すものに限定されないが、以下、図３に示す詳細構成を有する広帯域化手段１０５における内部動作を説明する。

広帯域化手段１０５に与えられた入力信号は、ＢＰＦ手段３０１及び拡張信号加算手段３０６に与えられ、広帯域化手段１０５に与えられた補正特徴量は、拡張ゲイン算出手段３０４に与えられる。

ＢＰＦ手段３０１において、入力信号から、入力帯域の一部の帯域が濾波され、得られた濾波信号が全波整流処理手段３０２に与えられる。次に、全波整流処理手段３０２において、濾波信号に対して全波整流処理が施され、得られた全波整流信号がＨＰＦ手段３０３に与えられる。その後、ＨＰＦ手段３０３において、全波整流信号から、ハイパスフィルタリングによって拡張帯域の全部又は一部の成分が濾波され、得られた拡張信号がゲイン調整手段３０５に与えられる。

また、拡張ゲイン算出手段３０４において、補正特徴量抽出手段１０４から与えられた補正特徴量に基づいて、拡張ゲインが算出されてゲイン調整手段３０５に与えられる。そして、ゲイン調整手段３０５において、拡張ゲインに基づいて、ＨＰＦ手段３０３から与えられた拡張信号の振幅が調整され、得られた調整拡張信号が拡張信号加算手段３０６に与えられる。

以上のようにして形成された調整拡張信号が、拡張信号加算手段３０６によって、入力信号に加算されて広帯域化信号が生成される。

（Ｂ−３）第１の実施形態の効果
第１の実施形態によれば、前処理によって入力信号の周波数特性が変形させられている場合にも、入力信号を目標特徴量に基づいて補正し、広帯域化に用いる特徴量を補正した信号から抽出するようにしたので、広帯域化処理が前処理の影響を受け難くなり、明瞭性の高い広帯域化信号を生成することができる。

（Ｃ）第２の実施形態
次に、本発明による音声帯域拡張装置及びプログラム、並びに、音声特徴量抽出装置及びプログラムの第２の実施形態を、図面を参照しながら説明する。

第１の実施形態は、入力信号補正手段１０３がフィルタを適用しているＦ特補正手段により入力信号（の周波数特性）を補正するものであった。しかし、ノイズキャンセラや帯域制限によって「完全に」抑圧された帯域は、Ｆ特補正手段（フィルタ）を用いて復元することはできない。

そこで、この第２の実施形態では、入力信号に雑音を加算することによって、入力信号の周波数特性を調整することとした。

第２の実施形態の音声帯域拡張装置も、構成要素は、図１に示した第１の実施形態の音声帯域拡張装置１００と同様である。しかし、入力信号補正手段の詳細構成（具体的な構成）が第１の実施形態のものと異なっている。以下では、第２の実施形態の音声帯域拡張装置及び入力信号補正手段に対してそれぞれ、符号「１００Ａ」、「１０３Ａ」を付与して言及する。

なお、第２の実施形態の音声帯域拡張装置１００Ａにおいて、入力信号補正手段１０３Ａ以外の構成は、第１の実施形態と同様であり、その機能及び動作説明は省略する。

図４は、第２の実施形態の入力信号補正手段１０３Ａの詳細構成を示すブロック図である。第２の実施形態の入力信号補正手段１０３Ａは、補正雑音生成手段４０１及び補正雑音加算手段４０２を有する。

入力信号補正手段１０３Ａに与えられた入力信号は、補正雑音加算手段４０２に与えられ、入力信号補正手段１０３Ａに与えられた補正情報は、補正雑音生成手段４０１に与えられる。

補正雑音生成手段４０１は、与えられた補正情報に基づいて、補正雑音を生成して補正雑音加算手段４０２に与える。

補正雑音加算手段４０２は、入力信号に、生成された補正雑音を加算し、入力信号の周波数特性を補正した補正信号を得て、補正特徴量抽出手段１０４（図１参照）に与える。

ここで、補正雑音生成手段４０１に与えられる補正情報は、補正雑音生成手段４０１が生成する補正雑音の周波数特性を調整するために用いられる。

以下、特徴量が、入力帯域振幅比、ＭｏｄＧＩ又はサブバンドパワーのときに算出された補正情報が与えられた場合における、補正雑音生成手段４０１による補正雑音の生成方法を説明する。

まず、特徴量が入力帯域振幅比である場合、すなわち、ノイズキャンセラによる影響を入力帯域振幅比に基づいて補正する場合の補正雑音の生成方法を説明する。

線形合同法によって、若しくは、線形帰還シフトレジスタを用いて乱数を生成し、生成した乱数をローパスフィルタに通すことにより、入力帯域の低域側に成分を有する低域雑音を生成する。そして、補正情報に基づいて、当該低域雑音の大きさを調整することで補正雑音を生成する。補正情報として、上述した（２）式で得られる補正量Ｃを用いることができる。しかし、第２の実施形態では、生成した補正雑音（低域雑音）を入力信号に乗算ではなく加算するので、低域に補正雑音が加算されたことを表現している（８）式を満たすように設計された（９）式によって算出された補正情報Ｃを補正雑音生成手段４０１が利用することが好ましい。このような補正情報Ｃの生成は、上述した補正情報算出手段１０２が実行する。

次に、特徴量がＭｏｄＧＩである場合、すなわち、帯域制限による影響をＭｏｄＧＩに基づいて補正する場合の補正雑音の生成方法を説明する。

上述したような方法によって乱数を生成し、生成した乱数をバンドパスフィルタに通すことにより、入力帯域の高域側に成分を有する高域雑音を生成する。そして、補正情報に基づいて、当該高域雑音の大きさを調整することで補正雑音を生成する。補正情報として、上述した（５）式で得られる補正量Ｃを用いることができる。しかし、第２の実施形態では、生成した補正雑音（高域雑音）を入力信号に乗算ではなく加算するので、高域の補正雑音を考慮したＭｏｄＧＩの近似値が加算されたことを表現している（１０）式を満たすように設計された（１１）式によって算出された補正情報Ｃを補正雑音生成手段４０１が利用することが好ましい。このような補正情報Ｃの生成は、上述した補正情報算出手段１０２が実行する。

最後に、特徴量がサブバンドパワーである場合、すなわち、サブバンドパワーに基づいて入力信号における前処理の影響を補正する場合の補正雑音の生成方法を説明する。

上述したような方法によって乱数を生成し、生成した乱数を白色雑音として使用し、補正情報に基づいて、当該白色雑音の周波数特性と大きさを調整することで補正雑音を生成する。白色雑音の周波数特性を調整する方法としては、例えば、以下の通りである。補正雑音生成手段４０１では、サブバンドパワーの算出に用いた帯域分割フィルタと同ー又は同等の帯域分割フィルタによって白色雑音を帯域分割し、サブバンド毎に大きさを調整した後、再合成する方法が好適である。補正情報として、上述した（７）式で得られる補正量Ｃ_kを用いることができる。しかし、第２の実施形態では、生成した補正雑音を入力信号に乗算ではなく加算するので、入力信号のサブバンドに同じサブバンドの補正雑音が加算されたことを表現している（１２）式を満たすように設計された（１３）式によって算出されたサブバンド毎の補正情報Ｃ_kを補正雑音生成手段４０１が利用することが好ましい。このようなサブバンド毎の補正情報Ｃ_kの生成は、上述した補正情報算出手段１０２が実行する。

第２の実施形態によれば、前処理によって入力信号の周波数特性が変形させられていて、仮に一部の帯域が完全に抑圧されている場合でも、入力信号を目標特徴量に基づいて補正し、広帯域化に用いる特徴量を補正した信号から抽出するようにしたので、広帯域化処理が前処理の影響を受け難くなり、明瞭性の高い広帯域化信号を生成することができる。

（Ｄ）第３の実施形態
次に、本発明による音声帯域拡張装置及びプログラム、並びに、音声特徴量抽出装置及びプログラムの第３の実施形態を、図面を参照しながら説明する。

第１及び第２の実施形態では、補正情報を常に算出していた。しかし、音声は周波数特性が時間と共に大きく変化するため、予め定められる目標特徴量を適切な値に決定することは難しい。

そこで、この第３の実施形態では、音声が存在しない入力信号の非音声区間で補正量の算出を行うこととした。

図５は、第３の実施形態に係る音声帯域拡張装置の構成を示す機能ブロック図であり、上述した第１の実施形態に係る図１との同一、対応部分には同一、対応符号を付して示している。

第３の実施形態の音声帯域拡張装置１００Ｂは、図５に示すように、特徴量抽出手段１０１と、音声区間検出手段５０６と、補正情報算出手段５０２と、入力信号補正手段１０３と、補正特徴量抽出手段１０４と、広帯域化手段１０５とを有する。

ここで、特徴量抽出手段１０１、音声区間検出手段５０６、補正情報算出手段５０２、入力信号補正手段１０３及び補正特徴量抽出手段１０４でなる部分が、第３の実施形態の音声特徴量抽出装置を構成している。

第３の実施形態は、音声区間検出手段５０６及び補正情報算出手段５０２が第１の実施形態のものと異なっており、以下では、音声区間検出手段５０６及び補正情報算出手段５０２について説明し、特徴量抽出手段１０１、入力信号補正手段１０３、補正特徴量抽出手段１０４及び広帯域化手段１０５の説明は省略する。

音声区間検出手段５０６は、入力信号が音声区間であるか否かを判定して、得られた音声区間判定値を補正情報算出手段５０２に与える。音声区間を検出する方法は限定されない。例えば、参考文献『Ｒ．Ｍａｒｔｉｎ，“Ａｎ Ｅｆｆｉｃｉｅｎｔ Ａｌｇｏｒｉｔｈｍ ｔｏ Ｅｓｔｉｍａｔｅ ｔｈｅ Ｉｎｓｔａｎｔａｎｅｏｕｓ ＳＮＲ ｏｆ Ｓｐｅｅｃｈ Ｓｉｇｎａｌｓ，”Ｐｒｏｃ．ＥＵＲＯＳＰＥＥＣＨ’９３，ｐｐ．１０９３−１０９６，１９９３』に開示されている方法が好適である。なお、音声区間判定値には、入力信号が音声区間ならば真（Ｔｒｕｅ）、入力信号が音声区間でないならば偽（Ｆａｌｓｅ）という値が設定されるとして、以下、説明する。

補正情報算出手段５０２は、与えられた音声区間判定値が偽の場合にのみ、特徴量の値を蓄積し、補正情報を更新し、この補正情報を入力信号補正手段１０３に与える。補正情報算出手段５０２は、音声区間判定値が真の場合には、最後に更新された補正情報を入力信号補正手段１０３に与える。特徴量の値を蓄積するのは、（１）式〜（１３）式において期待値を算出するために過去の特徴量を必要とするためである。第１の実施形態では、音声区間か否かに関わらず常に特徴量を蓄積して期待値の算出に使用していたが、この第３の実施形態では、音声区間でない区間の特徴量のみを蓄積して期待値の算出に使用する。

以上では、上述した第１の実施形態をベースに、この第３の実施形態の技術的特徴を盛り込んだ場合を説明したが、上述した第２の実施形態をベースに、この第３の実施形態の技術的特徴を盛り込むようにしても良い。

第３の実施形態によれば、周波数特性が大きく変化する音声区間の情報を使わずに補正情報を更新するようにしたので、より安定した音質の広帯域化信号を生成することができる。

（Ｅ）第４の実施形態
次に、本発明による音声帯域拡張装置及びプログラム、並びに、音声特徴量抽出装置及びプログラムの第４の実施形態を、図面を参照しながら説明する。

第１〜第３の実施形態では、入力信号の補正は音声区間か否かに関わらず同一の補正方法を用いていた。しかし、非音声区間（音声区間でない区間）のパワーが音声区間のパワーに比べて著しく小さい場合、第１〜第３の実施形態における入力信号補正手段１０３、１０３Ａによる入力信号の補正では、音声区間のパワーが小さ過ぎるために不十分となる場合がある。

そこで、この第４の実施形態では、音声区間では補正情報を修正してから入力信号を補正することで、音声区間でも十分に入力信号を補正できるようにした。

図６は、第４の実施形態に係る音声帯域拡張装置の構成を示す機能ブロック図であり、上述した第３の実施形態に係る図５との同一、対応部分には同一、対応符号を付して示している。

第４の実施形態の音声帯域拡張装置１００Ｃは、図６に示すように、特徴量抽出手段１０１と、音声区間検出手段５０６と、補正情報算出手段５０２と、補正情報修正手段６０６と、入力信号補正手段１０３と、補正特徴量抽出手段１０４と、広帯域化手段１０５と、音声区間検出手段５０６とを有する。

ここで、特徴量抽出手段１０１、音声区間検出手段５０６及び補正情報算出手段５０２、補正情報修正手段６０６、入力信号補正手段１０３及び補正特徴量抽出手段１０４でなる部分が、第４の実施形態の音声特徴量抽出装置を構成している。

第４の実施形態は、補正情報修正手段６０６が第３の実施形態のものと異なっており、以下では、補正情報修正手段６０６について説明し、他の構成要素の説明は省略する。

補正情報修正手段６０６は、補正情報と音声区間判定値に基づいて、補正情報を修正し、得られた修正補正信号を入力信号補正手段１０３に与える。補正情報の修正は、音声区間判定値が真の場合にのみ行われる。すなわち、補正情報修正手段６０６は、音声区間判定値が真のときには補正情報を修正して修正補正情報とし、音声区間判定値が偽のときには補正情報を修正せずにそのまま修正補正情報とする。

音声区間における補正情報の修正は、入力帯域の振幅が大きい場合には補正量が大きくなるようにし、入力帯域の振幅が小さい場合には修正しないという処理であれば良く、このような要求を満たす任意の方法を適用することができる。以下、好適と考えられる方法の一例を説明する。

補正情報修正手段６０６は、入力帯域の振幅の長期平均値を算出しておいて、現在の入力帯域の振幅を当該長期平均値で除することで正規化振幅を算出する。そして、正規化振幅をＡ、正規化振幅に対する２つの閾値をＡ₁とＡ₂（但し、Ａ₁＜Ａ₂）、修正重み係数をＷとして、補正量修正係数Ｂを（１４）式で算出し、補正量算出手段５０２で算出された補正量Ｃ又はＣ_kに補正量修正係数Ｂを乗じたものを修正補正量とする。図７は、（１４）式の変換式をグラフ状に示した説明図である。なお、閾値Ａ₁、Ａ₂や修正重み係数Ｗは、シュミレーション等によって最適値を定めれば良い。また、サブバンドパワーを特徴量とする場合のように補正量が２つ以上ある場合には、閾値Ａ₁、Ａ₂、修正重み係数Ｗを補正量毎に異なる値として、各補正量に対応する補正量修正係数を算出するようにしても良い。

以上では、上述した第１の実施形態をベースに、この第４の実施形態の技術的特徴を盛り込んだ場合を説明したが、上述した第２又は第３の実施形態をベースに、この第４の実施形態の技術的特徴を盛り込むようにしても良い。

第４の実施形態によれば、音声区間でも適切に入力信号を補正することができるので、より明瞭性の高い広帯域化信号を生成することが提供できる。

（Ｆ）他の実施形態
上記各実施形態の説明においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。

上記各実施形態においては、目標特徴量は予め定められていたが、ユーザが目標特徴量をその都度指定できるようにしても良い。

入力信号補正手段として入力信号補正手段１０３Ａを用いる実施形態に対しては以下の変形実施形態を挙げることができる。一部の特徴量については、入力信号から特徴量を抽出する特徴量算出手段１０１の抽出結果を有効として広帯域化手段１０５に直接与えて、広帯域化手段１０５がその一部特徴量をそのまま利用するようにしても良い。例えば、音声のピッチ周波数に関する特徴量は、雑音を加算すると却って推定精度が悪くなるため、入力信号を補正する前に抽出する方が望ましい。

上記各実施形態の説明では、ＭｏｄＧＩを特徴量の１つとしたものを示したが、特許文献１によって修正される前のＧＩも、信号波形の傾き方向が変化する回数とその大きさを測る指標であり、ＭｏｄＧＩと同様に、おおよそ、全帯域の振幅のうち高域側の振幅が占める割合を表しているので、上記各実施形態におけるＭｏｄＧＩに代えてＧＩを適用するようにしても良い。

上記各実施形態においては、入力信号補正手段として、図２に示す詳細構成を有する入力信号補正手段１０３又は図４に詳細構成を示す入力信号補正手段１０３Ａの一方を適用するものを示したが、これら２つの補正手段を組み合わせた構成を用いるようにしても良い。例えば、２つの入力信号補正手段が並列処理し、得られた２つの補正信号に固定又は適応的な係数を乗じて加算して最終的な補正信号とするようにしても良い。

上記各実施形態では１種類の前処理に対応できるものを示したが、複数種類の前処理に対応できるように構成しておき、装置の立上げ時や通信の開始時等に適用する前処理の種類を設定し（固定設定でも随時設定でも良い）、その前処理に応じた動作を実行するようにしても良い。例えば、前処理の種類によって、特徴量抽出手段１０１が抽出する特徴量や、補正情報算出手段１０２の算出方法や、入力信号補正手段１０３、１０３Ａの補正方法などを切り替えるようにすれば良い。このようにすることにより、前処理に応じた適切な補正信号を得ることができる。

また、前処理の種類を推定するようにしても良い。例えば、前処理推定手段が、音声区間検出手段（第３の実施形態参照）から音声区間判定値の供給を受け、音声区間判定値が偽のときに周波数特性を解析して、その解析結果に基づいて前処理を推定する。解析結果から前処理処理を決定する方法として、例えば、周波数スペクトルのパターンマッチングを挙げることができる。この場合にも、得られた前処理の種類の情報を入力信号補正手段１０３、１０３Ａ等に与えることで、前処理に応じた適切な補正信号を得ることができる。

上記各実施形態は、背景雑音の影響を除外又は軽減する構成を備えないものであったが、背景雑音の対策構成をも含むように構成しても良い。例えば、背景雑音推定手段が、音声区間検出手段から音声区間判定値の供給を受け、音声区間判定値が偽のときに周波数特性を解析して、その解析結果に基づいて背景雑音を推定する。解析結果から背景雑音を決定する方法として、例えば、周波数スペクトルのパターンマッチングを挙げることができる。得られた背景雑音情報を入力信号補正手段１０３、１０３Ａに与えることで、背景雑音に応じた適切な補正信号を得ることができる。例えば、背景雑音が強いサブバンドと弱いサブバンドとで補正係数を変更する。

上記各実施形態を、入力信号は広帯域化信号と同一のサンプリング周波数を有しているという前提で説明したが、入力信号のサンプリング周波数が広帯域化信号のサンプリング周波数より低くても良い。この場合には、広帯域化手段１０５の直前に、入力信号のサンプリング周波数を広帯域化信号のサンプリング周波数へと変換するサンプリング変換手段が挿入することを要する。

上記各実施形態では、特徴的な処理が時間領域の信号で処理される場合を示したが、一部又は全ての処理を、周波数領域の信号で処理するようにしても良い。

上記では、音声帯域拡張装置を電話機器に適用する場合に言及したが、本発明の音声帯域拡張装置の用途が電話機器に限定されないことは勿論である。

また、上記各実施形態では、拡張帯域が高域側であるものを示したが、高域側に加えて低域側を拡張する場合にも、本発明の技術思想を適用することができる。

上記各実施形態では、本発明の音声特徴量抽出装置を音声帯域拡張装置に適用する場合を示したが、特徴量（補正特徴量）を利用することを要する他の装置に、本発明の音声特徴量抽出装置を適用するようにしても良い。例えば、有声無声判定装置の中には、音声の特徴量を利用するものがあるが、有声無声判定装置における音声特徴量を抽出する構成として、本発明の音声特徴量抽出装置を適用するようにしても良い。

１００、１００Ａ、１００Ｂ、１００Ｃ…音声帯域拡張装置、１０１…特徴量抽出手段、１０２、５０２…補正情報算出手段、１０３、１０３Ａ…入力信号補正手段、１０４…補正特徴量抽出手段、１０５…広帯域化手段、２０１…Ｆ特補正手段、４０１…補正雑音生成手段、４０２…補正雑音加算手段、５０６…音声区間検出手段、６０６…補正情報修正手段。

Claims (12)

1. 入力信号の成分が存在しない周波数帯域に信号成分を追加して周波数帯域を拡張する音声帯域拡張装置において、
   上記入力信号から周波数特性に関する１つ以上の特徴量を抽出する特徴量抽出手段と、
   抽出された上記特徴量と予め定められた目標特徴量とに基づいて補正情報を形成する補正情報算出手段と、
   上記補正情報に基づいて、上記入力信号の周波数特性を補正した補正信号を生成する入力信号補正手段と、
   上記補正信号から周波数特性に関する１つ以上の補正特徴量を抽出する補正特徴量抽出手段と、
   上記補正特徴量に基づいて上記入力信号の帯域を拡張して広帯域化信号を生成する広帯域化手段と
   を備えることを特徴とする音声帯域拡張装置。
2. 上記特徴量の少なくとも１つ、又は、上記補正特徴量の少なくとも１つが、上記入力信号の異なる２つの周波数帯域の振幅において、高域側の振幅を低域側の振幅で除した比である入力帯域振幅比であることを特徴とする請求項１に記載の音声帯域拡張装置。
3. 上記特徴量の少なくとも１つ、又は、上記補正特徴量の少なくとも１つが、上記入力信号の２階差分の振幅又はパワーを、入力信号の振幅又はパワーで除したＭｏｄＧＩであることを特徴とする請求項１に記載の音声帯域拡張装置。
4. 上記特徴量の少なくとも１つ、又は、上記補正特徴量の少なくとも１つが、上記入力信号を２つ以上のサブバンドに帯域分割した各サブバンドの振幅又はパワーであるサブバンドパワーであることを特徴とする請求項１に記載の音声帯域拡張装置。
5. 上記入力信号補正手段は、上記入力信号の周波数特性を、補正情報に基づいて直接操作するものであることを特徴とする請求項１〜請求項４のいずれかに記載の音声帯域拡張装置。
6. 上記入力信号補正手段は、上記補正情報に基づいて、補正雑音を生成する補正雑音生成手段と、上記入力信号に上記補正雑音を加算する補正雑音加算手段とを有することを特徴とする請求項１〜請求項４のいずれかに記載の音声帯域拡張装置。
7. 上記入力信号が音声区間であるか否かを判定する音声区間検出手段をさらに備え、
   上記補正情報算出手段は、上記入力信号が音声区間でない場合に限り上記補正情報を形成、更新することを特徴とする請求項１〜請求項６のいずれかに記載の音声帯域拡張装置。
8. 上記入力信号が音声区間である場合に限り上記入力信号に基づいて上記補正情報を修正する補正情報修正手段をさらに備え、
   上記入力信号補正手段は、上記補正情報修正手段で修正された上記補正情報に基づいて上記入力信号を補正することを特徴とする請求項７に記載の音声帯域拡張装置。
9. 上記補正情報修正手段は、上記補正情報のうち補正の大きさに関する補正量を修正するものであって、
   上記入力信号の振幅の長期平均値を算出し、
   上記入力信号の振幅を上記長期平均値で除して正規化振幅を算出し、
   上記正規化振幅が第１の閾値より小さい場合には上記補正情報を修正せず、
   上記正規化振幅が上記第１の閾値以上かつ第２の閾値より小さい場合には、上記補正量に、予め定められた修正重み係数と上記正規化振幅を乗じることで修正し、
   上記正規化振幅が上記第２の閾値以上の場合には上記補正量に上記修正重み係数と上記第２の閾値を乗じることで修正する
   ことを特徴とする請求項８に記載の音声帯域拡張装置。
10. 入力信号に成分が存在しない周波数帯域に信号成分を追加して周波数帯域を拡張する音声帯域拡張プログラムであって、
    コンピュータを、
    上記入力信号から周波数特性に関する１つ以上の特徴量を抽出する特徴量抽出手段と、
    抽出された上記特徴量と予め定められた目標特徴量とに基づいて補正情報を形成する補正情報算出手段と、
    上記補正情報に基づいて、上記入力信号の周波数特性を補正した補正信号を生成する入力信号補正手段と、
    上記補正信号から周波数特性に関する１つ以上の補正特徴量を抽出する補正特徴量抽出手段と、
    上記補正特徴量に基づいて上記入力信号の帯域を拡張して広帯域化信号を生成する広帯域化手段と
    して機能させることを特徴とする音声帯域拡張プログラム。
11. 入力信号の周波数特性に関する１つ以上の特徴量を抽出する音声特徴量抽出装置において、
    上記入力信号から周波数特性に関する１つ以上の特徴量を抽出する特徴量抽出手段と、
    抽出された上記特徴量と予め定められた目標特徴量とに基づいて補正情報を形成する補正情報算出手段と、
    上記補正情報に基づいて、上記入力信号の周波数特性を補正した補正信号を生成する入力信号補正手段と、
    上記補正信号から周波数特性に関する１つ以上の補正特徴量を抽出する補正特徴量抽出手段と
    を備えることを特徴とする音声特徴量抽出装置。
12. 入力信号の周波数特性に関する１つ以上の特徴量を抽出する音声特徴量抽出プログラムであって、
    コンピュータを、
    上記入力信号から周波数特性に関する１つ以上の特徴量を抽出する特徴量抽出手段と、
    抽出された上記特徴量と予め定められた目標特徴量とに基づいて補正情報を形成する補正情報算出手段と、
    上記補正情報に基づいて、上記入力信号の周波数特性を補正した補正信号を生成する入力信号補正手段と、
    上記補正信号から周波数特性に関する１つ以上の補正特徴量を抽出する補正特徴量抽出手段と
    して機能させることを特徴とする音声特徴量抽出プログラム。

Images