JP6152639B2 - 音声帯域拡張装置及びプログラム、並びに、音声特徴量算出装置及びプログラム - Google Patents

Description

本発明は、音声帯域拡張装置及びプログラム、並びに、音声特徴量算出装置及びプログラムに関し、例えば、電話機器（ソフトフォン等を含む）に適用し得るものである。

レガシーな電話機器で伝送できる音声信号の周波数帯域は、約３００Ｈｚから３．４ｋＨｚである。このような電話帯域に帯域制限された狭帯域音声信号の音声は、本来の音声よりもこもった音質になるため、言葉が聞き取り難くなるといった問題が生じる。

この問題を解決するために、３．４ｋＨｚ以上の拡張信号を追加して広帯域音声信号へと拡張することで、音声の明瞭性を向上させる帯域拡張技術が開発されており、例えば、電話機器が出力する音声信号の音質の向上を図っている。

特許出願人が注目するアプローチは、狭帯域音声信号に対して時間領域で処理を施すことで拡張信号を生成し、狭帯域音声信号と生成した拡張信号とを合成することで擬似広帯域音声信号を生成するアプローチである。時間領域の処理は非線形な処理が大半である。また、拡張信号の一部又は全部として適当な雑音を利用する方法も多い。このようなアプローチは、時間領域で処理を行う上にコードブックを必要としないため、少ない計算量と少ないリソースで帯域拡張を実現できるというメリットがある。

図４は、このようなアプローチにおける最も基本的な構成を示しており、以下、図４の構成を簡単に説明する。

図４の構成を有する音声帯域拡張装置４００は、サンプリング変換部４０１、バンドパスフィルタリング部（ＢＰＦ）４０２、全波整流部４０３、ハイパスフィルタリング部（ＨＰＦ）４０４、乗算部４０６及び加算部４０７を有する。

サンプリング変換部４０１は、サンプリング周波数が８ｋＨｚの狭帯域音声信号を、サンプリング周波数が１６ｋＨｚの信号にアップサンプリングする。アップサンプリングされた狭帯域音声信号は、バンドパスフィルタリング部４０２及び加算部４０７に与えられる。バンドパスフィルタリング４０２によって、アップサンプリングされた狭帯域音声信号の例えば帯域２ｋＨｚ〜４ｋＨｚが濾波され、その濾波信号は、全波整流部４０３によって全波整流されて、例えば０Ｈｚ〜８ｋＨｚの帯域を有する信号となり、ハイパスフィルタリング４０４によって、全波整流信号の例えば４ｋＨｚ以上の成分が濾波されて拡張信号が生成される。乗算部４０６において、生成された拡張信号に、予め定められている拡張ゲインＥＧが乗算されて、拡張信号の振幅が調整され、加算部４０７において、アップサンプリングされた狭帯域音声信号と振幅調整された拡張信号とが合成（加算）されて、擬似広帯域音声信号が生成される。

ここで、拡張ゲインＥＧは定数であり、多くの場合、擬似広帯域音声信号の音質が良好となるように経験的に設定されるが、無声音の高域成分の振幅は有声音のそれと比して際立って大きいため、無声音の高域成分を考慮して拡張ゲインＥＧを定めても、また、有声音の高域成分を考慮して拡張ゲインＥＧを定めても、擬似広帯域音声信号の音質を劣化させることがある。

非特許文献１は、拡張ゲインに音声信号の特性を反映させることを記載している。非特許文献１にはブロック図は記載されていないが、非特許文献１の記載技術を適用した場合の音声帯域拡張装置の構成を図５のブロック図に示している。図５に示す音声帯域拡張装置５００は、拡張ゲイン算出部５０５を含むことを除けば、図４に示した音声帯域拡張装置４００と同様であり、図４との同一、対応部分には同一、対応符号を付して示している。

図５に示す音声帯域拡張装置５００（言い換えると非特許文献１の記載技術）は、図４に示す音声帯域拡張装置４００では予め定められていた定数となっていた拡張ゲインＥＧを、拡張ゲイン算出部５０５において、狭帯域音声信号ｓに基づいて逐次算出するものであり、この拡張ゲインＥＧは、グラディエント・インデックス（Ｇｒａｄｉｅｎｔ Ｉｎｄｅｘ：以下、ＧＩと呼ぶ）と呼ばれる、狭帯域音声信号ｓに関する特徴量に基づいて決定される。ＧＩは、信号波形の傾き方向が変化する回数とその大きさを測る指標である。時間の要素番号をｎ、狭帯域音声信号をｓ（ｎ）とすると、ＧＩは、（４）式によって算出される。（１）式〜（３）式は、（４）式における変数ΔΨ（ｎ）を規定している式である。ＧＩは、例えば、狭帯域音声信号ｓ（ｎ）の所定数（Ｎ個）のサンプルが利用されてサンプル毎に算出される。（１）式〜（４）式においては、利用するＮ個のサンプル（Ｎ個のサンプルをフレームと呼ぶこともある）の要素番号ｎを０〜（Ｎ−１）で表している。

（１）式及び（２）式は、相前後する狭帯域音声信号サンプルの差分が正（０を含む）（増加する傾き方向）のときに１に、負（減少する傾き方向）のときに−１に符号化することを表している。（３）式は、同じ傾き方向が続いたときに０をとり、傾き方向が変化したときに１をとる変数ΔΨ（ｎ）を定義している。ＧＩは、傾き方向が変化したときの、相前後するサンプルの差分絶対値の総和を、そのフレームのパワーの平方根で除算したものとして求められる。従って、ＧＩは、１フレーム内の傾きの変化回数が多いほど大きくなり易く、また、傾きが変化したときの変化量が大きいほど大きくなり易いものである。

拡張ゲイン算出部５０５は、ＧＩ算出部６００及び係数乗算部６０１を有する。拡張ゲイン算出部５０５において、ＧＩ算出部６００が、入力された狭帯域音声信号からＧＩを算出し、係数乗算部６０１が、は予め設定された係数ａを保有しており、算出されたＧＩに予め設定されている係数ａを乗じて拡張ゲインＥＧを算出して出力する。

ＧＩ算出部６００は、（４）式の演算を実行できる構成であればどのような構成であっても良い。図５では、ＧＩ算出部６００が、差分処理部６０２、符号抽出部６０３、差分処理部６０４、絶対値算出部６０５、絶対値算出部６０６、乗算部６０７、積分処理部６０８、２乗和平方根算出部６０９、逆数処理部６１０及び乗算部６１１から構成されている場合を示している。

差分処理部６０２は、（２）式や（４）式におけるｓ（ｎ）−ｓ（ｎ−１）の値を求めている。符号抽出部６０３は、ｓ（ｎ）−ｓ（ｎ−１）に対して（１）式の符号抽出を行い、（２）式に示すΨ（ｎ）を得ている。差分処理部６０４は、（３）式に係る（Ψ（ｎ）−Ψ（ｎ−１））／２の演算を行っており、絶対値算出部６０５は、その絶対値を求め、（３）式に示すΔΨ（ｎ）を得ている。絶対値算出部６０６は、ｓ（ｎ）−ｓ（ｎ−１）の絶対値を求めている。乗算部６０７は、絶対値算出部６０５からのΔΨ（ｎ）と、絶対値算出部６０６からの｜ｓ（ｎ）−ｓ（ｎ−１）｜とを乗算し、（４）式の分子における積分要素を得ている。積分処理部６０８は、直近の（Ｎ−２）個の積分要素に対して積分（総和処理）を行って（４）式の分子の値を得ている。

２乗和平方根算出部６０９は、（４）式の分母に位置している、ｓ（ｎ）の２乗和平方根を算出しており、逆数処理部６１０は、その逆数を求めて、（４）式の分母の逆数値を求めている。

乗算部６１１は、積分処理部６０８からの（４）式の分子の値と、逆数処理部６１０からの（４）式の分母の逆数値とを乗算し、（４）式に示すＧＩを得ている。

図６は、／ｓｈｉｒｏ／と発生した音声の波形（図６（ａ））、高域振幅（図６（ｂ））、及び、ＧＩ（図６（ｃ））を示している（非特許文献１のＦｉｇ．２から引用）。無声音／ｓｈ／の高域振幅は他の音素に比べて際立って大きいことが確認でき、ＧＩが、その性質を表現できていることが分かる。非特許文献１によれば、上記係数ａをＧＩに乗じた値を拡張ゲインＥＧとすることで、有声音、無声音の別なく適切に高域成分の振幅を調整できるとしている。

Ｎａｏｆｕｍｉ Ａｏｋｉ，"Ａ Ｂａｎｄ Ｅｘｔｅｎｓｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｎａｒｒｏｗ−Ｂａｎｄ Ｔｅｌｅｐｈｏｎｙ Ｓｐｅｅｃｈ Ｂａｓｅｄ ｏｎ Ｆｕｌｌ Ｗａｖｅ Ｒｅｃｔｉｆｉｃａｔｉｏｎ"， ＩＥＩＣＥ Ｔｒａｎｓ． Ｃｏｍｍｕｎ．，Ｖｏｌ．Ｅ９３−Ｂ（３），ｐｐ．７２９−７３１，２０１０．

しかしながら、（３）式及び（４）式から明らかなように、ＧＩは、ΔΨ（ｎ）という０又は２の２値しかとらない、時系列的に値の大きな飛び跳ねが多発するパラメータを算出要素としているため、値が不規則に大きくなったり小さくなったりするという特徴がある。このような特徴を、この明細書では「値が暴れる」と表現する。ＧＩの値が暴れると、拡張ゲインの値も暴れる（大きく変動する）ため、擬似広帯域音声信号に新たな雑音が発生したり、音韻性が損なわれたりするという課題があった。

そのため、音声信号に応じて拡張ゲインを制御しても、新たな音質低下を引き起こすことのない音声帯域拡張装置及びプログラムが求められており、そのような音声帯域拡張装置やプログラムを実現可能とする音声特徴量算出装置及びプログラムが求められている。

第１の本発明は、周波数帯域が制限された狭帯域音声信号を、制限帯域外の拡張帯域の信号成分を含むように拡張する音声帯域拡張装置において、上記拡張帯域の信号成分の大きさを調整するための拡張ゲインを算出する拡張ゲイン算出手段を備え、上記拡張ゲイン算出手段は、上記狭帯域音声信号、若しくは、上記狭帯域音声信号に所定の信号処理を施した信号を算出対象信号とし、上記算出対象信号の２階差分のパワーを、上記算出対象信号のパワーで正規化した特徴量を算出する特徴量算出部を有し、上記特徴量に基づいて上記拡張ゲインを生成することを特徴とする。

第２の本発明は、周波数帯域が制限された狭帯域音声信号を、制限帯域外の拡張帯域の信号成分を含むように拡張する音声帯域拡張プログラムであって、コンピュータを、上記狭帯域音声信号、若しくは、上記狭帯域音声信号に所定の信号処理を施した信号を算出対象信号とし、上記算出対象信号の２階差分のパワーを、上記算出対象信号のパワーで正規化した特徴量を算出する特徴量算出部を有し、上記拡張帯域の信号成分の大きさを調整するための拡張ゲインを、上記特徴量に基づいて算出する拡張ゲイン算出手段として機能させることを特徴とする。

第３の本発明は、信号波形の傾き方向が変化する回数とその大きさを測る指標である、音声信号に関する特徴量を算出する音声特徴量算出装置において、（１）特徴量の算出対象の音声信号の２階差分のパワーを算出する２階差分パワー算出手段と、（２）上記算出対象の音声信号のパワーを算出する音声パワー算出手段と、（３）上記２階差分のパワーを、上記音声信号のパワーで除算し、上記特徴量を生成する特徴量算出手段とを備えることを特徴とする。

第４の本発明の音声特徴量算出プログラムは、コンピュータを、（１）特徴量の算出対象の音声信号の２階差分のパワーを算出する２階差分パワー算出手段と、（２）上記算出対象の音声信号のパワーを算出する音声パワー算出手段と、（３）上記２階差分のパワーを、上記音声信号のパワーで除算し、信号波形の傾き方向が変化する回数とその大きさを測る指標である、音声信号に関する上記特徴量を生成する特徴量算出手段として機能させることを特徴とする。

本発明によれば、音声信号に応じて拡張ゲインを制御しても、新たな音質低下を引き起こすことのない音声帯域拡張装置及びプログラムを提供できる。

また、他の本発明によれば、本発明の音声帯域拡張装置やプログラムを実現可能とする音声特徴量算出装置及びプログラムを提供できる。

第１の実施形態の音声帯域拡張装置の構成を示す機能ブロック図である。 第２の実施形態の音声帯域拡張装置におけるＭｏｄＧＩ算出部の構成を示す機能ブロック図である。 第３の実施形態の音声帯域拡張装置におけるＭｏｄＧＩ算出部の構成を示す機能ブロック図である。 従来の基本的な音声帯域拡張装置の構成を示す機能ブロック図である。 非特許文献１の記載技術を適用した音声帯域拡張装置の構成を示す機能ブロック図である。 非特許文献１から引用された音素と高域振幅とＧＩとの関係を示す説明図である。

（Ａ）各実施形態に共通する技術思想
まず、各実施形態の音声帯域拡張装置を説明する前に、これら実施形態に共通する技術思想を説明する。以下では、このような共通技術思想に従っている音声帯域拡張装置を、高音質化音声帯域拡張装置と呼ぶこととする。

高音質化音声帯域拡張装置は、ＧＩは、その値が暴れる（値の大きな飛び跳ねを有する）という性質を有することに鑑み、ＧＩに代えて、ＧＩと高い相関を持ちながら、値の大きな飛び跳ねを抑制した変化が安定した新しい特徴量（以下、修正されたＧＩを意味してＭｏｄＧＩと呼ぶことにする）を利用しようとしたものである。ＭｏｄＧＩを利用して拡張ゲインＥＧを算出することによって、新たな雑音が発生せず、音韻性も損なわれずに有声音と無声音の別なく適切な拡張ゲインを与えることのできるようになる。

ＭｏｄＧＩは、特徴量算出対象の任意の信号（音声帯域拡張装置の適用する場合であれば音声信号）に関し、その「算出対象信号のパワー」で正規化された、その「算出対象信号の２階差分のパワー」（これに定数倍したものも含まれる）として定義される。

「算出対象信号の２階差分のパワー」としては、算出対象信号の２階差分の２乗和、算出対象信号の２階差分の２乗和の平方根、算出対象信号の２階差分の絶対値の和、これら３つの値のそれぞれに関し、和を行ったサンプル数で割った値など、算出対象信号の２階差分のパワーが反映された値（上述した６種類以外の値であっても良い）であれば、いずれの値を適用することができる。

「算出対象信号のパワー」としては、算出対象信号の２乗和、算出対象信号の２乗和の平方根、算出対象信号の絶対値の和、これら３つの値のそれぞれに関し、和を行ったサンプル数で割った値など、算出対象信号のパワーが反映された値（上述した６種類以外の値であっても良い）であれば、いずれの値を適用することができる。

ＭｏｄＧＩの具体的な算出式の種類は、「算出対象信号の２階差分のパワー」の算出式として複数種類があり、「算出対象信号のパワー」の算出式として複数種類があるので、「算出対象信号の２階差分のパワー」の算出式の種類と、「算出対象信号のパワー」の算出式の種類の組み合わせ数だけ存在する。

次に、ＭｏｄＧＩが、ＧＩと強い相関を有しつつ、値の大きな飛び跳ねが抑制された（値が暴れ難い）特徴量となっていることを説明する。

ＭｏｄＧＩ（数式中ではＭＧＩと記す）は、（５）式で定義する。なお、（５）式では、ＧＩとの比較の便宜を考えて、「算出対象信号の２階差分のパワー」として入力信号の２階差分の絶対値の和を適用し、「算出対象信号のパワー」として入力信号の２乗和に平方根を適用した場合を示しているが、上述した通り、ＭｏｄＧＩの算出式は（５）式に限定されるものではない。

一方、ＧＩに関するΔΨ（ｎ）は、（２）式を（３）式に代入することにより（６）式で算出される。（５）式の分子の積分（総和処理）の要素（積分要素）は、（６）式と似ていることが分かる。

より詳細に比較するために、ＧＩとＭｏｄＧＩの分子における積分要素をそれぞれ、（８）式、（９）式に示すように、ＧＩｎｕｍ、ＭＧＩｎｕｍとして定義する。なお、比例定数を重要ではないので除外した。また、（７）式は、１階差分ｄ（ｎ）の計算式である。

まず、ｓ（ｎ−２）＜ｓ（ｎ−１）＜ｓ（ｎ）又はｓ（ｎ−２）＞ｓ（ｎ−１）＞ｓ（ｎ）、すなわち、相前後するサンプルから捉えた傾き方向が２サンプル期間で変化しない場合を考える。この場合、ＧＩｎｕｍ（ｎ）の２つのｓｉｇｎ関数は同じ値となるので、ＧＩｎｕｍ（ｎ）＝０となる。一方、ｄ（ｎ）とｄ（ｎ−１）は同符号となるので、その差の絶対値は比較的小さくなるから、ＭＧＩｎｕｍ（ｎ）も小さな値をとる。

次に、ｓ（ｎ−２）＜ｓ（ｎ−１）＞ｓ（ｎ）又はｓ（ｎ−２）＞ｓ（ｎ−１）＜ｓ（ｎ）、すなわち、相前後するサンプルから捉えた傾き方向が２サンプル期間で変化する場合を考える。この場合、ＧＩｎｕｍ（ｎ）の２つのｓｉｇｎ関数は異なる値となるので、ＧＩｎｕｍ（ｎ）＝２｜ｄ（ｎ）｜となる。一方、ｄ（ｎ）とｄ（ｎ−１）は異符号となるので、ＭＧＩｎｕｍ（ｎ）＝｜ｄ（ｎ）｜＋｜ｄ（ｎ−１）｜となり、比較的大きな値をとる。

以上より、ＧＩｎｕｍ（ｎ）とＭＧＩｎｕｍ（ｎ）は、両者とも、２サンプル期間で傾き方向が変化しない場合には小さな値を取り、傾き方向が変化する場合には大きな値をとるから、高い相関を持つことがわかる。一方で、ＧＩｎｕｍ（ｎ）が０又は非０の不連続な系列となるのに対して、ＭＧＩｎｕｍ（ｎ）は２階差分の絶対値ゆえに非０が連続する系列（なお、０をとることがあるが、０にする操作は実行されていない）となるので、積分要素の総和処理（積分）を行った後の比較でも、ＭｏｄＧＩの方が値の飛び跳ねが平均的に小さくなる（値が暴れ難い）ことが分かる。

例えば、ｓ（ｎ）、ｓ（ｎ−１）、ｓ（ｎ−２）、ｓ（ｎ−３）が、２、−２、１、３のとき、ｄ（ｎ）、ｄ（ｎ−１）、ｄ（ｎ−２）が４、−３、−２であって、ＧＩｎｕｍ（ｎ）、ＧＩｎｕｍ（ｎ−１）は８、０であり（１サンプル期間経過すると値が８だけ小さくなっている）、一方、ＭＧＩｎｕｍ（ｎ）、ＭＧＩｎｕｍ（ｎ−１）は７、１である（１サンプル期間経過すると値が６だけ小さくなっている）。

（１０）式〜（１２）式はそれぞれ、（５）式以外のＭｏｄＧＩの算出式の例を示しており、（１０）式〜（１２）式のいずれかを適用してＭｏｄＧＩを算出しても良いことは勿論である。（１０）式は、「算出対象信号の２階差分のパワー」として算出対象信号の２階差分の２乗和の平方根を適用し、「算出対象信号のパワー」として算出対象信号の２乗和の平方根を適用した算出式である。（１１）式は、「算出対象信号の２階差分のパワー」として算出対象信号の２階差分の絶対値の和を適用し、「算出対象信号のパワー」として算出対象信号の絶対値の和適用した算出式である。（１２）式は、「算出対象信号の２階差分のパワー」として算出対象信号の２階差分の２乗和を適用し、「算出対象信号のパワー」として算出対象信号の２乗和を適用した算出式である。

（５）式、（１０）式〜（１２）式はそれぞれ、ＭｏｄＧＩの算出式の導入概念が見えるように記述しているが、これらの式を変形した式に従うようにしても良いことは勿論である。（１３）式は、（５）式を変形したＭｏｄＧＩの算出式を示しており、（１３）式を適用してＭｏｄＧＩを算出しても良いことは勿論である。

また、（５）式、（１０）式〜（１２）式に関し、同じ技術思想下で、その一部を変更したＭｏｄＧＩの算出式を適用するようにしても良い。例えば、（５）式、（１０）式〜（１２）式共に、分子の総和では、ｎが２から（Ｎ−１）の（Ｎ−２）個の総和を求めているが、分子の総和を、ｎが２から（Ｎ＋１）のＮ個の総和を求めるようにしても良い。

（Ｂ）第１の実施形態
次に、本発明に係る音声帯域拡張装置及びプログラム、並びに、音声特徴量算出装置及びプログラムの第１の実施形態を、図面を参照しながら説明する。ここで、第１の実施形態の音声特徴量算出装置及びプログラムが算出する音声特徴量は、ＭｏｄＧＩである。

（Ｂ−１）第１の実施形態の構成
図１は、第１の実施形態の音声帯域拡張装置の機能的構成を示すブロック図であり、上述した図５との同一、対応部分には同一、対応符号を付して示している。第１の実施形態の音声帯域拡張装置は、その各部をハードウェアによって構成しても良く、また、ＣＰＵと、ＣＰＵが実行するプログラム（音声帯域拡張プログラム）として構成しても良いが（例えば、図１に示す各ブロックの機能をプログラムのサブルーチンとして構成しても良い）、機能的には、図１で表すことができる。

図１において、第１の実施形態の音声帯域拡張装置５００Ａは、図５に示した音声帯域拡張装置５００と同様な、サンプリング変換部４０１、バンドパスフィルタリング部（ＢＰＦ）４０２、全波整流部４０３、ハイパスフィルタリング部（ＨＰＦ）４０４、乗算部４０６及び加算部４０７と、第１の実施形態で特有な拡張ゲイン算出部５０１Ａとを有する。第１の実施形態の拡張ゲイン算出部５０１Ａは、図５の拡張ゲイン算出部５０１と比較すると、ＧＩ算出部６００の代りに、ＭｏｄＧＩ算出部１００が適用されたものである。

以上から明らかなように、第１の実施形態の音声帯域拡張装置５００Ａは、ＧＩ算出部６００の代りに、ＭｏｄＧＩ算出部１００を適用している点が、上述した図５に示す音声帯域拡張装置５００と異なるので、以下では、ＭｏｄＧＩ算出部１００についてのみ説明する。

ＭｏｄＧＩ算出部１００は、２つの差分処理部１０１、１０２、２つのパワー算出部１０３、１０４、逆数処理部１０５及び乗算部１０６を有する。

差分処理部１０１は、過去の入力を１サンプルだけ記憶しておける機能を有しており、狭帯域音声信号の新しい入力から、記憶していた１サンプル前の入力を減じて差分信号を生成し、得られた差分信号（１階差分信号と）を差分処理部１０２に与えるものである。また、差分処理部１０１は、記憶を新しい入力に書き換える。

差分処理部１０２は、差分処理部１０１と同様にして、自己へ入力された信号の差分信号を生成し、得られた差分信号（２階差分信号）をパワー算出部１０３に与えるものである。

パワー算出部１０３及び１０４はそれぞれ、過去の入力のサンプルパワー値を（Ｎ−１）サンプルだけ記憶しておける機能を有しており、この（Ｎ−１）サンプルの記憶値と新しい入力とに基づいてＮパワー値を算出し、記憶されているサンプルパワー値のうちで最も古いサンプルパワー値を新しい入力のサンプルパワー値に書き換えるものである。ここで、サンプルパワー値は１サンプルのパワーを表す値で、サンプル値の絶対値又は２乗値をサンプルパワー値とする。また、Ｎパワー値は、Ｎサンプルのパワーを表す値で、Ｎ個のサンプルパワー値の総和又は総和の平方根をＮパワー値とする。パワー算出部１０３及び１０４のサンプルパワー値及びＮパワー値の算出方法は、同一の方法を用いても良く、また、異なる方法を用いても良い（なお、同一の方法を用いることが好ましい）。

ここで、パワー算出部１０３は、ＭｏｄＧＩの定義式として、（５）式、（１０）式又は（１１）式のいずれかを適用する場合には（但し、分子の総和数はＮサンプル）、Ｎパワー値を１／２倍して出力し、ＭｏｄＧＩの定義式として（１２）式を適用する場合には（但し、分子の総和数はＮサンプル）、Ｎパワー値を１／４倍して出力する。なお、１／２倍や１／４倍を係数乗算部６０１で行うこととし、パワー算出部１０３が１／２倍若しくは１／４倍の処理を行なわないようにしても良い。

パワー算出部１０３は、得られた２階差分信号についてのＮパワー値（若しくはその係数倍した値）を乗算部１０６に与える。パワー算出部１０４は、得られた狭帯域音声信号についてのＮパワー値を逆数処理部１０５に与える。

逆数処理部１０５は、音声Ｎパワー値の逆数を算出し、得られた音声Ｎパワー値の逆数を乗算部１０６に与える。

乗算部１０６は、２階差分Ｎパワー値に音声Ｎパワー値の逆数を乗じてＭｏｄＧＩを算出し、出力する。

（Ｂ−２）第１の実施形態の動作
次に、第１の実施形態の音声帯域拡張装置５００Ａの特徴的な動作を説明する。拡張ゲイン算出部５０１ＡにおけるＭｏｄＧＩ算出部１００以外の動作は、図５に示した音声帯域拡張装置５００における動作と同様であるので説明を省略し、以下では、ＭｏｄＧＩ算出部１００の動作を説明する。

ＭｏｄＧＩ算出部１００には狭帯域音声信号（デジタル信号）が入力され、入力された狭帯域音声信号は、差分処理部１０１及びパワー算出部１０４に与えられる。

差分処理部１０１においては、狭帯域音声信号の最新サンプル値からその直前のサンプル値が減算され、得られた差分信号が、１階差分信号として差分処理部１０２に与えられる。差分処理部１０２においては、最新の１階差分信号からその直前の１階差分信号が減算され、得られた差分信号が、２階差分信号としてパワー算出部１０３に与えられる。

パワー算出部１０３においては、２階差分信号の最新のサンプル値からサンプルパワー値が算出され、この最新のサンプルパワー値と、記憶している直前の（Ｎ−１）個のサンプルパワー値とから、２階差分信号についてのＮパワー値が算出されて乗算部１０６に与えられ、また、記憶されている最古のサンプルパワー値に代えて、最新のサンプルパワー値が新たに記憶される。

一方、パワー算出部１０４においては、狭帯域音声信号の最新のサンプル値からサンプルパワー値が算出され、この最新のサンプルパワー値と、記憶している直前の（Ｎ−１）個のサンプルパワー値とから、狭帯域音声信号についてのＮパワー値が算出されて逆数処理部１０５に与えられ、また、記憶されている最古のサンプルパワー値に代えて、最新のサンプルパワー値が新たに記憶される。

逆数処理部１０５においては、狭帯域音声信号についてのＮパワー値の逆数が算出されて乗算部１０６に与えられる。

乗算部１０６においては、２階差分信号についてのＮパワー値と狭帯域音声信号についてのＮパワー値の逆数とが乗算されて、ＭｏｄＧＩが算出され、係数乗算部６０１に出力される。

（Ｂ−３）第１の実施形態の効果
第１の実施形態によれば、ＧＩと高い相関を持ちながら、ＧＩより値の大きな飛び跳ねが抑制された（値が暴れ難い）ＭｏｄＧＩを算出し、拡張ゲインの算出に用いるようにしたので、ＧＩを適用した場合のような新たな雑音が発生したり音韻性が損なわれたりすることはなく、より高音質な擬似広帯域音声信号を得ることができる。

（Ｃ）第２の実施形態
次に、本発明に係る音声帯域拡張装置及びプログラム、並びに、音声特徴量算出装置及びプログラムの第２の実施形態を、図面を参照しながら説明する。第２の実施形態の音声帯域拡張装置は、ＭｏｄＧＩ算出部だけが、第１の実施形態と相違しているので、以下では、第２の実施形態のＭｏｄＧＩ算出部についてのみ説明する。

図２は、第２の実施形態の音声帯域拡張装置におけるＭｏｄＧＩ算出部２００の構成を示す機能ブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一、対応符号を付して示している。

第２の実施形態のＭｏｄＧＩ算出部２００は、図２及び図１の比較から明らかなように、第１の実施形態と同様な構成に加えて、信号処理部２０１を入力段に備えている。

信号処理部２０１は、入力された狭帯域音声信号ｓに所定の信号処理を施して処理後狭帯域音声信号ｓ’を算出し、差分処理部１０１及びパワー算出部１０４に与えるものである。

ここで、所定の信号処理には、例えば、一般にプリエンファシスと呼ばれる高帯域強調フィルタリングや、雑音抑圧、フォルマント強調、イコライザ、白色化フィルタなど、多種多様な信号処理が該当する。ここで、実施する信号処理は１種類でも良いし、必要に応じて２種類以上の信号処理を実施するようにしても良い。例えば、上述した高帯域強調フィルタは口唇の放射特性をキャンセルするフィルタであるから、狭帯域音声信号の音韻性をより正確にＭｏｄＧＩに反映させることができる。また、雑音環境下では、雑音抑圧を行うことでＭｏｄＧＩが雑音に乱されることを防ぐことができる。また、雑音抑圧と高域強調フィルタを組み合わせることで、さらに音韻性を強調しても良い。

第２の実施形態によれば、ＭｏｄＧＩを算出する前に狭帯域音声信号を処理することで、ＭｏｄＧＩに音声の特徴をより的確に反映させることができるので、より高音質な擬似広帯域音声信号を得ることができる。

（Ｄ）第３の実施形態
次に、本発明に係る音声帯域拡張装置及びプログラム、並びに、音声特徴量算出装置及びプログラムの第３の実施形態を、図面を参照しながら説明する。第３の実施形態の音声帯域拡張装置は、ＭｏｄＧＩ算出部だけが、第１の実施形態と相違しているので、以下では、第３の実施形態のＭｏｄＧＩ算出部についてのみ説明する。

図３は、第３の実施形態の音声帯域拡張装置におけるＭｏｄＧＩ算出部３００の構成を示す機能ブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一、対応符号を付して示している。

第３の実施形態のＭｏｄＧＩ算出部３００は、図３及び図１の比較から明らかなように、第１の実施形態と同様な構成に加えて、ＭｏｄＧＩ補正部３０１を出力段に備えている。

ＭｏｄＧＩ補正部３０１は、乗算部１０６から出力されたＭｏｄＧＩを補正し、補正後のＭｏｄＧＩ（ＭｏｄＧＩ’）を係数乗算部６０１（図１参照）に出力するものである。

以下、ＭｏｄＧＩ補正部３０１を構成に含める理由を説明する。

乗算部１０６から出力されたＭｏｄＧＩは、総和をとるサンプル数Ｎが十分に大きくない場合、狭帯域音声信号ｓの周期性によって値が乱れることがある。この性質は、ＧＩを含む種々の特徴量（例えば相関関数や線形予測係数など）に共通の現象であって、ＭｏｄＧＩ固有の問題ではない。すなわち、狭帯域信号ｓがＮよりも大きな周期を持つ成分を持ち、さらにその成分が強い場合、特徴量はその周期によって値が乱されることがある。かかる問題は、Ｎを大きくすることによって回避できるが、Ｎを大きくすると信号の変化（音素の変化や、音声／雑音の変化など）に追従できなくなる。このように、Ｎの大小による特徴量の安定性の確保は、信号の変化への追従とのトレードオフとなってしまう。

そこで、ＭｏｄＧＩ補正部３０１で所定の補正処理をＭｏｄＧＩに施すことによって、拡張ゲインの値を安定化させる。補正処理として、例えば、次のような平滑化を適用することができる。

ＭｏｄＧＩはＬサンプル毎に算出されるものとする。すなわち、時刻ｎにおけるＭｏｄＧＩをＭＧＩ（ｎ）と書くことにすると、ＭＧＩ（ｋＬ）（但し、ｋは０，１，…）が値を持つ。

予め定められている０以上１未満の忘却係数ｂを使って、（１４）式によってＭｏｄＧＩを平滑化したＭＧＩ’’（ｋＬ）を得る。しかし、ＭＧＩ’’（ｋＬ）は、ＭＧＩ（ｋＬ）に比べて遅れているので、狭帯域音声信号ｓの変化に対する追従も遅延する。そこで、（１５）式のように、ＭＧＩ’（ｋＬ）を算出する。こうすることで、例えば、狭帯域音声信号ｓが無声音から有声音に切り替わったときに遅延なく適切な拡張ゲインを出力することができるようになる。

第３の実施形態によれば、狭帯域音声信号が有する低周波成分によって乱されたＭｏｄＧＩを補正することで、より安定した拡張ゲインを適用することができるで、より高音質な擬似広帯域音声信号を得ることができる。

（Ｅ）他の実施形態
上記説明においても、種々変形実施形態に言及したが、さらに、例示するような変形実施形態を挙げることができる。

上記各実施形態においては、拡張信号の生成方法が、ＢＰＦで２ｋＨｚ〜４ｋＨｚを抽出した信号の全波整流波をＨＰＦで拡張帯域に制限して生成するものであったが、拡張信号の生成方法はこの方法に限定されるものではない。例えば、全波整流処理の代りに、半波整流処理や２乗等のべき乗演算、ｔａｎｈ演算などを適用するものであっても良い。また、ここでは非線形処理を挙げたが、線形処理を行っても良い。ＢＰＦによる抽出帯域も２ｋＨｚ〜４ｋＨｚに限定されるものではなく、また、ＢＰＦによるフィルタリングを実行しないものであっても良い。また、上記各実施形態においては、音声信号を拡張しているが、線形予測分析等によって得られる音源信号を使って拡張信号を生成するようにしても良く、雑音発生源を構成に含めて該雑音発生源から出力される雑音信号を使って拡張信号を生成するようにしても良い。また、複数の信号を静的又は動的に組み合わせて拡張信号を生成するようにしても良い。

上記各実施形態においては、係数乗算部がＭｏｄＧＩにかける係数ａは固定値の場合を示したが、係数ａを適応的に変化させるようにしても良い。例えば、狭帯域音声信号ｓを解析して、音素の情報や音声らしさの情報を抽出して、それらに基づいて係数ａを決定するようにしても良い（例えば、変換テーブルを利用する）。これにより、複数の話者や異なる環境においても安定した性能を示す音声帯域拡張方法を実現できる。

また、信号処理部２０１又はＭｏｄＧＩ補正部３０１を含む第２の実施形態及び第３の実施形態において、構成として含まれている信号処理部２０１やＭｏｄＧＩ補正部３０１の有効／無効をユーザが手動で制御できるようにしても良い。また、複数の信号処理、及び複数の拡張ゲイン補正方法を用意しておいて、ユーザが手動で制御できるようにしても良い。これにより、ユーザの好みに合わせた音質の擬似広帯域音声信号が得られる音声帯域拡張方法を実現できる。

また、信号処理部２０１やＭｏｄＧＩ補正部３０１が有効である場合に、狭帯域音声信号ｓを解析して、信号処理部２０１やＭｏｄＧＩ補正部３０１の有効／無効や、信号処理方法及びＭｏｄＧＩ補正方法を、自動的に制御できるようにしても良い（例えば、音素の情報によって切り替える）。このようにすると、使用環境に自動的に適応する音声帯域拡張方法を実現できる。

上記各実施形態においては、ＭｏｄＧＩを拡張ゲインの算出に利用するものを示したが、ＭｏｄＧＩの利用方法はこれに限定されるものではない。例えば、無声音区間と有声音区間とで異なる制御量を切り替えることを要する用途に広く適用することができる。

１００、２００、３００…ＭｏｄＧＩ算出部、１０１、１０２…差分処理部、１０３、１０４…パワー算出部、１０５…逆数処理部、１０６、４０６…乗算部、２０１…信号処理部、３０１…ＭｏｄＧＩ補正部、４０１…サンプリング変換部、４０２…バンドパスフィルタリング部、４０３…全波整流部、４０４…ハイパスフィルタリング部、４０７…加算部、５００Ａ…音声帯域拡張装置、５０１Ａ…拡張ゲイン算出部、６０１…係数乗算部。

Claims (9)

1. 周波数帯域が制限された狭帯域音声信号を、制限帯域外の拡張帯域の信号成分を含むように拡張する音声帯域拡張装置において、
   上記拡張帯域の信号成分の大きさを調整するための拡張ゲインを算出する拡張ゲイン算出手段を備え、
   上記拡張ゲイン算出手段は、上記狭帯域音声信号、若しくは、上記狭帯域音声信号に所定の信号処理を施した信号を算出対象信号とし、上記算出対象信号の２階差分のパワーを、上記算出対象信号のパワーで正規化した特徴量を算出する特徴量算出部を有し、上記特徴量に基づいて上記拡張ゲインを生成する
   ことを特徴とする音声帯域拡張装置。
2. 上記特徴量算出部は、算出した上記特徴量に所定の補正処理を施し、補正処理後の特徴量に基づいて、上記拡張ゲインを生成することを特徴とする請求項１に記載の音声帯域拡張装置。
3. 上記特徴量算出部は、上記狭帯域音声信号に基づいて、上記所定の補正処理を制御することを特徴とする請求項２に記載の音声帯域拡張装置。
4. 上記特徴量算出部は、ユーザからの指示に応じて、上記所定の補正処理を制御することを特徴とする請求項２に記載の音声帯域拡張装置。
5. 上記算出対象信号が、上記狭帯域音声信号に対して所定の信号処理を施した信号であり、上記特徴量算出部は、上記狭帯域音声信号に基づいて、上記所定の信号処理を制御することを特徴とする請求項１に記載の音声帯域拡張装置。
6. 上記算出対象信号が、上記狭帯域音声信号に対して所定の信号処理を施した信号であり、上記特徴量算出部は、ユーザからの指示に応じて、上記所定の信号処理を制御することを特徴とする請求項１に記載の音声帯域拡張装置。
7. 周波数帯域が制限された狭帯域音声信号を、制限帯域外の拡張帯域の信号成分を含むように拡張する音声帯域拡張プログラムであって、
   コンピュータを、
   上記狭帯域音声信号、若しくは、上記狭帯域音声信号に所定の信号処理を施した信号を算出対象信号とし、上記算出対象信号の２階差分のパワーを、上記算出対象信号のパワーで正規化した特徴量を算出する特徴量算出部を有し、上記拡張帯域の信号成分の大きさを調整するための拡張ゲインを、上記特徴量に基づいて算出する拡張ゲイン算出手段として機能させる
   ことを特徴とする音声帯域拡張プログラム。
8. 信号波形の傾き方向が変化する回数とその大きさを測る指標である、音声信号に関する特徴量を算出する音声特徴量算出装置において、
   特徴量の算出対象の音声信号の２階差分のパワーを算出する２階差分パワー算出手段と、
   上記算出対象の音声信号のパワーを算出する音声パワー算出手段と、
   上記２階差分のパワーを、上記音声信号のパワーで除算し、上記特徴量を生成する特徴量算出手段と
   を備えることを特徴とする音声特徴量算出装置。
9. コンピュータを、
   特徴量の算出対象の音声信号の２階差分のパワーを算出する２階差分パワー算出手段と、
   上記算出対象の音声信号のパワーを算出する音声パワー算出手段と、
   上記２階差分のパワーを、上記音声信号のパワーで除算し、信号波形の傾き方向が変化する回数とその大きさを測る指標である、音声信号に関する上記特徴量を生成する特徴量算出手段と
   して機能させることを特徴とする音声特徴量算出プログラム。

Images