JP4733727B2 - 音声楽音擬似広帯域化装置と音声楽音擬似広帯域化方法、及びそのプログラムとその記録媒体 - Google Patents

Description

この発明は、狭帯域音声楽音信号を広帯域音声信号に広帯域化する音声楽音擬似広帯域化方法と、その装置と、そのプログラムと記録媒体に関する。

従来からの電話システムで伝送できる音声信号の周波数帯域は、約３００Ｈｚから３．４ｋＨｚである。従来の電話システムの音声符号化技術の目的は、伝送パラメータ量を最小化することにあり、符号化した音声信号の周波数帯域を超える音声を得ることは不可能である。ところで、最近の音響技術の発展及びディジタル信号処理技術の開発により、日常生活で使われる機器の音声の品質が向上して来ている。このような状況において、例えば電話の音質にも高音質を求める声がある。かかる要求に応える目的で音声擬似広帯域化装置や、その方法が用いられる。

従来の音声擬似広帯域化方法の手順を、図１３に示してその方法を簡単に説明する。従来の音声擬似広帯域化方法は、アップサンプリング処理１０１、全波整流処理１０２、ＳＴＦＴ分析（短時間フーリエ）処理１０３,１０５、バンドパスフィルタリング処理１０４、低域の周波数帯域の周波数スペクトルを高域に複写するコピー処理１０６、乗算処理１０７,１０８、ＳＴＦＴ合成処理１０９、加算処理１１０、から成る。アップサンプリング処理１０１は、例えば８ｋＨｚでサンプリングされた狭帯域音声信号を、１６ｋＨｚサンプリングの音声信号にアップサンプリングする。ＳＴＦＴ分析処理１０５は、一定時間（フレーム）毎にアップサンプリングされた音声信号を周波数分析し、周波数スペクトルを生成する。コピー処理１０６は、低域の周波数スペクトルを高域の周波数帯域の周波数スペクトルとしてコピーする。乗算処理１０８は、高域の周波数スペクトルに一定の倍率を乗じてゲイン調整を行う。全波整流処理１０２から乗算処理１０７の過程は、狭帯域音声信号に含まれない低域の周波数スペクトルを生成するものである。全波整流処理１０２で生成された低域の周波数スペクトルは、高域の周波数スペクトルと同じように乗算部１０７において、一定倍率が乗算されてゲイン調整される。ゲイン調整された高域の周波数スペクトルと低域の周波数スペクトルは、ＳＴＦＴ合成処理１０９で合成される。加算処理１１０は、狭帯域音声信号を周波数分析した周波数スペクトルに、ゲイン調整された低域と高域の周波数スペクトルを加算して擬似広帯域音声信号を生成する。
特開平９−９０９９２号公報、図１

従来の音声擬似広帯域化方法は、狭帯域音声信号の周波数スペクトルに広帯域化した周波数範囲のスペクトルを加える際に、加算する周波数スペクトルに一定の倍率を乗じてゲインを調整する方法である。この方法では、雑音を発生させ、または音声を不明瞭にしてしまう課題があった。図１４と図１５に音声信号の周波数スペクトルの例を示す。横軸は周波数、縦軸は振幅である。図１４（ａ）に、周波数の増加に伴って信号の振幅が減衰する例えば音声の有声部のような場合の周波数スペクトルを示す。コピー処理１０６が、この図１４（ａ）の信号に一定倍率を乗じて高域の周波数スペクトルを生成すると、図１４（ｂ）に示すように４ｋＨｚ付近で非常に小さくなる振幅が、４ｋＨｚ以上で再び急激に立ち上がるスペクトル構造になる。このように低域信号と高域信号の境界で信号が極端に不連続になると雑音の原因になる。また、図１５（ａ）に示す低域から高域に向かって振幅が増加する例えば音声の無声部のような周波数スペクトルの場合は、ある一定倍率を乗じて高域の信号を生成すると、図１５（ｂ）に示すように高域の振幅が小さくなることがある。この場合は、擬似広帯域音声の無声部が不明瞭となり音声が聞き取り難くなる。

この発明は、このような点に鑑みてなされたものであり、雑音の原因を発生させず、また音声を不明瞭にしない音声楽音擬似広帯域化装置と、その方法と、プログラムと記録媒体を提供することを目的とする。

この発明による音声楽音擬似広帯域化装置は、周波数変換部と、高域信号生成部と、ゲイン決定部と、ゲイン乗算部と、結合部と、周波数逆変換部とを具備する。周波数変換部は、離散値化された狭帯域音声楽音信号を周波数領域の信号に変換して低域領域の信号を生成する。高域信号生成部は、低域領域の信号の一部または全部を複写して高域領域の信号を生成する。ゲイン決定部は、低域領域の周波数帯域を４等分した帯域のうち、低域側から２番目の帯域の信号の累積パワーと低域側から３番目の帯域の信号の累積パワーとの比、または低域領域の周波数帯域を４等分した帯域のうち、低域側から２番目の帯域の振幅の絶対値和と低域側から３番目の帯域の信号の振幅の絶対値和との比と、予め定めた閾値との大小関係に基づいて、予め定めた複数のゲイン係数の中から１つの異ゲイン係数を決定する。ゲイン乗算部は、高域領域の信号にゲイン係数を乗じて強調高域信号を生成する。結合部は、低域領域の信号と強調高域信号を合わせて擬似広帯域周波数信号を生成する。周波数逆変換部は、擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換して出力する。

この発明の音声楽音擬似広帯域化装置は、ゲイン決定部が低域領域内の異なる範囲の信号のパワー比または振幅の絶対値和の比に基づいてゲイン係数を決定する。図１４（ａ）に示したような低域から高域に向かって信号の振幅が減衰する特性を示す音声信号の場合は、ゲイン係数を小さくする。このようにすると、擬似広帯域周波数信号のスペクトル構造を、高域になるほど振幅が低下する構造にすることができ、不連続点が強調され難くなる。この結果、雑音の発生を抑えることができる。また、図１５（ａ）に示したような低域から高域に向かって振幅が増加する特性を示す音声信号の場合は、ゲイン係数を大きくする。すると、擬似広帯域周波数信号のスペクトル構造全体として、高域になるほど振幅が増加する連続性のある構造とすることができ、例えば無声音の明瞭度を向上させることができる。つまり、低域領域内の信号の特徴に応じてゲイン係数を可変することで、雑音の発生を防止すると共に無声部を聞き取り易くできるので、擬似広帯域音声の明瞭度を向上させることができる。

以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。

図１にこの発明の音声楽音擬似広帯域化装置の実施例１の機能構成例を、図２に動作フローを示す。音声楽音擬似広帯域化装置は、周波数変換部１１と、周波数拡張部１２と、高域信号生成部１３と、ゲイン決定部１４と、ゲイン乗算部１５と、結合部１６と、周波数逆変換部１７とで構成される。周波数変換部１１に入力される狭帯域音声楽音信号Ｉｎ（ｔ）は、時間領域の信号であり、所定のサンプリング周波数で離散値化されサンプル数（Ｄ個）毎に入力端子１０に入力される。ここでサンプル数Ｄは、予め決まっている値でも良いし、フレーム毎に可変な値でも良い。入力の狭帯域音声楽音信号を、Ｉｎ（ｔ）（ｔ＝０,１,…,Ｄ−１）と表わす。例えば、フレーム長は２０ｍｓ、サンプリング周波数は８ｋＨｚといった値である。

周波数変換部１１は、時間領域の狭帯域音声楽音信号Ｉｎ（ｔ）を周波数領域の信号である低域領域の信号に変換する（ステップＳ１１）。周波数変換部１１は、ＭＤＣＴの場合、バッファ等に蓄積された直前のフレームのＩｎ（ｔ−ｄ）と、入力Ｉｎ（ｔ）（ｔ＝０,１,…,Ｄ−１）とを用いて、周波数領域の信号ＩｎＦｒｅｑ（ｋ）（ｋ＝０,１,…,Ｄ−１）を生成する。この例では、周波数変換方法としてＭＤＣＴ（Modified Discrete Cosine Transform：修正離散コサイン変換）を用いる例を示すが、ＤＣＴやＦＦＴなど他の周波数変換方法を用いても良い。以下の説明では、周波数領域の信号を周波数インデックスｋを用いて表記する。ｋの値が小さいほど低い周波数の信号を表わしている。

周波数拡張部１２は、低域領域の信号を２以上の整数であるＮの倍数に拡張した拡張信号ＩｎＦｒｅｑＥｘｐ（ｋ）を生成する。低域領域の信号ＩｎＦｒｅｑ（ｋ）（ｋ＝０,１,…,Ｄ−１）に対して、例えばＤ個の信号を追加し、ＩｎＦｒｅｑＥｘｐ（ｋ）（ｋ＝０,１,…,２Ｄ−１）のＮ＝２倍の周波数インデックスの範囲に周波数範囲を拡張する（ステップＳ１２）。上記したフレーム長＝２０ｍｓで、サンプリング周波数が８ｋＨｚの場合、Ｄ＝１６０である。拡張信号ＩｎＦｒｅｑＥｘｐ（ｋ）（ｋ＝０,１,…,２Ｄ−１）は、例えば式（１）に示すような信号である。
InFreqExp(k)＝InFreq(k) （０≦ｋ≦Ｄ−１） （１）
InFreqExp(k)＝MIN （Ｄ≦ｋ≦２Ｄ−１）
ここでＭＩＮの値は０でも良いし、非常に小さな値でも良い。つまり拡張信号は、低域領域の信号はそのままで、周波数インデックスの範囲が例えば２倍に拡張された信号である。

高域信号生成部１３は高域領域の信号を、拡張した高域領域の周波数範囲に低域領域の信号を複写して生成する（ステップＳ１３）。ステップＳ１３の高域信号生成処理の具体的な動作フローを図３に示してその動作を説明する。図３は複写するコピー元の低域領域の周波数範囲が固定の場合である。低域領域のコピーを開始する先頭の周波数インデックスをＤ_Ｌ、コピーする範囲をＤ_Ｗ、コピー先の高域領域の信号の先頭の周波数インデックスをＤ_Ｈとして説明する。まず始めにＤ_Ｌ、Ｄ_Ｗ、Ｄ_Ｈの値を設定する（ステップＳ１３１）。周波数インデックスｋを、高域領域の信号の最下限であるｋ＝０に設定する（ステップＳ１３２）。周波数インデックスｋ＝Ｄからｋ＝Ｄ_Ｈ−１までの高域信号ＦｒｅｑＨｉｇｈ（ｋ）には、ＭＩＮが書き込まれる（ステップＳ１３３〜Ｓ１３５）。周波数インデックスｋが、ｋ＝Ｄ_Ｈになると高域信号ＦｒｅｑＨｉｇｈ（ｋ）には、低域領域のコピー元の先頭の周波数インデックスｋ＝Ｄ_Ｌの信号の振幅がコピーされる（ステップＳ１３６）。つまり、（ｋ−Ｄ_Ｈ−Ｄ_Ｌ＝Ｄ_Ｈ−Ｄ_Ｈ＋Ｄ_Ｌ＝Ｄ_Ｌ）である。したがって、コピー元のｋ＝Ｄ_Ｌ〜（Ｄ_Ｌ＋Ｄ_Ｗ）の範囲の信号の振幅が、高域領域のｋ＝Ｄ_Ｈ〜（Ｄ_Ｈ＋Ｄ_Ｗ）の範囲にコピーされる（ステップＳ１３８のＮｏのループ）。周波数インデックスｋ＝（Ｄ_Ｈ＋Ｄ_Ｗ）〜（２Ｄ−１）までの範囲の高域信号ＦｒｅｑＨｉｇｈ（ｋ）には、ＭＩＮが書き込まれる（ステップＳ１３９〜Ｓ１４１）。この結果、高域信号ＦｒｅｑＨｉｇｈ（ｋ）は、式（２）に示すようになる。
FreqHigh(k)＝MIN （０≦ｋ≦Ｄ_Ｈ−１）
FreqHigh(k)＝InFreqExp(k−D_Ｈ+D_Ｌ) （Ｄ_Ｈ≦ｋ≦Ｄ_Ｈ＋Ｄ_Ｗ−１） （２）
FreqHigh(k)＝MIN （Ｄ_Ｈ＋Ｄ_Ｗ≦ｋ≦２Ｄ−１）

この低域領域の信号を、拡張した周波数範囲に複写して高域領域の信号を生成する様子を模式的に図４に示す。横軸は周波数インデックス、縦軸は振幅である。周波数インデックスが０〜Ｄ−１の範囲の低域領域のＤ_Ｌ〜（Ｄ_Ｌ＋Ｄ_Ｗ−１）の範囲の振幅が、高域領域のＤ_Ｈ〜（Ｄ_Ｈ＋Ｄ_Ｗ−１）の範囲にコピーされている様子が分かる。

なお、この例では、連続する低域領域の拡張信号の一部を高域信号にコピーする場合について説明したが、拡張信号の全部を高域信号にコピーしても良いし、複数部分を分割してコピーしても良い。

また、上記した例では、周波数拡張部１２で周波数インデックスの範囲を例えば２倍に拡張した後に、高域信号生成部１３が低域領域の信号の一部または全部を拡張した高域領域にコピーしたが、この発明はこの例に限定されない。高域信号生成部１３は、低域周波数領域信号ＩｎＦｒｅｑ（ｋ）の一部または全部の信号を高域領域の信号としてコピーするだけとしても良い。つまり、式（３）に示すように、単純に低域周波数領域信号ＩｎＦｒｅｑ（ｋ）の一部または全部の信号を切り出すだけの処理を行う。
FreqHigh(k)＝MIN （０≦ｋ≦Ｄ_Ｈ−１）
FreqHigh(k)＝InFreqExp(k−D_Ｈ+D_Ｌ) （Ｄ_Ｈ≦ｋ≦Ｄ_Ｈ＋Ｄ_Ｗ−１） （３）
FreqHigh(k)＝MIN （Ｄ_Ｈ＋Ｄ_Ｗ≦ｋ≦Ｄ−１）
そして、結合部１６は、高域領域の信号が後述するゲイン乗算部１５でゲイン調整された強調高域信号を高域側に配置し、低域周波数領域信号ＩｎＦｒｅｑ（ｋ）を低域側に配置することにより合成する。このように、結合部１６において、周波数範囲を拡張するようにしても良い。

以上の動作を模式的に図５に示す。横軸は周波数インデックス、縦軸は振幅である。図５（ａ）は低域周波数領域信号ＩｎＦｒｅｑ（ｋ）である。図５（ｂ）が高域信号生成部１３でコピーした高域領域の信号である。図５（ｂ）の周波数インデックスの上限がＤ−１である点に注意、単純に図５（ａ）の一部を切り出した信号である。図５（ｃ）が結合部１６で合成された擬似広帯域周波数信号である。以上のように動作する場合は、周波数拡張部１２が無くて良い。

ゲイン決定部１４は、低域領域内の異なる範囲の信号のパワー比に基づいて高域領域の信号に乗ずるゲイン係数を決定する（ステップＳ１４）。ステップＳ１４のゲイン決定処理の具体的な動作フローを図６に示してその動作を説明する。図６はパワー比を求める周波数範囲が固定の場合である。低域領域の異なる範囲の、一方のパワーの計算を開始する先頭の周波数インデックスをｋ_０、その範囲をｄ_０、その異なる範囲の他方のパワーを計算する先頭の周波数インデックスと範囲をｋ_１，ｄ_１として説明する。まず始めにｋ_０、ｄ_０、ｋ_１、ｄ_１の値を設定する（ステップＳ１４２）。上記したＤ＝１６０の場合、例えばｋ_０＝４０、ｄ_０＝４０、ｋ_１＝８０、ｄ_１＝４０といった値に設定される。そして各変数を初期化する（ステップＳ１４３）。一方の範囲である周波数インデックスがｋ_０〜（ｋ_０＋ｄ_０−１）の範囲の累積パワーｐ_０を計算する（ステップＳ１４４〜Ｓ１４６）。次に、他方の範囲であるｋ_１〜（ｋ_１＋ｄ_０−１）の範囲の累積パワーｐ_１を計算する（ステップＳ１４７〜Ｓ１５０）。ｐ_０とｐ_１が求まった後に、ステップＳ１５１でパワー比ｒ＝ｐ_１/ｐ_０を計算する。つまり信号パワー比ｒは、式（４）で表わせる。

ゲイン決定部１４は、信号パワー比ｒの値を例えば複数の閾値で評価して、ゲイン係数ｋ_ＨＧを決定する。例えば閾値を表１のように設定し、ｒ以上となる閾値の数によって表２に示す様にゲイン係数ｋ_ＨＧを決定する（ステップＳ１５２）。

例えばパワー比ｒ＝１．０の場合は、ゲイン係数ｋ_ＨＧ＝０.６となる。

また、ゲイン決定部１４は、低域領域内の異なる範囲の信号の信号振幅の絶対値和の比に基づいて高域領域の信号に乗ずるゲイン係数を決定しても良い（図７、ステップＳ１４２′）。この場合のゲイン決定処理の動作フローを図７に示す。図７は、図６のステップＳ１４２がステップＳ１４２′に、ステップＳ１４４がステップＳ１４４′に、ステップＳ１４８がステップＳ１４８′に変わる点のみが異なる。ステップＳ１４４′は、一方の範囲である周波数インデックスがｋ_０〜（ｋ_０＋ｄ_０−１）の範囲の信号振幅の絶対値の和をｐ_０として計算する。ステップＳ１４８′は、他方の範囲であるｋ_１〜（ｋ_１＋ｄ_０−１）の範囲の信号振幅の絶対値の和をｐ_１として計算する。

ゲイン決定部１４は、それぞれの範囲の信号振幅の絶対値和ｐ_０とｐ_１が求まった後に、ステップＳ１５１において式（５）に示す信号振幅の絶対値和の比ｒ′を計算する。

ゲイン決定部１４が、信号振幅の絶対値和の比ｒ′を複数の閾値で評価してゲイン係数を決定するのは、上記した信号パワー比ｒを評価する方法と同じである。

ゲイン乗算部１５は、入力された高域信号ＦｒｅｑＨｉｇｈ（ｋ）（ｋ＝０,１,…,２Ｄ−１）とゲイン係数ｋ_ＨＧから、式（６）の強調高域信号ＦｒｅｑＨｉｇｈＧａｉｎ（ｋ）を計算して出力する（図２、ステップＳ１５）。
FreqHighGain(k)＝FreqHigh(k)・ｋ_ＨＧ （６）

結合部１６は、周波数拡張部１２が出力する拡張信号と、ゲイン乗算部１５が出力する強調高域信号とを加算し、式（７）に示す擬似広帯域周波数信号ＰｓＦｒｅｑ（ｋ）を生成する（ステップＳ１６）。
PsFreq(k)＝InFreqExp(k)＋FreqHighGain(k) （７）

周波数逆変換部１７は、擬似広帯域周波数信号ＰｓＦｒｅｑ（ｋ）を時間領域の擬似広帯域音声信号ｏｕｔ（ｋ）（ｋ＝０,１,…,２Ｄ−１）に変換して出力する（ステップＳ１７）。

以上説明した音声楽音擬似広帯域化装置によれば、低域領域内の異なる範囲の信号のパワー比ｒまたは振幅の絶対値和の比ｒ′が、１以下になる図８（ａ）に示すような音声信号の場合は、ゲイン係数ｋ_ＨＧ が１以下になり高域領域にコピーされる強調高域信号の振幅が減衰する。この結果、擬似広帯域周波数信号のスペクトル構造全体として、高域になるほど振幅が低下する構造にすることができ、不連続点が強調され難くなる。また、パワー比ｒまたは振幅の絶対値和の比ｒ′が１以上になる図９（ａ）に示す音声信号の場合は、ゲイン係数ｋ_ＨＧの値が１以上になるので強調高域信号の振幅が増加する。したがって、擬似広帯域周波数信号のスペクトル構造を、高域になるほど振幅が増加する連続性のある構造とすることができる。この結果、擬似広帯域音声の無声部が聞き取り易くなり、音声の明瞭度を向上させることができる。

なお、実施例１では、低域領域の信号をＮ倍に拡張した拡張信号を生成する周波数拡張部のＮが２の場合で説明を行ったが、Ｎ＝３でもＮ＝４でも構わない。また、低域領域内の異なる範囲の信号のパワー比を求める周波数インデックスの範囲を固定にした例で説明を行ったが、その範囲を可変にしても良い。次にパワー比を求める周波数インデックスの範囲を可変にした実施例２を説明する。以降ではパワー比を求める例のみを示して実施例を説明する。しかし、以下の実施例は、上記したように信号振幅の絶対値和の比を求める場合にも適用が可能である。

実施例２の音声楽音擬似広帯域化装置は、ゲイン決定部１４内に累積パワー移動計算部１４ａも備えた点が、実施例１と異なる。図１にその構成を破線で示す。他の構成は実施例１と同じである。累積パワー移動計算部１４ａの一部の動作フローを図１０に示して動作を説明する。

累積パワー移動計算部１４ａは、低域領域の低周波数側であるｋ＝０〜（Ｄ/２−ｄ_０−１）の範囲と、高周波数側のｋ＝Ｄ/２〜（Ｄ−ｄ_０−１）の範囲内のそれぞれの最大累積パワーが得られる周波数インデックスの範囲を動的に求めるものである。まず始めに累積パワーｐ_０を初期化すると共に、累積パワーを求める途中のある範囲ｄ_０の累積パワーを格納する変数ｐ_tempを初期化する（ステップＳ８０）。範囲ｄ_０毎に求める累積パワーｐ_０を初期化する（ステップＳ８１）。そして最初にｋ＝０からｋ＝（ｄ_０−１）の範囲の累積パワーｐ_０を計算する（ステップＳ８２〜Ｓ８４）。次に変数ｐ_tempと今回求めた累積パワーｐ_０を比較する（ステップＳ８５）。最初は変数ｐ_tempが０のために、必ずｐ_temp＜ｐ_０となるので、途中の最大パワーとして求めたｐ_０を変数ｐ_tempに代入するｐ_temp＝ｐ_０（ステップＳ８６）。そして低域領域の異なる範囲の一方のパワーの計算を開始する先頭の周波数インデックスｋ_０を、ｋ_０＝ｉとする。したがって、最初はｋ_０＝０である。この動作をステップＳ８９でｉを１ずつ加算しながらｉ＝（Ｄ/２−ｄ_０−１）になるまで、繰り返す（ステップＳ８８）。つまり、累積パワーｐ_０を求める累積範囲ｄ_０の先頭の周波数インデックスｋ_０を求める。例えば２回目の累積パワーｐ_０が１回目の変数ｐ_tempより大きければ、ステップＳ８７でｋ_０＝１となる。このように、最大の累積パワーｐ_０になる先頭の周波数インデックスｋ_０を求めることができる。

同様に高周波数側のｋ＝Ｄ/２〜（Ｄ−ｄ_０−１）の範囲内のパワーを計算する先頭の周波数インデックスｋ_１も求めることができる（ステップＳ９１〜）。動作フローは、上記した動作と同じなので省略する。このようにしてｋ_０とｋ_１を求めた後は、図６で説明済みのステップＳ１４３以降の処理を行なって、累積パワーｐ_０とｐ_１とを求める。このようにすれば、低域領域の低周波数側と高周波数側のそれぞれの範囲の最大パワー同士から求めたパワー比ｒを得ることができる。この方法は比較的に演算量を必要とする。より少ない演算量でパワー比を求める周波数インデックスの範囲を可変にした実施例３を次に説明する。

実施例３の音声楽音擬似広帯域化装置は、実施例２の累積パワー移動計算部１４ａに代えてピーク検出部１４ｂを備える。図１にそのピーク検出部１４ｂを破線で示す。他の構成は実施例１又は２と同じである。ピーク検出部１４ｂの動作フローを図１１に示して動作を説明する。

ピーク検出部１４ｂは、低域領域の低周波数側であるｋ＝０〜（Ｄ/２−ｄ_０−１）の範囲と、高周波数側のｋ＝Ｄ/２〜（Ｄ−ｄ_０−１）の範囲内のそれぞれの最大パワーを示す周波数インデックスｋ_０Ｐとｋ_１Ｐを動的に求めるものである。まず始めにステップＳ９３で変数を初期化する。ｐ_peakは、範囲ｄ_０内の最大パワーの値を格納する変数である。周波数インデックスｋを増やしながらパワーを計算（ステップＳ９４）して、変数ｐ_peakと比較する（ステップＳ９５）。計算したｐ_ｋの方が変数ｐ_peakよりも大きい場合、ステップＳ９６で変数ｐ_peakにｐ_ｋを代入してパワーの大きい方の周波数インデックスｋをｋ_０Ｐとして記録する（ステップＳ９７）。この処理をｋを１ずつ加算（ステップＳ９８）しながらｋ＝（Ｄ/２−ｄ_０−１）になるまで繰り返す（ステップＳ９９）。そのように動作すると、ｋ_０Ｐにはｋ＝０〜（Ｄ/２−ｄ_０−１）の範囲で最大パワーを示す周波数インデックスが記録される。

同様に高周波数側のｋ＝Ｄ/２〜（Ｄ−ｄ_０−１）の範囲内の最大パワーを示す周波数インデックスｋ_１Ｐも求めることができる。動作フローは、上記した動作と同じなので省略する。このようにｋ_０Ｐとｋ_１Ｐを求めた後は、ｋ_０Ｐとｋ_１Ｐをそれぞれ中心として例えばｄ_０の範囲の累積パワーｐ_０とｐ_１を計算してパワー比ｒを求める。または、ｋ_０Ｐ, ｋ_１Ｐを先頭の周波数インデックスｋ_０,ｋ_１として実施例２と同じように累積パワーを求めても良い。実施例３は、実施例２に対して演算量を１/ｄ_０に削減することができる。

また、最大パワーの代わりに信号振幅の最大値から周波数インデックスｋ_０Ｐとｋ_１Ｐを動的に求め、それぞれを中心とした信号振幅の絶対値和の比ｒ′を計算するようにしても良い。

実施例１ではゲイン係数ｋ_ＨＧを、複数の閾値とパワー比ｒとを比較して表２に示したテーブルを用いて決定する例を示した。他の方法として、式（８）に示すように累積パワー比ｒに正の実数αを乗じた値を、ゲイン係数ｋ_ＨＧとするようにしても良い。正の実数αを図１のゲイン決定部１４内に破線で示す。
ｋ_ＨＧ＝α・ｒ （８）

例えば、α＝０．５のように１以下の値にすれば、ゲイン係数ｋ_ＨＧを細かく設定することができる。また、正の実数αをパラメータとすることで、ゲイン係数ｋ_ＨＧを容易に変更することが可能になるのでゲイン係数ｋ_ＨＧの設定と調整を容易にする効果を奏する。なお、正の実数αを乗じた値をゲイン係数とするのは、信号振幅の絶対値和の比ｒ′の場合にも適用が可能である。

〔シミュレーション結果〕
この発明で提案した音声楽音擬似広帯域化装置で擬似広帯域化処理を施した場合と、その処理を行なわない場合の音声の音質を、５段階ＭＯＳ主観評価で評価した結果を図１２に示す。横軸は処理の有無を示し、縦軸はＭＯＳ主観評価値である。数値が大きいほど良い評価結果を示す。

シミュレーション条件：男性音源４名分、女性音源４名分について、この発明の擬似広帯域化処理を行なった場合と行わない場合とについて、一般人２４名に評価してもらった。擬似広帯域化処理を行なわない場合のＭＯＳ値＝３.１９に対して、この発明の擬似広帯域化処理を行なった場合、０．３６ポイント向上したＭＯＳ値＝３．５５の結果を得ることができた。このようにこの発明による音声楽音擬似広帯域化装置及び方法によれば、擬似広帯域音声の音声品質を向上させることができる。

なお、上記した実施例の説明では、例えばサンプリング周波数８ｋＨｚ、フレーム時間長を２０ｍｓといった電話システムを前提にしたような例を示したが、この発明はこの例に限定されるものではない。この発明は、音声楽音信号を広帯域化する技術として広く利用することが可能である。

また、この発明である装置及び方法は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記装置及び方法において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

この発明の音声楽音擬似広帯域化装置の実施例１乃至４の機能構成例を示す図。 実施例１の動作フローを示す図。 高域信号生成処理（ステップＳ１３）の具体的な動作フローを示す図。 高域信号生成処理の処理結果を模式的に示す図。 高域信号生成処理の他の処理方法を模式的に示す図であり、（ａ）は低域周波数領域信号ＩｎＦｒｅｑ（ｋ）を示す図、（ｂ）は高域信号生成部１３でコピーした高域領域の信号を示す図、（ｃ）は結合部１６で合成された擬似広帯域周波数信号を示す図である。 ゲイン決定処理（ステップＳ１４）の具体的な動作フローを示す図。 ゲイン決定処理の具体的な他の動作フローを示す図。 音声信号のスペクトル構造の例を示す図であり、（ａ）は、高域になるほど振幅が低下する構造を示す図、（ｂ）は（ａ）を擬似広帯域処理したスペクトルを示す図である。 音声信号のスペクトル構造の例を示す図であり、（ａ）は、高域になるほど振幅が増加する構造を示す図、（ｂ）は（ａ）を擬似広帯域処理したスペクトルを示す図である。 累積パワー移動計算部１４ａの一部の動作フローを示す図。 ピーク検出部１４ｂの動作フローを示す図。 ５段階ＭＯＳ主観評価の評価結果を示す図。 従来の音声擬似広帯域化方法の手順を示す図。 音声信号の周波数スペクトルの例を示す図であり、（ａ）は低域から高域に向かって信号の振幅が減衰する有声部の周波数スペクトルを示す図、（ｂ）は（ａ）の信号を従来の音声楽音擬似広帯域化方法で擬似広帯域処理した周波数スペクトルを示す図である。 音声信号の周波数スペクトルの例を示す図であり、（ａ）は低域から高域に向かって信号の振幅が増加する無声部の周波数スペクトルを示す図、（ｂ）は（ａ）の信号を従来の音声楽音擬似広帯域化方法で擬似広帯域処理した周波数スペクトルを示す図である。

Claims (8)

1. 離散値化された狭帯域音声楽音信号を周波数領域の信号に変換し、低域領域の信号を生成する周波数変換部と、
   上記低域領域の信号の一部または全部を複写して高域領域の信号を生成する高域信号生成部と、
   上記低域領域の周波数帯域を４等分した帯域のうち、低域側から２番目の帯域の信号の累積パワーと低域側から３番目の帯域の信号の累積パワーとの比、または上記低域領域の周波数帯域を４等分した帯域のうち、低域側から２番目の帯域の振幅の絶対値和と低域側から３番目の帯域の信号の振幅の絶対値和との比と、予め定めた閾値との大小関係に基づいて、予め定めた複数のゲイン係数の中から１つのゲイン係数を決定するゲイン決定部と、
   上記高域領域の信号に上記ゲイン係数を乗じて強調高域信号を生成するゲイン乗算部と、
   上記低域領域の信号と上記強調高域信号を合わせて擬似広帯域周波数信号を生成する結合部と、
   上記擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換して出力する周波数逆変換部と、を具備する音声楽音擬似広帯域化装置。
2. 離散値化された狭帯域音声楽音信号を周波数領域の信号に変換し、低域領域の信号を生成する周波数変換部と、
   上記低域領域の信号の一部または全部を複写して高域領域の信号を生成する高域信号生成部と、
   上記低域領域内の周波数帯域を２等分した低域側で、最も低い周波数から、最も高い周波数の値よりも予め定めた値だけ小さな周波数までの各周波数毎に、該周波数から上記予め定めた値の範囲内の信号の累積信号パワーを求め、上記各周波数毎の累積信号パワーのうち最大となる累積信号パワーを得た第１の周波数を求め、上記低域領域内の周波数帯域を２等分した高域側で、最も低い周波数から、最も高い周波数の値よりも予め定めた値だけ小さな周波数までの各周波数毎に、該周波数から上記予め定めた値の範囲内の信号の累積信号パワーを求め、上記各周波数毎の累積信号パワーのうち最大となる累積信号パワーを得た第２の周波数を求める累積パワー移動計算部と、
   上記第１の周波数で得られた累積信号パワーと上記第２の周波数で得られた累積信号パワーとの比と、予め定めた閾値との大小関係に基づいて、予め定めた複数のゲイン係数の中から１つのゲイン係数を決定するゲイン決定部と、
   上記高域領域の信号に上記ゲイン係数を乗じて強調高域信号を生成するゲイン乗算部と、
   上記低域領域の信号と上記強調高域信号を合わせて擬似広帯域周波数信号を生成する結合部と、
   上記擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換して出力する周波数逆変換部と、を具備する音声楽音擬似広帯域化装置。
3. 離散値化された狭帯域音声楽音信号を周波数領域の信号に変換し、低域領域の信号を生成する周波数変換部と、
   上記低域領域の信号の一部または全部を複写して高域領域の信号を生成する高域信号生成部と、
   上記低域領域内の周波数帯域を２等分した低域側で、最も低い周波数から、最も高い周波数の値よりも予め定めた値だけ小さな周波数までの各周波数毎に、該周波数から上記予め定めた値の範囲内の信号の振幅の絶対値和を求め、上記各周波数毎の振幅の絶対値和のうち最大となる振幅の絶対値和を得た第１の周波数を求め、上記低域領域内の周波数帯域を２等分した高域側で、最も低い周波数から、最も高い周波数の値よりも予め定めた値だけ小さな周波数までの各周波数毎に、該周波数から上記予め定めた値の範囲内の信号の振幅の絶対値和を求め、上記各周波数毎の振幅の絶対値和のうち最大となる振幅の絶対値和を得た第２の周波数を求める累積パワー移動計算部と、
   上記第１の周波数で得られた振幅の絶対値和と上記第２の周波数で得られた振幅の絶対値和との比と、予め定めた閾値との大小関係に基づいて、予め定めた複数のゲイン係数の中から１つのゲイン係数を決定するゲイン決定部と、
   上記高域領域の信号に上記ゲイン係数を乗じて強調高域信号を生成するゲイン乗算部と、
   上記低域領域の信号と上記強調高域信号を合わせて擬似広帯域周波数信号を生成する結合部と、
   上記擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換して出力する周波数逆変換部と、を具備する音声楽音擬似広帯域化装置。
4. 周波数変換部が、離散値化された狭帯域音声楽音信号を周波数領域の信号に変換し、低域領域の信号を生成する周波数変換過程と、
   高域信号生成部が、上記低域領域の信号の一部または全部を複写して高域領域の信号を生成する高域信号生成過程と、
   ゲイン乗算部が、上記低域領域の周波数帯域を４等分した帯域のうち、低域側から２番目の帯域の信号の累積パワーと低域側から３番目の帯域の信号の累積パワーとの比、または上記低域領域の周波数帯域を４等分した帯域のうち、低域側から２番目の帯域の振幅の絶対値和と低域側から３番目の帯域の信号の振幅の絶対値和との比と、予め定めた閾値との大小関係に基づいて、予め定めた複数のゲイン係数の中から１つのゲイン係数を決定するゲイン決定過程と、
   ゲイン乗算部が、上記高域領域の信号に上記ゲイン係数を乗じて強調高域信号を生成するゲイン乗算過程と、
   結合部が、上記低域領域の信号と上記強調高域信号を合わせて擬似広帯域周波数信号を生成する結合過程と、
   周波数逆変換部が、上記擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換して出力する周波数逆変換過程と、
   を含む音声楽音擬似広帯域化方法。
5. 周波数変換部が、離散値化された狭帯域音声楽音信号を周波数領域の信号に変換し、低域領域の信号を生成する周波数変換過程と、
   高域信号生成部が、上記低域領域の信号の一部または全部を複写して高域領域の信号を生成する高域信号生成過程と、
   累積パワー移動計算部が、上記低域領域内の周波数帯域を２等分した低域側で、最も低い周波数から、最も高い周波数の値よりも予め定めた値だけ小さな周波数までの各周波数毎に、該周波数から上記予め定めた値の範囲内の信号の累積信号パワーを求め、上記各周波数毎の累積信号パワーのうち最大となる累積信号パワーを得た第１の周波数を求め、上記低域領域内の周波数帯域を２等分した高域側で、最も低い周波数から、最も高い周波数の値よりも予め定めた値だけ小さな周波数までの各周波数毎に、該周波数から上記予め定めた値の範囲内の信号の累積信号パワーを求め、上記各周波数毎の累積信号パワーのうち最大となる累積信号パワーを得た第２の周波数を求める累積パワー移動計算過程と、
   ゲイン決定部が、上記第１の周波数で得られた累積信号パワーと上記第２の周波数で得られた累積信号パワーとの比と、予め定めた閾値との大小関係に基づいて、予め定めた複数のゲイン係数の中から１つのゲイン係数を決定するゲイン決定過程と、
   ゲイン乗算部が、上記高域領域の信号に上記ゲイン係数を乗じて強調高域信号を生成するゲイン乗算過程と、
   結合部が、上記低域領域の信号と上記強調高域信号を合わせて擬似広帯域周波数信号を生成する結合過程と、
   周波数逆変換部が、上記擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換して出力する周波数逆変換過程と、
   を含む音声楽音擬似広帯域化方法。
6. 周波数変換部が、離散値化された狭帯域音声楽音信号を周波数領域の信号に変換し、低域領域の信号を生成する周波数変換過程と、
   高域信号生成部が、上記低域領域の信号の一部または全部を複写して高域領域の信号を生成する高域信号生成過程と、
   累積パワー移動計算部が、上記低域領域内の周波数帯域を２等分した低域側で、最も低い周波数から、最も高い周波数の値よりも予め定めた値だけ小さな周波数までの各周波数毎に、該周波数から上記予め定めた値の範囲内の信号の振幅の絶対値和を求め、上記各周波数毎の振幅の絶対値和のうち最大となる振幅の絶対値和を得た第１の周波数を求め、上記低域領域内の周波数帯域を２等分した高域側で、最も低い周波数から、最も高い周波数の値よりも予め定めた値だけ小さな周波数までの各周波数毎に、該周波数から上記予め定めた値の範囲内の信号の振幅の絶対値和を求め、上記各周波数毎の振幅の絶対値和のうち最大となる振幅の絶対値和を得た第２の周波数を求める累積パワー移動計算過程と、
   ゲイン決定部が、上記第１の周波数で得られた振幅の絶対値和と上記第２の周波数で得られた振幅の絶対値和との比と、予め定めた閾値との大小関係に基づいて、予め定めた複数のゲイン係数の中から１つのゲイン係数を決定するゲイン決定過程と、
   ゲイン乗算部が、上記高域領域の信号に上記ゲイン係数を乗じて強調高域信号を生成するゲイン乗算過程と、
   結合部が、上記低域領域の信号と上記強調高域信号を合わせて擬似広帯域周波数信号を生成する結合過程と、
   周波数逆変換部が、上記擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換して出力する周波数逆変換過程と、
   を含む音声楽音擬似広帯域化方法。
7. 請求項１乃至３の何れかに記載された音声楽音擬似広帯域化装置としてコンピュータを機能させるためのプログラム。
8. 請求項７に記載した何れかのプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images