JP4813796B2 - 信号を合成するための方法、記憶媒体及びコンピュータシステム - Google Patents

Description

本発明は、音声や音楽を合成する分野に関し、特に制限なしにテキスト音声合成の分野に関する。

テキスト音声（ＴＴＳ―Text-To-Speech―）合成システムの機能は、ある言語の一般的なテキストから音声を合成することである。今日、ＴＴＳシステムは、電話網を介してのデータベースへのアクセスや心身障害者の援助など多くの用途に対して実用化されている。１つの方法では、半音節や多音字など、記録された音声の小単位の組の要素をつなぎ合わせることによって音声を合成する。大多数の成功を収めた商業システムは、多音字の連結を使用している。多音字は、２つ（２音字）、３つ（３音字）または更に多くの音のグループを含んでおり、また安定したスペクトル領域で所望の音の分類を区切ることにより、無意味語から割り出すことができる。合成の基礎となる連結において、２つの隣接音間の移行の会話は、合成音声の品質を確保するのに重要である。基本小単位として多音字を選択するので、２つの隣接する音の間の移行は記録された小単位において保存され、また連結は類似する音の間で行なわれる。

しかし、合成の前に、音の継続時間とピッチとを修正して、このような音を含む新しい語の音律的制約を満たす必要がある。この処理は、単調な音の合成音声の生成を回避するのに必要である。ＴＴＳシステムにおいて、この機能は音律モジュールによって行なわれる。記録された小単位で継続時間とピッチの修正を可能にするために、多数の連結に基づくＴＴＳシステムでは合成の時間領域ピッチ同期重畳追加（ＴＤ−ＰＳＯＬＡ―Time-Domain Pitch-Synchronous Overlap-Add―）（E. MoulinesおよびF.Charpentier、「２音字を使用するテキスト音声合成のためのピッチ同期波形処理技術」、Speech Commun.、第９巻、４５３〜４６７頁、１９９０年）モデルを使用している。

ＴＤ−ＰＳＯＬＡモデルにおいては、まず、音声信号がピッチマーキングアルゴリズムを受ける。このアルゴリズムは、有声セグメントにおける信号のピークでマークを割当て、また無声セグメントにおいては１０ｍｓ離れたマークを割当てる。合成は、ピッチマークに中心を置くハニングウィンドウ化セグメントを重ね合わせ、また前のピッチマークから次のピッチマークに拡張することによって行なわれる。継続時間の修正は、ウィンドウ化セグメントの一部を削除または反復することによって行なわれる。一方、ピッチ期間の修正は、ウィンドウ化セグメントの間の重ね合わせを増加あるいは減少させることによって行なわれる。

多数の商業用ＴＴＳシステムで成功しているにもかかわらず、合成のＴＤ−ＰＳＯＬＡモデルを使用して生成される合成音声は、主に大きな音律的変化を受けると、幾つかの欠点を示すことがある。

ＥＰ−０３６３２３３、ＵＳ−Ａ−５，４７９，５６４、ＥＰ−０７０６１７０は、ＰＳＯＬＡ方法を開示している。特定の例も、Ｔ．ＤｕｔｏｉｔおよびＨ．Ｌｅｉｃｈ、ｉｎ Ｓｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ、Ｅｌｓｅｖｉｅｒ Ｐｕｂｌｉｓｈｅｒ、１９９３年１１月、第１３巻、Ｎ．等級３−４、１９９３年で公表されているように、ＭＢＲ−ＰＳＯＬＡ方法である。米国特許第５，４７９，５６４号の文献に説明されている方法は、この信号から抽出した短期間信号を重畳追加することによって周波数を修正する手段を提案している。短期間信号を得るために使用される重みウィンドウの長さは、音声信号の期間の２倍にほぼ等しく、またこの期間内におけるそれらの位置を何れかの数値に設定することができる（連続するウィンドウ間の時間的推移が音声信号の期間に等しい場合）。米国特許第５，４７９，５６４の文献もまた、不連続性を除去するよう、連結するセグメント間の波形を補間する手段について述べている。ノイズが多い信号を既知のＰＳＯＬＡ方法を使用して合成する場合、信号は周期的に繰り返される。このように、故意でない周期性が周波数スペクトルに導入される。これは金属的な音として認識される。この問題は、無声音部分や音楽など、基本周波数を有さない全てのノイズの多い信号に生じる。「ｓ」音のような無声音部分は、ピッチを有していない。声帯は、有声音のときのように動いていない。その代わりに、ノイズの多いシューという音は、声帯の間の小さな開口を介して空気を押し出すことによって発生する。ささやきは、無声部分のみを含む音声の例である。ピッチが無い場合、ピッチを変更する必要はない。しかし、無声音部分の継続時間を変更することは望ましい。

従って、本発明は、信号に故意でない周期性を導入することなく、無声音部分や音楽の継続時間を修正することを可能にする、信号を合成する方法を提供することを目的とする。

本発明は、元の信号に基づいて、特にノイズの多い信号である信号を合成する方法を提供する。また、本発明は、このような合成を行なうコンピュータプログラム製品と、特にテキスト音声システムである対応するコンピュータシステムとを提供する。

本発明によれば、合成する信号の必要ピッチベル位置が決定される。これは、例えば１００Ｈｚの想定周波数に基づいて行なわれる。この選択された周波数は、ピッチ期間に対応する。合成する信号の必要ピッチベル位置は、ピッチ期間の長さを有する間隔で、時間軸上で離間している。必要ピッチベル位置は元の信号上にマッピングされて、元の信号の領域におけるピッチベル位置が与えられる。元の信号の領域におけるピッチベル位置は、ランダムに移動される。好適には、ランダム化は、＋／−ピッチ期間内で元の信号領域のピッチベル位置を移動することによって行なわれる。

本発明の実施例によれば、ウィンドウ化は正弦ウィンドウを使用することにより行なわれる。正弦ウィンドウの利点は、残留する周期性を減少させるのに役立つことである。特に、正弦ウィンドウを使用することは、パワードメインにおける信号エンベロープを一定に保つことを確実にすることにおいて有利である。周期的信号とは異なり、２つのノイズサンプルを追加する場合、合計は２つのサンプルの一方の絶対値よりも小さくなりえる。。これは、信号が（多くの場合）同相でないためである。正弦ウィンドウはこの効果に合わせて調整を行ない、エンベロープ変調を除去する。

以下において、本発明の好適な実施例を、図面を参照して更に詳細に説明する。

図１のフローチャートは、信号を合成する方法の実施例を示している。ステップ１００において、ｙの継続時間を有する元の信号が提供される。例えば、元の信号は、ノイズの多い信号特性を有する無声音または音楽信号を含む自然音声信号である。また、基本周波数ｆは、元の信号がそのノイズの多い特性のためにこのような基本周波数を有していないにもかかわらず、選択される。周波数ｆの選択は、ピッチ期間ｐの選択に対応する。周波数ｆの適切な選択は、５０Ｈｚから２００Ｈｚの間、好適には１００Ｈｚである。また、合成される信号の所望の継続時間ｘは、ステップ１００において入力される。ステップ１０２において、合成される信号の領域におけるピッチベル位置は、周波数ｆおよびピッチ期間ｐの選択に応じて決定される。これは、合成される信号の領域における時間軸を長さｐの間隔に分割することによって行なわれる。ステップ１０４において、ピッチベル位置は、合成される信号の領域から、元の信号の領域上にマッピングされる。継続時間ｘが元の信号の継続時間ｙよりも長い場合、これは、元の信号の領域におけるピッチベル位置ｉがピッチ期間ｐよりも短い間隔で離間していることを意味している。逆の場合、元の信号の領域におけるピッチベル位置ｉ間の間隔は、ピッチベル位置と合成される信号の領域との間の間隔よりも長くなる。ステップ１０６において、元の信号の領域におけるピッチベル位置ｉはランダム化される。これは、元のピッチベル位置ｉ周辺で＋／−ｐの間隔内でピッチベル位置ｉのそれぞれをランダムに移動させることによって、行なうことができる。擬似乱数生成器を使用して、このランダム化を行なうことが可能である。ステップ１０８では、元の信号の領域においてウィンドウ化を行なう。好適には、これは、ランダム化されたピッチベル位置ｉ′に適用される正弦ウィンドウを使用することによって行なわれ、このように周期性は更に軽減される。ステップ１１０では、結果として生じたピッチベルは、合成される信号の領域において重畳および追加され、これによって合成信号が得られる。

図２は、一例としてこの信号合成を示している。時間軸２００は、合成される信号の領域に存在する。合成される信号の必要継続時間ｘは、ここで考察する例では二分の一である。想定周波数ｆは１００Ｈｚであり、これは１０ミリ秒のピッチ期間ｐに対応する。これは、時間軸２００上の合成される信号の領域における必要ピッチベル位置が、ｐ＝１０ミリ秒の間隔で離間されている、すなわち第１ピッチベル位置が時間軸２００上のゼロ秒に位置し、次のピッチベル位置が１０ミリ秒に位置し、また次のピッチベル位置が２０ミリ秒に位置し、以下同様であることを意味している。換言すれば、合成される信号の領域におけるピッチベル位置は、時間ゼロで開始するｐの間隔で離間する時間軸２００上の点によって決定される。時間軸２００上のピッチベル位置は、元の信号の領域における時間軸２０２にマッピングされる。元の信号は、ｙ＝０．５秒の継続時間を有している。継続時間ｙが合成される信号の継続時間ｘよりも短くなると、これはピッチベル位置を時間軸２０２上で「圧縮」する必要があることを意味している。継続時間ｙが継続時間ｘの半分であれば、時間軸２０２上のマッピングされたピッチベル位置の間隔は、ｐではなくｐ／２だけ離間している。これは、第１ピッチベル位置ｉ＝１が時間軸２０２上のゼロミリ秒に位置し、次のピッチベル位置ｉ＝２が５ミリ秒に位置し、次のピッチベル位置ｉ＝３が１０ミリ秒に位置し、以下同様であることを意味している。換言すれば、時間軸２００上の時間ゼロミリ秒の第１ピッチベル位置は、ゼロミリ秒で時間軸２０２上のピッチベル位置ｉ＝１にマッピングされ、また時間軸２００上の１０ミリ秒の必要ピッチベル位置は、時間軸２０２上の５ミリ秒のピッチベル位置ｉ＝２にマッピングされ、更に時間軸２００上の２０ミリ秒の必要ピッチベル位置は、時間軸２０２上の時間１０ミリ秒のピッチベル位置ｉ＝３にマッピングされ、以下同様である。次に、ピッチベル位置ｉはランダム化される。これを、時間軸２０２上の第１ピッチベル位置ｉ＝１について図２に示す。ゼロミリ秒周辺の＋／−ｐの間隔は、時間軸２０２上で定義される。この間隔内で、ピッチベル位置ｉ＝１はランダムに移動される。ピッチベル位置ｉ＝１の場合、間隔は時間軸２０２上で−１０ミリ秒から＋１０ミリ秒の間である。ここで考察する例では、これによって、時間軸２０２上の７．５ミリ秒のランダム化されたピッチベル位置ｉ′が得られる。この位置で、元の信号はウィンドウ関数２０４を使用することによってウィンドウ化される。好適には、以下のウィンドウを使用してウィンドウ関数２０４を得る。

好適には、ピッチベル位置ｉのランダム化は、以下の式に従って行なわれる。
ｉ′＝ｉ＋（Ｒｘｐ）
ここで、ｉは時間軸２０２上の元のピッチベル位置を表し、ｉ′はランダム化後の新たなピッチベル位置であり、Ｒは−１から１の間の乱数であり、またｐはピッチ期間である。元の信号をウィンドウ化した結果が、ピッチベルである。このピッチベルは、図２に示すように、時間軸２００上の合成される信号の領域内の第１必要ピッチベル位置に位置している。このプロセスは、時間軸上の全ての必要ピッチベルに対して繰り返される。これらのピッチベルは追加され、これによって長さｘの所望の合成信号が生じる。

図３は、テキスト音声システムなどのコンピュータシステムのブロック図を示している。コンピュータシステム３００は、ｙの継続時間を有する元の信号を記憶するモジュール３０２を有している。また、コンピュータシステム３００は、予め選択した周波数ｆまたはピッチｐを記憶するモジュール３０４を有している。モジュール３０６は、合成される信号の必要継続時間ｘと予め選択した周波数ｆまたはピッチｐとに基づいて、合成される信号の必要ピッチベル位置を決定するよう機能する。モジュール３０８は、合成される信号の領域における必要ピッチベル位置を元の信号の領域上にマッピングするよう機能する。このように、ピッチベル位置ｉは、図２の例に示すように決定される。モジュール３１０は、ピッチベル位置ｉをランダム化するよう機能する。モジュール３１０はランダム化プロセスの乱数を与えるモジュール３１２に結合される。モジュール３１４は、ランダム化されたピッチベル位置ｉ′上で元の信号のウィンドウ化を行なうよう機能する。そして、結果として得られるピッチベルは、モジュール３１６を使用することにより、合成される信号の領域において重畳および追加される。これにより、所望の継続時間ｙの合成信号が得られる。

本発明の実施例のフローチャートを示している。 無声音信号を合成する例を示している。 コンピュータシステムの好適な実施例のブロック図である。

符号の説明

２００ 時間軸
２０２ 時間軸
２０４ ウィンドウ関数
３００ コンピュータシステム
３０２ モジュール
３０４ モジュール
３０６ モジュール
３０８ モジュール
３１０ モジュール
３１２ モジュール
３１４ モジュール
３１６ モジュール

Claims (9)

1. 信号を合成する方法であって、
   ａ）合成される信号の領域における必要ピッチベル位置を決定する工程と、
   ｂ）第１ピッチベル位置を得るために前記必要ピッチベル位置を元の信号上にマッピングする工程と、
   ｃ）第２ピッチベル位置を得るために前記第１ピッチベル位置をランダムに移動させる工程と、
   ｄ）ピッチベルを得るために前記第２ピッチベル位置上で前記元の信号についてウィンドウ化を行なう工程と、
   ｅ）前記合成される信号の領域における前記必要ピッチベル位置に、得られた前記ピッチベルを置く工程と、
   ｆ）前記合成される信号の全ての必要ピッチベル位置に対して工程ａ）からｅ）までを繰り返し、合成される前記信号の前記領域における前記ピッチベルに対して重畳および追加操作を行なう工程と
   を有する方法。
2. 前記必要ピッチベル位置を決定する工程が、合成される信号の必要長さを時間間隔に分割することによって行なわれ、前記時間間隔のそれぞれがピッチの長さを有する、請求項１に記載の方法。
3. 第２ピッチベル位置を得るために前記第１ピッチベル位置をランダムに移動させる前記工程が、前記第１ピッチベル位置を、±ピッチの長さの範囲内でランダムに移動させることにより行なわれる、請求項１または２に記載の方法。
4. Ｒが−１から１の間の乱数であり、ｐが前記ピッチであり、前記第２ピッチベル位置ｉ′を得るために前記第１ピッチベル位置ｉをランダムに移動させる前記工程が、以下の式
   ｉ′＝ｉ＋（Ｒｘｐ）
   に従って行なわれる、前記請求項１、２または３のいずれか１つに記載の方法。
5. ウィンドウ化が正弦ウィンドウを用いて行なわれる、前記請求項１ないし４のいずれか１つに記載の方法。
6. ｍが前記ウィンドウの長さであり、ｎが実行指数であるときに、ウィンドウ化が以下の正弦ウィンドウ関数
   

   

   を用いて行なわれる、前記請求項１ないし５のいずれか１つに記載の方法。
7. 前記元の信号が基本周波数を有しておらず、また前記元の信号が好適には無声音または音楽を含んでいる、前記請求項１ないし６のいずれか１つに記載の方法。
8. コンピュータにより実行された場合に或る方法を該コンピュータに実行させるプログラムを格納したコンピュータ読取可能な記憶媒体であって、前記方法は、
   ａ）合成される信号の領域における必要ピッチベル位置を決定する工程と、
   ｂ）第１ピッチベル位置を得るために前記必要ピッチベル位置を元の信号上にマッピングする工程と、
   ｃ）第２ピッチベル位置を得るために前記第１ピッチベル位置をランダムに移動させる工程と、
   ｄ）ピッチベルを得るために前記第２ピッチベル位置上で前記元の信号についてウィンドウ化を行なう工程と、
   ｅ）前記合成される信号の領域における前記必要ピッチベル位置に、得られた前記ピッチベルを置く工程と、
   ｆ）前記合成される信号の全ての必要ピッチベル位置に対して工程ａ）からｅ）までを繰り返し、合成される前記信号の前記領域における前記ピッチベルに対して重畳および追加操作を行なう工程と
   を有する、コンピュータ読取可能な記憶媒体。
9. 信号を合成するテキスト音声合成システムであるコンピュータシステムであって、
   ａ）合成される信号の領域における必要ピッチベル位置を決定する工程と、
   ｂ）第１ピッチベル位置を得るために前記必要ピッチベル位置を元の信号上にマッピングする工程と、
   ｃ）第２ピッチベル位置を得るために前記第１ピッチベル位置をランダムに移動させる工程と、
   ｄ）ピッチベルを得るために前記第２ピッチベル位置上で前記元の信号についてウィンドウ化を行なう工程と、
   ｅ）前記合成される信号の領域における前記必要ピッチベル位置に、得られた前記ピッチベルを置く工程と、
   ｆ）前記合成される信号の全ての必要ピッチベル位置に対して工程ａ）からｅ）までを繰り返し、合成される前記信号の前記領域における前記ピッチベルに対して重畳および追加操作を行なう工程と
   を実行する手段を有するコンピュータシステム。

Images