JP4869898B2 - 音声合成装置及び音声合成方法 - Google Patents

Description

この発明は、任意の文章から人工的に音声信号を作り出す音声合成技術に関するものである。

任意の文章から人工的に音声信号を作り出すテキスト音声合成では、入力テキストに対して言語解析処理、韻律生成処理を行って得られる音韻記号や韻律情報（ピッチ、音韻継続時間長など）などの情報から音声信号を生成する。
その音声生成処理は、母音をＶ、子音をＣで表した、ＣＶ、ＣＶＣ、ＶＣＶといった基本となる小さな単位の特徴パラメータを音声素片として記憶しておき、これらを指定された音韻記号に従って選択的に読み出した後、その音韻記号に対応する韻律情報に従ってピッチや音韻継続時間長を制御して順次接続することにより、音声を合成するというものである。

このような音声生成処理において、音声素片のピッチや音韻継続時間長を制御して接続する際に、音声素片における音声波形のピッチ周期に対応する１周期毎の時間的基準位置を表現する情報として、あらかじめ音声素片を個別に分析して設定されたピッチマークを用いる。
従来の音声合成装置では、韻律生成処理を行って得られる韻律情報に従って生成される合成音声のピッチマークに、音声素片のあらかじめ設定されたピッチマークを合わせることにより、音声素片のピッチや音韻継続時間長の制御及び音声素片の接続を行っていた。（例えば、非特許文献１）。

F.J. Charpentier and M.G. Stella, "Diphone synthesis using an overlap-add technique for speech waveforms concatenation", ICASSP 86, pp. 2015-2018, Tokyo, 1986

従来の音声合成装置では、音声素片のピッチマークはあらかじめ音声素片を個別に分析して設定されているにすぎないため、合成の際の音声素片の接続が全く考慮されていないという問題があった。すなわち、音声素片を接続して合成音声を生成した際に、音声素片の接続点においてピッチ周期性が乱れるなどの不連続が発生し、合成音声品質が劣化する場合があるという問題があった。

例えば、第１の音声素片と第２の音声素片とを接続して合成音声を生成する場合、図４に示すように、第１の音声素片のピッチ波形におけるピッチマークと第２の音声素片のピッチ波形におけるピッチマークとの位置関係に齟齬があると、各音声素片のピッチマークを合成音声のピッチマークに合わせて合成音声を生成したときに、音声素片の接続部では、韻律生成によって与えられる本来所望のピッチ周期と得られた合成音声のピッチ周期とが異なってしまい、不連続音の発生など合成音声の品質劣化が起こっていた。

この発明は上記のような問題点を解決するためになされたもので、テキスト音声合成による合成音声の音質を効果的に向上させることができる音声合成装置及び音声合成方法を提供することを目的とする。

この発明に係る音声合成装置は、
音声素片における音声波形のピッチ周期に対応する１周期毎の時間的基準位置を表現するピッチマークが設定され、音韻記号・韻律情報が対応付けされた多数の音声素片が格納され、音声合成のため、入力テキストから得られた音韻記号が順次入力され、その音韻記号に基づいて対応する音声素片を順次出力する音声素片辞書と、
音声素片辞書から順次入力される、任意の位置の音声素片のピッチマークを元にこの音声素片に接続される音声素片のピッチマークを補正して、その補正された音声素片のピッチ波形と、音声素片のピッチマークの補正に用いた音声素片のピッチ波形の距離で補正結果を評価する処理を音声素片辞書から順次入力される複数の異なる位置の音声素片に対して行い、補正後の評価結果が最も良好な評価値による補正後の音声素片を基準音声素片とする決定をし、この決定された基準音声素片のピッチマークを元にして、基準音声素片に接続される音声素片のピッチマークを補正し、次いで、この基準音声素片に接続される音声素片の補正されたピッチマークを元にして、この補正されたピッチマークの音声素片に接続される音声素片のピッチマークを補正する処理を順次行うピッチマーク補正手段と、
音声合成のため、入力テキストから得られ、入力された韻律情報に基づいて、上記ピッチマーク補正手段で補正されたピッチマークを用いて音声素片を順次接続して合成音声を生成する音声生成手段とを備える。

この発明に係る音声合成方法は、
音声合成のため、入力テキストから得られ、順次入力される音韻記号に基づいて、音声素片における音声波形のピッチ周期に対応する１周期毎の時間的基準位置を表現するピッチマークが設定され、音韻記号・韻律情報が対応付けされた多数の音声素片が格納された音声素片辞書から、対応する音声素片を順次出力する工程と、
音声素片辞書から順次入力される、任意の位置の音声素片のピッチマークを元にこの音声素片に接続される音声素片のピッチマークを補正して、その補正された音声素片のピッチ波形と、音声素片のピッチマークの補正に用いた音声素片のピッチ波形の距離で補正結果を評価する処理を音声素片辞書から順次入力される複数の異なる位置の音声素片に対して行い、補正後の評価結果が最も良好な評価値による補正後の音声素片を基準音声素片とする決定をし、この決定された基準音声素片のピッチマークを元にして、基準音声素片に接続される音声素片のピッチマークを補正し、次いで、この基準音声素片に接続される音声素片の補正されたピッチマークを元にして、この補正されたピッチマークの音声素片に接続される音声素片のピッチマークを補正する処理を順次行うピッチマーク補正工程と、
音声合成のため、入力テキストから得られ、入力された韻律情報に基づいて、上記ピッチマーク補正工程で補正されたピッチマークを用いて音声素片を順次接続して合成音声を生成する音声生成工程とを備える。

この発明の音声合成装置及び音声合成方法によれば、ピッチマークが設定された音声素片を格納した音声素片辞書が、少なくとも入力された音韻記号に基づいて音声素片を順次出力し、第１の音声素片のピッチマークを元にそれに接続する第２の音声素片のピッチマークをピッチマーク補正手段で補正し、少なくとも入力された韻律情報に基づいて、上記補正されたピッチマークを用いて音声素片を順次接続して合成音声を音声生成手段で生成するので、音声素片を接続して合成音声を生成した際に、音声素片の接続点においてピッチ周期性が乱れるなどの不連続を解消することができ、高品質な合成音声を得る効果がある。

実施の形態１．
図１は、この発明の実施の形態１による音声合成装置の構成を示す構成図である。
図において、音声合成装置１は、入力された音韻記号・韻律情報１００に基づいて、合成音声２００を生成する。
上記音声合成装置１は、音声素片辞書２、ピッチマーク補正手段３、音声生成手段４を備えている。音声素片辞書２は、ピッチマークが設定された多数の音声素片が格納されており、入力された音韻記号・韻律情報１００に基づいて音声素片を選択して出力する。ピッチマーク補正手段３は、音声素片辞書２から出力された音声素片のピッチマークを補正し、当該ピッチマークを補正した音声素片を出力する。音声生成手段４は、入力された音韻記号・韻律情報１００に基づいて、ピッチマーク補正手段３から出力された音声素片を順次接続して合成音声２００を生成する。

次に、実施の形態１の動作について説明する。
図２は、音声合成装置の動作の流れを示すフローチャートである。
本実施の形態において、音声合成装置１に入力される音韻記号・韻律情報１００は、例えば、音韻記号、ピッチ、音韻継続時間長、パワーなどの情報であり、例えば、テキスト音声合成のための入力テキストに対して言語解析処理、韻律生成処理を行って得られたものである。音声合成装置１には、入力テキストから得られた複数の音韻記号・韻律情報１００が順次入力される。

上記のような音韻記号・韻律情報１００が音声合成装置１に入力されると、音声素片辞書２は、入力された音韻記号・韻律情報１００のうち少なくとも音韻記号の情報に従って音声素片を選択し、この選択した音声素片をピッチマーク補正手段３に出力する（ステップＳ１）。
次に、ピッチマーク補正手段３は、入力された音声素片のピッチマークを補正して、このピッチマークを補正した音声素片を音声生成手段４に出力する（ステップＳ２）。
ピッチマーク補正手段３におけるピッチマーク補正方法は、例えば、まず、先に音声生成手段４に出力したピッチマークを補正した第１の音声素片の終端のピッチ波形ｗ１（ｐ１＋ｎ）（ｎ＝−Ｔ／２，…，Ｔ／２）と、新たに音声素片辞書２から入力された第２の音声素片の始端近傍におけるピッチ波形ｗ２（ｐ２＋ｎ）（ｎ＝−Ｔ／２，…，Ｔ／２）とを抽出する。ここで、ｐ１は第１の音声素片の補正されたピッチマークであり、ｐ２は第２の音声素片のピッチマーク候補位置である。また、Ｔは、例えば次式（１）のように、第１の音声素片のピッチ周期Ｔ１および第２の音声素片のピッチ周期Ｔ２のうち、周期長の小さい方をＴとする、などとして設定する。

ただし、ｍｉｎ（Ｔ１，Ｔ２）はＴ１，Ｔ２の中の最小値を表す関数である。

次に、ピッチマーク補正手段３は、第１の音声素片のピッチ波形ｗ１と第２の音声素片のピッチ波形ｗ２との距離に関する評価値を用いて第２の音声素片のピッチマークを補正する。
この実施の形態ではピッチ波形の距離に関する評価値として２つのピッチ波形の相互相関値Ｃを用い、２つのピッチ波形の相互相関値Ｃを求めて、相関値Ｃから第２の音声素片のピッチマークを補正する構成としている。
以下さらに詳しく説明する。次式（２）に示すように、第２の音声素片のピッチマーク候補点ｐ２を順次変更して上記抽出した２つのピッチ波形の相互相関値Ｃを求め、Ｃが最大となるｐ２を求め、これを第２の音声素片の始端における補正したピッチマークとする。

ただし、ピッチマーク候補点ｐ２の探索範囲は、例えば第２の音声素片の始端からＴ２／２の位置ないし３Ｔ２／２の位置までなど、第２の音声素片の始端近傍に限定する。上記Ｃが最大となる第２の音声素片の始端におけるピッチマークｐ２を基準に、あらかじめ設定された第２の音声素片のピッチマークから得られるピッチ周期に従って、第２の音声素片全体に渡って補正したピッチマークを求める。

次に、音声生成手段４は、入力された音韻記号・韻律情報１００に従って、合成音声のピッチマークを生成する。そして、上記ピッチマークを補正した音声素片のピッチ・継続時間長を制御し（ステップＳ３）、制御して得られた音声素片のピッチマークを合成音声のピッチマークに合わせて順次接続・合成する（ステップＳ４）。以上のステップＳ１からステップＳ４の処理を、入力テキストから得られた複数の音韻記号・韻律情報１００が終了するまで繰り返して音声を生成し（ステップＳ５）、この音声を合成音声２００として出力する。なお、上記ステップＳ２のピッチマークを補正する処理およびＳ４の音声素片を順次接続・合成する処理については、実際には、２つ目の音声素片の処理以降（接続すべき音声素片が存在する場合のみ）行われることになる。

以上のように、実施の形態１の音声合成装置によれば、ピッチマークが設定された音声素片を格納し、少なくとも入力された音韻記号に基づいて音声素片を順次出力する音声素片辞書と、第１の音声素片のピッチマークを元に第２の音声素片のピッチマークを補正するピッチマーク補正手段と、少なくとも入力された韻律情報に基づいて、上記補正されたピッチマークを用いて音声素片を順次接続して合成音声を生成する音声生成手段とを備えたので、音声素片を接続して合成音声を生成した際、図３に示すように、音声素片の接続点においてピッチ周期性が乱れるなどの不連続を解消することができ、高品質な合成音声を得る効果がある。

また、実施の形態１の音声合成装置によれば、少なくとも第１の音声素片のピッチ波形およびピッチマークと第２の音声素片のピッチ波形とに基づいて、第２の音声素片のピッチマークを補正するため、従来の音声合成装置における音声素片辞書内に既に格納されている情報のみを用いてピッチマークの補正が可能であり、従来の音声合成装置を基に小規模な変更で高品質な合成音声を得る効果がある。

また、実施の形態１の音声合成装置によれば、第１の音声素片のピッチ波形と第２の音声素片のピッチ波形との距離に関する評価値を用いて、評価値が最大あるいは最小となるときの第２の音声素片における第１の音声素片のピッチマークに対応する位置を、第２の音声素片の補正されたピッチマークとするため、単純な算術演算のみで明確にピッチマーク補正が可能であり、簡易に高品質な合成音声を得る効果がある。

また、実施の形態１の音声合成装置によれば、第１の音声素片のピッチ波形と第２の音声素片のピッチ波形との距離に関する評価値として、第１の音声素片のピッチ波形と第２の音声素片のピッチ波形との相関を用いて第２の音声素片のピッチマークを補正するため、第１の音声素片と第２の音声素片との接続部において合成音声のピッチ相関が高くなりピッチ周期性が乱れるなどの不連続を解消することができ、高品質な合成音声を得る効果がある。

実施の形態２．
実施の形態１では、順次入力される音韻記号・韻律情報１００に従って、音声素片を選択し、ピッチマークを補正し、順次接続・合成して合成音声２００を生成している。すなわち、入力される音韻記号・韻律情報１００に対応する先頭の音声素片のピッチマークの補正は行わず、この先頭の音声素片のピッチマークを基準に以後の音声素片のピッチマークを補正しているが、これに代えて、音韻記号・韻律情報１００の末尾より逆順に従って音声素片を選択し、末尾の音声素片のピッチマークの補正を行わず、この末尾の音声素片のピッチマークを基準にそれ以前の音声素片のピッチマークを補正しても良い。さらに、先頭・末尾にかかわらず任意の位置の音声素片を基準として、その基準とする音声素片のピッチマークの補正を行わず、それ以前及び以後の音声素片のピッチマークを順次補正しても良い。

このように構成することにより、例えばアクセント位置やパワーの大きい位置など主観的に重要な位置に対応する音声素片のピッチマークは補正しない、すなわち、音声素片辞書にて設定されている本来正しいと考えられるピッチマークを使用することができ、基準とする音声素片を固定とする場合に比較して高品質な合成音を得る効果がある。

実施の形態３．
上記実施の形態１及び実施の形態２では、基準とする音声素片を予め１つ設定しているが、これに代えて、まず複数の音声素片を候補として、各候補を基準として音声素片のピッチマークを補正した場合の補正結果を評価し、その評価結果に応じて基準とする音声素片を決定するなど、事後的に基準とする音声素片を設定するとしても良い。このピッチマーク補正の評価は、例えば、音声素片辞書におけるピッチマーク設定に用いた評価基準において補正後のピッチマークの評価値を求める、あるいは音声素片辞書にて設定されているピッチマークと補正後のピッチマークとの差分量を評価値とするなどとし、その評価値の平均が最良となるものや、評価値の最悪値が最良となるものを、総合的に最良であるなどとする。

このように構成することにより、合成音声全体に渡ってピッチマーク補正の影響を考慮する、すなわち、生成される合成音声の品質を考慮してピッチマーク補正をすることができるので、ピッチマーク補正の影響を考慮せず予め基準とする音声素片を設定する場合に比較して高品質な合成音声を得る効果がある。

実施の形態４．
実施の形態３では、ピッチマークの補正を行わない基準となる音声素片を設定しているが、これに代えて、合成音声生成に用いる全ての音声素片においてピッチマーク補正を行うとしても良い。すなわち、基準となる音声素片において複数のピッチマーク候補を設定し、各ピッチマーク候補を基準に全ての音声素片のピッチマークを補正し、その補正結果を評価して最良のピッチマーク候補を選択するなどとしても良い。

このように構成することにより、ピッチマーク補正の自由度が増し、必ずピッチマークの補正を行わない音声素片を１つ設定する場合に比較して高品質な合成音声を得る効果がある。

実施の形態５．
上記実施の形態１から実施の形態４では、式（２）に従って、第１の音声素片のピッチ波形と第２の音声素片のピッチ波形との距離に関する評価値として相関が最大となるように第２の音声素片のピッチマークを補正しているが、これに代えて、例えば次式（３）に示すように、第１の音声素片のピッチ波形と第２の音声素片のピッチ波形との距離に関する評価値として振幅差の絶対値の総和Ｓが最小となるｐ２を求め、これを第２の音声素片の始端における補正したピッチマークとし、これを基準に第２の音声素片全体のピッチマークを補正しても良い。

このように構成することにより、ピッチマーク補正のための演算処理が加減算のみで実現でき、積和演算機能をもたない安価なＣＰＵなどでも音声素片のピッチマーク補正を行った高品質な合成音声を得る効果がある。

実施の形態６．
上記実施の形態１から実施の形態４では、式（２）に従って、第１の音声素片のピッチ波形と第２の音声素片のピッチ波形との相関が最大となるように第２の音声素片のピッチマークを補正しているが、これに代えて、例えば次式（４）に示すように、第１の音声素片のピッチ波形と第２の音声素片のピッチ波形との距離に関する評価値として波形歪Ｅが最小となるｐ２を求め、これを第２の音声素片の始端における補正したピッチマークとし、これを基準に第２の音声素片全体のピッチマークを補正しても良い。

ただし、αは波形歪Ｅを最小にする振幅調整係数であり、次式（５）に従って求める。

なお、上記式（４）における波形歪Ｅを最小にすることは、次式（６）の歪Ｄを最大にすることと同一であるため、式（４）に代えて式（６）を用いて補正したピッチマークを求めても同一の結果が得られる。

このように構成することにより、第１の音声素片と第２の音声素片との振幅の差異の影響を除いて波形の相似性が高くなるピッチマークが得られ、より音声素片の接続部におけるピッチ波形の連続性が向上して高品質な合成音声を得る効果がある。

実施の形態７．
上記実施の形態１から実施の形態６では、音声素片の信号をそのまま用いてピッチ波形間の距離に関する評価値を求めていたが、これに代えて、音声素片の信号の聴覚的に重要な部分に重み付けをした信号のピッチ波形間の距離に関する評価値を求めてピッチマークの補正を行っても良い。

このように構成することにより、音声素片を接続して生成される合成音声の聴覚上の品質劣化を少なくすることができるので、合成音声の音質を向上させることができる。

この発明は、カーナビゲータや、携帯電話機などの合成音声を用いる製品に適用され、これら製品の音質向上が図れる。

この発明の実施の形態１による音声合成装置の構成図である。 実施の形態１による音声合成装置の動作を示すフローチャートである。 実施の形態１による音声合成装置の第１の音声素片と第２の音声素片とを接続して合成音声を生成する説明図である。 従来の第１の音声素片と第２の音声素片とを接続して合成音声を生成する説明図である。

符号の説明

１；音声合成装置、２；音声素片辞書、３；ピッチマーク補正手段、４；音声生成手段、１００；音韻記号・韻律情報、２００；合成音声。

Claims (6)

1. 音声素片における音声波形のピッチ周期に対応する１周期毎の時間的基準位置を表現するピッチマークが設定され、音韻記号・韻律情報が対応付けされた多数の音声素片が格納され、音声合成のため、入力テキストから得られた音韻記号が順次入力され、その音韻記号に基づいて対応する音声素片を順次出力する音声素片辞書と、
   音声素片辞書から順次入力される、任意の位置の音声素片のピッチマークを元にこの音声素片に接続される音声素片のピッチマークを補正して、その補正された音声素片のピッチ波形と、音声素片のピッチマークの補正に用いた音声素片のピッチ波形の距離で補正結果を評価する処理を音声素片辞書から順次入力される複数の異なる位置の音声素片に対して行い、補正後の評価結果が最も良好な評価値による補正後の音声素片を基準音声素片とする決定をし、この決定された基準音声素片のピッチマークを元にして、基準音声素片に接続される音声素片のピッチマークを補正し、次いで、この基準音声素片に接続される音声素片の補正されたピッチマークを元にして、この補正されたピッチマークの音声素片に接続される音声素片のピッチマークを補正する処理を順次行うピッチマーク補正手段と、
   音声合成のため、入力テキストから得られ、入力された韻律情報に基づいて、上記ピッチマーク補正手段で補正されたピッチマークを用いて音声素片を順次接続して合成音声を生成する音声生成手段と
   を備えたことを特徴とする音声合成装置。
2. 上記評価値は、基準音声素片のピッチ波形とピッチマークが補正される音声素片のピッチ波形との相関であることを特徴とする請求項１に記載の音声合成装置。
3. 上記評価値は、基準音声素片のピッチ波形とピッチマークが補正される音声素片のピッチ波形との誤差信号振幅値の絶対値の総和であることを特徴とする請求項１に記載の音声合成装置。
4. 上記評価値は、基準音声素片のピッチ波形に対するピッチマークが補正される音声素片のピッチ波形の波形歪であることを特徴とする請求項１に記載の音声合成装置。
5. 上記評価値は、聴覚的に重要な部分に重み付けされた評価値であることを特徴とする請求項１ないし４のいずれか１項に記載の音声合成装置。
6. 音声合成のため、入力テキストから得られ、順次入力される音韻記号に基づいて、音声素片における音声波形のピッチ周期に対応する１周期毎の時間的基準位置を表現するピッチマークが設定され、音韻記号・韻律情報が対応付けされた多数の音声素片が格納された音声素片辞書から、対応する音声素片を順次出力する工程と、
   音声素片辞書から順次入力される、任意の位置の音声素片のピッチマークを元にこの音声素片に接続される音声素片のピッチマークを補正して、その補正された音声素片のピッチ波形と、音声素片のピッチマークの補正に用いた音声素片のピッチ波形の距離で補正結果を評価する処理を音声素片辞書から順次入力される複数の異なる位置の音声素片に対して行い、補正後の評価結果が最も良好な評価値による補正後の音声素片を基準音声素片とする決定をし、この決定された基準音声素片のピッチマークを元にして、基準音声素片に接続される音声素片のピッチマークを補正し、次いで、この基準音声素片に接続される音声素片の補正されたピッチマークを元にして、この補正されたピッチマークの音声素片に接続される音声素片のピッチマークを補正する処理を順次行うピッチマーク補正工程と、
   音声合成のため、入力テキストから得られ、入力された韻律情報に基づいて、上記ピッチマーク補正工程で補正されたピッチマークを用いて音声素片を順次接続して合成音声を生成する音声生成工程と
   を備えたことを特徴とする音声合成方法。

Images