JP6420198B2 - 閾値推定装置、音声合成装置、その方法及びプログラム - Google Patents

Description

本発明は、Variance Scaling法による音声合成技術に関する。

近年、主流となっている音声合成方式として、HMM音声合成方式（非特許文献１参照）が提案されている。HMM音声合成方式における音声データベース（モデル）は、合成単位ごとに音声データのパラメータ(スペクトル、基本周波数(F0))を平均化(平滑化)し、合成単位ごとに一つのモデルを保持している。HMM音声合成方式では、合成単位ごとに音声データのパラメータを平滑化することで、学習に用いる音声データの量が比較的少量の場合でも安定した品質の合成音声が生成できるという利点があるが、平滑化により合成音声の品質が劣化してしまう。

この課題を解決するための一つの手段として、音声合成時に生成されたスペクトルパラメータ（ケプストラム、メルケプストラム等であり、このスペクトルパラメータのことを以下、対象スペクトルパラメータともいう）の分散（以下、対象分散ともいう）が学習用の音声データから得られるスペクトルパラメータ(以下、学習用スペクトルパラメータともいう)の分散（以下、学習分散ともいう）と同一になるように、次式により、音声合成時に生成されたスペクトルパラメータを補正する手法（Variance Scaling法）が提案されている（非特許文献２参照）。

ここで、c_m(n)、c’_m(n)は、パラメータ補正前後のnフレーム目m次元目のスペクトルパラメータ、μ_m、σ_mは対象スペクトルパラメータから求めたm次元目のパラメータの平均（以下、対象平均ともいう）、対象分散、σ_m ^orgは学習用スペクトルパラメータから求めたm次元目のパラメータの学習分散である。

益子他，"動的特徴を用いたHMMに基づく音声合成"，信学論，1996, vol.J79-D-II，no.12，pp.2184-2190. Silen, Hanna, et al. "Ways to Implement Global Variance in Statistical Speech Synthesis", INTERSPEECH, 2012.

Variance Scaling法では、対象分散と学習分散のみを考慮して対象スペクトルパラメータを補正しているため、まれに過剰に対象スペクトルパラメータを補正してしまうことがある。その場合、合成音声の一部のフレームにおいて異音が発生してしまう。

本発明は、異音が発生を抑圧することのできる音声合成装置、及び音声合成時に用いる補正倍率に対する閾値を推定する閾値推定装置、その方法及びプログラムを提供することを目的とする。

上記の課題を解決するために、本発明の一態様によれば、閾値推定装置は、音声合成用HMMは学習用音声データを用いて学習されるものとし、学習分散を学習用音声データから得られるスペクトルパラメータである学習用スペクトルパラメータの分散とし、音声合成用HMMを用いて、学習用音声データの音素列と同じ音素列を持つ音声データに対応するスペクトルパラメータである第一スペクトルパラメータを生成する音声パラメータ生成部と、学習用スペクトルパラメータ、学習分散及び第一スペクトルパラメータを用いて、VarianceScaling法による音声合成時に用いる補正倍率に対する閾値を推定する閾値推定部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、閾値推定方法は、音声合成用HMMは学習用音声データを用いて学習されるものとし、学習分散を学習用音声データから得られるスペクトルパラメータである学習用スペクトルパラメータの分散とし、音声合成用HMMを用いて、学習用音声データの音素列と同じ音素列を持つ音声データに対応するスペクトルパラメータである第一スペクトルパラメータを生成する音声パラメータ生成ステップと、学習用スペクトルパラメータ、学習分散及び第一スペクトルパラメータを用いて、VarianceScaling法による音声合成時に用いる補正倍率に対する閾値を推定する閾値推定ステップとを含む。

本発明によれば、音声合成時の異音が発生を抑圧することのできるという効果を奏する。

音素セグメンテーション情報の例を示す図。 第一実施形態に係る学習部の機能ブロック図。 第一実施形態に係る学習部の処理フローの例を示す図。 第一実施形態に係る閾値推定部の機能ブロック図。 第一実施形態に係る閾値推定部の処理フローの例を示す図。 第一実施形態に係る音声合成部の機能ブロック図。 第一実施形態に係る音声合成部の処理フローの例を示す図。

以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜第一実施形態のポイント＞
対象スペクトルパラメータを補正する際に、対象スペクトルパラメータと学習用スペクトルパラメータの分散のみを考慮するのではなく、音声合成用HMM(Hidden Markov Model)を学習する際に、対象スペクトルパラメータを補正する際の補正倍率(σ_m ^org/σ_m)の上限（閾値）を推定し、対象スペクトルパラメータを補正する際にその閾値を使用する。

＜第一実施形態に係る音声合成システム＞
第一実施形態に係る音声合成システムは、学習部１００と音声合成部２００とから構成される。

学習部１００では、まず学習用音声データと発話情報とから、(1)音声合成用の隠れマルコフモデル（以下、音声合成用HMMともいう）を学習し、(2)Variance Scaling法による音声合成時に用いる補正倍率を求める際に必要となる学習分散を計算し、(3)対象スペクトルパラメータを補正する際の補正倍率の閾値を推定する。なお、音声合成用HMMのパラメータセットをλとする。

音声合成部２００では、学習部１００で得られた音声合成用HMMのパラメータセットλと学習分散と補正倍率の閾値とを用いて、対象テキストに対する合成音声を生成する。

（学習用音声データと発話情報について）
まず、学習用音声データと発話情報について説明する。学習用音声データは、音声合成用音声モデルの学習に使用する音声データであり、予め収録しておく。発話情報は、学習用音声データの発話情報である。

学習用音声データとして、音声データベースを構築する対象の一名の話者が複数個の文章を発話した音声が保持されている。さらに、本実施形態では、学習用音声データとして、音声信号に対して信号処理を行った結果、得られる音響特徴量（例えば、音高パラメータ（基本周波数等）、スペクトルパラメータ（ケプストラム、メルケプストラム等））も保持されている。なお、学習用音声データの音声信号に対して信号処理を行った結果、得られるスペクトルパラメータのことを学習用スペクトルパラメータともいう。また、学習用音声データには、音声合成に必要な各音素が一つ以上含まれている必要がある。

発話情報は、音声データ中の各発話に対して付与された発音等の情報で音声データ中の各発話に一つの発話情報が付与されている。この発話情報には、少なくとも音素列と、各音素の開始時間、終了時間の情報（音素セグメンテーション情報）が保存されている。この開始時間及び終了時間は、各発話の始点を0[秒]とした時の経過時間である。音素セグメンテーション情報の例を図１に示す。また、付与する発話情報として、音素セグメンテーション情報以外にもアクセント情報（アクセント型、アクセント句長）、品詞情報等を含んでいてもよい。

＜学習部１００＞
図２は学習部１００の機能ブロック図を、図３はその処理フローを示す。

学習部１００では、学習用音声データとその発話情報から、音声合成用HMMのパラメータセットλと学習分散を学習する。その後、学習用スペクトルパラメータと、学習した音声合成用HMMを用いて発話情報の音素列と同じ音素列に対して生成したスペクトルパラメータとから、対象スペクトルパラメータを補正する際の補正倍率の上限（閾値）を推定する。

学習部１００はモデル学習部１１０、分散計算部１２０、音声パラメータ生成部１３０及び閾値推定部１４０を含む。

＜モデル学習部１１０＞
モデル学習部１１０は、学習用音声データを受け取り、学習用音声データを用いて音声合成用HMMを学習し（Ｓ１１０）、音声合成用HMMのパラメータセットλを出力する。

本実施形態では、学習用スペクトルパラメータc_m ^org(p,n)と学習用音声データの発話情報を用いて、音声合成用HMMを学習する。ただし、m（1≦m≦M：Mはスペクトルパラメータの次元数）は次元を、pは文章を、nはフレームを示す。モデル学習方法は、既存の方法、例えば非特許文献１の方法を用いればよい。

＜分散計算部１２０＞
分散計算部１２０は、学習用スペクトルパラメータc_m ^org(p,n)を受け取り、各次元mの分散である学習分散σ_m ^orgを計算し（Ｓ１２０）、出力する。

＜音声パラメータ生成部１３０＞
音声パラメータ生成部１３０は、音声合成用HMMのパラメータセットλと発話情報とを受け取り、音声合成用HMMを用いて、学習用音声データの音素列と同じ音素列を持つ音声データに対応するスペクトルパラメータである第一スペクトルパラメータc_m ⁽¹⁾(p,n)を生成し（Ｓ１３０）、出力する。スペクトルパラメータの生成方法は、既存の方法、例えば非特許文献１の方法を用いればよい。

＜閾値推定部１４０＞
閾値推定部１４０は、学習用スペクトルパラメータc_m ^org(p,n)と第一スペクトルパラメータc_m ⁽¹⁾(p,n)と学習分散σ_m ^orgとを受け取り、これらの値を用いて、Variance Scaling法による音声合成時に用いる補正倍率に対する、各次元mの閾値α_mを推定し（Ｓ１４０）、出力する。

図４は閾値推定部１４０の機能ブロック図を、図５はその処理フローを示す。閾値推定部１４０はＤＰマッチング部１４１、第一平均及び分散計算部１４２、第一パラメータ補正部１４３、判定部１４４及び閾値決定部１４５を含む。

＜ＤＰマッチング部１４１＞
ＤＰマッチング部１４１は、学習用スペクトルパラメータc_m ^org(p,n)及び第一スペクトルパラメータc_m ⁽¹⁾(p,n)を受け取り、ＤＰマッチングを用いて、各文章pの学習用スペクトルパラメータc_m ^org(p,n)及び第一スペクトルパラメータc_m ⁽¹⁾(p,n)の時間情報を揃えたマッチング済学習用スペクトルパラメータc'_m ^org(p,n)及びマッチング済第一スペクトルパラメータc"_m ⁽¹⁾(p,n)を求め（Ｓ１４１）、出力する。

＜第一平均及び分散計算部１４２＞
第一平均及び分散計算部１４２は、マッチング済第一スペクトルパラメータc"_m ⁽¹⁾(p,n)を受け取り、文章p毎のマッチング済第一スペクトルパラメータc"_m ⁽¹⁾(p,n)の平均μ_m ⁽¹⁾(p)及び分散σ_m ⁽¹⁾(p)を計算し（Ｓ１４２）、出力する。なお、分散σ_m ⁽¹⁾(p)のことを第一分散σ_m ⁽¹⁾(p)ともいう。

＜第一パラメータ補正部１４３＞
第一パラメータ補正部１４３は、マッチング済第一スペクトルパラメータc"_m ⁽¹⁾(p,n)と学習分散σ_m ^orgと第一分散σ_m ⁽¹⁾(p)と平均μ_m ⁽¹⁾(p)とを受け取り、学習分散σ_m ^orgと第一分散σ_m ⁽¹⁾(p)と用いて文章p毎の補正倍率(σ_m ^org/σ_m ⁽¹⁾(p))を求め、補正倍率(σ_m ^org/σ_m ⁽¹⁾(p))と平均μ_m ⁽¹⁾(p)とを用いて、マッチング済第一スペクトルパラメータc"_m ⁽¹⁾(p,n)を補正し（Ｓ１４３）、補正済第一スペクトルパラメータc'_m ⁽¹⁾(p,n)を得、補正倍率(σ_m ^org/σ_m ⁽¹⁾(p))とともに出力する。なお、スペクトルパラメータの補正方法は、既存の方法、例えば非特許文献２の方法を用いればよい。例えば、次式により、補正する。

＜判定部１４４＞
判定部１４４は、マッチング済学習用スペクトルパラメータc'_m ^org(p,n)、補正済第一スペクトルパラメータc'_m ⁽¹⁾(p,n)及び補正倍率(σ_m ^org/σ_m ⁽¹⁾(p))を受け取り、各文章pに対するマッチング済学習用スペクトルパラメータc'_m ^org(p,n)及びマッチング済第一スペクトルパラメータc'_m ⁽¹⁾(p,n)とを比較して、各文章pに異音が存在するか否かを判定し（Ｓ１４４）、異音が存在する文章sに対応する補正倍率(σ_m ^org/σ_m ⁽¹⁾(s))を出力する。ただし、sは異音が存在する文章を示すインデックスである。

異音が存在するか否かは、例えば、以下のようにして判定する。

各文章pの補正済第一スペクトルパラメータc'_m ⁽¹⁾(p,n)に異音が存在するかどうかの判定には、1つの文章p内のスペクトルパラメータの最大値、最小値を用いる。まず、判定対象となる文章pのマッチング済学習用スペクトルパラメータc'_m ^org(p,n)及び補正済第一スペクトルパラメータc'_m ⁽¹⁾(p,n)から、それぞれの各次元mの最大値、最小値を得る。文章pのマッチング済学習用スペクトルパラメータc'_m ^org(p,n)の最大値、最小値をmax^org _pm、min^org _pm、補正済第一スペクトルパラメータc'_m ⁽¹⁾(p,n)の最大値、最小値をmax⁽¹⁾ _pm、min⁽¹⁾ _pmとすると、以下の条件のいずれかに合致する場合、異音が存在すると判定する。
max^org _pm ＜ max⁽¹⁾ _pm
min^org _pm ＞ min⁽¹⁾ _pm
一般的に、異音が生じる音声は補正済第一スペクトルパラメータc'_m ⁽¹⁾(p,n)がマッチング済学習用スペクトルパラメータc'_m ^org(p,n)では存在しない数値になっていると考えられる。そのため、各文章p、各次元mのマッチング済学習用スペクトルパラメータc'_m ^org(p,n)の最大値、最小値の範囲を異音が発生しない範囲として、補正済第一スペクトルパラメータc'_m ⁽¹⁾(p,n)がその範囲に収まっているかどうかで、異音が存在するか否かを判定する。

またそれ以外にも異音であるかどうか判定する手段として、マッチング済学習用スペクトルパラメータc'_m ^org(p,n)と補正済第一スペクトルパラメータc'_m ⁽¹⁾(p,n)の距離をフレームnごとに計算し、距離が一定値以上となったフレームnが存在した場合を異音が存在すると判定する判定方法も考えられる。

＜閾値決定部１４５＞
閾値決定部１４５は、異音が存在すると判定された文章sに対応する補正倍率(σ_m ^org/σ_m ⁽¹⁾(s))を受け取り、次元m毎に、受け取った補正倍率(σ_m ^org/σ_m ⁽¹⁾(s))の中で最も小さいものを閾値α_mとし（Ｓ１４５）、出力する。

以上の処理により、音声合成用HMMのパラメータセットλと学習分散σ_m ^orgを学習し、対象スペクトルパラメータを補正する際の補正倍率(σ_m ^org/σ_m)の閾値α_mを推定する。

＜音声合成部２００＞
図６は音声合成部２００の機能ブロック図を、図７はその処理フローを示す。

音声合成部２００は、音声合成前に、学習部１００で求めたパラメータセットλと学習分散σ_m ^orgと閾値α_mとを受け取り、これらの値を用いて、対象テキストに対応する合成音声を生成し、出力する。処理の概要を以下に示す。

音声合成部２００は、テキスト解析部２１０、対象音声パラメータ生成部２２０、第二平均及び分散計算部２３０、第二パラメータ補正部２４０及び音声波形生成部２５０を含む。

＜テキスト解析部２１０＞
テキスト解析部２１０は、対象テキストを受け取り、テキスト解析を行い（Ｓ２１０）、少なくとも対象テキストに対応する音素列を取得し、出力する。なお、テキスト解析方法は既存の方法を用いればよい。例えば、テキスト解析の結果、アクセント、品詞等の情報を一緒に取得してもよい。

＜対象音声パラメータ生成部２２０＞
対象音声パラメータ生成部２２０は、音声合成前に、学習部１００で求めたパラメータセットλを受け取り、学習後の音声合成用HMMを用意する。対象音声パラメータ生成部２２０は、対象テキストに対応する音素列を受け取り、音声合成用HMMとを用いて、音素列に対応するスペクトルパラメータである対象スペクトルパラメータc_m ^ta(n)を生成し（Ｓ２２０）、出力する。スペクトルパラメータの生成方法は、音声パラメータ生成部１３０と同様の方法を用いればよい。

＜第二平均及び分散計算部２３０＞
第二平均及び分散計算部２３０は、対象スペクトルパラメータc_m ^ta(n)を受け取り、対象スペクトルパラメータc_m ^ta(n)の平均である対象平均μ_m ^taと分散である対象分散σ_m ^taを計算し（Ｓ２３０）、出力する。

＜第二パラメータ補正部２４０＞
第二パラメータ補正部２４０は、音声合成前に、学習部１００で求めた学習分散σ_m ^orgと閾値とα_mを音声合成前に受け取る。第二パラメータ補正部２４０は、対象スペクトルパラメータc_m ^ta(n)と対象平均μ_m ^taと対象分散σ_m ^taとを受け取り、これらの値を用いて、対象スペクトルパラメータc_m ^ta(n)を補正し、補正済対象スペクトルパラメータc'_m ^ta(n)を得（Ｓ２４０）、出力する。

例えば、第二パラメータ補正部２４０は、各次元mの補正倍率（σ_m ^org/σ_m ^ta）が閾値α_mより大きい場合は、

により、補正済対象スペクトルパラメータc'_m ^ta(n)を得、そうでない場合は、

により、補正済対象スペクトルパラメータc'_m ^ta(n)を得る。

＜音声波形生成部２５０＞
音声波形生成部２５０は、補正済対象スペクトルパラメータc'_m ^ta(n)を受け取り、この値を用いて、音声合成フィルタにより音声波形を生成し（Ｓ２５０）、合成音声として出力する。音声波形の生成方法は、既存の方法、例えば、参考文献１の方法を用いればよい。
（参考文献１）今井他，“音声合成のためのメル対数スペクトル近似（MLSA）フィルタ”，電子情報通信学会論文誌 A, Vol.J66-A, No.2, pp.122-129, Feb. 1983.
参考文献１では、補正済対象スペクトルパラメータc'_m ^ta(n)と合成対象の基本周波数とを用いて、音声合成フィルタ（MLSAフィルタ）により音声波形を生成する。

＜効果＞
モデル学習時に対象スペクトルパラメータを補正する際の補正倍率(σ_m ^org/σ_m)の閾値を推定し、パラメータ補正時に用いることで、過剰に対象スペクトルパラメータを補正してしまうことを防ぎ、異音の発生を抑圧することができる。

＜変形例＞
学習部１００と音声合成部２００とは、一台の装置の中に実装されてもよいし、別々の装置の中に実装されてもよい。また、音声パラメータ生成部１３０と閾値推定部１４０とを含む閾値推定装置としてもよく、パラメータセットλと学習分散σ_m ^orgとを求める既存の学習装置（例えば、非特許文献２参照）と組合せて、本実施形態のように利用してもよい。

本実施形態では、学習用音声データに音響特徴量(音高パラメータ、スペクトルパラメータ)が含まれる構成となっているが、音声信号のみを含む構成としてもよい。その場合には、学習用音声データから学習用スペクトルパラメータを抽出するための構成を設ければよい。

本実施形態で説明したように、発話情報として、音素セグメンテーション情報以外にもアクセント情報（アクセント型、アクセント句長）、品詞情報等含んでいてもよい。また、テキスト解析部２１０では対象テキストから、アクセント情報（アクセント型、アクセント句長）、品詞情報等を取得する構成としてもよい。音声合成時に、これらを一緒に用いることで、より自然な合成音声を生成することができる。

本実施形態では、テキスト解析部２１０を設けたが、少なくとも音素列がわかればよく、音声合成部２００は必ずしもテキスト解析部２１０を備えなくともよい。

本実施形態では、DPマッチング部１４１でＤＰマッチングを行うことで、学習用スペクトルパラメータc_m ^org(p,n)及び第一スペクトルパラメータc_m ⁽¹⁾(p,n)の時間情報を揃えているが、他の方法により時間情報を揃えてもよい。例えば、音声パラメータ生成部１３０において、学習用音声データの音素列と同じ音素列を持つ音声データに対応する第一スペクトルパラメータc_m ⁽¹⁾(p,n)を生成する際に、音素列だけでなく、各音素の開始時間、終了時間も同じになるように第一スペクトルパラメータc_m ⁽¹⁾(p,n)を生成してもよい。この場合、音声パラメータ生成部１３０の出力である第一スペクトルパラメータc_m ⁽¹⁾(p,n)と学習用スペクトルパラメータc_m ^org(p,n)とは時間情報が揃っているため、それぞれマッチング済第一スペクトルパラメータc"_m ⁽¹⁾(p,n)とマッチング済学習用スペクトルパラメータc'_m ^org(p,n)と言える。

本実施形態では、異音が存在するか否かを文章毎に判定しているが、他の判定単位で判定してもよい。例えば、１文毎であってもよいし、所定時間毎であってもよい。

本実施形態では、閾値決定部１４５において、異音が存在すると判定された文章sに対応する補正倍率(σ_m ^org/σ_m ⁽¹⁾(s))の中で最も小さいものを閾値α_mとしているが、異音が存在しないと判定された文章s'に対応する補正倍率(σ_m ^org/σ_m ⁽¹⁾(s'))の中で最も大きいものを閾値α_mとしてもよい。この場合、判定部１４４は、異音が存在しない文章s'に対応する補正倍率(σ_m ^org/σ_m ⁽¹⁾(s'))を出力する。ただし、s'は異音が存在しない文章を示すインデックスである。このような構成によっても第一実施形態と同様の効果を得ることができる。異音が存在しないと判定された文章s'に対応する補正倍率(σ_m ^org/σ_m ⁽¹⁾(s'))を閾値α_mとして用いるため、より異音の発生を抑圧する効果が高いと考えられる。

本実施形態では、各次元mのマッチング済学習用スペクトルパラメータc'_m ^org(p,n)の最大値max^org _pmと最小値min^org _pm、補正済第一スペクトルパラメータc'_m ⁽¹⁾(p,n)の最大値max⁽¹⁾ _pm、最小値min⁽¹⁾ _pmを求めているが、それぞれ、最大値及び最小値の何れか一方のみを求め、max^org _pm ＜ max⁽¹⁾ _pmのときのみ、または、min^org _pm ＞ min⁽¹⁾ _pmのときのみ、異音が存在すると判定してもよい。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (7)

1. 音声合成用HMMは学習用音声データを用いて学習されるものとし、学習分散を学習用音声データから得られるスペクトルパラメータである学習用スペクトルパラメータの分散とし、
   音声合成用HMMを用いて、学習用音声データの音素列と同じ音素列を持つ音声データに対応するスペクトルパラメータである第一スペクトルパラメータを生成する音声パラメータ生成部と、
   学習用スペクトルパラメータ、学習分散及び前記第一スペクトルパラメータを用いて、音声合成時に用いる補正倍率に対する閾値を推定する閾値推定部とを含み、
   前記閾値推定部は、
   時間情報が揃えられた学習用スペクトルパラメータ及び第一スペクトルパラメータをマッチング済学習用スペクトルパラメータ及びマッチング済第一スペクトルパラメータとし、
   マッチング済第一スペクトルパラメータの判定単位毎の平均及び第一分散を計算する第一平均及び分散計算部と、
   前記学習分散と前記第一分散とを用いて補正倍率を求め、当該補正倍率と前記平均とを用いて、前記マッチング済第一スペクトルパラメータを補正し、補正済第一スペクトルパラメータを得るパラメータ補正部と、
   各判定単位に対するマッチング済学習用スペクトルパラメータ及び補正済第一スペクトルパラメータとを比較して、各判定単位に異音が存在するか否かを判定する判定部と、
   異音が存在する場合、異音が存在すると判定された判定単位に対応する補正倍率の中で最も小さいもの、または、異音が存在しないと判定された判定単位に対応する補正倍率の中で最も大きいものを前記閾値とする閾値決定部とを含む、
   閾値推定装置。
2. 請求項１の閾値推定装置であって、
   前記判定部は、
   各判定単位に対するマッチング済学習用スペクトルパラメータ及び補正済第一スペクトルパラメータの最大値及び最小値の少なくとも何れかを得、(1)前記マッチング済学習用スペクトルパラメータの最大値よりも前記補正済第一スペクトルパラメータの最大値が大きいとき、及び、(2)前記マッチング済学習用スペクトルパラメータの最小値よりも前記補正済第一スペクトルパラメータの最小値が小さいとき、の少なくとも何れかの条件を満たすときに異音が存在すると判定する、
   閾値推定装置。
3. 請求項１または請求項２の閾値推定装置で推定された前記閾値を用いる音声合成装置であって、
   前記音声合成用HMMとを用いて、音声合成対象となる対象テキストに対してテキスト解析を行って得られる音素列に対応する対象スペクトルパラメータを生成する対象音声パラメータ生成部と、
   前記対象スペクトルパラメータの平均である対象平均と分散である対象分散を計算する第二平均及び分散計算部と、
   前記対象平均と前記対象分散と前記学習分散と前記閾値とを用いて、前記対象スペクトルパラメータを補正し、補正済対象スペクトルパラメータを得る第二パラメータ補正部と、
   前記補正済対象スペクトルパラメータを用いて、音声合成フィルタにより音声波形を生成する音声波形生成部とを含む、
   音声合成装置。
4. 請求項３の音声合成装置であって、
   mをスペクトルパラメータの次元を表すインデックスとし、対象平均をμ_m ^ta、対象分散をσ_m ^ta、学習分散をσ_m ^org、閾値をα_m、対象スペクトルパラメータをc_m ^ta、補正済対象スペクトルパラメータをc'_m ^taとし、前記第二パラメータ補正部は、（σ_m ^org/σ_m ^ta）が閾値α_mより大きい場合は、
   

   

   
   により、前記補正済対象スペクトルパラメータc'_m ^taを得、そうでない場合は、
   

   

   
   により、前記補正済対象スペクトルパラメータc'_m ^taを得る、
   音声合成装置。
5. 音声合成用HMMは学習用音声データを用いて学習されるものとし、学習分散を学習用音声データから得られるスペクトルパラメータである学習用スペクトルパラメータの分散とし、
   音声合成用HMMを用いて、学習用音声データの音素列と同じ音素列を持つ音声データに対応するスペクトルパラメータである第一スペクトルパラメータを生成する音声パラメータ生成ステップと、
   学習用スペクトルパラメータ、学習分散及び前記第一スペクトルパラメータを用いて、音声合成時に用いる補正倍率に対する閾値を推定する閾値推定ステップとを含み、
   前記閾値推定ステップは、
   時間情報が揃えられた学習用スペクトルパラメータ及び第一スペクトルパラメータをマッチング済学習用スペクトルパラメータ及びマッチング済第一スペクトルパラメータとし、
   マッチング済第一スペクトルパラメータの判定単位毎の平均及び第一分散を計算する第一平均及び分散計算ステップと、
   前記学習分散と前記第一分散とを用いて補正倍率を求め、当該補正倍率と前記平均とを用いて、前記マッチング済第一スペクトルパラメータを補正し、補正済第一スペクトルパラメータを得るパラメータ補正ステップと、
   各判定単位に対するマッチング済学習用スペクトルパラメータ及び補正済第一スペクトルパラメータとを比較して、各判定単位に異音が存在するか否かを判定する判定ステップと、
   異音が存在する場合、異音が存在すると判定された判定単位に対応する補正倍率の中で最も小さいもの、または、異音が存在しないと判定された判定単位に対応する補正倍率の中で最も大きいものを前記閾値とする閾値決定ステップとを含む、
   閾値推定方法。
6. 請求項５の閾値推定方法で推定された前記閾値を用いる音声合成方法であって、
   前記音声合成用HMMとを用いて、音声合成対象となる対象テキストに対してテキスト解析を行って得られる音素列に対応する対象スペクトルパラメータを生成する対象音声パラメータ生成ステップと、
   前記対象スペクトルパラメータの平均である対象平均と分散である対象分散を計算する第二平均及び分散計算ステップと、
   前記対象平均と前記対象分散と前記学習分散と前記閾値とを用いて、前記対象スペクトルパラメータを補正し、補正済対象スペクトルパラメータを得るパラメータ補正ステップと、
   前記補正済対象スペクトルパラメータを用いて、音声合成フィルタにより音声波形を生成する音声波形生成ステップとを含む、
   音声合成方法。
7. 請求項１若しくは請求項２の閾値推定装置、または、請求項３若しくは請求項４の音声合成装置として、コンピュータを機能させるためのプログラム。

Images