JP4526934B2 - 調音運動の正規化を用いた音声合成方法および装置 - Google Patents

Description

本発明は、調音運動の正規化を用いた音声合成方法および装置に関するものである。

音声信号の中には、話者に依存しない音韻性の特徴と、声道形状・声道長・発話スタイル・性別などの話者に依存した特徴が存在する。これまでに、発話内容を表す話者共通の音韻性の特徴と話者の違いを表す話者性の特徴を分離するために、複数の話者の文章発声の音声スペクトルデータを用いて、全ての話者に共通な特徴（音韻性の特徴）と、話者性の特徴に分離する方法が提案されている（例えば、非特許文献１、非特許文献２参照。）。しかしながら、音声スペクトルの複雑さにより、話者性の特徴を十分に分離することができないという問題がある。

音声を調音運動の観点から捉え、調音運動を音素固有の調音運動と話者性の特徴に分離する場合には、上記の音声スペクトルを用いる場合に比較して両者の分離の精度が良くなることが期待される。しかしながら、音声スペクトルは全話者共通の周波数上で定義されているのに対し、調音運動は全話者に共通な軸を設定しにくいという問題があり、話者に共通な調音運動の軸を設定するために調音運動の正規化法が提案されている（例えば、非特許文献３参照。）。この提案されている調音運動の正規化法では、声道の正中面における垂直方向の正規化にとどまっているために水平方向の正規化誤差が大きいという問題や、調音器官の静的な特徴を母音のみで分析するにとどまっており、調音運動の正規化法としては不十分であると考えられる。

大量の文章発声により観測した調音運動の動的な振る舞いを考慮するために、調音運動を調音運動の動的な振る舞いを記述した隠れマルコフモデル（以下、ＨＭＭと略す。）にモデル化することで、任意の話者の音声信号から調音運動を推定する技術が提案されている（例えば、特許文献１、非特許文献４参照。）。
特開２００４−２７９４５４号公報 Ｊｕｎｉｃｈｉ Ｙａｍａｇｉｓｈｉ， Ｍａｓａｔｓｕｎｅ Ｔａｍｕｒａ， Ｔａｋａｓｈｉ Ｍａｓｕｋｏ， Ｋｅｉｉｃｈｉ Ｔｏｋｕｄａ， ａｎｄ Ｔａｋａｏ Ｋｏｂａｙａｓｈｉ， "Ａ Ｔｒａｉｎｉｎｇ Ｍｅｔｈｏｄ ｏｆ Ａｖｅｒａｇｅ Ｖｏｉｃｅ Ｍｏｄｅｌ ｆｏｒ ＨＭＭ−Ｂａｓｅｄ Ｓｐｅｅｃｈ Ｓｙｎｔｈｅｓｉｓ，" ＩＥＩＣＥ Ｔｒａｎｓ． Ｆｕｎｄａｍｅｎｔａｌｓ， ｖｏｌ．Ｅ８６−Ａ， Ｎｏ．８ ｐｐ．１９５６−１９６３， ２００３． Ｔａｓｏｓ Ａｎａｓｔａｓａｋｏｓ， Ｊｏｈｎ ＭｃＤｏｎｏｕｇｈ， Ｒｉｃｈａｒｄ Ｓｃｈｗａｒｔｚ， ａｎｄ Ｊｏｈｎ Ｍａｋｈｏｕｌ， "Ａ Ｃｏｍｐａｃｔ Ｍｏｄｅｌ ｆｏｒ Ｓｐｅａｋｅｒ−Ａｄａｐｔｉｖｅ Ｔｒａｉｎｉｎｇ，" Ｐｒｏｃ．ＩＣＳＬＰ， ｐｐ．１１３７−１１４０， １９９６． Ｍｉｃｈｉｋｏ Ｈａｓｈｉ， Ｊｏｈｎ Ｒ．Ｗｅｓｔｂｕｒｙ， ａｎｄ Ｋｉｙｏｓｈｉ Ｈｏｎｄａ，"Ｖｏｗｅｌ ｐｏｓｔｕｒｅ ｎｏｒｍａｌｉｚａｔｉｏｎ，" Ｊｏｕｒｎａｌ ｏｆ Ａｃｏｕｓｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ， ｖｏｌ，１０４， Ｎｏ．４， ｐｐ．２４２６−２４３７，１９９８． Ｓａｄａｏ Ｈｉｒｏｙａ ａｎｄ Ｍａｓａａｋｉ Ｈｏｎｄａ，"Ｓｐｅａｋｅｒ Ａｄａｐｔａｔｉｏｎ Ｍｅｔｈｏｄ ｆｏｒ Ａｃｏｕｓｔｉｃ−ｔｏ−Ａｒｔｉｃｕｌａｔｏｒｙ Ｉｎｖｅｒｓｉｏｎ ｕｓｉｎｇ ａｎ ＨＭＭ−Ｂａｓｅｄ Ｓｐｅｅｃｈ Ｐｒｏｄｕｃｔｉｏｎ Ｍｏｄｅｌ，"ＩＥＩＣＥ ＴＡＮＳ．ＩＮＦ．＆ＳＹＳＴ．， Ｖｏｌ．Ｅ８７−Ｄ， Ｎｏ．５ ｐｐ．１０７１−１０７８， ２００４．

上記の特許文献１や非特許文献４には、話者間の調音運動を比較するための正規化法として、参照話者の調音運動に基づくＨＭＭに対する未知話者の調音運動の出力確率が最大となる線形変換を決定する技術が提案されている。しかしながら、話者毎に作成したＨＭＭの中には話者に依存した特徴が多く含まれているため、この提案されている技術では調音運動の正規化、特に、口蓋音において、十分ではないという問題がある。従って、話者に依存した特徴が含まれない調音運動に基づくＨＭＭの作成が必要になる。

そこで、本発明は、話者に依存した特徴が含まれない調音運動を表現する統計モデルを作成することが可能な調音運動の正規化を用いた音声合成方法および装置を提供することを目的とする。

請求項１に記載の調音運動の正規化を用いた音声合成方法は、複数の話者の各時刻における調音器官の複数の位置から得られる各話者の各時刻における調音パラメータベクトル系列に関して、一の話者以外の他の話者の夫々の各時刻おいて、該一の話者の一の前記調音器官の位置と前記他の話者の夫々の該一の前記調音器官の位置とが一致するように各前記他の話者の前記一の前記調音器官の位置を移動させ、前記他の話者の夫々について、前記一の前記調音器官の位置に対して前記一の話者の口蓋と前記他の話者の口蓋との誤差が最小になるように前記他の話者の口蓋を回転させる回転角を求めて前記一の前記調音器官の位置以外の他の位置を該回転角により回転させて調音パラメータベクトル系列を正規化する調音パラメータ正規化手順と、調音運動の第１統計モデルに対する前記調音パラメータ正規化手順において生成された全ての調音パラメータベクトル系列を連結したベクトル系列の出力確率が最大となる該第１統計モデルを生成する第１統計モデル生成手順と、話者の夫々について、前記第１統計モデル生成手順で生成された前記第１統計モデルに対する前記調音パラメータ正規化手順において生成された話者の各調音パラメータベクトル系列を連結したベクトル系列の出力確率が最大となる話者適応行列を求めて該求めた話者適応行列を話者に関連付けて話者適応行列記憶手段に記憶する話者適応行列計算手順と、話者の夫々について、話者のベクトル系列を前記第１統計モデル生成手順において生成された前記第１統計モデルと前記話者適応行列計算手順において求められた当該話者の話者適応行列とを利用して求め、該第１統計モデルにおいて当該話者のベクトル系列に対する前記調音パラメータ正規化手順において生成されたこの話者の調音パラメータベクトル系列を連結したベクトル系列の出力確率を求め、各話者の出力確率を加算した値が最大となるような第２統計モデルを生成し、該生成した第２統計モデルをモデル記憶手段に記憶する第２統計モデル生成手順と、を備えたことを特徴とする。

請求項２に記載の調音運動の正規化を用いた音声合成方法は、話者の夫々について、話者のベクトル系列を前記第１統計モデル生成手順において生成された前記第１統計モデルと前記話者適応行列計算手順において求められた当該話者の話者適応行列とを利用して求め、該第１統計モデルにおいて当該話者のベクトル系列に対する前記調音パラメータ正規化手順において生成されたこの話者の調音パラメータベクトル系列を連結したベクトル系列の出力確率を求め、各話者の出力確率を加算して第１の加算値を得、話者の夫々について、話者のベクトル系列を前記第２統計モデル生成手順において生成された前記第２統計モデルと前記話者適応行列計算手順において求められた当該話者の話者適応行列とを利用して求め、該第２統計モデルにおいて当該話者のベクトル系列に対する前記調音パラメータ正規化手順において生成されたこの話者の調音パラメータベクトル系列を連結したベクトル系列の出力確率を求め、各話者の出力確率を加算して第２の加算値を得、前記第１の加算値と前記第２の加算値との差が所定の値以下であるか否かを判断するモデル収束判断手順と、前記モデル収束判断手順で前記差が予め設定された閾値以下であると判断された場合、前記第１統計モデルを前記第２統計モデルに置き換えるモデル置換手順と、をさらに備え、前記話者適応行列計算手順および前記第２統計モデル生成手順を前記モデル置換手順で置き換えられた第１統計モデルを利用して行うことを特徴とする。

請求項３に記載の調音運動の正規化を用いた音声合成方法は、話者の話者適応調音モデルを前記話者適応記憶手段に記憶されているこの話者の話者適応行列と前記第２統計モデル記憶手段に記憶されている第２統計モデルとを利用して求める話者適応調音モデル生成手順をさらに備えていることを特徴とする。

請求項４に記載の調音運動の正規化を用いた音声合成装置は、複数の話者の各時刻における調音器官の複数の位置から得られる各話者の各時刻における調音パラメータベクトル系列に関して、一の話者以外の他の話者の夫々の各時刻おいて、該一の話者の一の前記調音器官の位置と前記他の話者の夫々の該一の前記調音器官の位置とが一致するように各前記他の話者の前記一の前記調音器官の位置を移動させ、前記他の話者の夫々について、前記一の前記調音器官の位置に対して前記一の話者の口蓋と前記他の話者の口蓋との誤差が最小になるように前記他の話者の口蓋を回転させる回転角を求めて前記一の前記調音器官の位置以外の他の位置を該回転角により回転させて調音パラメータベクトル系列を正規化する調音パラメータ正規化手段と、調音運動の第１統計モデルに対する前記調音パラメータ正規化手段により生成される全ての調音パラメータベクトル系列を連結したベクトル系列の出力確率が最大となる該第１統計モデルを生成する第１統計モデル生成手段と、話者の夫々について、前記第１統計モデル生成手段により生成される前記第１統計モデルに対する前記調音パラメータ正規化手段において生成される話者の各調音パラメータベクトル系列を連結したベクトル系列の出力確率が最大となる話者適応行列を求める話者適応行列計算手段と、前記話者適応行列計算手段により求められる話者適応行列を話者に関連付けて記憶する話者適応行列記憶手段と、話者の夫々について、話者のベクトル系列を前記第１統計モデル生成手段により生成される前記第１統計モデルと前記話者適応行列記憶手段に記憶されている当該話者の話者適応行列とを利用して求め、該第１統計モデルにおいて当該話者のベクトル系列に対する前記調音パラメータ正規化手段において生成されるこの話者の調音パラメータベクトル系列を連結したベクトル系列の出力確率を求め、各話者の出力確率を加算した値が最大となるような第２統計モデルを生成する第２統計モデル生成手段と、前記第２統計モデル生成手段により生成される第２統計モデルを記憶するモデル記憶手段と、を備えたことを特徴とする。

本発明によれば、話者に依存した特徴が含まれない調音運動を表現する統計モデルを作成することができる。

以下、本発明を実施するための最良の形態について図面を参照しつつ説明する。

まず、本発明の実施の形態における調音運動の正規化を用いた音声合成装置の機能について図１を参照しつつ説明する。図１は本実施の形態における正規化を用いた音声合成装置の機能を示す機能ブロック図である。
ただし、本実施の形態においては、調音運動の統計モデルとして、隠れマルコフモデル（ＨＭＭ）を用い、ＨＭＭの構造は、後続音素を考慮した２音素組の３状態単混合ガウス分布で、スキップなしのｌｅｆｔ−ｔｏ−ｒｉｇｈｔモデルとする。例えば、３つの状態ｑ１，ｑ２，ｑ３があり、各状態での出力確率を夫々１つのガウス分布とし、状態過程は同一状態から同一状態への遷移、状態ｑ１から状態ｑ２への遷移、状態ｑ２から状態ｑ３への遷移の、計５つのみである。
また、本実施の形態において、全話者共通の音素固有の調音運動（固有調音）の抽出は、話者適応学習（Ｓｐｅａｋｅｒ Ａｄａｐｔｉｖｅ Ｔｒａｉｎｉｎｇ：ＳＡＴ）に基づいて行われる。

図１に示すように、音声合成装置１は、音響パラメータ生成部１１、音響パラメータ記憶部１２、調音パラメータ生成部１３、調音パラメータ記憶部１４、音素系列記憶部１５、コードブック（調音・音響対コードブック）作成部１６、コードブック（調音・音響対コードブック）記憶部１７、調音パラメータ正規化部１８、平均調音モデル作成部１９、平均調音モデル記憶部２０、話者適応行列計算部２１、話者適応行列記憶部２２、固有調音モデル作成部２３、固有調音モデル記憶部２４、モデル収束判定部２５、モデル置換部２６、話者適応調音モデル作成部２７、発話タイミング生成部２８、調音パラメータ作成部２９、音声スペクトル生成部３０、基本周波数生成部３１、パワー生成部３２、音声合成部３３、および音声出力部３４として機能する各部を有している。

音響パラメータ生成部１１は、観測され、入力される音声信号をフレームごとに、毎秒２５０回のレートで、窓長３２ｍｓのブラックマン窓で切り出し、スペクトル分析し、２５次のメルケプストラム係数を求め、この求めた２５次のメルケプストラム係数を並べて下記式（１）に示す音響パラメータベクトルｙ_ｉｔを生成する。ただし、添字ｉは話者を、添字ｔは時刻を表しており、ｙ_ｉｔ ^（１）〜ｙ_ｉｔ ^（２５）は求められた１次から２５次のメルケプストラム係数である。そして、音響パラメータ生成部１１は、各話者の各時刻において生成した音響パラメータベクトルを話者と時刻とに関連付けて音響パラメータ記億部１２に保存する。

音響パラメータ記億部１２は、音響パラメータ生成部１１により生成される音響パラメータベクトルｙ_ｉｔを話者ｉと時刻ｔとに関連付けて記憶するものである。

調音パラメータ生成部１３は、磁気センサシステムを用いて音声信号と同時観測した調音器官の複数の位置（本実施の形態では、上顎（ＵＪ）、下顎（ＬＪ）、上唇（ＵＬ）、下唇（ＬＬ）、舌上の３点（Ｔ１，Ｔ２，Ｔ３）の計７点）の水平位置と垂直位置を毎秒２５０回のレートで取り込み、この各位置の水平位置と垂直位置とを並べて下記式（２）に示す調音パラメータベクトルｘ_ｉｔを生成する。ただし、添字ｉは話者を、添字ｔは時刻を表しており、式（２）中の、ｘ_ｉｔ ^{（ＵＪｘ）}、ｘ_ｉｔ ^{（ＵＪｙ）}、ｘ_ｉｔ ^{（ＬＪｘ）}、ｘ_ｉｔ ^{（Ｔ２ｙ）}、ｘ_ｉｔ ^{（Ｔ３ｘ）}、ｘ_ｉｔ ^{（Ｔ３ｙ）}は、夫々、得られた上顎（ＵＪ）の水平位置、上顎（ＵＪ）の垂直位置、下顎（ＬＪ）の水平位置、舌上（Ｔ２）の垂直位置、舌上（Ｔ３）の水平位置、舌上（Ｔ３）の垂直位置を表している。そして、調音パラメータ生成部１３は、各話者の各時刻において生成した調音パラメータベクトルを話者と時刻とに関連付けて調音パラメータ記億部１４に保存する。

調音パラメータ記億部１４は、調音パラメータ生成部１３により生成される、または、調音パラメータ正規化部１８により更新される、調音パラメータベクトルｘ_ｉｔを話者ｉと時刻ｔとに関連付けて記憶するものである。

音素系列記億部１５は、発声された音素（／ａ／，／ｕ／など）を発声した話者ｉと発声された時刻ｔとに関連付けて記憶するものである。

コードブック作成部１６は、話者ｉと時刻ｔとを利用して、話者ｉと時刻ｔとに対応して音響パラメータ記憶部１２に記憶されている音響パラメータベクトルｙ_ｉｔを取り出す。コードブック作成部１６は、話者ｉと時刻ｔとを利用して、話者ｉと時刻ｔとに対応して調音パラメータ記憶部１４に記憶されている調音パラメータベクトルｘ_ｉｔを取り出す。コードブック作成部１６は、話者ｉと時刻ｔを利用して、話者ｉと時刻ｔとに対応して音素系列記憶１５に記憶されている音素を取り出す。そして、コードブック作成部１６は、話者ｉと時刻ｔとに取り出した音響パラメータベクトルｙ_ｉｔと調音パラメータベクトルｘ_ｉｔと音素とを関連付けてコードブック記憶部１７に記憶する。これを、全ての話者の全ての時刻において行う（調音・音響対コードブックの作成）。

コードブック記憶部１７は、話者ｉと時刻ｔとに音素と音響パラメータベクトルｙ_ｉｔと調音パラメータベクトルｘ_ｉｔとを関連付けて記憶するものであり、その一例を図２に示している。ただし、コードブック記憶部１７には、全ての話者の全ての時刻における、音素と音響パラメータベクトルと調音パラメータベクトルとの組が記憶され、例えば、その組の数は２０万セットである。

なお、話者として日本人男性５名（話者１〜話者５）で、「青空に入道雲が浮かんでいます」などの連続文章を夫々３７５文章発声したものを用いる。

調音パラメータ正規化部１８は、調音器官の位置の基準とする話者（以下、参照話者という。）ｊと時刻ｔとを利用して、参照話者ｊと時刻ｔとに関連付けて調音パラメータ記憶部１４に記憶されている調音パラメータベクトルｘ_ｊｔを取り出す。そして、調音パラメータ正規化部１８は、参照話者ｊ以外の話者ｋと時刻ｔとを利用して、話者ｋと時刻ｔとに関連付けて調音パラメータ記憶部１４に記憶されている調音パラメータベクトルｘ_ｋｔを取り出す。

調音パラメータ正規化部１８は、取り出した参照話者ｊの調音パラメータベクトルｘ_ｊｔに含まれる上顎（ＵＪ）の位置座標（ｘ_ｊｔ ^{（ＵＪｘ）}，ｘ_ｊｔ ^{（ＵＪｙ）}）と、取り出した話者ｋの調音パラメータベクトルｘ_ｋｔに含まれる上顎（ＵＪ）の位置座標（ｘ_ｋｔ ^{（ＵＪｘ）}，ｘ_ｋｔ ^{（ＵＪｙ）}）とが一致するように話者ｋの上顎（ＵＪ）の位置を平行移動させ、平行移動後の位置座標を新たに上顎（ＵＪ）の位置座標（ｘ_ｋｔ ^{（ＵＪｘ）}，ｘ_ｋｔ ^{（ＵＪｙ）}）とする。これを参照話者ｊ以外の全ての話者について行う。なお、この時点で話者の全ての上顎（ＵＪ）の位置は等しくなっている。

調音パラメータ正規化部１８は、参照話者ｊの口蓋の位置座標（Ｖ_ｘｊ，Ｖ_ｙｊ）と話者ｋの口蓋の位置座標（Ｖ_ｘｋ，Ｖ_ｙｋ）とを用いて、上顎（ＵＪ）の位置（両話者の上顎は一致）に対して、参照話者ｊの口蓋の位置座標と話者ｋの口蓋の位置座標との誤差が最小になるように、話者ｋの口蓋の位置を回転させる回転角ｔｈｅｔａを下記式（３）を演算することにより求める。なお、各話者の口蓋の位置座標は調音観測時点で取得され、図３の各線は一人の話者の口蓋を示している。

そして、調音パラメータ正規化部１８は、取り出した話者ｋの調音パラメータベクトルｘ_ｋｔに含まれる下顎（ＬＪ）の位置座標（ｘ_ｋｔ ^{（ＬＪｘ）}，ｘ_ｋｔ ^{（ＬＪｙ）}）を、位置座標（ｘ_ｋｔ ^{（ＬＪｘ）}，ｘ_ｋｔ ^{（ＬＪｙ）}）と回転角ｔｈｅｔａとを利用して下記式（４）を算出して回転させ、回転後の下顎（ＬＪ）の位置座標（ｘ_ｋｔ ^{（ＬＪｘ）}，ｘ_ｋｔ ^{（ＬＪｙ）}）を得る。

同様に、調音パラメータ正規化部１８は、話者ｋの調音パラメータベクトルｘ_ｋｔに含まれる上唇（ＵＬ）の位置座標（ｘ_ｋｔ ^{（ＵＬｘ）}，ｘ_ｋｔ ^{（ＵＬｙ）}）、および下唇（ＬＬ）の位置座標（ｘ_ｋｔ ^{（ＬＬｘ）}，ｘ_ｋｔ ^{（ＬＬｙ）}）の夫々についても算出した回転角ｔｈｅｔａを利用して回転させる。また、調音パラメータ正規化部１８は、話者ｋの調音パラメータベクトルｘ_ｋｔに含まれる舌上（Ｔ１）の位置座標（ｘ_ｋｔ ^{（Ｔ１ｘ）}，ｘ_ｋｔ ^{（Ｔ１ｙ）}）、舌上（Ｔ２）の位置座標（ｘ_ｋｔ ^{（Ｔ２ｘ）}，ｘ_ｋｔ ^{（Ｔ２ｙ）}）、および舌上（Ｔ３）の位置座標（ｘ_ｋｔ ^{（Ｔ３ｘ）}，ｘ_ｋｔ ^{（Ｔ３ｙ）}）の夫々についても算出した回転角ｔｈｅｔａを利用して回転させる。

調音パラメータ正規化部１８は、平行移動後の上顎（ＵＪ）の位置座標、回転後の下顎（ＬＪ）、上唇（ＵＬ）、下唇（ＬＬ）、舌上（Ｔ１）、舌上（Ｔ２）、舌上（Ｔ３）の位置座標を並べて調音パラメータベクトルｘ_ｋｔを新たに生成する（正規化）。調音パラメータ正規化部１８は、調音パラメータ記億部１４とコードブック記憶部１７とに記憶されている話者ｋの時刻ｔにおける調音パラメータベクトルｘ_ｋｔを新たに生成された調音パラメータベクトルｘ_ｋｔに置き換え、調音パラメータ記億部１４とコードブック記憶部１７の記憶内容を更新する。
以上により、話者ｋの時刻ｔにおける口蓋の位置を回転させることにより口蓋の正規化を行い、この回転に従って調音パラメータベクトルの正規化を行う。

調音パラメータ正規化部１８は、参照話者ｊ以外の全ての話者の全ての時刻について、上記の内容を行い、調音パラメータベクトルの正規化を行う。
図３に調音パラメータ正規化部１８による正規化前後の調音器官の様子の一例を示しており、（ａ）は正規化前を、（ｂ）は正規化後を示している。

平均調音モデル作成部１９は、初期モデルとして、調音パラメータ記憶部１４に記憶されている全ての話者の全ての時刻における調音パラメータベクトルの平均により構成される平均調音ＨＭＭのモデルλ_{ａｖｅｒａｇｅ}を作成する。
これは、全ての話者の全ての時刻における調音パラメータベクトルを連結して、下記式（５）に示すベクトルｘを作成する。モデルλ_{ａｖｅｒａｇｅ}において、状態系列ｑを構成する一つの状態をｑ_ｍとするとき、状態ｑ_ｍに対する連結したベクトルｘの出力確率は、その状態ｑ_ｍへの遷移確率Ｐ（ｑ_ｍ｜λ_{ａｖｅｒａｇｅ}）とその状態ｑ_ｍに対するベクトルｘの出力確率Ｐ（ｘ｜ｑ_ｍ，λ_{ａｖｅｒａｇｅ}）との積で表され、連結したベクトルｘの出力確率Ｐ（ｘ｜λ_{ａｖｅｒａｇｅ}）は、状態系列ｑを構成する全ての状態に対するベクトルｘの出力確率を加算したものであるので、下記式（６）に示すものとなる。連結したベクトルｘの下記式（６）で表される出力確率Ｐ（ｘ｜λ_{ａｖｅｒａｇｅ}）が最大となるように平均調音ＨＭＭのモデルλ_{ａｖｅｒａｇｅ}を作成する。

ここで、ｍ，ｎはＨＭＭの状態、ｑはＨＭＭの状態系列を表すものとする。また、与えられた状態ｑ_ｍに対する調音パラメータベクトルｘ_ｉｔの出力確率Ｐ（ｘ_ｉｔ｜ｑ_ｍ，λ_{ａｖｅｒａｇｅ}）を下記式（７）に示すガウス分布と仮定する。ただし、Ｍは調音パラメータベクトルの次数、Ｔは転置である。

平均調音パラメータベクトルｘ_ｍおよび共分散行列σ_ｍは、状態ｑ_ｍに存在する調音パラメータベクトルを、全ての話者および全ての時刻で平均化したものであるため、話者ｉの調音パラメータベクトルｘ_ｉｔが、ある時刻ｔにおいて状態ｑ_ｍに存在する確率をγ_ｉｔ（ｑ_ｍ）と定義すると、平均調音パラメータベクトルｘ_ｍおよび共分散行列σ_ｍは、夫々、下記式（８）および下記式（９）により得られる。

ａ_ｍ，ｎは状態ｍから状態ｎへ遷移する確率（状態遷移確率）を表す。状態遷移確率ａ_ｍ，ｎは、話者ｉの調音パラメータベクトルｘ_{ｉ（ｔ−１）}が時刻（ｔ−１）において状態ｑ_ｍに存在し、時刻ｔにおいて状態ｑ_ｎに存在する確率をξ_{ｉ（ｔ−１）}（ｑ_ｍ，ｑ_ｎ）と定義すると、下記式（１０）により得られる。

平均調音ＨＭＭのモデルλ_{ａｖｅｒａｇｅ}には、全ての状態ｍに対して、平均調音パラメータベクトルｘ_ｍ、共分散行列σ_ｍ、状態遷移確率ａ_ｍ，ｎが含まれている。

平均調音モデル記憶部２０は、平均調音モデル作成部１９により作成される平均調音ＨＭＭのモデルλ_{ａｖｅｒａｇｅ}を記憶するものである。

話者適応行列計算部２１は、話者ｉの各時刻ｔにおける調音パラメータベクトルｘ_ｉｔを、話者ｉを利用して調音パラメータ記憶部１４から取り出し、これを連結して下記式（１１）に示すベクトルｘ_ｉを作成する。

話者適応行列計算部２１は、平均調音モデルＨＭＭのモデルλ_{ａｖｅｒａｇｅ}（平均調音モデル記憶部２０に記憶されている平均調音ＨＭＭのモデルλ_{ａｖｅｒａｇｅ}、或いは、モデル置換部２６により置き換えられたモデルλ_{ａｖｅｒａｇｅ}）に対して、話者ｉの連結したベクトルｘ_ｉの出力確率Ｐ（ｘ_ｉ｜λ_{ａｖｅｒａｇｅ}）が最大となる話者適応行列Ｗ_ｉを、最尤線形回帰（Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ Ｌｉｎｅａｒ Ｒｅｇｒｅｓｓｉｏｎ：ＭＬＬＲ）法に基づいて求め、求めた話者適応行列Ｗ_ｉを話者ｉに関連付けて話者適応行列記憶部２２に記憶する。ただし、出力確率Ｐ（ｘ_ｉ｜λ_{ａｖｅｒａｇｅ}）は、モデルλ_{ａｖｅｒａｇｅ}において、状態系列ｑを構成する一つの状態をｑ_ｍとするとき、下記式（１２）に示すように、その状態ｑ_ｍへの遷移確率Ｐ（ｑ_ｍ｜λ_{ａｖｅｒａｇｅ}）とその状態ｑ_ｍに対するベクトルｘ_ｉの出力確率Ｐ（ｘ_ｉ｜ｑ_ｍ，λ_{ａｖｅｒａｇｅ}）との積で表され、状態ｑを構成する全ての状態に対するベクトルｘ_ｉの出力確率を加算したものである。

具体的には、話者適応行列計算部２１は、話者ｉに対して、下記式（１３）の値が最小となるような話者適応行列Ｗ_ｉを求める。ただし、γ_ｉｔ（ｑ_ｍ）は話者ｉの調音パラメータベクトルｘ_ｉｔが時刻ｔにおいて状態ｑ_ｍに存在する確率である。また、式中、ｘ_ｉｔは話者ｉと時刻ｔとを利用して調音パラメータ記憶部１４から取り出される調音パラメータベクトルｘ_ｉｔ、ｘ_ｍはモデルλ_{ａｖｅｒａｇｅ}に含まれている平均調音パラメータベクトルｘ_ｍ、σ_ｍはモデルλ_{ａｖｅｒａｇｅ}に含まれている共分散行列σ_ｍ、σ_ｍ ^−１はσ_ｍの逆行列である。
話者適応行列計算部２１は、全ての話者に対して話者適応行列を求める。

話者適応行列記憶部２２は、話者ごとに、話者適応行列計算部２１により求められる話者適応行列Ｗ_ｉを話者ｉに関連付けて記憶するものである。

固有調音モデル作成部２３は、平均調音ＨＭＭのモデルλ_{ａｖｅｒａｇｅ}（平均調音モデル記憶部２０に記憶されている平均調音ＨＭＭのモデルλ_{ａｖｅｒａｇｅ}、或いは、モデル置換部２６により置き換えられたモデルλ_{ａｖｅｒａｇｅ}）に含まれている平均調音パラメータベクトルｘ_ｍと、話者ｉに対応して話者適応行列記憶部２２に記憶されている話者適応行列Ｗ_ｉとの積をとることにより、話者ｉの平均調音パラメータベクトルＷ_ｉｘ_ｍを求める（推定）。これを全話者について行う。
固有調音モデル作成部２３は、求めた（推定した）話者ｉの平均調音パラメータベクトルＷ_ｉｘ_ｍに対する話者ｉの調音パラメータベクトルｘ_ｉの尤度（出力確率Ｐ（ｘ_ｉ｜λ_{ｅｉｇｅｎ}）を全話者で加算し、加算した値が最大となるような固有調音ＨＭＭのモデルλ_{ｅｉｇｅｎ}＝｛ｘ_ｍ，σ_ｍ｝を求める。そして、固有調音モデル作成部２３は、固有調音モデル記憶部２４に固有調音ＨＭＭのモデルλ_{ｅｉｇｅｎ}を新たに保存し、或いは、固有調音モデル記憶部２４の記憶内容を求めた固有調音ＨＭＭのモデルλ_{ｅｉｇｅｎ}に更新する。

具体的には、下記式（１４）の値が最小となる平均調音パラメータベクトルｘ_ｍと共分散行列σ_ｍとを求める。ただし、γ_ｉｔ（ｑ_ｍ）は話者ｉの調音パラメータベクトルｘ_ｉｔが時刻ｔにおいて状態ｑ_ｍに存在する確率である。また、式中、ｘ_ｉｔは話者ｉと時刻ｔとを利用して調音パラメータ記憶部１４から取り出される調音パラメータベクトルｘ_ｉｔ、ｘ_ｍはモデルλ_{ａｖｅｒａｇｅ}に含まれている平均調音パラメータベクトルｘ_ｍ、σ_ｍはモデルλ_{ａｖｅｒａｇｅ}に含まれている共分散行列σ_ｍ、σ_ｍ ^−１はσ_ｍの逆行列である。
なお、全話者で加算した尤度を最大にすることで、話者間のばらつきを考慮した学習を行うことができる。

固有調音モデル記憶部２４は固有調音モデル作成部２３により作成される固有調音ＨＭＭのモデルλ_{ｅｉｇｅｎ}を記憶するものである。

モデル収束判定部２５は、尤度の変化が収束したかを判断する。
具体的には、話者ｉの全ての時刻における調音パラメータベクトル（調音パラメータ記憶部１４に記憶されている。）を連結したベクトルｘ_ｉを作成する（式（１１）参照）。
モデルλ_{ａｖｅｒａｇｅ}（１回目は平均調音モデル記憶部２０に記憶されているモデルλ_{ａｖｅｒａｇｅ}、２回目以降はモデル置換部２６により置き換えられたモデルλ_{ａｖｅｒａｇｅ}）からそれに含まれる平均調音パラメータベクトルｘ_ｍを取り出し、話者ｉを利用して話者ｉに関連付けて話者適応行列記憶部２２に記憶されている話者適応行列Ｗ_ｉを取り出す。取り出した平均調音パラメータベクトルｘ_ｍと取り出した話者適応行列Ｗ_ｉとの積をとることにより話者ｉの話者適応調音ＨＭＭを作成する。

モデルλ_{ａｖｅｒａｇｅ}において、状態系列ｑを構成する一つの状態をｑ_ｍとするとき、作成した話者適応調音ＨＭＭに含まれる平均調音パラメータベクトルおよび共分散行列に対する、話者ｉの連結したベクトルｘ_ｉの出力確率は、その状態ｑ_ｍへの遷移確率Ｐ（ｑ_ｍ｜λ_{ａｖｅｒａｇｅ}）とその状態ｑ_ｍに対するベクトルｘ_ｉの出力確率Ｐ（ｘ_ｉ｜ｑ_ｍ，λ_{ａｖｅｒａｇｅ}）との積で表され、連結したベクトルｘ_ｉの出力確率Ｐ（ｘ_ｉ｜λ_{ａｖｅｒａｇｅ}）は、状態系列ｑを構成する全ての状態に対するベクトルｘ_ｉの出力確率を加算したものであるので、下記式（１５）に示すものとなる。これを全ての話者において行う。

ここで、ｍ，ｎはＨＭＭの状態、ｑはＨＭＭの状態系列を表すものとする。また、与えられた状態ｑ_ｍに対する調音パラメータベクトルｘ_ｉｔの出力確率Ｐ（ｘ_ｉｔ｜ｑ_ｍ，λ_{ａｖｅｒａｇｅ}）を下記式（１６）に示すガウス分布と仮定する。ただし、Ｍは調音パラメータベクトルの次数、Ｔは転置である。

各話者の式（１５）により得られた値を合計する（下記式（１７））。

モデルλ_{ｅｉｇｅｎ}（固有調音モデル記憶部２４に記憶されているモデルλ_{ｅｉｇｅｎ}）からそれに含まれる平均調音パラメータベクトルｘ_ｍを取り出し、話者ｉを利用して話者ｉに関連付けて話者適応行列記憶部２２に記憶されている話者適応行列Ｗ_ｉを取り出す。取り出した平均調音パラメータベクトルｘ_ｍと取り出した話者適応行列Ｗ_ｉとの積をとることにより話者ｉの話者適応調音ＨＭＭを作成する。

モデルλ_{ｅｉｇｅｎ}において、状態系列ｑを構成する一つの状態をｑ_ｍとするとき、作成した話者適応調音ＨＭＭに含まれる平均調音パラメータベクトルおよび共分散行列に対する、話者ｉの連結したベクトルｘ_ｉの出力確率は、その状態ｑ_ｍへの遷移確率Ｐ（ｑ_ｍ｜λ_{ｅｉｇｅｎ}）とその状態ｑ_ｍに対するベクトルｘ_ｉの出力確率Ｐ（ｘ_ｉ｜ｑ_ｍ，λ_{ｅｉｇｅｎ}）との積で表され、連結したベクトルｘ_ｉの出力確率Ｐ（ｘ_ｉ｜λ_{ｅｉｇｅｎ}）は、状態系列ｑを構成する全ての状態に対するベクトルｘ_ｉの出力確率を加算したものであるので、下記式（１８）に示すものとなる。これを全ての話者において行う。

ここで、ｍ，ｎはＨＭＭの状態、ｑはＨＭＭの状態系列を表すものとする。また、与えられた状態ｑ_ｍに対する調音パラメータベクトルｘ_ｉｔの出力確率Ｐ（ｘ_ｉｔ｜ｑ_ｍ，λ_{ｅｉｇｅｎ}）を下記式（１９）に示すガウス分布と仮定する。ただし、Ｍは調音パラメータベクトルの次数、Ｔは転置である。

各話者の式（１８）により得られた値を合計する（下記式（２０））。

モデルλ_{ｅｉｇｅｎ}に関して式（２０）で得られる値から、モデルλ_{ａｖｅｒａｇｅ}に関して式（１７）で得られる値を引いた値（下記式（２１）に示す値）の絶対値が予め設定された閾値（例えば、０．０１）よりも小さくなったか否かにより判断する。

モデル置換部２６は、モデルλ_{ａｖｅｒａｇｅ}を固有調音モデル記憶部２４に記憶されているモデルλ_{ｅｉｇｅｎ}に置き換える。

話者適応調音モデル作成部２７は、固有調音モデル記憶部２４から固有調音ＨＭＭのモデルλ_{ｅｉｇｅｎ}を取り出し、取り出したモデルλ_{ｅｉｇｅｎ}からそれに含まれる、全話者共通の音素固有の、平均調音パラメータベクトルｘ_ｍを取り出す。また、話者適応調音モデル作成部２７は、話者ｉに対応して話者適応行列記憶部２２に記憶されている、話者性を表す、話者適応行列Ｗ_ｉを取り出す。そして、話者適応調音モデル作成部２７は、取り出した平均調音パラメータベクトルｘ_ｍと話者適応行列Ｗ_ｉとの積をとることにより話者ｉの話者適応調音ＨＭＭを作成する。

発話タイミング生成部２８は、音響パラメータ生成部１１と同じレートの発話タイミングを生成する。

調音パラメータ作成部２９は、話者適応調音モデル作成部２７により得られる話者ｉの話者適応調音ＨＭＭを用いて、発話タイミング生成部２８により生成される発話タイミングに従って、各時刻における調音パラメータベクトルを生成する。この生成には、音声パラメータ生成アルゴリズム（徳田恵一、益子貴史、小林隆夫、今井聖、“動的特徴を用いたＨＭＭからの音声パラメータ生成アルゴリズム、”日本音響学会誌第５３巻３号（１９９７），ｐｐ．１０２−２００）を利用する。

まず、与えられた音素系列、すなわち、ＨＭＭの状態系列ｑを発話タイミングに応じて設定する。例えば、状態系列を下記式（２２）とする。ここで、Ｌは状態数である。

次に、話者ｉの話者適応調音ＨＭＭから、状態系列に対応する下記式（２３）に示す平均調音パラメータベクトルｘ_ｉと下記式（２４）に示す共分散行列σ_ｉとを並べ、上記文献に記載された音声パラメータ生成アルゴリズムに従って、前後のフレームの連続性を考慮した調音パラメータベクトル系列ｘ_ｉを生成する。

通常、ＨＭＭは平均調音パラメータベクトルおよび共分散を保持しているため、与えられた状態系列に対する出力確率が最大となる調音パラメータベクトル系列は、下記式（２５）が未知のベクトルＸについて最小にすることと等価であるため、与えられた状態系列における平均調音パラメータベクトルを並べたものとなる。この場合、ＨＭＭの状態間で得られた調音パラメータベクトルの不連続が起るため、なんらかの平滑化処理が後処理として必要となる。しかしながら、この場合、平滑化後の調音パラメータベクトルの出力確率が高くなることが保障されていない。

これに対して、上記文献の音声パラメータ生成アルゴリズムは前後のフレームの連続性を考慮しつつ、出力確率が最大となる調音パラメータベクトルを生成することを行っているために、後処理として平滑化処理を行う必要がない。

具体的には、平均調音パラメータベクトルを、動的特徴（速度および加速度）を加えたベクトルに拡張する。すなわち、ベクトルｘを下記式（２６）とする。ここで、ｘ_ｓはこれまでの静的な平均調音パラメータベクトルｘであり、ｘ_Δとｘ_Δ２は、下記式（２７）、（２８）で表される。これら２つのパラメータを平均調音パラメータベクトルに追加する。

次に、静的な平均調音パラメータベクトルｘ_ｓを、動的特徴を加えた平均調音パラメータベクトルに変換する行列Ｒを下記式（２９）に示すように定義する。ただし、Ｉは単位行列である。

前後のフレームの連続性を考慮して、調音パラメータベクトルの出力確率を最大にすることは、下記式（３０）を未知のベクトルＸについて最小にすることと等価である。

つまり、下記式（３１）を演算することである。

音声スペクトル生成部３０は、調音・音響対コードブックの検索アルゴリズム（鏑木時彦、誉田雅彰、津村尚志、“音素ラベル付き調音・音響対コードブックの検索に基づく調音運動からの音声合成法の検討、”日本音響学会誌５４巻３号（１９９８），ｐｐ．２０７−２１４）に基づき、調音パラメータ作成部２９により生成される時刻ｔにおける調音パラメータベクトルを、コードブック記憶部１７に記憶されている各調音パラメータベクトルと比較し、その中から調音パラメータ作成部２９により生成される時刻ｔにおける調音パラメータベクトルと誤差の小さい調音パラメータベクトルを選択し、これと対となる音響パラメータベクトルを出力する。この操作を全ての時刻ｔにおいて行い、所望の音響パラメータベクトル系列を得る。

基本周波数生成部３１は基本周波数を生成し、パワー生成部３２はパワーを生成する。
音声合成部３３は、基本周波数生成部３１とパワー生成部３２から入力される基本周波数とパワーを、音声スペクトル生成部３０により得られる音響パラメータベクトル系列に与えて音声を合成する。
音声出力部３４は、音声合成部３３により合成される音声を出力する。

以下、上述した正規化を用いた音声合成装置１により行われる調音運動の正規化を用いた音声合成方法における固有調音ＨＭＭのモデルの作成の手順について図４を参照しつつ説明する。図４は音声合成装置１により行われる固有調音ＨＭＭのモデルの作成の手順を示すフローチャートである。

音響パラメータ生成部１１は、話者ｉにより発声された音声信号に基づき、各時刻ｔにおける音響パラメータベクトルｙ_ｉｔを生成し、この生成した音響パラメータベクトルｙ_ｉｔを、話者ｉと時刻ｔとに関連付けて音響パラメータ記憶部１２に保存する。これを話者ごとに行う（ステップＳ１０１）。
調音パラメータ生成部１３は、音声信号と同時計測された話者ｉの上顎（ＵＪ）、下顎（ＬＪ）、上唇（ＵＬ）、下唇（ＬＬ）、舌上の３点（Ｔ１，Ｔ２，Ｔ３）の計７点の水平位置および垂直位置に基づき、各時刻ｔにおける調音パラメータベクトルｘ_ｉｔを生成し、この生成した調音パラメータベクトルｘ_ｉｔを話者ｉと時刻ｔとに関連付けて調音パラメータ記憶部１４に保存する。これを話者ごとに行う（ステップＳ１０２）。
コードブック作成部１６は、話者ｉと時刻ｔとを利用して、音響パラメータ記憶部１２、調音パラメータ記憶部１４、音素系列記憶部１５の夫々から、話者ｉと時刻ｔとに対応して記憶されている、音響パラメータベクトルｙ_ｉｔ、調音パラメータベクトルｘ_ｉｔ、音素を取り出す。そして、コードブック作成部１６は、話者ｉと時刻ｔとに取り出した音響パラメータベクトルｙ_ｉｔと調音パラメータベクトルｘ_ｉｔと音素とを関連付けてコードブック記憶部１７に記憶する。これを、全ての話者の全ての時刻において行う（調音・音響対コードブックの作成）（ステップＳ１０３）。

調音パラメータ正規化部１８は、参照話者ｊと時刻ｔとを利用して、参照話者ｊと時刻ｔとに関連付けて調音パラメータ記憶部１４に記憶されている調音パラメータベクトルｘ_ｊｔを取り出す。調音パラメータ正規化部１８は、参照話者以外の話者ｋと時刻ｔとを利用して、話者ｋと時刻ｔとに関連付けて調音パラメータ記憶部１４に記憶されている調音パラメータベクトルｘ_ｋｔを取り出す。そして、調音パラメータ正規化部１８は、取り出した参照話者ｊの調音パラメータベクトルｘ_ｊｔに含まれる上顎（ＵＪ）の位置座標（ｘ_ｊｔ ^{（ＵＪｘ）}，ｘ_ｋｔ ^{（ＵＪｙ）}）と、取り出した話者ｋの調音パラメータベクトルｘ_ｋｔに含まれる上顎（ＵＪ）の位置座標（ｘ_ｋｔ ^{（ＵＪｘ）}，ｘ_ｋｔ ^{（ＵＪｙ）}）とが一致するように話者ｋの上顎（ＵＪ）の位置を平行移動させ、平行移動後の位置座標を新たに上顎（ＵＪ）の位置座標（ｘ_ｋｔ ^{（ＵＪｘ）}，ｘ_ｋｔ ^{（ＵＪｙ）}）とする。これを参照話者ｊ以外の全ての話者について行う。
調音パラメータ正規化部１８は、参照話者ｊの口蓋の位置座標（Ｖ_ｘｊ，Ｖ_ｙｊ）と話者ｋの口蓋の位置座標（Ｖ_ｘｋ，Ｖ_ｙｋ）とを用いて、上顎（ＵＪ）の位置に対して、参照話者ｊの口蓋の位置座標と話者ｋの口蓋の位置座標との誤差が最小になるように、話者ｋの口蓋の位置を回転させる回転角ｔｈｅｔａを求める。
調音パラメータ正規化部１８は、話者ｋの調音パラメータベクトルｘ_ｋｔに含まれる調音器官の下顎（ＬＪ）、上唇（ＵＬ）、下唇（ＬＬ）、舌上（Ｔ１）、舌上（Ｔ２）、および舌上（Ｔ３）の位置座標の夫々を求めた回転角ｔｈｅｔａ回転させる。そして、調音パラメータ正規化部１８は、新たに平行移動後或いは回転後の各位置座標を並べて調音パラメータベクトルｘ_ｋｔを生成する。調音パラメータ正規化部１８は、調音パラメータ記億部１４とコードブック記憶部１７とに記憶されている話者ｋの時刻ｔにおける調音パラメータベクトルｘ_ｋｔを、新たに生成した調音パラメータベクトルｘ_ｋｔに置き換え、調音パラメータ記億部１４とコードブック記憶部１７の記憶内容を更新する。これを、参照話者ｊ以外の全ての話者の全ての時刻において行う（調音パラメータベクトルの正規化）（ステップＳ１０４）。

平均調音モデル作成部１９は、調音パラメータ記憶部１４に記憶されている全ての話者の全ての時刻における調音パラメータベクトルの平均により構成される平均調音ＨＭＭのモデルλ_{ａｖｅｒａｇｅ}を作成し、作成した平均調音ＨＭＭのモデルλ_{ａｖｅｒａｇｅ}を平均調音モデル記憶部２０に保存する（ステップＳ１０５）。

話者適応行列計算部２１は、平均調音モデル記憶部２０から平均調音モデルＨＭＭのモデルλ_{ａｖｅｒａｇｅ}を取り出す（ステップＳ１０６）。

話者適応行列計算部２１は、話者ｉの各時刻ｔにおける調音パラメータベクトルｘ_ｉｔを、話者ｉを利用して調音パラメータ記憶部１４から取り出し、これを連結したベクトルｘ_ｉを作成する。そして、話者適応行列計算部２１は、モデルλ_{ａｖｅｒａｇｅ}に対して、連結したベクトルｘ_ｉの出力確率が最大となる話者適応行列Ｗ_ｉをＭＬＬＲ法に基づいて求め、求めた話者適応行列Ｗ_ｉを話者ｉに関連付けて話者適応行列記憶部２２に保存する。これを全ての話者において行う（ステップＳ１０７）。

固有調音モデル作成部２３は、話者ｉを利用して話者適応行列記憶部２２から話者ｉに関連付けられた話者適応行列Ｗ_ｉを取り出す。そして、固有調音モデル作成部２３は、λ_{ａｖｅｒａｇｅ}に含まれている平均調音パラメータベクトルｘ_ｍと、取り出した話者適応行列Ｗ_ｉとの積をとることにより、話者ｉの平均調音パラメータベクトルＷ_ｉｘ_ｍを求める（推定）。これを全話者について行う。そして、固有調音モデル作成部２３は、求めた話者ｉの平均調音パラメータベクトルＷ_ｉｘ_ｍに対する話者ｉの調音パラメータベクトルｘ_ｉの尤度を全話者で加算し、加算した値が最大となるような固有調音ＨＭＭのモデルλ_{ｅｉｇｅｎ}＝｛ｘ_ｍ，σ_ｍ｝を求める。そして、固有調音モデル作成部２３は、固有調音モデル記憶部２４に求めた固有調音ＨＭＭのモデルλ_{ｅｉｇｅｎ}を格納する（ステップＳ１０８）。

モデル収束判定部２５は、調音パラメータ記憶部１４から話者ｉの全ての時刻における調音パラメータベクトルを取り出し、これを連結したベクトルｘ_ｉを作成する。これを全ての話者で行う。そして、モデル収束判定部２５は、モデルλ_{ｅｉｇｅｎ}に対する各話者の連結したベクトルの出力確率を加算した値から、モデルλ_{ａｖｅｒａｇｅ}に対する各話者の連結したベクトルｘの出力確率を加算した値を引いた値が予め設定された閾値よりも小さくなったか否かにより、尤度の変化が収束したか否かを判断する（ステップＳ１０９）。尤度の変化が収束していないと判断した場合（Ｓ１０９：ＮＯ）ステップＳ１１０の処理へ進み、尤度の変化が収束したと判断した場合（Ｓ１０９：ＹＥＳ）処理を終了する。

モデル置換部２６は、モデルλ_{ａｖｅｒａｇｅ}を今回使用していた（固有調音モデル記憶部２４に記憶されている）モデルλ_{ｅｉｇｅｎ}に置き換える（ステップＳ１１０）、ステップＳ１０７の処理へ戻る。尤度の変化が収束するまでモデルλ_{ｅｉｇｅｎ}の更新を繰り返される。

以下、上述した正規化を用いた音声合成装置１により行われる調音運動の正規化を用いた音声合成方法における音声出力の手順について図５を参照しつつ説明する。図５は音声合成装置１により行われる音声出力の手順を示すフローチャートである。

話者適応調音モデル作成部２７は、固有調音モデル記憶部２４から固有調音ＨＭＭのモデルλ_{ｅｉｇｅｎ}を取り出し、取り出したモデルλ_{ｅｉｇｅｎ}からそれに含まれる平均調音パラメータベクトルｘ_ｍを取り出す。また、話者適応調音モデル作成部２７は、話者ｉに対応して話者適応行列記憶部２２に記憶されている話者適応行列Ｗ_ｉを取り出す。そして、話者適応調音モデル作成部２７は、取り出した平均調音パラメータベクトルｘ_ｍと話者適応行列Ｗ_ｉとの積をとることにより話者ｉの話者適応調音ＨＭＭを作成する（ステップＳ２０１）。

調音パラメータ作成部２９は、ステップＳ２０１で作成された話者ｉの話者適応調音ＨＭＭを用いて、発話タイミング生成部２８で生成された発話タイミングに従って、各時刻における調音パラメータベクトルを上記音声パラメータ生成アルゴリズムを用いて生成する（ステップＳ２０２）。

音声スペクトル生成部３０は、調音・音響対コードブックの検索アルゴリズムに基づき、ステップＳ２０２で生成された時刻ｔにおける調音パラメータベクトルを、コードブック記憶部１７に記憶されている各話者の調音パラメータベクトルと比較し、その中から調音パラメータ作成部２９により生成された時刻ｔにおける調音パラメータベクトルと誤差の小さい調音パラメータベクトルを選択し、これと対となる音響パラメータベクトルを出力する。全ての時刻ｔにおいて行い、音響パラメータベクトル系列を得る（ステップＳ２０３）。

音声合成部３３は、基本周波数生成部３１とパワー生成部３２から入力される基本周波数とパワー音圧とをステップＳ２０３で得た音響パラメータベクトル系列に与えて音声を合成し（ステップＳ２０４）、音声出力部３４は、ステップＳ２０４で合成された音声を出力する（ステップＳ２０５）。

平均調音ＨＭＭと固有調音ＨＭＭの比較を行った結果を図６に示す。図６は、平均調音ＨＭＭ或いは固有調音ＨＭＭと話者ｉの話者適応行列Ｗ_ｉとから話者ｉの話者適応調音ＨＭＭを作成する。そして、得られた話者適応調音ＨＭＭから生成した話者ｉの推定調音パラメータと話者ｉの観測した調音パラメータの間の誤差の平均を計算したものである。ただし、話者適応行列の数は１つとした。その結果、固有調音ＨＭＭから生成した調音パラメータの推定誤差は、平均調音ＨＭＭから生成した調音パラメータの推定誤差と比較して小さいことが分かる。特に、／ｋ／や／ｇ／などの口蓋音で固有調音ＨＭＭと平均調音ＨＭＭの間で大きな相違が見られる。これは、平均調音ＨＭＭでは特定の話者に偏って学習が行われたのに対して、固有調音ＨＭＭでは話者適応学習による話者間のばらつきを考慮した学習により、話者性の特徴が固有調音ＨＭＭから精度よく分離されたことを意味している。また、固有調音ＨＭＭの学習における繰り返しの数（反復回数）は２程度でよいことが分かる。

話者適応行列Ｗ_ｉの個数による固有調音ＨＭＭから生成した調音パラメータの推定誤差について検討する。固有調音ＨＭＭから話者ｉの適応に用いる話者適応行列Ｗ_ｉの個数を増やすことにより、話者性の表現能力が上がることが期待される。話者適応行列の数を１個から６個に増やした場合、推定誤差は０．０４ｍｍしか減少せず、推定された調音パラメータに大きな相違が見られないことが分かる。さらに、話者適応行列を最大の７３９個に増やしても、誤差は１個の場合と比較して０．１ｍｍしか減少しない。一般に、音声スペクトルの領域においては、この話者適応行列の数が２以上必要なことが知られている。このことから、調音運動の領域においては、話者の相違を１個の話者適応行列で表現でき、これは、調音運動領域での話者性の制御が音声スペクトルと比較してうまくいくことを示唆している。

話者２の観測した調音運動と、固有調音ＨＭＭの平均調音パラメータベクトルｘ_ｍから話者適応行列Ｗ_２を用いて推定した話者２の調音運動とを比較した結果を図７に示す。図７は、「気管ぜんそくや鼻炎も広まっている」という文章を用いた。調音運動全体における平均二乗誤差は約１．３５ｍｍとなった。この値は人間が同じ文章を１０回繰り返し発声した場合の調音運動の標準偏差２ｍｍよりも小さいため、推定誤差は十分に小さいといえる。

図７において推定された話者２の調音運動から、話者１の調音・音響対コードブックを用いて生成した音声スペクトルを図８（ｂ）に示す。比較のため、話者１の推定された話者１の調音運動から、話者１の調音・音響対コードブックを用いて生成した音声スペクトルを図８（ａ）に示す。ここで、（ｂ）は話者２の調音運動に従って話者１が音声を生成したことを意味しており、話者１が話者２の話し方をまねたことに対応する。この結果、異なる調音パラメータから、異なる音声スペクトルを生成可能であることが分かる。さらに、得られた音声パラメータに基づき音声を合成した結果、（ｂ）の音声には十分な話者性が存在することが音声の聞き取り実験においても確認された。このことは、本手法が調音パラメータの領域において話者性を制御するのに有効であることが分かる。

以上、本発明の好適な実施の形態について説明したが、本発明は上述の実施の形態に限られるものではなく、特許請求の範囲に記載した限りにおいて様々な設計変更が可能なものである。

尚、上述した各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上記各種処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。更に、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明の実施の形態における正規化を用いた音声合成装置の機能を示す機能ブロック図。 図１のコードブック記憶部に記憶される調音・音響対コードブックを説明するための図。 正規化前後の話者の調音器官の位置を示す図。 図１の音声合成装置が行う音声合成方法における固有調音ＨＭＭのモデルの作成手順を示すフローチャート。 図１の音声合成装置が行う音声合成方法における音声出力の手順を示すフローチャート。 平均調音ＨＭＭと固有調音ＨＭＭから生成された調音パラメータの推定誤差を示す図。 固有調音ＨＭＭから生成された調音運動と観測された調音運動の垂直成分を示す図。 調音運動から生成した音声スペクトルを示す図。

符号の説明

１ 音声合成装置
１１ 音響パラメータ生成部
１３ 調音パラメータ生成部
１４ 調音パラメータ記憶部
１７ コードブック記憶部
１８ 調音パラメータ正規化部
１９ 平均調音モデル作成部
２０ 平均調音モデル記憶部
２１ 話者適応行列計算部
２２ 話者適応行列記憶部
２３ 固有調音モデル作成部
２４ 固有調音モデル記憶部
２５ モデル収束判定部
２６ モデル置換部
２７ 話者適応調音モデル作成部
２９ 調音パラメータ作成部
３０ 音声スペクトル生成部

Claims (4)

1. 複数の話者の各時刻における調音器官の複数の位置から得られる各話者の各時刻における調音パラメータベクトル系列に関して、一の話者以外の他の話者の夫々の各時刻おいて、該一の話者の一の前記調音器官の位置と前記他の話者の夫々の該一の前記調音器官の位置とが一致するように各前記他の話者の前記一の前記調音器官の位置を移動させ、前記他の話者の夫々について、前記一の前記調音器官の位置に対して前記一の話者の口蓋と前記他の話者の口蓋との誤差が最小になるように前記他の話者の口蓋を回転させる回転角を求めて前記一の前記調音器官の位置以外の他の位置を該回転角により回転させて、前記調音パラメータベクトル系列を正規化する調音パラメータ正規化手順と、
   調音運動の第１統計モデルに対する前記調音パラメータ正規化手順において正規化した後の全ての調音パラメータベクトル系列を連結したベクトル系列の出力確率が最大となる該第１統計モデルを生成する第１統計モデル生成手順と、
   話者の夫々について、前記第１統計モデル生成手順で生成された前記第１統計モデルに対して、前記調音パラメータ正規化手順において正規化した後の話者の各時刻における調音パラメータベクトル系列を全ての時刻について連結したベクトル系列の出力確率が最大となる話者適応行列を求めて該求めた話者適応行列を話者に関連付けて話者適応行列記憶手段に記憶する話者適応行列計算手順と、
   話者の夫々について、話者のベクトル系列を前記第１統計モデル生成手順において生成された前記第１統計モデルと前記話者適応行列計算手順において求められた当該話者の話者適応行列とを利用して求め、この求めた話者のベクトル系列に対して、前記調音パラメータ正規化手順において正規化した後の当該話者の各時刻における調音パラメータベクトル系列を全ての時刻について連結したベクトル系列の出力確率を求め、この求めた各話者の出力確率を全話者について加算した値が最大となるような第２統計モデルを生成し、該生成した第２統計モデルをモデル記憶手段に記憶する第２統計モデル生成手順と、
   を備えたことを特徴とする調音運動の正規化を用いた音声合成方法。
2. 話者の夫々について、話者のベクトル系列を前記第１統計モデル生成手順において生成された前記第１統計モデルと前記話者適応行列計算手順において求められた当該話者の話者適応行列とを利用して求め、この求めた話者のベクトル系列に対して、前記調音パラメータ正規化手順において正規化した後の当該話者の各時刻における調音パラメータベクトル系列を全ての時刻について連結したベクトル系列の出力確率を求め、この求めた各話者の出力確率を全話者について加算して第１の加算値を得、
   話者の夫々について、話者のベクトル系列を前記第２統計モデル生成手順において生成された前記第２統計モデルと前記話者適応行列計算手順において求められた当該話者の話者適応行列とを利用して求め、この求めた話者のベクトル系列に対して、前記調音パラメータ正規化手順において正規化した後の当該話者の各時刻における調音パラメータベクトル系列を全ての時刻について連結したベクトル系列の出力確率を求め、この求めた各話者の出力確率を全話者について加算して第２の加算値を得、
   前記第１の加算値と前記第２の加算値との差が所定の値以下であるか否かを判断するモデル収束判断手順と、
   前記モデル収束判断手順で前記差が予め設定された閾値以下であると判断された場合、
   前記第１統計モデルを前記第２統計モデルに置き換えるモデル置換手順と、
   をさらに備え、
   前記話者適応行列計算手順および前記第２統計モデル生成手順を前記モデル置換手順で置き換えられた第１統計モデルを利用して行うことを特徴とする請求項１に記載の調音運動の正規化を用いた音声合成方法。
3. 話者の話者適応調音モデルを前記話者適応記憶手段に記憶されているこの話者の話者適応行列と前記第２統計モデル記憶手段に記憶されている第２統計モデルとを利用して求める話者適応調音モデル生成手順をさらに備えていることを特徴とする請求項１または請求項２に記載の調音運動の正規化を用いた音声合成方法。
4. 複数の話者の各時刻における調音器官の複数の位置から得られる各話者の各時刻における調音パラメータベクトル系列に関して、一の話者以外の他の話者の夫々の各時刻おいて、該一の話者の一の前記調音器官の位置と前記他の話者の夫々の該一の前記調音器官の位置とが一致するように各前記他の話者の前記一の前記調音器官の位置を移動させ、前記他の話者の夫々について、前記一の前記調音器官の位置に対して前記一の話者の口蓋と前記他の話者の口蓋との誤差が最小になるように前記他の話者の口蓋を回転させる回転角を求めて前記一の前記調音器官の位置以外の他の位置を該回転角により回転させて、前記調音パラメータベクトル系列を正規化する調音パラメータ正規化手段と、
   調音運動の第１統計モデルに対する前記調音パラメータ正規化手段により正規化した後の全ての調音パラメータベクトル系列を連結したベクトル系列の出力確率が最大となる該第１統計モデルを生成する第１統計モデル生成手段と、
   話者の夫々について、前記第１統計モデル生成手段により生成される前記第１統計モデルに対して、前記調音パラメータ正規化手段において正規化した後の話者の各時刻における調音パラメータベクトル系列を全ての時刻について連結したベクトル系列の出力確率が最大となる話者適応行列を求める話者適応行列計算手段と、
   前記話者適応行列計算手段により求められる話者適応行列を話者に関連付けて記憶する話者適応行列記憶手段と、
   話者の夫々について、話者のベクトル系列を前記第１統計モデル生成手段により生成される前記第１統計モデルと前記話者適応行列記憶手段に記憶されている当該話者の話者適応行列とを利用して求め、この求めた話者のベクトル系列に対して、前記調音パラメータ正規化手順において正規化した後の当該話者の各時刻における調音パラメータベクトル系列を全ての時刻について連結したベクトル系列の出力確率を求め、この求めた各話者の出力確率を全話者について加算した値が最大となるような第２統計モデルを生成し、該生成した第２統計モデルをモデル記憶手段に記憶する第２統計モデル生成手段と、
   前記第２統計モデル生成手段により生成される第２統計モデルを記憶するモデル記憶手段と、
   を備えたことを特徴とする調音運動の正規化を用いた音声合成装置。

Images