JP6902759B2 - 音響モデル学習装置、音声合成装置、方法およびプログラム - Google Patents

Description

本発明の実施形態は、入力テキストに応じた音声を合成する音声合成技術に関する。

目標話者の音声データからその話者の合成音声を生成する方法として、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づく音声合成技術がある。この技術は、音声データからＤＮＮ音響モデルを学習するＤＮＮ音響モデル学習装置と、学習されたＤＮＮ音響モデルを用いて合成音声を生成する音声合成装置で構成されている。

特許文献１は、小さなサイズかつ複数話者の合成音声を生成できるＤＮＮ音響モデルを低コストで学習できる音響モデル学習を開示している。ＤＮＮ音声合成において時系列である音声パラメータ系列をモデル化するために、Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ Ｐａｒａｍｅｔｅｒ Ｇｅｎｅｒａｔｉｏｎ（ＭＬＰＧ）やＲｅｃｕｒｒｎｅｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＲＮＮ）を利用することが一般的である。

特開２０１７−０３２８３９号公報

しかしながら、ＭＬＰＧは発話レベルの処理のため低遅延の音声合成処理には適さない。また、ＲＮＮは高い性能を持つＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）−ＲＮＮが一般的に利用されるが、その再帰処理は複雑であり計算コストが高いため限られた計算資源の環境には適さない。

限られた計算資源の環境において低遅延の音声合成処理を実現するためには、Ｆｅｅｄ−Ｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＦＦＮＮ）が適切である。ＦＦＮＮは基本的なＤＮＮであるため構造が単純で計算コストは低く、Ｆｒａｍｅ−ｂｙ−ｆｒａｍｅで動作するため低遅延の処理に適している。

一方、ＦＦＮＮには、隣接するフレーム間の音声パラメータの関係を無視して学習するため、時系列である音声パラメータ系列を適切にモデル化できない制約がある。この制約を解決するために、隣接するフレーム間の音声パラメータの関係を考慮するＦＦＮＮ用の学習方法が必要になるという問題がある。

本発明は、このような課題に着目して鋭意研究され完成されたものであり、その目的は、限られた計算資源の環境において低遅延、かつ、適切にモデル化されたＤＮＮによる音声合成技術を提供することにある。

上記課題を解決するために、第１の発明は、複数の発話音声から抽出された自然言語特徴量系列及び自然音声パラメータ系列を発話単位で記憶するコーパス記憶部と、ある自然言語特徴量系列からある合成音声パラメータ系列を予測するためのフィードフォワード・ニューラルネットワーク型の予測モデルを記憶する予測モデル記憶部と、前記自然言語特徴量系列を入力とし、前記予測モデルを用いて合成音声パラメータ系列を予測する音声パラメータ系列予測部と、前記合成音声パラメータ系列と前記自然音声パラメータ系列に関する誤差を集計する誤差集計装置と、前記誤差に所定の最適化を行い、前記予測モデルを学習する学習部を備え、前記誤差集計装置は、前記予測モデルの出力層に対して隣接するフレーム同士を関連付けるための損失関数を用いる音響モデル学習装置である。

第２の発明は、前記損失関数は、時間領域制約、局所的な分散、局所的な分散共分散行列、又は、局所的な相関係数行列に関する損失関数の少なくとも１つを含む第１の発明に記載の音響モデル学習装置である。

第３の発明は、前記損失関数は、さらに、系列内の分散、系列内の分散共分散行列、又は、系列内の相関係数行列に関する損失関数の少なくとも１つを含む第２の発明に記載の音響モデル学習装置である。

第４の発明は、前記損失関数は、さらに、次元領域制約に関する損失関数の少なくとも１つを含む第３の発明に記載の音響モデル学習装置である。

第５の発明は、複数の発話音声から抽出された自然言語特徴量系列及び自然音声パラメータ系列を発話単位で記憶するコーパスから、前記自然言語特徴量系列を入力とし、ある自然言語特徴量系列からある合成音声パラメータ系列を予測するためのフィードフォワード・ニューラルネットワーク型の予測モデルを用いて合成音声パラメータ系列を予測し、前記合成音声パラメータ系列と前記自然音声パラメータ系列に関する誤差を集計し、前記誤差に所定の最適化を行い、前記予測モデルを学習する音響モデル学習方法であって、前記誤差を集計する際に、前記予測モデルの出力層に対して隣接するフレーム同士を関連付けるための損失関数を用いる音響モデル学習方法である。

第６の発明は、複数の発話音声から抽出された自然言語特徴量系列及び自然音声パラメータ系列を発話単位で記憶するコーパスから、前記自然言語特徴量系列を入力とし、ある自然言語特徴量系列からある合成音声パラメータ系列を予測するためのフィードフォワード・ニューラルネットワーク型の予測モデルを用いて合成音声パラメータ系列を予測するステップと、前記合成音声パラメータ系列と前記自然音声パラメータ系列に関する誤差を集計するステップと、前記誤差に所定の最適化を行い、前記予測モデルを学習するステップと、をコンピュータに実行させる音響モデル学習プログラムであって、前記誤差を集計するステップは、前記予測モデルの出力層に対して隣接するフレーム同士を関連付けるための損失関数を用いる音響モデル学習プログラムである。

第７の発明は、音声合成対象文章の言語特徴量系列を記憶するコーパス記憶部と、第１の発明に記載の音響モデル学習装置で学習した、ある言語特徴量系列からある合成音声パラメータ系列を予測するためのフィードフォワード・ニューラルネットワーク型の予測モデルを記憶する予測モデル記憶部と、音声波形を生成するためのボコーダを記憶するボコーダ記憶部と、前記言語特徴量系列を入力とし、前記予測モデルを用いて合成音声パラメータ系列を予測する音声パラメータ系列予測部と、前記合成音声パラメータ系列を入力とし、前記ボコーダを用いて合成音声波形を生成する波形合成処理部を備える音声合成装置である。

第８の発明は、音声合成対象文章の言語特徴量系列を入力とし、第５の発明に記載の音響モデル学習方法で学習した、ある言語特徴量系列からある合成音声パラメータ系列を予測する予測モデルを用いて、合成音声パラメータ系列を予測し、前記合成音声パラメータ系列を入力とし、音声波形を生成するためのボコーダを用いて、合成音声波形を生成する音声合成方法である。

第９の発明は、音声合成対象文章の言語特徴量系列を入力とし、第６の発明に記載の音響モデル学習プログラムで学習した、ある言語特徴量系列からある合成音声パラメータ系列を予測する予測モデルを用いて、合成音声パラメータ系列を予測するステップと、前記合成音声パラメータ系列を入力とし、音声波形を生成するためのボコーダを用いて、合成音声波形を生成するステップと、をコンピュータに実行させる音声合成プログラムである。

本発明によれば、限られた計算資源の環境において低遅延、かつ、適切にモデル化されたＤＮＮによる音声合成技術を提供することができる。

本発明の実施形態に係るモデル学習装置の機能ブロック図ある。 本発明の実施形態に係る誤差集計装置の機能ブロック図ある。 本発明の実施形態に係る音声合成装置の機能ブロック図ある。 音声評価実験で用いる１発話の基本周波数系列の代表例を示す。 音声評価実験で用いる５次と１０次のメルケプストラム系列の代表例を示す。 音声評価実験で用いる５次と１０次のメルケプストラムの散布図の代表例を示す。 音声評価実験で用いる５次と１０次のメルケプストラム系列の変調スペクトルの代表例を示す。

図面を参照しながら本発明の実施の形態を説明する。ここで、各図において共通する部分には同一の符号を付し、重複した説明は省略する。また、図形は、長方形が処理部を表し、平行四辺形がデータを表し、円柱がデータベースを表す。また、実線の矢印は処理の流れを表し、点線の矢印はデータベースの入出力を表す。

処理部及びデータベースは機能ブロック群であり、ハードウェアでの実装に限られず、ソフトウェアとしてコンピュータに実装されていてもよく、その実装形態は限定されない。例えば、パーソナルコンピュータ等のクライアント端末と有線又は無線の通信回線（インターネット回線など）に接続された専用サーバにインストールされて実装されていてもよいし、いわゆるクラウドサービスを利用して実装されていてもよい。

［Ａ．本実施形態の概要］
本実施形態では、音声パラメータ系列を予測するためのＤＮＮ予測モデル（「音響モデル」ともいう）を学習する際に短期及び長期における音声パラメータ系列の特徴量の誤差を集計する処理を行い、そして、ボコーダによる音声合成処理を行う。これによって、限られた計算資源の環境において低遅延、かつ、適切にモデル化されたＤＮＮによる音声合成による音声合成が可能になる。

（ａ１．モデル学習処理）
モデル学習処理は、言語特徴量系列から音声パラメータ系列を予測するためのＤＮＮ予測モデルの学習に関する。本実施形態で用いるＤＮＮ予測モデルはＦＦＮＮ（フィードフォワード・ニューラルネットワーク）型の予測モデルであり、データの流れが一方向である。

また、モデル学習をする際に、短期及び長期における音声パラメータ系列の特徴量の誤差を集計する処理を行う。このために、本実施形態では、ＤＮＮ予測モデルの出力層に対して隣接するフレーム同士を関連付けるための損失関数を誤差集計処理に導入している。

（ａ２．音声合成処理）
音声合成処理では、学習後のＤＮＮ予測モデルを用いて、所定の言語特徴量系列から合成音声パラメータ系列を予測し、ニューラルボコーダを用いて合成音声波形を生成する。

［Ｂ．モデル学習装置の具体的な構成］
（ｂ１．モデル学習装置１００の各機能ブロックの説明）
図１は、本実施形態に係るモデル学習装置の機能ブロック図ある。モデル学習装置１００は、各データベースとして、コーパス記憶部１１０と、ＤＮＮ予測モデル記憶部１５０を備えている。また、モデル学習装置１００は、各処理部として、音声パラメータ系列予測部１４０と、誤差集計装置２００と、学習部１８０を備えている。

まず、一人又は複数人の音声を事前に収録する。ここでは２００文程度の文章を読み上げ（発話し）、その発話音声を収録し、音声辞書を話者毎に作成する。各音声辞書には話者ＩＤ（話者識別情報）が付与されている。

そして、各音声辞書には、発話音声から抽出されたコンテキスト、音声波形、及び、自然音響特徴量が発話単位で格納されている。発話単位とは、文章毎の意味である。コンテキスト（「言語特徴量」ともいう）は各文章をテキスト解析した結果であり、音声波形に影響を与える要因（音素の並び、アクセント、イントネーションなど）である。音声波形は人が各文章を読み上げ、マイクロフォンに入力された波形である。

音響特徴量としてはスペクトル特徴量、基本周波数、周期・非周期指標、有声無声判定フラグなどがある。さらに、スペクトル特徴量としてはメルケプストラム、ＬＰＣ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｄｉｎｇ）、ＬＳＰ（Ｌｉｎｅ Ｓｐｅｃｔｒａｌ Ｐａｉｒｓ）などがある。

ここで、ＤＮＮは入出力の一対一の対応関係を表すモデルである。このため、ＤＮＮ音声合成では、予めフレーム単位の音響特徴量系列と音素単位の言語特徴量系列の対応（音素境界）を設定し、フレーム単位の音響特徴量と言語特徴量の対を用意する必要がある。この対が本実施形態の音声パラメータ系列及び言語特徴量系列に相当する。

本実施形態では、言語特徴量系列及び音声パラメータ系列として、上述した音声辞書から、自然言語特徴量系列及び自然音声パラメータ系列を用意している。コーパス記憶部１１０は、複数の発話音声から抽出された入力データ系列（自然言語特徴量系列）１２０及び教師データ系列（自然音声パラメータ系列）１６０を発話単位で記憶している。

音声パラメータ系列予測部１４０は、ＤＮＮ予測モデル記憶部１５０に記憶されているＤＮＮ予測モデルを用いて、入力データ系列（自然言語特徴量系列）１２０から出力データ系列（合成音声パラメータ系列）１６０を予測する。誤差集計装置２００は、出力データ系列（合成音声パラメータ系列）１６０及び教師データ系列（自然音声パラメータ系列）１３０を入力とし、短期及び長期における音声パラメータ系列の特徴量の誤差１７０を集計する。

学習部１８０は誤差１７０を入力とし、所定の最適化（例えば、誤差逆伝搬法；Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ）を行い、ＤＮＮ予測モデルを学習（更新）する。学習後のＤＮＮ予測モデルはＤＮＮ予測モデル記憶部１５０に記憶される。

このような更新処理が、コーパス記憶部１１０に記憶された全ての入力データ系列（自然言語特徴量系列）１２０及び教師データ系列（自然音声パラメータ系列）１６０について実行される。

［Ｃ．誤差集計装置の具体的な構成］
（ｃ１．誤差集計装置２００の各機能ブロックの説明）
誤差集計装置２００は、出力データ系列（合成音声パラメータ系列）１６０及び教師データ系列（自然音声パラメータ系列）１３０を入力とし、短期及び長期における音声パラメータ系列の誤差を計算する装置（２１１〜２３０）を実行する。そして、各誤差計算装置の出力は、各重み付け部（２４１〜２４８）によって０から１の間で重み付けが行われる。各重み付け部（２４１〜２４８）の出力は、加算部２５０で加算される。加算部２５０の出力が誤差１７０である。

各誤差計算装置（２１１〜２３０）は、大きく３つに分けることができる。すなわち、短期、長期、及び、次元領域制約に関する誤差計算装置である。

短期に関する誤差計算装置としては、時間領域制約に関する特徴量の系列の誤差計算装置２１１、局所的な分散の系列の誤差計算装置２１２、局所的な分散共分散行列の系列の誤差計算装置２１３、及び、局所的な相関係数行列の系列の誤差計算装置２１４があり、これらのうち少なくとも１つを用いればよい。

長期に関する誤差計算装置としては、系列内の分散の誤差計算装置２２１、系列内の分散共分散行列の誤差計算装置２２２、及び、系列内の相関係数行列の誤差計算装置２２３がある。ここで、系列とは一発話全てを意味し、「系列内の分散、分散共分散行列、及び、相関係数行列」は「発話内の分散、分散共分散行列、及び、相関係数行列」とも言える。後述するように、本実施形態の損失関数は、明示的に定義した短期の関係が暗黙的に長期の関係に波及する設計となっているため、長期に関する誤差計算装置は必須ではなく、また、これらのうち少なくとも１つを用いればよい。

次元領域制約に関する誤差計算装置としては、次元領域制約に関する特徴量の系列の誤差計算装置２３０がある。ここで、次元領域制約に関する特徴量とは、基本周波数（ｆ_０）のような一次元の音響特徴量ではなく、多次元のスペクトル特徴量（スペクトラムの一種であるメルケプストラム）をいう。後述するように、次元領域制約に関する誤差計算装置は必須ではない。

（ｃ２．誤差計算で用いる系列及び損失関数の説明）
ｘ＝［ｘ_１ ^Ｔ，・・・，ｘ_ｔ ^Ｔ，ｘ_Ｔ ^Ｔ］^Ｔは、自然言語特徴量系列（入力データ系列１２０）である。ここで、転置行列「上付き文字のＴ」をベクトル内と外で２つ用いているのは、時間情報を考慮するためである。また、「下付き文字のｔとＴ」は、それぞれフレームのインデックスと総数である。フレーム間隔は５ｍＳ程度である。なお、損失関数は、隣接するフレームの関係を学習するために用いており、フレーム間隔に依らず動作可能である。

ｙ＝［ｙ_１ ^Ｔ，・・・，ｙ_ｔ ^Ｔ，ｙ_Ｔ ^Ｔ］^Ｔは、自然音声パラメータ系列（教師データ系列１３０）である。ｙ^＝［ｙ^_１ ^Ｔ，・・・，ｙ^_ｔ ^Ｔ，ｙ^_Ｔ ^Ｔ］^Ｔは、生成された合成音声パラメータ系列（出力データ系列１６０）である。なお、本来は、ハット記号「^」は「ｙ」の上に記載されるものであるが、明細書で使用可能な文字コードの都合上「ｙ」と「^」を並べて記載する。

ｘ_ｔ＝［ｘ_ｔ１，・・・，ｘ_ｔｉ，・・・，ｘ_ｔＩ］とｙ_ｔ＝［ｙ_ｔ１，・・・,ｙ_ｔｄ,・・・,ｙ_ｔＤ］はぞれぞれフレームｔにおける言語特徴量ベクトルと音声パラメータベクトルである。ここで、「下付き文字のｉとＩ」はそれぞれ言語特徴量ベクトルの次元のインデックスと総数であり、「下付き文字のｄとＤ」はそれぞれ音声パラメータベクトルの次元のインデックスと総数である。

本実施形態の損失関数では、ｘとｙを短期の閉区間［ｔ＋Ｌ，ｔ＋Ｒ］で区切った一連の系列ＸとＹ＝［Ｙ_ｔ，・・・，Ｙ_τ，・・・，Ｙ_Ｔ］をそれぞれＤＮＮの入出力とする。ここで、Ｙ_ｔ＝［ｙ_ｔ＋Ｌ，・・・，ｙ_ｔ＋τ，・・・，ｙ_ｔ＋Ｒ］はフレームｔについての短期の系列であり、Ｌ（≦０）は後方参照するフレーム数であり、Ｒ（≧０）は前方参照するフレーム数であり、τ（Ｌ≦τ≦Ｒ）は短期内の参照フレームインデックスである。

ＦＦＮＮでは、ｘ_ｔ＋τに対するｙ^_ｔ＋τは隣接フレームとは関係なく独立して予測される。そこで、Ｙ_ｔ（「出力層」ともいう）に対して隣接するフレーム同士を関連付けるために時間領域制約（ＴＤ）、局所的な分散（ＬＶ）、局所的な分散共分散行列（ＬＣ）、局所的な相関係数行列（ＬＲ）の損失関数を導入する。これらの損失関数の効果はＹ_ｔとＹ_ｔ＋τがオーバーラップの関係となっているため、学習段階で全てのフレームに波及する。このようにして、ＦＦＮＮでもＬＳＴＭ−ＲＮＮのように短期及び長期の学習を可能とする。

また、本実施形態の損失関数は、明示的に定義した短期の関係が暗黙的に長期の関係に波及する設計となっている。しかしながら、系列内の分散（ＧＶ）、系列内の分散共分散行列（ＧＣ）、系列内の相関係数行列（ＧＲ）の損失関数を導入することで長期の関係を明示的に定義することも可能である。

さらに、多次元の音声パラメータ（スペクトラムなど）については、次元領域制約（ＤＤ）を導入することによって、次元間の関係を考慮することが可能となる。

本実施形態の損失関数は、これらの損失関数の出力の重み付き和により式（１）のように定義される。

ここで、ｉ＝{ＴＤ，ＬＶ，ＬＣ，ＬＲ，ＧＶ，ＧＣ，ＧＲ，ＤＤ}は損失関数の識別子を表し、ω_ｉは識別子ｉの損失に対する重みである。

（ｃ３．各誤差計算装置２１１〜２３０の説明）
時間領域制約に関する特徴量の系列の誤差計算装置２１１について説明する。Ｙ_ＴＤ＝[Ｙ_１ ^ＴＷ，・・・，Ｙ_ｔ ^ＴＷ，・・・，Ｙ_Ｔ ^ＴＷ]は閉区間［ｔ＋Ｌ，ｔ＋Ｒ］における各フレーム間の関係を表す特徴量の一連の系列であり、時間領域制約の損失関数Ｌ_ＴＤ（Ｙ，Ｙ^）はＹ_ＴＤとＹ^_ＴＤの平均二乗誤差で式（２）のように定義される。

ここで、Ｗ＝［Ｗ_１ ^Ｔ，・・・，Ｗ_ｍ ^Ｔ，・・・,Ｗ_Ｍ ^Ｔ］は閉区間［ｔ＋Ｌ，ｔ＋Ｒ］における各フレーム間を関連付けるための係数行列であり、Ｗ_ｍ＝［Ｗ_ｍＬ，・・・，Ｗ_ｍ０，・・・，Ｗ_ｍＲ］はｍ番目の係数ベクトルであり、ｍとＭはそれぞれ係数ベクトルのインデックスと総数である。

局所的な分散の系列の誤差計算装置２１２について説明する。Ｙ_ＬＶ＝［ｖ_１ ^Ｔ，・・・，ｖ_ｔ ^Ｔ，・・・，ｖ_Ｔ ^Ｔ］^Ｔは閉区間［ｔ＋Ｌ，ｔ＋Ｒ］における分散ベクトルの系列であり、局所的な分散の損失関数Ｌ_ＬＶ（Ｙ，Ｙ^）はＹ_ＬＶとＹ^_ＬＶの平均絶対誤差で式（３）のように定義される。

ここで、ｖ_ｔ＝［ｖ_ｔ１，・・・，ｖ_ｔｄ，・・・，ｖ_ｔＤ］はフレームｔにおけるＤ次元の分散ベクトルであり、次元ｄの分散ｖ_ｔｄは式（４）により与えられる。

ここで、ｙ^￣ _ｔｄは式（５）のように閉区間［ｔ＋Ｌ，ｔ＋Ｒ］における次元ｄの平均である。なお、本来は、オーバーライン「^￣」は「ｙ」の上に記載されるものであるが、明細書で使用可能な文字コードの都合上「ｙ」と「^￣」を並べて記載する。

局所的な分散共分散行列の誤差計算装置２１３について説明する。Ｙ_ＬＣ＝［ｃ_１，・・・，ｃ_ｔ，・・・，ｃ_Ｔ］は閉区間［ｔ＋Ｌ，ｔ＋Ｒ］における分散共分散行列の系列であり、局所的な分散共分散行列の損失関数Ｌ_ＬＣ（Ｙ，Ｙ^）はＹ_ＬＣとＹ^_ＬＣの平均絶対誤差で式（６）のように定義される。

ここで、ｃ_ｔはフレームｔにおけるＤ×Ｄの分散共分散行列であり式（７）により与えられる。

ここで、Ｙ^￣ _ｔ＝［ｙ^￣ _ｔ１，・・・，ｙ^￣ _ｔｄ，・・・，ｙ^￣ _ｔＤ］は閉区間［ｔ＋Ｌ，ｔ＋Ｒ］における平均ベクトルである。

局所的な相関係数行列の誤差計算装置２１４について説明する。Ｙ_ＬＲ＝［ｒ_１，・・・，ｒ_ｔ，・・・，ｒ_Ｔ］は閉区間［ｔ＋Ｌ，ｔ＋Ｒ］における相関係数行列の系列であり、局所的な相関係数行列の損失関数Ｌ_ＬＲ（Ｙ，Ｙ^）はＹ_ＬＲとＹ^_ＬＲの平均絶対誤差で式（８）のように定義される。

ここで、ｒ_ｔはｃ_ｔ＋εと√（ｖ_ｔ ^Ｔｖ_ｔ＋ε）の要素毎の商で与えられる相関係数行列であり、εは０（ゼロ）割を防ぐための微小値である。局所的な分散の損失関数Ｌ_ＬＶ（Ｙ，Ｙ^）と局所的な分散共分散行列の損失関数Ｌ_ＬＣ（Ｙ，Ｙ^）を併用した場合、ｃ_ｔの対角成分とｖ_ｔが重複するため、これを回避するためにこの損失関数を利用する。

系列内の分散の誤差計算装置２２１について説明する。Ｙ_ＧＶ＝［Ｖ_１，・・・,Ｖ_ｄ，・・・，Ｖ_Ｄ］はｙ＝Ｙ｜_τ＝０についての分散ベクトルであり、系列内の分散の損失関数Ｌ_ＧＶ（Ｙ，Ｙ^）はＹ_ＧＶとＹ^_ＧＶの平均絶対誤差で式（９）のように定義される。

ここで、Ｖｄは次元ｄの分散であり、式（１０）により与えられる。

ここで、ｙ^￣ _ｄは次元ｄの平均であり、式（１１）により与えられる。

系列内の分散共分散行列の誤差計算装置２２２について説明する。Ｙ_ＧＣはｙ＝Ｙ｜_τ＝０についての分散共分散行列であり、系列内の分散共分散行列の損失関数Ｌ_ＧＣ（Ｙ，Ｙ^）はＹ_ＧＣとＹ^_ＧＣの平均絶対誤差で式（１２）のように定義される。

ここで、Ｙ_ＧＣは式（１３）で与えられる。

ここで、ｙ^￣＝［ｙ^￣ _１，・・・，ｙ^￣ _ｄ,・・・，ｙ^￣ _Ｄ］はＤ次元の平均ベクトルである。

系列内の相関係数行列の誤差計算装置２２３について説明する。Ｙ_ＧＲはｙ＝Ｙ｜_τ＝０についての相関係数行列であり、系列内の相関係数行列の損失関数Ｌ_ＧＲ（Ｙ，Ｙ^）はＹ_ＧＲとＹ^_ＧＲの平均絶対誤差で式（１４）のように定義される。

ここで、Ｙ_ＧＲはＹ_ＧＣ＋εと√（Ｙ_ＧＶ ^ＴＹ_ＧＶ＋ε）の要素毎の商で与えられる相関係数行列であり、εは０（ゼロ）割を防ぐための微小値である。系列内の分散の損失関数Ｌ_ＧＶ（Ｙ，Ｙ^）と系列内の分散共分散行列の損失関数Ｌ_ＧＣ（Ｙ，Ｙ^）を併用した場合、Ｙ_ＧＣの対角成分とＹ_ＧＶが重複するため、これを回避するためにこの損失関数を利用する。

次元領域制約に関する特徴量の誤差計算装置２３０について説明する。Ｙ_ＤＤ＝ｙＷは次元間の関係を表す特徴量の系列であり、次元領域制約に関する特徴量の損失関数Ｌ_ＤＤ（Ｙ，Ｙ^）はＹ_ＤＤとＹ^_ＤＤの平均絶対誤差で式（１５）のように定義される。

ここで、Ｗ＝［Ｗ_１ ^Ｔ，・・・，Ｗ_ｎ ^Ｔ，・・・，Ｗ_Ｎ ^Ｔ］は次元間を関連付けるための係数行列であり、Ｗ_ｎ＝［Ｗ_ｎ１，・・・，Ｗ_ｎｄ，・・・，Ｗ_ｎＤ］はｎ番目の係数ベクトルであり、ｎとＮはそれぞれ係数ベクトルのインデックスと総数である。

（ｃ４．実施例１：音響特徴量に基本周波数（ｆ_０）を用いる場合）
音響特徴量に基本周波数（ｆ_０）を用いる場合、誤差集計装置２００は、時間領域制約に関する特徴量の系列の誤差計算装置２１１、局所的な分散の系列の誤差計算装置２１２、及び、系列内の分散の誤差計算装置２２１を用いる。この場合、各重み付け部のうち、２４１、２４２、及び、２４５の重みのみを「１」に設定し、残りの重みを「０」に設定すればよい。ここで、基本周波数（ｆ_０）は一次元であるため、分散共分散行列、相関係数行列、及び、次元領域制約は用いない。

（ｃ５．実施例２：音響特徴量にメルケプストラムを用いる場合）
音響特徴量にメルケプストラム（スペクトラムの一種）を用いる場合、誤差集計装置２００は、局所的な分散の系列の誤差計算装置２１２、局所的な分散共分散行列の誤差計算装置２１３、局所的な相関係数行列の誤差計算装置２１４、系列内の分散の誤差計算装置２２１、及び、次元領域制約に関する特徴量の誤差計算装置２３０を用いる。この場合、各重み付け部のうち、２４２、２４３、２４４、２４５、及び、２４８の重みのみを「１」に設定し、残りの重みを「０」に設定すればよい。

［Ｄ．音声合成装置の具体的な構成］
図３は、本実施形態に係る音声合成装置の機能ブロック図ある。音声合成装置３００は、各データベースとして、コーパス記憶部３１０と、ＤＮＮ予測モデル記憶部１５０と、ボコーダ記憶部３６０を備えている。また、音声合成装置３００は、各処理部として、音声パラメータ系列予測部１４０と、波形合成処理部３５０を備えている。

コーパス記憶部３１０は、音声合成したい文章（音声合成対象文章）の言語特徴量系列３２０を記憶している。

音声パラメータ系列予測部１４０は、言語特徴量系列３２０を入力とし、ＤＮＮ予測モデル記憶部１５０の学習後のＤＮＮ予測モデルで処理し、合成音声パラメータ系列３４０を出力する。

波形合成処理部３５０は、合成音声パラメータ系列３４０を入力とし、ボコーダ記憶部３６０のボコーダで処理し、合成音声波形３７０を出力する。

［Ｅ．音声評価］
（ｅ１．実験条件）
音声評価の実験には、東京方言のプロの女性話者一名の音声コーパスを使用した。音声は平静音声で、学習用には２０００発話、評価用には学習用とは別に１００発話を用意した。言語特徴量は５２７次元のベクトル系列であり、外れ値が発生しないように発話内の正規化手法により正規化した。基本周波数は１６ｂｉｔ、４８ｋＨｚでサンプリングした収録音声から、５ｍｓフレーム周期で抽出した。また、学習の前処理として、基本周波数を対数化してから、無音と無声の区間を補間した。

本実施形態では前処理を施したままの１次元のベクトル系列とし、従来例では前処理を施した後に一次の動的特徴量を付与した２次元のベクトル系列とした。さらに、本実施形態と従来例ともに、無音区間は学習から除外し、学習セット全体から平均と分散を求めて標準化した。スペクトル特徴量は６０次元のメルケプストラム系列（α：０．５５）である。メルケプストラムは１６ｂｉｔ、４８ｋＨｚでサンプリングした収録音声から５ｍｓのフレーム周期で抽出したスペクトルから求めた。また、無音区間は学習から除外し、学習セット全体から平均と分散を求めて標準化した。

ＤＮＮは、ノード数を５１２、所定の活性化関数とする４層の隠れ層と、線形の活性化関数の出力層で構成されるＦＦＮＮとした。学習のエポックは２０、バッチサイズは１発話単位として、ランダムに学習データを選択する手法を用いて、所定の最適化手法により学習した。

基本周波数とスペクトル特徴量は別々にモデル化した。従来例おいて、損失関数は基本周波数とスペクトル特徴量のＤＮＮともに平均二乗誤差とした。本実施形態において、基本周波数のＤＮＮの損失関数の各パラメータはＬ＝−１５、Ｒ＝０、Ｗ＝［［０，・・・，０，１］、［０，・・・，０，−２０，２０］］、ω_ＴＤ＝１、ω_ＧＶ＝１、ω_ＬＶ＝１とし、スペクトル特徴量のＤＮＮの損失関数の各パラメータはＬ＝−２、Ｒ＝２、Ｗ＝［［０，０，１，０，０］］、ω_ＴＤ＝１、ω_ＧＶ＝１、ω_ＬＶ＝３、ω_ＬＣ＝３とした。また、従来例ではＤＮＮから予測された一次の動的特徴量が付加された基本周波数の系列に、動的特徴量を考慮したパラメータ生成法（ＭＬＰＧ）を適用した。

（ｅ２．実験結果）
図４は、音声評価実験で用いる評価セットから選んだ１発話の基本周波数系列の代表例（ａ）〜（ｄ）を示す。横軸はフレームインデックス（Ｆｒａｍｅ ｉｎｄｅｘ）を、縦軸は基本周波数（Ｆ０ ｉｎ Ｈｚ）を表す。同図（ａ）は目標（Ｔａｒｇｅｔ）の基本周波数系列を、同図（ｂ）は本実施形態が提案する手法（Ｐｒｏｐ．）の基本周波数系列を、同図（ｃ）はＭＬＰＧを適用した従来例（Ｃｏｎｖ． ｗ／ ＭＬＰＧ）の基本周波数系列を、同図（ｄ）はＭＬＰＧを適用しない従来例（Ｃｏｎｖ． ｗ／ｏ ＭＬＰＧ）の基本周波数系列をそれぞれ示す。

同図（ａ）に対して、同図（ｂ）は滑らかであり軌跡の形状も似ている。また、同図（ｃ）も同様に滑らかであり軌跡の形状も似ている。一方、同図（ｄ）は滑らかではなく不連続である。本実施形態はＤＮＮから予測された基本周波数系列に後処理を適用しなくても滑らかであるのに対して、従来例はＤＮＮから予測された基本周波数系列に対して後処理であるＭＬＰＧを適用しなければ滑らかにすることができない。ＭＬＰＧは発話単位の処理であるため、発話内のすべてのフレームの基本周波数を予測してからでしか適用することができない。このため、低遅延を必要とする音声合成システムには不向きである。

図５〜図７は、評価セットから選んだ１発話のメルケプストラムの代表例を示す。各図のうち、（ａ）は目標（Ｔａｒｇｅｔ）の場合を、（ｂ）は本実施形態が提案する手法（Ｐｒｏｐ．）の場合を、（ｃ）は従来例（Ｃｏｎｖ．）の場合を表す。

図５は、５次と１０次のメルケプストラム系列の代表例を示す。横軸はフレームインデックス（Ｆｒａｍｅ ｉｎｄｅｘ）を、上段の縦軸は５次のメルケプストラム係数（５ｔｈ）を、下段の縦軸は１０次のメルケプストラム係数（１０ｔｈ）を表す。

図６は、５次と１０次のメルケプストラムの散布図の代表例を示す。横軸は５次のメルケプストラム係数（５ｔｈ）を、縦軸は１０次のメルケプストラム係数（１０ｔｈ）を表す。

図７は、５次と１０次のメルケプストラム系列の変調スペクトルの代表例を示す。横軸は周波数（Ｆｒｅｑｕｅｎｃｙ）［Ｈｚ］を、上段の縦軸は５次のメルケプストラム係数（５ｔｈ）の変調スペクトル［ｄＢ］を、下段の縦軸は１０次のメルケプストラム係数（１０ｔｈ）の変調スペクトル［ｄＢ］を表す。ここでの変調スペクトルとは、短時間フーリエ変換の平均パワースペクトルをいう。

従来例と目標のメルケプストラム系列を比較すると，従来例の系列は微細構造が再現されておらず平滑化されており、系列の変動（振幅や分散）はやや小さい（図５（ｃ））。また、系列の分布は十分な広がりがなく特定の範囲に集中している（図６（ｃ））。さらに，変調スペクトルは３０Ｈｚ以上において１０ｄＢ低く、高周波成分を再現できていない（図７（ｃ））。

一方で、本実施形態と目標のメルケプストラム系列を比較すると、本実施形態の系列は微細構造が再現されており、その変動もほぼ目標の系列と同じである（図５（ｂ））。また、系列の分布は目標の分布と似ている（図６（ｂ））。さらに、変調スペクトルは２０〜８０Ｈｚにおいて数ｄＢ低いが概ね同じである（図７（ｂ））。本実施形態を用いることで目標の系列に迫る精度でメルケプストラム系列をモデル化できることがわかる。

［Ｆ．作用効果］
モデル学習装置１００は、言語特徴量系列から音声パラメータ系列を予測するためのＤＮＮ予測モデルを学習する際に、短期及び長期における音声パラメータ系列の特徴量の誤差を集計する処理を行う。そして、音声合成装置３００は、学習後のＤＮＮ予測モデルを用いて、合成音声パラメータ系列３４０を生成し、ボコーダによる音声合成を行う。これによって、限られた計算資源の環境において低遅延、かつ、適切にモデル化されたＤＮＮによる音声合成が可能になる。

さらに、モデル学習装置１００は、短期及び長期に加え、次元領域制約に関する誤差計算を行うと、多次元のスペクトル特徴量についても、適切にモデル化されたＤＮＮによる音声合成が可能になる。

以上、本発明の実施形態について説明してきたが、これらのうち、２つ以上の実施例を組み合わせて実施しても構わない。あるいは、これらのうち、１つの実施例を部分的に実施しても構わない。

また、本発明は、上記発明の実施形態の説明に何ら限定されるものではない。特許請求の範囲の記載を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。

１００ ＤＮＮ音響モデル学習装置
２００ 誤差集計装置
３００ 音声合成装置

Claims (9)

1. 複数の発話音声から抽出された自然言語特徴量系列及び自然音声パラメータ系列を発話単位で記憶するコーパス記憶部と、
   ある自然言語特徴量系列からある合成音声パラメータ系列を予測するためのフィードフォワード・ニューラルネットワーク型の予測モデルを記憶する予測モデル記憶部と、
   前記自然言語特徴量系列を入力とし、前記予測モデルを用いて合成音声パラメータ系列を予測する音声パラメータ系列予測部と、
   前記合成音声パラメータ系列と前記自然音声パラメータ系列に関する誤差を集計する誤差集計装置と、
   前記誤差に所定の最適化を行い、前記予測モデルを学習する学習部を備え、
   前記誤差集計装置は、前記予測モデルの出力層に対して隣接するフレーム同士を関連付けるための損失関数を用いる音響モデル学習装置。
2. 前記損失関数は、時間領域制約、局所的な分散、局所的な分散共分散行列、又は、局所的な相関係数行列に関する損失関数の少なくとも１つを含む請求項１に記載の音響モデル学習装置。
3. 前記損失関数は、さらに、系列内の分散、系列内の分散共分散行列、又は、系列内の相関係数行列に関する損失関数の少なくとも１つを含む請求項２に記載の音響モデル学習装置。
4. 前記損失関数は、さらに、次元領域制約に関する損失関数の少なくとも１つを含む請求項３に記載の音響モデル学習装置。
5. 複数の発話音声から抽出された自然言語特徴量系列及び自然音声パラメータ系列を発話単位で記憶するコーパスから、前記自然言語特徴量系列を入力とし、ある自然言語特徴量系列からある合成音声パラメータ系列を予測するためのフィードフォワード・ニューラルネットワーク型の予測モデルを用いて合成音声パラメータ系列を予測し、
   前記合成音声パラメータ系列と前記自然音声パラメータ系列に関する誤差を集計し、
   前記誤差に所定の最適化を行い、前記予測モデルを学習する音響モデル学習方法であって、
   前記誤差を集計する際に、前記予測モデルの出力層に対して隣接するフレーム同士を関連付けるための損失関数を用いる音響モデル学習方法。
6. 複数の発話音声から抽出された自然言語特徴量系列及び自然音声パラメータ系列を発話単位で記憶するコーパスから、前記自然言語特徴量系列を入力とし、ある自然言語特徴量系列からある合成音声パラメータ系列を予測するためのフィードフォワード・ニューラルネットワーク型の予測モデルを用いて合成音声パラメータ系列を予測するステップと、
   前記合成音声パラメータ系列と前記自然音声パラメータ系列に関する誤差を集計するステップと、
   前記誤差に所定の最適化を行い、前記予測モデルを学習するステップと、
   をコンピュータに実行させる音響モデル学習プログラムであって、
   前記誤差を集計するステップは、前記予測モデルの出力層に対して隣接するフレーム同士を関連付けるための損失関数を用いる音響モデル学習プログラム。
7. 音声合成対象文章の言語特徴量系列を記憶するコーパス記憶部と、
   請求項１に記載の音響モデル学習装置で学習した、ある言語特徴量系列からある合成音声パラメータ系列を予測するためのフィードフォワード・ニューラルネットワーク型の予測モデルを記憶する予測モデル記憶部と、
   音声波形を生成するためのボコーダを記憶するボコーダ記憶部と、
   前記言語特徴量系列を入力とし、前記予測モデルを用いて合成音声パラメータ系列を予測する音声パラメータ系列予測部と、
   前記合成音声パラメータ系列を入力とし、前記ボコーダを用いて合成音声波形を生成する波形合成処理部を備える音声合成装置。
8. 音声合成対象文章の言語特徴量系列を入力とし、請求項５に記載の音響モデル学習方法で学習した、ある言語特徴量系列からある合成音声パラメータ系列を予測する予測モデルを用いて、合成音声パラメータ系列を予測し、
   前記合成音声パラメータ系列を入力とし、音声波形を生成するためのボコーダを用いて、合成音声波形を生成する音声合成方法。
9. 音声合成対象文章の言語特徴量系列を入力とし、請求項６に記載の音響モデル学習プログラムで学習した、ある言語特徴量系列からある合成音声パラメータ系列を予測する予測モデルを用いて、合成音声パラメータ系列を予測するステップと、
   前記合成音声パラメータ系列を入力とし、音声波形を生成するためのボコーダを用いて、合成音声波形を生成するステップと、
   をコンピュータに実行させる音声合成プログラム。
   
   

Images