JP6179094B2 - 発話特性付与装置、発話特性付与方法、音声合成装置および音声合成方法 - Google Patents

Description

本発明は、感情や個性、発話様式などの発話特性を付与した合成音声を生成するための発話特性付与装置、発話特性付与方法、音声合成装置および音声合成方法に関するものである。

従来より、人間の発声に感情や個性、発話様式（丁寧な口調や、命令口調など）などの発話特性を付与する技術として、特許文献１に示すような、標準的な発話特性を有する合成音声を、異なる発話特性を有する合成音声に変換する装置が知られている。
特許文献１においては、テキスト解析から得られる言語情報及び指定された発話特性を基に、標準的な発話特性を有する韻律パラメータを求めるとともに、標準的な発話特性を有する韻律パラメータを補正し、指定された発話特性を表すための韻律パラメータを求め、それらを重畳して、指定された発話特性を有する韻律パラメータを生成することについて記載されている。

特開２００３−３３７５９２号公報

合成音声の用途には、例えば、カーナビゲーションシステムなどの組込み機器など、使用できるメモリや処理量が限られている場合がある。
しかし、音響パラメータ等の変換・補正を行う場合、発声全体に対し、固定的に変換・補正を行うと、発話特性の付与（変換・補正）の必要がない（付与（変換・補正）しない方が良い）位置に対しても、変換・補正をしてしまうことで、発話特性の表現が劣化してしまう場合があるという課題がある。
また、特許文献１のように、発声全体に対し、固定的ではない変換・補正を行うためには、大量の制御用パラメータデータベースの作成やメモリを必要とする、あるいは音声合成を行う際に制御用パラメータの計算コストが大きくなるという課題がある。
この発明は上記のような問題点を解決するためになされたもので、コストを抑え、効果的に発話特性を表現する合成音声を生成することができる発話特性付与装置、発話特性付与方法、音声合成装置および音声合成方法を得ることを目的とする。

この発明にかかる発話特性付与装置は、生成される合成音声の元となる合成音声元情報を分析して、上記合成音声における無音区間の位置を示す無音区間情報を生成する無音区間判定部と、発話特性の種別と、無音区間付近の音響パラメータに対する制御内容とが対応付けられて格納された発話特性制御辞書と、指定された発話特性の種別に対応づけられた制御内容を上記発話特性制御辞書から取得し、当該取得した無音区間付近の音響パラメータに対する制御内容を、上記無音区間判定部で生成された無音区間情報に基づいて、上記合成音声元情報から得られる入力音響パラメータに適用して、上記指定された発話特性の種別に対応した発話特性制御パラメータを生成する発話特性制御パラメータ制御部とを備えたものである。

この発明にかかる発話特性付与方法は、生成される合成音声の元となる合成音声元情報を分析して、上記合成音声における無音区間の位置を示す無音区間情報を生成する無音区間判定ステップと、発話特性の種別と、無音区間付近の音響パラメータに対する制御内容とが対応付けられて格納された発話特性制御辞書を用いて、指定された発話特性の種別に対応づけられた制御内容を上記発話特性制御辞書から取得し、当該取得した無音区間付近の音響パラメータに対する制御内容を、上記無音区間判定ステップで生成された無音区間情報に基づいて、上記合成音声元情報から得られる入力音響パラメータに適用して、上記指定された発話特性の種別に対応した発話特性制御パラメータを生成する発話特性制御パラメータ制御ステップとを有するものである。

この発明にかかる音声合成装置は、生成される合成音声の元となる合成音声元情報を分析して、上記合成音声における無音区間の位置を示す無音区間情報を生成する無音区間判定部と、発話特性の種別と、無音区間付近の音響パラメータに対する制御内容とが対応付けられて格納された発話特性制御辞書と、指定された発話特性の種別に対応づけられた制御内容を上記発話特性制御辞書から取得し、当該取得した無音区間付近の音響パラメータに対する制御内容を、上記無音区間判定部で生成された無音区間情報に基づいて、上記合成音声元情報から得られる入力音響パラメータに適用して、上記指定された発話特性の種別に対応した発話特性制御パラメータを生成する発話特性制御パラメータ制御部と、上記発話特性制御パラメータ制御部で生成された発話特性制御パラメータを用いて音声波形を生成する波形生成部とを備えたものである。

この発明にかかる音声合成方法は、生成される合成音声の元となる合成音声元情報を分析して、上記合成音声における無音区間の位置を示す無音区間情報を生成する無音区間判定ステップと、発話特性の種別と、無音区間付近の音響パラメータに対する制御内容とが対応付けられて格納された発話特性制御辞書を用いて、指定された発話特性の種別に対応づけられた制御内容を上記発話特性制御辞書から取得し、当該取得した無音区間付近の音響パラメータに対する制御内容を、上記無音区間判定ステップで生成された無音区間情報に基づいて、上記合成音声元情報から得られる入力音響パラメータに適用して、上記指定された発話特性の種別に対応した発話特性制御パラメータを生成する発話特性制御パラメータ制御ステップと、上記発話特性制御パラメータ制御ステップで生成された発話特性制御パラメータを用いて音声波形を生成する波形生成ステップとを有するものである。

この発明によれば、生成される合成音声の元となる合成音声元情報を分析して、上記合成音声における無音区間の位置を示す無音区間情報を生成し、発話特性の種別と、無音区間付近の音響パラメータに対する制御内容とが対応付けられて格納された発話特性制御辞書を用いて、指定された発話特性の種別に対応づけられた制御内容を上記発話特性制御辞書から取得し、当該取得した無音区間付近の音響パラメータに対する制御内容を、上記無音区間情報に基づいて、上記合成音声元情報から得られる入力音響パラメータに適用して、上記指定された発話特性の種別に対応した発話特性制御パラメータを生成することにより、コストを抑え、効果的に発話特性を表現する合成音声を生成することができる。

この発明の実施の形態１における発話特性付与装置とその発話特性付与装置で生成される発話特性制御パラメータ情報を用いて合成音声を生成する音声合成装置１の構成を示すブロック図である。 この発明の実施の形態１による音声合成装置１および発話特性付与装置１１の動作を示すフローチャートである。 この発明の実施の形態１における発話特性制御パラメータ情報１０を決定する処理を示す説明図である。 この発明の実施の形態２における発話特性付与装置とその発話特性付与装置で生成される発話特性制御パラメータ情報を用いて合成音声を生成する音声合成装置１の構成を示すブロック図である。 この発明の実施の形態２における音声合成装置１および発話特性付与装置１１のの動作を示すフローチャートである。 この発明の実施の形態３における発話特性付与装置とその発話特性付与装置で生成される発話特性制御パラメータ情報を用いて合成音声を生成する音声合成装置１の構成を示すブロック図である。 この発明の実施の形態３における音声合成装置１および発話特性付与装置１１のの動作を示すフローチャートである。 この発明の実施の形態３における発話特性付与位置情報２０を決定する処理を示す説明図である。

以下、本発明の実施の形態を説明する。なお、以下の実施の形態は、本発明の一例であり、本発明は以下の実施の形態に限定されるものではない。

実施の形態１．
図１は、この発明の実施の形態１における発話特性付与装置とその発話特性付与装置で生成される発話特性制御パラメータ情報を用いて合成音声を生成する音声合成装置１の構成を示すブロック図である。

音声合成装置１は、生成される合成音声の元となる合成音声元情報と、指定された発話特性の種別を示す発話特性情報とを取得し、上記指定された発話特性の種別に対応した音声波形を出力する。本実施の形態においては、音声合成装置１は、生成される合成音声の元となる合成音声元情報として、人間の発声である音声データ２を取得して出力する音声データ取得部３と、音声データ取得部３から出力された音声データ２の音響パラメータである声質情報４および韻律情報５を生成する声質・韻律取得部６と、発話特性情報７を取得して出力する発話特性情報取得部８と、声質情報４と韻律情報５から無音区間情報９を生成し、声質情報４と韻律情報５と発話特性情報７と無音区間情報９から発話特性制御パラメータ情報１０を生成する発話特性付与部１１と、発話特性制御パラメータ情報１０を用いて音声波形１２を生成する波形生成部１３を備えている。

また、音声合成装置１は、この発明の実施の形態における発話特性付与装置を備えた構成であり、発話特性付与装置は、発話特性付与部１１に相当し、発話特性付与部１１は無音区間判定部１１１と発話特性用パラメータ制御部１１２とを備えている。

音声データ取得部３は、生成される合成音声の元となる合成音声元情報を取得して、声質・韻律取得部６へ出力する。本実施の形態では、合成音声元情報、すなわち発話特性を付与する対象となる情報として、音声データ２（例えば、人間の発話を録音したリニアＰＣＭ形式のデータなど）を取得して、声質・韻律取得部６へ出力する。
なお、音声データ２は、上記の形式以外にも符号化されたデータなど、人間の発話を表す音声データ形式であれば良い。また、人間の発話を表す音声データそのものでなくても、音声合成において合成音声を生成するために必要な各種パラメータ情報であっても良い。

声質・韻律取得部６は、音声データ取得部３から入力された音声データ２に対し、音響の分析を行い、入力音響パラメータを生成し、発話特性付与部１１へ出力する。本実施の形態では、声質・韻律取得部６は、音声データ２に対し、声質の分析を行い、声質情報４（例えば、スペクトル情報、雑音成分の強さ等）を生成するとともに、韻律の分析を行い、韻律情報５（例えばパワー、ピッチ周波数、韻律継続長等）を生成し、入力音響パラメータとして、声質情報４および韻律情報５を発話特性付与部１１へ出力する。

なお、声質情報４は、上記パラメータ以外にも、周期成分と非周期成分の割合など、発声の声質に関わる情報であれば良く、基本周期１周期分や音素単位や一定時間長などの任意の長さの波形データそのものであっても良い。
また、韻律情報５は、上記パラメータ以外にも、上記パラメータの変化幅など、発声の韻律に関わる情報であれば良い。

発話特性情報取得部８は、指定された発話特性の種別を示す発話特性情報７を取得し、発話特性用パラメータ制御部１１２へ出力する。本実施の形態では、ユーザーからの入力操作により発話特性情報７を取得し、発話特性用パラメータ制御部１１２へ出力する。

発話特性付与部１１の無音区間判定部１１１は、生成される合成音声の元となる合成音声元情報を分析して、上記合成音声における無音区間の位置を示す無音区間情報９を生成するものであり、本実施の形態では、生成される合成音声の元となる合成音声元情報として、合成音声元情報に含まれる音声の特性を示す入力音響パラメータである、音声データ２の声質情報４および韻律情報５を分析して、合成音声における無音区間の位置を示す無音区間情報（例えば、言語解析情報内の読み情報に付与する、出力予定の合成音声における無音区間の時間情報等）９を生成し、声質情報４と韻律情報５と共に発話特性用パラメータ制御部１１２へ出力する。

発話特性付与部１１の発話特性用パラメータ制御部１１２は、発話特性の種別と、無音区間付近の音響パラメータに対する制御内容とが対応付けられて格納された図示しない発話特性制御辞書を備えており、指定された発話特性の種別に対応づけられた、無音区間付近の音響パラメータに対する制御内容を上記発話特性制御辞書から取得し、当該取得した無音区間付近の音響パラメータに対する制御内容を、上記無音区間判定部１１１で生成された無音区間情報９に基づいて、上記合成音声元情報から得られる入力音響パラメータに適用して、上記指定された発話特性の種別に対応した発話特性制御パラメータ情報１０を生成する。本実施の形態では、発話特性情報７によって示される指定された発話特性の種別に対応づけられた、無音区間付近の音響パラメータに対する制御内容を上記発話特性制御辞書（発話特性制御情報）１４から取得し、当該取得した制御内容を、上記無音区間判定部１１１で生成された無音区間情報９に基づいて、上記合成音声元情報から得られる入力音響パラメータである声質情報４および韻律情報５に適用して、上記指定された発話特性の種別に対応した発話特性制御パラメータ情報１０を生成する。

波形生成部１３は、発話特性付与部１１から入力された発話特性制御パラメータ情報１０を用いて音声波形１２を生成する。

次に動作について説明する。
図２は、この発明の実施の形態１による音声合成装置１および発話特性付与装置１１の動作を示すフローチャートである。

音声データ取得部３が発話特性付与の対象となる音声データ２の入力を受け付け、声質・韻律取得部６へ出力する（ステップＳＴ１）。
音声データ取得部３については、生成される合成音声の元となる合成音声元情報を受け付けるものであれば良い。例えば、ＧＵＩ（グラフィカルユーザインタフェース）にてユーザー発声の入力を受けつける構成としても良いし、予め収録した音声データを用意して入力しても良い。また、ストリームデータから入力しても良く、音声データが得られれば良い。また、前述のとおり、音声合成において合成音声を生成するために必要な各種パラメータ情報を音声データ２として入力としても良く、それらのパラメータは、他の音声合成装置に基づく結果であっても良い。

続くステップＳＴ２において、声質・韻律取得部６が音声データ２に対する声質の分析及び韻律の分析を実施し、声質情報４および韻律情報５を出力する。なお、声質・韻律取得部６による声質解析処理および韻律解析処理は、入力された音声データに対応した公知の解析処理を用いればよく、詳細な説明を省略する。
また、音声データ取得部３で入力された音声データ２が声質情報および韻律情報そのものであっても良く、その場合には、声質・韻律取得部６は不要となるため、音声データ取得部３、発話特性情報取得部８、発話特性付与部１１、波形生成部１３で構成すれば良い。

続くステップＳＴ３において、無音区間判定部１１１が声質情報４および韻律情報５を分析して、出力合成音声における無音区間位置を検出し、無音区間の位置を示す無音区間情報９を出力する。
無音区間の検出には、例えば、韻律情報の中でも強弱（エネルギー）を利用し、一定の閾値以下の音声の強さの位置を無音区間としても良い。また、韻律情報の継続時間情報も利用し、一定時間以上音声の強さが閾値以下の区間を無音区間としても良い。また、声質情報の波形データを利用し、振幅値などから無音区間を検出しても良く、出力合成音声における無音区間が検出できれば良い。声質情報４か韻律情報５のいずれか一方の情報から検出しても良いし、その他の公知の技術を利用して無音区間を検出しても良い。
無音区間の中でも、文中の呼気に相当する部分、文末（文間）部分、発声中の閉鎖音に相当する部分など、種別を詳細化した情報を無音区間情報９として出力しても良く、詳細化した情報の一部を無音区間情報９として出力しても良い。

次に、例えば、ユーザによる入力操作に応じて、発話特性情報取得部８がユーザによって指定された発話特性の種別を示す発話特性情報７の入力を受け付け、発話特性用パラメータ制御部１１２へ出力する（ステップＳＴ４）。
発話特性情報取得部８については、ＧＵＩにてユーザーからの入力を受け付ける構成としても良いし、予め付与する発話特性の種別を指定しておいても良く、付与する発話特性の種別が得られれば良い。

続くステップＳＴ５において、発話特性用パラメータ制御部１１２が発話特性情報７と無音区間情報９と発話特性制御辞書（発話特性制御情報）１４を参照し、発話特性情報７によって示される指定された発話特性の種別に対応づけられた、制御内容を入力音響パラメータである声質情報４および韻律情報５へ適用し、発話特性制御パラメータ情報１０として波形生成部１３へ出力する。

ステップＳＴ５の発話特性用パラメータ制御処理の一例として、発話特性制御辞書１４を用意して無音区間付近の韻律情報５に制御を適用する処理を説明する。

図３は、発話特性用パラメータ制御部１１２の発話特性制御パラメータ情報１０を生成する処理を示す説明図である。
図３に例示の発話特性用パラメータ制御部１１２に入力される声質情報、韻律情報は、「地震です。押さず、喋らず、駆けないように、落下物や、他の人に注意して、落ち着いて非難しなさい。」というテキスト内容を発声した音声データ２から分析して得られたものである。

また、図３に例示の発話特性用パラメータ制御部１１２に入力される無音区間情報９は、無音区間判定部１１１にて、「地震です。」と「押さず」の発声の間、および「落ち着いて非難しなさい。」の発声の後は、文間のポーズに相当する長いポーズであり、「押さず、」と「喋らず、」の発声の間、および「喋らず、」と「駆けないように、」の発声の間、および「駆けないように、」と「落下物や、」の発声の間、および「落下物や、」と「他の人に注意して、」の発声の間、および「他の人に注意して、」と「落ち着いて非難しなさい。」の発声の間は、文中のポーズに相当する短いポーズだという判定結果が得られたことを示している。

また、図３に例示の発話特性用パラメータ制御部１１２に入力される発話特性情報７は、発話特性情報取得部８にて「緊迫感」という種別の発話特性を付与するよう入力されたことを示している。

また、図３に例示の発話特性制御辞書１４は、発話特性の種別と、無音区間付近の音響パラメータに対する制御内容とが対応付けられて格納されたものであり、発話特性の種別と、制御対象とする無音区間の詳細情報、音響パラメータである声質情報や韻律情報に発話特性を付与するための制御内容が蓄積されている。図中の「発話特性」の列に、発話特性の種別、「無音区間」の列に、制御対象とする無音区間の詳細情報、「処理内容」の列に、音響パラメータである声質情報や韻律情報に発話特性を付与するための制御内容がそれぞれ格納されている。
ここでは、無音区間を文間のポーズと文中のポーズとに区別し、継続時間長（話速）、抑揚の大きさなどの韻律情報に対する処理内容を記述している。

ここで、発話特性を付与するための制御内容として、無音区間付近の発声が人間の知覚に大きく影響を与えるという知見に基づき、無音区間付近の音響パラメータを変換・補正を行う制御内容が蓄積されている。このように無音区間付近の音響パラメータを変換・補正を行うことにより、発話全体に対し変換・補正を行う場合と比べて、不要な部分（発話特性を付与しない方が良い位置）への変換・補正などの制御を抑制でき、発話特性付与の効果を向上できる効果、考慮すべき変換・補正箇所が限定されるため、制御用パラメータデータベースの生成コストやメモリ、あるいは制御用パラメータの計算コストを抑え、効果的に発話特性を表現する合成音声を生成することができる。

そして、発話特性用パラメータ制御部１１２では、図３に例示した発話特性制御辞書１４を参照して、入力音響パラメータである声質情報４と韻律情報５に対して制御を行い、変更された声質情報と韻律情報を発話特性制御パラメータ情報１０として得る。
図３の例では、発話特性の種別が「緊迫感」である場合に、制御内容として「文中のポーズの前を短く発声する」という処理内容が発話特性制御辞書に記述されており、文中のポーズと判定された区間の直前の一定時間長の話速を速くする処理を行い、波形生成を経て出力される合成音声では、文中のポーズの前を部分的に速く発声させた合成音声を得る。

図３の例では、発話特性の制御対象を韻律情報の話速や抑揚の大きさとしたが、波形生成にて制御可能な他の韻律情報でも良く、またスペクトルの変換などの波形生成にて制御可能な声質情報でも良く、それらを複数組み合わせたものでも良い。
また、発話特性制御辞書１４を用いず、その他の公知の発話特性の制御を行う手法を用いても良く、制御対象となる対象区間に対し発話特性を付与できれば良い。
また、無音区間と判定された区間の直前の一定時間長に対し、処理を行ったが、無音区間直後の一定時間長に対し処理を行っても良い。
また、無音区間と判定された区間の直前の一定時間長に対して制御するのではなく、音響的特徴が大きく変化する箇所（有声音と無声音の境界や、ケプストラム等の音響特徴量の変化点など）までの区間に対して制御するとしても良い。
ここまでが、図３のステップＳＴ５での発話特性用パラメータ制御処理（声質情報・韻律情報に発話特性を付与する処理）の説明である。

続くステップＳＴ６において波形生成部１３は、発話特性制御パラメータ情報１０を受けて波形成を行い、音声波形１２を出力する。
なお、波形生成部１３における音声波形１２の波形生成処理は、「Ｄｉｐｈｏｎｅ ｓｙｎｔｈｅｓｉｓ ｕｓｉｎｇ ａｎ ｏｖｅｒｌａｐ−ａｄｄ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｓｐｅｅｃｈ ｗａｖｅｆｏｒｍｓ ｃｏｎｃａｔｅｎａｔｉｏｎ」（Ｆ．Ｊ．Ｃｈａｒｐｅｎｔｉｅｒ ａｎｄ Ｍ．Ｇ．Ｓｔｅｌｌａ、ＩＣＡＳＳＰ８６、ｐｐ．２０１５−２０１８、Ｔｏｋｙｏ、１９８６）にあげるＰＳＯＬＡ（Ｐｉｔｃｈ Ｓｙｎｃｈｒｏｎｏｕｓ ＯｖｅｒＬａｐ Ａｄｄ）形式の規則合成音声方式等の公知の技術を用いればよく、詳細な説明を省略する。

なお、本実施の形態では、発話特性制御パラメータ情報１０を受けて波形生成を行い、音声波形１２を出力するという構成としたが、発話特性制御パラメータ情報１０を出力し、他の装置で波形生成を行うとしても良い。その場合、波形生成部１３は不要となるため、音声データ取得部３、声質・韻律取得部６、発話特性情報取得部８、発話特性付与部１１で構成すれば良い。

以上のように本実施の形態によれば、生成される合成音声における無音区間を判定し、発話特性の種別に対応した制御内容を無音区間付近の音響パラメータに適用して、発話特性制御パラメータを生成することにより、発話全体に対し変換・補正などの制御を行う場合と比べて、不要な部分（発話特性を付与しない方が良い位置）への制御を抑制でき、発話特性付与の効果を向上できる効果がある。また、考慮すべき制御位置が限定されるため、制御用パラメータデータベース（本実施の形態では発話特性制御辞書１４）の生成コストやメモリ、あるいは制御用パラメータ（本実施の形態では発話特性制御パラメータ情報１０）の計算コストを抑え、効果的に発話特性を表現する合成音声を生成することができるという効果がある。

また、無音区間情報１１として、文中の無音区間や文末の無音区間などのように種別を詳細化された無音区間情報を利用することで、発話特性を付与しない方が良い位置への制御を抑制でき、発話特性付与の効果を向上できるという効果がある。

また、無音区間の前後の一定時間長に対して発話特性を付与するように構成した場合、発話特性の制御区間を決定する計算コストを抑えることができるという効果がある。

また、無音区間の前後の音響的特徴を利用して、発話特性の制御区間を決定するように構成した場合、人間の聴覚などを考慮して発話特性の制御区間を決定することができ、発話特性を付与しない方が良い位置への制御を抑制でき、発話特性付与の効果を向上できる効果がある。

また、本実施の形態の構成では、合成音声元情報に含まれる音声の特性を示す入力音響パラメータから上記合成音声における無音区間の位置を示す無音区間情報を生成することにより、言語解析情報を必要としないため、テキスト内容に非依存であり、言語解析の処理を持たない音声合成装置においても発話特性の付与が可能であるという効果がある。

実施の形態２．
以上の実施の形態１は、音声データを入力として発話特性を付与した合成音声を出力するようにしたものであるが、次にテキスト文を入力とする実施の形態を示す。

図４は、この発明の実施の形態２における発話特性付与装置とその発話特性付与装置で生成される発話特性制御パラメータ情報を用いて合成音声を生成する音声合成装置１の構成を示すブロック図である。
音声合成装置１は、テキスト文取得部１５、言語辞書１６、言語解析部１７、声質・韻律取得部６、発話特性取得部８、発話特性付与部１１、波形生成部１３を備えている。

テキスト文取得部１５は、生成される合成音声の元となる合成音声元情報として、合成音声を生成する対象となるテキスト文１８（例えば、漢字かな混じり文）を取得して、言語解析部１７へ出力する。
言語辞書１６は、単語の読み方、品詞などの情報が格納されている。

言語解析部１７は、テキスト文取得部１５から入力されたテキスト文１８に対し、言語辞書１６を参照して形態素解析、構文解析などの言語解析を実施する。言語解析の結果、言語解析部１７は、テキスト文１８の形態素や単語、呼気フレーズ区切り、読み方、品詞、アクセント等を示す言語解析情報１９を生成し、声質・韻律制御部６へ出力する。
なお、言語解析情報１９には、上記の情報以外の言語解析に基づく情報を含めても良く、また、前記の情報の一部のみを利用しても良く、テキスト文１８と同時に付帯情報を入力された場合には、それらを情報として含めても良い。
また、言語解析情報１９相当の情報がテキスト文１８として入力された場合には、言語解析部１７は、言語解析を行わず、テキスト文１８を言語解析情報１９として出力する構成としても良い。

声質・韻律制御部６は、言語解析部１７から入力された言語解析情報１９を用い、音響パラメータである声質情報４と韻律情報５（例えばパワー、ピッチ周波数、韻律継続長等）を生成し、発話特性付与部１１へ出力する。
その他の構成に関しては、前述の実施の形態１と同様であるので、同一符号を付して示し、説明を省略する。

次に動作について説明する。
図５は、この発明の実施の形態２における音声合成装置１および発話特性付与装置１１のの動作を示すフローチャートである。

まず、テキスト文取得部１５が合成音声生成の対象となるテキスト文１８の入力を受け付け、言語解析部１７へ出力する（ステップＳＴ７）
テキスト文取得部１５については、ＧＵＩにてユーザーからの入力を受け付ける構成としても良く、予め合成音声を生成する対象となるテキスト文を蓄えたデータを用意して入力としても良く、また、ストリームデータから入力しても良く、テキスト文が得られれば良い。

本実施の形態ではテキスト文１８の一例として漢字かな混じり文を用いているが、アルファベット、前記言語解析情報等のいかなる形式であってもよく、言語に関しても日本語に限らず英語、中国語等の日本語以外の言語であってもよい。
なお、テキスト文１８が前記言語解析結果である場合には、言語辞書１６および言語解析部１７は不要となるため、テキスト文取得部１５、声質・韻律制御部６、発話特性情報取得部８、発話特性付与部１１、波形生成部１３で構成すればよい。

続くステップＳＴ８において、言語解析部１７が言語辞書１６を参照して、テキスト文１８に対する言語解析を実施し、言語解析情報１９を出力する。なお、言語解析部１７による言語解析処理は、入力されたテキスト文の形式および言語の種類に対応した公知の解析処理を用いればよく、詳細な説明を省略する。

続くステップＳＴ９において、声質・韻律制御部６が言語解析情報１９を参照して、言語解析情報１９に対して韻律を設定し、音響パラメータである声質情報４と韻律情報５を出力する。
なお、声質・韻律制御部６における声質情報４の生成および韻律情報５の生成は、公知の技術を用いればよく、詳細な説明を省略する。

本実施の形態では、言語解析情報１９を参照して韻律を設定し、その声質情報４と韻律情報５を出力するという構成としたが、他の装置で声質情報と韻律情報の生成を行い出力する構成としても良い。その場合、声質・韻律制御部６は不要となるため、テキスト文取得部１５、言語辞書１６、言語解析部１７、発話特性情報取得部８、発話特性付与部１１、波形生成部１３で構成すればよい。
ステップＳＴ３以降は、実施の形態１の図２のフローチャートと同じ動作である。

なお、発話特性情報取得部８において、言語解析情報１９を入力とすることで、文意からの発話特性の抽出や、単語やキーワードを用いた発話特性の抽出など、テキスト文から発話特性を決定する公知の技術を利用し、発話特性付与部１１で付与する発話特性の種別を取得しても良い。

また、発話特性付与部１１の無音区間判定部１１１において、言語解析情報１９を入力とすることで、言語解析情報から合成音声における無音区間の位置を示す無音区間情報を生成する構成としても良い。例えば、文中のポーズ位置という言語解析結果なので、文中ポーズの無音区間であると判定するなどとしても良い。

また、発話特性付与部１１の発話特性用パラメータ制御部１１２において、言語解析情報１９を入力とすることで、音素やモーラ、単語などの言語的な情報を単位とした区間に対して制御するとしても良い。

以上のように本実施の形態によれば、合成音声元情報に含まれる言語の特性を示す言語解析情報から上記合成音声における無音区間の位置を示す無音区間情報を生成し、発話特性の種別に対応した制御内容を無音区間付近の音響パラメータに適用して、発話特性制御パラメータを生成することにより、実施の形態１と同様に、発話全体に対し変換・補正などの制御を行う場合と比べて、不要な部分（発話特性を付与しない方が良い位置）への制御を抑制でき、発話特性付与の効果を向上できる効果がある。また、考慮すべき制御位置が限定されるため、制御用パラメータデータベースの生成コストやメモリ、あるいは制御用パラメータの計算コストを抑え、効果的に発話特性を表現する合成音声を生成することができるという効果がある。さらに、テキスト等の言語情報のみのインタフェースであっても、発話特性を表現する合成音声を生成することができるという効果がある。

また、無音区間判定部１１１において、言語解析情報１９を利用することにより、文中のポーズや文末のポーズ、会話間のポーズなど、テキスト文を反映した詳細な無音区間の判定が可能であり、それらに適した発話特性用パラメータの制御を行うことで、発話特性付与の効果を向上できるという効果がある。

また、発話特性用パラメータ制御部１１２において、言語解析情報１９を利用することにより、無音区間前後の入力音響パラメータ（声質情報４および韻律情報５）への制御を、助動詞部分などの言語解析情報に基づいた範囲で設定することも可能となり、発話特性付与の効果を向上できるという効果がある。

実施の形態３．
以上の実施の形態は、音声データまたはテキスト文を入力として、出力合成音声における無音区間を判定し、無音区間付近の合成音声に対し発話特性を付与するようにしたものであるが、次に発話特性を付与（制御）する位置の判定処理を追加し、判定結果に基づき発話特性を付与する実施の形態を示す。

図６は、この発明の実施の形態３における発話特性付与装置とその発話特性付与装置で生成される発話特性制御パラメータ情報を用いて合成音声を生成する音声合成装置１の構成を示すブロック図である。
音声合成装置１は、テキスト文取得部１５、言語辞書１６、言語解析部１７、声質・韻律取得部６、発話特性取得部８、発話特性付与部１１、波形生成部１３を備えている。

発話特性付与部１１の無音区間判定部１１１は、生成される合成音声の元となる合成音声元情報を分析して、上記合成音声における無音区間の位置を示す無音区間情報９を生成するものであり、本実施の形態では、発話特性付与部１１の無音区間判定部１１１は、声質・韻律取得部６から入力された声質情報４と韻律情報５を分析して、合成音声における無音区間の位置を示す無音区間情報９を生成し、声質情報４と韻律情報５と、言語解析部１７の出力である言語解析情報１９と共に付与位置判定部１１３へ出力する。

発話特性付与部１１の付与位置判定部１１３は、指定された発話特性の種別に基づいて、上記合成音声元情報の特性に応じた制御対象となる無音区間を示す発話特性付与位置情報を生成するものであり、本実施の形態では、発話特性情報取得部８から入力された発話特性情報７と、無音区間判定部１１１から入力された無音区間情報９と、言語解析情報１９を用い、発話特性を付与する位置の判定を行い、発話特性付与位置情報２０として、声質情報４と韻律情報５と共に発話特性用パラメータ制御部１１２へ出力する。

発話特性付与部１１の発話特性用パラメータ制御部１１２は、発話特性の種別と、無音区間付近の音響パラメータに対する制御内容とが対応付けられて格納された図示しない発話特性制御辞書を備えており、付与位置判定部１１３で生成された発話特性付与位置情報２０と、無音区間判定部１１１で生成された無音区間情報９とに基づいて、無音区間付近の音響パラメータに対する制御内容を、合成音声元情報から得られる入力音響パラメータに適用して、発話特性情報取得部８から入力された発話特性情報７に対応した発話特性制御パラメータ情報１０を生成する。本実施の形態では、発話特性付与部１１の発話特性用パラメータ制御部１１２は、付与位置判定部１１３から入力された発話特性付与位置情報２０を用い、発話特性情報取得部８から入力された発話特性情報７に対応した声質情報と韻律情報の制御方法を発話特性制御辞書（発話特性制御情報）１４から取得し、付与位置の声質情報４および韻律情報５へ適用し、発話特性制御パラメータ情報１０として波形生成部１３へ出力する。

その他の構成に関しては、前述の実施の形態と同様であるので、同一符号を付して示し、説明を省略する。

次に動作について説明する。
図７は、この発明の実施の形態３における音声合成装置１および発話特性付与装置１１のの動作を示すフローチャートである。
ステップＳＴ７からステップＳＴ４までは、実施の形態２の図５のフローチャートと同じ動作であり、説明を省略する。

付与位置判定部１１３では、無音区間判定部１１１から入力された言語解析情報１９と無音区間情報９を用い、発話特性付与位置情報２０を生成する（ステップＳＴ１０）。

ステップＳＴ１０の付与位置判定処理の一例として、言語解析情報１９の係り受け構造を用いて発話特性を付与する位置を判定する処理を説明する。

図８は、付与位置判定部１１３の発話特性付与位置情報２０を決定する処理を示す説明図である。
図８に例示の付与位置判定部１１３に入力される言語解析情報１９は、「地震です。押さず、喋らず、駆けないように、落下物や、他の人に注意して、落ち着いて非難しなさい。」というテキスト内容の係り受け構造を解析した結果であり、（１）「押さず、」と「喋らず、」と「駆けないように、」が並列句の関係であり、（２）「落下物や、」と「他の人に」が並列句の関係であるという係り受け構造の言語解析情報が得られたことを示している。
また、図８に例示の発話特性用パラメータ制御部１１３に入力される発話特性情報７は、発話特性情報取得部８にて「緊迫感」という発話特性を付与するよう入力されたことを示している。

また、図８に例示の付与位置判定辞書２１は、発話特性の種別と、音響パラメータに対する制御を適用する対象となる無音区間の設定規則とが対応付けられて格納されている。
ここでは、発話特性情報７を利用して付与位置判定辞書２１を参照し、指定された発話特性の種別に対応づけられた付与区間の設定規則を取得する。そして、付与区間の設定規則に基づいて、言語解析情報１９から、発話特性の付与位置情報である発話特性付与位置情報２０を生成する。

図８の例では、「緊迫感」の発話特性を付与する際の付与区間設定規則は「並列句」となっており、（１）の並列句である「押さず」と「喋らず」の間、「喋らず」と「駆けないように」の間、（２）の並列句である「落下物や」と「他の人に」の間を制御区間として設定する。

なお、図８に例示の付与位置判定部１１３は、言語解析情報１９の係り受け構造を利用して、発話特性の付与位置を決定したが、品詞情報を利用して固有名詞等の特定の品詞の前の無音区間を発話特性の付与位置としても良く、言語解析情報を利用して発話特性の付与位置を決定できれば良い。

また、図８に例示の付与位置判定部１１３は、付与位置判定辞書２１を利用して、発話特性の付与位置を決定したが、単語や品詞、形態素、モーラ長、呼気フレーズ位置などの言語解析情報と、発話特性情報を特徴量としたＮ-ｇｒａｍモデルに基づき識別判定を行っても良い。
例えば、並列句において緊迫感の付与を行うようなＮ-ｇｒａmモデルを学習したとする。名詞句の連鎖は並列句であることが多く、名詞句が連続する場合に「緊迫感」の付与が行われやすくなるN-gramモデルが学習され、付与位置判定処理において名詞句間の無音区間が「緊迫感」の付与位置という判定結果が得られる。
なお、統計モデルの学習および識別判定する際の特徴量は前記以外の言語解析情報を利用しても良い。

また、条件付き確率場（ＣＲＦ）や隠れマルコフモデル（ＨＭＭ）などの確率モデル、識別モデルを利用して発話特性の付与位置を決定しても良く、その他の公知の技術を利用して発話特性の付与位置を決定しても良い。

また、本実施の形態では、付与位置判定部１１３に言語解析情報１９を入力とし、付与位置判定処理に利用したが、声質情報４または韻律情報５を入力とし、「短い無音区間の位置」、「基本周波数が大きく下がった直後の無音区間」など、継続時間長や、基本周波数や、エネルギーなどを付与位置判定処理に利用しても良く、また、それらの情報を２つ以上組み合わせて付与位置判定処理に利用しても良い。

図７に戻り、ステップＳＴ１１において、発話特性用パラメータ制御部１１２が発話特性情報７と発話特性付与位置情報２０と発話特性制御辞書（発話特性制御情報）１４を参照し、声質情報４と韻律情報５へ発話特性付与の制御を適用し、発話特性制御パラメータ情報１０として波形生成部１３へ出力する。
ステップＳＴ６は、実施の形態２の図５のフローチャートと同じ動作である。

本実施の形態では、付与位置判定部１１３から出力される発話特性付与位置情報２０は、発話特性の付与位置（制御位置）を示すものであったが、発話特性付与位置情報２０は発話特性の付与度合いを示すものであっても良い。例えば、付与度合いがゼロであれば付与位置とはならず、付与度合いが正の値であれば付与位置となる。例えば、発話特性用パラメータ制御部１１２にて発話特性の付与度合いを示す発話特性付与位置情報２０に基づいて声質情報４や韻律情報５の制御を行うようにしても良く、並列句間では強く発話特性を付与（大きな変換）し、文末では弱く発話特性を付与（小さな変換）するなどの制御が可能である。

以上のように本実施の形態によれば、発話特性を付与する位置の判定処理を追加し、判定結果に基づき発話特性を付与（入力音響パラメータを変換・補正）することにより、発話特性を付与しない方が良い位置への制御を抑制でき、発話特性付与の効果を向上できる効果がある。
また、長文などにおいて全ての無音区間に発話特性を付与すると、聞き手に単調さを感じさせるのに対し、付与位置を細かく制御することで聞き手に単調さを感じさせることがなく、発話特性付与の効果を向上できるという効果がある。

また、言語解析情報の係り受け構造を利用して付与位置判定処理を行う構成とした場合、ポーズの前後に係り受け関係があるかどうかで声質や韻律が異なるという知見に基づき、それらに対する発話特性の付与の制御を区別することができ、発話特性付与の効果を向上できるという効果がある。

また、単語や品詞、形態素、モーラ長、呼気フレーズ位置などの言語解析情報１９と、発話特性情報を特徴量としたＮ-ｇｒａｍモデルに基づいて付与位置判定処理を行う構成とした場合、係り受けなどの計算量の大きな意味解析結果を利用しない場合にも、それらに順ずる効果が得られ、発話特性付与の効果を向上できるという効果がある。

また、言語解析情報１９ではなく声質情報４や韻律情報５等の音響パラメータを利用して、付与位置判定処理を行う構成とした場合、言語解析処理を持たない構成であっても付与位置判定処理が可能であるという効果が得られる。また、人間の聴覚に基づく付与位置判定処理が可能であるという効果が得られる。

また、言語解析情報１９と声質情報４と韻律情報５のうち複数を利用して、付与位置判定処理を行う構成とした場合、発話特性の付与位置判定の精度が改善し、発話特性付与の効果を向上できるという効果がある。

また、付与位置判定部１１３において発話特性の付与度合いを示す発話特性付与位置情報２０を生成し、発話特性用パラメータ制御部１１２において上記発話特性の付与度合いを示す発話特性付与位置情報２０に基づいて、付与する発話特性の度合を変えた声質情報４や韻律情報５の制御を行う構成とした場合、常に同じ度合の発話特性を付与する場合と比べて、単調さが軽減し、各制御位置で適した度合の発話特性を付与することができ、発話特性付与の効果を向上できるという効果がある。

１ 音声合成装置、２ 音声データ、３ 音声データ取得部、４ 声質情報、５ 韻律情報、６ 声質・韻律取得部、７ 発話特性情報、 ８ 発話特性情報取得部、９ 無音区間情報、１０ 発話特性制御パラメータ情報、１１ 発話特性付与部、１２ 音声波形、１３ 波形生成部、１４ 発話特性制御辞書、１５ テキスト文取得部、１６ 言語辞書、１７ 言語解析部、１８ テキスト文、１９ 言語解析情報、２０ 発話特性付与位置情報、２１ 付与位置判定辞書、１１１ 無音区間判定部、１１２ 発話特性用パラメータ制御部、１１３ 付与位置判定部。

Claims (9)

1. 生成される合成音声の元となる合成音声元情報を分析して、上記合成音声における無音区間の位置を示す無音区間情報を生成する無音区間判定部と、
   発話特性の種別と、無音区間付近の音響パラメータに対する制御内容とが対応付けられて格納された発話特性制御辞書と、
   指定された発話特性の種別に対応づけられた制御内容を上記発話特性制御辞書から取得し、当該取得した無音区間付近の音響パラメータに対する制御内容を、上記無音区間判定部で生成された無音区間情報に基づいて、上記合成音声元情報から得られる入力音響パラメータに適用して、上記指定された発話特性の種別に対応した発話特性制御パラメータを生成する発話特性制御パラメータ制御部と
   を備えたことを特徴とする発話特性付与装置。
2. 上記指定された発話特性の種別に基づいて、上記合成音声元情報の特性に応じた制御対象となる無音区間を示す発話特性付与位置情報を生成する付与位置判定部を備え、
   上記発話特性制御パラメータ制御部は、上記付与位置判定部で生成された発話特性付与位置情報に基づいて、上記無音区間付近の音響パラメータに対する制御内容を、上記合成音声元情報から得られる入力音響パラメータに適用して、上記指定された発話特性の種別に対応した発話特性制御パラメータを生成することを特徴とする請求項１に記載の発話特性付与装置。
3. 発話特性の種別と、音響パラメータに対する制御を適用する対象となる無音区間の設定規則とが対応付けられて格納された付与位置判定辞書を備え、
   上記付与位置判定部は、上記指定された発話特性の種別に対応づけられた設定規則を上記付与位置判定辞書から取得し、上記合成音声元情報の特性に応じた制御対象となる無音区間を示す発話特性付与位置情報を生成することを特徴とする請求項２に記載の発話特性付与装置。
4. 上記付与位置判定部は、上記合成音声元情報の特性と上記発話特性とを特徴量としたＮ−ｇｒａｍモデルを用いて、上記合成音声元情報の特性に応じた制御対象となる無音区間を示す発話特性付与位置情報を生成することを特徴とする請求項２に記載の発話特性付与装置。
5. 上記無音区間判定部は、上記合成音声元情報に含まれる音声の特性を示す入力音響パラメータから上記合成音声における無音区間の位置を示す無音区間情報を生成することを特徴とする請求項１に記載の発話特性付与装置。
6. 上記無音区間判定部は、上記合成音声元情報に含まれる言語の特性を示す言語解析情報から上記合成音声における無音区間の位置を示す無音区間情報を生成することを特徴とする請求項１に記載の発話特性付与装置。
7. 生成される合成音声の元となる合成音声元情報を分析して、上記合成音声における無音区間の位置を示す無音区間情報を生成する無音区間判定ステップと、
   発話特性の種別と、無音区間付近の音響パラメータに対する制御内容とが対応付けられて格納された発話特性制御辞書を用いて、
   指定された発話特性の種別に対応づけられた制御内容を上記発話特性制御辞書から取得し、当該取得した無音区間付近の音響パラメータに対する制御内容を、上記無音区間判定ステップで生成された無音区間情報に基づいて、上記合成音声元情報から得られる入力音響パラメータに適用して、上記指定された発話特性の種別に対応した発話特性制御パラメータを生成する発話特性制御パラメータ制御ステップと
   を有することを特徴とする発話特性付与方法。
8. 生成される合成音声の元となる合成音声元情報を分析して、上記合成音声における無音区間の位置を示す無音区間情報を生成する無音区間判定部と、
   発話特性の種別と、無音区間付近の音響パラメータに対する制御内容とが対応付けられて格納された発話特性制御辞書と、
   指定された発話特性の種別に対応づけられた制御内容を上記発話特性制御辞書から取得し、当該取得した無音区間付近の音響パラメータに対する制御内容を、上記無音区間判定部で生成された無音区間情報に基づいて、上記合成音声元情報から得られる入力音響パラメータに適用して、上記指定された発話特性の種別に対応した発話特性制御パラメータを生成する発話特性制御パラメータ制御部と、
   上記発話特性制御パラメータ制御部で生成された発話特性制御パラメータを用いて音声波形を生成する波形生成部と
   を備えたことを特徴とする音声合成装置。
9. 生成される合成音声の元となる合成音声元情報を分析して、上記合成音声における無音区間の位置を示す無音区間情報を生成する無音区間判定ステップと、
   発話特性の種別と、無音区間付近の音響パラメータに対する制御内容とが対応付けられて格納された発話特性制御辞書を用いて、
   指定された発話特性の種別に対応づけられた制御内容を上記発話特性制御辞書から取得し、当該取得した無音区間付近の音響パラメータに対する制御内容を、上記無音区間判定ステップで生成された無音区間情報に基づいて、上記合成音声元情報から得られる入力音響パラメータに適用して、上記指定された発話特性の種別に対応した発話特性制御パラメータを生成する発話特性制御パラメータ制御ステップと、
   上記発話特性制御パラメータ制御ステップで生成された発話特性制御パラメータを用いて音声波形を生成する波形生成ステップと
   を有することを特徴とする音声合成方法。

Images