JP6009396B2 - 発音付与方法とその装置とプログラム - Google Patents

Description

本発明は、正確な発音（「読み」）を付与する発音付与方法とその装置とプログラムに関する。

近年のテキスト音声合成技術の発展に伴い、様々な分野で音声合成が利用されるようになって来ている。特に電子書籍において、視聴覚障害者に対する音声合成技術は必須となっている。例えば、非特許文献１に開示されたようなＨＭＭ音声合成技術の発展に伴い、従来の音声合成では一般的であった特定の声質や調子での合成音声ではなく、任意の話者の音声データを学習することで、その話者の声質や調子での合成音声の生成が可能である。

つまり、最新のテキスト音声技術を用いることで、電子書籍に対応した様々な声質や調子での合成音声の作成も可能となっている。様々な声質や調子の合成音声を得るためには、正確な発音（「読み」）を表すテキストが必要である。

正確な「読み」を得るためには、テキストデータを形態素解析する方法と、例えば非特許文献２に開示された大語彙連続音声認識技術を用いて音声データから「読み」を得る方法、の２つがある。

Nose at el, "A style control technique for HMM-based expressive speech synthesis," IEICE Trans. Information and Systems, E90-D, 9, pp.1406-1413,2007. 李晃伸"大語彙連続音声認識エンジンJulius ver.4" 電子情報通信学会技術研究報告NLC2007-85,SP2007-148(2007-12)

電子書籍では、当然音声に対応したテキストが存在するため、形態素解析技術を用いることで容易に単語の候補とその組み合わせを推定することはできる。しかし、日本語の文章では同一の漢字表記に複数の読み方が存在する同形異音語（例、最中：モナカとサイチュウ）、新語、複数の読み方がある固有名詞（例、中島：ナカシマとナカジマ）、造語、当て字等もあり、テキストから単語候補を得る事はできても、読みまで正確に決定することは困難である。また、様々な文体で書かれた小説や雑誌等の解析精度は低く、文書によっては実用に耐える水準の精度が得られていない。

一方、音声認識は、最新の大語彙連続音声認識技術を用いたとしても認識結果には多くの認識誤りが含まれる。このように、テキストデータを言語処理する方法と、音声データを音声認識処理する方法の両者に技術的限界があり、テキストデータ又は音声データから正確な発音情報を得ることが困難であるいう課題がある。

本発明は、これらの課題に鑑みてなされたものであり、テキストデータと音声データとから正確な「読み」を付与する発音付与方法と、その装置とプログラムを提供することを目的とする。

本発明の発音付与方法は、形態素解析過程と、文法生成過程と、文脈自由文法音声認識過程と、を備える。形態素解析過程は、テキストデータを入力として、当該テキストデータを形態素解析した単語候補系列を出力する。文法生成過程は、形態素解析過程で得られた単語候補系列を入力として、当該単語候補系列から文脈自由文法に基づいて文法を生成する。文脈自由文法音声認識過程は、上記テキストデータに対応した音声データと文法生成過程で生成した文法を入力として、当該文法に基づいた文脈自由文法音声認識処理を行って、音声合成に用いる単語系列の読みを出力する。

本発明の発音付与方法は、テキストデータから単語系列を予測する文法を予め生成しておき、そのテキストデータに対応する音声データを、予め生成した文法に基づいて文脈自由文法音声認識処理した単語系列の「読み」を出力する。したがって、単語系列がある程度予測可能な場合に高い認識精度が得られる文脈自由文法音声認識の特徴を生かして、テキストデータと音声データから正確な「読み」を、テキストに付与することが可能になる。

本発明の発音付与装置１００の機能構成例を示す図。 発音付与装置１００の動作フローを示す図。 形態素解析部１１０の動作を説明するための図。 拡張ＢＮＦ文法での記述例を示す図。 文脈自由文法音声認識部１３０の動作を説明するための図。 本発明の発音付与装置２００の機能構成例を示す図。 発音付与装置２００の動作フローを示す図。 大語彙連続音声認識部２１０の動作例（第３単語候補系列の例）を示す図。 対応する第２単語候補系列と第３単語候補系列の例を示す図。 第４単語候補系列の例を示す図。

以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。

図１に、この発明の発音付与装置１００の機能構成例を示す。その動作フローを図２に示す。発音付与装置１００は、形態素解析部１１０と、文法生成部１２０と、文脈自由文法音声認識部１３０と、制御部１４０と、を具備する。発音付与装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

形態素解析部１１０は、テキストデータを入力として、当該テキストデータを形態素解析した単語候補系列を出力する（ステップＳ１１０）。図３に、形態素解析した単語候補系列の一例を示す。図３は、入力テキストを「今日はお祭り最中に行った」とした場合の例である。単語候補系列の上段は「形態素表記」、下段は「読み」である。単語候補系列としては、この例では「キョー ワ オマツリ サイチュー ニ イッタ」、「コンニチ ワ オマツリ サイチュー ニ イッタ」、「キョー ワ オマツリ モナカ ニ イッタ」、「コンニチ ワ オマツリ モナカ ニ イッタ」、…、「コンニチ ワ オマツリ モナカ ニ オコナッタ」の８種類が出力される。この他にも、「品詞情報」、「各単語の開始時間と終了時間」が出力される。なお、図３において「形態素表記」、「品詞情報」、「各単語の開始時間と終了時間」は省略している。以降の説明では「読み」のみを示して「形態素表記」他は省略する。

ステップＳ１１０の形態素解析過程は、入力されるテキストデータの全てについての形態素解析が終了するまで繰り返される（ステップＳ１４０のＮｏ）。この繰り返し動作の制御は制御部１４０が行う。制御部１４０は、発音付与装置１００の各部の時系列動作を制御する一般的なものであって、特別な処理を行うものではない。

文法生成部１２０は、形態素解析部１１０が出力する単語候補系列を入力として、当該単語候補系列から文脈自由文法に基づいて文法を生成する（ステップＳ１２０）。文脈自由文法に基づいて文法を生成する方法は、例えば参考文献１（http://www.wormjp.umin.jp/jp/acemanjp13/node28.html）に示されているように周知である。図４に、拡張ＢＮＦ文法での記述例を示す。＜＞は非終端記号、（・）内はグループ、｜はＯＲ結合、構成要素の並びはＡＮＤ結合を示す。８種類の単語候補系列が、３つのグループのＯＲ結合（・｜・）で表記されていることが分かる。ステップＳ１２０の文法生成過程は、入力される全ての文（形態素列）についての処理が終了するまで繰り返される（ステップＳ１４１のＮｏ）。

文脈自由文法音声認識部１３０は、上記テキストデータに対応した音声データと文法生成過程で生成した文法を入力として、当該文法に基づいた文脈自由文法音声認識処理を行って、音声合成に用いる単語系列の「読み」を出力する（ステップＳ１３０）。文脈自由文法音声認識技術は、例えば参考文献２（中川聖一ほか「文脈自由文法制御によるOnePass型HMM連続音声認識法」電子情報通信学会誌 D-II,情報・システム, II-情報処理 J76-D-2(7), 1337-1345, 1993）に記載されているように周知である。

文脈自由文法音声認識技術は、事前に出現が予想される単語の候補と、想定される文法（単語候補の組み合わせ）の制約に基づいて、音声データから単語系列を同定する方法である。何が発話されるか分らない様な音声に対する認識方法として利用可能な大語彙連続音声認識技術と比較すると、制約が強く利用可能な場面は少ないものの、予め発声される単語や単語順（文法）が分かっている場合に有効な方法である。

文脈自由文法音声認識部１３０は、音声データの時間区間単位でその時間区間に単語候補を対応付け、単語候補系列ごとに尤度を求める。そして最も尤度の高い単語候補系列の「読み」を外部に出力する。図５に、文脈自由文法音声認識部１３０動作例を示す。図５の１行目は、音声データである。音声データの横方向は時間、縦方向は振幅である。単語候補系列ごとに尤度が付与される。

この例では、その単語系列「今日はお祭り最中に行った」の尤度が最も高く（０．９５）、その読み「キョー ワ オマツリ サイチュー ニ イッタ」が外部に出力される。「読み」とその単語系列を一緒に出力するようにしても良い。

このように発音付与装置１００によれば、テキストデータから単語系列を予測する文法を予め生成しておき、そのテキストデータに対応する音声データを、その文法に基づいて文脈自由文法音声認識するので、高い精度で単語系列の同定を行うことができ、その正確な「読み」を決定することが可能となる。

発音付与装置１００によれば、単語候補系列に同一の漢字表記に複数の読み方が存在する同形異音語（例、最中：モナカとサイチュウ）が含まれていても、文脈自由文法音声認識処理による尤度の最も高い単語候補を正解単語として選択するので、正確な単語の「読み」の同定が可能である。発音付与装置１００が出力する「読み」を、例えば音声合成装置に与えることで、話者の声質や調子を変えた正確な発音の合成音声を得ることができる。

図６に、この発明の発音付与装置２００の機能構成例を示す。その動作フローを図７に示す。発音付与装置２００は、形態素解析部１１０と、文法生成部１２０と、文脈自由文法音声認識部１３０と、大語彙連続音声認識部２１０と、単語候補系列照合部２２０と、単語候補判定統合部２３０と、再認識部２４０と、制御部２５０と、を具備する。

形態素解析部１１０と文法生成部１２０と文脈自由文法音声認識部１３０は、参照符号から明らかなように発音付与装置１００と同じものである。発音付与装置２００も、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

形態素解析部１１０は、テキストデータを入力として、当該テキストデータを形態素解析した第１単語候補系列を出力する（ステップＳ１１０）。文法生成部１２０は、第１単語候補系列を入力として、当該第１単語候補系列から文脈自由文法に基づいて文法を生成する（ステップＳ１２０）。文脈自由文法音声認識部１３０は、上記テキストデータに対応する音声データと上記文法を入力として、当該文法に基づいた文脈自由文法音声認識処理を行って、第２単語候補系列とその尤度を出力する（ステップＳ１３０）。この第２単語候補系列とその尤度は、図５に示した単語候補系列と尤度のことである。なお図７において、制御部２５０の動作ステップの表記は省略している。

大語彙連続音声認識部２１０は、文脈自由文法音声認識部１３０に入力される音声データと同じ音声データを入力として当該音声データを、大語彙連続音声認識して第３単語候補系列を出力する（ステップＳ２１０）。大語彙連続音声認識部２１０は、図示しない音響モデルと言語モデルを用いて音声データを音声認識し、音声の時間区間単位でその時間区間に単語候補を対応付けるもので、上記（非特許文献２）した周知なものである。

図８に、大語彙連続音声認識部２１０の動作例を示す。１行目は音声データであり図５に示したものと同じである。図８の３行目から６行目に、第３単語候補系列の例を示す。第３単語候補系列としては、「ヨーマ オマツリ シチュー ニ イッタ」、「ヨーマ オーマ ツリ シチュー ニ イッタ」、「ヨーマ オウ ツリ シチュー ニ イッタ」、他である。このように大語彙連続音声認識は、単語系列が全く未知であっても認識が可能であるが、誤認識が多く含まれる場合がある。

単語候補系列照合部２２０は、文脈自由文法音声認識部１３０が出力する第２単語候補系列と大語彙連続音声認識部２１０が出力する第３単語候補系列とを照合し、同一時間区間で一致している単語候補が存在する時間区間とそれ以外の時間区間を区分して時間区間で対応付けた対応付後第２単語候補系列とその尤度と対応付後第３単語候補系列を出力する（ステップＳ２２０）。図９に、時間区間で対応付けた対応付後第２単語候補系列と対応付後第３単語候補系列を示す。

表１に、図９に示した対応付後第２単語候補系列と対応付後第３単語候補系列の対応関係を示す。

単語候補判定統合部２３０は、対応付後第２単語候補系列と対応付後第３単語候補系列とを、同一時間区間で照合し、一致する単語が１つしかない場合は当該単語を当該時間区間の単語として決定し、一致する単語が複数存在する場合は上記尤度の高い単語を当該時間区間の単語として決定し、一致する単語が無い場合は当該時間区間に対応する対応付後第２単語候補と対応付後第３単語候補を、新たに当該時間区間に対応する単語候補とした第４単語候補系列を出力する（ステップＳ２３０）。

図１０に、第４単語候補系列の例を示す。時間区間のｔ_０−ｔ_１区間では、対応付後第２単語候補系列の「キョー」と対応付後第３単語候補系列の「キョー」とが一致しているので、その区間の単語は「キョー」に決定される。ｔ_４−ｔ_５区間では、一致する単語候補が存在しないので、その区間の全ての単語を単語候補とする。

第４単語候補系列の決定された単語を灰色の塗つぶしで示し、未定の区間の単語候補を斜線のパターンで示す。なお、この例では示されていないが、同一時間区間で一致する対応付後第２単語候補系列と対応付後第３単語候補系列が複数存在する場合は、尤度の最も高い対応付後第２単語候補系列の単語候補に決定する。また、全ての時間区間の単語候補が決定済みの単語で構成される第４単語候補系列が得られた場合は、その「読み」は外部に直接出力される。

再認識部２４０は、第４単語候補系列を入力として、時間区間に対応する未確定の単語候補から、文脈自由文法を生成して文脈自由文法音声認識処理を行って、尤度最大の単語候補を当該時間区間の単語として決定した単語系列の読みを外部に出力する（ステップＳ２４０）。第４単語候補系列の「キョー ワ オマツリ サイチュー ニ イッタ」と「キョー ワ オマツリ シチュー ニ イッタ」と「キョー ワ オマツリ スイチュー ニ イッタ」と「キョー ワ オマツリ サイユー ニ イッタ」の候補の中では、文脈自由文法音声認識処理を行った尤度は「キョー ワ オマツリ サイチュー ニ イッタ」の候補が最大になるので、その読みを外部に出力する。

以上説明したように発音付与装置２００の文脈自由文法音声認識部１３０が出力する第２単語候補系列は、実施例１で説明した発音付与装置１００の最終出力であり、ある程度の正確性を備えたものである。その第２単語候補系列の「読み」を、音声合成装置に直接入力しても正しい発音の合成音声を得ることが可能である。

発音付与装置２００は、文脈自由文法音声認識処理と大語彙連続音声認識処理を併用した点に特徴がある。単語系列が全く未知であっても認識が可能な大語彙連続音声認識処理の出力結果（第３単語候補系列）を用いて、音声で出現する単語系列がある程度予測可能な場合に認識精度の高い文脈自由文法音声認識処理の出力結果（第２単語候補系列）の単語候補を絞り込むことで、同形異音語のような同一表記に複数の「読み」があるような場合でも、正確な「読み」の付与が可能である。

また、文脈自由文法音声認識部１３０の出力する第２単語候補系列と、第五位連続音認識部２１０の出力する３単語候補系列が一致しない単語候補においては、同一時間区間の第２単語候補と第３単語候補の全てを用いて、再度、文脈自由文法音声認識処理を行うことで、新語や当て字等の形態素解析処理で得られない単語が出現した場合でも高い精度で正しい「読み」を付与することができる。

以上説明したようにこの発明の発音付与装置１００,２００によれば、テキストデータとそのテキストデータに対応する音声データとから正確な「読み」を、テキストに付与することが可能である。発音付与装置１００,２００で得られた「読み」を、例えば音声合成装置に入力することで、任意の話者の声による正確な合成音声を得ることが可能になる。

上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (3)

1. テキストデータを入力として、当該テキストデータを形態素解析した第１単語候補系列を出力する形態素解析過程と、
   上記第１単語候補系列を入力として、当該第１単語候補系列から文脈自由文法に基づいて文法を生成する文法生成過程と、
   上記テキストデータの音声データと上記文法を入力として、上記文法に基づいた文脈自由文法音声認識処理を行って、第２単語候補系列とその尤度を出力する文脈自由文法音声認識過程と、
   上記音声データを入力として当該音声データを大語彙連続音声認識して、第３単語候補系列を出力する大語彙連続音声認識過程と、
   上記第２単語候補系列と第３単語候補系列とを照合し、同一時間区間で一致している単語候補が存在する時間区間とそれ以外の時間区間を区分して時間区間に対応付けた対応付後第２単語候補系列とその尤度と対応付後第３単語候補系列を出力する単語候補系列照合過程と、
   上記対応付後第２単語候補系列と上記対応付後第３単語候補系列とを、同一時間区間で照合し、一致する単語が１つしかない場合は当該単語を当該時間区間の単語として決定し、一致する単語が複数存在する場合は上記尤度の高い対応付後第２単語候補系列の単語を当該時間区間の単語として決定し、一致する単語が無い場合は当該時間区間に対応する上記対応付後第２単語候補系列の単語と上記対応付後第３単語候補系列の単語を、新たに当該時間区間に対応する単語候補とした第４単語候補系列を出力する単語候補判定統合過程と、
   上記第４単語候補系列を入力として、上記時間区間に対応する未確定の単語候補から、文脈自由文法を生成して文脈自由文法音声認識処理を行って、尤度最大の単語候補を当該時間区間の単語として決定した単語系列の読みを出力する再認識過程と、
   を備える発音付与方法。
2. テキストデータを入力として、当該テキストデータを形態素解析した第１単語候補系列を出力する形態素解析部と、
   上記第１単語候補系列を入力として、当該第１単語候補系列から文脈自由文法に基づいて文法を生成する文法生成部と、
   上記テキストデータの音声データと上記文法を入力として、上記文法に基づいた文脈自由文法音声認識処理を行って、第２単語候補系列とその尤度を出力する文脈自由文法音声認識部と、
   上記音声データを入力として当該音声データを大語彙連続音声認識して、第３単語候補系列を出力する大語彙連続音声認識部と、
   上記第２単語候補系列と第３単語候補系列とを照合し、同一時間区間で一致している単語候補が存在する時間区間とそれ以外の時間区間を区分して時間区間に対応付けた対応付後第２単語候補系列とその尤度と対応付後第３単語候補系列を出力する単語候補系列照合部と、
   上記対応付後第２単語候補系列と上記対応付後第３単語候補系列とを、同一時間区間で照合し、一致する単語が１つしかない場合は当該単語を当該時間区間の単語として決定し、一致する単語が複数存在する場合は上記尤度の高い対応付後第２単語候補系列の単語を当該時間区間の単語として決定し、一致する単語が無い場合は当該時間区間に対応する上記対応付後第２単語候補系列の単語と上記対応付後第３単語候補系列の単語を、新たに当該時間区間に対応する単語候補とした第４単語候補系列を出力する単語候補判定統合部と、
   上記第４単語候補系列を入力として、上記時間区間に対応する未確定の単語候補から、文脈自由文法を生成して文脈自由文法音声認識処理を行って、尤度最大の単語候補を当該時間区間の単語として決定した単語系列の読みを出力する再認識部と、
   を具備する発音付与装置。
3. 請求項１に記載した発音付与方法を、コンピュータで処理するためのプログラム。