JPH08508127A

JPH08508127A - システムをトレーニングする方法、その結果得られる装置、およびその使用方法

Info

Publication number: JPH08508127A
Application number: JP7512015A
Authority: JP
Inventors: ジュリアハーシュバーグ
Original assignee: AT&T Corp
Current assignee: AT&T Corp
Priority date: 1993-10-15
Filing date: 1994-10-12
Publication date: 1996-08-27
Also published as: KR950704772A; US6003005A; CA2151399A1; US6173262B1; EP0680653B1; CA2151399C; DE69427525T2; EP0680653A1; WO1995010832A1; DE69427525D1; EP0680653A4

Abstract

(57)【要約】従来の方法の欠点を克服したテキスト入力をするために、イントネーションの特徴（たとえばイントネーションフレーズ境界など）を割り当てるＴＴＳその他のシステムを訓練する方法が記載されている。この訓練方法では、一群の所定のテキスト（話し声または話し声を表す信号ではない）を取り出して、人にイントネーションの特徴についての注釈をつけさせる工程を含む。これにより注釈付きのテキストができる。次に、一群の所定のテキストの構造が分析され、情報が生成される。この情報は、イントネーションの特徴についての注釈とともに使用されて、統計的表現を生成する。その統計的表現は記憶され、さらにそのＴＴＳシステムを訓練することなく、新しい一群のテキスト入力から合成スピーチを生成するために、繰り返し利用される。この結果として得られる訓練されたシステムおよびその使用方法も本発明の一部である。

Description

【発明の詳細な説明】システムをトレーニングする方法、その結果得られる装置、及びその使用方法［発明の分野］この発明は、テキスト（書かれた文字）からスピーチ（音声言語）への変換（ＴＴＳ）のための方法およびシステムに関する。また、ＴＴＳシステムの訓練に関する。［発明の背景］典型的なＴＴＳシステムを使用する場合、たとえば、人がコンピュータシステムを通じてテキストを入力する。そのテキストはＴＴＳシステムに伝送される。次に、そのＴＴＳシステムが、テキストを分析して音声（スピーチ）信号を合成してそれを音響出力装置に伝送する。音響出力装置は合成音声信号を出力する。ＴＴＳシステムによる音声の生成については、二つの特性、すなわち明瞭さと自然さが、重要である。明瞭さは、聞き手が生成された音声による話を理解できるかどうかである。たとえば、”dog”が生成されたときに実際に”dog”と聞こえるかまたは”dock”と聞こえるかである。しかし、その生成された話し方の人間らしさ、すなわち自然さも、明瞭さと同じくらい重要である。実際に、不自然さが、明瞭さにも影響することがあることが実証されている。これまでに多くの人が、ＴＴＳシステムにより自然な話し方を生成する試みを行っている。これらの試みは、種々の問題点に向けられてきた。これらの問題点の一つは、その話し方に適当なイントネーション（抑揚）を割り当てる必要があることである。イントネーションには、強勢（intonational p rominence）ピッチ幅、イントネーションの輪郭（contour）、イントネーションのフレージングなどのイントネーションの特徴（features,variation）が含まれる。イントネーションのフレージングとは、一つの文を、いくつかのポーズ（休止、すなわちイントネーションフレーズの境界）で区切ることによって意味のあるいくつかの単語の塊に分けること（chunking）をいう。イントネーションフレーズの境界をテキストに割り当てる作業は、隣接する二つの単語の組それぞれについて、その間にイントネーションフレーズ境界を挿入するかどうかを判定する作業を含む。イントネーションフレーズ境界を、候補位置のうちのどこに置くかによって、ＴＴＳシステムによって生成される話し方が、とても自然に聞こえたり、とても不自然に聞こえたりする。これまでに知られたイントネーションフレーズ境界割り当て方法は、いくつかの理由により欠点がある。すなわち、一つのモデルの開発に非常に時間がかかる。さらに、モデルの開発に長時間を費やした後であっても、そのモデルを使用して自然な話し方を合成できるほど十分な正確さが得られない。すなわち、ポーズを入れてはならないところにポーズがはいったり、ポーズを入れるべきところにポーズがはいらなかったりする。人の話において、ポーズやその他のイントネーション変化は、その話の意味において大きな役割を持つことが多く、したがってたいへん重要である。たとえば、”The child isn't screaming，because he is sick.”という文を一つのイントネーションフレーズで言うと、聞き手は、「子供は泣いている。しかしそれは子供が病気だからではない。」という意味に受け取るだろう。しかし、同じ文を、”screaming”と”because”の間にポーズを入れて言うと（すなわち、”The child isn't screaming，because he is sick.”のように言うと）、聞き手はたぶん「子供は病気だから泣いていない。」という意味に受け取るだろう。これまでのイントネーションフレージング割り当て方法には、少なくとも五つの方法があった。それらのうち初めの四つの方法は、人間の話し方（たとえば話手がポーズをとるかとらないか）に対して試験した結果、約６５〜７５パーセントの正確度であった。５番目の方法は、他の四つの方法よりも正確度が高い（約９０パーセント）が、分析に長時間を要する。第１の方法は、入力テキストが文中の句読符（punctuation internal．たとえば、コンマ、コロン、セミコロン。ただし、ピリオドは除く。）のあるすべての位置にイントネーションフレーズ境界を割り当てる方法である。この方法にはたくさんの欠点がある。たとえば、文中のすべての句読符には、必ずしもイントネーションフレーズ境界を割り当てるべきでないものもある。たとえば、”Little Rock，Arkansas”（アーカンソー州リトルロック市）というフレーズにおける ”Rock”と”Arkansas”との間にはイントネーションフレーズ境界があるべきでない。もう一つの欠点は、人がスピーチを読むとき、その人は通常、そのスピーチの中で、文中の句読符以外の位置でイントネーションフレーズ境界を割り当てる点である。第２の方法は、”and”,”today”,”now”,”when”,”that”,”but”等の特定の単語の前または後にイントネーションフレーズ境界を割り当てる方法である。たとえば、二つの独立句を連結するのに”and”という単語が使用される場合、具体的には”I like apples and I like oranges.”のような場合、”apple s”と”and”の間にイントネーションフレーズ境界を割り当てるのが妥当であることが多い。しかし、”and”が二つの名詞を連結する場合、具体的には”I lik e apples and oranges”のような場合、”apples”と”and”の間にイントネーションフレーズ境界を割り当てるのは不適当なことが多い。さらに、”I take t he 'nuts and bolts'approach.”のような文では、”nuts”と”and”の間にイントネーションフレーズ境界を割り当てることは明らかに不適当である。第３の方法は、第１と第２の方法の結合である。これらの方法の欠点は上述の例から明かである。第４の方法は、適用または領域によって、（たとえば、名前と住所、株式相場の引用句のように）入力が限られているＴＴＳシステムのイントネーションフレーズ境界の割り当てに使用されてきた方法である。この方法は一般に、文解析すなわち構文解析（a sentence or syntactic parser，その目的は、一つの文を主語、動詞、目的語、補語等に分解することにある）を使用してきた。イントネーションフレーズ境界と構文（syntactic structure）との関係がまだ明確に確立していないため、構文解析をイントネーションフレーズ境界の割り当てに利用するには不十分な点がある。このため、この方法では、フレーズ境界の割り当てが不正確になることがしばしば起こる。構文解析のもう一つの欠点は、スピードが遅いこと、すなわち実時間で実行できないことである。さらにもう一つの欠点は、必要なメモリが大きいことである。これらの欠点があるために、構文解析は、これまで限られたＴＴＳシステムでの使用にしか成功していない。さらに、限られた領域のＴＴＳシステムでも、構文解析は、なじみのない入力に対しては特に成功せず、新しい入力や新しい領域に拡張するのが困難である。イントネーションフレーズ境界の割り当てに使用される第５の方法は、イントネーションフレーズ境界の割り当ての正確度を９０パーセントにまで高めることが可能である。これについては、Wang and Hirschberg著”Automatic classific ation of intonational phrase boundarles,”Conputer Speech and Language,v ol.6(1992)175-196ページに記載されている。この方法では、話し手に、テキストをマイクに向かって読んでもらってそれを録音する。次にその録音された話し声に対して韻律学的に（prosodically）ラベル付けする。このラベル付けをするためには、ＴＴＳシステムで生成される話し声のモデルとして人が望むイントネーションの特徴を特定する必要がある。この方法にも重大な欠点がある。この方法では通常、プロの話し手を雇う必要があるので、高価になる。録音された話し声を韻律学的にラベル付けするのに膨大な時間が必要である。通常、ラベル付けする人がよく慣れた人であっても、録音された話し声の１秒あたりのラベル付けに約１分間を要する。さらに、処理に長時間を要しかつ高価であるために、この処理を、異なった言語、異なった用途、異なった話し方に適用するのは困難である。実際に、約４５〜６０分間の自然な話し声（スピーチ）について上述の第５の方法を適用して韻律学的にラベル付けを行った。６０分間のスピーチのラベル付けだけで約６０時間（３６００分間）も要した。さらに、そのスピーチを録音し、データの分析のために処理する（たとえば、録音されたデータを文に分割したり、それらの文にフィルタをかけたりする）のにも膨大な時間が必要である。これに通常、４０〜５０時間を要する。さらに、ラベル付けする人の訓練には、何週間も、さらには何ヵ月も必要である。［発明の概要］発明者らは、従来の方法の欠点を克服したテキスト入力をするために、イントネーションの特徴（たとえばイントネーションフレーズ境界など）を割り当てるＴＴＳその他のシステムを訓練する方法を発明した。この訓練方法では、一群の所定のテキスト（話し声または話し声を表す信号ではない）を取り出して、人にイントネーションの特徴（たとえばイントネーションフレーズ境界）についての注釈（annotations）をつけさせる工程を含む。これにより注釈付きのテキストができる。次に、統計的表現（statistical representation）を生成するように、イントネーションの特徴についての注釈に沿って、使用される情報を生成するべく、たとえばテキストに向けた（text-oriented）一群の質問に答えることによって、その一群の所定のテキストの構造が分析される。次にその統計的表現は、さらにそのＴＴＳシステムを訓練することなく、新しい一群のテキスト入力から合成スピーチを生成するために、繰り返し利用される。この発明によれば、イントネーションの特徴を割り当てるシステムを人が訓練するスピードが改善され、それにより、この発明を異なる言語や方言などに応用できる範囲が増大する。さらに、この方法で訓練したシステムは、人の動作に比べて、イントネーションの特徴の型すなわちイントネーションフレーズ境界を正確に割り当てる正確度は約９５パーセントを達成できる。［図面の簡単な説明］図１はＴＴＳシステムの一例を示す。図２は、図１のＴＴＳシステムのより詳細な内容を示す。図３は、あらかじめ決められたテキストと、その中に挿入されたイントネーションの特徴についての注釈を示す。［詳細な説明］図１はＴＴＳシステム１０４を示す。一人の人が、たとえばコンピュータ１０８のキーボード１０６を通じて、入力テキスト１１０を入力する。入力テキスト１１０は、通信回線１１２を通じてＴＴＳシステム１０４に伝送される。ＴＴＳシステム１０４は入力テキスト１１０を分析して合成音声信号１１４を生成し、合成音声信号１１４はラウドスピーカ１１６へ伝送される。ラウドスピーカ１１６は音声信号１１８を出力する。図２はＴＴＳシステム１０４をさらに詳細に示す。ＴＴＳシステム１０４は４個のブロックからなる。すなわち、前置プロセッサ１２０と、フレージングモジュール１２２と、後置プロセッサ１２４と、音響出力装置（たとえば電話、ラウドスピーカ、ヘッドホン等）１１６とからなる。前置プロセッサ１２０は、その入力として、通信回線１１２から入力テキスト１１０を受信する。前置プロセッサ１２０は、入力テキスト１１０を受信してその入力テキストに対応する記録構造１２８のリンクしたリストを出力する。この記録構造１２８（以下、記録１２８という）のリンクしたリストは、入力テキスト１１０内の単語の表現と、テキスト分析から確かめられたこれらの単語に関するデータとからなる。記録１２８は、単純な一群の配列されたデータ構造である。フレージングモジュール１２２はこの発明を実行するものであるが、このシステムの他の構成要素は従来から存在するものである。（前置プロセッサ）前置プロセッサ１２０は従来の設計であって、図２に示すように、４個の小ブロックからなる。すなわち、テキスト正規化モジュール（ＴＮＭ）１３２と、言語論的（morphological）分析器（ＭＡ）１３４と、イントネーション特徴（int onational prominence）割当モジュール（ＩＰＡＭ）１３６と、辞書参照モジュール（ＤＬＵＭ）１３８とである。これらの小ブロックは並列ではなく、パイプライン構造に配列されている。入力テキスト１１０を受信して、入力テキスト１１０と入力テキスト１１０に関するデータとに対応する記録１２８を生成する。パイプラインの最後の小ブロックすなわち辞書参照モジュール１３８はフレージングモジュール１２２に記録１２８を出力する。図２のテキスト正規化モジュール１３２は、その入力として通信回線１１２から入力テキスト１１０を受信する。テキスト正規化モジュール１３２の出力は、入力テキスト１１０を表現するとともに、その入力テキスト１１０に関する付加データをも含むもので、これを第１中間記録群１４０と呼ぶ。たとえば、第１中間記録群１４０は、次の事項に関するデータを含む。（１）単語、句読符、および、エスケープシーケンス等のＴＴＳシステム１０４への明示的コマンドの特定（２）省略形、番号等の翻訳（interpretation）（３）上記（１）で特定された単語（たとえば、名詞、動詞等の特定）に基づく話し声の最後につける決まり文句の部分（part of speech tagging）第１中間記録群１４０は、図２の言語論的分析器１３４に入力される。言語論的分析器１３４の出力は第２中間記録群１４２であって、これはたとえば、単語の「見出し語（lemma）」（すなわちルーツ）に関する追加データを含む。たとえば、 ”child”は”children”の見出し語であり、”go”は”went”の見出し語であり、”cat”は”cats”の見出し語である。第２中間記録群１４２は、図２のイントネーション特徴割当モジュール１３６に入力される。イントネーション特徴割当モジュール１３６の出力は第３中間記録群１４４であって、これはたとえば、テキスト正規化モジュール１３２によって特定された実単語（句読符等でないもの）それぞれが、最終的に生成されたときにイントネーションとして重要かどうかに関する追加データを含む。第３中間記録群１４４は、図２の辞書参照モジュール１３８に入力される。辞書参照モジュール１３８の出力は記録１２８である。辞書参照モジュール１３８は、たとえば、テキスト正規化モジュール１３２で特定された実単語それぞれがどのように発音されるべきか（たとえば”brass”という単語をどう発音するか）、および構成要素は何か（たとえば音素（phonemes）および音節(syllables) ）についての追加データを第３中間記録群１４４に付加する。（フレージングモジュール）この発明の実施例としての図２のフレージングモジュール１２２には、記録１２８が入力される。フレージングモジュール１２２は、新たな記録構造１４６のリンクしたリストを出力する。記録構造１４６は、たとえば、フレージングモジュール１２２によって各イントネーション境界に対して割り当てられた新たな記録を含む追加のデータを有している。フレージングモジュール１２２は、イントネーションフレーズ境界がある可能性のある各位置（すなわち二つの実単語の間の位置）それぞれで、そこにイントネーションフレーズ境界を割り当てるかどうか判断する。この判断は、それぞれの位置に関連するベクトル１４８に基づいてなされる。各位置のベクトル１４８は一群の変数１５０からなる。たとえば、イントネーションフレーズ境界となる可能性のある各位置＜ｗ_i，ｗ_j＞で（ただし、ｗ_iおよびｗ_jはそれぞれ、イントネーションフレーズ境界となる可能性のある各位置の左側および右側の実単語を表す）、その位置のベクトル１４８を生成するために、次のような一群のテキスト向け質問をする。（ｌ）ｗ_iはイントネーション上の強勢（prominent）か？もし強勢でないならば、さらに弱勢か（すなわち、cliticizedか）？（２）ｗ_jはイントネーション上の強勢か？もし強勢でないならば、さらに弱勢か（すなわち、cliticizedか）？（３）ｗ_iは話の何の部分か？（４）ｗ_i-1は話の何の部分か？（５）ｗ_jは話の何の部分か？（６）ｗ_j+1は話の何の部分か？（７）その文の中にいくつの単語があるか？（８）ｗ_jからその文の初めまで、実単語数でどれだけ離れているか？（９）ｗ_jからその文の終わりまで、実単語数でどれだけ離れているか？（１０）その可能性のあるイントネーション境界は、最も近い名詞句との関係でどの位置か？（たとえば、名詞句の直前か、直後か、二つの名詞句の間か、もしくはそれらのいずれでもないか？）（１１）可能性のあるイントネーション境界が一つの名詞句の中にあるならば、それがその名詞句の初めから（実単語数で）どれだけ離れているか？（１２）その名詞句の大きさは実単語数でどれだけか？（ｗ_jが名詞句内にない場合は、ゼロとする。）（１３）ｗ_jは名詞句の中にどれだけはいり込んでいるか？（すなわち、ｗ_jが名詞句の中にある場合、上記（１１）を上記（１２）で割った値。その他の場合はゼロとする。）（１４）その文の中のイントネーション境界の可能性のある位置の前にいくつの音節があるか？（１５）その文の中のイントネーション境界の可能性のある位置の前にいくつの強勢音節があるか？（１６）その文の中に全部でいくつの強勢音節があるか？（１７）その文の中のイントネーション境界の可能性のある位置の直前の音節の強勢レベル（すなわち、第１強勢、第２強勢、または弱勢）は何か？（１８）ｗ_jから最後に割り当てられたイントネーション境界までの距離を最後のイントネーションフレーズの全長で割った値は？（１９）イントネーション境界の可能性のある位置に句読符（たとえば、コンマ、ダッシュ（ハイフン）等）があるか？（２０）イントネーション境界の可能性のある位置とその文の初めとの間に第１強勢または第２強勢の音節がいくつ存在するか？上記２０の質問に対する回答に対応する変数は、ベクトル発生器（ＶＧ）１５１内でその位置のベクトル１４８に暗号化される。それぞれの位置について一つのベクトル１４８が形成される。ベクトル１４８は、直列的に一群の判定ノード１５２に伝送される。一群の判定ノード１５２は、イントネーションフレーズ境界の可能性のある各位置について、最終的にイントネーションフレーズ境界を割り当てるかどうかの判断を与える。上記２０の質問がなされるのは、本発明によれば、２０の同じテキスト向き質問を一群の注釈付きテキストに対して問うことによって一群の判定ノード１５２が生成されるからである。望ましくは、一群の判定ノード１５２は一つの判定ツリーからなる。望ましくは、その判定ツリーは、分類と逆行のツリー（classification and regression tree，”CART”）手法を使用して生成されたものである。この手法は、Brieman,Olshen，and Stone著の”Classification and Regression Trees”,Wadsworth & Brooks（カリフォルニア州モンテレー市）（1984年）に説明されているように公知である。上記の一群の質問は、テキスト向けの質問であって、現在のところ、望ましい質問群である。しかし、上記の質問群の一部分や、異なる質問群や、追加の質問であっても、満足な結果を得られることもある。たとえば、文中の話の一部の単語に関する質問（たとえば上記（３）〜（６））をする代わりに、同じ結果を得るために、入力されたテキストの構文に関する質問、もしくは入力されたテキストの中で隣合う単語が同時に出現する統計値に関する質問をしてもよい。構文に関する質問は、イントネーションフレーズ境界の可能性のある位置と、その文の構文との関係に注目する。たとえば、「イントネーションフレーズ境界の可能性のある位置は、名詞句と動詞句との間に生ずるか？」という質問である。同時に出現するかどうかについての質問は、入力されたテキストの中で、二つの単語が互いに近い位置にまたは互いに隣接して出現する可能性（たとえば、”cat”という単語が”walk”という単語と同時に出現する頻度）に注目する。（後置プロセッサ）図２において、後置プロセッサ１２４は従来のものと同様の設計であって、新しいリンクされた記録構造のリスト１４６が入力される。後置プロセッサ１２４の出力は、合成音声信号１１４である。後置プロセッサ１２４は７個の小ブロックを有する。すなわち、フレーズ音声モジュール（ＰＰＭ）１６２と、持続モジュール（ＤＭ）１６４と、イントネーションモジュール（ＩＭ）１６６と、振幅モジュール（ＡＭ）１６８と、二個群選択（dyad selectlon）モジュール（ＤＳＭ）１７０と、二個群連結（dyad concatenation）モジュール（ＤＣＭ）１７２と、合成モジュール（ＳＭ）１７３である。上記７個のモジュールは、音声の中の記録構造１４６のリンクされた新しいリストの実現に向けて順番に処理を進めるものである。フレーズ音声モジュール１６２は、記録構造１４６のリンクされた新しいリストを受信して、第４中間記録群１７４を出力する。第４中間記録群１７４は、たとえば、フレーズアクセント、ピッチアクセントおよび境界トーンについてどのトーンを使用するか、また、これらのトーンそれぞれに関連してどの強勢（prom inences）を使用するかという情報を含む。上記の術語については、Pierrehumbe rt著M.I.T.博士論文”The Phonology and Phonetics fo English Intonation” に記載されている。持続モジュール１６４は、第４中間記録群１７４を入力として受信し、第５中間記録群１７６を出力する。第５中間記録群１７６は、たとえば、入力テキスト１１０を実現するのに使用される各音素（phoneme）の持続性に関する情報を含んでいる。たとえば、”The cat is happy.”という文の中で、”happy”の中の音素”p”がどれだけ長く持続するかを判定する情報を含んでいる。イントネーションモジュール１６６は、第５中間記録群１７６を入力として受信し、第６中間記録群１７８を出力する。第６中間記録群１７８は、たとえば、各文についての基本的頻度輪郭（frequency contour）すなわちピッチ輪郭（pit ch contour）情報を含む。たとえば、”The cat is happy”という文は、上がるイントネーションで生成するか、下がるイントネーションで生成するかという情報を含む。振幅モジュール１６８は、第６中間記録群１７８を入力として受信し、第７中間記録群１８０を出力する。第７中間記録群１８０は、たとえば、各文の振幅輪郭（amplitude contour）、すなわちその文の各部文がどれだけ大きな声で発音されるかという情報を含む。二個群選択モジュール１７０は、第７中間記録群１８０を入力として受信し、第８中間記録群１８２を出力する。第８中間記録群１８２は、たとえば、そのスピーチを実現するためにどの連結ユニット（すなわち一つの音素から次の音素への推移）が使用されるべきかを示す表を含む。二個群連結モジュール１７２は、第８中間記録群１８２を入力として受信する。このモジュールは、望ましい合成スピーチ信号の線形予測コーディング反射係数群１８４を出力する。合成モジュール１７３は、線形予測コーディング反射係数群１８４を入力として受信する。このモジュールは、音響出力装置１２６に、合成スピーチ信号を出力する。（システムの訓練）次に、本発明によるＴＴＳシステム１０４の訓練について述べる。訓練方法は、注釈付きテキストを生成するべく、イントネーションの特徴についての注釈をもって一群の所定のテキスト１０５に注釈を加える過程を含む。次に、その一群の所定のテキスト１０５の構造に基づいて、情報が生成される。最後に、その情報およびイントネーションの特徴についての注釈に依存する統計データが生成される。図３に、一群の所定のテキスト１０５の例が単独で示され、また、「注釈テキスト」として示されている。図中の縦線１９０は、「予測されるイントネーション境界」を表す。実際にＴＴＳシステム１０４を訓練するには、図３に示すよりも多くのテキストが必要であろう。次に、一群の所定のテキスト１０５を前置プロセッサ１２０およびフレージングモジュール１２２に通す。フレージングモジュール１２２では、たとえば、統計的情報分析により、一群の判定ノード１５２が生成される。具体的には、統計的に分析される情報（たとえば情報群）は、前記一群の所定のテキスト１０５の構造に基づく。次に、たとえば上述のＣＡＲＴ手法を使用して統計的分析を行う。これにより、統計的表現（statistical repr esentation,たとえば一群の判定ノード１５２）が生成される。一群の判定ノード１５２は判定ツリーの形式をとる。しかし、この一群の判定ノードを、隠れマルコフ（hidden Markof）モデルとニューラルネットワークを含む多数の統計的分析で置き換えることもできる。次に、統計的表現（たとえば一群の判定ノード１５２）を繰り返し使用して、それ以上ＴＴＳシステムを訓練しなくとも新しいテキスト群からスピーチを合成できるようにする。より具体的には、一群の判定ノード１５２は、通ることのできる複数の経路（paths）をもつ。各経路は、その時点で対象となるイントネーションの特徴の境界となる可能性のある位置においてイントネーションの特徴（ intonational feature）を挿入するかどうかをＴＴＳシステムに指示するイントネーション特徴割り当て予測手段で終端となる。合成されたスピーチは、ＴＴＳシステムによって挿入されたイントネーションの特徴を含んでいる。これらのイントネーションの特徴により、音響出力装置１１６から出る音の自然さが増す。音響出力装置１１６の入力は合成されたスピーチである。訓練モードには、システム内で単に「フラグ」を設定するだけではいることができる。システムが訓練モードにあるときは、フレージングモジュール１２２は、図１および図２を参照して述べた「合成」モードではなく、「訓練」モードで動作する。訓練モードでは、一群の判定ノード１５２が、フレージングモジュール１２２にアクセスされることはない。実際、訓練モードの目的は、一群の判定ノード１５２を生成することにある。注釈付きテキストの群が複数種類あれば、判定ノードの群も異なったものとなる。たとえば、小説のテキストは、科学、詩、その他の型のテキストに比べて、注釈をする人により、大きく異なる注釈を加えられる可能性がある。一つのＴＴＳシステムの例について、本発明を記述した。本発明をＴＴＳシステムに適用する他の例として、限定または非限定入力の場合がある。また、ＴＴＳシステムを適用するその他の例として、主たる（major）フレーズ境界と従たる（minor）フレーズ境界の間またはその他のフレージングのレベルを区別する方法もある。さらに、本発明は、音声言語（スピーチ）認識システムにも適用できる。それに加えて、本発明は、ＴＴＳおよび音声言語認識システムの双方における他のイントネーション変化に適用できる。最後に、前置プロセッサおよび後置プロセッサの中の複数の小ブロックは、それらがデータを収集・作成することが重要なのであって、このデータの収集と作成の順序は本発明にとって重要でない。たとえば、小ブロックの順序を代えたり、小ブロックを結合したり、小ブロックをさらに小さな小ブロックに分割したりしてもよい。ここで述べたのはＴＴＳシステムであるが、本発明のフレージングモジュールは、音声言語認識システム等、他のシステムにも利用できる。さらに、以上の説明は各イントネーションフレーズ境界の可能性のある位置にイントネーションフレーズ境界を挿入するかどうかという点に焦点を当てたが、その他のイントネーション特徴の可能性のある位置についても利用できる。

Claims

【特許請求の範囲】１．（ａ）注釈付きテキストを生成するべく、一群の所定のテキストをイントネーションの特徴について注釈するステップと、（ｂ）前記所定のテキストの構造に関する情報を生成するステップと、（ｃ）前記情報とイントネーションの特徴についての注釈に依存する統計的表現を生成するステップと、を具備する方法。２．前記注釈するステップは、前記所定にテキストに、予想されるイントネーションの特徴を韻律学的に注釈するものであることを特徴とする請求項１の方法。３．前記方法はテキストからスピーチへの変換システムを訓練するのに使用されるものであることを特徴とする請求項１の方法。４．前記イントネーションの特徴はイントネーションフレーズ境界であることを特徴とする請求項３の方法。５．統計的表現を生成するステップは一群の判定ノードを生成するステップを有することを特徴とする請求項１の方法。６．一群の判定ノードを生成するステップは隠れマルコフモデルを生成するステップを有することを特徴とする請求項５の方法。７．一群の判定ノードを生成するステップはニューラルネットワークを生成するステップを有することを特徴とする請求項５の方法。８．一群の判定ノードを生成するステップは分類分けおよび逆行ツリー手法を実行するステップを有することを特徴とする請求項５の方法。９．（ａ）一群の所定のテキストとそのテキストについてのイントネーションの特徴の注釈とに依存する、記憶された統計的表現と、（ｂ）一群の入力テキストの出力の表現を生成するべく、その入力テキストを前記記憶された統計的表現に適用する手段と、を有する装置。１０．テキストをスピーチに変換する請求項９の装置において、（ａ）合成スピーチ信号を生成するために前記出力を後処理する手段と、（ｂ）前記合成スピーチ信号を音響出力装置に送る手段と、を有する装置。１１．前記記憶された統計的表現は判定ツリーを有することを特徴とする請求項９の装置。１２．前記記憶された統計的表現は隠れマルコフモデルを有することを特徴とする請求項９の装置。１３．前記記憶された統計的表現はニューラルネットワークを有することを特徴とする請求項９の装置。１４．請求項９の装置において、前記適用する手段は、前記一群の入力テキストについての一群の記憶された質問に答える手段を含み、その質問は、次の質問群のうちの少なくとも一つを含むことを特徴とする装置：（ａ）ｗ_iはイントネーション上の強勢（prominent）か？もし強勢でないならば、さらに弱勢か？（ｂ）ｗ_jはイントネーション上の強勢か？もし強勢でないならば、さらに弱勢か？（ｃ）ｗ_iは話の何の部分か？（ｄ）ｗ_i-1は話の何の部分か？（ｅ）ｗ_jは話の何の部分か？（ｆ）ｗ_j+1は話の何の部分か？（ｇ）その文の中にいくつの単語があるか？（ｈ）ｗ_jからその文の初めまで、実単語数でどれだけ離れているか？（ｉ）ｗ_jからその文の終わりまで、実単語数でどれだけ離れているか？（ｊ）その可能性のあるイントネーション境界は、最も近い名詞句との関係でどの位置か？（ｋ）可能性のあるイントネーション境界が一つの名詞句の中にあるならば、それがその名詞句の初めからどれだけ離れているか？（ｌ）その名詞句の大きさは実単語数でどれだけか？（ｍ）ｗ_jは名詞句の中にどれだけはいり込んでいるか？（ｎ）その文の中のイントネーション境界の可能性のある位置の前にいくつの音節があるか？（ｏ）その文の中のイントネーション境界の可能性のある位置の前にいくつの強勢音節があるか？（ｐ）その文の中に全部でいくつの強勢音節があるか？（ｑ）その文の中のイントネーション境界の可能性のある位置の直前の音節の強勢レベルは何か？（ｒ）ｗ_jから最後に割り当てられたイントネーション境界までの距離を最後のイントネーションフレーズの全長で割った値は？（ｓ）イントネーション境界の可能性のある位置に句読符があるか？（ｔ）イントネーション境界の可能性のある位置とその文の初めとの間に第１強勢または第２強勢の音節がいくつ存在するか？１５．（ａ）一群の所定のテキストとそのテキストについてのイントネーションの特徴の注釈とに依存する、記憶された統計的表現にアクセスするステップと、（ｂ）一群の入力テキストの出力の表現を生成するべく、その入力テキストを前記記憶された統計的表現に適用するステップと、を有する方法。１６．テキストをスピーチに変換する請求項１５の方法において、（ａ）合成スピーチ信号を生成するために前記出力を後処理するステップと、（ｂ）前記合成スピーチ信号を音響出力装置に送るステップと、を有する方法。１７．前記記憶された統計的表現は判定ツリーを有することを特徴とする請求項１５の方法。１８．前記記憶された統計的表現は隠れマルコフモデルを有することを特徴とする請求項１５の方法。１９．前記記憶された統計的表現はニューラルネットワークを有することを特徴とする請求項１５の方法。２０．請求項１５の装置において、前記適用するステップは、前記一群の入力テキストについての一群の記憶された質問に答えるステップを含み、その質問は、次の質問群のうちの少なくとも一つを含むことを特徴とする装置（ａ）ｗ_iはイントネーション上の強勢（prominent）か？もし強勢でないならば、さらに弱勢か？（ｂ）ｗ_jはイントネーション上の強勢か？もし強勢でないならば、さらに弱勢か？（ｃ）ｗ_iは話の何の部分か？（ｄ）ｗ_i-1は話の何の部分か？（ｅ）ｗ_jは話の何の部分か？（ｆ）ｗ_j+1は話の何の部分か？（ｇ）その文の中にいくつの単語があるか？（ｈ）ｗ_jからその文の初めまで、実単語数でどれだけ離れているか？（ｉ）ｗ_jからその文の終わりまで、実単語数でどれだけ離れているか？（ｊ）その可能性のあるイントネーション境界は、最も近い名詞句との関係でどの位置か？（ｋ）可能性のあるイントネーション境界が一つの名詞句の中にあるならば、それがその名詞句の初めからどれだけ離れているか？（ｌ）その名詞句の大きさは実単語数でどれだけか？（ｍ）ｗ_jは名詞句の中にどれだけはいり込んでいるか？（ｎ）その文の中のイントネーション境界の可能性のある位置の前にいくつの音節があるか？（ｏ）その文の中のイントネーション境界の可能性のある位置の前にいくつの強勢音節があるか？（ｐ）その文の中に全部でいくつの強勢音節があるか？（ｑ）その文の中のイントネーション境界の可能性のある位置の直前の音節の強勢レベルは何か？（ｒ）ｗ_jから最後に割り当てられたイントネーション境界までの距離を最後のイントネーションフレーズの全長で割った値は？（ｓ）イントネーション境界の可能性のある位置に句読符があるか？（ｔ）イントネーション境界の可能性のある位置とその文の初めとの間に第１強勢または第２強勢の音節がいくつ存在するか？