JP4202090B2 - スムージングフィルタを用いた音声合成システム及びその方法並びにスムージングフィルタ特性制御装置及びその方法 - Google Patents
スムージングフィルタを用いた音声合成システム及びその方法並びにスムージングフィルタ特性制御装置及びその方法 Download PDFInfo
- Publication number
- JP4202090B2 JP4202090B2 JP2002317332A JP2002317332A JP4202090B2 JP 4202090 B2 JP4202090 B2 JP 4202090B2 JP 2002317332 A JP2002317332 A JP 2002317332A JP 2002317332 A JP2002317332 A JP 2002317332A JP 4202090 B2 JP4202090 B2 JP 4202090B2
- Authority
- JP
- Japan
- Prior art keywords
- discontinuity
- speech
- phonemes
- smoothing filter
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000009499 grossing Methods 0.000 title claims description 105
- 238000000034 method Methods 0.000 title claims description 52
- 230000015572 biosynthetic process Effects 0.000 title claims description 40
- 238000003786 synthesis reaction Methods 0.000 title claims description 40
- 238000001308 synthesis method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002844 continuous effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
- G10L13/07—Concatenation rules
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音声を合成するシステムに係り、特に、合成された音声の音声ユニットの転移部にスムージングの技術を適用して不連続歪みを防止する音声合成システム及びその方法に関する。
【０００２】
【従来の技術】
文字と音声とを合成する文字−音声合成（Ｔｅｘｔ−Ｔｏ−Ｓｐｅｅｃｈ：ＴＴＳ）システムとは、ユーザが任意に入力した文章を、コンピュータ等を用いて自動的に音声を生成して聴取者に聞かせる一種の音声合成システムをいう。この種のＴＴＳシステムは自動案内システム等の応用分野で汎用されており、人間と機器との対話を具現するためのキーテクノロジーの１つである。この種のＴＴＳシステムは、１９９０年代に大容量データベースに基づくコーパス基盤のＴＴＳシステムが紹介されて以来、人間の音声に一段と近い合成音を生成するに至った。また、データ−ドリブン（ｄａｔａ−ｄｒｉｖｅｎ）技術の適用された韻律を予測する技術の性能が向上され一層臨場感のある音声が得られるようになった。
【０００３】
しかしながら、この分野におけるこのような発展にも拘わらず、音声合成装置には解決すべき数々の問題点が内包されている。その問題点とは、合成された音声の音声ユニットの転移部で発生する音の不連続性である。音声合成装置は、基本的に音声ユニットの単位に分割された各々の音声信号を音素列により連結させて連続音を生成するものである。したがって、互いに隣り合った各々の音声が相異なる特性を有している場合、聴取上、歪みを来す恐れがある。このような聴取上の歪みは、スペクトルの急激な変動及び不連続性や、不自然に変動する音素の韻律、あるいは波形の変動による揺れといった形態で出現する。
【０００４】
一方、音声ユニット間の転移部で発生する不連続性を除去するために、主として２種類の方法が用いられている。１つの方法は、音声ユニットの選択時に予め連結される音声ユニット間の違いを測定し、この違いを最小化させるように音声ユニットを選択することである。もう１つの方法は、合成された音声に対して連結される音声ユニットの転移部にスムージングの技術を適用することである。
【０００５】
前者の方法については、これまで絶えず研究がなされてきており、最近では回帰特性を反映する不連続歪みを最小化する技術等が開発され、ＴＴＳシステムに実機で適用されている。これに対し、後者の方法については前者の方法に比べると研究例が少ない。その理由としては、スムージングの技術が、信号処理技術に基づく音声合成よりも音声の符号化技術により重要な要素技術であると認識されている点、及びスムージングの技術そのものが音声信号に歪みを来す恐れがあるという点が挙げられる。
【０００６】
現在、前記音声合成装置に適用されているスムージング方法では、一般に、音声符号化に用いられる方法がそのまま適用されている。図１は、音声符号化に適用される各種のスムージング方法を、そのまま音声合成に適用した場合の自然性の歪み、及び明瞭性の歪みに対する結果が示す表である。ここで適用されたスムージングの技術は、ＷＩに基づく技術、ＬＰ−ポール技術及び連続効果である。図１に示すように、各種のスムージングの技術を適用した場合よりもスムージングを適用しなかった場合に、自然性の歪み及び明瞭性の歪みがむしろ小さくなっており、音質的に優れている。この結果、音声合成にスムージングの技術を適用した場合よりも、この技術を適用しない場合の方がより音質の面で効果的であるため、音声符号化器に適用されるスムージングの技術をそのまま音声合成に適用することは好ましくないことが理解される（例えば、非特許文献１参照）。
【０００７】
音声符号化器における歪みはその大部分が量子化エラー等により発生するものであり、前記スムージングの技術においてもこのような量子化エラー等の不具合を最小化させるために用いられる技術である。しかし、音声合成装置においては録音された音声信号そのものを用いるため、音声符号化器には量子化エラーが存在せず、したがってこの場合の歪みは、誤った音声ユニットの選択や音声ユニット間のスペクトルの急激な変動、あるいは音声ユニットの不連続性に起因するものである。すなわち、前記音声符号化器と音声合成装置とは、歪みを引き起こす原因が相異なるために、音声符号化器に適用されるスムージングの技術を音声合成装置に対して同じように適用しても、同様の効果が得られない。
【０００８】
【非特許文献１】
ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ、 ＪＡＮ／２０００ ｐｐ．３９−４０
【０００９】
【発明が解決しようとする課題】
本発明は前記問題点に鑑みてなされたものであり、その第１の目的は、スムージングフィルタの係数を適切に変化させて不連続歪みを減らす音声合成システム及びその方法を提供することにある。
【００１０】
また、本発明の第２の目的は、前記音声合成方法がコンピュータにて実行可能なプログラムコードとして記録された記録媒体を提供することにある。
【００１１】
さらに、本発明の第３の目的は、音声合成システムでスムージングフィルタの係数を制御してその特性を制御するスムージングフィルタ特性制御装置及びその方法を提供することにある。
【００１２】
そして、本発明の第４の目的は、前記スムージングフィルタ特性制御方法がコンピュータにて実行可能なプログラムコードとして記録された記録媒体を提供することにある。
【００１３】
【課題を解決するための手段】
（１）前記第１の目的を達成するために、本発明に係るスムージングフィルタを用いた音声合成システムは、スムージングの技術を用いて合成された音声の音素間の不連続歪みを制御する音声合成システムであって、前記音声合成に用いられる標本音素間の不連続性を所定の学習により予測し、予測された不連続度と、実際の不連続度との割合を求め、その結果に基づいてスムージングフィルタの係数を決定し、前記決定されたフィルタ係数に対応させて前記音声合成された音素簡の境界で発生する不連続性がスムージングされるように制御する不連続歪み処理部を含んで構成される。
【００１４】
（２）また、前記所定の学習は、分類と回帰樹（ＣＡＲＴ）の方式により行うことができる。
【００１５】
（３）また、前記スムージングフィルタを用いた音声合成システムは、合成された音声の音素間の境界で発生する不連続性をフィルタ係数に対応させてスムージングするスムージングフィルタと、前記合成された音声の音素間の境界で発生する実際の不連続度と、前記音声合成に用いられた文脈情報である標本音素を利用して前記所定の学習結果により予測された不連続度とを比較し、この比較の結果を係数選択信号Ｒとして出力するフィルタ特性制御部と、前記スムージングフィルタが前記合成された音声の音素間の不連続歪みを前記のように予測された不連続度に応じてスムージングするように、前記係数選択信号Ｒに応じて前記フィルタ係数αを決定するフィルタ係数決定部とを含んで構成することができる。
【００１６】
（４）さらに、前記所定の学習は、ＣＡＲＴ方式により行うことができる。
（５）そして、前記不連続の予測に用いられる標本音素は、予測しようとする音素境界を中心として、これ以前の２音素及びこれ以後の２音素であるように構成することができる。
【００１７】
（６）また、前記係数選択信号Ｒは、下記式（１）に基づいて求めることができる。
【００１８】
【数７】
【００１９】
前記式（１）中、Ｄpは予測された不連続度を表し、Ｄrは実際の不連続度を表す。
【００２０】
（７）また、前記フィルタ係数決定部は、前記係数選択信号Ｒに応じて下記式（２）に基づき前記フィルタ係数を決定することができる。
【００２１】
【数８】
【００２２】
前記式（２）中、Ｒは係数選択信号を表し、αはフィルタ係数を表す。
【００２３】
（８）また、前記第１の目的を達成するための本発明に係るスムージングフィルタを用いた音声合成方法は、スムージングの技術を用いて合成された音声の音素間の不連続歪みを制御する音声合成方法において、（ａ）前記合成された音声の音素間の境界で発生する実際の不連続度と、前記音声合成に用いられた標本音素を利用して所定の学習結果に基づき予測された不連続度との割合を求め、その結果を係数選択信号Ｒとして出力する段階と、（ｂ）前記スムージングフィルタが前記合成された音声の音素間の不連続歪みを前記予測された不連続度に応じてスムージングするように、前記（ａ）段階で出力された係数選択信号Ｒに応じて前記スムージングフィルタのフィルタ係数を決定する段階と、（ｃ）前記決定されたフィルタ係数に対応させて前記音声合成された音素簡の境界で発生する不連続性をスムージングする段階とを含んで構成される。
【００２４】
（９）そして、前記第２の目的を解決するための本発明に係る記録媒体は、前記スムージングフィルタを用いた音声合成方法がコンピュータで実行することが可能なプログラムコードとして記録された記録媒体として構成される。
【００２５】
（１０）前記第３の目的を達成するための本発明に係るスムージングフィルタ特性制御装置は、合成された音声の音素間の不連続歪みを制御する音声合成システムに用いられるスムージングフィルタの特性を音素境界の特性によって適切に変化させるスムージングフィルタ特性制御装置であって、前記合成された音声信号の音素間の境界で発生する不連続度を実際の不連続度として求める不連続測定部と、実際の発音上で発生する音素間の不連続性の学習結果を記憶し、前記音声信号の合成に用いられる標本音素が入力されると、この入力された前記標本音素間の境界に対する不連続性を学習結果に基づいて予測し、このように予測された不連続度として出力する不連続予測部と、前記実際の不連続度と前記予測された不連続度との割合を求め、その結果を前記スムージングフィルタのフィルタ係数を決定する係数選択信号として出力する比較部とを備えて構成される。
【００２６】
（１１）また、前記不連続予測部における前記学習は、ＣＡＲＴ方式により行うことが可能である。
（１２）また、前記不連続の予測に用いられる標本音素は、予測しようとする音素境界を中心として以前の２音素及び以後の２音素であるように構成することができる。
【００２７】
（１３）さらに、前記実際の不連続度Ｄr及び前記予測された不連続度Ｄpは、下記式（３）に基づき各々求めることができる。
【００２８】
【数９】
【００２９】
前記式（３）中、Ｗpは合成された音声で不連続度を求めようとする音素境界面を基準として、この音素境界面より左側に位置する音素ユニットにおける最後のピッチ周期の音声波形を表し、Ｗnは前記音素境界面より右側に位置する音素ユニットにおける最初のピッチ周期の音声波形を表す。また、Ｗ’pは不連続度を予測しようとする音素境界面を基準として、この音素境界面より左側に位置する音素ユニットにおける最後のピッチ周期の音声波形を表し、Ｗ’nは前記音素境界面より右側に位置する音素ユニットにおける最初のピッチ周期の音声波形を表す。
【００３０】
（１４）さらにまた、前記比較部は、下記式（１）に基づき前記係数選択信号Ｒを求めることができる。
【００３１】
【数１０】
【００３２】
前記式（１）中、Ｄpは予測された不連続度であり、Ｄrは実際の不連続度を表す。
【００３３】
（１５）そして、前記フィルタ係数は、前記係数選択信号Ｒに応じて下記式（２）に基づき決定することができる。
【００３４】
【数１１】
【００３５】
前記式（２）中、Ｒは係数選択信号を表し、αはフィルタ係数を表す。
【００３６】
（１６）前記第３の目的を達成するための本発明に係るスムージングフィルタ特性制御方法は、合成された音声の音素間の不連続歪みを制御する音声合成システムに用いられるスムージングフィルタの特性を音素境界の特性によって適切に変化させるスムージングフィルタ特性制御方法であって、（ａ）標本音素を用いて音素間の不連続予測を学習する段階と、（ｂ）前記合成された音声信号の音素間の境界で発生する不連続度を実際の不連続度として求める段階と、（ｃ）前記音声信号の合成に用いられる標本音素間の境界に対する不連続性を前記学習結果により予測し、このように予測された不連続度を求める段階と、（ｄ）前記実際の不連続度と前記予測された不連続度との割合を係数選択信号として出力し、求められた係数選択信号に基づき前記スムージングフィルタのフィルタ係数を決定する段階とを含んで構成される。
【００３７】
（１７）また、前記（ｄ）段階は、（ｄ１）前記予測された不連続度と前記実際の不連続度との割合Ｒを求める段階と、（ｄ２）下記式（２）に基づき前記フィルタ係数αを決定する段階とを含んで構成することができる。
【００３８】
【数１２】
【００３９】
前記式（２）中、Ｒは係数選択信号を表し、αはフィルタ係数を表す。
【００４０】
（１８）そして、前記第４の目的を達成するための本発明に係る記録媒体は、前記スムージングフィルタ制御方法がコンピュータで実行することが可能なプログラムコードにて記録された記録媒体として構成される。
【００４１】
【発明の実施の形態】
以下、添付した図面に基づいて、本発明に係るスムージングフィルタを利用した音声合成システム及びその方法について詳細に説明する。
図２は、本発明に係るスムージングフィルタを用いた音声合成システムの一実施の形態を模式的に示すブロック図である。図２に示す音声合成システムは、フィルタ特性制御部５０、スムージングフィルタ３０及びフィルタ係数決定部４０を含む不連続歪み処理部を備えて構成されている。
【００４２】
図２に示すように、フィルタ特性制御部５０は、スムージングフィルタ３０のフィルタ係数を制御することにより、スムージングフィルタ３０の特性を制御する。具体的に、フィルタ特性制御部５０は、合成された音声ＩＮの音素間の境界で発生する不連続度と学習された文脈情報に基づき予測された不連続度とを比較し、その比較の結果を係数選択信号Ｒとして前記フィルタ係数決定部４０に出力する。ここで、フィルタ特性制御部５０は、不連続測定部５２、比較部５４及び不連続予測部５６を含んで構成される。
【００４３】
不連続測定部５２は、合成された音声ＩＮの音素間の境界で発生する実際の不連続度を求める。
不連続予測部５６は、合成された音声ＩＮの合成に用いられる標本音素Ｃｏｎを利用して合成される音声の不連続度を予測する。ここで、不連続予測部５６は、分類と回帰樹（ＣＡＲＴ：Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅ）により予測可能であり、ＣＡＲＴは、事前の学習過程を通じて形成される。これについては、図３及び図４を参照しながら詳細に説明する。
【００４４】
比較部５４は、不連続測定部５２からの実際の不連続度と、不連続予測部５６からの予測された不連続度との間の割合を求め、その結果を係数選択信号Ｒとして出力する。
引き続いて、フィルタ係数決定部４０は、係数選択信号Ｒに応じてスムージングフィルタが前記合成された音声ＩＮの音素間で実際の不連続性が予測された不連続度に基づいてスムージングするように、スムージングの度合いを示すフィルタ係数αを決定する。
【００４５】
スムージングフィルタ３０は、フィルタ係数決定部４０で決定されたフィルタ係数に対応させて合成された音声ＩＮの音素間の境界で発生する不連続性をスムージングする。ここで、スムージングフィルタ３０の特性は、下記式（４）のように定義することができる。
【００４６】
【数１３】
【００４７】
前記式（４）中、Ｗ’n及びＷ’pは、各々、スムージングフィルタ３０によりスムージングされた波形を表わし、Ｗpは、不連続度を測定しようとする音素の境界面を基準として、この音素の境界面より左側に位置する音声ユニット（音素ユニット）における最初のピッチ周期の音声波形であり、Ｗnは前記音素の境界面より右側に位置する音声ユニット（音素ユニット）における最後のピッチ周期の音声波形を表す。
【００４８】
前記式（４）より、フィルタ係数が１に近くなるほどスムージングフィルタのスムージングの度合いが弱く、０に近くなるほどスムージングの度合いが強くなるということが理解される。
【００４９】
図３は、図２に示す不連続予測部５６で、ＣＡＲＴ方式により学習結果が形成される不連続予測ツリーを示す図面である。ここでは説明の便宜を図るために、図３では不連続の予測に用いられる変数として、音素が有声音であるか否かを判断するもののみを例示したが、実際により一層正確な予測を行うために、音素そのものに関する情報や、音素の音律構成成分等、種々の音素の特性を考慮することが望ましい。
【００５０】
図４は、図３に示すようなＣＡＲＴの入力される音素境界に隣接した４つの標本音素、及びＣＡＲＴの出力を各々示す図面である。ここでは、不連続の予測に用いられる標本音素の数が、予測しようとする音素境界を中心として隣接した４音素、すなわち、この音素以前の２音素（ｐ、ｐｐ）及びこの音素以後の２音素（ｎ、ｎｎ）となっている。一方、不連続の予測に用いられるＣＡＲＴの性能として相関値及び分散減少率が用いられる。
【００５１】
ここで、前記相関値はＣＡＲＴに関する研究でほとんど標準化した性能尺度であり、０．７５を上回る値が得られたときにこのＣＡＲＴを用いた予測装置に妥当性が与えられると提示される場合がある。例えば、ＣＡＲＴ学習に総３４２、８９９個のデータ及び性能評価のために総８５、６０８個のテストデータ（総４２８、５０７個のデータ）サンプルを用い、不連続の予測時に音素境界を中心として隣接した４音素を用いた場合、相関値としては、学習データに対して０．７５７、テストデータに対して０．７３３の値が得られる。
【００５２】
これら両方の値がともに０．７５近傍で得られる値であり、前記ＣＡＲＴを用いた不連続予測が有用であるということが理解される。一方、隣接音素を２つのみ用いた場合、相関値は学習データの場合に０．６８５、テストデータの場合に０．６８１であり、４音素を用いた場合よりも性能が低下するということが理解される。また、音素境界を中心として６音素を用いた場合には、相関値は学習データの場合に０．７５０、テストデータを用いた場合に０．７２７となっている。その結、前記ＣＡＲＴを用いて不連続性を予測するとき、前記ＣＡＲＴへの入力に用いられる音素の数が４つであるときに最高の性能が得られる。
【００５３】
また、図４（ａ）に示すように、音素境界を中心として４つの標本音素ｐｐ、ｐ、ｎ、ｎｎが図３に示すＣＡＲＴに入力されると、図４（ｂ）に示すように、境界面を基準として、この境界面より左側に位置する音声ユニット（音素ユニット）における最後のピッチ周期の音声波形Ｗp、及び前記境界面より右側に位置する音声ユニット（音素ユニット）における最初のピッチ周期の音声波形Ｗnの不連続予測値が出力される。このようにして、前記ＣＡＲＴから出力される音声波形Ｗp及びＷnを用いて不連続度を下記式（５）に基づいて予測することができる。
【００５４】
【数１４】
【００５５】
前記式（５）中、Ｄpは予測された不連続度を表し、Ｗpは図４（ｂ）に示す境界面を基準として、この境界面より左側に位置する音声ユニット（音素ユニット）における最後のピッチ周期の音声波形を表し、Ｗnは図４（ｂ）に示す境界面より右側に位置する音声ユニット（音素ユニット）における最初のピッチ周期の音声波形を表す。
【００５６】
また、図３に示すように、前記ＣＡＲＴは、階層的な構造を有する質問によって予測値を決定するように設計される。各原案に記述された質問は、ＣＡＲＴの入力値に基づき決定される。そして、それ以上の質問がないターミナルノード６４、７２、６８、７０で予測値は決定される。まず、不連続度を予測しようとする音素境界を中心として直前の音素ｐが有声音であるか否かを判断し（６０）、有声音ではなければ、前記式（５）により不連続度をＡとして予測する（７２）。一方、音素ｐが有声音であれば、音素ｐｐが有声音であるか否かを判断し（６２）、有声音であれば、前記式（５）により不連続度をＢとして予測する。さらに、音素ｐｐが有声音ではなければ、音素ｎが有声音であるか否かによって（６６）不連続度をＣまたはＤとして予測する（６８、７０）。
【００５７】
次に、図２〜図４に基づき、本発明に係る音声合成システムの動作を詳細に説明する。まず、図２を参照すると、フィルタ特性制御部５０は、実際の不連続性を測定する不連続測定部５２を通して合成された音声信号ＩＮの音素間の境界で発生する実際の不連続度Ｄrを求め、不連続予測部５６を通じて合成された音声ＩＮに用いられる標本音素Ｃｏｎを利用して不連続性を予測し、このように予測された不連続度Ｄpを求める。そして、下記式（１）のように、予測された不連続度Ｄpと実際の不連続度Ｄrとの割合Ｒを求め、このように求めた割合を係数選択信号Ｒとして出力する。
【００５８】
【数１５】
【００５９】
前記式（１）中、Ｄpは予測された不連続度を表し、Ｄrは実際の不連続度を表す。
【００６０】
ここで、不連続予測部５６は、前述したように、前記ＣＡＲＴ方式によって実際に人間の音声を通じて発生する文脈情報に基づき音素間の不連続予測が学習されており、音声合成に用いられる標本音素Ｃｏｎが入力されれば、学習された結果に基づく不連続度であるＤpを求める。したがって、このようにして予測された不連続度Ｄpは、実際に人間が発音するときに発生する不連続性を予測した結果であるといえる。
【００６１】
また、フィルタ係数決定部４０は、係数選択信号Ｒに応じて下記式（２）に基づいてフィルタ係数を決定し、このように決定されたフィルタ係数αをスムージングフィルタ３０に出力する。
【００６２】
【数１６】
【００６３】
前記式（２）中、Ｒは係数選択信号を表し、αはフィルタ係数を表す。
【００６４】
前記式（２）を参照すると、Ｒが１より大きければ、すなわち、実際の不連続度Ｄrが予測された不連続度Ｄpよりも小さければ、スムージングフィルタ３０でスムージングが弱く行われるようにフィルタ係数αを小さくする（前記式（４）参照）。予測された不連続度Ｄpが実際の不連続度Ｄrよりも大きいということは、実際の発音上で不連続度が大きいものの、合成された音声では不連続度が低く現れた場合である。
【００６５】
すなわち、実際に発音された音声上の不連続度が大きい場合には、前記スムージングフィルタ３０は、合成された音声ＩＮのスムージングの度合いを弱くすることにより、この合成された音声ＩＮが実際に発音されたとき音声上の不連続度を維持するように制御する。
【００６６】
これに対して、Ｒが１より小さい、すなわち、実際の不連続度Ｄrが予測された不連続度Ｄpよりも大きい場合には、スムージングフィルタ３０で、フィルタ係数を大きくして、スムージングの度合いを強めてスムージングを行うようにする（前記式（４）参照）。
【００６７】
また、予測された不連続度Ｄpが実際の不連続度Ｄrよりも小さい場合は、実際に発音された音声上で不連続度が実際の不連続度Ｄrよりも低く現れるということに対応する。したがって、この場合には、スムージングの度合いを強くして合成された音声ＩＮが、実際に発音された音声上の不連続度を維持するように制御する。
【００６８】
そして、スムージングフィルタ３０は、フィルタ係数決定部４０で決定されたフィルタ係数に基づき合成された音声ＩＮをスムージングする。
以上説明したように、スムージングフィルタ３０は、予測された不連続度Ｄpと実際の不連続度Ｄrとの割合に対応して適切に変化するフィルタ係数により、合成された音声ＩＮの不連続度が予測された不連続度Ｄpに追従するように合成された音声ＩＮをスムージングする。すなわち、合成された音声ＩＮの不連続性が実際の発音上で発生する不連続に追従するようにスムージングされるので、合成された音声ＩＮが実際の音声に一層近くなる。
【００６９】
本発明はまた、コンピュータで読取り可能な記録媒体に、コンピュータで読取り可能なコードを記録した記録媒体として具現することが可能である。コンピュータで読取り可能な記録媒体としては、コンピュータシステムに読み込むことが可能なデータが記憶され得るあらゆる種類の記録装置を含む。コンピュータで読取り可能な記録媒体の例としては、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｍｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｋ−ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、磁気テープ、フレキシブルディスク、光データ記憶装置などが挙げられ、さらに、キャリアウェーブ（例えば、インタネットを介して伝送）の形で具現されるものも含む。また、コンピュータで読取り可能な記録媒体としては、ネットワークで結ばれたコンピュータシステムに分散され、分散方式によりコンピュータで読取り可能なコードが記録されて実行することができる。
【００７０】
以上、添付した図面及び明細書において、本発明を、本発明に係る最適な実施形態を例として特定の用語を用いて説明したが、これらの用語は単に本発明を具体的に説明するために用いられたものであって、特定の構成物に限定する、あるいは本発明の技術範囲を特定の範囲に制限するために用いられたものではない。よって、当該技術分野に属する当業者であれば、これらの記載事項に基づいて種々の変形、及び均等な他の実施形態を具現することが可能な点は容易に理解されるであろう。よって、本発明の真の技術的な保護範囲は、特許請求の範囲に記載された技術的思想によって定められるべきである。
【００７１】
【発明の効果】
以上、説明した通りに構成される本発明によれば以下の効果を奏する。
すなわち、本発明に係るスムージングフィルタを用いた音声合成システム及びその方法によれば、スムージングフィルタ３０は予測された不連続度Ｄp及び実際の不連続度Ｄrの割合に対応して適切に変化するフィルタ係数により、合成された音声ＩＮの不連続度が予測された不連続度Ｄpに追従するように合成された音声ＩＮをスムージングする。すなわち、合成された音声ＩＮの不連続性が実際の発音上で発生する不連続に追従するようにスムージングされるので、合成された音声ＩＮが実際の音声に一層近くなる。
【図面の簡単な説明】
【図１】音声符号化器に適用される各種のスムージング方法をそのまま音声合成に適用した場合の自然性及び明瞭性の面における歪みに対する結果を示す図面である。
【図２】本発明に係るスムージングフィルタを用いた音声合成システムの一実施の形態を概略的に示すブロック図である。
【図３】図２に示す不連続予測部でＣＡＲＴ方式により学習結果が形成される不連続予測ツリーを示す図面である。
【図４】図３に示すＣＡＲＴ入力となる２音素間の境界を中心に互いに隣接した４つの標本音素及び前記ＣＡＲＴ入力の１境界部分に対するＣＡＲＴの出力を各々示す図面である。
【符号の説明】
３０ スムージングフィルタ
４０ フィルタ係数決定部
５０ フィルタ特性制御部
５２ 不連続測定部
５４ 比較部
５６ 不連続予測部
【発明の属する技術分野】
本発明は、音声を合成するシステムに係り、特に、合成された音声の音声ユニットの転移部にスムージングの技術を適用して不連続歪みを防止する音声合成システム及びその方法に関する。
【０００２】
【従来の技術】
文字と音声とを合成する文字−音声合成（Ｔｅｘｔ−Ｔｏ−Ｓｐｅｅｃｈ：ＴＴＳ）システムとは、ユーザが任意に入力した文章を、コンピュータ等を用いて自動的に音声を生成して聴取者に聞かせる一種の音声合成システムをいう。この種のＴＴＳシステムは自動案内システム等の応用分野で汎用されており、人間と機器との対話を具現するためのキーテクノロジーの１つである。この種のＴＴＳシステムは、１９９０年代に大容量データベースに基づくコーパス基盤のＴＴＳシステムが紹介されて以来、人間の音声に一段と近い合成音を生成するに至った。また、データ−ドリブン（ｄａｔａ−ｄｒｉｖｅｎ）技術の適用された韻律を予測する技術の性能が向上され一層臨場感のある音声が得られるようになった。
【０００３】
しかしながら、この分野におけるこのような発展にも拘わらず、音声合成装置には解決すべき数々の問題点が内包されている。その問題点とは、合成された音声の音声ユニットの転移部で発生する音の不連続性である。音声合成装置は、基本的に音声ユニットの単位に分割された各々の音声信号を音素列により連結させて連続音を生成するものである。したがって、互いに隣り合った各々の音声が相異なる特性を有している場合、聴取上、歪みを来す恐れがある。このような聴取上の歪みは、スペクトルの急激な変動及び不連続性や、不自然に変動する音素の韻律、あるいは波形の変動による揺れといった形態で出現する。
【０００４】
一方、音声ユニット間の転移部で発生する不連続性を除去するために、主として２種類の方法が用いられている。１つの方法は、音声ユニットの選択時に予め連結される音声ユニット間の違いを測定し、この違いを最小化させるように音声ユニットを選択することである。もう１つの方法は、合成された音声に対して連結される音声ユニットの転移部にスムージングの技術を適用することである。
【０００５】
前者の方法については、これまで絶えず研究がなされてきており、最近では回帰特性を反映する不連続歪みを最小化する技術等が開発され、ＴＴＳシステムに実機で適用されている。これに対し、後者の方法については前者の方法に比べると研究例が少ない。その理由としては、スムージングの技術が、信号処理技術に基づく音声合成よりも音声の符号化技術により重要な要素技術であると認識されている点、及びスムージングの技術そのものが音声信号に歪みを来す恐れがあるという点が挙げられる。
【０００６】
現在、前記音声合成装置に適用されているスムージング方法では、一般に、音声符号化に用いられる方法がそのまま適用されている。図１は、音声符号化に適用される各種のスムージング方法を、そのまま音声合成に適用した場合の自然性の歪み、及び明瞭性の歪みに対する結果が示す表である。ここで適用されたスムージングの技術は、ＷＩに基づく技術、ＬＰ−ポール技術及び連続効果である。図１に示すように、各種のスムージングの技術を適用した場合よりもスムージングを適用しなかった場合に、自然性の歪み及び明瞭性の歪みがむしろ小さくなっており、音質的に優れている。この結果、音声合成にスムージングの技術を適用した場合よりも、この技術を適用しない場合の方がより音質の面で効果的であるため、音声符号化器に適用されるスムージングの技術をそのまま音声合成に適用することは好ましくないことが理解される（例えば、非特許文献１参照）。
【０００７】
音声符号化器における歪みはその大部分が量子化エラー等により発生するものであり、前記スムージングの技術においてもこのような量子化エラー等の不具合を最小化させるために用いられる技術である。しかし、音声合成装置においては録音された音声信号そのものを用いるため、音声符号化器には量子化エラーが存在せず、したがってこの場合の歪みは、誤った音声ユニットの選択や音声ユニット間のスペクトルの急激な変動、あるいは音声ユニットの不連続性に起因するものである。すなわち、前記音声符号化器と音声合成装置とは、歪みを引き起こす原因が相異なるために、音声符号化器に適用されるスムージングの技術を音声合成装置に対して同じように適用しても、同様の効果が得られない。
【０００８】
【非特許文献１】
ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ、 ＪＡＮ／２０００ ｐｐ．３９−４０
【０００９】
【発明が解決しようとする課題】
本発明は前記問題点に鑑みてなされたものであり、その第１の目的は、スムージングフィルタの係数を適切に変化させて不連続歪みを減らす音声合成システム及びその方法を提供することにある。
【００１０】
また、本発明の第２の目的は、前記音声合成方法がコンピュータにて実行可能なプログラムコードとして記録された記録媒体を提供することにある。
【００１１】
さらに、本発明の第３の目的は、音声合成システムでスムージングフィルタの係数を制御してその特性を制御するスムージングフィルタ特性制御装置及びその方法を提供することにある。
【００１２】
そして、本発明の第４の目的は、前記スムージングフィルタ特性制御方法がコンピュータにて実行可能なプログラムコードとして記録された記録媒体を提供することにある。
【００１３】
【課題を解決するための手段】
（１）前記第１の目的を達成するために、本発明に係るスムージングフィルタを用いた音声合成システムは、スムージングの技術を用いて合成された音声の音素間の不連続歪みを制御する音声合成システムであって、前記音声合成に用いられる標本音素間の不連続性を所定の学習により予測し、予測された不連続度と、実際の不連続度との割合を求め、その結果に基づいてスムージングフィルタの係数を決定し、前記決定されたフィルタ係数に対応させて前記音声合成された音素簡の境界で発生する不連続性がスムージングされるように制御する不連続歪み処理部を含んで構成される。
【００１４】
（２）また、前記所定の学習は、分類と回帰樹（ＣＡＲＴ）の方式により行うことができる。
【００１５】
（３）また、前記スムージングフィルタを用いた音声合成システムは、合成された音声の音素間の境界で発生する不連続性をフィルタ係数に対応させてスムージングするスムージングフィルタと、前記合成された音声の音素間の境界で発生する実際の不連続度と、前記音声合成に用いられた文脈情報である標本音素を利用して前記所定の学習結果により予測された不連続度とを比較し、この比較の結果を係数選択信号Ｒとして出力するフィルタ特性制御部と、前記スムージングフィルタが前記合成された音声の音素間の不連続歪みを前記のように予測された不連続度に応じてスムージングするように、前記係数選択信号Ｒに応じて前記フィルタ係数αを決定するフィルタ係数決定部とを含んで構成することができる。
【００１６】
（４）さらに、前記所定の学習は、ＣＡＲＴ方式により行うことができる。
（５）そして、前記不連続の予測に用いられる標本音素は、予測しようとする音素境界を中心として、これ以前の２音素及びこれ以後の２音素であるように構成することができる。
【００１７】
（６）また、前記係数選択信号Ｒは、下記式（１）に基づいて求めることができる。
【００１８】
【数７】
前記式（１）中、Ｄpは予測された不連続度を表し、Ｄrは実際の不連続度を表す。
【００２０】
（７）また、前記フィルタ係数決定部は、前記係数選択信号Ｒに応じて下記式（２）に基づき前記フィルタ係数を決定することができる。
【００２１】
【数８】
前記式（２）中、Ｒは係数選択信号を表し、αはフィルタ係数を表す。
【００２３】
（８）また、前記第１の目的を達成するための本発明に係るスムージングフィルタを用いた音声合成方法は、スムージングの技術を用いて合成された音声の音素間の不連続歪みを制御する音声合成方法において、（ａ）前記合成された音声の音素間の境界で発生する実際の不連続度と、前記音声合成に用いられた標本音素を利用して所定の学習結果に基づき予測された不連続度との割合を求め、その結果を係数選択信号Ｒとして出力する段階と、（ｂ）前記スムージングフィルタが前記合成された音声の音素間の不連続歪みを前記予測された不連続度に応じてスムージングするように、前記（ａ）段階で出力された係数選択信号Ｒに応じて前記スムージングフィルタのフィルタ係数を決定する段階と、（ｃ）前記決定されたフィルタ係数に対応させて前記音声合成された音素簡の境界で発生する不連続性をスムージングする段階とを含んで構成される。
【００２４】
（９）そして、前記第２の目的を解決するための本発明に係る記録媒体は、前記スムージングフィルタを用いた音声合成方法がコンピュータで実行することが可能なプログラムコードとして記録された記録媒体として構成される。
【００２５】
（１０）前記第３の目的を達成するための本発明に係るスムージングフィルタ特性制御装置は、合成された音声の音素間の不連続歪みを制御する音声合成システムに用いられるスムージングフィルタの特性を音素境界の特性によって適切に変化させるスムージングフィルタ特性制御装置であって、前記合成された音声信号の音素間の境界で発生する不連続度を実際の不連続度として求める不連続測定部と、実際の発音上で発生する音素間の不連続性の学習結果を記憶し、前記音声信号の合成に用いられる標本音素が入力されると、この入力された前記標本音素間の境界に対する不連続性を学習結果に基づいて予測し、このように予測された不連続度として出力する不連続予測部と、前記実際の不連続度と前記予測された不連続度との割合を求め、その結果を前記スムージングフィルタのフィルタ係数を決定する係数選択信号として出力する比較部とを備えて構成される。
【００２６】
（１１）また、前記不連続予測部における前記学習は、ＣＡＲＴ方式により行うことが可能である。
（１２）また、前記不連続の予測に用いられる標本音素は、予測しようとする音素境界を中心として以前の２音素及び以後の２音素であるように構成することができる。
【００２７】
（１３）さらに、前記実際の不連続度Ｄr及び前記予測された不連続度Ｄpは、下記式（３）に基づき各々求めることができる。
【００２８】
【数９】
前記式（３）中、Ｗpは合成された音声で不連続度を求めようとする音素境界面を基準として、この音素境界面より左側に位置する音素ユニットにおける最後のピッチ周期の音声波形を表し、Ｗnは前記音素境界面より右側に位置する音素ユニットにおける最初のピッチ周期の音声波形を表す。また、Ｗ’pは不連続度を予測しようとする音素境界面を基準として、この音素境界面より左側に位置する音素ユニットにおける最後のピッチ周期の音声波形を表し、Ｗ’nは前記音素境界面より右側に位置する音素ユニットにおける最初のピッチ周期の音声波形を表す。
【００３０】
（１４）さらにまた、前記比較部は、下記式（１）に基づき前記係数選択信号Ｒを求めることができる。
【００３１】
【数１０】
前記式（１）中、Ｄpは予測された不連続度であり、Ｄrは実際の不連続度を表す。
【００３３】
（１５）そして、前記フィルタ係数は、前記係数選択信号Ｒに応じて下記式（２）に基づき決定することができる。
【００３４】
【数１１】
前記式（２）中、Ｒは係数選択信号を表し、αはフィルタ係数を表す。
【００３６】
（１６）前記第３の目的を達成するための本発明に係るスムージングフィルタ特性制御方法は、合成された音声の音素間の不連続歪みを制御する音声合成システムに用いられるスムージングフィルタの特性を音素境界の特性によって適切に変化させるスムージングフィルタ特性制御方法であって、（ａ）標本音素を用いて音素間の不連続予測を学習する段階と、（ｂ）前記合成された音声信号の音素間の境界で発生する不連続度を実際の不連続度として求める段階と、（ｃ）前記音声信号の合成に用いられる標本音素間の境界に対する不連続性を前記学習結果により予測し、このように予測された不連続度を求める段階と、（ｄ）前記実際の不連続度と前記予測された不連続度との割合を係数選択信号として出力し、求められた係数選択信号に基づき前記スムージングフィルタのフィルタ係数を決定する段階とを含んで構成される。
【００３７】
（１７）また、前記（ｄ）段階は、（ｄ１）前記予測された不連続度と前記実際の不連続度との割合Ｒを求める段階と、（ｄ２）下記式（２）に基づき前記フィルタ係数αを決定する段階とを含んで構成することができる。
【００３８】
【数１２】
前記式（２）中、Ｒは係数選択信号を表し、αはフィルタ係数を表す。
【００４０】
（１８）そして、前記第４の目的を達成するための本発明に係る記録媒体は、前記スムージングフィルタ制御方法がコンピュータで実行することが可能なプログラムコードにて記録された記録媒体として構成される。
【００４１】
【発明の実施の形態】
以下、添付した図面に基づいて、本発明に係るスムージングフィルタを利用した音声合成システム及びその方法について詳細に説明する。
図２は、本発明に係るスムージングフィルタを用いた音声合成システムの一実施の形態を模式的に示すブロック図である。図２に示す音声合成システムは、フィルタ特性制御部５０、スムージングフィルタ３０及びフィルタ係数決定部４０を含む不連続歪み処理部を備えて構成されている。
【００４２】
図２に示すように、フィルタ特性制御部５０は、スムージングフィルタ３０のフィルタ係数を制御することにより、スムージングフィルタ３０の特性を制御する。具体的に、フィルタ特性制御部５０は、合成された音声ＩＮの音素間の境界で発生する不連続度と学習された文脈情報に基づき予測された不連続度とを比較し、その比較の結果を係数選択信号Ｒとして前記フィルタ係数決定部４０に出力する。ここで、フィルタ特性制御部５０は、不連続測定部５２、比較部５４及び不連続予測部５６を含んで構成される。
【００４３】
不連続測定部５２は、合成された音声ＩＮの音素間の境界で発生する実際の不連続度を求める。
不連続予測部５６は、合成された音声ＩＮの合成に用いられる標本音素Ｃｏｎを利用して合成される音声の不連続度を予測する。ここで、不連続予測部５６は、分類と回帰樹（ＣＡＲＴ：Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅ）により予測可能であり、ＣＡＲＴは、事前の学習過程を通じて形成される。これについては、図３及び図４を参照しながら詳細に説明する。
【００４４】
比較部５４は、不連続測定部５２からの実際の不連続度と、不連続予測部５６からの予測された不連続度との間の割合を求め、その結果を係数選択信号Ｒとして出力する。
引き続いて、フィルタ係数決定部４０は、係数選択信号Ｒに応じてスムージングフィルタが前記合成された音声ＩＮの音素間で実際の不連続性が予測された不連続度に基づいてスムージングするように、スムージングの度合いを示すフィルタ係数αを決定する。
【００４５】
スムージングフィルタ３０は、フィルタ係数決定部４０で決定されたフィルタ係数に対応させて合成された音声ＩＮの音素間の境界で発生する不連続性をスムージングする。ここで、スムージングフィルタ３０の特性は、下記式（４）のように定義することができる。
【００４６】
【数１３】
前記式（４）中、Ｗ’n及びＷ’pは、各々、スムージングフィルタ３０によりスムージングされた波形を表わし、Ｗpは、不連続度を測定しようとする音素の境界面を基準として、この音素の境界面より左側に位置する音声ユニット（音素ユニット）における最初のピッチ周期の音声波形であり、Ｗnは前記音素の境界面より右側に位置する音声ユニット（音素ユニット）における最後のピッチ周期の音声波形を表す。
【００４８】
前記式（４）より、フィルタ係数が１に近くなるほどスムージングフィルタのスムージングの度合いが弱く、０に近くなるほどスムージングの度合いが強くなるということが理解される。
【００４９】
図３は、図２に示す不連続予測部５６で、ＣＡＲＴ方式により学習結果が形成される不連続予測ツリーを示す図面である。ここでは説明の便宜を図るために、図３では不連続の予測に用いられる変数として、音素が有声音であるか否かを判断するもののみを例示したが、実際により一層正確な予測を行うために、音素そのものに関する情報や、音素の音律構成成分等、種々の音素の特性を考慮することが望ましい。
【００５０】
図４は、図３に示すようなＣＡＲＴの入力される音素境界に隣接した４つの標本音素、及びＣＡＲＴの出力を各々示す図面である。ここでは、不連続の予測に用いられる標本音素の数が、予測しようとする音素境界を中心として隣接した４音素、すなわち、この音素以前の２音素（ｐ、ｐｐ）及びこの音素以後の２音素（ｎ、ｎｎ）となっている。一方、不連続の予測に用いられるＣＡＲＴの性能として相関値及び分散減少率が用いられる。
【００５１】
ここで、前記相関値はＣＡＲＴに関する研究でほとんど標準化した性能尺度であり、０．７５を上回る値が得られたときにこのＣＡＲＴを用いた予測装置に妥当性が与えられると提示される場合がある。例えば、ＣＡＲＴ学習に総３４２、８９９個のデータ及び性能評価のために総８５、６０８個のテストデータ（総４２８、５０７個のデータ）サンプルを用い、不連続の予測時に音素境界を中心として隣接した４音素を用いた場合、相関値としては、学習データに対して０．７５７、テストデータに対して０．７３３の値が得られる。
【００５２】
これら両方の値がともに０．７５近傍で得られる値であり、前記ＣＡＲＴを用いた不連続予測が有用であるということが理解される。一方、隣接音素を２つのみ用いた場合、相関値は学習データの場合に０．６８５、テストデータの場合に０．６８１であり、４音素を用いた場合よりも性能が低下するということが理解される。また、音素境界を中心として６音素を用いた場合には、相関値は学習データの場合に０．７５０、テストデータを用いた場合に０．７２７となっている。その結、前記ＣＡＲＴを用いて不連続性を予測するとき、前記ＣＡＲＴへの入力に用いられる音素の数が４つであるときに最高の性能が得られる。
【００５３】
また、図４（ａ）に示すように、音素境界を中心として４つの標本音素ｐｐ、ｐ、ｎ、ｎｎが図３に示すＣＡＲＴに入力されると、図４（ｂ）に示すように、境界面を基準として、この境界面より左側に位置する音声ユニット（音素ユニット）における最後のピッチ周期の音声波形Ｗp、及び前記境界面より右側に位置する音声ユニット（音素ユニット）における最初のピッチ周期の音声波形Ｗnの不連続予測値が出力される。このようにして、前記ＣＡＲＴから出力される音声波形Ｗp及びＷnを用いて不連続度を下記式（５）に基づいて予測することができる。
【００５４】
【数１４】
前記式（５）中、Ｄpは予測された不連続度を表し、Ｗpは図４（ｂ）に示す境界面を基準として、この境界面より左側に位置する音声ユニット（音素ユニット）における最後のピッチ周期の音声波形を表し、Ｗnは図４（ｂ）に示す境界面より右側に位置する音声ユニット（音素ユニット）における最初のピッチ周期の音声波形を表す。
【００５６】
また、図３に示すように、前記ＣＡＲＴは、階層的な構造を有する質問によって予測値を決定するように設計される。各原案に記述された質問は、ＣＡＲＴの入力値に基づき決定される。そして、それ以上の質問がないターミナルノード６４、７２、６８、７０で予測値は決定される。まず、不連続度を予測しようとする音素境界を中心として直前の音素ｐが有声音であるか否かを判断し（６０）、有声音ではなければ、前記式（５）により不連続度をＡとして予測する（７２）。一方、音素ｐが有声音であれば、音素ｐｐが有声音であるか否かを判断し（６２）、有声音であれば、前記式（５）により不連続度をＢとして予測する。さらに、音素ｐｐが有声音ではなければ、音素ｎが有声音であるか否かによって（６６）不連続度をＣまたはＤとして予測する（６８、７０）。
【００５７】
次に、図２〜図４に基づき、本発明に係る音声合成システムの動作を詳細に説明する。まず、図２を参照すると、フィルタ特性制御部５０は、実際の不連続性を測定する不連続測定部５２を通して合成された音声信号ＩＮの音素間の境界で発生する実際の不連続度Ｄrを求め、不連続予測部５６を通じて合成された音声ＩＮに用いられる標本音素Ｃｏｎを利用して不連続性を予測し、このように予測された不連続度Ｄpを求める。そして、下記式（１）のように、予測された不連続度Ｄpと実際の不連続度Ｄrとの割合Ｒを求め、このように求めた割合を係数選択信号Ｒとして出力する。
【００５８】
【数１５】
前記式（１）中、Ｄpは予測された不連続度を表し、Ｄrは実際の不連続度を表す。
【００６０】
ここで、不連続予測部５６は、前述したように、前記ＣＡＲＴ方式によって実際に人間の音声を通じて発生する文脈情報に基づき音素間の不連続予測が学習されており、音声合成に用いられる標本音素Ｃｏｎが入力されれば、学習された結果に基づく不連続度であるＤpを求める。したがって、このようにして予測された不連続度Ｄpは、実際に人間が発音するときに発生する不連続性を予測した結果であるといえる。
【００６１】
また、フィルタ係数決定部４０は、係数選択信号Ｒに応じて下記式（２）に基づいてフィルタ係数を決定し、このように決定されたフィルタ係数αをスムージングフィルタ３０に出力する。
【００６２】
【数１６】
前記式（２）中、Ｒは係数選択信号を表し、αはフィルタ係数を表す。
【００６４】
前記式（２）を参照すると、Ｒが１より大きければ、すなわち、実際の不連続度Ｄrが予測された不連続度Ｄpよりも小さければ、スムージングフィルタ３０でスムージングが弱く行われるようにフィルタ係数αを小さくする（前記式（４）参照）。予測された不連続度Ｄpが実際の不連続度Ｄrよりも大きいということは、実際の発音上で不連続度が大きいものの、合成された音声では不連続度が低く現れた場合である。
【００６５】
すなわち、実際に発音された音声上の不連続度が大きい場合には、前記スムージングフィルタ３０は、合成された音声ＩＮのスムージングの度合いを弱くすることにより、この合成された音声ＩＮが実際に発音されたとき音声上の不連続度を維持するように制御する。
【００６６】
これに対して、Ｒが１より小さい、すなわち、実際の不連続度Ｄrが予測された不連続度Ｄpよりも大きい場合には、スムージングフィルタ３０で、フィルタ係数を大きくして、スムージングの度合いを強めてスムージングを行うようにする（前記式（４）参照）。
【００６７】
また、予測された不連続度Ｄpが実際の不連続度Ｄrよりも小さい場合は、実際に発音された音声上で不連続度が実際の不連続度Ｄrよりも低く現れるということに対応する。したがって、この場合には、スムージングの度合いを強くして合成された音声ＩＮが、実際に発音された音声上の不連続度を維持するように制御する。
【００６８】
そして、スムージングフィルタ３０は、フィルタ係数決定部４０で決定されたフィルタ係数に基づき合成された音声ＩＮをスムージングする。
以上説明したように、スムージングフィルタ３０は、予測された不連続度Ｄpと実際の不連続度Ｄrとの割合に対応して適切に変化するフィルタ係数により、合成された音声ＩＮの不連続度が予測された不連続度Ｄpに追従するように合成された音声ＩＮをスムージングする。すなわち、合成された音声ＩＮの不連続性が実際の発音上で発生する不連続に追従するようにスムージングされるので、合成された音声ＩＮが実際の音声に一層近くなる。
【００６９】
本発明はまた、コンピュータで読取り可能な記録媒体に、コンピュータで読取り可能なコードを記録した記録媒体として具現することが可能である。コンピュータで読取り可能な記録媒体としては、コンピュータシステムに読み込むことが可能なデータが記憶され得るあらゆる種類の記録装置を含む。コンピュータで読取り可能な記録媒体の例としては、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｍｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｋ−ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、磁気テープ、フレキシブルディスク、光データ記憶装置などが挙げられ、さらに、キャリアウェーブ（例えば、インタネットを介して伝送）の形で具現されるものも含む。また、コンピュータで読取り可能な記録媒体としては、ネットワークで結ばれたコンピュータシステムに分散され、分散方式によりコンピュータで読取り可能なコードが記録されて実行することができる。
【００７０】
以上、添付した図面及び明細書において、本発明を、本発明に係る最適な実施形態を例として特定の用語を用いて説明したが、これらの用語は単に本発明を具体的に説明するために用いられたものであって、特定の構成物に限定する、あるいは本発明の技術範囲を特定の範囲に制限するために用いられたものではない。よって、当該技術分野に属する当業者であれば、これらの記載事項に基づいて種々の変形、及び均等な他の実施形態を具現することが可能な点は容易に理解されるであろう。よって、本発明の真の技術的な保護範囲は、特許請求の範囲に記載された技術的思想によって定められるべきである。
【００７１】
【発明の効果】
以上、説明した通りに構成される本発明によれば以下の効果を奏する。
すなわち、本発明に係るスムージングフィルタを用いた音声合成システム及びその方法によれば、スムージングフィルタ３０は予測された不連続度Ｄp及び実際の不連続度Ｄrの割合に対応して適切に変化するフィルタ係数により、合成された音声ＩＮの不連続度が予測された不連続度Ｄpに追従するように合成された音声ＩＮをスムージングする。すなわち、合成された音声ＩＮの不連続性が実際の発音上で発生する不連続に追従するようにスムージングされるので、合成された音声ＩＮが実際の音声に一層近くなる。
【図面の簡単な説明】
【図１】音声符号化器に適用される各種のスムージング方法をそのまま音声合成に適用した場合の自然性及び明瞭性の面における歪みに対する結果を示す図面である。
【図２】本発明に係るスムージングフィルタを用いた音声合成システムの一実施の形態を概略的に示すブロック図である。
【図３】図２に示す不連続予測部でＣＡＲＴ方式により学習結果が形成される不連続予測ツリーを示す図面である。
【図４】図３に示すＣＡＲＴ入力となる２音素間の境界を中心に互いに隣接した４つの標本音素及び前記ＣＡＲＴ入力の１境界部分に対するＣＡＲＴの出力を各々示す図面である。
【符号の説明】
３０ スムージングフィルタ
４０ フィルタ係数決定部
５０ フィルタ特性制御部
５２ 不連続測定部
５４ 比較部
５６ 不連続予測部
Claims (18)
- スムージングの技術を用いて合成された音声の音素間の不連続歪みを制御する音声合成システムであって、
前記音声合成に用いられる標本音素間の不連続性を所定の学習により予測し、予測された不連続度と、実際の不連続度との割合を求め、その結果に基づいてスムージングフィルタの係数を決定し、前記決定されたフィルタ係数に対応させて前記音声合成された音素簡の境界で発生する不連続性がスムージングされるように制御する不連続歪み処理部を含むことを特徴とするスムージングフィルタを用いた音声合成システム。 - 前記所定の学習は、分類と回帰樹（ＣＡＲＴ）の方式により行われることを特徴とする請求項１に記載のスムージングフィルタを用いた音声合成システム。
- 合成された音声の音素間の境界で発生する不連続性をフィルタ係数に対応させてスムージングするスムージングフィルタと、
前記合成された音声の音素間の境界で発生する実際の不連続度と、前記音声合成に用いられた文脈情報である標本音素を利用して前記所定の学習結果により予測された不連続度との割合を求め、その結果を係数選択信号Ｒとして出力するフィルタ特性制御部と、
前記スムージングフィルタが前記合成された音声の音素間の不連続歪みを前記のように予測された不連続度に応じてスムージングするように、前記係数選択信号Ｒに応じて前記フィルタ係数αを決定するフィルタ係数決定部と、を含むことを特徴とするスムージングフィルタを用いた音声合成システム。 - 前記所定の学習は、ＣＡＲＴ方式により行われることを特徴とする請求項３に記載のスムージングフィルタを用いた音声合成システム。
- 前記不連続の予測に用いられる標本音素は、予測しようとする音素境界を中心として、これ以前の２音素及びこれ以後の２音素であることを特徴とする請求項４に記載のスムージングフィルタを用いた音声合成システム。
- 前記係数選択信号Ｒは、下記式（１）に基づき求められることを特徴とする請求項３に記載のスムージングフィルタを用いた音声合成システム。
- 前記フィルタ係数決定部は、前記係数選択信号Ｒに応じて下記式（２）に基づき前記フィルタ係数を決定することを特徴とする請求項３に記載のスムージングフィルタを用いた音声合成システム。
- スムージングの技術を用いて合成された音声の音素間の不連続歪みを制御する音声合成方法であって、
（ａ）前記合成された音声の音素間の境界で発生する実際の不連続度と、前記音声合成に用いられた標本音素を利用して所定の学習結果に基づき予測された不連続度との割合を求め、その結果を係数選択信号Ｒとして出力する段階と、
（ｂ）前記スムージングフィルタが前記合成された音声の音素間の不連続歪みを前記予測された不連続度に応じてスムージングするように、前記（ａ）段階で出力された係数選択信号Ｒに応じて前記スムージングフィルタのフィルタ係数を決定する段階と、
（ｃ）前記決定されたフィルタ係数に対応させて前記音声合成された音素簡の境界で発生する不連続性をスムージングする段階と、を含むことを特徴とするスムージングフィルタを用いた音声合成方法。 - 請求項８に記載のスムージングフィルタを用いた音声合成方法がコンピュータで実行することが可能なプログラムコードとして記録された記録媒体。
- 合成された音声の音素間の不連続歪みを制御する音声合成システムに用いられるスムージングフィルタの特性を音素境界の特性によって適切に変化させるスムージングフィルタ特性制御装置であって、
前記合成された音声信号の音素間の境界で発生する不連続度を実際の不連続度として求める不連続測定部と、
実際の発音上で発生する音素間の不連続性の学習結果を記憶し、前記音声信号の合成に用いられる標本音素が入力されると、この入力された前記標本音素間の境界に対する不連続性を学習結果に基づいて予測し、このように予測された不連続度として出力する不連続予測部と、
前記実際の不連続度と前記予測された不連続度との割合を求め、その結果を前記スムージングフィルタのフィルタ係数を決定する係数選択信号として出力する比較部と、を備えることを特徴とするスムージングフィルタ特性制御装置。 - 前記不連続予測部における前記学習は、ＣＡＲＴ方式により行われることを特徴とする請求項１０に記載のスムージングフィルタ特性制御装置。
- 前記不連続の予測に用いられる標本音素は、予測しようとする音素境界を中心として以前の２音素及び以後の２音素であることを特徴とする請求項１１に記載のスムージングフィルタ特性制御装置。
- 前記実際の不連続度Ｄr及び前記予測された不連続度Ｄpは、下記式（３）に基づき各々求められることを特徴とする請求項１２に記載のスムージングフィルタ特性制御装置。
- 前記比較部は、下記式（１）に基づき前記係数選択信号Ｒを求めることを特徴とする請求項１０に記載のスムージングフィルタ特性制御装置。
- 前記フィルタ係数は、前記係数選択信号Ｒに応じて下記式（２）に基づき決定されることを特徴とする請求項１０に記載のスムージングフィルタ特性制御装置。
- 合成された音声の音素間の不連続歪みを制御する音声合成システムに用いられるスムージングフィルタの特性を音素境界の特性によって適切に変化させるスムージングフィルタ特性制御方法であって、
（ａ）標本音素を用いて音素間の不連続予測を学習する段階と、
（ｂ）前記合成された音声信号の音素間の境界で発生する不連続度を実際の不連続度として求める段階と、
（ｃ）前記音声信号の合成に用いられる標本音素間の境界に対する不連続性を前記学習結果により予測し、このように予測された不連続度を求める段階と、
（ｄ）前記実際の不連続度と前記予測された不連続度との割合を係数選択信号として出力し、求められた係数選択信号に基づき前記スムージングフィルタのフィルタ係数を決定する段階と、を含むことを特徴とするスムージングフィルタ特性制御方法。 - 前記（ｄ）段階は、
（ｄ１）前記予測された不連続度と前記実際の不連続度との割合Ｒを求める段階と、（ｄ２）下記式（２）に基づき前記フィルタ係数αを決定する段階と、を含むことを特徴とする請求項１６に記載のスムージングフィルタ特性制御方法。
- 請求項１６に記載のスムージングフィルタ制御方法がコンピュータで実行することが可能なプログラムコードにて記録された記録媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0067623A KR100438826B1 (ko) | 2001-10-31 | 2001-10-31 | 스무딩 필터를 이용한 음성 합성 시스템 및 그 방법 |
| KR2001-67623 | 2001-10-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003150187A JP2003150187A (ja) | 2003-05-23 |
| JP4202090B2 true JP4202090B2 (ja) | 2008-12-24 |
Family
ID=19715573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002317332A Expired - Fee Related JP4202090B2 (ja) | 2001-10-31 | 2002-10-31 | スムージングフィルタを用いた音声合成システム及びその方法並びにスムージングフィルタ特性制御装置及びその方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7277856B2 (ja) |
| EP (1) | EP1308928B1 (ja) |
| JP (1) | JP4202090B2 (ja) |
| KR (1) | KR100438826B1 (ja) |
| DE (1) | DE60228381D1 (ja) |
Families Citing this family (122)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| US7643990B1 (en) * | 2003-10-23 | 2010-01-05 | Apple Inc. | Global boundary-centric feature extraction and associated discontinuity metrics |
| US7409347B1 (en) * | 2003-10-23 | 2008-08-05 | Apple Inc. | Data-driven global boundary optimization |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| WO2010008722A1 (en) | 2008-06-23 | 2010-01-21 | John Nicholas Gross | Captcha system optimized for distinguishing between humans and machines |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| KR20110006004A (ko) * | 2009-07-13 | 2011-01-20 | 삼성전자주식회사 | 결합인식단위 최적화 장치 및 그 방법 |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| DE202011111062U1 (de) | 2010-01-25 | 2019-02-19 | Newvaluexchange Ltd. | Vorrichtung und System für eine Digitalkonversationsmanagementplattform |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| KR20240132105A (ko) | 2013-02-07 | 2024-09-02 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| AU2014233517B2 (en) | 2013-03-15 | 2017-05-25 | Apple Inc. | Training an at least partial voice command system |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| KR101772152B1 (ko) | 2013-06-09 | 2017-08-28 | 애플 인크. | 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| EP3008964B1 (en) | 2013-06-13 | 2019-09-25 | Apple Inc. | System and method for emergency calls initiated by voice command |
| DE112014003653B4 (de) | 2013-08-06 | 2024-04-18 | Apple Inc. | Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| CN110797019B (zh) | 2014-05-30 | 2023-08-29 | 苹果公司 | 多命令单一话语输入方法 |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US9715873B2 (en) | 2014-08-26 | 2017-07-25 | Clearone, Inc. | Method for adding realism to synthetic speech |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179588B1 (en) | 2016-06-09 | 2019-02-22 | Apple Inc. | INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
| DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| EP3625791A4 (en) | 2017-05-18 | 2021-03-03 | Telepathy Labs, Inc. | TEXT-SPEECH SYSTEM AND PROCESS BASED ON ARTIFICIAL INTELLIGENCE |
| KR102072627B1 (ko) * | 2017-10-31 | 2020-02-03 | 에스케이텔레콤 주식회사 | 음성 합성 장치 및 상기 음성 합성 장치에서의 음성 합성 방법 |
| SG11202009556XA (en) * | 2018-03-28 | 2020-10-29 | Telepathy Labs Inc | Text-to-speech synthesis system and method |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5636325A (en) * | 1992-11-13 | 1997-06-03 | International Business Machines Corporation | Speech synthesis and analysis of dialects |
| US6366883B1 (en) * | 1996-05-15 | 2002-04-02 | Atr Interpreting Telecommunications | Concatenation of speech segments by use of a speech synthesizer |
| US6175821B1 (en) * | 1997-07-31 | 2001-01-16 | British Telecommunications Public Limited Company | Generation of voice messages |
| US6304846B1 (en) * | 1997-10-22 | 2001-10-16 | Texas Instruments Incorporated | Singing voice synthesis |
| US6078885A (en) * | 1998-05-08 | 2000-06-20 | At&T Corp | Verbal, fully automatic dictionary updates by end-users of speech synthesis and recognition systems |
| AU772874B2 (en) * | 1998-11-13 | 2004-05-13 | Scansoft, Inc. | Speech synthesis using concatenation of speech waveforms |
| US6978239B2 (en) * | 2000-12-04 | 2005-12-20 | Microsoft Corporation | Method and apparatus for speech synthesis without prosody modification |
-
2001
- 2001-10-31 KR KR10-2001-0067623A patent/KR100438826B1/ko not_active IP Right Cessation
-
2002
- 2002-10-28 EP EP02257456A patent/EP1308928B1/en not_active Expired - Lifetime
- 2002-10-28 DE DE60228381T patent/DE60228381D1/de not_active Expired - Fee Related
- 2002-10-31 JP JP2002317332A patent/JP4202090B2/ja not_active Expired - Fee Related
- 2002-10-31 US US10/284,189 patent/US7277856B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP1308928B1 (en) | 2008-08-20 |
| KR20030035522A (ko) | 2003-05-09 |
| EP1308928A2 (en) | 2003-05-07 |
| DE60228381D1 (de) | 2008-10-02 |
| KR100438826B1 (ko) | 2004-07-05 |
| JP2003150187A (ja) | 2003-05-23 |
| US20030083878A1 (en) | 2003-05-01 |
| EP1308928A3 (en) | 2005-03-09 |
| US7277856B2 (en) | 2007-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4202090B2 (ja) | スムージングフィルタを用いた音声合成システム及びその方法並びにスムージングフィルタ特性制御装置及びその方法 | |
| EP1252621B1 (en) | System and method for modifying speech signals | |
| US20090144053A1 (en) | Speech processing apparatus and speech synthesis apparatus | |
| EP0764937A2 (en) | Method for speech detection in a high-noise environment | |
| US20020032563A1 (en) | Method and system for synthesizing voices | |
| EP1995723A1 (en) | Neuroevolution training system | |
| JP2007249212A (ja) | テキスト音声合成のための方法、コンピュータプログラム及びプロセッサ | |
| JP2000511651A (ja) | 記録されたオーディオ信号の非均一的時間スケール変更 | |
| US9607610B2 (en) | Devices and methods for noise modulation in a universal vocoder synthesizer | |
| US20100217584A1 (en) | Speech analysis device, speech analysis and synthesis device, correction rule information generation device, speech analysis system, speech analysis method, correction rule information generation method, and program | |
| US8942977B2 (en) | System and method for speech recognition using pitch-synchronous spectral parameters | |
| JP2012503212A (ja) | オーディオ信号分析方法 | |
| US5999900A (en) | Reduced redundancy test signal similar to natural speech for supporting data manipulation functions in testing telecommunications equipment | |
| US5890104A (en) | Method and apparatus for testing telecommunications equipment using a reduced redundancy test signal | |
| US6219636B1 (en) | Audio pitch coding method, apparatus, and program storage device calculating voicing and pitch of subframes of a frame | |
| Mokhtari et al. | Automatic measurement of pressed/breathy phonation at acoustic centres of reliability in continuous speech | |
| US20050171777A1 (en) | Generation of synthetic speech | |
| Maddela et al. | Durational and Formantshift characteristics of Telugu alveolar and bilabial nasal phonemes | |
| JP4489371B2 (ja) | 合成音声を最適化する方法、音声合成フィルタを生成する方法、音声最適化方法及び音声最適化装置 | |
| EP0713208B1 (en) | Pitch lag estimation system | |
| Csapó et al. | Automatic transformation of irregular to regular voice by residual analysis and synthesis. | |
| JP3576792B2 (ja) | 音声情報処理方法 | |
| Agiomyrgiannakis et al. | Towards flexible speech coding for speech synthesis: an LF+ modulated noise vocoder. | |
| EP0440335A2 (en) | Encoding speech | |
| JP2005331588A (ja) | 音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050209 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061107 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070403 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070618 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080916 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081008 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131017 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |