JP4223783B2 - 音声合成装置、音声合成方法、音声合成プログラム、および、プログラム記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、自然なピッチパターンで高音質の音声を出力することができる音声合成装置,音声合成方法,音声合成プログラムおよびプログラム記録媒体に関する。
【０００２】
【従来の技術】
音声合成時には、音声を構成する音声素片を指定されたピッチパターンに従って接続することによって、定められたピッチパターンで合成音声が作成される。通常、上記音声素片は上記ピッチパターンに従うように信号処理によって変形されて接続されるのであるが、上記音声素片のピッチを大きく変形すると音質の劣化が大きくなって合成音声全体に音質の劣化が生ずることになる。
【０００３】
この音質劣化に対応するために、モデル等によって作成された音声素片の基本のピッチパターンに対してピッチパターンが不自然にならない程度の変形可能範囲を設ける。そして、その範囲内で基本ピッチパターンの変形を行うことによって、音声素片の変形率を小さくして音質劣化を軽減する音声素片データベース作成方法がある(例えば、特許文献１参照)。
【０００４】
図６に、上記音声素片データベース作成方法が適用された従来のテキスト音声合成装置の一例を示す。言語処理部１は、入力されたテキストデータから読みの情報,品詞の情報,係り受け情報等の言語関連情報を抽出する。韻律作成部２は、言語処理部１によって与えられた各種の情報から、予め設定されている規則に基づいて基本の韻律情報を作成する。素片選択部３は、得られた上記言語情報や韻律情報に基づいて、所持している音声素片から最適な音声素片を選択する。韻律変形部４は、上述のごとく得られた上記韻律情報の一部であるピッチパターンに対して、予め設定されたピッチパターンが不自然にならないピッチパターン変形可能範囲内において、上記得られた音声素片の基本周波数を変形させて、上記音声素片の変形量が少なくてすむピッチパターンに変形する。こうして、音質劣化を軽減するようにしている。
【０００５】
上記韻律変形部４による処理を、図７に従って説明する。基本のピッチパターン１１は規則等によって作成される。そして、この基本のピッチパターン１１に対して、ピッチパターンが不自然にならない変形可能範囲(図７中の範囲(Ａ))を設定し、選択された音声素片のピッチ(以下、単に音声素片と言う)１２〜１５に対する変形量が小さくなるように基本のピッチパターン１１を変形可能範囲(Ａ)内で変形することによって、変形ピッチパターン１６を決定するのである。
【０００６】
以後、音声合成部５は、上述のようにして韻律変形部４で決定された変形ピッチパターン１６に基づいて、上記選択された音声素片を変形して接続することによって、合成音声音を作成するのである。
【０００７】
【特許文献１】
特開２０００-１９４３９０号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来の特許文献１に開示された音声素片データベース作成方法においては、以下のような問題がある。すなわち、
(１）ピッチパターン制御を実現する方法が具体的に示されてはいない。上記音声素片データベース作成方法では、ピッチパターンは「自然性を保ったまま」、「接続部では同じピッチになるように」、「素片の変形量を小さくなるように」変形することを条件としている。しかしながら、これらの条件は曖昧ものであり、実際のピッチパターン変形方法については具体的に述べられてはいない。また、上記条件を満たすように、手作業で最適にピッチパターンの変形を行ったとしても、次の(２),(３)に示すような問題が発生する。
【０００９】
(２）一つの合成単位に対して複数の候補が存在する場合には、最適な音声素片が選ばれず、音質を悪くする可能性がある。例えば、図８に示すように、基本のピッチパターン１１に対して音声素片を選択する場合、時点Ｔ2〜Ｔ3間の音声素片として音声素片１４が選択される。ところが、不自然なピッチパターンにならないことを考慮した上で、基本のピッチパターン１１を変形ピッチパターン１６に変形した場合には、実際に存在する変形ピッチパターン１６に対して変形量が小さい音声素片は音声素片１７であるにも拘わらず、上記選択された音声素片１４を変形して合成音声が作成してしまう。したがって、合成音の一部に大きな音質劣化を及ぼすことになってしまう。
【００１０】
(３）ピッチパターンが不自然にならない変形可能範囲(Ａ)を設定することが困難である。例えば、図９に示すように、選択された音声素片１２〜１５が基本のピッチパターン１１の上下に存在するような場合には、各音声素片の変形量が小さくなるように基本のピッチパターン１１を変形すると、ピッチパターン１８で示すように、変形可能範囲(Ａ)の上部と下部とに配置されるような不自然な変形ピッチパターンが得られてしまう。
【００１１】
したがって、上記基本のピッチパターン１１の上下に音声素片が存在する場合等は、自然性の劣化を回避するためには、ピッチパターンの変形可能範囲(Ａ)を小さく設定する必要がある。一方、音声素片が全て基本のピッチパターン１１の上部または下部に存在する場合等は、ピッチパターンの変形可能範囲(Ａ)を大きくしてもピッチパターンの自然性を保ったまま音質の改善を行うことができる。したがって、一意に変形可能範囲(Ａ)を設定することができないのである。
【００１２】
以上のように、上記従来の方法においては、上記ピッチパターンの最適な変形可能範囲(Ａ)を設定することが困難なのである。
【００１３】
そこで、この発明の目的は、自然なピッチパターンで高音質の音声を出力することができる音声合成装置,音声合成方法,音声合成プログラムおよびプログラム記録媒体を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成するため、この発明の音声合成装置は、言語情報および韻律情報が入力されると共に、上記韻律情報に従って音声素片を変形・接続して合成音声を生成する音声合成手段を含んでおり、上記韻律情報の１つである基本ピッチパターンをその概形を保持したまま周波数方向に平行移動させながら、移動後の変形ピッチパターンおよび上記言語情報に適合する音声素片列を選択し、上記選択された音声素片列のうち最も適合する音声素片列に係る変形ピッチパターンと上記最も適合した音声素片列とを、上記合成音声時に用いる韻律情報および音声素片として上記音声合成手段に送出する素片・韻律制御手段を備えている。
【００１５】
上記構成によれば、素片・韻律制御手段によって、基本ピッチパターンをその概形を保持したまま周波数方向に平行移動させながら、適合する音声素片列が選択される。そして、音声合成手段によって、上記最も適合する音声素片列に係る変形ピッチパターンに従って、上記最も適合する音声素片列が変形・接続されて合成音声が生成される。
【００１６】
こうして、最適変形ピッチパターンに対して変形量が最も小さい音声素片列が選択されるため、合成単位での大きな音質劣化が無い合成音声が生成される。さらに、上記基本ピッチパターンは、ピッチパターンの変形可能範囲に捕われることなく、その概形を保ったままで周波数変形される。したがって、自然なピッチパターンで合成音声が生成される。
【００１７】
また、１実施例の音声合成装置では、上記素片・韻律制御手段による上記基本ピッチパターンの平行移動を、選択の対象となる音声素片が存在する周波数帯域の全域に対して行うようにしている。
【００１８】
この実施例によれば、選択の対象となる音声素片が存在する周波数帯域の全域に対して、上記適合する音声素片の選択が行われる。したがって、選択の対象となる音声素片の総ての中から、上記基本ピッチパターンの概形に最も近いピッチ概形を有する音声素片列が選出される。こうして、聞き取り易く音質のよい合成音声が作成される。
【００１９】
また、１実施例の音声合成装置では、上記素片・韻律制御手段を、上記変形ピッチパターンに適合する音声素片を選択する際における上記適合の判定基準として、各合成単位毎に求められる上記変形ピッチパターンに対する音声素片のピッチの変形量を用い、上記最も適合した音声素片列の判定基準として、上記変形ピッチパターンの全合成単位に関する上記変形量の総和を用いるようにしている。
【００２０】
この実施例によれば、上記変形ピッチパターンに適合する音声素片の選択や、最も適合する音声素片列に係る変形ピッチパターンの抽出が、上記変形ピッチパターンに対する音声素片のピッチの変形量に基づいて容易に行われる。
【００２１】
また、１実施例の音声合成装置では、上記素片・韻律制御手段を、上記変形ピッチパターンに適合する音声素片を選択する際における上記適合の判定基準として、各合成単位毎に求められる上記変形ピッチパターンに対する音声素片のピッチの変形量を用い、上記最も適合した音声素片列の判定基準としては、上記変形ピッチパターンの全合成単位に関する上記変形量の最大値を用いるようにしている。
【００２２】
この実施例によれば、上記最も適合する音声素片列に係る変形ピッチパターンの抽出が、上記変形ピッチパターンの全合成単位に関する上記変形量の最大値に基づいて行われる。したがって、上記最大値が最小を呈する場合の音声素片列およびそれに係る変形ピッチパターンを音声合成用に用いることによって、選択の対象となる音声素片の数が十分でない場合であっても、急激な音質劣化のない比較的聞き取り易い合成音声が作成される。
【００２３】
また、１実施例の音声合成装置では、上記素片・韻律制御手段を、上記基本ピッチパターンまたは変形ピッチパターンにおける各合成単位毎の評価値に基づく音声素片の選択と、この選択された全音声素片に関する上記評価値に基づく上記基本ピッチパターンまたは変形ピッチパターンの周波数方向への平行移動とを、選択すべき音声素片が無くなるまで繰り返して行い、最終的に得られた変形ピッチパターンと最終的に選択された全音声素片とを上記音声合成手段に送出するようになっている。
【００２４】
この実施例によれば、上記基本ピッチパターンまたは変形ピッチパターンは、各合成単位毎の評価値に基づいて選択された全音声素片の上記評価値に基づいて周波数方向へ平行移動される。したがって、最終的に得られる変形ピッチパターンは、基本ピッチパターンに対して大きな周波数変形が行われてはいない。したがって、上記最終的に得られた変形ピッチパターンを用いて音声合成が行われることによって、合成音声作成者の意図した基本ピッチに近い合成音声が生成される。
【００２５】
また、１実施例の音声合成装置では、上記素片・韻律制御手段を、上記音声素片を選択する際の評価値として、上記変形ピッチパターンに対する音声素片のピッチの変形量を用いると共に、上記基本ピッチパターンまたは変形ピッチパターンの周波数方向への平行移動を、上記選択された全音声素片に関する変形量の総和が最小となる位置まで行うようにしている。
【００２６】
この実施例によれば、各合成単位毎の音声素片の選択や、選択された全音声素片に関する上記基本ピッチパターンまたは変形ピッチパターンの周波数方向への平行移動が、上記変形ピッチパターンに対する音声素片のピッチの変形量に基づいて容易に行われる。
【００２７】
また、１実施例の音声合成装置では、上記素片・韻律制御手段を、上記音声素片を選択する際の評価値として、上記変形ピッチパターンに対する音声素片のピッチの変形量を用いると共に、上記基本ピッチパターンまたは変形ピッチパターンの周波数方向への平行移動を、上記選択された全音声素片に関する変形量の最大値が最小となる位置まで行うようにしている。
【００２８】
この実施例によれば、選択された全音声素片に関する上記基本ピッチパターンまたは変形ピッチパターンの周波数方向への平行移動が、上記選択された全音声素片に関する上記変形量の最大値が最小となる位置まで行われる。したがって、選択の対象となる音声素片の数が十分でない場合であっても、急激な音質劣化のない比較的聞き取り易い合成音声が作成される。
【００２９】
また、１実施例の音声合成装置では、少なくとも音質を重視した音声合成と韻律を重視した音声合成との何れかを切り換え選択する選択手段を備えると共に、上記素片・韻律制御手段を、選択の対象となる音声素片が存在する全周波数領域に亙って上記基本ピッチパターンを平行移動させて上記音声素片の選択を行う第１制御部と、上記基本ピッチパターン近傍の周波数領域内で上記基本ピッチパターンを平行移動させて上記音声素片の選択を行う第２制御部とを有して、上記選択手段によって音質を重視した音声合成が選択された場合には上記第１制御部による処理を行う一方、上記選択手段によって韻律を重視した音声合成が選択された場合には上記第２制御部による処理を行うようにしている。
【００３０】
この実施例によれば、選択手段によって音質を重視した音声合成が選択されると、上記素片・韻律制御手段によって第１制御部による処理が行われる。一方、韻律を重視した音声合成が選択されると、第２制御部による処理が行われる。こうして、上記音質を重視した音声合成と韻律を重視した音声合成とが、１つの音声合成装置によって実行される。
【００３１】
また、この発明の音声合成方法は、入力された言語情報および韻律情報に基づいて、合成音声を生成する音声合成方法であって、上記韻律情報の１つである基本ピッチパターンを,その概形を保持したままの状態で周波数方向に平行移動させながら,移動後の変形ピッチパターンおよび上記言語情報に適合する音声素片列を選択する韻律変形・素片選択ステップと、上記選択された音声素片列のうちの最も適合する音声素片列に係る変形ピッチパターンを含む韻律情報に従って、上記最も適合した音声素片列を変形・接続して合成音声を生成する音声合成ステップを備えている。
【００３２】
上記構成によれば、最も適合する音声素片列に係る最適変形ピッチパターンに対して変形量が最も小さい音声素片列が選択されるため、合成単位での大きな音質劣化が無い合成音声が生成される。さらに、上記基本ピッチパターンは、ピッチパターンの変形可能範囲に捕われることなく、その概形を保ったままで周波数変形される。したがって、自然なピッチパターンで合成音声が生成される。
【００３３】
また、この発明の音声合成プログラムは、コンピュータを、上記音声合成装置における素片・韻律制御手段および音声合成手段として機能させる。
【００３４】
また、この発明のプログラム記録媒体は、上記音声合成プログラムが記録されている。
【００３５】
上記各構成によれば、上記音声合成プログラムが記録されたプログラム記録媒体がコンピュータに装着されて実行されることによって、最も適合する音声素片列に係る最適変形ピッチパターンに対して変形量が最も小さい音声素片列が選択されるために、合成単位での大きな音質劣化が無い合成音声が生成される。さらに、上記基本ピッチパターンは、ピッチパターンの変形可能範囲に捕われることなく、その概形を保ったままで周波数変形される。したがって、自然なピッチパターンで合成音声が生成される。
【００３６】
【発明の実施の形態】
以下、この発明を図示の実施の形態により詳細に説明する。
【００３７】
・第１実施の形態
図１は、本実施の形態の音声合成装置としてのテキスト音声合成装置におけるブロック図である。本テキスト音声合成装置においては、音声素片の情報を考慮しつつ基本のピッチパターンを平行移動することによって、様々な状況において基本のピッチパターンのパターン形状を保ったまま音声素片の変形量を調整し、最適な音声素片およびピッチパターンを選択するのである。
【００３８】
図１において、テキスト情報は言語処理部２１に入力され、言語処理部２１によって、入力されたテキストデータから読みの情報,品詞の情報,係り受け情報等の言語関連情報が抽出される。韻律作成部２２は、言語処理部２１によって与えられた各種の情報から、予め設定されている規則に基づいて基本の韻律情報を作成する。素片・韻律制御部２３は、韻律作成部２２によって作成された韻律情報を用いて、音声素片の選択と韻律の変形とを選択の対象となる総ての音声素片に関して行う。音声合成部２４は、素片・韻律制御部２３によって得られた最適な音声素片を用いて最適な韻律に基づいて合成音声を作成して出力するのである。
【００３９】
以下、上記素片・韻律制御部２３によって実行される音声素片の選択と韻律の変形とについて、図２に従って説明する。図２中における時点Ｔ0,…,時点Ｔ4は合成単位の切れ目であり、各音声素片の接続位置でもある。また、２５は、韻律作成部２２によって作成された基本の韻律情報の１つである基本ピッチパターンである。
【００４０】
上記素片・韻律制御部２３は、この基本ピッチパターン２５の概形を保持したまま、周波数方向に対して音声素片が存在する全領域をサーチして評価値の計算を行う。本実施の形態においては、選択の対象となる音声素片(つまり、上記言語関連情報に適合する音声素片)が存在する最高周波数から最低周波数まで、定められた周波数毎に基本ピッチパターン２５の全体を平行移動させる。そして、各周波数毎に、各合成単位での最適な音声素片を評価値に基づいて選択し、その周波数における総評価値を求めて記憶しておく。そして、最終的には、最も総評価値の良い周波数でのピッチパターンを合成時に用いる変形ピッチパターンであるとして音声合成を行うのである。
【００４１】
図２において、全周波数領域において、基本ピッチパターン２５を、その概形を保った状態で所定周波数だけ周波数方向に平行に変形した際に、ピッチパターン２６になったとする。その場合、時点Ｔ0〜時点Ｔ1の合成単位では、音声素片のピッチ(以下、単に音声素片と言う)２７,２８のうち最適な音声素片２８を評価値に基づいて選択する。同様に、時点Ｔ1〜時点Ｔ2の合成単位では最適な音声素片２９を選択し、時点Ｔ2〜時点Ｔ3の合成単位では最適な音声素片３０を選択し、時点Ｔ3〜時点Ｔ4の合成単位では最適な音声素片３１を選択する。そして、選択された全音声素片の評価値に基づいて、変形ピッチパターン２６の総評価値を算出して記憶しておく。尚、音声素片３２,３３,３４,３５は、選択されなかった音声素片である。
【００４２】
以後、上記所定周波数だけ基本ピッチパターン２５を周波数方向に平行に変形する毎に総評価値を算出して記憶し、最も良い総評価値を呈する変形ピッチパターンを求める。その結果、例えば平均周波数Ｂにおける変形ピッチパターン２６の総評価値が最良である場合には、音声合成用のピッチパターンとして変形ピッチパターン２６を選択するのである。
【００４３】
尚、その場合における上記総評価値の算出方法としては、例えば、各合成単位において各音声素片の変形ピッチパターンまでの変形量(周波数移動量)を評価値として最適な音声素片を選択し、この選択された音声素片の変形量を当該合成単位の評価値とする。そして、全合成単位の評価値の合計を以って総評価値とするのである。あるいは、上述のようにして求めた全合成単位の評価値のうちの最大値を以って総評価値としても差し支えない。
【００４４】
上記音声素片の数が豊富に揃っている場合等は、前者の方法を用いて音声合成時に用いるピッチパターンを得ることで、高音質の合成音声を作成することができる。一方、音声素片の数が十分でない場合には、前者の方法では変形量が大きく音質の悪い部分が突然生ずる可能性もある。そのような場合には、後者の方法を用いることによって、急激な音質劣化のない、比較的聞き取り易い合成音声を作成することができるのである。尚、各合成単位での評価値の算出方法は上述の方法に限定されるものではなく、状況に応じて設定すればよい。
【００４５】
上記音声合成部２４は、以上の様にして得られた最適な変形ピッチパターン２６と、変形ピッチパターン２６を得る際に選択された音声素片２８,２９,３０,３１とを用いて、合成音声を作成するのである。
【００４６】
尚、本実施の形態におけるテキスト音声合成装置による基本的な音声合成処理動作のフローチャートを図３に示す。
【００４７】
以上のごとく、本実施の形態においては、基本の韻律情報を作成する韻律作成部２２と合成音声を作成する音声合成部２４との間に、素片・韻律制御部２３を設ける。そして、この素片・韻律制御部２３によって、韻律作成部２２で作成された基本のピッチパターン２５の概形を保持したまま所定周波数毎に周波数軸方向に平行移動させ、合成単位毎に音声素片をサーチして評価値を計算し、変形ピッチパターン全体の総評価値を求める。そして、最良の総評価値を呈する変形ピッチパターンを音声合成の際に用いるピッチパターンとし、当該総評価値の基となる評価値算出時に用いた選択音声素片を音声合成の際に用いる音声素片とするようにしている。
【００４８】
したがって、上記最良の総評価値を呈する最適変形ピッチパターンに対して変形量が小さい音声素片を選択することができ、各合成単位において大きな音質劣化が無い合成音声を生成することができる。
【００４９】
さらに、本実施の形態においては、ピッチパターンの変形可能範囲を設定する必要が無いので、変形可能範囲に捕われることなく最適に変形ピッチパターンを設定し、最適な音声素片を選択することができる。また、変形ピッチパターンを設定する際に、規則に従って設定された基本のピッチパターンの概形を保ったままで周波数変形するようにしている。したがって、自然なピッチパターンで合成音声を生成できる。
【００５０】
すなわち、本実施の形態によれば、自然なピッチパターンで高音質の音声を出力することができるのである。
【００５１】
・第２実施の形態
上記第１実施の形態においては、変形ピッチパターンを得る方法として、周波数方向に対して音声素片が存在する全領域をサーチすることによって最終的な変形ピッチパターンを決定している。ところが、第１実施の形態のような方法を用いた場合には、聞き取り易く音質のよい合成音声が作成できるのではあるが、最終的に得られた変形ピッチパターンは、基本ピッチパターンに対して平均ピッチが大きく変形されている場合がある。その場合には、合成音声作成者の意図した音質の合成音を作成できない可能性がある。
【００５２】
本実施の形態は、予め与えられた基本ピッチパターン近傍において最適な変形ピッチパターンを設定することができるテキスト音声合成装置に関するものである。尚、本テキスト音声合成装置の構成は、上記第１実施の形態において、図１に示す音声合成装置と同じであり、素片・韻律制御部２３の動作のみが上記第１実施の形態とはことなる。
【００５３】
以下、本実施の形態における素片・韻律制御部２３によって実行される音声素片の選択と韻律の変形との方法について、図４に従って説明する。本実施の形態においては、韻律作成部２２によって作成された基本ピッチパターン４１をその近傍において周波数方向に平行移動することによって、ピッチパターンを可能な限り変化させずに音質の改善を行うのである。
【００５４】
上記素片・韻律制御部２３による具体的な処理の手順は、以下のようである。先ず、与えられた基本ピッチパターン４１に対して、近傍の音声素片の中から評価値に基づいて最適な音声素片を決定する。本実施の形態においては、一例として各音声素片の基本ピッチパターン４１への変形量を以って上記評価値とする。この場合、与えられた基本ピッチパターン４１に対する最適な音声素片として、音声素片４２,４３,４４,４５が選択されたとする。こうして選択された各音声素片に関して、各音声素片の総変形量(総評価値)が最小になるように基本ピッチパターン４１を周波数方向に移動させる。尚、上記変形量が最小になるような変形は、最小二乗法等の方法を用いることによって容易に行うことができる。
【００５５】
その結果、例えば、上記基本ピッチパターン４１は、上記選択された音声素片４２,４３,４４,４５への総変形量が最小になるように矢印(Ｃ)のように変形が行われ、変形ピッチパターン４６が得られる。選択の対象となる音声素片が各合成単位に関して一つしか存在しない場合は、以上の処理を一度行うだけで最適な変形ピッチパターンを得ることができる。ところが、各合成単位に関して複数の音声素片が存在する場合には、さらに上述の処理を行うのである。
【００５６】
図４に示す例の場合には、上記基本ピッチパターン４１が変形ピッチパターン４６に変形されたため、時点Ｔ2〜時点Ｔ3間の合成単位における最適な音声素片が音声素片４４から音声素片４７に変化する。したがって、再度、変形ピッチパターン４６に関して最適な音声素片の選択を行うと、最適な音声素片として音声素片４２,４３,４７,４５が選択されることになる。その結果、再度、選択された各音声素片に関して、各音声素片の総変形量が最小になるように変形ピッチパターン４６を周波数方向に移動させると、矢印(Ｄ)のように変形が行われて変形ピッチパターン４８が得られる。
【００５７】
本例の場合には、こうして得られた変形ピッチパターン４８に関して、再々度最適な音声素片の選択を行っても新たな最適音声素片は選択されない。したがって、それ以上のピッチパターンの変形は行われない。このように、最終的に最適音声素片の選択とピッチパターンの変形とが行われなくなるまで上述の処理を繰り返して行うことによって、予め与えられた基本ピッチパターン４１の近傍で最適な変形ピッチパターン４８を選択することができる。したがって、最終的に得られる変形ピッチパターン４８は、基本ピッチパターン４１に対して平均ピッチが大きくずれることはないのである。
【００５８】
すなわち、本実施の形態のごとく設定された最適な変形ピッチパターン４８を音声合成時に用いれば、合成音声作成者の意図したピッチパターンの合成音を作成することができるのである。
【００５９】
尚、以上の説明においては、音声素片の選択時に用いる評価値として音声素片の変形量を用いたが、上記評価値の決定方法は一意に決める必要がなく、状況に応じて設定すればよい。
【００６０】
・第３実施の形態
上述したように、上記第１実施の形態におけるピッチパターン変形方法では、高音質の合成音声を作成することができるという特長を有する。一方、上記第２実施の形態におけるピッチパターン変形方法では、基本の韻律に比較的近い平均ピッチで音質が改善されるという特長を有する。ところが、実際に音声合成装置を使用する際には、音質が重要な場合や基本の韻律に近い発話が必要な場合等、様々な状況が考えられる。そこで、本実施の形態においては、処理の中で自動的に得られる情報や外部から任意に与えられる情報に基づいて、ピッチパターン変形方法を切り換え選択することによって、韻律と音質とを制御するのである。
【００６１】
図５は、本実施の形態における音声合成装置のブロック図である。図５において、言語処理部５１,韻律作成部５２および音声合成部５４は、上記第１実施の形態において図１に示す言語処理部２１,韻律作成部２２および音声合成部２４と同じであり、詳細な説明は省略する。
【００６２】
韻律・音質制御部５３は、上記韻律作成部５２によって作成された韻律情報に基づいて、上記第１実施の形態および上記第２実施の形態の場合と同じ韻律・音声素片変形方法に従って韻律(基本ピッチパターン)の変形を行う。その際に、様々な情報に従って韻律・素片の変形方法を切り換えることによって、最終的に生成される韻律および音質を制御するのである。
【００６３】
例えば、高音質の合成音声が必要な場合には、スイッチ等による選択手段５５によって第１制御部５６を切り換え選択する。そうすると、第１制御部５６によって、上記第１実施の形態における韻律・音質制御部２３の処理と同様に、音声素片が存在する全領域をサーチするフルサーチによって音質重視による基本ピッチパターンの変形と音声素片の選択とが行われる。
【００６４】
また、与えられた基本ピッチパターンの近傍において音質の改善を行いたい場合には、選択手段５５によって、第２制御部５７を切り換え選択する。そうすると、第２制御部５７によって、上記第２実施の形態における韻律・音質制御部処理と同様に、基本ピッチパターンの近傍領域をサーチする部分サーチによって基本ピッチパターンの変形量を抑えて音声素片の選択が行われる。
【００６５】
また、与えられた基本ピッチパターンで発話を行いたい場合には、選択手段５５によって、第３制御部５８を切り換え選択する。そうすると、第３制御部５８によって、基本ピッチパターンを変形させないで音声素片の選択が行われるのである。
【００６６】
尚、上記選択手段５５を切り換えるための情報としては、予めテキスト文章中に基本ピッチパターンの変形量を制御するための読み上げテキスト以外のコマンドを挿入しても良い。また、文章の重要度等を表す言語情報から得られる情報を用いることもできる。さらには、音声素片の数を用いることも可能である。
【００６７】
このようにして韻律・音質制御部５３によって得られた音声素片と韻律情報とを用いて、音声合成部５４によって合成音声が作成される。こうすることによって、最適な音質・韻律の合成音声を作成することができるのである。
【００６８】
ここで、上記機能的構成を有するテキスト音声合成装置の具体的ハードウェア構成は、上述した各種処理を実行するプログラムを含む各種プログラムを記憶するプログラムメモリ、各種情報を記憶するデータメモリ、入力装置、出力装置、表示装置、外部記録媒体がセットされてこの外部記録媒体をアクセスする外部補助記憶装置、プログラムメモリ,データメモリ,入力装置,出力装置,表示装置および外部補助記憶装置等を制御して、音声合成処理動作等を実行するＣＰＵ(中央演算処理装置)等で成るものとする。
【００６９】
ところで、上記各実施の形態における言語処理部２１・５１,韻律作成部２２・５２,素片・韻律制御部２３・５３および音声合成部２４・５４による上記言語処理手段,韻律作成手段,素片・韻律制御手段および音声合成手段としての機能は、プログラム記録媒体に記録された音声合成プログラムによって実現される。上記各実施の形態における上記プログラム記録媒体は、ＲＯＭ(リード・オンリ・メモリ)でなるプログラムメディア(上記プログラムメモリに相当)である。あるいは、上記外部補助記憶装置に装着されて読み出されるプログラムメディア(上記外部記録媒体に相当)であってもよい。尚、何れの場合においても、上記プログラムメディアから音声合成プログラムを読み出すプログラム読み出し手段は、上記プログラムメディアに直接アクセスして読み出す構成を有していてもよいし、ＲＡＭ(ランダム・アクセス・メモリ)に設けられたプログラム記憶エリア(図示せず)にダウンロードし、上記プログラム記憶エリアにアクセスして読み出す構成を有していてもよい。尚、上記プログラムメディアから上記ＲＡＭプログラム記憶エリアにダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。
【００７０】
ここで、上記プログラムメディアとは、本体側と分離可能に構成され、磁気テープやカセットテープ等のテープ系、フロッピーディスク,ハードディスク等の磁気ディスクやＣＤ(コンパクトディスク)‐ＲＯＭ,ＭＯ(光磁気)ディスク,ＭＤ(ミニディスク),ＤＶＤ(ディジタル多用途ディスク)等の光ディスクのディスク系、ＩＣ(集積回路)カードや光カード等のカード系、マスクＲＯＭ,ＥＰＲＯＭ（紫外線消去型ＲＯＭ),ＥＥＰＲＯＭ(電気的消去型ＲＯＭ),フラッシュＲＯＭ等の半導体メモリ系を含めた、固定的にプログラムを坦持する媒体である。
【００７１】
また、上記実施の形態におけるテキスト音声合成装置がインターネットを含む通信ネットワークと通信Ｉ/Ｆを介して接続可能な構成を有している場合には、上記プログラムメディアは、上記通信ネットワークからのダウンロード等によって流動的にプログラムを坦持する媒体であっても差し支えない。尚、その場合における上記通信ネットワークからダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。あるいは、別の記録媒体からインストールされるものとする。
【００７２】
尚、上記記録媒体に記録されるものはプログラムのみに限定されるものではなく、データも記録することが可能である。
【００７３】
【発明の効果】
以上より明らかなように、この発明によれば、基本ピッチパターンをその概形を保持したまま周波数方向に平行移動させながら適合する音声素片列を選択し、上記選択された音声素片列のうち最も適合する音声素片列に係る変形ピッチパターンに従って、上記最も適合する音声素片列を変形・接続して合成音声を生成するので、最適変形ピッチパターンに対して変形量が最も小さい音声素片列を音声合成用に選択することができる。したがって、上記選択された音声素片のピッチ変形量を小さく抑えて、急激な音質劣化の無い高音質の合成音声を作成することができる。
【００７４】
さらに、上記基本ピッチパターンを、ピッチパターンの変形可能範囲に捕われることなく、その概形を保ったまま周波数変形するので、自然なピッチパターンで合成音声を生成することができる。
【００７５】
すなわち、この発明によれば、自然なピッチパターンで高音質の音声を出力することができるのである。
【図面の簡単な説明】
【図１】 この発明の音声合成装置としてのテキスト音声合成装置におけるブロック図である。
【図２】 図１における素片・韻律制御部で行われる音声素片の選択と韻律の変形との説明図である。
【図３】 図１に示すテキスト音声合成装置による音声合成処理動作のフローチャートである。
【図４】 図２とは異なる音声素片の選択と韻律の変形との説明図である。
【図５】 図１とは異なるテキスト音声合成装置のブロック図である。
【図６】 従来のテキスト音声合成装置のブロック図である。
【図７】 図６における韻律変形部による韻律変形の説明図である。
【図８】 図７に示す従来の韻律変形における問題の説明図である。
【図９】 図８とは異なる問題の説明図である。
【符号の説明】
２１,５１…言語処理部、
２２,５２…韻律作成部、
２３,５３…素片・韻律制御部、
２４,５４…音声合成部、
２５,４１…基本ピッチパターン、
２６,４６,４８…変形ピッチパターン、
２７〜３５,４２〜４５,４７…音声素片、
５５…選択手段、
５６…第１制御部、
５７…第２制御部、
５８…第３制御部。

Claims (11)

1. 言語情報および韻律情報が入力されると共に、上記韻律情報に従って音声素片を変形・接続して合成音声を生成する音声合成手段を含む音声合成装置において、
   上記韻律情報の１つである基本ピッチパターンをその概形を保持したまま周波数方向に平行移動させながら、移動後の変形ピッチパターンおよび上記言語情報に適合する音声素片列を選択し、
   上記選択された音声素片列のうち最も適合する音声素片列に係る変形ピッチパターンと上記最も適合した音声素片列とを、上記合成音声時に用いる韻律情報および音声素片として上記音声合成手段に送出する素片・韻律制御手段
   を備えたことを特徴とする音声合成装置。
2. 請求項１に記載の音声合成装置において、
   上記素片・韻律制御手段による上記基本ピッチパターンの平行移動は、選択の対象となる音声素片が存在する周波数帯域の全域に対して行うことを特徴とする音声合成装置。
3. 請求項２に記載の音声合成装置において、
   上記素片・韻律制御手段は、
   上記変形ピッチパターンに適合する音声素片を選択する際における上記適合の判定基準として、各合成単位毎に求められる上記変形ピッチパターンに対する音声素片のピッチの変形量を用い、
   上記最も適合した音声素片列の判定基準として、上記変形ピッチパターンの全合成単位に関する上記変形量の総和を用いる
   ことを特徴とする音声合成装置。
4. 請求項２に記載の音声合成装置において、
   上記素片・韻律制御手段は、
   上記変形ピッチパターンに適合する音声素片を選択する際における上記適合の判定基準として、各合成単位毎に求められる上記変形ピッチパターンに対する音声素片のピッチの変形量を用い、
   上記最も適合した音声素片列の判定基準として、上記変形ピッチパターンの全合成単位に関する上記変形量の最大値を用いる
   ことを特徴とする音声合成装置。
5. 請求項１に記載の音声合成装置において、
   上記素片・韻律制御手段は、
   上記基本ピッチパターンまたは変形ピッチパターンにおける各合成単位毎の評価値に基づく音声素片の選択と、この選択された全音声素片に関する上記評価値に基づく上記基本ピッチパターンまたは変形ピッチパターンの周波数方向への平行移動とを、選択すべき音声素片が無くなるまで繰り返して行い、
   最終的に得られた変形ピッチパターンと最終的に選択された全音声素片とを上記音声合成手段に送出するようになっていることを特徴とする音声合成装置。
6. 請求項５に記載の音声合成装置において、
   上記素片・韻律制御手段は、
   上記音声素片を選択する際の評価値として、上記変形ピッチパターンに対する音声素片のピッチの変形量を用いると共に、
   上記基本ピッチパターンまたは変形ピッチパターンの周波数方向への平行移動を、上記選択された全音声素片に関する変形量の総和が最小となる位置まで行う
   ようになっていることを特徴とする音声合成装置。
7. 請求項５に記載の音声合成装置において、
   上記素片・韻律制御手段は、
   上記音声素片を選択する際の評価値として、上記変形ピッチパターンに対する音声素片のピッチの変形量を用いると共に、
   上記基本ピッチパターンまたは変形ピッチパターンの周波数方向への平行移動を、上記選択された全音声素片に関する変形量の最大値が最小となる位置まで行う
   ようになっていることを特徴とする音声合成装置。
8. 請求項１に記載の音声合成装置において、
   少なくとも音質を重視した音声合成と韻律を重視した音声合成との何れかを切り換え選択する選択手段を備えると共に、
   上記素片・韻律制御手段は、
   選択の対象となる音声素片が存在する全周波数領域に亙って上記基本ピッチパターンを平行移動させて上記音声素片の選択を行う第１制御部と、
   上記基本ピッチパターン近傍の周波数領域内で上記基本ピッチパターンを平行移動させて上記音声素片の選択を行う第２制御部とを有して、
   上記選択手段によって音質を重視した音声合成が選択された場合には上記第１制御部による処理を行う一方、上記選択手段によって韻律を重視した音声合成が選択された場合には上記第２制御部による処理を行うようになっていることを特徴とする音声合成装置。
9. 入力された言語情報および韻律情報に基づいて、合成音声を生成する音声合成方法であって、
   上記韻律情報の１つである基本ピッチパターンを、その概形を保持したままの状態で周波数方向に平行移動させながら、移動後の変形ピッチパターンおよび上記言語情報に適合する音声素片列を選択する韻律変形・素片選択ステップと、
   上記選択された音声素片列のうち最も適合する音声素片列に係る変形ピッチパターンを含む韻律情報に従って、上記最も適合した音声素片列を変形・接続して合成音声を生成する音声合成ステップ
   を備えたことを特徴とする音声合成方法。
10. コンピュータを、
    請求項１における素片・韻律制御手段および音声合成手段
    として機能させることを特徴とする音声合成プログラム。
11. 請求項１０に記載の音声合成プログラムが記録されたことを特徴とするコンピュータ読出し可能なプログラム記録媒体。

Images