JP5322793B2

JP5322793B2 - 音声合成装置及び音声合成方法

Info

Publication number: JP5322793B2
Application number: JP2009143326A
Authority: JP
Inventors: 正山浦; 裕久田崎
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2009-06-16
Filing date: 2009-06-16
Publication date: 2013-10-23
Anticipated expiration: 2029-06-16
Also published as: JP2011002501A

Description

この発明は、任意の文章から人工的に音声信号を生成する音声合成装置及び音声合成方法に関するものである。

従来、任意の文章から人工的に音声信号を作り出すテキスト音声合成技術では、入力テキストに対して言語解析処理及び韻律生成処理を実施することにより得られる音韻記号及び韻律情報（例えば、ピッチ、音韻継続時間長）を入力とし、その音韻記号及び韻律情報から音声信号を生成するようにしている。
即ち、テキスト音声合成技術では、音声合成装置が、母音を「Ｖ」、子音を「Ｃ」で表して、「ＣＶ」、「ＣＶＣ」、「ＶＣＶ」等の基本となる小さな単位の特徴パラメータを音声素片として予め記憶している。この音声合成装置に、テキストから得られた音韻記号及び韻律情報が入力されると、その音韻記号に対応する音声素片を選択的に読み出し、読み出した音声素片のピッチや音韻継続時間長を韻律情報に従って制御して順次接続することにより、テキストに対応した音声を合成するようにしている。

このような音声合成装置では、音声素片を少ない記憶容量で保持するために、圧縮して保持するようにしている。ただし、圧縮率が高い圧縮方法で音声素片を圧縮すると、記憶容量を低減することができるが、各音声区間の先頭での歪みが大きくなり、音声素片全体としての歪みも大きくなる傾向がある。このような歪みは、合成音声の品質低下につながるので、音声素片の圧縮率をあまり高くすることができない問題点があった。

そこで、音声素片の音声波形を圧縮する際には、その音声素片に先行する音声区間の音声波形を含めて圧縮するようにし、一方、圧縮された音声素片の音声波形を伸張する際には、その音声素片に先行する音声区間の音声波形を先に伸張して読み捨てることにより、その音声素片の区間での歪みを緩和する技術が開発されている（例えば、特許文献１を参照）。
なお、特許文献１に開示されている音声合成装置では、音声波形の圧縮に、固定長フレームで履歴を有し、かつ、圧縮結果が固定長である圧縮方式を使用している。ここで、「履歴を有する」とは、あるフレームを圧縮する際に、時間的にその前のフレームの情報を使用することである。このような圧縮方式としては、ＣＥＬＰ（ＣｏｄｅＥｘｃｉｔｅｄＬｉｎｅａｒＰｒｅｄｉｃｔｉｏｎ）、ＶＳＥＬＰ（ＶｅｃｔｏｒＳｕｍＥｘｃｉｔｅｄＬｉｎｅａｒＰｒｅｄｉｃｔｉｏｎ）等が知られている。

特開２００２−２８７７８４号公報

従来の音声合成装置は以上のように構成されているので、音声素片と共にその先行区間も伸張することにより音声素片先頭において履歴がないことによる悪影響を緩和して音声素片全体での歪みを緩和することはできるが、そのためには音声素片と共にその先行区間の音声波形も含めて圧縮結果を保持し、音声合成時に伸張する必要がある。このため、その伸張処理に要する処理量、及び圧縮結果を保持するための記憶容量に応じてハードウエアリソースのコストが増大するという課題があった。

この発明は、上記のような課題を解決するためになされたものであり、少ない処理量、少ない記憶容量で、高い品質の音声を生成することができる音声合成装置及び音声合成方法を得ることを目的とする。

この発明に係る音声合成装置は、圧縮音声波形読み出し手段により読み出された圧縮音声波形を、音声波形の音源信号を圧縮した第１の部分圧縮音声波形と当該音声波形のスペクトルを圧縮した第２の部分圧縮音声波形とに分離する圧縮音声波形分離手段と、第１の部分圧縮音声波形のうち、音声素片区間と当該音声素片区間に先行する第１の先行区間とを伸張して第１の伸張データを得る第１の伸張手段と、第２の部分圧縮音声波形のうち、音声素片区間と音声素片区間に先行する第２の先行区間とを伸張して第２の伸張データを得る第２の伸張手段と、第１の伸張データと第２の伸張データとを、第３の先行区間と音声素片区間とに渡って合成して音声波形を得る合成手段とを有し、第１の先行区間、第２の先行区間、及び第３の先行区間のうちの少なくとも一つの区間長が他の区間長と異なるようにしたものである。

この発明に係る音声合成装置は、音声素片の音声波形と、当該音声素片に先行する区間の音声波形とを含めて圧縮した圧縮音声波形を、当該音声素片区間と当該音声素片区間に先行する第１の先行区間とを含む音声波形の音源信号を圧縮した第１の部分圧縮音声波形と、当該音声素片区間と当該音声素片区間に先行し第１の先行区間と異なる区間長の第２の先行区間とを含む音声波形のスペクトルを圧縮した第２の部分圧縮音声波形とに分離して格納している音声素片辞書と、音声素片辞書に格納されている第１の部分圧縮音声波形の中から、入力テキストから得られる音韻記号に対応する音声素片とその第１の先行区間とを含む第１の部分圧縮音声波形を読み出す第１の部分圧縮音声波形読み出し手段と、音声素片辞書に格納されている第２の部分圧縮音声波形の中から、音韻記号に対応する音声素片とその第２の先行区間とを含む第２の部分圧縮音声波形を読み出す第２の部分圧縮音声波形読み出し手段と、第１の部分圧縮音声波形読み出し手段により読み出された第１の部分圧縮音声波形と、第２の部分圧縮音声波形読み出し手段により読み出された第２の部分圧縮音声波形とを用いて、音声波形を得る音声波形伸張手段と、音声波形伸張手段により得た音声波形から音声素片の音声波形を抽出する音声波形抽出手段と、音声波形抽出手段により抽出された音声素片の音声波形を順次接続して合成音声を生成する音声生成手段とを備えるようにしたものである。

この発明に係る音声合成方法は、圧縮音声波形読み出しステップにより読み出された圧縮音声波形を、音声波形の音源信号を圧縮した第１の部分圧縮音声波形と当該音声波形のスペクトルを圧縮した第２の部分圧縮音声波形とに分離する圧縮音声波形分離ステップと、第１の部分圧縮音声波形のうち、音声素片区間と当該音声素片区間に先行する第１の先行区間とを伸張して第１の伸張データを得る第１の伸張ステップと、第２の部分圧縮音声波形のうち、音声素片区間と音声素片区間に先行する第２の先行区間とを伸張して第２の伸張データを得る第２の伸張ステップと、第１の伸張データと第２の伸張データとを、第３の先行区間と音声素片区間とに渡って合成して音声波形を得る合成ステップとを有し、第１の先行区間、第２の先行区間、及び第３の先行区間のうちの少なくとも一つの区間長が他の区間長と異なるようにしたものである。

この発明に係る音声合成方法は、音声素片の音声波形と、当該音声素片に先行する区間の音声波形とを含めて圧縮した圧縮音声波形を、当該音声素片区間と当該音声素片区間に先行する第１の先行区間とを含む音声波形の音源信号を圧縮した第１の部分圧縮音声波形と、当該音声素片区間と当該音声素片区間に先行し第１の先行区間と異なる区間長の第２の先行区間とを含む音声波形のスペクトルを圧縮した第２の部分圧縮音声波形とに分離して格納している音声素片辞書から、入力テキストから得られる音韻記号に対応する音声素片とその第１の先行区間とを含む第１の部分圧縮音声波形を読み出す第１の部分圧縮音声波形読み出しステップと、音声素片辞書から、音韻記号に対応する音声素片とその第２の先行区間とを含む第２の部分圧縮音声波形を読み出す第２の部分圧縮音声波形読み出しステップと、第１の部分圧縮音声波形読み出しステップにより読み出された第１の部分圧縮音声波形と、第２の部分圧縮音声波形読み出しステップにより読み出された第２の部分圧縮音声波形とを用いて、音声波形を得る音声波形伸張ステップと、音声波形伸張ステップにより得た音声波形から音声素片の音声波形を抽出する音声波形抽出ステップと、音声波形抽出ステップにより抽出された音声素片の音声波形を順次接続して合成音声を生成する音声生成ステップとを備えるようにしたものである。

この発明によれば、音声素片辞書から音声素片の音声波形とその先行区間の音声波形とを含む圧縮音声波形を読み出して、音声波形の音源信号を圧縮した第１の部分圧縮音声波形と当該音声波形のスペクトルを圧縮した第２の部分圧縮音声波形とに分離して、第１の部分圧縮音声波形から音声素片区間と当該音声素片区間に先行する第１の先行区間とを伸張して第１の伸張データを得ると共に第２の部分圧縮音声波形から音声素片区間と当該音声素片区間に先行する第２の先行区間とを伸張して第２の伸張データを得て、これら第１及び第２の伸張データを第３の先行区間と音声素片区間とに渡って合成するようにしたので、少ない処理量で、高い品質の音声を生成することができる音声合成装置及び音声合成方法を得ることができる。

この発明によれば、音声素片辞書から音声素片区間と当該音声素片区間に先行する第１の先行区間とを含む音声波形の音源信号を圧縮した第１の部分圧縮音声波形と、当該音声素片区間と当該音声素片区間に先行し第１の先行区間と異なる区間長の音声波形のスペクトルを圧縮した第２の先行区間とを含む第２の部分圧縮音声波形とを読み出して、これら第１及び第２の部分圧縮音声波形を用いて音声波形を得るようにしたので、少ない処理量と、少ない記憶容量で、高い品質の音声を生成することができる音声合成装置及び音声合成方法を得ることができる。

この発明の実施の形態１に係る音声合成装置の構成を示すブロック図である。実施の形態１に係る音声素片辞書が格納する音声素片を説明するための図である。実施の形態１に係る音声波形伸張部の内部構成を示すブロック図である。実施の形態１に係る音声合成装置の動作を示すフローチャートである。実施の形態１に係る音声波形伸張部の詳細動作を示すフローチャートである。実施の形態２に係る音声素片辞書が格納する音声素片を説明するための図である。実施の形態３に係る音声合成装置の構成を示すブロック図である。実施の形態３に係る音声素片辞書が格納する音声素片を説明するための図である。実施の形態３に係る音声波形伸張部の詳細構成を示すブロック図である。実施の形態３に係る音声合成装置の動作を示すフローチャートである。実施の形態３に係る音声波形伸張部の詳細動作を示すフローチャートである。

実施の形態１．
図１は、この発明の実施の形態１による音声合成装置の構成を示すブロック図である。この音声合成装置は、入力テキストに応じた合成音声を生成するものであり、入力テキストに対して言語解析処理及び韻律生成処理を実施することにより得られる音韻記号及び韻律情報を入力として用いる。なお、韻律情報としては、ピッチ、音韻継続時間長、パワー等の情報がある。

図１において、音声素片辞書１は、音声素片の音声波形として、予め人間が発声した単音、単語、単文等の音声波形が圧縮された圧縮音声波形を格納している。単語、単文中の一部分を音声素片として用いる場合には、その音声素片区間に先行する区間を含めた音声波形が圧縮されて、格納される。
図２は、音声素片辞書１が格納する音声素片を説明するための図である。図２に示すように、例えば「あたまが」という発声された音声波形を圧縮した圧縮音声波形のうち、ＣＶ素片「ｔａ」を音声素片として用いる場合には、音声素片「ｔａ」に先行する区間も含めた音声素片として音声素片辞書１に格納される。また、音声素片「ｔａ」と一部重複する音声素片「ａｍ」を音声素片として用いる場合には、音声素片「ｔａ」，「ａｍ」と各先行区間とを含む一連の音声素片として音声素片辞書１に格納してもよい。この場合には、音声素片辞書１に格納すべき情報量（メモリ量）を削減する効果がある。

圧縮音声波形読み出し部２は、音声素片辞書１に格納されている圧縮音声波形の中から、入力テキストから得られる音韻記号に対応する音声素片の音声波形を含む圧縮音声波形を読み出す処理を実施する。読み出した圧縮音声波形には、音韻記号に対応する音声素片の音声波形と、その音声波形の前方に付加されている所定区間長（即ち、上述した先行区間）の音声波形とが含まれる。なお、圧縮音声波形読み出し部２は圧縮音声波形読み出し手段を構成している。

音声波形伸張部３は、圧縮音声波形読み出し部２により読み出された圧縮音声波形を伸張して音声波形にする。なお、音声波形伸張部３は音声波形伸張手段を構成している。
図３は、音声波形伸張部３の内部構成を示すブロック図である。図３において、圧縮音声波形分離部６は、圧縮音声波形読み出し部２により読み出された圧縮音声波形を、圧縮音源信号（第１の部分圧縮音声波形）と圧縮スペクトル（第２の部分圧縮音声波形）とに分離する処理を実施する。なお、圧縮音声波形分離部６は圧縮音声波形分離手段を構成している。
音源信号伸張部７は、圧縮音声波形分離部６により分離された圧縮音源信号を伸張して音源信号（第１の伸張データ）にする。なお、音源信号伸張部７は第１の伸張手段を構成している。
スペクトル伸張部８は、圧縮音声波形分離部６により分離された圧縮スペクトルを伸張してスペクトル（第２の伸張データ）にする。なお、スペクトル伸張部８は第２の伸張手段を構成している。
合成部９は、音源信号伸張部７で伸張された音源信号と、スペクトル伸張部８で伸張されたスペクトルとを合成して音声波形を生成する処理を実施する。なお、合成部９は合成手段を構成している。

図１において、音声波形抽出部４は、音声波形伸張部３で伸張された音声波形から、音声素片の音声波形を抽出する処理を実施する。なお、音声波形抽出部４は音声波形抽出手段を構成している。

音声生成部５は、音声波形抽出部４により抽出された音声素片の音声波形を、入力テキストから得られる韻律情報に従ってピッチ及び音韻継続時間長を変形しながら、順次接続して、合成音声を生成する処理を実施する。なお、音声生成部５は音声生成手段を構成している。

次に、音声合成装置の動作を説明する。図４は、実施の形態１による音声合成装置の動作を示すフローチャートである。
音声合成装置には、入力テキストから得られる複数の音韻記号及び韻律情報が順次入力される。また、この音声合成装置の音声素片辞書１には、音声素片の音声波形が格納されているが、記憶容量を低減するために、ＣＥＬＰ、ＶＳＥＬＰ等の圧縮方式により音声素片の音声波形が圧縮され、圧縮音声波形として格納されている。単語、単文中の一部分を音声素片として用いる場合には、その音声素片区間に先行する区間を含めた圧縮音声波形が格納されていることは上述のとおりである。

先ず、圧縮音声波形読み出し部２は、音声素片辞書１に格納されている圧縮音声波形の中から、入力テキストから得られる音韻記号に対応する音声素片の音声波形を含み、その音声素片区間に先行する区間の音声波形が付加されている場合にはその付加された音声波形も含めた圧縮音声波形を読み出す処理を実施する（ステップＳＴ１）。
例えば、入力テキストから得られる音韻記号に対応する音声素片が「ｔａ」であれば、音声素片辞書１に格納されている圧縮音声波形のうち、音声素片「ｔａ」の音声波形を含み、かつ、その音声波形の前方の所定の先行区間を含んだ圧縮音声波形を読み出すようにする。

なお、上記では読み出す対象の音声素片を、入力テキストから得られる音韻記号に基づき決定しているが、これに代え、入力テキストから得られる音韻記号と韻律情報とに基づき決定することも当然可能である。また、読み出す対象の音声素片が接続することとなる直前の音声素片又は前後の音声素片との接続性の良さを示す指標を用いて、読み出す対象の音声素片を決定してもよい。

音声波形伸張部３は、圧縮音声波形読み出し部２が圧縮音声波形を読み出すと、その圧縮音声波形から、先行区間と音声素片区間とからなる一連の圧縮音声波形を伸張する（ステップＳＴ２）。ステップＳＴ２の詳細については後述する。

続いて、音声波形抽出部４は、音声波形伸張部３が出力した伸張後の音声波形から、音声素片区間の音声波形を抽出する（ステップＳＴ３）。

音声生成部５は、音声波形抽出部４が音声素片の音声波形を抽出すると、入力テキストから得られる韻律情報に従ってピッチ及び音韻継続時間長を変形しながら、その音声素片の波形を順次接続して、合成音声を生成する（ステップＳＴ４）。
なお、上記では音声素片の波形を、ピッチ及び音韻継続時間長を変形して用いているが、これに代え、ピッチ若しくは音韻継続時間長のどちらか一方、又は両方を変形せずに用いることも当然可能である。

入力された音韻記号及び韻律情報の全てに対して合成音声が生成されていれば処理は終了とし（ステップＳＴ５“Ｙｅｓ”）、音韻記号及び韻律情報が残っているか入力が終了していなければ全て終了するまでステップＳＴ１〜ＳＴ４の処理が繰り返し実施される（ステップＳＴ５“Ｎｏ”）。

次に、音声波形伸張部３の詳細動作を説明する。図５は、音声波形伸張部３の詳細動作を示すフローチャートである。
先ず、圧縮音声波形分離部６は、圧縮音声波形読み出し部２が読み出した圧縮音声波形を、圧縮音源信号と圧縮スペクトルとに分離する処理を実施する（ステップＳＴ１１）。そして、圧縮音声波形分離部６は圧縮音源信号を音源信号伸張部７に、圧縮スペクトルをスペクトル伸張部８に、それぞれ出力する。

音源信号伸張部７は、圧縮音声波形分離部６が圧縮音源信号を分離すると、第１の先行区間と音声素片区間の一連の圧縮音源信号を伸張する（ステップＳＴ１２）。
ここで、音源信号の圧縮に履歴を有する圧縮方式を使用しているため、第１の先行区間は、この履歴を考慮して、例えば音源信号を伸張する際に音声素片の区間での歪みが十分に小さくなるように設定されているものとする。

スペクトル伸張部８は、圧縮音声波形分離部６が圧縮スペクトルを分離すると、第２の先行区間と音声素片区間の一連の圧縮スペクトルを伸張する（ステップＳＴ１３）。
ここで、スペクトルの圧縮に履歴を有する圧縮方式を使用しているため、第２の先行区間は、この履歴を考慮して、例えばスペクトルを伸張する際に音声素片の区間での歪みが十分に小さくなるように設定されているものとする。

スペクトル伸張部８は、第３の先行区間と、音声素片区間の一連の伸張後の音源信号とスペクトルとを合成し、音声波形を生成する（ステップＳＴ１４）。
ここで、音声波形の生成には履歴を有する生成方式を使用しているため、第３の先行区間は、例えば音声波形を生成する際に音声素片の区間での歪みが十分に小さくなるように設定されているものとする。又は、ユーザが合成音声を受聴する際の劣化感が十分に小さくなるように設定されているものとする。

なお、音源信号とスペクトルとの合成には、音源信号及びスペクトルの両者が必要であるので、第３の先行区間の区間長は、第１の先行区間の区間長と第２の先行区間の区間長の、どちらか短い方以下に設定する必要がある。逆にいえば、第１の先行区間の区間長と第２の先行区間の区間長は、第３の先行区間の区間長以上に設定する必要がある。

ただし、第１の先行区間の区間長と第２の先行区間の区間長は、それぞれ任意に設定してよい。ＣＥＬＰ又はＶＳＥＬＰ等の圧縮方式では、音源信号の圧縮として自己回帰モデルを利用した圧縮方式を用い、他方、スペクトルの圧縮としては移動平均モデルを利用した圧縮方式を用いるというように、圧縮方式がそれぞれで異なる。音源信号の圧縮に用いる自己回帰モデルは、無限の過去の情報も使用することに相当するため、第１の先行区間は比較的長い区間を設定する必要がある。一方、スペクトルの圧縮に用いる移動平均モデルは、移動平均に用いる所定の区間長の情報のみを使用することから、第２の先行区間は比較的短い区間を設定すればよい。

また、ＣＥＬＰ又はＶＳＥＬＰ等の圧縮方式における音源信号とスペクトルとの合成処理ではＩＩＲ（ＩｎｆｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ）フィルタを用いるため、合成処理にも履歴を有する。しかし、音声信号の特徴により、このＩＩＲフィルタのフィルタ応答は比較的短時間に収束することから、第３の先行区間は短い区間を設定可能である。なお、音声素片の先行区間の区間長（図２に示す先行区間）は、少なくとも第１〜第３の先行区間の区間長より長ければよく、さらにいえば、第１〜第３の先行区間のうち最も長い区間長を音声素片の先行区間の区間長とすれば足りる。

このように、音声波形伸張部３では、第１の先行区間と、第２の先行区間と、第３の先行区間とをそれぞれ個別に設定しているので、従来のように第１〜第３の先行区間のうち、最長の区間長に合わせて音源信号の伸張処理、スペクトルの伸張処理、及び音源信号とスペクトルの合成処理を全て行っていた場合に比較して、処理量を削減することができる。

以上より、実施の形態１によれば、音声素片の音声波形と、この音声素片に先行する区間の音声波形とを含めて圧縮した圧縮音声波形を格納している音声素片辞書１と、音声素片辞書１に格納されている圧縮音声波形の中から、入力テキストから得られる音韻記号に対応する音声素片の音声波形とその先行区間の音声波形とを含む圧縮音声波形を読み出す圧縮音声波形読み出し部２と、この圧縮音声波形を伸張して音声波形を得る音声波形伸張部３と、この音声波形から音声素片の音声波形を抽出する音声波形抽出部４と、この音声素片の音声波形を順次接続して合成音声を生成する音声生成部５とを備え、音声波形伸張部３は、圧縮音声波形読み出し部２が読み出した圧縮音声波形を圧縮音源信号と圧縮スペクトルとに分離する圧縮音声波形分離部６と、圧縮音源信号のうちの第１の先行区間と音声素片区間とを伸張して音源信号を得る音源信号伸張部７と、圧縮スペクトルのうちの第２の先行区間と音声素片区間とを伸張してスペクトルを得るスペクトル伸張部８と、これら音源信号とスペクトルとを第３の先行区間と音声素片区間に渡って合成して音声波形を得る合成部９とを有するように構成した。このため、少ない処理量で、高い品質の合成音声を生成することができる。

実施の形態２．
上記実施の形態１では、音声素片辞書１が音声素片の先行区間の圧縮音声波形を保持する構成としたが、本実施の形態２では、圧縮音声波形のうち、伸張処理に不要な先行区間の圧縮音源波形又は圧縮スペクトルを削除する構成にする。なお、本実施の形態２の音声合成装置は、図１及び図３に示す音声合成装置と図面上では同様の構成であるため、以下では図１及び図３を援用して説明する。

図６は、実施の形態２に係る音声素片辞書１が格納する音声素片を説明するための図である。例えば、ＣＶ素片「ｔａ」を音声素片として用いる場合には、音声素片「ｔａ」に先行する第１の先行区間の圧縮音源信号と、第１の先行区間に相当する区間長の圧縮スペクトルから不要な区間を削除して第２の先行区間の区間長にした圧縮スペクトルとを含めた音声素片として音声素片辞書１に格納する。なお、音声素片「ｔａ」と一部重複する音声素片「ａｍ」を音声素片として用いる場合には、音声素片「ａｍ」に先行する第１及び第２の先行区間が音声素片「ｔａ」に重複しているので伸張処理に不要な区間の圧縮スペクトルも含む一連の音声素片として音声素片辞書１に格納する。この場合には、音声素片辞書１に格納すべき情報量（メモリ量）を削減する効果がある。

以上より、実施の形態２によれば、音声素片辞書１が、音声素片に先行する区間の音声波形のうち、音源信号伸張部７又はスペクトル伸張部８の伸張処理に不要な区間の圧縮音源信号又は圧縮スペクトルを削除した圧縮音声波形を格納するように構成した。
このため、合成音声の品質に影響を与えることなく音声素片辞書１に保持すべき情報を削減でき、この結果、少ない記憶容量で、高い品質の合成音声を生成することができる。
さらに、圧縮音声波形読み出し部２では読み出すべき情報が削減されるので、読み出す処理に要する処理量を削減することができ、この結果、少ない処理量で、高い品質の合成音声を生成することができる。

実施の形態３．
図７は、この発明の実施の形態３による音声合成装置の構成を示すブロック図である。この音声合成装置は、入力テキストに応じた合成音声を生成するものであり、入力テキストに対して言語解析処理及び韻律生成処理を実施することにより得られる音韻記号及び韻律情報を入力として用いる。なお、韻律情報としては、ピッチ、音韻継続時間長、パワー等の情報がある。

図７において、音声素片辞書１０は、音声素片の音声波形として、予め人間が発声した単音、単語、単文等の音声波形が圧縮された圧縮音声波形を、圧縮音源信号と圧縮スペクトルとに分離して格納している。単語、単文中の一部分を音声素片として用いる場合には、その音声素片区間に先行する区間を含めて音源信号とスペクトルとが圧縮されて、格納される。
図８は、音声素片辞書１０が格納する音声素片を説明するための図である。図８に示すように、例えば「あたまが」という発声された音声波形を圧縮した圧縮音声波形のうち、ＣＶ素片「ｔａ」を音声素片として用いる場合には、音声素片「ｔａ」に先行する第１の先行区間の圧縮音源信号と、第２の先行区間の圧縮スペクトルとを含めた音声素片として音声素片辞書１０に格納する。

圧縮音源信号読み出し部１１は、音声素片辞書１０に格納されている圧縮音源信号の中から、入力テキストから得られる音韻記号に対応する音声素片の音源信号を含み、その音源信号の前方に所定の区間長（第１の先行区間）の音源信号が付加されている圧縮音源信号を読み出す処理を実施する。なお、圧縮音源信号読み出し部１１は第１の部分圧縮音声波形読み出し手段を構成している。

圧縮スペクトル読み出し部１２は、音声素片辞書１０に格納されている圧縮スペクトルの中から、入力テキストから得られる音韻記号に対応する音声素片のスペクトルを含み、そのスペクトルの前方に所定の区間長（第２の先行区間）のスペクトルが付加されている圧縮スペクトルを読み出す処理を実施する。なお、圧縮スペクトル読み出し部１２は第２の部分圧縮音声波形読み出し手段を構成している。

音声波形伸張部１３は、圧縮音源信号読み出し部１１により読み出された圧縮音源信号と、圧縮スペクトル読み出し部１２により読み出された圧縮スペクトルとから音声波形を伸張する。なお、音声波形伸張部１３は音声波形伸張手段を構成している。
図９は、音声波形伸張部１３の内部構成を示すブロック図である。図９において、音源信号伸張部７は、圧縮音源信号読み出し部１１により読み出された圧縮音源信号を伸張して音源信号にする。なお、音源信号伸張部７は第１の伸張手段を構成している。
スペクトル伸張部８は、圧縮スペクトル読み出し部１２により読み出された圧縮スペクトルを伸張してスペクトルにする。なお、スペクトル伸張部８は第２の伸張手段を構成している。
合成部９は、音源信号伸張部７で伸張された音源信号と、スペクトル伸張部８で伸張されたスペクトルとを合成して音声波形を生成する処理を実施する。なお、合成部９は合成手段を構成している。

図７において、音声波形抽出部４は、音声波形伸張部１３で伸張された音声波形から、音声素片の音声波形を抽出する処理を実施する。なお、音声波形抽出部４は音声波形抽出手段を構成している。

次に、音声合成装置の動作を説明する。図１０は、実施の形態３による音声合成装置の動作を示すフローチャートである。
音声合成装置には、入力テキストから得られる複数の音韻記号及び韻律情報が順次入力される。また、この音声合成装置の音声素片辞書１０には、音声素片の音声波形が格納されているが、記憶容量を低減するために、ＣＥＬＰ、ＶＳＥＬＰ等の圧縮方式により音声素片の音声波形が圧縮され、圧縮音源信号と圧縮スペクトルとに分離して格納されている。単語、単文中の一部分を音声素片として用いる場合には、その音声素片区間に先行する区間を含めた圧縮音源信号及び圧縮スペクトルが格納されていることは上述のとおりである。また、音声素片に先行する区間が、圧縮音源信号では第１の先行区間、圧縮スペクトルでは第２の先行区間に相当することも上述のとおりである。

先ず、圧縮音源信号読み出し部１１は、音声素片辞書１０に格納されている圧縮音源信号の中から、入力テキストから得られる音韻記号に対応する音声素片の音源信号を含み、その音源信号区間に先行する所定の区間長（第１の先行区間）の音源信号が付加されている場合にはその付加された音源信号も含めた圧縮音源信号を読み出す処理を実施する（ステップＳＴ２１）。
例えば、入力テキストから得られる音韻記号に対応する音声素片が「ｔａ」であれば、音声素片辞書１０に格納されている圧縮音源信号のうち、音声素片「ｔａ」の音源信号を含み、かつ、その音源信号の前方の第１の先行区間を含んだ圧縮音源信号を読み出すようにする。

圧縮スペクトル読み出し部１２は、音声素片辞書１０に格納されている圧縮スペクトルの中から、入力テキストから得られる音韻記号に対応する音声素片のスペクトルを含み、そのスペクトル区間に先行する所定の区間長（第２の先行区間）のスペクトルが付加されている場合にはその付加されたスペクトルも含めた圧縮スペクトルを読み出す処理を実施する（ステップＳＴ２２）。
例えば、入力テキストから得られる音韻記号に対応する音声素片が「ｔａ」であれば、音声素片辞書１０に格納されている圧縮スペクトルのうち、音声素片「ｔａ」のスペクトルを含み、かつ、そのスペクトルの前方の第２の先行区間を含んだ圧縮スペクトルを読み出すようにする。

音声波形伸張部１３は、圧縮音源信号読み出し部１１が圧縮音源信号を読み出し、圧縮スペクトル読み出し部１２が圧縮スペクトルを読み出すと、それら圧縮音源信号と圧縮スペクトルとを用いて、先行区間と音声素片区間とからなる一連の圧縮された音声波形を伸張する（ステップＳＴ２３）。ステップＳＴ２３の詳細については後述する。

続いて、音声波形抽出部４は、音声波形伸張部１３が出力した伸張後の音声波形から、音声素片区間の音声波形を抽出する（ステップＳＴ２４）。

音声生成部５は、音声波形抽出部４が音声素片の音声波形を抽出すると、入力テキストから得られる韻律情報に従ってピッチ及び音韻継続時間長を変形しながら、その音声素片の波形を順次接続して、合成音声を生成する（ステップＳＴ２５）。
なお、上記では音声素片の波形を、ピッチ及び音韻継続時間長を変形して用いているが、これに代え、ピッチ若しくは音韻継続時間長のどちらか一方、又は両方を変形せずに用いることも当然可能である。

入力された音韻記号及び韻律情報の全てに対して合成音声が生成されていれば処理は終了とし（ステップＳＴ２６“Ｙｅｓ”）、音韻記号及び韻律情報が残っているか入力が終了していなければ全て終了するまでステップＳＴ２１〜ＳＴ２５の処理が繰り返し実施される（ステップＳＴ２６“Ｎｏ”）。

次に、音声波形伸張部１３の詳細動作を説明する。図１１は、音声波形伸張部１３の詳細動作を示すフローチャートである。音声波形伸張部１３に入力される圧縮音源信号及び圧縮スペクトルは、ＣＥＬＰ又はＶＳＥＬＰ等の圧縮方式により圧縮されたものである。
先ず、音源信号伸張部７は、圧縮音源信号読み出し部１１から圧縮音源信号が入力されると、第１の先行区間と音声素片区間の一連の圧縮音源信号を伸張する（ステップＳＴ３１）。
ここで、音源信号の圧縮には履歴を有する圧縮方式を使用しているため、第１の先行区間は、この履歴を考慮して、例えば音源信号を伸張する際に音声素片の区間での歪みが十分に小さくなるように設定されているものとする。又は、ユーザが合成音声を受聴する際の劣化感が十分に小さくなるように設定されているものとする。

スペクトル伸張部８は、圧縮スペクトル読み出し部１２から圧縮スペクトルが入力されると、第２の先行区間と音声素片区間の一連の圧縮スペクトルを伸張する（ステップＳＴ３２）。
ここで、スペクトルの圧縮には履歴を有する圧縮方式を使用しているため、第２の先行区間は、この履歴を考慮して、例えばスペクトルを伸張する際に音声素片の区間での歪みが十分に小さくなるように設定されているものとする。又は、ユーザが合成音声を受聴する際の劣化感が十分に小さくなるように設定されているものとする。

続いて、合成部９は、第３の先行区間と音声素片区間の一連の伸張後の音源信号とスペクトルとを合成し、音声波形を生成する（ステップＳＴ３３）。
ここで、音声波形の生成には履歴を有する生成方式を使用しているため、第３の先行区間は、例えば音声波形を生成する際に音声素片の区間での歪みが十分に小さくなるように設定されているものとする。又は、ユーザが合成音声を受聴する際の劣化感が十分に小さくなるように設定されているものとする。

また、ＣＥＬＰ又はＶＳＥＬＰ等の圧縮方式における音源信号とスペクトルとの合成処理ではＩＩＲフィルタを用いるため、合成処理にも履歴を有する。しかし、音声信号の特徴により、このＩＩＲフィルタのフィルタ応答は比較的短時間に収束することから、第３の先行区間は短い区間を設定可能である。

このように、音声波形伸張部１３では、第１の先行区間と、第２の先行区間と、第３の先行区間とをそれぞれ個別に設定しているので、従来のように第１〜第３の先行区間のうち、最長の区間長に合わせて音源信号の伸張処理、スペクトルの伸張処理、及び音源信号とスペクトルの合成処理を全て行っていた場合に比較して、処理量を削減することができる。

また、音声素片辞書１０では、音声素片の先行区間の圧縮音声波形を全て保持するのではなく、音源信号伸張に必要な第１の先行区間の圧縮音源信号と、スペクトル伸張に必要な第２の先行区間の圧縮スペクトルのみを保持しているので、合成音声の品質に影響を与えることなく音声素片辞書１０に要する記憶容量を削減することができる。

さらに、圧縮音源信号読み出し部１１では第１の先行区間と音声素片区間のみの圧縮音源信号を、圧縮スペクトル読み出し部１２では第２の先行区間と音声素片区間のみの圧縮スペクトルを読み出しているので、先行区間の圧縮音声波形を全て読み出していた場合に比較して、読み出しに要する処理量を削減することができる。

さらに、音声素片辞書１０では、圧縮音声波形を予め圧縮音源信号と圧縮スペクトルとに分離して格納しているので、音声波形伸張時に圧縮音源信号を分離する処理を不要とすることができ、処理量を削減することができる。

以上より、実施の形態３によれば、音声素片の音声波形と、この音声素片に先行する区間の音声波形とを含めて圧縮した圧縮音声波形を、第１の先行区間と音声素片区間とを含む圧縮音源信号と、第２の先行区間と音声素片区間とを含む圧縮スペクトルとに分離して格納している音声素片辞書１０と、音声素片辞書１０の中から、入力テキストから得られる音韻記号に対応する音声素片とその第１の先行区間とを含む圧縮音源信号を読み出す圧縮音源信号読み出し部１１と、音声素片辞書１０の中から、音韻記号に対応する音声素片とその第２の先行区間とを含む圧縮スペクトルを読み出す圧縮スペクトル読み出し部１２と、これら圧縮音源信号と圧縮スペクトルとを用いて音声波形を得る音声波形伸張部１３と、この音声波形から音声素片の音声波形を抽出する音声波形抽出部４と、この音声素片の音声波形を順次接続して合成音声を生成する音声生成部５とを備え、音声波形伸張部１３は、圧縮音源信号読み出し部１１が読み出した圧縮音源信号を伸張して音源信号を得る音源信号伸張部７と、圧縮スペクトル読み出し部１２が読み出した圧縮スペクトルを伸張してスペクトルを得るスペクトル伸張部８と、これら音源信号とスペクトルとを第３の先行区間と音声素片区間とに渡って合成して音声波形を得る合成部９とを有するように構成した。このため、少ない記憶容量と、少ない処理量で、高い品質の合成音声を生成することができる。

なお、上記実施の形態１〜３において、圧縮音声波形を生成する圧縮方式は、上述したＣＥＬＰ又はＶＳＥＬＰ等に限定されるものではなく、ＭＢＥ（ＭｕｌｔｉＢａｎｄＥｘｃｉｔａｔｉｏｎ）、ＡＡＣ（ＡｄｖａｎｃｅｄＡｕｄｉｏＣｏｄｉｎｇ）等、音声波形又は音響波形を圧縮する任意の圧縮方式を用いることができることは言うまでもない。

また、上記実施の形態１〜３において、圧縮音声波形の分離及び伸張は、上述した圧縮音源信号と圧縮スペクトルに対して行う構成に限定されるものではなく、適用する圧縮方式に応じて、スペクトル包絡の圧縮結果と調波成分の振幅の圧縮結果、低域成分の圧縮結果と高域成分の圧縮結果等、圧縮音声波形に含まれ分離可能な任意の圧縮結果に分離してそれぞれの圧縮結果に適した第１の先行区間及び第２の先行区間を定めて伸張する構成とすることができることは言うまでもない。

また、上記実施の形態１〜３において、第１の先行区間、第２の先行区間、及び第３の先行区間の各区間長は全て正の値をとる（履歴を有する）ものに限定されるものではなく、少なくとも一つの区間の区間長が正であり、他の区間の区間長を０（履歴を有しない）とする構成にすることができることは言うまでもない。

なお、音声合成装置をコンピュータで構成する場合、音声素片辞書１，１０をメモリ等の記憶媒体で構成すると共に、圧縮音声波形読み出し部２、音声波形伸張部３、音声波形抽出部４、音声生成部５、圧縮音声波形分離部６、音源信号伸張部７、スペクトル伸張部８、合成部９、圧縮音源信号読み出し部１１、圧縮スペクトル読み出し部１２、音声波形伸張部１３、の処理内容を記述しているプログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵがメモリに格納されているプログラムを実行するようにしてもよい。

以上のように、この発明に係る音声合成装置は、カーナビゲーションシステム、携帯電話機等に実装されて、任意の文章から人工的に音声信号を生成する製品に適用され、これら製品の処理量、記憶容量の削減が図れる。

１，１０音声素片辞書、２圧縮音声波形読み出し部、３音声波形伸張部、４音声波形抽出部、５音声生成部、６圧縮音声波形分離部、７音源信号伸張部、８スペクトル伸張部、９合成部、１１圧縮音源信号読み出し部、１２圧縮スペクトル読み出し部、１３音声波形伸張部。

Claims

音声素片の音声波形と、当該音声素片に先行する区間の音声波形とを含めて圧縮した圧縮音声波形を格納している音声素片辞書と、
上記音声素片辞書に格納されている圧縮音声波形の中から、入力テキストから得られる音韻記号に対応する音声素片の音声波形とその先行区間の音声波形とを含む圧縮音声波形を読み出す圧縮音声波形読み出し手段と、
上記圧縮音声波形読み出し手段により読み出された圧縮音声波形を伸張して音声波形を得る音声波形伸張手段と、
上記音声波形伸張手段により得た音声波形から音声素片の音声波形を抽出する音声波形抽出手段と、
上記音声波形抽出手段により抽出された音声素片の音声波形を順次接続して合成音声を生成する音声生成手段とを備えた音声合成装置において、
上記音声波形伸張手段は、
上記圧縮音声波形読み出し手段により読み出された圧縮音声波形を、音声波形の音源信号を圧縮した第１の部分圧縮音声波形と当該音声波形のスペクトルを圧縮した第２の部分圧縮音声波形とに分離する圧縮音声波形分離手段と、
上記第１の部分圧縮音声波形のうち、音声素片区間と当該音声素片区間に先行する第１の先行区間とを伸張して第１の伸張データを得る第１の伸張手段と、
上記第２の部分圧縮音声波形のうち、上記音声素片区間と上記音声素片区間に先行する第２の先行区間とを伸張して第２の伸張データを得る第２の伸張手段と、
上記第１の伸張データと上記第２の伸張データとを、第３の先行区間と上記音声素片区間とに渡って合成して音声波形を得る合成手段とを有し、
上記第１の先行区間、上記第２の先行区間、及び上記第３の先行区間のうちの少なくとも一つの区間長が他の区間長と異なることを特徴とする音声合成装置。
音声素片辞書は、音声素片に先行する区間の音声波形のうち、第１の伸張手段又は第２の伸張手段に不要な区間の第１の部分圧縮音声波形又は第２の部分圧縮音声波形を削除した圧縮音声波形を格納していることを特徴とする請求項１記載の音声合成装置。
音声素片の音声波形と、当該音声素片に先行する区間の音声波形とを含めて圧縮した圧縮音声波形を、当該音声素片区間と当該音声素片区間に先行する第１の先行区間とを含む音声波形の音源信号を圧縮した第１の部分圧縮音声波形と、当該音声素片区間と当該音声素片区間に先行し上記第１の先行区間と異なる区間長の第２の先行区間とを含む音声波形のスペクトルを圧縮した第２の部分圧縮音声波形とに分離して格納している音声素片辞書と、
上記音声素片辞書に格納されている第１の部分圧縮音声波形の中から、入力テキストから得られる音韻記号に対応する音声素片とその第１の先行区間とを含む第１の部分圧縮音声波形を読み出す第１の部分圧縮音声波形読み出し手段と、
上記音声素片辞書に格納されている第２の部分圧縮音声波形の中から、上記音韻記号に対応する音声素片とその第２の先行区間とを含む第２の部分圧縮音声波形を読み出す第２の部分圧縮音声波形読み出し手段と、
上記第１の部分圧縮音声波形読み出し手段により読み出された第１の部分圧縮音声波形と、上記第２の部分圧縮音声波形読み出し手段により読み出された第２の部分圧縮音声波形とを用いて、音声波形を得る音声波形伸張手段と、
上記音声波形伸張手段により得た音声波形から音声素片の音声波形を抽出する音声波形抽出手段と、
上記音声波形抽出手段により抽出された音声素片の音声波形を順次接続して合成音声を生成する音声生成手段とを備えた音声合成装置。
音声波形伸張手段は、
第１の部分圧縮音声波形を伸張して第１の伸張データを得る第１の伸張手段と、
第２の部分圧縮音声波形を伸張して第２の伸張データを得る第２の伸張手段と、
上記第１の伸張データと上記第２の伸張データとを、第３の先行区間と音声素片区間とに渡って合成して音声波形を得る合成手段とを有することを特徴とする請求項３記載の音声合成装置。
第１の部分圧縮音声波形に含まれる第１の先行区間の区間長は、第２の部分圧縮音声波形に含まれる第２の先行区間の区間長より長いことを特徴とする請求項１から請求項４のうちのいずれか１項記載の音声合成装置。
音声素片の音声波形と、当該音声素片に先行する区間の音声波形とを含めて圧縮した圧縮音声波形を格納している音声素片辞書から、入力テキストから得られる音韻記号に対応する音声素片の音声波形とその先行区間の音声波形とを含む圧縮音声波形を読み出す圧縮音声波形読み出しステップと、
上記圧縮音声波形読み出しステップにより読み出された圧縮音声波形を伸張して音声波形を得る音声波形伸張ステップと、
上記音声波形伸張ステップにより得た音声波形から音声素片の音声波形を抽出する音声波形抽出ステップと、
上記音声波形抽出ステップにより抽出された音声素片の音声波形を順次接続して合成音声を生成する音声生成ステップとを備えた音声合成方法において、
上記音声波形伸張ステップは、
上記圧縮音声波形読み出しステップにより読み出された圧縮音声波形を、音声波形の音源信号を圧縮した第１の部分圧縮音声波形と当該音声波形のスペクトルを圧縮した第２の部分圧縮音声波形とに分離する圧縮音声波形分離ステップと、
上記第１の部分圧縮音声波形のうち、音声素片区間と当該音声素片区間に先行する第１の先行区間とを伸張して第１の伸張データを得る第１の伸張ステップと、
上記第２の部分圧縮音声波形のうち、上記音声素片区間と上記音声素片区間に先行する第２の先行区間とを伸張して第２の伸張データを得る第２の伸張ステップと、
上記第１の伸張データと上記第２の伸張データとを、第３の先行区間と上記音声素片区間とに渡って合成して音声波形を得る合成ステップとを有し、
上記第１の先行区間、上記第２の先行区間、及び上記第３の先行区間のうちの少なくとも一つの区間長が他の区間長と異なることを特徴とする音声合成方法。
音声素片辞書は、音声素片に先行する区間の音声波形のうち、第１の伸張ステップ又は第２の伸張ステップに不要な区間の第１の部分圧縮音声波形又は第２の部分圧縮音声波形を削除した圧縮音声波形を格納していることを特徴とする請求項６記載の音声合成方法。
音声素片の音声波形と、当該音声素片に先行する区間の音声波形とを含めて圧縮した圧縮音声波形を、当該音声素片区間と当該音声素片区間に先行する第１の先行区間とを含む音声波形の音源信号を圧縮した第１の部分圧縮音声波形と、当該音声素片区間と当該音声素片区間に先行し上記第１の先行区間と異なる区間長の第２の先行区間とを含む音声波形のスペクトルを圧縮した第２の部分圧縮音声波形とに分離して格納している音声素片辞書から、入力テキストから得られる音韻記号に対応する音声素片とその第１の先行区間とを含む第１の部分圧縮音声波形を読み出す第１の部分圧縮音声波形読み出しステップと、
上記音声素片辞書から、上記音韻記号に対応する音声素片とその第２の先行区間とを含む第２の部分圧縮音声波形を読み出す第２の部分圧縮音声波形読み出しステップと、
上記第１の部分圧縮音声波形読み出しステップにより読み出された第１の部分圧縮音声波形と、上記第２の部分圧縮音声波形読み出しステップにより読み出された第２の部分圧縮音声波形とを用いて、音声波形を得る音声波形伸張ステップと、
上記音声波形伸張ステップにより得た音声波形から音声素片の音声波形を抽出する音声波形抽出ステップと、
上記音声波形抽出ステップにより抽出された音声素片の音声波形を順次接続して合成音声を生成する音声生成ステップとを備えた音声合成方法。
音声波形伸張ステップは、
第１の部分圧縮音声波形を伸張して第１の伸張データを得る第１の伸張ステップと、
第２の部分圧縮音声波形を伸張して第２の伸張データを得る第２の伸張ステップと、
上記第１の伸張データと上記第２の伸張データとを、第３の先行区間と音声素片区間とに渡って合成して音声波形を得る合成ステップとを有することを特徴とする請求項８記載の音声合成方法。
第１の部分圧縮音声波形に含まれる第１の先行区間の区間長は、第２の部分圧縮音声波形に含まれる第２の先行区間の区間長より長いことを特徴とする請求項６から請求項９のうちのいずれか１項記載の音声合成方法。