JP3756864B2

JP3756864B2 - 音声合成方法と装置及び音声合成プログラム

Info

Publication number: JP3756864B2
Application number: JP2002287366A
Authority: JP
Inventors: 勝美土谷; 岳彦籠嶋
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-09-30
Filing date: 2002-09-30
Publication date: 2006-03-15
Anticipated expiration: 2022-09-30
Also published as: JP2004126011A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばテキスト合成に用いられる音声合成方法と装置及びプログラムに係り、特に有声音の音声合成技術に関する。
【０００２】
【従来の技術】
音声合成方式の一つである規則合成方式は、入力された韻律情報から自動的に合成音声信号を生成する技術である。規則合成方式では、音韻記号列、音韻継続時間長、ピッチパターン及びパワーなどの韻律情報に従って、音声素片記憶部に記憶されている音節、音素及び１ピッチ区間などの小さな単位（これを音声素片という）の特徴パラメータを選択し、これらをピッチや継続時間長の制御を行った後に接続することにより、合成音声信号を生成する。規則合成方式による音声合成技術は、例えば任意の文章（テキスト）から人工的に音声を作り出すテキスト合成に使用される。
【０００３】
このような規則合成方式による音声合成技術では、合成音声信号の品質を向上させるために、代表音声素片の特徴パラメータには、音声データから切り出した音声波形や、それを分析して得られる音源信号と合成フィルタの特性を表す係数との組が用いられることが多い。
【０００４】
例えば、音声データから切り出した音声波形を音声素片として用いる前者の音声合成技術では、まずテキスト合成に供されるテキストの文解析で得られた音韻記号列、音韻継続時間長、ピッチパターン及びパワーなどの韻律情報に従って音声素片辞書から音声素片が選択される。選択された音声素片に対して、入力された韻律情報に従ってピッチ及び音韻継続時間長の制御が行われた後、それらの音声素片が接続されることにより合成音声信号が生成される。
【０００５】
ここで、韻律情報に基づくピッチや音韻継続時間長の制御は、音声素片に格納されている単位波形の繰り返しや間引きなどによって実現される。一般には、有声音ではピッチ波形が単位波形として用いられ、無声音では予め決定した長さに分割された波形が単位波形として用いられる。
【０００６】
【発明が解決しようとする課題】
従来の音声合成技術では、同一の単位波形が繰り返されると合成音声の自然性が低下するという問題が生じる。これは、同一の単位波形の繰り返しが原因で本来周期性が弱くなるべき帯域の周期性が強調され、その結果、合成音声のブザー感が増加し、合成音声の自然性が損なわれるからである。同一の単位波形の繰り返しが行われない場合でも、音声素片の作成上の問題などで隣り合う単位波形の位相がそろっている場合（周期性が強調されている場合）には、同様の理由で合成音声の自然性が低下することがある。
【０００７】
特開平５−１０８０９５号公報（特許文献１）では、無声音の合成音声生成時に音声素片波形に対して位相ランダム化の処理を行い、位相ランダム化された音声素片波形をずらしながら加算もしくは重畳することにより、無声音の自然性を向上させる技術が開示されている。しかしながら、有声音に対する有効な解決手段は知られていない。
【０００８】
従って、本発明は自然な有声音を生成する音声合成方法と装置及び音声合成プログラムを提供することを目的とする。
【０００９】
【特許文献１】
特開平５−１０８０９５号公報
【００１０】
【課題を解決するための手段】
上記の課題を解決するため、本発明では複数の音声素片からなる音声素片辞書から選択された音声素片を接続することによって合成音声信号を生成する際に、合成音声信号の有声音の位相をランダム化させる処理を行う。合成音声信号の有声音の位相をランダム化させることによって、必要以上に周期性が強くなっている部分の周期性を弱めることでき、合成音声信号がより自然なものとなる。
【００１１】
周期性の強弱はすべての帯域で同じではなく、強い周期性が望ましい帯域もあれば弱い周期性が望ましい帯域もある。弱い周期性が望ましい帯域のみ位相のランダム化を行えば、合成音声信号はより自然なものになる。一般には、高域に強い周期性が存在すると合成音声信号にブザー感が生じることが多く、位相のランダム化を行う帯域を高域に特定することで簡単に効果が得られる。また、周期性の強弱はすべての素片で同じではなく素片毎に異なっているため、音声素片毎に位相のランダム化を制御することで更なる改善が得られる。
【００１２】
位相のランダム化は、韻律制御で繰り返しあるいは間引きが行われた単位波形に対して行われることが望ましいが、合成音声信号の生成の際の計算量を削減するため、予め位相のランダム化を行った音声素片を音声素片辞書として記憶部に格納しておくことも可能であり、音声素片の作成上の問題などで音声素片の隣り合う単位波形の周期性が必要以上に強くなっている場合に効果がある。
【００１３】
本発明に係る音声合成装置は、複数の音声素片からなる音声素片辞書を記憶した音声素片記憶部と、音声素片辞書から入力された韻律情報に対応する音声素片を選択する素片選択部と、選択された音声素片に含まれる有声音の位相をランダム化する手段と、韻律情報に従って音声素片の韻律を制御する韻律制御部と、韻律が制御された音声素片を接続して合成音声信号を生成する素片接続部とを具備する。
【００１４】
さらに、本発明によると、予め記憶した複数の音声素片からなる音声素片辞書から韻律情報に対応する音声素片を選択する処理と、選択された音声素片に含まれる有声音の位相をランダム化する処理と、韻律情報に従って音声素片の韻律を制御する処理と、韻律が制御された音声素片を接続して合成音声信号を生成する処理とをコンピュータに行わせるための音声合成プログラムが提供される。
【００１５】
【発明の実施の形態】
（第１の実施形態）
図１に、本発明の第１の実施形態に係る音声合成システムの構成を示す。この音声合成システムは素片選択部１１、音声素片辞書を構成する複数の音声素片が格納されている音声素片記憶部１２、韻律制御部１０、音声素片の接続を行って合成音声信号を生成する素片接続部１４、有声音と無声音の切り替えを行う切替部１７及び有声音の位相ランダム化処理を行う位相ランダム化処理部１３から構成されている。
【００１６】
本実施形態の音声合成システムの動作をテキスト合成の場合を例にとって、図２に示すフローチャートを用いて説明する。まず、図示しない文解析・韻律情報生成部においてテキスト合成に供されるテキストの文解析が行われ、これにより音韻記号列、音韻継続時間長、ピッチパターン及びパワーなどの韻律情報が生成される。こうして生成される韻律情報１００は、韻律制御部１０及び素片選択部１１に入力される（ステップＳ１）。
【００１７】
素片選択部１１では、入力された韻律情報１００に従って音声素片１０４が音声素片記憶部１２から選択される（ステップＳ２）。選択された音声素片１０４は韻律制御部１０に供給され、韻律制御部１０では入力された韻律情報１００に従って素片選択部１１から供給された音声素片１０４に対して、韻律制御、例えばピッチ及び音韻継続時間長の制御が行われる（ステップＳ３）。
【００１８】
韻律制御部１０によるピッチや音韻継続時間長の制御は、有声音部では図３に示されるように音声素片３０１，３０２に格納されているピッチ波形の繰り返しや間引きなどによって実現される。一方、無声音部での韻律制御部１０による音韻継続時間長の制御は、音韻継続時間長の雑音音源を音声素片１０２より決定されるフィルタ係数をもつ合成フィルタに通すことによって実現される。
【００１９】
こうして韻律制御部１０によってピッチや音韻継続時間長が制御された音声素片１０１のうち、有声音部は位相ランダム化処理部１３で位相のランダム化が行われる（ステップＳ４）。
【００２０】
位相のランダム化が行われた後の有声音部の音声素片１０２は、切替部１７を介して素片接続部１４に供給される。一方、無声音部は韻律制御部１０から切替部１７を介して素片接続部１４へ供給される。素片接続部１４では、有声音部の位相がランダム化された音声素片１０２が接続され、合成音声信号１０３が生成される（ステップＳ５）。
【００２１】
次に、本実施形態の特徴的な部分である位相ランダム化処理部１３について、図４及び図５を参照しながら詳細に述べる。
図４は、位相ランダム化処理部１３の具体的な構成例を示している。図４の位相ランダム化処理部は、ＦＴＴ（高速フーリエ変換）処理部２０，２４、雑音信号発生部２３、位相変換部２１及びＩＦＦＴ（逆高速フーリエ変換）処理部２２から構成される。
【００２２】
位相ランダム化処理部には、音声素片の有声音部に相当する単位波形（以下、ピッチ波形という）２００が入力される。ピッチ波形２００は、ＦＦＴ処理部２０によってＦＦＴ処理が行われ、フーリエ係数２０１が生成される。一方、雑音信号発生部２３で生成された雑音信号２０４についても、同様にＦＦＴ処理部２４によってＦＦＴ処理が行われ、フーリエ係数２０５が生成される。
【００２３】
位相変換部２１では、予め設定された帯域（周期性が弱くなるべき帯域）に対して、ピッチ波形２００に対応するフーリエ係数２０１の位相を雑音信号２０４に対応するフーリエ係数２０５の位相で置き換えることによって、新たなフーリエ係数２０２を生成する。位相変換部２１により特定帯域の位相が置き換えられたピッチ波形のフーリエ係数２０２は、ＩＦＦＴ処理部２２によってＩＦＦＴ処理され、特定帯域の位相がランダム化されたピッチ波形２０３が生成される。
【００２４】
こうして得られたピッチ波形２０３は、前述した韻律制御部１０での韻律制御によりピッチ波形の繰り返しが行われていても、周期性が弱くなるべき帯域では位相のランダム化の効果により周期性が弱まるので、合成音声信号１０３のブザー感は削減され、自然性が向上する。
【００２５】
図５を用いて、この効果を説明する。位相ランダム化処理を行わない合成音声のスペクトルの例を図５（ａ）に示し、それに対する自然音声のスペクトルの例を図５（ｂ）に示す。自然音声は、図５（ｂ）に示されるように高域部分の周期性が弱く無声音化している。これに対し、位相ランダム化処理を行わない合成音声信号では、図５（ａ）に示されるように全帯域で周期性が強くなっており、高域部分の周期性が合成音声のブザー感の原因となる。本実施形態では、この高域部分の帯域の位相をランダム化処理することによって、合成音声信号１０３のスペクトルを自然音声のスペクトルに近づけることができる。すなわち、合成音声信号１０３のブザー感が削減され、自然性が向上するという効果が得られる。
【００２６】
図６には、位相ランダム化処理部１３の他の具体的な構成例を示す。帯域別の周期性の強弱は音声素片毎に異なっているため、音声素片毎に位相ランダム化処理を行う帯域を決定すると、合成音声信号１０３のさらなる自然性の向上が得られる。図３に示す位相ランダム化処理部１３は、このように音声素片毎の位相ランダム化処理の制御を行う例であり、図５の構成に位相ランダム化処理を行う帯域を選択する帯域選択部２５が追加された構成となっている。
【００２７】
帯域選択部２５は、音韻情報などの情報に基づいて位相ランダム化処理を行う帯域を選択し、その結果を位相変換部２１に供給する。音声素片に位相ランダム化処理を行う帯域のみの情報を格納し、その情報を直接に位相変換部２１へ供給することも可能であり、その場合は帯域選択部２５を省略することができる。
【００２８】
位相変換部２１では、このようにして設定された特定の帯域についてのみ、ピッチ波形２００に対応するフーリエ係数２０１の位相を雑音信号２０４に対応するフーリエ係数２０５の位相で置き換えて新たなフーリエ係数２０２を生成することにより、位相ランダム化処理を行う。
【００２９】
このように本実施形態では、音声素片毎に位相ランダム化処理を行う帯域を設定することにより、合成音声信号１０３の自然性をより一層向上させることができる。
【００３０】
（第２の実施形態）
図７に、本発明の第２の実施形態に係る音声合成システムの構成を示す。図１と相対応する部分に同一符号を付して、第１の実施形態との相違点を中心に説明する。第１の実施形態では、音声素片記憶部１１に格納されている音声素片が音声波形で表されているのに対し、本実施形態では、音声素片は音源信号と合成フィルタの特性を表す係数との組で表されており、さらに素片接続部１４の後に合成フィルタ処理部１５が追加された構成となっている。
【００３１】
従って、本実施形態では位相ランダム化処理部１３による音声素片の位相ランダム化処理は、合成フィルタ処理部１５で処理される前の音源信号、例えば韻律制御部１０から出力される韻律制御された残差信号の音声素片１１１に対して行われる。このようにして位相ランダム化処理された韻律制御後の残差信号の音声素片１１２が切替部１７を介して素片接続部１４に入力され、ここで生成された位相ランダム化残差信号１１３が合成フィルタ部１５によって処理されることにより、合成音声信号１０３が生成される。
【００３２】
このように音声素片を音源信号と合成フィルタの特性を表す係数との組で表す音声合成システムにおいて、合成フィルタ処理前の音源信号に対して音声素片の位相ランダム化処理を行うようにしても、第１の実施形態と同様の効果が得られることは明らかである。
【００３３】
（第３の実施形態）
図８は、第２の実施形態を変形した本発明の第３の実施形態に係る音声合成システムであり、素片接続部１４の後段に位相ランダム化処理部１３を配置し、音声素片接続後の残差信号１１４に対して位相ランダム化処理を行う構成となっている。本実施形態によっても、第１の実施形態と同様の効果が得られることは明らかである。
【００３４】
（第４の実施形態）
図９に、本発明の第４の実施形態に係る音声合成システムの構成を示す。図１と相対応する部分に同一符号を付して、第１の実施形態との相違点を中心に説明する。第１の実施形態では、韻律制御されたピッチ波形に対して位相ランダム化処理が行われているのに対し、本実施形態では予めピッチ波形の位相をランダム化処理した音声素片１２０を位相ランダム化音声素片記憶部１６に格納した構成となっている。
【００３５】
本実施形態によると、予めオフラインで音声素片の位相ランダム化処理を行っておくことで、ピッチ波形の位相ランダム化処理をオンラインで行う必要がないため、合成音声信号生成時の計算量を削減できるという利点がある。本実施形態では、韻律制御でのピッチ波形の繰り返しが原因で合成音声信号の周期性が必要以上に強調される問題に対しては効果はないが、音声素片作成上の問題などによって、記憶されている音声素片の隣り合うピッチ波形の周期性が必要以上に強くなっている場合には効果があり、基本的に第１の実施形態と同様の効果が得られることは明らかである。
【００３６】
（第５の実施形態）
図１０は、第１の実施形態を変形した本発明の第５の実施形態に係る音声合成システムであり、位相ランダム化処理部１３を素片接続部１４の後段に配置し、合成音声信号１０５の有声音部に対して位相ランダム化処理を行う構成となっている。この場合、有声音と無声音の切り替えを行う切替部１７は、位相ランダム化処理部１３の後に配置される。このように音声素片を接続して得られる合成音声信号１０５に対して有声音の位相ランダム化を行っても、第１の実施形態と同様の効果が得られることはいうまでもない。
【００３７】
以上、本発明の実施形態を幾つか説明したが、本発明は上述した実施形態に限られるものではなく、種々変形して実施が可能である。例えば、上記実施形態では、位相ランダム化処理部はピッチ波形のフーリエ係数の位相を雑音信号のフーリエ係数の位相と入れ替える構成になっているが、ピッチ波形のフーリエ係数の位相に雑音を付加する構成にすることもできる。
【００３８】
また、上記実施形態では位相ランダム化処理は、合成音声信号の生成前に行われているが、隣り合うピッチ波形の位相をランダム化できる構成であればそれに限定されない。
【００３９】
さらに、上記実施形態では無声音部に対しては位相ランダム化処理を行わない構成になっているが、少なくとも有声音部において位相ランダム化が行われるような構成であればよく、無声音部に対しても位相ランダム化処理を行う構成としてもよい。
【００４０】
上述した本発明に基づく音声合成処理は、ハードウェアより実現することも可能であるが、コンピュータを用いてソフトウェア処理により実現することも可能である。従って、本発明によれば上述した音声合成処理をコンピュータに行わせるためのプログラムを提供することもできる。
【００４１】
【発明の効果】
以上説明したように、本発明によれば合成音声信号の有声音の位相をランダム化させる処理を行うことにより、自然性に優れた合成音声を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る音声合成方法の第１の実施形態を説明するための音声合成システムの構成を示すブロック図
【図２】同実施形態における音声符号化処理の手順を説明するためのフローチャート
【図３】音声素片の韻律制御の方法を示す図
【図４】位相ランダム化処理部の具体的構成例を示すのブロック図
【図５】位相ランダム化処理部の他の具体的構成例を示すブロック図
【図６】位相ランダム化処理における周波数スペクトルの変化を表す図
【図７】本発明に係る音声合成方法の第２の実施形態を説明するための素片辞書符号化系の構成を示すブロック図
【図８】本発明に係る音声合成方法の第３の実施形態を説明するための音声合成システムの構成を示すブロック図
【図９】本発明に係る音声合成方法の第４の実施形態を説明するための音声合成システムの構成を示すブロック図
【図１０】本発明に係る音声合成方法の第５の実施形態を説明するための音声合成システムの構成を示すブロック図
【符号の説明】
１０…韻律制御部
１１…素片選択部
１２…音声素片記憶部
１３…位相ランダム化処理部
１４…素片接続部
１５…合成フィルタ部
１６…位相ランダム化音声素片記憶部
１７…切替部
２０…ＦＦＴ処理部
２１…位相変換部
２２…ＩＦＦＴ処理部
２３…雑音信号発生部
２４…ＦＦＴ処理部
２５…帯域選択部
１００…韻律情報
１０１…韻律制御音声素片
１０２…位相ランダム韻律制御音声素片
１０３…位相ランダム合成音声信号
１０４…音声素片
１０５…合成音声信号
１１１…韻律制御残差音声素片
１１２…位相ランダム韻律制御残差音声素片
１１３…位相ランダム残差信号
１１４…残差信号
１２０…位相ランダム音声素片
２００…単位波形
２０１…単位波形フーリエ係数
２０２…位相ランダム単位波形フーリエ係数
２０３…位相ランダム単位波形
２０４…雑音信号
２０５…雑音信号フーリエ係数

Claims

複数の音声素片からなる音声素片辞書から、入力された韻律情報に対応する音声素片を選択するステップと、
選択された音声素片に含まれる有声音の位相をランダム化するステップと、
選択された音声素片の韻律を前記韻律情報に従って制御するステップと、
前記有声音の位相がランダム化されかつ前記韻律情報に従って韻律が制御された音声素片を接続することによって合成音声信号を生成するステップとを具備する音声合成方法。
有声音の位相がランダム化された複数の音声素片からなる音声素片辞書から、入力された韻律情報に対応する音声素片を選択するステップと、
選択された音声素片の韻律を前記韻律情報に従って制御するステップと、
前記韻律情報に従って韻律が制御された音声素片を接続することによって合成音声信号を生成するステップと
を具備する音声合成方法。
前記有声音の位相のランダム化を前記有声音の特定帯域の位相について行う請求項１または２のいずれか１項に記載の音声合成方法。
前記有声音の特定帯域の位相のランダム化を前記音声素片毎に制御する請求項３に記載の音声合成方法。
前記有声音の位相のランダム化を、前記音声素片の有声音に相当する単位波形のフーリエ変換により得られるフーリエ係数の位相を雑音信号のフーリエ変換により得られるフーリエ係数の位相と入れ替えるか、または前記音声素片の有声音に相当する単位波形をフーリエ変換して得られるフーリエ係数の位相に雑音を付加することにより行う請求項１乃至４のいずれか１項に記載の音声合成方法。
複数の音声素片からなる音声素片辞書を記憶した音声素片記憶部と、
前記音声素片辞書から、入力された韻律情報に対応する音声素片を選択する素片選択部と、
選択された音声素片に含まれる有声音の位相をランダム化する手段と、
前記選択された音声素片の韻律を前記韻律情報に従って制御する韻律制御部と、
前記有声音の位相がランダム化されかつ前記韻律情報に従って韻律が制御された音声素片を接続して合成音声信号を生成する素片接続部と
を具備する音声合成装置。
有声音の位相がランダム化された複数の音声素片からなる音声素片辞書を記憶した音声素片記憶部と、
前記音声素片辞書から、入力された韻律情報に対応する音声素片を選択する素片選択部と、
選択された音声素片の韻律を前記韻律情報に従って制御する韻律制御部と、
前記韻律情報に従って韻律が制御された音声素片を接続して合成音声信号を生成する素片接続部と
を具備する音声合成装置。
予め記憶した複数の音声素片からなる音声素片辞書から韻律情報に対応する音声素片を選択する処理と、
選択された音声素片に含まれる有声音の位相をランダム化する処理と、
選択された音声素片の韻律を前記韻律情報に従って制御する処理と、
前記有声音の位相がランダム化されかつ韻律が制御された音声素片を接続して合成音声信号を生成する処理とをコンピュータに行わせるための音声合成プログラム。
有声音の位相がランダム化された複数の音声素片からなる音声素片辞書から、指定された韻律情報に対応する音声素片を選択する処理と、
選択された音声素片の韻律を前記韻律情報に従って制御する処理と、
韻律が制御された音声素片を接続して合成音声信号を生成する処理とをコンピュータに行わせるための音声合成プログラム。