JP4639527B2 - 音声合成装置および音声合成方法 - Google Patents
音声合成装置および音声合成方法 Download PDFInfo
- Publication number
- JP4639527B2 JP4639527B2 JP2001155841A JP2001155841A JP4639527B2 JP 4639527 B2 JP4639527 B2 JP 4639527B2 JP 2001155841 A JP2001155841 A JP 2001155841A JP 2001155841 A JP2001155841 A JP 2001155841A JP 4639527 B2 JP4639527 B2 JP 4639527B2
- Authority
- JP
- Japan
- Prior art keywords
- phoneme
- arrangement
- unit
- speech
- synthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は音声合成装置および音声合成方法に関し、特に合成する音声の各音素の継続時間長を制御することにより、合成する音声の自然性を損なわせないことを可能とする、音声合成装置および音声合成方法に関する。
【０００２】
【従来の技術】
従来より、人工的手段によって音声を出力する音声合成の分野において、音声を合成する１つの手法として、音声の音素の列から構成される合成単位を予め記憶装置などに記憶させておき、音声として出力すべき文を記述する発音記号列が入力された際に、該発音記号列を音素の連なりとして分解し、分解した音素の連なりにそれぞれ該当する合成単位を複数選択して連結し、連結した合成単位を基に連続した音声を合成していく手法が知られている。
【０００３】
そして、音声を合成する際には、音素の継続時間長を適切に制御することが、合成される音声の自然性に大きな影響を及ぼすことが知られており、音素の継続時間長を制御する際には、予め記憶装置などに記憶、蓄積されている合成単位の一部を間引いて合成単位を短くしたり、合成単位を繰り返し用いて長くする、などの手法により、音素の継続時間長を制御して音声の合成を行っていた。
【０００４】
【発明が解決しようとする課題】
上述した従来の音声合成の手法は、発音記号列から求めた音素の継続時間長に対して、合成単位が短い場合には、合成単位の一部を繰り返して利用することで長く引き伸ばしを行うため、合成した音声のノイズ感が強調されてしまうなど音質的な問題点を有していた。
【０００５】
また、合成単位の時間長に合わせて継続時間長を短くして詰めていくと、全体の発話のテンポがずれて、不自然なリズムになってしまうという問題点を有していた。
【０００６】
本発明の目的は、発音記号列から求められた継続時間長に合わせて、合成単位の時間長を変更して音声を合成することによる音質の劣化を回避することを可能とする、音声合成装置および音声合成方法を提供することにある。
【０００７】
【課題を解決するための手段】
本発明の音声合成装置は、音声で読み上げるべき文を表す発音記号列を入力する発音記号列入力端子と、前記発音記号列入力端子に接続し、前記発音記号列の各音素ごとの継続時間長を音素長として算出する継続時間長制御手段と、前記継続時間長制御手段と接続し、前記継続時間長制御手段から受信する前記音素長に従って時間軸上の各音素の位置を音素配置として求める音素配置手段と、音声を合成するための単位であるところの合成単位を記憶する合成単位記憶手段と、前記音素配置手段と前記合成単位記憶手段とに接続し、前記音素配置と前記合成単位から合成に使用する合成単位を選択して選択単位とする合成単位選択手段と、前記音素配置手段と前記合成単位選択手段とに接続し、前記音素長が、前記選択単位ごとに決められた音素長の最大値を越えた場合には、子音−母音の境界位置は変更せずに、子音開始位置と母音終了位置を変更することによって前記音素配置を修正した修正音素配置を求める音素配置修正手段と、前記合成単位選択手段と前記音素配置修正手段とに接続し、前記修正音素配置に基づき前記音声で読み上げるべき文を音声合成して合成音声出力端子に出力する音声合成手段と、を備えることを特徴とする。
【０００８】
また、前記音声合成手段は、前記修正音素配置において音素間に隙間ができた場合には、音素開始位置および音素終了位置における合成すべき音声のパワーの判定を行い、前記音素開始位置および前記音素終了位置のパワーが決められたパワーよりも小さい場合に前記修正音素配置に基づいて前記音声で読み上げるべき文を音声合成する、ことを特徴とする。
【０００９】
さらに、前記音声合成手段は、前記修正音素配置において音素間に隙間ができた場合には、音素開始位置および音素終了位置において漸近的にパワーが０になるような補間処理を行うことを特徴とする。
【００１０】
また、前記音素配置修正手段に接続し、前記音素配置修正手段の求めた前記修正音素配置において音素間に隙間ができた場合には、前記合成単位記憶手段から再度合成単位を選択し直して修正選択単位とする合成単位選択修正手段を備え、前記音声合成手段は、前記合成単位選択修正手段と前記音素配置修正手段とに接続し、前記修正選択単位に基づいて前記音声で読み上げるべき文を音声合成して前記合成音声出力端子に出力することを特徴とする。
【００１１】
さらに、前記音素配置修正手段は、前記音素長が使用する音素ごとに決められた音素長の最大値を越えた場合には、子音と母音の境界位置を、使用する音素の組合わせごとに決められた範囲内で移動させる処理を加えることによって、前記音素配置を修正することを特徴とする。
【００１２】
本発明の音声合成方法は、音声で読み上げるべき文を表す発音記号列を入力するステップと、前記発音記号列の各音素ごとの継続時間長を音素長として算出するステップと、前記音素長に従って時間軸上の各音素の位置を音素配置として求めるステップと、前記音素配置と予め記憶されている合成単位から合成に使用する合成単位を選択して選択単位とするステップと、前記音素長が、前記選択単位ごとに決められた音素長の最大値を越えた場合には、子音−母音の境界位置は変更せずに、子音開始位置と母音終了位置を変更することによって前記音素配置を修正した修正音素配置を求めるステップと、前記修正音素配置に基づき前記音声で読み上げるべき文を音声合成して出力するステップと、を有することを特徴とする。
【００１３】
また、前記修正音素配置において音素間に隙間ができた場合には、音素開始位置および音素終了位置における合成すべき音声のパワーの判定を行い、前記音素開始位置および前記音素終了位置のパワーが決められたパワーよりも小さい場合に前記修正音素配置に基づいて前記音声で読み上げるべき文を音声合成する、ことを特徴とする。
【００１４】
さらに、前記修正音素配置において音素間に隙間ができた場合には、音素開始位置および音素終了位置において漸近的にパワーが０になるような補間処理を行うことを特徴とする。
【００１５】
また、前記修正音素配置において音素間に隙間ができた場合には、前記予め記憶されている合成単位から再度合成単位を選択し直して修正選択単位とし、前記修正選択単位に基づいて前記音声で読み上げるべき文を音声合成して出力することを特徴とする。
【００１６】
さらに、前記音素長が使用する音素ごとに決められた音素長の最大値を越えた場合には、子音と母音の境界位置を、使用する音素の組合わせごとに決められた範囲内で移動させる処理を加えることによって、前記音素配置を修正することを特徴とする。
【００１７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１８】
図１は本発明の音声合成装置の一実施形態を示すブロック図である。
【００１９】
図１に示す本実施の形態は、音声で読み上げるべき文を表す発音記号列を入力する発音記号列入力端子１０１と、発音記号列入力端子１０１に接続し、前記発音記号列の各音素ごとの継続時間長を音素長として算出する継続時間長制御部１０２と、継続時間長制御部１０２と接続し、継続時間長制御部１０２から受信する前記音素長に従って時間軸上の各音素の位置を音素配置として求める音素配置部１０３と、音声を合成するための単位であるところの合成単位を記憶する合成単位記憶部１０４と、音素配置部１０３と合成単位記憶部１０４とに接続し、前記音素配置と前記合成単位から合成に使用する合成単位を選択して選択単位とする合成単位選択部１０５と、音素配置部１０３と合成単位選択部１０５とに接続し、前記音素長が、前記選択単位ごとに決められた音素長の最大値を越えた場合には、子音−母音の境界位置は変更せずに、子音開始位置と母音終了位置を変更することによって前記音素配置を修正した修正音素配置を求める音素配置修正部１０６と、合成単位選択部１０５と音素配置修正部１０６とに接続し、前記修正音素配置に基づき前記音声で読み上げるべき文を音声合成して合成音声出力端子１０８に出力する音声合成部１０７と、から構成されている。
【００２０】
次に、本実施形態の動作について説明する。
【００２１】
先ず、発音記号列入力端子１０１から合成した音声で読み上げるべき文を表す発音記号列を入力し、継続時間長制御部１０２に送る。なお、以降の動作説明における具体例を示すため、音声で読み上げるべき文を表す発音記号列が「Ｓａｂｉ：さび」であるものと仮定しておく。
【００２２】
継続時間長制御部１０２は、発音記号列で表される音素の連鎖に基づいて、各音素の継続時間長を計算し音素長として音素配置部１０３に送る。音素配置部１０３では音素長に基づき、各音素を時間軸上に配置し、その結果を音素配置として音素配置修正部１０６及び合成単位選択部１０５に送る。
【００２３】
合成単位記憶部１０４は、音声を合成するための単位であるところの合成単位を複数蓄えている。合成単位選択部１０５は、発音記号列入力端子１０１から入力した発音記号列（具体例として上述した、「Ｓａｂｉ」）を音声に変換するために必要な合成単位を、音素配置部１０３からの音素配置に基づいて合成単位記憶部１０４から読み出して選び出し、選択単位として、音素配置修正部１０６及び音声合成部１０７に送る。なお、合成単位選択部１０４から選び出した合成単位は、「Ｓａ」と「ｂｉ」であったものとし、これらが選択単位となったものとする。
【００２４】
音素配置修正部１０６では、音素配置部１０３から送られた音素配置から音素長を検出し、音素長が選択単位ごとに決められた最大値を越えた場合には、子音−母音の境界位置は変更せずに、子音開始位置あるいは母音終了位置をずらして音素長を短くし、短く修正した音素配置を修正音素配置として音声合成部１０７に送る。音素配置修正部１０６の動作の具体例について図２を参照して説明する。
【００２５】
図２は、音素配置修正部の動作の具体例を模式的に示す図である。
【００２６】
図２において、（１）は発音記号列「Ｓａｂｉ」を示しており、該発音記号列の音素配置を（２）に模式的に示している。（２）音素配置の横軸は時間軸ｔであり、縦軸は音声パワーを模式的に示したものである。該発音記号列を音素に分解すると、「Ｓ」「ａ」「ｂ」「ｉ」の４つの音素で構成される。このうち、「Ｓ」および「ｂ」は子音であり、「ａ」および「ｉ」は母音である。そして、音素「Ｓ」は、時間ｔ０からｔ２まで、音素「ａ」は、時間ｔ２からｔ４まで、音素「ｂ」は、時間ｔ４からｔ６まで、音素「ｉ」は、時間ｔ６からｔ８までそれぞれ続いているものであるとする。
【００２７】
ここで、音素「Ｓ」の継続時間長はＴ０であり、また、選択単位が「Ｓａ」の場合に音素「Ｓ」に決められている最大値はＴ１（Ｔ１＜Ｔ０）であったものとする。「Ｓ」の音素長Ｔ０が決められている最大値Ｔ１を超えているため、音素配置修正部１０６は子音開始位置ｔ０を、図２の（３）修正音素配置に示すように、ｔ１までずらして短くする動作をおこなう。このとき、子音−母音の境界位置ｔ２は変更しない。また、音素「ａ」の継続時間長はＴ２であり、選択単位が「Ｓａ」の場合に音素「ａ」について決められている最大値はＴ３（Ｔ３＜Ｔ２）であったものとする。「ａ」の音素長Ｔ２が決められている最大値Ｔ３を越えているため、母音の終了位置ｔ４をｔ３までずらして短くする。このときも、子音−母音の境界位置ｔ２は変更しない。また、音素「ｂ」の継続時間長Ｔ４及び音素「ｉ」の継続時間長Ｔ６は、選択単位が「ｂｉ」の場合に音素「ｂ」、「ｉ」にそれぞれ決められている最大値を越えていないものとする。この場合、音素配置修正部１０６は、音素「ｂ」、「ｉ」に対しては継続時間長を短くする動作をおこなわずそのままにしておく。
【００２８】
音素配置修正部１０６が修正音素配置を音声合成部１０７に送ると、音声合成部１０７は、修正音素配置に基づいて合成音声で読み上げるべき文を音声合成し、合成音声出力端子１０８から出力する。
【００２９】
次に、本発明の第２の実施形態について説明する。
【００３０】
本発明の第２の実施形態は、図１に示した第１の実施形態における音声合成部１０７の動作を変更したものである。
【００３１】
音素配置修正部１０６において音素配置を修正すると、音素間に隙間ができることがある。この場合には、隙間の区間（例えば、図２のｔ３とｔ４の間）には無音が挿入されることとなるが、単に無音を挿入するだけでは急激なパワーギャップができてしまい、合成音声の音質劣化につながる。
【００３２】
そこで、第２の実施形態においては、音声合成部１０７において、パワーギャップの前後の音素終了位置（例えば、図２のｔ３の位置）および音素開始位置（例えば、図２のｔ４の位置）において合成すべき音声のパワーの判定を行い、該位置のパワーが決められたパワーよりも小さい場合に限り、修正音素配置に基づいて音声合成を行うものとする。該位置のパワーが決められたパワーよりも小さくない場合には、修正音素配置ではなく修正前の音素配置を用いて音声合成を行うこととなる。音声合成部１０７がこのように動作することにより、合成音声のパワーギャップはなだらかになり、音質劣化を回避することが可能となる。
【００３３】
次に、本発明の第３の実施形態について説明する。
【００３４】
本発明の第３の実施形態は、図１に示した第１の実施形態における音声合成部１０７の動作を、第２の実施形態に比し更に変更したものである。
【００３５】
第２の実施形態で述べたように、音素配置修正部１０６において音素配置を修正すると、音素間に隙間ができることがあり、この場合には、隙間の区間（例えば、図２のｔ３とｔ４の間）には無音が挿入されることとなるが、単に無音を挿入するだけでは急激なパワーギャップができてしまい、合成音声の音質劣化につながる。
【００３６】
そこで、第３の実施形態においては、音声合成部１０７において、パワーギャップの前後の音素終了位置（例えば、図２のｔ３の位置）および音素開始位置（例えば、図２のｔ４の位置）において、合成すべき音声のパワーが漸近的に０になるような補間処理を行うものとする。音声合成部１０７がこのような補間処理を行うことにより、合成音声のパワーが徐々に０になっていく、或いは、０から徐々に大きくなっていくため急激なギャップが無くなり、音質劣化を回避することが可能となる。
【００３７】
次に、本発明の第４の実施形態について、図３を参照して説明する。
【００３８】
第４の実施形態は、図１に示した第１の実施形態に一部の機能変更と機能追加を行ったものである。
【００３９】
図３は、本発明の音声合成装置の第４の実施形態を示すブロック図である。なお、図３において図１に示す構成要素に対応するものは同一の参照数字または符号を付し、その説明を省略する。
【００４０】
図３において、合成単位選択部１０５と音素配置修正部１０６に接続した合成単位選択修正部２０１を追加し、音声合成部１０７を合成単位選択修正部２０１と音素配置修正部１０６に接続するよう構成している。そして音声合成部１０７の機能を一部変更している。
【００４１】
次に、第４の実施形態の動作について説明する。
【００４２】
合成単位選択修正部２０１では、音素配置修正部１０６において音素配置を修正した結果、音素間に隙間ができた場合に、合成単位記憶部１０４から再度合成単位を選択しなおす。このときの再選択の基準としては、選択対象とする合成単位の隙間に接続する側の音素環境を無音とするなど、無音と接続しても違和感が出ないような合成単位を再選択し、これを修正選択単位として音声合成部１０７に送るものとする。そして音声合成部１０７は、合成単位選択修正部２０１からの修正選択単位と音素配置修正部１０６からの修正音素配置に基づいて音声を合成し、合成音声出力端子１０８から出力する。
【００４３】
次に、本発明の第５の実施形態について説明する。
【００４４】
第５の実施形態は、第１、第２、第３、第４の実施形態の音素配置修正部１０６の動作を変更したものである。
【００４５】
すなわち、音素配置修正部１０６は、音素配置部１０３から送られた音素配置から得られた音素長が、使用する選択単位ごとに決められた音素長の最大値を越えた場合には、子音と母音の境界位置（例えば、図２のｔ２の位置）を、使用する音素の組合わせごとに決められた範囲内で移動させる処理を加え、子音−母音の境界を全体のリズムに影響の無い程度に移動させる動作を行う。この動作により、子音開始位置や母音終了位置を変更する頻度を少なくすることが可能となる。
【００４６】
【発明の効果】
以上説明したように、本発明の音声合成装置および音声合成方法においては、音声で読み上げるべき文を表す発音記号列を入力し、前記発音記号列の各音素ごとの継続時間長を音素長として算出し、前記音素長に従って時間軸上の各音素の位置を音素配置として求め、音素配置と予め記憶されている合成単位から合成に使用する合成単位を選択して選択単位とし、前記音素長が、使用する選択単位ごとに決められた音素長の最大値を越えた場合には、子音開始位置と母音終了位置とを変更することによって前記音素配置を修正した修正音素配置を求め、前記修正音素配置に基づき前記音声で読み上げるべき文を音声合成して出力することができるので、求めた継続時間長に対して合成単位が短い場合でも、発話のテンポを保ちながら、合成単位の時間長を変更して音声を合成することによる音質の劣化を抑えた合成音声の生成が可能となるという効果を有している。
【図面の簡単な説明】
【図１】本発明の音声合成装置の一実施形態を示すブロック図である。
【図２】音素配置修正部の動作の具体例を模式的に示す図である。
【図３】本発明の音声合成装置の第４の実施形態を示すブロック図である。
【符号の説明】
１０１ 発音記号列入力端子
１０２ 継続時間長制御部
１０３ 音素配置部
１０４ 合成単位記憶部
１０５ 合成単位選択部
１０６ 音素配置修正部
１０７ 音声合成部
１０８ 合成音声出力端子
２０１ 合成単位選択修正部
【発明の属する技術分野】
本発明は音声合成装置および音声合成方法に関し、特に合成する音声の各音素の継続時間長を制御することにより、合成する音声の自然性を損なわせないことを可能とする、音声合成装置および音声合成方法に関する。
【０００２】
【従来の技術】
従来より、人工的手段によって音声を出力する音声合成の分野において、音声を合成する１つの手法として、音声の音素の列から構成される合成単位を予め記憶装置などに記憶させておき、音声として出力すべき文を記述する発音記号列が入力された際に、該発音記号列を音素の連なりとして分解し、分解した音素の連なりにそれぞれ該当する合成単位を複数選択して連結し、連結した合成単位を基に連続した音声を合成していく手法が知られている。
【０００３】
そして、音声を合成する際には、音素の継続時間長を適切に制御することが、合成される音声の自然性に大きな影響を及ぼすことが知られており、音素の継続時間長を制御する際には、予め記憶装置などに記憶、蓄積されている合成単位の一部を間引いて合成単位を短くしたり、合成単位を繰り返し用いて長くする、などの手法により、音素の継続時間長を制御して音声の合成を行っていた。
【０００４】
【発明が解決しようとする課題】
上述した従来の音声合成の手法は、発音記号列から求めた音素の継続時間長に対して、合成単位が短い場合には、合成単位の一部を繰り返して利用することで長く引き伸ばしを行うため、合成した音声のノイズ感が強調されてしまうなど音質的な問題点を有していた。
【０００５】
また、合成単位の時間長に合わせて継続時間長を短くして詰めていくと、全体の発話のテンポがずれて、不自然なリズムになってしまうという問題点を有していた。
【０００６】
本発明の目的は、発音記号列から求められた継続時間長に合わせて、合成単位の時間長を変更して音声を合成することによる音質の劣化を回避することを可能とする、音声合成装置および音声合成方法を提供することにある。
【０００７】
【課題を解決するための手段】
本発明の音声合成装置は、音声で読み上げるべき文を表す発音記号列を入力する発音記号列入力端子と、前記発音記号列入力端子に接続し、前記発音記号列の各音素ごとの継続時間長を音素長として算出する継続時間長制御手段と、前記継続時間長制御手段と接続し、前記継続時間長制御手段から受信する前記音素長に従って時間軸上の各音素の位置を音素配置として求める音素配置手段と、音声を合成するための単位であるところの合成単位を記憶する合成単位記憶手段と、前記音素配置手段と前記合成単位記憶手段とに接続し、前記音素配置と前記合成単位から合成に使用する合成単位を選択して選択単位とする合成単位選択手段と、前記音素配置手段と前記合成単位選択手段とに接続し、前記音素長が、前記選択単位ごとに決められた音素長の最大値を越えた場合には、子音−母音の境界位置は変更せずに、子音開始位置と母音終了位置を変更することによって前記音素配置を修正した修正音素配置を求める音素配置修正手段と、前記合成単位選択手段と前記音素配置修正手段とに接続し、前記修正音素配置に基づき前記音声で読み上げるべき文を音声合成して合成音声出力端子に出力する音声合成手段と、を備えることを特徴とする。
【０００８】
また、前記音声合成手段は、前記修正音素配置において音素間に隙間ができた場合には、音素開始位置および音素終了位置における合成すべき音声のパワーの判定を行い、前記音素開始位置および前記音素終了位置のパワーが決められたパワーよりも小さい場合に前記修正音素配置に基づいて前記音声で読み上げるべき文を音声合成する、ことを特徴とする。
【０００９】
さらに、前記音声合成手段は、前記修正音素配置において音素間に隙間ができた場合には、音素開始位置および音素終了位置において漸近的にパワーが０になるような補間処理を行うことを特徴とする。
【００１０】
また、前記音素配置修正手段に接続し、前記音素配置修正手段の求めた前記修正音素配置において音素間に隙間ができた場合には、前記合成単位記憶手段から再度合成単位を選択し直して修正選択単位とする合成単位選択修正手段を備え、前記音声合成手段は、前記合成単位選択修正手段と前記音素配置修正手段とに接続し、前記修正選択単位に基づいて前記音声で読み上げるべき文を音声合成して前記合成音声出力端子に出力することを特徴とする。
【００１１】
さらに、前記音素配置修正手段は、前記音素長が使用する音素ごとに決められた音素長の最大値を越えた場合には、子音と母音の境界位置を、使用する音素の組合わせごとに決められた範囲内で移動させる処理を加えることによって、前記音素配置を修正することを特徴とする。
【００１２】
本発明の音声合成方法は、音声で読み上げるべき文を表す発音記号列を入力するステップと、前記発音記号列の各音素ごとの継続時間長を音素長として算出するステップと、前記音素長に従って時間軸上の各音素の位置を音素配置として求めるステップと、前記音素配置と予め記憶されている合成単位から合成に使用する合成単位を選択して選択単位とするステップと、前記音素長が、前記選択単位ごとに決められた音素長の最大値を越えた場合には、子音−母音の境界位置は変更せずに、子音開始位置と母音終了位置を変更することによって前記音素配置を修正した修正音素配置を求めるステップと、前記修正音素配置に基づき前記音声で読み上げるべき文を音声合成して出力するステップと、を有することを特徴とする。
【００１３】
また、前記修正音素配置において音素間に隙間ができた場合には、音素開始位置および音素終了位置における合成すべき音声のパワーの判定を行い、前記音素開始位置および前記音素終了位置のパワーが決められたパワーよりも小さい場合に前記修正音素配置に基づいて前記音声で読み上げるべき文を音声合成する、ことを特徴とする。
【００１４】
さらに、前記修正音素配置において音素間に隙間ができた場合には、音素開始位置および音素終了位置において漸近的にパワーが０になるような補間処理を行うことを特徴とする。
【００１５】
また、前記修正音素配置において音素間に隙間ができた場合には、前記予め記憶されている合成単位から再度合成単位を選択し直して修正選択単位とし、前記修正選択単位に基づいて前記音声で読み上げるべき文を音声合成して出力することを特徴とする。
【００１６】
さらに、前記音素長が使用する音素ごとに決められた音素長の最大値を越えた場合には、子音と母音の境界位置を、使用する音素の組合わせごとに決められた範囲内で移動させる処理を加えることによって、前記音素配置を修正することを特徴とする。
【００１７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１８】
図１は本発明の音声合成装置の一実施形態を示すブロック図である。
【００１９】
図１に示す本実施の形態は、音声で読み上げるべき文を表す発音記号列を入力する発音記号列入力端子１０１と、発音記号列入力端子１０１に接続し、前記発音記号列の各音素ごとの継続時間長を音素長として算出する継続時間長制御部１０２と、継続時間長制御部１０２と接続し、継続時間長制御部１０２から受信する前記音素長に従って時間軸上の各音素の位置を音素配置として求める音素配置部１０３と、音声を合成するための単位であるところの合成単位を記憶する合成単位記憶部１０４と、音素配置部１０３と合成単位記憶部１０４とに接続し、前記音素配置と前記合成単位から合成に使用する合成単位を選択して選択単位とする合成単位選択部１０５と、音素配置部１０３と合成単位選択部１０５とに接続し、前記音素長が、前記選択単位ごとに決められた音素長の最大値を越えた場合には、子音−母音の境界位置は変更せずに、子音開始位置と母音終了位置を変更することによって前記音素配置を修正した修正音素配置を求める音素配置修正部１０６と、合成単位選択部１０５と音素配置修正部１０６とに接続し、前記修正音素配置に基づき前記音声で読み上げるべき文を音声合成して合成音声出力端子１０８に出力する音声合成部１０７と、から構成されている。
【００２０】
次に、本実施形態の動作について説明する。
【００２１】
先ず、発音記号列入力端子１０１から合成した音声で読み上げるべき文を表す発音記号列を入力し、継続時間長制御部１０２に送る。なお、以降の動作説明における具体例を示すため、音声で読み上げるべき文を表す発音記号列が「Ｓａｂｉ：さび」であるものと仮定しておく。
【００２２】
継続時間長制御部１０２は、発音記号列で表される音素の連鎖に基づいて、各音素の継続時間長を計算し音素長として音素配置部１０３に送る。音素配置部１０３では音素長に基づき、各音素を時間軸上に配置し、その結果を音素配置として音素配置修正部１０６及び合成単位選択部１０５に送る。
【００２３】
合成単位記憶部１０４は、音声を合成するための単位であるところの合成単位を複数蓄えている。合成単位選択部１０５は、発音記号列入力端子１０１から入力した発音記号列（具体例として上述した、「Ｓａｂｉ」）を音声に変換するために必要な合成単位を、音素配置部１０３からの音素配置に基づいて合成単位記憶部１０４から読み出して選び出し、選択単位として、音素配置修正部１０６及び音声合成部１０７に送る。なお、合成単位選択部１０４から選び出した合成単位は、「Ｓａ」と「ｂｉ」であったものとし、これらが選択単位となったものとする。
【００２４】
音素配置修正部１０６では、音素配置部１０３から送られた音素配置から音素長を検出し、音素長が選択単位ごとに決められた最大値を越えた場合には、子音−母音の境界位置は変更せずに、子音開始位置あるいは母音終了位置をずらして音素長を短くし、短く修正した音素配置を修正音素配置として音声合成部１０７に送る。音素配置修正部１０６の動作の具体例について図２を参照して説明する。
【００２５】
図２は、音素配置修正部の動作の具体例を模式的に示す図である。
【００２６】
図２において、（１）は発音記号列「Ｓａｂｉ」を示しており、該発音記号列の音素配置を（２）に模式的に示している。（２）音素配置の横軸は時間軸ｔであり、縦軸は音声パワーを模式的に示したものである。該発音記号列を音素に分解すると、「Ｓ」「ａ」「ｂ」「ｉ」の４つの音素で構成される。このうち、「Ｓ」および「ｂ」は子音であり、「ａ」および「ｉ」は母音である。そして、音素「Ｓ」は、時間ｔ０からｔ２まで、音素「ａ」は、時間ｔ２からｔ４まで、音素「ｂ」は、時間ｔ４からｔ６まで、音素「ｉ」は、時間ｔ６からｔ８までそれぞれ続いているものであるとする。
【００２７】
ここで、音素「Ｓ」の継続時間長はＴ０であり、また、選択単位が「Ｓａ」の場合に音素「Ｓ」に決められている最大値はＴ１（Ｔ１＜Ｔ０）であったものとする。「Ｓ」の音素長Ｔ０が決められている最大値Ｔ１を超えているため、音素配置修正部１０６は子音開始位置ｔ０を、図２の（３）修正音素配置に示すように、ｔ１までずらして短くする動作をおこなう。このとき、子音−母音の境界位置ｔ２は変更しない。また、音素「ａ」の継続時間長はＴ２であり、選択単位が「Ｓａ」の場合に音素「ａ」について決められている最大値はＴ３（Ｔ３＜Ｔ２）であったものとする。「ａ」の音素長Ｔ２が決められている最大値Ｔ３を越えているため、母音の終了位置ｔ４をｔ３までずらして短くする。このときも、子音−母音の境界位置ｔ２は変更しない。また、音素「ｂ」の継続時間長Ｔ４及び音素「ｉ」の継続時間長Ｔ６は、選択単位が「ｂｉ」の場合に音素「ｂ」、「ｉ」にそれぞれ決められている最大値を越えていないものとする。この場合、音素配置修正部１０６は、音素「ｂ」、「ｉ」に対しては継続時間長を短くする動作をおこなわずそのままにしておく。
【００２８】
音素配置修正部１０６が修正音素配置を音声合成部１０７に送ると、音声合成部１０７は、修正音素配置に基づいて合成音声で読み上げるべき文を音声合成し、合成音声出力端子１０８から出力する。
【００２９】
次に、本発明の第２の実施形態について説明する。
【００３０】
本発明の第２の実施形態は、図１に示した第１の実施形態における音声合成部１０７の動作を変更したものである。
【００３１】
音素配置修正部１０６において音素配置を修正すると、音素間に隙間ができることがある。この場合には、隙間の区間（例えば、図２のｔ３とｔ４の間）には無音が挿入されることとなるが、単に無音を挿入するだけでは急激なパワーギャップができてしまい、合成音声の音質劣化につながる。
【００３２】
そこで、第２の実施形態においては、音声合成部１０７において、パワーギャップの前後の音素終了位置（例えば、図２のｔ３の位置）および音素開始位置（例えば、図２のｔ４の位置）において合成すべき音声のパワーの判定を行い、該位置のパワーが決められたパワーよりも小さい場合に限り、修正音素配置に基づいて音声合成を行うものとする。該位置のパワーが決められたパワーよりも小さくない場合には、修正音素配置ではなく修正前の音素配置を用いて音声合成を行うこととなる。音声合成部１０７がこのように動作することにより、合成音声のパワーギャップはなだらかになり、音質劣化を回避することが可能となる。
【００３３】
次に、本発明の第３の実施形態について説明する。
【００３４】
本発明の第３の実施形態は、図１に示した第１の実施形態における音声合成部１０７の動作を、第２の実施形態に比し更に変更したものである。
【００３５】
第２の実施形態で述べたように、音素配置修正部１０６において音素配置を修正すると、音素間に隙間ができることがあり、この場合には、隙間の区間（例えば、図２のｔ３とｔ４の間）には無音が挿入されることとなるが、単に無音を挿入するだけでは急激なパワーギャップができてしまい、合成音声の音質劣化につながる。
【００３６】
そこで、第３の実施形態においては、音声合成部１０７において、パワーギャップの前後の音素終了位置（例えば、図２のｔ３の位置）および音素開始位置（例えば、図２のｔ４の位置）において、合成すべき音声のパワーが漸近的に０になるような補間処理を行うものとする。音声合成部１０７がこのような補間処理を行うことにより、合成音声のパワーが徐々に０になっていく、或いは、０から徐々に大きくなっていくため急激なギャップが無くなり、音質劣化を回避することが可能となる。
【００３７】
次に、本発明の第４の実施形態について、図３を参照して説明する。
【００３８】
第４の実施形態は、図１に示した第１の実施形態に一部の機能変更と機能追加を行ったものである。
【００３９】
図３は、本発明の音声合成装置の第４の実施形態を示すブロック図である。なお、図３において図１に示す構成要素に対応するものは同一の参照数字または符号を付し、その説明を省略する。
【００４０】
図３において、合成単位選択部１０５と音素配置修正部１０６に接続した合成単位選択修正部２０１を追加し、音声合成部１０７を合成単位選択修正部２０１と音素配置修正部１０６に接続するよう構成している。そして音声合成部１０７の機能を一部変更している。
【００４１】
次に、第４の実施形態の動作について説明する。
【００４２】
合成単位選択修正部２０１では、音素配置修正部１０６において音素配置を修正した結果、音素間に隙間ができた場合に、合成単位記憶部１０４から再度合成単位を選択しなおす。このときの再選択の基準としては、選択対象とする合成単位の隙間に接続する側の音素環境を無音とするなど、無音と接続しても違和感が出ないような合成単位を再選択し、これを修正選択単位として音声合成部１０７に送るものとする。そして音声合成部１０７は、合成単位選択修正部２０１からの修正選択単位と音素配置修正部１０６からの修正音素配置に基づいて音声を合成し、合成音声出力端子１０８から出力する。
【００４３】
次に、本発明の第５の実施形態について説明する。
【００４４】
第５の実施形態は、第１、第２、第３、第４の実施形態の音素配置修正部１０６の動作を変更したものである。
【００４５】
すなわち、音素配置修正部１０６は、音素配置部１０３から送られた音素配置から得られた音素長が、使用する選択単位ごとに決められた音素長の最大値を越えた場合には、子音と母音の境界位置（例えば、図２のｔ２の位置）を、使用する音素の組合わせごとに決められた範囲内で移動させる処理を加え、子音−母音の境界を全体のリズムに影響の無い程度に移動させる動作を行う。この動作により、子音開始位置や母音終了位置を変更する頻度を少なくすることが可能となる。
【００４６】
【発明の効果】
以上説明したように、本発明の音声合成装置および音声合成方法においては、音声で読み上げるべき文を表す発音記号列を入力し、前記発音記号列の各音素ごとの継続時間長を音素長として算出し、前記音素長に従って時間軸上の各音素の位置を音素配置として求め、音素配置と予め記憶されている合成単位から合成に使用する合成単位を選択して選択単位とし、前記音素長が、使用する選択単位ごとに決められた音素長の最大値を越えた場合には、子音開始位置と母音終了位置とを変更することによって前記音素配置を修正した修正音素配置を求め、前記修正音素配置に基づき前記音声で読み上げるべき文を音声合成して出力することができるので、求めた継続時間長に対して合成単位が短い場合でも、発話のテンポを保ちながら、合成単位の時間長を変更して音声を合成することによる音質の劣化を抑えた合成音声の生成が可能となるという効果を有している。
【図面の簡単な説明】
【図１】本発明の音声合成装置の一実施形態を示すブロック図である。
【図２】音素配置修正部の動作の具体例を模式的に示す図である。
【図３】本発明の音声合成装置の第４の実施形態を示すブロック図である。
【符号の説明】
１０１ 発音記号列入力端子
１０２ 継続時間長制御部
１０３ 音素配置部
１０４ 合成単位記憶部
１０５ 合成単位選択部
１０６ 音素配置修正部
１０７ 音声合成部
１０８ 合成音声出力端子
２０１ 合成単位選択修正部
Claims (10)
- 音声で読み上げるべき文を表す発音記号列を入力する発音記号列入力端子と、前記発音記号列入力端子に接続し、前記発音記号列の各音素ごとの継続時間長を音素長として算出する継続時間長制御手段と、前記継続時間長制御手段と接続し、前記継続時間長制御手段から受信する前記音素長に従って時間軸上の各音素の位置を音素配置として求める音素配置手段と、音声を合成するための単位であるところの合成単位を記憶する合成単位記憶手段と、前記音素配置手段と前記合成単位記憶手段とに接続し、前記音素配置と前記合成単位から合成に使用する合成単位を選択して選択単位とする合成単位選択手段と、前記音素配置手段と前記合成単位選択手段とに接続し、前記音素長が、前記選択単位ごとに決められた音素長の最大値を越えた場合には、子音−母音の境界位置は変更せずに、子音開始位置と母音終了位置を変更することによって前記音素配置を修正した修正音素配置を求める音素配置修正手段と、前記合成単位選択手段と前記音素配置修正手段とに接続し、前記修正音素配置に基づき前記音声で読み上げるべき文を音声合成して合成音声出力端子に出力する音声合成手段と、を備えることを特徴とする音声合成装置。
- 前記音声合成手段は、前記修正音素配置において音素間に隙間ができた場合には、音素開始位置および音素終了位置における合成すべき音声のパワーの判定を行い、前記音素開始位置および前記音素終了位置のパワーが決められたパワーよりも小さい場合に前記修正音素配置に基づいて前記音声で読み上げるべき文を音声合成する、ことを特徴とする請求項１に記載の音声合成装置。
- 前記音声合成手段は、前記修正音素配置において音素間に隙間ができた場合には、音素開始位置および音素終了位置において漸近的にパワーが０になるような補間処理を行うことを特徴とする請求項１或いは請求項２の何れか１項に記載の音声合成装置。
- 前記音素配置修正手段に接続し、前記音素配置修正手段の求めた前記修正音素配置において音素間に隙間ができた場合には、前記合成単位記憶手段から再度合成単位を選択し直して修正選択単位とする合成単位選択修正手段を備え、前記音声合成手段は、前記合成単位選択修正手段と前記音素配置修正手段とに接続し、前記修正選択単位に基づいて前記音声で読み上げるべき文を音声合成して前記合成音声出力端子に出力することを特徴とする請求項１に記載の音声合成装置。
- 音声で読み上げるべき文を表す発音記号列を入力する発音記号列入力端子と、前記発音記号列入力端子に接続し、前記発音記号列の各音素ごとの継続時間長を音素長として算出する継続時間長制御手段と、前記継続時間長制御手段と接続し、前記継続時間長制御手段から受信する前記音素長に従って時間軸上の各音素の位置を音素配置として求める音素配置手段と、音声を合成するための単位であるところの合成単位を記憶する合成単位記憶手段と、前記音素配置手段と前記合成単位記憶手段とに接続し、前記音素配置と前記合成単位から合成に使用する合成単位を選択して選択単位とする合成単位選択手段と、前記音素配置手段と前記合成単位選択手段とに接続し、前記音素長が、前記選択単位ごとに決められた音素長の最大値を越えた場合には、子音−母音の境界位置を使用する音素の組合わせごとに決められた範囲内で移動させ、子音開始位置と母音終了位置を変更することによって前記音素配置を修正した修正音素配置を求める音素配置修正手段と、前記合成単位選択手段と前記音素配置修正手段とに接続し、前記修正音素配置に基づき前記音声で読み上げるべき文を音声合成して合成音声出力端子に出力する音声合成手段と、を備えることを特徴とする音声合成装置。
- 音声で読み上げるべき文を表す発音記号列を入力するステップと、前記発音記号列の各音素ごとの継続時間長を音素長として算出するステップと、前記音素長に従って時間軸上の各音素の位置を音素配置として求めるステップと、前記音素配置と予め記憶されている合成単位から合成に使用する合成単位を選択して選択単位とするステップと、前記音素長が、前記選択単位ごとに決められた音素長の最大値を越えた場合には、子音−母音の境界位置は変更せずに、子音開始位置と母音終了位置を変更することによって前記音素配置を修正した修正音素配置を求めるステップと、前記修正音素配置に基づき前記音声で読み上げるべき文を音声合成して出力するステップと、を有することを特徴とする音声合成方法。
- 前記修正音素配置において音素間に隙間ができた場合には、音素開始位置および音素終了位置における合成すべき音声のパワーの判定を行い、前記音素開始位置および前記音素終了位置のパワーが決められたパワーよりも小さい場合に前記修正音素配置に基づいて前記音声で読み上げるべき文を音声合成する、ことを特徴とする請求項６に記載の音声合成方法。
- 前記修正音素配置において音素間に隙間ができた場合には、音素開始位置および音素終了位置において漸近的にパワーが０になるような補間処理を行うことを特徴とする請求項６或いは請求項７の何れか１項に記載の音声合成方法。
- 前記修正音素配置において音素間に隙間ができた場合には、前記予め記憶されている合成単位から再度合成単位を選択し直して修正選択単位とし、前記修正選択単位に基づいて前記音声で読み上げるべき文を音声合成して出力することを特徴とする請求項６に記載の音声合成方法。
- 音声で読み上げるべき文を表す発音記号列を入力するステップと、前記発音記号列の各音素ごとの継続時間長を音素長として算出するステップと、前記音素長に従って時間軸上の各音素の位置を音素配置として求めるステップと、前記音素配置と予め記憶されている合成単位から合成に使用する合成単位を選択して選択単位とするステップと、前記音素長が、前記選択単位ごとに決められた音素長の最大値を越えた場合には、子音−母音の境界位置を、使用する音素の組合わせごとに決められた範囲内で移動させ、子音開始位置と母音終了位置を変更することによって前記音素配置を修正した修正音素配置を求めるステップと、前記修正音素配置に基づき前記音声で読み上げるべき文を音声合成して出力するステップと、を有することを特徴とする音声合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001155841A JP4639527B2 (ja) | 2001-05-24 | 2001-05-24 | 音声合成装置および音声合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001155841A JP4639527B2 (ja) | 2001-05-24 | 2001-05-24 | 音声合成装置および音声合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002351483A JP2002351483A (ja) | 2002-12-06 |
| JP4639527B2 true JP4639527B2 (ja) | 2011-02-23 |
Family
ID=18999955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001155841A Expired - Lifetime JP4639527B2 (ja) | 2001-05-24 | 2001-05-24 | 音声合成装置および音声合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4639527B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4872690B2 (ja) * | 2007-02-01 | 2012-02-08 | 沖電気工業株式会社 | 音声合成方法、音声合成プログラム、音声合成装置 |
| FR2993088B1 (fr) * | 2012-07-06 | 2014-07-18 | Continental Automotive France | Procede et systeme de synthese vocale |
| JP6728755B2 (ja) * | 2015-03-25 | 2020-07-22 | ヤマハ株式会社 | 歌唱音発音装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS50159902A (ja) * | 1974-06-14 | 1975-12-24 | ||
| JPS6132096A (ja) * | 1984-07-25 | 1986-02-14 | 株式会社日立製作所 | 音声合成装置の音声合成方式 |
| JPS63208098A (ja) * | 1987-02-24 | 1988-08-29 | 株式会社東芝 | 音声合成装置および方法 |
| JPH08248993A (ja) * | 1995-03-13 | 1996-09-27 | Matsushita Electric Ind Co Ltd | 音韻時間長制御方法 |
| JPH11109993A (ja) * | 1997-10-02 | 1999-04-23 | Ntt Data Corp | 音声素片接続方法及び音声合成装置 |
-
2001
- 2001-05-24 JP JP2001155841A patent/JP4639527B2/ja not_active Expired - Lifetime
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS50159902A (ja) * | 1974-06-14 | 1975-12-24 | ||
| JPS6132096A (ja) * | 1984-07-25 | 1986-02-14 | 株式会社日立製作所 | 音声合成装置の音声合成方式 |
| JPS63208098A (ja) * | 1987-02-24 | 1988-08-29 | 株式会社東芝 | 音声合成装置および方法 |
| JPH08248993A (ja) * | 1995-03-13 | 1996-09-27 | Matsushita Electric Ind Co Ltd | 音韻時間長制御方法 |
| JPH11109993A (ja) * | 1997-10-02 | 1999-04-23 | Ntt Data Corp | 音声素片接続方法及び音声合成装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002351483A (ja) | 2002-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3913770B2 (ja) | 音声合成装置および方法 | |
| JP3180764B2 (ja) | 音声合成装置 | |
| JP4680429B2 (ja) | テキスト音声変換装置における高速読上げ制御方法 | |
| KR101214402B1 (ko) | 개선된 스피치 합성을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품 | |
| JP3563772B2 (ja) | 音声合成方法及び装置並びに音声合成制御方法及び装置 | |
| JP2009047957A (ja) | ピッチパターン生成方法及びその装置 | |
| JPS62231998A (ja) | 音声合成方法および装置 | |
| JP2003337592A (ja) | 音声合成方法及び音声合成装置及び音声合成プログラム | |
| JP4639527B2 (ja) | 音声合成装置および音声合成方法 | |
| US7765103B2 (en) | Rule based speech synthesis method and apparatus | |
| JP3728173B2 (ja) | 音声合成方法、装置および記憶媒体 | |
| JP3513071B2 (ja) | 音声合成方法及び音声合成装置 | |
| JP2004347653A (ja) | 音声合成方法及びその装置並びにそのコンピュータプログラム及びそれを記憶した情報記憶媒体 | |
| JP3756864B2 (ja) | 音声合成方法と装置及び音声合成プログラム | |
| JP3601974B2 (ja) | 音声合成装置及び音声合成方法 | |
| US9640172B2 (en) | Sound synthesizing apparatus and method, sound processing apparatus, by arranging plural waveforms on two successive processing periods | |
| WO2013011634A1 (ja) | 波形処理装置、波形処理方法および波形処理プログラム | |
| JP3113101B2 (ja) | 音声合成装置 | |
| JP2002304186A (ja) | 音声合成装置、音声合成方法および音声合成プログラム | |
| JP3515268B2 (ja) | 音声合成装置 | |
| JP2615856B2 (ja) | 音声合成方法とその装置 | |
| JP2008299266A (ja) | 音声合成装置および音声合成方法 | |
| JP2003330482A (ja) | 基本周波数パターン生成方法、基本周波数パターン生成装置、音声合成方法、音声合成装置、基本周波数パターン生成プログラムおよび音声合成プログラム | |
| JP2001092481A (ja) | 規則音声合成方法 | |
| JPH06175675A (ja) | 音声合成装置の継続時間長制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050317 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070118 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080415 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20080612 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20090512 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100803 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101102 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101115 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4639527 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 3 |
|
| EXPY | Cancellation because of completion of term |