JP3921416B2 - 音声合成装置及び音声明瞭化方法 - Google Patents
音声合成装置及び音声明瞭化方法 Download PDFInfo
- Publication number
- JP3921416B2 JP3921416B2 JP2002155683A JP2002155683A JP3921416B2 JP 3921416 B2 JP3921416 B2 JP 3921416B2 JP 2002155683 A JP2002155683 A JP 2002155683A JP 2002155683 A JP2002155683 A JP 2002155683A JP 3921416 B2 JP3921416 B2 JP 3921416B2
- Authority
- JP
- Japan
- Prior art keywords
- speech
- spectrum
- filter
- unit
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、テキストを音声に変換する音声規則合成システムに用いられ、特に高齢者、聴覚障害者に対する場合、あるいは騒音下で使用する場合に明瞭に音声伝達を行う音声合成装置及び音声明瞭化方法に関する。
【０００２】
【従来の技術】
テキストを音声に変換する音声規則合成技術は、文字で伝送されてきた情報を人間にとってわかりやすい形式で伝達する一つの手段として知られている。特に端末が携帯用の小型端末である場合には、テキストを音声に変換することが効果的である。
【０００３】
従来の音声合成装置は、入力されたテキストを構文解析して読み情報、韻律情報を生成し、生成された読み情報に従って合成単位である音声素片を素片データベースより選択し、韻律情報に従って接続して合成音声を生成する。
【０００４】
音声素片はあらかじめ録音された音声の波形からＣＶ、ＶＣＶ、ＣＶＣなどの単位で切り出して作成される。ここで、Ｃは子音を、Ｖは母音を、各々あらわす。いずれの単位で切り出された素片を用いるものであっても、音声素片を次々と接続していくことにより合成音を生成する。
【０００５】
ところが、このような音声合成装置は、合成音は限られた音声素片を用いていることや、合成時の接続処理や変形処理によって欠落している情報が多く、騒音によるマスキングや聴覚障害の影響を受けやすい。このため、騒音下での使用や聴覚に障害がある人が、このような音声合成装置を使用すると、合成された音声が聞き取りにくいという問題が指摘されている。
【０００６】
これに対して、特開平１０−８３１９３号公報において、使用者の聴覚特性に合わせて、音声合成に使用する合成単位に特定の帯域の強調処理を施す、あるいは振幅のダイナミックレンジを圧縮する処理を施す等の処理に関する技術が提案されている。
【０００７】
ここで、音声明瞭化技術においては、素片を作成しようとする音声毎、また、素片の音韻毎、場合によっては素片毎に強調帯域を設定しなければならない。
【０００８】
【発明が解決しようとする課題】
しかしながら、従来の音声明瞭化技術においては、使用者や環境あるいは素片用の音声に合わせた適切な強調帯域を自動的に設定する方法が開示されていない。このため、強調帯域と強調度合いの設定を人手で行わなければならず、多大な労力を必要とするという問題がある。
【０００９】
本発明はかかる点に鑑みてなされたものであり、適切な強調帯域を自動的に設定することができ、合成音声の明瞭度の向上を図ることができる音声合成装置及び音声明瞭化方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の音声合成装置は、音声波形から特定の音声素片を分離する分離手段と、前記分離手段にて分離された前記音声素片のスペクトルをｎ次関数で近似することにより近似曲線を計算し、前記音声素片のスペクトルから前記近似曲線を差し引いて得られたスペクトル特性を算出するフィルタ係数計算手段と、前記スペクトル特性を伝達関数とするフィルタを構成し、前記音声素片に対してフィルタ処理を行うフィルタ手段と、前記フィルタ手段にて処理された音声素片を他の音声素片と接続して音声を合成する素片接続手段と、を具備する構成を採る。
【００１２】
この構成により、特定の音声素片毎にスペクトル特性を求めて素片毎に最適な強調フィルタを自動的に設定することができるため、各音声素片の特徴に応じて的確にスペクトルを強調することが可能であり、録音音声に対して一定の強調フィルタ処理を施す場合に明瞭度を大幅に向上させることができる。
【００１３】
本発明の音声合成装置は、音声波形から特定の音声素片を分離する分離手段と、分離した前記音声素片を複数の音韻カテゴリに分類し、音韻カテゴリを選び出す音韻カテゴリ判定手段と、前記音韻カテゴリごとにその音韻カテゴリに分類された音声素片の平均スペクトルを計算する平均スペクトル計算手段と、前記平均スペクトルをｎ次関数で近似することにより近似曲線を計算し、前記平均スペクトルから前記近似曲線を差し引いて得られたスペクトル特性を算出するフィルタ係数計算手段と、前記スペクトル特性を伝達関数とするフィルタを構成し、前記フィルタの伝達関数の算出に用いた前記音韻カテゴリに属する音声素片に対してフィルタ処理を行うフィルタ手段と、前記フィルタ手段にて処理された音声素片を他の音声素片と接続して音声を合成する素片接続手段と、を具備する構成を採る。
【００１４】
この構成により、通常の発話だけでなく、揺れのある発話や曖昧な発話についても、その音韻らしい特徴を持った素片に修正することが可能となる。
【００１５】
本発明の音声合成装置におけるフィルタ係数計算手段は、音声素片のスペクトルの低域成分を除去して近似曲線を計算する構成を採る。
【００１６】
この構成により、音声波形データに含まれるバイアス成分などが現れていることが多い低域のスペクトルを除去することができ、スペクトル分布の特徴（凹凸）を正しく抽出することができる。
【００１７】
本発明の音声合成装置におけるフィルタ係数計算手段は、所定の定数を乗算してスペクトル特性の振幅を一様に拡大する構成を採る。
【００１８】
この構成により、スペクトル強調の度合いを強化することができ、雑音下でも聞き取りやすい音声を提供することができる。
【００１９】
本発明の音声合成装置におけるフィルタ係数計算手段は、使用者の聴力曲線と健聴者の聴力曲線の差である補償曲線をスペクトル特性に加算して新たなスペクトル特性とする構成を採る。
【００２０】
この構成により、聴覚特性において個人差が大きい高齢者や難聴者に対しても、各々に聞き取りやすい合成音声を提供することができる。
【００２６】
本発明の音声明瞭化方法は、あらかじめ録音された音声波形である音声素片の接続によって任意の音声を合成する音声合成システムに用いられ、音声波形から分離した特定の音声素片のスペクトルをｎ次関数で近似することにより近似曲線を計算する工程と、前記音声素片のスペクトルから前記近似曲線を差し引いて得られたスペクトル特性を算出する工程と、前記スペクトル特性を伝達関数とするフィルタを構成する工程と、前記特定の音声素片に対してフィルタ処理を行う工程と、フィルタ処理された音声素片を他の音声素片と接続して音声を合成する工程とを有する方法をとる。
【００２７】
この方法により、特定の音声素片毎にスペクトル特性を求めて素片毎に最適な強調フィルタを自動的に設定することができるため、各音声素片の特徴に応じて的確にスペクトルを強調することが可能であり、録音音声に対して一定の強調フィルタ処理を施す場合に明瞭度を大幅に向上させることができる。
【００２８】
本発明の音声明瞭化方法は、あらかじめ録音された音声波形である音声素片の接続によって任意の音声を合成する音声合成システムに用いられ、前記音声素片を複数の音韻カテゴリに分類し、音韻カテゴリを選び出す工程と、前記音韻カテゴリごとにその音韻カテゴリに分類された音声素片の平均スペクトルを計算する工程と、前記平均スペクトルをｎ次関数で近似することにより近似曲線を計算する工程と、前記平均スペクトルから前記近似曲線を差し引いて得られたスペクトル特性を算出する工程と、前記スペクトル特性を伝達関数とするフィルタを構成する工程と、前記フィルタの伝達関数の算出に用いた前記音韻カテゴリに属する音声素片に対してフィルタ処理を行う工程と、フィルタ処理された音声素片を他の音声素片と接続して音声を合成する工程とを有する方法をとる。
【００２９】
この方法により、通常の発話だけでなく、揺れのある発話や曖昧な発話についても、その音韻らしい特徴を持った素片に修正することが可能となる。
【００３０】
【発明の実施の形態】
本願発明者は、音声波形に含まれる特定の音声素片（例えば、子音素片、無声子音素片等）のスペクトルの特徴を強調することにより、合成音声の明瞭度が大幅に向上することに着目して本発明をするに至った。
【００３１】
すなわち、本発明の骨子は、音声波形から特定の音声素片を分離し、分離した音声素片のスペクトルの特徴を強調するフィルタ処理を行った後に他の素片と接続することである。
【００３２】
（実施の形態１）
図１は、本発明の実施の形態１に係る音声合成装置を示すブロック図である。図１に示す音声合成装置は、録音音声記憶部１０１と、分離部１０２と、スペクトル抽出部１０３と、フィルタ係数計算部１０４と、フィルタ１０５と、音声素片記憶部１０６と、素片接続部１０７とから主に構成されている。
【００３３】
録音音声記憶部１０１に録音されている音声波形は、素片と呼ばれる合成単位の集まりに置きかえることができ、素片には母音、有声子音、無声子音が存在する。
【００３４】
分離部１０２は、録音音声記憶部１０１に録音されている音声波形を素片に置きかえ、母音、有声子音、無声子音に分離する。分離された無声子音はスペクトル抽出部１０３へ出力され、母音及び有声子音は音声素片記憶部１０６へ出力される。
【００３５】
スペクトル抽出部１０３は、分離部１０２から出力された無声子音素片から音韻全体あるいは音韻の一部に対して時間平均したスペクトル分布を求める。スペクトル分布は、フィルタ係数計算部１０４及びフィルタ１０５に出力される。
【００３６】
フィルタ係数計算部１０４は、スペクトル抽出部１０３で求められたスペクトル分布をｎ次関数で近似し、この近似曲線とスペクトル分布との差分を求めることにより、無声子音素片の特徴を表すスペクトル特性を算出する。スペクトル特性は、フィルタ１０５に出力される。
【００３７】
フィルタ１０５は、フィルタ係数計算部１０４で求められたスペクトル特性を伝達関数とするフィルタを構成し、スペクトル抽出部１０３より出力されたスペクトル分布に対してフィルタ処理を施す。これにより、無声子音素片のスペクトルの特徴が強調される。スペクトルの特徴が強調された無声子音素片は、音声素片記憶部１０６に出力される。
【００３８】
音声素片記憶部１０６は、フィルタ１０５によりスペクトルの特徴が強調された無声子音素片を記憶する。また、母音及び有声子音についてはそのまま記憶する。
【００３９】
素片接続部１０７は、音声素片記憶部１０６に記憶されている音声素片を接続することにより任意の音声を合成し、合成音声として出力する。
【００４０】
次に、本実施の形態のフィルタ生成方法について図２を用いて具体的に説明する。なお、ここではフィルタ係数計算部１０４で用いるｎ次関数として最小二乗直線を用いることとする。
【００４１】
スペクトル抽出部１０３からフィルタ係数計算部１０４に出力された無声子音素片のスペクトル分布が、図２の（２０１）であるとする。フィルタ係数計算部１０４は、（２０２）に示すように最小二乗直線を求め、スペクトル分布と最小二乗直線との差分（２０３）を求め、フィルタ１０５に出力する。
【００４２】
フィルタ１０５は、この差分を伝達関数とするフィルタを構成し、もとのスペクトル分布にフィルタ処理を施す。これにより、特徴が強調された無声子音素片のスペクトル分布（２０４）が得られる。
【００４３】
ここでスペクトル分布の最小二乗直線を求める際、以下の点を考慮している。低域のスペクトルは音声波形データに含まれるバイアス成分などが現れていることが多いため、図３の（３０１）に示すように最小二乗直線の傾斜に大きく影響を与える。この直線とスペクトル分布の差分（３０２）を求めても、スペクトル分布の特徴（凹凸）を正しく抽出することができない。そこで、図３の（３０３）に示すようにスペクトル分布の低域成分を無視して最小二乗直線を求める。そして、この直線とスペクトル分布の差分（３０４）を求めることにより、スペクトル分布の凹凸の特徴を抽出することが可能となる。
【００４４】
このように、無声子音素片毎にスペクトル特性を求めて強調フィルタの伝達関数として用いることにより、各無声子音素片の特徴に応じて的確にスペクトルを強調することが可能であり、録音音声に対して一定の強調フィルタ処理を施す場合に明瞭度を大幅に向上させることができる。
【００４５】
さらに、上記のようにして求めた伝達関数を用途に応じて変形して用いることで、より多様なスペクトル強調が可能となる。例えば、所定の定数を乗算して伝達関数の振幅を一様に拡大することにより、スペクトル強調の度合いを強化することができ、雑音下でも聞き取りやすい音声を提供することができる。
【００４６】
また、図４の（４０１）に示すような聴力の損失を示す使用者に対して、使用者の聴力を補う補償曲線（４０２）を求め、これを素片のスペクトル特性と合わせることで、スペクトル分布（４０３）に示すように使用者の聴覚特性を補うように変形された伝達関数を生成することができ、聴覚特性において個人差が大きい高齢者や難聴者に対しても、各々に聞き取りやすい合成音声を提供することができる。
【００４７】
（実施の形態２）
図５は、本発明の実施の形態２に係る音声合成装置を示すブロック図である。なお、図５の音声合成装置において、図１と共通する構成部分には図１と同一符号を付して詳細な説明を省略する。
【００４８】
図５の音声合成装置は、図１に対して音韻カテゴリ判定部５０１と平均スペクトル計算部５０２を追加する構成を採る。また、図５の音声合成装置では、フィルタ係数計算部１０４、フィルタ１０５及び平均スペクトル計算部５０２が音韻カテゴリの個数分用意される。以下、音韻カテゴリの個数をｍとし、音韻カテゴリｋ（１≦ｋ≦ｍ）に対応させて、フィルタ係数計算部１０４−ｋ、フィルタ１０５−ｋ及び平均スペクトル計算部５０２−ｋであらわす。
【００４９】
スペクトル抽出部１０３は、分離部１０２より出力された無声子音素片から、音韻全体あるいは音韻の一部に対して時間平均したスペクトル分布を求める。スペクトル分布は、音韻カテゴリ判定部５０１及びフィルタ１０５に出力される。
【００５０】
音韻カテゴリ判定部５０１は、スペクトル抽出部１０３から出力されたスペクトル分布が、予め決定しておいた音韻カテゴリｍ個のいずれに属するかを判定する。各音韻カテゴリｋに対応するスペクトル分布は、平均スペクトル計算部５０２−ｋ及びフィルタ１０５−ｋへ出力される。
【００５１】
平均スペクトル計算部５０２−ｋは、これまでに入力されたスペクトル分布の平均、すなわち、音韻カテゴリ判定部５０１でカテゴリｋと判定された複数のスペクトル分布の平均を求める。平均スペクトルは、フィルタ係数計算部１０４−ｋへ出力される。
【００５２】
フィルタ係数計算部１０４−ｋは、平均スペクトル計算部５０２−ｋで求められた平均スペクトルをｎ次関数で近似し、この近似曲線とスペクトル分布との差分を求めることにより、無声子音素片の特徴を表すスペクトル特性を算出する。
【００５３】
フィルタ１０５−ｋは、フィルタ係数計算部１０４−ｋで求めたスペクトル特性を伝達関数とするフィルタを構成し、音韻カテゴリ判定部５０１より出力されたスペクトル分布に対してフィルタ処理を施すことにより、スペクトル分布の特徴を強調する。
【００５４】
音声素片記憶部１０６は、フィルタ１０５−１〜ｍにより強調された無声子音素片を記憶する。また、母音及び有声子音についてはそのまま記憶する。
【００５５】
素片接続部１０７は、音声素片記憶部１０６に記憶されている音声素片を接続することにより任意の音声を合成し、合成音声として出力する。
【００５６】
次に、本実施の形態のフィルタ生成方法について図６を用いて具体的に説明する。なお、ここでもフィルタ係数計算部１０４で用いるｎ次関数として最小二乗直線を用いることとし、最小二乗直線を求める際にはスペクトル分布の低域成分を無視するものとする。
【００５７】
図６において、スペクトル分布（６０１）は、音韻カテゴリ判定部５０１から各平均スペクトル計算部５０２−１〜ｍに出力された無声子音素片のスペクトル分布であるとする。
【００５８】
平均スペクトル計算部５０２−１〜ｍは、それぞれ、これらのスペクトル分布の平均（６０２）を求め、対応するフィルタ係数計算部１０４−１〜ｍに出力する。
【００５９】
フィルタ係数計算部１０４−１〜ｍは、それぞれ、最小二乗直線を求め（６０３）、平均スペクトルと最小二乗直線との差分（６０４）を求め、対応するフィルタ１０５−１〜ｍに出力する。
【００６０】
フィルタ１０５−１〜ｍは、この差分を伝達関数とするフィルタを構成し、もとのスペクトル分布にフィルタ処理を施す。これにより、特徴が強調された無声子音素片のスペクトル分布（６０５）が得られる。
【００６１】
本実施の形態は、実施の形態１と比較して以下の点で異なる。
【００６２】
すなわち、実施の形態１では、処理対象となる無声子音素片のスペクトル特性そのものを強調フィルタの伝達関数として用いており、通常の無声子音のスペクトル分布に対して非常に有効な処理である。
【００６３】
これに対し、本実施の形態は、無声子音素片が属する音韻カテゴリの平均スペクトルの特性を強調フィルタとして用いていることを特徴とする。平均スペクトルは、同一カテゴリ内の複数のスペクトルの平均を求めたものである。録音音声記憶部には多種多様な音声が記憶されており、それらの中には揺れのある発話や曖昧な発話による音声も含まれているため、スペクトルの平均をとることにより、その音韻カテゴリのおおまかな特徴を表すことができる。従って、この平均スペクトルを用いて無声子音を強調することで、通常の発話だけでなく、揺れのある発話や曖昧な発話についても、その音韻らしい特徴を持った素片に修正することが可能となる。
【００６４】
なお、上記の各実施の形態において、音声波形から無声子音素片を分離してスペクトルの特徴を強調するフィルタ処理を行う場合について説明したが、本発明はこれに限られず、無声子音素片以外の他の素片（例えば子音素片）を分離してスペクトルの特徴を強調してもよい。
【００６５】
【発明の効果】
以上のように本発明によれば、音声波形から特定の音声素片を分離し、分離した音声素片のスペクトルの特徴を強調するフィルタ処理を行った後に他の素片と接続することにより、合成音声の明瞭度の向上を図るように適切な強調帯域を自動的に設定することができ、素片作成の労力を大幅に削減することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る音声合成装置の構成を示すブロック図
【図２】本発明の実施の形態１によるフィルタ生成方法の具体例を示す図
【図３】本発明の実施の形態１によるスペクトル抽出方法の具体例を示す図
【図４】本発明の実施の形態１によるフィルタ生成方法の具体例を示す図
【図５】本発明の実施の形態２に係る音声合成装置の構成を示すブロック図
【図６】本発明の実施の形態２によるフィルタ生成方法の具体例を示す図
【符号の説明】
１０１ 録音音声記憶部
１０２ 分離部
１０３ スペクトル抽出部
１０４ フィルタ係数計算部
１０５ フィルタ
１０６ 音声素片記憶部
１０７ 素片接続部
５０１ 音韻カテゴリ判定部
５０２ 平均スペクトル計算部
【発明の属する技術分野】
本発明は、テキストを音声に変換する音声規則合成システムに用いられ、特に高齢者、聴覚障害者に対する場合、あるいは騒音下で使用する場合に明瞭に音声伝達を行う音声合成装置及び音声明瞭化方法に関する。
【０００２】
【従来の技術】
テキストを音声に変換する音声規則合成技術は、文字で伝送されてきた情報を人間にとってわかりやすい形式で伝達する一つの手段として知られている。特に端末が携帯用の小型端末である場合には、テキストを音声に変換することが効果的である。
【０００３】
従来の音声合成装置は、入力されたテキストを構文解析して読み情報、韻律情報を生成し、生成された読み情報に従って合成単位である音声素片を素片データベースより選択し、韻律情報に従って接続して合成音声を生成する。
【０００４】
音声素片はあらかじめ録音された音声の波形からＣＶ、ＶＣＶ、ＣＶＣなどの単位で切り出して作成される。ここで、Ｃは子音を、Ｖは母音を、各々あらわす。いずれの単位で切り出された素片を用いるものであっても、音声素片を次々と接続していくことにより合成音を生成する。
【０００５】
ところが、このような音声合成装置は、合成音は限られた音声素片を用いていることや、合成時の接続処理や変形処理によって欠落している情報が多く、騒音によるマスキングや聴覚障害の影響を受けやすい。このため、騒音下での使用や聴覚に障害がある人が、このような音声合成装置を使用すると、合成された音声が聞き取りにくいという問題が指摘されている。
【０００６】
これに対して、特開平１０−８３１９３号公報において、使用者の聴覚特性に合わせて、音声合成に使用する合成単位に特定の帯域の強調処理を施す、あるいは振幅のダイナミックレンジを圧縮する処理を施す等の処理に関する技術が提案されている。
【０００７】
ここで、音声明瞭化技術においては、素片を作成しようとする音声毎、また、素片の音韻毎、場合によっては素片毎に強調帯域を設定しなければならない。
【０００８】
【発明が解決しようとする課題】
しかしながら、従来の音声明瞭化技術においては、使用者や環境あるいは素片用の音声に合わせた適切な強調帯域を自動的に設定する方法が開示されていない。このため、強調帯域と強調度合いの設定を人手で行わなければならず、多大な労力を必要とするという問題がある。
【０００９】
本発明はかかる点に鑑みてなされたものであり、適切な強調帯域を自動的に設定することができ、合成音声の明瞭度の向上を図ることができる音声合成装置及び音声明瞭化方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の音声合成装置は、音声波形から特定の音声素片を分離する分離手段と、前記分離手段にて分離された前記音声素片のスペクトルをｎ次関数で近似することにより近似曲線を計算し、前記音声素片のスペクトルから前記近似曲線を差し引いて得られたスペクトル特性を算出するフィルタ係数計算手段と、前記スペクトル特性を伝達関数とするフィルタを構成し、前記音声素片に対してフィルタ処理を行うフィルタ手段と、前記フィルタ手段にて処理された音声素片を他の音声素片と接続して音声を合成する素片接続手段と、を具備する構成を採る。
【００１２】
この構成により、特定の音声素片毎にスペクトル特性を求めて素片毎に最適な強調フィルタを自動的に設定することができるため、各音声素片の特徴に応じて的確にスペクトルを強調することが可能であり、録音音声に対して一定の強調フィルタ処理を施す場合に明瞭度を大幅に向上させることができる。
【００１３】
本発明の音声合成装置は、音声波形から特定の音声素片を分離する分離手段と、分離した前記音声素片を複数の音韻カテゴリに分類し、音韻カテゴリを選び出す音韻カテゴリ判定手段と、前記音韻カテゴリごとにその音韻カテゴリに分類された音声素片の平均スペクトルを計算する平均スペクトル計算手段と、前記平均スペクトルをｎ次関数で近似することにより近似曲線を計算し、前記平均スペクトルから前記近似曲線を差し引いて得られたスペクトル特性を算出するフィルタ係数計算手段と、前記スペクトル特性を伝達関数とするフィルタを構成し、前記フィルタの伝達関数の算出に用いた前記音韻カテゴリに属する音声素片に対してフィルタ処理を行うフィルタ手段と、前記フィルタ手段にて処理された音声素片を他の音声素片と接続して音声を合成する素片接続手段と、を具備する構成を採る。
【００１４】
この構成により、通常の発話だけでなく、揺れのある発話や曖昧な発話についても、その音韻らしい特徴を持った素片に修正することが可能となる。
【００１５】
本発明の音声合成装置におけるフィルタ係数計算手段は、音声素片のスペクトルの低域成分を除去して近似曲線を計算する構成を採る。
【００１６】
この構成により、音声波形データに含まれるバイアス成分などが現れていることが多い低域のスペクトルを除去することができ、スペクトル分布の特徴（凹凸）を正しく抽出することができる。
【００１７】
本発明の音声合成装置におけるフィルタ係数計算手段は、所定の定数を乗算してスペクトル特性の振幅を一様に拡大する構成を採る。
【００１８】
この構成により、スペクトル強調の度合いを強化することができ、雑音下でも聞き取りやすい音声を提供することができる。
【００１９】
本発明の音声合成装置におけるフィルタ係数計算手段は、使用者の聴力曲線と健聴者の聴力曲線の差である補償曲線をスペクトル特性に加算して新たなスペクトル特性とする構成を採る。
【００２０】
この構成により、聴覚特性において個人差が大きい高齢者や難聴者に対しても、各々に聞き取りやすい合成音声を提供することができる。
【００２６】
本発明の音声明瞭化方法は、あらかじめ録音された音声波形である音声素片の接続によって任意の音声を合成する音声合成システムに用いられ、音声波形から分離した特定の音声素片のスペクトルをｎ次関数で近似することにより近似曲線を計算する工程と、前記音声素片のスペクトルから前記近似曲線を差し引いて得られたスペクトル特性を算出する工程と、前記スペクトル特性を伝達関数とするフィルタを構成する工程と、前記特定の音声素片に対してフィルタ処理を行う工程と、フィルタ処理された音声素片を他の音声素片と接続して音声を合成する工程とを有する方法をとる。
【００２７】
この方法により、特定の音声素片毎にスペクトル特性を求めて素片毎に最適な強調フィルタを自動的に設定することができるため、各音声素片の特徴に応じて的確にスペクトルを強調することが可能であり、録音音声に対して一定の強調フィルタ処理を施す場合に明瞭度を大幅に向上させることができる。
【００２８】
本発明の音声明瞭化方法は、あらかじめ録音された音声波形である音声素片の接続によって任意の音声を合成する音声合成システムに用いられ、前記音声素片を複数の音韻カテゴリに分類し、音韻カテゴリを選び出す工程と、前記音韻カテゴリごとにその音韻カテゴリに分類された音声素片の平均スペクトルを計算する工程と、前記平均スペクトルをｎ次関数で近似することにより近似曲線を計算する工程と、前記平均スペクトルから前記近似曲線を差し引いて得られたスペクトル特性を算出する工程と、前記スペクトル特性を伝達関数とするフィルタを構成する工程と、前記フィルタの伝達関数の算出に用いた前記音韻カテゴリに属する音声素片に対してフィルタ処理を行う工程と、フィルタ処理された音声素片を他の音声素片と接続して音声を合成する工程とを有する方法をとる。
【００２９】
この方法により、通常の発話だけでなく、揺れのある発話や曖昧な発話についても、その音韻らしい特徴を持った素片に修正することが可能となる。
【００３０】
【発明の実施の形態】
本願発明者は、音声波形に含まれる特定の音声素片（例えば、子音素片、無声子音素片等）のスペクトルの特徴を強調することにより、合成音声の明瞭度が大幅に向上することに着目して本発明をするに至った。
【００３１】
すなわち、本発明の骨子は、音声波形から特定の音声素片を分離し、分離した音声素片のスペクトルの特徴を強調するフィルタ処理を行った後に他の素片と接続することである。
【００３２】
（実施の形態１）
図１は、本発明の実施の形態１に係る音声合成装置を示すブロック図である。図１に示す音声合成装置は、録音音声記憶部１０１と、分離部１０２と、スペクトル抽出部１０３と、フィルタ係数計算部１０４と、フィルタ１０５と、音声素片記憶部１０６と、素片接続部１０７とから主に構成されている。
【００３３】
録音音声記憶部１０１に録音されている音声波形は、素片と呼ばれる合成単位の集まりに置きかえることができ、素片には母音、有声子音、無声子音が存在する。
【００３４】
分離部１０２は、録音音声記憶部１０１に録音されている音声波形を素片に置きかえ、母音、有声子音、無声子音に分離する。分離された無声子音はスペクトル抽出部１０３へ出力され、母音及び有声子音は音声素片記憶部１０６へ出力される。
【００３５】
スペクトル抽出部１０３は、分離部１０２から出力された無声子音素片から音韻全体あるいは音韻の一部に対して時間平均したスペクトル分布を求める。スペクトル分布は、フィルタ係数計算部１０４及びフィルタ１０５に出力される。
【００３６】
フィルタ係数計算部１０４は、スペクトル抽出部１０３で求められたスペクトル分布をｎ次関数で近似し、この近似曲線とスペクトル分布との差分を求めることにより、無声子音素片の特徴を表すスペクトル特性を算出する。スペクトル特性は、フィルタ１０５に出力される。
【００３７】
フィルタ１０５は、フィルタ係数計算部１０４で求められたスペクトル特性を伝達関数とするフィルタを構成し、スペクトル抽出部１０３より出力されたスペクトル分布に対してフィルタ処理を施す。これにより、無声子音素片のスペクトルの特徴が強調される。スペクトルの特徴が強調された無声子音素片は、音声素片記憶部１０６に出力される。
【００３８】
音声素片記憶部１０６は、フィルタ１０５によりスペクトルの特徴が強調された無声子音素片を記憶する。また、母音及び有声子音についてはそのまま記憶する。
【００３９】
素片接続部１０７は、音声素片記憶部１０６に記憶されている音声素片を接続することにより任意の音声を合成し、合成音声として出力する。
【００４０】
次に、本実施の形態のフィルタ生成方法について図２を用いて具体的に説明する。なお、ここではフィルタ係数計算部１０４で用いるｎ次関数として最小二乗直線を用いることとする。
【００４１】
スペクトル抽出部１０３からフィルタ係数計算部１０４に出力された無声子音素片のスペクトル分布が、図２の（２０１）であるとする。フィルタ係数計算部１０４は、（２０２）に示すように最小二乗直線を求め、スペクトル分布と最小二乗直線との差分（２０３）を求め、フィルタ１０５に出力する。
【００４２】
フィルタ１０５は、この差分を伝達関数とするフィルタを構成し、もとのスペクトル分布にフィルタ処理を施す。これにより、特徴が強調された無声子音素片のスペクトル分布（２０４）が得られる。
【００４３】
ここでスペクトル分布の最小二乗直線を求める際、以下の点を考慮している。低域のスペクトルは音声波形データに含まれるバイアス成分などが現れていることが多いため、図３の（３０１）に示すように最小二乗直線の傾斜に大きく影響を与える。この直線とスペクトル分布の差分（３０２）を求めても、スペクトル分布の特徴（凹凸）を正しく抽出することができない。そこで、図３の（３０３）に示すようにスペクトル分布の低域成分を無視して最小二乗直線を求める。そして、この直線とスペクトル分布の差分（３０４）を求めることにより、スペクトル分布の凹凸の特徴を抽出することが可能となる。
【００４４】
このように、無声子音素片毎にスペクトル特性を求めて強調フィルタの伝達関数として用いることにより、各無声子音素片の特徴に応じて的確にスペクトルを強調することが可能であり、録音音声に対して一定の強調フィルタ処理を施す場合に明瞭度を大幅に向上させることができる。
【００４５】
さらに、上記のようにして求めた伝達関数を用途に応じて変形して用いることで、より多様なスペクトル強調が可能となる。例えば、所定の定数を乗算して伝達関数の振幅を一様に拡大することにより、スペクトル強調の度合いを強化することができ、雑音下でも聞き取りやすい音声を提供することができる。
【００４６】
また、図４の（４０１）に示すような聴力の損失を示す使用者に対して、使用者の聴力を補う補償曲線（４０２）を求め、これを素片のスペクトル特性と合わせることで、スペクトル分布（４０３）に示すように使用者の聴覚特性を補うように変形された伝達関数を生成することができ、聴覚特性において個人差が大きい高齢者や難聴者に対しても、各々に聞き取りやすい合成音声を提供することができる。
【００４７】
（実施の形態２）
図５は、本発明の実施の形態２に係る音声合成装置を示すブロック図である。なお、図５の音声合成装置において、図１と共通する構成部分には図１と同一符号を付して詳細な説明を省略する。
【００４８】
図５の音声合成装置は、図１に対して音韻カテゴリ判定部５０１と平均スペクトル計算部５０２を追加する構成を採る。また、図５の音声合成装置では、フィルタ係数計算部１０４、フィルタ１０５及び平均スペクトル計算部５０２が音韻カテゴリの個数分用意される。以下、音韻カテゴリの個数をｍとし、音韻カテゴリｋ（１≦ｋ≦ｍ）に対応させて、フィルタ係数計算部１０４−ｋ、フィルタ１０５−ｋ及び平均スペクトル計算部５０２−ｋであらわす。
【００４９】
スペクトル抽出部１０３は、分離部１０２より出力された無声子音素片から、音韻全体あるいは音韻の一部に対して時間平均したスペクトル分布を求める。スペクトル分布は、音韻カテゴリ判定部５０１及びフィルタ１０５に出力される。
【００５０】
音韻カテゴリ判定部５０１は、スペクトル抽出部１０３から出力されたスペクトル分布が、予め決定しておいた音韻カテゴリｍ個のいずれに属するかを判定する。各音韻カテゴリｋに対応するスペクトル分布は、平均スペクトル計算部５０２−ｋ及びフィルタ１０５−ｋへ出力される。
【００５１】
平均スペクトル計算部５０２−ｋは、これまでに入力されたスペクトル分布の平均、すなわち、音韻カテゴリ判定部５０１でカテゴリｋと判定された複数のスペクトル分布の平均を求める。平均スペクトルは、フィルタ係数計算部１０４−ｋへ出力される。
【００５２】
フィルタ係数計算部１０４−ｋは、平均スペクトル計算部５０２−ｋで求められた平均スペクトルをｎ次関数で近似し、この近似曲線とスペクトル分布との差分を求めることにより、無声子音素片の特徴を表すスペクトル特性を算出する。
【００５３】
フィルタ１０５−ｋは、フィルタ係数計算部１０４−ｋで求めたスペクトル特性を伝達関数とするフィルタを構成し、音韻カテゴリ判定部５０１より出力されたスペクトル分布に対してフィルタ処理を施すことにより、スペクトル分布の特徴を強調する。
【００５４】
音声素片記憶部１０６は、フィルタ１０５−１〜ｍにより強調された無声子音素片を記憶する。また、母音及び有声子音についてはそのまま記憶する。
【００５５】
素片接続部１０７は、音声素片記憶部１０６に記憶されている音声素片を接続することにより任意の音声を合成し、合成音声として出力する。
【００５６】
次に、本実施の形態のフィルタ生成方法について図６を用いて具体的に説明する。なお、ここでもフィルタ係数計算部１０４で用いるｎ次関数として最小二乗直線を用いることとし、最小二乗直線を求める際にはスペクトル分布の低域成分を無視するものとする。
【００５７】
図６において、スペクトル分布（６０１）は、音韻カテゴリ判定部５０１から各平均スペクトル計算部５０２−１〜ｍに出力された無声子音素片のスペクトル分布であるとする。
【００５８】
平均スペクトル計算部５０２−１〜ｍは、それぞれ、これらのスペクトル分布の平均（６０２）を求め、対応するフィルタ係数計算部１０４−１〜ｍに出力する。
【００５９】
フィルタ係数計算部１０４−１〜ｍは、それぞれ、最小二乗直線を求め（６０３）、平均スペクトルと最小二乗直線との差分（６０４）を求め、対応するフィルタ１０５−１〜ｍに出力する。
【００６０】
フィルタ１０５−１〜ｍは、この差分を伝達関数とするフィルタを構成し、もとのスペクトル分布にフィルタ処理を施す。これにより、特徴が強調された無声子音素片のスペクトル分布（６０５）が得られる。
【００６１】
本実施の形態は、実施の形態１と比較して以下の点で異なる。
【００６２】
すなわち、実施の形態１では、処理対象となる無声子音素片のスペクトル特性そのものを強調フィルタの伝達関数として用いており、通常の無声子音のスペクトル分布に対して非常に有効な処理である。
【００６３】
これに対し、本実施の形態は、無声子音素片が属する音韻カテゴリの平均スペクトルの特性を強調フィルタとして用いていることを特徴とする。平均スペクトルは、同一カテゴリ内の複数のスペクトルの平均を求めたものである。録音音声記憶部には多種多様な音声が記憶されており、それらの中には揺れのある発話や曖昧な発話による音声も含まれているため、スペクトルの平均をとることにより、その音韻カテゴリのおおまかな特徴を表すことができる。従って、この平均スペクトルを用いて無声子音を強調することで、通常の発話だけでなく、揺れのある発話や曖昧な発話についても、その音韻らしい特徴を持った素片に修正することが可能となる。
【００６４】
なお、上記の各実施の形態において、音声波形から無声子音素片を分離してスペクトルの特徴を強調するフィルタ処理を行う場合について説明したが、本発明はこれに限られず、無声子音素片以外の他の素片（例えば子音素片）を分離してスペクトルの特徴を強調してもよい。
【００６５】
【発明の効果】
以上のように本発明によれば、音声波形から特定の音声素片を分離し、分離した音声素片のスペクトルの特徴を強調するフィルタ処理を行った後に他の素片と接続することにより、合成音声の明瞭度の向上を図るように適切な強調帯域を自動的に設定することができ、素片作成の労力を大幅に削減することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る音声合成装置の構成を示すブロック図
【図２】本発明の実施の形態１によるフィルタ生成方法の具体例を示す図
【図３】本発明の実施の形態１によるスペクトル抽出方法の具体例を示す図
【図４】本発明の実施の形態１によるフィルタ生成方法の具体例を示す図
【図５】本発明の実施の形態２に係る音声合成装置の構成を示すブロック図
【図６】本発明の実施の形態２によるフィルタ生成方法の具体例を示す図
【符号の説明】
１０１ 録音音声記憶部
１０２ 分離部
１０３ スペクトル抽出部
１０４ フィルタ係数計算部
１０５ フィルタ
１０６ 音声素片記憶部
１０７ 素片接続部
５０１ 音韻カテゴリ判定部
５０２ 平均スペクトル計算部
Claims (7)
- 音声波形から特定の音声素片を分離する分離手段と、前記分離手段にて分離された前記音声素片のスペクトルをｎ次関数で近似することにより近似曲線を計算し、前記音声素片のスペクトルから前記近似曲線を差し引いて得られたスペクトル特性を算出するフィルタ係数計算手段と、前記スペクトル特性を伝達関数とするフィルタを構成し、前記音声素片に対してフィルタ処理を行うフィルタ手段と、前記フィルタ手段にて処理された音声素片を他の音声素片と接続して音声を合成する素片接続手段と、を具備することを特徴とする音声合成装置。
- 音声波形から特定の音声素片を分離する分離手段と、分離した前記音声素片を複数の音韻カテゴリに分類し、音韻カテゴリを選び出す音韻カテゴリ判定手段と、前記音韻カテゴリごとにその音韻カテゴリに分類された音声素片の平均スペクトルを計算する平均スペクトル計算手段と、前記平均スペクトルをｎ次関数で近似することにより近似曲線を計算し、前記平均スペクトルから前記近似曲線を差し引いて得られたスペクトル特性を算出するフィルタ係数計算手段と、前記スペクトル特性を伝達関数とするフィルタを構成し、前記フィルタの伝達関数の算出に用いた前記音韻カテゴリに属する音声素片に対してフィルタ処理を行うフィルタ手段と、前記フィルタ手段にて処理された音声素片を他の音声素片と接続して音声を合成する素片接続手段と、を具備することを特徴とする音声合成装置。
- フィルタ係数計算手段は、音声素片のスペクトルの低域成分を除去して近似曲線を計算することを特徴とする請求項１又は請求項２記載の音声合成装置。
- フィルタ係数計算手段は、所定の定数を乗算してスペクトル特性の振幅を一様に拡大することを特徴とする請求項１から請求項３のいずれかに記載の音声合成装置。
- フィルタ係数計算手段は、使用者の聴力曲線と健聴者の聴力曲線の差である補償曲線をスペクトル特性に加算して新たなスペクトル特性とすることを特徴とする請求項１から請求項３のいずれかに記載の音声合成装置。
- あらかじめ録音された音声波形である音声素片の接続によって任意の音声を合成する音声合成システムに用いられ、音声波形から分離した特定の音声素片のスペクトルをｎ次関数で近似することにより近似曲線を計算する工程と、前記音声素片のスペクトルから前記近似曲線を差し引いて得られたスペクトル特性を算出する工程と、前記スペクトル特性を伝達関数とするフィルタを構成する工程と、前記特定の音声素片に対してフィルタ処理を行う工程と、フィルタ処理された音声素片を他の音声素片と接続して音声を合成する工程とを有することを特徴とする音声明瞭化方法。
- あらかじめ録音された音声波形である音声素片の接続によって任意の音声を合成する音声合成システムに用いられ、前記音声素片を複数の音韻カテゴリに分類し、音韻カテゴリを選び出す工程と、前記音韻カテゴリごとにその音韻カテゴリに分類された音声素片の平均スペクトルを計算する工程と、前記平均スペクトルをｎ次関数で近似することにより近似曲線を計算する工程と、前記平均スペクトルから前記近似曲線を差し引いて得られたスペクトル特性を算出する工程と、前記スペクトル特性を伝達関数とするフィルタを構成する工程と、前記フィルタの伝達関数の算出に用いた前記音韻カテゴリに属する音声素片に対してフィルタ処理を行う工程と、フィルタ処理された音声素片を他の音声素片と接続して音声を合成する工程とを有することを特徴とする音声明瞭化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002155683A JP3921416B2 (ja) | 2002-05-29 | 2002-05-29 | 音声合成装置及び音声明瞭化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002155683A JP3921416B2 (ja) | 2002-05-29 | 2002-05-29 | 音声合成装置及び音声明瞭化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003345373A JP2003345373A (ja) | 2003-12-03 |
| JP3921416B2 true JP3921416B2 (ja) | 2007-05-30 |
Family
ID=29772152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002155683A Expired - Fee Related JP3921416B2 (ja) | 2002-05-29 | 2002-05-29 | 音声合成装置及び音声明瞭化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3921416B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4946293B2 (ja) * | 2006-09-13 | 2012-06-06 | 富士通株式会社 | 音声強調装置、音声強調プログラムおよび音声強調方法 |
| JP6087731B2 (ja) * | 2013-05-30 | 2017-03-01 | 日本電信電話株式会社 | 音声明瞭化装置、方法及びプログラム |
-
2002
- 2002-05-29 JP JP2002155683A patent/JP3921416B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003345373A (ja) | 2003-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2956548B2 (ja) | 音声帯域拡大装置 | |
| US5933801A (en) | Method for transforming a speech signal using a pitch manipulator | |
| Meyer et al. | Effect of speech-intrinsic variations on human and automatic recognition of spoken phonemes | |
| JP3660937B2 (ja) | 音声合成方法および音声合成装置 | |
| JP2002014689A (ja) | デジタルに圧縮されたスピーチの了解度を向上させる方法および装置 | |
| JPH031200A (ja) | 規則型音声合成装置 | |
| US20020016698A1 (en) | Device and method for audio frequency range expansion | |
| JP5039865B2 (ja) | 声質変換装置及びその方法 | |
| JPH08123484A (ja) | 信号合成方法および信号合成装置 | |
| KR20050049103A (ko) | 포만트 대역을 이용한 다이얼로그 인핸싱 방법 및 장치 | |
| JP3240908B2 (ja) | 声質変換方法 | |
| JP6330069B2 (ja) | 統計的パラメトリック音声合成のためのマルチストリームスペクトル表現 | |
| JP6087731B2 (ja) | 音声明瞭化装置、方法及びプログラム | |
| JP3921416B2 (ja) | 音声合成装置及び音声明瞭化方法 | |
| JP2798003B2 (ja) | 音声帯域拡大装置および音声帯域拡大方法 | |
| JP2000122679A (ja) | 音声帯域拡張方法及び装置、音声合成方法及び装置 | |
| JP5075865B2 (ja) | 音声処理装置、方法、及びプログラム | |
| JPH09319391A (ja) | 音声合成方法 | |
| JP2709926B2 (ja) | 声質変換方法 | |
| KR100715013B1 (ko) | 대역확장장치 및 방법 | |
| JP5245962B2 (ja) | 音声合成装置、音声合成方法、プログラム及び記録媒体 | |
| KR100322693B1 (ko) | 선형예측분석합성을이용한음성인식방법 | |
| JP2007047422A (ja) | 音声分析合成装置および音声分析合成方法 | |
| JP3230782B2 (ja) | 広帯域音声信号復元方法 | |
| JP3230791B2 (ja) | 広帯域音声信号復元方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061114 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070219 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3921416 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100223 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140223 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |