JP4177751B2 - 声質モデル生成方法、声質変換方法、並びにそれらのためのコンピュータプログラム、当該プログラムを記録した記録媒体、及び当該プログラムによりプログラムされたコンピュータ - Google Patents

Description

この発明は音声の声質を制御する方法に関し、特に、音声の声質をパラメータにより表し、当該パラメータの値を用いて声質を変化させる方法および装置に関する。

ここ二、三十年の間に、コンピュータを用いた音声処理技術は格段に進歩した。例えば、音声認識技術についてはかなり高精度で認識が行なわれるようになり、また音声合成についてもある程度の聞き取りやすさで音声を合成することが可能になっている。

しかし、人間が普段行なっている音声処理とコンピュータを用いた音声処理との間には、まだ多くの点で相違がある。その典型的な例はパラ言語情報の取り扱いである。

パラ言語情報とは、話し言葉のうち、文字では表現できない要素のことをいう。例えば発話時の身振り、顔つき、声の調子などがパラ言語情報を構成する。人間であれば、声の調子の微妙な変化により話者の気持ちを感じ取ることができる。それに対し、音声認識によって得られるのは文字で表現できる要素のみであり、パラ言語情報を捕らえることはできない。同様に、人間であれば、同じ発話内容であっても、発話時の声の調子によって発話時の種々の気持ちを伝えることができる。しかし音声合成ではそのような音声を合成することは難しい。

パラ言語情報の中で代表的なものとして、声質がある。声質については、種々の領域（例えば調音的、音響的、知覚的な領域）での、種々のレベル（例えば音声の機能的側面等）での定義が可能である。広い意味では、声質とは、話者により生成された人間の音声であって、かつ複数個の音声単位（例えば音素）にわたって聴者により知覚された音声の属性のことをいう。

現在の技術では、音声認識においても音声合成においても、人間が発声する場合の声質の変化に対応した処理を行なうことは困難である。この分野は音韻学と音声処理技術との間で共同して研究を行なうのに格好の分野であると考えられる。

特開２００３−３３０４７８ Ｌａｖｅｒ，Ｊ．、「声質の音声的記述」、ケンブリッジ大学出版社、１９８０（Ｌａｖｅｒ，Ｊ．（１９８０），"Ｔｈｅ Ｐｈｏｎｅｔｉｃ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｖｏｉｃｅ Ｑｕａｌｉｔｙ"，Ｃａｍｂｒｉｄｇｅ：Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ）

人間とコンピュータとの間のインタフェースとして、音声処理技術は今後ますます多くの局面で使用されることになることは間違いない。その際、パラ言語的な情報もコミュニケーションに利用できれば、人間同士のコミュニケーションに近いものを実現できる。

しかし、現在までのところ、音声認識によって人間の音声の声質を判定したりすることは困難で、ましてや声質から話者の感情を判断することは非常に難しい。また、音声合成においても、あるパラ言語的な情報を伝達するためには声質をどのように制御すればよいかは、今のところ判明していない。

また、声質を制御するためのパラメータの数はできるだけ少ないことが望ましく、さらに理想的には、そうしたパラメータは、生理学上の観点からも、知覚上の観点からも意味あるものであって、声質という現象に関するこれらふたつの領域における理解をより深めるようなものであることが望まれる。

しかし従来は、そのような声質を判定したり制御したりするパラメータとしてどのようなものを使用すればよいかは不明であり、したがって当然、どのようにパラメータを変化させれば音声合成の声質を所望のものにすることができるかは分からなかった。

それ故にこの発明の目的は、声質を表すための声質モデルを生成する声質モデル生成方法を提供することである。

それ故にこの発明の目的は、少数のパラメータで声質を表すための声質モデルを生成する声質モデル生成方法を提供することである。

この発明の他の目的は、声質を所望のものに変換することが可能な声質変換装置及び方法を提供することである。

この発明の他の目的は、少数のパラメータで声質を所望のものに変換することが可能な声質変換装置及び方法を提供することである。

本発明の第１の局面に係る声質モデル生成方法は、それぞれ予め所定の声質に対応して準備された、基準となる複数の音声波形のうち、所定の条件を充足する部分から、当該部分が発声されたときの声帯波の単位波形を推定する声帯波形推定ステップと、声帯波の単位波形の各々を所定のパラメータ化方法にしたがってパラメータ化するパラメータ化ステップと、パラメータ化された声帯波の単位波形に対する主成分分析を行なうことにより、声帯波の単位波形の各々の主成分表現を取得する主成分分析ステップと、声帯波の単位波形の各々の波形と、当該波形に対応する主成分表現とを、当該声帯波が得られた音声波形に対応する声質のモデルとして出力するステップとを含む。

好ましくは、声帯波形推定ステップは、それぞれ予め所定の音質に対応して準備された、複数の音声波形の音節核を抽出するステップと、抽出された音節核の各々に対し、声道の影響を除去して音声が発生された際の声門気流の体積速度波形を検出するための逆フィルタを適用するステップと、逆フィルタが適用された後の音節核の各々から声帯波の単位波形を抽出する単位波形抽出ステップとを含む。

より好ましくは、単位波形抽出ステップは、音節核の中央部に存在する、体積速度波形の極小部分を起点とし、そこから当該音節核を含む所定領域の基本周波数により定まる周期の１周期分だけ遡った部分までを単位波形として抽出するステップを含む。

さらに好ましくは、単位波形抽出ステップに先立って、声門気流の体積速度波形を所定の正規化方法にしたがって正規化するステップをさらに含む。

好ましくは、主成分分析ステップは、パラメータ化された声帯波の単位波形に対する主成分分析を行なうことにより、声帯波の単位波形の各々の、先頭から所定個数までの主成分による主成分表現を取得するステップを含む。

より好ましくは、所定個数までの主成分は、第１主成分から第４主成分までである。

さらに好ましくは、パラメータ化ステップは、声帯波の単位波形を複数の等長部分に分割する所定個数のサンプリング点において、声帯波の単位波形を再サンプリングする再サンプリングステップを含む。

より好ましくは、再サンプリングステップによって再サンプリングされた声帯波の単位波形の差分をとることにより、声帯波の単位波形の微分データ列を求める微分ステップをさらに含み、主成分分析ステップは、微分データ列に対し主成分分析を行なうことにより、声帯波の単位波形の各々の微分量に対する主成分表現を取得するステップを含む。

さらに好ましくは、微分ステップによって求められた微分データ列の各々は、再サンプリング時間の差分と、当該再サンプリング時間の差分に対応する声帯波の単位波形の差分との対を含み、声質モデル生成方法はさらに、主成分分析ステップに先立って、微分データ列を求めるステップによって求められた微分データ列の各々に対し、時間軸方向の変動による影響と振幅方向の変動による影響とを等化するための予め定められる規準化処理を行なうステップをさらに含む。

本発明の第２の局面に係る声質変換方法は、それぞれ所定の声質に対応付けられた複数のプロトタイプ声帯波の単位波形と、当該複数のプロトタイプ声帯波の単位波形の各々に対して予め定める主成分分析によって得られた先頭から所定個数の主成分表現との対からなる声門波形モデルを用いて、入力音声波形の声質を変換する声質変換方法であって、入力音声波形のうち、所定の条件を充足している部分からそれぞれ声帯波の単位波形を抽出する単位波形抽出ステップと、入力音声波形の声質として予め指定される声質に対応する声門波形モデルと、ユーザにより指定される声質に対応する声門波形モデルとに基づいて、入力音声波形から抽出される声帯波の単位波形を、ユーザにより指定される声質に変換して出力音声波形を生成する音声波形生成ステップとを含む。

好ましくは、音声波形生成ステップは、入力音声波形の声質に対応する声門波形モデルから第１のプロトタイプ声帯波を選択するステップと、ユーザにより指定された声質に対応する声門波形モデルから第２のプロトタイプ声帯波を選択するステップと、第１の波形と第２の波形との間で所定の演算を行なうことにより、入力音声波形をユーザにより指定された声質の音声波形に変換するための変換関数を算出する変換関数算出ステップと、入力音声波形の声帯波の単位波形に対して変換関数を適用することにより、出力音声波形を生成するステップとを含む。

より好ましくは、変換関数算出ステップは、第２の波形から第１の波形を減算することにより、変換関数を算出するステップを含む。

さらに好ましくは、音声波形生成ステップは、入力音声波形の声帯波の単位波形に対して変換関数を加算することにより、出力音声波形を生成するステップを含む。

好ましくは、単位波形抽出ステップは、入力音声波形の音節核を抽出するステップと、抽出された音節核の各々に対し、声道の影響を除去して音声が発生された際の声門気流の体積速度波形を検出するための逆フィルタを適用するステップと、逆フィルタが適用された後の音節核の各々から声帯波の単位波形を抽出するステップとを含む。

より好ましくは、単位波形を抽出するステップは、音節核の中央部に存在する、体積速度波形の極小部分を起点とし、そこから当該音節核を含む所定領域の基本周波数により定まる周期の１周期分だけ遡った部分までを単位波形として抽出するステップを含む。

さらに好ましくは、波形を抽出するステップに先立って、声門気流の体積速度波形を所定の正規化方法にしたがって正規化するステップをさらに含む。

好ましくは、先頭から所定個数の主成分表現は、第１主成分から第４主成分によるものである。

この発明の第３の局面にかかるコンピュータプログラムは、コンピュータにより実行されると、上記したいずれかの方法の全てのステップを実現するようにコンピュータを動作させるように構成されている。

この発明の第４の局面に係るコンピュータは、上記したコンピュータプログラムによりプログラムされている。

この発明の第５の局面に係るコンピュータ読取可能な記録媒体は、上記したコンピュータプログラムを記録したものである。

‐構成‐
図１は、本発明の一実施の形態に係る声質変換システム３０のブロック図である。図１を参照して、この声質変換システム３０は、それぞれ特定の声質を持つ音声として選ばれた、声質を制御するパラメータの基準値を定めるための基準音声波形３２から、声門波形モデルとしての、声質を制御するパラメータを表すＰＣＡパラメータモデル３６を主成分分析（ＰＣＡ）によって作成するためのモデル作成部３４と、入力音声波形５０と当該入力音声波形５０の声質を特定する、ユーザにより入力される声質特定情報５１とを受け、入力音声波形５０に対して、モデル作成部３４が行なうのと同様の分析を行なって声帯波の波形を抽出し、声質特定情報５１と、ユーザにより設定されたターゲットの声質とに基づいて、ＰＣＡパラメータモデル３６を用いて音声波形５４をターゲットの声質で再生成するための声質変換装置５２とを含む。

本実施の形態では、基準音声波形３２としては、予めそれぞれ特徴的な声質の音声であるとして選ばれた１３種類の人間の音声波形を用いる。それら音声波形には、そうした声質を示すラベル付けが予めなされている。本実施の形態では、この音声波形として非特許文献１に添付された音声データを用いている。それら音声とその声質とについては図６を参照して後述する。なお、本実施の形態で使用する音声データは、所定のサンプリング速度でフレーム単位でサンプリングされたデジタルデータとして予め準備されるものとする。

図２は、モデル作成部３４の詳細な構成を示すブロック図である。図２を参照して、モデル作成部３４は、音声波形のうち、話者の発声機構によって安定して発声されている領域（これを以後「音節核」と呼ぶ。）を抽出するための音節核抽出部８０を含む。より具体的には、音節核抽出部８０は、音響エネルギーの時間軸上の波形分布を算出し、その分布波形の輪郭に対して凸包アルゴリズムを適用することにより音響エネルギーの輪郭中の谷部分を検出し、入力音声を当該谷部分で擬似音節に分割する。音節核抽出部８０はさらに、上記のようにして得られた擬似音節中の、音響エネルギーの最大値が得られる点をまず音節核の起点とする。音節核抽出部８０はさらに、音節核の左右に、音響エネルギーが所定のしきい値（０．８×音響エネルギーの最大値）より大きく、かつ有声と判定されたフレームであって、かつ同じ擬似音節中のフレームがあればそれらのフレームを擬似音節に１フレームずつ追加していくことにより、連続した領域を音節核として抽出する。

モデル作成部３４はさらに、音節核抽出部８０により抽出された音節核の各々について、線形予測（ＬＰ）ケプストラムを用いた線形予測によって最初の４つのフォルマント周波数及び帯域を推定するためのフォルマント推定部８１を含む。フォルマント推定部８１は、所定の線形ケプストラム‐フォルマントマッピングを利用しており、かつ予め母音フォルマントに対するマッピングを学習させてある。この音節核抽出部８０及びフォルマント推定部８１には、上記した特開２００３−３３０４７８において開示されたものと同様のものを用いている。

モデル作成部３４はさらに、音節核抽出部８０及びフォルマント推定部８１により抽出された音節核の各々に対して、音声に対する声道の影響を除去するための逆フィルタを生成し音声波形に対して適用するための逆フィルタ処理部８２と、逆フィルタ処理部８２の出力から、当該音節核を発声したときの話者の声帯の声門の体積速度波形を検出するための体積速度波形検出部８４とを含む。

モデル作成部３４はさらに、体積速度波形検出部８４が検出した声門の体積速度波形を正規化するための正規化部８６と、正規化部８６により正規化された声門の体積速度波形から、各音節核の中央近くの１サイクル分の波形（声帯波）の波形データを抽出するための波形抽出部８７と、波形抽出部８７の抽出した１サイクル分の声帯波の波形データに対し、後述するようなＰＣＡ分析を行ない第４主成分までを算出するためのＰＣＡ分析部８８とを含む。

ＰＣＡ分析部８８が出力するＰＣＡ分析の主成分の値は、対応する声帯波の波形（これをプロトタイプ声帯波と呼ぶ。）と対応付けられてＰＣＡパラメータモデル３６を構成する。ＰＣＡ分析部８８によるＰＣＡ分析に先立って音声波形データをパラメータ化する必要があるが、その詳細については後述する。後述するように、こうして得られたＰＣＡパラメータモデルは、基準音声波形３２を構成する各音声波形の声質をよく表すものと考えられる。

図３は、図２に示す逆フィルタ処理部８２のより詳細なブロック図である。図３を参照して、逆フィルタ処理部８２は、音節核の各々に対し、分析及び総合による最適化によって、ケプストラム‐フォルマントマッピングにより推定されたフォルマントの精度をより高め、さらに時間とともに変化する、声道の影響を除去するための逆フィルタを生成するための逆フィルタ生成部１２０と、入力される音節核の音声波形のうち、周波数の低いはっきりしない音声成分を減衰させるためのハイパスフィルタ１２２と、ハイパスフィルタ１２２の出力のうち、第４フォルマントより上のスペクトル成分を減衰させるためのローパスフィルタ１２４と、ローパスフィルタ１２４の出力する音声信号に対して、逆フィルタ生成部１２０の生成した逆フィルタを適用することにより、声道の最初の４つの共鳴成分の影響を除去するための逆フィルタ適用部１２６とを含む。

図２に示す体積速度波形検出部８４は、逆フィルタ適用部１２６により出力される、声道の影響の除去された音声信号を積分することにより、唇による放射の影響を除去し、声門気流の体積速度波の推定波形を出力する機能を持つ。

図２に示す正規化部８６は、体積速度波形検出部８４の出力する声門気流の体積速度波の推定波形を正規化するためのものである。この波形の振幅がどのようなものかは前もって分からないので、このように正規化することが必要である。本実施の形態に係る正規化部８６は、音節核の全体にわたる体積速度波の振幅の平均値を求め、元の値から減算することにより波形の正規化を行なっている。

図２に示す波形抽出部８７は、音節核の近くの声帯波を以下のようにして抽出する。すなわち、波形抽出部８７は、音節核の近くの、波形の極小値部分を探し、そこを起点として、そこから１周期分だけ遡った部分までを１サイクルの声帯波として抽出する。この場合の周期は、基本周波数Ｆ０の逆数として定められる。

図４は、図２に示すＰＣＡ分析部８８の詳細なブロック図である。ＰＣＡ分析のためには、波形を一定数のパラメータにより表現する必要がある。ＰＣＡ分析部８８は、声帯波の１サイクルの周期と振幅との双方の値に関連したＰＣＡ分析を可能とするために、以下に述べるような特定の方法により声帯波をパラメータ化している。

図４を参照して、ＰＣＡ分析部８８は、分析対象の声帯波波形の第１５高調波により決定されるカットオフ周波数を有するローパスフィルタ１４０と、ローパスフィルタ１４０により低周波数成分が減衰された声帯波波形を、３０個の互いに等しい間隔の部分波形により構成されるように再サンプリングするための再サンプリング部１４２とを含む。再サンプリング部１４２によるサンプリングでは、波形自身に沿ったサンプリング点間の距離が互いに等しくなるようなサンプリングが行なわれる。このようなサンプリングにより、波形の振幅軸と時間軸との間の共分散を考慮に入れることができ、二つの次元の双方に同時に関連するような変化についても柔軟にモデル化することができる。したがって各サンプリング点は、時間軸方向の値と、振幅軸方向の値との二つの値の組となる。

図５に、例となる声帯波１６０と、声帯波１６０に対するサンプリング点の例（０〜３０により示す。）とを概念的に示す。図５に示すように、サンプリング点は３１個あり、その結果声帯波１６０は３０個の互いに等しい長さの部分波形に分割される。

本実施の形態において、サンプリング点は３１個である。この個数は、波形の詳細部分を十分に保存しつつ、パラメータの数をできるだけ少なくするために選択されたものである。もちろん、サンプリング点の数が３１に限定されるわけではなく、使用する装置の性能、必要とされる精度などによりサンプリング点の数を選択することができる。

サンプリング定理によれば、互いに等しい間隔の３１個のサンプリング点でサンプリングすることにより、各声帯波形のスペクトルの第１５高調波までが保存されることになる。したがって、エイリアシングを避けるため、ローパスフィルタ１４０のカットオフ周波数を声帯波形の第１５高調波に設定してある。

図４を再度参照して、ＰＣＡ分析部８８はさらに、再サンプリング部１４２によりサンプリングされた波形の一次差分を算出するための差分算出部１４４を含む。これは、逆フィルタにより推定された声帯波の振幅のオフセットが未知であるため、その影響をなくすためである。また、種々の声帯波形の間の振幅の相違によってＰＣＡ分析に不自然な結果が生じることを避けるためでもある。この結果、３０個の座標点においてサンプリングされた、６０個のパラメータからなる、一つの声帯波に対する微分量が得られる。これら６０個のパラメータからなる微分量の組を全ての声帯波に対して算出することで、それら得られた微分量の組の全てに対してＰＣＡ分析を行なうことが可能である。

図４を参照して、ＰＣＡ分析部８８はさらに、差分算出部１４４により算出された声帯波の微分量に対して規準化処理を行なうための規準化処理部１４６を含む。声帯波の微分の時間及び振幅の次元は互いに無関係であり、そのためＰＣＡ分析がそれら次元のうち変化量の大きな次元の方を不当に反映した形で行なわれてしまう可能性があり、それらの影響を等化しておくのが望ましい。そのため、ＰＣＡ分析に先立ち、各次元について、その全体の平均値を各サンプリング点の値から減算し、さらにそれらサンプリング点の各次元の値をそれらの標準偏差で除算することにより規準化する。規準化処理部１４６が行なうのはその処理である。

ＰＣＡ分析部８８はさらに、規準化処理部１４６により規準化された、単位波形あたり３０個のサンプリング点での計６０個の値の組の全てに対してＰＣＡ分析を行ない、各単位波形に対し、その第４主成分までを算出するためのＰＣＡ計算部１４８を含む。

図６に、基準音声波形３２から得られた声帯波と、それらに対するサンプリング結果を示す。図６に示す波形は、特定の声質を表すと判断された複数の音節核に対して算出された波形を、声質ごとに平均することによって得られたものである。（なお、実際には波形の微分量が得られるので、図６に示すのはそれを積分して得られた波形ということになる。）以下、これらをプロトタイプ声帯波と呼ぶ。

図６において、各波形の上部に記載された１〜３個のアルファベットは、そのプロトタイプ声帯波の声質を表す。アルファベットの組とその意味とを次のテーブル１に示す。

上記したように、モデル作成部３４によるＰＣＡ分析は声帯波の微分波形に対して行なう。しかし、以下では、この結果得られたプロトタイプ声帯波を分かりやすく比較するために、ＰＣＡ分析の結果を積分して振幅のスケールに戻し、これらの声帯波の分析結果を論じる。その際、声帯波形の先頭サンプルの振幅を０とした。図７に、その結果を示す。

図７に示す４つのグラフは、それぞれ第１、第２、第３、及び第４主成分について、テスト対象となった全ての声帯波の平均値（実線で示す。）、及び平均値±標準偏差（それぞれ「＋」と「□」とを含む線により示す。）を示したものである。ここでは、テスト対象は７７種類の声帯波の集団からなる。

これら先頭の４つの主成分により説明される全分散の累計値は、それぞれ５７．６％、８０．８％、８８．２％、及び９２．１％である。したがって、６０次元の空間により表されるデータに対するＰＣＡ分析の結果、直交基底関数が得られるが、そのうちの４つだけで分散の９０％以上を説明することが可能なことが分かる。

図７の第１番目のグラフは、分散の５７．６％を説明する第１主成分から得られる波形を示す。このグラフから、この主成分が主として波形の持続期間、すなわち声帯波の基本周波数を表す。またこの第１主成分は、波形の随伴的な変形についても説明する。周期が短くなると波形はより対称的になり、頂点はより丸くなる。周期が長くなると波形はより広く、頂部は平らになる。したがってこの第１主成分は、波形の立ち上がり部分（声門の開口時）と立下り部分（声門の閉鎖時）との変化は反映していない。

第２主成分を図７の２番目のグラフで示す。第２主成分は、もとの分散のうち、２３．２％を説明するものであり、主として声門の開口時の波形の変動を説明するものである。特に、波形の中央部分は、中央のやや右側に偏った単一の頂点を持つ高振幅であるか、又は二重音系の発音の二つのパルスの間のくぼみを説明するような低い振幅であるかのいずれかである。第１主成分と異なり、この第２主成分は波形の基本周期とはそれほど大きな関係はない。

第３主成分を図７の３番目のグラフで示す。第３主成分は元の分散の７．４％を説明するが、主として開口時の波形の傾斜と声帯波のピークの形とを反映するようである。例えば、一方の極では開口時の傾斜は急でその後に比較的平坦な頂部が続くが、他方の極では開口時の傾斜はゆるく、その後にさらにピークに続くより緩やかな傾斜部分が続く。

図７の４番目のグラフは、第４主成分による波形を示す。第４主成分は元の分散のうちわずか３．９％しか説明しないが、パルスのスキューと閉鎖時の速度とを反映する。一方の極では声帯波形は比較的対称形でより緩やかな閉鎖時の傾斜を示すが、他方の極では声帯波形のパルスはやや右側に偏り、より急な閉鎖時の傾斜を示す。

第５主成分以降は、波形のより詳細な部分について説明するものであるが、いずれも元の分散の２％に満たない部分を説明するものでしかない。したがって本実施の形態ではそれらについては考慮しない。

もちろん、第５主成分以降まで考慮してもよい。利用可能な計算機資源と、アプリケーションが必要とする速度との兼ね合いでどの主成分まで考慮するかを決定すればよい。もっとも、上記したように第４主成分までで波形の変化の大方は説明できるので、第５主成分以降を考慮する実益は少ないと思われる。

再び図１を参照して、声質変換装置５２は、モデル作成部３４により生成されたＰＣＡパラメータモデル３６を、それぞれのプロトタイプ声帯波の波形データとともに記憶するためのプロトタイプデータ記憶部６８と、モデル作成部３４で行なわれたのと同様の方法で入力音声波形５０から声帯波の１サイクル分の波形を抽出するための声帯波形抽出部６０と、声質特定情報５１、プロトタイプデータ記憶部６８に記憶されているプロトタイプ声帯波データ、及びユーザにより入力されたターゲットの声質に基づいて、入力音声波形５０から抽出された声帯波形を、ユーザにより指定された声質の声帯波形に変換する機能を持つ音声波形変換関数を生成するための変換関数生成部６２と、変換関数生成部６２により得られた変換関数を用いて声帯波形抽出部６０から出力される声帯波形を変換することにより、ユーザが指定した声質の音声波形５４を生成するための波形再生成部６４とを含む。

声帯波形抽出部６０は、処理対象が入力音声波形５０であることを除き、モデル作成部３４と同様の処理をして声帯波の波形を抽出する機能を持つ。したがってここでは声帯波形抽出部６０の詳細な説明は行なわない。

図８は、変換関数生成部６２のより詳細なブロック図である。図８を参照して、変換関数生成部６２は、キーボード及びモニタなど、ユーザとの間の対話を実現する入出力装置１８４と、ユーザにより入力された声質特定情報５１に基づいて決定される、入力音声波形５０の声質に対応するＰＣＡパラメータを入出力装置１８４を用いてユーザに提示し、さらにＰＣＡパラメータのターゲットとしてユーザにより指定された値を入出力装置１８４を介して受け取るためのターゲット設定部１８２とを含む。ターゲット設定部１８２はこのとき、プロトタイプデータ記憶部６８に記憶されたＰＣＡパラメータモデルを参照する。

変換関数生成部６２はさらに、ターゲット設定部１８２により設定されたターゲットＰＣＡパラメータに対するプロトタイプ声帯波の波形から、声質特定情報５１に基づいて決定される、入力音声波形５０の声質に対応するプロトタイプ声帯波の波形を減算することにより、波形変換関数を生成するための波形減算処理部１８８とを含む。

図９に、ターゲット設定部１８２によるＰＣＡパラメータの表示とターゲットＰＣＡパラメータの設定との一手法を示す。図９を参照して、図８に示す入出力装置１８４の出力画面２００には、二つのＰＣＡパラメータ設定領域２０２及び２０４が表示される。ＰＣＡパラメータ設定領域２０２は第１主成分（ＰＣ１）及び第２主成分（ＰＣ２）の値を設定するためのものである。ＰＣＡパラメータ設定領域２０４は第３主成分（ＰＣ３）及び第４主成分（ＰＣ４）の値を設定するためのものである。

ＰＣＡパラメータ設定領域２０２及び２０４はそれぞれ、二次元の座標（ＰＣ１，ＰＣ２）及び（ＰＣ３，ＰＣ４）により表される点を表示することができる。入力音声波形５０の声質が指定されることによりプロトタイプデータ記憶部６８に記憶された声門波形モデルからＰＣ１〜ＰＣ４が決定される。それに対応する点として点２１０及び２１４をそれぞれＰＣＡパラメータ設定領域２０２及び２０４に表示できる。この２点の表示により入力音声波形５０の第１主成分〜第４主成分が特定される。

表示上において、例えばユーザがＰＣＡパラメータ設定領域２０２において点２１２を新たに指定することにより、ＰＣ１及びＰＣ２のターゲットの値が点２１２に対応する各軸上の値として定まる。同様に、ユーザがＰＣＡパラメータ設定領域２０４において点２１６を新たに指定することにより、ＰＣ３及びＰＣ４のターゲットの値が定まる。図８に示すターゲット設定部１８２は、このようにしてユーザにより設定された、第１主成分から第４主成分までのターゲット値を取得する。

もちろん、図９に示した手法はターゲットを設定するための一つの手法に過ぎない。これ以外にも、例えば各主成分ごとに値を直接入力する方法、予め準備されたプロトタイプを表示し、その中からターゲットとなるプロトタイプを指定させる方法等、様々な手法を用いることができる。

図１０は、図１に示す波形再生成部６４の詳細なブロック図である。図１０を参照して、波形再生成部６４は、声帯波形抽出部６０から出力される各声帯波に、変換関数生成部６２により生成された変換関数を加算することにより、入力音声波形５０から抽出された声帯波を修正するための波形加算部２４０と、波形加算部２４０の出力する変換後の声帯波形に対し、その音声のピッチ及び発話の持続時間を適切なものに調整し、さらに物理的に現実的でない、又は極端な変形により生じる声帯波形の不自然なフォールドバック等を避ける処理を行なうための波形調整部２４２とを含む。

前述したとおり、規準化された声帯波形の微分は、それぞれ３０個の時間座標及び振幅座標の対により表される。そのため、変換関数生成部６２により生成される変換関数は、波形を振幅軸方向だけでなく時間軸方向へも変形させる。これにより、声質が不適切に変わってしまう可能性がある。そのため、波形調整部２４２により、波形を調整しそうした問題が生じないようにする。

波形再生成部６４はさらに、波形調整部２４２の出力する、変換後の音声波形の微分に対して、図１に示す声帯波形抽出部６０内で生成される逆フィルタ（図３に示す逆フィルタ処理部８２に相当）の逆フィルタ（逆・逆フィルタ）を適用することにより、元のフォルマントを復元し、変換後の音声信号を出力するための逆・逆フィルタ２４４を含む。

‐動作‐
以上構成を説明した声質変換システム３０は以下のように動作する。声質変換システム３０の動作には二つの局面がある。第１の局面はＰＣＡパラメータモデル３６を作成する処理に関し、第２の局面はこのＰＣＡパラメータモデル３６を用い、入力音声波形５０の声質をユーザ入力に従い変化させて音声波形５４を生成する局面である。以下、まず第１の局面、次に第２の局面を順に説明する。

まず、第１の局面を説明する。図１を参照して、予め基準音声波形３２が準備されているものとする。これら基準音声波形３２の各々には、予めその声の声質を特定するラベル付けがなされているものとする。

モデル作成部３４のうち、音節核抽出部８０及びフォルマント推定部８１は、基準音声波形３２の各音声に対し、前述した処理を行ない、音節核を抽出する。すなわち、図２を参照して、音節核抽出部８０は、音声波形の時間軸上のパワーの分布波形などに基づき、音節核を抽出する。フォルマント推定部８１は、各音節核におけるフォルマント周波数及び帯域を推定する。こうして抽出された音節核は、基準音声波形３２の音声のうちでも、発話者の発話機構により判定して発話されている部分を示す。

図２に示す逆フィルタ処理部８２は、音節核抽出部８０及びフォルマント推定部８１により抽出された音節核の各々に対し、逆フィルタ処理を行なうことにより声道による影響を除去する。すなわち、図３を参照して、逆フィルタ生成部１２０は、音節核の各々に対し、分析及び総合による最適化によって、声道の影響を除去するための逆フィルタのためのパラメータを生成する。このパラメータは時間とともに変化する。ハイパスフィルタ１２２及びローパスフィルタ１２４によって低周波数成分及び第４フォルマントより上の成分が除去された音声信号は逆フィルタ適用部１２６に与えられ、逆フィルタ適用部１２６によって音声信号から声道の最初の４つの共鳴成分の影響が除去される。逆フィルタ適用部１２６の出力は図２に示す体積速度波形検出部８４に与えられる。

体積速度波形検出部８４は、逆フィルタ処理部８２の出力に基づいて、各音声の音節核における声門気流の体積速度波形を検出する。検出された体積速度波形は正規化部８６により正規化され波形抽出部８７に与えられる。

波形抽出部８７は、正規化された体積速度波形のうち、音節核の中心付近に存在する１サイクル分の波形を抽出し、ＰＣＡ分析部８８に与える。

図４を参照して、ＰＣＡ分析部８８のローパスフィルタ１４０は、対象の音声波形の第１５高調波により決定されるカットオフ周波数より上の周波数成分を除去し、音声信号を再サンプリング部１４２に与える。再サンプリング部１４２は、入力される音声波形に対し、波形上で互いに等しい３０個の部分波形に分割されるように選ばれた３１個の点で音声波形をサンプリングし、時間及び振幅の対を３１個生成する。差分算出部１４４は、これら３１個の対の一次差分をとることにより、３０個のサンプリング点でサンプリングされた、声帯波の微分量を出力する。規準化処理部１４６はこの微分量を構成する時間及び振幅の値から、処理対象となる一つの波形全体にわたって得られたそれらの平均値を減算し、さらにその結果の値をそれらの標準偏差で除算することにより規準化し、得られた６０個の値（３０個の時間及び振幅の微分量の対）をＰＣＡ計算部１４８に与える。ＰＣＡ計算部１４８は、このようにして与えられた、全ての声帯波についてのパラメータの全体に対してＰＣＡ分析を行ない、各声質を代表する基準音声の声帯波について、それらの第１主成分から第４主成分の値を算出し、対応する基準音声の声帯波の波形とこれら４つの値を組合せることで各基準音声の声帯波のＰＣＡパラメータモデル３６を作成する。このようにして基準音声の声帯波の各々に対して得られたＰＣＡパラメータモデル３６は、声質変換装置５２のプロトタイプデータ記憶部６８に記憶される。

以上でＰＣＡパラメータモデル３６の作成処理は終了である。

次に、第２の局面における声質変換装置５２の動作について説明する。図１を参照して、声帯波形抽出部６０は、入力音声波形５０に対し、モデル作成部３４と同様の処理を行なうことにより入力音声波形５０の声帯波の波形を抽出し、波形再生成部６４に与える。

図８を参照して、ターゲット設定部１８２は、入力音声波形５０に対応する声質を特定する声質特定情報５１を受け、プロトタイプデータ記憶部６８に記憶されているＰＣＡモデルを参照して、当該声質に対応するＰＣＡ分析の第１主成分から第４主成分の値ＰＣ１〜ＰＣ４をユーザに対して図９に示す形式で提示する。ユーザは、入出力装置１８４を用い、前述したような操作によってこれらの値を所望の声質に対応する値にそれぞれ変更する。ターゲット設定部１８２はユーザにより変更された値をＰＣＡのターゲット値として設定し、波形減算処理部１８８に与える。波形減算処理部１８８は、ターゲット設定部１８２により設定されたＰＣＡパラメータのターゲット値に相当するプロトタイプ声門波の波形から、入力音声の声質として指定されたプロトタイプ声門波の波形を減算することにより、波形を変換するための変換関数を生成し、図１に示す波形再生成部６４に与える。

図１０を参照して、波形再生成部６４の波形加算部２４０は、入力音声波形５０から得られた声帯波の波形に対し、波形減算処理部１８８から与えられた変換関数を加算し、結果を波形調整部２４２に与える。波形調整部２４２は、前述したとおり波形加算部２４０の出力が不自然なものとならないように調整し、その結果を逆・逆フィルタ２４４に与える。逆・逆フィルタ２４４は、図１に示す声帯波形抽出部６０内で生成された逆フィルタの逆フィルタ（逆・逆フィルタ）処理を入力に対して実行する。これにより、波形調整部２４２により生成された声門波形に対して、声道による変化が再び加えられ、声質が変化された後の音声波形が得られる。こうして、入力音声波形５０と同じ発話内容であって、かつその声質がユーザにより設定されたＰＣＡパラメータにより決定される声質に変換された音声波形５４が出力される。

‐実験結果‐
図１１に、本実施の形態による処理結果の例を示す。図１１は、Ｌａｖｅｒ（非特許文献１）のＭｏｄａｌによる発話の一部のスペクトログラム２６０と、その発話をよりＣｒｅａｋｙな声に変換した後のスペクトログラム２６２とを対照して示す。この例では、変換関数はＭｏｄａｌプロトタイプに基づいて生成され、ターゲットをＣｒｅａｋｙに設定した。

本実施の形態では、いずれの入力音声の声質も、予め準備されたプロトタイプの声質に十分近く、そのプロトタイプを変換関数の基礎として選択すれば、入力音声の声質はほぼ正しくターゲットに変換されることを仮定している。図１１に示す例では、入力音声の声質はＭｏｄａｌの声質に十分近いものと仮定している。

しかし実際には声門波形は、全体としてある特定の声質を持つと感じられる発話中でも、大きく変動するものである。したがって、上記した仮定が常に成立するとは限らない。それでも、図１１からは、この変換により、音響的な情報と発話の持続時間とが明らかに保存されていることがわかる。さらに、垂直方向の縞模様からわかるように、この変換によって声帯波がより長くなっている。これは、Ｆ０がよりＣｒｅａｋｙな声の方向にシフトしていることからも予測されたことである。実際にこの音声波形に基づき音声を合成することにより、変換後の音声が変換前の音声と同じ音声情報を持っており、かつ声質が明らかにＣｒｅａｋｙな声に近くなっていることが分かる。

以上説明した声質変換システム３０を構成するモデル作成部３４及び声質変換装置５２は、いずれもコンピュータハードウェア及びその上で動作するコンピュータプログラムにより実現できる。このコンピュータハードウェアとしては、音声信号を扱う設備を持ったものであれば、汎用のものを用いることができる。また、上で説明した装置の各機能ブロックは、この明細書の記載に基づき、当業者であればプログラムで実現することができる。そうしたプログラムもまた１つのデータであり、記憶媒体に記憶させて流通させることができる。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。

本発明の一実施の形態にかかる声質変換システム３０のブロック図である。 図１に示す声質変換システム３０のうち、モデル作成部３４の詳細なブロック図である。 図２に示す逆フィルタ処理部８２のより詳細なブロック図である。 図２に示すＰＣＡ分析部８８のより詳細なブロック図である。 図４に示す再サンプリング部１４２により行なわれる再サンプリングの手法を説明するための図である。 プロトタイプ声帯波の波形とサンプリング結果とを示す図である。 第１主成分から第４主成分によりあらわされる波形の変化を説明するための図である。 図１に示す変換関数生成部６２の詳細なブロック図である。 図８に示すターゲット設定部１８２によるターゲットの設定手法を説明するための図である。 図１に示す波形再生成部６４の詳細なブロック図である。 本発明の一実施の形態による実験結果を示すスペクトログラムである。

符号の説明

３０ 声質変換システム、３２ 基準音声波形、３４ モデル作成部、３６ ＰＣＡパラメータモデル、５０ 入力音声波形、５１ 声質特定情報、５２ 声質変換装置、５４ 音声波形、６０ 声帯波形抽出部、６２ 変換関数生成部、６４ 波形再生成部、８０ 音節核抽出部、８１ フォルマント推定部、８２ 逆フィルタ処理部、８４ 体積速度波形検出部、８６ 正規化部、８７ 波形抽出部、８８ ＰＣＡ分析部、１２０ 逆フィルタ生成部、１２２ ハイパスフィルタ、１２４，１４０ ローパスフィルタ、１２６ 逆フィルタ適用部、１４２ 再サンプリング部、１４４ 差分算出部、１４６ 規準化処理部、１４８ ＰＣＡ計算部、１８２ ターゲット設定部、１８４ 入出力装置、１８８ 波形減算処理部、２４０ 波形加算部、２４２ 波形調整部、２４４ 逆・逆フィルタ

Claims (20)

1. それぞれ予め所定の声質に対応して準備された、基準となる複数の音声波形のうち、所定の条件を充足する部分から、当該部分が発声されたときの声帯波の単位波形をそれぞれ推定する声帯波形推定ステップと、
   前記声帯波の単位波形の各々を所定のパラメータ化方法にしたがってパラメータ化するパラメータ化ステップと、
   前記パラメータ化された声帯波の単位波形の全てに対する主成分分析を行なうことにより、前記声帯波の単位波形の各々の主成分表現を取得する主成分分析ステップと、
   前記声帯波の単位波形の各々の波形と、当該波形に対応する主成分表現とを、当該声帯波が得られた音声波形に対応する声質のモデルとして出力するステップとを含む、声質モデル生成方法。
2. 前記声帯波形推定ステップは、
   それぞれ予め所定の音質に対応して準備された、前記複数の音声波形の音節核を抽出するステップと、
   抽出された前記音節核の各々に対し、声道の影響を除去して音声が発生された際の声門気流の体積速度波形を検出するための逆フィルタを適用するステップと、
   前記逆フィルタが適用された後の前記音節核の各々から前記声帯波の単位波形を抽出する単位波形抽出ステップとを含む、請求項１に記載の声質モデル生成方法。
3. 前記単位波形抽出ステップは、前記音節核の中央部に存在する、前記体積速度波形の極小部分を起点とし、そこから当該音節核を含む所定領域の基本周波数により定まる周期の１周期分だけ遡った部分までを前記単位波形として抽出するステップを含む、請求項２に記載の声質モデル生成方法。
4. 前記単位波形抽出ステップに先立って、前記声門気流の体積速度波形を所定の正規化方法にしたがって正規化するステップをさらに含む、請求項２又は請求項３に記載の声質モデル生成方法。
5. 前記主成分分析ステップは、
   前記パラメータ化された声帯波の単位波形の全てに対する主成分分析を行なうことにより、前記声帯波の単位波形の各々の、先頭から所定個数までの主成分による主成分表現を取得するステップを含む、請求項１〜請求項４のいずれかに記載の声質モデル生成方法。
6. 前記所定個数までの主成分は、第１主成分から第４主成分までである、請求項５に記載の声質モデル生成方法。
7. 前記パラメータ化ステップは、前記声帯波の単位波形を複数の等長部分に分割する所定個数のサンプリング点において、前記声帯波の単位波形を再サンプリングする再サンプリングステップを含む、請求項１〜請求項６のいずれかに記載の声質モデル生成方法。
8. 前記再サンプリングステップによって再サンプリングされた前記声帯波の各々の単位波形において、隣接するサンプリング点間の差分をとることにより、前記声帯波の単位波形の各々の微分データ列を求める微分ステップをさらに含み、
   前記主成分分析ステップは、前記微分データ列の全てに対し前記主成分分析を行なうことにより、前記声帯波の単位波形の各々の微分量に対する主成分表現を取得するステップを含む、請求項７に記載の声質モデル生成方法。
9. 前記微分ステップによって求められた微分データ列の各々は、再サンプリング時間の差分と、当該再サンプリング時間の差分に対応する前記声帯波の単位波形の差分との対を含み、
   前記声質モデル生成方法はさらに、前記主成分分析ステップに先立って、前記微分データ列を求めるステップによって求められた微分データ列の各々に対し、時間軸方向の変動による影響と振幅方向の変動による影響とを等化するための予め定められる規準化処理を行なうステップをさらに含む、請求項８に記載の声質モデル生成方法。
10. それぞれ所定の声質に対応付けられた複数のプロトタイプ声帯波の単位波形と、当該複数のプロトタイプ声帯波の単位波形の全てに対して予め定める主成分分析を行なうことによって、前記複数のプロトタイプ声帯波の単位波形の各々に対して得られた先頭から所定個数の主成分の値からなる主成分表現との対からなる声門波形モデルを用いて、入力音声波形の声質を変換する声質変換方法であって、
    入力音声波形のうち、所定の条件を充足している部分からそれぞれ声帯波の単位波形を抽出する単位波形抽出ステップと、
    入力音声波形の声質として予め指定される声質に対応する声門波形モデルと、ユーザにより指定される声質に対応する声門波形モデルとに基づいて、前記入力音声波形から抽出された声帯波の単位波形を、前記ユーザにより指定される声質に変換して出力音声波形を生成する音声波形生成ステップとを含む、声質変換方法。
11. 前記音声波形生成ステップは、
    前記入力音声波形の声質に対応する声門波形モデルから第１のプロトタイプ声帯波を選択するステップと、
    前記ユーザにより指定された声質に対応する声門波形モデルから第２のプロトタイプ声帯波を選択するステップと、
    前記第１の波形と前記第２の波形との間で所定の演算を行なうことにより、前記入力音声波形を前記ユーザにより指定された声質の音声波形に変換するための変換関数を算出する変換関数算出ステップと、
    前記入力音声波形の声帯波の単位波形に対して前記変換関数を適用することにより、前記出力音声波形を生成するステップとを含む、請求項１０に記載の声質変換方法。
12. 前記変換関数算出ステップは、前記第２の波形から前記第１の波形を減算することにより、前記変換関数を算出するステップを含む、請求項１１に記載の声質変換方法。
13. 前記音声波形生成ステップは、前記入力音声波形の声帯波の単位波形に対して前記変換関数を加算することにより、前記出力音声波形を生成するステップを含む、請求項１２に記載の声質変換方法。
14. 前記単位波形抽出ステップは、
    前記入力音声波形の音節核を抽出するステップと、
    抽出された前記音節核の各々に対し、声道の影響を除去して音声が発生された際の声門気流の体積速度波形を検出するための逆フィルタを適用するステップと、
    前記逆フィルタが適用された後の前記音節核の各々から前記声帯波の単位波形を抽出するステップとを含む、請求項１〜請求項１３のいずれかに記載の声質変換方法。
15. 前記単位波形を抽出するステップは、前記音節核の中央部に存在する、前記体積速度波形の極小部分を起点とし、そこから当該音節核を含む所定領域の基本周波数により定まる周期の１周期分だけ遡った部分までを前記単位波形として抽出するステップを含む、請求項１４に記載の声質変換生成方法。
16. 前記波形を抽出するステップに先立って、前記声門気流の体積速度波形を所定の正規化方法にしたがって正規化するステップをさらに含む、請求項１４又は請求項１５に記載の声質変換方法。
17. 前記先頭から所定個数の主成分表現は、第１主成分から第４主成分によるものである、請求項１〜請求項１６のいずれかに記載の声質変換方法。
18. コンピュータにより実行されると、請求項１〜請求項１７のいずれかに記載の全てのステップを実現するようにコンピュータを動作させるように構成された、コンピュータプログラム。
19. 請求項１８に記載のコンピュータプログラムによりプログラムされたコンピュータ。
20. 請求項１８に記載のコンピュータプログラムを記録した、コンピュータ読取可能な記録媒体。
    

Images