JP4230254B2 - 音声生成モデル話者適応化方法、その装置、そのプログラム及びその記録媒体 - Google Patents
音声生成モデル話者適応化方法、その装置、そのプログラム及びその記録媒体 Download PDFInfo
- Publication number
- JP4230254B2 JP4230254B2 JP2003066847A JP2003066847A JP4230254B2 JP 4230254 B2 JP4230254 B2 JP 4230254B2 JP 2003066847 A JP2003066847 A JP 2003066847A JP 2003066847 A JP2003066847 A JP 2003066847A JP 4230254 B2 JP4230254 B2 JP 4230254B2
- Authority
- JP
- Japan
- Prior art keywords
- speech
- articulation
- parameter vector
- model
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、調音運動を表現する確率的な動的モデル（以下調音モデルと書く）と、調音パラメータベクトルと音声パラメータベクトルとを関連付ける調音・音響マッピング係数を含む音声生成モデルを、入力された話者の音声信号を用いて適応化する音声生成モデル適応化方法、その装置、プログラム及びその記録媒体に関する。
【０００２】
【従来の技術】
音声信号からその音声の調音運動の逆推定手法として、調音運動の動的な振舞いを記述した隠れマルコフモデル（以下ＨＭＭと書く）と、調音運動の調音パラメータベクトルと音声スペクトル（音声パラメータベクトル）との関係を関数近似するための調音・音響マッピング係数とにより構成される音声生成モデルに基づき、音声信号からその音声の調音運動（調音パラメータベクトル系列）を逆推定する方法を提案した（非特許文献１）。
【０００３】
しかし、調音運動の逆推定に関する研究は特定話者を対象としたものが多い。これまでに不特定話者の音声入力を対象とした研究は、ニューラルネットワークを用いた逆推定法に基づく話者適応化法が考えられているが、入力音声とモデル音声との声道長正規化に基づくものであった（S.Dusan and L.Deng,“Vocal-Tract Length Normalization for Acoustic-to-Articulatory Mapping Using Neural Networks,”in The 138th Meeting of the Acoustic Society of America,1999.）。
また、ある音声パラメータを持つモデルに対して、入力音声パラメータの出力確率（尤度）を最大にするようにそのモデルのパラメータを適応化する手法がある（非特許文献２）。
【０００４】
【非特許文献１】
Sadao Hiroya and Masaaki Honda,“Acoustic-to-articulatory inverse mapping using an HMM-based speech production model,”in ICSLP,2002,pp.2305-2308.
【非特許文献２】
C.J.Leggetter and P.C.Woodland,“Maximum likelihood linear regression for speaker adaptation of continuous density hidden markov models,”in Computer Speech and Language,vol.9,pp.171-185,1995.
【０００５】
【発明が解決しようとする課題】
従来の声道長正規化に基づく不特定話者の音声入力を対象とした調音運動の逆推定の研究は、入力音声の音響空間を、特定話者のモデルの音響空間に適応させるものである。しかしながら、音声スペクトルと調音運動の間の冗長性から、音響空間の適応が調音運動の適応に直接結びつかず、したがって、音響空間の適応だけでは、発話者の調音運動に基づく発話スタイルを適応することができない。また、従来の適応化法の研究では、あるモデルのパラメータに対して、入力パラメータ系列の尤度を上げるようにパラメータを適応化していくため、高い尤度ではあるが、パラメータに関する動的な制約などは利用していないため、十分な精度が得られない。この発明の目的は発話者の調音運動に基づく発話スタイルを適応することができ、かつ十分な精度が得られる音声生成モデル適応化方法、その装置、プログラム及びその記録媒体を提供することにある。つまりこの発明が解決しようとする課題は、音響空間の適応だけではなく、音声生成モデル自体を、音声から動的な特徴を考慮して推定した調音運動に基づいて適応化することであるとも云える。
【０００６】
【課題を解決するための手段】
この発明によれば、入力話者の音声信号から、（１）既存の音声生成モデルにより生成される音声スペクトルを、入力された音声スペクトルに適応化することにより、音声生成モデルを入力話者に適応する、あるいは（２）入力話者の音声信号から既存の音声生成モデルに基づきその入力音声の調音運動を決定し、この決定された調音運動を用いて、その既存の音声生成モデル中の調音運動軌道の確率的な動的モデル（調音モデルと書く）、更に必要に応じて調音パラメータベクトルに対する音声スペクトルベクトルを関連させるマッピング係数を入力話者に適応化する。
【０００７】
前記（１）の方法は、既存の音声生成モデルにより生成される音声スペクトル（パラメータ）ベクトルを、入力話者の入力音声の音声スペクトル（パラメータ）ベクトル系列の出力確率が最大となる適応化を行う。その適応化を関連付ける関係係数を用いて音声生成モデル中の調音・音響マッピング係数を適応化する。
前記（２）の方法は、入力話者の入力音声スペクトル（パラメータ）ベクトル系列に対する事後確率が最大となる調音運動（調音パラメータベクトル系列）を、既存の音声生成モデルを用いて決定し、この決定された調音運動（調音パラメータベクトル系列）の出力確率が最大となるように調音モデルを適応化する。また、必要に応じて上記の決定された調音運動から生成される音声スペクトル（パラメータ）ベクトルに対する、入力話者の入力音声スペクトル（パラメータ）ベクトル系列の出力確率が最大となるように調音・音響マッピング係数を適応化する。
【０００８】
また、前記（２）の方法は、前記（１）の方法を組み合わせ、初めに既存の音声生成モデルにより生成される音声スペクトル（パラメータ）ベクトルを、入力話者の入力音声の音声スペクトル（パラメータ）ベクトル系列に適応化した後、この適応化された音声スペクトル（パラメータ）ベクトルを用いて、入力された音声スペクトル（パラメータ）ベクトル系列から調音運動（調音パラメータベクトル）を決定し、決定された調音運動を用いて、少なくとも調音モデルを適応化し、更に必要に応じて調音・音響マッピング係数を適応化する。
【０００９】
【発明の実施の形態】
まずこの発明における適応化の対象である音声生成モデルの作成方法を説明する。
モデル作成
文章を連続発声した音声信号と、磁気センサシステムにより同時観測された調音データを用いて、調音・音響対コードブックを作成する。音声信号はフレームごとに、例えば毎秒２５０回のレートで、窓長３２ｍｓのブラックマン窓で切り出され、スペクトル分析され、例えば０次項を除いた１６次のメルケプストラム係数が音声パラメータとして求められる。必要に応じてその音声パラメータから微分（差分）により、時間的変化として速度、加速度のパラメータが検出され、これら音声パラメータと速度、加速度パラメータを要素とするベクトルが音声パラメータベクトルｙとして生成される。
【００１０】
同時に観測された調音器官の複数の各位置、例えば下顎と、上・下唇と、舌上の４箇所と軟口蓋の計８点のそれぞれについての水平方向および垂直方向における各位置情報信号が毎秒２５０回のレートで取り込まれ、その各位置パラメータから必要に応じて、微分（差分）により時間的変化としての速度パラメータが求められ、更に必要に応じて各速度パラメータの微分（差分）により時間的変化としての加速度パラメータが求められる。これら各１６個の位置パラメータ、速度パラメータ、加速度パラメータを要素とする調音パラメータベクトルｘが生成される。
【００１１】
つまりこの例では音声パラメータベクトルｙ、調音パラメータベクトルｘはそれぞれ下記のように４８個の要素からなるベクトルである。
ｙ＝［ｋ1，……，ｋ16，ｋ1′，……，ｋ16′，ｋ1″，……，ｋ16″］
ｘ＝［ｐa ，……，ｐn ，ｐa′，……，ｐn′，ｐa″，……，ｐn″］
このようにして同一の時点において求まった音声パラメータベクトルｙと調音パラメータベクトルｘを対とするデータを複数個、例えば２０万セット保持して調音・音響対コードブックを構成する。
【００１２】
このようにして求めた調音パラメータベクトルｘおよび音声パラメータベクトルｙを用いて調音運動を表現する確率的な動的モデル（以下調音モデルと書く）、この例では隠れマルコフモデル（以下ＨＭＭと記す）λを作成する。このＨＭＭのモデルλの作成は、前記文章の連続発声により得られた全体の音声パラメータベクトル系列ｙの出力確率Ｐ（ｙ，ｑ｜λ）が最大となるようにする。ここでｑは全体の音声パラメータベクトル系列ｙに対する状態系列を表す。この例ではＨＭＭのモデルλの構造は、２音素組の３状態１混合ガウス分布で、スキップなしのleft-to-rightモデルとする。例えば図１に示すように３つの状態ｑ1，ｑ2 ，ｑ3 があり、各状態での調音パラメータベクトル、音声パラメータベクトルの各出力確率をそれぞれ１つのガウス分布とし、状態過程は同一状態から同一状態への遷移（ループ）と、ｑ1 からｑ2 又はｑ2 からｑ3 への遷移の計５つのみである。各音素について次に続く異なる音素ごとにモデルが作られる。
【００１３】
調音パラメータベクトル系列ｘを含むモデルにおいては、状態系列ｑを構成する各１つの状態をｑj とする時、状態ｑj の音声パラメータベクトルｙの出力確率は、その状態ｑj への遷移確率Ｐt ＝Ｐ（ｑj ｜λ）と、その状態ｑj に対する調音パラメータベクトルｘの出力確率Ｐx ＝Ｐ（ｘ｜ｑj ，λ）と、その状態ｑj に対する調音パラメータベクトルｘに対する音声パラメータベクトルｙの出力確率Ｐy ＝Ｐ（ｙ｜ｘ，ｑj ，λ）との積である。従ってＰ（ｙ，ｑj｜λ）＝∫Ｐ（ｙ｜ｘ，ｑj ，λ）Ｐ（ｘ｜ｑj ，λ）Ｐ（ｑj ｜λ）ｄｘが最大となるように各モデルを作成すればよい。ここで与えられた調音パラメータベクトルに対する音声パラメータの出力確率Ｐ（ｙ｜ｘ，ｑj ，λ）と、調音パラメータベクトルの出力確率Ｐ（ｘ｜ｑj ，λ）は共にガウス分布を仮定する。
【００１４】
図２にモデル作成処理手順例を示す。この学習法は「ビタビ学習法」と呼ばれるものである。まず入力音声パラメータベクトル系列ｙ及び入力調音パラメータベクトル系列ｘと発声文章との対応付けにより各同一音素の両パラメータベクトル対を集め、その各音素ごとに、その複数の各パラメータベクトル対ごとに前記３状態ｑ1 ，ｑ2 ，ｑ3 をそれぞれ同一時間長として対応付け、各状態ごとにモデルパラメータＡ，ｂ，ｘm ，σx ，ｗm ，σw を演算し、つまり初期モデルλを作って記憶する（Ｓ１）。
【００１５】
つまり調音パラメータベクトルｘから音声パラメータベクトルｙを決定する関数ｙ＝ｆ（ｘ）として、ｙ＝Ａｘ＋ｂを用い、調音パラメータベクトルｘを用いて計算した音声パラメータベクトルｙ′＝Ａｘ＋ｂと、その調音パラメータベクトルｘと対をなす音声パラメータベクトルｙとの二乗誤差が最小となるＡとｂを求め、かつｙ′のｙに対する誤差ｗを求め、その誤差ｗの平均ｗm を計算し、更に誤差ｗの共分散σw を計算し、調音パラメータベクトルｘの平均ｘm を計算し、調音パラメータベクトルｘの共分散σx を計算し、状態遷移確率γを計算する。初期状態遷移確率γは自己遷移確率を０．８、ある状態から他の状態に遷移する確率を０．２など適当な値に設定し、その後はある状態ｑj に注目した場合、その状態に対応するフレームすべてに対して、同じ状態に遷移するフレームの数をその状態に対応するフレームの総数で割った値を自己遷移確率とし、ある状態から他の状態に遷移する確率を（１−自己遷移確率）として計算する。
【００１６】
これらモデルパラメータＡ，ｂ，ｗm ，σw ，ｘm ，σm ，Ｐt を各音素の各状態ごとに計算して音素対応に記憶する。なお、変換関数はこの例では左辺のベクトルｙは要素数が４８であり、右辺中のベクトルｘも要素数が４８であり、係数Ａは４８×４８の行列となり、定数ｂも要素数が４８のベクトルとなる。
従ってＡ，ｂを決定するにはｙとｘの対を最低４８個必要とする。
次にこの初期モデルλに対して入力音声パラメータベクトルｙの出力確率
Ｐ（ｙ，ｑ｜λ）＝∫Ｐ（ｙ｜ｘ，ｑ，λ）Ｐ（ｘ｜ｑ，λ）Ｐ（ｑ｜λ）ｄｘ（１）
が最大になるように音声パラメータベクトルｙおよび調音パラメータベクトルｘに状態ｑj を対応付けることをビタビ（Viterbi）アルゴリズムを用いて決定する（Ｓ２）。つまり前記文章の最初の音素を初期値としてその各状態における調音パラメータベクトルｘに対する音声パラメータベクトルｙの出力確率Ｐ（ｙ｜ｘ，ｑ，λ）と調音パラメータベクトルｘの出力確率Ｐ（ｘ｜ｑ，λ）とを、先に記憶したモデルを参照して、確率がガウス分布していることに基づき、それぞれ下記式（２）、式（３）により求める。
【００１７】
Ｐ（ｙ｜ｘ，ｑ，λ）＝［１／（（２π）N/2 ）｜σw ｜1/2 ］×ｅｘｐ［−（１／２）（ｙ−Ａｘ−ｂ−ｗm ）T σw -1(ｙ−Ａｘ−ｂ−ｗm)］ （２）
Ｐ（ｘ｜ｑ，λ）＝［１／（（２π）M/2 ）｜σx ｜1/2 ）］×ｅｘｐ［−（１／２）（ｘ−ｘm ）T σx -1(ｘ−ｘm)］ （３）
Ｎはベクトルｙの次数、Ｍはベクトルｘの次数であり、前記例では共に４２であり、( )T は行列の転置を表わす。
【００１８】
また遷移確率Ｐ（ｑ｜λ）を求め、Ｐ（ｙ｜ｘ，ｑ，λ）とＰ（ｘ｜ｑ，λ）とＰ（ｑ｜λ）の積をブランチメトリックとし、各状態について求めたブランチメトリックの最大のものを生き残りパスとし、そのブランチメトリックをそれまでのパスメトリックに加算することを順次行う。最終的に得られたパスメトリックの最大の状態系列ｑが式（１）を最大とするものである。
次にこの状態系列ｑの決定の際に求まった入力音声パラメータベクトルｙの出力確率の最大値、つまり最大パスメトリックの値が収束したかを調べ（Ｓ３）、収束していなければステップＳ２で決定された状態系列ｑと入力音声パラメータベクトル系列ｙ及び入力調音パラメータベクトル系列ｘとを対応付け、その状態系列ｑにおけるモデルからモデルへの変化点を検出して、音素区間の入力音声パラメータベクトル系列ｙ及び入力調音パラメータベクトル系列ｘに対する対応付けを再設定する（Ｓ４）。
【００１９】
この再設定された各音素についての音声パラメータベクトル及び調音パラメータベクトルの集合について、各モデルパラメータＡ，ｂ，ｗm ，σw ，ｘm ，σx ，Ｐt をそれぞれ演算し、つまり音素モデルを作成し、記憶していた対応モデルパラメータを更新記憶してステップＳ２に戻る（Ｓ５）。
以下ステップＳ２〜Ｓ５を繰返すことにより、得られる音声パラメータベクトルの出力確率の最大値はほぼ一定値となり、つまりステップＳ３で収束したことが検出されて終了とする。
【００２０】
このようにして得られたＨＭＭの各モデルは、例えば図３に示すように各音素対応のモデルλ1 〜λＪの格納部２５−１〜２５−Ｊごとに状態遷移確率γ（これは前述したように各ループと隣りへとの計５つの確率よりなる）が遷移確率格納部２７に格納され、各状態ごとのＡ，ｂが係数格納部２８に格納され、ｘm ，ｗm が平均格納部２９に、σm ，σw が共分散格納部３１に格納される。係数Ａ，ｂは調音パラメータベクトルＸと対応した音声パラメータベクトルｙの近似値を対応ずけるためのパラメータであるから調音・音響マッピング係数と呼ぶ。その他のパラメータｘm ，ｗm ，σm ，σw は調音モデルと呼ぶ。またＰ（ｙ｜ｘ，ｑ，λ）は式（２）で計算され、Ｐ（ｘ｜ｑ，λ）は式（３）で計算されるから、調音パラメータベクトルｘに対する音声パラメータベクトルｙの出力確率、また調音パラメータベクトルｘの出力確率もモデル記憶部２５に格納されていると云える。モデル作成方法として「ビタビ学習法」を示したが、より精度の良い学習法「ＥＭ学習法」（Expectation-Maximization)を用いてもよい。
【００２１】
第１実施形態
この発明の第１実施形態においては既存の音声生成モデルにより生成される音声パラメータ（スペクトル）ベクトルを、入力話者の入力音声パラメータ（スペクトル）ベクトル系列の出力確率が最大となるように適応化し、この生成音声パラメータベクトルと入力音声パラメータベクトル系列とを関係付ける係数を用いて、音声生成モデル中の調音・音響マッピング係数を適応化する。
以下この第１実施形態を、図４及び図５を参照して説明する。話者の入力音声信号は入力端子１１からディジタル信号として入力され信号記憶部４２に一旦格納される（Ｓ１）。この話者入力音声信号は音声パラメータベクトル生成部４３において、フレームごとに入力音声パラメータ（スペクトル）ベクトルｙが生成され、入力音声パラメータベクトル系列Ｙが生成される（Ｓ２）。例えば入力音声信号はフレームごとにスペクトル分析され、音声パラメータが検出され（Ｓ２−１）、更にそのスペクトルの時間的変化としての速度、加速度パラメータが検出され（Ｓ２−２）、これら両パラメータにより音声パラメータベクトルとされ、各フレームの音声パラメータベクトルの時系列が音声パラメータベクトル系列Ｙとされる。これらパラメータとしては、適応化の対象であるモデル記憶部４８に記憶されている音声生成モデルの作成時に用いた音声パラメータと同一のもの、前記例では０次項を除いた１６次のメルケプストラム係数とその速度パラメータが検出される。この入力音声パラメータベクトル系列Ｙは記憶部４２に一旦格納される（Ｓ３）。なお話者入力音声信号と対応した文章の音素列が音素列記憶部４５に格納される。
【００２２】
音声生成モデルより生成された音声パラメータベクトルの平均ベクトルｙmjに対して、入力音声パラメータベクトル系列Ｙ＝（Ｙ1 ，…，Ｙ2 ）の出力確率Ｐ（Ｙ｜ｑ，λ）が最大となるように、音声生成モデルの平均ベクトルを適応化する。出力確率Ｐ（Ｙ｜ｑ，λ）を最大化する平均ベクトルｙmjは前記非特許文献２の１７４頁を参考にすると、対数尤度log Ｐ（Ｙ｜ｑ，λ）を最大にするように求めればよい。従って
log Ｐ（Ｙ｜ｑ，λ）＝Ｋ−（１／２）Σt Σj γt(ｊ)（Ｙt −Ｈs ｙmj）T σyj -1（Ｙt −Ｈs ｙmj）
を最大にするＨs を
Σt Σj γt(ｊ）σyj -1Ｙt ｙmj T ＝Σt Σj γt(ｊ）σyj -1Ｈs ｙmjｙmj T （４）
を計算することで求めることができる。ここでｔはベクトル系列の離散的時刻を、ｊは各音素における状態番号をそれぞれ表わし、Ｋは定数、Ｈs は回帰係数であり、γt(ｊ）は音声パラメータベクトルが時刻ｔで状態ｊに存在する確率であってγt(ｊ）＝Ｐ（ｑt ＝ｊ｜ｙ，λ）であり、音声パラメータベクトルｙj の平均ベクトルはｙmj＝Ａj ｘmj＋ｂj により、ベクトルｙj の共分散行列はσyj＝Ａj σxjＡj T＋σw により求める。( )T は転置行列を表わし、ｓは音響空間を分割するクラスタを表わす。つまり音声生成モデルλの全てを１つのクラスタとするか、あるいは母音と子音とを別のクラスタとして求めるなど、全音素モデルをいくつかのクラスタに分けて求める。
【００２３】
つまり図４、図５に示すように入力音声パラメータベクトル系列Ｙと、音声生成モデルとを用いて、音声関係係数算出部４６で、音声関係係数Ｈs を計算する（Ｓ４）。モデル記憶部４４中の各モデルの調音・音響マッピング係数Ａj ，ｂj と調音平均ベクトルｘmjを取出し、音声パラメータの平均ベクトルｙmjを平均ベクトル生成部４７でｙmj＝Ａj ｘmj＋ｂj の計算によりそれぞれ生成する（Ｓ４−１）。またモデル記憶部４４中の各モデルの調音パラメータベクトルｘj の共分散σxjと調音平均ベクトルｘmjの誤差ｗj の共分散σwjを取り出し、音声パラメータベクトルｙj の共分散行列σyjを共分散計算部４８でσyj＝Ａj σxjＡj T＋σwjの計算によりそれぞれ生成する（Ｓ４−２）。更に音声関係係数算出部４６において、記憶部４５内の音素系列に従って各音素についてモデル記憶部４４内の対応音素モデルλの遷移確率γj を取出し、これと、入力音声パラメータベクトル系列Ｙと、平均ベクトル生成部４７よりの平均ベクトルｙmjと、共分散計算部４８よりの共分散行列σyjとを用いて、Σt Σj γt(ｊ）σyj -1Ｙt ｙmj T ，Σt Σj γt(ｊ）σyj -1ｙmjｙmj T を計算し、式（４）を満す回帰係数（音声関係係数）Ｈs を求める（Ｓ４−３）。
【００２４】
この音声関係係数Ｈs を用いて、音声生成モデルの調音・音響マッピング係数Ａj ，ｂj を、それぞれＨs Ａj ，Ｈs ｂj と係数適応化部４９で入力話者音声に適応化する（Ｓ５）。
更に必要に応じて、先に求めた音声パラメータベクトルの平均ベクトルｙmjを音声適応化部５１でＹmj＝Ｈs ｙmjの計算により変更する（Ｓ６）。
この適応化された音声生成モデルを用いれば、調音パラメータベクトル系列を入力して、これと対応した前記入力話者の音声に近い音声信号を合成することができる。
なお図５において制御部５２は各部を順次動作させ、また各記憶部に対する読み書きを行う。
【００２５】
第２実施形態
次にこの発明の第２実施形態を図６及び図７を参照して説明する。第２実施形態は入力音声の調音運動を、適応対象音声生成モデルを用いて決定し、この調音運動の出力確率が最大となるように音声生成モデルを適応化する。
入力端子４１からの入力話者の入力音声信号から入力音声パラメータ（スペクトル）ベクトル系列Ｙを音声パラメータベクトル生成部４３で生成し（Ｓ２）、これを一旦記憶部４３に記憶する（Ｓ３）ことは第１実施形態と同様である。
【００２６】
この第２実施形態においては、入力音声パラメータベクトル系列Ｙの出力確率Ｐ（Ｙ｜ｑ，λ）を最大にする状態系列ｑを、記憶部４５の音素系列に基づき、例えばビタビアルゴリズムにより状態系列生成部６１で生成する（Ｓ４）。この生成の手法は先に述べたモデル作成法とほぼ同様に行えばよい。
次にこの状態系列ｑに対して事後確率Ｐ（ｘ｜ｙ，ｑ，λ）を最大にする調音運動、つまり調音パラメータベクトル系列を調音パラメータベクトル生成部６２で生成する（Ｓ５）。Ｐ（ｘ｜ｙ，ｑ，λ）を最大にする調音パラメータベクトル系列ｘは前記非特許文献１の２３０６頁左欄の記載から明らかなように次式（５）を最小化する系列ｘ e を求めればよい。
【００２７】
Ｊ＝（Ｙ−Ａｘ e −ｂ）T σw -1(Ｙ−Ａｘ e −ｂ) （５）
つまり非特許文献１中の式（４）（下記の式）により求める。
ｘ e＝（σx -1＋ＡTσw -1Ａ）-1（σx -1ｘm＋ＡTσw -1(ｙ−ｂ））
このようにして生成された調音パラメータベクトル系列ｘ e と、出力確率Ｐ（ｘ e ｜ｑ，λ）が最大となる調音パラメータベクトルｘe の平均ベクトルｘemとを関係付ける次式（６）を平均関係係数計算部６３で計算して、平均関係係数Ｃs を求める（Ｓ６）。
【００２８】
Σt Σj γt(ｊ）σxj -1ｘetｘmj T ＝Σt Σj γt(ｊ）σxj -1Ｃs ｘmjｘmj T （６）
つまり生成された調音パラメータベクトル系列ｘ e の各ベクトルｘetについて、記憶部４４中の音声生成モデルの対応音素モデルλの遷移確率γj 、共分散σxj、平均ｘmjを取出し、Σt Σj γt(ｊ）σxj -1ｘetｘmj，Σt Σj γt(ｊ）σxj -1ｘmjｘmj T を計算して式（６）を計算して回帰係数Ｃs を求める。このようにして求めた平均関係係数Ｃs を用いて、記憶部４４中の調音平均ベクトルｘmjを平均適応化部６４でＸmj＝Ｃs ｘmjとして調音平均ベクトルを適応化する（Ｓ７）。
【００２９】
この適応化された音声生成モデルを用いて入力話者の音声信号の調音運動（調音パラメータベクトル系列）を求めることにより、適応化前のモデルを用いる場合よりも高い精度で調音運動を求めることができる。
更に調音・音響マッピング係数Ａj ，ｂj も適応化する場合は次のようにする。
ステップＳ１５で生成された調音パラメータベクトル系列ｘ e の各調音スペクトルベクトルｘetと対応する音声スペクトルベクトルを音素系列を参照しながら、音声生成モデルの調音・音響マッピング係数Ａj ，ｂj を用いて、音声ベクトル生成部６５で音声スペクトルベクトルｙj ＝Ａj ｘet＋ｂj を生成する（Ｓ８）。
【００３０】
この音声生成モデルを用いた音声スペクトルベクトルｙに対して、入力音声パラメータベクトル系列Ｙの出力確率Ｐ（Ｙ｜ｑ，λ）を最大にする調音・音響マッピング係数は、第１実施形態の場合と同様に、
Ｐ（Ｙ｜ｑ，λ）＝∫Ｐ（Ｙ｜ｘ，ｑ，λ）Ｐ（ｘ｜ｑ，λ）ｄｘの対数尤度log Ｐ（Ｙ｜ｑ，λ）を最大にすることにより与えられる。従って、式（４）の導出と同様に次式（７）を満す回帰係数（マッピング関係係数）Ｄs をマッピング関係係数算出部６６で算出する（Ｓ９）。
【００３１】
Σt Σj γt(ｊ）σwj -1Ｙt(Ａj ｘet＋ｂj)T ＝Σt Σj γt(ｊ）σwj -1Ｄs(Ａj ｘet＋ｂ)（Ａj ｘet＋ｂj) T （７）
つまりマッピング関係係数計算部６６で、入力音声パラメータベクトル系列Ｙと、音声ベクトル生成部６５よりの音声ベクトルｙj と、モデル記憶部４４中の誤差の共分散σwj、遷移確率γj とを用いて、
Σt Σj γt(ｊ）σwj -1Ｙt ｙj T＝Σt Σj γt(ｊ）σwj -1Ｄs ｙj ｙj T
を満すＤs を計算する。
【００３２】
このマッピング関係係数Ｄs を用いてモデル記憶部４４中の各音声生成モデルの各調音・音響マッピング係数Ａj ，ｂj を係数適応化部６７でＤs Ａj ，Ｄs ｂj として適応化する（Ｓ１０）。
ステップＳ４における状態系列の生成は、第１実施形態において音声適応化部５１で生成した適応化音声平均ベクトルＹmj（＝Ｈs ｙmj）を用いて行ってもよい。この場合、回帰係数Ｃs とＤsで共通のクラスタを用いた場合、回帰係数の冗長性のため第１実施形態と同じ尤度になるが、適応化された音声生成モデルは第１実施形態と異なるものとなる。
【００３３】
以上のような各種の適応化法により音声生成モデルを話者音声に適応化し、その適応化音声生成モデルを用いて、その話者の音声信号に対する調音運動を例えば非特許文献１に示すように推定する。
実験
日本人男性３名によって発声された３５６文章の音声信号と調音データを用い、モデル作成の項で述べた条件でパラメータベクトルを生成し、３者ごとにモデルを作成し、各入力話者から、入力話者以外の話者２名のそれぞれのモデルに対して適応を行い、評価は計６つのテストの平均で行った。今回用いた調音データは、調音観測点上に小さな受信コイルを接着する磁気センサシステムを用いて観測された。しかし、話者毎に受信コイルを接着する位置が異なり、また、話者毎に調音器官の大きさが異なるため、入力話者の観測した調音運動と別の特定話者のモデルを用いて推定した調音運動は、そのままでは比較することができない。したがって、あらかじめ求めた入力話者の観測調音運動と別の話者の観測調音運動の位置とサイズの線形変換を用いて正規化し、評価を行った。適応の際には、教師ありの学習を用い、適応文章数は４０とした。調音運動の逆推定の際には、音素ありの条件を用いた（非特許文献１）。適応化法は、（Ａ）第１実施形態、（Ｂ）第２実施形態、（Ｃ）第１実施形態と第２実施形態との併用の３つで実験を行った。クラスタ数ｓは全適応化法において共通とした。
【００３４】
図８に、クラスタ数の値を１，３，５，１０としたときの、学習データに対する音響パラメータベクトルの対数尤度を示す。適応化法を用いることで、話者独立モデルよりも尤度が上昇することが分かる。また、（Ａ）法と（Ｃ）法の尤度はほぼ同じであり、（Ｂ）法の尤度はそれらに比べて低い。
なお、話者の音声と調音運動を用いて作ったモデル（話者モデル）を用いた場合と、話者と無関係の音声とその対応調音運動を用いて作ったモデル（話者独立モデル）を用いた場合についての実験結果も示した。
【００３５】
図９に、クラスタ数における、適応化法による調音運動の二乗誤差を示す。適応化法を用いることで、すべてのクラスタ数において話者独立モデルよりも誤差が減少している。（Ａ）法を用いた場合、調音運動に関する適応は行われないため、クラスタの数によらず、誤差はほぼ一定である。一方、（Ｂ）法の場合、クラスタ数の増加につれて誤差が減少していく。（Ｃ）法は、クラスタ数が５までは（Ｂ）法よりも誤差が小さいが、クラスタ数が１０では尤度が高いにも関わらず、誤差が大きくなっている。
【００３６】
図１０に各種音素毎の二乗誤差を示す。評価はクラスタ数１０を用いて行った。‘Total’は発声全体の二乗誤差であり、‘Vowel’から‘Nasal’まではそれぞれ、その発声の際に重要な調音器官における二乗誤差である。適応化法を用いることで、すべての音素クラスに対して話者独立モデルよりも向上が見られた。最大約４４．４％の改善が見られた。また、適応化法による音素クラスに対する誤差の違いは見られなかった。
入力男性話者が「やるべきことはやっており何ら落ち度はない」という文章を発声した音声信号から、話者独立モデルを利用して推定された調音運動軌道（太線）と観測された調音運動軌道（細線）の垂直信号の例を図１１に示し、（Ｃ）法により適応化したモデルを利用して推定された調音運動軌道（太線）と観測された調音運動軌道（細線）の垂直信号の例を図１２に示す。これら両図を比較すれば図１２の方が太線が細線に近いものとなっており、モデル適応化の効果が得られていることが理解できる。
【００３７】
また推定された調音運動は発声した音素の特徴を良く再現している。推定された調音運動から生成した音声スペクトルと入力音声スペクトルとのスペクトル歪みも約６９．０％の改善が見られた。
図５、図７に示した適応化装置をコンピュータに機能させてもよい。この場合は図４又は図７に示した適応化方法の各手順をコンピュータに実行させるためのプログラムをＣＤ−ＲＯＭ、磁気ディスクなどの記録媒体からコンピュータにインストールし、又は通信回線を介してダウンロードし、そのプログラムをコンピュータに実行させればよい。上述においては調音パラメータベクトルを変数として音声パラメータベクトルを近似する関数に線形関数を用いたが他の関数でもよい。音声パラメータベクトル、及び調音パラメータベクトルとしては加速度成分や速度成分を用いなくてもよい。
【００３８】
【発明の効果】
この発明によれば、調音運動を表現する確率的な動的モデルと調音パラメータベクトルと音声パラメータベクトルとを関連付ける調音・音響マッピング係数とを含む音声生成モデルを話者適応化することができ、この適応化した音声生成モデルを使用することにより、入力話者音声の調音運動を、適応化しないモデルを用いる場合より、精度よく推定することができる。更に、調音パラメータベクトルから音声合成する場合に、所望の話者の音声を合成することができる。また、同様にこのモデルを用いて音声認識する場合も高認識精度を得ることができるようになる。更にこの発明によれば小量の音声データからでも音声生成モデルを適応化することができる。
【図面の簡単な説明】
【図１】１つの音素モデルの状態遷移の例を示す図。
【図２】モデル作成手順の例を示す流れ図。
【図３】音声生成モデルが記憶されている記憶装置の記憶内容例を示す図。
【図４】この発明の第１実施形態の処理手順の例を示す流れ図。
【図５】この発明の第１実施形態の機能構成例を示すブロック図。
【図６】この発明の第２実施形態の処理手順の例を示す流れ図。
【図７】この発明の第２実施形態の機能構成例を示すブロック図。
【図８】学習音声パラメータベクトルに対する合成音声パラメータベクトルの対数尤度の実験結果を示すグラフ。
【図９】入力音声信号に対して推定した調音パラメータベクトルの２乗誤差の実験結果を示すグラフ。
【図１０】入力音声信号に対して推定した調音パラメータベクトルの各種音素ごとの２乗誤差の実験結果を示す図。
【図１１】実測した調音運動と、話者独立モデルを利用して推定した調音運動の例を示す図。
【図１２】実測した調音運動と、話者適応化したモデルを利用して推定した調音運動の例を示す図。
【発明の属する技術分野】
この発明は、調音運動を表現する確率的な動的モデル（以下調音モデルと書く）と、調音パラメータベクトルと音声パラメータベクトルとを関連付ける調音・音響マッピング係数を含む音声生成モデルを、入力された話者の音声信号を用いて適応化する音声生成モデル適応化方法、その装置、プログラム及びその記録媒体に関する。
【０００２】
【従来の技術】
音声信号からその音声の調音運動の逆推定手法として、調音運動の動的な振舞いを記述した隠れマルコフモデル（以下ＨＭＭと書く）と、調音運動の調音パラメータベクトルと音声スペクトル（音声パラメータベクトル）との関係を関数近似するための調音・音響マッピング係数とにより構成される音声生成モデルに基づき、音声信号からその音声の調音運動（調音パラメータベクトル系列）を逆推定する方法を提案した（非特許文献１）。
【０００３】
しかし、調音運動の逆推定に関する研究は特定話者を対象としたものが多い。これまでに不特定話者の音声入力を対象とした研究は、ニューラルネットワークを用いた逆推定法に基づく話者適応化法が考えられているが、入力音声とモデル音声との声道長正規化に基づくものであった（S.Dusan and L.Deng,“Vocal-Tract Length Normalization for Acoustic-to-Articulatory Mapping Using Neural Networks,”in The 138th Meeting of the Acoustic Society of America,1999.）。
また、ある音声パラメータを持つモデルに対して、入力音声パラメータの出力確率（尤度）を最大にするようにそのモデルのパラメータを適応化する手法がある（非特許文献２）。
【０００４】
【非特許文献１】
Sadao Hiroya and Masaaki Honda,“Acoustic-to-articulatory inverse mapping using an HMM-based speech production model,”in ICSLP,2002,pp.2305-2308.
【非特許文献２】
C.J.Leggetter and P.C.Woodland,“Maximum likelihood linear regression for speaker adaptation of continuous density hidden markov models,”in Computer Speech and Language,vol.9,pp.171-185,1995.
【０００５】
【発明が解決しようとする課題】
従来の声道長正規化に基づく不特定話者の音声入力を対象とした調音運動の逆推定の研究は、入力音声の音響空間を、特定話者のモデルの音響空間に適応させるものである。しかしながら、音声スペクトルと調音運動の間の冗長性から、音響空間の適応が調音運動の適応に直接結びつかず、したがって、音響空間の適応だけでは、発話者の調音運動に基づく発話スタイルを適応することができない。また、従来の適応化法の研究では、あるモデルのパラメータに対して、入力パラメータ系列の尤度を上げるようにパラメータを適応化していくため、高い尤度ではあるが、パラメータに関する動的な制約などは利用していないため、十分な精度が得られない。この発明の目的は発話者の調音運動に基づく発話スタイルを適応することができ、かつ十分な精度が得られる音声生成モデル適応化方法、その装置、プログラム及びその記録媒体を提供することにある。つまりこの発明が解決しようとする課題は、音響空間の適応だけではなく、音声生成モデル自体を、音声から動的な特徴を考慮して推定した調音運動に基づいて適応化することであるとも云える。
【０００６】
【課題を解決するための手段】
この発明によれば、入力話者の音声信号から、（１）既存の音声生成モデルにより生成される音声スペクトルを、入力された音声スペクトルに適応化することにより、音声生成モデルを入力話者に適応する、あるいは（２）入力話者の音声信号から既存の音声生成モデルに基づきその入力音声の調音運動を決定し、この決定された調音運動を用いて、その既存の音声生成モデル中の調音運動軌道の確率的な動的モデル（調音モデルと書く）、更に必要に応じて調音パラメータベクトルに対する音声スペクトルベクトルを関連させるマッピング係数を入力話者に適応化する。
【０００７】
前記（１）の方法は、既存の音声生成モデルにより生成される音声スペクトル（パラメータ）ベクトルを、入力話者の入力音声の音声スペクトル（パラメータ）ベクトル系列の出力確率が最大となる適応化を行う。その適応化を関連付ける関係係数を用いて音声生成モデル中の調音・音響マッピング係数を適応化する。
前記（２）の方法は、入力話者の入力音声スペクトル（パラメータ）ベクトル系列に対する事後確率が最大となる調音運動（調音パラメータベクトル系列）を、既存の音声生成モデルを用いて決定し、この決定された調音運動（調音パラメータベクトル系列）の出力確率が最大となるように調音モデルを適応化する。また、必要に応じて上記の決定された調音運動から生成される音声スペクトル（パラメータ）ベクトルに対する、入力話者の入力音声スペクトル（パラメータ）ベクトル系列の出力確率が最大となるように調音・音響マッピング係数を適応化する。
【０００８】
また、前記（２）の方法は、前記（１）の方法を組み合わせ、初めに既存の音声生成モデルにより生成される音声スペクトル（パラメータ）ベクトルを、入力話者の入力音声の音声スペクトル（パラメータ）ベクトル系列に適応化した後、この適応化された音声スペクトル（パラメータ）ベクトルを用いて、入力された音声スペクトル（パラメータ）ベクトル系列から調音運動（調音パラメータベクトル）を決定し、決定された調音運動を用いて、少なくとも調音モデルを適応化し、更に必要に応じて調音・音響マッピング係数を適応化する。
【０００９】
【発明の実施の形態】
まずこの発明における適応化の対象である音声生成モデルの作成方法を説明する。
モデル作成
文章を連続発声した音声信号と、磁気センサシステムにより同時観測された調音データを用いて、調音・音響対コードブックを作成する。音声信号はフレームごとに、例えば毎秒２５０回のレートで、窓長３２ｍｓのブラックマン窓で切り出され、スペクトル分析され、例えば０次項を除いた１６次のメルケプストラム係数が音声パラメータとして求められる。必要に応じてその音声パラメータから微分（差分）により、時間的変化として速度、加速度のパラメータが検出され、これら音声パラメータと速度、加速度パラメータを要素とするベクトルが音声パラメータベクトルｙとして生成される。
【００１０】
同時に観測された調音器官の複数の各位置、例えば下顎と、上・下唇と、舌上の４箇所と軟口蓋の計８点のそれぞれについての水平方向および垂直方向における各位置情報信号が毎秒２５０回のレートで取り込まれ、その各位置パラメータから必要に応じて、微分（差分）により時間的変化としての速度パラメータが求められ、更に必要に応じて各速度パラメータの微分（差分）により時間的変化としての加速度パラメータが求められる。これら各１６個の位置パラメータ、速度パラメータ、加速度パラメータを要素とする調音パラメータベクトルｘが生成される。
【００１１】
つまりこの例では音声パラメータベクトルｙ、調音パラメータベクトルｘはそれぞれ下記のように４８個の要素からなるベクトルである。
ｙ＝［ｋ1，……，ｋ16，ｋ1′，……，ｋ16′，ｋ1″，……，ｋ16″］
ｘ＝［ｐa ，……，ｐn ，ｐa′，……，ｐn′，ｐa″，……，ｐn″］
このようにして同一の時点において求まった音声パラメータベクトルｙと調音パラメータベクトルｘを対とするデータを複数個、例えば２０万セット保持して調音・音響対コードブックを構成する。
【００１２】
このようにして求めた調音パラメータベクトルｘおよび音声パラメータベクトルｙを用いて調音運動を表現する確率的な動的モデル（以下調音モデルと書く）、この例では隠れマルコフモデル（以下ＨＭＭと記す）λを作成する。このＨＭＭのモデルλの作成は、前記文章の連続発声により得られた全体の音声パラメータベクトル系列ｙの出力確率Ｐ（ｙ，ｑ｜λ）が最大となるようにする。ここでｑは全体の音声パラメータベクトル系列ｙに対する状態系列を表す。この例ではＨＭＭのモデルλの構造は、２音素組の３状態１混合ガウス分布で、スキップなしのleft-to-rightモデルとする。例えば図１に示すように３つの状態ｑ1，ｑ2 ，ｑ3 があり、各状態での調音パラメータベクトル、音声パラメータベクトルの各出力確率をそれぞれ１つのガウス分布とし、状態過程は同一状態から同一状態への遷移（ループ）と、ｑ1 からｑ2 又はｑ2 からｑ3 への遷移の計５つのみである。各音素について次に続く異なる音素ごとにモデルが作られる。
【００１３】
調音パラメータベクトル系列ｘを含むモデルにおいては、状態系列ｑを構成する各１つの状態をｑj とする時、状態ｑj の音声パラメータベクトルｙの出力確率は、その状態ｑj への遷移確率Ｐt ＝Ｐ（ｑj ｜λ）と、その状態ｑj に対する調音パラメータベクトルｘの出力確率Ｐx ＝Ｐ（ｘ｜ｑj ，λ）と、その状態ｑj に対する調音パラメータベクトルｘに対する音声パラメータベクトルｙの出力確率Ｐy ＝Ｐ（ｙ｜ｘ，ｑj ，λ）との積である。従ってＰ（ｙ，ｑj｜λ）＝∫Ｐ（ｙ｜ｘ，ｑj ，λ）Ｐ（ｘ｜ｑj ，λ）Ｐ（ｑj ｜λ）ｄｘが最大となるように各モデルを作成すればよい。ここで与えられた調音パラメータベクトルに対する音声パラメータの出力確率Ｐ（ｙ｜ｘ，ｑj ，λ）と、調音パラメータベクトルの出力確率Ｐ（ｘ｜ｑj ，λ）は共にガウス分布を仮定する。
【００１４】
図２にモデル作成処理手順例を示す。この学習法は「ビタビ学習法」と呼ばれるものである。まず入力音声パラメータベクトル系列ｙ及び入力調音パラメータベクトル系列ｘと発声文章との対応付けにより各同一音素の両パラメータベクトル対を集め、その各音素ごとに、その複数の各パラメータベクトル対ごとに前記３状態ｑ1 ，ｑ2 ，ｑ3 をそれぞれ同一時間長として対応付け、各状態ごとにモデルパラメータＡ，ｂ，ｘm ，σx ，ｗm ，σw を演算し、つまり初期モデルλを作って記憶する（Ｓ１）。
【００１５】
つまり調音パラメータベクトルｘから音声パラメータベクトルｙを決定する関数ｙ＝ｆ（ｘ）として、ｙ＝Ａｘ＋ｂを用い、調音パラメータベクトルｘを用いて計算した音声パラメータベクトルｙ′＝Ａｘ＋ｂと、その調音パラメータベクトルｘと対をなす音声パラメータベクトルｙとの二乗誤差が最小となるＡとｂを求め、かつｙ′のｙに対する誤差ｗを求め、その誤差ｗの平均ｗm を計算し、更に誤差ｗの共分散σw を計算し、調音パラメータベクトルｘの平均ｘm を計算し、調音パラメータベクトルｘの共分散σx を計算し、状態遷移確率γを計算する。初期状態遷移確率γは自己遷移確率を０．８、ある状態から他の状態に遷移する確率を０．２など適当な値に設定し、その後はある状態ｑj に注目した場合、その状態に対応するフレームすべてに対して、同じ状態に遷移するフレームの数をその状態に対応するフレームの総数で割った値を自己遷移確率とし、ある状態から他の状態に遷移する確率を（１−自己遷移確率）として計算する。
【００１６】
これらモデルパラメータＡ，ｂ，ｗm ，σw ，ｘm ，σm ，Ｐt を各音素の各状態ごとに計算して音素対応に記憶する。なお、変換関数はこの例では左辺のベクトルｙは要素数が４８であり、右辺中のベクトルｘも要素数が４８であり、係数Ａは４８×４８の行列となり、定数ｂも要素数が４８のベクトルとなる。
従ってＡ，ｂを決定するにはｙとｘの対を最低４８個必要とする。
次にこの初期モデルλに対して入力音声パラメータベクトルｙの出力確率
Ｐ（ｙ，ｑ｜λ）＝∫Ｐ（ｙ｜ｘ，ｑ，λ）Ｐ（ｘ｜ｑ，λ）Ｐ（ｑ｜λ）ｄｘ（１）
が最大になるように音声パラメータベクトルｙおよび調音パラメータベクトルｘに状態ｑj を対応付けることをビタビ（Viterbi）アルゴリズムを用いて決定する（Ｓ２）。つまり前記文章の最初の音素を初期値としてその各状態における調音パラメータベクトルｘに対する音声パラメータベクトルｙの出力確率Ｐ（ｙ｜ｘ，ｑ，λ）と調音パラメータベクトルｘの出力確率Ｐ（ｘ｜ｑ，λ）とを、先に記憶したモデルを参照して、確率がガウス分布していることに基づき、それぞれ下記式（２）、式（３）により求める。
【００１７】
Ｐ（ｙ｜ｘ，ｑ，λ）＝［１／（（２π）N/2 ）｜σw ｜1/2 ］×ｅｘｐ［−（１／２）（ｙ−Ａｘ−ｂ−ｗm ）T σw -1(ｙ−Ａｘ−ｂ−ｗm)］ （２）
Ｐ（ｘ｜ｑ，λ）＝［１／（（２π）M/2 ）｜σx ｜1/2 ）］×ｅｘｐ［−（１／２）（ｘ−ｘm ）T σx -1(ｘ−ｘm)］ （３）
Ｎはベクトルｙの次数、Ｍはベクトルｘの次数であり、前記例では共に４２であり、( )T は行列の転置を表わす。
【００１８】
また遷移確率Ｐ（ｑ｜λ）を求め、Ｐ（ｙ｜ｘ，ｑ，λ）とＰ（ｘ｜ｑ，λ）とＰ（ｑ｜λ）の積をブランチメトリックとし、各状態について求めたブランチメトリックの最大のものを生き残りパスとし、そのブランチメトリックをそれまでのパスメトリックに加算することを順次行う。最終的に得られたパスメトリックの最大の状態系列ｑが式（１）を最大とするものである。
次にこの状態系列ｑの決定の際に求まった入力音声パラメータベクトルｙの出力確率の最大値、つまり最大パスメトリックの値が収束したかを調べ（Ｓ３）、収束していなければステップＳ２で決定された状態系列ｑと入力音声パラメータベクトル系列ｙ及び入力調音パラメータベクトル系列ｘとを対応付け、その状態系列ｑにおけるモデルからモデルへの変化点を検出して、音素区間の入力音声パラメータベクトル系列ｙ及び入力調音パラメータベクトル系列ｘに対する対応付けを再設定する（Ｓ４）。
【００１９】
この再設定された各音素についての音声パラメータベクトル及び調音パラメータベクトルの集合について、各モデルパラメータＡ，ｂ，ｗm ，σw ，ｘm ，σx ，Ｐt をそれぞれ演算し、つまり音素モデルを作成し、記憶していた対応モデルパラメータを更新記憶してステップＳ２に戻る（Ｓ５）。
以下ステップＳ２〜Ｓ５を繰返すことにより、得られる音声パラメータベクトルの出力確率の最大値はほぼ一定値となり、つまりステップＳ３で収束したことが検出されて終了とする。
【００２０】
このようにして得られたＨＭＭの各モデルは、例えば図３に示すように各音素対応のモデルλ1 〜λＪの格納部２５−１〜２５−Ｊごとに状態遷移確率γ（これは前述したように各ループと隣りへとの計５つの確率よりなる）が遷移確率格納部２７に格納され、各状態ごとのＡ，ｂが係数格納部２８に格納され、ｘm ，ｗm が平均格納部２９に、σm ，σw が共分散格納部３１に格納される。係数Ａ，ｂは調音パラメータベクトルＸと対応した音声パラメータベクトルｙの近似値を対応ずけるためのパラメータであるから調音・音響マッピング係数と呼ぶ。その他のパラメータｘm ，ｗm ，σm ，σw は調音モデルと呼ぶ。またＰ（ｙ｜ｘ，ｑ，λ）は式（２）で計算され、Ｐ（ｘ｜ｑ，λ）は式（３）で計算されるから、調音パラメータベクトルｘに対する音声パラメータベクトルｙの出力確率、また調音パラメータベクトルｘの出力確率もモデル記憶部２５に格納されていると云える。モデル作成方法として「ビタビ学習法」を示したが、より精度の良い学習法「ＥＭ学習法」（Expectation-Maximization)を用いてもよい。
【００２１】
第１実施形態
この発明の第１実施形態においては既存の音声生成モデルにより生成される音声パラメータ（スペクトル）ベクトルを、入力話者の入力音声パラメータ（スペクトル）ベクトル系列の出力確率が最大となるように適応化し、この生成音声パラメータベクトルと入力音声パラメータベクトル系列とを関係付ける係数を用いて、音声生成モデル中の調音・音響マッピング係数を適応化する。
以下この第１実施形態を、図４及び図５を参照して説明する。話者の入力音声信号は入力端子１１からディジタル信号として入力され信号記憶部４２に一旦格納される（Ｓ１）。この話者入力音声信号は音声パラメータベクトル生成部４３において、フレームごとに入力音声パラメータ（スペクトル）ベクトルｙが生成され、入力音声パラメータベクトル系列Ｙが生成される（Ｓ２）。例えば入力音声信号はフレームごとにスペクトル分析され、音声パラメータが検出され（Ｓ２−１）、更にそのスペクトルの時間的変化としての速度、加速度パラメータが検出され（Ｓ２−２）、これら両パラメータにより音声パラメータベクトルとされ、各フレームの音声パラメータベクトルの時系列が音声パラメータベクトル系列Ｙとされる。これらパラメータとしては、適応化の対象であるモデル記憶部４８に記憶されている音声生成モデルの作成時に用いた音声パラメータと同一のもの、前記例では０次項を除いた１６次のメルケプストラム係数とその速度パラメータが検出される。この入力音声パラメータベクトル系列Ｙは記憶部４２に一旦格納される（Ｓ３）。なお話者入力音声信号と対応した文章の音素列が音素列記憶部４５に格納される。
【００２２】
音声生成モデルより生成された音声パラメータベクトルの平均ベクトルｙmjに対して、入力音声パラメータベクトル系列Ｙ＝（Ｙ1 ，…，Ｙ2 ）の出力確率Ｐ（Ｙ｜ｑ，λ）が最大となるように、音声生成モデルの平均ベクトルを適応化する。出力確率Ｐ（Ｙ｜ｑ，λ）を最大化する平均ベクトルｙmjは前記非特許文献２の１７４頁を参考にすると、対数尤度log Ｐ（Ｙ｜ｑ，λ）を最大にするように求めればよい。従って
log Ｐ（Ｙ｜ｑ，λ）＝Ｋ−（１／２）Σt Σj γt(ｊ)（Ｙt −Ｈs ｙmj）T σyj -1（Ｙt −Ｈs ｙmj）
を最大にするＨs を
Σt Σj γt(ｊ）σyj -1Ｙt ｙmj T ＝Σt Σj γt(ｊ）σyj -1Ｈs ｙmjｙmj T （４）
を計算することで求めることができる。ここでｔはベクトル系列の離散的時刻を、ｊは各音素における状態番号をそれぞれ表わし、Ｋは定数、Ｈs は回帰係数であり、γt(ｊ）は音声パラメータベクトルが時刻ｔで状態ｊに存在する確率であってγt(ｊ）＝Ｐ（ｑt ＝ｊ｜ｙ，λ）であり、音声パラメータベクトルｙj の平均ベクトルはｙmj＝Ａj ｘmj＋ｂj により、ベクトルｙj の共分散行列はσyj＝Ａj σxjＡj T＋σw により求める。( )T は転置行列を表わし、ｓは音響空間を分割するクラスタを表わす。つまり音声生成モデルλの全てを１つのクラスタとするか、あるいは母音と子音とを別のクラスタとして求めるなど、全音素モデルをいくつかのクラスタに分けて求める。
【００２３】
つまり図４、図５に示すように入力音声パラメータベクトル系列Ｙと、音声生成モデルとを用いて、音声関係係数算出部４６で、音声関係係数Ｈs を計算する（Ｓ４）。モデル記憶部４４中の各モデルの調音・音響マッピング係数Ａj ，ｂj と調音平均ベクトルｘmjを取出し、音声パラメータの平均ベクトルｙmjを平均ベクトル生成部４７でｙmj＝Ａj ｘmj＋ｂj の計算によりそれぞれ生成する（Ｓ４−１）。またモデル記憶部４４中の各モデルの調音パラメータベクトルｘj の共分散σxjと調音平均ベクトルｘmjの誤差ｗj の共分散σwjを取り出し、音声パラメータベクトルｙj の共分散行列σyjを共分散計算部４８でσyj＝Ａj σxjＡj T＋σwjの計算によりそれぞれ生成する（Ｓ４−２）。更に音声関係係数算出部４６において、記憶部４５内の音素系列に従って各音素についてモデル記憶部４４内の対応音素モデルλの遷移確率γj を取出し、これと、入力音声パラメータベクトル系列Ｙと、平均ベクトル生成部４７よりの平均ベクトルｙmjと、共分散計算部４８よりの共分散行列σyjとを用いて、Σt Σj γt(ｊ）σyj -1Ｙt ｙmj T ，Σt Σj γt(ｊ）σyj -1ｙmjｙmj T を計算し、式（４）を満す回帰係数（音声関係係数）Ｈs を求める（Ｓ４−３）。
【００２４】
この音声関係係数Ｈs を用いて、音声生成モデルの調音・音響マッピング係数Ａj ，ｂj を、それぞれＨs Ａj ，Ｈs ｂj と係数適応化部４９で入力話者音声に適応化する（Ｓ５）。
更に必要に応じて、先に求めた音声パラメータベクトルの平均ベクトルｙmjを音声適応化部５１でＹmj＝Ｈs ｙmjの計算により変更する（Ｓ６）。
この適応化された音声生成モデルを用いれば、調音パラメータベクトル系列を入力して、これと対応した前記入力話者の音声に近い音声信号を合成することができる。
なお図５において制御部５２は各部を順次動作させ、また各記憶部に対する読み書きを行う。
【００２５】
第２実施形態
次にこの発明の第２実施形態を図６及び図７を参照して説明する。第２実施形態は入力音声の調音運動を、適応対象音声生成モデルを用いて決定し、この調音運動の出力確率が最大となるように音声生成モデルを適応化する。
入力端子４１からの入力話者の入力音声信号から入力音声パラメータ（スペクトル）ベクトル系列Ｙを音声パラメータベクトル生成部４３で生成し（Ｓ２）、これを一旦記憶部４３に記憶する（Ｓ３）ことは第１実施形態と同様である。
【００２６】
この第２実施形態においては、入力音声パラメータベクトル系列Ｙの出力確率Ｐ（Ｙ｜ｑ，λ）を最大にする状態系列ｑを、記憶部４５の音素系列に基づき、例えばビタビアルゴリズムにより状態系列生成部６１で生成する（Ｓ４）。この生成の手法は先に述べたモデル作成法とほぼ同様に行えばよい。
次にこの状態系列ｑに対して事後確率Ｐ（ｘ｜ｙ，ｑ，λ）を最大にする調音運動、つまり調音パラメータベクトル系列を調音パラメータベクトル生成部６２で生成する（Ｓ５）。Ｐ（ｘ｜ｙ，ｑ，λ）を最大にする調音パラメータベクトル系列ｘは前記非特許文献１の２３０６頁左欄の記載から明らかなように次式（５）を最小化する系列ｘ e を求めればよい。
【００２７】
Ｊ＝（Ｙ−Ａｘ e −ｂ）T σw -1(Ｙ−Ａｘ e −ｂ) （５）
つまり非特許文献１中の式（４）（下記の式）により求める。
ｘ e＝（σx -1＋ＡTσw -1Ａ）-1（σx -1ｘm＋ＡTσw -1(ｙ−ｂ））
このようにして生成された調音パラメータベクトル系列ｘ e と、出力確率Ｐ（ｘ e ｜ｑ，λ）が最大となる調音パラメータベクトルｘe の平均ベクトルｘemとを関係付ける次式（６）を平均関係係数計算部６３で計算して、平均関係係数Ｃs を求める（Ｓ６）。
【００２８】
Σt Σj γt(ｊ）σxj -1ｘetｘmj T ＝Σt Σj γt(ｊ）σxj -1Ｃs ｘmjｘmj T （６）
つまり生成された調音パラメータベクトル系列ｘ e の各ベクトルｘetについて、記憶部４４中の音声生成モデルの対応音素モデルλの遷移確率γj 、共分散σxj、平均ｘmjを取出し、Σt Σj γt(ｊ）σxj -1ｘetｘmj，Σt Σj γt(ｊ）σxj -1ｘmjｘmj T を計算して式（６）を計算して回帰係数Ｃs を求める。このようにして求めた平均関係係数Ｃs を用いて、記憶部４４中の調音平均ベクトルｘmjを平均適応化部６４でＸmj＝Ｃs ｘmjとして調音平均ベクトルを適応化する（Ｓ７）。
【００２９】
この適応化された音声生成モデルを用いて入力話者の音声信号の調音運動（調音パラメータベクトル系列）を求めることにより、適応化前のモデルを用いる場合よりも高い精度で調音運動を求めることができる。
更に調音・音響マッピング係数Ａj ，ｂj も適応化する場合は次のようにする。
ステップＳ１５で生成された調音パラメータベクトル系列ｘ e の各調音スペクトルベクトルｘetと対応する音声スペクトルベクトルを音素系列を参照しながら、音声生成モデルの調音・音響マッピング係数Ａj ，ｂj を用いて、音声ベクトル生成部６５で音声スペクトルベクトルｙj ＝Ａj ｘet＋ｂj を生成する（Ｓ８）。
【００３０】
この音声生成モデルを用いた音声スペクトルベクトルｙに対して、入力音声パラメータベクトル系列Ｙの出力確率Ｐ（Ｙ｜ｑ，λ）を最大にする調音・音響マッピング係数は、第１実施形態の場合と同様に、
Ｐ（Ｙ｜ｑ，λ）＝∫Ｐ（Ｙ｜ｘ，ｑ，λ）Ｐ（ｘ｜ｑ，λ）ｄｘの対数尤度log Ｐ（Ｙ｜ｑ，λ）を最大にすることにより与えられる。従って、式（４）の導出と同様に次式（７）を満す回帰係数（マッピング関係係数）Ｄs をマッピング関係係数算出部６６で算出する（Ｓ９）。
【００３１】
Σt Σj γt(ｊ）σwj -1Ｙt(Ａj ｘet＋ｂj)T ＝Σt Σj γt(ｊ）σwj -1Ｄs(Ａj ｘet＋ｂ)（Ａj ｘet＋ｂj) T （７）
つまりマッピング関係係数計算部６６で、入力音声パラメータベクトル系列Ｙと、音声ベクトル生成部６５よりの音声ベクトルｙj と、モデル記憶部４４中の誤差の共分散σwj、遷移確率γj とを用いて、
Σt Σj γt(ｊ）σwj -1Ｙt ｙj T＝Σt Σj γt(ｊ）σwj -1Ｄs ｙj ｙj T
を満すＤs を計算する。
【００３２】
このマッピング関係係数Ｄs を用いてモデル記憶部４４中の各音声生成モデルの各調音・音響マッピング係数Ａj ，ｂj を係数適応化部６７でＤs Ａj ，Ｄs ｂj として適応化する（Ｓ１０）。
ステップＳ４における状態系列の生成は、第１実施形態において音声適応化部５１で生成した適応化音声平均ベクトルＹmj（＝Ｈs ｙmj）を用いて行ってもよい。この場合、回帰係数Ｃs とＤsで共通のクラスタを用いた場合、回帰係数の冗長性のため第１実施形態と同じ尤度になるが、適応化された音声生成モデルは第１実施形態と異なるものとなる。
【００３３】
以上のような各種の適応化法により音声生成モデルを話者音声に適応化し、その適応化音声生成モデルを用いて、その話者の音声信号に対する調音運動を例えば非特許文献１に示すように推定する。
実験
日本人男性３名によって発声された３５６文章の音声信号と調音データを用い、モデル作成の項で述べた条件でパラメータベクトルを生成し、３者ごとにモデルを作成し、各入力話者から、入力話者以外の話者２名のそれぞれのモデルに対して適応を行い、評価は計６つのテストの平均で行った。今回用いた調音データは、調音観測点上に小さな受信コイルを接着する磁気センサシステムを用いて観測された。しかし、話者毎に受信コイルを接着する位置が異なり、また、話者毎に調音器官の大きさが異なるため、入力話者の観測した調音運動と別の特定話者のモデルを用いて推定した調音運動は、そのままでは比較することができない。したがって、あらかじめ求めた入力話者の観測調音運動と別の話者の観測調音運動の位置とサイズの線形変換を用いて正規化し、評価を行った。適応の際には、教師ありの学習を用い、適応文章数は４０とした。調音運動の逆推定の際には、音素ありの条件を用いた（非特許文献１）。適応化法は、（Ａ）第１実施形態、（Ｂ）第２実施形態、（Ｃ）第１実施形態と第２実施形態との併用の３つで実験を行った。クラスタ数ｓは全適応化法において共通とした。
【００３４】
図８に、クラスタ数の値を１，３，５，１０としたときの、学習データに対する音響パラメータベクトルの対数尤度を示す。適応化法を用いることで、話者独立モデルよりも尤度が上昇することが分かる。また、（Ａ）法と（Ｃ）法の尤度はほぼ同じであり、（Ｂ）法の尤度はそれらに比べて低い。
なお、話者の音声と調音運動を用いて作ったモデル（話者モデル）を用いた場合と、話者と無関係の音声とその対応調音運動を用いて作ったモデル（話者独立モデル）を用いた場合についての実験結果も示した。
【００３５】
図９に、クラスタ数における、適応化法による調音運動の二乗誤差を示す。適応化法を用いることで、すべてのクラスタ数において話者独立モデルよりも誤差が減少している。（Ａ）法を用いた場合、調音運動に関する適応は行われないため、クラスタの数によらず、誤差はほぼ一定である。一方、（Ｂ）法の場合、クラスタ数の増加につれて誤差が減少していく。（Ｃ）法は、クラスタ数が５までは（Ｂ）法よりも誤差が小さいが、クラスタ数が１０では尤度が高いにも関わらず、誤差が大きくなっている。
【００３６】
図１０に各種音素毎の二乗誤差を示す。評価はクラスタ数１０を用いて行った。‘Total’は発声全体の二乗誤差であり、‘Vowel’から‘Nasal’まではそれぞれ、その発声の際に重要な調音器官における二乗誤差である。適応化法を用いることで、すべての音素クラスに対して話者独立モデルよりも向上が見られた。最大約４４．４％の改善が見られた。また、適応化法による音素クラスに対する誤差の違いは見られなかった。
入力男性話者が「やるべきことはやっており何ら落ち度はない」という文章を発声した音声信号から、話者独立モデルを利用して推定された調音運動軌道（太線）と観測された調音運動軌道（細線）の垂直信号の例を図１１に示し、（Ｃ）法により適応化したモデルを利用して推定された調音運動軌道（太線）と観測された調音運動軌道（細線）の垂直信号の例を図１２に示す。これら両図を比較すれば図１２の方が太線が細線に近いものとなっており、モデル適応化の効果が得られていることが理解できる。
【００３７】
また推定された調音運動は発声した音素の特徴を良く再現している。推定された調音運動から生成した音声スペクトルと入力音声スペクトルとのスペクトル歪みも約６９．０％の改善が見られた。
図５、図７に示した適応化装置をコンピュータに機能させてもよい。この場合は図４又は図７に示した適応化方法の各手順をコンピュータに実行させるためのプログラムをＣＤ−ＲＯＭ、磁気ディスクなどの記録媒体からコンピュータにインストールし、又は通信回線を介してダウンロードし、そのプログラムをコンピュータに実行させればよい。上述においては調音パラメータベクトルを変数として音声パラメータベクトルを近似する関数に線形関数を用いたが他の関数でもよい。音声パラメータベクトル、及び調音パラメータベクトルとしては加速度成分や速度成分を用いなくてもよい。
【００３８】
【発明の効果】
この発明によれば、調音運動を表現する確率的な動的モデルと調音パラメータベクトルと音声パラメータベクトルとを関連付ける調音・音響マッピング係数とを含む音声生成モデルを話者適応化することができ、この適応化した音声生成モデルを使用することにより、入力話者音声の調音運動を、適応化しないモデルを用いる場合より、精度よく推定することができる。更に、調音パラメータベクトルから音声合成する場合に、所望の話者の音声を合成することができる。また、同様にこのモデルを用いて音声認識する場合も高認識精度を得ることができるようになる。更にこの発明によれば小量の音声データからでも音声生成モデルを適応化することができる。
【図面の簡単な説明】
【図１】１つの音素モデルの状態遷移の例を示す図。
【図２】モデル作成手順の例を示す流れ図。
【図３】音声生成モデルが記憶されている記憶装置の記憶内容例を示す図。
【図４】この発明の第１実施形態の処理手順の例を示す流れ図。
【図５】この発明の第１実施形態の機能構成例を示すブロック図。
【図６】この発明の第２実施形態の処理手順の例を示す流れ図。
【図７】この発明の第２実施形態の機能構成例を示すブロック図。
【図８】学習音声パラメータベクトルに対する合成音声パラメータベクトルの対数尤度の実験結果を示すグラフ。
【図９】入力音声信号に対して推定した調音パラメータベクトルの２乗誤差の実験結果を示すグラフ。
【図１０】入力音声信号に対して推定した調音パラメータベクトルの各種音素ごとの２乗誤差の実験結果を示す図。
【図１１】実測した調音運動と、話者独立モデルを利用して推定した調音運動の例を示す図。
【図１２】実測した調音運動と、話者適応化したモデルを利用して推定した調音運動の例を示す図。
Claims (10)
- 記憶装置に記憶された調音運動を表現する確率的な動的モデル（以下調音モデルと書く）と、調音パラメータベクトルと音声パラメータベクトルとを関連付ける調音・音響マッピング係数とを含む音声生成モデルを、入力話者音声信号に適応化する方法であって、
入力話者音声信号をフレームごとにスペクトル分析して、入力音声パラメータベクトル系列を生成する手順と、
上記各調音モデルにおける調音パラメータベクトルの平均ベクトルと上記各調音・音響マッピング係数とを用いて、音声パラメータベクトルの平均ベクトルを生成する手順と、
上記入力音声パラメータベクトル系列と、上記音声パラメータベクトルの平均ベクトルに適応係数を乗算したものと、上記各調音モデルにおける調音パラメータベクトルの共分散と、上記各調音モデルにおける音声パラメータベクトルの予測誤差の共分散と、上記調音・音響マッピング係数と、上記各調音モデルにおける遷移確率とを用いて、上記入力音声パラメータベクトル系列の出力確率の対数尤度が最大値をとる上記適応係数の値を求める手順と、
上記適応係数を上記各音声生成モデルの各調音・音響マッピング係数に乗算して、上記音声生成モデルを適応化する手順と
を有することを特徴とする音声生成モデル話者適応化方法。 - 記憶装置に記憶された調音モデルと、調音・音響マッピング係数とを含む音声生成モデルを、入力話者音声信号から適応化する方法であって、
入力話者音声信号をフレームごとにスペクトル分析して、入力音声パラメータベクトル系列を生成する手順と、
上記音声生成モデルを用いて、上記入力音声パラメータベクトル系列に対する事後確率が最大となる調音パラメータベクトル系列を生成する手順と、
上記調音パラメータベクトル系列と、それに対応する上記各調音モデルにおける調音パラメータベクトルの平均ベクトルに平均関係係数を乗算したものと、上記各調音モデルにおける調音パラメータベクトルの共分散と遷移確率とを用いて、上記調音パラメータベクトル系列の出力確率の対数尤度が最大値をとる上記平均関係係数の値を求める手順と、
上記平均関係係数を上記各調音モデルの平均ベクトルに乗算して適応化する手順と
を有することを特徴とする音声生成モデル話者適応化方法。 - 上記各音声生成モデルの各調音・音響マッピング係数を用いて上記調音パラメータベクトル系列と対応する音声パラメータベクトル系列を生成する手順と、
上記入力音声パラメータベクトル系列と、上記生成した音声パラメータベクトル系列に適応係数を乗算したものと、上記各調音モデルにおける音声パラメータ予測誤差の共分散と遷移確率とを用いて、上記入力音声パラメータベクトル系列の出力確率の対数尤度が最大値をとる上記適応係数の値を求める手順と、
上記適応係数を上記音声生成モデルの調音・音響マッピング係数に乗算して適応化する手順と
を有することを特徴とする請求項２記載の音声生成モデル話者適応化方法。 - 上記調音パラメータベクトル系列を生成する手順は、
上記各音声生成モデルについて、その各調音・音響マッピング係数を用いて、上記調音パラメータベクトル系列と対応する音声パラメータベクトルの各平均ベクトルを生成する手順と、
上記入力音声パラメータベクトル系列の出力確率を最大化するように上記平均ベクトルを適応化する手順と、
上記入力音声パラメータベクトルの出力確率を最大化する上記平均ベクトルの系列を生成する手順と、
上記平均ベクトルの系列に対して入力音声パラメータベクトル系列に対する事後確率が最大となる上記調音パラメータベクトル系列を生成する手順とを有する
ことを特徴とする請求項２又は３記載の音声生成モデル話者適応化方法。 - 記憶装置に記憶された調音運動を表現する確率的な動的モデル（以下調音モデルと書く）と、調音パラメータベクトルと音声パラメータベクトルとを関連付ける調音・音響マッピング係数とを含む音声生成モデルを、入力話者音声信号に適応化する装置であって、
入力話者音声信号をフレームごとにスペクトル分析して、入力音声パラメータベクトル系列を生成する音声パラメータベクトル生成部と、
上記各調音モデルにおける調音パラメータベクトルの平均ベクトルと上記各調音・音響マッピング係数とを用いて、音声パラメータベクトルの平均ベクトルを生成する平均ベクトル生成部と、
上記入力音声パラメータベクトル系列と、上記音声パラメータベクトルの平均ベクトルに適応係数を乗算したものと、上記各調音モデルにおける調音パラメータベクトルの共分散と、上記各調音モデルにおける音声パラメータベクトルの予測誤差の共分散と、上記調音・音響マッピング係数と、上記各調音モデルにおける遷移確率とを用いて、上記入力音声パラメータベクトル系列の出力確率の対数尤度が最大値をとる上記適応係数の値を求める音声関係係数計算部と、
上記適応係数を上記各音声生成モデルの各調音・音響マッピング係数に乗算して、上記音声生成モデルを適応化する平均適応化部と
を具備することを特徴とする音声生成モデル話者適応化装置。 - 記憶装置に記憶された調音モデルと、調音・音響マッピング係数とを含む音声生成モデルを、入力話者音声信号から適応化する装置であって、
入力話者音声信号をフレームごとにスペクトル分析して、入力音声パラメータベクトル系列を生成する音声パラメータベクトル生成部と、
上記音声生成モデルを用いて、上記入力音声パラメータベクトル系列に対する事後確率が最大となる調音パラメータベクトル系列を生成する調音パラメータベクトル生成部と、
上記調音パラメータベクトル系列と、それに対応する上記各調音モデルにおける調音パラメータベクトルの平均ベクトルに平均関係係数を乗算したものと、上記各調音モデルにおける調音パラメータベクトルの共分散と遷移確率とを用いて、上記調音パラメータベクトル系列の出力確率の対数尤度が最大値をとる上記平均関係係数の値を求める平均関係係数計算部と、
上記平均関係係数を上記各調音モデルの平均ベクトルに乗算して適応化する平均ベクトル計算部と
を具備することを特徴とする音声生成モデル話者適応化装置。 - 上記各音声生成モデルの各調音・音響マッピング係数を用いて上記調音パラメータベクトル系列と対応する音声パラメータベクトル系列を生成する音声ベクトル生成部と、
上記入力音声パラメータベクトル系列と、上記生成した音声パラメータベクトル系列に適応係数を乗算したものと、上記各調音モデルにおける音声パラメータ予測誤差の共分散と遷移確率とを用いて、上記入力音声パラメータベクトル系列の出力確率の対数尤度が最大値をとる上記適応係数の値を求めるマッピング関係係数計算部と、
上記適応係数を上記音声生成モデルの調音・音響マッピング係数に乗算して適応化するマッピング適応化部と
を具備することを特徴とする請求項２記載の音声生成モデル話者適応化装置。 - 上記調音パラメータベクトル生成部は、
上記各音声生成モデルの各調音・音響マッピング係数と各調音平均ベクトルとを入力して、音声パラメータベクトルの各平均ベクトルをそれぞれ生成する音声平均ベクトル生成部と、
上記入力音声パラメータベクトル系列と上記各音声平均ベクトルを入力して、これらを上記入力音声パラメータベクトル系列の出力確率を最大化するように関係づける音声関係係数を計算する音声関係係数計算部と、
上記音声関係係数と上記各音声平均ベクトルとを乗算して適応化音声平均ベクトルを生成する音声適応化部と、
上記入力音声パラメータベクトル系列の出力確率を最大化する上記適応化音声平均ベクトルの系列を生成する音声平均ベクトル系列生成部と、
上記適応化音声平均ベクトル系列に対して上記入力音声パラメータベクトル系列に対する事後確率が最大となる上記調音パラメータベクトル系列を生成するパラメータ系列生成部とを有する
ことを特徴とする請求項６又は７記載の音声生成モデル話者適応化装置。 - 請求項１〜４の何れかに記載した音声生成モデル話者適応化方法の各手順をコンピュータに実行させるためのプログラム。
- 請求項９に記載したプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003066847A JP4230254B2 (ja) | 2003-03-12 | 2003-03-12 | 音声生成モデル話者適応化方法、その装置、そのプログラム及びその記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003066847A JP4230254B2 (ja) | 2003-03-12 | 2003-03-12 | 音声生成モデル話者適応化方法、その装置、そのプログラム及びその記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004279454A JP2004279454A (ja) | 2004-10-07 |
| JP4230254B2 true JP4230254B2 (ja) | 2009-02-25 |
Family
ID=33284630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003066847A Expired - Fee Related JP4230254B2 (ja) | 2003-03-12 | 2003-03-12 | 音声生成モデル話者適応化方法、その装置、そのプログラム及びその記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4230254B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8906334B2 (en) | 2007-05-14 | 2014-12-09 | Invista North America S.A R.L. | High efficiency reactor and process |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11264044B2 (en) * | 2016-02-02 | 2022-03-01 | Nippon Telegraph And Telephone Corporation | Acoustic model training method, speech recognition method, acoustic model training apparatus, speech recognition apparatus, acoustic model training program, and speech recognition program |
| CN111402922B (zh) * | 2020-03-06 | 2023-06-30 | 武汉轻工大学 | 基于小样本的音频信号分类方法、装置、设备及存储介质 |
| CN111883117B (zh) * | 2020-07-03 | 2024-04-16 | 北京声智科技有限公司 | 语音唤醒方法及装置 |
-
2003
- 2003-03-12 JP JP2003066847A patent/JP4230254B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8906334B2 (en) | 2007-05-14 | 2014-12-09 | Invista North America S.A R.L. | High efficiency reactor and process |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004279454A (ja) | 2004-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Battenberg et al. | Effective use of variational embedding capacity in expressive end-to-end speech synthesis | |
| US8571871B1 (en) | Methods and systems for adaptation of synthetic speech in an environment | |
| Qian et al. | On the training aspects of deep neural network (DNN) for parametric TTS synthesis | |
| JP3933750B2 (ja) | 連続密度ヒドンマルコフモデルを用いた音声認識方法及び装置 | |
| US9099082B2 (en) | Apparatus for correcting error in speech recognition | |
| JP4545456B2 (ja) | 最適区画の分類神経網の構成方法、最適区画の分類神経網を用いた自動ラベリング方法、並びに装置 | |
| JP6293912B2 (ja) | 音声合成装置、音声合成方法およびプログラム | |
| CN107924678A (zh) | 语音合成装置、语音合成方法、语音合成程序、语音合成模型学习装置、语音合成模型学习方法以及语音合成模型学习程序 | |
| JP2015180966A (ja) | 音声処理システム | |
| Bridle et al. | An investigation of segmental hidden dynamic models of speech coarticulation for automatic speech recognition | |
| Hashimoto et al. | Trajectory training considering global variance for speech synthesis based on neural networks | |
| JP5807921B2 (ja) | 定量的ｆ０パターン生成装置及び方法、ｆ０パターン生成のためのモデル学習装置、並びにコンピュータプログラム | |
| US7680663B2 (en) | Using a discretized, higher order representation of hidden dynamic variables for speech recognition | |
| Aryal et al. | Articulatory inversion and synthesis: towards articulatory-based modification of speech | |
| JP4230254B2 (ja) | 音声生成モデル話者適応化方法、その装置、そのプログラム及びその記録媒体 | |
| JP5474713B2 (ja) | 音声合成装置、音声合成方法および音声合成プログラム | |
| JP3541224B2 (ja) | 音源の分離方法および分離装置 | |
| JP4779239B2 (ja) | 音響モデル学習装置、音響モデル学習方法、およびそのプログラム | |
| Al Bawab et al. | Analysis-by-synthesis features for speech recognition | |
| JP2002182682A (ja) | 話者特徴抽出装置および話者特徴抽出方法、音声認識装置、音声合成装置、並びに、プログラム記録媒体 | |
| JP4226831B2 (ja) | 音声分析方法及びその装置、音声分析プログラム並びにその記録媒体 | |
| Wei et al. | Predicting articulatory movement from text using deep architecture with stacked bottleneck features | |
| Takaki et al. | Overview of NIT HMM-based speech synthesis system for Blizzard Challenge 2012 | |
| KR20180041114A (ko) | 스피치 합성에서 푸어 얼라인먼트를 제거하기 위한 아웃라이어 식별 시스템 및 방법 | |
| JP2003241776A (ja) | 音声分析方法及びその装置、音声分析プログラム並びにその記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050303 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20061018 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081125 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081203 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |