JP6472005B2 - 基本周波数パターン予測装置、方法、及びプログラム - Google Patents

Description

本発明は、基本周波数パターン予測装置、方法、及びプログラムに係り、特に、ソース音声から、ターゲット音声の基本周波数パターンを予測する基本周波数パターン予測装置、方法、及びプログラムに関する。

他者とのコミュニケーションにおいて音声は利便性に優れた手段ではあるが、時として物理的制約により様々な障壁が必然的にもたらされる。例えば、発声器官の内、わずか一か所でも正常に動作しなくなると、深刻な発声障害を患い、音声コミュニケーションに支障をきたす。また、音声生成という物理的行為は、秘匿性の高い意思伝達には不向きであるし、周囲の騒音に脆弱である。これらの障壁を無くすためには、身体的制約を超えて発声器官を動作させて音声を生成したり、適切な発音動作を指定して音声を生成したり、聴取困難なほど微かな音声発声時の発声器官動作から通常音声を生成するなど、物理的・身体的制約を超えた音声生成機能の拡張が必要である。

例えば、喉頭癌などで喉頭を失った喉頭摘出者に対して、残存器官を用いた代替発声法により生成される自然性に乏しい音声を、より自然な音声へと変換する発声補助技術が提案されている（非特許文献１〜非特許文献３を参照）。この他にも、非可聴つぶやき音声を自然な音声に変換する技術も提案されており、秘匿性に優れた通話技術としての応用が期待されている。上述の技術はいずれも音声のスペクトル特徴量系列から自然音声の基本周波数(F₀) パターンを予測する問題を扱っている点で共通しており、学習処理と変換処理で構成される。学習処理では、対象音声（前者であれば電気音声、後者であれば非可聴つぶやき音声）と通常音声の同一発話データを用いる。まず各離散時刻（以後、フレーム）において、前後数フレームから得られる対象音声のスペクトル特徴量と、通常音声の対数F₀とその動的成分（時間微分または時間差分）を抽出し、スペクトル距離尺度に基づく動的時間伸縮によりこれらを対応付けた結合ベクトルを得る。これをパラレルデータと呼ぶ。各フレームのパラレルデータを用い、対象音声のスペクトル特徴量と通常音声の対数F₀ の静的・動的成分の結合確率密度関数を混合正規分布モデル（Gaussian Mixture Model; GMM）で表現する。GMM のパラメータはExpectation-Maximization アルゴリズムにより学習することができる。変換処理では、学習されたGMM を用いて、系列内変動を考慮した最尤系列変換法により、対象音声のスペクトル特徴量系列から通常音声のF₀ パターンへと変換することができる。

Keigo Nakamura, Tomoki Toda, Hiroshi Saruwatari, Kiyohiro Shikano, "Speaking-aid systems using GMM-based voice conversion for electrolaryngeal speech," Speech Communication, vol. 54, no. 1, pp. 134-146, 2012. Kou Tanaka, Tomoki Toda, Graham Neubig, Sakriani Sakti, Satoshi Nakamura, "A hybrid approach to electrolaryngeal speech enhancement based on noise reduction and statistical excitation generation," IEICE Transactions on Information and Systems, vol. E97-D, no. 6, pp. 1429-1437, Jun. 2014. Kou Tanaka, Tomoki Toda, Graham Neubig, Sakriani Sakti, Satoshi Nakamura, "Direct F0 controlof an electrolarynx based on statistical excitation feature prediction and its evaluation through simulation," Proc. INTERSPEECH, pp. 31-35, Sep. 2014. Hirokazu Kameoka, Jonathan Le Roux, Yasunori Ohishi, "A statistical model of speech F0 contours," ISCA Tutorial and Research Workshop on Statistical And Perceptual Audition (SAPA 2010), pp. 43-48, Sep. 2010. Kota Yoshizato, Hirokazu Kameoka, Daisuke Saito, Shigeki Sagayama, "Hidden Markov convolutive mixture model for pitch contour analysis of speech," in Proc. The 13th Annual Conference of the International Speech Communication Association (Interspeech 2012), Sep. 2012.

従来技術では、学習処理や変換処理において音声のF₀ パターンの物理的な生成過程を考慮したモデルが用いられていなかったため、物理的に人間が発声しえないような不自然なF₀ パターンを生成することが起こりえた。この問題に対し、F₀パターンの物理的な生成過程を考慮した予測を行うことで、より自然なF₀ パターンを生成できる可能性がある。

F₀パターンは声帯に張力を与える甲状軟骨の運動によって生み出されており、非特許文献４、５ではその制御機構の確率モデルに基づき、フレーズ・アクセント指令と呼ぶ甲状軟骨の運動に関係するパラメータを推定する技術が提案されている。この技術では，フレーズ・アクセント指令の時系列の生成プロセスを隠れマルコフモデル(HMM) により表現した点がポイントの一つであり，HMM のトポロジーの設計や遷移確率の学習を通して、指令列に関する言語学的ないし先験的な知識をパラメータ推定に組み込むことが可能である。

本発明は、上記事情を鑑みてなされたものであり、F₀ パターンの物理的な生成過程の制約を考慮しながらスペクトル特徴量系列に対応する最適なF₀パターンを推定することができる基本周波数パターン予測装置、方法、及びプログラムを提供することを目的とする。

上記の目的を達成するために本発明に係る基本周波数パターン予測装置は、学習サンプルのソース音声の時系列データとターゲット音声の時系列データとからなるパラレルデータを入力として、前記ソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、前記ターゲット音声の時系列データから抽出される、各時刻の基本周波数とに基づいて、前記ソース音声の各時刻のスペクトル特徴量ベクトルと、前記ターゲット音声の各時刻の基本周波数との間の関係をモデル化した第１確率分布のパラメータ、及び基本周波数パターン生成過程をモデル化した第２確率分布のパラメータを、前記第１確率分布と前記第２確率分布とを用いて表される規準を大きくするように学習する学習部と、予測対象のソース音声の時系列データを入力として、前記予測対象のソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、前記学習部によって学習された前記第１確率分布のパラメータと前記第２確率分布のパラメータとに基づいて、前記規準を大きくするように、前記予測対象のソース音声に対応する前記ターゲット音声の各時刻の基本周波数を予測する変換処理部と、を含んで構成されている。

本発明に係る基本周波数パターン予測方法は、学習部と、変換処理部とを含む基本周波数パターン予測装置における基本周波数パターン予測方法であって、前記学習部が、学習サンプルのソース音声の時系列データとターゲット音声の時系列データとからなるパラレルデータを入力として、前記ソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、前記ターゲット音声の時系列データから抽出される、各時刻の基本周波数とに基づいて、前記ソース音声の各時刻のスペクトル特徴量ベクトルと、前記ターゲット音声の各時刻の基本周波数との間の関係をモデル化した第１確率分布のパラメータ、及び基本周波数パターン生成過程をモデル化した第２確率分布のパラメータを、前記第１確率分布と前記第２確率分布とを用いて表される規準を大きくするように学習し、前記変換処理部が、予測対象のソース音声の時系列データを入力として、前記予測対象のソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、前記学習部によって学習された前記第１確率分布のパラメータと前記第２確率分布のパラメータとに基づいて、前記規準を大きくするように、前記予測対象のソース音声に対応する前記ターゲット音声の各時刻の基本周波数を予測する。

本発明に係るプログラムは、上記の基本周波数パターン予測装置の各部としてコンピュータを機能させるためのプログラムである。

以上説明したように、本発明の基本周波数パターン予測装置、方法、及びプログラムによれば、ソース音声の各時刻のスペクトル特徴量ベクトルとターゲット音声の各時刻の基本周波数との間の関係をモデル化した第１確率分布のパラメータ、及び基本周波数パターン生成過程をモデル化した第２確率分布のパラメータを、前記第１確率分布と前記第２確率分布とを用いて表される規準を大きくするように学習し、予測対象のソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルから、第１確率分布と第２確率分布とを用いて表される規準を大きくするように、予測対象のソース音声に対応するターゲット音声の各時刻の基本周波数を予測することにより、F₀ パターンの物理的な生成過程の制約を考慮しながらスペクトル特徴量系列に対応する最適なF₀パターンを推定することができる、という効果が得られる。

ＨＭＭの状態遷移ネットワークの一例を説明するための図である。 ＨＭＭの状態遷移ネットワークの一例を説明するための図である。 ＨＭＭの状態遷移ネットワークの一例を説明するための図である。 状態の分割を説明するための図である。 本発明の第１の実施の形態に係る基本周波数パターン予測装置の構成を示す概略図である。 本発明の第１の実施の形態に係る基本周波数パターン予測装置の学習部の構成を示す概略図である。 本発明の第１の実施の形態に係る基本周波数パターン予測装置の変換処理部の構成を示す概略図である。 本発明の第１の実施の形態に係る基本周波数パターン予測装置における学習処理ルーチンの内容を示すフローチャートである。 本発明の第１の実施の形態に係る基本周波数パターン予測装置における基本周波数パターン予測処理ルーチンの内容を示すフローチャートである。 本発明の第２の実施の形態に係る基本周波数パターン予測装置における学習処理ルーチンの内容を示すフローチャートである。 本発明の第３の実施の形態に係る基本周波数パターン予測装置の学習部の構成を示す概略図である。 本発明の第３の実施の形態に係る基本周波数パターン予測装置における学習処理ルーチンの内容を示すフローチャートである。 実験結果を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。本発明で提案する技術は、音声の特徴量系列から基本周波数パターンを予測し、原音声の基本周波数パターンを予測した基本周波数パターンに置き換えることで音声の自然性を向上させることを目的とした音声処理技術である。

＜関連技術１：スペクトル特徴量系列からのF₀ パターン予測方法＞
まず、スペクトル特徴量系列からのF₀ パターン予測方法について説明する。

上記非特許文献１〜非特許文献３では、スペクトル特徴量系列からF₀ パターンを予測する方法が提案されている。当該従来手法はスペクトル特徴量系列とF₀ パターンの同時確率分布モデルのパラメータを学習する処理と学習した当該モデルを用いて所与のスペクトル特徴量系列からF₀ パターンに変換する処理からなる。

＜学習処理＞
ソース音声（例えば電気音声）とターゲット音声（例えば自然音声）のパラレルデータが与えられているものとする。ソース音声のスペクトル特徴量ベクトルをc[k] とし，ターゲット音声の対数F₀ とその動的成分（時間微分または時間差分）の結合ベクトル（F₀ 特徴量と呼ぶ。）をq[k] = (y[k];Δy[k])^T とする。ここでk は離散時刻のインデックスである。音声特徴量c[k] としては例えば時刻k を中心とした前後数フレーム分のメルケプストラム（ベクトル）の系列を連結したベクトルに対し主成分分析により次元圧縮を行ったものを用いる。本手法ではc[k] とq[k] の同時確率分布を混合正規分布モデル（Gaussian Mixture Model; GMM）

でモデル化し、学習処理では所与のパラレルデータ｛c[k]; q[k]｝^K _k=1 から当該GMM のパラメータ（各正規分布の重み，平均、分散共分散行列）を学習する。ただし、N(x;μ，Σ) は、xの確率密度関数が平均がμ、分散共分散行列がΣの正規分布で与えられることを意味する。

GMM のパラメータはExpectation-Maximization (EM) アルゴリズムにより推定することができる。学習したGMM パラメータをγとすると、条件付分布Ｐ(q[k]｜c[k]，γ) はスペクトル特徴量c[k] からF₀ 特徴量q[k] を予測するための分布と見ることができ、

のようにＰ(c[k]，q[k]｜γ) と同様にGMM で与えられる。ただし、

でありe^(q｜c) _mおよびD^(q｜c) _m は

で与えられる。

＜変換処理＞
変換処理では。所与のスペクトル特徴量系列

の下で，最尤のF₀パターン

を以下の式（８）により求めることが目的である。

ただし、

であり、Ｗはｙとｑの関係を記述した変換行列（定数）である。ここで、P(ｑ｜ｃ，γ) は学習処理により学習したパラメータγで与えられるGMM であり、

で与えられる。ただし、ｍ= (ｍ₁，...，ｍ_K) であり、ｍ_k は時刻k におけるGMMの成分インデックスを表す。ここで、P(q[k]｜c[k]，γ) が

により近似できるとする。式(12)より、^m_kは、データｃ[k]を生成したらしい確率が最も高い正規分布のインデックスを意味する。よって、式(9)よりP(ｑ｜ｃ，ｍ，＾γ）はすべてのkについて

の積をとったもので与えられる。式(11)の近似によりP(ｑ｜ｃ，γ）は

を連結したベクトルｅ^(ｑ｜ｃ)を平均、

を対角成分としたブロック対角行列Ｄ^(q｜c) を分散共分散行列とした正規分布

となる。これにｑ＝Ｗｙを代入し、ｙの分布となるように正規化すると、

となるため、

のようにｙの条件付き分布を得る。よって、式(8)の解は、

となる。

＜関連技術２：F₀パターン生成過程モデル＞
次に、F₀パターン生成過程の確率モデルについて説明する。

音声のF₀パターンの生成過程を記述したモデルに、藤崎の基本周波数（F₀）パターン生成過程モデル（藤崎モデル）が知られている（非特許文献６）。

［非特許文献６］：H. Fujisaki, "In Vocal Physiology: Voice Production, Mechanisms and Functions," Raven Press, 1988.

藤崎モデルとは、甲状軟骨の運動によるF₀ パターンの生成過程を説明した物理モデルである。藤崎モデルでは、甲状軟骨の二つの独立な運動（平行移動運動と回転運動）にそれぞれ伴う声帯の伸びの合計がF₀の時間的変化をもたらすと解釈され、声帯の伸びとF₀パターンの対数値y(t) が比例関係にあるという仮定に基づいてF₀パターンがモデル化される。甲状軟骨の平行移動運動によって生じるF₀パターンx_p(t)をフレーズ成分、回転運動によって生じるF₀ パターンx_a(t) をアクセント成分と呼ぶ。藤崎モデルでは、音声のF₀ パターンy(t) は、これらの成分に声帯の物理的制約によって決まるベースライン成分b を足し合わせたものとして、

と表現される。これら二つの成分は二次の臨界制動系の出力と仮定され、

と表される（＊ は時刻t に関する畳み込み演算）。ここでu_p(t) はフレーズ指令関数と呼ばれ、デルタ関数（フレーズ指令）の列からなり、u_a(t) はアクセント指令関数と呼ばれ、矩形波（アクセント指令）の列からなる。これらの指令列には、発話の最初にはフレーズ指令が生起する、フレーズ指令は二連続で生起しない、異なる二つの指令は同時刻に生起しない、という制約条件がある。またαとβはそれぞれフレーズ制御機構、アクセント制御機構の固有角周波数であり、話者や発話内容によらず、おおよそα=3 rad/s、β=20 rad/s 程度であることが経験的に知られている。

＜関連技術３：F₀パターン生成過程モデルパラメータ推定法＞
上述の藤崎モデルは以下のような確率モデルで記述することができる（非特許文献４、５、７参照）。

[非特許文献７]：石原達馬, 吉里幸太, 亀岡弘和, 齋藤大輔, 嵯峨山茂樹, \音声基本周波数の藤崎モデル指令列の統計的語彙モデル," 日本音響学会2013 年春季研究発表会講演論文集, 1-7-9, pp. 283-286, Mar. 2013.

まずフレーズ、アクセント指令関数のペアo[k] = (u_p[k], u_a[k])^T を出力するHMM を考える。ただし、k は離散時刻のインデックスを表す。状態出力分布は正規分布とし、各時刻の状態が与えられた下で

により指令関数ペアo[k] が生成されるものとする。ここで｛s_k｝^K _k=1 はHMMの状態系列であり、平均ベクトルρ[k] はHMM の状態遷移の結果として定まる値である。具体的なHMM の構成の例を図１〜図３に示す。

図1に示すHMM の状態遷移ネットワークの例では、状態t = r₀ においてμ^(p) _t [k] とμ^(a) _tはいずれも0 である。状態t = r₀ からは状態p₀ にのみ遷移することができ、状態t = p₀においてμ^(p) _t [k] は非負値A^(p)[k] をとり、μ^(a) _t は0 となる。状態t = p₀ の次は状態r₁ にのみ遷移することが許される。状態t = r₀ 同様、状態t = r₁ においてμ^(p) _t [k] とμ^(a) _t はいずれも0 である。状態t = r₁ からは状態a₀，...，a_N-1のいずれかにのみ遷移することができ、状態t = a_n においてμ^(a) _tは非負値A^(a) _n をとり、μ^(p) _t [k] は0 となる。状態t = a_nの次は状態r₀ またはr₁にのみ遷移することが許される。これよりμ_a[k] が矩形パルス列となることが保証される。

図2に示すHMMの状態遷移ネットワークの例では、状態t = r₀ においてμ^(p) _t [k] とμ^(a) _tはいずれも0 である。状態t = r₀ からは状態p₀，...，p_M-1のいずれかにのみ遷移することができ、状態t = p_m においてμ^(p) _tは非負値A^(p) _m をとり、μ^(a) _t は0 となる。状態t = p_m の次は状態r₁にのみ遷移することが許される。状態t = r₀ 同様、状態t = r₁ においてμ^(p) _t [k] とμ^(a) _t はいずれも0 である。状態t = r₁ からは状態a₀，...，a_N-1のいずれかにのみ遷移することができ、状態t = a_n においてμ^(a) _tは非負値A^(a) _n をとり、μ^(p) _t は0 となる。状態t = a_nの次は状態r₀ またはr₁ にのみ遷移することが許される。これよりμ_a[k] が矩形パルス列となることが保証される。

図3に示すHMMの状態遷移ネットワークの例では、それぞれの終点と始点が連結された複数のLeft-to-Right 型HMM からなる。図１、２と同様、状態t = r_lにおいてμ^(p) _t [k] とμ^(a) _t はいずれも0 である。また、状態t = p_m においてμ^(p) _tは非負値A^(p) _m をとり、μ^(a) _t は0 となる。状態t = a_nにおいてμ^(a) _tは非負値A^(a) _nをとり、μ^(p)

_tは0となる。

ρ[k]は、図1 の例では、以下の式（２４）で表わされる。

また、図2, 3 の例では、ρ[k]は、以下の式（２５）で表わされる。

いずれの例においても、図４のようにそれぞれの状態を同じ出力分布をもついくつかの小状態に分割し、Left-to-Right 型の状態遷移経路を制約することで同一状態に停留する時間長の確率をパラメータ化することができる。図4 は状態a_n を分割した例である。例えばこの図のように全てのm≠0 に対してa_n,n′からa_n,n′+1 への状態遷移確率を1に設定することで，a_n,0からa_n,n′への遷移確率が状態a_n がn′ステップだけ持続する確率に対応し、アクセント指令の持続長の確率を設定したり学習したりできるようになる。同様にp_m とr_l も小状態に分割することで、フレーズ指令の持続長と指令間の間隔の長さの分布をパラメータ化することが可能になる。以後、状態集合を

と表記する。上記のHMM の構成は次のように書ける。

状態系列s = ｛s_k｝^K _k=1 が与えられたとき、このHMM はフレーズ指令関数u_p[k] とアクセント指令関数u_a[k] のペアを出力する。式(18) と式(20) で示した通り、u_p[k] とu_a[k] にそれぞれg_p[k] とg_a[k] が畳み込まれてフレーズ成分x_p[k] とアクセント成分x_a[k] が出力される。これを式で表すと、

と書ける（＊ は離散時刻k に関する畳み込み演算）。このとき，F₀ パターンx[k] は

と三種類の成分の重ね合わせで書ける。ただしb は時刻によらないベースライン成分である。

また、実音声においては、いつも信頼のできるF₀ の値が観測できるとは限らない。藤崎モデルのパラメータ推定を行うにあたっては、信頼のおける観測区間のF₀ 値のみを考慮に入れて、そうでない区間は無視することが望ましい。例えば音声の無声区間においては通常声帯の振動に伴う周期的な粗密波は観測されないので、仮に自動ピッチ抽出によって音声の無声区間から何らかの値がF₀ の推定値として得られたとしても、その値を声帯から発せられる信号のF₀ の値と見なすのは適当ではない。そこで、提案モデルに観測F₀値の時刻k における不確かさの程度ｖ² _n[k] を導入する。具体的には、観測F₀ 値y[k] を、真のF₀ 値x[k] とノイズ成分

との重ね合わせで

と表現することで、信頼のおける区間かどうかに関わらず全ての観測区間を統一的に扱える。

x_n[k] を周辺化することで、出力値系列o = ｛o[k]｝^K _k=1 が与えられたときのy = ｛y[k]｝^K _k=1 の確率密度関数

が得られる。状態系列s = ｛s_k｝^K _k=1 と指令の振幅を表すパラメータ

および遷移確率行列φ = (φ_i,j)_I×I が与えられたとき、出力値系列o は

に従って生成される。また、P(s｜φ) は状態遷移確率の積として

と書ける。ただし、

は初期状態がs₁である確率をあらわす。式(30)、(32) および式(33) よりP(y,o,s｜θ,φ) は

と書ける。これをo に関して周辺化すると

が得られる。ただし、

である。一方、s に関して周辺化すると

が得られる。ただし、Σ_s はあらゆる状態系列に関して和をとる操作を意味する。

＜パラメータ推定アルゴリズム１＞
ｙとｏを完全データと見なすことで、式(35) を局所最大化するｓとθ をExpectation-Maximization アルゴリズムにより探索することができる。導出は省略するが、

が大きくなるようにｓとθを更新するステップと、更新したｓとθを用いて

とＲを

により更新するステップを繰り返すことで式(35) を単調増加させることができる（詳細は、上記非特許文献４参照）。

具体的には、以下の初期設定、Ｅステップ、及びＭステップが実行される。

（初期設定）
ｓとθを初期設定する。

（E ステップ）
フレーズ成分、アクセント成分、ベースライン成分の条件付き期待値

と条件付き分散共分散行列Ｒを

により更新する。ただし、

である。また、Ｒにおける

に対応するブロック対角成分を

とする。

すなわち、

である（＊ は以後用いないブロック成分である）。

（Ｍステップ）
Q(ｓ,θ) が最大となる状態系列ｓ= (ｓ₁,...,ｓ_K) を探索する。γ_p とγ_aは対角行

列なので、

はいずれも

のようにｋごとの項の和の形で書ける。従って、Ｑ(ｓ，θ) はｓに依らない項を除けば

と書ける。従って、Ｑ(ｓ,θ) を最大にする状態系列ｓ= (ｓ₁,...,ｓ_K)はViterbiアルゴリズムにより求めることができる（詳細は上記非特許文献４参照）。ただし、[・]_k,k は行列のk 行k 列の要素、[・]_kはベクトルの第k 要素を表す。

続いて、Ｑ(ｓ,θ)を最大にするようにθを更新する。Ｑ(ｓ,θ)を最大にするθは、Ｑ(ｓ,θ)の各変数に関する偏微分を0 と置くことにより得られる（詳細は上記非特許文献４参照）。

また、推定された状態系列ｓから、状態遷移確率φが求められる。

［第１の実施の形態］
＜本発明の実施の形態の概要＞
本発明の実施の形態の技術は、上述した関連技術１と同様、学習処理と変換処理からなるが、式(8) の代わりに関連技術1の確率分布と関連技術２の確率分布を"Expert"としたProduct-of-Experts （非特許文献９参照）を用いることにより，関連技術２のF0 パターン生成過程モデルにできるだけ即したF₀ パターンをスペクトル特徴量から統計的に予測することを可能にする技術である。

［非特許文献９］：G. E. Hinton, “Training Products of Experts by Minimizing Contrastive Divergence," Neural Computation, no. 14, no. 8, pp. 1771-1800, 2002.

学習処理と変換処理では、後述するｃ、ｙの結合分布Ｐ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)を共通の規準とする。

学習処理ではパラレルデータの学習サンプル｛c[k]，q[k]｝^K _k=1が与えられた下でｃ,ｙの結合分布Ｐ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)ができるだけ大きくなるようにγ、θ、φを学習する。本実施の形態では、γと、θ、φとを別々に学習する。例えば、学習サンプルのF₀ パターン｛y[k]｝^K _k=1が与えられた下で、上述した関連技術３のパラメータ推定アルゴリズム１を用いてＰ（ｙ,ｓ｜θ,φ）ができるだけ大きくなるようにθとφを学習する。そして、θ、φを固定し、Ｐ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)ができるだけ大きくなるようにγを学習する。

なお、学習サンプルのフレーズ・アクセント指令データｏが与えられる下では、上述した関連技術３を用いてＰ(ｏ｜θ、φ) ができるだけ大きくなるようにθとφを学習するようにしてもよい。

＜システム構成＞
次に、ソース音声のスペクトル特徴量系列から、ターゲット音声の基本周波数パターンを予測する基本周波数パターン予測装置に、本発明を適用した場合を例にして、本発明の実施の形態を説明する。

図５に示すように、本発明の第１の実施の形態に係る基本周波数パターン予測装置は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン、及び基本周波数パターン予測処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。

図５に示すように、基本周波数パターン予測装置１００は、入力部１０と、演算部２０と、出力部９０とを備えている。

入力部１０は、学習サンプルのソース音声（例えば電気音声）の時系列データとターゲット音声（例えば自然音声）の時系列データとからなるパラレルデータを受け付ける。また、入力部１０は、予測対象のソース音声の時系列データを受け付ける。

演算部２０は、学習部３０と、パラメータ記憶部４０と、変換処理部５０とを備えている。

図６に示すように、学習部３０は、特徴量抽出部３２と、基本周波数系列抽出部３４と、第１モデルパラメータ学習部３６と、第２モデルパラメータ学習部３８とを備えている。

特徴量抽出部３２は、入力部１０によって受け付けた学習サンプルのソース音声の時系列データから、ソース音声のスペクトグラム特徴量ベクトルc[k]を抽出する。ここでk は離散時刻のインデックスである。例えば、非特許文献１〜３と同様に、時刻k を中心とした前後数フレーム分のメルケプストラム（ベクトル）の系列を連結したベクトルに対し主成分分析により次元圧縮を行ったものをc[k] として用いる。

基本周波数系列抽出部３４は、入力部１０によって受け付けた学習サンプルのターゲット音声の時系列データから、ターゲット音声の各時刻ｋにおける基本周波数y[k]を抽出し、y = (y[1]，...， y[K])^Tとする。

この基本周波数の抽出処理は、周知技術により実現でき、例えば、非特許文献８（H. Kameoka, "Statistical speech spectrum model incorporating all-pole vocal tract model and F₀ contour generating process model," in Tech. Rep. IEICE, 2010, in Japanese.）に記載の手法を利用して、８ｍｓごとに基本周波数を抽出する。

また、y とその動的成分（時間微分または時間差分）の結合ベクトル（F₀ 特徴量と呼ぶ。）をq[k] = (y[k]，Δy[k])^T とする。

以上より、｛c[k]，q[k]｝^K _k=1 というデータが得られる。

第２モデルパラメータ学習部３８は、基本周波数系列抽出部３４によって抽出された各時刻ｋの基本周波数y[k]に基づいて、各時刻ｋの基本周波数y[k]と、隠れマルコフモデルの各時刻の状態からなる状態系列ｓとの組み合わせの確率分布である第２確率分布のパラメータを学習する。

具体的には、第２モデルパラメータ学習部３８は、上述した関連技術３のF₀ パターン生成過程モデルパラメータ推定法のパラメータ推定アルゴリズム１に従って、F₀パターン生成過程モデルのパラメータθ、φを学習する。

もし学習サンプルのフレーズ指令系列とアクセント指令系列のペアのデータo = ｛o_k｝^K _k=1 が入手できるのであれば，o からθ、φを学習しても良い（HMM の通常の学習に相当）。学習したF₀パターン生成過程モデルのパラメータを^θ、^φとする。

第１モデルパラメータ学習部３６は、特徴量抽出部３２によって抽出された各時刻ｋのスペクトル特徴量ベクトルc[k]と、基本周波数系列抽出部３４によって抽出された各時刻ｋの基本周波数の結合ベクトルｑ［ｋ］と、第２モデルパラメータ学習部３８によって学習されたパラメータθ、φとに基づいて、ｃ、ｙの結合分布Ｐ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)ができるだけ大きくなるように、ソース音声の各時刻のスペクトル特徴量ベクトルc[k]とターゲット音声の各時刻ｋの基本周波数の結合ベクトルｑ［ｋ］との同時確率分布を表す混合正規分布である第１確率分布のパラメータγを学習する。

＜学習・変換規準＞
ここで、学習処理と変換処理で共通となる規準について説明する。

ｃ、ｙの結合分布Ｐ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)は以下の形で与えられる。

ただし、

以上よりｃ、ｙの結合分布Ｐ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)は、GMMベースのF₀パターン予測モデルとF₀ パターン生成過程モデルの確率分布の積を正規化した分布と見なせ、ΛおよびΓは両モデルの寄与の大きさを表した行列である。いずれも任意の対角行列（定数）とする。他の変数については、上述した関連技術1と関連技術3 の記述と同様である。また、上記では分かりやすさのためGMM の成分インデックス系列とHMMの状態系列に依存する変数には上付き文字(m), (s) を付与している。

＜学習・変換処理のための統一的アルゴリズム＞
次に、学習・変換処理のための統一的アルゴリズムについて説明する。

学習処理も変換処理も同一規準を用いた最適化問題

となり（固定する変数と推定する変数が異なるだけである）、ｑとｕを潜在変数（隠れ変数）と扱うことでExpectation-Maximization アルゴリズムを適用することができる。ｙ、ｃ、ｑ、ｕを完全データとすると，完全データに対する尤度関数は、以下のように書ける。

ただし、

式(92) を平方完成すると、Ｐ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)は、以下のように表される。

E ステップで、以下の式（１００）、（１０１）に従って期待値を算出する。

Ｍステップで、

が最大となるように各変数を更新することでｌｏｇＰ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)を大きくすることができるので、E ステップとM ステップを繰り返すことで当該最適化問題の局所最適解を得ることができる。

以上説明した原理に従って、第１モデルパラメータ学習部３６は、第２モデルパラメータ学習部３６で学習されたパラメータθ、φを固定して、特徴量抽出部３２によって抽出された各時刻ｋのスペクトル特徴量ベクトルc[k]と、基本周波数系列抽出部３４によって抽出された各時刻ｋの基本周波数の結合ベクトルｑ［ｋ］と、に基づいて、ＥＭ（Expectation-Maximization）アルゴリズムにより、E ステップとM ステップを繰り返すことで、ｌｏｇＰ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)を大きくするように、第１確率分布のＧＭＭのパラメータγを学習する。学習したGMM パラメータを^γとする。

変換処理部５０は、予測対象のソース音声の時系列データを入力として、ソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、第１モデルパラメータ学習部３６によって学習された第１確率分布のパラメータγと、第２モデルパラメータ学習部３８によって学習された第２確率分布のパラメータθ、φとに基づいて、ＥＭ（Expectation-Maximization）アルゴリズムにより、E ステップとM ステップを繰り返すことで、学習処理と共通の規準であるＰ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)を大きくするように、各時刻の基本周波数ｙと、各時刻ｋのスペクトル特徴量ベクトルを生成したらしい確率が最も高い正規分布のインデックスｍ、各時刻の状態からなる状態系列ｓを推定することにより、予測対象のソース音声に対応するターゲット音声の各時刻の基本周波数ｙを予測する。

本実施の形態では、図７に示すように、変換処理部５０は、特徴量抽出部５２と、期待値算出部５４と、変数更新部５６と、収束判定部５８とを備えている。

特徴量抽出部５２は、入力部１０によって受け付けた予測対象のソース音声の時系列データから、特徴量抽出部３２と同様に、ソース音声の各時刻ｋのスペクトグラム特徴量ベクトルc[k]を抽出する。

期待値算出部５４は、第１モデルパラメータ学習部３６によって学習された第１確率分布のパラメータγと、第２モデルパラメータ学習部３８によって学習された第２確率分布のパラメータθ、φと、特徴量抽出部５２によって抽出された各時刻ｋのスペクトル特徴量ベクトルc[k]と、変数更新部５６によって前回更新された各時刻の基本周波数ｙ、各時刻ｋの正規分布のインデックスｍ、及び各時刻の状態からなる状態系列ｓとに基づいて、上記式（１００）、式（１０１）に従って、期待値を算出する。

変数更新部５６は、期待値算出部５４によって算出された期待値に基づいて、上記式（１０２）が最大となるように、各時刻の基本周波数ｙと、各時刻ｋの正規分布のインデックスｍと、各時刻の状態からなる状態系列ｓとを更新する。

収束判定部５８は、予め定められた収束判定条件を満たすまで、期待値算出部５４及び変数更新部５６による各処理を繰り返させる。収束判定条件としては、例えば、予め定められた繰り返し回数に到達することである。

収束判定条件を満たしたときに、最終的に得られた各時刻ｋの基本周波数ｙ［ｋ］を、予測対象のソース音声に対応するターゲット音声の各時刻の基本周波数の予測結果として、出力部９０により出力する。

＜基本周波数パターン予測装置の作用＞
次に、本実施の形態に係る基本周波数パターン予測装置１００の作用について説明する。まず、学習サンプルのソース音声の時系列データ及びターゲット音声の時系列データからなるパラレルデータが、基本周波数パターン予測装置１００に入力されると、基本周波数パターン予測装置１００において、図８に示す学習処理ルーチンが実行される。

まず、ステップＳ１０１において、入力されたソース音声の時系列データを読み込み、

各時刻ｋのスペクトル特徴量ベクトルｃ［ｋ］を抽出する。ステップＳ１０２において、入力されたターゲット音声の時系列データを読み込み、ターゲット音声の各時刻ｋにおける基本周波数y[k]を抽出し、また、基本周波数y[k]とその動的成分の結合ベクトルq[k]を抽出する。

ステップＳ１０４では、状態系列ｓと、各時刻における状態に応じたフレーズ指令の振幅及び各アクセント指令の振幅を表すパラメータθとを初期設定する。

そして、ステップＳ１０５において、上記式（４９）、式（５０）に従って、フレーズ成分、アクセント成分、ベースライン成分の条件付き期待値￣ｘと、条件付き分散共分散行列Ｒとを更新する。

次のステップＳ１０６では、上記ステップＳ１０４で初期設定された、又は後述するステップＳ１０７で前回更新されたパラメータθと、上記ステップＳ１０５で更新されたフレーズ成分、アクセント成分、ベースライン成分の条件付き期待値￣ｘと、条件付き分散共分散行列Ｒとに基づいて、上記式（６３）式を用いて、Ｑ(ｓ,θ) を最大にする状態系列ｓ= (ｓ₁,...,ｓ_K)をViterbiアルゴリズムにより求めて、状態系列ｓを更新する。

ステップＳ１０７では、上記ステップＳ１０６で更新された状態系列ｓと、上記ステップＳ１０５で更新されたフレーズ成分、アクセント成分、ベースライン成分の条件付き期待値￣ｘと、条件付き分散共分散行列Ｒとに基づいて、Ｑ(ｓ,θ)の各変数に関する偏微分を0 と置くことにより、Ｑ(ｓ,θ) を最大にするパラメータθを求めて、各時刻における状態に応じたフレーズ指令の振幅及び各アクセント指令の振幅を表すパラメータθを更新する。

ステップＳ１０８において、予め定められた収束判定条件を満たしたか否かを判定し、収束判定条件を満たしていない場合には、上記ステップＳ１０５へ戻る。一方、収束判定条件を満たした場合には、ステップＳ１０９へ進む。

ステップＳ１０９では、上記ステップＳ１０１で抽出された各時刻ｋのスペクトル特徴量ベクトルc[k]と、上記ステップＳ１０２で抽出された各時刻ｋの基本周波数の結合ベクトルｑ［ｋ］と、上記ステップＳ１０７で最終的に得られたパラメータθと、上記ステップＳ１０６で最終的に得られた状態系列ｓから求められる状態遷移確率φと、後述するステップＳ１１０で前回更新されたパラメータγとに基づいて、上記式（１００）、式（１０１）に従って、期待値を算出する。

ステップＳ１１０では、上記ステップＳ１０９で算出された期待値に基づいて、上記式（１０２）が最大となるように、パラメータγを更新する。

ステップＳ１１２において、予め定められた収束判定条件を満たしたか否かを判定し、収束判定条件を満たしていない場合には、上記ステップＳ１０９へ戻る。一方、収束判定条件を満たした場合には、ステップＳ１１３において、上記ステップＳ１０７で最終的に得られたパラメータθと、上記ステップＳ１０６で最終的に得られた状態系列ｓから求められる状態遷移確率φと、上記ステップＳ１１０で最終的に得られたパラメータγとを、パラメータ記憶部４０に格納する。

次に、予測対象のソース音声の時系列データが、基本周波数パターン予測装置１００に入力されると、基本周波数パターン予測装置１００において、図９に示す基本周波数パターン予測処理ルーチンが実行される。

まず、ステップＳ１２１において、入力された予測対象のソース音声の時系列データを読み込み、各時刻ｋのスペクトル特徴量ベクトルｃ［ｋ］を抽出する。

ステップＳ１２２において、パラメータ記憶部４０に記憶されたパラメータγと、上記ステップＳ１２１で抽出された各時刻のスペクトル特徴量ベクトルc[k]とに基づいて、上記式（１６）に従って、各時刻ｋの基本周波数ｙ［ｋ］を推定することにより、各時刻ｋの基本周波数ｙ［ｋ］を初期設定すると共に、各時刻ｋの基本周波数の結合ベクトルｑ［ｋ］に初期値を設定する。また、各時刻ｋのスペクトル特徴量ベクトルc[k]を生成したらしい確率が最も高い正規分布のインデックス＾ｍ_kと、状態系列ｓとに、初期値を設定する。

ステップＳ１２３では、上記ステップＳ１２１で抽出された各時刻ｋのスペクトル特徴量ベクトルc[k]と、各時刻ｋの基本周波数ｙ［ｋ］、各時刻ｋの基本周波数ｙ［ｋ］から得られる各時刻ｋの基本周波数の結合ベクトルｑ［ｋ］と、パラメータ記憶部４０に記憶されたパラメータθ、状態遷移確率φ、及びパラメータγとに基づいて、上記式（１００）、式（１０１）に従って、期待値を算出する。

ステップＳ１２４では、上記ステップＳ１２３で算出された期待値に基づいて、上記式（１０２）が最大となるように、各時刻ｋの基本周波数ｙ［ｋ］、各時刻ｋの正規分布のインデックス＾ｍ_k、及び状態系列ｓを更新する。

そして、ステップＳ１２５において、予め定められた収束判定条件を満たしたか否かを判定し、収束判定条件を満たしていない場合には、上記ステップＳ１２３へ戻る。一方、収束判定条件を満たした場合には、ステップＳ１２６において、上記ステップＳ１２４で最終的に得られた各時刻ｋの基本周波数ｙ［ｋ］を、予測対象のソース音声に対応するターゲット音声の各時刻の基本周波数の予測結果として、出力部９０により出力し、基本周波数パターン予測処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係る基本周波数パターン予測装置によれば、基本周波数パターン生成過程をモデル化した第２確率分布のパラメータθ、φを学習し、ソース音声の各時刻のスペクトル特徴量ベクトルとターゲット音声の各時刻の基本周波数との間の関係をモデル化した第１確率分布のパラメータγを、第１確率分布と第２確率分布とを用いて表される規準Ｐ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)を大きくするように学習し、予測対象のソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルから、第１確率分布と第２確率分布とを用いて表される規準Ｐ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)を大きくするように、予測対象のソース音声に対応するターゲット音声の各時刻の基本周波数を予測することにより、F₀ パターンの物理的な生成過程の制約を考慮しながらスペクトル特徴量系列に対応する最適なF₀パターンを推定することができる

［第２の実施の形態］
次に、本発明の第２の実施の形態に係る基本周波数パターン予測装置について説明する。なお、第１の実施の形態と同様の構成となる部分については同一符号を付して説明を省略する。

第２の実施の形態では、第２の確率分布が、Ｐ(ｙ，ｏ｜θ，φ)であり、パラメータθ、φを推定する方法が第１の実施の形態と異なっている。

第２の実施の形態に係る基本周波数パターン予測装置の学習部３０の第２モデルパラメータ学習部３８によるパラメータを学習する原理について説明する。

まず、関連技術３のF₀パターン生成過程モデルパラメータ推定法のパラメータ推定アルゴリズムについて説明する。

＜パラメータ推定アルゴリズム２＞
観測F₀系列ｙが与えられたもとで、モデルパラメータθとｏの事後確率Ｐ(ｏ，θ｜ｙ)の局所最適解を求める反復アルゴリズムを以下に示す。状態系列ｓを隠れ変数とし、事後確率Ｐ(ｏ，θ｜ｙ) が、

をｓについて周辺化することで得られる点に注意すると、Ｑ関数Ｑ(ｏ，θ，ｏ´，θ´)は

と置ける。ただし、

は定数項を除いて等しいことを表す。また、ｇ_b[k] = δ[k] (クロネッカーのデルタ) である。よって、Ｐ(ｓ_k = ｔ｜ｙ，ｏ´，θ´)をForward-Backward アルゴリズムにより計算するステップ、ｏとθについてＱ(ｏ，θ，ｏ´，θ´)を増加させるステップを繰り返すことで、Ｐ(ｏ，θ｜ｙ) が局所最大となる解を得ることができる。ｏはフレーズ・アクセント指令系列のペアであるため、Ｑ(ｏ，θ，ｏ´，θ´)を増加させるステップにおいては、ｏの非負制約を考慮する必要がある。ｏの非負制約を満たしながらＱ(ｏ，θ，ｏ´，θ´)を増加させるような更新則は以下により導くことができる。まず、Ｑ(ｏ，θ，ｏ´，θ´)の下界はJensen の不等式より

のように設計することができる。また、i，k，l は、

を満たす任意の変数である。従ってQ関数の下界は、

と表される。この下界関数をλ_i,k,l≧0 に関して最大化するステップとｏ に関して最大化するステップを交互に繰り返せばＱ(ｏ，θ，ｏ´，θ´)を増加させることができる。いずれのステップの更新則も解析的に求めることができ、それぞれ

で表される。以上の反復が収束したあと、続けてθを更新する。更新式は、図１の場合、

図２、３の場合、

である。これらの更新値をｏ´とθ´に代入したのちに、Ｐ(ｓ_k = ｔ｜ｙ，ｏ´，θ´)の更新を再度行い、以後同様の処理を繰り返すことで事後確率Ｐ(ｏ，θ｜ｙ)を単調増加させることができる。

以上の反復アルゴリズムが収束した後、上述したパラメータ推定アルゴリズム１のViterbi アルゴリズムにより求まる最適なｓを状態系列の推定結果とする。

また、推定された状態系列ｓから、状態遷移確率φが求められる。

以上説明した原理に従って、第２モデルパラメータ学習部３８は、基本周波数系列抽出部３４によって抽出された各時刻ｋの基本周波数y[k]に基づいて、各時刻ｋの基本周波数y[k]と、各時刻ｋにおける甲状軟骨の平行移動運動によって生じる基本周波数パターンを表すフレーズ指令ｕ_p［ｋ］及び甲状軟骨の回転運動によって生じる基本周波数パターンを表すアクセント指令ｕ_a［ｋ］のペアからなる指令関数ｏ［ｋ］との組み合わせの確率分布である第２確率分布のパラメータθ、φを学習する。

第１モデルパラメータ学習部３６は、上記第１の実施の形態と同様に、第２モデルパラメータ学習部３６で学習されたパラメータθ、φを固定して、特徴量抽出部３２によって抽出された各時刻ｋのスペクトル特徴量ベクトルc[k]と、基本周波数系列抽出部３４によって抽出された各時刻ｋの基本周波数の結合ベクトルｑ［ｋ］と、に基づいて、ＥＭ（Expectation-Maximization）アルゴリズムにより、E ステップとM ステップを繰り返すことで、ｌｏｇＰ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)を大きくするように、第１確率分布のＧＭＭのパラメータγを学習する。学習したGMM パラメータを^γとする。

変換処理部５０は、第１の実施の形態と同様に、予測対象のソース音声の時系列データを入力として、ソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、第１モデルパラメータ学習部３６によって学習された第１確率分布のパラメータγと、第２モデルパラメータ学習部３８によって学習された第２確率分布のパラメータθ、φとに基づいて、ＥＭ（Expectation-Maximization）アルゴリズムにより、E ステップとM ステップを繰り返すことで、学習処理と共通の規準であるＰ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)を大きくするように、各時刻の基本周波数ｙと、各時刻ｋのスペクトル特徴量ベクトルを生成したらしい確率が最も高い正規分布のインデックスｍ、各時刻の状態からなる状態系列ｓを推定することにより、予測対象のソース音声に対応するターゲット音声の各時刻の基本周波数ｙを予測する。

＜基本周波数パターン予測装置の作用＞

次に、第２の実施の形態に係る基本周波数パターン予測装置の作用について説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、学習サンプルのソース音声の時系列データ及びターゲット音声の時系列データからなるパラレルデータが、基本周波数パターン予測装置に入力されると、基本周波数パターン予測装置において、図１０に示す学習処理ルーチンが実行される。

まず、ステップＳ１０１において、入力されたソース音声の時系列データを読み込み、

各時刻ｋのスペクトル特徴量ベクトルｃ［ｋ］を抽出する。ステップＳ１０２において、入力されたターゲット音声の時系列データを読み込み、ターゲット音声の各時刻ｋにおける基本周波数y[k]を抽出し、また、基本周波数y[k]とその動的成分の結合ベクトルq[k]を抽出する。

ステップＳ２００では、指令系列ｏと、各時刻における状態に応じたフレーズ指令の振幅及び各アクセント指令の振幅を表すパラメータθとを初期設定する。また、ターゲット音声の時系列データに基づいて、有声区間、無声区間を特定し、各時刻ｋの基本周波数の不確かさの程度v_n ² [ｋ]を推定する。

そして、ステップＳ２０１において、上記ステップＳ２００で設定された指令系列oの初期値、または後述するステップＳ２０３で前回更新された指令系列oに基づいて、（k,t）の全ての組み合わせについて、事後確率Ｐ(s_k=t|y,o′,θ′)を更新する。

ステップＳ２０２では、上記ステップＳ２００で設定された指令系列oの初期値、または後述するステップＳ２０３で前回更新された指令系列oに基づいて、（ｋ、ｌ）の全ての組み合わせについて、上記の式（７１）に従って、補助変数λ_p,k,l、λ_a,k,l、λ_b,k,lを算出して更新する。

次のステップＳ２０３では、上記ステップＳ１０２で抽出されたされた基本周波数系列ｙと、上記ステップＳ２００で算出された各時刻ｋの不確かさの程度v_n ² [ｋ]と、上記ステップＳ２０１で更新された事後確率Ｐ(s_k=t|y,o′,θ′)と、上記ステップＳ２０２で更新された補助変数λ_p,k,l、λ_a,k,l、λ_b,k,lとに基づいて、上記式（７２）に従って、非負値である各時刻ｌのフレーズ指令ｕ_p［ｌ］及びアクセント指令ｕ_a［ｌ］からなる指令系列oとベース成分ｕ_bとを更新する。

次のステップＳ２０４では、収束条件として、繰り返し回数ｓが、Ｓに到達したか否かを判定し、繰り返し回数ｓがＳに到達していない場合には、収束条件を満足していないと判断して、上記ステップＳ２０２へ戻る。一方、繰り返し回数ｓがＳに到達した場合には、収束条件を満足したと判断し、ステップＳ２０５で、上記ステップＳ２０３で更新された各時刻ｋのフレーズ指令ｕ_p［ｋ］及びアクセント指令ｕ_a［ｋ］と、上記ステップＳ２０１で更新された事後確率Ｐ(s_k=t|y,o′,θ′)とに基づいて、上記式（７３）、式（７４）、又は式（７５）、式（７６）に従って、各時刻ｋのフレーズ指令の振幅A^(p)[k]、及び各位置ｎのアクセント指令の振幅A_a ^(a)を更新することにより、各時刻における状態に応じたフレーズ指令の振幅及び各アクセント指令の振幅を表すパラメータθを更新する。

ステップＳ２０６において、予め定められた収束判定条件を満たしたか否かを判定し、収束判定条件を満たしていない場合には、上記ステップＳ２０１へ戻る。一方、収束判定条件を満たした場合には、ステップＳ２０７において、上記ステップＳ２０３で最終的に更新された指令系列ｏに基づいて、Viterbi アルゴリズムにより、状態系列ｓを推定する。また、推定された状態系列ｓから、状態遷移確率φを求める。

そして、ステップＳ１０９では、上記ステップＳ１０１で抽出された各時刻ｋのスペクトル特徴量ベクトルc[k]と、上記ステップＳ１０２で抽出された各時刻ｋの基本周波数の結合ベクトルｑ［ｋ］と、上記ステップＳ２０５で最終的に得られたパラメータθと、上記ステップＳ２０７で得られた状態遷移確率φと、後述するステップＳ１１０で前回更新されたパラメータγとに基づいて、上記式（１００）、式（１０１）に従って、期待値を算出する。

ステップＳ１１０では、上記ステップＳ１０９で算出された期待値に基づいて、上記式（１０２）が最大となるように、パラメータγを更新する。

ステップＳ１１２において、予め定められた収束判定条件を満たしたか否かを判定し、収束判定条件を満たしていない場合には、上記ステップＳ１０９へ戻る。一方、収束判定条件を満たした場合には、ステップＳ１１３において、上記ステップＳ２０５で最終的に得られたパラメータθと、上記ステップＳ２０７で得られた状態遷移確率φと、上記ステップＳ１１０で最終的に得られたパラメータγとを、パラメータ記憶部４０に格納する。

次に、予測対象のソース音声の時系列データが、基本周波数パターン予測装置１００に入力されると、基本周波数パターン予測装置１００において、上記図９に示す基本周波数パターン予測処理ルーチンが実行され、予測対象のソース音声に対応するターゲット音声の各時刻の基本周波数の予測結果が、出力部９０により出力される。

以上説明したように、第２の実施の形態に係る基本周波数パターン予測装置によれば、基本周波数パターン生成過程をモデル化した第２確率分布のパラメータθ、φを学習し、ソース音声の各時刻のスペクトル特徴量ベクトルとターゲット音声の各時刻の基本周波数との間の関係をモデル化した第１確率分布のパラメータγを、第１確率分布と第２確率分布とを用いて表される規準Ｐ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)を大きくするように学習し、予測対象のソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルから、第１確率分布と第２確率分布とを用いて表される規準Ｐ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)を大きくするように、予測対象のソース音声に対応するターゲット音声の各時刻の基本周波数を予測することにより、F₀ パターンの物理的な生成過程の制約を考慮しながらスペクトル特徴量系列に対応する最適なF₀パターンを推定することができる

［第３の実施の形態］
次に、本発明の第３の実施の形態に係る基本周波数パターン予測装置について説明する。なお、第１の実施の形態と同様の構成となる部分については同一符号を付して説明を省略する。

第３の実施の形態では、パラメータγ、θ、φを推定する方法が第１の実施の形態と異なっている。

第３の実施の形態では、学習サンプルのF₀ パターン｛y[k]｝^K _k=1が与えられた下で、Ｐ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)ができるだけ大きくなるように、パラメータγ、θ、φを同時に学習する。

図１１に示すように、第３の実施の形態に係る基本周波数パターン予測装置の学習部３０は、特徴量抽出部３２と、基本周波数系列抽出部３４と、モデルパラメータ学習部３３６とを備えている。

モデルパラメータ学習部３３６は、特徴量抽出部３２によって抽出された各時刻ｋのスペクトル特徴量ベクトルc[k]と、基本周波数系列抽出部３４によって抽出された各時刻ｋの基本周波数の結合ベクトルｑ［ｋ］とに基づいて、ｃ、ｙの結合分布Ｐ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)ができるだけ大きくなるように、ソース音声の各時刻のスペクトル特徴量ベクトルc[k]とターゲット音声の各時刻ｋの基本周波数の結合ベクトルｑ［ｋ］との同時確率分布を表す混合正規分布である第１確率分布のパラメータγ、及び各時刻ｋの基本周波数y[k]と、隠れマルコフモデルの各時刻の状態からなる状態系列ｓとの組み合わせの確率分布である第２確率分布のパラメータθ、φを学習する。

具体的には、特徴量抽出部３２によって抽出された各時刻ｋのスペクトル特徴量ベクトルc[k]と、基本周波数系列抽出部３４によって抽出された各時刻ｋの基本周波数の結合ベクトルｑ［ｋ］とに基づいて、ＥＭ（Expectation-Maximization）アルゴリズムにより、E ステップとM ステップを繰り返すことで、ｌｏｇＰ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)を大きくするように、第１確率分布のＧＭＭのパラメータγ、及び第２確率分布のパラメータθ、φを学習する。

変換処理部５０は、第１の実施の形態と同様に、予測対象のソース音声の時系列データを入力として、ソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、モデルパラメータ学習部３３６によって学習された第１確率分布のパラメータγ、及び第２確率分布のパラメータθ、φとに基づいて、ＥＭ（Expectation-Maximization）アルゴリズムにより、E ステップとM ステップを繰り返すことで、学習処理と共通の規準であるＰ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)を大きくするように、各時刻の基本周波数ｙと、各時刻ｋのスペクトル特徴量ベクトルを生成したらしい確率が最も高い正規分布のインデックスｍ、各時刻の状態からなる状態系列ｓを推定することにより、予測対象のソース音声に対応するターゲット音声の各時刻の基本周波数ｙを予測する。

＜基本周波数パターン予測装置の作用＞
次に、第３の実施の形態に係る基本周波数パターン予測装置の作用について説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、学習サンプルのソース音声の時系列データ及びターゲット音声の時系列データからなるパラレルデータが、基本周波数パターン予測装置に入力されると、基本周波数パターン予測装置において、図１２に示す学習処理ルーチンが実行される。

まず、ステップＳ１０１において、入力されたソース音声の時系列データを読み込み、各時刻ｋのスペクトル特徴量ベクトルｃ［ｋ］を抽出する。ステップＳ１０２において、入力されたターゲット音声の時系列データを読み込み、ターゲット音声の各時刻ｋにおける基本周波数y[k]を抽出し、また、基本周波数y[k]とその動的成分の結合ベクトルq[k]を抽出する。

ステップＳ３００では、状態系列ｓと、状態系列ｓから求められるパラメータφと、各時刻における状態に応じたフレーズ指令の振幅及び各アクセント指令の振幅を表すパラメータθと、パラメータγとを初期設定する。

そして、ステップＳ３０１において、上記ステップＳ１０１で抽出された各時刻ｋのスペクトル特徴量ベクトルc[k]と、上記ステップＳ１０２で抽出された各時刻ｋの基本周波数ｙ［ｋ］、各時刻ｋの基本周波数ｙ［ｋ］から得られる各時刻ｋの基本周波数の結合ベクトルｑ［ｋ］と、初期設定された、又は後述するステップＳ３０２で前回更新されたパラメータθ、状態遷移確率φ、及びパラメータγとに基づいて、上記式（１００）、式（１０１）に従って、期待値を算出する。

ステップＳ３０２では、上記ステップＳ３０１で算出された期待値に基づいて、上記式（１０２）が最大となるように、パラメータθ、状態系列ｓ、状態系列ｓから求められる状態遷移確率φ、パラメータγを更新する。

そして、ステップＳ３０３において、予め定められた収束判定条件を満たしたか否かを判定し、収束判定条件を満たしていない場合には、上記ステップＳ３０１へ戻る。一方、収束判定条件を満たした場合には、ステップＳ１１３において、上記ステップＳ３０２で最終的に得られたパラメータθと、状態系列ｓから求められる状態遷移確率φと、パラメータγとを、パラメータ記憶部４０に格納する。

次に、予測対象のソース音声の時系列データが、基本周波数パターン予測装置１００に入力されると、基本周波数パターン予測装置１００において、上記図９に示す基本周波数パターン予測処理ルーチンが実行され、予測対象のソース音声に対応するターゲット音声の各時刻の基本周波数の予測結果が、出力部９０により出力される。

以上説明したように、第３の実施の形態に係る基本周波数パターン予測装置によれば、ソース音声の各時刻のスペクトル特徴量ベクトルとターゲット音声の各時刻の基本周波数との間の関係をモデル化した第１確率分布のパラメータγ、及び基本周波数パターン生成過程をモデル化した第２確率分布のパラメータθ、φを、第１確率分布と第２確率分布とを用いて表される規準Ｐ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)を大きくするように学習し、予測対象のソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルから、第１確率分布と第２確率分布とを用いて表される規準Ｐ(ｃ,ｙ,ｍ,ｓ｜γ,θ,φ)を大きくするように、予測対象のソース音声に対応するターゲット音声の各時刻の基本周波数を予測することにより、F₀ パターンの物理的な生成過程の制約を考慮しながらスペクトル特徴量系列に対応する最適なF₀パターンを推定することができる

＜実験＞
音声信号からスペクトル特徴量系列とF₀ パターンおよびフレーズ・アクセント指令を抽出し、スペクトル特徴量系列とフレーズ・アクセント指令系列のペアデータを用いて学習処理により上記のモデルパラメータ（GMM のパラメータ）を学習したのちに、変換処理によりスペクトル特徴量系列をフレーズ・アセント指令系列に変換する実験を行い、変換されたフレーズ・アセント指令系列が元のF₀ パターンをどの程度復元できているかを確認した。図１３にその結果の例を示す。点線が、音声信号から推定されたＦ₀パターンであり、破線が、スペクトル特徴量系列から変換されたフレーズ・アセント指令系列から得られたF₀ パターンである。スペクトル特徴量にはF₀の情報が多く含まれていないにもかかわらず概ね元のF₀ パターンを復元できていることが確認できた。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述の基本周波数パターン予測装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０ 入力部
２０ 演算部
３０ 学習部
３２ 特徴量抽出部
３４ 基本周波数系列抽出部
３６ 第１モデルパラメータ学習部
３８ 第２モデルパラメータ学習部
４０ パラメータ記憶部
５０ 変換処理部
５２ 特徴量抽出部
５４ 期待値算出部
５６ 変数更新部
５８ 収束判定部
９０ 出力部
１００ 基本周波数パターン予測装置
３３６ モデルパラメータ学習部

Claims (8)

1. 学習サンプルのソース音声の時系列データとターゲット音声の時系列データとからなるパラレルデータを入力として、前記ソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、前記ターゲット音声の時系列データから抽出される、各時刻の基本周波数とに基づいて、前記ソース音声の各時刻のスペクトル特徴量ベクトルと、前記ターゲット音声の各時刻の基本周波数との間の関係をモデル化した第１確率分布のパラメータ、及び基本周波数パターン生成過程をモデル化した第２確率分布のパラメータを、前記第１確率分布と前記第２確率分布とを用いて表される規準を大きくするように学習する学習部と、
   予測対象のソース音声の時系列データを入力として、前記予測対象のソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、前記学習部によって学習された前記第１確率分布のパラメータと前記第２確率分布のパラメータとに基づいて、前記規準を大きくするように、前記予測対象のソース音声に対応する前記ターゲット音声の各時刻の基本周波数を予測する変換処理部と、
   を含む基本周波数パターン予測装置。
2. 前記第１確率分布を、前記ソース音声の各時刻のスペクトル特徴量ベクトルと前記ターゲット音声の各時刻の基本周波数と前記基本周波数の動的成分との同時確率分布を表す混合正規分布とし、
   前記第２確率分布を、
   各時刻の基本周波数と、
   隠れマルコフモデルの各時刻の状態からなる状態系列、又は各時刻における甲状軟骨の平行移動運動によって生じる基本周波数パターンを表すフレーズ指令及び甲状軟骨の回転運動によって生じる基本周波数パターンを表すアクセント指令のペアからなる指令関数との組み合わせの確率分布とした請求項１記載の基本周波数パターン予測装置。
3. 前記規準は、以下の式で表わされる請求項２記載の基本周波数パターン予測装置。
   ただし、ｃは、前記ソース音声の各時刻のスペクトル特徴量ベクトルであり、ｙは、前記ターゲット音声の各時刻の基本周波数であり、ｍは、各時刻のスペクトル特徴量ベクトルを生成したらしい確率が最も高い正規分布のインデックスであり、ｓは、前記状態系列であり、γは、前記第１確率分布のパラメータであり、θは、各時刻における状態に応じたフレーズ指令の振幅及び各アクセント指令の振幅を表すパラメータであり、φは、状態遷移確率であり、ｑは、前記ターゲット音声の各時刻の基本周波数及び動的成分の結合ベクトルであり、ｕは、各時刻のフレーズ指令及びアクセント指令である。
4. 前記学習部は、ＥＭ（Expectation-Maximization）アルゴリズムにより、前記第２確率分布から求められる、各時刻の基本周波数と、隠れマルコフモデルの各時刻の状態からなる状態系列との尤もらしさが大きくなるように、前記第２確率分布のパラメータとして、前記状態系列の状態遷移確率、及び各時刻における状態に応じたフレーズ指令の振幅及び各アクセント指令の振幅を表すパラメータを学習するか、又は
   各時刻の基本周波数が与えられたときの、各時刻のフレーズ指令及びアクセント指令のペアからなる指令関数及び前記振幅を表すパラメータの対数事後確率を目的関数として、前記目的関数を増加させるように、前記第２確率分布のパラメータとして、前記状態系列の状態遷移確率、及び前記振幅を表すパラメータを、前記第２確率分布のパラメータとして学習する請求項１〜請求項３の何れか１項記載の基本周波数パターン予測装置。
5. 前記学習部は、前記学習された前記第２確率分布のパラメータを固定して、ＥＭ（Expectation-Maximization）アルゴリズムにより、前記規準が大きくなるように、前記第１確率分布のパラメータを学習する請求項４記載の基本周波数パターン予測装置。
6. 前記変換処理部は、
   前記予測対象のソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、前記学習部によって学習された前記第１確率分布のパラメータと前記第２確率分布のパラメータとに基づいて、ＥＭアルゴリズムにより、前記規準を大きくするように、前記予測対象のソース音声に対応する前記ターゲット音声の各時刻の基本周波数、各時刻のスペクトル特徴量ベクトルを生成したらしい確率が最も高い正規分布のインデックス、及び前記状態系列を推定することにより、前記予測対象のソース音声に対応する前記ターゲット音声の各時刻の基本周波数を予測する請求項２記載の基本周波数パターン予測装置。
7. 学習部と、変換処理部とを含む基本周波数パターン予測装置における基本周波数パターン予測方法であって、
   前記学習部が、学習サンプルのソース音声の時系列データとターゲット音声の時系列データとからなるパラレルデータを入力として、前記ソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、前記ターゲット音声の時系列データから抽出される、各時刻の基本周波数とに基づいて、前記ソース音声の各時刻のスペクトル特徴量ベクトルと、前記ターゲット音声の各時刻の基本周波数との間の関係をモデル化した第１確率分布のパラメータ、及び基本周波数パターン生成過程をモデル化した第２確率分布のパラメータを、前記第１確率分布と前記第２確率分布とを用いて表される規準を大きくするように学習し、
   前記変換処理部が、予測対象のソース音声の時系列データを入力として、前記予測対象のソース音声の時系列データから抽出される各時刻のスペクトル特徴量ベクトルと、前記学習部によって学習された前記第１確率分布のパラメータと前記第２確率分布のパラメータとに基づいて、前記規準を大きくするように、前記予測対象のソース音声に対応する前記ターゲット音声の各時刻の基本周波数を予測する
   基本周波数パターン予測方法。
8. 請求項１〜請求項６の何れか１項に記載の基本周波数パターン予測装置の各部としてコンピュータを機能させるためのプログラム。