JP5961950B2 - 音声処理装置 - Google Patents

Description

本発明は、音声を合成する技術に関する。

音声素片を示す複数の素片データを選択的に結合することで所望の音声を合成する素片接続型の音声合成技術が従来から提案されている（例えば特許文献１）。各音声素片の素片データは、特定の発声者の音声を収録して音声素片毎に区分および解析することで事前に用意される。

特開２００３−２５５９９８号公報

Alexander Kain, Michael W. Macon, "SPECTRAL VOICE CONVERSION FOR TEXT-TO-SPEECH SYNTHESIS", Proceedings of the International Conference on Acoustics, Speech, and Signal Processing, vol.1, p. 285-288, May 1998

特許文献１の技術では、合成音の声質毎（発声者毎）に個別に全種類の音声素片の素片データを事前に用意する必要がある。しかし、音声の合成に必要な全種類の音声素片を発声することは発声者にとって肉体的にも精神的にも過大な負担である。また、音声を既に収録できない発声者（例えば生存しない発声者）について音声素片が不足する場合には当該発声者の音声を合成できないという問題もある。以上の事情を考慮して、本発明は、音声素片の種類が不足する発声者の音声を合成することを目的とする。

以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。

本発明の音声処理装置は、第１発声者の音声の単位区間毎の特徴量情報（例えば特徴量情報Ｘ）の分布を、相異なる音素に対応する複数の第１確率分布（例えば正規分布ＮS₁〜ＮS_Q）の混合確率分布（例えば混合分布モデルλS(X)）で近似する第１分布生成手段（例えば第１分布生成部３４２）と、第２発声者の音声の単位区間毎の特徴量情報（例えば特徴量情報Ｙ）の分布を、相異なる音素に対応する複数の第２確率分布（例えば正規分布ＮT₁〜ＮT_Q）の混合確率分布（例えば混合分布モデルλT(Y)）で近似する第２分布生成手段（例えば第２分布生成部３４４）と、相互に対応する第１確率分布および第２確率分布の各々の統計量から、第１発声者の音声の特徴量情報を第２発声者の音声の特徴量情報に変換する変換関数（例えば変換関数Ｆ₁(X)〜Ｆ_Q(X)）を音素毎に生成する関数生成手段（例えば関数生成部３６）とを具備する。

以上の態様においては、第１発声者の音声の特徴量情報の分布を近似する複数の第１確率分布と第２発声者の音声の特徴量情報の分布を近似する複数の第２確率分布とが生成され、各音素に対応する第１確率分布の統計量と第２確率分布の統計量とを利用して、第１発声者の音声の特徴量情報を第２発声者の音声の特徴量情報に変換する変換関数が音素毎に生成される。変換関数の生成には、第1発声者の音声の特徴量情報と第２発声者の音声の特徴量情報との相関（例えば線形関係）が仮定される。以上の構成によれば、第２発声者の収録済の音声が全種類の音素連鎖（例えばダイフォンやトライフォン）を含まない場合でも、第１発声者の音声素片（特に音素連鎖）の特徴量情報に各音素の変換関数を適用することで第２発声者の当該音声素片の音声を生成することが可能である。なお、以上の説明から理解されるように、本発明は、第２発声者の収録済の音声が全種類の音素連鎖を含まない場合に格別に有効であるが、第２発声者の全種類の音素連鎖が収録済である場合でも、第１発声者の音声から同様の方法で第２発声者の音声を生成することも可能である。

なお、第１発声者と第２発声者との区別は、発声音の特性の相違（第１発声者の発声音と第２発声者の発声音とで特性が相違すること）を意味し、第１発声者と第２発声者との異同（別人／同一人）は不問である。変換関数は、第１発声者の音声の特徴量情報と第２発声者の音声の特徴量情報との相関を規定する関数（第１発声者の音声の特徴量情報から第２発声者の音声の特徴量情報への写像）を意味する。変換関数の生成に利用される第１確率分布および第２確率分布の各々の統計量は、変換関数の内容に応じて適宜に選定され得る。例えば各確率分布の平均や共分散が、変換関数の生成に使用される統計量として好適である。

本発明の好適な態様の音声処理装置は、第１発声者および第２発声者の各々の音声について、音声の周波数領域の包絡線における各ピークの高さを各々の粗密で表現する線スペクトルの周波数を示す複数の係数値を含む特徴量情報を取得する特徴量取得手段（例えば特徴量取得部３２）を具備し、第１分布生成手段および第２分布生成手段の各々は、特徴量取得手段が取得した特徴量情報に対応する混合確率分布を生成する。以上の態様においては、第１素片データの音声の包絡線の各ピークの高さを各々の粗密で表現する線スペクトルの周波数を示す複数の係数値を利用して、音声の包絡線を正確に表現できるという利点がある。

特徴量取得手段は、例えば、第１発声者および第２発声者の各々の音声について周波数スペクトルのピーク間の補間（例えば３次スプライン補間）で包絡線を生成する包絡線生成手段（例えば処理Ｓ13）と、包絡線を近似する自己回帰モデルを推定するとともに当該自己回帰モデルに応じて複数の係数値を設定する特徴量特定手段（例えば処理Ｓ16および処理Ｓ17）とを含む。以上の態様によれば、周波数スペクトルのピーク間の補間で生成された包絡線を近似する自己回帰モデルに応じて特徴量情報の複数の係数値が設定されるから、例えば第１発声者および第２発声者の各々の音声の標本化周波数が高い場合でも、包絡線を正確に表現する特徴量情報が生成されるという利点がある。

本発明の好適な態様において、Ｑ個の音素のうち第ｑ番目（ｑ＝１〜Ｑ）の音素に対応する変換関数は、複数の第１確率分布のうち当該音素に対応する第１確率分布の平均μ_q ^Xおよび共分散Σ_q ^XXと、複数の第２確率分布のうち当該音素に対応する第２確率分布の平均μ_q ^Yおよび共分散Σ_q ^YYと、第１発声者の音声の特徴量情報Ｘとを含む数式｛μ_q ^Y＋（Σ_q ^YY(Σ_q ^XX)^-1）^1/2（Ｘ−μ_q ^X）｝を含んで構成される。以上の構成によれば、第１発声者の音声の特徴量情報と第２発声者の音声の特徴量情報との相互共分散（Σ_q ^YX）が不要であるから、第１発声者の特徴量情報と第２発声者の特徴量情報との時間的な対応が不明な場合でも変換関数を適切に生成することが可能である。なお、以上の数式は、第１発声者の音声の特徴量情報Ｘと第２発声者の音声の特徴量情報Ｙとについて線形関係（Ｙ＝ａＸ＋ｂ）を仮定することで音素毎に導出される。

本発明の好適な態様において、Ｑ個の音素のうち第ｑ番目（ｑ＝１〜Ｑ）の音素に対応する変換関数は、複数の第１確率分布のうち当該音素に対応する第１確率分布の平均μ_q ^Xおよび共分散Σ_q ^XXと、複数の第２確率分布のうち当該音素に対応する第２確率分布の平均μ_q ^Yおよび共分散Σ_q ^YYと、第１発声者の音声の特徴量情報Ｘと、調整係数ε（０＜ε＜１）とを含む数式｛μ_q ^Y＋ε（Σ_q ^YY(Σ_q ^XX)^-1）^1/2（Ｘ−μ_q ^X）｝を含んで構成される。以上の構成によれば、第１発声者の音声の特徴量情報と第２発声者の音声の特徴量情報との相互共分散（Σ_q ^YX）が不要であるから、第１発声者の特徴量情報と第２発声者の特徴量情報との時間的な対応が不明な場合でも変換関数を適切に生成することが可能である。また、｛（Σ_q ^YY(Σ_q ^XX)^-1）^1/2｝が調整係数εで調整されるから、第２発声者について高品位な音声を合成可能な変換関数を生成できるという利点もある。なお、以上の数式は、第１発声者の音声の特徴量情報Ｘと第２発声者の音声の特徴量情報Ｙとについて線形関係（Ｙ＝ａＸ＋ｂ）を仮定することで音素毎に導出される。調整係数εは、例えば0.5以上かつ0.7以下の範囲内の数値に設定され、特に好適には0.6に設定される。

本発明の好適な態様に係る音声処理装置は、第１発声者の音声を示す第１素片データ（例えば素片データＤS）を音声素片毎に記憶する記憶手段（例えば記憶装置１４）と、各音声素片に対応する第１素片データが示す音声の特徴量情報に対して、関数生成手段が生成した複数の変換関数のうち当該音声素片に対応する変換関数を適用することで、第２発声者の音声の第２素片データ（例えば素片データＤT）を順次に生成する声質変換手段（例えば声質変換部２４）とを具備する。以上の態様によれば、第２発声者に類似（理想的には合致）する声質で第１素片データの音声素片を発声した音声に対応する第２素片データが生成される。なお、音声合成の実行前に声質変換手段が各音声素片の第２素片データを予め作成する構成や、音声合成に必要な第２素片データを声質変換手段が音声合成に並行して逐次的（実時間的）に作成する構成が採用され得る。

本発明の好適な態様において、声質変換手段は、第１素片データが第１音素（例えば音素ρ1）と第２音素（例えば音素ρ2）とを示す場合に、第１音素と第２音素との境界（例えば境界Ｂ）を含む補間区間（例えば補間区間ＴIP）内において第１音素の変換関数（例えば変換関数Ｆ_q1(X)）から第２音素の変換関数（例えば変換関数Ｆ_q2(X)）に段階的に変化するように、当該補間区間内の各単位区間の特徴量情報に適用される変換関数を補間する。以上の態様においては、第１素片データの音素の境界の近傍の特徴量情報に適用される変換関数が補間区間内で段階的に変化するように第１音素の確率関数と第２音素の変換関数とが補間されるから、相前後する音素の特性（例えば周波数スペクトルの包絡線）が円滑に連続する自然な合成音を第２素片データから生成できるという利点がある。なお、以上の態様の具体例は、例えば第２実施形態として後述される。

本発明の好適な態様において、声質変換手段は、各第１素片データが示す音声の周波数領域の包絡線における各ピークの高さを各々の粗密で表現する線スペクトルの周波数を示す複数の係数値を含む特徴量情報を取得する特徴量取得手段（例えば特徴量取得部４２）と、特徴量取得手段が取得した特徴量情報に変換関数を適用する変換処理手段（例えば変換処理部４４）と、変換処理手段による変換後の特徴量情報に対応する第２素片データを生成する素片データ生成手段（例えば素片データ生成部４６）とを含む。以上の態様においては、第１素片データの音声の包絡線の各ピークの高さを各々の粗密で表現する線スペクトルの周波数を示す複数の係数値を利用して、音声の包絡線を正確に表現できるという利点がある。

以上の態様の好適例に係る音声処理装置は、変換処理手段による変換後の特徴量情報の各係数値を補正する係数補正手段（例えば係数補正部４８）を具備し、素片データ生成手段は、係数補正手段による補正後の特徴量情報に対応する素片データを生成する。以上の態様においては、変換関数を利用した変換後の特徴量情報の各係数値を係数補正手段が補正するから、例えば変換関数による変換の影響（例えば各係数値の分散の低減）が抑制されるように各係数値を補正することで、聴感的に自然な印象の合成音を生成することが可能である。なお、以上の態様の具体例は、例えば第３実施形態として後述される。

本発明の好適な態様の係数補正手段は、所定の範囲の外側にある係数値を当該範囲の内側の数値に変更する第１補正手段（例えば第１補正部４８１）を含む。また、係数補正手段は、相互に隣合う各線スペクトルに対応する各係数値の差分が所定値を下回る場合に、当該差分が増加するように各係数値を補正する第２補正手段（例えば第２補正部４８２）を含む。以上の態様によれば、相互に隣合う各係数値の差分が過度に小さい場合に当該差分が第２補正手段による補正で拡大するから、特徴量情報が表現する包絡線における過剰なピークが抑制されるという利点がある。

また、本発明の好適な態様の係数補正手段は、次数毎の係数値の時系列における分散が増加するように各係数値を補正する第３補正手段（例えば第３補正部４８３）を含む。以上の態様においては、次数毎の係数値の分散が第３補正手段による補正で増加するから、特徴量情報が表現する包絡線に適度なピークを発生させることが可能である。

以上の各態様に係る音声処理装置は、ＤＳＰ（Digital Signal Processor）等の専用の電子回路で実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働でも実現される。本発明の音声処理装置の各要素（各手段）としてコンピュータを機能させるプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

本発明の第１実施形態の音響処理装置のブロック図である。 関数特定部のブロック図である。 特徴量情報を取得する動作の説明図である。 特徴量取得部の動作の説明図である。 包絡線を生成する処理（補間）の説明図である。 声質変換部のブロック図である。 音声合成部のブロック図である。 第２実施形態における声質変換部のブロック図である。 補間部の動作の説明図である。 第３実施形態における声質変換部のブロック図である。 係数補正部のブロック図である。 第２補正部の動作の説明図である。 各次数の係数値の時系列と包絡線との関係の説明図である。 第３補正部の動作の説明図である。 第４実施形態における調整係数と特徴量情報の分布範囲との説明図である。 調整係数とＭＯＳとの関係を示すグラフである。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音声処理装置１００のブロック図である。音声処理装置１００は、所望の歌唱音を合成する音声合成装置（歌唱合成装置）であり、図１に示すように、演算処理装置１２と記憶装置１４とを具備するコンピュータシステムで実現される。

記憶装置１４は、演算処理装置１２が実行するプログラムＰGMや演算処理装置１２が使用する各種のデータ（素片群ＧS，音声信号ＶT）を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１４として任意に利用される。

素片群ＧSは、相異なる音声素片に対応する複数の素片データＤSの集合（音声合成の素材となる音声合成用ライブラリ）である。素片群ＧSの各素片データＤSは、発声者ＵS（Ｓ：source）の音声波形の特徴を示す時系列データである。音声素片は、言語上の意味の区別の最小単位（例えば母音や子音）に相当する１個の音素（monophone）、または複数の音素を連結した音素連鎖（diphone，triphone）である。以上のように単独の音素に加えて音素連鎖を含む素片データＤSを利用することで聴感的に自然な音声の合成が実現される。素片データＤSは、音声合成に必要な全種類（例えば日本語の音声を合成する場合には500個程度、英語の音声を合成する場合には2000個程度）の音声素片について事前に用意される。以下の説明では音声素片のうち単独の音素の種類数をＱ種類とし、素片群ＧSを構成する複数の素片データＤSのうちＱ種類の音素に対応する各素片データＤSを、音素連鎖の素片データＤSと区別する意味で特に「音素データＰS」と表記する場合がある。

音声信号ＶTは、発声者ＵSとは声質が相違する発声者ＵT（Ｔ：target）の音声の時間波形を示す時系列データである。音声信号ＶTは、全種類（Ｑ種類）の音素（monophone）の波形を含んで構成される。ただし、音声信号ＶTの音声は、音声合成（素片データの採取）を目的として発声された音声ではないから、音素連鎖（diphone，triphone）の全種類を含むわけではない。したがって、素片群ＧSの素片データＤSと同等数の素片データを音声信号ＶTのみから直接的に抽出することはできない。なお、素片データＤSと素片データＤTとは、別個の発声者が発声した各音声のほか、ひとりの発声者が相異なる声質で発声した各音声からも生成され得る。すなわち、発声者ＵSと発声者ＵTとは同一の人物であり得る。

なお、本実施形態の素片データＤSおよび音声信号ＶTは、音声の時間波形を所定の周波数Ｆsで標本化した数値列で構成される。高品位な音声の合成を実現するために、素片データＤSや音声信号ＶTの生成時の標本化周波数Ｆsは高い周波数（例えば一般的な音楽用ＣＤと同等の44.1kHz）に設定される。

図１の演算処理装置１２は、記憶装置１４に格納されたプログラムＰGMの実行で複数の機能（関数特定部２２，声質変換部２４，音声合成部２６）を実現する。関数特定部２２は、発声者ＵSの素片群ＧS（素片データＤS）と発声者ＵTの音声信号ＶTとを利用してＱ種類の音素の各々について変換関数Ｆ₁(X)〜Ｆ_Q(X)を特定する。変換関数Ｆ_q(X)（ｑ＝１〜Ｑ）は、発声者ＵSの声質の音声を発声者ＵTの声質の音声に変換するための写像関数である。

図１の声質変換部２４は、関数特定部２２が生成した各変換関数Ｆ_q(X)を素片群ＧSの各素片データＤSに適用することで素片データＤSと同数（すなわち、音声合成に必要な全種類の音声素片に対応する個数）の素片データＤTを生成する。素片データＤTは、発声者ＵTの声質に近似（理想的には合致）する音声波形の特徴を示す時系列データである。声質変換部２４が生成した複数の素片データＤTの集合は素片群ＧT（音声合成用ライブラリ）として記憶装置１４に格納される。

音声合成部２６は、記憶装置１４内の各素片データＤSに応じた発声者ＵSの音声を示す音声信号ＶSYNや、声質変換部２４が生成した各素片データＤTに応じた発声者ＵTの音声を示す音声信号ＶSYNを合成する。関数特定部２２と声質変換部２４と音声合成部２６との具体的な構成や動作を以下に説明する。

＜関数特定部２２＞
図２は、関数特定部２２のブロック図である。図２に示すように、関数特定部２２は、特徴量取得部３２と第１分布生成部３４２と第２分布生成部３４４と関数生成部３６とを含んで構成される。図３に示すように、特徴量取得部３２は、発声者ＵSが発声した音素（音素データＰS）の単位区間ＴF毎の特徴量情報Ｘと、発声者ＵTが発声した音素（音声信号ＶT）の単位区間ＴF毎の特徴量情報Ｙとを生成する。第１に、特徴量取得部３２は、素片群ＧSの複数の素片データＤSのうちＱ個の音素(monophone)に対応する各音素データＰSについて単位区間ＴF（フレーム）毎に特徴量情報Ｘを生成する。第２に、特徴量取得部３２は、音声信号ＶTを時間軸上で音素毎に区分して各音素の波形を示す時系列データ（以下「音素データＰT」という）を抽出し、各音素データＰTについて単位区間ＴF毎に特徴量情報Ｙを生成する。音声信号ＶTを音素毎に区分する処理には公知の技術が任意に採用される。なお、素片データＤSとは別個に収録された発声者ＵSの音声信号から単位区間ＴF毎に特徴量情報Ｘを生成する構成も採用され得る。

図４は、特徴量取得部３２の動作の説明図である。素片群ＧS内の各音素データＰSから特徴量情報Ｘを生成する場合を以下では想定する。図４に示すように、特徴量取得部３２は、周波数分析（Ｓ11，Ｓ12）と包絡線生成（Ｓ13，Ｓ14）と特徴量特定（Ｓ15〜Ｓ17）とを、各音素データＰSの単位区間ＴF毎に順次に実行して特徴量情報Ｘを生成する。

図４の処理を開始すると、特徴量取得部３２は、音素データＰSの単位区間ＴFに対する周波数解析（例えば短時間フーリエ変換）で周波数スペクトルＳPを算定する（Ｓ11）。各単位区間ＴFの時間長や位置は、音素データＰSが示す音声の基本周波数に応じて可変に設定される（ピッチ同期分析）。図５に破線で図示されるように、処理Ｓ11で算定される周波数スペクトルＳPには調波成分（基音成分および倍音成分）に対応する複数のピークが存在する。特徴量取得部３２は、周波数スペクトルＳPの複数のピークを検出する（Ｓ12）。

特徴量取得部３２は、図５に実線で図示されるように、処理Ｓ12で検出した各ピーク（調波成分）間を補間することで包絡線ＥNVを特定する（Ｓ13）。処理Ｓ13での補間には、例えば３次スプライン補間等の公知の曲線補間技術が好適に採用される。そして、特徴量取得部３２は、補間で生成された包絡線ＥNVの周波数をメル周波数に変換（メル尺度化）することで低域成分を強調する（Ｓ14）。なお、処理Ｓ14は省略され得る。

特徴量取得部３２は、処理Ｓ14の実行後の包絡線ＥNVに対して逆フーリエ変換を実行することで自己相関関数を算定し（Ｓ15）、包絡線ＥNVを近似する自己回帰モデル（全極型伝達関数）を処理Ｓ15の自己相関関数から推定する（Ｓ16）。処理Ｓ16の自己回帰（ＡＲ：autoregressive）モデルの推定には例えばYule-Walker方程式が好適に利用される。処理Ｓ16で推定された自己回帰モデルの係数（自己回帰係数）を変換して得られるＫ個の係数値（線スペクトル周波数）Ｌ[1]〜Ｌ[K]を要素とするＫ次元のベクトルが特徴量情報Ｘとして生成される（Ｓ17）。

係数値Ｌ[1]〜Ｌ[K]は、自己回帰モデルのＫ個の線スペクトルの各々の周波数（ＬＳＦ：Line Spectral Frequency）に相当する。すなわち、処理Ｓ16の自己回帰モデルで近似される包絡線ＥNVの各ピークの高低に応じて、相互に隣合う線スペクトルの間隔（粗密）が変化するように、各線スペクトルに対応する係数値Ｌ[1]〜Ｌ[K]が設定される。具体的には、周波数（メル周波数）軸上で相互に隣合う係数値Ｌ[k-1]と係数値Ｌ[k]との差異（すなわち線スペクトルの間隔）が小さいほど包絡線ＥNVのピークが高いことを意味する。なお、処理Ｓ16で推定される自己回帰モデルの次数Ｋは、標本化周波数Ｆsと素片データＤSおよび音声信号ＶTの基本周波数の最小値Ｆ0minとに応じて設定され、具体的には所定値（Ｆs／(２・Ｆ0min)）を下回る範囲内の最大値（例えばＫ＝50〜70）に設定される。

以上の処理（Ｓ11〜Ｓ17）が反復されることで各音素データＰSの単位区間ＴF毎に特徴量情報Ｘが生成される。また、特徴量取得部３２は、以上に説明した周波数分析（Ｓ11，Ｓ12）と包絡線生成（Ｓ13，Ｓ14）と特徴量特定（Ｓ15〜Ｓ17）とを、音声信号ＶTから音素毎に抽出した各音素データＰTの各単位区間ＴFについても同様に実行する。したがって、Ｋ個の係数値Ｌ[1]〜Ｌ[K]を要素とするＫ次元のベクトルが特徴量情報Ｙとして単位区間ＴF毎に生成される。特徴量情報Ｙ（係数値Ｌ[1]〜Ｌ[K]）は、各音素データＰTが示す発声者ＵTの音声の周波数スペクトルＳPの包絡線ＥNVを表現する。

ところで、包絡線ＥNVを表現する方法としては公知の線形予測分析（ＬＰＣ：Linear Prediction Coding）も採用され得る。ただし、線形予測分析のもとで分析次数を大きい数値に設定すると、分析対象（素片データＤS，音声信号ＶT）の標本化周波数Ｆsが高い場合に、各ピークが過度に強調された包絡線（すなわち現実との乖離が大きい包絡線）ＥNVが推定されるという傾向がある。他方、前述のように各ピークの補間（Ｓ13）と自己回帰モデルの推定（Ｓ16）とで包絡線ＥNVを近似する本実施形態の構成によれば、分析対象の標本化周波数Ｆsが高い場合（例えば前述の44.1kHz）でも包絡線ＥNVを正確に表現できるという利点がある。

図２の第１分布生成部３４２は、特徴量取得部３２が取得した特徴量情報Ｘの分布を近似する混合分布モデルλS(X)を推定する。本実施形態の混合分布モデルλS(X)は、以下の数式(1)で定義される正規混合分布モデル（ＧＭＭ：Gaussian Mixture Model）である。音素が共通する複数の特徴量情報Ｘは空間内の特定の位置に偏在するから、混合分布モデルλS(X)は、相異なる音素に対応する合計Ｑ個の正規分布ＮS₁〜ＮS_Qの加重和（線形結合）として表現される。なお、混合分布モデルλS(X)は、複数の正規分布で規定されるモデルという意味で“マルチガウシアンモデル（Multi Gaussian Model：MGM）”とも換言され得る。

数式(1)の記号ω_q ^Xは第ｑ番目（ｑ＝１〜Ｑ）の正規分布ＮS_qの加重値を意味する。また、数式(1)の記号μ_q ^Xは正規分布ＮS_qの平均（平均ベクトル）を意味し、記号Σ_q ^XXは正規分布ＮS_qの共分散（自己共分散）を意味する。第１分布生成部３４２は、ＥＭ（Expectation - Maximization）アルゴリズム等の反復型の最尤推定アルゴリズムを実行することで、数式(1)の混合分布モデルλS(X)の各正規分布ＮS_qの変数（加重値ω₁ ^X〜ω_Q ^X，平均μ₁ ^X〜μ_Q ^X，共分散Σ₁ ^XX〜Σ_Q ^XX）を算定する。

図２の第２分布生成部３４４は、第１分布生成部３４２と同様に、特徴量取得部３２が取得した特徴量情報Ｙの分布を近似する混合分布モデルλT(Y)を推定する。前述の混合分布モデルλS(X)と同様に、混合分布モデルλT(Y)は、相異なる音素に対応するＱ個の正規分布ＮT₁〜ＮT_Qの加重和（線形結合）として表現される数式(2)の正規混合分布モデル（ＧＭＭ）である。

数式(2)の記号ω_q ^Yは第ｑ番目の正規分布ＮT_qの加重値を意味する。また、数式(2)の記号μ_q ^Yは正規分布ＮT_qの平均を意味し、記号Σ_q ^YYは正規分布ＮT_qの共分散（自己共分散）を意味する。第２分布生成部３４４は、公知の最尤推定アルゴリズムを実行することで数式(2)の混合分布モデルλT(Y)の各変数（加重値ω₁ ^Y〜ω_Q ^Y，平均μ₁ ^Y〜μ_Q ^Y，共分散Σ₁ ^YY〜Σ_Q ^YY）を算定する。

図２の関数生成部３６は、発声者ＵSの音声を発声者ＵTの声質の音声に変換する変換関数Ｆ_q(X)（Ｆ₁(X)〜Ｆ_Q(X)）を混合分布モデルλS(X)（平均μ_q ^X，共分散Σ_q ^XX）および混合分布モデルλT(Y)（平均μ_q ^Y，共分散Σ_q ^YY）を利用して生成する。非特許文献１には、以下の数式(3)の変換関数Ｆ(X)が記載されている。

数式(3)の確率項ｐ(c_q|X)は、特徴量情報ＸがＱ個の正規分布ＮS₁〜ＮS_Qのうちの第ｑ番目の正規分布ＮS_qに属する確率（条件付確率）を意味し、例えば以下の数式(3A)で表現される。

数式(3)のうち第ｑ番目の正規分布（ＮS_q，ＮT_q）に対応する部分に着目すると、第ｑ番目の音素に対応する以下の数式(4)の変換関数Ｆ_q(X)が導出される。

数式(3)および数式(4)の記号Σ_q ^YXは、特徴量情報Ｘと特徴量情報Ｙとの相互共分散である。非特許文献１には、時間軸上で相対応する特徴量情報Ｘと特徴量情報Ｙとで構成される多数の結合ベクトルから共分散Σ_q ^YXを算定することが記載されている。しかし、本実施形態では特徴量情報Ｘと特徴量情報Ｙとの時間的な対応が不明である。そこで、第ｑ番目の音素に対応する特徴量情報Ｘと特徴量情報Ｙとの間に以下の数式(5)の線形関係が成立すると仮定する。

数式(5)の関係のもとでは、特徴量情報Ｘの平均μ_q ^Xと特徴量情報Ｙの平均μ_q ^Yとについて以下の数式(6)の関係が成立する。

数式(4)の共分散Σ_q ^YXは、数式(5)および数式(6)を利用して以下の数式(7)のように変形される。なお、記号Ｅ[ ]は、複数の単位区間ＴFにわたる平均（期待値）を意味する。

したがって、数式(4)は以下の数式(4A)に変形される。

他方、特徴量情報Ｙの共分散Σ_q ^YYは、数式(5)および数式(6)の関係を利用すると以下の数式(8)で表現される。

したがって、数式(4A)の係数ａ_qを定義する以下の数式(9)が導出される。

図２の関数生成部３６は、第１分布生成部３４２が算定した平均μ_q ^Xおよび共分散Σ_q ^XX（すなわち混合分布モデルλS(X)に関する統計量）と第２分布生成部３４４が算定した平均μ_q ^Yおよび共分散Σ_q ^YY（すなわち混合分布モデルλT(X)に関する統計量）とを数式(4A)および数式(9)に適用することで、音素毎の変換関数Ｆ_q(X)（Ｆ₁(X)〜Ｆ_Q(X)）を生成する。なお、以上に説明した変換関数Ｆ_q(X)の生成後には、記憶装置１４の音声信号ＶTは消去され得る。

＜声質変換部２４＞
図１の声質変換部２４は、関数特定部２２が生成した各変換関数Ｆ_q(X)を素片データＤSに適用して素片データＤTを生成する処理を、素片群ＧS内の各素片データＤSについて反復することで素片群ＧTを生成する。各音声素片の素片データＤSから生成される素片データＤTの音声は、当該音声素片を発声者ＵTに類似（理想的には合致）する声質で発声した音声に相当する。図６は、声質変換部２４のブロック図である。図６に示すように、声質変換部２４は、特徴量取得部４２と変換処理部４４と素片データ生成部４６とを含んで構成される。

特徴量取得部４２は、素片群ＧS内の各素片データＤSの単位区間ＴF毎に特徴量情報Ｘを生成する。特徴量取得部４２が生成する特徴量情報Ｘは、前述の特徴量取得部３２が生成する特徴量情報Ｘと同様である。すなわち、特徴量取得部４２は、関数特定部２２の特徴量取得部３２と同様に、図４の処理を実行することで素片データＤSの単位区間ＴF毎に特徴量情報Ｘを生成する。したがって、特徴量取得部４２が生成する特徴量情報Ｘは、素片データＤSの周波数スペクトルＳPの包絡線ＥNVを近似する自己回帰モデルの各係数（自己回帰係数）を表現するＫ個の係数値（線スペクトル周波数）Ｌ[1]〜Ｌ[K]で構成されるＫ次元のベクトルである。

図６の変換処理部４４は、特徴量取得部４２が単位区間ＴF毎に生成する特徴量情報Ｘについて数式(4A)の変換関数Ｆ_q(X)の演算を実行することで、単位区間ＴF毎に特徴量情報ＸTを生成する。各単位区間ＴFの特徴量情報Ｘには、Ｑ個の変換関数Ｆ₁(X)〜Ｆ_Q(X)のうち当該単位区間ＴFの音素に対応する１個の変換関数Ｆ_q(X)が適用される。したがって、単独の音素で構成される音声素片の素片データＤSについては各単位区間ＴFの特徴量情報Ｘに共通の変換関数Ｆ_q(X)が適用される。他方、複数の音素で構成される音声素片（音素連鎖）の素片データＤSについては、各単位区間ＴFの特徴量情報Ｘに対して音素毎に別個の変換関数Ｆ_q(X)が適用される。例えば第１音素と第２音素とで構成される音素連鎖（diphone）の素片データＤSについては、第１音素に対応する各単位区間ＴFの特徴量情報Ｘには変換関数Ｆ_q1(X)が適用され、第２音素に対応する各単位区間ＴFの特徴量情報Ｘには変換関数Ｆ_q2(X)が適用される（ｑ1≠ｑ2）。変換処理部４４が生成する特徴量情報ＸTは、変換前の特徴量情報Ｘと同様に、Ｋ個の係数値（線スペクトル周波数）ＬT[1]〜ＬT[K]を要素とするＫ次元のベクトルであり、素片データＤSが示す発声者ＵSの音声の声質を発声者ＵTの声質に変換した音声（すなわち素片データＤSの音声素片を発声者ＵTが発声した音声）の周波数スペクトルの包絡線ＥNV_Tを表現する。

素片データ生成部４６は、変換処理部４４が単位区間ＴF毎に生成した特徴量情報ＸTに対応する素片データＤTを順次に生成する。図６に示すように、素片データ生成部４６は、差分生成部４６２と加工処理部４６４とを含んで構成される。差分生成部４６２は、特徴量取得部４２が素片データＤSから生成した特徴量情報Ｘで表現される包絡線ＥNVと、変換処理部４４による変換後の特徴量情報ＸTで表現される包絡線ＥNV_Tとの差分ΔＥ（ΔＥ＝ＥNV−ＥNV_T）を生成する。すなわち、差分ΔＥは、発声者ＵSと発声者ＵTとの声質（周波数スペクトルの包絡線）の相違に相当する。

加工処理部４６４は、素片データＤSの周波数スペクトルＳPと差分生成部４６２が生成した差分ΔＥとの合成（例えば加算）で周波数スペクトルＳP_T（ＳP_T＝ＳP＋ΔＥ）を生成する。以上の説明から理解されるように、周波数スペクトルＳP_Tは、素片データＤSが示す音声素片を発声者ＵTが発声した音声の周波数スペクトルに相当する。加工処理部４６４は、合成後の周波数スペクトルＳP_Tを逆フーリエ変換で時間領域の素片データＤTに変換する。以上の処理が素片データＤS毎（音声素片毎）に実行されることで素片群ＧTが生成される。

＜音声合成部２６＞
図７は、音声合成部２６のブロック図である。図７の楽譜情報（スコアデータ）ＳCは、合成対象となる各指定音の音符（音高，継続長）と歌詞（発音文字）とを時系列に指定する情報であり、利用者からの指示（各指定音の追加や編集の指示）に応じて作成されて記憶装置１４に格納される。図７に示すように、音声合成部２６は、素片選択部５２と合成処理部５４とを含んで構成される。

素片選択部５２は、楽譜情報ＳCで指定される歌詞（発音文字）に対応する音声素片の素片データＤ（ＤS，ＤT）を記憶装置１４から順次に選択する。利用者は、発声者ＵS（素片群ＧS）および発声者ＵT（素片群ＧT）の何れかを指定して音声の合成を指示することが可能である。利用者が発声者ＵSを指定した場合、素片選択部５２は、素片群ＧSから素片データＤSを選択する。他方、利用者が発声者ＵTを指定した場合、素片選択部５２は、声質変換部２４が生成した素片群ＧTから素片データＤTを選択する。

合成処理部５４は、素片選択部５２が順次に選択する素片データＤ（ＤS，ＤT）を楽譜情報ＳCの各指定音の音高や継続長に調整して相互に連結することで音声信号ＶSYNを生成する。音声合成部２６が生成した音声信号ＶSYNは例えばスピーカ等の放音機器に供給されて音波として再生される。したがって、利用者が指定した発声者（ＵS，ＵT）が楽譜情報ＳCの各指定音の歌詞を発声した歌唱音が再生される。

以上の形態においては、特徴量情報Ｘと特徴量情報Ｙとの線形関係（数式(5)）の仮定のもと、発声者ＵSの音声の特徴量情報Ｘの分布を近似する各正規分布ＮS_qの平均μ_q ^Xおよび共分散Σ_q ^XXと、発声者ＵTの音声の特徴量情報Ｙの分布を近似する各正規分布ＮT_qの平均μ_q ^Yおよび共分散Σ_q ^YYとを利用して音素毎の変換関数Ｆ_q(X)が生成される。そして、各音声素片の素片データＤSに当該音声素片の音素に対応する変換関数Ｆ_q(X)を適用することで素片データＤT（素片群ＧT）が生成される。以上の構成によれば、発声者ＵTについて全種類の音声素片が存在しない場合でも素片群ＧSの素片データＤSと同数の素片データＤTが生成される。したがって、発声者ＵTの負担を軽減することが可能である。また、発声者ＵTの音声を収録できない状況（例えば発声者ＵTが生存していない場合）でも、発声者ＵTの各音素の音声信号ＶTさえ収録されていれば、全種類の音声素片に対応する素片データＤTを生成できる（発声者ＵTの任意の発声音を合成できる）という利点もある。

＜Ｂ：第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各態様において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

数式(4A)の変換関数Ｆ_q(X)は音素毎（変換関数Ｆ_q(X)毎）に相違するから、相連続する複数の音素（音素連鎖）の素片データＤSから声質変換部２４（変換処理部４４）が素片データＤTを生成する場合、相前後する各音素の境界の時点で変換関数Ｆ_q(X)が不連続に変化する。したがって、変換後の素片データＤTが示す音声の特性（例えば周波数スペクトルの包絡線）が各音素の境界の時点にて急激に変化し、素片データＤTを利用して生成された合成音が聴感的に不自然な印象となる可能性がある。第２実施形態は、以上の問題の低減を目的とした形態である。

図８は、第２実施形態の声質変換部２４のブロック図である。図８に示すように、第２実施形態の声質変換部２４の変換処理部４４は補間部４４２を含んで構成される。補間部４４２は、素片データＤSが音素連鎖を示す場合に、各単位区間ＴFの特徴量情報Ｘに適用される変換関数Ｆ_q(X)を補間する。

例えば、図９に示すように素片データＤSが音素ρ1と音素ρ2とを示す場合を想定する。素片データＤTの生成には音素ρ1の変換関数Ｆ_q1(X)と音素ρ2の変換関数Ｆ_q2(X)とが利用される。図９には、音素ρ1と音素ρ2との境界Ｂを含む補間区間ＴIPが図示されている。補間区間ＴIPは、例えば境界Ｂの直前の所定個（例えば10個）の単位区間ＴFと境界Ｂの直後の所定個（例えば10個）の単位区間ＴFとで構成される区間である。

図８の補間部４４２は、補間区間ＴIP内の各単位区間ＴFの特徴量情報Ｘに適用される変換関数Ｆ_q(X)が、補間区間ＴIPの始点から終点にかけて変換関数Ｆ_q1(X)から変換関数Ｆ_q2(X)に単位区間ＴF毎に段階的に変化するように、補間区間ＴIP内の各単位区間ＴFの変換関数Ｆ_q(X)を、音素ρ1の変換関数Ｆ_q1(X)と音素ρ2の変換関数Ｆ_q2(X)との補間で算定する。補間部４４２による補間の方法は任意であるが、例えば直線補間が好適である。

図８の変換処理部４４は、補間区間ＴIPの外側の各単位区間ＴFの特徴量情報Ｘには第１実施形態と同様に当該単位区間ＴFの音素に対応する変換関数Ｆ_q(X)を適用し、補間区間ＴIP内の各単位区間ＴFの特徴量情報Ｘには補間部４４２による補間後の変換関数Ｆ_q(X)を適用することで、単位区間ＴF毎に特徴量情報ＸTを生成する。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、素片データＤSの音素の境界Ｂの近傍の特徴量情報Ｘに適用される変換関数Ｆ_q(X)が補間区間ＴIP内で段階的に変化するように補間部４４２が変換関数Ｆ_q(X)を補間するから、相前後する音素の特性（例えば包絡線）が円滑に連続する自然な印象の合成音を素片データＤTから生成できるという利点がある。

＜Ｃ：第３実施形態＞
図１０は、第３実施形態における声質変換部２４のブロック図である。図１０に示すように、第３実施形態の声質変換部２４は、第１実施形態の声質変換部２４に係数補正部４８を追加した構成である。係数補正部４８は、変換処理部４４が単位区間ＴF毎に生成した特徴量情報ＸTの係数値ＬT[1]〜ＬT[K]を補正する。

図１１に示すように、係数補正部４８は、第１補正部４８１と第２補正部４８２と第３補正部４８３とを含んで構成される。図１０の素片データ生成部４６は、第１補正部４８１と第２補正部４８２と第３補正部４８３とによる補正後の係数値ＬT[1]〜ＬT[K]で構成される特徴量情報ＸTに対応する素片データＤTを、第１実施形態と同様の方法で単位区間ＴF毎に順次に生成する。係数値ＬT[1]〜ＬT[K]に対する補正を以下に詳述する。

＜第１補正部４８１＞
包絡線ＥNV_Tを表現する係数値（線スペクトル周波数）ＬT[1]〜ＬT[K]は、０からπまでの範囲Ｒ内の数値（０＜ＬT[1]＜ＬT[2]＜…＜ＬT[K]＜π）である必要がある。しかし、声質変換部２４による処理（変換関数Ｆ_q(X)による変換）に起因して係数値ＬT[1]〜ＬT[K]が範囲Ｒの外側の数値となる可能性がある。そこで、第１補正部４８１は、係数値ＬT[1]〜ＬT[K]を範囲Ｒ内の数値に補正する。具体的には、係数値ＬT[k]がゼロを下回る場合（ＬT[k]＜０）には、係数値ＬT[k]を、周波数軸上で正側に隣合う係数値ＬT[k+1]の数値に変更する（ＬT[k]＝ＬT[k+1]）。他方、係数値ＬT[k]がπを上回る場合（ＬT[k]＞π）には、係数値ＬT[k]を、周波数軸上で負側に隣合う係数値ＬT[k-1]の数値に変更する（ＬT[k]＝ＬT[k-1]）。したがって、補正後の係数値ＬT[1]〜ＬT[K]は範囲Ｒ内に分布する。

＜第２補正部４８２＞
相互に隣合う２個の係数値ＬT[k]および係数値ＬT[k-1]の差分ΔＬ（ΔＬ＝ＬT[k]−ＬT[k-1]）が過度に小さい場合（すなわち線スペクトル同士が過度に接近する場合）、包絡線ＥNV_Tのピークの数値が異常に大きい数値となり、音声信号ＶSYNの再生音が聴感的に不自然な印象の音響となる可能性がある。そこで、第２補正部４８２は、相互に隣合う２個の係数値ＬT[k-1]および係数値ＬT[k]の差分ΔＬが所定値Δminを下回る場合に両者間の差異を拡大する。

具体的には、係数値ＬT[k-1]と係数値ＬT[k]との差分ΔＬが所定値Δminを下回る場合、図１２に示すように、負側の係数値ＬT[k-1]は、係数値ＬT[k-1]と係数値ＬT[k]との中央値Ｗ（Ｗ＝（ＬT[k-1]＋ＬT[k]）／２）から所定値Δminの半分を減算した数値に設定される（ＬT[k-1]＝Ｗ−Δmin／２）。他方、補正前の正側の係数値ＬT[k]は、中央値Ｗに所定値Δminの半分を加算した数値に設定される（ＬT[k]＝Ｗ＋Δmin／２）。したがって、図１２に示すように、第２補正部４８２による補正後の係数値ＬT[k-1]と係数値ＬT[k]は、中央値Ｗを中心として所定値Δminだけ離間した数値に設定される。すなわち、係数値ＬT[k-1]の線スペクトルと係数値ＬT[k]の線スペクトルとの間隔が所定値Δminに拡大する。

＜第３補正部４８３＞
図１３は、変換関数Ｆ_q(X)による変換前の係数値Ｌ[k]の次数ｋ毎の時系列（軌跡）である。図１３に示すように、変換関数Ｆ_q(X)による変換前の各係数値Ｌ[k]は適度に分散する（すなわち時間的に適度に変動する）から、相互に隣合う係数値Ｌ[k]と係数値Ｌ[k-1]とが適度に接近する期間が発生する。したがって、図１３に示すように、変換前の特徴量情報Ｘで表現される包絡線ＥNVには適切な高さのピークが発生する。

図１４の実線は、変換関数Ｆ_q(X)による変換後の係数値ＬTa[k]の次数ｋ毎の時系列（軌跡）である。係数値ＬTa[k]は、第３補正部４８３の補正前の係数値ＬT[k]を意味する。数式(4A)から理解されるように、変換関数Ｆ_q(X)においては、特徴量情報Ｘから平均μ_q ^Xが減算され、共分散Σ_q ^XXに対する共分散Σ_q ^YYの相対比（Σ_q ^YY(Σ_q ^XX)^-1）の平方根（１未満）が乗算される。以上に説明した平均μ_q ^Xの減算や比（Σ_q ^YY(Σ_q ^XX)^-1）の乗算に起因して、変換関数Ｆ_q(X)を利用した変換後の各係数値ＬTa[k]は、図１４に示すように変換前（図１３）と比較して分散が低減される。すなわち、係数値ＬTa[k]の時間的な変動が抑制される。したがって、相互に隣合う係数値ＬTa[k-1]と係数値ＬTa[k]との差分ΔＬが大きい数値に維持され、図１４に示すように、特徴量情報ＸTで表現される包絡線ＥNV_Tのピークが抑圧（平滑化）されるという傾向がある。以上のように包絡線ＥNV_Tのピークが抑圧された場合、音声信号ＶSYNの再生音が聴感的に不明瞭で不自然な印象の音響となる可能性がある。

そこで、第３補正部４８３は、係数値ＬTa[k]の次数ｋ毎の分散が増加する（係数値ＬT[k]が経時的に変動する範囲が拡大する）ように係数値ＬTa[1]〜ＬTa[K]の各々を補正する。具体的には、第３補正部４８３は、以下の数式(10)の演算で補正後の係数値ＬT[k]を算定する。

数式(10)の記号mean(ＬTa[k])は、所定の期間ＰL内における係数値ＬTa[k]の平均を意味する。期間ＰLの時間長は任意であるが、例えば歌唱曲の１フレーズ程度の時間長に設定される。数式(10)の記号std(ＬTa[k])は、期間ＰL内の各係数値ＬTa[k]の標準偏差を意味する。

数式(10)の記号σkは、発声者ＵTの音声信号ＶTにおける各単位区間ＴFの特徴量情報Ｙ（図３）を構成するＫ個の係数値Ｌ[1]〜Ｌ[K]のうち次数ｋの係数値Ｌ[k]の標準偏差を意味する。関数特定部２２が変換関数Ｆ_q(X)を生成する過程（図３の処理）において音声信号ＶTの特徴量情報Ｙから次数ｋ毎に標準偏差σkが算定されて記憶装置１４に格納される。第３補正部４８３は、記憶装置１４に格納された標準偏差σkを数式(10)の演算に適用する。数式(10)の記号αstdは、所定の定数（正規化パラメータ）である。定数αstdは、聴感的に自然な合成音が生成されるように統計的または実験的に選定されるが、例えば0.7程度の数値が好適である。

数式(10)から理解されるように、補正前の係数値ＬTa[k]から平均mean(ＬTa[k])を減算した数値を標準偏差std(ＬTa[k])で除算することで係数値ＬTa[k]の分散が正規化され、定数αstdと標準偏差σkとを乗算することで係数値ＬTa[k]の分散が拡大する。具体的には、音声信号ＶT（各音素データＰT）の特徴量情報Ｙの係数値Ｌ[k]の標準偏差（分散）σkが大きいほど補正後の係数値ＬT[k]の分散は補正前と比較して拡大する。数式(10)の平均mean(ＬTa[k])の加算は、補正後の係数値ＬT[k]の平均を補正前の係数値ＬTa[k]の平均に合致させる演算である。

以上に説明した演算の結果、図１４に破線で図示されるように、補正後の係数値ＬT[k]の時系列では、補正前の係数値ＬTa[k]と比較して分散が増加する（すなわち数値の経時的な変動が拡大する）。したがって、相互に隣合う係数値ＬT[k-1]と係数値ＬT[k]とが適度に接近する。すなわち、第３補正部４８３による補正後の特徴量情報ＸTで表現される包絡線ＥNV_Tには、図１４に破線で図示されるように、変換関数Ｆ_q(X)による補正前（図１３）と同等のピークが適当な頻度で発生する（変換関数Ｆ_q(X)による変換の影響が低減される）。したがって、聴感的に明瞭で自然な印象の音響を合成することが可能である。

第３実施形態でも第１実施形態と同様の効果が実現される。また、第３実施形態では、声質変換部２４による変換後の特徴量情報ＸT（係数値ＬT[1]〜ＬT[K]）が補正されるから、変換関数Ｆ_q(X)による変換の影響を低減して聴感的に自然な印象の音響を生成することが可能である。なお、以上に例示した第１補正部４８１と第２補正部４８２と第３補正部４８３との少なくともひとつは省略され得る。また、係数補正部４８による各補正の順番は任意に変更される。例えば、第３補正部４８３の補正後に第１補正部４８１や第２補正部４８２の補正を実行する構成も採用され得る。

＜Ｄ：第４実施形態＞
図１５は、特定の音素の実際の収録音における特徴量情報Ｘと特徴量情報Ｙとの相関を、便宜的に各情報のひとつの次元について図示した散布図である。前述の各形態のように数式(9)の係数ａ_qを数式(4A)に適用した場合、特徴量情報Ｘと特徴量情報Ｙとの間には直線的な相関（分布ｒ1）が観測される。他方、図１５に分布ｒ0で示すように、実際の音声から観測される特徴量情報Ｘおよび特徴量情報Ｙは、数式(9)の係数ａ_qを適用した場合と比較して広範囲に分布する。

係数ａ_qのノルムが小さいほど特徴量情報Ｘおよび特徴量情報Ｙの分布範囲は円形に近付く。したがって、符号ｒ1の場合と比較してノルムが減少するように係数ａ_qを設定することで、特徴量情報Ｘと特徴量情報Ｙとの相関を現実の分布ｒ0に近付けることが可能である。以上の傾向を考慮して、第４実施形態では、以下の数式(9A)で定義されるように、係数ａ_qを調整するための調整係数（加重値）εを導入する。すなわち、第４実施形態の関数特定部２２（関数生成部３６）は、数式(4A)および数式(9A)の演算により音素毎の変換関数Ｆ_q(X)（Ｆ₁(X)〜Ｆ_Q(X)）を生成する。調整係数εは、１未満の正数の範囲内で設定される（０＜ε＜１）。

前述の各形態のように係数ａ_qを数式(9)で算定した場合の分布ｒ1は、数式(9A)の調整係数εを１に設定した場合に相当する。図１５に示す分布ｒ2（ε＝0.97）および分布ｒ3（ε＝0.75）からも把握されるように、調整係数εが小さいほど特徴量情報Ｘおよび特徴量情報Ｙの分布範囲が拡大し、調整係数εが０に近付くほど分布範囲は略円形に近付く。特徴量情報Ｘと特徴量情報Ｙの分布範囲が現実の分布ｒ0に近似するように調整係数εを設定した場合に聴感的に自然な音声を生成できるという傾向が図１５から把握される。

図１６は、音声合成部２６が発声者ＵTの各素片データＤTから生成した音声信号ＶSYNの再生音のＭＯＳ（Mean Opinion Score）の数値および標準偏差を、調整係数εを変化させた複数の場合（ε＝0.2，0.6，1）について図示したグラフである。図１６の縦軸のＭＯＳは、音声品質の主観評価の指標値（１〜５）であり、数値が大きいほど高音質と知覚されたことを意味する。

調整係数εを0.6付近の数値に設定した場合に高品位な音声が生成されるという傾向が図１６から把握される。以上の傾向を考慮して、数式(9A)の調整係数εは、0.5以上かつ0.7以下の範囲内の数値に設定され、更に好適には0.6に設定される。

第４実施形態においても第１実施形態と同様の効果が実現される。また、第４実施形態では、係数ａ_qが調整係数εにより調整されることで、変換関数Ｆ_q(X)による変換後の係数値ＬTa[k]の分散が増加する（すなわち数値の経時的な変動が拡大する）から、図１４を参照して説明した第３実施形態と同様に、聴感的に自然な高品位な音声を合成可能な素片データＤTを生成できるという利点がある。

＜Ｅ：変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

（１）変形例１
素片データＤ（ＤS，ＤT）の形式は任意である。例えば、素片データＤが音声の周波数スペクトルを示す構成や、素片データＤが特徴量情報（Ｘ，Ｙ，ＸT）を示す構成も採用され得る。素片データＤSが周波数スペクトルを示す構成では、図３の周波数分析（Ｓ11，Ｓ12）が省略される。また、素片データＤSが特徴量情報（Ｘ，Ｙ，ＸT）を示す構成では、特徴量取得部３２や特徴量取得部４２は素片データＤを取得する要素として機能し、図４の処理（周波数分析（Ｓ11，Ｓ12）や包絡線特定（Ｓ13，Ｓ14）等）は省略される。音声合成部２６（合成処理部５４）による音声信号ＶSYNの生成の方法は、素片データＤ（ＤS，ＤT）の形式に応じて適宜に選定される。

また、以上の各形態では、特徴量情報（Ｘ，Ｙ，ＸT）が示す特徴量は、自己回帰モデルの線スペクトルを規定するＫ個の係数値Ｌ[1]〜Ｌ[K]（ＬT[1]〜ＬT[K]）の系列に限定されない。例えば、特徴量情報（Ｘ，Ｙ，ＸT）がＭＦＣＣ（Mel-Frequency Cepstral Coefficient）やケプストラム係数（Cepstral Coefficients）等の特徴量を示す構成も採用され得る。

（２）変形例２
以上の各形態では、複数の素片データＤTで構成される素片群ＧTを音声合成の実行前に予め生成したが、音声合成部２６による音声合成に並行して声質変換部２４が素片データＤTを逐次的に生成する構成も採用され得る。すなわち、声質変換部２４は、楽譜情報ＳCで指定音の歌詞が指定されるたびに、当該歌詞に対応する素片データＤSを記憶装置１４から取得して変換関数Ｆ_q(X)を適用することで素片データＤTを生成する。音声合成部２６は、声質変換部２４が生成する素片データＤTから音声信号ＶSYNを順次に生成する。以上の構成によれば、素片群ＧTを記憶装置１４に格納する必要がないから、記憶装置１４に必要な容量が削減されるという利点がある。

（３）変形例３
以上の各形態では、関数特定部２２と声質変換部２４と音声合成部２６とを含む音声処理装置１００を例示したが、以上の各要素は複数の装置に個別に搭載され得る。例えば、素片群ＧSおよび音声信号ＶTを記憶する記憶装置１４と関数特定部２２とを具備する音声処理装置（声質変換部２４や音声合成部２６を省略した構成）は、別装置の声質変換部２４が使用する変換関数Ｆ_q(X)を特定する装置（変換関数生成装置）として利用される。また、素片群ＧSを記憶する記憶装置１４と声質変換部２４とを具備する音声処理装置（音声合成部２６を省略した構成）は、別装置の音声合成部２６が音声合成に使用する素片群ＧTを素片群ＧSに対する変換関数Ｆ_q(X)の適用で生成する装置（素片データ生成装置）として利用される。

（４）変形例４
以上の各形態では歌唱音の合成を例示したが、歌唱音以外の発話音（例えば会話音）を合成する場合にも、以上の各形態と同様に本発明を同様に適用することが可能である。

１００……音声処理装置、１２……演算処理装置、１４……記憶装置、２２……関数特定部、２４……声質変換部、２６……音声合成部、３２……特徴量取得部、３４２……第１分布生成部、３４４……第２分布生成部、３６……関数生成部、４２……特徴量取得部、４４……変換処理部、４４２……補間部、４６……素片データ生成部、４６２……差分生成部、４６４……加工処理部、４８……係数補正部、５２……素片選択部、５４……合成処理部。

Claims (6)

1. 第１発声者の音声の単位区間毎の特徴量情報の分布を、相異なる音素に対応する複数の第１確率分布の混合確率分布で近似する第１分布生成手段と、
   第２発声者の音声の単位区間毎の特徴量情報の分布を、相異なる音素に対応する複数の第２確率分布の混合確率分布で近似する第２分布生成手段と、
   前記第１発声者の音声の特徴量情報を前記第２発声者の音声の特徴量情報に変換する変換関数を音素毎に生成する手段であって、複数の音素の各々に対応する変換関数を、前記複数の第１確率分布のうち当該音素に対応する第１確率分布の平均および自己共分散と、前記複数の第２確率分布のうち当該音素に対応する第２確率分布の平均および自己共分散とから生成する関数生成手段と
   を具備する音声処理装置。
2. Ｑ個の音素のうち第ｑ番目（ｑ＝１〜Ｑ）の音素に対応する変換関数は、前記複数の第１確率分布のうち当該音素に対応する第１確率分布の平均μ_q ^Xおよび自己共分散Σ_q ^XXと、前記複数の第２確率分布のうち当該音素に対応する第２確率分布の平均μ_q ^Yおよび自己共分散Σ_q ^YYと、第１発声者の音声の特徴量情報Ｘとで定義される以下の数式(A)を含む
   

   

   
   請求項１の音声処理装置。
3. Ｑ個の音素のうち第ｑ番目（ｑ＝１〜Ｑ）の音素に対応する変換関数は、前記複数の第１確率分布のうち当該音素に対応する第１確率分布の平均μ_q ^Xおよび自己共分散Σ_q ^XXと、前記複数の第２確率分布のうち当該音素に対応する第２確率分布の平均μ_q ^Yおよび自己共分散Σ_q ^YYと、第１発声者の音声の特徴量情報Ｘと、調整係数ε（０＜ε＜１）とで定義される以下の数式(B)を含む
   

   

   
   請求項１の音声処理装置。
4. 第１発声者の音声を示す第１素片データを音声素片毎に記憶する記憶手段と、
   前記各音声素片に対応する第１素片データが示す音声の特徴量情報に対して、前記関数生成手段が生成した複数の変換関数のうち当該音声素片を構成する音素に対応する変換関数を適用することで、第２発声者の音声の第２素片データを順次に生成する声質変換手段と
   を具備する請求項１から請求項３の何れかの音声処理装置。
5. 前記声質変換手段は、第１素片データが第１音素と第２音素とを示す場合に、前記第１音素と前記第２音素との境界を含む補間区間内において前記第１音素の変換関数から前記第２音素の変換関数に段階的に変化するように、当該補間区間内の各単位区間の特徴量情報に適用される変換関数を補間する
   請求項４の音声処理装置。
6. 前記声質変換手段は、
   前記各第１素片データが示す音声の周波数領域の包絡線における各ピークの高さを各々の粗密で表現する線スペクトルの周波数を示す複数の係数値を含む特徴量情報を取得する特徴量取得手段と、
   前記特徴量取得手段が取得した特徴量情報に前記変換関数を適用する変換処理手段と、
   前記変換処理手段による変換後の特徴量情報の各係数値を補正する手段であって、次数毎の前記係数値の時系列における分散が増加するように前記各係数値を補正する手段を含む係数補正手段と、
   前記係数補正手段による補正後の特徴量情報に対応する前記第２素片データを生成する素片データ生成手段とを含む
   請求項４または請求項５の音声処理装置。
   

Images