JPH07104792A - 声質変換方法 - Google Patents

Abstract

(57)【要約】 【目的】 音声の品質を保ちつつ、声質を制御する声質
変換方法を提供する。 【構成】 入力音声信号をスペクトル分析するステップ
４１と、ステップ４１で得られたＬＰＣパラメータを、
予め作成しておいた入力話者コードブック１４に基づい
てベクトル量子化するステップ４２と、ステップ４２で
得られたコードベクトルに対応する変換規則を、入力話
者学習用音声データ１３の特徴を示す第１〜第４のフォ
ルマントＦ１〜Ｆ４と変換対象話者音声データ２３の特
徴を示す第１〜第４のフォルマントＦ’１〜Ｆ’４とを
対応付けたスペクトル変換規則３３から選択し、この変
換規則を用いて、ステップ４１で得られた入力音声信号
のＦＦＴパラメータ（スペクトル）を変換するステップ
４３とからなる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力話者の音声を、所
望する話者の声質を持つ音声に変換する声質変換方法に
関する。

【０００２】

【従来の技術】従来より、音声の声質変換方法として、
線形予測分析・合成方式（以後、ＬＰＣ（Linear Predi
ctive Coding）分析・合成方式と称す）に基づいて、音
声スペクトル包絡特性を表す各種パラメータを算出し、
これらのパラメータを変更することにより音声の声質を
変更する方法や、変換元の話者（以後、入力話者と称
す）と変換先の話者（以後、変換対象話者と称す）との
音声波形またはスペクトルの対応関係を予め求めてお
き、その対応関係に従って、入力話者によって発生され
た音声を、変換対象話者の音声へ変換する方法等が知ら
れている。

【０００３】ここでは、ＬＰＣ分析・合成方式に基づく
声質変換方法の概略を説明する。従来のＬＰＣ分析・合
成方式に基づく方法では、声帯から唇までの声道の特徴
を表す線形予測係数（以後、ＬＰＣパラメータと称
す）、音源（声帯の振動）を表すパルスやローセンバー
グ波等のパラメータを、入力話者および変換対象話者に
ついて採取し、両者間の各パラメータの対応関係を、適
当なサンプルデータから実験的または経験的に把握して
声質の変換規則を決定する。

【０００４】そして、入力話者の入力音声を変換する際
には、入力音声信号から上記各パラメータを算出し、予
め決定された上記変換規則に従って各パラメータを変換
し、再合成することにより、出力される音声の声質を、
変換対象話者のものに変換する。上述したＬＰＣ分析・
合成方式に基づく声質変換方法の詳細は、例えば、D.G.
CHILDERS and Ke WU，”VOICE CONVERSION”（Speech C
ommunication 8 (1989) pp.147-158）に記載されてい
る。

【０００５】

【発明が解決しようとする課題】ところで、上述した従
来の声質変換方法に用いられる変換規則は、適当なサン
プルデータから実験的または経験的に決定されたもので
あるため、入力話者が発する任意の入力音声を適切に変
換できるという保証は無い。

【０００６】また、入力話者が実際に発する音声におい
て、ＬＰＣパラメータと音源パルスを表すパラメータ間
には複雑な相関関係があり、それらを全て考慮した変換
規則を決定することは極めて困難である。このため、従
来の声質変換方法を用いて声質変換を行った場合、変換
された音声において、音韻が変化してしまう等の品質劣
化が発生することがあるという問題があった。本発明
は、上述した事情に鑑みて為されたものであり、音声の
品質を保ちつつ、声質を制御する声質変換方法を提供す
ることを目的とする。

【０００７】

【課題を解決するための手段】本発明による声質変換方
法は、入力話者による入力音声を、前記入力話者と異な
る変換対象話者の声質を有する音声に変換する声質変換
方法において、前記入力音声の波形をスペクトル分析す
るスペクトル分析過程と、前記スペクトル分析過程で得
られた分析結果を、予め作成しておいた入力話者のコー
ドブックに基づいてベクトル量子化するベクトル量子化
過程と、前記ベクトル量子化過程で得られたコードベク
トルに対応する変換規則を、前記入力音声の特徴と前記
変換対象話者の音声の特徴とを統計的な手法を用いて対
応付けたスペクトル変換規則から選択し、この変換規則
を用いて、前記スペクトル分析過程で得られた前記入力
音声の波形のスペクトルを変換するスペクトル変換過程
とからなり、前記スペクトル変換過程で変換されたスペ
クトルに応じた音声が出力されることを特徴としてい
る。

【０００８】

【作用】上記方法によれば、スペクトル分析の結果は、
入力話者のコードブックに基づいてベクトル量子化さ
れ、このベクトル量子化で得られたコードベクトルに対
応する変換規則が、スペクトル変換規則から選択されて
入力音声の波形に適用される。前記変換規則は、入力音
声の特徴と変換対象話者の音声の特徴とを統計的な手法
を用いて対応付けたものであり、入力音声に対して適応
的に選択される。このため、音声の品質を保ちつつ、声
質を制御することが可能となる。

【０００９】

【実施例】以下、図面を参照して、本発明の一実施例に
ついて説明する。図１（ａ）は、本発明の一実施例によ
る声質変換方法の一部手順を示すフローチャートであ
る。この図に示す手順は、音声信号を効率良く表現する
ために、音声信号の特徴を示すパラメータ（以後、音声
特徴量と称す）を算出し、算出された音声特徴量を統計
的に分類し、コードブックと呼ばれる分類表を作成する
というものである。なお、音声特徴量としては、ＬＰＣ
分析によるＬＰＣパラメータやＦＦＴ（fast Fourier t
ransform ）分析によるスペクトル密度等があるが、こ
こではＬＰＣパラメータを用いた例について説明する。

【００１０】図１（ａ）において、まず、ステップ１１
では、入力話者により発生された入力音声に対応する入
力話者学習用音声データ１３に対して、前述したＬＰＣ
分析処理が施され、ＬＰＣパラメータが算出される。Ｌ
ＰＣ分析は、統計的に正確さを期すため、充分に多くの
入力話者学習用音声データ１３に対して施される。次
に、ステップ１２では、収集されたＬＰＣパラメータに
対して、クラスタリング（分類）が行われる。クラスタ
リングの手法としては、代表的な方法であるＬＢＧ（Li
nde-Buzo-Gray ）アルゴリズム等がある。ＬＢＧアルゴ
リズムの詳細は、例えば、Linde ら、”An algorithm f
or Vector Quantization Design ”（IEEECOM-28(1980-
01)）に記載されている。

【００１１】上述した手順を経て、入力話者コードブッ
ク１４が作成される。図１（ｂ）は入力話者コードブッ
ク１４の構成を示す概念図であり、この図に示すよう
に、入力話者コードブック１４は、通常２５６〜５１２
程度のコードベクトル１５から構成される。各コードベ
クトル１５において、１６はコードベクトル番号であ
り、例えば、１〜２５６の自然数が順に割り当てられ
る。１７は入力話者学習用音声データ１３に対応するス
ペクトル特徴量であり、ここでは、数個のＬＰＣパラメ
ータで構成されている。

【００１２】次に、スペクトル変換規則を決定する際に
使用されるマッピングコードブック２８を作成する過程
を、図２を参照して説明する。マッピングコードブック
２８は、入力話者の音声信号と変換対象話者の音声信号
とを統計的に対応付けるものである。まず、ステップ２
１において、変換対象話者学習用音声データ２３から変
換対象話者コードブック２２が作成される。この作成手
順は、図１（ａ）に示す手順と同一であるので、その説
明を省略する。

【００１３】次に、ステップ２４，２４では、入力話者
および変換対象話者コードブック１４，２２に基づい
て、入力話者学習用音声データ１３および変換対象話者
学習用音声データ２３それぞれに、ＬＰＣ分析およびベ
クトル量子化処理が施される。ここで、ベクトル量子化
処理とは、各音声データ１３，２３をＬＰＣ分析して得
られたＬＰＣパラメータに、最も似かよっているスペク
トル特徴量１７を有するコードベクトル１５を各コード
ブック１４，２２から抽出し、抽出されたコードベクト
ル１５中のスペクトル特徴量１７を出力する処理であ
る。ベクトル量子化の詳細については、例えば、古井貞
煕著、「デジタル音声処理」に記載されている。

【００１４】上述したベクトル量子化処理により、変換
対象話者コードベクトル系列２５および入力話者コード
ベクトル系列２６が得られる。次に、ステップ２７で
は、入力話者コードベクトル系列２６および変換対象話
者コードベクトル系列２５から、両者を対応付けるマッ
ピングコードベクトルが生成される。マッピングコード
ベクトルは複数生成され、これらのマッピングコードベ
クトルからマッピングコードブック２８が作成される。

【００１５】マッピングコードベクトルの生成方法とし
ては、各入力話者コードベクトル系列２６毎に、対応す
る複数の変換対象話者コードベクトル系列２５を集計
し、重み付け平均化により生成する公知の方法を用い
る。この方法の詳細は、例えば、阿部ら、”Voice Conv
ersion through vector quantization”（JASJ(E) 11,2
(1990) pp.71-76）に記載されている。

【００１６】こうして作成されたマッピングコードブッ
ク２８を用いて、スペクトル変換規則３３を作成する過
程を、図３を参照して説明する。スペクトル変換規則３
３は、音声の個人性に関係する特徴量の一つであるフォ
ルマント周波数を変換する規則である。図３において、
まず、ステップ３１，３１では、入力話者コードブック
１４中の各コードベクトル１５と、マッピングコードブ
ック２８中の各マッピングコードベクトルとに、それぞ
れフォルマント分析を施す。これにより、各ベクトルに
対するフォルマント周波数が求められる。

【００１７】フォルマント周波数の分析手法は多々あ
り、例えば、ＬＰＣ極抽出に基づく方法を簡便に用いる
ことができる。フォルマント周波数の分析手法の詳細
は、例えば、板倉ら、「統計的手法による音声スペクト
ル密度とホルマント周波数の推定」（信学論、(1970),5
3-A,1,pp.35-42）に記載されている。

【００１８】次に、ステップ３２では、スペクトル変換
規則３３が求められる。具体的には、まず、図４に示す
ように、入力話者コードブック１４中のコードベクトル
１５における第１〜第４フォルマントＦ１〜Ｆ４を求め
る。次に、このコードベクトル１５に対応するマッピン
グコードベクトルを、マッピングコードブック２８から
検索し、当該マッピングコードベクトルから変換対象話
者に対応するコードベクトルを抽出する。そして、抽出
されたコードベクトルにおける第１〜第４フォルマント
Ｆ’１〜Ｆ’４を求め、それぞれ、上記第１〜第４のフ
ォルマントＦ１〜Ｆ４と対応させる。両者の対応付け
は、自動的に、あるいは手作業で行われる。

【００１９】次に、第１〜第４のフォルマントＦ１〜Ｆ
４に対応する周波数ω１，ω２，ω３，ω４と、第１〜
第４のフォルマントＦ’１〜Ｆ’４に対応する周波数
ω’１，ω’２，ω’３，ω’４をスペクトル変換規則
３３に記録する。ここで、音韻種別によっては第４フォ
ルマントが存在しない場合があり、その際は、第４フォ
ルマントについては記録しない。

【００２０】こうして、スペクトル変換規則３３が作成
される。スペクトル変換規則３３の一例を図５に示す。
この図に示すように、スペクトル変換規則３３は、複数
のレコードから構成され、各レコードには、１〜２５６
の自然数であるスペクトル変換規則番号３４が割り当て
られている。このスペクトル変換規則番号３４は、入力
話者コードブック１４中のコードベクトル番号１６と１
対１で対応するように割り当てられている。

【００２１】また、各レコードには、第１〜第４のフォ
ルマント別に、対応する周波数が記録されている。例え
ば、スペクトル変換規則番号が「１」であるレコードで
は、第１のフォルマントについて、周波数ω１（７１
０）と周波数ω’１（８１５）とが対応付けられて記録
されている。

【００２２】上述した過程を経て作成された、スペクト
ル変換規則３３を用いて、入力音声信号を声質の異なる
変換音声信号に変換する過程を、図６を参照して説明す
る。図６において、まず、ステップ４１では、入力音声
信号に対して、スペクトル分析処理が行われる。スペク
トル分析処理は、ＬＰＣ分析処理およびＦＦＴ分析処理
からなり、入力音声信号に応じたＬＰＣパラメータおよ
びＦＦＴパラメータ（スペクトル）が得られる。

【００２３】次に、ステップ４２では、ステップ４１で
得られたＬＰＣパラメータを、予め作成しておいた入力
話者コードブック１４に基づいてベクトル量子化する。
これにより、入力音声信号に対応するコードベクトルが
得られる。次に、ステップ４３では、ステップ４１で得
られたＦＦＴパラメータを変換する。この変換過程を以
下に説明する。

【００２４】具体的には、まず、ステップ４２で得られ
たコードベクトルに対応するレコードを、予め作成して
おいたスペクトル変換規則３３から抽出する。そして、
抽出されたレコードに表される変換規則に従って、ステ
ップ４１で得られたＦＦＴパラメータ（スペクトル）の
フォルマント周波数を変換する。フォルマント周波数の
変換方法の詳細は、水野ら、「制御自由度の高いフォル
マント周波数変換法」（音講論集、pp.319-340）に記載
されているため、ここでは、その概略を説明するにとど
める。

【００２５】本実施例の変換方法では、入力音声信号を
１ピッチ単位で切り出し、ＬＰＣ極分析によって入力音
声のフォルマントを抽出する。そして、あるフォルマン
トの周波数を変換する際には、当該フォルマントのスペ
クトル密度と、当該フォルマントにおいて所望するスペ
クトル密度との差を、繰り返し処理によって一定値以下
に抑えつつ、所望するフォルマント周波数が変換された
全極型スペクトル特性を決定する。次に、こうして得ら
れた全極型スペクトル特性を有する全極型フィルタを構
成し、所望するフォルマント周波数特性が得られるまで
繰り返し原音声に対して作用させて、所望するフォルマ
ント周波数に音声を変換する。

【００２６】次に、ステップ４４では、ステップ４３で
スペクトル変換されて得られるＦＦＴパラメータ（スペ
クトル）から、音声信号をＩＦＦＴにより合成し、変換
音声信号を出力する。この変換音声信号は、変換対象話
者の声質を有したものとなる。

【００２７】以上説明したように、入力話者コードブッ
ク１４中のコードベクトル１５における第１〜第４フォ
ルマントＦ１〜Ｆ４と、このコードベクトル１５に対応
するマッピングコードベクトルにおける第１〜第４フォ
ルマントＦ’１〜Ｆ’４とが対応付けられている。ま
た、上記マッピングコードベクトルは、入力話者コード
ブック１４中の各コードベクトル１５に対応して重み付
け平均化された変換対象話者コードブック２２から生成
されている。したがって、上記スペクトル変換規則３３
を用いることにより、入力音声に対して適応的な変換を
行うことができる。これにより、変換音声信号は高品質
なものとなることが保証される。

【００２８】

【発明の効果】以上説明したように、本発明によれば、
スペクトル分析の結果は、入力話者のコードブックに基
づいてベクトル量子化され、このベクトル量子化で得ら
れたコードベクトルに対応する変換規則が、スペクトル
変換規則から選択されて入力音声の波形に適用される。
前記変換規則は、入力音声の特徴と変換対象話者の音声
の特徴とを統計的な手法を用いて対応付けたものであ
り、入力音声に対して適応的に選択される。したがっ
て、音声の品質を保ちつつ、声質を制御することができ
るという効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例による声質変換方法を説明す
るための図である。

【図２】マッピングコードブック２８の作成過程を示す
図である。

【図３】スペクトル変換規則３３の作成過程を示す図で
ある。

【図４】スペクトル変換規則３３を説明するための図で
ある。

【図５】スペクトル変換規則３３の構成を示す概念図で
ある。

【図６】スペクトル変換規則３３を用いた声質変換過程
を示す図である。

【符号の説明】

１４ 入力話者コードブック ２２ 変換対象話者コードブック ２８ マッピングコードブック ３３ スペクトル変換規則

Claims (2)

【特許請求の範囲】
1. 【請求項１】 入力話者による入力音声を、前記入力話
   者と異なる変換対象話者の声質を有する音声に変換する
   声質変換方法において、 前記入力音声の波形をスペクトル分析するスペクトル分
   析過程と、 前記スペクトル分析過程で得られた分析結果を、予め作
   成しておいた入力話者のコードブックに基づいてベクト
   ル量子化するベクトル量子化過程と、 前記ベクトル量子化過程で得られたコードベクトルに対
   応する変換規則を、前記入力音声の特徴と前記変換対象
   話者の音声の特徴とを統計的な手法を用いて対応付けた
   スペクトル変換規則から選択し、この変換規則を用い
   て、前記スペクトル分析過程で得られた前記入力音声の
   波形のスペクトルを変換するスペクトル変換過程とから
   なり、 前記スペクトル変換過程で変換されたスペクトルに応じ
   た音声が出力されることを特徴とする声質変換方法。
2. 【請求項２】 前記入力話者のコードブックは、前記入
   力話者による学習用音声の波形をスペクトル分析し、そ
   の分析結果であるコードベクトルを統計的に分類してな
   り、 前記スペクトル変換規則は、 前記入力話者コードブックを用いて表現されるスペクト
   ル特徴量と、前記学習用音声と発声内容同一の学習用音
   声を前記変換対象話者に発声させ、この学習用音声の波
   形をスペクトル分析し、その分析結果をベクトル量子化
   することにより得られた変換対象話者のコードブックと
   を順次対応付け、 前記スペクトル特徴量と、 前記対応付けの結果を用いて、前記入力話者のコードブ
   ックのコードベクトル毎に前記変換対象話者コードブッ
   クを平均化して得られたマッピングコードブックで表現
   されるスペクトル特徴量とを対応付けてなる変換規則か
   ら構成されることを特徴とする請求項１に記載の声質変
   換方法。