JP3282693B2 - 声質変換方法 - Google Patents
声質変換方法Info
- Publication number
- JP3282693B2 JP3282693B2 JP24718493A JP24718493A JP3282693B2 JP 3282693 B2 JP3282693 B2 JP 3282693B2 JP 24718493 A JP24718493 A JP 24718493A JP 24718493 A JP24718493 A JP 24718493A JP 3282693 B2 JP3282693 B2 JP 3282693B2
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- input
- voice
- conversion
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【産業上の利用分野】本発明は、入力話者の音声を、所
望する話者の声質を持つ音声に変換する声質変換方法に
関する。
望する話者の声質を持つ音声に変換する声質変換方法に
関する。
【０００２】
【従来の技術】従来より、音声の声質変換方法として、
線形予測分析・合成方式（以後、ＬＰＣ（Linear Predi
ctive Coding）分析・合成方式と称す）に基づいて、音
声スペクトル包絡特性を表す各種パラメータを算出し、
これらのパラメータを変更することにより音声の声質を
変更する方法や、変換元の話者（以後、入力話者と称
す）と変換先の話者（以後、変換対象話者と称す）との
音声波形またはスペクトルの対応関係を予め求めてお
き、その対応関係に従って、入力話者によって発生され
た音声を、変換対象話者の音声へ変換する方法等が知ら
れている。
線形予測分析・合成方式（以後、ＬＰＣ（Linear Predi
ctive Coding）分析・合成方式と称す）に基づいて、音
声スペクトル包絡特性を表す各種パラメータを算出し、
これらのパラメータを変更することにより音声の声質を
変更する方法や、変換元の話者（以後、入力話者と称
す）と変換先の話者（以後、変換対象話者と称す）との
音声波形またはスペクトルの対応関係を予め求めてお
き、その対応関係に従って、入力話者によって発生され
た音声を、変換対象話者の音声へ変換する方法等が知ら
れている。
【０００３】ここでは、ＬＰＣ分析・合成方式に基づく
声質変換方法の概略を説明する。従来のＬＰＣ分析・合
成方式に基づく方法では、声帯から唇までの声道の特徴
を表す線形予測係数（以後、ＬＰＣパラメータと称
す）、音源（声帯の振動）を表すパルスやローセンバー
グ波等のパラメータを、入力話者および変換対象話者に
ついて採取し、両者間の各パラメータの対応関係を、適
当なサンプルデータから実験的または経験的に把握して
声質の変換規則を決定する。
声質変換方法の概略を説明する。従来のＬＰＣ分析・合
成方式に基づく方法では、声帯から唇までの声道の特徴
を表す線形予測係数（以後、ＬＰＣパラメータと称
す）、音源（声帯の振動）を表すパルスやローセンバー
グ波等のパラメータを、入力話者および変換対象話者に
ついて採取し、両者間の各パラメータの対応関係を、適
当なサンプルデータから実験的または経験的に把握して
声質の変換規則を決定する。
【０００４】そして、入力話者の入力音声を変換する際
には、入力音声信号から上記各パラメータを算出し、予
め決定された上記変換規則に従って各パラメータを変換
し、再合成することにより、出力される音声の声質を、
変換対象話者のものに変換する。上述したＬＰＣ分析・
合成方式に基づく声質変換方法の詳細は、例えば、D.G.
CHILDERS and Ke WU，”VOICE CONVERSION”（Speech C
ommunication 8 (1989) pp.147-158）に記載されてい
る。
には、入力音声信号から上記各パラメータを算出し、予
め決定された上記変換規則に従って各パラメータを変換
し、再合成することにより、出力される音声の声質を、
変換対象話者のものに変換する。上述したＬＰＣ分析・
合成方式に基づく声質変換方法の詳細は、例えば、D.G.
CHILDERS and Ke WU，”VOICE CONVERSION”（Speech C
ommunication 8 (1989) pp.147-158）に記載されてい
る。
【０００５】
【発明が解決しようとする課題】ところで、上述した従
来の声質変換方法に用いられる変換規則は、適当なサン
プルデータから実験的または経験的に決定されたもので
あるため、入力話者が発する任意の入力音声を適切に変
換できるという保証は無い。
来の声質変換方法に用いられる変換規則は、適当なサン
プルデータから実験的または経験的に決定されたもので
あるため、入力話者が発する任意の入力音声を適切に変
換できるという保証は無い。
【０００６】また、入力話者が実際に発する音声におい
て、ＬＰＣパラメータと音源パルスを表すパラメータ間
には複雑な相関関係があり、それらを全て考慮した変換
規則を決定することは極めて困難である。このため、従
来の声質変換方法を用いて声質変換を行った場合、変換
された音声において、音韻が変化してしまう等の品質劣
化が発生することがあるという問題があった。本発明
は、上述した事情に鑑みて為されたものであり、音声の
品質を保ちつつ、声質を制御する声質変換方法を提供す
ることを目的とする。
て、ＬＰＣパラメータと音源パルスを表すパラメータ間
には複雑な相関関係があり、それらを全て考慮した変換
規則を決定することは極めて困難である。このため、従
来の声質変換方法を用いて声質変換を行った場合、変換
された音声において、音韻が変化してしまう等の品質劣
化が発生することがあるという問題があった。本発明
は、上述した事情に鑑みて為されたものであり、音声の
品質を保ちつつ、声質を制御する声質変換方法を提供す
ることを目的とする。
【０００７】
【課題を解決するための手段】本発明による声質変換方
法は、入力話者による入力音声を、前記入力話者と異な
る変換対象話者の声質を有する音声に変換する声質変換
方法において、入力音声波形をスペクトル分析し、この
分析結果を入力話者コードブックに基づいてベクトル量
子化することにより前記入力音声に対応するスペクトル
特徴量を有するコードベクトルを得る第１のステップ
と、複数のレコードから構成され、各レコードは前記コ
ードベクトルにおける複数のフォルマントについて変換
対象話者の複数のフォルマントと各々対応付けて記録さ
れるよう予め作成しておいたスペクトル変換規則から前
記コードベクトルに対応するレコードを抽出する第２の
ステップと、前記レコードに従って前記コードベクトル
におけるフォルマント周波数を前記変換対象話者のフォ
ルマント周波数に変換と共に、該フォルマント周波数の
変換において、前記入力音声信号のフォルマントのスペ
クトル密度と前記変換対象話者のフォルマントのスペク
トル密度との差を一定値以下に抑えるように繰り返し処
理を行う第３のステップと、第３のステップでスペクト
ル変換されて得られる音声信号をＩＦＦＴにより変換音
声信号に変換する第４のステップとを有することを特徴
としている。
法は、入力話者による入力音声を、前記入力話者と異な
る変換対象話者の声質を有する音声に変換する声質変換
方法において、入力音声波形をスペクトル分析し、この
分析結果を入力話者コードブックに基づいてベクトル量
子化することにより前記入力音声に対応するスペクトル
特徴量を有するコードベクトルを得る第１のステップ
と、複数のレコードから構成され、各レコードは前記コ
ードベクトルにおける複数のフォルマントについて変換
対象話者の複数のフォルマントと各々対応付けて記録さ
れるよう予め作成しておいたスペクトル変換規則から前
記コードベクトルに対応するレコードを抽出する第２の
ステップと、前記レコードに従って前記コードベクトル
におけるフォルマント周波数を前記変換対象話者のフォ
ルマント周波数に変換と共に、該フォルマント周波数の
変換において、前記入力音声信号のフォルマントのスペ
クトル密度と前記変換対象話者のフォルマントのスペク
トル密度との差を一定値以下に抑えるように繰り返し処
理を行う第３のステップと、第３のステップでスペクト
ル変換されて得られる音声信号をＩＦＦＴにより変換音
声信号に変換する第４のステップとを有することを特徴
としている。
【０００８】
【作用】上記方法によれば、入力音声波形をスペクトル
分析し、この分析結果を入力話者コードブックに基づい
てベクトル量子化することにより前記入力音声に対応す
るスペクトル特徴量を有するコードベクトルを得、複数
のレコードから構成され、各レコードは前記コードベク
トルにおける複数のフォルマントについて変換対象話者
の複数のフォルマントと各々対応付けて記録されるよう
予め作成しておいたスペクトル変換規則から前記コード
ベクトルに対応するレコードを抽出し、前記入力音声信
号のフォルマントのスペクトル密度と前記変換対象話者
のフォルマントのスペクトル密度との差を一定値以下に
抑えて前記レコードに従って前記コードベクトルにおけ
るフォルマント周波数を前記変換対象話者のフォルマン
ト周波数に変換し、該変換により得られる音声信号をＩ
ＦＦＴにより変換音声信号に変換することにより声質が
変換される。
分析し、この分析結果を入力話者コードブックに基づい
てベクトル量子化することにより前記入力音声に対応す
るスペクトル特徴量を有するコードベクトルを得、複数
のレコードから構成され、各レコードは前記コードベク
トルにおける複数のフォルマントについて変換対象話者
の複数のフォルマントと各々対応付けて記録されるよう
予め作成しておいたスペクトル変換規則から前記コード
ベクトルに対応するレコードを抽出し、前記入力音声信
号のフォルマントのスペクトル密度と前記変換対象話者
のフォルマントのスペクトル密度との差を一定値以下に
抑えて前記レコードに従って前記コードベクトルにおけ
るフォルマント周波数を前記変換対象話者のフォルマン
ト周波数に変換し、該変換により得られる音声信号をＩ
ＦＦＴにより変換音声信号に変換することにより声質が
変換される。
【０００９】
【実施例】以下、図面を参照して、本発明の一実施例に
ついて説明する。図１（ａ）は、本発明の一実施例によ
る声質変換方法の一部手順を示すフローチャートであ
る。この図に示す手順は、音声信号を効率良く表現する
ために、音声信号の特徴を示すパラメータ（以後、音声
特徴量と称す）を算出し、算出された音声特徴量を統計
的に分類し、コードブックと呼ばれる分類表を作成する
というものである。なお、音声特徴量としては、ＬＰＣ
分析によるＬＰＣパラメータやＦＦＴ（fast Fourier t
ransform ）分析によるスペクトル密度等があるが、こ
こではＬＰＣパラメータを用いた例について説明する。
ついて説明する。図１（ａ）は、本発明の一実施例によ
る声質変換方法の一部手順を示すフローチャートであ
る。この図に示す手順は、音声信号を効率良く表現する
ために、音声信号の特徴を示すパラメータ（以後、音声
特徴量と称す）を算出し、算出された音声特徴量を統計
的に分類し、コードブックと呼ばれる分類表を作成する
というものである。なお、音声特徴量としては、ＬＰＣ
分析によるＬＰＣパラメータやＦＦＴ（fast Fourier t
ransform ）分析によるスペクトル密度等があるが、こ
こではＬＰＣパラメータを用いた例について説明する。
【００１０】図１（ａ）において、まず、ステップ１１
では、入力話者により発生された入力音声に対応する入
力話者学習用音声データ１３に対して、前述したＬＰＣ
分析処理が施され、ＬＰＣパラメータが算出される。Ｌ
ＰＣ分析は、統計的に正確さを期すため、充分に多くの
入力話者学習用音声データ１３に対して施される。次
に、ステップ１２では、収集されたＬＰＣパラメータに
対して、クラスタリング（分類）が行われる。クラスタ
リングの手法としては、代表的な方法であるＬＢＧ（Li
nde-Buzo-Gray ）アルゴリズム等がある。ＬＢＧアルゴ
リズムの詳細は、例えば、Linde ら、”An algorithm f
or Vector Quantization Design ”（IEEECOM-28(1980-
01)）に記載されている。
では、入力話者により発生された入力音声に対応する入
力話者学習用音声データ１３に対して、前述したＬＰＣ
分析処理が施され、ＬＰＣパラメータが算出される。Ｌ
ＰＣ分析は、統計的に正確さを期すため、充分に多くの
入力話者学習用音声データ１３に対して施される。次
に、ステップ１２では、収集されたＬＰＣパラメータに
対して、クラスタリング（分類）が行われる。クラスタ
リングの手法としては、代表的な方法であるＬＢＧ（Li
nde-Buzo-Gray ）アルゴリズム等がある。ＬＢＧアルゴ
リズムの詳細は、例えば、Linde ら、”An algorithm f
or Vector Quantization Design ”（IEEECOM-28(1980-
01)）に記載されている。
【００１１】上述した手順を経て、入力話者コードブッ
ク１４が作成される。図１（ｂ）は入力話者コードブッ
ク１４の構成を示す概念図であり、この図に示すよう
に、入力話者コードブック１４は、通常２５６〜５１２
程度のコードベクトル１５から構成される。各コードベ
クトル１５において、１６はコードベクトル番号であ
り、例えば、１〜２５６の自然数が順に割り当てられ
る。１７は入力話者学習用音声データ１３に対応するス
ペクトル特徴量であり、ここでは、数個のＬＰＣパラメ
ータで構成されている。
ク１４が作成される。図１（ｂ）は入力話者コードブッ
ク１４の構成を示す概念図であり、この図に示すよう
に、入力話者コードブック１４は、通常２５６〜５１２
程度のコードベクトル１５から構成される。各コードベ
クトル１５において、１６はコードベクトル番号であ
り、例えば、１〜２５６の自然数が順に割り当てられ
る。１７は入力話者学習用音声データ１３に対応するス
ペクトル特徴量であり、ここでは、数個のＬＰＣパラメ
ータで構成されている。
【００１２】次に、スペクトル変換規則を決定する際に
使用されるマッピングコードブック２８を作成する過程
を、図２を参照して説明する。マッピングコードブック
２８は、入力話者の音声信号と変換対象話者の音声信号
とを統計的に対応付けるものである。まず、ステップ２
１において、変換対象話者学習用音声データ２３から変
換対象話者コードブック２２が作成される。この作成手
順は、図１（ａ）に示す手順と同一であるので、その説
明を省略する。
使用されるマッピングコードブック２８を作成する過程
を、図２を参照して説明する。マッピングコードブック
２８は、入力話者の音声信号と変換対象話者の音声信号
とを統計的に対応付けるものである。まず、ステップ２
１において、変換対象話者学習用音声データ２３から変
換対象話者コードブック２２が作成される。この作成手
順は、図１（ａ）に示す手順と同一であるので、その説
明を省略する。
【００１３】次に、ステップ２４，２４では、入力話者
および変換対象話者コードブック１４，２２に基づい
て、入力話者学習用音声データ１３および変換対象話者
学習用音声データ２３それぞれに、ＬＰＣ分析およびベ
クトル量子化処理が施される。ここで、ベクトル量子化
処理とは、各音声データ１３，２３をＬＰＣ分析して得
られたＬＰＣパラメータに、最も似かよっているスペク
トル特徴量１７を有するコードベクトル１５を各コード
ブック１４，２２から抽出し、抽出されたコードベクト
ル１５中のスペクトル特徴量１７を出力する処理であ
る。ベクトル量子化の詳細については、例えば、古井貞
煕著、「デジタル音声処理」に記載されている。
および変換対象話者コードブック１４，２２に基づい
て、入力話者学習用音声データ１３および変換対象話者
学習用音声データ２３それぞれに、ＬＰＣ分析およびベ
クトル量子化処理が施される。ここで、ベクトル量子化
処理とは、各音声データ１３，２３をＬＰＣ分析して得
られたＬＰＣパラメータに、最も似かよっているスペク
トル特徴量１７を有するコードベクトル１５を各コード
ブック１４，２２から抽出し、抽出されたコードベクト
ル１５中のスペクトル特徴量１７を出力する処理であ
る。ベクトル量子化の詳細については、例えば、古井貞
煕著、「デジタル音声処理」に記載されている。
【００１４】上述したベクトル量子化処理により、変換
対象話者コードベクトル系列２５および入力話者コード
ベクトル系列２６が得られる。次に、ステップ２７で
は、入力話者コードベクトル系列２６および変換対象話
者コードベクトル系列２５から、両者を対応付けるマッ
ピングコードベクトルが生成される。マッピングコード
ベクトルは複数生成され、これらのマッピングコードベ
クトルからマッピングコードブック２８が作成される。
対象話者コードベクトル系列２５および入力話者コード
ベクトル系列２６が得られる。次に、ステップ２７で
は、入力話者コードベクトル系列２６および変換対象話
者コードベクトル系列２５から、両者を対応付けるマッ
ピングコードベクトルが生成される。マッピングコード
ベクトルは複数生成され、これらのマッピングコードベ
クトルからマッピングコードブック２８が作成される。
【００１５】マッピングコードベクトルの生成方法とし
ては、各入力話者コードベクトル系列２６毎に、対応す
る複数の変換対象話者コードベクトル系列２５を集計
し、重み付け平均化により生成する公知の方法を用い
る。この方法の詳細は、例えば、阿部ら、”Voice Conv
ersion through vector quantization”（JASJ(E) 11,2
(1990) pp.71-76）に記載されている。
ては、各入力話者コードベクトル系列２６毎に、対応す
る複数の変換対象話者コードベクトル系列２５を集計
し、重み付け平均化により生成する公知の方法を用い
る。この方法の詳細は、例えば、阿部ら、”Voice Conv
ersion through vector quantization”（JASJ(E) 11,2
(1990) pp.71-76）に記載されている。
【００１６】こうして作成されたマッピングコードブッ
ク２８を用いて、スペクトル変換規則３３を作成する過
程を、図３を参照して説明する。スペクトル変換規則３
３は、音声の個人性に関係する特徴量の一つであるフォ
ルマント周波数を変換する規則である。図３において、
まず、ステップ３１，３１では、入力話者コードブック
１４中の各コードベクトル１５と、マッピングコードブ
ック２８中の各マッピングコードベクトルとに、それぞ
れフォルマント分析を施す。これにより、各ベクトルに
対するフォルマント周波数が求められる。
ク２８を用いて、スペクトル変換規則３３を作成する過
程を、図３を参照して説明する。スペクトル変換規則３
３は、音声の個人性に関係する特徴量の一つであるフォ
ルマント周波数を変換する規則である。図３において、
まず、ステップ３１，３１では、入力話者コードブック
１４中の各コードベクトル１５と、マッピングコードブ
ック２８中の各マッピングコードベクトルとに、それぞ
れフォルマント分析を施す。これにより、各ベクトルに
対するフォルマント周波数が求められる。
【００１７】フォルマント周波数の分析手法は多々あ
り、例えば、ＬＰＣ極抽出に基づく方法を簡便に用いる
ことができる。フォルマント周波数の分析手法の詳細
は、例えば、板倉ら、「統計的手法による音声スペクト
ル密度とホルマント周波数の推定」（信学論、(1970),5
3-A,1,pp.35-42）に記載されている。
り、例えば、ＬＰＣ極抽出に基づく方法を簡便に用いる
ことができる。フォルマント周波数の分析手法の詳細
は、例えば、板倉ら、「統計的手法による音声スペクト
ル密度とホルマント周波数の推定」（信学論、(1970),5
3-A,1,pp.35-42）に記載されている。
【００１８】次に、ステップ３２では、スペクトル変換
規則３３が求められる。具体的には、まず、図４に示す
ように、入力話者コードブック１４中のコードベクトル
１５における第１〜第４フォルマントＦ１〜Ｆ４を求め
る。次に、このコードベクトル１５に対応するマッピン
グコードベクトルを、マッピングコードブック２８から
検索し、当該マッピングコードベクトルから変換対象話
者に対応するコードベクトルを抽出する。そして、抽出
されたコードベクトルにおける第１〜第４フォルマント
Ｆ’１〜Ｆ’４を求め、それぞれ、上記第１〜第４のフ
ォルマントＦ１〜Ｆ４と対応させる。両者の対応付け
は、自動的に、あるいは手作業で行われる。
規則３３が求められる。具体的には、まず、図４に示す
ように、入力話者コードブック１４中のコードベクトル
１５における第１〜第４フォルマントＦ１〜Ｆ４を求め
る。次に、このコードベクトル１５に対応するマッピン
グコードベクトルを、マッピングコードブック２８から
検索し、当該マッピングコードベクトルから変換対象話
者に対応するコードベクトルを抽出する。そして、抽出
されたコードベクトルにおける第１〜第４フォルマント
Ｆ’１〜Ｆ’４を求め、それぞれ、上記第１〜第４のフ
ォルマントＦ１〜Ｆ４と対応させる。両者の対応付け
は、自動的に、あるいは手作業で行われる。
【００１９】次に、第１〜第４のフォルマントＦ１〜Ｆ
４に対応する周波数ω１，ω２，ω３，ω４と、第１〜
第４のフォルマントＦ’１〜Ｆ’４に対応する周波数
ω’１，ω’２，ω’３，ω’４をスペクトル変換規則
３３に記録する。ここで、音韻種別によっては第４フォ
ルマントが存在しない場合があり、その際は、第４フォ
ルマントについては記録しない。
４に対応する周波数ω１，ω２，ω３，ω４と、第１〜
第４のフォルマントＦ’１〜Ｆ’４に対応する周波数
ω’１，ω’２，ω’３，ω’４をスペクトル変換規則
３３に記録する。ここで、音韻種別によっては第４フォ
ルマントが存在しない場合があり、その際は、第４フォ
ルマントについては記録しない。
【００２０】こうして、スペクトル変換規則３３が作成
される。スペクトル変換規則３３の一例を図５に示す。
この図に示すように、スペクトル変換規則３３は、複数
のレコードから構成され、各レコードには、１〜２５６
の自然数であるスペクトル変換規則番号３４が割り当て
られている。このスペクトル変換規則番号３４は、入力
話者コードブック１４中のコードベクトル番号１６と１
対１で対応するように割り当てられている。
される。スペクトル変換規則３３の一例を図５に示す。
この図に示すように、スペクトル変換規則３３は、複数
のレコードから構成され、各レコードには、１〜２５６
の自然数であるスペクトル変換規則番号３４が割り当て
られている。このスペクトル変換規則番号３４は、入力
話者コードブック１４中のコードベクトル番号１６と１
対１で対応するように割り当てられている。
【００２１】また、各レコードには、第１〜第４のフォ
ルマント別に、対応する周波数が記録されている。例え
ば、スペクトル変換規則番号が「１」であるレコードで
は、第１のフォルマントについて、周波数ω１（７１
０）と周波数ω’１（８１５）とが対応付けられて記録
されている。
ルマント別に、対応する周波数が記録されている。例え
ば、スペクトル変換規則番号が「１」であるレコードで
は、第１のフォルマントについて、周波数ω１（７１
０）と周波数ω’１（８１５）とが対応付けられて記録
されている。
【００２２】上述した過程を経て作成された、スペクト
ル変換規則３３を用いて、入力音声信号を声質の異なる
変換音声信号に変換する過程を、図６を参照して説明す
る。図６において、まず、ステップ４１では、入力音声
信号に対して、スペクトル分析処理が行われる。スペク
トル分析処理は、ＬＰＣ分析処理およびＦＦＴ分析処理
からなり、入力音声信号に応じたＬＰＣパラメータおよ
びＦＦＴパラメータ（スペクトル）が得られる。
ル変換規則３３を用いて、入力音声信号を声質の異なる
変換音声信号に変換する過程を、図６を参照して説明す
る。図６において、まず、ステップ４１では、入力音声
信号に対して、スペクトル分析処理が行われる。スペク
トル分析処理は、ＬＰＣ分析処理およびＦＦＴ分析処理
からなり、入力音声信号に応じたＬＰＣパラメータおよ
びＦＦＴパラメータ（スペクトル）が得られる。
【００２３】次に、ステップ４２では、ステップ４１で
得られたＬＰＣパラメータを、予め作成しておいた入力
話者コードブック１４に基づいてベクトル量子化する。
これにより、入力音声信号に対応するコードベクトルが
得られる。次に、ステップ４３では、ステップ４１で得
られたＦＦＴパラメータを変換する。この変換過程を以
下に説明する。
得られたＬＰＣパラメータを、予め作成しておいた入力
話者コードブック１４に基づいてベクトル量子化する。
これにより、入力音声信号に対応するコードベクトルが
得られる。次に、ステップ４３では、ステップ４１で得
られたＦＦＴパラメータを変換する。この変換過程を以
下に説明する。
【００２４】具体的には、まず、ステップ４２で得られ
たコードベクトルに対応するレコードを、予め作成して
おいたスペクトル変換規則３３から抽出する。そして、
抽出されたレコードに表される変換規則に従って、ステ
ップ４１で得られたＦＦＴパラメータ（スペクトル）の
フォルマント周波数を変換する。フォルマント周波数の
変換方法の詳細は、水野ら、「制御自由度の高いフォル
マント周波数変換法」（音講論集、pp.319-340）に記載
されているため、ここでは、その概略を説明するにとど
める。
たコードベクトルに対応するレコードを、予め作成して
おいたスペクトル変換規則３３から抽出する。そして、
抽出されたレコードに表される変換規則に従って、ステ
ップ４１で得られたＦＦＴパラメータ（スペクトル）の
フォルマント周波数を変換する。フォルマント周波数の
変換方法の詳細は、水野ら、「制御自由度の高いフォル
マント周波数変換法」（音講論集、pp.319-340）に記載
されているため、ここでは、その概略を説明するにとど
める。
【００２５】本実施例の変換方法では、入力音声信号を
１ピッチ単位で切り出し、ＬＰＣ極分析によって入力音
声のフォルマントを抽出する。そして、あるフォルマン
トの周波数を変換する際には、当該フォルマントのスペ
クトル密度と、当該フォルマントにおいて所望するスペ
クトル密度との差を、繰り返し処理によって一定値以下
に抑えつつ、所望するフォルマント周波数が変換された
全極型スペクトル特性を決定する。次に、こうして得ら
れた全極型スペクトル特性を有する全極型フィルタを構
成し、所望するフォルマント周波数特性が得られるまで
繰り返し原音声に対して作用させて、所望するフォルマ
ント周波数に音声を変換する。
１ピッチ単位で切り出し、ＬＰＣ極分析によって入力音
声のフォルマントを抽出する。そして、あるフォルマン
トの周波数を変換する際には、当該フォルマントのスペ
クトル密度と、当該フォルマントにおいて所望するスペ
クトル密度との差を、繰り返し処理によって一定値以下
に抑えつつ、所望するフォルマント周波数が変換された
全極型スペクトル特性を決定する。次に、こうして得ら
れた全極型スペクトル特性を有する全極型フィルタを構
成し、所望するフォルマント周波数特性が得られるまで
繰り返し原音声に対して作用させて、所望するフォルマ
ント周波数に音声を変換する。
【００２６】次に、ステップ４４では、ステップ４３で
スペクトル変換されて得られるＦＦＴパラメータ（スペ
クトル）から、音声信号をＩＦＦＴにより合成し、変換
音声信号を出力する。この変換音声信号は、変換対象話
者の声質を有したものとなる。
スペクトル変換されて得られるＦＦＴパラメータ（スペ
クトル）から、音声信号をＩＦＦＴにより合成し、変換
音声信号を出力する。この変換音声信号は、変換対象話
者の声質を有したものとなる。
【００２７】以上説明したように、入力話者コードブッ
ク１４中のコードベクトル１５における第１〜第４フォ
ルマントＦ１〜Ｆ４と、このコードベクトル１５に対応
するマッピングコードベクトルにおける第１〜第４フォ
ルマントＦ’１〜Ｆ’４とが対応付けられている。ま
た、上記マッピングコードベクトルは、入力話者コード
ブック１４中の各コードベクトル１５に対応して重み付
け平均化された変換対象話者コードブック２２から生成
されている。したがって、上記スペクトル変換規則３３
を用いることにより、入力音声に対して適応的な変換を
行うことができる。これにより、変換音声信号は高品質
なものとなることが保証される。
ク１４中のコードベクトル１５における第１〜第４フォ
ルマントＦ１〜Ｆ４と、このコードベクトル１５に対応
するマッピングコードベクトルにおける第１〜第４フォ
ルマントＦ’１〜Ｆ’４とが対応付けられている。ま
た、上記マッピングコードベクトルは、入力話者コード
ブック１４中の各コードベクトル１５に対応して重み付
け平均化された変換対象話者コードブック２２から生成
されている。したがって、上記スペクトル変換規則３３
を用いることにより、入力音声に対して適応的な変換を
行うことができる。これにより、変換音声信号は高品質
なものとなることが保証される。
【００２８】
【発明の効果】以上説明したように、本発明によれば、
スペクトル分析の結果は、入力話者のコードブックに基
づいてベクトル量子化され、このベクトル量子化で得ら
れたコードベクトルに対応する変換規則が、スペクトル
変換規則から選択されて入力音声の波形に適用される。
前記変換規則は、入力音声の特徴と変換対象話者の音声
の特徴とを統計的な手法を用いて対応付けたものであ
り、入力音声に対して適応的に選択される。したがっ
て、音声の品質を保ちつつ、声質を制御することができ
るという効果がある。
スペクトル分析の結果は、入力話者のコードブックに基
づいてベクトル量子化され、このベクトル量子化で得ら
れたコードベクトルに対応する変換規則が、スペクトル
変換規則から選択されて入力音声の波形に適用される。
前記変換規則は、入力音声の特徴と変換対象話者の音声
の特徴とを統計的な手法を用いて対応付けたものであ
り、入力音声に対して適応的に選択される。したがっ
て、音声の品質を保ちつつ、声質を制御することができ
るという効果がある。
【図１】本発明の一実施例による声質変換方法を説明す
るための図である。
るための図である。
【図２】マッピングコードブック２８の作成過程を示す
図である。
図である。
【図３】スペクトル変換規則３３の作成過程を示す図で
ある。
ある。
【図４】スペクトル変換規則３３を説明するための図で
ある。
ある。
【図５】スペクトル変換規則３３の構成を示す概念図で
ある。
ある。
【図６】スペクトル変換規則３３を用いた声質変換過程
を示す図である。
を示す図である。
１４ 入力話者コードブック ２２ 変換対象話者コードブック ２８ マッピングコードブック ３３ スペクトル変換規則
フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G10L 13/00
Claims (2)
- 【請求項１】 入力話者による入力音声を、前記入力話
者と異なる変換対象話者の声質を有する音声に変換する
声質変換方法において、入力音声波形をスペクトル分析し、この分析結果を入力
話者コードブックに基づいてベクトル量子化することに
より前記入力音声に対応するスペクトル特徴量を有する
コードベクトルを得る第１のステップと、 複数のレコードから構成され、各レコードは前記コード
ベクトルにおける複数のフォルマントについて変換対象
話者の複数のフォルマントと各々対応付けて記録される
よう予め作成しておいたスペクトル変換規則から前記コ
ードベクトルに対応するレコードを抽出する第２のステ
ップと、 前記レコードに従って前記コードベクトルにおけるフォ
ルマント周波数を前記変換対象話者のフォルマント周波
数に変換と共に、該フォルマント周波数の変換におい
て、前記入力音声信号のフォルマントのスペクトル密度
と前記変換対象話者のフォルマントのスペクトル密度と
の差を一定値以下に抑えるように繰り返し処理を行う第
３のステップと、 第３のステップでスペクトル変換されて得られる音声信
号をＩＦＦＴにより変換音声信号に変換する第４のステ
ップとを有する ことを特徴とする声質変換方法。 - 【請求項２】 前記スペクトル変換規則は、 前記入力話者音声信号からスペクトル特徴量を算出し、
前記スペクトル特徴量を分類してコードベクトルとして
コードベクトル番号を割り当てて入力話者コードブック
を構成する第１のステップと、 変換対象話者音声信号からスペクトル特徴量を算出し、
前記スペクトル特徴量を分類してコードベクトルとして
コードベクトル番号を割り当てて変換対象話者コードブ
ックを構成する第２のステップと、 前記入力話者コードブック及び前記変換対象話者コード
ブックを用いて、それぞれ入力話者音声データ及び変換
対象話者音声データのスペクトル特徴量を算出しベクト
ル量子化して入力話者コードベクトル系列及び変換対象
話者コードベクトル系列をそれぞれ生成する第３のステ
ップと、 前記入力話者コードベクトル系列及び前記変換対象話者
コードベクトル系列を対応付けてマッピングコードベク
トルからなるマッピングコードブックを作成する第４の
ステップと、 前記入力話者コードブック中の各コードベクトル及び対
応する前記マッピングコードブック中の各コードベクト
ルをそれぞれフォルマント分析してフォルマント周波数
を求め、前記入力話者コードベクトルのフォルマント周
波数と前記変換対象話者コードベクトルのフォルマント
周波数を対応させる第５のステップとにより作成される
ことを特徴とする請求項１に記載の声質変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24718493A JP3282693B2 (ja) | 1993-10-01 | 1993-10-01 | 声質変換方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24718493A JP3282693B2 (ja) | 1993-10-01 | 1993-10-01 | 声質変換方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07104792A JPH07104792A (ja) | 1995-04-21 |
| JP3282693B2 true JP3282693B2 (ja) | 2002-05-20 |
Family
ID=17159695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24718493A Expired - Fee Related JP3282693B2 (ja) | 1993-10-01 | 1993-10-01 | 声質変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3282693B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001282267A (ja) * | 2000-03-29 | 2001-10-12 | Mega Chips Corp | 音声処理システム及び音声処理方法 |
| JP2003181136A (ja) | 2001-12-14 | 2003-07-02 | Sega Corp | 音声制御方法 |
| JP3941611B2 (ja) | 2002-07-08 | 2007-07-04 | ヤマハ株式会社 | 歌唱合成装置、歌唱合成方法及び歌唱合成用プログラム |
| JP4830350B2 (ja) * | 2005-05-26 | 2011-12-07 | カシオ計算機株式会社 | 声質変換装置、及びプログラム |
| WO2007063827A1 (ja) * | 2005-12-02 | 2007-06-07 | Asahi Kasei Kabushiki Kaisha | 声質変換システム |
| JP4840082B2 (ja) * | 2006-11-01 | 2011-12-21 | ヤマハ株式会社 | 音声通信装置 |
| FR3062945B1 (fr) * | 2017-02-13 | 2019-04-05 | Centre National De La Recherche Scientifique | Methode et appareil de modification dynamique du timbre de la voix par decalage en frequence des formants d'une enveloppe spectrale |
-
1993
- 1993-10-01 JP JP24718493A patent/JP3282693B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07104792A (ja) | 1995-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7035791B2 (en) | Feature-domain concatenative speech synthesis | |
| US7792672B2 (en) | Method and system for the quick conversion of a voice signal | |
| US5165008A (en) | Speech synthesis using perceptual linear prediction parameters | |
| JP2018510374A (ja) | 目標時間領域エンベロープを用いて処理されたオーディオ信号を得るためにオーディオ信号を処理するための装置および方法 | |
| JP2007249212A (ja) | テキスト音声合成のための方法、コンピュータプログラム及びプロセッサ | |
| Wang et al. | PerformanceNet: Score-to-audio music generation with multi-band convolutional residual network | |
| JPH0585916B2 (ja) | ||
| Choi et al. | Korean singing voice synthesis based on auto-regressive boundary equilibrium gan | |
| Cogliati et al. | Piano music transcription with fast convolutional sparse coding | |
| CN108369803B (zh) | 用于形成基于声门脉冲模型的参数语音合成系统的激励信号的方法 | |
| GB2603776A (en) | Methods and systems for modifying speech generated by a text-to-speech synthesiser | |
| Kim | Singing voice analysis/synthesis | |
| JP3282693B2 (ja) | 声質変換方法 | |
| Caetano et al. | A source-filter model for musical instrument sound transformation | |
| JP6330069B2 (ja) | 統計的パラメトリック音声合成のためのマルチストリームスペクトル表現 | |
| CA2671068C (en) | Multicodebook source-dependent coding and decoding | |
| JP2017520016A (ja) | パラメトリック音声合成システムに基づく声門パルスモデルの励磁信号形成方法 | |
| JP3281266B2 (ja) | 音声合成方法及び装置 | |
| Agarwal et al. | Leveraging symmetrical convolutional transformer networks for speech to singing voice style transfer | |
| JP2005157350A (ja) | 区分的線形近似を用いた連続値声道共鳴追跡の方法および装置 | |
| JPH09319394A (ja) | 音声合成方法 | |
| JP2539351B2 (ja) | 音声合成方法 | |
| Banset et al. | Deep learning based voice conversion network | |
| JP6234134B2 (ja) | 音声合成装置 | |
| Kim et al. | Controllable and Interpretable Singing Voice Decomposition via Assem-VC |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |