JPH09244694A - 声質変換方法 - Google Patents
声質変換方法Info
- Publication number
- JPH09244694A JPH09244694A JP4742396A JP4742396A JPH09244694A JP H09244694 A JPH09244694 A JP H09244694A JP 4742396 A JP4742396 A JP 4742396A JP 4742396 A JP4742396 A JP 4742396A JP H09244694 A JPH09244694 A JP H09244694A
- Authority
- JP
- Japan
- Prior art keywords
- conversion
- voice
- spectrum
- envelope
- divided
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】 高品質な変換音声を得ることができ、かつ変
換効率をよくする。 【解決手段】 変換元話者Ａの音声と変換先話者Ｂの音
声とを各５母音について各スペクトル包絡を抽出し、そ
の各スペクトル包絡のピーク点を求め、そのピーク点の
周波数を基準として各スペクトル包絡を帯域分割し、こ
れら分割点について周波数差と強度差を求め、よく各分
割スペクトル包絡をそれぞれＮ分割して、それぞれ近似
し、対応するものの間の強度差を求め、これら差を変換
テーブルとしてもつ。Ａの入力音声を分析して（４０
１）、スペクトル包絡を得、これのピークを抽出し（４
０２）、その抽出ピークから母音を識別し（４０３）。
これと対する変換テーブル１０９を取出し、これを用い
て、入力音声の分割スペクトル包絡（４０６）とピーク
点、分割点を加減算して変形し（４０７、４０８）、こ
の変形スペクトルを用いて音声合成する（４１０）。
換効率をよくする。 【解決手段】 変換元話者Ａの音声と変換先話者Ｂの音
声とを各５母音について各スペクトル包絡を抽出し、そ
の各スペクトル包絡のピーク点を求め、そのピーク点の
周波数を基準として各スペクトル包絡を帯域分割し、こ
れら分割点について周波数差と強度差を求め、よく各分
割スペクトル包絡をそれぞれＮ分割して、それぞれ近似
し、対応するものの間の強度差を求め、これら差を変換
テーブルとしてもつ。Ａの入力音声を分析して（４０
１）、スペクトル包絡を得、これのピークを抽出し（４
０２）、その抽出ピークから母音を識別し（４０３）。
これと対する変換テーブル１０９を取出し、これを用い
て、入力音声の分割スペクトル包絡（４０６）とピーク
点、分割点を加減算して変形し（４０７、４０８）、こ
の変形スペクトルを用いて音声合成する（４１０）。
Description
【０００１】
【発明の属する技術分野】この発明はある話者の発声し
た音声を入力して、その音声をあたかも特定の別人が発
声したかのように変形する声質変換方法に関する。
た音声を入力して、その音声をあたかも特定の別人が発
声したかのように変形する声質変換方法に関する。
【０００２】
【従来の技術】例えば駅の構内放送、自動応答サービス
などでは、あらかじめ人間が発声した音声を録音してお
き、その録音音声をサービス時に再生している。この場
合、その１つの音声（メッセージ）内に異なる人の音声
が混在していると、これを聞いた者は混乱を来すので一
つの音声メッセージは同一人物によって発声されること
が好ましい。一方、駅名の追加、サービスの変更などは
頻繁に起こる。従って音声メッセージの追加修正は頻繁
に生じる。この場合、既存の音声を発声した人物が、追
加乃至変更の発声をできない場合がある。一方、音声メ
ッセージの一部の変更又は追加のために全メッセージを
発声し直すことは、多大な時間と費用を費やすことが多
い。このような場合、その一部の追加、変更音声を原音
声メッセージを発声した人物があたかも発声したかのよ
うに声質を変換できれば頗る便利である。このような場
合に限らず、ある人が発声した音声をあたかも他の特定
の人物が発声したかのように声質を変換できれば便利な
場合もある。
などでは、あらかじめ人間が発声した音声を録音してお
き、その録音音声をサービス時に再生している。この場
合、その１つの音声（メッセージ）内に異なる人の音声
が混在していると、これを聞いた者は混乱を来すので一
つの音声メッセージは同一人物によって発声されること
が好ましい。一方、駅名の追加、サービスの変更などは
頻繁に起こる。従って音声メッセージの追加修正は頻繁
に生じる。この場合、既存の音声を発声した人物が、追
加乃至変更の発声をできない場合がある。一方、音声メ
ッセージの一部の変更又は追加のために全メッセージを
発声し直すことは、多大な時間と費用を費やすことが多
い。このような場合、その一部の追加、変更音声を原音
声メッセージを発声した人物があたかも発声したかのよ
うに声質を変換できれば頗る便利である。このような場
合に限らず、ある人が発声した音声をあたかも他の特定
の人物が発声したかのように声質を変換できれば便利な
場合もある。
【０００３】声質を変換する従来の方法として、スペク
トル包絡からフォルマント周波数を抽出して変換する方
法（例えば、文献１）と、スペクトル包絡を１つのベク
トルと考え、ベクトルのマッピングによって変換する方
法（例えば、文献２）がある。前者は、フォルマントの
間での相関関係があるため、必ずしも希望するフォルマ
ントが実現できるわけでは無く、高品質な変換音声を得
ることは困難である。また、後者は、スペクトルの包絡
の全体の歪を扱っているため、変換の効率が上がらず、
高品質な音声を得るには至っていない。
トル包絡からフォルマント周波数を抽出して変換する方
法（例えば、文献１）と、スペクトル包絡を１つのベク
トルと考え、ベクトルのマッピングによって変換する方
法（例えば、文献２）がある。前者は、フォルマントの
間での相関関係があるため、必ずしも希望するフォルマ
ントが実現できるわけでは無く、高品質な変換音声を得
ることは困難である。また、後者は、スペクトルの包絡
の全体の歪を扱っているため、変換の効率が上がらず、
高品質な音声を得るには至っていない。
【０００４】（文献１）桑原、大串、“ホルマント周波
数、バンド幅の独立制御と個人性判断、”電子通信学会
論文誌、Ｖｏｌ．Ｊ６９−Ａ Ｎｏ．４，ｐｐ．５０９
−５１７（１９８６） （文献２）Ｍ．Ａｂｅ，Ｓ．Ｎａｋａｍｕｒａ，Ｋ．Ｓ
ｈｉｋａｎｏ，Ｈ．Ｋｕｗａｂａｒａ，“Ｖｏｉｃｅ
ｃｏｎｖｅｒｓｉｏｎ ｔｈｒｏｕｇｈ ｖｅｃｔｏｒ
ｑｕａｎｔｉｚａｔｉｏｎ，”Ｊ．Ａｃｏｕｓｔ．Ｓ
ｏｃ．Ｊｐｎ．（Ｅ）１１，２，ｐｐ．７１−７６（１
９９０）
数、バンド幅の独立制御と個人性判断、”電子通信学会
論文誌、Ｖｏｌ．Ｊ６９−Ａ Ｎｏ．４，ｐｐ．５０９
−５１７（１９８６） （文献２）Ｍ．Ａｂｅ，Ｓ．Ｎａｋａｍｕｒａ，Ｋ．Ｓ
ｈｉｋａｎｏ，Ｈ．Ｋｕｗａｂａｒａ，“Ｖｏｉｃｅ
ｃｏｎｖｅｒｓｉｏｎ ｔｈｒｏｕｇｈ ｖｅｃｔｏｒ
ｑｕａｎｔｉｚａｔｉｏｎ，”Ｊ．Ａｃｏｕｓｔ．Ｓ
ｏｃ．Ｊｐｎ．（Ｅ）１１，２，ｐｐ．７１−７６（１
９９０）
【０００５】
【発明が解決しようとする課題】上記のように、従来の
声質変換方法は、声質の変換性能の点において、十分で
あるとは言えない。この発明の目的は、より精度良く声
質を変換することができる声質変換方法を提供すること
にある。
声質変換方法は、声質の変換性能の点において、十分で
あるとは言えない。この発明の目的は、より精度良く声
質を変換することができる声質変換方法を提供すること
にある。
【０００６】
【課題を解決するための手段】この発明によれば第１、
第２話者がそれぞれ発声した第１、第２音声から第１、
第２スペクトル包絡をそれぞれ抽出し、これら抽出した
第１、第２スペクトル包絡を、そのエネルギーの集中し
た周波数を基準としてそれぞれ複数の周波数帯域に分割
し、これら分割された帯域ごとに第１スペクトル包絡を
第２スペクトル包絡に変換する。
第２話者がそれぞれ発声した第１、第２音声から第１、
第２スペクトル包絡をそれぞれ抽出し、これら抽出した
第１、第２スペクトル包絡を、そのエネルギーの集中し
た周波数を基準としてそれぞれ複数の周波数帯域に分割
し、これら分割された帯域ごとに第１スペクトル包絡を
第２スペクトル包絡に変換する。
【０００７】この変換は分割された帯域ごとに第１、第
２スペクトル包絡の変換規則を生成し、この変換規則を
参照して行う。この変換規則は第１、第２スペクトル包
絡の差分を用いることができる。音声のスペクトル空間
をクラスタリングにより複数に分割し、その各分割され
た空間ごとに前記帯域分割されたスペクトル包絡の変換
規則を用意して前記変換を行う。
２スペクトル包絡の変換規則を生成し、この変換規則を
参照して行う。この変換規則は第１、第２スペクトル包
絡の差分を用いることができる。音声のスペクトル空間
をクラスタリングにより複数に分割し、その各分割され
た空間ごとに前記帯域分割されたスペクトル包絡の変換
規則を用意して前記変換を行う。
【０００８】時間的に連続する変換要素の各変換規則間
を線形変換して、これら間における変換規則とする。
を線形変換して、これら間における変換規則とする。
【０００９】
【発明の実施の形態】次にこの発明の実施例を説明す
る。この実施例においてはまず変換テーブルを作成し、
その変換テーブルを用いて、声質変換を行う。図１に変
換テーブルの作成方法の処理手順を示す。変換元話者
Ａ、変換先話者Ｂがそれぞれ発声した定常各母音をそれ
ぞれＰＳＥ分析部１０１，１０２でＰＳＥ分析してスペ
クトル包絡をそれぞれ抽出する。このスペクトル包絡の
抽出はＰＳＥ分析による場合に限らず、ＬＰＣ分析、ケ
プストラム分析などスペクトル包絡を抽出できる方法で
あればどのようなものでもよい。
る。この実施例においてはまず変換テーブルを作成し、
その変換テーブルを用いて、声質変換を行う。図１に変
換テーブルの作成方法の処理手順を示す。変換元話者
Ａ、変換先話者Ｂがそれぞれ発声した定常各母音をそれ
ぞれＰＳＥ分析部１０１，１０２でＰＳＥ分析してスペ
クトル包絡をそれぞれ抽出する。このスペクトル包絡の
抽出はＰＳＥ分析による場合に限らず、ＬＰＣ分析、ケ
プストラム分析などスペクトル包絡を抽出できる方法で
あればどのようなものでもよい。
【００１０】次にローカルピーク抽出部１０３，１０４
で、分析部１０１，１０２でそれぞれ抽出されたスペク
トル包絡のピークを見つけ、そのピークにおける周波数
をローカルピーク周波数と呼ぶ。このピークの抽出は、
両入力音声をＬＰＣ分析して極周波数を求め、そのバン
ド幅の狭い極を選択し、この周波数近傍における（例え
ばその前後１０ポイント）ＰＳＥスペクトル包絡上のピ
ークをそれぞれ求めて行ってもよい。また各母音ごとに
有音区間におけるスペクトル包絡とローカルピーク周波
数の各平均値を求め、これらを用いることができる。
で、分析部１０１，１０２でそれぞれ抽出されたスペク
トル包絡のピークを見つけ、そのピークにおける周波数
をローカルピーク周波数と呼ぶ。このピークの抽出は、
両入力音声をＬＰＣ分析して極周波数を求め、そのバン
ド幅の狭い極を選択し、この周波数近傍における（例え
ばその前後１０ポイント）ＰＳＥスペクトル包絡上のピ
ークをそれぞれ求めて行ってもよい。また各母音ごとに
有音区間におけるスペクトル包絡とローカルピーク周波
数の各平均値を求め、これらを用いることができる。
【００１１】スペクトル包絡分割及び近似部１０５，１
０６でこれら抽出されたローカルピーク周波数をそれぞ
れ基準として、対応スペクトル包絡を分割する。即ち図
２Ａに示すようにスペクトル包絡１１を、その各ローカ
ルピーク周波数ｆp1，ｆp2…ｆp5の位置で帯域分割して
部分包絡１１1 ，１１2 ，…１１5 とする。これら帯域
分割された部分包絡１１1 ，１１2 ，…１１5 をそれぞ
れＮ点の代表値で近似する。つまり各部分包絡をそれぞ
れその周波数帯域をＮ＋１等分し、その各分割周波数に
おける包絡値をそれぞれ代表値とする。
０６でこれら抽出されたローカルピーク周波数をそれぞ
れ基準として、対応スペクトル包絡を分割する。即ち図
２Ａに示すようにスペクトル包絡１１を、その各ローカ
ルピーク周波数ｆp1，ｆp2…ｆp5の位置で帯域分割して
部分包絡１１1 ，１１2 ，…１１5 とする。これら帯域
分割された部分包絡１１1 ，１１2 ，…１１5 をそれぞ
れＮ点の代表値で近似する。つまり各部分包絡をそれぞ
れその周波数帯域をＮ＋１等分し、その各分割周波数に
おける包絡値をそれぞれ代表値とする。
【００１２】このようにして変換元話者Ａのスペクトル
の部分包絡１１ａ1 ，１１ａ2 ，…変換先話者Ｂのスペ
クトルの部分包絡１１ｂ1 ，１１ｂ2 ，…について、ロ
ーカルピーク間差分計算部１０７でローカルピークｆ
pa1 ，ｆpa2 …とｆpb1 ，ｆpb 2 ，…との各対応するス
ペクトル周波数の差ｆpa1 −ｆpb1 ，ｆpa2 −ｆpb，…
と、そのスペクトル強度の差とを計算して変換テーブル
１０９に格納する。またＮ割ポイント間差分計算部１０
８で、対応する部分包絡ごとの各Ｎ点の分割点ごとのス
ペクトル強度の差をそれぞれ計算して変換テーブル１０
９に格納する。つまり例えば図２Ｂに示すようにスペク
トル包絡１１ａ，１１ｂの対応ローカルピーク点１２ａ
3 ，１２ｂ3 の周波数差Δｆ3 と強度差ΔＥ3 を計算
し、これを各ローカルピーク点について求めてテーブル
１０９に格納し、同様に例えば部分包絡１１ａ4 ，１１
ｂ4 の各２番目の代表点１３ａ42、１３ｂ42のスペクト
ル強度差ΔＥ42を計算し、これを各対応代表点ごとに行
ってテーブル１０９に格納する。なお各部分包絡の代表
点をＮ点によって等分割して近似したが、２次関数、３
次関数、スプライン関数などの近似によってもよい。
の部分包絡１１ａ1 ，１１ａ2 ，…変換先話者Ｂのスペ
クトルの部分包絡１１ｂ1 ，１１ｂ2 ，…について、ロ
ーカルピーク間差分計算部１０７でローカルピークｆ
pa1 ，ｆpa2 …とｆpb1 ，ｆpb 2 ，…との各対応するス
ペクトル周波数の差ｆpa1 −ｆpb1 ，ｆpa2 −ｆpb，…
と、そのスペクトル強度の差とを計算して変換テーブル
１０９に格納する。またＮ割ポイント間差分計算部１０
８で、対応する部分包絡ごとの各Ｎ点の分割点ごとのス
ペクトル強度の差をそれぞれ計算して変換テーブル１０
９に格納する。つまり例えば図２Ｂに示すようにスペク
トル包絡１１ａ，１１ｂの対応ローカルピーク点１２ａ
3 ，１２ｂ3 の周波数差Δｆ3 と強度差ΔＥ3 を計算
し、これを各ローカルピーク点について求めてテーブル
１０９に格納し、同様に例えば部分包絡１１ａ4 ，１１
ｂ4 の各２番目の代表点１３ａ42、１３ｂ42のスペクト
ル強度差ΔＥ42を計算し、これを各対応代表点ごとに行
ってテーブル１０９に格納する。なお各部分包絡の代表
点をＮ点によって等分割して近似したが、２次関数、３
次関数、スプライン関数などの近似によってもよい。
【００１３】上述したように母音ごとに作られた変換テ
ーブル１０９を用いて変換元話者Ａの音声を変換先話者
Ｂの音声に声質変換を行う手順を図３を参照して説明す
る。入力された変換元話者Ａの音声をＰＳＥ分析部４０
１でＰＳＥ分析を行いスペクトル包絡、基本周波数、有
声、無声判別を求める。その求めたスペクトル包絡のロ
ーカルピークをローカルピーク抽出部４０２で抽出す
る。この抽出は図１中のローカルピーク抽出部１０３，
１０４と同様の処理により行えばよい。
ーブル１０９を用いて変換元話者Ａの音声を変換先話者
Ｂの音声に声質変換を行う手順を図３を参照して説明す
る。入力された変換元話者Ａの音声をＰＳＥ分析部４０
１でＰＳＥ分析を行いスペクトル包絡、基本周波数、有
声、無声判別を求める。その求めたスペクトル包絡のロ
ーカルピークをローカルピーク抽出部４０２で抽出す
る。この抽出は図１中のローカルピーク抽出部１０３，
１０４と同様の処理により行えばよい。
【００１４】この抽出されたローカルピークの情報を用
いて、母音識別部４０３で何れの母音であるか識別を行
い、その識別された母音に対する変換テーブルをテーブ
ル検索部４０４により変換テーブル１０９中から取り出
す。入力音声中で母音が連続する場合は、その両母音の
変換テーブルをそれぞれ取り出し、変換テーブル変更部
４０５でこれら変換テーブル間を線形変換して、両変換
されるべき母音のスペクトル包絡に対する変形処理の各
演算フレームにおいて用いる変換テーブルを得る。例え
ば入力音声がａからｉと連続入力されると、図４に示す
ように母音ａの変換テーブル２１と母音ｉの変換テーブ
ル２２とをその入力母音ａ，ｉの入力時点ｔ1 ，ｔ2 の
間隔をもって配し、両変換テーブル２１，２２の各対応
するローカルピーク周波数点、また対応する分割点の値
間を直線で結び、時点ｔ1 ，ｔ2間の各演算フレームＦ
1 ，Ｆ2 ，Ｆ3 ，…における前記結んだ直線上の値を求
めて、それぞれそのフレームにおける変換テーブルとす
る。
いて、母音識別部４０３で何れの母音であるか識別を行
い、その識別された母音に対する変換テーブルをテーブ
ル検索部４０４により変換テーブル１０９中から取り出
す。入力音声中で母音が連続する場合は、その両母音の
変換テーブルをそれぞれ取り出し、変換テーブル変更部
４０５でこれら変換テーブル間を線形変換して、両変換
されるべき母音のスペクトル包絡に対する変形処理の各
演算フレームにおいて用いる変換テーブルを得る。例え
ば入力音声がａからｉと連続入力されると、図４に示す
ように母音ａの変換テーブル２１と母音ｉの変換テーブ
ル２２とをその入力母音ａ，ｉの入力時点ｔ1 ，ｔ2 の
間隔をもって配し、両変換テーブル２１，２２の各対応
するローカルピーク周波数点、また対応する分割点の値
間を直線で結び、時点ｔ1 ，ｔ2間の各演算フレームＦ
1 ，Ｆ2 ，Ｆ3 ，…における前記結んだ直線上の値を求
めて、それぞれそのフレームにおける変換テーブルとす
る。
【００１５】ローカルピーク抽出部４０２で抽出したロ
ーカルピークにより、その変換元話者音声のスペクトル
包絡を図１中の分割近似部１０５，１０６と同様にロー
カルピーク周波数を基準として複数の部分包絡に分割す
ると共にその各分割されて得られた各部分包絡をＮ点で
近似する。この各部分包絡の各ローカルピーク点を、ロ
ーカルピーク変形部４０７で変換テーブル変更部４０５
よりの変換テーブルを参照し、対応するローカルピーク
点の周波数差と強度差をそれで加減算して変形する。ま
た分割ポイント変形部４０８で、分割及び近似部４０６
よりの各分割点に対し、変換テーブル変更部４０５より
の変換テーブルを参照して対応する点の強度を加減算し
て変形する。
ーカルピークにより、その変換元話者音声のスペクトル
包絡を図１中の分割近似部１０５，１０６と同様にロー
カルピーク周波数を基準として複数の部分包絡に分割す
ると共にその各分割されて得られた各部分包絡をＮ点で
近似する。この各部分包絡の各ローカルピーク点を、ロ
ーカルピーク変形部４０７で変換テーブル変更部４０５
よりの変換テーブルを参照し、対応するローカルピーク
点の周波数差と強度差をそれで加減算して変形する。ま
た分割ポイント変形部４０８で、分割及び近似部４０６
よりの各分割点に対し、変換テーブル変更部４０５より
の変換テーブルを参照して対応する点の強度を加減算し
て変形する。
【００１６】次に線形補間部４０９で、先に求められた
ローカルピークが変形され、かつＮ分割点が変形された
各部分包絡が線形補間されて連続した変形されたスペク
トル包絡を得る。このようなことが入力音声の各母音、
又は連続する母音に対して行われ、このようにして変形
されたスペクトルに包絡と分析部４０１で得られた部分
パラメータとを用いて音声合成部４１０で音声合成す
る。この音声合成法は、スペクトル包絡をゼロ位相化し
て、基本周波数毎に重ね合わせる方法や、スペクトル包
絡から基本周波数の高周波数にわたるスペクトル強度を
求め、この大きさで正弦波重量法で音声を合成する方法
などで実現できる。
ローカルピークが変形され、かつＮ分割点が変形された
各部分包絡が線形補間されて連続した変形されたスペク
トル包絡を得る。このようなことが入力音声の各母音、
又は連続する母音に対して行われ、このようにして変形
されたスペクトルに包絡と分析部４０１で得られた部分
パラメータとを用いて音声合成部４１０で音声合成す
る。この音声合成法は、スペクトル包絡をゼロ位相化し
て、基本周波数毎に重ね合わせる方法や、スペクトル包
絡から基本周波数の高周波数にわたるスペクトル強度を
求め、この大きさで正弦波重量法で音声を合成する方法
などで実現できる。
【００１７】音声を１２ｋＨｚで標本化し、１６ｂｉｔ
量子化し、ＰＳＥ分析２５次フレーム周期を８．０ｍ
ｓ、正弦波重量法で合成し、変換された音声のケプスト
ラムと変換先音声のケプストラムとの距離を求め、変換
元音声を各種変換先音声に声質変換した時の、分割点数
Ｎに対する前記距離の変化状態をピッチが１５０Ｈｚの
時の実験により求めた所、図５Ａに示す結果となった。
この結果からＮを６程度、好ましくは１５程度にすれ
ば、十分であることがわかる。他のピッチ周波数の時も
同様な結果が得られた。
量子化し、ＰＳＥ分析２５次フレーム周期を８．０ｍ
ｓ、正弦波重量法で合成し、変換された音声のケプスト
ラムと変換先音声のケプストラムとの距離を求め、変換
元音声を各種変換先音声に声質変換した時の、分割点数
Ｎに対する前記距離の変化状態をピッチが１５０Ｈｚの
時の実験により求めた所、図５Ａに示す結果となった。
この結果からＮを６程度、好ましくは１５程度にすれ
ば、十分であることがわかる。他のピッチ周波数の時も
同様な結果が得られた。
【００１８】また発話者をよく知っている１０名の者
（発話者５名を含む）を被験者として、聴取音声がどの
発話者のものであるか、発話者を発声者６名（発声者と
被験者が同じ場合は本人を除く）選んでもらった。実際
の発話者と選択話者とが一致した数を総数で割ることに
よって話者識別率を求め、主観評価結果とした。定常５
母音音声の実験結果を図５Ｂに示す。ここで実際の正解
率は合成音声の時の話者識別率が上限であると考えられ
るので、合成音声の時を１００％とし、正解率を求めた
ものを相対比として示す。客観評価実験結果（ケプスト
ラム距離による）を図５Ｃに示す。これら実験結果から
この声質変換方法が有効であることが特に基本周波数が
１５０Ｈｚの時には、原音声の実験と変わらない結果が
得られており、この発明方法が有効であることがわか
る。基本周波数が２００Ｈｚの時の結果は若干良くない
が、合成音声の時に個人性に対して劣化が起こってお
り、それに起因するものであると考えられる。特に分析
条件におけるフレーム長やフレーム周期の値をすべての
音声で一定にして分析、合成を行ったので、その影響が
でたものと考えられる。
（発話者５名を含む）を被験者として、聴取音声がどの
発話者のものであるか、発話者を発声者６名（発声者と
被験者が同じ場合は本人を除く）選んでもらった。実際
の発話者と選択話者とが一致した数を総数で割ることに
よって話者識別率を求め、主観評価結果とした。定常５
母音音声の実験結果を図５Ｂに示す。ここで実際の正解
率は合成音声の時の話者識別率が上限であると考えられ
るので、合成音声の時を１００％とし、正解率を求めた
ものを相対比として示す。客観評価実験結果（ケプスト
ラム距離による）を図５Ｃに示す。これら実験結果から
この声質変換方法が有効であることが特に基本周波数が
１５０Ｈｚの時には、原音声の実験と変わらない結果が
得られており、この発明方法が有効であることがわか
る。基本周波数が２００Ｈｚの時の結果は若干良くない
が、合成音声の時に個人性に対して劣化が起こってお
り、それに起因するものであると考えられる。特に分析
条件におけるフレーム長やフレーム周期の値をすべての
音声で一定にして分析、合成を行ったので、その影響が
でたものと考えられる。
【００１９】上述において、分割により得られた部分包
絡を１つのベクトルとみなして、ベクトルのマッピング
により変換してもよい。つまり、前述した変換テーブル
による変形のみならず、分割帯域ごとにスペクトル包絡
の変換規則を作り、これを参照して入力音声のスペクト
ル包絡を変形するようにしてもよい。更に、ベクトル量
子化に用いるコードブックのように、音声のスペクトル
空間を適切にクラスタリングして複数の空間に分割し、
その分割されたスペクトル空間ごとに、帯域分割された
スペクトル包絡の変換規則を用意して入力音声のスペク
トル包絡を変形するようにしてもよい。変換テーブルを
作成のための入力音声は定常母音のみならず、例えば発
声単語から抽出したものでもよい。
絡を１つのベクトルとみなして、ベクトルのマッピング
により変換してもよい。つまり、前述した変換テーブル
による変形のみならず、分割帯域ごとにスペクトル包絡
の変換規則を作り、これを参照して入力音声のスペクト
ル包絡を変形するようにしてもよい。更に、ベクトル量
子化に用いるコードブックのように、音声のスペクトル
空間を適切にクラスタリングして複数の空間に分割し、
その分割されたスペクトル空間ごとに、帯域分割された
スペクトル包絡の変換規則を用意して入力音声のスペク
トル包絡を変形するようにしてもよい。変換テーブルを
作成のための入力音声は定常母音のみならず、例えば発
声単語から抽出したものでもよい。
【００２０】
【発明の効果】音声のスペクトル包絡上でをエネルギー
が大きい部分は、聴覚的に良く聞こえる部分であり、音
声を特徴づける上で重要である。これまでの研究によれ
ば、音声の個人性に重要であると考えられる音源の特徴
も、このスペクトル包絡に反映されている。この発明で
は音声スペクトル包絡上でエネルギーが大きい周波数を
音声の特徴量の１つとして利用し、この特徴量は、フォ
ルマントといわれている特徴量も包含しているため、従
来のフォルマント周波数のみの変換に較べて、声質変換
の性能を向上させることができ、さらに、この周波数を
規準として、スペクトル包絡を分割し、分割された包絡
毎に変形規則を適用する。従って、スペクトル包絡を１
つのベクトルとして扱って声質を変換する方式に較べ、
局所的な特徴を変換することが可能となり、個人性の変
換を詳細に行なうことができる。
が大きい部分は、聴覚的に良く聞こえる部分であり、音
声を特徴づける上で重要である。これまでの研究によれ
ば、音声の個人性に重要であると考えられる音源の特徴
も、このスペクトル包絡に反映されている。この発明で
は音声スペクトル包絡上でエネルギーが大きい周波数を
音声の特徴量の１つとして利用し、この特徴量は、フォ
ルマントといわれている特徴量も包含しているため、従
来のフォルマント周波数のみの変換に較べて、声質変換
の性能を向上させることができ、さらに、この周波数を
規準として、スペクトル包絡を分割し、分割された包絡
毎に変形規則を適用する。従って、スペクトル包絡を１
つのベクトルとして扱って声質を変換する方式に較べ、
局所的な特徴を変換することが可能となり、個人性の変
換を詳細に行なうことができる。
【図１】この発明に用いる変換テーブルの作成方法を示
す図。
す図。
【図２】Ａはスペクトル包絡の分割の方法を示す図、Ｂ
は変換テーブルを作成するためのスペクトル包絡間の差
分の計算方法を示す図である。
は変換テーブルを作成するためのスペクトル包絡間の差
分の計算方法を示す図である。
【図３】この発明による各声質変換方法の実施例を示す
図。
図。
【図４】連続する母音の間に用いるため、両母音の変換
テーブルによりテーブル変形方法を示す図。
テーブルによりテーブル変形方法を示す図。
【図５】Ａは部分包絡の分割点数に対する声質変換音声
及び変換先音声間のケプストラム距離との関係の実験結
果を示す図、Ｂは主観評価実験結果を示す図、Ｃは客観
評価実験結果を示す図である。
及び変換先音声間のケプストラム距離との関係の実験結
果を示す図、Ｂは主観評価実験結果を示す図、Ｃは客観
評価実験結果を示す図である。
Claims (5)
- 【請求項１】 第１話者の音声を入力して、その音声を
第２話者の音声へと変換する方法において、 上記第１、第２話者がそれぞれ発声した第１、第２音声
から第１、第２スペクトル包絡をそれぞれ抽出するステ
ップと、 これら抽出した第１、第２スペクトル包絡を、そのエネ
ルギーの集中した周波数を基準にして、それぞれ複数の
周波数帯域に分割するステップと、 これら分割された帯域ごとに上記第１スペクトル包絡を
上記第２スペクトルへ変換するステップとを有すること
を特徴とする声質変換方法。 - 【請求項２】 上記変換するステップは上記分割された
帯域ごとに上記第１、第２スペクトル包絡の変換規則を
生成し、この変換規則を参照して上記第１話者の入力音
声のスペクトル包絡を変形することであることを特徴と
する請求項１記載の声質変換方法。 - 【請求項３】 上記変換するステップは音声のスペクト
ル空間を分割し、その分割された空間ごとに前記帯域分
離されたスペクトル包絡の変換規則を用意して前記変形
を行うことを特徴とする請求項２記載の声質変換方法。 - 【請求項４】 上記変換規則は上記第１、第２スペクト
ル包絡の差分であることを特徴とする請求項２又は３記
載の声質変換方法。 - 【請求項５】 上記変換するステップにおいて、時間的
に連続する変換要素を示す各上記変換規則の間を線形変
換してこれら間の変換規則とする請求項２乃至４の何れ
かに記載の声質変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4742396A JP3240908B2 (ja) | 1996-03-05 | 1996-03-05 | 声質変換方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4742396A JP3240908B2 (ja) | 1996-03-05 | 1996-03-05 | 声質変換方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09244694A true JPH09244694A (ja) | 1997-09-19 |
| JP3240908B2 JP3240908B2 (ja) | 2001-12-25 |
Family
ID=12774755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4742396A Expired - Lifetime JP3240908B2 (ja) | 1996-03-05 | 1996-03-05 | 声質変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3240908B2 (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001097212A1 (fr) * | 2000-06-14 | 2001-12-20 | Kabushiki Kaisha Kenwood | Dispositif et procédé d'interpolation de fréquence |
| JP2006017946A (ja) * | 2004-06-30 | 2006-01-19 | Yamaha Corp | 音声処理装置およびプログラム |
| JP2008203543A (ja) * | 2007-02-20 | 2008-09-04 | Toshiba Corp | 声質変換装置及び音声合成装置 |
| WO2009022454A1 (ja) * | 2007-08-10 | 2009-02-19 | Panasonic Corporation | 音声分離装置、音声合成装置および声質変換装置 |
| US7571099B2 (en) | 2004-01-27 | 2009-08-04 | Panasonic Corporation | Voice synthesis device |
| JP2011059146A (ja) * | 2009-09-04 | 2011-03-24 | Wakayama Univ | 音声変換装置および音声変換方法 |
| EP2357646A1 (en) * | 2009-05-28 | 2011-08-17 | International Business Machines Corporation | Device for learning amount of movement of basic frequency for adapting to speaker, basic frequency generation device, amount of movement learning method, basic frequency generation method, and amount of movement learning program |
| JP4840141B2 (ja) * | 2004-10-27 | 2011-12-21 | ヤマハ株式会社 | ピッチ変換装置 |
| JP2013537647A (ja) * | 2010-07-30 | 2013-10-03 | クゥアルコム・インコーポレイテッド | オーディオ信号の従属モードコーディングのためのシステム、方法、装置、およびコンピュータ可読媒体 |
| JP2014158151A (ja) * | 2013-02-15 | 2014-08-28 | Seiko Epson Corp | 音処理装置および音処理装置の制御方法 |
| JP2015161911A (ja) * | 2014-02-28 | 2015-09-07 | 国立研究開発法人情報通信研究機構 | 音声明瞭化装置及びそのためのコンピュータプログラム |
| US9208792B2 (en) | 2010-08-17 | 2015-12-08 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for noise injection |
| WO2019172397A1 (ja) * | 2018-03-09 | 2019-09-12 | ヤマハ株式会社 | 音処理方法、音処理装置および記録媒体 |
-
1996
- 1996-03-05 JP JP4742396A patent/JP3240908B2/ja not_active Expired - Lifetime
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6836739B2 (en) | 2000-06-14 | 2004-12-28 | Kabushiki Kaisha Kenwood | Frequency interpolating device and frequency interpolating method |
| WO2001097212A1 (fr) * | 2000-06-14 | 2001-12-20 | Kabushiki Kaisha Kenwood | Dispositif et procédé d'interpolation de fréquence |
| US7571099B2 (en) | 2004-01-27 | 2009-08-04 | Panasonic Corporation | Voice synthesis device |
| JP2006017946A (ja) * | 2004-06-30 | 2006-01-19 | Yamaha Corp | 音声処理装置およびプログラム |
| JP4654621B2 (ja) * | 2004-06-30 | 2011-03-23 | ヤマハ株式会社 | 音声処理装置およびプログラム |
| JP4840141B2 (ja) * | 2004-10-27 | 2011-12-21 | ヤマハ株式会社 | ピッチ変換装置 |
| JP2008203543A (ja) * | 2007-02-20 | 2008-09-04 | Toshiba Corp | 声質変換装置及び音声合成装置 |
| US8255222B2 (en) | 2007-08-10 | 2012-08-28 | Panasonic Corporation | Speech separating apparatus, speech synthesizing apparatus, and voice quality conversion apparatus |
| WO2009022454A1 (ja) * | 2007-08-10 | 2009-02-19 | Panasonic Corporation | 音声分離装置、音声合成装置および声質変換装置 |
| EP2357646A1 (en) * | 2009-05-28 | 2011-08-17 | International Business Machines Corporation | Device for learning amount of movement of basic frequency for adapting to speaker, basic frequency generation device, amount of movement learning method, basic frequency generation method, and amount of movement learning program |
| EP2357646A4 (en) * | 2009-05-28 | 2012-11-21 | Ibm | DEVICE FOR LEARNING BASIC FREQUENCY MOTION AMOUNT FOR SPEAKER ADAPTATION, BASIC FREQUENCY GENERATION DEVICE, MOTION QUANTITY LEARNING METHOD, BASIC FREQUENCY GENERATION METHOD, AND MOTION QUANTITY LEARNING PROGRAM |
| JP2011059146A (ja) * | 2009-09-04 | 2011-03-24 | Wakayama Univ | 音声変換装置および音声変換方法 |
| US8831933B2 (en) | 2010-07-30 | 2014-09-09 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for multi-stage shape vector quantization |
| JP2013537647A (ja) * | 2010-07-30 | 2013-10-03 | クゥアルコム・インコーポレイテッド | オーディオ信号の従属モードコーディングのためのシステム、方法、装置、およびコンピュータ可読媒体 |
| US8924222B2 (en) | 2010-07-30 | 2014-12-30 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for coding of harmonic signals |
| US9236063B2 (en) | 2010-07-30 | 2016-01-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for dynamic bit allocation |
| US9208792B2 (en) | 2010-08-17 | 2015-12-08 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for noise injection |
| JP2014158151A (ja) * | 2013-02-15 | 2014-08-28 | Seiko Epson Corp | 音処理装置および音処理装置の制御方法 |
| JP2015161911A (ja) * | 2014-02-28 | 2015-09-07 | 国立研究開発法人情報通信研究機構 | 音声明瞭化装置及びそのためのコンピュータプログラム |
| WO2019172397A1 (ja) * | 2018-03-09 | 2019-09-12 | ヤマハ株式会社 | 音処理方法、音処理装置および記録媒体 |
| JP2019159012A (ja) * | 2018-03-09 | 2019-09-19 | ヤマハ株式会社 | 音処理方法および音処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3240908B2 (ja) | 2001-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Erro et al. | Voice conversion based on weighted frequency warping | |
| Childers et al. | Voice conversion: Factors responsible for quality | |
| Stylianou et al. | Continuous probabilistic transform for voice conversion | |
| Abe et al. | Voice conversion through vector quantization | |
| US8401861B2 (en) | Generating a frequency warping function based on phoneme and context | |
| Jax et al. | On artificial bandwidth extension of telephone speech | |
| JP2956548B2 (ja) | 音声帯域拡大装置 | |
| US7765101B2 (en) | Voice signal conversation method and system | |
| US7792672B2 (en) | Method and system for the quick conversion of a voice signal | |
| JP2779886B2 (ja) | 広帯域音声信号復元方法 | |
| JP3240908B2 (ja) | 声質変換方法 | |
| JP3189598B2 (ja) | 信号合成方法および信号合成装置 | |
| Bi et al. | Application of speech conversion to alaryngeal speech enhancement | |
| Lee | Statistical approach for voice personality transformation | |
| Abe et al. | Statistical analysis of bilingual speaker’s speech for cross‐language voice conversion | |
| Tanaka et al. | A new fundamental frequency modification algorithm with transformation of spectrum envelope according to F/sub 0 | |
| JP2709926B2 (ja) | 声質変換方法 | |
| KR100715013B1 (ko) | 대역확장장치 및 방법 | |
| Erro et al. | On combining statistical methods and frequency warping for high-quality voice conversion | |
| JP2003157100A (ja) | 音声通信方法及び装置、並びに音声通信プログラム | |
| JPH06214592A (ja) | 耐雑音音韻モデルの作成方式 | |
| JP3921416B2 (ja) | 音声合成装置及び音声明瞭化方法 | |
| Sharifzadeh et al. | Spectral enhancement of whispered speech based on probability mass function | |
| Lee et al. | Context-adaptive smoothing for concatenative speech synthesis | |
| Villavicencio et al. | GMM-PCA based speaker-timbre conversion on full-quality speech. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071019 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081019 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091019 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111019 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111019 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121019 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121019 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131019 Year of fee payment: 12 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |