JPH09152892A - 音声信号変形接続方法 - Google Patents

Abstract

(57)【要約】 【課題】 声質の異なる音声メッセージ同士を違和感無
く接続することができる音声信号変形接続方法を提供す
る。 【解決手段】 ２人の話者に同じテキストを発声させて
得られる２つの音声信号１０１及び１０２を接続処理す
る。この処理の結果生成された合成音声１０３は、話者
１の音声区間、変形接続区間、話者２の音声区間とから
構成される。２人の話者の声質が大きく違う場合であっ
ても、一度に変形する度合いが小さければ、聞く側はあ
まり違和感を感じない。そこで、違和感を感じない程度
の変形を段階的に複数回繰り返すことによって音声の接
続を行う。すなわち、接続により得られる音声メッセー
ジは、変形接続区間の所定時間に渡って徐々に声質が変
化していく。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、録音編集型の音声
メッセージの作成において、音声メッセージの追加、変
更を効率よく行うことを可能とし、音声メッセージを用
いたシステムの構築、維持の経済化をはかることができ
る音声信号変形接続方法に関する。

【０００２】

【従来の技術】現在、駅の構内アナウンスや、道路の渋
滞などの情報を知らせるハイウェイラジオや、情報検索
における音声ガイダンス等のサービスには、音声メッセ
ージが使われている。これらの音声メッセージは、予め
人間が発声した音声を録音し、この音声を継ぎはぎする
ことによって作成されている。

【０００３】係る音声メッセージの作成において、既に
作成された音声メッセージとは異なる新たな音声メッセ
ージが必要となり、その必要な音声メッセージが録音さ
れていない場合には、新たに音声を追加録音する必要が
あった。この場合、既録音の音声と新規録音の音声との
間で声質が急激に変化することなく自然につながるよう
に、以前に発声した話者と同じ人に追加分を発声しても
らう必要があった。

【０００４】

【発明が解決しようとする課題】しかしながら、同一話
者であっても、以前の収録から年月が経っている等の理
由で以前の声質と異なり、新旧メッセージの継ぎはぎに
より聞き苦しさが予想される場合には、すべての音声メ
ッセージを再び収録および作成し直す必要があった。ま
た、以前に発声した人が不在の場合には、他の話者に代
わりに発声してもらい、全ての音声メッセージを再び収
録し直す必要があった。また、上記のような音声メッセ
ージは音声合成装置を用いて作成することも可能である
が、この場合も、音声合成装置が異なる等の理由により
互いに異なる声質となって出力された音声信号同士を接
続する場合に、同様の問題が生じる。

【０００５】本発明は、このような背景の下になされた
もので、声質の異なる音声メッセージ同士を違和感無く
接続することができ、音声メッセージの追加、変更を効
率よく行うことができる音声信号変形接続方法を提供す
ることを目的とする。

【０００６】

【課題を解決するための手段】上記課題を解決するため
に、請求項１による音声信号変形接続方法においては、
互いに異なる声質に属する２つの音声信号同士を接続す
る処理において、音声信号の特性を示すパラメータの値
を、一方の音声信号の特徴を示す値から他方の音声信号
の特徴を示す値へと所定の時間にわたって徐々に変化さ
せることにより、２つの音声信号を接続することを特徴
とする。

【０００７】また、請求項２による発明は、請求項１記
載の音声信号変形接続方法において、前記パラメータの
値を変更する所定時間にわたり、前記互いに異なる声質
の話者に同一のテキストを読み上げさせ、これにより得
られる２種類の音声データを用いて前記パラメータ値の
変更を行うことを特徴とする。

【０００８】また、請求項３による発明は、請求項１記
載の音声信号変形接続方法において、前記互いに異なる
声質の音声信号は音声合成装置による発声により得られ
るものであることを特徴とする。

【０００９】また、請求項４による発明は、請求項１記
載の音声信号変形接続方法において、前記互いに異なる
声質の音声信号は、一方は人間による発声、もう一方は
音声合成装置による発声により得られるものであること
を特徴とする。

【００１０】また、請求項５による発明は、請求項１記
載の音声信号変形接続方法において、前記パラメータは
音声のスペクトルであり、前記所定の時間にわたって前
記スペクトルを徐々に変形させることを特徴とする。

【００１１】また、請求項６による発明は、請求項５記
載の音声信号変形接続方法において、前記音声のスペク
トルの変形に関しては、前記２つの音声信号間の対応す
る音素内のピッチの対応を決定し、対応したピッチ毎
に、ある周波数を境界周波数として、一方の音声信号の
スペクトルにおける前記境界周波数より高域の部分と、
他方の音声信号のスペクトルにおける前記境界周波数よ
り低域の部分とを結合させたスペクトルを生成し、生成
されたスペクトルを当該ピッチにおけるスペクトルとす
ると共に、前記境界周波数を単位時間毎に変化させるこ
とを特徴とする。

【００１２】また、請求項７による発明は、請求項６記
載の音声信号変形接続方法において、前記境界周波数の
変化は、単位時間毎に一定量増加するように行われるこ
とを特徴とする。

【００１３】また、請求項８による発明は、請求項６記
載の音声信号変形接続方法において、前記境界周波数の
変化は、変化開始時の値から変化終了時の値まで徐々に
増加するように行われ、前記変化開始時に近い相対的に
低域の段階では比較的ゆっくりと、前記変化終了時に近
い相対的に高域の段階では比較的早く変化させることを
特徴とする。このような変化は人間の聴覚特性によりマ
ッチしており、より自然な声質変化の実現を可能とす
る。

【００１４】また、請求項９による発明は、請求項１記
載の音声信号変形接続方法において、前記パラメータは
音声の基本周波数であり、前記所定の時間にわたって前
記基本周波数を徐々に変化させることを特徴とする。

【００１５】また、請求項１０による発明は、請求項９
記載の音声信号変形接続方法において、前記音声の基本
周波数の変化に関しては、前記各音声信号の平均基本周
波数を求め、両者の平均基本周波数の差とパラメータを
変更する前記所定時間とに基づいて、単位時間当たりに
変更すべき基本周波数の値を求め、この値を変化量の単
位として、一方の音声信号の平均基本周波数から他方の
音声信号の平均基本周波数へと単位時間毎に変化させる
ことを特徴とする。

【００１６】また、請求項１１による発明は、請求項１
記載の音声信号変形接続方法において、前記パラメータ
は、音声のスペクトルと音声の基本周波数であり、前記
音声のスペクトルの変形に関しては上記請求項６と同様
の方法を用い、前記音声の基本周波数の変化に関しては
上記請求項１０と同様の方法を用いることを特徴とす
る。

【００１７】また、請求項１２による発明は、請求項１
１記載の音声信号変形接続方法において、前記音声のス
ペクトルと基本周波数とを並行して変化させることを特
徴とする。

【００１８】

【発明の実施の形態】以下、図面を参照して、本発明の
実施形態について説明する。図１（Ａ）〜（Ｃ）は、互
いに声質の異なる２人の話者による音声信号の波形と、
これら音声信号を変形接続して得られた音声信号の波形
との関係を示す波形図である。本実施形態の処理では、
２人の話者（１及び２）に同じテキストを発声させ、こ
れにより得られる音声信号（図１（Ａ）の１０１，図１
（Ｂ）の１０２参照）を接続処理するものとする。

【００１９】処理の結果生成された音声信号は、図１
（Ｃ）の符号１０３で示されるように、話者１の音声区
間と変形接続区間と話者２の音声区間とから構成され
る。なお、この例では、２人の話者に同じテキストを発
声させているが、必ずしも同じテキストを発声させる必
要はない。例えば、以下に示す実施形態では、音声の特
性を示すパラメータとして、基本周波数とスペクトルと
を選び、該２つのパラメータにおける変形を行っている
が、スペクトルの変形は行わず、基本周波数だけを変形
する場合には、２人の話者が発声するテキストは異なっ
ていても構わない。

【００２０】図２は、本実施形態による音声信号変形接
続方法の全体の処理の流れを示すフローチャートであ
る。２人の話者が発声した音声信号を入力すると、ステ
ップＳ２０１では、それぞれの音声信号に音素境界を付
与し、ステップＳ２０２に進む。ステップＳ２０２で
は、それぞれの音声信号に基本周期を示すピッチマーク
を付与し、ステップＳ２０３に進む。

【００２１】ステップＳ２０３では、上記ピッチマーク
に関して、両音声信号の対応した有声音区間に対し、最
も近いピッチマーク同士を選ぶことにより、その区間の
ピッチマーク同士の対応を付ける。この結果、図３に破
線で示すように、１対１、１対多、または、多対１の対
応づけが得られる。このピッチマークの対応関係は、ピ
ッチ対応テーブル３０１（図４参照）に記憶される。次
に、ステップＳ２０４では、対応した音素ごとに音声信
号パワーの正規化を行う。以上の処理は、音声収録後に
独立して予め行ってもよいし、変形接続処理の一部とし
て行ってもよい。

【００２２】次に、ステップＳ２０５では、後述する方
法で音声信号の基本周波数の変換を行い、ステップＳ２
０７に進む。ステップＳ２０７では、後述する方法で音
声信号のスペクトルの変形を行い、ステップＳ２０９に
進む。このとき、基本周波数の変更量の設定はステップ
Ｓ２０６で行われ、スペクトル変形に関与する境界周波
数の変更量の設定はステップＳ２０８で行われる。これ
らの変更量は時間の関数となっている。

【００２３】最後に、ステップＳ２０９で、両音声信号
が全体的に合成され、合成音を得る。上記ステップＳ２
０５で使用可能な基本周波数の基本的変換方式として
は、様々な方式が提案されているが、その一例として
は、文献「E.Moulines, F.Charpentier, "Pitch-Synchr
onous Waveform Processing Techniques for Text-to-S
peech Synthesis using Diphones", Speech Communicat
ion, Vol.9, pp.453-467,Dec.1990」で提案されている
ＰＳＯＬＡ方式がある。

【００２４】図４は、上記ステップＳ２０７で行われる
スペクトル変形処理の一例を示すフローチャートであ
る。同処理において、ステップＳ３０２では話者２の音
声信号から、また、ステップＳ３０３では話者１の音声
信号から、上記ステップＳ２０３（図２参照）で求めら
れたピッチ対応テーブル３０１を参照して互いに対応す
るピッチを選択し、該ピッチ毎に、ピッチ同期信号に同
期して音声波形を切り出す。ここでは、話者１から話者
２へと徐々に音声を変形しながら接続する場合を例に挙
げて説明する。この場合には、ピッチ同期の処理は、話
者２のピッチマークの回数だけ行われる。ここで、図３
の有声音Ｚの例に見られるように、話者１の２つのピッ
チマークが話者２の１つのピッチマークに対応している
場合には、話者１の２つのピッチマークのうちどちらか
一方を参照して音声波形を切り出す。一方、図３の有声
音Ｙの例に見られるように、話者２の２つのピッチマー
クが話者１の１つのピッチマークに対応している場合に
は、話者１の１つのピッチマークにより参照される音声
波形を２度切り出す。

【００２５】以下、１ピッチ分の処理を説明すると、ス
テップＳ３０４では、ステップＳ３０２で切り出した音
声波形についてＦＦＴによるスペクトル分析を行う。ま
た、ステップＳ３０４と並行して、ステップＳ３０５で
は、ステップＳ３０３で切り出した音声波形についてＦ
ＦＴによるスペクトル分析を行う。ステップＳ３０６で
は、ステップＳ３０４で求めた話者２のスペクトルのう
ち、所定の周波数αＨｚより低い帯域の部分を取り出
す。ステップＳ３０７では、ステップＳ３０５で求めた
話者１のスペクトルのうち、上記周波数αＨｚより高い
帯域の部分を取り出す。

【００２６】このステップＳ３０６およびＳ３０７で取
り出されたスペクトルは、ステップＳ３０８において、
周波数αＨｚを境界にして結合される。このスペクトル
の混合処理は、各ＦＦＴで得られたスペクトルの実部と
虚部を、それぞれ個別に処理することで行われる。最後
に、ステップＳ３０９では、両者のスペクトルを混合し
たスペクトルに対し、ＩＦＦＴを行い、１ピッチ波形を
得る。こうして得られた１ピッチ波形は、上記ステップ
Ｓ２０９（図２参照）の処理に渡される。

【００２７】更に、上記境界周波数を時間的に変化させ
ながら、ピッチ毎に同様のスペクトル混合処理を行うこ
とにより、複数の”１ピッチ波形”が同様にステップＳ
２０９の処理に渡され、最終的に該ステップＳ２０９で
音声合成処理される。図５（Ａ）〜（Ｃ）、図６（Ａ）
〜（Ｃ）、及び図７（Ａ）〜（Ｃ）は、境界周波数の時
間的変化に伴うスペクトル混合の例を示したものであ
る。ここでは、境界周波数αを図５（Ｂ）→図６（Ｂ）
→図７（Ｂ）に示す順序で３段階に変化させたとして、
低域側が抽出される話者２の各段階のスペクトルを図５
（Ａ）、図６（Ａ）、図７（Ａ）に、高域側が抽出され
る話者１の各段階のスペクトルを図５（Ｃ）、図６
（Ｃ）、図７（Ｃ）に、そして、各段階でのスペクトル
結合により得られた混合スペクトルを図５（Ｂ）、図６
（Ｂ）、図７（Ｂ）にそれぞれ示す。

【００２８】図８は、本実施形態による音声信号変形接
続処理において、ステップＳ２０５の基本周波数変換処
理で変換される平均基本周波数と、ステップＳ２０７の
スペクトル変形処理において変換される境界周波数との
時間変化を示すグラフである。本実施形態では、音声の
基本周波数変化の制御としては、話者１と話者２による
音声信号の平均基本周波数をそれぞれ求めておき、両平
均基本周波数の差とパラメータを変更する所定の時間
（変形接続区間）とに基づいて単位時間当たりに変更す
べき基本周波数値を求める。そして、該変形接続区間に
おける基本周波数を、図８に示すように、上記２つの平
均基本周波数の一方から他方へと、時間的に一定の割合
で変化させる。

【００２９】また、音声のスペクトルの制御は、境界周
波数αＨｚを時間的に一定の割合で変化させる。ここ
で、平均基本周波数の変更量はステップＳ２０６で設定
され、また、境界周波数の変更量は、ステップＳ２０８
で設定される。

【００３０】次に、図９（Ａ）〜（Ｃ）は、図１（Ａ）
〜（Ｃ）に対応した、各音声信号による声紋を示すスペ
クトログラムである。各スペクトログラムにおいて、横
軸は時間（ｓｅｃ）、縦軸は周波数（Ｈｚ）、そして、
時間と周波数との各交点における濃さ（本紙面上では明
確に現れないが）が、その時間におけるスペクトルの強
さを表す。また、図９（Ｃ）に示す合成音声における変
形接続区間には、該区間における境界周波数の変化を、
符号１０５で参照されるラインで示した。

【００３１】なお、上述のような音声パラメータを変化
させる割合は一定である必要はなく、様々な変化パター
ンが考えられる。例えば、図１０に境界周波数αの変化
パターンの別例を示す。この例では、境界周波数が低い
段階ではゆっくりと変化させ、境界周波数が高くなるに
つれて早く変化させている。人間の聴覚は高域に比べて
低域の周波数に重みがかった特性を有するため、この例
のような変化をさせると、人間が聞いた時により一定の
変化割合で、すなわち、より自然に声質を変化させるこ
とができる。

【００３２】以上、この発明の実施形態を図面を参照し
て詳述してきたが、具体的な構成はこの実施形態に限ら
れるものではなく、この発明の要旨を逸脱しない範囲の
設計の変更等があってもこの発明に含まれる。たとえ
ば、上述した一実施形態においては、初めに基本周波数
を変化させ、その後に音声スペクトルを変化させている
が、変化の順番はこの逆でも構わないし、また、分散処
理等により、両者を同時に変化させてもよい。なお、変
形区間が長い場合には、これらパラメータの変化を分け
て行った方が、より滑らかな接続が行える。

【００３３】また、変形接続される２つの音声信号は、
人間による発声により得られたもの以外に、音声合成装
置による発声で得られたもの同士でもよく、また、人間
による発声と音声合成装置による発声で得られた音声信
号を接続することも可能である。

【００３４】なお、以上の説明において、異なる話者の
音声（メッセージ）を接続しても聞き手に違和感を与え
ない点を強調してきたが、本発明は、声の変化を聞き手
に全く意識させないだけでなく、違和感の無い声の変化
を聞き手に”意識させる”という利用法もある。例え
ば、画像処理のモーフィングと呼ばれる処理では、男性
の顔の静止画像と女性の顔の静止画像とを用いて、（時
間とともに画像を変化させながら）男性の顔を徐々に女
性の顔へと変化させることが可能である。このような画
像処理技術と本発明による方法とを統合すれば、人間の
顔が男性から女性に変化しながら、その声もいつのまに
か男性から女性に変化しているというような、見る（聞
く）者に不思議な感覚を与えるシミュレーションの実現
が可能である。このような技術は、映画やマルチメディ
ア作品等の製作分野において、新しい表現手段として利
用できる。

【００３５】

【発明の効果】上述のように本発明によれば、音声の特
徴量を時間と共に変化させることができる。その結果、
話者が異なる２つの音声を接続する場合であっても、接
続区間における急激な声質の変化を避けることができ、
聞く者にとって違和感なく音声を接続することが可能と
なる。

【図面の簡単な説明】

【図１】 本発明の一実施形態において、互いに声質の
異なる２つの音声の波形と、これらの音声信号に変形接
続処理を施して得られた音声波形との関係を示す波形図
である。

【図２】 同実施形態における音声信号変形接続方法の
全体の処理の一例を示すフローチャートである。

【図３】 同実施形態において、２つの音声信号間のピ
ッチマークの対応づけを説明するための図である。

【図４】 同実施形態におけるスペクトル変換処理の一
例を示すフローチャートである。

【図５】 同実施形態において、ある時間における境界
周波数の設定と、該境界周波数における２つのスペクト
ルの結合を説明するための図である。

【図６】 更に進んだ時間における境界周波数の再設定
と、該境界周波数における２つのスペクトルの結合を説
明するための図である。

【図７】 更に進んだ時間における境界周波数の再設定
と、該境界周波数における２つのスペクトルの結合を説
明するための図である。

【図８】 同実施形態による音声信号変形接続処理にお
いて、平均基本周波数と境界周波数の時間変化を示すグ
ラフである。

【図９】 図１に示す各音声信号による得られる声紋を
示すスペクトログラムである。

【図１０】 境界周波数の別の時間変化例を示すグラフ
である。

【符号の説明】

１０１ 話者１の音声信号 １０２ 話者２の音声信号 １０３ 合成音声信号

Claims (12)

【特許請求の範囲】
1. 【請求項１】 互いに異なる声質に属する２つの音声信
   号同士を接続する処理において、 音声信号の特性を示すパラメータの値を、一方の音声信
   号の特徴を示す値から他方の音声信号の特徴を示す値へ
   と所定時間にわたって徐々に変化させることにより、２
   つの音声信号を接続することを特徴とする音声信号変形
   接続方法。
2. 【請求項２】 請求項１記載の音声信号変形接続方法に
   おいて、 前記パラメータの値を変更する所定時間にわたり、前記
   互いに異なる声質の話者に同一のテキストを読み上げさ
   せ、これにより得られる２種類の音声データを用いて前
   記パラメータ値の変更を行うことを特徴とする音声信号
   変形接続方法。
3. 【請求項３】 請求項１記載の音声信号変形接続方法に
   おいて、 前記互いに異なる声質の音声信号は音声合成装置による
   発声により得られるものであることを特徴とする音声信
   号変形接続方法。
4. 【請求項４】 請求項１記載の音声信号変形接続方法に
   おいて、 前記互いに異なる声質の音声信号は、一方は人間による
   発声、もう一方は音声合成装置による発声により得られ
   るものであることを特徴とする音声信号変形接続方法。
5. 【請求項５】 請求項１記載の音声信号変形接続方法に
   おいて、 前記パラメータは音声のスペクトルであり、前記所定の
   時間にわたって前記スペクトルを徐々に変形させること
   を特徴とする音声信号変形接続方法。
6. 【請求項６】 請求項５記載の音声信号変形接続方法に
   おいて、 前記音声のスペクトルの変形に関しては、 前記２つの音声信号間の対応する音素内のピッチの対応
   を決定し、 対応したピッチ毎に、ある周波数を境界周波数として、
   一方の音声信号のスペクトルにおける前記境界周波数よ
   り高域の部分と、他方の音声信号のスペクトルにおける
   前記境界周波数より低域の部分とを結合させたスペクト
   ルを生成し、生成されたスペクトルを当該ピッチにおけ
   るスペクトルとすると共に、 前記境界周波数を単位時間毎に変化させることを特徴と
   する音声信号変形接続方法。
7. 【請求項７】 請求項６記載の音声信号変形接続方法に
   おいて、 前記境界周波数の変化は、単位時間毎に一定量増加する
   ように行われることを特徴とする音声信号変形接続方
   法。
8. 【請求項８】 請求項６記載の音声信号変形接続方法に
   おいて、 前記境界周波数の変化は、変化開始時の値から変化終了
   時の値まで徐々に増加するように行われ、前記変化開始
   時に近い相対的に低域の段階では比較的ゆっくりと、前
   記変化終了時に近い相対的に高域の段階では比較的早く
   変化させることを特徴とする音声信号変形接続方法。
9. 【請求項９】 請求項１記載の音声信号変形接続方法に
   おいて、 前記パラメータは音声の基本周波数であり、前記所定の
   時間にわたって前記基本周波数を徐々に変化させること
   を特徴とする音声信号変形接続方法。
10. 【請求項１０】 請求項９記載の音声信号変形接続方法
    において、 前記音声の基本周波数の変化に関しては、 前記各音声信号の平均基本周波数を求め、 両者の平均基本周波数の差とパラメータを変更する前記
    所定時間とに基づいて、単位時間当たりに変更すべき基
    本周波数の値を求め、 この値を変化量の単位として、一方の音声信号の平均基
    本周波数から他方の音声信号の平均基本周波数へと単位
    時間毎に変化させることを特徴とする音声信号変形接続
    方法。
11. 【請求項１１】 請求項１記載の音声信号変形接続方法
    において、 前記パラメータは、音声のスペクトルと音声の基本周波
    数であり、 前記音声のスペクトルの変形に関しては、 前記２つの音声信号間の対応する音素内のピッチの対応
    を決定し、 対応したピッチ毎に、ある周波数を境界周波数として、
    一方の音声信号のスペクトルにおける前記境界周波数よ
    り高域の部分と、他方の音声信号のスペクトルにおける
    前記境界周波数より低域の部分とを結合させたスペクト
    ルを生成し、生成されたスペクトルを当該ピッチにおけ
    るスペクトルとすると共に、 前記境界周波数を単位時間毎に変化させるようにし、 前記音声の基本周波数の変化に関しては、 前記各音声信号の平均基本周波数を求め、 両者の平均基本周波数の差とパラメータを変更する前記
    所定時間とに基づいて、単位時間当たりに変更すべき基
    本周波数の値を求め、 この値を変化量の単位として、一方の音声信号の平均基
    本周波数から他方の音声信号の平均基本周波数へと単位
    時間毎に変化させるようにすることを特徴とする音声信
    号変形接続方法。
12. 【請求項１２】 請求項１１記載の音声信号変形接続方
    法において、 前記音声のスペクトルと基本周波数とを並行して変化さ
    せることを特徴とする音声信号変形接続方法。