JP4007628B2 - 音声ピッチの周期の正規化を行う音声合成装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は録音編集方式による音声合成装置に関し、特に音声ピッチの周期を所望の音声ピッチの周期に正規化することに関する。
【０００２】
【従来の技術】
従来の録音編集方式の音声合成装置では、アナログの録音編集方式としてのテープレコーダの場合には再生スピードを変化させ、ディジタルの録音編集方式の場合には、サンプリング周期を変えて、所望の音声ピッチ周期の正規化を実現している。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来のディジタルの録音編集方式の場合には、サンプリング周期を変化させなければならず、装置が大型化するという問題がある。
したがって、本発明は、上記問題点に鑑み、サンプリング周期を変化せずに、所望の音声ピッチ周期の正規化を実現することを目的とする。
【０００４】
【課題を解決するための手段】
本発明は、前記問題点を解決するために、入力音声波形の音声ピッチの周期の正規化を行う音声合成装置において、前記入力音声波形から音声ピッチを抽出し、抽出音声ピッチの一周期にサンプリングされるサンプル数を正規化音声ピッチの一周期にサンプリングされるサンプル数に変更し、前記抽出音声ピッチの一周期を前記変更したサンプル数で分割した分割点での前記入力音声波形の振幅とする正規化音声波形を形成する音声ピッチ正規化部を備え、前記音声ピッチ正規化部は、前記正規化音声波形の音声ピッチの一周期が前記抽出音声ピッチの一周期よりも短くし、前記抽出音声ピッチの周期を前もって調べる処理のタイミングと正規化音声波形を形成するタイミングとの時間差が所定時間になったとき、一つ前の処理結果を繰り返し出力することで処理を継続する繰返処理部を備え、音声ピッチ周期の正規化を行う。
【０００６】
前記繰返処理部は前記正規化音声波形の音声ピッチの一周期が前記抽出音声ピッチの一周期よりも短くした場合、前記抽出音声ピッチの周期を前もって調べる処理が行えなくなるとき、一つ前の処理結果を繰り返し出力することで処理を継続する。音声ピッチの抽出、調査の処理を待つと処理が遅れるためである。
【０００７】
【発明の実施の形態】
以下本発明の実施の形態について図面を参照して説明する。
図１は本発明に係る音声ピッチ周期の正規化を行う音声合成装置を説明する図である。本図に示すように、音声合成装置は、音声を入力して電気信号に変換するマイクロフォン１と、アナログの電気信号を所定のサンプリング周期でディジタルの音声データに変換するＡ／Ｄ変換器２（Analog to Digital Converter)と、入力音声波形を所望の音声ピッチの音声波形に正規化する音声ピッチ正規化部３と、正規化された音声データをアナログ信号に変換するＤ／Ａ変換器４
(Digital to Analog Conerter)と、アナログ信号を音声に変換するスピーカ５とを具備する。
【０００８】
ここに、音声ピッチ正規化部３は、入力音声波形から抽出した音声ピッチの周期を基にして、入力音声波形から所望の新たな音声ピッチの周期に正規化された音声波形を、以下のように、計算により求める。
図２は音声ピッチ正規化部３の基本原理処理を説明する図である。本図（ａ）に示すように、音声ピッチ正規化部３は、サンプリング周期Δt を音声ピッチとして、時刻 n（×Δt ) 時に入力音声波形データvin(n)を入力する。そして、音声ピッチの一周期が N（×Δt ）である入力音声波形データvin(i+0),vin(i+1),…vin(i+j), … vin(N-1) が求められる。
【０００９】
本図（ｂ）に示すように、音声ピッチ正規化部３は、上記サンプリング周期を固定し、さらに、所望の音声ピッチの一周期をM （×Δt ）にするために、j=0 からN までの区間を新たに0 からM-1 までのM 個に分割し直す。j'(j'=0,1,2 …M-1)番目の音声波形データvin(i+N/M ×j') は図２（ａ）の前後の音声データvin(i+j)から計算で求められ、本図（ｃ）に示すように、一周期分の音声ピッチがi'+0, i'+1, … i'+j', …i'+(M-1)のM 個に変更される。このようにして、音声ピッチ正規化部３により入力音声波形vin(n)は所望の音声波形se(n) に、以下のように、正規化される。
【００１０】
se(i'+j')=vin(i+N/M ×j') …（１）
なお、入力音声波形の周期が目標になる周期よりも短ければ上記計算で求める音声波形のデータ数を入力音声波形のデータ数よりも増やすことで、音声ピッチの周期を目標とする周期に合わせる。逆に、音声ピッチの周期が目標とする周期よりも長ければ計算で求める音声波形のデータ数を減らして音声ピッチの周期を目標とする周期に合わせる。
【００１１】
図３は入力音声波形の一周期 Nを具体的に求めるための音韻／あ／の入力音声波形の一例を示す図である。本図に示す入力音声波形vin(n)は平滑処理された波形であり、以下のように、微分処理が行われる。
pul(n)=[vin(n)-vin(n-1)]/ Δt …（２）
図４は入力音声波形の微分波形pul(n)を示す図である。本図に示すように、微分波形pul(n)はパルスが発生したときだけ負の値になる。そこで、pul(n)<0のときのサンプル点 nをn(k)とし、一つ前のパルスが発生したときのサンプル点n(k-1)との差Δn(k)を
Δn(k)=n(k)-n(k-1) …（３）
として記憶する。この差Δn(k)が入力音声波形の音声ピッチの一周期 Nとなる。
【００１２】
図５は正規化の音声波形se(n) の導出の詳細を説明する図である。まず、i は音声ピッチの周期を変更する区間の初めのサンプル点（図１、図５（ａ）参照）、N は音声ピッチの周期を変更する前の一周期当たりのサンプルデータ数、M は音声ピッチの周期変更後の一周期当たりのサンプルデータ数である。
i1=i+N/M×j' …実数 …（４）
i2=i+N+M×j' …整数 …（５）
（少数点以下は切り捨てる）
se(i'+j')=[vin(i2+1)-vin(i2)](i1-i2)+vin(i2) …（６）
上記式（４）、（５）からi1, i2を計算し、その値から式（６）を用いてse(n) を計算する（図５（ｃ）参照）。ここで、i1はピッチ変更後の値を計算する位置で、図５（ｂ）の中の白丸で表される。また、i2はi1での振幅vin(i1) を計算するために用いるi1の直前のサンプル点である。
【００１３】
音声ピッチ変更後の M個の正規化された音声波形データse(i'+j',j'=0 …M-1)をすべて計算し終われば、つまり、j'=M-1という条件が成立すれば、次の区間を正規化するため、i,i',j'Nを下記式を用いて計算する。
i=i+N …（７）
i'=i'+M …（８）
j'=0 …（９）
N=Δn(l) …（１０）
ただし、k=l の場合には正規化する区間がまだ検出されていないので、後述のように、一つ前のデータを繰り返して時間を稼ぎ、その間に正規化する区間を検出する。そのため式（８）、（９）の処理だけを行い、式（７）、（１０）の処理は行わない。
【００１４】
元のサンプルデータ数 Nから周期 Tを計算し、T が下記式を満たした場合
T>TL U T<TH …（１１）
Tは音声ピッチの周期でないと判断し、M=N とし、正規化を行わない。 Tが条件式（１０）を満たさなければ Mに目標とする正規化後のデータ数を代入する。ただし、TL=20[msec], TH=3.3[msec] としている。
【００１５】
さらに、音声ピッチ正規化部３は、入力音声波形を処理する際に、上記音声ピッチの周期の変更処理に先立ち、あらかじめ処理する区間の音声ピッチを抽出する音声ピッチ抽出部６と、今回の信号の入力開始から数十ミリ秒遅らせて処理を始め、音声ピッチの周期を変更する区間の音声ピッチを前もって調べるための遅延部７を有する。変更処理と音声ピッチの抽出、調査を並行処理とすると、処理が複雑となるためである。
【００１６】
また、音声ピッチ正規化部３は繰返処理部８を有する。目標とする音声ピッチの周期を入力音声波形の音声ピッチの周期よりも短くした場合に、次第に入力音声波形と正規化音声波形の間の時間差が短くなり、入力音声波形から音声ピッチを抽出していないのに、その区間の音声ピッチを変更しなければならない場合が生じてしまう。このため、以下の処理を行う。
【００１７】
図６は図１の繰返処理部８を説明する図である。正規化音声波形se(n) は、入力音声波形vin(n)に対して遅延して処理される。入力音声波形から音声ピッチを抽出していないのに、その区間の音声ピッチを変更しなければならない場合には、繰返処理部８では、本図（ａ）の矢印で示される直前の区間を本図（ｂ）の点線で示される波形のようにもう一度繰り返し、その間に次の区間の音声ピッチの周期を抽出するようにする。このようにして、音声ピッチの抽出、調査を待つことなく、上記のような不都合な音声ピッチの変更を回避することが可能になる。
【００１８】
図７及び８は音声ピッチ正規化部３の一連の動作を説明するフローチャートである。
ステップＳ１において、音声ピッチ抽出処理を行う。
ステップＳ２において、pul(n)<0の成否を判断する。この判断「ＮＯ」ならステップＳ６に進み、「ＹＥＳ」ならステップＳ３でn(k)=nと設定する。
【００１９】
ステップＳ４において、
Δn(k)=n(k)-n(k-1)
と設定し、ステップＳ５でk=k+1 と設定しステップＳ６に進む。
ステップＳ６において、以下の処理を行う。
i1=i+N/M×j' …実数
i2=i+N+M×j' …整数
se(i'+j')=[vin(i2+1)-vin(i2)](i1-i2)+vin(i2)
ステップＳ７で、j'=M-1の成否を判断する。この判断が「ＮＯ」ならステップＳ８でj'=j'+1 と設定しステップＳ１に戻る。「ＹＥＳ」ならステップＳ９で、i'=i'+M と設定し、ステップＳ１０でj'=0と設定する。
【００２０】
ステップＳ１１において、k ≠l の成否を判断し、この判断が「ＮＯ」ならステップＳ１に戻る。「ＹＥＳ」ならステップＳ１２に進む。
ステップＳ１２でi=i+N と設定し、ステップＳ１３でN=Δn(l)と設定し、ステップＳ１４でl=l+1 と設定し、ステップＳ１５でT=N ×Δt と設定する。
ステップＳ１６において、 T>TL U T<TH の成否を判断し、この判断が「ＹＥＳ」ならステップＳ１７でM=N と設定しステップＳ１に戻る。
【００２１】
ステップＳ１８において、ステップＳ１６での判断が「ＮＯ」ならM=目標とするデータ数に設定してステップＳ１に戻る。
図９は５０〔Ｈｚ〕から７００〔Ｈｚ〕の正弦波を入力した場合の振幅特性と入力−出力周波数を示す図である。本図に示すように、入力周波数４００〔Ｈｚ〕以下までの出力周波数を１００〔Ｈｚ〕とすることができる。
【００２２】
図１０は男性音韻／あ／の入力波形に対する音声ピッチ周期の正規化後の波形を示す図であり、図１１は女性音韻／あ／の入力波形に対する音声ピッチ周期の正規化後の波形を示す図である。図１０（ａ）には音声ピッチ周波数が２００〔Ｈｚ〕以下の場合の入力音声波形が示され、これに対して、図１０（ｂ）には音声ピッチ周波数２００〔Ｈｚ〕に正規化した結果が示される。同様に、図１１（ａ）には音声ピッチ周波数が２００〔Ｈｚ〕以上の場合の入力音声波形が示され、これに対して、図１０（ｂ）には音声ピッチ周波数２００〔Ｈｚ〕に正規化した結果が示される。
【００２３】
したがって、本発明によれば、サンプリング周期を固定して、音声ピッチの周期を所望の周期に変更することが可能になる。
【図面の簡単な説明】
【図１】本発明に係る音声ピッチ周期の正規化を行う音声合成装置を説明する図である。
【図２】音声ピッチ正規化部３の基本原理処理を説明する図である。
【図３】入力音声波形の一周期 Nを具体的に求めるための音韻／あ／の入力音声波形の一例を示す図である。
【図４】入力音声波形の微分波形pul(n)を示す図である。
【図５】正規化の音声波形se(n) の導出の詳細を説明する図である。
【図６】図１の繰返処理部８を説明する図である。
【図７】音声ピッチ正規化部３の一連の動作を説明するフローチャートである。
【図８】音声ピッチ正規化部３の一連の動作を説明するフローチャートである。
【図９】５０〔Ｈｚ〕から７００〔Ｈｚ〕の正弦波を入力した場合の振幅特性と入力−出力周波数を示す図である。
【図１０】男性音韻／あ／の入力波形に対する音声ピッチ周期の正規化後の波形を示す図である。
【図１１】女性音韻／あ／の入力波形に対する音声ピッチ周期の正規化後の波形を示す図である。
【符号の説明】
３…音声ピッチ正規化部
６…音声ピッチ抽出部
７…遅延部
８…繰返処理部

Claims (1)

1. 入力音声波形の音声ピッチの周期の正規化を行う音声合成装置において、
   前記入力音声波形から音声ピッチを抽出し、抽出音声ピッチの一周期にサンプリングされるサンプル数を正規化すべき音声ピッチの一周期にサンプリングされるサンプル数に変更し、前記抽出音声ピッチの一周期を前記変更したサンプル数で分割した分割点での前記入力音声波形の振幅とする正規化音声波形を形成する音声ピッチ正規化部を備え、
   前記音声ピッチ正規化部は、前記正規化音声波形の音声ピッチの一周期が前記抽出音声ピッチの一周期よりも短くし、前記抽出音声ピッチの周期を前もって調べる処理のタイミングと正規化音声波形を形成するタイミングとの時間差が所定時間になったとき、一つ前の処理結果を繰り返して出力することで処理を継続する繰返処理部を備えることを特徴とする音声ピッチ周期の正規化を行う音声合成装置。

Images