JP4300764B2 - 歌唱音声を合成する方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、歌唱音および吸気音の混ざった歌唱音声を合成する方法および装置に関する。
【０００２】
【従来の技術】
人工的に音声を作り出す音声合成技術が種々提案されている。このような音声合成技術を利用するものとして、歌詞を複数の音節に分解し、各音節に対応した音素を順次合成する歌唱音声合成装置がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の歌唱音声合成装置においては、歌唱音声の合成に際して歌詞を分解した各音節に対応する音素のみが合成されており、歌詞と歌詞との間で息継ぎをする際に発せられる吸気音（ブレス音）については考慮されていない。このため、発声区間と非発声区間との差が顕著になりすぎてしまい、これらの区間の切り替わりが唐突な印象を与えてしまうことから、非人間的、かつ不自然であるという評価にもつながっていた。
【０００４】
この発明は、上述した事情に鑑みてなされたものであり、より自然な歌唱音声を合成できる歌唱音声合成方法および歌唱音声合成装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
請求項１に係る発明は、時系列的な歌唱音の合成指示に従い、歌唱音を順次合成する歌唱音合成過程と、時間的に前後した２つの歌唱音の合成指示の間に吸気音の合成指示が与えられた場合に、少なくとも当該吸気音の直後の歌唱音の音素に基づいて、吸気音の波形を選択し、当該吸気音の直後の歌唱音の音素に基づいて振幅が制御された該波形を用いて吸気音を合成する吸気音合成過程とを具備することを特徴とする歌唱音声合成方法を提供する。
請求項２に係る発明は、請求項１に記載の歌唱音声合成方法において、前記吸気音合成過程では、当該吸気音の直後の歌唱音の音素と当該吸気音の直前の歌唱音の音素の両方に基づいて、前記吸気音の波形を選択することを特徴とする。
【０００６】
請求項３に係る発明は、時系列的な歌唱音の合成指示に従い、歌唱音を順次合成する歌唱音合成過程と、時間的に前後した２つの歌唱音の合成指示の間に吸気音の合成指示が与えられた場合に、当該吸気音の直後の歌唱音の音素に基づいて、吸気音の振幅を制御して吸気音を合成する吸気音合成過程とを具備することを特徴とする歌唱音声合成方法を提供する。
【０００７】
請求項４に係る発明は、時系列的な歌唱音の合成指示に従い、歌唱音を順次合成する歌唱音合成部と、時間的に前後した２つの歌唱音の合成指示の間に吸気音の合成指示が与えられた場合に、少なくとも当該吸気音の直後の歌唱音の音素に基づいて、吸気音の波形を選択し、当該吸気音の直後の歌唱音の音素に基づいて振幅が制御された該波形を用いて吸気音を合成する吸気音合成部とを具備することを特徴とする歌唱音声合成装置を提供する。
【０００８】
請求項５に係る発明は、時系列的な歌唱音の合成指示に従い、歌唱音を順次合成する歌唱音合成部と、時間的に前後した２つの歌唱音の合成指示の間に吸気音の合成指示が与えられた場合に、当該吸気音の直後の歌唱音の音素に基づいて、吸気音の振幅を制御して吸気音を合成する吸気音合成部とを具備することを特徴とする歌唱音声合成装置を提供する。
【０００９】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
図１はこの発明の一実施形態に係る歌唱音声合成装置の構成を示すブロック図である。図１に示すように、この歌唱音声合成装置は、歌唱情報解析部１０と、歌唱音合成部２０と、歌唱音素片記憶部３０と、ブレス音合成部４０と、ブレス音素片記憶部５０と、加算器６０とを有する。
【００１０】
歌唱情報解析部１０は、時系列の歌唱情報を解析する装置である。好ましい態様において、この歌唱情報は通信手段を介して歌唱情報解析部１０に入力される。また、別の好ましい態様においては、ハードディスクなどの記憶手段から歌唱情報が読み出され、歌唱情報解析部１０に入力される。
【００１１】
図２には、ある曲の歌唱情報が例示されている。図２に示すように、歌唱情報は、曲を表す一連の音符＃１、＃２、…の各々に対応した情報セグメントにより構成されている。そして、１つの音符に対応した情報セグメントは、その音符の音高を示す音高情報、その音符の符長を示す符長情報およびその音符に合わせて発音すべき１または複数の音節を表す歌詞情報を含み、さらに、その音符に適用されるべきテンポ情報、ダイナミックス情報およびビブラート情報を含んでいる。図２に示す例において、音符＃４は、符長１／４、つまり、４分音符の符長を有する休符である。この休符のタイミングにおいて、発音すべき音節はなく、歌唱者は息継ぎを行う。このため、音符＃４に対応した歌詞情報として、ブレス音の合成を指示するブレスマーク＄が用いられている。これらの歌唱情報は、合成する歌唱音声の歌唱者の情報である歌唱者情報に対応していてもよい。
【００１２】
図３に示すように、歌唱情報解析部１０は、歌詞フィルタ１１と、言語処理部１２と、シーケンサ１３とを有している。
【００１３】
歌詞フィルタ１１は、歌詞情報中にブレスマーク＄がある場合に、そのブレスマーク＄に応じて発音すべきブレス音を特定するブレス制御情報を生成し、歌詞情報を言語処理部１２へ、ブレス制御情報をシーケンサ１３へ出力する。ここで、歌詞が日本語である場合を例にブレス制御情報の生成方法を説明すると、次の通りである。例えば図２に示す歌詞情報は、音符＃４に対応したブレスマーク＄の前後に、音節情報「た」と音節情報「さ」を有している。ここで、ブレスマーク＄の直前の音節“た”は２個の音素／ｔ／および／ａ／に分解することができ、ブレスマーク＄の直後の音節“さ”は２個の音素／ｓ／および／ａ／に分解することができる。そこで、歌詞フィルタ１１は、ブレスマーク＄の前の音節“た”の最後の音素／ａ／を表す先行音素記号と、ブレスマーク＄の後の音節“さ”の最初の音素／ｓ／を表す後続音素記号を生成し、それらの組をブレス制御情報として出力するのである。
【００１４】
言語処理部１２は、歌詞フィルタ１１から与えられる歌詞情報中の音節情報を音素記号に分解して出力する。
【００１５】
シーケンサ１３は、曲の進行に合わせて、歌唱情報中の各情報、歌詞フィルタ１１によって生成されるブレス制御情報および言語処理部１２によって生成される音素記号を歌唱音合成部２０またはブレス音合成部４０に供給するためのタイミング制御を行う装置である。
【００１６】
図１において、歌唱音素片記憶部３０は、歌唱音素片データベースを記憶している。この歌唱音素片データベースは、人によって発声される各種の音声波形を収集し、これらの音声波形を音素の波形に分割し、各音素波形を符号化することにより得られたデータの集合体である。各音素の波形データは、その音素の音素記号をキーとして歌唱音素片データベースから読み出すことができる。音声波形の波形データは、例えばＬＰＣ（Linear Predictive Coding：線形予測分析）合成技術、波形重畳合成技術、フォルマント合成技術等が利用して得られたものでもよい。
【００１７】
歌唱音合成部２０は、上述した歌詞情報中の音節情報に対応した歌唱音を合成する装置である。ある音符に対応した音節の歌唱音を合成すべきとき、シーケンサ１３は、この歌唱音合成部２０に対し、その音符に対応した音高情報と、符長情報と、テンポ情報と、ダイナミックス情報と、ビブラート情報を供給する。また、シーケンサ１３は、その音符に対応した音節情報から得られた音素記号を言語処理部１２から受け取り、歌唱音合成部２０に供給する。さらに、シーケンサ１３は、その音符に対応した符長情報を符長情報として歌唱音合成部２０に供給する。これに応じて、歌唱音合成部２０は、ピッチエンベロープと振幅エンベロープをを生成する。そして、歌唱音合成部２０は、シーケンサ１３から受け取った音素記号により指示された音素の波形データを、時々刻々と変化するピッチエンベロープの瞬時値に応じた読み出し速度で、歌唱音素片記憶部３０から読み出し、振幅エンベロープにより振幅変調し、歌唱音波形として出力する。ピッチエンベロープおよび振幅エンベロープは、シーケンサ１３から与えられたテンポ情報と符長情報によって定まる時間だけ持続する。また、ピッチエンベロープの波形は、音高情報およびビブラート情報により決定され、振幅エンベロープの波形は、ダイナミックス情報により決定される。
【００１８】
ブレス音素片記憶部５０には、予め人が発したブレス音の波形を表すデータの集合体であるブレス音データベースが記憶されている。ブレス音の波形データは、音素波形の波形データと同様に種々の合成技術等を利用して得られたものであってもよい。ブレス音合成部４０には、歌詞情報中のブレスマーク＄のタイミングにおいて、ブレス音データベースを参照してブレス音を合成する装置である。
【００１９】
図４はブレス音素片記憶部５０およびブレス音合成部４０の構成を示すブロック図である。本実施形態では、複数の歌唱者の各々についてブレス音データベースがブレス音素片記憶部５０に記憶されている。各ブレス音データベースは、複数種類のブレス音の波形データの集合体である。人から発声されるブレス音の波形は、そのブレス音の直後の音素の影響を強く受ける。また、ブレス音の波形には、その直前に発声された音素の影響も現れる。そこで、本実施形態では、あるブレスマーク＄の発生に応じてブレス音を合成する場合に、そのブレスマーク＄の直前の先行音素記号と直後の後続音素記号の組み合わせに応じてブレス音の音素波形を決定し、その音素波形を用いてブレス音を合成する。このようなブレス音の合成を可能にするため、本実施形態におけるブレス音データベースは、先行音素記号と後続音素記号の可能な組み合わせのすべてについて、ブレス音の音素波形の波形データを含んでいる。
【００２０】
ブレス音素片選択部４１には、歌唱者情報が与えられる。好ましい態様において、この歌唱者情報は、図示しない操作部から入力される。ブレス音素片選択部４１は、ブレス音素片記憶部５０に記憶された複数の歌唱者のブレス音データベースの中から歌唱者情報によって指定されたものを選択する。また、ブレスマーク＄に対応したタイミングにおいて、シーケンサ１３は、ブレス制御情報を出力する。ブレス音素片選択部４１は、このブレス制御情報中の先行音素記号および後続音素記号の組み合わせに対応したブレス音の音素の波形データを、選択したブレス音データベースの中から読み出し、ブレス音振幅制御部４２に出力する。
【００２１】
ブレス音振幅制御部４２は、ブレス制御情報中の後続音素記号に基づいて、ブレス音素片選択部４１から出力されたブレス音の波形データの振幅を制御する。さらに詳述すると、ブレス音振幅制御部４２は、後続音素記号が特定の音素、具体的には母音を表している場合に、ブレス音波形がその終期付近において急激に立ち上がり、その後に急激に減衰するように、波形データに振幅変調処理を施す。
【００２２】
ブレス区間長計算部４３には、シーケンサ１３から符長情報とテンポ情報が与えられる。ブレス区間長計算部４３は、符長情報とテンポ情報に基づいて休符の実時間長ｔを求め、これを所定の内分比によりブレス音長ｔ’と無音区間長ｔｓとに分ける。ここで、ｔ、ｔ’、ｔｓの間には、
ｔ＝ｔ’＋ｔｓ
の関係がある。
【００２３】
ブレス音音長制御部４４には、ブレス音長ｔ’がブレス区間長計算部４３から通知される。ブレス音音長制御部４４は、ブレス音振幅制御部４２によって振幅が制御されたブレス音の波形データを受け取ると、ブレス音波形の持続時間がこのブレス音長ｔ’に相当する期間となるように、波形データの調整を行う。好ましい態様において、この調整は、ブレス音波形の前縁部分と後縁部分（すなわち、上記振幅変調処理の対象となる部分）との間の中間部分の波形データを一旦出力した後、再度、この中間部分を１または複数回出力してブレス音波形の持続時間を長くしたり、あるいはその中間部分を間引くことにより持続時間を短くするという方法により行われる。
【００２４】
無音区間付加部４５は、ブレス音音長制御部４４から出力されたブレス音長ｔ’のブレス音の波形データをそのまま出力するとともに、これに続けて、無音区間ｔｓに相当する期間、無音状態を表す波形データを出力する。
【００２５】
図１における加算器６０は、このようにして無音区間付加部４５から出力されるブレス音の波形データと、歌唱音合成部２０から出力される歌唱音の波形データとを加算し、歌唱合成音の波形データとして出力する。この波形データは、図示しないＤ／Ａ変換器、アンプおよびスピーカを介することにより歌唱音声として出力される。
【００２６】
以下、図５に示すタイムチャートを参照し、本実施形態の動作を説明する。図示のような歌詞情報、音高情報、符長情報およびその他の情報が与えられた場合、歌詞フィルタ１１は、歌詞情報を先頭から順に読み、ブレスマーク＄を発見した場合、ブレスマーク＄の直前直後の各音素を表す先行音素記号と後続音素記号とを求め、これらの情報によりブレス制御情報を構成する。また、言語処理部１２は、歌詞情報中の音節情報を音素記号に分解する。なお、歌詞フィルタ１１および言語処理部１２は、１曲分の歌詞情報を取得したときに、それらの全てを対象として以上の処理を一括して行い、音素記号列とブレス制御情報を生成してもよい。あるいは歌詞フィルタ１１および言語処理部１２は、シーケンサ１３によって行われる歌唱音またはブレス音の合成のためのタイミング制御に対し、例えば音符１個分だけ進んだ位相で以上の処理を逐次実行してもよい。要するに、音素記号およびブレス制御情報の生成は、シーケンサ１３がそれらの情報を必要とするときまでに行われればよい。
【００２７】
歌唱音声の合成を開始するとき、シーケンサ１３は、最初の音符に対応した音高情報、符長情報、テンポ情報、ダイナミックス情報、ビブラート情報を歌唱データから取り込むとともに、最初の音符に対応した音節の音素記号を言語処理部１２から取り込む。
【００２８】
図５に示す例では、音高が“ド”であり、符長が４分の１拍である最初の音符の音高情報および符長情報とこれに適用されるテンポ、ダイナミックス、ビブラートの各情報がシーケンサ１３に取り込まれる。また、最初の音符に合わせて発声する音節“さ”を分解した音素の音素記号／ｓ／および／ａ／が言語処理部１２から出力され、シーケンサ１３に取り込まれる。なお、この最初の音符に対応した情報の送信時、シーケンサ１３に送るべきブレス制御情報はない。
【００２９】
このようにして最初の音符に対応した各情報を取得すると、シーケンサ１３は、音素記号／ｓ／および／ａ／を歌唱音合成部２０に送る。同時にシーケンサ１３は、その音符の音高情報“ド”、符長情報「１／４」、テンポ情報、ダイナミックス情報、ビブラート情報を歌唱音合成部２０に送る。
【００３０】
この結果、音素記号／ｓ／および／ａ／に対応した音素の波形データが歌唱音素片記憶部３０から読み出され、音高が“ド”である音節“さ”の歌唱音の波形データが歌唱音合成部２０から出力され、加算器６０を介することにより歌唱音として出力される。
【００３１】
以上の動作が行われている間、シーケンサ１３は、最初の音符に対応したテンポ情報と符長情報「１／４」により決定される時間の計時を行う。そして、計時が終了したときに、後続の音符に対応した各情報を取り込むのである。
【００３２】
図５に示す例では、２番目の音符と３番目の音符についても以上の同様な動作が行われる。そして、３番目の音符の符長に対応した計時が終了すると、シーケンサ１３は、３番目の音符の次の休符に対応した符長情報と、テンポ情報と、ダイナミックス情報とを歌唱データから取り込むとともに、ブレスマーク＄に応じて生成したブレス制御情報を歌詞フィルタ１１から取り込む。そして、シーケンサ１３は、取り込んだ各情報をブレス音合成部４０に送り、４分の１拍相当の時間の計時を開始する。
【００３３】
ブレス音合成部４０は、ブレス制御情報により特定されるブレス音を合成する。この例の場合、ブレス制御情報は、先行音素記号／ａ／および後続音素記号／ｓ／を含んでいる。これらのうち先行音素記号／ａ／は、図５において休符の直前に発声する音節“た”の最後の音素を表しており、後続音素記号／ｓ／は休符の直後に発声する音節“さ”の最初の音素を表している。ブレス音合成部４０のブレス音素片選択部４１は、これらの先行音素記号／ａ／および後続音素記号／ｓ／の組み合わせに対応したブレス音の音素の波形データを、歌唱者情報により選択されたブレス音データベースの中から読み出し、ブレス音振幅制御部４２に出力する。
【００３４】
ブレス音振幅制御部４２は、ブレス制御情報中の後続音素記号に基づいて、ブレス音素片選択部４１から出力されたブレス音の波形データの振幅変調を行う。そして、ブレス区間長計算部４３には、シーケンサ１３からの符長情報とテンポ情報に基づいて休符の実時間長ｔを求め、これからブレス音長ｔ’と無音区間長ｔｓとを求める。例えば、テンポ情報が１分間に４分音符１１０個分の歌唱が行われるような速度を示しており、ブレス符長情報が１／４拍、つまり４分休符である場合には、休符の実時間長ｔは、“６０／１１０秒＝５４５ｍｓ”となる。ブレス区間長計算部４３は、この実時間長ｔを所定の比で内分し、ブレス音長ｔ’と無音区間長ｔｓを求める。好ましい態様において、この比は例えば９：１である。この場合、ブレス音長ｔ’は４９０ｍｓ、無音区間長ｔｓは５５ｍｓとなる。
【００３５】
ブレス音音長制御部４４および無音区間付加部４５は、ブレス区間長計算部４３の計算結果に従い、ブレス音振幅制御部４２から受け取ったブレス音の波形データを用いて、ブレス音長ｔ’相当の時間継続し、後は無音状態となるブレス音の波形データを生成する。
【００３６】
このようにして得られたブレス音の波形データがブレス音合成部４０から出力され、加算器６０を介することによりブレス音として出力される。
【００３７】
このブレス音の合成の後は、図５において休符の後の音節“さ”“い”等の歌唱音の合成が行われるが、それらの動作は既に説明したものと同様なので説明を省略する。
【００３８】
図６は本実施形態の効果を説明するものである。図６（ａ）に示されるブレス音波形Ｋ１は、ブレス音の直前および直後に発音される音素の音素記号がともに／ａ／である。一方、図６（ｂ）に示されるブレス音波形Ｋ２は、ブレス音の直前に発音される音素の音素記号が／ｅ／であり、ブレス音の直後に発音される音素の音素記号が／ｔ／である。ブレス音波形Ｋ１の始期部分Ｆ１およびブレス音波形Ｋ２の始期部分Ｆ２は、先行音素の影響を受け、特に先行音素の音色による影響が反映される。ブレス音波形Ｋ１の終期部分Ｂ１およびブレス音波形Ｋ２の終期部分Ｂ２は、後続音素の影響を受け、後続音素が有声音であるか無声子音であるかにより受ける影響が異なる。例えば、後続音素が有声音、特に母音・鼻音である場合には、図６（ａ）に示されるように、ブレス音波形Ｋ１の終期部分Ｂ１の振幅が急激に増大して減衰するという特徴が見受けられる。また、例えば、後続音素が無声子音である場合には、図６（ｂ）に示されるように、ブレス音波形Ｋ２の終期部分Ｂ２の振幅がゆるやかに減衰する。
【００３９】
本実施形態によれば、ブレス音の直前の先行音素と直後の後続音素との組み合わせによりブレス音の波形を選択するので、以上のような現象を再現し、自然なブレス音を合成することができる。
【００４０】
本実施形態には、次のような変形例が考えられる。
＜変形例１＞
上記実施形態では、ブレス音の直後の音節に関しては、最初の音素のみを考慮してブレス音の波形の制御を行った。これに対し、本変形例では、ブレス音の直後の連続した２個の音素の組み合わせが特定の組み合わせである場合、ブレス音波形の後縁の部分を急激に立ち上げ急激に減衰させる振幅変調を行う。特定の組み合わせとは、例えば図６（ａ）に示されるような、母音／ａ／の後に鼻音／ｎ／が続くような組み合わせである。本変形例によれば、より自然なブレス音を合成することができる。
【００４１】
＜変形例２＞
本変形例では、ブレス音の直後に発音される音素の音素記号のみに基づいて、ブレス音波形を選択する。本変形例によれば、ブレス音データベースのデータ量を削減することが可能になる。
【００４２】
＜変形例３＞
本変形例における歌唱音声合成装置は、ブレス音採否制御部を有している。これは、歌唱音声を合成するに当たって、歌唱音声にブレス音を含めるか否かの切り換え制御を行う装置である。好ましい態様においては、歌唱情報にこの切り換え制御のための制御情報が含まれている。この態様において、ブレス音採否制御部は、この歌唱情報に含まれる制御情報に基づいて歌唱音声にブレス音を含めるか否かの切り換えを行う。また、別の好ましい態様において、ブレス音採否制御部は、図示しない操作部から与えられる指令に従い、歌唱音声にブレス音を含めるか否かの切り換えを行う。
【００４３】
【発明の効果】
以上説明したように本発明によれば、歌唱音に続けてブレス音を合成する場合に、少なくともそのブレス音の直後の歌唱音の音素に基づいてブレス音波形を決定付けるパラメータを選択するので、より自然な歌唱音声を合成することができる。
【図面の簡単な説明】
【図１】 この発明の一実施形態に係る歌唱音声合成装置の構成を示すブロック図である。
【図２】 同実施形態において取り扱う歌唱情報を示す図である。
【図３】 同実施形態における歌唱情報解析部の構成を示すブロック図である。
【図４】 同実施形態におけるブレス音記憶部およびブレス音合成部の構成を示すブロック図である。
【図５】 同実施形態の動作を示すフローチャートである。
【図６】 同実施形態の効果を説明する図である。
【符号の説明】
１０……歌唱情報解析部、２０……歌唱音合成部、３０……歌唱音素片記憶部、４０……ブレス音合成部、５０……ブレス音素片記憶部、６０……加算器。

Claims (5)

1. 時系列的な歌唱音の合成指示に従い、歌唱音を順次合成する歌唱音合成過程と、
   時間的に前後した２つの歌唱音の合成指示の間に吸気音の合成指示が与えられた場合に、少なくとも当該吸気音の直後の歌唱音の音素に基づいて、吸気音の波形を選択し、当該吸気音の直後の歌唱音の音素に基づいて振幅が制御された該波形を用いて吸気音を合成する吸気音合成過程と
   を具備することを特徴とする歌唱音声合成方法。
2. 前記吸気音合成過程では、当該吸気音の直後の歌唱音の音素と当該吸気音の直前の歌唱音の音素の両方に基づいて、前記吸気音の波形を選択する
   ことを特徴とする請求項１に記載の歌唱音声合成方法。
3. 時系列的な歌唱音の合成指示に従い、歌唱音を順次合成する歌唱音合成過程と、
   時間的に前後した２つの歌唱音の合成指示の間に吸気音の合成指示が与えられた場合に、当該吸気音の直後の歌唱音の音素に基づいて、吸気音の振幅を制御して吸気音を合成する吸気音合成過程と
   を具備することを特徴とする歌唱音声合成方法。
4. 時系列的な歌唱音の合成指示に従い、歌唱音を順次合成する歌唱音合成部と、
   時間的に前後した２つの歌唱音の合成指示の間に吸気音の合成指示が与えられた場合に、少なくとも当該吸気音の直後の歌唱音の音素に基づいて、吸気音の波形を選択し、当該吸気音の直後の歌唱音の音素に基づいて振幅が制御された該波形を用いて吸気音を合成する吸気音合成部と
   を具備することを特徴とする歌唱音声合成装置。
5. 時系列的な歌唱音の合成指示に従い、歌唱音を順次合成する歌唱音合成部と、
   時間的に前後した２つの歌唱音の合成指示の間に吸気音の合成指示が与えられた場合に、当該吸気音の直後の歌唱音の音素に基づいて、吸気音の振幅を制御して吸気音を合成する吸気音合成部と
   を具備することを特徴とする歌唱音声合成装置。

Images