JP4757971B2

JP4757971B2 - ハーモニー音付加装置

Info

Publication number: JP4757971B2
Application number: JP30027099A
Authority: JP
Inventors: 高康近藤; ロスコスアレックス; ケイノペドロ; ボナダジョーディ
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1999-10-21
Filing date: 1999-10-21
Publication date: 2011-08-24
Anticipated expiration: 2019-10-21
Also published as: JP2001117578A

Description

【０００１】
【発明の属する技術分野】
本発明は、入力音声信号に対して、その入力音声信号に基づいて生成したハーモニー音を付加するハーモニー音付加装置に関する。
【０００２】
【従来の技術】
従来のハーモニー音付加装置の一例を、図４を参照して説明する。図４に示すハーモニー音付加装置では、マイク１０１から入力された音声を、ピッチシフト部１０２において、付加するハーモニー音のチャンネル数Ｎ個分、ピッチシフトし、それを加算部１０３において加算することでハーモニー音を合成し、出力部１０４から複数のハーモニー音が付加された信号を出力する処理が行われる。この場合のハーモニー音の生成は、ハーモニーの旋律を示すＭＩＤＩ（Musical Instrument Digital Interface）データや楽譜情報など（以下、総称してハーモニー情報という）に基づいて行われる。
【０００３】
また、他の従来のハーモニー音付加装置には、ハーモニーの各音ごとにフォルマントのシフト量を設定可能なものがある。このようなハーモニー音付加装置では、フォルマントのシフト量を制御することによって、男声←→女声変換、いわゆるジェンダーチェンジを行うことが可能である。
【０００４】
【発明が解決しようとする課題】
上記のような従来の方法では、付加されるハーモニー音の各ピッチおよび振幅が、ハーモニー情報で一義的に制御される場合が多く、単調で機械的なハーモニー音となってしまうことがあった。また、振幅は入力音声の振幅に応じて制御していたので、ハーモニー音の不自然さは、さらに顕著となっていた。なお、ピッチに関しては、自然性向上のために、音の始まり部分のみに固定的なピッチ変化を生じさせたり、ビブラートを固定的に付加するなどの案があったが、どちらも固定的な変化であるため不自然さがあった。また、このような手法に関しては、固定パターンを幾つか持っておき、音の始まりごとにその設定をランダムに変えるなどの方法も考えられているが、その方法でもかえって不自然な部分が付加されてしまい、あまり良い結果は得られていなかった。
【０００５】
本発明は、上記の事情に鑑み、例えば、カラオケなどにおいて歌唱された音声に対して、自然な音声ハーモニー音を付加することができるハーモニー音付加装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明は、入力音声信号の音素を認識し、音素情報を出力する音素認識手段と、ピッチの変動、振幅の変動、フォルマントシフト基準値、又はスペクトルチルト基準値のうちの少なくとも一つからなる予め用意された音素ごとの音素特徴パラメータを記憶する音素特徴パラメータ記憶手段と、前記入力音声信号に付加すべきハーモニー音を示すハーモニー情報が入力される入力手段と、前記音素認識手段により認識された前記音素情報に対応する前記音素特徴パラメータを前記音素特徴パラメータ記憶手段から読み出す読出し手段と、前記入力手段に入力された前記ハーモニー情報のハーモニー音に対するハーモニーパラメータ制御情報を算出するハーモニーパラメータ制御手段と、前記ハーモニーパラメータ制御手段により算出された前記ハーモニーパラメータ制御情報に基づいて、前記入力音声信号に対するハーモニー音信号を合成するハーモニー音合成手段とを備え、前記ハーモニーパラメータ制御手段は、前記ハーモニー情報のハーモニー音の音程と前記音素認識手段が出力した前記音素情報の音素に対応する前記音素特徴パラメータのピッチの変動とを加算又は乗算して得られる前記ハーモニー音のピッチシフト量と、前記ハーモニー情報のハーモニー音に対する振幅と前記音素認識手段が出力した前記音素情報の音素に対応する前記音素特徴パラメータの振幅の変動とを加算又は乗算して得られる前記ハーモニー音の振幅量と、前記音素認識手段が出力した前記音素情報の音素に対応する前記音素特徴パラメータのフォルマントシフト基準値と、予め設定されたフォルマントシフト度とハーモニー厚み度とによって決定される前記ハーモニー音のフォルマントシフト量と、前記入力音声信号及び前記ハーモニー音のピッチの差分と、前記音素認識手段が出力した前記音素情報の音素に対応する前記音素特徴パラメータのスペクトルチルト基準値と、当該音素に対応する予め設定されたスペクトルチルト変化量とに基づくスペクトルチルト係数とを前記ハーモニーパラメータ制御情報として算出することを特徴とする。
【０００７】
上記のように本発明は、ハーモニー音の合成において、ハーモニー音の制御パラメータに、所定の音素認識方法によって選られた入力音声信号の音素情報から、予め用意された音素ごとの特徴パラメータ（ピッチ、振幅、スペクトルの時間変化等）を加味することによって、その音素の特徴を有するハーモニー音の合成を行うことを主要な特徴としている。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明によるハーモニー音付加装置の実施の形態の構成を示すブロック図である。図１に示すハーモニー音付加装置は、本発明をカラオケ装置に適用したものであり、歌唱者のマイク１からの入力音声に対して所定の処理を行って１以上のハーモニー音を得て、それらを合成し、さらに伴奏演奏部９から出力される伴奏音を合成して出力するように構成されている。
【０００９】
マイク１は、歌唱者の音声を収拾する。収拾された音声信号は、音素認識部２、音声解析部２＊、およびハーモニー音合成部７へ入力される。音素認識部２は、周知の音素認識方法を用いて入力音声信号の音素を抽出し、予め登録してある複数の音素情報と比較し、その比較結果に基づいて最も類似する音素に対応する音素番号を出力する。登録しておく音素数は、多いほど良いが以下で説明する音素特徴パラメータ記憶部３の容量が大きくなってしまうため、２０〜１００程度でよい。また、音声解析部２＊によって音声のピッチが検出されて出力される。このピッチ情報は、ハーモニー情報４で指定される各ハーモニー音の出力ピッチと入力音声信号のピッチとの差分を求めるときに用いられる。
【００１０】
なお、音声解析部２＊によるピッチ検出は、音声認識部２で行ってもよい。また、音声解析部２＊によるこのピッチ検出は、差分情報が必要な場合だけ必要になり、それ以外の場合は省略可能である。例えば、歌唱音声の周波数をハーモニー旋律との差分だけ変化させる方法ではなく、ハーモニー情報４が指定するハーモニの旋律に一致するように周波数変換するような場合には、差分情報は不要となる。
【００１１】
音素特徴パラメータ記憶部３は、予め歌唱データなどから求めた音素ごとの特徴データを、音素ごとに複数記憶している。本実施の形態では、その特徴データの要素には、ピッチ、振幅、フォルマントシフト基準値、スペクトルチルト基準値がある。なお、特徴データはそれらの要素のうち少なくとも一つから形成することもできる。以下に各要素について説明する。
【００１２】
（１）ピッチ：音素は個々に特徴的なピッチの変動（ゆらぎ）を持っているので、それを再現するためのデータである。ここでは、音素ごとの特徴的なピッチ（ただしビブラートの成分は除いたものが望ましい）を、その平均ピッチからの比率で、ある時間間隔（例えば５ｍｓ）でサンプルした値を用いている。ただし小容量のデータしか持てない場合は、各音素の頭部分の１００ｍｓ程度のデータを持つとともに、それ以降のデータを繰り返しデータとして持つようにしても良い。繰り返しデータは、安定している部分のある時間（例えば２００ｍｓ間）のデータと、その時間（またはサンプル数）を記憶しておき、そのデータをその時間周期で繰り返すことによって得ることができる。
【００１３】
（２）振幅：音素は個々に特徴的な振幅の変動（ゆらぎ）を持っているので、それを再現するためのデータである。ここで、各音素に対応する波形の振幅データの持ち方としては、各音素の振幅エンベロープを、振幅エンベロープの最も大きい部分からの比率、または平均レベルからの比率として、上記ピッチの場合と同様な形式でサンプリングして持つことができる。なお、ハーモニー音に対する音素毎の振幅の制御に関しては、ハーモニー音程にピッチシフトした音声波形を時間軸で繋げてハーモニー音を作成する方法のように、ハーモニー音が初めから所定の振幅（この場合は入力音声に対応する振幅）をもつ場合には省略してもよい。特徴データとして振幅データを使用する制御は、ハーモニー音が入力の音声振幅によらずに制御可能な場合や、ハーモニー音の振幅が固定になってしまう方式などを採用した場合に特に有効となる。
【００１４】
（３）フォルマントシフト基準値：フォルマントシフトを行う場合に、音素ごとに異なるシフト量を設定する際の基準として用いられる値であって、音素ごとに設定される。ここで、フォルマントシフト基準値が必要となる理由について説明する。例えば不特定多数の人にいろいろな言葉を話してもらうと、各人の平均フォルマント周波数（例えば第１フォルマントと第２フォルマントの中間の周波数）の差は、音素ごとにほぼ同一の傾向で異なっていることが判る。このことは、発声のしくみによるものである。したがって、フォルマントシフトを行う場合は、すべての音素について同じシフト量を与えたのでは、自然な感じのハーモニー音を得ることができない。このため、フォルマントシフト基準値のデータ形式は、音素ごとに設定されるものとし、時間で変化する時間情報を持たない形とする。具体的なデータの形式としては、音素ごとにフォルマントシフト基準値を正規化して持つようにすれば任意の形をとることができるが、例えば簡単な例としては、対数の値（例えばセント）で持つこととし、１００で正規化するとした場合には、例として求められた３つの音素の平均フォルマントの差が２０セント、１０セント、５０セントならば、フォルマントシフト基準値は、最大値の５０セントを１００として、それぞれ４０、２０、１００となる。
【００１５】
（４）スペクトルチルト基準値：スペクトルの傾き（スペクトルチルト）は音素毎に異なっているが、その場合の基準値を決める特徴データである。このスペクトルチルト基準値は、スペクトルのチルトコントロールを行う場合に、音素ごとに異なるチルト量を設定する際の基準として用いられる値であって、音素ごとに設定される。この実施の形態では、入力音声のピッチと出力音声のピッチとの差に応じて付加するハーモニー音のスペクトルの傾きを変更するようにしている。すなわち、スペクトルのチルトコントロールを行うこととしている。この場合、仮に全ての音素に対して同じスペクトルの傾きとなるように、一様にチルトコントロールを行うとすると、前述したフォルマントシフトの時と同様の不自然さの課題が発生する可能性がある。そこで、本実施の形態では、このスペクトルチルト基準値を用いて音素ごとにスペクトルチルトの制御条件を異ならせることで、そのような不具合を補正できるようにしている。このパラメータは時間情報ではなく、音素ごとに一つの値である。値としては各音素に対する値を正規化して持てばどのような持ち方でも良い。その具体例について次に説明する。
【００１６】
スペクトルチルト基準値の求め方としては、まず、ある人に各音素（各音素を音素番号ｐで分類）ごとに低い音から高い音までの複数のピッチ（周波数番号ｆで分類）で発音してもらい、その発音信号のスペクトル分析を行う。そして、各音素および各ピッチごとにスペクトル分析結果のスペクトル傾きを求める。各音素および各ピッチごとのスペクトル傾きＸｆｐ（スペクトルチルト係数、ここで、ｆ：周波数番号、ｐ：音素番号）は、例えば、次式によって計算することができる。
【数１】

ここで、ｉはスペクトル分析結果の周波数インデックス、Ｎはインデックスの最大値、ｘは各インデックスの周波数の値、ｙは各インデックスの成分のマグニチュード値であり、ｉ＝０が最低周波数のスペクトル成分インデックスを表している。
【００１７】
次に、そのピッチおよび音素ごとのスペクトル傾きＸｆｐから、音程（ピッチ差分）対傾き率、すなわち、スペクトル傾き値Ｘｆｐの音程に対する変化率を、各音素ｐごとに求める。求め方は、スペクトル傾きＸｆｐを求める時と同様な手法（上式と同様な計算）で行うものとする。それを、音程対傾き率Ｙｐ（ｐ：音素番号）で表すこととする。そして、その各音素ごとの音程対傾き率Ｙｐから全音素に対する平均の音程対傾き率Ｙを求める。次に、各音素ごとに、音程対傾き率Ｙｐを平均の音程対傾き率Ｙで割った値Ｙｐ／Ｙを求め、これをチルト基準値とする。また、ここで求めたスペクトルチルト変化量Ｙを、ピッチ差分値をパラメータとして変化させた場合の複数の値を、音素特徴パラメータ記憶部３またはハーモニパラメータ制御部６の所定の記憶装置内に、音程（ピッチ差分値）に対応させたチルト変化量テーブルとして記憶しておく。
【００１８】
以上が、音素特徴パラメータ記憶部３の記憶内容である。次に、図１のハーモニー情報４は、付加すべきハーモニーの音程（ピッチ）を示す情報である。これは、ＭＩＤＩ規格の曲データなどから与えても良いし、楽譜情報に含ませてシーケンス情報として持ってもよい。フォルマントシフト度設定部５１は、ハーモニー音を自声ではなく、例えば男性なら女性、女性なら男性の声にしたい場合等に、操作者が所定の操作子によりフォルマントシフト量を設定する手段である。または、その曲に応じてその設定量を変更した場合は楽譜情報に含ませてシーケンス情報として持つようにして、その値を呼び出して設定する手段としてもよい。
【００１９】
ハーモニーパラメータ制御部６は、音素特徴パラメータ記憶部３から出力される入力音素に対応する音素特徴パラメータの値と、ハーモニー情報４と、フォルマントシフト度設定部５１と、ハーモニー厚み度設定部５で操作者が所定の操作子を操作することによって指定されたハーモニー厚み度等の各値とから、ハーモニー音合成部７の各制御パラメータ（ハーモニーパラメータ制御情報）を生成し出力する手段である。ハーモニーパラメータ制御情報としては、ピッチ、振幅、フォルマントシフト量、スペクトルチルト係数がある。以下、ハーモニーパラメータ制御情報の各パラメータについて説明する。
【００２０】
（１）ピッチパラメータ：ハーモニー情報４から指定された各ハーモニー音に対する音程と、音素特徴パラメータのピッチ情報を加算または乗算することによって求められるものであって、ハーモニー音合成部７における各ハーモニー音のピッチシフト量を決めるパラメータである。この「ピッチパラメータ」の生成にあたっては、音素特徴パラメータのピッチ情報の加算または乗算が行われるから、各音素に対応した微妙なピッチ変動を制御することができる。
【００２１】
（２）振幅パラメータ：ハーモニー情報４から指定された各音に対する振幅と、音素特徴パラメータの振幅情報を加算または乗算することによって得られる、ハーモニー音合成部７における各ハーモニー音の振幅量を決めるパラメータである。この「振幅パラメータ」の生成にあたっては、音素特徴パラメータの振幅情報の加算または乗算が行われるから、音素に対応した微妙な振幅変動を制御することができる。
【００２２】
（３）フォルマントシフト量パラメータ：各ハーモニー音に対するフォルマントシフト量は、３つの情報から決定される。
第１の情報は、音素特徴パラメータの音素ごとのフォルマントシフト基準値である。
第２の情報は、フォルマントシフト度設定部５１で設定されたフォルマントシフト度である。このパラメータは、ハーモニー音の何番目の音であるかによって、その音のフォルマントシフト量をどれだけずらすかのオフセット量である。値の持ち方としては、例えば、セント値で持つこととし、その値とハーモニー厚み度（０〜１．０とした場合）の乗算を行い、その結果が各ハーモニー音のフォルマントシフト量のオフセット量となる。
第３の情報は、ハーモニー厚み度設定部５によって設定されたハーモニーの厚み度とに基づいて決定されるパラメータである。
【００２３】
これら３つの情報に基づいてフォルマントシフト量が決定される。すなわち、音素、フォルマントシフト度および厚み度によってフォルマントシフト量が決定される。なお、フォルマントシフト基準値については、予め複数パターン設定しておいて、ハーモニー厚み度設定部５を用いた選択操作によって選択可能にしておいても良い。このハーモニーの厚み度に応じて、ハーモニー音の各音ごとにフォルマントをずらした場合、あたかも複数の人が歌唱しているような効果が得られ、ハーモニー音の厚みを制御することができる。
【００２４】
（４）スペクトルチルト係数：スペクトルチルトコントロールの制御条件を決定するためのパラメータである。スペクトルチルト係数を決定するには、まず、音声解析部２＊からの入力音声のピッチとハーモニー情報４の各ハーモニー音の音程情報から、各音の入力ピッチと出力ピッチの差分を求める。その差分に基づいて、上記音素特徴パラメータ記憶部３内のチルト変化量テーブルからその差分に対応する各音素に共通のチルト変化量を求める。その各音素に共通のチルト変化量と、音素特徴パラメータ記憶部３のチルト基準値とから、入力音素に対応したスペクトルチルト変化量を求め、さらに、入力音素に対応したスペクトルチルト変化量と、ピッチ差分の値からスペクトルチルト係数を求めることができる。これによって、入力音声の音素と音程に適したスペクトルチルトを指示することができ、従来装置のハーモニー音のように、どの音程でも、どの音素でもスペクトルチルトが同じという単調さが回避され、自然なハーモニー音を生成することができる。
【００２５】
次に、図１のハーモニー音合成部７について説明する。ハーモニー音合成部７は、入力音声信号に対してハーモニー音を付加して合成するものであり、入力音声にハーモニーを付加するＮ個（Ｎチャンネル）の処理回路１〜Ｎを有している。なお、処理回路１〜Ｎから処理部７１が構成されている。ハーモニー音合成部７は、上記ハーモニーパラメータ制御部６からの各ハーモニー音に対するハーモニーパラメータ制御情報に従って制御を行い、制御結果である各ハーモニー音を加算部７２で加算して出力する。
【００２６】
ここで、歌唱された元の音声信号の出力については、例えば、ハーモニー音の１つのチャンネル（例えばチャンネル１）については、何も処理を行わないようにして出力する。なお、元の音声信号については、１つのチャンネルについては、他のチャンネルの遅延と同期を取るための遅延処理を行う処理だけにしたり、他のチャンネルに比べてピッチシフトが小さい処理、例えば、入力音声の音程ずれ（メロディからの音程ずれ）を修正する程度のピッチシフトのみを行って出力するように構成してもよい。
また、入力音声については、スルーで通過させる経路を別途設け、これを加算部７２で合成するように構成してもよい。
【００２７】
次に、ミキシングアンプ８は、ハーモニー音合成部７からのハーモニー音と、伴奏音演奏部９からの伴奏音を加算して出力する。
【００２８】
ここで、図２は、図１のハーモニー音合成部７を、ＳＭＳ分析・合成方法（ＳＭＳ：Spectral Modeling Synthesis；スペクトル・モデリング・合成）を利用することで実現する場合の構成の一例を示すブロック図である。なお、ＳＭＳ分析・合成ついては、特開平７−３２５５８３号公報「サウンドの分析及び合成方法並びに装置」、特開平１１−１３３９９５号公報「音声変換装置」等に記載されている。
【００２９】
ＳＭＳ分析部７０１は、入力音声信号を、所定のフレーム単位で切り出した後、ＦＦＴ（高速フーリエ変換）によって周波数スペクトルに変換し、スペクトル分析結果からＳＭＳ分析によって正弦波成分および残差成分を抽出してフレーム単位で出力する。Ｎ個の処理部１（７０２−１）、処理部２（７０２−２）、…、処理部Ｎ（７０２−Ｎ）は、ハーモニー音の各チャンネルに対応する信号処理回路であり、ハーモニーパラメータ制御部６から各回路に対してそれぞれ供給されるＮ個のハーモニーパラメータ制御情報に基づいて、正弦波成分および残差成分に対して振幅制御、ピッチ制御、スペクトルチルトなどの処理を行って出力する。加算部７０３は、処理部１〜Ｎ（７０２−１〜Ｎ）で処理された結果を加算して出力する。逆ＦＦＴ部７０４は、加算された結果を逆ＦＦＴによって波形情報に変換して出力する。
【００３０】
図３は、図２の処理部１〜Ｎ（７０２−１〜Ｎ）の構成を示すブロック図である。各処理部７０２（７０２−１〜Ｎ）は、ハーモニーパラメータ制御情報に基づいて、正弦波成分に対してピッチシフト、フォルマントシフト、スペクトルチルト、振幅制御を行って出力する制御部７０２１と、例えばハーモニーパラメータ制御情報内のピッチシフト等の周波数に関する情報に基づいて、残差成分に対して周波数成分を制御するフィルタリング処理を行って出力する残差成分複合フィルタ７０２２とから構成されている。
【００３１】
図２および図３の構成によれば、ＳＭＳ分析・合成方法を利用することにより、ピッチ、振幅、フォルマントシフト、チルトコントロールが、周波数領域で行うことが出来、各ハーモニー音の合成も、周波数領域で加算後、逆ＦＦＴにより行うことが出来るので、多くのハーモニー音を容易に合成することが可能である。
【００３２】
（実施形態の動作）
上述した構成によれば、マイク１から入力された歌唱音声は、音素認識部２においてその音素が認識される。ここで認識された音素に応じて、音素特徴パラメータ記憶部３から各音素についての特徴パラメータが出力され、ハーモニーパラメータ制御部６に供給される。ハーモニーパラメータ制御部６では、ハーモニー音の音程を作るためのピッチシフト量を求め、さらに、供給された音素特徴パラメータとハーモニー厚み度設定部５及びフォルマントシフト度設定部５１からの出力信号に基づき、音素毎の制御も含めたハーモニーパラメータを生成し、ハーモニー合成部７に供給する。これにより、ハーモニー合成部７では、入力音声をハーモニー音程へとピッチシフトするハーモニー音の生成に際して、さらに、音素に対応した微妙なピッチ制御、振幅制御、フォルマントシフトがなされる。また、スペクトルチルトについては、音素と音程の双方に対応した制御がなされる。以上の処理により、自然で厚みのあるハーモニー音が歌唱音声に付加され、従来にない響きのあるハーモニー効果を得ることができる。
【００３３】
なお、本発明の実施の形態は、信号処理用の半導体集積回路と、それに設定されたマイクロプログラム等の組み合わせによって構成することができ、またコンピュータおよびその周辺機器と、そのコンピュータで実行されるプログラムとの組み合わせによっても実現することが可能である。さらに、コンピュータとプログラムとから構成する場合には、そのコンピュータが実行するプログラムを、コンピュータ読み取り可能な記録媒体に記録して頒布することが可能である。
【００３４】
【発明の効果】
以上説明したように、本発明によれば、ハーモニー音に歌唱者の音素の特徴が加味されるので、より自然なハーモニー音を得ることが可能となる。また、ハーモニー音の各音ごとにフォルマントシフト量を設定すれば、あたかも複数の人が歌唱しているような効果を得ることが出来る。さらに、その時、フォルマントシフト量を、各音素に応じたシフト量とすれば、シフト量を固定とした場合の音韻の不自然さがなくなり、より自然な効果を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明によるハーモニー音付加装置の実施の形態を示すブロック図
【図２】図１のハーモニー音合成部７の構成を示すブロック図
【図３】図２の処理部１〜Ｎの構成を示すブロック図
【図４】従来のハーモニー音付加装置の実施の形態を示すブロック図
【符号の説明】
１…マイク、２…音素認識部、２＊…音声解析部、３…音素特徴パラメータ記憶部、４…ハーモニ情報、５…ハーモニ厚み度設定部、６…ハーモニパラメータ制御部、７…ハーモニー音合成部、８…ミキシングアンプ、９…伴奏演奏部、７０１…ＳＭＳ分析部、７０２，７０２−１〜７０１−Ｎ…処理部、７０３…加算部、７０４…逆ＦＦＴ部、７０２１…制御部、７０２２…残差成分複合フィルタ。

Claims

入力音声信号の音素を認識し、音素情報を出力する音素認識手段と、
ピッチの変動、振幅の変動、フォルマントシフト基準値、又はスペクトルチルト基準値のうちの少なくとも一つからなる予め用意された音素ごとの音素特徴パラメータを記憶する音素特徴パラメータ記憶手段と、
前記入力音声信号に付加すべきハーモニー音を示すハーモニー情報が入力される入力手段と、
前記音素認識手段により認識された前記音素情報に対応する前記音素特徴パラメータを前記音素特徴パラメータ記憶手段から読み出す読出し手段と、
前記入力手段に入力された前記ハーモニー情報のハーモニー音に対するハーモニーパラメータ制御情報を算出するハーモニーパラメータ制御手段と、
前記ハーモニーパラメータ制御手段により算出された前記ハーモニーパラメータ制御情報に基づいて、前記入力音声信号に対するハーモニー音信号を合成するハーモニー音合成手段とを備え、
前記ハーモニーパラメータ制御手段は、前記ハーモニー情報のハーモニー音の音程と前記音素認識手段が出力した前記音素情報の音素に対応する前記音素特徴パラメータのピッチの変動とを加算又は乗算して得られる前記ハーモニー音のピッチシフト量と、前記ハーモニー情報のハーモニー音に対する振幅と前記音素認識手段が出力した前記音素情報の音素に対応する前記音素特徴パラメータの振幅の変動とを加算又は乗算して得られる前記ハーモニー音の振幅量と、前記音素認識手段が出力した前記音素情報の音素に対応する前記音素特徴パラメータのフォルマントシフト基準値と、予め設定されたフォルマントシフト度とハーモニー厚み度とによって決定される前記ハーモニー音のフォルマントシフト量と、前記入力音声信号及び前記ハーモニー音のピッチの差分と、前記音素認識手段が出力した前記音素情報の音素に対応する前記音素特徴パラメータのスペクトルチルト基準値と、当該音素に対応する予め設定されたスペクトルチルト変化量とに基づくスペクトルチルト係数を前記ハーモニーパラメータ制御情報として算出することを特徴とするハーモニー音付加装置。