JP4172369B2 - 楽音処理装置、楽音処理方法及び楽音処理プログラム - Google Patents

Description

本発明は、楽音処理装置に関し、特に、複数の人が歌唱若しくは演奏しているような効果（アンサンブル効果）等を得るのに好適な楽音処理装置、楽音処理方法及び楽音処理プログラムに関する。

入力される楽音にコーラス効果（単一の音源の音を複数の音源の音が同時に鳴っているように変える効果）を付与する装置が広く知られている。このようなコーラス効果を付与する装置として、下記特許文献１には、入力される楽音信号を低域成分、中域成分、高域成分の３つに帯域分割し、帯域分割した各信号成分に異なる変調処理（周期的なピッチ変化や遅延等を与えるための処理）を施し、これらを入力された楽音信号とミックスしてコーラス効果を付与する装置が開示されている。また、下記特許文献２には、予めメモリ等に格納されている楽譜情報からピッチ、音量、出音タイミング等を抽出し、これらに変調処理を施して合成した合唱音声を得る歌唱合成装置が開示されている。

特開２００３−１２２３６１号公報 特開平７−１４６６９５号公報

しかしながら、上記各特許文献に開示された変調処理においては、ＬＦＯ（Low Frequency Oscillator）にて発生された三角波等の変調信号が用いられていたため、その変化の仕方は単調かつ不自然であり、実際に複数の人が歌唱若しくは演奏しているようなアンサンブル効果は得られなかった。なぜなら、実際に複数の人が歌唱若しくは演奏した場合には、声質や歌い方（演奏であれば演奏方法等）等に微妙なずれが生じ、この微妙なずれによって味わい深い音の艶や揺らぎが生み出されるからである。

本発明は、以上説明した事情を鑑みてなされたものであり、自然なアンサンブル効果等の付与を可能とする楽音処理装置、楽音処理方法及び楽音処理制御プログラムを提供することを目的とする。

上記目的を達成するために、本願発明者は、まず、１人の歌唱者が歌唱したときの音声のスペクトルと多数人の歌唱者が歌唱したときの音声のスペクトルとを比較し、相違点を明らかにした。図１は、「う」といった音を１人の歌唱者が発声したときの音声（以下、単音音声）のスペクトルの時間推移を示す図であり、図２は、上記と同じく「う」といった音を多数人の歌唱者が発声したときの音声（以下、アンサンブル音声）のスペクトルの時間推移を示す図である（縦軸；振幅、横軸；周波数）。なお、図１及び図２においては、Ａ→Ｂ→Ｃの順で時間が推移（数１０ms程度の時間間隔）したときのスペクトルの変化が示されている。これら図１及び図２を比較してわかることは、次の通りである。

（１）単音音声においては、スペクトルの大きさについて時間とともに大きな変化は認められず（図１のＡ〜Ｃ参照）、また、はっきりとした倍音構成がみてとれる。
（２）アンサンブル音声においては、１倍音、２倍音・・・といった各倍音スペクトルの大きさが時間とともに変化し（図２のＡ〜Ｃ参照）、また、低域から高域に向かうにつれ、倍音が明確ではなくなっていくこと（うねっていること）がみてとれる。
なお、倍音スペクトルとは、スペクトルのピークが現れる最も低い周波数を基本周波数（１倍音）とし、この基本周波数を２倍、３倍、・・・ｎ倍した各周波数（図１及び図２に示す基本周波数、２倍音周波数等参照）におけるスペクトル成分をいい、倍音とは、これら各倍音スペクトルに対応する音をいう。

本願発明者は、このような結果を次のように考察した。まず、図２に示されるような倍音スペクトルの大きさの変動は、例えば周波数の近い正弦波を重ねたときに各周波数の差分に応じて発生するビート（うなり）の原理にみてとることができる。すなわち、多数人が歌唱等するアンサンブル時において、まず、全倍音スペクトルの中のある倍音スペクトルに着目すると、その倍音スペクトルの周波数は、各人毎にそれぞれ微妙に異なり、かつ、その周波数のずれ量も時間とともに変動していく。そして、このような倍音スペクトルの周波数のずれ方は、各倍音毎にそれぞれ異なる。さらに、低域から高域に向かうにつれ、対応する倍音スペクトルの周波数のずれ量は大きくなる。以下に示す本願発明は、このような知見に基づくものである。

上記知見に基づく本願発明は、該分析により得られるスペクトルのピークに基づいて、該単音から複数の倍音領域を抽出する倍音領域抽出手段と、前記各倍音領域内を複数の領域に分割する倍音領域内分割手段と、それぞれ異なる揺らぎ信号を発生する複数の揺らぎ信号発生手段と、前記複数の領域の各々に存在する複数のスペクトル成分について、前記複数の揺らぎ信号発生手段のいずれかに対応した前記揺らぎ信号を用いて各領域毎にそれぞれ異なる変調を施す変調手段とを具備することを特徴とする。

かかる構成によれば、入力される単音が倍音領域に分割され、倍音領域毎に異なる変調が施されるため、各倍音スペクトルの大きさが時間とともに変化し、かつ、変化の仕方等も各倍音毎に異なるといったアンサンブル音声に固有の特徴を忠実にシュミレートすることができる。

また、前記倍音領域内分割手段は、各倍音領域内に存在するピーク・スペクトルを含む第１領域と、前記第１領域の外側の領域であって該第１領域を挟む第２領域と、前記第２領域のさらに外側の領域であって該第１領域及び第２領域を挟む第３領域とに分割する態様がさらに好ましい。

また、ノイズ信号から特定周波数成分の信号を取り除いた揺らぎ信号を発生する揺らぎ信号発生手段をさらに複数備え、前記変調手段は、前記第１領域内に存在する複数のスペクトルについて、前記各倍音領域毎にそれぞれ異なる前記揺らぎ信号を用いて変化させる第１変調手段と、前記第２の領域内に存在する複数のスペクトルについて、各スペクトル毎にそれぞれ異なる前記揺らぎ信号を用いて変化させる第２変調手段とを具備するようにしても良い。

また、前記第１変調手段は、前記第１の領域内に存在する複数のスペクトルの振幅値の各々を前記揺らぎ信号を用いて変化させ、前記第２変調手段は、前記第２の領域内に存在する複数のスペクトルの振幅値の各々を、前記第１領域内に存在するピーク・スペクトルの振幅値を前記各揺らぎ信号を用いて変化させたものに置き換える一方、前記第２の領域内に存在する複数のスペクトルの位相の各々を、前記第１領域内に存在するピーク・スペクトルの周波数からその周波数偏移の分だけ補正して生成したものに置き換えるようにしても良い。

以上説明したように、本発明によれば、自然なアンサンブル効果等の付与が可能となる。

以下、本発明に係る実施の形態について図面を参照しながら説明する。
Ａ．本実施形態
Ａ−１．全体構成
図３は、本実施形態に係る音声処理装置（楽音処理装置）１００の構成を示す図である。
音声入力部２００は、マイクロホン等によって構成され、１人の歌唱者が発した単音音声を音声処理装置１００の内部に入力する。
音声分析部３００は、音声入力部２００から供給される単音音声をフレーム単位（５〜１０ｍｓ程度）でＦＦＴ（Fast Fourier Transform）分析等を行い、スペクトルの抽出を行う。そして、音声分析部３００は、かかる分析等によって得たスペクトルをアンサンブル効果付与部４００に供給する。

アンサンブル効果付与部（変調手段）４００は、音声分析部３００から供給される単音音声のスペクトルから複数の倍音領域を抽出し（詳しくは後述）、これら各倍音領域のスペクトルに異なる変調処理を施すことで、入力される単音音声にアンサンブル効果を付与する手段であり、揺らぎ信号発生ユニット５００とスペクトル変更部６００とを備えている。

揺らぎ信号発生ユニット５００は、上記変調の際に用いられる揺らぎ信号を発生する手段であり、複数の揺らぎ信号発生部５１０−ｋ（１≦ｋ≦ｎ）によって構成されている。さらに、各揺らぎ信号発生部５１０−ｋは、図４に示すように振幅の仕方等がそれぞれ異なる揺らぎ信号を発生する複数の揺らぎ信号発生器５２０−ｋ−ｊ（１≦ｊ≦ｍ）を備えている。図５は、揺らぎ信号発生器５２０−ｋ−ｊの構成を示す図であり、図６は、揺らぎ信号発生器５２０−ｋ−ｊにおいて発生される揺らぎ信号の波形を例示した図である。なお、以下の説明において、各揺らぎ信号発生部５１０−ｋ及び各揺らぎ信号発生器５２０−ｋ−ｊを特に区別する必要がない場合には、単に揺らぎ信号発生部５１０及び揺らぎ信号発生器５２０と略称する。また、図６に示すような揺らぎ信号を揺らぎ信号wobble(t)と略称する。

図５に示すホワイトノイズ発生器（ノイズ発生手段）５２１は、図示せぬ制御部による制御のもと、一定レベル内のノイズ信号をランダムに発生し、ＬＰＦ（フィルタ手段）５２２に供給する。ＬＰＦ５２２は、供給されるノイズ信号からカットオフ周波数設定手段５２３によって設定されるカットオフ周波数Ｆｃよりも高い周波数成分の信号を取り除き、これを正規化手段５２４に出力する。カットオフ周波数設定手段５２３は、１０Ｈｚ前後の一定の周波数範囲内で揺れるようなカットオフ周波数Ｆｃを発生し、これをＬＰＦ５２２に設定する。このように、カットオフ周波数Ｆｃを１０Ｈｚ前後で揺らすように設定するのは、かかる揺らぎ信号によるスペクトルの変化の仕方がアンサンブル時におけるスペクトルの変化の仕方に最も合致するからである。なお、カットオフ周波数Ｆｃを１０Ｈｚ前後で揺らすタイミングについては、任意に設定可能である。また、カットオフ周波数Ｆｃを１０Ｈｚ前後で揺らすことなく、固定しても良いのはもちろんである。

正規化手段５２４は、ＬＰＦ５２２から高周波成分が取り除かれたノイズ信号を受け取ると、これを図６に示すように−１〜０〜１の範囲になるように正規化し、揺らぎ信号として出力手段５２５に出力する。この結果、各揺らぎ信号発生部５１０からは、アンサンブル時におけるスペクトルの変化の仕方に最も合致する複数の揺らぎ信号（ただし、振幅の仕方等は揺らぎ信号毎に異なる）が出力され、スペクトル変更部６００に供給されることになる。

スペクトル変更部６００は、人数感パラメータ入力部７００から供給される人数感指定情報（後述）と、各揺らぎ信号発生部５１０から供給される揺らぎ信号とに基づいて、各倍音領域の各スペクトルをそれぞれ変更する。なお、スペクトル変更部６００の詳細については後述する。

人数感パラメータ入力部７００は、操作ボタン、操作スイッチ等によって構成され、外部から操作ボタン等を介して入力される人数感（すなわち、何人で演奏等されたときのアンサンブル効果をシュミレートすべきか）を指定するための人数感指定情報を受け付け、これをスペクトル変更部６００に供給する。
合成部（合成手段）８００は、アンサンブル効果が付与された音声と入力された単音音声とを合成する手段であり、加算器８１０と、変換器８２０とを備えている。

加算器８１０は、アンサンブル効果付与部４００から供給されるスペクトル（すなわちアンサンブル効果が付与された音声のスペクトル）と音声分析部３００から供給されるスペクトル（すなわち入力された単音音声のスペクトル）とを加算し、加算結果を変換器８２０に出力する。

変換器８２０は、加算器から出力される加算結果（すなわち、スペクトルの加算結果）に逆ＦＦＴ等を施し、入力される単音音声とアンサンブル効果が付与された音声とを合成した合成音声を得る。そして、合成部８００は、この逆ＦＦＴ等によって得られた合成音声を音声出力部９００に供給する。

音声出力部９００は、スピーカ等によって構成され、合成部８００から供給される合成音声を外部に出力する。かかる構成を有する音声処理装置１００を利用することで、実際に複数の人が歌唱若しくは演奏しているかのような効果を得ることが可能となる。以下、スペクトル変更部６００の構成、動作等について詳細に説明する。

Ａ−２．スペクトル変更部６００
図７は、スペクトル変更部６００の構成を示す図であり、図８は、単音音声から複数の領域を抽出する動作を説明するための図である。
倍音領域抽出手段６２１は、音声分析部３００から供給される単音音声のスペクトルから複数の倍音領域を抽出する手段である。詳述すると、倍音領域抽出手段６２１は、供給される単音音声の各倍音スペクトルのピークを検出し、検出した各ピークを中心とする所定の周波数領域（図８のＡに示すＣＰ間の領域）をそれぞれ倍音領域として抽出する。なお、抽出する倍音領域の幅については適宜設定可能である。また、倍音領域の抽出の方法はこれに限る趣旨ではなく、変形例５に示すような方法を採用しても良い。そして、倍音領域抽出手段６２１は、このようにして抽出した各倍音領域のスペクトル成分を、それぞれ対応する倍音領域変更手段６２０−ｌ（１≦ｌ≦ｎ）に供給する。

この結果、第１倍音領域内に存在する複数のスペクトル成分が第１倍音領域変更手段６２０−１に供給され、第２倍音領域内に存在する複数のスペクトル成分が第２倍音領域変更手段６２０−２に供給され、・・・第ｎ倍音領域に存在する複数のスペクトル成分が第ｎ倍音領域変更手段６２０−ｎに供給されることになる。なお、以下の説明において、各倍音領域変更手段６２０−ｌ及び各倍音領域変更手段６２０−ｌに与えられる複数のスペクトルについて特に区別する必要がない場合には、それぞれ倍音領域変更手段６２０及び倍音領域スペクトルと呼ぶ。

各倍音領域変更手段６２０は、倍音領域抽出手段６２１から供給される倍音領域スペクトルを、対応する揺らぎ信号発生部５１０によって発生される揺らぎ信号に基づいて変更する手段であり、倍音領域内分割手段６２２と、第１領域変更手段６２３と、第２領域変更手段６２４と、第１加算器６２５とを備えている。
倍音領域内分割手段６２２は、倍音領域抽出手段６２１から供給される倍音領域スペクトルを、複数（本実施形態では３つ）の領域に分割する手段である。

具体的には、図８のＢに示すように、倍音領域内分割手段６２２は、与えられる倍音領域スペクトルについて、倍音領域内に存在するピークを示すスペクトル（ピーク・スペクトル）を含む第１領域と、この第１領域の外側の領域であって第１領域を挟む第２領域と、この第２領域のさらに外側の領域であって第１領域及び第２領域を挟む第３領域とに分割する。

なお、各領域の幅については、例えば第１領域をピーク・スペクトルを中心とした３〜５程度のbinを含む領域とし（図８のＢに示すbin参照；なお、binとはＦＦＴ分析の結果である各周波数スペクトルの成分であり、binの数はＦＦＴ分析の分解能に対応し、各binには周波数順にインデックスが付されている。）、第２領域については当該倍音領域のピーク周波数（ピーク・スペクトルの周波数）に応じてそのピーク周波数が高くなるほど広くなるように設定し（詳細は後述）、第３領域については当該倍音領域から第１領域及び第２領域の除いた領域とする。もちろん、どのようにして各領域の幅を決定するかは適宜設定・変更可能である。

倍音領域内分割手段６２２は、上記の如く倍音領域を第１〜第３領域に分割すると、分割後の第１領域に含まれる複数のbin（以下、第１領域スペクトル）を第１領域変更手段６２３に供給し、第２領域に含まれる複数のbin（以下、第２領域スペクトル）を第２領域変更手段６２４に供給し、第３領域に含まれる複数のbin（以下、第３領域スペクトル）を第１加算器６２５に供給する。

図９は、第１領域変更手段６２３及び第２領域変更手段６２４によって実行される第１領域スペクトル及び第２領域スペクトルの変更動作を説明するための図であり、図１０は、第１領域変更手段６２３及び第２領域変更手段６２４に供給される揺らぎ信号wobble(t)を説明するための図である。なお、図９においては、変化前のスペクトルの振幅値を実線で示し、変化後のスペクトルの振幅値を破線で示している。

Ａ−２−１．第１領域変更手段６２３
第１領域変更手段（第１変調手段）６２３は、倍音領域内分割手段６２２から第１領域スペクトルを受け取ると、この第１領域スペクトルのbinの振幅値magnitude（＝OriginalMag(i)）の各々を、下記式（１）を利用して変化させる（図９に破線で示す第１領域スペクトル参照）。
Mag(i)＝OriginalMag(i)＊（wobble[n](t)＋１）＊ａ ・・・（１）
ａ；振幅値の揺らぎ幅を決定する定数（詳細は後述）
ｉ；第１領域スペクトルのbinのインデックス

なお、上記式（１）におけるwobble[n](t)の[n]は、各倍音領域の番号（例えば第１倍音領域であれば「1」等）を意味し、各倍音領域毎にそれぞれ独立した揺らぎ信号wobble(t)が用いられることを意味する。具体的には、図１０に示すように、第１倍音領域変更手段６２０−１に係る第１領域変更手段６２３には、揺らぎ信号発生器５２０−１−１から発生される揺らぎ信号が供給され、第２倍音領域変更手段６２０−２に係る第１領域変更手段６２３には、揺らぎ信号発生器５２０−２−１から発生される揺らぎ信号が供給され、・・・第ｎ倍音領域変更手段６２０−ｎに係る第１領域変更手段６２３には、揺らぎ信号発生器５２０−ｎ−１から発生される揺らぎ信号が供給される。

各第１領域変更手段６２３は、与えられる揺らぎ信号wobble(t)を用いてMag(i)を求めると、このようにして求めたMag(i)を、そのbinの新しい振幅値magnitudeとし、新しい振幅値magnitudeを有する第１領域スペクトルを第１加算器６２５に出力する。なお、各第１領域変更手段６２３は、後述する各第２領域変更手段６２４とは異なり、供給される第１領域スペクトルの振幅値magnitudeを揺らぎ信号wobble(t)に基づいて変化させるのみであり、それぞれの位相phaseについては変化させない（Phase＝OriginalPhase(i)）。各第１領域変更手段６２３は、このような処理を実行することで、各倍音毎に生じるビート（うなり）がシュミレートする（発明が解決しようとする課題の項参照）。

Ａ−２−２．第２領域変更手段６２４
第２領域変更手段（第２変調手段）６２４は、倍音領域内分割手段６２２から第２領域スペクトルを受け取ると、まず、この第２領域スペクトルの振幅値magnitudeの各々を、下記式（２）を利用して求めた各Mag(i)に置き換える（図９に破線で示す第２領域スペクトル参照）。
Mag(i)＝PeakMag(n)＊（wobble[i](t)＋１）＊ｂ ・・・（２）
ｂ；振幅値の揺らぎ幅を決定する定数（詳細は後述）
ｉ；第２領域スペクトルのbinのインデックス

なお、上記式（２）におけるPeakMag(n)は、ｎ次倍音領域（すなわち、倍音領域の番号が[n]である倍音領域）のピーク・スペクトルのmagnitudeを示しており、上記OriginalMag(i)については無視する点に留意する。また、wobble[i](t)の[i]は、各スペクトル毎にそれぞれ独立した揺らぎ信号wobble(t)を用いることを意味し、同一倍音領域内であっても各スペクトル毎にそれぞれ独立した揺らぎ信号wobble[i](t)が用いられる点に留意する。

具体的には、図１０に示すように、第１倍音領域変更手段６２０−１に係る第２領域変更手段６２４には、揺らぎ信号発生器５２０−１−２〜−ｍ１から発生される複数の揺らぎ信号が供給され、第２倍音領域変更手段６２０−２に係る第２領域変更手段６２４には、揺らぎ信号発生器５２０−２−２〜−ｍ２（＞ｍ１）から発生される複数の揺らぎ信号が供給され、・・・第ｎ倍音領域変更手段６２０−ｎに係る第２領域変更手段６２４には、揺らぎ信号発生器５１０−ｎ−２〜−ｍ３（＞ｍ２）から発生される複数の揺らぎ信号が供給される。

このように、第２領域については、倍音領域の番号が大きくなるにつれ（すなわち倍音領域のピーク・スペクトルの周波数が高くなるにつれ）、供給される揺らぎ信号の数が増加するように設定される。これは、倍音領域のピーク・スペクトルの周波数に応じて第２領域の幅を変えているためである。前述したように、アンサンブル音声においては、高い周波数領域の倍音ほどずれが大きい（図２参照）。これをシュミレートするべく、本実施形態では、第２領域変更手段（領域幅変更手段）６２４が、倍音領域のピーク・スペクトルの周波数が高くなるにつれ、第２領域の幅が広くなるように設定する（図１１参照）。なお、図１１では、倍音領域のピーク・スペクトルの周波数に応じて第２領域の幅が単調に拡がる場合を例示しているが、その傾き、関数の形状等については、人数感パラメータ入力部７００から入力される人数感指定情報に従って適宜変更すれば良い。また、第２領域の幅のみならず、第１領域の幅、第３領域の幅を上記の如く変えて良いのはもちろんである。

図１２は、図示せぬメモリに格納されている関数管理テーブルＴＡを例示した図である。この関数管理テーブルＴＡには、人数感指定情報と図１１に示す第２領域の幅を決定するための関数の傾きとが対応づけて登録されている。図１２に示すように、この関数の傾きは、人数感指定情報に示される人数が増すにつれ、大きくなるように設定されている。このように設定されているのは、アンサンブル演奏等を行う人数が多ければ多いほど、音程等のずれが大きくなると考えられるからである。

スペクトル変更部６００は、人数感パラメータ入力部７００から人数感指定情報を受け取ると、この人数感指定情報に示される人数（例えば、「５人」）を検索キーとして上記メモリを検索し、対応する関数の傾き（例えば、「ｅ４」）を取得し、各第２領域変更手段６２４に供給する。各第２領域変更手段６２４は、この傾きを有する関数に従って第２領域の幅を適宜求めていく。このように、第２領域の幅を決定する関数の傾きを適宜変更することで、人数感の調節を行うことが可能となる。なお、人数感指定情報と関数の傾き（若しくは関数の形状等）との関係をどのように規定するかは、適宜変更可能である。

以上の如く第２領域スペクトルのbinの振幅値magnitudeの各々を適宜変更すると、次に、第２領域変更手段６２４は、第２領域スペクトルの位相phaseの各々を、下記式（３）、（４）利用して求めた各位相Phaseに置き換える。
PhaseOffset(i)＝LastPhaseOffset(i)＋２π＊PeakFreq(n)＊（i/BinPeak (n)−１．０）＊FrameTime ・・・（３）
Phase(i)＝PeakPhase(n)＋PhaseOffset(i) ・・・（４）
PeakFreq(n)；ｎ次倍音領域のピーク・スペクトルの周波数
PeakPhase(n)；ｎ次倍音領域のピーク・スペクトルの位相
BinPeak(n)；ｎ次倍音領域のピーク・スペクトルのbinのインデックス番号
LastPhaseOffset(i)；１つ前に求めたPhaseOffset
FrameTime；ＦＦＴなどの処理フレームの時間周期
ｉ；第２領域スペクトルのbinのインデックス

このように、第２領域変更手段６２４は、第２領域スペクトルのbinの位相Phaseの各々を、ｎ次倍音領域のピーク・スペクトルの位相からその周波数偏移の分だけ補正して生成したものに置き換えることで、上記位相を変化させる。各第２領域変更手段６２４は、上記の如く与えられる各揺らぎ信号wobble(t)を用いて新たな振幅値Mag(i)を求めるとともに、新たな位相Phase(i)を求め、これら新たな振幅値Mag(i)及び新たな位相Phase(i)を有する第２領域スペクトルを第１加算器６２５に出力する。各第２領域変更手段６２４は、このような処理を実行することで、もとの音声（入力される単音音声）の倍音周辺に生じるスペクトルのうねりをシュミレートする（発明が解決しようとする課題の項参照）。

各倍音領域変更手段６２０に設けられた第１加算器６２５は、第１領域変更手段６２３から供給される変更後の第１領域スペクトルと、第２領域変更手段６２４から供給される変更後の第２領域スペクトルと、倍音領域内分割手段６２２から供給される何も変更されていない第３領域スペクトルとを加算し、これを変更後の倍音領域スペクトルとして第２加算器６２６に出力する。第２加算器６２６は、各第１加算器６２５からそれぞれ供給される変更後の倍音領域スペクトルを加算し、加算結果を合成部８００（図３参照）に出力する。

合成部８００は、このようにアンサンブル効果が付与された音声のスペクトルを第２加算器６２６から受け取ると、この音声のスペクトルと音声分析部３００から供給される単音音声のスペクトルとを合成し、合成音声を得る。この結果、音声出力部９００からは、実際に複数の人が歌唱しているかのような効果が付与された合成音声が出力される。

以上説明したように、本実施形態によれば、入力される単音音声から複数の倍音領域を抽出し、各倍音領域の各々に含まれる複数のスペクトル成分について、それぞれ異なる変調を施すことにより、実際に複数の人が歌唱しているかのうようなアンサンブル効果を付与することが可能となる。特に、本実施形態においては、各倍音領域において生ずるビートをシュミレートする領域（第１領域）、スペクトルのうねりをシュミレートする領域（第２領域）等に分け、それぞれに異なる変調を施しているため、より忠実にアンサンブル効果をシュミレートすることが可能となる。

さらに、本実施形態においては、高い周波数領域ほど倍音のずれが大きいといったアンサンブル音声の特性を考慮し、スペクトルのうねりをシュミレートする領域（第２領域）の幅については、周波数が高くなるほどを広く設定している。このような設定により、上記と同じく、より忠実にアンサンブル効果をシュミレートすることが可能となる。

なお、上述した本実施形態では、第２加算器６２６によって加算された結果がそのまま合成部８００に出力される場合について説明したが、例えば第２加算器６２６の後段に、図１３に示すような特性を有するフィルタ手段（図７の破線部分参照）を設けても良い。かかるフィルタ手段６２７を設けることにより、高域成分の信号が取り除かれ、より自然なアンサンブル効果を付与することが可能となる。

ここで、フィルタ手段６２７のカットオフ周波数ｆｃについては、所定の値に固定することもできるが、所定の範囲（例えば、５〜１０ｋＨｚ程度）で揺らすように設定しても良い。また、第２加算器６２６の後段にフィルタ手段６２７を設ける代わりに、第１加算器６２５と第２加算器６２６の間にフィルタ手段６２７を設けるようにしても良い。なお、カットオフ周波数を揺らすように設定する方法については、ＬＰＦ５２２の説明においてその詳細を明らかにしたため、省略する。

Ｂ．変形例
＜変形例１＞
上述した本実施形態では、第２領域の幅を決定する関数の傾きを適宜変更することで、人数感の調節を行う場合について説明したが、例えば上記式（１）、（２）に示す定数ａ、ｂの大きさを適宜変更することで、人数感の調節を行うようにしても良い。

図１４は、図示せぬメモリに格納されている定数管理テーブルＴＢを例示した図である。この定数管理テーブルＴＢには、人数感指定情報と定数ａ及び定数ｂとが対応づけて登録されている。図１４に示すように、この定数ａ、ｂは、人数感指定情報に示される人数が増すにつれ、大きくなるように設定されている。このように設定されているのは、アンサンブル演奏等を行う人数が多ければ多いほど、音程等のずれが大きくなると考えられるからである。スペクトル変更部６００は、人数感パラメータ入力部７００から人数感指定情報を受け取ると、この人数感指定情報に示される人数（例えば、「５人」）を検索キーとして上記メモリを検索し、対応する定数ａ（例えば、「ａ４」）、定数ｂ（例えば、「ｂ４」）を取得する。

そして、スペクトル変更部６００は、取得した各定数ａ、ｂを各第１領域変更手段６２３及び各第２領域変更手段６２４に供給する。各第１領域変更手段（第１揺らぎ幅変更手段）６２３は、上記式（１）に示される定数をスペクトル変更部６００から与えられる定数ａに変えることで振幅値の揺らぎ幅を変更する一方、各第２領域変更手段（第２揺らぎ幅変更手段）６２４は、上記式（２）に示される定数をスペクトル変更部６００から与えられる定数ｂに変えることで振幅値の揺らぎ幅を変更する。このように、式（１）、（２）に示す定数ａ、ｂの大きさを適宜変更することで、人数感の調整を行うようにしても良い。なお、定数ａ及び定数ｂについて、倍音領域毎に異なる定数ａ及び定数ｂをそれぞれ設定するようにしても良いのはもちろんである。

＜変形例２＞
図１５は、変形例２に係る音声処理装置１００’の構成を示す図であり、図３に対応する図である。図１５に示す音声処理装置１００’と図３に示す音声処理装置１００とは、アンサンブル効果付与部４００にパラメータ変更部４１０が設けられている点、及びアンサンブル効果付与部４００が複数設けられている点が相違する。なお、その他の点については、図３に示す音声処理装置１００と同様であるため説明を割愛する。

パラメータ変更部４１０は、図示せぬ制御部による制御のもと、音声分析部３００から供給される単音音声のスペクトルについて、ピッチや音量、出力タイミングといったパラメータを変更する手段である。パラメータ変更部４１０は、これらのパラメータを適宜変更すると、パラメータを適宜変更した後のスペクトルをスペクトル変更部６００に供給する。このように、入力される単音音声のスペクトルをそのままスペクトル変更部６００に供給するのではなく、パラメータ変更部４１０を介して各種パラメータを変更した後にスペクトル変更部６００に供給するようにしても良い。

また、本実施形態では、音声処理装置１００にアンサンブル効果付与部４００が１つ設けられている場合について説明したが、図１５に示すようにアンサンブル効果付与部４００を複数設け、各アンサンブル効果付与部４００によってアンサンブル効果が付与された複数の音声と入力された単音音声とを合成し、合成音声を得るようにしても良い。かかる構成によれば、アンサンブル効果付与部４００が１つ設けられている場合と比較して、より一層人数感を増した合成音声を得ることが可能となる。

＜変形例３＞
また、上述した本実施形態では、倍音領域変更手段６２０と同じ数の揺らぎ信号発生部５１０が設けられている場合について説明したが（図１０参照）、次のようにして揺らぎ信号発生部５１０の数を倍音領域変更手段６２０の数より減らしても良い。例えば、図１０に示す揺らぎ信号発生部５１０−１から発生される複数の揺らぎ信号を、第１倍音領域変更手段６２０−１及び第２倍音領域変更手段６２０−２に供給する。

この場合、揺らぎ信号発生器５２０−１−１から発生される揺らぎ信号については、第１倍音領域変更手段６２０−１に係る第１領域変更手段６２３に供給するとともに、第２倍音領域変更手段６２０−２に係る第２領域変更手段６２４に供給し、・・・揺らぎ信号発生器５２０−ｎ−１から発生される揺らぎ信号については、第１倍音領域変更手段６２０−１に係る第２領域変更手段６２４に供給するとともに、第ｎ倍音領域変更手段６２０−ｎに係る第１領域変更手段６２３に供給する。このように、各揺らぎ信号発生器５２０から発生される揺らぎ信号を複数の倍音領域変更手段６２０に供給することで、揺らぎ信号発生部５１０の数を倍音領域変更手段６２０の数より減らすようにしても良い。

＜変形例４＞
また、上述した本実施形態では、上記式（１）、（２）において「（wobble[i](t)＋１）」といった形で揺らぎ信号を用いる場合について説明したが、例えば「（wobble[i](t)＋１）＊（wobble[i](t)＋１）」といったように揺らぎ信号を２乗、３乗等して用い、magnitudeの変調の仕方を強調するようにしても良い。

＜変形例５＞
また、上述した本実施形態では、検出した各ピークを中心とする所定の周波数領域（図８のＡに示すＣＰ間の領域）をそれぞれ倍音領域として抽出する場合について説明したが、例えば図１６のＡに示すように検出した各ピークの中間位置をＣＰ’として設定し、この中間位置ＣＰ’にて分割した各領域をそれぞれ倍音領域としても良く、また、図１６のＢに示すように複数のピークを含む所定の周波数領域（図１６のＢに示すＣＰ’’間の領域）をそれぞれ倍音領域として抽出するようにしても良い。

また、本実施形態では歌唱音声を例に説明したが、例えば通常の会話の音声や楽器音などにも適用することができる。また、以上説明した音声処理装置１００の各部の機能は、ＲＯＭ等に格納されているプログラムによって実現されるため、かかるプログラムについてＣＤ−ＲＯＭ等の記録媒体に記録して頒布したり、インターネット等の通信ネットワークを介して頒布しても良い。もちろん、音声処理装置１００の各部の機能をハードウェアによって実現しても良い。

単音音声のスペクトルの時間推移を示す図である。 アンサンブル音声のスペクトルの時間推移を示す図である。 本実施形態に係る音声処理装置の構成を示す図である。 同実施形態に係る揺らぎ信号発生部の構成を示す図である。 同実施形態に係る揺らぎ信号発生器の構成を示す図である。 同実施形態に係る揺らぎ信号の変化の様子を示す図である。 同実施形態に係るスペクトル変更部の構成を示す図である。 同実施形態に係る単音音声を複数の領域に分割する動作を説明するための図である。 同実施形態に係る第１領域スペクトル及び第２領域スペクトルの変更動作を説明するための図である。 同実施形態に係る第１領域変更手段及び第２領域変更手段に供給される揺らぎ信号を説明するための図である。 同実施形態に係る倍音領域のピーク・スペクトルの周波数と第２領域の幅との関係を示す図である。 同実施形態に係る関数管理テーブルを例示した図である。 同実施形態に係るフィルタ手段の特性を示す図である。 変形例１に係る定数管理テーブルを例示した図である。 変形例２に係る音声処理装置の構成を示す図である。 変形例５に係る単音音声を複数の領域に分割する動作を説明するための図である。

符号の説明

１００、１００’・・・音声処理装置、２００・・・音声入力部、３００・・・音声分析部、４００・・・アンサンブル効果付与部、４１０・・・パラメータ変更部、５００・・・揺らぎ信号発生ユニット、５１０・・・揺らぎ信号発生部、５２０・・・揺らぎ信号発生器、５２１・・・ホワイトノイズ発生器、５２２・・・ＬＰＦ、５２３・・・カットオフ周波数設定手段、５２４・・・正規化手段、５２５・・・出力手段、６００・・・スペクトル変更部、６２０・・・倍音領域変更手段、６２１・・・倍音領域抽出手段、６２２・・・倍音領域内分割手段、６２３・・・第１領域変更手段、６２４・・・第２領域変更手段、６２５・・・第１加算器、６２６・・・第２加算器、６２７・・・フィルタ手段、７００・・・人数感パラメータ入力部、８００・・・合成部、９００・・・音声出力部、ＴＡ・・・関数管理テーブル、ＴＢ・・・定数管理テーブル。

Claims (9)

1. 入力される単音のスペクトルを分析し、該分析により得られるスペクトルのピークに基づいて、該単音から複数の倍音領域を抽出する倍音領域抽出手段と、
   前記各倍音領域内を複数の領域に分割する倍音領域内分割手段と、
   それぞれ異なる揺らぎ信号を発生する複数の揺らぎ信号発生手段と、
   前記複数の領域の各々に存在する複数のスペクトル成分について、前記複数の揺らぎ信号発生手段のいずれかに対応した前記揺らぎ信号を用いて各領域毎にそれぞれ異なる変調を施す変調手段と
   を具備することを特徴とする楽音処理装置。
2. 前記倍音領域内分割手段は、各倍音領域内に存在するピーク・スペクトルを含む第１領域と、前記第１領域の外側の領域であって該第１領域を挟む第２領域と、前記第２領域のさらに外側の領域であって該第１領域及び第２領域を挟む第３領域とに分割することを特徴とする請求項１に記載の楽音処理装置。
3. 前記変調手段は、
   前記第１領域内に存在する複数のスペクトル成分について、前記各倍音領域毎にそれぞれ異なる前記揺らぎ信号を用いて変化させる第１変調手段と、
   前記第２領域内に存在する複数のスペクトル成分について、各スペクトル成分毎にそれぞれ異なる前記揺らぎ信号を用いて変化させる第２変調手段と
   を具備することを特徴とする請求項２に記載の楽音処理装置。
4. 前記第１変調手段は、前記第１の領域内に存在する複数のスペクトル成分の振幅値の各々を前記揺らぎ信号を用いて変化させ、
   前記第２変調手段は、前記第２の領域内に存在する複数のスペクトル成分の振幅値の各々を、前記第１領域内に存在するピーク・スペクトルの振幅値を前記各揺らぎ信号を用いて変化させたものに置き換える一方、前記第２領域内に存在する複数のスペクトル成分の位相の各々を、前記第１領域内に存在するピーク・スペクトルの周波数からその周波数偏移の分だけ補正して生成したものに置き換えることを特徴とする請求項３に記載の楽音処理装置。
5. 前記各揺らぎ信号発生手段は、
   ノイズ信号を発生するノイズ発生手段と、
   設定されるカットオフ周波数に従って前記ノイズ信号から特定周波数成分の信号を取り除き、疑似ランダム信号として出力するフィルタ手段と
   をそれぞれ具備することを特徴とする請求項３または４に記載の楽音処理装置。
6. 前記第１変調手段によって変化させられる前記振幅値の揺らぎ幅を変更する第１揺らぎ幅変更手段と、
   前記第２変調手段によって置き換えられる前記振幅値の変化幅を変更する第２揺らぎ幅変更手段とをさらに具備することを特徴とする請求項４または５に記載の楽音処理装置。
7. 前記各倍音領域に存在するピーク・スペクトルの周波数に応じて、各倍音領域の幅を変更する領域幅変更手段をさらに具備することを特徴とする請求項４〜６のいずれか１の請求項に記載の楽音処理装置。
8. 入力される単音のスペクトルを分析し、該分析により得られるスペクトルのピークに基づいて、該単音から複数の倍音領域を抽出する倍音領域抽出過程と、
   前記各倍音領域内を複数の領域に分割する倍音領域内分割過程と、
   それぞれ異なる揺らぎ信号を発生する複数の揺らぎ信号発生過程と、
   前記複数の領域の各々に存在する複数のスペクトル成分について、前記複数の揺らぎ信号発生過程のいずれかに対応した前記揺らぎ信号を用いて各領域毎にそれぞれ異なる変調を施す変調過程と
   を具備することを特徴とする楽音処理方法。
9. コンピュータを、
   入力される単音のスペクトルを分析し、該分析により得られるスペクトルのピークに基づいて、該単音から複数の倍音領域を抽出する倍音領域抽出手段と、
   前記各倍音領域内を複数の領域に分割する倍音領域内分割手段と、
   それぞれ異なる揺らぎ信号を発生する複数の揺らぎ信号発生手段と、
   前記複数の領域の各々に存在する複数のスペクトル成分について、前記複数の揺らぎ信号発生手段のいずれかに対応した前記揺らぎ信号を用いて各領域毎にそれぞれ異なる変調を施す変調手段と
   として機能させるための楽音処理プログラム。

Images