JP3669040B2 - Waveform processing device - Google Patents

Waveform processing device Download PDF

Info

Publication number
JP3669040B2
JP3669040B2 JP07839996A JP7839996A JP3669040B2 JP 3669040 B2 JP3669040 B2 JP 3669040B2 JP 07839996 A JP07839996 A JP 07839996A JP 7839996 A JP7839996 A JP 7839996A JP 3669040 B2 JP3669040 B2 JP 3669040B2
Authority
JP
Japan
Prior art keywords
information
processing
frequency
waveform
fluctuation component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP07839996A
Other languages
Japanese (ja)
Other versions
JPH09244661A (en
Inventor
康 大谷
保夫 蔭山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP07839996A priority Critical patent/JP3669040B2/en
Publication of JPH09244661A publication Critical patent/JPH09244661A/en
Application granted granted Critical
Publication of JP3669040B2 publication Critical patent/JP3669040B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Electrophonic Musical Instruments (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、波形データの分析及び合成を行なう波形処理の技術分野に属し、特に、自然音に基づく波形データを処理するのに適した波形処理装置に関する。
【0002】
【従来の技術】
音源装置における楽音波形データの形成方式のひとつに、自然音(例えば楽器の演奏音等)を電気信号に変換した後にパルス符号変調して得た波形データを予めメモリに記憶しておき、波形形成時にはこのメモリから演奏情報に従って波形データを読み出すようにしたもの(PCM方式)がある。
【0003】
このPCM方式には、自然音の再現性に優れているという長所があるが、反面、ユーザーが波形データを任意に加工することは困難であり、したがって変化に富んだ楽音を創りだすことが困難であるという短所があった。
そこで、PCM方式においても波形データを容易に加工することができるようにした音源装置が、特開平5−108077号公報において本出願人により開示されている。
【0004】
その音源装置による波形データの加工の仕方の概要は、次のとおりである。すなわち、分析手段により波形データを所定区間のデータ毎に分析して、各区間毎のスペクトル成分の強度に関する強度情報と周波数情報とを求める。そして、各区間についての強度情報及び周波数情報をパラメータとして記憶手段に記憶させ、ユーザーがそれらのパラメータを調整できるようにする。こうして調整された各区間についてのパラメータを記憶手段から読み出して、それらのパラメータから合成手段により再び波形データを合成する。
こうしたパラメータの調整は容易なので、この音源装置によれば、波形データを任意に加工することができる。
【0005】
【発明が解決しようとする課題】
しかし、こうしたパラメータを自由に調整すると、もともとの自然音の特徴を損ねた波形データが形成されてしまうおそれがある。また、各区間についてのパラメータを人為的に調整するだけでは、波形データの加工のバリエーションには限りがある。
【0006】
この発明は上述の点に鑑みてなされたものであり、波形データの分析及び合成を行なう音源装置その他の波形処理装置において、特に自然音の波形データを処理する場合に、もともとの自然音の特徴を活かした波形データを形成できるとともに、波形データの加工のバリエーションを拡大できるようにしたものを提供しようとするものである。
【0007】
【課題を解決するための手段】
この発明に係る波形処理装置は、波形データを所定の時間長の区間毎に分析し、各区間毎に複数の周波数帯域毎の波形成分についての強度情報と周波数情報とをそれぞれ求める第1の分析手段と、第1の分析手段により複数の前記区間に亘って求められた強度情報と周波数情報のうち少なくとも周波数情報を分析し、該情報に含まれる時間的変動成分のうちの所定の変動成分を分離する第2の分析手段であって、前記周波数情報を分析して変動成分を分離するにあたっては、前記複数の周波数帯域のうち所定の1つの周波数帯域の周波数情報について前記変動成分を抽出して分離し、この分離前と分離後の周波数情報についての周波数比を求め、求めた周波数比を用いて前記複数の周波数帯域のうち残りの周波数帯域の周波数情報についてそれぞれの変動成分を算出して分離するものと、前記変動成分を分離する前の強度情報と前記変動成分を分離した強度情報との少なくともいずれか一方、及び前記変動成分を分離する前の周波数情報と前記変動成分を分離した周波数情報との少なくともいずれか一方に基づいて波形データを合成する合成手段とを具えたことを特徴としている。
【0008】
すなわち、波形処理装置に波形データが入力すると、最初に、所定の時間長の区間毎に複数の周波数帯域毎の波形成分についての強度情報及び周波数情報が第1の分析手段により求められる。次に、第2の分析手段により、複数の区間に亘って求められた強度情報や周波数情報のうち少なくとも周波数情報が分析され、そこから所定の時間的変動成分が分離される。ここで、周波数情報を分析して変動成分を分離するにあたっては、前記複数の周波数帯域のうち所定の1つの周波数帯域の周波数情報について前記変動成分を抽出して分離し、この分離前と分離後の周波数情報についての周波数比を求め、求めた周波数比を用いて前記複数の周波数帯域のうち残りの周波数帯域の周波数情報についてそれぞれの変動成分を算出して分離する。これにより、各周波数帯域で、分離前と分離後の周波数情報の周波数比を共通にすることができ、各周波数帯域間での波形成分の調和(又は非調和)関係が、分離前と分離後とで変わらないようにすることができる。
続いて、この変動成分を分離する前の強度情報と変動成分を分離した強度情報との少なくともいずれか一方、及び変動成分を分離する前の周波数情報と変動成分を分離した周波数情報との少なくともいずれか一方に基づき、合成手段により波形データが合成される。
【0009】
ここで、例えば、この変動成分を分離する前の強度情報と周波数情報とだけから波形データを合成した場合には、原波形データの強度や周波数の時間的変動成分をそのまま残した波形データが合成される。
また例えば、この変動成分を分離した強度情報と周波数情報とだけから波形データを合成した場合には、原波形データから強度や周波数の所定の時間的変動成分を全て除去した波形データが合成される。
また例えば、この変動成分を任意に制御した強度情報や周波数情報を求め、その強度情報や周波数情報から波形データを合成してもよいことはもちろんである。
このように、原波形データの強度や周波数の時間的変動成分そのものを制御することにより、原音の特徴を活かした波形データを形成できるとともに、波形データの加工のバリエーションを拡大できるようになる。
【0010】
ところで、楽器の演奏音には、演奏者が意識的に音量や音高のほぼ周期的なゆらぎを生じさせていることが少なくない。本明細書では、こうした音量や音高の周期的なゆらぎを一括してビブラートと呼ぶことにする。
そこで、こうしたビブラートを含む演奏音の波形データに対しては、一例として、強度や周波数の時間的変動成分のうち、ビブラートに対応する周期的変動成分(ビブラート成分と呼ぶことにする)を第2の分析手段に分離させ、このビブラート成分を任意に制御することが好ましい。これにより、もともとの演奏音のビブラートを活かした波形データを形成することができるようになる。
【0011】
尚、こうした変動成分を分離する前の強度情報と変動成分を分離した強度情報との少なくともいずれか一方、及び変動成分を分離する前の周波数情報と変動成分を分離した周波数情報との少なくともいずれか一方を予め記憶手段に記憶させておき、波形形成時には、この記憶手段から読出し手段が読み出す情報に基づいて合成手段に波形データを合成させるようにすることが好適である。
【0012】
また、原波形データの強度や周波数の時間的変動成分そのものを任意に制御するためには、一例として、強度情報と周波数情報との少なくともいずれか一方をこうした変動成分に応じて加工する加工手段を設け、この加工手段が加工した情報を用いて合成手段に波形データを合成させるようにすることが好適である。
このように加工手段を設ける場合には、記憶手段に、強度情報及び周波数情報だけでなく、変動成分に応じた加工情報を記憶させるようにし、演奏時には、記憶手段から読み出される強度情報及び周波数情報を、記憶手段から読み出される加工情報を用いて加工手段に加工させるようにすることが一層好適である。
【0013】
尚、ビブラート成分を分離する場合のように強度や周波数の周期的変動成分を分離する場合には、変動成分に応じた加工情報も、周期的に同じ値を繰り返す情報となる。そこで、このような場合には、全ての区間についての加工情報を記憶手段に記憶させるのではなく、周期的変動の1または複数周期分に相当する区間についての加工情報のみを記憶手段に記憶させておき、記憶手段からこの加工情報を繰り返し読み出して加工手段に利用させるようにしてもよい。そうすることにより、加工情報のデータ量を小さくすることができ、記憶手段の記憶領域も節約することができるようになる。
【0014】
更に、強度情報及び周波数情報を求めた波形データとは別の波形データについての加工情報を記憶手段に記憶させるようにし、記憶手段から読み出されるこの別の波形データについての加工情報を用いて加工手段に加工を行なわせるようにしてもよい。そうすることにより、強度や周波数の時間的変動のパターンを原音とは異なる自然音のものに置換することができるので、波形データの加工のバリエーションを一層拡大することができるようになる。
【0015】
【発明の実施の形態】
〔実施の形態1〕
以下、添付図面を参照してこの発明の実施の形態を詳細に説明する。
図1は、この発明を適用した音源装置の構成の概要を示すブロック図である。この音源装置は、分析部1と、ビブラート除去部2と、記憶部3と、パラメータ加工部4と、補間部5と、合成部6と、波形後処理部7と、読出し制御部8と、タイミング生成部9と、CPU(セントラルプロセッシングユニット)10とを含んでいる。
CPU10は、装置の各部の動作を制御する。読出し制御部8は、CPU10の制御のもと、記憶部3からの記憶情報の読出しを制御する。タイミング生成部9は、CPU10の制御のもと、各部の動作タイミングを同期させる基本クロックを生成する。
【0016】
分析部1には、波形データ(一例として、自然楽器の楽音を32kHzのサンプリング周波数でサンプリングしたPCM波形データ)が時系列に入力される。尚、分析部1における処理の前後に、必要に応じて、データ圧縮処理等の前処理を行なうようにしてよい。
【0017】
図2は、分析部1の構成の一例を示す。同図(a)に示すように、分析部1は、チャンネルナンバーCH0〜CH127で識別される128個のバンドパスフィルタ(BPF)が並列に接続されており、波形データはこれらのBPFを通過する。同図(b)に示すように、各BPFの帯域幅はそれぞれ125Hzであり、その通過帯域は、CH0:0〜125Hz,CH1:125〜250Hz,CH2:250〜375Hz…,CH127:15750〜16000Hzというように、0Hzから16kHzまで順に並べられている。(但し、BPFのチャンネル数は128以外であってもよいし、各BPFの帯域幅も125Hz以外であってもよい。また、BPFとして、通過帯域が固定されたフィルタを用いる代わりに、通過帯域を任意に変化させることのできるダイナミック可変フィルタを用いるようにしてもよい。)
各BPFの通過帯域を通過した波形データは、図2(a)に示すようにそれぞれ高速フーリエ変換(FFT)処理を施される。これに基づき、各通過帯域についての波形データの強度情報MAGorig及び周波数情報FREQorigがそれぞれ求められる。
【0018】
分析部1におけるこうした強度情報MAGorig及び周波数情報FREQorigの検出は、図3に示すように、連続する2048サンプル分の波形データを単位(フレームと呼ぶことにする)として、且つ、隣合うフレーム同士がそれぞれ64サンプル分のずれで重なり合うようにして行なわれる。
【0019】
尚、分析部1の構成の別の一例として、各BPFの通過帯域を通過した波形データをそれぞれ高速フーリエ変換する代わりに、波形データ全体をFFTアナライザを用いて高速フーリエ変換することによって強度情報MAGorig及び周波数情報FREQorigを求めるようにしてもよい。
【0020】
分析部1の各BPFで検出された強度情報MAGorig(CH,t)及び周波数情報FREQorig(CH,t)(但し、tは波形データの立上り部分からのフレームの通し番号を表わす)は、ビブラート除去部2及び記憶部3に供給される。
【0021】
ビブラート除去部2は、図4及び図5に示すような処理を実行することにより、強度情報MAGorig(CH,t),周波数情報FREQorig(CH,t)からそれぞれ原音のビブラートに対応する周期的変動成分(ビブラート成分)を除去する回路である。一例として、ビブラート除去部2は、FFTアナライザで構成されている。
【0022】
図4は、強度情報MAGorig(CH,t)からビブラート成分を除去する強度情報処理の一例を示すフローチャートである。
この処理では、最初に、BPFのチャンネルナンバーCHiのiの値を0に設定する(ステップS1)。
続いて、チャンネルCHiのBPFから供給される強度情報MAGorig(CHi,t)から、連続する複数のフレーム(最初からa番目のフレームから、最初からb番目のフレームまで)を含むフレーム区間(a,b)に亘る強度情報MAG(CHi,a〜b)を切り出す(ステップS2)。
【0023】
尚、a及びbの値は、原音の持続部(サステイン)に該当する(すなわち立上り部(アタック)や減衰部(ディケイ)に該当しない)フレーム区間を切り出せるような値に設定するものとする。立上り部や減衰部は音の特徴を決定するために非常に重要な部分であり、この部分に手を加えると原音の特徴が全く損なわれてしまうからである。
このa及びbの値を設定する手段としては、音源装置のパネルスイッチ(図示せず)の操作によりユーザーがチャンネル毎に任意の値に設定できるようになっていることが好ましいが、CPU10がチャンネル毎に(または全てのチャンネル共通に)所定の値に設定するようになっていてもよい。
【0024】
続いて、フレーム区間(a,b)における強度情報の平均値MAVRiを求める(ステップS3)。尚、このステップS3以下の処理を行なう前提として、必要に応じて、強度情報MAG(CHi,a〜b)に含まれるデータとデータとの間に値「0」を示すデータを挿入する0詰め処理を行なうことにより、強度情報MAG(CHi,a〜b)のみかけ上のデータ量を多くしておいてもよい。
【0025】
続いて、強度情報MAG(CHi,a〜b)から平均値MAVRiを減算することにより、フレーム区間(a,b)における強度情報の時間的変動成分MCVIB(CHi,a〜b)を求める(ステップS4)。この変動成分MCVIB(CHi,a〜b)は、有限長の離散的な時間の信号の一種である。
【0026】
続いて、変動成分MCVIB(CHi,a〜b)に高速フーリエ変換処理(FFT)処理を施すことにより、そのスペクトル分布TMV(CHi,a〜b)を求める(ステップS5)。
そして、スペクトル分布TMV(CHi,a〜b)のうち、原音に含まれるビブラート(音量の周期的なゆらぎ)に対応するスペクトル成分(ビブラート成分)の実部と虚部との値をすべて「0」にすることにより、ビブラート成分を除去したスペクトル分布TMV’(CHi,a〜b)を求める。(ステップS6)。
【0027】
尚、このステップS6における処理は、ビブラートに対応するスペクトル成分を実際に検出することによって実現してもよいが、それに限らず、変動成分MCVIB(CHi,a〜b)における所定範囲の周期的変動に相当するスペクトル成分(一例として4Hzから12Hzの周期的変動に相当するスペクトル成分)を、一律にビブラートに対応するものと見做して「0」にするようにしてもよい。
【0028】
続いて、スペクトル分布TMV’(CHi,a〜b)に高速逆フーリエ変換(IFFT)処理を施すことにより、変動成分MCVIB’(CHi,a〜b)(すなわち、変動成分MCVIB(CHi,a〜b)からビブラート成分を除去した変動成分)を求める(ステップS7)。
そして、変動成分MCVIB’(CHi,a〜b)に平均値MAVRiを加算することにより、強度情報MAG’(CHi,a〜b)(すなわち、強度情報MAG(CHi,a〜b)からビブラート成分を除去した強度情報)を求める(ステップS8)。
【0029】
続いて、iの値を1だけインクリメントし(ステップS9)、iの値が最終チャンネルのチャンネルナンバーである127を上回ったか否かを判断する(ステップS10)。
上回っていなければ(すなわち、最終チャンネルまでステップS2乃至S8の処理を終えていなければ)、ステップS10でノーと判断されてステップS2に戻り、次のチャンネルに関してステップS2以下の処理を繰り返す。こうし全てのチャンネルCH0〜CH127についてステップS2乃至S8までの処理を終えると、ステップS10でイエスと判断されてステップS11に進む。
【0030】
ステップS11では、各チャンネルCH0〜CH127について、強度情報MAGorig(CH,t)のうちのフレーム区間(a,b)における強度情報MAG(CH,a〜b)をそれぞれ当該チャンネルの強度情報MAG’(CH,a〜b)に入れ替えたものを、ビブラート成分を除去した強度情報MAGsmooth(CH,t)として記憶部3に記憶させる。そして処理を終了する。
【0031】
尚、図4では、各チャンネルCH0〜CH127毎に、ステップS1乃至S8の処理をそれぞれ一回だけ実行している。しかし、各チャンネルCH0〜CH127毎に、原音の持続部の一部に該当するフレーム区間(a,b)についてのステップS1乃至S8の処理を、持続部の範囲内でフレーム区間を少しずつずらしながら(すなわちa及びbの値を少しずつ変えながら)複数回実行するようにしてもよい。また、その場合には、いずれかのフレーム区間(a,b)(例えば、ステップS5で求めたスペクトル分布に、ビブラート成分に対応するスペクトル成分が最もよく表われていたフレーム区間)についてステップS7で求めた変動成分MCVIB’(CH,a〜b)を、他のフレーム区間(a,b)についてステップS8で強度情報MAG’(CHi,a〜b)を求めるために共通して用いるようにしてもよい。
【0032】
図5は、周波数情報FRQorig(CH,t)からビブラート成分を除去する周波数情報処理の一例を示すフローチャートである。
この処理では、最初に、CH0〜CH127のうちのいずれか1つのチャンネルCHxを、処理対象のチャンネルとして選択する(ステップS21)。この処理対象としては、周波数成分の時間的変動が安定しているチャンネル(一例として、基本周波数成分を通過させる通過帯域のチャンネル)を選択することが好ましい。
【0033】
続いて、チャンネルCHxのBPFから供給される周波数情報FRQorig(CHx,t)のうち、連続する複数のフレーム(最初からc番目のフレームから、最初からd番目のフレームまで)を含むフレーム区間(c,d)における周波数情報FRQ(CHx,c〜d)を切り出す(ステップS22)。
尚、図4に示した強度情報処理におけるa及びbの値と同様に、このc及びdの値も、原音の持続部に該当するフレーム区間を切り出せるような値に設定するものとする。また、c及びdの値の設定も、やはり、音源装置のパネルスイッチの操作によりユーザーが任意に行なえるようになっていることが好ましい。
【0034】
続いて、上記フレーム区間(c,d)における周波数情報の平均値FAVRxを求める(ステップS23)。尚、強度情報処理において強度情報MAG(CH,a〜b)の0詰め処理を行なうようにしたのと同様に、このステップS23以下の処理を行なう前にも、必要に応じて、周波数情報FRQ(CHx,c〜d)の0詰め処理を行なうようにしてよい。
【0035】
続いて、周波数情報FRQ(CHx,c〜d)から平均値FAVRxを減算することにより、フレーム区間(c,d)における周波数情報の時間的変動成分FCVIB(CHx,c〜d)を求める(ステップS24)。この変動成分FCVIB(CHx,c〜d)も、有限長の離散的な時間の信号の一種である。
【0036】
続いて、変動成分FCVIB(CHx,c〜d)に高速フーリエ変換処理(FFT)処理を施すことにより、そのスペクトル分布TFV(CHx,c〜d)を求める(ステップS25)。
そして、スペクトル分布TFV(CHx,c〜d)のスペクトル成分のうち、原音に含まれるビブラート(音高の周期的なゆらぎ)に対応するスペクトル成分(ビブラート成分)の実部と虚部との値をすべて「0」にすることにより、ビブラート成分を除去したスペクトル分布TFV’(CHx,c〜d)を求める(ステップS26)。
【0037】
尚、このステップS26における処理も、強度情報処理のステップS6におけると同様に、変動成分FCVIB(CHx,c〜d)における所定範囲の周期的変動に相当するスペクトル成分(一例として4Hzから12Hzの周期的変動に相当するスペクトル成分)を一律にビブラートに対応するものと見做して「0」にすることによって実現してよい。
【0038】
続いて、スペクトル分布TFV’(CHx,c〜d)に高速逆フーリエ変換(IFFT)処理を施すことにより、変動成分FCVIB’(CHx,c〜d)(すなわち、変動成分FCVIB(CHx,c〜d)からビブラート成分を除去した変動成分)を求める(ステップS27)。
そして、変動成分FCVIB’(CHx,c〜d)に平均値FAVRxを加算することにより、周波数情報FRQ’(CHx,c〜d)(すなわち、周波数情報FRQ(CHx,c〜d)からビブラート成分を除去した周波数情報)を求める(ステップS28)。
【0039】
続いて、周波数情報FRQorig(CHx,t)のうち、フレーム区間(c,d)における周波数情報FRQ(CHx,c〜d)を、ステップS28で算出した周波数情報FRQ’(CHx,c〜d)に入れ替えることにより、ビブラート成分を除去した周波数情報FRQsmooth(CHx,t)を求める(ステップS29)。
【0040】
次に、周波数情報FRQorig(CHx,t)に対する周波数情報FRQsmooth(CHx,t)の比を求める。そして、チャンネルCHx以外の各チャンネルCH0〜CH127からの周波数情報FRQorig(CH,t)にその比をそれぞれ乗算することにより、それらのチャンネルについて、ビブラート成分を除去した周波数情報FRQsmooth(CH,t)を求める(ステップS30)。
【0041】
そして、ステップS29及びS30で求めた全チャンネルCH0〜CH127についての周波数情報FRQsmooth(CH,t)を、記憶部3に記憶させる(ステップS31)。そして処理を終了する。
【0042】
このように、周波数情報処理では、強度情報処理とは異なり、1つの処理対象チャンネルに対してのみ、ビブラート成分を除去した周波数情報を高速フーリエ変換処理に基づいて求めており、残りのチャンネルについては、ビブラート成分の除去の前後における周波数情報の比が、処理対象チャンネルにおけると同じになるように、ビブラート成分を除去した周波数情報を求めている。これは、波形を加工する際には、基本周波数と各倍音周波数との間の調和関係を崩さないようにすることが重要なので、全てのチャンネルについて、ビブラート成分の除去の前後における周波数情報の比を等しくしておくことが望ましいからである。
【0043】
尚、この周波数情報処理でも、原音の持続部の一部に該当するフレーム区間(c,d)についてのステップS21乃至S28の処理を、持続部の範囲内でフレーム区間を少しずつずらしながら複数回実行するようにしてよい。
【0044】
記憶部3には、図6に示すように、分析部1から供給された強度情報MAGorig(CH,t)及び周波数情報FRQorig(CH,t)を記憶するためのパラメータメモリ3aと、ビブラート除去部2から供給された強度情報MAGsmooth(CH,t)及び周波数情報FRQsmooth(CH,t)を記憶するためのパラメータメモリ3bとが含まれている。
【0045】
図7は、パラメータメモリ3a及び3bの記憶内容の一例を示す。メモリ3aには、同図(a)に示すように、強度情報MAGorig(CH,t)及び周波数情報FRQorig(CH,t)が、それぞれ各チャンネルCH0〜CH127の各フレーム毎に記憶されている。メモリ3bには、同図(b)に示すように、各チャンネルCH0〜CH127の各フレーム毎に、強度情報MAGsmooth(CH,t)及び周波数情報FRQsmooth(CH,t)が記憶されている。
【0046】
分析部1,ビブラート除去部2及び記憶部3での以上のような処理は、この音源装置において楽音波形の形成処理を行なう以前に予め行なっておくべき処理である。これに対し、パラメータ加工部4,補間部5,合成部6及び波形後処理部7では、記憶部3に記憶されたデータを用いて、楽音波形形成処理を実行する。
【0047】
楽音波形合成時には、各チャンネルCH0〜CH127毎の強度情報MAGorig(CH,t)及び周波数情報FRQorig(CH,t)と、各チャンネルCH0〜CH127毎の強度情報MAGsmooth(CH,t)及び周波数情報FRQsmooth(CH,t)とが、読出し制御部8により、それぞれ1フレーム分ずつパラメータメモリ3a,3bから読み出されてパラメータ加工部4に逐次供給される。
パラメータ加工部4は、各チャンネルCH0〜CH127の各フレーム毎に、下記数1に基づいてビブラートの深さの制御を行なう回路である。
【0048】
【数1】

Figure 0003669040
【0049】
上記数1において、a(t),b(t)は、それぞれ強度情報,周波数情報に対してビブラートの深さの制御を行なうための制御パラメータである。これらの制御パラメータの値は、パネルスイッチの操作によってユーザーが任意に設定できるようになっていることが好ましいが、ファクトリーセットに所定値に設定されていてもよい。
【0050】
ここで、a(t),b(t)の値が「1」に設定されたときは、MAGedit(CH,t),FRQedit(CH,t)はそれぞれMAGorig(CH,t),FRQorig(CH,t)に等しくなるので、ビブラート成分をそのまま含んだ強度情報,周波数情報が求められる。
a(t),b(t)の値が「0」に設定されたときは、MAGedit(CH,t),FRQedit(CH,t)はそれぞれMAGsmooth(CH,t),FRQsmooth(CH,t)に等しくなるので、ビブラート成分を全て除去した強度情報,周波数情報が求められる。
a(t),b(t)が「1」よりも大きい値に設定されたときは、MAGorig(CH,t),FRQorig(CH,t)よりもビブラート成分を増大させた強度情報,周波数情報が求められる。
a(t),b(t)が「0」と「1」の間の値に設定されたときは、MAGorig(CH,t),FRQorig(CH,t)よりもビブラート成分を減少させた強度情報,周波数情報が求められる。
また、a(t),b(t)が「0」よりも小さい値に設定されたときは、MAGorig(CH,t),FRQorig(CH,t)とは逆相のビブラート成分を含んだ強度情報,周波数情報が求められる。
このように、a(t),b(t)の値を任意に設定することにより、原波形データのビブラート成分そのものの深さを任意に制御することができる。
【0051】
パラメータ加工部4で求められた強度情報MAGedit(CH,t)及び周波数情報FRQedit(CH,t)は、補間部5に逐次供給される。
補間部5は、隣合うフレーム同士の強度情報MAGedit(CH,t),周波数情報FRQedit(CH,t)をそれぞれ補間する回路である。すなわち、図3に示したように隣合うフレームは64サンプル分ずつずれているので、記憶部3からは64再生サンプリングクロック毎に読出しデータが出力され、したがってパラメータ加工部4からも64再生サンプリングクロック毎にMAGedit(CH,t)及びFRQedit(CH,t)が出力される。補間部5は、その間の63再生サンプリングタイミングにおける強度情報MAGedit(CH,t)及び周波数情報FRQedit(CH,t)を補間によって算出するものであり、一例として、図8に示すように、隣合うフレームについての強度情報MAGedit(CH,t),周波数情報FRQedit(CH,t)をそれぞれ直線補間する。
【0052】
補間部5で補間処理を施された強度情報MAGedit(CH,t)及び周波数情報FRQedit(CH,t)は、合成部6に逐次供給される。
合成部6は、強度情報MAGedit(CH,t)及び周波数情報FRQedit(CH,t)を用いて波形データを合成する回路であり、一例として、全てのチャンネルCH0〜CH127についてのこれらの情報を加算することによって合成を行なう。
尚、別の例として、合成部6は、高速逆フーリエ変換(IFFT)処理を実行することによって合成を行なうものであってもよい。その場合には、補間処理を経ておかなくても全てのサンプリングタイミングにおける波形データが合成されるので、補間部5を設ける必要はない。
【0053】
合成部6で合成された波形データは、波形後処理部7に供給されて所定の処理(例えば、圧縮していたデータの解凍処理やエフェクトの付与処理等)を施された後、音源装置から出力されて外部のサウンドシステム等に送られる。
【0054】
このように、この実施の形態では、原波形データの強度情報MAGorig(CH,t),周波数情報FRQorig(CH,t)をそれぞれ分析することにより、ビブラート成分を除去した強度情報MAGsmooth(CH,t),周波数情報FRQsmooth(CH,t)を求めている。そして、MAGorig(CH,t),FRQorig(CH,t)とMAGsmooth(CH,t),FRQsmooth(CH,t)とをそれぞれ任意の割合で加算することにより、原波形データのビブラート成分そのものの深さを任意に制御した強度情報MAGedit(CH,t),周波数情報FRQedit(CH,t)を求め、このMAGedit(CH,t),FRQedit(CH,t)を用いて波形データを合成している。これにより、原音の特徴を活かした波形データを形成することができるとともに、波形データの加工のバリエーションを拡大することができるようになる。
【0055】
〔実施の形態2〕
次に、この発明の別の実施の形態を説明する。
この実施の形態では、記憶部3の構成とパラメータ加工部4の実行する演算処理内容とが〔実施の形態1〕の音源装置と異なっているが、その他は〔実施の形態1〕におけると全く同様である。
この実施の形態における記憶部3には、図9に示すように、分析部1から供給された強度情報MAGorig(CH,t)及び周波数情報FRQorig(CH,t)を一時記憶するためのバッファ3cと、ビブラート除去部2から供給された強度情報MAGsmooth(CH,t)及び周波数情報FRQsmooth(CH,t)を記憶するためのパラメータメモリ3dと、比発生部3eとが含まれている。
【0056】
バッファ3cに一時記憶された強度情報MAGorig(CH,t)及び周波数情報FRQorig(CH,t)は、比発生部3eに逐次供給される。パラメータメモリ3dに記憶された強度情報MAGsmooth(CH,t)及び周波数情報FRQsmooth(CH,t)も、読出し制御部8により読み出されて比発生部3eに供給される。
【0057】
比発生部3eは、各チャンネルCH0〜CH127の各フレーム毎に、下記数2に基づき、MAGsmooth(CH,t),FRQsmooth(CH,t)に対するMAGorig(CH,t),FRQorig(CH,t)の比をそれぞれ表わす比情報Vmag(CH,t),Vfrq(t)を求め、それらの比情報を記憶する回路である。(図5の周波数情報処理から明らかなとおり、FRQsmooth(CH,t)に対するFRQorig(CH,t)の比は、全てのチャンネルCH0〜CH127で同じ値になる。)
【0058】
【数2】
Figure 0003669040
【0059】
尚、MAGsmooth(CH,t),FRQsmooth(CH,t)の値が「0」であるフレームについては、便宜上、Vmag(CH,t),Vfrq(t)の値としてそれぞれ「1」を比発生部3eに記憶させる。
また、Vmag(CH,t),Vfrq(t)の値が所定以上の大きさであるフレームについても、後述するパラメータ加工部4の処理によってビブラート成分が極端に大きくなることを防止するために、Vmag(CH,t),Vfrq(t)の値としてそれぞれ「1」を比発生部3eに記憶させることにする。
【0060】
図10は、パラメータメモリ3d及び比発生部3eの記憶内容の一例を示す。メモリ3dには、同図(a)に示すように、強度情報MAGsmooth(CH,t)及び周波数情報FRQsmooth(CH,t)が、それぞれ各チャンネルCH0〜CH127の各フレーム毎に記憶されている。比発生部3eには、同図(b)に示すように、比情報Vmag(CH,t)及びVfrq(t)が、それぞれ各チャンネルCH0〜CH127の各フレーム毎に記憶されている。
【0061】
尚、別の例として、比発生部3eに、今回の波形データについての比情報Vmag(CH,t)及びVfrq(t)に加えて、または今回の波形データについてのVmag(CH,t)及びVfrq(t)に代えて、別の演奏音の波形データについての比情報Vmag[another](CH,t)及びVfrq[another](t)を1または複数種類記憶しておくようにしてもよい。ここで、別の演奏音の波形データについての比情報Vmag[another](CH,t)及びVfrq[another](t)のみを記憶する場合には、演奏上の手本となるようなビブラートを含んだ演奏音についてのものを選ぶようにすることが好適である。
【0062】
この実施の形態では、楽音波形合成時には、パラメータメモリ3a,3bから、各チャンネルCH0〜CH127毎の強度情報MAGsmooth(CH,t)及び周波数情報FRQsmooth(CH,t)が、読出し制御部8によりそれぞれ1フレーム分ずつ読み出されてパラメータ加工部4に逐次供給される。
また、比発生部3eからも、各チャンネルCH0〜CH127毎の比情報が、読出し制御部8によって読み出されてパラメータ加工部4に逐次供給される。
【0063】
ここで、読出し制御部8が比発生部3eから比情報を読み出す速さを、パネルスイッチの操作によってユーザーが任意に調整できるようになっていることが好ましい。
また、比情報Vmag(CH,t)及びVfrq(t)と比情報Vmag[another](CH,t)及びVfrq[another](t)との双方が比発生部3eに記憶されている場合や、複数種類の比情報Vmag[another](CH,t)及びVfrq[another](t)が比発生部3eに記憶されている場合には、比発生部3eからいずれの比情報を読み出すかを、パネルスイッチの操作によってユーザーが任意に選択できるようになっていることが好ましい。
【0064】
この実施の形態では、パラメータ加工部4は、各チャンネルCH0〜CH127の各フレーム毎に、下記数3乃至数5に基づき、ビブラートの深さ,速さの制御及びビブラートのパターンの置換を行なう。
【数3】
Figure 0003669040
【0065】
上記数3において、α(t),β(t)は、それぞれ強度情報,周波数情報に対してビブラートの深さの制御を行なうための制御パラメータである。これらの制御パラメータの値は、パネルスイッチの操作によってユーザーが任意に設定できるようになっていることが好ましいが、ファクトリーセットに所定値に設定されていてもよい。
【0066】
ここで、α(t),β(t)の値が「1」に設定されたときは、MAGedit(CH,t),FRQedit(CH,t)はそれぞれMAGorig(CH,t),FRQorig(CH,t)に等しくなるので、ビブラート成分をそのまま含んだ強度情報,周波数情報が求められる。
α(t),β(t)の値が「0」に設定されたときは、MAGedit(CH,t),FRQedit(CH,t)はそれぞれMAGsmooth(CH,t),FRQsmooth(CH,t)に等しくなるので、ビブラート成分を全て除去した強度情報,周波数情報が求められる。
α(t),β(t)が「1」よりも大きい値に設定されたときは、MAGorig(CH,t),FRQorig(CH,t)よりもビブラート成分を増大させた強度情報,周波数情報が求められる。
α(t),β(t)が「0」と「1」の間の値に設定されたときは、MAGorig(CH,t),FRQorig(CH,t)よりもビブラート成分を減少させた強度情報,周波数情報が求められる。
また、α(t),β(t)が「0」よりも小さい値に設定されたときは、MAGorig(CH,t),FRQorig(CH,t)とは逆相のビブラート成分を含んだ強度情報,周波数情報が求められる。
このように、α(t),β(t)の値を任意に設定することにより、原波形データのビブラート成分の深さを任意に制御することができる。
【0067】
【数4】
Figure 0003669040
【0068】
上記数4において、τ(t)は、強度情報,周波数情報に対してビブラートの速さの制御を行なうための制御パラメータである。比発生部3eから比情報を読み出す速さをユーザーが任意に指定できるようになっている場合には、そのユーザーの指定した速さに応じてこのτ(t)の値が決定される。
【0069】
ここで、τ(t)の値が「1」に設定されたときは、ビブラート成分の時間的変動の速さがMAGorig(CH,t),FRQorig(CH,t)と同じである強度情報,周波数情報が求められる。
τ(t)の値が「1」よりも大きい値に設定されたときは、ビブラート成分の時間的変動がMAGorig(CH,t),FRQorig(CH,t)よりも速い強度情報,周波数情報が求められる。
τ(t)の値が「1」よりも小さい値に設定されたときは、ビブラート成分の時間的変動がMAGorig(CH,t),FRQorig(CH,t)よりも遅い強度情報,周波数情報が求められる。
このように、τ(t)の値を任意に設定することにより、原波形データのビブラート成分の速さを任意に制御することができる。
【0070】
【数5】
Figure 0003669040
【0071】
上記数5では、比情報Vmag(CH,t)及びVfrq(t)の代わりに別の波形データについての比情報Vmag[another](CH,t)及びVfrq[another](t)を用いることにより、ビブラートのパターンを原音とは異なる演奏音のものに置換することができる。また、こうしたビブラートのパターンの置換を行なうことにより、もともとビブラートを含まない音の波形データに対しても、ビブラート成分を付与することが可能になる。
【0072】
上記数3乃至数5に示した計算処理は、それぞれ独立して実行するだけでなく、それらを組み合わせて実行することにより、ビブラートの深さ,速さの制御及びビブラートのパターンの置換を同時に行なうようにしてもよいことはもちろんである。
【0073】
ところで、ビブラートはほぼ周期的なゆらぎなので、比情報もほぼ周期的に同じ値を繰り返す情報となる。そこで、MAGsmooth(CH,t)及びFRQsmooth(CH,t)を求めた全てのフレームについての比情報Vmag(CH,t),Vfrq(t)を比発生部3eに記憶させるのではなく、一部のフレーム区間(例えば、ビブラートの1または複数周期分に相当するフレーム区間)についての比情報Vmag*(CH,t),Vfrq*(t)のみを比発生部3eに記憶させておき、この比情報を読出し制御部8に繰り返し比発生部3eから読み出させてパラメータ加工部4に利用させるようにしてもよい。そうすることにより、比情報のデータ量を小さくすることができ、比発生部3eの記憶領域も節約することができるようになる。しかも、比情報を繰り返し用いるので、上記数4によりビブラートの速さを任意に制御しても、MAGsmooth(CH,t)及びFRQsmooth(CH,t)に対して比情報の過不足を生じることがなくなるという利点も存在する。
【0074】
下記数6は、ビブラートの1周期分に相当するフレーム区間(T個のフレームから成っている)についての比情報Vmag*(CH,t),Vfrq*(t)を繰り返し用いて上記数3乃至数5の計算処理を同時に行なう場合の計算式である。
【数6】
Figure 0003669040
【0075】
尚、比発生部3eに、このような1または複数周期分の比情報を、1つの波形データについて複数種類記憶させておくようにしてもよい。その場合には、読み出すべき1種類の比情報を、パネルスイッチの操作によりユーザーが任意に選択できるようになっていることが好ましい。あるいは、複数種類の比情報の間で補間やクロスフェードを行なうことによって新たに1または複数周期分の比情報を算出することを、パネルスイッチの操作によりユーザーが指示できるようになっていてもよい。
【0076】
クロスフェードによる新たな1周期(フレームT個分のフレーム区間に相当)分の比情報Vmag*(CH,t)の算出例を示すと、下記数7のとおりである。(比情報Vfrq*(t)についても、下記数7と同様にして算出してよい。)
【数7】
Figure 0003669040
【0077】
上記数7では、周期の前半部分では、フレームTs乃至フレーム(Ts+T/2)(但しTsは任意のフレームの番号である)における比情報Vmag(CH,Ts)乃至V(CH,Ts+T/2)を徐々に増加させると共に、それらのフレームよりも1周期後のフレーム(Ts+T)乃至フレーム(Ts+T+T/2)における比情報Vmag(CH,Ts+T)乃至Vmag(CH,Ts+T+T/2)を徐々に減少させることによってVmag*(CH,t)を算出している。また、周期の後半部分では、フレーム(Ts−T/2)乃至フレームTsにおける比情報Vmag(CH,Ts−T/2)乃至Vmag(CH,Ts)を徐々に増加させると共に、それらのフレームよりも1周期後のフレーム(Ts+T/2)乃至フレーム(Ts+T)における比情報VTs+T/2)乃至Vmag(CH,Ts+T)を徐々に減少させることによってVmag*(CH,t)を算出している。このようなクロスフェードを行なうことにより、変動の滑らかな比情報Vmag*(CH,t)を得ることができる。
【0078】
最後に、この実施の形態におけるビブラート制御の全体的な流れを示すと、図11のようになる。
このように、この実施の形態では、MAGsmooth(CH,t),FRQsmooth(CH,t)に対するMAGorig(CH,t),FRQorig(CH,t)の比情報を求め、この比情報を用いて、原波形データのビブラート成分そのものの深さや速さを任意に制御したり、ビブラートのパターンを原音とは異なる音のものに置換したりしている。これにより、原音の特徴を活かした波形データを形成することができるとともに、〔実施の形態1〕よりも一層波形データの加工のバリエーションを拡大することができるようになる。
【0079】
尚、この実施の形態では、MAGsmooth(CH,t),FRQsmooth(CH,t)に対するMAGorig(CH,t),FRQorig(CH,t)の比情報を求め、この比情報とMAGsmooth(CH,t),FRQsmooth(CH,t)とを乗算することに基づいてMAGedit(CH,t),FRQedit(CH,t)を求めているが、逆に、MAGorig(CH,t),FRQorig(CH,t)に対するMAGsmooth(CH,t),FRQsmooth(CH,t)の比情報を求め、この比情報とMAGorig(CH,t),FRQorig(CH,t)とを乗算することに基づいてMAGedit(CH,t),FRQedit(CH,t)を求めるようにしてもよいことはもちろんである。
【0080】
また、以上の〔実施の形態1〕及び〔実施の形態2〕では、分析部1の求めた強度情報MAGorig(CH,t)と周波数情報FRQorig(CH,t)との双方について、ビブラート除去部2によるビブラート成分の除去からパラメータ加工部4によるビブラートの制御までの処理を実行しているが、強度情報MAGorig(CH,t)と周波数情報FRQorig(CH,t)とのいずれか一方のみについてこれらの処理を実行するようにしてもよい。
【0081】
また、以上の〔実施の形態1〕及び〔実施の形態2〕では、ビブラート除去部は、FFT処理によってMAGorig(CH,t),FRQorig(CH,t)を分析しているが、これに限らず、例えばバンドパスフィルタを用いてMAGorig(CH,t),FRQorig(CH,t)を分析するものであってもよい。
【0082】
また、以上の〔実施の形態1〕及び〔実施の形態2〕では、MAGorig(CH,t),FRQorig(CH,t)を分析して求めたスペクトル分布のうち、原音に含まれるビブラートに対応した(あるいはビブラートに対応するものと見做した)スペクトル成分を除去しているが、ビブラートに対応するか否かに係わらず、所定のスペクトル成分を除去するようにしてもよい。
また、以上の〔実施の形態1〕及び〔実施の形態2〕では、この発明を音源装置に適用しているが、波形データの分析及び合成を行なう他の適宜の装置に適用するようにしてもよい。
【0083】
また、本発明に係る波形処理装置は、ハードウェアで構成するようにしてもよく、あるいは、MPU(マイクロプロセッサ)またはDSP(ディジタルシグナルプロセッサ)等を利用したシステムによって構成するようにしてもよい。もちろん、パーソナルコンピュータによって本明細書に開示したような波形処理を実行することも可能である。
【0084】
最後に、この発明の実施態様を幾つか列挙すると、次のとおりである。
(a) 前記第2の分析手段は、前記第1の分析手段により複数の前記区間に亘って求められた強度情報と周波数情報との少なくともいずれか一方を高速フーリエ変換することによりそのスペクトル分布を求める手段と、前記スペクトル分布のうちの所定のスペクトル成分を除去する手段と、前記スペクトル成分を除去したスペクトル分布を高速逆フーリエ変換する手段とを含んだ請求項1乃至7のいずれかに記載の波形処理装置。
【0085】
(b) 前記加工手段は、前記変動成分を分離する前の強度情報と前記変動成分を分離した強度情報とを任意の割合で加算する処理と、前記変動成分を分離する前の周波数情報と前記変動成分を分離した周波数情報とを任意の割合で加算する処理との少なくともいずれか一方を行なうものである請求項4に記載の波形処理装置。
(c) 前記割合を任意に調整するための調整手段を更に備えた(b)に記載の波形処理装置。
【0086】
(d) 強度情報についての前記加工情報は、前記変動成分を分離する前の強度情報と前記変動成分を分離した強度情報との比を示す比情報から成り、周波数情報についての前記加工情報は、前記変動成分を分離する前の周波数情報と前記変動成分を分離した周波数情報との比を示す比情報から成るものである請求項5乃至7のいずれかに記載の波形処理装置。
(e) 前記加工情報の大きさを任意に調整するための調整手段を更に備えた請求項5乃至7または(d)のいずれかに記載の波形処理装置。
(f) 前記加工情報の読み出し速度を任意に調整するための調整手段を更に備えた請求項5乃至7または(d)または(e)のいずれかに記載の波形処理装置。
【0087】
【発明の効果】
以上のように、この発明によれば、波形データの分析及び合成を行なう音源装置その他の波形処理装置において、特に自然音の波形データを処理する場合に、原波形データの強度や周波数の時間的変動そのものを制御することにより、原音の特徴(例えばビブラート等)を活かした波形データの形成や、波形データの加工のバリエーションの拡大が可能になるという優れた効果を奏する。
【図面の簡単な説明】
【図1】この発明を適用した音源装置の全体構成ブロック図
【図2】音源装置の分析部の構成の一例を示す図
【図3】分析部が分析を行なう波形データの単位を表わす図
【図4】ビブラート除去部の実行する強度情報処理の一例を示すフローチャート
【図5】ビブラート除去部の実行する周波数情報処理の一例を示すフローチャート
【図6】音源装置の記憶部の構成の一例を示す図
【図7】記憶部の記憶内容の一例を示す図
【図8】音源装置の補間部による補間処理の一例を示す図
【図9】音源装置の記憶部の構成の別の一例を示す図
【図10】記憶部の記憶内容の別の一例を示す図
【図11】ビブラート制御の全体的な流れを示す図
【符号の説明】
1 分析部
2 ビブラート除去部
3 記憶部
3a,3b,3d パラメータメモリ
3c バッファ
3e 比発生部
4 パラメータ加工部
5 補間部
6 合成部
7 波形後処理部
8 読出し制御部
9 タイミング生成部
10 CPU[0001]
BACKGROUND OF THE INVENTION
The present invention belongs to the technical field of waveform processing for analyzing and synthesizing waveform data, and particularly relates to a waveform processing apparatus suitable for processing waveform data based on natural sound.
[0002]
[Prior art]
One of the methods of forming musical sound waveform data in a tone generator is to store waveform data obtained by pulse code modulation after converting natural sounds (such as musical instrument performance sounds) into electrical signals, and form waveforms. Sometimes there is one (PCM method) in which waveform data is read from this memory in accordance with performance information.
[0003]
This PCM method has the advantage of excellent natural sound reproducibility, but on the other hand, it is difficult for the user to arbitrarily process the waveform data, so it is difficult to create a variety of musical sounds. There was a disadvantage of being.
Therefore, a sound source device that can easily process waveform data even in the PCM system is disclosed in Japanese Patent Laid-Open No. 5-108077 by the present applicant.
[0004]
The outline of the method of processing the waveform data by the sound source device is as follows. That is, the waveform data is analyzed for each data of a predetermined section by the analyzing means, and the intensity information and the frequency information regarding the intensity of the spectrum component for each section are obtained. Then, the intensity information and frequency information for each section are stored as parameters in the storage means so that the user can adjust these parameters. Parameters thus adjusted for each section are read from the storage means, and the waveform data is again synthesized from the parameters by the synthesis means.
Since adjustment of such parameters is easy, according to the sound source device, waveform data can be arbitrarily processed.
[0005]
[Problems to be solved by the invention]
However, if these parameters are adjusted freely, there is a risk that waveform data that impairs the characteristics of the original natural sound may be formed. In addition, only by artificially adjusting parameters for each section, variations in waveform data processing are limited.
[0006]
The present invention has been made in view of the above points, and in the sound source device and other waveform processing devices for analyzing and synthesizing waveform data, particularly when processing natural sound waveform data, the features of the original natural sound are provided. It is intended to provide waveform data that can be used to create waveform data that can be used to expand variations in waveform data processing.
[0007]
[Means for Solving the Problems]
  The waveform processing apparatus according to the present invention analyzes waveform data for each section of a predetermined time length, and for each sectionAbout waveform components for multiple frequency bandsStrength information and frequency informationRespectivelyFirst analyzing means to be obtained, and intensity information and frequency information obtained over the plurality of sections by the first analyzing means.Out ofat leastFrequency informationSecond analysis means for analyzing a predetermined fluctuation component of temporal fluctuation components included in the informationIn analyzing the frequency information and separating the fluctuation component, the fluctuation component is extracted and separated for the frequency information of a predetermined one of the plurality of frequency bands, and before and after the separation. A frequency ratio for frequency information after separation is obtained, and each fluctuation component is calculated and separated for frequency information of the remaining frequency bands among the plurality of frequency bands using the obtained frequency ratio.And at least one of intensity information before separating the fluctuation component and intensity information obtained by separating the fluctuation component, and frequency information before separating the fluctuation component and frequency information obtained by separating the fluctuation component It is characterized by comprising synthesis means for synthesizing waveform data based on at least one of them.
[0008]
That is, when waveform data is input to the waveform processing device, first, for each section of a predetermined time length,Waveform components for multiple frequency bandsIntensity information and frequency information are obtained by the first analysis means. next,By the second analysis means,Intensity information and frequency information obtained over multiple sectionsAt least frequency information is analyzed, from which a predetermined temporal fluctuation component isTo be separated.Here, in separating the fluctuation component by analyzing the frequency information, the fluctuation component is extracted and separated from the frequency information of one predetermined frequency band among the plurality of frequency bands, and before and after the separation. A frequency ratio for the frequency information is obtained, and each fluctuation component is calculated and separated for the frequency information of the remaining frequency bands among the plurality of frequency bands using the obtained frequency ratio. As a result, the frequency ratio of the frequency information before and after separation can be made common in each frequency band, and the harmonic (or non-harmonic) relationship of the waveform components between the frequency bands is before and after separation. It can be kept unchanged.
  Subsequently, at least one of the intensity information before separating the fluctuation component and the intensity information obtained by separating the fluctuation component, and at least one of the frequency information before separating the fluctuation component and the frequency information obtained by separating the fluctuation component. Based on either of these, the waveform data is synthesized by the synthesis means.
[0009]
Here, for example, when the waveform data is synthesized only from the intensity information and frequency information before the fluctuation component is separated, the waveform data that leaves the intensity and frequency temporal fluctuation components of the original waveform data is synthesized. Is done.
Further, for example, when the waveform data is synthesized only from the intensity information and frequency information obtained by separating the fluctuation component, the waveform data obtained by removing all predetermined temporal fluctuation components of the intensity and frequency from the original waveform data is synthesized. .
Further, for example, intensity information and frequency information in which the fluctuation component is arbitrarily controlled may be obtained, and waveform data may be synthesized from the intensity information and frequency information.
In this way, by controlling the intensity and frequency temporal fluctuation components themselves of the original waveform data, it is possible to form waveform data that makes use of the characteristics of the original sound and to expand variations in processing of the waveform data.
[0010]
By the way, it is often the case that the performer consciously generates almost periodic fluctuations in volume and pitch in the performance sound of the musical instrument. In this specification, such periodic fluctuations in volume and pitch are collectively referred to as vibrato.
Therefore, for the waveform data of performance sound including such vibrato, as an example, among the temporal variation components of intensity and frequency, a periodic variation component corresponding to vibrato (hereinafter referred to as a vibrato component) is second. It is preferable that the vibrato component is arbitrarily controlled by separating it by the analysis means. This makes it possible to form waveform data utilizing the vibrato of the original performance sound.
[0011]
It should be noted that at least one of the intensity information before separating the fluctuation component and the intensity information obtained by separating the fluctuation component, and / or the frequency information before separating the fluctuation component and the frequency information obtained by separating the fluctuation component. One of them is preferably stored in advance in the storage means, and at the time of waveform formation, it is preferable that the synthesis means synthesize the waveform data based on the information read out from the storage means by the readout means.
[0012]
Further, in order to arbitrarily control the temporal fluctuation component itself of the intensity and frequency of the original waveform data, as an example, a processing means for processing at least one of the intensity information and the frequency information according to such a fluctuation component is provided. It is preferable that the synthesizing unit synthesizes the waveform data using the information processed by the processing unit.
When processing means is provided in this way, the storage means stores not only intensity information and frequency information, but also processing information corresponding to the fluctuation component, and intensity information and frequency information read from the storage means during performance. More preferably, the processing means is processed using the processing information read from the storage means.
[0013]
Note that when separating periodically varying components of intensity and frequency as in the case of separating a vibrato component, the processing information corresponding to the varying component is also information that periodically repeats the same value. Therefore, in such a case, the processing information for all the sections is not stored in the storage means, but only the processing information for the sections corresponding to one or more periodic fluctuations is stored in the storage means. The processing information may be repeatedly read from the storage unit and used by the processing unit. By doing so, the data amount of the processing information can be reduced, and the storage area of the storage means can be saved.
[0014]
Further, processing information about the waveform data different from the waveform data for which the intensity information and the frequency information are obtained is stored in the storage means, and the processing means is used using the processing information about the other waveform data read from the storage means. You may make it make it process. By doing so, the pattern of temporal variation in intensity and frequency can be replaced with a natural sound different from the original sound, so that variations in processing of waveform data can be further expanded.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
[Embodiment 1]
Embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
FIG. 1 is a block diagram showing an outline of the configuration of a sound source device to which the present invention is applied. The sound source device includes an analysis unit 1, a vibrato removal unit 2, a storage unit 3, a parameter processing unit 4, an interpolation unit 5, a synthesis unit 6, a waveform post-processing unit 7, a readout control unit 8, A timing generation unit 9 and a CPU (Central Processing Unit) 10 are included.
The CPU 10 controls the operation of each unit of the apparatus. The read control unit 8 controls reading of stored information from the storage unit 3 under the control of the CPU 10. The timing generation unit 9 generates a basic clock for synchronizing the operation timing of each unit under the control of the CPU 10.
[0016]
Waveform data (for example, PCM waveform data obtained by sampling natural musical instruments at a sampling frequency of 32 kHz) is input to the analysis unit 1 in time series. Note that pre-processing such as data compression processing may be performed before and after the processing in the analysis unit 1 as necessary.
[0017]
FIG. 2 shows an example of the configuration of the analysis unit 1. As shown in FIG. 1A, the analysis unit 1 includes 128 band pass filters (BPF) identified by channel numbers CH0 to CH127 connected in parallel, and waveform data passes through these BPFs. . As shown in FIG. 4B, the bandwidth of each BPF is 125 Hz, and the passbands are CH0: 0 to 125 Hz, CH1: 125 to 250 Hz, CH2: 250 to 375 Hz, ..., CH127: 15750 to 16000 Hz. In this way, they are arranged in order from 0 Hz to 16 kHz. (However, the number of BPF channels may be other than 128, and the bandwidth of each BPF may be other than 125 Hz. Instead of using a filter having a fixed pass band as the BPF, a pass band is used. (You may make it use the dynamic variable filter which can be changed arbitrarily.)
The waveform data that has passed through the passband of each BPF is subjected to fast Fourier transform (FFT) processing, as shown in FIG. Based on this, intensity information MAGorig and frequency information FREQorig of the waveform data for each pass band are obtained.
[0018]
The analysis unit 1 detects such intensity information MAGorig and frequency information FREQorig as shown in FIG. 3, with 2048 samples of waveform data as a unit (referred to as a frame) and adjacent frames. Each is performed so as to overlap with a shift of 64 samples.
[0019]
As another example of the configuration of the analysis unit 1, instead of fast Fourier transforming each waveform data passing through the passband of each BPF, intensity information MAGorig is obtained by fast Fourier transforming the entire waveform data using an FFT analyzer. Further, the frequency information FREQorig may be obtained.
[0020]
The intensity information MAGorig (CH, t) and frequency information FREQorig (CH, t) detected by each BPF of the analysis unit 1 (where t represents the serial number of the frame from the rising portion of the waveform data) is the vibrato removal unit 2 and the storage unit 3.
[0021]
The vibrato removing unit 2 performs processing as shown in FIGS. 4 and 5 to perform periodic fluctuations corresponding to the vibrato of the original sound from the intensity information MAGorig (CH, t) and the frequency information FREQorig (CH, t), respectively. It is a circuit that removes components (vibrato components). As an example, the vibrato removing unit 2 is configured by an FFT analyzer.
[0022]
FIG. 4 is a flowchart showing an example of intensity information processing for removing the vibrato component from the intensity information MAGorig (CH, t).
In this process, first, the value of i of the BPF channel number CHi is set to 0 (step S1).
Subsequently, from the intensity information MAGorig (CHi, t) supplied from the BPF of the channel CHi, a frame section (a, including a plurality of continuous frames (from the first frame to the first frame from the first frame)). The intensity information MAG (CHi, ab) over b) is cut out (step S2).
[0023]
It should be noted that the values of a and b are set to values that can cut out the frame section corresponding to the sustain part (sustain) of the original sound (that is, not corresponding to the rising part (attack) or the attenuation part (decay)). . This is because the rising part and the attenuation part are very important parts for determining the characteristics of the sound, and if this part is modified, the characteristics of the original sound are completely lost.
As means for setting the values of a and b, it is preferable that the user can set an arbitrary value for each channel by operating a panel switch (not shown) of the sound source device. It may be set to a predetermined value every time (or common to all channels).
[0024]
Subsequently, the average value MAVRi of the intensity information in the frame section (a, b) is obtained (step S3). As a premise for performing the processing in step S3 and subsequent steps, 0-padded data is inserted between the data included in the intensity information MAG (CHi, ab) and data indicating the value “0” as necessary. By performing the processing, the apparent data amount of the intensity information MAG (CHi, ab) may be increased.
[0025]
Subsequently, by subtracting the average value MAVRi from the intensity information MAG (CHi, ab), a temporal variation component MCVIB (CHi, ab) of the intensity information in the frame interval (a, b) is obtained (step S4). The fluctuation component MCVIB (CHi, ab) is a kind of discrete-time signal having a finite length.
[0026]
Subsequently, the spectrum distribution TMV (CHi, ab) is obtained by performing fast Fourier transform (FFT) processing on the fluctuation component MCVIB (CHi, ab) (step S5).
In the spectrum distribution TMV (CHi, a to b), all the values of the real part and the imaginary part of the spectrum component (vibrato component) corresponding to the vibrato (periodic fluctuation of the volume) included in the original sound are set to “0”. ”To obtain the spectrum distribution TMV ′ (CHi, ab) from which the vibrato component is removed. (Step S6).
[0027]
The processing in step S6 may be realized by actually detecting a spectral component corresponding to vibrato, but is not limited to this, and a predetermined range of periodic fluctuations in the fluctuation component MCVIB (CHi, ab). A spectral component corresponding to (for example, a spectral component corresponding to a periodic fluctuation from 4 Hz to 12 Hz) may be uniformly regarded as corresponding to vibrato and set to “0”.
[0028]
Subsequently, by applying a fast inverse Fourier transform (IFFT) process to the spectrum distribution TMV ′ (CHi, ab), the fluctuation component MCVIB ′ (CHi, ab) (that is, the fluctuation component MCVIB (CHi, a˜ The fluctuation component obtained by removing the vibrato component from b) is obtained (step S7).
Then, by adding the average value MAVRi to the fluctuation component MCVIB ′ (CHi, ab), the vibrato component from the intensity information MAG ′ (CHi, ab) (that is, the intensity information MAG (CHi, ab)). Is obtained (step S8).
[0029]
Subsequently, the value of i is incremented by 1 (step S9), and it is determined whether or not the value of i exceeds 127, which is the channel number of the final channel (step S10).
If it does not exceed (that is, if the processes of steps S2 to S8 have not been completed up to the final channel), it is determined NO in step S10, the process returns to step S2, and the processes in and after step S2 are repeated for the next channel. Thus, when the processing from step S2 to S8 is completed for all channels CH0 to CH127, it is determined as YES in step S10, and the process proceeds to step S11.
[0030]
In step S11, for each channel CH0 to CH127, the intensity information MAG (CH, a to b) in the frame section (a, b) in the intensity information MAGorig (CH, t) is converted into the intensity information MAG ′ ( The information replaced with CH, ab) is stored in the storage unit 3 as intensity information MAGsmooth (CH, t) from which the vibrato component is removed. Then, the process ends.
[0031]
In FIG. 4, the processes of steps S1 to S8 are executed only once for each of the channels CH0 to CH127. However, for each channel CH0 to CH127, the processing of steps S1 to S8 for the frame section (a, b) corresponding to a part of the original sound sustaining part is shifted little by little within the range of the sustaining part. It may be executed a plurality of times (ie, changing the values of a and b little by little). In that case, in step S7, any one of the frame sections (a, b) (for example, the frame section in which the spectrum component corresponding to the vibrato component is best represented in the spectrum distribution obtained in step S5). The obtained variation component MCVIB ′ (CH, a−b) is commonly used to determine the intensity information MAG ′ (CHi, a−b) in step S8 for other frame sections (a, b). Also good.
[0032]
FIG. 5 is a flowchart showing an example of frequency information processing for removing the vibrato component from the frequency information FRQorig (CH, t).
In this process, first, any one channel CHx of CH0 to CH127 is selected as a channel to be processed (step S21). As the processing target, it is preferable to select a channel (as an example, a channel in a pass band that allows the fundamental frequency component to pass through) in which the temporal variation of the frequency component is stable.
[0033]
Subsequently, in the frequency information FRRQorig (CHx, t) supplied from the BPF of the channel CHx, a frame section (c from the c-th frame from the first to the d-th frame from the first) is included. , D), the frequency information FRQ (CHx, c to d) is cut out (step S22).
Note that, similarly to the values of a and b in the intensity information processing shown in FIG. 4, the values of c and d are set to values that can cut out the frame section corresponding to the continuous portion of the original sound. Also, it is preferable that the values of c and d can be arbitrarily set by the user by operating the panel switch of the sound source device.
[0034]
Subsequently, an average value FAVRx of the frequency information in the frame section (c, d) is obtained (step S23). It should be noted that, similarly to the case where the intensity information MAG (CH, a to b) is zero-padded in the intensity information processing, the frequency information FRQ is also performed as necessary before performing the processing after step S23. A zero padding process of (CHx, c to d) may be performed.
[0035]
Subsequently, by subtracting the average value FAVRx from the frequency information FRQ (CHx, c to d), a temporal variation component FCVIB (CHx, c to d) of the frequency information in the frame interval (c, d) is obtained (step) S24). The fluctuation component FCVIB (CHx, c to d) is also a kind of a finite-length discrete time signal.
[0036]
Subsequently, the spectrum distribution TFV (CHx, cd) is obtained by performing fast Fourier transform (FFT) processing on the fluctuation component FCVIB (CHx, cd) (step S25).
And the value of the real part and imaginary part of the spectral component (vibrato component) corresponding to the vibrato (periodic fluctuation of pitch) included in the original sound among the spectral components of the spectral distribution TFV (CHx, cd) Are all set to “0” to obtain a spectrum distribution TFV ′ (CHx, cd) from which the vibrato component is removed (step S26).
[0037]
Note that the processing in this step S26 is the same as in step S6 of the intensity information processing, and the spectral component corresponding to a predetermined range of periodic fluctuations in the fluctuation component FCVIB (CHx, cd) (as an example, the period from 4 Hz to 12 Hz). This may be realized by assuming that the spectral component corresponding to the dynamic fluctuation) uniformly corresponds to vibrato and setting it to “0”.
[0038]
Subsequently, by applying fast inverse Fourier transform (IFFT) processing to the spectrum distribution TFV ′ (CHx, c to d), the fluctuation component FCVIB ′ (CHx, c to d) (that is, the fluctuation component FCVIB (CHx, c to d) The fluctuation component obtained by removing the vibrato component from d) is obtained (step S27).
Then, by adding the average value FAVRx to the fluctuation component FCVIB ′ (CHx, c to d), the vibrato component from the frequency information FRQ ′ (CHx, c to d) (that is, the frequency information FRQ (CHx, c to d)). Is obtained) (step S28).
[0039]
Subsequently, of the frequency information FRQorig (CHx, t), the frequency information FRQ ′ (CHx, cd) calculated in step S28 is used as the frequency information FRQ (CHx, cd) in the frame section (c, d). To obtain frequency information FRQsmooth (CHx, t) from which the vibrato component is removed (step S29).
[0040]
Next, the ratio of the frequency information FRQsmooth (CHx, t) to the frequency information FRQorig (CHx, t) is obtained. Then, by multiplying the frequency information FRQorig (CH, t) from each of the channels CH0 to CH127 other than the channel CHx by the ratio, the frequency information FRQsmooth (CH, t) from which the vibrato component is removed is obtained for those channels. Obtained (step S30).
[0041]
Then, the frequency information FRQsmooth (CH, t) for all channels CH0 to CH127 obtained in steps S29 and S30 is stored in the storage unit 3 (step S31). Then, the process ends.
[0042]
Thus, in frequency information processing, unlike intensity information processing, frequency information from which vibrato components have been removed is obtained based on fast Fourier transform processing for only one processing target channel, and the remaining channels are The frequency information from which the vibrato component is removed is obtained so that the ratio of the frequency information before and after the removal of the vibrato component is the same as that in the processing target channel. This is because when processing the waveform, it is important not to break the harmonic relationship between the fundamental frequency and each harmonic frequency, so the ratio of frequency information before and after removal of the vibrato component for all channels. This is because it is desirable to keep the values equal.
[0043]
Even in this frequency information processing, the processing of steps S21 to S28 for the frame section (c, d) corresponding to a part of the continuous part of the original sound is performed a plurality of times while gradually shifting the frame section within the range of the continuous part. You may do so.
[0044]
As shown in FIG. 6, the storage unit 3 includes a parameter memory 3a for storing intensity information MAGorig (CH, t) and frequency information FRQorig (CH, t) supplied from the analysis unit 1, and a vibrato removing unit. 2 includes a parameter memory 3b for storing intensity information MAGsmooth (CH, t) and frequency information FRQsmooth (CH, t) supplied from 2.
[0045]
FIG. 7 shows an example of the contents stored in the parameter memories 3a and 3b. As shown in FIG. 5A, the memory 3a stores intensity information MAGorig (CH, t) and frequency information FRRQorig (CH, t) for each frame of each channel CH0 to CH127. The memory 3b stores intensity information MAGsmooth (CH, t) and frequency information FRQsmooth (CH, t) for each frame of the channels CH0 to CH127, as shown in FIG.
[0046]
The processing as described above in the analysis unit 1, the vibrato removal unit 2 and the storage unit 3 is processing to be performed in advance before the musical sound waveform forming processing is performed in the sound source device. On the other hand, the parameter processing unit 4, the interpolation unit 5, the synthesis unit 6, and the waveform post-processing unit 7 use the data stored in the storage unit 3 to execute a musical sound waveform forming process.
[0047]
At the time of tone waveform synthesis, intensity information MAGorig (CH, t) and frequency information FRQorig (CH, t) for each channel CH0 to CH127, intensity information MAGsmooth (CH, t) and frequency information FRQsmooth for each channel CH0 to CH127 (CH, t) is read from the parameter memories 3a and 3b by one frame by the read control unit 8 and sequentially supplied to the parameter processing unit 4.
The parameter processing unit 4 is a circuit that controls the vibrato depth based on the following equation 1 for each frame of each channel CH0 to CH127.
[0048]
[Expression 1]
Figure 0003669040
[0049]
In the above equation 1, a (t) and b (t) are control parameters for controlling the depth of vibrato for intensity information and frequency information, respectively. The values of these control parameters are preferably set by the user arbitrarily by operating the panel switch, but may be set to predetermined values in the factory set.
[0050]
Here, when the values of a (t) and b (t) are set to “1”, MAGedit (CH, t) and FRQedit (CH, t) are MAGorig (CH, t) and FRQorig (CH, respectively). , T), intensity information and frequency information including the vibrato component as they are are obtained.
When the values of a (t) and b (t) are set to “0”, MAGedit (CH, t) and FRQedit (CH, t) are MAGsmooth (CH, t) and FRQsmooth (CH, t), respectively. Therefore, intensity information and frequency information from which all the vibrato components are removed are obtained.
When a (t) and b (t) are set to a value larger than “1”, intensity information and frequency information in which the vibrato component is increased more than MAGorig (CH, t) and FRQorig (CH, t) Is required.
When a (t) and b (t) are set to a value between “0” and “1”, the strength obtained by reducing the vibrato component more than MAGorig (CH, t) and FRQorig (CH, t) Information and frequency information are required.
Further, when a (t) and b (t) are set to a value smaller than “0”, the strength including a vibrato component having a phase opposite to that of MAGorig (CH, t) and FRQorig (CH, t). Information and frequency information are required.
Thus, by arbitrarily setting the values of a (t) and b (t), the depth of the vibrato component itself of the original waveform data can be arbitrarily controlled.
[0051]
The intensity information MAGedit (CH, t) and the frequency information FRQedit (CH, t) obtained by the parameter processing unit 4 are sequentially supplied to the interpolation unit 5.
The interpolating unit 5 is a circuit that interpolates intensity information MAGedit (CH, t) and frequency information FRQedit (CH, t) between adjacent frames. That is, as shown in FIG. 3, since adjacent frames are shifted by 64 samples, read data is output from the storage unit 3 every 64 playback sampling clocks, and accordingly, the parameter processing unit 4 also outputs 64 playback sampling clocks. MAGEdit (CH, t) and FRQedit (CH, t) are output every time. The interpolating unit 5 calculates intensity information MAGedit (CH, t) and frequency information FRQedit (CH, t) at 63 playback sampling timings between them by interpolation, and as an example, as shown in FIG. Intensity information MAGedit (CH, t) and frequency information FRQedit (CH, t) for the frame are respectively linearly interpolated.
[0052]
The intensity information MAGedit (CH, t) and frequency information FRQedit (CH, t) subjected to the interpolation processing by the interpolation unit 5 are sequentially supplied to the synthesis unit 6.
The synthesizer 6 is a circuit that synthesizes waveform data using the intensity information MAGEdit (CH, t) and the frequency information FRQedit (CH, t). As an example, the synthesizer 6 adds these pieces of information for all the channels CH0 to CH127. To perform the synthesis.
As another example, the synthesis unit 6 may perform synthesis by executing a fast inverse Fourier transform (IFFT) process. In that case, since the waveform data at all the sampling timings are synthesized without performing the interpolation process, it is not necessary to provide the interpolation unit 5.
[0053]
The waveform data synthesized by the synthesizing unit 6 is supplied to the waveform post-processing unit 7 and subjected to predetermined processing (for example, decompression processing of compressed data and processing for applying effects), and then from the sound source device. It is output and sent to an external sound system.
[0054]
Thus, in this embodiment, the intensity information MAGsmooth (CH, t) from which the vibrato component is removed by analyzing the intensity information MAGorig (CH, t) and the frequency information FRQorig (CH, t) of the original waveform data. ), Frequency information FRQsmooth (CH, t) is obtained. Then, MAGorig (CH, t), FRQorig (CH, t) and MAGsmooth (CH, t), FRQsmooth (CH, t) are added at arbitrary ratios, respectively, so that the depth of the vibrato component itself of the original waveform data is increased. The intensity information MAGedit (CH, t) and the frequency information FRQedit (CH, t) with arbitrarily controlled heights are obtained, and the waveform data is synthesized using the MAGedit (CH, t) and FRQedit (CH, t). . As a result, it is possible to form waveform data making use of the characteristics of the original sound, and to expand variations in processing of waveform data.
[0055]
[Embodiment 2]
Next, another embodiment of the present invention will be described.
In this embodiment, the configuration of the storage unit 3 and the calculation processing contents executed by the parameter processing unit 4 are different from those of the sound source device of [Embodiment 1], but the others are completely the same as in [Embodiment 1]. It is the same.
In the storage unit 3 in this embodiment, as shown in FIG. 9, a buffer 3c for temporarily storing intensity information MAGorig (CH, t) and frequency information FRQorig (CH, t) supplied from the analysis unit 1 And a parameter memory 3d for storing intensity information MAGsmooth (CH, t) and frequency information FRQsmooth (CH, t) supplied from the vibrato removing unit 2 and a ratio generating unit 3e.
[0056]
The intensity information MAGorig (CH, t) and the frequency information FRQorig (CH, t) temporarily stored in the buffer 3c are sequentially supplied to the ratio generator 3e. The intensity information MAGsmooth (CH, t) and frequency information FRQsmooth (CH, t) stored in the parameter memory 3d are also read by the read control unit 8 and supplied to the ratio generation unit 3e.
[0057]
For each frame of each channel CH0 to CH127, the ratio generation unit 3e is based on the following formula 2, and MAGorig (CH, t), FRQorig (CH, t) for MAGsmooth (CH, t), FRQsmooth (CH, t) The ratio information Vmag (CH, t) and Vfrq (t) respectively representing the ratios of these are obtained, and the ratio information is stored. (As is apparent from the frequency information processing of FIG. 5, the ratio of FRQorig (CH, t) to FRQsmooth (CH, t) is the same for all channels CH0 to CH127.)
[0058]
[Expression 2]
Figure 0003669040
[0059]
For the sake of convenience, a ratio of “1” is generated as the value of Vmag (CH, t) and Vfrq (t) for a frame in which the values of MAGsmooth (CH, t) and FRQsmooth (CH, t) are “0”. Store in unit 3e.
Further, in order to prevent the vibrato component from becoming extremely large due to the processing of the parameter processing unit 4 to be described later for a frame in which the values of Vmag (CH, t) and Vfrq (t) are larger than a predetermined value. It is assumed that “1” is stored in the ratio generator 3e as values of Vmag (CH, t) and Vfrq (t), respectively.
[0060]
FIG. 10 shows an example of the contents stored in the parameter memory 3d and the ratio generator 3e. The memory 3d stores intensity information MAGsmooth (CH, t) and frequency information FRQsmooth (CH, t) for each frame of each channel CH0 to CH127, as shown in FIG. In the ratio generator 3e, ratio information Vmag (CH, t) and Vfrq (t) are stored for each frame of each channel CH0 to CH127, as shown in FIG.
[0061]
As another example, in addition to the ratio information Vmag (CH, t) and Vfrq (t) regarding the current waveform data, the ratio generating unit 3e may include Vmag (CH, t) and the current waveform data. Instead of Vfrq (t), one or more types of ratio information Vmag [another] (CH, t) and Vfrq [another] (t) regarding waveform data of another performance sound may be stored. . Here, when only the ratio information Vmag [another] (CH, t) and Vfrq [another] (t) regarding the waveform data of another performance sound is stored, a vibrato that serves as a model for performance is stored. It is preferable to select the one for the included performance sound.
[0062]
In this embodiment, at the time of musical sound waveform synthesis, intensity information MAGsmooth (CH, t) and frequency information FRQsmooth (CH, t) for each channel CH0 to CH127 are respectively read from the parameter memories 3a and 3b by the read control unit 8. Each frame is read out and supplied to the parameter processing unit 4 sequentially.
Further, the ratio information for each of the channels CH0 to CH127 is also read from the ratio generating unit 3e by the read control unit 8 and sequentially supplied to the parameter processing unit 4.
[0063]
Here, it is preferable that the user can arbitrarily adjust the speed at which the read controller 8 reads the ratio information from the ratio generator 3e by operating the panel switch.
Further, both the ratio information Vmag (CH, t) and Vfrq (t) and the ratio information Vmag [another] (CH, t) and Vfrq [another] (t) are stored in the ratio generation unit 3e. When multiple types of ratio information Vmag [another] (CH, t) and Vfrq [another] (t) are stored in the ratio generation unit 3e, which ratio information is read from the ratio generation unit 3e. It is preferable that the user can arbitrarily select it by operating the panel switch.
[0064]
In this embodiment, the parameter processing unit 4 controls the vibrato depth and speed and replaces the vibrato pattern based on the following equations 3 to 5 for each frame of each channel CH0 to CH127.
[Equation 3]
Figure 0003669040
[0065]
In Equation 3, α (t) and β (t) are control parameters for controlling the depth of the vibrato for the intensity information and the frequency information, respectively. The values of these control parameters are preferably set by the user arbitrarily by operating the panel switch, but may be set to predetermined values in the factory set.
[0066]
Here, when the values of α (t) and β (t) are set to “1”, MAGedit (CH, t) and FRQedit (CH, t) are MAGorig (CH, t) and FRQorig (CH, respectively). , T), intensity information and frequency information including the vibrato component as they are are obtained.
When the values of α (t) and β (t) are set to “0”, MAGedit (CH, t) and FRQedit (CH, t) are MAGsmooth (CH, t) and FRQsmooth (CH, t), respectively. Therefore, intensity information and frequency information from which all the vibrato components are removed are obtained.
When α (t) and β (t) are set to values larger than “1”, intensity information and frequency information in which the vibrato component is increased more than MAGorig (CH, t) and FRQorig (CH, t) Is required.
When α (t) and β (t) are set to a value between “0” and “1”, the strength with reduced vibrato components than MAGorig (CH, t) and FRQorig (CH, t) Information and frequency information are required.
Further, when α (t) and β (t) are set to a value smaller than “0”, the strength including a vibrato component having a phase opposite to that of MAGorig (CH, t) and FRQorig (CH, t). Information and frequency information are required.
In this way, by arbitrarily setting the values of α (t) and β (t), the depth of the vibrato component of the original waveform data can be arbitrarily controlled.
[0067]
[Expression 4]
Figure 0003669040
[0068]
In Equation 4, τ (t) is a control parameter for controlling the vibrato speed for the intensity information and the frequency information. When the user can arbitrarily specify the speed at which the ratio information is read from the ratio generator 3e, the value of τ (t) is determined according to the speed specified by the user.
[0069]
Here, when the value of τ (t) is set to “1”, the intensity information in which the speed of temporal variation of the vibrato component is the same as that of MAGorig (CH, t) and FRQorig (CH, t), Frequency information is required.
When the value of τ (t) is set to a value larger than “1”, intensity information and frequency information in which the temporal variation of the vibrato component is faster than that of MAGorig (CH, t) and FRQorig (CH, t) Desired.
When the value of τ (t) is set to a value smaller than “1”, intensity information and frequency information in which the temporal variation of the vibrato component is slower than that of MAGorig (CH, t) and FRQorig (CH, t) Desired.
Thus, by arbitrarily setting the value of τ (t), the speed of the vibrato component of the original waveform data can be arbitrarily controlled.
[0070]
[Equation 5]
Figure 0003669040
[0071]
In the above equation 5, ratio information Vmag [another] (CH, t) and Vfrq [another] (t) for another waveform data is used in place of the ratio information Vmag (CH, t) and Vfrq (t). The vibrato pattern can be replaced with a performance sound different from the original sound. Further, by replacing the vibrato pattern, it is possible to add a vibrato component to waveform data of a sound that originally does not include vibrato.
[0072]
The calculation processes shown in the above formulas 3 to 5 are not only executed independently, but are also executed in combination to simultaneously control the vibrato depth and speed and replace the vibrato pattern. Of course, you may do it.
[0073]
By the way, since vibrato is substantially periodic fluctuation, the ratio information is information that repeats the same value almost periodically. Therefore, instead of storing the ratio information Vmag (CH, t), Vfrq (t) for all frames for which MAGsmooth (CH, t) and FRQsmooth (CH, t) have been obtained in the ratio generating unit 3e, a part thereof is stored. Only the ratio information Vmag * (CH, t), Vfrq * (t) for a frame section (for example, a frame section corresponding to one or a plurality of periods of vibrato) is stored in the ratio generator 3e, and this ratio Information may be read by the read control unit 8 from the repetition ratio generation unit 3e and used by the parameter processing unit 4. By doing so, the data amount of the ratio information can be reduced, and the storage area of the ratio generator 3e can be saved. In addition, since the ratio information is repeatedly used, even if the vibrato speed is arbitrarily controlled by the above equation 4, the ratio information may be excessive or insufficient with respect to MAGsmooth (CH, t) and FRQsmooth (CH, t). There is also an advantage of being eliminated.
[0074]
Equation 6 below uses the ratio information Vmag * (CH, t) and Vfrq * (t) for a frame interval (consisting of T frames) corresponding to one cycle of vibrato to re-use the equations 3 to This is a calculation formula when the calculation processing of Formula 5 is performed simultaneously.
[Formula 6]
Figure 0003669040
[0075]
Note that a plurality of types of ratio information for one or a plurality of periods may be stored in the ratio generator 3e for one waveform data. In that case, it is preferable that the user can arbitrarily select one kind of ratio information to be read out by operating the panel switch. Alternatively, the user may be able to instruct to newly calculate the ratio information for one or a plurality of periods by performing interpolation or crossfading between a plurality of types of ratio information by operating the panel switch. .
[0076]
A calculation example of the ratio information Vmag * (CH, t) for one new period (corresponding to a frame period of T frames) by cross-fade is as shown in the following Expression 7. (The ratio information Vfrq * (t) may also be calculated in the same manner as in Equation 7 below.)
[Expression 7]
Figure 0003669040
[0077]
In Equation 7, ratio information Vmag (CH, Ts) to V (CH, Ts + T / 2) in frame Ts to frame (Ts + T / 2) (where Ts is an arbitrary frame number) in the first half of the cycle. Are gradually increased, and the ratio information Vmag (CH, Ts + T) to Vmag (CH, Ts + T + T / 2) in the frame (Ts + T) to the frame (Ts + T + T / 2) one cycle later than those frames is gradually decreased. Thus, Vmag * (CH, t) is calculated. Further, in the latter half of the cycle, the ratio information Vmag (CH, Ts-T / 2) to Vmag (CH, Ts) in the frame (Ts-T / 2) to the frame Ts is gradually increased. Also, Vmag * (CH, t) is calculated by gradually decreasing the ratio information VTs + T / 2) to Vmag (CH, Ts + T) in the frame (Ts + T / 2) to frame (Ts + T) after one cycle. By performing such crossfading, it is possible to obtain ratio information Vmag * (CH, t) with smooth fluctuations.
[0078]
Finally, the overall flow of vibrato control in this embodiment is shown in FIG.
Thus, in this embodiment, MAGsmooth (CH, t), FRQsmooth (CH, t) relative to MAGsmooth (CH, t) is obtained, and the ratio information is obtained using this ratio information. The depth and speed of the vibrato component itself of the original waveform data are arbitrarily controlled, and the vibrato pattern is replaced with a sound different from the original sound. As a result, waveform data utilizing the characteristics of the original sound can be formed, and variations in processing of waveform data can be further expanded as compared with the first embodiment.
[0079]
In this embodiment, MAGsmooth (CH, t), FRQsmooth (CH, t) relative to MAGgorig (CH, t) and FRQorig (CH, t) are obtained, and the ratio information and MAGsmooth (CH, t, ), FRQsmooth (CH, t), and MAGEdit (CH, t), FRQedit (CH, t) are obtained, but MAGorig (CH, t), FRQoriig (CH, t) ) MAGsmooth (CH, t) and FRQsmooth (CH, t) are obtained, and the ratio information is multiplied by MAGorig (CH, t) and FRQorig (CH, t). t), FRQedit (CH, t) may be obtained as a matter of course. That.
[0080]
Further, in the above [Embodiment 1] and [Embodiment 2], the vibrato removing unit is used for both the intensity information MAGorig (CH, t) and the frequency information FRQorig (CH, t) obtained by the analyzing unit 1. The processing from the removal of the vibrato component by 2 to the control of the vibrato by the parameter processing unit 4 is executed, but only one of the intensity information MAGorig (CH, t) and the frequency information FRRQorig (CH, t) You may make it perform the process of.
[0081]
In the above [Embodiment 1] and [Embodiment 2], the vibrato removing unit analyzes MAGorig (CH, t) and FRQorig (CH, t) by FFT processing, but the present invention is not limited to this. Alternatively, for example, MAGorig (CH, t) and FRQorig (CH, t) may be analyzed using a bandpass filter.
[0082]
In the above [Embodiment 1] and [Embodiment 2], among the spectrum distributions obtained by analyzing MAGorig (CH, t) and FRQorig (CH, t), it corresponds to the vibrato included in the original sound. However, a predetermined spectral component may be removed regardless of whether or not it corresponds to vibrato.
Further, in the above [Embodiment 1] and [Embodiment 2], the present invention is applied to the sound source device. However, the present invention is applied to other appropriate devices for analyzing and synthesizing waveform data. Also good.
[0083]
The waveform processing apparatus according to the present invention may be configured by hardware, or may be configured by a system using an MPU (microprocessor), a DSP (digital signal processor), or the like. Of course, it is also possible to execute waveform processing as disclosed in this specification by a personal computer.
[0084]
Finally, several embodiments of the present invention are listed as follows.
(A) The second analysis unit performs a fast Fourier transform on at least one of the intensity information and the frequency information obtained over the plurality of sections by the first analysis unit, thereby obtaining the spectrum distribution. The means according to any one of claims 1 to 7, further comprising: means for obtaining; means for removing a predetermined spectral component of the spectral distribution; and means for performing a fast inverse Fourier transform on the spectral distribution from which the spectral component has been removed. Waveform processing device.
[0085]
(B) The processing means adds the intensity information before separating the fluctuation component and the intensity information obtained by separating the fluctuation component at an arbitrary ratio, the frequency information before separating the fluctuation component, and the The waveform processing apparatus according to claim 4, wherein at least one of a process of adding frequency information obtained by separating fluctuation components at an arbitrary ratio is performed.
(C) The waveform processing apparatus according to (b), further including an adjusting unit for arbitrarily adjusting the ratio.
[0086]
(D) The processing information about the intensity information is composed of ratio information indicating a ratio between the intensity information before separating the fluctuation component and the intensity information obtained by separating the fluctuation component, and the processing information about the frequency information is: The waveform processing apparatus according to claim 5, comprising ratio information indicating a ratio between frequency information before separating the fluctuation component and frequency information from which the fluctuation component is separated.
(E) The waveform processing apparatus according to any one of claims 5 to 7 or (d), further comprising adjustment means for arbitrarily adjusting the size of the processing information.
(F) The waveform processing apparatus according to any one of claims 5 to 7, or (d) or (e), further comprising adjustment means for arbitrarily adjusting a reading speed of the processing information.
[0087]
【The invention's effect】
As described above, according to the present invention, in the sound source device and other waveform processing devices for analyzing and synthesizing waveform data, particularly when processing waveform data of natural sound, the intensity and frequency of the original waveform data are temporally changed. By controlling the fluctuation itself, there is an excellent effect that it is possible to form waveform data utilizing the characteristics of the original sound (for example, vibrato, etc.) and to expand the variation of processing of the waveform data.
[Brief description of the drawings]
FIG. 1 is an overall configuration block diagram of a sound source device to which the present invention is applied.
FIG. 2 is a diagram showing an example of the configuration of an analysis unit of a sound source device
FIG. 3 is a diagram showing a unit of waveform data to be analyzed by an analysis unit
FIG. 4 is a flowchart illustrating an example of intensity information processing executed by a vibrato removing unit.
FIG. 5 is a flowchart illustrating an example of frequency information processing executed by a vibrato removing unit.
FIG. 6 is a diagram illustrating an example of a configuration of a storage unit of a sound source device.
FIG. 7 is a diagram illustrating an example of storage contents of a storage unit
FIG. 8 is a diagram illustrating an example of interpolation processing by an interpolation unit of a sound source device
FIG. 9 is a diagram showing another example of the configuration of the storage unit of the sound source device.
FIG. 10 is a diagram showing another example of the storage contents of the storage unit
FIG. 11 is a diagram showing the overall flow of vibrato control.
[Explanation of symbols]
1 Analysis Department
2 Vibrato removal section
3 storage unit
3a, 3b, 3d Parameter memory
3c buffer
3e ratio generator
4 Parameter processing section
5 Interpolator
6 synthesis unit
7 Waveform post-processing section
8 Read controller
9 Timing generator
10 CPU

Claims (7)

波形データを所定の時間長の区間毎に分析し、各区間毎に複数の周波数帯域毎の波形成分についての強度情報と周波数情報とをそれぞれ求める第1の分析手段と、
第1の分析手段により複数の前記区間に亘って求められた強度情報と周波数情報のうち少なくとも周波数情報を分析し、該情報に含まれる時間的変動成分のうちの所定の変動成分を分離する第2の分析手段であって、前記周波数情報を分析して変動成分を分離するにあたっては、前記複数の周波数帯域のうち所定の1つの周波数帯域の周波数情報について前記変動成分を抽出して分離し、この分離前と分離後の周波数情報についての周波数比を求め、求めた周波数比を用いて前記複数の周波数帯域のうち残りの周波数帯域の周波数情報についてそれぞれの変動成分を算出して分離するものと、
前記変動成分を分離する前の強度情報と前記変動成分を分離した強度情報との少なくともいずれか一方、及び前記変動成分を分離する前の周波数情報と前記変動成分を分離した周波数情報との少なくともいずれか一方に基づいて波形データを合成する合成手段と
を具えた波形処理装置。
First analysis means for analyzing waveform data for each section of a predetermined time length, and obtaining intensity information and frequency information for each of a plurality of frequency band waveform components for each section;
A first analysis unit analyzes at least frequency information among intensity information and frequency information obtained over a plurality of the sections, and separates a predetermined fluctuation component among temporal fluctuation components included in the information. 2 for analyzing the frequency information and separating the fluctuation component, extracting and separating the fluctuation component for the frequency information of a predetermined one of the plurality of frequency bands, Obtaining a frequency ratio for the frequency information before and after separation, and calculating and separating each fluctuation component for the frequency information of the remaining frequency bands among the plurality of frequency bands using the obtained frequency ratio ; ,
At least one of intensity information before separating the fluctuation component and intensity information obtained by separating the fluctuation component, and / or frequency information before separating the fluctuation component and frequency information obtained by separating the fluctuation component A waveform processing apparatus comprising synthesis means for synthesizing waveform data based on either of them.
前記第2の分析手段は、時間的変動成分のうちの所定の周期的変動成分を分離するものである請求項1に記載の波形処理装置。The waveform processing apparatus according to claim 1, wherein the second analysis unit is configured to separate a predetermined periodic variation component among temporal variation components. 前記変動成分を分離する前の強度情報と前記変動成分を分離した強度情報との少なくともいずれか一方、及び前記変動成分を分離する前の周波数情報と前記変動成分を分離した周波数情報との少なくともいずれか一方を記憶するための記憶手段と、該記憶手段に記憶された情報を読み出す読出し手段とを更に具えており、前記合成手段は、前記読出し手段により前記記憶手段から読み出された情報に基づいて波形を合成するものである請求項1乃至2のいずれかに記載の波形処理装置。  At least one of intensity information before separating the fluctuation component and intensity information obtained by separating the fluctuation component, and at least one of frequency information before separating the fluctuation component and frequency information obtained by separating the fluctuation component Storage means for storing either of them, and reading means for reading out the information stored in the storage means, and the synthesizing means is based on the information read from the storage means by the reading means. The waveform processing apparatus according to claim 1, wherein the waveform is synthesized. 強度情報と周波数情報との少なくともいずれか一方を前記変動成分に応じて加工する加工手段を更に具えており、前記合成手段は、該加工手段によって加工された情報を用いて波形を合成するものである請求項1乃至3のいずれかに記載の波形処理装置。  Processing means for processing at least one of intensity information and frequency information according to the fluctuation component is further provided, and the synthesizing means synthesizes a waveform using information processed by the processing means. The waveform processing apparatus according to claim 1. 前記記憶手段には、前記変動成分に応じた加工情報が更に記憶され、前記加工手段は、前記読出し手段により前記記憶手段から読み出される該加工情報を用いて加工を行なうものである請求項4に記載の波形処理装置。  5. The storage means further stores processing information corresponding to the fluctuation component, and the processing means performs processing using the processing information read from the storage means by the reading means. The waveform processing apparatus described. 前記記憶手段には、前記変動成分の変動の1または複数周期に相当する区間についての前記加工情報が記憶され、前記加工手段は、前記読出し手段により前記記憶手段から繰り返し読み出される前記加工情報を用いて加工を行なうものである請求項5に記載の波形処理装置。  The storage means stores the processing information for a section corresponding to one or a plurality of cycles of the fluctuation of the fluctuation component, and the processing means uses the processing information repeatedly read from the storage means by the reading means. 6. The waveform processing apparatus according to claim 5, wherein the waveform processing apparatus performs processing. 前記記憶手段には、強度情報及び周波数情報を求めた波形データとは別の波形データについての前記加工情報が記憶されており、前記加工手段は、前記読出し手段により前記記憶手段から読み出される該別の波形データについての前記加工情報を用いて加工を行なうものである請求項5または6に記載の波形処理装置。  The storage means stores the processing information for waveform data different from the waveform data for which intensity information and frequency information are obtained, and the processing means is read from the storage means by the reading means. The waveform processing apparatus according to claim 5 or 6, wherein the processing information is used for processing the waveform data.
JP07839996A 1996-03-05 1996-03-05 Waveform processing device Expired - Fee Related JP3669040B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07839996A JP3669040B2 (en) 1996-03-05 1996-03-05 Waveform processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07839996A JP3669040B2 (en) 1996-03-05 1996-03-05 Waveform processing device

Publications (2)

Publication Number Publication Date
JPH09244661A JPH09244661A (en) 1997-09-19
JP3669040B2 true JP3669040B2 (en) 2005-07-06

Family

ID=13660955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07839996A Expired - Fee Related JP3669040B2 (en) 1996-03-05 1996-03-05 Waveform processing device

Country Status (1)

Country Link
JP (1) JP3669040B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4736046B2 (en) * 2006-03-14 2011-07-27 ヤマハ株式会社 Waveform data production method, waveform data production apparatus, program, and waveform memory production method

Also Published As

Publication number Publication date
JPH09244661A (en) 1997-09-19

Similar Documents

Publication Publication Date Title
US5744739A (en) Wavetable synthesizer and operating method using a variable sampling rate approximation
US5744742A (en) Parametric signal modeling musical synthesizer
WO1997017692A9 (en) Parametric signal modeling musical synthesizer
US6687674B2 (en) Waveform forming device and method
US6096960A (en) Period forcing filter for preprocessing sound samples for usage in a wavetable synthesizer
US6721711B1 (en) Audio waveform reproduction apparatus
JP2008112183A (en) Reduced-memory reverberation simulator in sound synthesizer
US8296143B2 (en) Audio signal processing apparatus, audio signal processing method, and program for having the method executed by computer
US5412152A (en) Device for forming tone source data using analyzed parameters
US7396992B2 (en) Tone synthesis apparatus and method
EP2355092A1 (en) Audio processing apparatus and method
JP3775319B2 (en) Music waveform time stretching apparatus and method
JP3654117B2 (en) Expansion and contraction method of musical sound waveform signal in time axis direction
JP3669040B2 (en) Waveform processing device
US7010491B1 (en) Method and system for waveform compression and expansion with time axis
JP3534012B2 (en) Waveform analysis method
JP2002287758A (en) Method and device for editing waveform
JPH05119782A (en) Sound source device
JP2001117595A (en) Audio signal waveform processor
JP3428230B2 (en) Method and apparatus for forming repetitive waveform of electronic musical instrument
JP2004013179A (en) Sound source waveform synthesizer using analysis result
JP3226255B2 (en) Music synthesis system
JP3727110B2 (en) Music synthesizer
JP3525482B2 (en) Sound source device
JP2712943B2 (en) Sound source device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050404

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090422

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090422

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100422

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110422

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees