JP3521821B2 - 楽音波形分析方法及び楽音波形分析装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、分析対象楽音の時
系列な周波数スペクトルにおける振幅データのピーク点
の軌跡を追跡するのに適した楽音波形分析方法及び楽音
波形分析装置に関する。

【０００２】

【従来の技術】従来、楽音の性質を分析したり楽音波形
を合成する楽音分析・（再）合成（Analysis & (Re)Syn
thesis）の技術分野において、楽音波形の周波数スペク
トルを解析する次のような技術がある。先ず、楽音の時
系列なサンプリング波形に窓関数を掛けてフレームを切
り出し、高速フーリエ変換（ＦＦＴ）処理を施して周波
数スペクトルの分析データを得る。この周波数スペクト
ルの分析データは、周波数軸上のデータすなわち周波数
データ、振幅データおよび位相データを含んでおり、振
幅データのピークとみなせる全てのピーク点（周波数
値）を検出する。そして窓関数の窓を移動してフレーム
を更新し、上記の処理を繰り返し、各フレームにおける
周波数スペクトルの振幅データのピーク点を検出する。

【０００３】ここで、各フレームにおけるピーク点は、
一般に、複数の周波数に対応して複数個検出され、これ
らのピーク点は、元のサンプリング波形の基音、その倍
音に相当する成分、ノイズ成分、ＦＦＴの窓関数のサイ
ドローブ等に対応して検出される。このうち、基音や倍
音に相当するピーク点は、周波数軸方向に周期性の強い
成分となり、さらにＦＦＴにおけるフレームの時間軸方
向に連なる長い軌跡を形成する傾向を示す。そこで、こ
のピーク点の軌跡を追跡することで周期性の強い成分
（基音や倍音の周波数）を抽出し、この抽出した成分と
その他ランダム性の強い成分を分離する。

【０００４】なお、この明細書においては上記のように
周波数スペクトルのピーク点の軌跡を追跡する技術を
「スペクトル軌跡追跡法」あるいは「ＳＴＦ（Spectral
Trajectory Finder）と称する。

【０００５】このようなスペクトル軌跡追跡法を利用す
ると、波形メモリ読み出し方式音源（ＰＣＭ音源）用の
波形データの作成作業を行う場合に、最も煩雑な作業で
あるループ波形（持続音用に繰り返し読み出す波形デー
タ）の読み出し区間の決定が容易になる。また、分析結
果の編集により、入力した原音に微妙な味付けをしたり
あるいは原音には無かった新たな特性を付与するのが容
易になるという利点がある。

【０００６】

【発明が解決しようとする課題】しかし、楽音の種類に
よっては、上記のようなスペクトル軌跡追跡法でピーク
がうまく追跡できない場合がある。例えば、ピアノの高
音域の音などパーカッシブあるいはパルス的で減衰の早
い音を分析対象とする場合、このような楽音は倍音成分
の他ランダム成分が多いこともあって、アタック後に振
幅レベルが急激に低くなる減衰部分はピーク点の軌跡の
追跡がうまくいかず、周期性の強い基音とその倍音成分
と、ランダム性の強いノイズ成分との分離が困難であっ
た。

【０００７】本発明は、ピアノの高音などパーカッシブ
あるいはパルス的で減衰の早い音でも、周波数スペクト
ルのピークの軌跡の追跡を行なえるようにすることを課
題とする。

【０００８】

【課題を解決するための手段】本発明の請求項１の楽音
波形分析方法は、分析対象楽音の元波形を入力し、該元
波形のピーク近傍を分析して基音と倍音の周波数を検出
し、前記元波形の時系列な周波数スペクトルに対して前
記基音と倍音の周波数近傍を選択するフィルタ処理を行
い、該フィルタ処理された周波数スペクトルから二次波
形を生成し、該二次波形のエンベロープを抽出し、該エ
ンベロープに基づいて前記二次波形のレベルを補正し、
該レベルを補正された二次波形を対象として周波数スペ
クトルのピークを追跡し、該ピークの追跡により得られ
た基音と倍音の近傍の周波数成分と前記エンベロープか
ら合成波形を生成することを特徴とする。

【０００９】

【００１０】なお、元波形のエンベロープは、波形の振
幅のピークのレベルを１とするエンベロープ値とし、上
記レベルの補正は、エンベロープ値の逆数を逆エンベロ
ープ値として、この逆エンベロープ値をレベルに乗算す
るのが適している。また、楽音の頭から上記振幅のピー
クまでの間は逆エンベロープ値を１とすることで、アタ
ック部の特徴をそのま残すことができ、アタック部の微
妙な音色を再現できる。

【００１１】

【００１２】上記のように構成された請求項１の楽音波
形分析方法によれば、二次波形は元波形よりも基音と倍
音の周波数成分のＳ／Ｎ比が良くなり、さらにこの二次
波形のエンベロープを抽出し、該エンベロープに基づい
て二次波形のレベルを補正し、該レベルを補正された二
次波形を対象として周波数スペクトルのピークを追跡す
るので、減衰部分についてもさらにピークの追跡精度が
良くなる。なお、合成波形と、前記元波形から合成波形
を引いた残差波形とを出力するようにしてもよい。

【００１３】本発明の請求項２の楽音波形分析装置は、
分析対象楽音の元波形を入力する波形入力手段と、該元
波形のピーク近傍を分析して基音と倍音の周波数を検出
する周波数検出手段と、前記元波形の時系列な周波数ス
ペクトルに対して前記周波数検出手段で検出された基音
と倍音の周波数近傍を選択するフィルタ処理手段と、該
フィルタ処理手段で選択された周波数スペクトルから二
次波形を生成する二次波形生成手段と、該二次波形生成
手段で生成された二次波形のエンベロープを抽出するエ
ンベロープ抽出手段と、該エンベロープ抽出手段で抽出
されたエンベロープに基づいて前記二次波形のレベルを
補正するレベル補正手段と、該レベル補正手段でレベル
を補正された二次波形を対象として周波数スペクトルの
ピークを追跡して基音と倍音の近傍の周波数成分と前記
エンベロープから合成波形を生成する合成波形生成手段
と、を備えたことを特徴とする。

【００１４】上記のように構成された請求項２の楽音波
形分析装置によれば、請求項１と同様な作用効果が得ら
れる。

【００１５】

【００１６】

【発明の実施の形態】図２は本発明の一実施の形態の楽
音波形分析装置のブロック図であり、ＣＰＵ１を備えた
パーソナルコンピュータで構成した場合を示している。
プログラムメモリ２はハードディスク装置やＣＤ−ＲＯ
Ｍ装置あるいはその他の外部記憶装置であり、図１６に
フローチャートの要部を示した楽音波形分析プログラム
が記憶されている。また、データメモリ３はＲＡＭ等で
あり、分析対象となる楽音波形データや分析結果等が記
憶される。また、入力装置４および演奏操作子５はキー
ボード等であり、ディスプレイ６はＣＲＴあるいは液晶
表示器等である。楽音合成部７は分析結果に基づいて楽
音を合成する各種ＬＳＩチップを搭載した音源ボードあ
るいは音源装置等である。さらに、ネットワークインタ
ーフェース８はＭＩＤＩ、ＬＡＮ、電話回線等の各種ネ
ットワーク９に接続するインターフェースである。

【００１７】ＣＰＵ１はプログラムメモリ２の例えばハ
ードディスク装置に格納されている前記楽音波形分析プ
ログラムに基づいて、データメモリ３の指定された楽音
波形データについて後述説明する楽音波形分析処理を行
い、フーリエ解析処理の各フレームにおける周波数スペ
クトルのピーク点を検出する。そして、フレーム間で軌
跡をなすピーク点を抽出し、この軌跡をなす各フレーム
におけるピーク点の分析データを分析結果として得る。

【００１８】なお、ＣＰＵ１は、後述説明する波形分析
の結果得られたピーク点の軌跡に基づき、各フレーム毎
に、軌跡をなすピーク点の分析データである周波数デー
タ、振幅データおよび位相データをそのフレームタイム
に合わせて楽音合成部７に出力することにより、楽音合
成部７でフーリエ合成を行う。また、元波形データと上
記フーリエ合成した波形データとの差分を残差波形デー
タとして求める。この残差波形データとフーリエ合成し
た波形データは楽音合成部７で再合成され、ディジタル
・アナログ変換されて楽音信号として発生される。ま
た、楽音合成部７に出力される上記分析データや残差波
形データをモディファイすることにより所望の波形デー
タが得られる。

【００１９】図１は実施形態における各種処理の流れを
示す機能ブロック図であり、各ブロックの機能は、図２
の構成要素あるいは図１６に示す楽音波形分析プログラ
ムの実行により実現される。次にこの図１および図３〜
図１６に基づいて実施形態の処理の流れについて説明す
る。なお、図１のコネクタ線に付記した図番はその出力
波形等を示す図面の図番である。また、図１の各ブロッ
クに付記した“STEP1〜STEP8”は、図１６のフローチャ
ートの各ステップに対応している。

【００２０】図１において、オリジナル波形Ａは分析対
象楽音波形として指定された元波形データであり、例え
ばデータメモリ３から読み出される。ここで、図３は実
施形態における分析対象楽音波形（元波形データ）を示
す図であり、ピアノの８３ｋｅｙ（基音=3135.96Hz）の
減衰時間約１．５秒の時間波形である。図のように、こ
の波形はアタック部から急激に減衰し、約０．３秒以降
の振幅（図では現れていない。）がアタック部と比べて
極端に減衰している。なお、この波形データは楽音波形
の振幅を４４．１ｋＨｚのサンプリング周波数でサンプ
リングし量子化した時系列なサンプリングデータであ
る。

【００２１】図１において、第１のＳＴＦ分析Ｂでは、
図３の元波形に対してスペクトル軌跡追跡法で周波数ス
ペクトルのピーク軌跡を追跡し、追跡した軌跡に対応す
る基音および倍音の周波数を得る。ここで、図４(A) は
元波形データに対してＦＦＴ処理を施して得られた時系
列な周波数スペクトルのピーク点の分布を示す図であ
り、図４(A) は先頭から略１５００ｍsec （１．５秒）
間のピーク点の分布を示し、図４(B) はアタック部近傍
を時間軸方向に拡大した２５ｍsec 間のピーク点の分布
を示している。

【００２２】なお、図では分布の様子が線状あるいは不
規則形状に現れているが、各ピーク点は線あるいは不規
則形状を構成する一つ一つのドットに対応している。ま
た、各ピーク点はそれぞれ振幅データを有している。図
４(A) のスペクトルのように元波形の後半では基音に対
応するピークしか現れていないが、図４(B) の拡大した
スペクトルのようにアタック部近傍では４倍音までピー
クが現れている。なお、２倍音、３倍音、４倍音のピッ
チは基音の整数倍から高音側にシフトする傾向にある。

【００２３】そこで、この実施形態では、第１のＳＴＦ
分析Ｂにより、元波形データのピーク近傍すなわちアタ
ック部の近傍についてピーク軌跡を追跡し、追跡した軌
跡に対応する基音および倍音の周波数を得る。先ず、図
４(B) 上に丸印で示した４つのピーク点をピックアップ
し、そのピーク点から時間的に前（過去）および後（未
来）にピーク点の軌跡を追跡する。このピーク点の軌跡
の追跡処理は例えば次のような処理をする。最初にピッ
クアップしたピーク点の振幅データの値を中心に所定の
範囲を設け、その範囲内の振幅データを持つピーク点を
軌跡として選択する。そしてその中から最も大きな振幅
データを中心にして所定の範囲を設け、同様の処理を行
い、これを繰り返していく。

【００２４】図５は上記第１のＳＴＦ分析Ｂで得られた
ピーク点の軌跡の追跡の結果（「ＳＴＦデータ」とい
う。）を示す図であり、線状に現れている基音〜４倍音
までの軌跡が検出されている。そして、このＳＴＦデー
タの検出周波数から、次に説明する周波数マスクＣ処理
におけるフィルタの係数を決め、そのフィルタ係数を周
波数マスクＣに出力する。

【００２５】周波数マスク処理Ｃは、例えば図６に示し
たようなピークフィルターバンクを用い、それぞれのピ
ークフィルターの中心周波数はＳＴＦデータに含まれて
いる軌跡のデータから決定する。またバンド幅は基音の
周波数から決め、この実施形態では基音の１／８として
いる。そして、ＦＦＴ分析Ｄので元波形を全時間にわた
ってフーリエ解析処理を行い、このＦＦＴ分析Ｄの分析
結果である時系列な周波数スペクトルのデータに対して
周波数マスク処理Ｃでピークフィルターをかける。な
お、このピークフィルターをかける処理では、周波数ス
ペクトルに対してＦＦＴの各フレームタイム毎に図６の
振幅（最大値は１）を乗算する。

【００２６】上記のようにピークフィルターをかけた周
波数スペクトルに基づいてＩＦＦＴ処理Ｅにより逆フー
リエ変換し、図７に示した時間波形を二次波形として得
る。ここで、この図７の二次波形を図３の元波形から引
き算すると、図８のような残差波形が得られる。この残
差波形はノイズとアタック部のゴト音のみが残っている
はずであり、この図８の残差波形を再生し、もしピッチ
成分が聞こえるようであれば、第１のＳＴＦ分析Ｂをや
り直して同様の処理を行う。

【００２７】次に、図１において、エンベロープ抽出処
理Ｆにより図７の二次波形（時間波形）のエンベロープ
を抽出する。図９(A) は図７の二次波形のエンベロープ
を示し、図９(B) はその原点付近を時間方向に拡大して
示したものである。なお、実際のエンベロープは図９
(B) に破線で示したように楽音の発生時から立ち上がっ
てアタック時点に達し、その後減衰するが、この実施形
態では、最大振幅のアタック時点でエンベロープ値を１
とするとともに、図９(B) に実線で示したように波形の
最初からこのアタック時点までの部分を一定のエンベロ
ープ値１とし、アタック時点以降は波形のエンベロープ
そのままの形状としている。

【００２８】そして、ノーマライズ処理Ｇにより、この
エンベロープ値（図９(B) ）の逆数（逆エンベロープ
値）を図７の二次波形に乗算し、図１０のようなノーマ
ライズされた時間波形を得る。これにより、エンベロー
プに基づいて二次波形のレベルが補正されたことにな
る。なお、この実施形態のように、楽音の頭からアタッ
ク時点までの間（アタック部）は逆エンベロープ値が１
となっているので、補正してもアタック部の特徴をその
ま残すことができ、アタック部の微妙な音色を再現でき
る。

【００２９】次に、第２のＳＴＦ分析Ｈにより、図１０
のノーマライズされた時間波形に対してスペクトル軌跡
追跡法で周波数スペクトルのピーク軌跡を追跡し、追跡
した軌跡に対応する基音および倍音の周波数を得る。こ
こで、図１１はノーマライズされた時間波形に対してＦ
ＦＴ処理を施して得られたスペクトルのピーク点の分布
を示す図であり、先頭から略９２０ｍsec間のピーク点
の分布を示している。そして、この図１１のピーク点の
分布に対してピーク軌跡を追跡し、図１２のようなＳＴ
Ｆデータ（ピーク点の軌跡の追跡の結果得られる周波数
データ、振幅データおよび位相データ）が得られる。こ
の例では図示のように基音〜４倍音までの軌跡の追跡に
成功している。

【００３０】ここで、図１２のＳＴＦデータに基づいて
逆フーリエ変換して時間波形データを合成し、これにエ
ンベロープをかけるようにしてもよい。しかし、ループ
波形の読み出し区間の決定など、波形データの作成作業
を行う場合にはＳＴＦデータが必要なので、この実施形
態では、先ず、図１のエンベロープ付与処理Ｉにより、
ＳＴＦデータ領域、すなわち時間−周波数の領域（以
後、「ＳＴＦ領域」という。）でエンベロープをかける
処理を行い、図１３のようにエンベロープをかけたＳＴ
Ｆデータを得る。なお、３倍音は切れ切れのパートにな
ってしまっているが、数デシベル以下となり殆ど影響が
ない。なお、エンベロープをかけることによりピークの
振幅データ（レベル）が変化するが、この図１３図では
振幅データの変化は表されていない。

【００３１】そして、一方では、シンセサイズ処理Ｊに
より、このエンベロープをかけたＳＴＦデータに基づい
て逆フーリエ変換し、図１４のような時間波形を合成す
る。また、図１にインバータ記号および加算器記号で示
したように、この図１４の時間波形を図３の元波形から
引くと図１５のような残差波形が得られる。なお、この
図１５の残差波形データを再生して試聴してみた結果、
ピッチを持った成分は波形の最後まできれいに分離でき
ていることがわかった。

【００３２】以上のように、元波形をそのエンベロープ
で補正して、スペクトル軌跡追跡法で周波数スペクトル
のピーク軌跡を追跡するので、ピアノの高音域の楽音の
ようにアタック部から急激に減衰するような波形であっ
ても、ピーク軌跡を追跡することができる。

【００３３】以上の実施形態では、第１のＳＴＦ分析
Ｂ、周波数マスクＣ、ＩＦＦＴ処理により、元波形に対
して一旦フィルタ処理を施して二次波形を生成し、この
二次波形について、そのエンベロープで補正をかけてピ
ーク軌跡の追跡を行うようにしているが、フィルタ処理
をせずに、直接元波形に対してそのエンベロープで補正
して、ピーク軌跡を追跡するようにしてもよい。

【００３４】なお、実施形態では波形分析後に波形の合
成、楽音の発生等を行うようにしているが、本発明は波
形分析に関するものであり、波形の合成や楽音の発生等
の処理の有無に限定されるものではない。また、残差波
形データの生成もしなくてもよい。

【００３５】また、実施形態では、楽音波形分析プログ
ラムがプログラムメモリ２に予め記憶されている場合に
ついて説明したが、これに限らず次のようにしてもよ
い。例えば、ＣＤ−ＲＯＭに楽音波形分析プログラムを
記録しておき、ＣＤ−ＲＯＭ装置から楽音波形分析プロ
グラムをハードディスクにロードする。そして、ＣＰＵ
システム１が、このハードディスクの楽音波形分析プロ
グラムをＲＡＭ等に展開し、このＲＡＭのプログラムに
基づいて前記実施形態同様に楽音波形分析の動作を制御
する。これにより、プログラムメモリに楽音波形分析プ
ログラムを記憶している場合と同様の動作をＣＰＵにさ
せることができる。このようにすると、楽音波形分析プ
ログラムの新規インストールや追加あるいはバージョン
アップ等が容易に行える。また、フロッピディスク、磁
気ディスク（ＭＯ）等に楽音波形分析プログラムを記録
しておいて、ＲＡＭあるいはハードディスクに供給する
ようにしてもよい。

【００３６】また、ネットワークインターフェース７を
利用し、楽音波形分析プログラムをダウンロードするよ
うにしてもよい。この場、例えば、ＬＡＮ（ローカルエ
リアネットワーク）やインターネットあるいは電話回線
等のネットワーク９に接続し、該ネットワーク９を介し
て、サーバコンピュータから楽音波形分析プログラムの
配信を受けることにより、それをハードディスクに記録
してダウンロードが完了する。さらには、ネットワーク
を通じて楽音波形分析プログラムを実行するようにして
もよい。

【００３７】本発明は上記実施形態のようなパーソナル
コンピュータに限らず、各種電子楽器、音源装置、シー
ケンサ、エフェクタなど各種装置や、また、これらをＭ
ＩＤＩあるいは各種ネットワーク等の通信手段を用いて
各装置を接続するようなシステム等に、機能として、あ
るいはアプリケーションとして組み込むようにしてもよ
い。

【００３８】なお、以上の実施形態で説明したような楽
音波形分析プログラムが記録された媒体としては、ＲＯ
Ｍ、ＲＡＭ、ハードディスク、ＣＤ−ＲＯＭ、光磁気デ
ィスク、ＤＶＤ（デジタル多目的ディスク）あるいはネ
ットワークのサーバコンピュータなど配信先の記憶装置
がある。

【００３９】

【発明の効果】以上説明したように、本発明の請求項１
の楽音波形分析方法または請求項２の楽音分析装置によ
れば、二次波形は元波形よりも基音と倍音の周波数成分
のＳ／Ｎ比が良くなり、さらにこの二次波形のエンベロ
ープを抽出し、該エンベロープに基づいて二次波形のレ
ベルを補正し、該レベルを補正された二次波形を対象と
して周波数スペクトルのピークを追跡するので、減衰部
分についてもさらにピークの追跡精度が良くなる。

【００４０】また、本発明の請求項２楽音分析方法また
は請求項３の楽音分析装置によれば、二次波形は元波形
よりも基音と倍音の周波数成分のＳ／Ｎ比が良くなり、
さらにこの二次波形に対して請求項１と同様に周波数ス
ペクトルのピークを追跡するので、減衰部分についても
さらにピークの追跡精度が良くなる

【図面の簡単な説明】

【図１】本発明の実施形態における各種処理の流れを示
す機能ブロック図である。

【図２】実施形態における楽音波形分析装置のブロック
図である。

【図３】実施形態における分析対象楽音波形を示す図で
ある。

【図４】実施形態における元波形データの周波数スペク
トルのピーク点の分布を示す図である。

【図５】図４のピーク点の軌跡の追跡の結果（ＳＴＦデ
ータ）を示す図である。

【図６】実施形態における周波数マスク処理のピークフ
ィルターバンクの特性を示す図である。

【図７】実施形態における二次波形としての時間波形を
示す図である。

【図８】実施形態における二次波形を元波形から引き算
した残差波形を示す図である。

【図９】実施形態における二次波形のエンベロープを示
す図である。

【図１０】実施形態におけるノーマライズされた時間波
形を示す図である。

【図１１】実施形態におけるノーマライズされた時間波
形の周波数スペクトルのピーク点の分布を示す図であ
る。

【図１２】図１１のピーク点の軌跡の追跡の結果（ＳＴ
Ｆデータ）を示す図である。

【図１３】図１２のＳＴＦデータにエンベロープをかけ
たＳＴＦデータを示す図である。

【図１４】図１３のエンベロープをかけたＳＴＦデータ
から合成した時間波形を示す図である。

【図１５】図１４の時間波形を元波形から引き算した残
差波形を示す図である。

【図１６】実施形態における楽音波形分析プログラムの
要部のフローチャートである。

【符号の説明】

１…ＣＰＵ、２…プログラムメモリ、３…データメモ
リ、７…楽音合成部、Ｆ…エンベロープ抽出処理、Ｇ…
ノーマライズ処理

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 分析対象楽音の元波形を入力し、該元波形のピーク近傍を分析して基音と倍音の周波数を
   検出し、 前記元波形の時系列な周波数スペクトルに対して前記基
   音と倍音の周波数近傍を選択するフィルタ処理を行い、 該フィルタ処理された周波数スペクトルから二次波形を
   生成し、 該二次波形 のエンベロープを抽出し、 該エンベロープに基づいて前記二次波形のレベルを補正
   し、 該レベルを補正された二次波形を対象として周波数スペ
   クトルのピークを追跡し、 該ピークの追跡により得られた基音と倍音の近傍の周波
   数成分と前記エンベロープから合成波形を生成する こと
   を特徴とする楽音波形分析方法。
2. 【請求項２】 分析対象楽音の元波形を入力する波形入
   力手段と、 該元波形のピーク近傍を分析して基音と倍音の周波数を
   検出する周波数検出手段と、 前記元波形の時系列な周波数スペクトルに対して前記周
   波数検出手段で検出された基音と倍音の周波数近傍を選
   択するフィルタ処理手段と、 該フィルタ処理手段で選択された周波数スペクトルから
   二次波形を生成する二次波形生成手段と、該二次波形生成手段で生成された 二次波形のエンベロー
   プを抽出するエンベロープ抽出手段と、該エンベロープ抽出手段で抽出された エンベロープに基
   づいて前記二次波形のレベルを補正するレベル補正手段
   と、該レベル補正手段で レベルを補正された二次波形を対象
   として周波数スペクトルのピークを追跡して基音と倍音
   の近傍の周波数成分と前記エンベロープから合成波形を
   生成する合成波形生成手段と、 を備えた ことを特徴とする楽音波形分析装置。