JPH05333857A - 自動採譜装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、適応信号処理の手法により、専門
家による聞き取りの作業をなくし、計算機による打楽器
の打撃時刻の抽出と識別を自動的に行い、なおかつ、実
時間的処理を実現することのできる自動採譜装置を提供
することを目的としている。 【構成】 音楽信号を高周波数によってサンプリングし
たデジタル信号について高域通過フィルタを通過させ、
高域通過フィルタの出力を入力とする適応信号処理によ
る打楽器の打撃時刻を抽出し、抽出した打撃時刻を起点
として信号の前向きと後向き振幅パワーを計算して、信
号の前向きと後向き振幅パワーの比較に基づいて打楽器
かどうか判別し、判別された打撃時刻及び信号の前向き
振幅パワーの平均値を求めて、この平均値をしきい値と
する打楽器の識別を行なう。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、自動採譜装置に関する
ものである。

【０００２】

【従来の技術】従来、打楽器の打撃時刻の抽出は、音楽
専門家が長年訓練を積んだ知識によって行なわれてい
る。

【０００３】最近、デジタル信号処理技術の進歩に伴
い、計算機による自動抽出の試みが行なわれるようにな
ってきた。特願平３−３０５０３１号及び特願平４−３
７９０５号の出願においては、適応ラテイスフィルタと
正規化した適応ラテイスフィルタを用いた自動採譜分析
装置を提案した。特願平３−３０５０３１号の出願は、
音楽信号を適応ラテイスフィルタの入力とし、その出力
を打楽器打撃時刻候補とし、さらに、打撃時刻候補を幾
つかの部分区間に分けて、しきい値処理によって打撃時
刻決定候補を選択し、さらに、各局所的な区間における
最も大きな値を持つ打撃時刻決定候補を打楽器の打撃時
刻として抽出するものである。また、前記特願平４−３
７９０５号の出願は、上記の適応ラテイスフィルタに対
して、その計算結果を分散的に正規化するものである。

【０００４】

【発明が解決しようとする課題】しかしながら、打楽器
の演奏では、単一の打楽器が叩かれるだけでなく、複数
の打楽器が同時に叩かれることもある。これは、ドラム
の楽譜を見れば判るように、曲の各小節にバス・ドラム
のみが叩かれることもあるし、バス・ドラムとハイ・ハ
ットが同時に叩かれることもある。

【０００５】複数の打楽器が同時に叩かれる場合には、
音響の小さい打楽器が音響の大きい打楽器に吸収され
て、音響の大きい打楽器しか聞こえなくなる。このよう
な打楽器の識別に対しては、音楽専門家が豊富な知識を
持っていても、繰り返し聞き取りの作業に、長い時間が
かかったり、音響の小さい打楽器を聞き取るのは極めて
困難である。そこで、計算機による打楽器の打撃時刻を
自動的に抽出するシステム、あるいは専門家でなくても
抽出作業を行なうことのできる支援システムの開発が求
められている。

【０００６】一方、単一打楽器の発音の方法は、衝撃に
よる発音であるから、時間的変化は大体において複雑で
ある。また、信号処理の観点から見れば、衝撃を受けた
信号は、瞬間的な振動の時期を挟んで、一つの安定の分
布からもう一つの安定の分布に落ち着くという過程であ
るが、前記特願平３−３０５０３１号及び特願平４−３
７９０５号の出願で提案した適応ラテイスフィルタを用
いた自動採譜分析装置では、打楽器の打撃時刻を正確に
抽出することが可能である。しかし、複数の打楽器が同
時に叩かれる場合には、振幅の小さい打楽器が振幅の大
きい打楽器に吸収されて見えなくなり、前記特願平３−
３０５０３１号及び特願平４−３７９０５号の出願で提
案した適応ラテイスフィルタを用いた自動採譜分析装置
を複数の打楽器の信号に適用しても、振幅の大きい打楽
器の打撃時刻しか抽出できない。

【０００７】本発明は、上述した問題点を解決するため
になされたものであり、高域通過フィルタを用いて複数
の打楽器を分離し、高周波数領域における振幅の小さい
打楽器の打撃時刻の抽出及び打楽器の識別を行なうもの
である。これは、適応信号処理の手法により、人手によ
る聞き取りの作業をなくし、計算機による打楽器の打撃
時刻の抽出とその種類の識別を自動的に行い、なおか
つ、実時間的処理を実現することのできる自動採譜装置
を提供することを目的としている。

【０００８】

【課題を解決するための手段】この目的を達成するため
に本発明の自動採譜装置は、音楽信号を高周波数によっ
てサンプリングしたデジタル信号が高域通過フィルタを
通過させる前処理部と、上記の高域通過フィルタの出力
を入力とする適応信号処理による打楽器の打撃時刻の抽
出部と、抽出した打撃時刻を起点として信号の前向きと
後向き振幅パワーを計算する音楽信号パワー計算部と、
信号の前向きと後向き振幅パワーの比較に基づいて打楽
器かどうか判別する打楽器判別部と、判別された信号の
前向き振幅パワーの平均値を求めて、この平均値をしき
い値とする打楽器の識別を行なう打楽器種類判定部とを
備えている。

【０００９】

【作用】上記の構成を有する本発明の自動採譜装置で
は、音楽信号を高周波数によってサンプリングしたデジ
タル信号が高域通過フィルタを通過させ、高域通過フィ
ルタの出力を入力とする適応信号処理による打楽器の打
撃時刻を抽出し、抽出した打撃時刻を起点として信号の
前向きと後向き振幅パワーを計算して、信号の前向きと
後向き振幅パワーの比較に基づいて打楽器かどうか判別
して、判別された信号の前向き振幅パワーの平均値を求
めて、この平均値をしきい値とする打楽器種類の識別を
行なう。

【００１０】

【実施例】以下、本発明を具体化した一実施例を図面を
参照して説明する。

【００１１】最初に図１を用いて音楽源から打楽器ＭＩ
ＤＩ（音楽用標準インタフュース）データの作成及びシ
ンセサイザーの合成までの全体の構成を説明する。図１
において、音楽源１０２に接続された高周波数をもつＡ
／Ｄコンバータ１０４は、高域通過フィルタ１０６によ
って処理の対象となるデジタル音楽信号x(n)１０８を生
成する。生成されたデジタル音楽信号x(n)１０８は打楽
器打撃時刻の抽出部１１０と打楽器の識別部１１２にそ
れぞれ入力され、打楽器の打撃時刻の抽出と打楽器種類
の識別を行う。さらに、抽出した打楽器の打撃時刻と識
別した打楽器の種類は、打楽器のＭＩＤＩ作成部１１４
に入力され、打楽器のＭＩＤＩデータが作成される。最
後に、作成したＭＩＤＩをシンセサイザー１１６に入力
し、音楽源に含まれる打楽器音を合成する。

【００１２】図２は図１における打楽器識別部１１２の
詳細であり、それは本発明を具体化したものである。図
２において、打楽器打撃時刻抽出部１１０の出力及び高
域通過フィルタ１０６によって処理したデジタル音楽信
号x(n)を正規化する２０２の出力を音楽信号パワー計算
部２０４に入力し、信号x(n)の前向きと後ろ向き振幅パ
ワーを求める。打楽器判別部２０６では、上記の信号x
(n)の前向き振幅パワーと後向き振幅パワーに基づいて
打楽器かどうかを判別する。打楽器種類判定部２０８で
は、判別された打楽器の前向きパワーの平均値を求めて
これによる打楽器の識別を行なう。図２の出力となる打
楽器の種類は最終的に、図１における打楽器の打撃時刻
抽出部１１０の出力と打楽器ＭＩＤＩの作成部１１４の
入力とする。

【００１３】図６(a)は実際のデジタル音楽信号x(n)で
ある。これは、図１における音楽源１０２、接続された
Ａ／Ｄコンバータ１０４及び高域通過フィルタ１０６に
よって生成されたデジタル音楽信号x(n)１０８である。
この図から判るように、打楽器の種類によってその信号
の振幅が異なるということである。

【００１４】図６(b)は、デジタル音楽信号x(n)１０８
を図１における打楽器打撃時刻の抽出部１１０に入力
し、その出力を示したものである。この抽出した打楽器
打撃時刻から判るように、打楽器の打撃時刻に大きなピ
ッチと小さいピッチが表わされている。また、その他の
部分にも他の楽器及びノイズ等の影響によって小さなピ
ッチが出ている。このような影響を除くことができなけ
れば、打楽器の誤識別を生じて認識率の向上が困難であ
る。図６(b)においては、ノイズ６０２とノイズ６０４
に対応する図６(a)の信号の振幅がかなり違う。という
のは、ノイズ６０２はその対応する信号の振幅は打楽器
の振幅に比べて極めて小さくて、簡単なしきい値処理に
よってそれの影響を除くことができるが、ノイズ６０４
はそれに対応する信号の振幅は打楽器の振幅に比べても
あまり変わらないことである。従って、図６(c)に示す
ように、単純なしきい値処理によっては、ノイズ６０２
を除去することができるが、ノイズ６０４に対しては別
の工夫が必要とされる。

【００１５】図６(a)に示す打楽器の信号から判るよう
に、打楽器信号の振幅は時間と共に指数的に減衰してい
くという現象を持ち、その種類によっては、打撃時刻に
おける振幅の大きさと時間と共に指数的に減衰していく
速度が各々異なるものである。上述の事実に基づいて
は、ノイズ６０４のようなピッチを除去することができ
る。すなわち、打楽器の振幅が時間と共に減衰していく
ことによっては、実際の打楽器は、打楽器の打撃時刻か
ら一定の時間間隔における前向き（打撃時刻の右側）振
幅のパワーが同じ時間間隔の後向き（打撃時刻の左側）
振幅のパワーより大きいということが明かである。これ
に対して、ノイズ６０４の場合には、上述した事実が存
在しないことが図６(a)から判る。

【００１６】図３は図２の音楽信号パワー計算部２０４
についての説明図である。矢印の方法は時間軸であり、
二つの三角形は打楽器の振幅の輪郭線を、Ｌ１とＬ２は
打楽器の減衰時間を図示したものである。前向き振幅の
パワーは、時間軸の正の方向に沿って打撃時刻より一定
時間間隔（一般にＬ１とＬ２との和の２分の１にする）
における信号振幅の絶対値の平均値とし、後ろ向き振幅
のパワーは、時間軸の負の方向に沿って同じ時間間隔に
おける信号振幅の絶対値の平均値とする。続いては、こ
れらの前向き振幅パワーと後向き振幅パワーを図２の打
楽器判別部２０６に入力し、打楽器かどうか判断する。

【００１７】図４は図２の打楽器判別部２０６について
の動作のフローチャートを示したものである。図中のス
テップＳ１では、抽出した打撃時刻を数えるカウンタk
を初期化し、前向き振幅パワーP(k)を入力する。ステッ
プＳ２は加算器であり、カウンタkを１ずつ加えるもの
である。ステップＳ３は、カウンタｋがフレームＮを越
えたかどうか判断するものである。フレームＮの内にあ
る場合には、ステップＳ４では前向き振幅パワーに対し
て指定したしきい値によってしきい値処理を行ない、し
きい値より小さい場合にステップＳ６でP(k)＝0にし、
ステップＳ２に戻る。そうではない場合にはステップＳ
５に入る。ステップＳ５では、前向き振幅パワーP(k)が
それに対応する後ろ向き振幅パワーに比較して、後ろ向
き振幅パワーより小さいとP(k)＝0にし、ステップＳ２
に戻る。そうでないとそのままステップＳ２に戻る。フ
レームＮを越えた場合には、全体の計算を終了させて、
判別した打楽器を図２の打楽器種類判定部２０８に入力
する。

【００１８】図６(d)には図６(c)の打楽器振幅パワーに
対して上記の打楽器判別部によって抽出した打楽器の打
撃時刻を示した。この結果より、本実施例の手法は打楽
器の打撃時刻の抽出に非常に有効であることが判る。

【００１９】図５は図２の打楽器種類判定部２０８につ
いての動作のフローチャートを示したものである。ステ
ップＳ７では、打楽器判別部２０６の結果を受け取っ
て、ステップＳ８では、非零の打楽器振幅のパワーに対
しその平均値VPを計算し、ステップＳ９では、平均値VP
と指定した定数Dとの乗算をし、しきい値Ｍを求める。
ステップＳ１０ではしきい値処理を行なう。すなわち、
ここでは、しきい値Ｍより小さい場合に打楽器１として
図１のMIDI作成部１１４に入力し、逆の場合に打楽器２
として図１のMIDI作成部１１４に入力する。

【００２０】なお、上記の実施例において、高周波数領
域における振幅の小さい打楽器の打撃時刻を逐次的に抽
出とその識別を説明したが、図１に示した装置によって
は、一般の領域にも実現することが可能である。

【００２１】

【発明の効果】以上説明したことから明かなように、本
発明の自動採譜装置では、複数の打楽器が同時に叩かれ
る場合には、音楽信号を高周波数によってサンプリング
したデジタル信号が高域通過フィルタを通過させ、高域
通過フィルタの出力を入力とする適応信号処理による打
楽器の打撃時刻を抽出し、抽出した打撃時刻を起点とし
て前向きと後向きの信号の振幅パワーを計算して、信号
のパワー及び前向きと後向きパワーの比較に基づいて打
楽器かどうか判別して、判別された打撃時刻及び前向き
信号パワーの平均値を求めて、この平均値をしきい値と
することにより、自動的に打楽器種類の識別を行なうこ
とが可能となった。

【図面の簡単な説明】

【図１】図１は本発明の自動採譜装置の構成を示した図
である。

【図２】図２は打楽器を識別するための識別部の全体の
構成を示した図である。

【図３】図３は打楽器振幅の時間的変化を示す図であ
る。

【図４】図４は打楽器判別部についての動作のフローチ
ャートを示す図である。

【図５】図５は打楽器種類判定部についての動作のフロ
ーチャートを示す図である。

【図６】図６は実際の音楽信号に対する処理結果を示す
図である。

【符号の説明】

１０２ 音楽源 １０４ Ａ／Ｄコンバータ １０６ 高域通過フィルタ １０８ デジタル音楽信号 １１０ 打楽器打撃時刻抽出部 １１２ 打楽器識別部 １１４ 打楽器ＭＩＤＩの作成部 １１６ シンセサイザー ２０２ 信号に対する正規化部 ２０４ 音楽信号パワー計算部 ２０６ 打楽器判別部 ２０８ 打楽器種類判定部

Claims (1)

【特許請求の範囲】
1. 【請求項１】 前処理した音楽信号を適応ラテイスフィ
   ルタの入力とし、その出力を打楽器打撃時刻候補とし、
   さらに、打撃時刻候補を幾つかの部分区間に分けて、し
   きい値処理によって打撃時刻決定候補を選択し、さら
   に、各局所的な区間における最も大きな値を持つ打撃時
   刻決定候補を打楽器の打撃時刻として抽出する自動採譜
   分析装置において、 音楽信号を高周波数によってサンプリングしたデジタル
   信号について高域通過フィルタを通過させる前処理部
   と、 上記の自動採譜分析装置によって抽出した打撃時刻を起
   点として信号の前向きと後向き振幅パワーを計算する音
   楽信号パワー計算部と、 信号の前向きと後向き振幅パワーの比較により打楽器か
   どうか判別する打楽器判別部と、 判別された信号の前向き振幅パワーの平均値を求めて、
   この平均値をしきい値とする打楽器の識別を行なう打楽
   器種類判定部とを備えていることを特徴とする自動採譜
   装置。