JPH0659668A

JPH0659668A - リズム楽器の自動採譜装置

Info

Publication number: JPH0659668A
Application number: JP4211448A
Authority: JP
Inventors: Noriyuki Osuga; 典之大須賀
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 1992-08-07
Filing date: 1992-08-07
Publication date: 1994-03-04

Abstract

(57)【要約】【目的】音響解析結果のみから自動採譜を行うのでは
なく、リズム楽器は基本となるパターンの繰り返しによ
りリズムを取ることが多いという音楽知識を利用して、
採譜結果を修正し、より自然で精度の高い採譜結果を得
ることができるリズム楽器の自動採譜装置を提供するこ
と。【構成】音響解析結果をもとに自動採譜した結果か
ら、採譜パターン認識部が、ある一定区間ごとのリズム
楽器の音の並びのパターンを認識し、採譜パターン間距
離算出部が、リズム楽器のパターン間の類似度の尺度と
なる距離を算出し、採譜結果修正部が、パターン間の距
離があるしきい値以下の場合にそれらのパターンを持つ
区間を同じ採譜結果になるように修正する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、リズム楽器の自動採譜
装置に関するものである。

【０００２】

【従来の技術】従来、音楽信号から楽譜データを採譜す
る手法としては、経験を積んだ音楽家が独自の知識と感
性で判断して採譜する場合が多い。ところが、近年、コ
ンピュータ技術の進歩に伴い、コンピュータによる自動
採譜の試みが行われるようになってきた。現在では、単
一楽音で、且つ有音程楽器（例えばバイオリン、ピアノ
等）に対しては、実用的なレベルで、ある程度の成果が
得られている。

【０００３】

【発明が解決しようとする課題】しかしながら、ドラム
やパーカッション等のリズム楽器は音程や倍音周波数が
存在せず、また瞬時に音が減衰していくため、安定した
音響的特性が得られない。そのため、リズム楽器の自動
採譜に関しては、ほとんど満足がいく結果が得られてい
ないのが実状である。

【０００４】本発明は、上述した問題点を解決するため
になされたものであり、音響解析結果のみからリズム楽
器の自動採譜をするのではなく、音楽的知識を利用して
採譜結果を修正することにより、より自然で精度の高い
採譜結果を得ることが出来るリズム楽器の自動採譜装置
を提供することを目的としている。具体的には、リズム
楽器は基本となるパターンの繰り返しによりリズムを取
ることが多いという音楽知識を利用している。

【０００５】

【課題を解決するための手段】この目的を達成するため
に本発明のリズム楽器の自動採譜装置は、入力される音
楽信号を音響的に解析する音響解析手段と、その音響解
析手段の解析結果をもとに、リズム楽器が使用されてい
る時刻を判別する時刻判別手段と、前記音響解析手段の
解析結果をもとに、使用されているリズム楽器の種類を
判別する種類判別手段とを備え、更には前記音響解析手
段の解析結果をもとに自動採譜した結果から、ある一定
区間毎のリズム楽器の音の並びのパターンを認識するパ
ターン認識手段と、そのパターン認識手段により認識さ
れたリズム楽器の音の並びのパターン間の類似度の尺度
となる距離を算出する距離算出手段と、その距離算出
手段により算出されたパターン間の距離があるしきい値
以下の場合に、それらのパターンが存在する区間を同じ
採譜結果になるように修正する採譜結果修正手段とを備
えている。

【０００６】

【作用】上記の構成を有する本発明のリズム楽器の自動
採譜装置では、入力された音楽信号を音響解析手段が音
響的に解析し、音響的な特徴を得る。次に、時刻判別手
段が音響解析結果をもとにリズム楽器のなっている時刻
を判別する。判別された時刻において、種類判別手段が
音響解析結果をもとにリズム楽器の種類を判別する。そ
の後、パターン認識手段が、音響解析結果をもとに自動
採譜した結果を、ある一定区間ごとのリズム楽器の音の
並びのパターンとして認識する。距離算出手段がこれら
のパターン間の類似度を調べるため、リズム楽器のパタ
ーン間の類似度の尺度となる距離を算出する。そして最
後に、採譜結果修正手段が、パターン間の距離があるし
きい値以下の場合にそれらのパターンを持つ区間を同じ
採譜結果になるように修正して、それを最終的な自動採
譜結果とする。

【０００７】

【実施例】以下、本発明を具体化した一実施例を図面を
参照して説明する。

【０００８】本実施例は、入力された音楽信号からリズ
ム楽器を自動採譜し、音楽用標準インターフェイスであ
るＭＩＤＩコードを作成するリズム楽器自動採譜装置で
ある。

【０００９】まず、本実施例の構成を図１と図２を用い
て説明する。

【００１０】図１に全体の構成図を示す。マイクや音楽
テープ等の音楽信号入力部１０はＡ／Ｄ変換部１２に接
続され、Ａ／Ｄ変換部１２はフィルタ１４に接続されて
いる。Ａ／Ｄ変換部１２とフィルタ１４は本実施例の音
響解析手段である。フィルタ１４の出力が時刻判別手段
である時刻判別部１６と種類判別手段である種類判別部
１８に送られるように、フィルタ１４が時刻判別部１６
と種類判別部１８に接続されている。また、種類判別部
１８には時刻判別部１６の出力も送られるように、時刻
判別部１６が種類判別部１８に接続されている。時刻判
別部１６と種類判別部１８の出力がそれぞれ後処理部２
０に送られるように、時刻判別部１６と種類判別部１８
が後処理部２０に接続されている。後処理部２０はＭＩ
ＤＩコード作成部２２に接続されている。

【００１１】本発明の特徴である後処理部２０の内部の
構成図を図２に示す。パターン認識手段である採譜パタ
ーン認識部２４は採譜パターン頻度算出部２６に接続さ
れている。採譜パターン頻度算出部２６は距離算出手段
である採譜パターン間距離算出部２８に接続されてい
る。採譜パターン間距離算出部２８は採譜結果修正手段
である採譜結果修正部３０に接続されている。また、そ
れぞれが１曲分の採譜データにアクセス出来るように、
採譜パターン記憶部３２に接続されている。

【００１２】次に、本実施例の動作を図１と図２を用い
て説明する。

【００１３】音楽信号入力部１０から入力された音楽信
号は、Ａ／Ｄ変換部１２でアナログ信号からデジタル信
号に変換され、フィルタ１４で不必要な周波数帯が取り
除かれる。そして、そのデジタル信号は時刻判別部１６
と種類判別部１８に送られる。時刻判別部１６では音楽
信号のパワー等を利用して、リズム楽器がなっている時
刻を判別する。また、種類判別部１８では、時刻判別部
１６で判別された時刻における音楽信号の周波数特性や
波形形状を利用して、リズム楽器の種類を判別する。こ
のようにして採譜されたリズム楽器の発音時刻候補と種
類候補は後処理部２０に送られ、そこで後述する動作に
従って採譜結果の修正を施され、ＭＩＤＩコード作成部
２２で、ＭＩＤＩコードに変換される。

【００１４】後処理部２０での動作を図２を用いて説明
する。時刻判別部１６で判別された発音時刻候補と種類
判別部１８で判別された種類候補は、採譜パターン認識
部２４で１小節分の採譜結果を１つのパターンとして認
識される。認識された採譜パターンは採譜パターン記憶
部３２に記憶される。１曲分の採譜データが採譜パター
ン記憶部３２にたまった時点で、採譜パターン頻度算出
部２６が同じ採譜パターンがあるかどうかを調べ、採譜
パターンの頻度を算出する。その後、採譜パターン間距
離算出部２８がそれぞれのパターン間の距離を算出す
る。このパターン間の距離の算出法については、後にフ
ローチャートを用いて詳述する。全てのパターン間の距
離を算出した後、採譜結果修正部３０が距離がしきい値
以下のパターンを、実際には同じパターンで演奏されて
いるとみなし、同じパターンに修正する。この採譜結果
の修正法についても、後でフローチャートを用いて詳述
する。

【００１５】パターン間距離算出部２８における距離算
出法について、図３、及び図４のフローチャートを用い
て説明する。ドラムの採譜をした結果である採譜パター
ンの例を図６に示す。発音時刻は小節の開始時刻からの
規格化された時刻であり、４分音符の時間が４８になる
ように規格化されている。また、この採譜結果は４／４
小節の曲を採譜したものとする。即ち、１小節の規格化
された時間は、４８＊４＝１９２である。楽器種類のバ
スはバスドラム、スネアはスネアドラム、ロータムはロ
ータムドラムを表している。距離算出の例としてこのド
ラムの採譜結果を用いる。

【００１６】距離を求めるべきパターンをパターン１、
パターン２とする。まず、最初に変数を初期化する（Ｓ
１０）。ＳＮＤ１、ＳＮＤ２にパターン１、パターン２
の採譜結果数（音数）を代入し、Ｄに０、Ｌ１、Ｌ２に
１を代入する。Ｄはパターン１とパターン２の距離を代
入する変数。Ｌ１、Ｌ２はそれぞれパターン１、パター
ン２の中で、何番目の採譜結果に注目しているか、を表
す変数である。例として、図６のパターンＡをパターン
１、パターンＢをパターン２とすると、パターン１、パ
ターン２とも４つの採譜結果からなっているので、ＳＮ
Ｄ１＝４、ＳＮＤ２＝４である。次に、パターン１にＬ
１番目の採譜結果があるかどうか調べ（Ｓ１２）、あれ
ばパターン１のＬ１番目の採譜結果を取り出す（Ｓ１
４）。

【００１７】同じように、パターン２のＬ２番目の候補
があるかどうか調べ（Ｓ１６）、あればパターン２のＬ
２番目の採譜結果を取り出す（Ｓ１８）。例では、パタ
ーン１から［０、バス］、パターン２から［０、バス］
という採譜結果が取り出される。ここで、［発音時刻、
楽器種類］である。これらをそれぞれ、結果１、結果２
と呼ぶ。次に、結果１と結果２の音のなっているタイミ
ングを比較するために、発音時刻が同じかどうかを調べ
る（Ｓ２０）。同じならば、同じタイミングでなってい
るので、結果１と結果２の楽器種類を比較して、結果１
と結果２の距離を求める（Ｓ２２）。この距離は、楽器
種類が同じならば０である。違う場合は、あらかじめ定
められた楽器間のコスト（距離）を用いる。

【００１８】楽器間のコストとは、どの楽器とどの楽器
が自動採譜で間違えやすいか、というデータをあらかじ
め調べておき、間違えやすい楽器間のコストを小さく、
間違えにくい楽器間のコストを大きく設定したものであ
る。例では、図７に示すようにコストが、あらかじめ定
められているとする。脱落付加のコストとは、実際はド
ラムがなっていないところで、なんらかの採譜結果を出
力してしまったり、実際はドラムがなっているのに、何
も採譜結果を出力しなかったりした時のコストである。
また、図７より、バスとロータムのコストは１で、バス
とスネアのコストは３である。これは、バスとロータム
は自動採譜で間違えやすいが、バスとスネアは間違えに
くいことを表している。

【００１９】図６の例では、楽器種類はどちらもバスで
あり、結果１と結果２の距離は０である。この距離をＤ
１とする。そして、パターン間の距離Ｄに、いま調べた
採譜結果間の距離Ｄ１を加え、パターン１とパターン２
のそれぞれについて、注目する採譜結果を１つ後ろにず
らす。これは、Ｌ１とＬ２にそれぞれ１を加えることに
対応する（Ｓ２４）。例では、Ｄ＝０、Ｌ１＝２、Ｌ２
＝２となる。そして、Ｓ１２に戻り、同じように、パタ
ーン１とパターン２の次の採譜結果について、距離を求
めていく。

【００２０】Ｓ２０で、結果１と結果２の発音時刻が異
なる場合は、どちらかが、余計に採譜をしているので、
パターン間の距離Ｄに脱落付加のコストを加えて（Ｓ２
６）、どちらの発音時刻が早いかを調べる（Ｓ２８）。
結果１の方が早い場合は、パターン２はそのままで、パ
ターン１の注目する採譜結果のみを１つ後ろにずらす。
これはＬ２はそのままで、Ｌ１のみ１を加えることに対
応する（Ｓ３０）。同様に、結果２の方が早い場合は、
Ｌ１はそのままで、Ｌ２のみ１を加える（Ｓ３２）。そ
して、Ｓ１２に戻り、パターン１のＬ１番目の採譜結果
と、パターン２のＬ２番目の採譜結果の距離を求めてい
く。

【００２１】また、Ｓ１２で、パターン１から取り出す
べき採譜結果が残っていない場合（つまり、Ｌ１がＳＮ
Ｄ１より大きい場合）、パターン間の距離Ｄにパターン
２の残っている採譜結果の数だけ脱落付加のコストを加
える（Ｓ３４）。同様に、Ｓ１６でパターン２から取り
出すべき採譜結果が残っていない場合も、パターン間の
距離Ｄにパターン１の残っている採譜結果の数だけ脱落
付加のコストを加える（Ｓ３６）。Ｓ３４、またはＳ３
６の時点で、パターン１、パターン２とも、コストを計
算していない採譜結果はなくなる。しかし、この計算方
法では、パターン内に採譜結果が多ければ、それだけ、
パターン間距離も大きくなる可能性が高いので、最後
に、パターン内の採譜結果の数で、パターン間距離Ｄを
割る。実際には、パターン１とパターン２の採譜結果数
の平均を求め（これをＳとする）、パターン間距離Ｄを
Ｓで割って、最終的なパターン間距離Ｄとする（Ｓ３
８）。

【００２２】例では、パターン１とパターン２で楽器種
類が異なるのは、［９６、バス］と［９６、ロータム］
だけなので、図７より、バスとロータムのコスト１が、
Ｓ３８の直前でのパターン間距離Ｄになる。また、ＳＮ
Ｄ１＝４、ＳＮＤ＝４より、Ｓ＝４となり、最終的なパ
ターン間距離Ｄは、Ｄ＝１／４＝０．２５となる。すな
わち、パターンＡとパターンＢの距離は０．２５であ
る。同様に、パターンＡとパターンＣの距離を求めてみ
る。パターンＣの方が余計に１つ採譜結果があるので、
コストの合計は、脱落付加のコスト５になる。また、平
均採譜結果数は（４＋５）／２＝４．５なので、パター
ン間距離は、Ｄ＝５／４．５＝１．１１となる。同様
に、パターンＢとパターンＣの距離の合計を求めてみ
る。コストの合計が脱落付加のコスト５とバスとロータ
ムのコスト１の合計になるので、６である。また平均採
譜結果数は４．５なので、パターン間距離は、Ｄ＝６／
４．５＝１．３３となる。

【００２３】すなわち、図６のパターン間の距離は、パターンＡ、パターンＢ間の距離＝０．２５パターンＡ、パターンＣ間の距離＝１．１１パターンＢ、パターンＣ間の距離＝１．３３となる。

【００２４】次に、採譜結果修正部３０における、採譜
結果修正法について、図５のフローチャートを用いて詳
述する。

【００２５】１曲分の採譜結果に現われる採譜パターン
について、採譜パターン間距離算出部２８で、すべての
採譜パターンの組合せのパターン間距離を求めた後、パ
ターンの組合せを距離が小さい順に並べる（Ｓ５０）。
そして、距離が１番小さい組合せを取り出し（Ｓ５
２）、その距離をしきい値と比較する（Ｓ５４）。図６
の例では、パターンＡとパターンＢの組合せが距離が１
番小さい。例えば、しきい値が１に設定してあるとする
と、パターンＡ、パターンＢ間の距離は０．２５なの
で、しきい値よりも小さい。

【００２６】距離がしきい値よりも小さい場合は、どち
らかが既に統合されたパターンかどうか調べる（Ｓ５
６）。統合されたパターンかどうかを調べる手法につい
ては、後で記述する。どちらも統合されていないパター
ンの場合は、２つのパターンのうち頻度の大きいパター
ンをパターン１、頻度の小さいパターンをパターン２と
すると、パターン２をパターン１に統合する（Ｓ５
８）。統合するとは、同じパターンとみなすということ
であり、実際にはパターン１は変更せずに、パターン２
をパターン１と同じになるように変更する。これは、頻
度の大きいパターンは、１曲中に何度も採譜されたパタ
ーンであり、正解である可能性が高いため、このような
手法にしている。

【００２７】そして、パターン１の頻度を、パターン１
とパターン２の以前の頻度を加えたものに更新し、パタ
ーン２の頻度を０にする（Ｓ６０）。すなわち、Ｓ５６
で、どちらかが既に統合されたパターンかどうかを調べ
るには、どちらかのパターンの頻度が０であるかどうか
を調べればよい。頻度が０であれば、それは既に統合さ
れたパターンである。図６の例では、１曲の採譜結果中
にパターンＡが１０回、パターンＢが１回、パターンＣ
が５回現われたとすると、パターンＡの頻度は１０、パ
ターンＢは１、パターンＣは５である。Ｓ５６で、パタ
ーンＡとパターンＢを統合するとき、パターンＡの方が
頻度が大きいので、パターンＢをパターンＡと同じにな
るように変更する。すなわち、発音時刻９６のロータム
をバスに変更する。つまり、発音時刻９６のロータムを
自動採譜での判別誤りとみなし、バスに修正したことに
なる。パターンＢは頻度が小さいので、にたようなパタ
ーンで、頻度が大きいものがあれば、それと同じパター
ン（音楽的には同じリズムパターン）とみなすのは、妥
当である。そして、Ｓ６０の頻度の更新で、パターンＡ
の頻度を１０＋１＝１１にし、パターンＢの頻度を０に
する。

【００２８】そして、パターン間の組合せがまだ存在す
るかどうかを調べ（Ｓ６２）、あれば、次の組合せを取
り出し（Ｓ６４）、Ｓ５４に戻り距離としきい値の比較
をし、距離がしきい値より小さければ、上と同様にし
て、パターン間の統合の処理をする。組合せがもうなけ
れば、処理を終わる。また、Ｓ５４で、距離がしきい値
よりも大きい場合も、以降の組合せはすべて、しきい値
よりも距離が大きいため、その時点で処理を終わる。図
６の例では、Ｓ６４で次の組合せであるパターンＡとパ
ターンＣが取り出される。この距離は、１．１１である
ため、Ｓ５４で、距離がしきい値よりも大きく、その時
点で処理が終わる。すなわち、採譜結果の修正として
は、パターンＢのみであり、発音時刻９６のロータムを
バスに修正している。また、かりに別のパターン（パタ
ーンＤ）が存在し、パターンＢとパターンＤの距離が
０．５だとしても、Ｓ５６で、パターンＢは既に統合さ
れたパターン（頻度が０）であり、再び、パターンＢが
統合されることはない。これは、あるパターンを統合す
るときに、距離がしきい値以下のパターンがいくつかあ
っても、一番距離が小さいもの、すなわち、１番似通っ
たパターンに統合するためである。

【００２９】なお、本発明は、本実施例に限定されるも
のではない。例えば、採譜パターン認識部２４におい
て、１小節ごとに採譜パターンを認識するのではなく、
複数の小節を１つのパターンとして認識してもよい。ま
た、本実施例は、１曲分の採譜データがたまってから、
採譜パターンの頻度を算出し、パターン間距離を求め、
採譜結果の修正を行なっているが、リアルタイムに処理
をしたい場合は、１曲中のその時点までの採譜結果を用
いて頻度を算出し、採譜結果の修正をリアルタイムに行
なうことも可能である。この場合は、パターン間の距離
の算出は、新しいパターンが採譜された時点で、行なわ
れることになる。

【００３０】また、パターン間の距離の算出法について
も、種々の拡張が可能である。例えば、Ｓ２０で２つの
採譜結果の発音時刻が同じかどうかを調べているが、実
際には、時刻判別部１６で判別される時刻は必ずしも正
確なものではなく、多少のゆらぎを持っているのが普通
である。そこで、発音時刻が正確に一致するかどうかで
判断するのではなく、ある許容誤差以内の違いであれ
ば、同じタイミングで楽器がなっていると判断してもよ
い。さらに、採譜結果として、同じタイミングで複数の
楽器が採譜されることも考えられる。このときも、距離
の算出法を、１つの発音時刻に複数の楽器種類が存在し
てもいいように拡張することは可能である。また、音響
解析結果から採譜したときの確からしさを、採譜コスト
として、パターン間距離の算出に用いてもよい。

【００３１】採譜結果の修正法についても、いくつかの
変更が考えられる。本実施例では、パターン間距離が小
さい順にパターンの統合を試みたが、パターンの頻度が
小さいものから、パターンの統合を試みてもよい。ま
た、パターンの統合の時に、本実施例では、頻度が大き
いパターンと同一になるように統合したが、２つのパタ
ーンの採譜コスト等を参照して、お互いの確からしいと
ころをうまく組み合わせて、新たなパターンを作成して
もよい。その場合は、２つのパターンともその新たなパ
ターンに修正されることになる。

【００３２】

【発明の効果】以上説明したことから明かなように、本
発明のリズム楽器の自動採譜装置では、音響解析結果の
みからリズム楽器の自動採譜をするのではなく、リズム
楽器は基本となるパターンの繰り返しによりリズムを取
ることが多いという音楽知識を利用して、採譜結果を修
正している。それにより、より自然で精度の高い採譜結
果を得ることができるという効果がある。

【図面の簡単な説明】

【図１】本発明のリズム楽器の自動採譜装置の全体の構
成を示すブロック図である。

【図２】本発明の一実施例における後処理部の構成を示
すブロック図である。

【図３】本発明の一実施例における採譜パターン間の距
離を算出する手順を示したフローチャートである。

【図４】本発明の一実施例における採譜パターン間の距
離を算出する手順を示したフローチャートである。

【図５】本発明の一実施例における採譜パターン間距離
をもとに採譜結果を修正する手順を示したフローチャー
トである。

【図６】本発明の一実施例におけるドラムの自動採譜を
した結果である採譜パターンの例を示す図である。

【図７】本発明の一実施例における楽器間のコストの一
例を示す図である。

【符号の説明】

１０音楽信号入力部１２Ａ／Ｄ変換部１４フィルタ１６時刻判別部１８種類判別部２０後処理部２２ＭＩＤＩコード作成部２４採譜パターン認識部２６採譜パターン頻度算出部２８採譜パターン間距離算出部３０採譜結果修正部３２採譜パターン記憶部

Claims

【特許請求の範囲】

【請求項１】入力される音楽信号を音響的に解析する
音響解析手段と、その音響解析手段の解析結果をもとに、リズム楽器が使
用されている時刻を判別する時刻判別手段と、前記音響解析手段の解析結果をもとに、使用されている
リズム楽器の種類を判別する種類判別手段とを備えるリ
ズム楽器の自動採譜装置において、前記音響解析手段の解析結果をもとに自動採譜した結果
から、ある一定区間毎のリズム楽器の音の並びのパター
ンを認識するパターン認識手段と、そのパターン認識手段により認識されたリズム楽器の音
の並びのパターン間の類似度の尺度となる距離を算出す
る距離算出手段と、その距離算出手段により算出されたパターン間の距離が
あるしきい値以下の場合に、それらのパターンが存在す
る区間を同じ採譜結果になるように修正する採譜結果修
正手段とを備えたことを特徴とするリズム楽器の自動採
譜装置。