JPH0675562A

JPH0675562A - 自動採譜装置

Info

Publication number: JPH0675562A
Application number: JP4229925A
Authority: JP
Inventors: Chiyuuki Kiyuu; 中奇邱
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 1992-08-28
Filing date: 1992-08-28
Publication date: 1994-03-18

Abstract

(57)【要約】【目的】計算機により、低周波数領域に特徴を持つ打
楽器の打撃時刻の抽出及びその種類の識別を自動的に行
い、実時間的処理を実現することのできる自動採譜装置
を提供すること。【構成】低域通過フイルタを通過したデジタル音楽信
号をＡＲモデルによってモデリングし、適応手法により
ＡＲモデル係数を推定して、その時間−周波数スペクト
ルを計算する。この時間−周波数スペクトルにおける最
大パワーを持つピッチの時刻と打楽器の標準パターンの
周波数特性によりマッチング範囲を決めて、実際のパタ
ーンと標準パターンとの類似度をパターンマッチングに
より計算する。最後に、類似度系列に対しその最小値を
抽出して、誤識別を防止するためのしきい値処理により
打楽器の種類の識別を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、自動採譜装置に関する
ものである。

【０００２】

【従来の技術】従来、音源から出される打楽器音を識別
し、それを採譜する作業は、音楽専門家が長年訓練を積
んだ知識に基いて、繰り返し作業により行われていた。

【０００３】近年、デジタル信号処理技術の進歩に伴
い、計算機による自動採譜の試みが行なわれるようにな
ってきたが、現在では単一楽音で、且つ有音程楽器（例
えばバイオリン、ピアノ等）に対しては、相当な実用的
なレベルまで成果が得られている。そして、上記有音程
楽器の自動採譜を行うための分析手法としては、一般的
に高速フーリエ変換法が用いられていた。しかし、打楽
器の音は、一般に他の音程を持つ楽器音に比べて、立ち
上がり時の振幅変化が急激であり、また、明確な倍音構
造を持たず連続スペクトルを多く含むような特徴を持っ
ている。

【０００４】また、打楽器の音色は、打楽器自体の状態
と演奏の状態という二つの要素によって決定されるもの
と考えられることができる。打楽器自体の状態とは、打
楽器の材質、構造、膜のある打楽器では膜の張り方等を
指し、これらは音に対してピッチや、生じるスペクトル
成分の種類等に強く影響を与えると考えられる。また、
演奏の状態とは、叩くものの材質、叩く強さ、叩き方等
を指し、スペクトルの時間変化、スペクトル成分の分
布、振幅の時間変化等に強く影響を与えると考えられ
る。それで、このような特徴より、打楽器音の分析に一
般的に用いられている高速フーリエ法は、時間領域、周
波数領域と共に高い分解能が必要となり、打楽器の分析
には適した方法とは言えない。

【０００５】また、本出願人は特願平3ー305031号の出願
に添付される明細書および図面においては、適応ラテイ
スフィルタを用いた打楽器の打撃時刻を自動的に抽出す
る手法を提案した。これは音楽信号を適応ラテイスフィ
ルタの入力とし、その出力を打楽器打撃時刻候補とし、
さらに打撃時刻候補を幾つかの部分区間に分けて、しき
い値処理によって打撃時刻決定候補を選択し、各局所的
な区間における最も大きな値を持つ打撃時刻決定候補を
打楽器の打撃時刻として抽出するものである。しかし、
特願平3ー305031号の出願では、打楽器の打撃時刻を自動
的に抽出する手法に限っており、打楽器の種類の識別に
ついては言及していない。

【０００６】

【発明が解決しようとする課題】しかしながら、上述し
たような人手作業による打楽器の識別では、音楽専門家
が豊富な知識を持っていても、繰り返し聞き取りの作業
に、長い時間がかかったり、音響の小さい打楽器を聞き
取りにくい時もある。そこで、計算機による打楽器を自
動的に識別するシステム、あるいは専門家でなくても識
別作業を行なうことのできる支援システムの開発が求め
られている。

【０００７】本発明は、上述した問題点を解決するため
になされたものであり、立ち上がりが急激で低周波数領
域に特徴を持つ打楽器の分析及び識別に、適応信号処理
手法を利用し、適応信号処理の手法により、人手による
聞き取りの作業をなくし、また従来の手法（高速フーリ
エ法など）によって処理しにくい打楽器の時変特性を抽
出することができ、計算機による打楽器の打撃時刻の抽
出及びその種類の識別を自動的に行い、かつ実時間的処
理を実現することのできる自動採譜装置を提供すること
を目的としている。

【０００８】

【課題を解決するための手段】この目的を達成するため
に本発明の自動採譜装置は、低域通過フィルタを通過す
る音楽信号に対して、その直流成分を除去する前処理部
と、その前処理部で処理した信号をＡＲモデルによって
モデリングし、ＲＬＳ適応アルゴリズムによるＡＲモデ
ル係数を推定してＡＲモデル係数列を作成するＡＲモデ
ル係数列推定部と、そのＡＲモデル係数列推定部により
推定されたＡＲモデル係数列を入力とし、打楽器信号の
３次元スペクトルを計算する時間−周波数スペクトル計
算部と、その時間−周波数スペクトル計算部により計算
された打楽器信号の３次元スペクトルから最大パワーを
持つピッチの時刻を抽出する抽出部と、既知の打楽器に
対しその特性を分析し、その標準パターンを決定する標
準パターン決定部と、その標準パターン決定部により決
定された打楽器の標準パターンを蓄積する標準パターン
格納部と、前記抽出部により抽出された最大パワーを持
つピッチの時刻と、前記標準パターン格納部に格納され
た打楽器の標準パターンの周波数特性により、時間−周
波数スペクトル上のマッチング範囲を決めて、実際のパ
ターンと標準パターンとの類似度をパターンマッチング
により計算する類似度計算部と、その類似度計算部の計
算結果からその最小値を抽出して、誤識別を防止するた
めのしきい値処理により打楽器の種類を判定する打楽器
種類判定部とを備えている。

【０００９】

【作用】上記の構成を有する本発明の自動採譜装置で
は、低域通過フィルタを通過するデジタル音楽信号に対
して、その平均値との差分により直流成分を除去する信
号をＡＲモデルによってモデリングし、ＲＬＳ適応アル
ゴリズムによるＡＲモデル係数を推定し、ＡＲモデル係
数列を作成する。そして、上記のＡＲモデル係数列を入
力として打楽器信号の時間−周波数スペクトルを計算
し、この時間−周波数スペクトルに対する最大パワーを
持つピッチの時刻を検出する。さらに、最大パワーを持
つピッチの時刻と打楽器の標準パターンの周波数特性に
より、時間−周波数スペクトル上のマッチング範囲を決
めて、実際のパターンと標準パターンとの類似度をパタ
ーンマッチングにより計算する。最後に、類似度系列に
対しその最小値を抽出して、誤識別を防止するためのし
きい値処理により打楽器の種類を判定する。

【００１０】

【実施例】以下、本発明を具体化した一実施例を図面を
参照して説明する。

【００１１】図１には、音楽源から打楽器ＭＩＤＩ（音
楽用標準インタフェース）データの作成及びシンセサイ
ザーの合成までの全体の構成を示したブロック図を示
す。図１において、音楽源１０２に接続されたＡ／Ｄコ
ンバータ１０４は、前処理部１０６においては、微分フ
ィルタによって直流成分を除去したデジタル音楽信号x
(n)１０８を生成する。生成されたデジタル音楽信号x
(n)１０８は打楽器打撃時刻の抽出部１１０と打楽器の
識別部１１２にそれぞれ入力され、打楽器の打撃時刻の
抽出と打楽器種類の識別を行う。さらに、抽出した打楽
器の打撃時刻と識別した打楽器の種類は、打楽器のＭＩ
ＤＩ作成部１１４に入力され、打楽器のＭＩＤＩデータ
が作成される。最後に、作成したＭＩＤＩをシンセサイ
ザー１１６に入力し、音楽源に含まれる打楽器音を合成
する。

【００１２】低い周波数を持つ打楽器の音源信号に対
し、一般に音声処理に用いられているサンプリング周波
数（12kHz）によってサンプリングし、ＡＲモデルの次
数が限定されるパワースペクトルを求めると、打楽器の
特徴を表わす周波数ピッチがかなり低いので、殆ど周波
数ゼロに集中してしまって、特徴を抽出することが困難
であると考えられる。

【００１３】図５は図１における前処理部１０６の動作
を示したフローチャート図であり、これは、特徴の周波
数が低い領域に集中する打楽器をより良く抽出・区別す
るためになされたものである。すなわち、ステップ５１
では、デジタル音楽信号が低域通過フィルタを通過する
ことにより、低い周波数領域における成分のみを抽出す
る。ステップ５２では、通過した低い周波数を持つ信号
に合わせて再サンプリングする。ステップ５３では上記
の信号に対し分析する区間における信号の平均値を求め
て、ステップ５４では上記の平均値を用いて信号との差
分により直流成分を除去する。

【００１４】図２は図１における打楽器識別部１１２の
構成を示したブロック図であり、本発明を具体化したも
のである。図２において、図１の打楽器打撃時刻抽出部
１１０の出力及び前処理部１０６によって処理したデジ
タル音楽信号x(n)をＡＲモデル係数列推定部２０２に入
力し、打撃時刻を起点とする打楽器信号をＡＲモデルに
よってモデリングしそのＡＲモデル係数列を求めて、蓄
積メモリ２０８に保存する。時間−周波数スペクトル計
算部２０４では、上記のＡＲモデル係数列を取り込み、
時間−周波数パワースペクトルを計算して、蓄積メモリ
２０８に保存する。最大パワーを持つピッチ時刻検出部
２０６では、蓄積メモリ２０８より時間−周波数行列を
読み込み、これに対し時間軸と周波数軸からなる平面上
の最大値をもつパワーを抽出し、この最大パワーに対応
する時刻の検出を行なう。

【００１５】パターンマッチングによる類似度計算部２
１０では、上記の最大パワーを持つピッチの時刻と打楽
器の標準パターンの周波数特性により、時間−周波数ス
ペクトル上のマッチング範囲を決めて、実際のパターン
と標準パターンとの類似度をパターンマッチングにより
計算する。標準パターン決定部２１６では、標準打楽器
（例えば、ドラムマシンのデータ）に対し、それぞれの
時間−周波数パワースペクトルを求めて、標準パターン
格納部２１４に蓄積する。打楽器種類判定部２１２で
は、パターンマッチングによる類似度計算部２１０の出
力となる類似度系列に対し、その最小値を抽出して、誤
識別を防止するためのしきい値処理による打楽器の種類
を判定し、図１における打楽器の打撃時刻抽出部１１０
の出力と共に打楽器ＭＩＤＩの作成部１１４の入力とす
る。

【００１６】図３は実際のデジタル音楽信号x(n)に対
し、ＡＲモデルによってモデリングし、ＡＲモデル係数
w_in３０８をＲＬＳ適応アルゴリズム３０４によって逐
次的に推定する原理図である。図３の信号x(n)は低域通
過フイルタを通過したデジタル音楽信号であり、信号e
(n)はx(n)とy(n)＝w_1nx(n-1)＋w_2nx(n-2)＋・・・・・・・w
_mnx(n-m)の差で定義される予測誤差である。記号ｚ^ー1３
０２は遅れ要素を表し、すなわち、入力信号x(n)をそれ
ぞれ１サンプル遅延させるものである。図３の加算器３
０６は、信号x(n)の遅延値とＡＲモデル係数との積w_1nx
(n-1)，w_2nx(n-2)，・・・，w_mnx(n-m)が入力信号x(n)から
差し引かれ、予測誤差e(n)を生成するものである。全体
の動作は、音楽信号x(n)を望みの応答として、予測誤差
e(n)=x(n)-y(n)をある意味で最小とするように、ＲＬＳ
適応アルゴリズムによりＡＲモデルの係数を調整するこ
とである。ＡＲモデルの次数をｍとするとき、信号x(n)
の予測値ｙ(n)は図３から判るように次式で与えられ
る。

【００１７】ｙ(n)＝w_1nx(n-1)＋w_2nx(n-2)＋・・・ w_mnx(n-m) (1) ここに、w_in(1≦i≦m)は時刻ｎにおけるＡＲモデルの係
数を表す。

【００１８】式(1)のベクトル表現は次式で与えられ
る。

【００１９】ｙ(n)＝ｗ^T(n)ｘ(n) (2) ここに、“^T”は行列及びベクトルの転置を表わし、列
ベクトルｘ(n)およびｗ(n)は次式で与えられる。

【００２０】ｘ(n)＝［x(n-1) x(n-2)・・・ x(n-m)］^T ｗ(n)＝［w_1n w_2n ・・・・ w_mn ］^T 図３より、予測誤差e(n)は次式で与えられる。

【００２１】e(n)＝ｘ(n)−ｙ(n) ＝ｘ(n)−ｘ^T(n)ｗ(nー1) (3) ＲＬＳ適応アルゴリズム３０４では、以下の手続きによ
りＡＲモデルの係数が更新される。

【００２２】ＲＬＳ適応アルゴリズム次の初期条件：指定整数ｃ単位行列Ｉ相関行列 Φ(0)＝ｃＩ相関行列の逆行列Ｐ＝ｃ^-1Ｉ係数ベクトルｗ(0)＝0 ＡＲモデルの次数ｍ忘却係数０＜λ≦１打楽器の打撃時刻ＤＳ推定区間Ｌで出発し、以下のように進む (1) ｎ＝ＤＳとする。

【００２３】(2) ゲインベクトルを計算する。

【００２４】

【数１】

【００２５】(3) 予測誤差を計算する。

【００２６】 e(n)＝ｘ(n)−ｙ(n)＝ｘ(n)−ｘ^T(n)ｗ(nー1) (4) 係数ベクトルの推定値を計算する。

【００２７】ｗ(n)＝ｗ(nー1)＋ｋ(n)e(n) (5) 相関行列を更新する。

【００２８】Ｐ(n)＝λ^ー1（Ｐ(n-1)−ｋ(n)ｘ^T(n)Ｐ(n-1)） (6) ｎがＤＳ＋Ｌより小さい時、ｎ＝ｎ＋１としてス
テップ２に戻り、手続きを繰り返す。ｎがＤＳ＋Ｌより
大きい場合、推定を終了させる。

【００２９】上記のＲＬＳ適応アルゴリズムにおけるパ
ラメータλは通常、忘却係数と呼ばれており、0＜λ≦1
の性質を持つ。忘却係数λを用いるのは、適応アルゴリ
ズムが非定常な入力信号データに対して予測動作を行な
う時、入ってくるデータの統計的変動に追従する可能性
を得るために、遠い過去のデータを”忘れる”ためであ
る。ここで忘却係数λは１以下の正のスカラー量であ
る。おおよそ(1ーλ)の逆数が適応アルゴリズムの記憶測
度になっている。つまり、忘却係数λ＝１の場合には適
応アルゴリズムにおけるｋ(n)とＰ(n)を計算する際、す
べての過去のデータに等しく重みが付けられる。一方、
忘却係数λ＜１の場合、過去のデータは指数的に減衰
し、更新計算をするうえで現在のデータが過去のデータ
よりも大きな影響を持つという結果になる。

【００３０】また、上述したように、打楽器の音は一般
に、他の音程を持つ楽器音に比べて、立ち上がり時の振
幅変化が急激であり、また、明確な倍音構造を持たず連
続スペクトルを多く含むような特徴を持っている。それ
で、このような特徴より、打楽器音の分析に一般的に用
いられている高速フーリエ法は、時間領域、周波数領域
と共に高い分解能が必要となり、打楽器の分析には適し
た方法とは言えない。これに対して、ＲＬＳ適応アルゴ
リズムは、忘却係数λを用いるため、時間と共に変化す
るパラメータの追従に有効である。また、以下に述べる
ように、ＡＲモデルから直接にパワースペクトルを求め
ることができることで、周波数領域においても打楽器の
時変特性を抽出することが可能である。

【００３１】式(1)に示されているＡＲモデルの次数ｍ
は、あらかじめ指定しておくパラメータであり、ＲＬＳ
アルゴリズムの計算速度及びパワースぺクトル精度に直
接に影響を与えるものである。次数ｍが小さい場合に
は、ＲＬＳアルゴリズムの１回の繰り返しにおける乗算
の数が少ないので、計算速度が速くなるが、パワースペ
クトルの分解能は不足になる可能性がある。逆に、次数
ｍが大きい場合には、ＲＬＳアルゴリズムの１回の繰り
返しにおける乗算の数が多いので、計算速度が遅くな
り、パワースペクトルの分解能は統計的に不安定になる
可能性がある。従って、本実施例では、試行錯誤手法に
よりアルゴリズム計算量とスペクトル推定精度を総合的
に考慮した上で、ＡＲモデルの次数ｍを３０とした。

【００３２】図２の時間−周波数スペクトル計算部２０
４では、ＡＲモデル係数列推定部２０２の出力となるＡ
Ｒモデル係数列を取り込み、以下のように時間−周波数
パワースペクトルを計算することができる。

【００３３】すなわち、時変係数を持つＡＲモデルの伝
達関数は次式で与えられる。

【００３４】

【数２】

【００３５】また、入力信号が平均値零、分散σ²の白
色雑音であるとすると、出力信号x(n)の時間−周波数パ
ワースペクトルは、

【００３６】

【数３】

【００３７】で与えられる。すなわち、出力信号のパワ
ースペクトルを、周波数伝達関数の振幅特性と白色雑音
入力の分散で表わすことができる。以上のことから、σ
²および時間的に変化するＡＲモデル係数a_1n，a_2n，・・・
・・・，a_mnを決めることができれば、音楽信号x(n)の時間
−周波数パワースペクトルを推定することができる。

【００３８】分散σ²については、以下に述べる理由に
より正規化する必要がある。すなわち、打楽器の音色
は、打楽器自体の状態と演奏の状態という二つの要素に
よって決定されるものと考えられることができる。打楽
器自体の状態によっては、音に対してピッチや、生じる
スペクトル成分の種類等に強く影響を与え、また、演奏
の状態によっては、スペクトルの時間変化、スペクトル
成分の分布、振幅の時間変化等に強く影響を与えると考
えられる。特に、演奏の状態という叩き強度により同じ
打楽器であっても、その信号の振幅が違うため、求める
分散もそれぞれ異なっている。従って、このような演奏
の状態による影響を避けるために、分散σ²をある定数
に固定した方が良いと考えられる。

【００３９】時間的に変化するＡＲモデル係数a_1n,a_2n,
・・・・・・,a_mnについては、図３の説明に述べたように、Ｒ
ＬＳ適応アルゴリズムにより推定したＡＲモデル係数列
w_1nw_2n ・・・・ w_mn （ＤＳ≦ｎ＜ＤＳ＋Ｌ）は、時間的に
変化するＡＲモデル係数a_1n，a_2n,・・・・・・,a_mnの推定値
となっており、従って、推定値列w_1n w_2n ・・・・ w_mn（Ｄ
Ｓ≦ｎ＜ＤＳ＋Ｌ）を順次に式(5)に代入すれば、音楽
信号の時間−周波数パワースペクトルを求めることがで
きる。

【００４０】図４は図２の最大パワーを持つピッチ時刻
検出部２０６についての詳細を示したフローチャートで
ある。図中のステップＳ１では、時間−周波数パワース
ペクトル行列Ｐ(f,n)を入力し、抽出しようとする最大
値ｇ_maxを初期化する。ステップＳ２は時間軸カウンタ
ｎを初期化するものであり、ステップ３は、カウンタｎ
が指定範囲Ｎを越えたかどうか判断するものである。指
定範囲Ｎの外にある場合には、ループを終了させる。指
定範囲Ｎの内にある場合には、ステップ５で周波数軸の
カウンタｆを初期化し、ステップ６に入る。ステップ６
では、周波数軸のカウンタｆが指定範囲Ｆを越えたかど
うか判断し、範囲Ｆの外の場合には、時間軸ｎ＝ｎ＋１
にし、ステップ３に戻る。指定範囲Ｆの内の場合には、
ｇ_maxとＰ(f,n)との比較を行う。ｇ_maxが大きい場合に
は、周波数カウンタｆをｆ＋１にし、ステップ６に戻
る。そうではない場合には、ｇ_max＝Ｐ(f,n), ｎ_max＝
ｎにし、周波数カウンタｆをｆ＋１に加算し、ステップ
６に戻る。最終の結果は、最大パワーｇ_maxとその時刻
ｎ_maxとなっており、図２のパターンマッチングによる
類似度計算部２１０の入力とする。

【００４１】図６は図２のパターンマッチングによる類
似度計算部２１０における動作のフローチャート図であ
る。ステップ６１では、図２の最大パワーを持つピッチ
時刻検出部２０６より時刻ｎ_maxを取り込み、この時刻
に基づいて時間軸上のマッチング区間を決める。これ
は、それぞれの打楽器を持つ特徴を十分に利用するもの
である。すなわち、異なった打楽器が同じ周波数ピッチ
を持っていても、その最大パワーの時刻がそれぞれ違う
場合がある。具体的には、時刻ｎ_maxを中心として、マ
ッチング区間は［ｎ_max−Ｌ，ｎ_max＋Ｌ］とする。ここ
のＬは指定した時間間隔である。また、時刻ｎ_maxが分
析区間の両端にある場合では、分析区間の中心を時刻ｎ
_maxにし、マッチング区間を決定する。ステップ６２で
は、打楽器の標準パターンの知識による周波数軸のマッ
チング区間を決める。打楽器の標準パターンの知識と
は、識別しようとする打楽器に対し、その周波数特性を
分析した結果から最も特徴を持つピッチ周波数である。

【００４２】例えば、バスドラムの特徴周波数は５０Ｈ
ｚ〜６０Ｈｚ、スネアドラムの特徴周波数は１５０Ｈｚ
〜１８０Ｈｚ、トムドラムの特徴周波数は８０Ｈｚ〜１
８０Ｈｚである。従って、識別しようとする打楽器がバ
スドラム、スネアドラム及びトムドラムのみとなる場合
には、マッチング周波数区間を１０Ｈｚ〜３００Ｈｚの
範囲に設定すれば良い。

【００４３】ステップ６３では、図２の蓄積メモリ２０
８より識別しようとする打楽器の時間−周波数パワース
ペクトルG(f,n)（以下、実際パターンと呼ぶ）を、図２
の標準パターン格納部２１４からあらかじめ記憶してお
いた打楽器の標準パターンF_k(f,n)（ｋ＝1,2,..,N)を取
り込む。ここに、記号Ｎは打楽器標準パターンの数であ
る。

【００４４】ステップ６４では、次式に示すスペクトル
距離尺度により実際パターンと標準パターンとの類似度
（距離とも呼ぶ）を求める。

【００４５】

【数４】

【００４６】ここに、記号WLR尺度は重み付き尤度比と
呼ばれており、音声認識の分野に良く用いられているも
のである。式(6)の記号n₁,n₂は、ステップ６１において
求めた時間軸上のマッチング区間の上限と下限であり、
記号f₁,f₂は、ステップ６２において決めた周波数軸の
マッチング区間の上限と下限である。

【００４７】ステップ６５では、標準パターンとの照合
が終わるかどうか判断する。標準パターンの数より小さ
い場合には、ステップ６４に戻って計算を続ける。標準
パターンより大きい場合には、ループを終了させて計算
した類似度列を図２の打楽器種類判定部210ステージへ
移って打楽器の種類を識別する。

【００４８】図７は図２における打楽器種類判定部２１
２についての詳細を示したフローチャート図である。ス
テップ７１では図２のパターンマッチングによる類似度
計算部２１０の出力となる類似度列を取り込む。ステッ
プ７２では、上記の類似度列Ｄ(i)に対し、その最小値
Ｄ_minを抽出する。これは、類似度列Ｄ(i)を小さい値の
順次で替え並べて、Ｄ(0)の値を最小値Ｄ_minとする。ス
テップ７３では、最小値Ｄ_minが指定したしきい値より
大きいかどうかの判断を行なう。指定したしきい値は試
行錯誤法により、実際の打楽器の類似度が殆ど大きくな
い値とする。指定したしきい値より大きい場合には、識
別しようとするパターンは打楽器でないと判断し、次の
パターンを取り込んでステップ７１に戻る。指定したし
きい値より小さい場合には、識別しようとするパターン
は標準パターンの番号に対応して、識別結果を図１の打
楽器MIDI作成部１１４に移る。

【００４９】図２の標準パターン決定部２１６では、上
述したように、打楽器の標準パターンを決定するため、
既知の打楽器に対しその特性を分析し最も一般性をもつ
特徴の抽出を行なう。手順としては、図１において、標
準打楽器音楽源１０２に接続されたＡ／Ｄコンバータ１
０４は、前処理における微分フィルタ１０６によって直
流成分を除去したデジタル音楽信号x(n)１０８を生成す
る。生成されたデジタル音楽信号x(n)１０８は打楽器打
撃時刻の抽出部１１０と打楽器の識別部１１２にそれぞ
れ入力され、打楽器の打撃時刻の抽出と打楽器種類の識
別を行う。

【００５０】また、図２においては、打楽器打撃時刻抽
出部１１０の出力及び微分フィルタ１０６によって処理
したデジタル音楽信号x(n)をＡＲモデル係数列推定部２
０２に入力し、打撃時刻を起点とする打楽器信号のＡＲ
モデル係数列を求めて、蓄積メモリ２０８に保存する。
時間−周波数パワースペクトル計算部２０４では、上記
のＡＲモデル係数列を取り込み、時間−周波数スペクト
ルを計算して、蓄積メモリ２０８に保存する。最大パワ
ーを持つピッチ時刻検出部２０６では、上記の時間−周
波数行列に対し、時間軸と周波数軸からなる平面上の最
大値パワーを抽出し、それに対応する時刻の検出を行な
い、図２の標準パターン格納部２１４に蓄積する。

【００５１】図８、図９および図１０は、上記の打楽器
の標準パターンを如何に決定するかを説明するために実
際の打楽器の時間−周波数パワースペクトルを図示した
例である。

【００５２】図８は打楽器BASSの音響信号を図５に示し
た前処理および上記の手順によって求めた時間−周波数
特性である。ここに、図５のステップ５２では再サンプ
リング周波数を２kHzとした。また、矢印ｔの方向は時
間（最大値は0.6秒である）を表し、矢印ｆの方向は周
波数（最大値は500Hzである）を表す。この時間−周波
数パワースペクトルから判るように、打楽器BASSは、打
楽器の打撃時刻よりスペクトルが急に立ち上がることで
なく、時間と共に緩慢に上がっていく。また、全体の波
形は周波数60Hzのあたりを中心にし、滑らかな形になっ
ており、はっきりしたピッチが表わされていないことで
ある。

【００５３】図９は打楽器SNAREの音響信号を同じ周波
数でサンプリングし、上記の手順によって求めた時間−
周波数特性である。打楽器SNAREは打楽器の打撃時刻よ
り、打楽器BASSに比べてピッチの立ち上がりは急峻であ
り、全周波数領域において殆ど一つの大きなピッチによ
って表わされ、その周波数は160Hzのあたりにあること
が判る。

【００５４】図１０は打楽器TOMの音響信号を同じ周波
数でサンプリングし、上記の手順によって求めた時間−
周波数特性である。この打楽器は打楽器の打撃時刻よ
り、打楽器SNAREと同じにピッチの立ち上がりは急峻で
あり、全周波数領域において殆ど一つの大きなピッチに
よって表わされ、その周波数も160Hzのあたりにある
が、打楽器TOMのピッチの帯域幅は打楽器SNAREより狭
い。つまり、打楽器TOMを表わすピッチは打楽器SNAREの
それが鋭いことが判る。

【００５５】上記の打楽器の周波数特性から判るよう
に、打撃による振動的過度期を経ってから大体一つの大
きなピッチとなり、そのピッチのパワーと周波数が時間
と共に線形的に小さくなるが、短期間にはそんなに目立
たない。また、打楽器の種類と打撃の強さによりそのピ
ッチのパワー、周波数及び帯域幅がかなり違うものにな
る。

【００５６】上記の打楽器に対しては、最大ピッチ周波
数の照合により識別を行なうことができる。これは打楽
器がほぼ一つの大きなピッチを持つという特徴を利用し
たものであり、すなわち、予め打楽器のピッチ周波数
（例えば、図８のBASSと図９のSNAREドラムはその最大
のピッチ周波数が大体60Hzと160Hzにある）を調査・記
録し、それらの標準ピッチ周波数により実際の打楽器の
ピッチ周波数と照合して打楽器の識別を行なうものであ
る。この手法の利点としては、識別手法が単純で計算時
間が少ないところであり、特に、打楽器のみの音楽信号
及び他の楽器に比べ打楽器が相当に強い場合に有効であ
る。

【００５７】しかし、図９のSNAREと図１０のTOMに示す
ように、両者がほぼ同じピッチ周波数を持つ打楽器に対
しては、ピッチの周波数だけにより判別できないときが
あり、また、打楽器の製造上の差異、演奏者の個性の差
異、収録の環境の影響及び他の楽器の影響などにより、
同じ打楽器であってもそのピッチの周波数が標準のピッ
チ周波数より大きく搖れるので、ピッチ周波数による識
別が困難であると考えられる。

【００５８】一方、上記の打楽器の周波数特性から判
るように、同じピッチ周波数を持つ打楽器はその時間−
周波数スペクトルの波形がそれぞれ異なる。従って、打
楽器のピッチ周波数に注目するたげでなく、波形の全体
を情報として用いるのは形状マッチングによる識別法で
ある。形状マッチングは、音声認識分野に用いられてい
る手法と同じものとして考えられるが、本実施例では、
LPC分析法によりパワースペクトルを求める手法の代わ
りに、逐次的に全ての時刻変化を考慮にしたRLS適応ア
ルゴリズムを利用している。形状マッチングの特徴は、
打楽器の周波数特性のピッチよりその周波数の形状を重
視することである。その利点としては、打楽器の製造上
の差異および演奏者の個性の差異によるピッチ周波数の
変動が生じるが、その形状の変化がそれほど大きく変わ
らないと考えられる。もう一つの利点は、同じピッチ周
波数を持つ打楽器（図９と図１０）であっても、その周
波数特性の形状が大部違うので（例えば、図９のSNARE
と図１０のTOM）、同じピッチ周波数を持つ打楽器の識
別が可能である。特に、形状マッチングは、打楽器のみ
の信号に対する識別が有効であると考えられる。

【００５９】従って、本実施例では、図９と図１０のよ
うな打楽器を明確に区別・識別するために、打楽器の時
間−周波数スペクトルを求めて、そのスペクトルの形状
によるマッチングを用いた。

【００６０】図８、図９及び図１０の波形は図３のＲＬ
Ｓアルゴリズムにおける忘却係数を１より小さい値(0.9
9)としたものである。これらの時間−周波数パワースペ
クトルは全体の波形がそれほど平滑でないが、打楽器の
特徴を表わすピッチはその周波数、帯域幅、特にパワー
が時間と共に変化することを追従することができること
が判る。

【００６１】打楽器の特徴は、すでに述べたようにその
振動周波数と振幅パワーが時間と共に減衰することであ
る。忘却係数w＝１の場合には、ＲＬＳ適応アルゴリズ
ムにおけるｋ(n)とＰ(n)を計算する際、すべての過去の
データに等しく重みが付けられるので、打楽器の特徴の
変化を追従することができなくなるのに対して、忘却係
数w＜１の場合、過去のデータは指数的に減衰し、更新
計算をするうえで現在のデータが過去のデータよりも大
きな影響を持つという結果になるので、打楽器の特徴変
化が追従できると考えられる。

【００６２】一方、実際の打楽器の演奏には、打楽器と
打楽器との時間間隔が極めて短い場合がある。すなわ
ち、前者の打楽器の音響はまだ消えていないうちに、後
者の打楽器の音響がすでに始まることになっている。こ
のような打楽器の音響に対し、後者の打楽器を分析し識
別しようとする場合には、上記のＲＬＳ適応アルゴリズ
ムにおける忘却係数を１にすると、前者の打楽器の音響
も一緒に処理されるため、正確な打楽器の特徴を抽出す
ることは困難であると考えられる。しかし、ＲＬＳ適応
アルゴリズムにおける忘却係数を１より小さくする場合
には、適応アルゴリズムが処理しながら、前者の打楽器
の影響を“忘却”する効果を持ち、前者の打楽器からの
影響を最小限にする役割を果たすため、正確な打楽器の
特徴を抽出することは可能であると考えられる。

【００６３】従って、本実施例では、図３におけるＲＬ
Ｓ適応アルゴリズムの忘却係数を１より小さい値にし
た。

【００６４】なお、上記の説明において、適応処理手法
により立ち上がりが急激で連続スペクトルを多く持つ打
楽器の分析及び識別を考慮したが、それに限られるもの
ではなく、その特性が時間と共に変化し、一般的な手法
により処理することが困難な楽器の識別にも適用するこ
とが可能である。

【００６５】

【発明の効果】以上詳述したことから明かなように、本
発明の自動採譜装置は、立ち上がりが急激で低周波数領
域に特徴を持つ打楽器の分析及び識別に、適応信号処理
手法を用いたことにより、人手による聞き取り作業をな
くし、従来の手法（高速フーリエ法など）によって処理
しにくい打楽器の時変特性を抽出することができるとと
もに、計算機による打楽器の打撃時刻の抽出及びその種
類の識別を自動的に行い、かつ実時間的処理を実現する
ことができる。

【図面の簡単な説明】

【図１】本発明の自動採譜装置の構成を示すブロック図
である。

【図２】打楽器を識別するための識別部の全体の構成を
示すブロック図である。

【図３】ＲＬＳ適応アルゴリズムによるパラメータ推定
の原理を示す図である。

【図４】最大ピッチ検出についての詳細を示すフローチ
ャートである。

【図５】前処理部の動作を示すフローチャートである。

【図６】類似度計算部の動作を示すフローチャートであ
る。

【図７】打楽器種類判定部の動作を示すフローチャート
である。

【図８】打楽器BASSの信号に対する３次元スペクトルを
表す図である。

【図９】打楽器SNAREの信号に対する３次元スペクトル
を表す図である。

【図１０】打楽器TOMの信号に対する３次元スペクトル
表す図である。

【符号の説明】

１０２音楽源１０４Ａ／Ｄコンバータ１０６前処理部１０８デジタル音楽信号１１０打楽器打撃時刻抽出部１１２打楽器識別部２０２ＡＲモデル係数列推定部２０４時間−周波数スペクトル計算部２０６ピッチ時刻検出部２０８蓄積メモリ２１０類似度計算部２１２打楽器種類判定部２１４標準パターン格納部２１６標準パターン決定部

Claims

【特許請求の範囲】

【請求項１】音楽信号中に含まれる打楽器音を自動的
に採譜する自動採譜装置において、低域通過フィルタを通過する音楽信号に対して、その直
流成分を除去する前処理部と、その前処理部で処理した信号をＡＲモデルによってモデ
リングし、ＲＬＳ適応アルゴリズムによるＡＲモデル係
数を推定してＡＲモデル係数列を作成するＡＲモデル係
数列推定部と、そのＡＲモデル係数列推定部により推定されたＡＲモデ
ル係数列を入力とし、打楽器信号の３次元スペクトルを
計算する時間−周波数スペクトル計算部と、その時間−周波数スペクトル計算部により計算された打
楽器信号の３次元スペクトルから最大パワーを持つピッ
チの時刻を抽出する抽出部と、既知の打楽器に対しその特性を分析し、その標準パター
ンを決定する標準パターン決定部と、その標準パターン決定部により決定された打楽器の標準
パターンを蓄積する標準パターン格納部と、前記抽出部により抽出された最大パワーを持つピッチの
時刻と、前記標準パターン格納部に格納された打楽器の
標準パターンの周波数特性により、時間−周波数スペク
トル上のマッチング範囲を決めて、実際のパターンと標
準パターンとの類似度をパターンマッチングにより計算
する類似度計算部と、その類似度計算部の計算結果からその最小値を抽出し
て、誤識別を防止するためのしきい値処理により打楽器
の種類を判定する打楽器種類判定部とを備えたことを特
徴とする自動採譜装置。