JP3508978B2 - 音楽演奏に含まれる楽器音の音源種類判別方法 - Google Patents
音楽演奏に含まれる楽器音の音源種類判別方法Info
- Publication number
- JP3508978B2 JP3508978B2 JP12586497A JP12586497A JP3508978B2 JP 3508978 B2 JP3508978 B2 JP 3508978B2 JP 12586497 A JP12586497 A JP 12586497A JP 12586497 A JP12586497 A JP 12586497A JP 3508978 B2 JP3508978 B2 JP 3508978B2
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- note
- source type
- notes
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】この発明は、複数種類の楽器
による音楽演奏に対する自動採譜装置、採譜支援装置、
および音楽演奏の記号化装置などの構成要素として用い
られる、音楽演奏に含まれる楽器音の音源種類を判別す
る方法に関する。
による音楽演奏に対する自動採譜装置、採譜支援装置、
および音楽演奏の記号化装置などの構成要素として用い
られる、音楽演奏に含まれる楽器音の音源種類を判別す
る方法に関する。
【０００２】
【従来の技術】従来、音楽演奏に含まれる楽器音の音源
種類判別方法に関しては、各楽器音のパワースペクトル
の特徴に着目して、各単音ごとに判別分析を行って楽器
音を判別する方法が知られている。しかし、この方法で
は、一般の楽器演奏にしばしば見られるように、同時に
数多くの単音が発音している場合には、各単音に由来す
るパワースペクトルが重なり合うことによって安定した
特徴の抽出が困難となるため、精度の高い判別分析が行
い難いという欠点があった。
種類判別方法に関しては、各楽器音のパワースペクトル
の特徴に着目して、各単音ごとに判別分析を行って楽器
音を判別する方法が知られている。しかし、この方法で
は、一般の楽器演奏にしばしば見られるように、同時に
数多くの単音が発音している場合には、各単音に由来す
るパワースペクトルが重なり合うことによって安定した
特徴の抽出が困難となるため、精度の高い判別分析が行
い難いという欠点があった。
【０００３】また、予め対象とする楽器音の音響信号波
形またはスペクトログラムを蓄積しておき、入力音響信
号を所定の時間窓（フレーム）ごとに区分した上で、各
区分に対して、蓄積したその音響信号波形またはスペク
トログラムと照合を行い、最もよく当てはまる音響信号
波形またはスペクトログラムを選択することによって楽
器音を判別する方法が知られている。しかし、この方法
では、ある時間区分ごとに処理が行われ、旋律、ベース
ラインなどといった、時間をまたがった単音のつながり
の情報が考慮されていないため、例えばフルートによっ
て演奏されているメロディーの流れの中で、フルートと
認識されるべき単音が突然トランペットの音と誤認識さ
れる例があるなど、特に、表情豊かな演奏に見られるよ
うな単音の特徴が大きく変動する演奏や、比較的同時発
音数の多い演奏などにおいて、音楽的に不自然な楽器音
判定誤りが生じることが多いという欠点があった。
形またはスペクトログラムを蓄積しておき、入力音響信
号を所定の時間窓（フレーム）ごとに区分した上で、各
区分に対して、蓄積したその音響信号波形またはスペク
トログラムと照合を行い、最もよく当てはまる音響信号
波形またはスペクトログラムを選択することによって楽
器音を判別する方法が知られている。しかし、この方法
では、ある時間区分ごとに処理が行われ、旋律、ベース
ラインなどといった、時間をまたがった単音のつながり
の情報が考慮されていないため、例えばフルートによっ
て演奏されているメロディーの流れの中で、フルートと
認識されるべき単音が突然トランペットの音と誤認識さ
れる例があるなど、特に、表情豊かな演奏に見られるよ
うな単音の特徴が大きく変動する演奏や、比較的同時発
音数の多い演奏などにおいて、音楽的に不自然な楽器音
判定誤りが生じることが多いという欠点があった。
【０００４】従って、上記の各方法は、同時に数多くの
単音が発音している場合や、一連の演奏において単音の
性質が局所的に大きく変動するような場合にあっては、
十分に高精度な、音楽演奏に含まれる楽器音の音源種類
判別処理が期待し難い。
単音が発音している場合や、一連の演奏において単音の
性質が局所的に大きく変動するような場合にあっては、
十分に高精度な、音楽演奏に含まれる楽器音の音源種類
判別処理が期待し難い。
【０００５】
【発明が解決しようとする課題】この発明は、同時に数
多くの単音が発音している場合や、一連の演奏において
単音の性質が局所的に大きく変動するような場合であっ
ても適用することのできる、音楽演奏に含まれる楽器音
の音源種類判別の処理方法を提供し、従来の方法と比較
して音楽演奏に含まれる楽器音の音源種類判別処理を高
い精度で行うことを目的としている。
多くの単音が発音している場合や、一連の演奏において
単音の性質が局所的に大きく変動するような場合であっ
ても適用することのできる、音楽演奏に含まれる楽器音
の音源種類判別の処理方法を提供し、従来の方法と比較
して音楽演奏に含まれる楽器音の音源種類判別処理を高
い精度で行うことを目的としている。
【０００６】
【課題を解決するための手段】この発明によれば、音楽
演奏の音響信号に含まれている単音を単音抽出過程で抽
出し、その抽出した単音の音源種類、すなわちその単音
を演奏している楽器名が何であるかの候補を、その各候
補に対する確信度とともに音源種類候補生成過程で求
め、一連の音楽演奏において、旋律など、単音どうしの
関連性を、抽出した単音について単音関連性評価過程で
評価し、音源種類候補生成過程により求めた音源種類候
補とその確信度および単音関連性評価過程で求めた単音
の関連性に基づいて、単音をノードとし、関連性の高い
単音どうしをリンクとして表現したグラフを単音グラフ
作成過程で作成し、この単音グラフ作成過程によって作
成された単音グラフ上で、関連性の強い単音は同一の楽
器種類で演奏される可能性が大きいという音楽の一般的
性質を利用して、音源種類候補生成過程によって求めた
音源種類候補に対する確信度を変更した上で、最も確信
度の高い音源種類候補を選択して出力することを音源種
類選択過程で行う。
演奏の音響信号に含まれている単音を単音抽出過程で抽
出し、その抽出した単音の音源種類、すなわちその単音
を演奏している楽器名が何であるかの候補を、その各候
補に対する確信度とともに音源種類候補生成過程で求
め、一連の音楽演奏において、旋律など、単音どうしの
関連性を、抽出した単音について単音関連性評価過程で
評価し、音源種類候補生成過程により求めた音源種類候
補とその確信度および単音関連性評価過程で求めた単音
の関連性に基づいて、単音をノードとし、関連性の高い
単音どうしをリンクとして表現したグラフを単音グラフ
作成過程で作成し、この単音グラフ作成過程によって作
成された単音グラフ上で、関連性の強い単音は同一の楽
器種類で演奏される可能性が大きいという音楽の一般的
性質を利用して、音源種類候補生成過程によって求めた
音源種類候補に対する確信度を変更した上で、最も確信
度の高い音源種類候補を選択して出力することを音源種
類選択過程で行う。
【０００７】
【発明の実施の形態】次に、この発明の実施形態につい
て図面を用いて説明する。図１は、この発明方法を適用
した音楽演奏に含まれる楽器音の音源種類判別装置の一
実施形態を示すブロック図である。この音楽演奏に含ま
れる楽器音の音源種類判別装置は、単音抽出手段１と、
音源種類候補生成手段２と、単音関連性評価手段３と、
単音グラフ作成手段４と、音源種類選択手段５で構成さ
れ、音楽音響信号を入力とし、演奏に含まれる単音の発
音時刻、音高、および楽器種類を表した記号の列を出力
する。
て図面を用いて説明する。図１は、この発明方法を適用
した音楽演奏に含まれる楽器音の音源種類判別装置の一
実施形態を示すブロック図である。この音楽演奏に含ま
れる楽器音の音源種類判別装置は、単音抽出手段１と、
音源種類候補生成手段２と、単音関連性評価手段３と、
単音グラフ作成手段４と、音源種類選択手段５で構成さ
れ、音楽音響信号を入力とし、演奏に含まれる単音の発
音時刻、音高、および楽器種類を表した記号の列を出力
する。
【０００８】単音抽出手段１は、音楽演奏の音響信号を
入力とし、周波数解析、周波数成分の抽出、および単音
の立上り検出を行うことによって単音を抽出する。音源
種類候補生成手段２は、単音抽出手段１の出力する単音
の音響信号波形を、予め蓄積してある対象とする楽器音
の単音の音響信号波形と照合することによって、音源種
類の候補を生成する。
入力とし、周波数解析、周波数成分の抽出、および単音
の立上り検出を行うことによって単音を抽出する。音源
種類候補生成手段２は、単音抽出手段１の出力する単音
の音響信号波形を、予め蓄積してある対象とする楽器音
の単音の音響信号波形と照合することによって、音源種
類の候補を生成する。
【０００９】単音関連性評価手段３は、単音抽出手段１
の出力する単音を入力とし、異なる二つの単音どうしの
関連性を、音高の遷移確率、音色の類似性、時間の近接
性、および演奏における相対的音高の性質の観点から評
価する。単音グラフ作成手段４は、音源種類候補生成手
段２および単音関連性評価手段３の各出力に基づいて、
単音をノードとし、関連性の高い単音どうしをリンクと
して表現したグラフ（ベイジアンネットワーク）を作成
する。
の出力する単音を入力とし、異なる二つの単音どうしの
関連性を、音高の遷移確率、音色の類似性、時間の近接
性、および演奏における相対的音高の性質の観点から評
価する。単音グラフ作成手段４は、音源種類候補生成手
段２および単音関連性評価手段３の各出力に基づいて、
単音をノードとし、関連性の高い単音どうしをリンクと
して表現したグラフ（ベイジアンネットワーク）を作成
する。
【００１０】音源種類選択手段５は、単音グラフ作成手
段４で出力される単音グラフ上で、関連性の強い単音は
同一の楽器種類で演奏される可能性が大きいという音楽
の一般的性質を利用して、ベイジアンネットワーク上に
おける確率伝搬操作によって音源種類候補生成手段２で
出力された音源名候補に対する確信度を変更した上で、
最も確信度の高い音源種類候補を選択して出力する。
段４で出力される単音グラフ上で、関連性の強い単音は
同一の楽器種類で演奏される可能性が大きいという音楽
の一般的性質を利用して、ベイジアンネットワーク上に
おける確率伝搬操作によって音源種類候補生成手段２で
出力された音源名候補に対する確信度を変更した上で、
最も確信度の高い音源種類候補を選択して出力する。
【００１１】次に、上述した各手段１、２、３、４、５
における各処理の流れを、図２から図６にそれぞれ示す
流れ図を参照して具体的に説明する。単音抽出手段１で
は、まず装置への入力となる音楽演奏の音響信号波形を
読み込む（ステップ１０１）。音響信号波形の例を図７
に示す。図７は、ある曲をバイオリン、フルート、およ
びピアノを用いてアンサンブル演奏した音響信号の例で
ある。次に、読み込んだ波形に対し周波数解析を行っ
て、スペクトログラムを得る（ステップ１０２）。スペ
クトログラムは、音響信号に含まれるパワーを、横軸時
間、縦軸周波数の平面上に表現したものである。スペク
トログラムの例を図８に示す。図８は、中心周波数の異
なる多数の帯域通過フィルタを用いて得たものである。
図８において、各時点上の縦線の途中が右へ山状にわん
曲している部分は、その縦軸における周波数成分のパワ
ーの大きさを表す。続いて、ステップ１０２で得たスペ
クトログラムに対して、周波数成分を抽出する（ステッ
プ１０３）。周波数成分とは、スペクトログラム上にお
ける一連のローカルピークのことである。周波数成分抽
出は、スペクトログラムをまず周波数方向に走査してパ
ワーのローカルピークを検出し、このローカルピークを
時間方向に接続することによって行う。抽出された周波
数成分の例を図９に示す。図９では、周波数成分が線分
で表されており、その立上りに●印がつけられている。
このような周波数成分がいくつか集まって単音が形成さ
れるが、音楽演奏においては、打楽器音などの例外を除
けば、同じ単音を形成する周波数成分は、立上り時刻が
近接しており、また周波数が整数倍の関係にあることが
知られている。そこで、各周波数成分の立上り時刻の近
接性に基づいて、同時に発音している単音を形成する周
波数成分をひとまとめにする（ステップ１０４）。それ
ぞれのまとまりには、複数の単音が含まれている可能性
があるので、それぞれのまとまりにおいて、周波数成分
の周波数を低い周波数から順に調べ、整数倍の関係にな
い成分を抽出する。これによって、単音の基本周波数を
得ることができる（ステップ１０５）。このようにし
て、単音の基本周波数、立上り時刻、および立下り時刻
が得られるので、これらを単音の情報として出力する
（ステップ１０６）。この段階では、まだそれぞれの単
音がいかなる種類の音源であるかを判別する処理は行わ
れていない。なお図９における各●印の所に付けた数字
の左の値は、発生時刻対応に付けた番号であり、右の値
は同一時刻内で付けた番号である。
における各処理の流れを、図２から図６にそれぞれ示す
流れ図を参照して具体的に説明する。単音抽出手段１で
は、まず装置への入力となる音楽演奏の音響信号波形を
読み込む（ステップ１０１）。音響信号波形の例を図７
に示す。図７は、ある曲をバイオリン、フルート、およ
びピアノを用いてアンサンブル演奏した音響信号の例で
ある。次に、読み込んだ波形に対し周波数解析を行っ
て、スペクトログラムを得る（ステップ１０２）。スペ
クトログラムは、音響信号に含まれるパワーを、横軸時
間、縦軸周波数の平面上に表現したものである。スペク
トログラムの例を図８に示す。図８は、中心周波数の異
なる多数の帯域通過フィルタを用いて得たものである。
図８において、各時点上の縦線の途中が右へ山状にわん
曲している部分は、その縦軸における周波数成分のパワ
ーの大きさを表す。続いて、ステップ１０２で得たスペ
クトログラムに対して、周波数成分を抽出する（ステッ
プ１０３）。周波数成分とは、スペクトログラム上にお
ける一連のローカルピークのことである。周波数成分抽
出は、スペクトログラムをまず周波数方向に走査してパ
ワーのローカルピークを検出し、このローカルピークを
時間方向に接続することによって行う。抽出された周波
数成分の例を図９に示す。図９では、周波数成分が線分
で表されており、その立上りに●印がつけられている。
このような周波数成分がいくつか集まって単音が形成さ
れるが、音楽演奏においては、打楽器音などの例外を除
けば、同じ単音を形成する周波数成分は、立上り時刻が
近接しており、また周波数が整数倍の関係にあることが
知られている。そこで、各周波数成分の立上り時刻の近
接性に基づいて、同時に発音している単音を形成する周
波数成分をひとまとめにする（ステップ１０４）。それ
ぞれのまとまりには、複数の単音が含まれている可能性
があるので、それぞれのまとまりにおいて、周波数成分
の周波数を低い周波数から順に調べ、整数倍の関係にな
い成分を抽出する。これによって、単音の基本周波数を
得ることができる（ステップ１０５）。このようにし
て、単音の基本周波数、立上り時刻、および立下り時刻
が得られるので、これらを単音の情報として出力する
（ステップ１０６）。この段階では、まだそれぞれの単
音がいかなる種類の音源であるかを判別する処理は行わ
れていない。なお図９における各●印の所に付けた数字
の左の値は、発生時刻対応に付けた番号であり、右の値
は同一時刻内で付けた番号である。
【００１２】音源種類候補生成手段２（図３）では、ま
ず単音抽出手段１で出力された単音抽出結果を読み込む
（ステップ２０１）。次に、それぞれの単音に相当する
時間区間の入力音響信号について、これに含まれている
可能性のある単音の記憶波形（以下、候補波形という）
を、あらかじめ蓄積した音響信号波形の中から選択する
（ステップ２０２）。この選択は例えば次のように行
う。単音に相当する時間区間の入力音響信号について先
に抽出した周波数成分を用いて基本周波数およびパワー
包絡等の音の特徴量を抽出する。この特徴量は、その入
力音響信号に含まれている可能性のある音の記憶波形を
選択するために用いられる。音の記憶波形は、図に示し
ていない波形記憶手段にあらかじめ蓄積されているの
で、これを順に検査する。即ち各記憶波形ごとにその基
本周波数と、入力音響信号の抽出された周波数成分の周
波数とを比較し、ある範囲内に収まっているかどうかを
調べ、もしある範囲に収まっていなければ、その記憶波
形は当該入力音響信号に含まれている可能性は低いの
で、その記憶波形は候補から外す。前記ある範囲は例え
ば次のようにして決める。即ち記憶波形の基本周波数を
その大きさ順に並べた場合、ある基本周波数についてみ
ると、そのすぐ下の基本周波数との間の半分だけ低い周
波数から、すぐ上の基本周波数との間の半分だけ高い周
波数までの範囲に入るものを候補とする。例えば半音ご
との記憶波形を設ける場合は、半音は６％ずつ周波数が
高くなっているから、基本周波数±３％の範囲にあるも
のを候補とする。前記ある範囲に収まっていれば、さら
に特徴量に矛盾（例えば発音不可能な音域であるなど）
があるかどうかを調べ、もし矛盾があれば、その記憶波
形は候補から外す。続いて、それぞれの単音に相当する
時間区間の入力音響信号と、ステップ２０２で選択した
候補波形との照合を行う（ステップ２０３）。この照合
は、単音の多様性や変動を吸収するために候補波形を入
力音響信号波形に適応させる処理を含めて特願平９−３
１８１３「音響信号分離方法」の明細書中で述べた方法
を用いて行うことができる。
ず単音抽出手段１で出力された単音抽出結果を読み込む
（ステップ２０１）。次に、それぞれの単音に相当する
時間区間の入力音響信号について、これに含まれている
可能性のある単音の記憶波形（以下、候補波形という）
を、あらかじめ蓄積した音響信号波形の中から選択する
（ステップ２０２）。この選択は例えば次のように行
う。単音に相当する時間区間の入力音響信号について先
に抽出した周波数成分を用いて基本周波数およびパワー
包絡等の音の特徴量を抽出する。この特徴量は、その入
力音響信号に含まれている可能性のある音の記憶波形を
選択するために用いられる。音の記憶波形は、図に示し
ていない波形記憶手段にあらかじめ蓄積されているの
で、これを順に検査する。即ち各記憶波形ごとにその基
本周波数と、入力音響信号の抽出された周波数成分の周
波数とを比較し、ある範囲内に収まっているかどうかを
調べ、もしある範囲に収まっていなければ、その記憶波
形は当該入力音響信号に含まれている可能性は低いの
で、その記憶波形は候補から外す。前記ある範囲は例え
ば次のようにして決める。即ち記憶波形の基本周波数を
その大きさ順に並べた場合、ある基本周波数についてみ
ると、そのすぐ下の基本周波数との間の半分だけ低い周
波数から、すぐ上の基本周波数との間の半分だけ高い周
波数までの範囲に入るものを候補とする。例えば半音ご
との記憶波形を設ける場合は、半音は６％ずつ周波数が
高くなっているから、基本周波数±３％の範囲にあるも
のを候補とする。前記ある範囲に収まっていれば、さら
に特徴量に矛盾（例えば発音不可能な音域であるなど）
があるかどうかを調べ、もし矛盾があれば、その記憶波
形は候補から外す。続いて、それぞれの単音に相当する
時間区間の入力音響信号と、ステップ２０２で選択した
候補波形との照合を行う（ステップ２０３）。この照合
は、単音の多様性や変動を吸収するために候補波形を入
力音響信号波形に適応させる処理を含めて特願平９−３
１８１３「音響信号分離方法」の明細書中で述べた方法
を用いて行うことができる。
【００１３】即ち、候補波形に対して適応のためのフィ
ルタ演算を適用した結果の波形を足し合わせた波形と、
単音に相当する時間区間の入力音響信号との平均自乗誤
差が最小となるようなフィルタ係数を求めるために、連
立方程式を作成する。フィルタとしてＦＩＲ型を用いる
ことにすれば、候補波形にフィルタ演算を適用した結果
の波形は ｙn (k) ＝Σm=0 M-1 ｈn (m) ｒn （ｋ−ｍ） （１） と書ける。ここでｋは標本化された時刻、ｎは候補波形
を数える添字、ｙn (k)はこのフィルタ演算を適用した
結果の波形、ｈはＦＩＲフィルタのインパルス応答、ｒ
は候補波形、Ｍはフィルタの次数である。すると、候補
波形にフィルタ演算を適用した結果の波形を足し合わせ
た波形と、この区分入力音響信号との平均自乗誤差は Ｊ＝Ｅ［｛ｚ(k) −Σn=0 N-1 ｙn (k) ｝2 ］ （２） と書ける。ここでｚ(k) は区分入力音響信号波形、Ｎは
候補波形の数、Ｅは時間平均を表す。これを最小化する
ための必要条件は、全てのｎとｍに関して、偏微分∂Ｊ
／∂ｈn (m) が０となることである。この条件を用いる
と、Ｎ×Ｍ個の連立一次方程式 Σn=0 N-1 Σm=0 M-1 Ｅ［ｒi (k-j) ｒn (k-m) ］ｈn (m) ＝Ｅ［ｒi (k-m) ｚ(k) ］ （３） を導くことができる。方程式（３）を解くことによっ
て、入力音響信号を、最も少ない誤差で解釈するため
の、各候補波形に対するフィルタ係数を求めることがで
きる。各候補波形に対して式（１）のフィルタ演算を行
った結果得られる波形の平均パワーが大きいと、その候
補波形が入力音響信号中に大きい割合で含まれていると
判断できる。そこで、ステップ２０２で選択された候補
波形の種類を音源種類候補とし、上記フィルタ演算の結
果の平均パワーを、その音源種類が入力音響信号中に含
まれている確信度として出力する（ステップ２０４）。
ルタ演算を適用した結果の波形を足し合わせた波形と、
単音に相当する時間区間の入力音響信号との平均自乗誤
差が最小となるようなフィルタ係数を求めるために、連
立方程式を作成する。フィルタとしてＦＩＲ型を用いる
ことにすれば、候補波形にフィルタ演算を適用した結果
の波形は ｙn (k) ＝Σm=0 M-1 ｈn (m) ｒn （ｋ−ｍ） （１） と書ける。ここでｋは標本化された時刻、ｎは候補波形
を数える添字、ｙn (k)はこのフィルタ演算を適用した
結果の波形、ｈはＦＩＲフィルタのインパルス応答、ｒ
は候補波形、Ｍはフィルタの次数である。すると、候補
波形にフィルタ演算を適用した結果の波形を足し合わせ
た波形と、この区分入力音響信号との平均自乗誤差は Ｊ＝Ｅ［｛ｚ(k) −Σn=0 N-1 ｙn (k) ｝2 ］ （２） と書ける。ここでｚ(k) は区分入力音響信号波形、Ｎは
候補波形の数、Ｅは時間平均を表す。これを最小化する
ための必要条件は、全てのｎとｍに関して、偏微分∂Ｊ
／∂ｈn (m) が０となることである。この条件を用いる
と、Ｎ×Ｍ個の連立一次方程式 Σn=0 N-1 Σm=0 M-1 Ｅ［ｒi (k-j) ｒn (k-m) ］ｈn (m) ＝Ｅ［ｒi (k-m) ｚ(k) ］ （３） を導くことができる。方程式（３）を解くことによっ
て、入力音響信号を、最も少ない誤差で解釈するため
の、各候補波形に対するフィルタ係数を求めることがで
きる。各候補波形に対して式（１）のフィルタ演算を行
った結果得られる波形の平均パワーが大きいと、その候
補波形が入力音響信号中に大きい割合で含まれていると
判断できる。そこで、ステップ２０２で選択された候補
波形の種類を音源種類候補とし、上記フィルタ演算の結
果の平均パワーを、その音源種類が入力音響信号中に含
まれている確信度として出力する（ステップ２０４）。
【００１４】図１０は、音源種類候補生成手段２によっ
て生成された、音源種類候補の情報をともなった単音を
示したものである。図は、横方向が時間を、また縦方向
が単音の音高を表す。それぞれの四角形が単音を表す。
四角形の上部の数字は、単音の通し番号と、音高を表す
番号である（例えば１１−５８は、音高番号が５８番
の、通し番号１１番の単音である）。それぞれの四角形
に表示されているバーグラフは、上位３位までの音源種
類に対する確信度を示している。音源種類がバイオリン
はＶで、フルートはＦで、ピアノはＰでそれぞれ示して
いる。
て生成された、音源種類候補の情報をともなった単音を
示したものである。図は、横方向が時間を、また縦方向
が単音の音高を表す。それぞれの四角形が単音を表す。
四角形の上部の数字は、単音の通し番号と、音高を表す
番号である（例えば１１−５８は、音高番号が５８番
の、通し番号１１番の単音である）。それぞれの四角形
に表示されているバーグラフは、上位３位までの音源種
類に対する確信度を示している。音源種類がバイオリン
はＶで、フルートはＦで、ピアノはＰでそれぞれ示して
いる。
【００１５】単音関連性評価手段３、単音グラフ作成手
段４、および音源種類選択手段５が、この発明の中心を
なす部分である。単音関連性評価手段３（図４）では、
はじめに、単音抽出手段１で得た単音抽出結果を読み込
み（ステップ３０１）、それぞれの単音を一つずつ選択
しながら処理を行う。まず、選択した単音（これを単音
Ａとよぶ）に対して、その読み込んだ単音中に関連性の
ある単音があるかどうかを検索する（ステップ３０
２）。もしなければ、次の単音を選択するが、選択でき
る単音がなければ処理を終了する。もし単音Ａと関連性
のある単音が検索されれば、その単音（これを単音Ｂと
よぶ）と単音Ａとの関連性の高さを評価する。このこと
は逆に単音Ａから単音Ｂへの遷移の現れにくさによって
も評価することができる。つまり遷移の現れにくさが小
さい程、関連性が高いことになり、この評価は次のよう
にして行うことができる。なお、以下で、単音Ｂは単音
Ａよりも発音開始時刻が前であるとする。
段４、および音源種類選択手段５が、この発明の中心を
なす部分である。単音関連性評価手段３（図４）では、
はじめに、単音抽出手段１で得た単音抽出結果を読み込
み（ステップ３０１）、それぞれの単音を一つずつ選択
しながら処理を行う。まず、選択した単音（これを単音
Ａとよぶ）に対して、その読み込んだ単音中に関連性の
ある単音があるかどうかを検索する（ステップ３０
２）。もしなければ、次の単音を選択するが、選択でき
る単音がなければ処理を終了する。もし単音Ａと関連性
のある単音が検索されれば、その単音（これを単音Ｂと
よぶ）と単音Ａとの関連性の高さを評価する。このこと
は逆に単音Ａから単音Ｂへの遷移の現れにくさによって
も評価することができる。つまり遷移の現れにくさが小
さい程、関連性が高いことになり、この評価は次のよう
にして行うことができる。なお、以下で、単音Ｂは単音
Ａよりも発音開始時刻が前であるとする。
【００１６】まず、単音Ｂと単音Ａの音色の非類似性Ｐ
1 を評価する（ステップ３０３）。これは、音源種類候
補生成手段２で得た確信度をベクトルと見て、そのノル
ムの値を用いて行う。確信度が０〜１までの範囲の値で
ある方が良いので、例えば、単音Ｂの確信度が フルート ０．８ バイオリン ０．３ ピアノ ０．１ であり、単音Ａの確信度が フルート ０．７ バイオリン ０．８ ピアノ ０．３ であったならば、音色間の距離Ｄは、次式で求められ
る。
1 を評価する（ステップ３０３）。これは、音源種類候
補生成手段２で得た確信度をベクトルと見て、そのノル
ムの値を用いて行う。確信度が０〜１までの範囲の値で
ある方が良いので、例えば、単音Ｂの確信度が フルート ０．８ バイオリン ０．３ ピアノ ０．１ であり、単音Ａの確信度が フルート ０．７ バイオリン ０．８ ピアノ ０．３ であったならば、音色間の距離Ｄは、次式で求められ
る。
【００１７】
Ｄ＝｛(0.8−0.7)2 ＋(0.3−0.8)2 ＋(0.1−0.3)2 ｝1/2 （４）
この距離の値Ｄを、予め一連の旋律中に現れる単音につ
いてどの程度の距離Ｄをもった単音が現れるかの統計
（ヒストグラム）をとっておけば、（４）式で求められ
た距離の値を、確率値に変換することができる。この確
率値をＰ1 として単音Ｂと単音Ａの類似性の評価値とす
る。
いてどの程度の距離Ｄをもった単音が現れるかの統計
（ヒストグラム）をとっておけば、（４）式で求められ
た距離の値を、確率値に変換することができる。この確
率値をＰ1 として単音Ｂと単音Ａの類似性の評価値とす
る。
【００１８】次に、単音Ｂと単音Ａの音高の関係を評価
する（ステップ３０４）。これは、予め対象とする楽曲
のジャンル（ジャズ、ポップスなど）において、音高の
遷移の統計をとっておき、この統計データに基づいて行
う。例えば、単音Ｂの音高がＣ４（「中央ド」）であ
り、単音Ａの音高がＥ４（そのすぐ上の「ミ」）であっ
たならば、統計データを参照してドからミへの遷移の現
れる確率Ｐ2 を得て、音高の関係の評価値とする。
する（ステップ３０４）。これは、予め対象とする楽曲
のジャンル（ジャズ、ポップスなど）において、音高の
遷移の統計をとっておき、この統計データに基づいて行
う。例えば、単音Ｂの音高がＣ４（「中央ド」）であ
り、単音Ａの音高がＥ４（そのすぐ上の「ミ」）であっ
たならば、統計データを参照してドからミへの遷移の現
れる確率Ｐ2 を得て、音高の関係の評価値とする。
【００１９】次に、単音Ｂと単音Ａの時間関係を評価す
る（ステップ３０５）。すなわち、単音Ｂの終了時刻を
ｔB とし、単音Ａの開始時刻をｔA とすると、次式を時
間関係の評価値とする。 Ｗ（δｔ）＝ｅｘｐ（（ｔB −ｔA ）／τ） （５） τは時定数であり、Ｗは単音Ａ，Ｂ間の遷移、つまり
「音の流れやすさ」の評価尺度における時間窓に相当す
る。この値が小さいほど、単音Ｂと単音Ａの時間的な関
係が密接であることを表す。
る（ステップ３０５）。すなわち、単音Ｂの終了時刻を
ｔB とし、単音Ａの開始時刻をｔA とすると、次式を時
間関係の評価値とする。 Ｗ（δｔ）＝ｅｘｐ（（ｔB −ｔA ）／τ） （５） τは時定数であり、Ｗは単音Ａ，Ｂ間の遷移、つまり
「音の流れやすさ」の評価尺度における時間窓に相当す
る。この値が小さいほど、単音Ｂと単音Ａの時間的な関
係が密接であることを表す。
【００２０】次に、単音Ｂと単音Ａの役割を評価する
（ステップ３０６）。ここで、単音の役割とは、主旋律
（アンサンブル演奏の場合、その時刻において最高音と
なることが多い）、ベースライン（同、最低音となるこ
とが多い）などのような、演奏における音楽的な役割の
ことである。ある役割をもつ音は、同じ役割をもつ音と
の連続性が大きいと考えられる。この役割の評価も遷移
の現われやすさとして次のように確率で表すことができ
る。
（ステップ３０６）。ここで、単音の役割とは、主旋律
（アンサンブル演奏の場合、その時刻において最高音と
なることが多い）、ベースライン（同、最低音となるこ
とが多い）などのような、演奏における音楽的な役割の
ことである。ある役割をもつ音は、同じ役割をもつ音と
の連続性が大きいと考えられる。この役割の評価も遷移
の現われやすさとして次のように確率で表すことができ
る。
【００２１】
Ｐ3 （ｎk ，ｎk-1 ）＝Ｐ（Ｓk ｜Ｓk-1 ）
Ｓk はｋ番目の単音の役割を表し、これを単音の役割可
担性と呼ぶ、例えばＰ（Ｓk ｜Ｓk-1 ）はｎk-1 が最高
（最低）音であったときｎk も最高（最低）音である確
率を表す。この役割可担性は次式のようにＮ−ｇｒａｍ
の形を用いて表すこともできる。
担性と呼ぶ、例えばＰ（Ｓk ｜Ｓk-1 ）はｎk-1 が最高
（最低）音であったときｎk も最高（最低）音である確
率を表す。この役割可担性は次式のようにＮ−ｇｒａｍ
の形を用いて表すこともできる。
【００２２】
Ｐ3 ＝Ｐ（Ｓk ｜Ｓk-1 ，Ｓk-2 ，…，Ｓk-N+1 ）
Ｓk-1 ，Ｓk-2 ，…，Ｓk-N+1 はそれぞれ最高音又は最
低音であり、この系列の次のＳk が最高（最低）音であ
る確率がＰ3 である。Ｐ3 は統計的分析によって得るこ
とができるが、次の実験式として求めることもできる。
低音であり、この系列の次のＳk が最高（最低）音であ
る確率がＰ3 である。Ｐ3 は統計的分析によって得るこ
とができるが、次の実験式として求めることもできる。
【００２３】Ｐ3 ＝ａｑ＋ｂ
ａ，ｂは定数で、ｑは既存の単音の内の音の流れ（ｍｕ
ｓｉｃ ｓｔｒｅａｍ）上の最大１０個前までの単音に
占める最高（最低）音であった単音の割合である。次
に、ステップ３０３〜ステップ３０６で得られた評価値
を統合して出力する（ステップ３０７）。評価値の統合
は、それぞれの評価値の対数の重みつきの和 Ｚ（Ａ，Ｂ）＝ＷΣi ｛−ｗi log Ｐi ( Ａ，Ｂ）｝ を計算することによって行う。この評価値が小さいほ
ど、単音Ｂと単音Ａの関連性が高いことを表す。続い
て、ステップ３０２に戻って、次の単音の組合せを選択
して、関連する可能性のある全ての組合せを評価するま
で処理を繰り返す。
ｓｉｃ ｓｔｒｅａｍ）上の最大１０個前までの単音に
占める最高（最低）音であった単音の割合である。次
に、ステップ３０３〜ステップ３０６で得られた評価値
を統合して出力する（ステップ３０７）。評価値の統合
は、それぞれの評価値の対数の重みつきの和 Ｚ（Ａ，Ｂ）＝ＷΣi ｛−ｗi log Ｐi ( Ａ，Ｂ）｝ を計算することによって行う。この評価値が小さいほ
ど、単音Ｂと単音Ａの関連性が高いことを表す。続い
て、ステップ３０２に戻って、次の単音の組合せを選択
して、関連する可能性のある全ての組合せを評価するま
で処理を繰り返す。
【００２４】単音グラフ作成手段４（図５）では、単音
をノードとし、いわゆる最急降下法によって、局所的に
最も関連性の高い単音どうし、つまり前記Ｚが最小とな
る方向に順次単音をリンクで結びつけて、時間を追って
順次グラフを生成する処理を行う。まず、音源種類候補
生成手段２で生成された、音源種類候補の情報をともな
った単音のうちで、未処理の単音を検索し（ステップ４
０１）、未処理の単音がなければ処理を終了する。未処
理の単音があれば、その単音（これを単音Ａとする）の
ノードを作成する（ステップ４０２）。次に、単音関連
性評価手段３の処理結果を用いて、既に作成した単音ノ
ード（単音Ａよりも早い開始時刻をもつ単音に対応す
る）の中から、単音Ａと最大の関連（Ｚが最小）をもつ
単音（これを単音Ｂとする）を選択する（ステップ４０
３）。続いて、単音Ｂから見て単音Ａが最大の関連（Ｚ
が最小）をもつかどうかを調べ（ステップ４０４）、も
しもたないならば、ステップ４０１に戻り、もしもつな
らば、単音Ｂに既に下位の（時間的に後の）リンクが存
在しているかどうかを調べる（ステップ４０５）。もし
なければ、直ちに、またもし既にリンクがあれば、これ
を切断した上で（ステップ４０６）、単音Ｂのノードか
ら単音Ａのノードにリンクを作成して（ステップ４０
７）、ステップ４０１に戻る。このようにして作成され
たグラフは、強い関連をもつ単音のつながりをグラフの
構造として表現したものである。
をノードとし、いわゆる最急降下法によって、局所的に
最も関連性の高い単音どうし、つまり前記Ｚが最小とな
る方向に順次単音をリンクで結びつけて、時間を追って
順次グラフを生成する処理を行う。まず、音源種類候補
生成手段２で生成された、音源種類候補の情報をともな
った単音のうちで、未処理の単音を検索し（ステップ４
０１）、未処理の単音がなければ処理を終了する。未処
理の単音があれば、その単音（これを単音Ａとする）の
ノードを作成する（ステップ４０２）。次に、単音関連
性評価手段３の処理結果を用いて、既に作成した単音ノ
ード（単音Ａよりも早い開始時刻をもつ単音に対応す
る）の中から、単音Ａと最大の関連（Ｚが最小）をもつ
単音（これを単音Ｂとする）を選択する（ステップ４０
３）。続いて、単音Ｂから見て単音Ａが最大の関連（Ｚ
が最小）をもつかどうかを調べ（ステップ４０４）、も
しもたないならば、ステップ４０１に戻り、もしもつな
らば、単音Ｂに既に下位の（時間的に後の）リンクが存
在しているかどうかを調べる（ステップ４０５）。もし
なければ、直ちに、またもし既にリンクがあれば、これ
を切断した上で（ステップ４０６）、単音Ｂのノードか
ら単音Ａのノードにリンクを作成して（ステップ４０
７）、ステップ４０１に戻る。このようにして作成され
たグラフは、強い関連をもつ単音のつながりをグラフの
構造として表現したものである。
【００２５】図１２に示すように、新ノードｎk から既
存ノードｎのリンク候補ｌ1 〜ｌ4のうちで、最大の関
連があるものｌ1 を選択し、そのリンクｌ1 で接続され
るノードｎk-3 からのリンク候補ｇ1 〜ｇ3 のうちで最
も関連があるものｇ1 を選択し、ｌ1 ＝ｇ1 であれば、
それをリンクとし、ノードｎk-3 からリンクｇ1 以外の
方向にリンクが存在していれば、そのリンクは切断す
る。
存ノードｎのリンク候補ｌ1 〜ｌ4のうちで、最大の関
連があるものｌ1 を選択し、そのリンクｌ1 で接続され
るノードｎk-3 からのリンク候補ｇ1 〜ｇ3 のうちで最
も関連があるものｇ1 を選択し、ｌ1 ＝ｇ1 であれば、
それをリンクとし、ノードｎk-3 からリンクｇ1 以外の
方向にリンクが存在していれば、そのリンクは切断す
る。
【００２６】音源種類選択手段５では、単音グラフ作成
手段４で作成されたグラフを用いて、単音の音源種類確
信度を更新した上で、確信度最大の音源種類を選択す
る。音源種類確信度の更新の基礎となる原理はベイズの
定理に基づくものであり、原理としては公知のもの（例
えば、柏野邦夫ほか：「音楽情景分析の処理モデルＯＰ
ＴＩＭＡにおける単音の認識」、電子情報通信学会論文
誌、Ｊ７９−Ｄ−II、ｐｐ．１７５１−１７６１、１９
９６年１１月）である。この原理に基づいて確信度の更
新を行うグラフは、ベイジアンネットワークと呼ばれ
る。
手段４で作成されたグラフを用いて、単音の音源種類確
信度を更新した上で、確信度最大の音源種類を選択す
る。音源種類確信度の更新の基礎となる原理はベイズの
定理に基づくものであり、原理としては公知のもの（例
えば、柏野邦夫ほか：「音楽情景分析の処理モデルＯＰ
ＴＩＭＡにおける単音の認識」、電子情報通信学会論文
誌、Ｊ７９−Ｄ−II、ｐｐ．１７５１−１７６１、１９
９６年１１月）である。この原理に基づいて確信度の更
新を行うグラフは、ベイジアンネットワークと呼ばれ
る。
【００２７】ベイジアンネットワークによれば、各ノー
ドにおける確信度ベクトル（ここでは、音源種類候補に
対する確信度）と、リンクで結ばれたノード間の条件付
確率とを与えることによって、ノードの確信度ベクトル
を、リンクを考慮した上での値に更新することができ
る。これは、各ノードにおける確信度ベクトルを、その
ノードよりも上位（ここでは、時間的に前）のノードに
よってもたらされるそのノードへの影響πと、そのノー
ドよりも下位のノードによってもたらされるそのノード
への影響λとの積で与えられることと、λとπとが、グ
ラフ上をそれぞれ上位方向・下位方向にたどりながら順
次定めることができるという性質によるものである。
ドにおける確信度ベクトル（ここでは、音源種類候補に
対する確信度）と、リンクで結ばれたノード間の条件付
確率とを与えることによって、ノードの確信度ベクトル
を、リンクを考慮した上での値に更新することができ
る。これは、各ノードにおける確信度ベクトルを、その
ノードよりも上位（ここでは、時間的に前）のノードに
よってもたらされるそのノードへの影響πと、そのノー
ドよりも下位のノードによってもたらされるそのノード
への影響λとの積で与えられることと、λとπとが、グ
ラフ上をそれぞれ上位方向・下位方向にたどりながら順
次定めることができるという性質によるものである。
【００２８】単音グラフ作成手段４（図６）において
は、まず、下位方向から上位方向にたどりながら、各ノ
ードにおけるλ値を計算する（ステップ５０１）。次
に、グラフを上位方向から下位方向にたどりながら、各
ノードにおけるπ値を計算する（ステップ５０２）。こ
の後、各ノードにおいて、λ値とπ値との積を計算する
ことにより、各ノードでの確信度が求められる（ステッ
プ５０３）。最後に、各ノードで確信度最大の音源種類
候補を出力する（ステップ５０４）。
は、まず、下位方向から上位方向にたどりながら、各ノ
ードにおけるλ値を計算する（ステップ５０１）。次
に、グラフを上位方向から下位方向にたどりながら、各
ノードにおけるπ値を計算する（ステップ５０２）。こ
の後、各ノードにおいて、λ値とπ値との積を計算する
ことにより、各ノードでの確信度が求められる（ステッ
プ５０３）。最後に、各ノードで確信度最大の音源種類
候補を出力する（ステップ５０４）。
【００２９】ステップ５０１から５０３を簡単な例で説
明する。ノードＡとノードＢが、この順にリンクで結ば
れており、ノードＡには、音源種類候補と確信度が が、またノードＢには、 と与えられているとする。さらに、リンクで結ばれてい
る単音が同じ音源種類で演奏されている確率を０．９、
違う音源種類で演奏されている確率を０．１とする（こ
れらの値は、単音関連性評価過程で計算される単音どう
しの関連性の強さによって変えることも考えられる）。
このとき、ステップ５０１では、下位ノードであるノー
ドＢのλA を用いてノードＡのλA を更新する。更新式
は、ベイジアンネットワークにおける情報伝搬法より、 と与えられるので（αは正規化定数）、 となる（ステップ５０１）。次に、ノードＡのπA を用
いてノードＢのπB を更新する。更新式は、ベイジアン
ネットワークにおける情報伝搬法より、ノードＢのほか
にはノードＡから直接リンクのつながっているノードが
ない場合には、 と与えられる（βは正規化定数）。この例では、πA は
等確率と仮定すると、単にπB も等確率となる（ステッ
プ５０２）。結局、ノードＡの音源種類候補における確
信度Ｐを計算すると、πとλの積より、 と計算でき（ステップ５０３）、フルートの可能性が高
いノードＢと関連が強いという情報によって、ノードＡ
がフルートの単音である可能性が、以前に増して強まっ
たことが分かる。なお図１０の単音ノードに対し、単音
からの作成処理及び音源種類仮説選択処理中のステップ
５０３までの処理を行った単音グラフを図１１に示す。
明する。ノードＡとノードＢが、この順にリンクで結ば
れており、ノードＡには、音源種類候補と確信度が が、またノードＢには、 と与えられているとする。さらに、リンクで結ばれてい
る単音が同じ音源種類で演奏されている確率を０．９、
違う音源種類で演奏されている確率を０．１とする（こ
れらの値は、単音関連性評価過程で計算される単音どう
しの関連性の強さによって変えることも考えられる）。
このとき、ステップ５０１では、下位ノードであるノー
ドＢのλA を用いてノードＡのλA を更新する。更新式
は、ベイジアンネットワークにおける情報伝搬法より、 と与えられるので（αは正規化定数）、 となる（ステップ５０１）。次に、ノードＡのπA を用
いてノードＢのπB を更新する。更新式は、ベイジアン
ネットワークにおける情報伝搬法より、ノードＢのほか
にはノードＡから直接リンクのつながっているノードが
ない場合には、 と与えられる（βは正規化定数）。この例では、πA は
等確率と仮定すると、単にπB も等確率となる（ステッ
プ５０２）。結局、ノードＡの音源種類候補における確
信度Ｐを計算すると、πとλの積より、 と計算でき（ステップ５０３）、フルートの可能性が高
いノードＢと関連が強いという情報によって、ノードＡ
がフルートの単音である可能性が、以前に増して強まっ
たことが分かる。なお図１０の単音ノードに対し、単音
からの作成処理及び音源種類仮説選択処理中のステップ
５０３までの処理を行った単音グラフを図１１に示す。
【００３０】前記評価値の統合した値Ｚにおける各評価
値の重みｗi としては例えば音色類似性に対してはｗ1
＝１．０、音高遷移性に対してはｗ2 ＝０．３５、役割
可担性についてはｗ3 ＝１．０、ａ＝０．８、ｂ＝０．
１時間関係についてはτ＝２秒とそれぞれ選定される。
なおこれら評価値は少くとも１つ用いればよく、この場
合、前記重みｗi が小さいもの程、省略可能である。関
連性評価をＺで定義して、Ｚが最小となるように単音を
順次つないだが、関連性が高いものを順次つなぐように
関連性評価をしてもよい。
値の重みｗi としては例えば音色類似性に対してはｗ1
＝１．０、音高遷移性に対してはｗ2 ＝０．３５、役割
可担性についてはｗ3 ＝１．０、ａ＝０．８、ｂ＝０．
１時間関係についてはτ＝２秒とそれぞれ選定される。
なおこれら評価値は少くとも１つ用いればよく、この場
合、前記重みｗi が小さいもの程、省略可能である。関
連性評価をＺで定義して、Ｚが最小となるように単音を
順次つないだが、関連性が高いものを順次つなぐように
関連性評価をしてもよい。
【００３１】
【発明の効果】次に、この発明を適用した装置の認識精
度を評価する実験について述べる。実験では、テスト曲
として３パートのアンサンブルにアレンジした図１４に
示す曲を用いた。その曲を高音のパートから順にバイオ
リン、フルート、およびピアノで演奏し、スタジオでモ
ノラル収録して実験用の音響信号試料とした。
度を評価する実験について述べる。実験では、テスト曲
として３パートのアンサンブルにアレンジした図１４に
示す曲を用いた。その曲を高音のパートから順にバイオ
リン、フルート、およびピアノで演奏し、スタジオでモ
ノラル収録して実験用の音響信号試料とした。
【００３２】この実験では音源同定処理の精度を測るた
め、音高と時刻については人手で正解を与えて実験し
た。実験に用いたパラメータ値ｗ1 〜ｗ3 、τ，ａ，ｂ
は先に例として上げたものを用いた。音源同定精度Ｒの
定義は Ｒ＝１００（（right −wrong ）／total ・1/2 ＋1/2
）（％） とした。ｒｉｇｈｔは出力に含まれる音符のうち音高と
音色の両方が正しく認識された音符の数、ｗｒｏｎｇは
出力に含まれる音符のうち、音高と音色のどちらか又は
両方が正しくない音符の数、ｔｏｔａｌは入力（正解）
に含まれる総音符数である。テンプレートフィルタリン
グのタップ数は４０とした。テスト曲の演奏は、テンプ
レートの蓄積に用いたものとは別の各楽器個体を用い
た。
め、音高と時刻については人手で正解を与えて実験し
た。実験に用いたパラメータ値ｗ1 〜ｗ3 、τ，ａ，ｂ
は先に例として上げたものを用いた。音源同定精度Ｒの
定義は Ｒ＝１００（（right −wrong ）／total ・1/2 ＋1/2
）（％） とした。ｒｉｇｈｔは出力に含まれる音符のうち音高と
音色の両方が正しく認識された音符の数、ｗｒｏｎｇは
出力に含まれる音符のうち、音高と音色のどちらか又は
両方が正しくない音符の数、ｔｏｔａｌは入力（正解）
に含まれる総音符数である。テンプレートフィルタリン
グのタップ数は４０とした。テスト曲の演奏は、テンプ
レートの蓄積に用いたものとは別の各楽器個体を用い
た。
【００３３】図１０は、既に述べたように、音源種類候
補生成手段２によって出力された音源種類候補である。
また図１１は、音源種類選択手段のステップ５０３まで
の処理を行った結果である。図１０と図１１を比較する
と、バイオリンのパート、フルートのパート、ピアノの
パートが正しくリンクによって結ばれ、確信度の更新に
よって、各ノードにおいてはそれぞれのパートに対応す
る音源種類の確信度が最大となっていることが分かる。
補生成手段２によって出力された音源種類候補である。
また図１１は、音源種類選択手段のステップ５０３まで
の処理を行った結果である。図１０と図１１を比較する
と、バイオリンのパート、フルートのパート、ピアノの
パートが正しくリンクによって結ばれ、確信度の更新に
よって、各ノードにおいてはそれぞれのパートに対応す
る音源種類の確信度が最大となっていることが分かる。
【００３４】図１３に実験結果の同定確度を、図１５に
記載結果を楽譜形式でそれぞれ示し、図１５Ａは従来法
の結果、図１５Ｂはこの発明方法の結果であり、また音
価の同定処理は行わず、全て四分音符として実時間上に
示している。図１５、Ａ、Ｂを比較すると、この発明方
法によればいくつかの音符の同定誤りが正しく修正され
ていることがわかる。
記載結果を楽譜形式でそれぞれ示し、図１５Ａは従来法
の結果、図１５Ｂはこの発明方法の結果であり、また音
価の同定処理は行わず、全て四分音符として実時間上に
示している。図１５、Ａ、Ｂを比較すると、この発明方
法によればいくつかの音符の同定誤りが正しく修正され
ていることがわかる。
【００３５】また図１３によれば単音関連性評価手段３
で用いた３つの要因は、音源同定精度の改善に対してい
ずれも効果的であり、３つ全てを用いた場合には、これ
ら関連情報を用いない場合に比べ、誤りをおよそ２／３
に減少させることができた。また音高遷移性と音色類似
性については単独で用いただけでは、音源同定精度に対
してはかえって低下させる結果となっている。この図１
４からは役割可担性のみを用いてもよく、また、音高遷
移性と音色類似性の組合せ、音高遷移性と役割可担性の
組合せ、音色類似性と役割可担性の組合せの順に音源同
定精度がよくなっている。全体を用いると、関連性情報
（単音間の音の流れ）を考慮しない場合は６６．３％で
あった音源同定精度が、関連情報を考慮したこの発明に
よれば７８．９％まで向上した。
で用いた３つの要因は、音源同定精度の改善に対してい
ずれも効果的であり、３つ全てを用いた場合には、これ
ら関連情報を用いない場合に比べ、誤りをおよそ２／３
に減少させることができた。また音高遷移性と音色類似
性については単独で用いただけでは、音源同定精度に対
してはかえって低下させる結果となっている。この図１
４からは役割可担性のみを用いてもよく、また、音高遷
移性と音色類似性の組合せ、音高遷移性と役割可担性の
組合せ、音色類似性と役割可担性の組合せの順に音源同
定精度がよくなっている。全体を用いると、関連性情報
（単音間の音の流れ）を考慮しない場合は６６．３％で
あった音源同定精度が、関連情報を考慮したこの発明に
よれば７８．９％まで向上した。
【００３６】実験の結果をまとめると、音源種類判定の
正解率は関連性情報を適用しない場合は６６．３［％］
であるが、関連性情報を適用した場合は７８．９［％］
に向上した。関連性情報の適用、すなわちこの発明の中
心部分である単音関連性評価過程、単音グラフ作成過
程、および音源種類選択過程の処理により、音源種類判
定の正解率が向上していることが分かる。
正解率は関連性情報を適用しない場合は６６．３［％］
であるが、関連性情報を適用した場合は７８．９［％］
に向上した。関連性情報の適用、すなわちこの発明の中
心部分である単音関連性評価過程、単音グラフ作成過
程、および音源種類選択過程の処理により、音源種類判
定の正解率が向上していることが分かる。
【００３７】以上、説明したように、この発明によれ
ば、音楽演奏における単音の音楽的なつながりを考慮し
て楽器種類の判別を行うことによって、同時に数多くの
単音が発音している場合や、一連の演奏において単音の
性質が局所的に大きく変動するような場合であって、従
来の方法に比較して高い精度で音楽演奏に含まれる楽器
音の音源種類判別処理を行うことができる。
ば、音楽演奏における単音の音楽的なつながりを考慮し
て楽器種類の判別を行うことによって、同時に数多くの
単音が発音している場合や、一連の演奏において単音の
性質が局所的に大きく変動するような場合であって、従
来の方法に比較して高い精度で音楽演奏に含まれる楽器
音の音源種類判別処理を行うことができる。
【図１】この発明による音楽演奏に含まれる楽器音の音
源種類判別方法を適用した機能構成を示すブロック図。
源種類判別方法を適用した機能構成を示すブロック図。
【図２】図１中の単音抽出手段１の処理手順を示す流れ
図。
図。
【図３】図１中の音源種類候補生成手段２の処理手順を
示す流れ図。
示す流れ図。
【図４】図１中の単音関連性評価手段３の処理手順を示
す流れ図。
す流れ図。
【図５】図１中の単音グラフ作成手段４の処理手順を示
す流れ図。
す流れ図。
【図６】図１中の音源種類選択手段５の処理手順を示す
流れ図。
流れ図。
【図７】入力音響信号波形の一例を示す図。
【図８】図７の波形に対して周波数解析を行った結果得
られたスペクトログラムを示す図。
られたスペクトログラムを示す図。
【図９】図８のスペクトログラムに対して周波数成分抽
出処理を行った結果を示す図。
出処理を行った結果を示す図。
【図１０】図９の周波数成分に対して単音抽出処理およ
び音源種類仮説生成処理を行って得られた単音ノードを
示す図。
び音源種類仮説生成処理を行って得られた単音ノードを
示す図。
【図１１】図１０の単音ノードに対して、単音グラフ作
成処理および音源種類仮説選択処理の中のステップ５０
３までの処理を行った結果を示す図。
成処理および音源種類仮説選択処理の中のステップ５０
３までの処理を行った結果を示す図。
【図１２】単音グラフ作成の説明図。
【図１３】テスト曲に対する音源同定実験結果を同定確
度として示した図。
度として示した図。
【図１４】この発明方法による処理精度を評価する実験
に用いた楽譜を示す図。
に用いた楽譜を示す図。
【図１５】前記実験結果を楽譜形式で示した図で、Ａは
従来法、Ｂはこの発明方法による図である。
従来法、Ｂはこの発明方法による図である。
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平６−67654（ＪＰ，Ａ)
特開 平５−333857（ＪＰ，Ａ)
特開 平４−261592（ＪＰ，Ａ)
特開 平５−100660（ＪＰ，Ａ)
特開 平５−181464（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G10H 1/00 - 1/00 102
G10G 1/00 - 3/04
Claims (3)
- 【請求項１】 音楽演奏の音響信号に含まれている単音
を抽出する単音抽出過程と、 上記抽出された単音の音源種類（単音を演奏している楽
器名）の候補を、その各候補に対する確信度とともに出
力する音源種類候補生成過程と、 一連の音楽演奏において、各単音間の関連性の高さを評
価する単音関連性評価過程と、 上記音源種類候補生成過程および上記単音関連性評価過
程の各出力に基づいて、単音をノードとし、関連性の高
い単音どうしをリンクとして表現したグラフを作成する
単音グラフ作成過程と、 この単音グラフ作成過程によって作成された単音グラフ
上で、関連性の強い単音は同一の楽器種類で演奏される
可能性が大きいという音楽の一般的性質を利用して、上
記音源種類候補生成過程によって出力された音源種類候
補に対する確信度を変更した上で、最も確信度の高い音
源種類候補を選択して出力する音源種類選択過程とを有
することを特徴とする、音楽演奏に含まれる楽器音の音
源種類判別方法。 - 【請求項２】 上記単音関連性評価過程は、異なる二つ
の単音どうしの関連性を、音高の遷移確率、音色の類似
性、および時間の近接性の、少くとも一つについてのそ
れぞれの評価値を用いて評価することを特徴とする請求
項１記載の音楽演奏に含まれる楽器音の音源種類判別方
法。 - 【請求項３】 上記単音グラフ作成過程は、単音をノー
ドとし、関連性の高い単音どうしをリンクとして、上記
音源種類選択過程での上記確信度の変更を、確率値の伝
搬によって行うことができるベイジアンネットワークを
作成することを特徴とする請求項１または２記載の音楽
演奏に含まれる楽器音の音源種類判別方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12586497A JP3508978B2 (ja) | 1997-05-15 | 1997-05-15 | 音楽演奏に含まれる楽器音の音源種類判別方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12586497A JP3508978B2 (ja) | 1997-05-15 | 1997-05-15 | 音楽演奏に含まれる楽器音の音源種類判別方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10319948A JPH10319948A (ja) | 1998-12-04 |
| JP3508978B2 true JP3508978B2 (ja) | 2004-03-22 |
Family
ID=14920833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12586497A Expired - Fee Related JP3508978B2 (ja) | 1997-05-15 | 1997-05-15 | 音楽演奏に含まれる楽器音の音源種類判別方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3508978B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001027895A (ja) * | 1999-07-14 | 2001-01-30 | Canon Inc | 信号分離方法及び装置 |
| DE60038535T2 (de) | 1999-08-26 | 2009-07-02 | Sony Corp. | Verfahren und vorrichtung, speicherverfahren und - vorrichtung zur informationsbeschaffung und verarbeitung |
| KR100671505B1 (ko) * | 2005-04-21 | 2007-02-28 | 인하대학교 산학협력단 | 베이즈법을 적용한 악기신호의 인식 및 장르분류 방법 |
| RU2427077C2 (ru) * | 2005-12-05 | 2011-08-20 | Телефонактиеболагет Лм Эрикссон (Пабл) | Обнаружение эхосигнала |
| JP2007193222A (ja) * | 2006-01-20 | 2007-08-02 | Casio Comput Co Ltd | メロディ入力装置及び楽曲検索装置 |
| JP2007240552A (ja) * | 2006-03-03 | 2007-09-20 | Kyoto Univ | 楽器音認識方法、楽器アノテーション方法、及び楽曲検索方法 |
| JP4333700B2 (ja) * | 2006-06-13 | 2009-09-16 | ソニー株式会社 | 和音推定装置及び方法 |
| WO2009101703A1 (ja) * | 2008-02-15 | 2009-08-20 | Pioneer Corporation | 楽曲データ分析装置及び楽器種類検出装置、楽曲データ分析方法及び楽器種類検出装置並びに楽曲データ分析用プログラム及び楽器種類検出用プログラム |
| JP4666320B2 (ja) * | 2008-05-08 | 2011-04-06 | Ｎｅｃエンジニアリング株式会社 | リミッタ・コンプレッサ装置 |
| KR101092228B1 (ko) * | 2009-12-21 | 2011-12-12 | 세종대학교산학협력단 | 음원 분류를 위한 악기 인식 시스템 및 방법 |
| JP2013015601A (ja) * | 2011-07-01 | 2013-01-24 | Dainippon Printing Co Ltd | 音源の識別装置および音源に連動する情報処理装置 |
| CN103854644B (zh) * | 2012-12-05 | 2016-09-28 | 中国传媒大学 | 单声道多音音乐信号的自动转录方法及装置 |
| JP6565548B2 (ja) * | 2015-09-29 | 2019-08-28 | ヤマハ株式会社 | 音響解析装置 |
| CN111681674B (zh) * | 2020-06-01 | 2024-03-08 | 中国人民大学 | 一种基于朴素贝叶斯模型的乐器种类识别方法和系统 |
-
1997
- 1997-05-15 JP JP12586497A patent/JP3508978B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10319948A (ja) | 1998-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Turetsky et al. | Ground-truth transcriptions of real music from force-aligned midi syntheses | |
| US7064262B2 (en) | Method for converting a music signal into a note-based description and for referencing a music signal in a data bank | |
| Marolt | A connectionist approach to automatic transcription of polyphonic piano music | |
| US7035742B2 (en) | Apparatus and method for characterizing an information signal | |
| Dixon | On the computer recognition of solo piano music | |
| Goto | A robust predominant-F0 estimation method for real-time detection of melody and bass lines in CD recordings | |
| Brossier | Automatic annotation of musical audio for interactive applications | |
| Eronen | Automatic musical instrument recognition | |
| Klapuri et al. | Robust multipitch estimation for the analysis and manipulation of polyphonic musical signals | |
| Yoshii et al. | Drum sound recognition for polyphonic audio signals by adaptation and matching of spectrogram templates with harmonic structure suppression | |
| Klapuri | Musical meter estimation and music transcription | |
| JP3508978B2 (ja) | 音楽演奏に含まれる楽器音の音源種類判別方法 | |
| Zhu et al. | Precise pitch profile feature extraction from musical audio for key detection | |
| Zhu et al. | Music key detection for musical audio | |
| US6766288B1 (en) | Fast find fundamental method | |
| Vincent et al. | Instrument identification in solo and ensemble music using independent subspace analysis | |
| Wager et al. | Deep autotuner: A pitch correcting network for singing performances | |
| Heydarian | Automatic recognition of Persian musical modes in audio musical signals | |
| Giannoulis et al. | Improving instrument recognition in polyphonic music through system integration | |
| Li et al. | Pitch detection in polyphonic music using instrument tone models | |
| Gillet et al. | Drum Track Transcription of Polyphonic Music Using Noise Subspace Projection. | |
| Kitahara et al. | Instrogram: A new musical instrument recognition technique without using onset detection nor f0 estimation | |
| JP3934556B2 (ja) | 信号識別子の抽出方法及びその装置、信号識別子からデータベースを作成する方法及びその装置、及び、検索時間領域信号を参照する方法及びその装置 | |
| Yin et al. | Music transcription using an instrument model | |
| Chuan et al. | The KUSC classical music dataset for audio key finding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20031218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031218 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100109 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |