JP3501199B2 - 音響信号分離方法 - Google Patents
音響信号分離方法Info
- Publication number
- JP3501199B2 JP3501199B2 JP03181397A JP3181397A JP3501199B2 JP 3501199 B2 JP3501199 B2 JP 3501199B2 JP 03181397 A JP03181397 A JP 03181397A JP 3181397 A JP3181397 A JP 3181397A JP 3501199 B2 JP3501199 B2 JP 3501199B2
- Authority
- JP
- Japan
- Prior art keywords
- waveform
- acoustic signal
- candidate
- fundamental frequency
- input acoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】この発明は、複数の音源から
の音が混在している音響信号をもとに、この音響信号に
含まれる個々の音源の音を分離抽出する音響信号の分離
方法に関する。
の音が混在している音響信号をもとに、この音響信号に
含まれる個々の音源の音を分離抽出する音響信号の分離
方法に関する。
【０００２】
【従来の技術】従来、音響信号分離方法に関しては、く
し型フィルタなど特定の周波数帯域のみを通過させるフ
ィルタ装置によって音源の分離を図る方法が知られてい
る。しかし、この方法では、複数の音源がある周波数帯
域を共有した場合には適切な分離処理が行えないため
に、一般に数多くの音源が存在した場合に分離が難しい
という欠点があった。
し型フィルタなど特定の周波数帯域のみを通過させるフ
ィルタ装置によって音源の分離を図る方法が知られてい
る。しかし、この方法では、複数の音源がある周波数帯
域を共有した場合には適切な分離処理が行えないため
に、一般に数多くの音源が存在した場合に分離が難しい
という欠点があった。
【０００３】また、入力音響信号に対して周波数解析を
行った後、パワースペクトルの特徴に着目してクラスタ
リングの手法により音響信号を分離する方法が知られて
いる。しかし、この方法はボトムアップに処理が行われ
るため、雑音が混入した場合や数多くの音源が含まれて
いた場合には、適切に処理できないという欠点があっ
た。
行った後、パワースペクトルの特徴に着目してクラスタ
リングの手法により音響信号を分離する方法が知られて
いる。しかし、この方法はボトムアップに処理が行われ
るため、雑音が混入した場合や数多くの音源が含まれて
いた場合には、適切に処理できないという欠点があっ
た。
【０００４】また、音源のモデルをパワースペクトル等
の形で装置内に記憶しておき、入力音響信号に適合する
モデルを選択し照合することによって音響信号の分離を
行う方法が知られている。しかしながら、この方法で
は、モデルが固定的であるために、音源の多様性や変動
に対して対応できないという欠点があった。従って、上
記の各方法は、数多くの音源が存在し、それらの音源が
多様であり変動をもつ場合にあっては、十分な音響信号
分離処理が期待し難い。
の形で装置内に記憶しておき、入力音響信号に適合する
モデルを選択し照合することによって音響信号の分離を
行う方法が知られている。しかしながら、この方法で
は、モデルが固定的であるために、音源の多様性や変動
に対して対応できないという欠点があった。従って、上
記の各方法は、数多くの音源が存在し、それらの音源が
多様であり変動をもつ場合にあっては、十分な音響信号
分離処理が期待し難い。
【０００５】
【発明が解決しようとする課題】この発明は、数多くの
音源が存在し、それらの音源が多様であり変動をもつ場
合であっても十分に分離することができ、つまり公知の
方法と比較して高い精度で音響信号を分離することがで
きる音響信号分離方法を提供することを目的としてい
る。
音源が存在し、それらの音源が多様であり変動をもつ場
合であっても十分に分離することができ、つまり公知の
方法と比較して高い精度で音響信号を分離することがで
きる音響信号分離方法を提供することを目的としてい
る。
【０００６】
【課題を解決するための手段】この発明によれば、入力
音響信号を時間的に区分し、その区分入力音響信号に含
まれている可能性のある全ての波形を、波形記憶手段に
記憶された記憶波形中から選択して候補波形を得、これ
ら各候補波形にフィルタ処理を施した結果の和と当該区
分入力音響信号波形との平均自乗誤差を最小にするよう
に前記フィルタ処理の係数を求め、この求めたフィルタ
係数のフィルタ処理を各候補波形に対して行う。
音響信号を時間的に区分し、その区分入力音響信号に含
まれている可能性のある全ての波形を、波形記憶手段に
記憶された記憶波形中から選択して候補波形を得、これ
ら各候補波形にフィルタ処理を施した結果の和と当該区
分入力音響信号波形との平均自乗誤差を最小にするよう
に前記フィルタ処理の係数を求め、この求めたフィルタ
係数のフィルタ処理を各候補波形に対して行う。
【０００７】
【発明の実施の形態】次に、この発明の実施形態につい
て図面を用いて説明する。図１は、この発明方法を適用
した音響信号分離装置の機能構成を示す。なお、以下の
説明はこの装置の一応用例として音楽の演奏を楽器ごと
の演奏に分離する場合を例にとって説明する。
て図面を用いて説明する。図１は、この発明方法を適用
した音響信号分離装置の機能構成を示す。なお、以下の
説明はこの装置の一応用例として音楽の演奏を楽器ごと
の演奏に分離する場合を例にとって説明する。
【０００８】この音響信号分離装置１０は、入力端子１
１からの混合音の音響信号波形を入力とし出力端子１２
から音源ごとの音響信号波形を出力する。入力音響信号
（波形）は例えば４８ｋＨｚ、９６ｋＨｚなどでサンプ
リングされ、その各サンプルのデジタル値の時系列とし
て入力される。入力端子１１からの音響信号はこれに含
まれる音の立上り成分が波形区分手段１３で検出され、
その音響信号が時間的に区分される。この区分は一定時
間ごとの区分としてもよい。
１からの混合音の音響信号波形を入力とし出力端子１２
から音源ごとの音響信号波形を出力する。入力音響信号
（波形）は例えば４８ｋＨｚ、９６ｋＨｚなどでサンプ
リングされ、その各サンプルのデジタル値の時系列とし
て入力される。入力端子１１からの音響信号はこれに含
まれる音の立上り成分が波形区分手段１３で検出され、
その音響信号が時間的に区分される。この区分は一定時
間ごとの区分としてもよい。
【０００９】波形記憶手段１４に、この装置１０が対象
とする音源波形のテンプレートをあらかじめ記憶してあ
る。候補波形選択手段１５で各区分ごとに、入力音響信
号波形に対し、基本周波数、パワー包絡など基本的な音
の特徴量を分析し、その結果を参照して、波形記憶手段
１４に蓄えられている波形の中から、その入力音響信号
波形に含まれている可能性のある波形を選択する。
とする音源波形のテンプレートをあらかじめ記憶してあ
る。候補波形選択手段１５で各区分ごとに、入力音響信
号波形に対し、基本周波数、パワー包絡など基本的な音
の特徴量を分析し、その結果を参照して、波形記憶手段
１４に蓄えられている波形の中から、その入力音響信号
波形に含まれている可能性のある波形を選択する。
【００１０】これら選択された波形のそれぞれに対して
フィルタ演算を適用した各波形の和と、入力音響信号波
形との自乗平均誤差が最小となるようなフィルタ演算の
係数が係数決定手段１６で決定される。この決定された
フィルタ演算の係数をフィルタ演算手段１７に設定し
て、候補波形選択手段１５で選択された波形のそれぞれ
に対してフィルタ演算を行う。その各フィルタ演算の結
果を、各音源ごとに分離された出力として出力端子１２
に出力される。
フィルタ演算を適用した各波形の和と、入力音響信号波
形との自乗平均誤差が最小となるようなフィルタ演算の
係数が係数決定手段１６で決定される。この決定された
フィルタ演算の係数をフィルタ演算手段１７に設定し
て、候補波形選択手段１５で選択された波形のそれぞれ
に対してフィルタ演算を行う。その各フィルタ演算の結
果を、各音源ごとに分離された出力として出力端子１２
に出力される。
【００１１】次に、上述した手段１３，１５，１６，１
７における各処理を以下に具体的に説明する。波形区分
手段１３では、図２に示すようにまず入力音響信号を読
み込み（ステップ１０１）、その入力音響信号のパワー
変動等に着目して、その入力音響信号に含まれる音の立
上りを検出する（ステップ１０２）。次に、前回の検出
立上りから今回検出された立上り時刻までを区分音響信
号として区分入力音響信号を出力する（ステップ１０
３）。続いて入力音響信号が引続き入力されているかど
うかを調べ（ステップ１０４）、引続き入力されていれ
ばステップ１０２以降の処理を繰り返し、入力が終了し
ていれば処理を終わる。
７における各処理を以下に具体的に説明する。波形区分
手段１３では、図２に示すようにまず入力音響信号を読
み込み（ステップ１０１）、その入力音響信号のパワー
変動等に着目して、その入力音響信号に含まれる音の立
上りを検出する（ステップ１０２）。次に、前回の検出
立上りから今回検出された立上り時刻までを区分音響信
号として区分入力音響信号を出力する（ステップ１０
３）。続いて入力音響信号が引続き入力されているかど
うかを調べ（ステップ１０４）、引続き入力されていれ
ばステップ１０２以降の処理を繰り返し、入力が終了し
ていれば処理を終わる。
【００１２】候補波形選択手段１５では、図３に示すよ
うにまず波形区分手段１３で区分された区分入力音響信
号を読み込む（ステップ２０１）。次に、その各区分入
力音響信号に対して周波数成分を抽出し（ステップ２０
２）、基本周波数およびパワー包絡等の音の特徴量を抽
出する（ステップ２０３）。この特徴量は、その区分入
力音響信号に含まれている可能性のある音の記憶波形を
選択するために用いられる。音の記憶波形は、波形記憶
手段１４にあらかじめ蓄積されているので、これを順に
検査する（ステップ２０４〜２０８）。まず、未検査の
記憶波形があるかどうかを調べ（ステップ２０４）、も
しあれば未検査の記憶波形を一つ選択する（ステップ２
０５）。次に、その記憶波形の基本周波数と、ステップ
２０２で抽出された周波数成分の周波数とを比較し、あ
る範囲内に収まっているかどうかを調べる（ステップ２
０６）。もしある範囲に収まっていなければ、その記憶
波形は当該区分入力音響信号に含まれている可能性は低
いので、ステップ２０４に戻る。前記ある範囲は例えば
次のようにして決める。即ち記憶波形の基本周波数をそ
の大きさ順に並べた場合、ある基本周波数についてみる
と、そのすぐ下の基本周波数との間の半分だけ低い周波
数から、すぐ上の基本周波数との間の半分だけ高い周波
数までの範囲に入るものを候補とする。例えば半音ごと
の記憶波形を設ける場合は、半音は約６％ずつ周波数が
高くなっているから、基本周波数±３％の範囲にあるも
のを候補とする。ステップ２０６でもしある範囲に収ま
っていれば、さらに特徴量に矛盾（例えば発音不可能な
音域であるなど）があるかどうかを調べる（ステップ２
０７）。もし矛盾があれば、その記憶波形は当該区分入
力音響信号に含まれている可能性は低いので、ステップ
２０４に戻る。もし矛盾がなければ、その記憶波形は当
該区分入力音響信号に含まれている可能性が高いので、
候補波形に追加して（ステップ２０８）ステップ２０４
に戻る。ステップ２０４において、未検査の記憶波形が
なければ、その時点までに見出された候補波形を出力し
て（ステップ２０９）終了する。
うにまず波形区分手段１３で区分された区分入力音響信
号を読み込む（ステップ２０１）。次に、その各区分入
力音響信号に対して周波数成分を抽出し（ステップ２０
２）、基本周波数およびパワー包絡等の音の特徴量を抽
出する（ステップ２０３）。この特徴量は、その区分入
力音響信号に含まれている可能性のある音の記憶波形を
選択するために用いられる。音の記憶波形は、波形記憶
手段１４にあらかじめ蓄積されているので、これを順に
検査する（ステップ２０４〜２０８）。まず、未検査の
記憶波形があるかどうかを調べ（ステップ２０４）、も
しあれば未検査の記憶波形を一つ選択する（ステップ２
０５）。次に、その記憶波形の基本周波数と、ステップ
２０２で抽出された周波数成分の周波数とを比較し、あ
る範囲内に収まっているかどうかを調べる（ステップ２
０６）。もしある範囲に収まっていなければ、その記憶
波形は当該区分入力音響信号に含まれている可能性は低
いので、ステップ２０４に戻る。前記ある範囲は例えば
次のようにして決める。即ち記憶波形の基本周波数をそ
の大きさ順に並べた場合、ある基本周波数についてみる
と、そのすぐ下の基本周波数との間の半分だけ低い周波
数から、すぐ上の基本周波数との間の半分だけ高い周波
数までの範囲に入るものを候補とする。例えば半音ごと
の記憶波形を設ける場合は、半音は約６％ずつ周波数が
高くなっているから、基本周波数±３％の範囲にあるも
のを候補とする。ステップ２０６でもしある範囲に収ま
っていれば、さらに特徴量に矛盾（例えば発音不可能な
音域であるなど）があるかどうかを調べる（ステップ２
０７）。もし矛盾があれば、その記憶波形は当該区分入
力音響信号に含まれている可能性は低いので、ステップ
２０４に戻る。もし矛盾がなければ、その記憶波形は当
該区分入力音響信号に含まれている可能性が高いので、
候補波形に追加して（ステップ２０８）ステップ２０４
に戻る。ステップ２０４において、未検査の記憶波形が
なければ、その時点までに見出された候補波形を出力し
て（ステップ２０９）終了する。
【００１３】係数決定手段１６では、まず波形区分手段
１３で区分された区分入力音響信号を読み込む（ステッ
プ３０１）。次に、候補波形選択手段１５で選択された
候補波形を読み込む（ステップ３０２）。続いて、各候
補波形にそれぞれフィルタ演算を適用した結果の各波形
を足し合わせた波形と、当該区分入力音響信号との平均
自乗誤差が最小となるようなフィルタ係数を求めるため
に、連立方程式を作成する（ステップ３０３）。フィル
タとしてＦＩＲ型を用いることにすれば、候補波形にフ
ィルタ演算を適用した結果の波形は ｙn （ｋ）＝Σm=0 M-1 ｈn （ｍ）ｒn （ｋ−ｍ） （１） と書ける。ここで、ｋは標本化された時刻、ｎは候補波
形を数える添字、ｙn （ｋ）はフィルタ演算を適用した
結果の時刻ｋの値、ｈはＦＩＲフィルタのインパルス応
答、ｒは候補波形、Ｍはフィルタの次数である。各候補
波形にフィルタ演算を適用した結果の各波形を足し合わ
せた波形と、当該区分入力音響信号との平均自乗誤差は Ｊ＝Ｅ〔｛ｚ（ｋ）−Σn=0 N-1 ｙn （ｋ）｝2 〕 （２） と書ける。ここでｚ（ｋ）は区分入力音響信号波形の時
刻ｋの値、Ｎは候補波形の数、Ｅは時間平均を表す。こ
れを最小化するための必要条件は、全てのｎとｍに関し
て、偏微分∂Ｊ／∂ｈn （ｍ）が０となることである。
この条件を用いると、Ｎ×Ｍ個の連立一次方程式 Σn=0 N-1 Σm=0 M-1 Ｅ〔ｒi （ｋ−ｌ）ｒj （ｋ−ｍ）〕ｈn （ｍ） ＝Ｅ〔ｒi （ｋ−ｍ）ｚ（ｋ）〕 （３） を導くことができる。方程式（３）をステップ３０３に
おいて作成する。続いて、方程式（３）を解く（ステッ
プ３０４）。方程式（３）は、未知数の個数と方程式の
個数が等しいので、係数行列の逆行列を求めることによ
って解くことができる。求められた係数をステップ３０
５において出力する。
１３で区分された区分入力音響信号を読み込む（ステッ
プ３０１）。次に、候補波形選択手段１５で選択された
候補波形を読み込む（ステップ３０２）。続いて、各候
補波形にそれぞれフィルタ演算を適用した結果の各波形
を足し合わせた波形と、当該区分入力音響信号との平均
自乗誤差が最小となるようなフィルタ係数を求めるため
に、連立方程式を作成する（ステップ３０３）。フィル
タとしてＦＩＲ型を用いることにすれば、候補波形にフ
ィルタ演算を適用した結果の波形は ｙn （ｋ）＝Σm=0 M-1 ｈn （ｍ）ｒn （ｋ−ｍ） （１） と書ける。ここで、ｋは標本化された時刻、ｎは候補波
形を数える添字、ｙn （ｋ）はフィルタ演算を適用した
結果の時刻ｋの値、ｈはＦＩＲフィルタのインパルス応
答、ｒは候補波形、Ｍはフィルタの次数である。各候補
波形にフィルタ演算を適用した結果の各波形を足し合わ
せた波形と、当該区分入力音響信号との平均自乗誤差は Ｊ＝Ｅ〔｛ｚ（ｋ）−Σn=0 N-1 ｙn （ｋ）｝2 〕 （２） と書ける。ここでｚ（ｋ）は区分入力音響信号波形の時
刻ｋの値、Ｎは候補波形の数、Ｅは時間平均を表す。こ
れを最小化するための必要条件は、全てのｎとｍに関し
て、偏微分∂Ｊ／∂ｈn （ｍ）が０となることである。
この条件を用いると、Ｎ×Ｍ個の連立一次方程式 Σn=0 N-1 Σm=0 M-1 Ｅ〔ｒi （ｋ−ｌ）ｒj （ｋ−ｍ）〕ｈn （ｍ） ＝Ｅ〔ｒi （ｋ−ｍ）ｚ（ｋ）〕 （３） を導くことができる。方程式（３）をステップ３０３に
おいて作成する。続いて、方程式（３）を解く（ステッ
プ３０４）。方程式（３）は、未知数の個数と方程式の
個数が等しいので、係数行列の逆行列を求めることによ
って解くことができる。求められた係数をステップ３０
５において出力する。
【００１４】フィルタ演算手段１７では、図５に示すよ
うにまず係数決定手段１６で求められたフィルタ係数を
読み込み（ステップ４０１）、次に候補波形選択手段１
５で選択された候補波形を読み込む（ステップ４０
２）。続いて式（１）のフィルタ演算を行い（ＦＩＲ型
フィルタの場合）（ステップ４０３）、演算結果の波形
を出力する（ステップ４０４）。この波形が、音源ごと
に分離された信号波形である。
うにまず係数決定手段１６で求められたフィルタ係数を
読み込み（ステップ４０１）、次に候補波形選択手段１
５で選択された候補波形を読み込む（ステップ４０
２）。続いて式（１）のフィルタ演算を行い（ＦＩＲ型
フィルタの場合）（ステップ４０３）、演算結果の波形
を出力する（ステップ４０４）。この波形が、音源ごと
に分離された信号波形である。
【００１５】以上のように、この発明では記憶波形から
候補を選択し、これら各候補記憶波形をフィルタ処理し
たものの和と区分入力音響信号との二乗誤差が最小にな
るようにフィルタ係数を決定しているため、つまり区分
入力音響信号の特性に近いフィルタ係数が決定され、選
択された候補記憶波形中の区分入力音響信号中に含まれ
ないものは、そのフィルタを通しても通過しないような
フィルタ特性となる。また前記のようなフィルタ係数の
決定は、ある候補記憶波形が区分入力音響信号中に存在
する音源波形と近い場合は、この候補記憶波形と音源波
形との波形の変形に応じたフィルタ係数が決定され、そ
の候補記憶波形をフィルタ処理した場合に区分入力音響
信号中のその対応音源波形に対する波形変形が吸収さ
れ、大きな出力が得られる。
候補を選択し、これら各候補記憶波形をフィルタ処理し
たものの和と区分入力音響信号との二乗誤差が最小にな
るようにフィルタ係数を決定しているため、つまり区分
入力音響信号の特性に近いフィルタ係数が決定され、選
択された候補記憶波形中の区分入力音響信号中に含まれ
ないものは、そのフィルタを通しても通過しないような
フィルタ特性となる。また前記のようなフィルタ係数の
決定は、ある候補記憶波形が区分入力音響信号中に存在
する音源波形と近い場合は、この候補記憶波形と音源波
形との波形の変形に応じたフィルタ係数が決定され、そ
の候補記憶波形をフィルタ処理した場合に区分入力音響
信号中のその対応音源波形に対する波形変形が吸収さ
れ、大きな出力が得られる。
【００１６】例えばＡ社製ピアノとＢ社製ピアノで高さ
Ｆ４をほぼ同じ強さで弾いた場合の同じ時間部分（立上
がりから１００ｍｓ〜１３０ｍｓ）の波形は図６Ａ，Ｂ
に示すように、全体としては同様の波形であるが互いに
異なっている。図６Ｂの波形を４０次のＦＩＲフィルタ
で処理することにより、図６Ｃに示すように図６Ａの波
形に可成り近づいたものとすることができる。
Ｆ４をほぼ同じ強さで弾いた場合の同じ時間部分（立上
がりから１００ｍｓ〜１３０ｍｓ）の波形は図６Ａ，Ｂ
に示すように、全体としては同様の波形であるが互いに
異なっている。図６Ｂの波形を４０次のＦＩＲフィルタ
で処理することにより、図６Ｃに示すように図６Ａの波
形に可成り近づいたものとすることができる。
【００１７】従って、各候補記憶波形についてそれぞれ
フィルタ演算手段１７でフィルタ処理をすると、区分入
力音響信号中に含まれる音源波形と同一のものの出力平
均パワーが大となり、その平均パワーはその音源波形の
混合割合に応じた値となり、区分入力音響信号中に含ま
れていない候補記憶波形の出力はゼロとなり、かつ、候
補記憶波形が区分入力音響信号中の対応する音源波形に
対して波形が多少異なっていても、これが適応的に修正
され、フィルタ処理出力は大きなものとなる。
フィルタ演算手段１７でフィルタ処理をすると、区分入
力音響信号中に含まれる音源波形と同一のものの出力平
均パワーが大となり、その平均パワーはその音源波形の
混合割合に応じた値となり、区分入力音響信号中に含ま
れていない候補記憶波形の出力はゼロとなり、かつ、候
補記憶波形が区分入力音響信号中の対応する音源波形に
対して波形が多少異なっていても、これが適応的に修正
され、フィルタ処理出力は大きなものとなる。
【００１８】係数決定手段１６における処理が有効にな
るためには、候補記憶波形ｒの基本周波数および位相
が、区分入力音響信号ｚに含まれている音源の基本周波
数および位相と一致していることが望ましい。これは係
数決定手段１６でのフィルタでは信号の周波数を変える
ことができないからである。このため候補記憶波形ｒの
位相を、区分入力音響信号ｚ中の対応する音源成分の位
相に時々刻々合わせ込む波形同期処理を行うとよい。こ
の波形同期処理は例えば次のように行う。
るためには、候補記憶波形ｒの基本周波数および位相
が、区分入力音響信号ｚに含まれている音源の基本周波
数および位相と一致していることが望ましい。これは係
数決定手段１６でのフィルタでは信号の周波数を変える
ことができないからである。このため候補記憶波形ｒの
位相を、区分入力音響信号ｚ中の対応する音源成分の位
相に時々刻々合わせ込む波形同期処理を行うとよい。こ
の波形同期処理は例えば次のように行う。
【００１９】図７に示すように区分入力音響波形、すな
わち基準波形ｚを読み込んで（ステップ３０１）、帯域
フィルタバンクなどの方法で周波数解析を行う（ステッ
プ３０２）。次に、その周波数解析によって時間周波数
平面上でのパワー表現が得られるので、周波数方向でパ
ワーの極大点（ローカルピーク）を見出す（ステップ３
０３）。続いて、時間的に連続するローカルピークを接
続して、一続きのローカルピークとする（ステップ３０
４）。ローカルピークを時間的に接続したものは、周波
数成分と呼ばれ、もとの波形に存在する色々な周期性を
表現したものである。この周波数成分を周期性情報とし
て出力する（ステップ３０５）。候補記憶波形ｒについ
ても同様に処理して周期性情報を取得する。
わち基準波形ｚを読み込んで（ステップ３０１）、帯域
フィルタバンクなどの方法で周波数解析を行う（ステッ
プ３０２）。次に、その周波数解析によって時間周波数
平面上でのパワー表現が得られるので、周波数方向でパ
ワーの極大点（ローカルピーク）を見出す（ステップ３
０３）。続いて、時間的に連続するローカルピークを接
続して、一続きのローカルピークとする（ステップ３０
４）。ローカルピークを時間的に接続したものは、周波
数成分と呼ばれ、もとの波形に存在する色々な周期性を
表現したものである。この周波数成分を周期性情報とし
て出力する（ステップ３０５）。候補記憶波形ｒについ
ても同様に処理して周期性情報を取得する。
【００２０】次に図８に示すように区分入力音響信号波
形ｚと候補記憶波形ｒに存在する周期性の中で、ほぼ同
一の基本周波数を選択し、その周波数にバンドパスフィ
ルタの中心周波数を設定する。区分入力音響波形ｚにこ
のバンドパスフィルタを適用して出力波形を得て（ステ
ップ４０２）、この出力波形の位相の時系列を記憶する
（ステップ４０３）。つまりバンドパスフィルタの出力
は正弦波に近いので、その正弦波時系列の符号反点の前
後の時刻ｋ、ｋ＋１のサンプル値からゼロクロス時刻を
求め、更に正弦波の周期を求め、各正弦波時系列の各時
刻での位相値（位相角）を求める。続いて候補記憶波形
にもステップ４０２で用いたものと同じバンドパスフィ
ルタを適用して出力波形を得て（ステップ４０４）、こ
の出力波形の位相の時系列を記憶する（ステップ４０
５）。次に、ステップ４０３とステップ４０５とで記憶
した両位相の時系列の差を求めて、位相差の時系列を得
て出力する（ステップ４０６）。
形ｚと候補記憶波形ｒに存在する周期性の中で、ほぼ同
一の基本周波数を選択し、その周波数にバンドパスフィ
ルタの中心周波数を設定する。区分入力音響波形ｚにこ
のバンドパスフィルタを適用して出力波形を得て（ステ
ップ４０２）、この出力波形の位相の時系列を記憶する
（ステップ４０３）。つまりバンドパスフィルタの出力
は正弦波に近いので、その正弦波時系列の符号反点の前
後の時刻ｋ、ｋ＋１のサンプル値からゼロクロス時刻を
求め、更に正弦波の周期を求め、各正弦波時系列の各時
刻での位相値（位相角）を求める。続いて候補記憶波形
にもステップ４０２で用いたものと同じバンドパスフィ
ルタを適用して出力波形を得て（ステップ４０４）、こ
の出力波形の位相の時系列を記憶する（ステップ４０
５）。次に、ステップ４０３とステップ４０５とで記憶
した両位相の時系列の差を求めて、位相差の時系列を得
て出力する（ステップ４０６）。
【００２１】この位相差の時系列を、時間差の時系列に
換算する。この換算は、式（４）によって行う。 δｔ（ｋ）＝（１／（２πｆ））δｐ（ｋ） （４） ただし、ｋは時刻、δｔ（ｋ）は時間差時刻ｋの時間
差、ｆはバンドパスフィルタの中心周波数、δｐ（ｋ）
は位相差時系列の時刻ｋの位相差である。
換算する。この換算は、式（４）によって行う。 δｔ（ｋ）＝（１／（２πｆ））δｐ（ｋ） （４） ただし、ｋは時刻、δｔ（ｋ）は時間差時刻ｋの時間
差、ｆはバンドパスフィルタの中心周波数、δｐ（ｋ）
は位相差時系列の時刻ｋの位相差である。
【００２２】時間差時系列の各時間差に応じて候補記憶
波形時系列ｒの対応サンプル値を遅らせ又は進める。こ
の結果、区分入力音響信号ｚの基本周波数と瞬時位相同
期した候補記憶波形が得られる。
波形時系列ｒの対応サンプル値を遅らせ又は進める。こ
の結果、区分入力音響信号ｚの基本周波数と瞬時位相同
期した候補記憶波形が得られる。
【００２３】
【発明の効果】次にこの発明を適用した認識精度を評価
する実験について述べる。図９に示すように３つの単音
が同時に鳴るパターンをテストパターンとし、パターン
はクラス２、つまり同時に発音する単音の少なくとも一
組が１．５の整数倍の関係にある基本周波数を持つよう
な単音パターンとした。パターンの作成においては、あ
らかじめフルート、ピアノ、およびバイオリンの自然楽
器の単音を半音ごとにスタジオで収録し（１６ｂｉｔ、
４８ｋＨｚ）、この波形を計算機上に蓄積しておき、こ
れをクラス２およびＭＩＤＩノート番号６０〜７４とい
う制約の中でランダムに選択して加算することによって
パターンを作成した。
する実験について述べる。図９に示すように３つの単音
が同時に鳴るパターンをテストパターンとし、パターン
はクラス２、つまり同時に発音する単音の少なくとも一
組が１．５の整数倍の関係にある基本周波数を持つよう
な単音パターンとした。パターンの作成においては、あ
らかじめフルート、ピアノ、およびバイオリンの自然楽
器の単音を半音ごとにスタジオで収録し（１６ｂｉｔ、
４８ｋＨｚ）、この波形を計算機上に蓄積しておき、こ
れをクラス２およびＭＩＤＩノート番号６０〜７４とい
う制約の中でランダムに選択して加算することによって
パターンを作成した。
【００２４】認識率Ｒの定義は次式（５）によった。
Ｒ＝１００・｛((right-wrong)/total) ・(1/2) ＋1/2 ｝ （５）
ｒｉｇｈｔは出力に含まれて音符のうち音高と音色の両
方が正しく認識された音符の数、ｗｒｏｎｇは出力に含
まれる音符のうち、音高と音色のどちらかまたは両方が
正しくない音符の数、ｔｏｔａｌは入力（正解）に含ま
れる総音符数である。予備実験の結果からテンプレート
フィルタリングＯＮの条件においては、ＦＩＲフィルタ
の次数を４０とした。なおテンプレートフィルタリング
は式（１）のフィルタリングのことであり、テンプレー
トフィルタリングＯＦＦとはＦＩＲフィルタの次数を１
としたという意味である。
方が正しく認識された音符の数、ｗｒｏｎｇは出力に含
まれる音符のうち、音高と音色のどちらかまたは両方が
正しくない音符の数、ｔｏｔａｌは入力（正解）に含ま
れる総音符数である。予備実験の結果からテンプレート
フィルタリングＯＮの条件においては、ＦＩＲフィルタ
の次数を４０とした。なおテンプレートフィルタリング
は式（１）のフィルタリングのことであり、テンプレー
トフィルタリングＯＦＦとはＦＩＲフィルタの次数を１
としたという意味である。
【００２５】この実験では、原テンプレートとしてテス
トパターンの生成に利用するのと同一の波形を用いた
り、同一個体の楽器を用いたりすると、波形の一致度が
高いために評価実験としては適切でない。そこで、テン
プレートの波形とテストパターンの波形は、互いに異な
る個体から収録したものを用いた。これを図１０に示
す。
トパターンの生成に利用するのと同一の波形を用いた
り、同一個体の楽器を用いたりすると、波形の一致度が
高いために評価実験としては適切でない。そこで、テン
プレートの波形とテストパターンの波形は、互いに異な
る個体から収録したものを用いた。これを図１０に示
す。
【００２６】実験結果を図１１に示す。この表では、右
下の欄の条件（テンプレートフィルタリングＯｆｆ、位
相同期Ｏｆｆ）が、単純なマッチドフィルタによる音源
同定に相当している。したがって、マッチドフィルタに
比較して、この発明の適応型テンプレートを用いる処理
の有効性が明確に示されていると見ることができる。特
に位相同期を行うと一層認識率が高くなっている。
下の欄の条件（テンプレートフィルタリングＯｆｆ、位
相同期Ｏｆｆ）が、単純なマッチドフィルタによる音源
同定に相当している。したがって、マッチドフィルタに
比較して、この発明の適応型テンプレートを用いる処理
の有効性が明確に示されていると見ることができる。特
に位相同期を行うと一層認識率が高くなっている。
【００２７】ベンチマークテストに加え、音楽の生演奏
を対象とした音楽認識テストを行った。ここでは、図１
０とはまた別の楽器個体のバイオリン、フルート、ピア
ノを用いて演奏したテスト曲「蛍の光」を対象として、
音源同定処理についての認識率Ｒを調べた。図１２にそ
の結果を示す。図中の値は音源同定処理だけに関する認
識率である。結果の定性的傾向はベンチマークテストと
同様であり、この発明の方法の有効性が示されている。
を対象とした音楽認識テストを行った。ここでは、図１
０とはまた別の楽器個体のバイオリン、フルート、ピア
ノを用いて演奏したテスト曲「蛍の光」を対象として、
音源同定処理についての認識率Ｒを調べた。図１２にそ
の結果を示す。図中の値は音源同定処理だけに関する認
識率である。結果の定性的傾向はベンチマークテストと
同様であり、この発明の方法の有効性が示されている。
【００２８】以上、説明したように、この発明によれ
ば、数多くの音源が存在し、それらの音源が多様であり
変動をもつ場合であっても、公知の方法に比較して高い
精度で音響信号分離処理を行うことができるという利点
がある。
ば、数多くの音源が存在し、それらの音源が多様であり
変動をもつ場合であっても、公知の方法に比較して高い
精度で音響信号分離処理を行うことができるという利点
がある。
【図１】この発明方法を適用した音響信号分離装置の機
能構成例を示すブロック図。
能構成例を示すブロック図。
【図２】波形区分手段１３の処理手順を示す流れ図。
【図３】候補波形選択手段１５の処理手順を示す流れ
図。
図。
【図４】係数決定手段１６の処理手順を示す流れ図。
【図５】フィルタ演算手段１７の処理手順を示す流れ
図。
図。
【図６】候補波形と区分入力音響信号波形と、適応化フ
ィルタ処理後の区分入力音響信号波形との例を示す図。
ィルタ処理後の区分入力音響信号波形との例を示す図。
【図７】波形の同期性情報を取得する手順を示す流れ
図。
図。
【図８】位相差時系列を取得する手順を示す流れ図。
【図９】ベンチマークテストに用いた単音パターンの例
を示す図。
を示す図。
【図１０】実験に用いた楽器を示す図。
【図１１】ベンチマークテストの結果を示す図。
【図１２】音響認識テストの結果を示す図。
フロントページの続き
(56)参考文献 特開 平５−100660（ＪＰ，Ａ)
特開 平５−181464（ＪＰ，Ａ)
特開 平５−26722（ＪＰ，Ａ)
特開 平６−75562（ＪＰ，Ａ)
特開 平６−67654（ＪＰ，Ａ)
特開 昭64−21498（ＪＰ，Ａ)
特開 平５−80777（ＪＰ，Ａ)
柏野， 村瀬，適応型混合テンプレー
トを用いた音源同定 −複数楽器演奏へ
の適用−，電子情報通信学会技術研究報
告［音声］，日本，1997年 ２月21日,
Ｖｏｌ．96， Ｎｏ．540， ＳＰ96−
117， Ｐａｇｅｓ 21−26
(58)調査した分野(Int.Cl.7，ＤＢ名)
G10L 15/00 - 15/28
G10L 21/00 - 21/02
G10H 1/00
G10G 3/04
Claims (4)
- 【請求項１】 入力音響信号を時間的に区分する過程
と、 上記区分された各区分入力音響信号ごとにこれに含まれ
ている可能性のあるすべての波形を、波形記憶手段に記
憶されている記憶波形から選択して候補波形を得る過程
と、上記各候補波形の基本周波数成分を、上記区分入力音響
信号の基本周波数成分にそれぞれ位相同期させる過程
と、 その位相同期した 候補波形にフィルタ演算した結果の和
と上記区分入力音響信号との誤差が最小になるように、
上記フィルタ演算のフィルタ係数を求める過程と、 上記各候補波形に対し、上記求めたフィルタ係数をもつ
フィルタ演算を行う過程とを有する音響信号分離方法。 - 【請求項２】 上記候補波形を得る過程は、上記区分入
力音響信号の基本周波数を抽出する過程と、その抽出さ
れた基本周波数に対し、所定範囲に収まる基本周波数を
もつ記憶波形を上記波形記憶手段から選択する過程を有
することを特徴とする請求項１記載の音響信号分離方
法。 - 【請求項３】 上記区分する過程は上記入力音響信号に
含まれる音の立上りを検出し、隣接する検出立上りの間
を区分とする過程であることを特徴とする請求項１又は
２記載の音響信号分離方法。 - 【請求項４】 上記位相同期は、各候補波形の基本周波
数成分と上記区分入力音響信号の基本周波数成分との位
相差の時系列を取得し、その位相差時系列の各位相差を
極性を含む時間差に変換した時間移動量の時系列を求
め、この時間移動量の時系列の各時間移動量に応じて、
対応する候補波形の対応する時刻のサンプルを移動させ
ることにより行うことを特徴とする請求項１乃至３の何
れかに記載の音響信号分離方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03181397A JP3501199B2 (ja) | 1997-02-17 | 1997-02-17 | 音響信号分離方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03181397A JP3501199B2 (ja) | 1997-02-17 | 1997-02-17 | 音響信号分離方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10228296A JPH10228296A (ja) | 1998-08-25 |
| JP3501199B2 true JP3501199B2 (ja) | 2004-03-02 |
Family
ID=12341540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03181397A Expired - Fee Related JP3501199B2 (ja) | 1997-02-17 | 1997-02-17 | 音響信号分離方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3501199B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101386645B1 (ko) | 2007-09-19 | 2014-04-17 | 삼성전자주식회사 | 모바일 기기에서 지각적 오디오 코딩 장치 및 방법 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4608650B2 (ja) * | 2003-05-30 | 2011-01-12 | 独立行政法人産業技術総合研究所 | 既知音響信号除去方法及び装置 |
| US7778831B2 (en) * | 2006-02-21 | 2010-08-17 | Sony Computer Entertainment Inc. | Voice recognition with dynamic filter bank adjustment based on speaker categorization determined from runtime pitch |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6421498A (en) * | 1987-07-17 | 1989-01-24 | Nec Corp | Automatically scoring system and apparatus |
| JP3111088B2 (ja) * | 1991-07-16 | 2000-11-20 | 株式会社ブリヂストン | 音源・振動源の寄与診断方法およびその装置 |
| JPH0580777A (ja) * | 1991-09-20 | 1993-04-02 | Hitachi Ltd | 車室内騒音の能動消音装置 |
| JP3102089B2 (ja) * | 1991-10-11 | 2000-10-23 | ブラザー工業株式会社 | 自動採譜装置 |
| JPH05181464A (ja) * | 1991-12-27 | 1993-07-23 | Sony Corp | 楽音認識装置 |
| JPH0667654A (ja) * | 1992-08-19 | 1994-03-11 | Brother Ind Ltd | 自動採譜装置 |
| JPH0675562A (ja) * | 1992-08-28 | 1994-03-18 | Brother Ind Ltd | 自動採譜装置 |
-
1997
- 1997-02-17 JP JP03181397A patent/JP3501199B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 柏野， 村瀬，適応型混合テンプレートを用いた音源同定 −複数楽器演奏への適用−，電子情報通信学会技術研究報告［音声］，日本，１９９７年 ２月２１日，Ｖｏｌ．９６， Ｎｏ．５４０， ＳＰ９６−１１７， Ｐａｇｅｓ ２１−２６ |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101386645B1 (ko) | 2007-09-19 | 2014-04-17 | 삼성전자주식회사 | 모바일 기기에서 지각적 오디오 코딩 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10228296A (ja) | 1998-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Klapuri et al. | Robust multipitch estimation for the analysis and manipulation of polyphonic musical signals | |
| Beauchamp | Analysis, synthesis, and perception of musical sounds | |
| Moorer | On the segmentation and analysis of continuous musical sound by digital computer. | |
| EP1579419B1 (en) | Audio signal analysing method and apparatus | |
| Stein et al. | Automatic detection of audio effects in guitar and bass recordings | |
| JP2002529772A (ja) | 基本波高速発見方法 | |
| Hargreaves et al. | Structural segmentation of multitrack audio | |
| Wang et al. | Adaptive time-frequency scaterring for periodic modulation recognition in music signals | |
| Taenzer et al. | Investigating CNN-based Instrument Family Recognition for Western Classical Music Recordings. | |
| Balke et al. | Data-driven solo voice enhancement for jazz music retrieval | |
| JP3508978B2 (ja) | 音楽演奏に含まれる楽器音の音源種類判別方法 | |
| JP3501199B2 (ja) | 音響信号分離方法 | |
| Ong et al. | Semantic segmentation of music audio | |
| Fragoulis et al. | Automated classification of piano-guitar notes | |
| Foo et al. | Application of fast filter bank for transcription of polyphonic signals | |
| Beauchamp et al. | Detection of musical pitch from recorded solo performances | |
| US20040158437A1 (en) | Method and device for extracting a signal identifier, method and device for creating a database from signal identifiers and method and device for referencing a search time signal | |
| Singh et al. | Deep learning based Tonic identification in Indian Classical Music | |
| Cremer | A system for harmonic analysis of polyphonic music | |
| JPWO2008001779A1 (ja) | 基本周波数推定法および音響信号推定システム | |
| Le Coz et al. | Audio indexing including frequency tracking of simultaneous multiple sources in speech and music | |
| Tolonen | Object-based sound source modeling for musical signals | |
| Gainza et al. | Harmonic sound source separation using FIR comb filters | |
| KR100932219B1 (ko) | 음악의 반복 패턴 추출 방법과 장치 그리고 음악의 유사판단 방법 | |
| JPH1173199A (ja) | 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20031125 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031125 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071212 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081212 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091212 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101212 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101212 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131212 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |