JP5229737B2 - 信号解析装置、信号解析方法、プログラム、及び記録媒体 - Google Patents

信号解析装置、信号解析方法、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP5229737B2
JP5229737B2 JP2009047248A JP2009047248A JP5229737B2 JP 5229737 B2 JP5229737 B2 JP 5229737B2 JP 2009047248 A JP2009047248 A JP 2009047248A JP 2009047248 A JP2009047248 A JP 2009047248A JP 5229737 B2 JP5229737 B2 JP 5229737B2
Authority
JP
Japan
Prior art keywords
time
series signal
parameter
dimensional array
frequency component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009047248A
Other languages
English (en)
Other versions
JP2010204210A (ja
Inventor
弘和 亀岡
佑 北野
順貴 小野
茂樹 嵯峨山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
University of Tokyo NUC
Original Assignee
Nippon Telegraph and Telephone Corp
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, University of Tokyo NUC filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2009047248A priority Critical patent/JP5229737B2/ja
Publication of JP2010204210A publication Critical patent/JP2010204210A/ja
Application granted granted Critical
Publication of JP5229737B2 publication Critical patent/JP5229737B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Auxiliary Devices For Music (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Description

本発明は、音響信号のスペクトログラムを構成するスペクトログラムの基本パーツを抽出する技術に係り、音声、音楽、さらには音楽の中のジャンル、といった音響的属性ごとに音響信号を識別したり、分離する信号解析装置、信号解析方法、プログラム、及び記録媒体に関する。
近年、音響信号処理分野において、非負値行列因子分解(以後、NMF:Non-negative Matrix Factorization)と呼ぶ原理が注目されている。NMFは、本来、画像データから特徴的なパーツを抽出する目的として開発された方法論である(例えば、非特許文献1参照)。この原理をスペクトログラム(以後、複数の振幅スペクトルを時系列に並べたものと定義とする)に適用することにより、観測振幅スペクトルを構成しているらしい少数の振幅スペクトルのパーツを抽出し、これらのパーツに観測振幅スペクトルを分解することができる機能が示されている(例えば、非特許文献2参照)。以来、音源分離、雑音除去、帯域復元、オーディオカテゴリ識別等の音響信号処理の問題へ応用されている。
図4は、NMFによるスパース表現を示す図である。NMFによるスペクトログラムの分解表現は、観測スペクトログラムを直接的に行列と見立て、この行列をYとして、図4のように,Y≒HUとなるような2つの非負値行列H、Uを決めることによって得られる。図4を見て分かるように、このような分解によって得られる行列Hの各列ベクトルは、全て時刻の観測振幅スペクトルを構成している振幅スペクトルの基本パーツを表し、行列Uは、それらが、どの時刻で、どの程度のゲインで生起しているかを表したものとなっている。すなわち、Y≒HUを要素毎に表すと、次式(1)で表わされる。なお、文書中の記号「≒」と、数式での「−」とその上に記した「〜」とで表わした記号とは同じ意味を有する。
Figure 0005229737
各時刻tに観測されるスペクトルは、時不変の振幅スペクトルパーツHk,xが時変のゲイン係数Uk,tに応じて重みつき混合されたものとしてモデル化されていることになる。但し、Yx,tは、Yの{x,t}成分、Hk,xは、Hの{x,k}成分、Uk,tは、Uの{k,t}成分である。
通常のNMFでは、非負の1次元配列で表される振幅スペクトル(瞬時的なスペクトル構造)のパーツを混合したものを観測モデルと仮定したのに対し、NMFD(Non-negative Matrix Factor Deconvolution)と呼ぶ方法が知られている(例えば、非特許文献4参照)。
該非特許文献4では、非負の2次元配列で表されるスペクトログラム(時間方向に連なったスペクトル構造)のパーツが混合した観測モデルを立てることができる。図5は、NMFDによる観測モデルを示す図である。すなわち、振幅スペクトルが時間方向に変化していくパターン自体をパーツと捉え、観測スペクトログラムを構成しているらしいスペクトログラムパーツを抽出し、それに基づく分解表現を得ることができるようになる。具体的には,観測行列をYとすると、次式(2)で表わされるように、H、…、HとUを求めるのがNMFDである。
Figure 0005229737
但し、式(2)における「j→」は、行列の成分を全てj−1個分右にシフトする演算子とする。例えば、次式(3)のようになる。
Figure 0005229737
=(h1,j,h2,j,…,hI,j)とすると、hi,1,hi,2,…,hi,Jを並べたものがi番目の2次元配列のパーツに該当し、振幅スペクトルが時間方向に変化していくパターン、すなわちスペクトログラムのパーツを表す。従って、Jは、スペクトログラムのパーツの時間方向のサイズということになる。
また、複素スペクトル領域において、NMFと同様の性質も満たすような混合モデル(複素NMF)が提案され、複素NMFを求めるための効率的な算法が提案されている(例えば、非特許文献5参照)。
D. D. Lee and H. S. Seung, "Learning the parts of objects by non-negative matrix factorization," Nature Vol. 401, pp. 788-791, 1999. P. Smaragdis and J.C. Brown, "Non-Negative Matrix Factorization for Polyphonic Music Transcription," Proc. WASPAA’03, pp. 177-180 (2003). D.D. Lee and H.S. Seung, "Algorithms for Non-negative Matrix Factorization," Proc. NIPS’00, pp. 556-562 (2000). P. Smaragdis, "Non-negative Matrix Factor Deconvolution; Extraction of Multiple Sound Sources from Monophonic Inputs," ICA 2004, pp. 494-499. 2004. 亀岡弘和、小野順貴、柏野邦夫、嵯峨山茂樹、"複素 NMF:新しいスパース信号分解表現と基底系学習アルゴリズム"、日本音響学会講演論文集、2-8-13、pp.654-660(2008).
ところで、上述したNMFD(非特許文献4)の利点として次の2つが挙げられる。第1は、スペクトログラムは、位相フリーな量であるため、位相に依らず同じスペクトログラムを持った全ての信号を区別することなく、単一のパーツで一手に担うことができる点にある。これにより、多様で複雑な実界音響信号を少ないパーツだけで表現可能になり、各パーツが共通する音響的イベントに対応しやすくなるような効果を生む。第2に、YからH,…,HとUとを得るための効率的なアルゴリズムが存在する(例えば、非特許文献3参照)。以上のようないくつかの特筆すべき利点を持つ。
一方で、NMFDは、元々、画像処理分野から生まれた手法を転用したNMFを直接的に拡張したものであるゆえに、音響信号を扱う上での問題点をいくつか抱えている。第1に、|u+v|≠|u|+|v|(但し、u、vは適当な複素数)であることから明らかなように、スペクトログラムは、実際には、非加法的な量であるにもかかわらず、NMFDにおいて立てられる混合モデルでのスペクトログラムは、加法的であるとする仮定を基礎としている点がある。第2に、混合モデルが構成信号の位相スペクトルを推論できるような形態をなしていない点にある。これら2点は、様々な音響信号処理の問題との実環境における音声や楽音を忠実にモデル化するにはあまり適しておらず、致命的な問題である。
また、上述した複素NMFでは、複素スペクトル領域におけるNMFDと同様の性質を満たすような混合モデルを、どのように構成すればよいか知られておらず、また、このような混合モデルを、観測信号から計算する効率的な手法があるか否かも知られていない。
図6は、上述した従来技術の関係を示す図である。振幅スペクトルパーツを持つ振幅スペクトル領域混合モデルであるNMF、これをスペクトルパーツに拡張したNMFD、また、複素スペクトル領域混合モデルに拡張した複素NMFがある。本発明では、これら従来技術を拡張し、従来技術の命名法に倣って複素NMFDと呼ぶ技術を提案する。
本発明は、このような事情を考慮してなされたものであり、その目的は、加法性が成り立つ複素スペクトル領域の混合モデルに準拠しながら、観測信号を構成するスペクトログラムの基本パーツを抽出することができ、かつ、各スペクトログラムパーツがどのような位相スペクトルを伴って混合されているかを推定することができ、さらに、効率的なアルゴリズムにより実現することができる信号解析装置、信号解析方法、プログラム、及び記録媒体を提供することにある。
上述した課題を解決するために、本発明は、時系列信号を入力とし、該時系列信号から観測時間周波数成分を要素に持つ二次元配列を生成する時間周波数分解手段と、前記時間周波数分解手段により生成される観測時間周波数成分を要素に持つ二次元配列に基づいて、時系列信号パラメータを生成する時系列信号パラメータ初期値生成手段と、前記時系列信号パラメータに基づいて、時系列信号モデルを算出する時系列信号モデル算出手段と、式(4)で表される混合モデルを仮定し、観測時間周波数成分との近さまたは遠さを表す第1の規準とゲインのスパース性を表す第2の規準との重み付き和による前記時系列信号パラメータに関する目的関数を算出し、該目的関数を最適化して時系列信号パラメータを更新するパラメータ更新手段と、前記パラメータ更新手段により更新される時系列信号パラメータが所定の基準を満たしているか否かを判定し、所定の基準が満たされていないと判定された場合、前記パラメータ更新手段による時系列信号パラメータの更新を繰り返し実行させる判定手段と、前記判定手段により所定の基準が満たされたと判定された場合、前記パラメータ更新手段により更新された、その時点での時系列信号パラメータを出力する時系列パラメータ出力手段とを備えることを特徴とする信号解析装置である。
また、本発明は、時系列信号を入力とし、該時系列信号から観測時間周波数成分を要素に持つ二次元配列を生成する時間周波数分解手段と、前記時間周波数分解手段により生成される観測時間周波数成分を要素に持つ二次元配列に基づいて、時系列信号パラメータを生成する時系列信号パラメータ初期値生成手段と、前記時系列信号パラメータに基づいて、時系列信号モデルを算出する時系列信号モデル算出手段と、時間幅を持った基底となる複数のスペクトログラムと前記基底となるそれぞれのスペクトログラムに対応する時変のゲイン係数とを時間方向に畳み込み、該畳み込んだ結果に各時刻の位相スペクトルを時間周波数ごとに乗じて表される混合モデルを仮定し、観測時間周波数成分との近さまたは遠さを表す第1の規準とゲインのスパース性を表す第2の規準との重み付き和による前記時系列信号パラメータに関する目的関数を算出し、該目的関数を最適化して時系列信号パラメータを更新するパラメータ更新手段と、前記パラメータ更新手段により更新される時系列信号パラメータが所定の基準を満たしているか否かを判定し、所定の基準が満たされていないと判定された場合、前記パラメータ更新手段による時系列信号パラメータの更新を繰り返し実行させる判定手段と、前記判定手段により所定の基準が満たされたと判定された場合、前記パラメータ更新手段により更新された、その時点での時系列信号パラメータを出力する時系列パラメータ出力手段とを備えることを特徴とする信号解析装置である。
また、本発明は、時系列信号を入力とし、該時系列信号から観測時間周波数成分を要素に持つ二次元配列を生成する時間周波数分解手段と、前記時間周波数分解手段により生成される観測時間周波数成分を要素に持つ二次元配列に基づいて、時系列信号パラメータを生成する時系列信号パラメータ初期値生成手段と、前記時系列信号パラメータに基づいて、時系列信号モデルを算出する時系列信号モデル算出手段と、式(4)で表される混合モデルを仮定し、該式(4)を用いて式(7)および式(8)によって求める前記時系列信号パラメータに関する目的関数を算出し、該目的関数を最適化して時系列信号パラメータを更新するパラメータ更新手段と、前記パラメータ更新手段により更新される時系列信号パラメータが所定の基準を満たしているか否かを判定し、所定の基準が満たされていないと判定された場合、前記パラメータ更新手段による時系列信号パラメータの更新を繰り返し実行させる判定手段と、前記判定手段により所定の基準が満たされたと判定された場合、前記パラメータ更新手段により更新された、その時点での時系列信号パラメータを出力する時系列パラメータ出力手段とを備えることを特徴とする信号解析装置である。
発明は、上記の発明において、前記パラメータ更新手段は、前記時間周波数分解手段により生成される観測時間周波数成分と前記時系列信号パラメータ初期値生成手段により生成された時系列信号パラメータとに基づいて、誤差配分比重係数を要素に持つ四次元配列を更新する誤差配分比重係数更新値算出手段と、前記時間周波数分手段により生成された観測時間周波数成分を要素に持つ二次元配列と前記時系列信号パラメータ初期値生成手段により生成された時系列信号パラメータと前記誤差配分比重係数更新値算出手段により生成された誤差配分比重係数を要素に持つ四次元配列とに基づいて、時間周波数成分配分量を要素に持つ四次元配列を算出する時間周波数成分配分量算出手段と、前記時系列信号パラメータ初期値生成手段により生成された時系列信号パラメータに関する前記目的関数を算出し、該目的関数を補助関数に基づいて最適化して時系列信号パラメータを更新するパラメータ更新値算出手段と、を備えることを特徴とする信号解析装置である。
本発明は、上記の発明において、前記時間周波数成分配分量算出手段は、前記時間周波数分解手段により生成された観測時間周波数成分を要素に持つ二次元配列と、前記時系列信号モデル算出手段により算出された時系列信号モデルとの差分に、誤差配分比重係数を乗じ、時系列信号パラメータに加えることにより、時間周波数成分配分量を要素に持つ四次元配列を算出する、ことを特徴とする。
本発明は、上記の発明において、前記パラメータ更新値算出手段は、前記時系列信号パラメータとして、振幅パラメータを更新する振幅パラメータ更新手段と、前記時系列信号パラメータとして、アクティビティ係数パラメータを更新するアクティビティ係数パラメータ更新手段と、前記時系列信号パラメータとして、位相パラメータを更新する位相パラメータ更新手段とを備えることを特徴とする。
本発明は、上記の発明において、前記誤差配分比重係数更新値算出手段は、前記判定手段による繰り返し実行過程において、1ステップ前の時系列信号パラメータの更新値を、それまでの時系列信号パラメータの総和で除算することで、誤差配分比重係数を要素に持つ四次元配列を更新する、ことを特徴とする。
また、上述した課題を解決するために、本発明は、時系列信号を入力とし、該時系列信号から観測時間周波数成分を要素に持つ二次元配列を生成するステップと、前記観測時間周波数成分を要素に持つ二次元配列に基づいて、時系列信号パラメータを生成するステップと、前記時系列信号パラメータに基づいて、時系列信号モデルを算出するステップと、式(4)で表される混合モデルを仮定し、観測時間周波数成分との近さまたは遠さを表す第1の規準とゲインのスパース性を表す第2の規準との重み付き和による前記時系列信号パラメータに関する目的関数を算出し、該目的関数を最適化して時系列信号パラメータを更新するステップと、前記更新される時系列信号パラメータが所定の基準を満たしているか否かを判定するステップと、前記所定の基準が満たされていないと判定された場合、前記時系列信号パラメータの更新及び前記判定を繰り返し実行するステップと、前記更新される時系列信号パラメータが所定の基準が満たされたと判定された場合、その時点での更新された時系列信号パラメータを出力するステップとを含むことを特徴とする信号解析方法である。
また、本発明は、時系列信号を入力とし、該時系列信号から観測時間周波数成分を要素に持つ二次元配列を生成するステップと、前記観測時間周波数成分を要素に持つ二次元配列に基づいて、時系列信号パラメータを生成するステップと、前記時系列信号パラメータに基づいて、時系列信号モデルを算出するステップと、時間幅を持った基底となる複数のスペクトログラムと前記基底となるそれぞれのスペクトログラムに対応する時変のゲイン係数とを時間方向に畳み込み、該畳み込んだ結果に各時刻の位相スペクトルを時間周波数ごとに乗じて表される混合モデルを仮定し、観測時間周波数成分との近さまたは遠さを表す第1の規準とゲインのスパース性を表す第2の規準との重み付き和による前記時系列信号パラメータに関する目的関数を算出し、該目的関数を最適化して時系列信号パラメータを更新するステップと、前記更新される時系列信号パラメータが所定の基準を満たしているか否かを判定するステップと、前記所定の基準が満たされていないと判定された場合、前記時系列信号パラメータの更新及び前記判定を繰り返し実行するステップと、前記更新される時系列信号パラメータが所定の基準が満たされたと判定された場合、その時点での更新された時系列信号パラメータを出力するステップとを含むことを特徴とする信号解析方法である。
また、本発明は、時系列信号を入力とし、該時系列信号から観測時間周波数成分を要素に持つ二次元配列を生成するステップと、前記観測時間周波数成分を要素に持つ二次元配列に基づいて、時系列信号パラメータを生成するステップと、前記時系列信号パラメータに基づいて、時系列信号モデルを算出するステップと、式(4)で表される混合モデルを仮定し、該式(4)を用いて式(7)および式(8)によって求める前記時系列信号パラメータに関する目的関数を算出し、該目的関数を最適化して時系列信号パラメータを更新するステップと、前記更新される時系列信号パラメータが所定の基準を満たしているか否かを判定するステップと、前記所定の基準が満たされていないと判定された場合、前記時系列信号パラメータの更新及び前記判定を繰り返し実行するステップと、前記更新される時系列信号パラメータが所定の基準が満たされたと判定された場合、その時点での更新された時系列信号パラメータを出力するステップとを含むことを特徴とする信号解析方法である。
発明は、上記の発明において、前記時系列信号パラメータを更新するステップは、前記観測時間周波数成分と前記時系列信号パラメータとに基づいて、誤差配分比重係数を要素に持つ四次元配列を更新するステップと、前記観測時間周波数成分を要素に持つ二次元配列と前記時系列信号パラメータと前記誤差配分比重係数を要素に持つ四次元配列とに基づいて、時間周波数成分配分量を要素に持つ四次元配列を算出するステップと、前記時系列信号パラメータに関する前記目的関数を算出し、該目的関数を補助関数に基づいて最適化して時系列信号パラメータを更新するステップと、を含むことを特徴とする信号解析方法である。
本発明は、上記の発明において、前記時間周波数成分配分量を要素に持つ四次元配列を算出するステップは、前記観測時間周波数成分を要素に持つ二次元配列と前記時系列信号モデルとの差分に誤差配分比重係数を乗じ、時系列信号パラメータに加えることにより、時間周波数成分配分量を要素に持つ四次元配列を算出する、ことを特徴とする。
本発明は、上記の発明において、前記時系列信号パラメータは、振幅パラメータ、アクティビティ係数パラメータ、位相パラメータであることを特徴とする。
本発明は、上記の発明において、前記誤差配分比重係数を要素に持つ四次元配列を更新するステップは、前記誤差配分比重係数を要素に持つ四次元配列の更新、前記時間周波数成分配分量を要素に持つ四次元配列の算出、前記時系列信号パラメータの更新、前記判定を繰り返し実行する過程において、1ステップ前の時系列信号パラメータの更新値を、それまでの時系列信号パラメータの総和で除算することで、誤差配分比重係数を要素に持つ四次元配列を更新する、ことを特徴とする。
また、上述した課題を解決するために、本発明は、時系列信号を解析し、該時系列信号に含まれる時系列信号パラメータを抽出する信号解析装置のコンピュータに、該信号解析装置のそれぞれの構成要素における請求項8から請求項10のいずれか1の項に記載の信号解析方法の各ステップを実行させるためのプログラムである。
また、上述した課題を解決するために、本発明は、上記の発明のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
この発明によれば、加法性が成り立つ複素スペクトル領域の混合モデルに準拠しながら、観測信号を構成するスペクトログラムの基本パーツを抽出することができ、かつ、各スペクトログラムパーツがどのような位相スペクトルを伴って混合されているかを推定することができ、さらに、効率的なアルゴリズムにより実現することができるという利点が得られる。
本第1実施形態による信号解析装置の構成を示すブロック図である。 本第2実施形態による、信号解析装置の構成を示すブロック図である。 上記実験に用いた音声と音楽の混合信号と、本発明の方法に基づく上記処理系によって抽出された音声信号のスペクトログラムとを示す図である。 NMFによるスパース表現を示す図である。 NMFDによる観測モデルを示す図である。 従来技術の関係を示す図である。
以下、本発明の一実施形態を、図面を参照して説明する。
A.本発明の原理
まず、本発明の原理(アルゴリズム)について説明する。
A−1.混合モデル
本発明で実現する複素NMFDは、次式(4)、(5)に示すような混合モデルを仮定する。
Figure 0005229737
Figure 0005229737
ここで,x、tは、それぞれ周波数、時間に対応するインデックスを表す。また、Fx,tは、音響信号の短時間フーリエ変換や、ウェーブレット変換などの時間周波数成分(請求項における時系列信号モデルに対応)、Hk,x,τは、k番目のスペクトログラムパーツ、Uk,tは、k番目のスペクトログラムパーツに対応する時変のゲイン係数、φk,x,tは、位相スペクトルである。また、τは、畳み込みにおける時間シフトである。また、分解のスケールの任意性を除く目的で便宜的に、次式(6)と置く。
Figure 0005229737
A−2.目的関数
次に、Hk,x,τを要素とする集合をHとし、Uk,tを要素とする集合をUとし、φk,x,tを要素とする集合をφとする。ここで、観測音響信号の時間周波数成分Yx,tが与えられたとき、H、U、φを推定する問題は、目的関数を数式(7)とすると、数式(8)で示されるような制約付き最適化問題に帰着することができる。
Figure 0005229737
Figure 0005229737
ここで、λ、pは定数である。但し、pは0<p<2を満たすものとする。
A−2.補助関数法
次に、上述した最適化問題を解くアルゴリズムを補助関数法により導く。そこで、まず、補助関数法の原理を示す。目的関数G(z)に対し、次式(9)が成り立つとき、数式(10)を、G(z)の補助関数、数式(11)を、補助変数と定義すると、次の定理が成り立つ。
Figure 0005229737
Figure 0005229737
Figure 0005229737
(定理1:補助関数法)
数式(10)に示す補助関数を、数式(11)に示す補助変数に関して最小化するステップと、zに関して最小化するステップとを繰り返すと、目的関数値は、単調収束する。
(証明)
上記繰り返しを数式(12)、(13)で表わす。但し、tは、反復計算のステップ数を表す。
Figure 0005229737
Figure 0005229737
次に、数式(14)で表わす状態から数式(15)で表わす状態に更新されたときに、G(z)が増加しないことを示す。
Figure 0005229737
Figure 0005229737
明らかに、数式(16)が成立するので、数式(17)より、数式(18)が成り立つ。
Figure 0005229737
Figure 0005229737
Figure 0005229737
更に、補助関数の定義より、数式(19)が成り立つので、結局、数式(20)が成立する。
Figure 0005229737
Figure 0005229737
ここで,数式(7)の補助関数を設計するため、次の不等式(21)、(22)を用いる。
Figure 0005229737
Figure 0005229737
但し、次式(23)、(24)を満たさなければならない。
Figure 0005229737
Figure 0005229737
ここで、誤差配分比重係数βk,x,t,τは、1ステップ前のHとUの更新値H’、U’を用いて、数式(25)の通りに反復的に更新していくことにする。
Figure 0005229737
上記不等式(21)、(22)より、数式(26)とすると、数式(27)が成り立ち、
Figure 0005229737
Figure 0005229737
次式(28)、(29)が成立する。
Figure 0005229737
Figure 0005229737
A−3.パラメータ更新公式
次に、各変数の更新式の導出について説明する。
まず、数式(30)を解くと、数式(31)が得られる。
Figure 0005229737
Figure 0005229737
なお、t−τ<0の場合には、Uk,t−τ=0とする。次に、数式(32)を解くと、数式(33)が得られる。
Figure 0005229737
Figure 0005229737
但し、右辺のτに関しては、次式(34)とする。
Figure 0005229737
次に、φk,x,tの更新値を求める。fの項の中で、φk,x,tに関係しない項をまとめて、cとすると、数式(35)と表すことができる。
Figure 0005229737
ここで、数式(36)を満たすように、ψk,x,t,τを定義すると、数式(37)となる。
Figure 0005229737
Figure 0005229737
このとき、数式(38)を最大化するようなφk,x,tを求めればよい。
Figure 0005229737
よって、これを変形すると、数式(39)となる。
Figure 0005229737
ここで、数式(40)、(41)が成り立つとすると、数式(42)となる。
Figure 0005229737
Figure 0005229737
Figure 0005229737
但し、δk,x,tは、数式(43)、(44)を満たす。
Figure 0005229737
Figure 0005229737
よって、φk,x,tの更新式は、次式(45)で与えられる。
Figure 0005229737
以上のアルゴリズムをまとめると、以下のようになる。
(1)H、U、φに初期値を代入
(2)数式(25)によりβを更新
(3)数式(28)、(29)により次式(46)、(47)の要素を更新
Figure 0005229737
Figure 0005229737
(4)数式(45)によりφを更新
(5)数式(31)によりHを更新、数式(6)を満たすように規格化
(6)数式(33)によりUを更新
(7)上記(2)に戻る
B.第1実施形態
次に、本発明の第1実施形態について説明する。
上述した目的関数を最適化することにより、数式(4)で表わされるモデル(複素NMFD)を算出することができる。本第1実施形態では、パラメータ更新手段に所定の目的関数を最適化することができる既存の最適化手法を用いる。
図1は、本第1実施形態による信号解析装置の構成を示すブロック図である。図において、信号解析装置は、初期設定部1、時系列信号モデル算出部2、パラメータ更新部3、収束判定部4、及び時系列パラメータ出力部5から構成されている。
初期設定部1は、時間周波数分解部1−1、及び時系列信号パラメータ初期値生成部1−2からなる。時間周波数分解部1−1は、時系列信号である観測信号を入力とし、観測時間周波数成分Yx,tを要素に持つ二次元配列Yを出力する。
時系列信号パラメータ初期値生成部1−2は、観測時間周波数成分Yx,tを要素に持つ二次元配列Yから、k番目のスペクトログラムのパーツに相当する振幅パラメータHk,x,tを要素に持つ三次元配列Hと、k番目のスペクトログラムのパーツが各時刻でどの程度のゲインで生起しているかを表したアクティビティ係数パラメータUk,tを要素に持つ二次元配列Uと、k番目のスペクトログラムのパーツで構成されるスペクトログラムの各時間周波数点における偏角に相当する位相パラメータφk,x,tを要素に持つ三次元配列φからなる時系列信号パラメータθ={H,U,φ}の初期値と、スパース性制御定数λ,pとを生成する。ここで、Hk,x,tとUk,tとの値は、乱数を用いて定めたものを初期値として用いる。φk,x,tの初期値は、φk,x,t=arg(Yx,t)、すなわち、全てのkについて観測時間周波成分Yx,tの偏角とする。
時系列信号モデル算出部2は、上記振幅パラメータHk,x,tを要素に持つ三次元配列Hと、アクティビティ係数パラメータUk,tを要素に持つ二次元配列Uと、位相パラメータφk,x,tを要素に持つ三次元配列φからなる時系列信号パラメータθ={H,U,φ}の初期値とから、数式(4)、または次式(48)から時系列信号モデルFk,tを計算する。
Figure 0005229737
なお、数式(48)は、k、x毎にHk,x,tとUk,tを、tに関して畳み込んだものに偏角φk,x,tを付与し、これを全てのkについて総和を取ることによって得られる時系列信号モデルを示す。
パラメータ更新部3は、Uk,tと、Fk,tと、スパース性制御定数λ,pとから、数式(7)で与えられた目的関数を算出し、目的関数を局所最適化して時系列信号パラメータθの各々を更新する。目的関数の局所最適化には、最急降下法、ニュートン法、共役勾配法、遺伝的アルゴリズムなどの公知の手法を利用することができる。
例えば、次式(49)のような評価関数を小さくするような方針に基づいて更新値を決定し、各パラメータを更新しても良い。
Figure 0005229737
なお、数式(49)は、振幅パラメータHk,x,tに関して、前段で得られたHk,x,tに比べて、上記時系列信号モデルと観測時間周波数成分との一致度と、アクティベーション係数パラメータのスパース度とを合計した評価関数を示す。
次に、収束判定部4は、時系列信号パラメータθが所定の規準を満たしているかどうかを判定し、上記時系列信号パラメータθが所定の規準を満たしていないと判定された場合には、所定の基準を満たす(目的関数を最適化するパラメータが得られる)まで、上記パラメータ更新部3での時系列信号パラメータθの更新を繰り返し実行させる。
時系列パラメータ出力部5は、収束判定部4において所定の規準を満たすと判定された時系列信号パラメータθを出力する。
次に、上述した第1実施形態の動作について説明する。
初期設定部1は、時間周波数分解部1−1により、観測信号から観測時間周波数成分Yx,tを要素に持つ二次元配列Yを出力し、時系列信号パラメータ初期値生成部1−2により、振幅パラメータHk,x,tを要素に持つ三次元配列Hと、アクティビティ係数パラメータUk,tを要素に持つ二次元配列Uと、位相パラメータφk,x,tを要素に持つ三次元配列φからなる時系列信号パラメータθ={H,U,φ}の初期値と、スパース性制御定数λ,pとを生成する。
次に、時系列信号モデル算出部2は、Fk,tを計算し、パラメータ更新部3は、目的関数を算出し、最急降下法、ニュートン法、共役勾配法、遺伝的アルゴリズムなどの公知の手法を用いて、該目的関数を局所最適化して時系列信号パラメータθの各々を更新する。次に、収束判定部4は、時系列信号パラメータが所定の規準を満たしているかどうかを判定し、上記時系列信号パラメータθが所定の規準を満たしていないと判定された場合には、所定の基準を満たす(目的関数を最適化するパラメータが得られる)まで、上記パラメータ更新部3での時系列信号パラメータθの更新を繰り返し実行させる。そして、時系列パラメータ出力部5は、収束判定部4において所定の規準を満たすと判定されると、その時点での時系列信号パラメータθを出力する。
C.第2実施形態
次に、本発明の第2実施形態について説明する。
本第2実施形態では、前述した時系列信号パラメータ更新方法をより具体化することで、既存手法よりも高速に時系列パラメータを算出することを特徴としている。
図2は、本第2実施形態による、信号解析装置の構成を示すブロック図である。なお、図1に対応する部分には同一の符号を付けて説明を省略する。図において、本第2実施形態によるパラメータ更新部30は、誤差配分比重係数更新値算出部30−1、時間周波数成分配分量算出部30−2、パラメータ更新値算出部30−3から構成されている。
誤差配分比重係数更新値算出部30−1は、1ステップ前のHとUの更新値H’、U’を用いて、数式(25)により、誤差配分比重係数βk,x,t,τを計算する。時間周波数成分配分量算出部30−2は、Hk,x,t、Uk,t、βk,x,t,τを用いて、数式(28)により、次式(50)の要素を計算し、数式(29)により、次式(51)の要素を計算する。
Figure 0005229737
Figure 0005229737
パラメータ更新値算出部30−3は、振幅パラメータ更新部30−3−1、アクティビティ係数パラメータ更新部30−3−2、及び位相パラメータ更新部30−3−3を有する。振幅パラメータ更新部30−3−1は、Uk,t、βk,x,t,τ、数式(50)の要素を用いて、数式(31)により、Hk,x,τを更新し、数式(6)を満たすように規格化する。すなわち、前段で更新された数式(46)に示す配列の{k,x,t,τ}番目の数式(50)に示す要素と偏角がφk,x,t(前段で更新された配列φの{k,x,t}番目の要素)で絶対値が1の複素数のどちらか一方を複素共役にして積をとることで得られる複素数値の実部に対して、前段で更新された配列Uの{k,t−τ}番目の要素Uk,t−τを乗じ、前段で更新された配列βの{k,x,t,τ}番目の要素βk,x,t,τで除算したものを全てのtについて総和をとり、該総和を、Uk,t−τの二乗をβk,x,t,τで除算したものを全てのtについてとった総和で除算する処理である。また、振幅パラメータ更新部30−3−1において、さらに、各kについてHk,x,tのスケールを、所定の制約、例えば、二乗和Σx,tk,x,tが所定の値になる制約、あるいは、総和Σx,tk,x,tが所定の値になる制約、あるいは、最大値maxx,tk,x,tが所定の値になる制約、に基づいて規格化するようにしてもよい。
アクティビティ係数パラメータ更新部30−3−2は、Hk,x,t、k,t、βk,x,t,τ、数式(50)の要素を用いて、数式(33)により、Uk,tを更新する。すなわち、前段で更新された数式(46)に示す配列の{k,x,t+τ,τ}番目の数式(52)に示す要素と偏角がφk,x,t+τ(前段で更新された配列φの{k,x,t+τ}番目の要素)で絶対値が1の複素数のどちらか一方を複素共役にして積をとることで得られる複素数値の実部に対して、前段で更新された配列Hの{k,x,τ}番目の要素Hk,x,τを乗じ、前段で更新された配列βの{k,x,t+τ,τ}番目の要素βk,x,t+τ,τで除算し、その全てのx,τについて総和をとり、該総和を、Hk,x,τの二乗をβk,x,t,τで除算し、その全てのx,τについて総和をとり、該総和に前段で更新された配列Uの{k,t}番目の要素Uk,tの絶対値の2以下の適当な指数(p−2)による、べき乗に適当な係数λpを乗じたものを加えたもので除算する処理である。
Figure 0005229737
位相パラメータ更新部30−3−3は、数式(44)により、Hk,x,t、k,t−τ、βk,x,t,τ、数式(50)の要素を用いて、φk,x,tを更新する。すなわち、前段で更新された配列Hの{k,x,τ}番目の要素Hk,x,τと前段で更新された配列Uの{k,t−τ}番目の要素Uk,t−τと前段で更新された数式(46)に示す配列の{k,x,t,τ}番目の数式(50)に示す要素を乗じ、前段で更新された配列βの{k,x,t,τ}番目の要素βk,x,t,τで除算し、これを全てのτについて総和をとり、さらに、その偏角を求める処理である。
収束判定部4は、前述した第1実施形態と基本的に同じであるが、本第2実施形態では、より具体的に、上述した振幅パラメータ更新部30−3−1により更新されたHk,x,τ、アクティビティ係数パラメータ更新部30−3−2により更新されたUk,t、位相パラメータ更新部30−3−3により更新されたφk,x,tが所定の規準を満たしているかどうかを判定し、上記時系列信号パラメータが所定の規準を満たしていないと判定された場合には、所定の基準を満たす(目的関数を最適化するパラメータが得られる)まで、上記パラメータ更新部30でのパラメータの更新を繰り返し実行させる。
次に、上述した第2実施形態の動作について説明する。
初期設定部1は、時間周波数分解部1−1により、観測信号から観測時間周波数成分Yx,tを要素に持つ二次元配列Yを出力し、時系列信号パラメータ初期値生成部1−2により、振幅パラメータHk,x,tを要素に持つ三次元配列Hと、アクティビティ係数パラメータUk,tを要素に持つ二次元配列Uと、位相パラメータφk,x,tを要素に持つ三次元配列φからなる時系列信号パラメータθ={H,U,φ}の初期値と、スパース性制御定数λ,pとを生成し、時系列信号モデル算出部2は、Fk,tを計算する。
次に、パラメータ更新部30では、振幅パラメータ更新部30−3−1により、Hk,x,τを更新して規格化し、アクティビティ係数パラメータ更新部30−3−2により、Uk,tを更新し、位相パラメータ更新部30−3−3により、φk,x,tを更新する。次に、収束判定部4は、上述した各時系列信号パラメータが所定の規準を満たしているかどうかを判定し、上記時系列信号パラメータが所定の規準を満たしていないと判定された場合には、所定の基準を満たす(目的関数を最適化するパラメータが得られる)まで、上記パラメータ更新部30でのパラメータの更新を繰り返し実行させる。そして、収束判定部4において所定の規準を満たしたと判定すると、時系列パラメータ出力部5は、その時点での時系列信号パラメータとして、Hk,x,τ、Uk,t、及びφk,x,tを出力する。
D.実験結果
発明方法を用いて、音声と音楽の混合信号から音声を抽出する実験を行った。処理系は、まず、音声と音楽信号のサンプルから、個別にスペクトログラムのパーツを学習するステージと、これらの音声・音楽ラベル付きスペクトログラムパーツを用いて、観測信号に対してスパース回帰分析を適用し(Hは固定し、アクティベーションUのみを推定)、音声信号を分離抽出するステージとからなる。上記学習とスパース回帰分析の手段として、本発明による反復アルゴリズムを用いた。
図3(a)、(b)は、各々、上記実験に用いた音声と音楽の混合信号と、本発明の方法に基づく上記処理系によって抽出された音声信号のスペクトログラムとを示す図である。図から分かるように、本発明により、音声と音楽が混在する音響信号から、音声信号を強調することができることが確認された。
上述した第1、第2実施形態によれば、加法性が成り立つ複素スペクトル領域の混合モデルに準拠しながら、観測信号を構成するスペクトログラムの基本パーツを抽出することができ、かつ、各スペクトログラムパーツがどのような位相スペクトルを伴って混合されているかを推定することができ、さらに、効率的なアルゴリズムにより実現することができる。
1 初期設定部
1−1 時間周波数分解部
1−2 時系列信号パラメータ初期値生成部
2 時系列信号モデル算出部
3、30 パラメータ更新部
4 収束判定部
5 時系列パラメータ出力部
30−1 誤差配分比重係数更新値算出部
30−2 時間周波数成分配分量算出部
30−3 パラメータ更新値算出部
30−3−1 振幅パラメータ更新部
30−3−2 アクティビティ係数パラメータ更新部
30−3−3 位相パラメータ更新部

Claims (16)

  1. 時系列信号を入力とし、該時系列信号から観測時間周波数成分を要素に持つ二次元配列を生成する時間周波数分解手段と、
    前記時間周波数分解手段により生成される観測時間周波数成分を要素に持つ二次元配列に基づいて、時系列信号パラメータを生成する時系列信号パラメータ初期値生成手段と、
    前記時系列信号パラメータに基づいて、時系列信号モデルを算出する時系列信号モデル算出手段と、
    次の式(A)で表される混合モデルを仮定し、観測時間周波数成分との近さまたは遠さを表す第1の規準とゲインのスパース性を表す第2の規準との重み付き和による前記時系列信号パラメータに関する目的関数を算出し、該目的関数を最適化して時系列信号パラメータを更新するパラメータ更新手段と、
    前記パラメータ更新手段により更新される時系列信号パラメータが所定の基準を満たしているか否かを判定し、所定の基準が満たされていないと判定された場合、前記パラメータ更新手段による時系列信号パラメータの更新を繰り返し実行させる判定手段と、
    前記判定手段により所定の基準が満たされたと判定された場合、前記パラメータ更新手段により更新された、その時点での時系列信号パラメータを出力する時系列パラメータ出力手段と
    を備えることを特徴とする信号解析装置。
    Figure 0005229737
    (ただし、x:周波数に対応するインデックス、t:時間に対応するインデックス、F x,t :時系列信号モデル、H k,x,τ :k番目のスペクトログラムのパーツ、U k,t :k番目のスペクトログラムのパーツに対応する時変のゲイン係数、φ k,x,t :位相スペクトル、τ:畳み込みにおける時間シフト)
  2. 時系列信号を入力とし、該時系列信号から観測時間周波数成分を要素に持つ二次元配列を生成する時間周波数分解手段と、
    前記時間周波数分解手段により生成される観測時間周波数成分を要素に持つ二次元配列に基づいて、時系列信号パラメータを生成する時系列信号パラメータ初期値生成手段と、
    前記時系列信号パラメータに基づいて、時系列信号モデルを算出する時系列信号モデル算出手段と、
    時間幅を持った基底となる複数のスペクトログラムと前記基底となるそれぞれのスペクトログラムに対応する時変のゲイン係数とを時間方向に畳み込み、該畳み込んだ結果に各時刻の位相スペクトルを時間周波数ごとに乗じて表される混合モデルを仮定し、観測時間周波数成分との近さまたは遠さを表す第1の規準とゲインのスパース性を表す第2の規準との重み付き和による前記時系列信号パラメータに関する目的関数を算出し、該目的関数を最適化して時系列信号パラメータを更新するパラメータ更新手段と、
    前記パラメータ更新手段により更新される時系列信号パラメータが所定の基準を満たしているか否かを判定し、所定の基準が満たされていないと判定された場合、前記パラメータ更新手段による時系列信号パラメータの更新を繰り返し実行させる判定手段と、
    前記判定手段により所定の基準が満たされたと判定された場合、前記パラメータ更新手段により更新された、その時点での時系列信号パラメータを出力する時系列パラメータ出力手段と
    を備えることを特徴とする信号解析装置。
  3. 時系列信号を入力とし、該時系列信号から観測時間周波数成分を要素に持つ二次元配列を生成する時間周波数分解手段と、
    前記時間周波数分解手段により生成される観測時間周波数成分を要素に持つ二次元配列に基づいて、時系列信号パラメータを生成する時系列信号パラメータ初期値生成手段と、
    前記時系列信号パラメータに基づいて、時系列信号モデルを算出する時系列信号モデル算出手段と、
    次の式(B)で表される混合モデルを仮定し、該式(B)を用いて次の式(C)によって求める前記時系列信号パラメータに関する目的関数を算出し、該目的関数を最適化して時系列信号パラメータを更新するパラメータ更新手段と、
    前記パラメータ更新手段により更新される時系列信号パラメータが所定の基準を満たしているか否かを判定し、所定の基準が満たされていないと判定された場合、前記パラメータ更新手段による時系列信号パラメータの更新を繰り返し実行させる判定手段と、
    前記判定手段により所定の基準が満たされたと判定された場合、前記パラメータ更新手段により更新された、その時点での時系列信号パラメータを出力する時系列パラメータ出力手段と
    を備えることを特徴とする信号解析装置。
    Figure 0005229737
    (ただし、x:周波数に対応するインデックス、t:時間に対応するインデックス、F x,t :時系列信号モデル、H k,x,τ :k番目のスペクトログラムのパーツ、U k,t :k番目のスペクトログラムのパーツに対応する時変のゲイン係数、φ k,x,t :位相スペクトル、τ:畳み込みにおける時間シフト)
    Figure 0005229737
    (ただし、H:H k,x,τ を要素とする集合、U:U k,t を要素とする集合、φ:φ k,x,t を要素とする集合、Y x,t :時間周波数成分、λ:定数、p:0<p<2の定数)
  4. 前記パラメータ更新手段は、
    前記時間周波数分解手段により生成される観測時間周波数成分と前記時系列信号パラメータ初期値生成手段により生成された時系列信号パラメータとに基づいて、誤差配分比重係数を要素に持つ四次元配列を更新する誤差配分比重係数更新値算出手段と、
    前記時間周波数分手段により生成された観測時間周波数成分を要素に持つ二次元配列と前記時系列信号パラメータ初期値生成手段により生成された時系列信号パラメータと前記誤差配分比重係数更新値算出手段により生成された誤差配分比重係数を要素に持つ四次元配列とに基づいて、時間周波数成分配分量を要素に持つ四次元配列を算出する時間周波数成分配分量算出手段と、
    前記時系列信号パラメータ初期値生成手段により生成された時系列信号パラメータに関する前記目的関数を算出し、該目的関数を補助関数に基づいて最適化して時系列信号パラメータを更新するパラメータ更新値算出手段と
    備えることを特徴とする請求項1から請求項3のいずれか1の項に記載の信号解析装置。
  5. 前記時間周波数成分配分量算出手段は、
    前記時間周波数分解手段により生成された観測時間周波数成分を要素に持つ二次元配列と、前記時系列信号モデル算出手段により算出された時系列信号モデルとの差分に、誤差配分比重係数を乗じ、時系列信号パラメータに加えることにより、時間周波数成分配分量を要素に持つ四次元配列を算出する、
    ことを特徴とする請求項4に記載の信号解析装置。
  6. 前記パラメータ更新値算出手段は、
    前記時系列信号パラメータとして、振幅パラメータを更新する振幅パラメータ更新手段と、
    前記時系列信号パラメータとして、アクティビティ係数パラメータを更新するアクティビティ係数パラメータ更新手段と、
    前記時系列信号パラメータとして、位相パラメータを更新する位相パラメータ更新手段と
    を備えることを特徴とする請求項4に記載の信号解析装置。
  7. 前記誤差配分比重係数更新値算出手段は、
    前記判定手段による繰り返し実行過程において、1ステップ前の時系列信号パラメータの更新値を、それまでの時系列信号パラメータの総和で除算することで、誤差配分比重係数を要素に持つ四次元配列を更新する、
    ことを特徴とする請求項4に記載の信号解析装置。
  8. 時系列信号を入力とし、該時系列信号から観測時間周波数成分を要素に持つ二次元配列を生成するステップと、
    前記観測時間周波数成分を要素に持つ二次元配列に基づいて、時系列信号パラメータを生成するステップと、
    前記時系列信号パラメータに基づいて、時系列信号モデルを算出するステップと、
    次の式(D)で表される混合モデルを仮定し、観測時間周波数成分との近さまたは遠さを表す第1の規準とゲインのスパース性を表す第2の規準との重み付き和による前記時系列信号パラメータに関する目的関数を算出し、該目的関数を最適化して時系列信号パラメータを更新するステップと、
    前記更新される時系列信号パラメータが所定の基準を満たしているか否かを判定するステップと、
    前記所定の基準が満たされていないと判定された場合、前記時系列信号パラメータの更新及び前記判定を繰り返し実行するステップと、
    前記更新される時系列信号パラメータが所定の基準が満たされたと判定された場合、その時点での更新された時系列信号パラメータを出力するステップと
    を含むことを特徴とする信号解析方法。
    Figure 0005229737
    (ただし、x:周波数に対応するインデックス、t:時間に対応するインデックス、F x,t :時系列信号モデル、H k,x,τ :k番目のスペクトログラムのパーツ、U k,t :k番目のスペクトログラムのパーツに対応する時変のゲイン係数、φ k,x,t :位相スペクトル、τ:畳み込みにおける時間シフト)
  9. 時系列信号を入力とし、該時系列信号から観測時間周波数成分を要素に持つ二次元配列を生成するステップと、
    前記観測時間周波数成分を要素に持つ二次元配列に基づいて、時系列信号パラメータを生成するステップと、
    前記時系列信号パラメータに基づいて、時系列信号モデルを算出するステップと、
    時間幅を持った基底となる複数のスペクトログラムと前記基底となるそれぞれのスペクトログラムに対応する時変のゲイン係数とを時間方向に畳み込み、該畳み込んだ結果に各時刻の位相スペクトルを時間周波数ごとに乗じて表される混合モデルを仮定し、観測時間周波数成分との近さまたは遠さを表す第1の規準とゲインのスパース性を表す第2の規準との重み付き和による前記時系列信号パラメータに関する目的関数を算出し、該目的関数を最適化して時系列信号パラメータを更新するステップと、
    前記更新される時系列信号パラメータが所定の基準を満たしているか否かを判定するステップと、
    前記所定の基準が満たされていないと判定された場合、前記時系列信号パラメータの更新及び前記判定を繰り返し実行するステップと、
    前記更新される時系列信号パラメータが所定の基準が満たされたと判定された場合、その時点での更新された時系列信号パラメータを出力するステップと
    を含むことを特徴とする信号解析方法。
  10. 時系列信号を入力とし、該時系列信号から観測時間周波数成分を要素に持つ二次元配列を生成するステップと、
    前記観測時間周波数成分を要素に持つ二次元配列に基づいて、時系列信号パラメータを生成するステップと、
    前記時系列信号パラメータに基づいて、時系列信号モデルを算出するステップと、
    次の式(E)で表される混合モデルを仮定し、該式(E)を用いて次の式(F)によって求める前記時系列信号パラメータに関する目的関数を算出し、該目的関数を最適化して時系列信号パラメータを更新するステップと、
    前記更新される時系列信号パラメータが所定の基準を満たしているか否かを判定するステップと、
    前記所定の基準が満たされていないと判定された場合、前記時系列信号パラメータの更新及び前記判定を繰り返し実行するステップと、
    前記更新される時系列信号パラメータが所定の基準が満たされたと判定された場合、その時点での更新された時系列信号パラメータを出力するステップと
    を含むことを特徴とする信号解析方法。
    Figure 0005229737
    (ただし、x:周波数に対応するインデックス、t:時間に対応するインデックス、F x,t :時系列信号モデル、H k,x,τ :k番目のスペクトログラムのパーツ、U k,t :k番目のスペクトログラムのパーツに対応する時変のゲイン係数、φ k,x,t :位相スペクトル、τ:畳み込みにおける時間シフト)
    Figure 0005229737
    (ただし、H:H k,x,τ を要素とする集合、U:U k,t を要素とする集合、φ:φ k,x,t を要素とする集合、Y x,t :時間周波数成分、λ:定数、p:0<p<2の定数)
  11. 前記時系列信号パラメータを更新するステップは、
    前記観測時間周波数成分と前記時系列信号パラメータとに基づいて、誤差配分比重係数を要素に持つ四次元配列を更新するステップと、
    前記観測時間周波数成分を要素に持つ二次元配列と前記時系列信号パラメータと前記誤差配分比重係数を要素に持つ四次元配列とに基づいて、時間周波数成分配分量を要素に持つ四次元配列を算出するステップと、
    前記時系列信号パラメータに関する前記目的関数を算出し、該目的関数を補助関数に基づいて最適化して時系列信号パラメータを更新するステップと
    を含むことを特徴とする請求項8から請求項10のいずれか1の項に記載の信号解析方法。
  12. 前記時間周波数成分配分量を要素に持つ四次元配列を算出するステップは、
    前記観測時間周波数成分を要素に持つ二次元配列と前記時系列信号モデルとの差分に誤差配分比重係数を乗じ、時系列信号パラメータに加えることにより、時間周波数成分配分量を要素に持つ四次元配列を算出する、ことを特徴とする請求項11に記載の信号解析方法。
  13. 前記時系列信号パラメータは、
    振幅パラメータ、アクティビティ係数パラメータ、位相パラメータであることを特徴とする請求項11に記載の信号解析方法。
  14. 前記誤差配分比重係数を要素に持つ四次元配列を更新するステップは、
    前記誤差配分比重係数を要素に持つ四次元配列の更新、前記時間周波数成分配分量を要素に持つ四次元配列の算出、前記時系列信号パラメータの更新、前記判定を繰り返し実行する過程において、1ステップ前の時系列信号パラメータの更新値を、それまでの時系列信号パラメータの総和で除算することで、誤差配分比重係数を要素に持つ四次元配列を更新する、ことを特徴とする請求項11に記載の信号解析方法。
  15. 時系列信号を解析し、該時系列信号に含まれる時系列信号パラメータを抽出する信号解析装置のコンピュータに、
    該信号解析装置のそれぞれの構成要素における請求項8から請求項10のいずれか1の項に記載の信号解析方法の各ステップ
    を実行させるためのプログラム。
  16. 請求項15に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2009047248A 2009-02-27 2009-02-27 信号解析装置、信号解析方法、プログラム、及び記録媒体 Active JP5229737B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009047248A JP5229737B2 (ja) 2009-02-27 2009-02-27 信号解析装置、信号解析方法、プログラム、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009047248A JP5229737B2 (ja) 2009-02-27 2009-02-27 信号解析装置、信号解析方法、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2010204210A JP2010204210A (ja) 2010-09-16
JP5229737B2 true JP5229737B2 (ja) 2013-07-03

Family

ID=42965784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009047248A Active JP5229737B2 (ja) 2009-02-27 2009-02-27 信号解析装置、信号解析方法、プログラム、及び記録媒体

Country Status (1)

Country Link
JP (1) JP5229737B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6214377B2 (ja) * 2013-12-16 2017-10-18 三菱電機株式会社 信号処理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415392B2 (en) * 2004-03-12 2008-08-19 Mitsubishi Electric Research Laboratories, Inc. System for separating multiple sound sources from monophonic input with non-negative matrix factor deconvolution

Also Published As

Publication number Publication date
JP2010204210A (ja) 2010-09-16

Similar Documents

Publication Publication Date Title
Cheuk et al. nnaudio: An on-the-fly gpu audio to spectrogram conversion toolbox using 1d convolutional neural networks
KR101197407B1 (ko) 음성 신호 분리 장치 및 방법
JP5294300B2 (ja) 音信号の分離方法
Grais et al. Two-stage single-channel audio source separation using deep neural networks
Fuentes et al. Harmonic adaptive latent component analysis of audio and application to music transcription
JP6623376B2 (ja) 音源強調装置、その方法、及びプログラム
JP5233827B2 (ja) 信号分離装置、および信号分離方法、並びにコンピュータ・プログラム
EP2912660B1 (en) Method for determining a dictionary of base components from an audio signal
Chien et al. Bayesian factorization and learning for monaural source separation
Fuentes et al. Probabilistic model for main melody extraction using constant-Q transform
Miron et al. Monaural score-informed source separation for classical music using convolutional neural networks
JP2016045221A (ja) 信号解析装置、方法、及びプログラム
JP5580585B2 (ja) 信号分析装置、信号分析方法及び信号分析プログラム
Grais et al. Discriminative enhancement for single channel audio source separation using deep neural networks
JP2022539867A (ja) 音声分離方法及び装置、電子機器
JP5807914B2 (ja) 音響信号解析装置、方法、及びプログラム
Kirchhoff et al. Missing template estimation for user-assisted music transcription
JP5229737B2 (ja) 信号解析装置、信号解析方法、プログラム、及び記録媒体
JP2009204808A (ja) 音響特徴抽出方法及び、その装置、そのプログラム、そのプログラムを記録した記録媒体
Jaiswal et al. Towards shifted nmf for improved monaural separation
JP2012027196A (ja) 信号分析装置、方法、及びプログラム
JP2017152825A (ja) 音響信号解析装置、音響信号解析方法、及びプログラム
Kasák et al. Music information retrieval for educational purposes-an overview
Dong et al. Audio super-resolution using analysis dictionary learning
JP6581054B2 (ja) 音源分離装置、音源分離方法及び音源分離プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130312

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5229737

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250