JP5580585B2 - 信号分析装置、信号分析方法及び信号分析プログラム - Google Patents

Description

本発明は、音響信号をノート（楽譜における音符）ごとの信号に分解するために音響信号を分析する信号分析装置、信号分析方法及び信号分析プログラムに関する。

複数の音響信号が重畳する混合信号から個々の音響信号を分離抽出することは容易ではない。このような問題は音源分離と呼ばれ、特にモノラル信号を対象とした信号分離は典型的な不良設定問題であり、何の仮定も置かずに解くことは困難である。モノラル信号分離の研究は、これまで多くのアプローチが検討されているが、近年有効なアプローチとして脚光を浴びているのは、非負値行列因子分解（Non-negative Matrix Factorization；ＮＭＦ）の原理を応用した手法である（例えば、特許文献１参照）。このアプローチでは、観測信号の各時刻でのスペクトル（周波数成分の大きさ）を列ベクトルとして並べた非負値のデータ行列Ｙを非負値の基底行列Ｈと非負値の係数行列Ｕの積の形で近似する。

この結果、観測される全スペクトルを構成しているスペクトル基底関数が基底行列Ｈの各列に格納され、特定のスペクトル基底関数が各時刻でどの程度の大きさでアクティベートしているかを表すスペクトル基底アクティビティ値の時系列が係数行列Ｕの一つの行に格納される。以上のようにして、信号の分解表現を得ることができる。この手法は、音源分離の問題に対して、「観測信号は限られた種類のスペクトルをもった音だけで構成される」という仮定を活用している点が特徴的であり、この仮定に適合する信号に対しては有効な解法となる。

非負値行列因子分解によるスペクトログラムの分解表現は、スペクトログラムを
と見立て、
となるような
を決めてやることによって得られる。ただし、ω、ｔはそれぞれ周波数と時刻に対応するインデックスである。

ｙ_ｔ：＝（Ｙ_１，，・・・，Ｙ_Ω，ｔ）^Ｔ，ｈ_ｉ：＝（Ｈ_１，ｉ，・・・，Ｈ_Ω，ｉ）^Ｔとすると式（２）は、
と書き直せることから分かるとおり、すべてのｔにおける観測データｙ_ｔを、高々Ｉ種類の「パーツ」ｈ_１，・・・，ｈ_Ｉだけで構成されたものと見なそうとしていることになり、そのためにそれぞれのパーツをどのように置くのが最も妥当かを判断する問題と理解される。これにより得られるそれぞれの行列が表すものは、図２を見るとより分かりやすい。Ｈの各列ベクトルには楽曲中に繰り返し現れるスペクトルが典型的な構成パーツと見なされて表出される。従って、音楽スペクトログラムが楽器の種類や音階で決まる限られたパターンのスペクトルだけで構成されているとするなら、Ｈの各列ベクトルはおおよそ特定楽器の特定音階に対応したスペクトルとなる。一方、Ｕの各行ベクトルはそれぞれのスペクトルパーツがどの時刻にどの程度の強さでアクティベートしているかを表している。

P. Smaragdis and J. C. Brown, "Non-negative matrix factorization for music transcription," in Proceedings of the IEEEWorkshop on Applications of Signal Processing to Audio and Acoustics (WASPAA), 2003, pp. 177.180.

前述のとおり、非負値行列因子分解は、観測スペクトルを格納したデータ行列を、スペクトル基底を各列に格納した基底行列とスペクトル基底アクティビティの時系列を各行に格納した係数行列の積で近似することで、観測スペクトルの集合からスペクトル基底関数を自動獲得し、スペクトル基底関数ごとに観測スペクトルを分解する機能をもつものである。

しかしながら、音楽信号をノート（楽譜における音符）ごとの信号に分解するためには、スペクトル基底アクティビティ時系列自体をも各ノートイベントに該当するスペクトル基底アクティビティ時系列に分解する必要がある。明らかに従来の非負値行列因子分解にはこのような階層的な分解表現を取得する機能がないという問題がある。

本発明は、このような事情に鑑みてなされたもので、前述したような階層的な分解表現を得ることができる信号分析装置、信号分析方法及び信号分析プログラムを提供することを目的とする。

本発明は、音響信号データが記憶された信号データ記憶手段と、前記信号データ記憶手段から読み込んだ前記音響信号データに対する時間周波数解析により、前記音響信号データの時間周波数成分を格納したデータ行列Ｙを求める時間周波数解析手段と、非負値行列因子分解手法を用いて、前記データ行列Ｙを、基底行列Ｈと係数行列Ｕの積で近似した場合に、求めるべきスペクトル基底パラメータ、パワーエンベロープ基底パラメータ及びパワーエンベロープ基底アクティビティ値それぞれの初期値を設定する初期値設定手段と、前記初期値が設定されたスペクトル基底パラメータ、パワーエンベロープ基底パラメータ及びパワーエンベロープ基底アクティビティ値を用いて、前記係数行列Ｕの各行に対応するスペクトル基底アクティビティ時系列を畳み込み混合の形式で表現したスペクトログラムモデルの値を算出するモデル算出手段と、前記スペクトログラムモデルの値と、前記データ行列と、前記スペクトル基底パラメータと、前記パワーエンベロープ基底パラメータ及び前記パワーエンベロープ基底アクティビティ値それぞれの値を用いて、前記初期値を設定した前記スペクトル基底パラメータと、前記パワーエンベロープ基底パラメータと、前記パワーエンベロープ基底アクティビティ値とを更新する更新手段と、前記スペクトル基底パラメータ、前記パワーエンベロープ基底パラメータ及び前記パワーエンベロープ基底アクティビティ値が収束するまで前記更新手段により値の更新を続け、収束した時点で、前記スペクトル基底パラメータ、前記パワーエンベロープ基底パラメータ、前記パワーエンベロープ基底アクティビティ値及び前記スペクトログラムモデルの値を出力する出力手段とを備えたことを特徴とする。

本発明は、音響信号データが記憶された信号データ記憶手段を備えた信号分析装置のコンピュータに、信号分析処理を行わせる信号分析方法であって、前記信号データ記憶手段から読み込んだ前記音響信号データに対する時間周波数解析により、前記音響信号データの時間周波数成分を格納したデータ行列Ｙを求める時間周波数解析ステップと、非負値行列因子分解手法を用いて、前記データ行列Ｙを、基底行列Ｈと係数行列Ｕの積で近似した場合に、求めるべきスペクトル基底パラメータ、パワーエンベロープ基底パラメータ及びパワーエンベロープ基底アクティビティ値それぞれの初期値を設定する初期値設定ステップと、前記初期値が設定されたスペクトル基底パラメータ、パワーエンベロープ基底パラメータ及びパワーエンベロープ基底アクティビティ値を用いて、前記係数行列Ｕの各行に対応するスペクトル基底アクティビティ時系列を畳み込み混合の形式で表現したスペクトログラムモデルの値を算出するモデル算出ステップと、前記スペクトログラムモデルの値と、前記データ行列と、前記スペクトル基底パラメータと、前記パワーエンベロープ基底パラメータ及び前記パワーエンベロープ基底アクティビティ値それぞれの値を用いて、前記初期値を設定した前記スペクトル基底パラメータと、前記パワーエンベロープ基底パラメータと、前記パワーエンベロープ基底アクティビティ値とを更新する更新ステップと、前記スペクトル基底パラメータ、前記パワーエンベロープ基底パラメータ及び前記パワーエンベロープ基底アクティビティ値が収束するまで前記更新ステップにより値の更新を続け、収束した時点で、前記スペクトル基底パラメータ、前記パワーエンベロープ基底パラメータ、前記パワーエンベロープ基底アクティビティ値及び前記スペクトログラムモデルの値を出力する出力ステップとを有することを特徴とする。

本発明は、音響信号データが記憶された信号データ記憶手段を備えた信号分析装置のコンピュータに、信号分析処理を行わせる信号分析プログラムであって、前記信号データ記憶手段から読み込んだ前記音響信号データに対する時間周波数解析により、前記音響信号データの時間周波数成分を格納したデータ行列Ｙを求める時間周波数解析ステップと、非負値行列因子分解手法を用いて、前記データ行列Ｙを、基底行列Ｈと係数行列Ｕの積で近似した場合に、求めるべきスペクトル基底パラメータ、パワーエンベロープ基底パラメータ及びパワーエンベロープ基底アクティビティ値それぞれの初期値を設定する初期値設定ステップと、前記初期値が設定されたスペクトル基底パラメータ、パワーエンベロープ基底パラメータ及びパワーエンベロープ基底アクティビティ値を用いて、前記係数行列Ｕの各行に対応するスペクトル基底アクティビティ時系列を畳み込み混合の形式で表現したスペクトログラムモデルの値を算出するモデル算出ステップと、前記スペクトログラムモデルの値と、前記データ行列と、前記スペクトル基底パラメータと、前記パワーエンベロープ基底パラメータ及び前記パワーエンベロープ基底アクティビティ値それぞれの値を用いて、前記初期値を設定した前記スペクトル基底パラメータと、前記パワーエンベロープ基底パラメータと、前記パワーエンベロープ基底アクティビティ値とを更新する更新ステップと、前記スペクトル基底パラメータ、前記パワーエンベロープ基底パラメータ及び前記パワーエンベロープ基底アクティビティ値が収束するまで前記更新ステップにより値の更新を続け、収束した時点で、前記スペクトル基底パラメータ、前記パワーエンベロープ基底パラメータ、前記パワーエンベロープ基底アクティビティ値及び前記スペクトログラムモデルの値を出力する出力ステップとを前記コンピュータに行わせることを特徴とする。

本発明によれば、複数の音が混在している音響信号からの特定音の検出、複数の音が混在している音響信号からの特定音の抽出、および複数の音が混在している音響信号からの特定音の加工などに信号分析結果のパラメータを利用することができるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 非負値行列因子分解（ＮＭＦ）による音楽スペクトルグラムの分解表現を示す説明図である。

以下、図面を参照して、本発明の一実施形態による信号分析装置を説明する。初めに、本発明による信号分析装置の基本原理について説明する。音楽信号からデータ行列を取得した場合、非負値行列因子分解によって得られる係数行列の各行に格納されたスペクトル基底アクティビティ時系列は、限られた種類の局所パターンの組み合わせで表現されることが多い。これは、音楽においては、音価と呼ぶノートの発音時間長に関する単位があり、同じ音価のノートは音の立ち上がり方と減衰の仕方が類似することが多いからである。

本発明では、前述した音楽の性質を利用し、観測スペクトルの集合からスペクトル基底関数を自動獲得しつつスペクトル基底関数ごとに観測スペクトルを分解する非負値行列因子分解の従来の機能に加え、各スペクトル基底アクティビティ時系列の中に混在する局所パターンの基底関数（以後、これをパワーエンベロープ基底という）を自動獲得しつつパワーエンベロープ基底ごとにスペクトル基底アクティビティ時系列を分解する機能を実現している。

具体的に説明すると、係数行列Ｕの各行に対応するスペクトル基底アクティビティ時系列を畳み込み混合の形で表現する。すなわち、Ｕのｉ行目の要素をＵ_ｉ，０，Ｕ_ｉ，１，・・・とすると、
と表す。Ｇ_ｊ，０，Ｇ_ｊ，１，・・・はｊ番目のパワーエンベロープ基底であり、Ｏ_{ｉ，ｊ，０}，Ｏ_{ｉ，ｊ，１}，・・・はそのアクティビティを表すので以後、Ｏ_{ｉ，ｊ，ｔ}をパワーエンベロープ基底アクティビティと呼ぶ。ところで、畳み込み混合とは、複数の信号源から到来する信号を複数のマイクロホンで観測する際の、信号源の混合過程のモデルとして広く認知されているものであり、前述の場合、Ｕのｉ行目のスペクトル基底アクティビティ時系列がｉ番目のマイクロホンにおける観測信号に対応し、Ｇ_ｊ，１，Ｇ_ｊ，２，・・・がｊ番目の信号源の信号に対応し、Ｏ_{ｉ，ｊ，１}，Ｏ_{ｉ，ｊ，２}・・・がｊ番目の信号源からｉ番目のマイクロホンまでのインパルス応答に対応していることになる。

次に、スペクトログラムモデルについて説明する。図２に示すＵの各行ベクトルを見ると、ｈ_ｉのスペクトル基底アクティベーションの時間エンベロープは、限られた種類の局所パターンだけで構成されていることに気づく。これは、個々のノートは限られた種類の音長で弾かれるため、立ち上がり・減衰パターンの種類もまた限られるからである。そこで、Ｕに関して、さらに、
のような畳み込み混合の形で表される分解表現を考える。Ｇ_ｊ，τはｊ番目の時間エンベロープの局所パターンを表す。一方Ｏ_{ｉ，ｊ，ｔ}はそのアクティベーションを表し、理想的には各ノートのオンセット時刻にピークが立つようなイメージとなる。式（２）の右辺に式（５）を代入すると、
のように、式（２）で与えられるＮＭＦ型のモデルを拡張したスペクトログラムモデルが立てられる。ここで、分解のスケールの任意性を除く目的で、
を仮定しておく。

次に、最適化アルゴリズムについて説明する。非負値行列因子分解でＹから図２のようにＨとＵを求めたように、提案するモデルのもとでＹからＨとＧとＯを求めたい。以下では、提案モデルによる音楽の階層的スパース表現を得るための最適化アルゴリズムについて説明する。まず、二乗誤差規準について説明する。ここでは、観測スペクトログラムＹ：＝（Ｙ_ω，ｔ）_Ω×Ｔのもとで設定される次の最適化問題
を検討する。Ｓ（Ｇ，Ｏ）はＧ，Ｏをスパースな解へと誘導する正則化項であり、ここでは
と定義する。ただし、０＜ｐ_ｇ≦２，０＜ｐ_ｏ≦２とする。

まず、Ｆを降下させるＨの更新式を導出する。Ｈ，Ｇ，Ｏの１ステップ前での更新値をそれぞれＨ’，Ｇ’，Ｏ’とすると、
となる。ただし、
である。詳細な説明は省略するが、Ｆ_Ｈ（Ｈ，Ｇ’，Ｏ’）を最小化するＨは解析的に
と求まり、このように更新すればＦ（Ｈ，Ｇ’，Ｏ’）は増加しないことが保証される。また、Ｈ’およびＵ’がともに非負値であればＨも必ず非負値となる。

次に、Ｆを降下させるＧの更新式を導出する。先と同様に、
となる。ただし、
である。Ｆ_Ｇ（Ｈ’，Ｇ，Ｏ’）の第２項は
の不等式による（右辺は接点±ｘ’で｜ｘ｜^ｐに接する放物線であるため明らか）。以上より、Ｆ_Ｇ（Ｈ’，Ｇ，Ｏ’）を用いてＧの更新式が
と導ける。

最後に、Ｆを降下させるＯの更新式を導出する。先と同様に、
が言え、これを用いてＯの更新式が
と導ける。

次に、Ｉダイバージェンス規準について説明する。モデル化誤差をＩダイバージェンスで測った場合の最適化問題
についても検討する。

まず、Ｈの更新式については、
の不等式より導かれる
を最小化するＨを求めれば良く、
のように解析的に得られる。以下同様にして、Ｇの更新式については、
の不等式、Ｏの更新式については、
の不等式より導かれる
をそれぞれ最小化するＧ，Ｏを求めれば良く、
のように解析的に得られる。式（２１）の第２項および式（２２）の第３項は
∀_ｘ＞０，｜ｘ｜^ｐ≦ｐ｜ｘ’｜^ｐ−１（ｘ−ｘ’）＋｜ｘ’｜^ｐ（０＜ｐ≦２）・・・（２５）による（右辺は接点ｘ’における｜ｘ｜^ｐの接線であるため明らか）。

次に、前述した基本原理を使用した信号分析装置について説明する。図１は第１の実施形態における信号分析装置の構成を示すブロック図である。信号分析装置は、コンピュータ装置で構成する。この図において、符号１は、音響信号を標本化・量子化することにより得られる音響信号データを入力して記憶した信号データ記憶部である。符号２は、時間周波数解析を行う時間周波数解析部である。符号３は、値の初期設定を行う初期設定部である。符号４は、スペクトログラムモデルを算出するスペクトログラムモデル算出部である。符号５は、スペクトル基底を更新するスペクトル基底更新部である。符号６は、パワーエンベロープ基底を更新するパワーエンベロープ基底更新部である。符号７は、パワーエンベロープ基底アクティビティを更新するパワーエンベロープ基底アクティビティ更新部である。符号８は、パラメータを規格化するパラメータ規格化部である。符号９は、処理が収束したか否かを判定する収束判定部である。符号１０は、パラメータを出力するパラメータ出力部である。符号１１は、出力されたパラメータを記憶するパラメータ記憶部である。

次に、図１を参照して、図１に示す信号分析装置の動作を説明する。まず、時間周波数解析部２は、信号データ記憶部１に記憶されている分析対象の信号データを読み込み、短時間フーリエ変換（Short-Time Fourier Transform；ＳＴＦＴ）やウェーブレット変換などを用いて、時間周波数解析を行って非負値で与えられる時間周波数成分｛Ｙω，ｔ｝_{０≦Ω≦Ω−１，０≦ｔ≦Ｔ−１}を計算する。ただし、ω＝０，・・・，Ω−１，ｔ＝０，・・・，Ｔ−１はそれぞれ周波数、時刻に対応するインデックスとする。時間周波数解析部２は、時間周波数成分Ｙ_ω，ｔを格納した行列Ｙ＝（Ｙ_ω，ｔ）_Ω×Ｔを出力する。

次に、初期設定部３は、スペクトル基底数Ｉ、パワーエンベロープ基底数Ｊおよび正則化パラメータλ_ｇ，λ_ｏ，ｐ_ｇ，ｐ_ｏを決定する。そして、初期設定部３は、非負値行列因子分解（ＮＭＦ）によりＹに対し、
となる
を出力する。これを用いて、スペクトル基底パラメータＨ_ω，ｉ、パワーエンベロープ基底パラメータＧ_ｊ，ｔ、パワーエンベロープ基底アクティビティ値Ｏ_{ｉ，ｊ，ｔ}の初期値をそれぞれ
として出力する。ただし、ｉ＝１，・・・，Ｉはスペクトル基底のインデックス、ｊ＝１，・・・，Ｊはパワーエンベロープ基底のインデックスとする。また、［・］_ａ，ｂは行列のａ行ｂ列の成分を表す。

次に、スペクトログラムモデル算出部４は、前段で得られたＨ_ω，ｉ、Ｇ_ｊ，ｔ、Ｏ_{ｉ，ｊ，ｔ}を用いてスペクトログラムモデルＸ_ω，ｔを以下の手順で算出して出力する。まず、スペクトログラムモデル算出部４は、Ｇ_ｊ，ｔとＯ_{ｉ，ｊ，ｔ}を用いてスペクトル基底アクティビティ値Ｕ_ｉ，ｔを畳み込み混合演算
により算出する。この畳み込み混合演算は高速フーリエ変換を用いて高速計算する。

次に、スペクトログラムモデル算出部４は、Ｈ_ω，ｉおよび先に求まったＵ_ｉ，ｔを用いて、Ｘ_ω，ｔを積和演算
により算出する。

次に、スペクトル基底更新部５は、Ｙ_ω，ｔおよび前段で得られたＸ_ω，ｔとＵ_ｉ，ｔとＨ_ω，ｉを用いて、Ｈ_ω，ｉを
により更新して出力する。

次に、パワーエンベロープ基底更新部６は、Ｙ_ω，ｔおよび前段で得られたＸ_ω，ｔとＨ_ω，ｉとＯ_{ｉ，ｊ，ｔ}を用いて、Ｇ_ｊ，ｔを以下の手順により算出する。まず、パワーエンベロープ基底更新部６は、ｉ番目のスペクトル基底Ｈ_{０，ｉ，・・・}，Ｈ_{Ω−１，ｉ}と時刻ｔにおける観測スペクトルＹ_{０，ｔ，・・・}，Ｙ_{Ω−１，ｔ}との
を
により算出する。同様に、パワーエンベロープ基底更新部６は、Ｈ_{０，ｉ，・・・}，Ｈ_{Ω−１，ｉ}とＸ_{０，ｔ，・・・}，Ｘ_{Ω−１，ｔ}の
を
により算出する。

次に、パワーエンベロープ基底更新部６は、
を
により算出する。この相互相関の演算は、高速フーリエ変換を用いることで高速計算する。同様に、パワーエンベロープ基底更新部６は、
を
により算出する。この相互相関の演算も高速フーリエ変換を用いることで高速計算する。

最後に、パワーエンベロープ基底更新部６は、
および前段で得られたＧ_ｊ，ｔを用いて、Ｇ_ｊ，ｔを
により更新する。このλ_ｇｐ_ｇ｜Ｇ_ｊ，τ｜^ｐｇ−１はスパース正則化項に関係する項であり、Ｇ_ｊ，ｔの要素をスパースにするように誘導する効果をもつものであればこれ以外の形のもので代替してもよい。

次に、パワーエンベロープ基底アクティビティ更新部７は、Ｙ_ω，ｔおよび前段で得られたＸ_ω，ｔとＨ_ω，ｉとＯ_{ｉ，ｊ，ｔ}を用いて、Ｇ_ｊ，ｔを以下の手順により算出して出力する。まず、パワーエンベロープ基底アクティビティ更新部７は、ｉ番目のスペクトル基底Ｈ_{０，ｉ，・・・}，Ｈ_{Ω−１，ｉ}と時刻ｔにおける観測スペクトルＹ_{０，ｔ，・・・}，Ｙ_{Ω−１，ｔ}との
を
により算出する。同様に、パワーエンベロープ基底アクティビティ更新部７は、Ｈ_{０，ｉ，・・・}，Ｈ_{Ω−１，ｉ}とＸ_{０，ｔ，・・・}，Ｘ_{Ω−１，ｔ}の
を
により算出する。

次に、パワーエンベロープ基底アクティビティ更新部７は、
を
により算出する。この相互相関の演算は，高速フーリエ変換を用いることで高速計算する。同様に、パワーエンベロープ基底アクティビティ更新部７は、
を
により算出する。この相互相関の演算も高速フーリエ変換を用いることで高速計算する。

最後に、パワーエンベロープ基底アクティビティ更新部７は、
を
により更新する。この＋λ_ｏｐ_ｏ｜Ｏ’_{ｉ，ｊ，τ}｜^ｐｏ−１はスパース正則化項に関係する項であり、Ｏ_{ｉ，ｊ，ｔ}の要素をスパースにするように誘導する効果をもつものであればこれ以外の形のもので代替してもよい。

次に、パラメータ規格化部８は、前段で得られたＨ_ω，ｉおよびＧ_ｊ，ｔを規格化して出力する。例えば、足して１になるように両者を規格化する場合は、
によりＨ_ω，ｉおよびＧ_ｊ，ｔをそれぞれ更新する。

次に、収束判定部９は、前段の反復計算が所定の回数を満たしたか否か、あるいは、反復計算においてパラメータの更新の変化率が所定値以下になったか否か、あるいは、目的関数値の変化率が所定値以下になったか否かを判定する。例えば、目的関数は、
により計算する。ただし、Ｓ（Ｇ，Ｏ）はＧ，Ｏをスパースな解へと誘導する正則化項であり、
と定義する。収束判定部９は、反復計算が収束していなければ、スペクトログラムモデル算出部４に対して、再度スペクトログラムモデルを算出し直す指示を出力し、これを受けて、スペクトログラムモデル算出部４、スペクトル基底更新部５、パワーエンベロープ基底更新部６、パワーエンベロープ基底アクティビティ更新部７及びパラメータ規格化部８は、反復計算が収束するまで前述した処理動作を繰り返す。

次に、パラメータ出力部９は、反復計算が収束したと見なされたＨ_ω，ｉ，Ｇ_ｊ，ｔ，Ｏ_{ｉ，ｊ，ｔ}，Ｘ_ω，ｔなどのパラメータをパラメータ記憶部１１に記憶する。

次に、第２の実施形態における信号分析装置を説明する。まず、第２の実施形態におけるスペクトル基底更新部５の処理動作を説明する。スペクトル基底更新部５は、Ｙ_ω，ｔおよび前段で得られたＸ_ω，ｔとＨ_ω，ｉとＵ_ｉ，ｔを用いて、以下の手順によりＨ_ω，ｉを更新する。まず、観測スペクトログラムＹ_ω，ｔとスペクトログラムモデルＸ_ω，ｔとのスペクトログラム比Ｒ_ω，ｔを
により算出する。

次に、スペクトル基底更新部５は、先に求まったＲ_ω，ｔおよびＨ_ω，ｉとＵ_ｉ，ｔを用いて、
により算出する。

次に、第２の実施形態におけるパワーエンベロープ基底更新部６の処理動作を説明する。パワーエンベロープ基底更新部６、Ｙ_ω，ｔおよび前段で得られたＸ_ω，ｔとＨ_ω，ｉとＧ_ｊ，ｔとＯ_{ｉ，ｊ，ｔ}を用いて、以下の手順によりＧ_ｊ，ｔを更新する。まず、パワーエンベロープ基底更新部６は、観測スペクトログラムＹ_ω，ｔとスペクトログラムモデルＸ_ω，ｔとのスペクトログラム比Ｒ_ω，ｔを
により算出する。次に、パワーエンベロープ基底更新部６は、Ｈ_{０，ｉ，・・・}，Ｈ_{Ω−１，ｉ}とＲ_{０，ｔ，・・・}，Ｒ_{Ω−１，ｔ}との
を
により計算する。次に、パワーエンベロープ基底更新部６は、
により計算する。この相互相関の演算は、高速フーリエ変換を用いることで高速計算する。

最後に、パワーエンベロープ基底更新部６は、
によりＧ_ｊ，ｔを更新する。この２λ_ｇｐ_ｇ｜Ｇ_ｊ，τ｜^ｐｇ−１はスパース正則化項に関係する項であり、Ｇ_ｊ，ｔの要素をスパースにするように誘導する効果をもつものであればこれ以外の形のもので代替してもよい。

次に、第２の実施形態におけるパワーエンベロープ基底アクティビティ更新部７の処理動作を説明する。パワーエンベロープ基底アクティビティ更新部７は、Ｙ_ω，ｔおよび前段で得られたＸ_ω，ｔとＨ_ω，ｉとＧ_ｊ，ｔとＯ_{ｉ，ｊ，ｔ}を用いて、以下の手順によりＯ_{ｉ，ｊ，ｔ}を更新する。まず、パワーエンベロープ基底アクティビティ更新部７は、観測スペクトログラムＹ_ω，ｔとスペクトログラムモデルＸ_ω，ｔとのスペクトログラム比Ｒ_ω，ｔを
により算出する。次に、パワーエンベロープ基底アクティビティ更新部７は、Ｈ_{０，ｉ，・・・}，Ｈ_{Ω−１，ｉ}とＲ_{０，ｔ，・・・}，Ｒ_{Ω−１，ｔ}との
を
により計算する。次に、パワーエンベロープ基底アクティビティ更新部７は、
を
により計算する。この相互相関の演算は、高速フーリエ変換を用いることで高速計算する。

最後に、パワーエンベロープ基底アクティビティ更新部７は、
によりＯ_{ｉ，ｊ，ｔ}を更新する。この２λ_ｏｐ_ｏ｜Ｏ_{ｉ，ｊ，τ}｜^ｐｏ−１はスパース正則化項に関係する項であり、Ｏ_{ｉ，ｊ，ｔ}の要素をスパースにするように誘導する効果をもつものであればこれ以外の形のもので代替してもよい。

次に、第２の実施形態における収束判定部９の処理動作を説明する。収束判定部９は、反復計算が所定の回数を満たしたか否か、あるいは、反復計算においてパラメータの更新の変化率が所定値以下になったか否か、あるいは、目的関数値の変化率が所定値以下になったか否かを判定する。例えば、目的関数は
により計算する。ただし、Ｓ（Ｇ，Ｏ）はＧ，Ｏをスパースな解へと誘導する正則化項であり、ここでは
と定義する。

以上説明したように、音響信号をノートごとの信号に分解するために、従来の非負値行列分解（ＮＭＦ）で用いられる分解要素（行列Ｕ）について、さらに音の立ち上がりや減衰のパターンの情報を表現できる分解（式（４）及び式（５））を導入した新たなモデルを用い、モデルの各パラメータを推定することにより、複数の音が混在している音響信号からの特定音の検出、複数の音が混在している音響信号からの特定音の抽出、および複数の音が混在している音響信号からの特定音の加工などに利用することができる。

なお、図１に示す時間周波数解析部２、初期設定部３、スペクトログラムモデル算出部４、スペクトル基底更新部５、パワーエンベロープ基底更新部６、パワーエンベロープ基底アクティビティ更新部７、パラメータ規格化部８、収束判定部９及びパラメータ出力部１０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより信号分析処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

複数の音が混在している音響信号からの特定音の検出、複数の音が混在している音響信号からの特定音の抽出、および複数の音が混在している音響信号からの特定音の加工などを行うことが不可欠な用途に適用できる。

１・・・信号データ記憶部、２・・・時間周波数解析部、３・・・初期設定部、４・・・スペクトログラムモデル算出部、５・・・スペクトル基底更新部、６・・・パワーエンベロープ基底更新部、７・・・パワーエンベロープ基底アクティビティ更新部、８・・・パラメータ規格化部、９・・・収束判定部、１０・・・パラメータ出力部、１１・・・パラメータ記憶部

Claims (3)

1. 音響信号データが記憶された信号データ記憶手段と、
   前記信号データ記憶手段から読み込んだ前記音響信号データに対する時間周波数解析により、前記音響信号データの時間周波数成分を格納したデータ行列Ｙを求める時間周波数解析手段と、
   非負値行列因子分解手法を用いて、前記データ行列Ｙを、基底行列Ｈと係数行列Ｕの積で近似した場合に、求めるべきスペクトル基底パラメータ、パワーエンベロープ基底パラメータ及びパワーエンベロープ基底アクティビティ値それぞれの初期値を設定する初期値設定手段と、
   前記初期値が設定されたスペクトル基底パラメータ、パワーエンベロープ基底パラメータ及びパワーエンベロープ基底アクティビティ値を用いて、前記係数行列Ｕの各行に対応するスペクトル基底アクティビティ時系列を畳み込み混合の形式で表現したスペクトログラムモデルの値を算出するモデル算出手段と、
   前記スペクトログラムモデルの値と、前記データ行列Ｙと、前記スペクトル基底パラメータと、前記パワーエンベロープ基底パラメータ及び前記パワーエンベロープ基底アクティビティ値それぞれの値を用いて、前記初期値を設定した前記スペクトル基底パラメータと、前記パワーエンベロープ基底パラメータと、前記パワーエンベロープ基底アクティビティ値とを更新する更新手段と、
   前記スペクトル基底パラメータ、前記パワーエンベロープ基底パラメータ及び前記パワーエンベロープ基底アクティビティ値が収束するまで前記更新手段により値の更新を続け、収束した時点で、前記スペクトル基底パラメータ、前記パワーエンベロープ基底パラメータ、前記パワーエンベロープ基底アクティビティ値及び前記スペクトログラムモデルの値を出力する出力手段と、
   前記パワーエンベロープ基底アクティビティ値の時系列から各ノートのオンセットに対応するピークを検出し、各ピーク近傍の値と前記パワーエンベロープ基底パラメータと前記スペクトル基底パラメータとを用いて、楽譜における音符に相当するノート毎の音響信号のスペクトログラムを算出するスペクトログラム算出手段と
   を備えたことを特徴とする信号分析装置。
2. 音響信号データが記憶された信号データ記憶手段を備えた信号分析装置のコンピュータに、信号分析処理を行わせる信号分析方法であって、
   前記信号データ記憶手段から読み込んだ前記音響信号データに対する時間周波数解析により、前記音響信号データの時間周波数成分を格納したデータ行列Ｙを求める時間周波数解析ステップと、
   非負値行列因子分解手法を用いて、前記データ行列Ｙを、基底行列Ｈと係数行列Ｕの積で近似した場合に、求めるべきスペクトル基底パラメータ、パワーエンベロープ基底パラメータ及びパワーエンベロープ基底アクティビティ値それぞれの初期値を設定する初期値設定ステップと、
   前記初期値が設定されたスペクトル基底パラメータ、パワーエンベロープ基底パラメータ及びパワーエンベロープ基底アクティビティ値を用いて、前記係数行列Ｕの各行に対応するスペクトル基底アクティビティ時系列を畳み込み混合の形式で表現したスペクトログラムモデルの値を算出するモデル算出ステップと、
   前記スペクトログラムモデルの値と、前記データ行列Ｙと、前記スペクトル基底パラメータと、前記パワーエンベロープ基底パラメータ及び前記パワーエンベロープ基底アクティビティ値それぞれの値を用いて、前記初期値を設定した前記スペクトル基底パラメータと、前記パワーエンベロープ基底パラメータと、前記パワーエンベロープ基底アクティビティ値とを更新する更新ステップと、
   前記スペクトル基底パラメータ、前記パワーエンベロープ基底パラメータ及び前記パワーエンベロープ基底アクティビティ値が収束するまで前記更新ステップにより値の更新を続け、収束した時点で、前記スペクトル基底パラメータ、前記パワーエンベロープ基底パラメータ、前記パワーエンベロープ基底アクティビティ値及び前記スペクトログラムモデルの値を出力する出力ステップと、
   前記パワーエンベロープ基底アクティビティ値の時系列から各ノートのオンセットに対応するピークを検出し、各ピーク近傍の値と前記パワーエンベロープ基底パラメータと前記スペクトル基底パラメータとを用いて、楽譜における音符に相当するノート毎の音響信号のスペクトログラムを算出するスペクトログラム算出ステップと
   を有することを特徴とする信号分析方法。
3. コンピュータを、請求項１に記載の信号分析装置として機能させるための信号分析プログラム。