JP7006592B2 - 信号処理装置、信号処理方法および信号処理プログラム - Google Patents

信号処理装置、信号処理方法および信号処理プログラム Download PDF

Info

Publication number
JP7006592B2
JP7006592B2 JP2018523934A JP2018523934A JP7006592B2 JP 7006592 B2 JP7006592 B2 JP 7006592B2 JP 2018523934 A JP2018523934 A JP 2018523934A JP 2018523934 A JP2018523934 A JP 2018523934A JP 7006592 B2 JP7006592 B2 JP 7006592B2
Authority
JP
Japan
Prior art keywords
basis
acoustic event
matrix
spectral
acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018523934A
Other languages
English (en)
Other versions
JPWO2017217412A1 (ja
Inventor
達也 小松
玲史 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2017217412A1 publication Critical patent/JPWO2017217412A1/ja
Application granted granted Critical
Publication of JP7006592B2 publication Critical patent/JP7006592B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/0308—Voice signal separating characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/22—Source localisation; Inverse modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Description

本発明は、音響信号を処理する信号処理装置、信号処理方法および信号処理プログラムに関する。
音響信号から予め定めた音響イベントを検知したり、音響信号を音源別の信号に分離する技術がある。ここで、音響イベントは、物理イベントに対応する音響信号のパターンであり、物理イベントが引き起こす物理状態と対応する区間の音響信号パターンとを対応づけたものである。例えば、検知対象として「ガラスの破砕」という音響イベントを定義したい場合、該音響イベントは、ガラスが割れた際に生じる音響信号パターンと「ガラスが割れる」という物理状態を対応づけたものである。
例えば、非特許文献１には、非負値行列因子分解（ＮＭＦ：Nonnegative Matrix Factorization）を用いて音響信号のスペクトログラムから音響イベントの基底行列の発現度合いを算出し、それを特徴量として音響信号に含まれる音響イベントを検知する方法が記載されている。非特許文献１に記載の方法は、より具体的には、音響信号のスペクトログラムに対して、あらかじめ学習データから算出した基底行列を教師基底とするＮＭＦを用いて該基底行列に含まれる各スペクトル基底の発現度合いを算出する。そして、該方法は、算出された発現度合いの組み合わせを基に音響信号に特定の音響イベントが含まれるか否かを識別することにより、音響イベントを検知する。
また、ＮＭＦは、複数の音源からの音を含む音響信号に対する音源分離にも多く用いられている。例えば、ＮＭＦを用いて分離対象とされる音響信号のスペクトルを、各音源のスペクトル基底を表す基底行列とその発現度合いを表すアクティベーション行列とに分離する。これにより、音源ごとのスペクトルが得られる。非特許文献１に記載の方法では、所定の音源による音響信号も、検知対象の音響イベントとして指定可能とする。すなわち、音響イベントには、所定音源からの音の発生という物理イベントに対応する音響信号のパターンも含まれるものとする。
特開２０１６－０４５２２１号公報 特開２０１４－１６４１２６号公報
Courtenay V. Cotton and Daniel P. W. Ellis, ‘SPECTRAL VS. SPECTRO-TEMPORAL FEATURES FOR ACOUSTIC EVENT DETECTION’, 2011 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics.
しかし、非特許文献１に記載の方法は、音響イベントの識別精度が十分でないという問題があった。例えば、非特許文献１に記載の方法は、未知の環境下などにおいて、学習データから作成した基底行列では表現できないような未知の音が存在する場合、本来検知対象でない未知の音も検知対象の音響イベントとして誤って識別してしまうという問題があった。また、例えば、非特許文献１に記載の方法では、基底行列を生成するためのＮＭＦの解に多くの局所解が存在する。このため、非特許文献１に記載の方法は、学習データから基底行列を精度よく推定できず、正確な基底行列の抽出に失敗してしまうという問題があった。正確な基底行列が抽出されない場合、音響イベントを精度よく検知すること困難である。なお、音源分離の場合も、検知対象とされる音源のスペクトル基底を表す基底行列をＮＭＦにより得る際に、上記と同様、局所解の問題が生じる。
そこで、本発明は、音響イベントの識別精度を向上できる信号検知装置、そのための信号処理装置、信号処理方法および信号処理プログラムを提供することを目的とする。
本発明による信号処理装置は、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を格納する基底格納手段と、音響信号のスペクトログラムの時間区間中の音響イベントのスペクトル基底の発現度合いの組み合わせを特徴量として、音響信号に含まれる音響イベントを識別する識別モデルを格納するモデル格納手段と、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する識別信号分析手段と、算出された発現度合いの組み合わせを基に、識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する信号識別手段とを備えたことを特徴とする。
本発明による信号処理方法は、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出し、算出された発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として音響信号に含まれる音響イベントを識別する識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別することを特徴とする。
本発明による信号処理プログラムは、コンピュータに、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する処理、および算出された発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として音響信号に含まれる音響イベントを識別する識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する処理を実行させることを特徴とする。
本発明によれば、音響イベントの識別精度を向上できる。
第１の実施形態の信号処理装置１１０の構成例を示すブロック図である。 第１の実施形態の動作の一例を示すフローチャートである。 第２の実施形態の信号処理装置２００の構成例を示すブロック図である。 第２の実施形態の全体動作の一例を示すフローチャートである。 第２の実施形態の基底生成処理の処理フローの一例を示すフローチャートである。 第２の実施形態のモデル学習処理の処理フローの一例を示すフローチャートである。 第３の実施形態の信号処理装置１００の構成例を示すブロック図である。 第３の実施形態の動作の一例を示すフローチャートである。 第４の実施形態の信号処理装置４００の構成例を示すブロック図である。 第４の実施形態の全体動作の一例を示すフローチャートである。 第５の実施形態の信号処理装置５００の構成例を示すブロック図である。 第６の実施形態の信号処理装置６００の構成例を示すブロック図である。 第６の実施形態の動作の一例を示すフローチャートである。
以下、本発明の実施形態を、図面を参照して説明する。
まず、本発明の前提となる技術であるＮＭＦによる音源分離動作について簡単に説明する。
ＮＭＦは、入力された音響信号のスペクトログラムＶを、以下の式（１）に示すように、Ｋ行Ｒ列の基底行列Ｗ（ｋ，ｒ）とＲ行Ｊ列のアクティベーション行列Ｈ（ｒ，ｊ）の積で近似を行う行列分解手法である。
Ｖ≒ＷＨ ・・・（１）
ＮＭＦに入力される音響信号のスペクトログラムＶは、例えば、音響時系列信号ｘ（ｔ）に対して短時間フーリエ変換を行って得られる、Ｋ行Ｊ列の強度数値データからなる行列Ｖ（ｋ，ｊ）であってもよい。音響時系列信号ｘ（ｔ）は、例えば、マイクロフォン等で収録したアナログ信号をＡＤ変換（Analog Digital Convert）して得られるデジタル信号であってもよい。
ここで、ｔは時間のインデックスを表す。また、Ｋは周波数ビン数を表し、ｋは周波数ビンのインデックスを表す。また、Ｊは短時間フーリエ変換時の時間フレーム数を表し、ｊは短時間フーリエ変換時の時間フレームのインデックスを表す。以下、他の行列表記においても同様とする。
また、Ｒは基底数を表し、ｒは基底のインデックスを表す。スペクトル基底行列Ｗ（ｋ，ｒ）は、スペクトル形状を表すベクトルとして表現されるスペクトル基底を列方向にＲ個結合したものとして解釈できる。同様に、アクティベーション行列Ｈ（ｒ，ｊ）は、各スペクトル基底に対応する発現度合いを表すアクティベーションを行方向にＲ個結合したものとして解釈できる。以下、他の行列表記においても同様とする。なお、各スペクトル基底および各スペクトル基底の発現度合い（発現タイミングとその大きさ）の表現方法は上記の例に限定されない。以下、ＷとＨとを、簡便に基底ＷとアクティベーションＨと表現する場合がある。
基底ＷおよびアクティベーションＨは、所要のコスト関数を最小化するように求められる。以下の実施形態では、コスト関数に、以下の式（２）で示されるような一般化ＫＬダイバージェンス（Kullback-Leibler divergence）を用いた場合を例に説明する。
Figure 0007006592000001
ここで、○記号は行列の要素ごとの積を表す。また、分数表記は行列の要素ごとの除算を表す。
コスト関数（式（２）に示すＤＫＬ）を所定の閾値以下の回数、又は所定の回数更新する基底ＷおよびアクティベーションＨは、例えば、以下の式（３）と式（４）を交互に繰り返し用いて算出する。
Figure 0007006592000002
ここで、ＡＴは行列Ａの転置を表す。また、行列ＯはＶと同じ形で要素がすべて１の行列を表す。また、基底ＷおよびアクティベーションＨの初期値には、一般に乱数で生成したものが用いられる。上記の２式を、コスト関数が閾値以下になる、または設定した繰り返し回数に達するまで更新する。なお、学習データから識別モデルに用いる特徴量としてのアクティベーションＨを得る場合などに用いられる教師有りＮＭＦの場合、基底Ｗは既に得られているものとして、アクティベーションＨのみを更新する。
例えば、非特許文献１に記載の音響イベントの検知方法は、前処理として、検知したい音響イベントを含む音響信号をつなぎ合わせたスペクトログラムに対してＮＭＦを行い、各音響イベントに対応したスペクトル基底群（基底Ｗ）を生成する。そして、未知の音響信号のスペクトログラムに対して、基底Ｗを用いた教師有りＮＭＦを行い、各スペクトル基底の発現度合い（アクティベーションＨ）を算出する。そして、各スペクトル基底の発現度合いの組み合わせから、未知の音響信号に検知対象の音響イベントが含まれているか否かを識別することで、音響イベントを検知している。
ところで、検知対象とされる音響イベントのスペクトログラムをＮＭＦにより分解することで得られる基底Ｗは、当該音響イベントを構成する物理的要素に対応する音のスペクトルを表すと考えられる。例えば、「ガラスが割れる音」とラベル付けされた音響イベントが、ガラスが割れる瞬間の衝撃音とガラスの破片が飛び散る音とを含む場合、該音響イベントのスペクトログラムをＮＭＦにより分解すると、ガラスが割れる瞬間の衝撃音と割れたガラスの破片が飛び散る音の２つの物理現象に対応する要素に対応する音のスペクトルを表す基底Ｗが得られると考えられる。
このため、未知の音響信号のスペクトログラムを、そのようなスペクトル基底の組み合わせを用いた教師有りＮＭＦにより分解した結果、上記の２つの物理現象に対応するスペクトル基底のアクティベーション（発現度合い）が、所定のタイミングで大きい値を示すなど、ラベル「ガラスが割れる音」に対して予め学習されたパターンを示した場合には、該音響信号は「ガラスが割れる音」という音響イベントを含んでいると識別される。
実施形態１．
次に、本発明の第１の実施形態を説明する。図１は、第１の実施形態の信号処理装置１１０の構成例を示すブロック図である。図１に示す信号処理装置１１０は、検知対象とされる音響信号のスペクトログラムである識別用スペクトログラムＶを入力とし、該スペクトログラムＶに含まれる音響イベントの識別結果を示す音響イベントラベルを出力する音響イベント識別装置として機能する装置である。なお、いずれの音響イベントも含まれていない場合は、その旨を示す識別結果が出力される。
図１に示すように、信号処理装置１１０は、基底格納部１１１と、識別信号分析部１１２と、モデル格納部１１３と、信号識別部１１４とを備える。
基底格納部１１１は、検知対象とされる音響イベントの周波数パターンを示すスペクトル基底群（後述する基底Ｗｅ）を格納する。
モデル格納部１１３は、基底Ｗｅに含まれる各スペクトル基底の発現度合いであるアクティベーション（後述するアクティベーションＨｅ）を基に音響イベントを識別するための識別モデルを記憶する。識別モデルの詳細は特に限定されないが、サポートベクトルマシン（ＳＶＭ）や、隠れマルコフモデルや混合ガウシアンモデルやニューラルネットワークなどが一例として挙げられる。例えば、識別モデルとしてＳＶＭを用いる場合、モデル格納部１１３には、識別面を表す行列Ａｅと切片ベクトルｂｅとが格納される。
識別信号分析部１１２は、識別用スペクトログラムＶを入力とし、基底格納部１１１に格納された基底Ｗｅを教師基底として用いた半教師有りＮＭＦを行い、基底Ｗｅに含まれる各スペクトル基底に対する重みにより発現度合いを表すアクティベーションＨｅを算出する。
識別信号分析部１１２が用いる半教師有りＮＭＦは、音源分解に用いるスペクトル基底として、検知対象として予め定義された音響イベントに対応するスペクトル基底だけでなく、未知すなわち予め定義された音響イベント以外の音源に対応するスペクトル基底を用いる。より具体的には、上記の基底行列Ｗに代えて、予め定義された音響イベントに対応する基底行列Ｗｅに、未知の音響イベントに対応する基底行列Ｗｕを加えた基底行列Ｗｓｅｍｉ［Ｗｅ Ｗｕ］を用いる。また、それに伴って、基底Ｗｅに対応するアクティベーション行列Ｈｅに、基底Ｗｕに対応するアクティベーション行列Ｈｕを加えたアクティベーション行列Ｈｓｅｍｉ［Ｈｅ Ｈｕ］を用いる。以下、Ｗｅを音響イベント基底、Ｗｕを未知イベント基底、Ｈｅを音響イベントアクティベーション、Ｈｕを未知イベントアクティベーションという場合がある。
例えば、ＲｅをＷｅの基底数、ＲｕをＷｕの基底数とすると、音響イベント基底ＷｅはＫ行Ｒｅ列の行列で表され、未知イベント基底ＷｕはＫ行Ｒｕ列の行列で表され、基底ＷｓｅｍｉはＫ行（Ｒｅ＋Ｒｕ）列の行列で表される。同様に、アクティベーションＨｅはＲｅ行Ｊ列の行列で表され、アクティベーションＨｕはＲｕ行Ｊ列の行列で表され、アクティベーションＨｓｅｍｉは（Ｒｅ＋Ｒｕ）行Ｊ列のアクティベーション行列で表される。
識別信号分析部１１２は、半教師有りＮＭＦにおいて、以下の式（ａ－１）に示すように、入力される識別用スペクトログラムＶを、Ｗｓｅｍｉ［Ｗｅ Ｗｕ］とＨｓｅｍｉ［Ｈｅ Ｈｕ］の積で近似することにより、Ｖにおける音響イベントアクティベーションＨｅを算出する。
Ｖ≒ＷｓｅｍｉＨｓｅｍｉ ・・・（ａ－１）
半教師有りＮＭＦでは、入力されたスペクトログラムＶに応じて、Ｗｕ，Ｈｓｅｍｉ［Ｈｅ Ｈｕ］の値が最適化される。換言すると、識別信号分析部１１２は、入力されたスペクトログラムＶにマッチするように、Ｗｕ，Ｈｓｅｍｉ［Ｈｅ Ｈｕ］の値を更新する。より具体的には、識別信号分析部１１２は、半教師有りＮＭＦにおいて、下記の式（ａ－２）および式（ａ－３）に示すように、ＨｓｅｍｉとＷｕを交互に更新することで、最適なＷｕ，Ｈｅ，Ｈｕを算出する。Ｗｕ，Ｈｅ，Ｈｕの初期値は特に問わないが、一般には乱数が用いられる。
Figure 0007006592000003
このような更新処理により、未知イベント基底Ｗｕは、スペクトログラムＶに含まれるスペクトル成分のうち、音響イベント基底Ｗｅでは表現できないような成分を表す基底として学習される。
なお、音響イベント基底Ｗｅは、予め定義された各音響イベントに対応する周波数成分に対応する周波数パターンを表現するスペクトル基底の集合であればよく、表現方法は上記に限定されない。同様に、未知イベント基底Ｗｕは、既知の音響イベントに対応する周波数成分以外の周波数成分に対応する周波数パターンを表現するスペクトル基底の集合であればよく、表現方法は上記に限定されない。また、音響イベントアクティベーションＨｅは、Ｖ中の、Ｗｅに含まれる各スペクトル基底の発現度合いを表現するものであればよく、表現方法は上記に限定されない。同様に、未知イベントアクティベーションＨｕは、Ｖ中の、Ｗｕに含まれる各スペクトル基底の発現度合いを表現するものであればよく、表現方法は上記に限定されない。
このとき、未知イベント基底Ｗｕにおける基底数Ｒｕは、固定値であってもよいし、最初に初期値を与えた上で更新処理の過程で増えていくような可変値であってもよい。
信号識別部１１４は、識別信号分析部１１２から出力される音響イベントアクティベーションＨｅを基に、モデル格納部１１３に格納された識別モデルを用いて、入力されたスペクトログラムＶに含まれる音響イベントを識別する。
次に、本実施形態の動作を説明する。図２は、本実施形態の動作の一例を示すフローチャートである。本例では、まず信号処理装置１１０に識別用スペクトログラムＶが入力される（ステップＳ１１）。
識別用スペクトログラムＶが入力されると、識別信号分析部１１２が、Ｖに対して、基底格納部１１１に格納されている音響イベント基底Ｗｅを教師基底に用いた半教師有りＮＭＦを実施する（ステップＳ１２）。
ステップＳ１２において、識別信号分析部１１２は、まずＶをＷｓｅｍｉ［Ｗｅ Ｗｕ］とＨｓｅｍｉ［Ｈｅ Ｈｕ］の積で表現される近似式に適用する（ステップＳ１２１）。次いで、識別信号分析部１１２は、ＷｕおよびＨｓｅｍｉの更新が所定の更新回数以上またはコスト関数が所定の閾値以下かを判定する（ステップＳ１２２）。ここで、所定の更新回数以上でなく、かつコスト関数が所定の閾値以下でない場合（ステップＳ１２２のＮｏ）、識別信号分析部１１２は、ＷｕとＨｓｅｍｉのいずれかまたは両方の更新を行う（ステップＳ１２３）。
一方、所定の更新回数以上、またはコスト関数が所定の閾値以下の場合（ステップＳ１２２のＹｅｓ）、識別信号分析部１１２は、近似式中のアクティベーションＨｅを出力する（ステップＳ１２４）。
ＶについてのアクティベーションＨｅが出力されると、信号識別部１１４が、該アクティベーションＨｅを基に、モデル格納部１１３に格納された識別モデルを用いて、Ｖに含まれる音響イベントを識別する（ステップＳ１３）。
以上のように、本実施形態によれば、未知の音が存在する環境下で採取された音響信号であっても、そのスペクトログラム（識別用スペクトログラムＶ）中に含まれる音響イベントを精度よく識別できる。なぜなら、入力されたスペクトログラムＶをスペクトル単位に分解する際の基底として未知の音を表現する未知イベント基底Ｗｕを含むＷｓｅｍｉを新たに導入し、半教師有りＮＭＦにおいて該Ｗｕを適宜更新することにより、音響イベント基底Ｗｅに対応する成分のみを正確に算出できるからである。すなわち、本実施形態では、スペクトログラムＶから物理現象に対応したスペクトルを抽出する特徴抽出の際に半教師有りＮＭＦを用いることにより、既知の基底では分解できない要素をその場で学習することができるので、未知の音源の存在に頑健な特徴抽出ができる。
例えば、基底Ｗｕを導入せずに基底Ｗｅのみを用いた教師有りＮＭＦの場合、Ｖを、基底Ｗｅのみを用いて分解する。このため、Ｖ中に、基底Ｗｅに含まれないような未知のスペクトルが含まれている場合、ＶのアクティベーションＨｅが予期せぬ値を持ってしまい誤った特徴量として識別器に入力されるおそれがあった。一方、基底Ｗｕを導入した半教師有りＮＭＦの場合、Ｖを、基底Ｗｓｅｍｉ［Ｗｅ Ｗｕ］を用いて分解する。これにより、Ｖに含まれるスペクトル成分のうち基底Ｗｅで表現できないような成分をすべて基底Ｗｕが請け負うことができるので、ＶのアクティベーションＨｅを高精度に算出することができる。したがって、そのようにして得られたアクティベーションＨｅを特徴量として識別器に入力することで、Ｖ中に含まれる音響イベントを精度よく識別できる。
実施形態２．
次に、本発明の第２の実施形態について説明する。図３は、第２の実施形態の信号処理装置２００の構成例を示すブロック図である。図３に示す信号処理装置２００は、第１の実施形態の信号処理装置１１０の構成に加えて、基底生成部１０と、学習データ分析部１２と、モデル学習部１３とをさらに備えている。なお、図３には、信号処理装置２００が、第１の実施形態の信号処理装置１１０が備える各要素（符号１１１～１１４）を、音響イベント識別部１１の各要素として含む例が示されている。
本実施形態の信号処理装置２００は、基底生成用スペクトログラムＶｂａｓｅを入力して音響イベント基底Ｗｅを生成し、ラベル付きスペクトログラムＶｌｂｌを入力して識別モデルを学習し、識別用スペクトログラムＶを入力して、該識別用スペクトログラムＶに含まれている音響イベントを識別して、音響イベントを検知する。
基底生成部１０は、基底生成用スペクトログラムＶｂａｓｅが入力されると、音響イベント基底Ｗｅを生成して、基底格納部１１１に格納する。音響イベント基底Ｗｅの生成方法は特に問わない。基底生成部１０は、例えば、基底生成用のスペクトログラムＶｂａｓｅとして、検知対象とされる音響イベントを含む音響信号をつなぎ合わせたスペクトログラムを入力させ、該Ｖｂａｓｅに対して、以下の式（ｂ－１）で示す近似式によるＮＭＦを行うことにより、音響イベント基底Ｗｅを得てもよい。該ＮＭＦにおいて、基底生成部１０は、ＷｅおよびＨｅを最適化（更新）する。
Ｖｂａｓｅ≒ＷｅＨｅ ・・・（ｂ－１）
該ＮＭＦは、上記の式（１）で示した一般的なＮＭＦにおけるＶ，ＷおよびＨを、Ｖｂａｓｅ，ＷｅおよびＨｅに置き換えただけであり、コスト関数および更新式についても上記と同様である。
なお、基底生成用スペクトログラムＶｂａｓｅは、実際の信号から学習データに含まれる各音響イベントに対応したスペクトルを抽出できるものであればよく、上記の例に限られない。
基底生成部１０により生成された音響イベント基底Ｗｅは基底格納部１１１に格納されるとともに、後段の学習データ分析部１２に出力される。なお、学習データ分析部１２が基底格納部１１１に格納されている音響イベント基底Ｗｅを参照する構成であってもよい。その場合、学習データ分析部１２への出力は省略される。
学習データ分析部１２は、ラベル付きスペクトログラムＶｌｂｌを入力として、基底生成部１０により生成された音響イベント基底Ｗｅを基に、音響イベントラベルに対応づける音響イベントアクティベーションＨｅを算出する。ここで、ラベル付きスペクトログラムＶｌｂｌは、ある音響イベントのスペクトログラムに、該音響イベントを表すラベル（音響イベントラベル）が付与された学習データである。
ラベル付きスペクトログラムＶｌｂｌは、例えば、検知対象の全Ｅ個の音響イベントのスペクトログラムのそれぞれに対応する音響イベントラベルが付与されたスペクトログラムであってもよい。
例えば、「悲鳴」と「ガラスが割れた音」とを検知対象とする場合、「悲鳴」に対応する音響イベントラベルがつけられた悲鳴のスペクトログラムと、「ガラスが割れた音」に対応する音響イベントラベルがつけられたガラスが割れた音のスペクトログラムとを、それぞれラベル付きスペクトログラムＶｌｂｌとして入力する。なお、１つのラベル付きスペクトログラムＶｌｂｌは、Ｋ行Ｊｌｂｌ列の行列Ｖｌｂｌ（ｋ，ｊ）であればよい。
ここで、ラベル付きスペクトログラムＶｌｂｌにおける時間フレーム数Ｊｌｂｌは、各音響イベントの音響信号パターンを過不足なく含むような（例えば、「ガラスが割れる音」音響イベントの場合、ガラスが割れる瞬間の衝撃音から始まり、破片が飛び散る音で終わるとして、それらの音を過不足なく含む）長さで設定される。
なお、一方の基底生成用スペクトログラムＶｂａｓｅは、検知したい音響イベントを構成する周波数パターンを基底として生成するためのスペクトログラムであるので、検知したい全ての音響イベントの周波数パターンを含んでいることが望ましい。一例として、基底生成用スペクトログラムＶｂａｓｅは、ラベル付きスペクトログラムＶｌｂｌをラベルの区別なく連結したＫ行Ｊｂａｓｅ 列の行列Ｖｂａｓｅ（ｋ，ｊ）＝［Ｖｌｂｌ_１（ｋ，ｊ），Ｖｌｂｌ_２（ｋ，ｊ），・・・，Ｖｌｂｌ_Ｅ（ｋ，ｊ）］であってもよい。この場合、基底生成用スペクトログラムＶｂａｓｅにおける時間フレーム数Ｊｂａｓｅは、ラベル付きスペクトログラムＶｌｂｌにおける時間フレーム数Ｊｌｂｌの総和となる。
学習データ分析部１２は、例えば、入力されたラベル付きスペクトログラムＶｌｂｌに対して、基底生成部１０により生成された音響イベント基底Ｗｅを教師基底として用いた教師有りＮＭＦを行い、音響イベントラベルに対応づける音響イベントアクティベーションＨｅを算出してもよい。以下の式（ｃ－１）は、当該教師有りＮＭＦで用いる近似式である。また、以下の式（ｃ－２）は、当該教師有りＮＭＦで用いる更新式の例である。教師有りＮＭＦでは、学習データ分析部１２は、音響イベントアクティベーションＨｅのみを最適化（更新）する。
Ｖｌｂｌ≒ＷｅＨｅ ・・・（ｃ－１）
Figure 0007006592000004
モデル学習部１３は、学習データ分析部１２により算出された音響イベントアクティベーションＨｅを特徴量として、音響イベントアクティベーションＨｅと音響イベントラベルとの関係を表す識別モデルを学習する。モデル学習部１３により学習された識別モデルは、モデル格納部１１３に格納される。
他の点に関しては第１の実施形態と同様である。
次に、本実施形態の動作を説明する。図４～図６は、本実施形態の動作の一例を示すフローチャートである。なお、図４は、本実施形態の全体動作の一例を示すフローチャートである。図４に示すように、本実施形態の動作は、基底生成処理（ステップＳ２１）と、モデル学習処理（ステップＳ２２）と、音響イベント識別処理（ステップＳ２３）とに大別される。
図５は、本実施形態の基底生成処理の処理フローの一例を示すフローチャートである。
本例の基底生成処理では、まず信号処理装置２００に基底生成用スペクトログラムＶｂａｓｅが入力される（ステップＳ２１１）。
基底生成用スペクトログラムＶｂａｓｅが入力されると、基底生成部１０が、Ｖｂａｓｅに対してＮＭＦを実施する（ステップＳ２１２）。
ステップＳ２１２において、基底生成部１０は、まずＶｂａｓｅをＷｅとＨｅの積で表現される近似式に適用する（ステップＳ２１２１）。次いで、基底生成部１０は、ＷｅおよびＨｅの更新が所定の更新回数以上またはコスト関数が所定の閾値以下かを判定する（ステップＳ２１２２）。ここで、所定の更新回数以上でなく、かつコスト関数が所定の閾値以下でない場合（ステップＳ２１２２のＮｏ）、基底生成部１０は、ＷｅおよびＨｅのいずれかまたは両方の更新を行う（ステップＳ２１２３）。
一方、所定の更新回数以上、またはコスト関数が所定の閾値以下の場合（ステップＳ２１２２のＹｅｓ）、基底生成部１０は、近似式中の基底Ｗｅを出力し、基底格納部１１１に格納する（ステップＳ２１２４，ステップＳ２１３）。
また、図６は、本実施形態のモデル学習処理の処理フローの一例を示すフローチャートである。基底生成処理が終了すると、モデル学習処理が開始される。本例のモデル学習処理では、まず、信号処理装置２００にラベル付きスペクトログラムＶｌｂｌが入力される（ステップＳ２２１）。
ラベル付きスペクトログラムＶｌｂｌが入力されると、学習データ分析部１２が、Ｖｌｂｌに対して、基底格納部１１１に格納されている音響イベント基底Ｗｅを教師基底に用いた教師有りＮＭＦを実施する（ステップＳ２２２）。
ステップＳ２２２において、学習データ分析部１２は、まずＶｌｂｌをＷｅとＨｅの積で表現される近似式に適用する（ステップＳ２２２１）。次いで、学習データ分析部１２は、Ｈｅの更新が所定の更新回数以上またはコスト関数が所定の閾値以下かを判定する（ステップＳ２２２２）。ここで、所定の更新回数以上でなく、かつコスト関数が所定の閾値以下でない場合（ステップＳ２２２２のＮｏ）、学習データ分析部１２は、Ｈｅの更新を行う（ステップＳ２２２３）。
一方、所定の更新回数以上、またはコスト関数が所定の閾値以下の場合（ステップＳ２２２２のＹｅｓ）、学習データ分析部１２は、近似式中のアクティベーションＨｅを、Ｖｌｂｌに付された音響イベントラベルとともにモデル学習部１３に出力する（ステップＳ２２２４）。
次に、モデル学習部１３は、出力されたラベル毎の音響イベントアクティベーションＨｅを特徴量として、音響イベントアクティベーションＨｅと音響イベントラベルとの関係を表す識別モデルを学習する（ステップＳ２２３）。そして、モデル学習部１３は、学習の結果得られた識別モデルを、モデル格納部１１３に格納する（ステップＳ２２４）。
モデル学習処理が終了すると、音響イベント識別処理が開始される。本実施形態の音響イベント識別処理は、第１の実施形態の音響イベント識別処理（図２のステップＳ１１～ステップＳ１３）と同様でよい。
以上のように、本実施形態では、検知対象とされる音響イベントに合わせて基底の生成および識別モデルの学習を行った上で、識別用スペクトログラムＶに対して音響イベントの識別を行う。このため、任意の音響イベントを検知対象にして、未知の音が存在する環境下で採取された音響信号であっても、そのスペクトログラム（識別用スペクトログラムＶ）中に含まれる音響イベントを精度よく識別できる。
実施形態３．
次に、本発明の第３の実施形態について説明する。図７は、第３の実施形態の信号処理装置１００の構成例を示すブロック図である。図７に示す信号処理装置１００は、基底生成用スペクトログラムＶｂａｓｅを入力とし、予め保持されている事前分布Ｗ０を制約として、Ｖｂａｓｅを構成するスペクトル基底行列Ｗを生成する基底生成装置として機能する。
図７に示すように、信号処理装置１００は、事前分布格納部１０１と、基底信号分析部１０２とを備える。
事前分布格納部１０１は、後段の基底信号分析部１０２で行う基底生成用のＮＭＦが局所解に陥らないような制約として用いられる事前分布Ｗ０を格納する。
例えば「ガラスの割れる音」という音響イベントを考える。ガラスが割れた瞬間はパルス性の強い衝撃音が発生し、続いて割れた破片が飛び散る純音に近い音が発生する。このとき、衝撃音はフラットな周波数構造になり、破片の飛び散る音は周波数のピークが鋭いような周波数構造になると考えられる。
したがって、基底生成処理で、そのようなフラットな周波数構造を持つスペクトル基底と鋭いピークを持つ基底の２つのスペクトル基底が得られるのが好ましい。しかし、ＮＭＦの更新式には局所解という問題があり、必ずしも所望のスペクトル基底が得られるとは限らない。
そこで、本実施形態では、局所解を避けて所望のスペクトル基底を得るために、事前分布Ｗ０を導入する。事前分布Ｗ０は、後段の基底信号分析部１０２で行う基底生成用のＮＭＦで学習される基底Ｗが、当該事前分布Ｗ０との類似度が高くなる（所定の閾値以上となる）ような制約のパラメータとして用いる。このため、基底信号分析部１０２により生成される基底Ｗは、事前分布Ｗ０との類似度が低いほど制約が強まり、予期せぬ局所解に陥ることがなくなる。このような事前分布Ｗ０の導入により、どのような基底Ｗを学習するかをコントロールすることができる。上記の例の場合、事前分布Ｗ０は、フラットな周波数構造と鋭いピークを持つ周波数構造の２種のスペクトル基底が得られるような制約となればよい。
事前分布Ｗ０の生成方法としては、手作業で基底とされるスペクトル形状を表すＲ個の主要なスペクトル成分を抽出し、事前分布格納部１０１に格納してもよいし、予め用意しておいた分布生成用スペクトログラムＶ０に対して、以下に示すような方法でＲ個のスペクトル成分を抽出してもよい。すなわち、ｋ－ｍｅａｎｓ法を用いてＲクラスのクラスタリングを行うことによって抽出してもよいし、主成分分析を用いて寄与率の高いＲ個の主要なスペクトル成分のみを取得してもよい。
事前分布Ｗ０は、例えば、生成したい基底Ｗと同じ型のＫ行Ｒ列の行列であってもよい。
分布生成用スペクトログラムＶ０は、生成したい基底Ｗの代表的なスペクトルを示すものであってもよい。分布生成用スペクトログラムＶ０は、例えば、基底生成用スペクトログラムＶｂａｓｅと同じであってもよいし、基底生成用スペクトログラムＶｂａｓｅから代表的なスペクトログラムを抽出したものであってもよい。
基底信号分析部１０２は、基底生成用スペクトログラムＶｂａｓｅを入力して、Ｖｂａｓｅを構成するスペクトル基底を表す基底Ｗを生成する。基底信号分析部１０２は、基底生成用スペクトログラムＶｂａｓｅに対して、事前分布格納部１０１に格納された事前分布Ｗ０を制約項のパラメータとして用いた制約付きＮＭＦを行い、基底Ｗを生成する。
基底生成用スペクトログラムＶｂａｓｅの形式は特に問わないが、基底として取り出したいスペクトルを含むものとする。なお、音響イベント基底Ｗｅを生成する場合には、検知したい全ての音響イベントの周波数パターンを含むスペクトログラムを入力すればよい。
制約付きＮＭＦで、基底信号分析部１０２は、例えば、Ｖｂａｓｅを以下の式（ｄ－１）に示す近似式に適用させ、以下の式（ｄ－２）および式（ｄ－３）に示す更新式を用いて、基底ＷとアクティベーションＨを交互に更新して最適化する。
Ｖｂａｓｅ≒ＷＨ ・・・（ｄ－１）
Figure 0007006592000005
ここで、上記の２つの更新式は、入力されたスペクトログラムＶｂａｓｅに対して、以下の式（ｄ－４）に示すコスト関数を最小化するような基底ＷとアクティベーションＨを求めるものとして導出したものである。
Ｄ（Ｖ，Ｗ，Ｈ，Ｗ０）＝Ｄｋｌ（Ｖ，ＷＨ）＋ηＤｋｌ（Ｗ０，Ｗ） ・・・（ｄ－４）
上記のコスト関数の第２項は、事前分布Ｗ０と基底Ｗとの距離が離れるほど罰則を与える制約項である。当該コスト関数によれば、第１項によりＶｂａｓｅとＷＨの間のコスト関数を最小化しつつも、第２項により、基底Ｗは局所解に陥らず事前分布Ｗ０と似たスペクトル構造を持つことができる。
ここで、ηは、第２項を制御するパラメータであり、例えば、０．１や１０などのスカラー値をとる。
次に、本実施形態の動作を説明する。図８は、本実施形態の動作の一例を示すフローチャートである。本例では、まず信号処理装置１００に基底生成用スペクトログラムＶｂａｓｅが入力される（ステップＳ０１）。
基底生成用スペクトログラムＶｂａｓｅが入力されると、基底信号分析部１０２は、事前分布格納部１０１に格納された事前分布Ｗ０を読み出す（ステップＳ０２）。そして、基底信号分析部１０２は、Ｖｂａｓｅに対して、事前分布Ｗ０を制約として用いた制約付きＮＭＦを実施する（ステップＳ０３）。
ステップＳ０３において、基底信号分析部１０２は、まずＶｂａｓｅをＷとＨの積で表現される近似式に適用する（ステップＳ０３１）。次いで、基底信号分析部１０２は、ＷおよびＨの更新が所定の更新回数以上またはコスト関数が所定の閾値以下かを判定する（ステップＳ０３２）。ここで、所定の更新回数以上でなく、かつコスト関数が所定の閾値以下でない場合（ステップＳ０３２のＮｏ）、基底信号分析部１０２は、ＷおよびＨのいずれかまたは両方の更新を行う（ステップＳ０３３）。なお、Ｗの更新式にはＷ０を用いた制約項が含まれている。
一方、所定の更新回数以上、またはコスト関数が所定の閾値以下の場合（ステップＳ０３２のＹｅｓ）、基底信号分析部１０２は、近似式中の基底Ｗを出力する（ステップＳ０３４）。
以上のように、本実施形態によれば、基底生成時のＮＭＦにおいて、基底Ｗがあらかじめ用意した事前分布Ｗ０に近くなるような制約を用いることで、局所解に陥らずに所望の基底Ｗを生成することができる。
例えば、本実施形態の信号処理装置１００によれば、基底生成用スペクトログラムＶｂａｓｅとして、検知したい全ての音響イベントの周波数パターンを含むスペクトログラムを入力することにより、局所解に陥らない高精度な音響イベント基底Ｗｅを生成できる。
したがって、例えば、第２の実施形態の構成において、基底生成部１０に代えて本実施形態の信号処理装置１００を用いれば、音響イベントに対応するアクティベーションＨｅを精度よく推定でき、音響イベントの識別精度を向上できる。
実施形態４．
次に、本発明の第４の実施形態について説明する。図９は、第４の実施形態の信号処理装置４００の構成例を示すブロック図である。図９に示す信号処理装置４００は、第２の実施形態の構成における基底生成部１０に代えて、基底生成部４０を含む。なお、基底生成部４０の構成は、図７に示す第３の実施形態の信号処理装置１００の構成に、さらに分布解析部１０３を加えたものと同様である。
本実施形態の信号処理装置４００は、分布生成用スペクトログラムＶ０を入力して事前分布Ｗ０を生成し、基底生成用スペクトログラムＶｂａｓｅを入力して、事前分布Ｗ０を制約とする音響イベント基底Ｗｅを生成し、ラベル付きスペクトログラムＶｌｂｌを入力して識別モデルを学習した上で、識別用スペクトログラムＶを入力して、Ｖに含まれる音響イベントを識別して、音響イベントを検知する。
以下、第２の実施形態と異なる部分を主に説明する。
事前分布格納部１０１は、後段の基底信号分析部１０２で行う基底生成用のＮＭＦが局所解に陥らないような制約として用いられる事前分布Ｗ０を格納する。本実施形態の事前分布格納部１０１は、分布解析部１０３が生成した音響イベントの各スペクトル基底の制約とされる事前分布Ｗ０を格納する。
基底信号分析部１０２は、基底生成用スペクトログラムＶｂａｓｅを入力して、Ｖｂａｓｅを構成するスペクトル基底を表す基底Ｗを生成する。基底の生成方法としては、第３の実施形態と同様、事前分布格納部１０１に格納された事前分布Ｗ０を制約項のパラメータとして用いた制約付きＮＭＦを用いる。
なお、本実施形態の基底信号分析部１０２は、検知したい全ての音響イベントの周波数パターンを含む基底生成用スペクトログラムＶｂａｓｅを入力して、音響イベント基底Ｗｅを生成する。
分布解析部１０３は、分布生成用スペクトログラムＶ０を入力とし、音響イベント基底Ｗｅの事前分布Ｗ０を生成する。分布解析部１０３は、例えば、音響イベント基底Ｗｅと同じ形のＫ行Ｒｅ列の行列Ｗ０（ｋ，ｒ）を事前分布として生成してもよい。
分布解析部１０３は、例えば、分布生成用スペクトログラムＶ０に対してｋ－ｍｅａｎｓ法を用いてＲクラスのクラスタリングを行うことによって事前分布Ｗ０を生成してもよい。また、分布解析部１０３は、例えば、Ｖ０に対して主成分分析を行い、寄与率の高いＲ個の主要なスペクトル成分のみを取り出すことにより事前分布Ｗ０を取得してもよい。
次に、本実施形態の動作を説明する。図１０は、本実施形態の全体動作の一例を示すフローチャートである。図１０に示すように、本実施形態の動作は、事前分布生成処理（ステップＳ４０）と、基底生成処理（ステップＳ４１）と、モデル学習処理（ステップＳ２２）と、音響イベント識別処理（ステップＳ２３）とに大別される。
ステップＳ４０の事前分布生成処理では、分布解析部１０３が、分布生成用スペクトログラムＶ０から事前分布Ｗ０を生成して、事前分布格納部１０１に格納する。
ステップＳ４１の基底生成処理では、基底信号分析部１０２が、図８に示した第３の実施形態の基底生成処理（ステップＳ０１～ステップＳ０３４）と同様の処理を行い、生成された基底Ｗを音響イベント基底Ｗｅとして基底格納部１１１に格納する。
なお、モデル学習処理（ステップＳ２２）と音響イベント識別処理（ステップＳ２３）とは、第２の実施形態と同様でよい。
本実施形態の信号処理装置４００によれば、局所解に陥らない高精度な音響イベント基底Ｗｅを生成できるので、学習フェーズで音響イベントに対応するアクティベーションＨｅを精度よく推定できる。加えて、本実施形態の信号処理装置４００によれば、未知の音が存在する環境下で採取された音響信号であっても、検知対象でない音響イベントの誤検知を抑制し、そのスペクトログラム（識別用スペクトログラムＶ）中に含まれる音響イベントを精度よく識別できる。
実施形態５．
次に、本発明の第５の実施形態を説明する。図１１は、本実施形態の信号処理装置５００の構成例を示すブロック図である。図１１に示す信号処理装置５００は、基底生成部５０と、学習データ分析部５２と、モデル学習部５３と、音響イベント識別部５１とを備える。
また、基底生成部５０は、分布解析部５０３と、事前分布格納部５０１と、基底信号分析部５０２とを含む。また、音響イベント識別部５１は、基底格納部５１１と、識別信号分析部５１２と、モデル格納部５１３と、信号識別部５１４とを含む。
なお、本実施形態の信号処理装置５００の入出力は、第４の実施形態の信号処理装置と同様である。また、分布解析部５０３、事前分布格納部５０１、モデル学習部５３、モデル格納部５１３および信号識別部５１４は、第４の実施形態の分布解析部１０３、事前分布格納部１０１、モデル学習部１３、モデル格納部１１３および信号識別部１１４と同様である。以下、第４の実施形態と異なる部分を主に説明する。
基底信号分析部５０２は、基底生成用スペクトログラムＶｂａｓｅを入力とし、事前分布格納部５０１に格納されている事前分布Ｗ０を制約項に用いた制約付きＮＭＦにより、Ｖｂａｓｅを構成するスペクトル基底がグループ化されて表現される基底Ｗｇを生成する。
基底信号分析部５０２は、例えば、ＶｂａｓｅとしてＫ行Ｊｂａｓｅ列のスペクトル行列が入力されると、Ｋ行Ｒ列の行列である事前分布Ｗ０（ｋ，ｒ）＝［ｗ０（１），．．．，ｗ０（ｒ），．．．，ｗ０（Ｒ）］を制約項のパラメータとして用いた制約付きＮＭＦにより、Ｋ行（Ｇ×Ｒ）列の基底行列Ｗｇ（ｋ，ｒ）＝［Ｗ（１）（ｋ，ｇ），．．．，Ｗ（ｒ）（ｋ，ｇ），．．．，Ｗ（Ｒ）（ｋ，ｇ）］を算出してもよい。
ここで、ｗ０（ｒ）は事前分布Ｗ０のｒ番目の列ベクトル、すなわちｒ番目のスペクトル基底の制約を表している。また、Ｗ（ｒ）（ｋ，ｇｒ）は、ｗ０（ｒ）を制約として生成されるＧ個のスペクトル基底からなるグループ（スペクトル基底行列）を表わす。また、ｇｒは、ｒで指定される基底グループ内のＧ個のスペクトル基底のうちｇ番目のスペクトル基底を示すインデックスである。なお、基底グループごとに含まれるスペクトル基底の数（グループ内要素数）Ｇは可変であってもよい。
当該制約付きＮＭＦで、基底信号分析部５０２は、Ｗ（ｒ）（ｋ，ｇ）に対応するアクティベーション行列Ｈ（ｒ）（ｇ，ｊ）＝［ｈ１ （ｒ），．．．，ｈｊ （ｒ），．．．，ｈＪ （ｒ）］として、以下の式（ｅ－１）、式（ｅ－２）および式（ｅ－３）を、１回の更新によるＷ（ｒ）およびＨ（ｒ）の変化量が閾値以下となる、または設定した繰り返し回数に達するまで順番に繰り返すことで同時に最適化を行う。
Figure 0007006592000006
ここで、ｈｊ （ｒ）は、グループｒの基底行列Ｗ（ｒ）に対応するアクティベーションであり、Ｗ（ｒ）の各スペクトル基底の時間インデックスｊにおける発現度合いを表す列ベクトルである。
上記の式（ｅ－３）は、グループｒの基底行列Ｗ（ｒ）のアクティベーションｈｊ （ｒ）に対するスパース制約である。当該制約は、値の大きなｈｊ （ｒ）は更新するにつれ大きな値を取りやすく，値の小さなｈｊ （ｒ）は更新していくにつれ小さくなる制約となっており、より特徴的なＷ（ｒ）を抽出できるようになっている。
第３および第４の実施形態では、一つの事前分布ｗ０（ｒ）に対して一つのスペクトル基底ｗ（ｒ）が対応していた。本実施形態では、一つの事前分布ｗ０（ｒ）に対して複数の（Ｇ個の）スペクトル基底ｗｇ（ｒ）がグループ化されて対応づけられる。
以下、基底信号分析部５０２が生成する基底行列Ｗｇ（ｋ、ｇｒ）をグループ基底Ｗ ｇ と呼ぶ場合がある。
これは、例えば「ガラスの割れる音」の音響イベントを考えた時に、第３および第４の実施形態では、ガラスが割れる瞬間の衝撃音および割れたガラスの破片が飛び散る音をそれぞれ１つのスペクトル基底で表現していたのに対し、本実施形態では、各音についてバリエーションや揺らぎをグループとして表現することができる。このように表現されたグループ基底Ｗｇを用いてＮＭＦを行うことにより、より高い精度での音源分解が可能となる。
本実施形態では、基底生成用スペクトログラムＶｂａｓｅは、検知したい全ての音響イベントの周波数パターンについて２以上のバリエーションを含む、または揺らぎを含むようなスペクトログラムが望ましい。一例として、基底生成用スペクトログラムＶｂａｓｅは、音響イベントごとに複数のサンプルから得たラベル付きスペクトログラムＶｌｂｌをラベルの区別なく連結したＫ行Ｊｂａｓｅ 列の行列Ｖｂａｓｅ（ｋ，ｊ）＝［Ｖｌｂｌ_１１（ｋ，ｊ），Ｖｌｂｌ_１２（ｋ，ｊ），．．．，Ｖｌｂｌ_１Ｇ（ｋ，ｊ），Ｖｌｂｌ_２１（ｋ，ｊ），．．．，Ｖｌｂｌ_ＥＧ（ｋ，ｊ）］であってもよい。
基底信号分析部５０２により生成されたグループ基底Ｗｇは、基底格納部５１１に格納される。
学習データ分析部５２は、ラベル付きスペクトログラムＶｌｂｌを入力とし、ラベル毎にグループ基底Ｗｇに対応するアクティベーションＨｇを算出する。
学習データ分析部５２は、例えば、ラベル付きスペクトログラムＶｌｂｌとして、Ｋ行Ｊｌｂｌ列の行列が入力されると、基底信号分析部５０２により生成されたグループ基底Ｗｇ（ｋ，ｇｒ）を教師基底として用いた教師有りＮＭＦを行い、ＶｌｂｌをＷｇとＨｇの積で近似させることにより、音響イベントラベルに対応づけられるグループ音響イベントアクティベーションＨｇを算出してもよい。
例えば、グループ基底Ｗｇ（ｋ，ｇｒ）が、Ｋ行（Ｇ×Ｒ）列の行列の場合、グループ音響イベントアクティベーションＨｇ（ｇｒ，ｊ）は、（Ｇ×Ｒ）行Ｊ列の行列となる。
ここで、Ｈｇ（ｇｒ，ｊ）の列ベクトルｈ ｊ は、ｈｊ （ｒ）におけるｒ＝１～Ｒとして各ｈｊ （ｒ）を行方向に連結したものに相当する。
学習データ分析部５２で行うのは教師有りＮＭＦであるので、以下の式（ｆ－１）に示すように、Ｈｇに対してのみ更新を行う。ただし、当該Ｈｇの更新においても、各ｈｊ （ｒ）に対して上述した式（ｅ－３）に示すスパース制約が適用される。学習データ分析部５２は、例えば、式（ｆ－１）と式（ｅ－３）の２式を交互に更新する。
Figure 0007006592000007
モデル学習部５３は、学習データ分析部５２が算出した、音響イベントラベルに対応づけられたアクティベーションＨｇを特徴量として、該アクティベーションＨｇと音響イベントラベルとの関係を表す識別モデルを学習する。なお、アクティベーション行列の行数が異なるだけであり、識別モデルの学習方法はモデル学習部１３と同様でよい。
識別信号分析部５１２は、識別用スペクトログラムＶを入力とし、基底格納部５１１に格納されたグループ基底Ｗｇを教師基底として用いて半教師有りＮＭＦを行い、グループ基底Ｗｇの各スペクトル基底に対する重みにより発現度合いを表すアクティベーションＨｇを算出する。
識別信号分析部５１２は、例えば、音源分解に用いるスペクトル基底として、分離対象として予め定義された各音源の音に対応するグループ基底行列Ｗｇに、未知の音源の音に対応するグループ基底行列Ｗｕを加えた基底行列Ｗｇｓｅｍｉ［Ｗｇ Ｗｕ］を用いた半教師有りＮＭＦを用いてもよい。半教師有りＮＭＦの方法は第１の実施形態の識別信号分析部１１２による方法と基本的に同様である。すなわち、Ｗｓｅｍｉ［Ｗｅ Ｗｕ］およびＨｓｅｍｉ［Ｈｅ Ｈｕ］がＷｇｓｅｍｉ［Ｗｇ Ｗｕ］およびＨｇｓｅｍｉ［Ｈ ｇ Ｈｕ］に代わっているだけで、半教師有りＮＭＦの方法は基本的に識別信号分析部１１２と同様でよい。ただし、Ｈｇｓｅｍｉの更新において、Ｈｇの各ｈｊ （ｒ）に対して上記の式（ｅ－３）に示すスパース制約が適用される。識別信号分析部５１２は、例えば、式（ａ－２）、式（ａ－３）および式（ｅ－３）の３式を交互に更新することにより、Ｈｇ、ＨｕおよびＷｕを算出する。
なお、識別信号分析部５１２は、Ｗｕを用いずに、Ｗｇだけを用いて通常の教師有りＮＭＦを行ってＨｇを算出してもよいが、未知の環境下で採取された音響信号から音響イベントを検知する場合には、Ｗｕを用いた半教師有りＮＭＦを用いるのが好ましい。
以上のように、本実施形態によれば、スペクトル基底をグループ化することにより、音を構成する要素のバリエーションや揺らぎを表現した基底行列を用いて識別用スペクトログラムを分解することができる。このため、識別用スペクトログラムに含まれる音響イベントを構成する周波数パターンが少し異なっていたり揺らぎを含んでいる場合であっても、より高い精度で識別用スペクトログラムを構成する成分を算出することができる。
実施形態６．
次に、本発明の第６の実施形態を説明する。図１２は、本実施形態の信号処理装置６００の構成例を示すブロック図である。図１２に示す信号処理装置６００は、分布解析部６１と、事前分布格納部６２と、音源分離部６３と、音源再構築部６４とを備える。
本実施形態の信号処理装置６００は、分離したい各音源の分布生成用スペクトログラムＶ０を入力として事前分布を生成し、音源分離用スペクトログラムＶｍｉｘを入力として、生成された事前分布を制約としたＮＭＦにより音源分離を行う音源分離装置として機能する装置である。
以下では、音声と環境雑音とが混ざった音響信号を、音声のみの信号である音声信号と環境雑音のみの信号である雑音信号とに分離する場合を例に説明する。
本実施形態の分布生成用スペクトログラムＶ０は、分離対象の音源のみを含む音響信号から作られたスペクトログラムである。例えば、音響信号を音声信号と環境雑音信号とに分離する場合には、音声信号のスペクトログラムＶ０＿ｓと、環境雑音信号のスペクトログラムＶ０＿ｎとで構成されるスペクトログラムＶ０［Ｖ０＿ｓ Ｖ０＿ｎ］である。
一方、音源分離用スペクトログラムＶｍｉｘは，音声と環境雑音とが混ざった音響信号から算出されたスペクトログラムである。
分布解析部６１は、分布生成用スペクトログラムＶ０を入力として、Ｖ０を構成しているスペクトル基底の事前分布Ｗ０［Ｗ０＿ｓ Ｗ０＿ｎ］を生成し、事前分布格納部６２に格納する。
分布解析部６１は、例えば、分布生成用スペクトログラムＶ０に含まれるＶ０＿ｓおよびＶ０＿ｎのそれぞれに対してｋ－ｍｅａｎｓ法を用いて所定個のクラスのクラスタリングを行うことによって事前分布Ｗ０＿ｓおよびＷ０＿ｎを生成してもよい。また、分布解析部１０３は、例えば、Ｖ０＿ｓおよびＶ０＿ｎのそれぞれに対して主成分分析を行い、寄与率の高い主要なスペクトル成分を取り出すことにより事前分布Ｗ０＿ｓおよびＷ０＿ｎを取得してもよい。
ここで、Ｒｓを音声信号の基底数とし、Ｒｎを環境雑音信号の基底数とすると、Ｗ０は、Ｋ行Ｒｓ列の行列Ｗ０＿ｓと、Ｋ行Ｒｎ列の行列Ｗ０＿ｎとを列方向に連結したＫ行（Ｒｓ＋Ｒｎ）列の行列であってもよい。
音源分離部６３は、音源分離用スペクトログラムＶｍｉｘを入力とし、事前分布格納部６２に格納された、分離対象とされる各音源に対応する事前分布Ｗ０［Ｗ０＿ｓ Ｗ０＿ｎ］を制約として用いた制約付きＮＭＦを行い、Ｖｍｉｘを、Ｗｓｅｐａ［Ｗｓ Ｗｎ］とそのアクティベーションＨｓｅｐａ［Ｈｓ Ｈｎ］に分解する。
Ｖｍｉｘ≒ＷｓｅｐａＨｓｅｐａ ・・・（ｇ－１）
式（ｇ－１）は、上記の例の制約付きＮＭＦにおけるＶｍｉｘの近似式である。ここで、Ｗｓｅｐａは、音声信号の基底Ｗｓと環境雑音信号の基底Ｗｎとを列方向に連結させたＫ行（Ｒｓ＋Ｒｎ）列の基底行列である。Ｗｓｅｐａの各列インデックスは、Ｗ０［Ｗ０＿ｓ Ｗ０＿ｎ］のインデックスに対応したものとなる。また、Ｈｓｅｐａは、基底Ｗｓに対応するアクティベーションＨｓと基底Ｗ ｎ に対応するアクティベーションＨ ｎ とを行方向に連結させた（Ｒｓ＋Ｒｎ）行Ｊｍｉｘ列のアクティベーション行列である。Ｈｓｅｐａの各行インデックスは、Ｗｓｅｐａの列インデックスに対応したものとなる。

本例の基底ＷｓはＫ行Ｒｓ列の行列であり、ＷｎはＫ行Ｒｎ列の行列である。また、アクティベーションＨｓはＲｓ行Ｊｍｉｘ列の行列であり、ＨｎはＲ ｎ 行Ｊｍｉｘ列の行列である。ここで、Ｊｍｉｘは、音源分離用スペクトログラムＶｍｉｘの時間インデックス数である。
制約付きＮＭＦには、第３の実施形態の基底信号分析部１０２で用いた制約付きＮＭＦや、第５の実施形態の基底信号分析部５０２で用いた制約付きＮＭＦを用いることができる。
前者の場合、上記の式（ｄ－２）および式（ｄ－３）におけるＶｂａｓｅ，ＷおよびＨを、Ｖｍｉｘ，ＷｓｅｐａおよびＨｓｅｐａに置き換えればよい。後者の場合、各音源ｉに対応する事前分布に対して学習される基底行列ＷｉおよびそのアクティベーションＨｉが、グループ基底行列Ｗ（ｒ）およびそのアクティベーションＨ（ｒ）となる。このとき、Ｗ０とＷｓｅｐａの間の各音源の基底インデックスの対応付けとして、Ｗ０の列ベクトルのインデックスｒに対して、Ｗｓｅｐａの列ベクトルにはグループ化に対応したインデックスｇｒを用いればよい。
音源分離部６３は、事前分布を制約として用いた制約付きＮＭＦを行うことにより、通常の制約がないＮＭＦを用いた際に問題となる局所解に陥ることなく、各音源の基底とそのアクティベーションを算出することができる。なお、音源分離部６３は、音源分離の際に、未知の音源に対応する基底をさらに追加した制約付き半教師有りＮＭＦを行ってもよい。その場合、分離対象の音源に対応するスペクトル基底に対しては事前分布を制約として用いて学習させ、未知の音源に対応するスペクトル基底に対しては制約なしで学習させて、音源分離を行ってもよい。
音源分離部６３は、このようにして得られたＷｓｅｐａ［Ｗｓ Ｗｎ］、Ｈｓｅｐａ［Ｈｓ Ｈｎ］を出力する。なお、音源分離部６３は、ＷｓｅｐａおよびＨｓｅｐａをそれぞれ音源ごとに分解した基底行列およびアクティベーション行列を出力してもよい。
音源再構築部６４は、音源分離部６３から出力される各音源に対応するスペクトル基底を含む基底行列Ｗｓｅｐａとアクティベーション行列Ｈｓｅｐａとを入力とし、各音源の基底インデックスに対応する部分の積をとることで、Ｖｍｉｘに含まれる各音源のスペクトログラムを推定する。音源再構築部６４は、例えば、以下の式（ｇ－２）および式（ｇ－３）に示すように、Ｖｍｉｘに含まれる各音源のスペクトログラムの推定値として、音声信号のスペクトログラムＶｓと、環境雑音信号のスペクトログラムＶｎを算出する。
Ｖｓ＝ＷｓＨｓ ・・・（ｇ－２）
Ｖｎ＝ＷｎＨｎ ・・・（ｇ－３）
これは、Ｗｓｅｐａ中のＷｓが音声信号のスペクトル成分を表し、Ｈｓｅｐａ中のＨｓが音声信号のスペクトル成分の各時間インデックスにおける発現度合いを表すため、ＷｓとＨｓの成分のみを用いて積をとることで、Ｖｍｉｘのうち音声信号の成分のみに対応するスペクトログラムＶｓを抽出することができるからである。なお、環境雑音信号のスペクトログラムについても同様である。以下、このようにして推定された各音源のスペクトログラムの推定値を、Ｖｓｅｐａ＿ｉと表現する場合がある。ここで、ｉは音源の識別子である。
音源再構築部６４は、推定された各音源のスペクトログラムＶｓｅｐａ＿ｉをそれぞれ逆フーリエ変換して時系列音響信号とすることにより、分離信号ｘｉ（ｔ）を生成する。
なお、今回の例では、音声と環境雑音の２種の音源を分離する場合を例に用いて説明したが、例えば、音声と環境雑音と背景音楽など、２種以上の所望の音源に分離することも可能である。その場合、事前分布Ｗ０、基底行列Ｗｓｅｐａ、アクティベーション行列Ｈｓｅｐａは、音源数に応じて各音源に対応する要素を連結させればよい。より具体的には、事前分布Ｗ０は、各音源の事前分布Ｗ０＿ｉを列方向に連結すればよい。また、基底行列Ｗｓｅｐａは、各音源のスペクトル基底行列Ｗｉを列方向に連結すればよい。また、アクティベーション行列Ｈｓｅｐａは、各音源のスペクトル基底行列Ｗｉに対応するアクティベーション行列Ｈｉを行方向に連結すればよい。なお、分離信号は、上述したように、各音源に対応する基底行列Ｗｉとそのアクティベーション行列Ｈｉの積を取ることにより、得られる。
図１３は、本実施形態の動作の一例を示すフローチャートである。図１３に示す例では、まず分布解析部６１が、分布生成用スペクトログラムＶ０を入力として、Ｖ０を構成している各音源のスペクトル基底の事前分布Ｗ０［Ｗ０＿１，．．．，Ｗ０＿ｉ，．．．］を生成し、事前分布格納部６２に格納する（ステップＳ６０）。
次いで、音源分離部６３が、音源分離用スペクトログラムＶｍｉｘに対して、各音源に対応する事前分布Ｗ０を制約として用いた制約付きＮＭＦを行い、Ｖｍｉｘを、Ｗｓｅｐａ［Ｗ１，．．．，Ｗｉ，．．．］とそのアクティベーションＨｓｅｐａ［Ｈ１，．．．，Ｈｉ，．．．］に分解する（ステップＳ６１）。
次いで、音源再構築部６４が、Ｗｓｅｐａ中の指定された音源のスペクトル基底ＷｊとそのアクティベーションＨｊとを用いて、該音源のみの時系列音響信号である分離信号を生成する（ステップＳ６２）。
以上のように、本実施形態によれば、ＮＭＦで各音源に対応する基底行列Ｗｉを学習する際に、別途入力される分布生成用スペクトログラムＶ０から求まる事前分布Ｗ０＿ｉに近づくような制約を用いることにより、局所解に陥らずに所望の基底行列Ｗ ｉ を算出することができる。そのため，より高精度に音源分離ができる。
なお、図１２および図１３の例では、分布生成用スペクトログラムＶ０を入力して、分布解析部６１が各音源のスペクトル基底に対応する事前分布を生成する例を示したが、事前分布は予め事前分布格納部６２に格納されていてもよい。その場合、分布解析部６１は省略される。
なお、上記の各実施形態では、ＮＭＦにおいてすべて基底は時間幅を考えないものとして説明したが、Ｃｏｎｖｏｌｕｔｉｖｅ－ＮＭＦを用いて時間構造を含んだ基底を作ることもできる。
また、上記の各実施形態は、単体の装置により実現されるだけでなく、複数の機器から構成されるシステムによって実装することも可能である。さらに、上記の各実施形態は、各実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給されることによって実現されてもよい。したがって、上記の各実施形態の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ（World Wide Web）サーバ等も本発明の範疇に含まれる。特に、少なくとも、上記の各実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
なお、上記の各実施形態は以下の付記のようにも記載できる。
（付記１）検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を格納する基底格納手段（例えば、基底格納部１１１，５１１）と、音響信号のスペクトログラムの時間区間中の音響イベントのスペクトル基底の発現度合いの組み合わせを特徴量として、音響信号に含まれる音響イベントを識別する識別モデルを格納するモデル格納手段（例えば、モデル格納部１１３，５１３）と、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する識別信号分析手段（例えば、識別信号分析部１１２，５１２）と、算出された発現度合いの組み合わせを基に、識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する信号識別手段（例えば、信号識別部１１４，５１４）とを備えたことを特徴とする信号処理装置。
（付記２）識別信号分析手段は、識別用音響信号のスペクトログラムに対して、音響イベント基底群を表す所定形式の第１基底行列に未知の音響イベントのスペクトル基底群を表す第２基底行列を加えた第３基底行列のうちの第２基底行列と、第３基底行列の各スペクトル基底の発現度合いを表すアクティベーション行列とを学習させて、当該スペクトログラムを第３基底行列と第３基底行列の各スペクトル基底の発現度合いを表すアクティベーション行列とに分解することにより、第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列を算出し、信号識別手段は、算出された第１アクティベーション行列によって示される識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いの組み合わせを基に、識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する付記１に記載の信号処理装置。
（付記３）基底生成用のスペクトログラムを入力として音響イベント基底群を生成する基底生成手段（例えば、基底生成部１０）と、対応する音響イベントを示すラベル付きのスペクトログラムが入力されると、基底生成手段によって生成された音響イベント基底群を用いて、ラベル付きスペクトログラムから音響イベントのスペクトル基底の発現度合いを算出して、識別モデルを学習するモデル学習手段（例えば、学習データ分析部１２およびモデル学習部１３）とを備えた付記１または付記２に記載の信号処理装置。
（付記４）検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納する事前分布格納手段（例えば、事前分布格納部１０１，５０１）を備え、基底生成手段は、事前分布群に含まれる各事前分布を、対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する付記３に記載の信号処理装置。
（付記５）音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合である付記１から付記４のうちのいずれかに記載の信号処理装置。
（付記６）音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、モデル学習手段は、対応する音響イベントを示すラベル付きスペクトログラムを、音響イベント基底群を表す第１基底行列と第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列とに分解する処理において、グループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を課して分解することにより、第１アクティベーション行列を算出して、算出された第１アクティベーション行列によって示される識別用音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として、識別モデルを学習する付記３に記載の信号処理装置。
（付記７）音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、基底生成手段は、事前分布群に含まれる各事前分布を、対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する付記４に記載の信号処理装置。
（付記８）音響イベント基底群に含まれる音響イベントごとのサブ集合には、当該音響イベントを構成する音の代表的なスペクトル形状に対して異なるバリエーションまたは揺らぎが表現された２以上のスペクトル基底が含まれる付記５から付記７のうちのいずれかに記載の信号処理装置。
（付記９）識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出し、算出された発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として音響信号に含まれる音響イベントを識別する識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別することを特徴とする信号処理方法。
（付記１０）コンピュータに、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する処理、および算出された発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として音響信号に含まれる音響イベントを識別する識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する処理を実行させるための信号処理プログラムを格納したコンピュータ読み取り可能記録媒体。
（付記１１）検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納する事前分布格納手段と、基底生成用のスペクトログラムを入力として、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を生成する基底生成手段とを備え、基底生成手段は、事前分布群に含まれる各事前分布を対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成することを特徴とする信号処理装置。
（付記１２）音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、基底生成手段は、事前分布群に含まれる各事前分布を対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する付記１１に記載の信号処理装置。
（付記１３）音響イベント基底群に含まれる音響イベントごとのサブ集合には、当該音響イベントを構成する音の代表的なスペクトル形状に対して異なるバリエーションまたは揺らぎが表現された２以上のスペクトル基底が含まれる付記１１に記載の信号処理装置。
（付記１４）検知対象とされる音響イベントが、特定音源の音の発生であり、事前分布格納手段は、特定音源のスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納し、特定音源の音のみを含む音響信号のスペクトログラムを入力として、事前分布群を生成する分布解析手段と、音源分離用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、基底生成手段によって生成された音響イベント基底群を表す第１基底行列を用い、かつ事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて第１基底行列を学習させて音源分離を行う音源分離手段と、音源分離の結果得られる、音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを基に、音源分離用音響信号から特定音源の音のみの信号を生成する音源再構築手段とを備えた付記１１から付記１３のうちのいずれかに記載の信号処理装置。
（付記１５）音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、基底生成手段は、事前分布群に含まれる各事前分布を、対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成し、音源分離手段は、音源分離用音響信号のスペクトログラムを、音響イベント基底群を表す第１基底行列と第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列とに分解する処理において、グループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を課して分解する付記１４に記載の信号処理装置。
（付記１６）音源分離手段は、音源分離用音響信号のスペクトログラムに対して、音響イベント基底群に特定音源以外の音に対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの音響イベント基底群のスペクトル基底は事前分布群に含まれる各事前分布を制約として用いて学習させ、未知のスペクトル基底は制約なしで学習させて音源分離を行う付記１４または付記１５に記載の信号処理装置。
（付記１７）基底生成用のスペクトログラムが入力されると、検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群に含まれる各事前分布を対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を生成することを特徴とする信号処理方法。
（付記１８）コンピュータに、基底生成用のスペクトログラムが入力されると、検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群に含まれる各事前分布を対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を生成する処理を実行させるための信号処理プログラムを格納したコンピュータ読み取り可能記録媒体。
（付記１９）特定音源の音のみを含む音響信号のスペクトログラムを入力として、特定音源のスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を生成し、基底生成用のスペクトログラムが入力されると、事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、特定音源のスペクトル基底の集合である音響イベント基底群を生成し、音源分離用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群を表す第１基底行列を用い、かつ事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて第１基底行列を学習させて音源分離を行い、音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを算出し、算出された音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを基に、音源分離用音響信号から特定音源の音のみの信号を生成することを特徴とする信号処理方法。
（付記２０）コンピュータに、特定音源の音のみを含む音響信号のスペクトログラムを入力として、特定音源のスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を生成する処理、基底生成用のスペクトログラムが入力されると、事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、特定音源のスペクトル基底の集合である音響イベント基底群を生成する処理、音源分離用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群を表す第１基底行列を用い、かつ事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて第１基底行列を学習させて音源分離を行い、音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを算出する処理、および算出された音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを基に、音源分離用音響信号から特定音源の音のみの信号を生成する処理を実行させるための信号処理プログラムを格納したコンピュータ読み取り可能記録媒体。
以上、本実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１６年６月１６日に出願された日本出願特願２０１６－１２０１２６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、音の発生を伴う所定の物理イベントの発生を検知する用途や、未知の環境下において採取された音源信号から所定の音源の音を分離する用途にも好適に適用可能である。
１００、１１０、２００、４００、５００、６００ 信号処理装置
１０、４０、５０ 基底生成部
１０１、５０１ 事前分布格納部
１０２、５０２ 基底信号分析部
１０３、５０３ 分布解析部
１１、５１ 音響イベント識別部
１１１、５１１ 基底格納部
１１２、５１２ 識別信号分析部
１１３、５１３ モデル格納部
１１４、５１４ 信号識別部
１２、５２ 学習データ分析部
１３、５３ モデル学習部
６１ 分布解析部
６２ 事前分布格納部
６３ 音源分離部
６４ 音源再構築部

Claims (9)

  1. 検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を格納する基底格納手段と、
    音響信号のスペクトログラムの時間区間中の音響イベントのスペクトル基底の発現度合いの組み合わせを特徴量として、前記音響信号に含まれる音響イベントを識別する識別モデルを格納するモデル格納手段と、
    識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、前記音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの前記未知のスペクトル基底のみを学習させて音源分離を行い、前記識別用音響信号のスペクトログラムにおける前記音響イベントのスペクトル基底の発現度合いを算出する識別信号分析手段と、
    算出された前記発現度合いの組み合わせを基に、前記識別モデルを用いて、前記識別用音響信号に含まれる音響イベントを識別する信号識別手段と、を備え、
    前記識別信号分析手段は、識別用音響信号のスペクトログラムに対して、前記音響イベント基底群を表す所定形式の第１基底行列に前記未知の音響イベントのスペクトル基底群を表す第２基底行列を加えた第３基底行列のうちの前記第２基底行列と、前記第１基底行列に対応する第１アクティベーション行列に、前記第２基底行列に対応する第２アクティベーション行列を加えた第３アクティベーション行列とを学習させて、当該スペクトログラムを、前記第３基底行列と前記第３基底行列の各スペクトル基底の発現度合いを表すアクティベーション行列とに分解し、入力されたスペクトログラムにマッチするように、前記第２基底行列と前記第３アクティベーション行列の値を最適化するよう更新し、最適化された前記第２基底行列と前記第３アクティベーション行列から、前記第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列を算出し、
    前記信号識別手段は、算出された前記第１アクティベーション行列によって示される前記識別用音響信号のスペクトログラムにおける前記音響イベントのスペクトル基底の発現度合いの組み合わせを基に、前記識別モデルを用いて、前記識別用音響信号に含まれる音響イベントを識別する
    ことを特徴とする信号処理装置。
  2. 基底生成用のスペクトログラムを入力として音響イベント基底群を生成する基底生成手段と、
    対応する音響イベントを示すラベル付きのスペクトログラムが入力されると、前記基底生成手段によって生成された音響イベント基底群を用いて、前記ラベル付きスペクトログラムから前記音響イベントのスペクトル基底の発現度合いを算出して、識別モデルを学習するモデル学習手段と
    を備えた請求項１に記載の信号処理装置。
  3. 検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納する事前分布格納手段を備え、
    前記基底生成手段は、前記事前分布群に含まれる各事前分布を、対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する
    請求項２に記載の信号処理装置。
  4. 音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合である
    請求項１から３のうちのいずれか１つに記載の信号処理装置。
  5. 音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、
    前記モデル学習手段は、対応する音響イベントを示すラベル付きスペクトログラムを、音響イベント基底群を表す第１基底行列と前記第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列とに分解する処理において、グループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を課して分解することにより、前記第１アクティベーション行列を算出し、算出された前記第１アクティベーション行列によって示される前記識別用音響信号のスペクトログラムの時間区間中の前記音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として、識別モデルを学習する請求項２に記載の信号処理装置。
  6. 音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、
    前記基底生成手段は、前記事前分布群に含まれる各事前分布を、対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する請求項３に記載の信号処理装置。
  7. 音響イベント基底群に含まれる音響イベントごとのサブ集合には、当該音響イベントを構成する音の代表的なスペクトル形状に対して異なるバリエーションまたは揺らぎが表現された２以上のスペクトル基底が含まれる請求項４から６のうちのいずれかに記載の信号処理装置。
  8. 識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの前記未知のスペクトル基底のみを学習させて音源分離を行い、前記識別用音響信号のスペクトログラムにおける前記音響イベントのスペクトル基底の発現度合いを算出し、
    算出された前記発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の前記音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として前記音響信号に含まれる音響イベントを識別する識別モデルを用いて、前記識別用音響信号に含まれる音響イベントを識別する方法であり、
    前記識別用音響信号のスペクトログラムにおける前記音響イベントのスペクトル基底の発現度合いを算出する方法は、識別用音響信号のスペクトログラムに対して、前記音響イベント基底群を表す所定形式の第１基底行列に前記未知の音響イベントのスペクトル基底群を表す第２基底行列を加えた第３基底行列のうちの前記第２基底行列と、前記第１基底行列に対応する第１アクティベーション行列に、前記第２基底行列に対応する第２アクティベーション行列を加えた第３アクティベーション行列とを学習させて、当該スペクトログラムを前記第３基底行列と前記第３基底行列の各スペクトル基底の発現度合いを表すアクティベーション行列とに分解し、入力されたスペクトログラムにマッチするように、前記第２基底行列と前記第３アクティベーション行列の値を最適化するよう更新し、最適化された前記第２基底行列と前記第３アクティベーション行列から、前記第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列を算出するものであり、
    前記識別用音響信号に含まれる音響イベントを識別する方法は、算出された前記第１アクティベーション行列によって示される前記識別用音響信号のスペクトログラムにおける前記音響イベントのスペクトル基底の発現度合いの組み合わせを基に、前記識別モデルを用いて、前記識別用音響信号に含まれる音響イベントを識別するものである
    ことを特徴とする信号処理方法。
  9. コンピュータに、
    識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの前記未知のスペクトル基底のみを学習させて音源分離を行い、前記識別用音響信号のスペクトログラムにおける前記音響イベントのスペクトル基底の発現度合いを算出する処理、および
    算出された前記発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の前記音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として前記音響信号に含まれる音響イベントを識別する識別モデルを用いて、前記識別用音響信号に含まれる音響イベントを識別する処理を実行させるための信号処理プログラムであって、
    前記識別用音響信号のスペクトログラムにおける前記音響イベントのスペクトル基底の発現度合いを算出する処理は、識別用音響信号のスペクトログラムに対して、前記音響イベント基底群を表す所定形式の第１基底行列に前記未知の音響イベントのスペクトル基底群を表す第２基底行列を加えた第３基底行列のうちの前記第２基底行列と、前記第１基底行列に対応する第１アクティベーション行列に、前記第２基底行列に対応する第２アクティベーション行列を加えた第３アクティベーション行列とを学習させて、当該スペクトログラムを前記第３基底行列と前記第３基底行列の各スペクトル基底の発現度合いを表すアクティベーション行列とに分解し、入力されたスペクトログラムにマッチするように、前記第２基底行列と前記第３アクティベーション行列の値を最適化するよう更新し、最適化された前記第２基底行列と前記第３アクティベーション行列から、前記第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列を算出するものであり、
    前記識別用音響信号に含まれる音響イベントを識別する方法は、算出された前記第１アクティベーション行列によって示される前記識別用音響信号のスペクトログラムにおける前記音響イベントのスペクトル基底の発現度合いの組み合わせを基に、前記識別モデルを用いて、前記識別用音響信号に含まれる音響イベントを識別するものである
    ことを特徴とする信号処理プログラム。
JP2018523934A 2016-06-16 2017-06-13 信号処理装置、信号処理方法および信号処理プログラム Active JP7006592B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016120126 2016-06-16
JP2016120126 2016-06-16
PCT/JP2017/021826 WO2017217412A1 (ja) 2016-06-16 2017-06-13 信号処理装置、信号処理方法およびコンピュータ読み取り可能記録媒体

Publications (2)

Publication Number Publication Date
JPWO2017217412A1 JPWO2017217412A1 (ja) 2019-04-18
JP7006592B2 true JP7006592B2 (ja) 2022-01-24

Family

ID=60664612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018523934A Active JP7006592B2 (ja) 2016-06-16 2017-06-13 信号処理装置、信号処理方法および信号処理プログラム

Country Status (3)

Country Link
US (1) US10817719B2 (ja)
JP (1) JP7006592B2 (ja)
WO (1) WO2017217412A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020087372A1 (zh) * 2018-10-31 2020-05-07 深圳市大疆创新科技有限公司 撞击物识别方法、系统及存储介质
JP7266390B2 (ja) * 2018-11-20 2023-04-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 行動識別方法、行動識別装置、行動識別プログラム、機械学習方法、機械学習装置及び機械学習プログラム
BR112021025892A2 (pt) * 2019-06-28 2022-02-08 Nec Corp Aparelho de detecção de falsificação, método de detecção de falsificação e meio de armazenamento legível por computador
CN111933113B (zh) * 2020-09-29 2021-03-02 北京捷通华声科技股份有限公司 一种语音识别的方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012163918A (ja) 2011-02-09 2012-08-30 Sony Corp 音声信号処理装置、および音声信号処理方法、並びにプログラム
JP2013142870A (ja) 2012-01-12 2013-07-22 Nippon Telegr & Teleph Corp <Ntt> 特定状況モデルデータベース作成装置とその方法と、特定要素音モデルデータベース作成装置と状況推定装置と発呼適否通知装置とプログラム
WO2014079484A1 (en) 2012-11-21 2014-05-30 Huawei Technologies Co., Ltd. Method for determining a dictionary of base components from an audio signal

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6109927B2 (ja) * 2012-05-04 2017-04-05 カオニックス ラブス リミテッド ライアビリティ カンパニー 源信号分離のためのシステム及び方法
US10497381B2 (en) * 2012-05-04 2019-12-03 Xmos Inc. Methods and systems for improved measurement, entity and parameter estimation, and path propagation effect measurement and mitigation in source signal separation
US9183849B2 (en) * 2012-12-21 2015-11-10 The Nielsen Company (Us), Llc Audio matching with semantic audio recognition and report generation
JP2014164126A (ja) 2013-02-25 2014-09-08 Nippon Telegr & Teleph Corp <Ntt> 音響信号分析方法、装置、及びプログラム
JP6085538B2 (ja) * 2013-09-02 2017-02-22 本田技研工業株式会社 音響認識装置、音響認識方法、及び音響認識プログラム
JP6195548B2 (ja) 2014-08-19 2017-09-13 日本電信電話株式会社 信号解析装置、方法、及びプログラム
EP3093846A1 (en) * 2015-05-12 2016-11-16 Nxp B.V. Accoustic context recognition using local binary pattern method and apparatus
US9805739B2 (en) * 2015-05-15 2017-10-31 Google Inc. Sound event detection
US9368110B1 (en) * 2015-07-07 2016-06-14 Mitsubishi Electric Research Laboratories, Inc. Method for distinguishing components of an acoustic signal
US10650842B2 (en) * 2015-09-16 2020-05-12 Nec Corporation Signal detection device, signal detection method, and signal detection program
US10014003B2 (en) * 2015-10-12 2018-07-03 Gwangju Institute Of Science And Technology Sound detection method for recognizing hazard situation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012163918A (ja) 2011-02-09 2012-08-30 Sony Corp 音声信号処理装置、および音声信号処理方法、並びにプログラム
JP2013142870A (ja) 2012-01-12 2013-07-22 Nippon Telegr & Teleph Corp <Ntt> 特定状況モデルデータベース作成装置とその方法と、特定要素音モデルデータベース作成装置と状況推定装置と発呼適否通知装置とプログラム
WO2014079484A1 (en) 2012-11-21 2014-05-30 Huawei Technologies Co., Ltd. Method for determining a dictionary of base components from an audio signal

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Tatsuya KOMATSU, et al.，ACOUSTIC EVENT DETECTION BASED ON NON-NEGATIVE MATRIX FACTORIZATION WITH MIXTURES OF LOCAL DICTIONARIES AND ACTIVATION AGGREGATION，Proc. ICASSP 2016，中国，IEEE，2016年03月，pp. 2259-2263

Also Published As

Publication number Publication date
WO2017217412A1 (ja) 2017-12-21
JPWO2017217412A1 (ja) 2019-04-18
US10817719B2 (en) 2020-10-27
US20190188468A1 (en) 2019-06-20

Similar Documents

Publication Publication Date Title
JP7006592B2 (ja) 信号処理装置、信号処理方法および信号処理プログラム
Benetos et al. Detection of overlapping acoustic events using a temporally-constrained probabilistic model
JP6911854B2 (ja) 信号処理装置、信号処理方法および信号処理プログラム
JP2014164126A (ja) 音響信号分析方法、装置、及びプログラム
JP6747447B2 (ja) 信号検知装置、信号検知方法、および信号検知プログラム
CN110534091A (zh) 一种基于微服务器及智能语音识别的人车交互方法
CN111488486B (zh) 一种基于多音源分离的电子音乐分类方法及系统
US10431191B2 (en) Method and apparatus for analyzing characteristics of music information
JP6499095B2 (ja) 信号処理方法、信号処理装置及び信号処理プログラム
CN113380268A (zh) 模型训练的方法、装置和语音信号的处理方法、装置
Sheng et al. Feature design using audio decomposition for intelligent control of the dynamic range compressor
O'Hanlon et al. Improved template based chord recognition using the CRP feature
JP6911930B2 (ja) 信号処理装置、信号処理方法およびプログラム
US11200882B2 (en) Signal processing device, signal processing method, and storage medium for storing program
Anderson Musical instrument classification utilizing a neural network
Xie et al. Acoustic features for multi-level classification of Australian frogs
Nguyen et al. Improving mix-and-separate training in audio-visual sound source separation with an object prior
Vieira et al. Automatic classification of instruments from supervised methods of machine learning
CN116189636B (zh) 基于电子乐器的伴奏生成方法、装置、设备及存储介质
Grigore et al. Self-organizing maps for identifying impaired speech
JP2010197596A (ja) 信号解析装置、信号解析方法、プログラム、及び記録媒体
Gonçalves et al. Instrumentals/Songs Separation for Background Music Removal
Seyedin et al. Discriminative sparse-based feature extraction and dictionary learning for sound classification applications
Dhole et al. Support Vector Machine Classification of Stress Types in Speech
Ma Monaural source separation in the wild

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210507

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210930

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210930

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211011

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211012

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211021

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211220