JP7294422B2 - 音モデル生成装置、音信号処理システム、音モデル生成方法、およびプログラム - Google Patents

Description

本発明は、音モデル生成装置、音モデル生成方法、および記録媒体に関し、特に、音声または音響に係わる音イベントを判別するための音モデルを生成する音モデル生成装置、音モデル生成方法、および記録媒体に関する。

学習データである音信号（音声信号または音響信号）を用いて学習（訓練）した音モデルを用いて、音信号から音イベントを判別する関連技術が存在する。音イベントとは、音信号として発生するイベント、または音信号を伴って発生するイベントであり、例えば、機械の異常発生に伴う異常音、構造物の破壊または自然現象に伴う突発音（インパルス音とも呼ばれる）、人間又は動物の声（大声、叫び声、鳴き声、悲鳴）などである。

例えば、特許文献１に記載の装置は、業務用の機器から発せられる正常音および異常音をマイクロフォンで集音し、録音した音信号のスペクトルから、それぞれ特徴量を抽出する。また、特許文献１に記載の装置は、抽出した特徴量を学習データとして用いて、異常音の音イベントを判別可能な異常音モデルを生成し、さらに、生成した異常音モデルを用いて、機器の異常を検知し、アラートを出力する。

特許文献２には、音素の特徴点をニューラルネットワークに入力して、音素を表す特徴ベクトルを判別できるように、ニューラルネットワークを学習させることが記載されている。

国際公開第２０１７／１７１０５１号 特開平０６－２７４１９７号公報

特許文献１および２に記載の関連技術では、音モデルの学習に適した音信号の特徴量を人が決定しているため、音モデルの学習には人の熟練および知見が必要である。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、複数の特徴量を用いて、音イベントを判別可能な音モデルをより簡便に生成できる音モデル生成装置等を提供することにある。

本発明の一態様に係わる音モデル生成装置は、学習データである音信号の複数の特徴量を連結して、連結特徴量を生成する連結手段と、生成した前記連結特徴量を用いて、前記音信号から音イベントを判別するための音モデルに学習させる学習手段とを備えている。

本発明の一態様に係わる音モデル生成方法は、学習データである音信号の複数の特徴量を連結して、連結特徴量を生成し、生成した前記連結特徴量を用いて、前記音信号から音イベントを判別するための音モデルに学習させることを含む。

本発明の一態様に係わる記録媒体は、学習データである音信号の複数の特徴量を連結して、連結特徴量を生成すること、および生成した前記連結特徴量を用いて、前記音信号から音イベントを判別するための音モデルに学習させることをコンピュータに実行させるためのプログラムを格納している。

本発明によれば、複数の特徴量を用いて、音イベントを判別可能な音モデルをより簡便に生成できる。

実施形態１に係わる音モデル生成装置の構成を示すブロック図である。 実施形態１に係わる音モデル生成装置の動作の流れを示すフローチャートである。 実施形態２に係わる音信号処理システムの構成を示すブロック図である。 実施形態２に係わる音モデル生成装置の構成を示すブロック図である。 実施形態２に係わる音イベント判別装置の構成を示すブロック図である。 複数の特徴量を連結した連結特徴量の概略図である。 実施形態２に係わる音モデル生成装置の動作の流れを示すフローチャートである。 実施形態２に係わる音イベント判別装置の動作の流れを示すフローチャートである。 実施形態３に係わる情報処理装置のハードウェア構成を示す図である。

〔実施形態１〕
図１～図２を参照して、実施形態１について説明する。

（音モデル生成装置１）
図１を参照して、本実施形態１に係わる音モデル生成装置１の構成を説明する。図１は、音モデル生成装置１の構成を示すブロック図である。図１に示すように、音モデル生成装置１は、連結部２０、および学習部３０を備えている。

連結部２０は、学習データである音信号の複数の特徴量を連結して、連結特徴量を生成する。連結部２０は、連結手段の一例である。具体的には、連結部２０は、例えば図示しない特徴データベースから、学習データである音信号の複数の特徴量を示す情報を取得する。連結部２０は、取得した複数の特徴量を連結することによって、１つの連結特徴量を生成する。

音信号とは、音がマイクロフォンで集音されて得られた波形である。音信号は、ある時刻ｔにおける振幅値として表現される。音信号には、ステレオ音響信号などのようにある時刻ｔにおいて振幅値が複数の値、すなわち複数の音響チャネルを持つものもある。複数の音響チャネル（以下、単にチャネルと呼ぶ場合がある）からなる音信号に対しても本実施形態は成立する。

音イベントとは、実世界の現象（イベント）に対応する音信号である。音イベントは、単独の音信号として存在する場合もあるし、音信号の中に他の音信号と混在して時間区分的あるいは連続的に存在する場合もある。

時刻ｔにおける特徴ベクトルは、時刻ｔを含む時間区間の音信号に対して、特定の変換によって得られるベクトルである。例えば、特徴ベクトルは、平均振幅、パワー、パワースペクトル、対数スペクトル、メルスペクトル、CQTスペクトル、LSP（Line Spectral Pair）スペクトル、位相スペクトル、自己相関係数列、MFCC（Mel-Frequency Cepstrum Coefficients）係数列、群遅延係数列、などである。特徴ベクトルがパワーの場合は特徴ベクトルの次元数は１である。また特徴ベクトルがスペクトルの場合は特徴ベクトルの次元数はスペクトルの総ビン数に一致する。特徴ベクトルがパワースペクトルの場合の各特徴ベクトルのビン番号は周波数と対応する。特徴ベクトルがメルスペクトルの場合はメル尺度がビン番号に対応する。メル尺度とは、人間の高音知覚が考慮された周波数軸の尺度である。特徴ベクトルが位相スペクトルの場合には各特徴ベクトルのビン番号は位相と対応する。特徴ベクトルが自己相関係数列の場合は各特徴ベクトルのビン番号は時間差（遅れ量）に対応する。

特徴量は、複数の特徴ベクトルを並べた行列として定義される。特徴量は、時刻の組(t1,t2,…,t_N)の各々の時刻における特徴ベクトルで構成される（Ｎは正の整数）。特徴量は、例えば、ＳＴＦＴで得られるスペクトログラムである。ここで時刻t1,t2,…,t_Nは一つとして同じ値を取らず、また通常はΔt>0としてt2=t1+Δt,t3=t2+Δt,…,t_N=t_(N-1)+Δtと定義される。すなわち時刻の組(t1,t2,…,t_N)は、昇順かつ等間隔に定義される。

ただし、時刻の組(t1,t2,…,t_N)のうち、複数の時刻における特徴ベクトルが同じ値である場合があり得る。この場合の特徴量の情報量は、重複する特徴ベクトルを除いた特徴量の情報量と同じになる。例えば、時刻t1,t2における特徴ベクトルが同じ値である場合、時刻の組(t1,t2,…,t_N)の各々の時刻における特徴ベクトルで構成される特徴量の情報量は、時刻の組(t1,t3,…,t_N)の各々の時刻における特徴ベクトルで構成される特徴量の情報量と同じである。よって、このような場合には、時刻の組(t1,t2,…,t_N)を、時刻の組(t1,t3,t4,…,t_N)と同様に扱ってよい。つまり、時刻の組(t1,t2,…,t_N)の各々の時刻における特徴ベクトルで構成される特徴量を計算する代わりに、時刻の組(t1,t3,…,t_N)の各々の時刻における特徴ベクトルで構成される特徴量を計算してもよい。

時刻の組(t1,t2,…,t_N)が昇順に並んでいない場合も、特徴量の情報量は変わらない。したがって、この場合は時刻の組(t1,t2,…,t_N)を昇順にソートした時刻の組(T1,T2,…,T_N)の場合と同様に扱う。時刻の組(t1,t2,…,t_N)が等間隔ではない場合も、時刻の組(t1,t2,…,t_N)が等間隔である場合と同様に扱う。

あるいは、特徴ベクトルを生成せずに音信号から時刻の組(t1,t2,…,t_N)に対応する特徴量を直接生成することもできる。この場合、時間に依存して変化する変換、たとえばウェーブレット変換などを用いて、音信号から特徴量を生成することができる。以下では、特徴ベクトルを生成せずに音信号から生成した特徴量と、特徴ベクトルを介して生成した特徴量とを区別しない。

連結特徴量とは、音信号の複数の特徴量を連結することによって生成される１つの特徴量のことである。連結とは、複数のもの（ここでは複数の特徴量）をつなぎ合わせることである。具体的には、連結部２０は、複数の特徴量を複数のチャネルとして含む連結特徴量を生成する。換言すれば、連結部２０は、複数の特徴量を、チャネル方向に連結することによって、連結特徴量を生成する。

連結部２０は、生成した連結特徴量を示す情報を、学習部３０へ送信する。なお、複数の特徴量を複数のチャネルとして含む連結特徴量の具体例を、実施形態２で説明する。

学習部３０は、生成した連結特徴量を用いて、音信号から音イベントを判別するための音モデルに学習させる。言い換えれば、学習部３０は、連結特徴量を用いて、音信号から音イベントを判別するように、音モデルを訓練する。学習部３０は、学習手段の一例である。具体的には、学習部３０は、連結部２０から、連結特徴量を示す情報を受信する。学習部３０は、連結特徴量を用いて、音モデルに対する機械学習（例えば深層学習）を行い、学習済み音モデルを生成する。

音モデルは、音信号から音イベントを判別するために用いられる推論プログラムである。例えば、音モデルは、音信号の連結特徴量のデータを入力され、音イベントの判別結果を出力するニューラルネットワークである。特に、音モデルは、ＣＮＮ（Convolutional Neural Network）であってよい。

学習部３０は、学習済み音モデルを、図示しない音モデル記憶装置（データベース）に格納してもよい。あるいは、学習部３０は、学習済み音モデルを、図示しない音イベント判別装置（音イベントを判別する装置）へ出力してもよい。なお、音イベント判別装置に関して、後述する実施形態２において説明する。

（音モデル生成装置１の動作）
図２を参照して、本実施形態１に係わる音モデル生成装置１の動作を説明する。図２は、音モデル生成装置１の動作の流れを示すフローチャートである。

図２に示すように、連結部２０は、複数の特徴量を示す情報を受信する（Ｓ１）。

連結部２０は、受信した複数の特徴量を連結する（Ｓ２）。これにより、連結部２０は、複数の特徴量を連結した連結特徴量を生成する。

連結部２０は、生成した連結特徴量を示す情報を、学習部３０へ送信する。

学習部３０は、連結部２０から、連結特徴量を示す情報を受信する。学習部３０は、連結特徴量を用いて音モデルに学習させる（Ｓ３）。

学習部３０は、生成した音モデルを、図示しないデータベースに格納してもよい。あるいは、学習部３０は、学習済み音モデルを、図示しない音イベント判別装置（音イベントを判別する装置）へ出力してもよい。

以上で、音モデル生成装置１の動作は終了する。

（本実施形態の効果）
本実施形態の構成によれば、連結部２０は、学習データである音信号の複数の特徴量を連結して、連結特徴量を生成する。学習部３０は、生成した連結特徴量を用いて、音信号から音イベントを判別するための音モデルに学習させる。こうして、学習済み音モデルが生成される。学習済み音モデルは、連結特徴量のデータを入力されると、音イベントの判別結果を出力する。したがって、複数の特徴量を用いて、音イベントを判別可能な音モデルをより簡便に生成することができる。

〔実施形態２〕
図３～図８を参照して、実施形態２について説明する。本実施形態では、音モデル生成装置、音モデル記憶装置、および音イベント判別装置を含む音信号処理システムについて説明する。

（音信号処理システム１０００）
図３を参照して、本実施形態２に係わる音信号処理システム１０００の構成を説明する。図３は、音信号処理システム１０００の構成を示すブロック図である。

図３に示すように、音信号処理システム１０００は、音モデル生成装置２、音イベント判別装置２００、および音モデル記憶装置３００を含む。

音モデル生成装置２は、学習データである音信号を取得する。音信号は、音声または音響を示す信号である。ここでいう音信号は、人物の声を示す音声信号であってもよいし、機械の作動音を示す音響信号であってもよい。

音モデル生成装置２は、取得した音信号に基づいて、音モデルに学習させる。音モデルとは、音信号から音イベントを判別するために用いられる推論プログラムである。

例えば、音モデルは、ニューラルネットワークであり、学習によってこのニューラルネットワークが重み付けされる。音モデル生成装置２は、学習済み音モデルを示す情報を、音モデル記憶装置３００に格納する。

音モデル生成装置２は、音イベントごとに、音モデルを学習させ、音イベントを示す情報と、学習済み音モデルを示す情報とを紐付けて、音モデル記憶装置３００に格納する。

例えば、音イベントとは、機械の異常発生とそれに伴う異常音、または、機械の破壊とそれに伴う突発音（インパルス音）である。音モデル生成装置２の詳細な構成（構成要素）については、後で説明する。

音モデル記憶装置３００は、音モデル生成装置２が生成した、音イベントごとの音モデルを記憶している。音モデル記憶装置３００は、音モデル生成装置２および音イベント判別装置２００と、ネットワークを介して、接続されていてよい。あるいは、音モデル記憶装置３００は、インターネット上の外部リソースであってもよい。

音イベント判別装置２００は、判別の対象である音イベントに関する情報を受信する。音イベント判別装置２００は、例えば、マイクロフォンを用いて集音した音信号を受信する。

音イベント判別装置２００は、音モデル記憶装置３００を参照して、学習済み音モデルを取得する。音イベント判別装置２００は、学習済み音モデルに基づいて、音信号から音イベントを判別する。そして、音イベント判別装置２００は、音イベントの判別結果を出力する。なお、音イベント判別装置２００が音イベントを判別する方法の具体例を後で説明する。

音イベント判別装置２００は、音イベントの判別結果を、図示しないディスプレイに表示してもよい。あるいは、音イベント判別装置２００は、音イベントの判別結果に応じたアラートを出力してもよい。

例えば、音イベント判別装置２００は、音イベントが機械の異常によるものである場合、回転灯（非常灯）を点灯させる。それ以外に、音イベント判別装置２００は、図示しないスピーカから、警告音を出力してもよい。音イベント判別装置２００の詳細な構成（構成要素）については、後で説明する。

（音モデル生成装置２）
図４を参照して、本実施形態２に係わる音モデル生成装置２の構成を説明する。図４は、音モデル生成装置２の構成を示すブロック図である。

図４に示すように、音モデル生成装置２は、特徴量抽出部１０、連結部２０、および学習部３０を備えている。

特徴量抽出部１０は、学習データである音信号から複数の特徴量を抽出する。特徴量抽出部１０は、特徴量抽出手段の一例である。

具体的には、特徴量抽出部１０は、学習データとして、音信号を取得する。学習データである音信号は、モータ音などの、周期性を有する定常信号であってもよいし、機械の異常音などの、突発的な、かつ時間変化の急激な信号であってもよい。例えば、音信号は、人物の声を示す音声信号である。あるいは、音信号は、機械の作動音を示す音響信号であってもよい。以下では、これらの音声信号または音響信号を、マイクロフォンで収集し、量子化し、データベースに保存したものを音信号として説明する。

特徴量抽出部１０は、取得した音信号から、複数の特徴量を抽出する。音信号の特徴量とは、音信号の特性を表す情報である。本実施形態２では、特徴量抽出部１０は、学習データの音信号に対し、様々な変換を実行することによって、複数の特徴量を得る。例えば、特徴量抽出部１０は、学習データの音信号に対し、ＳＴＦＴ（Short Time Fourier Transform）、ウェーブレット変換、およびＣＱＴ（constant quality factor transform）を、それぞれ実行する。これにより、複数の特徴量が得られる。

特徴量抽出部１０は、様々な変換を実行する前に、音信号に対し、ノイズキャンセル、フィルタリング、またはその他の前処理を行ってもよい。

特徴量抽出部１０は、予め決定された時刻t1,t2,…,t_Nにおいて、音信号から複数の特徴量を抽出し、抽出した複数の特徴量を示す情報を連結部２０へ送信する。

連結部２０は、複数の特徴量を連結して、連結特徴量を生成する。連結部２０は、連結手段の一例である。

具体的には、連結部２０は、特徴量抽出部１０から、複数の特徴量を示す情報を受信する。連結部２０は、受信した複数の特徴量を連結することによって、１つの連結特徴量を生成する。生成された連結特徴量は、連結された複数の特徴量を含んでいる。

以上のように、本実施形態２に係わる連結特徴量は、複数の特徴量を、複数のチャネルとして含む。ここでいうチャネルとは、画像における色の表現（ＲＧＢやＹＭＣＫ）を表す方向の次元に相当する。連結部２０は、生成した連結特徴量を示す情報を、学習部３０へ送信する。なお、連結特徴量の一例を後述する。

学習部３０は、生成した連結特徴量を用いて、音イベントを判別するための音モデルに学習させる。言い換えれば、学習部３０は、連結特徴量を用いて、音イベントを判別するように、音モデルを訓練する。学習部３０は、学習手段の一例である。

具体的には、学習部３０は、連結部２０から、連結特徴量を示す情報を受信する。学習部３０は、連結特徴量を用いて、機械学習（例えば深層学習）を行うことによって、学習済み音モデルを生成する。音モデルとは、音信号から音イベントを判別するために用いられる推論プログラムである。

本実施形態２では、学習部３０は、多チャネルの連結特徴量を学習データとして用いて、音モデルを学習させる。学習済み音モデルは、前記実施形態１で説明した方法で音信号から生成された連結特徴量を用いて、音イベントを判別する。学習部３０は、学習済み音モデルのプログラムデータおよびパラメータデータを、図３に示す音モデル記憶装置３００に格納する。

（音イベント判別装置２００）
図５を参照して、本実施形態２に係わる音イベント判別装置２００の構成を説明する。図５は、音イベント判別装置２００の構成を示すブロック図である。図５に示すように、音イベント判別装置２００は、音イベント検出部２１０、特徴量生成部２２０、判別部２３０、および出力部２４０を備えている。

音イベント検出部２１０は、音イベントを検出する。具体的には、音イベント検出部２１０は、音センサ（例えばマイクロフォン）を用いて、音イベントに基づく音信号を検出する。音イベント検出部２１０は、検出した音信号（以下、音イベント情報と呼ぶ）を、特徴量生成部２２０へ送信する。

特徴量生成部２２０は、音イベント検出部２１０から、音イベント情報（すなわち音信号）を受信する。特徴量生成部２２０は、音イベント検出部２１０が検出した音信号から、複数の特徴量を抽出し、さらに抽出した複数の特徴量を連結することによって、連結特徴量を生成する。

特徴量生成部２２０が音信号から特徴量を抽出するために用いる手法は、音モデル生成装置２の特徴量抽出部１０が複数の特徴量を抽出する手法と同じである。例えば、特徴量生成部２２０は、ＳＴＦＴ解析によって、音信号からスペクトログラムを生成する。

特徴量生成部２２０は、こうして生成した連結特徴量を示す情報を、判別部２３０へ送信する。

判別部２３０は、特徴量生成部２２０から、連結特徴量を示す情報を受信する。判別部２３０は、音モデル記憶装置３００に格納された学習済み音モデルを用いて、音イベントを判別する。より詳細には、判別部２３０は、学習済み音モデルに対し、連結特徴量を入力し、学習済み音モデルから出力される音イベントの判別結果を受信する。

判別部２３０は、音イベントの判別結果を、出力部２４０へ送信する。例えば、判別部２３０は、判別した音イベントが所定の音イベントに該当するか否かを示す情報を出力する。あるいは、判別部２３０は、判別した音イベントが所定の音イベントに該当する場合、出力部２４０にアラートを出力させるためのトリガー信号を、出力部２４０へ送信してもよい。

出力部２４０は、判別部２３０から、音イベントの判別結果を受信する。出力部２４０は、音イベントの判別結果に応じた報知を行う。具体的には、出力部２４０は、判別部２３０が判別した音イベントが所定の音イベントに該当する場合、アラートを出力する。例えば、出力部２４０は、回転灯またはスピーカを用いて、アラートを出力する。

以上のように、学習済み音モデルは、連結特徴量を用いて、音イベントを判別できる。音イベント判別装置２００が、音信号から生成した連結特徴量を、学習済み音モデルへ入力することによって、学習済み音モデルから、音イベントの判別結果が出力される。したがって、音イベント判別装置２００は、学習済み音モデルに対し、音信号から生成した連結特徴量を入力することによって、音イベントの判別結果を得られる。

（連結特徴量の一例）
図６は、複数の特徴量を連結した連結特徴量の一例を概略的に示す。図６に示すように、連結特徴量は、複数の特徴量をチャネル方向に連結することによって生成される。図６に示す連結特徴量は、Ｎ（≧２）個のチャネルを有する。それぞれの特徴量が、連結特徴量の１つのチャネルに相当する。

（音モデル生成装置２の動作）
図７を参照して、本実施形態２に係わる音モデル生成装置２の動作を説明する。図７は、音モデル生成装置２の動作の流れを示すフローチャートである。

図７に示すように、特徴量抽出部１０は、学習データとして、音信号を取得する（Ｓ１０１）。

特徴量抽出部１０は、取得した音信号から、複数の特徴量を抽出する（Ｓ１０２）。特徴量抽出部１０は、抽出した複数の特徴量を示す情報を、連結部２０へ送信する。

連結部２０は、特徴量抽出部１０から、複数の特徴量を示す情報を受信する。連結部２０は、受信した複数の特徴量を連結する（Ｓ１０３）。こうして、連結部２０は、複数の特徴量を連結した連結特徴量を生成する。連結部２０は、生成した連結特徴量を示す情報を、学習部３０へ送信する。

学習部３０は、連結部２０から、連結特徴量を示す情報を受信する。学習部３０は、連結特徴量を用いて音モデルに学習させる（Ｓ１０４）。

学習部３０は、学習済み音モデルのプログラムデータおよびパラメータデータを、音モデル記憶装置３００に格納する（Ｓ１０５）。

以上で、音モデル生成装置２の動作は終了する。

（音イベント判別装置２００の動作）
図８を参照して、本実施形態２に係わる音イベント判別装置２００の動作を説明する。図８は、音イベント判別装置２００の動作の流れを示すフローチャートである。

図８に示すように、音イベント検出部２１０は、音センサ（例えばマイクロフォン）を用いて、音イベントとして音信号を検出する（Ｓ２０１）。音イベント検出部２１０は、検出した音信号を含む音イベント情報を、特徴量生成部２２０へ送信する。

特徴量生成部２２０は、音イベント検出部２１０から、音イベント情報を受信する。特徴量生成部２２０は、音イベント検出部２１０が検出した音信号から、複数の特徴量を抽出する（Ｓ２０２）。特徴量生成部２２０は、抽出した複数の特徴量を示す情報を、判別部２３０へ送信する。

判別部２３０は、特徴量生成部２２０から、複数の特徴量を示す情報を受信する。判別部２３０は、判別部２３０は、音モデル記憶装置３００に格納された学習済み音モデルに、受信した複数の特徴量を連結した連結特徴量を入力する（Ｓ２０３）。判別部２３０は、学習済み音モデルから出力される音イベントの判別結果を受信する。判別部２３０は、音イベントの判別結果を、出力部２４０へ送信する。

出力部２４０は、判別部２３０から、音イベントの判別結果を受信する。出力部２４０は、音イベントの判別結果に応じた報知を行う（Ｓ２０４）。なお、報知の具体例は上述したとおりである。

以上で、音イベント判別装置２００の動作は終了する。

（本実施形態の効果）
本実施形態の構成によれば、特徴量抽出部１０は、学習データである音信号から複数の特徴量を抽出する。連結部２０は、複数の特徴量を連結して、連結特徴量を生成する。学習部３０は、生成した連結特徴量を用いて音イベントを判別するための音モデルに学習させる。こうして生成された学習済み音モデルは、連結特徴量に含まれる複数の特徴量を用いて、音イベントを判別できる。したがって、複数の特徴量を用いて、音イベントを判別可能な音モデルをより簡便に生成することができる。

〔実施形態３〕
図９を参照して、実施形態３について以下で説明する。

（ハードウェア構成について）
前記実施形態１～２で説明した音モデル生成装置１、２の各構成要素は、機能単位のブロックを示している。これらの構成要素の一部又は全部は、例えば図９に示すような情報処理装置９００により実現される。図９は、情報処理装置９００のハードウェア構成の一例を示すブロック図である。

図９に示すように、情報処理装置９００は、一例として、以下のような構成を含む。

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
前記実施形態１～２で説明した音モデル生成装置１、２の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が読み込んで実行することで実現される。各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。

（本実施形態の効果）
本実施形態の構成によれば、前記実施形態において説明した音モデル生成装置が、ハードウェアとして実現される。したがって、前記実施形態において説明した効果と同様の効果を奏することができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
学習データである音信号の複数の特徴量を連結して、連結特徴量を生成する連結手段と、
生成した前記連結特徴量を用いて、前記音信号から音イベントを判別するための音モデルに学習させる学習手段と
を備えた
音モデル生成装置。

（付記２）
前記連結手段は、前記複数の特徴量を複数のチャネルとして含む多チャネルの特徴量を、前記連結特徴量として生成する
ことを特徴とする付記１に記載の音モデル生成装置。

（付記３）
前記学習手段は、前記連結特徴量を深層学習することによって、前記音モデルに学習させる
ことを特徴とする付記１または２に記載の音モデル生成装置。

（付記４）
学習データである前記音信号から前記複数の特徴量を抽出する特徴量抽出手段をさらに備えた
ことを特徴とする付記１から３のいずれか１項に記載の音モデル生成装置。

（付記５）
前記特徴量抽出手段は、前記音信号に対し、特定の変換を行うことによって、前記複数の特徴量を抽出する
ことを特徴とする付記４に記載の音モデル生成装置。

（付記６）
前記特徴量抽出手段は、前記音信号に対し、ＳＴＦＴ（Short Time Fourier Transform）、ウェーブレット変換、またはＣＱＴ（Constant Quality Factor Transform）を実行する
ことを特徴とする付記５に記載の音モデル生成装置。

（付記７）
前記複数の特徴量は、平均振幅、パワー、パワースペクトル、対数スペクトル、メルスペクトル、ＣＱＴスペクトル、ＬＳＰ（Line Spectral Pair）スペクトル、位相スペクトル、自己相関係数列、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficients）係数列、および群遅延係数列のうち少なくともいずれかを含む
ことを特徴とする付記１から６のいずれか１項に記載の音モデル生成装置。

（付記８）
付記１から７のいずれか１項に記載の音モデル生成装置と、
学習した前記音モデルを記憶する音モデル記憶装置と、
前記音モデル記憶装置が記憶する前記音モデルを用いて、前記音イベントを判別する音イベント判別装置と
を含む
音信号処理システム。

（付記９）
音イベントを検出する音イベント検出手段と、
付記１から８のいずれか１項に記載の音モデル生成装置が生成した前記音モデルを用いて、前記音イベントを判別する判別手段と、
前記音イベントの判別結果を出力する出力手段とを備えた
音イベント判別装置。

（付記１０）
学習データである音信号の複数の特徴量を連結して、連結特徴量を生成し、
生成した前記連結特徴量を用いて、前記音信号から音イベントを判別するための音モデルに学習させること
を含む
音モデル生成方法。

（付記１１）
学習データである音信号の複数の特徴量を連結して、連結特徴量を生成すること、および
生成した前記連結特徴量を用いて、前記音信号から音イベントを判別するための音モデルに学習させること
をコンピュータに実行させるためのプログラムを格納した、一時的でない記録媒体。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、上述した実施形態は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

本発明は、例えば、屋内または街中で、人々の行動をモニタリングすること、および、機械が正常に作動しているかどうかを監視することに利用できる。また、本発明は、イヤホンまたは補聴器の過渡特性を評価することに利用できる。

１ 音モデル生成装置
２ 音モデル生成装置
１０ 特徴量抽出部
２０ 連結部
３０ 学習部
２００ 音イベント判別装置
３００ 音モデル記憶装置
１０００ 音信号処理システム

Claims (10)

1. 学習データである音信号の複数の特徴量をチャネル方向に連結して、前記複数の特徴量を複数のチャネルとして含む多チャネルの特徴量である連結特徴量を生成する連結手段と、
   生成した前記連結特徴量を用いて、前記音信号から音イベントを判別するための音モデルに学習させる学習手段と
   を備えた
   音モデル生成装置。
2. 前記複数のチャネルそれぞれは、特徴量の種別を基に設定される
   ことを特徴とする請求項１に記載の音モデル生成装置。
3. 前記学習手段は、深層学習によって、前記音モデルに前記連結特徴量を学習させる
   ことを特徴とする請求項１または２に記載の音モデル生成装置。
4. 学習データである前記音信号から前記複数の特徴量を抽出する特徴量抽出手段をさらに備えた
   ことを特徴とする請求項１から３のいずれか１項に記載の音モデル生成装置。
5. 前記特徴量抽出手段は、前記音信号に対し、特定の変換を行うことによって、前記複数の特徴量を抽出する
   ことを特徴とする請求項４に記載の音モデル生成装置。
6. 前記特徴量抽出手段は、前記音信号に対し、ＳＴＦＴ（Short Time Fourier Transform）、ウェーブレット変換、またはＣＱＴ（Constant Quality Factor Transform）を実行する
   ことを特徴とする請求項５に記載の音モデル生成装置。
7. 前記複数の特徴量は、平均振幅、パワー、パワースペクトル、対数スペクトル、メルスペクトル、ＣＱＴスペクトル、ＬＳＰ（Line Spectral Pair）スペクトル、位相スペクトル、自己相関係数列、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficients）係数列、および群遅延係数列のうち少なくともいずれかを含む
   ことを特徴とする請求項１から６のいずれか１項に記載の音モデル生成装置。
8. 請求項１から７のいずれか１項に記載の音モデル生成装置と、
   学習した前記音モデルを記憶する音モデル記憶装置と、
   前記音モデル記憶装置が記憶する前記音モデルを用いて、前記音イベントを判別する音イベント判別装置と
   を含む
   音信号処理システム。
9. 学習データである音信号の複数の特徴量をチャネル方向に連結して、前記複数の特徴量を複数のチャネルとして含む多チャネルの特徴量である連結特徴量を生成し、
   生成した前記連結特徴量を用いて、前記音信号から音イベントを判別するための音モデルに学習させること
   を含む
   音モデル生成方法。
10. 学習データである音信号の複数の特徴量をチャネル方向に連結して、前記複数の特徴量を複数のチャネルとして含む多チャネルの特徴量である連結特徴量を生成すること、および
    生成した前記連結特徴量を用いて、前記音信号から音イベントを判別するための音モデルに学習させること
    をコンピュータに実行させるためのプログラム。

Images