JP5598815B2 - 信号特徴抽出装置および信号特徴抽出方法 - Google Patents

Description

本発明は、信号特徴抽出装置および信号特徴抽出方法に関するものであり、特に音声、音響信号あるいはその他の時系列信号から特徴を抽出する信号特徴抽出装置および信号特徴抽出方法に関する。

従来、例えば音声認識や機械の故障診断等のために、音声あるいはその他の音響信号から音源を認識、識別する技術が各種提案されている。下記特許文献１にはこのような音源の識別方法の一例が開示されている。この音源の識別方法は、機械装置からの音響信号を高速フーリエ変換して周波数スペクトルを求め、次にこの周波数スペクトルに対してファジィルールによるフィルタリング処理を行うことにより、周波数スペクトルの特徴部を抽出する。

次に、この抽出されたスペクトルデータを階層型ニューラルネットワークに入力し、この階層型ニューラルネットワーク内で、上記スペクトルデータに基づき演算された演算データと予め記憶されている判断用データとを比較するとともに、この比較データを所定の評価関数により判断して音源を識別する際に、上記判断用データを入力されたスペクトルデータに応じて切り換える。

特開平８−４４６９５号公報

前記した従来の信号特徴抽出方法においては、下記のような問題点があった。
（１）信号に含まれる各周波数成分の位相情報が抽出されておらず、位相に特徴がある信号の識別精度が低かった。
（２）各周波数成分からの線形特徴を抽出しており、周波数間での関係性に注目した特徴量はほとんど提案されていない。

本発明の目的は、前記のような従来技術の問題点を解決し、音声、音響信号あるいはその他の時系列信号から高精度に特徴を抽出する信号特徴抽出装置および信号特徴抽出方法を提供することにある。

本発明の信号特徴抽出装置は、所定期間だけサンプリングされたデジタル入力信号を周波数軸に変換する複素フーリエ変換手段と、前記複素フーリエ変換手段において変換されたデータから高次局所相関特徴データを抽出する特徴抽出手段とを備えたことを主要な特徴とする。

また、前記した信号特徴抽出装置において、前記高次局所相関特徴は、時間軸および周波数軸にそって２次元に配列された多数のデータの内の１つに注目し、その注目データと予め定められたマスクパターンによって決定される近傍のデータとの相関値を算出するものである点にも特徴がある。

また、前記した信号特徴抽出装置において、前記高次局所相関特徴は、フーリエ変換手段から入力された複素データの位相情報をベクトル表現に変換するベクトル変換手段を備えている点にも特徴がある。

また、前記した信号特徴抽出装置において、複数のバンドパスフィルターからなるフィルターバンクを適用可能であり、入力されたデータに重みを乗算して加算し、出力する複数のバンドパスフィルター手段が、前記複素フーリエ変換手段と前記特徴抽出手段の間に、あるいは前記特徴抽出手段の後に配置される点にも特徴がある。

また、前記した信号特徴抽出装置において、前記フィルター手段は、入力信号を参照して、各バンドパスフィルターの帯域幅が振幅の時間平均値の周波数分布が一様になるように決定された分布平滑化フィルターである点にも特徴がある。

また、前記した信号特徴抽出装置において、前記特徴抽出手段の後にあるいは前記フィルター手段の後に振幅情報の対数変換手段が配置された点にも特徴がある。

本発明の信号特徴抽出方法は、所定期間だけサンプリングされたデジタル入力信号を周波数軸に変換する複素フーリエ変換処理を行うステップと、前記複素フーリエ変換処理において変換されたデータから高次局所相関特徴データを抽出する特徴抽出処理を行うステップとを含むことを主要な特徴とする。

本発明の信号特徴抽出装置および信号特徴抽出方法には以下のような効果がある。
（１）音声、音響信号あるいはその他の時系列信号から高精度に特徴を抽出することができ、位相に特徴がある信号の識別精度が向上する。
（２）高次局所自己相関により、周波数間の関係性を効果的に抽出することが可能となり、識別精度が向上する。

図１は本発明の信号特徴抽出装置のハードウェア構成を示すブロック図である。 図２は本発明の信号特徴抽出方法を使用した信号認識処理の内容を示すフローチャートである。 図３はフーリエ変換処理の内容を示す説明図である。 図４は本発明の特徴抽出処理において使用するマスクパターンの内容を示す説明図である。 図５は本発明のフェーズインデックスＨＬＡＣにおける量子化方法（１）を示す説明図である。 図６は本発明のフェーズインデックスＨＬＡＣにおける量子化方法（２）を示す説明図である。 図７はＭｅｌフィルターの特性例を示す説明図である。

以下に、この発明の実施の形態を実施例によって、図面に基づき詳細に説明する。なお、実施例においては音をマイクにて入力する例を開示するが、本発明はコンピューターに入力可能な任意の電気信号に適用可能である。

図１は本発明の信号特徴抽出装置のハードウェア構成を示すブロック図である。マイク１０は例えば対象物から発生する可聴音を電気信号に変換し、コンピューター１１に出力する。コンピューター１１は例えば音信号を取り込むためのインターフェイス回路（マイク入力回路：サンプリング、Ａ／Ｄ変換回路）を備えた周知のパソコン（ＰＣ）であってもよい。本発明は、パソコンなどの周知の任意のコンピューター１１に後述する処理を実行するプログラムを作成、インストールすることにより実現される。

モニタ装置１２はコンピューター１１の周知の出力装置であり、例えば対象物が発する音の種別などの認識結果等をオペレータに表示するために使用される。キーボード１３およびマウス１４は、オペレータが入力に使用する周知の入力装置である。

図２（ａ）は本発明の信号特徴抽出方法を使用した信号認識処理（１）の内容を示すフローチャートである。Ｓ１０においては、マイク１０から入力されたアナログ信号が所定の周期でサンプリングされ、Ａ／Ｄ変換されたデジタル信号データから、移動する時間窓を用いた公知の複素フーリエ変換処理を行う。

図３はフーリエ変換処理の内容を示す説明図である。マイク１０から入力されたアナログ信号は所定の周期（例えば５０μ秒（サンプリング周波数２０ｋＨｚ））でサンプリングされ、Ａ／Ｄ変換されて、一旦保存される。このデジタル信号データは所定の長さ（例えば数秒）の時間窓を用いて切り出され、公知の短時間複素フーリエ変換処理によって、下記の数式１に示す周波数軸上の複数の離散複素数値Ｆに変換される。なお、Ａはその周波数成分の振幅、θは位相を表している。

時間窓は１〜複数サンプリング周期毎に移動され、所定の期間（例えば数十秒）だけフーリエ変換処理が行われる。この結果、図３右側に示すような、時間軸および周波数軸にそって配列された多数の複素数データＦが得られる。

Ｓ１１においては、特徴抽出処理として、（１）フーリエＨＬＡＣ（Fourier HLAC、以下ＦＨＬＡＣと記す）、（２）フェーズインデックスＨＬＡＣ（Phase
Index HLAC、以下ＰＨＬＡＣ）と記す）のいずれか１つの特徴データを算出する。

（１）ＦＨＬＡＣ：
ＦＨＬＡＣは本発明者が発明したフーリエ高次局所自己相関特徴である。まず、図３右側に示された時間軸および周波数軸にそって配列された多数の複素数データＦの内の１つに注目し、その注目複素数データと予め定められたマスクパターンによって決定される近傍の複素数データとの相関値を算出する。この処理を全てのマスクパターンについて実行することによって、１つの注目複素数データに関して、マスクパターンの数と等しい複数の複素数データＸの集合からなる特徴データが得られる。

図４は本発明の特徴抽出処理において使用するマスクパターンの内容を示す説明図である。マスクパターンの決定においては注目データを中心とする３×３の正方形の内部に限定し、中心の注目データは必ず１回以上選択されるものとする。また、上下左右および斜め方向に並行移動して重なるマスクパターンは注目データを移動させれば重複するので１つを残して他を削除する。

この重複排除の結果、中心および他の１点を選択する１次のマスクパターンが（１）〜（４）の４種類、中心および他の２点を選択する２次のマスクパターンが（１）〜（２０）の２０種類残る。また、中心を２回選択する1次のマスクパターン（５）が１種類、中心を２回および他の１点を選択する２次のマスクパターン（２１）〜（２８）が８種類、中心を３回選択する２次のマスクパターン（２９）が１種類存在する。
マスクパターンの黒丸●のある位置の複素数データ同士の相関値が算出される。同じ位置に２個以上の黒丸●があるときは、その値が２個以上あると考えて他と同様に相関を取る（自分自身を２回以上かける）。なお、特徴データの抽出には１次あるいは２次マスクの一方のみを使用してもよいし、１次および２次マスクの双方を使用してもよい。

１次および２次のマスクパターンを用いた１次および２次相関の演算式を下記の数式２、３に示す。演算においては一方の複素数の虚数の正負を反転させる複素共役をとっており、（Ｆの上部のバーで表現）相関値も複素数である。１次相関値の位相情報はその周波数成分の位相の１次微分情報を示しており、２次相関値の位相情報はその周波数成分の位相の２次微分情報を示している。
なお、図４のパターン（５）、（２９）など、自分自身のみのマスクパターンの場合には、実数値の特徴が得られ、これは従来のパワースペクトル特徴に一致する。

なお、上記数式２、３においては複数の振幅Ａを乗算しているが、演算は乗算以外に、＊（内積）、ｍｉｎ（Ａ，Ｂ）（Ａ、Ｂの小さい方）などであってもよい。従って、演算を任意の関数ｆとすれば以下の数式４、５のように表現できる。

注目複素数データを周波数軸および時間軸方向に走査（スキャン）して全ての複素数データＦについて上記の処理を行って複素数データＸの集合を求めたものがＦＨＬＡＣである。

（２）ＰＨＬＡＣ：
ＰＨＬＡＣはやはり本発明者が発明したフーリエ高次局所自己相関特徴である。図３右側に示された時間軸および周波数軸にそって２次元に配列された多数の複素数データＦの１つに注目し、その注目複素数データと予め定められたマスクパターンによって決定される近傍の複素数データとの相関値を算出する。この際、各複素数データについて位相情報を量子化表現（ベクトル表現）に変換してから相関をとる。
なお、ＰＨＬＡＣにおいては、自分自身を２回以上選択する相関（図４のマスクパターン（５）、（２１）〜（２９））はとらない。

図５は本発明のＰＨＬＡＣ（フェーズインデックスＨＬＡＣ）における量子化方法（１）を示す説明図である。前記した数式１の複素数Ｆを複素平面上で表すと、図５左側に示すように表すことができる。ここで、位相θは、それぞれが均等な角度だけ他と方向が異なる複数（図５では８個）の基準方向（１〜８）の内、複素数Ｆを挟む２個の基準方向の重み付け和によって表すことができる。

例えば図５に示す複素数Ｆの場合には、θがベクトル２と３のちょうど中間にあるので、ベクトル２とベクトル３の重みがそれぞれ０．５、他の重みは０である８個の実数によって表すことができる。そこでこの８個の重み値を８次元のベクトルｈとすると、複素数Ｆは以下の数式６のように表わされる。

ここで、数式６の表現を使用し、前記した１次および２次のマスクパターンを用いた１次および２次相関の演算式を下記の数式７、８に示す。なお、関数ｆは前記したものと同一である。

演算は数式７においてはベクトルの外積（outer-product）となり、数式８においてはテンソル積となる。数式７の１つのマスクパターンと対応する１次相関特徴は８×８個の実数値からなるベクトル、数式８の１つのマスクパターンと対応する２次相関特徴は８×８×８個の実数値からなるベクトルとなる。

次に、ＰＨＬＡＣの変形例について説明する。上記したＰＨＬＡＣにおいては位相θを８次元のベクトルｈによる量子化表現に変換する例を開示したが、数式４あるいは５に示す複素数データＸの位相差分情報をベクトルｈを用いた量子化表現に変換することも可能である。

下記の数式９においては数式４の位相差分情報を８次元のベクトルｈによる量子化表現に変換している。また、下記の数式１０においては数式５の位相情報を２つの位相差分情報の和に変形し、２個の８次元のベクトルｈの積による量子化表現に変換している。数式９、１０においては数式４、５よりも次元が低下し、データ量が減少している。

次に、ＰＨＬＡＣの他の変形例について説明する。上記したＰＨＬＡＣにおいては位相情報θを量子化表現に変換する例を開示したが、この変形例は位相情報の代わりに位相の周波数微分値である群遅延あるいは位相の時間微分値である瞬時周波数を用いる。

図６は本発明のフェーズインデックスＨＬＡＣにおいて、位相情報の代わりに群遅延あるいは瞬時周波数を用いる場合の量子化方法を示す説明図である。群遅延あるいは瞬時周波数は周期性のない値であるので、最小値と最大値の間を複数の区間に分割し、量子化する。

群遅延あるいは瞬時周波数の値（θハット）は、複数（図６では８個）の基準値（１〜８）の内、群遅延あるいは瞬時周波数の値（θハット）を挟む２個の基準値の重み付け和によって表すことができる。そこでこの８個の重み値を上述した８次元のベクトルｈとする。以下は前述した処理と同一である。最小値、最大値、区間の分け方は学習データ（入力信号データ）から決定してもよいし、事前にパラメータとして与えてもよい。

Ｓ１２においてはフィルター処理として（１）分布平滑化フィルター処理、（２）Ｍｅｌフィルター処理のいずれかを行う。フィルター処理においては、複数のバンドパスフィルター機能を使用して下記の数式１１に示す演算が行われる。各バンドパスフィルターは入力されたデータに重みを乗算して加算（積算、合算）し、出力する。なお、ｗはフィルターの重みである。この結果、特徴データＸの周波数方向のデータ数がフィルターの数に減少する。

Ｍｅｌフィルター処理：
図７はＭｅｌフィルターの特性例を示す説明図である。公知のＭｅｌフィルターは、複数のバンドパスフィルターからなるフィルターバンクである。各フィルターの特性は図７に示すような３角形の形をしており、それぞれのフィルターの重みを積分した値は同一となっている。

各フィルターの中心周波数の間隔は周波数が高くなるほど広くなっており、周波数軸を対数スケールで表わした場合に、Ｍｅｌフィルターの各フィルターの中心周波数は等間隔に配置されている。また、各フィルターの帯域幅も同じ幅になる。

分布平滑化フィルター処理：
前記したＭｅｌフィルターは各バンドパスフィルターの中心周波数が対数スケールにおいて等間隔に配置されているが、信号によってはこれが最適な配置とは限らない。そこで、本発明者は以下に示す分布平滑化フィルターを発明した。この分布平滑化フィルターにおいては、Ｍｅｌフィルターと同様に複数のバンドパスフィルターからなるフィルターバンクを用いる。

分布平滑化フィルターの各バンドパスフィルターの帯域幅は、入力信号の特性に合わせて以下のように決定される。まず、下記の数式１２によって、複素数データＦの振幅ＡからＨ、ｑを求める。Ｈは周波数ｋのヒストグラム値（＝振幅の時間平均値）であり、ｑは周波数軸におけるＨの累積分布関数となる。また、ｇは任意の関数であり、対数（ｌｏｇ）関数あるいは閾値をもつステップ関数などでもよい。

このｑは、周波数ｋが増加するに従って０から１まで単調増加する関数である。このｑによって周波数軸を変換すると、振幅の小さい帯域は狭くなり、振幅の大きな帯域は広くなるので、変換された周波数軸を均等に区切ると、各区間における振幅の加算値が同一（一様分布）になるような新たな周波数軸が得られる。この新たな周波数軸上で均等な重みとなる、即ち、各バンドパスフィルターの中心周波数の間隔が均等であり、かつフィルター特性の形状も同一となるようなフィルター群を構成する。

具体的には、例えばこのｑの値を均等に分割する点（例えば１０等分であれば、０、０．１、０．２…０．９、１．０）の周波数を求め、この周波数を各バンドパスフィルターの境界の周波数あるいは中心周波数とする。
フィルターをこのように構成すれば、入力信号の特性に合わせて、振幅の大きな帯域はバンドパスフィルターの帯域幅が狭くなり、特徴を細かく抽出することができる。従って、認識、識別精度が向上する。

Ｓ１３においては、必要に応じて振幅Ａについて対数変換を行う。この処理によって例えば大きな雑音の影響を抑制することができる。

Ｓ１４においては、抽出された特徴データに基づき、公知の認識、識別処理が行われる。例えばｘiを時間窓を用いて得られた学習用の特徴ベクトル群であるとすると、ｘiに対して主成分分析（フーリエＨＬＡＣの場合には複素固有値問題になる。）を行うことによって、学習データに頻繁に含まれる（正常な）特徴ベクトルの張る空間Ｖが求まる。そして、入力特徴ベクトルをｘとするとき、以下に示す数式１３によってｄ²を求め、この値の大小によって異音かどうか、即ち故障か否かを判定する。

図２（ｂ）は本発明の信号特徴抽出方法を使用した信号認識処理の実施例２の内容を示すフローチャートである。前述した実施例1においてはＳ１１の特徴抽出処理を行った後にＳ１２のフィルター処理を行う例を開示したが、実施例２は、実施例１のＳ１１とＳ１２の実行順序を入れ替えてＳ１６（＝Ｓ１２）、Ｓ１７（＝Ｓ１１）としたものである。その他の処理は実施例１と同一である。実施例２においてはフィルター処理によってデータ量が減少するので、特徴抽出処理の負荷が軽減され、全体の処理速度が向上する。

以上実施例を説明したが、本発明の装置には更に以下のような変形例も考えられる。実施例においてはＡ／Ｄ変換後に一旦保存し、オフライン処理を行う例を開示したが、処理速度が間に合えばリアルタイムで処理してもよい。

本発明は音声その他の音響信号を初め、コンピューターに入力可能な任意の信号の認識、識別、機械の故障等による異音検出に適用可能である。

１０…マイク
１１…コンピューター
１２…モニタ装置
１３…キーボード
１４…マウス

Claims (5)

1. 所定期間だけサンプリングされたデジタル入力信号を周波数軸に変換する複素フーリエ変換手段と、
   前記複素フーリエ変換手段から入力された複素データの位相情報、位相情報の周波数微分値である群遅延情報、位相情報の時間微分値である瞬時周波数情報のいずれかをベクトル表現に変換するベクトル変換手段と、
   それぞれのデータが前記複素フーリエ変換手段において変換された振幅情報および前記ベクトル変換手段において変換された位相に関連するベクトルの積からなり、時間軸および周波数軸にそって２次元に配列された多数のデータの内の１つに注目し、その注目データと予め定められたマスクパターンによって決定される近傍のデータとの相関値を算出することにより高次局所相関特徴データを抽出する特徴抽出手段と
   を備えたことを特徴とする信号特徴抽出装置。
2. 前記ベクトル変換手段は、複素データの位相を、それぞれが均等な角度だけ他と方向が異なる複数の基準方向の内で、複素数を挟む２個の基準方向と対応する値の重み付け和によってベクトルを表すことを特徴とする請求項１に記載の特徴抽出装置。
3. 複数のバンドパスフィルターからなるフィルターバンクであり、各バンドパスフィルターは入力されたデータに重みを乗算して加算し、出力するフィルター手段が、前記複素フーリエ変換手段と前記特徴抽出手段の間に、あるいは前記特徴抽出手段の後に配置されていることを特徴とする請求項１に記載の特徴抽出装置。
4. 前記特徴抽出手段の後に、あるいは前記フィルター手段の後に振幅情報の対数変換手段が配置されたことを特徴とする請求項３に記載の特徴抽出装置。
5. 所定期間だけサンプリングされたデジタル入力信号を周波数軸に変換する複素フーリエ変換処理を行うステップと、
   前記複素フーリエ変換処理から入力された複素データの位相情報、位相情報の周波数微分値である群遅延情報、位相情報の時間微分値である瞬時周波数情報のいずれかをベクトル表現に変換するベクトル変換処理を行うステップと、
   それぞれのデータが前記複素フーリエ変換処理において変換された振幅情報および前記ベクトル変換処理において変換された位相に関連するベクトルの積からなり、時間軸および周波数軸にそって２次元に配列された多数のデータの内の１つに注目し、その注目データと予め定められたマスクパターンによって決定される近傍のデータとの相関値を算出することにより高次局所相関特徴データを抽出する特徴抽出処理を行うステップと
   を含むことを特徴とする信号特徴抽出方法。
   

Images