JP5131863B2 - Ｈｌａｃ特徴量抽出方法、異常検出方法及び装置 - Google Patents

Description

本発明は、音響信号、加速度信号、電流・電圧、気温、気圧などの観測信号、その他、心電図、地震波など様々な１次元信号から、異常検出、特定信号の認識や検索又は計数などの処理に効果的な高次局所自己相関(ＨＬＡＣ)特徴量抽出方法、異常検出方法及び装置に関する。

高次局所自己相関(ＨＬＡＣ)を用いて動画像から特徴を抽出し、異常動作の検出や異常対象の実時間追跡を行う先行技術（特許文献１〜３参照）が既に提案されている。
また、音声信号を短時間フーリエ変換することで時間−周波数領域に変換し、２次元濃淡(2D-Gray)ＨＬＡＣ特徴量やCubic-ＨＬＡＣ(ＣＨＬＡＣ)特徴量を抽出する手法（非特許文献１〜２参照）、１次元信号からＨＬＡＣ特徴量を抽出する先行技術（特許文献４〜５参照）などの提案も既に見られる。

例えば、音響信号などからＨＬＡＣ特徴量を抽出する試みとして、非特許文献１〜２で述べられている手法が既に提案されている。これらの手法は、音響信号を時間−周波数平面に写像し、周波数軸に沿って２次元局所マスクパターンを移動させてＨＬＡＣを累積している。このため、得られるＨＬＡＣ特徴量には、隣接帯域間の相互相関に基づいた局所的周波数特徴は抽出されているが、スペクトル包絡のような大局的周波数情報が欠落している。このようなＨＬＡＣ特徴量を音認識に用いた場合、高い認識精度は期待できない。

特許文献５ではこのような問題を解決するために、センサの出力信号を短時間フーリエ変換、コサイン変換、ウェーブレット変換、瞬時周波数変換又はフィルタバンクなどに通して複数の帯域信号に分割した後、各帯域信号から１次元濃淡(1D-Gray)ＨＬＡＣを求め、最後に全帯域分の1D-GrayＨＬＡＣを結合して特徴量を生成している。帯域信号毎にＨＬＡＣ特徴量を求めて最後に統合しているので、局所的周波数情報だけでなく大局的周波数情報も保存される。
しかし、各帯域信号から求める1D-GrayＨＬＡＣや、その他のＨＬＡＣ、ＣＨＬＡＣも、入力信号の振幅をｓ倍した場合、特徴量の０次項はｓ倍、１次項はｓの２乗倍、そして２次項はｓの３乗倍と次数間で異なり、特徴量全体として非線形な影響を受けるため、振幅スケーリングに関して線形性が成立していない。このため、これらＨＬＡＣに基づいた特徴量では、同じ音響信号でも振幅を増減すると、同じ音源の音響信号と判別できなくなるという問題が生じる。

音響信号を対象とした異音検出や音響監視などのアプリケーションにおいて、特に考慮しなければならないもう１つの問題は、監視対象音源が複数存在して互いに干渉したり、又は背景雑音など妨害音が干渉したりすることである。このような複数音源が同時に発生し互いに干渉するような場合にでも、異音検出や音響監視などのアプリケーションを構築しやすくするためには、ＨＬＡＣ特徴量が複数音源の同時発生に関して加法性が成立する必要がある。
加法性とは、複数音源が同時発生している音響信号から抽出したＨＬＡＣ特徴量が、各音源単体の音響信号から抽出したＨＬＡＣ特徴量の和として表現できるという意味である。１次元信号から直接ＨＬＡＣ特徴量を求める場合、１次や２次など高次項を含むので、明らかに加法性は成立しない。

特許文献５の手法は、１次元信号の各帯域分割信号から1D-GrayＨＬＡＣ特徴量を抽出し、最後に統合している。このため異なる分割帯域に周波数成分が分布している音源が混合する場合は加法性が成立するが、同じ分割帯域内で異なる音源の周波数成分が混合する場合に加法性は成立しない。

またＨＬＡＣ特徴量を用いた異常検出手法では、通常状態の観測信号から求めたＨＬＡＣ特徴量を主成分分析（PCA）することで予め通常部分空間を求め、監視時の観測信号から求めたＨＬＡＣ特徴量が通常部分空間からどの程度逸脱しているかを表わす逸脱距離を求めて、異常検出を行っている。
この従来法では、全次元を含めたＨＬＡＣ特徴量を用いて逸脱距離を算出しているが、一般的に次数が高くなるにつれてＨＬＡＣ特徴量の値は大きくなるため、算出される逸脱距離はＨＬＡＣ特徴量の高次項で支配されるという問題がある。特に、１次元の観測信号から直接ＨＬＡＣ特徴量を求める場合、この問題が顕著となる。

特開２００５−０９２３４６号公報 特開２００６―０７９２７２号公報 特開２００６−１６３４５２号公報 特開２００８−２５７０８４号公報 特開２００８−１８５８４５号公報

音講論「フィッシャー重みマップを利用した高次局所自己相関特徴による音素認識」加藤俊祐，滝口哲也，有木康雄: 日本音響学会平成17年度秋季研究発表会，1-P-10，pp.171-172，2005-09 「立体高次局所自己相関特徴を用いたプリンタの異音検出」近江泰志、田口亮、梅崎太造、第15回画像センシングシンポジウム、pp.IS1-04-1 - IS1-04-5

本発明は、以上のような状況に鑑み、線形性及び加法性に優れたＨＬＡＣ特徴量の抽出及び異常検出を可能とすることを課題とする。

上記課題を解決するために本発明は、次のような手段を提供する。
（１）１次元信号を時間−周波数平面に写像するステップ、その時間軸及び周波数軸を分割して区分けされたブロック毎に、その領域内で２次元局所マスクパターンを移動させてＨＬＡＣを累積するステップ及び周波数軸に沿って並ぶブロックから求めたＨＬＡＣ特徴量から各次数項を抜き出して結合するステップを含むＨＬＡＣ特徴量の抽出方法。
（２）上記（１）に記載のＨＬＡＣ特徴量の抽出方法にしたがって次数毎にまとめた通常時２次元濃淡ＨＬＡＣ特徴量の通常部分を予め求めておくステップ、検出時に次数毎に通常部分空間からの逸脱距離を算出するステップ、及び各次数の逸脱距離を統合するステップを含むＨＬＡＣ特徴量の抽出方法。
（３）上記（１）に記載のＨＬＡＣ特徴量の抽出方法にしたがって次数毎にまとめた通常時２次元濃淡ＨＬＡＣ特徴量の通常部分を予め求めておくステップ、検出時に次数毎に通常部分空間からの逸脱距離を算出するステップ、及び各次数の逸脱距離を統合するステップを含む異常検出方法。
（４）上記逸脱距離を統合するステップは、各次数の逸脱距離の２乗を加算しその和の平方根を求めるステップであることを特徴とする（３）に記載の異常検出方法。
（５）上記逸脱距離を統合するステップは、規格化した各次数の逸脱距離の２乗を加算しその和の平方根を求めるステップであることを特徴とする（３）に記載の異常検出方法。
（６）上記（１）又は（２）に記載の抽出方法を実施するためのＨＬＡＣ特徴量抽出装置。
（７）上記（３）ないし（５）のいずれかに記載の方法を実施するための異常検出装置。

本発明によれば、線形性及び加法性に優れたＨＬＡＣ特徴量抽出方法、異常検出方法及び装置が得られる。

マイクからの出力信号（音声）に、窓シフトさせながらフレームを切り出し、各フレームのFFTを計算して周波数ビンの絶対値を求めて、時間−周波数平面上に濃淡表示した図 次数毎にまとめた通常時ＨＬＡＣ特徴量の通常部分空間 ＨＬＡＣ特徴量の計算手順 通常・異常を判断する手順 ３台の回転機器が通常に動作している時の動作音（図中、上の波形）から、前述の手続きにより統合逸脱距離（図中、下の波形）を求めた結果図 ３台の内の１つの回転機器に異物を挿入し、回転の度に異物と接触して異常音が発生するようにしたときの動作音から統合逸脱距離を求めた結果図 ３台の内の１つの回転機器の回転数に揺らぎを持たせたときの動作音から統合逸脱距離を求めた結果図 ３台の内の１つの回転機器に軽いおもりを貼り付け、回転バランスを崩したときの動作音から統合逸脱距離を求めた結果図

本発明は、１次元信号を時間−周波数（スケール）平面に写像し、その時間軸及び周波数軸を分割して区分けされたブロック毎に、その領域内で２次元局所マスクパターンを移動させてＨＬＡＣを累積する。そして、周波数軸に沿って並ぶブロックから求めたＨＬＡＣ特徴量から各次数項を抜き出して結合することで、次数毎にまとめた新たなＨＬＡＣ特徴量を生成する。次数毎にまとめたＨＬＡＣ特徴量は、１次元信号の振幅スケーリングに関して、線形性を有している。
更に、本発明は、通常時の１次元信号のＨＬＡＣ特徴量から、次数毎にPCAで通常部分空間を求めておき、監視時に観測された１次元信号のＨＬＡＣ特徴量の通常部分空間からの逸脱距離を次数毎に求めて最後に統合することで、振幅スケーリングに関して同一信号と判別可能な逸脱距離の評価法を実現している。

以下本発明について詳細に説明する。
センサ出力信号を、短時間フーリエ変換、コサイン変換、ウェーブレット変換、瞬時周波数変換、フィルタバンクなどにより、時間−周波数（スケール）平面へ写像する。離散コサイン変換や実関数ウェーブレット変換(WT)、瞬時周波数変換、フィルタバンクなど変換値が実数になる場合は、その変換値から直接ＨＬＡＣを求める。離散フーリエ変換(DFT)や複素関数ウェーブレット変換を用いる場合は、変換値の絶対値又はその自乗を求め、実数にする。
複素ＨＬＡＣを求める場合は、特に位相に関して、時間軸上で隣接する変換値間で差分を求めるなど相対量として扱う必要がある。
図１に、マイクからの出力信号（音声）に、窓シフトさせながらフレームを切り出し、各フレームのFFTを計算して周波数ビンの絶対値を求めて、時間−周波数平面上に濃淡表示した図を示す。

図１に示したように、音声などを時間−周波数平面に写像すると、その周波数成分は一部の領域に偏って存在している。また、声帯振動を伴った有声音の区間が長い音声信号など、疑似周期的に変化している信号は、基本周波数成分の整数倍の周波数成分で構成される。このように、時間−周波数平面上で周波数成分が疎らに存在するスパース性を持つ信号が混合する場合、時間−周波数平面上でのパターンが歪を受ける箇所は多くない。

例えば、二人が同時に発声した混合音声で、それぞれの基本周波数が異なっていれば、それぞれの音声に属する周波数成分の軌跡が時間−周波数平面上で交差する箇所は多くない。そのような表現から局所パターンの数え上げであるＨＬＡＣ特徴量を求めれば、周波数成分の軌跡が交差する箇所の局所パターンが影響を受ける以外は、それぞれの音声が単体で発声された時のパターンと大差ないため、疑似的に加法性が成立する可能性がある。
加法性を疑似的にでも高精度に成立させるためには、時間−周波数平面に写像する際に、出来るだけ音響信号のスパース性を引き出せるような表現方法を選択することが重要となる。フレーム切り出しに用いる窓間数とその時間幅の選択や、より高い周波数分解能が得られる瞬時周波数を用いた表現などを用いるとより高い効果が得られる。

時間−周波数平面上を、更に小さいブロックに分割する。図１の例では、時間軸及び周波数軸それぞれ一定の間隔で分割している。この例では、隣接するブロック間で重複する領域がないように、分割しているが、必要に応じて隣接ブロックを重複させることも可能である。分割する時間幅や周波数帯域幅は、分析対象に最適な値を選ぶ。
周波数軸に沿った分割は、図のような等帯域分割だけでなく、音声認識で一般的に用いられているメル周波数軸に相当するような、非線形な帯域分割も有効である。図１の例では、8kHzの帯域を８つの等帯域に分割しているので、１ブロックの帯域幅は1kHzとなっている。

時間−周波数平面上の各ブロック内で２次元局所マスクパターン（図３）を移動させながらＨＬＡＣを累積する。例えば、3×3の濃淡マスクを用いてＨＬＡＣを算出する。この場合、各ブロックで35次元のＨＬＡＣ特徴量が生成される。
このように時間軸だけでなく周波数軸も分割したブロック毎に２次元局所パターンを用いてＨＬＡＣ特徴量を抽出することで、時間情報と隣接帯域間の相互相関に基づいた局所的周波数特徴に加えて、大局的周波数情報を保持したＨＬＡＣ特徴量の抽出が可能になる。

各ブロックから抽出した35次元のＨＬＡＣ特徴量を、周波数軸に沿って並んだブロック毎に結合する。図１の例では、各時間間隔で縦に並んだ８つのブロックから抽出したＨＬＡＣ特徴量を結合することで、計280次元（＝35次元×８ブロック）のＨＬＡＣ特徴量を生成する。更に、統合したＨＬＡＣ特徴量から各次数の項を抜き出し、次数毎にまとめる。
各ブロックから抽出した35次元のＨＬＡＣ特徴量には、０次項が１次元、１次項が５次元、そして２次項が29次元含まれているので、統合したＨＬＡＣ特徴量から０次項だけをまとめたＨＬＡＣ特徴量は８次元（＝１次元×８ブロック）、２次項だけをまとめたＨＬＡＣ特徴量は40次元（＝５次元×８ブロック）、そして３次項だけをまとめたＨＬＡＣ特徴量は232次元（＝29次元×８ブロック）となる。

従来のＨＬＡＣ特徴量を用いた異常検出方法では、通常時の観測信号からＨＬＡＣ特徴量（全次元項を含む）から主成分分析(PCA)により通常部分空間を予め求めておき、検査時の観測信号から求めたＨＬＡＣ特徴量（全次元項を含む）の通常部分空間からの逸脱距離を求めていた。
しかし、従来法では、同じ信号でも振幅をスケーリングすると、ＨＬＡＣ特徴量が非線形に変化するため通常部分空間から逸脱し、異常と判断される可能性がある。振幅レベルが変化した場合を異常として検出したいアプリケーションでは、これは問題にならないが、特に音響信号など、音源自身の音量や、音源とマイクの相対的な位置関係などにより振幅が容易に変化してしまうような信号を監視対象とするようなアプリケーションでは、問題となる。

一方、次数毎にまとめたＨＬＡＣ特徴量は、観測信号の振幅スケーリングに対して線形となる。
本発明では、この点に着目し、図２に示すように、次数毎にまとめた通常時ＨＬＡＣ特徴量の通常部分空間を予め求めておき、検出時には次数毎に通常部分空間からの逸脱距離を求めて、最後に各次数の逸脱距離を統合することにより、振幅スケーリングに関する線形性を成立させている。

また、一般的に次数が高くなるにつれてＨＬＡＣの値は非常に大きくなるため、全次元を含んだＨＬＡＣ特徴量を用いてPCAなどを行う場合、演算精度上の問題が生じる。一方、発明法は、値のオーダが揃った次数毎のＨＬＡＣ特徴量に対してPCAなどの演算を行うため、精度上の問題が生じにくくなる。

本発明による逸脱距離の算出法は以下のようになる。
時間−周波数平面上のブロック（時間インデックスt、周波数インデックスbとする）から求めたＨＬＡＣ特徴量を、その最高次数をKとして、次式で表す。式中、各次数項を１つのベクトルとして表している。

図１の例では、各ブロックから求められたＨＬＡＣ特徴量の上部の要素が０次項、の中部の要素が１次項、そして下部の要素が２次項を表している。
次に、周波数軸に沿ったB個のブロックから抽出したＨＬＡＣ特徴量の各次数の要素を結合して、新たなＨＬＡＣ特徴量を生成する。

例えば、図１の場合、周波数軸に沿った８個のブロックから新たなＨＬＡＣ特徴量を生成している。
通常時の観測信号から［数２］のＨＬＡＣ特徴量を求め、PCAで次数毎に主成分ベクトルを求める。式中、主成分ベクトルは固有値の大きい順に並んでいるとする。また、各次数の主成分ベクトルの個数（N0,N1,・・・,Nk）は、累積寄与率により求める。

次に、監視時の観測信号から［数２］によりＨＬＡＣ特徴量を求め、その通常部分空間からの逸脱距離を次数毎に求める。

次数毎に求めた逸脱距離の統合法として、次のようなものが挙げられる。
（統合法・１）

逸脱距離が高次項で支配されてしまうという問題を回避するために、次数毎に距離を正規化する統合法として、以下の［数６］に基づく統合法・２及び［数７］に基づく統合法・３がある。

但し、微小なε>0を用いて次式の条件を設ける。

以上の逸脱距離算出法は、１次元観測信号から直接求めたＨＬＡＣ特徴量にも適用可能である。

回転機器３台を並べてその動作音を監視するシステムを例に、本発明の実施形態について、図３と図４のフローチャートに基づいて詳細に説明する。
回転機器動作音監視システムは、大きく分けて、
１．通常動作音のＨＬＡＣ特徴量からの通常部分空間を学習、
２．観測動作音のＨＬＡＣ特徴量から算出した逸脱距離に基づき通常・異常を判断
の２つの手続きからなる。
何れの手続きもＨＬＡＣ特徴量は図３に示す手順で計算する。以下に説明を加える。

回転機器３台が通常状態で同時に回転している動作音をマイクで受音し、マイクアンプなどを通して増幅されたアナログ信号を取り込み、A/Dコンバータでディジタル信号に変換する。そして短時間 FFTにより１次元音響信号を時間−周波数平面へ写像する。本実施例では、アナログ信号のサンプリング周波数は16kHzとして、64msのハミング（Hamming）窓を、16ms間隔でシフトしながらフレームに切り出す。
次に、各フレームのFFTを計算し、FFT周波数ビンの絶対値を求めて、時間−周波数平面への写像を行った。時間軸は、１ブロックあたり３フレームで、隣接するブロックと２フレーム重なるように、ブロック化する。周波数軸は、8kHzの帯域を、隣接ブロックと重なりがないように、16帯域に等分割し、ブロック化する。ブロック毎に、３×３の２次元濃淡局所マスクパターンを用いて、０次項から２次項まで合わせて35次元のＨＬＡＣ特徴量を計算する。

次に、周波数軸に沿って並ぶ16ブロックから求めたＨＬＡＣ特徴量を、次数項毎にまとめる。本実施例の場合、０次項ＨＬＡＣは16次元（=１次元×16ブロック）、１次項は80次元（＝５次元×16ブロック）、２次項は464次元（＝29次元×16ブロック）となる。このＨＬＡＣ特徴量が、時間軸上の１ブロック毎に生成される。
本実施例の場合、時間軸上の１ブロックは幅３フレームで、隣り合うブロックとは２フレーム重なるため、１フレーム毎に１つのＨＬＡＣ特徴量が生成されることになる。

次に、図４（左）に示した、通常動作音のＨＬＡＣ特徴量から通常部分空間を学習する手続きについて説明する。
通常動作音から前述の手続きにより抽出した次数毎のＨＬＡＣ特徴量を主成分分析することで、主成分ベクトルと固有値を求める。固有値の大きい方から累積寄与率を求め、その累積寄与率が99.9999%以上となる最小の次元数を求める。選択された固有値に対応する主成分ベクトルが、通常部分空間を張る基底ベクトルとなる。以上の手続きを、０次項ＨＬＡＣから２次項ＨＬＡＣまでのそれぞれを対象に実行し、各次数で求めた次元数と選択された主成分ベクトルを記録する。

最後に、図４（右）に示した、観測動作音のＨＬＡＣ特徴量から算出した逸脱距離に基づき通常・異常を判断する手続きについて説明する。
観測動作音から前述の手続きにより抽出した次数毎のＨＬＡＣ特徴量と、前述の通常部分空間学習手続きにより求めた次数毎の次元数と主成分ベクトルを用いて、次数毎に通常部分空間からの逸脱距離を求める［数４］。そして、次数毎に求めた逸脱距離を統合法・１［数５］により統合する。
この統合逸脱距離が閾値未満であれば通常状態と判断し、閾値以上であれば異常状態と判断する。

図５は３台の回転機器が通常に動作している時の動作音（図中、上の波形）から、前述の手続きにより統合逸脱距離（図中、下の波形）を求めた結果を示している。
図６は、３台の内の１つの回転機器に異物を挿入し、回転の度に異物と接触して異常音が発生するようにしたときの動作音から統合逸脱距離を求めた結果を示している。
図７は３台の内の１つの回転機器の回転数に揺らぎを持たせたときの動作音から統合逸脱距離を求めた結果を示している。
図８は３台の内の１つの回転機器に軽いおもりを貼り付け、回転バランスを崩したときの動作音から統合逸脱距離を求めた結果を示している。
以上のように、図６から図８は、何らかの異常が発生している状態の動作音を分析した結果で、何れも求められた統合逸脱距離は、図５に示した通常音から求めた逸脱距離と比べて、大きな値を示している。従って、これらの統合逸脱距離から、異常状態の発生を検出することは容易である。

Claims (6)

1. １次元信号のＨＬＡＣ特徴量の抽出方法であって、
   １次元信号を時間−周波数平面に写像するステップ、その時間軸及び周波数軸を分割し
   て区分けされたブロック毎に、その領域内で２次元局所マスクパターンの濃淡マスクを移動させてＨＬＡＣを累積するステップ及び周波数軸に沿って並ぶブロックから求めたＨＬＡＣ特徴量から前記濃淡マスクの各次数項を抜き出して次数毎に結合し、次数毎にまとめた新たなＨＬＡＣ特徴量を生成するステップを含むことを特徴とする１次元信号のＨＬＡＣ特徴量の抽出方法。
2. 請求項１に記載のＨＬＡＣ特徴量の抽出方法にしたがって次数毎にまとめた通常時２次元濃淡ＨＬＡＣ特徴量の通常部分空間を予め求めておくステップ、異常検出時に前記ＨＬＡＣ特徴量の抽出方法にしたがって次数毎にまとめた異常検出時２次元濃淡ＨＬＡＣ特徴量と前記通常部分空間からの逸脱距離を次数毎に算出するステップ、及び各次数の逸脱距離を統合するステップを含む１次元信号の異常検出方法。
3. 上記逸脱距離を統合するステップは、各次数の逸脱距離の２乗を加算しその和の平方根
   を求めるステップであることを特徴とする請求項２に記載の１次元信号の異常検出方法。
4. 上記逸脱距離を統合するステップは、各次数の逸脱距離の２乗を正規化して加算しその
   和の平方根を求めるステップであることを特徴とする請求項２に記載の１次元信号の異常検出方法。
5. 請求項１記載の抽出方法を実施するためのＨＬＡＣ特徴量抽出装置。
6. 請求項２ないし４のいずれか１項に記載の方法を実施するための１次元信号の異常検出装置。