JP4840819B2 - １次元信号の２値化によるｈｌａｃ特徴量抽出方法および特徴量抽出装置 - Google Patents

Description

本発明は、音声、音楽、環境音などの音響信号、または心電図波形、地震波形などに加えより高周波数を含む様々な１次元信号から異常検出、特定信号の認識や検索または計数などの処理の実現に効果的なＨＬＡＣ特徴量抽出方法および特徴量抽出装置に関する。

高次局所自己相関関数（ＨＬＡＣ）を用いて動画像から特徴を抽出し、異常動作の検出や移動対象の実時間追跡を行う技術は、下記特許文献１〜３に既に提案されている。
特開２００５−０９２３４６号公報 特開２００６―０７９２７２号公報 特開２００６−１６３４５２号公報

上記特許文献１〜３では、画像（２次元）または動画像（３次元）から高次局所自己相関（ＨＬＡＣ）を用いて特徴抽出を行っている。
一方、音響信号などの１次元信号からＨＬＡＣ特徴を抽出する技術はいまだ確立されていない。
従来の（動）画像からのＨＬＡＣ特徴量抽出では、２値化画像を用いるため高次相関（つまり画素の輝度値を何乗しても）値がオーバーフローを起こすことはなく安定に計算を行える。しかし、１次元信号の場合は、例えば１サンプル値が１６ビットで量子化されている場合は−３万から＋３万程度のダイナミックレンジを持ち、その値からオーバーフローを起こさないように高次相関を求めるためには、演算装置のハードウェアまたはソフトウェアの負荷が増大してしまう。この場合、超音波帯の信号やそれ以上の高い周波数成分を含む一次元信号からのＨＬＡＣ特徴抽出などでは、リアルタイム処理が困難になるという問題がある。また、高次相関と低次相関の間で値の桁が大きく異なるため、例えば、その特徴量を用いて主成分分析などを行うときに、安定した数値演算が難しくなる。

本発明は、上記問題点に鑑み、高速処理が可能でハードウェア化に適した２値ＨＬＡＣに基づいた、１次元信号の２値化によるＨＬＡＣ特徴量抽出方法および特徴量抽出装置を提供することを目的とする。

以下、信号とは断りの無い限り１次元信号を意味することとする。
アナログ信号から１次元２値ＨＬＡＣにより特徴量を抽出するには、アナログ信号の振幅値を２値化する必要がある。本発明では、振幅の２値化に「（１）パルス幅変調を用いる方法」と「（２）グレイコード等を用いて２値表記に変換した振幅値を時系列に並べて２次元の２値画像を生成する方法」の２種類の方法を用いる。
（１）パルス幅変調（Pulse Width Modulation：ＰＷＭ）を用いる方法：
アナログ入力信号を２値化する手段の１つとしてＰＷＭを用い、これにより２値化した信号から１次元２値ＨＬＡＣ特徴を抽出する。
ＰＷＭ信号は、アナログ入力信号の振幅値に比例してパルス幅を増減させる変調方式である。ＰＷＭ信号の振幅値は正と負の２値信号となる。この変調機能を実現するハードウェアの回路図を図１に示す。

図１は本発明の１次元２値ＨＬＡＣ特徴量算出回路の回路図である。図１の１次元２値ＨＬＡＣ特徴量算出回路１は、比較器２、サンプリング手段３、レジスタ４、カウンター５、シフトレジスタの出力線と論理積回路の入力線により構成する結線マトリクス回路９、論理積回路を構成するＡＮＤ回路６および累積加算回路７、ラッチ回路８からなる。
入力観測信号と基準の三角波信号を比較器２で比較し、比較器２のＰＷＭ出力信号を任意のサンプリング周波数を基準クロックとしてサンプリング手段３でサンプリングし、レジスタ４に順次記憶する。レジスタ４の記憶状態は、マトリクス回路９の結線状態を反映するＡＮＤ回路６の出力を累積加算回路７で加算し、この加算値をラッチ回路８から「ＰＷＭ＋ＢｉｎＨＬＡＣ信号」として取り出す。結線マトリクス回路９は、ＨＬＡＣの算出に用いるマスクを定義する。
この１次元２値ＨＬＡＣ特徴量算出回路１では、ＰＷＭ信号は、基準となる三角波信号と帯域制限フィルタを通したアナログ入力信号をコンパレータ２で比較し、その比較出力として得られるため、ハードウェア化が容易である。なお、三角波の周波数はアナログ入力信号の最高周波数より十分大きく設定する必要がある。

図２はアナログ入力信号をＰＷＭ処理により２値化する処理経過を示す図である。
図２（ａ）はアナログ入力信号の波形図。図２（ｂ）は図２（ａ）のアナログ入力信号をＰＷＭ処理したパルス信号の波形図。図２（ｃ）は、ＰＷＭ信号の変化をより強調するために、図２（ｂ）のＰＷＭ信号の差分（詳細は後記する）を求めた信号の波形図である。
図１のコンパレータ２の出力のＰＷＭ信号は連続時間の２値信号である。この２値信号をサンプリング手段３によりあるサンプリング周波数でサンプリングし、各サンプル値を１ビットで出力する。１ビットのサンプル値は、サンプリング周波数に同期してシフトするシフトレジスタ４に記憶する。図１に示すシフトレジスタ４は、上から下にビットをシフトするので、最も上にあるビットは現時刻のサンプル値を表し、最も下にあるビットが最も過去のサンプル値を表す。

図２（ｃ）に示したＰＷＭ信号の差分信号を求める場合は、シフトレジスタ４の隣り合うビット間で排他的論理輪和を求めることにより得られる。
以下に、ＰＷＭ信号またはその差分信号から、１次元２値ＨＬＡＣ特徴量を算出する方法について説明する。
離散時間信号の１次元２値ＨＬＡＣは次式により求められる。

ｆ（ｍ）は離散時間信号、Ｎは次数、Ｍはフレームのサンプル数、（ａ０，ａ１，ａ２，…，ａＮ）はマスクパターンを表す。但し、ａ０＝０である。マスクパターンは、シフトレジスタのレジスタ幅Ｗ（記憶するビット数）と相関の次数Ｎで一意に決まる。

図３に本発明のレジスタ幅Ｗ＝４のマスクパターンを示す。
黒く塗りつぶした位置が相関の算出に用いるビットを示す。各マスクパターンの最も左がａ０を示し、右側に順にａ１，ａ２，…のビットを示す。例えば、１次のマスクパターンは、ａ０は常に０で固定、ａ１が１，２，３と変化する３つのマスクパターンを持つ。
マスクパターンは図１の回路図において、シフトレジスタの出力線と論理積回路の入力線により構成する結線マトリックス回路９の結線を操作することにより実装する。専用ハードウェアは例えばＦＰＧＡ（Field Programmable Gate Array:フィールドプログラマブルゲートアレイ）などの素子を用い、この結線は動的に変更可能にしておくことで、任意の次数のマスクパターンを実装可能とする。図１に示している結線は、図３に示したレジスタ幅が４でマスクの次数を２まで考慮するときのマスクパターンを示している。

各論理積回路の出力に対応するマスクパターンの相関値が出力され、その出力を累積加算回路７に入力し、ｃｌｏｃｋ信号に同期して累積加算する。
Ｃｌｏｃｋ信号はカウンター回路にも入力し、累積加算回路７による加算回数を数える。そして、加算回数がフレームのサンプル数に一致したとき、カウンター回路５から制御信号を出力し、その時点での各累積加算回路７の出力値をラッチ回路８で記憶する。その後、累積加算回路７の値をゼロに戻し、次のフレームの特徴量計算の初期化を行う。このカウンター回路５からの制御信号は、１つのフレームのＨＬＡＣ特徴量が確定したことを外部回路へ知らせるための割込み信号としても用いる。

（２）グレイコード等を用いて２値表記に変換した振幅値を時系列に並べて２次元の２値画像を生成する方法：
図４は、本発明のグレイコード等を用いて２値表記に変換した振幅値を時系列に並べて２次元の２値画像を生成する方法によって特徴量の算出を行う手順を示す図である。
図４のフローチャートを説明する。なお、図中、Ｓはステップの省略形を意味する。

開始
（１）１次元アナログ入力信号を取り込む（Ｓ１）：
観測信号である１次元アナログ入力信号を、アナログ−ディジタル変換（Ａ／Ｄ変換）する。
（２）サンプル値の変換（μ−Ｌａｗ、ＧｒａｙＣｏｄｅ、など）（Ｓ２）：
Ｓ１で変換したディジタル信号の量子化値を、典型的な線形量子化手段の他に、音声信号の圧縮などで広く用いられているμ−Ｌａｗ量子化手段、またはグレイコード量子化手段などを用いて変換する。
（３）２値イメージの生成（Ｓ３）：
Ｓ２で求めた離散時間の量子化サンプル値の時系列データより、２値イメージデータを生成する。このとき、例えば、各サンプル値を８ビットで量子化して、その８ビットのビットパターンを時系列順に並べると、図５に示すように２値のイメージが生成される。

図５は、本発明の２値イメージに対して２次元（２Ｄ）２値ＨＬＡＣを適用し特徴を算出する方法の説明図である。時間ｔの関数Ｘ（ｔ）のサンプル値（アナログ信号上の黒丸の値）を、矢印で示すように、２値で表現し、２値のイメージパターンを生成する。
（４）２次元２値ＨＬＡＣの算出（Ｓ４）：
このようにして、２値イメージデータに対して２次元２値ＨＬＡＣ処理を適用しＨＬＡＣ特徴量を算出する。
（５）ＨＬＡＣ特徴量出力（Ｓ５）：
Ｓ４で算出したＨＬＡＣ特徴量を、記憶手段に記憶すると共に、異常検出、特定信号の認識や検索または計数などの処理のために読み出す。
終了

具体的な課題の解決手段は、以下のようになる。
（１）ＨＬＡＣ特徴量抽出方法は、１次元信号をＰＷＭにより２値化し、その１次元２値信号に１次元２値ＨＬＡＣを適用してＨＬＡＣ特徴量を求めることを特徴とする。
（２）ＨＬＡＣ特徴量抽出方法は、上記１次元信号の各振幅値を、線形量子化、μ‐Ｌａｗ量子化、および、グレイコード量子化の内のいずれか１つにより２値化し、その時系列として生成される２値画像へ２次元２値ＨＬＡＣを適用することを特徴とする。
（３）１次元信号をＰＷＭにより２値化し、その１次元２値信号に１次元２値ＨＬＡＣを適用してＨＬＡＣ特徴量を求めるＨＬＡＣ特徴量抽出回路は、前記１次元２値ＨＬＡＣを適用する時に、ＨＬＡＣの算出に用いるマスクパターンを任意のパターン形状に変更できるようにしたことを特徴とする。

これまで２次元の画像や３次元の動画像からの特徴抽出として用いられてきたＨＬＡＣ特徴量を音声・音響信号、心電図波形信号、地震波形信号など様々な１次元信号に適応することが可能となる。
１次元アナログ入力信号を２値化することで高速な特徴抽出処理が可能になる。特にＰＷＭと１次元２値ＨＬＡＣを組み合わせた特徴抽出方法においては、本発明の回路用いてハードウェアを構成することで、高速処理が可能で、マスクパターンを動的に変更可能な汎用性の高い装置が実現される。
もう一つの２値化方法として、アナログ入力信号をディジタル信号に変換し、グレイコードを用いて生成した２値イメージに２Ｄ・２値ＨＬＡＣを適用することにより、特徴抽出の安定性を飛躍的に改善する。

本発明の実施の形態を図に基づいて詳細に説明する。

１次元アナログ入力信号を２値化する各方法に応じて、場合分けして説明する。
（１）Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ（ＰＷＭ）を用いる手法：
同一男性話者が発声した単語をランダムに繋ぎ合わせて１０種類の音声データを生成する。生成した音声データにどの単語がいくつ含まれているかを、音声信号のＰＷＭ信号とその差分信号のそれぞれから抽出したＨＬＡＣ特徴量を用いて計数する。実験に用いる単語数を６０個から１００個まで１０個刻みで増やし、提案特徴量を用いた計数精度を調べる。
実験に用いたサンプリング周波数１６ｋＨｚの音声信号を１０倍にアップサンプリングし、基本周波数１６ｋＨｚの三角波と比較することでアナログ信号を２値化するためのＰＷＭ信号を生成した。
１次元２値ＨＬＡＣの算出では、マスク点数を８、マスク点間隔は１００サンプル、そして最高次数を５とした。

表１は、６０個から１００個までの単語を用いて生成した１０種類の音声データから、全ての単語数を正しく計数できた正解数を示している。

表１．各手法の正解数

（２）グレイコード等を用いて２値表記に変換した振幅値を時系列に並べて２次元の２値画像を生成する方法：
同一男性話者が発声した単語をランダムに繋ぎ合わせて１００個の音声データを生成する。生成した音声データの中にどの単語がいくつ含まれているかを、
（ａ）振幅を正規化した１次元信号に１Ｄ−濃淡ＨＬＡＣを適用する手段、
（ｂ）ＰＷＭ信号に１Ｄ−２値ＨＬＡＣを適用する手段、
（ｃ）１次元信号のサンプル値時系列を線形量子化により２イメージパターンに変換し、２Ｄ−２値ＨＬＡＣを適用する手段
（ｄ）１次元信号のサンプル値時系列をＧｒａｙＣｏｄｅにより２値イメージパターンに変換し、２Ｄ−２値ＨＬＡＣを適用する手段、
の４種類で単語の計数実験を行う。

それぞれの実験で用いる単語数は、各ＨＬＡＣ特徴量の次元数に一致させる。各ＨＬＡＣ特徴量の次元数は以下の１〜４の通りである。
１．１Ｄ−濃淡ＨＬＡＣ；
マスク点数＝６、最高次数＝２（特徴量は２８次元）
２．ＰＷＭ＋１Ｄ−２値ＨＬＡＣ；
マスク点数＝６、最高次数＝３（特徴量は２６次元）
３．線形量子化＋２Ｄ−２値ＨＬＡＣ；
マスク＝３×３、最高次数＝２（特徴量は２５次元）
４．グレイコード＋２Ｄ・２値ＨＬＡＣ；
マスク＝３×３、最高次数＝２（特徴量は２５次元）。

原理的に特徴量の次元数より多くの単語を区別することは不可能である。異なる単語音声の特徴を特徴量が異なるものとして適切に表現できていれば、次元数と同じ数の単語音声を区別できる筈である。もし特徴量が適切でなければ、異なる単語音声から求めた特徴量が線形従属の関係になり、次元数と同じ数の単語音声を区別できない。
マスクパターンのマスク点間隔を変えることで、特徴量の性能が大きく変化する。最適なマスクパターンのマスク点間隔は、基本的に分析する信号に依存する。１と２の手法に関してはマスク点間隔を０．０６２５ｍｓから２５ｍｓまで変化させながら実験を行う。３と４の手法に関してはビットパターン軸に沿ったマスク点間隔を１から７ビット幅、時間軸に沿ったマスク点間隔を０．０６２５ｍｓから２５ｍｓまで変化させながら実験を行う。

次元数と同じ数の単語音声の同時計数が可能かどうか、更に、マスク点間隔によらずどれだけ安定的に単語音声の同時計測が可能かで、特徴量の性能を評価する。
生成した１００個のサンプルから単語音声数を同時計数し、全サンプルの計数結果が正解したときのみ計数成功とする。もし、１００個のサンプルの内１つでも計数結果が間違っていたら計数失敗とする。
特徴量毎に、マスク点間隔を変えて計数実験を行い、全実験数に対する計数成功数の割合として計数成功出現割合を求める。この計数成功出現割合が大きいほど、マスク点間隔に依存しないで安定的に単語計数が行えることを示し、特徴量として性能が高いことを意味する。

（実験結果）
図６は、それぞれの方法の計数成功出現率を示す図である。
図６に示されるように、係数成功出現率[％]は、「１Ｄ・Ｇｒａｙ（濃淡）ＨＬＡＣ」の方法では４７．３７、「ＰＷＭ＋１Ｄ・Ｂｉｎ（２値）ＨＬＡＣ」の方法では４８．６８、「Ｌｉｎｅａｒ（線形量子化）＋２Ｄ・Ｂｉｎ（２値）ＨＬＡＣ」の方法では０．１９、「ＧｒａｙＣｏｄｅ（グレイコード）＋２Ｄ・Ｂｉｎ（２値）ＨＬＡＣ」の方法では５７．８９となる。
図６に示す全ての方法において、計数成功出現率がゼロになっていないことから、マスク点間隔を適切に設定すれば、単語音声数の計数を正しく行えることがわかる。
「１Ｄ・Ｇｒａｙ（濃淡）ＨＬＡＣ」の方法より、「ＰＷＭ＋１Ｄ・Ｂｉｎ（２値）ＨＬＡＣ」の方法の方が特徴量としての性能が高いと言える。「Ｌｉｎｅａｒ（線形量子化）＋２Ｄ・Ｂｉｎ（２値）ＨＬＡＣ」の方法に関しては、性能がマスク点間隔に大きく依存するので、事前に分析する信号の特徴を正確に調べておく必要がある。一方、「ＧｒａｙＣｏｄｅ（グレイコード）＋２Ｄ・Ｂｉｎ（２値）ＨＬＡＣ」の方法ではマスク点間隔への依存が小さくなり、特徴量としての性能が大きく改善されている。

本発明の１次元２値ＨＬＡＣ特徴量算出回路の回路図である。 アナログ入力信号をＰＷＭ処理により２値化する処理経過を示す図である。 本発明のレジスタ幅Ｗ＝４のマスクパターンを示す。 本発明のグレイコード等を用いて２値表記に変換した振幅値を時系列に並べて２次元の２値画像を生成する方法によって特徴量の算出を行う手順を示す図である。 本発明の２値イメージに対して２次元２値ＨＬＡＣを適用し特徴を算出する方法の説明図である。 それぞれの方法の計数成功出現率を示す図である。

符号の説明

１・・１次元２値ＨＬＡＣ特徴量算出回路
２・・比較器
３・・サンプリング手段
４・・シフトレジスタ
５・・カウンター
６・・ＡＮＤ
７・・累積加算回路
８・・ラッチ回路
９・・マトリクス回路

Claims (4)

1. １次元入力観測信号と基準の三角波信号を比較してＰＷＭ出力信号を出力する比較器２と、
   前記比較器２のＰＷＭ出力信号を任意のサンプリング周波数を基準クロックとしてサンプリングするサンプリング手段３と、
   前記サンプリング手段３のサンプリング出力を順次記憶するシフトレジスタ４と、
   前記シフトレジスタ４の出力線と論理積回路の入力線により構成し、ＨＬＡＣの算出に用いるマスクを定義するように結線する結線マトリクス回路９と、
   前記論理積回路の入力線を自身の入力線とする複数のＡＮＤ回路６と、
   前記複数のＡＮＤ回路６の出力を累積加算する累積加算回路７と、
   前記累積加算回路７で加算した加算値を信号として取り出すラッチ回路８とを有し、
   前記結線マトリクス回路９における前記マスクの結線パターンを、それぞれの前記ＡＮＤ回路６へそれぞれの相関値が出力されるように構成することを特徴とする１次元２値ＨＬＡＣ特徴量算出回路。
2. 前記結線マトリクス回路９を、ＨＬＡＣの算出に用いるマスクとして構成したことを特徴とする請求項１記載の１次元２値ＨＬＡＣ特徴量算出回路。
3. 前記結線マトリクス回路９の結線を動的に変更操作できる素子で構成したことを特徴とする請求項１又は２記載の１次元２値ＨＬＡＣ特徴量算出回路。
4. 前記素子を、フィールドプログラマブルゲートアレイとしたことを特徴とする請求項３記載の１次元２値ＨＬＡＣ特徴量算出回路。

Images