JP6048025B2 - 分類装置及びプログラム - Google Patents

Description

本発明は、分類装置及びプログラムに関する。

特許文献１に開示される見守りシステムでは、家（生活空間）の中に音センサデバイスを設置する。音センサデバイスのマイクロコントローラは、音センサの音信を処理することによって、時間および周波数の両方向において簡略化したスペクトログラムを生成する。このスペクトログラムはホームゲートウェイからネットワークを通して見守りサーバに伝送される。見守りサーバでは、簡略化したスペクトログラムに対して複数のフィルタを掛け、それによるスコア値を算出し、各フィルタのスコア値から、生活空間および／または対象者の状況を認識する。

すなわち、このシステムは、個人のプライバシーへの配慮のために、生活音をスペクトログラムで表現する。そして、このスペクトログラムからフィルタ処理によりいくつかの特徴量（スコア値）を算出する。これら特徴量を、事前に抽出した各シーン（状況）の特徴量と比較することで、その生活音が表すシーンを特定する。

非特許文献１には、音圧のスペクトログラムの特徴と、音のドップラシフトのスペクトログラムの特徴から、人がいるのか否かを判別するシステムが開示されている。

特許文献１及び非特許文献１は、いずれも、スペクトログラムから特徴量を求め、その特徴量に基づく状況を判別している。

特許文献２には、バイナリデータの０，１の並びを画像として取り扱い、複数の異なるデータが表す画像同士の光学的な相関をとることで、データ同士の一致を判定することが開示されている。

特許文献３には、「インストログラム」を用いた楽器音認識方法が示されている。インストログラム(Instrogram)とは、スペクトログラムに似た楽器存在確率の視覚表現の一つであり、解析対象となる楽器ごとに１つ生成される。楽器存在確率ｐ（ω；ｔ，ｆ）は、ある時刻ｔにおいて周波数ｆを基本周波数Ｆ０とする楽器ωの音が存在する確率を示すものである。したがって、対象楽器をΩ＝｛ω１，…，ωｍ｝とすると、インストログラムは、各ω∈Ωに対して、上述の楽器存在確率ｐ（ω；ｔ，ｆ）を可視化したもの、つまり、横軸を時刻、縦軸を周波数で表し、時間ｔ−周波数ｆ平面上にこれを表せばそれが即ちインストログラムとなる。特許文献３には、２つの楽曲のインストログラムの画像同士を画像類似判定システムで判定することにより、両者の楽器構成が類似しているかどうかを判定することが開示されている。

特開２０１１−２３７８６５号公報 特表２００３−５０１７５５号公報 特開２００７−２４０５５２号公報

James M. Sabatier, et. al,. "Ultrasonic Methods for Human Motion Detection", The University of Mississippi, 2006

本発明は、分類対象の時間変化信号を、スペクトログラムの特徴量を用いる場合よりも少ない計算量で、対応する事象に分類できるようにすることを目的とする。

請求項１に係る発明は、１以上の事象の各々について、その事象に関して検出された時間変化信号のスペクトログラムの二次元フーリエ変換が持つ周期性の特徴を、テンプレート特徴として記憶する特徴記憶手段と、センサにより求められた分類対象の時間変化信号を処理して、当該分類対象の時間変化信号のスペクトログラムを生成するスペクトログラム生成手段と、前記スペクトログラム生成手段が生成したスペクトログラムの二次元フーリエ変換を計算する二次元フーリエ変換計算手段と、前記二次元フーリエ変換計算手段が求めた前記二次元フーリエ変換の画像から周期性の特徴を検出する特徴検出手段と、前記特徴記憶手段に記憶された前記テンプレート特徴の中から、前記特徴検出手段が検出した前記周期性の特徴に類似するものを特定する特定手段と、前記特徴検出手段が検出した前記周期性の特徴に類似するテンプレート特徴が前記特定手段により特定された場合には、前記分類対象の時間変化信号を、前記特定手段により特定されたテンプレート特徴に該当する事象に対応すると判定する判定手段と、を有する分類装置である。

請求項２に係る発明は、コンピュータを、１以上の事象の各々について、その事象に関して検出された時間変化信号のスペクトログラムの二次元フーリエ変換が持つ周期性の特徴を、テンプレート特徴として記憶する特徴記憶手段、センサにより求められた分類対象の時間変化信号を処理して、当該分類対象の時間変化信号のスペクトログラムを生成するスペクトログラム生成手段、前記スペクトログラム生成手段が生成したスペクトログラムの二次元フーリエ変換を計算する二次元フーリエ変換計算手段、前記二次元フーリエ変換計算手段が求めた前記二次元フーリエ変換の画像から周期性の特徴を検出する特徴検出手段、前記特徴記憶手段に記憶された前記テンプレート特徴の中から、前記特徴検出手段が検出した前記周期性の特徴に類似するものを特定する特定手段、前記特徴検出手段が検出した前記周期性の特徴に類似するテンプレート特徴が前記特定手段により特定された場合には、前記分類対象の時間変化信号を、前記特定手段により特定されたテンプレート特徴に該当する事象に対応すると判定する判定手段、として機能させるためのプログラムである。

請求項１又は２に係る発明によれば、分類対象の時間変化信号を、スペクトログラムの特徴量を用いる場合よりも少ない計算量で、対応する事象に分類できる。

様々な状況で検出された音声信号から生成されたスペクトログラムの例を示す図である。 スペクトログラムと、このスペクトログラムの二次元フーリエ変換の例を示す図である。 実施形態の装置構成の一例を示す図である。 画像ベース分類部の処理手順の一例を示す図である。

本実施形態の分類装置は、時間的に変化する信号（「時間変化信号」と呼ぶ）を入力とし、この入力信号を解析することで、この入力信号が表す事象が、あらかじめ登録された事象のいずれに該当するかを判定（すなわち入力信号をいずれかの登録事象に分類）する。

分類の対象となる時間変化信号は、例えば、センサがある時間に渡って出力した時系列的な信号である。例えば、マイクが検出する音声信号、加速度センサが検出する加速度信号、速度センサが取得する速度信号、圧力センサが検出する圧力信号等がその一例である。

分類先である事象は、時間変化信号の解析により特定可能なものであればどのようなものであってもよい。例えば、人が携帯するスマートフォンのマイクが拾った音声信号を解析することで、その人が歩行している、駅のホームで電車を待っている、電車に乗っている、等というように、その人がそのときどのような状況にいるかを解析することが考えられる。この例における各種の「状況」が分類先の事象の一例である。

この分類のために、本実施形態では、入力された時間変化信号のスペクトログラムの二次元フーリエ変換を求め、スペクトログラムの周波数成分の分布を示す画像を生成する。一方、事前に、各種の事象のそれぞれについて、その事象において生じる時間変化信号を取得し、その時間変化信号のスペクトログラムの周波数成分の分布を示す画像を作成し、これをその事象に対応するテンプレート画像としてデータベース化しておく。そして、入力信号のスペクトログラムの周波数成分の分布を示す画像が、データベース内の各事象のテンプレート画像のどれに類似しているかに応じて、その入力信号がどの事象を表しているのかを判定する。

ここで、スペクトログラムとは、周知のように、信号のスペクトル密度が時間に応じてどのように変化するかを表す、時間変化するスペクトル表現である。スペクトログラムは、一般的には、横軸に時間、縦軸に周波数をとり、各点の明るさや色である時点のある周波数の信号強度（振幅）を表すグラフ（画像）として表される。本実施形態では、このスペクトログラムに対して二次元フーリエ変換を施したものを分類に用いる。

図１に、人が携帯するスマートフォンのマイクで拾った音声信号から作成したスペクトログラムの例を示す。（ａ）は、その人が駅のプラットフォームで電車を待っている状況の音声信号のスペクトログラムであり、（ｂ）は、その人が待っているプラットフォームに対して電車が近づいてきたときの音声信号のスペクトログラムである。また、（ｃ）はその人が野外を走る電車に乗っているときの音声信号のスペクトログラムであり、（ｄ）はその人がトンネル内（或いは地下）を走る電車に乗っているときの音声信号のスペクトログラムである。

図２には、（ａ）人が歩いているときにスマートフォンのマイクにより取得された音声信号から生成したスペクトログラムと、（ｂ）そのスペクトログラムの二次元フーリエ変換と、を示す。本実施形態では、例えば、（ｂ）に例示したスペクトログラムの二次元フーリエ変換を、テンプレート画像として、「人が歩いている」という状況（事象）と対応づけて、データベースに蓄積する。

また、上述したテンプレート画像を用いた分類を、スペクトログラムの二次元フーリエ変換の画像が持つ周期的な特徴を用いた分類と組み合わせることも考えられる。

例えば、図２に示したスペクトログラム（ａ）の二次元フーリエ変換（ｂ）の画像には、画像を上下に二分する横軸上に、周囲に比べて目立って輝度が高い点（「白点」と呼ぶ）が一定の間隔で周期的に並んでいる。この例における隣り合う白点同士の間隔が、二次元フーリエ変換（ｂ）の画像が含む周期性を示す特徴である。例えば、人が歩いているときと走っているときでは、その間隔が異なることが発明者の実験で分かっている。したがって、信号のスペクトログラムを二次元フーリエ変換した結果の中に、（ｂ）に示すような周期性を持つ特徴が見られる場合には、そのような周期性の特徴を用いて分類を行うこともできる。例えば、状況（例えば歩いている／走っている）ごとに、その状況に対応する二次元フーリエ変換（ｂ）の画像の横軸上の白点の間隔を、その状況に対応する周期性特徴としてデータベース化しておき、入力信号のスペクトログラムの二次元フーリエ変換から求められる周期性特徴に類似した周期性特徴をデータベースから検索し、検索した周期性特徴に対応する状況を、入力信号の示す状況と判定する。

ただし、そのような周期性は、全ての事象（状況）について見られるものではない。そこで、本実施形態では、入力信号のスペクトログラムの二次元フーリエ変換から周期性特徴を見いだせた場合は、その特徴に基づいて分類を行う。一方、周期性特徴を見いだせなかった場合は、テンプレート画像との比較に基づいて分類を行う。

図３に、本実施形態の分類装置の機能構成の一例を示す。

図３の例では、テンプレート画像ＤＢ（データベース）３０には、分類したい事象（例えばスマートフォンを携帯しているユーザが居る場の状況）ごとに、その事象の識別情報に対応づけて、その事象に関してセンサが検出した時間変化信号のスペクトログラムを二次元フーリエ変換して得られる画像が、テンプレート画像として登録されている。すなわち、事前に実験を行って、各種の事象についてのセンサの検出信号を収集し、収集した信号からテンプレート画像を生成し、これをテンプレート画像ＤＢ３０に登録しておく。登録されるテンプレート画像は、図３の分類装置のスペクトログラム生成部１２、前処理部１４、及び二次元フーリエ変換部２２（又はこれと同じ機能を持つ装置）を用いて生成したものである。

また、周期性特徴ＤＢ３４には、テンプレート画像に周期性特徴が見られる事象のみについて、その事象の識別情報に対応づけて、その周期性特徴が登録されている。例えば、テンプレート画像ＤＢ３０を構築する際に作成した各事象のテンプレート画像を解析して周期性特徴を探し、周期性特徴が見つかれば、これを周期性特徴ＤＢ３４に登録すればよい。周期性特徴としては、例えば、図２に例示したように、テンプレート画像（図２の（ｂ）がその一例）の中央を通る横軸上に等間隔に存在する白点同士の間隔を用いればよい。この場合、事象ごとに、その事象に対応するテンプレート画像の中央を通る横軸上の画素値分布を求め、この画素値分布を二値化する等により白点を抽出し、抽出された白点群の中の隣り合う白点同士の間隔をそれぞれ求め、求めた間隔同士があらかじめ定めた許容誤差以内で等しい場合に、そのテンプレート画像は周期性を持つと判定する。そして、それら複数の間隔の統計的な代表値（例えば平均値）を、その事象の周期性特徴として周期性特徴ＤＢ３４に登録する。なお、テンプレート画像の横軸上に並ぶ白点の周期性に着目したり、それら白点同士の間隔を周期性特徴として用いたりするというのはあくまで一例に過ぎない。周期性特徴ＤＢ３４に登録する特徴を求める際の周期性特徴の検出方式は、後述する周期性特徴検出部２６で用いられるものと同じものである。

図３の装置の信号入力部１０には、分類対象の時間変化信号が入力される。例えば、スマートフォンにインストールされたアプリケーションが、スマートフォンのマイクが一定期間ごとに、その一定期間にピックアップした音声信号のデータを、インターネットを介して本実施形態の分類装置に送信し、そのデータを信号入力部１０が受け取る。

スペクトログラム生成部１２は、信号入力部１０が受け取った時間変化信号のスペクトログラムを生成する。スペクトログラムの生成には、従来用いられている方法を用いればよい。生成されるスペクトログラムは、一種の画像として取り扱うことができる。

生成されたスペクトログラムは、前処理部１４に入力され、二次元フーリエ変換のための前処理をうける。前処理部１４は、バンドパスフィルタ１６、非線形変換部１８及び二値化部２０を有する。

バンドパスフィルタ１６は、入力されたスペクトログラム（例えば横軸が時間、縦軸が周波数を示す）のなかから、あらかじめ定めた周波数帯域の部分を抽出する。これは、スペクトログラムから、後の解析にとって意味がない（ノイズにしかならない）周波数帯域を取り除く処理である。抽出する周波数帯域は、分類装置が分類しようとする信号の特性等に応じてあらかじめ定めておけばよい。

非線形変換部１８は、バンドパスフィルタ１６の出力（すなわちスペクトログラムのうち抽出された部分）に対して、非線形の増幅を行う。これは、画像信号を表示する際のガンマ補正と同様の考え方で、低強度（輝度が低い）の信号成分を増幅して強度を上げることで、信号対ノイズ比を改善するためのものである。

二値化部２０は、非線形変換部１８の出力に対して二値化処理を施す。この二値化により、スペクトログラムの特徴が強調される。この二値化部２０の出力が、二次元フーリエ変換部２２に入力される。

二次元フーリエ変換部２２は、入力された二値化結果（すなわち入力信号のスペクトログラムを前処理して得られた二値化画像）に対して、公知の二次元フーリエ変換を施す。これにより、そのスペクトログラムの二値化画像の周波数成分の分布を示す画像が得られる。この画像（二値化結果）は、分類処理部２４に入力される。

分類処理部２４は、入力された二次元フーリエ変換結果の画像を用いて、分類対象の時間変化信号が表す事象が、データベース（テンプレート画像ＤＢ３０及び周期性特徴ＤＢ３４）に登録された事象のいずれに該当するかを判定する。分類処理部２４は、周期性特徴検出部２６、画像ベース分類部２８、及び特徴ベース分類部３２を有する。

周期性特徴検出部２６は、入力された二次元フーリエ変換結果の画像から、周期性特徴を検出する。検出方法は、前述した周期性特徴ＤＢ３４に登録する特徴の求め方と同様でよい。

周期性特徴検出部２６により周期性特徴が検出された場合、分類処理部２４は、特徴ベース分類部３２を用いて分類を行う。すなわち、特徴ベース分類部３２は、周期性特徴ＤＢ３４に登録された各事象の周期性特徴の中から、周期性特徴検出部２６により検出された周期性特徴に近いものを探す。この探索では、例えば、検出された周期性特徴と周期性特徴ＤＢ３４の周期性特徴との距離を求め、その距離があらかじめ定めた閾値以下であれば、両者が「近い」と判定すればよい。例えば、図２の例のように隣り合う白点同士の間隔を周期性特徴とする場合、分類対象の信号から生成した二次元フーリエ変換の画像におけるその間隔と、周期性特徴ＤＢ３４に登録された各事象に対応する間隔と、の差を求め、その差が閾値以下であれば、両者の間隔同士が「近い」ということになる。周期性特徴が複数の成分を含む場合には、周期性特徴をそれら各成分からなるベクトルとみなし、ベクトル同士の距離が閾値以下であるかどうかを判定すればよい。そして、そのような「近い」周期性特徴が見つかれば、見つかった周期性特徴に対応する事象を、分類対象の時間変化信号の分類先と判定する。検出された周期性特徴に「近い」周期性特徴が周期性特徴ＤＢ３４から複数見つかった場合の取扱は、別途定めておけばよい。１つの例では、それら複数の「近い」周期性特徴のうち最も「近い」ものを分類先と判定する。別の例では、それら複数の「近い」周期性特徴の全てを分類先と判定する。

周期性特徴検出部２６により周期性特徴が検出されなかった場合、又は特徴ベース分類部３２で分類先が見つからなかった場合には、画像ベース分類部２８が分類を行う。画像ベース分類部２８は、入力された二次元フーリエ変換結果の画像と、テンプレート画像ＤＢ３０に登録されている各テンプレート画像とを比較し、その比較の結果に基づいて分類を行う。

画像ベース分類部２８の処理手順の一例を図４に示す。この手順は、テンプレート画像ＤＢ３０に登録された事象（及びこれに対応するテンプレート画像）ごとに実行される。
この手順では、まず処理対象の事象に対応するテンプレート画像をテンプレート画像ＤＢ３０から読み出し、読み出したテンプレート画像に対して、複素共役を求めるための共役フィルタ処理を施す（Ｓ１０）。これにより、共役テンプレート画像を求められる。なお、テンプレート画像ＤＢ３０に対して共役テンプレート画像を登録しておく場合には、Ｓ１０は不要である。次に、二次元フーリエ変換部２２から入力された二次元フーリエ変換結果の画像と、共役テンプレート画像とを乗算する（Ｓ１２）。次に、その乗算結果に対して逆フーリエ変換を施す（Ｓ１４）。この逆フーリエ変換は、二次元フーリエ変換と同じ演算でよい。フーリエ変換と相互相関関数との関係から、逆フーリエ変換の結果は、それら２つの二次元フーリエ変換（分類対象とテンプレート画像）の変換前のスペクトログラム同士の相関係数を表している。この相関係数をあらかじめ定めた閾値と比較する（Ｓ１６）。この比較の結果、相関係数が閾値以上（すなわち相関が十分強い）であれば、分類対象はそのテンプレート画像に対応する事象に該当すると判定する（すなわちその事象を分類先に決定する）（Ｓ１８）。相関係数が閾値未満であれば、分類対象はそのテンプレート画像に対応する事象に該当しない（すなわちその事象は分類先ではない）と判定する（Ｓ２０）。

図４の例では、相関係数が閾値以上となる事象は全て分類先と判定されるが、この代わりに、相関係数が閾値以上となる事象のうち相関係数が最大となる事象のみを分類先と判定するようにしてもよい。

以上に説明したように、本実施形態の分類装置は、分類対象の時間変化信号のスペクトログラムの二次元フーリエ変換を、各事象についての信号から生成したスペクトログラムの二次元フーリエ変換（テンプレート画像）と比較することで、分類対象の分類先を決定する。このような構成によれば、その二次元フーリエ変換から明確な周期性特徴が検出できない場合でも、分類が可能となる。また、二次元フーリエ変換から明確な周期性特徴が検出できる場合には、画像同士の比較（相関演算）という比較的負荷の高い処理を省略し、その周期性特徴に基づいて分類を行うことで、計算負荷が軽減される。スペクトログラムの生成から二次元フーリエ変換までの処理系は、画像比較に基づく分類と周期性特徴に基づく分類とで共用されるので、簡潔なシステム構成となっている。

このような分類装置は、例えば、時間変化信号を生成するセンサが搭載されたデバイス（例えばスマートフォン）の周囲の状況（この状況を時間変化信号が表している）が、あらかじめ規定された状況（事象）のどれに該当するかを分析することができる。この分析結果に応じてそのデバイスを制御したり、その分析結果を蓄積して傾向を分析する等によりそのデバイスへのサービスを改善したりする等の応用も考えられる。

以上に例示した分類装置は、例えば、汎用のコンピュータに上述の各機能モジュールの処理を表すプログラムを実行させることにより実現してもよい。ここで、コンピュータは、例えば、ハードウエアとして、ＣＰＵ等のマイクロプロセッサ、ランダムアクセスメモリ（ＲＡＭ）およびリードオンリメモリ（ＲＯＭ）等のメモリ（一次記憶）、ＨＤＤ（ハードディスクドライブ）を制御するＨＤＤコントローラ、各種Ｉ／Ｏ（入出力）インタフェース、ローカル・エリア・ネットワークなどのネットワークとの接続のための制御を行うネットワークインタフェース等が、たとえばバスを介して接続された回路構成を有する。また、そのバスに対し、例えばＩ／Ｏインタフェース経由で、ＣＤやＤＶＤなどの可搬型ディスク記録媒体に対する読み取り及び／又は書き込みのためのディスクドライブ、フラッシュメモリなどの各種規格の可搬型の不揮発性記録媒体に対する読み取り及び／又は書き込みのためのメモリリーダライタ、などが接続されてもよい。上に例示した各機能モジュールの処理内容が記述されたプログラムがＣＤやＤＶＤ等の記録媒体を経由して、又はネットワーク等の通信手段経由で、ハードディスクドライブ等の固定記憶装置に保存され、コンピュータにインストールされる。固定記憶装置に記憶されたプログラムがＲＡＭに読み出されＣＰＵ等のマイクロプロセッサにより実行されることにより、上に例示した機能モジュール群が実現される。また、分類装置を構成する機能モジュールのうちの１つ以上を、ハードウエア回路として構成してもよい。

１０ 信号入力部、１２ スペクトログラム生成部、１４ 前処理部、１６ バンドパスフィルタ、１８ 非線形変換部、２０ 二値化部、２２ 二次元フーリエ変換部、２４ 分類処理部、２６ 周期性特徴検出部、２８ 画像ベース分類部、３０ テンプレート画像ＤＢ、３２ 特徴ベース分類部、３４ 周期性特徴ＤＢ。

Claims (2)

1. １以上の事象の各々について、その事象に関して検出された時間変化信号のスペクトログラムの二次元フーリエ変換が持つ周期性の特徴を、テンプレート特徴として記憶する特徴記憶手段と、
   センサにより求められた分類対象の時間変化信号を処理して、当該分類対象の時間変化信号のスペクトログラムを生成するスペクトログラム生成手段と、
   前記スペクトログラム生成手段が生成したスペクトログラムの二次元フーリエ変換を計算する二次元フーリエ変換計算手段と、
   前記二次元フーリエ変換計算手段が求めた前記二次元フーリエ変換の画像から周期性の特徴を検出する特徴検出手段と、
   前記特徴記憶手段に記憶された前記テンプレート特徴の中から、前記特徴検出手段が検出した前記周期性の特徴に類似するものを特定する特定手段と、
   前記特徴検出手段が検出した前記周期性の特徴に類似するテンプレート特徴が前記特定手段により特定された場合には、前記分類対象の時間変化信号を、前記特定手段により特定されたテンプレート特徴に該当する事象に対応すると判定する判定手段と、
   を有する分類装置。
2. コンピュータを、
   １以上の事象の各々について、その事象に関して検出された時間変化信号のスペクトログラムの二次元フーリエ変換が持つ周期性の特徴を、テンプレート特徴として記憶する特徴記憶手段、
   センサにより求められた分類対象の時間変化信号を処理して、当該分類対象の時間変化信号のスペクトログラムを生成するスペクトログラム生成手段、
   前記スペクトログラム生成手段が生成したスペクトログラムの二次元フーリエ変換を計算する二次元フーリエ変換計算手段、
   前記二次元フーリエ変換計算手段が求めた前記二次元フーリエ変換の画像から周期性の特徴を検出する特徴検出手段、
   前記特徴記憶手段に記憶された前記テンプレート特徴の中から、前記特徴検出手段が検出した前記周期性の特徴に類似するものを特定する特定手段、
   前記特徴検出手段が検出した前記周期性の特徴に類似するテンプレート特徴が前記特定手段により特定された場合には、前記分類対象の時間変化信号を、前記特定手段により特定されたテンプレート特徴に該当する事象に対応すると判定する判定手段、
   として機能させるためのプログラム。