JPWO2012108218A1 - 事象検知システム - Google Patents

Abstract

事象検知システムは、発生した事象を検知する。事象検知システムは、取得音の信号情報から、時系列の特徴量ベクトルを抽出する特徴量抽出部と、前記特徴量抽出部が抽出した時系列の特徴量ベクトルと、音の種別毎のモデルデータとを比較解析することによって、前記取得音の種別を識別する音識別部と、前記取得音の種別と、前記取得音の前後に含まれる人間の動作に起因する音の発生パターンとに基づいて、前記取得音を発生させた事象の人為性を判定する人為性判定部と、前記人為性判定部が判定した判定結果に応じて出力を行う出力部とを備える。

Description

本発明は、発生した事象を検知する事象検知システムに関する。

防犯や見守りに関する技術に対するニーズは、年々高まってきている。その背景の要因としては、高齢化や独居世帯の増加、及び雇用の都市集中に伴って世代間での世帯遠隔化が拡がっていることが挙げられる。防犯や見守りに関する技術においては、異常事態等の事象が発生した場合に、その旨を検知するための技術が重要となる。

そのような技術としては、異常音を検出した場合に、異常な事象を検出した旨を通知する技術が知られている（例えば、特許文献１参照。）。特許文献１に記載の技術のような、音によって事象を検知する技術は、プライバシー面やコスト面におけるメリットが高い。

例えば、音解析は、非可逆変換を施してから行われる。したがって、このような技術によっては、可聴状態を保ったまま音の信号情報を保存する必要がなくなる。そのため、音によって事象を検知する技術によっては、音が外部に漏れる可能性が低く、プライバシー面におけるメリットが高い。

例えば、センシングデバイスには、汎用のマイクロフォンや圧電素子等を用いることができる。そのため、音によって事象を検知する技術によっては、カメラや専用デバイスをセンシングデバイスとして用いる技術と比較して、大幅なコストの削減が可能となる。

例えば、１秒間あたりの音のデータ量は、数十キロバイト程度である。音処理の軽量化の手法は、高速フーリエ変換に代表されるように、既に確立されている。このような処理コストの低廉化は、プロセッサコストの低廉化にも寄与する。

例えば、マイクロフォン等のセンシングデバイスは、高所へ設置されるようなカメラや、専門家によって設置されるような専用デバイスと比較して、比較的簡単に設置することができる。このため、金銭的な負担や体力的な負担を軽減することができる。

音によって事象を検知する既知の技術は、音の識別精度に問題を抱えている。より具体的に説明すると、既知の技術によっては、侵入者によって発生音を小さくする等の調整をなされることにより、本来検知すべき事象を見逃してしまう、といったことが考えられる。

このような課題を解決する一手法が、特許文献２に開示されている。特許文献２に開示されている装置は、ドアの開閉音の代わりに、ドアの開閉に伴う空気流の変化を低周波音として検知する音圧センサ、ないし空気圧の変化を振動として検知する空気圧センサを用いて、ドアの開閉を検知している。

日本国特開２００２−３１２８６０号公報 日本国特開２００９−０９３４７７号公報

事象の重要性は、発生した事象が人間の動作に起因して発生した事象なのか、人間以外の動物の動きや自然現象に起因して発生した事象なのかによって変わる。即ち、事象発生の起因となる主体は、その事象の持つ意味合いや重要性を判定するのに重要な要素となる。しかしながら、特許文献１及び特許文献２に記載の技術には、事象の発生の主体が何にあるのかを判別する手法は開示されていない。

本発明の事象検知システムは、発生した事象を検知する。事象検知システムは、取得音の信号情報から、時系列の特徴量ベクトルを抽出する特徴量抽出部と、前記特徴量抽出部が抽出した時系列の特徴量ベクトルと、音の種別毎のモデルデータとを比較解析することによって、前記取得音の種別を識別する音識別部と、前記取得音の種別と、前記取得音の前後に含まれる人間の動作に起因する音の発生パターンとに基づいて、前記取得音を発生させた事象の人為性を判定する人為性判定部と、前記人為性判定部が判定した判定結果に応じて出力を行う出力部とを備える。

以上の説明から明らかなように、この発明の事象検知システムによっては、音の種別を識別した後に、その音の前後に含まれる、人間の動作に起因する音の有無や発生パターンに基づいて、その音が発生したことへの人為性を判定することができる。動作の具体例には、移動や拍手といった肉体的な動き、発声やくしゃみ等の動きを伴わない動作、機械の操作が含まれる。しかしながら、本発明はこれに限定されない。したがって、この発明の事象検知システムによっては、例えば、ドアが開閉される音の前後に人間の足音が検知された場合、風等の自然現象に起因してドアが開閉したのではなく、人為的に行われたと判定される。

また、本発明の事象検知システムにおいては、音によって人為性を判定している。そのため、本発明の事象検知システムによっては、プライバシー面やコスト面において有利である。

本発明の第１の実施の形態に係る事象検知装置の利用環境の一例を示す図である。 図１に示す事象検知装置のブロック構成の一例を示す図である。 図２に示す人為性判定データベースに格納されているデータの一例をテーブル形式で示す図である。 図１に示す事象検知装置の動作フローの一例を示す図である。 本発明の第２の実施の形態に係る事象検知装置の利用環境の一例を示す図である。 図５に示す事象検知装置のブロック構成の一例を示す図である。 図６に示す人為性判定データベースに格納されているデータの一例をテーブル形式で示す図である。 図５に示す事象検知装置の動作フローの一例を示す図である。 本発明の第３の実施の形態に係る事象検知装置の利用環境の一例を示す図である。 図９に示す事象検知装置のブロック構成の一例を示す図である。 図１０に示す人為性判定データベースに格納されているデータの一例をテーブル形式で示す図である。 図９に示す事象検知装置の動作フローの一例を示す図である。 本発明の第４の実施の形態に係る事象検知装置のブロック構成の一例を示す図である。 本発明の第４の実施の形態の事象検知装置の別の例のブロック構成の一例を示す図である。 図１４に示す人為性判定データベースに格納されているデータの一例をテーブル形式で示す図である。 本発明の第４の実施の形態の事象検知装置のさらに別の例の利用環境の一例を示す図である。 図１６に示す事象検知装置のブロック構成の一例を示す図である。 本発明の第５の実施の形態に係る事象検知装置の利用環境の一例を示す図である。 図１８に示す事象検知装置の人為性判定データベースに格納されているデータの一例をテーブル形式で示す図である。 本発明の第５の実施の形態における、電話機、パソコン、携帯電話、及び事象検知装置の動作シーケンスの一例を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は、特許請求の範囲にかかる発明を限定するものではなく、また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る事象検知装置１００の利用環境の一例を示す。事象検知装置１００は、発生した事象を検知する。より具体的に説明すると、事象検知装置１００は、ドア９０１の近傍に設置されている。事象検知装置１００は、ドア９０１の開閉音を収集する。また、事象検知装置１００は、ドア９０１の近傍にいる人間の足音を収集する。また、事象検知装置１００は、本発明の実施形態における「事象検知システム」の一例であってよい。

図２は、事象検知装置１００のブロック構成の一例を示す。事象検知装置１００は、音入力素子１１０、特徴量抽出部１２０、音識別部１３０、人為性判定部１４０、出力部１５０、音識別モデルデータベース１９１、及び人為性判定データベース１９２を有する。
以下に、各構成要素の機能及び動作を説明する。

音入力素子１１０は、音を信号情報に変換する。そして、音入力素子１１０は、その音の信号情報を、特徴量抽出部１２０へ送る。音の信号情報には、音圧の時系列変化を示す連続的な電気信号、ならびに電気信号に対しサンプリング及び量子化を施した離散的な音データが含まれる。音入力素子１１０の具体例としては、マイクロフォンや圧電素子等が挙げられる。

特徴量抽出部１２０は、音の信号情報を、音入力素子１１０から受け取ると、その音の信号情報から、音の識別に必要と判断される特徴量を抽出して、時系列の特徴量ベクトルを示すデータとして音識別部１３０へ送る。特徴量の具体例としては、音圧平均、音圧最大値、音圧の分散、ゼロ点交差数、ピーク周波数、周波数スペクトラム、ピッチ、ＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｔｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓ）、ＭＰ（Ｍａｔｃｈｉｎｇ Ｐｅｒｓｕｉｔ）、及びこれらの１次差分、２次差分等が挙げられる。しかしながら、本発明はこれに限定されない。

音識別部１３０は、時系列の特徴量ベクトルを示すデータを、特徴量抽出部１２０から受け取ると、そのデータによって示される時系列の特徴量ベクトルと、音識別モデルデータベース１９１に格納されているデータとを比較解析して、その音の種別を特定する。そして、音識別部１３０は、その音の種別を示すデータを、人為性判定部１４０へ送る。具体的な特定方法としては、隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）、ＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ベイズ推定といった統計モデルに基づく尤度判定、ＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）マッチング、ＤＴＷ（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ）といったデータ間距離測定に基づく類似度判定等が挙げられる。しかしながら、本発明はこれに限定されない。

人為性判定部１４０は、音の種別を示すデータを、音識別部１３０から受け取ると、そのデータによって示される音の種別を時系列に記録する。次に、人為性判定部１４０は、記録された音の種別の時系列発生パターンを人為性判定データベース１９２に格納されている識別音及び特徴音パターンと比較解析することによって、人為性を判定する。そして、人為性判定部１４０は、その判定結果を示すデータを、出力部１５０へ送る。人為性判定部１４０は、音の種別の時系列発生パターンを用いて人為性を判定するために、所定時間の間に発生した音の種別を記録するためのバッファを具備している。

出力部１５０は、判定結果を示すデータを、人為性判定部１４０から受け取ると、そのデータによって示される判定結果に応じて出力を実行する。具体例としては、データベースへの格納、ディスプレイ、音、光を通じたユーザへの識別音提示、特定のメールアドレスへのメール送信、特定の電話番号への発信、外部機器へのパケット送出等が挙げられる。

音識別モデルデータベース１９１には、音の特徴量ベクトルを比較解析して、その音種別を特定するためのモデルとなるデータが格納されている。モデルデータの具体例としては、特徴量、ＨＭＭ等の統計モデルの学習済みモデルパラメータ等が挙げられる。しかしながら、本発明はこれに限定されない。一般には、特徴量、学習済みモデルパラメータのいずれも、モデルデータは識別させたい音種別毎に用意される。

人為性判定データベース１９２には、識別音、特徴音パターン、及び人為性が対応付けて格納されている。特徴音パターンは、人為性を判定するための特徴音の時系列発生パターンを示す。人為性は、特徴音パターンの発生が検出された場合の、識別音の発生における人為性の有無を示す。

図３は、人為性判定データベース１９２に格納されているデータの一例をテーブル形式で示す。識別音には、「ドア開閉音」なる情報が格納されている。特徴音パターンには、「足音：前後」なる情報が格納されている。人為性には、「有」なる情報が格納されている。これらの情報は、「ドア開閉音」が識別されて、その「前後で足音」が検出された場合は、識別音であるドア開閉には「人為性がある」と判定される旨を意味している。

本実施の形態においては、人為性判定データベース１９２に一のデータの組合せが登録されている例を示すがこれに限られない。人為性判定データベース１９２に複数パターンのデータの組合せが登録されていてもよい。本実施の形態においては、特徴音パターンとして、特徴音の検出の有無を条件として二値判定する場合について示したがこれに限られない。ＨＭＭ、ＧＭＭ、ＳＶＭ、ベイズ推定等といった統計モデルに基づく尤度判定を行ってもよい。

図４は、事象検知装置１００の動作フローの一例を示す。事象検知装置１００の有する音入力素子１１０は、検知した音の空気振動を音の信号情報に変換する（Ｓ１０１）。
続いて、特徴量抽出部１２０は、変換された音の信号情報から特徴量を抽出する（Ｓ１０２）。その後、音識別部１３０は、抽出された特徴量と、音識別モデルデータベース１９１に登録されているモデルデータとを比較解析し、音種別を識別する（Ｓ１０３）。
続いて、人為性判定部１４０は、識別された音種別を時系列に記録し、音種別の時系列の発生パターンと、人為性判定データベース１９２に登録されている識別音及び特徴音パターンとを比較解析し、人為性を判定する（Ｓ１０４）。最後に、出力部１５０は、識別音及び人為性の有無に基づき、出力を行う（Ｓ１０５）。

上記の構成及び動作によって、事象検知装置１００は、プライバシーに配慮しまたコストを抑えながら、識別音の人為性を判別することができる。すなわち、利用者によるドア開閉時には、ドア開閉音の近傍のタイミングで、足音が発生する。一方、風や動物の動作等によってドアの開閉がなされた場合には、ドア開閉音の近傍のタイミングでは足音が発生しない。よって、ドア開閉音を識別音、足音を特徴音とし、特徴音の発生パターンの違いを事象検知装置１００にて認識することにより、人為的に行われたドア開閉を検知することが可能となる。すなわち、利用者に特別な動作を強いることなく、人為的な事象を識別することができる。

（第２の実施の形態）
図５は、本発明の第２の実施の形態に係る事象検知装置２００の利用環境の一例を示す。事象検知装置２００は、人為性に加え、音を発した人物の特定が可能である。事象検知装置２００は宅内の玄関に設置され、玄関及び付近で発生する音を収集する。本実施の形態では、ドア９０１の開閉時にその動作を示す音が発せられる。
また、部屋内及び付近に存在する利用者９０２から、足音が発せられる。また、鍵９０４を利用してドア錠９０３を開閉する際に、開閉錠音が発せられる。更に、鍵９０４には鈴９０５が紐付けられており、鍵９０４を利用した際には鈴９０５から鈴の音が発せられる。
すなわち、事象検知装置２００は「ドアの開閉音」「人の足音」「開閉錠音」「鈴の音」を、それぞれ検知することができる。事象検知装置２００は、本発明の実施形態における「事象検知システム」の一例であってよい。

利用者９０２がドア９０１を開ける場合、利用者９０２はドア９０１を開く前にドア９０１に近づき、またドア９０１を開いたあとはドア９０１から遠ざかる。このため、ドア９０１が開閉される前および／または後で利用者９０２の足音が発せられる。また、ドア９０１の施錠がなされれば、鍵９０４には鈴９０５がついている。このため、ドア９０１の開閉時における錠音が生じる前および／または後で鈴の音が発せられる。

図６は、事象検知装置２００のブロック構成の一例を示す。事象検知装置２００の構成要素のうち、事象検知装置１００の構成要素と同じ符号を付している同名の構成要素は、同様の機能及び動作を示す。

事象検知装置２００と事象検知装置１００との違いについて説明する。事象検知装置２００の人為性判定データベース２９２には、識別音及び特徴音パターンに紐付く人物を更に紐付けて登録される。また、人為性判定部２４０が、人為性判定データベース２９２に登録されている特徴音の発生パターンに基づき、識別音を発した人物の判定を行う。

図７は、人為性判定データベース２９２に格納されているデータの一例をテーブル形式で示す。図７に示す一例では、「ドア開閉音」及び「開閉錠音」が識別された場合の人為性判定情報が登録されている。「ドア開閉音」が識別されたときに、その前後で「足音」が検出された場合は、識別音であるドア開閉には人為性があると判定されるものの、その特徴音では人物を判定することまではできない旨が記載されている。また、「開閉錠音」が識別されたときに、その前後で「鈴の音」が検出された場合は、識別音である開閉錠には人為性があり、更に開閉錠を行ったのがＡ氏であると判定できる旨が記載されている。ここで、Ａ氏は鍵９０４を持つ唯一の人物であるとする。すると、もし「開閉錠音」が識別されたときに、その前後で「鈴の音」が検出されなかった場合、開閉錠の動作そのものには人為性があるものの、その動作に鍵９０４は使われていない。ゆえに開閉錠を行ったのが不審者であると判定できる。以上より、識別音を「開閉錠音」とし、特徴音パターンとして「鈴の音」が検出されなかった場合には、人為性は「有」り、また識別音を発した人物は「不審者」と判定される旨が記載されている。

図８は、事象検知装置２００の動作フローの一例を示す。事象検知装置２００と事象検知装置１００の動作フローとの違いについて説明する。事象検知装置２００では、人為性判定部２４０が、識別された音種別を時系列に記録し、音種別の時系列の発生パターンと、人為性判定データベース２９２に登録されている識別音及び特徴量パターンとを比較解析し、人為性のほかに識別音を発した人物を更に判定する（Ｓ２０１）。

上記の構成及び動作によって、事象検知装置２００は、更に識別音を発した人物の特定を行うことができる。すなわち、開閉錠時に鈴の音がした場合には、鈴９０５の紐付けられている鍵９０４を用いて開閉錠が行われたことを示しており、鍵９０４の持ち主であるＡ氏によって開閉錠が行われたと推測できる。一方、開閉錠時に鈴の音がしない場合には、鍵９０４以外を用いる何らかの方法にて開閉錠が行われた可能性が高いことを示しており、Ａ氏以外、言い換えれば不審者によって開閉錠が行われたと推測できる。
開閉錠音を識別音、鈴の音を特徴音とし、特徴音の発生パターンの違いを事象検知装置２００にて認識することにより、開閉錠を行った人物を特定することができる。すなわち、利用者に特別な動作を強いることなく、事象を発した人物の特定が可能となる。

（第３の実施の形態）
図９は、本発明の第３の実施の形態に係る事象検知装置３００の利用環境の一例を示す。事象検知装置３００は、特徴音に加え、特徴的環境変化の発生パターンに従い判定を行うことができる。特徴的環境変化とは、環境特徴量（具体的には、光量、温度、風量、水分量、電波強度等が挙げられる）の変化から推定可能な環境変化のうち、人間の動作又は特定の人物の動作に起因するものを意図する。具体的には、蛍光灯点灯時に特有の光量変化発生を検知した場合における「蛍光灯の点灯」は、人の操作に基づいて発生する可能性が高い。このため、「蛍光灯の点灯」は特徴的環境変化に相当する。本実施の形態では、環境特徴量として特に光量に着目し、具体的に説明する。事象検知装置３００は、本発明の実施形態における「事象検知システム」の一例であってよい。

事象検知装置３００は宅内の部屋に設置され、部屋内及び付近で発生する音及び環境変化を収集できる。本実施の形態では、ドア９０１の開閉時にその動作を示す音が発せられる。また、照明９０６のスイッチを操作することにより、スイッチ音及び照明特有の光量変化が発生する。すなわち、事象検知装置３００は「ドアの開閉音」および「スイッチ音」に加え、「照明による光量変化」を検知することができる。

図１０は、事象検知装置３００のブロック構成の一例を示す。事象検知装置３００の構成要素のうち、事象検知装置１００の構成要素と同じ符号を付している同名の構成要素は、同様の機能及び動作を示す。

事象検知装置３００は、事象検知装置１００と比較して、光量検出素子３６０と、特徴的環境変化識別モデルデータベース３９３と、特徴的環境変化識別部３７０とを、更に備える。

光量検出素子３６０は、事象検知装置３００の周囲の光量を検出し、情報処理に供する形式に変換する。光量検出素子３６０の具体例としては、照度センサ、光量センサ、フォトダイオード等が挙げられる。以降では、先述の「情報処理に供する形式」を、環境特徴量と呼ぶ。環境特徴量は、音の特徴量ベクトルと同様、時系列データとして抽出される。

環境特徴量は、複数のデータの組み合わせとして用意されてもよい。例えば、光量検出素子３６０が複数の素子で構成され、それぞれの素子が実空間的に異なる場所の光量を検出可能な場合、それぞれの素子で得られる光量を独立の環境特徴量として扱うこととしてもよい。

本実施の形態では、環境特徴量として光量を利用している。一方で、ほかの環境特徴量を利用する場合には、その環境特徴量を検出可能な素子が供されることが望ましい。
例えば、環境特徴量として温度を利用するなら、温度センサ、熱センサ、赤外線センサ等が用いられる。また、環境特徴量として電波強度を利用するなら、対象電波を受信可能なアンテナ及び通信モジュール等が用いられる。また、複数の異なる環境特徴量、例えば光量と温度のそれぞれの環境特徴量を組み合わせて用意されてもよい。

特徴的環境変化識別モデルデータベース３９３は、環境特徴量を比較解析し、特徴的環境変化の有無及び種別を特定するためのモデルとなるデータが格納される。モデルデータの具体例としては、特徴量、ＨＭＭ等の統計モデルの学習済みモデルパラメータが挙げられる。特徴量、学習済みモデルパラメータのいずれも、モデルデータは識別させたい環境変化種別毎に用意される。

特徴的環境変化識別部３７０は、環境特徴量と、特徴的環境変化識別モデルデータベース３９３とを比較解析し、特徴的環境変化の有無及び種別を特定する。また、特徴的環境変化識別部３７０は、特定された環境変化種別を人為性判定部３４０に通知する。具体的な特定方法としては、音識別部１３０と同様に、ＨＭＭ、ＧＭＭ、ＳＶＭ、ベイズ推定といった統計モデルに基づく尤度判定、ＤＰマッチング、ＤＴＷといったデータ間距離測定に基づく類似度判定等が挙げられる。しかしながら、本発明はこれらに限定されない。

事象検知装置３００における人為性判定データベース３９２は、特徴音に加え、特徴的環境変化及びその発生パターンを更に紐付けて保持する。同様に、人為性判定部３４０は、識別音に加え特徴的環境変化の発生パターンと、人為性判定データベース３９２に登録された識別音、特徴音パターン、特徴的環境変化の発生パターンとを比較解析し、人為性を判定する。

図１１は、人為性判定データベース３９２に格納されているデータの一例をテーブル形式で示す。図１１に示す一例では、「ドア開閉音」が識別されたときに、その前後で「スイッチ音」及び光量変化である「照明の点灯」が検出された場合は、識別音であるドア開閉には人為性があると判定される旨が記載されている。

図１２は、事象検知装置３００の動作フローの一例を示す。事象検知装置３００は、事象検知装置１００の動作フローと同様の音識別を行うステップＳ１０１〜Ｓ１０３に加えて、以下のステップＳ３０１〜Ｓ３０３を行う。具体的には、光量検出素子３６０は、事象検知装置３００が設置されている周囲の光量を検出し、環境特徴量に変換する（Ｓ３０１）。特徴的環境変化識別部３７０は、得られた環境特徴量と、特徴的環境変化識別モデルデータベース３９３と比較解析することで、特徴的環境変化の有無及び環境変化の種別を判定する（Ｓ３０２）。その後、人為性判定部３４０は、識別された音種別を環境変化種別時系列に記録し、音種別及び環境変化種別の時系列の発生パターンと、人為性判定データベース３９２に登録されている識別音、特徴音及び特徴的環境変化のパターンとを比較解析し、人為性を判定する（Ｓ３０３）。最後に、出力部１５０は、識別音及び人為性の有無に基づき、出力を行う（Ｓ１０５）。

上記の構成及び動作によって、事象検知装置３００は、音のほかに環境変化に基づいて事象の人為性を判定することができる。ドアの開閉を例にとれば、設置先によっては足音を正確に検出できない可能性がある。また、照明を点灯させる際のスイッチ音を検出できたとしても、スイッチ音の種別がわからなければ、スイッチ音とドア開閉音との因果関係がわからない。このため、そのスイッチ音をドア開閉音の人為性判定に用いることができない。そのため、扉の開閉音及びスイッチ音の近傍のタイミングで、照明９０６の点灯と類推できる光量変化を検知できれば、扉の開閉と照明の点灯との因果関係を利用して、扉の開閉の人為性を判定できる。すなわち、音だけでは人為性あるいは音を発した人物を特定することができない場合においても、人固有あるいは人物固有の環境変化を利用して、人為性ないし人物を特定できる。

以上、第１から第３の実施の形態における事象検知装置の構成及び動作について説明した。特徴音として、周波数ないしリズムに周期性を有する電子音を含むようにしてもよい。電子音の具体例としては、ブザー音、電子メロディ、電子機器の操作反応音、電話着信時の報知音が挙げられる。電子音の多くは電子機器の明示的な操作によって発せられることが多い。また同一の動作を示す電子音であれば、発せられる音の特性は発生毎にほぼ同一となる。よって、高い精度で人為性ないし人物を判定できる。

（第４の実施の形態）
図１３は、本発明の第４の実施の形態に係る事象検知装置４００のブロック構成の一例を示す。事象検知装置４００の構成要素のうち、事象検知装置１００の構成要素と同じ符号を付している同名の構成要素は、同様の機能及び動作を示す。事象検知装置４００は、設置環境にて取得した特徴音を学習により登録することが可能な装置である。事象検知装置４００は、本発明の実施形態における「事象検知システム」の一例であってよい。

事象検知装置４００は、事象検知装置１００と比較して、人為パターン学習部４８０を更に備える。人為パターン学習部４８０は、音識別部１３０によって識別された音種別の発生パターンから、人為性を有する（又は有さないと判断できる）特徴音の候補を選択する。さらに、人為パターン学習部４８０は、候補と、候補を検知した場合の判定モデルとを紐付けて、特徴音として人為性判定データベース１９２に登録する。

人為パターン学習部４８０の動作について、鈴の音を例にとり、より具体的に説明する。鈴そのものの音だけでは、鈴の音が人為性を有するか否かを判定することは困難である。なぜなら、鈴がたとえば猫等の動物の首に紐付いている場合もあれば、鍵やかばん等、人の道具に紐付いている場合もあるためである。すなわち、設置環境によって特徴音における人為性の有無が変わることになる。

例えば猫の鳴き声等、人為性のない音の発生の前後に頻繁に鈴の音が識別された場合、前後に鈴の音が検出されたときの識別音には人為性が低いとみなすことができる。よって、人為パターン学習部４８０は、鈴の音は人為性が低いとして人為性判定データベース１９２に登録する。また、ドアの開閉音及び足音の前後に頻繁に鈴の音が識別された場合、逆に、前後に鈴の音が検出されたときの識別音の対する人為性は高いとみなすことができる。よって人為パターン学習部４８０は、鈴の音は人為性が高いとして人為性判定データベース１９２に登録する。

かかる構成をとることにより、事象検知装置４００は設置環境にて取得した音種別の中から特徴音となりうる音を選択し登録することができる。特徴音の候補の選択基準の一例としては、識別音及び人為性を判定可能な特徴音の前後での発生頻度が高い、人為的と判定された識別音の前後で発生している等が挙げられる。よって、設置環境に特有な特徴音を判別することができる。

入力部を更に備え、利用者からの入力に基づき学習の挙動を制御する構成としてもよい。図１４は、事象検知装置５００のブロック構成の一例を示す。事象検知装置５００の構成要素のうち、事象検知装置１００又は事象検知装置４００の構成要素と同じ符号を付している同名の構成要素は、同様の機能及び動作を示す。事象検知装置５００は、本発明の実施形態における「事象検知システム」の一例であってよい。

事象検知装置５００は、事象検知装置４００と比較して、入力部５９０を更に備える。入力部５９０は、利用者からの入力を受け付け、入力に基づき人為パターン学習部４８０を制御する機能を有する。人為パターン学習部４８０は更に、入力部５９０からの制御に基づき、特徴音の候補の選択及び人為性判定データベース５９２への登録を決定する。

かかる構成をとることにより、事象検知装置５００は利用者からの入力に基づき、利用者の所望のタイミングにて学習動作をさせることができる。このため、利用者の都合に合わせた学習を行うことができる。例えば、利用者の学習させたい特徴音が発生する前後を指定して学習動作を行わせるよう制御することができる。また、学習の結果としての識別音及び特徴音に、利用者の意思に反する音（たとえば設置先環境に固有の雑音等）が含まれていた場合に、利用者の操作によって学習を取り消すことができることとなる。よって、より利用者の意思を反映させた学習が可能となる。

更に特徴音パターンを検出した場合の出力動作を指定し紐付けて登録する構成としてもよい。この場合、人為パターン学習部４８０は更に、入力部５９０を介して指定された指定出力動作を更に紐付けて人為性判定データベース５９２に登録する。出力部１５０は更に、判定結果に基づく動作として、人為性判定データベース５９２に登録された指定出力動作を行う。

図１５は、人為性判定データベース５９２に格納されているデータの一例をテーブル形式で示す。図１５に示す例では、ドア開閉音の前後に足音が発生しているのを識別すると、人為性を有する動作と判定され、出力として時刻及び識別音を記録することが示されている。

かかる構成をとることにより、事象検知装置５００は、利用者の操作によって、特徴音と判定時の出力とを紐付けて人為性判定データベース５９２に登録できる。よって、識別音あるいは特徴音の重要度に応じて、出力動作を変えることができる。例えば、重要でない音や頻発する音の場合は記憶装置への記録にとどめ、重要な音の場合は利用者に通知する、あるいは他機器を操作する際のトリガを発する等と設定することができる。

設置先に固有の音発生パターンに重みをつけて識別するようにしてもよい。この場合、人為パターン学習部４８０は更に、設置先の環境に固有の音発生パターンを選択して学習し、人為性判定部１４０は更に、設置先の固有の音発生パターンに重みをつけて判定する。

かかる構成をとることにより、事象検知装置５００は、設置環境で学習した特徴音について、重み付けをして判定することができる。設置先に固有の音は、設置先の利用者の癖や意思が反映された可能性が高いとみられる。よって、より高い精度で人為性を判定することができる。

複数の宅内に設置された事象検知装置をネットワークを介して接続し、各事象検知装置で取得した音種別及び音種別の発生パターンを基に自動で学習する機能を追加してもよい。図１６は、事象検知装置６００の利用環境の一例を示す。複数の宅内に設置された事象検知装置６００ａ、ｂ、ｃ、・・・（以下、事象検知装置６００と総称する。）は、ネットワーク９９０を介して接続され、各事象検知装置６００で取得された音種別の発生パターンをもとに自動で学習を行う。事象検知装置６００は、本発明の実施形態における「事象検知システム」の一例であってよい。

図１７は、事象検知装置６００のブロック構成の一例を示す。事象検知装置６００の構成要素のうち、事象検知装置１００又は事象検知装置４００の構成要素と同じ符号を付している同名の構成要素は、同様の機能及び動作を示す。

事象検知装置６００は、事象検知装置４００と比較して、通信部６９９を更に備える。通信部６９９は、自装置以外の事象検知装置６００とネットワーク１０１を介して接続し、特徴音に関わる情報を送受信する。

かかる構成をとることにより、事象検知装置６００は、自装置と自装置以外とで取得された音発生パターンを比較し、設置先で発生しうる音発生パターンを識別することが可能となる。具体的には、ある音発生パターンが自装置以外でほとんど登録されていない場合は特徴音パターンとして登録する、といった使い方が挙げられる。設置先に固有の音は、設置先の利用者の癖や意思が反映された可能性が高いとみられる。よって、より高い精度で人為性を判定することができる。

事象検知装置６００において特徴音の登録が不足していると判断される場合に、自動的に学習部を動作させ、利用者に特徴音の登録を促す機能を追加してもよい。この場合、人為性判定部１４０は更に、特徴音の登録の量が、人為性判定部１４０自身において判定を行うに不足すると判定した場合は、人為パターン学習部４８０を動作させる。また出力部１５０は更に、人為性の判定ができないこと及び人為パターン学習部４８０が動作していることを利用者に提示する。

かかる構成をとることにより、事象検知装置６００は、人為性判定が困難な場合に、さらなる特徴音を学習できるよう、利用者に音の入力を促すことができる。よって、より高い精度で判定できるようになる。

第４の実施の形態に示した各々の例では、特徴音及び特徴音を用いた人為性の判定を対象に説明したが、特徴的環境変化についても、また人物特定の判定に対しても、同様に適用可能である。

以上、第１から第４の実施の形態における事象検知装置の構成及び動作について説明した。特徴音として、周波数乃至リズムに周期性を有する電子音を含むようにしてもよい。電子音の具体例としては、ブザー音、電子メロディ、電子機器の操作反応音、電話着信時の報知音が挙げられる。電子音の多くは電子機器の明示的な操作によって発せられることが多い。また同一の動作を示す電子音であれば、発せられる音の特性は発生毎に略同一となる。よって、高い精度で人為性乃至人物を判定できる。

（第５の実施の形態）
図１８は、本発明の第５の実施の形態に係る事象検知装置７００の利用環境の一例を示す。事象検知装置７００は、電子音の検知を利用して指示を行った人物を特定するとともに、あらかじめ指定した機器・アプリケーションを起動する。事象検知装置７００は、本発明の実施形態における「事象検知システム」の一例であってよい。

本実施の形態では、事象検知装置７００、電話機９０７、およびパソコン９０８が宅内に設置される。事象検知装置７００とパソコン９０８とはネットワークで接続されている。事象検知装置７００とパソコン９０８との接続は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、Ｅｔｈｅｒｎｅｔ（登録商標）、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等による方法が挙げられる。事象検知装置７００は電話機９０７からの着信音が聞こえる場所に設置されている。電話機９０７は、携帯電話９０９から着信を受けた場合に、着信音Ｂを発するよう設定されている。

図１９は、事象検知装置７００の人為性判定データベース７９２に格納されているデータの一例をテーブル形式で示す。識別音が無音、すなわち宅内が不在のときに、特徴音として登録された着信音Ｂの音を検知した場合に、発信元がＢ氏であることを識別するとともに、出力としてネットワークを介しパソコン９０８を起動しＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）接続を開始する旨が登録されている。

図２０は、電話機９０７、パソコン９０８、携帯電話９０９、及び事象検知装置７００の動作シーケンスの一例を示す。ここで、Ｂ氏は設置先における住民であり、Ｂ氏は外出時には携帯電話９０９を持ち歩いているとする。宅内不在時に、携帯電話９０９から電話機９０７に発呼を行う（Ｓ４０１）。電話機９０７は着呼すると、発信元である携帯電話９０９に紐付けられた着信音Ｂを鳴らす（Ｓ４０２）。すると事象検知装置７００は、識別音が入力されない、すなわち無音状態で、着信音Ｂを検知する。このため、事象検知装置７００は、人為性判定データベース７９２に登録された情報より、情報の発信元がＢ氏であること、また出力としてパソコン９０８を起動させて、ＶＰＮ接続を行うことが登録されていることを検知する（Ｓ１２３）。検知結果をもとに、事象検知装置７００はパソコン９０８にその指令を含んだパケットを送信する（Ｓ１２４）。パソコン９０８は受信した指令に従い、起動及びＶＰＮ接続を開始する。

かかる構成をとることにより、外出先からでも宅内機器の遠隔制御が可能となる。通常、宅内機器の多くはＮＡＴ（Ｎｅｔｗｏｒｋ Ａｄｄｒｅｓｓ Ｔｒａｎｓｌａｔｉｏｎ）又はＮＡＰＴ（Ｎｅｔｗｏｒｋ Ａｄｄｒｅｓｓ Ｐｏｒｔ Ｔｒａｎｓｌａｔｉｏｎ）処理を介して外部ネットワークと接続されている。このため、ネットワーク外部から直接宅内機器を制御するためには特殊なネットワーク機器の導入、及びセキュリティをはじめとするネットワークへの知識が必要となる。一方、本実施の形態では、事象検知の条件として電子音である電話着信音を指定し、その事象を検知した場合に宅内に設置された事象検出装置７００から別の宅内機器を制御する仕組みを利用している。よって、通信そのものは宅内で完結していることから、ネットワークに起因するセキュリティ及び特殊な動作を意識する必要がなくなる。また、事象トリガとなる電話着信音は、特定の携帯電話９０９から着信した場合に発生するよう設定してあり、第三者からの不正な操作を防止できる。更に、電話着信音の振分け及び設定は既存の電話機９０７にて実現されている機能であるため、新たな機器の導入は最小限に抑えられる。以上より、宅内機器の遠隔制御の際に課題となる、ユーザ知識、コスト、ネットワークセキュリティの問題を解決することができる。

以上、図面を参照して本発明の実施形態について詳しく説明してきた。本発明の実施形態における事象検知装置の全部又は一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。ここでいう「コンピュータシステム」は、ＯＳや周辺機器等のハードウェアを含む。

「コンピュータ読み取り可能な記録媒体」とは、光磁気ディスク、ＲＯＭ、不揮発性半導体メモリ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。上記プログラムは、前述した機能の一部を実現してもよく、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現してもよい。

具体的な構成は上述の構成に限られない。本発明の要旨を逸脱しない範囲内において様々な設計変更等が可能である。例えば、上に示した実施形態では、音の収集・特徴量抽出・識別、人為性判定、出力までをすべて事象検出装置にて行っているがこれに限れず、これらの処理を複数の装置に分離して実現してもよい。例えば、音の収集から識別までをひとつの装置で、また人為性判定及び出力を別の装置で実現し、識別音及び特徴音ないしそれらに類する情報を、ネットワークを介して通知するようにしてもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

（付記１）事象検知装置は、前記人為性判定部は更に、人間の動作に起因する音、又は周波数又はリズムに周期性を有する電子音の発生パターン及び環境変化の学習量が、前記人為性判定部において判定を行うに不足すると判定した場合は、前記人為パターン学習部を動作させ、前記出力部は更に、人為性の判定ができないこと及び前記人為パターン学習機能が動作していることを利用者に提示してもよい。

この出願は、２０１１年２月９日に出願された日本出願特願２０１１−０２５７９５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、音の発生パターンを用いて事象検知を行うことができるため、マイクを設置可能な環境であれば適用できる。また、一般宅内での防犯用途を念頭に説明したが、当然他の用途にも同様に適用できる。例えば、介護施設及び被介護者を有する宅内に適用することで、被介護者の徘徊や転倒に代表される異常状態を検知することが可能となる。そのほか、病院、公共施設、商用施設への適用が期待できる。

１００ 事象検知装置
１１０ 音入力素子
１２０ 特徴量抽出部
１３０ 音識別部
１４０ 人為性判定部
１５０ 出力部
１９１ 音識別モデルデータベース
１９２ 人為性判定データベース
２００ 事象検知装置
２４０ 人為性判定部
２９２ 人為性判定データベース
３００ 事象検知装置
３４０ 人為性判定部
３６０ 光量検出素子
３７０ 特徴的環境変化識別部
３９２ 人為性判定データベース
３９３ 特徴的環境変化識別モデルデータベース
４００ 事象検知装置
４８０ 人為パターン学習部
５００ 事象検知装置
５９０ 入力部
５９２ 人為性判定データベース
６００ 事象検知装置
６９９ 通信部
７００ 事象検知装置
７９２ 人為性判定データベース
９０１ ドア
９０２ 利用者
９０３ ドア錠
９０４ 鍵
９０５ 鈴
９０６ 照明
９０７ 電話機
９０８ パソコン
９０９ 携帯電話
９９０ ネットワーク

Claims (10)

1. 発生した事象を検知する事象検知システムであって、
   取得音の信号情報から、時系列の特徴量ベクトルを抽出する特徴量抽出部と、
   前記特徴量抽出部が抽出した時系列の特徴量ベクトルと、音の種別毎のモデルデータとを比較解析することによって、前記取得音の種別を識別する音識別部と、
   前記取得音の種別と、前記取得音の前後に含まれる人間の動作に起因する音の発生パターンとに基づいて、前記取得音を発生させた事象の人為性を判定する人為性判定部と、
   前記人為性判定部が判定した判定結果に応じて出力を行う出力部と
   を備える事象検知システム。
2. 前記人為性判定部は、特定の人物の動作に起因する音の発生パターンに更に基づいて、前記取得音の発生における人物を更に判定する
   請求項１に記載の事象検知システム。
3. 前記人為性判定部は、周波数又はリズムに周期性を有する電子音の発生パターンに更に基づいて判定する
   請求項１又は２に記載の事象検知システム。
4. 取得された環境特徴量と、人間の動作又は特定の人物の動作に起因する環境変化毎のモデルデータとを比較解析して、人間の動作又は特定の人物の動作に起因する環境変化の有無及び種別を識別する特徴的環境変化識別部を更に備え、
   前記人為性判定部は、前記特徴的環境変化識別部が識別した環境変化の発生パターンに更に基づいて判定する
   請求項１から３のいずれか一項に記載の事象検知システム。
5. 前記特徴的環境変化識別部は、取得されたた少なくとも光量を含む前記環境特徴量と、少なくとも人間の動作又は特定の人物の動作に起因する光量変化を含む環境変化毎に用意されたモデルデータとを比較解析する
   請求項４に記載の事象検知システム。
6. 識別された音及び環境変化の発生パターンから、人間の動作又は特定の人物の動作に起因する音の発生パターン及び環境変化の候補を選択して、前記候補と、前記候補を検知した場合の判定モデルとを紐付けて、前記音の発生パターン及び環境変化として登録する人為パターン学習部を更に備える
   請求項１から５のいずれか一項に記載の事象検知システム。
7. 利用者からの入力を受け付け、入力に基づき人為パターン学習部を制御する入力部を更に備え、
   前記人為パターン学習部は更に、前記入力部からの制御に基づき、前記音の発生パターン及び環境変化の候補の選択及び登録を決定する
   請求項６に記載の事象検知システム。
8. 前記人為パターン学習部は、前記入力部を介して指定された指定出力動作を更に紐付けて登録し、
   前記出力部は、判定結果に基づく動作として、前記指定出力動作を行う
   請求項７に記載の事象検知システム。
9. 前記人為パターン学習部は、人間の動作又は特定の人物の動作に起因する音のうち、前記事象検知システムが設置されている環境に固有の音の発生パターンを選択して学習し、
   前記人為性判定部は、前記固有の音の発生パターンに重みを付けて判定する
   請求項６から８のいずれか一項に記載の事象検知システム。
10. 前記事象検知システム以外の事象検知装置とネットワークを介して接続し、人間の動作に起因する音、特定の人物の動作に起因する音、又は周波数又はリズムに周期性を有する電子音の発生パターン及び環境変化に関わる情報を送受信する通信部を更に備え、
    前記人為パターン学習部は、前記通信部を介して得られた情報に基づいて、前記候補を選択する
    請求項６から９のいずれか一項に記載の事象検知システム。

Images