JP6421087B2 - 周辺状況推定支援装置、方法およびプログラム - Google Patents

Description

この発明は、人を取り巻く周辺の状況を推定する動作を支援する周辺状況推定支援装置、方法およびプログラムに関する。

近年、ユビキタスコンピューティングの発展に伴い、携帯電話機やウェアラブル端末などの携帯型端末に搭載された加速度センサやＧＰＳ（Global Positioning System）センサ、マイクロフォン、カメラなどの様々なセンサを利用して人の生活や体験上の動きを表す情報を蓄積し、この蓄積された情報をもとに人の状況を推定して、その結果を人の状況に依存したサービスに活用する研究が行われている。

人の状況を推定する技術としては、例えば携帯電話機に内蔵された３軸加速度センサを利用して歩行、速歩、階段昇降および走行を認識する技術（例えば非特許文献１を参照）や、加速度センサ、マイクロフォンおよびカメラを搭載したウェアラブル端末を手首に装着し、「歯磨き」、「掃除機をかける」、「皿洗い」といった比較的複雑な日常生活の動作を認識する技術が提案されている（例えば特許文献１を参照）。また、センサを人に装着せずに生活環境に設置して人の状況を認識する技術として、室内の天井などに設置したカメラにより人を撮像し、その撮像画像から人の動作を認識する技術（例えば非特許文献２を参照）や、音の特徴を抽出してその音が発せられている状況を判別する技術も提案されている（例えば非特許文献３を参照）。

ところで、センサデータと状況とを関連付けるには、正しい対応を示す正解センサデータをあらかじめ準備し学習を行う必要があり、種々の学習方法が提案されている。また、正解となるセンサデータを準備する代わりに正しい対応関係を記述した知識ベースを構築し、推定に利用する方法も提案されている（例えば非特許文献４を参照）。

特開２０１０−２７１９７８号公報

Toshiki Iso and Kenichi Yamazaki. "Gait analyzer based on a cell phone with a single three-axis accelerometer." Proceedings of the 8th conference on Human-computer interaction with mobile devices and services. ACM, 2006. Junji Yamato, Jun Ohya and Kenichiro Ishii. "Recognizing human action in time-sequential images using hidden markov model." Computer Vision and Pattern Recognition, 1992. Proceedings CVPR'92., 1992 IEEE Computer Society Conference on. IEEE, 1992. Samuel Kim et al. "Audio scene understanding using topic models." Neural Information Processing System (NIPS) Workshop. 2009. 前川卓也、柳沢 豊、岡留 剛、「Tag and Think: モノに添付したセンサノードのためのモノ自身の推定」、情報処理学会論文誌、Vol. 49, No. 6, pp. 1896-1906 、2008年6月。

ところが、人の行動を推定する場合を考えると、同じ行動であっても個人差によりセンサデータの値は影響を受けるため、従来では被験者が同じ行動を何度も試行したデータから特徴を抽出してこれを正解データとするのが一般的である。しかし、このような学習方法では、精度の高い教師データを得るために多大な手間と時間を要する。

一方、非特許文献４に記載される方法では、被験者が同じ行動を何度も試行する必要はないが、状況を推定するための知識モデルを被験者又はオペレータが手入力で記述する必要がある。このため、推定対象とする状況の数を増やすには多大な労力とコストがかかり推定対象数に限界がある。

この発明は上記事情に着目してなされたもので、その目的とするところは、正解データを予め準備したり知識モデルを手入力することなくセンサデータと状況との関連付けを可能とし、これにより低コストで多様な状況を推定可能な情報を提供する周辺状況推定支援装置、方法およびプログラムを提供することにある。

上記目的を達成するためにこの発明の第１の態様は、ユーザの周辺において発生する事象を表すデータと、前記ユーザの位置データおよび時刻データとを含むセンサデータを時系列的に取得し、取得されたセンサデータに含まれるデータをもとに前記ユーザの周辺の状況のうち同一または類似する状況を特定し、前記取得されたセンサデータの中から前記特定された同一または類似する状況に関連するセンサデータを集約し、前記集約されたセンサデータからその特徴情報を抽出すると共に、上記取得されたセンサデータに基づいて上記ユーザの周辺の状況と関連するラベル情報の候補をネットワーク上のサイトおよびデータベースの少なくとも一方から検索する。そして、上記抽出された特徴情報と上記検索されたラベル情報の候補との相関の度合いに基づいて上記ラベル情報の候補からラベル情報を選択し、当該選択されたラベル情報を上記抽出された特徴情報と関連付けて記憶部に記憶させるようにしたものである。

この発明の第２の態様は、上記特徴情報を抽出する際に、上記取得されたセンサデータに含まれるユーザの位置データおよび時刻データをもとに当該ユーザが滞留している区間を特定し、当該特定された滞留区間に対応するセンサデータを上記取得されたセンサデータの中から集約して、当該集約されたセンサデータからその特徴情報を抽出するようにしたものである。

この発明の第３の態様は、上記ラベル情報の候補を検索する際に、上記取得されたセンサデータに含まれる位置データと予め設定した距離を表す情報とをもとに、ラベル情報の検索対象となる地理的範囲を設定し、当該設定された地理的範囲に存在する物理的対象を、上記ユーザの周辺の状況と関連するラベル情報の候補として検索するようにしたものである。

この発明の第４の態様は、上記ラベル情報の候補を検索する手段が、上記取得されたセンサデータに含まれる位置データまたは時刻データにより表される当該ユーザの状況を表すオブジェクトデータを媒介役として、上記ユーザの周辺の状況と関連するラベル情報の候補をネットワーク上のサイトおよびデータベースの少なくとも一方から検索し、上記ラベル情報を記憶部に記憶させる手段が、上記抽出された特徴情報と上記オブジェクトデータとの相関の度合いと、上記オブジェクトと上記検索されたラベル情報の候補との相関の度合いに基づいて、上記ラベル情報の候補からラベル情報を選択し、当該選択されたラベル情報を上記抽出された特徴情報と関連付けて記憶部に記憶させるようにしたものである。

この発明の第１の態様によれば、取得されたセンサデータをもとに、周辺の状況を示すラベル情報の候補がネットワーク上のサイトおよびデータベースの少なくとも一方から検索される。このため、センサデータと周辺状況を示すラベル情報との対応関係を自動的に学習することが可能となる。したがって、正しい対応を示す正解データを事前に作成しておく必要がなくなり、またユーザ又はオペレータが周辺の状況を示す情報を手入力して登録する必要もなくなる。これにより、手間および時間を掛けることなく、低コストで多様な状況推定を可能にする関連付けデータを作成することが可能となる。
さらに、収集されたセンサデータから特徴情報を抽出する際に、ユーザの同一または類似する状況が特定され、当該同一または類似する状況に関連するセンサデータを抽出対象としたので、ユーザの明確な意思または目的が反映された行為が行われたときの状況下のセンサデータを他の状況から分離集約することができ、これによりユーザを取り巻く状況がより明確に反映された特徴情報を抽出することが可能となる。

この発明の第２の態様によれば、収集されたセンサデータから特徴情報を抽出する際に、ユーザの同一または類似する状況として滞留区間が特定され、当該滞留区間に検出されたセンサデータを抽出対象としたので、ユーザの明確な意思または目的が反映された行為が行われたときの状況下のセンサデータを他の状況から分離集約することができ、これによりユーザを取り巻く状況がより明確に反映された特徴情報を抽出することが可能となる。

この発明の第３の態様によれば、ラベル情報を検索する際に、センサデータに含まれるユーザの位置データと予め設定された距離をもとに検索対象の地理的範囲が設定され、この地理的範囲に含まれる物理的対象がラベル情報の候補として検索される。このため、ユーザの状況とは無関係のラベルを排除した上で、ユーザの状況と関係性の強いラベルをもれなく検索することが可能となる。

この発明に第４の態様によれば、センサデータから抽出された特徴情報とその時のユーザの状況を表すオブジェクトとの関係の強さと、当該オブジェクトと検索されたラベル情報の候補との関係の強さが考慮されて、上記特徴情報に対し最も関係の強いラベルが上記ラベル情報の候補から選択され、当該選択されたラベル情報が上記特徴情報に関連付けられる。このため、特徴情報に対し関係性の薄いラベル情報を排除してより関係性の強いラベル情報を対応付けることが可能となる。

すなわちこの発明によれば、正解データを事前に準備したり知識モデルを手入力することなくセンサデータと状況との対応付が可能となり、これにより低コストで多様な状況を推定可能な情報を提供することを可能にした周辺状況推定支援装置および方法を提供することができる。

この発明の第１の実施形態に係る周辺状況推定支援装置を備えたシステムの全体構成図。 この発明の第１の実施形態に係る周辺状況推定支援装置として使用されるサーバ装置の機能構成を示すブロック図。 図２に示したサーバ装置において保存されるデータの一例を示す図。 図２に示した周辺状況推定支援装置によるセンサデータとテキストデータとの関連付けの例を示す図。 図２に示したサーバ装置による全体の処理手順と処理内容を示すフローチャート。 図５に示したセンサデータの特徴抽出処理の手順と処理内容を示すフローチャート。 図５に示したラベル候補検索処理の手順と処理内容を示すフローチャート。 図６に示したセンサデータ特徴抽出処理で用いられる滞留区間検出処理の一例を説明するための図。 図５に示した相関関係解析処理の一例を説明するための図。 図５に示した相関関係解析処理により得られる推定結果の一例を示す図。 この発明の第２の実施形態に係る周辺状況推定支援装置によるセンサデータとテキストデータとの関連付けの例を示す図。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［第１の実施形態］
（構成）
図１は、この発明の第１の実施形態に係る周辺状況推定支援装置を備えたシステムの全体構成図である。
このシステムは、周辺状況推定支援装置としての機能を有するサーバ装置ＳＶを備え、このサーバ装置ＳＶとユーザが所持するユーザ端末ＴＭ１〜ＴＭｎとの間、およびサーバ装置ＳＶとデータベースＤＢ１〜ＤＢｍとの間で、それぞれ通信ネットワークＮＷを介してデータ通信を可能にしたものである。

通信ネットワークＮＷは、インターネットに代表されるＩＰ（Internet Protocol）網と、このＩＰ網にアクセスするためのアクセス網とから構成される。アクセス網としては、有線電話網、ＬＡＮ（Local Area Network）、携帯電話網、無線ＬＡＮ、ＣＡＴＶ（Cable Television）網等が用いられる。

ユーザ端末ＴＭ１〜ＴＭｎは、例えばウェアラブル端末、スマートフォン、タブレット型携帯情報端末、携帯型のオーディオプレーヤ等の携帯型端末からなり、いずれも周辺の状況をセンシングするセンサとして、例えばマイクロフォンと、ＧＰＳ（Global Positioning System）を利用する位置センサを内蔵している。マイクロフォンはユーザの周辺音を検出する。位置センサはユーザの現在位置と時刻を検出する。なお、センサとしてはユーザの動きを検出する３軸加速度センサ等を用いてもよい。また、センサ群は必ずしも携帯端末に内蔵されていなくてもよく、センサ群により検出されたセンサデータがスマートフォン等の携帯端末を経由して上記サーバ装置ＳＶへ送信されるものであってもよい。

データベースＤＢ１〜ＤＢｍは、例えば位置データ（緯度経度データ）に対応付けて当該位置に存在する地名や施設名を記憶した地図データベースや、時刻に対応付けて「朝」「おはよう」、「昼」「ランチ」、「夜」「おやすみ」「寝る」といった時間に依存性のある情報や、四季または節句等を表す情報を記憶した暦データベースからなり、いずれもＷｅｂサーバに設けられる。また、データベースとしては、他にユーザのスケジュールデータや行動履歴データを記憶したデータベースを利用することもできる。

ところで、サーバ装置ＳＶは次のように構成される。図２はその機能構成を示すブロック図である。
すなわち、サーバ装置ＳＶは制御ユニット１と、記憶ユニット２と、通信インタフェースユニット３とを備えている。通信インタフェースユニット３は、制御ユニット１の制御の下、通信ネットワークＮＷにより規定されるプロトコルに従い、上記ユーザ端末ＴＭ１〜ＴＭｎおよびデータベースＤＢ１〜ＤＢｍとの間でデータ通信を行う。

記憶ユニット２は、記憶媒体としてＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の随時書き込みおよび読み出しが可能な不揮発性メモリを使用したもので、本実施形態を実施するために必要な記憶部として、センサデータ記憶部２１と、特徴データ記憶部２２と、ラベル候補記憶部２３と、解析データ記憶部２４を備えている。図３はこれらの記憶部２１〜２４に記憶されたデータの一例を示したものである。

センサデータ記憶部２１は、上記ユーザ端末ＴＭ１〜ＴＭｎからそれぞれ送信されるセンサデータｘ１，ｘ２，…を、時刻などのセンシング状況を表す情報ａ１，ａ２，…と対応付けて記憶するために使用される。

特徴データ記憶部２２は、着目するセンサデータ（例えば環境音の測定データ）から抽出された特徴データｃ１，ｃ２，…を、上記センシング状況を表す情報ａ１，ａ２，…と、オブジェクトｄ１，ｄ２，…と、滞留区間ｂ１，ｂ２，…とに対応付けて記憶するために使用される。ここで、オブジェクトとは後述するラベルを検索する際の媒介をする情報であり、例えば位置データや時刻データが用いられる。滞留区間とは、ユーザが１つの場所に滞留したときの時間区間を表す。

ラベル候補記憶部２３は、上記データベースＤＢ１〜ＤＢｍから検索された周辺状況を表すラベル候補を、当該ラベル候補を検索するために使用したオブジェクトと対応付けて記憶するために使用される。

解析データ記憶部２４は、上記周辺状況を表すラベル候補の中から選択された最も正解に近いラベルを、上記特徴データと対応付けて記憶するために用いられる。

制御ユニット１は、ＣＰＵ（Central Processing Unit ）等のプロセッサを有し、本実施形態を実施するために必要な処理機能として、センサデータ収集制御部１１と、特徴抽出処理部１２と、ラベル候補検索処理部１３と、相関関係解析処理部１４と、周辺状況推定処理部１５を備えている。これらの処理機能はいずれも図示しないプログラムメモリに格納されたプログラムを上記ＣＰＵに実行させることにより実現される。

センサデータ収集制御部１１は、予め設定した時間間隔で上記ユーザ端末ＴＭ１〜ＴＭｎからそれぞれセンサデータを収集する。そして、ユーザ端末ＴＭ１〜ＴＭｎごとに、当該収集されたセンサデータを時刻などのセンシング状況を表す情報と対応付けて上記センサデータ記憶部２１に記憶させる処理を行う。

特徴抽出処理部１２は、上記センサデータ記憶部２１から着目するセンサデータ（ここでは環境音データ）を読み込み、先ず当該センサデータからユーザが滞留していると推定される時間区間に含まれる環境音データを抽出する。次に、当該滞留区間に含まれる環境音データから、固有の確率分布で出現する音のスペクトルを特徴データとして抽出して、上記特徴データ記憶部２２に記憶させる処理を行う。

ラベル候補検索処理部１３は、上記センサデータ記憶部２１からオブジェクトとして上記滞留区間に対応する位置データを読み込み、当該位置データをもとにデータベースＤＢ１〜ＤＢｍをアクセスして該当する地名や施設名を表す情報を検索する。そして、当該検索された情報群をラベル候補とし、上記オブジェクトに対応付けてラベル候補記憶部２３に記憶させる処理を行う。

相関関係解析処理部１４は、上記ラベル候補記憶部２３に記憶されたラベル候補とオブジェクト（位置）との相関の強さと、上記特徴データ記憶部２２に記憶された環境音の特徴データと上記オブジェクトとの相関の強さを解析し、その解析結果に基づいて、相関の強さが最も大きいラベル候補を上記特徴データに対応付けて解析データ記憶部２４に記憶させる処理を行う。

周辺状況推定処理部１５は、識別（認識）フェーズにおいて、ユーザ端末ＴＭ１〜ＴＭｎから受信した環境音データに対応するラベルデータを上記解析データ記憶部２４から読み出す。そして、この読み出されたラベルデータを状況推定結果を表す情報として、例えばサービス事業者が使用するレコメンドサーバへ通信インタフェースユニット３から送信する処理を行う。

（動作）
次に、以上のように構成された装置の動作を説明する。
（１）学習フェーズ
ここでは、例えば図４に示すように、センサデータとして環境音データを検出し、この環境音データから抽出した特徴データに対し、「踏切」といった施設名を表すテキストデータをラベルとして関連付ける場合を例にとって説明する。図５はその全体の処理手順と処理内容を示すフローチャートである。

（１−１）センサデータの収集
学習フェーズが設定された状態で、ユーザが例えば街の中を移動したとする。この移動中に、ユーザが所持するユーザ端末ＴＭ１は、マイクロフォンにより周囲の環境音を検出して内部メモリに記憶すると共に、一定時間ごと（例：２０ミリ秒ごと）にGPSを利用した位置センサにより現在位置を表す緯度経度データを測定して内部メモリに記憶する。そして、上記環境音の検出データと、その検出時刻を含む緯度経度データを、一定時間ごと（例：１秒ごと）に、センサデータとしてサーバ装置ＳＶに向け無線送信する。

一方サーバ装置ＳＶは、待ち受け状態において、センサデータ収集制御部１１の制御の下、ステップＳＴ１でスマートフォンＴＭ１からのセンサデータの到来を監視している。そして、センサデータが到来するごとに、当該センサデータを通信インタフェースユニット３を介して受信して、センサデータ記憶部２１に記憶させる。この結果、センサデータ記憶部２１には、ユーザ端末ＴＭ１〜ＴＭｎごとに、図３に例示したように環境音データおよび緯度経度データを含むセンサデータｘ１，ｘ２，ｘ３，…が、そのセンシング状況を表す情報としての時刻データａ１，ａ２，ａ３，…と対応付けて順次記憶される。

（１−２）環境音の特徴抽出
上記センサデータ記憶部２１に所定期間（例えば１分）分のセンサデータが記憶されると、サーバ装置ＳＶはステップＳＴ２において、特徴抽出処理部１２の制御の下、上記センサデータに含まれる環境音データからその特徴を抽出する処理を以下のように実行する。図６はその処理手順と処理内容を示すフローチャートである。

すなわち、環境音データは通常連続したデータとなっているため、まずは状況に対応する単位に区切る必要がある。区切りの方法としては、音を一定時間ごとのフレームに分割する方法などが考えられる。しかしながら、この方法では区切られた区間が人の状況を反映したものになるとは限らない。例えば、駅で友人を待っている場合を考えると、立ち止まって滞留している間は「友人を待つ」という状況であると考えられる。しかしながら、状況を考慮せずに区間を区切ると、自宅から駅へ移動する状況と友人を待っている状況、といったように複数の状況が単一の区間中に混在してしまう可能性が高い。

そこで、本実施形態では環境音を分割する基準として移動速度に着目する。具体的には、移動速度が予め定めたしきい値Ｖ₀ より遅い時間区間を滞留区間と見なし、滞留している区間内に取得した環境音データをまとめて１つの状況と見なす。例えば、いまユーザがバス停まで移動してバスを待っていたという状況を想定する。いま、時刻ｔ₀ にＡ地点にいたユーザが移動して、時刻ｔ₁ にＢ地点に到達し、時刻ｔ₂ までバスの到着を待っていたという状況は、移動速度の時間変化で表すと図８に示すようになる。この場合、［ｔ₁ ，ｔ₂ ］区間において移動速度がしきい値Ｖ₀ を下回るため、この時間区間［ｔ₁ ，ｔ₂ ］内で検出された環境音データを１つのまとまりとして処理する。なお、滞留判定のしきい値は、例えば５km/h（1.38m/s）に設定される。

サーバ装置ＳＶは、ステップＳＴ２１により上記所定期間に計測された緯度経度データと時刻データをセンサデータ記憶部２１から読み込み、ステップＳＴ２２において当該緯度経度データと時刻データの変化からユーザの移動速度を算出して、この算出された移動速度をしきい値Ｖ₀ と比較する。そして、その比較結果をもとに、移動速度がしきい値Ｖ₀ より遅い時間区間を滞留区間として特定する。

次に、ステップＳＴ２３により、上記特定された滞留区間に検出された環境音データを上記センサデータ記憶部２１から読み込み、当該環境音データの特徴を抽出するための処理を以下のように実行する。

すなわち、上記滞留区間に検出された環境音データには、統制された環境でない限り様々な音が混在している。これらの音の全てがその場、その状況に特徴的なものであるとは限らない。むしろ、どの場所でも観測されるノイズのような音が大半を占めている可能性が高い。

そこで本実施形態では、環境音データに混在する音をそれぞれの状況ごとに分離する処理を行う。具体的には、ステップＳＴ２４およびステップＳＴ２５においてそれぞれ音のスペクトル解析処理と特徴抽出処理を行う。環境音のスペクトルを解析する手法としては例えばフーリエ変換が用いられる。

また、特徴抽出処理にはLatent Dirichlet Allocation（LDA）を応用した手法を使用することができる。LDA は、元々文書における語の頻度分布を説明するモデルである。文書は複数の潜在的トピックからなり、各トピックは固有の確率分布に基づいて語を出現させ、その結果として文章が生成されると考える。音の周波数成分を語に対応するものとし、LDA における潜在的トピックが状況ごとに分離された音であるとして音の処理に適用する。ここでは、上記特徴抽出処理により分離され集約された音を音響トピックと呼ぶ。

そしてサーバ装置ＳＶは、ステップＳＴ２４において、音響トピックの集合ｃ１，ｃ２，ｃ３，ｃ４，…を、図３に示したようにオブジェクトとしての緯度経度データｄ１，ｄ２，ｄ３，…と、上記滞留区間を表す時間データｂ１，ｂ２，ｂ３，…と、センシング状況を表す情報としての検出時刻データａ１，ａ２，ａ３，…と関連付けて特徴データ記憶部２２に格納する。

なお、LDA については、Blei, David M., Andrew Y. Ng, and Michael I. Jordan. "Latent dirichlet allocation." the Journal of machine Learning research 3 (2003): 993-1022.に詳しく記載されている。

（１−３）ラベル候補の検索
サーバ装置ＳＶは、センサデータ記憶部２１に所定期間（例えば１分）分のセンサデータが記憶されると、ステップＳＴ３において、ラベル候補検索処理部１３の制御の下、上記音響データの特徴と対応付けるためのラベルの検索処理を以下のように実行する。図７はその処理手順と処理内容を示すフローチャートである。

すなわち、ラベル候補の検索処理は、例えばセンサデータに含まれる緯度経度データをオブジェクトとして用い、この緯度経度データをもとにデータベースＤＢ１〜ＤＢｍに設けられたOpen Street Mapをアクセスすることにより、当該緯度経度データに該当する地名や施設名、つまりPoint-of Interest（POI）を示すテキストデータを検索することによりなされる。例えば、環境音が検出された緯度経度近辺の施設として「踏切」と「交番」がOpen Street Mapに登録されていれば、この「踏切」と「交番」を示すテキストデータが周辺の状況を示すラベル候補として検索される。

ところで、POI の候補を検索する際には、測定された緯度経度を中心とする検索範囲、つまり距離（半径ｒ）をどのように設定するかが推定精度を左右する。半径ｒの値を大きく設定するとラベル候補の検索漏れは少なくなるが、関係の無いPOI が候補に含まれる可能性が高くなる。一方、半径ｒの値を小さく設定すると関係の無いPOI が候補に含まれにくくなるが、GPS を利用した位置センサにより測定される緯度経度には誤差があるため関係性の高いPOI が漏れる可能性がある。このため、ラベル候補の検索漏れを防ぐには半径ｒの値はある程度の大きさに設定する必要がある。そこで、本実施形態では半径ｒをｒ＝60mに設定する。
なお、以上述べた例では、ステップＳＴ３２において半径ｒに含まれるPOIを検索するものとした。しかし、これに限るものではなく、データに応じて異なるｒを用いるなど、ｒを可変にしても良い。また、ステップＳＴ３２においてPOIが一定数に達するまでｒを広げる、もしくは縮小して検索しても良い。

サーバ装置ＳＶは、ステップＳＴ３１において、上記所定期間分のセンサデータに含まれる緯度経度データをセンサデータ記憶部２１から読み込むと共に、上記事前に設定された検索範囲を規定する半径ｒの値を内部メモリから読み込む。そして、ステップＳＴ３２において、上記読み込まれた緯度経度データを中心として上記設定された半径ｒの範囲内に含まれるエリアに存在するPOI のテキストデータを、データベースＤＢ１〜ＤＢｍから検索する。そして、この検索されたPOI のテキストデータをラベル候補ｅ１，ｅ２，ｅ３，…とし、図３に示したように上記オブジェクトとしての緯度経度データｄ１，ｄ２，ｄ３，…と対応付けてラベル候補記憶部２３に記憶させる。

（１−４）相関関係の解析
上記ステップＳＴ２によるセンサデータの特徴抽出処理と、上記ステップＳＴ３によるラベル候補の検索処理が終了すると、サーバ装置ＳＶは最後にステップＳＴ４において、相関関係解析処理部１４の制御の下で、センサデータの特徴とラベルとの相関関係を解析する処理を以下のように実行する。

すなわち、相関関係解析処理部１４は、ある地点で検出された環境音Ｓ_i から音響トピックＡＴ_j が抽出され、当該環境音Ｓ_i の検出地点付近にPOI_kが存在しているとき、音響トピックＡＴ_j とPOI_kとを関連付ける。そして、複数の環境音データから得られる複数の音響トピックＡＴ_j と複数のPOI_kとを関連付けを組み合せることで、場所というオブジェクトを介した音響トピックとPOIとの相関関係を示すネットワークを得る。この相関関係のネットワークを利用することで、検出された環境音と、その検出地点に存在する地名や施設名のうち相関の度合いの強い地名や施設名を示すテキストデータとを結び付けることができる。

例えば図９に示すように、ある音響トピックAT₁ が環境音Ｓ₀ およびＳ₁ からそれぞれ抽出され、これらの環境音Ｓ₀ ，Ｓ₁ が観測された場所の近辺に共通してコンビニエンスストアPOI₃が存在していたとする。この場合には、環境音Ｓ₀ に関連付けるべきラベルとしては、踏切POI₁および交番POI₂よりコンビニエンスストアPOI₃が妥当である。このような相関関係性を抽出する処理は、単純には共起する回数の多い音響トピックとラベルとを結び付けることで実現できる。また、相関関係のネットワークの共起解析といった手法も有効である。

図１０は、上記相関関係解析処理により得られたPOIの推定結果の一例を示したものである。同図に示すように、コンビニエンスストアにおいて収集された環境音データのうちの５５％に「コンビニエンスストア」という正しい状況を示すラベルが関連付けられ、残り４５％には「駅」、「その他」というラベルが関連付けられる。踏切の場合には、１００％の確率で「踏切」が関連付けられる。相関関係解析処理部１４は、それぞれの環境音の特徴に対して最も関連度の高いラベルを選択する。そして、図３に示したように上記選択したラベルｅ１，ｅ２，ｅ３，…を音響トピックｃ１，ｃ２，ｃ３，…と対応付けて解析データ記憶部２４に記憶させる。

以上の処理により、場所というオブジェクトを媒介役として、環境音に対しその周辺の状況を示すラベルを関連付けることができる。上記解析データ記憶部２４上に構成された、ラベルｅ１，ｅ２，ｅ３，…と音響トピックｃ１，ｃ２，ｃ３，…との対応関係を表すデータテーブルは、識別（認識）フェーズにおいて、ユーザが行動したときの当該ユーザの周辺状況の推定に使用される。

（２）識別（認識）フェーズ
識別（認識）フェーズが設定された状態でユーザが移動すると、その移動過程においてユーザ端末ＴＭ１により環境音が検出されると共に、その検出位置を示す緯度経度と検出時刻が測定される。そして、この環境音の検出データ、緯度経度データおよび時刻データは一定の時間間隔でサーバ装置ＳＶに収集される。

サーバ装置ＳＶでは、前記学習フェーズの場合と同様に、上記収集された緯度経度データと時刻データをもとにユーザ端末ＴＭ１の滞留区間が特定され、この滞留区間に検出された環境音データについて特徴的な音響トピックを抽出する処理が行われる。この音響トピックの抽出も、前記学習フェーズと同様に、音のスペクトル抽出とLDAを適用した特徴音の分離・集約処理により行われる。

次に、周辺状況推定処理部１５の制御の下、上記抽出された音響トピックをもとに、解析データ記憶部２４から対応するラベルデータが読み出される。そして、この読み出されたラベルデータが、通信インタフェースユニット３から例えばレコメンドサービス事業者のサーバ装置又は医療介護サービス事業者のサーバ装置に向けて送信される。

レコメンドサービス事業者のサーバ装置は、上記周辺状況を示すラベルデータをもとに、ユーザ端末に対し例えば商品情報や観光情報、道案内をするための情報、天気情報等を配信する。また医療介護サービス事業者のサーバ装置は、ユーザの周辺の状況を表す情報を家族又は医療介護スタッフに通知する。

（効果）
以上詳述したように第１の実施形態では、ユーザ端末ＴＭ１〜ＴＭｎから周辺の環境音データと、その検出位置および時刻を示す緯度経度データおよび時刻データを収集し、収集した緯度経度データおよび時刻データからユーザの滞留区間を特定したのち、当該滞留区間に検出された環境音データから音響トピックを抽出する。またそれと共に、上記収集した緯度経度データを媒介役のオブジェクトとしてデータベースＤＢ１〜ＤＢｍから該当する場所に存在する地名や施設名のテキストデータを検索し、検索されたテキストデータ群をラベル候補群とする。そして、このラベル候補群と上記抽出された音響トピックとの相関関係を考慮して共起する回数の多い音響トピックトラベルとを対応付け、この対応付けの結果を周辺状況推定用のデータテーブルに記憶するようにしている。

したがって、ユーザ端末ＴＭ１〜ＴＭｎから収集したセンサデータをもとに、ネット上のデータベースＤＢ１〜ＤＢｍから周辺の状況を示すラベル候補を検索することにより、センサデータと周辺状況を示すテキストデータとの対応関係を自動的に学習することが可能となる。このため、正しい対応を示す正解データを予め作成しておく必要がなくなり、またユーザ又はオペレータが周辺の状況を示す情報を手入力して登録する必要もなくなり、これにより手間および時間を掛けることなく低コストで多様な状況推定を可能にするデータテーブルを構築することが可能となる。

また、収集された環境音データから特徴的な音響トピックを抽出する際に、ユーザの滞留区間を特定して当該滞留区間に検出された環境音データを抽出対象としたので、立ち止まりというユーザの明確な意思または目的が反映された行為が行われたときの状況下における環境音データを他の状況から分離集約することができ、これによりユーザを取り巻く状況をより明確に反映した特徴的な音響トピックを抽出することが可能となる。

さらに、データベースＤＢ１〜ＤＢｍから地名や施設名のテキストデータを検索する際に、検索範囲を規定する半径ｒを適切に設定し、ユーザ端末の位置を中心に上記半径ｒの範囲を検索対象としてラベル候補を検索するようにしたので、ユーザの状況とは無関係のラベルを排除した上で、ユーザの状況と関係性の強いラベルをもれなく検索することが可能となる。

さらに、環境音データから抽出した音響トピックとその検出位置との関係の強さと、当該検出位置と検索されたラベル候補との関係の強さを考慮して、上記音響トピックに対し最も関係の強いラベルを上記ラベル候補から選択し、当該選択されたラベルを上記音響トピックに関連付けるようにしている。このため、音響トピックに対し関係性の薄いラベルを排除してより関係性の強いラベルを対応付けることができる。

［第２の実施形態］
この発明の第２の実施形態は、媒介役となるオブジェクトとして場所の代わりに時刻を用いてラベル検索を行い、これにより一日の時間帯や四季、節句などの時間に係るテキストデータをラベルとして検索し、音響トピックに関連付けるようにしたものである。

例えば、図１１に示すように毎朝ほぼ決まった時間に鳥の鳴き声が聞こえてくるような場合には、センサデータとして環境音データと時刻データを収集し、収集された環境音データから鳥の鳴き声の特徴を音響トピックとして抽出すると共に、時刻データをもとにその時間帯において特徴的なテキストデータをラベル候補として検索する。このとき、ラベル候補の検索手法としては、例えばＳＮＳ（Social Networking Service）などのサイトから該当する時間帯に発信されたテキストデータを検索し、検索されたテキストデータに対し例えばTF-IDF（Term Frequency - Inverse Document Frequency）といった周知の特徴語抽出技術を適用することでラベル候補を抽出することができる。

そして相関関係解析処理部１４では、ある時刻に検出された環境音の特徴を表す音響トピックおよびラベル候補をそれぞれ特徴データ記憶部２２およびラベル候補記憶部２３から読み込み、音響トピックに対し最も関連度の高いラベルを選択する。このようにすると、環境音に含まれる鳥の鳴き声を表す音響トピックに対し、例えば図１１に示すように「朝」といったテキストデータをラベルとして関連付けることが可能となる。

［その他の実施形態］
対象とするセンサデータは環境音データだけに限定するものではなく、例えば香りを検知するセンサを用いて毎朝食べる物や飲み物の香りを検出し、その検出時刻を媒介役として「朝」、「朝食」といったラベルを検索し、上記香りの特徴を表す香りトピックに対し上記「朝」、「朝食」といったラベルを関連付けるようにしてもよい。

また、特徴抽出処理は、図６に示した処理手順と処理内容に限定されるものではなく、周囲の状況を的確に示すような音響データの特徴を抽出し出力できるものであれば他の方法を使用しても良い。さらに、ラベル候補検索処理についても、図７に示した処理手順および処理内容に限定されるものではなく、例えばユーザ端末に設けられたスケジュールデータや行動履歴データから検索したり、ＳＮＳなどの書き込みデータや電子掲示板等から検索するようにしてもよい。

その他、周辺状況推定支援装置の種類やその構成、センサデータとラベルデータとの関連付けをするための学習フェーズの手順と処理内容、解析データの用途等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

ＳＶ…サーバ装置、ＴＭ１〜ＴＭｎ…携帯端末、ＤＢ１〜ＤＢｍ…Ｗｅｂデータベース、ＮＷ…通信ネットワーク、１…制御ユニット、２…記憶ユニット、３…通信インタフェースユニット、１１…センサデータ収集制御部、１２…特徴抽出処理部、１３…ラベル候補検索処理部、１４…相関関係解析処理部、１５…周辺状況推定処理部、２１…センサデータ記憶部、２２…特徴データ記憶部、２３…ラベル候補記憶部、２４…解析データ記憶部。

Claims (6)

1. ユーザの周辺において発生する事象を表すデータと、前記ユーザの位置データおよび時刻データとを含むセンサデータを時系列的に取得する第１の手段と、
   前記取得されたセンサデータに含まれるデータをもとに前記ユーザの周辺の状況のうち同一または類似する状況を特定し、前記取得されたセンサデータの中から前記特定された同一または類似する状況に関連するセンサデータを集約し、前記集約されたセンサデータからその特徴情報を抽出する第２の手段と、
   前記取得されたセンサデータに基づいて、前記ユーザの周辺の状況と関連するラベル情報の候補をネットワーク上のサイトおよびデータベースの少なくとも一方から検索する第３の手段と、
   前記抽出された特徴情報と前記検索されたラベル情報の候補との相関の度合いに基づいて前記ラベル情報の候補からラベル情報を選択し、当該選択されたラベル情報を前記抽出された特徴情報と関連付けて記憶部に記憶させる第４の手段と
   を具備することを特徴とする周辺状況推定支援装置。
2. 前記第２の手段は、
   前記取得されたセンサデータに含まれる前記ユーザの位置データおよび時刻データをもとに前記ユーザが滞留している区間を特定する手段と、
   前記取得されたセンサデータの中から、前記特定された滞留区間に対応するセンサデータを集約する手段と、
   前記集約されたセンサデータからその特徴情報を抽出する手段と
   を備えることを特徴とする請求項１記載の周辺状況推定支援装置。
3. 前記第３の手段は、
   前記取得されたセンサデータに含まれる前記ユーザの位置データと予め設定した距離を表す情報とをもとに、ラベル情報の検索対象となる地理的範囲を設定する手段と、
   前記設定された地理的範囲に存在する物理的対象を、前記ユーザの周辺の状況と関連するラベル情報の候補として検索する手段と
   を備えることを特徴とする請求項１又は２に記載の周辺状況推定支援装置。
4. 前記第３の手段は、前記取得されたセンサデータに含まれる前記ユーザの位置データまたは時刻データにより表される前記ユーザの状況を表すオブジェクトデータを媒介役として、前記ユーザの周辺の状況と関連するラベル情報の候補をネットワーク上のサイトおよびデータベースの少なくとも一方から検索し、
   前記第４の手段は、前記第２の手段により抽出された特徴情報と前記オブジェクトデータとの相関の度合いと、前記オブジェクトと前記第３の手段により検索されたラベル情報の候補との相関の度合いに基づいて、前記ラベル情報の候補からラベル情報を選択し、当該選択されたラベル情報を前記抽出された特徴情報と関連付けて記憶部に記憶させることを特徴とする請求項１乃至３のいずれかに記載の周辺状況推定支援装置。
5. ユーザの周辺において発生する事象を検出するセンサに接続可能な情報処理装置が実行する周辺情報推定支援方法であって、
   前記センサから出力される、前記ユーザの周辺において発生する事象を表すデータと、前記ユーザの位置データおよび時刻データとを含むセンサデータを時系列的に取得する第１の過程と、
   前記取得されたセンサデータに含まれるデータをもとに前記ユーザの周辺の状況のうち同一または類似する状況を特定し、前記取得されたセンサデータの中から前記特定された同一または類似する状況に関連するセンサデータを集約し、前記集約されたセンサデータからその特徴情報を抽出する第２の過程と、
   前記取得されたセンサデータに基づいて、前記ユーザの周辺の状況と関連するラベル情報の候補をネットワーク上のサイトおよびデータベースの少なくとも一方から検索する第３の過程と、
   前記抽出された特徴情報と前記検索されたラベル情報の候補との相関の度合いに基づいて前記ラベル情報の候補からラベル情報を選択し、当該選択されたラベル情報を前記抽出された特徴情報と関連付けて記憶部に記憶させる第４の過程と
   を具備することを特徴とする周辺状況推定支援方法。
6. 請求項１乃至４のいずれかに記載の周辺状況推定支援装置が具備する前記各手段が行う処理を、前記周辺状況推定支援装置が備えるプロセッサに実行させるプログラム。