JP6589994B2 - 行動検知装置、行動検知方法及び行動検知プログラム - Google Patents

Description

本発明は、行動検知装置、行動検知方法及び行動検知プログラムに関する。

社会の高齢化や医療費の増加などに伴ってヘルスケアに注目が集まっている。さらに、ウェアラブルセンサやＩｏＴ（Internet of Things）デバイスの普及が進み、各種のデバイスから様々な情報が取得できる環境が整いつつある。このような背景の下、各種のデバイスを用いた行動検知により生活習慣や健康状態などを把握するために、機械学習によりヘルスケアに関する行動を検知する技術が提案されている。

特開２０１３−１０９６２３号公報

しかしながら、上記の技術では、次のような理由から、行動の検知漏れや誤検知が生じる場合がある。

すなわち、上記の技術では、検知対象とする行動Ａと行動Ａに関連する普段の行動や状況、いわゆる行動習慣との関係を学習することにより個人差の影響を低減し、精度の向上が図られる。ところが、機械学習により行動検知を行う場合、普段では行動Ａが行われない状況下で行動Ａが行われた場合、あるいは普段では行動Ａが行われる状況下で行動Ａが行わなかった場合のように、行動習慣と反する行動が行われると、検知漏れや誤検知が発生する。以下では、行動習慣を単に習慣と呼ぶ場合がある。

１つの側面では、行動の検知漏れ又は誤検知が生じるのを抑制できる行動検知装置、行動検知方法及び行動検知プログラムを提供することを目的とする。

一態様では、行動検知装置は、１つ以上のセンサからセンサデータを取得する取得部と、前記センサデータから検知対象とする行動に対する生体反応の特徴が指標化された第１特徴量を算出する第１特徴量算出部と、前記第１特徴量から前記行動が発生している確率を第１の行動発生確率として算出する第１確率算出部と、前記センサデータから検知対象とする行動に関する習慣の特徴が指標化された第２特徴量を算出する第２特徴量算出部と、前記第２特徴量から前記行動が発生している確率を第２の行動発生確率として算出する第２確率算出部と、前記第１の行動発生確率および前記第２の行動発生確率に基づいて前記行動が行われたか否かを判定する判定部とを有する。ここで言う、生体反応は、体内および体表面の状態や活動を表す信号や、筋肉や部位の動きを捉える信号などがある、例えば、血圧、体温、皮膚電気抵抗、心電波形、心拍数、脈波形、心拍数、脈拍数、皮膚温度、筋電、発声や、臓器の活動音、顔画像、体の部位の加速度や角速度、などがある。

行動の検知漏れ又は誤検知が生じるのを抑制できる。

図１は、実施例１に係るヘルスケア支援システムの構成を示す図である。 図２は、行動検知結果の一例を示す図である。 図３は、行動検知結果の一例を示す図である。 図４は、行動検知結果の一例を示す図である。 図５は、行動検知結果の一例を示す図である。 図６は、行動検知結果の一例を示す図である。 図７は、実施例１に係る学習処理の手順を示すフローチャートである。 図８は、実施例１に係る行動検知処理の手順を示すフローチャートである。 図９は、実施例１及び実施例２に係る行動検知プログラムを実行するコンピュータのハードウェア構成例を示す図である。

以下に添付図面を参照して本願に係る行動検知装置、行動検知方法及び行動検知プログラムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［システム構成］
図１は、実施例１に係るヘルスケア支援システムの構成を示す図である。図１に示すヘルスケア支援システム１は、センサ端末１０により採取されたセンサデータを用いてセンサ端末１０のユーザの生活習慣や健康状態などの健康管理、いわゆるヘルスケアを支援するヘルスケア支援サービスを提供するものである。以下では、あくまで一例として、ヘルスケア支援サービスの一環として、「食事」という行動がユーザの行動として検知対象とされる場合を想定して説明を行うこととする。

図１に示すように、ヘルスケア支援システム１には、センサ端末１０と、情報処理装置１００とが含まれる。なお、図１には、センサ端末が１つである場合を図示したが、ヘルスケア支援システム１には、複数のセンサ端末が収容されることとしてもかまわない。

これらセンサ端末１０及び情報処理装置１００の間は、相互に通信可能に接続される。ここでは、一例として、センサ端末１０及び情報処理装置１００がＢＬＥ（Bluetooth（登録商標） Low Energy）などの近距離無線通信により接続される場合を想定するが、有線または無線を問わず、任意のネットワークを介して互いを接続することができる。例えば、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの構内通信網を始め、インターネット（Internet）などの任意の種類の通信網を介して、センサ端末１０及び情報処理装置１００を接続することができる。

センサ端末１０は、センサを実装する端末装置である。

一実施形態として、センサ端末１０には、スマートグラスやスマートウォッチ等の汎用のウェアラブルセンサを始め、ヘルスケア専用の端末装置などのＩｏＴデバイス全般を採用できる。

センサ端末１０には、少なくとも１つ以上のセンサが実装される。例えば、ユーザの食事が検知対象とされる場合、センサ端末１０には、あくまで一例として、心拍センサを始め、加速度センサやジャイロセンサなどのモーションセンサ、ＧＰＳ（Global Positioning System）受信機などのセンサ類を搭載することができる。

これらセンサ類のうち心拍センサを例に挙げると、センサ端末１０に心拍センサが実装される場合、ユーザの生体部位、例えば胸、腕、手首などに装着する装着型の心拍センサを採用できる他、脈拍を測定する光電脈波センサを採用することもできる。この場合、ヘルスケア専用に心拍センサを実装することもできれば、ウェアラブルガジェットが心拍センサを搭載する場合、その心拍センサを流用することもできる。また、心拍センサには、必ずしも装着型のものを採用せずともかまわない。例えば、ユーザの生体の一部が所定のサンプリング周波数で撮像される画像に関する輝度の時系列変化から心拍数を検出したり、ＲＦ（Radio Frequency）モーションセンサを用いて拍動に伴うドップラ周波数を検出したりすることにより、心拍数の検出をユーザの生体部位に非接触の状態で実現することとしてもかまわない。

ここで言う「心拍数」は、血液を送り出す心臓の拍動回数を表す指標であり、そのセンシング方法は、心臓の電気的活動を計測する方法であっても、血液の流れを計測して脈動を計測する方法であってもかまわない。すなわち、必ずしも心拍数の検出に心拍センサが実装されずともよく、心電信号を検出する心電センサがセンサ端末１０に実装されることとしてもかまわない。

このようにセンサ端末１０に搭載されたセンサ類で測定されたセンサデータは、ユーザの識別情報、例えばセンサ端末１０のマシン名やシリアル番号などと対応付けられた状態で情報処理装置１００へ伝送される。このとき、センサデータは、センサ値が採取される度にリアルタイムで伝送されることとしてもよいし、所定期間、例えば１２時間、１日間、１週間や１ヶ月などにわたって蓄積してから伝送することとしてもかまわない。なお、ここでは、センサ端末１０から情報処理装置１００へセンサデータが伝送される場合を例示したが、センサデータから算出される特徴量、すなわち食事の検知に用いる後述の第１特徴量や第２特徴量をセンサ端末１０から情報処理装置１００へ伝送させることとしてもかまわない。

情報処理装置１００は、上記のヘルスケア支援サービスを提供するコンピュータである。かかる情報処理装置１００には、携帯端末装置、据置き型やノート型のパーソナルコンピュータを含む計算機全般を採用できる。なお、上記の携帯端末装置には、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末のみならず、タブレット端末やスレート端末などがその範疇に含まれる。

一実施形態として、情報処理装置１００は、パッケージソフトウェアやオンラインソフトウェアとして上記のヘルスケア支援サービスを実現する行動検知プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、情報処理装置１００は、センサ端末１０から受け付けたセンサデータを用いて、センサ端末１０のユーザの食事を検知する。その上で、情報処理装置１００は、先に食事の検知結果を用いて食事時間を記録することができる他、それまでに記録された食事時間から所定期間、例えば１週間などにわたる食事時間帯の一覧表を生成した上で出力したり、それまでに記録された食事時間から食習慣またはダイエットに関する分析を行った上で各種のアドバイスを出力したりすることもできる。例えば、情報処理装置１００が有する表示デバイス、音声出力デバイス、印字デバイスなどの出力デバイスを通じて、上記の各種の情報を出力させることができる。また、情報の出力先は、必ずしも情報処理装置１００に限定されず、ユーザが使用する他の端末装置とすることもできるし、その関係者、例えばユーザの親族、医療または介護の担当者などが使用する端末装置とすることもできる。これによって、上記のヘルスケア支援サービスが実現される。

［センサ端末１０の構成］
次に、本実施例に係るセンサ端末１０の機能的構成について説明する。図１に示すように、センサ端末１０は、センサデータ取得部１１と、通信Ｉ／Ｆ（InterFace）部１３とを有する。なお、センサ端末１０は、図１に示した機能部以外にも既知のコンピュータが有する機能部を有することとしてもよい。例えば、ウェアラブルガジェット、ヘルスケア専用の端末装置あるいは携帯端末装置がセンサ端末１０として実行される場合、これらの各装置が標準装備するハードウェア及びソフトウェアを実装できる。

センサデータ取得部１１は、図示しないセンサ類を制御して、上記のセンサデータを取得する処理部である。

一側面として、センサデータ取得部１１がセンサデータの一例として心拍数の時系列データを取得する場合を例示する。例えば、センサデータ取得部１１は、図示しない心拍センサを制御して、所定のサンプリング周期で心拍センサに心拍数をセンシングさせる。これによって、センサデータ取得部１１は、サンプリング点ごとに心拍センサによりセンシングされる心拍数の時系列データを心拍数データとして取得する。かかる心拍数データには、一例として、時間及び心拍数などの項目が対応付けられたデータを採用できる。ここで言う「時間」は、センサ端末１０上でローカルに管理されるシステム時間、例えば任意の開始時点からの経過時間であってもよいし、年月日時分秒等のカレンダ上の暦で表現される時間であってもかまわない。また、「心拍数」は、単位時間あたりの心拍数として表現される。例えば、単位時間を１分間とする場合、心拍数はｂｐｍ（beats per minute）等で表現される。また、単位時間を１秒間とする場合、心拍数はＨｚで表現される。さらに「心拍数」と相関のある指標であれば、心拍数そのものでなくてもかまわない。例えば、心電波形における心電波形のＲＲ間隔はミリ秒で表現され、心拍数の代わりに用いることができる。

ここで、センサ端末１０により心拍数を取得させる趣旨は、食事に伴う循環器の応答を捉えて食事時刻の推定に用いるためであり、心拍数以外にも心電波形や脈波波形から得られる情報や血流量に関わる情報から心拍数と相関のある指標が得られる場合には、その指標を用いることができる。

他の側面として、センサデータ取得部１１がセンサデータの一例として加速度の時系列データを取得する場合を例示する。例えば、センサデータ取得部１１は、図示しない加速度センサを制御して、所定のサンプリング周期で加速度センサに３軸、すなわち上下左右前後の加速度をセンシングさせる。これによって、センサデータ取得部１１は、サンプリング点ごとに加速度センサによりセンシングされる上下左右前後の加速度の時系列データを加速度データとして取得する。かかる加速度データには、一例として、時間及び加速度などの項目が対応付けられたデータを採用できる。ここで言う「時間」は、上記の心拍数データと同様、センサ端末１０上でローカルに管理されるシステム時間、例えば任意の開始時点からの経過時間であってもよいし、年月日時分秒等のカレンダ上の暦で表現される時間であってもかまわない。また、「加速度」には、上下方向、左右方向および前後方向の３軸の加速度を含めることができる。例えば、３軸の加速度のうち一部の方向の加速度に絞って後段の機能部に使用させる場合、後段の機能部で使用されない方向の加速度は加速度データから除去することもできる。

このように心拍数データや加速度データ以外の他のセンサデータを取得することもできる。例えば、時刻ごとに当該時刻でＧＰＳ受信機により測定された位置、例えば緯度および経度などが対応付けられた位置データを取得することもできる。

通信Ｉ／Ｆ部１３は、他の装置、例えば情報処理装置１００などとの間で通信制御を行うインタフェースである。

一実施形態として、通信Ｉ／Ｆ部１３には、センサ端末１０及び情報処理装置１００の間が近距離無線通信により接続される場合、ＢＬＥモジュールなどを採用できる。この他、ＬＡＮやＶＬＡＮなどの無線通信網により接続される場合、通信Ｉ／Ｆ部１３には、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。例えば、通信Ｉ／Ｆ部１３は、上記のセンサデータなどを情報処理装置１００へ送信する。また、通信Ｉ／Ｆ部１３は、上記のセンサデータなどを情報処理装置１００へアップロードする指示やセンサデータを情報処理装置１００へアップロードする間隔に関する指示などの他、行動の検知結果やそれを用いた診断結果などの支援情報などを情報処理装置１００から受信することもできる。

このようにセンサデータ取得部１１により検出されるセンサデータは、図示しないＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）などの制御部の指示にしたがって通信Ｉ／Ｆ部１３により情報処理装置１００へ伝送される。このとき、センサ値がサンプリングされる度に当該センサ値が情報処理装置１００へ伝送されることとしてもよいし、所定の期間、例えば１２時間、１日間、１週間や１ヶ月などにわたって図示しないメモリへセンサデータを蓄積してから情報処理装置１００へ伝送されることとしてもかまわない。

なお、上記のセンサデータ取得部１１などの処理部が用いる主記憶装置には、一例として、各種の半導体メモリ素子、例えばＲＡＭ（Random Access Memory)やフラッシュメモリを採用できる。また、上記の各処理部が参照する記憶装置は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、ＨＤＤ（Hard Disk Drive）、光ディスクやＳＳＤ（Solid State Drive）などを採用できる。

［情報処理装置１００の構成］
次に、本実施例に係る情報処理装置１００の機能的構成について説明する。図１に示すように、情報処理装置１００は、通信Ｉ／Ｆ部１１０と、取得部１２０と、第１特徴量算出部１３０Ａと、第２特徴量算出部１３０Ｂと、第１確率算出部１４０Ａと、第２確率算出部１４０Ｂと、補正部１５０と、判定部１６０とを有する。なお、情報処理装置１００は、図１に示した機能部以外にも既知のコンピュータが有する機能部、例えば各種の入出力デバイスなどを有することとしてもよい。

通信Ｉ／Ｆ部１１０は、他の装置、例えばセンサ端末１０などとの間で通信制御を行うインタフェースである。

一実施形態として、通信Ｉ／Ｆ部１１０には、センサ端末１０及び情報処理装置１００の間が近距離無線通信により接続される場合、ＢＬＥモジュールなどを採用できる。この他、ＬＡＮやＶＬＡＮなどの無線通信網により接続される場合、通信Ｉ／Ｆ部１１０には、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。例えば、通信Ｉ／Ｆ部１１０は、上記のセンサデータなどをセンサ端末１０から受信する。また、通信Ｉ／Ｆ部１１０は、上記のセンサデータをセンサ端末１０にアップロードさせる指示やセンサ端末１０がセンサデータを情報処理装置１００へアップロードする間隔に関する指示などの他、行動の検知結果やそれを用いた診断結果などの支援情報などをセンサ端末１０へ送信することができる。

取得部１２０は、上記のセンサデータを取得する処理部である。

一実施形態として、取得部１２０は、センサ端末１０から近距離無線通信を通じてセンサデータを取得することができる。このような通信によるアクセスの他、取得部１２０は、ハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルメディアに保存されたセンサデータを読み出すことにより心拍数データを取得することもできる。なお、ここでは、センサ端末１０からセンサデータを近距離無線通信により取得する場合を例示したが、情報処理装置１００がセンサ端末１０で説明したセンサ類を内蔵または付設する場合には、センサ類により出力されるセンサデータをそのまま取得してもよい。

ここで、図１に示す取得部１２０からセンサデータの入力が行われる後段の処理部は、互いに並列して処理が実行される２つの処理系に分岐する。すなわち、行動に対する生体反応の特徴が指標化された第１特徴量に関する処理を行う第１の処理系と、行動に関連する習慣の特徴が指標化された第２特徴量に関する処理を行う第２の処理系とに大別される。例えば、第１の処理系には、第１特徴量算出部１３０Ａと、第１確率算出部１４０Ａとが含まれる。また、第２の処理系には、第２特徴量算出部１３０Ｂと、第２確率算出部１４０Ｂとが含まれる。以下では、第１の処理系に含まれる各処理部を説明してから第２の処理系に含まれる各処理部についての説明を行うこととする。

第１特徴量算出部１３０Ａは、上記の第１特徴量を算出する処理部である。ここでは、あくまで一例として、心拍数変化が第１特徴量の一例として算出される場合を例示するが、食事に対する生体反応の特徴を表す指標であればこれ以外にも既存の指標を第１特徴量として算出できるのは言うまでもなく、複数個の第１特徴量が算出されるのも妨げない。

一実施形態として、第１特徴量算出部１３０Ａは、取得部１２０により取得されたセンサデータの中から算出対象とする第１特徴量の算出に用いるセンサデータを取捨選択する。例えば、上記の「心拍数変化」が第１特徴量として算出される場合、取得部１２０により取得されたセンサデータのうち心拍数データを入力とすることが図示しない内部メモリのワークエリア等に設定される。かかる設定を参照することによって、第１特徴量算出部１３０Ａは、取得部１２０により取得されたセンサデータのうち心拍数データを抽出して心拍数変化を算出する。例えば、第１特徴量算出部１３０Ａは、心拍数データに含まれる時刻ごとに、当該時刻で測定された心拍数と、当該時刻の直前に測定された心拍数との差を心拍数変化として算出する。これによって、時刻ごとに第１特徴量が得られる。なお、ここでは、現時刻と直前の時刻との心拍数の差を心拍数変化として算出する場合を例示したが、現時刻の心拍数と現時刻から遡って所定の期間前までに測定された心拍数の統計値、例えば平均値との差を心拍数変化として算出することもできるし、現時刻の心拍数と全期間の心拍数の統計値との差を心拍数変化として算出することもできる。

第１確率算出部１４０Ａは、上記の第１特徴量から行動が発生している行動の発生確率を第１の行動発生確率として算出する処理部である。

一実施形態として、第１確率算出部１４０Ａは、第１特徴量を食事または非食事のクラスに分類する第１判定モデルと、第１特徴量算出部１３０Ａにより時刻ごとに算出された第１特徴量とから第１の行動発生確率を時刻ごとに算出する。かかる第１の行動発生確率は、一例として、ロジスティック回帰分析などのアルゴリズムにしたがって算出することができる。ここで、「第１判定モデル」は、時刻ごとに食事または非食事のラベルと第１特徴量が対応付けられた第１学習データが機械学習されることにより生成されるデータであり、機械学習が行われた段階で内部メモリのワークエリア等に保存された後、行動検知が行われる段階で参照される。なお、機械学習は、必ずしも情報処理装置１００で実行されずともよく、他の装置で生成された第１判定モデルを内部メモリのワークエリア等に保存しておくこととしてもかまわない。

第２特徴量算出部１３０Ｂは、上記の第２特徴量を算出する処理部である。ここでは、あくまで一例として、「運動の有無」や「現在地のカテゴリ」などが第２特徴量の一例として算出される場合を例示するが、行動に関連する習慣の特徴を表す指標であればこれ以外にも既存の指標を第２特徴量として算出できるのは言うまでもなく、複数個の第２特徴量が算出されるのも妨げない。

一実施形態として、第２特徴量算出部１３０Ｂは、取得部１２０により取得されたセンサデータの中から算出対象とする第２特徴量の算出に用いるセンサデータを取捨選択する。例えば、上記の「運動の有無」や「現在地のカテゴリ」が第２特徴量として算出される場合、取得部１２０により取得されたセンサデータのうち加速度データを入力とすることが内部メモリのワークエリア等に設定される。かかる設定を参照することによって、第２特徴量算出部１３０Ｂは、取得部１２０により取得されたセンサデータのうち加速度データや位置データを抽出して運動の有無を算出する。例えば、第２特徴量算出部１３０Ｂは、加速度データに含まれる時刻ごとに、当該時刻で測定された加速度から歩行、昇降や走行などの有無を運動の有無として算出する。また、第２特徴量算出部１３０Ｂは、位置データに含まれる時刻ごとに、当該時刻で測定された位置を自宅、職場、鉄道や飲食店などのカテゴリへ分類した分類結果を現在地のカテゴリとして算出する。これによって、時刻ごとに第２特徴量が得られる。

第２確率算出部１４０Ｂは、上記の第２特徴量から行動が発生している行動の発生確率を第２の行動発生確率として算出する処理部である。

一実施形態として、第２確率算出部１４０Ｂは、第２特徴量を食事または非食事のクラスに分類する第２判定モデルと、第２特徴量算出部１３０Ｂにより時刻ごとに算出された第２特徴量とから第２の行動発生確率を時刻ごとに算出する。かかる第２の行動発生確率も、一例として、ロジスティック回帰分析などのアルゴリズムにしたがって算出することができる。ここで、「第２判定モデル」は、時刻ごとに食事または非食事のラベルと第２特徴量が対応付けられた第２学習データが機械学習されることにより生成されるデータであり、機械学習が行われた段階で内部メモリのワークエリア等に保存された後、行動検知が行われる段階で参照される。なお、機械学習は、必ずしも情報処理装置１００で実行されずともよく、他の装置で生成された第１判定モデルを内部メモリのワークエリア等に保存しておくこととしてもかまわない。

図２は、行動検知結果の一例を示す図である。図２には、第１特徴量および第２特徴量の両方を特徴ベクトルとして機械学習が行われた判定モデルにしたがって行動検知が行われた結果が示されている。さらに、図２には、第１特徴量として心拍数変化が算出されると共に第２特徴量として時刻が算出される場合が示されており、食事に分類された特徴ベクトルが斜線の塗り潰しで示される一方で、非食事に分類された特徴ベクトルが白色の塗り潰しで示されている。また、図２に示す符号２０は、判定モデルにより特徴ベクトルが食事または非食事へ分類される境界線を指す。なお、図２に示すグラフの横軸は、心拍数変化を指し、また、縦軸は、時刻を指す。

例えば、食事をおおよそ毎日同じ時刻に摂取するユーザの場合、正例（食事）と負例（非食事）の境界、すなわち判定モデルにより特徴ベクトルが食事および非食事へ分類される境界は、図２に示す符号２０の通りとなる。このため、ある日早めに食事が摂取された場合、例えば図２中の星印のプロットの特徴ベクトルが算出された場合、心拍数変化が食事である可能性を示唆していても、習慣の特徴量が普段とは異なるので、食事と検知できなくなる。このように、判定モデルにより食事および非食事へ分類される境界が符号２０の通りとなる一因として、以下のことがあげられる。すなわち、生体反応は検知したい行動に伴う信号変化の発生自体は確実性が高いが、発生する信号変化のばらつきは大きい傾向がある。一方で、行動に関連する習慣は、検知したい行動に伴う信号変化が発生するかどうかは確率的だが、発生した信号の変化のばらつきは小さい傾向にある。また、習慣は、人には毎日同じような行動パターンを繰り返す傾向があるため、データ上は、発生の確実性が高い信号変化に見えやすい。機械学習などでは、データ上で発生の確実性が高い信号変化のばらつきが小さい特徴量が優先されるため、このような事象が起こる。

そこで、検知したい行動に伴う信号変化の発生自体は確実性が高い生体反応と、検知したい行動に伴う信号変化が発生するかどうかは確率的行動に関連する習慣を分けて取り扱うことで、習慣と反する行動が行われる場合にも行動が行われたかどうかを判断できる。本実施例では、センサデータを行動に対する生体反応の特徴と行動に関連する習慣の特徴とに分けて第１特徴量および第２特徴量を求め、これら個別の行動発生確率を行動検知に用いる。例えば、第１の行動発生確率および第２の行動発生確率の合計が閾値以上、例えば１以上である場合、行動が行われたと判定することもできる。

図３及び図４は、行動検知結果の一例を示す図である。図３及び図４には、第１の行動発生確率および第２の行動発生確率の合計が１以上であるか否かによって行動検知が行われた結果が示されている。さらに、図３にも、図２と同様に、第１特徴量として心拍数変化が算出されると共に第２特徴量として時刻が算出される場合が示されている。さらに、図３には、同一の時刻で算出された第１特徴量及び第２特徴量の組のうち食事に分類されたプロットが斜線の塗りつぶしで示される一方で、非食事に分類されたプロットが白色の塗り潰しで示されている。さらに、図３には、第１特徴量および第２特徴量を横軸および縦軸に含むグラフの上側と右側へ第１の行動発生確率および第２の行動発生確率の変化を示す２つのグラフが先のグラフの横軸または縦軸に対応させて示されている。なお、図３に示すグラフの横軸は、心拍数変化を指し、また、縦軸は、時刻を指す。また、図４に示すグラフの横軸は、第１の行動発生確率を指し、縦軸は、第２の行動発生確率を指す。

例えば、第１の行動発生確率および第２の行動発生確率により食事または非食事の判定が行われる境界は、図３及び図４に示す符号３０の通りとなる。ここで、黒の塗り潰しで示されたプロット１〜５に注目する。これらプロット１〜５のうち実際の行動が食事であるプロット２、３、５の形状は円形で示されており、実際の行動が非食事であるプロット１及び４は四角で示されている。図３及び図４に示す境界３０の通り、第１の行動発生確率および第２の行動発生確率により食事または非食事の判定が行われる場合、図２に示した判定モデルの境界２０に従えば非食事と検出漏れになるプロット５を「食事」と判定できることがわかる。

このように、第１の行動発生確率および第２の行動発生確率を同等に用いて行動検知を行う結果、機械学習が一因となって行動に関連する習慣の特徴へ重みが偏った判定により行動検知が行われるのを抑制できる。すなわち、普段では食事が行われない状況下で食事が行われた場合、あるいは普段では食事が行われる状況下で食事が行わなかった場合のように、習慣と反する行動が行われた場合の検知漏れや誤検知の発生を抑制できる。例えば、図３及び図４の例で言えば、普段では食事が行われにくい時刻に食事が行われたプロット５も食事と検知できる。

補正部１５０は、第１の行動発生確率および第２の行動発生確率の優位度を補正する処理部である。

一実施形態として、補正部１５０は、次に挙げる３つの方針にしたがって優位度を補正する。１つ目の方針としては、第１の行動発生確率が高い場合に第２の行動発生確率の優位度を低くする。かかる方針は、一因として、心拍数データなどで生体反応がクリアに検出できる場合、普段では食事を摂らない加速度、位置や時刻から検出されていても食事と判断した方がよいという理由の下で採用される。２つ目の方針としては、第１の行動発生確率が中程度もしくは低い場合に第２の行動発生確率の優位度を高くする。かかる方針は、一因として、心拍数データなどで生体反応がクリアに検出しにくい場合、いつも食事をしている時刻かどうかという習慣を加味して判断する。３つ目の方針としては、第１の行動発生確率がかなり低い場合に第２の行動発生確率の優位度を低くする。かかる方針は、心拍数データなどで生体反応が殆ど検出できない場合は、たとえいつも食事をとる習慣と類似する加速度、位置や時刻が検出されているからといって食事と判定しない方がよいという理由の下で採用される。

上記の方針（１）及び（３）を実現する場合、補正部１５０は、第２確率算出部１４０Ｂにより算出された第２の行動発生確率の重みを第１確率算出部１４０Ａにより算出される第１の行動発生確率の値によらず小さく変更する。一例として、補正部１５０は、下記の式（１）にしたがって第２確率算出部１４０Ｂにより算出された第２の行動発生確率の重みを下げる。なお、下記の式（１）における「ａ」は第２の行動発生確率の重みであり、０＜ａ＜１の条件を満たし、例えば、第１判定モデル及び第２判定モデルの学習時に用いられる第１学習データ及び第２学習データの中で最もクリアに正例と負例を分けることができた実験値のうち最小の値が採用される。

第１の行動発生確率＋a＊第２の行動発生確率＞（1＋a）／２・・・（１）

また、上記の方針（１）〜（３）を実現する場合、補正部１５０は、あくまで一例として、下記の式（２）にしたがって、第１確率算出部１４０Ａにより算出された第１の行動発生確率を補正する。下記の式（２）における「ｘ」は、第１確率算出部１４０Ａにより算出された第１の行動発生確率の値を指す。これを下記の式（２）へ代入することにより、補正後の第１の行動発生確率を算出できる。すなわち、第１の行動発生確率が１付近及び０付近の値をとるとき、傾きが１よりも急になるような関数で確率を調整できる。なお、下記の式（２）は、一例であり、上記の方針（１）〜（３）を実現する幾何学式であればａｒｃｃｏｓ等を用いた他の幾何学式を用いることができるのは言うまでもない。また、ここでは、第１確率算出部１４０Ａにより算出された第１の行動発生確率を補正する場合を例示したが、第２確率算出部１４０Ｂにより算出された第２の行動発生確率を補正することとしてもかまわない。

ｔａｎ（（ｘ＊２-１）＊π／２-π／２）・・・（２）

図５及び図６は、行動検知結果の一例を示す図である。図５及び図６には、上記の式（２）にしたがって補正された第１の行動発生確率と、第２の行動発生確率とから機械学習が行われた第３判定モデルにより行動検知が行われた結果が示されている。さらに、図５にも、図２と同様に、第１特徴量として心拍数変化が算出されると共に第２特徴量として時刻が算出される場合が示されている。さらに、図５には、同一の時刻で算出された第１特徴量及び第２特徴量の組のうち食事に分類されたプロットが斜線の塗り潰しで示される一方で、非食事に分類されたプロットが白色の塗り潰しで示されている。さらに、図５には、第１特徴量および第２特徴量を横軸および縦軸に含むグラフの上側と右側へ第１の行動発生確率および第２の行動発生確率の変化を示す２つのグラフが先のグラフの横軸または縦軸に対応させて示されている。なお、図５に示すグラフの横軸は、心拍数変化を指し、また、縦軸は、時刻を指す。また、図６に示すグラフの横軸は、第１の行動発生確率を指し、縦軸は、第２の行動発生確率を指す。

例えば、第３判定モデルにより食事または非食事の判定が行われる境界は、図５及び図６に示す符号５０の通りとなる。図５及び図６に示す境界５０の場合、図３及び図４に示した境界３０に従えば食事と誤検知されるプロット４を「非食事」と判定できると共に、図３及び図４に示した境界３０に従えば非食事と検出漏れとなるプロット２を「食事」と判定できる。

このように、上記の式（２）にしたがって補正された第１の行動発生確率と、第２の行動発生確率とから機械学習が行われた第３判定モデルにより行動検知が行われる結果、機械学習が一因となって行動に関連する習慣の特徴へ重みが偏った判定により行動検知が行われるのを抑制できる。例えば、図５及び図６の例で言えば、普段では食事が行われにくい時刻に食事が行われたプロット２も食事と検知できると共に、普段では食事が行われる時刻に食事が行われなかったプロット４も非食事と検知できる。

判定部１６０は、第１の行動発生確率および第２の行動発生確率から行動が行われたか否かを判定する処理部である。

一実施形態として、判定部１６０は、一例として、上記の式（２）にしたがって補正された第１の行動発生確率と第２の行動発生確率とを食事または非食事のクラスに分類するから第３判定モデルを用いて、補正部１５０により時刻ごとに補正された第１の行動発生確率と、第２確率算出部１４０Ｂにより算出された第２の行動発生確率とから食事または非食事のいずれであるかを時刻ごとに算出する。ここで、「第３判定モデル」は、時刻ごとに食事または非食事のラベルと、補正後の第１の行動発生確率及び第２の行動発生確率とが対応付けられた第３学習データが機械学習されることにより生成されるデータであり、機械学習が行われた段階で内部メモリのワークエリア等に保存された後、行動検知が行われる段階で参照される。なお、機械学習は、必ずしも情報処理装置１００で実行されずともよく、他の装置で生成された第１判定モデルを内部メモリのワークエリア等に保存しておくこととしてもかまわない。

このように判定部１６０により推定された行動の推定結果を用いて推定された食事時間、例えば食事開始時刻、食事終了時刻、もしくは、食事所要時間のうち少なくともいずれか１つは、食事時間を記録したり、それまでに記録された食事時間から所定期間、例えば１週間などにわたる食事時間帯の一覧表を生成した上で出力したり、それまでに記録された食事時間から食習慣またはダイエットに関する分析を行った上で各種のアドバイスを出力したりするヘルスケア支援サービスの実行先へ出力される。かかる実行先は、情報処理装置１００のプロセッサ上で実行される処理部であってもよいし、外部のサーバ装置等などであってもかまわない。

なお、上記の取得部１２０、第１特徴量算出部１３０Ａ、第２特徴量算出部１３０Ｂ、第１確率算出部１４０Ａ、第２確率算出部１４０Ｂ、補正部１５０及び判定部１６０などの処理部は、次のようにして実装できる。例えば、ＣＰＵなどの中央処理装置に、上記の取得部１２０、第１特徴量算出部１３０Ａ、第２特徴量算出部１３０Ｂ、第１確率算出部１４０Ａ、第２確率算出部１４０Ｂ、補正部１５０及び判定部１６０と同様の機能を発揮するプロセスをメモリ上に展開して実行させることにより実現できる。これらの処理部は、必ずしも中央処理装置で実行されずともよく、ＭＰＵに実行させることとしてもよい。また、上記の各機能部は、ハードワイヤードロジックによっても実現できる。

また、上記の各処理部が用いる主記憶装置には、一例として、各種の半導体メモリ素子、例えばＲＡＭやフラッシュメモリを採用できる。また、上記の各機能部が参照する記憶装置は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、ＨＤＤ、光ディスクやＳＳＤなどを採用できる。

［処理の流れ］
次に、本実施例に係る情報処理装置１００の処理の流れについて説明する。なお、ここでは、情報処理装置１００により実行される（１）学習処理を説明した後に、（２）行動検知処理について説明することとする。

（１）学習処理
図７は、実施例１に係る学習処理の手順を示すフローチャートである。この学習処理は、一例として、教師データの供給先が確認された任意のタイミングで開始できる。図７に示すように、所定の供給先から教師データが取得される（ステップＳ１０１）と共に、取得部１２０により１つ以上のセンサデータが取得される（ステップＳ１０２）。なお、教師データには、一例として、実際に食事が行われた期間を特定可能なデータ、例えば食事開始時刻と食事終了時刻がユーザ等により入力されたデータを採用できる。

以降のステップＳ１０３Ａ〜Ｓ１０６Ａ及びステップＳ１０７までの処理Ａと、ステップＳ１０３Ｂ〜ステップＳ１０６Ｂまでの処理Ｂとは、並列して実行される。

まず、ステップＳ１０３Ａ〜Ｓ１０６Ａ及びステップＳ１０７までの処理Ａについて説明する。ステップＳ１０２の実行後、第１特徴量算出部１３０Ａは、ステップＳ１０２で取得されたセンサデータに含まれる時刻ごとに、当該時刻で測定されたセンサ値から第１特徴量を算出する（ステップＳ１０３Ａ）。

そして、第１特徴量算出部１３０Ａは、ステップＳ１０３Ａで第１特徴量が算出された時刻ごとに当該時刻がステップＳ１０１で取得された教師データの食事開始時刻及び食事終了時刻に含まれるか否かにより食事または非食事のラベルを付与することにより、第１学習データを生成する（ステップＳ１０４Ａ）。これによって、ラベル「食事」が付与されたポジティブデータ及びラベル「非食事」が付与されたネガティブデータを第１学習データとして用意できる。

その後、第１確率算出部１４０Ａは、ステップＳ１０４Ａで生成された第１学習データを機械学習することにより、第１判定モデルを生成する（ステップＳ１０５Ａ）。その上で、第１確率算出部１４０Ａは、ステップＳ１０５Ａで生成された第１判定モデルと、ステップＳ１０３Ａで時刻ごとに算出された第１特徴量とから第１の行動発生確率を時刻ごとに算出する（ステップＳ１０６Ａ）。続いて、補正部１５０は、あくまで一例として、上記の式（２）に示す「ｘ」にステップＳ１０６Ａで算出された第１の行動発生確率を代入することにより、第１の行動発生確率を補正する（ステップＳ１０７）。

次に、ステップＳ１０３Ｂ〜Ｓ１０６Ｂまでの処理Ｂについて説明する。ステップＳ１０２の実行後、第２特徴量算出部１３０Ｂは、ステップＳ１０２で取得されたセンサデータに含まれる時刻ごとに、当該時刻で測定されたセンサ値から第２特徴量を算出する（ステップＳ１０３Ｂ）。

そして、第２特徴量算出部１３０Ｂは、ステップＳ１０３Ｂで第２特徴量が算出された時刻ごとに当該時刻がステップＳ１０１で取得された教師データの食事開始時刻及び食事終了時刻に含まれるか否かにより食事または非食事のラベルを付与することにより、第２学習データを生成する（ステップＳ１０４Ｂ）。これによって、ラベル「食事」が付与されたポジティブデータ及びラベル「非食事」が付与されたネガティブデータを第２学習データとして用意できる。

その後、第２確率算出部１４０Ｂは、ステップＳ１０４Ｂで生成された第２学習データを機械学習することにより、第２判定モデルを生成する（ステップＳ１０５Ｂ）。その上で、第２確率算出部１４０Ｂは、ステップＳ１０５Ｂで生成された第２判定モデルと、ステップＳ１０３Ｂで時刻ごとに算出された第２特徴量とから第２の行動発生確率を時刻ごとに算出する（ステップＳ１０６Ｂ）。

このように処理ＡがステップＳ１０７まで進行すると共に処理ＢがステップＳ１０６Ｂまで進行すると、判定部１６０は、ステップＳ１０７で補正された第１の行動発生確率と、ステップＳ１０６Ｂで算出された第２の行動発生確率とを同一の時刻が紐付けられた確率同士で対応付ける（ステップＳ１０８）。

そして、判定部１６０は、ステップＳ１０８で補正後の第１の行動発生確率及び第２の行動発生確率のペアと対応付けられた時刻ごとに当該時刻がステップＳ１０１で取得された教師データの食事開始時刻及び食事終了時刻に含まれるか否かにより食事または非食事のラベルを付与することにより、第３学習データを生成する（ステップＳ１０９）。これによって、ラベル「食事」が付与されたポジティブデータ及びラベル「非食事」が付与されたネガティブデータを第３学習データとして用意できる。

その上で、判定部１６０は、ステップＳ１０９で生成された第３学習データを機械学習することにより、第３判定モデルを生成し（ステップＳ１１０）、処理を終了する。

（２）行動検知処理
図８は、実施例１に係る行動検知処理の手順を示すフローチャートである。この行動検知処理は、一例として、第１判定モデル、第２判定モデル及び第３判定モデルが生成された後の任意のタイミングで開始できる。なお、図８に示すステップのうち図７に示したステップと処理内容が共通する処理には同一のステップ番号を付与している。

図８に示すように、取得部１２０により１つ以上のセンサデータが取得される（ステップＳ１０２）と、ステップＳ１０３Ａ以降の処理Ａと、ステップＳ１０３Ｂ以降の処理Ｂとが並列して実行される。

まず、処理Ａについて説明する。ステップＳ１０２の実行後、第１特徴量算出部１３０Ａは、ステップＳ１０２で取得されたセンサデータに含まれる時刻ごとに、当該時刻で測定されたセンサ値から第１特徴量を算出する（ステップＳ１０３Ａ）。

そして、第１確率算出部１４０Ａは、図７に示す学習処理で生成された第１判定モデルと、ステップＳ１０３Ａで時刻ごとに算出された第１特徴量とから第１の行動発生確率を時刻ごとに算出する（ステップＳ１０６Ａ）。続いて、補正部１５０は、あくまで一例として、上記の式（２）に示す「ｘ」にステップＳ１０６Ａで算出された第１の行動発生確率を代入することにより、第１の行動発生確率を補正する（ステップＳ１０７）。

次に、処理Ｂについて説明する。ステップＳ１０２の実行後、第２特徴量算出部１３０Ｂは、ステップＳ１０２で取得されたセンサデータに含まれる時刻ごとに、当該時刻で測定されたセンサ値から第２特徴量を算出する（ステップＳ１０３Ｂ）。

そして、第２確率算出部１４０Ｂは、図７に示す学習処理で生成された第２判定モデルと、ステップＳ１０３Ｂで時刻ごとに算出された第２特徴量とから第２の行動発生確率を時刻ごとに算出する（ステップＳ１０６Ｂ）。

このように処理ＡがステップＳ１０７まで進行すると共に処理ＢがステップＳ１０６Ｂまで進行すると、判定部１６０は、ステップＳ１０７で補正された第１の行動発生確率と、ステップＳ１０６Ｂで算出された第２の行動発生確率とを同一の時刻が紐付けられた確率同士で対応付ける（ステップＳ１０８）。

その上で、判定部１６０は、図７に示す学習処理で生成された第３判定モデルにしたがってステップＳ１０３Ａで算出された第１特徴量及びステップＳ１０３Ｂで算出された第２特徴量を食事または非食事へ分類することにより、各時刻で食事が行われたか否かを検知し（ステップＳ２０１）、処理を終了する。

［効果の一側面］
上述してきたように、本実施例に係る情報処理装置１００は、センサデータから行動に対する生体反応を示す特徴量と行動の習慣を示す特徴量とに分けて個別に求めた行動発生確率を用いて行動検知を行う。このため、機械学習が一因となって行動に関連する習慣の特徴へ偏重した判定により行動検知が行われるのを抑制できる。したがって、本実施例に係る情報処理装置１００によれば、習慣と反する行動が行われた場合の検知漏れや誤検知の発生を抑制できる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［食事検知］
上記の実施例１では、第１特徴量として心拍数変化を求める場合を例示したが、この他の特徴量を第１特徴量として算出することもできる。例えば、情報処理装置１００は、加速度センサやジャイロセンサのセンサ値から喉の動きの有無、腕の動きの有無、胸部の膨張または収縮などを第１特徴量として算出することもできる。また、上記の実施例１では、第２特徴量として運動の有無、現在地のカテゴリなどを求める場合を例示したが、この他の特徴量を第２特徴量として算出することもできる。例えば、情報処理装置１００は、カメラからＯＮまたはＯＦＦの作動状態を第２特徴量として算出することもできる。

［他の行動検知］
上記の実施例１では、行動検知の一例として食事検知を行う場合を例示したが、行動にともなう生体反応の変化が観察可能な行動であれば、情報処理装置１００を適用することができる。例えば、排尿、排泄、飲水、飲酒、着座、起立、歩行、昇降、睡眠などの他の行動を検知する場合にも、情報処理装置１００を適用することができる。

（１）排尿
例えば、排尿検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、心拍センサから取得された心拍数データから心拍数の変化を第１特徴量として算出できる。他の一例として、荷重センサから取得された体重データから体重の減少率を第１特徴量として算出できる。このように体重の減少率を第１特徴量として定義するのは、排尿後には体重が低下するという特徴があるからである。

また、排尿検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、モーションセンサから取得されたモーションデータから歩行の有無、手の動きの有無、さらには、方向転換の有無などを第２特徴量として算出できる。これらを第２特徴量として定義するのは、排尿前後にはトイレに行くために歩行が行われるという特徴があり、また、排尿後には手を洗うことが多いという特徴があり、また、便座の着座を目的とし、方向転換が行われることが多いという特徴があるからである。他の一例として、マイクから取得された音声データから水流に対応する音の有無を第２特徴量として算出できる。このように水流に対応する音の有無を第２特徴量として定義するのは、排尿前後には便器の洗浄に伴って洗浄水が流れることが多いという特徴があるからである。

（２）排泄
例えば、排泄検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、心拍センサから取得された心拍数データから心拍数の変化を第１特徴量として算出できる。他の一例として、荷重センサから取得された体重データから体重の減少率を第１特徴量として算出できる。このように体重の減少率を第１特徴量として定義するのは、排泄後には体重が低下するという特徴があるからである。

また、排泄検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、モーションセンサから取得されたモーションデータから歩行の有無、手の動きの有無、さらには、起立または着席の姿勢などを第２特徴量として算出できる。これらを第２特徴量として定義するのは、排泄前後にはトイレに行くために歩行が行われるという特徴があり、また、排泄後には手を洗うことが多いという特徴があり、また、排泄前後には、便座の着座を目的とし、方向転換が行われることが多いという特徴があるからである。

（３）飲水
例えば、飲水検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、心拍センサから取得された心拍数データから心拍数の上昇幅や下降幅を第１特徴量として算出できる。これらを第１特徴量として定義するのは、飲水時には心拍数が急激な上昇を示した後に下降するという特徴があるからである。他の一例として、体温計から取得された体温データから体温変化を第１特徴量として算出できる。このように体温変化を第１特徴量として定義するのは、飲水後には飲料の温度により体温が上下するという特徴があるからである。

また、飲水検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、気温・温度センサから取得された気温データや温度データから気温の上昇や湿度の情報を第２特徴量として算出できる。これらを第２特徴量として定義するのは、気温や湿度が上がるほど飲水が行われやすいという特徴があるからである。他の一例として、モーションセンサから取得されたモーションデータから運動の有無を第２特徴量として算出できる。このように運動の有無を第２特徴量として定義するのは、運動後に飲水が行われやすいという特徴があるからである。

（４）飲酒
例えば、飲酒検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、心拍センサから取得された心拍数データから心拍数の上昇変化を第１特徴量として算出できる。このように心拍数の上昇変化を第１特徴量として定義するのは、飲酒時には心拍数が上昇するという特徴があるからである。他の一例として、画像センサ等からから取得された画像データや分光データから顔領域の色と赤色の類似度を第１特徴量として算出できる。これを第１特徴量として定義するのは、飲酒後には顔が赤くなるという特徴があるからである。

また、飲酒検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、タイマーから取得された時刻データから時刻情報を第２特徴量として算出できる。これを第２特徴量として定義するのは、飲酒の時間帯はある程度決まっているという特徴があるからである。他の一例として、ＧＰＳ受信機や無線ＬＡＮアクセスポイントなど位置センサから取得された位置データから飲食店の存否を第２特徴量として算出できる。このように飲食店の存否を第２特徴量として定義するのは、飲酒が行われる場所はある程度固定化されているという特徴があるからである。他の一例として、食事の有無を第２特徴量として算出できる。このように食事の有無を第２特徴量として定義するのは、飲酒が食事と共に行われる場合が多いという特徴があるからである。

（５）着座
例えば、着座検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、心拍センサから取得された心拍数データから心拍数の減少変化を第１特徴量として算出できる。このように減少変化を第１特徴量として定義するのは、着座には心拍数が減少しやすいという特徴があるからである。他の一例として、モーションセンサから取得されたモーションデータから屈伸または屈曲の姿勢変化を第１特徴量として算出できる。このように姿勢変化を第１特徴量として定義するのは、着座時には膝の曲げ伸ばしが発生するという特徴があるからである。更なる一例として、筋電センサから取得された筋電信号から足の筋肉の操作の有無を第１特徴量として算出できる。このように足の筋肉の操作の有無を第１特徴量として定義するのは、着座時には足の筋肉に力が入るという特徴があるからである。

また、着座検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、モーションセンサから取得されたモーションデータから歩行の有無を第２特徴量として算出できる。このように歩行の有無を第２特徴量として定義するのは、起立後には歩行が行われることが多いという特徴があるからである。

（６）起立
例えば、起立検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、心拍センサから取得された心拍数データから心拍数の上昇変化を第１特徴量として算出できる。このように上昇変化を第１特徴量として定義するのは、起立後には着座時や横臥時よりも心拍数が上昇しやすいという特徴があるからである。他の一例として、モーションセンサから取得されたモーションデータから屈伸または屈曲の姿勢変化を第１特徴量として算出できる。このように姿勢変化を第１特徴量として定義するのは、起立時には膝の曲げ伸ばしが発生するという特徴があるからである。

また、起立検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、モーションセンサから取得されたモーションデータから歩行の有無を第２特徴量として算出できる。このように歩行の有無を第２特徴量として定義するのは、起立後には歩行が行われることが多いという特徴があるからである。

（７）歩行
例えば、歩行検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、モーションセンサから取得されたモーションデータから脚部の周期動作の有無を第１特徴量として算出できる。このように脚部の周期動作の有無を第１特徴量として定義するのは、歩行時は左右の足が交互に動かされるという特徴があるからである。他の一例として、心拍センサから取得された心拍数データから心拍数の上昇変化を第１特徴量として算出できる。このように上昇変化を第１特徴量として定義するのは、歩行時には着座時や横臥時よりも心拍数が上昇しやすいという特徴があるからである。

また、歩行検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、起立動作の有無を第２特徴量として算出できる。このように起立動作の有無を第２特徴量として定義するのは、起立後には歩行が行われることが多いという特徴があるからである。他の一例として、リモコンのスイッチの操作有無を第２特徴量として算出できる。これを第２特徴量として定義するのは、電化製品を操作するために歩行が行われやすいという特徴があるからである。

（８）昇降
例えば、階段等の昇降検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、モーションセンサにより取得されたモーションデータから脚部の周期動作の有無を第１特徴量として算出できる。このように脚部の周期動作の有無を第１特徴量として定義するのは、歩行時は左右の足が交互に動かされるという特徴があるからである。他の一例として、心拍センサから取得された心拍数データから心拍数の上昇変化を第１特徴量として算出できる。このように上昇変化を第１特徴量として定義するのは、歩行時には着座時や横臥時よりも心拍数が上昇しやすいという特徴があるからである。更なる一例として、呼吸の浅さや発汗の有無を第１特徴量として算出できる。これらを第１特徴量として定義するのは、昇降時には呼吸が荒くなったり、発汗が起こったりしやすいという特徴があるからである。

また、昇降検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、気圧センサにより取得された気圧データから気圧変化を第２特徴量として算出できる。このように気圧変化を第２特徴量として定義するのは、昇降時に周辺気圧の変化を伴うことが多いという特徴があるからである。

（９）睡眠
例えば、睡眠検知が行われる場合、第１特徴量として次のような特徴量を算出できる。一例として、心拍センサから取得された心拍数データから心拍数変化、心拍変動（ＬＦ／ＨＦ）などを第１特徴量として算出できる。これらを第１特徴量として定義するのは、睡眠時には日中の心拍数よりも心拍数が減少したり、レム睡眠、ノンレム睡眠で心拍変動が繰り返されるという特徴があるからである。他の一例として、眼球運動を第１特徴量として算出できる。このように眼球運動を第１特徴量として定義するのは、レム睡眠、ノンレム睡眠で眼球運動が違い、激しくなったり落ち着いたりを繰り返すという特徴があるからである。

また、睡眠検知が行われる場合、第２特徴量として次のような特徴量を算出できる。一例として、位置センサにより取得された位置データから自宅、宿泊施設などの特定場所への存否を第２特徴量として算出できる。このように特定場所への存否を第２特徴量として定義するのは、寝どころはある程度固定されているという特徴があるからである。他の一例として、照度センサにより取得された照度データから照明のＯＦＦ状態を第２特徴量として算出できる。このように照明のＯＦＦ状態を第２特徴量として定義するのは、睡眠時には消灯される可能性が高いという特徴があるからである。更なる一例として、マイクにより取得された音声データから音の有無を第２特徴量として算出できる。このように音の有無を第２特徴量として定義するのは、睡眠時には静かな環境である可能性が高いという特徴があるからである。

［スタンドアローン］
上記の実施例１では、センサ端末１０及びサーバ装置１００を含むクライアントサーバシステムとして構築される場合を例示したが、これに限定されない。例えば、センサデータの取得から行動検知までの一連の処理をセンサ端末１０、サーバ装置１００、あるいはその他のコンピュータにスタンドアローンで実行させることとしてもかまわない。

［システムの応用例］
上記の実施例１では、ヘルスケア支援システム１にサーバ装置１００が含まれることとしたが、必ずしもサーバ装置１００が含まれずともかまわない。すなわち、センサ端末１０がウェアラブルガジェット等として実装される場合、ウェアラブルガジェットにより近距離無線通信等で接続されるスマートフォンやタブレット端末でセンサデータの取得以外の各種の処理、例えば行動検知を実行させることとしてもかまわない。

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部１２０、第１特徴量算出部１３０Ａ、第２特徴量算出部１３０Ｂ、第１確率算出部１４０Ａ、第２確率算出部１４０Ｂ、補正部１５０又は判定部１６０を情報処理装置１００の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部１２０、第１特徴量算出部１３０Ａ、第２特徴量算出部１３０Ｂ、第１確率算出部１４０Ａ、第２確率算出部１４０Ｂ、補正部１５０又は判定部１６０を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の情報処理装置１００の機能を実現するようにしてもよい。

［行動検知プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図９を用いて、上記の実施例と同様の機能を有する行動検知プログラムを実行するコンピュータの一例について説明する。

図９は、実施例１及び実施例２に係る行動検知プログラムを実行するコンピュータのハードウェア構成例を示す図である。図９に示すように、コンピュータ１０００は、操作部１１００ａと、スピーカ１１００ｂと、カメラ１１００ｃと、ディスプレイ１２００と、通信部１３００とを有する。さらに、このコンピュータ１０００は、ＣＰＵ１５００と、ＲＯＭ１６００と、ＨＤＤ１７００と、ＲＡＭ１８００とを有する。これら１１００〜１８００の各部はバス１４００を介して接続される。

ＨＤＤ１７００には、図９に示すように、上記の実施例１で示した取得部１２０、第１特徴量算出部１３０Ａ、第２特徴量算出部１３０Ｂ、第１確率算出部１４０Ａ、第２確率算出部１４０Ｂ、補正部１５０及び判定部１６０と同様の機能を発揮する行動検知プログラム１７００ａが記憶される。この行動検知プログラム１７００ａは、図１に示した取得部１２０、第１特徴量算出部１３０Ａ、第２特徴量算出部１３０Ｂ、第１確率算出部１４０Ａ、第２確率算出部１４０Ｂ、補正部１５０及び判定部１６０の各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７００には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７００に格納されればよい。

このような環境の下、ＣＰＵ１５００は、ＨＤＤ１７００から行動検知プログラム１７００ａを読み出した上でＲＡＭ１８００へ展開する。この結果、行動検知プログラム１７００ａは、図９に示すように、行動検知プロセス１８００ａとして機能する。この行動検知プロセス１８００ａは、ＲＡＭ１８００が有する記憶領域のうち行動検知プロセス１８００ａに割り当てられた領域にＨＤＤ１７００から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、行動検知プロセス１８００ａが実行する処理の一例として、図７や図８に示す処理などが含まれる。なお、ＣＰＵ１５００では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。

なお、上記の行動検知プログラム１７００ａは、必ずしも最初からＨＤＤ１７００やＲＯＭ１６００に記憶されておらずともかまわない。例えば、コンピュータ１０００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１０００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１０００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１０００がこれらから各プログラムを取得して実行するようにしてもよい。

１ ヘルスケア支援システム
１０ センサ端末
１１ センサデータ取得部
１３ 通信Ｉ／Ｆ部
１００ 情報処理装置
１１０ 通信Ｉ／Ｆ部
１２０ 取得部
１３０Ａ 第１特徴量算出部
１３０Ｂ 第２特徴量算出部
１４０Ａ 第１確率算出部
１４０Ｂ 第２確率算出部
１５０ 補正部
１６０ 判定部

Claims (4)

1. １つ以上のセンサからセンサデータを取得する取得部と、
   生体反応の変化を検知対象とする行動の有無のクラスへ分類する第１の学習済みモデルへ入力する第１特徴量として、前記センサデータから生体反応の変化を算出する第１特徴量算出部と、
   前記第１特徴量および前記第１の学習済みモデルに基づいて前記行動が発生している確率を第１の行動発生確率として算出する第１確率算出部と、
   運動の有無、時間または位置を前記行動の有無のクラスへ分類する第２の学習済みモデルへ入力する第２特徴量として、前記センサデータから運動の有無、時間または位置を算出する第２特徴量算出部と、
   前記第２特徴量および前記第２の学習済みモデルに基づいて前記行動が発生している確率を第２の行動発生確率として算出する第２確率算出部と、
   前記第１の行動発生確率の値が所定の値よりも大きい場合に、前記第２の行動発生確率に付与する重みを前記第１の行動発生確率に付与する重みよりも小さい重みに補正する補正部と、
   前記第１の行動発生確率、前記第２の行動発生確率、前記第１の行動発生確率に付与する重みおよび前記第２の行動発生確率に付与される補正後の重みに基づいて前記行動が行われたか否かを判定する判定部と
   を有することを特徴とする行動検知装置。
2. 前記補正部は、前記第１の行動発生確率の値が所定の値よりも小さい場合に、前記第２の行動発生確率の重みを小さくする補正を行うことを特徴とする請求項１に記載の行動検知装置。
3. コンピュータが、
   １つ以上のセンサからセンサデータを取得する処理と、
   生体反応の変化を検知対象とする行動の有無のクラスへ分類する第１の学習済みモデルへ入力する第１特徴量として、前記センサデータから生体反応の変化を算出する処理と、
   前記第１特徴量および前記第１の学習済みモデルに基づいて前記行動が発生している確率を第１の行動発生確率として算出する処理と、
   運動の有無、時間または位置を前記行動の有無のクラスへ分類する第２の学習済みモデルへ入力する第２特徴量として、前記センサデータから運動の有無、時間または位置を算出する処理と、
   前記第２特徴量および前記第２の学習済みモデルに基づいて前記行動が発生している確率を第２の行動発生確率として算出する処理と、
   前記第１の行動発生確率の値が所定の値よりも大きい場合に、前記第２の行動発生確率に付与する重みを前記第１の行動発生確率に付与する重みよりも小さい重みに補正する処理と、
   前記第１の行動発生確率、前記第２の行動発生確率、前記第１の行動発生確率に付与する重みおよび前記第２の行動発生確率に付与される補正後の重みに基づいて前記行動が行われたか否かを判定する処理と
   を実行することを特徴とする行動検知方法。
4. コンピュータに、
   １つ以上のセンサからセンサデータを取得する処理と、
   生体反応の変化を検知対象とする行動の有無のクラスへ分類する第１の学習済みモデルへ入力する第１特徴量として、前記センサデータから生体反応の変化を算出する処理と、
   前記第１特徴量および前記第１の学習済みモデルに基づいて前記行動が発生している確率を第１の行動発生確率として算出する処理と、
   運動の有無、時間または位置を前記行動の有無のクラスへ分類する第２の学習済みモデルへ入力する第２特徴量として、前記センサデータから運動の有無、時間または位置を算出する処理と、
   前記第２特徴量および前記第２の学習済みモデルに基づいて前記行動が発生している確率を第２の行動発生確率として算出する処理と、
   前記第１の行動発生確率の値が所定の値よりも大きい場合に、前記第２の行動発生確率に付与する重みを前記第１の行動発生確率に付与する重みよりも小さい重みに補正する処理と、
   前記第１の行動発生確率、前記第２の行動発生確率、前記第１の行動発生確率に付与する重みおよび前記第２の行動発生確率に付与される補正後の重みに基づいて前記行動が行われたか否かを判定する処理と
   を実行させることを特徴とする行動検知プログラム。

Images