JP7237756B2 - 電子機器および情報処理システム - Google Patents

Description

本発明の実施形態は、ユーザーの行動や状態を認識するための電子機器および情報処理システムに関する。

近年、活動量計やスマートウォッチ等のウェアラブルデバイスが普及してきている。ウェアラブルデバイスに搭載されたセンサーは、ユーザーの加速度や温湿度、生体信号等を計測する。このようなセンサーで計測された信号を用いて、ユーザーの行動や状態を認識する技術の開発も盛んになってきている。

ウェアラブルデバイスは、一般の消費者によって用いられるだけでなく、製造や物流、フィールドメンテナンス等の各種の作業に従事する作業者によって用いられることがある。産業分野での利用では特に、作業の妨げとならないように、ウェアラブルデバイスの小型化が求められることがある。このようなウェアラブルデバイスは演算性能やバッテリー容量が低い可能性がある。

特表２０１８－５２８６２７号公報

本発明が解決しようとする課題は、長時間駆動できると共に、高精度な行動・状態認識結果を取得可能な電子機器および情報処理システムを提供することである。

実施形態によれば、電子機器は、ユーザーが装着または携行可能であり、１つ以上のセンサーと、候補検出部と、送信部とを具備する。前記候補検出部は、前記１つ以上のセンサーを用いて１つ以上の第１時系列センサーデータを取得し、前記１つ以上の第１時系列センサーデータの少なくとも１つを用いて、前記ユーザーの行動と状態の少なくとも一方の候補を検出する。前記送信部は、前記候補が検出された場合、前記候補に基づいて、前記１つ以上の第１時系列センサーデータの少なくとも１つの、第１期間のデータサブセットを外部演算装置に送信し、前記候補が検出されなかった場合、前記１つ以上の第１時系列センサーデータのいずれも前記外部演算装置に送信しない。

第１実施形態に係る電子機器と外部演算装置とを備える情報処理システムの構成を示すブロック図。 第１実施形態に係る電子機器のシステム構成を示すブロック図。 第１実施形態に係る電子機器と外部演算装置の機能構成を示すブロック図。 第１実施形態に係る電子機器と外部演算装置とによる処理シーケンスの例を示す図。 第１実施形態に係る電子機器と外部演算装置とによって取得されるデータを説明するための図。 第１実施形態に係る電子機器によって、ユーザーが特定の状態（例えば熱中症状態）であり得ることを示す候補が検出される例を示す図。 第１実施形態に係る電子機器によって図６の候補に基づいて生成されるデータサブセットの例を示す図。 第１実施形態に係る電子機器または外部演算装置によって表示される画面の例を示す図。 第２実施形態に係る電子機器および外部演算装置の機能構成を示すブロック図。 第２実施形態に係る電子機器と外部演算装置とによる処理シーケンスの例を示す図。 第２実施形態に係る電子機器によって緊急度として用いられる暑さ指数のレベルを説明するための図。 第２実施形態に係る電子機器または外部演算装置によって表示される画面の例を示す図。 第３実施形態に係る電子機器と外部演算装置の機能構成を示すブロック図。 第３実施形態に係る電子機器と外部演算装置とによる処理シーケンスの例を示す図。 第３実施形態に係る電子機器によって表示される画面の例を示す図。 第４実施形態に係る電子機器と外部演算装置とを備える情報処理システムの構成を示すブロック図。 第４実施形態に係る電子機器、別の電子機器、および外部演算装置の機能構成を示すブロック図。 第４実施形態に係る電子機器、別の電子機器、および外部演算装置による処理シーケンスの例を示す図。

以下、実施の形態について図面を参照して説明する。図面において、同一の符号は同様のものを示しており、重複した説明は省略する。

（第１実施形態）
まず図１を参照して、第１実施形態に係る電子機器を含む情報処理システムの構成を説明する。この情報処理システム１は認識対象のユーザーの行動や状態を認識するためのシステムであり、行動・状態認識システムとも称される。認識されるユーザーの行動や状態は、例えばふらつき、転倒、熱中症状態のような、体調不良、事故の発生や予兆等を示す様々な行動や状態を含む。情報処理システム１は、１つ以上のセンサー２０３を備える電子機器２（以下、センサーデバイスとも称する）と、外部演算装置３とで構成され得る。

センサーデバイス２は、認識対象のユーザーが手首、足首、首、腰、頭等に装着可能なウェアラブルデバイスや、認識対象のユーザーが携行可能なポータブルデバイス（例えばスマートフォン）として実現され得る。センサーデバイス２内の各センサー２０３は、センサーデバイス２を装着または携行しているユーザーの行動や状態に関わる種々の信号（あるいはデータ）を生成する。センサー２０３は、例えば加速度、角速度、地磁気、気圧、温度、湿度、生体信号（筋電位、心拍、脈波等）を計測するためのセンサーである。センサーデバイス２は、生成された信号に基づく時系列のセンサーデータを取得できる。

以下では、説明を分かりやすくするために、センサーデバイス２が、認識対象のユーザーによって装着されたウェアラブルデバイスである場合について主に例示する。また、認識対象のユーザーを、単にユーザーとも称する。

外部演算装置３は情報処理装置であり、サーバーコンピュータ等として実現され得る。外部演算装置３とセンサーデバイス２とはネットワークを介してデータを相互に送受信可能である。センサーデバイス２は、例えば無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）を用いた無線接続により、外部演算装置３との間でデータを送受信できる。

センサーデバイス２は、一般の消費者によって用いられるだけでなく、製造や物流、フィールドメンテナンス等の各種の作業に従事する作業者によって用いられることがある。センサーデバイス２が一般の消費者によって装着される場合、センサー２０３を用いて取得された時系列センサーデータは、歩数、運動強度、心拍数等を示し、これらに基づく健康管理等のために利用される。また、センサーデバイス２が作業者によって装着される場合、センサー２０３を用いて取得された時系列センサーデータは、作業現場における作業内容を分類して生産性改善のための分析に利用されたり、転倒検知や熱中症リスク推定等を通した作業者の安全確保に利用されたりする等、産業分野でも活用できる。

産業分野での利用では特に、センサーデバイス２の装着がユーザーによる作業の妨げとならないように、センサーデバイス２の小型化が要求され得る。そのため、センサーデバイス２内の演算装置やバッテリーのような各コンポーネントには、サイズに関する制約が設けられることがある。このような場合にセンサーデバイス２を長時間駆動させるためには、例えば演算装置（ＳｏＣ、プロセッサ等）による消費電力を低減する必要がある。しかしながら、これは演算装置が低い性能しか発揮できないことを意味する。したがってセンサーデバイス２では、例えばユーザーの行動や状態を認識するための処理に利用できる演算のための性能（あるいはリソース）に、大きな制約が存在し得る。

本実施形態では、外部演算装置３によってユーザーの行動や状態を認識するための処理を実行する。つまり、消費電力を低減しなければならないことに起因する上記の制約がない外部演算装置３によって、高度で演算量が大きい認識処理が実行される。

外部演算装置３で行動・状態の認識処理が行われる場合、センサーデバイス２はセンサー２０３で計測された信号等の認識に用いられる情報を、外部演算装置３に転送する必要がある。もしセンサーデバイス２と外部演算装置３とが有線で接続されているならば、ユーザーはセンサーデバイス２だけでなく外部演算装置３も持ち歩く必要があり、作業の妨げとなる。したがって作業の妨げとならないように、センサーデバイス２は情報を無線通信で外部演算装置３に転送できることが望ましい。

また、無線通信に要する電力は送信されるデータ量に応じて増加する。したがって、センサーデバイス２を長時間駆動させるために、送信される量が削減されることが望ましい。

送信されるデータ量を削減するための方法の１つとして、例えば、センサーデータ（信号）の内、認識されるべきイベントの検出（例えば生体信号からの脈拍検出等）に必要な周波数成分のみを残し、他の周波数成分のデータを間引くことにより、センサーデータを圧縮する方法がある。圧縮されたセンサーデータを外部演算装置３に送信することで、センサーデバイス２では無線通信に要する電力を低減できる。

しかしながら、ユーザーの行動・状態が認識される場合には、加速度センサーやジャイロセンサー等のセンサーデータから複数種の行動・状態が並列して認識されることがある。このような場合、並列して認識されるべき複数の行動・状態の各々によって、特徴となる周波数成分（すなわち認識に必要な周波数成分）が異なる。例えば、ユーザーのいくつかの行動を認識しようとする場合に、歩行等の繰り返しの動作では低い周波数成分に特徴的なパターンが表れる一方、行動の開始や終了、物体への接触のような身体（例えば手足）の急速な速度変化を伴う動作では高い周波数成分に特徴的なパターンが表れる。そのため、並列して認識されるべき複数の行動・状態の認識精度を劣化させることなく、必要な周波数成分を選択することは困難である。したがって、ユーザーの行動・状態を認識する本実施形態に、周波数成分を間引きすることによってセンサーデータを圧縮する方法を適用することは困難である。

そのため本実施形態では、センサーデバイス２で１つ以上の時系列センサーデータから行動と状態の少なくとも一方の候補（以下、行動・状態候補とも称する）を検出し、候補が検出された場合に、その候補に基づいて、１つ以上の時系列センサーデータの少なくとも１つの第１期間のデータサブセットを外部演算装置３に送信する。センサーデバイス２は、時系列センサーデータのすべてではなく、外部演算装置３による行動・状態の認識に必要なデータサブセットを送信するので、通信に要する電力を低減できる。さらに、外部演算装置３は、例えばセンサーデバイス２よりも高い演算能力を有するので、データサブセットを用いて行動と状態の少なくとも一方（以下、行動・状態とも称する）を精度良く認識できる。これにより、センサーデバイス２は、長時間駆動できると共に、高精度な行動・状態認識結果を取得可能になる。

より具体的には、センサーデバイス２は１つ以上のセンサー２０３を用いて１つ以上の時系列センサーデータを、例えばリアルタイムで取得する。センサーデバイス２は、取得された１つ以上の時系列センサーデータの少なくとも１つを用いて、認識されるべきユーザーの行動・状態の候補を検出する。そして、センサーデバイス２は、検出された候補に基づいて、１つ以上の時系列センサーデータの少なくとも１つの第１期間のデータサブセットを外部演算装置３に送信する。センサーデバイス２は、検出された候補に基づいて、１つ以上の時系列センサーデータの少なくとも１つの時系列センサーデータを選択し、選択された各時系列センサーデータの少なくとも一部をデータサブセットとして取得する。つまり、取得されるデータサブセットは、選択された各時系列センサーデータの部分集合である。

外部演算装置３はこのデータサブセットを受信し、当該データサブセットを用いてユーザーの行動・状態を認識する。

図２はセンサーデバイス２のシステム構成例を示す。センサーデバイス２は、ＣＰＵ２０１、主メモリ２０２、センサー２０３、不揮発性メモリ２０４、無線通信デバイス２０５、エンベデッドコントローラ（ＥＣ）２０８等を備える。

ＣＰＵ２０１は、センサーデバイス２内の様々なコンポーネントの動作を制御するプロセッサである。ＣＰＵ２０１は、ストレージデバイスである不揮発性メモリ２０４から主メモリ２０２にロードされる様々なプログラムを実行する。これらプログラムには、オペレーティングシステム（ＯＳ）２０２Ａ、及び様々なアプリケーションプログラムが含まれている。アプリケーションプログラムには、各センサー２０３を用いて取得された時系列センサーデータを処理するための制御プログラム２０２Ｂが含まれている。この制御プログラム２０２Ｂは、各センサー２０３を用いて時系列センサーデータを取得し、時系列センサーデータを用いてユーザーの行動・状態の候補を検出し、検出された候補に基づいて時系列センサーデータのデータサブセットを外部演算装置３に送信するための命令群を含んでいる。

無線通信デバイス２０５は、無線通信を実行するように構成されたデバイスである。無線通信デバイス２０５は、信号を無線送信する送信部と、信号を無線受信する受信部とを含む。無線通信デバイス２０５によって用いられる無線接続の方式は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等のいずれの方式であってもよい。

ＥＣ２０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ２０８はバッテリー２０９からセンサーデバイス２内の各部に供給される電力を制御する。

センサーデバイス２はディスプレイ２０６とスピーカー２０７とをさらに備えていてもよい。その場合、ＣＰＵ２０１はディスプレイ２０６およびスピーカー２０７を制御する。ＣＰＵ２０１によって生成される表示信号はディスプレイ２０６に送られる。ディスプレイ２０６は表示信号に基づく画面イメージを表示する。同様に、ＣＰＵ２０１によって生成される音声信号はスピーカー２０７に送られる。スピーカー２０７は音声信号に基づく音声を出力する。

あるいは、センサーデバイス２は、映像や音声を出力可能な別の電子機器（例えばヘッドマウントディスプレイ）に無線または有線で接続されていてもよい。その場合、その別の電子機器を用いて画面イメージを表示したり、音声を出力したりすることができる。

なお、外部演算装置３はセンサーデバイス２と同様のシステム構成を有し得るが、外部演算装置３内の少なくとも一部の構成（ＣＰＵ、主メモリ等）は、センサーデバイス２内の対応する構成よりも高い性能を有していてもよい。また、外部演算装置３は、無線通信デバイスに加えて、あるいはその代わりに、有線通信デバイスを備えていてもよい。

図３はセンサーデバイス２と外部演算装置３の機能構成例を示す。センサーデバイス２上で実行される制御プログラム２０２Ｂは、第１データ取得部１０、行動・状態候補検出部２０、データサブセット生成部３０、データサブセット送信部４０、認識結果受信部６０、および表示制御部７０を備える。また、外部演算装置３は第１行動・状態認識部５０を備える。なお、第１行動・状態認識部５０は、外部演算装置３上で実行されるプログラムが有する機能として実現され得る。

第１データ取得部１０は、センサー２０３から認識対象ユーザーの行動・状態の認識に必要となるセンサーデータを取得する。取得されるセンサーデータは、例えば、加速度データ、角速度データ、地磁気データ、気圧データ、温湿度データ、筋電位データ、脈波データ等である。

なお、第１データ取得部１０は複数のセンサー２０３から複数の種類のセンサーデータをそれぞれ取得してもよい。あるいは、１つのセンサー２０３から、複数の種類（例えば複数のチャンネル）のセンサーデータが取得されてもよい。例えば、第１データ取得部１０は１つ以上のセンサー２０３から、加速度の各方向成分に対応する３チャンネルの加速度データと、角速度の各方向成分に対応する３チャンネルの角速度データとを併せた６チャンネルのセンサーデータを並行して取得できる。なお、取得されるセンサーデータの種類は、ユーザーの行動・状態の認識に有効な情報を含んでいればどのような種類のセンサーデータであってもよい。またセンサーデータを取得するためのセンサー２０３も、ユーザーの行動・状態の認識に有効な情報を取得できるものであれば、いずれの構成を有するセンサー（装置）であってもよい。

第１データ取得部１０は、例えば１つ以上の種類（あるいはチャンネル）のセンサーデータがそれぞれ継続して取得されている場合、各センサーデータが時系列で結合された時系列センサーデータを生成する。これにより、１つ以上の種類の時系列センサーデータが取得される。

行動・状態候補検出部２０は生成された１つ以上の時系列センサーデータを用いて、認識されるべきユーザーの行動・状態の候補を検出する。行動・状態候補検出部２０は、少なくとも１つの時系列センサーデータのパターンに基づいて、認識されるべき行動・状態が発生している可能性がある区間を、行動・状態候補として検出する。なお、検出された行動・状態の候補と認識された行動・状態とでは、認識された行動・状態の方が行動・状態の候補よりも、その行動・状態が実際に発生している可能性がより高いものとする。

行動・状態候補を検出するための処理は、ユーザーの行動・状態を認識するための処理よりも少ない消費電力量で実行できる。例えば、転倒リスクが高い状態（例えばふらつき状態）の候補が検出される場合、加速度センサーを備えるセンサーデバイス２がユーザーの腰部に装着され、この加速度センサーを用いて取得された時系列の加速度データによって、重力方向に対するユーザーの腰の傾きを算出し、その分散値に基づきふらつき状態の疑いがあるかどうかが判定される。つまり、行動・状態候補検出部２０は、例えば腰の傾きの分散値がしきい値以上である場合に、ふらつき状態の候補を検出する。

なお、ここでは行動・状態候補の検出が少ない消費電力量で実現される例として、計算量の少ない処理が用いられる手段を一例として挙げたが、消費電力量を低減できる他の手段が用いられてもよい。例えば、特定の演算を低消費電力で実行可能な演算ユニットをセンサーデバイス２に搭載し、これを用いて行動・状態候補の検出に要する消費電力量を低減してもよい。

データサブセット生成部３０およびデータサブセット送信部４０は、行動・状態候補検出部２０によって行動・状態候補が検出された場合、その行動・状態候補に基づいて、１つ以上の時系列センサーデータの少なくとも１つの、ある特定の期間のデータサブセットを、外部演算装置３に送信する。

より具体的には、データサブセット生成部３０は、行動・状態候補が検出された場合、行動・状態候補の種類と行動・状態候補が検出された時刻（例えば日時）とに基づいて時系列センサーデータから特定の区間を切り出すことにより、行動・状態を認識するためのデータサブセットを生成する。データサブセット生成部３０は、例えば、行動・状態候補の種類に基づいて１つ以上の時系列センサーデータから少なくとも１つの時系列センサーデータを選択し、選択された時系列センサーデータの内の、行動・状態候補が検出された時刻に基づく特定の期間のデータを、データサブセットとして取得する。選択される少なくとも１つの時系列センサーデータは、行動・状態候補の検出のために用いられた時系列センサーデータを含んでいてもよいし、これとは別の時系列センサーデータを含んでいてもよい。

例えば、ねじ式キャップを取り外す動作が認識される場合について説明する。この場合、まず、加速度データを用いてねじ式キャップを引き抜く動作が行動・状態候補として検出される。そして、この引き抜く動作の時点よりも前の、ねじ式キャップを回して緩める動作が、角速度データを用いて認識される。これらの検出と認識により、ねじ式キャップを取り外す動作が認識される。このように、ねじ式キャップを取り外す動作が認識される場合、加速度データを用いてその行動・状態候補が検出され、加速度データとは別の角速度データを用いて認識が行われる。したがって、データサブセット生成部３０は、行動・状態候補の検出のために用いられた時系列センサーデータとは別の時系列センサーデータから、行動・状態を認識するためのデータサブセットを取得し得る。

上述した特定の期間は、例えば行動・状態候補が検出された時刻を含む、特定の長さを有する期間である。また、この特定の期間は、行動・状態候補が検出された時刻を含まない期間であってもよい。例えばユーザーの転倒が認識される場合に、ある時点の加速度データを用いて地面衝突時の衝撃が転倒の候補として検出され、この時点よりも前の期間の姿勢データを用いて転倒中（すなわち衝突前）の姿勢の変化から転倒が認識される。このような場合、データサブセット生成部３０は、転倒の候補が検出された時刻を含まない期間の姿勢データを、データサブセットとして取得し得る。

データサブセット送信部４０は、データサブセット生成部３０によって生成されたデータサブセットを、無線通信デバイス２０５を介して外部演算装置３に送信する。

外部演算装置３の第１行動・状態認識部５０は、センサーデバイス２からデータサブセットを受信する。第１行動・状態認識部５０はデータサブセットを用いて、認識されるべきユーザーの行動・状態を認識する。認識されるべき行動・状態は、１つの種類の行動または状態であってもよいし、複数種の行動および状態であってもよい。第１行動・状態認識部５０は、複数種の行動および状態を認識するための複数種のアルゴリズムを備え得る。

第１行動・状態認識部５０は、認識された行動と状態の少なくとも一方を示す情報を含む認識結果を、ユーザーの行動・状態ログとしてこの外部演算装置３内に保存してもよいし、例えばネットワークを介して接続されたクラウド上のサーバーに保存してもよい。

また第１行動・状態認識部５０は、例えばユーザーが自身で認識結果を確認できるように、センサーデバイス２に認識結果を送信してもよい。この場合、センサーデバイス２の認識結果受信部６０は、無線通信デバイス２０５を介して外部演算装置３から認識結果を受信する。そして、表示制御部７０は認識結果をディスプレイ２０６の画面に表示する。なお、認識結果に基づく注意や警告のための音声がスピーカー２０７から出力されてもよい。さらに、表示制御部７０は、行動・状態候補検出部２０によって検出された行動・状態候補に関する情報をディスプレイ２０６の画面に表示してもよいし、当該情報基づく注意や警告のための音声がスピーカー２０７から出力されてもよい。

あるいは、第１行動・状態認識部５０は、例えば作業監督者が各作業者の作業状況や体調を管理する場合等に、作業監督者の近くに設置されるか、作業監督者が携行する管理者端末４に認識結果を送信してもよい。管理者端末４は、センサーデバイス２と同様にして、認識結果を画面に表示してもよいし、注意や警告のための音声を出力してもよい。

図４を参照して、センサーデバイス２と外部演算装置３とによる処理シーケンスの一例を説明する。ここでは、上述した通り、センサーデバイス２が認識対象ユーザーによって装着されたウェアラブルデバイスである場合について例示する。

まず、センサーデバイス２の第１データ取得部１０は、１つ以上のセンサー２０３を用いて、ユーザーの行動・状態の認識に必要な１つ以上のセンサーデータを取得する（Ａ１）。第１データ取得部１０は、センサーデータの種類（チャンネル）毎に、取得されたセンサーデータを、過去の複数の時点で取得されたセンサーデータと結合することにより、１つ以上の時系列センサーデータを生成する（Ａ２）。

次いで、行動・状態候補検出部２０は、生成された１つ以上の時系列センサーデータの少なくとも１つの時系列センサーデータを用いて行動・状態候補を検出する（Ａ３）。上述したように、行動・状態候補を検出するためのアルゴリズムは必ずしも１種類である必要はなく、例えば、認識されるべき行動・状態が複数ある場合や、１つの行動・状態に対応する行動・状態候補のパターンが複数ある場合等には、複数種のアルゴリズムを用いて行動・状態候補が検出されてもよい。行動・状態候補が検出されなかった場合、処理は終了する。

一方、行動・状態候補が検出された場合、データサブセット生成部３０は、検出された行動・状態候補の種類と行動・状態候補が検出された時刻とに基づき、時系列センサーデータの特定の区間を切り出し、データサブセットを生成する（Ａ４）。ここで、データサブセットが切り出される時系列センサーデータの種類やチャンネル数、切り出されるデータサブセットの長さおよび位置は、検出された行動・状態候補に応じて異なるものであってもよい。そして、データサブセット送信部４０は生成されたデータサブセットを、無線通信デバイス２０５を介して外部演算装置３に送信する（Ａ５）。

次いで、外部演算装置３の第１行動・状態認識部５０はセンサーデバイス２からデータサブセットを受信し、このデータサブセットを用いて、認識されるべきユーザーの行動と状態の少なくとも一方を認識する（Ａ６）。そして、第１行動・状態認識部５０は認識結果をセンサーデバイス２に送信する（Ａ７）。

センサーデバイス２の認識結果受信部６０は無線通信デバイス２０５を介して外部演算装置３から認識結果を受信し、表示制御部７０は認識結果をディスプレイ２０６の画面に表示する（Ａ８）。なお、認識結果に応じた音声がスピーカー２０７から出力されてもよい。これにより、認識対象のユーザー自身が認識結果を確認できる。

また、認識結果は外部演算装置３や別のサーバー内に保存されてもよいし、センサーデバイス２とは別の管理者端末４や、ユーザーが携行する携帯情報端末（例えばスマートフォン）等に送信されてもよい。認識結果が、いずれかの装置（端末）に内蔵または接続されるディスプレイの画面に表示されることにより、作業監督者等の管理者が各ユーザーに関する認識結果を確認できる。

図５から図７を参照して、時系列センサーデータを用いて、行動・状態候補が検出され、データサブセットが生成される例について説明する。ここでは、認識されるべき行動・状態が熱中症状態である場合を例示する。

熱中症リスクの大きさは、大まかにはある場所の気温と湿度から暑さ指数（Ｗｅｔ Ｂｕｌｂ Ｇｌｏｂｅ Ｔｅｍｐｅｒａｔｕｒｅ（ＷＢＧＴ））を算出して、推定することができる。しかしながら、実際のリスクの大きさは、ユーザーの脈拍数や体動量、気温や湿度等の環境変化によって変動するため、精度よくリスクを推定するためには、これらの情報を用いた機械学習等（例えば深層学習）による統計的な処理が有効と考えられる。

認識されるべき行動・状態を熱中症状態として本実施形態に適用した場合、センサーデバイス２において、温度と湿度の時系列センサーデータを用いて暑さ指数が算出され、この暑さ指数がしきい値を超えた場合に、熱中症状態の候補が検出される。また、外部演算装置３では、脈拍数や体動量等をさらに用いた機械学習等による統計的な処理が行われ、精度よく熱中症状態（例えば熱中症リスク）が認識される。

より具体的には図５に示すように、センサーデバイス２の第１データ取得部１０は、１つ以上のセンサー２０３を用いて１つ以上の時系列センサーデータ８１を取得する。時系列センサーデータ８１は、温度の時系列センサーデータ８１１、湿度の時系列センサーデータ、脈波の時系列センサーデータ８１３等の、複数の種類の時系列センサーデータを含み得る。なお、ここでは、複数の時系列センサーデータ８１１，８１２，８１３を構成する時系列の値が、同一のタイミング、および同一の頻度（ここでは２０回／秒）で計測される例を示しているが、計測のタイミングや頻度はセンサー２０３毎に異なっていてもよい。

次いで、行動・状態候補検出部２０は、１つ以上の時系列センサーデータ８１の内、温度の時系列センサーデータ８１１と湿度の時系列センサーデータ８１２とを用いて、暑さ指数８２を算出する。算出された暑さ指数８２がしきい値を超えている場合、行動・状態候補検出部２０はその暑さ指数８２を熱中症状態の候補として検出し、その暑さ指数８２の算出に用いられたデータが計測された時刻を取得する。

図６は、温度の時系列センサーデータ８１１と湿度の時系列センサーデータ８１２とから暑さ指数８２が算出され、熱中症状態の候補８３が検出される例を示す。温度の時系列センサーデータ８１１は、例えば、日時と当該日時に計測された温度とをそれぞれ含む複数のレコードを、時系列順に含んでいる。また、湿度の時系列センサーデータ８１２は、例えば、日時と当該日時に計測された湿度とをそれぞれ含む複数のレコードを、時系列順に含んでいる。

行動・状態候補検出部２０は、ある日時の温度と湿度とを用いて暑さ指数８２を算出し、その暑さ指数８２がしきい値を超えているか否かを判定する。そして、行動・状態候補検出部２０は、しきい値を超えている暑さ指数８２（図６では日時“2019/4/15 15:00:01:60”の暑さ指数）を熱中症状態の候補８３として検出する。

データサブセット生成部３０は、検出された候補８３の種類が熱中症状態であることと、この候補８３に対応する日時（すなわち、候補８３の検出に用いられたデータが計測された日時）とに基づいて、１つ以上の時系列センサーデータ８１から少なくとも１つの時系列センサーデータを選択し、選択された少なくとも１つの時系列センサーデータから特定の期間のデータサブセットを生成する。

図７に示す例では、１つ以上の時系列センサーデータ８１から、外部演算装置３で熱中症状態を精度よく認識するための、温度の時系列センサーデータ８１１、湿度の時系列センサーデータ８１２、および脈波の時系列センサーデータ８１３が選択されている。そして、各時系列センサーデータ８１１，８１２，８１３から、熱中症状態の候補８３に対応する日時“2019/4/15 15:00:01:60”を含む特定の期間（例えば日時“2019/4/15 15:00:01:60”を中心とする１秒間）が抽出され、データサブセット８４が生成されている。

外部演算装置３は、生成されたデータサブセット８４を用いて、機械学習に基づく回帰等のアルゴリズムにより、熱中症状態を高精度に認識する。外部演算装置３は、例えば、熱中症リスクの大きさを高精度に推定できる。外部演算装置３は推定された熱中症リスクの大きさを認識結果としてセンサーデバイス２等に送信する。

なお、図６および図７は一例であって、熱中症状態の候補８３の検出精度を向上させるために、例えば加速度の時系列センサーデータをさらに用いて体動量を算出したり、脈波の時系列センサーデータ８１３をさらに用いて脈拍数を算出したりしてもよい。あるいは、外部演算装置３で熱中症状態を精度よく認識するために、さらに別の種類の時系列センサーデータ（例えば３軸加速度の時系列センサーデータ）が選択され、データサブセット８４の生成に用いられてもよい。

また、図８は、行動・状態候補の検出結果と行動・状態の認識結果とを示す画面の例を示す。図８に示す画面は、センサーデバイス２に設けられるディスプレイ２０６に限らず、検出結果と認識結果の少なくとも一方を取得可能ないずれかの装置に内蔵または接続されるディスプレイに表示され得る。ここでは、認識されるべき行動・状態が熱中症状態である場合について例示する。

図８（Ａ）は、熱中症状態の候補８３が検出されていない場合に表示される画面９１Ａの例を示す。熱中症状態の候補８３が検出されていない場合、暑さ指数８２はしきい値未満であるので、この画面９１Ａでは暑さ指数８２が「低」であることが示されている。また、データサブセット８４が生成されず、外部演算装置３に送信されていないので、外部演算装置３による認識結果に含まれる熱中症リスクの大きさは画面９１Ａに示されていない。

なお、画面９１Ａが表示されるケースでは、データサブセット８４が生成されておらず、データサブセット８４を送信するために用いられる無線通信デバイス２０５も動作していないので、センサーデバイス２は低い消費電力で動作していると云える。

これに対して、図８（Ｂ）は、熱中症状態の候補８３が検出された場合に表示される画面９１Ｂの例を示す。熱中症状態の候補８３が検出された場合、暑さ指数８２はしきい値以上であるので、この画面９１Ｂでは暑さ指数８２が「高」であることが示されている。また、熱中症状態の候補８３が検出されたことに応じてデータサブセット８４が生成され、外部演算装置３に送信された後、外部演算装置３から認識結果が受信されるので、この認識結果に含まれる熱中症リスクの大きさ（ここでは８２％）が画面９１Ｂに示されている。

なお、この暑さ指数８２を示す文字や熱中症リスクの大きさを示す文字は、暑さ指数８２や熱中症リスクの大きさが大きいほど、ユーザーに注意喚起を促すことができるように、文字の色やその背景の色のような表示形態が変更されてもよい。

画面９１Ｂが表示されるケースでは、データサブセット８４を外部演算装置３に送信するための消費電力は必要であるものの、演算量が大きく、より大きな消費電力を必要とする可能性がある熱中症状態の高精度な認識（例えば熱中症リスクの推定）を、外部演算装置３で行うことができる。これにより、演算量が大きい処理を行うための、高性能で消費電力量が大きい構成をそのセンサーデバイス２内に設けることなく、センサーデバイス２を装着したユーザーの行動・状態に関する高精度な認識結果を取得できる。

さらに、センサーデバイス２では、行動・状態候補が検出された場合にのみ、データサブセット８４を生成し、外部演算装置３に送信すればよい。したがって、ユーザーの行動・状態を高精度に認識したり、すべての時系列センサーデータ８１を外部演算装置３に送信したりする場合に比べて、消費電力量が低減されるので、センサーデバイス２を長時間駆動できる。

センサーデバイス２は上述したユーザーの熱中症状態だけでなく、不安定な姿勢や想定外の動作等の種々の行動・状態候補を検出でき、同様に、外部演算装置３も種々の行動・状態を認識できる。

例えば、センサーデバイス２は作業者（ユーザー）の不安定な姿勢の候補を検出し、３軸加速度の時系列センサーデータのデータサブセットを外部演算装置３に送信する。外部演算装置３は作業者の不安定な姿勢を認識することにより、例えば転倒リスクを推定する。この認識結果により、例えば転倒リスクの大きさに応じて作業者に注意を促すことが可能になる。

また例えば、センサーデバイス２は、作業マニュアルに記載されていない作業者の想定外の動作の候補を検出し、６軸の加速度および角速度の時系列センサーデータのデータサブセットを外部演算装置３に送信する。外部演算装置３は作業者の想定外の動作を認識することにより、例えば動作を詳細に分析する。この認識結果により、例えば作業者にマニュアルにない動作を行わないように警告することが可能になる。

以上のように、認識されるべき行動・状態の候補をセンサーデバイス２上で簡易的な処理で検出し、候補が検出された場合のみ、時系列センサーデータのサブセットを、無線通信デバイス２０５を用いて外部演算装置３に送信し、高度な認識処理を実行させる。これにより、無線通信に要する電力消費を低減しつつ、必要な場合に外部演算装置３を用いて行動・状態の認識性能を高めることが可能となる。

（第２実施形態）
第１実施形態では、行動・状態候補が検出された場合に、データサブセットが生成され、外部演算装置３に送信される。これに対して第２実施形態では、行動・状態候補が検出され、その緊急度が高い場合に、データサブセットが生成され、外部演算装置３に送信される。

第２実施形態に係るセンサーデバイス２および外部演算装置３の構成は第１実施形態のセンサーデバイス２および外部演算装置３とそれぞれ同様であり、第２実施形態と第１実施形態とでは、緊急度を算出するための緊急度算出部が追加され、これに伴い、データサブセット生成部３０、データサブセット送信部４０、および第１行動・状態認識部５０の機能が変更されている点で異なる。以下、第１実施形態と異なる点について主に説明する。

図９は第２実施形態に係るセンサーデバイス２と外部演算装置３の機能構成を示す。上述したように、センサーデバイス２は、緊急度算出部２１をさらに備え、第１実施形態のデータサブセット生成部３０およびデータサブセット送信部４０から機能の一部がそれぞれ変更されたデータサブセット生成部３１およびデータサブセット送信部４１を備えている。第１データ取得部１０、行動・状態候補検出部２０、認識結果受信部６０、および表示制御部７０の動作については、第１実施形態で説明した通りである。

緊急度算出部２１は、行動・状態候補が検出された場合、その程度の大きさを緊急度（あるいは深刻度）として算出する。例えば、転倒リスクが高い状態が行動・状態候補として検出される場合に、ユーザーの腰の傾きの分散値が、あるいは分散値の大きさに応じて決定されるレベルが、緊急度として用いられる。また例えば、熱中症リスクが高い状態（熱中症状態）が行動・状態候補として検出される場合に、暑さ指数が、あるいは暑さ指数に応じて決定されるレベルが、緊急度として用いられる。

データサブセット生成部３１およびデータサブセット送信部４１は、データサブセットを生成および送信すべき緊急度である場合（例えば緊急度がしきい値以上である場合）、行動・状態候補と緊急度とに基づいて、１つ以上の時系列センサーデータの少なくとも１つの、ある特定の期間のデータサブセットを外部演算装置３に送信する。

より具体的には、データサブセット生成部３１は、行動・状態候補検出部２０によって行動・状態候補が検出された場合、緊急度算出部２１によって算出された緊急度に基づき、データサブセットを生成するかどうかを判断する。生成すると判断した場合、データサブセット生成部３１は、行動・状態候補の種類と、行動・状態候補が検出された時刻（例えば日時）と、緊急度とに基づいて、時系列センサーデータから特定の区間を切り出すことにより、データサブセットを生成する。データサブセット生成部３１は、例えば、行動・状態候補の種類に基づいて１つ以上の時系列センサーデータから少なくとも１つの時系列センサーデータを選択し、選択された時系列センサーデータの内の、行動・状態候補が検出された時刻に基づく特定の期間のデータを、データサブセットとして取得する。この特定の期間は、例えば行動・状態候補が検出された時刻を含む、特定の長さを有する期間である。なお、時系列センサーデータの選択とデータを切り出すべき特定の期間の決定には、緊急度がさらに考慮されてもよい。

データサブセット送信部４１は、データサブセット生成部３１によって生成されたデータサブセットと、緊急度算出部２１によって算出された緊急度とを、無線通信デバイス２０５を介して外部演算装置３に送信する。

また上述したように、第２実施形態における外部演算装置３は、第１実施形態の第１行動・状態認識部５０から機能の一部が変更された第１行動・状態認識部５１を備えている。

第１行動・状態認識部５１はセンサーデバイス２からデータサブセットと緊急度とを受信する。第１行動・状態認識部５１はこれらデータサブセットおよび緊急度を用いて、認識されるべきユーザーの行動・状態を認識する。第１行動・状態認識部５１は認識結果を外部演算装置３内に保存してもよいし、センサーデバイス２等に送信してもよい。

次いで図１０を参照して、センサーデバイス２と外部演算装置３とによる処理シーケンスの一例を説明する。図１０に示すＢ１、Ｂ２、およびＢ３の処理は、図４を参照して上述したＡ１、Ａ２、Ａ３の処理と同様である。

Ｂ３の処理において行動・状態候補が検出された場合、緊急度算出部２１は検出された行動・状態候補の程度の大きさを緊急度として算出する（Ｂ４）。

データサブセット生成部３１は算出された緊急度がデータサブセットを生成すべき緊急度である場合、行動・状態候補の種類と、行動・状態候補が検出された時刻と、緊急度とに基づき、時系列センサーデータの特定の区間を切り出し、データサブセットを生成する（Ｂ５）。ここで、データサブセットが切り出される時系列センサーデータの種類やチャンネル数、切り出されるデータサブセットの長さおよび位置は、行動・状態候補と緊急度とに応じて異なるものであってもよい。

より具体的には、データサブセット生成部３１は緊急度に基づいてデータサブセットを生成するか否かを判定する。データサブセット生成部３１は、例えば緊急度が、検出されている行動・状態候補の種類毎に定められたしきい値以上であるか否かに応じて、データサブセットを生成するかどうかを決定する。すなわち、ある行動・状態候補が検出された場合に、緊急度がその行動・状態候補に関連付けられたしきい値以上であるならば、データサブセット生成部３１はデータサブセットを生成すると判断する。一方、緊急度がしきい値未満であるならば、データサブセット生成部３１はデータサブセットを生成しないと判断する。データサブセットを生成しないと判断した場合、処理が終了する。

また、緊急度算出部２１によって算出された緊急度がデータサブセットを生成すべき緊急度であり、データサブセット生成部３１によってデータサブセットが生成された場合、データサブセット送信部４１はデータサブセットと緊急度とを、無線通信デバイス２０５を介して外部演算装置３に送信する（Ｂ６）。

外部演算装置３の第１行動・状態認識部５１はセンサーデバイス２からデータサブセットと緊急度とを受信し、これらデータサブセットと緊急度とを用いて、認識されるべきユーザーの行動・状態を認識する（Ｂ７）。ここで、行動・状態の認識に用いられるアルゴリズムは、緊急度に応じて異なるものであってもよい。例えば、緊急度が大きい場合には詳細な解析のためのアルゴリズムが用いられ、緊急度が低い場合には簡易な解析のためのアルゴリズムが用いられる。

ここで、図１１から図１２を参照して上述した例と同様に、認識されるべき行動・状態が熱中症状態である場合の動作について例示する。

図１１は緊急度として用いられる暑さ指数のレベルの例を示す。暑さ指数は、その大きさに応じて複数のレベルのいずれかに分類される。一般に、暑さ指数が分類されたレベルに基づき、暑さに関する注意喚起が行われている。そのため、この暑さ指数のレベルを緊急度として用いることができる。

図１１に示すように、例えば、２５度未満である暑さ指数がレベル０（注意）に関連付けられ、２５度以上２８度未満である暑さ指数がレベル１（警戒）に関連付けられ、２８度以上３１度未満である暑さ指数がレベル２（厳重警戒）に関連付けられ、３１度以上である暑さ指数がレベル３（危険）に関連付けられている。

緊急度算出部２１は、このような暑さ指数とレベルとの関係を示す情報（例えばテーブル）を用いて、行動・状態候補検出部２０によって算出された暑さ指数８２に対応する緊急度を算出する。なお、行動・状態候補検出部２０が、例えばレベル１以上に相当する暑さ指数８２を、行動・状態候補（すなわち熱中症状態の候補８３）として検出するようにしてもよい。

次いで、データサブセット生成部３１は緊急度として算出された暑さ指数のレベルが、熱中症状態の候補に関連付けられたしきい値以上（例えばレベル２）であるか否かを判定する。暑さ指数のレベルがしきい値未満である場合、データサブセット生成部３１はデータサブセットを生成しない。

一方、暑さ指数のレベルがしきい値以上である場合、データサブセット生成部３１はデータサブセットを生成し、データサブセット送信部４１は生成されたデータサブセットを外部演算装置３に送信する。外部演算装置３の第１行動・状態認識部５１は、このデータサブセットを用いてユーザーの行動・状態を認識し、その認識結果をセンサーデバイス２等に送信する。

図１２は、熱中症状態に関する行動・状態候補の検出結果と行動・状態の認識結果とを示す画面の例を示す。図１２に示す画面は、センサーデバイス２に設けられるディスプレイ２０６に限らず、検出結果と認識結果の少なくとも一方を取得可能ないずれかの装置に内蔵または接続されるディスプレイに表示され得る。ここでは、認識されるべき行動・状態が熱中症状態である場合について例示する。

図１２（Ａ）は、算出された暑さ指数８２がレベル０に相当する場合に表示される画面９２Ａの例を示す。この画面９２Ａでは暑さ指数８２がレベル０であることが示されている。また、レベル０に相当する暑さ指数８２は熱中症状態の候補８３として検出されないので、データサブセット８４が生成されず、外部演算装置３に送信されていない。したがって、外部演算装置３による認識結果に含まれる熱中症リスクの大きさは画面９２Ａに示されていない。

図１２（Ｂ）は、算出された暑さ指数８２がレベル１に相当する場合に表示される画面９２Ｂの例を示す。この画面９２Ｂでは暑さ指数８２がレベル１であることが示されている。このレベル１が表示される形態は、レベル１よりも低いレベル０が表示される形態とは異なっていてもよい。例えば、文字の色や背景の色を変更することにより、ユーザーに対して注意喚起を促すことができる。

また図１２（Ａ）と同様に、レベル１に相当する暑さ指数８２は熱中症状態の候補８３として検出されるが、データサブセットを生成すべき緊急度ではないと判断されるので、データサブセット８４が生成されず、外部演算装置３に送信されていない。したがって、外部演算装置３による認識結果に含まれる熱中症リスクの大きさは画面９２Ｂに示されていない。

図１２（Ｃ）は、算出された暑さ指数８２がレベル２以上に相当する場合に表示される画面９２Ｃの例を示す。この画面９２Ｃでは暑さ指数８２がレベル３であることが示されている。レベル２以上に相当する暑さ指数８２は熱中症状態の候補８３として検出され、データサブセット８４を生成すべき緊急度であると判断される。そして、データサブセット８４が生成され、外部演算装置３に送信された後、外部演算装置３から認識結果が受信されるので、その認識結果に含まれる熱中症リスクの大きさ（ここでは８２％）が画面９２Ｃに示されている。

なお、２以上の暑さ指数のレベルが表示される形態は、レベル１およびレベル０が表示される形態とは異なっていてもよい。例えば、文字の色や背景の色が変更（例えば文字と背景の色が反転表示）されると共に、外部演算装置３において高精度に算出された熱中症リスクの大きさが示されることにより、ユーザーに対して最大限の注意喚起を促すことができる。

センサーデバイス２は上述したユーザーの熱中症状態だけでなく、不安定な姿勢や想定外の動作等の種々の行動・状態候補を検出でき、同様に、外部演算装置３も種々の行動・状態を認識できる。

例えば、センサーデバイス２は作業者（ユーザー）の不安定な姿勢の候補を検出し、その緊急度が高い場合にのみ、３軸加速度の時系列センサーデータのデータサブセットを外部演算装置３に送信する。外部演算装置３は作業者の不安定な姿勢を認識することにより、例えば転倒リスクを推定する。この認識結果により、例えば転倒リスクの大きさに応じて作業者に注意を促すことが可能になる。

また例えば、センサーデバイス２は、作業マニュアルに記載されていない作業者の想定外の動作の候補を検出し、その緊急度が高い場合にのみ、６軸の加速度および角速度の時系列センサーデータのデータサブセットを外部演算装置３に送信する。外部演算装置３は作業者の想定外の動作を認識することにより、例えば動作を詳細に分析する。この認識結果により、例えば作業者に警告することが可能になる。

以上のように第２実施形態では、認識されるべき行動・状態の候補の緊急度を算出する構成をさらに追加することで、緊急度に応じて処理を変更できる。これにより、緊急度が高い場合にのみ、データサブセットの生成と、無線通信デバイス２０５を用いるデータサブセットの送信が行われるように制御できるので、無線通信に伴う電力消費をさらに低減できる。したがって、センサーデバイス２をより長時間駆動できると共に、高精度な行動・状態認識結果が取得可能になる。

（第３実施形態）
第１実施形態では、行動・状態候補が検出された場合に、データサブセットが生成され、外部演算装置３に送信される。また第２実施形態では、行動・状態候補が検出され、その緊急度が高い場合に、データサブセットが生成され、外部演算装置３に送信される。これらに対して第３実施形態では、無線通信デバイス２０５を介したデータサブセットの送信の可否がさらに考慮される。

第３実施形態に係るセンサーデバイス２および外部演算装置３の構成は、第１および第２実施形態のセンサーデバイス２および外部演算装置３とそれぞれ同様であり、第３実施形態と第１および第２実施形態とでは、第２行動・状態認識部５２が追加され、これに伴い、データサブセット送信部４１の機能が変更されている点で異なる。以下、第１および第２実施形態と異なる点について主に説明する。

図１３は第３実施形態に係るセンサーデバイス２と外部演算装置３の機能構成を示す。上述したように、センサーデバイス２は、第２行動・状態認識部５２をさらに備え、第２実施形態のデータサブセット送信部４１から機能の一部が変更されたデータサブセット送信部４２を備えている。第１データ取得部１０、行動・状態候補検出部２０、緊急度算出部２１、データサブセット生成部３１、認識結果受信部６０、および表示制御部７０の動作については、第１および第２実施形態で説明した通りである。また、外部演算装置３内の第１行動・状態認識部５１についても第１および第２実施形態で説明した通りである。

データサブセット送信部４２は、データサブセット生成部３１によって生成されたデータサブセットと、緊急度算出部２１によって算出された緊急度との送信を試みる。その際、無線通信デバイス２０５を用いた通信（あるいは接続）が利用可能であるかどうかを確認する。無線通信デバイス２０５を用いた通信が利用可能である場合、データサブセット送信部４２はデータサブセットと緊急度とを、無線通信デバイス２０５を介して外部演算装置３に送信する。

無線通信デバイス２０５を用いた通信が利用できない場合、データサブセット送信部４２はデータサブセットを第２行動・状態認識部５２に送出する。

第２行動・状態認識部５２は、外部演算装置３にデータサブセットを送信できない場合に、このデータサブセットを用いて、あるいは第１データ取得部１０によって生成された１つ以上の時系列センサーデータを用いて、ユーザーの行動・状態を認識する。

より具体的には、第２行動・状態認識部５２は、データサブセットまたは１つ以上の時系列センサーデータを用いて、ユーザーの行動・状態を認識するための代替処理を行う。この代替処理は第１行動・状態認識部５１による処理を代替するものであり、例えば第１行動・状態認識部５１による処理よりも計算コストが低い処理であるが、これに限定されない。代替処理では、例えば、行動・状態候補検出部２０による処理よりも詳細にユーザーの行動および状態が認識されるが、第１行動・状態認識部５１による処理よりもその認識精度が低い可能性がある。

なお、データサブセット送信部４２は、無線通信デバイス２０５を用いた通信が利用できない場合に、データサブセットと緊急度とを第２行動・状態認識部５２に送出してもよい。第２行動・状態認識部５２はデータサブセットと緊急度とを用いて、ユーザーの行動・状態を認識し得る。

あるいは、第２行動・状態認識部５２は、無線通信デバイス２０５を用いた通信が利用できない場合に、第１データ取得部１０および行動・状態候補検出部２０により生成された時系列センサーデータ内の任意の区間のデータを用いて、ユーザーの行動・状態を認識してもよい。その際、第２行動・状態認識部５２は、行動・状態候補検出部２０によって検出された行動・状態候補と緊急度算出部２１によって算出された緊急度の少なくとも一方を利用してもよい。

次いで図１４を参照して、センサーデバイス２と外部演算装置３とによる処理シーケンスの一例を説明する。図１４に示すＣ１、Ｃ２、およびＣ３の処理は、図４を参照して上述したＡ１、Ａ２、およびＡ３の処理とそれぞれ同様である。また、図１４に示すＣ４およびＣ５の処理は、図１０を参照して上述したＢ４およびＢ５の処理とそれぞれ同様である。

Ｃ５の処理においてデータサブセットが生成された場合、データサブセット送信部４２は無線通信デバイス２０５を用いた無線通信が可能であるか否かを判定し、可能である場合に、外部演算装置３にデータサブセットおよび緊急度を送信する（Ｃ６）。この後のＣ７、Ｃ８、およびＣ９の処理は、図１０を参照して上述したＢ７、Ｂ８、およびＢ９の処理とそれぞれ同様である。

一方、Ｃ５の処理においてデータサブセットが生成され、無線通信デバイス２０５を用いた無線通信ができない場合、第２行動・状態認識部５２はユーザーの行動・状態を簡易的に認識するための代替処理を行う（Ｃ１０）。そして、表示制御部７０は、この代替処理による認識結果をディスプレイ２０６の画面に表示する（Ｃ１１）。つまり、外部演算装置３による認識結果の代わりに、第２行動・状態認識部５２による認識結果が表示される。

第１および第２実施形態では、無線通信デバイス２０５を介して外部演算装置３にデータサブセットを送信できない場合、外部演算装置３はデータサブセットを用いたユーザーの行動・状態の認識を行えない。したがって、センサーデバイス２等において、認識結果を表示することもできない。

これに対して第３実施形態では、無線通信デバイス２０５を介した無線通信ができない場合であっても、センサーデバイス２内の第２行動・状態認識部５２によって簡易的な認識処理（代替処理）が行われ、認識結果を表示できる。

例えば認識されるべき行動・状態が熱中症状態である場合、第２行動・状態認識部５２は、暑さ指数と、この暑さ指数に関連付けられた熱中症リスクとをそれぞれ含む複数のレコードで構成されたテーブルを用いて、行動・状態候補検出部２０によって算出された暑さ指数に対応する熱中症リスクを取得する代替処理を行う。このテーブルは予め用意され、予め統計的に算出された暑さ指数と熱中症リスクとの関係を示している。第２行動・状態認識部５２は、テーブルから暑さ指数に対応する熱中症リスクを取得するだけで、簡易的な認識結果を得ることができる。

図１５は第２行動・状態認識部５２による認識結果を示す画面９３の例を示す。ここでは、認識されるべき行動・状態が熱中症状態である場合について例示している。

この画面９３では暑さ指数８２がレベル３であることが示されている。レベル２以上に相当する暑さ指数８２は熱中症状態の候補８３として検出され、データサブセットを生成すべき緊急度であると判断される。そして、データサブセット８４が生成されたものの、無線通信デバイス２０５を用いた通信ができなかったために、第２行動・状態認識部５２による代替処理で得られた認識結果に基づく熱中症リスクの大きさ（ここでは８０％）が画面９３に示されている。

なお、代替処理で算出された熱中症リスクは、外部演算装置３によって算出された熱中症リスクより精度の点で劣る可能性がある。そのため、表示されている熱中症リスクが、代替処理で算出された熱中症リスクと外部演算装置３によって算出された熱中症リスクのいずれであるかをユーザーが識別できるように、すなわちユーザーが熱中症リスクの精度を判断できるように、熱中症リスクはその精度に応じた異なる形態で表示されてもよい。例えば、画面９３には無線通信が利用不可能であることを示すアイコン９３１が表示され得る。また例えば、代替処理で算出された熱中症リスクは、画面９３に示すように括弧を付加して表示される等、信頼性が高い値ではなく、参考のための値であることが分かるように表示され得る。

以上のように第３実施形態では、行動・状態を簡易的に認識する構成をさらに追加することで、無線通信デバイス２０５が利用できない場合に、例えば電波状態の悪いフィールド作業現場等で一時的に無線による通信品質が劣化した場合に、簡易で軽量な代替処理で行動・状態を継続して認識でき、その認識結果をユーザーに提示できる。これにより、認識結果の信頼性は一時的に低下する可能性があるものの、行動・状態の認識を常時行うことが可能になる。

なお、上述したデータサブセット送信部４２および第２行動・状態認識部５２は、第１実施形態のセンサーデバイス２（すなわち、緊急度算出部２１を備えていないセンサーデバイス２）にも同様に適用できる。

（第４実施形態）
第１実施形態では、行動・状態候補が検出された場合に、データサブセットが生成され、外部演算装置３に送信される。第２実施形態では、行動・状態候補が検出され、その緊急度が高い場合に、データサブセットが生成され、外部演算装置３に送信される。また第３実施形態では、無線通信デバイス２０５を介したデータサブセットの送信の可否がさらに考慮される。これらに対して第４実施形態では、センサーデバイス２とは別のセンサーデバイスからもセンサーデータが取得され得る。

第４実施形態に係るセンサーデバイス２および外部演算装置３の構成は第１乃至第３実施形態のセンサーデバイス２および外部演算装置３とそれぞれ同様であり、第４実施形態と第１乃至第３実施形態とでは、データサブセット生成部３１の機能が変更されている点で異なる。以下、第１乃至第３実施形態と異なる点について主に説明する。

図１６は、第４実施形態に係るセンサーデバイス２を含む情報処理システム１－２の構成を示す。情報処理システム１－２には、第１乃至第３実施形態の情報処理システム１と比較して、センサーデバイス２とは別の１つ以上のセンサーデバイス２－２～２－Ｎが加えられている。

ユーザーは、１つ以上のセンサーデバイス２－２～２－Ｎを、例えばセンサーデバイス２とは異なる部位に装着している。各センサーデバイス２－２～２－Ｎは、内蔵されたセンサー２５３を用いて、例えば装着された部位に関するセンサーデータを取得する。取得されるセンサーデータは、センサーデバイス２で取得されるセンサーデータと同様に、ユーザーの行動・状態の認識に有用な様々な種類のデータを含み得る。各センサーデバイス２－２～２－Ｎは、例えばセンサーデバイス２と同様のシステム構成を有する。なお、各センサーデバイス２－２～２－Ｎは、ユーザーが装着しているセンサーデバイスに限らず、ユーザーを観測可能なセンサーデバイスであればよく、例えば環境設置型のセンサーデバイス（例えばバッテリー駆動のビデオカメラ等）であってもよい。

以下では説明を分かりやすくするために、第４実施形態に係るセンサーデバイス２を第１センサーデバイス２と称し、１つ以上のセンサーデバイス２－２～２－Ｎの内のあるセンサーデバイスを第ｉセンサーデバイス２－ｉとも称する。なお、ｉおよびＮは２以上の整数である。

図１７は、第１センサーデバイス２と、外部演算装置３と、第ｉセンサーデバイス２－ｉとの機能構成を示す。なお、１つ以上のセンサーデバイス２－２～２－Ｎの各々は同様の機能構成を有し、同様に動作し得る。

上述したように、第１センサーデバイス２は、第２実施形態のデータサブセット生成部３１から機能の一部が変更されたデータサブセット生成部３２を備えている。第１データ取得部１０、行動・状態候補検出部２０、緊急度算出部２１、データサブセット送信部４２、認識結果受信部６０、および表示制御部７０の動作については、第１乃至第３実施形態で説明した通りである。また、外部演算装置３内の第１行動・状態認識部５１についても第１乃至第３実施形態で説明した通りである。

第ｉセンサーデバイス２－ｉは第ｉデータ取得部１１を備える。第ｉデータ取得部１１は、第１センサーデバイス２内の第１データ取得部１０と同様の機能を有し、内蔵されるセンサー２５３を用いてセンサーデータを取得し、複数の時点で取得されたセンサーデータが結合された時系列センサーデータを生成する。第ｉデータ取得部１１は、生成された時系列センサーデータを第１センサーデバイス２に送信し得る。第ｉデータ取得部１１は、例えば無線ＬＡＮやＢｌｕｅｔｏｏｔｈによる無線通信で、時系列センサーデータを第１センサーデバイス２に送信してもよい。

データサブセット生成部３２およびデータサブセット送信部４２は、行動・状態候補が検出された場合、その行動・状態候補に基づいて、あるいは行動・状態候補と緊急度とに基づいて、第ｉセンサーデバイス２－ｉ内の第ｉデータ取得部１１から１つ以上の時系列センサーデータを取得し、その１つ以上の時系列センサーデータの少なくとも１つの、ある特定の期間のデータサブセットを外部演算装置３に送信してもよい。

より具体的には、データサブセット生成部３２は、行動・状態候補検出部２０によって行動・状態候補が検出された場合に、緊急度算出部２１によって算出された緊急度に基づき、データサブセットを生成するかどうかを判断する。生成すると判断した場合、データサブセット生成部３１は、行動・状態候補の種類と、行動・状態候補が検出された時刻（例えば日時）と、緊急度とに基づいて、時系列センサーデータから特定の区間を切り出すことにより、データサブセットを生成する。

データサブセット生成部３２は、例えば、行動・状態候補の種類に基づいて、複数の時系列センサーデータから少なくとも１つの時系列センサーデータを選択する。この複数の時系列センサーデータには、データ取得部１０によってセンサーデータを用いて生成された時系列センサーデータだけでなく、別の１つ以上のセンサーデバイス２－２～２－Ｎ内のデータ取得部１１によってセンサーデータを用いて生成された時系列センサーデータも含まれている。データサブセット生成部３２は、選択された時系列センサーデータの内の、行動・状態候補が検出された時刻に基づく特定の期間のデータを、データサブセットとして取得する。この特定の期間は、例えば行動・状態候補が検出された時刻を含む、特定の長さを有する期間である。なお、時系列センサーデータの選択とデータを切り出すべき特定の期間の決定には、緊急度がさらに考慮されてもよい。

なお、第１センサーデバイス２の行動・状態候補検出部２０および第２行動・状態認識部５２が、第１データ取得部１０から出力される時系列センサーデータに加えて、あるいは第１データ取得部１０から出力される時系列センサーデータの代わりに、第ｉデータ取得部１１によって送信される時系列センサーデータを用いて各々の処理を行ってもよい。

次いで図１８を参照して、第１センサーデバイス２、外部演算装置３、および別の１つ以上のセンサーデバイス２－２～２－Ｎによる処理シーケンスの一例を説明する。図１８に示すＤ１、Ｄ２、およびＤ３の処理は、図４を参照して上述したＡ１、Ａ２、およびＡ３の処理とそれぞれ同様である。また、図１８に示すＤ４の処理は、図１０を参照して上述したＢ４の処理と同様である。

Ｄ４の処理においてデータサブセットを生成すべき緊急度が算出された場合、データサブセット生成部３２は行動・状態候補および緊急度に基づいて、第１センサーデバイス２内の第１データ取得部１０と、１つ以上のセンサーデバイス２－２～２－Ｎの各々に含まれる第ｉデータ取得部１１とから、データサブセットの生成に用いるデータ取得部を選択する（Ｄ５）。データサブセット生成部３２は複数のデータ取得部を選択し得る。

第１センサーデバイス２内の第１データ取得部１０とは別のデータ取得部が選択されたならば、すなわち、１つ以上のセンサーデバイス２－２～２－Ｎのいずれかに含まれる第ｉデータ取得部１１が選択されたならば、データサブセット生成部３２は、その選択された第ｉデータ取得部１１から時系列センサーデータを受信する（Ｄ６）。

例えば、第１センサーデバイス２がユーザーの手首に装着され、第１センサーデバイス２内の第１データ取得部１０によって得られた第１時系列センサーデータから、ある行動・状態の候補が検出された場合を想定する。この行動・状態の候補は第１時系列センサーデータから検出可能である。しかしながら、この行動・状態を精度良く認識するためには、手首の第１時系列センサーデータではなく、例えば腰部の時系列センサーデータが必要である。このような場合、データサブセット生成部３２は、ユーザーの腰部に装着された第ｉセンサーデバイス２－ｉ内の第ｉデータ取得部１１を選択し、この第ｉデータ取得部１１から第ｉ時系列センサーデータを受信する。

データサブセット生成部３２は、第１データ取得部１０と１つ以上のセンサーデバイス２－２～２－Ｎにそれぞれ含まれる１つ以上の第ｉデータ取得部１１の少なくともいずれかから取得された時系列センサーデータを用いて、データサブセットを生成する（Ｄ７）。データサブセット生成部３２は、行動・状態候補の種類と、行動・状態候補が検出された時刻と、緊急度とに基づき、時系列センサーデータの特定の区間を切り出し、データサブセットを生成する。ここで、データサブセットが切り出される時系列センサーデータの種類やチャンネル数、切り出されるデータサブセットの長さおよび位置は、行動・状態候補と緊急度とに応じて異なるものであってもよい。以降のＤ８からＤ１３までの処理は、図１４を参照して上述したＣ６からＣ１１までの処理と同様である。

以上のように、第４実施形態では、第１センサーデバイス２とは別の１つ以上のセンサーデバイス２－２～２－Ｎから取得される時系列センサーデータもさらに用いて、検出された行動・状態の候補に応じて、その行動・状態に適した時系列センサーデータを選択し、認識に用いることができる。例えば、ユーザーが複数の部位に複数のセンサーデバイス２，２－２～２－Ｎをそれぞれ装着している場合、ある行動・状態を精度良く認識するのに適した部位のセンサーデバイスで取得された時系列センサーデータが認識に用いられる。これにより、行動・状態の認識精度を高められると共に、行動・状態候補が検出されているときのみ別のセンサーデバイス２－２～２－Ｎから時系列センサーデータを取得することで、電力消費を低減できる。

なお、上述したデータサブセット生成部３２は、第１実施形態のセンサーデバイス２（すなわち、緊急度算出部２１を備えていないセンサーデバイス２）や、第２実施形態のセンサーデバイス２（すなわち、第２行動・状態認識部５２を備えていないセンサーデバイス２）にも同様に適用できる。

以上説明したように、第１乃至第４実施形態によれば、長時間駆動できると共に、高精度な行動・状態認識結果が取得可能になる。第１データ取得部１０および行動・状態候補検出部２０は、１つ以上のセンサー２０３を用いて１つ以上の時系列センサーデータを取得し、１つ以上の時系列センサーデータの少なくとも１つを用いて、センサーデバイス２を装着または携行するユーザーの行動・状態候補を検出する。データサブセット生成部３０およびデータサブセット送信部４０は、行動・状態候補が検出された場合、この行動・状態候補に基づいて、１つ以上の時系列センサーデータの少なくとも１つの、第１期間のデータサブセットを外部演算装置３に送信する。

このように、センサーデバイス２上で演算量が少ない行動・状態候補の検出処理が行われ、高度な処理が必要と判断されたときのみデータサブセットが外部演算装置３に送信される。これにより、一部の周波数成分を間引くような時系列センサーデータの圧縮を行うことなく、外部演算装置３に送信されるデータ量を削減し、センサーデバイスの長時間駆動と行動・状態認識の精度向上とを同時に実現できる。

第１乃至第４実施形態に記載された様々な機能の各々は、回路（処理回路）によって実現されてもよい。処理回路の例には、中央処理装置（ＣＰＵ）のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラム（命令群）を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。これら実施形態に記載されたＣＰＵ以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。

また、第１乃至第４実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、これら実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１，１－２…情報処理システム、２，２－２，２－Ｎ…センサーデバイス、３…外部演算装置、１０…第１データ取得部、１１…第ｉデータ取得部、２０…行動・状態候補検出部、２１…緊急度算出部、３０，３１，３２…データサブセット生成部、４０，４１，４２…データサブセット送信部、５０，５１…第１行動・状態認識部、５２…第２行動・状態認識部、６０…認識結果受信部、７０…表示制御部、２０３，２５３…センサー。

Claims (10)

1. ユーザーが装着または携行可能な電子機器であって、
   １つ以上のセンサーと、
   前記１つ以上のセンサーを用いて１つ以上の第１時系列センサーデータを取得し、前記１つ以上の第１時系列センサーデータの少なくとも１つを用いて、前記ユーザーの行動と状態の少なくとも一方の候補を検出する候補検出部と、
   前記候補が検出された場合、前記候補に基づいて、前記１つ以上の第１時系列センサーデータの少なくとも１つの、第１期間のデータサブセットを外部演算装置に送信し、前記候補が検出されなかった場合、前記１つ以上の第１時系列センサーデータのいずれも前記外部演算装置に送信しない送信部と、を具備する電子機器。
2. 前記外部演算装置から、前記データサブセットを用いて認識された前記ユーザーの行動と状態の少なくとも一方の認識結果を受信する受信部をさらに具備する請求項１記載の電子機器。
3. 前記認識結果を画面に表示する表示制御部をさらに具備する請求項２記載の電子機器。
4. 前記候補に関する情報を画面に表示する表示制御部をさらに具備する請求項１記載の電子機器。
5. 前記候補の緊急度を算出する緊急度算出部をさらに具備し、
   前記送信部は、前記緊急度がしきい値以上である場合、前記候補と前記緊急度とに基づいて、前記１つ以上の第１時系列センサーデータの少なくとも１つの、前記第１期間のデータサブセットを前記外部演算装置に送信する請求項１記載の電子機器。
6. 前記送信部はさらに、前記候補が検出された場合、
   前記候補と前記緊急度とに基づいて、前記電子機器とは別の電子機器から１つ以上の第２時系列センサーデータを取得し、
   前記候補に基づいて、前記１つ以上の第２時系列センサーデータの少なくとも１つの、前記第１期間のデータサブセットを前記外部演算装置に送信する請求項５記載の電子機器。
7. 前記送信部はさらに、前記候補が検出された場合、
   前記候補に基づいて、前記電子機器とは別の電子機器から１つ以上の第２時系列センサーデータを取得し、
   前記候補に基づいて、前記１つ以上の第２時系列センサーデータの少なくとも１つの、前記第１期間のデータサブセットを前記外部演算装置に送信する請求項１記載の電子機器。
8. 前記外部演算装置に前記データサブセットを送信できない場合、前記データサブセットを用いて、または前記１つ以上の第１時系列センサーデータを用いて、前記ユーザーの行動と状態の少なくとも一方を認識する認識部をさらに具備する請求項１記載の電子機器。
9. 前記認識部による認識結果を画面に表示する表示制御部をさらに具備する請求項８記載の電子機器。
10. ユーザーが装着または携行可能な電子機器と、情報処理装置とによって構成される情報処理システムであって、
    前記電子機器は、
    １つ以上のセンサーを具備し、
    前記１つ以上のセンサーを用いて１つ以上の時系列センサーデータを取得し、
    前記１つ以上の時系列センサーデータの少なくとも１つを用いて、前記ユーザーの行動と状態の少なくとも一方の候補を検出し、
    前記候補が検出された場合、前記候補に基づいて、前記１つ以上の時系列センサーデータの少なくとも１つの、第１期間のデータサブセットを前記情報処理装置に送信し、
    前記候補が検出されなかった場合、前記１つ以上の第１時系列センサーデータのいずれも前記情報処理装置に送信しないように構成され、
    前記情報処理装置は、
    前記データサブセットを用いて前記ユーザーの行動と状態の少なくとも一方を認識するように構成される、情報処理システム。

Images