JP7237756B2 - 電子機器および情報処理システム - Google Patents

電子機器および情報処理システム Download PDF

Info

Publication number
JP7237756B2
JP7237756B2 JP2019124455A JP2019124455A JP7237756B2 JP 7237756 B2 JP7237756 B2 JP 7237756B2 JP 2019124455 A JP2019124455 A JP 2019124455A JP 2019124455 A JP2019124455 A JP 2019124455A JP 7237756 B2 JP7237756 B2 JP 7237756B2
Authority
JP
Japan
Prior art keywords
data
time
state
candidate
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019124455A
Other languages
English (en)
Other versions
JP2021010391A (ja
Inventor
司 池
和範 井本
康晋 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2019124455A priority Critical patent/JP7237756B2/ja
Priority to US16/809,775 priority patent/US20210004695A1/en
Publication of JP2021010391A publication Critical patent/JP2021010391A/ja
Application granted granted Critical
Publication of JP7237756B2 publication Critical patent/JP7237756B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • A61B5/1117Fall detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G16H10/65ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records stored on portable record carriers, e.g. on smartcards, RFID tags or CD
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明の実施形態は、ユーザーの行動や状態を認識するための電子機器および情報処理システムに関する。
近年、活動量計やスマートウォッチ等のウェアラブルデバイスが普及してきている。ウェアラブルデバイスに搭載されたセンサーは、ユーザーの加速度や温湿度、生体信号等を計測する。このようなセンサーで計測された信号を用いて、ユーザーの行動や状態を認識する技術の開発も盛んになってきている。
ウェアラブルデバイスは、一般の消費者によって用いられるだけでなく、製造や物流、フィールドメンテナンス等の各種の作業に従事する作業者によって用いられることがある。産業分野での利用では特に、作業の妨げとならないように、ウェアラブルデバイスの小型化が求められることがある。このようなウェアラブルデバイスは演算性能やバッテリー容量が低い可能性がある。
特表2018-528627号公報
本発明が解決しようとする課題は、長時間駆動できると共に、高精度な行動・状態認識結果を取得可能な電子機器および情報処理システムを提供することである。
実施形態によれば、電子機器は、ユーザーが装着または携行可能であり、1つ以上のセンサーと、候補検出部と、送信部とを具備する。前記候補検出部は、前記1つ以上のセンサーを用いて1つ以上の第1時系列センサーデータを取得し、前記1つ以上の第1時系列センサーデータの少なくとも1つを用いて、前記ユーザーの行動と状態の少なくとも一方の候補を検出する。前記送信部は、前記候補が検出された場合、前記候補に基づいて、前記1つ以上の第1時系列センサーデータの少なくとも1つの、第1期間のデータサブセットを外部演算装置に送信し、前記候補が検出されなかった場合、前記1つ以上の第1時系列センサーデータのいずれも前記外部演算装置に送信しない
第1実施形態に係る電子機器と外部演算装置とを備える情報処理システムの構成を示すブロック図。 第1実施形態に係る電子機器のシステム構成を示すブロック図。 第1実施形態に係る電子機器と外部演算装置の機能構成を示すブロック図。 第1実施形態に係る電子機器と外部演算装置とによる処理シーケンスの例を示す図。 第1実施形態に係る電子機器と外部演算装置とによって取得されるデータを説明するための図。 第1実施形態に係る電子機器によって、ユーザーが特定の状態(例えば熱中症状態)であり得ることを示す候補が検出される例を示す図。 第1実施形態に係る電子機器によって図6の候補に基づいて生成されるデータサブセットの例を示す図。 第1実施形態に係る電子機器または外部演算装置によって表示される画面の例を示す図。 第2実施形態に係る電子機器および外部演算装置の機能構成を示すブロック図。 第2実施形態に係る電子機器と外部演算装置とによる処理シーケンスの例を示す図。 第2実施形態に係る電子機器によって緊急度として用いられる暑さ指数のレベルを説明するための図。 第2実施形態に係る電子機器または外部演算装置によって表示される画面の例を示す図。 第3実施形態に係る電子機器と外部演算装置の機能構成を示すブロック図。 第3実施形態に係る電子機器と外部演算装置とによる処理シーケンスの例を示す図。 第3実施形態に係る電子機器によって表示される画面の例を示す図。 第4実施形態に係る電子機器と外部演算装置とを備える情報処理システムの構成を示すブロック図。 第4実施形態に係る電子機器、別の電子機器、および外部演算装置の機能構成を示すブロック図。 第4実施形態に係る電子機器、別の電子機器、および外部演算装置による処理シーケンスの例を示す図。
以下、実施の形態について図面を参照して説明する。図面において、同一の符号は同様のものを示しており、重複した説明は省略する。
(第1実施形態)
まず図1を参照して、第1実施形態に係る電子機器を含む情報処理システムの構成を説明する。この情報処理システム1は認識対象のユーザーの行動や状態を認識するためのシステムであり、行動・状態認識システムとも称される。認識されるユーザーの行動や状態は、例えばふらつき、転倒、熱中症状態のような、体調不良、事故の発生や予兆等を示す様々な行動や状態を含む。情報処理システム1は、1つ以上のセンサー203を備える電子機器2(以下、センサーデバイスとも称する)と、外部演算装置3とで構成され得る。
センサーデバイス2は、認識対象のユーザーが手首、足首、首、腰、頭等に装着可能なウェアラブルデバイスや、認識対象のユーザーが携行可能なポータブルデバイス(例えばスマートフォン)として実現され得る。センサーデバイス2内の各センサー203は、センサーデバイス2を装着または携行しているユーザーの行動や状態に関わる種々の信号(あるいはデータ)を生成する。センサー203は、例えば加速度、角速度、地磁気、気圧、温度、湿度、生体信号(筋電位、心拍、脈波等)を計測するためのセンサーである。センサーデバイス2は、生成された信号に基づく時系列のセンサーデータを取得できる。
以下では、説明を分かりやすくするために、センサーデバイス2が、認識対象のユーザーによって装着されたウェアラブルデバイスである場合について主に例示する。また、認識対象のユーザーを、単にユーザーとも称する。
外部演算装置3は情報処理装置であり、サーバーコンピュータ等として実現され得る。外部演算装置3とセンサーデバイス2とはネットワークを介してデータを相互に送受信可能である。センサーデバイス2は、例えば無線LANやBluetooth(登録商標)を用いた無線接続により、外部演算装置3との間でデータを送受信できる。
センサーデバイス2は、一般の消費者によって用いられるだけでなく、製造や物流、フィールドメンテナンス等の各種の作業に従事する作業者によって用いられることがある。センサーデバイス2が一般の消費者によって装着される場合、センサー203を用いて取得された時系列センサーデータは、歩数、運動強度、心拍数等を示し、これらに基づく健康管理等のために利用される。また、センサーデバイス2が作業者によって装着される場合、センサー203を用いて取得された時系列センサーデータは、作業現場における作業内容を分類して生産性改善のための分析に利用されたり、転倒検知や熱中症リスク推定等を通した作業者の安全確保に利用されたりする等、産業分野でも活用できる。
産業分野での利用では特に、センサーデバイス2の装着がユーザーによる作業の妨げとならないように、センサーデバイス2の小型化が要求され得る。そのため、センサーデバイス2内の演算装置やバッテリーのような各コンポーネントには、サイズに関する制約が設けられることがある。このような場合にセンサーデバイス2を長時間駆動させるためには、例えば演算装置(SoC、プロセッサ等)による消費電力を低減する必要がある。しかしながら、これは演算装置が低い性能しか発揮できないことを意味する。したがってセンサーデバイス2では、例えばユーザーの行動や状態を認識するための処理に利用できる演算のための性能(あるいはリソース)に、大きな制約が存在し得る。
本実施形態では、外部演算装置3によってユーザーの行動や状態を認識するための処理を実行する。つまり、消費電力を低減しなければならないことに起因する上記の制約がない外部演算装置3によって、高度で演算量が大きい認識処理が実行される。
外部演算装置3で行動・状態の認識処理が行われる場合、センサーデバイス2はセンサー203で計測された信号等の認識に用いられる情報を、外部演算装置3に転送する必要がある。もしセンサーデバイス2と外部演算装置3とが有線で接続されているならば、ユーザーはセンサーデバイス2だけでなく外部演算装置3も持ち歩く必要があり、作業の妨げとなる。したがって作業の妨げとならないように、センサーデバイス2は情報を無線通信で外部演算装置3に転送できることが望ましい。
また、無線通信に要する電力は送信されるデータ量に応じて増加する。したがって、センサーデバイス2を長時間駆動させるために、送信される量が削減されることが望ましい。
送信されるデータ量を削減するための方法の1つとして、例えば、センサーデータ(信号)の内、認識されるべきイベントの検出(例えば生体信号からの脈拍検出等)に必要な周波数成分のみを残し、他の周波数成分のデータを間引くことにより、センサーデータを圧縮する方法がある。圧縮されたセンサーデータを外部演算装置3に送信することで、センサーデバイス2では無線通信に要する電力を低減できる。
しかしながら、ユーザーの行動・状態が認識される場合には、加速度センサーやジャイロセンサー等のセンサーデータから複数種の行動・状態が並列して認識されることがある。このような場合、並列して認識されるべき複数の行動・状態の各々によって、特徴となる周波数成分(すなわち認識に必要な周波数成分)が異なる。例えば、ユーザーのいくつかの行動を認識しようとする場合に、歩行等の繰り返しの動作では低い周波数成分に特徴的なパターンが表れる一方、行動の開始や終了、物体への接触のような身体(例えば手足)の急速な速度変化を伴う動作では高い周波数成分に特徴的なパターンが表れる。そのため、並列して認識されるべき複数の行動・状態の認識精度を劣化させることなく、必要な周波数成分を選択することは困難である。したがって、ユーザーの行動・状態を認識する本実施形態に、周波数成分を間引きすることによってセンサーデータを圧縮する方法を適用することは困難である。
そのため本実施形態では、センサーデバイス2で1つ以上の時系列センサーデータから行動と状態の少なくとも一方の候補(以下、行動・状態候補とも称する)を検出し、候補が検出された場合に、その候補に基づいて、1つ以上の時系列センサーデータの少なくとも1つの第1期間のデータサブセットを外部演算装置3に送信する。センサーデバイス2は、時系列センサーデータのすべてではなく、外部演算装置3による行動・状態の認識に必要なデータサブセットを送信するので、通信に要する電力を低減できる。さらに、外部演算装置3は、例えばセンサーデバイス2よりも高い演算能力を有するので、データサブセットを用いて行動と状態の少なくとも一方(以下、行動・状態とも称する)を精度良く認識できる。これにより、センサーデバイス2は、長時間駆動できると共に、高精度な行動・状態認識結果を取得可能になる。
より具体的には、センサーデバイス2は1つ以上のセンサー203を用いて1つ以上の時系列センサーデータを、例えばリアルタイムで取得する。センサーデバイス2は、取得された1つ以上の時系列センサーデータの少なくとも1つを用いて、認識されるべきユーザーの行動・状態の候補を検出する。そして、センサーデバイス2は、検出された候補に基づいて、1つ以上の時系列センサーデータの少なくとも1つの第1期間のデータサブセットを外部演算装置3に送信する。センサーデバイス2は、検出された候補に基づいて、1つ以上の時系列センサーデータの少なくとも1つの時系列センサーデータを選択し、選択された各時系列センサーデータの少なくとも一部をデータサブセットとして取得する。つまり、取得されるデータサブセットは、選択された各時系列センサーデータの部分集合である。
外部演算装置3はこのデータサブセットを受信し、当該データサブセットを用いてユーザーの行動・状態を認識する。
図2はセンサーデバイス2のシステム構成例を示す。センサーデバイス2は、CPU201、主メモリ202、センサー203、不揮発性メモリ204、無線通信デバイス205、エンベデッドコントローラ(EC)208等を備える。
CPU201は、センサーデバイス2内の様々なコンポーネントの動作を制御するプロセッサである。CPU201は、ストレージデバイスである不揮発性メモリ204から主メモリ202にロードされる様々なプログラムを実行する。これらプログラムには、オペレーティングシステム(OS)202A、及び様々なアプリケーションプログラムが含まれている。アプリケーションプログラムには、各センサー203を用いて取得された時系列センサーデータを処理するための制御プログラム202Bが含まれている。この制御プログラム202Bは、各センサー203を用いて時系列センサーデータを取得し、時系列センサーデータを用いてユーザーの行動・状態の候補を検出し、検出された候補に基づいて時系列センサーデータのデータサブセットを外部演算装置3に送信するための命令群を含んでいる。
無線通信デバイス205は、無線通信を実行するように構成されたデバイスである。無線通信デバイス205は、信号を無線送信する送信部と、信号を無線受信する受信部とを含む。無線通信デバイス205によって用いられる無線接続の方式は、無線LANやBluetooth等のいずれの方式であってもよい。
EC208は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。EC208はバッテリー209からセンサーデバイス2内の各部に供給される電力を制御する。
センサーデバイス2はディスプレイ206とスピーカー207とをさらに備えていてもよい。その場合、CPU201はディスプレイ206およびスピーカー207を制御する。CPU201によって生成される表示信号はディスプレイ206に送られる。ディスプレイ206は表示信号に基づく画面イメージを表示する。同様に、CPU201によって生成される音声信号はスピーカー207に送られる。スピーカー207は音声信号に基づく音声を出力する。
あるいは、センサーデバイス2は、映像や音声を出力可能な別の電子機器(例えばヘッドマウントディスプレイ)に無線または有線で接続されていてもよい。その場合、その別の電子機器を用いて画面イメージを表示したり、音声を出力したりすることができる。
なお、外部演算装置3はセンサーデバイス2と同様のシステム構成を有し得るが、外部演算装置3内の少なくとも一部の構成(CPU、主メモリ等)は、センサーデバイス2内の対応する構成よりも高い性能を有していてもよい。また、外部演算装置3は、無線通信デバイスに加えて、あるいはその代わりに、有線通信デバイスを備えていてもよい。
図3はセンサーデバイス2と外部演算装置3の機能構成例を示す。センサーデバイス2上で実行される制御プログラム202Bは、第1データ取得部10、行動・状態候補検出部20、データサブセット生成部30、データサブセット送信部40、認識結果受信部60、および表示制御部70を備える。また、外部演算装置3は第1行動・状態認識部50を備える。なお、第1行動・状態認識部50は、外部演算装置3上で実行されるプログラムが有する機能として実現され得る。
第1データ取得部10は、センサー203から認識対象ユーザーの行動・状態の認識に必要となるセンサーデータを取得する。取得されるセンサーデータは、例えば、加速度データ、角速度データ、地磁気データ、気圧データ、温湿度データ、筋電位データ、脈波データ等である。
なお、第1データ取得部10は複数のセンサー203から複数の種類のセンサーデータをそれぞれ取得してもよい。あるいは、1つのセンサー203から、複数の種類(例えば複数のチャンネル)のセンサーデータが取得されてもよい。例えば、第1データ取得部10は1つ以上のセンサー203から、加速度の各方向成分に対応する3チャンネルの加速度データと、角速度の各方向成分に対応する3チャンネルの角速度データとを併せた6チャンネルのセンサーデータを並行して取得できる。なお、取得されるセンサーデータの種類は、ユーザーの行動・状態の認識に有効な情報を含んでいればどのような種類のセンサーデータであってもよい。またセンサーデータを取得するためのセンサー203も、ユーザーの行動・状態の認識に有効な情報を取得できるものであれば、いずれの構成を有するセンサー(装置)であってもよい。
第1データ取得部10は、例えば1つ以上の種類(あるいはチャンネル)のセンサーデータがそれぞれ継続して取得されている場合、各センサーデータが時系列で結合された時系列センサーデータを生成する。これにより、1つ以上の種類の時系列センサーデータが取得される。
行動・状態候補検出部20は生成された1つ以上の時系列センサーデータを用いて、認識されるべきユーザーの行動・状態の候補を検出する。行動・状態候補検出部20は、少なくとも1つの時系列センサーデータのパターンに基づいて、認識されるべき行動・状態が発生している可能性がある区間を、行動・状態候補として検出する。なお、検出された行動・状態の候補と認識された行動・状態とでは、認識された行動・状態の方が行動・状態の候補よりも、その行動・状態が実際に発生している可能性がより高いものとする。
行動・状態候補を検出するための処理は、ユーザーの行動・状態を認識するための処理よりも少ない消費電力量で実行できる。例えば、転倒リスクが高い状態(例えばふらつき状態)の候補が検出される場合、加速度センサーを備えるセンサーデバイス2がユーザーの腰部に装着され、この加速度センサーを用いて取得された時系列の加速度データによって、重力方向に対するユーザーの腰の傾きを算出し、その分散値に基づきふらつき状態の疑いがあるかどうかが判定される。つまり、行動・状態候補検出部20は、例えば腰の傾きの分散値がしきい値以上である場合に、ふらつき状態の候補を検出する。
なお、ここでは行動・状態候補の検出が少ない消費電力量で実現される例として、計算量の少ない処理が用いられる手段を一例として挙げたが、消費電力量を低減できる他の手段が用いられてもよい。例えば、特定の演算を低消費電力で実行可能な演算ユニットをセンサーデバイス2に搭載し、これを用いて行動・状態候補の検出に要する消費電力量を低減してもよい。
データサブセット生成部30およびデータサブセット送信部40は、行動・状態候補検出部20によって行動・状態候補が検出された場合、その行動・状態候補に基づいて、1つ以上の時系列センサーデータの少なくとも1つの、ある特定の期間のデータサブセットを、外部演算装置3に送信する。
より具体的には、データサブセット生成部30は、行動・状態候補が検出された場合、行動・状態候補の種類と行動・状態候補が検出された時刻(例えば日時)とに基づいて時系列センサーデータから特定の区間を切り出すことにより、行動・状態を認識するためのデータサブセットを生成する。データサブセット生成部30は、例えば、行動・状態候補の種類に基づいて1つ以上の時系列センサーデータから少なくとも1つの時系列センサーデータを選択し、選択された時系列センサーデータの内の、行動・状態候補が検出された時刻に基づく特定の期間のデータを、データサブセットとして取得する。選択される少なくとも1つの時系列センサーデータは、行動・状態候補の検出のために用いられた時系列センサーデータを含んでいてもよいし、これとは別の時系列センサーデータを含んでいてもよい。
例えば、ねじ式キャップを取り外す動作が認識される場合について説明する。この場合、まず、加速度データを用いてねじ式キャップを引き抜く動作が行動・状態候補として検出される。そして、この引き抜く動作の時点よりも前の、ねじ式キャップを回して緩める動作が、角速度データを用いて認識される。これらの検出と認識により、ねじ式キャップを取り外す動作が認識される。このように、ねじ式キャップを取り外す動作が認識される場合、加速度データを用いてその行動・状態候補が検出され、加速度データとは別の角速度データを用いて認識が行われる。したがって、データサブセット生成部30は、行動・状態候補の検出のために用いられた時系列センサーデータとは別の時系列センサーデータから、行動・状態を認識するためのデータサブセットを取得し得る。
上述した特定の期間は、例えば行動・状態候補が検出された時刻を含む、特定の長さを有する期間である。また、この特定の期間は、行動・状態候補が検出された時刻を含まない期間であってもよい。例えばユーザーの転倒が認識される場合に、ある時点の加速度データを用いて地面衝突時の衝撃が転倒の候補として検出され、この時点よりも前の期間の姿勢データを用いて転倒中(すなわち衝突前)の姿勢の変化から転倒が認識される。このような場合、データサブセット生成部30は、転倒の候補が検出された時刻を含まない期間の姿勢データを、データサブセットとして取得し得る。
データサブセット送信部40は、データサブセット生成部30によって生成されたデータサブセットを、無線通信デバイス205を介して外部演算装置3に送信する。
外部演算装置3の第1行動・状態認識部50は、センサーデバイス2からデータサブセットを受信する。第1行動・状態認識部50はデータサブセットを用いて、認識されるべきユーザーの行動・状態を認識する。認識されるべき行動・状態は、1つの種類の行動または状態であってもよいし、複数種の行動および状態であってもよい。第1行動・状態認識部50は、複数種の行動および状態を認識するための複数種のアルゴリズムを備え得る。
第1行動・状態認識部50は、認識された行動と状態の少なくとも一方を示す情報を含む認識結果を、ユーザーの行動・状態ログとしてこの外部演算装置3内に保存してもよいし、例えばネットワークを介して接続されたクラウド上のサーバーに保存してもよい。
また第1行動・状態認識部50は、例えばユーザーが自身で認識結果を確認できるように、センサーデバイス2に認識結果を送信してもよい。この場合、センサーデバイス2の認識結果受信部60は、無線通信デバイス205を介して外部演算装置3から認識結果を受信する。そして、表示制御部70は認識結果をディスプレイ206の画面に表示する。なお、認識結果に基づく注意や警告のための音声がスピーカー207から出力されてもよい。さらに、表示制御部70は、行動・状態候補検出部20によって検出された行動・状態候補に関する情報をディスプレイ206の画面に表示してもよいし、当該情報基づく注意や警告のための音声がスピーカー207から出力されてもよい。
あるいは、第1行動・状態認識部50は、例えば作業監督者が各作業者の作業状況や体調を管理する場合等に、作業監督者の近くに設置されるか、作業監督者が携行する管理者端末4に認識結果を送信してもよい。管理者端末4は、センサーデバイス2と同様にして、認識結果を画面に表示してもよいし、注意や警告のための音声を出力してもよい。
図4を参照して、センサーデバイス2と外部演算装置3とによる処理シーケンスの一例を説明する。ここでは、上述した通り、センサーデバイス2が認識対象ユーザーによって装着されたウェアラブルデバイスである場合について例示する。
まず、センサーデバイス2の第1データ取得部10は、1つ以上のセンサー203を用いて、ユーザーの行動・状態の認識に必要な1つ以上のセンサーデータを取得する(A1)。第1データ取得部10は、センサーデータの種類(チャンネル)毎に、取得されたセンサーデータを、過去の複数の時点で取得されたセンサーデータと結合することにより、1つ以上の時系列センサーデータを生成する(A2)。
次いで、行動・状態候補検出部20は、生成された1つ以上の時系列センサーデータの少なくとも1つの時系列センサーデータを用いて行動・状態候補を検出する(A3)。上述したように、行動・状態候補を検出するためのアルゴリズムは必ずしも1種類である必要はなく、例えば、認識されるべき行動・状態が複数ある場合や、1つの行動・状態に対応する行動・状態候補のパターンが複数ある場合等には、複数種のアルゴリズムを用いて行動・状態候補が検出されてもよい。行動・状態候補が検出されなかった場合、処理は終了する。
一方、行動・状態候補が検出された場合、データサブセット生成部30は、検出された行動・状態候補の種類と行動・状態候補が検出された時刻とに基づき、時系列センサーデータの特定の区間を切り出し、データサブセットを生成する(A4)。ここで、データサブセットが切り出される時系列センサーデータの種類やチャンネル数、切り出されるデータサブセットの長さおよび位置は、検出された行動・状態候補に応じて異なるものであってもよい。そして、データサブセット送信部40は生成されたデータサブセットを、無線通信デバイス205を介して外部演算装置3に送信する(A5)。
次いで、外部演算装置3の第1行動・状態認識部50はセンサーデバイス2からデータサブセットを受信し、このデータサブセットを用いて、認識されるべきユーザーの行動と状態の少なくとも一方を認識する(A6)。そして、第1行動・状態認識部50は認識結果をセンサーデバイス2に送信する(A7)。
センサーデバイス2の認識結果受信部60は無線通信デバイス205を介して外部演算装置3から認識結果を受信し、表示制御部70は認識結果をディスプレイ206の画面に表示する(A8)。なお、認識結果に応じた音声がスピーカー207から出力されてもよい。これにより、認識対象のユーザー自身が認識結果を確認できる。
また、認識結果は外部演算装置3や別のサーバー内に保存されてもよいし、センサーデバイス2とは別の管理者端末4や、ユーザーが携行する携帯情報端末(例えばスマートフォン)等に送信されてもよい。認識結果が、いずれかの装置(端末)に内蔵または接続されるディスプレイの画面に表示されることにより、作業監督者等の管理者が各ユーザーに関する認識結果を確認できる。
図5から図7を参照して、時系列センサーデータを用いて、行動・状態候補が検出され、データサブセットが生成される例について説明する。ここでは、認識されるべき行動・状態が熱中症状態である場合を例示する。
熱中症リスクの大きさは、大まかにはある場所の気温と湿度から暑さ指数(Wet Bulb Globe Temperature(WBGT))を算出して、推定することができる。しかしながら、実際のリスクの大きさは、ユーザーの脈拍数や体動量、気温や湿度等の環境変化によって変動するため、精度よくリスクを推定するためには、これらの情報を用いた機械学習等(例えば深層学習)による統計的な処理が有効と考えられる。
認識されるべき行動・状態を熱中症状態として本実施形態に適用した場合、センサーデバイス2において、温度と湿度の時系列センサーデータを用いて暑さ指数が算出され、この暑さ指数がしきい値を超えた場合に、熱中症状態の候補が検出される。また、外部演算装置3では、脈拍数や体動量等をさらに用いた機械学習等による統計的な処理が行われ、精度よく熱中症状態(例えば熱中症リスク)が認識される。
より具体的には図5に示すように、センサーデバイス2の第1データ取得部10は、1つ以上のセンサー203を用いて1つ以上の時系列センサーデータ81を取得する。時系列センサーデータ81は、温度の時系列センサーデータ811、湿度の時系列センサーデータ、脈波の時系列センサーデータ813等の、複数の種類の時系列センサーデータを含み得る。なお、ここでは、複数の時系列センサーデータ811,812,813を構成する時系列の値が、同一のタイミング、および同一の頻度(ここでは20回/秒)で計測される例を示しているが、計測のタイミングや頻度はセンサー203毎に異なっていてもよい。
次いで、行動・状態候補検出部20は、1つ以上の時系列センサーデータ81の内、温度の時系列センサーデータ811と湿度の時系列センサーデータ812とを用いて、暑さ指数82を算出する。算出された暑さ指数82がしきい値を超えている場合、行動・状態候補検出部20はその暑さ指数82を熱中症状態の候補として検出し、その暑さ指数82の算出に用いられたデータが計測された時刻を取得する。
図6は、温度の時系列センサーデータ811と湿度の時系列センサーデータ812とから暑さ指数82が算出され、熱中症状態の候補83が検出される例を示す。温度の時系列センサーデータ811は、例えば、日時と当該日時に計測された温度とをそれぞれ含む複数のレコードを、時系列順に含んでいる。また、湿度の時系列センサーデータ812は、例えば、日時と当該日時に計測された湿度とをそれぞれ含む複数のレコードを、時系列順に含んでいる。
行動・状態候補検出部20は、ある日時の温度と湿度とを用いて暑さ指数82を算出し、その暑さ指数82がしきい値を超えているか否かを判定する。そして、行動・状態候補検出部20は、しきい値を超えている暑さ指数82(図6では日時“2019/4/15 15:00:01:60”の暑さ指数)を熱中症状態の候補83として検出する。
データサブセット生成部30は、検出された候補83の種類が熱中症状態であることと、この候補83に対応する日時(すなわち、候補83の検出に用いられたデータが計測された日時)とに基づいて、1つ以上の時系列センサーデータ81から少なくとも1つの時系列センサーデータを選択し、選択された少なくとも1つの時系列センサーデータから特定の期間のデータサブセットを生成する。
図7に示す例では、1つ以上の時系列センサーデータ81から、外部演算装置3で熱中症状態を精度よく認識するための、温度の時系列センサーデータ811、湿度の時系列センサーデータ812、および脈波の時系列センサーデータ813が選択されている。そして、各時系列センサーデータ811,812,813から、熱中症状態の候補83に対応する日時“2019/4/15 15:00:01:60”を含む特定の期間(例えば日時“2019/4/15 15:00:01:60”を中心とする1秒間)が抽出され、データサブセット84が生成されている。
外部演算装置3は、生成されたデータサブセット84を用いて、機械学習に基づく回帰等のアルゴリズムにより、熱中症状態を高精度に認識する。外部演算装置3は、例えば、熱中症リスクの大きさを高精度に推定できる。外部演算装置3は推定された熱中症リスクの大きさを認識結果としてセンサーデバイス2等に送信する。
なお、図6および図7は一例であって、熱中症状態の候補83の検出精度を向上させるために、例えば加速度の時系列センサーデータをさらに用いて体動量を算出したり、脈波の時系列センサーデータ813をさらに用いて脈拍数を算出したりしてもよい。あるいは、外部演算装置3で熱中症状態を精度よく認識するために、さらに別の種類の時系列センサーデータ(例えば3軸加速度の時系列センサーデータ)が選択され、データサブセット84の生成に用いられてもよい。
また、図8は、行動・状態候補の検出結果と行動・状態の認識結果とを示す画面の例を示す。図8に示す画面は、センサーデバイス2に設けられるディスプレイ206に限らず、検出結果と認識結果の少なくとも一方を取得可能ないずれかの装置に内蔵または接続されるディスプレイに表示され得る。ここでは、認識されるべき行動・状態が熱中症状態である場合について例示する。
図8(A)は、熱中症状態の候補83が検出されていない場合に表示される画面91Aの例を示す。熱中症状態の候補83が検出されていない場合、暑さ指数82はしきい値未満であるので、この画面91Aでは暑さ指数82が「低」であることが示されている。また、データサブセット84が生成されず、外部演算装置3に送信されていないので、外部演算装置3による認識結果に含まれる熱中症リスクの大きさは画面91Aに示されていない。
なお、画面91Aが表示されるケースでは、データサブセット84が生成されておらず、データサブセット84を送信するために用いられる無線通信デバイス205も動作していないので、センサーデバイス2は低い消費電力で動作していると云える。
これに対して、図8(B)は、熱中症状態の候補83が検出された場合に表示される画面91Bの例を示す。熱中症状態の候補83が検出された場合、暑さ指数82はしきい値以上であるので、この画面91Bでは暑さ指数82が「高」であることが示されている。また、熱中症状態の候補83が検出されたことに応じてデータサブセット84が生成され、外部演算装置3に送信された後、外部演算装置3から認識結果が受信されるので、この認識結果に含まれる熱中症リスクの大きさ(ここでは82%)が画面91Bに示されている。
なお、この暑さ指数82を示す文字や熱中症リスクの大きさを示す文字は、暑さ指数82や熱中症リスクの大きさが大きいほど、ユーザーに注意喚起を促すことができるように、文字の色やその背景の色のような表示形態が変更されてもよい。
画面91Bが表示されるケースでは、データサブセット84を外部演算装置3に送信するための消費電力は必要であるものの、演算量が大きく、より大きな消費電力を必要とする可能性がある熱中症状態の高精度な認識(例えば熱中症リスクの推定)を、外部演算装置3で行うことができる。これにより、演算量が大きい処理を行うための、高性能で消費電力量が大きい構成をそのセンサーデバイス2内に設けることなく、センサーデバイス2を装着したユーザーの行動・状態に関する高精度な認識結果を取得できる。
さらに、センサーデバイス2では、行動・状態候補が検出された場合にのみ、データサブセット84を生成し、外部演算装置3に送信すればよい。したがって、ユーザーの行動・状態を高精度に認識したり、すべての時系列センサーデータ81を外部演算装置3に送信したりする場合に比べて、消費電力量が低減されるので、センサーデバイス2を長時間駆動できる。
センサーデバイス2は上述したユーザーの熱中症状態だけでなく、不安定な姿勢や想定外の動作等の種々の行動・状態候補を検出でき、同様に、外部演算装置3も種々の行動・状態を認識できる。
例えば、センサーデバイス2は作業者(ユーザー)の不安定な姿勢の候補を検出し、3軸加速度の時系列センサーデータのデータサブセットを外部演算装置3に送信する。外部演算装置3は作業者の不安定な姿勢を認識することにより、例えば転倒リスクを推定する。この認識結果により、例えば転倒リスクの大きさに応じて作業者に注意を促すことが可能になる。
また例えば、センサーデバイス2は、作業マニュアルに記載されていない作業者の想定外の動作の候補を検出し、6軸の加速度および角速度の時系列センサーデータのデータサブセットを外部演算装置3に送信する。外部演算装置3は作業者の想定外の動作を認識することにより、例えば動作を詳細に分析する。この認識結果により、例えば作業者にマニュアルにない動作を行わないように警告することが可能になる。
以上のように、認識されるべき行動・状態の候補をセンサーデバイス2上で簡易的な処理で検出し、候補が検出された場合のみ、時系列センサーデータのサブセットを、無線通信デバイス205を用いて外部演算装置3に送信し、高度な認識処理を実行させる。これにより、無線通信に要する電力消費を低減しつつ、必要な場合に外部演算装置3を用いて行動・状態の認識性能を高めることが可能となる。
(第2実施形態)
第1実施形態では、行動・状態候補が検出された場合に、データサブセットが生成され、外部演算装置3に送信される。これに対して第2実施形態では、行動・状態候補が検出され、その緊急度が高い場合に、データサブセットが生成され、外部演算装置3に送信される。
第2実施形態に係るセンサーデバイス2および外部演算装置3の構成は第1実施形態のセンサーデバイス2および外部演算装置3とそれぞれ同様であり、第2実施形態と第1実施形態とでは、緊急度を算出するための緊急度算出部が追加され、これに伴い、データサブセット生成部30、データサブセット送信部40、および第1行動・状態認識部50の機能が変更されている点で異なる。以下、第1実施形態と異なる点について主に説明する。
図9は第2実施形態に係るセンサーデバイス2と外部演算装置3の機能構成を示す。上述したように、センサーデバイス2は、緊急度算出部21をさらに備え、第1実施形態のデータサブセット生成部30およびデータサブセット送信部40から機能の一部がそれぞれ変更されたデータサブセット生成部31およびデータサブセット送信部41を備えている。第1データ取得部10、行動・状態候補検出部20、認識結果受信部60、および表示制御部70の動作については、第1実施形態で説明した通りである。
緊急度算出部21は、行動・状態候補が検出された場合、その程度の大きさを緊急度(あるいは深刻度)として算出する。例えば、転倒リスクが高い状態が行動・状態候補として検出される場合に、ユーザーの腰の傾きの分散値が、あるいは分散値の大きさに応じて決定されるレベルが、緊急度として用いられる。また例えば、熱中症リスクが高い状態(熱中症状態)が行動・状態候補として検出される場合に、暑さ指数が、あるいは暑さ指数に応じて決定されるレベルが、緊急度として用いられる。
データサブセット生成部31およびデータサブセット送信部41は、データサブセットを生成および送信すべき緊急度である場合(例えば緊急度がしきい値以上である場合)、行動・状態候補と緊急度とに基づいて、1つ以上の時系列センサーデータの少なくとも1つの、ある特定の期間のデータサブセットを外部演算装置3に送信する。
より具体的には、データサブセット生成部31は、行動・状態候補検出部20によって行動・状態候補が検出された場合、緊急度算出部21によって算出された緊急度に基づき、データサブセットを生成するかどうかを判断する。生成すると判断した場合、データサブセット生成部31は、行動・状態候補の種類と、行動・状態候補が検出された時刻(例えば日時)と、緊急度とに基づいて、時系列センサーデータから特定の区間を切り出すことにより、データサブセットを生成する。データサブセット生成部31は、例えば、行動・状態候補の種類に基づいて1つ以上の時系列センサーデータから少なくとも1つの時系列センサーデータを選択し、選択された時系列センサーデータの内の、行動・状態候補が検出された時刻に基づく特定の期間のデータを、データサブセットとして取得する。この特定の期間は、例えば行動・状態候補が検出された時刻を含む、特定の長さを有する期間である。なお、時系列センサーデータの選択とデータを切り出すべき特定の期間の決定には、緊急度がさらに考慮されてもよい。
データサブセット送信部41は、データサブセット生成部31によって生成されたデータサブセットと、緊急度算出部21によって算出された緊急度とを、無線通信デバイス205を介して外部演算装置3に送信する。
また上述したように、第2実施形態における外部演算装置3は、第1実施形態の第1行動・状態認識部50から機能の一部が変更された第1行動・状態認識部51を備えている。
第1行動・状態認識部51はセンサーデバイス2からデータサブセットと緊急度とを受信する。第1行動・状態認識部51はこれらデータサブセットおよび緊急度を用いて、認識されるべきユーザーの行動・状態を認識する。第1行動・状態認識部51は認識結果を外部演算装置3内に保存してもよいし、センサーデバイス2等に送信してもよい。
次いで図10を参照して、センサーデバイス2と外部演算装置3とによる処理シーケンスの一例を説明する。図10に示すB1、B2、およびB3の処理は、図4を参照して上述したA1、A2、A3の処理と同様である。
B3の処理において行動・状態候補が検出された場合、緊急度算出部21は検出された行動・状態候補の程度の大きさを緊急度として算出する(B4)。
データサブセット生成部31は算出された緊急度がデータサブセットを生成すべき緊急度である場合、行動・状態候補の種類と、行動・状態候補が検出された時刻と、緊急度とに基づき、時系列センサーデータの特定の区間を切り出し、データサブセットを生成する(B5)。ここで、データサブセットが切り出される時系列センサーデータの種類やチャンネル数、切り出されるデータサブセットの長さおよび位置は、行動・状態候補と緊急度とに応じて異なるものであってもよい。
より具体的には、データサブセット生成部31は緊急度に基づいてデータサブセットを生成するか否かを判定する。データサブセット生成部31は、例えば緊急度が、検出されている行動・状態候補の種類毎に定められたしきい値以上であるか否かに応じて、データサブセットを生成するかどうかを決定する。すなわち、ある行動・状態候補が検出された場合に、緊急度がその行動・状態候補に関連付けられたしきい値以上であるならば、データサブセット生成部31はデータサブセットを生成すると判断する。一方、緊急度がしきい値未満であるならば、データサブセット生成部31はデータサブセットを生成しないと判断する。データサブセットを生成しないと判断した場合、処理が終了する。
また、緊急度算出部21によって算出された緊急度がデータサブセットを生成すべき緊急度であり、データサブセット生成部31によってデータサブセットが生成された場合、データサブセット送信部41はデータサブセットと緊急度とを、無線通信デバイス205を介して外部演算装置3に送信する(B6)。
外部演算装置3の第1行動・状態認識部51はセンサーデバイス2からデータサブセットと緊急度とを受信し、これらデータサブセットと緊急度とを用いて、認識されるべきユーザーの行動・状態を認識する(B7)。ここで、行動・状態の認識に用いられるアルゴリズムは、緊急度に応じて異なるものであってもよい。例えば、緊急度が大きい場合には詳細な解析のためのアルゴリズムが用いられ、緊急度が低い場合には簡易な解析のためのアルゴリズムが用いられる。
ここで、図11から図12を参照して上述した例と同様に、認識されるべき行動・状態が熱中症状態である場合の動作について例示する。
図11は緊急度として用いられる暑さ指数のレベルの例を示す。暑さ指数は、その大きさに応じて複数のレベルのいずれかに分類される。一般に、暑さ指数が分類されたレベルに基づき、暑さに関する注意喚起が行われている。そのため、この暑さ指数のレベルを緊急度として用いることができる。
図11に示すように、例えば、25度未満である暑さ指数がレベル0(注意)に関連付けられ、25度以上28度未満である暑さ指数がレベル1(警戒)に関連付けられ、28度以上31度未満である暑さ指数がレベル2(厳重警戒)に関連付けられ、31度以上である暑さ指数がレベル3(危険)に関連付けられている。
緊急度算出部21は、このような暑さ指数とレベルとの関係を示す情報(例えばテーブル)を用いて、行動・状態候補検出部20によって算出された暑さ指数82に対応する緊急度を算出する。なお、行動・状態候補検出部20が、例えばレベル1以上に相当する暑さ指数82を、行動・状態候補(すなわち熱中症状態の候補83)として検出するようにしてもよい。
次いで、データサブセット生成部31は緊急度として算出された暑さ指数のレベルが、熱中症状態の候補に関連付けられたしきい値以上(例えばレベル2)であるか否かを判定する。暑さ指数のレベルがしきい値未満である場合、データサブセット生成部31はデータサブセットを生成しない。
一方、暑さ指数のレベルがしきい値以上である場合、データサブセット生成部31はデータサブセットを生成し、データサブセット送信部41は生成されたデータサブセットを外部演算装置3に送信する。外部演算装置3の第1行動・状態認識部51は、このデータサブセットを用いてユーザーの行動・状態を認識し、その認識結果をセンサーデバイス2等に送信する。
図12は、熱中症状態に関する行動・状態候補の検出結果と行動・状態の認識結果とを示す画面の例を示す。図12に示す画面は、センサーデバイス2に設けられるディスプレイ206に限らず、検出結果と認識結果の少なくとも一方を取得可能ないずれかの装置に内蔵または接続されるディスプレイに表示され得る。ここでは、認識されるべき行動・状態が熱中症状態である場合について例示する。
図12(A)は、算出された暑さ指数82がレベル0に相当する場合に表示される画面92Aの例を示す。この画面92Aでは暑さ指数82がレベル0であることが示されている。また、レベル0に相当する暑さ指数82は熱中症状態の候補83として検出されないので、データサブセット84が生成されず、外部演算装置3に送信されていない。したがって、外部演算装置3による認識結果に含まれる熱中症リスクの大きさは画面92Aに示されていない。
図12(B)は、算出された暑さ指数82がレベル1に相当する場合に表示される画面92Bの例を示す。この画面92Bでは暑さ指数82がレベル1であることが示されている。このレベル1が表示される形態は、レベル1よりも低いレベル0が表示される形態とは異なっていてもよい。例えば、文字の色や背景の色を変更することにより、ユーザーに対して注意喚起を促すことができる。
また図12(A)と同様に、レベル1に相当する暑さ指数82は熱中症状態の候補83として検出されるが、データサブセットを生成すべき緊急度ではないと判断されるので、データサブセット84が生成されず、外部演算装置3に送信されていない。したがって、外部演算装置3による認識結果に含まれる熱中症リスクの大きさは画面92Bに示されていない。
図12(C)は、算出された暑さ指数82がレベル2以上に相当する場合に表示される画面92Cの例を示す。この画面92Cでは暑さ指数82がレベル3であることが示されている。レベル2以上に相当する暑さ指数82は熱中症状態の候補83として検出され、データサブセット84を生成すべき緊急度であると判断される。そして、データサブセット84が生成され、外部演算装置3に送信された後、外部演算装置3から認識結果が受信されるので、その認識結果に含まれる熱中症リスクの大きさ(ここでは82%)が画面92Cに示されている。
なお、2以上の暑さ指数のレベルが表示される形態は、レベル1およびレベル0が表示される形態とは異なっていてもよい。例えば、文字の色や背景の色が変更(例えば文字と背景の色が反転表示)されると共に、外部演算装置3において高精度に算出された熱中症リスクの大きさが示されることにより、ユーザーに対して最大限の注意喚起を促すことができる。
センサーデバイス2は上述したユーザーの熱中症状態だけでなく、不安定な姿勢や想定外の動作等の種々の行動・状態候補を検出でき、同様に、外部演算装置3も種々の行動・状態を認識できる。
例えば、センサーデバイス2は作業者(ユーザー)の不安定な姿勢の候補を検出し、その緊急度が高い場合にのみ、3軸加速度の時系列センサーデータのデータサブセットを外部演算装置3に送信する。外部演算装置3は作業者の不安定な姿勢を認識することにより、例えば転倒リスクを推定する。この認識結果により、例えば転倒リスクの大きさに応じて作業者に注意を促すことが可能になる。
また例えば、センサーデバイス2は、作業マニュアルに記載されていない作業者の想定外の動作の候補を検出し、その緊急度が高い場合にのみ、6軸の加速度および角速度の時系列センサーデータのデータサブセットを外部演算装置3に送信する。外部演算装置3は作業者の想定外の動作を認識することにより、例えば動作を詳細に分析する。この認識結果により、例えば作業者に警告することが可能になる。
以上のように第2実施形態では、認識されるべき行動・状態の候補の緊急度を算出する構成をさらに追加することで、緊急度に応じて処理を変更できる。これにより、緊急度が高い場合にのみ、データサブセットの生成と、無線通信デバイス205を用いるデータサブセットの送信が行われるように制御できるので、無線通信に伴う電力消費をさらに低減できる。したがって、センサーデバイス2をより長時間駆動できると共に、高精度な行動・状態認識結果が取得可能になる。
(第3実施形態)
第1実施形態では、行動・状態候補が検出された場合に、データサブセットが生成され、外部演算装置3に送信される。また第2実施形態では、行動・状態候補が検出され、その緊急度が高い場合に、データサブセットが生成され、外部演算装置3に送信される。これらに対して第3実施形態では、無線通信デバイス205を介したデータサブセットの送信の可否がさらに考慮される。
第3実施形態に係るセンサーデバイス2および外部演算装置3の構成は、第1および第2実施形態のセンサーデバイス2および外部演算装置3とそれぞれ同様であり、第3実施形態と第1および第2実施形態とでは、第2行動・状態認識部52が追加され、これに伴い、データサブセット送信部41の機能が変更されている点で異なる。以下、第1および第2実施形態と異なる点について主に説明する。
図13は第3実施形態に係るセンサーデバイス2と外部演算装置3の機能構成を示す。上述したように、センサーデバイス2は、第2行動・状態認識部52をさらに備え、第2実施形態のデータサブセット送信部41から機能の一部が変更されたデータサブセット送信部42を備えている。第1データ取得部10、行動・状態候補検出部20、緊急度算出部21、データサブセット生成部31、認識結果受信部60、および表示制御部70の動作については、第1および第2実施形態で説明した通りである。また、外部演算装置3内の第1行動・状態認識部51についても第1および第2実施形態で説明した通りである。
データサブセット送信部42は、データサブセット生成部31によって生成されたデータサブセットと、緊急度算出部21によって算出された緊急度との送信を試みる。その際、無線通信デバイス205を用いた通信(あるいは接続)が利用可能であるかどうかを確認する。無線通信デバイス205を用いた通信が利用可能である場合、データサブセット送信部42はデータサブセットと緊急度とを、無線通信デバイス205を介して外部演算装置3に送信する。
無線通信デバイス205を用いた通信が利用できない場合、データサブセット送信部42はデータサブセットを第2行動・状態認識部52に送出する。
第2行動・状態認識部52は、外部演算装置3にデータサブセットを送信できない場合に、このデータサブセットを用いて、あるいは第1データ取得部10によって生成された1つ以上の時系列センサーデータを用いて、ユーザーの行動・状態を認識する。
より具体的には、第2行動・状態認識部52は、データサブセットまたは1つ以上の時系列センサーデータを用いて、ユーザーの行動・状態を認識するための代替処理を行う。この代替処理は第1行動・状態認識部51による処理を代替するものであり、例えば第1行動・状態認識部51による処理よりも計算コストが低い処理であるが、これに限定されない。代替処理では、例えば、行動・状態候補検出部20による処理よりも詳細にユーザーの行動および状態が認識されるが、第1行動・状態認識部51による処理よりもその認識精度が低い可能性がある。
なお、データサブセット送信部42は、無線通信デバイス205を用いた通信が利用できない場合に、データサブセットと緊急度とを第2行動・状態認識部52に送出してもよい。第2行動・状態認識部52はデータサブセットと緊急度とを用いて、ユーザーの行動・状態を認識し得る。
あるいは、第2行動・状態認識部52は、無線通信デバイス205を用いた通信が利用できない場合に、第1データ取得部10および行動・状態候補検出部20により生成された時系列センサーデータ内の任意の区間のデータを用いて、ユーザーの行動・状態を認識してもよい。その際、第2行動・状態認識部52は、行動・状態候補検出部20によって検出された行動・状態候補と緊急度算出部21によって算出された緊急度の少なくとも一方を利用してもよい。
次いで図14を参照して、センサーデバイス2と外部演算装置3とによる処理シーケンスの一例を説明する。図14に示すC1、C2、およびC3の処理は、図4を参照して上述したA1、A2、およびA3の処理とそれぞれ同様である。また、図14に示すC4およびC5の処理は、図10を参照して上述したB4およびB5の処理とそれぞれ同様である。
C5の処理においてデータサブセットが生成された場合、データサブセット送信部42は無線通信デバイス205を用いた無線通信が可能であるか否かを判定し、可能である場合に、外部演算装置3にデータサブセットおよび緊急度を送信する(C6)。この後のC7、C8、およびC9の処理は、図10を参照して上述したB7、B8、およびB9の処理とそれぞれ同様である。
一方、C5の処理においてデータサブセットが生成され、無線通信デバイス205を用いた無線通信ができない場合、第2行動・状態認識部52はユーザーの行動・状態を簡易的に認識するための代替処理を行う(C10)。そして、表示制御部70は、この代替処理による認識結果をディスプレイ206の画面に表示する(C11)。つまり、外部演算装置3による認識結果の代わりに、第2行動・状態認識部52による認識結果が表示される。
第1および第2実施形態では、無線通信デバイス205を介して外部演算装置3にデータサブセットを送信できない場合、外部演算装置3はデータサブセットを用いたユーザーの行動・状態の認識を行えない。したがって、センサーデバイス2等において、認識結果を表示することもできない。
これに対して第3実施形態では、無線通信デバイス205を介した無線通信ができない場合であっても、センサーデバイス2内の第2行動・状態認識部52によって簡易的な認識処理(代替処理)が行われ、認識結果を表示できる。
例えば認識されるべき行動・状態が熱中症状態である場合、第2行動・状態認識部52は、暑さ指数と、この暑さ指数に関連付けられた熱中症リスクとをそれぞれ含む複数のレコードで構成されたテーブルを用いて、行動・状態候補検出部20によって算出された暑さ指数に対応する熱中症リスクを取得する代替処理を行う。このテーブルは予め用意され、予め統計的に算出された暑さ指数と熱中症リスクとの関係を示している。第2行動・状態認識部52は、テーブルから暑さ指数に対応する熱中症リスクを取得するだけで、簡易的な認識結果を得ることができる。
図15は第2行動・状態認識部52による認識結果を示す画面93の例を示す。ここでは、認識されるべき行動・状態が熱中症状態である場合について例示している。
この画面93では暑さ指数82がレベル3であることが示されている。レベル2以上に相当する暑さ指数82は熱中症状態の候補83として検出され、データサブセットを生成すべき緊急度であると判断される。そして、データサブセット84が生成されたものの、無線通信デバイス205を用いた通信ができなかったために、第2行動・状態認識部52による代替処理で得られた認識結果に基づく熱中症リスクの大きさ(ここでは80%)が画面93に示されている。
なお、代替処理で算出された熱中症リスクは、外部演算装置3によって算出された熱中症リスクより精度の点で劣る可能性がある。そのため、表示されている熱中症リスクが、代替処理で算出された熱中症リスクと外部演算装置3によって算出された熱中症リスクのいずれであるかをユーザーが識別できるように、すなわちユーザーが熱中症リスクの精度を判断できるように、熱中症リスクはその精度に応じた異なる形態で表示されてもよい。例えば、画面93には無線通信が利用不可能であることを示すアイコン931が表示され得る。また例えば、代替処理で算出された熱中症リスクは、画面93に示すように括弧を付加して表示される等、信頼性が高い値ではなく、参考のための値であることが分かるように表示され得る。
以上のように第3実施形態では、行動・状態を簡易的に認識する構成をさらに追加することで、無線通信デバイス205が利用できない場合に、例えば電波状態の悪いフィールド作業現場等で一時的に無線による通信品質が劣化した場合に、簡易で軽量な代替処理で行動・状態を継続して認識でき、その認識結果をユーザーに提示できる。これにより、認識結果の信頼性は一時的に低下する可能性があるものの、行動・状態の認識を常時行うことが可能になる。
なお、上述したデータサブセット送信部42および第2行動・状態認識部52は、第1実施形態のセンサーデバイス2(すなわち、緊急度算出部21を備えていないセンサーデバイス2)にも同様に適用できる。
(第4実施形態)
第1実施形態では、行動・状態候補が検出された場合に、データサブセットが生成され、外部演算装置3に送信される。第2実施形態では、行動・状態候補が検出され、その緊急度が高い場合に、データサブセットが生成され、外部演算装置3に送信される。また第3実施形態では、無線通信デバイス205を介したデータサブセットの送信の可否がさらに考慮される。これらに対して第4実施形態では、センサーデバイス2とは別のセンサーデバイスからもセンサーデータが取得され得る。
第4実施形態に係るセンサーデバイス2および外部演算装置3の構成は第1乃至第3実施形態のセンサーデバイス2および外部演算装置3とそれぞれ同様であり、第4実施形態と第1乃至第3実施形態とでは、データサブセット生成部31の機能が変更されている点で異なる。以下、第1乃至第3実施形態と異なる点について主に説明する。
図16は、第4実施形態に係るセンサーデバイス2を含む情報処理システム1-2の構成を示す。情報処理システム1-2には、第1乃至第3実施形態の情報処理システム1と比較して、センサーデバイス2とは別の1つ以上のセンサーデバイス2-2~2-Nが加えられている。
ユーザーは、1つ以上のセンサーデバイス2-2~2-Nを、例えばセンサーデバイス2とは異なる部位に装着している。各センサーデバイス2-2~2-Nは、内蔵されたセンサー253を用いて、例えば装着された部位に関するセンサーデータを取得する。取得されるセンサーデータは、センサーデバイス2で取得されるセンサーデータと同様に、ユーザーの行動・状態の認識に有用な様々な種類のデータを含み得る。各センサーデバイス2-2~2-Nは、例えばセンサーデバイス2と同様のシステム構成を有する。なお、各センサーデバイス2-2~2-Nは、ユーザーが装着しているセンサーデバイスに限らず、ユーザーを観測可能なセンサーデバイスであればよく、例えば環境設置型のセンサーデバイス(例えばバッテリー駆動のビデオカメラ等)であってもよい。
以下では説明を分かりやすくするために、第4実施形態に係るセンサーデバイス2を第1センサーデバイス2と称し、1つ以上のセンサーデバイス2-2~2-Nの内のあるセンサーデバイスを第iセンサーデバイス2-iとも称する。なお、iおよびNは2以上の整数である。
図17は、第1センサーデバイス2と、外部演算装置3と、第iセンサーデバイス2-iとの機能構成を示す。なお、1つ以上のセンサーデバイス2-2~2-Nの各々は同様の機能構成を有し、同様に動作し得る。
上述したように、第1センサーデバイス2は、第2実施形態のデータサブセット生成部31から機能の一部が変更されたデータサブセット生成部32を備えている。第1データ取得部10、行動・状態候補検出部20、緊急度算出部21、データサブセット送信部42、認識結果受信部60、および表示制御部70の動作については、第1乃至第3実施形態で説明した通りである。また、外部演算装置3内の第1行動・状態認識部51についても第1乃至第3実施形態で説明した通りである。
第iセンサーデバイス2-iは第iデータ取得部11を備える。第iデータ取得部11は、第1センサーデバイス2内の第1データ取得部10と同様の機能を有し、内蔵されるセンサー253を用いてセンサーデータを取得し、複数の時点で取得されたセンサーデータが結合された時系列センサーデータを生成する。第iデータ取得部11は、生成された時系列センサーデータを第1センサーデバイス2に送信し得る。第iデータ取得部11は、例えば無線LANやBluetoothによる無線通信で、時系列センサーデータを第1センサーデバイス2に送信してもよい。
データサブセット生成部32およびデータサブセット送信部42は、行動・状態候補が検出された場合、その行動・状態候補に基づいて、あるいは行動・状態候補と緊急度とに基づいて、第iセンサーデバイス2-i内の第iデータ取得部11から1つ以上の時系列センサーデータを取得し、その1つ以上の時系列センサーデータの少なくとも1つの、ある特定の期間のデータサブセットを外部演算装置3に送信してもよい。
より具体的には、データサブセット生成部32は、行動・状態候補検出部20によって行動・状態候補が検出された場合に、緊急度算出部21によって算出された緊急度に基づき、データサブセットを生成するかどうかを判断する。生成すると判断した場合、データサブセット生成部31は、行動・状態候補の種類と、行動・状態候補が検出された時刻(例えば日時)と、緊急度とに基づいて、時系列センサーデータから特定の区間を切り出すことにより、データサブセットを生成する。
データサブセット生成部32は、例えば、行動・状態候補の種類に基づいて、複数の時系列センサーデータから少なくとも1つの時系列センサーデータを選択する。この複数の時系列センサーデータには、データ取得部10によってセンサーデータを用いて生成された時系列センサーデータだけでなく、別の1つ以上のセンサーデバイス2-2~2-N内のデータ取得部11によってセンサーデータを用いて生成された時系列センサーデータも含まれている。データサブセット生成部32は、選択された時系列センサーデータの内の、行動・状態候補が検出された時刻に基づく特定の期間のデータを、データサブセットとして取得する。この特定の期間は、例えば行動・状態候補が検出された時刻を含む、特定の長さを有する期間である。なお、時系列センサーデータの選択とデータを切り出すべき特定の期間の決定には、緊急度がさらに考慮されてもよい。
なお、第1センサーデバイス2の行動・状態候補検出部20および第2行動・状態認識部52が、第1データ取得部10から出力される時系列センサーデータに加えて、あるいは第1データ取得部10から出力される時系列センサーデータの代わりに、第iデータ取得部11によって送信される時系列センサーデータを用いて各々の処理を行ってもよい。
次いで図18を参照して、第1センサーデバイス2、外部演算装置3、および別の1つ以上のセンサーデバイス2-2~2-Nによる処理シーケンスの一例を説明する。図18に示すD1、D2、およびD3の処理は、図4を参照して上述したA1、A2、およびA3の処理とそれぞれ同様である。また、図18に示すD4の処理は、図10を参照して上述したB4の処理と同様である。
D4の処理においてデータサブセットを生成すべき緊急度が算出された場合、データサブセット生成部32は行動・状態候補および緊急度に基づいて、第1センサーデバイス2内の第1データ取得部10と、1つ以上のセンサーデバイス2-2~2-Nの各々に含まれる第iデータ取得部11とから、データサブセットの生成に用いるデータ取得部を選択する(D5)。データサブセット生成部32は複数のデータ取得部を選択し得る。
第1センサーデバイス2内の第1データ取得部10とは別のデータ取得部が選択されたならば、すなわち、1つ以上のセンサーデバイス2-2~2-Nのいずれかに含まれる第iデータ取得部11が選択されたならば、データサブセット生成部32は、その選択された第iデータ取得部11から時系列センサーデータを受信する(D6)。
例えば、第1センサーデバイス2がユーザーの手首に装着され、第1センサーデバイス2内の第1データ取得部10によって得られた第1時系列センサーデータから、ある行動・状態の候補が検出された場合を想定する。この行動・状態の候補は第1時系列センサーデータから検出可能である。しかしながら、この行動・状態を精度良く認識するためには、手首の第1時系列センサーデータではなく、例えば腰部の時系列センサーデータが必要である。このような場合、データサブセット生成部32は、ユーザーの腰部に装着された第iセンサーデバイス2-i内の第iデータ取得部11を選択し、この第iデータ取得部11から第i時系列センサーデータを受信する。
データサブセット生成部32は、第1データ取得部10と1つ以上のセンサーデバイス2-2~2-Nにそれぞれ含まれる1つ以上の第iデータ取得部11の少なくともいずれかから取得された時系列センサーデータを用いて、データサブセットを生成する(D7)。データサブセット生成部32は、行動・状態候補の種類と、行動・状態候補が検出された時刻と、緊急度とに基づき、時系列センサーデータの特定の区間を切り出し、データサブセットを生成する。ここで、データサブセットが切り出される時系列センサーデータの種類やチャンネル数、切り出されるデータサブセットの長さおよび位置は、行動・状態候補と緊急度とに応じて異なるものであってもよい。以降のD8からD13までの処理は、図14を参照して上述したC6からC11までの処理と同様である。
以上のように、第4実施形態では、第1センサーデバイス2とは別の1つ以上のセンサーデバイス2-2~2-Nから取得される時系列センサーデータもさらに用いて、検出された行動・状態の候補に応じて、その行動・状態に適した時系列センサーデータを選択し、認識に用いることができる。例えば、ユーザーが複数の部位に複数のセンサーデバイス2,2-2~2-Nをそれぞれ装着している場合、ある行動・状態を精度良く認識するのに適した部位のセンサーデバイスで取得された時系列センサーデータが認識に用いられる。これにより、行動・状態の認識精度を高められると共に、行動・状態候補が検出されているときのみ別のセンサーデバイス2-2~2-Nから時系列センサーデータを取得することで、電力消費を低減できる。
なお、上述したデータサブセット生成部32は、第1実施形態のセンサーデバイス2(すなわち、緊急度算出部21を備えていないセンサーデバイス2)や、第2実施形態のセンサーデバイス2(すなわち、第2行動・状態認識部52を備えていないセンサーデバイス2)にも同様に適用できる。
以上説明したように、第1乃至第4実施形態によれば、長時間駆動できると共に、高精度な行動・状態認識結果が取得可能になる。第1データ取得部10および行動・状態候補検出部20は、1つ以上のセンサー203を用いて1つ以上の時系列センサーデータを取得し、1つ以上の時系列センサーデータの少なくとも1つを用いて、センサーデバイス2を装着または携行するユーザーの行動・状態候補を検出する。データサブセット生成部30およびデータサブセット送信部40は、行動・状態候補が検出された場合、この行動・状態候補に基づいて、1つ以上の時系列センサーデータの少なくとも1つの、第1期間のデータサブセットを外部演算装置3に送信する。
このように、センサーデバイス2上で演算量が少ない行動・状態候補の検出処理が行われ、高度な処理が必要と判断されたときのみデータサブセットが外部演算装置3に送信される。これにより、一部の周波数成分を間引くような時系列センサーデータの圧縮を行うことなく、外部演算装置3に送信されるデータ量を削減し、センサーデバイスの長時間駆動と行動・状態認識の精度向上とを同時に実現できる。
第1乃至第4実施形態に記載された様々な機能の各々は、回路(処理回路)によって実現されてもよい。処理回路の例には、中央処理装置(CPU)のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラム(命令群)を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。これら実施形態に記載されたCPU以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。
また、第1乃至第4実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、これら実施形態と同様の効果を容易に実現することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1,1-2…情報処理システム、2,2-2,2-N…センサーデバイス、3…外部演算装置、10…第1データ取得部、11…第iデータ取得部、20…行動・状態候補検出部、21…緊急度算出部、30,31,32…データサブセット生成部、40,41,42…データサブセット送信部、50,51…第1行動・状態認識部、52…第2行動・状態認識部、60…認識結果受信部、70…表示制御部、203,253…センサー。

Claims (10)

  1. ユーザーが装着または携行可能な電子機器であって、
    1つ以上のセンサーと、
    前記1つ以上のセンサーを用いて1つ以上の第1時系列センサーデータを取得し、前記1つ以上の第1時系列センサーデータの少なくとも1つを用いて、前記ユーザーの行動と状態の少なくとも一方の候補を検出する候補検出部と、
    前記候補が検出された場合、前記候補に基づいて、前記1つ以上の第1時系列センサーデータの少なくとも1つの、第1期間のデータサブセットを外部演算装置に送信し、前記候補が検出されなかった場合、前記1つ以上の第1時系列センサーデータのいずれも前記外部演算装置に送信しない送信部と、を具備する電子機器。
  2. 前記外部演算装置から、前記データサブセットを用いて認識された前記ユーザーの行動と状態の少なくとも一方の認識結果を受信する受信部をさらに具備する請求項1記載の電子機器。
  3. 前記認識結果を画面に表示する表示制御部をさらに具備する請求項2記載の電子機器。
  4. 前記候補に関する情報を画面に表示する表示制御部をさらに具備する請求項1記載の電子機器。
  5. 前記候補の緊急度を算出する緊急度算出部をさらに具備し、
    前記送信部は、前記緊急度がしきい値以上である場合、前記候補と前記緊急度とに基づいて、前記1つ以上の第1時系列センサーデータの少なくとも1つの、前記第1期間のデータサブセットを前記外部演算装置に送信する請求項1記載の電子機器。
  6. 前記送信部はさらに、前記候補が検出された場合、
    前記候補と前記緊急度とに基づいて、前記電子機器とは別の電子機器から1つ以上の第2時系列センサーデータを取得し、
    前記候補に基づいて、前記1つ以上の第2時系列センサーデータの少なくとも1つの、前記第1期間のデータサブセットを前記外部演算装置に送信する請求項5記載の電子機器。
  7. 前記送信部はさらに、前記候補が検出された場合、
    前記候補に基づいて、前記電子機器とは別の電子機器から1つ以上の第2時系列センサーデータを取得し、
    前記候補に基づいて、前記1つ以上の第2時系列センサーデータの少なくとも1つの、前記第1期間のデータサブセットを前記外部演算装置に送信する請求項1記載の電子機器。
  8. 前記外部演算装置に前記データサブセットを送信できない場合、前記データサブセットを用いて、または前記1つ以上の第1時系列センサーデータを用いて、前記ユーザーの行動と状態の少なくとも一方を認識する認識部をさらに具備する請求項1記載の電子機器。
  9. 前記認識部による認識結果を画面に表示する表示制御部をさらに具備する請求項8記載の電子機器。
  10. ユーザーが装着または携行可能な電子機器と、情報処理装置とによって構成される情報処理システムであって、
    前記電子機器は、
    1つ以上のセンサーを具備し、
    前記1つ以上のセンサーを用いて1つ以上の時系列センサーデータを取得し、
    前記1つ以上の時系列センサーデータの少なくとも1つを用いて、前記ユーザーの行動と状態の少なくとも一方の候補を検出し、
    前記候補が検出された場合、前記候補に基づいて、前記1つ以上の時系列センサーデータの少なくとも1つの、第1期間のデータサブセットを前記情報処理装置に送信し、
    前記候補が検出されなかった場合、前記1つ以上の第1時系列センサーデータのいずれも前記情報処理装置に送信しないように構成され、
    前記情報処理装置は、
    前記データサブセットを用いて前記ユーザーの行動と状態の少なくとも一方を認識するように構成される、情報処理システム。
JP2019124455A 2019-07-03 2019-07-03 電子機器および情報処理システム Active JP7237756B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019124455A JP7237756B2 (ja) 2019-07-03 2019-07-03 電子機器および情報処理システム
US16/809,775 US20210004695A1 (en) 2019-07-03 2020-03-05 Electronic apparatus and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019124455A JP7237756B2 (ja) 2019-07-03 2019-07-03 電子機器および情報処理システム

Publications (2)

Publication Number Publication Date
JP2021010391A JP2021010391A (ja) 2021-02-04
JP7237756B2 true JP7237756B2 (ja) 2023-03-13

Family

ID=74065221

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019124455A Active JP7237756B2 (ja) 2019-07-03 2019-07-03 電子機器および情報処理システム

Country Status (2)

Country Link
US (1) US20210004695A1 (ja)
JP (1) JP7237756B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004070842A (ja) 2002-08-09 2004-03-04 Matsushita Electric Ind Co Ltd 異常通報システム
JP2004216125A (ja) 2002-11-19 2004-08-05 Seiko Instruments Inc 生体情報検出端末制御システム
US20160058330A1 (en) 2014-09-03 2016-03-03 Mindray Ds Usa, Inc. Device, system, and method for patient fall detection
US20190037299A1 (en) 2015-10-20 2019-01-31 Bragi GmbH Enhanced Biometric Control Systems for Detection of Emergency Events System and Method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016111069A1 (ja) * 2015-01-05 2017-10-12 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004070842A (ja) 2002-08-09 2004-03-04 Matsushita Electric Ind Co Ltd 異常通報システム
JP2004216125A (ja) 2002-11-19 2004-08-05 Seiko Instruments Inc 生体情報検出端末制御システム
US20160058330A1 (en) 2014-09-03 2016-03-03 Mindray Ds Usa, Inc. Device, system, and method for patient fall detection
US20190037299A1 (en) 2015-10-20 2019-01-31 Bragi GmbH Enhanced Biometric Control Systems for Detection of Emergency Events System and Method

Also Published As

Publication number Publication date
US20210004695A1 (en) 2021-01-07
JP2021010391A (ja) 2021-02-04

Similar Documents

Publication Publication Date Title
US20220241641A1 (en) Systems and Methods of Swimming Analysis
US9747572B2 (en) Exercise support device, exercise support method, and exercise support program
US9763571B2 (en) Monitoring a person for indications of a brain injury
US9936902B2 (en) Ergonomic data collection and analysis
EP3227802A1 (en) System and method for generating health data using measurements of wearable device
US20220022604A1 (en) Receiving feedback based on pressure sensor data and movement data
US10653353B2 (en) Monitoring a person for indications of a brain injury
CN111225603A (zh) 提供与用户活动相对应的压力指数的电子设备和方法
US9968287B2 (en) Monitoring a person for indications of a brain injury
AU2024201905A1 (en) Method and System for Monitoring Core Body Movements
Aiello et al. Machine Learning approach towards real time assessment of hand-arm vibration risk
JP7237756B2 (ja) 電子機器および情報処理システム
KR20210136722A (ko) 전자 장치의 낙상 이벤트 타입 판단 방법 및 그 전자 장치
AU2021107475A4 (en) Method and System for Monitoring Body Movements
KR20200031355A (ko) 대규모 작업을 수행하는 작업자의 작업효율성 평가 및 알림 방법
US20190320965A1 (en) Brain injury monitoring system
US20220151511A1 (en) System, apparatus and method for activity classification for a watch sensor
US10293207B1 (en) Athletic performance estimation techniques
JP7465842B2 (ja) 作業支援システム
US20170232299A1 (en) Body Movement Tracking System
JP7268121B2 (ja) 情報処理装置、方法及びプログラム
KR20230104335A (ko) 작업 관리 시스템 및 그 작업 관리 방법
WO2019209539A1 (en) Brain injury monitoring system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230301

R151 Written notification of patent or utility model registration

Ref document number: 7237756

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151