JP7523063B2 - 状況推定装置、サーバ装置、状況推定システム、及び状況推定方法 - Google Patents

状況推定装置、サーバ装置、状況推定システム、及び状況推定方法 Download PDF

Info

Publication number
JP7523063B2
JP7523063B2 JP2020163322A JP2020163322A JP7523063B2 JP 7523063 B2 JP7523063 B2 JP 7523063B2 JP 2020163322 A JP2020163322 A JP 2020163322A JP 2020163322 A JP2020163322 A JP 2020163322A JP 7523063 B2 JP7523063 B2 JP 7523063B2
Authority
JP
Japan
Prior art keywords
user
situation
model
learning
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020163322A
Other languages
English (en)
Other versions
JP2022055736A (ja
Inventor
惇也 草野
聡 古谷
靖彦 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2020163322A priority Critical patent/JP7523063B2/ja
Publication of JP2022055736A publication Critical patent/JP2022055736A/ja
Priority to JP2024108009A priority patent/JP2024133603A/ja
Application granted granted Critical
Publication of JP7523063B2 publication Critical patent/JP7523063B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、ウェアラブルデバイスによって取得されたユーザの生体データに基づき当該ユーザの状況を推定する状況推定装置、サーバ装置、状況推定システム、及び状況推定方法に関する。
従来、工場内や屋外で作業する作業者の生体データ(心拍、脈拍、及び体温など)を取得し、その生体データに基づき、作業者の体調の悪化などを推定する技術が開発されている(特許文献1、2参照)。それらの従来技術によれば、作業者の異変を早期に発見して作業者に警告などを行うことにより、作業者の安全を確保することができる。
一方、上記従来技術では、生体データの変化が所定の基準(例えば、過去の正常値)に基づき判定されるが、単純な基準で判定された生体データの変化では、作業者の体調を精度良く推定できない場合がある。
これに対し、生体データによって作業者の体調を推定するために推定関数テーブルを用い、その推定関数テーブルを、作業者の体調の推定結果と作業者の自覚症状とに基づいて適宜更新する技術が知られている(特許文献3参照)。この従来技術によれば、適宜更新された推定関数テーブルを用いて作業者の体調が推定されるため、推定関数テーブルの精度が高まれば、作業者の体調をより正確に推定することができる。
特開2015-154920号公報 特開2010-218126号公報 特開2017-173899号公報
近年、AI(人工知能)に関する技術が急速に発展しており、上述の特許文献1-3に記載されたような作業者の状況(作業者の体調、姿勢、動作状態等を含む)の推定にも機械学習等のAI技術を適用できると考えられる。
しかしながら、AI技術において、作業者の状況を精度良く推定するための学習済みモデルの生成には、通常は多くの作業者に関する大量の学習用データが必要となるため、学習に要する時間やコストが嵩む。また、人の動作は、各個人で特徴が大きく異なるため、汎用性を持たせた学習済みモデルでは、大量の学習用データを用いても、作業者の状況の推定精度を向上させることが難しい場合がある。
そこで、本開示は、ウェアラブルデバイスによって取得されたユーザの生体データに基づき当該ユーザの状況を推定する場合に、その推定精度を向上させることができる状況推定装置、サーバ装置、状況推定システム、及び状況推定方法を提供することを主な目的とする。
本開示の状況推定システムは、ユーザの状況を推定する状況推定システムであって、前記ユーザに装着され、前記ユーザの生体データを取得するウェアラブルデバイスと、前記生体データに基づき、前記ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況を推定する状況推定装置と、を備え、前記状況推定装置は、事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定するモデル選定部と、前記特定学習済みモデルの再学習を実行するモデル再学習部と、前記モデル再学習部によって実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新するモデル更新部と、前記モデル更新部によって更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定する状況推定部と、を有し、前記モデル再学習部は、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、構成とする。
また、本開示の状況推定装置は、ウェアラブルデバイスによって取得されたユーザの生体データに基づき、当該ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況をそれぞれ推定する状況推定装置であって、事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定するモデル選定部と、前記特定学習済みモデルの再学習を実行するモデル再学習部と、前記モデル再学習部によって実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新するモデル更新部と、前記モデル更新部によって更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定する状況推定部と、を有し、前記モデル再学習部は、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、構成とする。
また、本開示のサーバ装置は、前記状況推定システムにおける状況推定装置を構成するサーバ装置であって、前記モデル再学習部によって実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新するモデル更新部と、前記モデル更新部によって更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定する状況推定部と、を有する、構成とする。
また、本開示のサーバ装置は、ウェアラブルデバイスによって取得されたユーザの生体データに基づき、当該ユーザに個別に提供される特定学習済みモデルの再学習を行うサーバ装置であって、事前学習済みの複数の候補モデルを記憶する候補モデル記憶部と、前記候補モデルの中から前記特定学習済みモデルを選定するモデル選定部と、前記特定学習済みモデルの再学習を実行するモデル再学習部と、を有し、前記モデル再学習部は、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、構成とする。
また、本開示の状況推定方法は、ウェアラブルデバイスによって取得されたユーザの生体データに基づき、当該ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況をそれぞれ推定するために、少なくとも1つのコンピュータで実行される状況推定方法であって、事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定し、前記特定学習済みモデルの再学習を実行し、前記再学習の結果に基づき、前記特定学習済みモデルを更新し、前記更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定し、前記特定学習済みモデルの再学習では、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、構成とする。
本開示によれば、ウェアラブルデバイスによって取得されたユーザの生体データに基づき当該ユーザの状況を推定する場合に、その推定精度を向上させることが可能となる。
本実施形態に係る状況推定システムの全体構成図 図1に示したユーザ側装置の構成を示す機能ブロック図 図1に示した状況推定装置の構成を示す機能ブロック図 図3に示した候補モデル記憶部に記憶された候補モデルの説明図 図3に示した特定モデル記憶部に記憶された学習済みモデルセットの説明図 ウェアラブルデバイスの装着時および取外しの認証処理を示すフロー図 初期セットアップ処理の流れを示す説明図 特定学習済みモデルの再学習の処理の流れを示す説明図 生体データに関する情報の一例を示す説明図 ユーザ端末に示される問合せ画面の一例を示す説明図 図3に示した機能ブロック図の一変形例を示す図
前記課題を解決するためになされた第1の発明は、ユーザの状況を推定する状況推定システムであって、前記ユーザに装着され、前記ユーザの生体データを取得するウェアラブルデバイスと、前記生体データに基づき、前記ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況を推定する状況推定装置と、を備え、前記状況推定装置は、事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定するモデル選定部と、前記特定学習済みモデルの再学習を実行するモデル再学習部と、前記モデル再学習部によって実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新するモデル更新部と、前記モデル更新部によって更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定する状況推定部と、を有し、前記モデル再学習部は、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、構成とする。
これによると、ウェアラブルデバイスによって取得されたユーザの生体データに基づき当該ユーザの状況を推定する場合に、事前学習済みの複数の候補モデルの中から対象のユーザの状況を推定するための特定学習済みモデルを選定し、規定の状況における当該ユーザの生体データを学習用データとして用いて特定学習済みモデルを再学習するため、当該ユーザの状況の推定精度を向上させることが可能となる。
また、第2の発明は、前記複数の候補モデルには、他の複数のユーザから過去に取得された生体データを、それぞれ個別の学習用データとして用いて生成された複数の学習済みモデルが含まれる、構成とする。
これによると、他の複数のユーザの生体データを個別に用いて生成された複数の学習済みモデルを利用することにより、対象のユーザに提供される特定学習済みモデルの取得に要する時間やコストを低減することができる。
また、第3の発明は、前記規定の状況には、前記ユーザの歩行、前記ユーザの身体のふらつき、前記ユーザの転倒、前記ユーザのつまずき、及び前記ユーザの所定の姿勢のうちの少なくとも1つが含まれる、構成とする。
これによると、各個人で特徴が大きく異なる規定の状況(ユーザの歩行、ユーザの身体のふらつき、ユーザの転倒、ユーザのつまずき、及びユーザの所定の姿勢のいずれか)において取得された生体データを、学習用データとして用いて再学習が実行されるため、対象となるユーザの状況の推定精度をより確実に向上させることが可能となる。
また、第4の発明は、前記モデル選定部は、前記ユーザが所定の動作を実行したときに取得された前記生体データに基づく、前記各候補モデルによる前記ユーザの動作の推定結果により、前記特定学習済みモデルを選定する、構成とする。
これによると、ユーザによる所定の動作の実行時の生体データに基づく、各候補モデルによるユーザの動作の推定結果から、特定学習済みモデルが選定されるため、ユーザの状況の推定精度が良好に維持される。
また、第5の発明は、前記ウェアラブルデバイスは、前記ユーザに前記所定の動作を実行させるためのガイド音声を出力する音声出力部を更に有し、前記状況推定装置は、前記音声出力部に前記ガイド音声を出力させる音声制御部を更に有する、構成とする。
これによると、ユーザに所定の動作を実行させたときの生体データをより確実に取得することができる。
また、第6の発明は、前記所定の動作には、前記ユーザの歩行動作が含まれる、構成とする。
これによると、特定学習済みモデルの選定に適した歩行動作をユーザに実行させることにより、特定学習済みモデルをより適切に選定することができる。
また、第7の発明は、前記ウェアラブルデバイスは、前記ユーザに前記規定の状況が生じたか否かを前記ユーザに問い合わせるための問合せ音声を出力する音声出力部と、前記問合せ音声に応答する前記ユーザの応答音声を入力する音声入力部と、を更に有し、前記状況推定装置は、前記音声出力部に前記問合せ音声を出力させる音声制御部を更に有し、前記応答音声に基づき、前記ユーザに前記規定の状況が生じたか否かが判定される、構成とする。
これによると、問合せ音声に対するユーザの応答音声に基づき、ユーザに規定の状況が生じた場合の生体データをより確実に取得することができる。
また、第8の発明は、前記ユーザが利用するユーザ端末を更に備え、前記ユーザ端末は、前記ユーザに前記規定の状況が生じたか否かを前記ユーザに問い合わせるための問合せ画面を表示する表示部と、前記問合せ画面に応答する前記ユーザの入力操作を受け付ける入力部と、を更に有し、前記状況推定装置は、前記表示部に前記問合せ画面を表示させる表示制御部を更に備えた、構成とする。
これによると、問合せ画面に対するユーザの入力操作に基づき、ユーザに生じた規定の状況についてより詳細に把握することが可能となるため、再学習に用いられる生体データの精度が高まる。
また、第9の発明は、前記ウェアラブルデバイスは、前記ユーザの耳に装着されるイヤホン型のデバイスである、構成とする。
これによると、各個人で身体各部の動作の特徴が異なることによる生体データへの影響を抑制することが可能となる。
また、第10の発明は、ウェアラブルデバイスによって取得されたユーザの生体データに基づき、前記ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況をそれぞれ推定する状況推定装置であって、事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定するモデル選定部と、前記特定学習済みモデルの再学習を実行するモデル再学習部と、前記モデル再学習部によって実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新するモデル更新部と、前記モデル更新部によって更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定する状況推定部と、を有し、前記モデル再学習部は、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、構成とする。
これによると、ウェアラブルデバイスによって取得されたユーザの生体データに基づき当該ユーザの状況を推定する場合に、事前学習済みの複数の候補モデルの中から対象のユーザの状況を推定するための特定学習済みモデルを選定し、規定の状況における当該ユーザの生体データを学習用データとして用いて特定学習済みモデルを再学習するため、当該ユーザの状況の推定精度を向上させることが可能となる。
また、第11の発明は、前記状況推定システムにおける状況推定装置を構成するサーバ装置であって、前記モデル再学習部によって実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新するモデル更新部と、前記モデル更新部によって更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定する状況推定部と、を有する、構成とする。
これによると、ウェアラブルデバイスによって取得されたユーザの生体データに基づき当該ユーザの状況を推定する場合に、比較的少ない計算リソースを用いて、当該ユーザの状況の推定処理を実行することが可能となる。
また、第12の発明は、ウェアラブルデバイスによって取得されたユーザの生体データに基づき、当該ユーザに個別に提供される特定学習済みモデルの再学習を行うサーバ装置であって、事前学習済みの複数の候補モデルを記憶する候補モデル記憶部と、前記候補モデルの中から前記特定学習済みモデルを選定するモデル選定部と、前記特定学習済みモデルの再学習を実行するモデル再学習部と、を有し、前記モデル再学習部は、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、構成とする。
これによると、ウェアラブルデバイスによって取得されたユーザの生体データに基づき当該ユーザの状況を推定する場合に、事前学習済みの複数の候補モデルの中から対象のユーザの状況を推定するための特定学習済みモデルを選定し、規定の状況における当該ユーザの生体データを学習用データとして用いて特定学習済みモデルを再学習するため、当該ユーザの状況の推定精度を向上させることが可能となる。
また、第13の発明は、ウェアラブルデバイスによって取得されたユーザの生体データに基づき、当該ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況をそれぞれ推定するために、少なくとも1つのコンピュータで実行される状況推定方法であって、事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定し、前記特定学習済みモデルの再学習を実行し、前記再学習の結果に基づき、前記特定学習済みモデルを更新し、前記更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定し、前記特定学習済みモデルの再学習では、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、構成とする。
これによると、ウェアラブルデバイスによって取得されたユーザの生体データに基づき当該ユーザの状況を推定する場合に、事前学習済みの複数の候補モデルの中から対象のユーザの状況を推定するための特定学習済みモデルを選定し、規定の状況における当該ユーザの生体データを学習用データとして用いて特定学習済みモデルを再学習するため、当該ユーザの状況の推定精度を向上させることが可能となる。
以下、本開示の実施の形態を、図面を参照しながら説明する。
図1は、本実施形態に係る状況推定システム1の全体構成図である。図1に示すように、状況推定システム1は、ユーザ3によって装着または携帯されるユーザ側装置4として、ウェアラブルデバイス5およびユーザ端末7を備える。また、状況推定システム1は、ユーザ3の状況(体調、姿勢、動作状態等を含む)を推定する処理を実行する状況推定装置8として、ユーザ管理サーバ9および学習用サーバ11を備える。
ユーザ3は、例えば工場内や屋外で作業する作業者であり、状況推定装置8による状況の推定の対象である。ただし、ユーザ3は、作業者に限定されず、状況の確認(推定)を必要とされる任意の人物であってよい。本実施形態では、便宜上、1人のユーザ3についてのみ説明するが、実用上は、ユーザ3と同様の複数のユーザが状況の推定の対象となる。複数のユーザが存在する場合には、各ユーザにウェアラブルデバイス5およびユーザ端末7が装着または携帯される。
ウェアラブルデバイス5は、ユーザ3の耳に装着されるイヤホン型のデバイスである。ウェアラブルデバイス5は、ユーザ3の生体データを取得する機能を有する。取得される生体データには、ユーザ3の心拍、脈拍、及び体温などのユーザ3の身体に関するデータの他、ユーザ3の動作、位置、及び姿勢などのユーザ3の行動に関するデータも含まれる。ウェアラブルデバイス5は、必ずしもイヤホン型に限定されず、例えば、眼鏡型や腕時計型のデバイスであってもよい。ただし、ウェアラブルデバイス5として、イヤホン型のデバイスを用いる(すなわち、ユーザ3の頭部から生体データを取得する)ことにより、各個人で頭部以外の身体各部(例えば、腕)の動作の特徴が大きく異なる場合でも、取得される生体データへの影響を抑制することができるという利点がある。
ユーザ端末7は、ユーザ3によって携帯されるスマートフォンやタブレット端末などの無線通信機能を有する情報機器である。ユーザ端末7は、例えばBluetooth(登録商標)規格に準拠した近距離無線通信により、ウェアラブルデバイス5と通信可能である。ユーザ端末7は、比較的簡易な構成を有するウェアラブルデバイス5において不足する機能(例えば、遠距離通信機能や表示機能など)を補うために用いられる。したがって、ウェアラブルデバイス5が、ユーザ端末7と同様の機能を果たすことが可能な場合には、ユーザ端末7は省略され得る。
ユーザ管理サーバ9は、ユーザ3の活動およびその活動中のユーザ3の安全性について管理する。ユーザ管理サーバ9は、ユーザ3の安全性を確保するために、ユーザ3の生体データに基づき、ユーザ3に個別に提供される学習済みモデル(以下、特定学習済みモデルという。)を用いてユーザ3の状況を推定する。そのような特定学習済みモデルとしては、ディープラーニングによって学習を行うニューラルネットワークや、SVM(サポートベクターマシン)等の統計的な機械学習モデルを用いることができる。
ユーザ管理サーバ9は、ユーザ端末7と通信可能なように、同一のLAN(Local Area Network)内に配置される。これにより、ユーザ管理サーバ9は、ウェアラブルデバイス5によって取得されたユーザ3の生体データを、ユーザ端末7を介して順次取得することができる。ただし、ユーザ管理サーバ9は、より広域なネットワーク(例えば、後述するネットワーク13)を介してユーザ端末7と通信可能に接続されてもよい。
学習用サーバ11は、ユーザ管理サーバ9が用いる特定学習済みモデルの候補となる事前学習済みの複数の候補モデルを生成する。そのような候補モデルには、他の複数のユーザから過去に取得された生体データを、それぞれ個別の学習用データとして用いて生成された複数の学習済みモデル(以下、個別学習済みモデルという。)が含まれる。個別学習済みモデルは、特定のユーザ(すなわち、学習データとして用いられた生体データが取得されたユーザ)の状況の推定に特化した学習済みモデルである。
また、学習用サーバ11は、ユーザ3に規定の状況が生じた場合に、当該規定の状況において取得された生体データを学習用データとして用いて特定学習済みモデルの再学習を実行する。そのような規定の状況には、ユーザ3の歩行、ユーザ3の身体のふらつき、ユーザ3の転倒、ユーザ3のつまずき、及びユーザ3の所定の姿勢のうちの少なくとも1つが含まれる。
学習用サーバ11は、インターネット等によって構成されるネットワーク13を介してユーザ管理サーバ9と通信可能である。ただし、学習用サーバ11は、LANや専用回線によってユーザ管理サーバ9と通信可能に接続されてもよい。
図2は、図1に示したユーザ側装置4の構成を示す機能ブロック図である。
ウェアラブルデバイス5は、ユーザ3の生体データを取得するセンサとして、近接センサ21、脈波センサ22、モーションセンサ23、及びGPSセンサ24を備える。それらのセンサ21-24には、公知のセンサを用いることができる。近接センサ21は、ユーザ3の身体との近接状態を検出する。脈波センサ22は、ユーザ3の脈波を検出する。モーションセンサ23は、3軸の加速度センサ、3軸の角速度センサ、及び3軸の地磁気センサを含み、ユーザ3の動きや姿勢を検出する。GPSセンサ24は、衛星からの信号に基づきユーザ3の位置を検出する。なお、ユーザ3が屋内で活動する場合には、ウェアラブルデバイス5は、適所に配置されたビーコン発信機からの信号を受信するビーコン信号受信部を備えることにより、ユーザ3の位置を検出してもよい。ユーザ端末7がGPSセンサ、またはビーコン信号受信部を備える場合には、ユーザ端末7のGPSセンサやビーコン信号受信部を用いて、ユーザ3の位置を検出するようにしてもよい。
また、ウェアラブルデバイス5は、音声を出力するスピーカ(音声出力部)27、ユーザ3の音声やその周囲の音が入力されるマイク(音声入力部)28を備える。
ウェアラブルデバイス5において、通信部31は、公知の無線通信規格に準拠して他の装置(ここでは、ユーザ端末7)との通信を実行する。通信部31は、他の装置との通信を行うためのアンテナ、モデム、及び無線通信回路などの公知のハードウェア(図示せず)を有する。ただし、ウェアラブルデバイス5は、ユーザ端末7とUSB規格等の有線通信が可能なように接続されてもよい。後に詳述するように、ウェアラブルデバイス5は、各センサ21-24によって検出した生体データ、及びマイク28に入力された音声などをユーザ端末7に対して送信する。それらのデータは、ユーザ端末7からユーザ管理サーバ9に対して更に送信(転送)される。
また、ウェアラブルデバイス5において、制御部33は、ウェアラブルデバイス5の各部を統括的に制御する。制御部33は、ウェアラブルデバイス5を装着したユーザ3を認証する処理を行うユーザ認証部34を有する。制御部33は、ハードウェアとしての1以上のプロセッサを含む。ユーザ認証部34の処理を含めた制御部33の機能は、図示しないメモリに記憶されたプログラムをプロセッサが実行することで実現される。
ユーザ端末7は、文字や図形などを含む情報をユーザ3に表示する表示部41と、ユーザ3によるデータや情報の入力操作を受け付ける入力部42とを備える。表示部41および入力部42は、例えば公知の液晶パネルおよびタッチパネルによって実現される。
ユーザ端末7において、通信部45は、公知の無線通信規格に準拠して他の装置(ここでは、ウェアラブルデバイス5およびユーザ管理サーバ9)との通信を実行する。通信部45は、他の装置との通信を行うためのアンテナ、モデム、及び無線通信回路などの公知のハードウェア(図示せず)を有する。後に詳述するように、ユーザ端末7は、スピーカ27から所定の音声を出力させるために、ユーザ管理サーバ9からの制御指令(音声出力指令)を、ウェアラブルデバイス5に送信(転送)する。
また、ユーザ端末7において、制御部47は、ウェアラブルデバイス5の各部を統括的に制御する。さらに、制御部47は、予めインストールされたユーザ管理アプリケーション49により、ユーザ管理サーバ9と協働してユーザ3の状況を推定する処理を実行する。制御部47は、ハードウェアとしての1以上のプロセッサを含む。ユーザ管理アプリケーション49を含めた制御部47の機能は、図示しないメモリに記憶されたプログラムをプロセッサが実行することで実現される。
図3は、図1に示した状況推定装置8の構成を示す機能ブロック図である。図4は、図3に示した候補モデル記憶部55に記憶された候補モデルの説明図である。図5は、図3に示した特定モデル記憶部57に記憶された学習済みモデルセットの説明図である。なお、図11には、図3に示した機能ブロック図の一変形例を示す。
ユーザ管理サーバ9は、公知のハードウェア構成を有するサーバ装置からなる。ユーザ管理サーバ9は、通信部51、制御部53、候補モデル記憶部55、特定モデル記憶部57、及び生体データ記憶部59を備える。
通信部51は、公知の通信規格に準拠して他の装置(ここでは、ユーザ端末7および学習用サーバ11)との通信を実行する。通信部51は、他の装置との通信を行うためのアンテナ、モデム、及び無線通信回路などの公知のハードウェア(図示せず)を有する。後に詳述するように、ユーザ管理サーバ9は、個別学習済みモデルを生成するための学習用データや、特定学習済みモデルの再学習を実行するための学習用データを学習用サーバ11に送信する。
制御部53は、ユーザ管理サーバ9の各部を統括的に制御する。さらに、制御部53は、モデル選定部61、学習用データ抽出部62、モデル更新部63、状況推定部64、音声制御部65、及び表示制御部66を有する。
モデル選定部61は、予め準備された複数の候補モデルの中から、ユーザ3に個別に提供される特定学習済みモデルを選定する。候補モデル記憶部55には、予め複数の候補モデル(図4中の事前学習済みモデル(1)、(2)、(3)・・・を参照)が格納される。複数の候補モデルは、個別学習済みモデルから構成される。
モデル選定部61によって選定された特定学習済みモデルは、特定のユーザ(ここでは、ユーザ3)に対応づけられて、特定モデル記憶部57に順次格納される。通常、各特定学習済みモデルは、対応づけられた1人のユーザの状況の推定にのみ用いられる。
ただし、特定学習済みモデルは、1人のユーザ3に対して複数選定され得る。その場合、例えば図5に示すように、特定モデル記憶部57には、例えばユーザAの状況を推定するための特定学習済みモデルとして、学習済みモデルのセットが格納される。学習済みモデルのセットには、例えば、ユーザAの歩行検知パターンをパラメータとして含む学習済みモデル67、ユーザAの身体のふらつき検知パターンをパラメータとして含む学習済みモデル68、及びユーザAの転倒検知パターンをパラメータとして含む学習済みモデル69が含まれる(他のユーザB、C・・・についても同様。)。
ウェアラブルデバイス5によって取得されたユーザ3の生体データは、生体データ記憶部59に順次格納される。学習用データ抽出部62は、生体データ記憶部59に格納されたユーザ3の生体データの一部を、特定学習済みモデルの再学習を実行するための学習用データとして抽出する。より詳細には、学習用データ抽出部62は、ユーザ3に規定の状況(ユーザ3の身体のふらつきなど)が生じたと判定した場合に、当該規定の状況において取得されたその格納された生体データの一部を学習用データとして抽出する。また、学習用データ抽出部62は、ユーザ3の生体データの一部を、学習用サーバ11において個別学習済みモデルを生成するための学習用データとして抽出することも可能である。
モデル更新部63は、学習用サーバ11によって実行される特定学習済みモデルの再学習の結果に基づき、特定モデル記憶部57に格納された特定学習済みモデルを適宜更新する。
状況推定部64は、特定学習済みモデルを用いて、ユーザ3からリアルタイムで得られる生体データ(すなわち、最新の生体データ)に基づき、ユーザ3の状況を推定する。特定学習済みモデルがモデル更新部63によって更新された場合、状況推定部64は、その更新された特定学習済みモデルを用いてユーザ3の状況を推定する。ただし、状況推定部64は、新規にユーザの状況の推定を開始する際には、モデル選定部61によって選定された候補モデル(すなわち、再学習されていない特定学習済みモデル)を用いてユーザ3の状況を推定する。
音声制御部65は、ウェアラブルデバイス5のスピーカ27から所定の音声を出力させるために、音声出力指令をユーザ端末7に送信する。スピーカ27から出力させる音声には、モデル選定部61による特定学習済みモデルの選定時に、ユーザ3に所定の動作を実行させるためのガイド音声が含まれる。また、スピーカ27から出力させる音声には、ユーザ3に規定の状況(ユーザ3の身体のふらつきなど)が生じたか否かを問い合わせるための問合せ音声が含まれる。
表示制御部66は、ユーザ端末7の表示部41に所定の画面を表示させるために、画面表示指令をユーザ端末7に送信する。そのような画面には、ユーザ管理サーバ9からユーザ3に対して状況を問い合わせるための問合せ画面が含まれる。なお、ウェアラブルデバイス5が表示部(液晶ディスプレイ、プロジェクタなど)を有する場合には、表示制御部66は、ユーザ端末7の表示部41の代わりに(あるいは、ユーザ端末7の表示部41と共に)、ウェアラブルデバイス5の表示部に所定の画面を表示させてもよい。
学習用サーバ11は、公知のハードウェア構成を有するサーバ装置からなる。ユーザ管理サーバ9は、通信部71、制御部73、事前学習済みモデル記憶部75、再学習済みモデル記憶部77、及び学習用データ記憶部79を備える。学習用サーバ11は、ユーザ管理サーバ9で利用される候補モデルや、再学習済みの特定学習済みモデルをユーザ管理サーバ9に適宜提供する。
通信部71は、公知の通信規格に準拠して他の装置(ここでは、ユーザ管理サーバ9)との通信を実行する。通信部71は、ユーザ管理サーバ9の通信部51と同様に、公知のハードウェアを有する。
制御部73は、学習用サーバ11の各部を統括的に制御する。さらに、制御部73は、モデル生成部81、モデル再学習部83、及びモデル配信部85を含む。
モデル生成部81は、ユーザ3以外の他の複数のユーザから取得された生体データを、それぞれ個別の学習用データとして用いて複数の個別学習済みモデルを生成する。モデル生成部81によって生成された学習済みモデルは、事前学習済みモデル記憶部75に順次格納される。ただし、事前学習済みモデル記憶部75には、汎用の学習済みモデルが含まれてもよい。汎用の学習済みモデルは、例えば、用途に応じて事前にサンプルデータとして収集した、規定の状況に対応する複数の生体データを学習用データとして用いて生成され得る。
モデル再学習部83は、ユーザ管理サーバ9(学習用データ抽出部62)によって抽出され、学習用サーバ11に送信された学習用データに基づき、対応する特定学習済みモデルの再学習を実行する。再学習済みのモデルは、再学習済みモデル記憶部77に順次格納される。再学習済みモデル記憶部77には、再学習の対象となる(すなわち、再学習前の)特定学習済みモデルが格納されてもよい。なお、モデル再学習部83は、同一の(すなわち、同じユーザに対応づけられた)特定学習済みモデルの再学習を、新たな学習用データを取得する度に実行することができる。その他のバリエーションとして、学習用サーバ11が受信した学習用データを、学習用サーバ11内の学習用データ記憶部79に保管して、モデル再学習部83が実行する再学習用のデータとして、適宜利用することも可能である。なお学習用データ抽出部62が抽出した学習用データの送信タイミングは、ユーザ管理サーバのアプリケーション(図示せず)を用いて、ユーザが任意のタイミングにて手動で入力・指示するようにしてもよいし、学習用データ抽出部62で抽出した学習用データをユーザ管理サーバ9の記録領域に一時的に保管しておき、一時保管された学習用データを所定周期で自動的に送信するようにしてもよい。
モデル配信部85は、事前学習済みモデル記憶部75に格納された初期の学習済みモデル(個別学習済みモデル、汎用の学習済みモデル)を、候補モデルとしてユーザ管理サーバ9に適宜送信する。また、モデル配信部85は、特定学習済みモデルの再学習が完了すると、その再学習済みの特定学習済みモデルを、更新用の定学習済みモデルとしてユーザ管理サーバ9に適宜送信する。
なお、状況推定システム1では、ユーザ管理サーバ9が十分な計算リソースを有する場合、学習用サーバ11の機能の少なくとも一部を備えた構成も可能であるし、逆に、ユーザ管理サーバ9の計算リソースが不十分な場合には、その一部の機能を学習用サーバ11が備える構成を取ることも可能である。例えば図11に示すように、ユーザ管理サーバ9の代わりに、学習用サーバ11が候補モデル記憶部55およびモデル選定部61の機能を備えてもよい。また場合によっては、状況推定装置8は、ユーザ管理サーバ9および学習用サーバ11の双方の機能を備えた1つの装置として実現されてもよい。さらに、状況推定装置8は、ユーザ管理サーバ9および学習用サーバ11の他に、それらの機能の一部を実行可能な他の装置(サーバやPCなど)を更に含む構成も可能である。また、状況推定装置8は、サーバ装置に限らず、同様の機能を有する少なくとも1つのコンピュータによって構成され得る。また、状況推定部64やモデル再学習部83の処理を複数のサーバで秘密分散処理する構成によって、ネットワークへのサイバー攻撃に対するセキュリティを向上させることも可能である。これらの機能配置は、ユーザ管理サーバ9や学習用サーバ11のリソース(CPUパワー、メモリ、記憶容量等)や、ユーザ管理サーバ9と学習用サーバ11との間のネットワーク通信速度・環境、状況判定システムに要求されるセキュリティレベル等に応じて、適切に設計し実装することが可能である。
図6は、ウェアラブルデバイス5の装着時および取外し時の認証処理を示すフロー図である。
ウェアラブルデバイス5は、対応づけられた特定のユーザのみの生体データを取得する。そのため、ウェアラブルデバイス5は、その装着時および取外し時に、図6に示すように、装着者に対する認証処理を実行する。
まず、ユーザ3が活動を開始する際にウェアラブルデバイス5を装着すると、ウェアラブルデバイス5は、近接センサ21によりユーザ3に装着されたことを検出する(ST101:Yes)。
続いて、ウェアラブルデバイス5は、ユーザ3に対して本人認証リクエストを行う(ST102)。本人認証リクエストでは、例えば、スピーカ27からユーザ3に発声を促すための音声が出力される。そして、ユーザ認証部34は、その音声に応じてマイク28に入力されたユーザの声について声紋認証の処理を実行する。
その後、ユーザ3が正常に認証されると(ST103:Yes)、ウェアラブルデバイス5は、継続認証状態となる(ST104)。これにより、ウェアラブルデバイス5は、ユーザ3から生体データの取得を開始する。
それと同時に、ウェアラブルデバイス5は、ユーザ3が正常に認証されたことをユーザ3に知らせる認証完了通知をユーザ端末7に送信する(ST105)。認証完了通知を受信したユーザ端末7は、ユーザ3に正常に認証されたことを示す認証済み画面を表示部41に表示する。なお、ウェアラブルデバイス5は、ユーザ3が正常に認証されたことをユーザ3に知らせる音声をスピーカ27から出力してもよい。
その後、活動を終えたユーザ3がウェアラブルデバイス5を取り外すと、ウェアラブルデバイス5は、近接センサ21によりウェアラブルデバイス5がユーザ3から取り外されたことを検出する(ST106:Yes)。これによりウェアラブルデバイス5は、認証解除状態となり(ST107)、ユーザ3からの生体データの取得を停止する。
なお、ウェアラブルデバイス5は、上記ステップST101において、近接センサ21に代えて(或いは、近接センサと共に)、モーションセンサ23を用いてウェアラブルデバイス5がユーザ3に装着されたことを検出してもよい。また、ウェアラブルデバイス5は、上記ステップST102において、声紋認証以外の手法(例えば、モーションセンサ23によって検出されたユーザ3の動きの特徴に基づく生体認証処理や、事前に取り決めた合言葉による音声発話・音声認識によるキーワード認証処理等)を用いてユーザ3を認証してもよい。
図7は、ユーザ3が状況推定システム1の利用を開始する際の初期セットアップ処理の流れを示す説明図である。初期セットアップ処理は、複数の候補モデルからユーザ3に最も適した候補モデルを特定学習済みモデルとして選定するための処理である。
ユーザ管理サーバ9は、ユーザ3の入力操作に基づくユーザ端末7(ユーザ管理アプリケーション49)からのセットアップ要求に応じて、初期セットアップ処理を開始する(1001)。そこで、ユーザ管理サーバ9は、ユーザ3に所定の動作を実行させるための動作実行指令を、ユーザ端末7を介してウェアラブルデバイス5に送信する(1003)。
その動作実行指令を受信したウェアラブルデバイス5は、ユーザ3に所定の動作を実行させるためのガイド音声をスピーカ27から出力する(1005)。ガイド音声のデータは、予めウェアラブルデバイス5に記憶されるか、または、ユーザ管理サーバ9からウェアラブルデバイス5に送信される動作実行指令に含まれる。ガイド音声には、例えば、「右に曲がって5歩歩いてください。」、「階段を上ってください。」などの音声が含まれる。これにより、ユーザ3は、ガイド音声に従って所定の動作(例えば、右に曲がって5歩歩く)を実行する。
ウェアラブルデバイス5は、その所定動作を実行しているユーザ3の生体データを取得する(1007)。さらに、ウェアラブルデバイス5は、取得した生体データを、ユーザ端末7を介してユーザ管理サーバ9に送信する(1009)。このようにして、ユーザ管理サーバ9は、ユーザ3に所定の動作を実行させたときの生体データをより確実に取得することができる。なお、ユーザ管理サーバ9は、動作実行指令による所定の動作の開始時と終了時に、特徴的な動作(例えば、飛び跳ねる動作)を含めることにより、時系列データとして得られた生体データにおける所定の動作の開始時および終了時を容易に認識することが可能となる。
ユーザ管理サーバ9は、所定の動作の実行時におけるユーザ3の生体データをウェアラブルデバイス5から取得すると、その生体データに基づき、特定学習済みモデルを選定する処理を実行する(1011)。より詳細には、モデル選定部61は、候補モデル記憶部55に格納された複数の候補モデルを用いて、ユーザ3の生体データからユーザ3が所定の動作(例えば、右に曲がって5歩歩く歩行動作)を実行していることついての推定精度(%)をそれぞれ算出し、最も推定精度の高い候補モデルを特定学習済みモデルとして選定する。
その後、ユーザ管理サーバ9は、選定された特定学習済みモデルの情報を含む初期セットアップ完了通知をユーザ端末7に通知する(1013)。ユーザ端末7では、その選定された特定学習済みモデルの情報がユーザ管理アプリケーション49によって登録される(1015)。なお選定された特定学習済みモデル情報の登録をユーザ端末7に対しては行わず、選定された特定学習済みモデルの情報とユーザ3のID(またはユーザ端末7のID)との対応付けを、ユーザ管理サーバ9で管理しておくことで、ユーザ3に対して選定された特定学習済みモデルを適用することが可能となる。
図8は、状況推定システム1における特定学習済みモデルの再学習の処理の流れを示す説明図である。図9は、生体データに関する情報の一例を示す説明図である。図10は、ユーザ端末7に示される問合せ画面の一例を示す説明図である。
初期セットアップが完了したウェアラブルデバイス5は、図8に示すように、ユーザ3の活動時にその生体データを所定周期(例えば脈波センサ22やモーションセンサ23等のセンサのサンプリング周期であってもよいし、ウェアラブルデバイスのバッテリー電力低減のためサンプリング周期を適宜間引いた周期としてもよい)で継続的に取得する(2001)。取得された生体データは、ウェアラブルデバイス5からユーザ端末7を介してユーザ管理サーバ9に送信される(2003)。ユーザ管理サーバ9は、ウェアラブルデバイス5から受信した生体データに関する情報を生体データ記憶部59に順次格納する(2005)。
生体データ記憶部59に格納される生体データに関する情報には、例えば図9に示すように、生体データとしてのセンサ検出値である「センサデータ」およびデータが検出された時のユーザ3の位置を示す「位置情報」の他、ユーザ3を識別するための「ユーザID」、センサデータが検出された「日付」および「時刻」、センサデータに関して規定の状況が発生したことを示す「規定状況検知結果」などの関連情報が含まれる。センサデータには、所定の時刻に検出されたデータのみならず、所定の期間に検出されたデータ(例えば、波形データ)なども含まれ得る。「規定状況検知結果」は、生体データ記憶部59に格納される当初の生体データの情報には含まれておらず、規定の状況が発生した場合に適宜追加される。
ユーザ管理サーバ9では、ウェアラブルデバイス5から受信した生体データに基づき、特定学習済みモデルを用いてユーザ3の状況を推定する(2007)。ユーザ管理サーバ9は、その推定の結果として、ユーザ3の状況が規定の状況に該当しない(または、該当する可能性が低い)と判定した場合には、ウェアラブルデバイス5からの次の生体データの受信を待つ。
一方、ユーザ管理サーバ9は、ユーザ3の状況の推定結果からユーザ3に規定の状況(ユーザ3の身体のふらつきなど)が生じたと判定すると、ユーザ端末7を介してウェアラブルデバイス5に音声出力指令を送信する(2009)。
その音声出力指令を受信したウェアラブルデバイス5は、スピーカ27からユーザ3の状況に関する問合せ音声を出力する(2011)。問合せ音声には、例えば、「大丈夫ですか?」、「何かありましたか?」などユーザ3に状況を問い合わせるための音声が含まれる。また、問合せ音声には、「暑いので、休憩をとって水分を補給してください。」などのユーザ3の体調管理についてのアドバイスが含まれてもよい。
その問い合わせ音声に対してユーザ3が声を発して応答すると、ユーザ3の応答音声がマイク28に入力され、さらに、その応答音声データがユーザ端末7を介してユーザ管理サーバ9に送信される(2013)。問合せ音声には、例えば、「ちょっと身体がふらふらしました。」、「大丈夫です。」などの音声が含まれる。
その応答音声のデータを受信したユーザ管理サーバ9の制御部53は、音声認識処理により応答音声の内容を推定する(2015)。続いて、ユーザ管理サーバ9は、その推定結果からユーザ3に規定の状況が発生していると判定すると、ユーザ端末7の表示部41に問合せ画面を表示させるための画面表示指令を送信する(2017)。このとき、ユーザ管理サーバ9は、対応する生体データに関する情報(図9参照)に対し、その応答音声の内容を推定した結果(例えば、ユーザ3の身体のふらつきが発生したこと)を規定状況検知結果として追加する。このように、ユーザ管理サーバ9は、問合せ音声に対するユーザ3の応答音声に基づき、ユーザ3に規定の状況が生じた場合の生体データをより確実に取得することができる。
ユーザ端末7は、ユーザ管理サーバ9からの画面表示指令に基づき、ユーザ3の状況をより詳細に確認するための問合せ画面91を表示する(2019)。問合せ画面には、例えば図10に示すように、ユーザ3の応答音声に基づき推定された動作(ここでは、身体のふらつき)に関する確認事項が示されている。ここでは、ユーザ3の身体のふらつきに関する確認事項として、「通常歩行」の際にふらついたこと、「急ぎ足」の際にふらついたこと、「階段」を上る際にふらついたこと、ふらついた後に「転倒」したこと、「つまずき」によってふらついたこと、「その他」の事項などの選択肢が示されている。問合せ画面91におけるユーザ3の入力操作(例えば、選択肢の選択)の結果は、応答データとしてユーザ管理サーバ9に送信される(2021)。
ユーザ端末7からの応答データを受信したユーザ管理サーバ9は、その応答データに基づきユーザ3の状況を確定し、対応する生体データの情報(図9参照)に対し、そのユーザ3の状況(例えば、階段を上る際にユーザ3のつまずきが発生したこと)を規定状況検知結果として追加する(2023)。このように、ユーザ管理サーバ9は、問合せ画面に対するユーザ3の入力操作に基づき、ユーザ3に生じた規定の状況についてより詳細に把握することが可能となるため、再学習に用いられる生体データの精度が高まる。
なお、ユーザ管理サーバ9は、ウェアラブルデバイス5からの応答音声およびユーザ端末7からの応答データの少なくとも一方に基づき、対応する生体データの情報(図9参照)の規定状況検知結果を追加することが可能である。つまり、ウェアラブルデバイス5からの応答音声を取得するための処理、及びユーザ端末7からの応答データを取得するための処理の少なくとも一方については省略されてもよい。
ユーザ管理サーバ9では、規定状況検知結果が付された生体データを学習用データとして適宜抽出し、学習用サーバ11に対して送信する(2025)。学習用サーバ11では、受信した学習用データに基づき、特定学習済みモデルの再学習が実行される(2027)。このとき、規定状況検知結果は、教師データとして用いられる。
学習用サーバ11は、再学習の結果に関する情報として、再学習が終了した特定学習済みモデルをユーザ管理サーバ9に送信する(2029)。ユーザ管理サーバ9では、その再学習済みの特定学習済みモデルにより、現在使用している特定学習済みモデルを更新する(2031)。
なお、特定学習済みモデルの再学習は、特定学習済みモデルに複数の学習済みモデルが含まれる場合(図5参照)には、学習済みモデル毎に実行され得る。また、学習用サーバ11における再学習は、ユーザ管理サーバ9から学習用データを受信する度に毎回実行してもよい。もしくは、ユーザ3に適用されている特定学習済みモデルによるユーザ3の状況の推定結果と、規定状況検知結果(ユーザ3の応答データによって確定したユーザの実際の状況)とが異なる場合(推定誤り)の発生頻度を測定し、当該発生頻度が所定の基準を超えた場合に再学習処理を実行することによって、不必要な再学習処理の実行をなくし、状況推定の精度が劣化したときにのみ再学習を実行することも可能となる。このとき、推定誤りをユーザ管理サーバ9側で判定したうえで、その発生頻度が所定基準を超えた場合に、学習用サーバ11に対して学習用データを送信し、学習用サーバ11側では、学習用データの受信時に毎回再学習を実行することでも、同じ効果が得られる。
このように、状況推定システム1では、事前学習済みの複数の候補モデルの中から対象のユーザ3の状況を推定するための特定学習済みモデルを選定し、規定の状況における当該ユーザ3の生体データを学習用データとして用いて特定学習済みモデルを再学習するため、当該ユーザ3の状況の推定精度を向上させることが可能となる。
また、状況推定システム1では、他の複数のユーザの生体データを個別に用いて生成された複数の学習済みモデルを候補モデルとして利用することにより、対象のユーザ3に提供される特定学習済みモデルの取得に要する時間やコストを低減することができる。
以上、本開示を特定の実施の形態に基づいて説明したが、これらの実施の形態はあくまでも例示であって、本開示はこれらの実施の形態によって限定されるものではない。
例えば、状況推定システム1では、ユーザ管理サーバ9を省略し、ユーザ端末7をユーザ管理サーバ9として機能させる構成も可能である。また、状況推定システム1では、活動中のユーザ3の安全性の管理のみならず、例えば、ユーザ3の歩行状況の推定から、ユーザ3の作業の管理などを行うことも可能である。
上記実施の形態に示した本開示に係る状況推定装置、サーバ装置、状況推定システム、及び状況推定方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
1 :状況推定システム
3 :ユーザ
4 :ユーザ側装置
5 :ウェアラブルデバイス
7 :ユーザ端末
8 :状況推定装置
9 :ユーザ管理サーバ
11:学習用サーバ
13:ネットワーク
21:近接センサ
22:脈波センサ
23:モーションセンサ
24:GPSセンサ
27:スピーカ
28:マイク
31:通信部
33:制御部
34:ユーザ認証部
41:表示部
42:入力部
45:通信部
47:制御部
49:ユーザ管理アプリケーション
51:通信部
53:制御部
55:候補モデル記憶部
57:特定モデル記憶部
59:生体データ記憶部
61:モデル選定部
62:学習用データ抽出部
63:モデル更新部
64:状況推定部
65:音声制御部
66:表示制御部
71:通信部
73:制御部
75:事前学習済モデル記憶部
77:再学習済みモデル記憶部
79:学習用データ記憶部
81:モデル生成部
83:モデル再学習部
85:モデル配信部
91:問合せ画面

Claims (13)

  1. ユーザの状況を推定する状況推定システムであって、
    前記ユーザに装着され、前記ユーザの生体データを取得するウェアラブルデバイスと、
    前記生体データに基づき、前記ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況を推定する状況推定装置と、を備え、
    前記状況推定装置は、
    事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定するモデル選定部と、
    前記特定学習済みモデルの再学習を実行するモデル再学習部と、
    前記モデル再学習部によって実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新するモデル更新部と、
    前記モデル更新部によって更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定する状況推定部と、を有し、
    前記モデル再学習部は、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、状況推定システム。
  2. 前記複数の候補モデルには、他の複数のユーザから過去に取得された生体データを、それぞれ個別の学習用データとして用いて生成された複数の学習済みモデルが含まれる、請求項1に記載の状況推定システム。
  3. 前記規定の状況には、前記ユーザの歩行、前記ユーザの身体のふらつき、前記ユーザの転倒、前記ユーザのつまずき、及び前記ユーザの所定の姿勢のうちの少なくとも1つが含まれる、請求項1または請求項2に記載の状況推定システム。
  4. 前記モデル選定部は、前記ユーザが所定の動作を実行したときに取得された前記生体データに基づく、前記各候補モデルによる前記ユーザの動作の推定結果により、前記特定学習済みモデルを選定する、請求項1から請求項3のいずれかに記載の状況推定システム。
  5. 前記ウェアラブルデバイスは、前記ユーザに前記所定の動作を実行させるためのガイド音声を出力する音声出力部を更に有し、
    前記状況推定装置は、前記音声出力部に前記ガイド音声を出力させる音声制御部を更に有する、請求項4に記載の状況推定システム。
  6. 前記所定の動作には、前記ユーザの歩行動作が含まれる、請求項4または請求項5に記載の状況推定システム。
  7. 前記ウェアラブルデバイスは、前記ユーザに前記規定の状況が生じたか否かを前記ユーザに問い合わせるための問合せ音声を出力する音声出力部と、前記問合せ音声に応答する前記ユーザの応答音声を入力する音声入力部と、を更に有し、
    前記状況推定装置は、前記音声出力部に前記問合せ音声を出力させる音声制御部を更に有し、
    前記応答音声に基づき、前記ユーザに前記規定の状況が生じたか否かが判定される、請求項1から請求項4のいずれかに記載の状況推定システム。
  8. 前記ユーザが利用するユーザ端末を更に備え、
    前記ユーザ端末は、前記ユーザに前記規定の状況が生じたか否かを前記ユーザに問い合わせるための問合せ画面を表示する表示部と、前記問合せ画面に応答する前記ユーザの入力操作を受け付ける入力部と、を更に有し、
    前記状況推定装置は、前記表示部に前記問合せ画面を表示させる表示制御部を更に備えた、請求項1から請求項6のいずれかに記載の状況推定システム。
  9. 前記ウェアラブルデバイスは、前記ユーザの耳に装着されるイヤホン型のデバイスである、請求項1から請求項8のいずれかに記載の状況推定システム。
  10. ウェアラブルデバイスによって取得されたユーザの生体データに基づき、当該ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況をそれぞれ推定する状況推定装置であって、
    事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定するモデル選定部と、
    前記特定学習済みモデルの再学習を実行するモデル再学習部と、
    前記モデル再学習部によって実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新するモデル更新部と、
    前記モデル更新部によって更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定する状況推定部と、を有し、
    前記モデル再学習部は、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、状況推定装置。
  11. 請求項1から請求項10のいずれかに記載の状況推定装置を構成するサーバ装置であって、
    前記モデル再学習部によって実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新するモデル更新部と、
    前記モデル更新部によって更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定する状況推定部と、を有するサーバ装置。
  12. ウェアラブルデバイスによって取得されたユーザの生体データに基づき、当該ユーザに個別に提供される特定学習済みモデルの再学習を行うサーバ装置であって、
    事前学習済みの複数の候補モデルを記憶する候補モデル記憶部と、
    前記候補モデルの中から前記特定学習済みモデルを選定するモデル選定部と、
    前記特定学習済みモデルの再学習を実行するモデル再学習部と、を有し、
    前記モデル再学習部は、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、サーバ装置。
  13. ウェアラブルデバイスによって取得されたユーザの生体データに基づき、当該ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況をそれぞれ推定するために、少なくとも1つのコンピュータで実行される状況推定方法であって、
    事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定し、
    前記特定学習済みモデルの再学習を実行し、
    前記再学習の結果に基づき、前記特定学習済みモデルを更新し、
    前記更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定し、
    前記特定学習済みモデルの再学習では、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、状況推定方法。
JP2020163322A 2020-09-29 2020-09-29 状況推定装置、サーバ装置、状況推定システム、及び状況推定方法 Active JP7523063B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020163322A JP7523063B2 (ja) 2020-09-29 2020-09-29 状況推定装置、サーバ装置、状況推定システム、及び状況推定方法
JP2024108009A JP2024133603A (ja) 2020-09-29 2024-07-04 状況推定装置、状況推定システム、及びそれらによる状況推定方法、並びに状況推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020163322A JP7523063B2 (ja) 2020-09-29 2020-09-29 状況推定装置、サーバ装置、状況推定システム、及び状況推定方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024108009A Division JP2024133603A (ja) 2020-09-29 2024-07-04 状況推定装置、状況推定システム、及びそれらによる状況推定方法、並びに状況推定プログラム

Publications (2)

Publication Number Publication Date
JP2022055736A JP2022055736A (ja) 2022-04-08
JP7523063B2 true JP7523063B2 (ja) 2024-07-26

Family

ID=80998549

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020163322A Active JP7523063B2 (ja) 2020-09-29 2020-09-29 状況推定装置、サーバ装置、状況推定システム、及び状況推定方法
JP2024108009A Pending JP2024133603A (ja) 2020-09-29 2024-07-04 状況推定装置、状況推定システム、及びそれらによる状況推定方法、並びに状況推定プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024108009A Pending JP2024133603A (ja) 2020-09-29 2024-07-04 状況推定装置、状況推定システム、及びそれらによる状況推定方法、並びに状況推定プログラム

Country Status (1)

Country Link
JP (2) JP7523063B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI804358B (zh) * 2022-06-22 2023-06-01 上銀科技股份有限公司 即時調整步態訓練參數之方法
JP7504315B1 (ja) 2023-05-30 2024-06-21 三菱電機株式会社 状態推定装置、プログラム、状態推定システム及び状態推定方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218126A (ja) 2009-03-16 2010-09-30 Toshiba Mitsubishi-Electric Industrial System Corp 人体装着センサ装置及びそれを含む行動解析監視装置
JP2019522500A (ja) 2016-04-12 2019-08-15 ゴーゴー バンド,インコーポレイテッド 排尿の予測およびモニタリング
WO2019168474A1 (en) 2018-03-02 2019-09-06 Nitto Denko Corporation Method, computing device and wearable device for sleep stage detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218126A (ja) 2009-03-16 2010-09-30 Toshiba Mitsubishi-Electric Industrial System Corp 人体装着センサ装置及びそれを含む行動解析監視装置
JP2019522500A (ja) 2016-04-12 2019-08-15 ゴーゴー バンド,インコーポレイテッド 排尿の予測およびモニタリング
WO2019168474A1 (en) 2018-03-02 2019-09-06 Nitto Denko Corporation Method, computing device and wearable device for sleep stage detection

Also Published As

Publication number Publication date
JP2022055736A (ja) 2022-04-08
JP2024133603A (ja) 2024-10-02

Similar Documents

Publication Publication Date Title
JP2024133603A (ja) 状況推定装置、状況推定システム、及びそれらによる状況推定方法、並びに状況推定プログラム
US10630681B2 (en) Bio leash for user authentication
KR102384485B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 정보 처리 시스템
CN109314840A (zh) 使用机器学习优化可穿戴设备设置
US20230267185A1 (en) Method and system for behavior-based authentication of a user
US20200029214A1 (en) A device, computer program and method
US10911950B2 (en) Electronic device, system and method for data communication
JP7240104B2 (ja) 認証装置、認証方法、認証プログラム及び認証システム
KR20190080598A (ko) 생체신호를 이용한 감성 검출 시스템 및 그 방법
JP6676569B2 (ja) 認証システム、認証装置および認証方法
EP3817314B1 (en) Method and communication devices for extending log-in to multiple communication devices
US10810288B2 (en) Method and system for behavior-based authentication of a user
JP6744265B2 (ja) 判定装置、判定方法及び判定プログラム
JP6926337B2 (ja) 通信装置によって行われるユーザ認証を改善する方法
US20210049998A1 (en) Information processing apparatus, information processing method, and program
JP2016051300A (ja) 動作情報測定装置、機能制御方法、及びプログラム
US20160370868A1 (en) Interaction method between pieces of equipment and user equipment
KR20170077574A (ko) 동작 감지 기반의 디바이스를 이용한 정보 제공 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230717

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240521

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240704

R150 Certificate of patent or registration of utility model

Ref document number: 7523063

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150