以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、各図において同一又は相当部分には同一符号を付し、重複する説明を省略する。
図1は、本実施形態に係る身体状態推定システム1(装置)の構成を模式的に示す図である。図1に示されるように、身体状態推定システム1は、一又は複数のウェアラブル端末10(通信機器)と、一又は複数のユーザ端末20と、クラウドサーバ30と、を備えている。
身体状態推定システム1は、ユーザUの身体の状態を推定するシステムである。具体的には、身体状態推定システム1は、ユーザUに装着されるウェアラブル端末10によって計測されるユーザUのバイタル情報に基づいて、ユーザUの身体の状態が正常であるか或いは異常であるかを推定する。バイタル情報とは、ユーザの生体活動に関する情報である。バイタル情報の例としては、ユーザUの体温、脈拍、血中酸素濃度等が挙げられる。以下、本実施形態では、ユーザUの体温をバイタル情報の例として説明する。「ユーザUの身体の状態が正常である」とは、例えば、ユーザUが疾患に罹っていない状態である。「ユーザUの身体の状態が異常である」とは、例えば、ユーザUが疾患に罹っている状態である。疾患の例としては、例えば、風邪、インフルエンザ、肺炎等が挙げられる。以下、本実施形態では、インフルエンザ及び肺炎を疾患の例として説明する。
ウェアラブル端末10は、ユーザUが装着するウェアラブル型の通信機器であって、ユーザUのバイタル情報を常時計測する。ウェアラブル端末10は、例えば、腕時計型の通信機器であって、種々の情報を表示する画面を有する。ユーザ端末20は、スマートフォン、タブレット型端末、PC、ゴーグル型のウェアラブル機器等の通信機器である。ユーザ端末20は、種々の情報を表示する画面を有する。身体状態推定システム1では、各ユーザ端末20と各ウェアラブル端末10とが、また、クラウドサーバ30と各ユーザ端末20とが、相互に通信可能に構成されている。なお、身体状態推定システム1においては、各ウェアラブル端末10とクラウドサーバ30とが相互に通信可能に構成されていてもよい。以下、身体状態推定システム1に含まれる各ウェアラブル端末10及び各ユーザ端末20については互いに同様の機能を有しているとし、身体状態推定システム1に含まれる一のウェアラブル端末10、及び一のユーザ端末20に着目して説明を行う。
ここで、身体状態推定システム1が行う身体の状態の推定について簡単に説明する。身体状態推定システム1では、ユーザ端末20が、ウェアラブル端末10及びクラウドサーバ30から取得した種々の情報を考慮して身体の状態を推定する処理を実行し、推定結果に応じて生成した情報をユーザ端末20の画面上に表示する。具体的には、まず、身体状態推定システム1では、ユーザ端末20が、ウェアラブル端末10によって計測されたユーザUのバイタル情報の時系列データ(以下、単に「時系列データ」という場合がある)を取得する。また、ユーザ端末20は、一定の時間間隔で、問診情報の入力を促す情報をウェアラブル端末10の画面に表示させ、問診情報を取得する。問診情報は、ユーザUに問診することにより得られる期間における身体の状態に関する情報である。問診情報の入力は、例えば、ユーザUがウェアラブル端末10の画面を操作することにより受け付けられてもよいし、ユーザUが発する音声により受け付けられてもよい。なお、問診情報の入力は、ユーザ端末20の画面を介して受け付けられてもよい。
そして、身体状態推定システム1では、予測フェーズ及び推定フェーズの2段階のフェーズを経て、ユーザUの身体の状態が推定される。予測フェーズ及び推定フェーズは、例えば時系列的に互いに連続したフェーズである。まず、予測フェーズでは、ユーザ端末20によって取得された時系列データ及び問診情報に基づいて、クラウドサーバ30が、バイタル情報の推移の予測データ(以下、単に「予測データ」という場合がある)を導出する。そして、推定フェーズでは、ユーザ端末20が、ウェアラブル端末10からバイタル情報の時系列データを取得し、当該時系列データと、クラウドサーバ30から取得した予測データとを比較することにより、身体の状態を推定する。そして、ユーザ端末20は、例えば、推定結果をユーザUの閲覧のためにユーザ端末20の画面上に表示する。以上の処理を行うことにより、身体状態推定システム1では、ユーザUのバイタル情報の時系列データに基づいて、ユーザUの身体の状態が推定され、推定結果がユーザ端末20の画面上に表示される。
図2は、時系列データと予測データとの関係、及び時系列データと問診データとの関係を模式的に示す図である。図2には、時系列データD1、予測データF、及び時系列データD2を示すグラフGが示されている。時系列データD1は、ユーザ端末20によってウェアラブル端末10から取得され且つ予測データFの予測に用いられる時系列データである。予測データFは、時系列データD1が用いられて導出された予測データであり、予測フェーズにおいてクラウドサーバ30によって予測された予測データである。時系列データD2は、推定フェーズにおいてユーザ端末20によってウェアラブル端末10から取得された時系列データであり、推定フェーズにおいて予測データFとの比較対象となる時系列データである。グラフGの横軸は、時間を示し、グラフGの縦軸は、ユーザUの体温(バイタル情報)を示す。また、グラフGには、時系列データD1に対応付けられた問診情報M1が入力受付されたタイミング、及び時系列データD2に対応付けられた追加問診情報M2(異常時用の更なる問診情報)が入力受付されたタイミングが示されている。追加問診情報の詳細については後述する。
予測フェーズでは、時系列データD1及び問診情報M1に基づいて、クラウドサーバ30が、予測データFを導出する。予測データFは、身体の状態が正常である場合のバイタル情報の推移を示す。そして、推定フェーズでは、ユーザ端末20が、ウェアラブル端末10から時系列データD2を取得し、時系列データD2と予測データFとを比較することにより、身体の状態を推定する。図2に示される例では、時系列データD2と予測データFとの差異が予め定められた閾値よりも大きい(詳細は後述)。したがって、図2に示される例では、ユーザ端末20が、身体の状態が異常であると推定する。
図1に戻り、ウェアラブル端末10は、計測したユーザUのバイタル情報をユーザ端末20に出力する。ウェアラブル端末10は、例えば、任意の期間のバイタル情報の時系列データをユーザ端末20に出力する。なお、ウェアラブル端末10は、バイタル情報を計測する度にユーザ端末20に出力してもよい。また、ウェアラブル端末10は、ウェアラブル端末10の画面上に問診情報の入力を受け付ける情報を表示し、当該画面を介してユーザUが入力した問診情報をユーザ端末20に出力する。問診情報の例としては、ユーザUの身体の状態に異常があるか否かの情報、及び異常がある場合の異常の状態に関する情報等が挙げられる。ウェアラブル端末10からユーザ端末20に出力された時系列データ及び問診情報は、互いに対応付けられて後述する予測用データベースを生成するための学習データとして用いられる。
ここで、時系列データと問診情報とが対応付けられた学習データの例について説明する。図3、図4、及び図5には、ウェアラブル端末10が計測した時系列データを示すグラフGa,Gb,Gcが示されている。グラフGa,Gb,Gcのそれぞれの横軸は、時間を示し、グラフGa,Gb,Gcのそれぞれの縦軸は、ユーザUの体温を示す。
図3に示されるグラフGaは、時系列データDaを示している。時系列データDaは、ユーザUの身体の状態が正常である場合に計測されたバイタル情報(すなわち、ユーザUの体温)の推移の一例である。また、グラフGaには、ウェアラブル端末10を介して、ユーザUによって問診情報Maが定期的に入力されたタイミングが示されている。一例として、問診情報は、1日の間に、早朝から夜までの間に数時間ごとに入力される。時系列データDaは、一定のパターンを描いている。これは、一般的に、ユーザUの身体の状態が正常である場合、ユーザUのバイタル情報が1日周期で一定のパターンとなることに起因する。また、各問診情報Maは、身体の状態が正常であることを示している。
図4には、時系列データDbを示すグラフGbが示されている。図5には、時系列データDcを示すグラフGcが示されている。時系列データDb,Dcは、ユーザUの身体の状態が異常である場合(すなわち、ユーザUが疾患に罹った場合)に計測されたバイタル情報の推移の一例である。具体的には、時系列データDbは、ユーザUがインフルエンザに罹った場合のバイタル情報の推移を示している。時系列データDcは、ユーザUが肺炎にかかった場合のバイタル情報の推移を示している。また、グラフGbには、ウェアラブル端末10を介して、ユーザUによって問診情報Mbが定期的に入力されたタイミングが示されている。グラフGcには、ウェアラブル端末10を介して、ユーザUによって問診情報Mcが定期的に入力されたタイミングが示されている。問診情報Mb,Mcは、例えば、問診情報Maと同様の時間間隔で入力される。
時系列データDbは、2日目から急激に上昇しその後徐々に下降するバイタル情報の推移を描いている。これは、一般的に、ユーザUがインフルエンザに罹ると急激に体温が上昇することに起因する。この場合、例えば、1日目における各問診情報Mbは、身体の状態が正常であることを示し、2日目以降における各問診情報Mbは、身体の状態が異常であることを示す。
時系列データDcは、日数が経つにつれて徐々に上昇するバイタル情報の推移を描いている。これは、一般的に、ユーザUが肺炎に罹ると高熱が続くことに起因する。この場合、各問診情報Mcは、身体の状態が異常であることを示す。
クラウドサーバ30は、ユーザ端末20から取得した学習データに基づいて、予測データを導出し、予測データをユーザ端末20に提供するサーバである。クラウドサーバ30は、予測用データベースを生成し、生成した予測用データベースに基づいて予測データを導出する。本実施形態では、予測用データベースは、第1予測用データベース33a(正常時データベース)、第2予測用データベース33b(疾患時データベース)、及び第3予測用データベース33c(疾患時データベース)を含んでいる。
第1予測用データベース33aは、身体の状態が正常である場合のバイタル情報の推移の予測に係る予測用データベースである。第2予測用データベース33bは、ユーザUが身体の状態が異常であり特定の疾患に罹っている場合(具体的には、ユーザUがインフルエンザに罹っている場合)のバイタル情報の推移の予測に係る予測用データベースである。第3予測用データベース33cは、身体の状態が異常であり特定の疾患に罹っている場合(具体的には、ユーザUが肺炎に罹っている場合)のバイタル情報の推移の予測に係る予測用データベースである。
上述した第1予測用データベース33a、第2予測用データベース33b、及び第3予測用データベース33cが生成されることにより、クラウドサーバ30では、3つのパターンの予測データが導出される。1つ目の予測データは、第1予測用データベース33aから導出され、身体の状態が正常である場合に予測されるバイタル情報の推移を示す予測データ(以下、「正常予測データ」という)である。2つ目の予測データは、第2予測用データベース33bから導出され、身体の状態が異常である場合(具体的には、ユーザUがインフルエンザに罹っている場合)のバイタル情報の推移を示す予測データ(以下、「第1異常予測データ」という)である。3つ目の予測データは、第3予測用データベース33cから導出され、ユーザUが身体の状態が異常である場合(具体的には、ユーザUが肺炎に罹っている場合)のバイタル情報の推移を示す予測データ(以下、「第2異常予測データ」という)である。なお、クラウドサーバ30は、必ずしも上記3つの予測データを導出するものでなくてもよく、例えば第1予測用データベース33aのみを利用して上記正常予測データのみを導出するものであってもよい。以下では、クラウドサーバ30が上記3つの予測データを導出するとして説明する。
クラウドサーバ30は、ユーザ端末20からの情報の入力に応じた正常予測データ、第1異常予測データ、及び第2異常予測データを導出し、導出した各予測データをユーザ端末20に出力する。これにより、ユーザ端末20では、時系列データとの比較対象である複数の予測データが得られ、身体の状態の推定が可能となる。
クラウドサーバ30は、機能的な構成要素として、学習部31と、記憶部32と、予測部34と、を有している。学習部31は、学習データを複数パターン学習することにより予測用データベースを生成する。本実施形態では、学習部31は、上述した正常予測データ、第1異常予測データ、及び第2異常予測データを生成する。
まず、学習部31は、ウェアラブル端末10が計測した時系列データ、及びウェアラブル端末10から入力された問診情報をユーザ端末20から取得する。学習部31は、取得した時系列データ及び問診データを互いに対応付けて蓄積する。そして、学習部31は、蓄積した時系列データ及び問診情報に基づいて、大きく分けて2つのパターンの学習データを学習する。具体的には、学習部31は、正常学習データ及び、異常学習データを学習して、予測用データベースを生成する。
正常学習データは、時系列データと、身体の状態が正常であることを示す問診情報(以下、「正常を示す問診情報」という場合がある)とが対応付けられた学習データである。一例として、正常学習データは、時系列データに対応付けられた各問診情報がすべて正常を示す問診情報である学習データである。なお、正常学習データはこれに限られず、例えば、時系列データに対応付けられた各問診情報のうち半数以上が正常を示す問診情報である学習データであってもよい。
異常学習データは、時系列データと身体の状態が異常であることを示す問診情報(以下、「異常を示す問診情報」という場合がある)とが対応付けられた学習データである。本実施形態では、学習部31は、少なくとも2つのパターンの異常学習データを学習する。
1つ目の異常学習データは、ユーザUがインフルエンザに罹っている場合の時系列データと異常を示す問診情報とが対応付けられた学習データ(以下、「第1異常学習データ」という場合がある)である。具体的には、第1異常学習データは、時系列データに対応付けられた各問診情報のうち少なくとも時系列において後半にあたる問診情報が異常を示す問診情報である学習データをいう。これは、一般的に、ユーザUがインフルエンザに罹ると急激に体温が上昇することに起因して、体温の上昇が始まった時からユーザUが身体の異常を感じ始めると想定され、ユーザUによって入力される問診情報も正常を示す問診情報から異常を示す問診情報に切り替わると想定されるためである。なお、第1異常学習データはこれに限られず、ユーザUがインフルエンザに罹っている場合に入力されると想定される問診情報と時系列データとが対応付けられた学習データであればよい。
2つ目の異常学習データは、ユーザUが肺炎に罹っている場合の時系列データと異常を示す問診情報とが対応付けられた学習データ(以下、「第2異常学習データ」という場合がある)である。具体的には、第2異常学習データは、時系列データに対応付けられた各問診情報のうち80%以上が異常を示す問診情報である学習データをいう。これは、一般的に、ユーザUが肺炎に罹ると高熱が続くことに起因して、体温の上昇が始まった時からユーザUが身体の異常を感じ始めると想定され、ユーザUによって入力される問診情報のほとんどが異常を示す問診情報と想定されるためである。なお、第2異常学習データはこれに限られず、ユーザUが肺炎に罹っている場合に入力されると想定される問診情報と時系列データとが対応付けられた学習データであればよい。
図3、図4、及び図5に示される例では、学習部31は、図3に示される時系列データDaと問診情報Maとが対応付けられた学習データを正常学習データとして学習する。学習部31は、図4に示される時系列データDbと問診情報Mbとが対応付けられた学習データを第1異常学習データとして学習する。学習部31は、図4に示される時系列データDcと問診情報Mcとが対応付けられたデータを第2異常学習データとして学習する。なお、学習部31は、学習時において、学習しているデータがいずれの種別の学習データであるのかを認識できていなくてもよい。
学習部31は、上述した正常学習データ及び異常学習データの双方を学習することで、複数パターンの学習データを学習し、予測用データベース(すなわち、第1予測用データベース33a、第2予測用データベース33b、及び第3予測用データベース33c)を生成する。
ここで、学習部31による各予測用データベースの生成方法について、第1予測用データベース33aを例に挙げて説明する。まず、学習部31は、第1予測用データベース33aの生成のために、特徴抽出エンジン(図示せず)を生成する。特徴抽出エンジンは、アナログデータとして取得した時系列データの特徴を抽出し、抽出した特徴をバイナリデータに変換するエンジンである。一例として、特徴抽出エンジンは、時系列データの時間的な変化を特徴として抽出する。学習部31は、正常学習データに含まれる時系列データを、例えばディープラーニング(深層学習)によって学習することで、特徴抽出エンジンを自動生成する。
そして、学習部31は、蓄積された正常学習データを特徴抽出エンジンに入力することで、正常学習データに含まれる時系列データの特徴を抽出し、抽出した特徴をバイナリデータに変換する。そして、学習部31は、変換したバイナリデータを蓄積することで第1予測用データベース33aを生成する。学習部31は、第1予測用データベース33aと同様の方法によって、第2予測用データベース33b及び第3予測用データベース33cを生成する。学習部31は、生成した各特徴抽出エンジン、第1予測用データベース33a、第2予測用データベース33b、及び第3予測用データベース33cを記憶部32に出力する。なお、学習部31は、複数の種別の学習データから各予測用データベースを生成してもよい。すなわち、学習部31は、正常学習データだけではなく異常学習データも用いて第1予測用データベース33aを生成してもよいし、第1異常学習データだけではなく第2異常学習データ及び正常学習データも用いて第2予測用データベース33bを生成してもよいし、第2異常学習データだけではなく第1異常学習データ及び正常学習データも用いて第3予測用データベース33cを生成してもよい。
本実施形態では、学習部31は、各予測用データベースを生成した後、所定の条件を満たす場合において予測用データベースを更新する。
まず、学習部31は、ユーザ端末20によって身体の状態が異常であると推定された場合(詳細は後述)、第2時系列データと、定期的な問診情報及び追加問診情報(以下、単に「問診情報」という場合がある)とが対応付けられた学習データを更に学習することにより予測用データベースを更新する。第2時系列データは、推定フェーズにおいてユーザ端末20によって取得される時系列データである。追加問診情報は、上述した定期的な問診情報とは別の問診情報であって、身体の状態が異常であると推定された場合に、ウェアラブル端末10を介してユーザUから受け付ける異常時用の問診情報である。
学習部31は、例えば、時系列データと問診情報との関係に応じて、第1予測用データベース33a、第2予測用データベース33b、及び第3予測用データベース33cのいずれかについて学習データを新たに学習することによって当該いずれかの予測用データベースを更新してもよいし、第1予測用データベース33a、第2予測用データベース33b、及び第3予測用データベース33cとは異なる予測用データベースを新たに生成してもよい。学習部31は、例えば、ユーザ端末20によって、第2時系列データと既存の予測用データベースの情報に応じて導出される予測データとの差異が大きいと推定された場合(詳細は後述)、第2時系列データと問診情報とが対応付けられた学習データを学習することにより、新たな異常状態である場合のバイタル情報の推移予測に係る新異常時データベースを生成してもよい(詳細は後述)。また、学習部31は、ユーザ端末20によって身体の状態が異常であると推定された場合であっても、各問診情報が身体の状態が正常である旨を示す場合、当該問診情報と第2時系列データが対応付けられた学習データを身体の状態が正常である場合の学習データとして学習してもよい。
このように、本実施形態では、学習部31は、予測用データベースを生成した後も、ユーザ端末20によって身体の状態が異常であると推定された場合の第2時系列データと問診情報とが対応付けられた学習データを新たに学習することによって、予測用データベースを更新する。なお、学習部31は、生成した予測用データベースを更新しなくてもよい。
記憶部32は、学習部31によって生成された特徴抽出エンジン及び予測用データベースを記憶する。記憶部32は、任意の期間におけるユーザのバイタル情報の時系列データと、ユーザに問診することにより得られる上記期間におけるユーザの身体の状態に関する問診情報とが対応付けられた学習データが複数パターン学習されて生成された(学習部31によって学習された)、バイタル情報の推移の予測に係る予測用データベースを記憶する。記憶部32は、予測用データベースの一部として、身体の状態が正常である場合のバイタル情報の推移の予測に係る第1予測用データベース33a(正常時データベース)を記憶している。また、記憶部32は、予測用データベースの一部として、身体の状態が異常であり特定の疾患に罹っている場合のバイタル情報の推移の予測に係る疾患時データベースを記憶しており、具体的には、第2予測用データベース33b及び第3予測用データベース33cを記憶している。記憶部32は、第1予測用データベース33a、第2予測用データベース33b、及び第3予測用データベース33cのそれぞれに対応する特徴抽出エンジンを記憶している。記憶部32によって特徴抽出エンジン及び予測用データベースが記憶されることで、以下に述べる予測データの導出が可能な状態となる。すなわち、学習部31及び記憶部32によって実行される処理によって、上述した予測フェーズを実行する準備が完了する。
予測部34は、後述するユーザ端末20の推定部23と共に、身体状態推定システム1の「推定部」として機能する。予測部34は、記憶部32に記憶されている第1予測用データベース33a、第2予測用データベース33b、第3予測用データベース33c、及び各予測用データベースに対応する特徴抽出エンジンを用いて、正常予測データ、第1異常予測データ、及び第2異常予測データを導出する。予測部34は、ウェアラブル端末10によって測定された時系列データを入力として、予測用データベースに基づき予測データを導出する。予測部34は、さらに、ウェアラブル端末10においてユーザUから受け付けられた問診情報を入力として、予測用データベースに基づき予測データを導出してもよい。予測用データベースは時系列データ及び問診情報が学習されることにより生成されているため、時系列データに加えて問診情報も予測データ導出のための入力とされることにより、予測データの導出精度を向上させることができる。以下では、時系列データのみを入力として予測データを導出する例(正常予測データを導出する例)を説明する。
まず、予測部34は、ウェアラブル端末10によって測定された時系列データをユーザ端末20から取得する。ここでいう時系列データは、予測フェーズ及び推定フェーズのうち予測フェーズにおいて取得される時系列データである。以下、当該時系列データを「第1時系列データ」という場合がある。続いて、予測部34は、第1予測用データベース33aに対応する特徴抽出エンジンに第1時系列データを入力して、第1時系列データをバイナリデータに変換する。そして、予測部34は、変換したバイナリデータ及び第1予測用データベース33aのデータに基づいて、正常予測データを導出する。予測部34は、例えば、変換したバイナリデータに類似する部分を有するバイナリデータを第1予測用データベース33a内において検索する。そして、予測部34は、当該類似する部分を有するバイナリデータを正常予測データとして導出する。
例えば、第1時系列データが、24時間程度の期間のバイタル情報のデータである場合、予測部34は、第1予測用データベース33a内の各バイナリデータのうち、24時間のデータが第1時系列データに類似するバイナリデータを検索し、当該バイナリデータに連続する所定期間のデータを含んだデータ(類似するバイナリデータ及び該バイナリデータに連続するバイナリデータ)を予測データとして導出する。図2に示される例では、時系列データD1が第1時系列データであって、予測データFが該第1時系列データに基づき予測部34によって導出された予測データ(正常予測データ)である。
予測部34は、正常予測データと同様に、第1異常予測データ及び第2異常予測データを導出する。予測部34は、導出した正常予測データ、第1異常予測データ、及び第2異常予測データをユーザ端末20に出力する。なお、予測用データベースの構成は本実施形態に限られない。例えば、学習部31は、1つの予測用データベースを生成し、予測部34は、1つの予測用データベースから各予測データを導出してもよい。
ユーザ端末20は、バイタル情報の時系列データ、及びユーザUからの問診情報をウェアラブル端末10から取得し、取得した時系列データ及び問診情報をクラウドサーバ30に出力する。ユーザ端末20は、ウェアラブル端末10から取得した時系列データと、クラウドサーバ30から取得した各予測データとを比較することにより、身体の状態を推定する。また、ユーザ端末20は、身体の状態の推定結果等、種々の情報をユーザ端末20の画面上に表示する。ユーザ端末20は、機能的な構成要素として、入力受付部21と、取得部22と、推定部23と、出力部24と、を有している。
入力受付部21は、ユーザUから問診情報の入力を定期的に受け付ける。入力受付部21は、ウェアラブル端末10を介して、ユーザUから定期的な問診情報の入力を受け付ける。また、入力受付部21は、後述する推定部23によって身体の状態が異常であると推定された場合、定期的な問診情報の入力の受付に加え、追加問診情報の入力を受け付ける。入力受付部21は、入力受付した問診情報及び追加問診情報を取得部22に出力する。
取得部22は、任意の期間の時系列データを取得する。取得部22は、少なくとも予測フェーズ及び推定フェーズのそれぞれにおいて時系列データを取得する。まず、取得部22は、予測フェーズにおいて第1時系列データを取得し、取得した第1時系列データをクラウドサーバ30に出力する。そして、出力部24は、時系列において予測フェーズから連続した推定フェーズにおいて第2時系列データを取得し、取得した第2時系列データを推定部23に出力する。取得部22は、入力受付部21より入力された問診情報を、対応する時系列データと共に推定部23に出力する。
推定部23は、取得部22によって取得された第2時系列データ(時系列データ)と、第1時系列データ(時系列データ)、及びクラウドサーバ30の記憶部32に記憶されている予測用データベースの情報に応じて導出される予測データとを比較することにより、身体の状態を推定する。まず、推定部23は、クラウドサーバ30から、正常予測データ、第1異常予測データ、及び第2異常予測データを取得する。
そして、推定部23は、第2時系列データと、第1予測用データベース33aから導出される正常予測データとの差異(第1差異)が予め定められた正常判定に係る閾値(第1閾値)よりも大きい場合に、身体の状態が異常であると推定する。推定部23は、例えば、第2時系列データと正常予測データとの類似度を算出し、算出した類似度を第2時系列データと正常予測データとの差異として上記正常判定に係る閾値と比較する。そして、推定部23は、類似度が上記正常判定に係る閾値以下である場合に身体の状態が正常であると推定し、類似度が上記正常判定に係る閾値よりも大きい場合に身体の状態が異常であると推定する。推定部23は、身体の状態が正常であると推定した場合、正常である推定結果を示す情報を出力部24に出力する。
一方、推定部23は、身体の状態が異常であると推定した場合、以下の推定を行う。すなわち、推定部23は、第2時系列データと、第2予測用データベース33bから導出される第1異常予測データとの差異(第2差異)が予め定められたインフルエンザの判定に係る閾値(第2閾値)よりも小さい場合に、ユーザUの身体の状態が異常であり、ユーザUがインフルエンザ(疾患)に罹っていると推定する。推定部23は、正常予測データの場合と同様に類似度を算出し、第2時系列データと第1異常予測データとの差異と上記インフルエンザの判定に係る閾値とを比較する。そして、推定部23は、類似度が上記インフルエンザの判定に係る閾値よりも小さい場合にユーザUがインフルエンザに罹っていると推定する。
一方、推定部23は、類似度が上記インフルエンザの判定に係る閾値よりも大きい場合、以下の推定を行う。すなわち、推定部23は、第2時系列データと、第3予測用データベース33cから導出される第2異常予測データとの差異(第2差異)が予め定められた肺炎の判定に係る閾値(第2閾値)よりも小さい場合に、ユーザUの身体の状態が異常であり、ユーザUが肺炎(疾患)に罹っていると推定する。推定部23は、正常予測データの場合と同様に類似度を算出し、第2時系列データと第2異常予測データとの差異と上記肺炎の判定に係る閾値とを比較する。そして、推定部23は、類似度が上記肺炎の判定に係る閾値以下よりも小さい場合にユーザUが肺炎に罹っていると推定する。
推定部23は、ユーザUがインフルエンザに罹っていると推定した場合、異常である推定結果を示す情報、及び疾患(インフルエンザ)を示す情報である疾患情報を出力部24に出力する。推定部23は、ユーザUが肺炎に罹っていると推定した場合、異常である推定結果を示す情報、及び疾患(肺炎)を示す情報である疾患情報を出力部24に出力する。また、推定部23は、第1予測用データベース33aから導出される正常予測データとの差異が予め定められた正常判定に係る閾値よりも大きく、第2予測用データベース33bから導出される第1異常予測データとの差異が予め定められたインフルエンザの判定に係る閾値よりも小さくなく、第3予測用データベース33cから導出される第2異常予測データとの差異が予め定められた肺炎の判定に係る閾値よりも小さくない場合に、ユーザがインフルエンザ及び肺炎とは異なる異常状態である(別の疾患である)と推定する。この場合、推定部23は、第2時系列データと問診情報とが対応付けられた学習データをクラウドサーバ30に出力する。そして、クラウドサーバ30の学習部31が、当該学習データを身体の状態が異常である場合の新たな学習データのパターンとして学習することにより、ユーザがインフルエンザ及び肺炎とは異なる異常状態である(別の疾患である)場合のバイタル情報の推移の予測に係る新異常時データベース(図示せず)を生成する。クラウドサーバ30の記憶部32は、予測用データベースの一部として、当該新異常時データベースを記憶する。
図2に示される例では、第2時系列データである時系列データD2と、正常予測データである予測データFとの差異が予め定められた閾値よりも大きい。したがって、推定部23は、身体の状態が異常であると推定する。また、図2に示される例では、時系列データD2と第1異常予測データ(図示せず)との差異が予め定められた閾値よりも小さい。したがって、推定部23は、ユーザUがインフルエンザに罹っていると推定する。この場合、入力受付部21は、定期的な問診情報M1の入力に加え、追加問診情報M2の入力を受け付ける。
出力部24は、推定部23から取得した推定結果及び疾患情報をユーザUの閲覧のために出力する。また、出力部24は、入力受付部21が問診情報の入力を受け付ける状態において、問診情報の入力を促す情報をユーザUの閲覧のために出力する。具体的には、上述したように、入力受付部21は、定期的な問診情報に加え、推定部23によって身体の状態が異常であると推定された場合、追加問診情報を受け付ける。出力部24は、入力受付部21が定期的な問診情報及び追加問診情報を受け付ける度に、問診情報の入力を促す情報をユーザUの閲覧のために出力する。
次に、本実施形態に係る身体状態推定システム1が行う身体状態推定方法について、図6、図7、及び図8を参照して説明する。図6は、身体状態推定システム1が行う身体状態推定方法に含まれる予測用データベース生成処理の一例を示すフローチャートである。図7は、身体状態推定システム1が行う身体状態推定方法に含まれる問診処理の一例を示すフローチャートである。図8は、身体状態推定システム1が行う身体状態推定方法に含まれる身体状態推定処理の一例を示すフローチャートである。身体状態推定システム1は、図6に示される予測用データベース生成処理を、例えば、学習に必要な学習データが蓄積されたタイミングで行う。
図6に示されるように、身体状態推定システム1では、まず、ユーザ端末20が、ユーザUの体調を問い合わせる(ステップS11)。具体的には、ユーザ端末20は、ウェアラブル端末10のアラームを鳴らしてユーザUに問診情報を入力するよう報知する。そして、ユーザ端末20は、ウェアラブル端末10の画面上にユーザUの体調を問い合わせる情報(問診情報)が表示されるようにウェアラブル端末10と通信を行う。
図7には、ユーザ端末20がユーザUの体調を問い合わせる問診処理の一例が示されている。ユーザ端末20は、図7に示される問診処理を定期的に行う。ユーザ端末20は、ユーザUに問い合わせる各情報をウェアラブル端末10の画面上に表示させることにより、ユーザUに対して体調を問い合わせ、ユーザUからの回答を入力受付する。まず、ユーザ端末20は、ユーザUの現在の体調に違和感があるか否かを問い合わせる(ステップS21)。ユーザUの現在の体調に違和感がない旨がユーザUから入力受付された場合(ステップS21:NO)、ユーザ端末20は、処理を終了する。
一方、ユーザUの現在の体調に違和感がある旨がユーザUから入力受付された場合(ステップS21:YES)、ユーザ端末20は、ユーザUの身体に痛みがあるか否かを問い合わせる(ステップS22)。ユーザUの身体に痛みがある旨がユーザUから入力受付された場合(ステップS22:YES)、ユーザ端末20は、痛みがある部分をユーザUに問い合わせることにより更に入力受付して(ステップS23)、処理を終了する。
一方、ユーザUの身体に痛みがない旨がユーザUから入力受付された場合(ステップS22:NO)、ユーザ端末20は、ユーザUの身体がだるいか否かを問い合わせる(ステップS24)。ユーザUの身体がだるい旨がユーザUから入力受付された場合(ステップS24:YES)、ユーザ端末20は、だるい部分をユーザUに問い合わせることにより更に入力受付して(ステップS25)、処理を終了する。一方、ユーザUの身体がだるくない旨がユーザUから入力受付された場合(ステップS24:NO)、ユーザ端末20は、ユーザUが感じる症状をユーザUに問い合わせることにより更に入力受付して(ステップS26)、処理を終了する。なお、問診情報は、身体の状態が正常であるか或いは異常であるかを把握できる情報であればよく、本実施形態とは異なる情報であってもよい。
図6に戻り、ユーザ端末20が、ウェアラブル端末10から第1時系列データ及び問診情報を取得する(ステップS12)。ユーザ端末20は、取得した第1時系列データ及び問診情報をクラウドサーバ30に出力する。
つづいて、クラウドサーバ30が、第1時系列データと問診情報とが対応付けられた各学習データの特徴を抽出する(ステップS13)。具体的には、クラウドサーバ30は、正常学習データ、第1異常学習データ、及び第2異常学習データのそれぞれを学習させることにより各学習データに対応する特徴抽出エンジンを生成し、生成した各特徴抽出エンジンを用いて正常学習データ、第1異常学習データ、及び第2異常学習データのそれぞれの特徴を抽出する。
つづいて、クラウドサーバ30が、ステップS13で抽出された第1異常学習データ、及び第2異常学習データのそれぞれの特徴をバイナリデータに変換し、予測用データベースを生成する(ステップS14)。具体的には、クラウドサーバ30は、第1予測用データベース33a、第2予測用データベース33b、及び第3予測用データベース33cを生成する。つづいて、クラウドサーバ30は、生成した予測用データベースを記憶する(ステップS15)。
身体状態推定システム1は、図8に示される身体状態推定処理を、例えば一定の時間間隔で実行する。図8に示されるように、身体状態推定システム1では、まず、ユーザ端末20が、ウェアラブル端末10から第2時系列データを取得する(ステップS101)。
つづいて、クラウドサーバ30が、第1予測用データベース33a、第2予測用データベース33b、及び第3予測用データベース33c、及び各予測用データベースに対応する特徴抽出エンジンを用いて、正常予測データ、第1異常予測データ、及び第2異常予測データを導出する(ステップS102)。クラウドサーバ30は、導出した各予測データをユーザ端末20に出力する。
続いて、ユーザ端末20が、第2時系列データと正常予測データとを比較し、第2時系列データと正常予測データとの差異が閾値よりも大きいか否かを判定する(ステップS103)。第2時系列データと正常予測データとの差異が閾値よりも大きくないと判定した場合(ステップS103:NO)、ユーザ端末20は、身体の状態が正常であると推定し(ステップS104)、処理がS112に移行する。
一方、第2時系列データと正常予測データとの差異が閾値よりも大きいと判定した場合(ステップS103:YES)、ユーザ端末20は、第2時系列データと第1異常予測データとの差異が閾値よりも小さいか否かを判定する(ステップS105)。第2時系列データと第1異常予測データとの差異が閾値よりも小さいと判定した場合(ステップS105:YES)、ユーザ端末20は、身体の状態が異常且つユーザUがインフルエンザに罹っていると推定し(ステップS106)、処理がS110に移行する。
一方、第2時系列データと第1異常予測データとの差異が閾値よりも小さくないと判定した場合(ステップS105:NO)、ユーザ端末20は、第2時系列データと第2異常予測データとの差異が閾値よりも小さいか否かを判定する(ステップS107)。第2時系列データと第2異常予測データとの差異が閾値よりも小さいと判定した場合(ステップS107:YES)、ユーザ端末20は、身体の状態が異常且つユーザUが肺炎に罹っていると推定し(ステップS108)、処理がS110に移行する。
一方、第2時系列データと第2異常予測データとの差異が閾値よりも小さくないと判定した場合(ステップS107:NO)、ユーザ端末20は、身体の状態が異常且つユーザUが別の疾患(すなわち、インフルエンザ及び肺炎とは異なる疾患)に罹っていると推定する(ステップS109)。
つづいて、ユーザ端末20は、追加問診情報をユーザUから入力受付する(ステップS110)。これにより、追加問診情報の入力を促す情報がウェアラブル端末10の画面上に表示される。なお、追加問診情報は、例えば、図7に示される内容と同様の内容である。つづいて、ユーザ端末20は、第2時系列データと、追加問診情報を含む問診情報とが対応付けられた新たな学習データをクラウドサーバ30に出力する。
つづいて、クラウドサーバ30が、新たな学習データを学習する(ステップS111)。そして、新異常時予測用データベースが生成されて記憶部32に記憶される。つづいて、ユーザ端末20が、推定結果、及びユーザUがインフルエンザ又は肺炎に罹っていると推定された場合は疾患情報を、ユーザ端末20の画面上に表示する(ステップS112)。
次に、本実施形態に係る身体状態推定システム1の作用効果を説明する。
身体状態推定システム1では、第1時系列データと、ユーザUに問診することにより得られる期間におけるユーザUの身体の状態に関する問診情報とが対応付けられた学習データが複数パターン学習されて生成された、バイタル情報の推移の予測に係る予測用データベースが記憶されている。そして、第2時系列データと、第1時系列データ、及び予測用データベースの情報に応じて導出されるバイタル情報の推移の予測データとが比較されることにより、身体の状態が推定され、推定された推定結果がユーザUの閲覧のために出力される。このように、身体状態推定システム1では、バイタル情報の推移の予測データの導出に、第1時系列データと、ユーザU自身が感じているユーザUの身体の状態を示す問診情報とが対応付けられた学習データが複数パターン学習されて生成された予測用データベースが用いられる。このような予測用データベースは、ユーザU自身が身体の状態についてどのように感じていたかの情報を考慮して学習されて生成されているため、単にバイタル情報の時系列データのみが学習されて生成されたデータベースと比較して、ユーザUのバイタル情報の推移の予測データを高精度に導出することができる。そして、身体状態推定システム1では、予測用データベースを用いて導出された高精度な当該予測データと、ユーザUの実際のバイタル情報の時系列データ(第2時系列データ)とが比較されて身体の状態が推定されるため、ユーザUの身体の状態を高精度に推定することができる。
記憶部32は、学習部31によって生成された予測用データベースを記憶する。これにより、予測用データベースの生成からユーザUの身体の状態の推定までを一貫して行うことができる身体状態推定システム1を提供することができる。
学習部31は、バイタル情報の時系列データと身体の状態が正常であることを示す問診情報とが対応付けられた正常学習データ、及び、バイタル情報の時系列データと身体の状態が異常であることを示す問診情報とが対応付けられた異常学習データの双方を学習して、予測用データベースを生成する。これにより、ユーザUが身体の状態を正常と感じる際のバイタル情報、及びユーザUが身体の状態を異常と感じる際のバイタル情報の双方が考慮されて予測用データベースが構築されることとなり、より高精度な予測データを導出することができる。
記憶部32は、予測用データベースの一部として、身体の状態が正常である場合のバイタル情報の推移の予測に係る第1予測用データベース(正常時データベース)を記憶しており、推定部23は、取得部22によって取得された第2時系列データと、第1時系列データ、及び記憶部32に記憶されている正常時データベースの情報に応じて導出される正常予測データとの差異である第1差異が予め定められた第1閾値よりも大きい場合に、身体の状態が異常であると推定する。
一般的に、身体の状態が正常である場合のバイタル情報の推移は、24時間程度の周期で所定のパターンとなりやすく、身体の状態が異常となった場合のバイタル情報の推移は、当該パターンから乖離するといえる。身体状態推定システム1によれば、身体の状態が正常である場合の正常予測データと、取得された第2時系列データとが比較されて身体の状態が推定されるため、身体の状態の異常の有無を高精度に推定することができる。また、簡易な比較処理によって身体の状態の変化を速やかに推定することができるため、身体の状態の異常をユーザUに速やかに報知することができる。
記憶部32は、予測用データベースの一部として、身体の状態が異常であり特定の疾患に罹っている場合のバイタル情報の推移の予測に係る第2予測用データベース及び第3予測用データベース(疾患時データベース)を記憶しており、推定部23は、取得部22によって取得された第2時系列データと、第1時系列データ、及び記憶部32に記憶されている疾患時データベースの情報に応じて導出される、当該疾患に罹っている場合のバイタル情報の推移の予測データとの差異である第2差異が予め定められた第2閾値よりも小さい場合に、ユーザUの身体の状態が異常であり、当該疾患に罹っていると推定し、出力部24は、当該疾患を示す疾患情報をユーザUの閲覧のために更に出力する。
一般的に、ユーザUが所定の疾患に罹った場合、バイタル情報の推移は当該疾患特有のパターンとなりやすいといえる。身体状態推定システム1によれば、実際にユーザUが当該疾患に罹った際のバイタル情報が用いられて構築された予測用データベースに応じて身体の状態が異常である場合の予測データが導出されるため、ユーザUが当該疾患に罹っているか否かを高精度に推定することができる。また、ユーザUの身体の状態が異常であることのみならず、具体的な疾患名をユーザUに報知することができるため、ユーザUに適切な対処を促すことが可能である。
推定部23は、第1差異が第1閾値よりも大きく、且つ、第2差異が第2閾値よりも小さくない場合に、ユーザUが疾患とは異なる異常状態であると推定し、学習部31は、推定部23によって疾患とは異なる異常状態であると推定された場合において、取得部22によって取得されたバイタル情報の時系列データと問診情報とが対応付けられた学習データを学習することにより、ユーザUが疾患とは異なる異常状態である場合のバイタル情報の推移の予測に係る新異常時データベースを生成し、記憶部32は、予測用データベースの一部として、新異常時データベースを記憶する。このように、既存のデータベースに基づく予測データとは異なった推移となる時系列データについて学習されて新たなデータベースが記憶されることにより、導出される予測データの精度の向上を図ることができ、ユーザUの身体の状態の推定精度の更なる向上を図ることができる。
出力部24は、入力受付部21が問診情報の入力を受け付ける状態において、問診情報の入力を促す情報をユーザUの閲覧のために更に出力し、入力受付部21は、推定部23によって身体の状態が異常であると推定された場合、定期的な問診情報の入力の受付に加え、追加問診情報の入力を受け付ける。これにより、異常であると推定された場合の問診情報を適切に取得すると共に、異常であると推定された場合に体調の変化をユーザUに適切に自覚させることができる。
学習部31は、推定部23によって身体の状態が異常であると推定された場合、取得部22によって取得された第2時系列データと、入力受付部21によって受け付けられた追加問診情報とが対応付けられた学習データを更に学習することにより予測用データベースを更新する。これにより、異常であると推定された場合のバイタル情報の時系列データと、推定された際のユーザUが実際に感じている身体の状態とを把握することができる。例えば、異常であると推定されたとしても実際にユーザUは正常と感じている場合には、取得された時系列データと問診情報とが対応付けられた学習データを身体の状態が正常である場合のものとして学習させることにより、推定に対する結果を予測用データベースにフィードバックすることができる。その結果、導出される予測データの精度の更なる向上を図ることができる。
入力受付部21は、ユーザUが装着するウェアラブル端末10を介して、ユーザUから問診情報の入力を受け付ける。これにより、ユーザUが容易に問診情報を入力することが可能となるため、問診情報を時系列データに適切に対応付けることができる。
予測部34は、取得部22によって取得された時系列データ、及び入力受付部21によって受け付けられた問診情報を入力として、予測用データベースに基づき予測データを導出してもよい。バイタル情報の時系列データ及び問診情報が対応付けられた学習データが学習されることにより予測用データベースが生成されているところ、予測用データベースを用いた予測データの導出においても、バイタル情報の時系列データ及び問診情報が入力とされることにより、予測データを高精度に導出することができる。これにより、ユーザの身体の状態をより高精度に推定することができる。
本発明は、上述した実施形態に限定されない。例えば、本実施形態では、身体状態推定システム1が、ウェアラブル端末10、ユーザ端末20、及びクラウドサーバ30を含んで構成されているとして説明した。しかしながら、身体状態推定システム1の構成はこれに限定されず、例えば、身体状態推定システム1の各機能は、ユーザ端末20のみによって実現されてもよい。
また、上記実施形態では、ユーザ端末20が、入力受付部21、取得部22、推定部23、及び出力部24を有し、クラウドサーバ30が、学習部31、記憶部32、及び予測部34を有している構成を例示した。しかしながら、身体状態推定システム1では、例えば、クラウドサーバ30が有する機能的構成要素の一部をユーザ端末20が備えていてもよく、また、ユーザ端末20が有する機能的構成要素の一部をクラウドサーバ30が備えていてもよい。また、他のサーバが上述した各機能的構成要素の一部あるいは全部を備えていてもよい。また、ユーザ端末20は、入力受付部21を有していなくてもよく、クラウドサーバ30は、学習部31を有していなくてもよい。
本実施形態では、予測部34は、第1予測用データベース33a、第2予測用データベース33b、及び第3予測用データベース33cに記憶され且つ第1時系列データと類似する部分を有するバイナリデータを各予測データとして導出したが、各予測データの導出方法はこれに限定されない。例えば、予測部34は、予測用データベースとして、時系列データを入力することにより予測データを出力する学習モデルデータを生成してもよい。
推定部23は、正常予測データ、第1異常予測データ、及び第2予測データのすべてを第2時系列データの比較対象としなくてもよい。推定部23は、例えば正常予測データと第2時系列データとを比較して、身体の状態が正常であるか或いは異常であるかのみを推定してもよい。
出力部24は、推定部23によって身体の状態が異常であると推定されたにもかかわらず、追加問診情報が身体の状態が正常である旨を示す場合、身体の状態が異常の初期段階である旨を示す情報をユーザUの閲覧のために更に出力してもよい。これにより、ウェアラブル端末10の画面上に身体の状態が異常の初期段階である旨が表示される。例えば、発熱が始まっていないインフルエンザの罹り始めにおいては、ユーザUがインフルエンザに罹っていることを自覚できていない場合が想定される。本変形例によれば、ユーザUが体調の変化を感じていない(疾患の自覚症状がない)状態であっても、ウェアラブル端末10の画面を介して身体の状態が異常の初期段階である旨をユーザUに報知することができるため、ユーザUに適切な対処を促すことができる。
入力受付部21は、追加問診情報の入力を受け付けなくてもよい。その場合、推定部は、身体の状態が異常であると推定した場合、第2時系列データと定期的な問診情報のみとが対応付けられた学習データをクラウドサーバ30に出力してもよい。
また、上述した身体状態推定システム1の各処理のフローチャート(図6~図8)に示した各処理は、適宜省略されてもよい。また、各処理の順序は、適宜入れ替えられてもよい。