JP7507984B1 - 体調検出装置、体調検出システム、体調検出方法、及び体調検出プログラム - Google Patents

体調検出装置、体調検出システム、体調検出方法、及び体調検出プログラム Download PDF

Info

Publication number
JP7507984B1
JP7507984B1 JP2023553731A JP2023553731A JP7507984B1 JP 7507984 B1 JP7507984 B1 JP 7507984B1 JP 2023553731 A JP2023553731 A JP 2023553731A JP 2023553731 A JP2023553731 A JP 2023553731A JP 7507984 B1 JP7507984 B1 JP 7507984B1
Authority
JP
Japan
Prior art keywords
beat
physical condition
model
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023553731A
Other languages
English (en)
Inventor
健瑠 白神
隼也 大澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP7507984B1 publication Critical patent/JP7507984B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

体調検出装置(1)は、検査対象のユーザである被験者の体調の変化を判定する装置であって、1人以上のユーザの各々の拍動間隔の基準をユーザ毎に基準拍動モデル(G)として構築する基準拍動モデル構築部(22)と、基準拍動モデル(G)から被験者の基準拍動モデルを選択し、選択された基準拍動モデル(G)から被験者の拍動間隔を示す基準値(H)を生成する基準拍動算出部(24)と、センサ(103)によって検出された被験者に関する情報である時系列の拍動情報(A1)を受け取り、時系列の拍動情報(A1)からリアルタイムの拍動間隔(C)の特徴量を抽出し、基準値(H)を用いて特徴量を正規化することで特徴量を是正して、リアルタイムの是正特徴量(E)を生成する正規化特徴抽出部(13)と、リアルタイムの是正特徴量(E)に基づいて被験者の体調の変化を判定する体調判定部(14)とを有する。

Description

本開示は、体調検出装置、体調検出システム、体調検出方法、及び体調検出プログラムに関する。
心拍又は脈拍などとして計測できる心臓の拍動の間隔(すなわち、拍動間隔)に関する情報を利用して、不整脈を始めとした体調の変化を検出する装置が提案されている。拍動間隔のみを入力とする装置は、心電図計で得られる心電図情報を用いる装置に比べて、処理するデータ量が少ない及び計測負荷が小さい、といったメリットがある。また、拍動間隔のみを入力とする装置は、被験者であるユーザに非接触なセンサでセンシングされた拍動間隔又はユーザが身に着けたウェアラブルデバイスで計測された拍動間隔を用いて、体調の変化を検出することができる、といったメリットがある。
例えば、特許文献1は、ユーザの安静時に計測された拍動情報から心拍数の代表値を算出することで安静時心拍数を同定し、安静時心拍数とリアルタイムで観測された心拍数とを用いて算出される特徴量を用いて、ユーザの状態を算出する技術を開示している。
また、特許文献2は、システム運用時とは別に計測された心電図とウェアラブルPPG(PhotoPlethysmoGraphy)センサから得られる拍動間隔を含む心臓活動情報とを用いて、心房細動を検出する技術を開示している。
特開2020-92804号公報 特表2020-506770号公報
特許文献1に開示された技術は、拍動間隔に生じる個人差を是正するための情報として、安静時心拍数の中央値を使用している。しかし、同一のユーザを想定した場合であっても、心拍数には分散が生じるため、単一のスカラ情報である安静時心拍数の中央値を基準値として扱う場合には、ユーザ毎の基準となる拍動間隔を正しく捉えることができない可能性がある。このため、特許文献1に開示された技術は、体調の変化(例えば、体調の急変すなわち体調の急な悪化)を検出する方式としては正確性が不十分である。
特許文献2に開示された技術は、事前に計測された個人毎に収集された心電図と拍動間隔を含む心臓活動情報とを利用して、リアルタイムで得られた心臓活動情報を是正することで、心臓活動の個人差に対応した心房細動の検出を実現している。しかし、特許文献2に開示された技術は、心電図計で計測された心電図の使用が前提となっており、ウェアラブルセンサなどで得られる拍動間隔から体調の変化(例えば、体調の急変すなわち体調の急な悪化)を検出することができない。
そこで、本開示は、拍動間隔を用いてユーザの体調の変化を的確に検出することを可能にする体調検出装置、体調検出システム、体調検出方法、及び体調検出プログラムを提供することを目的とする。
本開示の体調検出装置は、ユーザ識別情報によって特定される検査対象のユーザである被験者の体調の変化を判定する体調検出装置であって、1人以上のユーザの各々の脈波から、波形に適切なピークが認められ、かつ該波形から得られる拍動間隔が人間の取りうる範囲である脈波を選択し、該選択した脈波に基づいて拍動間隔の基準、前記拍動間隔から得られる特徴量の基準、並びに前記拍動間隔及び前記特徴量の各々の基準、のいずれかをユーザ毎に基準拍動モデルとして構築する基準拍動モデル構築部と、前記基準拍動モデルから前記被験者の基準拍動モデルを選択し、選択された前記基準拍動モデルから前記被験者の拍動間隔の基準値、前記拍動間隔から得られる特徴量の基準値、並びに前記拍動間隔及び前記特徴量の各々の基準値、のいずれかを生成する基準拍動算出部と、センサによって検出された前記被験者に関する情報である時系列の拍動情報を受け取り、前記時系列の拍動情報からリアルタイムの拍動間隔の特徴量を抽出し、前記基準値を用いて前記特徴量を正規化することで前記特徴量を是正して、リアルタイムの是正特徴量を生成する正規化特徴抽出部と、リアルタイムの前記是正特徴量に基づいて前記被験者の前記体調の変化を判定する体調判定部と、前記体調判定部による体調判定結果に基づいて、前記基準拍動モデルの更新をするか否かを決定する更新判定部と、前記更新をすると判定された場合に、リアルタイムで基準拍動モデルを更新する基準拍動モデル更新部と、を有することを特徴とする
本開示の体調検出方法は、ユーザ識別情報によって特定される検査対象のユーザである被験者の体調の変化を判定する体調検出装置によって実施される体調検出方法であって、1人以上のユーザの各々の脈波から、波形に適切なピークが認められ、かつ該波形から得られる拍動間隔が人間の取りうる範囲である脈波を選択し、該選択した脈波に基づいて拍動間隔の基準、前記拍動間隔から得られる特徴量の基準、並びに前記拍動間隔及び前記特徴量の各々の基準、のいずれかをユーザ毎に基準拍動モデルとして構築するステップと、前記基準拍動モデルから前記被験者の基準拍動モデルを選択し、選択された前記基準拍動モデルから前記被験者の拍動間隔の基準値、前記拍動間隔から得られる特徴量の基準値、並びに前記拍動間隔及び前記特徴量の各々の基準値、のいずれかを生成するステップと、センサによって検出された前記被験者に関する情報である時系列の拍動情報を受け取り、前記時系列の拍動情報からリアルタイムの拍動間隔の特徴量を抽出し、前記基準値を用いて前記特徴量を正規化することで前記特徴量を是正して、リアルタイムの是正特徴量を生成するステップと、リアルタイムの前記是正特徴量に基づいて前記被験者の前記体調の変化を判定するステップと、前記被験者の前記体調の変化を判定するステップでの体調判定結果に基づいて、前記基準拍動モデルの更新をするか否かを決定するステップと、前記更新をすると判定された場合に、リアルタイムで基準拍動モデルを更新するステップと、を有することを特徴とする。
本開示によれば、拍動間隔を用いてユーザの体調の変化を的確に検出することができる。
実施の形態1に係る体調検出システムのハードウェア(HW)構成を示す図である。 実施の形態1に係る体調検出装置の機能構成を示すブロック図である。 実施の形態1に係る体調検出装置に入力されるセンサ情報の例を示す図である。 図2の基準拍動モデル管理部の基準拍動モデル構築部の機能構成を示すブロック図である。 心電図から算出される情報であるRR間隔の例を示す図である。 図2の基準拍動モデル管理部の基準拍動モデル構築部によって実行される処理フローの概略を示す図である。 図2の基準拍動モデル管理部の基準拍動モデル構築部によって実行される処理フローの詳細を示す図である。 図2の体調検出部の処理継続判定部の機能構成を示すブロック図である。 図2の体調検出部の正規化特徴抽出部の機能構成を示すブロック図である。 図2の体調検出部によって実行される処理フローの概略を示す図である。 図2の体調検出部によって実行される処理フローの詳細を示す図である。 実施の形態2に係る体調検出装置の機能構成を示すブロック図である。 図12の基準拍動モデル管理部の基準拍動モデル構築部によって実行される処理フローの詳細を示す図である。 図12の体調検出部の処理継続判定部及び状況判定部の機能構成を示すブロック図である。 図12の体調検出部によって実行される処理フローの概略を示す図である。 図12の体調検出部によって実行される処理フローの詳細を示す図である。 実施の形態3に係る体調検出装置の機能構成を示すブロック図である。 図17の体調検出部によって実行される処理フローの概略を示す図である。 図17の体調検出部によって実行される処理フローの詳細を示す図である。 実施の形態4に係る体調検出装置の機能構成を示すブロック図である。 図20の体調検出部によって実行される処理フローの概略を示す図である。 図20の体調検出部によって実行される処理フローの詳細を示す図である。
以下に、実施の形態に係る体調検出装置、体調検出システム、体調検出方法、及び体調検出プログラムを、図面を参照しながら説明する。以下の実施の形態1から4は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。
《1》実施の形態1
実施の形態1においては、拍動間隔の個人差が特徴量に与える影響を是正して得られた是正特徴量を用いて被験者であるユーザの体調の変化(例えば、体調の急変すなわち体調の急な悪化)を検出するための体調検出装置、体調検出システム、体調検出方法、及び体調検出プログラムを説明する。
《1-1》体調検出システム
図1は、実施の形態1に係る体調検出システムのHW構成を示す図である。実施の形態1に係る体調検出システムは、体調検出装置1と、センサ103とを有している。実施の形態1に係る体調検出システムは、入力装置104と、ストレージ105と、表示装置106とを有してもよい。図1のHW構成は例に過ぎず、実施の形態1に係る体調検出システムのHW構成は、図1の例に限定されない。
体調検出装置1は、実施の形態1に係る体調検出方法を実施することができる装置である。体調検出装置1は、例えば、コンピュータにより構成される。コンピュータは、センサ103と通信可能なコンピュータ(例えば、パーソナルコンピュータ、タブレット端末、スマートフォン、ネットワーク上のサーバコンピュータ、など)である。体調検出装置1は、記憶装置としてのメモリ102と、プログラムを実行するCPU(Central Processing Unit)などのプロセッサ101とを有している。プログラムは、実施の形態1に係る体調検出プログラムを含む。プログラムは、ネットワークを通じて提供されてもよく、或いは、光ディスク又は磁気ディスクなどの記録媒体に記録されて提供されてもよい。また、体調検出装置1は、GPU(Graphics Processing Unit)を有してもよい。また、体調検出装置1は、単一回路、複合回路、FPGA(Field Programmable Gate Array)などの処理回路で構成されてもよい。
センサ103は、拍動を取得する装置である。センサ103は、心拍又は脈拍を計測して拍動情報を出力する「拍動センサ」を含む。例えば、センサ103は、被験者であるユーザに装着可能なウェアラブル脈拍センサ、ウェアラブル心電図計、ユーザに非接触で心拍又は脈拍を計測可能な心拍センサ又は脈拍センサ、などのいずれかを含む。また、センサ103は、ユーザが取る行動を計測しユーザの行動を示す情報であるユーザ行動情報を出力する「行動センサ」を含んでもよい。例えば、センサ103は、行動センサとして、RGBカメラ、RGB-D(RGB-Depth)カメラ、赤外線カメラ、モーションセンサ、ジェスチャセンサ、などを含んでもよい。センサ103は、単体の装置であってもよいし、複数の装置の組み合わせであってもよい。また、センサ103は、ユーザ毎に別々の装置であってもよい。また、センサ103は、ユーザの置かれた状況を計測して環境情報を出力する環境センサを含んでもよい。
入力装置104は、キーボード、マウス、又はタッチパネル、などのような、ユーザからの入力を受け付けるための装置である。入力装置104は、音声による入力を受け付ける装置、又はジャスチャーによる入力を受け付ける装置、などであってもよい。
表示装置106は、情報提示装置の一例であり、例えば、体調検出装置1による体調判定結果Fをユーザに提示するディスプレイである。表示装置106は、HMD(Head Mounted Display)のシースルー型ディスプレイ、スマートフォンなどの小型端末のディスプレイ、又はカーナビのディスプレイ、などであってもよい。シースルー型ディスプレイは、プリズムなどを用いて実際の視界にデジタルコンテンツを重ねて表示する装置である。また、体調判定結果Fをユーザに提示する装置は、必ずしも表示装置に限定されず、音声出力、振動出力、ランプの点灯又は点滅、などのような他の種類の情報提示装置であってもよい。
ストレージ105は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)などの記憶装置である。ストレージ105には、プログラム、センサ103によって計測されたセンサデータ(例えば、拍動情報、ユーザ行動情報など)、及び体調検出装置1による処理結果、などが格納される。ストレージ105は、体調検出装置1の一部であってもよい。或いは、ストレージ105は、例えば、クラウドサーバなどの記憶領域で構成されてもよい。
《1-2》体調検出装置1
図2は、実施の形態1に係る体調検出装置1の機能構成を示すブロック図である。体調検出装置1は、被験者であるユーザ毎の基準情報(例えば、複数のユーザの基本情報)であるユーザ情報を取得し、ユーザ情報に基づいて基準拍動モデルGを算出するための基準拍動モデル管理部20と、センサ103から得られるユーザの拍動情報である拍動間隔とユーザを取り巻く環境を表す環境情報B0とユーザ識別情報であるユーザID(identifier)とを入力として、ユーザの体調の変化(例えば、体調の急変すなわち体調の急な悪化)を検出する体調検出部10とを有している。実施の形態1においては、環境情報B0の入力は、必ずしも必要ではない。基準拍動モデル管理部20は、ユーザ情報データベース(ユーザ情報DB)21と、基準拍動モデル構築部22と、基準拍動モデルデータベース(基準拍動モデルDB)23と、基準拍動算出部24とを有している。体調検出部10は、処理継続判定部11と、拍動間隔取得部12と、正規化特徴抽出部13と、体調判定部14とを有している。ユーザ情報DB21と基準拍動モデルDB23とは、例えば、ストレージ105(図1)に格納される。
体調検出装置1は、ユーザIDによって特定される検査対象のユーザである被験者の体調の変化を判定する装置であって、1人以上のユーザの各々の拍動間隔の基準をユーザ毎に基準拍動モデルGとして構築する基準拍動モデル構築部22と、基準拍動モデルGから被験者の基準拍動モデルを選択し、選択された基準拍動モデルGから被験者の拍動間隔を示す基準値Hを生成する基準拍動算出部24と、センサ103によって検出された被験者に関する情報である時系列の拍動情報としての心臓活動情報A1を受け取り、時系列の心臓活動情報A1からリアルタイムの拍動間隔Cの特徴量を抽出し、基準値Hを用いて特徴量を正規化することで特徴量を是正して、リアルタイムの是正特徴量Eを生成する正規化特徴抽出部13と、リアルタイムの是正特徴量Eに基づいて被験者の体調の変化を判定する体調判定部14と、を有することを特徴とする。
基準拍動モデル構築部22は、各ユーザの拍動間隔と各ユーザの置かれた状況との基準をユーザ毎に基準拍動モデルGとして構築し、基準拍動算出部24は、基準拍動モデルGから被験者の基準拍動モデルを選択し、選択された基準拍動モデルGから被験者の拍動間隔と被験者が置かれた状況を生成してもよい。
また、基準拍動モデル構築部22は、各ユーザの拍動間隔と各ユーザの行動を示すユーザ行動情報との基準をユーザ毎に基準拍動モデルGとして構築し、基準拍動算出部24は、基準拍動モデルGから被験者の基準拍動モデルを選択し、選択された基準拍動モデルGから被験者の拍動間隔と被験者の行動とを示す基準値Hを生成してもよい。
基準拍動モデル構築部22は、各ユーザの拍動間隔と各ユーザの置かれた状況と各ユーザの行動を示すユーザ行動情報との基準をユーザ毎に基準拍動モデルGとして構築し、基準拍動算出部24は、基準拍動モデルGから被験者の基準拍動モデルを選択し、選択された前記基準拍動モデルGから被験者の拍動間隔と被験者が置かれた状況と被験者の行動とを示す基準値Hを生成してもよい。
〈ユーザID〉
ユーザIDは、体調検出装置1を利用する被験者であるユーザを特定するための識別情報である。ユーザIDは、ユーザを特定する一意の値であれば、どのような形式のものであってもよい。ユーザIDは、例えば、ユーザ毎の基準拍動モデルGを構築する際、及び基準拍動モデルGから基準値Hを算出する際に利用される。
〈センサ情報A0〉
センサ情報A0は、センサ103から得られる情報である。センサ情報A0は、脈波又は心電図のような拍動間隔を取得可能な拍動情報である心臓活動情報A1を含む。また、センサ情報A0は、ユーザの行動を参照可能な情報である(すなわち、ユーザの行動を示す情報である)ユーザ行動情報A2を含んでもよい。ユーザ行動情報A2の例としては、ユーザが撮像された動画像データ、ユーザの体動を捉えるためのジェスチャ情報、ユーザの骨格情報、ユーザが撮影されたモーションキャプチャ情報、などがある。
図3は、実施の形態1に係る体調検出装置1に入力されるセンサ情報A0の例を示す図である。センサ情報A0は、時系列情報として与えられる。体調検出装置1に一度に入力されるデータ長は固定であり、このデータ長は、任意に設定可能である。例えば、データ長が60秒と設定された場合には、60秒間のセンサ情報A0が1回の入力として与えられる。また、センサ情報A0が体調検出装置1に入力される頻度は、任意に設定可能である。例えば、データ長を60秒間、入力頻度を5秒毎(つまり、5秒に1回)と設定とした場合には、図3に1回目、2回目、…、N回目として記載されているように、60秒間のセンサ情報が5秒毎に順次、体調検出装置1に入力される。
なお、データ長[秒]及び入力頻度[回/秒]は、センサ情報A0に含まれるデータの種類に応じて自動的に又はユーザの手動設定により、変更されてもよい。例えば、拍動間隔を算出するための拍動情報である心臓活動情報A1は、データ長を60秒、入力頻度を「1回/5秒」で入力されるように設定され、ユーザ行動情報A2(例えば、動画像情報)については、動画像のフレーム単位で入力されるように設定されてもよい。
〈環境情報B0〉
環境情報B0は、被験者であるユーザを取り巻く環境又は状況を示す情報である。つまり、環境情報B0は、ユーザが置かれた場所の状況を示す情報である。自動車内で体調検出装置1を使用する場合には、環境情報B0は、例えば、車内画像、自動車の位置を表すGPS(Global Positioning System)情報のようなGNSS(Global Navigation Satellite System/全球測位衛星システム)情報、又は自動車の運転状況を表すCAN(Controller Area Network)データ、などである。また、屋内の一室で体調検出装置1を使用する場合には、環境情報B0は、例えば、部屋の温度、部屋の湿度、又は部屋の温度と湿度の両方、などである。
〈体調判定結果F〉
体調検出装置1による体調判定結果Fは、体調検出装置1によって判定されたユーザの体調の変化(例えば、体調の急変すなわち体調の急な悪化)を示す結果である。体調判定結果Fは、例えば、“0”及び“1”のように体調の急変の有無を2値で表す値である。体調判定結果Fは、体調の急変が起きている確率を表す値として、0から1までの間の小数を含む値(例えば、連続的な値)であってもよい。例えば、体調判定結果Fは、センサ情報A0から算出される拍動間隔Cの1入力に対して1つの値が算出される。拍動間隔Cを算出するためのセンサ情報A0のデータ長が60秒、入力頻度が5秒毎と設定された場合には、体調検出装置1は、60秒間の拍動間隔データを受け取り、体調判定結果Fを5秒毎に出力する。
《1-3》基準拍動モデル管理部20
基準拍動モデル管理部20は、非体調急変時におけるユーザの拍動間隔に関する情報を生成、管理、取得するシステムである。非体調急変時とは、体調の急変が発生していないときである。非体調急変時は、非発作時又は平常時又は安静時ともいう。体調検出部10は、基準拍動モデル管理部20で算出される基準値Hを元に、拍動間隔から個人差を取り除いた特徴量を算出する。拍動間隔に関する情報は、例えば、拍動間隔の値そのもの(例えば、心拍数、脈拍数、心拍間隔、脈拍間隔、RRI、などの情報)、拍動間隔から得られる各種の指標(例えば、拍動間隔の平均値、標準偏差、などの特徴量)、などのような拍動間隔を示す情報である拍動間隔情報(すなわち、拍動間隔を示す値)である。RRIは、QRS波のRピークから次のQRS波のRピークまでの間隔、すなわち、RR間隔(RR_interval)である。QRS波は、心室の興奮時に現れる波形である。
基準拍動モデル管理部20は、事前に計測されたユーザ毎の拍動間隔などの情報が保存されたユーザ情報DB21を元に、ユーザ毎に基準拍動モデルGを構築し、基準拍動モデルGに関する情報を基準拍動モデルDB23に保存する。基準拍動算出部24は、基準拍動モデルDB23から体調検出部10を利用しているユーザに関する基準値Hを算出し、体調検出部10に基準値Hを渡す。
〈ユーザ情報DB21〉
ユーザ情報DB21は、体調検出装置1を利用するユーザ(例えば、体調検出装置1を利用する予定のある複数のユーザ)の非体調急変時における心臓活動情報A1(例えば、脈波、心電図などの心臓活動を示す拍動情報)が格納されたデータベースである。ユーザ情報DB21に格納される心臓活動を示す拍動情報は、心臓活動情報A1の代わりに又は心臓活動情報A1に加えて、心臓活動情報A1から得られる拍動間隔情報であってもよい。ユーザ情報DB21は、心臓活動を示す拍動情報(例えば、心臓活動情報A1又は心臓活動情報A1から得られる拍動間隔情報)を、ユーザIDと関連付けられた時系列情報として格納する。
また、ユーザ情報DB21は、拍動情報(例えば、心臓活動情報及び拍動間隔情報)だけではなく、それらの情報と同時に計測、記録された環境情報B0、又は拍動情報と同時に計測、記録されたユーザ行動情報A2を抽出可能なデータとして保存してもよい。ユーザ行動情報A2を抽出可能なデータの例としては、動画像データ、モーションセンサデータ、ジェスチャデータ、及び心臓活動情報A1以外の生体情報、などが挙げられる。通常は、ユーザ情報DB21に保存される情報は、ユーザが体調検出装置1による体調検出を行う前に計測されている情報である。また、ユーザ情報DB21に保存される情報は、体調検出装置1による体調検出を行う状況と同様の状況で計測されることが望ましい。自動車運転中に体調検出装置1による体調検出を利用することを想定した場合には、体調検出装置1による体調検出を利用する前に、自動車走行中のユーザ情報を収集しておくことが望ましい。また、ユーザ情報DB21に保存される情報は、ユーザのキャリブレーションという形で体調検出装置1の一部としてユーザ情報DB21に保管するデータを収集するような構成であってもよい。また、ユーザ情報DB21に保存される情報は、体調検出装置1による体調検出を利用する状況と同一の状況で計測されることが望ましい。ただし、ユーザ情報DB21に保存される情報は、必ずしも体調検出装置1による体調検出を利用する状況と同一の状況で収集される必要はなく、別の状況で計測された拍動情報であってもよい。
なお、ユーザ情報DB21に含まれる全ての情報は、ユーザIDと関連付けられ、ユーザIDにより情報の検索及び抽出が可能な形式で保存される。
また、本出願においては、拍動間隔に関連する拍動情報を「心臓活動情報」、心臓活動情報の計測環境を表す情報を「環境情報」、心臓活動情報を計測している際のユーザの行動に関連する情報を「ユーザ行動情報」と呼ぶ。
〈基準拍動モデル構築部22〉
図4は、図2の基準拍動モデル管理部20の基準拍動モデル構築部22の機能構成を示すブロック図である。基準拍動モデル構築部22は、ユーザ情報DB21に含まれる各種の情報を用いて、ユーザ毎の基準拍動モデルGを構築(すなわち、生成)する。基準拍動モデル構築部22は、ユーザ情報DB21に保存されたデータを基準拍動モデルGとして使用するか否かを判定するためのデータ検査部220と、ユーザ情報DB21に含まれる拍動情報(例えば、心臓活動情報A1u又は心臓活動情報A1uから算出される拍動間隔情報)からユーザ毎の基準拍動情報をモデル化した基準拍動モデルGを算出するためのモデル算出部226とを有している。
データ検査部220は、心臓活動を示す拍動情報(例えば、心臓活動情報A1u又は心臓活動情報A1uから算出される拍動間隔情報)の品質又は特性を検査するための心臓活動情報検査部221と、心臓活動情報A1uの計測時においてユーザが置かれた環境状況(例えば、環境情報B0u)を判定する状況判定部222と、心臓活動情報A1の計測時のユーザの行動(例えば、ユーザ行動情報A2u)を判定するユーザ行動判定部223と、上述した3つの検査及び判定の結果に基づいて心臓活動情報A1uを基準拍動モデルGの構築に使用するか否かを判定するデータ使用判定部224とを有している。
ユーザ情報DB21に保存されているユーザ情報を全て使用して基準拍動モデルGを算出する場合、データの品質に問題が生じていると、適切に基準拍動モデルGを構築できない可能性がある。例えば、ユーザの体動により拍動間隔が乱れているようなデータは、基準値Hとしては、適さないため除外することが望ましい。データ検査部220は、心臓活動情報A1u自体の品質、体動などによるユーザの行動、及びユーザの周りの環境を示す環境情報B0を考慮したデータの検査を行い、必要に応じて基準拍動モデルGの構築に使用するデータを選定することで、より適切にユーザの基準拍動モデルGを構築する(すなわち、モデリングする)ことを可能にする。
心臓活動情報検査部221は、まず心臓活動情報A1u自体のデータ品質を検査する。心臓活動情報検査部221は、心臓活動情報A1uとしての脈波を例とすると、脈波の波形から拍動間隔を取得することができるかどうか(例えば、波形に適切なピークが現れているかどうか)、脈波の波形から得られる拍動間隔が人間の取りうる範囲に収まっているかどうか、といった検査を行う。
心臓活動情報A1uの品質に問題がない(すなわち、心臓活動情報A1uが予め決められた条件を満たしている)と判定された場合、心臓活動情報検査部221は、入力された心臓活動情報A1uの特性について検査する。基準拍動モデルGは、ユーザの基準拍動を表現するモデルであるため、体調の急変を始めとする特異的な状態における心臓活動情報A1uを基準拍動モデルGの構築に使用しないようにするために、心臓活動情報A1uの特性についての検査工程が存在する。具体的には、心臓活動情報A1uから得られる各種の生体指標を元に、その生体指標が特異的な状態を示す特異値ではないかどうかを判定する。また、この検査工程において、心臓活動情報A1uの生信号を用いてもよいし、心臓活動情報A1uから得られる拍動間隔情報を用いて指標を算出してもよい。例えば、拍動間隔から得られるSDNN(RR間隔の標準偏差)、CVNN(すなわち、SDNN/meanNNであり、meanNNはRR間隔の平均である。)、RMSSD(隣り合ったRR間隔の差の二乗平均の平方根)、LF又はHFといった生体指標を算出して、それらの情報を元に入力データが特異的なものでないかどうかを判定する。ストレス指標であるHFは、高周波(Hi Frequency)の略語であり、3秒から4秒程度の周期を持つ呼吸を信号源とする変動波、又は、その周波数領域のパワースペクトルの合計量を指す。ストレス指標であるLFは、低周波(Low Frequency)の略語であり、メイヤー波と呼ばれる約10秒周期の血圧変化を信号源とする変動波、又は、その周波数領域のパワースペクトルの合計量を指す。
検出する対象となる体調急変における生体指標の変化が予め分かっている場合には、その情報を活用して検査工程における判定を行ってもよい。この検査工程は、人手で設定した閾値を用いて実施してもよいし、機械学習などの手法を用いて自動で判定してもよい。心臓活動情報検査部221は、これらの処理によりユーザ情報DB21に含まれる心臓活動情報A1uの品質と特性を検査することで、入力された心臓活動情報A1uを基準拍動モデルGの構築に使用するか否かを判定する。
状況判定部222は、ユーザ情報DB21に保存されている心臓活動情報A1uを計測した時点における外部状況を判定し、外部状況に応じて心臓活動情報A1uを基準拍動モデルGの構築に使用するか否かを判定する。外部状況の判定には、ユーザ情報DB21に保存された環境情報B0uを利用する。環境情報B0uは、心臓活動情報A1uと時系列で紐付けることが可能なものである。
自動車の車内で体調検出装置1を利用することを想定した場合、判定対象の外部状況の例としては、車両の走行状況がある。この走行状況の例としては、「被験者であるユーザが運転をしているかどうか」、「ユーザがバック駐車の運転操作中であるかどうか」、「車両が走行している道路が一般道か高速道のいずれであるか」、「車両が走行している道路の渋滞状況」、などである。判定対象の外部状況の例としては、車内環境がある。この車内環境の例としては、「車内の温度」、「車内の湿度」などが挙げられる。状況判定部222は、基準拍動モデルGの構築に使用するデータとして適切な状況で取得されたデータであるか否かを判定する。この処理により、例えば、被験者としての運転者の動作が大きくなることが想定される「バック駐車の運転操作中」に計測された心臓活動情報A1uを使用しない、ことが可能である。なお、この処理において状況を判定する方法は、上記の例の方法に限定されない。状況判定部222による判定は、環境情報B0uを元に事前に設定されたルールにしたがって行われてもよいし、機械学習モデルを用いて行われてもよい。
ユーザ行動判定部223は、心臓活動情報A1uを計測している際のユーザの動作又は行動を判定する。心臓活動情報A1uを計測する際に、ユーザの体動が大きい場合には、情報にノイズが乗る、もしくは適切に情報が計測されない状況が発生しやすい。このような状態で得られた心臓活動情報A1uを基準拍動モデルGの構築に使用すると、ユーザの基準拍動情報を適切に表現することができない。このため、ユーザ行動判定部223は、ノイズの発生原因となる体動などのユーザ行動を事前に検出し、体動が大きい場合(例えば、体動が予め決められた閾値を超える大きさである場合)には、そのときに取得されたで心臓活動情報A1uを使用しないといった処理を行う。ユーザ行動判定部223は、ユーザ行動情報A2に基づいてユーザ行動を判定する。具体的には、ユーザ行動判定部223は、カメラ映像又はモーションキャプチャから被験者であるユーザの動きを検出し、その大きさを算出する。また、ユーザ行動判定部223は、ユーザの動作の大きさだけでなく、ユーザが予め決められた特定の動作(すなわち、ノイズの発生原因となり得る動作)をしているか否かを判定する構成であってもよい。なお、ユーザの動作又は行動を検出する手段は、上記の例に限定されない。また、ユーザ行動判定部223が行う検出及び判定は、機械学習モデルを活用した検出及び判定であってもよい。
また、状況判定部222及びユーザ行動判定部223とは、1つの処理ブロックとしてまとめられた構成であってもよい。その場合、この処理ブロックは、環境情報B0とユーザ行動情報A2の両方を利用して、外部状況及びユーザ行動を判定することができる。
データ使用判定部224は、心臓活動情報検査部221、状況判定部222、及びユーザ行動判定部223で得られた検査結果及び体調判定結果Fを元に、ユーザ情報DB21に保存された心臓活動情報A1uの各入力を、基準拍動モデルGの構築に用いるかどうかの最終判定を行う。心臓活動情報検査部221は、予め設定されたルールに基づいて、データ使用をするか否かを判定する。
まず、データ使用判定部224は、心臓活動情報検査部221の検査結果を参照し、心臓活動情報A1uの品質に問題がないこと(すなわち、品質が予め決められた条件を満たしていること)、心臓活動情報A1uが特異値ではないこと、を確認する。次に、データ使用判定部224は、状況判定部222の判定結果を参照し、判定された状況が予め設定された「データを使用しない状況」ではないこと、を確認する。最後に、データ使用判定部224は、ユーザ行動判定部223の判定結果を参照し、体動が予め設定された閾値以内に収まっていること、体動が予め設定された「データを使用しない行動」ではないこと、を確認する。データ使用判定部224は、これらを全ての検査結果及び判定結果が予め設定された条件を満たすデータを、基準拍動モデルGの構築のために使用されるデータとして拍動間隔バッファ225に保存する。
拍動間隔バッファ225に保存される具体的な情報は、例えば、心臓活動情報A1uから得られる拍動間隔の時系列情報である。拍動間隔の例としては、心拍数、脈拍数、RRI、脈拍間隔などが挙げられる。また、この工程は、ユーザ情報DB21の全データでまとめて行うのではなく、体調検出部10へのデータ入力仕様に合わせて、データを分割しながら実施される。体調検出部10への入力仕様がデータ長60秒間、入力頻度5秒毎である場合は、ユーザ情報DB21に保存されたデータを、図3に示されるような形で抽出し、時間的にスライドさせながら各60秒間の心臓活動情報A1u、環境情報B0、ユーザ行動情報A2についてのデータを使用するか否かの判定が実施される。
データ検査部220は、各情報を検査するために、心臓活動情報検査部221と、状況判定部222と、ユーザ行動判定部223とを有しているが、これらの一部を除いた構成であってもよい。例えば、データ検査部220は、心臓活動情報検査部221と状況判定部222とのみを備えてもよいし、心臓活動情報検査部221のみを備えてもよい。データ検査部220の構成は、ユーザ情報として得られる情報に応じて、変更可能である。
モデル算出部226は、拍動間隔バッファ225に保存された検査済みの拍動間隔時系列情報を用いてユーザ毎の基準拍動モデルGを算出し、これを基準拍動モデルDB23に保存する。第一に、拍動間隔情報としてRR間隔を利用し、ユーザ毎のRR間隔を表現する基準拍動モデルを算出する例を示す。拍動間隔バッファ225には、例えば、RR間隔が時系列で並べられた情報が格納されている。
図5は、心電図から算出される情報であるRR間隔の例を示す図である。ここでは、ガウス分布(正規分布)を利用して基準拍動モデルGを構築する例を示す。式(1)に拍動間隔の分布を正規分布と仮定した場合の、基準拍動モデルGを示す。式(1)において、Xは確率変数、μは拍動間隔バッファ225に格納されたRR間隔の平均値、σは拍動間隔バッファ225に格納されたRR間隔の標準偏差、N(μ,σ )は1次元正規分布を示す。
Figure 0007507984000001
このように、ユーザ毎の基準拍動を確率的にモデリングすることで、各ユーザに応じた基準値Hをサンプリングすることが可能になる。また、ここでは、ガウス分布を仮定した場合の基準拍動モデルGのモデリング方法を示したが、モデリング方法は、上記の方法に限定されない。例えば、基準拍動モデルGのモデリング方法は、混合ガウスモデルを用いた方法又は、ニューラルネットワークなどを用いた方法であってもよい。また、基準拍動モデルGのモデリング方法は、確率密度推定などによって得られるノンパラメトリックな確率モデルを用いた方法であってもよい。
上記説明では、基準拍動モデルGとしてRR間隔を表現するモデルを算出する例を提示した。しかし、基準拍動モデルGは、必ずしもRR間隔などの拍動間隔そのものを表す値を表現するモデルである必要はない。基準拍動モデルGは、例えば、SDNN、CVNN、RMSSD、LF又はHF、RR間隔の平均値又は中央値、pNN20(隣り合ったRR間隔の差の中で20msec以上の値の割合)、pNN50(隣り合ったRR間隔の差の中で50msec以上の値の割合)、といった拍動間隔から得られる各種の指標を対象としたモデルであってもよい。その場合の基準拍動モデルGは、拍動間隔から得られる指標の基準値Hを表現するモデルである。また、基準拍動モデルGとして、RR間隔から算出される基準拍動モデルGと各種の指標から得られる基準拍動モデルGの両方がデータベースとして保存されてもよい。
〈基準拍動モデルDB23〉
基準拍動モデルDB23は、基準拍動モデル構築部22で算出されたユーザ毎の基準拍動モデルを保存するための領域である。基準拍動モデルDB23には、基準拍動モデルとユーザIDと紐づけて、ユーザIDから基準拍動モデルGを参照できる形式でデータが保存される。
〈基準拍動算出部24〉
基準拍動算出部24は、ユーザIDを入力として、そのユーザの基準拍動を算出する。以下では、基準拍動を算出する工程の例を示す。まず、基準拍動算出部24は、ユーザIDを用いて基準拍動モデルDB23からユーザIDに紐付く基準拍動モデルGを取り出す。次に、基準拍動算出部24は、取り出した基準拍動モデルGから基準値Hを任意の数だけサンプリングする。次に、基準拍動算出部24は、サンプリングされた基準値Hから代表値を求めることで、最終的な基準値Hとして出力する。代表値としては、平均値、中央値、などを用いることができる。また、基準拍動モデルGとしてガウス分布を利用している場合には、基準拍動算出部24は、ガウス分布の平均値を、そのまま基準拍動モデルGの最終的な基準値Hとして出力してもよい。
また、基準拍動算出部24は、代表値を用いずに、基準値Hとして、複数の基準値Hの候補を出力してもよい。その場合の基準値Hの利用方法については、体調検出部10における正規化特徴抽出部13の項目で述べる。
〈基準拍動モデル管理部20における処理〉
図6は、図2の基準拍動モデル管理部20の基準拍動モデル構築部22によって実行される処理フローの概略を示す図である。図6に示されるように、基準拍動モデル管理部20は、予め収集されたユーザ情報DB21の情報を入力として、対象となるユーザの全てのデータを参照するまで、データ検査部220によるデータの検査を繰り返す。この処理により、データにより基準拍動モデルGを構成するためのデータを拍動間隔バッファ225に保存する。全てのデータの検査が完了した後に、基準拍動算出部24は、基準拍動モデルGを求めて、基準拍動モデルDB23へ基準拍動モデルGをユーザIDと紐付けた形で保存する。
図7は、図2の基準拍動モデル管理部20の基準拍動モデル構築部22によって実行される処理フローの詳細を示す図である。基準拍動算出部24の処理は、体調検出部10から利用されるため図7の処理フローには含まれていない。図7に示されるように、基準拍動モデル管理部20は、予め収集されたユーザ情報DB21の情報である心臓活動情報A1u、ユーザ行動情報A2、及び環境情報B0を入力として、対象となるユーザの全てのデータを参照するまで、データ検査部220によるデータの検査を繰り返す。基準拍動モデル管理部20のデータ検査部220は、心臓活動情報A1uの各々についてデータ品質を検査し、データ特性を検査し、心臓活動情報A1uの各データについて、使用するか否かを判定する。データ検査部220は、ユーザ行動情報A2の各々についてユーザ行動の各々について判定して、ユーザ行動の各データについて、使用するか否かを判定する。データ検査部220は、環境情報B0が示す状況の各々について判定して、環境情報B0の各データについて、使用するか否かを判定する。データ検査部220は、データを使用する場合には、基準拍動モデルGを構成するためのデータを拍動間隔バッファ225に格納する。全てのデータの検査が完了した後に、基準拍動算出部24は、基準拍動モデルGを求めて、基準拍動モデルDB23へ基準拍動モデルGをユーザIDと紐付けた形で保存する。
基準拍動モデル管理部20は、後段の体調検出部10を利用するユーザ毎における基準拍動情報を管理しており、任意のタイミングでユーザ毎の基準拍動を取得することができる。
《1-4》体調検出部10
体調検出部10は、リアルタイムで得られるユーザの心臓活動情報A1を用いて体調の変化(例えば、体調の急変すなわち体調の急な悪化)の有無を検出する。体調検出部10は、入力されたセンサ情報A0と環境情報B0とから心臓活動情報A1の品質、ユーザが置かれた状況、及びユーザの行動を検査し、体調検出の処理を継続するか否かを判定する処理継続判定部11と、心臓活動情報A1から拍動間隔を取得する拍動間隔取得部12と、得られた拍動間隔Cの時系列から体調の急変を検出するために用いられる特徴量を個人差を是正した形で算出する正規化特徴抽出部13と、是正された特徴量を用いて体調の急変の有無を判定する体調判定部14とを有している。
〈処理継続判定部11〉
処理継続判定部11は、センサ情報A0と環境情報B0とを用いて、計測された心臓活動情報A1が体調検出部10への入力として妥当な情報となっているか否かを判定する。例えば、センサ103(図1)によるセンシング時のユーザの激しい体動により心臓活動情報A1が十分に高い品質で取得できていない場合、その情報を用いて体調急変の検出を実施しても、信頼できる結果を得ることができない。こういったケースを防ぐために、処理継続判定部11は、体調急変の検出を実施する前に、計測された心臓活動情報A1を使用して、その情報で体調急変の検出処理を継続するか否かを判定する。
図8は、図2の体調検出部10の処理継続判定部11の機能構成を示すブロック図である。実施の形態1においては、センサ情報A0は、心臓活動情報A1とユーザ行動情報A2とを含んでいる。処理継続判定部11は、心臓活動情報検査部111と、状況判定部112と、ユーザ行動判定部113と、継続判定部114とを有している。処理継続判定部11は、図4に示される基準拍動モデル管理部20における基準拍動モデル構築部22のデータ検査部220と、同様の構成を有し、同様の処理を行う。処理継続判定部11は、入力がユーザ情報DB21ではなく、リアルタイムで取得されるセンサ情報A0と環境情報B0とである点が、基準拍動モデル構築部22のデータ検査部220と異なる。処理継続判定部11における継続判定部114は、データ検査部220におけるデータ使用判定部224と、同様の機能を持つ。処理継続判定部11は、図4に示される基準拍動モデル管理部20における基準拍動モデル構築部22のデータ検査部220と同様の構成を有し、同様の処理を行う。処理継続判定部11は、入力がユーザ情報DB21ではなく、リアルタイムで取得されるセンサ情報A0と環境情報B0とである点が、基準拍動モデル構築部22のデータ検査部220と異なる。処理継続判定部11における継続判定部114は、データ検査部220におけるデータ使用判定部224と、同様の機能を持つ。
処理継続判定部11は、必ずしも心臓活動情報検査部111、状況判定部122、及びユーザ行動判定部123の全てを備える必要はなく、これらのうちのいずれか1つ若しくは2つの組み合わせで構成してもよい。処理継続判定部11は、体調検出部10へ入力される情報に応じて、実行する処理を変更することができる。例えば、体調検出部10において環境情報B0をリアルタイムで取得することが難しい場合は、処理継続判定部11は、心臓活動情報検査部111とユーザ行動判定部113のみを有する構成であってもよい。
〈拍動間隔取得部12〉
拍動間隔取得部12は、心臓活動情報A1を入力として、心電図波形の時系列信号から拍動間隔Cを抽出する。図5に示される心電図波形を入力とした場合、拍動間隔取得部12は、心電図波形の時系列信号からRR間隔を取得する。ただし、拍動間隔Cを取得する方法は、心電図波形から拍動間隔Cを取得する方法に限定されない。拍動間隔Cを取得する方法は、例えば、ピーク検出アルゴリズムにより波形のピークを検出した後に、その間隔を算出する方法であってもよいし、また、ニューラルネットワークなどの機械学習アルゴリズムを用いて波形から拍動間隔Cを直接算出する方法であってもよい。また、入力は、心臓の拍動間隔Cを取得することができる情報であればよく、心臓の拍動間隔Cを取得することができる情報であれば他の情報(例えば、脈波波形など)であってもよい。
〈正規化特徴抽出部13〉
正規化特徴抽出部13は、拍動間隔取得部12から得られる拍動間隔Cの時系列情報を入力として、体調の変化(例えば、体調の急変すなわち体調の急な悪化)を検出するために用いられる特徴量を算出する。また、正規化特徴抽出部13は、単純に特徴量を抽出するだけではなく、基準拍動算出部24から取得されるユーザ毎の基準値Hを用いて特徴量を変換することで、個人差を是正した特徴量を抽出する。本出願で扱う特徴量は、拍動間隔Cの時系列情報に対して処理を施して得られる指標(例えば、値)である。特徴量の例として、SDNN、CVNN、pNN20、pNN50、RMSSD、エントロピー、マルチスケールエントロピー、LF又はHF、拍動間隔Cの平均値又は中央値、などが挙げられる。正規化特徴抽出部13で扱う特徴量は、上記のものに限定されず、拍動間隔Cに対して予め決められた何らかの処理を施して得られた指標(例えば、値)である。
図9は、図2の体調検出部10の正規化特徴抽出部13の機能構成を示すブロック図である。正規化特徴抽出部13は、拍動間隔Cから各種の特徴量を算出する特徴抽出部131と、算出された特徴量を基準拍動算出部24から得られるユーザ毎の基準拍動情報を用いて正規化する正規化部132とを有している。特徴抽出部131は、入力される拍動間隔Cの時系列情報に対して、前述した特徴抽出処理を行い、各種の特徴量を算出する。算出される特徴量は、1つの特徴量でもよいし、又は、必要に応じて2つ以上の特徴量であってもよい。
次に、正規化部132は、特徴抽出部131から得られる特徴量をユーザ毎の基準拍動情報を用いて正規化することで、拍動間隔Cから算出された各種の特徴量の個人差を是正する。正規化部132は、まずユーザIDを基準拍動算出部24へ入力することで、そのユーザIDで特定される基準拍動情報を取得する。ここで取得する基準拍動情報は、特徴抽出部131で抽出する特徴量(指標)の基準値Hである。つまり、基準拍動モデル管理部20は、正規化特徴抽出部13で使用する特徴量の基準値Hを事前に算出するための基準拍動モデルGを予め構築しておく必要がある。基準値Hの別の取得方法としては、基準拍動算出部24により、基準拍動(例えば、RR間隔など)を任意の個数だけ取得し、そこで得られた複数の基準拍動からなる基準拍動群に特徴抽出処理を実施して得られる特徴量を基準値Hとする方法がある。ただし、対象の特徴量が拍動間隔Cの時系列を考慮した値である場合には、基準拍動モデルGも時系列モデルで構成されている必要がある。ここまでの工程で得られた各種の特徴量の基準値Hは、体調検出部10を使用しているユーザの非体調急変時(すなわち、非発作時)における生体特性を示す指標と見なすことが可能である。体調検出部10は、この基準値Hを用いて特徴抽出部131で算出された特徴量を是正する。
是正方法の例としては、特徴抽出部131で得られた特徴量と基準値Hの差分を取る方法、又は特徴抽出部131で得られた特徴量を基準値Hで除算した値を用いる方法などがある。いずれの方法を用いた場合であっても、特徴量の是正には、ユーザ毎の特徴量の基準値Hからの変動を表す指標が用いられる。特徴抽出部131で得られた特徴量からユーザ毎の基準値Hの成分を除外することで、ユーザ毎の個人差を是正した特徴を得ることができる。
また、上記説明では、各特徴量を正規化する際には、1つの基準値Hを取得してその値を用いて正規化処理を行う例を提示したが、正規化部132の処理は、上記の処理に限定されない。また、1つの特徴量に対して1つの基準値Hを利用して正規化処理を行うのではなく、1つの特徴量に対して複数の基準値候補を元に正規化処理を行ってもよい。この場合の処理は、以下のとおりである。また、以降では、基準値Hと特徴量との差分を取る正規化処理を説明する。
まず、正規化特徴抽出部13は、基準拍動算出部24からN個の基準値候補を取得する。次に、正規化特徴抽出部13は、特徴抽出部131により得られた特徴量と各基準値候補との差分を取る。この段階でN個の差分値が得られる。最後に、正規化特徴抽出部13は、N個の差分値の平均値又は中央値を取り、得られた値を正規化された特徴量とする。拍動間隔Cに関する情報は、同一被験者かつ非体調急変時を想定した場合であっても、ゆらぎが生じることが知られているため、その基準である情報を1つの値で表現することは難しい。本処理により、基準拍動モデルGから得られる複数の基準点候補を元に特徴量の正規化処理を行うことで基準値Hに生じるゆらぎの影響を除外した特徴を得ることができる。
〈体調判定部14〉
体調判定部14は、正規化特徴抽出部13で算出された特徴量を用いてユーザIDで特定されたユーザの体調(例えば、体調の急変の有無)を判定する。体調判定結果Fは、“0”及び“1”のように2値で表される値、体調急変が起きている確率を表す値として0から1までの間の小数として表現する構成であってもよい。また、体調判定結果Fは、体調の急変の種類を区別して判定する構成であってもよい。その場合は、対応する体調の急変の種類の数だけ体調判定結果Fが出力される。また、判定の方式としては、閾値を用いた判定方式、及び機械学習を用いた判定方式などがある。
閾値を用いた判定方式を説明する。体調判定部14は、正規化された特徴量の値が、予め設定された閾値を超えた場合、又は、予め設定された閾値を下回った場合に、体調急変有りと判定する。複数の特徴量を扱う場合は、それぞれについて閾値が設定される方法又は、複数の特徴量の値を参照して任意のルールを元に体調の急変を判定する方法が挙げられる。閾値の設定は、人手で行ってもよいし、事前に収集された心臓活動情報A1uから得られる正規化された特徴量を元に自動で算出する形式を取ってもよい。また、正規化された特徴量は、個人差が是正された指標であるため、閾値設定の際に必ずしも体調検出装置1による体調検出を利用するユーザの心臓活動情報A1uを利用する必要はない。体調判定部14は、別のユーザ群から計測された心臓活動情報A1uから得られた正規化された特徴量を元に閾値を設定してもよい。体調判定部14は、事前に算出された複数ユーザの正規化された特徴量を元に、体調検出部10共通の閾値を設定した後に、体調検出部10を利用するユーザの情報を用いて閾値を調整してもよい。
機械学習を用いた判定を説明する。体調判定部14は、事前に学習された機械学習モデルへ特徴量を入力して体調の急変の有無を判定する。機械学習モデルを構成する際には、上述した閾値設定の方法と同様に体調検出部10を利用するユーザ以外のユーザ群から得られた正規化された特徴量を元に機械学習モデルを学習してもよい。また、事前に算出された体調検出部10を利用するユーザ以外のユーザ群の正規化された特徴量を元に体調検出部10に共通の機械学習モデルを学習した後に、体調検出部10を利用するユーザの情報を用いて機械学習モデルをファインチューニングする方法を取ってもよい。ここで利用する機械学習のアルゴリズムは、どのようなアルゴリズムであってもよい。使用可能なアルゴリズムとしては、ニューラルネットワークによる学習モデル、混合ガウスモデル(GMM)、SVM(Support Vector Machine)などのクラス分類モデル、XGBoostなどの決定木をベースにした学習モデルが例として挙げられる。
〈体調検出部10における処理〉
図10は、図2の体調検出部10によって実行される処理フローの概略を示す図である。図11は、図2の体調検出部10によって実行される処理フローの詳細を示す図である。体調検出部10の入力は、心臓活動情報A1とユーザ行動情報A2とを含むセンサ情報A0と、ユーザが置かれている状況を判定するために使用される環境情報B0と、体調検出部10を利用するユーザを特定するためのユーザIDとである。体調検出部10の出力は、体調の体調判定結果F(例えば、体調急変の体調判定結果F)である。また、実施の形態1においては、環境情報B0の入力は必ずしも必要ではなく、その場合には、図11における環境情報B0及び環境情報B0を入力とする状況判定の処理は、除くことができる。
まず、体調検出部10は、心臓活動情報A1と環境情報B0とを元に、体調急変の検出処理を継続するか否かを判定する。体調検出部10は、検出処理を継続しないと判定した場合には、以降の処理は行わず次回の入力を待つ。体調検出部10は、検出処理を継続すると判定した場合には、拍動間隔取得部12により心臓活動情報A1から拍動間隔Cを取得する。得られた拍動間隔Cから正規化特徴抽出部13により正規化特徴を抽出し、体調判定部14により体調判定結果Fを出力する。体調急変があると判定された場合は、体調検出装置に応じたアラート処理を実施する。
アラート処理の例としては、表示装置106(図1)に警告を表示する、スピーカ(図示せず)から警告音を出す、自動車運転中の車両の場合には車両を自動で安全な場所へ移動して停止させる、といった処理がある。上述した処理を体調検出装置1の処理が終了するまで繰り返す。
《1-5》効果
以上のように、実施の形態1によれば、拍動情報の個人差が特徴量に与える影響を是正して是正特徴量Eを生成し、是正特徴量Eに基づいて体調の変化(例えば、体調の急変すなわち体調の急な悪化)を判定しているので、拍動間隔Cの個人差に対して頑健な体調検出を実現することが可能である。
《2》実施の形態2
実施の形態2においては、拍動間隔の個人差が特徴量に与える影響とユーザが置かれた状況の変化が特徴量に与える影響とを是正して得られた是正特徴量Eを用いてユーザの体調の変化(特に、体調の急変すなわち体調の急な悪化)を検出するために用いられる体調検出装置、体調検出システム、体調検出方法、及び体調検出プログラムを説明する。
《2-1》体調検出システム
実施の形態2に係る体調検出システムのHW構成は、実施の形態1のもの(図1)と同様である。実施の形態2に係る体調検出システムは、体調検出装置1aと、センサ103とを有している。実施の形態2に係る体調検出システムは、入力装置104と、ストレージ105と、表示装置106とを有してもよい。体調検出装置1aは、実施の形態2に係る体調検出方法を実施することができる装置である。或いは、体調検出装置1aは、実施の形態2に係る体調検出プログラムを実行することができるコンピュータである。
《2-2》体調検出装置1a
図12は、実施の形態2に係る体調検出装置1aの機能構成を示すブロック図である。実施の形態2に係る体調検出装置1aは、実施の形態1に係る体調検出装置1と同様に、被験者であるユーザ毎の基準情報を取得するための基準拍動モデル管理部20aと、センサ103から得られる拍動情報と被験者であるユーザを取り巻く環境を表す環境情報B0とを入力として、ユーザの体調の変化(例えば、体調の急変すなわち体調の急な悪化)を検出する体調検出部10aとを有している。
基準拍動モデル管理部20aは、ユーザ情報DB21と、基準拍動モデル構築部22と、基準拍動モデルDB23と、基準拍動算出部24とを有している。体調検出部10aは、処理継続判定部11aと、拍動間隔取得部12と、正規化特徴抽出部13と、体調判定部14と、状況判定部15とを有している。
実施の形態2に係る体調検出装置1aは、基準拍動モデルGから、ユーザが置かれた状況に応じた基準値Hを算出するように構成されている点、及び状況判定部15が処理継続判定部11aから独立しており、状況判定結果Jを基準値Hの算出に利用している点において、実施の形態1に係る体調検出装置1と異なる。実施の形態2に係る体調検出装置1aを用いれば、拍動間隔Cの個人差が特徴量に与える影響の是正だけではなく、ユーザが置かれた状況の変化が特徴量に与える影響についての是正も行うことで、適切に是正された是正特徴量Eを取得することができる。
《2-3》基準拍動モデル管理部20a
基準拍動モデル管理部20aは、基準拍動モデルGの構築方法と基準拍動の算出方法の点において、実施の形態1における基準拍動モデル管理部20と異なる。他の点に関し、基準拍動モデル管理部20aの構成は、実施の形態1における基準拍動モデル管理部20のものと同様である。また、実施の形態2におけるユーザ情報も、実施の形態1におけるものと同じである。
〈基準拍動モデル構築部22〉
実施の形態2における基準拍動モデル構築部22は、ユーザ毎の基準である拍動間隔情報をモデリングして基準拍動モデルGを構築するだけではなく、ユーザが置かれた状況による拍動間隔情報への影響についても是正してモデリングを実行する。ここでは、実施の形態1における基準拍動モデル構築部22との違いを中心に説明する。
図13は、図12の基準拍動モデル管理部20aの基準拍動モデル構築部22によって実行される処理フローの詳細を示す図である。図13に示される実施の形態2における処理は、ユーザ情報DB21に含まれているユーザ毎の情報を入力とし、データ検査部220により情報の検査を実行する工程までの処理に関しては、実施の形態1における処理と同様である。実施の形態2においては、基準拍動モデルGの構築に使用するデータを格納する拍動間隔バッファ225へ格納する工程から、実施の形態1の処理と異なる処理が行われる。実施の形態2においては、予め設定された状況の個数だけバッファを用意し、拍動間隔を状況に応じて拍動間隔バッファ225を切り替えて格納する。体調検出装置が想定する状況が状況#1~状況#4の4つ設定されている場合は、4つのバッファそれぞれに各状況時に計測された拍動間隔が格納される。
モデル算出部226は、状況毎に拍動間隔が格納された拍動間隔バッファ225を用いて基準拍動モデルGを構築する。実施の形態2における基準拍動モデルGの例として、基準値Hを表現する基準拍動モデルGと状況とによる拍動間隔への影響を表現する状況差分モデルの和によって構成されるモデルを示す。ここで記した基準拍動モデルGは、実施の形態1における基準拍動モデルGと同義であり、ユーザ毎の基準である拍動情報を表現したモデルである。状況差分モデルは、ユーザが置かれた状況による拍動情報への影響、つまり、特定の状況によって生じる拍動間隔情報の変動を表現するモデルである。ここでは、説明のため、基準モデル及び状況差分モデルの各々をガウス分布で表現する場合の例を示す。また、ここでは、状況#1~#4の4つの状況が設定されている例を説明する。
まず、状況#1~#4の中で全体の基準である状況を設定する。設定する方法の例として、体調検出装置1aを使用する際にユーザが置かれる時間が最も長い状況を基準とする方法が考えられる。以降、この工程で設定された状況を基準状況と呼ぶ。ここでは、状況#1を基準状況と設定した場合を説明する。
次に、モデル算出部226は、基準状況時の拍動間隔を拍動間隔バッファ225から抽出し、基準モデルを算出する。算出方法は、実施の形態1におけるモデル算出部226による算出方法と同様である。
次に、モデル算出部226は、状況#2~#4で計測された拍動間隔を用いて、状況差分モデルを構築する。状況差分モデルは、基準状況からそれ以外の各状況へ変化した場合の拍動間隔の変動を表現するため、各状況の拍動間隔情報と基準モデルにおける平均値の差分をモデリングしたものである。基準モデルXを式(2)で表したとき、状況#N(Nは正の整数)における各拍動間隔の基準との差分は、式(3)で表すことができる。ここで、x (i)は、状況#Nにおけるi番目の拍動間隔、μは、基準モデルの平均値である。
Figure 0007507984000002
このとき、状況#Nにおける状況差分モデルを式(4)で表現する。ここで、Sは状況#Nにおける状況差分モデル、μdiffNは差分の平均値、σdiffNは差分の標準偏差である。
Figure 0007507984000003
状況#Nにおける基準拍動モデルXは、式(5)のように基準モデルXと状況差分モデルSの和で表現される。
Figure 0007507984000004
モデル算出部226は、算出した基準拍動モデルXをユーザIDと紐付けた形で基準拍動モデルDB23に保存する。また、ここでは、ガウス分布を仮定した場合の基準拍動モデルの構築方法(すなわち、モデリング方法)を示したが、モデリング方法は、上記の方法に限定されない。例えば、基準モデル及び状況差分モデルとして混合ガウスモデル又はニューラルネットワークなどを用いてもよい。また、確率密度推定などによって得られるノンパラメトリックな確率モデルを用いてもよい。
上記説明では、基準拍動モデルGとしてRR間隔を表現するモデルを算出する例を提示した。しかし、基準拍動モデルGは、必ずしもRR間隔などの拍動間隔そのものを表す値を表現するモデルである必要はない。基準拍動モデルGは、例えば、SDNN、CVNN、RMSSD、LF又はHF、RR間隔の平均値又は中央値、pNN20、pNN50といった拍動間隔から得られる各種の指標を対象としたモデルであってもよい。その場合の基準拍動モデルGは、拍動間隔から得られる指標の基準値Hを表現するモデルである。
また、RR間隔から算出される基準拍動モデルGと各種の指標から得られる基準拍動モデルGの両方を保有する構成であってもよい。
〈基準拍動算出部24〉
基準拍動算出部24は、ユーザIDとユーザが置かれた状況を入力として、ユーザ毎の状況に応じた基準拍動を算出する。基準拍動の算出に関する工程は、実施の形態1のものと同様である。実施の形態2における基準拍動算出部24は、入力としてユーザが置かれた状況が加わっている点が、実施の形態1におけるものと異なる。
正規化特徴抽出部13は、実施の形態2における基準拍動算出によって得られる基準拍動を用いて、特徴量の正規化を行うことで、拍動間隔Cの個人差が特徴量に与える影響とユーザが置かれた状況が特徴量に与える影響を取り除いた是正特徴量Eを抽出することができる。
《2-4》
体調検出部10aは、リアルタイムで得られるユーザの心臓活動情報A1を用いて体調の変化(例えば、急変の有無)を検出する。また、体調検出部10aは、リアルタイムで得られる環境情報B0を元に判定した“ユーザが置かれた状況”を元に、ユーザ毎に状況に応じた基準値Hを利用して体調急変検出を実現するための特徴量を正規化する。体調検出部10aは、入力されたセンサ情報A0から心臓活動情報A1の品質、ユーザの行動を検査し、処理を継続するか否かを判定する処理継続判定部11aと、環境情報B0からユーザが置かれた状況を判定する状況判定部15と、心臓活動情報A1から拍動間隔Cを取得する拍動間隔取得部12と、得られた拍動間隔Cの時系列から体調の急変を検出するために用いられる特徴量について個人差と状況変化による拍動間隔Cの変動を是正した形で算出する正規化特徴抽出部13、得られた是正特徴量Eを用いて体調の急変の有無を判定する体調判定部14とを有している。以降では、実施の形態1の場合と異なる点を中心に、体調検出部10aついて説明する。
〈状況判定部15〉
図14は、図12の体調検出部10aの処理継続判定部11a及び状況判定部15の機能構成を示すブロック図である。実施の形態1における処理継続判定部11内の状況判定部15を外に出して独立させたものである。各ブロックの処理の内容自体は、実施の形態1のものと同様である。状況判定部15は、環境情報B0及びセンサ情報A0を入力としてユーザが置かれた状況を判定し、その結果を処理継続判定部11aへ入力する。また、実施の形態2における体調検出部10aは、状況判定部15で得られる結果を処理継続判定のために使用するだけでなく、基準拍動の算出にも用いる点において、実施の形態1に係る体調検出部10と異なる。
〈体調検出部10aにおける処理〉
図15は、図12の体調検出部10aによって実行される処理フローの概略を示す図である。図16は、図12の体調検出部10aによって実行される処理フローの詳細を示す図である。体調検出装置1aの入力は、心臓活動情報A1とユーザ行動情報A2とを含むセンサ情報A0、ユーザが置かれている状況を示す環境情報B0、及び体調検出装置1aを利用するユーザを特定するためのユーザIDである。体調検出装置1aの出力は、体調の変化の体調判定結果Fである。
まず、体調検出部10aは、センサ情報A0から心臓活動情報A1及びユーザ行動情報A2を取得する。次に、処理継続判定部11aは、心臓活動情報A1と環境情報B0を元に処理を継続するか否かを判定する。ここで処理を継続しないと判定された場合には、体調検出部10aは、以降の処理は行わず、次回の入力を待つ。処理を継続する場合には、体調検出部10aの拍動間隔取得部12は、心臓活動情報A1から拍動間隔Cを取得する。次に、基準拍動算出部24は、正規化特徴の抽出に向けて基準拍動を算出する。基準拍動算出部24は、ユーザIDと状況判定部15から得られたユーザが置かれている状況とから、ユーザの状況に応じた基準拍動情報を取得する。次に、体調検出部10aの正規化特徴抽出部13は、得られた拍動間隔Cと基準拍動情報を用いて正規化特徴を抽出する。最後に、体調検出部10aの体調判定部14により体調判定結果Fを出力し、体調急変があると判定された場合は、体調検出装置1aに応じたアラート処理を実施する。アラート処理の例としては、警告を表示する、警告音を出す、自動車運転中の場合は、自動で安全な場所へ停止するといった処理が考えられる。上述した処理を体調検出装置の処理が終了するまで繰り返す。
《2-5》効果
以上のように、実施の形態2によれば、拍動情報の個人差が特徴量に与える影響とユーザが置かれる状況の変化が特徴量に与える影響とを是正して是正特徴量Eを生成し、是正特徴量Eに基づいて体調の変化(例えば、体調の急変すなわち体調の急な悪化)を判定しているので、拍動間隔Cの個人差及びユーザが置かれる状況の変化に対して頑健な体調検出を実現することが可能である。
《3》実施の形態3
実施の形態3においては、拍動間隔Cの個人差が特徴量に与える影響と被験者であるユーザの拍動間隔の時間的な変動が特徴量に与える影響とを是正して得られた是正特徴量Eを用いてユーザの体調の変化(例えば、体調の急変すなわち体調の急な悪化)を検出するために用いられる体調検出装置、体調検出システム、体調検出方法、及び体調検出プログラムを説明する。
《3-1》体調検出システム
実施の形態3に係る体調検出システムのHW構成は、実施の形態1のもの(図1に示される)と同様である。実施の形態3に係る体調検出システムは、体調検出装置1bと、センサ103とを有している。実施の形態3に係る体調検出システムは、入力装置104と、ストレージ105と、表示装置106とを有してもよい。体調検出装置1bは、実施の形態3に係る体調検出方法を実施することができる装置である。或いは、体調検出装置1bは、実施の形態3に係る体調検出プログラムを実行することができるコンピュータである。
《3-2》体調検出装置1b
図17は、実施の形態3に係る体調検出装置1bの機能構成を示すブロック図である。実施の形態3に係る体調検出装置1bは、実施の形態1に係る体調検出装置1と同様に、被験者であるユーザ毎の基準情報を取得するための基準拍動モデル管理部20bと、センサ103から得られる拍動情報と被験者であるユーザを取り巻く環境を表す環境情報B0を入力として体調の急変を検出する体調検出部10bを有している。基準拍動モデル管理部20bは、基準拍動モデルDB23、ユーザ情報DB21、更新用バッファ25、基準拍動モデル構築部22、基準拍動算出部24、基準拍動モデル更新部26、更新判定部27を備える。体調検出部10bは、処理継続判定部11b、拍動間隔取得部12b、正規化特徴抽出部13、体調判定部14を備える。実施の形態3に係る体調検出装置1bは、基準拍動モデルGが拍動間隔の時間的な変動を考慮した基準値Hを算出する構成となっている点、体調検出部10bの利用時に基準拍動モデルGをリアルタイムで更新する枠組みが加わった点において、実施の形態1に係る体調検出装置1と異なる。実施の形態3により、拍動間隔Cの個人差が特徴量に与える影響だけではなく、拍動間隔Cの時間的な変動が特徴量に与える影響についても是正した是正特徴量Eを抽出することができる。
以下より,各ブロックの詳細を説明する。なお、体調検出部10bにおける処理継続判定部11b、拍動間隔取得部12b、正規化特徴抽出部13、体調判定部14については、実施の形態1と同様の構成及び処理である。
《3-3》基準拍動モデル管理部20b
実施の形態3における基準拍動モデル管理部20bは、実施の形態1における基準拍動モデル管理部20bに、基準拍動モデルGをリアルタイムで更新する枠組みとして、更新用バッファ25、更新判定部27、基準拍動モデル更新部26を加えた構成である。以降で各処理についての詳細を述べる。
〈基準拍動モデル構築部22〉
実施の形態3における基準拍動モデル構築部22の構成は、図4に示される実施の形態1における基準拍動モデル構築部22と同様である。実施の形態3における基準拍動モデル構築部22は、基準拍動モデルGとして時系列モデルを使用する点において、実施の形態1における基準拍動モデル構築部22と異なる。後段のモデル更新部によってリアルタイムで基準拍動モデルGを更新するため、更新可能かつ時間的な変動を表現可能なモデルで基準拍動モデルGを構築する。実施の形態3における基準拍動モデルGの例として、線形ガウス状態空間モデルが挙げられる。この場合も、実施の形態1と同様の手順で、ユーザ情報DB21に含まれる情報を用いてモデルを算出する。なお、逐次的に更新可能かつ時間的な変動を表現可能なモデルであれば、モデルの種類は限定されない。また、実施の形態3においては、基準拍動モデル構築部22を除外した構成であってもよい。基準拍動モデル構築部22により事前にモデルを構築しておくのではなく、体調検出部10b使用時に得られる情報のみから基準拍動モデルGを構築し、更新する構成であってもよい。
〈更新用バッファ25〉
更新用バッファ25は、基準拍動モデルGの更新に利用するための心臓活動情報A1及び計測された時刻を一時的に保管するための領域である。更新用バッファ25は、最低でも、1入力分の領域を確保したものである。更新用バッファ25に格納するデータの量は、基準拍動モデルGを更新する頻度及び更新に使用するデータ量に依存する。入力毎に更新する設定とした場合には、1入力分の情報を毎時刻で更新用バッファ25に保存するが、5分に1度、5分間のデータを使用して基準拍動モデルGを更新する仕様とした場合には、5分間分のデータを常に更新用バッファ25に保存する。
以降で述べる更新判定部27で基準拍動モデルGを更新することが決定した場合に、更新用バッファ25に格納された情報を使用して基準拍動モデルGを更新する。
〈更新判定部27〉
体調検出部10bにおいて計測された心臓活動情報A1を用いて基準拍動モデルGを更新するか否かを判定する。計測される心臓活動情報A1は、ユーザの体動又はユーザが置かれた状況によってデータ品質が落ちている可能性がある。このような情報を含めて全ての心臓活動情報A1を用いて基準拍動モデルGを更新してしまうと、信頼性の高い基準値Hをモデリングできない可能性がある。更新判定部27によって、その時刻で基準拍動モデルGを更新するか否かを判定することで、適切な情報で基準拍動モデルGを更新することを可能とする。また、更新判定部27は、情報の検査だけでなく検出結果から得られる体調判定結果Fの情報も利用して更新するか否かを判定する。基準拍動モデルGは、ユーザ毎の基準、つまり、非体調急変時における拍動間隔情報を表現するモデルであるため、体調検出システムによって体調急変があると判定された心臓活動情報A1については、基準拍動モデルGの更新には利用しない。以降では、更新判定部27の詳細を述べる。
更新判定部27は、体調検出部10bにおける処理継続判定部11bの結果と、体調判定結果Fを用いて更新をするか否かを判定する。具体的には、処理継続判定部11bに含まれる心臓活動情報検査部111、ユーザ行動判定部223、状況判定部15の結果と、体調検出部10bの体調判定結果Fを元に基準拍動モデルGの更新をするか否かを判定する。更新判定における例としては、「処理継続判定部11bで処理継続と判定」かつ「体調検出部10bの出力が体調急変ではない」場合に基準拍動モデルGを更新すると判定する。この場合には、体調検出部10bで検出処理を実施した心臓活動情報A1のうち非体調急変と判定されたものを使用して基準拍動モデルGを更新する結果である。
他の例としては、処理継続判定部11bの結果をそのまま使用するのではなく、処理継続判定部11bに含まれる心臓活動情報検査部111、ユーザ行動判定部223、状況判定部15から得られる各々の結果を使用してモデル更新用の別のルールを設定する方法がある。基準拍動モデルGを更新するためのルールを検出処理の継続に関するルールよりも厳しく設定したい場合、もしくは逆に緩く設定したい場合にはこの方法を取る。
更新判定部27により、体調検出部10bによりリアルタイムで得られる心臓活動情報A1、ユーザ行動、ユーザが置かれた状況及び体調検出装置によって判定された体調急変の有無を考慮して基準拍動モデルGの更新をするか否かを判定する。
なお、本処理においては、センサ情報A0、環境情報B0を入力することを前提としているが環境情報B0を除いた構成としても機能する。その場合は、処理継続判定部11bから状況判定部15を除外した構成である。
また、更新判定の頻度は、任意に設定するものとしてよい。体調検出部10bで得られる全て時刻の情報を更新に使用する場合は、データの入力毎に更新判定を行うが、例えば、5分に更新を行う仕様とした場合には、5分に一度更新判定を行う。
更新判定のルールを任意に設定する例として、ユーザが置かれた状況が変更されたタイミングでは、必ず基準拍動モデルGを更新するといった方法も考えられる。また、体調検出部10bとは、別にユーザの状態推定を行う体調検出装置を同時に実行している場合には、別システムの検出結果を基準拍動モデルGの更新判定に利用してもよい。更新に使用する情報の例として、眠気検知の検知結果、覚醒度検知の検知結果、感情推定の推定結果などが考えられる。
〈基準拍動モデル更新部26〉
更新判定部27によって基準拍動モデルGを更新すると判定された場合に、該当するユーザの基準拍動モデルGを更新する。更新に使用するデータは、更新用バッファ25から取得する。実施の形態3における基準拍動モデルGは、線形ガウス状態空間モデルなどの時系列モデルで構成されるため、更新用バッファ25から得られる拍動間隔を用いて、上記時系列モデルを更新する。基準拍動モデルGの更新方法は上記の方法に限定されない。線形ガウス状態空間モデルを仮定した場合には、カルマンフィルタ、粒子フィルタ、などのような時系列モデルの推定法を用いることで実現可能である。
また、更新判定部27で体調検出部10bの体調判定結果Fを更新判定に使用している関係上、基準拍動モデルGの更新は、一番早くとも体調検出部10bにおける1入力前の情報を使用して実行される。
〈基準拍動算出部24〉
実施の形態3における基準拍動算出部24は、ユーザIDを入力としてそのユーザにおける”現時点での”基準値Hを算出する。実施の形態3における基準拍動モデルGは、時系列モデルで構成されているため、基準拍動モデルGによって予測された現時点における拍動間隔情報をサンプリングすることで正規化特徴抽出部13へ入力する基準拍動とする。実施の形態1,2と同様に1つの値を出力する仕様としてもよいし、複数の候補を出力する仕様であってもよい。
実施の形態3における基準拍動算出部24によって得られる基準拍動を用いて、正規化特徴抽出部13による特徴量の正規化を行うことで、拍動間隔の個人差が特徴量に与える影響と拍動間隔の時間的な変動が特徴量に与える影響とを取り除いた是正特徴量Eを抽出することができる。
《3-4》体調検出部10b
実施の形態3における体調検出部10bは、処理継続判定部11bの判定結果を基準拍動モデルGの更新判定に使用する点、正規化特徴抽出部13で使用する基準値Hが時間的な変動を考慮した基準値Hである点、及び体調判定結果Fを基準拍動モデルGの更新判定に使用する点において、実施の形態1における体調検出部10と異なる。これらの点以外に関し、実施の形態3における体調検出部10bは、実施の形態1における体調検出部10と同じである。
〈体調検出部10b及び基準拍動モデルGの更新処理〉
図18は、図17の体調検出部10bによって実行される処理フローの概略を示す図である。図19は、図17の体調検出部10bによって実行される処理フローの詳細を示す図である。体調検出装置1bの入力は、心臓活動情報A1とユーザ行動情報A2とを含むセンサ情報A0と、ユーザが置かれている状況を判定するための環境情報B0と、体調検出部10bを利用するユーザを特定するためのユーザIDとである。体調検出装置1bの出力は、体調判定結果Fである。また、実施の形態3に係る体調検出装置1bは、環境情報B0の入力を必ずしも必要としておらず、環境情報B0の入力と環境情報B0を入力とする状況判定部15とを除いた構成としてもよい。
まず、体調検出部10bは、センサ情報A0から心臓活動情報A1及びユーザ行動情報A2を取得する。次に、処理継続判定部11bに含まれる心臓活動情報検査部111は、心臓活動情報A1を検査し、情報に問題がない(すなわち、予め決められた条件を満たしている)と判定された場合には、拍動間隔取得部12bによって算出された拍動間隔Cの時系列情報を拍動間隔バッファ225に保存する。また、心臓活動情報検査部111は、拍動間隔Cに紐付く時刻情報も同時に更新用バッファ25に保存する。更新用バッファ25への保存と並行して、処理継続判定部11bは、体調判定処理を継続するか否かを判定し、継続しないと判定された場合には、以降の処理は、行わず次回の入力を待つ。継続する場合には、処理は、特徴抽出処理へ移る。また、処理継続判定部11bの結果は、後段の更新判定部27で使用される。
特徴抽出処理においては、まず正規化特徴の抽出に向けて基準拍動を算出する。ここでは、基準拍動算出部24は、ユーザIDと計測時刻とを入力として、ユーザのその時点に応じた基準拍動情報を取得する。次に、正規化特徴抽出部13は、得られた拍動間隔Cと基準拍動情報を用いて正規化された特徴量である是正特徴量Eを抽出する。得られた正規化された特徴量を元に体調判定部14により体調急変の有無を判定する。体調急変があると判定された場合は、体調検出装置に応じたアラート処理を実施する。アラート処理の例としては、表示装置106(図1)に警告を表示する、スピーカ(図示せず)から警告音を出す、自動車運転中の車両の場合には車両を自動で安全な場所へ移動して停止させる、といった処理がある。
また、体調判定結果Fが出た時点で基準拍動モデルGの更新処理に移り、検出処理と並行して基準拍動モデルGの更新処理を実施する。体調判定結果Fを更新判定部27へ入力し、処理継続判定部11bの結果と合わせてその時刻における基準拍動モデルGの更新をするか否かを判定する。基準拍動モデルGを更新しない場合は、基準拍動モデルGの更新処理を終了する。基準拍動モデルGを更新する場合は、基準拍動モデル更新部26により、更新用バッファ25に格納された拍動間隔C及び計測時刻を用いて、体調検出部10bを利用しているユーザの基準拍動モデルGを更新し、基準拍動モデルDB23へ情報を保存する。上述した処理を体調検出装置が終了するまで繰り返す。
《3-5》効果
以上のように、実施の形態3によれば、拍動間隔Cの個人差が特徴量に与える影響と拍動間隔Cの時間的な変動が特徴量に与える影響とを是正して是正特徴量Eを生成し、是正特徴量Eに基づいて体調の変化例えば、体調の急変すなわち体調の急な悪化)を判定しているので、拍動間隔Cの個人差及び時間的な変動に対して頑健な体調検出を実現することが可能である。
《4》実施の形態4
実施の形態4においては、拍動間隔の個人差が特徴量に与える影響と被験者であるユーザが置かれた状況の変化が特徴量に与える影響と拍動間隔の時間的な変動が特徴量に与える影響とを是正して得られた是正特徴量Eを用いて、ユーザの体調の変化(例えば、体調の急変すなわち体調の急な悪化)を検出するための体調検出装置1c、体調検出システム、体調検出方法、及び体調検出プログラムを説明する。
《4-1》体調検出システム
実施の形態4に係る体調検出システムのHW構成は、実施の形態1のもの(図1)と同様である。実施の形態4に係る体調検出システムは、体調検出装置1cと、センサ103とを有している。実施の形態4に係る体調検出システムは、入力装置104と、ストレージ105と、表示装置106とを有してもよい。体調検出装置1cは、実施の形態4に係る体調検出方法を実施することができる装置である。或いは、体調検出装置1cは、実施の形態4に係る体調検出プログラムを実行することができるコンピュータである。
《4-2》体調検出装置1c
図20は、実施の形態4に係る体調検出装置1cの機能構成を示すブロック図である。実施の形態4に係る体調検出装置1cは、実施の形態1のものと同様に、被験者であるユーザ毎の基準情報を取得し、ユーザ毎の基準拍動モデルGを算出するための基準拍動モデル管理部20cと、センサ103(図1)から得られるセンサ情報A0としての拍動情報と、被験者であるユーザを取り巻く環境を表す環境情報B0とを入力として、体調の変化(例えば、体調の急変すなわち体調の急な悪化)を検出する体調検出部10cを有している。基準拍動モデル管理部20cは、基準拍動モデルDB23と、ユーザ情報DB21と、更新用バッファ25と、基準拍動モデル構築部22と、基準拍動算出部24と、基準拍動モデル更新部26と、更新判定部27とを有している。体調検出部10cは、処理継続判定部11cと、状況判定部15と、拍動間隔取得部12cと、正規化特徴抽出部13と、体調判定部14とを有している。
実施の形態4に係る体調検出装置1cは、拍動間隔Cの個人差が特徴量に与える影響を是正し(実施の形態1において説明された)、被験者であるユーザが置かれた状況の変化が特徴量に与える影響を是正し(実施の形態2において説明された)、拍動間隔Cの時間的な変動が特徴量に与える影響を是正して(実施の形態3において説明された)、得られた是正特徴量Eを用いて、体調の変化を検出する。言い換えれば、実施の形態4に係る体調検出装置1cは、実施の形態2におけるユーザの置かれた状況による影響を是正し、加えて、実施の形態3における拍動間隔Cの時間的な変動が特徴量に与える影響を是正することで得られた是正特徴量Eを用いて体調の変化を判定する。
なお、体調検出部10cにおける処理継続判定部11c、拍動間隔取得部12c、正規化特徴抽出部13、及び体調判定部14は、実施の形態1における体調検出部10のものと同様の構成を有する。実施の形態4に係る体調検出装置1cは、状況判定部15によって得られる状況判定結果Jを基準拍動の算出に利用する点と基準拍動モデルGを時間的な変動に加えて状況変化にも対応させている点において、実施の形態3に係る体調検出装置1bと異なる。
《4-3》基準拍動モデル管理部20c
実施の形態4における基準拍動モデル管理部20cは、実施の形態3における基準拍動モデル管理部20bに、ユーザが置かれた状況の変化が特徴量に与える影響を考慮した基準拍動モデルGを構築及び更新する枠組みを加えたものである。
〈基準拍動モデル構築部22〉
実施の形態4における基準拍動モデル構築部22の構成は、実施の形態3におけるものと同様である。実施の形態4における基準拍動モデル構築部22は、基準拍動モデルGとしてユーザが置かれた状況の変化が特徴量に与える影響を考慮した時系列モデルを使用する点において、実施の形態3における基準拍動モデル構築部22と異なる。また、それに伴い、更新用バッファ25には、心臓活動情報A1と計測時刻に加えて、状況判定部15で判定された状況に関する情報が保存される。ここでは、体調検出装置が想定する状況として状況#1~#4の4つの状況が存在し、また、基準拍動モデルGを扱う際の「ユーザが置かれた状況」は、既知である例を説明する。式(6)に状況#nにおける基準拍動モデル(X)の例を示す。式(7)、(8)、及び(9)は、それぞれ観測された拍動間隔のノイズを表現する観測ノイズモデルd、拍動間隔の時間的な変動を表現する時間変動モデルt、及び状況変化による影響を表現する状況影響モデルsを示す。
Figure 0007507984000005
時間変動モデルtに含まれるkは、時間変動を表すトレンド成分の次数を表し、トレンドを推定するために何時刻前までの状態を参照するかを意味する値である。c (k)は、時間変動を表すトレンド成分の次数に応じて変化する係数である。状況影響モデルsに含まれるβ (i)は、状況#iが拍動間隔へ与える影響を表す係数、x (i)は、状況判定部15によって算出されたユーザが置かれている状況を示す。例えば、入力データにおける状況が「状況#1」である場合には、x (i)は、以下のとおりである。
Figure 0007507984000006
また、入力データにおける状況が「状況#2」である場合には、i=2であり、x (i)は、以下のとおりである。
Figure 0007507984000007
同様に、i=3の場合にはx (3)のみが1となり、i=4の場合にはx (4)のみが1となる。
は、時間変動モデルtに生じるノイズ成分であり、式(10)で表される。fは、状況影響モデルsにおけるノイズ成分であり、式(11)で表される。
Figure 0007507984000008
上述した例は、各ノイズ成分がガウス分布であると仮定したものである。実施の形態4における基準拍動モデルGの構築についても、実施の形態1と同様の手順で、ユーザ情報DB21に含まれる情報を用いて基準拍動モデルGの各種のパラメータを推定することで基準拍動モデルGを算出する。なお、逐次的に更新可能かつ時間的な変動及び状況による影響を表現可能な基準拍動モデルGであれば、基準拍動モデルGの種類又は構成方法は上記の例に限定されない。また、実施の形態4においては、実施の形態3と同様に基準拍動モデル構築部22を除外した構成であってもよい。基準拍動モデル構築部22により事前に基準拍動モデルGを構築しておくのではなく、体調検出部10c使用時に得られる情報のみから基準拍動モデルGを構築及び更新する構成であってもよい。
〈更新用バッファ25〉
実施の形態4における更新用バッファ25は、心臓活動情報A1と計測時刻に加えて、状況判定部15により算出された状況に関する情報を保存する点において、実施の形態3における更新用バッファと異なる。
〈更新判定部27〉
実施の形態4における更新判定部27は、実施の形態3のものと同様の構成を有し、同様の処理を実行する。
〈基準拍動モデル更新部26〉
実施の形態4における基準拍動モデル更新部26は、実施の形態3のものと同様に、更新用バッファ25に格納された情報を用いて時系列モデルで表現された基準拍動モデルGを更新する。ただし、実施の形態4における基準拍動モデル更新部26は、実施の形態3のものと異なり、心臓活動情報A1と計測時刻とに加えて状況判定結果Jを使用して基準拍動モデルGを更新する。
〈基準拍動算出部24〉
実施の形態4における基準拍動算出部24は、ユーザIDを入力として、そのユーザIDで特定されるユーザにおける“現時点での”基準値Hを算出する。実施の形態4における基準拍動モデルGは、実施の形態3のものと同様に、時系列モデルで構成されている。このため、実施の形態4における基準拍動算出部24は、基準拍動モデルGによって予測された現時点における拍動間隔Cを、正規化特徴抽出部13へ入力する基準値Hとしての基準拍動とすることができる。実施の形態4における基準拍動算出部24は、実施の形態1~3のものと同様に1つの値を出力する仕様のものであってもよく、或いは、複数の候補の値を出力する仕様のものであってもよい。
正規化特徴抽出部13は、実施の形態4における基準拍動算出部24によって得られる基準拍動を用いて、特徴量の正規化を行うので、拍動間隔Cの個人差が特徴量に与える影響と拍動間隔Cの時間的な変動が特徴量に与える影響とユーザが置かれた状況が特徴量に与える影響とを取り除いた是正特徴量Eを抽出することができる。
《4-4》体調検出部10c
実施の形態4における体調検出部10cの構成は、実施の形態2における体調検出部10bのものと同様である。実施の形態4における体調検出部10cは、処理継続判定部11cの処理継続判定結果Kを基準拍動モデルGの更新判定に使用する点、正規化特徴抽出部13で使用する基準値Hが時間的な変動を考慮した基準値Hである点、及び体調判定結果Fを基準拍動モデルGの更新判定に使用する点において、実施の形態2における体調検出部10bと異なる。
〈体調検出部10c及び基準拍動モデルGの更新処理〉
図21は、図20の体調検出部10cによって実行される処理フローの概略を示す図である。図22は、図20の体調検出部10cによって実行される処理フローの詳細を示す図である。体調検出部10cへの入力は、心臓活動情報A1とユーザ行動情報A2とを含むセンサ情報A0と、ユーザが置かれている状況を示す環境情報B0と、体調検出部10cを利用するユーザを特定するためのユーザIDとである。体調検出部10cの出力は、ユーザの体調の急変の判定結果としての体調判定結果Fである。
まず、体調検出部10cは、センサ情報A0から心臓活動情報A1及びユーザ行動情報A2を取得する。次に、処理継続判定部11cに含まれる心臓活動情報検査部111は、心臓活動情報A1を検査し、心臓活動情報A1に問題がない(すなわち、予め決められた条件を満たしている)と判定した場合には、拍動間隔取得部12cによって算出された拍動間隔Cの時系列情報を拍動間隔バッファ225に保存する。この際には、心臓活動情報検査部111は、拍動間隔Cに紐付く時刻情報も同時に更新用バッファ25に保存する。
また、処理継続判定部11cは、状況判定部15により得られる「ユーザが置かれている状況の判定結果」についても更新用バッファ25に保存する。更新用バッファ25への保存と並行して、処理継続判定部11cは、体調検出処理を継続するか否かを判定し、継続しないと判定した場合には、以降の処理は行わず、次回の入力を待つ。処理継続判定部11cにより体調検出処理を継続すると判定された場合には、特徴抽出処理へ移る。また、処理継続判定部11cの判定結果は、後段の更新判定部27で使用される。
正規化特徴抽出部13は、特徴抽出処理において、正規化特徴の抽出に向けて基準拍動を算出する。ここでは、基準拍動算出部24は、ユーザID、計測時刻、及び状況判定結果に基づいて、ユーザのその時点に応じた基準拍動を取得する。次に、正規化特徴抽出部13は、得られた拍動間隔Cと基準拍動とを用いて正規化された特徴量を抽出する。体調判定部14は、得られた正規化された特徴量である是正特徴量Eを元に体調急変の有無を判定する。体調判定部14は、体調急変があると判定した場合は、体調検出装置1cに応じたアラート処理を実行する。アラート処理の例としては、表示装置106に警告を表示する、スピーカ(図示せず)から警告音を出す、自動車運転中の車両の場合には車両を自動で安全な場所へ移動して停止させる、といった処理がある。
基準拍動モデル管理部20cは、体調判定結果Fが出た時点で基準拍動モデルGの更新処理に移り、検出処理と並行して基準拍動モデルGの更新処理を実施する。体調判定結果Fが更新判定部27へ入力すると、更新判定部27は、処理継続判定部11cの処理継続判定結果Kと合わせて、その時刻における基準拍動モデルGの更新をするか否かを判定する。基準拍動モデル管理部20cは、基準拍動モデルGを更新しない場合は、基準拍動モデルGの更新処理を終了する。基準拍動モデル管理部20cは、基準拍動モデルGを更新する場合は、基準拍動モデル更新部26により、更新用バッファ25に格納された拍動間隔C、状況判定結果、計測時刻を用いて、体調検出部10cを利用しているユーザの基準拍動モデルGを更新し、基準拍動モデルDB23へ更新された基準拍動モデルGを保存する。上述した処理は、体調検出装置1bによる処理が終了するまで繰り返される。
《4-5》効果
以上のように、実施の形態4によれば、拍動情報の個人差が特徴量に与える影響とユーザが置かれる状況の変化が特徴量に与える影響と拍動間隔Cの時間的な変動が特徴量に与える影響とを是正して是正特徴量Eを生成し、是正特徴量Eに基づいて体調の変化(例えば、体調の急変すなわち体調の急な悪化)を判定しているので、拍動間隔Cの個人差と拍動間隔Cの時間的な変動と状況の変化による拍動間隔Cの変動とに対して頑健な体調検出を実現することができる。
1、1a、1b、1c 体調検出装置、 10、10a、10b、10c 体調検出部、 11、11a、11b、11c 処理継続判定部、 12、12b、12c 拍動間隔取得部、 13 正規化特徴抽出部、 14 体調判定部、 15 状況判定部、 20、20a、20b、20c 基準拍動モデル管理部、 21 ユーザ情報DB、 22 基準拍動モデル構築部、 23 基準拍動モデルDB、 24 基準拍動算出部、 25 更新用バッファ、 26 基準拍動モデル更新部、 27 更新判定部、 101 プロセッサ、 102 メモリ、 103 センサ、 111 心臓活動情報検査部、 112 状況判定部、 113 ユーザ行動判定部、 114 継続判定部、 131 特徴抽出部、 132 正規化部、 220 データ検査部、 221 心臓活動情報検査部、 222 状況判定部、 223 ユーザ行動判定部、 224 データ使用判定部、 225 拍動間隔バッファ、 226 モデル算出部、 A0 センサ情報、 A1 心臓活動情報(拍動情報)、 A2 ユーザ行動情報、 B0 環境情報、 A1u 心臓活動情報(拍動情報)、 A2u ユーザ行動情報、 B0u 環境情報、 C 拍動間隔、 E 是正特徴量、 F 体調判定結果、 G 基準拍動モデル、 H 基準値、 J 状況判定結果。

Claims (14)

  1. ユーザ識別情報によって特定される検査対象のユーザである被験者の体調の変化を判定する体調検出装置であって、
    1人以上のユーザの各々の脈波から、波形に適切なピークが認められ、かつ該波形から得られる拍動間隔が人間の取りうる範囲である脈波を選択し、該選択した脈波に基づいて拍動間隔の基準、前記拍動間隔から得られる特徴量の基準、並びに前記拍動間隔及び前記特徴量の各々の基準、のいずれかをユーザ毎に基準拍動モデルとして構築する基準拍動モデル構築部と、
    前記基準拍動モデルから前記被験者の基準拍動モデルを選択し、選択された前記基準拍動モデルから前記被験者の拍動間隔の基準値、前記拍動間隔から得られる特徴量の基準値、並びに前記拍動間隔及び前記特徴量の各々の基準値、のいずれかを生成する基準拍動算出部と、
    センサによって検出された前記被験者に関する情報である時系列の拍動情報を受け取り、前記時系列の拍動情報からリアルタイムの拍動間隔の特徴量を抽出し、前記基準値を用いて前記特徴量を正規化することで前記特徴量を是正して、リアルタイムの是正特徴量を生成する正規化特徴抽出部と、
    リアルタイムの前記是正特徴量に基づいて前記被験者の前記体調の変化を判定する体調判定部と、
    前記体調判定部による体調判定結果に基づいて、前記基準拍動モデルの更新をするか否かを決定する更新判定部と、
    前記更新をすると判定された場合に、リアルタイムで基準拍動モデルを更新する基準拍動モデル更新部と、
    を有することを特徴とする体調検出装置。
  2. ユーザ識別情報によって特定される検査対象のユーザである被験者の体調の変化を判定する体調検出装置であって、
    1人以上のユーザの各々の脈波から、波形に適切なピークが認められ、かつ該波形から得られる拍動間隔が人間の取りうる範囲である脈波を選択し、該選択した脈波に基づいて拍動間隔の基準、前記拍動間隔から得られる特徴量の基準、並びに前記拍動間隔及び前記特徴量の各々の基準、のいずれかをユーザ毎に基準拍動モデルとして構築する際に、前記各ユーザの拍動間隔と前記各ユーザの置かれた状況との基準をユーザ毎に前記基準拍動モデルとして構築する基準拍動モデル構築部と、
    前記基準拍動モデルから前記被験者の基準拍動モデルを選択し、選択された前記基準拍動モデルから前記被験者の拍動間隔の基準値、前記拍動間隔から得られる特徴量の基準値、並びに前記拍動間隔及び前記特徴量の各々の基準値、のいずれかを生成する際に、選択された前記基準拍動モデルから前記被験者の拍動間隔と前記被験者が置かれた状況とを示す前記基準値を生成する基準拍動算出部と、
    センサによって検出された前記被験者に関する情報である時系列の拍動情報を受け取り、前記時系列の拍動情報からリアルタイムの拍動間隔の特徴量を抽出し、前記基準値を用いて前記特徴量を正規化することで前記特徴量を是正して、リアルタイムの是正特徴量を生成する正規化特徴抽出部と、
    リアルタイムの前記是正特徴量に基づいて前記被験者の前記体調の変化を判定する体調判定部と、
    を有することを特徴とする体調検出装置。
  3. ユーザ識別情報によって特定される検査対象のユーザである被験者の体調の変化を判定する体調検出装置であって、
    1人以上のユーザの各々の脈波から、波形に適切なピークが認められ、かつ該波形から得られる拍動間隔が人間の取りうる範囲である脈波を選択し、該選択した脈波に基づいて拍動間隔の基準、前記拍動間隔から得られる特徴量の基準、並びに前記拍動間隔及び前記特徴量の各々の基準、のいずれかをユーザ毎に基準拍動モデルとして構築する際に、前記各ユーザの拍動間隔と前記各ユーザの行動を示すユーザ行動情報との基準をユーザ毎に前記基準拍動モデルとして構築する基準拍動モデル構築部と、
    前記基準拍動モデルから前記被験者の基準拍動モデルを選択し、選択された前記基準拍動モデルから前記被験者の拍動間隔の基準値、前記拍動間隔から得られる特徴量の基準値、並びに前記拍動間隔及び前記特徴量の各々の基準値、のいずれかを生成する際に、選択された前記基準拍動モデルから前記被験者の拍動間隔と前記被験者の行動を示す前記基準値を生成する基準拍動算出部と、
    センサによって検出された前記被験者に関する情報である時系列の拍動情報を受け取り、前記時系列の拍動情報からリアルタイムの拍動間隔の特徴量を抽出し、前記基準値を用いて前記特徴量を正規化することで前記特徴量を是正して、リアルタイムの是正特徴量を生成する正規化特徴抽出部と、
    リアルタイムの前記是正特徴量に基づいて前記被験者の前記体調の変化を判定する体調判定部と、
    を有することを特徴とする体調検出装置。
  4. ユーザ識別情報によって特定される検査対象のユーザである被験者の体調の変化を判定する体調検出装置であって、
    1人以上のユーザの各々の脈波から、波形に適切なピークが認められ、かつ該波形から得られる拍動間隔が人間の取りうる範囲である脈波を選択し、該選択した脈波に基づいて拍動間隔の基準、前記拍動間隔から得られる特徴量の基準、並びに前記拍動間隔及び前記特徴量の各々の基準、のいずれかをユーザ毎に基準拍動モデルとして構築する際に、前記各ユーザの拍動間隔と前記各ユーザの置かれた状況と前記各ユーザの行動を示すユーザ行動情報との基準をユーザ毎に前記基準拍動モデルとして構築する基準拍動モデル構築部と、
    前記基準拍動モデルから前記被験者の基準拍動モデルを選択し、選択された前記基準拍動モデルから前記被験者の拍動間隔の基準値、前記拍動間隔から得られる特徴量の基準値、並びに前記拍動間隔及び前記特徴量の各々の基準値、のいずれかを生成する際に、選択された前記基準拍動モデルから前記被験者の拍動間隔と前記被験者が置かれた状況と前記各ユーザの周辺の環境情報とを示す前記基準値を生成する基準拍動算出部と、
    センサによって検出された前記被験者に関する情報である時系列の拍動情報を受け取り、前記時系列の拍動情報からリアルタイムの拍動間隔の特徴量を抽出し、前記基準値を用いて前記特徴量を正規化することで前記特徴量を是正して、リアルタイムの是正特徴量を生成する正規化特徴抽出部と、
    リアルタイムの前記是正特徴量に基づいて前記被験者の前記体調の変化を判定する体調判定部と、
    を有することを特徴とする体調検出装置。
  5. 前記体調判定部による体調判定結果に基づいて、前記基準拍動モデルの更新をするか否かを決定する更新判定部と、
    前記更新をすると判定された場合に、リアルタイムで基準拍動モデルを更新する基準拍動モデル更新部と、
    をさらに有することを特徴とする請求項に記載の体調検出装置。
  6. 前記センサは、前記被験者の拍動を検出し、前記拍動情報を出力する拍動センサを含む
    ことを特徴とする請求項1から5のいずれか1項に記載の体調検出装置。
  7. 前記センサは、前記被験者の行動を計測してユーザ行動情報を出力する行動センサを含む
    ことを特徴とする請求項又は4に記載の体調検出装置。
  8. 前記センサは、前記被験者の置かれた状況を計測して環境情報を出力する環境センサを含む
    ことを特徴とする請求項又は4に記載の体調検出装置。
  9. 請求項1から5のいずれか1項に記載の体調検出装置と、
    前記センサと、
    を有することを特徴とする体調検出システム。
  10. 請求項6に記載の体調検出装置と、
    前記センサと、
    を有することを特徴とする体調検出システム。
  11. 請求項7に記載の体調検出装置と、
    前記センサと、
    を有することを特徴とする体調検出システム。
  12. 請求項8に記載の体調検出装置と、
    前記センサと、
    を有することを特徴とする体調検出システム。
  13. ユーザ識別情報によって特定される検査対象のユーザである被験者の体調の変化を判定する体調検出装置によって実施される体調検出方法であって、
    1人以上のユーザの各々の脈波から、波形に適切なピークが認められ、かつ該波形から得られる拍動間隔が人間の取りうる範囲である脈波を選択し、該選択した脈波に基づいて拍動間隔の基準、前記拍動間隔から得られる特徴量の基準、並びに前記拍動間隔及び前記特徴量の各々の基準、のいずれかをユーザ毎に基準拍動モデルとして構築するステップと、
    前記基準拍動モデルから前記被験者の基準拍動モデルを選択し、選択された前記基準拍動モデルから前記被験者の拍動間隔の基準値、前記拍動間隔から得られる特徴量の基準値、並びに前記拍動間隔及び前記特徴量の各々の基準値、のいずれかを生成するステップと、
    センサによって検出された前記被験者に関する情報である時系列の拍動情報を受け取り、前記時系列の拍動情報からリアルタイムの拍動間隔の特徴量を抽出し、前記基準値を用いて前記特徴量を正規化することで前記特徴量を是正して、リアルタイムの是正特徴量を生成するステップと、
    リアルタイムの前記是正特徴量に基づいて前記被験者の前記体調の変化を判定するステップと、
    前記被験者の前記体調の変化を判定するステップでの体調判定結果に基づいて、前記基準拍動モデルの更新をするか否かを決定するステップと、
    前記更新をすると判定された場合に、リアルタイムで基準拍動モデルを更新するステップと、
    を有することを特徴とする体調検出方法。
  14. ユーザ識別情報によって特定される検査対象のユーザである被験者の体調の変化を判定するコンピュータに、
    1人以上のユーザの各々の脈波から、波形に適切なピークが認められ、かつ該波形から得られる拍動間隔が人間の取りうる範囲である脈波を選択し、該選択した脈波に基づいて拍動間隔の基準、前記拍動間隔から得られる特徴量の基準、並びに前記拍動間隔及び前記特徴量の各々の基準、のいずれかをユーザ毎に基準拍動モデルとして構築するステップと、
    前記基準拍動モデルから前記被験者の基準拍動モデルを選択し、選択された前記基準拍動モデルから前記被験者の拍動間隔の基準値、前記拍動間隔から得られる特徴量の基準値、並びに前記拍動間隔及び前記特徴量の各々の基準値、のいずれかを生成するステップと、
    センサによって検出された前記被験者に関する情報である時系列の拍動情報を受け取り、前記時系列の拍動情報からリアルタイムの拍動間隔の特徴量を抽出し、前記基準値を用いて前記特徴量を正規化することで前記特徴量を是正して、リアルタイムの是正特徴量を生成するステップと、
    リアルタイムの前記是正特徴量に基づいて前記被験者の前記体調の変化を判定するステップと、
    前記被験者の前記体調の変化を判定するステップでの体調判定結果に基づいて、前記基準拍動モデルの更新をするか否かを決定するステップと、
    前記更新をすると判定された場合に、リアルタイムで基準拍動モデルを更新するステップと、
    を実行させることを特徴とする体調検出プログラム。
JP2023553731A 2023-02-27 2023-02-27 体調検出装置、体調検出システム、体調検出方法、及び体調検出プログラム Active JP7507984B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023007089 2023-02-27

Publications (1)

Publication Number Publication Date
JP7507984B1 true JP7507984B1 (ja) 2024-06-28

Family

ID=91617372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023553731A Active JP7507984B1 (ja) 2023-02-27 2023-02-27 体調検出装置、体調検出システム、体調検出方法、及び体調検出プログラム

Country Status (1)

Country Link
JP (1) JP7507984B1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060276716A1 (en) 2005-06-07 2006-12-07 Jennifer Healey Atrial fibrillation detection method and apparatus
CN101664308A (zh) 2009-09-21 2010-03-10 上海交通大学 无线便携式心率变异监护装置
JP2013205965A (ja) 2012-03-27 2013-10-07 Fujitsu Ltd 生体情報処理装置及び生体情報処理方法
JP2019097666A (ja) 2017-11-29 2019-06-24 国立大学法人 東京大学 心拍測定装置、心拍測定方法及び心拍測定プログラム
WO2022254574A1 (ja) 2021-06-01 2022-12-08 日本電気株式会社 疲労推定装置、疲労推定方法及び記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060276716A1 (en) 2005-06-07 2006-12-07 Jennifer Healey Atrial fibrillation detection method and apparatus
CN101664308A (zh) 2009-09-21 2010-03-10 上海交通大学 无线便携式心率变异监护装置
JP2013205965A (ja) 2012-03-27 2013-10-07 Fujitsu Ltd 生体情報処理装置及び生体情報処理方法
JP2019097666A (ja) 2017-11-29 2019-06-24 国立大学法人 東京大学 心拍測定装置、心拍測定方法及び心拍測定プログラム
WO2022254574A1 (ja) 2021-06-01 2022-12-08 日本電気株式会社 疲労推定装置、疲労推定方法及び記憶媒体

Similar Documents

Publication Publication Date Title
US20230181077A1 (en) Machine differentiation of abnormalities in bioelectromagnetic fields
US10980429B2 (en) Method and system for cuffless blood pressure estimation using photoplethysmogram features and pulse transit time
US20190038148A1 (en) Health with a mobile device
EP1658578B1 (en) A system and method for detecting signal artifacts
CN108472006B (zh) 胎儿监测系统和方法
US9109971B2 (en) Respiratory condition analysis apparatus, respiratory condition display apparatus, processing method therein, and program
US8690789B2 (en) Categorizing automatically generated physiological data based on industry guidelines
US20180249967A1 (en) Devices, systems, and associated methods for evaluating a potential stroke condition in a subject
CN107252313A (zh) 一种安全驾驶的监测方法及系统、汽车、可读存储介质
CN109564586B (zh) 系统监测器及系统监测方法
JP6951516B2 (ja) 人の歩調を検出する方法及びシステム
US8949072B2 (en) Novelty detection with missing parameters
CN115429251A (zh) 可穿戴设备及其监测方法和监测装置
US20210361217A1 (en) Ecg-based age and sex estimation
JP2008253727A (ja) モニタ装置、モニタシステム及びモニタ方法
JP7507984B1 (ja) 体調検出装置、体調検出システム、体調検出方法、及び体調検出プログラム
CN111956193A (zh) 应用于智能耳机的健康状态检测方法、装置、介质及设备
WO2020073012A1 (en) Continuous monitoring of a user's health with a mobile device
KR20130130538A (ko) 심전도 기반 운전부하 측정 및 경고 시스템
CN115349832A (zh) 一种生命体征监测预警系统和方法
CN111345815B (zh) 一种心电信号中qrs波的检测方法、装置、设备和存储介质
JP2023528861A (ja) 高血圧監視のためのシステムおよび方法
Goda et al. A phonography-based method improved by hidden Markov model for fetal breathing movement detection
CN115496105B (zh) 睡眠预测模型训练方法、睡眠状况预测方法及相关装置
US20240023856A1 (en) State of consciousness analysis apparatus, storage medium, and observation system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230904

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230904

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240618

R150 Certificate of patent or registration of utility model

Ref document number: 7507984

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150