JP7256380B2 - 情報処理装置、危険状況検出システム、および危険状況検出方法 - Google Patents

情報処理装置、危険状況検出システム、および危険状況検出方法 Download PDF

Info

Publication number
JP7256380B2
JP7256380B2 JP2019079135A JP2019079135A JP7256380B2 JP 7256380 B2 JP7256380 B2 JP 7256380B2 JP 2019079135 A JP2019079135 A JP 2019079135A JP 2019079135 A JP2019079135 A JP 2019079135A JP 7256380 B2 JP7256380 B2 JP 7256380B2
Authority
JP
Japan
Prior art keywords
value
change
index
eda
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019079135A
Other languages
English (en)
Other versions
JP2020174905A (ja
Inventor
幸宏 陽奥
晶規 宮本
暁宇 ▲ミイ▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019079135A priority Critical patent/JP7256380B2/ja
Publication of JP2020174905A publication Critical patent/JP2020174905A/ja
Application granted granted Critical
Publication of JP7256380B2 publication Critical patent/JP7256380B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本発明は、情報処理装置、危険状況検出システム、および危険状況検出方法に関する。
労働災害に関する経験則として、ハインリッヒの法則と呼ばれるものがある。ハインリッヒの法則によると、1つの重大事故の背後には、29件の軽微な事故と、300件のヒヤリハットがあると言われている。ヒヤリハットとは、重大な災害や事故には至らないものの、事故に直結してもおかしくない一歩手前の危険な状況である。重大な事故を防ぐためには、ヒヤリハット事例を収集し防止に努めることが重要である。
ヒヤリハット事例を大量に収集するには、調査対象者がヒヤリハットの状況になったことの自動検出が求められる。ヒヤリハットの自動検出の方法としては、生体センサで測定した調査対象者の生体信号(生体現象によって体内から発せられる信号)に基づいて、ヒヤリハットを検出する方法がある。例えば調査対象者の精神性発汗に応じた皮膚電気活動(EDA:Electro Dermal Activity)を測定し、EDAの急激な上昇を検知する方法がある。
ヒヤリハット事例の収集に利用できる技術としては、例えば、運転者の運転時等の精神的ストレスをできるだけ正確で且つ小型の装置で実現したストレス検出装置が提案されている。また作業環境の体験を通じて研修者が本来危険を感じるべきときに確実に危険を感じることができたかどうかを生理情報の計測により把握して教育を行うための装置も提案されている。
特開2008-212391号公報 特開2007-206386号公報
従来は、ヒヤリハットのような事故の一歩手前の危険な状況を生体信号に基づいて検出した場合、誤検出が多いという問題がある。例えば精神性発汗によってどの程度の発汗があるのかは個人差が大きく、ヒヤリハットである(調査対象者が事故の一歩手前の危険な状況にある)と判定するための基準値を正しく設定するのは難しい。
1つの側面では、本件は、危険状況検出の判定精度を向上させることを目的とする。
1つの案では、以下に示す記憶部と処理部とを有する情報処理装置が提供される。
記憶部は、調査対象者の1または複数の生体信号それぞれの定期的な測定値を含む測定データを記憶する。処理部は、前記測定データに示される前記測定値に基づいて、前記調査対象者の精神的な変化に応じて変化する指標値の所定期間内での標準的な値を示す代表値を算出する。さらに処理部は、前記測定データに示される前記測定値に基づいて、判定対象時刻における前記指標値の変化の度合いを表す指標変化値と前記代表値との比に応じた値を、前記判定対象時刻における特徴量として算出する。そして処理部は、前記特徴量に基づいて、前記判定対象時刻に前記調査対象者が危険を感じる状況が発生したか否かを判定する。
1態様によれば、危険状況検出の判定精度を向上させることができる。
第1の実施の形態に係る危険状況検出方法の一例を示す図である。 第2の実施の形態のシステム構成例を示す図である。 スマートフォンのハードウェアの一構成例を示す図である。 スマートフォンのヒヤリハット検出機能を示すブロック図である。 EDAデータの一例を示す図である。 心電データの一例を示す図である。 特徴量管理テーブルの一例を示す図である。 識別器情報の一例を示す図である。 デフォルト教師データの一例を示す図である。 ヒヤリハット検出処理の手順の一例を示すフローチャートである。 EDA特徴量算出処理の手順の一例を示すフローチャートである。 心電特徴量算出処理の手順の一例を示すフローチャートである。 ヒヤリハット通知画面の一例を示す図である。 累積教師データへの教師データの追加例を示す図である。 識別器生成処理の手順の一例を示すフローチャートである。 第3の実施の形態のシステム構成例を示す図である。 第3の実施の形態におけるスマートフォンのヒヤリハット検出機能を示すブロック図である。 脈波からの心拍間隔の算出例を示す図である。 脈波特徴量算出処理の手順の一例を示すフローチャートである。 第4の実施の形態のシステム構成の一例を示す図である。 サーバのハードウェアの構成の一例を示す図である。 第4の実施の形態におけるヒヤリハット検出処理の一例を示す図である。
以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第1の実施の形態〕
以下、第1の実施の形態について説明する。第1の実施の形態は、身体動作時などのEDAの急峻な変化が起こり得る状況下、または生体信号に個人差が発生する状況にあっても、誤検出を起こさず、精度よくヒヤリハットを検出する危険状況検出方法である。
図1は、第1の実施の形態に係る危険状況検出方法の一例を示す図である。図1には、危険状況検出方法を、生体センサ2,3と情報処理装置10とを有する危険状況検出システムによって実施した場合の例を示している。情報処理装置10は、例えば危険状況検出方法の処理手順が記述された危険検出プログラムを実行することにより、危険状況検出方法を実施することができる。
情報処理装置10は、危険状況検出方法を実現するために、記憶部11と処理部12とを有する。記憶部11は、例えば情報処理装置10が有するメモリ、またはストレージ装置である。処理部12は、例えば情報処理装置10が有するプロセッサ、または演算回路である。
情報処理装置10は、調査対象者1が危険を感じる状況の発生の有無を検知する。調査対象者1が危険を感じる状況は、ヒヤリハットと呼ばれる。
調査対象者1は、生体信号を示す物理量を定期的に測定するための1または複数のウェアラブルの生体センサ2,3を装着している。調査対象者1から測定する生体信号は、例えばEDAと心拍間隔との一方または両方である。
生体センサ2は、例えばEDAを測定する皮膚電気センサである。また生体センサ3は、例えば心拍間隔の算出に用いることができる生体信号を取得するセンサである。心拍間隔を、例えば心電図の波形から算出する場合、生体センサ3として心電センサが用いられる。また心拍間隔を、脈波から測定した脈拍の間隔から推定する場合、生体センサ3として脈波センサが用いられる。
情報処理装置10は、生体センサ2,3に接続されており、生体センサ2,3から物理量の測定値を取得し、記憶部11に格納する。記憶部11は、生体センサ2,3で測定された、調査対象者1の1または複数の生体信号それぞれの定期的な測定値を含む測定データ4を記憶する。例えば生体センサ2が皮膚電気センサであれば、記憶部11は、EDAの測定値を示すEDAデータ4aを記憶する。また生体センサ3が心拍間隔算出用の生体信号を取得する心電センサまたは脈波センサであれば、記憶部11は、心電の時系列変化を示す波形(心電図)または脈波の時系列変化を示す波形を示す心拍計算用データ4bを記憶する。
処理部12は、記憶部11に格納された測定データ4に基づいて、調査対象者1がヒヤリハットの状況になったか否かを判定する。例えば処理部12は、まず、測定データ4に示される測定値に基づいて、調査対象者の精神的な変化に応じて変化する指標値の所定期間内での標準的な値を示す代表値を算出する。標準的な値を示す代表値は、例えば所定期間内の指標値の平均値である。また、代表値として中央値、最頻値などの別の値を用いることもできる。
生体信号が皮膚電気活動の場合、調査対象者の精神的な変化に応じて変化する指標値は、皮膚電気活動を示す測定値である。また生体信号が心拍間隔の場合、調査対象者の精神的な変化に応じて変化する指標値は、所定期間内の複数の単位期間ごとのストレス指標値(LF(Low Frequency)/HF(Hi Frequency))である。LF/HFは、心拍間隔の時系列変化を示す波形の所定周波数よりも低い低周波成分の単位期間内の合計エネルギーを、所定周波数よりも高い高周波成分の単位期間内の合計エネルギーで除算して得られる値である。
次に処理部12は、測定データ4に示される測定値に基づいて、判定対象時刻における指標値の変化の度合いを表す指標変化値と代表値との比に応じた値を、判定対象時刻における特徴量として算出する。例えば処理部12は、判定対象時刻における指標値の代表値からの偏差(代表値からの変化の度合い)を、指標変化値とする。また処理部12は、指標値の判定対象時刻における変化速度(単位時間当りの変化の度合い)を、指標変化値とすることもできる。指標値の変化速度は、例えば判定対象時刻の測定値から得られる指標値と、判定対象時刻の直前の測定時刻の測定値から得られる指標値との差分を、測定間隔で除算することで得られる。
特徴量を算出後、処理部12は、算出した特徴量に基づいて、判定対象時刻に調査対象者1が危険を感じる状況が発生したか否かを判定する。例えば処理部12は、機械学習などの手法により調査対象者1が危険を感じる状況が発生したか否かの判定基準を学習しておく。そして処理部12と、算出した特徴量を判定基準と比較することで、調査対象者1が危険を感じる状況が発生したか否かを判定する。
このような情報処理装置10によれば、指標値に所定の演算を行うことで調査対象者1の精神的な変化を明確化した指標変化値を、代表値で除算した値が、特徴量とされる。調査対象者1が危険を感じる状況(ヒヤリハット)が発生したか否かを、このような特徴量に基づいて判定することにより、ヒヤリハットと呼ばれる危険な状況の誤検出が抑止される。
すなわち、例えばEDAの計測値は、調査対象者1の発汗状況に応じて変化する。発汗のしやすさには個人差があり、普段(ヒヤリハットの状況にないとき)から簡単に発汗する人の場合、EDAの測定値の変化の幅が大きくなる。そして発汗しやすい人は、ヒヤリハットの状況になったとき、それ以外の人よりも多く発汗し、EDAの計測値は、普段よりもさらに大きく変動する。
そこで処理部12は、調査対象者1から測定した測定値から求めた指標値の代表値を求めることで、調査対象者1の普段の生体信号の変動のしやすさ(例えば発汗のしやすさ)の指標値への影響の度合いを代表値で表している。そして処理部12は、指標変化値と代表値との比に応じた値(例えば指標変化値を代表値で除算した値)を特徴量とする。これにより、調査対象者1の生体信号の測定値の普段からの変動のしやすさの、特徴量への影響を抑止することができ、ヒヤリハットの誤検出を抑止することができる。
また、調査対象者1の生体信号の物理量は、ヒヤリハットの状況だけでなく、例えば調査対象者1が強い強度の活動を行っている場合にも大きく変動する。情報処理装置10は、調査対象者1が強い強度の活動を行っている場合の物理量の測定値の変動をヒヤリハットと誤検出することを抑止することもできる。なお、調査対象者1の現在の活動の強度を代表値に反映させるために、代表値の算出に用いる測定値の測定期間は、統計的に信頼できる代表値を算出可能な、長すぎない期間とするのが望ましい。
例えば重い物を運搬する場合のように、調査対象者1が強い強度の活動を行っている間は、調査対象者1の心拍間隔が短くなる。処理部12は、心拍間隔に基づく指標値として、例えばLF/HFを用いる。このとき処理部12は、LF/HFの代表値として、例えば直近の数分間の期間内の脈拍間隔から算出したLF/HFの平均値を算出する。これにより、調査対象者1の現在の活動の強度が、LF/HFの代表値に反映される。そして処理部12は、指標変化値と代表値との比に応じた値(例えば指標変化値を代表値で除算した値)を特徴量とする。これにより、調査対象者1の現在の活動の強度の特徴量への影響を抑止することができ、ヒヤリハットの誤検出を抑止することができる。
このように第1の実施の形態に係る危険状況検出方法により、身体動作時などのEDAの急峻な変化が起こり得る状況下、または生体信号に個人差が発生する状況にあっても、誤検出を抑止し、精度よくヒヤリハットを検出することが可能となる。
なお処理部12は、複数の特徴量を算出して、それらの特徴量を組み合わせてヒヤリハットの有無を判定することで、より判定精度を向上させることができる。図1の例では、生体信号はEDAと心拍間隔との2つであり、処理部12は、EDAデータ4aから2種類の特徴量(第1特徴量と第2特徴量)を算出し、心拍計算用データ4bから1種類の特徴量(第3特徴量)を算出している。
例えば処理部12は、第1特徴量と第2特徴量とを算出する場合、皮膚電気活動を示す測定値をそのままEDAの指標値とすることができる。それに対して、処理部12は、第3特徴量を算出する場合、LF/HFを指標値とする。
処理部12は、第1特徴量と第2特徴量を算出するために、まず、EDAの指標値の第1所定期間(例えば60秒)内の平均値(EDAavr)を第1代表値として算出する。次に処理部12は、判定対象時刻におけるEDAの測定値の第1代表値からの偏差(EDA-EDAavr)を第1指標変化値として算出する。そして処理部12は、第1指標変化値を第1代表値で除算した商((EDA-EDAavr)/EDAavr)を第1特徴量(ΔEDA)として算出する。
また処理部12は、判定対象時刻におけるEDAの変化速度(EDA’)を第2指標変化値として算出する。そして処理部12は、第2指標変化値を第1代表値で除算した商(EDA’/EDAavr)を第2特徴量(ΔEDA’)として算出する。
さらに処理部12は、第3特徴量を算出するために、まず、心電または脈波から得られる心拍計算用データ4bに表れる心拍間隔を算出する。次に処理部12は、心拍間隔の時系列変化に基づいてLF/HFを算出する。例えば処理部12は、LF/HF算出対象の時刻を10秒ずつずらし、10秒間隔のLF/HFを算出する。処理部12は、特定の時刻のLF/HFは、例えば該当時刻の直前の60秒間の心拍計算用データ4bに基づいて算出する。
所定時間間隔(例えば10秒)のLF/HFを算出後、処理部12は、LF/HFの第2所定期間(例えば180秒)内の平均値(LF/HFavr)を第2代表値として算出する。次に処理部12は、判定対象時刻におけるLF/HFの測定値の第2代表値からの偏差(LF/HF-LF/HFavr)を第3指標変化値として算出する。さらに処理部12は、第3指標変化値を第2代表値で除算した商((LF/HF-LF/HFavr)/(LF/HFavr))を第3特徴量(ΔLF/HF)として算出する。
そして処理部12は、第1特徴量、第2特徴量、および第3特徴量に基づいて、判定対象時刻に調査対象者が危険を感じる状況が発生したか否かを判定する。例えば処理部12は、予め作成しておいた識別器を用いて、ヒヤリハットの有無を判定する。識別器には、例えば第1特徴量、第2特徴量、および第3特徴量それぞれを座標軸とする空間を、ヒヤリハットありと判定する領域と、ヒヤリハットなしと判定する領域との境界が定義されている。処理部12は、算出された第1特徴量、第2特徴量、および第3特徴量それぞれの特徴量の値に対応する点が、空間内のどちらの領域にあるのかにより、ヒヤリハットの有無を判定する。
このように、複数の特徴量を用いてヒヤリハットの有無を判定することで、より高精度の判定が可能となる。
なお処理部12は、ヒヤリハットの判定に用いる識別器を、例えば調査対象者1から入力された情報に基づいて、判定精度が向上するように更新することもできる。例えば処理部12は、ヒヤリハットの判定により調査対象者1が危険を感じる状況が生じたと判断した場合、判断結果を表示する。次に処理部12は、調査対象者1からの、判断結果の正否を示す回答の入力を受け付ける。そして処理部12は、回答に応じて、調査対象者1が危険を感じる状況が生じたか否かの判定基準を示す情報(識別器)を生成する。このように、識別器の更新を繰り返すことで、ヒヤリハットの判定精度を向上させ、誤判定を抑止することができる。
〔第2の実施の形態〕
次に第2の実施の形態について説明する。第2の実施の形態は、皮膚電気活動と心電とに基づいてヒヤリハットを高精度に検出するものである。
図2は、第2の実施の形態のシステム構成例を示す図である。調査対象者20には、皮膚電気センサ21と心電センサ22とが装着される。
皮膚電気センサ21は、皮膚電気活動を示す物理量を計測するセンサである。例えば皮膚電気センサ21は、皮膚コンダクタンスを計測する。皮膚コンダクタンスを計測する場合、皮膚電気センサ21は、例えば手のひらの2箇所に電極を配置し、電極間のコンダクタンス(電気抵抗の逆数)を計測する。皮膚電気センサ21は、無線通信によって、計測したEDAの値の時間変化を示すEDAデータをスマートフォン100に送信する。
EDAとして測定される皮膚コンダクタンスは、おおよそ0.1~20μSの範囲内の値となる。ただし、個人差や運動強度などによっても変わるため、上記範囲外になることもあり得る。
心電センサ22は、調査対象者20の胸部に取り付けられ、心臓から発生する電気信号(心電)を計測するセンサである。心電センサ22で計測した電気信号の時系列変化が心電図となる。心電センサ22は、無線通信によって、計測した電気信号の変化を示す心電データをスマートフォン100に送信する。
スマートフォン100では、心電データに基づいて、心電図を生成することができる。心電図には、心臓の拍動ごとにR波と呼ばれる特徴的な波が表れる。スマートフォン100は、R波のピーク間の間隔を計測することで、心拍間隔を算出できる。心拍間隔は、おおよそ50~2000msの範囲内の値となる。心拍間隔についてもEDAと同様に、個人差や運動強度などによっても変わるため上記範囲外になることもあり得る。
スマートフォン100は、EDAデータと心電データとに基づいて、ヒヤリハットの有無を判定する。例えば調査対象者20は、精神的に動揺するような状況に置かれたときに発汗する。調査対象者20が発汗すると、調査対象者20の手のひらの所定の2点間の皮膚コンダクタンスが上がる(電気抵抗が下がる)。また調査対象者20は、精神的に動揺するような状況に置かれた場合、心拍間隔が短くなる(単位時間当りの心拍数が上がる)。心拍間隔の時間変化は、心電図の波形に表れる。そこでスマートフォン100は、EDAデータに示されるEDAの時系列変化と心電データに示される心拍間隔の時系列変化に基づいて、調査対象者20がヒヤリハットの状況になったか否かを判断する。
なおEDAや心拍間隔などの生体信号は個人差が大きい。また調査対象者20の身体動作の状況によっても生体信号が変動する。そこでスマートフォン100は、生体信号のトレンドを計算し、トレンドと実測値を比較して得られた値を用いてヒヤリハットの有無を検出する。これにより、身体動作時などの皮膚電気の急峻な変化が起こり得る状況下、且つ生体信号に個人差が発生する状況にあっても誤検出を抑止し、精度よくヒヤリハットを検出することが可能となる。なお、トレンドは、第1の実施の形態に示す代表値の一例である。
図3は、スマートフォンのハードウェアの一構成例を示す図である。スマートフォン100は、プロセッサ101によって装置全体が制御されている。プロセッサ101には、バス110を介してメモリ102と複数の周辺機器が接続されている。プロセッサ101は、マルチプロセッサであってもよい。プロセッサ101は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、またはDSP(Digital Signal Processor)である。プロセッサ101がプログラムを実行することで実現する機能の少なくとも一部を、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)などの電子回路で実現してもよい。
メモリ102は、スマートフォン100の主記憶装置として使用される。メモリ102には、プロセッサ101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ102には、プロセッサ101による処理に利用する各種データが格納される。メモリ102としては、例えばRAM(Random Access Memory)などの揮発性の半導体記憶装置が使用される。
バス110に接続されている周辺機器としては、ストレージ装置103、ディスプレイ装置104、タッチパネル105、機器接続インタフェース106、音声入出力部107、および無線通信部108,109がある。
ストレージ装置103は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置103は、コンピュータの補助記憶装置として使用される。ストレージ装置103には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置103としては、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)を使用することができる。
ディスプレイ装置104は、プロセッサ101からの命令に従って、画像を表示する。ディスプレイ装置104としては、有機EL(Electro Luminescence)を用いた表示装置や液晶表示装置などがある。
タッチパネル105は、ディスプレイ装置104の画面の前面に配置されており、画面上の押された位置を検知して、その位置を示す信号をプロセッサ101に送信する。
機器接続インタフェース106は、スマートフォン100に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース106には、メモリカード31を接続することができる。メモリカード31は、機器接続インタフェース106との通信機能を搭載した、カード型の記録媒体である。
音声入出力部107には、マイク111とスピーカ112とが接続されている。音声入出力部107は、マイク111から入力された音声信号をディジタル信号に変換して、プロセッサ101に送信する。また音声入出力部107は、プロセッサ101から音声データを受信すると、音声データに従った音声信号を生成し、スピーカ112から音声出力を行う。
無線通信部108は、移動体通信用の通信インタフェースである。無線通信部108にはアンテナ113が接続されている。無線通信部108は、アンテナ113を介して、移動体通信の基地局と通信する。
無線通信部109は、近距離の無線通信により、皮膚電気センサ21および心電センサ22と通信を行う。無線通信部109が用いる通信規格としては、例えばBluetooth(登録商標)またはWi-Fi(登録商標)などがある。無線通信部109は、皮膚電気センサ21からEDAデータを受信すると、そのEDAデータをプロセッサ101に送信する。また無線通信部109は、心電センサ22から心電データを受信すると、その心電データをプロセッサ101に送信する。
スマートフォン100は、以上のようなハードウェア構成によって、第2の実施の形態の処理機能を実現することができる。なお、第1の実施の形態に示した情報処理装置10も、図3に示したスマートフォン100と同様のハードウェアにより実現することができる。
スマートフォン100は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第2の実施の形態の処理機能を実現する。スマートフォン100に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、スマートフォン100に実行させるプログラムをストレージ装置103に格納しておくことができる。プロセッサ101は、ストレージ装置103内のプログラムの少なくとも一部をメモリ102にロードし、プログラムを実行する。またスマートフォン100に実行させるプログラムを、メモリカード31などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ101からの制御により、ストレージ装置103にインストールされた後、実行可能となる。またプロセッサ101が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
次にヒヤリハットを検出するためにスマートフォン100が有する機能について説明する。
図4は、スマートフォンのヒヤリハット検出機能を示すブロック図である。スマートフォン100は、記憶部120、EDAデータ取得部131、心電データ取得部132、EDA特徴量算出部133、心電特徴量算出部134、判定部135、ヒヤリハット出力部136、回答取得部141、および識別器生成部142を有する。
記憶部120は、ヒヤリハット検出に利用するデータを記憶する。例えばメモリ102またはストレージ装置103の記憶領域の一部が、記憶部120として使用される。図4の例では、記憶部120は、EDAデータ121、心電データ122、特徴量管理テーブル123、識別器情報124、デフォルト教師データ125、および累積教師データ126を記憶している。
EDAデータ121は、皮膚電気センサ21によって計測されたEDAの値の時系列変化を示すデータである。心電データ122は、心電センサ22によって計測された、心臓で発生した電気信号の時系列変化を示すデータである。特徴量管理テーブル123は、EDAデータ121と心電データ122との特徴を示す特徴量の時系列変化を管理するデータテーブルである。識別器情報124は、ヒヤリハットか否かの識別器を示す情報である。識別器は、例えばサポートベクターマシン(SVM:Support Vector Machine)である。デフォルト教師データ125は、識別器を生成するための学習用のデータである。累積教師データ126は、調査対象者20からの入力に応じて生成された、識別器を生成するための学習用のデータである。
EDAデータ取得部131は、皮膚電気センサ21からEDAの測定値を取得する。EDAデータ取得部131は、取得したEDAの測定値を、EDAデータ121として記憶部120に格納する。
心電データ取得部132は、心電センサ22から、心臓で発生した電気信号の測定値を取得する。心電データ取得部132は、取得した測定値を、心電データ122として記憶部120に格納する。
EDA特徴量算出部133は、EDAデータ121に基づいて、EDAに関する特徴量を算出する。例えばEDA特徴量算出部133は、EDAのトレンドを示す値に対する、EDAの測定値の変化率(EDA変化率)を算出する。EDAのトレンドは、例えば60秒間のEDAの測定値の平均値である。EDA変化率は、EDAのトレンドを基準としたときのEDAの変化の度合いを示している。例えばEDAの測定値とトレンドとの差分(偏差)を、トレンドで除算した値である。EDA特徴量算出部133は、算出したEDA変化率を、生体信号の第1特徴量として、特徴量管理テーブル123に格納する。
またEDA特徴量算出部133は、EDAのトレンドに対する、EDAの測定値の変化速度の比(EDA変化速度比)を算出する。EDAの測定値の変化速度は、EDAの測定値の時系列変化を、時間で微分した値である。EDA速度変換比は、算出した変化速度を、EDAのトレンドで除算した値である。EDA特徴量算出部133は、算出したEDA変化速度比を、生体信号の第2特徴量として、特徴量管理テーブル123に格納する。
心電特徴量算出部134は、心電データ122に基づいて、心電に関する特徴量を算出する。例えば心電特徴量算出部134は、心電データ122に基づいて心拍間隔を算出する。さらに心電特徴量算出部134は、心拍間隔の時系列変化に基づいて、LFをHFで除算した値(LF/HF)を算出する。LFは、低周波数帯域(0.04~0.15Hz)のパワースペクトルの合計量(合計エネルギー)である。HFは、高周波数帯域(0.15~0.4Hz)のパワースペクトルの合計量である。パワースペクトルは、心拍周期の時間変化を示す波の周波数成分ごとの強度である。LF/HFは、おおよそ0.5~5の範囲内の値となるが、個人のストレス状態や疾病状態により範囲外になることもあり得る。
そして心電特徴量算出部134は、LF/HFのトレンドを示す値に対する、LF/HFの変化率(LF/HF変化率)を算出する。LF/HFのトレンドは、例えば180秒間のLF/HFの測定値の平均値である。LF/HF変化率は、トレンドを基準とした場合のLF/HFの変化の度合いを示している。LF/HF変化率は、例えばLF/HFの値とトレンドとの差分(偏差)を、トレンドで除算した値である。心電特徴量算出部134は、算出したLF/HF変化率を、生体信号の第3特徴量として特徴量管理テーブル123に格納する。
判定部135は、識別器情報124で示される識別器を用いて、特徴量管理テーブル123に登録された第1~第3特徴量に基づいて、調査対象者20がヒヤリハットの状況となったか否かを判断する。判定部135は、ヒヤリハットの状況であると判断した場合、ヒヤリハット検出情報をヒヤリハット出力部136に送信する。ヒヤリハット検出情報には、例えばヒヤリハットの検出時刻が示される。
ヒヤリハット出力部136は、ヒヤリハット検出情報を受信すると、スマートフォン100のディスプレイ装置104に、ヒヤリハットを検出したこと、および検出時刻を表示する。
回答取得部141は、ヒヤリハットを検出したとき、調査対象者20によるヒヤリハットに該当する事象の有無に関する回答を取得する。回答を取得すると、回答取得部141は、ヒヤリハットの検出に用いた皮膚電気センサ21の測定値をEDAデータ121から取得すると共に、ヒヤリハットの検出に用いた心電センサ22の測定値を心電データ122から取得する。そして、回答取得部141は、取得した測定値と回答とを、累積教師データ126として記憶部120に格納する。
識別器生成部142は、デフォルト教師データ125と累積教師データ126とに基づいて、識別器を生成する。識別器生成部142は、生成した識別器を示す情報を、識別器情報124として記憶部120に格納する。
なお、図4に示した各要素間を接続する線は通信経路の一部を示すものであり、図示した通信経路以外の通信経路も設定可能である。また、図4に示した各要素の機能は、例えば、その要素に対応するプログラムモジュールをコンピュータに実行させることで実現することができる。
次に、図5~図9を参照して、記憶部120に格納されるデータについて詳細に説明する。
図5は、EDAデータの一例を示す図である。EDAデータ121には、例えば計測した日時に対応付けて、計測された皮膚コンダクタンスが設定されている。測定される皮膚コンダクタンスの単位は、例えばジーメンスである。
測定される皮膚コンダクタンスは、調査対象者20の皮膚上の2点間の皮膚コンダクタンスであり、調査対象者20の発汗によって変動する。例えば調査対象者20がヒヤリハットの状況になり、精神性発汗により汗をかくと、皮膚表面の電気抵抗が下がり、皮膚コンダクタンスが上昇する。
例えばEDAデータ121に示される皮膚コンダクタンスの値を、横軸に時刻、縦軸に皮膚コンダクタンスをとったグラフで表すと、皮膚コンダクタンスの時系列変化が表れる。EDAデータ121は、EDA特徴量算出部133によるEDA変化率の算出に利用される。またEDAデータ121は、EDA特徴量算出部133によるEDA変化速度比の算出にも利用される。
図6は、心電データの一例を示す図である。心電データ122には、例えば計測した日時に対応付けて、調査対象者20の体表面で計測された電位が設定される。電位の単位は、例えばボルトである。心電データ122に基づいて、横軸に時刻、縦軸に電位をとったグラフ作成すると、調査対象者20の心電図となる。
測定される電位は、心臓の洞結節で発生した電気的興奮を示す電気信号である。心臓は、洞結節の電気的興奮に基づいて拍動している。そのため心電によって洞結節の電気的興奮の周期を求めることで、心拍周期が得られる。例えば心電図に表れる1周期内の最も大きな波がR波である。そこでR波の時間間隔(R-R間隔)を測定することで、心拍周期が得られる。
調査対象者20がヒヤリハットの状況になった場合、心拍周期が短くなるため、心拍周期の変動状況を、ヒヤリハットの検出指標として利用することができる。そこで、心電データ122は、心電特徴量算出部134によるLF/HF変化率の算出に利用される。
図7は、特徴量管理テーブルの一例を示す図である。特徴量管理テーブル123には、特徴量を算出した日付と時刻との組に対応付けて、ヒヤリハット有無、第1特徴量、第2特徴量、および第3特徴量が設定されている。
ヒヤリハット有無は、算出した特徴量に基づいてヒヤリハットを検出したか否かを示すフラグである。例えばヒヤリハットを検出した場合、ヒヤリハット有無のフラグが「1」に設定される。またヒヤリハットを検出しなかった場合、ヒヤリハット有無のフラグが「0」に設定される。第1の特徴量はEDA変化率(ΔEDA)である。第2特徴量はEDA変化速度比(ΔEDA’)である。第3の特徴量はLF/HF変化率(ΔLF/HF)である。
図8は、識別器情報の一例を示す図である。識別器情報124は、例えばSVMにおける超平面Hを定義する情報である。超平面Hは、3つの特徴量を軸とする3次元空間において、ヒヤリハットが実際に存在した(Yes)ときの特徴量を示す点を含む領域と、ヒヤリハットが存在しない(No)ときの特徴量を示す点を含む領域との境界を示す平面である。SVMでは、訓練サンプルから、特徴量を示す点との距離が最大となる超平面Hが得られる。
SVMの訓練サンプルは、デフォルト教師データ125と累積教師データ126である。調査対象者20に対するヒヤリハット検出の運用開始前は、デフォルト教師データ125に基づいて生成されたSVMが、識別器情報124として記憶部120に格納される。ヒヤリハット検出の運用開始後、調査対象者20からの回答入力に伴い累積教師データ126が蓄積されると、デフォルト教師データ125と累積教師データ126とに基づいて生成されたSVMが、新たな識別器情報124として記憶部120に格納される。
図9は、デフォルト教師データの一例を示す図である。デフォルト教師データ125には、複数の教師データセット125a,125b,・・・が含まれている。複数の教師データセット125a,125b,・・・それぞれには、EDAデータ41、心電データ42、および正解データ43が含まれる。EDAデータ41は、EDA変化率(ΔEDA)とEDA変化速度比(ΔEDA’)との算出に用いるEDAの計測値である。心電データ42は、LF/HF変化率(ΔLF/HF)の算出に用いる心電の計測値である。正解データ43は、EDAデータ41と心電データ42とに基づくヒヤリハットの判断結果に対する正解を示すデータである。
累積教師データ126に含まれる情報は、デフォルト教師データ125と同種の情報である。ただし、デフォルト教師データ125は予め用意されているのに対し、累積教師データ126は、調査対象者20からの回答入力に応じて生成される。
スマートフォン100は、図5~図9に示したようなデータを用いて、調査対象者20のヒヤリハットの自動検出を行う。
図10は、ヒヤリハット検出処理の手順の一例を示すフローチャートである。以下、図10に示す処理をステップ番号に沿って説明する。なお図10では、非同期で並列に実行される処理を、アクティビティ図で用いるフォークノード(スタート直後の横線)とジョインノード(ステップS103,S106後の横線)で表している。すなわちステップS101~S103の処理とステップS104~S106の処理とは、非同期で並列に実行される。
[ステップS101]EDAデータ取得部131は、皮膚電気センサ21からEDAの測定値を取得する。例えば皮膚電気センサ21は、調査対象者20の皮膚コンダクタンスを測定し、測定時刻と皮膚コンダクタンスの値との組をスマートフォン100に送信する。スマートフォン100では、EDAデータ取得部131が測定時刻と皮膚コンダクタンスの値との組を、EDA測定値として取得する。
[ステップS102]EDAデータ取得部131は、取得したEDAの測定値を、EDAデータ121として記憶部120に記録する。
[ステップS103]EDA特徴量算出部133は、EDA関連の特徴量(EDA変化率とEDA変化速度比)を算出する。EDA関連の特徴量算出処理の詳細は後述する(図11参照)。
[ステップS104]心電データ取得部132は、心電センサ22から心電の測定値を取得する。例えば心電センサ22は、調査対象者20の心臓の電気的興奮を示す電位を体表面で測定し、測定時刻と電位の値との組をスマートフォン100に送信する。スマートフォン100では、心電データ取得部132が測定時刻と電位の値との組を、心電の測定値として取得する。
[ステップS105]心電データ取得部132は、取得した心電の測定値を、心電データ122として記憶部120に記録する。
[ステップS106]心電特徴量算出部134は、心電関連の特徴量(LF/HF変化率)を算出する。心電関連の特徴量算出処理の詳細は後述する(図12参照)。
[ステップS107]判定部135は、識別器を用いて、第1~第3特徴量に示された状況がヒヤリハットの状況か否かを判定する。例えば判定部130は、第1~第3特徴量に対応する点が、SVMとして生成された超平面Hを挟んでどちら側の領域にあるのかにより、ヒヤリハットの状況か否かを判定する。
[ステップS108]ヒヤリハット出力部136は、ヒヤリハットが検出された場合に、ヒヤリハットの検出を示す情報を出力する。例えばヒヤリハット出力部136は、ヒヤリハットの検出時刻と、ヒヤリハットを検出したことを示すメッセージとを、ディスプレイ装置104の画面に表示する。
次に、EDA特徴量算出処理について詳細に説明する。
図11は、EDA特徴量算出処理の手順の一例を示すフローチャートである。以下、図11に示す処理をステップ番号に沿って説明する。
[ステップS111]EDA特徴量算出部133は、記憶部120からEDAデータ121を取得する。
[ステップS112]EDA特徴量算出部133は、取得したEDAデータ121に、60秒分以上のEDAの計測値が記録されているか否かを判断する。EDA特徴量算出部133は、60秒分以上のEDAの計測値が記録されていれば処理をステップS113に進める。またEDA特徴量算出部133は、60秒分以上のEDAの計測値が記録されていなければ、処理をステップS111に進める。
[ステップS113]EDA特徴量算出部133は、EDAの60秒トレンド(EDAavr)を算出する。60秒トレンドは、60秒間で受信したEDAの測定結果(皮膚コンダクタンス値)の平均である。
[ステップS114]EDA特徴量算出部133は、判定対象時刻ごとに、トレンドに対するEDA変化率(ΔEDA)を算出する。判定対象時刻は、例えば直近の60秒の期間内の10秒間隔の時刻である。具体的には、EDA特徴量算出部133は、EDAの計測値からトレンド(EDAavr)を減算することで、EDAの偏差を求める。そしてEDA特徴量算出部133は、EDAの測定値ごとの偏差とトレンド(EDAavr)との比の値を計算し、計算結果をEDA変化率(ΔEDA)とする。
EDA変化率(ΔEDA)を式で表すと、以下のようになる。
ΔEDA=(EDA-EDAavr)/EDAavr)
[ステップS115]EDA特徴量算出部133は、判定対象時刻ごとに、EDA変化速度(EDA’)を算出する。例えばEDA特徴量算出部133は、計算対象のEDAの測定値と、時系列上で直前に測定されたEDAの測定値との差を計算する。そしてEDA特徴量算出部133は、計算した差を、EDAの測定間隔(例えば1秒)で除算した結果を、EDA変化速度(EDA’)とする。
[ステップS116]EDA特徴量算出部133は、判定対象時刻ごとに、トレンドに対するEDAの変化速度比(ΔEDA’)を算出する。例えばEDA特徴量算出部133は、EDA変化速度(EDA’)とトレンド(EDAavr)との比の値を計算し、計算結果をEDAの変化速度比(ΔEDA’)とする。
EDAの変化速度比(ΔEDA’)を式で表すと、以下のようになる。
ΔEDA’=EDA’/EDAavr
[ステップS117]EDA特徴量算出部133は、判定対象時刻ごとに計算したEDA変化率(ΔEDA)とEDAの変化速度比(ΔEDA’)とを出力する。例えばEDA特徴量算出部133は、判定対象時刻(日付と時刻の組)に対応付けて、算出したEDA変化率(ΔEDA)とEDAの変化速度比(ΔEDA’)とを、特徴量管理テーブル123に登録する。
このようにして、所定間隔(例えば10秒)の時刻ごとのEDA特徴量(EDA変化率(ΔEDA)とEDAの変化速度比(ΔEDA’))が算出され、算出された値が特徴量管理テーブル123に登録される。
次に心電特徴量の算出処理について詳細に説明する。
図12は、心電特徴量算出処理の手順の一例を示すフローチャートである。以下、図12に示す処理をステップ番号に沿って説明する。
[ステップS121]心電特徴量算出部134は、記憶部120から心電データ122を取得する。例えば心電特徴量算出部134は、心電に関する特徴量を10秒間隔で算出するために、心電データ122の取得を10秒間隔で行う。
[ステップS122]心電特徴量算出部134は、取得した心電データ122に、60秒分以上の心電の計測値が記録されているか否かを判断する。心電特徴量算出部134は、60秒分以上の心電の計測値が記録されていれば処理をステップS123に進める。また心電特徴量算出部134は、60秒分以上の心電の計測値が記録されていなければ、処理をステップS121に進める。
[ステップS123]心電特徴量算出部134は、直近の60秒分の心電データ122に基づいて、心電図に表れるすべてのR-R間隔を算出する。R-R間隔は、心拍間隔を表している。
[ステップS124]心電特徴量算出部134は、フーリエ変換を実施するために、R-R間隔を4Hzにリサンプリングする。リサンプリングにより、単位期間ごとの該当期間における心拍周期を示す時系列データが生成される。
[ステップS125]心電特徴量算出部134は、リサンプリングされた心拍周期の時系列データに対してフーリエ変換を行い、心拍周期の値の時間変化を示す波形に含まれる周波数ごとの強度を算出する。
[ステップS126]心電特徴量算出部134は、フーリエ変換で得られたデータに基づいて、LF/HFを算出する。例えば心電特徴量算出部134は、パワースペクトルにおける0.04~0.15Hzの周波数帯域の波の強度の積分値を計算し、LFとする。また心電特徴量算出部134は、パワースペクトルにおける0.15~0.4Hzの周波数帯域の波の強度の積分値を計算し、HFとする。そして心電特徴量算出部134は、LFをHFで除算し、LF/HFの値を得る。
[ステップS127]心電特徴量算出部134は、180秒分のLF/HFが算出できたか否かを判断する。例えば10秒間隔で時刻をずらして、該当時刻までの直近60秒の心電データからLF/HFを算出した場合、心電特徴量算出部134は、LF/HFの値が180個得られたとき、180秒分のLF/HFが算出できたと判断する。心電特徴量算出部134は、180秒分のLF/HFが算出できた場合、処理をステップS128に進める。また心電特徴量算出部134は、180秒分のLF/HFが算出できていなければ、処理をステップS121に進める。
[ステップS128]心電特徴量算出部134は、LF/HFの180秒間のトレンド(LF/HFavr)を算出する。例えば心電特徴量算出部134は、180秒分のLF/HFの値の平均を、LF/HFのトレンド(LF/HFavr)とする。
[ステップS129]心電特徴量算出部134は、算出したLF/HFの値ごとに、LF/HFのトレンド(LF/HFavr)に対する、該当LF/HFの変化率(ΔLF/HF)を算出する。具体的には、心電特徴量算出部134は、LF/HFの値からトレンド(LF/HFavr)を減算することで、LF/HFの偏差を求める。そして心電特徴量算出部134は、LF/HFの値ごとの偏差とトレンド(LF/HFavr)との比の値を計算し、計算結果をLF/HF変化率(ΔLF/HF)とする。
LF/HF変化率(ΔLF/HF)を式で表すと、以下のようになる。
ΔLF/HF=(LF/HF-(LF/HFavr))/(LF/HFavr)
[ステップS130]心電特徴量算出部134は、LF/HFの算出対象時刻ごとのLF/HF変化率(ΔLF/HF)を出力する。例えば心電特徴量算出部134は、LF/HFの算出対象時刻に対応付けて、算出したLF/HF変化率(ΔLF/HF)を特徴量管理テーブル123に登録する。
このようにして、所定間隔(例えば10秒)の時刻ごとの心電特徴量(LF/HF変化率(ΔLF/HF)が算出され、算出された値が特徴量管理テーブル123に登録される。
EDA特徴量と心電特徴量が算出されると、判定部135により、算出された特徴量に基づいてヒヤリハットの有無が判定される。そして、調査対象者20がヒヤリハットの状況にあると判断された場合、ヒヤリハット出力部136により、ヒヤリハットの状況であることが調査対象者20に通知される。例えばヒヤリハット出力部136は、ヒヤリハット通知画面をスマートフォン100のディスプレイ装置104に表示する。
図13は、ヒヤリハット通知画面の一例を示す図である。ヒヤリハット通知画面50には、ヒヤリハットの検出時刻ごとのヒヤリハット通知メッセージ51~54が表示されている。ヒヤリハット通知メッセージ51~54には、ヒヤリハットの検出時刻が示されている。
またヒヤリハット通知メッセージ51~54それぞれに対応付けて、回答用のYesボタン51a~54aとNoボタン51b~54bとが表示されている。Yesボタン51a~54aは、ヒヤリハットの検出が正解であることを回答するためのボタンである。例えば調査対象者20は、ヒヤリハットの検出時刻に、実際にヒヤリハットに相当する事柄が存在した場合、検出時刻に対応するYesボタンを押下する。調査対象者20は、ヒヤリハットの検出時刻に、実際にヒヤリハットに相当する事柄が存在していない場合、検出時刻に対応するNoボタンを押下する。
スマートフォン100の回答取得部141は、押されたボタンに基づいて、調査対象者20からの回答を取得する。そして回答取得部141は、累積教師データ126へ新たな教師データセットを追加する。
図14は、累積教師データへの教師データの追加例を示す図である。例えば回答取得部141は、回答55を取得すると、回答55に示される日時に基づいて、その日時のヒヤリハット検出に使用されたEDAの測定値をEDAデータ121から取得する。回答取得部141は、回答55に示される日時に基づいて、その日時のヒヤリハット検出に使用された心電の測定値を心電データ122から取得する。
例えば回答取得部141は、回答55に示される日時までの60秒分のEDAの測定値を、EDAデータ121から取得する。また回答取得部141は、回答55に示される日時までの240秒分の心電の測定値を、心電データ122から取得する。
そして、回答取得部141は、教師データセット126aを生成する。教師データセット126aには、EDAデータ121から抽出したEDAの測定値を含むEDAデータ61、心電データ122から取得した心電の測定値を含む心電データ62、回答55に示される情報を含む回答データ63が含まれる。回答データ63には、ヒヤリハットを検出した日時と、調査対象者20からの回答の内容を示すヒヤリハット有無を示すフラグが含まれる。例えば調査対象者20がヒヤリハット「Yes」と回答した場合、フラグの値は「1」となる。また調査対象者20がヒヤリハット「No」と回答した場合、フラグの値は「0」となる。
なお、累積教師データ126には、過去に取得した回答に応じた教師データセット126b,・・・も蓄積されている。
調査対象者20から回答が入力され、累積教師データ126に教師データセットが蓄積されると、識別器生成部142により、累積教師データ126を用いた識別器の生成処理が行われる。
図15は、識別器生成処理の手順の一例を示すフローチャートである。以下、図15に示す処理をステップ番号に沿って説明する。
[ステップS141]回答取得部141は、調査対象者20にヒヤリハットの検出を通知すると、調査対象者20からの回答入力を待つ。
[ステップS142]回答取得部141は、回答の入力の有無を判断する。回答取得部141は、回答が入力された場合、処理をステップS143に進める。また回答取得部141は、回答が入力されていない場合、処理をステップS141に進める。
[ステップS143]回答取得部141は、回答に応じた教師データセットを累積教師データ126に格納する。
[ステップS144]識別器生成部142は、デフォルト教師データ125を記憶部120から読み出す。
[ステップS145]識別器生成部142は、累積教師データ126を記憶部120から読み出す。
[ステップS146]識別器生成部142は、デフォルト教師データ125と累積教師データ126とのそれぞれに含まれる教師データセットごとに、ステップS147~S148の処理を実施する。
[ステップS147]識別器生成部142は、EDA特徴量算出処理を行う。EDA特徴量算出処理の詳細は、図11に示した処理と同様である。
[ステップS148]識別器生成部142は、心電特徴量算出処理を行う。心電特徴量算出処理の詳細は、図12に示した処理と同様である。
[ステップS149]識別器生成部142は、デフォルト教師データ125と累積教師データ126とのそれぞれに含まれるすべての教師データセットについてステップS147~S148の処理が完了すると、処理をステップS150に進める。
[ステップS150]識別器生成部142は、教師データセットごとに算出した特徴量と、教師データセットに示される正解データとに基づいて、ヒヤリハットの有無を判定するためのSVMを生成する。識別器生成部142は、生成したSVMを示す情報を、識別器情報124として記憶部120に格納する。
このようにして、調査対象者20からの回答に基づいてSVMが更新される。
以上説明したように、第2の実施の形態では、直近の所定期間内の生体信号のトレンドの値を基準として特徴量を算出している。その結果、ヒヤリハットの検出精度が向上する。
例えば、生体信号として取得するEDAは、調査対象者20の発汗状況に応じて変化する。発汗のしやすさは個人差があり、汗をかきやすい人の場合、EDAの測定値が平常時から高い値となる。そこでスマートフォン100においてヒヤリハットを検出する際には、EDAのトレンドの値を用いて、発汗のしやすさの個人差を抑制したEDAの特徴量を算出している。このような特徴量を用いてSVMを学習すると共にヒヤリハットの有無の判定を行うことで、発汗のしやすさの個人差の影響を抑止した高精度の判定を行うことが可能となる。
また、1人の調査対象者20であっても、安静時と活動時とでは発汗状況が異なる。スマートフォン100は、EDAのトレンドを直近の数分の測定値から算出するため、調査対象者20の直近の活動状況がトレンドの値に反映される。例えば強い身体活動を行っているときのように生体信号の急峻な変化が起こり得る状況下では、トレンドの値が高くなる。トレンドは、特徴量の分母として用いられているため、特徴量では、皮膚電気の急峻な変化が低く見積もられる。その結果、調査対象者20が強い身体活動を行っている間であっても、ヒヤリハットを精度よく検出することができる。
なお、身体活動の強度の差は心拍間隔に明確に表れる。例えば調査対象者20が椅子に座って作業をしているときと、荷物を持って移動しているときとでは、心拍間隔が大きく異なる。スマートフォン100は、直近の数分の心電の測定値から心電のトレンドを算出しているため、EDAの特徴量の場合と同様に、調査対象者20の直近の活動状況が心電のトレンドの値に反映される。これにより、身体活動の違いを抑止し、精度よくヒヤリハットを検出することが可能となる。
さらにスマートフォン100は、EDAの特徴量と心電の特徴量とを組み合わせてヒヤリハットを検出しているため、誤検出の少ない高精度のヒヤリハット検出が実現されている。
〔第3の実施の形態〕
次に第3の実施の形態について説明する。第3の実施の形態は、心電センサ22の代わりに脈波センサを用いて心拍間隔を測定するものである。以下、第3の実施の形態における第2の実施の形態との相違点について説明する。
図16は、第3の実施の形態のシステム構成例を示す図である。調査対象者20は、皮膚電気センサ21と脈波センサ23とを装着している。皮膚電気センサ21と脈波センサ23とは、無線によってスマートフォン100と通信可能である。なお、皮膚電気センサ21と脈波センサ23とを含む1つのセンサ装置を用い、調査対象者20に1つのセンサ装置を装着させてもよい。
図17は、第3の実施の形態におけるスマートフォンのヒヤリハット検出機能を示すブロック図である。図17において、図4に示した第2の実施の形態と同じ要素には同じ符号を付し、説明を省略する。
スマートフォン100は、脈波データ取得部137と脈波特徴量算出部138とを有する。また記憶部120は、脈波データ127を記憶する。脈波データ127は、脈波センサ23により検出された脈波(心臓が血液を送り出すことに伴う血管の容積変化)の測定値を示すデータである。
脈波データ取得部137は、脈波センサ23から、脈波の測定値を取得する。脈波データ取得部137は、取得した測定値を、脈波データ127として記憶部120に格納する。
脈波特徴量算出部138は、脈波データ127に基づいて、脈波に関する特徴量を算出する。例えば脈波特徴量算出部138は、脈波データ127に基づいて心拍間隔を算出する。そして脈波特徴量算出部138は、心電特徴量算出部134と同様に、心拍間隔の時系列変化に基づいて、LF/HF変化率を算出し、算出したLF/HF変化率を、生体信号の第3特徴量として特徴量管理テーブル123に格納する。
脈波特徴量算出部138は、例えば脈波の測定の時系列変化の2階微分を計算することで加速度脈波を生成し、加速度脈波に基づいて心拍間隔を求める。
図18は、脈波からの心拍間隔の算出例を示す図である。図18に示すように、測定される脈波(容積脈波)の波形のピーク部分の時間幅が大きく、ピーク間の間隔を計算した際に誤差が大きくなる。そこで脈波特徴量算出部138は、脈波を時間で微分して速度脈波を生成し、さらに速度脈波を時間で微分して加速度脈波を生成する。加速度脈波では、最も大きな波がa波であり、a波の時間幅は短い。すなわち脈波特徴量算出部138は、a波のピーク間の間隔を少ない誤差で計算できる。そこで脈波特徴量算出部138は、加速度脈波のa波間の間隔(a-a間隔)を算出し、a-a間隔を心拍周期とする。
次に、第3の実施の形態におけるヒヤリハット検出処理の手順について説明する。第3の実施の形態では、図10に示す第2の実施の形態のヒヤリハット検出処理のうち、ステップS104~S106の処理が、それぞれ脈波の測定値取得処理、脈波データの記録処理、脈波特徴量算出処理に置き換えられる。脈波の測定値取得処理は、脈波データ取得部137が脈波センサ23から脈波の測定値を取得する処理である。脈波データの記録処理は、脈波データ取得部137が、取得した測定値を、脈波データ127として記憶部120に格納する処理である。脈波特徴量算出処理は、脈波特徴量算出部138が、脈波データ127に基づいてLF/HF変化率を算出する処理である。
図19は、脈波特徴量算出処理の手順の一例を示すフローチャートである。なお、図19に示す処理のうち、ステップS206~S211の処理は、実行主体が脈波特徴量算出部138であるという点を除き、図12に示すステップS125~S130の処理と同様である。以下、図12と異なるステップS201~S205の処理について、ステップ番号に沿って説明する。
[ステップS201]脈波特徴量算出部138は、記憶部120から脈波データ127を取得する。例えば脈波特徴量算出部138は、脈波に関する特徴量を10秒間隔で算出するために、脈波データ127の取得を10秒間隔で行う。
[ステップS202]脈波特徴量算出部138は、取得した脈波データ127に、60秒分以上の脈波の計測値が記録されているか否かを判断する。脈波特徴量算出部138は、60秒分以上の脈波の計測値が記録されていれば処理をステップS203に進める。また脈波特徴量算出部138は、60秒分以上の脈波の計測値が記録されていなければ、処理をステップS201に進める。
[ステップS203]脈波特徴量算出部138は、脈波データ127に基づいて、脈波の波形を時間で2度微分する(2階微分を計算する)ことで、加速度脈波を算出する。
[ステップS204]脈波特徴量算出部138は、直近の60秒分の脈波データに基づいて、加速度脈波の波形に表れるすべてのa-a間隔を算出する。
[ステップS205]脈波特徴量算出部138は、フーリエ変換を実施するために、a-a間隔を4Hzにリサンプリングする。リサンプリングにより、単位期間ごとの該当期間における心拍周期を示す時系列データが生成される。
その後、脈波特徴量算出部138は、図12に示した処理と同様の手順でLF/HF変化率(ΔLF/HF)を算出する。
このように、脈波センサ23で計測した脈波に基づいて、LF/HF変化率(ΔLF/HF)を算出することができる。脈波センサ23は、手首や指先から脈波を測定することができ、皮膚電気センサ21と一体の機器とすることも容易である。そのため、調査対象者20の機器装着の手間を軽減することができる。
〔第4の実施の形態〕
次に第4の実施の形態について説明する。第4の実施の形態は、調査対象者20が所持するスマートフォンにネットワークを介して接続されたサーバにおいて、ヒヤリハットの検出を行うものである。
図20は、第4の実施の形態のシステム構成の一例を示す図である。図20に示すように、スマートフォン100はネットワーク28を介してサーバ200に接続されている。サーバ200は、スマートフォン100から調査対象者20の生体信号を取得し、ヒヤリハットの検出処理を行う。
図21は、サーバのハードウェアの構成の一例を示す図である。サーバ200は、プロセッサ201によって装置全体が制御されている。プロセッサ201には、バス209を介してメモリ202と複数の周辺機器が接続されている。プロセッサ201は、マルチプロセッサであってもよい。プロセッサ201は、例えばCPU、MPU、またはDSPである。プロセッサ201がプログラムを実行することで実現する機能の少なくとも一部を、ASIC、PLDなどの電子回路で実現してもよい。
メモリ202は、サーバ200の主記憶装置として使用される。メモリ202には、プロセッサ201に実行させるOSのプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ202には、プロセッサ201による処理に利用する各種データが格納される。メモリ202としては、例えばRAMなどの揮発性の半導体記憶装置が使用される。
バス209に接続されている周辺機器としては、ストレージ装置203、グラフィック処理装置204、入力インタフェース205、光学ドライブ装置206、機器接続インタフェース207およびネットワークインタフェース208がある。
ストレージ装置203は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置203は、コンピュータの補助記憶装置として使用される。ストレージ装置203には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置203としては、例えばHDDやSSDを使用することができる。
グラフィック処理装置204には、モニタ71が接続されている。グラフィック処理装置204は、プロセッサ201からの命令に従って、画像をモニタ71の画面に表示させる。モニタ71としては、有機ELを用いた表示装置や液晶表示装置などがある。
入力インタフェース205には、キーボード72とマウス73とが接続されている。入力インタフェース205は、キーボード72やマウス73から送られてくる信号をプロセッサ201に送信する。なお、マウス73は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
光学ドライブ装置206は、レーザ光などを利用して、光ディスク74に記録されたデータの読み取りを行う。光ディスク74は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク74には、DVD(Digital Versatile Disc)、DVD-RAM、CD-ROM(Compact Disc Read Only Memory)、CD-R(Recordable)/RW(ReWritable)などがある。
機器接続インタフェース207は、サーバ200に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース207には、メモリ装置75やメモリリーダライタ76を接続することができる。メモリ装置75は、機器接続インタフェース207との通信機能を搭載した記録媒体である。メモリリーダライタ76は、メモリカード77へのデータの書き込み、またはメモリカード77からのデータの読み出しを行う装置である。メモリカード77は、カード型の記録媒体である。
ネットワークインタフェース208は、ネットワーク28に接続されている。ネットワークインタフェース208は、ネットワーク28を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。
サーバ200は、以上のようなハードウェア構成によって、第4の実施の形態の処理機能を実現することができる。
サーバ200は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第4の実施の形態の処理機能を実現する。サーバ200に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、サーバ200に実行させるプログラムをストレージ装置203に格納しておくことができる。プロセッサ201は、ストレージ装置203内のプログラムの少なくとも一部をメモリ202にロードし、プログラムを実行する。またサーバ200に実行させるプログラムを、光ディスク74、メモリ装置75、メモリカード77などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ201からの制御により、ストレージ装置203にインストールされた後、実行可能となる。またプロセッサ201が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
サーバ200は、図4に示したスマートフォン100の機能と同様の機能を有する。ただし、サーバ200では、EDAデータ取得部131と心電データ取得部132とは、スマートフォン100を介して測定値を取得する。
図22は、第4の実施の形態におけるヒヤリハット検出処理の一例を示す図である。スマートフォン100は、皮膚電気センサ21および心電センサ22から取得した測定値をサーバ200に送信する。サーバ200は、受信した測定値に基づいて、図10に示した処理と同様の処理でヒヤリハットを検出する。サーバ200は、調査対象者20がヒヤリハットの状況にあると判断した場合、ヒヤリハット通知をスマートフォン100に送信する。スマートフォン100は、ヒヤリハット通知を受信すると、ヒヤリハット通知画面80を表示する。
調査対象者20がヒヤリハット通知画面80に応じて、スマートフォン100に回答入力を行うと、スマートフォン100は、回答をサーバ200に送信する。サーバ200は、スマートフォン100から回答を受信すると、回答に基づいて新たな教師データセットを生成し、累積教師データ126として蓄積する。そしてサーバ200は、デフォルト教師データ125と累積教師データ126とを用いて、識別器(例えばSVM)を生成する。
このようにサーバ200でヒヤリハット検出を行うことで、スマートフォン100の負荷を軽減することができる。その結果、スマートフォン100の消費電力を低減することができる。サーバ200が、多数の調査対象者20から生体信号の測定値を取得し、ヒヤリハット検出を行うことで、ヒヤリハットの発生事例の情報がサーバ200に集約される。その結果、ヒヤリハットの発生状況を、サーバ200でリアルタイムに監視することができる。
〔その他の実施の形態〕
第2~第4の実施の形態におけるスマートフォン100は、パーソナルコンピュータまたはタブレットなどのコンピュータに置き換えることができる。
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の2以上の構成(特徴)を組み合わせたものであってもよい。
1 調査対象者
2,3 生体センサ
4 測定データ
4a EDAデータ
4b 心拍計算用データ
10 情報処理装置
11 記憶部
12 処理部

Claims (8)

  1. 調査対象者の皮膚電気活動と心拍間隔との一方または両方の定期的な測定値を含む測定データを記憶する記憶部と、
    前記測定データに示される前記測定値に基づいて、前記調査対象者の精神的な変化に応じて変化する指標値の所定期間内での標準的な値を示す代表値を算出し、前記測定データに示される前記測定値に基づいて、判定対象時刻における前記指標値の変化の度合いを表す指標変化値と前記代表値との比に応じた値を、前記判定対象時刻における特徴量として算出し、前記特徴量に基づいて、前記判定対象時刻に前記調査対象者が危険を感じる状況が発生したか否かを判定する処理部と、
    を有する情報処理装置。
  2. 記皮膚電気活動の前記指標値は、前記皮膚電気活動を示す前記測定値であり、前記心拍間隔の前記指標値は、前記所定期間内の複数の単位期間ごとに、前記心拍間隔の時系列変化を示す波形の所定周波数よりも低い低周波成分の合計エネルギーを前記所定周波数よりも高い高周波成分の合計エネルギーで除算して得られる、前記単位期間ごとのストレス指標値である、
    請求項1記載の情報処理装置。
  3. 前記処理部は、前記判定対象時刻における前記指標値の前記代表値からの偏差を、前記指標変化値とする、
    請求項1または2に記載の情報処理装置。
  4. 前記処理部は、前記指標値の前記判定対象時刻における変化速度を、前記指標変化値とする、
    請求項1ないし3のいずれかに記載の情報処理装置。
  5. 記皮膚電気活動の前記指標値は、前記皮膚電気活動を示す前記測定値であり、前記心拍間隔の前記指標値は、前記所定期間内の複数の単位期間ごとに、前記心拍間隔の時系列変化を示す波形の所定周波数よりも低い低周波成分の合計エネルギーを前記所定周波数よりも高い高周波成分の合計エネルギーで除算したストレス指標値であり、
    前記処理部は、
    前記皮膚電気活動の前記指標値の第1所定期間内の平均値を第1代表値として算出し、
    前記判定対象時刻における前記皮膚電気活動を示す前記測定値の前記第1代表値からの偏差を第1指標変化値として算出し、
    前記第1指標変化値を前記第1代表値で除算した商を第1特徴量として算出し、
    前記判定対象時刻における前記皮膚電気活動の変化速度を第2指標変化値として算出し、
    前記第2指標変化値を前記第1代表値で除算した商を第2特徴量として算出し、
    前記心拍間隔の前記指標値の第2所定期間内の平均値を第2代表値として算出し、
    前記判定対象時刻における前記ストレス指標値の前記第2代表値からの偏差を第3指標変化値として算出し、
    前記第3指標変化値を前記第2代表値で除算した商を第3特徴量として算出し、
    前記第1特徴量、前記第2特徴量、および前記第3特徴量に基づいて、前記判定対象時刻に前記調査対象者が危険を感じる状況が発生したか否かを判定する、
    請求項1記載の情報処理装置。
  6. 前記処理部は、前記調査対象者が危険を感じる状況が生じたと判断した場合、判断結果を表示させ、前記判断結果の正否を示す回答の入力を受け付け、前記回答に応じて、前記調査対象者が危険を感じる状況が生じたか否かの判定基準を示す情報を生成する、
    請求項1ないし5のいずれかに記載の情報処理装置。
  7. 調査対象者の皮膚電気活動と心拍間隔との一方または両方を定期的に測定するセンサと、
    前記センサが測定した測定値を取得し、取得した前記測定値に基づいて、前記調査対象者の精神的な変化に応じて変化する指標値の所定期間内での標準的な値を示す代表値を算出し、前記測定値に基づいて、判定対象時刻における前記指標値の変化の度合いを表す指標変化値と前記代表値との比に応じた値を、前記判定対象時刻における特徴量として算出し、前記特徴量に基づいて、前記判定対象時刻に前記調査対象者が危険を感じる状況が発生したか否かを判定する情報処理装置と、
    を有する危険状況検出システム。
  8. 調査対象者の皮膚電気活動と心拍間隔との一方または両方の定期的な測定値に基づいて、前記調査対象者の精神的な変化に応じて変化する指標値の所定期間内での標準的な値を示す代表値を算出し、
    前記測定値に基づいて、判定対象時刻における前記指標値の変化の度合いを表す指標変化値と前記代表値との比に応じた値を、前記判定対象時刻における特徴量として算出し、
    前記特徴量に基づいて、前記判定対象時刻に前記調査対象者が危険を感じる状況が発生したか否かを判定する、
    処理をコンピュータが実行する危険状況検出方法。
JP2019079135A 2019-04-18 2019-04-18 情報処理装置、危険状況検出システム、および危険状況検出方法 Active JP7256380B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019079135A JP7256380B2 (ja) 2019-04-18 2019-04-18 情報処理装置、危険状況検出システム、および危険状況検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019079135A JP7256380B2 (ja) 2019-04-18 2019-04-18 情報処理装置、危険状況検出システム、および危険状況検出方法

Publications (2)

Publication Number Publication Date
JP2020174905A JP2020174905A (ja) 2020-10-29
JP7256380B2 true JP7256380B2 (ja) 2023-04-12

Family

ID=72936369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019079135A Active JP7256380B2 (ja) 2019-04-18 2019-04-18 情報処理装置、危険状況検出システム、および危険状況検出方法

Country Status (1)

Country Link
JP (1) JP7256380B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023004383A (ja) * 2021-06-25 2023-01-17 オムロンヘルスケア株式会社 生体情報測定システム、生体情報測定プログラム及び生体情報測定装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003305026A (ja) 2002-04-17 2003-10-28 National Institute Of Advanced Industrial & Technology 危険回避支援方法及び危険回避支援装置
JP2013205965A (ja) 2012-03-27 2013-10-07 Fujitsu Ltd 生体情報処理装置及び生体情報処理方法
JP2017042262A (ja) 2015-08-25 2017-03-02 マツダ株式会社 運転者状態検出装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003305026A (ja) 2002-04-17 2003-10-28 National Institute Of Advanced Industrial & Technology 危険回避支援方法及び危険回避支援装置
JP2013205965A (ja) 2012-03-27 2013-10-07 Fujitsu Ltd 生体情報処理装置及び生体情報処理方法
JP2017042262A (ja) 2015-08-25 2017-03-02 マツダ株式会社 運転者状態検出装置

Also Published As

Publication number Publication date
JP2020174905A (ja) 2020-10-29

Similar Documents

Publication Publication Date Title
US20220222687A1 (en) Systems and Methods for Assessing the Marketability of a Product
RU2602797C2 (ru) Способ и устройство измерения стресса
EP3636146B1 (en) Apparatus and method for estimating blood pressure
JP4754447B2 (ja) 生体解析装置及びプログラム
TW201538127A (zh) 睡眠檢測系統和方法
JP2007117591A (ja) 脈波解析装置
JP2006263354A (ja) 人体の個体情報取得装置、血圧測定装置および脈波信号解析装置
JP6579890B2 (ja) 疲労度計
JP2010201113A (ja) 疲労度の判定処理システム
JP6676499B2 (ja) 疲労度判定装置、疲労度判定方法、疲労度判定プログラム、及び、生体情報測定装置
JP2014171660A (ja) 心房細動解析装置、心房細動解析システム、心房細動解析方法およびプログラム
CN106037701A (zh) 生物体信息处理系统和装置、及解析结果信息的生成方法
JP2017063966A (ja) 疲労度計
JP2005152053A (ja) 動作解析装置およびその利用
Prawiro et al. Integrated wearable system for monitoring heart rate and step during physical activity
JP2019030389A (ja) 自律神経状態評価装置、自律神経状態評価システム、自律神経状態評価方法及びプログラム
JP2016163698A (ja) 精神状態判定方法及び精神状態判定プログラム
WO2016048520A1 (en) System method for assessing fitness state via a mobile device
JP7256380B2 (ja) 情報処理装置、危険状況検出システム、および危険状況検出方法
JP4882052B2 (ja) 自己組織化マップを用いた脈波診断システム並びに自己組織化マップの生成プログラム及び生成方法
KR102459319B1 (ko) 보행 속도에 기초한 노쇠 정도 측정기
JP2016067480A (ja) 生体情報検出装置
JP5296392B2 (ja) 自己組織化マップを用いた健康状態判定支援システム及び自己組織化マップ生成システム
KR101034886B1 (ko) 짧은 심장박동 주기의 변화를 이용한 졸음상태 판정 시스템 및 방법
JP2006061416A (ja) 生体電位検知システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230313

R150 Certificate of patent or registration of utility model

Ref document number: 7256380

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150