JP7279812B2 - ストレス推定装置、ストレス推定装置の作動方法、及び、プログラム - Google Patents

ストレス推定装置、ストレス推定装置の作動方法、及び、プログラム Download PDF

Info

Publication number
JP7279812B2
JP7279812B2 JP2021554468A JP2021554468A JP7279812B2 JP 7279812 B2 JP7279812 B2 JP 7279812B2 JP 2021554468 A JP2021554468 A JP 2021554468A JP 2021554468 A JP2021554468 A JP 2021554468A JP 7279812 B2 JP7279812 B2 JP 7279812B2
Authority
JP
Japan
Prior art keywords
stress
arousal level
feature amount
arousal
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021554468A
Other languages
English (en)
Other versions
JPWO2021090402A5 (ja
JPWO2021090402A1 (ja
Inventor
祥史 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021090402A1 publication Critical patent/JPWO2021090402A1/ja
Publication of JPWO2021090402A5 publication Critical patent/JPWO2021090402A5/ja
Application granted granted Critical
Publication of JP7279812B2 publication Critical patent/JP7279812B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4884Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、ストレスを推定する技術に関する。
現代はストレス社会と言われ、人々は職場、家庭など様々な環境でストレスにさらされている。このため、人間のストレスを判定、推定するための各種の手法が提案されている。例えば、特許文献1は、対象者の睡眠中の体動、呼吸、脈波などを検出し、睡眠中のストレス度を判定する手法を提案している。特許文献2は、カメラやマイクを用いて対象者の顔画像データや音声データ等の人体情報を検出し、センサなどにより検出したストレス量と予め関連付けておくことにより、人体情報から対象者のストレス状態を推定する手法を提案している。
特開2016-107095号公報 特開2011-167323号公報
職場における作業中に労働者が感じるストレスは、作業の効率や安全性の低下などにつながり、労働者の健康にも影響を与えることが知られている。よって、作業効率の改善や労働者の健康管理などの観点から、労働者のストレスをモニタリングすることが求められている。
本発明の目的の1つは、対象者に負担をかけずに、ストレスを定量的に推定することにある。
上記の課題を解決するため、本発明の1つの観点では、ストレス推定装置は、
対象者の覚醒度を取得する覚醒度取得手段と、
取得された覚醒度の特徴量を算出する特徴量算出手段と、
ストレスのモデルを用いて、算出された特徴量からストレスを推定するストレス推定手段と、
を備え
前記覚醒度は時系列信号であり、
前記特徴量は、前記覚醒度の時間変化が所定の範囲となる割合である
本発明の他の観点では、ストレス推定装置は、
対象者の覚醒度を取得する覚醒度取得手段と、
取得された覚醒度の特徴量を算出する特徴量算出手段と、
ストレスのモデルを用いて、算出された特徴量からストレスを推定するストレス推定手段と、
を備え、
前記覚醒度は時系列信号であり、
前記特徴量は、前記覚醒度の時間変化の分布を示すヒストグラムを規定する情報である。
本発明のさらに他の観点では、入力部とコンピュータとを備えるストレス推定装置の作動方法は、
前記入力部が、対象者の覚醒度を取得し、
前記コンピュータが、取得された覚醒度の特徴量を算出し、
前記コンピュータが、ストレスのモデルを用いて、算出された特徴量からストレスを推定し、
前記覚醒度は時系列信号であり、
前記特徴量は、前記覚醒度の時間変化が所定の範囲となる割合である
本発明のさらに他の観点では、入力部とコンピュータとを備えるストレス推定装置の作動方法は、
前記入力部が、対象者の覚醒度を取得し、
前記コンピュータが、取得された覚醒度の特徴量を算出し、
前記コンピュータが、ストレスのモデルを用いて、算出された特徴量からストレスを推定し、
前記覚醒度は時系列信号であり、
前記特徴量は、前記覚醒度の時間変化の分布を示すヒストグラムを規定する情報である。
本発明のさらに他の観点では、プログラムは、
対象者の覚醒度を取得し、
取得された覚醒度の特徴量を算出し、
ストレスのモデルを用いて、算出された特徴量からストレスを推定する処理をコンピュータに実行させ
前記覚醒度は時系列信号であり、
前記特徴量は、前記覚醒度の時間変化が所定の範囲となる割合である
本発明のさらに他の観点では、プログラムは、
対象者の覚醒度を取得し、
取得された覚醒度の特徴量を算出し、
ストレスのモデルを用いて、算出された特徴量からストレスを推定する処理をコンピュータに実行させ、
前記覚醒度は時系列信号であり、
前記特徴量は、前記覚醒度の時間変化の分布を示すヒストグラムを規定する情報である。
本発明によれば、対象者に負担をかけずに、ストレスを定量的に推定することが可能となる。
本発明の第1実施形態に係るストレス推定装置の概略構成を示す。 第1実施形態に係るストレス推定装置のハードウェア構成を示す。 第1実施形態に係るストレス推定装置の機能構成を示す。 覚醒度生成部の構成例を示す。 覚醒度の例を示すグラフである。 覚醒度に基づく値とストレスとの相関を示すグラフである。 覚醒度に基づく値とストレスの高低との関係を示すグラフである。 ストレス推定処理のフローチャートである。 ストレス推定の評価結果を示すグラフである。 第2実施形態における特徴量を説明する図である。 第3実施形態に係るストレス推定装置の機能構成を示す。
以下、図面を参照して本発明の好適な実施形態について説明する。
[第1実施形態]
(構成)
図1は、本発明の第1実施形態に係るストレス推定装置の概略構成を示す。ストレス推定装置1は、カメラ2に接続される。カメラ2は、ストレス推定の対象者(以下、単に「対象者」と呼ぶ。)の顔を撮影し、撮影画像D1をストレス推定装置1に送信する。カメラ2は、典型的には、デスクワークで対象者が使用するPC(Personal Computer)に設けられる、いわゆるウェブカメラや赤外線カメラなどを使用することができる。但し、カメラ2の例はこれには限られず、例えば、対象者が装着するメガネなどに設けられ、眼電位の測定により対象者のまぶたの動き(開閉)を検出するデバイスなどを使用してもよい。
ストレス推定装置1は、撮影画像D1を分析して対象者のストレスを推定し、ストレス推定結果を出力する。ストレス推定結果は、それを利用する各種の装置に供給される。例えば、社員の業務管理や健康管理を行うシステムにおいては、各社員のストレス推定結果をサーバで監視し、ある社員のストレスが高いと判断された場合、その社員が使用しているPCのディスプレイに休憩をとるよう促すメッセージを表示したりすることができる。
図2は、ストレス推定装置1のハードウェア構成を示すブロック図である。図示のように、ストレス推定装置1は、インタフェース(Interface)11と、プロセッサ12と、メモリ13と、記録媒体14と、を備える。
インタフェース11は、カメラ2との間でデータの授受を行う。インタフェース11は、カメラ2が生成した撮影画像を受信する際に使用される。また、インタフェース11は、ストレス推定装置1が、ストレス推定結果を利用する装置にストレス推定結果を出力する際に使用される。
プロセッサ12は、CPU(Central Processing Unit)などのコンピュータであり、予め用意されたプログラムを実行することにより、ストレス推定装置1の全体を制御する。メモリ13は、ROM(Read Only Memory)、RAM(Random Access Memory)などにより構成される。メモリ13は、プロセッサ12により実行される各種のプログラムを記憶する。また、メモリ13は、プロセッサ12による各種の処理の実行中に作業メモリとしても使用される。
記録媒体14は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、ストレス推定装置1に対して着脱可能に構成される。記録媒体14は、プロセッサ12が実行する各種のプログラムを記録している。ストレス推定装置1がストレス推定処理を実行する際には、記録媒体14に記録されているプログラムがメモリ13にロードされ、プロセッサ12により実行される。
図3は、ストレス推定装置1の機能構成を示すブロック図である。ストレス推定装置1は、機能的には、覚醒度生成部21と、特徴量算出部22と、ストレス推定部23と、ストレスモデル記憶部24と、を備える。なお、覚醒度生成部21、特徴量算出部22及びストレス推定部23は、プロセッサ12がプログラムを実行することにより実現され、ストレスモデル記憶部24は、メモリ13により実現される。
覚醒度生成部21は、カメラ2から供給される撮影画像D1から、覚醒度D3を生成する。覚醒度とは、人が覚醒している度合いを示す値である。覚醒度が高い状態は、人が起きていて目がさえている状態であり、覚醒度が低い状態は人が眠い状態である。覚醒度生成部21は、対象者の顔の撮影画像D1を分析し、その対象者の覚醒度D3を算出して特徴量算出部22へ供給する。
図4は、覚醒度生成部21の構成例を示すブロック図である。この例では、覚醒度生成部21は、開眼度検出部21aと、フィルタリング部21bとを備える。開眼度検出部21aは、撮影画像D1を画像処理して対象者の開眼度を検出し、開眼度の時系列信号D2をフィルタリング部21bに出力する。「開眼度」は、対象者の眼が開いている程度を示す値であり、撮影画像D1の分析により算出される。なお、開眼度としては、対象者の左右の眼の一方の開眼度を用いてもよく、左右の眼の開眼度の平均値などを用いても良い。
フィルタリング部21bは、開眼度の時系列信号D2から、対象者の瞬きにより生じる信号の変化分を除去するフィルタリングを行う。一般的に、人間の瞬きの時間は0.1~0.15秒程度であるので、その周波数は10~6.7Hz程度である。よって、フィルタリング部21bは、開眼度の時系列信号D2から、その周波数帯域の信号を除去した信号を覚醒度D3として出力する。これにより、覚醒度は、人間の眼の開眼度のうち、瞬き以外の眼の開閉を示す時系列信号となる。言い換えると、覚醒度は、生理現象であるの瞬きによるものではなく、眠気によって対象者の眼が開閉する状態を数値化した値となる。なお、図4の例では、撮影画像における対象者の開眼度を用いて覚醒度を生成しているが、覚醒度生成部21はこれ以外の手法により覚醒度を生成してもよい。
例えば、覚醒度生成部21は、以下の文献に記載の手法を用いて覚醒度を生成してもよい。
Tsujikawa, Y. Onishi, Y. Kiuchi, T. Ogatsu, A. Nishino , S. Hashimoto,“Drowsiness Estimation from Low-Frame-Rate Facial Videos using Eyelid Variability Features, ” Conf Proc IEEE Eng Med Biol Soc. 2018 Jul;2018:5203-5206., 2018.
特徴量算出部22は、時系列信号である覚醒度D3の時間変化が所定の範囲となる割合を特徴量D4として算出する。具体的には、特徴量算出部22は、覚醒度生成部21から供給された覚醒度D3の1階微分又は2階微分を時間変化として算出し、その値が予め決められた閾値未満となる割合を特徴量D4としてストレス推定部23へ供給する。なお、特徴量としてこのような値を使用する理由については後述する。
ストレス推定部23は、ストレスモデルを用いて、特徴量からストレスを推定する。ストレスモデルは、機械学習により予め生成されたストレスの学習モデルである。例えば、覚醒度から求めた特徴量を訓練データとし、アンケートなどにより得られたそのときのストレス値を教師ラベルとして事前にモデルの学習を行い、ストレスモデルを生成しておく。なお、ストレス値を連続値として取り扱う場合、ストレスモデルは回帰モデルとなり、例えばサポートベクター回帰(SCR:Support Vector Regression)や深層学習のニューラルネットワークなどを使用することができる。また、ストレス値を離散クラスとする場合、ストレスモデルはクラス分類モデルとなり、サポートベクターマシン(SVM:Support Vector Machine)やニューラルネットワークなどを使用することができる。
ストレスモデルに関する情報(以下、ストレスモデル情報」とも呼ぶ。)D5は、ストレスモデル記憶部24に予め記憶されている。ストレス推定部23は、ストレス推定を行う状況において覚醒度に基づく特徴量D4を取得すると、ストレスモデルを用いて特徴量D4からストレスを推定し、ストレス推定結果として出力する。
(特徴量)
次に、特徴量算出部22が算出する特徴量について詳しく説明する。上記のように、特徴量は、ストレスモデルを用いてストレスを推定する際の入力となる値であるので、ストレスのレベルや量などと相関を有する値とする必要がある。そこで、特徴量の候補として、覚醒度に基づく値のうち、(a)平均覚醒度、(b)覚醒度が閾値未満である割合、(c)覚醒度の1階微分が閾値未満である割合、(d)覚醒度の2階微分が閾値未満である割合について検討する。
図5(A)は、覚醒度生成部21で生成された覚醒度の時系列信号の例を示すグラフである。図5(A)のグラフにおいて、横軸は時間を示し、縦軸は覚醒度の値を示す。図5(A)の例は、ある測定開始時刻(「00:00」とする。)からの3時間における覚醒度の変化を示している。なお、本例では、覚醒度は所定の時間間隔(例えば10秒程度)の離散値(デジタル値)であり、「0~100」の値をとる。覚醒度「100」は覚醒状態を示し、覚醒度「0」は睡眠状態を示す。覚醒度の値が大きいほど対象者は覚醒しており、覚醒度の値が小さいほど対象者は眠気を有していることになる。
図5(B)は、覚醒度の1階微分を示すグラフである。なお、この例では覚醒度が離散値であるので、1階微分は差分値となる。図5(B)のグラフにおいて、横軸は測定開始時刻からの経過時間を示し、縦軸は覚醒度の1階微分(「Δ覚醒度」とも記す。)を示す。Δ覚醒度は、対象者の覚醒度の変動、即ち、対象者の眠気の変動を示す。Δ覚醒度が「0」付近のときは対象者の眠気の変動は小さく、Δ覚醒度の正負の値、即ち、絶対値が大きくなると、対象者の眠気の変動が大きくなる。なお、眠気の変動が大きい状態とは、眠りそうになったり、覚醒したりを繰り返す状態である。
図5(C)は、覚醒度の2階微分を示すグラフである。図5(C)のグラフにおいて、横軸は測定開始時刻からの経過時間を示し、縦軸は覚醒度の2階微分(「ΔΔ覚醒度」とも記す。)を示す。ΔΔ覚醒度は、対象者の覚醒度の急激な変動、即ち、対象者の眠気の急激な変動を示す値となる。ΔΔ覚醒度が「0」付近のときは対象者の眠気の急激な変動は小さく、ΔΔ覚醒度の正負の値、即ち、絶対値が大きくなると、対象者の眠気の急激な変動が大きくなる。
さて、一般的に、日中や勤務中などにおいては、人間は眠気が大きいほどストレスが大きいと言われている。この考えによれば、例えば、図5(A)に示すようにある適切な閾値THaを設定すると、覚醒度が閾値THa以下であるとき、対象者は眠い状態、即ち、ストレスの大きい状態と推測することができる。そこで、まず、人間のストレスと、(a)平均覚醒度、及び、(b)覚醒度が閾値THa以下となる割合との関係を検討してみた。
図6(A)は、平均覚醒度とPSS(Perceived Stress Scale)との関係を示すグラフである。なお、PSSはアンケート結果に基づいて算出したストレス値である。図6(A)において、縦軸はPSSを示し、「0~40」の値をとる。本例では「40」がPSSの最大値であり、ストレスが最大の状態に相当する。横軸は平均覚醒度、即ち、覚醒度の平均値である。本例では、所定期間(1か月)にわたり、職場環境における対象者の顔画像を撮影して覚醒度を算出し、平均覚醒度を算出した。また、その所定期間の経過後にアンケートを行い、アンケート結果に基づいてPSSを算出した。図6(A)において、各点は1人の対象者の平均値とPSSの関係を示す。図中の直線は各対象者のデータに基づいて算出した回帰直線であり、図中のグレーの領域は回帰直線の信頼区間を示す。図6(A)のグラフから、平均覚醒度とPSSにはほとんど相関が無く、平均覚醒度は、特徴量として適当でないことがわかる。
図6(B)は、覚醒度がある閾値未満となった割合(「%(覚醒度<閾値)」と記す。)と、PSSとの関係を示す。具体的に、%(覚醒度<閾値)は以下のように算出される。
%(覚醒度<閾値)
=(覚醒度が閾値未満である時間の合計)/(所定期間) (1)
なお、閾値は、例えば図5(A)における閾値THaのように、予め適切な値に決められる。図6(B)のグラフから、覚醒度が閾値未満となった割合とPSSにはほとんど相関が無く、覚醒度が閾値未満となった割合は、特徴量として適当でないことがわかる。
次に、覚醒度の1階微分又は2階微分に基づく値とPSSとの関係を検討する。図6(C)は、覚醒度の1階微分(Δ覚醒度)が閾値未満となった割合(「%(Δ覚醒度<閾値)」と記す。)とPSSとの関係を示す。具体的に、%(Δ覚醒度<閾値)は以下のように算出される。
%(Δ覚醒度<閾値)
=(Δ覚醒度が閾値未満である時間の合計)/(所定期間) (2)
なお、閾値は、図5(B)における閾値THbのように、予め適切な値に決められる。図6(C)のグラフから、覚醒度の1階微分とPSSとの間には相関があることがわかる。よって、%(Δ覚醒度<閾値)は、特徴量として適当と考えられる。
図6(D)は、覚醒度の2階微分(ΔΔ覚醒度)が閾値未満となった割合(「%(ΔΔ覚醒度<閾値)」と記す。)とPSSとの関係を示す。具体的に、%(ΔΔ覚醒度<閾値)は以下のように算出される。
%(ΔΔ覚醒度<閾値)
=(ΔΔ覚醒度が閾値未満である時間の合計)/(所定期間) (3)
なお、閾値は、図5(C)における閾値THcのように、予め適切な値に決められる。図6(D)のグラフから、覚醒度の2階微分とPSSとの間には相関があることがわかる。よって、%(ΔΔ覚醒度<閾値)は、特徴量として適当と考えられる。
図7(A)は、ある閾値を用いてPSSをストレスの高い(H)クラスと低い(L)クラスの2クラスに分割した場合のストレスの高低と、%(Δ覚醒度<閾値)との関係を示す。図7(A)の縦軸は%(Δ覚醒度<閾値)を示し、横軸はストレスの高低(H/L)を示す。図7(A)の2つのグラフ上に描いた矩形40はストレスが低い対象者の分布を示し、矩形50はストレスが高い対象者数の分布を示す。図7(A)のストレス「L」のグラフにおいて、矩形の下端40dは、対象者の分布において、%(Δ覚醒度<閾値)の値が小さい方から対象者総数の1/4の数に相当する位置を示す。矩形の上端40uは、対象者の分布において、%(Δ覚醒度<閾値)の値が大きい方から対象者総数の1/4の数に相当する位置を示す。矩形内の線分40cは、対象者の分布において、%(Δ覚醒度<閾値)の値の中央値に対応する位置を示す。図7(A)のストレス「H」のグラフにおける矩形50についても、下端50d、上端50u、線分50cの意味は同様である。
また、図7(B)は、ある閾値を用いてPSSをストレスの高い(H)クラスと低い(L)クラスの2クラスに分割した場合のストレスの高低(H/L)と、%(ΔΔ覚醒度<閾値)との関係を示す。図7(B)の縦軸は%(ΔΔ覚醒度<閾値)を示し、横軸はストレスの高低を示す。図7(B)の2つのグラフ上に描いた矩形は、図7(A)と同様に対象者数の分布を示す。各矩形の上端、下端、線分の意味も図7(A)と同様である。
図7(A)及び7(B)に示すように、%(Δ覚醒度<閾値)及び%(ΔΔ覚醒度<閾値)のいずれを用いた場合でも、ストレスの高い対象者とストレスの低い対象者は、異なる分布になることがわかる。実際に、統計上の有意確率(p値)を求めると、覚醒度の1階微分が閾値未満となる割合「%(Δ覚醒度<閾値)」のp値は「0.03」であり、覚醒度の2階微分が閾値未満となる割合「%(ΔΔ覚醒度<閾値)」のp値は「0.019」となった。いずれも一般的な基準値「0.05」より小さい値であるため、「%(Δ覚醒度<閾値)」及び「%(ΔΔ覚醒度<閾値)」を用いた分類結果は有意差を有すると認められる。特に、「%(Δ覚醒度<閾値)」のp値(0.03)より、「%(ΔΔ覚醒度<閾値)」のp値(0.019)の方が小さいため、ストレスのクラス分類には、覚醒度の2階微分が閾値未満となる割合の方がより適していると考えられる。
このように、単純な平均覚醒度や覚醒度が閾値未満となる割合は、ストレス値との相関が低く、ストレス推定に使用する特徴量としては有効でないことがわかる。これに対し、覚醒度の1階微分や2階微分に基づく割合は、ストレス値と相関が高く、ストレス推定に使用する特徴量として有効であることがわかる。そこで、本実施形態では、覚醒度の時間変化が所定の範囲となる割合、具体的には覚醒度の1階微分や2階微分が閾値未満となる割合を特徴量として使用する。
(ストレス推定処理)
次に、ストレス推定装置1により実行されるストレス推定処理について説明する。図8は、ストレス推定処理のフローチャートである。この処理は、図1に示すプロセッサ12が予め用意されたプログラムを実行し、図3に示す各要素として機能することにより実現される。
まず、覚醒度生成部21は、カメラ2から撮影画像D1を取得し(ステップS11)、覚醒度D3を算出する(ステップS12)。次に、特徴量算出部22は、覚醒度D3から特徴量D4を算出する(ステップS13)。特徴量D4としては、上述のように、覚醒度の時間変化が所定範囲となる割合、具体的には、覚醒度の1階微分又は2階微分が閾値未満となる割合が算出される。
次に、ストレス推定部23は、ストレスモデル記憶部24に記憶されているストレスモデル情報D5を取得し、ストレスモデルに対して特徴量D4を入力して、ストレスを推定する(ステップS14)。そして、ストレス推定部23は、ストレス推定結果を外部の装置などに出力する(ステップS15)。こうして、ストレス推定処理は終了する。
(ストレス推定結果の評価例)
次に、上記のストレス推定結果の評価例を説明する。PSSを高低(L/H)で2クラスに分割し、ストレスモデルを2クラス分類モデルとして上記のストレス推定を行った。対象者として37名のデータがあり、そのうち21名はストレスが「L」、16名はストレスが「H」であり、チャンスレベルは0.56であった。特徴量としては、「%(ΔΔ覚醒度<閾値)」を用いた。37名のうち、36名のデータでストレスモデルを学習し、残りの1名のモデルで評価を行った。図9は、評価結果として得られたROC(Receiver Operating Characteristic Curver)曲線を示す。このROC曲線において、AUC(Area under an ROC curve)は「0.67」と算出され、適切な分類性能が得られていることがわかった。このように、本実施形態では、対象者の覚醒度に基づいてストレスを推定するので、対象者に負担をかけずにストレスを推定することが可能となる。
[第2実施形態]
次に、本発明の第2実施形態について説明する。第2実施形態は、ストレス推定に用いる特徴量が第1実施形態と異なるが、それ以外の点は第1実施形態と同様である。よって、第1実施形態と同様である事項については、重複した説明は行わない。第1実施形態では、覚醒度の1階微分又は2階微分が閾値未満である割合、即ち、「%(Δ覚醒度<閾値)」又は「%(ΔΔ覚醒度<閾値)」を特徴量として用いている。これに対し、第2実施形態では、覚醒度の1階微分又は2階微分の値のヒストグラムを特徴量として使用する。
図10は、第2実施形態における特徴量を説明する図である。図10(A)は覚醒度の1階微分の値に基づいてヒストグラムを生成した例を示し、図10(B)は覚醒度の2階微分の値に基づいてヒストグラムを生成した例を示す。なお、ヒストグラムにおける頻度は正規化されている。ヒストグラムを構成する複数のビンの幅や数は予め適切に決定される。なお、ヒストグラムにおけるビンの幅及び数を自動調整する既知のニューラルネットワークなどを用いてもよい。第2実施形態では、このようにして生成したヒストグラムを規定する情報、具体的にはビンの幅や数、各ビンにおける頻度、ヒストグラムの形状そのものなどを特徴量として使用する。具体的には、ヒストグラムを規定する情報を訓練データとして学習を行い、ストレスモデルを予め生成しておく。そして、ストレス推定部23は、予め生成されたストレスモデルを使用し、特徴量算出部22が算出した特徴量、即ち、ヒストグラムを規定する情報からストレスを推定する。
[第3実施形態]
次に、本発明の第3実施形態について説明する。図11は、第3実施形態に係るストレス推定装置の機能構成を示すブロック図である。図示のように、ストレス推定装置70は、覚醒度取得部71と、特徴量算出部72と、ストレス推定部73と、を備える。覚醒度取得部71は、対象者の覚醒度を取得する。具体的には、覚醒度取得部71は、対象者の顔の撮影画像に基づいて覚醒度を生成しても良いし、外部装置により生成された覚醒度を単に受信するものであってもよい。特徴量算出部72は、取得された覚醒度の特徴量を算出する。覚醒度の特徴量は、覚醒度の時間変化が所定の範囲となる割合、覚醒度の時間変化の分布を示すヒストグラムを規定する情報などである。ストレス推定部73は、予め用意されたストレスモデルを用いて、算出された特徴量からストレスを推定する。
[変形例]
上記の実施形態では、対象者の覚醒度を用いてストレス推定を行っているが、対象者の眠気を示す指標を取得又は生成し、これを覚醒度として使用しても良い。但し、通常、眠気を示す指標は、眠気が大きいときに値が大きくなり、眠気が小さいときに値が小さくなるものである場合が多い。よって、その場合には、特徴量としては、覚醒度(=眠気)の1階微分又は2階微分が所定の閾値より大きい割合を使用すればよい。
以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
1、70 ストレス推定装置
2 カメラ
12 プロセッサ
13 メモリ
14 記録媒体
21 覚醒度生成部
22 特徴量算出部
23 ストレス推定部
24 ストレスモデル記憶部

Claims (10)

  1. 対象者の覚醒度を取得する覚醒度取得手段と、
    取得された覚醒度の特徴量を算出する特徴量算出手段と、
    ストレスのモデルを用いて、算出された特徴量からストレスを推定するストレス推定手段と、
    を備え
    前記覚醒度は時系列信号であり、
    前記特徴量は、前記覚醒度の時間変化が所定の範囲となる割合であるストレス推定装置。
  2. 対象者の覚醒度を取得する覚醒度取得手段と、
    取得された覚醒度の特徴量を算出する特徴量算出手段と、
    ストレスのモデルを用いて、算出された特徴量からストレスを推定するストレス推定手段と、
    を備え
    前記覚醒度は時系列信号であり、
    前記特徴量は、前記覚醒度の時間変化の分布を示すヒストグラムを規定する情報であるストレス推定装置。
  3. 前記覚醒度の時間変化は、前記覚醒度の1階微分又は2階微分である請求項又はに記載のストレス推定装置。
  4. 前記覚醒度取得手段は、対象者の覚醒中の覚醒度を取得する請求項1又は2に記載のストレス推定装置。
  5. 前記覚醒度取得手段は、対象者の顔の撮影画像を取得し、前記撮影画像を分析して前記対象者の開眼度を検出し、検出された開眼度に基づいて前記覚醒度を算出する請求項1乃至のいずれか一項に記載のストレス推定装置。
  6. 前記ストレスのモデルは、前記特徴量を訓練データとし、当該特徴量における対象者のストレス値を教師ラベルとして予め学習により生成されたモデルである請求項1乃至のいずれか一項に記載のストレス推定装置。
  7. 入力部とコンピュータとを備えるストレス推定装置の作動方法であって、
    前記入力部が、対象者の覚醒度を取得し、
    前記コンピュータが、取得された覚醒度の特徴量を算出し、
    前記コンピュータが、ストレスのモデルを用いて、算出された特徴量からストレスを推定し、
    前記覚醒度は時系列信号であり、
    前記特徴量は、前記覚醒度の時間変化が所定の範囲となる割合であるストレス推定装置の作動方法。
  8. 入力部とコンピュータとを備えるストレス推定装置の作動方法であって、
    前記入力部が、対象者の覚醒度を取得し、
    前記コンピュータが、取得された覚醒度の特徴量を算出し、
    前記コンピュータが、ストレスのモデルを用いて、算出された特徴量からストレスを推定し、
    前記覚醒度は時系列信号であり、
    前記特徴量は、前記覚醒度の時間変化の分布を示すヒストグラムを規定する情報であるストレス推定装置の作動方法。
  9. 対象者の覚醒度を取得し、
    取得された覚醒度の特徴量を算出し、
    ストレスのモデルを用いて、算出された特徴量からストレスを推定する処理をコンピュータに実行させ
    前記覚醒度は時系列信号であり、
    前記特徴量は、前記覚醒度の時間変化が所定の範囲となる割合であるプログラム。
  10. 対象者の覚醒度を取得し、
    取得された覚醒度の特徴量を算出し、
    ストレスのモデルを用いて、算出された特徴量からストレスを推定する処理をコンピュータに実行させ
    前記覚醒度は時系列信号であり、
    前記特徴量は、前記覚醒度の時間変化の分布を示すヒストグラムを規定する情報であるプログラム。
JP2021554468A 2019-11-06 2019-11-06 ストレス推定装置、ストレス推定装置の作動方法、及び、プログラム Active JP7279812B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/043491 WO2021090402A1 (ja) 2019-11-06 2019-11-06 ストレス推定装置、ストレス推定方法、及び、記録媒体

Publications (3)

Publication Number Publication Date
JPWO2021090402A1 JPWO2021090402A1 (ja) 2021-05-14
JPWO2021090402A5 JPWO2021090402A5 (ja) 2022-06-28
JP7279812B2 true JP7279812B2 (ja) 2023-05-23

Family

ID=75848805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021554468A Active JP7279812B2 (ja) 2019-11-06 2019-11-06 ストレス推定装置、ストレス推定装置の作動方法、及び、プログラム

Country Status (3)

Country Link
US (1) US20220370009A1 (ja)
JP (1) JP7279812B2 (ja)
WO (1) WO2021090402A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023238574A1 (ja) * 2022-06-09 2023-12-14 株式会社村田製作所 疲労ストレス分析装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001198113A (ja) 2000-01-18 2001-07-24 Toyota Central Res & Dev Lab Inc 疲労度演算装置
JP2009095387A (ja) 2007-10-12 2009-05-07 Kagoshima Univ 測定システム及び測定方法
JP2009261516A (ja) 2008-04-23 2009-11-12 Toyota Motor Corp 覚醒度推定装置
US20170071523A1 (en) 2015-07-16 2017-03-16 Samsung Electronics Company, Ltd. Continuous Stress Measurement with Built-In Alarm Fatigue Reduction Features
JP2018005343A (ja) 2016-06-28 2018-01-11 パナソニックIpマネジメント株式会社 運転支援装置及び運転支援方法
US20180310841A1 (en) 2017-05-01 2018-11-01 Samsung Electronics Company, Ltd. Determining Artery Location Using Camera-Based Sensing

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018062308A (ja) * 2016-10-14 2018-04-19 オムロン株式会社 運転モード切替制御装置、方法およびプログラム
WO2019037045A1 (zh) * 2017-08-24 2019-02-28 华为技术有限公司 一种心理压力评估方法及设备
WO2019146123A1 (ja) * 2018-01-29 2019-08-01 日本電気株式会社 覚醒度推定装置、覚醒度推定方法、及びコンピュータ読み取り可能な記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001198113A (ja) 2000-01-18 2001-07-24 Toyota Central Res & Dev Lab Inc 疲労度演算装置
JP2009095387A (ja) 2007-10-12 2009-05-07 Kagoshima Univ 測定システム及び測定方法
JP2009261516A (ja) 2008-04-23 2009-11-12 Toyota Motor Corp 覚醒度推定装置
US20170071523A1 (en) 2015-07-16 2017-03-16 Samsung Electronics Company, Ltd. Continuous Stress Measurement with Built-In Alarm Fatigue Reduction Features
JP2018005343A (ja) 2016-06-28 2018-01-11 パナソニックIpマネジメント株式会社 運転支援装置及び運転支援方法
US20180310841A1 (en) 2017-05-01 2018-11-01 Samsung Electronics Company, Ltd. Determining Artery Location Using Camera-Based Sensing

Also Published As

Publication number Publication date
WO2021090402A1 (ja) 2021-05-14
US20220370009A1 (en) 2022-11-24
JPWO2021090402A1 (ja) 2021-05-14

Similar Documents

Publication Publication Date Title
JP6276776B2 (ja) 睡眠段階に応じてデバイスを制御するための電子スイッチ
US9655559B2 (en) Automated sleep staging using wearable sensors
US7621871B2 (en) Systems and methods for monitoring and evaluating individual performance
US20180000408A1 (en) Baby sleep monitor
US11406323B2 (en) Method and system for monitoring sleep quality
JP6999905B2 (ja) 注意力低下状態の推定のためのシステム、方法、プログラム、及びプログラムを記憶した記憶媒体
WO2019013257A1 (ja) 見守り支援システム及びその制御方法、プログラム
Kim et al. IoT-based unobtrusive sensing for sleep quality monitoring and assessment
JP6952299B2 (ja) 睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法
JP7316038B2 (ja) 事象予測システム、センサ信号処理システム及びプログラム
JP2017164397A (ja) 睡眠段階判定方法、睡眠段階判定装置、及び睡眠段階判定プログラム
JP7279812B2 (ja) ストレス推定装置、ストレス推定装置の作動方法、及び、プログラム
JP7211441B2 (ja) 覚醒度推定装置、覚醒度推定方法、及びプログラム
Dey et al. Wearable PPG sensor based alertness scoring system
JP6791361B2 (ja) 情報処理装置と方法とプログラム
JP6604266B2 (ja) 眠気検知装置
Suryadevara et al. Smart sensing system for human emotion and behaviour recognition
JP7378072B2 (ja) 仮眠評価装置、仮眠評価システム、仮眠評価方法、及びプログラム
Liao et al. iWakeUp: A video‐based alarm clock for smart bedrooms
WO2016148111A1 (ja) 睡眠段階推定装置、生体データ推定装置、睡眠段階推定方法、生体データ推定方法、睡眠段階推定プログラムおよび生体データ推定プログラム
JP2020073108A (ja) 睡眠段階判定方法、睡眠段階判定装置、及び睡眠段階判定プログラム
Harada et al. Improving accuracy of real-time sleep stage estimation by considering personal sleep feature and rapid change of sleep behavior
Peng et al. A distributed multimodality sensor system for home-used sleep condition inference and monitoring
EP4358092A1 (en) Notification handling dependent upon user state
WO2022101990A1 (ja) 疲労度推定装置、疲労度推定方法、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220422

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230424

R151 Written notification of patent or utility model registration

Ref document number: 7279812

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151