JP7323248B2 - ストレス判定装置、ストレス判定方法、及びプログラム - Google Patents

ストレス判定装置、ストレス判定方法、及びプログラム Download PDF

Info

Publication number
JP7323248B2
JP7323248B2 JP2023522536A JP2023522536A JP7323248B2 JP 7323248 B2 JP7323248 B2 JP 7323248B2 JP 2023522536 A JP2023522536 A JP 2023522536A JP 2023522536 A JP2023522536 A JP 2023522536A JP 7323248 B2 JP7323248 B2 JP 7323248B2
Authority
JP
Japan
Prior art keywords
subject
micro
stress
expressions
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023522536A
Other languages
English (en)
Other versions
JPWO2023002636A1 (ja
Inventor
玲央 浜口
哲 香山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LIFE QUEST INC.
Original Assignee
LIFE QUEST INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LIFE QUEST INC. filed Critical LIFE QUEST INC.
Publication of JPWO2023002636A1 publication Critical patent/JPWO2023002636A1/ja
Application granted granted Critical
Publication of JP7323248B2 publication Critical patent/JP7323248B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Educational Technology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、ストレス判定装置、ストレス判定方法、及びプログラムに関し、特に、ストレスを正確に判定可能なストレス判定装置、ストレス判定方法、及びプログラムに関する。
人の表情を撮像し、その画像データからストレス度を算出する技術が知られている(例えば特許文献1参照)。なお、本明細書中に特許文献1の明細書、特許請求の範囲、図面全体を参考として取り込むものとする。
特開2006-305260号公報
しかしながら、人間は、表情を作ることができる。また、人間の感情は、一つではなく、様々な感情が複雑に入り組んでいる。このため、単純に表情のみから人間のストレスを正確に判定することはできない。
本発明は、上記の課題を解決するためになされたものであって、ストレスを正確に判定可能なストレス判定装置、ストレス判定方法、及びプログラムを提供することを目的とする。
上記の目的を達成するため、本発明の第1の観点に係るストレス判定装置(1)は、被験者の顔を撮像する撮像部(13)と、前記撮像部(13)で撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出し、該検出した微表情の割合に基づいて、該被験者のストレスを判定する制御部(14)と、を備える。
上記のストレス判定装置(1)において、前記制御部(14)は、検出した微表情をタイプ別に分類し、該タイプ別に分類した微表情の割合に基づいて、該被験者のストレスを判定する、ようにしてもよい。
上記のストレス判定装置(1)において、前記制御部(14)は、検出した微表情の割合に基づいて、該被験者の感情を推定し、該推定した該被験者の感情から、該被験者のストレスを判定する、ようにしてもよい。
上記のストレス判定装置(1)において、前記制御部(14)は、検出した微表情をタイプ別に分類し、該タイプ別に分類した微表情の割合に基づいて、該被験者の感情を推定する、
本発明の第2の観点に係るストレス判定方法は、撮像部(13)が、被験者の顔を撮像し、制御部(14)が、前記撮像部(13)で撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出し、該制御部(14)が、該検出した微表情の割合に基づいて、該被験者のストレスを判定する、ことを特徴とする。
本発明の第3の観点に係るプログラムは、コンピュータに、被験者の顔を撮像する手順と、該撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出する手順と、該検出した微表情の割合に基づいて、該被験者のストレスを判定する手順と、を実行させる。
本発明によれば、ストレスを正確に判定可能なストレス判定装置、ストレス判定方法、及びプログラムを提供することができる。
本実施形態に係るストレス判定装置の構成例を示すブロック図である。 ガイダンステーブルの構成例を示す図である。 ストレス判定処理の詳細を示すフローチャートである。
以下、本発明を実施するための最良の形態について説明する。
まず、本発明の実施形態に係るストレス判定装置の構成について図面を参照しつつ説明する。
本実施形態に係るストレス判定装置は、被験者の顔に表れる微表情から、被験者のストレス(ストレスの度合)を判定するもので、例えば汎用のスマートフォンや、タブレットコンピュータ、パーソナルコンピュータ等から構成される。
ここで、「微表情」とは、抑制された感情に基づいて一瞬表れて消える極めて素早い顔の動きであって、無意識に表出され得るものである。微表情が表れる時間長は例えば1秒以下であり、一般的に50分の1秒程度の時間長である。したがって、瞬き、痙攣、眼球の移動、及び顔全体の動き等に起因して顔の部分に発生する変化は微表情には含まれない。なお、微表情は、感情に基づいて発生する僅かな顔の動き(微細表情)を含んでもよく、微細表情が表れる時間長は1秒以上でもよい。なお、微表情の定義はこの限りではなく、今後の微表情に関する研究によって変わり得る。微表情の種類、つまり微表情として表れる感情の種類には複数の種類があり、例えば「怒り」、「嫌悪」、「恐怖(恐れ)」、「喜び(幸福、幸せ)」、「悲しみ」、及び「驚き」等の種類がある。微表情の種類によって、変化する顔の部位(目、眉、唇、頬等)と変化の仕方(変化量、変化方向、変化時間等)が異なっている。
例えば、「怒り」の微表情は、両まゆ毛を中央に引き寄せる動作と、目を見開く動作と、まぶたに力を入れる動作と、唇を固く閉じる動作と、口を開ける動作と、の組み合わせである。
「嫌悪」の微表情は、鼻にしわを寄せる動作である。
「恐怖」の微表情は、両眉を上げる動作と、両眉を中央に引き寄せる動作と、目を見開く動作と、まぶたに力を入れる動作と、口角を横に引く動作と、の組み合わせである。
「喜び」の微表情は、頬を上げる動作と、口角を上げる動作と、口角のみを上げる動作と、の組み合わせである。
「悲しみ」の微表情は、眉の内側を上げる動作と、両眉を中央に引き寄せる動作と、口角を下げる動作と、下唇を上げる動作と、の組み合わせである。
「驚き」の微表情は、両眉を上げる動作と、目を見開く動作と、口を開ける動作と、の組み合わせである。
図1は、本実施形態に係るストレス判定装置の構成例を示すブロック図である。
図1に示すように、ストレス判定装置1は、記憶部11と、タッチパネル12と、撮像部13と、制御部14と、を備え、これらはバス等を介して接続される。
記憶部11は、例えば汎用のフラッシュメモリ等の不揮発性メモリ等から構成される。記憶部11には、各種アプリケーションプログラムがインストールされている。本実施形態において、記憶部11には、被験者の顔に表れる微表情から、被験者のストレスを判定するためのストレス判定アプリケーションプログラム(以下、「ストレス判定アプリ」という。)等がインストールされている。
また、記憶部11は、被験者に表情をイラストで指示するガイダンスを登録するガイダンステーブルを記憶する。さらに、記憶部11は、タッチパネル12に表示するガイダンスを指定するガイダンスポインタを記憶する。
図2は、ガイダンステーブルの構成例を示す図である。
図2に示すように、ガイダンステーブル2は、12個のガイダンスを、ガイダンスポインタの値に対応付けて登録する。本実施形態において、ガイダンスは、被験者に異なる二つの表情を2秒ずつイラストで指示した後、1秒間、無表情とすることを指示する計5秒間の画像である。例えば、ガイダンス#1-2は、最初、被験者に2秒間「喜び」の表情をすることを指示した後、次に2秒間「怒り」の表情をすることを指示し、最後に1秒間、無表情とすることを指示する。
図1に示すタッチパネル12は、例えば液晶表示装置とポインティングデバイスとを組み合わせた汎用のタッチパネル等から構成される。タッチパネル12は、各種画面を表示するとともに、被験者による各種操作を受け付ける。本実施形態において、被験者は、タッチパネル12に表示されるストレス判定アプリのアイコンをタップして、ストレス判定アプリを起動したり、被験者のストレスの判定を指示したりする。また、タッチパネル12には、被験者に表情をイラストで指示するガイダンスが表示される。
撮像部13は、例えばCCD(Charge Coupled Device)等の受光素子を含んで構成される。本実施形態において、被験者は、ガイダンスに従って表情が変化する自身の顔を撮像部13で撮像(自撮り)する。
制御部14は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)等から構成される。CPUは、RAMをワークメモリとして用い、ROM及び記憶部11に記憶されている各種プログラム等を適宜実行することによって、ストレス判定装置1の各種動作を制御する。
本実施形態において、制御部14は、被験者がタッチパネル12に表示されるストレス判定アプリにおいて被験者のストレスの判定を指示したことに応答して、ガイダンスポインタの値を“0”に初期化する。次に、制御部14は、ガイダンスポインタの値に対応するガイダンスをガイダンステーブル2から読み出す。例えば、ガイダンスポインタの値が“0”である場合、制御部14は、ガイダンス#1-2をガイダンステーブル2から読み出す。
そして、制御部14は、ガイダンステーブル2から読み出したガイダンスをタッチパネル12に表示するとともに、ガイダンスに従って表情が変化する被験者の顔を撮像部13で撮像して、30~60フレームレートの動画像を取得する。
続いて、制御部14は、ガイダンスポインタの値が上限値である“11”であるか否かを判別する。制御部14は、ガイダンスポインタの値が“11”未満であれば、全てのガイダンスを未だ表示していないとして、ガイダンスポインタの値を1加算した後、加算後のガイダンスポインタの値に対応するガイダンスをタッチパネル12に表示して、被験者の顔の動画像を撮像部13で再度撮像する。
これに対して、制御部14は、ガイダンスポインタの値が“11”であれば、全てのガイダンスを表示したとして、取得した被験者の顔の動画像から、被験者の顔に表れる微表情を検出する。具体的に、制御部14は、動画像を構成するフレーム画像毎に、微表情を検出するとともに、被験者がガイダンスに従って表情を変化させる際に要した期間(変化期間)を、表情が変化するまでに要したフレーム画像の枚数から、測定する。
例えば、図2に示すガイダンス#1-2に従って被験者が表情を「喜び」→「怒り」→「無表情」と変化させる場合、被験者にストレスがなければ、被験者が「喜び」の表情に変化させているときのみならず、「怒り」の表情や「無表情」に変化させているときにも、「喜び」の微表情が出現し、制御部14は、これを検出する。
また、図2に示すガイダンス#1-2に従って被験者が表情を「喜び」→「怒り」→「無表情」と変化させた場合、制御部14は、被験者が表情を「喜び」に変化させるまでに要した期間と、「怒り」に変化させるまでに要した期間と、「無表情」に変化させるまでに要した期間と、の三つの変化期間を測定する。
次に、制御部14は、測定した三つの変化期間毎に、所定の基準範囲と比較して、被験者の表情が変化する速度(変化速度)の遅速を判別する。具体的に、制御部14は、変化期間が所定の基準範囲よりも長い場合、変化速度が「遅い」と判別し、所定の基準範囲内である場合、「通常」と判別し、所定の基準範囲よりも短い場合、「速い」と判別する。
ここで、主な被験者は、労働年齢の成人であることから、例えば、職業性ストレス簡易調査票により平均的なストレスレベルと判定される被験者から変化時間の平均値±標準偏差を取得し、これを所定の基準範囲とすればよい。
そして、制御部14は、例えば、「喜び」への変化速度が速く、「怒り」への変化速度が遅い場合、被験者に「喜び」の表情が早く出現し、遅くまで残って中々消失していないことから、被験者の微表情として「喜び」を検出する。
ここで、西欧文化に触れたことのない民族を調査した結果によると、「喜び」、「怒り」、「嫌悪」、及び「悲しみ」の四つの表情については、文化による違いがなく認識される一方、「恐れ」及び「驚き」の二つの表情については、見分けがつかないことがわかっている。そこで、制御部14は、検出した微表情毎に、微表情のタイプを“Positive”、“Negative”、及び“Other”のいずれかに分類する。
具体的に、制御部14は、検出した微表情が「喜び」である場合、微表情のタイプを“Positive”に分類する。
一方、制御部14は、検出した微表情が「怒り」、「悲しみ」、「嫌悪」、及び「恐怖」のいずれかである場合、微表情のタイプを“Negative”に分類する。
他方、制御部14は、検出した微表情が「驚き」である場合、微表情のタイプを“Other”に分類する。
ここで、人間の感情は、通常一つではなく、複数の感情が複雑に混在しており、それが被験者の顔に微表情として表れる。そこで、制御部14は、被験者の顔の動画像における、タイプ別に分類された各微表情の割合を求める。例えば、制御部14は、“Positive”に分類される「喜び」の微表情が写っているフレーム画像を15個検出し、“Negative”に分類される微表情が写っているフレーム画像を10個検出し、“Positive”に分類される「喜び」の微表情の割合を60%と求め、“Negative”に分類される微表情の割合を40%と求める。
そして、制御部14は、微表情の割合に基づいて、被験者のストレスを判定する。
具体的に、制御部14は、“Other”に分類される微表情を除いた“Positive”に分類される「喜び」の微表情、及び“Negative”に分類される微表情の割合から、被験者のストレスを判定する。
例えば、制御部14は、“Positive”に分類される「喜び」の微表情の割合が81%~100%である場合、被験者のストレスを「低い」と判定する。
また、制御部14は、“Positive”に分類される「喜び」の微表情の割合が61%~80%である場合、被験者のストレスを「やや低い」と判定する。
さらに、制御部14は、“Positive”に分類される「喜び」の微表情の割合が40%~60%である場合、被験者のストレスを「標準」と判定する。
また、制御部14は、“Positive”に分類される「喜び」の微表情の割合が20%~41%である場合、被験者のストレスを「やや高い」と判定する。
そして、制御部14は、“Positive”に分類される「喜び」の微表情の割合が0%~19%である場合、被験者のストレスを「高い」と判定する。
次に、上記構成を備えるストレス判定装置1が実行するストレス判定処理について図面を参照して説明する。
被験者がタッチパネル12に表示されるストレス判定アプリのアイコンをタップしてストレス判定アプリを起動した後、被験者のストレスの判定を指示したことに応答して、ストレス判定装置1は、ストレス判定処理を開始する。
図3は、ストレス判定処理の詳細を示すフローチャートである。
図3に示すストレス判定処理において、まず、制御部14は、ガイダンスポインタの値を“0”に初期化する(ステップS401)。
次に、制御部14は、ガイダンスポインタの値に対応するガイダンスをガイダンステーブル2から読み出す(ステップS402)。
そして、制御部14は、ステップS402で読み出したガイダンスをタッチパネル12に表示するとともに(ステップS403)、ガイダンスに従って表情が変化する被験者の顔を撮像部13で撮像して、30~60フレームレートの動画像を取得する(ステップS404)。
続いて、制御部14は、ガイダンスポインタの値が上限値である“11”であるか否かを判別する(ステップS405)。
制御部14は、ガイダンスポインタの値が“11”未満であれば(ステップS405;No)、全てのガイダンスを未だ表示していないとして、ガイダンスポインタの値を1加算した後(ステップS406)、ステップS402に戻る。
これに対して、制御部14は、ガイダンスポインタの値が“11”であれば(ステップS405;Yes)、全てのガイダンスを表示したとして、ステップS404で取得した被験者の顔の動画像から、被験者の顔に表れる微表情を検出する(ステップS407)。
制御部14は、ステップS407で検出した微表情毎に、微表情のタイプを“Positive”、“Negative”、及び“Other”のいずれかに分類する(ステップS408)。
続いて、制御部14は、被験者の顔の動画像における、タイプ別に分類された各微表情の割合を求める(ステップS409)。
そして、制御部14は、微表情の割合に基づいて、被験者のストレスを判定してから(ステップS410)、ストレス判定処理を終了する。
以上説明したように、本実施形態に係るストレス判定装置1は、撮像部13と、制御部14と、を備える。撮像部13は、被験者に表情を指示するガイダンスに従って表情が変化する被験者の顔を撮像する。制御部14は、撮像部13で撮像して得られた被験者の顔の画像(動画像)から、被験者の顔に表れる微表情を検出する。そして、制御部14は、検出した微表情の割合に基づいて、被験者のストレスを判定する。具体的に、制御部14は、検出した微表情をタイプ別に分類し、タイプ別に分類した微表情の割合に基づいて、被験者のストレスを判定する。
このように、被験者の顔の動画像から検出した微表情の割合に基づいて、被験者のストレスを判定することで、複数の感情が複雑に入り組んだ被験者の真の感情から、ストレスを正確に判定することができる。
なお、本発明は、上記の実施形態に限定されず、種々の変形、応用が可能である。以下、本発明に適用可能な上記の実施形態の変形態様について、説明する。
上記の実施形態において、制御部14は、微表情の割合に基づいて、被験者のストレスを判定するものとして説明した。しかしながら、本発明はこれに限定されるものではなく、制御部14は、微表情の割合に基づいて、被験者の感情を推定し、推定した被験者の感情から、被験者のストレスを判定するようにしてもよい。
この場合。制御部14は、検出した微表情毎に、微表情のタイプを“Positive”、“Negative1”、“Negative2”、及び“Other”のいずれかに分類する。すなわち、制御部14は、上記の実施形態における“Negative”を、さらに“Negative1”及び“Negative2”のいずれかに分類する。
具体的に、制御部14は、検出した微表情が「怒り」である場合、微表情のタイプを“Negative1”に分類する。
また、制御部14は、検出した微表情が「悲しみ」である場合、微表情のタイプを“Negative2”に分類する。
さらに、制御部14は、検出した微表情が「嫌悪」である場合、鼻以外の顔の動作から、「怒り」寄りであるか「悲しみ」寄りであるかを判別し、「怒り」寄りであれば、微表情のタイプを“Negative1”に分類する一方、「悲しみ」寄りであれば、“Negative2”に分類する。
また、制御部14は、検出した微表情が「恐怖」である場合、その継続期間が所定期間以上であるか否かにより、瞬間的であるか継続的であるかを判別し、継続期間が所定期間未満であれば瞬間的であると判別し、微表情のタイプを“Other”に分類する。一方、制御部14は、継続期間が所定期間以上であれば継続的であると判別し、鼻以外の顔の動作から、「怒り」寄りであるか「悲しみ」寄りであるかを判別する。そして、制御部14は、「怒り」寄りであれば、微表情のタイプを“Negative1”に分類する一方、「悲しみ」寄りであれば、“Negative2”に分類する。
次に、制御部14は、微表情の割合に基づいて、被験者の感情を、“ニュートラル”、“ハッピー”、“イライラ”、及び“落ち込み”のいずれかに推定する。
具体的に、制御部14は、“Positive”に分類される微表情の割合と、“Negative1”及び“Negative2”のいずれかに分類される微表情の割合と、が略等しい場合、被験者の感情を“ニュートラル”であるものと推定する。
また、制御部14は、“Positive”に分類される微表情の割合が、“Negative1”及び“Negative2”のいずれかに分類される微表情の割合よりも高い場合、被験者の感情を“ハッピー”であるものと推定する。
さらに、制御部14は、“Negative1”に分類される微表情の割合が、“Positive”及び“Negative2”のいずれかに分類される微表情の割合よりも高い場合、被験者の感情を“イライラ”しているものと推定する。
そして、制御部14は、“Negative2”に分類される微表情の割合が、“Positive”及び“Negative1”のいずれかに分類される微表情の割合よりも高い場合、被験者の感情を“落ち込み”しているものと推定する。
そして、制御部14は、被験者の感情から、ストレスを判定すればよい。
具体的に、制御部14は、被験者の感情が“ハッピー”である場合、被験者のストレスを「低い」若しくは「やや低い」と判定すればよい。
また、制御部14は、被験者の感情が“ニュートラル”である場合、被験者のストレスを「標準」と判定すればよい。
そして、制御部14は、被験者の感情が“イライラ”若しくは“落ち込み”である場合、被験者のストレスを「やや高い」若しくは「高い」と判定すればよい。
このように、制御部14は、検出した微表情の割合に基づいて、被験者の感情を推定し、推定した被験者の感情から、被験者のストレスを判定する。具体的に、制御部14は、検出した微表情をタイプ別に分類し、タイプ別に分類した微表情の割合に基づいて、被験者の感情を推定し、推定した被験者の感情から、被験者のストレスを判定する。これにより、本変形例においても、複数の感情が複雑に入り組んだ被験者の真の感情から、ストレスを正確に判定することができる。
上記の実施形態において、制御部14は、検出した微表情毎に、微表情のタイプを“Positive”、“Negative”、及び“Other”のいずれかに分類するものとして説明した。しかしながら、本発明はこれに限定されるものではなく、制御部14は、微表情のタイプを分類しなくてもよい。この場合、検出した微表情の割合、即ち「怒り」、「嫌悪」、「恐怖」、「喜び」、「悲しみ」、及び「驚き」といった6種類の微表情の検出割合に基づいて、被験者のストレスを判定してもよい。例えば、制御部14は、微表情のタイプを分類することなく、「喜び」の微表情の割合に基づいて、被験者のストレスを判定すればよい。 また、上記の変形例において、制御部14は、検出した微表情毎に、微表情のタイプを“Positive”、“Negative1”、“Negative2”、及び“Other”のいずれかに分類するものとして説明した。しかしながら、本発明はこれに限定されるものではなく、制御部14は、微表情のタイプを分類しなくてもよい。この場合、検出した微表情の割合、即ち「怒り」、「嫌悪」、「恐怖」、「喜び」、「悲しみ」、及び「驚き」といった6種類の微表情の検出割合に基づいて、被験者の感情を推定してもよい。
上記の実施形態において、ストレス判定装置1の制御部14が被験者のストレスを判定するものとして説明した。しかしながら、本発明はこれに限定されるものではなく、ストレス判定装置1とネットワークを介して接続された所定のサーバ装置(サーバコンピュータ)が被験者のストレスを判定してもよい。この場合、ストレス判定装置1の制御部14は、撮像部13で撮像して得られた被験者の顔の動画像をネットワークを介してサーバ装置に送信する。そして、サーバ装置は、ストレス判定装置1からネットワークを介して受信した被験者の顔の動画像から、被験者の顔に表れる微表情を検出し、検出した微表情の割合に基づいて、被験者のストレスを判定すればよい。
上記の実施形態において、制御部14のCPUが実行するプログラムは、予めROM、並びに記憶部11等に記憶されるものとして説明したが、本発明はこれに限定されるものではなく、上述の処理を実行させるためのプログラムを、既存の汎用コンピュータに適用することで、上記の実施形態に係るストレス判定装置1として機能させてもよい。
このようなプログラムの提供方法は任意であり、例えばコンピュータが読取可能な記録媒体(フレキシブルディスク、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM等)に格納して配布してもよいし、インターネット等のネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより提供してもよい。
さらに、上記の処理をOS(Operating System)とアプリケーションプログラムとの分担、又はOSとアプリケーションプログラムとの協働によって実行する場合には、アプリケーションプログラムのみを記録媒体やストレージに格納してもよい。また、搬送波にプログラムを重畳し、ネットワークを介して配信することも可能である。例えば、ネットワーク上の掲示板(BBS:Bulletin Board System)に上記プログラムを掲示し、ネットワークを介してプログラムを配信してもよい。そして、このプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本発明の一実施例を説明するためのものであり、本発明の範囲を限定するものではない。
1 ストレス判定装置
11 記憶部
12 タッチパネル
13 撮像部
14 制御部
2 ガイダンステーブル

Claims (6)

  1. 被験者の顔を撮像する撮像部(13)と、
    前記撮像部(13)で撮像して得られた前記被験者の顔の動画像を構成するフレーム画像毎に、該被験者の顔に表れる微表情を検出し、該微表情が検出された複数の該フレーム画像における、各種微表情のそれぞれが検出された該フレーム画像の数の割合に基づいて、該被験者のストレスを判定する制御部(14)と、
    を備えるストレス判定装置(1)。
  2. 前記制御部(14)は、検出した微表情をタイプ別に分類し、該微表情が検出された複数の該フレーム画像における、該タイプ別に分類した微表情のそれぞれが検出された前記フレーム画像の数の割合に基づいて、該被験者のストレスを判定する、
    ことを特徴とする請求項1に記載のストレス判定装置(1)。
  3. 前記制御部(14)は、前記微表情が検出された複数の該フレーム画像における、各種微表情のそれぞれが検出された前記フレーム画像の数の割合に基づいて、該被験者の感情を推定し、該推定した該被験者の感情から、該被験者のストレスを判定する、
    ことを特徴とする請求項1に記載のストレス判定装置(1)。
  4. 前記制御部(14)は、検出した微表情をタイプ別に分類し、該微表情が検出された複数の該フレーム画像における、該タイプ別に分類した微表情のそれぞれが検出された前記フレーム画像の数の割合に基づいて、該被験者の感情を推定する、
    ことを特徴とする請求項3に記載のストレス判定装置(1)。
  5. 撮像部(13)が、被験者の顔を撮像し、
    制御部(14)が、前記撮像部(13)で撮像して得られた前記被験者の顔の動画像を構成するフレーム画像毎に、該被験者の顔に表れる微表情を検出し、
    該制御部(14)が、該微表情が検出された複数の該フレーム画像における、各種微表情のそれぞれが検出された該フレーム画像の数の割合に基づいて、該被験者のストレスを判定する、
    ことを特徴とするストレス判定方法。
  6. コンピュータに、
    被験者の顔を撮像する手順と、
    該撮像して得られた前記被験者の顔の動画像を構成するフレーム画像毎に、該被験者の顔に表れる微表情を検出する手順と、
    微表情が検出された複数の該フレーム画像における、各種微表情のそれぞれが検出された該フレーム画像の数の割合に基づいて、該被験者のストレスを判定する手順と、
    を実行させるためのプログラム。
JP2023522536A 2021-07-21 2021-07-21 ストレス判定装置、ストレス判定方法、及びプログラム Active JP7323248B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/027425 WO2023002636A1 (ja) 2021-07-21 2021-07-21 ストレス判定装置、ストレス判定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2023002636A1 JPWO2023002636A1 (ja) 2023-01-26
JP7323248B2 true JP7323248B2 (ja) 2023-08-08

Family

ID=84979043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023522536A Active JP7323248B2 (ja) 2021-07-21 2021-07-21 ストレス判定装置、ストレス判定方法、及びプログラム

Country Status (3)

Country Link
JP (1) JP7323248B2 (ja)
CN (1) CN117915831A (ja)
WO (1) WO2023002636A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258204A (zh) 2012-02-21 2013-08-21 中国科学院心理研究所 一种基于Gabor和EOH特征的自动微表情识别方法
JP2016149063A (ja) 2015-02-13 2016-08-18 オムロン株式会社 感情推定装置及び感情推定方法
JP2018126209A (ja) 2017-02-06 2018-08-16 ソフトバンクロボティクス株式会社 制御装置、制御方法及び制御プログラム
CN109784185A (zh) 2018-12-18 2019-05-21 深圳壹账通智能科技有限公司 基于微表情识别的客户餐饮评价自动获取方法及装置
CN109830280A (zh) 2018-12-18 2019-05-31 深圳壹账通智能科技有限公司 心理辅助分析方法、装置、计算机设备和存储介质
CN110110574A (zh) 2018-01-30 2019-08-09 普天信息技术有限公司 心理压力参数的获取方法和标注方法
CN111353354A (zh) 2018-12-24 2020-06-30 杭州海康威视数字技术股份有限公司 一种人体应激性信息识别方法、装置及电子设备
US20200265396A1 (en) 2019-02-14 2020-08-20 Toshiba Global Commerce Solutions Holdings Corporation Systems and methods for modifying customer attention levels at purchase transaction terminals based on expressions
CN111967363A (zh) 2020-08-10 2020-11-20 河海大学 一种基于微表情识别和眼动追踪的对情绪预测的方法
JP2021037795A (ja) 2019-08-30 2021-03-11 株式会社デンソー 車両制御装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258204A (zh) 2012-02-21 2013-08-21 中国科学院心理研究所 一种基于Gabor和EOH特征的自动微表情识别方法
JP2016149063A (ja) 2015-02-13 2016-08-18 オムロン株式会社 感情推定装置及び感情推定方法
JP2018126209A (ja) 2017-02-06 2018-08-16 ソフトバンクロボティクス株式会社 制御装置、制御方法及び制御プログラム
CN110110574A (zh) 2018-01-30 2019-08-09 普天信息技术有限公司 心理压力参数的获取方法和标注方法
CN109784185A (zh) 2018-12-18 2019-05-21 深圳壹账通智能科技有限公司 基于微表情识别的客户餐饮评价自动获取方法及装置
CN109830280A (zh) 2018-12-18 2019-05-31 深圳壹账通智能科技有限公司 心理辅助分析方法、装置、计算机设备和存储介质
CN111353354A (zh) 2018-12-24 2020-06-30 杭州海康威视数字技术股份有限公司 一种人体应激性信息识别方法、装置及电子设备
US20200265396A1 (en) 2019-02-14 2020-08-20 Toshiba Global Commerce Solutions Holdings Corporation Systems and methods for modifying customer attention levels at purchase transaction terminals based on expressions
JP2021037795A (ja) 2019-08-30 2021-03-11 株式会社デンソー 車両制御装置
CN111967363A (zh) 2020-08-10 2020-11-20 河海大学 一种基于微表情识别和眼动追踪的对情绪预测的方法

Also Published As

Publication number Publication date
CN117915831A (zh) 2024-04-19
WO2023002636A1 (ja) 2023-01-26
JPWO2023002636A1 (ja) 2023-01-26

Similar Documents

Publication Publication Date Title
Bilakhia et al. The MAHNOB Mimicry Database: A database of naturalistic human interactions
CN107251096B (zh) 图像捕获装置和方法
US6677969B1 (en) Instruction recognition system having gesture recognition function
US10185869B2 (en) Filter and shutter based on image emotion content
JP2014504460A (ja) ウェブ対応アプリケーションに対する感情データの測定
US20220383389A1 (en) System and method for generating a product recommendation in a virtual try-on session
WO2017115453A1 (ja) メイクアップシミュレーション支援装置、メイクアップシミュレーション支援方法およびメイクアップシミュレーション支援プログラム
US11810136B2 (en) Systems and methods for assessing implicit associations
US11935140B2 (en) Initiating communication between first and second users
JP7278972B2 (ja) 表情解析技術を用いた商品に対するモニタの反応を評価するための情報処理装置、情報処理システム、情報処理方法、及び、プログラム
JP7323248B2 (ja) ストレス判定装置、ストレス判定方法、及びプログラム
KR20200080577A (ko) 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법
JP6855737B2 (ja) 情報処理装置、評価システムおよびプログラム
JP7442838B2 (ja) 感情推定装置、感情推定方法、及びプログラム
CN115035042A (zh) 动作迁移模型的评价方法、装置、电子设备及存储介质
KR20240018874A (ko) 이미지 데이터로부터 민감 정보를 제거하기 위한 방법 및 전자 장치
JP2020086559A (ja) 感情分析システム
Asada et al. A System for Posting on an SNS an Author Portrait Selected using Facial Expression Analysis while Writing a Message.
JP7354813B2 (ja) 検出方法、通知方法、検出プログラムおよび通知プログラム
Nishiyama et al. Design of a cognitive user-support system for skin progress analysis using a smart phone
US20240362900A1 (en) Devices, systems, and methods for gamification of video annotation
WO2023053784A1 (ja) 顔タイプ診断装置、顔タイプ診断方法及びプログラム
EP4239600A1 (en) Systems and methods for contactless estimation of ring size
WO2024194211A1 (en) A method, a computer program and an apparatus for adjusting a service consumed by a human, a robot, a vehicle, an entertainment system, and a smart home system
CN116758246A (zh) 皮肤特性数据可视化装置及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230412

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230720

R150 Certificate of patent or registration of utility model

Ref document number: 7323248

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150