JP6467966B2 - 健康管理補助装置及び健康管理補助方法 - Google Patents

健康管理補助装置及び健康管理補助方法 Download PDF

Info

Publication number
JP6467966B2
JP6467966B2 JP2015026474A JP2015026474A JP6467966B2 JP 6467966 B2 JP6467966 B2 JP 6467966B2 JP 2015026474 A JP2015026474 A JP 2015026474A JP 2015026474 A JP2015026474 A JP 2015026474A JP 6467966 B2 JP6467966 B2 JP 6467966B2
Authority
JP
Japan
Prior art keywords
facial expression
subject
score
health
mental health
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015026474A
Other languages
English (en)
Other versions
JP2016147006A (ja
Inventor
誠一 真鍋
誠一 真鍋
青木　博松
博松 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2015026474A priority Critical patent/JP6467966B2/ja
Priority to CN201580074009.XA priority patent/CN107205731B/zh
Priority to PCT/JP2015/086238 priority patent/WO2016129193A1/ja
Priority to DE112015006150.9T priority patent/DE112015006150T5/de
Publication of JP2016147006A publication Critical patent/JP2016147006A/ja
Priority to US15/653,964 priority patent/US20170311864A1/en
Application granted granted Critical
Publication of JP6467966B2 publication Critical patent/JP6467966B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、人の精神的健康の管理を補助するための技術に関する。
近年、うつ病、認知症などの精神疾患の患者数が著しく増加しており、大きな社会問題となっている。特に我が国では、高齢者の増加に伴い、精神疾患への対策は今後ますます重要な課題になるといわれている。精神疾患については、普段の生活における予防が極めて重要であるとともに、早い段階での気づき（早期発見）と適切な治療が回復への近道である。しかしながら、精神疾患に対する正しい認識や知識をもっている人は少なく、精神疾患のサイン（兆候）や症状に気づくことは一般の人では難しいのが実情である。
精神疾患の診断を補助することを目的として、特許文献１では、被診断者の顔画像から、表情の左右対称度、目の緊張度、頬の緊張度、口角の角度を数値化した診断データベクトルを生成し、その診断データベクトルと医学的知見を数値化した診断マトリックスに基づき、パラノイア度・ノイローゼ度・ソシオパス度・うつ度・ストレス度の診断結果をグラフ表示する装置が提案されている。確かに、精神疾患のサインは顔の表情や緊張となって表出することが多く、実際の診断やカウンセリングにおいても、専門家は顔表情の変化を患者の精神的健康状態を推測する手がかりの一つとしている。しかしながら、たとえ専門家であっても、一枚の顔画像をみるだけでは、その表情や目・頬・口角の状態が、精神疾患のサインなのか個性（もともとの顔のつくり、普段の表情）なのかは区別できない。したがって、特許文献１に提案された手法では、信頼性の高い診断情報を得ることは難しいと考えられる。
特開２００６−３０５２６０号公報
本発明は上記実情に鑑みなされたものであって、画像から認識した顔表情に基づいてその人の精神的健康状態を推定し、精神的健康の管理に有用な情報を提供可能な技術を提供することを目的とする。
上記目的を達成するために、本発明では、顔表情の時系列データから対象者の顔表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて対象者の精神的健康状態を推定する、という構成を採用する。
具体的には、本発明に係る健康管理補助装置は、対象者の精神的健康の管理を補助する健康管理補助装置であって、前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、を有することを特徴とする。
本発明によれば、顔表情の時間的変化に関わる特徴に注目するため、顔表情の変化として表れる精神的健康状態の変化（悪化又は好転）を検出することができ、一枚の画像における顔表情だけで推定するのに比べて、高信頼の推定結果を得ることができる。そして、そのような高信頼の推定結果を自動で且つ早期に得ることができるため、対象者の精神的健康状態に応じた有用な情報を適時に提供することが可能となり、対象者の精神的健康管理を適切に補助することができる。
前記健康状態推定部は、表情の時間的変化に関わる特徴として、ポジティブな感情を示す表情の減少を検出した場合に、前記対象者の精神的健康状態が悪化していると推定することが好ましい。うつ病、認知症などの精神疾患のサイン（兆候）や症状の一つである「抑うつ状態」では、ポジティブな感情を示す表情（喜びの表情など）の減少が顕著だからである。あるいは、前記健康状態推定部は、表情の時間的変化に関わる特徴として、ネガティブな感情を示す表情の増加を検出した場合に、前記対象者の精神的健康状態が悪化していると推定してもよい。うつ病、認知症などの精神疾患のサイン（兆候）や症状の一つである「抑うつ状態」では、ネガティブな感情を示す表情（悲しみの表情など）の増加が顕著だからである。
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアが通常値に比べて低下傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することが好ましい。これにより、ポジティブな感情を示す表情の減少を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。あるいは、前記健康状態推定部は、前記複数種類の表情のスコアからネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のネガティブ表情スコアが通常値に比べて上昇傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定してもよい。これにより、ネガティブな感情を示す表情の増加を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアが通常値に比べて上昇傾向にあることを検出した場合に、前記対象者の精神的健康状態が好転していると推定することが好ましい。これにより、ポジティブな感情を示す表情の上昇を定量的に評価することができ、精神的健康状態の好転を高信頼に推定することができる。あるいは、前記健康状態推定部は、前記複数種類の表情のスコアからネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のネガティブ表情スコアが通常値に比べて低下傾向にあることを検出した場合に、前記対象者の精神的健康状態が好転していると推定してもよい。これにより、ネガティブな感情を示す表情の減少を定量的に評価することができ、精神的健康状態の好転を高信頼に推定することができる。
また、前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアの変動幅が通常値に比べて減少傾向にあることを検出し
た場合に、前記対象者の精神的健康状態が悪化していると推定することも好ましい。これにより、ポジティブな感情を示す表情の減少を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。あるいは、前記健康状態推定部は、前記複数種類の表情のスコアからネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のネガティブ表情スコアの変動幅が通常値に比べて増加傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することも好ましい。これにより、ネガティブな感情を示す表情の増加を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。
また、前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアの変動幅が通常値に比べて増加傾向にあることを検出した場合に、前記対象者の精神的健康状態が好転していると推定することも好ましい。これにより、ポジティブな感情を示す表情の増加を定量的に評価することができ、精神的健康状態の好転を高信頼に推定することができる。あるいは、前記健康状態推定部は、前記複数種類の表情のスコアからネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のネガティブ表情スコアの変動幅が通常値に比べて減少傾向にあることを検出した場合に、前記対象者の精神的健康状態が好転していると推定することも好ましい。これにより、ネガティブな感情を示す表情の減少を定量的に評価することができ、精神的健康状態の好転を高信頼に推定することができる。
また、前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、ポジティブ表情スコアの日内変動が朝方のスコアに比べて夕方のスコアが相対的に高い傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することも好ましい。あるいは、前記健康状態推定部は、前記複数種類の表情のスコアからネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、ネガティブ表情スコアの日内変動が朝方のスコアに比べて夕方のスコアが相対的に低い傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定してもよい。これにより、朝方は気分が沈み、夕方になると気分が上昇するという症状の出現を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。
前記健康状態推定部は、表情の時間的変化に関わる特徴として、複数種類の表情の出現割合の変化を検出した場合に、前記対象者の精神的健康状態が悪化していると推定することが好ましい。認知症などの精神疾患では、例えば怒りやすくなるなど、感情表現の変化（人格の変化）が起きるからである。
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、表情の時間的変化に関わる特徴として、前記複数種類の表情のうちの一部又は全部の表情に関する直近の所定期間のスコア平均と通常値との差が閾値より大きいことを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することが好ましい。これにより、表情の出現割合の変化を定量的に評価することができ、精神的健康状
態の悪化を高信頼に推定することができる。
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、表情の時間的変化に関わる特徴として、直近の所定期間のある表情のスコアの変動幅が通常値に比べて増加傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することが好ましい。これにより、感情の起伏が激しくなるという症状の出現を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。
前記通常値は、前記記憶部に記憶された前記対象者の時系列データから統計的に求めた値であることが好ましい。対象者自身の時系列データから統計的に求めた値を通常値として用いることにより、その対象者の表情の個性（もともとの顔のつくり、通常時の表情や感情表現など）を基準にして表情の時間的変化を評価できるため、個人差による推定精度の低下を抑制し、推定処理の信頼性をより高めることができる。
前記健康状態推定部は、前記対象者の複数日分の時系列データを用いて、精神的健康状態の推定を行うことが好ましい。また、前記「直近の所定期間」は１日よりも長い期間であることが好ましい。たとえ健康な人であっても気分の浮き沈みや感情の変化はあるので、数時間〜１日程度の期間の表情変化だけでは、その人の精神的健康状態を推定することは難しい（推定できたとしても信頼性が低い）からである。検出しようとする「表情の時間的変化に関わる特徴」にもよるが、日単位、週単位、月単位、又は、年単位での表情変化を評価することが好ましい。したがって、「直近の所定期間」は、例えば、数日、１週〜数週、１月〜数月、又は、１年〜数年といった期間に設定するとよい。
なお、本発明は、上記構成ないし機能の少なくとも一部を有する健康管理補助装置として捉えることができる。また本発明は、上記処理の少なくとも一部を含む健康管理補助方法、又は、かかる方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
本発明によれば、画像から認識した顔表情に基づいてその人の精神的健康状態を推定し、精神的健康の管理に有用な情報を提供することができる。
健康管理補助装置の構成例を示す図。 表情認識処理の流れを示すフローチャート。 記憶部に記憶された表情認識結果の時系列データの一例。 精神疾患によるポジティブ表情スコアの変化の例。 具体例（１）における健康状態推定部の推定ロジックを示す図。 具体例（２）における健康状態推定部の推定ロジックを示す図。 具体例（３）における健康状態推定部の推定ロジックを示す図。 具体例（４）における健康状態推定部の推定ロジックを示す図。 具体例（５）における健康状態推定部の推定ロジックを示す図。
以下に図面を参照して、この発明を実施するための好ましい形態を例示的に詳しく説明する。ただし、以下の実施形態に記載されている構成部品の寸法、材質、形状、その相対
配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。
（装置構成）
図１は、本発明の実施形態に係る健康管理補助装置の構成例を示す図である。健康管理補助装置１は、対象者２を撮影した画像を解析して、対象者２の精神的健康（メンタルヘルス）の管理に役立つ情報を提供するための装置である。この健康管理補助装置１は、対象者自身によるセルフチェック、医師やカウンセラなどの専門家のための診断ツール、企業や学校などにおけるメンタルヘルスケアなど、様々な用途に応用可能である。
図１の健康管理補助装置１は、主な構成として、画像取得部１０、表情認識部１１、記憶部１２、健康状態推定部１３、結果出力部１４を有している。
画像取得部１０は、撮像装置３から画像を取得する機能を有する。本実施形態では、対象者２の顔を時系列で撮影した複数の画像が撮像装置３から順次取り込まれる。撮像装置３はモノクロ又はカラーのカメラにより構成される。図１では撮像装置３を健康管理補助装置１とは別に設けたが、撮像装置３を健康管理補助装置１に搭載してもよい。表情認識部１１は、画像センシング処理によって画像から顔表情の特徴を認識する機能を有する。記憶部１２は、表情認識部１１から出力される表情認識結果を時系列データとして記憶する機能を有する。健康状態推定部１３は、記憶部１２に記憶された時系列データから対象者２の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて対象者２の精神的健康状態を推定する機能を有する。結果出力部１４は、健康状態推定部１３の推定結果を出力する機能を有する。
対象者２の画像を撮影ないし取り込む間隔は、健康管理補助装置１の用途や使用環境に応じて適宜設定すればよい。例えば、顔表情の日内変動又は複数日（例えば数日、数週間、数カ月など）にわたる変化を評価する目的であれば、数秒から数分に１回程度の頻度、あるいは、数十分から数時間に１回程度の頻度で画像を撮影ないし取り込めば足りる。対象者２が撮像装置３の視野内に常に存在する場合には、一定の時間間隔や決まった時刻に撮影を行うことができる。対象者２が撮像装置３の視野内に常に存在するとは限らない場合には、例えば、人感センサなどで対象者２を検知できたときに撮影するとか、対象者自身が所定の頻度でセルフ撮影を行う、などの構成を採ることもできる。
健康管理補助装置１は、ＣＰＵ（プロセッサ）、メモリ、補助記憶装置、入力装置、表示装置、通信装置などを具備するコンピュータにより構成することができる。健康管理補助装置１の各機能は、補助記憶装置に格納されたプログラムをメモリにロードし、ＣＰＵが実行することにより実現される。ただし、健康管理補助装置１の一部又は全部の機能をＡＳＩＣやＦＰＧＡなどの回路で実現することもできる。あるいは、健康管理補助装置１の一部の機能（例えば、表情認識部１１、記憶部１２、健康状態推定部１３の機能）をクラウドコンピューティングや分散コンピューティングにより実現してもよい。
（表情認識結果の時系列データ）
図２を参照して健康管理補助装置１で実行される表情認識処理の流れを説明する。図２は、表情認識処理の流れを示すフローチャートである。図２の処理は、撮像装置３で対象者２が撮影される度に実行される処理である。
ステップＳ２０１では、画像取得部１０が、撮像装置３から対象者２を撮影した画像を取得する。顔表情の認識が目的のため、対象者２の顔が（可能な限り）正面から写った画像が望ましい。次に、表情認識部１１が、画像から顔を検出し（ステップＳ２０２）、さらに顔器官（目、眉、鼻、口など）を検出する（ステップＳ２０３）。顔検出及び顔器官
検出には公知の手法をはじめ、いかなるアルゴリズムを用いてもよいため、詳しい説明は割愛する。
次に、表情認識部１１が、ステップＳ２０２及びＳ２０３の検出結果を利用して、対象者２の顔表情の特徴を認識する（ステップＳ２０４）。本実施形態では、ポール・エックマン（Paul Ekman）の表情分析をもとに、顔表情を「怒り」「嫌悪」「恐れ」「喜び」「悲しみ」「驚き」「真顔（無表情）」の７種類に分類する。表情認識結果としては、７種類の表情それぞれの度合い（表情らしさ、表情度とも呼ぶ）を合計が１００となるように数値化したスコアが出力される。各表情のスコアは表情成分値とも呼ばれる。以後の説明では、７表情に以下の番号を付し、各表情のスコアをＳ１〜Ｓ７と表記する場合がある。
１：怒り
２：嫌悪
３：恐れ
４：喜び
５：悲しみ
６：驚き
７：真顔
なお、ステップＳ２０４の表情認識には公知の手法をはじめ、いかなるアルゴリズムを用いてよい。以下、表情認識処理の一例を述べる。まず表情認識部１１が、顔器官の位置情報に基づき顔器官の相対位置や形状に関わる特徴量を抽出する。特徴量としては、Ｈａａｒ−ｌｉｋｅ特徴量、特徴点間距離、フーリエ記述子などを用いることができる。次に、表情認識部１１が、抽出した特徴量を７種類の顔表情それぞれの判別器に入力し、各表情の度合いを計算する。各判別器はサンプル画像を用いた学習によって生成することができる。最後に、表情認識部１１は、７つの判別器からの出力値を合計が１００になるよう規格化し、７種類の表情のスコア（表情成分値）を出力する。
表情認識部１１は、表情認識結果をタイムスタンプ情報と共に記憶部１２内のデータベースに格納する（ステップＳ２０５）。図３は、記憶部１２内に記憶された表情認識結果の時系列データの一例である。各行が１枚の顔画像から得られた表情認識結果を示している。
（精神的健康状態の推定）
次に、精神的健康状態の推定処理について説明する。本実施形態の健康管理補助装置１では、健康状態推定部１３が、表情認識結果の時系列データから対象者２の顔表情の時間的変化に関わる特徴を検出し（この処理を「表情データの時系列解析」とも呼ぶ）、その検出された特徴に基づいて対象者２の精神的健康状態を推定する。表情データの時系列解析により検出可能な「顔表情の時間的変化に関わる特徴」には様々なものがある。以下、具体例（１）〜（５）を説明する。
（１）ポジティブな感情を示す表情の減少（スコアの低下）
精神疾患の一つである「うつ病」の典型的な症状には、
・気分が沈む（抑うつ気分）
・興味がわかず楽しめない
・疲れを感じたり、気力がわかない
・仕事や家事に集中したり、決断することができない
・動作や話し方が遅い、またはイライラしたり、落着きが無い
・食欲が低下（増加）、体重が増減
・寝付けない、夜中や早朝に目が覚める
・自分に価値が無い、または申し訳ないと感じる
・この世から消えてしまいたいと思うことがある
などがある。これらの症状のうちの多くは顔表情の変化を生み、例えば「表情が暗い」、「笑顔が減った」、「表情に乏しい」といったサインとして表れる。
そこで、具体例（１）では、表情の時間的変化に関わる特徴として「ポジティブな感情を示す表情の減少」に注目する。詳しくは、本実施形態では、ポジティブな感情の度合いを示す指標として「ポジティブ表情スコアＳｐｏｓ」を次のように定義する。
Ｓｐｏｓ＝喜びスコアＳ４−怒りスコアＳ１−悲しみスコアＳ５
このポジティブ表情スコアＳｐｏｓは、対象者２の気分が良好で前向きな場合は高い値を示し、気分が沈んだりイライラした場合には低い値を示すように設計されている。
図４に、ポジティブ表情スコアＳｐｏｓの日内変動の例を示す。精神的健康状態が良好な人の場合、一日の中で感情の変化があるのが通常であるため、図４の左側のグラフのようにスコアＳｐｏｓは大きく変動する。これに対し、うつ病の人の場合は、図４の右側のグラフのように、スコアＳｐｏｓが全体的に低下したり、スコアＳｐｏｓの変動幅が小さくなる傾向にある。また、うつ病の特徴的な症状として、朝方は気分が沈み、夕方になるにつれ気分が上昇してくる、というものもある。したがって、表情データの時系列解析により、このようなスコア変化を検出することで、精神疾患（特にうつ病）の兆候または症状としての精神的健康状態の変化（悪化）を発見することが可能となる。本明細書において、「精神疾患の兆候」とは、精神疾患に至る前もしくは精神疾患の極めて初期の段階で現れる症状を意味している。
図５（Ａ）、図５（Ｂ）を参照して、健康状態推定部１３の処理を説明する。図５（Ａ）は、ある対象者２のポジティブ表情スコアＳｐｏｓの変化を示すグラフであり、横軸は日、縦軸はポジティブ表情スコアＳｐｏｓの一日当たりの平均（以下、スコア日平均ＤＳｐｏｓと呼ぶ）を示している。直近のスコア日平均ＤＳｐｏｓが低下傾向にあり、精神疾患（うつ病）の兆候が表れている。図５（Ｂ）は、具体例（１）における健康状態推定部１３の処理フローを示す。
ステップＳ５００において、健康状態推定部１３は、記憶部１２から必要な期間分（例えば、過去一カ月分）の時系列データを読み込み、各データについてポジティブ表情スコアＳｐｏｓを計算する。次に、健康状態推定部１３は、ポジティブ表情スコアＳｐｏｓの日平均ＤＳｐｏｓを計算する（ステップＳ５０１）。また、健康状態推定部１３は、スコア日平均ＤＳｐｏｓの通常値ＲＤＳを取得する（ステップＳ５０２）。通常値ＲＤＳは、精神的健康状態が通常状態にあるときのスコア日平均ＤＳｐｏｓの値である。ここでは、対象者２自身のスコア日平均ＤＳｐｏｓの過去一カ月の平均を通常値ＲＤＳとして用いることとする。
続いて、健康状態推定部１３は、直近の所定期間（例えば、数日〜１週間）分のスコア日平均ＤＳｐｏｓと通常値ＲＤＳとを比較し、直近の値が通常値ＲＤＳに対して低下傾向にあるか否かを判断する（ステップＳ５０３，Ｓ５０４）。ここでは、スコア日平均ＤＳｐｏｓの過去一カ月の標準偏差をσとしたときに、
ＤＳｐｏｓ＜ＲＤＳ−ｎ×σ
を満たすスコア日平均ＤＳｐｏｓが所定期間（例えば、数日〜１週間）のあいだ続いた場合に、直近の値が低下傾向にあると判定する。ｎは検出感度を調整するパラメータであり、例えば１〜３の値に設定される。
ステップＳ５０４においてスコアの低下傾向が検出された場合、健康状態推定部１３は、対象者２の精神的健康状態が悪化している、との推定結果を出力する（ステップＳ５０５）。逆に、スコアの低下傾向が検出されなかった場合、健康状態推定部１３は、対象者
２の精神的健康状態に変化なし、との推定結果を出力する（ステップＳ５０６）。これにより、対象者２の精神疾患の兆候や症状（例えば、うつ病の疑い）を自動で且つ早期に発見することができる。
（２）ポジティブな感情を示す表情の減少（スコアの変動幅の減少）
図４で説明したように、抑うつ状態では、ポジティブ表情スコアＳｐｏｓの変動幅が減少する傾向がある。そこで具体例（２）では、ポジティブ表情スコアＳｐｏｓの分散の低下を検出することで、精神疾患（特にうつ病）の兆候や症状を発見する。
図６（Ａ）、図６（Ｂ）を参照して、健康状態推定部１３の処理を説明する。図６（Ａ）は、ある対象者２のポジティブ表情スコアＳｐｏｓの変化を示すグラフであり、横軸は日、縦軸はポジティブ表情スコアＳｐｏｓの一日当たりの分散（以下、スコア日分散ＶＳｐｏｓと呼ぶ）を示している。直近のスコア日分散ＶＳｐｏｓが低下傾向にあり、精神疾患（うつ病）の兆候が表れている。図６（Ｂ）は、具体例（２）における健康状態推定部１３の処理フローを示す。
ステップＳ６００において、健康状態推定部１３は、記憶部１２から必要な期間分（例えば、過去一カ月分）の時系列データを読み込み、各データについてポジティブ表情スコアＳｐｏｓを計算する。次に、健康状態推定部１３は、ポジティブ表情スコアＳｐｏｓの日分散ＶＳｐｏｓを計算する（ステップＳ６０１）。また、健康状態推定部１３は、スコア日分散ＶＳｐｏｓの通常値ＲＶＳを取得する（ステップＳ６０２）。通常値ＲＶＳは、精神的健康状態が通常状態にあるときのスコア日分散ＶＳｐｏｓの値である。ここでは、対象者２自身のスコア日分散ＶＳｐｏｓの過去一カ月の平均を通常値ＲＶＳとして用いることとする。
続いて、健康状態推定部１３は、直近の所定期間（例えば、数日〜１週間）分のスコア日分散ＶＳｐｏｓと通常値ＲＶＳとを比較し、直近の値が通常値ＲＶＳに対して低下傾向にあるか否かを判断する（ステップＳ６０３，Ｓ６０４）。ここでは、スコア日分散ＶＳｐｏｓの過去一カ月の標準偏差をσとしたときに、
ＶＳｐｏｓ＜ＲＶＳ−ｎ×σ
を満たすスコア日分散ＶＳｐｏｓが所定期間（例えば、数日〜１週間）のあいだ続いた場合に、直近のスコア日分散が低下傾向にある（つまり、スコア変動幅が減少傾向にある）と判定する。ｎは検出感度を調整するパラメータであり、例えば１〜３の値に設定される。
ステップＳ６０４においてスコア変動幅の減少傾向が検出された場合、健康状態推定部１３は、対象者２の精神的健康状態が悪化している、との推定結果を出力する（ステップＳ６０５）。逆に、スコア変動幅の減少傾向が検出されなかった場合、健康状態推定部１３は、対象者２の精神的健康状態に変化なし、との推定結果を出力する（ステップＳ６０６）。これにより、対象者２の精神疾患の兆候や症状（例えば、うつ病の疑い）を自動で且つ早期に発見することができる。
なお、具体例（２）では、スコア日分散の低下を検出したが、ポジティブ表情スコアＳｐｏｓの値が閾値を超える頻度又は時間の減少を検出することでも、スコア変動幅の減少傾向を捉えることができる。
（３）朝方と夕方のあいだの表情の変化
図４で説明したように、うつ病の特徴的な症状として、朝方は気分が沈み、夕方になるにつれ気分が上昇してくる、というものがある。そこで具体例（３）では、ポジティブ表情スコアＳｐｏｓの日内変動を評価することで、精神疾患（特にうつ病）の兆候や症状を
発見する。
図７（Ａ）、図７（Ｂ）を参照して、健康状態推定部１３の処理を説明する。図７（Ａ）は、うつ病の人にみられるポジティブ表情スコアＳｐｏｓの日内変動を示すグラフであり、横軸は時間、縦軸はポジティブ表情スコアＳｐｏｓを示している。朝方のスコアが最も低く、時間の経過とともにスコアが徐々に上昇し、夕方のスコアが朝方に比べて相対的に高くなっている。図７（Ｂ）は、具体例（３）における健康状態推定部１３の処理フローを示す。
ステップＳ７００において、健康状態推定部１３は、記憶部１２から一日分の時系列データを読み込み、各データについてポジティブ表情スコアＳｐｏｓを計算する。次に、健康状態推定部１３は、朝方と夕方それぞれのポジティブ表情スコアＳｐｏｓの平均を計算する（ステップＳ７０１）。ここでは、午前７時〜午前９時のデータから朝方のスコア平均ＡＳｐｏｓを求め、午後４時〜午後６時のデータから夕方のスコア平均ＰＳｐｏｓを求める。
続いて、健康状態推定部１３は、朝方のスコア平均ＡＳｐｏｓと夕方のスコア平均ＰＳｐｏｓの差ΔＳｐｏｓ（＝ＰＳｐｏｓ−ＡＳｐｏｓ）を計算し（ステップＳ７０２）、差ΔＳｐｏｓを閾値Ｔｈ１と比較する（ステップＳ７０３）。差ΔＳｐｏｓが閾値Ｔｈ１より大きい場合（ステップＳ７０３；ＹＥＳ）、健康状態推定部１３は、対象者２の精神的健康状態が悪化している、との推定結果を出力する（ステップＳ７０４）。逆に、差ΔＳｐｏｓが閾値Ｔｈ１以下の場合（ステップＳ７０３；ＮＯ）、健康状態推定部１３は、対象者２の精神的健康状態に変化なし、との推定結果を出力する（ステップＳ７０５）。これにより、対象者２の精神疾患の可能性（例えば、うつ病の疑い）を自動で且つ早期に発見することができる。
なお、具体例（３）では、一日分の日内変動のみを評価したが、直近数日分の日内変動を評価し、図７（Ａ）のような日内変動が数日間続いた場合に、精神的健康状態の悪化と判断してもよい。
（４）表情の出現割合の変化
精神疾患の一つである「認知症」の場合、行動・心理症状として、
・不安及び焦燥
・うつ状態
・幻覚及び妄想
・興奮及び暴力
などがある。これらの症状は感情表現の変化（人格の変化）を生じ、例えば、「怒りやすくなった」、「感情の起伏が激しくなった」、「嫌悪や悲しい表情が増えた」といったサインとして表れることがある。
そこで、具体例（４）では、７表情の出現割合の変化を評価することで、精神疾患（特に認知症）の兆候や症状を発見する。
図８（Ａ）、図８（Ｂ）を参照して、健康状態推定部１３の処理を説明する。図８（Ａ）は、７表情の出現割合を示すグラフであり、横軸は表情の番号（１：怒り、２：嫌悪、３：恐れ、４：喜び、５：悲しみ、６：驚き、７：真顔）、縦軸はスコアＳ１〜Ｓ７の月平均を示している。精神的健康状態が良好なときには左側のグラフのように「４：喜び」や「５：悲しみ」の表情が多かったのに対し、認知症の症状により、右側のグラフのように「４：喜び」の表情が少なくなり、「１：怒り」や「２：嫌悪」の表情が多くなっていることがわかる。図８（Ｂ）は、具体例（４）における健康状態推定部１３の処理フロー
を示す。
ステップＳ８００において、健康状態推定部１３は、記憶部１２から必要な期間分（例えば、過去二カ月分）の時系列データを読み込み、７表情それぞれのスコアＳ１〜Ｓ７の一月当たりの平均（スコア月平均ＭＳ１〜ＭＳ７）を計算する（ステップＳ８００）。また、健康状態推定部１３は、スコア月平均ＭＳ１〜ＭＳ７の通常値ＲＭＳ１〜ＲＭＳ７を取得する（ステップＳ８０１）。通常値ＲＭＳ１〜ＲＭＳ７は、精神的健康状態が通常状態にあるときのスコア月平均ＭＳ１〜ＭＳ７の値である。ここでは、対象者２自身の過去（例えば一カ月以上前）のスコア月平均ＭＳ１〜ＭＳ７を通常値ＲＭＳ１〜ＲＭＳ７として用いることとする。
続いて、健康状態推定部１３は、下記式により、スコア月平均ＭＳ１〜ＭＳ７と通常値ＲＭＳ１〜ＲＭＳ７の差ΔＳを計算する（ステップＳ８０３）。
ΔＳ＝Σ（｜ＲＭＳｉ−ＭＳｉ｜） （ｉ＝１，２，…，７）
この差ΔＳは、直近の所定期間（ここでは一カ月）と通常時のあいだでの表情の出現割合の変化の大きさを表す指標である。
健康状態推定部１３は、差ΔＳを閾値Ｔｈ２と比較する（ステップＳ８０３）。そして、差ΔＳが閾値Ｔｈ２より大きい場合（ステップＳ８０３；ＹＥＳ）、健康状態推定部１３は、対象者２の精神的健康状態が悪化している、との推定結果を出力する（ステップＳ８０４）。逆に、差ΔＳが閾値Ｔｈ２以下の場合（ステップＳ８０３；ＮＯ）、健康状態推定部１３は、対象者２の精神的健康状態に変化なし、との推定結果を出力する（ステップＳ８０５）。これにより、対象者２の精神疾患の兆候や症状（例えば、認知症の疑い）を自動で且つ早期に発見することができる。
なお、具体例（４）では、月平均を評価したが、複数日の平均や複数週の平均を用いて評価を行ってもよい。また、７表情すべてのスコアを用いるのでなく、認知症により出現が多くなる又は少なくなる表情（例えば、「怒り」「嫌悪」「喜び」）のスコアだけを評価に用いてもよい。
（５）感情の起伏の激化
前述したように、認知症の症状として、感情の起伏が激しくなるというものがある。そこで具体例（５）では、７表情のうちのいずれかの表情のスコアの変動幅の増加を検出することで、認知症の兆候や症状を発見する。
図９（Ａ）、図９（Ｂ）を参照して、健康状態推定部１３の処理を説明する。図９（Ａ）は、ある対象者２の怒りスコアＳ１の変化を示すグラフであり、横軸は日、縦軸は怒りスコアＳ１の一日当たりの分散（以下、スコア日分散ＶＳ１と呼ぶ）を示している。直近のスコア日分散ＶＳ１が上昇傾向にあり、精神疾患（認知症）の兆候が表れている。図９（Ｂ）は、具体例（５）における健康状態推定部１３の処理フローを示す。
ステップＳ９０１において、健康状態推定部１３は、記憶部１２から必要な期間分（例えば、過去一カ月分）の時系列データを読み込み、怒りスコアＳ１の日分散ＶＳ１を計算する。また、健康状態推定部１３は、スコア日分散ＶＳ１の通常値ＲＶＳ１を取得する（ステップＳ９０２）。通常値ＲＶＳ１は、精神的健康状態が通常状態にあるときのスコア日分散ＶＳ１の値である。ここでは、対象者２自身のスコア日分散ＶＳ１の過去一カ月の平均を通常値ＲＶＳ１として用いることとする。
続いて、健康状態推定部１３は、直近の所定期間（例えば、数日〜１週間）分のスコア日分散ＶＳ１と通常値ＲＶＳ１とを比較し、直近の値が通常値ＲＶＳ１に対して上昇傾向
にあるか否かを判断する（ステップＳ９０３，Ｓ９０４）。ここでは、スコア日分散ＶＳ１の過去一カ月の標準偏差をσとしたときに、
ＶＳ１＞ＲＶＳ１＋ｎ×σ
を満たすスコア日分散ＶＳ１が所定期間（例えば、数日〜１週間）のあいだ続いた場合に、直近のスコア日分散が上昇傾向にある（つまり、怒りスコアの変動幅が増加傾向にある）と判定する。ｎは検出感度を調整するパラメータであり、例えば１〜３の値に設定される。
ステップＳ９０４において怒りスコアの変動幅の増加傾向が検出された場合、健康状態推定部１３は、対象者２の精神的健康状態が悪化している、との推定結果を出力する（ステップＳ９０５）。逆に、怒りスコアの変動幅の増加傾向が検出されなかった場合、健康状態推定部１３は、対象者２の精神的健康状態に変化なし、との推定結果を出力する（ステップＳ９０６）。これにより、対象者２の精神疾患の兆候や症状（例えば、認知症の疑い）を自動で且つ早期に発見することができる。
なお、具体例（５）では、スコア日分散の上昇を検出したが、怒りスコアＳ１の値が閾値を超える頻度又は時間の増加を検出することでも、怒りスコアの変動幅の増加傾向を捉えることができる。また、怒りスコアＳ１だけでなく、他の表情のスコア（例えば嫌悪スコアＳ２）の分散や変動幅を評価してもよい。
本実施形態の健康状態推定部１３は、上述した具体例（１）〜（５）のうちの１つ又は複数の推定ロジックを有している。ただし、これらの推定ロジックは、表情の時間的変化に関わる特徴に基づき精神的健康状態を推定する処理の一例にすぎず、これらの以外の推定ロジックを健康状態推定部１３に実装しても構わない。
（推定結果の出力）
以上のように、健康状態推定部１３による推定結果が得られたら、結果出力部１４がその推定結果に基づき対象者２の精神的健康状態に関する情報を出力する。出力先のデバイス、出力情報、出力方法は任意であり、健康管理補助装置１の用途や構成に応じて適宜設計できる。例えば、結果出力部１４は、表示装置に画像やメッセージを表示したり、スピーカに音声情報を出力したり、外部装置（スマートフォン、他のコンピュータ、外部ストレージなど）へ情報を伝送したりすることができる。出力する情報としては、例えば、精神疾患の可能性、対応策やアドバイスなど、メンタルヘルスケアに役立つ情報であればどのようなものを出力してもよい。また、図５（Ａ）、図６（Ａ）、図７（Ａ）、図８（Ａ）、図９（Ａ）に示したような表情の時間的変化を示すグラフを出力してもよい。このようなグラフ（時間的変化）をみることで、精神的健康状態の良し悪しや傾向などを直観的に理解することができる。
なお、健康状態推定部１３が複数の推定ロジックを有している場合、結果出力部１４は、各ロジックで得られた推定結果を別々に出力してもよいし、複数のロジックの推定結果を統合した結果（例えば、いずれかのロジックでＴＲＵＥ（＝精神的健康状態が悪化している）と判定されたらＴＲＵＥを出力する方法、すべてのロジックでＴＲＵＥ判定されたときのみＴＲＵＥを出力する方法など）を出力してもよい。
（健康管理補助装置の適用例）
健康管理補助装置１の適用例としては、例えば以下のものが想定される。
（適用例１）職場での健康管理
デスクや天井に設置したセンサで業務中の対象者（デスクワーカーなど）の顔が定期的に撮影される。健康管理補助装置１（サーバ）がＬＡＮを介して各センサから画像を収集
し、各対象者の表情認識及び健康状態推定を行い、推定結果を蓄積する。精神疾患の兆候が検出されると、その情報が上司に通知される。また、上司は健康管理補助装置１にアクセスし、部下のメンタルヘルス状態を確認できる。このようなシステムによれば、上司が部下のメンタルヘルス状態をリアルタイムで且つ客観的な情報として確認できるため、メンタルヘルスの低下や精神疾患の兆候にいち早く気付くことができる。そして、面談を行ったり、仕事の負荷を軽減したり、早期に健康管理室と連携したりするなど、適切な行動を迅速にとることが可能となる。
（適用例２）高齢者見守り
対象者は一人暮らしの高齢者である。テレビやキッチンに設置したセンサで対象者の顔が定期的に撮影される。家庭内に設定された健康管理補助装置１がセンサから画像を収集し、対象者の表情認識及び健康状態推定を行い、推定結果をクラウドサーバにアップロードする。離れて暮らす家族、ソーシャルワーカー、医者などが、必要なときにクラウドサーバにアクセスし、対象者のメンタルヘルス状態を確認できる。あるいは、クラウドサーバから対象者のメンタルヘルス状態の通知を受信する。このようなシステムによれば、一人暮らしの高齢者の健康状態を遠隔地から簡単に確認でき、認知症の兆候なども早期に発見することができる。
（適用例３）自宅での自己診断
ドレッサーや洗面台に設置したセンサで対象者の顔が定期的に撮影される。健康管理補助装置１（例えばスマートフォンのアプリ）がセンサから画像を収集し、対象者の表情認識及び健康状態推定行い、推定結果を蓄積する。このようなシステムによれば、ユーザは必要なときにスマートフォン上で自分自身のメンタルヘルス状態をチェックすることができる。
以上述べた本実施形態の構成は次のような利点を有する。健康管理補助装置１は、顔表情の時間的変化に関わる特徴に注目するため、顔表情の変化として表れる精神的健康状態の変化（悪化又は好転）を検出することができ、一枚の画像における顔表情だけで推定するのに比べて、高信頼の推定結果を得ることができる。そして、そのような高信頼の推定結果を自動で且つ早期に得ることができるため、対象者の精神的健康状態に応じた有用な情報を適時に提供することが可能となり、対象者の精神的健康管理を適切に補助することができる。また、具体例（１）〜（５）で述べたように、７表情を数値化したスコアの時系列データに基づき表情の時間的変化を定量的に評価するため、うつ病や認知症などの精神疾患につながる精神的健康状態の悪化を高信頼に推定することができる。さらに、対象者自身の時系列データから統計的に求めた値（上記の例では平均値）を通常値として用いることにより、その対象者の表情の個性（もともとの顔のつくり、通常時の表情や感情表現など）を基準にして表情の時間的変化を評価できるため、個人差による推定精度の低下を抑制し、推定処理の信頼性をより高めることができる。
なお、上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。例えば、上記実施形態では７種類の表情分類を用いたが、他の表情分類を用いても構わない。また、上記実施形態では、喜びスコアと怒りスコアと悲しみスコアからポジティブ表情スコアを生成したが、ポジティブ表情スコアの定義はこれに限らない。例えば、７表情のうちの１つ（例えば喜びスコア）をそのままポジティブ表情スコアとして選択して用いてもよい。また、上記実施形態では、精神疾患の例としてうつ病と認知症を挙げたが、顔表情に兆候（サイン）が表れる精神疾患であれば本発明の方法は有効である。例えば、解離性障害、適応障害、統合失調症、パニック障害・不安障害などが想定される。また、表情データの時系列解析には、回帰分析、周波数解析、トレンド推定など、いかなる手法を適用してもよい。また、上記実施形態では、通常
値として平均値を用いたが、対象者自身の時系列データから統計的に求めた値であれば、他の統計値（例えば、中間値、最頻値など）を用いることも好ましい。
時系列解析に用いる表情データの期間については、推定ロジック、表情の時間的変化の特徴、精神疾患やその兆候・症状の種類などに応じ、日単位、週単位、月単位、又は、年単位で、適宜設定することができる。上記具体例（１）などでは、直近の数日〜１週間の表情を評価対象とし、これを統計的に求めた通常値と比較したが、評価対象をサンプルする期間は、数日、１週〜数週、１月〜数月、又は、１年〜数年などの期間に設定することができる。同様に、通常値をサンプルする期間も、数日、１週〜数週、１月〜数月、又は、１年〜数年などの期間に設定することができる。例えば、直近の一カ月のポジティブ表情スコアがそれ以前のスコアと比較して悪化（スコアの低下や変動幅の減少）していたら「精神的健康状態の悪化」と判定し、さらにその状態が三カ月続いたら「うつ病の可能性が高い」と判定することが考えられる。
また、精神疾患によっては症状に季節変動があるものがある。季節変動がある場合には、評価対象をサンプルした期間と同じ季節の過去のデータから通常値をサンプルするとよい。例えば、認知症の症状進行を年単位で評価する場合には、今年の直近一カ月の表情と、過去数年分の同じ月の表情とを比較することが考えられる。
上記具体例（１）では、ポジティブ表情スコアＳｐｏｓが通常値よりも低下したことを検出した場合に「精神的健康状態の悪化」と判定したが、逆に、ポジティブ表情スコアＳｐｏｓが通常値よりも上昇したことを検出した場合に「精神的健康状態の好転」と判定することもできる。例えば、スコア日平均をＤＳｐｏｓ、通常値をＲＤＳ、スコア日平均ＤＳｐｏｓの過去一カ月の標準偏差をσ、検出感度を調整するパラメータをｎ、としたときに、
ＤＳｐｏｓ＞ＲＤＳ＋ｎ×σ
を満たすスコア日平均が所定期間のあいだ続いた場合に、直近の値が上昇傾向にあると判定することができる。同様に、ポジティブ表情スコアＳｐｏｓの変動幅が通常値（過去の統計値）よりも増加したことを検出した場合に「精神的健康状態の好転」と判定してもよい。
また、ポジティブ表情スコアＳｐｏｓの他に、ネガティブな感情を示す表情の度合いを数値化したネガティブ表情スコアＳｎｅｇの時間的変化に注目してもよい。ネガティブな感情を示す表情には、悲しみの表情、怒りの表情などが該当し、ネガティブ表情スコアＳｎｅｇは例えば次のように定義できる。
Ｓｎｅｇ＝悲しみスコアＳ５＋怒りスコアＳ１
具体的には、ネガティブ表情スコアＳｎｅｇが通常値よりも上昇した場合や、ネガティブ表情スコアＳｎｅｇの変動幅が通常値よりも増加した場合に、「精神的健康状態の悪化」と判定することができる。逆に、ネガティブ表情スコアＳｎｅｇが通常値よりも低下した場合や、ネガティブ表情スコアＳｎｅｇの変動幅が通常値よりも減少した場合に、「精神的健康状態の好転」と判定することができる。また、具体例（３）のポジティブ表情スコアＳｐｏｓの代わりにネガティブ表情スコアＳｎｅｇの日内変動を評価し、ネガティブ表情スコアＳｎｅｇが朝方に高く、夕方に相対的に低くなっている場合に、「精神的健康状態の悪化」と判定することもできる。
１：健康管理補助装置
２：対象者
３：撮像装置
１０：画像取得部
１１：表情認識部
１２：記憶部
１３：健康状態推定部
１４：結果出力部

Claims (24)

  1. 対象者の精神的健康の管理を補助する健康管理補助装置であって、
    前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
    前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
    前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
    前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
    前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
    を有し、
    前記健康状態推定部は、表情の時間的変化に関わる特徴として、ポジティブな感情を示す表情の減少又はネガティブな感情を示す表情の増加を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
    ことを特徴とする健康管理補助装置。
  2. 対象者の精神的健康の管理を補助する健康管理補助装置であって、
    前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
    前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
    前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
    前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
    前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
    を有し、
    前記健康状態推定部は、表情の時間的変化に関わる特徴として、ポジティブな感情を示
    す表情の増加又はネガティブな感情を示す表情の減少を検出した場合に、前記対象者の精神的健康状態が好転していると推定する
    ことを特徴とする健康管理補助装置。
  3. 対象者の精神的健康の管理を補助する健康管理補助装置であって、
    前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
    前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
    前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
    前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
    前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
    を有し、
    前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
    前記健康状態推定部は、
    前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
    表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアが通常値に比べて低下傾向にあること、又は、直近の所定期間のネガティブ表情スコアが通常値に比べて上昇傾向にあること、を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
    ことを特徴とする健康管理補助装置。
  4. 対象者の精神的健康の管理を補助する健康管理補助装置であって、
    前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
    前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
    前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
    前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
    前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
    を有し、
    前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
    前記健康状態推定部は、
    前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
    表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアが通常値に比べて上昇傾向にあること、又は、直近の所定期間のネガティブ表情スコアが通常値に比べて低下傾向にあること、を検出した場合に、前記対象者の精神的健康状態が好転していると推定する
    ことを特徴とする健康管理補助装置。
  5. 対象者の精神的健康の管理を補助する健康管理補助装置であって、
    前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
    前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
    前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
    前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
    前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
    を有し、
    前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
    前記健康状態推定部は、
    前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
    表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアの変動幅が通常値に比べて減少傾向にあること、又は、直近の所定期間のネガティブ表情スコアの変動幅が通常値に比べて増加傾向にあること、を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
    ことを特徴とする健康管理補助装置。
  6. 対象者の精神的健康の管理を補助する健康管理補助装置であって、
    前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
    前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
    前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
    前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
    前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
    を有し、
    前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
    前記健康状態推定部は、
    前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
    表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアの変動幅が通常値に比べて増加傾向にあること、又は、直近の所定期間のネガティブ表情スコアの変動幅が通常値に比べて減少傾向にあること、を検出した場合に、前記対象者の精神的健康状態が好転していると推定する
    ことを特徴とする健康管理補助装置。
  7. 対象者の精神的健康の管理を補助する健康管理補助装置であって、
    前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
    前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
    前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
    前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
    前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
    を有し、
    前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
    前記健康状態推定部は、
    前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ感情スコアを選択又は生成し、
    表情の時間的変化に関わる特徴として、ポジティブ表情スコアの日内変動が朝方のスコアに比べて夕方のスコアが相対的に高い傾向にあること、又は、ネガティブ表情スコアの日内変動が朝方のスコアに比べて夕方のスコアが相対的に低い傾向にあること、を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
    ことを特徴とする健康管理補助装置。
  8. 対象者の精神的健康の管理を補助する健康管理補助装置であって、
    前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
    前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
    前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
    前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
    前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
    を有し、
    前記健康状態推定部は、表情の時間的変化に関わる特徴として、複数種類の表情の出現割合の変化を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
    ことを特徴とする健康管理補助装置。
  9. 対象者の精神的健康の管理を補助する健康管理補助装置であって、
    前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
    前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
    前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
    前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
    前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
    を有し、
    前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
    前記健康状態推定部は、表情の時間的変化に関わる特徴として、前記複数種類の表情のうちの一部又は全部の表情に関する直近の所定期間のスコア平均と通常値との差が閾値より大きいことを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することを特徴とする健康管理補助装置。
  10. 対象者の精神的健康の管理を補助する健康管理補助装置であって、
    前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
    前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識
    する表情認識部と、
    前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
    前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
    前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
    を有し、
    前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
    前記健康状態推定部は、表情の時間的変化に関わる特徴として、直近の所定期間のある表情のスコアの変動幅が通常値に比べて増加傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
    ことを特徴とする健康管理補助装置。
  11. 前記通常値は、前記記憶部に記憶された前記対象者の時系列データから統計的に求めた値である
    ことを特徴とする請求項３、４、５、６、９、１０のうちいずれか１項に記載の健康管理補助装置。
  12. 前記直近の所定期間は、１日よりも長い期間である
    ことを特徴とする請求項３、４、５、６、９、１０、１１のうちいずれか１項に記載の健康管理補助装置。
  13. 前記健康状態推定部は、前記対象者の複数日分の時系列データを用いて、精神的健康状態の推定を行う
    ことを特徴とする請求項１〜１２のうちいずれか１項に記載の健康管理補助装置。
  14. コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
    コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
    コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識するステップと、
    コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
    コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
    コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
    を有し、
    前記健康状態推定ステップでは、表情の時間的変化に関わる特徴として、ポジティブな感情を示す表情の減少又はネガティブな感情を示す表情の増加を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
    ことを特徴とする健康管理補助方法。
  15. コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
    コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
    コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識するステップと、
    コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶す
    るステップと、
    コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
    コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
    を有し、
    前記健康状態推定ステップでは、表情の時間的変化に関わる特徴として、ポジティブな感情を示す表情の増加又はネガティブな感情を示す表情の減少を検出した場合に、前記対象者の精神的健康状態が好転していると推定する
    ことを特徴とする健康管理補助方法。
  16. コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
    コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
    コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識ステップと、
    コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
    コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
    コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
    を有し、
    前記表情認識ステップは、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
    前記健康状態推定ステップでは、
    前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
    表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアが通常値に比べて低下傾向にあること、又は、直近の所定期間のネガティブ表情スコアが通常値に比べて上昇傾向にあること、を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
    ことを特徴とする健康管理補助方法。
  17. コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
    コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
    コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識ステップと、
    コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
    コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
    コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
    を有し、
    前記表情認識ステップは、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
    前記健康状態推定ステップでは、
    前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
    表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアが通常値に比べて上昇傾向にあること、又は、直近の所定期間のネガティブ表情スコアが通常値に比べて低下傾向にあること、を検出した場合に、前記対象者の精神的健康状態が好転していると推定する
    ことを特徴とする健康管理補助方法。
  18. コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
    コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
    コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識ステップと、
    コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
    コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
    コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
    を有し、
    前記表情認識ステップは、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
    前記健康状態推定ステップでは、
    前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
    表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアの変動幅が通常値に比べて減少傾向にあること、又は、直近の所定期間のネガティブ表情スコアの変動幅が通常値に比べて増加傾向にあること、を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
    ことを特徴とする健康管理補助方法。
  19. コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
    コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
    コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識ステップと、
    コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
    コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
    コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
    を有し、
    前記表情認識ステップは、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
    前記健康状態推定ステップでは、
    前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
    表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアの変動幅が通常値に比べて増加傾向にあること、又は、直近の所定期間のネガティブ表情スコ
    アの変動幅が通常値に比べて減少傾向にあること、を検出した場合に、前記対象者の精神的健康状態が好転していると推定する
    ことを特徴とする健康管理補助方法。
  20. コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
    コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
    コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識ステップと、
    コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
    コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
    コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
    を有し、
    前記表情認識ステップは、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
    前記健康状態推定ステップでは、
    前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ感情スコアを選択又は生成し、
    表情の時間的変化に関わる特徴として、ポジティブ表情スコアの日内変動が朝方のスコアに比べて夕方のスコアが相対的に高い傾向にあること、又は、ネガティブ表情スコアの日内変動が朝方のスコアに比べて夕方のスコアが相対的に低い傾向にあること、を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
    ことを特徴とする健康管理補助方法。
  21. コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
    コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
    コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識するステップと、
    コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
    コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
    コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
    を有し、
    前記健康状態推定ステップでは、表情の時間的変化に関わる特徴として、複数種類の表情の出現割合の変化を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
    ことを特徴とする健康管理補助方法。
  22. コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
    コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
    コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識ステップと、
    コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
    コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
    コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
    を有し、
    前記表情認識ステップは、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
    前記健康状態推定ステップでは、表情の時間的変化に関わる特徴として、前記複数種類の表情のうちの一部又は全部の表情に関する直近の所定期間のスコア平均と通常値との差が閾値より大きいことを検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
    ことを特徴とする健康管理補助方法。
  23. コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
    コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
    コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識ステップと、
    コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
    コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
    コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
    を有し、
    前記表情認識ステップは、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
    前記健康状態推定ステップでは、表情の時間的変化に関わる特徴として、直近の所定期間のある表情のスコアの変動幅が通常値に比べて増加傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
    ことを特徴とする健康管理補助方法。
  24. 請求項１４〜２３のうちいずれか１項に記載の健康管理補助方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
JP2015026474A 2015-02-13 2015-02-13 健康管理補助装置及び健康管理補助方法 Active JP6467966B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015026474A JP6467966B2 (ja) 2015-02-13 2015-02-13 健康管理補助装置及び健康管理補助方法
CN201580074009.XA CN107205731B (zh) 2015-02-13 2015-12-25 健康管理辅助装置及健康管理辅助方法
PCT/JP2015/086238 WO2016129193A1 (ja) 2015-02-13 2015-12-25 健康管理補助装置及び健康管理補助方法
DE112015006150.9T DE112015006150T5 (de) 2015-02-13 2015-12-25 Gesundheitsfürsorgeunterstützungsvorrichtung und Gesundheitsfürsorgeunterstützungsverfahren
US15/653,964 US20170311864A1 (en) 2015-02-13 2017-07-19 Health care assisting device and health care assisting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015026474A JP6467966B2 (ja) 2015-02-13 2015-02-13 健康管理補助装置及び健康管理補助方法

Publications (2)

Publication Number Publication Date
JP2016147006A JP2016147006A (ja) 2016-08-18
JP6467966B2 true JP6467966B2 (ja) 2019-02-13

Family

ID=56615157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015026474A Active JP6467966B2 (ja) 2015-02-13 2015-02-13 健康管理補助装置及び健康管理補助方法

Country Status (5)

Country Link
US (1) US20170311864A1 (ja)
JP (1) JP6467966B2 (ja)
CN (1) CN107205731B (ja)
DE (1) DE112015006150T5 (ja)
WO (1) WO2016129193A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282789B1 (en) 2015-12-29 2019-05-07 State Farm Mutual Automobile Insurance Company Method of controlling for undesired factors in machine learning models
JP6945127B2 (ja) 2016-09-16 2021-10-06 パナソニックＩｐマネジメント株式会社 ストレスマネジメントシステム、ストレスマネジメント方法及びコンピュータプログラム
JP6736685B2 (ja) * 2016-11-16 2020-08-05 本田技研工業株式会社 感情推定装置、および、感情推定システム
JP6801459B2 (ja) * 2017-01-10 2020-12-16 日本電気株式会社 情報処理装置、いじめ発見方法、情報処理システム、および、コンピュータプログラム
JP6888337B2 (ja) * 2017-03-09 2021-06-16 富士フイルムビジネスイノベーション株式会社 表示装置、診断システム及びプログラム
JP2018173763A (ja) * 2017-03-31 2018-11-08 積水化学工業株式会社 行動支援システム、行動支援方法
JP7123539B2 (ja) * 2017-09-21 2022-08-23 日清オイリオグループ株式会社 診断支援情報提供装置
CN109805943A (zh) * 2017-11-20 2019-05-28 徐熠 一种基于微表情识别的智能评测系统及方法
JP7106851B2 (ja) * 2017-12-12 2022-07-27 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11191341B2 (en) 2018-01-11 2021-12-07 Casio Computer Co., Ltd. Notification device, notification method, and storage medium having program stored therein
CN110755091A (zh) * 2018-07-26 2020-02-07 杨万友 一种个人心理健康监测系统及方法
US10960173B2 (en) 2018-11-02 2021-03-30 Sony Corporation Recommendation based on dominant emotion using user-specific baseline emotion and emotion analysis
CN109830280A (zh) * 2018-12-18 2019-05-31 深圳壹账通智能科技有限公司 心理辅助分析方法、装置、计算机设备和存储介质
JP7100575B2 (ja) * 2018-12-28 2022-07-13 本田技研工業株式会社 情報処理装置及びプログラム
WO2020209414A1 (ko) * 2019-04-11 2020-10-15 주식회사 에버정보기술 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서
CN110309714A (zh) * 2019-05-22 2019-10-08 深圳壹账通智能科技有限公司 基于表情识别的心理健康评估方法、装置和存储介质
CN113939226A (zh) * 2019-06-07 2022-01-14 大金工业株式会社 判定系统
JP2021003476A (ja) * 2019-06-27 2021-01-14 富士ゼロックス株式会社 評価装置、評価プログラム、及び評価システム
JP7014761B2 (ja) * 2019-10-02 2022-02-01 株式会社エクサウィザーズ 認知機能推定方法、コンピュータプログラム及び認知機能推定装置
JPWO2022064622A1 (ja) * 2020-09-24 2022-03-31
CN112472088B (zh) * 2020-10-22 2022-11-29 深圳大学 一种情绪状态评定方法、装置、智能终端及存储介质
JP2022072024A (ja) * 2020-10-29 2022-05-17 グローリー株式会社 認知機能判定装置、認知機能判定システム、学習モデル生成装置、認知機能判定方法、学習モデル製造方法、学習済みモデル、およびプログラム
CN117813623A (zh) 2021-06-11 2024-04-02 生命探索株式会社 情绪推定装置、情绪推定方法以及程序
JP7444820B2 (ja) * 2021-08-05 2024-03-06 Ｎｅｃパーソナルコンピュータ株式会社 感情判定装置、感情判定方法、及びプログラム
CN113707305A (zh) * 2021-08-30 2021-11-26 康键信息技术（深圳）有限公司 基于深度学习的健康方案推荐方法、装置、设备及介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3668034B2 (ja) * 1999-02-26 2005-07-06 三洋電機株式会社 精神状態評価装置
JP2006305260A (ja) * 2005-04-28 2006-11-09 Ichiro Hagiwara 表情診断支援装置
JP5276454B2 (ja) * 2009-01-20 2013-08-28 安川情報システム株式会社 表情測定方法、表情測定プログラムならびに表情測定装置
JP5714411B2 (ja) * 2010-05-17 2015-05-07 株式会社光吉研究所 行動分析方法および行動分析装置
US9503786B2 (en) * 2010-06-07 2016-11-22 Affectiva, Inc. Video recommendation using affect
US10869626B2 (en) * 2010-06-07 2020-12-22 Affectiva, Inc. Image analysis for emotional metric evaluation
JP5665025B2 (ja) * 2010-08-06 2015-02-04 国立大学法人東京農工大学 精神疾患判定装置、方法、及びプログラム
JP6244643B2 (ja) * 2013-04-15 2017-12-13 オムロン株式会社 表情推定装置、制御方法、制御プログラム、および記録媒体
CN203290920U (zh) * 2013-06-24 2013-11-20 西南大学 便携式情感分析仪
CN103654798B (zh) * 2013-12-11 2015-07-08 四川大学华西医院 一种情绪监测与记录方法及其装置
CN104183091B (zh) * 2014-08-14 2017-02-08 苏州清研微视电子科技有限公司 一种自适应调整疲劳驾驶预警系统灵敏度的系统
CN104338228A (zh) * 2014-10-15 2015-02-11 惠州Tcl移动通信有限公司 一种情绪调节方法及终端

Also Published As

Publication number Publication date
WO2016129193A1 (ja) 2016-08-18
CN107205731A (zh) 2017-09-26
DE112015006150T5 (de) 2017-11-16
CN107205731B (zh) 2020-05-26
US20170311864A1 (en) 2017-11-02
JP2016147006A (ja) 2016-08-18

Similar Documents

Publication Publication Date Title
JP6467966B2 (ja) 健康管理補助装置及び健康管理補助方法
JP6945127B2 (ja) ストレスマネジメントシステム、ストレスマネジメント方法及びコンピュータプログラム
US20160345832A1 (en) System and method for monitoring biological status through contactless sensing
WO2018168095A1 (ja) 人物動向記録装置、人物動向記録方法、及びプログラム
JP2019532532A (ja) プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
US20130102854A1 (en) Mental state evaluation learning for advertising
JP2020502642A (ja) 患者識別システムおよび方法
Mekruksavanich et al. Fall detection from smart wearable sensors using deep convolutional neural network with squeeze-and-excitation module
JP2007102482A (ja) 自動計数装置、プログラムおよび方法
CN107847195B (zh) 关心度估计装置、关心度估计方法以及记录介质
Banerjee et al. Exploratory analysis of older adults’ sedentary behavior in the primary living area using kinect depth data
Eldib et al. Sleep analysis for elderly care using a low-resolution visual sensor network
JP7306152B2 (ja) 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム
Yan et al. Affect estimation with wearable sensors
WO2022059249A1 (ja) 情報処理装置、情報処理システム、情報出力方法、および情報出力プログラム
JP6922768B2 (ja) 情報処理装置
Gimpel et al. Design Knowledge on Mobile Stress Assessment.
JP7385514B2 (ja) 生体情報管理装置、生体情報管理方法、生体情報管理プログラム及び記憶媒体
JP2020042709A (ja) 聴衆間の心理状態の類似度合を評定するシステム
US20220240798A1 (en) Apparatuses and methods for providing a score indicative of a physiological condition of at least one individual
Kobiyama et al. Location awareness based on infrared sensor array
JP2020177383A (ja) 高齢者等見守システム
Gaete et al. Visitrack: A pervasive service for monitoring the social activity of older adults living at home
WO2022144978A1 (ja) 情報処理装置、制御方法及び記憶媒体
WO2022113276A1 (ja) 情報処理装置、制御方法及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181231

R150 Certificate of patent or registration of utility model

Ref document number: 6467966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150