JP2024007407A - Information processing device - Google Patents
Information processing device Download PDFInfo
- Publication number
- JP2024007407A JP2024007407A JP2023103675A JP2023103675A JP2024007407A JP 2024007407 A JP2024007407 A JP 2024007407A JP 2023103675 A JP2023103675 A JP 2023103675A JP 2023103675 A JP2023103675 A JP 2023103675A JP 2024007407 A JP2024007407 A JP 2024007407A
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- health
- information processing
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 78
- 230000036541 health Effects 0.000 claims abstract description 274
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 69
- 230000001815 facial effect Effects 0.000 claims description 69
- 201000010099 disease Diseases 0.000 claims description 65
- 230000008520 organization Effects 0.000 claims description 35
- 238000004458 analytical method Methods 0.000 claims description 23
- 238000009534 blood test Methods 0.000 claims description 17
- 230000008921 facial expression Effects 0.000 claims description 14
- 210000001525 retina Anatomy 0.000 claims description 13
- 210000004709 eyebrow Anatomy 0.000 claims description 6
- 239000006185 dispersion Substances 0.000 claims description 5
- 239000000284 extract Substances 0.000 abstract description 13
- 238000004364 calculation method Methods 0.000 description 43
- 230000003862 health status Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 24
- 238000000034 method Methods 0.000 description 16
- 210000001260 vocal cord Anatomy 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 208000024891 symptom Diseases 0.000 description 8
- 239000008280 blood Substances 0.000 description 7
- 210000004369 blood Anatomy 0.000 description 7
- 208000010412 Glaucoma Diseases 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 208000014644 Brain disease Diseases 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000002567 autonomic effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 206010012601 diabetes mellitus Diseases 0.000 description 4
- 208000035475 disorder Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 208000024714 major depressive disease Diseases 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000036449 good health Effects 0.000 description 2
- 210000005037 parasympathetic nerve Anatomy 0.000 description 2
- 230000005195 poor health Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000036387 respiratory rate Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000002889 sympathetic effect Effects 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
Description
本発明は、情報処理装置に関する。 The present invention relates to an information processing device.
従来、声帯情報に基づく音響パラメータを用いて疾患を推定する技術が知られている（例えば、特許文献１）。 Conventionally, a technique for estimating a disease using acoustic parameters based on vocal cord information is known (for example, Patent Document 1).
しかしながら、上述の特許文献に挙げられた技術では、ユーザの声帯情報のみに基づいて疾患を推定するため、ユーザの健康状態を正確に推定することができなかった。 However, with the techniques mentioned in the above-mentioned patent documents, the disease is estimated based only on the user's vocal cord information, and therefore the user's health condition cannot be accurately estimated.
本発明は、このような状況を鑑みてなされたものであり、ユーザの健康状態を高精度に推定することを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to estimate a user's health condition with high accuracy.
上記目的を達成するため、本発明の一態様の情報処理装置は、
ユーザの声に関する声情報を取得する第一取得手段と、
前記ユーザの顔情報を取得する第二取得手段と、
前記声情報および前記顔情報を記憶する第一記憶手段と、
前記声情報に基づいて、音声特徴量を抽出する第一抽出手段と、
前記顔情報に基づいて、顔特徴量を抽出する第二抽出手段と、
複数の時点における前記音声特徴量および前記顔特徴量に基づいて、前記ユーザの健康状態を推定する健康状態推定手段と、
を備える。
To achieve the above object, an information processing device according to one embodiment of the present invention includes:
a first acquisition means for acquiring voice information regarding the user's voice;
a second acquisition means for acquiring facial information of the user;
a first storage means for storing the voice information and the face information;
a first extraction means for extracting voice features based on the voice information;
a second extraction means for extracting facial features based on the facial information;
Health state estimating means for estimating the health state of the user based on the voice feature amount and the facial feature amount at a plurality of points in time;
Equipped with
本発明によれば、ユーザの健康状態を高精度に推定することができる。 According to the present invention, a user's health condition can be estimated with high accuracy.
（実施形態）
＜概要＞
以下、本発明の実施形態について、図面を用いて説明する。
図１は、本発明の一実施形態に係る情報処理システムにより提供されるサービス（以下、「本サービス」と呼ぶ）の概要を示す図である。
(Embodiment)
<Summary>
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a diagram showing an overview of a service (hereinafter referred to as "this service") provided by an information processing system according to an embodiment of the present invention.
本サービスは、ユーザＵの心や体の状態、すなわち健康状態を高精度に推定することを目的としている。健康状態をよりよく推定することができれば、その推定結果を有効に活用することが可能である。
例えば、会社において、本情報処理システムを構成する情報処理装置（後述するサーバ１）によって推定された、ユーザＵ（従業員）の健康状態が悪い場合（例えばうつ状態である場合）、会社はユーザＵが離職しないように防止策をとることができる。また、ユーザＵが、うつ病を自覚していない可能性があるため、会社側からのはたらきかけによって、ユーザＵ（従業員）は自己の健康状態の改善を図ることができる。
The purpose of this service is to estimate the state of mind and body of user U, that is, the state of health, with high accuracy. If health conditions can be estimated better, the estimation results can be used effectively.
For example, in a company, if user U (employee) is in poor health condition (for example, depressed), as estimated by the information processing device (
また、本サービスは、推定した健康状態を可視化することを目的とする。可視化とは、例えば、健康状態を示すスコアや健康状態そのものを出力して、当該スコアや健康状態を前述の会社乃至ユーザＵに示すことをいう。可視化することで、例えば、会社はユーザＵ（従業員）の自己報告に頼ることなく、従業員の健康状態を把握することが可能となる。また、客観的なデータが示されるため、ユーザＵ自身でうつ病の可能性があることを自覚することが可能となる。 Additionally, the purpose of this service is to visualize the estimated health status. Visualization refers to, for example, outputting a score indicating a health state or the health state itself, and showing the score or health state to the above-mentioned company or user U. By visualizing, for example, the company can grasp the health status of its employees without relying on the self-reports of users U (employees). Moreover, since objective data is shown, it becomes possible for the user U to be aware of the possibility that he/she may be suffering from depression.
図１に示す本サービスにおいて、前述のユーザＵは、例えば従業員である。情報処理端末２は、例えば会社の執務室の出入り口のドアに設置されている端末であって、カメラやマイク、ディスプレイを備えている。図中の符号Ｇは、情報処理端末２の表示部２ｄに表示される画面の一例である。画面には例えば、表示されている文章を読み上げる旨の指示が表示される。
In this service shown in FIG. 1, the above-mentioned user U is, for example, an employee. The
まず、ユーザＵは、出勤時に、情報処理端末２のカメラに顔が映るように情報処理端末２の前に立つ。ユーザＵは続けて、情報処理端末２の画面に表示された文章（例えば「おはようございます」）を読み上げる。
First, when the user U goes to work, he stands in front of the
ユーザＵが情報処理端末２に表示された文章を読み上げた音（音声）と、情報処理端末２に映った顔とから、ユーザＵの健康状態が推定される。
The health condition of the user U is estimated from the sound (voice) of the user U reading out the text displayed on the
本情報処理システムを構成するサーバ１（図２参照。情報処理装置）は、前述の目的を達成するために、ユーザＵの顔および声の情報を用いてユーザＵの健康状態を推定し、その推定結果を可視化する。具体的には、サーバ１は、情報処理端末２を介してユーザＵの声に関する声情報およびユーザＵの顔情報を取得すると共に、取得した声情報に基づいて音声特徴量を抽出し、且つ、取得した顔情報に基づいて顔特徴量を抽出する処理を実行する。そして、複数の時点における音声特徴量および顔特徴量に基づいて、ユーザＵの健康状態ＨＳを推定し、その推定結果を例えば表示する処理を実行する。
In order to achieve the above-mentioned purpose, the server 1 (see FIG. 2; information processing device) constituting this information processing system estimates the health condition of the user U using information about the user's face and voice, and Visualize the estimation results. Specifically, the
＜システム構成＞
図２は、本発明の一実施形態に係る情報処理システムに関するシステム構成の一例を示すブロック図である。
本実施形態に係る情報処理システムを構成する情報処理装置は、サーバ１によって実現されている。当該サーバ１は、インターネット等の所定のネットワークＮを介して、情報処理端末２と、ユーザ端末３とが相互に接続されている。
情報処理端末２は、例えば、パーソナルコンピュータ（ＰＣ）、タブレット等の情報処理端末である。ユーザ端末３は、例えば、パーソナルコンピュータ（ＰＣ）、タブレット、スマートフォン等の情報処理端末である。なお、各端末は、ここでは１台であるものとして説明するが、当該サーバ１にそれぞれ接続されるよう複数台であってもよい。また、本実施形態では、サーバ１は１台であるものとして説明するが、サーバ１は複数台あってもよい。
<System configuration>
FIG. 2 is a block diagram showing an example of a system configuration regarding an information processing system according to an embodiment of the present invention.
An information processing device constituting the information processing system according to this embodiment is realized by a
The
＜サーバ１のハードウェア構成について＞
図３は、実施形態に係るサーバ１のハードウェア構成の一例を示すブロック図である。
サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０とを備えている。
<About the hardware configuration of
FIG. 3 is a block diagram showing an example of the hardware configuration of the
The
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。
The
入出力インターフェース１５には、出力部１６、入力部１７、記憶部１８、通信部１９、ドライブ２０が接続されている。出力部１６は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。入力部１７は、キーボードやマウス等で構成され、各種情報を入力する。記憶部１８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。通信部１９は、近距離無線通信や、インターネットを含むネットワークＮを介して他の対象（例えば図２のユーザ端末３）との間で通信を行う。
An
ドライブ２０は、必要に応じて設けられる。ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２１が適宜装着される。ドライブ２０によってリムーバブルメディア２１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア２１は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。
The
＜情報処理端末２のハードウェア構成について＞
情報処理端末２のハードウェア構成は、ここでは特に図示しないが、上述のサーバ１のハードウェア構成と基本的に同様である。即ち、ＣＰＵと、ＲＯＭと、ＲＡＭと、バスと、入出力インターフェースと、出力部と、入力部と、記憶部と、通信部と、ドライブとを備える。情報処理端末２は、ここでは音声取得部２ａと検知部２ｂと撮像部２ｃと表示部２ｄも備える。音声取得部２ａは所謂マイクであって、ユーザＵの音声を取得するために備えられる。検知部２ｂは、例えばユーザＵの声帯の振動そのものを検知するために備えられる。撮像部２ｃは、所謂カメラであって、ユーザＵの顔を撮像するために備えられる。表示部２ｄは、例えば、ユーザＵの音声を取得するためにユーザＵに読ませる文章を表示するために備えられる。
<About the hardware configuration of the
Although not particularly illustrated here, the hardware configuration of the
＜ユーザ端末３のハードウェア構成について＞
ユーザ端末３のハードウェア構成は、ここでは特に図示しないが、上述のサーバ１のハードウェア構成と基本的に同様である。即ち、ＣＰＵと、ＲＯＭと、ＲＡＭと、バスと、入出力インターフェースと、出力部と、入力部と、記憶部と、通信部と、ドライブとを備える。ユーザ端末３は、ここでは表示部３ａを備える。表示部３ａは、前述のスコア（例えば、健康状態を示すスコア）を表示するために備えられる。
<About the hardware configuration of
Although not particularly illustrated here, the hardware configuration of the
以上のようなサーバ１と、情報処理端末２と、ユーザ端末３とに関し、これらの各種ハードウェアと各種ソフトウェアとの協働により、後述する各種処理が実現されるようになる。
With regard to the
＜サーバ１の機能構成＞
図４は、図２の情報処理システムのうち、サーバ１の機能的構成の一例を示す機能ブロック図である。
<Functional configuration of
FIG. 4 is a functional block diagram showing an example of the functional configuration of the
サーバ１は、前述したように、ＣＰＵ１１と、記憶部１８と、通信部１９等とを備える。サーバ１には、通信部１９を介して情報処理端末２と、ユーザ端末３が夫々接続される。
As described above, the
サーバ１のＣＰＵ１１においては、第一取得部１１１と、第二取得部１１２と、第一抽出部１１３と、第二抽出部１１４と、スコア算出部１１５と、健康状態推定部１１６と、表示制御部１１７と、疾患有無推定部１１８と、解析部１１９と、判定部１２０と、第一警告部１２１と、スコア判断部１２２と、第二警告部１２３と、血液情報取得部１２４と、勤怠情報取得部１２５と、病歴情報取得部１２６と、が機能する。
The
サーバ１の記憶部１８においては、この一領域に、声ＤＢ（データベース）１８１と、顔ＤＢ１８２と、特徴量ＤＢ１８３と、スコアＤＢ１８４と、基準ＤＢ１８５と、算出モデルＤＢ１８６と、解析・判定結果ＤＢ１８７と、ユーザ情報ＤＢ１８８と、組織情報ＤＢ１８９と、が構築されている。
In the
第一取得部１１１は、ユーザＵの声に関する情報（以下、声情報という。）を取得する。ここで、声情報には、ユーザＵの声（音声）を発した時に生ずる事象全てが含まれる。言い換えると、声情報には、ユーザＵの声に関する音情報と、ユーザＵに備わる声帯の振動に関する情報とが含まれる。
第一取得部１１１は、ユーザＵが情報処理端末２に表示された文章を読み上げた声に関する音情報とユーザＵの声帯の振動に関する情報を、情報処理端末２の音声取得部２ａと検知部２ｂを介して取得する。
第一取得部１１１は、取得した声情報を声ＤＢ１８１に格納する。
The
The
The
第二取得部１１２は、情報処理端末２の撮像部２ｃが撮像したユーザＵの顔情報を取得する。ここで、顔情報には、例えば、ユーザＵの目および口等の位置に関する情報や、目等の状態に関する情報、表情または顔色に関する情報等、顔画像より取得される脈波に関する情報が含まれるものとする。
目の状態に関する情報には、例えば、ユーザＵの網膜に関する情報が含まれる。また、目の位置に関する情報には、例えば、ユーザＵの眉間に関する情報が含まれる。
脈波に関する情報には、脈波から算出される脈拍数、呼吸数、交感神経及び副交感神経に係る数値、ＨＦ／ＬＦ（高周波成分／低周波成分）値を含む。
顔画像から、脈波を測定する技術については公知の技術を使用できる。例えばカメラやスマートフォンに搭載されるＲＧＢイメージセンサや近赤外イメージセンサを用いた画像データにより脈波を測定する技術などが挙げられるが、これに限定されるものではない。
第二取得部１１２は、取得した顔情報を顔ＤＢ１８２に格納する。
The
The information regarding the eye condition includes, for example, information regarding the user U's retina. Further, the information regarding the position of the eyes includes, for example, information regarding the glabella of the user U.
The information regarding pulse waves includes pulse rate, respiratory rate, numerical values related to sympathetic and parasympathetic nerves, and HF/LF (high frequency component/low frequency component) values calculated from the pulse wave.
Known techniques can be used to measure pulse waves from facial images. Examples include, but are not limited to, techniques for measuring pulse waves using image data using an RGB image sensor or a near-infrared image sensor installed in a camera or a smartphone.
The
なお、声情報と顔情報は、所定期間における所定のタイミングで、複数の時点において取得されるものとする。
例えば、声情報と顔情報は、毎日１回、平日のみ１日１回、所定の曜日のみ１日１回、取得されるとよい。これにより、例えば、ユーザＵにおける過去の声情報と顔情報も考慮して健康状態を推定することができる。よって、一時点における声情報と顔情報からユーザＵの健康状態を推定するよりも、ユーザＵの健康状態を高精度に推定することができる。
Note that the voice information and face information are acquired at predetermined timings in a predetermined period at multiple points in time.
For example, voice information and face information may be acquired once every day, once a day only on weekdays, and once a day only on predetermined days of the week. Thereby, for example, the health condition of the user U can be estimated by also considering past voice information and face information. Therefore, the user U's health condition can be estimated with higher accuracy than estimating the user U's health condition from voice information and face information at one point in time.
第一抽出部１１３は、音声特徴量を抽出する。具体的には、第一抽出部１１３は、前述の第一取得部１１１が取得したユーザＵの声情報に基づいて、所定の音響パラメータである音声特徴量を抽出する。第一抽出部１１３は、例えば周波数解析等を用いて音声特徴量を抽出する。音声特徴量には、例えば、声帯の変動パターンに基づく特徴量が含まれる。
第一抽出部１１３は、抽出した音声特徴量を特徴量ＤＢ１８３に格納する。
The
The
第二抽出部１１４は、顔特徴量を抽出する。具体的には、第二抽出部１１４は、前述の第二取得部１１２が取得したユーザＵの顔情報に基づいて、顔特徴量を抽出する。第二抽出部１１４は、例えばＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ ｕｐ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ）、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ Ｂｒｉｅｆ）等の公知の抽出技術を用いて顔特徴量を抽出する。
第二抽出部１１４は、抽出した顔特徴量を、特徴量ＤＢ１８３に格納する。
The
The
スコア算出部１１５は、ユーザＵの健康状態を示すスコアを算出する。ここで、スコアとは、ユーザＵの健康状態を推定するために用いられる数値であって、例えば、０から１００の百分率で表される。
スコア算出部１１５は、第一抽出部１１３が抽出した音声特徴量、および、第二抽出部１１４が抽出した顔特徴量に基づいて、ユーザＵの健康状態を示すスコアを算出する。スコア算出部１１５は、組織の健康状態を示すスコアを算出してもよい。なお、組織の健康状態とは、組織の健全度をいうものとする。
スコアの算出方法について詳細は後述する。
スコア算出部１１５は、算出したユーザＵの健康状態を示すスコアをスコアＤＢ１８４に格納する。
The
The
Details of the score calculation method will be described later.
The
健康状態推定部１１６は、ユーザＵの健康状態を推定する。
健康状態推定部１１６は、記憶部１８に格納された各種データを参照して、ユーザＵの健康状態を推定する。詳細は後述する。
Health
The health
表示制御部１１７は、ユーザＵの健康状態を表示するよう制御する。表示制御部１１７は、ユーザＵのユーザ端末３に対して、健康状態を表示するように制御してもよく、例えば、ユーザＵの雇用主端末（図示せず）に対して、ユーザＵの健康状態が表示されるように制御してもよい。
また、表示制御部１１７は、例えば、一日分のスコアを表示してもよく、所定期間のスコア（例えば平均値）を表示するように制御してもよい。
また、表示制御部１１７は、複数のユーザＵの健康状態を表示するように制御してもよい。
また、表示制御部１１７は、後述する第一警告部１２１および第二警告部１２３が警告する場合において、警告の表示（例えば、警告を示すマークや文言等）が表示されるように制御してもよい。
表示制御部１１７により表示されるユーザＵの健康状態の表示態様は、上記に限定されない。例えば、スコア算出部１１５が算出したユーザＵの健康状態を示すスコアを数字で表示するよう制御してもよく、スコアをグラフ上に複数プロットすることで、スコアのばらつきが分かるような表示になるよう制御してもよい。
The
Further, the
Furthermore, the
In addition, the
The display mode of user U's health condition displayed by
疾患有無推定部１１８は、ユーザＵにおける疾患（第一の疾患）の有無を推定する。具体的には、疾患有無推定部１１８は、スコア算出部１１５が算出したユーザＵの健康状態を示すスコアから、ユーザＵにおける疾患の有無を推定する。より具体的には、疾患有無推定部１１８は、後述する基準ＤＢ１８５に格納された基準を参照して、スコア算出部１１５によって算出されたスコアから、ユーザＵにおける疾患の有無を推定する。
The disease presence/
解析部１１９は、第二取得部１１２が取得した顔情報に基づいて、ユーザＵの表情または顔色を解析する。この解析は、例えば、機械学習により生成した分類器を用いてもよい。
解析部１１９は、解析した結果を、解析・判定結果ＤＢ１８７に格納する。
The
The
判定部１２０は、ユーザＵにおける疾患（第二の疾患）の種類を判定する。ここで、判定部１２０は、例えば、ユーザＵが緑内障または糖尿病という疾患を罹患しているか否かを判定するものとする。
判定部１２０は、第二取得部１１２によって取得された顔情報のうち、網膜の情報に基づいて、ユーザＵにおける疾患の種類を判定する。具体的には、判定部１２０は、後述するスコアＤＢ１８４と基準ＤＢ１８５とを参照して、ユーザＵが緑内障または糖尿病を罹患しているか否かを判定する。例えば、スコアと、基準ＤＢ１８５に格納された閾値Ｔｈ４との差が、所定の値未満である場合に、緑内障であると判定する。
判定部１２０は、判定の結果を、解析・判定結果ＤＢ１８７に格納する。
The
The determining
The
判定部１２０は、第二取得部１１２によって取得された顔情報のうち、脈波に関する情報に基づいて、ユーザＵにおける疾患の種類を判定する。具体的には、判定部１２０は、後述するスコアＤＢ１８４と基準ＤＢ１８５とを参照してストレス等による自律神経失調症を罹患しているか否かを判定する。例えば、スコアと、基準ＤＢ１８５に格納された閾値Ｔｈ４’との差が、所定の値未満である場合に、自律神経失調症であると判定する。
判定部１２０は、判定の結果を、解析・判定結果ＤＢ１８７に格納する。
The determining
The
第一警告部１２１は、疾患有無推定部１１８によってユーザＵに疾患があると推定された場合に、前述の雇用主端末またはユーザ端末３に対して、警告をする。警告の方法は特に限られず、警告マークの表示や警告音をもって、警告してもよい。
The
スコア判断部１２２は、変動量を判断する。具体的には、スコア判断部１２２は、スコアＤＢ１８４と基準ＤＢ１８５とを参照して、所定期間におけるユーザＵの健康状態を示す複数のスコアの変動量が、所定の値以上および所定の値以下のいずれかになったか否かを判断する。
The
第二警告部１２３は、ユーザＵの所定期間におけるスコアの変動量に基づいて、前述の雇用主端末またはユーザ端末３に対して、警告をする。より具体的には、第二警告部１２３は、スコアの変動量が所定の値以上および所定の値以下のいずれかになったとスコア判断部１２２が判断したときに、警告をする。警告の方法は特に限られず、警告マークを前述の雇用主端末またはユーザ端末３に対して表示してもよく、警告音を出力するように制御してもよい。
The
血液情報取得部１２４（第三取得部）は、ユーザＵの血液検査の結果を取得する。血液情報取得部１２４は、取得したユーザＵの血液検査の結果をユーザ情報ＤＢ１８８に格納する。
The blood information acquisition unit 124 (third acquisition unit) acquires the result of user U's blood test. The blood
勤怠情報取得部１２５（第四取得部）は、ユーザＵの勤怠情報を取得する。ユーザＵの勤怠情報には、例えば、出社退社時刻に基づく勤務時間数、残業時間数、有給取得日等が含まれる。勤怠情報取得部１２５は、取得したユーザＵの勤怠情報を、ユーザ情報ＤＢ１８８に格納する。
なお勤怠情報は、第二取得部１１２が取得したユーザＵの顔情報に基づき生成されるものでもよい。すなわち、情報処理端末２が、会社の執務室の出入り口のドアに設置されたカメラ付き端末である場合、ユーザＵは、出退勤時に情報処理端末２のカメラに顔が映るように情報処理端末２の前に立ち、顔画像を取得させる。それにより、その出退勤時刻（顔画像を取得させた時刻）と関連する顔画像データを出退勤時の勤怠情報として、ユーザ情報ＤＢ１８８に格納するものであってよい。
The attendance information acquisition unit 125 (fourth acquisition unit) acquires user U's attendance information. The attendance information of the user U includes, for example, the number of working hours based on the time of arrival and departure from work, the number of overtime hours, the date of paid leave, and the like. The attendance
Note that the attendance information may be generated based on the face information of the user U acquired by the
病歴情報取得部１２６（第五取得部）は、ユーザＵの病歴を取得する。なお、ユーザＵによる病歴の自己申告があった場合には、病歴情報取得部１２６は、当該ユーザＵの病歴を、ユーザ端末３から取得してもよい。病歴情報取得部１２６は、取得したユーザＵの病歴をユーザ情報ＤＢ１８８に格納する。
The medical history information acquisition unit 126 (fifth acquisition unit) acquires the medical history of the user U. Note that if the user U self-reports the medical history, the medical history
声ＤＢ１８１には、声情報が格納される。具体的には、第一取得部１１１が取得した、ユーザＵの声に関する音情報とユーザＵの声帯の振動に関する情報が格納される。
Voice information is stored in the
顔ＤＢ１８２には、顔情報が格納される。具体的には、第二取得部１１２が取得した、情報処理端末２の撮像部２ｃが撮像したユーザＵの顔情報が格納される。
Face information is stored in the
特徴量ＤＢ１８３には、第一抽出部１１３が抽出した音声特徴量と、第二抽出部１１４が抽出した顔特徴量とが格納される。
The
スコアＤＢ１８４には、スコア算出部１１５によって算出されたユーザＵの健康状態に関するスコアが格納される。スコアは、例えば、ユーザ毎または組織毎（例えば、所定のチーム毎）に、日付と対応付けて、格納されるものとする。
The
基準ＤＢ１８５には、ユーザＵの健康状態を推定するための基準が格納される。
具体例を挙げて説明する。
健康状態推定部１１６が、ユーザＵの健康状態を推定する基準として、例えば、所定の閾値Ｔｈ１および閾値Ｔｈ２が挙げられる。例えば、スコアが所定の閾値Ｔｈ１以上（例えばスコア６０以上）の場合には、健康状態推定部１１６は、ユーザＵの健康状態が良好であると推定する。また、例えばスコアが所定の閾値Ｔｈ２未満（例えばスコア５０未満）の場合には、健康状態推定部１１６は、ユーザＵの健康状態が不良であると推定する。
なお、例えば、スコアが所定の閾値Ｔｈ２以上（例えばスコア５０以上）閾値Ｔｈ１未満（例えばスコア６０未満）である場合には、ユーザＵの健康状態が良好または不良の判別がつきにくい状態（所謂グレー状態）のため、サーバ１側からユーザＵに向けて所定のアラートを出してもよい。
なお、ここでは、スコアが１種類の例を説明しているが、スコアは複数種類でもよい（以下同様とする）。
疾患有無推定部１１８がユーザＵにおける疾患の有無を推定する場合に用いられる基準として、例えば、所定の閾値Ｔｈ３が挙げられる。疾患有無推定部１１８は、スコアが所定の閾値Ｔｈ３未満（例えばスコア３０未満）であれば、ユーザＵにおける疾患があると推定する。なお、疾患毎に所定の閾値Ｔｈ３が格納されてもよい。
判定部１２０が判定を行う場合に用いられる基準として、所定の閾値Ｔｈ４および所定の閾値Ｔｈ５が挙げられる。判定部１２０は、例えば、スコアと、所定の閾値Ｔｈ４との差が、所定の値（例えば５）未満である場合に、緑内障であると判定する。また例えば、スコアと、所定の閾値Ｔｈ５との差が、所定の値（例えば５）未満である場合に、判定部１２０は、ユーザＵが糖尿病であると判定する。
スコア判断部１２２が所定期間におけるユーザＵの健康状態を示す複数のスコアの変動量が所定の値以上および所定の値以下のいずれかになったか否かを判断する場合に用いられる基準として、所定の閾値Ｔｈ６（例えば４０）以上および所定の閾値Ｔｈ７（例えば２０）以下が挙げられる。
その他、血液検査の項目における適正値（または適正範囲）や、健康状態が良好でないとされる勤怠情報（例えば、欠勤日が１０日以上）といった基準が格納される。
なお、ユーザＵ個人の健康状態を推定する上での基準を説明したが、当該基準ＤＢ１８５には、組織の健康状態を推定するための基準が格納されてよい。例えば、所定の組織（チーム）における複数のユーザのスコアの平均値あるいは合計値に対応する所定の値が、組織の健康状態を図る基準として格納されてもよい。
The
This will be explained using a specific example.
Examples of the criteria by which the health
For example, if the score is greater than or equal to a predetermined threshold Th2 (for example, a score of 50 or greater) and less than a threshold Th1 (for example, a score of less than 60), the user U is in a state in which it is difficult to determine whether the health condition is good or poor (so-called gray state). state), the
Note that although an example in which there is one type of score is described here, there may be multiple types of scores (the same applies hereinafter).
As a standard used when the disease presence/
Criteria used when the
A predetermined standard is used when the
In addition, criteria such as appropriate values (or appropriate ranges) for blood test items and attendance information indicating that the health condition is not good (for example, absence of 10 days or more) are stored.
Although the criteria for estimating the health status of the individual user U have been described, the
算出モデルＤＢ１８６には、スコア算出部１１５がユーザＵの健康状態を推定するためのスコアを算出する際に用いられるモデルが格納される。例えば、算出モデルは、機械学習により学習されたモデルであってもよい。
機械学習により学習されたモデルは、予め設定された教師データにより予めニューラルネットクーク等の学習アルゴリズムを用いて機械学習されている。機械学習により学習可能なモデルであれば、どのようなモデルであってもよい。例えば、学習用の特徴量群と、その特徴量群が得られた声情報および顔情報を発したユーザＵが有している疾患又は症状を表す正解ラベルとが対応付けられたデータを教師データとして、予め機械学習されたモデルでもよい。なお、算出モデルは、ルールベースのモデルでもよい。
The
A model learned by machine learning is machine learned in advance using preset teacher data using a learning algorithm such as neural network cooking. Any model may be used as long as it can be learned by machine learning. For example, data in which a group of features for learning is associated with a correct label representing a disease or symptom possessed by the user U who uttered the voice information and face information from which the feature group was obtained is used as training data. It may be a model that has been machine learned in advance. Note that the calculation model may be a rule-based model.
解析・判定結果ＤＢ１８７には、解析部１１９が解析した結果と、判定部１２０が判定した結果とが格納される。
The analysis/
ユーザ情報ＤＢ１８８には、ユーザＵに関する情報が格納される。ユーザＵに関する情報としては、例えば、ユーザＵの顔画像、出勤状況、所属部署、血液検査を受けている場合には当該血液検査の結果（例えば３か月に一回の定期血液検査の結果等）、病歴、健康診断の結果、その他氏名住所等の情報が挙げられる。
The
組織情報ＤＢ１８９には、ユーザＵが勤務する組織に関する情報が格納される。ユーザＵが勤務する組織に関する情報としては、例えば、組織に属する従業員、組織の売り上げ、組織に対する顧客満足度等が挙げられる。
なお、図４には図示されていないが、サーバ１のＣＰＵ１１に、ユーザＵの顔認証を行う機能部が設けられていてもよい。
The
Although not shown in FIG. 4, the
＜処理内容：健康状態推定処理＞
図５は、サーバ１が実行する健康状態推定処理の一例を示すフローチャートである。
ステップＳ１において、第一取得部１１１は、ユーザＵの声に関する声情報を取得する。ユーザＵの声に関する声情報には、ユーザＵが情報処理端末２に表示された文章を読み上げたときの声に関する音情報とユーザＵの声帯の振動に関する情報とが含まれる。
ステップＳ２において、第二取得部１１２は、ユーザＵの顔情報を取得する。ユーザＵの顔情報には、顔を撮像した時に得られる顔画像情報の他、例えば、ユーザＵの網膜の情報、眉間に関する情報、ユーザＵの表情や顔色に関する情報、顔画像より取得される脈波に関する情報も含まれる。
なお、ステップＳ１およびステップＳ２において取得される声情報および顔情報は、前述の複数の時点において取得されるものとする。
ステップＳ３において、第一抽出部１１３は、第一取得部１１１が取得したユーザＵの声に関する声情報に基づいて、音声特徴量を抽出する。なお、音声特徴量は、例えば、音声の変動パターンに基づく特徴量である。
ステップＳ４において、第二抽出部１１４は、第二取得部１１２が取得したユーザＵの顔情報に基づいて、顔特徴量を抽出する。なお、顔特徴量については後述する。
ステップＳ５において、健康状態推定部１１６は、前述の複数の時点における音声特徴量および顔特徴量に基づいて、ユーザＵの健康状態を推定する。
ステップＳ６において、表示制御部１１７は、ユーザＵの健康状態を、例えば、ユーザ端末３に表示する。
<Processing details: Health status estimation processing>
FIG. 5 is a flowchart illustrating an example of a health state estimation process executed by the
In step S1, the
In step S2, the
Note that it is assumed that the voice information and face information acquired in step S1 and step S2 are acquired at the plurality of time points described above.
In step S3, the
In step S4, the
In step S5, the health
In step S6, the
＜健康状態の推定における表示例＞
図６は、健康状態の推定における表示の一例を示す第１の図である。なお、必要に応じて図４等を参照するものとする。
図６では、ユーザＵが出勤時に情報処理端末２（図１参照）の前に立った状態をイメージしている。
ユーザＵが情報処理端末２の画面に表示された文章（例えば「おはようございます」）を読み上げると、この読み上げの音声Ｓを、情報処理端末２の音声取得部２ａが取得する。情報処理端末２は、取得した音声Ｓをサーバ１に送信する。情報処理端末２は、検知部２ｂを介してユーザＵの声帯振動も取得し、これをサーバ１に送信する。
情報処理端末２の撮像部２ｃは、情報処理端末２のカメラに顔が写るように立ったユーザＵの顔を撮像し、情報処理端末２は、これを少なくともユーザＵの顔の情報として、サーバ１に送信する。
サーバ１は、通信部１９を介して情報処理端末２からの情報を取得する。即ち、第一取得部１１１は、前述のようなユーザＵの声に関する声情報を取得する。また、第二取得部１１２は、ユーザＵの顔情報を取得する。
なお、前述のユーザＵの声に関する声情報とユーザＵの顔情報は、複数の時点（例えば毎日（毎朝））において取得されるものとする。
ユーザＵの声に関する声情報には、情報処理端末２の画面に表示された文章を読み上げたユーザＵの声に関する音情報とユーザＵの声帯の振動に関する情報が含まれる。このような声情報から音声特徴量が抽出される。音声特徴量としては、例えば、ユーザＵの音声の変動パターンが挙げられる。
ユーザＵの顔情報には、ユーザＵの顔を撮像した時に得られる顔画像情報の他、ユーザＵの眉間に関する情報、ユーザＵの網膜に関する情報、ユーザＵの表情や顔色の情報、顔画像情報から取得される脈波に関する情報が含まれる。なお、網膜に関する情報には、眼底画像が含まれるものとする。このような顔情報から顔特徴量が抽出される。
顔特徴量としては、例えば、顔のパーツの位置、またはサイズ等が挙げられる。具体的には、眉毛の位置、眉間の幅等が特徴量として挙げられる。また、眼底画像における血管の位置またはサイズ等が顔特徴量として挙げられる。また、口の位置、皺の位置、瞳孔のサイズ等が顔特徴量として挙げられる。さらに顔画像から取得される脈波から算出される情報としての脈拍数、呼吸数、交感神経及び副交感神経及びＨＦ／ＬＦ値を含む情報も、顔特徴量として挙げられる。
なお、各特徴量は、特徴量ＤＢ１８３に格納されている。
以上のような特徴量が夫々抽出されることにより、これら抽出量から健康状態ＨＳが推定される。
<Display example for estimating health status>
FIG. 6 is a first diagram showing an example of a display in estimating a health condition. In addition, FIG. 4 etc. shall be referred to as necessary.
In FIG. 6, the user U stands in front of the information processing terminal 2 (see FIG. 1) when going to work.
When the user U reads aloud a sentence (for example, "Good morning") displayed on the screen of the
The
The
It is assumed that the voice information regarding the voice of the user U and the face information of the user U described above are acquired at a plurality of times (for example, every day (every morning)).
The voice information regarding the user U's voice includes sound information regarding the user U's voice reading out the text displayed on the screen of the
User U's facial information includes, in addition to facial image information obtained when capturing an image of user U's face, information about user U's glabella, information about user U's retina, information about user U's expression and complexion, and facial image information. Contains information regarding the pulse wave obtained from. Note that the information regarding the retina includes a fundus image. Facial feature amounts are extracted from such facial information.
Examples of facial feature amounts include the positions and sizes of facial parts. Specifically, the position of the eyebrows, the width between the eyebrows, etc. can be cited as the feature amounts. Further, the position or size of a blood vessel in a fundus image can be cited as a facial feature amount. Furthermore, the position of the mouth, the position of wrinkles, the size of pupils, and the like can be cited as facial feature amounts. Further, information including pulse rate, respiratory rate, sympathetic nerves, parasympathetic nerves, and HF/LF values, which are information calculated from pulse waves obtained from a face image, can also be cited as facial feature amounts.
Note that each feature amount is stored in the
By extracting the above-mentioned feature quantities, the health state HS is estimated from these extracted quantities.
前述の特徴量の夫々に基づいて、健康状態推定部１１６が、ユーザＵの健康状態を推定する例を説明する。
An example in which the health
（１）眉間に関する情報に基づく推定
図６に示す符号Ｆ１は、ユーザＵの眉間に関する情報である。
健康状態推定部１１６は、ユーザＵの眉間に関する情報から抽出された顔特徴量（例えば、眉毛の位置）に基づいて、ユーザＵの健康状態を推定する。具体的には、まず当該顔特徴量と、前述の音声特徴量（例えば前述の音声の変動パターンに基づく特徴量）とが前述の算出モデルへ入力されて、スコア算出部１１５によりスコアが算出される。そして、健康状態推定部１１６は、基準ＤＢ１８５に格納された基準を参照して、当該スコアから、ユーザＵの健康状態ＨＳを推定する。
例えば、スコア算出部１１５により算出されたスコアが４８である場合、基準ＤＢ１８５に格納された基準が「スコアが５０未満、すなわち健康状態が不良（所定の閾値Ｔｈ２未満）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが不良であると推定する。
一方、例えば、スコア算出部１１５により算出されたスコアが６０である場合、基準ＤＢ１８５に格納された基準が「スコアが６０以上、すなわち健康状態が良好」（所定の閾値Ｔｈ１以上）であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが良好であると推定する。
(1) Estimation based on information related to the glabella The reference numeral F1 shown in FIG. 6 is information related to the user U's glabella.
The health
For example, when the score calculated by the
On the other hand, for example, when the score calculated by the
（２）網膜に関する情報に基づく推定
図６に示す符号Ｆ２は、ユーザＵの網膜に関する情報である。
健康状態推定部１１６は、ユーザＵの網膜に関する情報から抽出された顔特徴量（例えば、眼底画像における血管の位置またはサイズ）に基づいて、ユーザＵの健康状態を推定する。具体的には、当該顔特徴量が算出モデルへ入力されて、スコア算出部１１５によりスコアが算出される。そして、健康状態推定部１１６は、基準ＤＢ１８５に格納された基準を参照して、当該スコアから、ユーザＵの健康状態ＨＳを推定する。
例えば、スコア算出部１１５により算出されたスコアが４０である場合、基準ＤＢ１８５に格納された基準が「スコアが５０未満、すなわち健康状態が不良（所定の閾値Ｔｈ２未満）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが不良であると推定する。なお、この場合において、所定の方法で、ユーザＵに警告がなされてもよい。例えば、第一警告部１２１によって警告がなされてもよい。
一方、例えば、スコア算出部１１５により算出されたスコアが６１である場合、基準ＤＢ１８５に格納された基準が「スコアが６０以上、すなわち健康状態が良好」（所定の閾値Ｔｈ１以上）であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが良好であると推定する。
なお、前述の顔特徴量（眼底画像における血管の位置またはサイズ）に基づいて、判定部１２０は、ユーザＵが糖尿病または緑内障に罹患しているか否かについて判定する。健康状態推定部１１６は、この判定部１２０の判定の結果に基づいて、ユーザＵの健康状態を推定してもよい。例えば、判定部１２０によって緑内障であると判定されたユーザＵについて、健康状態推定部１１６は、当該ユーザＵの健康状態が不良であると推定してもよい。
(2) Estimation based on information regarding the retina The reference numeral F2 shown in FIG. 6 is information regarding the user U's retina.
The health
For example, when the score calculated by the
On the other hand, for example, if the score calculated by the
Note that the
（３）表情や顔色の情報に基づく推定
図６に示すＦ３は、ユーザＵの表情や顔色に関する情報である。
健康状態推定部１１６は、ユーザＵの表情や顔色に関する情報から抽出された顔特徴量（例えば、口の位置）に基づいて、ユーザＵの健康状態を推定する。具体的には、まず当該顔特徴量と、前述の音声特徴量（例えば前述の音声の変動パターンに基づく特徴量）とが前述の算出モデルへ入力されて、スコア算出部１１５によりスコアが算出される。そして、健康状態推定部１１６は、基準ＤＢ１８５に格納された基準を参照して、当該スコアから、ユーザＵの健康状態ＨＳを推定する。
例えば、スコア算出部１１５により算出されたスコアが４５である場合、基準ＤＢ１８５に格納された基準が「スコアが５０未満、すなわち健康状態が不良（所定の閾値Ｔｈ２未満）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが不良であると推定する。
一方、例えば、スコア算出部１１５により算出されたスコアが６５である場合、基準ＤＢ１８５に格納された基準が「スコアが６０以上、すなわち健康状態が良好」（所定の閾値Ｔｈ１以上）であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが良好であると推定する。
なお、ユーザＵの表情や顔色は、解析部１１９によって解析される。解析部１１９は、表情と顔色のどちらかのみを解析してもよい。健康状態推定部１１６は、この解析部１１９の解析結果に基づいて、ユーザＵの健康状態を推定してもよい。例えば、解析部１１９が「笑顔である」と表情を解析したユーザＵについて、健康状態推定部１１６は、当該ユーザＵの健康状態が良好であると推定してもよい。
(3) Estimation based on information on facial expression and facial color F3 shown in FIG. 6 is information regarding the facial expression and facial color of the user U.
The health
For example, when the score calculated by the
On the other hand, for example, if the score calculated by the
Note that the facial expression and complexion of the user U are analyzed by the
（４）脈波から算出される情報に基づく推定
図６に示すＦ４は、ユーザＵの顔画像から取得される脈波に関する情報である。
健康状態推定部１１６は、ユーザＵの顔画像から取得される脈波に関する情報から抽出された顔特徴量（例えば、呼吸数、心拍数およびＬＦ／ＨＦ値）に基づいて、ユーザＵの健康状態を推定する。具体的には、まず当該顔特徴量と、前述の音声特徴量（例えば前述の音声の変動パターンに基づく特徴量）とが前述の算出モデルへ入力されて、スコア算出部１１５によりスコアが算出される。そして、健康状態推定部１１６は、基準ＤＢ１８５に格納された基準を参照して、当該スコアから、ユーザＵの健康状態ＨＳを推定する。
例えば、スコア算出部１１５により算出されたスコアが４０である場合、基準ＤＢ１８５に格納された基準が「スコアが５０未満、すなわち健康状態が不良（所定の閾値Ｔｈ２未満）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが不良であると推定する。
一方、例えば、スコア算出部１１５により算出されたスコアが６０である場合、基準ＤＢ１８５に格納された基準が「スコアが６０以上、すなわち健康状態が良好」（所定の閾値Ｔｈ１以上）であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが良好であると推定する。
なお、前述の顔特徴量（呼吸数、心拍数およびＬＦ／ＨＦ値）に基づいて、判定部１２０は、ユーザＵが自律神経失調症に罹患しているか否かについて判定する。健康状態推定部１１６は、この判定部１２０の判定の結果に基づいて、ユーザＵの健康状態を推定してもよい。例えば、判定部１２０によって自律神経失調症であると判定されたユーザＵについて、健康状態推定部１１６は、当該ユーザＵの健康状態が不良であると推定してもよい。
(4) Estimation based on information calculated from pulse wave F4 shown in FIG. 6 is information regarding the pulse wave acquired from the face image of user U.
The health
For example, when the score calculated by the
On the other hand, for example, when the score calculated by the
Note that the
なお、前述の眉間、網膜、表情や顔色、脈波といったユーザＵの顔情報が第二取得部１１２により取得される際に同時に顔認証が行われてもよい。これにより、各顔特徴量を有しているユーザＵを特定できる。当該ユーザＵの健康状態の推定結果（「健康状態が不良である」）は、ユーザ情報ＤＢ１８８に格納される。
Note that face authentication may be performed simultaneously when the
（５）音声特徴量（例えば音声パターン）に基づく推定
図中のＳは、ユーザＵの音声である。当該音声Ｓの情報から抽出された音声特徴量は、ここでは声の変動パターンであり、例えば、大うつ病の変動パターンと略同一のものであるとする。
なお、声の変動パターンに関し補足すると、大うつ病やパーキンソン病、認知症といった各疾患には特有の変動パターンがあり、そして、その変動パターンは、健常（健康）の声の変動パターンとは明らかに異なる。このため、ここでは声の変動パターンを採用しており、健常（健康）の声の変動パターンに類似しているか、前述の各疾患いずれかの声の変動パターンに類似しているか、等から推定を行っている。
健康状態推定部１１６は、当該音声特徴量からユーザＵの健康状態ＨＳを推定する。具体的には、当該音声特徴量と、顔特徴量に基づいて、ユーザＵの健康状態ＨＳを推定する。
健康状態推定部１１６は、ユーザＵの声の変動パターンが大うつ病の変動パターンと略同一であるため、ユーザＵの健康状態ＨＳが不良であると推定する。
(5) Estimation based on voice features (for example, voice pattern) S in the figure is user U's voice. Here, the voice feature extracted from the information of the voice S is a voice variation pattern, and for example, it is assumed that it is substantially the same as a variation pattern of major depression.
As a supplementary note regarding voice fluctuation patterns, each disease such as major depression, Parkinson's disease, and dementia has its own unique fluctuation patterns, and these fluctuation patterns are clearly different from those of a normal (healthy) voice. different. For this reason, the voice fluctuation pattern is adopted here, and it is estimated based on whether it is similar to the voice fluctuation pattern of a healthy person, or whether it is similar to the voice fluctuation pattern of any of the above-mentioned diseases. It is carried out.
The health
The health
なお、前述の推定を実行するにあたり、音声特徴量と、顔特徴量とに、差異がある場合（例えば、音声特徴から推定する健康状態が良好であり、顔特徴量から推定する健康状態が不良である場合）、健康状態推定部１１６は、音声特徴量を優先して、音声特徴量に基づいた推定を、ユーザＵの健康状態として採用してもよい。また、健康状態推定部１１６は、後述するスコアに基づいた健康状態の推定をする場合において、音声特徴量のスコアの係数を高くして（重みづけをして）スコアを算出してもよい。
Note that when performing the above estimation, if there is a difference between the voice features and the facial features (for example, if the health condition estimated from the voice features is good and the health condition estimated from the facial features is poor) ), the health
図７は、健康状態の推定における表示の一例を示す第２の図である。
図７（ａ）は複数のユーザＵｎの健康状態（を示すスコア）を示すグラフである。図７（ｂ）は、図７（ａ）におけるユーザＵ（例えばユーザＵ８＿Ｍ８）の健康状態ＨＳを示す図である。ここでは、ユーザＵの健康状態ＨＳが、後述する警告されるような状態であることを示している。
図７（ａ）のグラフの縦軸は、スコアを示す。このスコアの高低はユーザＵの健康状態の高低を示す。グラフの横軸は、Ｍ１からＭ２０まで目盛りが振られている。Ｍ１からＭ２０の目盛り一つ一つは、複数のユーザ（ユーザＵ＿Ｍ１～ユーザＵ＿Ｍ２０）を示す。図７（ａ）では２０人分が表示されている。
グラフには、複数の丸型のアイテムＣがプロットされている。アイテムＣは、グラフの縦軸と並行するように垂直方向にプロットされている。アイテムＣは垂直方向に間隔をあけて広がってプロットされたり、部分的にまとまってプロットされたりして、様々である。ここで、アイテムＣが垂直方向に広がっている場合を「ばらつきが大きい」とし、逆にまとまっている場合を「ばらつきが小さい」と定義する。図７（ａ）では比較的ばらついた形で表示されている。アイテムＣは、ユーザＵの健康状態を示すスコアである。図７（ａ）ではスコアを、数値そのものでなく、アイテムＣで表している。
ユーザＵの健康状態を示すスコア（アイテムＣ）は、ユーザＵ一人につき（目盛り一つにつき）、複数プロットされている。例えば、目盛りＭ１上には、縦に６つのアイテムＣが表示されている（一部重なっている）。これは、ユーザＵの６日分のスコアを示している。ここでは、一つのアイテムＣを、一日単位の健康状態のスコアとする。
FIG. 7 is a second diagram showing an example of a display in estimating a health condition.
FIG. 7A is a graph showing (scores indicating) the health conditions of a plurality of users Un. FIG. 7(b) is a diagram showing the health state HS of the user U (for example, user U8_M8) in FIG. 7(a). Here, the health state HS of the user U is such that a warning will be issued, which will be described later.
The vertical axis of the graph in FIG. 7(a) indicates the score. The level of this score indicates the level of user U's health condition. The horizontal axis of the graph is scaled from M1 to M20. Each scale from M1 to M20 indicates a plurality of users (user U_M1 to user U_M20). In FIG. 7(a), 20 people are displayed.
A plurality of round items C are plotted on the graph. Item C is plotted vertically parallel to the vertical axis of the graph. Items C may be plotted spread out in the vertical direction, or may be plotted in sections. Here, the case where the items C are spread out in the vertical direction is defined as "large variation", and the case where the items C are grouped together is defined as "small variation". In FIG. 7(a), the images are displayed in a relatively uneven manner. Item C is a score indicating user U's health condition. In FIG. 7(a), the score is expressed not as a numerical value but as an item C.
A plurality of scores (item C) indicating the user U's health condition are plotted for each user U (for each scale). For example, on the scale M1, six items C are vertically displayed (partially overlapping). This shows user U's score for 6 days. Here, one item C is a daily health condition score.
ここで、前述のスコア、および、スコアに基づいて、ユーザＵの健康状態が推定される例を説明する。 Here, an example will be described in which the above-mentioned score and the health condition of user U are estimated based on the score.
スコアを説明する。スコアはスコア算出部１１５によって、前述した算出モデルを用いて算出される。具体的には、第一抽出部１１３が抽出した音声特徴量と、第二抽出部１１４が抽出した顔特徴量とが、前述の算出モデルへ入力され、ユーザＵの健康状態を示すスコアが出力される。
Explain the score. The score is calculated by the
スコアに基づいて、ユーザＵの健康状態が推定される例を説明する。
（１）健康状態推定部１１６による推定
健康状態推定部１１６は、スコア算出部１１５によって算出されたスコアと、基準ＤＢ１８５に格納されたデータを参照して、スコア算出部１１５によって算出されたスコアから、ユーザＵの健康状態を推定する。
例えば、スコア算出部１１５により算出されたスコアが７０である場合、基準ＤＢ１８５に格納された基準が「スコアが６０以上、すなわち健康状態が良好（所定の閾値Ｔｈ１以上）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが良好であると推定する。スコア算出部１１５により算出されたスコアが４０である場合、基準ＤＢ１８５に格納された基準が「スコアが５０未満、すなわち健康状態が不良（所定の閾値Ｔｈ２未満）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが不良であると推定する。
なお、健康状態推定部１１６は、後述の疾患有無推定部１１８の推定に基づいて、ユーザＵの健康状態を推定してもよい。例えば、疾患有無推定部１１８によって疾患有りと推定されたユーザＵについて、健康状態推定部１１６は、当該ユーザＵの健康状態が不良であると推定してもよい。
（２）疾患有無推定部１１８による推定
疾患有無推定部１１８は、スコア算出部１１５が算出したユーザＵの健康状態を示すスコアから、ユーザＵにおける疾患の有無を推定する。より具体的には、疾患有無推定部１１８は、基準ＤＢ１８５に格納されたデータを参照して、スコア算出部１１５によって算出されたスコアから、ユーザＵにおける疾患の有無を推定する。
例えば、スコア算出部１１５が算出したスコアが例えば５０である場合、基準ＤＢ１８５に格納された基準が「疾患有、即ちスコア３０未満」であることから、疾患有無推定部１１８は、ユーザＵにおける疾患がないと推定する。スコア算出部１１５が算出したスコアが例えば２０であるときは、「疾患有、即ちスコア３０未満」であることから、疾患有無推定部１１８は、ユーザＵにおける疾患があると推定する。
なお、疾患有無推定部１１８は、前述の健康状態推定部１１６の推定に基づいて、ユーザＵの健康状態を推定してもよい。例えば、健康状態推定部１１６によって健康状態不良と推定されたユーザＵについて、当該ユーザＵのスコアが、疾患有とされる各基準スコアと同値未満だった場合に、疾患有無推定部１１８は、ユーザＵにおける疾患有りと推定してもよい。
An example in which user U's health condition is estimated based on the score will be described.
(1) Estimation by the health
For example, when the score calculated by the
Note that the health
(2) Estimation by disease presence/
For example, when the score calculated by the
Note that the disease presence/
図７（ａ）の説明に戻る。図７（ａ）を具体的に説明する。
図７（ａ）に表示されているＭ１からＭ２０（すなわち、ユーザＵ１からユーザＵ２０）のスコアは、ばらつきが小さく、全体的にスコアが低い。
図７（ａ）は、具体的には、うつ病を罹患している可能性が高いユーザＵ（ユーザＵ１からユーザＵ８）のスコアと、脳疾患を罹患している可能性が高いユーザＵ（ユーザＵ９からユーザＵ２０）のスコアとが表示されている。すなわち、疾患があると推定されるユーザＵ群が表示されている。なお、図７（ａ）では、うつ病や脳疾患を罹患している可能性が高いユーザＵをスコアのばらつき具合に応じて判別しているが、うつ病や脳疾患を罹患している可能性が高いユーザＵをスコアの平均値に応じて判別してもよい。
図７中（ａ）のアイテムＣは、うつ病を罹患している可能性が高いユーザＵのスコアを示す。図７中の網掛けされたアイテムＣは、脳疾患を罹患している可能性が高いユーザＵのスコアを示す。
うつ病または脳疾患を罹患している可能性が高いとされたユーザＵ（例えばユーザＵ８＿Ｍ８）には、警告がなされる。具体的には、第一警告部１２１によって、警告がなされる。第一警告部１２１は、例えば、「うつ病の可能性が高いです」というテキストと警告マークＷをユーザ端末３に送信して、ユーザＵに警告する。
なお、図７（ａ）に示されるユーザＵ（例えばユーザＵ８＿Ｍ８）が実際にうつ病を罹患していた場合には、雇用主は、当該ユーザＵの罹患の事実を、当該ユーザＵの病歴として、ユーザ情報ＤＢ１８８に記録してもよい。ユーザＵが通院し、血液検査がなされた場合には、病歴とともに血液検査の結果を、ユーザ情報ＤＢ１８８に記録してもよい。
当該ユーザＵの健康状態が再び推定される際に、健康状態推定部１１６は、当該病歴（うつ病の病歴）に基づいて、前述の基準スコア（例えば、スコアが６０以上、すなわち健康状態が良好）を低く設定してユーザＵの健康状態を推定する。
また、健康状態推定部１１６はその際、ユーザ情報ＤＢ１８８に格納されたユーザＵの血液検査の結果を考慮してユーザＵの健康状態を推定してもよい。例えば、うつ病では特定の物質の血中濃度が低くなるとされている。ユーザＵの血液検査の結果（３か月に一回の定期血液検査の結果）と、うつ病罹患時の血液検査の結果を比べて、例えば当該物質の濃度が低くなっている場合には、健康状態推定部１１６は、うつ病罹患時と比べユーザの健康状態が良好または良好に近づいていると推定してもよい。なお、健康状態推定部１１６は、血液検査の結果だけでなく、健康診断の結果も考慮して推定してもよく、当該再推定時とうつ病罹患時のスコアを比較して推定してもよい。健康状態推定部１１６は、「健康状態が良好（または不良）」という推定結果に替えて、「健康状態の改善の有無」を推定結果としてユーザＵに表示してもよい。これにより、ユーザＵは健康状態が改善されていることを認識できる。
図７では、うつ病を罹患している可能性が高い（疾患があると推定される）ユーザＵ群と、脳疾患を罹患している可能性が高い（疾患があると推定される）ユーザＵ群のスコアを示しているが、例えば、図示しない健常（健康）群の場合では、スコアが高い方にも丸が多くプロットされ、スコアのばらつきが大きな状態で示される。
Returning to the explanation of FIG. 7(a). FIG. 7(a) will be specifically explained.
The scores of M1 to M20 (that is, users U1 to U20) displayed in FIG. 7(a) have small variations, and the scores are low overall.
Specifically, FIG. 7(a) shows the scores of users U (users U1 to U8) who are likely to suffer from depression, and the scores of users U (users U1 to U8) who are likely to suffer from brain disease. The scores of users U9 to U20 are displayed. That is, a group of users U who are estimated to have a disease are displayed. Note that in FIG. 7(a), users U who are likely to suffer from depression or a brain disease are identified according to the degree of dispersion of scores; The user U who has a high level of gender may be determined according to the average value of the scores.
Item C in (a) in FIG. 7 indicates the score of user U who is likely to be suffering from depression. The shaded item C in FIG. 7 indicates the score of the user U who is highly likely to suffer from a brain disease.
A warning is given to the user U (for example, user U8_M8) who is considered to have a high possibility of suffering from depression or a brain disease. Specifically, the
Note that if the user U (for example, user U8_M8) shown in FIG. , may be recorded in the
When the health state of the user U is estimated again, the health
In addition, at this time, the health
In Figure 7, there is a group of users U who are likely to suffer from depression (estimated to have a disease) and users who are likely to suffer from a brain disease (estimated to have a disease). Although the scores of the U group are shown, for example, in the case of a healthy group (not shown), many circles are plotted even for those with higher scores, indicating a large dispersion of scores.
図８は、健康状態の推定における表示の一例を示す第３の図である。
図８（ａ）は所定期間のユーザＵの健康状態（を示すスコア）を示すグラフである。図８（ｂ）は、図８（ａ）におけるユーザＵの健康状態ＨＳを示す図である。ここでは、ユーザＵの健康状態ＨＳが、後述する警告されるような状態であることを示している。
図８を具体的に説明する。
グラフの縦軸は、スコアを示す。グラフの縦軸には、スコアの高低を示すような９０、７０、３０という３つの数値が示される（数値は一例である）。スコアはユーザＵの健康状態ＨＳを示す。グラフの横軸は、所定期間を示す。所定期間は、図８（ａ）の例では１週間としている。
スコアは右肩下がりに下降している。具体的には、１週間で９０から３０へとスコアが急降下している。
スコア判断部１２２は、スコアの変動量（図８の例では６０（９０－３０））が、基準ＤＢ１８５に格納されている所定の値（例えば、４０）を上回っているか否かを判断する。
この場合、ユーザＵの健康状態ＨＳが短期間で著しく悪くなっているといえることから、ユーザＵには、警告がなされる。具体的には、第二警告部１２３によって、警告がなされる。第二警告部１２３は、例えば、「うつ病の可能性が極めて高いです」という音声データと、警告マークＷをユーザ端末３に送信して、ユーザＵに警告する。
なお、第二警告部１２３は、ユーザＵの雇用主に警告をしてもよい。前述のような場合には、ユーザＵが離職する可能性が高いため、第二警告部１２３は、「離職アラート」のような警告マークＷを雇用主端末（図示せず）に送信して警告してもよい。
FIG. 8 is a third diagram showing an example of a display in estimating a health condition.
FIG. 8(a) is a graph showing (a score indicating) the health condition of user U for a predetermined period. FIG. 8(b) is a diagram showing the health state HS of the user U in FIG. 8(a). Here, the health state HS of the user U is such that a warning will be issued, which will be described later.
FIG. 8 will be explained in detail.
The vertical axis of the graph shows the score. On the vertical axis of the graph, three numerical values, 90, 70, and 30, indicating high and low scores are shown (the numerical values are just an example). The score indicates user U's health state HS. The horizontal axis of the graph indicates a predetermined period. The predetermined period is one week in the example of FIG. 8(a).
Scores are steadily declining. Specifically, his score suddenly dropped from 90 to 30 in one week.
The
In this case, since it can be said that user U's health condition HS has deteriorated significantly in a short period of time, a warning is issued to user U. Specifically, the
Note that the
図９は、健康状態の推定における表示の一例を示す第４の図である。
図９（ａ）は複数のユーザＵｎの健康状態（を示すスコア）を示すグラフである。具体的には、あるユーザＵの健康状態を、他の複数のユーザＵｎの健康状態と比較したグラフである。図９（ｂ）は、図９（ａ）におけるユーザＵ４（符号Ｌ４。ユーザＵ４と符号Ｌ４との関係は後述する）の健康状態ＨＳを示す図である。ここでは、ユーザＵ４の健康状態ＨＳが、後述する警告され得る状態であることを示している。
図９を具体的に説明する。
グラフの縦軸は、スコアを示す（スコアの高低を示すような具体的な数値は省略する）。スコアはユーザＵの健康状態を示す。グラフの横軸は、所定期間を示す。図９（ａ）に示す符号Ｌ１から符号Ｌ４は、４人のユーザＵの健康状態を示す。ここでは、符号Ｌ１はユーザＵ１の健康状態、符号Ｌ２はユーザＵ２の健康状態、符号Ｌ３はユーザＵ３の健康状態、符号Ｌ４はユーザＵ４の健康状態を示し、ユーザＵ１からユーザＵ４の４人は、同一組織（例えばチーム）に属するものとする。
図９（ａ）に示す符号Ｌ１から符号Ｌ３は、比較的似た形状を描いている。一方、図９（ａ）に示す符号Ｌ４は、時間の経過とともに、符号Ｌ１、符号Ｌ２、符号Ｌ３から下方に大きく離れるような形状で描かれている。
健康状態推定部１１６は、ユーザＵ１からユーザＵ３の健康状態に基づいて、ユーザＵ４の健康状態ＨＳを推定する。すなわち、ユーザＵ１からユーザＵ３の健康状態と比較して、ユーザＵ４の健康状態を推定する。例えば、ユーザＵ４のスコアが、ユーザＵ１からユーザＵ３のスコアの平均値と所定の値以上乖離した期間が、所定期間続く場合、健康状態推定部１１６は、ユーザＵ４の健康状態が不良であると推定する。ユーザＵ４は、組織の中で孤立し、何かしらの苦痛、不快さ、ストレス等を感じていると考えられるためである。なお、この場合に、第一警告部１２１は、ユーザＵ４に警告をしてもよい。
FIG. 9 is a fourth diagram showing an example of a display in estimating a health condition.
FIG. 9A is a graph showing (scores indicating) the health conditions of a plurality of users Un. Specifically, it is a graph comparing the health status of a certain user U with the health status of a plurality of other users Un. FIG. 9(b) is a diagram showing the health state HS of the user U4 (symbol L4; the relationship between the user U4 and the symbol L4 will be described later) in FIG. 9(a). Here, the health state HS of the user U4 indicates that a warning, which will be described later, can be given.
FIG. 9 will be specifically explained.
The vertical axis of the graph indicates the score (specific numerical values indicating high and low scores are omitted). The score indicates user U's health condition. The horizontal axis of the graph indicates a predetermined period. Symbols L1 to L4 shown in FIG. 9A indicate the health states of the four users U. Here, the code L1 indicates the health state of the user U1, the code L2 indicates the health state of the user U2, the code L3 indicates the health state of the user U3, and the code L4 indicates the health state of the user U4. , belong to the same organization (for example, a team).
Symbols L1 to L3 shown in FIG. 9A depict relatively similar shapes. On the other hand, the symbol L4 shown in FIG. 9A is drawn in such a shape that it becomes significantly separated downward from the symbols L1, L2, and L3 as time passes.
The health
ここで、チームに溶け込めないために、ユーザＵ４の出勤状況が変わってくる可能性があると考えられる。「出勤状況が変わってくる」には、例えば、欠勤日が増えたり、転職活動に伴って週の半ばに休むことが続くこと等が挙げられる。
この場合、健康状態推定部１１６は、ユーザＵ４の出勤状況（勤怠情報）に基づいて健康状態ＨＳを推定する。例えば、健康状態推定部１１６は、ユーザＵの１か月の欠勤日が１０日以上である場合に、ユーザＵの健康状態が不良であると推定する。例えば、他のユーザＵと協働できないために残業時間が増大し、健康を害した可能性があるためである。また例えば、健康状態推定部１１６は、ユーザ情報ＤＢ１８８を参照した結果、ユーザＵの有給取得パターンが変わったと判断して、ユーザＵの健康状態が不良であると推定する。転職活動をするために、ユーザＵが週の半ばに有給取得した可能性があるためである。なお、これらの場合にも、第一警告部１２１は、ユーザＵ４に警告をしてもよい。
Here, it is considered that user U4's attendance status may change due to his inability to integrate into the team. Examples of ``changes in work attendance'' include an increase in the number of days absent from work or a continued absence in the middle of the week due to job changes.
In this case, the health
図１０は、健康状態の推定に関連した一例を示す第５の図である。具体的には、図１０（ａ）は、複数のユーザＵｎの健康状態を示し、図１０（ｂ）は、複数のユーザＵｎが属する組織の健康状態を示している。すなわち、複数のユーザＵｎが属する組織の健康状態を、複数のユーザＵｎの健康状態と比較することによって示している。
図１０を具体的に説明する。
図１０（ａ）に示す符号Ｌ１、符号Ｌ２、および符号Ｌ３は、３人のユーザＵ１～Ｕ３の健康状態を示す。ここでは、符号Ｌ１はユーザＵ１の、符号Ｌ２はユーザＵ２の、符号Ｌ３はユーザＵ３の健康状態を示すものとする。
グラフの縦軸は、スコアを示す（スコアの高低を示すような具体的な数値は省略する）。スコアはユーザＵの健康状態を示す。グラフの横軸は、所定期間を示す。
図１０（ｂ）は、複数のユーザＵが属する組織そのものの健康状態を示す。図１０（ｂ）に示す符号Ｌ５は、ユーザＵ１、ユーザＵ２およびユーザＵ３が属する組織そのものの健康状態を示す。組織の健康状態とは、言い換えると、組織の健全度である。組織の健全度には、例えば、従業員が生き生き働いているか、顧客満足度が高いか等、が挙げられる。
グラフの縦軸は、スコアを示す（スコアの高低を示すような具体的な数値は省略する）。スコアは複数のユーザＵｎが属する組織そのものの健康状態を示す。グラフの横軸は、所定期間を示す。
図１０（ａ）と図１０（ｂ）を比較すると、符号Ｌ１から符号Ｌ３は緩やかではあるが、時間の経過とともに上昇しており、符号Ｌ５は、符号Ｌ１から符号Ｌ３と比較的似た形状を描いている。ここでは、符号Ｌ５は、符号Ｌ１から符号Ｌ３のスコアの平均値を描くものとする。
FIG. 10 is a fifth diagram showing an example related to estimation of health status. Specifically, FIG. 10(a) shows the health states of a plurality of users Un, and FIG. 10(b) shows the health states of organizations to which the plurality of users Un belong. That is, the health status of the organization to which multiple users Un belong is shown by comparing it with the health status of multiple users Un.
FIG. 10 will be specifically explained.
Symbols L1, L2, and L3 shown in FIG. 10(a) indicate the health states of the three users U1 to U3. Here, the symbol L1 indicates the health state of the user U1, the symbol L2 indicates the health state of the user U2, and the symbol L3 indicates the health state of the user U3.
The vertical axis of the graph indicates the score (specific numerical values indicating high and low scores are omitted). The score indicates user U's health condition. The horizontal axis of the graph indicates a predetermined period.
FIG. 10(b) shows the health status of the organization itself to which multiple users U belong. Reference numeral L5 shown in FIG. 10(b) indicates the health state of the organization itself to which the user U1, user U2, and user U3 belong. In other words, the health state of the organization is the degree of health of the organization. Examples of the health level of an organization include whether employees are working with enthusiasm and whether customer satisfaction is high.
The vertical axis of the graph indicates the score (specific numerical values indicating high and low scores are omitted). The score indicates the health state of the organization itself to which the plurality of users Un belong. The horizontal axis of the graph indicates a predetermined period.
Comparing FIG. 10(a) and FIG. 10(b), it is found that the shape from L1 to L3 increases gradually but over time, and L5 has a shape relatively similar to L1 to L3. is drawing. Here, the code L5 represents the average value of the scores from code L1 to code L3.
ここで、従業員の満足度と顧客満足度には正の相関関係があるとされている。従業員の満足度が上がると顧客へのサービスが向上し、顧客満足度の向上に繋がるとされている。例えば、コールセンターにおいては、オペレータ次第で、顧客満足度が変わる。オペレータは精神的な疾患を患うものが少なくないとされているが、心の健康状態が改善されれば、会話内容や顧客への対応が変わり、当該オペレータへの顧客満足度が高まり、その結果、組織への顧客満足度も高まる。
前述の従業員の満足度の中には、例えば、良好な健康状態を維持できることが挙げられる。換言すると、従業員（ユーザＵ）が健康な状態であれば、組織の状態も健全であるといえる可能性が高まる。
健康状態推定部１１６は、ユーザＵ１からユーザＵ３の健康状態に基づいて、ユーザＵ１からユーザＵ３が属する組織そのものの健康状態を推定する。すなわち、ユーザＵ１からユーザＵ３の健康状態と比較して、ユーザＵ１からユーザＵ３が属する組織そのものの健康状態を推定する。Ｌ５は、Ｌ１からＬ３と比較的似た形状を描いており、正の相関関係があると考えられるため、健康状態推定部１１６は、ユーザＵ１からユーザＵ３が属する組織そのものの健康状態が良好であると推定する。
It is said that there is a positive correlation between employee satisfaction and customer satisfaction. It is believed that when employee satisfaction increases, customer service improves, leading to increased customer satisfaction. For example, in a call center, customer satisfaction varies depending on the operator. It is said that many operators suffer from mental illnesses, but if their mental health improves, the content of conversations and how they respond to customers will change, customer satisfaction with the operator will increase, and as a result, , customer satisfaction with the organization also increases.
Among the above-mentioned employee satisfaction levels, for example, being able to maintain a good health condition is mentioned. In other words, if the employee (User U) is in a healthy state, there is a high possibility that the state of the organization can also be said to be healthy.
The health
＜変形例＞
前述の情報処理装置は、医療分野にも適用することができる。例えば、遠隔診療等において、医師が行う問診時に本サービスが利用される。複数の時点における患者（ユーザＵ）の声に関する声情報と、顔の表情や顔色、眉間や網膜等の情報が含まれる顔情報とが解析され、患者の健康状態が推定される。当該ユーザＵの症状は、医師の電子カルデに表示される。つまり、本診に入る前に、医師は、患者の一次症状を認識することができる。
本サービスを利用することで、医師にとっては効率的に診断を行うことができるというメリットがある。また、患者にとっても、自分の症状をうまく伝えられない患者（例えば高齢者）や、自分の症状を自覚していない患者がいるところ、本サービスを利用することで、症状を医師に正確かつ的確に伝えることができるというメリットがある。
<Modified example>
The above-described information processing device can also be applied to the medical field. For example, this service is used during a medical interview conducted by a doctor during remote medical treatment. Voice information regarding the patient's (user U) voice at a plurality of points in time and facial information including information on facial expressions, complexion, glabella, retina, etc. are analyzed, and the patient's health condition is estimated. The symptoms of the user U are displayed on the doctor's electronic medical card. In other words, the doctor can recognize the patient's primary symptoms before starting the actual diagnosis.
By using this service, doctors have the advantage of being able to perform diagnosis efficiently. In addition, for patients, there are patients who cannot communicate their symptoms well (for example, elderly people) and patients who are not aware of their symptoms, so by using this service, they can accurately and precisely report their symptoms to doctors. It has the advantage of being able to convey information to
＜まとめ＞
以上、本発明の情報処理装置の実施形態について説明したが、本発明は上述した本実施形態に限定されない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果の列挙に過ぎず、本発明による効果は、本実施形態に記載されたものに限定されない。
<Summary>
Although the embodiment of the information processing apparatus of the present invention has been described above, the present invention is not limited to the above-described embodiment. Further, the effects described in this embodiment are merely a list of the most suitable effects resulting from the present invention, and the effects according to the present invention are not limited to those described in this embodiment.
本実施形態において、図３に示すハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。換言すると、図４に示す機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理装置に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。 In this embodiment, the hardware configuration shown in FIG. 3 is merely an example for achieving the purpose of the present invention, and is not particularly limited. In other words, the functional configuration shown in FIG. 4 is merely an example and is not particularly limited. That is, it is sufficient that the information processing device has a function that can execute the above-described series of processes as a whole, and what kind of functional blocks are used to realize this function is not particularly limited to the example shown in FIG. 4.
また、機能ブロックの存在場所も、図４に特に限定されず、任意でよい。例えば、サーバ１の機能ブロックを複数のサーバに分散させてもよい。また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
Further, the location of the functional blocks is not particularly limited to that shown in FIG. 4, and may be arbitrary. For example, the functional blocks of the
また、例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。また、コンピュータは、専用のハードウェアに組み込まれるコンピュータであってもよい。 Further, for example, when a series of processes is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium. The computer may also be a computer built into dedicated hardware.
コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他、汎用のスマートフォンやパーソナルコンピュータであってもよい。 The computer may be a computer that can execute various functions by installing various programs, such as a server, a general-purpose smartphone, or a personal computer.
また、例えば、このようなプログラムを含む記録媒体は、利用者にプログラムを提供するために、装置本体とは別に配布される図示しないリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態で利用者に提供される記録媒体等で構成されるものであってもよい。 Furthermore, for example, a recording medium containing such a program may not only be composed of a removable medium (not shown) that is distributed separately from the main body of the device in order to provide the program to the user, but also a recording medium that is pre-installed in the main body of the device. It may also consist of a recording medium or the like that is provided to the user in a state in which the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含む。また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味する。 Note that in this specification, the step of writing a program to be recorded on a recording medium is not only a process that is performed chronologically in accordance with the order, but also a process that is not necessarily performed chronologically but in parallel or individually. It also includes the processing to be performed. Further, in this specification, the term "system" means an overall apparatus composed of a plurality of devices, a plurality of means, and the like.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図３のリムーバブルメディア２１により構成されるだけでなく、装置本体に予め組み込まれた状態で利用者に提供される記録媒体等で構成される。
リムーバブルメディア２１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。
装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図３のＲＯＭ１２や、図３の記憶部１８に含まれるハードディスク等で構成される。
A recording medium containing such a program is not only constituted by the removable medium 21 shown in FIG. 3, which is distributed separately from the main body of the device in order to provide the program to the user, but also can be used by being pre-installed in the main body of the device. It consists of recording media, etc. provided to individuals.
The
The recording medium provided to the user in a pre-installed state in the main body of the apparatus includes, for example, the
以上まとめると、本発明が適用される情報処理装置は、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理装置（例えば、図２のサーバ１）は、ユーザの声に関する声情報を取得する第一取得手段（例えば、図４の第一取得部１１１）と、前記ユーザの顔情報を取得する第二取得手段（例えば、図４の第二取得部１１２）と、前記声情報および前記顔情報を記憶する第一記憶手段（例えば、図４の記憶部１８）と、前記声情報に基づいて、音声特徴量を抽出する第一抽出手段（例えば、図４の第一抽出部１１３）と、前記顔情報に基づいて、顔特徴量を抽出する第二抽出手段（例えば、図４の第二抽出部１１４）と、複数の時点における前記音声特徴量および前記顔特徴量に基づいて、前記ユーザの健康状態を推定する健康状態推定手段（例えば、図４の健康状態推定部１１６）と、を備える。
本発明によれば、ユーザの健康状態を高精度に推定することができる。すなわち、本発明によれば、複数の時点における音声特徴量および顔特徴量に基づくことにより、推定精度を向上させることができる。
In summary, the information processing apparatus to which the present invention is applied only needs to have the following configuration, and can take various embodiments.
That is, an information processing apparatus to which the present invention is applied (for example, the
According to the present invention, a user's health condition can be estimated with high accuracy. That is, according to the present invention, estimation accuracy can be improved by being based on voice feature amounts and facial feature amounts at a plurality of points in time.
また、少なくとも前記健康状態推定手段によって推定された前記ユーザの健康状態を表示する表示制御手段（例えば、図４の表示制御部１１７）をさらに備えてもよい。
本発明によれば、表示制御手段があることで、ユーザの健康状態を可視化することができる。
Moreover, it may further include display control means (for example,
According to the present invention, the presence of the display control means allows the user's health condition to be visualized.
また、前記ユーザの健康状態を示すスコアおよび前記スコアに関する閾値に基づいて、前記ユーザにおける第一の疾患の有無を推定する疾患有無推定手段（例えば、図４の疾患有無推定部１１８）をさらに備えてもよい。
本発明によれば、疾患の有無をユーザの健康状態の推定に活用することができるため、健康状態を高精度に推定することができる。
The device further includes a disease presence/absence estimation unit (for example, the disease presence/
According to the present invention, the presence or absence of a disease can be used to estimate the user's health condition, so the health condition can be estimated with high accuracy.
また、前記顔情報に基づいて、前記ユーザの表情または顔色を解析する解析手段（例えば、図４の解析部１１９）をさらに備え、前記健康状態推定手段は、前記解析手段によって解析された結果を用いて前記ユーザの健康状態を推定してもよい。
本発明によれば、ユーザの表情または顔色は、ユーザが自覚しない疾患の症状を示す可能性があるため、ユーザの表情または顔色の解析結果を用いることで、健康状態を高精度に推定することができる。
The device further includes an analysis unit (for example, the
According to the present invention, since a user's facial expression or complexion may indicate symptoms of a disease that the user is not aware of, it is possible to estimate the health condition with high accuracy by using the analysis results of the user's facial expression or complexion. I can do it.
また、前記顔情報は、網膜の状態に関する情報を含み、前記網膜の状態に関する情報に基づいて、前記ユーザにおける第二の疾患の有無を判定する判定手段（例えば、図４の判定部１２０）をさらに備えてもよい。
本発明によれば、ユーザは、自覚していない疾患を認識することができる。
Further, the face information includes information regarding the state of the retina, and a determining means (for example, the determining
According to the present invention, a user can recognize a disease of which he or she is not aware.
また、前記顔情報は、顔画像から取得される脈波に関する情報を含み、脈波に関する情報に基づいて、前記ユーザにおける第三の疾患の有無を判定する判定手段（例えば、図４の判定部１２０）をさらに備えていてもよい。 本発明によれば、ユーザは、自覚していない疾患を認識することができる。 Further, the face information includes information regarding a pulse wave acquired from a face image, and the determination unit (for example, the determination unit in FIG. 4 120). According to the present invention, a user can recognize a disease of which he or she is not aware.
また、前記疾患有無推定手段によって前記ユーザに前記第一の疾患が有ると推定された場合に、所定の警告をする第一警告手段（例えば、図４の第一警告部１２１）をさらに備えてもよい。
本発明によれば、警告をされることで、ユーザは、自覚していない疾患を認識することができる。
The device further includes a first warning unit (for example, the
According to the present invention, by receiving a warning, the user can recognize a disease of which he or she is not aware.
また、所定期間における前記ユーザの健康状態に関する複数のスコアから、当該複数のスコアの変動量が所定の値以上および所定の値以下のうち少なくとも一つを判断する判断手段（例えば、図４のスコア判断部１２２）と、前記判断手段の前記判断に基づいて所定の警告をする第二警告手段（例えば、図４の第二警告部１２３）をさらに備えてもよい。
本発明によれば、複数のデータが用いられることでユーザの健康状態の傾向が明確になるとともに、傾向がマイナスな要素を含む場合に警告がなされるため、ユーザは、健康状態を改善させるきっかけを得ることができる。
Further, from a plurality of scores related to the user's health condition in a predetermined period, a determination means (for example, the score of FIG. 4 The apparatus may further include a judgment section 122) and a second warning section (for example, the
According to the present invention, trends in the user's health condition are clarified by using a plurality of pieces of data, and a warning is issued if the trend includes negative elements, so the user can receive an opportunity to improve his or her health condition. can be obtained.
また、前記表示制御手段は、前記ユーザの健康状態を示すスコアのばらつきに基づき、前記ユーザの健康状態を表示してもよい。
本発明によれば、ユーザの健康状態を示すスコアを表示し、表示されたスコアのばらつき具合をみることで、ユーザの健康状態が可視化できる。
Further, the display control means may display the user's health condition based on the dispersion of scores indicating the user's health condition.
According to the present invention, the user's health condition can be visualized by displaying a score indicating the user's health condition and looking at the degree of variation in the displayed score.
また、前記音声特徴量は、音声の変動パターンに基づく特徴量であってもよい。
本発明によれば、音声の変動パターンは疾患毎に特有であるため、音声の変動パターンを特徴量に用いることにより、健康状態の推定（疾患の推定）を高精度に行うことができる。
Further, the audio feature amount may be a feature amount based on a variation pattern of audio.
According to the present invention, since the voice variation pattern is unique for each disease, by using the voice variation pattern as a feature quantity, it is possible to estimate the health condition (disease estimation) with high accuracy.
また、前記顔情報は、眉間に関する情報を含んでもよい。
本発明によれば、眉間の情報をも健康状態の推定に用いるため、健康状態を高精度に推定することができる。
Further, the face information may include information regarding the glabella.
According to the present invention, since the information between the eyebrows is also used for estimating the health condition, the health condition can be estimated with high accuracy.
また、前記ユーザの血液検査の結果を取得する第三取得手段（例えば、図４の血液情報取得部１２４）をさらに備え、前記健康状態推定手段は、さらに、前記第三取得手段が取得した前記ユーザの血液検査の結果に基づいて、前記ユーザの健康状態を推定してもよい。
本発明によれば、ユーザの声情報と顔情報に加えて、血液の情報が健康状態の推定に加わるため、健康状態を高精度に推定することができる。
Further, the device further includes a third acquisition unit (for example, the blood
According to the present invention, in addition to the user's voice information and face information, blood information is added to the health condition estimation, so that the health condition can be estimated with high accuracy.
また、前記健康状態推定手段は、前記音声特徴量と前記顔特徴量のうち、前記音声特徴量の方を推定の優先としてもよい。
本発明によれば、顔の情報と声の情報とでは、声の情報の方が正確な症状を示す場合が多いため、健康状態を高精度に推定することができる。
Furthermore, the health state estimating means may give priority to the voice feature amount in estimation between the voice feature amount and the face feature amount.
According to the present invention, since voice information often indicates more accurate symptoms than face information and voice information, it is possible to estimate the health condition with high accuracy.
また、前記ユーザの勤怠情報を取得する第四取得手段（例えば、図４の勤怠情報取得部１２５）をさらに備え、前記健康状態推定手段は、さらに、前記第四取得手段が取得した前記ユーザの勤怠情報に基づいて、前記ユーザの健康状態を推定してもよい。
本発明によれば、ユーザの勤怠情報を利用することで、声と顔の情報からは分からない、長時間労働や休暇取得日数が多いといったユーザの健康状態の問題点を把握することができる。
Further, the system further includes a fourth acquisition means (for example, the attendance
According to the present invention, by using the user's attendance information, it is possible to grasp problems in the user's health condition, such as long working hours or taking too many vacation days, which cannot be seen from voice and facial information.
前記ユーザの勤怠情報は、前記第二取得手段よりユーザの出退勤時に取得された顔情報を含むものであることができる。
本発明によれば、健康状態把握のために設置した情報処理装置を、勤怠管理にも利用することができる。
The user's attendance information may include face information acquired by the second acquisition means when the user comes to and leaves work.
According to the present invention, an information processing device installed for grasping health conditions can also be used for attendance management.
また、前記ユーザの顔認証を行う認証手段（例えば、図４のサーバ１）と、前記認証手段が行った前記顔認証に基づいて特定された前記ユーザの情報に紐づけて、前記ユーザの健康状態を記憶する第二記憶手段（例えば、図４のユーザ情報ＤＢ１８８）をさらに備えてもよい。
本発明によれば、ユーザの識別情報とユーザの健康状態を紐づけて管理できるため、管理者（雇用主）がユーザの健康状態を管理し易い。
Further, an authentication means (for example, the
According to the present invention, since the user's identification information and the user's health condition can be managed in association with each other, the manager (employer) can easily manage the user's health condition.
また、前記健康状態推定手段は、さらに、複数のユーザが属する組織において、前記複数のユーザの健康状態に基づいて、前記ユーザの健康状態と前記組織の健康状態の少なくとも一つを推定してもよい。
本発明によれば、ある一ユーザの健康状態を、他の複数のユーザの健康状態に照らして推定するため、組織が、ユーザの健康状態の傾向を認識し易くなる。
Further, the health state estimation means may further estimate at least one of the health state of the user and the health state of the organization based on the health states of the plurality of users in an organization to which the plurality of users belong. good.
According to the present invention, the health status of one user is estimated in light of the health status of a plurality of other users, making it easier for an organization to recognize trends in the user's health status.
また、前記ユーザの病歴を取得する第五取得手段（例えば、図４の病歴情報取得部１２６）をさらに備え、前記健康状態推定手段は、さらに、前記第五取得手段が取得した前記ユーザの病歴に基づいて、前記ユーザの健康状態を推定してもよい。
本発明によれば、ユーザの過去の病歴をも健康状態の推定に用いるため、健康状態を高精度に推定することができる。
The medical history
According to the present invention, since the user's past medical history is also used to estimate the health condition, the health condition can be estimated with high accuracy.
１・・・サーバ、２・・・情報処理端末、３・・・ユーザ端末、１１１・・・第一取得部、１１２・・・第二取得部、１１３・・・第一抽出部、１１４・・・第二抽出部、１１５・・・スコア算出部、１１６・・・健康状態推定部、１１７・・・表示制御部、１１８・・・疾患有無推定部、１１９・・・解析部、１２０・・・判定部、１２１・・・第一警告部、１２２・・・スコア判断部、１２３・・・第二警告部、１２４・・・血液情報取得部、１２５・・・勤怠情報取得部、１２６・・・病歴情報取得部、１８１・・・声ＤＢ、１８２・・・顔ＤＢ、１８３・・・特徴量ＤＢ、１８４・・・スコアＤＢ、１８５・・・基準ＤＢ、１８６・・・算出モデルＤＢ、１８７・・・解析・判定結果ＤＢ、１８８・・・ユーザ情報ＤＢ、１８９・・・組織情報ＤＢ
DESCRIPTION OF
Claims (18)
前記ユーザの顔情報を取得する第二取得手段と、
前記声情報および前記顔情報を記憶する第一記憶手段と、
前記声情報に基づいて、音声特徴量を抽出する第一抽出手段と、
前記顔情報に基づいて、顔特徴量を抽出する第二抽出手段と、
複数の時点における前記音声特徴量および前記顔特徴量に基づいて、前記ユーザの健康状態を推定する健康状態推定手段と、
を備える情報処理装置。 a first acquisition means for acquiring voice information regarding the user's voice;
a second acquisition means for acquiring facial information of the user;
a first storage means for storing the voice information and the face information;
a first extraction means for extracting voice features based on the voice information;
a second extraction means for extracting facial features based on the facial information;
Health state estimating means for estimating the health state of the user based on the voice feature amount and the facial feature amount at a plurality of points in time;
An information processing device comprising:
請求項１に記載の情報処理装置。 further comprising display control means for displaying at least the health state of the user estimated by the health state estimating means;
The information processing device according to claim 1.
請求項１または２に記載の情報処理装置。 Further comprising a disease presence/absence estimation means for estimating the presence/absence of a first disease in the user based on a score indicating the user's health condition and a threshold related to the score.
The information processing device according to claim 1 or 2.
前記健康状態推定手段は、前記解析手段によって解析された結果を用いて前記ユーザの健康状態を推定する、
請求項１または２に記載の情報処理装置。 further comprising analysis means for analyzing the user's facial expression or complexion based on the facial information,
The health state estimation means estimates the health state of the user using the results analyzed by the analysis means.
The information processing device according to claim 1 or 2.
請求項１または２に記載の情報処理装置。 The facial information includes information regarding the state of the retina, and further comprises a determining means for determining whether or not the user has a second disease based on the information regarding the state of the retina.
The information processing device according to claim 1 or 2.
請求項３に記載の情報処理装置。 further comprising a first warning means for issuing a predetermined warning when the disease presence/absence estimation means estimates that the user has the first disease;
The information processing device according to claim 3.
前記判断手段の前記判断に基づいて所定の警告をする第二警告手段をさらに備える、
請求項１または２に記載の情報処理装置。 a determination means for determining, from a plurality of scores regarding the user's health condition in a predetermined period, whether the amount of variation in the plurality of scores is at least one of a predetermined value or more and a predetermined value or less;
further comprising second warning means for issuing a predetermined warning based on the judgment of the judgment means;
The information processing device according to claim 1 or 2.
請求項２に記載の情報処理装置。 The display control means displays the user's health condition based on the dispersion of the score indicating the user's health condition.
The information processing device according to claim 2.
請求項１または２に記載の情報処理装置。 The audio feature amount is a feature amount based on a variation pattern of the audio,
The information processing device according to claim 1 or 2.
請求項１または２に記載の情報処理装置。 The facial information includes information regarding the area between the eyebrows.
The information processing device according to claim 1 or 2.
前記健康状態推定手段は、さらに、前記第三取得手段が取得した前記ユーザの血液検査の結果に基づいて、前記ユーザの健康状態を推定する、
請求項１または２に記載の情報処理装置。 further comprising third acquisition means for acquiring the user's blood test results,
The health state estimation means further estimates the health state of the user based on the result of the user's blood test acquired by the third acquisition means.
The information processing device according to claim 1 or 2.
請求項１または２に記載の情報処理装置。 The health state estimating means estimates the health state of the user by giving priority to the voice feature amount among the voice feature amount and the facial feature amount.
The information processing device according to claim 1 or 2.
前記健康状態推定手段は、さらに、前記第四取得手段が取得した前記ユーザの勤怠情報に基づいて、前記ユーザの健康状態を推定する、
請求項１または２に記載の情報処理装置。 further comprising a fourth acquisition means for acquiring attendance information of the user,
The health state estimation means further estimates the health state of the user based on the attendance information of the user acquired by the fourth acquisition means.
The information processing device according to claim 1 or 2.
前記認証手段が行った前記顔認証に基づいて特定された前記ユーザの情報に紐づけて、前記ユーザの健康状態を記憶する第二記憶手段をさらに備える、
請求項１または２に記載の情報処理装置。 an authentication means for performing face authentication of the user;
further comprising a second storage means for storing the health condition of the user in association with the information of the user identified based on the face authentication performed by the authentication means;
The information processing device according to claim 1 or 2.
請求項１または２に記載の情報処理装置。 The health condition estimation means further estimates at least one of the health condition of the user and the health condition of the organization in an organization to which the plurality of users belong, based on the health conditions of the plurality of users.
The information processing device according to claim 1 or 2.
前記健康状態推定手段は、さらに、前記第五取得手段が取得した前記ユーザの病歴に基づいて、前記ユーザの健康状態を推定する、
請求項１または２に記載の情報処理装置。 Further comprising a fifth acquisition means for acquiring the user's medical history,
The health state estimation means further estimates the health state of the user based on the user's medical history acquired by the fifth acquisition means.
The information processing device according to claim 1 or 2.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022107868 | 2022-07-04 | ||
| JP2022107868 | 2022-07-04 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024007407A true JP2024007407A (en) | 2024-01-18 |
Family
ID=89543552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023103675A Pending JP2024007407A (en) | 2022-07-04 | 2023-06-23 | Information processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2024007407A (en) |
-
2023
- 2023-06-23 JP JP2023103675A patent/JP2024007407A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109983505B (en) | Character movement recording device, character movement recording method, and storage medium | |
| CN110036402A (en) | The data processing method of prediction for media content performance | |
| JP4401079B2 (en) | Subject behavior analysis | |
| CN107809951B (en) | Psychophysiological detection (lie detection) method and apparatus for distortion using video-based detection of physiological signals | |
| WO2016129193A1 (en) | Health management assist device and health management assist method | |
| CN108778097A (en) | Device and method for assessing heart failure | |
| Kuru et al. | Biomedical visual data analysis to build an intelligent diagnostic decision support system in medical genetics | |
| WO2017139895A1 (en) | System and method for detecting physiological state | |
| WO2004091371A2 (en) | Determining a psychological state of a subject | |
| JP6679017B1 (en) | Dementia risk presentation system and method | |
| WO2014150684A1 (en) | Artifact as a feature in neuro diagnostics | |
| US20190357792A1 (en) | Sensibility evaluation apparatus, sensibility evaluation method and method for configuring multi-axis sensibility model | |
| Pampouchidou et al. | Designing a framework for assisting depression severity assessment from facial image analysis | |
| US20230052100A1 (en) | Systems And Methods For Optical Evaluation Of Pupillary Psychosensory Responses | |
| Daros et al. | Identifying mental disorder from the faces of women with borderline personality disorder | |
| US20210343389A1 (en) | Systems and methods of pain treatment | |
| WO2020139970A1 (en) | Assessment of risk for major depressive disorder from human electroencephalography using machine learned model | |
| KR20140041382A (en) | Method for obtaining information about the psychophysiological state of a living being | |
| WO2020190648A1 (en) | Method and system for measuring pupillary light reflex with a mobile phone | |
| Hasan et al. | Pain level detection from facial image captured by smartphone | |
| Minkin | Vibraimage, Cybernetics and Emotions | |
| JP6453060B2 (en) | Health information management system and health information management method | |
| JP2024007407A (en) | Information processing device | |
| JP7385514B2 (en) | Biometric information management device, biometric information management method, biometric information management program, and storage medium | |
| Mantri et al. | Real time multimodal depression analysis |