JP7556410B2 - 情報処理装置、制御方法及びプログラム - Google Patents

Description

本開示は、内面状態の推定に関する処理を行う情報処理装置、制御方法及び記憶媒体の技術分野に関する。

対象者の内面状態を推定する装置又はシステムが知られている。例えば、特許文献１には、心拍相当データの測定結果に基づきストレス度を判定し、アンケート結果に基づいて被検者のメンタル状態を判定する心身状態自覚支援装置が開示されている。

特開平１１－１６９３６２号公報

どのような状況でどのようなメンタル状態となるかについては個人差があり、メンタル状態を被検者自身による主観評価によらずに推定するには、個人毎のメンタル状態の傾向を的確に推定する必要がある。

本開示の目的は、上述した課題を鑑み、メンタル状態の傾向を好適に推定することが可能な情報処理装置、制御方法及び記憶媒体を提供することである。

情報処理装置の一の態様は、
対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得する取得手段と、
前記複数組に基づき、前記対象者のメンタル状態の傾向を推定するメンタル傾向推定手段と、
を備え、
前記ストレス状態は、複数のレベルに分類されており、
前記メンタル傾向推定手段は、前記ストレス状態のレベルごとに、当てはまるメンタル状態と当該メンタル状態の確信度とを前記傾向として表すメンタル傾向情報を生成する、
情報処理装置である。

制御方法の一の態様は、
コンピュータが、
対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得し、
前記複数組に基づき、前記対象者のメンタル状態の傾向を推定し、
前記ストレス状態は、複数のレベルに分類されており、
前記ストレス状態のレベルごとに、当てはまるメンタル状態と当該メンタル状態の確信度とを前記傾向として表すメンタル傾向情報を生成する、
制御方法である。

プログラムの一の態様は、
対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得し、
前記複数組に基づき、前記対象者のメンタル状態の傾向を推定し、
前記ストレス状態は、複数のレベルに分類されており、
前記ストレス状態のレベルごとに、当てはまるメンタル状態と当該メンタル状態の確信度とを前記傾向として表すメンタル傾向情報を生成する処理をコンピュータに実行させるプログラムである。

本開示によれば、対象者のメンタル状態の傾向を的確に推定することができる。

第１実施形態に係るメンタル状態推定システムの概略構成を示す。 情報処理装置のハードウェア構成を示す。 情報処理装置の機能ブロックの一例である。 （Ａ）第１生成例において用いる同一人物から取得した学習データセットを可視化した図である。（Ｂ）第１生成例における学習データセットの統計情報を表すテーブルである。（Ｃ）第１生成例におけるメンタル傾向情報の一例を示す。 第２生成例により生成されるメンタル傾向情報のデータ構造の一例を示す。 （Ａ）第３生成例における学習データセットの生成に関する概要図を示す。（Ｂ）第３生成例において生成されたメンタル傾向情報のデータ構造の一例を示す。 メンタル傾向情報の生成に関する処理手順を示すフローチャートの一例である。 メンタル状態の推定に関する処理手順を示すフローチャートの一例である。 第２実施形態に係るメンタル状態推定システムの概略構成を示す。 第３実施形態における情報処理装置のブロック図である。 第３実施形態において情報処理装置が実行するフローチャートの一例である。

以下、図面を参照しながら、情報処理装置、制御方法及び記憶媒体の実施形態について説明する。

＜第１実施形態＞
（１）システム構成
図１は、第１実施形態に係るメンタル状態推定システム１００の概略構成を示す。メンタル状態推定システム１００は、ストレス状態に応じた対象者のメンタル状態の傾向を推定し、推定した傾向に基づきメンタル状態の推定及び推定結果の提示を行う。ここで、「対象者」は、組織によりメンタル状態の管理が行われるスポーツ選手又は従業員であってもよく、個人のユーザであってもよい。また、「メンタル状態」は、対象者の心の状態（心理状態、精神状態）を指し、具体的には、対象者の気分、感情、又は行動傾向（例えば、課題に対する態度・姿勢の傾向、物事への反応の傾向、他人に対する態度・姿勢の傾向等を含む）を指す。

メンタル状態推定システム１００は、主に、情報処理装置１と、入力装置２と、出力装置３と、記憶装置４と、センサ５とを備える。

情報処理装置１は、通信網を介し、又は、無線若しくは有線による直接通信により、入力装置２、出力装置３、及びセンサ５とデータ通信を行う。そして、情報処理装置１は、入力装置２から供給される入力信号「Ｓ１」、センサ５から供給されるセンサ信号「Ｓ３」、及び記憶装置４に記憶された情報に基づいて、対象者のメンタル状態の傾向の推定等を行う。また、情報処理装置１は、対象者のメンタル状態の傾向又は／及び当該傾向に基づくメンタル状態の推定結果に関する出力信号「Ｓ２」を生成し、生成した出力信号Ｓ２を出力装置３に供給する。

入力装置２は、各対象者に関する情報の手入力（外部入力）を受け付けるインターフェースである。なお、入力装置２を用いて情報の入力を行うユーザは、対象者本人であってもよく、対象者の活動を管理又は監督する者であってもよい。入力装置２は、例えば、タッチパネル、ボタン、キーボード、マウス、音声入力装置などの種々のユーザ入力用インターフェースであってもよい。入力装置２は、生成した入力信号Ｓ１を、情報処理装置１へ供給する。出力装置３は、情報処理装置１から供給される出力信号Ｓ２に基づき、所定の情報を表示又は音出力する。出力装置３は、例えば、ディスプレイ、プロジェクタ、スピーカ等である。

センサ５は、対象者の生体データ（生体信号）等を測定し、測定した生体データ等を、センサ信号Ｓ３として情報処理装置１へ供給する。この場合、センサ信号Ｓ３は、対象者のストレス推定に用いられる任意の生体データ（例えば、心拍、脳波、発汗量、ホルモン分泌量、脳血流、血圧、体温、筋電、心電、呼吸数等）であってもよい。また、センサ５は、対象者から採取された血液を分析し、その分析結果をセンサ信号Ｓ３として出力する装置であってもよい。また、センサ５は、対象者が装着するウェアラブル端末であってもよく、対象者を撮影するカメラ又は対象者の発話の音声信号を生成するマイク等であってもよい。

記憶装置４は、メンタル状態の推定等に必要な各種情報を記憶するメモリである。記憶装置４は、情報処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置４は、情報処理装置１とデータ通信を行うサーバ装置であってもよい。また、記憶装置４は、複数の装置から構成されてもよい。

記憶装置４は、機能的には、学習データセット記憶部４１と、メンタル傾向情報記憶部４２とを有している。

学習データセット記憶部４１は、各個人のストレス状態に応じたメンタル状態の傾向（「メンタル傾向」とも呼ぶ。）を推定するために必要な学習データセットを記憶する。具体的には、学習データセット記憶部４１には、被検者のストレス状態と当該ストレス状態が測定された時点での対象者のメンタル状態との複数の組である学習データセットが記憶される。言い換えると、学習データセット記憶部４１は、定期的又は不定期に測定されたストレス状態とメンタル状態との組を学習データセットとして蓄積している。学習データセットは、例えば、被検者の識別情報と紐付いて学習データセット記憶部４１に記憶されている。

メンタル傾向情報記憶部４２は、各個人のストレス状態に応じたメンタル傾向を表す情報であるメンタル傾向情報を記憶する。メンタル傾向情報は、学習データセット記憶部４１に記憶された学習データセットに基づき、対象者毎に情報処理装置１によって生成される。メンタル傾向情報は、対応する対象者の識別情報と紐付けられてメンタル傾向情報記憶部４２に記憶される。メンタル傾向情報は、ストレス状態とメンタル状態との対応関係を表すテーブル情報であってもよく、ストレス状態からメンタル状態を推定する推論モデル（「メンタル推定モデル」とも呼ぶ。）に関する情報であってもよい。後者の場合、メンタル推定モデルは、例えば、回帰モデル（統計モデル）又は機械学習モデルであり、この場合、メンタル傾向情報記憶部４２は、メンタル推定モデルを構成するために必要なパラメータの情報を記憶する。例えば、メンタル推定モデルが畳み込みニューラルネットワークなどのニューラルネットワークに基づくモデルである場合、メンタル傾向情報記憶部４２は、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータの情報を記憶する。

なお、図１に示すメンタル状態推定システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、入力装置２及び出力装置３は、一体となって構成されてもよい。この場合、入力装置２及び出力装置３は、情報処理装置１と一体又は別体となるタブレット型端末として構成されてもよい。また、入力装置２とセンサ５とは、一体となって構成されてもよい。また、情報処理装置１は、複数の装置から構成されてもよい。この場合、情報処理装置１を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。この場合、情報処理装置１は、情報処理システムとして機能する。

（２）情報処理装置のハードウェア構成
図２は、情報処理装置１のハードウェア構成を示す。情報処理装置１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１９を介して接続されている。

プロセッサ１１は、メモリ６に記憶されているプログラムを実行することにより、情報処理装置１の全体の制御を行うコントローラ（演算装置）として機能する。プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。

メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ１２には、情報処理装置１が実行する処理を実行するためのプログラムが記憶される。なお、メモリ１２が記憶する情報の一部は、情報処理装置１と通信可能な１又は複数の外部記憶装置により記憶されてもよく、情報処理装置１に対して着脱自在な記憶媒体により記憶されてもよい。

インターフェース１３は、情報処理装置１と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。

なお、情報処理装置１のハードウェア構成は、図２に示す構成に限定されない。例えば、情報処理装置１は、入力装置２又は出力装置３の少なくとも一方を含んでもよい。また、情報処理装置１は、スピーカなどの音出力装置と接続又は内蔵してもよい。

（３）機能ブロック
図３は、情報処理装置１の機能ブロックの一例である。情報処理装置１のプロセッサ１１は、機能的には、メンタル状態判定部１４と、ストレス状態判定部１５と、メンタル傾向推定部１６と、メンタル状態推定部１７と、出力制御部１８とを有する。なお、図３では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは図３に限定されない。後述する他の機能ブロックの図においても同様である。

メンタル状態判定部１４は、アンケート回答結果を表す入力信号Ｓ１に基づき、アンケート回答者のメンタル状態を判定する。この場合、メンタル状態判定部１４は、メンタル状態を測定するための任意のアンケートによる主観評価方法に基づき、入力信号Ｓ１が示すアンケート回答結果から、アンケート回答者のメンタル状態を推定する。アンケートに基づくメンタル状態の測定方法は、例えば、ＫＯＫＯＲＯスケール、ＰＡＮＡＳ（Positive and Negative Affect Schedule）などが存在する。アンケートを実行する場合、メンタル状態判定部１４は、アンケート回答画面を表示するための表示信号である出力信号Ｓ２を、インターフェース１３を介して出力装置３に送信することで、アンケート回答画面を出力装置３に表示させる。また、メンタル状態判定部１４は、アンケート回答画面での回答結果を表す入力信号Ｓ１を、インターフェース１３を介して入力装置２から受信する。

ストレス状態判定部１５は、センサ５から供給されるセンサ信号Ｓ３が表す生体データに基づき、センサ信号Ｓ３の測定が行われた対象者のストレス状態の判定を行う。この場合、例えば、センサ信号Ｓ３からストレス状態を判定するために必要な情報は、記憶装置４又はメモリ１２に予め記憶されており、ストレス状態判定部１５は、この情報を参照してセンサ信号Ｓ３からストレス状態を判定する。この場合、上述の情報は、例えば、深層学習等の機械学習によって予め学習された推論モデルに関する情報であってもよい。なお、生体データ等からストレス状態を判定（推定）する手法は種々存在し、ストレス状態判定部１５は、これらのいずれの手法によってストレス状態を判定してもよい。ここで、ストレス状態判定部１５が判定するストレス状態は、ストレス推定値そのものであってもよく、ストレス推定値と１又は複数の閾値との比較により定めたストレスのレベルであってもよい。後者の場合、例えば、ストレス状態は、ストレス推定値がある閾値よりも高い高ストレス状態と、ストレス推定値が当該閾値以下となる低ストレス状態とに分類される。

なお、メンタル状態判定部１４及びストレス状態判定部１５の判定は、同一対象者を対象として実質的に同一のタイミングにより実行され、これらの判定結果を表す情報は、学習データセットとして、対象者の識別情報等と紐付けられて学習データセット記憶部４１に記憶される。

メンタル傾向推定部１６は、学習データセット記憶部４１に記憶された学習データセットに基づき、対象者のメンタル傾向の推定を行うことでメンタル傾向情報を生成する。そして、メンタル傾向推定部１６は、生成したメンタル傾向情報を、対象者の識別情報と紐付けてメンタル傾向情報記憶部４２に記憶する。メンタル傾向推定部１６の具体的な処理については後述する。

メンタル状態推定部１７は、メンタル傾向情報記憶部４２にメンタル傾向情報が存在する対象者のメンタル状態を推定する。この場合、メンタル状態推定部１７は、センサ信号Ｓ３に基づきストレス状態判定部１５が判定したストレス状態と、対象者のメンタル傾向情報とに基づき、対象者のメンタル状態を推定する。この場合、メンタル状態推定部１７は、対象者にアンケートの回答等の主観評価を実行させることなく、対象者のメンタル状態を好適に推定する。メンタル状態推定部１７は、メンタル状態の推定結果を出力制御部１８に供給する。

出力制御部１８は、メンタル状態推定部１７によるメンタル状態の推定結果に関する情報を出力する。例えば、出力制御部１８は、メンタル状態推定部１７による推定結果を、表示部に表示する、又は、音出力部により音声出力する。この場合、出力制御部１８は、メンタル状態推定部１７が使用したメンタル傾向情報が表す対象者のメンタル傾向についても表示又は音声出力してもよい。また、出力制御部１８は、メンタル状態と必要なアドバイスとを対応付けたアドバイス情報を参照し、推定したメンタル状態に対応するアドバイスを出力してもよい。この場合、アドバイス情報は、記憶装置４又はメモリ１２に予め記憶されている。

なお、図３において説明したメンタル状態判定部１４、ストレス状態判定部１５、メンタル傾向推定部１６、メンタル状態推定部１７及び出力制御部１８の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Field-Programmable Gate Array）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Application Specific Standard Produce）、ＡＳＩＣ（Application Specific Integrated Circuit）又は量子プロセッサ（量子コンピュータ制御チップ）により構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は、例えば、クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。

（４）メンタル傾向情報の生成
次に、メンタル傾向推定部１６によるメンタル傾向情報の生成の具体例である第１生成例～第４生成例について説明する。

（４－１）第１生成例
図４（Ａ）は、第１生成例において用いる学習データセット（ここでは、同一人物に対する１０組分のメンタル状態とストレス状態の判定結果）を可視化した図である。ここでは、一例として、メンタル状態は、ＫＯＫＯＲＯスケールに従い、ワクワクする気分を正としイライラする気分を負とする縦軸と、安心な気分を正とし不安な気分を負とする横軸とを有する座標系での２次元座標値により表されている。また、ストレス状態は、所定の閾値よりストレス推定値が高い状態である高ストレス状態と、ストレス推定値が当該閾値以下の状態である低ストレス状態との２段階にレベル分けされている。図４（Ａ）に示すように、低ストレス状態と高ストレス状態とでは、メンタル状態の縦軸の値については傾向の差異がないものの、メンタル状態の横軸の値について傾向の差異が生じている。

図４（Ｂ）は、第１生成例における学習データセットの統計情報を表すテーブルである。図４（Ｂ）に示すテーブルは、メンタル状態の軸ごとに、高ストレス状態での平均値（平均値以外の代表値であってもよい、以下同じ。）と、低ストレス状態での平均値と、これらの平均値の差とを夫々示している。図４（Ｂ）に示されるように、メンタル状態の横軸における高ストレス状態での平均値と低ストレス状態での平均値との差（７）は、縦軸における高ストレス状態での平均値と低ストレス状態での平均値との差（１．５）よりも大きくなっている。

この場合、メンタル傾向推定部１６は、対象者について、差が最も大きい軸（ここでは横軸）に関するメンタル状態の傾向を推定する。図４（Ｃ）は、メンタル傾向推定部１６が生成するメンタル傾向情報の一例を示す。

ここでは、メンタル傾向推定部１６は、図４（Ａ）に示す学習データセットの取得元である対象者（対象者ＩＤ「Ｘ０」）に対し、高ストレス状態と低ストレス状態とでのメンタル状態の横軸に関する傾向を表すメンタル傾向情報のレコードを生成している。ここでは、メンタル状態の横軸における低ストレス状態での平均値が負値であることから、低ストレス状態でのメンタル状態を「不安な気分」とし、メンタル状態の横軸における高ストレス状態での平均値が正値であることから、高ストレス状態でのメンタル状態を「安心な気分」としている。

このように、メンタル傾向推定部１６は、ストレス状態のレベル間で差（ばらつき）が最も多いメンタル状態の軸に関する各ストレス状態での傾向を特定し、特定した傾向を表すメンタル傾向情報を生成する。これにより、メンタル傾向推定部１６は、各ストレス状態に対応するメンタル状態を的確に表したメンタル傾向情報を生成することができる。

なお、第１生成例では、ストレス状態のレベルが２段階（高ストレス状態、低ストレス状態）であったが３段階以上（例えば、ストレス小、ストレス中、ストレス大の３段階）であってもよい。この場合、メンタル傾向推定部１６は、メンタル状態の軸ごとに、各ストレス状態のレベル毎の平均値の分散を算出し、分散が最も大きい軸に関するメンタル状態の傾向を表すメンタル傾向情報を生成する。これによっても、メンタル傾向推定部１６は、ストレス状態のレベルに応じたメンタル状態の傾向を的確に表したメンタル傾向情報を生成することができる。同様に、メンタル状態の軸は、２軸に限らず、３軸以上存在してもよい。

（４－２）第２生成例
図５は、第２生成例により生成されるメンタル傾向情報のデータ構造の一例を示す。第２生成例では、前提として、学習データセットとして、高ストレス状態か低ストレス状態かの２段階のレベルを示すストレス状態と、分類されたメンタル状態との組が学習データセット記憶部４１に記憶されているものとする。また、図５に示す「メンタル状態Ａ」～「メンタル状態Ｇ」は、メンタル状態の分類を表すものとする。

この場合、メンタル傾向推定部１６は、ストレス状態のレベル毎に夫々紐付いたメンタル状態の分類を集計（即ち度数分布を生成）し、ストレス状態のレベル毎のメンタル状態の各分類の頻度を算出する。そして、メンタル傾向推定部１６は、各対象者について、ストレス状態のレベル毎にメンタル状態の各分類の頻度を表したメンタル傾向情報を生成する。図５の例では、学習データセットの集計に基づき、対象者ＩＤ「Ｘ１」について、高ストレス状態ではメンタル状態Ａが６０％、メンタル状態Ｃが２０％、メンタル状態Ｇが２０％を夫々占めている。一方、低ストレス状態では、メンタル状態Ｂが７０％、メンタル状態Ｅが３０％を夫々占めている。これらのパーセンテージは、対応するメンタル状態の分類に対する確信度（信頼度）とみなすことができる。

このように、第２生成例では、メンタル傾向推定部１６は、ストレス状態毎に当てはまるメンタル状態とその確信度との組を記録したメンタル傾向情報を好適に生成することができる。また、メンタル傾向情報を用いたメンタル状態を推定する場合には、メンタル状態推定部１７は、当てはまる可能性があるメンタル状態とその確信度との組を推定し、出力制御部１８は、その推定結果を好適にユーザに提示することができる。

なお、メンタル傾向推定部１６は、図５に代えて、図４（Ｃ）と同様に、ストレス状態のレベル毎に１個のメンタル状態の分類を表すメンタル傾向情報を生成してもよい。この場合、メンタル傾向推定部１６は、ストレス状態のレベル毎に最も該当するメンタル状態の分類をその確信度と紐付けたメンタル傾向情報を生成する。また、ストレス状態のレベルが２段階（高ストレス状態、低ストレス状態）より多い場合においても、第２生成例は好適に適用される。

（４－３）第３生成例
図６（Ａ）は、第３生成例における学習データセットの生成に関する概要図を示す。図６（Ｂ）は、第３生成例において生成されたメンタル傾向情報のデータ構造の一例を示す。第３生成例では、対象者に好影響を与える「良いストレス」と対象者に悪影響を与える「悪いストレス」とが存在することを前提に、メンタル傾向推定部１６は、ストレスの良し悪しに応じたメンタル傾向を表すメンタル傾向情報を生成する。

図６（Ａ）に示すように、学習データセットの生成時には、メンタル状態判定部１４は、メンタル状態の判定結果（ここでは、最も当てはまるメンタル状態の分類とする）に加えて、判定したメンタル状態の良し悪しを表す判定フラグを生成する。そして、メンタル状態判定部１４が生成するメンタル状態の判定結果及び判定フラグとストレス状態判定部１５が生成するストレス状態の判定結果とが紐付けられて学習データセット記憶部４１に記憶される。この場合、メンタル状態判定部１４は、例えば、メンタル状態の分類ごとにメンタル状態の良し悪しを表した判定テーブルを参照することで、判定したメンタル状態の分類から判定フラグを生成する。なお、上述の判定テーブルは、例えば記憶装置４又はメモリ１２に予め記憶されている。

そして、メンタル傾向推定部１６は、図６（Ａ）に示すように生成された学習データセットを用いてメンタル傾向情報を生成する。この場合、メンタル傾向推定部１６は、判定フラグに基づき各ストレス状態をさらに分類し、分類したストレス状態毎に最も当てはまるメンタル状態を推定する。図６（Ｂ）では、ストレス状態が２段階（高ストレス状態と低ストレス状態）にレベル分けされており、メンタル傾向推定部１６は、これらのストレス状態の各レベルに対してさらに判定フラグが示す良／悪に分けてメンタル状態の頻度集計を行う。これにより、メンタル傾向推定部１６は、ストレスのレベル及び良／悪の組み合わせ毎に最も当てはまるメンタル状態を決定している。例えば、対象者ＩＤ「Ｘ１」の対象者が高ストレス状態であって判定フラグが「良」の場合には、「メンタル状態Ｇ」が最も当てはまるメンタル状態の分類となり、同対象者が低ストレス状態であって判定フラグが「悪」の場合には、「メンタル状態Ａ」が最も当てはまるメンタル状態の分類となる。

このように、第３生成例では、メンタル傾向推定部１６は、良いストレスと悪いストレスとの夫々に対応するメンタル状態の傾向を表すメンタル傾向情報を好適に生成することができる。そして、このようなメンタル傾向情報を用いることで、メンタル状態推定部１７は、良いストレスの場合と悪いストレスの場合とに夫々対応するメンタル状態を推定し、出力制御部１８は、その推定結果を好適にユーザに提示することができる。

なお、メンタル傾向推定部１６は、第２生成例と同様に、各ストレス状態の良し悪しに基づく分類毎に複数個のメンタル状態の分類が夫々の確信度と共に紐付けられたメンタル傾向情報を生成してもよい。また、ストレス状態のレベルが３段階以上である場合においても、第３生成例は好適に適用される。

（４－４）第４生成例
第４生成例では、メンタル傾向推定部１６は、ストレス状態が入力された場合に対応するメンタル状態を出力するメンタル推定モデルを学習することで得られたパラメータを、メンタル傾向情報として生成する。

この場合、メンタル傾向推定部１６は、学習データセットのストレス状態を入力データ、学習データセットのメンタル状態を正解データとして深層学習やサポートベクターマシーンなどの任意の機械学習又は統計モデルに基づくメンタル推定モデルの学習を行う。この場合、メンタル推定モデルに入力されるストレス状態は、高ストレス状態、低ストレス状態などのストレスのレベルであってもよく、実数値となるストレス推定値であってもよい。そして、メンタル傾向推定部１６は、学習データセットに基づき、対象者毎にメンタル推定モデルの学習を行い、対象者毎に適用するメンタル推定モデルの学習後のパラメータを、メンタル傾向情報として記憶する。

また、第４生成例に基づき生成されたメンタル傾向情報を用いたメンタル状態を推定する場合、メンタル状態推定部１７は、対象者のメンタル傾向情報に基づきメンタル推定モデルを構成し、ストレス状態判定部１５が判定したストレス状態をメンタル推定モデルに入力する。そして、メンタル状態推定部１７は、メンタル推定モデルから出力されるメンタル状態を、対象者のメンタル状態の推定結果として出力制御部１８に供給し、出力制御部１８は、当該推定結果を出力する。この場合、メンタル推定モデルが深層学習に基づくモデルである場合には、メンタル推定モデルの候補と共に対応する確信度の情報が得られることから、出力制御部１８は、第２生成例と同様に、複数のメンタル状態の候補を確信度と共に提示することも可能である。

このように、第４生成例によっても、メンタル傾向推定部１６は、ストレス状態に応じたメンタル状態を推定するためのメンタル傾向情報を好適に生成することができる。

（５）処理フロー
次に、第１実施形態において情報処理装置１が実行する処理フローについて説明する。

（５－１）メンタル傾向情報の生成
図７は、メンタル傾向情報の生成に関する情報処理装置１の処理手順を示すフローチャートの一例である。情報処理装置１は、図７のフローチャートの処理を、対象者毎に実行する。

まず、情報処理装置１は、メンタル状態及びストレス状態の判定を行う（ステップＳ１１）。この場合、メンタル状態判定部１４は、入力信号Ｓ１が表すアンケート回答に基づき対象者のメンタル状態の判定を行い、ストレス状態判定部１５は、センサ信号Ｓ３が表す生体データに基づき対象者のストレス状態の判定を行う。

そして、情報処理装置１は、ステップＳ１１で判定したメンタル状態とストレス状態との組を、学習データセットとして学習データセット記憶部４１に記憶する（ステップＳ１２）。この場合、情報処理装置１は、対象者のログイン情報又は任意の人物認識処理（例えば、カメラ画像等を用いた生体認証）により取得した対象者の識別情報を上述の学習データセットに紐付けて、学習データセット記憶部４１に記憶する。

そして、情報処理装置１は、メンタル傾向情報の生成タイミングであるか否か判定する（ステップＳ１３）。情報処理装置１は、例えば、対象者について所定組数以上のメンタル状態とストレス状態の組が学習データセット記憶部４１に蓄積された場合に、メンタル傾向情報の生成タイミングであると判定する。なお、ストレス状態が複数に分類（レベル分け）されている場合には、情報処理装置１は、全ての分類について所定組数以上のメンタル状態とストレス状態の組が学習データセット記憶部４１に蓄積された場合に、メンタル傾向情報の生成タイミングであると判定してもよい。他の例では、情報処理装置１は、メンタル傾向情報の生成指示に関する入力信号Ｓ１を取得した場合、メンタル傾向情報の生成タイミングであると判定する。

そして、情報処理装置１は、メンタル傾向情報の生成タイミングではないと判定した場合（ステップＳ１３；Ｎｏ）、ステップＳ１１へ処理を戻し、引き続き学習データセットの生成及び蓄積を行う。

一方、メンタル傾向情報の生成タイミングである場合（ステップＳ１３；Ｙｅｓ）、情報処理装置１のメンタル傾向推定部１６は、学習データセット記憶部４１に記憶された対象者の学習データセットに基づき、対象者のメンタル傾向の推定を行う（ステップＳ１４）。これにより、メンタル傾向推定部１６は、ストレス状態に応じたメンタル傾向に関するメンタル傾向情報を生成し、生成したメンタル傾向情報を対象者の識別情報と紐付けてメンタル傾向情報記憶部４２に記憶する。

（５－２）メンタル状態の推定
図８は、メンタル状態の推定に関する情報処理装置１の処理手順を示すフローチャートの一例である。情報処理装置１は、図８のフローチャートの処理を、メンタル状態の推定の要求がある場合に実行する。

まず、情報処理装置１は、対象者のストレス状態の判定を行う（ステップＳ２１）。この場合、情報処理装置１のストレス状態判定部１５は、センサ信号Ｓ３が表す生体データに基づき対象者のストレス状態の判定を行う。

次に、情報処理装置１のメンタル状態推定部１７は、対象者に紐付けられたメンタル傾向情報をメンタル傾向情報記憶部４２から取得する（ステップＳ２２）。この場合、メンタル状態推定部１７は、例えば、対象者のログイン情報又は任意の人物認識処理（例えば、カメラ画像等を用いた生体認証）により対象者の識別情報を取得し、当該識別情報と紐付いたメンタル傾向情報をメンタル傾向情報記憶部４２から抽出する。

そして、メンタル状態推定部１７は、ステップＳ２１で判定したストレス状態と、ステップＳ２２で取得したメンタル傾向情報とに基づき、対象者のメンタル状態を推定する（ステップＳ２３）。この場合、メンタル傾向情報がテーブル情報の場合には、メンタル状態推定部１７は、対象のストレス状態と当該テーブル情報において対応付けられたメンタル状態を、対象者のメンタル状態として推定する。また、メンタル傾向情報がメンタル推定モデルのパラメータである場合には、当該パラメータに基づきメンタル推定モデルを構成し、当該メンタル推定モデルに対象のストレス状態を入力することでメンタル推定モデルから出力されるメンタル状態を、対象者のメンタル状態として推定する。

そして、出力制御部１８は、メンタル状態推定部１７によるメンタル状態の推定結果に関する出力を行う（ステップＳ２４）。この場合、出力制御部１８は、メンタル状態の推定結果を表す表示又は音声出力を出力装置３が行うように、出力装置３に対して出力信号Ｓ２を供給する。これにより、情報処理装置１は、対象者又はその管理者に対して、対象者のメンタル状態に関する情報を好適に提示することができる。

（６）変形例
次に、第１実施形態に好適な変形例について説明する。以下の変形例は、組み合わせて適用してもよい。

（第１変形例）
メンタル状態判定部１４は、入力信号Ｓ１が表すアンケート回答に基づきメンタル状態を判定する代わりに、対象者を撮影した画像に基づいて、対象者のメンタル状態を推定してもよい。

この場合、例えば、メンタル状態判定部１４は、対象者を撮影するカメラからインターフェース１３を介して画像を取得し、取得した画像から対象者の表情等を解析することで、メンタル状態の一例である対象者の感情を認識する。この場合、例えば、メンタル状態判定部１４は、画像が入力された場合に画像内の人物の表情を推論するモデルを用いて、上述の認識を行う。この場合、記憶装置４又はメモリ１２には、深層学習等に基づき予め学習された上記モデルのパラメータが記憶されている。

同様に、メンタル状態判定部１４は、対象者の音声データに基づいて、対象者のメンタル状態を推定してもよい。この場合、メンタル状態判定部１４は、例えば、音声データに基づき対象者の発話のトーン、又は発話した単語等に基づき、対象者のメンタル状態の推定を行う。この場合、記憶装置４又はメモリ１２には、音声データの解析に必要な情報が予め記憶されている。

また、ストレス状態の判定においても同様に、ストレス状態判定部１５は、対象者を撮影した画像又は対象者の音声データに基づいて、任意のストレス状態判定手法を用いて、対象者のストレス状態を判定してもよい。

（第２変形例）
ストレス状態は、慢性ストレスと急性ストレスとに分けられてもよい。

この場合、例えば、ストレス状態判定部１５は、急性ストレスを、センサ５により取得された最新のセンサ信号Ｓ３に基づき判定し、慢性ストレスを、センサ５により直近の所定期間において複数回取得されたセンサ信号Ｓ３に基づき判定する。なお、ストレス状態判定部１５は、慢性ストレスを判定するため、過去所定期間において取得されたセンサ信号Ｓ３を、対象者の識別情報と関連付けて記憶装置４又はメモリ１２に記憶する。

そして、情報処理装置１は、「（４）メンタル傾向情報の生成」のセクションで説明した第１生成例～第４生成例に基づき、急性ストレスと慢性ストレスとを両方を考慮してメンタル状態の傾向を推定する。この場合、情報処理装置１は、例えば第１生成例を実行する場合、急性ストレスのレベル及び慢性ストレスのレベルの全ての組み合わせ（レベルが２段階の場合には４個の組み合わせ）の各々について、最も当てはまるメンタル状態を対応付けたメンタル傾向情報を生成する。また、第４生成例の場合、情報処理装置１は、急性ストレスと慢性ストレスとを入力した場合にメンタル状態を出力するメンタル推定モデルの学習を行い、当該メンタル推定モデルの学習後のパラメータをメンタル傾向情報として生成する。

本変形例においても、情報処理装置１は、急性ストレスと慢性ストレスとに対するメンタル傾向を表すメンタル傾向情報を好適に生成することができる。

（第３変形例）
メンタル状態推定部１７及び出力制御部１８に相当する機能を、情報処理装置１以外の装置（他装置）が有してもよい。この場合、他装置は、記憶装置４とデータ通信を行うことでメンタル傾向情報記憶部４２を参照し、かつ、ストレス状態判定部１５と同様に、センサ等で取得された対象者の生体データに基づいて、ストレス状態の判定を行う。そして、他装置は、メンタル傾向情報記憶部４２に記憶されたメンタル傾向情報と、判定したストレス状態とに基づいて、対象者のメンタル状態を推定する。

同様に、メンタル状態判定部１４及びストレス状態判定部１５に相当する機能を、情報処理装置１以外の装置が有してもよい。この場合、情報処理装置１のメンタル傾向推定部１６は、メンタル状態判定部１４及びストレス状態判定部１５に相当する機能を有する装置が生成した学習データセットを記憶する学習データセット記憶部４１を参照することで、メンタル傾向情報の生成処理を行う。

＜第２実施形態＞
図９は、第２実施形態におけるメンタル状態推定システム１００Ａの概略構成を示す。第２実施形態に係るメンタル状態推定システム１００Ａは、サーバクライアントモデルのシステムであり、サーバ装置として機能する情報処理装置１Ａが第１実施形態における情報処理装置１の処理を行う。以後では、第１実施形態と同一構成要素については、適宜同一符号を付し、その説明を省略する。

図９に示すように、メンタル状態推定システム１００Ａは、主に、サーバとして機能する情報処理装置１Ａと、第１実施形態と同様のデータを記憶する記憶装置４と、クライアントとして機能する端末装置８とを有する。情報処理装置１Ａと端末装置８とは、ネットワーク７を介してデータ通信を行う。

端末装置８は、入力機能、表示機能、及び通信機能を有する端末であり、図１に示される入力装置２及び出力装置３として機能する。端末装置８は、例えば、パーソナルコンピュータ、タブレット型端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などであってもよい。端末装置８は、図示しないセンサが出力する生体信号又はユーザ入力に基づく入力信号などを、情報処理装置１Ａに送信する。

情報処理装置１Ａは、例えば図１～図３等に示す情報処理装置１と同一構成を有する。そして、情報処理装置１Ａは、図１に示す情報処理装置１が入力装置２及びセンサ５から取得する情報などを、ネットワーク７を介して端末装置８から受信し、受信した情報に基づいてメンタル傾向情報の生成又は当該メンタル傾向情報を用いたメンタル状態の推定を行う。また、情報処理装置１Ａは、端末装置８からの要求に基づき、センサ５により生体データが検出された対象者のメンタル状態の推定結果に関する情報を示す出力信号を、ネットワーク７を介して端末装置８へ送信する。これにより、情報処理装置１Ａは、メンタル状態の推定結果に関する情報を端末装置８のユーザに好適に提示する。

＜第３実施形態＞
図１０は、第３実施形態における情報処理装置１Ｘのブロック図である。情報処理装置１Ｘは、主に、取得手段１６ＸＡと、メンタル傾向推定手段１６ＸＢとを有する。なお、情報処理装置１Ｘは、複数の装置により構成されてもよい。

取得手段１６ＸＡは、対象者のストレス状態と、対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得する。メンタル傾向推定手段１６ＸＢは、取得手段１６ＸＡが取得した複数組に基づき、対象者のメンタル状態の傾向を推定する。この場合、対象者のメンタル状態の傾向として、対象者のストレス状態に応じたメンタル状態の傾向が推定される。なお、この傾向は、ストレス状態とメンタル状態とを対応付けたテーブルとして表されてもよく、メンタル状態を推定するモデル（及び当該モデルを生成するためのパラメータ）として表されてもよい。取得手段１６ＸＡ及びメンタル傾向推定手段１６ＸＢは、第１実施形態（変形例を含む、以下同じ）又は第２実施形態におけるメンタル傾向推定部１６とすることができる。

図１１は、第３実施形態において情報処理装置１Ｘが実行するフローチャートの一例である。まず、取得手段１６ＸＡは、対象者のストレス状態と、対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得する（ステップＳ３１）。メンタル傾向推定手段１６ＸＢは、取得手段１６ＸＡが取得した複数組に基づき、対象者のメンタル状態の傾向を推定する（ステップＳ３２）。

第３実施形態に係る情報処理装置１Ｘは、対象者のメンタル状態の傾向を好適に推定することができる。

なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

［付記１］
対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得する取得手段と、
前記複数組に基づき、前記対象者のメンタル状態の傾向を推定するメンタル傾向推定手段と、
を備える情報処理装置。
［付記２］
前記ストレス状態は、複数のレベルに分類されており、
前記メンタル傾向推定手段は、前記ストレス状態のレベルごとの前記傾向を表すメンタル傾向情報を生成する、付記１に記載の情報処理装置。
［付記３］
前記メンタル傾向推定手段は、前記ストレス状態のレベルごとに、当てはまるメンタル状態と当該メンタル状態の確信度とを表す前記メンタル傾向情報を生成する、付記２に記載の情報処理装置。
［付記４］
前記メンタル状態は、複数の軸により表された指標値であり、
前記メンタル傾向推定手段は、前記複数の軸の各軸について前記ストレス状態のレベルごとの代表値を算出し、当該代表値のばらつきが最も多い軸に関する前記傾向を表す前記メンタル傾向情報を生成する、付記２に記載の情報処理装置。
［付記５］
前記メンタル傾向推定手段は、前記複数組に基づき、前記ストレス状態が入力された場合に対応するメンタル状態を出力する推論モデルの学習を行い、当該学習により得られた前記推論モデルに関する情報を、前記傾向を表すメンタル傾向情報として生成する、付記１に記載の情報処理装置。
［付記６］
前記メンタル傾向推定手段は、前記対象者に好影響を与えるストレス状態である場合の前記傾向と、前記対象者に悪影響を及ぼすストレス状態である場合の前記傾向とを推定する、付記１～５のいずれか一項に記載の情報処理装置。
［付記７］
前記複数組の各々には、前記好影響か前記悪影響かを判定する判定フラグが紐付かれている、付記６に記載の情報処理装置。
［付記８］
前記取得手段は、前記ストレス状態として、前記対象者の慢性ストレス及び急性ストレスを取得する、付記１～７のいずれか一項に記載の情報処理装置。
［付記９］
前記傾向と、当該傾向の推定後に取得した前記対象者のストレス状態とに基づき、前記対象者のメンタル状態を推定するメンタル状態推定手段と、
前記メンタル状態推定手段による推定結果に関する情報を出力する出力制御手段と、
をさらに有する、付記１～８のいずれか一項に記載の情報処理装置。
［付記１０］
コンピュータが、
対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得し、
前記複数組に基づき、前記対象者のメンタル状態の傾向を推定する、
制御方法。
［付記１１］
対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得し、
前記複数組に基づき、前記対象者のメンタル状態の傾向を推定する処理をコンピュータに実行させるプログラムが格納された記憶媒体。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

１、１Ａ、１Ｘ 情報処理装置
２ 入力装置
３ 出力装置
４ 記憶装置
５ センサ
８ 端末装置
１００、１００Ａ メンタル状態推定システム

Claims (8)

1. 対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得する取得手段と、
   前記複数組に基づき、前記対象者のメンタル状態の傾向を推定するメンタル傾向推定手段と、
   を備え、
   前記ストレス状態は、複数のレベルに分類されており、
   前記メンタル傾向推定手段は、前記ストレス状態のレベルごとに、当てはまるメンタル状態と当該メンタル状態の確信度とを前記傾向として表すメンタル傾向情報を生成する、情報処理装置。
2. 前記メンタル傾向推定手段は、前記複数組に基づき、前記ストレス状態が入力された場合に対応するメンタル状態を出力する推論モデルの学習を行い、当該学習により得られた前記推論モデルに関する情報を、前記傾向を表すメンタル傾向情報として生成する、請求項１に記載の情報処理装置。
3. 前記メンタル傾向推定手段は、前記対象者に好影響を与えるストレス状態である場合の前記傾向と、前記対象者に悪影響を及ぼすストレス状態である場合の前記傾向とを推定する、請求項１または２に記載の情報処理装置。
4. 前記複数組の各々には、前記好影響か前記悪影響かを判定する判定フラグが紐付かれている、請求項３に記載の情報処理装置。
5. 前記取得手段は、前記ストレス状態として、前記対象者の慢性ストレス及び急性ストレスを取得する、請求項１～４のいずれか一項に記載の情報処理装置。
6. 前記傾向と、当該傾向の推定後に取得した前記対象者のストレス状態とに基づき、前記対象者のメンタル状態を推定するメンタル状態推定手段と、
   前記メンタル状態推定手段による推定結果に関する情報を出力する出力制御手段と、
   をさらに有する、請求項１～５のいずれか一項に記載の情報処理装置。
7. コンピュータが、
   対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得し、
   前記複数組に基づき、前記対象者のメンタル状態の傾向を推定し、
   前記ストレス状態は、複数のレベルに分類されており、
   前記ストレス状態のレベルごとに、当てはまるメンタル状態と当該メンタル状態の確信度とを前記傾向として表すメンタル傾向情報を生成する、
   制御方法。
8. 対象者のストレス状態と、前記対象者が当該ストレス状態であるときのメンタル状態との組を複数組取得し、
   前記複数組に基づき、前記対象者のメンタル状態の傾向を推定し、
   前記ストレス状態は、複数のレベルに分類されており、
   前記ストレス状態のレベルごとに、当てはまるメンタル状態と当該メンタル状態の確信度とを前記傾向として表すメンタル傾向情報を生成する処理をコンピュータに実行させるプログラム。

Images