JP5528850B2 - 携帯端末装置、ストレス推定システム、動作方法、ストレス推定プログラム - Google Patents

Description

本発明は、人体のストレス状態を求めることができる携帯端末装置、ストレス推定システム、動作方法、ストレス推定プログラムに関するものである。

各種センサを用いて人体の情報を取得し、その人体のストレス状態等を判断する装置が開示されている（例えば、特許文献１、特許文献２）。これらの装置では、人体の状態を判断するときには、各種センサからの情報が欠かせないものとなっている。

特開２００５−３１５８０２号公報 特開２００９−２１３６３６号公報

しかし、従来の装置では、各種センサからの情報が欠かせないものであるため、利用可能な状況が限定されてしまうという問題があった。すなわち、例えば、脈拍センサを用いて人体のストレス状態を判断する場合には、必ず脈拍センサを人体に取り付ける必要があった。また、装置本体とともに脈拍センサも用意しなければならない上に、脈拍センサ等、人体に取り付ける必要があるセンサの場合には、その装着も行わなければならなかった。そのような動作は、利用者にとって煩雑な作業であり、利用するための障害となるおそれがあった。また、装置本体についても、例えば、自動車内に固定的に設置されている特許文献２のような形態では、利用可能な状況が限定されてしまう。さらに、特許文献１に例示されている、めがね形のような形態であっても、わざわざそのような特殊なめがねを利用することは現実的ではなかった。

本発明の課題は、ストレス状態の把握が可能な状況が限定されることなく、簡単にストレス状態の把握を行える携帯端末装置、ストレス推定システム、動作方法、ストレス推定プログラムを提供することである。

本発明は、上記の課題を解決するために、以下の事項を提案している。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。

（１）本発明は、少なくとも人体の発する音声又は顔画像を含む人体情報を検出する人体情報検出部（１０１，１０２）と、前記人体情報と人体のストレス状態との相関性に関する相関性情報を、特定の個人について記憶するデータベース部（１１９）を参照するデータベース参照部（１１３）と、前記データベース参照部が参照する前記相関性情報に基づいて、前記人体情報検出部による検出結果に応じた人体のストレス状態を推定するストレス状態推定部（１１２）と、人体のストレス状態を演算するために必要なデータを人体から取得するストレスセンサ（３０１）を接続可能なセンサインタフェース（１２１）と、前記センサインタフェースを介して前記ストレスセンサから得た情報に基づいて前記ストレスセンサを取り付けた人体のストレス状態を演算するストレス状態演算部（１１１）と、当該携帯端末装置の外部に設けられ少なくとも人体の発する音声又は顔画像を含む人体情報を検出する外部人体情報検出部を接続可能な外部人体情報検出部インタフェース（１２２，１２３）を介して得た前記人体情報、又は、前記人体情報検出部が検出した前記人体情報と、前記ストレス状態演算部が演算した前記ストレス状態とを用いて前記相関性情報を生成する相関性情報生成部（１１８）と、ストレス状態と人体情報との相関について学習する学習部（１１７）と、を備える携帯端末装置（１００）を提案している。

この発明によれば、人体情報検出部は、少なくとも人体の発する音声又は顔画像を含む人体情報を検出する。データベース参照部は、人体情報と人体のストレス状態との相関性に関する相関性情報を、特定の個人について記憶するデータベース部を参照する。ストレス状態推定部は、データベース参照部が参照する相関性情報に基づいて、人体情報検出部による検出結果に応じた人体のストレス状態を推定する。センサインタフェースは、人体のストレス状態を演算するために必要なデータを人体から取得するストレスセンサを接続可能である。ストレス状態演算部は、センサインタフェースを介してストレスセンサから得た情報に基づいてストレスセンサを取り付けた人体のストレス状態を演算する。外部人体情報検出部インタフェースは、携帯端末装置の外部に設けられ少なくとも人体の発する音声又は顔画像を含む人体情報を検出する外部人体情報検出部を接続可能である。相関性情報生成部は、外部人体情報検出部インタフェースを介して得た人体情報、又は、人体情報検出部が検出した人体情報と、とストレス状態演算部が演算したストレス状態とを用いて相関性情報を生成する。学習部は、ストレス状態と人体情報との相関について学習する。したがって、外部に接続されたデバイスから得た人体情報、又は、携帯端末装置が有するデバイスから得た人体情報と、人体のストレス状態との相関性に関する相関性情報を学習でき、データベース部に相関性情報が正しく格納されていれば、人体情報検出部が検出する人体情報のみにより、ストレス状態を推定できる。

（２）本発明は、（１）に記載の携帯端末装置において、前記ストレスセンサ（３０１）は、人体に取り付けられて脈拍と心拍とのうちの少なくともひとつを検出すること、を特徴とする携帯端末装置（１００）を提案している。

この発明によれば、ストレスセンサは、人体に取り付けられて脈拍と心拍とのうちの少なくともひとつを検出する。したがって、ストレス状態を精度よく演算できる。

（３）本発明は、（１）又は（２）に記載の携帯端末装置において、前記データベース部（１１９）を内蔵すること、を特徴とする携帯端末装置（１００）を提案している。

この発明によれば、データベース部を内蔵する。したがって、通信等を行うことなく、ストレス状態を推定できる。

（４）本発明は、（１）から（３）までのいずれか１項に記載の携帯端末装置において、前記データベース部（１１９）は、当該携帯端末装置の外部に設けられていること、を特徴とする携帯端末装置（１００）を提案している。

この発明によれば、データベース部は、当該携帯端末装置の外部に設けられている。したがって、通信を行ってデータベース部にアクセス可能であれば、ストレス状態を演算した携帯端末装置とは異なる携帯端末装置を用いてもストレス状態を推定できる。

（５）本発明は、（１）から（４）までのいずれか１項に記載の携帯端末装置において、ストレス状態に応じて、次に行う動作を選択する対応動作選択部（１１６）を備えること、を特徴とする携帯端末装置（１００）を提案している。

この発明によれば、ストレス状態に応じて、次に行う動作を選択する対応動作選択部を備える。したがって、例えば、ストレスが大きいときに、利用者のストレスを軽減するために有効なアドバイス等を行える。

（６）本発明は、（５）に記載の携帯端末装置において、音声を発するスピーカ（１０３）と、情報を表示する表示部（１０４）と、を備えており、前記対応動作選択部（１１６）は、利用者に対して前記表示部による情報の表示、及び／又は、前記スピーカによる音声の出力を行うこと、を特徴とする携帯端末装置（１００）を提案している。

この発明によれば、対応動作選択部は、利用者に対して表示部による情報の表示、及び／又は、スピーカによる音声の出力を行う。したがって、ストレスが大きいときに、利用者のストレスを軽減するために有効なアドバイス等を携帯端末装置のみで行える。

（７）本発明は、（５）に記載の携帯端末装置において、前記対応動作選択部（１１６）が選択した動作として、利用者に対して情報を表示する外部表示装置（３０４）、及び／又は、音声を出力する外部スピーカ（３０５）を接続可能な出力インタフェース（１２４，１２５）を備えること、を特徴とする携帯端末装置（１００）を提案している。

この発明によれば、出力インタフェースは、対応動作選択部が選択した動作として、利用者に対して情報を表示する外部表示装置、及び／又は、音声を出力する外部スピーカを接続可能である。したがって、ストレスが大きいときに、利用者のストレスを軽減するために有効なアドバイス等を外部に接続されたデバイスを用いて行える。

（８）本発明は、人体のストレス状態を演算するために必要なデータを人体から取得するストレスセンサ（３０１）と、前記ストレスセンサを接続可能なセンサインタフェース（１２１）を有する携帯端末装置（１００）とを備えたストレス推定システムであって、前記携帯端末装置は、少なくとも人体の発する音声又は顔画像を含む人体情報を検出する人体情報検出部（１０１，１０２）と、前記人体情報と人体のストレス状態との相関性に関する相関性情報を、特定の個人について記憶するデータベース部（１１９）を参照するデータベース参照部（１１３）と、前記データベース参照部が参照する前記相関性情報に基づいて、前記人体情報検出部による検出結果に応じた人体のストレス状態を推定するストレス状態推定部（１１２）と、前記センサインタフェースを介して前記ストレスセンサから得た情報に基づいて前記ストレスセンサを取り付けた人体のストレス状態を演算するストレス状態演算部（１１１）と、当該携帯端末装置の外部に設けられ少なくとも人体の発する音声又は顔画像を含む人体情報を検出する外部人体情報検出部（３０２，３０３）を接続可能な外部人体情報検出部インタフェース（１２２，１２３）と、前記外部人体情報検出部インタフェースを介して得た前記人体情報、又は、前記人体情報検出部が検出した前記人体情報と、前記ストレス状態演算部が演算した前記ストレス状態とを用いて前記相関性情報を生成する相関性情報生成部（１１８）と、ストレス状態と人体情報との相関について学習する学習部と、を備えること、を特徴とするストレス推定システムを提案している。

この発明によれば、人体情報検出部は、少なくとも人体の発する音声又は顔画像を含む人体情報を検出する。データベース参照部は、人体情報と人体のストレス状態との相関性に関する相関性情報を、特定の個人について記憶するデータベース部を参照する。ストレス状態推定部は、データベース参照部が参照する相関性情報に基づいて、人体情報検出部による検出結果に応じた人体のストレス状態を推定する。ストレス状態演算部は、センサインタフェースを介してストレスセンサから得た情報に基づいてストレスセンサを取り付けた人体のストレス状態を演算する。外部人体情報検出部インタフェースは、当該携帯端末装置の外部に設けられ少なくとも人体の発する音声又は顔画像を含む人体情報を検出する外部人体情報検出部を接続可能である。相関性情報生成部は、外部人体情報検出部インタフェースを介して得た人体情報、又は、人体情報検出部が検出した人体情報と、ストレス状態演算部が演算したストレス状態とを用いて相関性情報を生成する。学習部は、ストレス状態と人体情報との相関について学習する。したがって、データベース部に相関性情報が正しく格納されていれば、人体情報検出部が検出する人体情報のみにより、ストレス状態を推定できる。

（９）本発明は、人体のストレス状態を演算するために必要なデータを人体から取得するストレスセンサ（３０１）と、外部に設けられ少なくとも人体の発する音声又は顔画像を含む人体情報を検出する外部人体情報検出部（３０２，３０３）と、前記外部人体情報検出部を接続可能な外部人体情報検出部インタフェース（１２２，１２３）、及び、前記ストレスセンサを接続可能なセンサインタフェース（１２１）を有する携帯端末装置（１００）と、を用いる携帯端末装置の動作方法であって、ストレス状態演算部が、前記センサインタフェースを介して前記ストレスセンサから得た情報に基づいて前記ストレスセンサを取り付けた人体のストレス状態を演算するストレス状態演算ステップと、相関性情報生成部が、前記外部人体情報検出部インタフェースを介して得た前記人体情報、又は、人体情報検出部が検出した前記人体情報と、前記ストレス状態演算ステップで演算した前記ストレス状態とを用いて、前記人体情報と人体のストレス状態との相関性に関する相関性情報を生成する相関性情報生成ステップと、学習部が、ストレス状態と人体情報との相関について学習する学習ステップと、前記人体情報検出部が、少なくとも人体の発する音声又は顔画像を含む人体情報を検出する人体情報検出ステップと、データベース参照部が、前記相関性情報を、特定の個人について記憶するデータベース部を参照するデータベース参照ステップと、前記データベース参照部が参照する前記相関性情報に基づいて、前記人体情報検出ステップによる検出結果に応じた人体のストレス状態をストレス状態推定部が推定するストレス状態推定ステップと、を実行すること、を特徴とする携帯端末装置の動作方法を提案している。

この発明によれば、ストレス状態演算ステップでは、ストレス状態演算部が、センサインタフェースを介してストレスセンサから得た情報に基づいてストレスセンサを取り付けた人体のストレス状態を演算する。相関性情報生成ステップでは、相関性情報生成部が、外部人体情報検出部インタフェースを介して得た人体情報、又は、人体情報検出部が検出した人体情報と、ストレス状態演算ステップで演算したストレス状態とを用いて、人体情報と人体のストレス状態との相関性に関する相関性情報を生成する。学習ステップでは、学習部が、ストレス状態と人体情報との相関について学習する。人体情報検出ステップでは、人体情報検出部が、少なくとも人体の発する音声又は顔画像を含む人体情報を検出する。データベース参照ステップでは、データベース参照部が、相関性情報を、特定の個人について記憶するデータベース部を参照する。ストレス状態推定ステップでは、データベース参照部が参照する相関性情報に基づいて、人体情報検出ステップによる検出結果に応じた人体のストレス状態をストレス状態推定部が推定する。したがって、人体情報検出部が検出する人体情報のみにより、ストレス状態を推定できる。

（１０）本発明は、人体のストレス状態を演算するために必要なデータを人体から取得するストレスセンサ（３０１）と、外部に設けられ少なくとも人体の発する音声又は顔画像を含む人体情報を検出する外部人体情報検出部（３０２，３０３）と、前記外部人体情報検出部を接続可能な外部人体情報検出部インタフェース（１２２，１２３）、及び、前記ストレスセンサを接続可能なセンサインタフェース（１２１）を有する携帯端末装置（１００）と、を用いる携帯端末装置のストレス推定プログラムであって、コンピュータに、前記センサインタフェースを介して前記ストレスセンサから得た情報に基づいて前記ストレスセンサを取り付けた人体のストレス状態を演算するストレス状態演算ステップと、前記外部人体情報検出部インタフェースを介して得た前記人体情報、又は、人体情報検出部が検出した前記人体情報と、前記ストレス状態演算ステップで演算した前記ストレス状態とを用いて、前記人体情報と人体のストレス状態との相関性に関する相関性情報を生成する相関性情報生成ステップと、ストレス状態と人体情報との相関について学習する学習ステップと、少なくとも人体の発する音声又は顔画像を含む人体情報を検出する人体情報検出ステップと、前記相関性情報を、特定の個人について記憶するデータベース部を参照するデータベース参照ステップと、前記データベース参照ステップが参照する前記相関性情報に基づいて、前記人体情報検出ステップによる検出結果に応じた人体のストレス状態を推定するストレス状態推定ステップと、を実行させるための携帯端末装置のストレス推定プログラムを提案している。

この発明によれば、ストレス状態演算ステップは、前記センサインタフェースを介して前記ストレスセンサから得た情報に基づいて前記ストレスセンサを取り付けた人体のストレス状態を演算する。相関性情報生成ステップは、前記外部人体情報検出部インタフェースを介して得た前記人体情報、又は、人体情報検出部が検出した前記人体情報と、前記ストレス状態演算ステップで演算した前記ストレス状態とを用いて、前記人体情報と人体のストレス状態との相関性に関する相関性情報を生成する。学習ステップは、ストレス状態と人体情報との相関について学習する。人体情報検出ステップは、少なくとも人体の発する音声又は顔画像を含む人体情報を検出する。データベース参照ステップは、前記相関性情報を、特定の個人について記憶するデータベース部を参照する。ストレス状態推定ステップは、前記データベース参照ステップが参照する前記相関性情報に基づいて、前記人体情報検出ステップによる検出結果に応じた人体のストレス状態を推定する。したがって、人体情報検出部が検出する人体情報のみにより、ストレス状態を推定できる。

本発明によれば、ストレス状態の把握が可能な状況が限定されることなく、簡単にストレス状態の把握を行うことができる。

本発明による携帯端末装置を用いたストレス推定システムの第１実施形態を示す図である。 第１実施形態のストレス推定システムのブロック図である。 第１実施形態におけるストレス状態の演算及び推定動作を示すフローチャートである。 ストレスセンサ３０１から得たデータを基にしてストレス状態を演算する動作を示すフローチャートである。 ストレスセンサ３０１から得たデータからストレス状態を演算する過程における各種信号を示す図である。 本発明による携帯端末装置を用いたストレス推定システムの第２実施形態を示す図である。 第２実施形態のストレス推定システムのブロック図である。 本発明による携帯端末装置を用いたストレス推定システムの第３実施形態を示す図である。

以下、図面を用いて、本発明の実施形態について詳細に説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

（第１実施形態）
図１は、本発明による携帯端末装置を用いたストレス推定システムの第１実施形態を示す図である。
第１実施形態のストレス推定システムは、携帯端末装置１００と、ストレスセンサ３０１と、外部カメラ３０２と、外部マイク３０３と、外部表示装置３０４と、外部スピーカ３０５とを備えている。

携帯端末装置１００は、携帯電話サービスを利用可能な携帯電話端末である。携帯端末装置１００の詳細については、後述の図２を用いて説明する。

ストレスセンサ３０１は、利用者Ｕの耳たぶ等に取り付けられ、利用者Ｕの脈拍と心拍とのうちの少なくとも１つを検出可能である。このストレスセンサ３０１が検出した脈拍と心拍は、携帯端末装置１００内において行われる利用者Ｕのストレス状態の演算に必要なデータである。ストレスセンサ３０１は、携帯端末装置１００に対して有線接続されている。

外部カメラ３０２は、携帯端末装置１００の外部に別ユニットとして設けられた撮像装置である。外部カメラ３０２は、携帯端末装置１００に対して有線接続されている。
外部マイク３０３は、携帯端末装置１００の外部に別ユニットとして設けられたマイクである。外部マイク３０３は、携帯端末装置１００に対して有線接続されている。
外部カメラ３０２及び外部マイク３０３は、利用者Ｕの外見と、利用者Ｕの発する音声とを、人体情報として検出する人体情報検出部として機能する。

外部表示装置３０４は、携帯端末装置１００の外部に別ユニットとして設けられた表示装置である。外部表示装置３０４は、携帯端末装置１００に対して有線接続されている。外部表示装置３０４は、図１に示すような文字列の表示が可能な簡単な表示装置等であってもよいし、より大型で例えば画像データや動画像の表示も可能な表示装置であってもよい。
外部スピーカ３０５は、携帯端末装置１００の外部に別ユニットとして設けられたスピーカである。外部スピーカ３０５は、携帯端末装置１００に対して有線接続されている。

図２は、第１実施形態のストレス推定システムのブロック図である。
携帯端末装置１００は、カメラ１０１と、マイク１０２と、スピーカ１０３と、表示部１０４と、入力インタフェース（以下、インタフェースをＩＦと記す）と、ネットワークＩＦ１０６と、ソフトウェア１１０と、センサＩＦ１２１と、外部カメラＩＦ１２２と、外部マイクＩＦ１２３と、外部表示ＩＦ１２４と、外部スピーカＩＦ１２５とを備えている。

カメラ１０１は、携帯端末装置１００に内蔵されたカメラである。
マイク１０２は、携帯端末装置１００に内蔵されたマイクである。カメラ１０１及びマイク１０２は、人体情報を検出する人体情報検出部としての機能を有する。
スピーカ１０３は、携帯端末装置１００に内蔵されたスピーカである。
表示部１０４は、携帯端末装置１００に内蔵された液晶表示装置等のディスプレイ部である。

入力ＩＦ１０５は、携帯端末装置１００に内蔵されたキー操作部等の入力用のインタフェースである。
ネットワークＩＦ１０６は、無線又は有線により外部のネットワークに接続するインタフェースである。

ソフトウェア１１０は、携帯端末装置１００において動作するアプリケーションソフトウェアであり、携帯端末装置１００内のＣＰＵ及びメモリ上において実行される。ソフトウェア１１０は、ストレス状態演算部１１１と、画像解析部１１４と、音声解析部１１５と、対応動作選択部１１６と、学習部１１７とを備えている。

ストレス状態演算部１１１は、センサＩＦ１２１を介してストレスセンサ３０１から得た情報に基づいてストレスセンサ３０１を取り付けた人のストレス状態を演算する。脈拍と心拍とのうちのいずれを用いても、人体のストレス状態を求めることが可能であることが知られている。本実施形態では、これらの情報を用いて、利用者Ｕのストレス状態を演算する。

また、ストレス状態演算部１１１は、ストレス状態推定部１１２と、データベース参照部１１３とを備えている。
ストレス状態推定部１１２は、ストレスセンサ３０１からの情報を取得できない場合に、ストレス状態を推定して求める。具体的には、後述する学習部１１７が作成するデータベース１１９に蓄積されている相関性情報を利用して、カメラ１０１とマイク１０２とのいずれかにより得られた人体情報に応じた利用者Ｕのストレス状態を推定する。ここで、人体情報とは、人体の発する音声又は人体の外見を含む情報である。また、相関性情報とは、ストレス状態と人体情報との相関性に関する情報である。

データベース参照部１１３は、ストレス状態推定部１１２がストレス状態の推定を行うときに必要な相関性情報をデータベース１１９を参照して取得する。
画像解析部１１４は、外部カメラ３０２、又は、カメラ１０１から得られる利用者Ｕの顔画像を解析し、ストレス状態に関連性の高い特徴を抽出する。ここで、解析に用いる顔画像としては、静止画像であってもよいし、静止画像の連続画像であってもよいし、動画像であってもよい。顔画像から抽出可能なストレス状態に関連性の高い特徴としては、例えば、表情、顔色、肌色の階調、しわの数、目の大きさ、目つき、顔の動き、眼球の動き、瞬きの状態等である。

音声解析部１１５は、外部マイク３０３、又は、マイク１０２から得られる利用者Ｕの音声を解析し、ストレス状態に関連性の高い特徴を抽出する。音声から抽出可能なストレス状態に関連性の高い特徴としては、例えば、声の大小、声の高低、話す速度等である。

対応動作選択部１１６は、ストレス状態演算部１１１が演算又は推定したストレス状態に応じて次に行う動作を選択する。ストレス状態に応じて次に行う動作としては、例えば、外部表示装置３０４や表示部１０４に、「今日はお疲れですね。休養してください。」等のメッセージを表示したり、外部スピーカ３０５やスピーカ１０３から、上記表示したものと同様な音声を発したり、ストレス状態を和らげる効果の高い音楽等を発したりするとよい。また、ストレス状態に応じて、企業広告を配信したりしてもよい。

学習部１１７は、人体情報とストレス状態との相関性を学習する。学習部１１７は、相関性情報生成部１１８と、データベース１１９とを備えている。
相関性情報生成部１１８は、ストレス状態演算部１１１がストレスセンサ３０１から得た情報に基づいてストレス状態を演算したときに、同時に外部カメラ３０２や外部マイク３０３から得た人体情報とストレス状態との相関性を求め、相関性情報として生成する。
データベース１１９は、相関性情報生成部１１８が生成した相関性情報を格納する。なお、本実施形態では、データベース１１９は、携帯端末装置１００内に設けられているが、ネットワークＩＦを介して通信可能な外部のサーバ等にデータベース１１９を設けてもよい。

センサＩＦ１２１は、ストレスセンサ３０１を接続するインタフェースである。
外部カメラＩＦ１２２は、外部カメラ３０２を接続するインタフェースである。
外部マイクＩＦ１２３は、外部マイク３０３を接続するインタフェースである。
外部表示ＩＦ１２４は、外部表示装置３０４を接続するインタフェースである。
外部スピーカＩＦ１２５は、外部スピーカ３０５を接続するインタフェースである。

図３は、第１実施形態におけるストレス状態の演算及び推定動作を示すフローチャートである。
ステップ（以下、Ｓと記す）１０１では、ストレスの演算や推定を行うためのアプリケーションプログラムを起動し、メモリ割当や音声デバイス等の初期化、実行メニュー選択等の前処理を行う。また、必要な外部機器の接続を促す処理を行う。

Ｓ１０２では、携帯端末装置１００に接続されているデバイスを判定する。ストレスセンサ３０１が接続されている場合には、Ｓ１０３へ進み、ストレスセンサ３０１が接続されていない場合には、Ｓ１０７へ進む。
ストレスセンサ３０１が接続されている場合とは、図１に示すように、例えば、毎朝、鏡に向かってストレス状態の計測と学習を行う状況が想定され、Ｓ１０３からＳ１０６の動作は、そのような状況における動作を示している。

一方、ストレスセンサ３０１が接続されていない場合とは、ストレスセンサ３０１、外部カメラ３０２、外部マイク３０３等が接続されておらず、携帯端末装置１００を外出先等に持ち出して利用している状況が想定される。本実施形態では、外出先等において、わざわざストレスセンサ３０１を体に取り付けることなく、携帯端末装置１００に設けられているカメラ１０１やマイク１０２から得られるデータから、ストレス状態を推定することができる（Ｓ１０７からＳ１１０の動作）。

Ｓ１０３では、ストレスセンサ３０１からデータを取得すると同時に、外部カメラ３０２又はカメラ１０１から顔画像データの取得と、外部マイク３０３又はマイク１０２から音声データの取得を行う。

Ｓ１０４では、ストレスセンサ３０１から取得したデータに基づいて、利用者Ｕのストレス状態を演算する。また、顔画像データと音声データとをそれぞれ解析して、それぞれについてストレス状態に関連性の高い特徴を抽出する。

Ｓ１０５では、ストレス状態の演算に必要なデータが得られたか否かを判断して、データ取得を終了するか否かを判断する。終了する場合には、Ｓ１０６へ進み、終了しない場合には、Ｓ１０３へ戻る。

Ｓ１０６では、後処理として、学習部１１７がデータベース１１９への学習を行い、また、対応動作選択部１１６が、ストレス状態に応じて次に行う動作を選択し、実行する。また、メモリ解放、デバイスハンドルの解放等も行う。

Ｓ１０７では、カメラ１０１から顔画像データを取得し、また、マイク１０２から音声データを取得する。なお、このＳ１０７において、外部カメラ３０２や外部マイク３０３を利用してデータを取得することも可能である。ただし、ストレスセンサ３０１が接続されていない状況では、外部カメラ３０２や外部マイク３０３も接続されていない状況が通常である。

Ｓ１０８では、顔画像データと音声データとをそれぞれ解析して、それぞれについてストレス状態に関連性の高い特徴を抽出する。そして、データベース１１９を参照して、抽出した特徴から、利用者Ｕのストレス状態を推定する。

Ｓ１０９では、利用者Ｕのストレス状態を推定することができたか否かにより、データ取得を終了するか否かを判断する。終了する場合には、Ｓ１１０へ進み、終了しない場合には、Ｓ１０７へ戻る。

Ｓ１１０では、後処理として、対応動作選択部１１６が、ストレス状態に応じて次に行う動作を選択し、実行する。また、メモリ解放、デバイスハンドルの解放等も行う。

図４は、ストレスセンサ３０１から得たデータを基にしてストレス状態を演算する動作を示すフローチャートである。
図５は、ストレスセンサ３０１から得たデータからストレス状態を演算する過程における各種信号を示す図である。
なお、図４では、ストレスセンサ３０１が脈拍をデータとして検出し、音声データとして携帯端末装置１００に入力する場合を例として説明する。

Ｓ２０１では、ストレスセンサ３０１が、赤外線センサによって耳たぶ部分の脈拍を取得する。
Ｓ２０２では、１ｋＨｚ音をセンサ信号電圧でＡＭ変調する。

Ｓ２０３では、ＡＭ変調した信号を携帯端末装置１００のイヤホン・マイク端子を介して入力する。なお、この例では、センサＩＦ１２１としてイヤホン・マイク端子を用いている。

Ｓ２０４では、センサＩＦ１２１が内蔵するＡ／Ｄ変換機能により、ＡＭ変調したアナログ信号に対して音声処理を実施して、脈拍波形をデジタル化する。Ｓ２０４によりデジタル化された脈拍波形の一例を図５（ａ）に示す。

Ｓ２０５では、携帯端末装置１００のソフトウェア１１０により波形処理を実施する。ここで、行う波形処理としては、微分を例として挙げることができる。図５（ａ）に示した波形に微分処理をした場合の波形の例を図５（ｂ）に示す。

Ｓ２０６では、携帯端末装置１００のソフトウェア１１０により脈拍間隔の揺らぎをプロットする。図５（ｂ）に示した波形に脈拍間隔の揺らぎをプロットした例を図５（ｃ）に示す。

Ｓ２０７では、ＦＦＴ（高速フーリエ変換）を実施し、周波数成分を解析して、ＨＦ（高周波数成分）、又は、ＬＦ（低い周波数成分）を求め、ＨＦ／ＬＦを算出する。ＨＦ／ＬＦが大きいほど、ストレスの少ない状態である。

以上説明したように、第１実施形態によれば、ストレスセンサ３０１を使用するときに同時に顔画像データや音声データ等の人体情報を取得し、ストレス状態と人体情報との相関について学習する。そして、ストレスセンサ３０１を使用しない場合には、人体情報のみからストレス状態を推定する。よって、いつでもどこでも、携帯端末装置１００のみを利用して、ストレス状態を把握することが可能となる。

（第２実施形態）
図６は、本発明による携帯端末装置を用いたストレス推定システムの第２実施形態を示す図である。
図７は、第２実施形態のストレス推定システムのブロック図である。
第２実施形態は、ストレスセンサ３０１と携帯端末装置１００のみを用い、第１実施形態における外部カメラ３０２と、外部マイク３０３と、外部表示装置３０４と、外部スピーカ３０５とは用いない他は、第１実施形態と同様である。よって、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。

図７に示すように、第２実施形態の携帯端末装置１００には、外部マイクＩＦ１２３と、外部表示ＩＦ１２４と、外部スピーカＩＦ１２５とは必要がない。ただし、第１実施形態と同様に、これらのインタフェースを備えていてもよい。

第２実施形態では、第１実施形態において外部カメラ３０２と、外部マイク３０３と、外部表示装置３０４と、外部スピーカ３０５とを用いて行っていた動作を、それぞれ、カメラ１０１と、マイク１０２と、表示部１０４と、スピーカ１０３だけを用いるようにする。例えば、学習部１１７が学習を行うときに顔画像データを取得するためにカメラ１０１を用い、音声データを取得するためにマイク１０２を用いる。

外部カメラ３０２と、外部マイク３０３と、外部表示装置３０４と、外部スピーカ３０５とは、いずれも携帯端末装置１００に内蔵されているカメラ１０１と、マイク１０２と、表示部１０４と、スピーカ１０３と同様な機能を発揮するものである。本実施形態では、これらを携帯端末装置１００に内蔵されているデバイスを用いることにより、より簡略なシステムとして実現している。

以上説明したように、第２実施形態によれば、外部カメラ３０２と、外部マイク３０３と、外部表示装置３０４と、外部スピーカ３０５とを省略したことにより、より簡略なシステムとすることができる。

（第３実施形態）
図８は、本発明による携帯端末装置を用いたストレス推定システムの第３実施形態を示す図である。
第３実施形態では、第１実施形態における外部カメラ３０２と、外部マイク３０３と、外部表示装置３０４と、外部スピーカ３０５と、鏡Ｍとを１つのストレス計測ユニット４００としてまとめた形態であり、基本的には、第１実施形態と同様な形態である。よって、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。

第３実施形態のストレスセンサ３０１は、携帯端末装置１００に直接データを入力することも可能であるが、図８に示すように、ストレス計測ユニット４００に接続することも可能である。そして、ストレス計測ユニット４００は、ストレスセンサ３０１と、外部カメラ３０２と、外部マイク３０３と、外部表示装置３０４と、外部スピーカ３０５とを、１つの接続ケーブルＣにより携帯端末装置１００に対して接続する。

以上説明したように、第３実施形態では、ストレス計測ユニット４００に、ストレス計測に必要なデバイスをまとめたので、配線等が複雑にならずに、より簡単にストレス計測を行える。

なお、携帯端末装置の処理をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを携帯端末装置に読み込ませ、実行することによって本発明の携帯端末装置、ストレス推定方法を実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。

また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

（変形形態）
（１）各実施形態において、携帯端末装置１００は、携帯電話端末である例を挙げて説明したが、これに限らず、例えば、通話機能を持たない装置であってもよい。

（２）各実施形態において、人体情報として、心電や血圧や脳波や体温等の他のバイタル情報を利用してもよい。

（３）各実施形態において、ストレス状態の演算及び推定を行うときに、人体情報として、顔画像データと音声データとを用いる例を挙げて説明した。これに限らず、例えば、顔画像データのみを用いてもよいし、音声データのみを用いてもよい。また、人体の外見としての人体の動作を用いてもよい。

（４）各実施形態において、ストレスセンサ３０１と、外部カメラ３０２と、外部マイク３０３と、外部表示装置３０４と、外部スピーカ３０５等の外部デバイスを携帯端末装置１００に対して有線接続する例を挙げて説明した。しかし、これに限らず、例えば、近距離無線通信等の無線通信を利用してもよい。

なお、第１実施形態〜第３実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。

１００ 携帯端末装置
１０１ カメラ
１０２ マイク
１０３ スピーカ
１０４ 表示部
１０５ 入力ＩＦ
１０６ ネットワークＩＦ
１１０ ソフトウェア
１１１ ストレス状態演算部
１１２ ストレス状態推定部
１１３ データベース参照部
１１４ 画像解析部
１１５ 音声解析部
１１６ 対応動作選択部
１１７ 学習部
１１８ 相関性情報生成部
１１９ データベース
１２１ センサＩＦ
１２２ 外部カメラＩＦ
１２３ 外部マイクＩＦ
１２４ 外部表示ＩＦ
１２５ 外部スピーカＩＦ
３０１ ストレスセンサ
３０２ 外部カメラ
３０３ 外部マイク
３０４ 外部表示装置
３０５ 外部スピーカ
４００ ストレス計測ユニット
Ｍ 鏡
Ｕ 利用者

Claims (10)

1. 少なくとも人体の発する音声又は顔画像を含む人体情報を検出する人体情報検出部と、
   前記人体情報と人体のストレス状態との相関性に関する相関性情報を、特定の個人について記憶するデータベース部を参照するデータベース参照部と、
   前記データベース参照部が参照する前記相関性情報に基づいて、前記人体情報検出部による検出結果に応じた人体のストレス状態を推定するストレス状態推定部と、
   人体のストレス状態を演算するために必要なデータを人体から取得するストレスセンサを接続可能なセンサインタフェースと、
   前記センサインタフェースを介して前記ストレスセンサから得た情報に基づいて前記ストレスセンサを取り付けた人体のストレス状態を演算するストレス状態演算部と、
   当該携帯端末装置の外部に設けられ少なくとも人体の発する音声又は顔画像を含む人体情報を検出する外部人体情報検出部を接続可能な外部人体情報検出部インタフェースを介して得た前記人体情報、又は、前記人体情報検出部が検出した前記人体情報と、前記ストレス状態演算部が演算した前記ストレス状態とを用いて前記相関性情報を生成する相関性情報生成部と、
   ストレス状態と人体情報との相関について学習する学習部と、
   を備える携帯端末装置。
2. 請求項１に記載の携帯端末装置において、
   前記ストレスセンサは、人体に取り付けられて脈拍と心拍とのうちの少なくともひとつを検出すること、
   を特徴とする携帯端末装置。
3. 請求項１又は請求項２に記載の携帯端末装置において、
   前記データベース部を内蔵すること、
   を特徴とする携帯端末装置。
4. 請求項１から請求項３までのいずれか１項に記載の携帯端末装置において、
   前記データベース部は、当該携帯端末装置の外部に設けられていること、
   を特徴とする携帯端末装置。
5. 請求項１から請求項４までのいずれか１項に記載の携帯端末装置において、
   ストレス状態に応じて、次に行う動作を選択する対応動作選択部を備えること、
   を特徴とする携帯端末装置。
6. 請求項５に記載の携帯端末装置において、
   音声を発するスピーカと、
   情報を表示する表示部と、
   を備えており、
   前記対応動作選択部は、利用者に対して前記表示部による情報の表示、及び／又は、前記スピーカによる音声の出力を行うこと、
   を特徴とする携帯端末装置。
7. 請求項５に記載の携帯端末装置において、
   前記対応動作選択部が選択した動作として、利用者に対して情報を表示する外部表示装置、及び／又は、音声を出力する外部スピーカを接続可能な出力インタフェースを備えること、
   を特徴とする携帯端末装置。
8. 人体のストレス状態を演算するために必要なデータを人体から取得するストレスセンサと、前記ストレスセンサを接続可能なセンサインタフェースを有する携帯端末装置とを備えたストレス推定システムであって、
   前記携帯端末装置は、
   少なくとも人体の発する音声又は顔画像を含む人体情報を検出する人体情報検出部と、
   前記人体情報と人体のストレス状態との相関性に関する相関性情報を、特定の個人について記憶するデータベース部を参照するデータベース参照部と、
   前記データベース参照部が参照する前記相関性情報に基づいて、前記人体情報検出部による検出結果に応じた人体のストレス状態を推定するストレス状態推定部と、
   前記センサインタフェースを介して前記ストレスセンサから得た情報に基づいて前記ストレスセンサを取り付けた人体のストレス状態を演算するストレス状態演算部と、
   当該携帯端末装置の外部に設けられ少なくとも人体の発する音声又は顔画像を含む人体情報を検出する外部人体情報検出部を接続可能な外部人体情報検出部インタフェースと、
   前記外部人体情報検出部インタフェースを介して得た前記人体情報、又は、前記人体情報検出部が検出した前記人体情報と、前記ストレス状態演算部が演算した前記ストレス状態とを用いて前記相関性情報を生成する相関性情報生成部と、
   ストレス状態と人体情報との相関について学習する学習部と、
   を備えること、
   を特徴とするストレス推定システム。
9. 人体のストレス状態を演算するために必要なデータを人体から取得するストレスセンサと、
   外部に設けられ少なくとも人体の発する音声又は顔画像を含む人体情報を検出する外部人体情報検出部と、
   前記外部人体情報検出部を接続可能な外部人体情報検出部インタフェース、及び、前記ストレスセンサを接続可能なセンサインタフェースを有する携帯端末装置と、
   を用いる携帯端末装置の動作方法であって、
   ストレス状態演算部が、前記センサインタフェースを介して前記ストレスセンサから得た情報に基づいて前記ストレスセンサを取り付けた人体のストレス状態を演算するストレス状態演算ステップと、
   相関性情報生成部が、前記外部人体情報検出部インタフェースを介して得た前記人体情報、又は、人体情報検出部が検出した前記人体情報と、前記ストレス状態演算ステップで演算した前記ストレス状態とを用いて、前記人体情報と人体のストレス状態との相関性に関する相関性情報を生成する相関性情報生成ステップと、
   学習部が、ストレス状態と人体情報との相関について学習する学習ステップと、
   前記人体情報検出部が、少なくとも人体の発する音声又は顔画像を含む人体情報を検出する人体情報検出ステップと、
   データベース参照部が、前記相関性情報を、特定の個人について記憶するデータベース部を参照するデータベース参照ステップと、
   前記データベース参照部が参照する前記相関性情報に基づいて、前記人体情報検出ステップによる検出結果に応じた人体のストレス状態をストレス状態推定部が推定するストレス状態推定ステップと、
   を実行すること、
   を特徴とする携帯端末装置の動作方法。
10. 人体のストレス状態を演算するために必要なデータを人体から取得するストレスセンサと、
    外部に設けられ少なくとも人体の発する音声又は顔画像を含む人体情報を検出する外部人体情報検出部と、
    前記外部人体情報検出部を接続可能な外部人体情報検出部インタフェース、及び、前記ストレスセンサを接続可能なセンサインタフェースを有する携帯端末装置と、
    を用いる携帯端末装置のストレス推定プログラムであって、
    コンピュータに、前記センサインタフェースを介して前記ストレスセンサから得た情報に基づいて前記ストレスセンサを取り付けた人体のストレス状態を演算するストレス状態演算ステップと、
    前記外部人体情報検出部インタフェースを介して得た前記人体情報、又は、人体情報検出部が検出した前記人体情報と、前記ストレス状態演算ステップで演算した前記ストレス状態とを用いて、前記人体情報と人体のストレス状態との相関性に関する相関性情報を生成する相関性情報生成ステップと、
    ストレス状態と人体情報との相関について学習する学習ステップと、
    少なくとも人体の発する音声又は顔画像を含む人体情報を検出する人体情報検出ステップと、
    前記相関性情報を、特定の個人について記憶するデータベース部を参照するデータベース参照ステップと、
    前記データベース参照ステップが参照する前記相関性情報に基づいて、前記人体情報検出ステップによる検出結果に応じた人体のストレス状態を推定するストレス状態推定ステップと、
    を実行させるための携帯端末装置のストレス推定プログラム。

Images