JP6781979B2 - 心理状態評価用プログラム及び心理状態評価装置 - Google Patents

Description

本発明は、被検体の心理状態を評価するための心理状態評価用プログラムと、この心理状態評価用プログラムが記録されたメモリを備えた心理状態評価装置とに関する。

近年、幅広い分野において、生体の心理状態を正確に評価することのニーズが高まっている。このため、客観的なデータに基づいた心理状態評価方法として、体温等の生体情報を利用することが注目されている。なかでも、鼻部の皮膚温度は、被検体の心理状態（例えば、ストレス状態等）と高い相関を持つことが知られており、この性質を利用した装置も提案されている。例えば、特許文献１には、サーモカメラによって撮影された被験者の赤外顔画像を用いて鼻部皮膚温と額部皮膚温とを測定し、これらの差ΔＴに基づいてストレス度Ｓを算出するストレス測定装置が提案されている。

また、特許文献２には、被験者の顔部位の位置を自動的かつ機械的に特定し、そこで特定された顔部位の温度を測定することにより、被験者の心理状態レベルを算出するようにした心理状態計測装置が提案されている。同文献の段落００９２〜００９８等には、温度を測定する顔部位として、鼻や額が挙げられており、鼻と額との温度差を用いて心理状態レベルを数値化することが記載されている。

特開平９−２８６７８号公報 特開２００７−６８６２０号公報

しかし、特許文献１には、サーモカメラによって撮影された被験者の赤外顔画像から、どのようにして鼻や額等の顔部位の位置を特定するかについては記載されていない。このため、同文献に記載のストレス測定装置では、温度データを抽出する顔部位（鼻や額等）の位置を、赤外顔画像から手作業で選択するものと推測されるが、この場合には、作業者の癖等によって位置選択の仕方に偏りが生じる虞があり、客観的な温度データを得ることができないという問題があった。また、作業に時間がかかってしまうという問題もあった。

これに対し、特許文献１に記載の心理状態計測装置は、鼻等の顔部位の位置を自動的かつ機械的に特定するものであるため、鼻等の体温情報を客観的なデータとして取得することができる。しかし、同文献の心理状態計測装置は、同文献の段落００８８〜００９０に記載されているように、被験者の顔の可視画像（顔画像データ）と温度画像（サーモグラフデータ）とに基づいて顔部位の位置を特定するものであったため、装置の処理負荷が大きくなるという問題があった。加えて、被験者の顔画像データを扱ううえでは、顔画像データが外部に流出しないようにする等、プライバシー保護のための措置を講ずる必要がある。このため、装置の設置箇所や用途等が制限されるほか、装置をネットワークに接続する場合にはセキュリティー対策のための手間や費用を要するという問題もあった。また、被験者によっては、顔画像データを撮影されること自体を不快に感じる虞もあった。

ところで、特許文献２の図５（ｂ）等には、サーモグラフデータのみを用いても顔部位の位置を特定することができる旨が記載されている。同文献には、サーモグラフデータのみを用いてどのように顔部位の位置を特定するのかについては、具体的に記載されていない。しかし、同文献の段落００８９，００９０等の記載から類推するに、サーモグラフデータから顔の輪郭等を特定し、その顔（顔の輪郭等）に対する相対的な位置やサイズの情報をもとに鼻等の顔部位の位置を特定するものと思われる。ここで、「顔に対する相対的な位置やサイズの情報」については、具体的には記載されていないが、例えば、予備計測等によって予め求められた、顔に対する鼻等の平均的な位置やサイズの情報等であると推測される。

しかし、上記のような方法では、被験者の鼻等の顔部位の位置が平均的でない場合には、鼻等の顔部位の位置を正確に特定することができず、測定したい箇所からずれた場所の温度を測定してしまうという問題があった。また、仮に被験者の鼻等の顔部位の位置が平均的な範囲に納まっていたとしても、サーモグラフデータの撮影時に、被験者の顔に前髪等がかかっている場合や、被験者が着帽している場合には、サーモグラフデータ上で顔の一部が欠けてしまい、やはり鼻等の位置を正確に特定することができなくなるという問題もあった。

本発明は、前記課題を解決するために為されたものであり、被検体の顔画像データを用いることなく、温度を取得すべき鼻の位置を高精度かつ自動的に特定することができ、被検体の心理状態を精度良く評価することができる心理状態評価用プログラムを提供するものである。また、この心理状態評価用プログラムが記録されたメモリを備えた心理状態評価装置を提供することも本発明の目的である。

上記課題は、
被検体の心理状態を評価するための心理状態評価用プログラムであって、
コンピューターに、
被検体の顔面の熱分布画像（サーモグラフ等）を取得する熱分布画像取得手順と、
熱分布画像取得手順で取得された熱分布画像から鼻の左端部及び右端部の位置を推定する鼻端部推定手順と、
鼻端部推定手順で推定された鼻の左端部と右端部との間に位置する箇所を鼻の頂部と推定する鼻頂部推定手順と、
鼻頂部推定手順で推定された鼻の頂部の温度Ｔ_１を、前記熱分布画像から取得する鼻頂部温度取得手順と、
鼻頂部温度取得手順で取得した温度Ｔ_１に基づいて被検体の心理状態を評価する心理状態評価手順と、
心理状態評価手順での評価結果を出力する評価結果出力手順と
を実行させる
ことを特徴とする心理状態評価用プログラム
を提供することによって解決される。

これにより、被検体の顔画像データを用いることなく、温度を取得すべき鼻の位置を高精度かつ自動的に特定することができ、被検体の心理状態を精度良く評価することができる。すなわち、本発明の心理状態評価用プログラムは、顔に対する平均的な位置やサイズに基づいて鼻の位置を推定するのではなく、熱分布画像が有する情報に基づいて鼻の左端部及び右端部の位置を推定し、これを基に鼻の頂部の位置を推定するものであるため、被検体の鼻の位置が平均的でない場合にも、正確に鼻の頂部の位置を推定することができる。これにより、鼻の頂部の温度Ｔ_１を取得する画像範囲を小さく絞ることができ、ノイズ成分を減らして高い精度で心理状態評価を行うことができる。鼻の左端部及び右端部は、心理状態に関わらず熱分布画像において暗点（低温点）として現れるため、熱分布画像のみからその位置を推定することが可能である。加えて、本発明の心理状態評価用プログラムにおいては、鼻の中でも特に頂部の温度Ｔ_１を心理状態評価の指標としているため、心理状態評価の精度をさらに向上させることができる。というのも、鼻の頂部は、鼻全体の中でも、被検体の心理状態が変化した際に最も大きな温度変化を示す部分であるということが、出願人の研究によって明らかになっているからである。

また、本発明の心理状態評価用プログラムは、被験者の顔画像データを必要とせず、サーモグラフデータ等の熱分布画像に基づいて鼻の頂部の位置を推定し、心理状態評価を行うものであるため、被検体のプライバシー保護の観点からも優れている。というのも、熱分布画像は顔画像データとは異なり、それだけで個人を特定することができる性質のものではないからである。なお、本発明の心理状態評価用プログラムは、通常、人間を被検体とする心理状態評価に用いられるが、他の恒温動物を被検体とする心理状態評価に用いることもできる。

本発明の心理状態評価用プログラムにおいては、心理状態評価手順において、鼻頂部温度取得手順で取得した温度Ｔ_１を、平静状態の被検体から予め取得しておいた鼻の頂部の基準温度と比較することで、被検体の心理状態を評価するようにすることもできる。しかし、この場合には、同一の被検体の熱分布画像を、時間を空けて少なくとも２回撮影する必要があるため、撮影作業に時間を要するとともに、その間に気温や湿度等の外部環境が変化した場合には、その変化が心理状態評価の精度に悪影響を及ぼす虞がある。このため、本発明の心理状態評価用プログラムにおいては、コンピューターに、熱分布画像取得手順で取得された熱分布画像における顔の特定部位（鼻の頂部を除く。）の温度Ｔ_２を取得する特定部位温度取得手順をさらに実行させ、心理状態評価手順において、温度Ｔ_１と温度Ｔ_２とを比較することにより被検体の心理状態を評価するようにすると好ましい。これにより、熱分布画像の撮影を１回行うだけで心理状態評価を行うことが可能になるとともに、外部環境の変化が心理状態評価の精度に及ぼす悪影響を小さくすることもできる。

温度Ｔ_２を取得するための前記特定部位は、被検体の顔面における鼻の頂部以外の部分であって、その温度が被検体の心理状態と低い相関を有する部位であれば、その箇所を特に限定されないが、顎とすると好ましい。これにより、より高い精度で心理状態評価を行うことが可能になる。というのも、顎は、熱分布画像においてその位置を容易に検出することができるからである。また、顎は、鼻と温度を比較するための部位として従来採用されることが多かった額とは異なり、髪や帽子で覆われることが少ない。このため、特定部位を顎とすることにより、熱分布画像を撮影するに際して、髪型を直したり帽子を脱いだりといった、ストレスの要因になり、ひいては心理状態の評価結果に影響を及ぼし得る作業を被検体に特に要求しなくとも、特定部位の温度Ｔ_２を取得可能な熱分布画像を撮影することができる。

本発明の心理状態評価用プログラムにおいて、心理状態評価手順で評価される心理状態は、鼻の頂部の温度Ｔ_１と一定の相関関係を持つものであれば、どのようなものでもよい。本発明の心理状態評価用プログラムは、例えば、緊張状態、興奮状態、不安状態、快／不快状態等の評価を行うことができる。なかでも、ストレス状態は、鼻の頂部の温度Ｔ_１と高い相関を示すことが分かっている。このため、心理状態評価手順において評価される心理状態としては、ストレス状態が特に好適である。

本発明の心理状態評価用プログラムは、これが記録されたメモリを備えた心理状態評価装置を用いて実行させることができる。心理状態評価装置は、用途に応じてその大きさや種類を自由に決定することができる。例えば、商品開発やマーケティング等のために多数の被検体のデータを収集する場合には、比較的大きなデータ容量を備えた据置型の装置とすると好ましい。一方、屋外で心理状態調査を行う場合や、末端需要者が健康管理の一環として自己のストレスチェックを行う場合等には、本発明の心理状態評価用プログラムが記録されたメモリを備えた携帯型端末を用いると好ましい。これにより、使用場所を問わずに精度の高い心理状態評価を行うことができる。

以上のように、本発明によって、被検体の顔画像データを用いることなく、温度を取得すべき鼻の位置を高精度かつ自動的に特定することができ、被検体の心理状態を精度良く評価することができる心理状態評価用プログラムを提供することが可能になる。また、この心理状態評価用プログラムが記録されたメモリを備えた心理状態評価装置を提供することも可能になる。

本発明の心理状態評価装置の構成例を示したブロック図である。 本発明の心理状態評価用プログラムのフローチャートである。 被検体の顔面の熱分布画像の一例を示した図である。 図２における鼻端部推定手順のフローチャートである。 図３（ａ）の熱分布画像を用いた、鼻頂部等の位置の推定例を説明する図である。

以下、本発明の好適な実施形態について詳しく説明する。以下においては、本発明の心理状態評価用プログラム及び心理状態評価装置を、被検体のストレス状態を評価するために用いる場合について述べる。しかし、本発明の心理状態評価用プログラムは、ストレス状態の評価だけでなく、鼻の頂部の温度と相関を示すあらゆる心理状態の評価に用いることができる。

１．心理状態評価装置
図１は、本発明の心理状態評価装置１００の構成例を示したブロック図である。本実施態様の心理状態評価装置１００は、図１に示すように、コンピューター１１０と、サーモカメラ１２０と、表示装置１３０とを備えたものとなっている。コンピューター１１０は、プロセッサ１１１とメモリ１１２とを備えており、メモリ１１２には、本実施態様の心理状態評価用プログラムが記憶されている。本実施態様の心理状態評価装置１００は、コンピューター１１０に心理状態評価用プログラムを実行させることにより、図３に示すような被検体の顔面の熱分布画像２００から被検体のストレス状態を評価することができるものとなっている。被検体の顔面の熱分布画像２００は、コンピューター１１０に接続されたサーモカメラ１２０を用いて撮影される。撮影された熱分布画像２００やストレス状態の評価結果は、表示装置１３０に表示される。メモリ１１２としては、ハードディスクやＲＡＭ等の各種の記憶装置が例示される。サーモカメラ１２０は、心理状態評価装置１００に内蔵のものとしても、心理状態評価装置１００に対して接続可能な外部装置としてもよい。

本発明の心理状態評価装置１００は、据置型としてもよいが、携帯型の端末とすると好ましい。これにより、場所を問わずに精度の高い心理状態評価を行うことができる。この場合には、当該携帯型端末を、心理状態評価専用の端末としてもよいし、他の機能（例えば通話機能等）も併せ持つもの（例えば携帯電話やスマートフォン等）としてもよい。

２． 心理状態評価用プログラム
図２は、本発明の心理状態評価用プログラムのフローチャートである。本実施態様の心理状態評価用プログラムは、図２に示すように、熱分布画像取得手順Ｓ１と、鼻端部推定手順Ｓ２と、鼻頂部推定手順Ｓ３と、鼻頂部温度取得手順Ｓ４と、特定部位温度取得手順Ｓ５と、心理状態評価手順Ｓ６と、評価結果出力手順Ｓ７とで構成されている。以下、本発明の心理状態評価用プログラムがコンピューター１１０に実行させる各手順について、詳しく説明する。

２．１ 熱分布画像取得手順
熱分布画像取得手順Ｓ１は、被検体の顔面の熱分布画像２００（サーモグラフ等）を取得するための手順である。図３は、被検体の顔面の熱分布画像２００の一例を示した図である。図３（ａ）はストレス度が低い状態で撮影されたものであり、図３（ｂ）はストレス度が高い状態で撮影されたものである。熱分布画像取得手順Ｓ１では、被検体の顔面の熱分布画像２００をコンピューター１１０のメモリ１１２に取り込んで、後に続く鼻端部推定手順Ｓ２以降の処理を行うことができるようにする。熱分布画像２００は、予め撮影されたものをコンピューター１１０に取り込むようにすることもできるが、本実施態様においては、コンピューター１１０に接続されたサーモカメラ１２０を用いて撮影され、コンピューター１１０に自動的に取り込まれるようになっている。このとき、以降の手順におけるコンピューター１１０の処理負担を軽減する必要がある場合等には、取り込んだ熱分布画像２００の解像度を自動的に変更して、熱分布画像２００のデータサイズを小さくする手順をさらに備えてもよい。

２．２ 鼻端部推定手順
鼻端部推定手順Ｓ２は、熱分布画像取得手順Ｓ１で取得された熱分布画像２００が有する情報に基づいて、鼻の左右端部の位置を自動的に推定するための手順である。図４は、図２における鼻端部推定手順Ｓ２のフローチャートである。図５は、図３（ａ）の熱分布画像２００を用いた、鼻頂部３３０等の位置の推定例を説明する図である。本実施態様における鼻端部推定手順Ｓ２は、図４に示すように、顔領域推定手順Ｓ２．１と、顔中央画像抽出手順Ｓ２．２と、エッジ検出手順Ｓ２．３と、鼻端点決定手順Ｓ２．４とを備えたものとなっている。以下、これらの手順について順に説明する。

２．２．１ 顔領域推定手順
顔領域推定手順Ｓ２．１は、熱分布画像２００（図５を参照。）における顔領域３００（被検体の顔面のうち、肌が露出した部分）の位置を推定するための手順である。本実施態様においては、熱分布画像２００における、所定温度（例えば、３０°Ｃ）よりも高くなっている部分を顔領域３００と推定している。この結果、図５に示すように、熱分布画像２００における背景や髪を除いた領域が顔領域３００として推定される。このとき、被検体が着帽していることや、髪が被検体の顔にかかっていること等によって、推定された顔領域３００の周辺部が実際の顔に比べて多少欠けていたとしても、問題なく以降の手順を行うことができる。

２．２．２ 顔中央画像抽出手順
顔中央画像抽出手順Ｓ２．２は、熱分布画像２００のうち、顔領域推定手順Ｓ２．１で推定された顔領域３００の中央部を含む範囲を、顔中央画像２１０として自動的に抽出するための手順である。具体的には、顔領域３００の位置及び大きさに対して予め相対的に定められた範囲を抽出する顔中央抽出用フィルタを用意しておき、これを、図５に示すように、顔領域推定手順Ｓ２．１を経た後の熱分布画像２００に適用することにより、顔中央画像２１０を抽出する。これにより、以降の手順で処理するデータ量を少なくして、コンピューター１１０の処理負担を軽減することができる。また、後述する鼻端点決定手順Ｓ２．４において、鼻左端部３１０及び鼻右端部３２０の位置を誤って推定することを防ぐこともできる。抽出された顔中央画像２１０は、熱分布画像取得手順Ｓ１で取り込んだ熱分布画像２００とは別のデータとしてコンピューター１１０のメモリ１１２に記憶するようにしてもよいが、この場合には、メモリ１１２に記憶すべきデータ量が大きくなってしまう。このため、本実施態様においては、顔中央抽出用フィルタを画像マスクとして熱分布画像２００に適応することで、顔中央画像２１０以外の部分では以降の処理を行わないようにしている。

顔中央画像２１０として抽出される部分の大きさや形状（顔中央抽出用フィルタの大きさや形状）は、少なくとも鼻左端部３１０、鼻右端部３２０及び鼻頂部３３０を含むものであれば、特に限定されない。ただし、後述する特定部位温度取得手順Ｓ５を備える場合には、特定部位温度取得手順Ｓ５において温度を取得する特定部位も顔中央画像２１０に含まれるようにすると好ましい。顔中央画像２１０として抽出される部分の形状は、楕円形状や多角形状とすることもできるが、矩形状とすると、以降の画像処理をシンプルなものとすることができる。本実施態様において、顔中央画像２１０の形状は、図５に示すように、鼻部及び顎部を含む矩形状としている。なお、熱分布画像２００のデータサイズが十分小さい場合や、熱分布画像２００が顔の中央部だけを写したものである場合等には、顔中央画像抽出手順Ｓ２．２を設けなくてもよい。

２．２．３ エッジ検出手順
エッジ検出手順Ｓ２．３は、顔中央画像抽出手順Ｓ２．２で抽出された顔中央画像２１０におけるエッジを検出するための手順である。ここで「エッジ」とは、所定値以上の温度差を有する領域同士が隣接する箇所における境界部分のことを言う。このエッジを検出することにより、顔中央画像２１０に含まれる各顔部位の輪郭や位置を推定することができる。既に述べたとおり、鼻左端部３１０及び鼻右端部３２０は、被検体のストレスの有無に関わらず、周囲（特に、隣接する頬部）よりも低い温度を示す（図３（ａ）及び図３（ｂ）を参照。）。このため、鼻左端部３１０と左頬部との境界と推定される鼻左端エッジＥ_１、及び、鼻右端部３２０と右頬部との境界と推定される鼻右端エッジＥ_２（図５を参照。）も、エッジとして検出される。

エッジを検出する方法としては、一次微分フィルタや二次微分フィルタ（いわゆるラプラシアンフィルタ等）を用いる方法等、一般的な画像処理において用いられている方法を用いることができる。熱分布画像２００を二値化処理してからエッジを検出するようにしてもよい。

２．２．４ 鼻端点決定手順
鼻端点決定手順Ｓ２．４は、エッジ検出手順Ｓ２．３で検出されたエッジを用いて、鼻左端エッジＥ_１上の鼻左端点Ｐ_１と、鼻右端エッジＥ_２上の鼻右端点Ｐ_２とを自動的に決定するための手順である。鼻端点決定手順Ｓ２．４においては、まず、エッジ検出手順Ｓ２．３で検出されたエッジのうち、鼻左端エッジＥ_１及び鼻右端エッジＥ_２を抽出する。具体的には、顔領域３００の中央付近において所定の距離を空けて向かい合う一対のエッジを検出し、そのうち左側に位置するものを鼻左端エッジＥ_１と推定し、右側に位置するものを鼻右端エッジＥ_２と推定する。次に、図５に示すように、鼻左端エッジＥ_１上に位置する点のうち、最も左にあるものを鼻左端点Ｐ_１と決定し、鼻右端エッジＥ_２上に位置する点のうち、最も右にあるものを鼻右端点Ｐ_２と決定する。決定された鼻左端点Ｐ_１を鼻左端部３１０の左端点であると推定し、鼻右端点Ｐ_２を鼻右端部３２０の右端点であると推定する。以上で、本実施態様における鼻端部推定手順Ｓ２が完了する。

鼻端部推定手順Ｓ２において、鼻左端部３１０及び鼻右端部３２０の位置を推定する方法は、上述した方法に限定されず、熱分布画像２００が有する情報から自動的に鼻左端部３１０及び鼻右端部３２０の位置を推定できるのであれば、どのような方法であってもよい。例えば、まず顔の中心部の熱分布パターンが、図３（ａ）のように、所定の距離を隔てて左右に並んだ一対の暗領域（低温領域）Ｄ_Ａを有するパターンＡと、図３（ｂ）のように、左右方向に所定の幅を有する一塊の暗領域（低温領域）Ｄ_Ｂを有するパターンＢとのどちらに近いかを判別して、パターンＡに近い場合には、一対の暗領域Ｄ_Ａのうち左側にあるものを鼻左端部３１０、右側にあるものを鼻右端部３２０と推定し、パターンＢに近い場合には、一塊の暗領域Ｄ_Ｂの両端部を鼻左端部３１０及び鼻右端部３２０と推定するようにしてもよい。しかし、本実施態様のように、熱分布画像２００のエッジを検出することにより鼻左端部３１０及び鼻右端部３２０の位置を推定するようにすると、場合分けを行う必要がないため、鼻端部推定手順Ｓ２をシンプルなものとすることができる。

２．３ 鼻頂部推定手順
鼻頂部推定手順Ｓ３は、鼻端部推定手順Ｓ２で推定された鼻左端部３１０及び鼻右端部３２０の位置に基づいて、鼻頂部３３０の位置を自動的に推定するための手順である。本実施態様において、鼻頂部３３０の位置は、鼻左端点Ｐ_１及び鼻右端点Ｐ_２に対する鼻頂部３３０の平均的な位置関係から推定している。具体的には、鼻左端点Ｐ_１及び鼻右端点Ｐ_２の位置に対して、所定の相対位置にある所定の相対領域を、鼻頂部３３０として抽出する鼻頂部抽出用フィルタを用意しておき、これを、鼻端部推定手順Ｓ２を経た顔中央画像２１０に適用することで、鼻頂部３３０の位置を推定する。鼻頂部抽出用フィルタは、一定数以上の被検体を用いた予備実験等により予め求めた、鼻左端点Ｐ_１及び鼻右端点Ｐ_２に対する鼻頂部３３０の平均的な位置とサイズから作製する。本実施例においては、図５に示すように、鼻左端点Ｐ_１及び鼻右端点Ｐ_２の間に位置する略円形状の領域を鼻頂部３３０として推定している。鼻頂部抽出用フィルタによって鼻頂部３３０と推定される領域の形状は、特に限定されない。鼻頂部抽出用フィルタは、被検体の生物種や人種、年齢や性別等に合わせて複数用意することもできる。

鼻頂部推定手順Ｓ３における鼻頂部３３０の推定方法は、鼻端部推定手順Ｓ２で推定された鼻左端部３１０及び鼻右端部３２０の位置に基づいて鼻頂部３３０の位置を自動的に推定するものであれば、前記の方法に限定されない。鼻頂部推定手順Ｓ３においては、単に、鼻左端点Ｐ_１と鼻右端点Ｐ_２との中点を鼻頂部３３０と推定することもできる。しかし、より高い精度で推定結果を得るためには、鼻頂部３３０の位置は、鼻左端点Ｐ_１及び鼻右端点Ｐ_２に対する鼻頂部３３０の平均的な位置とサイズに基づいて推定すると好ましい。

鼻頂部３３０の位置は、点として推定してもよいが、ある程度の広さを持つ領域として推定すると好ましい。というのも、後述する鼻頂部温度取得手順Ｓ４において鼻頂部３３０の温度Ｔ_１を取得する際に、ある程度の広さを持つ領域内の温度データの平均値等を鼻頂部３３０の温度Ｔ_１とすると、温度Ｔ_１の誤差を小さくすることができるからである。このため、鼻頂部３３０として推定する領域の左右幅は、１ｍｍ以上となるようにすると好ましく、３ｍｍ以上となるようにするとより好ましく、５ｍｍ以上となるようにするとさらに好ましい。また、鼻頂部３３０として推定する領域の上下幅は、１ｍｍ以上となるようにすると好ましく、３ｍｍ以上となるようにするとより好ましく、５ｍｍ以上となるようにするとさらに好ましい。しかし、鼻頂部３３０として推定する領域を広くしすぎると、温度データを取得する領域も広くなってしまい、温度Ｔ_１がノイズを多く含んだものとなってしまう。このため、鼻頂部３３０として推定する領域の左右幅は、２０ｍｍ以下となるようにすると好ましく、１５ｍｍ以下となるようにするとより好ましく、１０ｍｍ以下となるようにするとさらに好ましい。また、鼻頂部３３０として推定する領域の上下幅は、２０ｍｍ以下となるようにすると好ましく、１５ｍｍ以下となるようにするとより好ましく、１０ｍｍ以下となるようにするとさらに好ましい。

２．４ 鼻頂部温度取得手順
鼻頂部温度取得手順Ｓ４は、鼻頂部推定手順Ｓ３で推定された鼻頂部３３０の温度Ｔ_１を取得するための手順である。鼻頂部推定手順Ｓ３において鼻頂部３３０の位置を点で推定した場合には、その一点における温度データを鼻頂部３３０の温度Ｔ_１として取得する。一方、鼻頂部３３０の位置をある程度の広さを持つ領域として推定した場合には、その領域内に含まれる複数の点における温度データから鼻頂部３３０の温度Ｔ_１を算出する。温度Ｔ_１を算出する方法としては、鼻頂部３３０と推定された領域内の温度データを、領域内の位置によって重み付けをしたうえで重ね合わせてもよいが、本実施態様においては、鼻頂部抽出用フィルタによって鼻頂部３３０と推定された領域内の温度データを平均して得られた値を、鼻頂部３３０の温度Ｔ_１としている。

２．５ 特定部位温度取得手順
特定部位温度取得手順Ｓ５は、熱分布画像取得手順Ｓ１で取得された熱分布画像２００における、顔の特定部位（鼻の頂部以外の特定の部分）の温度Ｔ_２を自動的に取得するための手順である。取得した温度Ｔ_２は、後述する心理状態評価手順Ｓ６において、鼻頂部３３０の温度Ｔ_１とともにストレス状態の評価のために用いる。本実施態様においては、特定部位として顎部３４０を採用している。本実施態様における特定部位温度取得手順Ｓ５では、上述した鼻端部推定手順Ｓ２と同様に、顎部３４０と首との境界と推定されるエッジ上の顎端点Ｐ_３を決定し、上述した鼻頂部推定手順Ｓ３と同様に、鼻左端点Ｐ_１、鼻右端点Ｐ_２及び顎端点Ｐ_３の位置に顎部抽出用フィルタを適用することによって、熱分布画像２００における顎部３４０の位置を推定している（図５を参照。）。顎部抽出用フィルタは、鼻頂部抽出用フィルタと同様の方法で作製している。顎部３４０の温度Ｔ_２は、鼻頂部温度取得手順Ｓ４と同様に、推定された顎部３４０から取得される。

温度Ｔ_２を取得するための特定部位は、顔領域３００における鼻頂部３３０以外の部位であって、その温度が被検体のストレス状態と低い相関を有する部位であれば、特に限定されない。特定部位は、額等とすることもできる。しかし、本実施態様のように特定部位を顎部３４０とすると、上述したように、熱分布画像２００上での位置推定が容易であるため好ましい。加えて、顎部３４０は、髪や帽子で覆われることが少ないという点でも優れている。

温度Ｔ_２を取得するための特定部位の位置は、点で推定することもできるが、鼻頂部３３０と同様の理由で、ある程度の広さを持つ領域として推定すると好ましい。特定部位を顎部３４０とした場合、顎部３４０として推定する領域は、ある程度広い方が好ましい。というのも、顎部３４０の温度Ｔ_２は、鼻頂部３３０の温度Ｔ_１を評価するための基準として使用するものであるため、誤差の少ない安定した値として取得することが好ましいからである。このため、顎部３４０として推定する領域の左右幅は、５ｍｍ以上となるようにすると好ましく、１０ｍｍ以上となるようにするとより好ましい。また、顎部３４０として推定する領域の上下幅は、５ｍｍ以上となるようにすると好ましく、１０ｍｍ以上となるようにするとより好ましい。ただし、顎部３４０として推定される領域が顔領域３００からはみ出てしまうと、背景部分の温度データが混入するため好ましくない。このため、顎部３４０として推定する領域の左右幅は、５０ｍｍ以下となるようにすると好ましく、４０ｍｍ以下となるようにするとより好ましい。また、顎部３４０として推定する領域の上下幅は、４０ｍｍ以下となるようにすると好ましく、３０ｍｍ以下となるようにするとより好ましい。なお、後述する心理状態評価手順Ｓ６において、特定部位の温度Ｔ_２を使用しない場合には、本手順を省いてもよい。

２．６ 心理状態評価手順
心理状態評価手順Ｓ６は、鼻頂部温度取得手順Ｓ４で取得された鼻頂部３３０の温度Ｔ_１に基づいて、被検体の心理状態を評価する手順である。被検体の心理状態は、鼻頂部３３０の温度Ｔ_１を所定の基準温度と比較する等、鼻頂部３３０の温度のみに基づいて評価するようにしてもよい。基準温度としては、例えば、被検体自身の非ストレス時における鼻頂部３３０の温度を用いることができる。しかし、この場合には、当該被検体の非ストレス時における鼻頂部３３０の温度を予め測定しておかなければならず、被検体に対して時間を空けて複数回の測定を行う必要が生ずる。このため、本実施態様においては、鼻頂部温度取得手順Ｓ４で取得された鼻頂部３３０の温度Ｔ_１だけでなく、特定部位温度取得手順Ｓ５で取得された特定部位（顎部３４０）の温度Ｔ_２にも基づいて、被検体の心理状態を評価するようにしている。

鼻頂部３３０の温度Ｔ_１と顎部３４０の温度Ｔ_２とに基づいて被検体の心理状態を評価する具体的な方法は、特に限定されないが、最も単純な方法としては、鼻頂部３３０の温度Ｔ_１と顎部３４０の温度Ｔ_２との差ΔＴ（＝Ｔ_１−Ｔ_２）を求め、この差ΔＴと標準温度差ΔＴ_０とを比較する方法が挙げられる。すなわち、ΔＴ＞ΔＴ_０の場合には、被検体がストレス状態にあると評価し、ΔＴ≦ΔＴ_０の場合には、被検体がストレス状態にない（非ストレス状態である）と評価するようにすることができる。ここで、標準温度差ΔＴ_０は、多数の被検体（現在、心理状態を評価しようとしている被検体とは別の被検体）に対して行った予備実験結果等から求められた指標値であり、メモリ１１２（図１）等に予め記憶させておく。ただし、差ΔＴと標準温度差ΔＴ_０とを単純に比較する方法では、「ストレス状態」と「非ストレス状態」の２段階でしか被検体の心理状態を評価することができず、どの程度のストレス状態にあるか（ストレスレベル等）を評価することはできない。この点、以下の方法を採用すれば、ストレス状態にあるか否かだけでなく、ストレスレベルも評価することが可能になる。

すなわち、差ΔＴと標準温度差ΔＴ_０との差ΔＴ−ΔＴ_０を求めて、この差ΔＴ−ΔＴ_０をストレスレベルの評価指標Ｓ（＝ΔＴ−ΔＴ_０）として用いると、ストレスレベルを評価することができる。具体的には、（Ｓ／Ｓ_ＭＡＸ）×１００を計算し、その計算結果をストレスレベルを表す数値（例えば、「ストレス度」等）として用いる方法が挙げられる。ここで、「Ｓ_ＭＡＸ」は、評価指標Ｓが取り得る値の最大値であり、予備実験等で予め求めて、メモリ１１２（図１）等に予め記憶させておく。これにより、「ストレス度１５％」や「ストレス度７２％」といった具合に、ストレスレベルが数値で表されるようになるので、被検体のストレス状態をより詳らかに表すことができる。一方、被検体のストレスレベルを、数値を用いずに段階的に評価することもできる。例えば、評価指標ＳがＳ_１未満の場合には、「低ストレス状態」と評価し、評価指標ＳがＳ_１以上でＳ_２未満の場合には、「中ストレス状態」と評価し、評価指標ＳがＳ_２以上の場合には、「高ストレス状態」と評価することができる。ここで、「Ｓ_１」及び「Ｓ_２」は、０＜Ｓ_１＜Ｓ_２＜Ｓ_ＭＡＸの関係を満たす指標値であり、予備実験等で予め求めて、メモリ１１２（図１）等に予め記憶させておく。

２．７ 評価結果出力手順
評価結果出力手順Ｓ７は、心理状態評価手順Ｓ６における評価結果を出力するための手順である。評価結果は、紙等に印刷して出力することもできるが、電子データとして出力するようにすると、データの保存や加工がしやすいため好ましい。本実施態様においては、心理状態評価手順Ｓ６で得られた評価結果を、心理状態評価装置１００に備えられた表示装置１３０の表示画面に表示することで出力している。評価結果は、心理状態評価手順Ｓ６の評価方法に応じて、ストレスレベル等の数値データとして出力しても、段階的なストレス度評価結果として出力してもよい。

心理状態評価装置１００が表示装置１３０を備えている場合には、心理状態評価手順Ｓ６で得られた評価結果に応じた演出画像や動画を表示装置１３０に表示させることによって、ストレス評価結果を出力するようにしてもよい。例えば、表示装置１３０の画面の色をストレスレベルの値に応じて変化させてもよいし、ストレスレベルの値をグラフとして表示させてもよい。あるいは、表示装置の画面に表示されたキャラクター等のセリフや表情等によってストレス評価結果を表すこともできる。このような態様は、心理状態評価用プログラムを実行させる心理状態評価装置１００が、表示装置１３０を備えた携帯型端末である場合に、特に好適に採用することができる。このとき、同一の被検体について繰り返しストレス評価を行う場合には、過去のストレス評価結果を保存しておいて、比較できるようにすると好ましい。以上で、本実施態様の心理状態評価用プログラムによる一連の手順が完了する。

３．本発明の用途
本発明の心理状態評価用プログラム及び心理状態評価装置１００は、被検体の顔面の熱分布画像２００に基づいて被検体の心理状態を精度良く評価することができ、被検体に器具等を装着させる必要も、被検体の顔画像データを用いる必要もないものであるため、幅広い用途において好適に使用することができる。例えば、乗物（車、船舶、飛行機等）の運転手の疲労度の計測、企業等における従業者のストレスチェック、医療現場等における痛みの計測や痛みの緩和の計測等に好適に用いることができる。加えて、本発明の心理状態評価用プログラム及び心理状態評価装置１００は、被検体の体温情報に基づいて心理状態評価を行うものであり、被験者の主観や感情的要因（遠慮、謙遜等）に影響されにくいため、商品開発補助（使用感や着心地の評価、官能検査等）やマーケティングにおいても有用である。また、被検体が人間以外の動物や幼児であって、言葉によるコミュニケーションが困難な場合にも、精度良く心理状態評価を行うことができる。加えて、本発明の心理状態評価装置１００を携帯型端末とした場合には、使用箇所を問わないため、末端需要者が日常的に行う自己のストレスチェック、自宅介護における被介護者の痛みやストレスの計測、環境快適性評価等に好適に用いることができる。本発明の用途は、ここに列記したものに限定されず、被検体の顔面の熱分布画像２００を得ることが可能なものであればどのような用途においても使用することができる。

１００ 心理状態評価装置
１１０ コンピューター
１１１ プロセッサ
１１２ メモリ
１２０ サーモカメラ
１３０ 表示装置
２００ 熱分布画像
２１０ 顔中央画像
３００ 顔領域
３１０ 鼻左端部
３２０ 鼻右端部
３３０ 鼻頂部
３４０ 顎部
Ｄ_Ａ 暗領域（低温領域）
Ｄ_Ｂ 暗領域（低温領域）
Ｅ_１ 鼻左端エッジ
Ｅ_２ 鼻右端エッジ
Ｐ_１ 鼻左端点
Ｐ_２ 鼻右端点
Ｐ_３ 顎端点
Ｓ１ 熱分布画像取得手順
Ｓ２ 鼻端部推定手順
Ｓ２．１ 顔領域推定手順
Ｓ２．２ 顔中央画像抽出手順
Ｓ２．３ エッジ検出手順
Ｓ２．４ 鼻端点決定手順
Ｓ３ 鼻頂部推定手順
Ｓ４ 鼻頂部温度取得手順
Ｓ５ 特定部位温度取得手順
Ｓ６ 心理状態評価手順
Ｓ７ 評価結果出力手順

Claims (6)

1. 被検体の心理状態を評価するための心理状態評価用プログラムであって、
   コンピューターに、
   被検体の顔面の熱分布画像を取得する熱分布画像取得手順と、
   熱分布画像取得手順で取得された熱分布画像における、鼻の左端部と左頬部との境界と推定される鼻左端エッジ、及び、鼻の右端部と右頬部との境界と推定される鼻右端エッジを検出することにより、鼻の左端部及び右端部の位置を推定する鼻端部推定手順と、
   鼻端部推定手順で推定された鼻の左端部と右端部との間に位置する箇所を鼻の頂部と推定する鼻頂部推定手順と、
   鼻頂部推定手順で推定された鼻の頂部の温度Ｔ_１を、前記熱分布画像から取得する鼻頂部温度取得手順と、
   鼻頂部温度取得手順で取得した温度Ｔ_１に基づいて被検体の心理状態を評価する心理状態評価手順と、
   心理状態評価手順での評価結果を出力する評価結果出力手順と
   を実行させる
   ことを特徴とする心理状態評価用プログラム。
   
2. コンピューターに、熱分布画像取得手順で取得された熱分布画像における顔の特定部位（鼻の頂部を除く。）の温度Ｔ_２を取得する特定部位温度取得手順をさらに実行させ、
   心理状態評価手順において、温度Ｔ_１と温度Ｔ_２とを比較することにより被検体の心理状態を評価するようにした
   請求項１に記載の心理状態評価用プログラム。
   
3. 前記特定部位が、顎部である請求項２に記載の心理状態評価用プログラム。
   
4. 心理状態評価手順で評価される心理状態が、ストレス状態である請求項１〜３のいずれかに記載の心理状態評価用プログラム。
   
5. 請求項１〜４のいずれかに記載の心理状態評価用プログラムが記録されたメモリを備えた心理状態評価装置。
   
6. 請求項１〜４のいずれかに記載の心理状態評価用プログラムが記録されたメモリを備えた携帯型端末。