WO2022065446A1

WO2022065446A1 - 感情判定装置、感情判定方法及び感情判定プログラム

Info

Publication number: WO2022065446A1
Application number: PCT/JP2021/035163
Authority: WO
Inventors: 秀樹清水
Original assignee: シチズン時計株式会社
Priority date: 2020-09-24
Filing date: 2021-09-24
Publication date: 2022-03-31
Also published as: US20230363680A1; CN116322496A; JPWO2022065446A1

Abstract

感情判定装置は、被験者の心拍数を含む心拍情報を検出する検出部と、前記心拍情報に基づいて、前記被験者の感情が負の感情であるか、又は正の感情であるかを判定する感情判定部と、所定期間において、所定値以上の心拍数の増加を伴って、平均心拍数未満の状態から平均心拍数以上の状態に遷移した心拍数変動回数を計数する計数部と、前記心拍数変動回数に基づいて、前記被験者の心理状態を判定するとともに、前記感情判定部による判定結果を前記心理状態の判定に用いることが可能な情動判定部と、前記情動判定部の判定結果を出力する出力部と、を有する。

Description

感情判定装置、感情判定方法及び感情判定プログラム

　本発明は、対象者の感情を判定する感情判定装置、感情判定方法及び感情判定プログラムに関する。

　高齢者を介護する場面において、介護者が高齢者に対して施した介護行為に対して、高齢者がどのような感情を持っているのかを介護者が把握することは、その後の介護方針を決めるうえで非常に重要である。しかしながら、高齢者は老化によって表情が乏しくなり、また会話が困難になる場合もあるため、高齢者の表情や雰囲気、あるいは会話内容から感情を読み取ることが難しいという問題がある。

　また、ビデオ通話やテレビ会議を行う場面において、話し手が話した言葉に対して、聞き手がどのような感情を持って聞いているのかを話し手が把握することは、会話を進めるうえで非常に重要である。しかしながら、テレビ会議等では聞き手の表情を映す画像はカメラで撮像した画像に限定されるため、聞き手の表情や雰囲気から感情を読み取ることが難しいという問題がある。一般に、通信回線を介してモニタを使用して行う会議の呼称として、使用する場面に応じて、「テレビ会議」や「Ｗｅｂ会議」、または、他の会議名が用いられることがあるが、本明細書においては、これらを総称して、「Ｗｅｂ会議」と記載する。

　特許文献１には、通信時の相手先の感情を解析する感情解析手段と、感情解析手段により解析した感情データを、当該感情解析を行った相手先に対応させて記憶する記憶手段と、記憶手段に記憶された感情データに基づく報知を行う報知手段と、相手先が選択されたとき、当該相手先に対応する感情データを記憶手段から読み出し、報知手段によって報知させる制御手段とを備えた通信装置が開示されている。

　特許文献２には、複数の会議参加者を撮影した画像データを取得する画像データ取得部と、画像データ取得部で取得した画像データから、各会議参加者の顔画像を検出する顔画像検出部と、検出した顔画像を切り出して１つの画像に再構成する画像構成部と、検出した顔画像に基づいて各参加者の感情を推定する感情推定部と、推定した感情に基づいて各参加者の顔画像の表示態様を変更する表示態様変更部と、を備えた画像処理装置が開示されている。

　特許文献１に記載の発明では、通話相手の音声を分析し、感情を判定しているため、相手が発話する必要があり、会話の少ない対象者や会議の聞き手には適用できない。また、特許文献２に記載の発明では、会議参加者の顔画像から表情を推定し、推定した表情に基づいて感情を推定しているが、表情が乏しい参加者の感情を推定することは難しいという問題がある。

特開２００５－３１１９１５号公報特開２０２０－４８１４９号公報

　本発明は、非接触で相手の感情を検出することができる感情判定装置、感情判定方法及び感情判定プログラムを提供することを目的とする。

　本開示の実施形態に係る感情判定装置は、被験者の心拍数を含む心拍情報を検出する検出部と、心拍情報に基づいて、被験者の感情が負の感情であるか、又は正の感情であるかを判定する感情判定部と、所定期間において、所定値以上の心拍数の増加を伴って、平均心拍数未満の状態から平均心拍数以上の状態に遷移した心拍数変動回数を計数する計数部と、心拍数変動回数に基づいて、被験者の心理状態を判定するとともに、感情判定部による判定結果を心理状態の判定に用いることが可能な情動判定部と、情動判定部の判定結果を出力する出力部と、を有することを特徴とする。

　上記の感情判定装置は、さらに、被験者の顔を撮影する撮影部を有し、検出部は、撮影部が取得した画像データの変化に基づいて心拍情報を検出してよい。

　上記の感情判定装置において、心理状態は、正または負の感情のいずれかにかかわらず、心拍数変動回数に基づいて判定可能な第１心理状態と、正または負の感情のいずれかと、心拍数変動回数とに基づいて判定可能な第２心理状態とを含み、情動判定部は、少なくとも、第２心理状態の判定を行う場合に、感情判定部による判定結果を用いてよい。

　上記の感情判定装置において、所定期間は繰り返し設定され、情動判定部は、各所定期間毎に判定を行ってよい。

　上記の感情判定装置において、撮影部は、複数人の被験者の顔が撮影可能であり、さらに、複数人が表示される画面から、それぞれの顔を特定し、特定したそれぞれの顔に対して測定部位を特定する測定部位特定手段を有し、検出部は、それぞれの顔の測定部位の画像の変化に基づいて心拍情報を取得してよい。

　上記の感情判定装置において、被験者は、講義を受講する受講者であり、情動判定部は、心拍数変動回数と感情判定部の判定結果とに基づいて、講義の受講における理想的な心理状態か否かを判定してよい。

　上記の感情判定装置において、視覚または聴覚によって発生の有無を感覚的に認識可能な刺激と、視覚または聴覚によって与えられる情報の内容を理解することが可能な刺激と、特定の人物の画像または音声の少なくともいずれかを含む刺激と、を発生する刺激発生部を有し、刺激発生部は、休止期間を挟む予め定められた複数の期間に同種の刺激を繰り返し発生し、情動判定部は、少なくとも、予め定められた複数の期間の間に、被験者の心理状態を判定してよい。

　上記の感情判定装置において、負の感情は、被験者が、脳疲労、不安、及び抑うつのうちの少なくとも１つを感じる感情であってよい。

　上記の感情判定装置において、情動判定部が判定する被験者の心理状態は、安定している状態、驚いている状態、感激している状態、及び憤激している状態のいずれかを含んでよい。

　上記の感情判定装置において、計数部が計数した心拍数変動回数が１回の場合は、情動判定部は、心理状態は驚いている状態であると判定してよい。

　上記の感情判定装置において、計数部が計数した心拍数変動回数が複数回の場合であって、かつ、感情判定部が判定した被験者の感情が正の感情である場合は、情動判定部は、心理状態は感激している状態であると判定してよい。

　上記の感情判定装置において、計数部が計数した心拍数変動回数が複数回の場合であって、かつ、感情判定部が判定した被験者の感情が負の感情である場合は、情動判定部は、心理状態は憤激している状態であると判定してよい。

　上記の感情判定装置において、計数部が計数した心拍数変動回数が０回の場合であって、かつ、心拍数が平均心拍数未満の状態が所定期間において維持された場合は、情動判定部は、心理状態は安定している状態であると判定してよい。

　上記の感情判定装置において、計数部が計数した心拍数変動回数が０回の場合であって、かつ、心拍数が平均心拍数以上の状態が所定期間において維持された場合は、情動判定部は、心理状態を判定することができない情動判定不能状態と判定してよい。

　本開示の実施形態に係る感情判定プログラムは、被験者の心拍数を含む心拍情報を検出するステップと、心拍情報に基づいて、被験者の感情が負の感情であるか、又は正の感情であるかを判定するステップと、所定期間において、所定値以上の心拍数の増加を伴って、平均心拍数未満の状態から平均心拍数以上の状態に遷移した心拍数変動回数を計数するステップと、心拍数変動回数に基づいて、被験者の心理状態を判定するとともに、判定結果を心理状態の判定に用いるステップと、心理状態の判定結果を出力するステップと、をコンピュータに実行させることを特徴とする。

　本開示の実施形態に係る感情判定方法は、検出部が、被験者の心拍数を含む心拍情報を検出し、感情判定部が、心拍情報に基づいて、被験者の感情が負の感情であるか、又は正の感情であるかを判定し、計数部が、所定期間において、所定値以上の心拍数の増加を伴って、平均心拍数未満の状態から平均心拍数以上の状態に遷移した心拍数変動回数を計数し、情動判定部が、心拍数変動回数に基づいて、被験者の心理状態を判定するとともに、感情判定部による判定結果を心理状態の判定に用い、出力部が、情動判定部の判定結果を出力することを特徴とする。

　本開示の実施形態に係る感情判定装置、感情判定方法及び感情判定プログラムによれば、非接触で相手の感情を検出することができる。

本開示の実施形態に係る感情判定装置の使用状態を示す斜視図である。本開示の実施形態に係る感情判定装置のブロック図である。（Ａ）～（Ｃ）は、脈波から負の感情を判定する原理を説明するためのグラフである。（Ａ）～（Ｃ）は、所定期間における心拍数の変動から、感情を判定する原理を説明するためのグラフである。（Ａ）及び（Ｂ）は、所定期間における心拍数の変動からは、感情を判定することが難しい場合の例を示すグラフである。本開示の実施形態に係る感情判定装置の動作例を示すフローチャートである。実施例１に係る感情判定装置を用いたＷｅｂ会議における画面の表示例を示す図である。実施例１に係る感情判定装置のブロック図である。実施例２に係る感情判定装置の画面の表示例を示す図である。実施例２に係る感情判定装置のブロック図である。実施例３に係る感情判定装置を用いたマーケティング調査システムの構成概略図である。実施例３に係る感情判定装置のブロック図である。実施例４に係る感情判定装置を用いた機械制御システムの構成概略図である。実施例４に係る感情判定装置のブロック図である。実施例５に係る感情判定装置である講義開催側ＰＣのブロック図である。参加者が複数の場合における参加者の画像の表示例である。複数の参加者の顔の画像から、それぞれ一部の画像を切り出す場合の画像の表示例である。最大リアプノフ指数と主観的運動強度ＲＰＥとの関係を示すグラフである。ＲＰＥとトレーニングや運動の主観的なきつさ・疲労度との関係を表すボルグスケールである。脈波が平均安静脈拍数から所定の範囲内に入っている場合の脈拍数の時間的変化の例である。実施例５に係る感情判定装置の動作手順を説明するためのフローチャートである。（Ａ）は、顔画像から特徴座標を抽出する特徴座標フィッティング方式の出力例であり、（Ｂ）は、撮影した顔の画像から眉間の位置を検出する方式の出力例である。ＨＤＭＩ（登録商標）出力を利用した画像取り込みを実行するための構成例である。高齢者と介護者との間のコミュニケーションを阻害している原因と対策方法の例である。相性、視力・聴力、及び精神疾患の３つのカテゴリーのコミュニケーション阻害要因のそれぞれを判定するための映像刺激及び音響刺激の例である。実施例６に係るコミュニケーション阻害原因判定装置である被験者状態判定装置のブロック図である。視覚によって発生が認識可能な第１刺激として、赤色等の視覚自律神経反応色である色刺激を周期的に見せた場合における、被験者である高齢者の情動の時間的変化の例である。聴覚によって発生が認識可能な第１刺激として、所定の周波数のビート音を周期的に聞かせた場合における、被験者である高齢者の情動の時間的変化の例である。視覚によって内容の理解が可能な所定情報を含む第２刺激として、意味が理解できると驚いたり笑ったりする騙し絵を周期的に見せた場合における、被験者である高齢者の情動の時間的変化の例である。聴覚によって内容の理解が可能な所定情報を含む第２刺激として、意味が理解できると驚いたり笑ったりする音声を周期的に聞かせた場合における、被験者である高齢者の情動の時間的変化の例である。特定の人物の画像を含む第３刺激として、介護者の画像を被験者である高齢者に周期的に見せた場合における、被験者である高齢者の情動及び正負感情の時間的変化の例である。特定の人物の音声を含む第３刺激として、介護者の音声を被験者である高齢者に周期的に聞かせた場合における、被験者である高齢者の情動及び正負感情の時間的変化の例である。高齢者のコミュニケーションを阻害する原因の判定例である。（Ａ）は、刺激を周期的に与えたときに現れる反応の真値の例であり、（Ｂ）は、（Ａ）で示したタイミングに合わせて被験者に刺激を与えたときの情動の判定例である。

　以下、図面を参照して、本発明に係る感情判定装置、感情判定方法及び感情判定プログラムについて説明する。ただし、本発明の技術的範囲はそれらの実施の形態には限定されず、請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

　図１は、本開示の実施形態に係る感情判定装置１の使用状態を示す斜視図である。図１に示すように、感情判定装置１は、撮像部１０と、情報端末５と、を備える。図示した例では、撮像部１０はスマートホンなどの携帯端末であり、情報端末５は表示部４１を備えたノート型パーソナルコンピュータ（ＰＣ）である。ただし、このような例には限定されず、撮像部１０としてタブレット端末又はデジタルカメラ等を用いてもよく、情報端末５としてタブレット端末、デスクトップ型ＰＣ、または専用の処理装置等を用いてもよい。撮像部１０及び情報端末５は一体化されていてもよい。

　図１では、撮像部１０を保持するスタンド９０に撮像部１０が設置された状態を示している。図１に示すように、撮像部１０は、撮像素子１１と、撮像部１０の動作を設定するための表示部付タッチパネル１９とを備える。

　特に高齢者の中には、測定に対する恐怖感を抱く人や、測定時のセンサ装着などの測定行為そのものに抵抗を感じる人、測定説明を聞いただけで一時的に負の感情が現れる人などが存在し、適正に負の感情が測定できないことがある。そこで、感情判定装置１は、測定自体がストレスにならないように、撮像素子（カメラ）１１を有する撮像部１０を用いて、被験者の皮膚の露出部分（例えば、顔の額又は頬などの部位）を撮影する。そして、感情判定装置１は、得られた画像から血流に同期した輝度変化を抽出することで、被験者に対して非接触で、かつ被験者が無意識のまま、被験者の心拍情報である脈波信号を自動的に検出する。

　撮像素子１１は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型又はＣＣＤ（Charge Coupled Device）型のイメージセンサである。撮像素子１１は、測定の度に、図１に示すように、例えば被験者ＨＫの額における測定枠Ｓａの画像Ｇｒを、被験者の操作によらずに連続して複数枚、自動撮影する。撮像部１０は、内蔵する顔認識のアプリケーションプログラムによって、被験者ＨＫの額の測定枠Ｓａを自動的に追尾する機能を有している。これにより、被験者ＨＫが撮像部１０の設置領域内で動き回っても、被験者ＨＫの脈波を捉えることが可能である。図１に示すように、撮像部１０は、撮影した被験者ＨＫの画像データを、内蔵する無線通信機能により電波ＲＷを介して情報端末５に送信する。

　図２は、感情判定装置１のブロック図である。図１に示すように、感情判定装置１の情報端末５は、感情検出部２０と、判定部３０と、報知部４０と、計時部５０と、を備える。感情検出部２０は、顔認識部２１と、脈波抽出部２２と、間隔検出部２３と、脈波メモリ２４と、カオス解析部２５と、計数部２６と、を備える。判定部３０は、感情判定部３１と、情動判定部３２と、を備える。報知部４０は、表示部４１と、送信部４２と、を備える。このうち、脈波メモリ２４はハードディスク又は半導体メモリ等で構成され、表示部４１は液晶表示ディスプレイ等で構成され、計時部５０は公知の時計回路で構成されてよい。その他の要素は、ＣＰＵ、ＲＯＭ及びＲＡＭなどを含む情報端末５内のコンピュータにより、ソフトウエア（プログラム）として実現される。

　顔認識部２１は、撮像素子１１が撮影した被験者ＨＫの画像Ｇｒに対して輪郭検知アルゴリズム又は特徴点抽出アルゴリズムを用いて顔の様態を分析し、額などの皮膚露出部分を測定部位として特定する。顔認識部２１は、その測定部位における皮膚色を示すデータである時系列信号Ｅ１を、脈波抽出部２２に出力する。

　脈波抽出部２２は、時系列信号Ｅ１から被験者ＨＫの脈波信号を抽出し、その信号を間隔検出部２３に出力する。被験者ＨＫの額における測定枠Ｓａの内部には毛細動脈が集中しているので、画像Ｇｒには被験者ＨＫの血流に同期した輝度変化成分が含まれている。特に、画像Ｇｒの緑色光の輝度変化成分に脈波（血流変化）が最も反映されているので、脈波抽出部２２は、人の脈波が有する略０．５～３［Ｈｚ］の周波数を通過させるバンドパスフィルタを用いて、時系列信号Ｅ１の緑色光の輝度変化成分から脈波信号を抽出する。

　撮像部１０、顔認識部２１及び脈波抽出部２２は、被験者の心拍情報を検出する検出部の一例である。ただし、検出部の機能は必ずしも撮像部１０と情報端末５に分かれていなくてもよく、例えば、顔認識部２１と脈波抽出部２２の機能を撮像部１０に持たせてもよいし、撮像部１０を情報端末５に含めてもよい。

　図３（Ａ）～（Ｃ）は、脈波から負の感情を判定する原理を説明するためのグラフである。このうち、図３（Ａ）は脈波信号ＰＷの波形例を示し、横軸ｔは時間（ミリ秒）、縦軸Ａは脈波の振幅の強さである。図３（Ａ）に示すように、脈波信号ＰＷは、心臓の拍動による血流量の変動を反映した三角波状であり、最も血流量が多いことを示す脈波の振幅強度が強いピーク点Ｐ１～Ｐ（ｎ＋１）の間隔を脈波間隔ｄ１～ｄｎとする。

　間隔検出部２３は、被験者ＨＫの脈波信号ＰＷのピーク点Ｐ１～Ｐ（ｎ＋１）を検出し、計時部５０を用いて脈波間隔ｄ１～ｄｎをミリ秒単位で算出し、さらに脈波間隔ｄ１～ｄｎから脈波間隔の時系列データを生成する。

　脈波メモリ２４は、間隔検出部２３により検出された脈波間隔ｄ１～ｄｎを脈波間隔の時系列データとして記憶する。

　図３（Ｂ）は、脈波間隔の揺らぎ度の例を示すグラフである。このグラフはローレンツプロットと呼ばれ、横軸を脈波間隔ｄｎ、縦軸を脈波間隔ｄｎ－１（ともに単位はミリ秒）とし、ｎ＝１，２，・・・について座標（ｄｎ，ｄｎ－１）上に脈拍間隔の時系列データをプロットしたものである。図３（Ｂ）のグラフにおけるドットＲのバラつき度合いが被験者ＨＫの脳疲労度を反映することが知られているので、表示部４１に図３（Ｂ）のデータ散布図を表示すれば、被験者ＨＫの測定中の脳疲労度を簡易的にモニタすることも可能である。

　カオス解析部２５は、脈波メモリ２４に記憶された脈波間隔の時系列データ、すなわち、図３（Ｂ）のローレンツプロットにおける座標（ｄｎ，ｄｎ－１）を用いて、以下の式（１）により最大リアプノフ指数λを算出する。

　ここで、Ｍは脈波間隔ｄ１～ｄｎにおける総サンプル時間、ｄは時系列データの時刻ｋと時刻ｋ－１とのパターン間距離（ローレンツプロットにおける２次元平面上の距離）である。間隔検出部２３及びカオス解析部２５は、心拍情報から心拍間隔の揺らぎ度を示す最大リアプノフ指数を算出する算出部の一例である。

　最大リアプノフ指数について簡単に説明する。人間を含む哺乳類の心臓は機械と同じで一定周期で動いていると、特定部分が疲弊して壊れやすくなる。長期間駆動し続けるために通常時は複雑系のゆらぎで疲弊をかわしてしている。これが自律神経の役割である。ここにストレスや精神的なダメージがかかると、自律神経がストレッサーの対処に集中してしまうため、複雑系の揺らぎが出せなくなる。単に複雑系（カオス性）の揺らぎの有無では無く、複雑系を有する揺らぎの度合いが正負感情（自律神経）と相関する。例えば、揺らぎが特定の周期性を持つものは、そのグラフが円や楕円になり、この場合は複雑系の揺らぎは無い。従って、最大リアプノフ指数がプラスの場合は、複雑系の揺らぎがあることとなり、被験者は正感情を有していることを示す。一方、最大リアプノフ指数がマイナスの場合は、複雑系の揺らぎが無いこととなり、被験者は負感情を有していることを示す。このようにして、最大リアプノフ指数を指標とすることにより、複雑系の揺らぎの度合いを数値化することができ、被験者が正の感情及び負の感情のいずれを有しているかを判定することができる。これが最大リアプノフ指数を利用した感情センシングの原理である。

　なお、感情判定を行うにあたって、最大リアプノフ指数を用いる代わりに、ＬＦ／ＨＦ法を用いてもよい。ＬＦ／ＨＦ法は、心拍変動から自律神経活動を評価するものであり、低周波成分（ＬＦ：Low frequency）と高周波成分（ＨＦ：High frequency）の比（ＬＦ／ＨＦ）を交感神経指標として用いる方法である。心拍または脈波間隔の揺らぎを周波数分析し、ＬＦを０．０４～０．１５Ｈｚのパワースペクトルとし、ＨＦを０．１５～０．４Ｈｚのパワースペクトルとしたとき、ＬＦ／ＨＦが２．０未満の場合は「正感情」と判定し、２．０以上５．０未満の場合は「やや負感情」と判定し、５．０以上の場合は「負感情」と判定することができる。ただし、最大リアプノフ指数は３０秒間の脈波の揺らぎでも解析できるのに対して、ＬＦ／ＨＦ法はＬＦの低い周波数成分を正確に計測するために３分間程度の計測時間が必要である。

　図３（Ｃ）は、心拍又は脈波の間隔の揺らぎ度を示す最大リアプノフ指数と負の感情との関係を示すグラフである。このグラフは、成人男女１０人を対象に問診アンケートを行って、疲れをどの程度感じるか、及び疲れが脳疲労、不安又は抑うつと感じる状態であるか否かを回答させるとともに、同じ被験者について脈波間隔の最大リアプノフ指数λを測定し、得られた回答内容とλの値との関係をまとめたものである。Ｆ０は「疲れなし」に、Ｆ１は「年齢相当の疲れあり」に、Ｆ２は「一時的な疲れあり」に、Ｆ３は「慢性的な疲れあり」に、Ｆ４は「負の感情あり」にそれぞれ相当する。グラフの縦軸は最大リアプノフ指数λである。

　図３（Ｃ）から、最大リアプノフ指数λは、単なる疲れの状態では０に近い絶対値の小さい値であるが、負の感情があるとマイナスで絶対値の大きな値となることが分かる。当該成人男女１０名に関しては、測定のばらつきを考慮して、負の感情を感じるか否かの最大リアプノフ指数の閾値を－０．６程度に設定することができる。

　感情判定部３１は、カオス解析部２５から取得した最大リアプノフ指数λが以下の式（２）を満たす場合に、被験者に負の感情が発生していると判定し、λが式（２）を満たさない場合には、被験者に負の感情が発生していないと判定する。
　　　 λ≦λｔ　　　　　　　　　　　　　　　　　　　　・・・（２）
　ここで、閾値λｔは－０．６であるが、感情判定装置１に求められる特性によっては他の値を用いることがある。感情判定部３１は、最大リアプノフ指数に基づいて、被験者の感情が脳疲労、不安、及び抑うつのうちの少なくとも１つを感じる負の感情であるか、あるいは、被験者の感情が脳疲労、不安、及び抑うつのいずれも感じない正の感情であるかを判定する感情判定部の一例である。

　計数部２６は、所定期間において、所定値以上の心拍数の増加を伴って、平均心拍数未満の状態から平均心拍数以上の状態に遷移した心拍数変動回数を計数する。図４（Ａ）～（Ｃ）は、所定期間における心拍数の変動から、感情を判定する原理を説明するためのグラフである。縦軸は心拍数を示し、横軸は時間を示す。ｂ_aveは被験者ＨＫの平均心拍数を示す。被験者ＨＫの平均心拍数が未知の場合は平均的な値である６５［ｂｐｍ］を用いてもよい。心拍数が平均心拍数ｂ_ave以上の領域を「情動領域」といい、心拍数が平均心拍数ｂ_ave未満の領域を「安静領域」という。

　図４（Ａ）～（Ｃ）に示すように、心拍数は時間と共に変動する。計数部２６は、所定期間における心拍数が、安静領域から情動領域へ遷移、即ち、平均心拍数ｂ_ave未満の状態から平均心拍数ｂ_ave以上の状態に遷移し、かつ、その際の心拍数の変動幅Δｓが所定値より大きくなっている心拍数変動回数を計数する。例えば、所定期間を３０［ｓｅｃ］、所定値を１０［ｂｐｍ］としてもよい。所定期間３０［ｓｅｃ］は、リアプノフ分析の精度を維持できる最小期間に符合させている。ただし、これらの数値には限定されず、感情の変化に伴う被験者の心拍数の変化の度合いに応じて所定期間及び所定値を適宜設定することができる。

　図４（Ａ）は、所定期間における心拍数が平均心拍数ｂ_ave未満の例を示す。この場合は、所定期間において心拍数を表す曲線Ｌ１は安静領域にあり、計数部２６は、心拍数が平均心拍数未満の状態から平均心拍数以上の状態に遷移した心拍数変動回数を０回と計数する。

　図４（Ｂ）は、心拍数が１回のみ大きく変動した例を示す。図４（Ｂ）に示すように、心拍数を表す曲線Ｌ２において、心拍数ｓ１は平均心拍数ｂ_ave未満であり、心拍数ｓ２は平均心拍数ｂ_ave以上である。さらに、ｓ１とｓ２の差であるΔｓが所定値以上である場合、計数部２６は、所定期間において、所定値以上の心拍数の増加を伴って、平均心拍数未満の状態から平均心拍数以上の状態に遷移した心拍数変動回数を１回と計数する。

　図４（Ｃ）は、心拍数が複数回変動した例を示す。図４（Ｃ）に示すように、心拍数を表す曲線Ｌ３において、心拍数ｓ１、ｓ３、ｓ５は平均心拍数ｂ_ave未満であり、心拍数ｓ２、ｓ４、ｓ６は平均心拍数ｂ_ave以上である。さらに、ｓ１とｓ２の差であるΔｓ１、ｓ３とｓ４の差であるΔｓ２、及びｓ５とｓ６の差であるΔｓ３が全て所定値以上である場合、計数部２６は、所定期間において、所定値以上の心拍数の増加を伴って、平均心拍数未満の状態から平均心拍数以上の状態に遷移した心拍数変動回数を３回と計数する。図４（Ｃ）では、心拍数変動回数が３回の例を示したが、このような例には限られず、心拍数変動回数が２回または４回以上の場合においても、計数部２６は、心拍数変動回数は複数回と判断する。

　情動判定部３２は、感情判定部３１による判定結果及び計数部２６が計数した心拍数変動回数に基づいて、被験者ＨＫの心理状態を判定する。図４（Ａ）～（Ｃ）においては、所定期間として、最初に設定された期間である３０［ｓｅｃ］の期間のみを示しているが、所定期間は繰り返し設定されてよい。また、情動判定部は、各所定期間毎に判定を行ってよい。ここで、被験者ＨＫの心理状態には、安定している状態、驚いている状態、感激している状態、及び憤激している状態が含まれる。従って、情動判定部３２は、感情判定部３１による判定結果及び計数部２６が計数した心拍数変動回数に基づいて、被験者ＨＫの心理状態が、安定している状態、驚いている状態、感激している状態、及び憤激している状態のいずれであるかを判定する。なお、「感激」は、強く心に感じて、気持ちがたかぶることを意味し、心を動かされる「感動」、心で衝撃を受けて感動する「感銘」、心で驚いたり納得したりする「感心」や「喜び」等、他の同義語の意味を含む。また、「憤激」は、いきどおることを意味し、「怒り」等、他の同義語の意味を含む。

　計数部２６が計数した心拍数変動回数が０回の場合であって、かつ、被験者ＨＫの心拍数が平均心拍数未満の状態が所定期間において維持された場合は、情動判定部３２は、被験者ＨＫの心理状態は安定している状態であると判定する。所定期間において心拍数が平均心拍数未満であり一度も平均心拍数以上となっていないため、心拍数は安静領域にあり、情動判定部３２は、被験者ＨＫの心理状態は安定している状態であると判定することができる。

　計数部２６が計数した心拍数変動回数が１回の場合は、情動判定部３２は、心理状態は驚いている状態であると判定する。被験者ＨＫの心理状態が驚いている状態である場合、心拍数は所定期間において１回のみ変動し、連続しないと考えられる。また、被験者ＨＫが驚いた状態となるのは、被験者ＨＫの感情が正の感情である場合も負の感情である場合も両方ありうる。そこで、計数部２６が計数した心拍数変動回数が１回の場合は、情動判定部３２は、感情判定部３１が判定した被験者ＨＫの感情が正の感情であるか負の感情であるかに関わらず、被験者ＨＫの心理状態は驚いている状態であると判定することができる。

　計数部２６が計数した心拍数変動回数が複数回の場合であって、かつ、感情判定部３１が判定した被験者ＨＫの感情が正の感情である場合は、情動判定部３２は、被験者ＨＫの心理状態は感激している状態であると判定する。被験者ＨＫの感情が正の感情である場合は、被験者ＨＫは快い心理状態にあると考えられる。さらに、被験者ＨＫが鑑賞した映像等が面白くて笑ったりしたような感激した心理状態になると、心拍数が平均値未満の安静領域から、平均値以上の情動領域に変動し、この変動はある程度持続すると考えられる。従って、計数部２６が計数した心拍数変動回数が複数回の場合であって、かつ、感情判定部３１が判定した被験者ＨＫの感情が正の感情である場合は、情動判定部３２は、被験者ＨＫの心理状態は感激している状態であると判定することができる。

　計数部２６が計数した心拍数変動回数が複数回の場合であって、かつ、感情判定部３１が判定した被験者ＨＫの感情が負の感情である場合は、情動判定部３２は、被験者ＨＫの心理状態は憤激している状態であると判定する。被験者ＨＫの感情が負の感情である場合は、被験者ＨＫは不快な心理状態にあると考えられる。さらに、被験者ＨＫが嫌いな人に怒られたりしたような憤激した心理状態になると、心拍数が平均値未満の安静領域から、平均値以上の情動領域に変動し、この変動はある程度持続すると考えられる。従って、計数部２６が計数した心拍数変動回数が複数回の場合であって、かつ、感情判定部３１が判定した被験者ＨＫの感情が負の感情である場合は、情動判定部３２は、被験者ＨＫの心理状態は憤激している状態であると判定することができる。

　計数部２６が計数した心拍数変動回数が０回の場合であって、かつ、被験者ＨＫの心拍数が平均心拍数以上の状態が所定期間において維持された場合は、情動判定部３２は、被験者ＨＫの心理状態を判定することができない情動判定不能状態と判定する。図５（Ａ）及び（Ｂ）は、所定期間における心拍数の変動からは、感情を判定することが難しい場合の例を示すグラフである。図５（Ａ）は所定期間において心拍数を表す曲線Ｌ４が情動領域で安定した状態を示し、図５（Ｂ）は所定期間において心拍数を表す曲線Ｌ５が情動領域で大きく変動している状態を示している。ただし、これらの場合は、心拍数は情動領域にあり、所定期間において常に平均心拍数以上となっている。これは、被験者ＨＫの身体が疲労している状態にあるか、激しい運動を行っている状態にあると考えられ、情動判定を適切に行うことは難しい状態であると考えられる。従って、計数部２６が計数した心拍数変動回数が０回の場合であって、かつ、被験者ＨＫの心拍数が平均心拍数以上の状態が所定期間において維持された場合は、情動判定部３２は、被験者ＨＫの心理状態を判定することができない情動判定不能状態と判定することができる。

　表１に、情動判定部３２が、感情判定部３１による被験者ＨＫの感情の判定結果及び計数部２６が計数した心拍数変動回数に基づいて判定する被験者ＨＫの心理状態の一覧を示す。

　上述したように、情動判定部３２は、心拍変動回数が０回の場合は、感情判定部３１の判定結果が正の感情であるか、負の感情であるかに関わらず、被験者の心理状態は「安定」している状態であると判定し、心拍変動回数が１回の場合は、感情判定部３１の判定結果が正の感情であるか、負の感情であるかに関わらず、被験者の心理状態は「驚き」の状態であると判定する。このように、心拍変動回数が０回、または１回の場合は、情動判定部３２は、感情判定の結果が正の感情であるか、負の感情であるかに関わらず、心拍変動回数から被験者の心理状態を判定することができる。ここで、正または負の感情のいずれかにかかわらず、心拍数変動回数に基づいて判定可能な心理状態を「第１心理状態」とする。

　一方、心拍変動回数が複数回の場合は、情動判定部３２は、感情判定部３１の判定結果が正の感情である場合は、被験者の心理状態は「感激」している状態であると判断し、感情判定部３１の判定結果が負の感情である場合は、被験者の心理状態は「憤慨」している状態であると判断する。このように、心拍変動回数が複数回の場合は、情動判定部３２は、感情判定の結果である正の感情または負の感情のいずれかと、心拍変動回数とに基づいて、被験者の心理状態を判定することができる。ここで、正または負の感情のいずれかと、心拍数変動回数とに基づいて判定可能な心理状態を「第２心理状態」とする。このように、被験者の心理状態は、第１心理状態と、第２心理状態とを含む。情動判定部３２は、心拍変動回数が複数回の場合に、第２心理状態が「感激」している状態であるのか、または、「憤慨」している状態であるのかの判定を行う場合に、感情判定部３１によって判定された被験者の感情が正の感情であるか、または、負の感情であるかの判定結果を用いる。即ち、情動判定部３２は、少なくとも、第２心理状態の判定を行う場合に、感情判定部３１による判定結果を用いる。

　このように、情動判定部３２は、判定する心理状態に応じて、感情判定部３１による判定結果を、心理状態の判定に用いることが可能である。

　但し、情動判定部３２は、心拍変動回数が０回および１回の場合であっても、感情判定部３１による判定結果を用いて心理状態（例えば、より詳細な心理状態）を判定してもよい。この場合も、情動判定部３２は、感情判定部３１による判定結果を、心理状態の判定に用いることが可能な例である。

　報知部４０は、情動判定部３２による被験者ＨＫの感情の判定結果を表示部４１に表示させる。特に、報知部４０は、情動判定部３２による被験者ＨＫの感情の判定結果を表示部４１に表示させるとともに、送信部４２を介して外部に送信する。報知部４０は、情動判定部３２の判定結果を出力する出力部の一例である。

　図６は感情判定装置１の動作を示すフローチャートである。まず、ステップＳ１０１において、撮像部１０が撮像素子１１によって被験者ＨＫの測定枠Ｓａの画像Ｇｒを撮影し、その画像データを情報端末５に送信する。続いて、顔認識部２１は被験者ＨＫの画像データから測定部位を特定する。

　次に、ステップＳ１０２において、脈波抽出部２２が、顔認識部２１が特定した測定部位の皮膚色の時系列信号Ｅ１から被験者ＨＫの脈波信号を抽出する。間隔検出部２３は、脈波信号から脈波間隔を算出してその時系列データを生成し、その時系列データを脈波メモリ２４に記憶させる。

　次に、ステップＳ１０３において、カオス解析部２５が、Ｓ１０２で記憶された脈波間隔の時系列データに基づいて脈波間隔の最大リアプノフ指数λを算出する。

　次に、ステップＳ１０４において、計数部２６が、脈波信号から抽出した心拍数の時間的変化に基づいて、所定期間において、所定値以上の心拍数変動があるか否かを判断する。所定値以上の心拍数変動がない場合は、ステップＳ１０５において、所定期間における被験者ＨＫの心拍数が平均心拍数未満であるか否かを判断する。

　被験者ＨＫの心拍数が平均心拍数未満の状態が所定期間において維持された場合は、ステップＳ１０６において、情動判定部３２が、被験者ＨＫの感情は安定している状態であると判定する。一方、被験者ＨＫの心拍数が平均心拍数以上の状態が所定期間において維持された場合は、ステップＳ１０７において、情動判定部３２が、被験者ＨＫの情動判定は行うことができない情動判定不能状態と判定する。

　ステップＳ１０４において、所定値以上の心拍数変動があると判断された場合は、ステップＳ１０８において、計数部２６が、所定期間における被験者ＨＫの心拍数変動回数が１回のみであるか否かを判断する。被験者ＨＫの心拍数変動回数が１回のみである場合は、ステップＳ１０９において、情動判定部３２が、被験者ＨＫの感情は驚いている状態であると判定する。

　一方、ステップＳ１０８において、所定期間における被験者ＨＫの心拍数変動回数が１回のみではない、即ち複数回である場合は、ステップＳ１１０において、感情判定部３１が、ステップＳ１０３において算出した最大リアプノフ指数λを閾値λｔと比較し、被験者ＨＫが正の感情であるか、あるいは、負の感情であるかを判断する。

　被験者ＨＫが正の感情であると判断した場合は、ステップＳ１１１において、情動判定部３２が、被験者ＨＫの感情は感激している状態であると判定する。一方、被験者ＨＫが負の感情であると判断した場合は、ステップＳ１１２において、情動判定部３２が、被験者ＨＫの感情は憤激している状態であると判定する。

　以上のように、本開示の実施形態に係る感情判定装置によれば、被験者ＨＫの画像情報から、被験者ＨＫの心理状態が、安定している状態、驚いている状態、感激している状態、及び憤激している状態のいずれであるかを非接触で判定することができる。

　本開示の実施形態に係る感情判定装置を用いることにより、例えば介護施設等においてうまくコミュニケーションが取れない人の感情を把握することができる。即ち、高齢者等に施した介護行為に対して高齢者等が喜んでいるのか（感激）、怒っているのか（憤激）を判別することができる。そのため、判別結果に応じて介護士が高齢者等に対して次にどのような介護行為を行うべきかを決定することができる。また、毎日、同一時間帯の同一行為における高齢者等の被験者の感情リズムを記憶するようにし、同一時間帯の同一行為における感情リズムを見ることができるようにしても良い。同一時間帯の同一行為における感情リズムを知る事で、被験者の体調変化を間接的に把握することができる。さらに、本開示の実施形態に係る感情判定装置を高齢者等に対する自動トレーニング装置に組み込むことにより、感情表現や表情が乏しい高齢者等に対して、自動トレーニング装置が高齢者等の感情を判定したうえで、高齢者等に対して適切な助言を行いながらトレーニングを行うことができる。

［実施例１］
　次に、実施例１に係る感情判定装置について説明する。図７は実施例１に係る感情判定装置を備えた情報端末を用いたＷｅｂ会議システムの概略構成図である。

　Ｗｅｂ会議等のビデオ通話では、表示画面に表示された相手の表情から感情を読み取ることが難しいという問題がある。実施例１に係る感情判定装置は、Ｗｅｂ会議等において相手側から送信された相手の画像情報から相手の感情を判定するものである。

　第１被験者ＨＫ１の前に設置された第１感情判定装置１０１と、第２被験者ＨＫ２の前に設置された第２感情判定装置２０１とは、インターネット１００で接続され、両者の間でＷｅｂ会議を行うことができるものとする。第１感情判定装置１０１は、第１情報端末１０５と、カメラ１１１と、マイク１１２と、を有する。カメラ１１１は、第１被験者ＨＫ１の画像を撮像し、マイク１１２が集音した音声データと共にインターネット１００を介して第２被験者ＨＫ２の第２情報端末２０５に送信される。特に、カメラ１１１は、第１被験者ＨＫ１の測定枠Ｓａ１の画像を撮像し、第１情報端末１０５は、カメラ１１１が撮像した画像を第２情報端末２０５に送信する。第２情報端末２０５の表示部２４１には第１被験者ＨＫ１の画像と共に第１被験者ＨＫ１の心拍数ｂ１のリアルタイムのデータが表示される。第２情報端末２０５は、第１被験者ＨＫ１の心拍数ｂ１を平均心拍数ｂ_ave1と比較し、所定期間における心拍数ｂ１の時間的変化から第１被験者ＨＫ１の感情を判定することができる。また、表示部２４１の感情判定領域２４３に感情の判定結果（例えば、正の感情）を表示したり、情動表示領域２４４に情動の判定結果（例えば、安定した状態）を表示したりすることができる。

　同様に、第２感情判定装置２０１は、第２情報端末２０５と、カメラ２１１と、マイク２１２と、を有する。カメラ２１１は、第２被験者ＨＫ２の画像を撮像し、マイク２１２が集音した音声データと共にインターネット１００を介して第１被験者ＨＫ１の第１情報端末１０５に送信される。特に、カメラ２１１は、第２被験者ＨＫ２の測定枠Ｓａ２の画像を撮像し、第２情報端末２０５は、カメラ２１１が撮像した画像を第１情報端末１０５に送信する。第１情報端末１０５の表示部１４１には第２被験者ＨＫ２の画像と共に第２被験者ＨＫ２の心拍数ｂ２のリアルタイムのデータが表示される。第１情報端末１０５は、第２被験者ＨＫ２の心拍数ｂ２を平均心拍数ｂ_ave2と比較し、所定期間における心拍数ｂ２の時間的変化から第２被験者ＨＫ２の感情を判定することができる。また、表示部１４１の感情判定領域１４３に感情の判定結果（例えば、正の感情）を表示したり、情動表示領域１４４に情動の判定結果（例えば、感激した状態）を表示したりすることができる。

　図７には、２人の被験者の間で感情判定装置を用いてＷｅｂ会議を行う例を示しているが、２人以上の被験者の間でも同様に感情判定装置を用いてＷｅｂ会議を行うことができる。

　図８は実施例１に係る感情判定装置のブロック図である。第１情報端末１０５及び第２情報端末２０５の構成は、図２に示した実施形態に係る情報端末５の構成に加えて、受信部（１９１、２９１）と、音声再生部（１４５、２４５）と、音声判定部（１２７、２２７）と、送信部（１９２、２９２）と、を備えている。

　送信部（１９２、２９２）は、それぞれ、カメラ（１１１、２１１）及びマイク（１１２、２１２）によって取得された、第１被験者ＨＫ１または第２被験者ＨＫ２の画像情報及び音声情報を、インターネット１００を介して、相手側の端末である第２情報端末２０５の受信部２９１及び第１情報端末１０５の受信部１９１に送信する。

　受信部（１９１、２９１）は、それぞれ、第２情報端末２０５の送信部２９２及び第１情報端末１０５の送信部１９２から送信された第２被験者ＨＫ２及び第１被験者ＨＫ１の画像情報及び音声情報を受信する。

　音声再生部（１４５、２４５）は、それぞれ、受信部（１９１、２９１）が受信した情報に含まれる音声データを再生する。音声再生部（１４５、２４５）にはスピーカを用いることができる。

　音声判定部（１２７、２２７）は、それぞれ、受信部（１９１、２９１）が受信した音声情報に基づいて、音声情報の継続時間から第１被験者ＨＫ１及び第２被験者ＨＫ２のどちらが話し手、または聞き手になっているかを判断する。

　話し手側は自分が話す行為自体によって情動が生じてしまい、正確な感情判定を行うことができない場合がありうる。そこで、音声判定部（１２７、２２７）によって、一定時間（例えば、１０秒以上）話し手と聞き手の関係が継続する場合に、聞き手の感情判定及び情動判定を行い、話し手側の情報端末の表示部に、聞き手の感情の判定結果を随時表示するようにしてもよい。このようにすることにより、聞き手がどのような感情を持って話し手の会話を聞いているのかを話し手側で把握することができる。

　上述した実施例では、送り手側から送信された画像情報に基づいて受け手側で感情を分析する例を示している。実施例１に係る感情判定装置は、取得した映像情報から心拍数（脈拍）を算出しているため、映像のフレームレートがそのままサンプリングレートになる。従って、受信映像の伝送レートを監視して、伝送レートが適正範囲の場合にのみ感情判定を行うようにしてもよい。

　また、Ｗｅｂ会議等で複数人が同時に会議に参加すると、通信回線の容量の制限から適切なタイミングで相手側の画像情報を取得できない場合も考えられる。そのような場合には、伝送レート値に合わせて、感情判定を送信側で行うか受信側で行うかを切り換えるようにしてもよい。具体的には、リアルタイムで送信される画像情報に基づいて感情を判定する代わりに、予め取得した聞き手の画像情報を話し手に送信した後に、話し手側で感情を判定する方法（第１の方法）と、聞き手側で感情を判定した結果を話し手側に送信する方法（第２の方法）が考えられる。第１の方法は、送信する画像情報の量が多くなると考えられる。一方、第２の方法は、判定結果のデータを画像情報に加えるため通信フォーマットを調整する必要がある。そこで、第１の方法と第２の方法を伝送レートに応じて適宜切り替えるようにすることが好ましい。

　また、送信側が憤激している場合等、感情の判定結果を直接的に伝達すると相手の心証を害する場合も考えられる。そのような場合には、判定結果に応じて、送信側の被験者の映像の縁取りの色を変えるなど、感情の判定結果を間接的にフィードバックさせるようにしてもよい。被験者の映像の縁取りの色を変えるほか、測定枠（Ｓａ１、Ｓａ２）や心拍数（ｂ１、ｂ２）のグラフの曲線の色を変えても良い。例えば、測定枠（Ｓａ１、Ｓａ２）の色で情動を表示し、心拍数（ｂ１、ｂ２）のグラフの曲線の色で感情を表示するようにしてもよい。

　実施例１に係る感情判定装置によれば、Ｗｅｂ会議等において、話し手の話を聞いている聞き手の感情を判定することができる。

［実施例２］
　次に、実施例２に係る感情判定装置について説明する。図９は実施例２に係る感情判定装置の画面の表示例を示す図である。実施例２に係る感情判定装置は、専用のＷｅｂ会議ソフトや動画再生アプリ、動画プレーヤーなど、既成ソフト上で動画表示装置３００に表示される動画に対して、感情判定を行うものである。

　実施例２に係る感情判定装置は、実施例１に係る感情判定装置とは異なり、撮像素子を用いて被験者の画像を取得する代わりに、画面上の既存ソフトの表示映像をビデオＲＡＭ（ＶＲＡＭ）３０１から取り込んで感情判定を実行する。ビデオＲＡＭ３０１から取り込んだ被験者ＨＫの画像は情報端末５の表示部４１に表示され、測定枠Ｓａにおける脈波から心拍数ｂの時間的変化が平均心拍数ｂ_aveとともに表示部４１に表示される。さらに、表示部４１の感情判定領域４３に感情の判定結果（例えば、負の感情）を表示したり、情動表示領域４４に情動の判定結果（例えば、憤激した状態）を表示したりすることができる。

　図１０は、実施例２に係る感情判定装置１０２のブロック図である。感情判定装置１０２は、動画表示装置３００と、情報端末５と、を備えている。情報端末５は、図２に示した実施形態に係る情報端末５の構成に加えて、映像取得部２８を備え、送信部の代わりに音声再生部４５を備えている。

　映像取得部２８は、被験者ＨＫの測定枠Ｓａの画像を、連続して複数枚、自動撮影する。映像取得部２８は、内蔵する顔認識のアプリケーションプログラムによって、被験者ＨＫの額の測定枠Ｓａを自動的に追尾する機能を有している。これにより、被験者ＨＫの測定枠Ｓａ位置が表示部４１における表示領域内で移動しても、被験者ＨＫの脈波を捉えることが可能である。

　音声再生部４５は、映像取得部２８が取得した情報に含まれる音声データを再生する。音声再生部４５にはスピーカを用いることができる。

　実施例１に係る感情判定装置においては、被験者の画像をカメラで撮像していたが、実施例２に係る感情判定装置においては、改めて画像を取得することなく、既存の映像を利用して映像に含まれる人物を被検者として、この人物の感情判定を行うことができる。従って、例えば、動画共有サービスにアップロードされた映像に映し出された人物の感情判定を行うことができる。具体的には、例えば、ある人物の謝罪会見の映像が動画表示装置３００にアップロードされていた場合、その人物の画像データをビデオＲＡＭ３０１から映像取得部２８に取り込み、感情判定を行うことにより、謝罪会見時における当該人物の感情がどのようなものであったのかを判定することができる。

　あるいは、動画表示装置３００を用いてビデオ通話を行う相手の画像を表示させた場合は、通話相手の画像をビデオＲＡＭ３０１から映像取得部２８に取り込み、感情判定を行うことにより、ビデオ通話を行っている相手の感情がどのようなものであるのかをリアルタイムで判定することができる。

　さらに、動画表示装置３００を用いて映画やドラマ等の映像ソフトを表示させた場合は、映画やドラマに出演している役者の画像をビデオＲＡＭ３０１から映像取得部２８に取り込み、感情判定を行うことにより、演技を行っている役者の感情がどのようなものであったのかを判定することができる。

　以上説明したように、実施例２に係る感情判定装置によれば、謝罪会見等における話者の感情を判定したり、ドラマ等の出演者の感情を分析しながら動画を鑑賞したりすることができる。

［実施例３］
　次に、実施例３に係る感情判定装置について説明する。図１１は、実施例３に係る感情判定装置を用いたマーケティング調査システムの構成概略図である。実施例３に係る感情判定装置１０３は、情報端末５と、撮像部１０と、を有する。被験者ＨＫは、ディスプレイ４００に表示された商品の画像を観察する。撮像部１０の撮像素子１１は、被験者ＨＫの測定枠Ｓａの画像を撮像し、撮像部１０は撮像素子１１が撮像した被験者ＨＫの画像を情報端末５に送信する。情報端末５は、被験者ＨＫがディスプレイ４００に表示された商品を観察した時の感情を判定し、判定結果を、インターネット１００を介して、統計分析サーバ５００に送信する。統計分析サーバ５００は複数の被験者が同じ商品を観察した時の感情を分析し、消費者である被験者に対する、その商品の訴求効果を分析することができる。

　図１２は、実施例３に係る感情判定装置のブロック図である。被験者ＨＫの感情判定結果は、送信部４２からインターネット１００を介して統計分析サーバ５００に送信され、統計分析サーバ５００において被験者ＨＫの感情判定結果を分析する。従って、情報端末５に被験者ＨＫの感情判定結果を表示する必要がないため、表示部を備えていなくてもよい。

　実施例３に係る感情判定装置１０３を、デジタルサイネージを利用したマーケティング調査に適用して被験者（消費者）の感情判定結果から、ある商品が好意的に見られているのか否かを分析することができる。例えば、デジタルサイネージ等の情報表示装置と感情判定装置１０３とを組み合わせて、商品展示を行うことにより、ある商品に対する消費者（被験者）の感情をリアルタイムで観察し、正の感情で情動の頻度が高かったりした場合には、当該商品は消費者に好まれていると判断できるというように、マーケッティング調査に活用することができる。

　さらに、感情判定装置１０３は、ある商品に対する消費者（被験者）の感情判定データのみを抽出することができるため、個人情報を扱わずにマーケティング調査を行うことができる。

［実施例４］
　次に、実施例４に係る感情判定装置について説明する。図１３は、実施例４に係る感情判定装置を用いた機械制御システムの構成概略図である。実施例４に係る感情判定装置１０４は、情報端末５と、撮像部１０と、を有する。感情判定装置１０４は、機械操作を行う被験者ＨＫの感情を情報端末５が判定し、その結果に基づいて情報端末５が機械２に対して制御信号を送信することにより、被験者ＨＫが安全に機械を操作することができるようにするものである。機械２に設置された撮像部１０の撮像素子１１は、機械２の操作者である被験者ＨＫの測定枠Ｓａの画像を取得し、情報端末５に送信する。情報端末５は、受信した画像データから被験者ＨＫの感情を判定し、判定結果に基づいて機械２を制御する制御信号を機械２の受信部２２０に送信する。受信部２２０は受信した制御信号を制御部２１０に入力し、制御部２１０は制御信号に従って機械２を制御する。例えば、操作者である被験者ＨＫの感情が憤激している状態にあり、操作者は機械２を正常に操作することができない状態にあると判断した場合には、情報端末５は機械２に対して機械２を強制的に停止する制御信号を送信するようにしてもよい。また、機械２を強制的に停止させると却って被験者ＨＫを危険にさらす可能性がある場合には、被験者ＨＫの感情を安定した状態に戻すように警告を発するための信号を送信するようにしてもよい。

　図１４は、実施例４に係る感情判定装置１０４のブロック図である。実施例４に係る感情判定装置１０４を構成する情報端末５は、機械２を制御するための信号を生成する制御信号生成部４６を備えている。

　制御信号生成部４６は、情動判定部３２が判定した被験者ＨＫの感情判定の結果に基づいて、機械２を制御するための制御信号を生成する。例えば、機械２を操作する被験者ＨＫの感情が、安定している状態、または感激している状態の場合は、そのまま機械２の操作を継続しても問題ないと判断できるため、機械２に対する制御信号は生成しない。あるいは、この場合は、被験者ＨＫは機械２の操作を継続しても問題ないと判断されるため、機械２の制御を継続させる信号を生成するようにしてもよい。

　一方、情動判定部３２が判定した被験者ＨＫの感情が憤激している状態であって、そのまま機械２の操作を継続すると操作者（被験者）の安全を維持できない恐れがある場合には、制御信号生成部４６は、情動判定部３２の感情判定結果に基づいて、機械２を強制的に停止する信号、または操作者に対して警告を発するための信号を生成する。

　制御信号生成部４６が生成した機械２に対する制御信号は送信部４２を介して機械２の受信部２２０に送信される。機械２の受信部２２０は、受信した制御信号を制御部２１０に入力し、制御部２１０は制御信号に基づいて機械２を制御する。

　また、情動判定部３２は、操作者（被験者）の感情を継続して判定した結果、憤激した状態から、安定した状態に変化した場合には、制御信号生成部４６は情動判定部３２の感情判定の結果に基づいて、機械２の操作を再開させる信号を生成し、機械２に送信するようにしてもよい。

　上記の例では情報端末５による操作者（被験者）の感情判定結果に基づいて、情報端末５が機械２に対して制御信号を送信する例を示したが、このような例には限られない。例えば、情報端末５が判定した操作者の感情判定結果を複数の機械２を管理する管理センターに送信し、管理センター側から機械２に対する制御信号を送信するようにしてもよい。このようにすることで、管理センターは、操作者の感情判定結果を把握することができるため、操作者の健康管理も同時に行うことができる。

　実施例４に係る感情判定装置を用いて操作者の感情の判定結果に基づいて機械の制御を行うようにすることにより、操作者の安全を確保することができ、感情判定装置をいわゆるヒヤリハットセンサとして機能させることができる。

　以上説明した実施例においては感情判定装置を情報端末で実現した例を示したがこのような例には限られない。例えば、感情判定装置の動作を制御基板上で実現し、デジタルサイネージに適用する場合には、表示装置に制御基板を組み込むようにしてもよい。この場合、表示装置にカメラを設置し、制御基板上で実行された感情判定の結果をサーバに送信し、サーバ側で統計分析を行うことができる。

　また、撮像部としてスマートホン等の携帯端末を用いた例を示したが、介護施設等で介護をしながら被験者である高齢者等の画像を撮像するために、撮像部として目線カメラを使って高齢者等の顔を認識して、介護士が高齢者等を見た時に取得した画像に基づいて感情判定を行うようにしてもよい。また、感情判定の結果を音声で報知するようにしてもよい。具体的には、例えば、介護士が身に着けたイヤホンや、タブレット端末のスピーカから音声で感情判定の結果を報知するようにしてもよい。目線カメラを用いた場合、目線先が測定対象になり、目線カメラの画面上で感情判定の結果を確認することが難しい場合も想定されるが、そのような場合であっても音声によって感情判定の結果を認識することができる。目線カメラを撮像素子として用いた場合は、目線カメラは小型であって携帯には便利ではあるものの、処理能力が十分ではない場合もあるため、取得した映像を無線で他の端末に送信し、受信した端末側で感情判定を行うようにしてもよい。

　なお、感情判定の結果の音声による報知は、他の実施例、特に、実施例４に係る感情判定装置を用いた機械制御システムにて実施するようにしてもよい。感情判定の結果や警告を音声で報知することにより、機械の操作者が作業に集中し、制御画面を注視していないような場合であっても、感情判定の結果や警告を音声によって認識することができる。

　あるいは、撮像素子としてスマートウォッチに設けられたカメラを用いるようにしてもよい。スマートウォッチで撮像した画像はスマートウォッチ本体で感情判定を行ってもよく、撮像した画像を他の端末に送信し、受信した端末側で感情判定を行うようにしてもよい。

［実施例５］
（複数人同時測定）
　近年、インターネットやイントラネットを介したＷｅｂ会議を行う機会が増えている。Ｗｅｂ会議の例として、例えば、企業がインターネットを介して複数の顧客に対してプレゼンテーションを行う場合や、教師が複数の生徒に対してインターネットを介して授業を行う場合等がある。このとき、企業や教師等のＷｅｂ会議を主催する側は、複数の顧客や複数の生徒等の複数の受講者が、話を集中して聴講しているか、あるいは、プレゼンテーションや授業等が良好な状態で行うことができたか否かを把握することが好ましい。講義の受講者は、講義への参加者であるため、以下、「受講者」を「参加者」と称する。

　しかしながら、Ｗｅｂを利用したセミナー等の場合においても、実施例２のＷｅｂ会議の場合と同様であり、講師は、複数の参加者の顔を直接的に視認するのではなく、画面を介して複数の参加者の顔を見るため、セミナー主催者が、各参加者がどのような状態で聴講しているのかを把握することが難しいという問題がある。ここで、Ｗｅｂ会議の主催者側が参加者に対して提示する対象を「プレゼンテーション」、「授業」、「セミナー」等と称することがあるが、本明細書では、これらを「講義」と称するものとする。

　本開示の実施例５に係る感情判定装置は、参加者が複数の場合であっても、複数の参加者がどのような状態で聴講したかを把握することを目的としている。本開示の実施例１に係る感情判定装置は、１人の被験者の感情分析を行っているのに対して、本開示の実施例５に係る感情判定装置は、複数の被験者の感情分析を同時に実行する点を特徴としている。さらに、本開示の実施例５に係る感情判定装置は、後述するように参加者が理想的な状態で聴講している時間を表す最適聴講時間を算出し、参加者がどのような状態で聴講していたかを判定する点を特徴としている。

　一例として、講義主催者が複数の参加者に対して講義を行う場合を例にとって、本開示の実施例５に係る感情判定装置について説明する。即ち、被験者は、講義を受講する受講者（参加者）である。図１５に本開示の実施例５に係る感情判定装置である講義開催側ＰＣ６００のブロック図を示す。講義開催側ＰＣ６００は、複数の参加者Ａ、参加者Ｂ、・・・、参加者Ｎのそれぞれが講義を聴講する際に用いる端末Ａ（５００ａ）、端末Ｂ（５００ｂ）、・・・、端末Ｎ（５００ｎ）との間で、インターネット１００を介してデータを送受信する。

　端末Ａ（５００ａ）は、カメラ５０１と、マイク５０２と、送受信部５０３と、表示部５０４と、を備えている。カメラ５０１は参加者Ａの顔の画像を撮像する。マイク５０２は、参加者Ａの音声を集音する。カメラ５０１及びマイク５０２は、端末Ａ（５００ａ）に内蔵されていてもよく、外付けであってもよい。送受信部５０３は、講義開催者側ＰＣ６００との間でインターネット１００を介してデータを送受信する。表示部５０４は、講義開催者側ＰＣ６００から送信された講義に関する情報を表示する。表示部５０４は、講義を主催する講師の顔の画像や、参加者Ａ自身の顔の画像等を表示してもよい。端末Ｂ（５００ｂ）及び端末Ｎ（５００ｎ）等の構成は端末Ａ（５００ａ）の構成と同様である。

　講義開催者側ＰＣ６００は、コンテンツ配信部６０１と、送受信部６０２と、全参加者顔認識部６０３と、各参加者画像切出部６０４と、参加者感情分析部（６０５ａ、６０５ｂ、・・・、６０５ｎ）と、各参加者個別ログ記憶部６１１と、表示／報知部６１２と、を有する。

　コンテンツ配信部６０１は、講義を開催する講師が講義に用いる画像や映像等のコンテンツを所定の時間に渡って配信する。コンテンツは講師がリアルタイムで配信してもよく、予め用意した動画等を再生することにより配信してもよい。

　送受信部６０２は、端末Ａ（５００ａ）、端末Ｂ（５００ｂ）、・・・、端末Ｎ（５００ｎ）からインターネット１００を介して、参加者Ａ、Ｂ、・・・、Ｎの顔の画像を含むデータを受信する。例えば、講義の参加者が４人の場合は、図１６に示すように、表示／報知部６１２の画面にそれぞれの参加者の画像（４１ａ～４１ｄ）が表示される。図１６には、参加者が４人の場合を示したが、このような例には限られない。

　全参加者顔認識部６０３は、複数の参加者全員の顔の画像を認識する。即ち、全参加者顔認識部６０３は、撮影部の一例であり、複数人の被験者の顔が撮影可能である。講義に用いるＷｅｂ会議用のアプリケーションソフトは、画面のどこに参加者の顔が映し出されているかを認識する機能は備わっていないのが通常であり、参加者が何人いるのかも不明である。例えば、端末（５００ａ、５００ｂ、・・・、５００ｎ）が講義開催側ＰＣ６００に接続されていたとしても、参加者の顔の画像が送られてこない状態では、参加者が聴講していることを認識することはできない。そこで、全参加者顔認識部６０３は、アプリケーションソフトによって表示されている画像を取り込み、まず大まかな顔の位置をスキャンして参加者が何人いるかを把握する。また、全参加者顔認識部６０３は、複数の参加者のそれぞれの顔位置座標を取得する。顔認識の方法については後述する。

　各参加者画像切出部６０４は、取得した参加者の画像から脈波の分析に利用する画像を切り出す。これは参加者が複数の場合は、画像処理を行うデータ量が多くなり、同時並行的に処理することが難しくなるため、画像処理を行うデータ量を少なくするためである。図１７に参加者の顔の画像から一部の画像を切り出す例を示す。各参加者画像切出部６０４は、例えば、図１７の左上に示すように参加者Ａの画像４１ａの一部４１ａ´を切り出す。同様に、各参加者画像切出部６０４は、他の参加者Ｂ～Ｄの画像（４１ｂ、４１ｃ、４１ｄ）の一部（４１ｂ´、４１ｃ´、４１ｄ´）を切り出す。

　参加者Ａ感情分析部６０５ａは、個別顔認識部６０６と、脈波抽出画像処理部６０７と、ＲＲＩリアプノフ感情判定部６０８と、脈拍数情動判定部６０９と、最適聴講時間判定部６１０と、を有する。

　参加者Ａ感情分析部６０５ａの個別顔認識部６０６は、参加者Ａの顔認識を行う。また、個別顔認識部６０６は、参加者Ａの顔の画像４１ａ´から脈波を抽出するための領域を切り出す。例えば、図１７の左上に示した参加者Ａの画像４１ａ´の一部４１２ａを切り出す。切り出した画像４１２ａは、例えば、参加者Ａの画像４１ａ´の左上に表示させてよい（４１２ａ´）。同様に、他の参加者（Ｂ、Ｃ、Ｄ）の感情分析部（６０５ｂ、６０５ｃ、６０５ｄ）の個別顔認識部６０６は、それぞれ他の参加者（Ｂ、Ｃ、Ｄ）の顔認識を行う。また、他の参加者（Ｂ、Ｃ、Ｄ）の感情分析部（６０５ｂ、６０５ｃ、６０５ｄ）の個別顔認識部６０６は、他の参加者（Ｂ、Ｃ、Ｄ）の顔の画像（４１ｂ´、４１ｃ´、４１ｄ´）から脈波を抽出するための領域を切り出す。例えば、他の参加者（Ｂ、Ｃ、Ｄ）の画像（４１ｂ´、４１ｃ´、４１ｄ´）の一部（４１２ｂ、４１２ｃ、４１２ｄ）を切り出す。切り出した画像（４１２ｂ、４１２ｃ、４１２ｄ）は、例えば、他の参加者（Ｂ、Ｃ、Ｄ）の画像（４１ｂ´、４１ｃ´、４１ｄ´）の左上に表示させてよい（４１２ｂ´、４１２ｃ´、４１２ｄ´）。画像の切り出し方法については後述する。参加者の画像全体のうち、所定の一部の画像（例えば、顔の部分の画像）を切り出して、画像処理を行うことにより、画像処理を行う際のデータ処理量を少なくすることができる。

　脈波抽出画像処理部６０７は、検出部の一例であり、個別顔認識部６０６が切り出した参加者Ａの顔画像４１ａ´の所定の範囲の画像４１２ａを用いて、被験者である参加者Ａの心拍数を含む心拍情報を検出する。

　脈波抽出画像処理部６０７は、実施例１で説明した計数部としての機能も有し、所定期間において、所定値以上の心拍数の増加を伴って、平均心拍数未満の状態から平均心拍数以上の状態に遷移した心拍数変動回数を計数する。

　ＲＲＩリアプノフ感情判定部６０８は、感情判定部の一例であり、脈波抽出画像処理部６０７が検出した心拍情報に基づいて、被験者である参加者Ａの感情が負の感情であるか、又は正の感情であるかを判定する。ＲＲＩは、Ｒ－Ｒ　Ｉｎｔｅｒｖａｌの省略であり、心拍や脈波の間隔を示す。また、ＲＲＩリアプノフ感情判定部６０８は、実施例１の図２における、脈波抽出部２２、間隔検出部２３、脈波メモリ２４、カオス解析部２５、感情判定部３１の５つのブロックに対応する。ここで、一般的に、講義を聴講する参加者のパフォーマンスが最大となるのは、参加者が心理学的に「適度な緊張感」を持ったうえで、「平常心」で聞いているときであると言われている。即ち、参加者がストレスを感じていない状態が必ずしも最良であるというわけではなく、ある程度の「適度な緊張感」を持っている状態が好ましいとされている。参加者が「適度な緊張感」を有している状態とは、参加者が「やや負の感情」を有している状態、即ち、参加者が「やや不快の感情」を有している状態である。ＲＲＩリアプノフ感情判定部６０８は、参加者が「やや負の感情」を有しているか否かを判断することにより、参加者が「やや不快な感情」を有しているか否か、即ち、参加者が「適度な緊張感」を有しているか否かを判断することができる。

　図１８に最大リアプノフ指数と主観的運動強度ＲＰＥ（Rating of Perceived Exertion）との関係を示す。図１８は、一例として、５人の被験者について、各自が色々な疲労度のときの心拍情報から最大リアプノフ指数と心拍数差を測定し、そのときのＲＰＥを判定してプロットしたものである。ＲＰＥとは、トレーニングや運動の主観的なきつさ・疲労度を数字で表した指数である。ＲＰＥを数値化するために６～２０の数字できつさを表すボルグスケールが一般的に用いられる。図１８から、最大リアプノフ指数とＲＰＥとの間には相関関係があり、ＲＲＩリアプノフ感情判定部６０８が算出した最大リアプノフ指数から、ＲＰＥの値を求めることができる。例えば、最大リアプノフ指数が０のときに、ＲＰＥは１２であり、最大リアプノフ指数が－０．７のときに、ＲＰＥは１５である。

　図１９にボルグスケールを示す。ボルグスケールではＲＰＥが１２～１５のときに被験者は、「ややきつい」と感じるものとされており、この状態が、被験者である講義参加者が「適度な緊張感」を持っている状態であると考えられる。なお、ＲＰＥが５以下の場合は、被験者が「最高に楽である」と感じ、ＲＰＥが６～７の場合は、被験者が「非常に楽である」と感じるとされており、これらの場合は、講義の参加者は、「眠気」を感じるものと考えられる。また、ＲＰＥが８～９の場合は、被験者が「かなり楽である」と感じ、ＲＰＥが１０～１１の場合は、被験者が「楽である」と感じるとされており、これらの場合は、講義の参加者は、「快」的であると感じるものと考えられる。また、ＲＰＥが１５～１６の場合は、被験者が「きつい」と感じ、ＲＰＥが１７～１８の場合は、被験者が「かなりきつい」と感じ、ＲＰＥが１９～２０の場合は、被験者が「非常にきつい」と感じるとされており、これらの場合は、講義の参加者は、「不快」であると感じるものと考えられる。

　脈拍数情動判定部６０９は、抽出した脈波が、平均安静脈拍数から所定の範囲内にあるか否かに基づいて、参加者の情動を判定する。図２０に、脈波が平均安静脈拍数から所定の範囲内に入っている場合の脈拍数の時間的変化の例を示す。上述した、参加者が「平常心」を持っている状態とは、脈波が平均安静脈拍数から所定の範囲内に落ち着いている状態であると考えられる。例えば、参加者の脈拍が平均安静脈拍数を中心に、例えば、プラスマイナス５［ｂｐｍ］の範囲内にある場合に、参加者が平常心を持っていると判断してよい。平均安静脈拍数は、日本人の安静脈拍数の平均値である６５［ｂｐｍ］としてもよいし、個々の参加者の平均安静脈拍数を用いてもよい。

　ここで、感情及び情動の分析は、講義の聴講期間中に継続して分析することが好ましい。感情分析のためのリアプノフ指数の更新を例えば３０秒から４０秒ごとに行う場合には、情動の分析もこのタイミングに合わせて、３０秒から４０秒ごとに分析してよい。

　最適聴講時間判定部６１０は、情動判定部の一例であり、脈波抽出画像処理部６０７が計数した心拍数変動回数に基づいて、被験者である参加者の心理状態を判定するとともに、感情判定部であるＲＲＩリアプノフ感情判定部６０８による判定結果を心理状態の判定に用いることが可能である。情動判定部である最適聴講時間判定部６１０は、心拍数変動回数と感情判定部であるＲＲＩリアプノフ感情判定部６０８の判定結果とに基づいて、講義の受講における理想的な心理状態か否かを判定する。即ち、参加者が「適度な緊張感」を有していることを示す、正負感情が「やや不快」の状態であるという第１条件と、参加者の情動が「平常心」であることを示す、脈拍が「平均脈拍から所定の範囲内」であるという第２条件の両者を満たしている場合に、参加者が理想的な心理状態であると判断する。このように、参加者が理想的な心理状態で講義を聴講している時間を積算し、この累積時間を最適聴講時間とする。最適聴講時間が長い程、参加者は理想的な状態で講義を聴講している時間が長いことが分かる。最適聴講時間は、参加者のそれぞれについて個別に算出することができる。複数の参加者の最適聴講時間の合計値を参加者の人数で除算した平均値を算出してもよい。最適聴講時間は、講師による講義の内容が参加者の興味を引く内容であれば最適聴講時間が長くなるものと考えられるため、最適聴講時間を講師の力量を表す指標としてもよい。

　参加者Ｂ感情分析部６０５ｂ及び参加者Ｎ感情分析部６０５ｎ等は、参加者Ａ感情分析部６０５ａと同様の構成を有する。

　各参加者個別ログ記憶部６１１は、複数の参加者のそれぞれについて、講義の開始時点から終了時点あるいは退席時点までにおける、参加者の感情及び情動を時系列に記憶する。ログを参照することにより、参加者が講義中のどの時間帯に理想的な状態で聴講していたかを知ることができる。あるいは、ログを参照することにより、講義中のどの時点で参加者が眠い状態になっていたかを知ることができるため、講義中のどの部分で眠くなりそうな説明を行ったかを講義の後に知ることができる。

　表示／報知部６１２は、出力部の一例であり、ＲＲＩリアプノフ感情判定部６０８及び脈拍数情動判定部６０９の判定結果を出力する。例えば、図１７に示すように、複数の参加者のそれぞれの顔画像の下部にＲＲＩリアプノフ感情判定部６０８による正負感情の判定結果４１１ａ～４１１ｄを文字で表示し、複数の参加者の顔画像の周辺に脈拍数情動判定部６０９による情動の判定結果４１３ａ～４１３ｄを四角形の枠で表示することができる。

　図１７に示した例では、正負感情の判定結果４１１ａ～４１１ｄから、参加者Ａの感情は「不快」であり、参加者Ｂの感情は「やや不快」であり、参加者Ｃの感情は「快」であり、参加者Ｄの感情は「眠」である例を示している。また、これらの文字表示を行う際に、正負感情に応じて文字の色を異ならせるようにしてもよい。例えば、講義聴講時はやや緊張気味になるのが普通であるため、正負感情の表現は「やや負感情」を安全色の「緑文字」で表現し、「負感情」を警告色の「赤文字」で表現してよい。また、極度の正感情は眠気を誘発するため「眠」の「黒文字」で表現してよい。

　また、図１７に示した例では、情動の判定結果４１３ａ～４１３ｄから、参加者の脈拍が、平均安静脈拍数を基準にした所定の範囲に入っているか、所定の範囲の上限を超えているか、あるいは所定の範囲の下限未満であるかを表示することができる。例えば、参加者Ａの脈拍が安静脈拍数範囲（平均脈拍±５［ｂｐｍ］）内である場合は、情動の判定結果４１３ａの枠を例えば「緑色」で表示するようにしてよい。この場合、講義の主催者は情動の判定結果４１３ａが緑色であることに基づいて、参加者Ａが「平常心」であることを認識することができる。また、参加者Ｂの脈拍が安静脈拍数範囲の下限未満である場合は、情動の判定結果４１３ｂの枠を例えば「黒色」で表示してよい。また、参加者Ｃの脈拍が安静脈拍数範囲の上限を超えている場合は、情動の判定結果４１３ｃの枠を例えば「赤色」で表示してよい。また、参加者Ｄの脈拍が安静脈拍数範囲内である場合は、情動の判定結果４１３ｄの枠を例えば「緑色」で表示するようにしてよい。これらの情動の判定結果４１３ａ～４１３ｄの枠の色は、単色としてもよく、脈拍数に応じて中間色としてもよい。

　上記の正負感情及び情動の判定結果の表示方法は一例であって、他の表示方法により正負感情及び情動の判定結果を表示してもよい。例えば、正負感情の判定結果を感情に対応した顔のマーク等で表示するようにしてもよい。また、情動の判定結果を脈拍数に応じた文字や数字等により表示するようにしてもよい。講義の主催者は、これらの正負感情の判定結果及び、情動の判定結果を参照することにより、それぞれの参加者がどのような状態で講義を聴講しているのかを容易に判断することができる。

　また、各参加者の最適聴講時間を個別に算出し、参加者に提示することにより、参加者は自身の聴講状態を容易に把握することができる。また、最適聴講時間を個々の参加者に対して算出し、参加者全員の最適聴講時間を合計し、講義を聴講した参加者で除算することにより平均値を算出することにより、講義全体の最適聴講時間を算出することができる。また、講義の開催時間は、１時間あるいは２時間等、所定の時間に渡って行われるものであるため、最適聴講時間を講義開催時間で除算した、単位時間当たりの規格値として算出するようにしてもよい。例えば、６０分間の講義に対して、最適聴講時間の累積値が１２分間だった場合は、講義の全体の時間に対する最適聴講時間は２０％と算出することができる。

　図２１に実施例５に係る感情判定装置である講義開催側ＰＣ６００の動作手順を説明するためのフローチャートを示す。まず、ステップＳ２０１において、感情センシングを実行するためのプログラムを起動し、Ｗｅｂ会議画面を取得する。ここでは、Ｗｅｂ会議に複数の参加者が参加する場合について説明する。Ｗｅｂ会議の主催者のＰＣの画面に複数の参加者の画像を表示させる。例えば、Ｗｅｂ会議用のソフトウエアを用いて、参加者全員の顔だけを資料を表示させるモニタとは別のモニタに映すことができる。Ｗｅｂ会議において資料を画面共有して説明をしている場合、資料が画面全体に表示され、参加者の顔を表示させることができなくなる場合がある。参加者の表情が見えない場合、Ｗｅｂ会議主催者が説明していても参加者の反応が見えないため、話している内容を参加者が理解できているのか否かを判断することができない。そこで、Ｗｅｂ会議を実行するソフトウエアには、資料を表示するＰＣの画面とは別の画面を追加して、画面を２つにすることが可能な機能を備えている場合がある。この機能を利用することにより、１つの画面には複数の参加者の顔画像を表示し、もう１つの画面には共有された画面を表示させることができる。１つの画面に複数の参加者を並べて表示することにより、複数の参加者の表情を確認しながらＷｅｂ会議を実行することができる。

　次にステップＳ２０２において、全体の顔画像の認識を行い、画面内の参加者の顔の数を計数し、各顔の座標位置を算出する。上述したように、参加者全員が表示されている画面を取り込み、最初に全体の顔画像の認識を行う。ここで、各参加者は画面内で位置を変える場合があるため、所定の期間、例えば、１分間程度の期間で参加者全員の顔画像を認識する。ここで、参加者全員の顔画像を認識することとは、認識された顔画像の数を計数し、画面内における顔が認識された座標位置を算出することをいう。顔画像の座標位置として、目や鼻の座標位置を算出し、顔画像における所定の座標位置、例えば、眉間の位置の座標を各参加者の標準位置としてよい。また、カメラで参加者の顔を撮像したときに、実際には顔の位置は微妙に動いているため、所定の期間、例えば、１分間撮像を行うことにより、ＸＹ座標上でＸＹそれぞれ所定の画素数（例えば、３００画素）以内に参加者が存在している範囲を定義し、その範囲内で顔画像の座標が変動したとしても同一人物とみなすことができる。

　次にステップＳ２０３において、各眉間座標を起点に全体画像から各個々の顔周辺画像を切り出す。例えば、図１７に示すように、眉間の座標の位置を起点にして、参加者の顔の位置の変動を考慮した範囲、例えば、眉間の座標位置を中心にＸＹ方向にプラスマイナス３００画素の範囲を切り出し、この切り出した画像を感情及び情動を判定するための画像とする。

　次に、ステップＳ２０４において、参加者Ａの顔周辺画像を取り込み、画像認識を行う。

　次にステップＳ２０５において、リアルタイムで顔画像を認識できたか否かを判断する。参加者Ａの顔画像を認識することができた場合は、ステップＳ２０６において、感情・情動判定を実行し、ステップＳ２０７において、最適聴講時間を積算し、その後、ステップＳ２０５に戻ってリアルタイムで顔画像の認識できたか否かを判断する。ここで、感情判定を行うための最大リアプノフ指数の算出には所定の期間、例えば、６０秒程度を要し、情動判定も同時に実行しているため、最適聴講時間は、例えば６０秒ごとに算出される。

　ステップＳ２０５において、参加者Ａの顔画像が認識できなかった場合は、ステップＳ２０８において、一定時間顔画像の認識ができなかったか否かを判断する。ステップＳ２０８において、所定時間以内に顔画像を認識できた場合はステップＳ２０５に戻ってリアルタイムで顔画像の認識ができるか否かを判断する。

　一方、ステップＳ２０８において、所定時間（例えば、３分間）以内に顔画像を認識できなかった場合は、参加者Ａは退席したものと判断できるため、ステップＳ２０９において、参加者Ａは退席したと判断し、最適聴講時間及び感情判定結果及び情動判定結果のログを保存する。ここで、参加者Ａの顔画像が認識できないのは、参加者ＡがＷｅｂ会議を行うために講義主催者側ＰＣと接続した端末Ａは接続状態を維持しながら、参加者Ａが端末Ａの前を離れた場合だけでなく、参加者Ａの端末Ａと講義主催者側ＰＣとの接続が遮断された場合、及び講義が終了した場合を含む。

　次に、ステップＳ２１０において、参加者Ａについての最適聴講時間の算出を終了する。ステップＳ２０４からＳ２１０までの工程は、参加者Ａについて最適聴講時間を算出する工程であるが、他の参加者についても同時に並行処理を行って、最適聴講時間を算出する。例えば、参加者Ｎについて、ステップＳ２１１からＳ２１７の工程を実行することにより、参加者Ｎの最適聴講時間を算出する。参加者Ｂ等の他の参加者についても同様である。

　上記の説明においては、複数の参加者のそれぞれが講義を聴講しているか退席したかを判断し、退席した段階で最適聴講時間を算出する例について説明したが、このような例には限られず、Ｗｅｂ会議が終了した時点で参加者全員の顔画像が認識できなくなったものとみなして、その時点で最適聴講時間の累積時間を算出するようにしてもよい。

　（顔画像認識）
　次に、被験者の顔画像の認識方法について説明する。図２２（Ａ）に顔画像から特徴座標を抽出する特徴座標フィッティング方式の出力例を示し、図２２（Ｂ）に撮影した顔の画像から眉間の位置を検出する方式の出力例を示す。

　図２２（Ａ）は、被験者の顔画像から、眉毛７０１、目７０２、鼻筋７０３、鼻７０４、口７０５、及び顔の輪郭７０６のそれぞれの座標位置を抽出し、感情判定及び情動判定を行うために切り出す画像を頬の所定の領域７１０とする例である。この方法は被験者がマスク等を着用しない場合には有効であるがマスク等を着用する場合には、口、鼻及び顔の輪郭の一部が隠れてしまい、座標位置を正確に測ることができないという問題がある。

　そこで、マスクを着用しているか否かに関わらず、被験者の顔の画像の特定の領域を切り出す方法として、図２２（Ｂ）に示すように、被験者ＨＫの顔画像７２０のうち、目と顔の輪郭の画像７２１に対してディープラーニングによる画像認識を行い、眉間からこめかみに渡る所定の領域７２２を感情判定及び情動判定を行うために切り出す画像とするようにしてよい。画像認識を行うための顔の部位は、目及び輪郭には限られず、他の部位でもよいが、マスク７２３を着用した状態でも画像認識を行うことできるように、マスク７２３によって覆われない部位が好ましい。また、感情判定及び情動判定を行うために切り出す領域は眉間周辺には限られず、額等であってもよい。そこで、感情判定装置である講義開催側ＰＣ６００は、複数人が表示される画面から、それぞれの顔を特定し、特定したそれぞれの顔に対して測定部位を特定する測定部位特定手段を有することが好ましい。各参加者画像切出部６０４は、測定部位特定手段の一例である。検出部である脈波抽出画像処理部６０７（図１５参照）は、それぞれの顔の測定部位の画像の変化に基づいて心拍情報を取得することができる。

　ここで、顔画像に含まれる目及び顔の輪郭等の画像からディープラーニングにより特定の領域を抽出する際に計算処理量が増大し、感情判定装置である講義開催側ＰＣ６００を制御するプロセッサに負担が生じることが考えられる。そこで、講義開催側ＰＣ６００のプロセッサの処理量を軽減するために、ディープラーニングによる画像処理をバックエンドで実行することにより、高速化するようにしてもよい。

（ＨＤＭＩによる画像の取り込み）
　上記のような被験者の画像を用いた感情判定を実行するＷｅｂ会議と連動したソフトウエアが使われる場合、イントラ内の業務用途での使用が多く、セキュリティ上、Ｗｅｂ会議用ＰＣ上で感情センシングを実行出来ない場合がある。例えば、感情判定のプログラムでは、映像情報を直接取り込んだり、Ｗｅｂ会議の画面をそのまま取得したりしているので、イントラ上のパソコンで実行すると、ウィルスに感染したり、違法アクセスがされたものと同様に認識される場合がある。ここで、イントラネットの制約を受けない画像出力方法としてＨＤＭＩ出力がある。そこで、ＰＣからプロジェクタにＨＤＭＩ出力を行うように、ＨＤＭＩの映像出力をイントラから出力することができるため、ＨＤＭＩ出力を利用して被験者の顔画像のデータをイントラパソコンに取り込んで感情判定を実行することができる。

　図２３にＨＤＭＩ出力を利用した画像取り込みを実行するための構成例を示す。Ｗｅｂ会議用ＰＣ６２０はイントラネットに接続されているものとする。Ｗｅｂ会議用ＰＣ６２０のＨＤＭＩ出力をＨＤＭＩ分配ユニット８０１に入力する。ＨＤＭＩ分配ユニット８０１は、Ｗｅｂ会議用ＰＣ６２０から入力されたＨＤＭＩ信号を「ＨＤＭＩ１」と「ＨＤＭＩ２」に分配して出力する。ＨＤＭＩ１はＨＤＭＩ入力部８０２に入力され、感情センシング用ＰＣ６００に入力され、感情センシングが実行される。感情センシング用ＰＣ６００はイントラネットに接続されていない（非イントラ）。感情センシング用ＰＣ６００は、ＨＤＭＩ出力に含まれる被験者の顔画像データを利用することにより、イントラネットに接続することなく感情センシングを実行することができる。一方、ＨＤＭＩ２は、プロジェクタに入力され、Ｗｅｂ会議用ＰＣ６２０の画像を表示することができる。

　上記の例では、イントラ上ＰＣであるＷｅｂ会議用ＰＣ６２０のＨＤＭＩ出力から、非イントラＰＣである感情センシング用ＰＣ６００にＷｅｂ会議映像だけを取り込み、感情センシング用ＰＣ６００において感情分析を実行する例を示したが、このような例には限られない。即ち、Ｗｅｂ会議を実行するＷｅｂ会議用ＰＣ６２０上でＨＤＭＩ出力を利用して感情センシングを実行するようにしてもよい。また、イントラネットに接続されたＰＣから、イントラネットに接続されていない非イントラネットのＰＣに対して映像出力を取り出す例としてＨＤＭＩ出力を利用する例について説明したが、このような例には限られない。即ち、イントラネットに接続されたＰＣから、非イントラネットのＰＣに対して映像出力を取り出す出力としてＨＤＭＩ出力以外の他の出力方法を利用してもよい。

［実施例６］
（高齢者コミュニケーション阻害原因判定）
　高齢者と介護者との間にコミュニケーション上のトラブルが生じる場合がある。このトラブルは、介護者が、高齢者とのコミュニケーションを阻害している原因を判定することができないことによるものと考えられる。図２４に、高齢者と介護者との間のコミュニケーションを阻害している原因と対策方法の例を示す。高齢者のコミュニケーション阻害原因としては、大まかに重篤性が低いものから順に（１）～（３）の原因が考えられる。

　（１）第１の原因は、高齢者が介護者に対して抱く性格的に嫌いであることが原因の場合、即ち、高齢者と介護士との間の相性が悪いことが原因の場合である。この第１の原因に対する対策として、高齢者を介護する介護士を他の介護士に変更すること等が考えられる。

　（２）第２の原因は、単純な視力・聴力の低下が原因の場合であり、視力の低下により色が識別できない場合や、聴力の低下により音が聴こえない場合等が考えらえる。この第２の原因に対する対策として、眼鏡を使用することにより視力を補ったり、補聴器を利用することにより、聴力を補ったり、あるいは、図指によりコミュニケーションを取るようにしたりすることにより伝え方の個別対策を行うことが考えられる。

　（３）第３の原因は、認知症などの精神疾患が原因の場合であり、高齢者は物が見え、音が聴こえるものの、その意味を認知出来ない場合等が考えられる。この第３の原因に対する対策として、専門医による対応を行うことが考えられる。

　例えば、第２の原因については、通常の視力・聴力評価を行うのみでは、第１及び第３の原因が含まれている場合があり、コミュニケーションを阻害する原因を正確に特定することができない。そこで、第１～第３の原因を正確に見分けるため、図２５に示すような３つのカテゴリーの映像刺激及び音響刺激を被験者に周期的に与え、情動、又は、正負感情がその周期に同期して変化しているかどうかで原因を推定することができる。

　第１の原因である相性がコミュニケーションの阻害原因となっているか否かを判断するために、映像刺激として特定の介護士の映像等を高齢者に見せることが考えられ、音響刺激として特定の介護士の音声等を高齢者に聞かせることが考えられる。「特定の介護士」は、例えば、コミュニケーションに問題がある高齢者の介護を担当している介護士である。

　第２の原因である視力・聴力がコミュニケーションの阻害原因となっているか否かを判断するために、映像刺激として色のみの映像等を高齢者に見せることが考えられ、音響刺激として特定周波数のビート音等を高齢者に聞かせることが考えられる。

　第３の原因である精神疾患がコミュニケーションの阻害原因となっているか否かを判断するために、映像刺激として騙し絵の映像や、色刺激を含まない恐怖映像等を高齢者に見せることが考えられ、音響刺激として意味のある言葉等を高齢者に聞かせることが考えられる。

　図２６にコミュニケーション阻害原因判定装置である被験者状態判定装置１０００のブロック図を示す。コミュニケーション阻害原因判定装置及び被験者状態判定装置は、感情判定装置の一例である。コミュニケーション阻害原因判定装置である被験者状態判定装置１０００は、表示部１００１と、周期的刺激映像発生部１００２と、スピーカ又はヘッドフォン１００３と、周期的刺激音発生部１００４と、刺激種類切換え部１００５と、カメラ１００６と、顔認識部１００７と、脈波抽出画像処理部１００８と、ＲＲＩリアプノフ感情判定部１００９と、脈拍数情動判定部１０１０と、同期性解析部１０１１と、原因判定部１０１２と、判定結果報知部１０１３と、を有する。

　周期的刺激映像発生部１００２及び周期的刺激音発生部１００４は、刺激発生部の一例であり、被験者の視覚または聴覚への刺激を、休止期間を挟む予め定められた複数の期間に同種の刺激を繰り返し発生する。刺激は、後述する第１刺激、第２刺激、第３刺激の３種類があり、例えば、同種の刺激として、第１刺激を繰り返し発生する。但し、繰り返し発生するそれぞれの刺激は、第１刺激に分類されるものであれば、異なっていても良い。

　表示部１００１は、周期的刺激映像発生部１００２が生成した、被験者である高齢者に対して映像刺激となる映像を表示する。表示部１００１として、液晶表示装置や有機ＥＬ表示装置、あるいはプロジェクタ等を用いることができる。

　スピーカ又はヘッドフォン１００３は、周期的刺激音発生部１００４が生成した高齢者に対して音響刺激となる音声を出力する。

　刺激種類切換え部１００５は、被験者である高齢者に与える刺激を映像刺激とするか音響刺激とするかを切り替える。

　カメラ１００６は、被験者である高齢者の顔の画像を撮像する。

　顔認識部１００７は、カメラ１００６が撮像した画像から顔の画像を認識する。

　脈波抽出画像処理部１００８は、検出部の一例であり、被験者である高齢者の心拍数を含む心拍情報を検出する。

　ＲＲＩリアプノフ感情判定部１００９は、計数部の一例であり、所定期間毎に、所定値以上の心拍数の増加を伴って、平均心拍数未満の状態から平均心拍数以上の状態に遷移した心拍数変動の回数を計数する。

　脈拍数情動判定部１０１０は、情動判定部の一例であり、心拍数変動回数に基づいて、所定期間毎に、刺激に対応する被験者の情動の有無を判定する。

　同期性解析部１０１１は、複数の期間と情動判定部が判定した情動の有無のタイミングとの間に、同期性が存在するか否かを解析する。

　原因判定部１０１２は、阻害要因判定部の一例であり、被験者について、同期性解析部１０１１の解析結果に基づき、他者とのコミュニケーションの阻害要因に関する判定を行う。

　判定結果報知部１０１３は、原因判定部１０１２によって判定された、コミュニケーションの阻害要因の判定結果を出力する。

　刺激発生部である周期的刺激映像発生部１００２及び周期的刺激音発生部１００４が発生する刺激は、視覚または聴覚によって発生が感覚的に認識可能な第１刺激であり、阻害要因判定部である原因判定部１０１２は、視覚または聴覚の異常の有無を判定する。第１刺激は、視覚または聴覚を刺激して、発生が認識される感覚刺激であってよい。ここで、「感覚刺激」には、視覚または聴覚によって発生の有無を感覚的に認識可能な刺激が含まれる。なお、画像または音声を含む刺激の例として動画でもよい。

　第１刺激が、視覚によって発生が認識可能な刺激である場合の例について説明する。図２７に、視覚によって発生が認識可能な第１刺激として、赤色等の視覚自律神経反応色である色刺激を周期的に見せた場合における、被験者である高齢者の情動の時間的変化の例を示す。まず、被験者である高齢者が画像を視認できるように表示部１００１を配置し、赤色等の画像９０１を時刻ｔ１からｔ２までの所定の期間（例えば、３０ｓｅｃ）に渡って、表示部１００１に表示する。次に、時刻ｔ２からｔ３までの所定の期間（例えば、３０ｓｅｃ）に渡って、色刺激を含まない白い画像９０２を表示部１００１に表示する。時刻ｔ３以降は色刺激を含む画像と、色刺激を含まない画像（無刺激）を交互に繰り返して表示部１００１に表示する。この色刺激と無刺激の切替は、周期的刺激映像発生部１００２により実行される。

　色刺激及び無刺激が加えられた被験者である高齢者の顔画像を、カメラ１００６を用いて撮像する。

　脈波抽出画像処理部１００８は、検出部の一例であり、カメラ１００６が撮像した被験者である高齢者の画像から、高齢者の心拍数を含む心拍情報を検出する。

　ＲＲＩリアプノフ感情判定部１００９は、感情判定部の一例であり、心拍情報に基づいて、被験者である高齢者の感情が負の感情であるか、又は正の感情であるかを判定する。

　脈波抽出画像処理部１００８は、計数部としての機能も備えており、所定期間において、所定値以上の心拍数の増加を伴って、平均心拍数未満の状態から平均心拍数以上の状態に遷移した心拍数変動回数を計数する。

　情動判定部である脈拍数情動判定部１０１０は、心拍数変動回数に基づいて、被験者の心理状態、例えば、情動の有無を判定する。

　同期性解析部１０１１は、色刺激及び無刺激の複数の期間と情動判定部が判定した情動の有無のタイミングとの間に、同期性が存在するか否かを解析する。

　阻害要因判定部である原因判定部１０１２は、色刺激のタイミングと情動が生じるタイミングとが同期しているか否かに基づいて視覚の異常の有無を判定する。例えば、図２７に示した例では、時刻ｔ１からｔ２に渡って、色刺激を含む画像９０１を表示したときに高齢者の情動が検出され、時刻ｔ２からｔ３に渡って、色刺激を含まない白い画像９０２を表示したときに高齢者の情動が検出されていない。即ち、色刺激を含む画像９０１を表示するタイミングに合わせて情動が検出されている。この場合は、被験者である高齢者は色を認識していると判断することができ、視覚に異常はないものと判定することができる。

　次に、第１刺激が、聴覚によって発生が認識可能な刺激である場合の例について説明する。図２８に、聴覚によって発生が認識可能な第１刺激として、所定の周波数（例えば、５００Ｈｚ）のビート音を周期的に聞かせた場合における、被験者である高齢者の情動の時間的変化の例を示す。まず、５００Ｈｚのビート音を時刻ｔ１からｔ２までの所定の期間（例えば、３０ｓｅｃ）に渡って、スピーカまたはヘッドフォン１００３から出力する。次に、時刻ｔ２からｔ３までの所定の期間（例えば、３０ｓｅｃ）に渡って、スピーカまたはヘッドフォン１００３から音を出力しない（無音）。時刻ｔ３以降は５００Ｈｚのビート音の出力と無音を交互に繰り返す。この５００Ｈｚのビート音と無音の切替は、周期的刺激音発生部１００４により実行される。

　５００Ｈｚのビート音と無音が加えられた被験者である高齢者の顔画像を、カメラ１００６を用いて撮像する。

　ＲＲＩリアプノフ感情判定部１００９、及び感情判定部の一例であり、心拍情報に基づいて、被験者である高齢者の感情が負の感情であるか、又は正の感情であるかを判定する。

　同期性解析部１０１１は、音響刺激及び無刺激の複数の期間と情動判定部が判定した情動の有無のタイミングとの間に、同期性が存在するか否かを解析する。

　阻害要因判定部である原因判定部１０１２は、５００Ｈｚのビート音の出力のタイミングと情動が生じるタイミングとが同期しているか否かに基づいて聴覚の異常の有無を判定する。例えば、図２８に示した例では、時刻ｔ１からｔ２に渡って、５００Ｈｚのビート音を出力したときに高齢者の情動が検出され、時刻ｔ２からｔ３に渡って、音を発生させなかったときに高齢者の情動が検出されていない。即ち、５００Ｈｚのビート音を出力するタイミングに合わせて情動が検出されている。この場合は、被験者である高齢者は音を認識していると判断することができ、聴覚に異常はないものと判定することができる。

　上記の被験者状態判定装置１０００において、刺激は、視覚または聴覚の感覚によってのみ、発生が認識可能な第１刺激であってよい。即ち、第１刺激は、刺激に含まれる情報の認識を要せず、視覚の感覚だけで、または、聴覚の感覚だけで（感覚的に）発生が認識可能な刺激である。第１刺激は、刺激に何等かの情報も含まれていて、刺激の有無を感覚的に認識して情動が生じ、さらにその中の情報を認識することにより、情動を生じる、または、生じることがある刺激であってもよい。

　刺激は、視覚または聴覚によって与えられる情報の内容を理解することが可能な所定情報を含む第２刺激であり、阻害要因判定部は、被験者の精神の異常の有無を判定してよい。第２刺激は、所定情報の認知をともなう認知刺激であってよい。例えば、第２刺激として、例えば、騙し絵のように、色自体には刺激が無い映像であっても、騙し絵に隠された通常ではありえない形態等を認識し、騙し絵の意味が理解できた場合に反応しやすいコンテンツを含む映像を用いてよい。あるいは、第２刺激として、例えば、音自体には刺激が無い場合であっても、言葉の意味が理解できた場合に反応しやすいコンテンツを含む音声を用いてよい。

　まず、第２刺激として内容の理解が可能な所定情報を含む映像を利用する場合について説明する。図２９に、視覚によって内容の理解が可能な所定情報を含む第２刺激として、意味が理解できると驚いたり笑ったりする騙し絵を周期的に見せた場合における、被験者である高齢者の情動の時間的変化の例を示す。まず、象の耳の形状が人間の横顔の形状となっている画像９０３を時刻ｔ１からｔ２までの所定の期間（例えば、３０ｓｅｃ）に渡って、表示部１００１に表示する。次に、時刻ｔ２からｔ３までの所定の期間（例えば、３０ｓｅｃ）に渡って、騙し絵を含まない白い画像９０２を表示部１００１に表示する。次に、右手であるべき缶を握る手が左手になっている画像９０４を時刻ｔ３からｔ４までの所定の期間（例えば、３０ｓｅｃ）に渡って、表示部１００１に表示する。次に、ｔ４からｔ５までの所定の期間（例えば、３０ｓｅｃ）に渡って、騙し絵を含まない白い画像９０２を表示部１００１に表示する。次に、地面に表された色の濃淡の境界の形状が人間の横顔の形状になっている画像９０５を時刻ｔ５から所定の期間（例えば、３０ｓｅｃ）に渡って、表示部１００１に表示する。この騙し絵を含む画像と騙し絵を含まない画像の切替は、周期的刺激映像発生部１００２により実行される。

　騙し絵を含む画像及び騙し絵を含まない画像を見た被験者である高齢者の顔画像を、カメラ１００６を用いて撮像する。

　同期性解析部１０１１は、騙し絵を含む画像及び騙し絵を含まない画像を表示する複数の期間と情動判定部が判定した情動の有無のタイミングとの間に、同期性が存在するか否かを解析する。

　阻害要因判定部である原因判定部１０１２は、騙し絵を含む画像を表示したタイミングと情動が生じるタイミングが同期しているか否かに基づいて精神異常の有無を判定する。例えば、図２９に示した例では、騙し絵を含む画像９０３、９０４、９０５を表示したときに情動が検出され、騙し絵を含まない画像９０２を表示したときに情動が検出されていない。即ち、騙し絵を含む画像９０３、９０４、９０５を表示するタイミングに合わせて情動が検出されている。この場合は、被験者である高齢者は騙し絵の意味を認識していると判断することができ、精神異常はないものと判定することができる。

　なお、騙し絵のような画像はその意味を理解することが難しい場合があるため、複数の騙し絵の画像を表示したときに、全ての騙し絵の画像に対して情動が検出される場合に限られず、一部の騙し絵に対しては情動が検出されず、他の騙し絵に対して情動が検出された場合であっても精神異常はないものと判定してよい。そこで、第２刺激として、内容の理解が可能な所定情報を含む映像に、コンテンツの内容が異なる複数種類の画像を選択してよい。

　次に、第２刺激として内容の理解が可能な所定情報を含む音声を利用する場合について説明する。図３０に、聴覚によって内容の理解が可能な所定情報を含む第２刺激として、意味が理解できると驚いたり笑ったりする音声を周期的に聞かせた場合における、被験者である高齢者の情動の時間的変化の例を示す。まず、「ガス漏れしています」という音声を時刻ｔ１からｔ２までの所定の期間（例えば、３０ｓｅｃ）に渡って、１回または複数回、スピーカまたはヘッドフォン１００３から出力する。次に、時刻ｔ２からｔ３までの所定の期間（例えば、３０ｓｅｃ）に渡って、音を出力しない（無音）。次に、「火災が発生しました」という音声を時刻ｔ３からｔ４までの所定の期間（例えば、３０ｓｅｃ）に渡って、１回または複数回、スピーカまたはヘッドフォン１００３から出力する。次に、時刻ｔ４からｔ５までの所定の期間（例えば、３０ｓｅｃ）に渡って、音を出力しない（無音）。次に、「地震が発生しました」という音声を時刻ｔ５から所定の期間（例えば、３０ｓｅｃ）に渡って、１回または複数回、スピーカまたはヘッドフォン１００３から出力する。この音声の出力と無音の切替は、周期的刺激映像発生部１００２により実行される。

　特定の意味を有する音声を出力した場合と音声を出力しない場合における被験者である高齢者の顔画像を、カメラ１００６を用いて撮像する。

　阻害要因判定部である原因判定部１０１２は、音声を出力したタイミングと情動が生じるタイミングとが同期しているか否かに基づいて精神異常の有無を判定する。例えば、図３０に示した例では、特定の意味を有する音声を出力したときに情動が検出され、音声を出力しないときに情動が検出されていない。即ち、特定の意味を有する音声を出力したタイミングに合わせて情動が検出されている。この場合は、被験者である高齢者は言葉の意味を認識していると判断することができ、精神異常はないものと判定することができる。

　脈波抽出画像処理部１００８は、心拍情報から心拍間隔の揺らぎの変化の複雑さを算出する算出部としても機能する。脈波抽出画像処理部１００８は、例えば、最大リアプノフ指数を指標とすることにより、心拍情報から心拍間隔の揺らぎの変化の複雑さを算出することができる。ＲＲＩリアプノフ感情判定部１００９は、複雑さに基づいて、被験者の感情が負の感情であるか、または正の感情であるかを判定する感情判定部としても機能する。ＲＲＩリアプノフ感情判定部１００９は、例えば、脈波抽出画像処理部１００８が算出した最大リアプノフ指数に基づいて、被験者の感情が負の感情であるか、または正の感情であるかを判定してよい。刺激発生部が、被験者である高齢者に与える刺激は、特定の人物の画像または音声の少なくともいずれかを含む第３刺激であってよい。阻害要因判定部である原因判定部１０１２は、被験者における特定の人物との相性の良否を判定してよい。

　まず、第３刺激が、特定の人物の画像を含む刺激である場合の例について説明する。図３１に、特定の人物の画像を含む第３刺激として、介護者の画像を被験者である高齢者に周期的に見せた場合における、被験者である高齢者の情動及び正負感情の時間的変化の例を示す。まず、介護者の画像９０６を時刻ｔ１からｔ２までの所定の期間（例えば、３０ｓｅｃ）に渡って、表示部１００１に表示する。次に、時刻ｔ２からｔ３までの所定の期間（例えば、３０ｓｅｃ）に渡って、介護者の画像を含まない白い画像９０２を表示部１００１に表示する。時刻ｔ３以降は、介護者の画像９０６と、介護者の画像を含まない白い画像９０２を交互に繰り返して表示部１００１に表示する。この介護者の画像９０６と介護者の画像を含まない白い画像９０２の切替は、周期的刺激映像発生部１００２により実行される。

　介護者の画像９０６と、介護者の画像を含まない白い画像９０２とを見た被験者である高齢者の顔画像を、カメラ１００６を用いて撮像する。

　ＲＲＩリアプノフ感情判定部１００９は、感情判定部の一例であり、心拍情報に基づいて、被験者である高齢者の感情が負の感情であるか、又は正の感情であるかを判定する。ＲＲＩリアプノフ感情判定部１００９は、脈波抽出画像処理部１００８が心拍情報から算出した心拍間隔の揺らぎの変化の複雑さに基づいて、被験者である高齢者の感情が負の感情であるか、または正の感情であるかを判定してよい。

　情動判定部である脈拍数情動判定部１０１０は、心拍数変動回数に基づいて、所定期間毎に、刺激に対応する被験者である高齢者の心理状態、例えば、情動の有無を判定する。

　同期性解析部１０１１は、介護者の画像９０６と介護者の画像を含まない白い画像９０２を表示する複数の期間と、情動判定部が判定した情動の有無のタイミング及び高齢者の正負感情が現れるタイミングとの間に、同期性が存在するか否かを解析する。

　阻害要因判定部である原因判定部１０１２は、介護者の画像９０６を表示するタイミングと情動が生じるタイミングが同期しているか否か、及び、正負感情のいずれが現れているかに基づいて、被験者である高齢者と介護者との間の相性が良いか悪いかを判定する。

　ここで、被験者である高齢者に介護者の画像を見せた時に高齢者と介護者との間の相性が良い場合にも悪い場合にも情動が現れると考えられる。そのため、高齢者に介護者の画像を見せた時に情動が現れた場合、高齢者が介護者に対して何らかの感情を抱いていることは判定できる。しかしながら、情動の有無だけでは、高齢者と介護者との間の相性が良いか悪いかのいずれであるかは判定できない。

　そこで、原因判定部１０１２は、高齢者と介護者との間の相性が良いか悪いかのいずれであるかを、ＲＲＩリアプノフ感情判定部１００９による判定結果（正負感情）を用いて判定する。

　例えば、高齢者に介護者の画像を見せた時に情動が現れ、それと同じタイミングで、高齢者に正の感情が現れている場合には、原因判定部１０１２は、高齢者は介護者を性格的に好きである、即ち、高齢者と介護者との相性は良いと判定することができる。

　一方、高齢者に介護者の画像を見せた時に情動が現れ、それと同じタイミングで、高齢者に負の感情が現れている場合には、原因判定部１０１２は、高齢者は介護者を性格的に嫌いである、即ち、高齢者と介護者との相性は悪いと判定することができる。

　このように、原因判定部１０１２は、情動判定部としての機能も有し、感情判定部であるＲＲＩリアプノフ感情判定部１００９による判定結果（正負感情）を心理状態（相性の良し悪し）の判定に用いることが可能である。

　即ち、この場合は、脈拍数情動判定部１０１０と原因判定部１０１２とが、情動判定部としての機能を担っている。

　また、相性の良し悪しは、被検者である高齢者が、その原因となる心理状態（例えば、対象者を好きである、または、嫌いであるといった、被験者が対象者に対して、無意識的に、あるいは、意識的に有している心理状態）によって引き起こされるものである。従って、前述のように、情動判定部は、相性の良し悪しを心理状態として判定する。

　例えば、図３１に示した例では、介護者の画像９０６を表示するタイミングに合わせて情動が検出され、かつ、負の感情が検出されている。この場合は、少なくとも、被験者である高齢者は介護者に対する相性が悪いため、高齢者と介護者との間の相性は悪いものと判定することができる。

　次に、第３刺激が、特定の人物の音声を含む刺激である場合の例について説明する。図３２に、特定の人物の音声を含む第３刺激として、介護者の音声を被験者である高齢者に周期的に聞かせた場合における、被験者である高齢者の情動及び正負感情の時間的変化の例を示す。まず、介護者自身が自分の名前を発する「私は〇〇です」といった音声を時刻ｔ１からｔ２までの所定の期間（例えば、３０ｓｅｃ）に渡って、１回または複数回、スピーカまたはヘッドフォン１００３から出力する。次に、時刻ｔ２からｔ３までの所定の期間（例えば、３０ｓｅｃ）に渡って、音声の出力を停止する（無音）。時刻ｔ３以降は介護者自身の音声を出力した状態と無音状態を交互に繰り返す。この介護者自身の音声を出力した状態と無音状態の切替は、周期的刺激音発生部１００４により実行される。

　介護者自身が自分の名前を発する「私は〇〇です」といった音声と周期的に聞かせた被験者である高齢者の顔画像を、カメラ１００６を用いて撮像する。

　同期性解析部１０１１は、音響刺激及び無刺激の複数の期間と、情動判定部が判定した情動の有無のタイミング及び高齢者の正負感情が現れるタイミングとの間に、同期性が存在するか否かを解析する。

　阻害要因判定部である原因判定部１０１２は、介護者自身が自分の名前を発する「私は〇〇です」といった音声を出力するタイミングと情動が生じるタイミングが同期しているか否か、及び、正負感情のいずれが現れているかに基づいて、被験者である高齢者と介護者との間の相性が良いか悪いかを判定する。

　ここで、被験者である高齢者に介護者の音声を聞かせた時に高齢者と介護者との間の相性が良い場合にも悪い場合にも情動が現れると考えられる。そのため、高齢者に介護者の音声を聞かせた時に情動が現れた場合、高齢者が介護者に対して何らかの感情を抱いていることは判定できる。しかしながら、情動の有無だけでは、高齢者と介護者との間の相性が良いか悪いかのいずれであるかは判定できない。

　例えば、高齢者に介護者の音声を聞かせた時に情動が現れ、それと同じタイミングで、高齢者に正の感情が現れている場合には、原因判定部１０１２は、高齢者は介護者を性格的に好きである、即ち、高齢者と介護者との相性は良いと判定することができる。

　一方、高齢者に介護者の音声を聞かせた時に情動が現れ、それと同じタイミングで、高齢者に負の感情が現れている場合には、原因判定部１０１２は、高齢者は介護者を性格的に嫌いである、即ち、高齢者と介護者との相性は悪いと判定することができる。

　例えば、図３２に示した例では、介護者自身が自分の名前を発する「私は〇〇です」といった音声を出力するタイミングに合わせて情動が検出され、かつ、負の感情が検出されている。この場合は、被験者である高齢者と介護者との間の相性は悪いものと判定することができる。

　刺激発生部である周期的刺激映像発生部１００２及び周期的刺激音発生部１００４は、第１～第３のうちのいずれかの刺激を所定期間毎に発生した後、第１～第３のうちの異なる刺激を発生する動作を、少なくとも、第１～第３の３つの刺激を発生するまで繰り返す。尚、脈拍数情動判定部１０１０は、各刺激発生期間と各刺激休止期間（いずれも所定期間に該当）に、心拍数変動回数が２回以上の場合に被検者の情動が有ると判定する。これは、刺激発生期間と刺激休止期間の画面等の切り替わりに応じて、刺激を発生しなくても、１回の情動が生じることがあるためである。すなわち、この情動は、第１～第３刺激以外による情動であり、第１～第３刺激による情動の有無の判定から除外すべきである。周期的刺激映像発生部１００２及び周期的刺激音発生部１００４によって発生する第１～第３刺激は、少なくとも、２回以上の情動を生じさせる刺激である。これは、各刺激が、１回の心拍変動回数によって判定される驚きなどの反射的な反応を試すことが目的ではなく、２回以上の心拍変動回数によって判定される心理状態の変化の有無を試すことを目的とすることにもよる。

　第１、第２刺激を高齢者に与えたときの高齢者の情動の有無を判定すること、及び、第３刺激を高齢者に与えたときの高齢者の正負感情及び情動の有無を判定することにより、高齢者のコミュニケーションを阻害する原因を判定することができる。即ち、阻害要因判定部である原因判定部１０１２は、視覚または聴覚の異常の有無、被験者の精神の異常の有無、および、特定の人物との相性の良否の複数の判定が可能であり、阻害要因に関する判定として、さらに、被験者が有する阻害要因が、複数の判定のうちのいずれに起因するものであるのかを判定することができる。図３３に、高齢者のコミュニケーションを阻害する原因の判定例を示す。

　まず、高齢者が正常な状態であると判定される例について説明する。高齢者に対して、視力・聴力判定用の第１刺激を与えたときに反応がある場合、高齢者は視力及び聴力に異常がないと判定できる。また、高齢者に精神疾患判定用の第２刺激を与えたときに反応がある場合は、高齢者は精神異常を有していない状態であると判断できる。さらに、高齢者に相性判定用の第３刺激を与えたときに、反応しないか、あるいは反応しても正の反応（正感情）を示す場合は、高齢者と介護者との間の相性は悪くないと判定できる。

　次に、高齢者が精神異常の状態であると判定される例について説明する。高齢者に対して、視力・聴力判定用の第１刺激を与えたときに反応がある場合、高齢者は視力及び聴力に異常がないと判定できる。また、高齢者に精神疾患判定用の第２刺激を与えたときに反応が無い場合は、第２刺激に含まれる映像や音声の意味を理解できない状態であるため、高齢者は精神異常の状態であると判断できる。さらに、高齢者に相性判定用の第３刺激を与えたときに、反応しないか、あるいは反応しても正の反応（正感情）を示す場合は、高齢者と介護者との間の相性は悪くないと判定できる。

　次に、高齢者が聴力異常の状態であると判定される例について説明する。高齢者に対して、視力判定用の第１刺激を与えたときに反応がある場合、高齢者は視力に異常がないと判定できる。高齢者に対して、聴力判定用の第１刺激を与えたときに反応が無い場合、高齢者は聴力異常の状態であると判定できる。高齢者の聴力に異常がある場合、高齢者に精神疾患判定用の音声を含む第２刺激を与えても、反応の有無から精神異常の有無は判定できない。従って、音声を含む第２刺激に対する音響反応の有無に関わらず、聴力異常と判定するため、図３３に示した表では「無／有」と表記している。さらに、高齢者に相性判定用の第３刺激を与えたときに、反応しないか、あるいは反応しても正の反応（正感情）を示す場合は、高齢者と介護者との間の相性は悪くないと判定できる。図３３に示した例では、高齢者と介護者との間の相性が良い場合を示したが、高齢者が聴力異常であり、かつ、介護者との相性もよくない場合もあり得る。

　次に、高齢者が視覚の状態であると判定される例について説明する。高齢者に対して、聴力判定用の第１刺激を与えたときに反応がある場合、高齢者は聴力に異常がないと判定できる。高齢者に対して、視力判定用の第１刺激を与えたときに反応が無い場合、高齢者は視力異常の状態であると判定できる。高齢者の視力に異常がある場合、高齢者に精神疾患判定用の映像を含む第２刺激を与えても、反応の有無から精神異常の有無は判定できない。従って、映像を含む第２刺激に対する映像反応の有無に関わらず、視力異常と判定するため、図３３に示した表では「無／有」と表記している。さらに、高齢者に相性判定用の第３刺激を与えたときに、反応しないか、あるいは反応しても正の反応（正感情）を示す場合は、高齢者と介護者との間の相性は悪くないと判定できる。図３３に示した例では、高齢者と介護者との間の相性が良い場合を示したが、高齢者が聴力異常であり、かつ、介護者との相性もよくない場合もあり得る。

　次に、高齢者の相性の良し悪しを判定する例について説明する。高齢者に対して、視力・聴力判定用の第１刺激を与えたときに反応がある場合、高齢者は視力及び聴力に異常がないと判定できる。また、高齢者に精神疾患判定用の第２刺激を与えたときに反応がある場合は、高齢者は精神異常を有していない状態であると判断できる。さらに、高齢者に相性判定用の第３刺激を与えたときに、反応が有り、かつ、負の反応（負感情）を示す場合は、高齢者と介護者との間の相性は悪いと判定できる。なお、高齢者に相性判定用の第３刺激として、映像刺激及び音響刺激の少なくともいずれか一方を与えたときに負反応が現れた場合には、高齢者と介護者との間の相性は悪いと判定してよい。なお、図３３に示した場合とは異なり、高齢者に相性判定用の第３刺激を与えたときに、反応が有り、かつ、正の反応（正感情）を示す場合は、高齢者と介護者との間の相性は良いと判定できる。

　次に、情動の有無の判定方法について説明する。図３４（Ａ）に刺激を周期的に与えたときに現れる反応の真値の例を示す。まず、時刻ｔ１からｔ２までの所定の期間（例えば、３０ｓｅｃ）を被験者に刺激を与えない刺激休止期間とする。このときに被験者は反応を示さないと予測されるため、真値を「０」とする。次に、時刻ｔ２からｔ３までの所定の期間（例えば、３０ｓｅｃ）を被験者に刺激を与える刺激発生期間とする。このときに被験者は反応を示すと予測されるため、真値を「１」とする。時刻ｔ３以降において、刺激休止期間と刺激発生期間を周期的に繰り返した場合、これに応じて刺激休止期間における真値「０」と刺激発生期間における真値「１」が周期的に繰り返される。

　図３４（Ｂ）に図３４（Ａ）で示したタイミングに合わせて被験者に刺激を与えたときの情動の判定例を示す。例えば、時刻ｔ１からｔ２を刺激休止期間として、被験者に刺激を与えなかった場合に情動が検出されなかった場合は、情動は「無」であり、これを「０」と表す。このときの真値は図３４（Ａ）から「０」であるため、この刺激休止期間における情動は真値と一致していることになる。次に、時刻ｔ２からｔ３を刺激発生期間として、被験者に刺激を与えた場合に情動が検出された場合は、情動は「有」であり、これを「１」と表す。このときの真値は図３４（Ａ）から「１」であるため、この刺激発生期間における情動は真値と一致していることになる。

　時刻ｔ３からｔ１１まで、刺激休止期間と刺激発生期間とを周期的に繰り返し、合計１０の期間で情動を判定したものとする。このとき、時刻ｔ６からｔ７の刺激発生期間において情動が検出されなかった場合は、情動は「無」（「０」）となる。しかしながら、この期間における真値は「１」であるため、情動の判定結果と真値とは一致していないことになる。ｔ１からｔ１１までの合計１０期間のうち、ｔ６からｔ７までの期間を除いた他の９期間では、情動の判定結果と真値とが一致しているため、同期率は９０％と算出される。同期性解析部１０１１は、刺激発生期間と刺激休止期間に、情動の有無が同期する割合、すなわち、同期率が、所定値以上か否かに基づいて判定する。例えば、所定値を７０％とした場合、算出された同期率が９０％の場合は、所定値である７０％を超えているため、情動は刺激に同期していると判定することができる。

　上記の例では、刺激を与える複数の期間と刺激休止期間とに対して情動の有無の同期率を算出して判定する例を示したが、このような例には限られない。即ち、刺激発生回数と刺激休止回数とが固定の場合には、同期率を算出しなくても、同期する回数が所定回数以上か否かで判定を行う場合も同期率（同期した割合）による判定と見做してよい。例えば、図３４（Ａ）及び図３４（Ｂ）に示すように、刺激発生期間と刺激休止期間の合計期間を１０期間に固定し、刺激発生期間と刺激休止期間において同期した回数が所定回数（例えば、７回）以上の場合に、同期率が所定値の７０％上であると見做して同期しているものと判定するようにしてもよい。

　コミュニケーション阻害原因判定装置である被験者状態判定装置１０００を用いることにより、例えば、高齢者が介護施設に入居する最初の日に検査を行い、入居する高齢者がどのタイプかを見分けることができる。また、高齢者と介護士との間の相性を判定する場合には、所定の期間、介護士と高齢者とが関わっていないと判定できない場合があるため、例えば、高齢者が介護施設に入居して１か月程度経てから検査を行ってもよい。高齢者と介護者との間のコミュニケーションを阻害する原因を判定することにより、コミュニケーションを図るための対策を適切にとることができる。

　［付記］
　上述の実施例６は、以下に示す各付記に記載の発明の具体的な例示である。

　（付記１）
　被験者の視覚または聴覚への刺激を、休止期間を挟む予め定められた複数の所定期間毎に発生する刺激発生部と、
　被験者の心拍数を含む心拍情報を検出する検出部と、
　前記所定期間毎に、所定値以上の心拍数の増加を伴って、平均心拍数未満の状態から平均心拍数以上の状態に遷移した心拍数変動の回数を計数する計数部と、
　前記心拍数変動回数に基づいて、前記所定期間毎に、刺激に対応する前記被験者の情動の有無を判定する情動判定部と、
　前記複数の期間と前記情動判定部が判定した情動の有無のタイミングに、同期性が存在するか否かを解析する同期性解析部と、
　前記被験者について、前記同期性判定部の解析結果に基づき、他者とのコミュニケーションの阻害要因に関する判定を行う阻害要因判定部を有する、
　ことを特徴とする、被験者状態判定装置。

　これまでに知られているコミュニケーション阻害要因を判定する装置として、被験者の視覚・聴覚によって、視覚・聴覚や認知能力の異常の有無を判定する装置が知られている。しかしながら、従来の装置は、被験者の回答や、ボタン押しなどの反応から判定する場合、反応行為自体に難があって判定ができない場合があった。また、被験者の脳波等からコミュニケーション阻害要因を判定する装置が知られている。しかしながら、このような装置は、大がかりであるため、装置を設置する場所として広い場所が必要であるという問題がある。さらに、このような装置は、高度な解析手段を必要とするため、装置を扱うことができる人も限られるという問題がある。
　そこで、被験者のコミュニケーション阻害要因を、簡単な構成で容易に、また、設置場所や扱える人の制限を軽減可能に実現することが好ましい。
　付記に記載した被験者状態判定装置によれば、「平均心拍数以上の状態に遷移した心拍数変動の回数」及び「情動の有無のタイミングに、同期性を有するか否かを解析」することに基づいて、「阻害要因に関する判定を行う」ため、装置構成が簡単であり、設置場所の制限を軽減することができ、さらに、被験者のコミュニケーション阻害要因を簡単なテストで判定することができるため、扱える人の制限も軽減できる。

　（付記２）
　前記刺激は、視覚または聴覚によって発生が感覚的に認識可能な第１刺激であり、
　前記阻害要因判定部は、前記視覚または聴覚の異常の有無を判定する、
　付記１に記載の被験者状態判定装置。

　付記２に記載の被験者状態判定装置において、前記刺激は、視覚または聴覚の感覚によってのみ、発生が認識可能な第１刺激であってよい。

　（付記３）
　前記刺激は、内容の理解が可能な所定情報を含む第２刺激であり、
　前記阻害要因判定部は、前記被験者の精神の異常の有無を判定する、
　付記１または２に記載の被験者態判定装置。

　（付記４）
　さらに、前記心拍情報から心拍間隔の揺らぎの変化の複雑さを算出する算出部と、
　前記複雑さに基づいて、前記被験者の感情が負の感情であるか、または正の感情であるかを判定する感情判定部と、を有し、
　前記刺激は、特定の人物の画像または音声の少なくともいずれかを含む第３刺激であり、
　前記阻害要因判定部は、前記被験者における前記特定の人物との相性の良否を判定する、
　付記１～３のいずれか１つに記載の被験者状態判定装置。

　（付記５）
　前記阻害要因判定部は、
　　視覚または聴覚の異常の有無、前記被験者の精神の異常の有無、および、前記特定の人物との相性の良否の複数の判定が可能であり、
　　前記阻害要因に関する判定として、さらに、前記被験者が有する阻害要因が、前記複数の判定のうちのいずれに起因するものであるのかを判定する、
　付記４に記載の被験者状態判定装置。

　（付記６）
　前記刺激発生部は、前記第１～第３のうちのいずれかの刺激を前記所定期間毎に発生した後、前記第１～第３のうちの異なる刺激を発生する動作を、少なくとも、第１～第３の３つの刺激を発生するまで繰り返す、付記４に記載の被験者状態判定装置。

　（付記７）
　前記同期性解析部は、前記刺激の発生期間と刺激休止期間に、前記情動の有無が同期する割合が、所定値以上か否かに基づいて判定する、付記１～６のいずれか１つに記載の被験者状態判定装置。

　付記７に記載の被験者状態判定装置において、刺激発生回数が固定で、同期する回数が所定回数以上の場合も含む。

　（付記８）
　前記第１刺激は、視覚または聴覚を刺激して、発生が認識される感覚刺激である、付記１～７のいずれか１つに記載の被験者状態判定装置。

　（付記９）
　前記第２刺激は、所定情報の認知をともなう認知刺激である、付記３～８のいずれか１つに記載の被験者状態判定装置。

Claims

　被験者の心拍数を含む心拍情報を検出する検出部と、
　前記心拍情報に基づいて、前記被験者の感情が負の感情であるか、又は正の感情であるかを判定する感情判定部と、
　所定期間において、所定値以上の心拍数の増加を伴って、平均心拍数未満の状態から平均心拍数以上の状態に遷移した心拍数変動回数を計数する計数部と、
　前記心拍数変動回数に基づいて、前記被験者の心理状態を判定するとともに、前記感情判定部による判定結果を前記心理状態の判定に用いることが可能な情動判定部と、
　前記情動判定部の判定結果を出力する出力部と、
　を有することを特徴とする感情判定装置。
　さらに、被験者の顔を撮影する撮影部を有し、
　前記検出部は、前記撮影部が取得した画像データの変化に基づいて前記心拍情報を検出する、
　請求項１に記載の感情判定装置。
　前記心理状態は、前記正または負の感情のいずれかにかかわらず、前記心拍数変動回数に基づいて判定可能な第１心理状態と、前記正または負の感情のいずれかと、前記心拍数変動回数とに基づいて判定可能な第２心理状態とを含み、
　前記情動判定部は、少なくとも、前記第２心理状態の判定を行う場合に、前記感情判定部による判定結果を用いる、
　請求項１または２に記載の感情判定装置。
　前記所定期間は繰り返し設定され、
　前記情動判定部は、各所定期間毎に判定を行う、請求項１乃至３のいずれか一項に記載の感情判定装置。
　前記撮影部は、複数人の被験者の顔が撮影可能であり、
　さらに、複数人が表示される画面から、それぞれの顔を特定し、特定したそれぞれの顔に対して測定部位を特定する測定部位特定手段を有し、
　前記検出部は、前記それぞれの顔の測定部位の画像の変化に基づいて前記心拍情報を取得する、
　請求項２に記載の感情判定装置。
　前記被験者は、講義を受講する受講者であり、
　前記情動判定部は、前記心拍数変動回数と前記感情判定部の判定結果とに基づいて、前記講義の受講における理想的な心理状態か否かを判定する、
　請求項１乃至５のいずれか一項に記載の感情判定装置。
　視覚または聴覚によって発生の有無を感覚的に認識可能な刺激と、
　視覚または聴覚によって与えられる情報の内容を理解することが可能な刺激と、
　特定の人物の画像または音声の少なくともいずれかを含む刺激と、を発生する刺激発生部を有し、
　前記刺激発生部は、休止期間を挟む予め定められた複数の期間に同種の刺激を繰り返し発生し、
　前記情動判定部は、少なくとも、前記予め定められた複数の期間の間に、前記被験者の心理状態を判定する、
　請求項１乃至６のいずれか一項に記載の感情判定装置。
　前記負の感情は、前記被験者が、脳疲労、不安、及び抑うつのうちの少なくとも１つを感じる感情である、請求項１に記載の感情判定装置。
　前記情動判定部が判定する前記被験者の心理状態は、安定している状態、驚いている状態、感激している状態、及び憤激している状態のいずれかを含む、請求項１乃至３のいずれか一項に記載の感情判定装置。
　前記計数部が計数した前記心拍数変動回数が１回の場合は、
　前記情動判定部は、前記心理状態は驚いている状態であると判定する、請求項１乃至４のいずれか一項に記載の感情判定装置。
　前記計数部が計数した前記心拍数変動回数が複数回の場合であって、かつ、前記感情判定部が判定した前記被験者の感情が正の感情である場合は、
　前記情動判定部は、前記心理状態は感激している状態であると判定する、請求項１乃至５のいずれか一項に記載の感情判定装置。
　前記計数部が計数した前記心拍数変動回数が複数回の場合であって、かつ、前記感情判定部が判定した前記被験者の感情が負の感情である場合は、
　前記情動判定部は、前記心理状態は憤激している状態であると判定する、請求項１乃至６のいずれか一項に記載の感情判定装置。
　前記計数部が計数した前記心拍数変動回数が０回の場合であって、かつ、前記心拍数が前記平均心拍数未満の状態が前記所定期間において維持された場合は、
　前記情動判定部は、前記心理状態は安定している状態であると判定する、請求項１乃至７のいずれか一項に記載の感情判定装置。
　前記計数部が計数した前記心拍数変動回数が０回の場合であって、かつ、前記心拍数が前記平均心拍数以上の状態が前記所定期間において維持された場合は、
　前記情動判定部は、前記心理状態を判定することができない情動判定不能状態と判定する、請求項１乃至８のいずれか一項に記載の感情判定装置。
　被験者の心拍数を含む心拍情報を検出するステップと、
　前記心拍情報に基づいて、前記被験者の感情が負の感情であるか、又は正の感情であるかを判定するステップと、
　所定期間において、所定値以上の心拍数の増加を伴って、平均心拍数未満の状態から平均心拍数以上の状態に遷移した心拍数変動回数を計数するステップと、
　前記心拍数変動回数に基づいて、前記被験者の心理状態を判定するとともに、判定結果を前記心理状態の判定に用いるステップと、
　前記心理状態の判定結果を出力するステップと、
　をコンピュータに実行させることを特徴とする感情判定プログラム。
　検出部が、被験者の心拍数を含む心拍情報を検出し、
　感情判定部が、前記心拍情報に基づいて、前記被験者の感情が負の感情であるか、又は正の感情であるかを判定し、
　計数部が、所定期間において、所定値以上の心拍数の増加を伴って、平均心拍数未満の状態から平均心拍数以上の状態に遷移した心拍数変動回数を計数し、
　情動判定部が、前記心拍数変動回数に基づいて、前記被験者の心理状態を判定するとともに、前記感情判定部による判定結果を前記心理状態の判定に用い、
　出力部が、前記情動判定部の判定結果を出力する、
　ことを特徴とする感情判定方法。