JP6124239B2 - 情動認識装置、情動認識方法、及び情動認識プログラム - Google Patents

Description

本発明は、情動を認識する情動認識装置、情動認識方法、及び情動認識プログラムに関する。

現代社会において、怒りの制御は非常に重要である。なぜなら、突然の怒りが甚大な事件を引き起こすこともあるからである。怒りは、攻撃性と不快感とに区別することができる。ここで、攻撃性とは、接近の動機づけ（Ａｐｐｒｏａｃｈ Ｍｏｔｉｖａｔｉｏｎ）のうち、相手に攻撃や介入をしようとする強い衝動である（非特許文献１参照）。

久保賢太、外２名、「一言の謝罪で怒りは抑制される−中枢・自律・主観指標による検討−Apology suppresses physiological but not psychological anger.」、日本認知科学会、平成23年9月23日、p.32-35

しかしながら、従来は、ユーザの怒りを認識する際、怒りの攻撃性を、怒りの不快感と区別して認識することができないという問題がある。怒りの攻撃性を怒りの不快感と区別して認識することができなければ、ユーザは、自らの怒りを制御することが難しい場面がある。

本発明は、前記の点に鑑みてなされたものであり、怒りの攻撃性を、怒りの不快感と区別して認識することができる情動認識装置、情動認識方法、及び情動認識プログラムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたものであり、ユーザの中枢神経系反応を検出する第１検出部と、前記ユーザの自律神経系反応を検出する第２検出部と、前記中枢神経系反応及び前記自律神経系反応に基づいて、前記ユーザの怒りの攻撃性を認識する認識部と、を備えることを特徴とする情動認識装置である。

また、本発明の一態様は、前記第１検出部が、前記中枢神経系反応としての脳波を検出し、前記第２検出部は、前記自律神経系反応としての心拍を検出することを特徴とする情動認識装置でもよい。

また、本発明の一態様は、前記第１検出部が、前記ユーザの左脳及び右脳について、前記脳波をそれぞれ検出し、前記認識部は、前記左脳の脳波と前記右脳の脳波との不均衡度と、前記心拍の数とに基づいて、前記攻撃性を認識することを特徴とする情動認識装置でもよい。

また、本発明の一態様は、前記左脳のαパワー値と前記右脳のαパワー値とに基づいて、前記不均衡度を算出する算出部を備えることを特徴とする情動認識装置でもよい。

また、本発明の一態様は、前記算出部が、前記左脳のαパワー値と前記右脳のαパワー
値との比を、前記不均衡度として算出することを特徴とする情動認識装置でもよい。

また、本発明は、情動を認識する情動認識装置における情動認識方法であって、第１検出部が、ユーザの中枢神経系反応を検出するステップと、第２検出部が、前記ユーザの自律神経系反応を検出するステップと、認識部が、前記中枢神経系反応及び前記自律神経系反応に基づいて、前記ユーザの怒りの攻撃性を認識するステップと、を有することを特徴とする情動認識方法である。

また、本発明は、コンピュータに、ユーザの中枢神経系反応を取得する手順と、前記ユーザの自律神経系反応を取得する手順と、前記中枢神経系反応及び前記自律神経系反応に基づいて、前記ユーザの怒りの攻撃性を認識する手順と、を実行させるための情動認識プログラムである。

本発明によれば、認識部は、中枢神経系反応及び自律神経系反応に基づいて、ユーザの怒りの攻撃性を認識する。これにより、怒りの攻撃性を、怒りの不快感と区別して認識することができる。

本発明の一実施形態における、情動認識装置の構成例を示すブロック図である。 本発明の一実施形態における、怒りの攻撃性及び不快感を説明するための図である。 本発明の一実施形態における、情動認識装置の動作手順の例を示すフローチャートである。

本発明の一実施形態について図面を参照して詳細に説明する。情動認識装置は、ユーザの怒りを認識する際、怒りの攻撃性を怒りの不快感と区別して認識する。

まず、情動認識装置の構成例について説明する。
図１には、情動認識装置の構成例が、ブロック図により示されている。情動認識装置１０は、第１検出部１１と、算出部１２と、第２検出部１３と、計数部１４と、認識部１５と、出力部１６とを備える。

第１検出部１１は、ユーザの中枢神経系反応をセンシングするためのセンサから、センシング結果を取得する。このセンサは、例えば、ユーザの頭部に装着されるヘッドギアに備えられる。第１検出部１１は、ユーザの中枢神経系反応としての脳波を、左脳及び右脳についてそれぞれ検出する。

また、第１検出部１１は、検出した左脳の脳波に対して、高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＦＦＴ）を施すことにより、左脳のα波のパワー値（以下、「左αパワー値」という）を検出し、左αパワー値を示す信号を、算出部１２に出力する。同様に、第１検出部１１は、検出した右脳の脳波に対して、高速フーリエ変換を施すことにより、右脳のα波のパワー値（以下、「右αパワー値」という）を検出し、右αパワー値を示す信号を、算出部１２に出力する。以下、ユーザが怒り状態にある場合、左αパワー値は、右αパワー値よりも小さな値（αパワー値は脳活動の強さとは逆の関係にあるため、脳活動は左優勢の状態）であるものとして説明を続ける。

算出部１２には、左αパワー値を示す信号と、右αパワー値を示す信号とが、第１検出部１１から入力される。算出部１２は、左脳のαパワー値と右脳のαパワー値とに基づいて、不均衡度ｅ（Ａｓｙｍｍｅｔｒｙ ｏｆ Ａｌｐｈａ ｐｏｗｅｒ）を算出し、不均衡度ｅを示す信号を、認識部１５及び出力部１６に出力する。ここで、算出部１２は、左αパワー値と右αパワー値との比を、不均衡度ｅとして算出する。

なお、算出部１２は、左αパワー値と右αパワー値との差分値を、不均衡度ｅとして算出してもよい。また、算出部１２は、左αパワー値と右αパワー値とに対して、それぞれの重み係数を乗算してもよい。また、算出部１２は、不均衡度ｅを示す信号のみならず、左αパワー値を示す信号と、右αパワー値を示す信号とを、出力部１６に出力してもよい。

第２検出部１３は、ユーザの自律神経系反応をセンシングするためのセンサから、センシング結果を取得する。このセンサは、例えば、ユーザの手首等に装着されるバンド（帯）に備えられる。第２検出部１３は、ユーザの自律神経系反応としての心拍を検出し、心拍のタイミングを示す信号を、計数部１４に出力する。また、第２検出部１３は、自律神経系反応としての皮膚温度及び皮膚抵抗（Ｓｋｉｎ Ｃｏｎｄｕｃｔａｎｃｅ：ＳＣ）のうち、少なくとも一つを検出し、この検出結果を示す信号を、計数部１４に出力してもよい。以下、ユーザが怒り状態にある場合、心拍、皮膚温度及び皮膚抵抗は増大するものとして説明を続ける。

計数部１４には、心拍のタイミングを示す信号が、第２検出部１３から入力される。計数部１４は、心拍のタイミングに基づいて、１分間あたりの心拍数ｂ（Ｈｅａｒｔ Ｒａｔｅ：ＨＲ）（ｂｅａｔｓ ｐｅｒ ｍｉｎｕｔｅ：ｂｐｍ）を計数し、１分間あたりの心拍数ｂを示す信号を、認識部１５及び出力部１６に出力する。

認識部１５には、不均衡度ｅを示す信号が、算出部１２から入力される。また、認識部１５には、１分間あたりの心拍数ｂを示す信号が、計数部１４から入力される。認識部１５は、中枢神経系反応及び自律神経系反応に基づいて、ユーザの怒りの攻撃性を認識する。すなわち、認識部１５は、中枢神経系反応に応じた不均衡度ｅと、自律神経系反応に応じた心拍数とに基づいて、ユーザの怒りの攻撃性を認識する。ここで、認識部１５は、ユーザの怒りの攻撃性の強度（怒りゲージ）として、状態攻撃性強度(Ａｐｐｒｏａｃｈ Ｍｏｔｉｖａｔｉｏｎ：ＡＭ)を算出し、状態攻撃性強度を示す信号を、出力部１６に出力する。

図２は、怒りの攻撃性及び不快感を説明するための図である。図２において、縦軸は、状態攻撃性強度（ＡＭ)を示す。状態攻撃性強度（−ａ）は、不均衡度ｅ及び心拍数ｂ（ＨＲ）に基づく強度であり、一例として、式（１）により表される。

−ａ＝√（ｅ^２＋ｂ^２） …（１）

ここで、ｅは、不均衡度を示す。また、ｂは、１分間あたりの心拍数を示す。例えば、不均衡度ｅが、左αパワー値を右αパワー値で除算した値である場合、不均衡度ｅは、目安として１００以内であり、１分間あたりの人の心拍数に近い値となる。

一方、横軸は、状態不快強度（Ｎｅｇａｔｉｖｅ Ａｆｆｅｃｔ：ＮＡ）を示す。状態不快強度は、皮膚温度及び皮膚抵抗（ＳＣ）のうち、少なくとも一方に基づく強度であり、ユーザの快感又は不快感を示す強度である。

図２では、怒りは、ベクトルにより概念的に示されている。図２に示されているように、怒りの成分は、攻撃性と不快感とに区別することができる。また、謝罪は、怒りの攻撃性を抑えることができるが、不快感を抑えることができないことが、ベクトルにより概念的に示されている。

図１に戻り、情動認識装置の構成例についての説明を続ける。出力部１６には、不均衡度ｅを示す信号が、算出部１２から入力される。また、出力部１６には、１分間あたりの心拍数ｂを示す信号が、計数部１４から入力される。また、出力部１６には、状態攻撃性強度を示す信号が、認識部１５から入力される。

出力部１６は、不均衡度ｅを示す信号を、脳波をモニタリングするための信号として、フィードバック装置（不図示）に出力する。また、出力部１６は、左αパワー値を示す信号と、右αパワー値を示す信号とを、脳波をモニタリングするための信号として、フィードバック装置に出力してもよい。

また、出力部１６は、１分間あたりの心拍数ｂを示す信号を、心拍をモニタリングするための信号として、フィードバック装置に出力する。また、出力部１６は、状態攻撃性強度を示す信号を、フィードバック装置に出力する。これにより、不均衡度ｅと、１分間あたりの心拍数ｂと、状態攻撃性強度（−ａ）とは、フィードバック装置（例えば、表示装置、音声出力装置）を介して、ユーザにフィードバックされる。

情動認識装置１０が、怒りの攻撃性（状態攻撃性強度）を、怒りの不快感（状態不快強度）と区別して認識することができるので（図２を参照）、ユーザは、情動認識装置１０からフィードバックされた状態攻撃性強度に基づいて、自らの怒りを制御することが容易となる。

次に、情動認識装置の動作手順の例を説明する。
図３は、情動認識装置の動作手順の例を示すフローチャートである。
（ステップＳ１）第１検出部１１は、ユーザの中枢神経系反応としての脳波を、左脳及び右脳についてそれぞれ検出する。第１検出部１１は、左αパワー値を示す信号と、右αパワー値を示す信号とを、算出部１２に出力する。

（ステップＳ２）算出部１２は、左脳のαパワー値と右脳のαパワー値とに基づいて、不均衡度ｅを算出し、不均衡度ｅを示す信号を、認識部１５及び出力部１６に出力する。
（ステップＳ３）第２検出部１３は、ユーザの自律神経系反応としての心拍を検出し、心拍のタイミングを示す信号を、計数部１４に出力する。
（ステップＳ４）計数部１４は、心拍のタイミングに基づいて、１分間あたりの心拍数ｂを計数し、１分間あたりの心拍数ｂを示す信号を、認識部１５及び出力部１６に出力する。

（ステップＳ５）認識部１５は、中枢神経系反応に応じた不均衡度ｅと、自律神経系反応に応じた心拍数とに基づいて、ユーザの怒りの攻撃性を認識する。ここで、認識部１５は、ユーザの怒りの攻撃性の強度（例えば、怒りゲージ）として、状態攻撃性強度を算出し、状態攻撃性強度を示す信号を、出力部１６に出力する。

（ステップＳ６）出力部１６は、状態攻撃性強度を示す信号を、フィードバック装置に出力する。これにより、状態攻撃性強度（−ａ）は、フィードバック装置を介して、ユーザにフィードバックされる。

次に、情動認識装置が適用されるアプリケーションの例について説明する。
＜非対面コミュニケーション・アプリケーション＞
情動認識装置１０は、電子メールを作成して送信しようとするユーザの怒りの攻撃性（状態攻撃性強度）を、怒りの不快感（状態不快強度）と区別して認識する。この場合、情動認識装置１０は、例えば、以下のように構成されても良い。

情動認識装置１０は、電子メールを作成しているユーザの状態攻撃性強度を認識し、所定の条件が満たされたか否か判定する。上記の所定の条件が満たされた場合、情動認識装置１０は、状態攻撃性強度が高い（所定閾値以上である）状態のユーザにより作成された電子メールであることを、所定のタイミング（例えば、電子メールの送信ボタンをユーザが選択したタイミング、上記の所定の条件が満たされたと判定したタイミング）で通知する。このとき、情動認識装置１０は、作成された電子メールを本当に送信しても良いか否か確認するメッセージ（以下、「確認メッセージ」という）を出力する。この時点では、電子メールは未送信の状態である。情動認識装置１０は、作成された電子メールを送信しても良い旨の指示が、確認メッセージに対してユーザから入力された場合、その未送信の電子メールを送信する。

なお、情動認識装置１０は、上記の所定の条件が満たされた場合、ユーザが本当に謝罪していないこと（状態攻撃性強度が高いこと）を示すデータを生成し、生成したデータをメールに添付して送信しても良い。一方、情動認識装置１０は、上記の所定の条件が満たされなかった場合、ユーザが本当に謝罪していること（状態攻撃性強度が低いこと）を示すデータを生成し、生成したデータをメールに添付して送信しても良い。

＜医療アプリケーション＞
他者の情動を察知することが苦手でコミュニケーションに不調を抱えることがある患者を、社会復帰させるため、情動認識装置１０は、その患者の怒りの攻撃性（状態攻撃性強度）を、怒りの不快感（状態不快強度）と区別して認識してもよい。この認識結果は、患者の治療に役立てられてもよい。

例えば、情動認識装置１０は、患者の状態攻撃性強度が高い（所定閾値以上である）状態であるか否かを、所定のタイミング（例えば、カウンセラが患者に話し終えたタイミング）で通知する。これにより、カウンセラは、その通知に基づいて、患者に適切なカウンセリングをすることができる。

＜環境アプリケーション＞
情動認識装置１０は、乗用車を運転中であるユーザの怒りの攻撃性（状態攻撃性強度）を、怒りの不快感（状態不快強度）と区別して認識してもよい。例えば、情動認識装置１０は、ユーザの状態攻撃性強度が所定閾値以上であると認識した場合、運転操作ミスを防止するためのセルフチェックメッセージを、フィードバック装置としての音声出力装置から出力させてもよい。また、情動認識装置１０は、ユーザの状態攻撃性強度が所定閾値以上であると認識した場合、その乗用車のアクセルの動きを固くすることにより、運転操作ミスを防止させてもよい。

＜ビジネス・アプリケーション＞
情動認識装置１０は、例えば、マーケティング会社において、マネージメント層に属するユーザの状態攻撃性強度を認識し、アンガーコントロール（怒り抑制）をセルフカウンセリングするためのメッセージを、所定のタイミング（例えば、そのユーザが部下に話し終えたタイミング）で、フィードバック装置としての表示装置に表示させてもよい。また、例えば、情動認識装置１０は、接客業に属するユーザの状態攻撃性強度を認識し、アンガーコントロールをセルフカウンセリングするためのメッセージを、所定のタイミング（例えば、接客中において所定の周期）で、フィードバック装置としての表示装置に表示させてもよい。

以上のように、情動認識装置１０は、ユーザの中枢神経系反応を検出する第１検出部１１と、前記ユーザの自律神経系反応を検出する第２検出部１３と、前記中枢神経系反応及び前記自律神経系反応に基づいて、前記ユーザの怒りの攻撃性を認識する認識部１５と、を備える。
この構成により、認識部１５は、前記ユーザの自律神経系反応を検出する第２検出部１３と、前記中枢神経系反応及び前記自律神経系反応に基づいて、前記ユーザの怒りの攻撃性を認識する。これにより、情動認識装置は、怒りの攻撃性を、怒りの不快感と区別して認識することができる。また、情動認識装置は、ユーザの音声又は表情に惑わされることなく、怒りの攻撃性を、怒りの不快感と区別して認識することができる。

また、第１検出部１１は、前記中枢神経系反応としての脳波を検出し、第２検出部１３は、前記自律神経系反応としての心拍を検出してもよい。
また、第１検出部１１は、前記ユーザの左脳及び右脳について、前記脳波をそれぞれ検出し、認識部１５は、前記左脳の脳波と前記右脳の脳波との不均衡度（例えば、左優勢）と、前記心拍の数とに基づいて、前記攻撃性を認識してもよい。

また、情動認識装置は、前記左脳のαパワー値と前記右脳のαパワー値とに基づいて、前記不均衡度を算出する算出部１２を備えてもよい。
また、算出部１２は、前記左脳のαパワー値と前記右脳のαパワー値との比を、前記不均衡度として算出してもよい。

また、情動認識方法は、情動を認識する情動認識装置における情動認識方法であって、第１検出部１１が、ユーザの中枢神経系反応を検出するステップと、第２検出部１３が、前記ユーザの自律神経系反応を検出するステップと、認識部１５が、前記中枢神経系反応及び前記自律神経系反応に基づいて、前記ユーザの怒りの攻撃性を認識するステップと、を有する。

また、情動認識プログラムは、コンピュータに、ユーザの中枢神経系反応を取得する手順と、前記ユーザの自律神経系反応を取得する手順と、前記中枢神経系反応及び前記自律神経系反応に基づいて、前記ユーザの怒りの攻撃性を認識する手順と、を実行させる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

また、上記に説明した情動認識装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１０…情動認識装置、１１…第１検出部、１２…算出部、１３…第２検出部、１４…計数部、１５…認識部、１６…出力部

Claims (4)

1. ユーザの左脳の脳波及び前記ユーザの右脳の脳波を検出し、前記左脳の脳波から左脳のαパワー値を検出し、前記右脳の脳波から右脳のαパワー値を検出する第１検出部と、
   前記左脳のαパワー値と前記右脳のαパワー値との不均衡度を算出する算出部と、
   前記ユーザの心拍を検出する第２検出部と、
   前記検出された心拍のタイミングに基づいて、１分間あたりの心拍数を計数する計数部と、
   前記不均衡度の二乗と前記心拍数の二乗との合計値の平方根を算出することにより、前記ユーザの怒りの攻撃性の強度として状態攻撃性強度を取得する認識部と、
   を備える情動認識装置。
2. 前記算出部は、前記左脳のαパワー値と前記右脳のαパワー値との比を、前記不均衡度として算出する請求項１に記載の情動認識装置。
3. 情動を認識する情動認識装置が行う情報認識方法であって、
   前記情報認識装置が、ユーザの左脳の脳波及び前記ユーザの右脳の脳波を検出し、
   前記情報認識装置が、前記左脳の脳波から左脳のαパワー値を検出し、
   前記情報認識装置が、前記右脳の脳波から右脳のαパワー値を検出し、
   前記情報認識装置が、前記左脳のαパワー値と前記右脳のαパワー値との不均衡度を算出し、
   前記情報認識装置が、前記ユーザの心拍を検出し、
   前記情報認識装置が、前記検出された心拍のタイミングに基づいて、１分間あたりの心拍数を計数し、
   前記情報認識装置が、前記不均衡度の二乗と前記心拍数の二乗との合計値の平方根を算出することにより、前記ユーザの怒りの攻撃性の強度として状態攻撃性強度を取得する、
   情動認識方法。
4. コンピュータに、
   ユーザの左脳の脳波及び前記ユーザの右脳の脳波を検出し、
   前記左脳の脳波から左脳のαパワー値を検出し、
   前記右脳の脳波から右脳のαパワー値を検出し、
   前記左脳のαパワー値と前記右脳のαパワー値との不均衡度を算出し、
   前記ユーザの心拍を検出し、
   前記検出された心拍のタイミングに基づいて、１分間あたりの心拍数を計数し、
   前記不均衡度の二乗と前記心拍数の二乗との合計値の平方根を算出することにより、前記ユーザの怒りの攻撃性の強度として状態攻撃性強度を取得する、
   ことを実行させるための情動認識プログラム。

Images