JP2967058B2 - 階層的感情認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は階層的感情認識装
置に関し、特に、人間の声からの情報と顔の表情からの
情報とを統合して階層的に感情を認識できるような階層
的感情認識装置に関する。

【０００２】

【従来の技術】遠隔地にいる人々があたかも同じ卓を囲
んで会議をするような感じで話し合ったり時間や空間を
克服して本当に有意義なコミュニケーションをするに
は、人工現実感を利用した臨場感通信が望まれている。
臨場感通信で会議を行なうときに、会議に参加している
人の感情を音声と画像で表現する必要がある。そのため
には、感情認識するためのアルゴリズムが必要とされ
る。

【０００３】

【発明が解決しようとする課題】従来より、感情認識の
アルゴリズムについて知られたものもあるが、そのほと
んどが画像情報と音声情報とを別々に利用したものであ
り、感情の種類によって音声情報を優先させるかあるい
は画像情報を優先させるかなどの優先度合いを利用して
いなかった。

【０００４】それゆえに、この発明の主たる目的は、感
情別に音声情報と画像情報に重み付けして感情を認識し
得る階層的感情認識装置を提供することである。

【０００５】

【課題を解決するための手段】請求項１に係る発明は、
人間の声の情報と顔の情報とから感情を認識する階層的
感情認識装置であって、人間の声の情報から音声データ
を抽出する音声抽出手段と、人間の顔の情報から画像デ
ータを抽出する画像抽出手段と、抽出された音声データ
に基づいて感情を認識する第１の感情認識手段と、抽出
された画像データに基づいて感情を認識する第２の感情
認識手段と、第１および第２の感情認識手段によってそ
れぞれ認識された感情に重み付けして統合する重み付け
手段とを備えて構成される。

【０００６】請求項２に係る発明では、請求項１の重み
付け手段は、第１の感情認識手段によって「悲しみ」と
「恐怖」が認識されたとき、これらの感情の声の重み付
けを大きくし、第２の感情認識手段によって「怒り」と
「幸福」と「驚き」が認識されたとき、これらの感情の
画像の重み付けを大きくする。

【０００７】

【発明の実施の形態】まず、本願発明者らは、感情を認
識するとき、人間の声を優先する感情と、顔の表情を優
先する感情と、声と表情の両方に依存する感情の３種類
に分けられることを被験者を使った実験により確認し
た。まず、その実験結果について説明する。

【０００８】図１は感情認識実験方法を説明するための
図である。この実施形態では、スペイン語とシンハラ語
（スリランカの国語）で次に示す６つの感情を標題とし
て与え、図１に示すタイムシーケンスでその感情を表情
と音声とで表わした人の声と顔画像を録画した。

【０００９】 怒り：なぜあなたは来なかったのか 幸福：おはようございます 悲しみ：私はお金を使った 驚き：なんと不快な作品だ 嫌悪：私は彼が嫌いだ 恐怖：どうか殺さないで 被験者はスペイン語とシンハラ語を理解することができ
ない日本人の大学生である。これらの言語を理解できる
人では、言葉により感情を判別してしまい、声と顔の表
情のみで感情を判別できないからである。実験は、Ａと
Ｂの２種類で行なった。実験Ａは声と映像を別々に被験
者に見せるものであり、実験Ｂは声と映像の組合せを変
えて被験者に見せるものであり、たとえば幸福な顔の映
像と悲しみの声とを組合せたようなものである。

【００１０】図２はスペイン語での実験Ａの認識結果を
示し、図３はシンハラ語での実験Ａの認識結果を示し、
図４はスペイン語とシンハラ語における６つの感情の認
識結果を対比して示した図である。

【００１１】図２と図３とを対比すれば明らかなよう
に、言語で認識結果は異なっているが、両者の傾向はよ
く似ていることがわかる。すなわち、「悲しみ」と「恐
怖」はともに映像よりも音声のみで認識される度合いが
高くなっており、その他の「怒り」，「幸福」，「驚
き」，「嫌悪」は音声のみよりも表情で認識される度合
いが高くなっていることがわかる。

【００１２】図５はスペイン語での実験Ｂの認識結果を
示し、図６はシンハラ語での実験Ｂの認識結果を示し、
図７はスペイン語とシンハラ語における６つの感情の認
識結果を対比して示した図である。

【００１３】この実験Ｂにおいても、「悲しみ」と「恐
怖」はともに音声のみで認識される度合いが高くなって
おり、「怒り」，「幸福」，「驚き」は映像のみで認識
される度合いが高くなっており、「嫌悪」だけではスペ
イン語では映像が優位になっており、シンハラ語では音
声が優位になっている。

【００１４】上述の実験結果から、「怒り」と「幸福」
と「驚き」が表情を優先し、「悲しみ」と「恐怖」とが
声を優先していることが確かめられた。

【００１５】図８はこの発明の一実施形態を示すブロッ
ク図である。図８において、カメラ１は話者の顔画像を
撮像し、マイクロホン２は話者の声を取得する。顔画像
は画像データを用いた感情認識部３に入力されて感情が
認識され、音声は音声データを用いた感情認識部４に与
えられて感情が認識される。それぞれの認識結果は重み
付け処理部５に与えられて音声と表情を統合した感情が
出力される。

【００１６】ここで、画像データを用いた感情認識部３
としては、Ｊ．ＳＩＣＥ（計測と制御）特集：人間と共
存するロボットの新技術、Ｖｏｌ．３４，Ｎｏ．４，ｐ
ｐ．２４８−２５４，Ａｐｒ．１９９５で発表された技
術が用いられる。すなわち、撮像した顔画像からたとえ
ば額，目，口の動きに関連する３０の特徴を抽出してニ
ューラルネットワークに与え、６つの感情を認識する。
また、音声データを用いた感情認識部４としては、In P
roceedings of Spring Symposiurm on Believable Agen
ts, Stanford University, AAAI （American Associati
on for Artificial Intelligence）, March 1994に発表
された技術が用いられる。

【００１７】重み付け処理部５は怒り，幸福，悲しみ，
驚き，嫌悪，恐怖のそれぞれの画像データをＶ_Ang ，Ｖ
_Hap ，Ｖ_Sad ，Ｖ_Sur ，Ｖ_Dis ，Ｖ_Fea で表わし、それ
ぞの音声データをＡ_Ang ，Ａ_Hap ，Ａ_Sad ，Ａ_Sur ，Ａ
_Dis ，Ａ_Fea とすると、次の第（１）式のように入力さ
れる。 （Ｖ_Ang ，Ｖ_Hap ，Ｖ_Sad ，Ｖ_Sur ，Ｖ_Dis ，Ｖ_Fea ，Ａ_Ang ，Ａ_Hap ，Ａ_Sad ，Ａ_Sur ，Ａ_Dis ，Ａ_Fea ）∈｛０，１｝ （１） 重み付け処理部５の中での感情選択手法は次のとおりと
なる。

【００１８】 怒り^* ＝Ｗ_(1,Ang) Ｖ_Ang ＋Ｗ_(2,Ang) Ａ_Ang 幸福^* ＝Ｗ_(1,Hap) Ｖ_Hap ＋Ｗ_(2,Hap) Ａ_Hap 悲しみ^* ＝Ｗ_(1,Sad) Ｖ_Sad ＋Ｗ_(2,Sad) Ａ_Sad （２） 驚き^* ＝Ｗ_(1,Sur) Ｖ_Sur ＋Ｗ_(2,Sur) Ａ_Sur 嫌悪^* Ｗ_(1,Dis) Ｖ_Dis ＋Ｗ_(2,Dis) Ａ_Dis 恐怖^* Ｗ_(1,Fea) Ｖ_Fea ＋Ｗ_(2,Fea) Ａ_Fea たとえば、重み付けマトリクスＷは実験の結果により、
次のように設定できる。

【００１９】 Ｗ_(1,Ang) ＝２２．５９ Ｗ_(2,Ang) ＝ ０ Ｗ_(1,Hap) ＝４１．８８ Ｗ_(2,Hap) ＝ ０ Ｗ_(1,Sad) ＝ ０ Ｗ＝_(2,Sad) ２０．６５ （３） Ｗ_(1,Sur) ＝１１．６４ Ｗ_(2,Sur) ＝ ０ Ｗ_(1,Dis) ＝２３．３０ Ｗ_(2,Dis) ＝ ０ Ｗ_(1,Fea) ＝ ０ Ｗ_(2,Fea) ＝６．５４ 基本的に、Ｗ_(1,xxx) ，Ｗ_(2,xxx) の値は次のとおり設
定すれば、従来の感情認識方法により優位な結果が得ら
れる。

【００２０】 ｛Ｗ_(1,Ang) ，Ｗ_(1,Hap) ，Ｗ_(2,Sad) ，Ｗ_(1,Sur) ，Ｗ_(1,Dis) ， Ｗ_(2,Fea) ｝＞＞＞１ ｛Ｗ_(2,Ang) ，Ｗ_(2,Hap) ，Ｗ_(1,Sad) ，Ｗ_(2,Sur) ，Ｗ_(2,Dis) ， Ｗ_(1,Fea) ｝＜＝０ （４） 最終的に、第（５）式により入力感情が認識される。

【００２１】 Ｍａｘ｛怒り^* ，幸福^* ，悲しみ^* ，驚き^* ，嫌悪^* ，恐怖^* ｝ （５） 図９はこの発明の一実施形態を用いて実現した臨場感通
信での会議システムを示す概念図である。臨場感通信で
の会議システムでは、互いに離れた空間１０，２０にい
る２人の人３０，４０が会議を行なう。一方の空間上に
いる人３０の表情および音声はこの発明の一実施形態に
よる認識装置５０で認識され、他方の空間２０の表現装
置８０で表現される。同様にして、他方の空間２０にい
る人４０の表情および音声は認識装置６０で認識され、
一方の空間１０の表現装置７０で表現される。そして、
各表現装置７０，８０には、会議をしている人３０，４
０の感情が表情と音声で表現される。すなわち、たとえ
ば驚きの音声を発したときには、驚いたときの顔の表情
となるように表現される。その際、実写映像を表示する
のではなく、コンピュータグラフィックス（ＣＧ）像で
再構成した人物像を表示することにより、実物の表情よ
りも強調した表情にすることができる。それによって、
自然な感情の表現で会議を進めることができる。

【００２２】

【発明の効果】以上のように、この発明によれば、音声
データに基づいて認識した感情と、画像データに基づい
て認識した感情にそれぞれ重み付けして統合するように
したので、認識率を高めることができ、この認識結果に
基づいて感情を表現したとき、自然な表情と音声で感情
を再現できる。

【図面の簡単な説明】

【図１】感情認識実験結果を説明するための図である。

【図２】スペイン語での実験Ａの認識結果を示す図であ
る。

【図３】シンハラ語での実験Ａの認識結果を示す図であ
る。

【図４】スペイン語とシンハラ語における６つの感情の
認識結果を対比して示した図である。

【図５】スペイン語での実験Ｂの認識結果を示す図であ
る。

【図６】シンハラ語での実験Ｂの認識結果を示す図であ
る。

【図７】スペイン語とシンハラ語における６つの感情の
認識結果を対比して示した図である。

【図８】この発明の一実施形態を示すブロック図であ
る。

【図９】この発明の一実施形態を用いて実施形態した臨
場感通信での会議システムを示す概念図である。

【符号の説明】 １ カメラ ２ マイクロホン ３ 画像データを用いた感情認識部 ４ 音声データを用いた感情認識部 ５ 重み付け処理部

フロントページの続き (56)参考文献 特開 平10−254484（ＪＰ，Ａ) 特開 平５−252509（ＪＰ，Ａ) 特開 平10−49188（ＪＰ，Ａ) 特開 平５−12023（ＪＰ，Ａ) 特開 平２−183371（ＪＰ，Ａ) 特開 平４−342078（ＪＰ，Ａ) 特許2798622（ＪＰ，Ｂ２) 電子情報通信学会技術研究報告 Ｖｏ ｌ．96，Ｎｏ．296，ＩＥ96−58，”Ｄ ｅｇｒｅｅ ｏ Ｈｕｍａｎ Ｐｅｒｃ ｅｐｔｉｏｎ ｏｆ Ｆａｃｉａｌ Ｅ ｍｏｔｉｏｎｓ ｂａｓｅｄ ｏｎ Ａ ｕｄｉｏ ａｎｄ Ｖｉｄｅｏ Ｉｎｆ ｏｒｍａｔｉｏｎ”，ｐ９−15，（1996 ／10／14) 電子情報通信学会技術研究報告 Ｖｏ ｌ．95，Ｎｏ．436，ＣＳ95−152，「臨 場感通信会議システムの評価−感情認識 と伝達について−」，Ｐ．31−36 電子情報通信学会技術研究報告 ＩＥ 95−104，「臨場感通信会議システムの 評価−感情認識と伝達について−」, Ｐ．31−36 ＩＥＩＣＥ Ｔｒａｎｓａｃｔｉｏｎ ｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎｓ ａｎｄ Ｓｙｓｔｅｍｓ，Ｖｏｌ．Ｅ79 −Ｄ，Ｎｏ．６，Ｊｕｎｅ 1996，”Ｅ ｍｏｔｉｏｎ Ｅｎｈａｎｃｅｄ Ｆａ ｃｅ ｔｏ Ｆａｃｅ Ｍｅｅｔｉｎｇ ｓ Ｕｓｉｎｇ ｔｈｅ Ｃｏｎｃｅｐ ｔ ｏｆ Ｖｉｒｔｕａｌ Ｓｐａｃｅ Ｔｅｌｅｃｏｎｆｅｒｅｎｃｉｎｇ" ｐ．772−780 ＩＥＩＣＥ Ｔｒａｎｓａｃｔｉｏｎ ｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎｓ ａｎｄ Ｓｙｓｔｅｍｓ，Ｖｏｌ．Ｅ81 −Ｄ，Ｎｏ．１，Ｊａｎｕａｒｙ 1998，”Ｕｓｅ ｏｆ Ｍｕｌｔｉｍｏ ｄａｌ Ｉｎｆｏｒｍａｔｉｏｎ ｉｎ Ｆａｃｉａｌ Ｅｍｏｔｉｏｎ Ｒｅ ｃｏｇｎｉｔｉｏｎ”，ｐ．105−114 (58)調査した分野(Int.Cl.⁶，ＤＢ名) G10L 3/00 531 G10L 3/00 571 G06T 1/00 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 人間の声の情報と顔の情報とから感情を
   認識する階層的感情認識装置であって、 前記人間の声の情報から音声データを抽出する音声抽出
   手段、 前記人間の顔の情報から画像データを抽出する画像抽出
   手段、 前記音声抽出手段によって抽出された音声データに基づ
   いて感情を認識する第１の感情認識手段、 前記画像抽出手段によって抽出された画像データに基づ
   いて感情を認識する第２の感情認識手段、および前記第
   １および第２の感情認識手段によってそれぞれ認識され
   た感情に重み付けして統合する重み付け手段を備えた、
   階層的感情認識装置。
2. 【請求項２】 前記重み付け手段は、前記第１の感情認
   識手段によって「悲しみ」と「恐怖」が認識されたと
   き、これらの感情の声の重み付けを大きくし、前記第２
   の感情認識手段によって「怒り」と「幸福」と「驚き」
   が認識されたとき、これらの感情の画像の重み付けを大
   きくすることを特徴とする、請求項１の階層的感情認識
   装置。