JPH0512023A

JPH0512023A - 感情認識装置

Info

Publication number: JPH0512023A
Application number: JP3164243A
Authority: JP
Inventors: Hajime Nishidai; 元西台
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1991-07-04
Filing date: 1991-07-04
Publication date: 1993-01-22

Abstract

(57)【要約】【目的】音声認識を利用した感情認識装置の実現に関
するものである。【構成】特徴信号抽出手段１０が、感情に対応する音
声信号の特徴を抽出する。ズレ検出手段１２は、基準と
なる音声信号と特徴信号とのズレ量を検出する。感情判
断手段１４は、前記ズレ量に基づいて、感情状態を判断
する。従って、感情を適切に判断することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、音声認識装置の利用
に関して、特に音声認識を利用した感情認識装置に関す
るものである。

【０００２】

【従来の技術】従来、人間と機械間のインターフェイス
（以下、ＭＭＩという）としては、手書き文字認識、音
声認識などが知られている。しかし、これらの手段によ
って機械側に入力される情報は、あくまでも、人間の感
情／心理状態を言葉に変換して入力されるものである。
従って、人間の感情／心理状態が、自然に、直接的に入
力されるようなものではなかった。

【０００３】一方、人間の感情／心理状態を把握する方
法としては、以下の方法がある。

【０００４】（１）脳波、心拍、発汗などの身体的な物
理量をセンサで計測して認識する。例えば、嘘発見器の
ようなものである。

【０００５】（２）感情／心理を反映する質問に対し
て、ＹＥＳ，ＮＯや３〜５段階評価で答えさせて認識す
る。

【０００６】

【発明が解決しようとする課題】しかしながら、上記の
方法をＭＭＩの手段とするには、次のような問題があ
る。すなわち、（１）は、測定用電極などを身体に装着
する必要があり、日常、簡易に利用できる方法ではな
い。また、（２）は、心理テストなどには有効である
が、リアルタイム性に欠ける。このように、従来の方法
では、ＭＭＩの手段として適当ではなく、自然なＭＭＩ
を実現することが困難であった。また、音声認識におい
て、話者の感情／心理状態の変化によって、発声が変動
し、認識効率が低下するという問題もあった。

【０００７】この発明は上記問題を解決し、自然なＭＭ
Ｉを実現することを目的とする。

【０００８】

【課題を解決するための手段】請求項１の感情認識装置
は、感情に対応する音声信号の特徴を抽出する特徴信号
抽出手段、基準となる音声信号と特徴信号とのズレ量を
検出するズレ検出手段、前記ズレ量に基づいて、感情状
態を判断する感情判断手段、を備えている。

【０００９】

【作用】請求項１の感情認識装置は、特徴信号抽出手段
が、感情に対応する音声信号の特徴を抽出する。ズレ検
出手段は、基準となる音声信号と特徴信号とのズレ量を
検出する。感情判断手段は、前記ズレ量に基づいて、感
情状態を判断する。従って、感情を適切に判断すること
ができる。

【００１０】

【実施例】図１に、この発明の一実施例である感情認識
装置の構成図を示す。特徴信号抽出手段１０は、マイク
ロホンを通して入力された音声から感情に対応する音声
信号の特徴信号を抽出する。ズレ検出手段１２は、特徴
信号と基準となる音声信号との間のズレ量を検出する。
感情判断手段１４は、ズレ検出手段１２から検出された
ずれ量に基づいて感情を判断する。

【００１１】図２に、この発明の一実施例である感情認
識装置のハードウエア構成を示す。

【００１２】以下、感情認識装置の動作について説明す
る。

【００１３】まず、特徴信号抽出回路２０は、マイクロ
ホン１６を通して入力された音声から感情に対応する音
声信号の特徴信号２６を抽出する。図３に、特徴信号抽
出回路２０の具体例を示す。

【００１４】図３ａの例では、入力信号の音声継続時間
を抽出する。入力された音声信号をフィルタ３０にかけ
て、所定の周波数を取り出して、その包絡線検出３２を
行う。この包絡線を比較器３４にかけて、所定のしきい
値を超える信号の長さをタイマ３６により計測して音声
継続時間を抽出する。

【００１５】図３ｂでは、サンプル時間内の音声信号の
周波数成分におけるピーク（フォルマント）を抽出する
ことによって、特徴信号を抽出する。まず、入力された
音声信号のサンプルホールド４０をする。次に、サンプ
ルホールドした音声信号をＡ／Ｄ変換４２して、フーリ
エ変換（ＦＦＴ）４４を行う。この結果により、声道の
共鳴周波数であるフォルマント周波数が抽出される。な
お、最も大きなピーク値を持つものから第１フォルマン
ト周波数，第２フォルマント周波数，・・・と呼ぶ。

【００１６】図３ｃでは、入力信号の信号レベルの強度
を抽出する。入力された音声信号を、例えば、フィルタ
５０にかけて、１０ＫＨｚの周波数を取り出して、その
包絡線検出６０を行う。これをＡ／Ｄ変換７０して、１
０ＫＨｚの周波数の強度を抽出する。以下、フィルタ５
２により２０ＫＨｚの周波数２などと、周波数ごとの強
度を抽出する。強度が大であれば、例えば、「喜び」、
「怒り」を表現したものと考えられる。

【００１７】次に、図２に示すズレ検出手段である正規
化ズレ検出回路２２は、特徴信号２６と基準となる音声
信号との間の正規化ズレ量を検出して、正規化ズレ信号
２８を出力する。図４に、正規化ズレ量の検出方法の一
例を示す。

【００１８】図４ａに、音声継続時間の正規化ズレ量検
出の例を示す。この場合、音声継続時間が短くなってな
っており、「怒り」を短い言葉（乱暴な言葉）で表現し
たものと判断される。このように、特徴信号を抽出する
ことができる。

【００１９】図４ｂに、フォルマント周波数による例を
示す。この例では、第一フォルマント周波数について、
基準となる音声信号との正規化ズレ量を検出している。
このズレ量については、サンプル時間内の平均ズレ量を
用いてもよいし、時系列データとしてのズレ量を用いて
もよい。この図では、入力周波数は、基準周波数より負
の方にズレており、例えば、「怒り」や「悲しみ」を低
音により表現したものと判断される。

【００２０】その他、サンプル時間内の一定レベル強度
ｓを超える最高周波数成分（図４ｃ）、音声の基本周波
数成分における立ち上がり時間ｔ（図４ｄ）、サンプル
時間内の入力信号の周波数変動の最大／最小値ｈ（図４
ｅ）などにより、基準データと特徴信号との正規化ズレ
量を抽出することができる。

【００２１】次に、図２に示す感情判断手段であるファ
ジイ推論装置２４は、正規化ズレ検出回路２２から送ら
れた正規化ズレ信号２８に基づいて感情を判断する。推
論ルールの抽出は、以下のように行っている。例えば、
「怒り」について特徴とされる信号は、音声継続時間
が短い（乱暴な言葉）、周波数のシフト（低音で表
現）、信号レベルが大（声が大きい）、信号の立ち
上がりが速い（語気が鋭い）、周波数の変動が大（表
現がオーバー）のようになっている。この抽出されたル
ールによってファジイ推論ルールは、例えば、次のよう
なものとなっている。

【００２２】ＩＦ音声継続時間＝小ＴＨＥＮ怒りが大ＩＦ周波数のシフト＝負ＴＨＥＮ怒りが中ＩＦ信号レベル＝大ＴＨＥＮ怒りが中ＩＦ信号立ち上がりの速さ＝大ＴＨＥＮ怒りが大ＩＦ信号レベルの変動＝大ＴＨＥＮ怒りが中図５に、前件部のメンバーシップ関数を示す。この例で
は、図５ａに示すように、「音声継続時間が小」である
適合度は、０．７である。図５ｂに示す「第一フォルマ
ント周波数のシフトが負」である適合度は０．３であ
る。図５ｃに示す「信号レベルが大」である適合度は
０．４である。図５ｄに示す「信号立ち上がりの速さが
大」である適合度は０．９である。図５ｅに示す「信号
レベル変動が大」である適合度は０．２である。

【００２３】以上の前件部により、後件部である「怒り
が大」である確からしさを、図６に示すように、「最大
高さ法」により求める。この場合、「怒りが大」である
適合度は、ルールの適合度が０．７であり、ルール
の適合度は０．９であるので０．９になる。「怒りが
中」である適合度は、ルールの適合度が０．４であ
り、ルールの適合度は０．２であり、ルールの適合
度は０．３であるので０．４になる。従って、「怒りが
中」の適合度が０．４であって、「怒りが大」である適
合度がより大きい０．９であることにより、「怒りが
大」が、全体の結論とされる。

【００２４】その他、「あせり」、「喜び」、・・・な
どについて確からしさを演算することができる。以上の
ように、ファジイ推論を行う。

【００２５】なお、この実施例では、「最大高さ法」に
より後件部を求めたが、「重心法」によってもよい。

【００２６】これにより、音声認識装置において、音声
の変化幅が大きいことにより、認識率が向上しないとい
う問題点があるが、感情認識装置により感情を推定し
て、音声の変化幅を補正して認識率を上げることが可能
となる。

【００２７】次に、この実施例を利用した具体例を示
す。この例では、ファミコンゲーム「ドラゴンクエス
ト」などのロールプレイングゲームに利用している。図
８に、ブロック図を示す。ＣＰＵ８０には、ゲームソフ
ト（ＲＯＭ）８４，ＲＡＭ８６，パラメータメモリ８
８，ＣＲＴ９０が接続されている。さらに、マイクロホ
ン９２と感情認識装置８２、ゲーム用操作杆９４が、イ
ンターフェース９６、９８を介して、接続されている。

【００２８】まず、マイクロホン９２を通じて入力され
た音声は、感情認識装置８２により、感情を認識され、
ＲＡＭ８６に記憶される。ＣＰＵ８０は、パラメータメ
モリ８８に記憶されている「攻撃力」のパラメータを、
ＲＡＭ８６に記憶されている感情により変化させる。例
えば、「怒り」が大であれば、パラメータを増にし、
「あせり」が大であれば、パラメータを減にする。これ
により、ゲームを行う者の心理状態に応じた「攻撃力」
を用いて、より現実感があるゲームを楽しむことができ
る。

【００２９】また、音声により認識された心理状態に合
せて、ＢＧＭや照明などを変えることもできるため、住
宅環境における快適さを得ることもできる。例えば、精
神状態が不安定と認識された時に、精神を安定させるバ
ロック音楽などをＢＧＭに流すことが効果的になる。

【００３０】

【発明の効果】請求項１の感情認識装置は、特徴信号抽
出手段が、感情に対応する音声信号の特徴を抽出する。
ズレ検出手段は、基準となる音声信号と特徴信号とのズ
レ量を検出する。感情判断手段は、前記ズレ量に基づい
て、感情状態を判断する。従って、感情を適切に判断す
ることができる。

【図面の簡単な説明】

【図１】この発明の一実施例による感情認識装置の構成
図である。

【図２】この発明の一実施例による感情認識装置のブロ
ック図である。

【図３】特徴信号抽出回路を示す図である。

【図４】正規化ズレ検出回路を示す図である。

【図５】前件部のメンバーシップ関数を示す図である。

【図６】後件部のメンバーシップ関数を示す図である。

【図７】この発明の一実施例による感情認識装置のブロ
ック図である。

【符号の説明】

１０・・・特徴信号抽出手段１２・・・ズレ検出手段１４・・・感情判断手段

Claims

【特許請求の範囲】【請求項１】感情に対応する音声信号の特徴を抽出する
特徴信号抽出手段、基準となる音声信号と特徴信号とのズレ量を検出するズ
レ検出手段、前記ズレ量に基づいて、感情状態を判断する感情判断手
段、を備えたことを特徴とする感情認識装置。