JPH09206291A - 人の感情・状態を検出する装置 - Google Patents

人の感情・状態を検出する装置

Info

Publication number
JPH09206291A
JPH09206291A JP8040387A JP4038796A JPH09206291A JP H09206291 A JPH09206291 A JP H09206291A JP 8040387 A JP8040387 A JP 8040387A JP 4038796 A JP4038796 A JP 4038796A JP H09206291 A JPH09206291 A JP H09206291A
Authority
JP
Japan
Prior art keywords
sound wave
frequency
person
data
discrimination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8040387A
Other languages
English (en)
Inventor
Hiroyuki Kuno
裕之 久野
Megumi Takano
恵 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JAPAN SMALL CORP
Original Assignee
JAPAN SMALL CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JAPAN SMALL CORP filed Critical JAPAN SMALL CORP
Priority to JP8040387A priority Critical patent/JPH09206291A/ja
Publication of JPH09206291A publication Critical patent/JPH09206291A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

(57)【要約】 【課題】 人の感情・状態(例えば拍手や歓声等の喜
び、ブーイング等の怒り)を、人が発する音(音波)を
介して、低いコストで、かつ多人数の感情を効率的に検
出(認識)する。 【解決手段】 人が発する音波の波形をフーリエ変換に
より(周波数)スペクトラムに変換し、さらにそのスペ
クトラムの中心(周波数重心)Gを求め、この周波数重
心Gが所定のしきい値より大きいかどうかで、人の感情
(例えば拍手・歓声等)を認識する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、人の感情・状態
を検出(認識)する装置に関する。
【0002】
【従来の技術】例えば、商店街やイベント会場等で客の
反応を見て対話等をするロボットがある。これは例えば
何らかの動作を行い、客がこれに喜んで拍手等をする
と、ロボットが御礼を言ったり、あるいはこれに対応す
る次の会話に移るといったものである。
【0003】ここで、人の感情を認識する方法として、
画像処理を用いて人の表情を識別する方法がある。
【0004】
【発明が解決しようとする課題】しかしながら、このよ
うに画像処理を行う方法は、装置が大がかりになり、コ
ストがかかる上に、演算量が多くなるので、処理時間が
多くかかってしまう。さらに、一人の人間の感情を認識
するのには向いているが、多人数全体の感情を把握する
ことは難しい。
【0005】本発明の課題は、低いコストで人間の感情
を認識すること、及び多人数の感情を効率的に認識・検
出することにある。
【0006】
【課題を解決するための手段及び作用・効果】このよう
な課題を解決するために、本発明では、次のような各手
段を含む。 人の発する音波の波形データを検出する波形データ検
出手段。 人の発する音波の特定種類のものの判別データを記憶
する判別データ記憶手段。 上記波形データ検出手段で検出された音波の波形デー
タと、上記判別データ記憶手段に記憶されている判別デ
ータとを比較・分析して、人の発する音波がその判別デ
ータに対応する種類かどうかを判定する判定手段。 このような構成により、低コストで多人数の感情(例え
ば拍手等)を効果的に認識することができる。
【0007】また、その人の発する音波の判別のため
に、人の発する音波の波形を周波数分解して(周波数)
スペクトラムに変換し、このスペクトラムの中心(周波
数重心)を求め、この周波数重心が特定種類の周波数帯
域との関係で、当該周波数帯域に属するかどうかを見る
ことができる。この周波数重心を用いる手法では、周波
数帯域を区分する周波数しきい値と上記周波数重心との
相対関係により、人の発する音の特定種類を判別するこ
とができる。このように周波数重心を用いるやり方で
は、少ない計算量で認識が終了するので、人の感情をダ
イナミックに測定するのに適している。
【0008】別の判別の手法として、予め人の発する音
波の特定種類の標準波形パターンを記憶しておき、これ
と実際の音波の波形パターンとを照合・比較するパター
ンマッチングを行い、その類似度に基づいて、人の発す
る音波の特定種類を判定することもできる。
【0009】このパターンマッチングの手法によれば、
一種類の標準波形パターンに限らず、互いに異なる複数
種類の標準波形パターン(例えば拍手、笑い、ブーイン
グ等)を記憶しておき、実際の音波の波形パターンがど
れに最も近いかにより判定を行うことができるため、人
の感情をより正確に認識することが可能である。
【0010】
【発明の実施の形態】以下、図面に示す実施例に基づ
き、本発明の実施の形態を説明する。図1はコンピュー
タを用いた装置構成の一例を示すもので、マイク1から
入力される人の音波は、A/Dコンバータ2によりAD
変換され、I/Oポート3を経てCPU4、ROM5及
びRAM6を含むコンピュータに取り込まれる。ROM
5は後述の人の感情等を判別する判別プログラム5a等
を記憶し、RAM6は人から出る実際の音波の周波数重
心(後述)を一時的に記憶する重心バッファメモリ6a
等、必要なメモリ領域を備える。
【0011】図3は人の音波として、例えば多人数の拍
手の状態を検出する流れを示すものである。ステップS
1で、人から音波が発生すると、S2でマイク1等を介
して音波が入力される。S3でその音波がA/D変換さ
れ、これがCPU4を主体とするコンピュータに取り込
まれる。S4では、CPU4が、その音波信号をフーリ
エ変換してスペクトラムに変換する。あるいは、FFT
スペクトラムアナライザ2a(図1)等の変換器により
フーリエ変換を行い、上記音波信号をスペクトラムに変
換して、その信号をCPU4を主体とするコンピュータ
に取り込む。
【0012】一般にスペクトラムアナライザは、例えば
「電気工学ハンドブック(第4版)電気学会編(199
1年1月30日第4版第2刷発行)の第397頁〜39
8頁等に記載のように、周波数ドメインの測定器といわ
れる。その397頁の説明図を図6に示す。これは一つ
の音波信号をタイムドメインと周波数ドメインで観測し
た場合の相互関係を示しているが、周波数ドメインでみ
ると各周波数数分ごとの振幅が分離されて検出される。
これが一般に(周波数)スペクトラムと呼ばれるもので
ある。言い換えれば、スペクトラムは音波の強さを周波
数の関数としてとられたものである。
【0013】そして、前記文献「電気工学ハンドブッ
ク」の第403頁〜404頁に記載のように、スペクト
ラムアナライザは走査形と非走査に分類され、前者が単
にスペクトラルアナライザ、後者がリアルタイムスペク
トラムアナライザ又はFFTアナライザと呼ばれる。そ
の基本原理、動作原理は前記文献の第397頁〜398
頁に記載のように周知であるが、FFTスペクトラルア
ナライザを例にとれば、高速フーリエ変換(Fast Fouri
er Transform)を行うデジタル信号処理により、時間ド
メイン(振幅対時間)を周波数ドメイン(振幅対周波
数)に変換する。
【0014】FFTスペクトラムアナライザの動作は、
まず入力された音波信号を後に続く回路に合う電圧に調
整し、その後帯域外信号を取り除くためのローパルスフ
ィルタを通す。さらに、そのフィルタを通り抜けた音波
信号は、デジタル変換され、デジタルフィルタリングや
サンプリング処理され、サンプルされたデータは規定の
タイムレコードになるまで、タイムバッファにストアさ
れる。タイムレコードが完成すると、FFT論理回路に
入り、分析される(ここで重み関数を入れたり平均化を
行う)。その結果、スペクトラムのデータが得られる。
これを概念的に示せば、例えば図2に示すように、横軸
を周波数、縦軸を音の強さとして、どのような周波数に
音が分布しているかが分かる。
【0015】図3に戻って、そのS5では、CPU4が
図2に例示的に示すスペクトラムの中心(周波数重心と
いえる)Gを検出する。この重心Gを求めるには、通常
の図形の重心を求める方法と同様の方法を採用すること
ができる。例えば、図2において各棒の長さを求め、か
つ、これらの棒の重心の合成によって、全体の波形(各
棒の頂点をつないだもの)の重心を求める。
【0016】そして図3のS6で、その周波数重心(ス
ペクトラムの中心)が所定の周波数のしきい値より大き
いかどうかを判断する。通常のノイズ(ざわつき等)の
周波数重心は一般に周波数が低く、拍手、人の歓声や喜
びの表現は、その周波数重心が高いところにある。
【0017】従って、経験値等からこの周波数のしきい
値を設定し、これより実際の周波数重心Gが大きい場合
は、拍手等観衆が喜んでいる状況と認識することができ
る。つまり図3のS7で、例えば拍手等の特定種類の音
と判定し、周波数重心がしきい値より小さければ、S8
で特定種類以外の音(例えばざわつき等のノイズ)と判
定する。
【0018】このように周波数重心としきい値を比較す
る態様では、図1のROM5(場合によってはRAM6
等も含んで)が判別データ記憶手段に相当し、例えばR
OM5に前述の周波数のしきい値等が判別プログラム5
aの中に記憶されることとなる。またCPU4は、前述
の周波数のしきい値と重心とを比較することに基づく判
定手段として機能し、さらに具体的な機能として、重心
検出部等の機能を果たす。そして、このようにCPU4
を主体として判定された拍手など人間の感情・状態に関
する判定結果は、I/Oポート3を介して外部に出力さ
れることとなる。
【0019】なお、S6のステップをさらに具体的に図
7に示す。この例では、重心しきい値Ga、Gbが、周
波数と音波信号の強さとの相関的な関係に基づく関数し
きい値とされ、例えば一次関数的な傾斜した直線、その
他の適宜の関数で規定される。
【0020】そして、例えば重心の位置が、図のA領域
にあれば観客は喜んでいる、B領域にあれば観客は反応
なし、C領域にあれば観客はのっていない(シラケてい
る;喜んでいない)、等と判定する。なお、上述のしき
い値は単なる周波数固定値(縦軸と平行)でも、上述の
関数しきい値でもよいが、いずれにしても、例えば実験
データ等により経験的に求めること、あるいは推論又は
理論式等によって求めることができる。
【0021】次に、別の態様を図4及び図5に基づいて
説明する。図4に示すようにこの態様では、スペクトラ
ムの中心(周波数重心)という概念を用いるのではな
く、人の音(音波)の種類、例えば拍手、笑い又はブー
イングといった音の種類に対応する標準波形パターン
(AないしC・・・)を予めROM5等に記憶してい
る。そして実際に検出された人の音のパターンとのパタ
ーンマッチングを行い、実際に発せられている音が人間
の感情・状態等に関連してどのような種類であるかを判
定する。この処理の流れの一例を図5に示す。
【0022】ステップR1で人の音が入力され、R2でそ
の波形の特徴分析が行われる。例えばその波形の特徴パ
ターンが抽出され、これがRAM6に一時記憶される。
このような処理を行うに際し、ROM5には、標準波形
パターン辞書部が設けられ、ここに図4等に示す標準波
形パターンデータが記憶されている。
【0023】図5に戻って、そのR3で実際の音の特徴
波形パターンと上述の各標準波形パターンとを参照・比
較し、類似度計算の一種である例えば距離計算を行う。
さらにR4で、その計算によって求められた類似度が最
大のものが実際の人の感情・状態(例えば拍手等)に対
応すると判定する。つまり図4に概念的に示すように、
実際の音の波形パターンXと標準波形パターンA、B、
C等との間の類似度計算により、どの標準波形パターン
に最も近いかを見て、類似度が最大のもの(第1候補)
を選定することに基づいて、実際の感情等の判定処理を
行うこととなる。
【0024】なお、図5のR4のステップで、類似度が
最大の第1候補を選定した後、その次に類似度の高い第
2候補との類似度の差、あるいは類似度の比等を算出す
るステップを加え、それらの類似度の差や比を補強判断
材料として、第1候補を正しい認識として選ぶ際に、そ
の選択(認定)の精度を高めるようにすることもでき
る。
【図面の簡単な説明】
【図1】本発明の装置構成の一例を示すブロック図。
【図2】スペクトラムとその中心(周波数重心)の関係
等の一例を説明する図。
【図3】スペクトラムの中心(周波数重心)を用いた処
理の一例を示すフローチャート。
【図4】パターンマッチングを行う場合を概念的に示す
図。
【図5】そのパターンマッチングに基づく処理の一例を
示すフローチャート。
【図6】(周波数)スペクトラムの概念を示す図。
【図7】スペクトラムの中心(周波数重心)としきい値
との関係の一例を示す図。
【符号の説明】
1 マイク 4 CPU 5 ROM 6 RAM

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 人の発する音波の波形データを検出する
    波形データ検出手段と、 人の発する音の特定種類のものの判別データを記憶する
    判別データ記憶手段と、 前記波形データ検出手段で検出された音波の波形データ
    と前記判別データ記憶手段に記憶されている判別データ
    とを比較・分析して、前記人の発する音波が前記判別デ
    ータに対応する種類かどうかを判定する判定手段と、 を含むことを特徴とする人の感情・状態を検出する装
    置。
  2. 【請求項2】 前記波形データ検出手段は、 前記音波をフーリエ変換してスペクトラムに変換する周
    波数分解部と、そのスペクトラムの中心(周波数重心)
    を検出する重心検出手段とを含み、 前記判別データ記憶手段は、前記周波数重心と前記音の
    特定種類の周波数帯域との関係を前記判別データとして
    記憶しており、 前記判定手段は、その周波数重心の属する周波数帯域に
    基づいて前記人の発する音波が前記特定種類のものであ
    るかどうかを判別することを特徴とする請求項1記載の
    装置。
  3. 【請求項3】 前記判別データ記憶手段は、前記周波数
    帯域を区分する周波数しきい値を判別データとして記憶
    しており、 前記判定手段は、前記周波数重心と特定の周波数しきい
    値との相対関係を判定して、前記人の発する音波の種類
    を判別することを特徴とする請求項2記載の装置。
  4. 【請求項4】 前記判別データ記憶手段は、前記人の発
    する音波の特定種類の標準波形パターンのデータを前記
    判別データとして記憶しており、 前記判定手段は、前記波形データ検出手段で検出された
    音波の波形データと前記判別データ記憶手段に記憶され
    ている特定種類の標準波形パターンデータとを照合・比
    較するパターンマッチングを行い、その類似度に基づい
    て前記人の発する音波が前記特定種類のものであるかを
    判定するものである請求項1記載の装置。
JP8040387A 1996-02-02 1996-02-02 人の感情・状態を検出する装置 Pending JPH09206291A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8040387A JPH09206291A (ja) 1996-02-02 1996-02-02 人の感情・状態を検出する装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8040387A JPH09206291A (ja) 1996-02-02 1996-02-02 人の感情・状態を検出する装置

Publications (1)

Publication Number Publication Date
JPH09206291A true JPH09206291A (ja) 1997-08-12

Family

ID=12579253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8040387A Pending JPH09206291A (ja) 1996-02-02 1996-02-02 人の感情・状態を検出する装置

Country Status (1)

Country Link
JP (1) JPH09206291A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001033953A1 (fr) * 1999-11-11 2001-05-17 Kowa Co., Ltd. Procede et appareil de mesure de la frequence du comportement specifique d'un animal
JP2002215533A (ja) * 2001-01-24 2002-08-02 Victor Co Of Japan Ltd コミック自動生成装置
KR100425342B1 (ko) * 2000-09-02 2004-03-30 삼성전자주식회사 신체 및 감정 상태 인식 장치 및 방법
US6761131B2 (en) 2001-08-06 2004-07-13 Index Corporation Apparatus for determining dog's emotions by vocal analysis of barking sounds and method for the same
JP2004200985A (ja) * 2002-12-18 2004-07-15 Denso Corp 通話音声のテキスト変換システム
KR100464821B1 (ko) * 2001-10-23 2005-01-17 임좌상 생리신호를 이용한 감성평가방법
KR100485906B1 (ko) * 2002-06-26 2005-04-29 삼성전자주식회사 정서유도 장치 및 방법
JP2008272019A (ja) * 2007-04-25 2008-11-13 Oki Electric Ind Co Ltd 集団感情認識支援システム
US7909698B2 (en) 2003-09-12 2011-03-22 Namco Bandai Games, Inc. Input device, input determination method, game system, game system control method, program, and information storage medium
JP2015156229A (ja) * 2009-10-29 2015-08-27 イマージョン コーポレーションImmersion Corporation 音声−テキスト変換の触覚増強のためのシステム及び方法
US11964666B2 (en) 2020-11-04 2024-04-23 Hyundai Motor Company Vehicle and method of controlling the same
US12014735B2 (en) 2020-11-06 2024-06-18 Hyundai Motor Company Emotion adjustment system and emotion adjustment method

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4537639B2 (ja) * 1999-11-11 2010-09-01 興和株式会社 動物の特定行動回数の計測方法及び装置
US6715444B1 (en) 1999-11-11 2004-04-06 Kowa Co., Ltd. Method and device for measuring frequency of specific behavior of animal
WO2001033953A1 (fr) * 1999-11-11 2001-05-17 Kowa Co., Ltd. Procede et appareil de mesure de la frequence du comportement specifique d'un animal
KR100425342B1 (ko) * 2000-09-02 2004-03-30 삼성전자주식회사 신체 및 감정 상태 인식 장치 및 방법
JP2002215533A (ja) * 2001-01-24 2002-08-02 Victor Co Of Japan Ltd コミック自動生成装置
US6761131B2 (en) 2001-08-06 2004-07-13 Index Corporation Apparatus for determining dog's emotions by vocal analysis of barking sounds and method for the same
KR100464821B1 (ko) * 2001-10-23 2005-01-17 임좌상 생리신호를 이용한 감성평가방법
KR100485906B1 (ko) * 2002-06-26 2005-04-29 삼성전자주식회사 정서유도 장치 및 방법
JP2004200985A (ja) * 2002-12-18 2004-07-15 Denso Corp 通話音声のテキスト変換システム
US7909698B2 (en) 2003-09-12 2011-03-22 Namco Bandai Games, Inc. Input device, input determination method, game system, game system control method, program, and information storage medium
JP2008272019A (ja) * 2007-04-25 2008-11-13 Oki Electric Ind Co Ltd 集団感情認識支援システム
JP2015156229A (ja) * 2009-10-29 2015-08-27 イマージョン コーポレーションImmersion Corporation 音声−テキスト変換の触覚増強のためのシステム及び方法
US11964666B2 (en) 2020-11-04 2024-04-23 Hyundai Motor Company Vehicle and method of controlling the same
US12014735B2 (en) 2020-11-06 2024-06-18 Hyundai Motor Company Emotion adjustment system and emotion adjustment method

Similar Documents

Publication Publication Date Title
Stowell et al. Bird detection in audio: a survey and a challenge
US7957967B2 (en) Acoustic signal classification system
JP3045510B2 (ja) 音声認識処理装置
US8566088B2 (en) System and method for automatic speech to text conversion
Socoró et al. Development of an Anomalous Noise Event Detection Algorithm for dynamic road traffic noise mapping
US7672834B2 (en) Method and system for detecting and temporally relating components in non-stationary signals
JPH09206291A (ja) 人の感情・状態を検出する装置
Dahmani et al. Glottal signal parameters as features set for neurological voice disorders diagnosis using K-Nearest Neighbors (KNN)
US5845092A (en) Endpoint detection in a stand-alone real-time voice recognition system
Chen et al. An intelligent nocturnal animal vocalization recognition system
Nigro et al. Multimodal system for audio scene source counting and analysis
JP2002538514A (ja) 周波数スペクトラムにおける確率論的信頼度を用いた音声検出方法
Demirel et al. Automatic makam recognition using chroma features
Turchet Hard real-time onset detection of percussive sounds.
Nasiri et al. Audiomask: Robust sound event detection using mask r-cnn and frame-level classifier
CN111524523A (zh) 基于声纹识别技术的仪器设备状态检测系统及其方法
Darington et al. In-situ detection of anomalies in the acoustic signal using neural network approach
KR100262564B1 (ko) 차량용 음성 인식 장치
Tsanas et al. Automating quasi-stationary speech signal segmentation in sustained vowels: Application in the acoustic analysis of Parkinson’s disease
Koshtura INFORMATION TECHNOLOGY FOR GENDER RECOGNITION BY VOICE
CN116645981A (zh) 一种基于声码器痕迹指纹比对的深度合成语音检测方法
Lacerda et al. A Pitch Extraction System Based on Laryngeal Mechanisms Classification
Cruz et al. Novel Time-Frequency Based Scheme for Detecting Sound Events from Sound Background in Audio Segments
Mały et al. Behavioral features of the speech signal as part of improving the effectiveness of the automatic speaker recognition system
Maison et al. Similarity based join over audio feeds in a multimedia data stream management system

Legal Events

Date Code Title Description
EXPY Cancellation because of completion of term
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070816

Year of fee payment: 12