JP3676969B2 - 感情検出方法及び感情検出装置ならびに記録媒体 - Google Patents
感情検出方法及び感情検出装置ならびに記録媒体 Download PDFInfo
- Publication number
- JP3676969B2 JP3676969B2 JP2000278397A JP2000278397A JP3676969B2 JP 3676969 B2 JP3676969 B2 JP 3676969B2 JP 2000278397 A JP2000278397 A JP 2000278397A JP 2000278397 A JP2000278397 A JP 2000278397A JP 3676969 B2 JP3676969 B2 JP 3676969B2
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- information
- detecting
- change
- change amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、人間の感情を検出するために用いる感情検出方法及び感情検出装置ならびに記録媒体に関する。本発明は、医療分野における感情検出にも利用できるし、人工知能や人工感性の一部分として様々なシステムに利用することもできる。
【０００２】
【従来の技術】
本発明に関連のある従来技術は、例えば特開平５−１２０２３号公報，特開平９−２２２９６号公報及び特開平１１−１１９７９１号公報に開示されている。特開平５−１２０２３号公報においては、音声の特徴量として、音声の継続時間，音声のフォルマント周波数及び音声の周波数毎の強度をそれぞれ検出している。また、各々の特徴量について基準信号とのずれを検出し、検出したずれ量からファジー推論により感情の検出を行うことを開示している。
【０００３】
特開平９−２２２９６号公報においては、音声の特徴量として、音声の発生速度（単位時間あたりのモーラ数），音声ピッチ周波数，音量及び音声スペクトルを検出している。また、検出した音声の特徴量と、ＨＭＭ（隠れマルコフモデル：Hidden Markov Model）の統計処理を行った結果とを用いて感情を検出することを開示している。
【０００４】
特開平１１−１１９７９１号公報においては、ＨＭＭを用いて音素スペクトルの遷移状態の確率に基づいて感情を検出することを開示している。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の感情検出方法では感情の検出精度が低く、特定の限定された言葉について感情を検出できたとしても、実際の人間の感情を正確に検出できるものではない。従って、例えば比較的単純なゲーム装置の限定的な用途においてのみ感情検出方法が実用化されているのが実情である。
【０００６】
本発明は、被験者である人間の感情をより正確に検出可能な感情検出方法及び感情検出装置ならびに記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１は、被験者の感情を検出するための感情検出方法であって、音声信号を入力し、入力した音声信号から音声の強度及び音声の出現速度を表すテンポをそれぞれ検出するとともに、音声の各単語内の強度変化パターンに出現する同一周波数成分の領域の時間間隔を抑揚として検出し、検出された音声の強度の時間軸方向の変化を表す第１の変化量，音声のテンポの時間軸方向の変化を表す第２の変化量及び音声の抑揚の時間軸方向の変化を表す第３の変化量をそれぞれ求め、第１の変化量，第２の変化量及び第３の変化量のパターンと、感情状態とを関連付ける情報を予め保持し、関連付ける情報を参照することで、第１の変化量，第２の変化量及び第３の変化量から、感情状態を表す信号を生成することを特徴とする。
【０００８】
請求項１においては、被験者から入力される音声の強度，テンポ及び抑揚の各々の変化量を、感情状態に対応付けて感情を検出している。このような方法を用いることにより、従来よりも正確に感情を検出することが可能である。
請求項２は、被験者の感情を検出するための感情検出装置であって、音声信号を入力する音声入力手段と、前記音声入力手段が入力した音声信号から音声の強度を検出する強度検出手段と、前記音声入力手段が入力した音声信号から音声の出現速度をテンポとして検出するテンポ検出手段と、前記音声入力手段が入力した音声信号から、音声の単語内の強度変化パターンに出現する同一周波数成分の領域の時間間隔を抑揚として検出する抑揚検出手段と、前記強度検出手段が検出した音声の強度の時間軸方向の変化を表す第１の変化量，前記テンポ検出手段が検出した音声のテンポの時間軸方向の変化を表す第２の変化量及び前記抑揚検出手段が検出した音声の抑揚の時間軸方向の変化を表す第３の変化量をそれぞれ求める変化量検出手段と、第１の変化量，第２の変化量及び第３の変化量のパターンと、感情状態とを関連付ける情報を予め保持する感情パターンデータベースと、感情パターンデータベースの前記関連付ける情報を参照することで、第１の変化量，第２の変化量及び第３の変化量から、感情状態を表す信号を生成する感情検出手段とを設けたことを特徴とする。
【０００９】
請求項２の感情検出装置においては、音声入力手段，強度検出手段，テンポ検出手段，抑揚検出手段，変化量検出手段及び感情検出手段を設けることにより、請求項１の感情検出方法を実施することができる。
請求項３は、請求項２の感情検出装置において、前記抑揚検出手段に、単語毎に分離されて入力される音声信号から特定の周波数成分を抽出するバンドパスフィルタ手段と、前記バンドパスフィルタ手段により抽出された信号のパワースペクトルをその強度に基づいて複数の領域に分離する領域分離手段と、前記領域分離手段により分離された複数の領域の各々の中心位置の時間間隔に基づいて抑揚の値を算出する抑揚計算手段とを設けたことを特徴とする。
【００１０】
バンドパスフィルタ手段は、単語毎に分離されて入力される音声信号から特定の周波数成分を抽出する。領域分離手段は、検出されたパワースペクトルをその強度に基づいて複数の領域に分離する。抑揚計算手段は、前記領域分離手段により分離された複数の領域の各々の中心位置の時間間隔に基づいて抑揚の値を算出する。
【００１１】
請求項３においては、音声の特定の周波数成分に関する単語内のエネルギー分布パターンを複数の領域の間隔を表す時間の値として検出し、その時間の長さを抑揚として利用している。
請求項４は、請求項２の感情検出装置において、被験者の少なくとも顔の画像情報を入力する撮像手段と、前記撮像手段が入力した画像情報から顔面各部に関する位置情報を検出する画像認識手段と、顔面各部の特徴量の基準情報を保持する画像基準情報保持手段と、前記画像認識手段の検出した位置情報と前記画像基準情報保持手段の保持する基準情報とに基づいて画像特徴量を検出する画像特徴量検出手段とを更に設けるとともに、前記感情検出手段が、前記画像特徴量検出手段の検出した画像特徴量の変化を判断材料に加えて感情状態を総合的に判断することを特徴とする。
【００１２】
請求項４においては、音声だけでなく、被験者の顔の表情に基づいて感情状態を推定している。一般に、人間の感情状態はその人の顔の表情に反映されるので、顔の表情を検出することにより感情状態を把握することができる。そこで、請求項４では、前記感情検出手段は画像特徴量検出手段の検出した画像特徴量の変化に基づいて感情状態を推定している。
【００１３】
請求項５は、請求項２の感情検出装置において、前記感情検出手段の検出した感情状態の情報を逐次入力して蓄積する感情情報蓄積手段と、前記感情情報蓄積手段に蓄積された過去の感情状態の情報のうち、記憶時点から所定の時間が経過した情報を削除するとともに、削除対象の情報のうち、予め定めた変化パターンに適合する情報については削除対象から除外する忘却処理手段とを更に設けたことを特徴とする。
【００１４】
請求項５においては、検出された過去の感情状態の情報を感情情報蓄積手段に蓄積しておくことができる。また、検出してから長い時間の経過した古い情報については感情情報蓄積手段から自動的に削除されるので、感情情報蓄積手段に必要とされる記憶容量を減らすことができる。
【００１５】
但し、感情変化が所定以上に大きい情報や、予め定めた変化パターンに適合する情報のように特徴的な情報については削除対象から自動的に除外される。このため、特徴的な情報は古くなってもそのまま感情情報蓄積手段に保持される。従って、人間の記憶と同じように、後で役に立つ印象的な情報については古くなっても感情情報蓄積手段から読み出して再生することができる。
【００１６】
請求項６は、請求項５の感情検出装置において、被験者の発した音声もしくは被験者の入力した文字の情報を処理して文法解析を行い文章の意味を表す発言情報を生成する文章認識手段と、前記文章認識手段の生成した発言情報を、前記感情状態の情報と同期した状態で感情情報蓄積手段に蓄積する蓄積制御手段とを更に設けたことを特徴とする。
【００１７】
文章認識手段は、被験者の発した音声もしくは被験者がキーボードなどを用いて入力した文字の情報を処理して文法解析を行い文章の意味を表す発言情報を生成する。
文法解析により、例えば「５Ｗ３Ｈ」、すなわち「誰が」，「何を」，「いつ」，「どこで」，「なぜ」，「どうやって」，「どのくらい」，「いくら」を表す発言情報を得ることができる。
【００１８】
蓄積制御手段は、前記文章認識手段の生成した発言情報を、前記感情状態の情報と同期した状態で感情情報蓄積手段に蓄積する。
請求項６においては、感情情報蓄積手段を参照することにより、過去の任意の時点における感情情報だけでなく、そのときの状況を表す発言情報を取り出すことができる。
【００１９】
感情情報蓄積手段に保持された情報については、様々な用途で利用することができる。例えば、感情検出装置自体の感情推定機能が不正確であった場合には、感情情報蓄積手段に保持された過去の検出結果に基づいて感情推定に利用されるデータベースを修正することができる。
【００２０】
請求項７は、請求項２の感情検出装置において、検出された感情状態に基づいて基準無音時間を決定する無音時間決定手段と、前記無音時間決定手段の決定した基準無音時間を利用して、音声の文章の区切りを検出する文章区切り検出手段とを更に設けたことを特徴とする。
音声の認識や感情の検出などを行う場合には、文章毎の区切りを検出してそれぞれの文章を抽出する必要がある。一般的には、文章と文章との区切りには無音区間が存在するので、無音区間が現れたタイミングで複数の文章を分離すればよい。
【００２１】
しかしながら、無音区間の長さは一定ではない。特に、話者の感情の状態に対応して無音区間の長さは変化する。このため、無音区間の判定のために一定の閾値を割り当てた場合には、文章の区切りの検出に失敗する可能性が高くなる。
請求項７においては、例えば直前に検出された感情状態を利用して基準無音時間を決定し、この基準無音時間を用いて音声の文章の区切りを検出するので、話者の感情が変化した場合であっても正しく文章の区切りを検出できる。
【００２２】
請求項８は、被験者の感情を検出するための計算機で実行可能な感情検出プログラムを記録した記録媒体であって、前記感情検出プログラムには、音声信号を入力する手順と、入力した音声信号から音声の強度及び音声の出現速度を表すテンポをそれぞれ検出するとともに、音声の各単語内の強度変化パターンに出現する同一周波数成分の領域の時間間隔を抑揚として検出する手順と、検出された音声の強度の時間軸方向の変化を表す第１の変化量，音声のテンポの時間軸方向の変化を表す第２の変化量及び音声の抑揚の時間軸方向の変化を表す第３の変化量をそれぞれ求める手順と、第１の変化量，第２の変化量及び第３の変化量のパターンと、感情状態とを関連付ける情報を予め保持しておく手順と、関連付ける情報を推定規則として参照することで、第１の変化量，第２の変化量及び第３の変化量から、感情状態を表す信号を生成する手順とを設けたことを特徴とする。
【００２３】
請求項８の記録媒体に記録された感情検出プログラムを計算機を用いて実行することにより、請求項１の感情検出方法を実施することができる。
請求項９の感情検出方法は、請求項１に記載の感情検出方法において、怒り、悲しみ、および喜びのいずれか１つの感情状態を表す信号を生成することを特徴とする。
請求項１０の感情検出装置は、請求項２ないし請求項７のいずれか１項に記載の感情検出装置において、感情検出手段は、怒り、悲しみ、および喜びのいずれか１つの感情状態を表す信号を生成することを特徴とする。
請求項１１の記録媒体は、請求項８に記載の記録媒体において、怒り、悲しみ、および喜びのいずれか１つの感情状態を表す信号を生成することを特徴としたプログラムを記録する。
請求項１２の抑揚の検出方法は、被験者の感情の検出に使用する抑揚を、音声信号から検出する検出方法であって、音声信号を入力し、入力した前記音声信号の単語内の強度変化パターンから同一周波数成分の領域を検出し、前記同一周波数成分の領域が出現する時間間隔を検出して抑揚とすることを特徴とする。
請求項１３の抑揚の検出装置は、被験者の感情の検出に使用する抑揚を、音声信号から検出する検出装置であって、音声信号を入力する音声入力手段と、前記音声信号の単語内の強度変化パターンから同一周波数成分の領域を検出する手段と、前記同一周波数成分の領域が出現する時間間隔を検出して抑揚とする手段とを備えたことを特徴とする。
請求項１４の記録媒体は、被験者の感情の検出に使用する抑揚を、音声信号から検出するためのプログラムを記録した記録媒体であって、コンピュータに、音声信号を入力する手順と、前記音声信号の単語内の強度変化パターンから同一周波数成分の領域を検出する手順と、前記同一周波数成分の領域が出現する時間間隔を検出して抑揚とする手順とをコンピュータに実行させるためのプログラムが記録されていることを特徴とする。
【００２４】
【発明の実施の形態】
本発明の感情検出方法及び感情検出装置の１つの実施の形態について、図１〜図６を参照して説明する。この形態は全ての請求項に対応する。
【００２５】
図１は、この形態の感情検出装置の構成を示すブロック図である。図２は抑揚検出部の構成を示すブロック図である。図３は感情の状態の変化と音声の強度，テンポ及び抑揚との関係を示すグラフである。図４は抑揚検出部における音声信号処理の過程を示すタイムチャートである。図５は忘却処理部の動作を示すフローチャートである。図６は感情感性記憶ＤＢに記憶された情報の構成例を示す模式図である。
【００２６】
この形態では、請求項２の音声入力手段，強度検出手段，テンポ検出手段，抑揚検出手段，変化量検出手段及び感情検出手段は、それぞれマイク１１，強度検出部１７，テンポ検出部１８，抑揚検出部１９，感情変化検出部２２及び音声感情検出部２３に対応する。
また、請求項３のバンドパスフィルタ手段，領域分離手段及び抑揚計算手段は、それぞれバンドパスフィルタ５１，比較部５３及び領域間隔検出部５５に対応する。請求項４の撮像手段，画像認識手段，画像基準情報保持手段，画像特徴量検出手段及び感情検出手段は、それぞれテレビカメラ３１，画像認識部３２，顔パターンＤＢ３３，顔感情検出部３４及び顔感情検出部３４に対応する。
【００２７】
更に、請求項５の感情情報蓄積手段及び忘却処理手段はそれぞれ感情感性記憶ＤＢ４１及び忘却処理部４２に対応する。請求項６の文章認識手段及び蓄積制御手段は、それぞれ文章認識部２６及び同期処理部４３に対応する。請求項７の無音時間決定手段及び文章区切り検出手段は文章検出部１６に対応する。
図１を参照すると、この感情検出装置にはマイク１１，Ａ／Ｄ変換器１２，信号処理部１３，音声認識部２０，強度検出部１７，テンポ検出部１８，抑揚検出部１９，一時記憶部２１，感情変化検出部２２，音声感情検出部２３，感情パターンＤＢ（データベースの略：以下同様）２４，キーボード２５，文章認識部２６，テレビカメラ３１，画像認識部３２，顔パターンＤＢ３３，顔感情検出部３４，文字認識部３９，感情感性記憶ＤＢ４１，忘却処理部４２，同期処理部４３，人間性情報ＤＢ４４，個人情報ＤＢ４５，専門情報ＤＢ４６及び感情認識部６０が備わっている。
【００２８】
また、音声認識部２０には信号処理部１３，音素検出部１４，単語検出部１５及び文章検出部１６が設けてある。音声認識部２０には、市販の音声認識（事前言語）デバイスの機能も含まれている。
図１において、音声認識部２０，強度検出部１７，テンポ検出部１８，抑揚検出部１９，一時記憶部２１，感情変化検出部２２及び音声感情検出部２３は、音声から感情を検出するための回路である。
【００２９】
この感情検出装置は、感情の検出対象となる相手の人間の情報を読み取るための入力手段として、マイク１１，キーボード２５及びテレビカメラ３１を備えている。すなわち、マイク１１から入力される音声，キーボード２５から入力される文字情報及びテレビカメラ３１から入力される顔の表情などの情報を利用して相手の人間の感情を検出する。
【００３０】
なお、実際にはマイク１１から入力される音声だけに基づいて感情を検出することも可能であり、キーボード２５から入力される文字情報だけに基づいて感情を検出することも可能であり、テレビカメラ３１から入力される顔の表情だけに基づいて相手の人間の感情を検出することも可能である。しかし、複数の情報源から得られる情報を総合的に判断した方が感情の検出精度を高めるうえで効果的である。
【００３１】
まず、音声に関する処理について説明する。マイク１１から入力された音声信号は、Ａ／Ｄ変換器１２でサンプリングされ、ディジタル信号に変換される。Ａ／Ｄ変換器１２の出力に得られる音声のディジタル信号は、音声認識部２０に入力される。
【００３２】
信号処理部１３は、音声の強度検出に必要な周波数成分を抽出する。強度検出部１７は、信号処理部１３の抽出した信号からその強度を検出する。例えば、音声信号の振幅の大きさを平均化した結果を強度として利用することができる。
音声の強度を検出するための平均化の周期については、例えば１０秒程度に定める。但し、１０秒以内であっても文章毎の区切りを検出した場合には、文章の最初から区切りを検出した時点までの平均化を行う。すなわち、音声の文章毎にそれぞれの強度を検出する。
【００３３】
音声認識部２０に備わった音素検出部１４は、入力される音声の音素毎の区切りを検出する。例えば、「今日はいい天気ですね」の文章が音声で入力された場合には、「きょ／う／は／い／い／て／ん／き／で／す／ね」のように音素毎の区切りを検出する。
また、音声認識部２０に備わった単語検出部１５は、入力される音声の単語毎の区切りを検出する。例えば、「今日はいい天気ですね」の文章が音声で入力された場合には、「きょう／は／いい／てんき／ですね」のように単語毎の区切りを検出する。
【００３４】
また、音声認識部２０に備わった文章検出部１６は、入力される音声の文章毎の区切りを検出する。特定の長さ以上の無音状態を検出した場合に、文章毎の区切りが現れたものとみなす。無音状態の長さの閾値には、（０．１〜２）秒程度の値が割り当てられる。また、この閾値は一定ではなく、直前に検出された感情の状態を反映するように自動的に変更される。
【００３５】
テンポ検出部１８は、音素検出部１４から出力される音素毎の区切りの信号を入力して、単位時間に現れた音素の数をテンポとして検出する。テンポの検出周期については、例えば１０秒程度の時間が割り当てられる。しかし、文章の区切りを検出した場合には、１０秒以内であってもその時点までで音素数のカウントを中止してテンポの値を計算する。つまり、文章毎にテンポが検出される。
【００３６】
抑揚検出部１９には、単語検出部１５が区切りを検出した単語毎に区分されて、音声信号が入力される。抑揚検出部１９は、入力される音声信号から各単語内及び文章検出部１６における文章毎の区切り内の音声の強度変化パターンを表す抑揚を検出する。これにより、抑揚検出部１９は区切りの中での特徴的な強度パターンを検出する。
【００３７】
抑揚検出部１９の内部には、図２に示すように、バンドパスフィルタ５１，絶対値変換部５２，比較部５３，領域中心検出部５４及び領域間隔検出部５５が備わっている。また、抑揚検出部１９における各部の信号ＳＧ１，ＳＧ２，ＳＧ３，ＳＧ４の波形の例が図４に示されている。なお、図４における各信号の縦軸は振幅又は強度を表している。また、図４の例では音声から取り出された１つの単語の長さが約１．２秒になっている。
【００３８】
バンドパスフィルタ５１は、入力された信号ＳＧ１の中から抑揚の検出に必要な周波数成分だけを抽出する。この例では、８００Ｈｚ〜１２００Ｈｚの範囲内の周波数成分だけがバンドパスフィルタ５１の出力に信号ＳＧ２として現れる。図４を参照すると、単語内の抑揚による強度変化のパターンが信号ＳＧ２に現れていることが分かる。
【００３９】
信号の計算処理を容易にするために、抑揚検出部１９には絶対値変換部５２を設けてある。絶対値変換部５２は、入力される信号の振幅をその絶対値に変換する。従って、絶対値変換部５２の出力には図４に示す信号ＳＧ３が現れる。
比較部５３は、信号ＳＧ３の大きさを閾値と比較して閾値よりも大きい成分だけを信号ＳＧ４として出力する。すなわち、比較部５３は信号ＳＧ３のパワースペクトルの中で値の大きな成分だけを出力する。なお、比較部５３に印加する閾値については、判別分析法と呼ばれる方法を用いて適応的に決定している。
【００４０】
図４を参照すると、信号ＳＧ４には音声の単語における抑揚パターンに相当する２つの領域Ａ１，Ａ２が明確に現れている。領域中心検出部５４は、２つの領域Ａ１，Ａ２のそれぞれの中心に相当する位置が現れた時間ｔ１，ｔ２を検出する。
領域間隔検出部５５は、領域中心検出部５４の検出した２つの時間ｔ１，ｔ２に関する時間差を領域間隔Ｔｙとして検出する。この領域間隔Ｔｙの値は、音声の単語における抑揚パターンに相当する。実際には、領域間隔Ｔｙの値を平均化した結果を抑揚の値として利用している。
【００４１】
なお、１つの単語の中で信号ＳＧ４に３つ以上の領域が現れる場合もある。３つ以上の領域が現れた場合には、互いに隣接する２つの領域について領域間隔Ｔｙをそれぞれ計算し、求められた複数の領域間隔Ｔｙを平均化した結果を抑揚の値として利用する。
人間の感情の状態は、例えば図３に示すように変化する。また、怒り，悲しみ，喜びなどの感情を正しく把握するためには、強度，テンポ，抑揚のような特徴量の変化を検出することが重要である。
【００４２】
図１に示す感情検出装置においては、過去の特徴量の参照を可能にするため、強度検出部１７が出力する強度，テンポ検出部１８が出力するテンポ及び抑揚検出部１９が出力する抑揚の値を一時的に一時記憶部２１に記憶しておく。
また、感情変化検出部２２は、強度検出部１７が出力する現在の強度，テンポ検出部１８が出力する現在のテンポ及び抑揚検出部１９が出力する現在の抑揚の値と、一時記憶部２１に保持された過去の（現在よりも少し前の時刻の）強度，テンポ及び抑揚の値とを入力して、感情状態の変化を検出する。つまり、音声の強度の変化，テンポの変化及び抑揚の変化をそれぞれ検出する。
【００４３】
音声感情検出部２３は、感情変化検出部２２が出力する音声の強度の変化，テンポの変化及び抑揚の変化を入力し、現在の感情の状態を推定する。感情の状態として、この例では怒り，悲しみ及び喜びの３種類の状態をそれぞれ推定している。
【００４４】
感情パターンＤＢ２４には、音声の強度の変化，テンポの変化及び抑揚の変化のパターンと怒りの状態とを関連付ける情報と、音声の強度の変化，テンポの変化及び抑揚の変化のパターンと悲しみの状態とを関連付ける情報と、音声の強度の変化，テンポの変化及び抑揚の変化のパターンと喜びの状態とを関連付ける情報とが予め保持されている。
【００４５】
音声感情検出部２３は、感情パターンＤＢ２４に保持された情報を推定規則として参照しながら、感情変化検出部２２が出力する強度の変化，テンポの変化及び抑揚の変化のパターンに基づいて現在の感情の状態を推定する。
音声感情検出部２３によって推定された怒り，悲しみ及び喜びの３種類の各々の状態を表す情報は、感情認識部６０及び感情感性記憶ＤＢ４１に入力される。感情感性記憶ＤＢ４１は、音声感情検出部２３から入力される現在の感情の状態を逐次記憶され、蓄積される。
【００４６】
従って、感情感性記憶ＤＢ４１に記憶された情報を読み出すことにより、過去の感情の状態を再生することができる。
一方、音声としてマイク１１から入力された文章の内容（相手の発言内容）は、文章認識部２６で認識される。文章認識部２６の入力には、音声認識部２０で認識された各音素に対応する文字情報や、単語の区切り及び文章の区切りを表す情報が入力される。また、キーボード２５から入力された文字情報も文章認識部２６に入力される。
【００４７】
文章認識部２６は、入力される文字列の単語毎の認識及び構文解析を行い、文章の内容を自然言語として把握する。実際には、「５Ｗ３Ｈ」、すなわち「誰が」，「何を」，「いつ」，「どこで」，「なぜ」，「どうやって」，「どのくらい」，「いくら」を表す発言情報を認識する。文章認識部２６が認識した発言情報は感情認識部６０に入力される。
【００４８】
次に、相手の顔の表情から感情を検出するための処理について説明する。テレビカメラ３１は、図１の感情検出装置の被験者となる人間の少なくとも顔の部分を撮影する。テレビカメラ３１の撮影した画像、すなわち人間の顔の表情が含まれる画像が画像認識部３２に入力される。
なお、テレビカメラ３１の撮影した画像の情報は文字認識部３９に入力される。すなわち、文章の映像をテレビカメラ３１で撮影した場合には、文字認識部３９は撮影された映像から文章の各文字を認識する。文字認識部３９の認識した文字情報は文章認識部２６に入力される。
【００４９】
画像認識部３２は、入力される画像の中から特徴的な要素を認識する。具体的には、被験者の顔における目，口，眉毛，頬骨の部分をそれぞれ認識し、顔の中における目，口，眉毛，頬骨のそれぞれの相対的な位置を検出する。また、画像認識部３２は顔の表情の変化に伴う目，口，眉毛，頬骨のそれぞれの位置の変化及び首を振るなどの表現を検出するために位置の追跡を常に行う。
【００５０】
顔パターンＤＢ３３には、顔の中における目，口，眉毛，頬骨のそれぞれの位置に関する基準位置の情報（被験者の平常時の顔の表情に相当する情報）が予め保持されている。なお、顔パターンＤＢ３３の内容を任意に変更することも可能である。また、顔パターンＤＢ３３には顔の表情の変化と６種類の感情（喜び，怒り，悲しみ，恐れ，楽しみ，驚き）のそれぞれとの対応関係を表す規則情報が予め保持されている。
【００５１】
顔感情検出部３４は、画像認識部３２が認識した目，口，眉毛，頬骨のそれぞれの位置と顔パターンＤＢ３３に保持された基準位置の情報とを用いて特徴量、すなわち平常時の位置に対する表情の違いを検出する。
また、顔感情検出部３４は検出した特徴量の変化量及び変化の速さと、顔パターンＤＢ３３に保持された規則情報とに基づいて、６種類の感情（喜び，怒り，悲しみ，恐れ，楽しみ，驚き）のそれぞれの状態を推定する。推定された６種類の感情の状態を表す情報は、顔感情検出部３４から出力されて感情認識部６０及び感情感性記憶ＤＢ４１に入力される。
【００５２】
感情認識部６０は、音声感情検出部２３から入力される感情（怒り，悲しみ，喜び）の状態を表す情報と、文章認識部２６から入力される発言情報と、顔感情検出部３４から入力される感情（喜び，怒り，悲しみ，恐れ，楽しみ，驚き）の状態を表す情報とを総合的に判断して最終的な感情の状態を推定する。発言情報については、その文章の内容（５Ｗ３Ｈ）を予め定めた規則に従って判断することにより、発言情報に含まれている感情（喜び，怒り，悲しみ，恐れ，楽しみ，驚き）の状態を推定することができる。
【００５３】
音声感情検出部２３が音声から推定した感情の状態を表す情報と、文章認識部２６が音声又はキーボード２５から入力された文字から認識した発言内容の情報と、顔感情検出部３４が顔の表情から推定した感情の状態を表す情報とが、それぞれ感情感性記憶ＤＢ４１に入力されて逐次記憶される。感情感性記憶ＤＢ４１に記憶されたそれぞれの情報には、それが検出された時刻あるいは時間ならびに年月日が付加される。
【００５４】
感情感性記憶ＤＢ４１に入力される情報のうち、音声感情検出部２３から入力される感情の情報と、文章認識部２６から入力される発言内容の情報と、顔感情検出部３４から入力される感情の情報とは互いに関連付けて把握しなければならない。
そこで、同期処理部４３は感情感性記憶ＤＢ４１に蓄積された複数種類の情報を、それらの検出された時間（入力された時間）及び年月日によって互いに関連付ける。例えば、図６に示されるように、音声感情検出部２３の推定した怒り，悲しみ及び喜びの感情の状態を表す情報と発言の内容（５Ｗ３Ｈ）の情報とを、それらの時間によって互いに関連付ける。
【００５５】
ところで、感情感性記憶ＤＢ４１には比較的大量の情報を蓄積できる十分な記憶容量が備わっている。しかしながら、記憶容量には限りがあるのでこの装置を長期間に渡って使い続けるためには蓄積する情報の量を抑制する必要がある。
【００５６】
そこで、忘却処理部４２が設けてある。忘却処理部４２は、古くなった情報を感情感性記憶ＤＢ４１上から自動的に削除する。但し、特定の条件に適合する情報については古くなった場合でも削除せずに保存される。
忘却処理部４２の動作について、図５を参照しながら説明する。
図５のステップＳ１１においては、感情感性記憶ＤＢ４１に蓄積されている多数のデータのそれぞれについて、記憶された時刻（あるいは検出された時刻）及び年月日の情報を参照する。
【００５７】
ステップＳ１２では、現在の時刻とステップＳ１１で参照したデータの時刻とに基づいて、該当するデータが記憶されてから予め定めた一定の期間が経過したか否かを識別する。記憶してから一定の期間が経過した古いデータを処理する場合には、ステップＳ１３以降の処理に進む。一定の期間が経過していない比較的新しいデータについては、そのまま保存される。
【００５８】
ステップＳ１３では、データが感情の状態を表す情報である場合に、その感情の変化量を感情状態を表す情報の前後の違いから検出する。感情の変化量が予め定めた閾値を超える場合にはステップＳ１３からＳ１７に進むので、そのデータが古い場合であってもそのままデータは保存される。感情の変化量が閾値以下の場合には、ステップＳ１３からＳ１４に進む。
【００５９】
ステップＳ１４では、そのデータに関する感情のパターンを検出し、そのパターンが予め定めた特定のパターンと一致するか否かを識別する。すなわち、複数の感情の状態及び発言内容の組み合わせが、「印象が強い」状態を表す特定のパターンと一致するか否かを調べる。検出したパターンが特定のパターンと一致した場合には、ステップＳ１４からＳ１７に進むので、そのデータが古い場合であってもそのままデータは保存される。パターンが一致しない場合にはステップＳ１４からＳ１５に進む。
【００６０】
ステップＳ１５では、データが発言内容である場合に、その内容と予め定めた発言内容（印象に残りやすい発言）とが一致するか否かを識別する。なお、完全に一致しなくても、類似性が高い場合には「一致」とみなすこともできる。データの発言内容が予め定めた発言内容と一致した場合には、ステップＳ１５からＳ１７に進むので、そのデータが古い場合であっても、そのままデータは保存される。
【００６１】
ステップＳ１５で一致しない場合には、ステップＳＳ１６において当該データは削除される。
上記の処理は感情感性記憶ＤＢ４１上の全てのデータについて実行される。また、図５に示す忘却処理は定期的に繰り返し実行される。この忘却処理を実行留周期については、個人の個性として任意に変更することができる。なお、ステップＳ１４，Ｓ１５では予め容易されたパターンＤＢ（図示せず）を参照して処理を行う。このパターンＤＢについては、入力情報を学習することにより自動的に内容が更新される。
【００６２】
なお、図５では処理を簡略化して表してある。実際には、感情の変化量，感情のパターン及び発言の内容の全てを総合的に判断する。すなわち、感情の変化量が大きい情報と、感情のパターンが一致した情報と、発言内容が同一もしくは近似する情報とが存在する場合には、総合的に優先順位を判断する。具体的には、発言内容が同一もしくは近似する情報の優先順位が最も大きく、感情のパターンが一致した情報の優先順位が２番目に高く、感情の変化量が大きい情報の優先順位は低い。従って、発言内容が同一もしくは近似する情報は忘却処理で削除されにくく、古くなっても記憶として残る。
【００６３】
上記のような忘却処理部４２の処理によって、感情感性記憶ＤＢ４１上の古くなったデータについては、感情の変化が大きいもの、「印象が強い」とみなされるパターンであるもの、幾度も入力を繰り返されたもの、及び発言の内容が印象に残りやすいもののみがその強度と内容に合わせて順位をつけてそのまま保存される。その結果、感情感性記憶ＤＢ４１上の古いデータについては、一部分のみが残った不完全なデータとなる。このようなデータは、人間の記憶における過去の曖昧な記憶と同じような内容になる。
【００６４】
感情感性記憶ＤＢ４１に蓄積された過去の感情の状態及び発言内容を読み出してデータを分析することにより、例えばこの感情検出装置が正しく動作しているか否かを判断したり、感情の推定に利用される各部のデータベースの内容を改良するように更新することも可能になる。
感情感性記憶ＤＢ４１に蓄積されたデータについては、その内容に応じて更に振り分けられ、人間性情報ＤＢ４４，個人情報ＤＢ４５又は専門情報ＤＢ４６に記憶される。
【００６５】
人間性情報ＤＢ４４には、性別，年齢，攻撃性，協調性，現在の感情などのように被験者の性格を決定付ける情報や行動の決定パターンの情報が保持される。また、個人情報ＤＢ４５には、個人の住所，現在の状況，環境，発言内容（５Ｗ３Ｈ）などの情報が保持される。専門情報ＤＢ４６には、職業，経歴，職業適性格，職業的行動決定パターンなどの情報が保持される。
【００６６】
人間性情報ＤＢ４４，個人情報ＤＢ４５及び専門情報ＤＢ４６から出力されるのは、個人のモラルパターン情報である。このモラルパターン情報と過去の相手の感情とに基づいて相手の感性を察知することができる。
なお、図１に示す感情検出装置の機能をコンピュータのソフトウェアにより実現する場合には、コンピュータが実行するプログラム及び必要なデータを、例えばＣＤ−ＲＯＭなどの記録媒体に記録しておけばよい。
【００６７】
なお、図１に示すマイク１１を電話機の受話器に置き換えてもよいし、文字などの情報を入力する手段としてマウスを設けてもよい。
また、図１に示すテレビカメラ３１については、光学式カメラ，ディジタルカメラ，ＣＣＤカメラのような様々な撮像手段のいずれでも置き換えることができる。
【００６８】
【発明の効果】
本発明の感情検出方法及び感情検出装置ならびに記録媒体によれば、より正確に被験者の感情を検出することができる。
【図面の簡単な説明】
【図１】実施の形態の感情検出装置の構成を示すブロック図である。
【図２】抑揚検出部の構成を示すブロック図である。
【図３】感情の状態の変化と音声の強度，テンポ及び抑揚との関係を示すグラフである。
【図４】抑揚検出部における音声信号処理の過程を示すタイムチャートである。
【図５】忘却処理部の動作を示すフローチャートである。
【図６】感情感性記憶ＤＢに記憶された情報の構成例を示す模式図である。
【符号の説明】
１１ マイク
１２ Ａ／Ｄ変換器
１３ 信号処理部
１４ 音素検出部
１５ 単語検出部
１６ 文章検出部
１７ 強度検出部
１８ テンポ検出部
１９ 抑揚検出部
２０ 音声認識部
２１ 一時記憶部
２２ 感情変化検出部
２３ 音声感情検出部
２４ 感情パターンＤＢ
２５ キーボード
２６ 文章認識部
３１ テレビカメラ
３２ 画像認識部
３３ 顔パターンＤＢ
３４ 顔感情検出部
３９ 文字認識部
４１ 感情感性記憶ＤＢ
４２ 忘却処理部
４３ 同期処理部
４４ 人間性情報ＤＢ
４５ 個人情報ＤＢ
４６ 専門情報ＤＢ
５１ バンドパスフィルタ
５２ 絶対値変換部
５３ 比較部
５４ 領域中心検出部
５５ 領域間隔検出部
６０ 感情認識部
【発明の属する技術分野】
本発明は、人間の感情を検出するために用いる感情検出方法及び感情検出装置ならびに記録媒体に関する。本発明は、医療分野における感情検出にも利用できるし、人工知能や人工感性の一部分として様々なシステムに利用することもできる。
【０００２】
【従来の技術】
本発明に関連のある従来技術は、例えば特開平５−１２０２３号公報，特開平９−２２２９６号公報及び特開平１１−１１９７９１号公報に開示されている。特開平５−１２０２３号公報においては、音声の特徴量として、音声の継続時間，音声のフォルマント周波数及び音声の周波数毎の強度をそれぞれ検出している。また、各々の特徴量について基準信号とのずれを検出し、検出したずれ量からファジー推論により感情の検出を行うことを開示している。
【０００３】
特開平９−２２２９６号公報においては、音声の特徴量として、音声の発生速度（単位時間あたりのモーラ数），音声ピッチ周波数，音量及び音声スペクトルを検出している。また、検出した音声の特徴量と、ＨＭＭ（隠れマルコフモデル：Hidden Markov Model）の統計処理を行った結果とを用いて感情を検出することを開示している。
【０００４】
特開平１１−１１９７９１号公報においては、ＨＭＭを用いて音素スペクトルの遷移状態の確率に基づいて感情を検出することを開示している。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の感情検出方法では感情の検出精度が低く、特定の限定された言葉について感情を検出できたとしても、実際の人間の感情を正確に検出できるものではない。従って、例えば比較的単純なゲーム装置の限定的な用途においてのみ感情検出方法が実用化されているのが実情である。
【０００６】
本発明は、被験者である人間の感情をより正確に検出可能な感情検出方法及び感情検出装置ならびに記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１は、被験者の感情を検出するための感情検出方法であって、音声信号を入力し、入力した音声信号から音声の強度及び音声の出現速度を表すテンポをそれぞれ検出するとともに、音声の各単語内の強度変化パターンに出現する同一周波数成分の領域の時間間隔を抑揚として検出し、検出された音声の強度の時間軸方向の変化を表す第１の変化量，音声のテンポの時間軸方向の変化を表す第２の変化量及び音声の抑揚の時間軸方向の変化を表す第３の変化量をそれぞれ求め、第１の変化量，第２の変化量及び第３の変化量のパターンと、感情状態とを関連付ける情報を予め保持し、関連付ける情報を参照することで、第１の変化量，第２の変化量及び第３の変化量から、感情状態を表す信号を生成することを特徴とする。
【０００８】
請求項１においては、被験者から入力される音声の強度，テンポ及び抑揚の各々の変化量を、感情状態に対応付けて感情を検出している。このような方法を用いることにより、従来よりも正確に感情を検出することが可能である。
請求項２は、被験者の感情を検出するための感情検出装置であって、音声信号を入力する音声入力手段と、前記音声入力手段が入力した音声信号から音声の強度を検出する強度検出手段と、前記音声入力手段が入力した音声信号から音声の出現速度をテンポとして検出するテンポ検出手段と、前記音声入力手段が入力した音声信号から、音声の単語内の強度変化パターンに出現する同一周波数成分の領域の時間間隔を抑揚として検出する抑揚検出手段と、前記強度検出手段が検出した音声の強度の時間軸方向の変化を表す第１の変化量，前記テンポ検出手段が検出した音声のテンポの時間軸方向の変化を表す第２の変化量及び前記抑揚検出手段が検出した音声の抑揚の時間軸方向の変化を表す第３の変化量をそれぞれ求める変化量検出手段と、第１の変化量，第２の変化量及び第３の変化量のパターンと、感情状態とを関連付ける情報を予め保持する感情パターンデータベースと、感情パターンデータベースの前記関連付ける情報を参照することで、第１の変化量，第２の変化量及び第３の変化量から、感情状態を表す信号を生成する感情検出手段とを設けたことを特徴とする。
【０００９】
請求項２の感情検出装置においては、音声入力手段，強度検出手段，テンポ検出手段，抑揚検出手段，変化量検出手段及び感情検出手段を設けることにより、請求項１の感情検出方法を実施することができる。
請求項３は、請求項２の感情検出装置において、前記抑揚検出手段に、単語毎に分離されて入力される音声信号から特定の周波数成分を抽出するバンドパスフィルタ手段と、前記バンドパスフィルタ手段により抽出された信号のパワースペクトルをその強度に基づいて複数の領域に分離する領域分離手段と、前記領域分離手段により分離された複数の領域の各々の中心位置の時間間隔に基づいて抑揚の値を算出する抑揚計算手段とを設けたことを特徴とする。
【００１０】
バンドパスフィルタ手段は、単語毎に分離されて入力される音声信号から特定の周波数成分を抽出する。領域分離手段は、検出されたパワースペクトルをその強度に基づいて複数の領域に分離する。抑揚計算手段は、前記領域分離手段により分離された複数の領域の各々の中心位置の時間間隔に基づいて抑揚の値を算出する。
【００１１】
請求項３においては、音声の特定の周波数成分に関する単語内のエネルギー分布パターンを複数の領域の間隔を表す時間の値として検出し、その時間の長さを抑揚として利用している。
請求項４は、請求項２の感情検出装置において、被験者の少なくとも顔の画像情報を入力する撮像手段と、前記撮像手段が入力した画像情報から顔面各部に関する位置情報を検出する画像認識手段と、顔面各部の特徴量の基準情報を保持する画像基準情報保持手段と、前記画像認識手段の検出した位置情報と前記画像基準情報保持手段の保持する基準情報とに基づいて画像特徴量を検出する画像特徴量検出手段とを更に設けるとともに、前記感情検出手段が、前記画像特徴量検出手段の検出した画像特徴量の変化を判断材料に加えて感情状態を総合的に判断することを特徴とする。
【００１２】
請求項４においては、音声だけでなく、被験者の顔の表情に基づいて感情状態を推定している。一般に、人間の感情状態はその人の顔の表情に反映されるので、顔の表情を検出することにより感情状態を把握することができる。そこで、請求項４では、前記感情検出手段は画像特徴量検出手段の検出した画像特徴量の変化に基づいて感情状態を推定している。
【００１３】
請求項５は、請求項２の感情検出装置において、前記感情検出手段の検出した感情状態の情報を逐次入力して蓄積する感情情報蓄積手段と、前記感情情報蓄積手段に蓄積された過去の感情状態の情報のうち、記憶時点から所定の時間が経過した情報を削除するとともに、削除対象の情報のうち、予め定めた変化パターンに適合する情報については削除対象から除外する忘却処理手段とを更に設けたことを特徴とする。
【００１４】
請求項５においては、検出された過去の感情状態の情報を感情情報蓄積手段に蓄積しておくことができる。また、検出してから長い時間の経過した古い情報については感情情報蓄積手段から自動的に削除されるので、感情情報蓄積手段に必要とされる記憶容量を減らすことができる。
【００１５】
但し、感情変化が所定以上に大きい情報や、予め定めた変化パターンに適合する情報のように特徴的な情報については削除対象から自動的に除外される。このため、特徴的な情報は古くなってもそのまま感情情報蓄積手段に保持される。従って、人間の記憶と同じように、後で役に立つ印象的な情報については古くなっても感情情報蓄積手段から読み出して再生することができる。
【００１６】
請求項６は、請求項５の感情検出装置において、被験者の発した音声もしくは被験者の入力した文字の情報を処理して文法解析を行い文章の意味を表す発言情報を生成する文章認識手段と、前記文章認識手段の生成した発言情報を、前記感情状態の情報と同期した状態で感情情報蓄積手段に蓄積する蓄積制御手段とを更に設けたことを特徴とする。
【００１７】
文章認識手段は、被験者の発した音声もしくは被験者がキーボードなどを用いて入力した文字の情報を処理して文法解析を行い文章の意味を表す発言情報を生成する。
文法解析により、例えば「５Ｗ３Ｈ」、すなわち「誰が」，「何を」，「いつ」，「どこで」，「なぜ」，「どうやって」，「どのくらい」，「いくら」を表す発言情報を得ることができる。
【００１８】
蓄積制御手段は、前記文章認識手段の生成した発言情報を、前記感情状態の情報と同期した状態で感情情報蓄積手段に蓄積する。
請求項６においては、感情情報蓄積手段を参照することにより、過去の任意の時点における感情情報だけでなく、そのときの状況を表す発言情報を取り出すことができる。
【００１９】
感情情報蓄積手段に保持された情報については、様々な用途で利用することができる。例えば、感情検出装置自体の感情推定機能が不正確であった場合には、感情情報蓄積手段に保持された過去の検出結果に基づいて感情推定に利用されるデータベースを修正することができる。
【００２０】
請求項７は、請求項２の感情検出装置において、検出された感情状態に基づいて基準無音時間を決定する無音時間決定手段と、前記無音時間決定手段の決定した基準無音時間を利用して、音声の文章の区切りを検出する文章区切り検出手段とを更に設けたことを特徴とする。
音声の認識や感情の検出などを行う場合には、文章毎の区切りを検出してそれぞれの文章を抽出する必要がある。一般的には、文章と文章との区切りには無音区間が存在するので、無音区間が現れたタイミングで複数の文章を分離すればよい。
【００２１】
しかしながら、無音区間の長さは一定ではない。特に、話者の感情の状態に対応して無音区間の長さは変化する。このため、無音区間の判定のために一定の閾値を割り当てた場合には、文章の区切りの検出に失敗する可能性が高くなる。
請求項７においては、例えば直前に検出された感情状態を利用して基準無音時間を決定し、この基準無音時間を用いて音声の文章の区切りを検出するので、話者の感情が変化した場合であっても正しく文章の区切りを検出できる。
【００２２】
請求項８は、被験者の感情を検出するための計算機で実行可能な感情検出プログラムを記録した記録媒体であって、前記感情検出プログラムには、音声信号を入力する手順と、入力した音声信号から音声の強度及び音声の出現速度を表すテンポをそれぞれ検出するとともに、音声の各単語内の強度変化パターンに出現する同一周波数成分の領域の時間間隔を抑揚として検出する手順と、検出された音声の強度の時間軸方向の変化を表す第１の変化量，音声のテンポの時間軸方向の変化を表す第２の変化量及び音声の抑揚の時間軸方向の変化を表す第３の変化量をそれぞれ求める手順と、第１の変化量，第２の変化量及び第３の変化量のパターンと、感情状態とを関連付ける情報を予め保持しておく手順と、関連付ける情報を推定規則として参照することで、第１の変化量，第２の変化量及び第３の変化量から、感情状態を表す信号を生成する手順とを設けたことを特徴とする。
【００２３】
請求項８の記録媒体に記録された感情検出プログラムを計算機を用いて実行することにより、請求項１の感情検出方法を実施することができる。
請求項９の感情検出方法は、請求項１に記載の感情検出方法において、怒り、悲しみ、および喜びのいずれか１つの感情状態を表す信号を生成することを特徴とする。
請求項１０の感情検出装置は、請求項２ないし請求項７のいずれか１項に記載の感情検出装置において、感情検出手段は、怒り、悲しみ、および喜びのいずれか１つの感情状態を表す信号を生成することを特徴とする。
請求項１１の記録媒体は、請求項８に記載の記録媒体において、怒り、悲しみ、および喜びのいずれか１つの感情状態を表す信号を生成することを特徴としたプログラムを記録する。
請求項１２の抑揚の検出方法は、被験者の感情の検出に使用する抑揚を、音声信号から検出する検出方法であって、音声信号を入力し、入力した前記音声信号の単語内の強度変化パターンから同一周波数成分の領域を検出し、前記同一周波数成分の領域が出現する時間間隔を検出して抑揚とすることを特徴とする。
請求項１３の抑揚の検出装置は、被験者の感情の検出に使用する抑揚を、音声信号から検出する検出装置であって、音声信号を入力する音声入力手段と、前記音声信号の単語内の強度変化パターンから同一周波数成分の領域を検出する手段と、前記同一周波数成分の領域が出現する時間間隔を検出して抑揚とする手段とを備えたことを特徴とする。
請求項１４の記録媒体は、被験者の感情の検出に使用する抑揚を、音声信号から検出するためのプログラムを記録した記録媒体であって、コンピュータに、音声信号を入力する手順と、前記音声信号の単語内の強度変化パターンから同一周波数成分の領域を検出する手順と、前記同一周波数成分の領域が出現する時間間隔を検出して抑揚とする手順とをコンピュータに実行させるためのプログラムが記録されていることを特徴とする。
【００２４】
【発明の実施の形態】
本発明の感情検出方法及び感情検出装置の１つの実施の形態について、図１〜図６を参照して説明する。この形態は全ての請求項に対応する。
【００２５】
図１は、この形態の感情検出装置の構成を示すブロック図である。図２は抑揚検出部の構成を示すブロック図である。図３は感情の状態の変化と音声の強度，テンポ及び抑揚との関係を示すグラフである。図４は抑揚検出部における音声信号処理の過程を示すタイムチャートである。図５は忘却処理部の動作を示すフローチャートである。図６は感情感性記憶ＤＢに記憶された情報の構成例を示す模式図である。
【００２６】
この形態では、請求項２の音声入力手段，強度検出手段，テンポ検出手段，抑揚検出手段，変化量検出手段及び感情検出手段は、それぞれマイク１１，強度検出部１７，テンポ検出部１８，抑揚検出部１９，感情変化検出部２２及び音声感情検出部２３に対応する。
また、請求項３のバンドパスフィルタ手段，領域分離手段及び抑揚計算手段は、それぞれバンドパスフィルタ５１，比較部５３及び領域間隔検出部５５に対応する。請求項４の撮像手段，画像認識手段，画像基準情報保持手段，画像特徴量検出手段及び感情検出手段は、それぞれテレビカメラ３１，画像認識部３２，顔パターンＤＢ３３，顔感情検出部３４及び顔感情検出部３４に対応する。
【００２７】
更に、請求項５の感情情報蓄積手段及び忘却処理手段はそれぞれ感情感性記憶ＤＢ４１及び忘却処理部４２に対応する。請求項６の文章認識手段及び蓄積制御手段は、それぞれ文章認識部２６及び同期処理部４３に対応する。請求項７の無音時間決定手段及び文章区切り検出手段は文章検出部１６に対応する。
図１を参照すると、この感情検出装置にはマイク１１，Ａ／Ｄ変換器１２，信号処理部１３，音声認識部２０，強度検出部１７，テンポ検出部１８，抑揚検出部１９，一時記憶部２１，感情変化検出部２２，音声感情検出部２３，感情パターンＤＢ（データベースの略：以下同様）２４，キーボード２５，文章認識部２６，テレビカメラ３１，画像認識部３２，顔パターンＤＢ３３，顔感情検出部３４，文字認識部３９，感情感性記憶ＤＢ４１，忘却処理部４２，同期処理部４３，人間性情報ＤＢ４４，個人情報ＤＢ４５，専門情報ＤＢ４６及び感情認識部６０が備わっている。
【００２８】
また、音声認識部２０には信号処理部１３，音素検出部１４，単語検出部１５及び文章検出部１６が設けてある。音声認識部２０には、市販の音声認識（事前言語）デバイスの機能も含まれている。
図１において、音声認識部２０，強度検出部１７，テンポ検出部１８，抑揚検出部１９，一時記憶部２１，感情変化検出部２２及び音声感情検出部２３は、音声から感情を検出するための回路である。
【００２９】
この感情検出装置は、感情の検出対象となる相手の人間の情報を読み取るための入力手段として、マイク１１，キーボード２５及びテレビカメラ３１を備えている。すなわち、マイク１１から入力される音声，キーボード２５から入力される文字情報及びテレビカメラ３１から入力される顔の表情などの情報を利用して相手の人間の感情を検出する。
【００３０】
なお、実際にはマイク１１から入力される音声だけに基づいて感情を検出することも可能であり、キーボード２５から入力される文字情報だけに基づいて感情を検出することも可能であり、テレビカメラ３１から入力される顔の表情だけに基づいて相手の人間の感情を検出することも可能である。しかし、複数の情報源から得られる情報を総合的に判断した方が感情の検出精度を高めるうえで効果的である。
【００３１】
まず、音声に関する処理について説明する。マイク１１から入力された音声信号は、Ａ／Ｄ変換器１２でサンプリングされ、ディジタル信号に変換される。Ａ／Ｄ変換器１２の出力に得られる音声のディジタル信号は、音声認識部２０に入力される。
【００３２】
信号処理部１３は、音声の強度検出に必要な周波数成分を抽出する。強度検出部１７は、信号処理部１３の抽出した信号からその強度を検出する。例えば、音声信号の振幅の大きさを平均化した結果を強度として利用することができる。
音声の強度を検出するための平均化の周期については、例えば１０秒程度に定める。但し、１０秒以内であっても文章毎の区切りを検出した場合には、文章の最初から区切りを検出した時点までの平均化を行う。すなわち、音声の文章毎にそれぞれの強度を検出する。
【００３３】
音声認識部２０に備わった音素検出部１４は、入力される音声の音素毎の区切りを検出する。例えば、「今日はいい天気ですね」の文章が音声で入力された場合には、「きょ／う／は／い／い／て／ん／き／で／す／ね」のように音素毎の区切りを検出する。
また、音声認識部２０に備わった単語検出部１５は、入力される音声の単語毎の区切りを検出する。例えば、「今日はいい天気ですね」の文章が音声で入力された場合には、「きょう／は／いい／てんき／ですね」のように単語毎の区切りを検出する。
【００３４】
また、音声認識部２０に備わった文章検出部１６は、入力される音声の文章毎の区切りを検出する。特定の長さ以上の無音状態を検出した場合に、文章毎の区切りが現れたものとみなす。無音状態の長さの閾値には、（０．１〜２）秒程度の値が割り当てられる。また、この閾値は一定ではなく、直前に検出された感情の状態を反映するように自動的に変更される。
【００３５】
テンポ検出部１８は、音素検出部１４から出力される音素毎の区切りの信号を入力して、単位時間に現れた音素の数をテンポとして検出する。テンポの検出周期については、例えば１０秒程度の時間が割り当てられる。しかし、文章の区切りを検出した場合には、１０秒以内であってもその時点までで音素数のカウントを中止してテンポの値を計算する。つまり、文章毎にテンポが検出される。
【００３６】
抑揚検出部１９には、単語検出部１５が区切りを検出した単語毎に区分されて、音声信号が入力される。抑揚検出部１９は、入力される音声信号から各単語内及び文章検出部１６における文章毎の区切り内の音声の強度変化パターンを表す抑揚を検出する。これにより、抑揚検出部１９は区切りの中での特徴的な強度パターンを検出する。
【００３７】
抑揚検出部１９の内部には、図２に示すように、バンドパスフィルタ５１，絶対値変換部５２，比較部５３，領域中心検出部５４及び領域間隔検出部５５が備わっている。また、抑揚検出部１９における各部の信号ＳＧ１，ＳＧ２，ＳＧ３，ＳＧ４の波形の例が図４に示されている。なお、図４における各信号の縦軸は振幅又は強度を表している。また、図４の例では音声から取り出された１つの単語の長さが約１．２秒になっている。
【００３８】
バンドパスフィルタ５１は、入力された信号ＳＧ１の中から抑揚の検出に必要な周波数成分だけを抽出する。この例では、８００Ｈｚ〜１２００Ｈｚの範囲内の周波数成分だけがバンドパスフィルタ５１の出力に信号ＳＧ２として現れる。図４を参照すると、単語内の抑揚による強度変化のパターンが信号ＳＧ２に現れていることが分かる。
【００３９】
信号の計算処理を容易にするために、抑揚検出部１９には絶対値変換部５２を設けてある。絶対値変換部５２は、入力される信号の振幅をその絶対値に変換する。従って、絶対値変換部５２の出力には図４に示す信号ＳＧ３が現れる。
比較部５３は、信号ＳＧ３の大きさを閾値と比較して閾値よりも大きい成分だけを信号ＳＧ４として出力する。すなわち、比較部５３は信号ＳＧ３のパワースペクトルの中で値の大きな成分だけを出力する。なお、比較部５３に印加する閾値については、判別分析法と呼ばれる方法を用いて適応的に決定している。
【００４０】
図４を参照すると、信号ＳＧ４には音声の単語における抑揚パターンに相当する２つの領域Ａ１，Ａ２が明確に現れている。領域中心検出部５４は、２つの領域Ａ１，Ａ２のそれぞれの中心に相当する位置が現れた時間ｔ１，ｔ２を検出する。
領域間隔検出部５５は、領域中心検出部５４の検出した２つの時間ｔ１，ｔ２に関する時間差を領域間隔Ｔｙとして検出する。この領域間隔Ｔｙの値は、音声の単語における抑揚パターンに相当する。実際には、領域間隔Ｔｙの値を平均化した結果を抑揚の値として利用している。
【００４１】
なお、１つの単語の中で信号ＳＧ４に３つ以上の領域が現れる場合もある。３つ以上の領域が現れた場合には、互いに隣接する２つの領域について領域間隔Ｔｙをそれぞれ計算し、求められた複数の領域間隔Ｔｙを平均化した結果を抑揚の値として利用する。
人間の感情の状態は、例えば図３に示すように変化する。また、怒り，悲しみ，喜びなどの感情を正しく把握するためには、強度，テンポ，抑揚のような特徴量の変化を検出することが重要である。
【００４２】
図１に示す感情検出装置においては、過去の特徴量の参照を可能にするため、強度検出部１７が出力する強度，テンポ検出部１８が出力するテンポ及び抑揚検出部１９が出力する抑揚の値を一時的に一時記憶部２１に記憶しておく。
また、感情変化検出部２２は、強度検出部１７が出力する現在の強度，テンポ検出部１８が出力する現在のテンポ及び抑揚検出部１９が出力する現在の抑揚の値と、一時記憶部２１に保持された過去の（現在よりも少し前の時刻の）強度，テンポ及び抑揚の値とを入力して、感情状態の変化を検出する。つまり、音声の強度の変化，テンポの変化及び抑揚の変化をそれぞれ検出する。
【００４３】
音声感情検出部２３は、感情変化検出部２２が出力する音声の強度の変化，テンポの変化及び抑揚の変化を入力し、現在の感情の状態を推定する。感情の状態として、この例では怒り，悲しみ及び喜びの３種類の状態をそれぞれ推定している。
【００４４】
感情パターンＤＢ２４には、音声の強度の変化，テンポの変化及び抑揚の変化のパターンと怒りの状態とを関連付ける情報と、音声の強度の変化，テンポの変化及び抑揚の変化のパターンと悲しみの状態とを関連付ける情報と、音声の強度の変化，テンポの変化及び抑揚の変化のパターンと喜びの状態とを関連付ける情報とが予め保持されている。
【００４５】
音声感情検出部２３は、感情パターンＤＢ２４に保持された情報を推定規則として参照しながら、感情変化検出部２２が出力する強度の変化，テンポの変化及び抑揚の変化のパターンに基づいて現在の感情の状態を推定する。
音声感情検出部２３によって推定された怒り，悲しみ及び喜びの３種類の各々の状態を表す情報は、感情認識部６０及び感情感性記憶ＤＢ４１に入力される。感情感性記憶ＤＢ４１は、音声感情検出部２３から入力される現在の感情の状態を逐次記憶され、蓄積される。
【００４６】
従って、感情感性記憶ＤＢ４１に記憶された情報を読み出すことにより、過去の感情の状態を再生することができる。
一方、音声としてマイク１１から入力された文章の内容（相手の発言内容）は、文章認識部２６で認識される。文章認識部２６の入力には、音声認識部２０で認識された各音素に対応する文字情報や、単語の区切り及び文章の区切りを表す情報が入力される。また、キーボード２５から入力された文字情報も文章認識部２６に入力される。
【００４７】
文章認識部２６は、入力される文字列の単語毎の認識及び構文解析を行い、文章の内容を自然言語として把握する。実際には、「５Ｗ３Ｈ」、すなわち「誰が」，「何を」，「いつ」，「どこで」，「なぜ」，「どうやって」，「どのくらい」，「いくら」を表す発言情報を認識する。文章認識部２６が認識した発言情報は感情認識部６０に入力される。
【００４８】
次に、相手の顔の表情から感情を検出するための処理について説明する。テレビカメラ３１は、図１の感情検出装置の被験者となる人間の少なくとも顔の部分を撮影する。テレビカメラ３１の撮影した画像、すなわち人間の顔の表情が含まれる画像が画像認識部３２に入力される。
なお、テレビカメラ３１の撮影した画像の情報は文字認識部３９に入力される。すなわち、文章の映像をテレビカメラ３１で撮影した場合には、文字認識部３９は撮影された映像から文章の各文字を認識する。文字認識部３９の認識した文字情報は文章認識部２６に入力される。
【００４９】
画像認識部３２は、入力される画像の中から特徴的な要素を認識する。具体的には、被験者の顔における目，口，眉毛，頬骨の部分をそれぞれ認識し、顔の中における目，口，眉毛，頬骨のそれぞれの相対的な位置を検出する。また、画像認識部３２は顔の表情の変化に伴う目，口，眉毛，頬骨のそれぞれの位置の変化及び首を振るなどの表現を検出するために位置の追跡を常に行う。
【００５０】
顔パターンＤＢ３３には、顔の中における目，口，眉毛，頬骨のそれぞれの位置に関する基準位置の情報（被験者の平常時の顔の表情に相当する情報）が予め保持されている。なお、顔パターンＤＢ３３の内容を任意に変更することも可能である。また、顔パターンＤＢ３３には顔の表情の変化と６種類の感情（喜び，怒り，悲しみ，恐れ，楽しみ，驚き）のそれぞれとの対応関係を表す規則情報が予め保持されている。
【００５１】
顔感情検出部３４は、画像認識部３２が認識した目，口，眉毛，頬骨のそれぞれの位置と顔パターンＤＢ３３に保持された基準位置の情報とを用いて特徴量、すなわち平常時の位置に対する表情の違いを検出する。
また、顔感情検出部３４は検出した特徴量の変化量及び変化の速さと、顔パターンＤＢ３３に保持された規則情報とに基づいて、６種類の感情（喜び，怒り，悲しみ，恐れ，楽しみ，驚き）のそれぞれの状態を推定する。推定された６種類の感情の状態を表す情報は、顔感情検出部３４から出力されて感情認識部６０及び感情感性記憶ＤＢ４１に入力される。
【００５２】
感情認識部６０は、音声感情検出部２３から入力される感情（怒り，悲しみ，喜び）の状態を表す情報と、文章認識部２６から入力される発言情報と、顔感情検出部３４から入力される感情（喜び，怒り，悲しみ，恐れ，楽しみ，驚き）の状態を表す情報とを総合的に判断して最終的な感情の状態を推定する。発言情報については、その文章の内容（５Ｗ３Ｈ）を予め定めた規則に従って判断することにより、発言情報に含まれている感情（喜び，怒り，悲しみ，恐れ，楽しみ，驚き）の状態を推定することができる。
【００５３】
音声感情検出部２３が音声から推定した感情の状態を表す情報と、文章認識部２６が音声又はキーボード２５から入力された文字から認識した発言内容の情報と、顔感情検出部３４が顔の表情から推定した感情の状態を表す情報とが、それぞれ感情感性記憶ＤＢ４１に入力されて逐次記憶される。感情感性記憶ＤＢ４１に記憶されたそれぞれの情報には、それが検出された時刻あるいは時間ならびに年月日が付加される。
【００５４】
感情感性記憶ＤＢ４１に入力される情報のうち、音声感情検出部２３から入力される感情の情報と、文章認識部２６から入力される発言内容の情報と、顔感情検出部３４から入力される感情の情報とは互いに関連付けて把握しなければならない。
そこで、同期処理部４３は感情感性記憶ＤＢ４１に蓄積された複数種類の情報を、それらの検出された時間（入力された時間）及び年月日によって互いに関連付ける。例えば、図６に示されるように、音声感情検出部２３の推定した怒り，悲しみ及び喜びの感情の状態を表す情報と発言の内容（５Ｗ３Ｈ）の情報とを、それらの時間によって互いに関連付ける。
【００５５】
ところで、感情感性記憶ＤＢ４１には比較的大量の情報を蓄積できる十分な記憶容量が備わっている。しかしながら、記憶容量には限りがあるのでこの装置を長期間に渡って使い続けるためには蓄積する情報の量を抑制する必要がある。
【００５６】
そこで、忘却処理部４２が設けてある。忘却処理部４２は、古くなった情報を感情感性記憶ＤＢ４１上から自動的に削除する。但し、特定の条件に適合する情報については古くなった場合でも削除せずに保存される。
忘却処理部４２の動作について、図５を参照しながら説明する。
図５のステップＳ１１においては、感情感性記憶ＤＢ４１に蓄積されている多数のデータのそれぞれについて、記憶された時刻（あるいは検出された時刻）及び年月日の情報を参照する。
【００５７】
ステップＳ１２では、現在の時刻とステップＳ１１で参照したデータの時刻とに基づいて、該当するデータが記憶されてから予め定めた一定の期間が経過したか否かを識別する。記憶してから一定の期間が経過した古いデータを処理する場合には、ステップＳ１３以降の処理に進む。一定の期間が経過していない比較的新しいデータについては、そのまま保存される。
【００５８】
ステップＳ１３では、データが感情の状態を表す情報である場合に、その感情の変化量を感情状態を表す情報の前後の違いから検出する。感情の変化量が予め定めた閾値を超える場合にはステップＳ１３からＳ１７に進むので、そのデータが古い場合であってもそのままデータは保存される。感情の変化量が閾値以下の場合には、ステップＳ１３からＳ１４に進む。
【００５９】
ステップＳ１４では、そのデータに関する感情のパターンを検出し、そのパターンが予め定めた特定のパターンと一致するか否かを識別する。すなわち、複数の感情の状態及び発言内容の組み合わせが、「印象が強い」状態を表す特定のパターンと一致するか否かを調べる。検出したパターンが特定のパターンと一致した場合には、ステップＳ１４からＳ１７に進むので、そのデータが古い場合であってもそのままデータは保存される。パターンが一致しない場合にはステップＳ１４からＳ１５に進む。
【００６０】
ステップＳ１５では、データが発言内容である場合に、その内容と予め定めた発言内容（印象に残りやすい発言）とが一致するか否かを識別する。なお、完全に一致しなくても、類似性が高い場合には「一致」とみなすこともできる。データの発言内容が予め定めた発言内容と一致した場合には、ステップＳ１５からＳ１７に進むので、そのデータが古い場合であっても、そのままデータは保存される。
【００６１】
ステップＳ１５で一致しない場合には、ステップＳＳ１６において当該データは削除される。
上記の処理は感情感性記憶ＤＢ４１上の全てのデータについて実行される。また、図５に示す忘却処理は定期的に繰り返し実行される。この忘却処理を実行留周期については、個人の個性として任意に変更することができる。なお、ステップＳ１４，Ｓ１５では予め容易されたパターンＤＢ（図示せず）を参照して処理を行う。このパターンＤＢについては、入力情報を学習することにより自動的に内容が更新される。
【００６２】
なお、図５では処理を簡略化して表してある。実際には、感情の変化量，感情のパターン及び発言の内容の全てを総合的に判断する。すなわち、感情の変化量が大きい情報と、感情のパターンが一致した情報と、発言内容が同一もしくは近似する情報とが存在する場合には、総合的に優先順位を判断する。具体的には、発言内容が同一もしくは近似する情報の優先順位が最も大きく、感情のパターンが一致した情報の優先順位が２番目に高く、感情の変化量が大きい情報の優先順位は低い。従って、発言内容が同一もしくは近似する情報は忘却処理で削除されにくく、古くなっても記憶として残る。
【００６３】
上記のような忘却処理部４２の処理によって、感情感性記憶ＤＢ４１上の古くなったデータについては、感情の変化が大きいもの、「印象が強い」とみなされるパターンであるもの、幾度も入力を繰り返されたもの、及び発言の内容が印象に残りやすいもののみがその強度と内容に合わせて順位をつけてそのまま保存される。その結果、感情感性記憶ＤＢ４１上の古いデータについては、一部分のみが残った不完全なデータとなる。このようなデータは、人間の記憶における過去の曖昧な記憶と同じような内容になる。
【００６４】
感情感性記憶ＤＢ４１に蓄積された過去の感情の状態及び発言内容を読み出してデータを分析することにより、例えばこの感情検出装置が正しく動作しているか否かを判断したり、感情の推定に利用される各部のデータベースの内容を改良するように更新することも可能になる。
感情感性記憶ＤＢ４１に蓄積されたデータについては、その内容に応じて更に振り分けられ、人間性情報ＤＢ４４，個人情報ＤＢ４５又は専門情報ＤＢ４６に記憶される。
【００６５】
人間性情報ＤＢ４４には、性別，年齢，攻撃性，協調性，現在の感情などのように被験者の性格を決定付ける情報や行動の決定パターンの情報が保持される。また、個人情報ＤＢ４５には、個人の住所，現在の状況，環境，発言内容（５Ｗ３Ｈ）などの情報が保持される。専門情報ＤＢ４６には、職業，経歴，職業適性格，職業的行動決定パターンなどの情報が保持される。
【００６６】
人間性情報ＤＢ４４，個人情報ＤＢ４５及び専門情報ＤＢ４６から出力されるのは、個人のモラルパターン情報である。このモラルパターン情報と過去の相手の感情とに基づいて相手の感性を察知することができる。
なお、図１に示す感情検出装置の機能をコンピュータのソフトウェアにより実現する場合には、コンピュータが実行するプログラム及び必要なデータを、例えばＣＤ−ＲＯＭなどの記録媒体に記録しておけばよい。
【００６７】
なお、図１に示すマイク１１を電話機の受話器に置き換えてもよいし、文字などの情報を入力する手段としてマウスを設けてもよい。
また、図１に示すテレビカメラ３１については、光学式カメラ，ディジタルカメラ，ＣＣＤカメラのような様々な撮像手段のいずれでも置き換えることができる。
【００６８】
【発明の効果】
本発明の感情検出方法及び感情検出装置ならびに記録媒体によれば、より正確に被験者の感情を検出することができる。
【図面の簡単な説明】
【図１】実施の形態の感情検出装置の構成を示すブロック図である。
【図２】抑揚検出部の構成を示すブロック図である。
【図３】感情の状態の変化と音声の強度，テンポ及び抑揚との関係を示すグラフである。
【図４】抑揚検出部における音声信号処理の過程を示すタイムチャートである。
【図５】忘却処理部の動作を示すフローチャートである。
【図６】感情感性記憶ＤＢに記憶された情報の構成例を示す模式図である。
【符号の説明】
１１ マイク
１２ Ａ／Ｄ変換器
１３ 信号処理部
１４ 音素検出部
１５ 単語検出部
１６ 文章検出部
１７ 強度検出部
１８ テンポ検出部
１９ 抑揚検出部
２０ 音声認識部
２１ 一時記憶部
２２ 感情変化検出部
２３ 音声感情検出部
２４ 感情パターンＤＢ
２５ キーボード
２６ 文章認識部
３１ テレビカメラ
３２ 画像認識部
３３ 顔パターンＤＢ
３４ 顔感情検出部
３９ 文字認識部
４１ 感情感性記憶ＤＢ
４２ 忘却処理部
４３ 同期処理部
４４ 人間性情報ＤＢ
４５ 個人情報ＤＢ
４６ 専門情報ＤＢ
５１ バンドパスフィルタ
５２ 絶対値変換部
５３ 比較部
５４ 領域中心検出部
５５ 領域間隔検出部
６０ 感情認識部
Claims (14)
- 被験者の感情を検出するための感情検出方法であって、
音声信号を入力し、
入力した音声信号から音声の強度及び音声の出現速度を表すテンポをそれぞれ検出するとともに、音声の各単語内の強度変化パターンに出現する同一周波数成分の領域の時間間隔を抑揚として検出し、
検出された音声の強度の時間軸方向の変化を表す第１の変化量，音声のテンポの時間軸方向の変化を表す第２の変化量及び音声の抑揚の時間軸方向の変化を表す第３の変化量をそれぞれ求め、
前記第１の変化量，第２の変化量及び第３の変化量のパターンと、感情状態とを関連付ける情報を予め保持し、
前記関連付ける情報を参照することで、前記第１の変化量，第２の変化量及び第３の変化量から、感情状態を表す信号を生成する
ことを特徴とする感情検出方法。 - 被験者の感情を検出するための感情検出装置であって、
音声信号を入力する音声入力手段と、
前記音声入力手段が入力した音声信号から音声の強度を検出する強度検出手段と、
前記音声入力手段が入力した音声信号から音声の出現速度をテンポとして検出するテンポ検出手段と、
前記音声入力手段が入力した音声信号から、音声の単語内の強度変化パターンに出現する同一周波数成分の領域の時間間隔を抑揚として検出する抑揚検出手段と、
前記強度検出手段が検出した音声の強度の時間軸方向の変化を表す第１の変化量，前記テンポ検出手段が検出した音声のテンポの時間軸方向の変化を表す第２の変化量及び前記抑揚検出手段が検出した音声の抑揚の時間軸方向の変化を表す第３の変化量をそれぞれ求める変化量検出手段と、
前記第１の変化量，第２の変化量及び第３の変化量のパターンと、感情状態とを関連付ける情報を予め保持する感情パターンデータベースと、
前記感情パターンデータベースの前記関連付ける情報を参照することで、前記第１の変化量，第２の変化量及び第３の変化量から、感情状態を表す信号を生成する感情検出手段と
を設けたことを特徴とする感情検出装置。 - 請求項２の感情検出装置において、前記抑揚検出手段に、
単語毎に分離されて入力される音声信号から特定の周波数成分を抽出するバンドパスフィルタ手段と、
前記バンドパスフィルタ手段により抽出された信号のパワースペクトルをその強度に基づいて複数の領域に分離する領域分離手段と、
前記領域分離手段により分離された複数の領域の各々の中心位置の時間間隔に基づいて抑揚の値を算出する抑揚計算手段と
を設けたことを特徴とする感情検出装置。 - 請求項２の感情検出装置において、
被験者の少なくとも顔の画像情報を入力する撮像手段と、
前記撮像手段が入力した画像情報から顔面各部に関する位置情報を検出する画像認識手段と、
顔面各部の特徴量の基準情報を保持する画像基準情報保持手段と、
前記画像認識手段の検出した位置情報と前記画像基準情報保持手段の保持する基準情報とに基づいて画像特徴量を検出する画像特徴量検出手段と、
を更に設けるとともに、前記感情検出手段が、前記画像特徴量検出手段の検出した画像特徴量の変化を判断材料に加えて感情状態を総合的に判断することを特徴とする感情検出装置。 - 請求項２の感情検出装置において、
前記感情検出手段の検出した感情状態の情報を逐次入力して蓄積する感情情報蓄積手段と、
前記感情情報蓄積手段に蓄積された過去の感情状態の情報のうち、記憶時点から所定の時間が経過した情報を削除するとともに、削除対象の情報のうち、予め定めた変化パターンに適合する情報については削除対象から除外する忘却処理手段と
を更に設けたことを特徴とする感情検出装置。 - 請求項５の感情検出装置において、
被験者の発した音声もしくは被験者の入力した文字の情報を処理して文法解析を行い文章の意味を表す発言情報を生成する文章認識手段と、
前記文章認識手段の生成した発言情報を、前記感情状態の情報と同期した状態で感情情報蓄積手段に蓄積する蓄積制御手段とを更に設けて、
感情状態の情報だけでなく、そのときの状況を表す発言情報を取り出すことを可能にした
ことを特徴とする感情検出装置。 - 請求項２の感情検出装置において、
検出された感情状態に基づいて基準無音時間を決定する無音時間決定手段と、
前記無音時間決定手段の決定した基準無音時間を利用して、音声の文章の区切りを検出する文章区切り検出手段と
を更に設けたことを特徴とする感情検出装置。 - 被験者の感情を検出するための計算機で実行可能な感情検出プログラムを記録した記録媒体であって、
前記感情検出プログラムには、
音声信号を入力する手順と、
入力した音声信号から音声の強度及び音声の出現速度を表すテンポをそれぞれ検出するとともに、音声の各単語内の強度変化パターンに出現する同一周波数成分の領域の時間間隔を抑揚として検出する手順と、
検出された音声の強度の時間軸方向の変化を表す第１の変化量，音声のテンポの時間軸方向の変化を表す第２の変化量及び音声の抑揚の時間軸方向の変化を表す第３の変化量をそれぞれ求める手順と、
前記第１の変化量，第２の変化量及び第３の変化量のパターンと、感情状態とを関連付ける情報を予め保持しておく手順と、
前記関連付ける情報を推定規則として参照することで、前記第１の変化量，第２の変化量及び第３の変化量から、感情状態を表す信号を生成する手順と
を設けたことを特徴とする記録媒体。 - 請求項１に記載の感情検出方法において、
怒り、悲しみ、および喜びのいずれか１つの感情状態を表す信号を生成する
ことを特徴とする感情検出方法。 - 請求項２ないし請求項７のいずれか１項に記載の感情検出装置において、
前記感情検出手段は、
怒り、悲しみ、および喜びのいずれか１つの感情状態を表す信号を生成する
ことを特徴とする感情検出装置。 - 請求項８に記載の記録媒体において、
怒り、悲しみ、および喜びのいずれか１つの感情状態を表す信号を生成する
ことを特徴としたプログラムを記録した記録媒体。 - 被験者の感情の検出に使用する抑揚を、音声信号から検出する検出方法であって、
音声信号を入力し、
入力した前記音声信号の単語内の強度変化パターンから同一周波数成分の領域を検出し、
前記同一周波数成分の領域が出現する時間間隔を検出して抑揚とする
ことを特徴とする抑揚の検出方法。 - 被験者の感情の検出に使用する抑揚を、音声信号から検出する検出装置であって、
音声信号を入力する音声入力手段と、
入力した前記音声信号の単語内の強度変化パターンから同一周波数成分の領域を検出する手段と、
前記同一周波数成分の領域が出現する時間間隔を検出して抑揚とする手段と、
を備えたことを特徴とする抑揚の検出装置。 - 被験者の感情の検出に使用する抑揚を、音声信号から検出するためのプログラムを記録した記録媒体であって、
コンピュータに、
音声信号を入力する手順と、
入力した前記音声信号の単語内の強度変化パターンから同一周波数成分の領域を検出する手順と、
前記同一周波数成分の領域が出現する時間間隔を検出して抑揚とする手順と
を実行させるためのプログラムを記録した記録媒体。
Priority Applications (13)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000278397A JP3676969B2 (ja) | 2000-09-13 | 2000-09-13 | 感情検出方法及び感情検出装置ならびに記録媒体 |
| TW090121316A TWI221574B (en) | 2000-09-13 | 2001-08-29 | Sentiment sensing method, perception generation method and device thereof and software |
| PCT/JP2001/007646 WO2002023524A1 (fr) | 2000-09-13 | 2001-09-04 | Procédé de reconnaissance d'émotion, procédé de création de sensibilité, dispositif, et logiciel |
| EP01961347A EP1318505A4 (en) | 2000-09-13 | 2001-09-04 | MOTION RECOGNITION PROC D, SENSITIVITY CR ATION PROCESS, DEVICE, AND SOFTWARE |
| CN2005100590616A CN1838237B (zh) | 2000-09-13 | 2001-09-04 | 情绪探测方法及其系统 |
| CNB018154557A CN100370414C (zh) | 2000-09-13 | 2001-09-04 | 感受能力生成器及其方法 |
| RU2003110435/09A RU2287856C2 (ru) | 2000-09-13 | 2001-09-04 | Способ обнаружения эмоций, способ генерирования чувствительности и система и машиночитаемый носитель для их осуществления |
| US10/380,279 US7340393B2 (en) | 2000-09-13 | 2001-09-04 | Emotion recognizing method, sensibility creating method, device, and software |
| CA002676228A CA2676228A1 (en) | 2000-09-13 | 2001-09-04 | Emotion detecting method, sensibility generating method, and system of the same and software for executing the same |
| KR1020037003615A KR100714535B1 (ko) | 2000-09-13 | 2001-09-04 | 감정검출방법, 감성발생방법 및 그 장치 및 소프트웨어를 저장한 컴퓨터로 읽을 수 있는 기록매체 |
| CA2421746A CA2421746C (en) | 2000-09-13 | 2001-09-04 | Emotion detecting method and system |
| HK04103324A HK1060429A1 (en) | 2000-09-13 | 2004-05-12 | A sensibility generator and the method thereof |
| HK07101134.8A HK1096483A1 (en) | 2000-09-13 | 2007-02-01 | Emotion detecting method and system of the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000278397A JP3676969B2 (ja) | 2000-09-13 | 2000-09-13 | 感情検出方法及び感情検出装置ならびに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002091482A JP2002091482A (ja) | 2002-03-27 |
| JP3676969B2 true JP3676969B2 (ja) | 2005-07-27 |
Family
ID=18763572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000278397A Expired - Lifetime JP3676969B2 (ja) | 2000-09-13 | 2000-09-13 | 感情検出方法及び感情検出装置ならびに記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP3676969B2 (ja) |
| CN (1) | CN1838237B (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8751042B2 (en) | 2011-12-14 | 2014-06-10 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods of robot behavior generation and robots utilizing the same |
Families Citing this family (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040038419A (ko) * | 2002-11-01 | 2004-05-08 | 에스엘투(주) | 음성을 이용한 감정인식 시스템 및 감정인식 방법 |
| JP4546767B2 (ja) * | 2004-06-09 | 2010-09-15 | 日本放送協会 | 感情推定装置及び感情推定プログラム |
| JP4871552B2 (ja) * | 2004-09-10 | 2012-02-08 | パナソニック株式会社 | 情報処理端末 |
| JP2006178063A (ja) * | 2004-12-21 | 2006-07-06 | Toyota Central Res & Dev Lab Inc | 対話処理装置 |
| JP4670431B2 (ja) * | 2005-03-30 | 2011-04-13 | 日本電気株式会社 | 音声感情認識によるメール作成機能付携帯端末、携帯端末システム、及び、音声感情認識によるメール作成方法 |
| JP4728868B2 (ja) * | 2006-04-18 | 2011-07-20 | 日本電信電話株式会社 | 応対評価装置、その方法、プログラムおよびその記録媒体 |
| KR100790494B1 (ko) | 2006-06-22 | 2008-01-02 | 중앙대학교 산학협력단 | 감성인식 시스템 및 그 시스템에 있어서 특징집합 선택방법 |
| KR101029786B1 (ko) | 2006-09-13 | 2011-04-19 | 니뽄 덴신 덴와 가부시키가이샤 | 감정 검출 방법, 감정 검출 장치, 그 방법을 실장한 감정 검출 프로그램 및 그 프로그램을 기록한 기록 매체 |
| JP4941966B2 (ja) * | 2006-09-22 | 2012-05-30 | 国立大学法人 東京大学 | 感情の判別方法、感情判別装置、雰囲気情報通信端末 |
| JP2008076905A (ja) * | 2006-09-22 | 2008-04-03 | Univ Of Tokyo | 感情判別方法 |
| KR101009604B1 (ko) * | 2007-06-16 | 2011-01-20 | 김길호 | 음악적 구성요소를 이용한 감성인식 방법 |
| CN101645961A (zh) * | 2008-08-06 | 2010-02-10 | 深圳富泰宏精密工业有限公司 | 实现来电情绪辨识的手机及方法 |
| JP5244627B2 (ja) * | 2009-01-21 | 2013-07-24 | Ｋｄｄｉ株式会社 | 感情推定方法および装置 |
| JP4992925B2 (ja) * | 2009-03-23 | 2012-08-08 | トヨタ自動車株式会社 | 音声対話装置及びプログラム |
| JP5146434B2 (ja) * | 2009-10-05 | 2013-02-20 | 株式会社ナカヨ通信機 | 録音再生装置 |
| JP2011154665A (ja) * | 2010-01-25 | 2011-08-11 | Opn Corp | 表情変化分析システム |
| JP5834449B2 (ja) | 2010-04-22 | 2015-12-24 | 富士通株式会社 | 発話状態検出装置、発話状態検出プログラムおよび発話状態検出方法 |
| JP5477153B2 (ja) * | 2010-05-11 | 2014-04-23 | セイコーエプソン株式会社 | 接客データ記録装置、接客データ記録方法およびプログラム |
| JP5602653B2 (ja) * | 2011-01-31 | 2014-10-08 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 情報処理装置、情報処理方法、情報処理システム、およびプログラム |
| JP5708155B2 (ja) | 2011-03-31 | 2015-04-30 | 富士通株式会社 | 話者状態検出装置、話者状態検出方法及び話者状態検出用コンピュータプログラム |
| JP5685488B2 (ja) * | 2011-05-19 | 2015-03-18 | 佐藤 英典 | 電話装置及びその制御方法 |
| JP5772448B2 (ja) * | 2011-09-27 | 2015-09-02 | 富士ゼロックス株式会社 | 音声解析システムおよび音声解析装置 |
| CN103543979A (zh) * | 2012-07-17 | 2014-01-29 | 联想(北京)有限公司 | 一种输出语音的方法、语音交互的方法及电子设备 |
| JP6105337B2 (ja) * | 2013-03-14 | 2017-03-29 | 日本写真印刷株式会社 | 評価システム及び評価方法 |
| CN103425247A (zh) * | 2013-06-04 | 2013-12-04 | 深圳市中兴移动通信有限公司 | 一种基于用户反应的操控终端及其信息处理方法 |
| US9594807B2 (en) * | 2013-08-06 | 2017-03-14 | Intel Corporation | Emotion-related query processing |
| EP3049961A4 (en) * | 2013-09-25 | 2017-03-22 | Intel Corporation | Improving natural language interactions using emotional modulation |
| WO2015083357A1 (ja) | 2013-12-05 | 2015-06-11 | Ｐｓｔ株式会社 | 推定装置、プログラム、推定方法および推定システム |
| CN103720210B (zh) * | 2014-01-10 | 2016-04-27 | 宁波多尔贝家居制品实业有限公司 | 一种家庭气氛调节衣柜及其工作控制方法 |
| CN103745575B (zh) * | 2014-01-10 | 2016-04-20 | 宁波多尔贝家居制品实业有限公司 | 一种家庭气氛调节装置及其工作控制方法 |
| CN103829958B (zh) * | 2014-02-19 | 2016-11-09 | 广东小天才科技有限公司 | 一种监测人情绪的方法及装置 |
| CN104939810B (zh) * | 2014-03-25 | 2017-09-01 | 上海斐讯数据通信技术有限公司 | 一种控制情绪的方法及装置 |
| JP6122816B2 (ja) | 2014-08-07 | 2017-04-26 | シャープ株式会社 | 音声出力装置、ネットワークシステム、音声出力方法、および音声出力プログラム |
| JP6392578B2 (ja) * | 2014-08-11 | 2018-09-19 | オリンパス株式会社 | 音声処理装置、音声処理方法、及び音声処理プログラム |
| US9607609B2 (en) * | 2014-09-25 | 2017-03-28 | Intel Corporation | Method and apparatus to synthesize voice based on facial structures |
| CN106331586A (zh) * | 2015-06-16 | 2017-01-11 | 杭州萤石网络有限公司 | 一种智能家居视频监控方法和系统 |
| CN106874265B (zh) * | 2015-12-10 | 2021-11-26 | 深圳新创客电子科技有限公司 | 一种与用户情绪匹配的内容输出方法、电子设备及服务器 |
| CN105596016A (zh) * | 2015-12-23 | 2016-05-25 | 王嘉宇 | 一种人体心理、生理健康监测和管理装置及方法 |
| CN107293292A (zh) * | 2016-03-31 | 2017-10-24 | 深圳光启合众科技有限公司 | 基于云端的设备及其操作方法 |
| WO2018000259A1 (zh) * | 2016-06-29 | 2018-01-04 | 深圳狗尾草智能科技有限公司 | 一种机器人交互内容的生成方法、系统及机器人 |
| JP6759927B2 (ja) | 2016-09-23 | 2020-09-23 | 富士通株式会社 | 発話評価装置、発話評価方法、および発話評価プログラム |
| CN106851478A (zh) * | 2017-02-10 | 2017-06-13 | 深圳市笨笨机器人有限公司 | 多通道信息处理方法及系统 |
| KR102651253B1 (ko) * | 2017-03-31 | 2024-03-27 | 삼성전자주식회사 | 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법 |
| WO2018188097A1 (zh) * | 2017-04-14 | 2018-10-18 | 格兰比圣（深圳）科技有限公司 | 一种家庭氛围调节的方法及装置 |
| CN108093526A (zh) * | 2017-12-28 | 2018-05-29 | 美的智慧家居科技有限公司 | Led灯的控制方法、装置和可读存储介质 |
| CN108682419A (zh) * | 2018-03-30 | 2018-10-19 | 京东方科技集团股份有限公司 | 语音控制方法及设备、计算机可读存储介质及设备 |
| CN110555346A (zh) * | 2018-06-01 | 2019-12-10 | 杭州海康威视数字技术股份有限公司 | 驾驶员情绪检测方法、装置、电子设备及存储介质 |
| CN109009170A (zh) * | 2018-07-20 | 2018-12-18 | 深圳市沃特沃德股份有限公司 | 探测情绪的方法与装置 |
| CN108694169A (zh) * | 2018-07-27 | 2018-10-23 | 海南大学 | 基于内容和环境的个性化情感可视化系统 |
| CN110970017B (zh) * | 2018-09-27 | 2023-06-23 | 北京京东尚科信息技术有限公司 | 人机交互方法及系统、计算机系统 |
| CN110246519A (zh) * | 2019-07-25 | 2019-09-17 | 深圳智慧林网络科技有限公司 | 情绪识别方法、设备及计算机可读存储介质 |
| CN112656401B (zh) * | 2019-10-15 | 2023-08-22 | 梅州市青塘实业有限公司 | 一种智能监护方法、装置及设备 |
| CN111341417A (zh) * | 2020-02-11 | 2020-06-26 | 山西泉新科技有限公司 | 一种计算机社会认知评估与矫正系统 |
| CN112765875B (zh) * | 2021-01-04 | 2022-07-22 | 山东师范大学 | 考虑知识传播对消极情绪影响的人群疏散模拟方法及系统 |
| EP4354386A1 (en) * | 2021-06-11 | 2024-04-17 | Life Quest Inc. | Emotion inference device, emotion inference method, and program |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0512023A (ja) * | 1991-07-04 | 1993-01-22 | Omron Corp | 感情認識装置 |
| JPH06139044A (ja) * | 1992-10-28 | 1994-05-20 | Sony Corp | インターフェース方法及び装置 |
| JPH08339446A (ja) * | 1995-06-09 | 1996-12-24 | Sharp Corp | 対話装置 |
| JPH10143351A (ja) * | 1996-11-13 | 1998-05-29 | Sharp Corp | インタフェース装置 |
| US6185534B1 (en) * | 1998-03-23 | 2001-02-06 | Microsoft Corporation | Modeling emotion and personality in a computer user interface |
| JP2000200103A (ja) * | 1998-08-06 | 2000-07-18 | Yamaha Motor Co Ltd | 疑似感情及び疑似性格を用いた制御対象の制御方法、使用者に適合して動作する自律装置、及び使用者の特徴に装置の行動を適合させる方法 |
| JP2000187435A (ja) * | 1998-12-24 | 2000-07-04 | Sony Corp | 情報処理装置、携帯機器、電子ペット装置、情報処理手順を記録した記録媒体及び情報処理方法 |
-
2000
- 2000-09-13 JP JP2000278397A patent/JP3676969B2/ja not_active Expired - Lifetime
-
2001
- 2001-09-04 CN CN2005100590616A patent/CN1838237B/zh not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8751042B2 (en) | 2011-12-14 | 2014-06-10 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods of robot behavior generation and robots utilizing the same |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1838237A (zh) | 2006-09-27 |
| CN1838237B (zh) | 2010-04-28 |
| JP2002091482A (ja) | 2002-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3676969B2 (ja) | 感情検出方法及び感情検出装置ならびに記録媒体 | |
| KR100883652B1 (ko) | 음성 구간 검출 방법 및 장치, 및 이를 이용한 음성 인식시스템 | |
| KR100305455B1 (ko) | 연속 음성 인식시에 구두점들을 자동으로 발생시키기 위한 장치및 방법 | |
| KR101183344B1 (ko) | 사용자 정정들을 이용한 자동 음성 인식 학습 | |
| KR101558553B1 (ko) | 아바타 얼굴 표정 제어장치 | |
| JP4085130B2 (ja) | 感情認識装置 | |
| WO2002023524A1 (fr) | Procédé de reconnaissance d'émotion, procédé de création de sensibilité, dispositif, et logiciel | |
| JP6654611B2 (ja) | 成長型対話装置 | |
| CN108242238B (zh) | 一种音频文件生成方法及装置、终端设备 | |
| CN112102850B (zh) | 情绪识别的处理方法、装置、介质及电子设备 | |
| EP1701338B1 (en) | Speech recognition method | |
| WO2004075168A1 (ja) | 音声認識装置及び音声認識方法 | |
| JPWO2005069171A1 (ja) | 文書対応付け装置、および文書対応付け方法 | |
| JPH0990974A (ja) | 信号処理方法 | |
| JP2018072650A (ja) | 音声対話装置及び音声対話方法 | |
| JP2006146090A (ja) | 音声認識装置、音声認識方法および音声認識プログラム | |
| JP6915637B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP3676981B2 (ja) | 感性発生方法及び感性発生装置並びにソフトウェア | |
| US20220111294A1 (en) | Apparatus and method for audio data analysis | |
| JP3633254B2 (ja) | 音声認識システムおよびそのプログラムを記録した記録媒体 | |
| JP2000075894A (ja) | 音声認識方法及び装置、音声対話システム、記録媒体 | |
| JP5961530B2 (ja) | 音響モデル生成装置とその方法とプログラム | |
| KR20200144216A (ko) | 감정검출방법, 감성발생방법 및 그 장치 및 소프트웨어를 저장한 컴퓨터로 읽을 수 있는 기록매체 | |
| JPH09258765A (ja) | 音声認識のための音声区間始端補正方法及び装置並びに音声認識方法 | |
| JP2000099099A (ja) | データ再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040608 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050215 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050406 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050426 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050502 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3676969 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080513 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100513 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110513 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110513 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120513 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S201 | Request for registration of exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R314201 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R314531 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |