JPH08339446A

JPH08339446A - 対話装置

Info

Publication number: JPH08339446A
Application number: JP7143511A
Authority: JP
Inventors: Keiko Watanuki; 啓子綿貫
Original assignee: GIJUTSU KENKYU KUMIAI SHINJOHO SHIYORI KAIHATSU KIKO; Sharp Corp
Current assignee: GIJUTSU KENKYU KUMIAI SHINJOHO SHIYORI KAIHATSU KIKO; Sharp Corp
Priority date: 1995-06-09
Filing date: 1995-06-09
Publication date: 1996-12-24

Abstract

(57)【要約】【目的】ユーザ（人間）とコンピュータの対話装置に
おいて、ユーザの多様な感情を検出し、この感情に応じ
て、コンピュータ側から情報を出力することにより、親
しみの持てる対話装置を提供すること。【構成】ユーザの動作や行動に応じる複数の入力部１
（１-1，１-2．…）と、入力部１から入力された信号の
特徴を抽出する特徴抽出部２（２-1，２-2，…）と、特
徴抽出部２により抽出された複数の信号特徴からユーザ
の感情を判定する感情判定部４と、感情判定部４により
判定された感情に基づき、コンピュータの応答内容を生
成する応答生成部と、応答内容の出力部７（７-1，７-
2，…）から構成される。応答内容は、出力部７により
ユーザに伝えられる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ユーザ（人間）とコン
ピュータとが対話する対話装置に関し、より詳細には、
音声或いは表情などを通じて対話を行うためのものに関
する。

【０００２】

【従来の技術】従来、人間とコンピュータの間のインタ
フェースとしては、キーボードや手書き文字認識，音声
認識などが知られている。しかし、これらの手段によっ
てコンピュータ側に入力される情報は、言語に変換して
入力されるものであり、入力を行う人間の感情を言語以
外の情報として扱う手段を有するものではなかった。一
方、特開平５−１２０２３号公報には、音声認識を利用
して使用者の感情を認識する装置が開示されている。ま
た、特開平６−６７６０１号公報には、手話使用者の表
情を認識し、話者の感情を含んだ自然文を出力する装置
が開示されている。さらに、特開平５−１００６６７号
公報には、演奏者の動きを検出して、演奏者の感情にマ
ッチした楽音制御をする装置が開示されている。

【０００３】

【発明が解決しようとする課題】人間が働きかけること
を要する上述の従来例の装置と同様に、コンピュータと
の対話においても、人間は気分が乗ってきたり、あるい
はいらいらしたり、退屈したりと様々な感情を持つ。こ
のような感情に対応すべく、特開平５−１２０２３号公
報では、感情を音声から抽出しようとするものであり、
特開平６−６７６０１号公報では、手話に伴う表情から
捉えようとするものであり、また、特開平５−１００６
６７号公報では、演奏者の腕の曲げ押し等の体の動きか
ら感情を検出しようとするものであるが、本来、人間の
感情は、音声のみ，表情のみ，あるいは動きのみという
ように、シングルモードに現われるのではなく、音声や
表情，身振りなどと同時に、あるいは、相補的に現われ
るものであるから、従来例の手段は、必ずしも満足でき
るものではない。さらに、ユーザ（人間）の感情を検出
しても、上述の従来例における装置の応答においても同
様のことがいえるが、従来のコンピュータとの対話にお
いては、コンピュータ側からの応答内容および応答の仕
方がユーザの感情にかかわらず一定で、面白みのないも
のであった。本発明は、上述の課題を解決するためにな
されたもので、ユーザ（人間）とコンピュータの対話装
置において、ユーザの多様な感情を検出するとともに、
さらにこの感情に応じて、コンピュータ側から情報を出
力することにより、親しみの持てる対話装置を提供する
ことをその目的とする。

【０００４】

【課題を解決するための手段】本発明は、上述の課題を
解決するために、（１）ユーザ（人間）とコンピュータ
が音声あるいは表情などを通じて対話する対話装置にお
いて、前記ユーザの行動或いは動作に応じる複数の入力
手段と、該入力手段から入力された信号の特徴を抽出す
る特徴抽出手段と、該特徴抽出手段により抽出された複
数の信号特徴から前記ユーザの感情を判定する感情判定
手段と、該感情判定手段により判定された感情に基づ
き、前記コンピュータの応答内容を生成する応答生成手
段とから構成されること、或いは、（２）前記（１）に
おいて、前記感情判定手段は、前記複数の信号特徴とし
て前記ユーザの音声の高さと視線の方向を抽出し、それ
らからユーザの感情を判定すること、或いは、（３）前
記（１）又は（２）において、感情の履歴を蓄積する履
歴格納手段を更に備えたことを特徴とするものを構成す
る。

【０００５】

【作用】請求項１の対話装置においては、入力手段によ
りユーザの行動或いは動作に対応して発生する複数の信
号から信号抽出手段によりユーザの複数の信号特徴が抽
出される。そして、これら複数の信号特徴を統合的に扱
い、感情判定手段によりユーザの感情を判定することが
できる。また、判定された感情に基づき、応答生成手段
によりコンピュータからの応答が決定される。これによ
り、ユーザの感情に応じてコンピュータ側からの応答を
制御することができるので、より親しみの持てる対話装
置を提供することができる。請求項２の対話装置におい
ては、音声の高さと視線の方向とからユーザの感情が判
定される。これにより、より間違いの少ないユーザの感
情を判定できる。請求項３の対話装置においては、履歴
格納手段によりユーザの感情の履歴が蓄積される。これ
により、ユーザの感情の変化を記録することができるよ
うになり、ユーザの感情の変化に応じた感情判定ができ
るようになるとともに、ユーザの感情の変化に応じたコ
ンピュータの応答の制御ができるようになるので、より
満足のできる対話装置が得られる。

【０００６】

【実施例】図１は、本発明の対話装置の実施例を示すブ
ロック図である。図１において、１は、入力部、２は、
入力部から得られる信号の特徴を抽出する特徴抽出部で
ある。３は、感情を判定するためのデータをあらかじめ
格納しておく感情特徴格納部であり、４は、感情特徴格
納部３のデータを基に、ユーザの行動或いは動作から得
られる信号の特徴からユーザの感情を判定する感情判定
部である。５は、ユーザの感情に応じてコンピュータが
出力すべきデータをあらかじめ格納しておく応答特徴格
納部であり、６は、応答特徴格納部７のデータを基に、
コンピュータの応答内容を生成する応答生成部である。
７は、該応答生成部６により生成されたデータを出力す
る出力部である。８は、現在時刻を得るための時刻取得
部である。

【０００７】次に、本実施例の動作に関して説明する。
入力部１は、例えばカメラやマイク，動きセンサ，ある
いは心電計など、複数の入力部１-1，１-2，…を備える
ことができ、ユーザの行動或いは動作に対応して発生す
る複数の信号が取り込まれる。特徴抽出部２で抽出され
る特徴としては、例えば、音声の高低（以下ピッチとい
う），音声の大きさ，発話の速度，ポーズの長さ，表
情，顔の向き，口の大きさや形，視線の方向，身振り，
手振り，頭の動き，心拍数などが考えられ、そのための
複数の特徴抽出部２-1，２-2，…を備える。また、出力
部７は、例えば、スピーカやディスプレイ，触覚装置な
ど、複数の出力部７-1，７-2，…を備えることができ
る。

【０００８】以下では、入力部１-1として音声を入力す
るための音声入力部を、入力部１-2としてユーザの顔画
像を入力するための顔画像入力部を、また、特徴抽出部
２-1としてユーザが発声する音声の高さを抽出するピッ
チ抽出部を、特徴抽出部２-2としてユーザの視線方向を
検出し、コンピュータに視線を向けているかどうか（ア
イコンタクト）を判定する視線検出部を、さらに、出力
部７-1としてＣＧによる疑似人間を表示する表示部、お
よび出力部７-2として合成音声を出力する音声出力部と
して、本発明の実施例が示されているので、その動作を
説明する。マイク等の入力部１-1によって装置に取り込
まれた音声信号は、特徴抽出部２-1でＡ／Ｄ変換され、
あらかじめ決められた処理単位（フレーム：１フレーム
は１／３０秒）毎に平均ピッチ［Hz］が求められ、フレ
ーム毎の平均ピッチ変化量［％］が感情判定部４に送出
される。カメラ等の入力部１-2によって装置に取り込ま
れた視線の画像は、特徴抽出部２-2でフレーム毎にアイ
コンタクトの時間長［sec］が求められ、フレーム毎の
アイコンタクト時間長の変化量［％］が感情判定部４に
送出される。

【０００９】図２は、特徴抽出部２-1で抽出された平均
ピッチ［Hz］の例を示す図である。また、図３は、時系
列にとったフレーム毎の平均ピッチ変化量［％］の例を
示す図である。ここで、（＋）数値はピッチが先行フレ
ームより上がっていることを意味し、また、（−）数値
は下がっていることを意味する。図４は、特徴抽出部２
-2で検出されるアイコンタクトの時間長［sec］の例を
示す図である。また、図５は、時系列にとったフレーム
毎のアイコンタクト変化量［％］の例を示す図である。
ここで、（＋）数値はアイコンタクトの時間長が先行フ
レームより長くなっていることを意味し、また、（−）
数値は短くなっていることを意味する。なお、ここで
は、平均ピッチの変化量をピッチ特徴、およびアイコン
タクトの時間長の変化量を視線特徴としたが、最高ピッ
チやアイコンタクトの回数などをそれぞれピッチ特徴，
視線特徴としてもよい。

【００１０】感情判定部４では、入力されたユーザのピ
ッチ特徴および視線特徴を、フレーム毎に感情特徴格納
部３のデータを参照して、該フレーム毎のユーザの感情
が判定される。表１は、感情特徴格納部３のデータの例
を示す表である。この表には、平均ピッチの変化量
［％］とアイコンタクトの時間長の変化量［％］から判
定されるユーザの感情として両者の関係が示されてい
る。

【００１１】

【表１】

【００１２】図６は、感情判定部４での時系列にとった
フレーム毎の処理の例を示す図である。ここでは、例え
ば、ピッチ変化量が＋３０［％］およびアイコンタクト
変化量が＋４５［％］と検出され、ユーザの感情が「楽
しい」と判定されている。

【００１３】感情判定部４で判定された感情は、応答生
成部６に送出される。該応答生成部６では、フレーム毎
に応答特徴格納部５のデータを参照して、出力すべき音
声情報および顔画像情報がそれぞれ出力部７-2と出力部
７-1とに送出される。表２は、応答特徴格納部５のデー
タの例を示す表である。この表には、ユーザの感情に応
じてコンピュータによる応答をピッチパタンおよびＣＧ
顔画像で指定するようにするための両者の対応関係が示
されている。もちろん、音声の大きさや発話の速度を指
定したり、また、顔だけでなく、身振りも加えるように
してもよい。

【００１４】

【表２】

【００１５】図７は、感情判定部４での処理に応じる応
答生成部６での時系列にとったフレーム毎の処理の例を
示す図である。ここでは、例えば、ユーザの「楽しい」
という感情判定に対して、コンピュータからピッチパタ
ン２の音声で笑顔のＣＧ顔画像を出力するよう処理して
いる。図８は、応答生成部６で指定されるピッチパタン
の例を示す図で、また、図９は、ＣＧ顔画像の例を示す
図である。

【００１６】次に、本願のほかの発明の実施例を説明す
る。図１０は、この実施例の装置構成を示すブロック図
であり、図示のように、先の本発明の実施例の構成に、
ユーザの感情の履歴を蓄積する履歴格納部９が付加され
ている。以下に、この実施例でユーザの感情の履歴を処
理する動作について説明する。まず、先の実施例と同様
の手順によって、感情判定部４で判定されたユーザの感
情をフレーム毎に履歴格納部９に蓄積する。人間の感情
は変化し、その感情変化には、たとえば、「楽しい」か
ら「ふつう」の感情、「イライラ」の感情から「怒って
いる」感情というように、一定の規則制があると考えら
れる。そこで、感情判定部４では、該当フレームでのユ
ーザのピッチ特徴および視線特徴と、さらに前フレーム
の感情の履歴を参照して、該フレームのユーザの感情が
判定される。図１１は、ユーザの感情の履歴情報を利用
した、感情判定部４での時系列にとったフレーム毎の処
理の例を示す図である。ここでは、該フレームで、ピッ
チ変化量が−３０〔％〕およびアイコンタクト変化量が
＋４５〔％〕と検出され、かつ、前フレームの感情履歴
「イライラ」を参照して、ユーザの感情が「怒ってい
る」と判定されている。感情判定部４で判定された感情
は、応答生成部６に送出される。コンピュータとの対話
において、ユーザの感情に応じて、コンピュータ側から
の応答内容や応答の仕方が変化するようになれば、対話
がより楽しいものになると考えられる。そこで、応答生
成部６では、感情判定部４で判定された該フレームの感
情と履歴格納部９に蓄積された前フレームのデータを基
に、該フレームでのコンピュータからの応答が決定され
て、出力部７−１、７−２…に送出される。図１２は、
ユーザの感情の履歴情報を利用した、応答生成部６での
時系列にとったフレーム毎の処理の例を示す図である。
ここでは、感情判定部４でユーザの該フレームでの感情
が「退屈」と判定され、履歴格納部９に蓄積された前フ
レームの感情履歴「退屈」を参照して、ユーザを楽しま
せるようなピッチパタンとＣＧ顔画像を出力するように
指定されている。このように、ユーザの感情の履歴を参
照することにより、ユーザの感情を変化させるようなコ
ンピュータの応答を制御することができる。なお、ここ
では、感情判定を「楽しい」「退屈」などとカテゴリに
分類して判定しているが、感情とは本来、たとえば「非
常に楽しい」から「非常に退屈」まで連続的なものであ
る。そこで、感情の判定を、ユーザから入力されるデー
タの特徴量から、「感情度」として、「楽しさ」の度合
０.５，０.１，０.８…などと、アナログ処理するよう
にしてもよい。図１３は、「感情度」のアナログ判定処
理の例を示す図である。ここでは、「楽しい」から「退
屈」までの「感情度」のアナログ処理の例が示されてい
る。このことにより、この「感情度」に応じて、コンピ
ュータの応答もアナログ制御できるようになる。表３
は、「感情度」に応じたコンピュータの応答のアナログ
制御の例を示す表である。ここでは、平均ピッチ、およ
び顔画像の口の形をアナログ制御する例が示されてい
る。なお、表中のＫ１，Ｋ２は係数である。

【００１７】

【表３】

【００１８】

【発明の効果】人間とコンピュータが音声あるいは表情
などを通じて対話する対話装置において、請求項１の対
話装置においては、ユーザの行動に対応して発生する複
数の信号特徴からユーザの感情を判定することができる
とともに、ユーザの感情に応じてコンピュータ側から応
答するよう制御することができる。したがって、より親
しみの持てる対話装置を提供できる。請求項２の対話装
置においては、ユーザの音声の高さ（ピッチ）と視線の
方向（アイコンタクト）とからユーザの感情を判定する
ので、より間違いの少ない判定が可能となる。請求項３
の対話装置においては、ユーザの感情の変化に応じた感
情判定ができるようになるとともに、ユーザの感情の変
化に応じたコンピュータの応答の制御ができるようにな
るので、対話装置として、より満足できるものが得られ
る。

【図面の簡単な説明】

【図１】本発明の対話装置の実施例を示すブロック図で
ある。

【図２】本発明の実施例の特徴抽出部で抽出された平均
ピッチ［Hz］の例を示す図である。

【図３】本発明の実施例の特徴抽出部で抽出された平均
ピッチの変化量［％］の例を示す図である。

【図４】本発明の実施例の特徴抽出部で抽出されたアイ
コンタクト時間長［sec］の例を示す図である。

【図５】本発明の実施例の特徴抽出部で抽出されたアイ
コンタクト時間長の変化量［％］の例を示す図である。

【図６】本発明の実施例の感情判定部での処理の例を示
す図である。

【図７】本発明の実施例の応答生成部での処理の例を示
す図である。

【図８】本発明の実施例の応答生成部でのピッチパタン
の例を示す図である。

【図９】本発明の実施例の応答生成部でのＣＧ顔画像の
例を示す図である。

【図１０】本発明の他の実施例の概略構成ブロック図で
ある。

【図１１】本発明の他の実施例のユーザの履歴を利用し
た感情判定部での処理の例を示す図である。

【図１２】本発明の他の実施例のユーザの履歴を利用し
た応答生成部での処理の例を示す図である。

【図１３】本発明の実施例の感情判定部での「感情度」
による感情のアナログ判定処理の例を示す図である。

【符号の説明】

１，１-1，１-2…入力部、２，２-1，２-2…特徴抽出
部、３…感情特徴格納部、４…感情判定部、５…応答特
徴格納部、６…応答生成部、７，７-1，７-2…出力部、
８…時刻取得部、９…履歴格納部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ１０Ｌ 3/00 ５７１Ｇ１０Ｌ 9/00 ３０１Ａ 9/00 ３０１Ｇ０６Ｆ 15/62 ３８０

Claims

【特許請求の範囲】

【請求項１】ユーザ（人間）とコンピュータが音声あ
るいは表情などを通じて対話する対話装置において、前
記ユーザの行動或いは動作に応じる複数の入力手段と、
該入力手段から入力された信号の特徴を抽出する特徴抽
出手段と、該特徴抽出手段により抽出された複数の信号
特徴から前記ユーザの感情を判定する感情判定手段と、
該感情判定手段により判定された感情に基づき、前記コ
ンピュータの応答内容を生成する応答生成手段とから構
成されることを特徴とする対話装置。
【請求項２】前記感情判定手段は、前記複数の信号特
徴として前記ユーザの音声の高さと視線の方向を抽出
し、それらからユーザの感情を判定することを特徴とす
る請求項１記載の対話装置。
【請求項３】感情の履歴を蓄積する履歴格納手段を更
に備えたことを特徴とする請求項１または２記載の対話
装置。