JPH1063460A - 人物動作対話システム - Google Patents

Abstract

(57)【要約】 【課題】 仮想人物像の動作、表情、姿勢などを用いた
対話方式、対話システムに関し、ユーザの入力に対する
メッセージを「リアクション情報」「機能・状況説明情
報」「入力指示情報」と三段階に分割してユーザに確実
に提示し、ユーザの理解を助け無駄な待ち時間を減少さ
せる。かつ、三段階のメッセージの組み合わせ方によ
り、ユーザの習熟度に応じたメッセージを提示し無駄な
待ち時間の減少と、ユーザの入力内容の反映による適当
なメッセージの組み合わせを提示する。 【解決手段】 対話制御部１０２は、習熟度切り換え部
３０１と入力部１０１からの入力情報を参照し、習熟度
別制御命令パターンデータ３０２から習熟度レベルと入
力情報の種類に合った制御命令の組み合わせを選択し各
情報生成部へ出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】計算機システム、または計算
機システムを内蔵する装置において、例えば、仮想人物
像を生成して表示し、その仮想人物像の動作、表情、姿
勢などによって、円滑に計算機システムとの対話を行う
ための、人物動作対話システムに関する。

【０００２】

【従来の技術】従来、計算機システムによって、例えば
仮想人物を生成して表示させ、その仮想人物の動作、表
情、姿勢などのノンバーバル情報（非言語情報）を用い
た対話インタフェース技術がある。この技術において
は、ユーザの入力に対して、計算機システムからノンバ
ーバル情報を表示し、さらに合成音声などを組み合わせ
てユーザとの対話を行い、ユーザは、提示された情報を
直感的に素早く理解することができるという利点を持
つ。

【０００３】また、ユーザに提示する動作、表情、姿勢
は、人間が会話時など日常的に行う動作、表情、姿勢を
利用することで、計算機システムの表示や特殊な操作に
慣れていないユーザでも理解しやすい。そのため、初心
者ユーザや計算機システムの操作に慣れていないユーザ
へのエラーメッセージ、機能説明、操作ガイドなどに利
用されている。この技術としては、例えば、特開平７−
１９１６８７号公報、特開平２−８３７２７号公報、特
開平３−２１５８９１号公報が知られている。

【０００４】

【発明が解決しようとする課題】上述した従来の技術
は、ユーザが入力した命令に対する計算機システムの最
初の反応が、その命令に対する計算機システムの実行結
果のメッセージを唐突に提示する場合がある。さらに、
ユーザの命令に対する計算機システムの反応がこの実行
結果のメッセージに含まれているために、メッセージに
必要な情報を生成するまでに待ち時間が生じる場合があ
り、この待ち時間中にユーザは、自分が入力した命令が
正確に計算機システムへ伝わっているかどうかを知るま
でに無駄に待たされる課題がある。

【０００５】また、従来の技術では、計算機システムの
出力が、ユーザが入力した命令に対する実行状況説明や
エラーメッセージのみしか伝達しない場合や、逆にユー
ザへの次の指示を行うだけで状況説明がなされない場合
がある。これでは、ノンバーバル情報を用いて直観的に
情報伝達しているにも関わらず、コンピュータからの指
示をユーザがいつまでも待ってしまい円滑な操作を行え
ない課題や、コンピュータの状況を知らず不安なまま操
作を行ってしまいエラー誘発の原因になる課題がある。

【０００６】さらに、従来の技術では、ユーザが操作に
慣れると、既にメッセージ内容を把握しているのでメッ
セージを冗長に感じるようになる。加えて動作や音声を
用いるため、映像や音による計算機側からのメッセージ
が提示し終わるまでに無駄に待たされるという問題があ
る。この問題に対しての従来の技術では、ユーザの習熟
度に応じて提示内容の詳細度が違うメッセージを個別に
用意し、状況別に表示する方法がある（特開昭６３−１
３１２１９号公報、特開平５−０５３７０５号公報）。
この技術をノンバーバル情報に置き換えて情報伝達する
技術が考えられるが、これではメッセージを習熟度ごと
に用意しなければならない。

【０００７】本発明は、これらの従来の技術の課題を解
決することを目的としたもので、ユーザの入力に対する
動作、表情、姿勢といったノンバーバル情報を含んだメ
ッセージを、「リアクション情報」「機能・状況説明情
報」「入力指示情報」と三段階に分割してユーザに確実
に提示することによって、ユーザの理解を助け、無駄な
待ち時間を減少するための機能を実現することを目的と
する。

【０００８】また本発明は、これら三段階のメッセージ
の組み合わせ方により、ユーザが操作に慣れた場合でも
ユーザの習熟度に応じたメッセージの提示する長さが違
う、最大７通りのメッセージを提示しつつユーザの無駄
な待ち時間を減少することを可能にすることを目的とす
る。

【０００９】さらに本発明は、習熟度ごとに提示するメ
ッセージの組み合わせを、ユーザの入力内容を反映し、
適当なメッセージの組み合わせを伝達することを可能に
することを目的とする。

【００１０】

【課題を解決するための手段】本発明は、第１〜第４の
発明で構成されている。第１の発明は、本発明の請求項
１〜４に対応し、第２の発明は、本発明の請求項５〜８
に対応し、第３の発明は、請求項９，１０に対応し、第
４の発明は、請求項１１，１２に対応している。

【００１１】第１の発明の人物動作対話システムによれ
ば、入力部はユーザからの入力の解析を行い、入力情報
を対話制御部へ出力する。対話制御部は入力情報の内容
に従って処理を実行する前に、入力が正しく行われたか
どうかをユーザに真っ先に知らせるために、対話制御部
内に設定している入力確認情報を参照する。入力確認情
報と一致した場合、リアクション情報生成部へ、入力に
よる命令が正しく伝達されたことを動作と音声で直観的
に伝達するための制御命令を生成し送信する。

【００１２】次に対話制御部は、リアクション情報生成
部が動作生成命令と音声生成命令を生成出力している間
に、入力部からの入力情報の内容に従って処理すること
をユーザに伝えるための制御命令を生成し、状況・機能
説明情報生成部へ出力する。

【００１３】リアクション情報生成部と状況・機能説明
情報生成部への制御命令送信のタイミングは、対話制御
部が制御命令にて設定した映像と音声の出力終了時間に
合わせ、次の制御命令を送信する。

【００１４】リアクション情報生成部、状況・機能説明
情報生成部はそれぞれ、対話制御部からの制御命令の内
容に沿って、リアクションパターンデータ、状況・機能
説明パターンデータをそれぞれ参照し、動作や音声を生
成するために必要な動作生成命令と音声生成命令を逐
次、動作映像生成部と合成音声生成部へ出力する。

【００１５】動作映像生成部は動作生成命令が入力され
ない場合は、常に仮想人物の表情と姿勢が予め設定した
基本姿勢を維持するような映像信号を出力する。また、
合成音声生成部は音声生成命令が入力されない場合は、
音声信号を出力しない。

【００１６】動作映像生成部は動作生成命令に沿って、
動作データ内に格納している仮想人物のビットマップデ
ータや画像、あるいは動作ごとの三次元ＣＧを生成する
ための仮想人物の三次元モデルデータを読みだし、仮想
人物像が動作、表情、姿勢を変化させる映像信号を生成
し、映像出力部へ出力する。

【００１７】合成音声生成部は音声生成命令に沿って、
合成音声生成部内で音声信号を生成し、音声出力部へ送
る。

【００１８】映像出力部は動作映像生成部からの映像信
号を受けて、仮想人物が動作する映像を出力表示する。
映像出力部は映像信号を入力し表示できるようなモニタ
などを用いる。

【００１９】音声出力部は合成音声生成部からの音声信
号を受けて、音声を出力する。音声出力部は合成音声出
力部は音声信号を入力し出力できるようなスピーカなど
を用いる。

【００２０】これにより、ユーザの入力に対し、入力が
正しく行われたかそうでないかを、入力した命令を実行
する処理に時間を取られることなく、動作、表情、姿勢
の変化により確実に提示することが可能である。

【００２１】第２の発明の人物動作対話システムによれ
ば、対話制御部は入力部からの入力情報に応じてリアク
ション動作生成部及び状況機能説明情報生成部へ制御命
令を出力した後、ユーザへ次の操作を伝達するために入
力指示情報生成部へ制御命令を出力する。

【００２２】入力指示情報生成部への動作出力のタイミ
ングは、前述のリアクション情報生成部と状況・機能説
明情報生成部への制御命令送信のタイミングと同様に、
対話制御部が制御命令にて設定した映像と音声の出力終
了時間に合わせ、次の制御命令を送信する。

【００２３】入力指示情報生成部は、対話制御部からの
制御命令の内容に沿って、入力指示パターンデータを参
照し、動作や音声を生成するために必要な動作生成命令
と音声生成命令を逐次、動作映像生成部と合成音声生成
部へ出力する。

【００２４】これにより、ユーザの入力した命令の実行
状況やユーザの入力した機能の説明を、動作、表情、姿
勢の変化により確実に提示し、かつ次の操作の案内を、
動作、表情、姿勢の変化により確実に提示することが可
能である。

【００２５】第３の発明の人物動作対話システムによれ
ば、対話制御部は習熟度切り換え部内に設定している習
熟度レベルを参照し、習熟度別制御命令パターンデータ
から習熟度レベルに応じた制御命令の組み合わせを読み
出す。対話制御部は習熟度別制御命令パターンデータか
ら読み出した制御命令の組み合わせに基づいて制御命令
を出力する。制御命令の組み合わせは、習熟度レベルが
１の時は３つ全ての情報生成部へ制御命令を出力する。
この場合、計算機システムの操作に慣れていない初心者
ユーザへの詳細なメッセージ伝達用として使用する。習
熟度レベルが２の時は２つの情報生成部へ制御命令を出
力する方法を、３種類の組み合わせから選択する。習熟
度レベルが１の時は１つの情報生成部へ制御命令を出力
する方法を、３種類の組み合わせから選択する。この場
合、計算機システムの操作に慣れた熟練ユーザへの短く
待ち時間の少ないメッセージ伝達用として使用する。

【００２６】これにより、習熟度レベル１用の３つの制
御命令を用意するだけで、それらの組み合わせでユーザ
の習熟度に応じた最大７種類の制御命令の組み合わせを
提示することが可能となる。

【００２７】第４の発明の人物動作対話システムによれ
ば、対話制御部は、入力部からの入力情報と対話制御部
内に設定している入力確認情報を参照すると同時に、入
力情報の種類を特定する。

【００２８】次に対話制御部は習熟度切り換え部内に設
定している習熟度レベルを参照し、習熟度別制御命令パ
ターンデータから習熟度レベルに応じた制御命令の組み
合わせを読み出す。ここで対話制御部は、習熟度レベル
と入力情報の種類に応じて、出力する制御命令の組み合
わせを決定する。

【００２９】これにより、三段階のメッセージ全てを用
いた初心者向けの詳細なメッセージの提示や、あるいは
習熟度レベル１より簡略化したメッセージを提示しつつ
ユーザへ次の操作指示の確実な提示や、あるいは習熟度
レベル１より簡略化したメッセージを提示しつつユーザ
の実行した命令の処理状況や処理結果の確実な提示や、
習熟度レベル１より簡略化し、かつ他の組み合わせより
も簡略化したメッセージを提示することによるユーザの
待ち時間の減少や、あるいは習熟度レベル１、レベル２
より簡略化したメッセージを提示しつつユーザへ次の操
作指示の確実な提示や、あるいは習熟度レベル１、レベ
ル２より簡略化したメッセージを提示しつつユーザの実
行した命令の処理状況や処理結果の確実な提示や、ある
いは習熟度レベル１、レベル２より簡略化し、かつ他の
組み合わせよりも簡略化したメッセージを提示し、ユー
ザの待ち時間の減少を可能にする。

【００３０】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００３１】まず、本発明の第１の発明の実施の形態に
ついて図面を参照して説明する。

【００３２】図１に第１の発明である人物動作対話シス
テムの一実施の形態を構成図で示す。また、図２に、図
１に示すリアクションパターンデータ１０６内に格納し
ているパターンテーブルの例を示す。さらに図３に、状
況・機能説明パターンデータ１０７内に格納しているパ
ターンデーブルの例を示す。さらに、図４に、図１に示
す動作映像生成部１０８が動作生成命令に応じて生成す
る動作映像の対応例を示す。

【００３３】入力部１０１は、ユーザからの入力の解析
を行い、入力情報を対話制御部１０２へ出力する。

【００３４】対話制御部１０２は入力部１０１からの入
力情報が制御部１０３で実行できるかどうか判定するた
めの対話制御部１０２内の入力確認情報との照合、ま
た、入力情報の内容に基づいた制御部１０３への処理の
命令、さらに、制御部１０３の処理状況の監視、さら
に、制御部１０３からの処理結果の取得、入力部１０１
の監視、さらに、リアクション情報生成部１０４と状況
・機能説明情報生成部１０５への制御命令の出力と監視
を行う。

【００３５】対話制御部１０２が制御命令を出力するタ
イミングは、まず入力部１０１からの入力情報を入力確
認情報と照合した直後、ユーザの入力が正しく行われた
かどうかをユーザに真っ先に知らせるために、リアクシ
ョン情報生成部１０４へ図２に例示するような制御命令
を出力する。出力する制御命令は例えば、入力情報が入
力確認情報と一致した場合、制御命令として「入力成
功」という命令をリアクション情報生成部１０４へ送
る。入力情報が入力確認情報と一致しなかった場合、制
御命令として「入力失敗」という命令をリアクション情
報生成部１０４へ送る。

【００３６】次に、対話制御部１０２は、制御部１０３
の状態を参照した後、リアクション情報生成部１０４を
監視し、リアクション情報生成部１０４が出力した動作
生成命令と音声生成命令（後述）による映像と音声を出
力し終わる時間を判断し、映像と音声が出力し終わる
頃、図３に例示するような制御命令を制御部１０３の状
態に応じて状況・機能説明情報生成部へ出力する。

【００３７】さらに、対話制御部１０２は、リアクショ
ン情報生成部１０４、状況・機能説明情報生成部１０５
を監視し、動作生成命令か音声生成命令を出力している
と判断した場合、入力部１０１からの入力情報を受け付
けない。

【００３８】制御部１０３は、本発明である対話システ
ムを搭載する計算機システム全体の制御を行い、計算機
システムの状態の監視や計算機システム内のデータ検索
などを行う。

【００３９】リアクション情報生成部１０４は、対話制
御部１０２から制御命令が入力された場合、リアクショ
ンパターンデータ１０６内にある図２に例示するパター
ンテーブルを参照し、制御命令の内容に応じた動作生成
命令と音声生成命令を同時に出力する。

【００４０】状況・機能説明情報生成部１０５は、対話
制御部１０２から制御命令が入力された場合、状況・機
能説明パターンデータ１０７内にある図３に例示するパ
ターンテーブルを参照し、制御命令の内容に応じた動作
生成命令と音声生成命令を出力する。

【００４１】動作生成命令は“動作名”と“引数”で構
成し、例えばテキストデータなどで記述する。動作生成
命令は例えば「うなずき１＿０．６」の場合、図４に示
す対応例の「うなずき１」という動作映像を、動作開始
から終了まで０．６秒の長さで生成するという意味を持
つ。

【００４２】音声生成命令は“発話内容”と“引数”で
構成し、例えばテキストデータなどで記述する。音声生
成命令は例えば「わかりました＿１．２」の場合、「わ
かりました」と発話する音声を、発話開始から終了まで
１．２秒の長さで生成するという意味を持つ。また例え
ば「＿０．６」の場合、なにも音声を生成しない状態を
０．６秒間持続するという意味を持つ。

【００４３】リアクション情報生成部１０４と状況・機
能説明情報生成部１０５は、入力される制御命令にした
がって動作生成命令と音声生成命令を出力すると同時
に、映像出力部１１１と音声出力部１１２から何秒間映
像と音声を出力するかを対話制御部１０２へ伝えるため
に、動作生成命令か音声生成命令の引数の合計を対話制
御部１０２へ送る。例えば、対話制御部１０２がリアク
ション情報生成部１０４に制御命令「入力成功」を出力
した場合、リアクション情報生成部１０４は、この「入
力成功」に対する動作生成命令と音声生成命令をリアク
ションパターンデータ１０６から読み出す。本例の場合
は、図２にある動作生成命令「うなずき１＿０．６」と
「発話＿１．２」を動作映像生成部１０８に出力し、音
声生成命令「＿０．６」と「わかりました＿１．２」を
合成音声生成部１０９に出力する。さらに、動作生成命
令または音声生成命令の０．６と１．２の合計の１．８
を対話制御部１０２へ出力する。

【００４４】動作映像生成部１０８は、動作生成命令が
入力された場合、図４に例示する動作映像と動作生成命
令の対応例に示すような動作映像を生成する。動作映像
生成部１０８は、入力される動作生成命令が例えば「う
なずき１＿０．６」という場合、図４に示す動作名の
「うなずき１」という動作映像信号を、動作開始から終
了まで０．６秒の長さで生成し出力する。動作映像の生
成は、動作データ１１０内に格納している仮想人物の動
作ごとのビットマップデータ、あるいは動作ごとの三次
元ＣＧを生成するための仮想人物の三次元モデルデータ
を読みだし、仮想人物像が動作、表情、姿勢を変化させ
る映像信号を生成し、映像出力部１１１へ出力する。出
力する動作映像は例えば、図４に示すような仮想人物の
映像を出力する。ここで、動作生成命令の動作「発話」
の場合、図４の「発話」に示す一定の早さで口の開閉を
繰り返す動作を、動作生成命令の引数で指定した秒数だ
け行う。

【００４５】合成音声生成部１０９は、入力される音声
生成命令が例えば「わかりました＿１．２」という場
合、「わかりました」と発話する音声を、発話開始から
終了まで１．２秒の長さの音声信号を生成し、音声出力
部１１２へ出力する。

【００４６】映像出力部１１１は動作映像生成部１０８
からの映像信号を受けて、仮想人物が動作する映像を出
力表示する。映像出力部１１１は映像信号を入力し表示
できるようなモニタなどを用いることができる。

【００４７】音声出力部１１２は合成音声生成部１０９
からの音声信号を受けて、音声を出力する。音声出力部
１１２は合成音声出力部１０９からの音声信号を入力し
出力できるようなスピーカなどを用いることができる。

【００４８】次に、第１の発明である人物動作対話シス
テムの動作の説明を、本発明を検索システムへ適用した
場合を例として説明する。

【００４９】ユーザが計算機システムが提供している機
能の中から検索機能を利用するために、入力部１０１か
ら検索機能を選択する操作を行う。入力部１０１はユー
ザの検索機能を選択した操作を入力情報として対話制御
部１０２へ出力する。

【００５０】対話制御部１０２は入力情報を入力確認情
報と照合した結果、制御部１０３で実行可能な入力情報
であると判定し、リアクション情報生成部１０４へ制御
命令として「入力成功」を出力する。

【００５１】リアクション情報生成部１０４は制御命令
「入力成功」を受け、リアクションパターンデータ１０
６を参照し、図２に示す動作生成命令「うなずき１＿
０．６」と「発話＿１．２」を動作映像生成部１０８へ
出力し、同時に図２に示す音声生成命令「＿０．６」と
「わかりました＿１．２」を合成音声生成部１０９へ出
力する。また同時にリアクション情報生成部１０４は出
力した「うなずき１＿０．６」と「発話＿１．２」、あ
るいは「＿０．６」と「わかりました＿１．２」のどち
らかの引数の合計である１．８を映像と音声が出力し終
わる時間として、対話制御部１０２へ出力する。

【００５２】動作映像生成部１０８は、動作生成命令
「うなずき１＿０．６」を受け、図４に示す仮想人物が
０．６秒間で２回うなずく動作映像の映像信号を映像出
力部１１１へ出力し、仮想人物が２回うなずく映像を映
像出力部１１１からユーザへ出力表示する。続いて動作
映像生成部１０８は前の動作生成命令「うなずき１＿
０．６」による動作映像の映像信号を出力し終わると同
時に、動作生成命令「発話＿１．２」に基づいて、図４
に示す仮想人物が１．２秒間口の開閉を繰り返す動作映
像の映像信号を映像出力部１１１へ出力し、仮想人物が
口を開閉する映像を映像出力部１１１からユーザへ出力
表示する。

【００５３】一方、合成音声生成部１０９はリアクショ
ン情報生成部１０４からの音声生成命令「＿０．６」を
受け、０．６秒間、音声信号を音声出力部１１２へ出力
しない。続いて合成音声生成部１０９は０．６秒後、次
の音声生成命令「わかりました＿１．２」に基づいて、
「わかりました」と１．２秒の長さで発話する音声信号
を音声出力部１１２へ出力する。

【００５４】対話制御部１０２はリアクション情報生成
部１０４へ制御命令を出力した後、入力部１０１からの
ユーザの検索機能を選択操作したという入力情報から、
制御部１０３へ検索機能が実行可能な状態にする命令を
出力し制御部１０３を監視する。対話制御部１０２は、
制御部１０３の状態が検索機能が実行可能になったと判
断した場合、検索機能を選択操作したという入力情報か
ら、状況・機能説明情報生成部１０５へ制御命令「検索
機能説明２」を出力する準備をし、リアクション情報生
成部１０４が出力する映像と音声が出力し終わる時間に
合わせて、状況・機能説明情報生成部１０５へ制御命令
「検索機能説明２」を出力する。

【００５５】状況・機能説明情報生成部１０５は制御命
令「検索機能説明２」を受け、状況・機能説明パターン
データ１０７を参照し、図３に示す動作生成命令「発話
＿１．２」と「うなずき２＿１．０」を動作映像生成部
１０８へ出力し、同時に図３に示す音声生成命令「デー
タをキーワードで＿１．２」と「検索できます＿０．
６」と「＿０．４」を合成音声生成部１０９へ出力す
る。また同時に状況・機能説明情報生成部１０５は出力
した「発話＿１．２」と「うなずき２＿１．０」、ある
いは「データをキーワードで＿１．２」と「検索できま
す＿０．６」と「＿０．４」のどちらかの引数の合計で
ある２．２を映像と音声が出力し終わる時間として、対
話制御部１０２へ出力する。

【００５６】動作映像生成部１０８は、動作生成命令
「発話＿１．２」を受け、図４に示す仮想人物が１．２
秒間口の開閉を繰り返す動作映像の映像信号を映像出力
部１１１へ出力し、仮想人物が口を開閉する映像を映像
出力部１１１からユーザへ出力表示する。続いて動作映
像生成部１０８は前の動作生成命令「発話＿１．２」に
よる動作映像の映像信号を出力し終わると同時に、動作
生成命令「うなずき２＿１．０」に基づいて、１．０秒
間で図４に示す仮想人物が早く顔を下げゆっくり顔を上
げる動作映像の映像信号を映像出力部１１１へ出力し
１．０秒間で仮想人物が早く顔を下げゆっくり顔を上げ
る映像を映像出力部１１１からユーザへ出力表示する。

【００５７】一方、合成音声生成部１０９は状況・機能
説明情報生成部１０５からの音声生成命令「データをキ
ーワードで＿１．２」を受け、「データをキーワード
で」と１．２秒の長さで発話する音声信号を音声出力部
１１２へ出力する。続いて合成音声生成部１０９は次の
音声生成命令「検索できます＿０．６」に基づいて、
「検索できます」と０．６秒の長さで発話する音声信号
を音声出力部１１２へ出力する。さらに続いて合成音声
生成部１０９は次の音声生成命令「＿０．４」に基づい
て、０．４秒間、音声信号を音声出力部１１２へ出力し
ない。

【００５８】これにより、ユーザが入力した際、制御部
１０３に処理をさせる前に、映像出力部１１１と音声出
力部１１２から例えば、仮想人物が発話しないで２回う
なずき、「わかりました」と言いながら口の開閉を繰り
返す映像と音声を提示し、ユーザの入力が正しく行われ
たかどうかをユーザに伝達することを可能にする。この
ことによって、ユーザは、自分が行ったシステムへの操
作が正しいかったかどうかを、システム（本例では、検
索システム）の動作前に仮想人物の映像と音声により容
易に知ることができる。よって、ユーザの入力がシステ
ムが理解できる命令かどうかを即座に判断できる。次
に、例えば仮想人物が「データをキーワードで入力でき
ます」と言いながら口の開閉を繰り返し、発話の最後で
うなずく動作をする映像と動作音声を提示し、制御部１
０３が提供できる機能をユーザに伝達することを可能に
する。

【００５９】次に本発明の第２の発明の実施の形態につ
いて図面を参照して説明する。また、第１の発明と同様
な機能をもつ構成には、第１の発明の説明と同一番号を
付してある。

【００６０】図５に第２の発明である人物動作対話シス
テムの一実施の形態を構成図で示す。また、図６に、図
５に示す入力指示パターンデータ２０２内に格納してい
るパターンテーブルの例を示す。

【００６１】対話制御部１０２は入力部１０１からの入
力情報が制御部１０３で実行できるかどうか判定するた
めの対話制御部１０２内の入力確認情報との照合、ま
た、入力情報の内容に基づいた制御部１０３への処理の
命令、さらに、制御部１０３の処理状況の監視、さら
に、制御部１０３からの処理結果の取得、入力部１０１
の監視、さらに、リアクション情報生成部１０４と状況
・機能説明情報生成部１０５、入力指示情報生成部２０
１への制御命令の出力と監視を行う。

【００６２】対話制御部１０２が制御命令を出力するタ
イミングは、前述のリアクション情報生成部１０４と状
況・機能説明情報生成部１０５への制御命令を出力した
後、状況・機能説明情報生成部１０５を監視し、状況・
機能説明情報生成部１０５が出力した動作生成命令と音
声生成命令による映像と音声を出力し終わる時間を判断
し、映像と音声が出力し終わる頃、図６に例示するよう
な制御命令を制御部１０３の状態に応じて入力指示情報
生成部２０１へ出力する。

【００６３】また、対話制御部１０２が入力指示情報生
成部２０１へ出力する制御命令は状況・機能説明情報生
成部１０５へ出力した制御命令の内容に基づいて出力す
る。

【００６４】さらに対話制御部１０２は、リアクション
情報生成部１０４、状況・機能説明情報生成部１０５と
同様に、入力指示情報生成部２０１を監視し、動作生成
命令か音声生成命令を出力していると判断した場合、入
力部１０１からの入力情報を受け付けない。

【００６５】入力指示情報生成部２０１は、対話制御部
１０２から制御命令が入力された場合、入力指示パター
ンデータ２０２内にある図６に例示するパターンテーブ
ルを参照し、制御命令の内容に応じた動作生成命令と音
声生成命令を出力する。

【００６６】入力指示情報生成部２０１は、前述のリア
クション情報生成部１０４と状況・機能説明情報生成部
１０５と同様に、入力される制御命令にしたがって動作
生成命令と音声生成命令を出力すると同時に、映像出力
部１１１と音声出力部１１２から何秒間映像と音声を出
力するかを対話制御部１０２へ伝えるために、動作生成
命令か音声生成命令の引数の合計を対話制御部１０２へ
送る。例えば、対話制御部１０２が入力指示情報生成部
２０１へ制御命令「機能選択」を出力した場合、入力指
示情報生成部２０１は動作生成命令「発話＿１．０」と
「指示１＿２．０」を順に出力する。この場合、１．０
と２．０の合計の３．０を対話制御部１０２へ出力す
る。

【００６７】次に、第２の発明である人物動作対話シス
テムの動作の説明を、本発明を検索システムへ適用した
場合を例として説明する。

【００６８】ユーザが計算機システムが提供している機
能の中から検索機能を利用するために、入力部１０１か
ら検索機能を選択する操作を行う。入力部１０１はユー
ザの検索機能を選択した操作を入力情報として対話制御
部１０２へ出力する。

【００６９】対話制御部１０２は入力情報を入力確認情
報と照合した結果、制御部１０３で実行可能な入力情報
であると判定し、リアクション情報生成部１０４へ制御
命令として「入力成功」を出力する。

【００７０】リアクション情報生成部１０４は制御命令
「入力成功」を受け、リアクションパターンデータ１０
６を参照し、図２に示す動作生成命令「うなずき１＿
０．６」と「発話＿１．２」を動作映像生成部１０８へ
出力し、同時に図２に示す音声生成命令「＿０．６」と
「わかりました＿１．２」を合成音声生成部１０９へ出
力する。また同時にリアクション情報生成部１０４は出
力した「うなずき１＿０．６」と「発話＿１．２」、あ
るいは「＿０．６」と「わかりました＿１．２」のどち
らかの引数の合計である１．８を映像と音声が出力し終
わる時間として、対話制御部１０２へ出力する。

【００７１】動作映像生成部１０８は、動作生成命令
「うなずき１＿０．６」を受け、図４に示す仮想人物が
０．６秒間で２回うなずく動作映像の映像信号を映像出
力部１１１へ出力し、仮想人物が２回うなずく映像を映
像出力部１１１からユーザへ出力表示する。続いて動作
映像生成部１０８は前の動作生成命令「うなずき１＿
０．６」による動作映像の映像信号を出力し終わると同
時に、動作生成命令「発話＿１．２」に基づいて、図４
に示す仮想人物が１．２秒間口の開閉を繰り返す動作映
像の映像信号を映像出力部１１１へ出力し、仮想人物が
口を開閉する映像を映像出力部１１１からユーザへ出力
表示する。

【００７２】一方、合成音声生成部１０９はリアクショ
ン情報生成部１０４からの音声生成命令「＿０．６」を
受け、０．６秒間、音声信号を音声出力部１１２へ出力
しない。続いて合成音声生成部１０９は０．６秒後、次
の音声生成命令「わかりました＿１．２」に基づいて、
「わかりました」と１．２秒の長さで発話する音声信号
を音声出力部１１２へ出力する。

【００７３】対話制御部１０２はリアクション情報生成
部１０４へ制御命令を出力した後、入力部１０１からの
ユーザの検索機能を選択操作したという入力情報から、
制御部１０３へ検索機能が実行可能な状態にする命令を
出力し制御部１０３を監視する。対話制御部１０２は、
制御部１０３の状態が検索機能が実行可能になったと判
断した場合、検索機能を選択操作したという入力情報か
ら、状況・機能説明情報生成部１０５へ制御命令「検索
機能説明２」を出力する準備をし、リアクション情報生
成部１０４が出力する映像と音声が出力し終わる時間に
合わせて、状況・機能説明情報生成部１０５へ制御命令
「検索機能説明２」を出力する。

【００７４】状況・機能説明情報生成部１０５は制御命
令「検索機能説明２」を受け、状況・機能説明パターン
データ１０７を参照し、図３に示す動作生成命令「発話
＿１．２」と「うなずき２＿１．０」を動作映像生成部
１０８へ出力し、同時に図３に示す音声生成命令「デー
タをキーワードで＿１．２」と「検索できます＿０．
６」と「＿０．４」を合成音声生成部１０９へ出力す
る。また同時に状況・機能説明情報生成部１０５は出力
した「発話＿１．２」と「うなずき２＿１．０」、ある
いは「データをキーワードで＿１．２」と「検索できま
す＿０．６」と「＿０．４」のどちらかの引数の合計で
ある２．２を映像と音声が出力し終わる時間として、対
話制御部１０２へ出力する。

【００７５】動作映像生成部１０８は、動作生成命令
「発話＿１．２」を受け、図４に示す仮想人物が１．２
秒間口の開閉を繰り返す動作映像の映像信号を映像出力
部１１１へ出力し、仮想人物が口を開閉する映像を映像
出力部１１１からユーザへ出力表示する。続いて動作映
像生成部１０８は前の動作生成命令「発話＿１．２」に
よる動作映像の映像信号を出力し終わると同時に、動作
生成命令「うなずき２＿１．０」に基づいて、１．０秒
間で図４に示す仮想人物が早く顔を下げゆっくり顔を上
げる動作映像の映像信号を映像出力部１１１へ出力し
１．０秒間で仮想人物が早く顔を下げゆっくり顔を上げ
る映像を映像出力部１１１からユーザへ出力表示する。

【００７６】一方、合成音声生成部１０９は状況・機能
説明情報生成部１０５からの音声生成命令「データをキ
ーワードで＿１．２」を受け、「データをキーワード
で」と１．２秒の長さで発話する音声信号を音声出力部
１１２へ出力する。続いて合成音声生成部１０９は次の
音声生成命令「検索できます＿０．６」に基づいて、
「検索できます」と０．６秒の長さで発話する音声信号
を音声出力部１１２へ出力する。さらに続いて合成音声
生成部１０９は次の音声生成命令「＿０．４」に基づい
て、０．４秒間、音声信号を音声出力部１１２へ出力し
ない。

【００７７】対話制御部１０２は状況・機能説明情報生
成部１０５へ制御命令を出力した後、出力した制御命令
から入力指示情報生成部２０１へ制御命令を出力する。
この場合、検索機能を選択操作したという入力情報か
ら、検索機能の操作をユーザに促すように入力指示情報
生成部２０１へ制御命令「キーワード入力」を出力する
準備をし、状況・機能説明情報生成部１０５が出力する
映像と音声が出力し終わる時間に合わせて、入力指示情
報生成部２０１へ制御命令「キーワード入力」を出力す
る。

【００７８】入力指示情報生成部２０１は制御命令「キ
ーワード入力」を受け、入力指示パターンデータ２０２
を参照し、図６に示す動作生成命令「発話＿１．０」と
「指示１＿２．０」を動作映像生成部１０８へ出力し、
同時に図６に示す音声生成命令「データの分類名を＿
１．０」と「入力して下さい＿０．８」と「＿１．２」
を合成音声生成部１０９へ出力する。

【００７９】また同時に入力指示情報生成部２０１は出
力した「発話＿１．０」と「指示１＿２．０」、あるい
は「データの分類名を＿１．０」と「入力して下さい＿
０．８」と「＿１．２」のどちらかの引数の合計である
３．０を映像と音声が出力し終わる時間として、対話制
御部１０２へ出力する。

【００８０】動作映像生成部１０８は、動作生成命令
「発話＿１．０」を受け、図４に示す仮想人物が１．０
秒間口の開閉を繰り返す動作映像の映像信号を映像出力
部１１１へ出力し、仮想人物が口を開閉する映像を映像
出力部１１１からユーザへ出力表示する。続いて動作映
像生成部１０８は前の動作生成命令「発話＿１．０」に
よる動作映像の映像信号を出力し終わると同時に、動作
生成命令「指示１＿２．０」に基づいて、２．０秒間で
図４に示す仮想人物が口を開閉しながら手を横方向へ差
し示し、口を閉じながら手を戻す動作映像の映像信号を
映像出力部１１１へ出力し２．０秒間で仮想人物が２．
０秒間で図４に示す仮想人物が口を開閉しながら手を横
方向へ差し示し、口を閉じながら手を戻す映像を映像出
力部１１１からユーザへ出力表示する。

【００８１】一方、合成音声生成部１０９は入力指示情
報生成部２０１からの音声生成命令「データの分類名を
＿１．０」を受け、「データの分類名を」と１．０秒の
長さで発話する音声信号を音声出力部１１２へ出力す
る。続いて合成音声生成部１０９は次の音声生成命令
「入力してください＿０．８」に基づいて、「入力して
ください」と０．８秒の長さで発話する音声信号を音声
出力部１１２へ出力する。さらに続いて合成音声生成部
１０９は次の音声生成命令「＿１．２」に基づいて、
１．２秒間、音声信号を音声出力部１１２へ出力しな
い。

【００８２】これにより、ユーザが入力した際、制御部
１０３に処理をさせる前に、映像出力部１１１と音声出
力部１１２から例えば、仮想人物が発話しないで２回う
なずき、「わかりました」と言いながら口の開閉を繰り
返す映像と音声を提示し、ユーザの入力が正しく行われ
たかどうかをユーザに伝達することを可能にする。続い
て、例えば仮想人物が「データをキーワードで入力でき
ます」と言いながら口の開閉を繰り返し、発話の最後で
うなずく動作をする映像と動作音声を提示し、制御部１
０３が提供できる機能をユーザに伝達することを可能に
する。さらに、例えば仮想人物が「データの分類名を入
力してください」と言いながら口の開閉を繰り返し、テ
キスト入力領域やマイクなどの入力手段を説明した画像
などの、画面の表示を差し示す動作を行い、次の入力手
段を伝えることを可能にする。

【００８３】次に本発明の第３の発明の実施の形態につ
いて図面を参照して説明する。また、第１の発明および
第２の発明の説明と同様な機能をもつ構成には、第１の
発明および第２の発明の説明と同一番号を付してある。

【００８４】図７に第３の発明である人物動作対話シス
テムの一実施の形態を構成図で示す。また、図８に、図
７に示す習熟度別制御命令パターンデータ３０２内に格
納しているパターンテーブルの例を示す。

【００８５】対話制御部１０２は入力部１０１からの入
力情報が制御部１０３で実行できるかどうか判定するた
めの対話制御部１０２内の入力確認情報との照合、ま
た、入力情報の内容に基づいた制御部１０３への処理の
命令、さらに、制御部１０３の処理状況の監視、さら
に、制御部１０３からの処理結果の取得、さらに、入力
部１０１の監視、さらに、リアクション情報生成部１０
４と状況・機能説明情報生成部１０５、入力指示情報生
成部２０１への制御命令の出力と監視、さらに、習熟度
切り換え部３０１内に設定している習熟度レベルの参照
と、習熟度別制御命令パターンデータ３０２からの習熟
度レベルに応じた制御命令の出力組み合わせを読み出
し、制御命令の出力組み合わせに応じた制御命令の出力
を行う。

【００８６】習熟度切り換え部３０１は内部に習熟度レ
ベルを表わす情報を保持する。習熟度レベルはユーザや
計算機システム設計者、あるいは対話制御部１０２によ
り値を上下する。本実施の形態では習熟度レベルを１〜
３の３段階に設定している。

【００８７】次に、第３の発明である人物動作対話シス
テムの動作の説明を、本発明を検索システムへ適用した
場合を例として説明する。

【００８８】ユーザが計算機システムが提供している機
能の中から検索機能を利用するために、入力部１０１か
ら検索機能を選択する操作を行う。入力部１０１はユー
ザの検索機能を選択した操作を入力情報として対話制御
部１０２へ出力する。

【００８９】対話制御部１０２は入力情報を受けた際、
習熟度切り換え部３０１内に設定している習熟度レベル
を参照し、習熟度別制御命令パターンデータ３０２から
習熟度レベルに応じた制御命令の出力組み合わせパター
ンを読み出す。例えば習熟度レベルが２であった場合、
図８に例示する３種類ある制御命令の出力組み合わせの
中から、例えば、リアクションと入力指示の組み合わせ
を選択し、制御命令をリアクション情報生成部１０４と
入力指示情報生成部２０１だけに出力する。この習熟度
レベルの設定と制御命令の出力組み合わせパターンの設
定は、ユーザが入力部を介して習熟度切り替え部３０１
を変更してもよいし、過去のユーザの操作履歴から習熟
度レベルを変化させる方法などが考えれられる。

【００９０】対話制御部１０２は入力情報を入力確認情
報と照合した結果、制御部１０３で実行可能な入力情報
であると判定し、リアクション情報生成部１０４へ制御
命令として「入力成功」を出力する。

【００９１】リアクション情報生成部１０４は制御命令
「入力成功」を受け、リアクションパターンデータ１０
６を参照し、図２に示す動作生成命令「うなずき１＿
０．６」と「発話＿１．２」を動作映像生成部１０８へ
出力し、同時に図２に示す音声生成命令「＿０．６」と
「わかりました＿１．２」を合成音声生成部１０９へ出
力する。また同時にリアクション情報生成部１０４は出
力した「うなずき１＿０．６」と「発話＿１．２」、あ
るいは「＿０．６」と「わかりました＿１．２」のどち
らかの引数の合計である１．８を映像と音声が出力し終
わる時間として、対話制御部１０２へ出力する。

【００９２】動作映像生成部１０８は、動作生成命令
「うなずき１＿０．６」を受け、図４に示す仮想人物が
０．６秒間で２回うなずく動作映像の映像信号を映像出
力部１１１へ出力し、仮想人物が２回うなずく映像を映
像出力部１１１からユーザへ出力表示する。続いて動作
映像生成部１０８は前の動作生成命令「うなずき１＿
０．６」による動作映像の映像信号を出力し終わると同
時に、動作生成命令「発話＿１．２」に基づいて、図４
に示す仮想人物が１．２秒間口の開閉を繰り返す動作映
像の映像信号を映像出力部１１１へ出力し、仮想人物が
口を開閉する映像を映像出力部１１１からユーザへ出力
表示する。

【００９３】一方、合成音声生成部１０９はリアクショ
ン情報生成部１０４からの音声生成命令「＿０．６」を
受け、０．６秒間、音声信号を音声出力部１１２へ出力
しない。続いて合成音声生成部１０９は０．６秒後、次
の音声生成命令「わかりました＿１．２」に基づいて、
「わかりました」と１．２秒の長さで発話する音声信号
を音声出力部１１２へ出力する。

【００９４】対話制御部１０２はリアクション情報生成
部１０４へ制御命令を出力した後、出力した制御命令か
ら入力指示情報生成部２０１へ制御命令を出力する。こ
の場合、検索機能を選択操作したという入力情報から、
検索機能の操作をユーザに促すように入力指示情報生成
部２０１へ制御命令「キーワード入力」を出力する準備
をし、リアクション情報生成部１０４が出力する映像と
音声が出力し終わる時間に合わせて、入力指示情報生成
部２０１へ制御命令「キーワード入力」を出力する。

【００９５】入力指示情報生成部２０１は制御命令「キ
ーワード入力」を受け、入力指示パターンデータ２０２
を参照し、図６に示す動作生成命令「発話＿１．０」と
「指示１＿２．０」を動作映像生成部１０８へ出力し、
同時に図６に示す音声生成命令「データの分類名を＿
１．０」と「入力して下さい＿０．８」と「＿１．２」
を合成音声生成部１０９へ出力する。また同時に入力指
示情報生成部２０１は出力した「発話＿１．０」と「指
示１＿２．０」、あるいは「データの分類名を＿１．
０」と「入力して下さい＿０．８」と「＿１．２」のど
ちらかの引数の合計である３．０を映像と音声が出力し
終わる時間として、対話制御部１０２へ出力する。

【００９６】動作映像生成部１０８は、動作生成命令
「発話＿１．０」を受け、図４に示す仮想人物が１．０
秒間口の開閉を繰り返す動作映像の映像信号を映像出力
部１１１へ出力し、仮想人物が口を開閉する映像を映像
出力部１１１からユーザへ出力表示する。続いて動作映
像生成部１０８は前の動作生成命令「発話＿１．０」に
よる動作映像の映像信号を出力し終わると同時に、動作
生成命令「指示１＿２．０」に基づいて、２．０秒間で
図４に示す仮想人物が口を開閉しながら手を横方向へ差
し示し、口を閉じながら手を戻す動作映像の映像信号を
映像出力部１１１へ出力し２．０秒間で仮想人物が２．
０秒間で図４に示す仮想人物が口を開閉しながら手を横
方向へ差し示し、口を閉じながら手を戻す映像を映像出
力部１１１からユーザへ出力表示する。

【００９７】一方、合成音声生成部１０９は入力指示情
報生成部２０１からの音声生成命令「データの分類名を
＿１．０」を受け、「データの分類名を」と１．０秒の
長さで発話する音声信号を音声出力部１１２へ出力す
る。続いて合成音声生成部１０９は次の音声生成命令
「入力してください＿０．８」に基づいて、「入力して
ください」と０．８秒の長さで発話する音声信号を音声
出力部１１２へ出力する。さらに続いて合成音声生成部
１０９は次の音声生成命令「＿１．２」に基づいて、
１．２秒間、音声信号を音声出力部１１２へ出力しな
い。

【００９８】これにより、ユーザが入力した際、制御部
１０３に処理をさせる前に、映像出力部１１１と音声出
力部１１２から仮想人物が発話しないで２回うなずき、
「わかりました」と言いながら口の開閉を繰り返す映像
と音声を提示し、ユーザの入力が正しく行われたかどう
かをユーザに伝達することを可能にする。続いて仮想人
物が「データをキーワードで入力できます」と言いなが
ら口の開閉を繰り返し、発話の最後でうなずく動作をす
る映像と動作音声を提示し、制御部１０３が提供できる
機能をユーザに伝達することを可能にする。さらに仮想
人物が「データの分類名を入力してください」と言いな
がら口の開閉を繰り返し、テキスト入力領域やマイクな
どの入力手段を説明した画像などの、画面の表示を差し
示す動作を行い、次の入力手段を伝える。

【００９９】また、本実施の形態の説明においては、習
熟度レベルが２の場合のリアクションと入力指示の場合
の組み合わせについて説明したが、それ以外の組み合わ
せについても同様である。よって、本発明の第３の発明
においては、ユーザが入力した際、習熟度レベルに応じ
てユーザに提示するメッセージの組み合わせを変えるの
で、計算機システムの操作に慣れた熟練ユーザへの短く
待ち時間の少ないメッセージ伝達を可能にし、計算機シ
ステムの操作に不慣れなユーザには、より詳しいメッセ
ージ伝達を行うことが可能である。

【０１００】次に本発明の第４の発明の実施の形態につ
いて図面を参照して説明する。また、第１の発明、第２
の発明、及び、第３の発明と同様な機能をもつ構成に
は、第１の発明、第２の発明、及び、第３の発明の説明
と同一番号を付してある。

【０１０１】図９、図１０、図１１に、図７に示す習熟
度別制御命令パターンデータ３０２内に格納しているパ
ターンテーブルの例を示す。図９は、入力情報を「機能
の選択」と特定した場合の、習熟度レベルに応じた制御
命令の出力組み合わせパターンテーブルの例である。図
１０は、入力情報を「機能の実行」と特定した場合の、
習熟度レベルに応じた制御命令の出力組み合わせパター
ンテーブルの例である。図１１は、入力情報を「エラ
ー」と特定した場合の、習熟度レベルに応じた制御命令
の出力組み合わせパターンテーブルの例である。

【０１０２】対話制御部１０２は入力部１０１からの入
力情報を「機能の選択」「機能の実行」「エラー」の三
種類から特定する入力特定情報との照合、また、入力情
報を入力確認情報と照合、さらに、入力情報の内容に基
づいた制御部１０３への処理の命令、さらに、制御部１
０３の処理状況の監視、さらに、制御部１０３からの処
理結果の取得、さらに、リアクション情報生成部１０４
と状況・機能説明情報生成部１０５、入力指示情報生成
部２０１への制御命令の出力と監視、さらに、習熟度切
り換え部３０１内に設定している習熟度レベルの参照
と、習熟度レベルと入力情報の特定に基づいた制御命令
の出力組み合わせの読み出し、制御命令の出力組み合わ
せに応じた制御命令の出力を行う。

【０１０３】次に、第４の発明である人物動作対話シス
テムの動作の説明を、本発明を検索システムへ適用した
場合を例として説明する。

【０１０４】ユーザが計算機システムが提供している機
能の中から検索機能を利用するために、入力部１０１か
ら検索機能を選択する操作を行う。入力部１０１はユー
ザの検索機能を選択した操作を入力情報として対話制御
部１０２へ出力する。

【０１０５】対話制御部１０２は入力情報を受けた際、
検索機能を選択操作したことを表わす入力情報を入力特
定情報と照合し入力情報の種類を「機能の選択」と特定
する。

【０１０６】対話制御部１０２は、入力情報の種類の特
定を行った後、習熟度切り換え部３０１内に設定してい
る習熟度レベルを参照し、習熟度別制御命令パターンデ
ータ３０２から習熟度レベルに応じた制御命令の出力組
み合わせパターンを読み出す。ここで対話制御部１０２
は特定した入力情報の種類「機能の選択」から、習熟度
別制御命令パターンデータ３０２内のパターンテーブル
を図９に示すパターンテーブルを使用する。

【０１０７】例えば習熟度レベルが２であった場合、図
９に例示するパターンテーブルの２種類ある制御命令の
出力組み合わせの中から、例えば、リアクションと入力
指示の組み合わせを選択し、制御命令をリアクション情
報生成部１０４と入力指示情報生成部２０１だけに出力
する。この習熟度レベルの選択や、２種類ある制御命令
の出力組み合わせの選択は、第３の発明と同様、ユーザ
が入力部を介して習熟度切り替え部３０１を変更しても
よいし、過去のユーザの操作履歴から習熟度レベルを変
化させる方法などが考えれられる。

【０１０８】対話制御部１０２は入力情報を入力確認情
報と照合した結果、制御部１０３で実行可能な入力情報
であると判定し、リアクション情報生成部１０４へ制御
命令として「入力成功」を出力する。

【０１０９】リアクション情報生成部１０４は制御命令
「入力成功」を受け、リアクションパターンデータ１０
６を参照し、図２に示す動作生成命令「うなずき１＿
０．６」と「発話＿１．２」を動作映像生成部１０８へ
出力し、同時に図２に示す音声生成命令「＿０．６」と
「わかりました＿１．２」を合成音声生成部１０９へ出
力する。また同時にリアクション情報生成部１０４は出
力した「うなずき１＿０．６」と「発話＿１．２」、あ
るいは「＿０．６」と「わかりました＿１．２」のどち
らかの引数の合計である１．８を映像と音声が出力し終
わる時間として、対話制御部１０２へ出力する。

【０１１０】動作映像生成部１０８は、動作生成命令
「うなずき１＿０．６」を受け、図４に示す仮想人物が
０．６秒間で２回うなずく動作映像の映像信号を映像出
力部１１１へ出力し、仮想人物が２回うなずく映像を映
像出力部１１１からユーザへ出力表示する。続いて動作
映像生成部１０８は前の動作生成命令「うなずき１＿
０．６」による動作映像の映像信号を出力し終わると同
時に、動作生成命令「発話＿１．２」に基づいて、図４
に示す仮想人物が１．２秒間口の開閉を繰り返す動作映
像の映像信号を映像出力部１１１へ出力し、仮想人物が
口を開閉する映像を映像出力部１１１からユーザへ出力
表示する。

【０１１１】一方、合成音声生成部１０９はリアクショ
ン情報生成部１０４からの音声生成命令「＿０．６」を
受け、０．６秒間、音声信号を音声出力部１１２へ出力
しない。続いて合成音声生成部１０９は０．６秒後、次
の音声生成命令「わかりました＿１．２」に基づいて、
「わかりました」と１．２秒の長さで発話する音声信号
を音声出力部１１２へ出力する。

【０１１２】対話制御部１０２はリアクション情報生成
部１０４へ制御命令を出力した後、出力した制御命令か
ら入力指示情報生成部２０１へ制御命令を出力する。こ
の場合、検索機能を選択操作したという入力情報から、
検索機能の操作をユーザに促すように入力指示情報生成
部２０１へ制御命令「キーワード入力」を出力する準備
をし、リアクション情報生成部１０４が出力する映像と
音声が出力し終わる時間に合わせて、入力指示情報生成
部２０１へ制御命令「キーワード入力」を出力する。

【０１１３】入力指示情報生成部２０１は制御命令「キ
ーワード入力」を受け、入力指示パターンデータ２０２
を参照し、図６に示す動作生成命令「発話＿１．０」と
「指示１＿２．０」を動作映像生成部１０８へ出力し、
同時に図６に示す音声生成命令「データの分類名を＿
１．０」と「入力して下さい＿０．８」と「＿１．２」
を合成音声生成部１０９へ出力する。

【０１１４】また同時に入力指示情報生成部２０１は出
力した「発話＿１．０」と「指示１＿２．０」、あるい
は「データの分類名を＿１．０」と「入力して下さい＿
０．８」と「＿１．２」のどちらかの引数の合計である
３．０を映像と音声が出力し終わる時間として、対話制
御部１０２へ出力する。

【０１１５】動作映像生成部１０８は、動作生成命令
「発話＿１．０」を受け、図４に示す仮想人物が１．０
秒間口の開閉を繰り返す動作映像の映像信号を映像出力
部１１１へ出力し、仮想人物が口を開閉する映像を映像
出力部１１１からユーザへ出力表示する。続いて動作映
像生成部１０８は前の動作生成命令「発話＿１．０」に
よる動作映像の映像信号を出力し終わると同時に、動作
生成命令「指示１＿２．０」に基づいて、２．０秒間で
図４に示す仮想人物が口を開閉しながら手を横方向へ差
し示し、口を閉じながら手を戻す動作映像の映像信号を
映像出力部１１１へ出力し２．０秒間で仮想人物が２．
０秒間で図４に示す仮想人物が口を開閉しながら手を横
方向へ差し示し、口を閉じながら手を戻す映像を映像出
力部１１１からユーザへ出力表示する。

【０１１６】一方、合成音声生成部１０９は入力指示情
報生成部２０１からの音声生成命令「データの分類名を
＿１．０」を受け、「データの分類名を」と１．０秒の
長さで発話する音声信号を音声出力部１１２へ出力す
る。続いて合成音声生成部１０９は次の音声生成命令
「入力してください＿０．８」に基づいて、「入力して
ください」と０．８秒の長さで発話する音声信号を音声
出力部１１２へ出力する。さらに続いて合成音声生成部
１０９は次の音声生成命令「＿１．２」に基づいて、
１．２秒間、音声信号を音声出力部１１２へ出力しな
い。

【０１１７】これにより、ユーザが入力した際、制御部
１０３に処理をさせる前に、映像出力部１１１と音声出
力部１１２から仮想人物が発話しないで２回うなずき、
「わかりました」と言いながら口の開閉を繰り返す映像
と音声を提示し、ユーザの入力が正しく行われたかどう
かをユーザに伝達することを可能にする。続いて仮想人
物が「データをキーワードで入力できます」と言いなが
ら口の開閉を繰り返し、発話の最後でうなずく動作をす
る映像と動作音声を提示し、制御部１０３が提供できる
機能をユーザに伝達することを可能にする。さらに仮想
人物が「データの分類名を入力してください」と言いな
がら口の開閉を繰り返し、テキスト入力領域やマイクな
どの入力手段を説明した画像などの、画面の表示を差し
示す動作を行い、次の入力手段を伝える。

【０１１８】これにより、ユーザが入力した際、習熟度
レベルに応じてユーザに提示するメッセージの組み合わ
せを変える時、ユーザの入力の種類に応じて適当な組み
合わせを提示することを可能にする。

【０１１９】

【発明の効果】以上説明したように本発明の、第１、第
２の発明によれば、ユーザの入力に対する動作、表情、
姿勢といったノンバーバル情報を含んだメッセージを、
「リアクション情報」「機能・状況説明情報」「入力指
示情報」と三段階に分割してユーザに確実に提示するこ
とによって、ユーザの理解を助け、無駄な待ち時間を減
少する事を可能にする。

【０１２０】かつ、第３の発明によれば、これら三段階
のメッセージの組み合わせ方により、ユーザの習熟度に
応じたメッセージの提示を変え、本実施の形態の説明に
おいては、最大７通りのメッセージの提示しつつユーザ
の無駄な待ち時間の減少を可能する。

【０１２１】さらに、第４の発明によれば、習熟度ごと
に提示するメッセージの組み合わせを、ユーザの入力内
容を反映することによって、ユーザの習熟度に応じたメ
ッセージの提示する長さの違う、ユーザの入力に応じた
適当なメッセージの組み合わせを伝達することを可能に
する。

【図面の簡単な説明】

【図１】本発明の第１の発明である人物動作対話システ
ムの構成の一実施の形態を示す構成図である。

【図２】本発明のリアクションパターンデータ内に格納
しているパターンテーブルの一例を示す図である。

【図３】本発明の状況・機能説明パターンデータ内に格
納しているパターンテーブルの一例を示す図である。

【図４】本発明の動作映像生成部が動作生成命令に応じ
て生成する動作映像の対応例を示す図である。

【図５】本発明の第２の発明である人物動作対話システ
ムの構成の一実施の形態を示す構成図である。

【図６】本発明の入力指示パターンデータ内に格納して
いるパターンテーブルの一例を示す図である。

【図７】本発明の第３の発明、及び第４の発明である人
物動作対話システムの構成の一実施の形態を示す構成図
である。

【図８】本発明の第３の発明の習熟度別制御命令パター
ンデータ内に格納しているパターンテーブルの一例を示
す図である。

【図９】本発明の第４の発明の習熟度別制御命令パター
ンデータ内に格納しているパターンテーブルの一例を示
す図である。

【図１０】本発明の第４の発明の習熟度別制御命令パタ
ーンデータ内に格納しているパターンテーブルの他の一
例を示す図である。

【図１１】本発明の第４の発明の習熟度別制御命令パタ
ーンデータ内に格納しているパターンテーブルの他の一
例を示す図である。

【符号の説明】

１０１ 入力部 １０２ 対話制御部 １０３ 制御部 １０４ リアクション情報生成部 １０５ 状況・機能説明情報生成部 １０６ リアクションパターンデータ １０７ 状況・機能説明パターンデータ １０８ 動作映像生成部 １０９ 合成音声生成部 １１０ 動作データ １１１ 映像出力部 １１２ 音声出力部 ２０１ 入力指示情報生成部 ２０２ 入力指示パターンデータ ３０１ 習熟度切り換え部 ３０２ 習熟度別制御命令パターンデータ

Claims (12)

【特許請求の範囲】
1. 【請求項１】ユーザと計算機システムとの対話を円滑に
   行うために、ノンバーバル情報をユーザに提示し、該計
   算機システムとの対話を支援する人物動作対話システム
   において、 まず初めに、ユーザの入力が該計算機システムにとって
   正しい入力であるかどうかを判断して、前記判断の結果
   をノンバーバル情報を用いてユーザに提示し、次に、ユ
   ーザの入力によって動作する該計算機システムの処理の
   状況と、該計算機システムがもつ機能についてノンバー
   バル情報を用いてユーザに提示することを特徴とする人
   物動作対話システム。
2. 【請求項２】ユーザと計算機システムとの対話を円滑に
   行うために、仮想人物を生成してユーザに提示し、該仮
   想人物の動作、表情、姿勢などの変化によって該計算機
   システムとの対話を支援するシステムであって、ユーザ
   から該計算機システムへの命令の入力を受け付け、入力
   情報として出力する入力部と、該仮想人物の動作データ
   に基づき、前記仮想人物の動作、表情、姿勢などが変化
   する映像を生成し映像信号を出力する動作映像生成部
   と、前記映像信号を出力表示する映像出力部を少なくと
   も備える人物動作対話システムにおいて、 前記入力情報に基づいて、ユーザの入力が該計算機シス
   テムにおいて正しい入力であるかどうかを伝達するため
   の第１の制御命令と、ユーザの入力した命令の該計算機
   システムの実行状況や該計算機システムが提供する機能
   を伝達するための第２の制御命令を出力する対話制御部
   と、 前記動作映像生成部が映像を生成するため、前記入力が
   正しい入力であるかどうかを判断できる映像の生成命令
   を複数保持したリアクションパターンデータと、 前記第１の制御命令の内容に基づいて、ユーザの入力が
   正しい入力かどうかを伝達するために、仮想人物の映像
   の生成命令を前記リアクションパターンデータから読み
   出し、前記動作映像生成部に出力するリアクション情報
   生成部と、 前記動作映像生成部が映像を生成するため、ユーザが入
   力した命令に対する該計算機システムの実行状況と、該
   計算機システムが提供する機能を伝達するための映像の
   生成命令を複数保持した状況・機能説明パターンデータ
   と、 前記第２の制御命令の内容に基づいて、前記実行状況と
   前記提供する機能を伝達するために、仮想人物の映像の
   生成命令を前記状況・機能説明パターンデータから読み
   出し、前記動作映像生成部に出力する状況・機能説明情
   報生成部とを備え、 前記動作映像生成部が、まず初めに、前記リアクション
   情報生成部からの映像の生成命令に基づき、ユーザの入
   力が正しい入力であるかどうかの仮想人物の映像を生成
   して前記映像出力部に出力し、次に、前記状況・機能説
   明情報生成部からの映像の生成命令に基づき、ユーザの
   入力した命令に基づく該計算機システムの実行状況と該
   計算機システムが提供する機能を説明する仮想人物の映
   像を生成して前記映像出力部に出力することを特徴とす
   る人物動作対話システム。
3. 【請求項３】ユーザと計算機システムとの対話を円滑に
   行うために、仮想人物を生成してユーザに提示し、該仮
   想人物の動作、表情、姿勢などの変化によって該計算機
   システムとの対話を支援するシステムであって、ユーザ
   の該計算機システムへの命令の入力を受け付け、入力情
   報として出力する入力部と、該仮想人物の動作データに
   基づき、前記仮想人物の動作、表情、姿勢などが変化す
   る映像を生成し映像信号を出力する動作映像生成部と、
   前記映像信号を出力表示する映像出力部と、前記動作映
   像生成部が生成する映像に併せて音声信号を出力する合
   成音声生成部と、前記音声信号を出力する音声出力部と
   を少なくとも備える人物動作対話システムにおいて、 前記入力情報に基づいて、ユーザの入力が該計算機シス
   テムにおいて正しい入力であるかどうかを伝達するため
   の第１の制御命令と、ユーザの入力した命令の該計算機
   システムの実行状況や該計算機システムが提供する機能
   を伝達するための第２の制御命令を出力する対話制御部
   と、 前記動作映像生成部が映像を生成するため、前記入力が
   正しい入力であるかどうかを判断できる映像の生成命令
   と音声信号の生成命令を複数保持したリアクションパタ
   ーンデータと、 前記第１の制御命令の内容に基づいて、前記入力が正し
   い入力かどうかを伝達するために、仮想人物の映像の生
   成命令と音声信号の生成命令を前記リアクションパター
   ンデータから読み出し、前記映像の生成命令を前記動作
   映像生成部に出力し、前記音声信号の生成命令を前記合
   成音声生成部に出力するリアクション情報生成部と、 前記動作映像生成部が映像を生成するため、ユーザが入
   力した命令に対する該計算機システムの実行状況と該計
   算機システムが提供する機能を伝達するための映像の生
   成命令と音声信号の生成命令を複数保持した状況・機能
   説明パターンデータと、 前記第２の制御命令の内容に基づいて、前記実行状況と
   前記提供する機能を伝達するために、仮想人物の映像の
   生成命令と音声信号の生成命令を前記状況・機能説明パ
   ターンデータから読み出し、前記映像の生成命令を前記
   動作映像生成部に出力し、前記音声信号の生成命令を前
   記合成音声生成部に出力する状況・機能説明情報生成部
   とを備え、 前記動作映像生成部が、まず初めに、前記リアクション
   情報生成部からの映像の生成命令に基づき、ユーザの入
   力が正しい入力であるかどうかの仮想人物の映像を生成
   して前記映像出力部に出力し、次に、前記状況・機能説
   明情報生成部からの映像の生成命令に基づき、ユーザの
   入力した命令に基づく該計算機システムの実行状況と該
   計算機システムが提供する機能を説明する仮想人物の映
   像を生成して前記映像出力部に出力し、 前記合成音声生成部が、まず初めに、前記リアクション
   情報生成部からの音声信号の生成命令に基づき、ユーザ
   の入力が正しい入力であるかどうかの音声信号を生成し
   て前記音声出力部に出力し、次に、前記状況・機能説明
   情報生成部からの音声信号の生成命令に基づき、ユーザ
   の入力した命令に基づく該計算機システムの実行状況と
   該計算機システムが提供する機能を説明する音声信号を
   生成して前記音声出力部に出力することを特徴とする人
   物動作対話システム。
4. 【請求項４】請求項３に記載の人物動作対話システム
   が、 前記動作映像生成部が生成する映像と前記合成音声生成
   部が生成する音声信号が同期をとれるように、前記リア
   クションパターンデータと前記状況・機能説明パターン
   データが保持する映像と音声の生成命令が同期をとれる
   情報により構成されていることを特徴とする人物動作対
   話システム。
5. 【請求項５】ユーザと計算機システムとの対話を円滑に
   行うために、ノンバーバル情報をユーザに提示し、該計
   算機システムとの対話を支援する人物動作対話システム
   において、 まず初めに、ユーザの入力が該計算機システムにとって
   正しい入力であるかどうかを判断して、前記判断の結果
   をノンバーバル情報を用いてユーザに提示し、 次に、ユーザの入力によって動作する該計算機システム
   の処理の状況と、該計算機システムがもつ機能について
   ノンバーバル情報を用いてユーザに提示し、 さらに、該計算機システムとの次の対話のための入力の
   指示をノンバーバル情報を用いてユーザに提示すること
   を特徴とする人物動作対話システム。
6. 【請求項６】ユーザと計算機システムとの対話を円滑に
   行うために、仮想人物を生成してユーザに提示し、該仮
   想人物の動作、表情、姿勢などの変化によって該計算機
   システムとの対話を支援するシステムであって、ユーザ
   から該計算機システムへの命令の入力を受け付け、入力
   情報として出力する入力部と、該仮想人物の動作データ
   に基づき、前記仮想人物の動作、表情、姿勢などが変化
   する映像を生成し映像信号を出力する動作映像生成部
   と、前記映像信号を出力表示する映像出力部を少なくと
   も備える人物動作対話システムにおいて、 前記入力情報に基づいて、ユーザの入力が該計算機シス
   テムにおいて正しい入力であるかどうかを伝達するため
   の第１の制御命令と、ユーザの入力した命令の該計算機
   システムの実行状況や該計算機システムが提供する機能
   を伝達するための第２の制御命令と、前記第２の制御命
   令の内容に基づき、ユーザに該計算機システムへの次の
   入力の指示を伝達するための第３の制御命令を出力する
   対話制御部と、 前記動作映像生成部が映像を生成するため、前記入力が
   正しい入力であるかどうかを判断できる映像の生成命令
   を複数保持したリアクションパターンデータと、 前記第１の制御命令の内容に基づいて、前記入力が正し
   い入力かどうかを伝達するために、仮想人物の映像の生
   成命令を前記リアクションパターンデータから読み出
   し、前記動作映像生成部に出力するリアクション情報生
   成部と、 前記動作映像生成部が映像を生成するため、ユーザが入
   力した命令に対する該計算機システムの実行状況と該計
   算機システムが提供する機能を伝達するための映像の生
   成命令を複数保持した状況・機能説明パターンデータ
   と、 前記第２の制御命令の内容に基づいて、前記実行状況と
   前記提供する機能を伝達するために、仮想人物の映像の
   生成命令を前記状況・機能説明パターンデータから読み
   出し、前記動作映像生成部に出力する状況・機能説明情
   報生成部と、 前記動作映像生成部が映像を生成するため、ユーザに該
   計算機システムへの入力の指示を伝達するための映像の
   生成命令を複数保持した入力指示パターンデータと、 前記第３の制御命令の内容に基づいて、ユーザに該計算
   機システムへの入力の指示を行うために、仮想人物の映
   像の生成命令を前記入力指示パターンデータから読み出
   し、前記動作映像生成部に出力する入力指示情報生成部
   とを備え、 前記動作映像生成部が、まず初めに、前記リアクション
   情報生成部からの映像の生成命令に基づき、ユーザの入
   力が正しい入力であるかどうかの仮想人物の映像を生成
   して前記映像出力部に出力し、次に、前記状況・機能説
   明情報生成部からの映像の生成命令に基づき、ユーザの
   入力した命令に基づく該計算機システムの実行状況と該
   計算機システムが提供する機能を説明する仮想人物の映
   像を生成して前記映像出力部に出力し、さらに、前記入
   力指示情報生成部からの映像の生成命令に基づき、ユー
   ザに該計算機システムに対する次の入力指示に関する仮
   想人物の映像を生成して前記映像出力部に出力すること
   を特徴とする人物動作対話システム。
7. 【請求項７】ユーザと計算機システムとの対話を円滑に
   行うために、仮想人物を生成してユーザに提示し、該仮
   想人物の動作、表情、姿勢などの変化によって該計算機
   システムとの対話を支援するシステムであって、ユーザ
   の該計算機システムへの命令の入力を受け付け、入力情
   報として出力する入力部と、該仮想人物の動作データに
   基づき、前記仮想人物の動作、表情、姿勢などが変化す
   る映像を生成し映像信号を出力する動作映像生成部と、
   前記映像信号を出力表示する映像出力部と、前記動作映
   像生成部が生成する映像に併せて音声信号を出力する合
   成音声生成部と、前記音声信号を出力する音声出力部と
   を少なくとも備える人物動作対話システムにおいて、 前記入力情報に基づいて、ユーザの入力が該計算機シス
   テムにおいて正しい入力であるかどうかを伝達するため
   の第１の制御命令と、ユーザの入力した命令の該計算機
   システムの実行状況や該計算機システムが提供する機能
   を伝達するための第２の制御命令と、前記第２の制御命
   令の内容に基づき、ユーザに該計算機システムへの次の
   入力の指示を伝達するための第３の制御命令を出力する
   対話制御部と、 前記動作映像生成部が映像を生成するため、前記入力が
   正しい入力であるかどうかを判断できる映像の生成命令
   と音声信号の生成命令を複数保持したリアクションパタ
   ーンデータと、 前記第１の制御命令の内容に基づいて、前記入力が正し
   い入力かどうかを伝達するために、仮想人物の映像の生
   成命令と音声信号の生成命令を前記リアクションパター
   ンデータから読み出し、前記映像の生成命令を前記動作
   映像生成部に出力し、前記音声信号の生成命令を前記合
   成音声生成部に出力するリアクション情報生成部と、 前記動作映像生成部が映像を生成するため、ユーザが入
   力した命令に対する該計算機システムの実行状況と該計
   算機システムが提供する機能を伝達するための映像の生
   成命令と音声信号の生成命令を複数保持した状況・機能
   説明パターンデータと、 前記第２の制御命令の内容に基づいて、前記実行状況と
   前記提供する機能を伝達するために、仮想人物の映像の
   生成命令と音声信号の生成命令を前記状況・機能説明パ
   ターンデータから読み出し、前記映像の生成命令を前記
   動作映像生成部に出力し、前記音声信号の生成命令を前
   記合成音声生成部に出力する状況・機能説明情報生成部
   と、 前記動作映像生成部が映像を生成するため、ユーザに該
   計算機システムへの入力の指示を伝達するための映像の
   生成命令と音声信号の生成命令を複数保持した入力指示
   パターンデータと、 前記第３の制御命令の内容に基づいて、ユーザに該計算
   機システムへの入力の指示を行うために、仮想人物の映
   像の生成命令と音声信号の生成命令を前記入力指示パタ
   ーンデータから読み出し、前記映像の生成命令を前記動
   作映像生成部に出力し、前記音声信号の生成命令を前記
   合成音声生成部に出力する入力指示情報生成部とを備
   え、 前記動作映像生成部が、まず初めに、前記リアクション
   情報生成部からの映像の生成命令に基づき、ユーザの入
   力が正しい入力であるかどうかの仮想人物の映像を生成
   して前記映像出力部に出力し、次に、前記状況・機能説
   明情報生成部からの映像の生成命令に基づき、ユーザの
   入力した命令に基づく該計算機システムの実行状況と該
   計算機システムが提供する機能を説明する仮想人物の映
   像を生成して前記映像出力部に出力し、さらに、前記入
   力指示情報生成部からの映像の生成命令に基づき、ユー
   ザに該計算機システムに対する次の入力指示に関する仮
   想人物の映像を生成して前記映像出力部に出力し、 前記合成音声生成部が、まず初めに、前記リアクション
   情報生成部からの音声信号の生成命令に基づき、ユーザ
   の入力が正しい入力であるかどうかの音声信号を生成し
   て前記音声出力部に出力し、次に、前記状況・機能説明
   情報生成部からの音声信号の生成命令に基づき、ユーザ
   の入力した命令に基づく該計算機システムの実行状況と
   該計算機システムが提供する機能を説明する音声信号を
   生成して前記音声出力部に出力し、さらに、前記入力指
   示情報生成部からの音声信号の生成命令に基づき、ユー
   ザに該計算機システムに対する次の入力指示に関する音
   声信号を生成して前記音声出力部に出力することを特徴
   とする人物動作対話システム。
8. 【請求項８】請求項７に記載の人物動作対話システム
   が、 前記動作映像生成部が生成する映像と前記合成音声生成
   部が生成する音声信号が同期をとれるように、前記リア
   クションパターンデータと前記状況・機能説明パターン
   データと前記入力指示パターンデータが保持する映像と
   音声の生成命令が同期をとれる情報により構成されてい
   ることを特徴とする人物動作対話システム。
9. 【請求項９】請求項５に記載の人物動作対話システムに
   おいて、 ユーザの該計算機システムの習熟度に応じて、ユーザに
   提示するノンバーバル情報の組み合わせを変更すること
   を特徴とする人物動作対話システム。
10. 【請求項１０】請求項６、７または８に記載の人物動作
    対話システムにおいて、 ユーザの該計算機システムの習熟度を段階的に保持し、
    該計算機システムの習熟度を切り替える習熟度切り替え
    部と、 前記習熟度切り替え部で保持した習熟度に応じた前記対
    話制御部の第１〜第３の制御命令の組み合わせを保持し
    た習熟度別制御命令パターンデータをさらに備え、 前記対話制御部が、前記習熟度切り替え部の習熟度を参
    照して前記習熟度別制御命令パターンデータが保持する
    前記第１〜第３の制御命令の組み合わせを抽出すること
    により、前記第１〜第３の制御命令の各々の出力を制御
    し、ユーザの習熟度に応じた仮想人物像による該計算機
    システムの対話を支援することを特徴とする人物動作対
    話システム。
11. 【請求項１１】請求項５に記載の人物動作対話システム
    において、 ユーザの該計算機システムの習熟度と、ユーザの入力し
    た情報の種類に応じて、ユーザに提示するノンバーバル
    情報の組み合わせを変更することを特徴とする人物動作
    対話システム。
12. 【請求項１２】請求項６、７または８に記載の人物動作
    対話システムにおいて、 ユーザの該計算機システムの習熟度を段階的に保持し、
    該計算機システムの習熟度を切り替える習熟度切り替え
    部と、 前記習熟度切り替え部で保持した習熟度と、前記入力部
    を介して入力される入力情報の種類に応じた前記対話制
    御部の第１〜第３の制御命令の組み合わせを保持した習
    熟度別制御命令パターンデータをさらに備え、 前記対話制御部が、前記習熟度切り替え部の習熟度と、
    前記入力情報を参照して、前記習熟度別制御命令パター
    ンデータが保持する前記第１〜第３の制御命令の組み合
    わせを参照することにより、前記第１〜第３の制御命令
    の各々の出力を制御し、ユーザの習熟度とユーザの入力
    の種類に応じた仮想人物像による該計算機システムの対
    話を支援することを特徴とする人物動作対話システム。