JPH10111778A

JPH10111778A - ユーザインタフェース装置

Info

Publication number: JPH10111778A
Application number: JP8266129A
Authority: JP
Inventors: Itaru Hosomi; 格細見
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1996-10-07
Filing date: 1996-10-07
Publication date: 1998-04-28
Anticipated expiration: 2016-10-07
Also published as: JP3099753B2

Abstract

(57)【要約】【課題】対話型システムの利用者が何らかの問題に遭
遇した場合や次にすべき操作を決定できない状態に陥っ
た場合にも適切に対処できるガイダンス機能を備え、且
つ複数の入出力手段により操作性を向上させる。【解決手段】利用者からの操作によって入力を行う入
力手段と、利用者に提供する情報の出力を行う出力手段
と、利用者が入力操作を行わなくなってからの経過時間
を計測する時間計測手段と、利用者へのガイダンスの内
容とそのガイダンスを行うまでの前記経過時間を対で含
んだガイダンス知識を管理するガイダンス知識管理手段
と、前記ガイダンス知識に基づいてガイダンスを行うオ
ートガイダンス手段と、対象アプリケーション装置の内
部状態を管理する状態管理手段と、該対象アプリケーシ
ョン装置が利用する情報を検索するアプリケーション情
報検索手段と、を含んで構成されるユーザインタフェー
ス装置を提供する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、対話型システムの
ユーザインタフェース装置に関し、特に利用者へのガイ
ダンス機能を有するユーザインタフェース装置に関す
る。

【０００２】

【従来の技術】対話型システムのユーザインタフェース
として、これまで多くの提案がなされてきた。なかで
も、コンピュータの使用に慣れていない人でも使い易い
ユーザインタフェースは大きな問題であり、ポインティ
ング装置や音声入出力装置を利用した様々な提案があ
る。

【０００３】しかしながら、これら従来の提案の多く
は、作業効率や、表示内容の分かり易さ、利用者の習熟
度への適応性などに重点が置かれ、いずれも利用者とシ
ステムとの対話を円滑にするための技術であった。これ
らに対し、ユーザが何らかの問題に遭遇した場合や次に
何をすべきか分からなくなった場合にシステム側が利用
者を手助けするような手段がほとんど提供されていな
い。既存のシステムの多くはヘルプメニューなどを参照
することで操作説明を行うことはできるが、利用者の意
思決定を支援したり、適当な場面で利用方法やサービス
について紹介するような機能を持たない。

【０００４】神尾らの「対話装置及び同装置に適用され
る操作ガイダンス出力方法」（特開平８−０４４５２０
号公報）や浜田の「音声ガイダンス出力方式」（特開平
４−３４４９３０号公報）では、利用者に適切なガイダ
ンスを行うために、操作可能状態になってから利用者が
何らかの入力を行うまでの時間を計測して利用者の習熟
度を推定し、ガイダンスの内容を該習熟度に合わせて変
更している。しかし、利用者が何も入力しない場合に状
況に応じた有益な情報を利用者に伝えるものではないた
め、利用者にとって何か分からないことがあって入力が
できない場合に、その状況において利用者の意思決定や
問題解決を支援する情報提供がなされるわけではない。

【０００５】また、土屋らの「情報検索における強調的
応答方式」（特開平２ー２０１５７５）では、利用者が
データベースの検索に失敗した場合に利用者の次の入力
を促す応答を提示することにより対話を円滑にする。し
かし、入力を促すのみであり、場面に応じて応答内容を
アレンジしたり、一度めの提示内容が利用者の次の入力
に対する意思決定に役立たなかった場合のさらなる提示
を行うことができない。さらに、利用者が失敗以前に何
もできずにいる場合のガイダンスが行われず、全くの初
心者にとっての不安解消には不十分である。

【０００６】

【発明が解決しようとする課題】上述のように、従来の
対話型システムのユーザインタフェース装置では、どの
ようなサービスを提供できるのか、次に何をすればよい
のか、という利用者の疑問や不安に対し、状況に応じた
ガイダンスや、一度のガイダンスでは十分でなかった場
合にその後適当なタイミングで別の内容を提示する手段
を備えていない。

【０００７】また、複数のガイダンス内容を用意してあ
っても、それらをたて続けに提示したり、単に一定の時
間間隔で提示するだけでは、利用者の都合や心理状態を
考慮したガイダンスとは言えない。

【０００８】よって、本発明の目的は、上述した従来の
対話型システムのユーザインタフェース装置の課題を解
決したユーザインタフェース装置を提供することを目的
とする。

【０００９】

【課題を解決するための手段】利用者の操作によって入
力を行う入力手段と、利用者に提供する情報の出力を行
う出力手段とを備え、対話型アプリケーション装置と利
用者との間の対話を支援するユーザインタフェース装置
において、利用者が入力操作を行わなくなってから経過
した時間を計測する時間計測手段と、利用者へのガイダ
ンスの内容と該内容を利用者に提示する条件としての経
過時間とを対で含んだガイダンス知識を管理するガイダ
ンス知識管理手段と、前記時間計測手段によって計測さ
れた時間が、前記ガイダンス知識に含まれる経過時間の
いずれかに達した場合に、前記経過時間に対応する前記
ガイダンスを利用者に行うオートガイダンス手段と、を
備える。

【００１０】さらには、前記アプリケーション装置の内
部状態を管理する状態管理手段を備え、前記オートガイ
ダンス手段が前記状態管理手段から前記アプリケーショ
ン装置の内部状態を検出し、前記ガイダンス知識管理手
段から前記内部状態に応じたガイダンス知識を選択して
利用者にガイダンスを行う。

【００１１】さらには、前記アプリケーション装置の各
内部状態に対応した情報を検索するアプリケーション情
報検索手段を備え、前記オートガイダンス手段が、前記
ガイダンス知識から得たガイダンスの内容に前記アプリ
ケーション情報検索手段から得た情報を付加して利用者
に提示する。

【００１２】さらには、利用者への応答内容を音声とジ
ェスチャで出力する擬人的応答手段と、利用者への自然
言語文の応答内容を表示するテキスト出力手段と、利用
者に対して音声出力用、テキスト出力用、ジェスチャ動
作用の各応答内容を記述した応答知識を蓄積する応答知
識蓄積手段と、を備え、前記オートガイダンス手段は、
前記擬人的応答手段と前記テキスト出力手段を用いてガ
イダンスを行う。

【００１３】さらには、前記ガイダンス知識は、各々の
ガイダンスの内容に従うガイダンスを実行後、前記時間
計測手段による時間の計測をそのまま継続するか初期値
に戻すかを示す項目を含み、前記オートガイダンス手段
は、前記ガイダンス知識中の前記項目に従い、前記時間
計測手段に対して時間計測の継続を指示、もしくは経過
時間を０に戻すように指示し、さらに前記時間計測手段
は、オートガイダンスからの前記指示もしくは利用者か
ら何らかの入力があったことを検知した場合に、前記経
過時間を０に戻して再び時間計測を開始する。

【００１４】さらには、ディスプレイ画面上の位置や利
用者が選択した項目を指し示すための指示入力手段と、
利用者が文字列を入力するための文字列入力手段と、前
記ユーザインタフェース装置および前記アプリケーショ
ン装置に指示可能な項目の一覧を表示するメニュー選択
手段と、利用者との対話における各種の目的に応じた２
つ以上の対話モードを有し、同時には何れか１つの対話
モードに限定して前記対話を制御する対話制御手段と、
前記文字列入力手段により任意の場面で前記対話モード
のうち利用者が希望する対話モードに切り替えを行う対
話モード切り替え手段と、を備える。

【００１５】さらには、自然言語で記述された入力文字
列を解析し、結果を前記対話制御手段に送る自然言語解
析手段を備え、前記文字列入力手段からの入力文字列
と、前記メニュー選択手段からの選択結果文字列とを共
に前記自然言語解析手段により解析する。

【００１６】さらには、前記自然言語解析手段は、利用
者からの入力内容において操作または質問の対象が明示
されていない場合に、前記状態管理手段が管理するアプ
リケーションの内部状態から前記対象を特定する。

【００１７】

【発明の実施の形態】以下では、本発明をマイクとキー
ボードとタッチパネルとマウスをそれぞれ入力手段と
し、ディスプレイ装置とスピーカを出力手段とし、図書
館情報検索システムをアプリケーション装置とした実施
の形態の例について、図面を参照して詳しく説明する。

【００１８】図１は、本発明の一実施の形態に係るユー
ザインタフェース装置、および本ユーザインタフェース
装置の適用対象であるアプリケーション装置の構成を示
すブロック図である。

【００１９】図１に示すユーザインタフェース装置は、
キーボード１、音声認識装置２、タッチパネル３、マウ
ス４、ディスプレイ装置５、スピーカ６、文字列入力部
８、指示入力部９、自然言語解析部１０、メニュー選択
部１１、対話制御部１２、状態管理部１３、オートガイ
ダンス部１４、ガイダンス知識管理部１５、時間計測部
１６、アプリケーション情報検索部１７、テキスト出力
部１９、擬人的応答部２０から構成され、これらにアプ
リケーション装置７、該アプリケーション用データベー
ス１８を接続して動作する。

【００２０】音声認識装置２は、利用者の音声による入
力を認識して対応する文字列に変換する装置である。音
声認識の機能は、マイクに接続された音声認識専用の装
置で実現される場合や、ユーザインタフェース装置２と
同一の装置内にソフトウェアで実装されている場合など
いずれでも良い。

【００２１】タッチパネル３は、利用者が手指などでデ
ィスプレイ装置５上の任意の位置を指定することによ
り、ディスプレイ装置５上に表示されたボタンの押下や
メニューの選択、領域の指定などを可能にするデバイス
である。

【００２２】ディスプレイ装置５は、例えば図２に示す
例のように、アプリケーション装置７による視覚情報の
出力内容（２１１）、テキスト出力部１９からの出力内
容（２１２）、擬人的応答部２０からの視覚情報の出力
内容（２１３）、メニュー選択部１１によるメニュー
（２１４）、その他必要に応じて利用者に提示される視
覚情報の表示に用いるデバイスである。

【００２３】スピーカ６は、擬人的応答部２０からの音
声情報、その他必要に応じて利用者に提示される聴覚情
報を出力するデバイスである。

【００２４】アプリケーション装置７は、本実施の形態
においては図書情報検索システムであり、その一機能と
して、利用者の指示により、アプリケーション用データ
ベース１８から必要な情報を取り出して利用者に提示す
る機能を持つ。また、該アプリケーション装置７は、利
用者の操作によって互いに遷移可能な複数の状態を有
し、各状態を変数の値として外部装置に出力可能であ
る。

【００２５】文字列入力部８は、キーボード１または音
声認識装置２から入力された文字列を自然言語解析部１
０に渡す。

【００２６】指示入力部９は、タッチパネル３またはマ
ウス４から入力された情報のうち、メニュー選択部１１
がディスプレイ装置５上に表示したメニューのいずれか
を選択したという情報をメニュー選択部１１に伝える。

【００２７】メニュー選択部１１は、対話制御部で決定
された対話モードに応じたメニューをディスプレイ装置
５上に表示し、指示入力部９を介して利用者に選択され
たメニューの内容を、文字列として自然言語解析部１０
に送る。

【００２８】自然言語解析部１０は、文字列入力部８ま
たはメニュー選択部１１から送られた文字列を自然言語
文または単語として解析し、対話制御部１２で処理可能
な解析結果に変換し、対話制御部１２に送る。

【００２９】対話制御部１２は、自然言語解析部から送
られた解析結果もしくはオートガイダンス部の指示に従
い、必要ならば状態管理部１３を介してアプリケーショ
ン装置７の状態を取得し、またはアプリケーション情報
検索部１７を介してアプリケーション用データベースか
ら必要なデータを取得し、アプリケーション装置７に操
作指示を送るか、またはテキスト出力部１９および擬人
的応答部２０を用いて利用者に応答する。

【００３０】状態管理部１３は、自然言語解析部１０も
しくは対話制御部１２からの要求に従い、アプリケーシ
ョン装置７の状態情報を取得し、要求元に送る。

【００３１】オートガイダンス部１４は、時間計測部１
６があらかじめ指定された時間の経過を検知して対話制
御部１２に通知すると、それぞれ経過した時間に応じた
ガイダンス知識をガイダンス知識管理部１５から取り出
す。取り出されたガイダンス知識のうち適当な応答内容
を選び、テキスト出力部１９および擬人的応答部２０を
用いて利用者にガイダンスを行う。

【００３２】時間計測部１６は、オートガイダンス部１
４からの指示に従い、前記ガイダンス後に時間の計測を
続行するかもしくは経過時間を０に戻す。また、利用者
が何らかの入力操作を行った際には、ただちに経過時間
を０に戻し、再び時間の計測を開始する。

【００３３】アプリケーション情報検索部１７は、アプ
リケーション装置７が利用する情報を管理しているアプ
リケーション用データベース１８に対し、対話制御部１
２からの要求に応じて検索を行う。アプリケーション用
データベース１８には、例えば各書籍の書誌事項データ
や図書館内のどの部屋のどの書架に置いてあるかと言う
空間位置情報、前記各部屋や書架の分類や特徴などがデ
ータベースとして蓄積されている。

【００３４】テキスト出力部１９は、前記ガイダンス知
識やアプリケーション用データベースから得られた情報
を基に生成された応答文をディスプレイ装置５上に表示
する。

【００３５】擬人的応答部２０は、例えば、本出願人が
以前に出願した呂の「人物像表示によるユーザインタフ
ェース方法とその装置」（特願平７−２３２６３８号）
に記載されているような擬人的キャラクタを用い、音声
とジェスチャによって利用者にメッセージを伝える。

【００３６】次に、本願発明の具体的な動作について、
図面を参照してさらに詳しく説明する。

【００３７】まずはじめに、状態管理部１３に対するよ
り具体的な例を図５を用いて説明する。

【００３８】図５は、入力文例としてディスプレイ画面
上に表示された書籍を読んでいる利用者から「これが置
いてある書架は？」と入力された場合の本実施の形態に
おけるユーザインタフェース装置の部分的な処理例を示
している。前記入力文例では「置いてある」の対象を示
す部分が「これ」という代名詞で表され、対象が不明確
である。この場合、自然言語解析部１０は「これ」とい
う単語に対して解析辞書４１２を引いた際にその単語の
機能を表すｆｕｎｃｔｉｏｎパラメータの値を参照し、
ｉｎｄ（ｉｎｄｉｃａｔｅの略）という値を得る。ｆｕ
ｎｃｔｉｏｎパラメータの値がｉｎｄである場合、自然
言語解析部１０はアプリケーション装置７が出力したオ
ブジェクトのうち前記「これ」が示す対象となりうるも
のを状態管理部１３に要求する。状態管理部１３は、前
記要求を受け取ると、アプリケーション装置７に対して
最新の状態情報を要求し、得られた状態情報を状態管理
テーブル４１３に格納する。状態テーブル４１３に格納
された状態情報は、優先順位４２に従い、テーブルの値
がＮＵＬＬでないもののうち、優先順位の最も高い値を
自然言語解析部１０が受け取り、前記「これ」に対応す
る意味フレーム４１１のＶａｌｕｅパラメータの値とし
て格納する。ここで意味フレームとは入力文字列を構成
する各単語について各々固有の情報を格納するテーブル
である。なお、優先順位４２中の“＞”記号は、左辺が
右辺に優先するということを表した便宜上の記号であ
る。

【００３９】次に、オートガイダンス部１４および時間
計測部１６の動作について、図３および図４および図６
を用いてより具体的に説明する。時間計測部１６は、図
６のフローチャート５１に示すように、まず本実施の形
態のユーザインタフェース装置が起動する際にガイダン
ス知識管理部１５から各ガイダンス知識を用いたガイダ
ンスの開始設定時間をそれぞれ読み込む（Ｓ１１）。こ
こでガイダンス開始設定時間は、例えば図３のガイダン
ス知識３１の場合、経過時間（ｗａｉｔｔｉｍｅ）を１
０（秒）と記述されており（３１１）、これを抽出して
時間計測部１６に読み込む。ガイダンス知識管理部１５
で管理している全てのガイダンス知識について前記設定
時間を読み込むと、経過時間をを初期化（経過時間を０
に設定）し（Ｓ１２）、時間の計測を開始する（Ｓ１
３）。その後、利用者から何らかの入力があったかどう
かを判断し（Ｓ１４）、前記入力があれば経過時間を初
期化して時間計測を再開する。前記入力が無ければ、次
に経過時間が前記設定時間のいずれかに達したかどうか
を判断する（Ｓ１５）。経過時間がいずれかの設定時間
に達した場合、その経過時間をオートガイダンス部に渡
し、オートガイダンスを開始する（Ｓ１６）。経過時間
がいずれの設定時間にも達していなければ、時間計測を
続ける。オートガイダンスが修了すると、該オートガイ
ダンスで適用されたガイダンス知識から時間の計測を継
続するか初期化するかを判断し、それぞれ実行する（Ｓ
１７）。時間の計測に対する継続か初期化かの判断につ
いては、例えば図３のガイダンス知識３１およびガイダ
ンス知識３３にそれぞれ記載されているように、経過時
間（ｔｉｍｅｒ）の属性値がｃｏｎｔｉｎｕｅ（３１
３）であれば継続、ｒｅｓｅｔ（３３１）であれば初期
化というようにガイダンス知識を参照することで判断す
る。

【００４０】オートガイダンス部１４は、図７のフロー
チャート５２に示すように、時間計測部から受け取った
経過時間に対応する１つ以上のガイダンス知識をガイダ
ンス知識管理部１５から読み込み（Ｓ２１）、各ガイダ
ンス知識に適用条件があるかどうかを判断する。適用条
件は、例えば図３のガイダンス知識３１では状態情報
（ｆｏｃｕｓ）の属性値が０００１０１３Ｒである（３
１４）というように記されている。前記適用条件を有す
るガイダンス知識については、状態管理部１３を介して
アプリケーション７より各々対応する状態情報を取得す
る（図７のＳ２３）。そして該状態情報と前記適用条件
とを照合し、それらが合致するガイダンス知識のみを選
択して次段の処理に送る（Ｓ２４）。適用条件の無いガ
イダンス知識はそのまま前記次段の処理に送る。さら
に、前記次段の処理に送られたガイダンス知識につい
て、ガイダンスの出力にアプリケーション情報（図７で
はＡＰ情報と略記）を要する変数を含むかどうかを判断
し（Ｓ２５）、該変数があればアプリケーション情報検
索部１７を用いてアプリケーション用データベース１８
から必要なアプリケーション情報を検索する（Ｓ２
６）。アプリケーション情報の例としては、図３のガイ
ダンス知識３１の出力内容３１５に含まれるｆｌｏｃ
（該当フロアの階数）やガイダンス知識３２の出力内容
に含まれるｆｇｅｎｒｅ（該当フロアの分類名）（３２
１）などがある。これらのアプリケーション情報を必要
に応じて検索し、前記変数に代入した後、前記該当する
ガイダンス知識中の出力内容をテキスト出力部１９およ
び擬人的応答部２０へ送り、ガイダンスを実行する（Ｓ
２７）。例えば、図３のガイダンス知識３１が適用され
た場合、ｆｌｏｃの検索結果が“３階”ならばテキスト
出力部１９へは「ここは３階です。」という文（３１
５）が、擬人的応答部２０へは動作番号（ａｃｔｉｏ
ｎ）の属性値１０８で定義されたジェスチャおよび音声
出力（３１２）がそれぞれ送られる。

【００４１】各ガイダンスの実行と時間の経過との関係
は、図３のガイダンス知識３１、３２、３３がそれぞれ
経過時間１０秒、３０秒、３００秒で連続して実行され
た場合、図４の３４のようになる。ガイダンス１（ガイ
ダンス知識３１によるガイダンス）、ガイダンス２（同
３２によるガイダンス）がそれぞれ行われた後、さらに
利用者から入力が無いまま計３００秒経過すると、ガイ
ダンス知識３３が適用され、動作番号（ａｃｔｉｏｎ）
の属性値１３０によって本実施例のユーザインタフェー
ス装置およびアプリケーション装置７の状態をそれぞれ
初期化し、経過時間を０に初期化した後、時間計測を再
開する。

【００４２】本実施の形態のユーザインタフェース装置
による利用者との対話において、対話のモードが２つ以
上存在するものとする。対話モードの切り替わりは、図
１のメニュー選択部１１によるメニュー表示内容の違い
によって視覚的に確認できる。以下、各対話モードを各
々対応するメニュー表示内容によって表現する。

【００４３】図８は、前記対話モードの切り替えによる
前記メニュー表示内容の遷移を矢印で示した例である。
利用者は、タッチパネル３やマウス４により、各対話モ
ード６１、６２、６３、６４を実線の矢印に従って切り
替えることができる。利用者は、対話モード６１におい
て表示されるメニュー（「館内の案内」や「本の検索」
など）をタッチパネル３やマウス４で選択することによ
り他の対話モードに移行し、６２、６３、６４の各対話
モードにおいては「修了」メニューを選択することによ
り対話モード６１へ戻る。この場合、必ず対話モード６
１を介さなければ他の対話モードへ移行できない。

【００４４】ここで、本実施の形態のユーザインタフェ
ース装置では、キーボード１もしくは音声認識装置２に
より対話モード６１における「館内の案内」等のメニュ
ー項目を文字列として入力することで、該文字列が文字
列入力部８を介して自然言語解析部１０に入力される。
これにより、メニュー選択部１１からタッチパネル３や
マウス４による入力が同自然言語解析部１０に入力され
た場合と同様に前記文字列が解析され、いずれの対話モ
ードにおいても他の対話モードに移行することが可能と
なっている（破線の矢印で表現）。さらに、対話モード
６１に限らず、例えば「書籍の登録」のようなメニュー
項目名もしくは「この本を個人書籍に登録したい」など
の自然言語による要求文を文字列として利用者が入力す
ることにより、任意の対話モードにおいて対話モード６
４に移行するとともに特定の操作を開始することができ
る。

【００４５】

【発明の効果】本発明のユーザインタフェース装置を適
用することにより、対話型システムの利用者は、次に何
をすべきか判断しかねる状態に陥った場合にもその場の
状況に応じたガイダンスが受けられる。また、本ユーザ
インタフェース装置では、提示したガイダンスの内容が
利用者の意思決定に十分でなかった場合にも、適当な時
間をおいて別のガイダンスを行うことにより、利用者の
意思決定を継続的に支援することができる。さらに、複
数の対話モードを備えるアプリケーションにおいても、
マウスやタッチパネルでは各対話モードに限定されたメ
ニューやボタンのみ操作可能として画面表示領域の節約
や誤操作を防止しつつ、音声やキーボードを利用するこ
とで、任意の対話モードに直接移行できる柔軟性も備え
る。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係るユーザインタフェ
ース装置、および本ユーザインタフェース装置の適用対
象であるアプリケーション装置の構成を示したブロック
図

【図２】本実施の形態による画面出力の例を示した図

【図３】本実施の形態におけるガイダンス知識を例示し
た図

【図４】本実施の形態によるガイダンスの実行と時間経
過の関係を示した図

【図５】本実施の形態におけるユーザインタフェース装
置の部分的な処理例を示した図

【図６】本発明の時間計測部の動作を示すフローチャー
ト

【図７】本発明のオートガイダンス部の動作を示すフロ
ーチャート

【図８】メニュー表示内容の遷移を矢印で示した例

【符号の説明】

１キーボード２音声認識装置３タッチパネル４マウス５ディスプレイ装置６スピーカ７アプリケーション装置８文字列入力部９指示入力部１０自然言語解析部１１メニュー選択部１２対話制御部１３状態管理部１４オートガイダンス部１５ガイダンス知識管理部１６時間計測部１７アプリケーション情報検索部１８アプリケーション用データベース１９テキスト出力部２０擬人的応答部２１画面出力例２１１図書情報検索システムの画面出力例２１２テキスト出力例２１３擬人的応答例２１４メニュー出力例３１ガイダンス知識３２ガイダンス知識３３ガイダンス知識３４各ガイダンスの実行と時間の経過との関係３１１経過時間指定属性と属性値３１２動作番号属性と属性値３１３経過時間属性と属性値３１４状態情報属性と属性値３１５テキスト出力属性と属性値３２１テキスト出力属性と属性値３３１経過時間属性と属性値４２状態情報の優先順位４１１意味フレーム４１２解析辞書４１３状態管理テーブル５１時間計測部のフローチャート５２オーとガイダンス部のフローチャート６１対話モード６２対話モード６３対話モード６４対話モード

Claims

【特許請求の範囲】

【請求項１】利用者の操作によって入力を行う入力手段
と、利用者に提供する情報の出力を行う出力手段とを備
え、対話型アプリケーション装置と利用者との対話を支
援するユーザインタフェース装置において、利用者が入力操作を行わなくなってから経過した時間を
計測する時間計測手段と、利用者へのガイダンスの内容と該内容を利用者に提示す
る条件としての経過時間とを対で含んだガイダンス知識
を管理するガイダンス知識管理手段と、前記時間計測手段によって計測された時間が、前記ガイ
ダンス知識に含まれる経過時間のいずれかに達した場合
に、前記経過時間に対応する前記ガイダンスを利用者に
行うオートガイダンス手段と、を備えることを特徴とす
るユーザインタフェース装置。
【請求項２】前記アプリケーション装置の内部状態を管
理する状態管理手段を備え、前記オートガイダンス手段が前記状態管理手段から前記
アプリケーション装置の内部状態を検出し、前記ガイダ
ンス知識管理手段から前記内部状態に応じたガイダンス
知識を選択して利用者にガイダンスを行うことを特徴と
する請求項１に記載のユーザインタフェース装置。
【請求項３】前記アプリケーション装置の各内部状態に
対応した情報を検索するアプリケーション情報検索手段
を備え、前記オートガイダンス手段が、前記ガイダンス知識から
得たガイダンスの内容に前記アプリケーション情報検索
手段から得た情報を付加して利用者に提示することを特
徴とする請求項１または２に記載のユーザインタフェー
ス装置。
【請求項４】利用者への応答内容を音声とジェスチャで
出力する擬人的応答手段と、利用者への自然言語文の応答内容を表示するテキスト出
力手段と、利用者に対して音声出力用、テキスト出力用、ジェスチ
ャ動作用の各応答内容を記述した応答知識を蓄積する応
答知識蓄積手段と、を備え、前記オートガイダンス手段は、前記擬人的応答
手段と前記テキスト出力手段を用いてガイダンスを行う
ことを特徴とする請求項１、２または３に記載のユーザ
インタフェース装置。
【請求項５】前記ガイダンス知識は、各々のガイダンス
の内容に従うガイダンスを実行後、前記時間計測手段に
よる時間の計測をそのまま継続するか初期値に戻すかを
示す項目を含み、前記オートガイダンス手段は、前記ガイダンス知識中の
前記項目に従い、前記時間計測手段に対して時間計測の
継続を指示、もしくは経過時間を０に戻すように指示
し、さらに前記時間計測手段は、オートガイダンスからの前
記指示もしくは利用者から何らかの入力があったことを
検知した場合に、前記経過時間を０に戻して再び時間計
測を開始することを特徴とする請求項１、２、３または
４に記載のユーザインタフェース装置。
【請求項６】ディスプレイ画面上の位置や利用者が選択
した項目を指し示すための指示入力手段と、利用者が文字列を入力するための文字列入力手段と、前記ユーザインタフェース装置および前記アプリケーシ
ョン装置に指示可能な項目の一覧を表示するメニュー選
択手段と、利用者との対話における各種の目的に応じた２つ以上の
対話モードを有し、同時には何れか１つの対話モードに
限定して前記対話を制御する対話制御手段と、前記文字列入力手段により任意の場面で前記対話モード
のうち利用者が希望する対話モードに切り替えを行う対
話モード切り替え手段と、を備えることを特徴とする請求項１、２、３、４または
５に記載のユーザインタフェース装置。
【請求項７】自然言語で記述された入力文字列を解析
し、結果を前記対話制御手段に送る自然言語解析手段を
備え、前記文字列入力手段からの入力文字列と、前記メ
ニュー選択手段からの選択結果文字列とを共に前記自然
言語解析手段により解析することを特徴とする請求項
１、２、３、４、５または６に記載のユーザインタフェ
ース装置。
【請求項８】前記自然言語解析手段は、利用者からの入
力内容において操作または質問の対象が明示されていな
い場合に、前記状態管理手段が管理するアプリケーショ
ンの内部状態から前記対象を特定することを特徴とする
請求項７に記載のユーザインタフェース装置。