JPH08166866A

JPH08166866A - 対話型インターフェースを具備した編集支援システム

Info

Publication number: JPH08166866A
Application number: JP7265158A
Authority: JP
Inventors: Haru Andou; ハル安藤; Nobuo Hataoka; 信夫畑岡
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-10-14
Filing date: 1995-10-13
Publication date: 1996-06-25

Abstract

(57)【要約】【課題】ユーザにとって使い勝手のよい図形編集、画像
編集等のインタフェースを提供することを目的とする。【解決手段】過去の操作履歴を参照してシステム側が次
の操作の指示を与える。ユーザからの情報の入力には、
音声入出力や指によるポインティング、及び３次元ＣＧ
を用いる。画像出力手段によってシステムを代表する人
物像をシステムエージェントとして画面に表示し、ユー
ザのエラー、待ち状態利用状態及び利用環境をシステム
側で抽出して、システムエージェントを通してユーザに
知らせる。【効果】システムエージェントを媒介とし、ユーザの意
図に対応した応答を画像表示や音声出力によって行なう
ことによりユーザにとって使い勝手のよい図形編集、画
像編集等のインタフェースを提供する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パソコン、ワーク
ステーション、ワープロ等のＯＡ機器に搭載された音声
入出力を利用した文書作成システムや図形編集システ
ム、或いは操作結果を表示する画面を有する音声応用シ
ステム等のユーザインタフェースに関し、ユーザにとっ
て簡便な操作手段を提供する。

【０００２】

【従来の技術】従来のシステムでは、発明者等が先に発
明し出願された特願平4-282057号「複合形態入力方式」
に見られる様に、入力した情報の一部に対して訂正が必
要な場合でも、ユーザに全ての情報を再度入力させ、ま
た、ユーザが誤りである箇所を指摘したとしても、代替
案を示すといったヘルプ機能は持っていない。すなわち
従来の技術では、ユーザからの入力がシステムにとて実
行可能な命令であれば、システムはその命令をそのまま
実行する。システムから見て実行不可能な命令、例え
ば、複写の機能が無いシステムに対して複写を命令した
場合には、システムから実行不可能の警告が提示され
る。ユーザは、その警告を見て、自発的にシステムのヘ
ルプシステムを実行する。不慣れなユーザにとっては、
必要なヘルプ機能の説明を参照することは困難である。
また、ユーザの入力に対しては、これまでのユーザのシ
ステム利用状態に関わらず、システムは常に同じ応答を
返す。システムの動作中に、ユーザの割り込みが有った
場合にも割込みを優先としてそれまでの動作を一旦停止
して割込み操作を行なっていた。

【０００３】

【発明が解決しようとする課題】上記の従来技術では、
ユーザ側で誤りを見つけ、誤認識があった場合には、ユ
ーザが情報を初めから全て入力しなければならなかっ
た。また、ユーザの状態や、システム使用環境に関わら
ず、システムからの応答は常に一定であるためシステム
の動作状態の程度を把握できず、ユーザとしては利用し
づらい場合があった。

【０００４】本発明の目的は、音声入出力や指によるポ
インティングにより効率的な入力を行ない、３次元ＣＧ
を処理中の画面の一部分に表示して、ユーザの操作にた
いしてシステム側が指示を与えることにより、ユーザの
操作を支援する使い勝手のよい文書作成、図形編集、画
像編集等のインタフェースを提供することにある。

【０００５】ユーザの入力内容を保持し、その内容から
ユーザの次の操作を予測し、その操作を提示するシステ
ムにより、上記の本発明の目的を達成する。

【０００６】さらに、システムからの提案内容を画面上
に表示された人物像を介して、あたかもシステムを人間
に置き換え、その人間との対話操作を行なっているよう
な環境を作成することにより、ユーザの使い勝手を向上
させより親しみやすいシステムを提供することができ
る。

【０００７】

【課題を解決するための手段】本発明の構成は以下のよ
うに構成される。

【０００８】入力手段には、音声入力装置、画像入力相
違（カメラ）、表示画面の座標位置と対応させたタッチ
パネル（ポインティング手段）、画面上のユーザの注視
位置を座標として取り込む視線入力装置等を用いる。こ
れらの多種類の入力手段から入力された情報を取り込ん
で、システムの操作を実行する。

【０００９】出力手段には、音声出力装置（スピー
カ）、表示画面を備えた画像出力装置を用いる。表示画
面には、処理する対象の他に、主にシステムの状態を示
す部分的な画像表示領域を備える。この画像表示領域に
は人物像を表示し、過去のユーザの入力状態に応じてそ
の人物像の表示態様を変化させる。

【００１０】システムはユーザが過去に入力した命令内
容とその入力時刻とを保持する。同じ命令内容が所定回
以上連続する場合、システム側からその命令内容の連続
を自動的に行なう旨の通知を、部分的な画像表示領域に
表示された人物像を用いて行なう。具体的はユーザに話
しかけているような動作とその動作と同期させて音声出
力を行なう。

【００１１】直前の入力時刻から所定時間経過しても次
の入力が無い場合には、同様に部分的な画像表示領域に
表示された人物像を用いて次の入力を促す。

【００１２】ユーザからの音声入力を正しく認識できず
システムに訂正の命令が有った場合には、システムの謝
意を、部分的な画像表示領域に表示された人物像を用い
て表現する。

【００１３】

【発明の実施の形態】以下、本発明の実施例を図を用い
て説明する。

【００１４】まずはじめに、エージェントについて説明
する。エージェントの概念は大きく分けて２つある。１
つは分散システムや通信システムへ応用するものであ
る。この場合、エージェントは複数の端末をむすぶネッ
トワーク上を移動して、必要とされる情報を自律的に獲
得し、さらにエージェント間で得られた情報を統合して
タスクを遂行する。他の概念は、本発明に示すようなユ
ーザインターフェースへの応用である。例えば、ユーザ
の操作意図を予測し、端末側から次の操作を提示したり
問いかけてユーザの操作を補助する。この場合、端末画
面上にコンピュータグラフィックで描かれた人物像等を
表示して、視覚的にユーザとシステムとの対話操作を助
けるものもユーザインターフェースへの応用である。

【００１５】本実施例では、多形態の入力手段を備えた
インテリアデザイン支援システムを想定した。特に本実
施例では、ユーザの入力ミスのサポート、入力時間短縮
のための入力ガイダンス、ユーザ操作の自動化をシステ
ム側で判断し、その判断をシステム側からユーザに直接
知らせる構成を有する。インテリアデザイン支援システ
ムは図形編集システムの範疇に入る。ここで、図形編集
システムとは、ＣＡＤシステム、画像処理システム等、
画像や図形を取り扱うシステムを総称する。また、本発
明のコンセプトは、図形編集システムだけではなく、ス
ケジュール管理システムや検索システム等に応用が可能
である。

【００１６】図１は、本発明のインテリアデザイン支援
システムの全体構成を示すブロック図である。

【００１７】図１に示すシステムに電源が投入される
と、ＣＰＵ１が起動しディスク７の内容が主記憶装置２
にロードされる。

【００１８】図２に示すように、ディスク７には、シス
テムプログラム１５、図形編集プログラム１６、音声認
識プログラム１７、ポインティング認識プログラム１
８、情報統合プログラム１９、音声出力制御プログラム
２０、対話制御プログラム２１、画像表示制御プログラ
ム２２、視線認識プログラム２３、画像認識プログラム
２４、状態認識プログラム２５、音声標準パタンデータ
２６、単語辞書２７、音声波形辞書２８、画像データ２
９が記憶されている。主として、入力時に使用されるプ
ログラムは、音声認識プログラム１７、ポインティング
認識プログラム１８、情報統合プログラム１９、視線認
識プログラム２３、画像認識プログラム２４、出力時に
使用されるプログラムは、音声出力制御プログラム２
０、画像表示制御プログラム２２、である。

【００１９】図３に、主記憶装置２にロードされた図形
編集プログラム１６によりディスプレイ４のウィンドウ
Ａ２０２１に表示された編集画面例を示す。インテリア
デザイン用の個々の部品として、絵２０２２、電灯２０
２３、植木２０２４、椅子２０２５がそれぞれ１個ずつ
と、机２個（２６−１，２６−２）が表示されている。
また、画像表示制御プログラム２２によって、ウィンド
ウＢ２０２７に人物像が表示される。ウィンドウＢ２０
２７の人物像はシステムとユーザとの対話を視覚的に円
滑にするために表示されているが、後述するように、ウ
ィンドウＢ２０２７を表示させずに対話操作を支援する
こともできる。

【００２０】これらの表示画面用のデータは画像データ
２９中の図形描画テーブル４０（図４）に基づいて描か
れている。図形描画テーブル４０には、表示される部品
名４１、個々の部品の識別番号４２、表示位置を示す座
標４３，４４、部品の大きさ（４５，４６）、テーブル
番号４７が記憶されている。テーブル番号４７は、図形
描画テーブルが複数個設定された場合の識別番号であ
る。

【００２１】図５に画像表示制御プログラム２２の構成
を示す。画像表示制御プログラム２２は、３次元ＣＧ合
成出力プログラム２２１、動画表示プログラム２２２、
静止画表示プログラム２２３によって構成されている。
ウィンドウＢに表示される人物像は、３次元ＣＧ合成出
力プログラム２２１により描画されている。

【００２２】このような状態で、ユーザは画面上の表示
物に関して、入出力装置４，５を利用して編集作業を行
なう。入力装置としては、タッチパネル５−１，マイク
５−２，視線入力装置５−３，カメラ５−４を用いる。
本実施例では、編集作業中は、視線入力装置５−３の入
力状態は常に監視されている。

【００２３】まず、ユーザは、マイク５−２に向かって
「椅子をこちらに移動して。」などと発声しながら、同
時にタッチパネル５−１上で、移動位置を指示する。マ
イク５−２の入力を確認すると、情報処理装置１は、主
記憶装置２に転送された音声認識プログラム１７を起動
し、さらにポインティング認識プログラム１８、対話制
御プログラム２１を起動する。

【００２４】図１４から図２１に示されるフローチャー
トを用いて全体の処理の流れを説明する。

【００２５】本発明のシステムにスイッチをいれると、
システムプログラム１５が起動し、続いて、図形編集プ
ログラム１６、音声認識プログラム１７、ポインティン
グ認識プログラム１８、対話制御プログラム２１、画像
表示制御プログラム２２、が起動する。その後、必要な
場合に他の処理プログラムが起動する。

【００２６】図１４に示すフローチャート１と図１５に
示すフローチャート１６が本発明のシステムの基本とな
る処理を示す。ユーザがマイクから処理命令を音声で入
力し（ｓ１−１）、その入力音声と同時にタッチパネル
５−１からポインティングジェスチャを入力する（ｓ１
−２）。ポインティングジェスチャは、音声で入力した
処理命令に関して、主に位置を示す情報を入力するもの
である。

【００２７】入力された音声はデジタル信号に変換され
音声認識処理を行ない（ｓ１−３）、次にポインティン
グジェスチャにより入力された位置情報をメモリに格納
（ｓ１−４）する。例えば、はじめに、表示画面上の椅
子（図３、２０２５）を指差し、次に表示画面の右すみ
を指差して、「これをここに移動して」と発声したとす
る。この時、「これ」に対する対象物の位置について移
動元の位置をＸ［Ｑ］［Ｐ］に記憶する。Ｐ、Ｑは２次
元メモリであり、Ｑには、はじめにポインティングした
位置に関する情報（つまり、移動元の情報）または、２
度目にポインティングした位置に関する情報が記憶され
ているメモリ中の領域を識別する番号（例えば、はじめ
の位置に関してはＱ＝１、２度目の位置に関してはＱ＝
２）が入力される。Ｐには、ポインティングに関する情
報、即ち、具体的な座標や、ポインティングが表示画面
上の範囲を示すものであればその領域の座標値等を記憶
するメモリ中の領域を指す。同様にＹ［Ｑ］［Ｐ］に
は、２度目のポインティングに関する情報が入力される
そして、ポンティングしたときの時刻、つまり、Ｑ＝
１、または２に関する情報が入力された時刻を、それぞ
れメモリＴ［Ｑ］に格納する（ｓ１−５）。続いて行な
われる入力処理との時間間隔Ｔoを監視して（ｓ１−
６）、所定時間を超えると、入力された処理命令を確定
したものとみなし、次の処理に進む。この処理を図１５
のフローチャート２に示す。

【００２８】認識処理された音声のコマンドとしての意
味を特定し、そのコマンドをメモリＣｏｍに記憶する
（ｓ２−１）。

【００２９】認識された音声の中に秘密の意味を示す単
語が含まれていた場合には、図１７に示されるフローチ
ャート４の処理を行なう。画像認識によりユーザ以外に
多人数を確認した場合には、処理結果は音声ではなく文
字で表示すうこととする。これは、文字表示により、ユ
ーザ以外の人に対して結果の認識を困難にさせるためで
ある。

【００３０】また、ユーザが音声とポインティングジェ
スチャで入力した処理命令と、システムの処理結果が異
なっている場合には、一連の処理が終わった段階で例え
ばユーザがその処理を否定する音声（「違う」）を発生
すると、上述の説明の通りの音声認識、意味の判定が行
なわれる。ステップｓ２−１が終了した段階で、処理の
否定を表す語句が検出されると、処理の訂正を行なう。
この訂正は図１６に示されるフローチャート３に示され
る。

【００３１】このように入力された処理命令の内容を、
システムにとって明らかにしてから、これらの内容を情
報統合プログラムにより組み合わせて、実際の処理を行
なう。

【００３２】ここで、入力されたコマンドの中に、シス
テムが容易に特定できない対象が有った場合、例えば、
複数の対象物の中の１つを特定しなければならないのに
ユーザがその特定を怠ってしまった場合、図１８に示す
フローチャート５の処理を行なう。システムで特定不可
能なコマンド対象の有無を調べ（ｓ５−１）、システム
が有する情報から、処理対象の可能性の最も高い対象を
特定し（ｓ５−２）、音声や３次元カラーグラフィック
（ウィンドウＢの人物像によるアナウンス、対象を識別
表示）で、ユーザに提示する（ｓ５−３）。

【００３３】特定された対象物名詞に対応する図形番号
を得て（ｓ２−２）、その図形番号をメモリに格納し
（ｓ２−３）、処理を遂行する。フローチャート１，２
では、処理コマンドを「複写」と仮定したため、「複
写」の処理を行なう（ｓ２−４）。これらの一連の処
理が終わったときに、システムとしては、ユーザにより
よい入力環境を提供するため、ユーザの熟練状況によっ
て、処理結果の出力状況を変化させる。

【００３４】例えば、図１９のフローチャート６に示す
ように、ユーザの入力時間、例えば、１０個の単語の入
力時間を検出し（ｓ６−１）、その入力時間が所定時間
以内なであれば（ｓ６−２）、システム自体の音声出力
速度を加速する（ｓ６−３）。

【００３５】また、ユーザの処理内容を監視し、所定回
数以上同じ処理が連続する場合には、システムから、対
象の一括指定、一括処理等の簡易な処理方法をアナウン
スする。この処理を、図２０のフローチャート７に示
す。

【００３６】また、本発明では、ユーザの視線を常に監
視しておく。これはフローチャート１，２と平行して動
作する。その処理は、図２１のフローチャート８に示さ
れる。ユーザの視線の位置、即ち、表示画面上でユーザ
が注視している位置とその時間をメモリに格納する（ｓ
８−１）。音声又はポインティングジェスチャによりユ
ーザからの入力が無い場合には（ｓ８−２）、ユーザが
画面を注視している時間を確認する。注視時間が所定時
間を超える場合には（ｓ８−３）、音声や画像をによ
り、システム側からユーザに入力を促す（ｓ８−４）。
ユーザからの入力があり、又は、ユーザの注視時間が所
定時間を超えない場合には、そのまま、ユーザの視線を
監視する。

【００３７】次に、ディスプレイ３−２上で椅子を移動
する操作の様子を説明する。

【００３８】音声認識プログラム１７は、図６に示すよ
うに、音声入力プログラム１７１、特徴抽出プログラム
１７２、標準パタンマッチングプログラム１７３、辞書
マッチングプログラム１７４より構成されている。

【００３９】音声認識プログラム１７が起動されると、
最初に、音声入力プログラム１７１が起動される。ユー
ザは、図７に示すように、タッチパネル５−１上で対象
とする椅子２０２５の移動先の位置Ｐを指示しながら同
時にマイク５−２を用いて音声で操作（移動）を入力す
る。また、視線認識プログラム２３が起動され、視線入
力装置５−３から入力された情報を座標値に変換する。
座標値の形式は、ユーザの視線がディスプレイに向いて
いる時刻を主記憶装置２上にある視線認識バッファメモ
リＩＲ[ｎ］に、ＩＲ[ｎ］（ｎ＝１〜ｍ）の各時刻につ
いての視線位置の座標値を（ＩＲ＿Ｘ[ｎ］、ＩＲ＿Ｙ
[ｎ］）として格納する。

【００４０】また、音声が入力された時刻についても主
記憶装置２上にある音声認識バッファメモリＳＲ[ ][ ]
（配列１次元目は、システム起動毎にインクリメントさ
れる。）の２次元配列に格納する。なお、音声認識バッ
ファメモリは図示していない。

【００４１】マイク５−２から音声が入力されると、主
記憶装置２上にあるシステム利用時間中に音声が入力さ
れた時刻がバッファメモリＴＧ［］に利用時刻として格
納されていく。入力された音声自体は、音声入力プログ
ラム１７１に従い、Ａ／Ｄ変換によりディジタル音声信
号に変換される。Ａ／Ｄ変換処理は、ソフトウエア又は
ハードウエアのいずれかを用いた処理でよい。続いて、
特徴抽出プログラム１７２が起動され、該ディジタル音
声信号を、１０ｍｓのフレーム周期で、特徴ベクトルと
して、例えば、斉藤、中田「音声情報処理の基礎」（オ
ーム社、昭５６）記載のＬＰＣケプストラム係数の時系
列に変換される。なお、主記憶装置１上のバッファメモ
リＰ、Ｑ及びタスク処理番号を格納するメモリであるＴ
Ｆをシステム立上り時にゼロリセットしておく。ポイン
ティング認識プログラム１８は、ユーザの指先或いはペ
ン等が、タッチパネル５に触れた時の接触座標をパネル
制御装置３を通じて取り込み、座標を取り込む毎にＰを
インクリメントし、さらに主記憶装置２のポインティン
グ領域テーブル中に、座標入力時刻を配列メモリＴ[P]
へ、取り込んだｘ座標を配列メモリＸ[Q][P]へ、ｙ座標
を配列メモリＹ[Q][P]へ書き込む。

【００４２】該ポインティング領域テーブルは、図８に
示すように、座標番号２００、座標入力時刻２０１、ｘ
座標２０２、ｙ座標２０３より構成されており、指がパ
ネルに触れた時の入力時刻、ｘ座標及びｙ座標データ
が、入力された順序で座標番号１から格納されていく。
また指先或いはペン等がタッチパネル５を離れてから一
定時間Ｔ１が経過するとバッファメモリＱがインクリメ
ントされ、一定時間Ｔｏが経過すると書き込みを終了す
る。

【００４３】次に、標準パタンマッチングプログラム１
７３と辞書マッチングプログラム１７４が起動される。
辞書マッチングプログラム１７４起動時に用いられる単
語辞書２７は、図９に示す様に、単語２３１と、単語内
容２３２、概念番号２３３よりなる。該概念番号は、意
味が類似している単語を分類した識別番号である。ま
ず、先程求められた特徴ベクトルと音声標準パタンデー
タ２２とのマッチングが、例えば、北原他「音声入力に
よる情報検索システムにおける口語文受理方法の検討」
（日本音響学会、35-7、平３）に記載の方法で行われ、そ
の結果、入力音声は文字列に変換される。例えば、“い
すをこちらにいどうして。"となる。この場
合、該文字列は、従来から行われている方法、例えば、
相沢他「計算機によるカナ漢字変換」(NHK技術研究、25、
5、昭４８)に記載されているような最長一致法を用いて
形態素解析され、さらに単語辞書とのマッチングが行わ
れた結果、（いす、対象物名詞、５００１）、（を、対
象物指示格助詞、９０４）、（こちら、場所指示代名
詞、６０１）、（に、場所指示格助詞、９０５）、（複
写、複写動詞、７０３）の様な形態素情報が得られる。
コマンド記憶メモリＣｏｍには、“複写して”の概念を
示すコマンドの番号が入力されて、Ｃｏｍ＝７０３とな
る。次に、情報統合プログラム１９が起動され、指示代
名詞（こちら）は、本例の場合１個であるため、システ
ムとしては、ユーザがポインティングした結果得られた
座標値群Ｘ[1][p]、Y[1][p]が複写位置を指示している
と認定する。つまり、座標値（Ｘ[1][1]、Y[1][1]）を
複写位置とする。この結果、本例の場合、（いす、対象
物名詞、５００１）の対象物番号と前記図形描画テーブ
ルの単語番号とを照合した結果から図形番号5001001が
抽出され、対象物番号ＴＨ［ｍ］（ｍ＝１〜ｎ）に該図
形番号が、ＴＨ［１］＝5001のように入力される。

【００４４】まず、Ｃｏｍ［１］＝７０３により“複
写”操作が行なわれ、選択された図形番号5001001であ
るいすは、主記憶装置２上の座標値Ｘ[1][1]、Y[1][1]
に複写される。１つのタスクが終了すると、図形描画テ
ーブルが書き替えられ、さらにタスク処理番号ＴＦがイ
ンクリメントされる。ここでは、前記タスク処理番号Ｔ
ＦがインクリメントされてＴＦ＝２となる。

【００４５】以上が本発明のインテリアデザイン支援シ
ステムの移動の実施形態である。

【００４６】続いて本システムのインターフェースにお
けるユーザ支援機能（以下エージェント機能）について
説明する。

【００４７】まずユーザが”椅子をこちらに移動して”
と、音声入力し、かつ移動先をポインティング入力す
る。この際に、音声認識プログラム１７により、”移
動”を”複写”と誤認識した場合について示す。

【００４８】システムによる複写処理を見て、ユーザが
音声によって“違う、移動”と発声すると、その発生に
対して音声認識が行なわれ、（違う、否定動詞、７０
４）、（移動、移動動詞、７０２）が抽出される。否定
動詞７０４が抽出された場合はerror＝＋１；とする。
否定動詞７０４が抽出されたことによって、（現在のＴ
Ｆの値）−１＝ｍｎの値が図形番号ＴＨ［］とコマンド
番号Ｃｏｍ［］の配列番号に入力され、ＴＨ［ｍｎ］、
Ｃｏｍ［ｍｎ］となる。

【００４９】次に、対話制御プログラム１７によって、
否定語の後に入力された動詞“移動”７０２が、Ｃｏｍ
［ｍｎ］＝７０３に置き換えられ、Ｃｏｍ［ｍｎ］＝７
０３となり、（現在の描画テーブル番号）−１のテーブ
ルが検索され、該番号の描画テーブルによって書き替え
られる。ここで、複数回、認識誤りの訂正を行なった場
合、即ち、ＴＦの値が変化すること無く、error変数が
２度以上インクリメントされた場合には、ウィンドウＢ
に表示された人物像の表情、動作、姿勢等をファイル形
式で持つ画像データ２９を用いて、例えば、特願平4-23
5-627「手話学習装置」に記載の方法で、変化させる。
図１０の１０１にウィンドウＢの人物像が陳謝している
動作を示す。

【００５０】他のエージェント機能として、秘密情報に
対する編集支援を示す。

【００５１】例えば、ユーザから“金庫を置く場所を探
して。”というコマンドを入力された場合には、前記音
声認識方法で（金庫、秘・名詞、５０１）、（場所、名
詞、５０２）、（探して、捜索動詞、３１１）が抽出さ
れる。秘・名詞が含まれていることが検出されると、３
次元ＣＧ表示は、３次元ＣＧ合成出力プログラムによっ
て、ウィンドウＢに表示される人物像の図１１に示すよ
うに小さくなる。次に、秘・名詞に関する編集作業で有
ることが認識されると画像認識プログラム２４が起動さ
れ、画像認識用のカメラ１４によって取り込まれた画像
情報を画像認識制御装置によって解析して、ディスプレ
イの前にいる人画像を抽出する。

【００５２】予め登録されたユーザ以外の人画像のみが
認識される場合には、細かい場所の表現については、文
書表示によって示したり、３次元ＣＧによってさらに詳
しく表現する。音声出力については、前記音声出力制御
プログラムにより、音声波形辞書２８の詳しい内容を格
納しているファイルを用いて該内容を、音量を下げて出
力する。

【００５３】ディスプレイに向かっている人画像が複数
認識され、その中に予め登録されたユーザ以外の人画像
がいる場合には、状態認識プログラム２５によって音声
出力制御プログラムが起動され、該プログラムによって
音声波形辞書２８から出力される。音声波形辞書２８
は、図１２に示すように、音声波形ファイルと文字列デ
ータから構成されており、音声出力の場合には、音声波
形ファイルを用い、文書表示の場合には、文字列データ
を用いて出力する。また、該視線認識プログラム２３に
よって、ユーザの視線がディスプレイ４に向いている時
間ＩＲが、例えば１２０ｓ以上となり、同時に音声入力
時間がその間に無い場合には、対話制御プログラム２１
が起動され、音声波形辞書を用いて前記音声出力制御プ
ログラム２０及び前記３次元ＣＧ合成出力プログラムに
より、エージェントから入力促進が行なわれ、ユーザの
状態をシステムが把握することになる。また、前記音声
出力制御プログラム２０によってシステムから音声出力
が行なわれている間に（ＩＲ＿Ｘ[ｎ］、ＩＲ＿Ｙ
[ｎ］）がエージェントの表示座標領域外にある時間が
Ｎ≧１０であった場合にはエージェントの画像表示を取
り消す。

【００５４】次に他のエージェント機能の例を示す。

【００５５】ユーザからの入力が曖昧である場合の支援
機能である。例えば、図１３に示す図形描画テーブルで
描かれた画面で、“いすをこちらに移動して”と指示し
た場合、いすは複数個存在するために、システムは編集
対象とすべき１個の椅子を確定出来ない。ここで、過去
の操作履歴を参照する。つまり、主記憶装置２上にある
ＴＨ［ｍｐ］（ｍｐ＝１〜ｎ）において、上４桁に5003
を持つ値のうちｍｐの値が最も高いＴＨ［ｍｐ］を対象
物候補とする。これは、直近に操作の対象となったもの
が、今回の操作の対象になる可能性が高いからである。
続いてシステムは、音声出力、あるいはCG表示、あるい
は音声出力及びCG表示の両方を用いて、ユーザの入力で
は対象物候補が特定できないこと及びシステムが特定し
た対象物候補をユーザに対して示す。

【００５６】また、現在利用している間に記録されてい
る、主記憶装置２上にある音声入力時間ＳＲがＳＲ
[5][]である場合、ＳＲ[1][]からＳＲ[4][]までの10文
字列単位における平均時間とＳＲ[5][]における文字列1
0文字列単位の入力時間の比較において、有位差がある
場合には、システムからの応答を３次元ＣＧでのみ行な
ったり、前記音声出力制御プログラムによって音声出力
速度を上げる。

【００５７】更に他のエージェント機能の例を示す。本
システムでは前述したとおりユーザの視線は視線入力装
置５−３により取り込まれ、ユーザのディスプレイの注
視位置を監視している。この時、ウィンドウＢにユーザ
の視線が殆ど向くことが無い場合には、ユーザに対する
操作支援は、ウィンドウＢの人物像によるジェスチャで
の表現ではなく音声出力によって示すようにする。つま
り、ユーザの視線位置とその時刻を監視し、視線位置が
ウィンドウＢにある時間が所定値以下の場合には、シス
テムはウィンドウＢが不要であると判断し、ウィンドウ
Ｂを削除又は表示をアイコンかする等して縮小する。

【００５８】ユーザが音声出力のみから情報を得たい場
合には、例えば、音声で“ＣＧ表示なし”と入力する。
この入力音声を音声認識プログラム１７で認識しウィン
ドウＢに関する画像表示制御プログラム２２を止める。
これにより、ウィンドウＢのＣＧ表示は消去される。ウ
ィンドウＢの人物像のジェスチャによる情報の画像デー
タのアドレス情報は、音声出力データに変換され、音声
出力制御プログラムにより音声を利用して出力される。
画像データから音声データへの変換は、予め画像データ
テーブルに記録された音声データアドレスを参照するこ
とでより行なわれる。なお、音声データアドレスは、音
声出力プログラム中の音声データのアドレスを示す。

【００５９】更に他のエージェント機能の例を示す。

【００６０】システム側は状態認識プログラム２５によ
りユーザが直前に粗さしたコマンドの内容を保持する。
さらにその直前のコマンドと同じコマンドが連続して入
力漁れた場合には、その回数も保持する。

【００６１】ユーザが複数回、同様の操作を行なう（例
えば、複写を何度も繰り返す）場合を仮定する。システ
ムは同じコマンドの連続入力回数をチェックし、所定回
数（例えば３回）を超えるとシステム側から、“複写す
る対象物を全て指示してもらえれば、複写いたしま
す。”というように、次の操作を教示するメッセージを
出力する。この出力は文字表示でも音声メッセージのい
ずれでもよい。このシステムメッセージに対しユーザか
ら”はい”という肯定を示す返答が有ると、システム側
が教示した操作を実行する。ユーザから”いいえ”等の
否定を示す返答が有ると、同じコマンドの連続入力回数
が所定数を超えても、該コマンドの入力回数が一旦クリ
アされる迄は、連続ユーザの操作を支援するメッセージ
の出力を控える。

【００６２】また、システムが音声出力や操作を行なっ
ている間に、ユーザからの割り込み、例えば“赤は何種
類あるのですか。”と入力された場合には、前記対話制
御プログラムによって、現在行なっている処理を中断
し、該入力情報についての処理を先に行なう。

【００６３】また、中断された音声出力情報である音声
波形ファイル番号、或いは操作処理内容であるＴ
Ｈ［］、Ｃｏｍ［］については、それぞれ主記憶装置２
上にある中断音声出力バッファＩｎｔｒＳＲ［h］、中
断処理バッファＩｎｔｒＥｘｅ[h]構造体(h=1〜n)に格
納され、該入力情報についての処理が行なわれた後、Ｉ
ｎｔｒＥｘｅ[h]の処理が行なわれる。

【００６４】

【発明の効果】対話型エージェントを表示し、かつ応答
文を発声させることでヘルプ機能及びユーザの曖昧な入
力、入力エラー等への対処を可能とした。

【００６５】具体的には、少なくとも、情報を表示する
情報表示手段と、ユーザがポインティングジェスチャ等
により連続した位置情報を入力する位置情報入力手段
と、音声情報を入力する音声情報入力手段と、前記入力
手段により入力された位置情報及び音声情報を一時的に
記憶する入力情報記憶手段と、音韻／音節或いは単語情
報を表現する音響標準パタンと文法情報を記憶する言語
情報記憶手段と、音声による出力に用いる音声内容を記
憶する音声情報記憶手段とを、描画に当たって用いる描
画或いは表示情報を記憶する描画情報記憶手段と、前記
入力手段により入力された音声を前記言語情報記憶手段
に記憶されている音韻／音節或いは単語情報を表現する
音響標準パタンもしくは文法情報のうちの少なくとも１
つの情報を用いて照合する音声情報解析手段と、前記音
声情報記憶手段により記憶されている音声情報波形によ
って音声情報を出力する音声出力手段と、前記描画情報
記憶手段を用いて画像を合成出力する画像出力手段と、
ユーザの操作履歴を記憶する操作履歴記憶手段を有する
情報処理装置において、ユーザの入力エラー、及び待ち
状態に関する利用状態、利用環境を抽出するシステム利
用状態抽出手段を備え、該情報表示手段及び該画像出力
手段によってエージェントを画面に表示するエージェン
ト表示制御手段と、該システム利用状態抽出手段によっ
て抽出された情報に応じてエージェントの動作を表示
し、かつ該動作に同期、或いは非同期に該音声出力手段
によってエージェントの発する音声内容を制御する音声
内容制御手段を備えることにより、システムの操作過程
や操作段階に応じてエージェントの表示方法を変化させ
る様に動作し、ユーザにとって理解しやすい出力を提供
することが可能になった。

【００６６】また、前記音声情報解析手段によって抽出
された単語情報や前記入力情報記憶手段に記憶されたポ
インティング情報等を格納する意図表現情報スロット
と、ユ−ザの各入力毎に該意図表現情報スロットの格納
状態を検査し、システム利用状態を判定する手段とを、
システム利用状態抽出手段として備え、該スロットが必
要情報で完全に埋まるまで、該必要な情報の属性に対す
るユーザの入力形態を判断し、該入力形態によってユー
ザが必要な情報を入力するようにエ−ジェントを用いて
ユーザを誘導することを第１の特徴とし、さらに認識エ
ラーが起り、誤った操作が行なわれた場合には、誤って
いる箇所のみを音声入力することによってユーザが能動
的にエラーに対して対処可能となる機能を持つことを第
２の特徴とするエージェント型インタフェースを備える
ことにより、ユーザが入力した否定語及び訂正用語を理
解し、訂正部分について操作をやりなおす様に動作し、
ユーザが簡便にエラー処理を行なうことが可能になっ
た。

【００６７】また、システム利用状態抽出手段として、
ユーザの一連の操作における無入力状態の存在を検出
し、かつ一連の操作が完結していない事を判定する機能
を備え、該無入力状態が検出された場合に、エージェン
トがユーザに対して問いかけを行なうことによってユー
ザ状態を把握し、該状態に応じたユーザ支援を行なうこ
とを可能にする機能を持つことを特徴とするエージェン
ト型インタフェースを備えることにより、ユーザからの
入力を促進するように動作し、ユーザ状態を能動的に把
握してスムーズな入力が可能になる。

【００６８】また、エージェントの表示制御手段とし
て、３次元グラフィックス、動画、静止画のうち１種或
いは複数種を用いて情報を提示する機能を有することを
特徴とするエージェント型インタフェースを備えること
により、システムの動作過程や、画像認識や音声認識結
果からユーザのシステム利用状態を把握する様に動作
し、ユーザへの応答形態を判断することが可能になっ
た。

【００６９】また、エージェントの表示制御手段、及び
エ−ジェントの発声内容制御手段として、前記システム
利用状態抽出手段によって抽出された情報に応じてユー
ザ状態を把握することによって、ユーザに対するエ−ジ
ェントの応答を、音声出力及び画像出力によって行なっ
たり、画像出力によるジェスチャのみによって行なった
り、文書表示のみで行なったりすることを判定する機能
を設けたことを特徴とするエージェント型インタフェー
スを備えることにより、ユーザのシステム利用状態から
システムの応答形態を判断する様に動作し、ユーザにと
って理解しやすい出力の提供が可能になった。

【００７０】また、エージェントの表示制御手段、及び
エ−ジェントの発声内容制御手段として、発声出力する
内容に応じて、音声出力の音量を調節したり、エージェ
ント表示部分やジェスチャ動作範囲を拡大或いは縮小し
たりする機能を持つことを特徴とするエージェント型イ
ンタフェースを備えることにより、ユーザのシステム利
用状態に応じて音声出力の音圧を変化させたり、エージ
ェントのジェスチャ動作範囲等を変化させるように動作
し、ユーザの要求に合った出力を提供することを可能に
する。

【００７１】また、表示、発声するエ−ジェントの機能
として、ユ−ザからの要求など、必要に応じて前記情報
処理装置の操作手順や可能な入力、操作内容などに関す
る説明を行うことを可能にするヘルプ機能を持つことを
特徴とするエージェント型インタフェースを備えること
により、ユーザに必要な情報を能動的に与えるように動
作し、ユーザへの適切な支援が可能となる。また、表
示、発声するエ−ジェントの機能として、前記エ−ジェ
ントによる誘導と、前記認識エラーへの対処の際に、適
宜必要なガイダンスを行なうことを可能にするガイダン
ス機能を持つことを特徴とするエージェント型インタフ
ェースを備えることにより、ユーザの操作過程に応じて
ガイダンスを行なうように動作し、ユーザへの適切な支
援が可能となる。また、表示、発声するエ−ジェントの
機能として、前記操作履歴記憶手段によって記憶された
ユーザの操作履歴を用いて、ユーザが或るタスクに対し
てひとつの操作方法をとった場合、該操作方法より有効
な他の操作方法がある場合には、ユーザに対して該操作
方法についてガイダンスを行なうことを可能にするガイ
ダンス機能を持つことを特徴とするエージェント型イン
タフェースを備えることにより、ユーザが情報を複数回
同じ入力方法で入力した場合には、エージェントにより
ユーザに対してショートカットの方法を指示する様に動
作し、ユーザの作業効率を上げることを可能にする。

【００７２】また、表示、発声するエ−ジェントの機能
として、ユーザの入力情報に対して曖昧な表現を検知す
る手段を備え、該曖昧な表現が検知された場合に、前記
操作履歴記憶手段によって記憶されたユーザの操作履歴
情報を利用して、ユーザの意図候補を判定し、ユーザに
提示することによってユーザの意図を確認する機能を持
つことを特徴とするエージェント型インタフェースを備
えることにより、ユーザの曖昧な表現に対してユーザ意
図候補を複数抽出し、ユーザに意図を確認する様に動作
し、ユーザにとって簡便なエラー処理が可能になった。

【００７３】また、表示、発声するエ−ジェントの機能
として、ユーザの意図を抽出した結果から、ユーザが必
要としている情報を情報が格納されているデータベース
にアクセスして探索し、各探索段階において解が複数あ
る場合には、ユーザに対してその都度問いかけを行なっ
て正当解を抽出する確認機能を持つことを特徴とするエ
ージェント型インタフェースを備えることにより、各操
作段階における複数解をユーザに対して提示し、ユーザ
の意図を理解するように動作し、ユーザにとって簡便な
入出力が可能になった。

【００７４】また、エ−ジェントの機能として、ユーザ
の入力速度を記憶する入力速度記憶手段と、該入力速度
記憶手段によって記憶された入力速度から、ユーザに対
する応答手段及び応答内容を判断する機能を持ち、該判
断に従ってユーザに対するエージェント表示及び音声出
力を行なう学習機能を持つことを特徴とするエージェン
ト型インタフェースを備えることにより、ユーザがゆっ
くりと情報を入力している場合には、出力情報量を増や
したり、出力速度を下げたりし、早めに情報を入力して
いる場合には、出力情報量を少なくしたり、出力速度を
下げたりする様に動作し、ユーザのシステム利用状態に
対応した出力を提供することを可能になった。

【００７５】また、エージェントの機能として、視線認
識手段を備え、ユーザの視線方向によってエージェント
を目視しているかどうかを判断し、ユーザがエージェン
ト機能を必要としない場合には、エージェントの表示と
音声による発声を消去する学習機能を持つことを特徴と
するエージェント型インタフェースを備えることによ
り、ユーザがシステムを利用するに当たって、エージェ
ントの表示に対して視線を向けない時が多い場合には、
ユーザへのエージェント出力を取りやめたりする様に動
作し、ユーザにとって操作の妨げにならないようにする
ことを可能になった。

【００７６】また、エージェントの機能として、システ
ムが応答を返しているあいだに、ユーザが他の作業要求
を行なった場合には、応答出力を中断して、該作業要求
に対する応答を先に行ない、中断された該応答出力の内
容は、音声出力内容記憶手段によって一時的に記憶する
機能を持つことを特徴とするエージェント型インタフェ
ースを備えることにより、ユーザによる割り込みが入っ
た場合に、システムは、割り込みによる操作を先に行な
い、割り込み前の操作については該操作内容を記憶して
おく様に動作し、ユーザ主導の操作を可能になった。

【００７７】また、エージェントの機能として、システ
ムの誤認識が連続して起きた場合、エージェントの音声
出力方法や内容、及びエージェントの表情を、誤認識の
回数及び該システム利用状態抽出手段によって抽出され
たユーザの状態に応じて変化させる機能を持つことを特
徴とするエージェント型インタフェースを備えることに
より、誤認識の頻度に応じてエージェントの音声の韻律
や表情を制御することによってシステムの態度を制御す
るように動作し、ユーザが快適にシステムを利用するこ
とを可能になった。

【００７８】また、エージェントの表示制御手段、及び
エ−ジェントの発声内容制御手段として、ユーザの要求
に応じて、システムの応答手段を選択する機能を持つこ
とを特徴とするエージェント型インタフェースを備える
ことにより、ユーザが情報の出力方法を指示するとシス
テム側からは、指示された該出力方法によって情報を出
力するように動作し、ユーザの好みに合った情報出力を
可能になった。

【００７９】

【図面の簡単な説明】

【図１】本発明のシステム全体の構成例である。

【図２】本発明のシステムのディスクの記憶内容を示す
図である。

【図３】本発明のディスプレイ表示画面例である。

【図４】図形描画テーブル構成図である。

【図５】画像表示制御プログラムの構成図である。

【図６】音声認識プログラムの構成図である。

【図７】本発明のシステムへの入力画面である。

【図８】ポインティング領域テーブルである。

【図９】単語辞書のデータ構造である。

【図１０】本発明のディスプレイ表示画面例である。

【図１１】本発明のディスプレイ表示画面例である。

【図１２】音声波形辞書の内容例である。

【図１３】本発明のディスプレイ表示画面例である。

【図１４】本発明の処理動作を示すフローチャートであ
る。

【図１５】本発明の処理動作を示すフローチャートであ
る。

【図１６】処理の訂正動作を示すフローチャートであ
る。

【図１７】秘密名詞が含まれた処理のを示すフローチャ
ートである。

【図１８】ユーザからの曖昧入力に対する処理を示すフ
ローチャートである。

【図１９】ユーザ入力状況に対してシステムの出力変更
を示すフローチャートである。

【図２０】ユーザに簡易処理を提案する際のフローチャ
ートである。

【図２１】ユーザに入力を促がす動作を示すフローチャ
ートである。

【符号の説明】

１…ＣＰＵ、２…主記憶装置、７…ディスク、１５…シ
ステムプログラム、１６…図形編集プログラム、１７…
音声認識プログラム、１８…ポインティング認識プログ
ラム、１９…情報統合プログラム、２０…音声出力制御
プログラム、２１…対話制御プログラム、２２…画像表
示制御プログラム、２３…視線認識プログラム、２４…
画像認識プログラム、２５…状態認識プログラム、２６
…音声標準パタンデータ、２７…単語辞書、２８…音声
波形辞書、２９…画像データが記憶２０２１…ウインド
ウＡ、２０２２…絵、２０２３…電灯、２０２４…植
木、２０２５…椅子、（２６−１，２６−２）…机２
個、２０２７…ウインドウＢ、２９…画像データ、４０
…図形描画テーブル、４１…部品名、４２…個々の部品
の識別番号、４３，４４…表示位置を示す座標、（４
５，４６）…部品の大きさ、４７…テーブル番号、２２
…画像表示制御プログラム、２２１…３次元ＣＧ合成出
力プログラム、２２２…動画表示プログラム、２２３…
静止画表示プログラム、４，５…入出力装置、５−１…
タッチパネル、５−２…マイク、５−３…視線入力装
置、５−４…カメラ。

Claims

【特許請求の範囲】

【請求項１】少なくとも、情報を表示する情報表示手段
と、ユーザがポインティングジェスチャ等により連続し
た位置情報を入力する位置情報入力手段と、音声情報を
入力する音声情報入力手段と、前記入力手段により入力
された位置情報及び音声情報を一時的に記憶する入力情
報記憶手段と、音韻／音節或いは単語情報を表現する音
響標準パタンと文法情報を記憶する言語情報記憶手段
と、音声による出力に用いる音声内容を記憶する音声情
報記憶手段とを、描画に当たって用いる描画或いは表示
情報を記憶する描画情報記憶手段と、前記入力手段によ
り入力された音声を前記言語情報記憶手段に記憶されて
いる音韻／音節或いは単語情報を表現する音響標準パタ
ンもしくは文法情報のうちの少なくとも１つの情報を用
いて照合する音声情報解析手段と、前記音声情報記憶手
段により記憶されている音声情報波形によって音声情報
を出力する音声出力手段と、前記描画情報記憶手段を用
いて画像を合成出力する画像出力手段と、ユーザの操作
履歴を記憶する操作履歴記憶手段を有する情報処理装置
において、ユーザの入力エラー、及び待ち状態に関する
利用状態、利用環境を抽出するシステム利用状態抽出手
段を備え、該情報表示手段及び該画像出力手段によって
エージェントを画面に表示するエージェント表示制御手
段と、該システム利用状態抽出手段によって抽出された
情報に応じてエージェントの動作を表示し、かつ該動作
に同期、或いは非同期に該音声出力手段によってエージ
ェントの発する音声内容を制御する音声内容制御手段を
有することを特徴とするエージェント型インタフェース
を具備した音声利用情報処理装置。
【請求項２】請求項１に記載の音声利用情報処理装置に
おいて、前記音声情報解析手段によって抽出された単語
情報や前記入力情報記憶手段に記憶されたポインティン
グ情報等を格納する意図表現情報スロットと、ユ−ザの
各入力毎に該意図表現情報スロットの格納状態を検査
し、システム利用状態を判定する手段とを、システム利
用状態抽出手段として備え、該スロットが必要情報で完
全に埋まるまで、該必要な情報の属性に対するユーザの
入力形態を判断し、該入力形態によってユーザが必要な
情報を入力するようにエ−ジェントを用いてユーザを誘
導することを第１の特徴とし、さらに認識エラーが起
り、誤った操作が行なわれた場合には、誤っている箇所
のみを音声入力することによってユーザが能動的にエラ
ーに対して対処可能となる機能を持つことを第２の特徴
とするエージェント型インタフェースを具備した音声利
用情報処理装置。
【請求項３】請求項１に記載の音声利用情報処理装置に
おいて、システム利用状態抽出手段として、ユーザの一
連の操作における無入力状態の存在を検出し、かつ一連
の操作が完結していない事を判定する機能を備え、該無
入力状態が検出された場合に、エージェントがユーザに
対して問いかけを行なうことによってユーザ状態を把握
し、該状態に応じたユーザ支援を行なうことを可能にす
る機能を持つことを特徴とするエージェント型インタフ
ェースを具備した音声利用情報処理装置。
【請求項４】請求項１に記載の音声利用情報処理装置に
おいて、エージェントの表示制御手段として、３次元グ
ラフィックス、動画、静止画のうち１種或いは複数種を
用いて情報を提示する機能を有することを特徴とするエ
ージェント型インタフェースを具備した音声利用情報処
理装置。
【請求項５】請求項１に記載の音声利用情報処理装置に
おいて、エージェントの表示制御手段、及びエ−ジェン
トの発声内容制御手段として、前記システム利用状態抽
出手段によって抽出された情報に応じてユーザ状態を把
握することによって、ユーザに対するエ−ジェントの応
答を、音声出力及び画像出力によって行なったり、画像
出力によるジェスチャのみによって行なったり、文書表
示のみで行なったりすることを判定する機能を設けたこ
とを特徴とするエージェント型インタフェースを具備し
た音声利用情報処理装置。
【請求項６】請求項１に記載の音声利用情報処理装置に
おいて、エージェントの表示制御手段、及びエ−ジェン
トの発声内容制御手段として、発声出力する内容に応じ
て、音声出力の音量を調節したり、エージェント表示部
分やジェスチャ動作範囲を拡大或いは縮小したりする機
能を持つことを特徴とするエージェント型インタフェー
スを具備した情報処理装置。
【請求項７】請求項１に記載の音声利用情報処理装置に
おいて、表示、発声するエ−ジェントの機能として、ユ
−ザからの要求など、必要に応じて上記音声利用情報処
理装置の操作手順や可能な入力、操作内容などに関する
説明を行うことを可能にするヘルプ機能を持つことを特
徴とするエージェント型インタフェースを具備した音声
利用情報処理装置。
【請求項８】請求項２に記載の音声利用情報処理装置に
おいて、表示、発声するエ−ジェントの機能として、上
記第１の特徴であるエ−ジェントによる誘導と、上記第
２の特徴である認識エラーへの対処の際に、適宜必要な
ガイダンスを行なうことを可能にするガイダンス機能を
持つことを特徴とするエージェント型インタフェースを
具備した音声利用情報処理装置。
【請求項９】請求項１に記載の音声利用情報処理装置に
おいて、表示、発声するエ−ジェントの機能として、前
記操作履歴記憶手段によって記憶されたユーザの操作履
歴を用いて、ユーザが或るタスクに対してひとつの操作
方法をとった場合、該操作方法より有効な他の操作方法
がある場合には、ユーザに対して該操作方法についてガ
イダンスを行なうことを可能にするガイダンス機能を持
つことを特徴とするエージェント型インタフェースを具
備した音声利用情報処理装置。
【請求項１０】請求項１に記載の音声利用情報処理装置
において、表示、発声するエ−ジェントの機能として、
ユーザの入力情報に対して曖昧な表現を検知する手段を
備え、該曖昧な表現が検知された場合に、前記操作履歴
記憶手段によって記憶されたユーザの操作履歴情報を利
用して、ユーザの意図候補を判定し、ユーザに提示する
ことによってユーザの意図を確認する機能を持つことを
特徴とするエージェント型インタフェースを具備した音
声利用情報処理装置。
【請求項１１】請求項１に記載の音声利用情報処理装置
において、表示、発声するエ−ジェントの機能として、
ユーザの意図を抽出した結果から、ユーザが必要として
いる情報を情報が格納されているデータベースにアクセ
スして探索し、各探索段階において解が複数ある場合に
は、ユーザに対してその都度問いかけを行なって正当解
を抽出する確認機能を持つことを特徴とするエージェン
ト型インタフェースを具備した音声利用情報処理装置。
【請求項１２】請求項１に記載の音声利用情報処理装置
において、エ−ジェントの機能として、ユーザの入力速
度を記憶する入力速度記憶手段と、該入力速度記憶手段
によって記憶された入力速度から、ユーザに対する応答
手段及び応答内容を判断する機能を持ち、該判断に従っ
てユーザに対するエージェント表示及び音声出力を行な
う学習機能を持つことを特徴とするエージェント型イン
タフェースを具備した音声利用情報処理装置。
【請求項１３】請求項１に記載の音声利用情報処理装置
において、エージェントの機能として、視線認識手段を
備え、ユーザの視線方向によってエージェントを目視し
ているかどうかを判断し、ユーザがエージェント機能を
必要としない場合には、エージェントの表示と音声によ
る発声を消去する学習機能を持つことを特徴とするエー
ジェント型インタフェースを具備した音声利用情報処理
装置。
【請求項１４】請求項１に記載の音声利用情報処理装置
において、エージェントの機能として、システムが応答
を返しているあいだに、ユーザが他の作業要求を行なっ
た場合には、応答出力を中断して、該作業要求に対する
応答を先に行ない、中断された該応答出力の内容は、音
声出力内容記憶手段によって一時的に記憶する機能を持
つことを特徴とするエージェント型インタフェースを具
備した音声利用情報処理装置。
【請求項１５】請求項１に記載の音声利用情報処理装置
において、エージェントの機能として、システムの誤認
識が連続して起きた場合、エージェントの音声出力方法
や内容、及びエージェントの表情を、誤認識の回数及び
該システム利用状態抽出手段によって抽出されたユーザ
の状態に応じて変化させる機能を持つことを特徴とする
エージェント型インタフェースを具備した音声利用情報
処理装置。
【請求項１６】請求項１に記載の音声利用情報処理装置
において、エージェントの表示制御手段、及びエ−ジェ
ントの発声内容制御手段として、ユーザの要求に応じ
て、システムの応答手段を選択する機能を持つことを特
徴とするエージェント型インタフェースを具備した音声
利用情報処理装置。
【請求項１７】編集対象およびその編集結果を表示する
表示手段と、該編集対象に対する編集命令を入力する複
数種類の入力手段と、該編集対象に対する編集状況を出
力する出力手段と、該編集命令に対応する操作を特定し
て該操作を実行するように制御する制御手段と、過去の操作履歴を記憶する記憶手段とを備え、該操作履歴を参照して次に行なうべき操作の候補を特定
する手段と、該操作の候補の内容を音声又は画像により
提案することを特徴とする編集支援システム。
【請求項１８】請求項１７において、上記操作履歴とし
て過去の該編集命令の内容と該編集命令の入力時刻を記
憶し、同じ編集命令が連続して所定回数を超えた場合に
は、外部からの編集命令がなくとも該同じ編集命令を繰
り返すように待機し、該待機の状態を上記編集状況とし
て出力すること特徴とする編集支援システム。
【請求項１９】請求項１７において、上記操作履歴とし
て過去の該編集命令の内容と該編集命令の入力時刻を記
憶し、直前の編集命令の入力時刻から所定時間を経過し
た際には、該経過時間に応じて編集命令の入力を促進す
るようメッセージを出力すること特徴とする編集支援シ
ステム。
【請求項２０】請求項１７において、直前の編集命令に
対して、該入力手段から該直前の編集命令の否定及び訂
正を示す内容が入力された場合、該直前の編集命令の編
集対象に対して訂正された内容を実行した結果を出力す
ることを特徴とする編集支援システム。
【請求項２１】請求項１７において、上記編集状況を出
力する出力手段は、上記表示手段に表示された部分領域
であり、該部分領域に表示された画像を編集状況により
変化させることを特徴とする編集支援システム。