JPH06103052A

JPH06103052A - 自然言語操作支援装置

Info

Publication number: JPH06103052A
Application number: JP4251008A
Authority: JP
Inventors: Natsuyuki Ono; 奈津志小野
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1992-09-21
Filing date: 1992-09-21
Publication date: 1994-04-15

Abstract

(57)【要約】【目的】メニュー方式のユーザインタフェースにおい
て、ユーザが文字または音声で実行したい機能を入力す
ることによって、ユーザの所望の機能を実行させること
を可能にする。【構成】従来の操作支援装置に自然言語解析手段と操
作手順導出手段を設け、ユーザが「ある機能を実行した
い」という内容の文字列を入力手段から入力した場合、
ユーザが望む機能を言語解析手段によって解析し、さら
に操作手順導出手段によって「その機能を実現するため
にはどういう手順でメニューを操作したらいいか」を導
出し、導出した結果にしたがってユーザの所望する機能
を実行する。【効果】上記構成によって、ユーザがある機能を実行
したい場合に、実行したい機能を入力するだけでその機
能を実行できるため、効率的な作業が期待できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、自然言語でユーザの要
求を入力して、その入力に基づいて機能を実行する自然
言語操作支援装置に関するものである。

【０００２】

【従来の技術】近年、ユーザインターフェースとしてメ
ニュー方式が広く使われている。メニュー方式ではユー
ザが実行したい機能をマウスなどのポインティング・デ
バイスによって指示することによって所望の機能を実行
させることができる。また、メニューではユーザやアプ
リケーションの状態によって実行しても意味がない機能
や実行することが不可能な機能に対してはメニューに現
われないようにしたり、その機能がその時点では選択で
きないということが分かるような表示（例えばグレイ表
示）を行なうため、従来のコマンドを入力する方式に比
べて、ユーザの勘違いによって、ユーザの意図しない動
きをしたりすることがなく、また、特定のコマンドを覚
える必要がないので初心者にも使いやすいという特徴を
もっている。

【０００３】しかしながら、メニュー方式では機能項目
が増大すると一つのメニューの中にたくさんの項目が並
ぶため、ユーザが所望の項目を探すのに大きな労力を必
要とする。そこで、通常はメニューに階層構造を導入し
て、同じ特徴をもった機能項目をグループ化しておき、
ユーザが機能グループを選択した後、その下位の機能項
目を選択するようにして、一度に多くの機能の中から所
望の機能を探さなくてもよいようになっている。

【０００４】このような階層メニュー方式では、ユーザ
がそのシステムに慣れて来ると「機能グループを選択し
てから機能項目を選択する」といった多段階の指示が煩
わしくなるという問題点をもっている。

【０００５】この問題に関しては、メニューに「ショー
ト・カット」、すなわち、特定の短いキー操作などによ
って多段階のメニュー項目選択操作を置き換える方法を
用意することによって使い勝手を向上させている。

【０００６】次に、以上述べたメニュー方式について具
体的なアプリケーションを例示してさらに詳しく説明す
る。

【０００７】あるワープロ・ソフトでは、ユーザが編集
した文書の中に図形を取り込んで、文書中に図形を配置
した文書を作成できるものがある。このような多機能な
アプリケーションでは前述のメニュー方式（以降、操作
支援装置と呼ぶ）が採用されている。

【０００８】例えば、ユーザが文書編集中に「下線を引
きたい」と思った場合に、まず、ユーザが下線を引きた
い範囲をマウスで範囲指定しておき、その後、メニュー
の「文字修飾」を選んで、さらに、その下のメニューの
「下線」を選択することで、下線を引くことが出来る。

【０００９】また、別の例では、ユーザが文書編集中に
「図形を書きたい」と思った場合、まず、メニューで
「文書保存」を選択することによって、現在編集中の文
書を一旦保存し、次に、メニューによって「図形編集」
なる機能項目を選択することによって図形編集のモード
に入る。この状態において、ユーザはメニューから「道
具箱」を選択し、道具箱の中の「円」、「矩形」などの
項目を選ぶことによって所望の図形を描くことが出来
る。そして、所望の図形ができあがったらメニューにて
「図形保存」を選択し、さらに、「文書編集」を選択
し、文書編集の状態に戻った後で「図形読込」を選択す
ることによって、先ほどの図形を文書中に取り込むこと
が出来る。

【００１０】

【発明が解決しようとする課題】しかしながら、以上説
明した従来の操作支援装置では、「ユーザが何かをした
い」と思ったときに、その機能項目がメニュー階層のど
こにあるかを予め知らなければならない。また、それを
知っていても多段階の操作手順が必要なので、システム
に慣れたユーザにとっては煩わしい。また、ショート・
カットが存在してもショート・カットは非常に短い、意
味のない文字列であることが多いため覚えにくい、など
の欠点をもっている。

【００１１】また、ユーザが望む機能が予め何かをやっ
ておかなければ実行できない機能である場合に、ユーザ
がせっかくメニューの階層の中を移動して所望の機能を
見つけても実行できない場合があった。上の例では、予
め範囲指定を行なわずして、下線を引こうとしても、メ
ニューの中の「下線」の項目がグレイ表示になっていて
選択することが出来なかった。このような場合、ユーザ
は範囲指定をしてから、いまやったのと同じ手順で再び
メニューの階層を下っていって所望の機能に到達しなけ
ればならなかった。

【００１２】さらに、前述のように「文書編集中に図形
を書きたい」というような「ある状態からある状態へ遷
移しなければならない」場合には、かなり複雑な手順に
よって、所望の動作を実行させなければならない。これ
には、アプリケーションの状態遷移をユーザがよく理解
しておく必要があり、また、ユーザが「文書編集中に図
形を書きたいと思った」場合に、予め、どういう状態遷
移によって、もしくはどういう操作手順によって、所望
の動作を実行させれば良いかを考えてから実行しなけれ
ばならない。

【００１３】しかしながら、以上述べたことは、ユーザ
がそのアプリケーションを使い込まなければ、簡単には
習得できない。そのため、一般のユーザは、メニューの
階層構造の中で試行錯誤を重ねながら所望の動作を実行
させなければならなかった。

【００１４】

【課題を解決するための手段】本発明は、この課題を解
決するため、入力された言語を文法辞書を用いて言語解
析し、要求されている機能を認識して、その要求を満た
すために実行すべき機能の手順を導出して表示するため
の操作手順導出手段を備える構成でなる。

【００１５】

【作用】上記構成により、上の例のような複雑な手順
も、ユーザが自然言語にて要求を入力することによっ
て、自然言語操作支援装置が自動的に複雑な手順を実行
するため、ユーザの負担が軽減される。

【００１６】

【実施例】以下、本発明の一実施例における自然言語操
作支援装置について図面を参照しながら説明する。

【００１７】図１は本発明の一実施例における自然言語
操作支援装置の機能ブロック図である。ここで、１は文
字の入力、以降入力する文字列が自然言語によるユーザ
の要求であるということの指示、及び以上の入力が自然
言語によるユーザの要求であるということの指示を行な
う入力手段、２はユーザがアプリケーションにおいて処
理の対象を指示し、また、メニューにおいては項目を選
択する指示手段である。

【００１８】３は入力手段１及び指示手段２からの入力
が得られた場合、その入力が後述する言語解析手段に対
するものか、もしくは後述するメニュー制御部に対する
ものか、もしくは後述する機能群に対するものかを判別
する入力イベント制御部、４はユーザが入力する言語に
おける単語の綴りや品詞の意味を格納した単語辞書であ
る。

【００１９】５はユーザが入力する言語における文法を
記憶した文法辞書、６は入力イベント制御部３によって
「言語解析手段に対するイベントである」と判定された
場合にはそのイベントを受け取って、単語辞書４と文法
辞書５を参照して自然言語として解析を行ない、「ユー
ザが何を要求しているか」を認識する自然言語解析手段
である。

【００２０】７はアプリケーションにおけるメニューの
階層構造を記憶したメニュー構造記憶部、８は自然言語
解析手段６が出力した結果とメニュー構造記憶部７を参
照し、「ユーザが何を要求しているか」に対して、「ユ
ーザの要求を満たすためには、どういう手順で機能を実
行すればよいか」を導出する操作手順導出手段である。

【００２１】９は入力イベント制御部３から送られてき
たイベントを「メニューに対する選択指示」であると解
釈し、後述する機能群の中の対応する機能を実行するメ
ニュー制御部である。

【００２２】１０はメニューに現われる機能項目に対応
した機能の集まりであり、入力イベント制御部３からイ
ベントが送られてきた場合はそのイベントによって所定
の動作をする機能群である。

【００２３】１１は自然言語解析手段６、メニュー制御
部９、及び機能群１０がユーザに対する表示のイメージ
を書き込むための表示管理部である。

【００２４】１２は表示管理部１１の内容を実際に表示
するための表示手段である。図２は本実施例の自然言語
操作支援装置の回路ブロック図であり、１３はキーボー
ド、１４はマウス、１５は中央処理装置（以下、ＣＰＵ
と略称する。）、１６は陰極線管ディスプレイ（以下、
ＣＲＴと略称する。）、１７はリードオンリーメモリ
（以下、ＲＯＭと略称する。）、１８はランダムアクセ
スメモリ（以下、ＲＡＭと略称する。）である。

【００２５】図１に示した入力手段１はキーボード１３
により、指示手段２はマウス１４により、単語辞書４と
文法辞書５とメニュー構造記憶部７と機能群１０はＲＯ
Ｍ１７により、表示管理部１１はＲＡＭ１８により、入
力イベント制御部３と自然言語解析手段６と操作手順導
出手段８とメニュー制御部９はＣＰＵ１５がＲＯＭ１７
およびＲＡＭ１８とデータのやりとりを行いながらＲＯ
Ｍ１７に記憶されたプログラムを実行することにより、
表示手段１２はＣＲＴ１６により、実現されている。

【００２６】上記のように構成された本発明の一実施例
における自然言語操作支援装置について、以下、この動
作をフローチャートにもとづき説明する。図３は本実施
例の説明で用いるワープロ・ソフトのメニュー構造を表
わしている。また、本実施例では指示手段２はマウス１
４によって実現されているものとして説明する。

【００２７】まず、上で述べたワープロ・ソフトにおい
てユーザが文書編集中に「下線を引きたい」と思った場
合に、この動作をマウス１４によって行なう場合を図４
のフローチャートに基づき説明する。

【００２８】ステップ（４−１）で、ユーザがマウス１
４にて下線を引きたいと思う箇所をドラッグする。図５
はこの時の画面の表示例を示す図である。ドラッグした
領域は反転表示され、このアプリケーション・ソフトに
おいては領域が指定されたものと見なされるものとす
る。

【００２９】ステップ（４−２）では、入力イベント制
御部３が上記の動作が機能群１０の「領域指定」という
機能に対する動作であると判断して、ドラッグ開始位
置、終了位置などのイベントを機能群１０内の「領域指
定機能」に渡す。

【００３０】ステップ（４−３）では、機能群１０の中
の「領域指定機能」が上記のイベントを解釈して、編集
文書内の文字列が選択されたと解釈する。また、同時に
指定された文字列を反転表示すべく、表示管理部１１に
その表示イメージを書き込む。そして、表示管理部１１
に表示イメージの書き込みが起こると、表示手段１２が
これを察知し、表示を更新する。以降、表示管理部１１
に書き込みが起こる度に表示手段１２への表示は更新さ
れていくものとする。

【００３１】ステップ（４−４）では、ユーザがマウス
１４によってタイトルメニューより「文字修飾」の項目
を選択する。メニューにおける項目の選択はその項目が
指示されている場所にマウス１４でポインティングし、
マウス１４のボタンをクリックするものとする。図６は
この時の画面の表示例を示す図である。

【００３２】ステップ（４−５）では、入力イベント制
御部３がステップ（４−４）におけるユーザの操作がメ
ニュー制御部９に送るべきイベントであることを判断
し、マウス１４によってクリックされた位置座標をイベ
ントとしてメニュー制御部９に送る。

【００３３】ステップ（４−６）では、メニュー制御部
９が送られたイベントを「文字修飾」項目の選択である
と解釈する。メニュー項目「文字修飾」には、さらにそ
の下位のメニューが存在するので、その下位メニューも
含めて表示管理部１１に表示イメージを書き込む。

【００３４】ステップ（４−７）では、「文字修飾」の
下位メニューが表示されるため、ユーザがさらにその下
位メニューの中から「下線」の項目を選択する。図７は
この時の画面の表示例を示す図である。

【００３５】ステップ（４−８）では、同様に入力イベ
ント制御部３が上記イベントをメニュー制御部９に伝
え、さらに、メニュー制御部９は機能群１０の中の「下
線の機能」を実行する。「下線の機能」の実行時にはス
テップ（４−３）で解釈された文字列が「下線」の対象
となるものとして処理を行ない、その表示イメージを表
示管理部１１に書き込む。図８は、この時の画面の表示
例を示す図である。

【００３６】以上のような手順でユーザはマウス１４操
作によって指定した文字列に下線を引くことが出来る。

【００３７】次に、ユーザが自然言語によって「下線を
引きたい」と入力する場合について、図９の制御手順を
示すフローチャートに基づき説明する。範囲指定はユー
ザがマウス１４によって予め行なっているものとする。

【００３８】ステップ（９−１）では、ユーザが要求を
入力手段１より入力する。すなわち、ユーザが今から自
然言語にて要求を入力するということを示すキーを押
し、「下線を引きたい」と文字を入力する。さらに、入
力が終ったことを示すために改行キーを押す。図１０は
この時の画面の表示例を示す図である。

【００３９】ステップ（９−２）では、入力イベント制
御部３が「ステップ（９−１）の操作が自然言語による
要求入力である」ことを判断し、ステップ（９−１）で
入力された文字列を言語解析手段６に転送する。

【００４０】ステップ（９−３）では、言語解析手段６
が単語辞書４と文法辞書５を参照して、入力された文字
列が「下線という機能の実行要求」であることを判断
し、結果を操作手順導出手段８に転送する。図１１は、
単語辞書４、図１２は文法辞書５の内容を示す図であ
る。

【００４１】単語辞書４は表記と品詞と意味を対応づけ
て記憶しており、また、動詞の場合には特にその動作の
対象となり得る名詞の意味も記憶している。これにより
「円を引く」のような無意味な表現に対しては、「入力
の意味が分かりません」のようなメッセージを出力する
ことが可能となる。また、記憶している単語はメニュー
の項目の中に現われる単語そのもの（例えば「下線」）
だけでなく、その同義語や類義語も格納している。これ
によってユーザの表現がメニュー項目に含まれない単語
（例えば「アンダー・ライン」）によるものでもユーザ
が期待する動作を行なうことができる。

【００４２】また、文法辞書５はユーザが入力する文の
文法を記憶している。この例では、ユーザの入力文が終
止形、命令形、もしくは「〜したい」の形でなければな
らないことを示している。

【００４３】ステップ（９−４）では、操作手順導出手
段８がメニュー構造記憶部７を参照して、「下線の機能
を実行するためにはどの様な手順で機能を実行すればい
いか」を導出する。図１３はメニュー構造記憶部７の内
容を示す図である。

【００４４】メニュー構造記憶部７では「あるメニュー
項目が、どのメニュー項目の下位メニューにあたる
か」、もしくは「ある項目がタイトルメニュー（初めか
ら表示されているメニュー項目）であるかどうか」など
が記憶されている。

【００４５】ステップ（９−５）では、メニュー制御部
９が導出結果を受け取り、その導出結果に基づいて機能
を実行する。この場合、「下線を引く」ためには「下
線」という単一の機能によって実現できることが導出さ
れるので、その導出結果にしたがって、機能群１０の中
の「下線」の機能を実行する。

【００４６】以上のようにユーザが「下線」の機能がメ
ニューの階層のどこにあるか知らなくても、所望の機能
を実行できる。

【００４７】次に、ユーザが文書編集中に「円を書きた
い」と思った場合について図１４の制御手順を示すフロ
ーチャートに基づいて説明する。

【００４８】ステップ（１４−１）では、前述のステッ
プ（９−１）の説明と同様の方法により、ユーザが入力
手段１より「円を書きたい」と入力する。

【００４９】ステップ（１４−２）では、入力イベント
制御部３が「ステップ（１４−１）の操作が自然言語に
よる要求入力である」ことを判断し、ステップ（１４−
１）で入力された文字列を自然言語解析手段６に転送す
る。

【００５０】ステップ（１４−３）では、自然言語解析
手段６が単語辞書４と文法辞書５を参照して、入力され
た文字列が「円を書く機能の実行要求」であることを判
断し、結果を操作手順導出手段８に転送する。

【００５１】ステップ（１４−４）では、操作手順導出
手段８がメニュー構造記憶部７を参照して、「円を書く
機能を実行するためにはどの様な手順で機能を実行すれ
ばいいか」を導出する。今度の場合は、メニューの階層
構造の上から一旦、文書編集を抜けないと図形編集には
移動できないため、「文書保存」、「図形編集起動」、
「（道具箱内の）円」の順序で機能を実行しなければな
らないということを導出する。

【００５２】ステップ（１４−５）では、メニュー制御
部９が導出結果を受け取り、「文書保存」、「図形編集
起動」、「円」の順序で機能群１０の中の機能を実行す
る。

【００５３】以上のようにユーザは自然言語で要求を入
力することで、アプリケーションの状態遷移を詳しく理
解しなくても所望の機能を実行することが出来る。

【００５４】次に、第２の実施例について図１５の制御
手順を示すフローチャートに基づいて説明する。

【００５５】ステップ（１５−１）では、音声によっ
て、ユーザが「下線を引きたい」と入力する。

【００５６】ステップ（１５−２）では、音声認識手段
が音声データを文字列「下線を引きたい」に変換し、入
力イベント制御部３に通知する。

【００５７】以降、上記の実施例のステップ（９−２）
〜（９−５）を実行することによって、ユーザの所望の
機能を実行できる。本実施例の場合は、文字を入力する
手間を省くことが出来る。

【００５８】次に第３の実施例について図１６の制御手
順を示すフローチャートに基づいて説明する。

【００５９】ユーザの要求は文書編集中に「下線を引き
たい」であるものであり、予め下線を引くべき文字列は
領域指定されているものとする。

【００６０】ステップ（１６−１）では、入力手段１よ
り「下線を引く」という文字列を入力する。

【００６１】ステップ（１６−２）では、入力イベント
制御部３が入力された文字列を自然言語解析手段６に転
送する。

【００６２】ステップ（１６−３）では、自然言語解析
手段６が単語辞書４と文法辞書５を参照して、ユーザの
要求が「下線の機能の実行」であることを判断する。

【００６３】ステップ（１６−４）では、操作手順導出
手段８がメニュー構造記憶部７を参照して、メニュー操
作の手順を導出する。すなわち、この例では「文字修
飾」、「下線」である。

【００６４】ステップ（１６−５）では、メニュー制御
部９が上記手順を受け取り、あたかもユーザがマウスに
よってメニューを操作しているかのように表示イメージ
を生成し、表示管理部１１に書き込み、メニューにて
「下線」の機能を選択した表示イメージを出力した後、
「下線」の機能を実行する。

【００６５】次に、第４の実施例の説明を図１７の制御
手順を示すフローチャートに基づいて行なう。

【００６６】ユーザの要求は「下線を引く」であるもの
とする。ただし、領域指定は行なわれていないものとす
る。

【００６７】ステップ（１７−１）では、ユーザが入力
手段１より「下線を引く」の文字列を入力する。

【００６８】ステップ（１７−２）では、入力イベント
制御部３がステップ（１７−１）の操作が自然言語によ
るユーザの要求の入力であることを判断し、入力文字列
を自然言語解析手段６に転送する。

【００６９】ステップ（１７−３）では、自然言語解析
手段６が前記文字列を受け取り、単語辞書４と文法辞書
５を参照して、ユーザの要求が「下線の機能の実行要
求」であることを判断する。

【００７０】ステップ（１７−４）では、操作手順導出
手段８が自然言語解析の結果を受け取り、メニュー構造
記憶部７を参照して「下線を引くためにはどういう手順
で機能を実行すれば良いか」を導出する。このとき、
「下線」の機能は「予め文字列が選択されていなければ
ならない」ということがメニュー構造記憶部７に記憶さ
れているため、「領域指定要求」「下線」の操作手順を
導出する。

【００７１】ステップ（１７−５）では、メニュー制御
部９が導出結果を受け取り、表示処理を実行する。すな
わち、「領域指定要求」を実行すると一旦、ユーザに
「下線を引く対象となる文字列をドラッグによって指定
して下さい」というメッセージを表示管理部１１に書き
出す。

【００７２】ステップ（１７−６）では、ユーザは上記
の表示を見て、下線を引くべき文字列を領域指定する。

【００７３】ステップ（１７−７）では、メニュー制御
部９が「領域指定要求」に対する結果をユーザの領域指
定の操作によって受け取り、残りの機能、すなわち、
「下線」の機能の実行を行なう。

【００７４】以上説明したように、メニューの操作で
は、予め領域指定を行なっていないと実行できない機能
も自然言語入力によって、対話的に領域指定を行なっ
て、操作のやり直しなしに、所望の機能を実行できる。

【００７５】

【発明の効果】以上説明したように、本発明では、ユー
ザが実行したい機能がメニュー階層の中のどこにあるか
知らなくても良く、複雑な状態遷移を必要とする場合で
も、そのようなアプリケーションに依存する特徴を熟知
していなくても、簡単に実行を行なうことが出来る。

【００７６】また、予めある機能を実行しておかなけれ
ば実行できないような機能（上の例では、「領域指定」
と「下線」）も、機能を実行する前にユーザとのインタ
ーラクションを発生させ、機能を実行するための条件を
すべて揃えてから実行できるため、従来の方式のように
操作が二度手間になることはない。

【００７７】そのほか、ユーザが自然言語にて要求を入
力し、その要求通りに実行するところを「あたかもユー
ザがメニューによって項目を選択しながら実行してい
る」ように表示することによって、ユーザに「次からは
このようなメニュー操作によってこの機能が実現でき
る」ということを分からせるといった、ガイダンスの効
果も得ることが出来る。

【００７８】さらに、音声認識と組み合わせることによ
ってユーザが要求を入力する手間が簡単になるため、よ
り使いがっての良いユーザ・インターフェースを実現で
きる。

【図面の簡単な説明】

【図１】本発明の一実施例における自然言語操作支援装
置の機能ブロック図

【図２】同装置の回路ブロック図

【図３】本実施例におけるメニューの構造を表わす図

【図４】本実施例における制御手順を示すフローチャー
ト

【図５】本実施例における画面の表示例を示す図

【図６】本実施例における画面の表示例を示す図

【図７】本実施例における画面の表示例を示す図

【図８】本実施例における画面の表示例を示す図

【図９】本実施例における制御手順を示すフローチャー
ト

【図１０】本実施例における画面の表示例を示す図

【図１１】本実施例における単語辞書の内容を示す図

【図１２】本実施例における文法辞書の内容を示す図

【図１３】本実施例におけるメニュー記憶部の内容を示
す図

【図１４】本実施例における制御手順を示すフローチャ
ート

【図１５】第２の実施例における制御手順を示すフロー
チャート

【図１６】第３の実施例における制御手順を示すフロー
チャート

【図１７】第４の実施例における制御手順を示すフロー
チャート

【符号の説明】１入力手段２指示手段３入力イベント制御部４単語辞書５文法辞書６自然言語解析手段７メニュー構造記憶部８操作手順導出手段９メニュー制御部１０機能群１１表示管理部１２表示手段１３キーボード１４マウス１５ＣＰＵ１６ＣＲＴ１７ＲＯＭ１８ＲＡＭ

Claims

【特許請求の範囲】

【請求項１】文字の入力、以降入力する文字列が自然言
語によるユーザの要求であるということの指示、また以
上の入力が自然言語によるユーザの要求であるというこ
との指示を行なう入力手段と、ユーザがアプリケーションにおいて処理の対象を指示
し、また、メニューにおいては項目を選択する指示手段
と、前記入力手段及び前記指示手段からの入力が得られた場
合、その入力が後述する言語解析手段に対するものか、
もしくは後述するメニュー制御部に対するものか、もし
くは後述する機能群に対するものかを判別する入力イベ
ント制御部と、ユーザが入力する言語における単語の綴りや品詞や意味
を格納した単語辞書と、ユーザが入力する言語における文法を記憶した文法辞書
と、前記入力イベント制御部によって言語解析手段に対する
イベントであると判定された場合にはそのイベントを受
け取って、前記単語辞書と前記文法辞書を参照して自然
言語として解析を行ない、ユーザが何を要求しているか
を認識する自然言語解析手段と、メニューに現われる機能項目に対応した機能の集まりで
あり、前記入力イベント制御部からイベントが送られて
きた場合はそのイベントによって所定の動作をする機能
群と、前記言語解析手段、前記メニュー制御部、及び、前記機
能群がユーザに対する表示のイメージを書き込むための
表示管理部と、前記表示管理部の内容を実際に表示するための表示手段
と、アプリケーションにおけるメニューの階層構造を記憶し
たメニュー構造記憶部と、前記自然言語解析手段が出力した結果と前記メニュー構
造記憶部を参照し、ユーザの要求に対して、ユーザの要
求を満たすために実行すべき機能の手順を導出する操作
手順導出手段と、前記入力イベント制御部から送られてきたイベントをメ
ニューに対する選択指示であると解釈し、ユーザが選択
したメニュー項目を他の項目と区別できる形で表示する
ように前記表示管理部に書き込み、前記機能群の中の対
応する機能を実行する、また、前記操作手順導出手段が
ユーザの要求に対して操作手順を導出した場合は、その
手順にしたがって、機能を実行するメニュー制御部と、
を備えたことを特徴とする自然言語操作支援装置。
【請求項２】音声データを文字列に変換する音声認識手
段を具備していることを特徴とする請求項１記載の自然
言語操作支援装置。
【請求項３】メニュー制御部が操作手順導出手段より操
作手順を受け取った場合に、その手順通りに機能を実行
するだけでなく、メニュー項目が選択されている様子を
逐一表示管理部に書き込むことによって、あたかも、ユ
ーザが指示手段によってメニュー項目を選択しているか
のごとく表示させることを特徴とする請求項１記載の自
然言語操作支援装置。
【請求項４】メニュー構造記憶部がメニューに並ぶ機能
毎にその機能を実行するための条件を記憶し、操作手順
導出手段が導出した手順にしたがって機能を実行する前
にこれらの条件が満たされているかどうかを判定し、も
し、満たされていない場合は、表示管理部に、条件を満
たすための操作手順をメッセージとして書き込むことに
よって表示し、かつ、ユーザが所定の操作によって機能
を実行すべき条件を満たす状態になったことを確認して
から操作手順導出手段の出力に基づいて機能を実行する
ことを特徴とする請求項１記載の自然言語操作支援装
置。