JPH096586A - グラフィカル・ユーザインタフェース操作装置 - Google Patents

Abstract

(57)【要約】 【目的】 システムやアプリケーションの種類に依存せ
ず誰にでも覚えやすいグラフィカル・ユーザインタフェ
ース操作装置を提供することにある。 【構成】 自然言語入力手段１０１は、ユーザから入力
された自然言語文を自然言語解析手段１０２に送り、自
然言語解析手段１０２はグラフィカル・ユーザインタフ
ェース０００上にある部品１９１０に関連付けられてい
る文字情報１９２０を取得して辞書作成手段１１００に
より作成した辞書１０００を参照して受け取った文を解
析し、操作対象と操作内容を出力する制御コード列生成
手段１０３は自然言語解析手段１０２の出力を入力とし
状態参照手段１０４を参照してグラフィカル・ユーザイ
ンタフェース０００に制御コードを出力する。操作対象
が不明の場合には、問い合わせ手段１０５を用いてユー
ザに操作対象を指定する文の入力を促す。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、情報処理システムのユ
ーザインタフェースにおいて、特にメニューやアイコ
ン、ボタンなどを用いて操作するグラフィカル・ユーザ
インタフェース操作装置に関する。また、グラフィカル
・ユーザインタフェースを備える計算機システムで運用
される辞書の作成方法および装置に関し、該辞書作成装
置を実装したユーザインタフェース操作装置に関する。

【０００２】

【従来の技術】従来のグラフィカル・ユーザインタフェ
ースでは、マウスなどのポインティング・デバイスを用
いて、ボタンのクリックやメニューまたはアイコンの選
択によって情報処理システム上での殆どの作業を行う。

【０００３】しかしながら、システムが非常に多機能で
ある場合や、操作対象が非常に多い場合には、ボタンや
メニュー、アイコンなどが非常に多くなり、所望の機能
もしくは操作対象を選ぶことがユーザにとって大きな負
担となる。また、複数の操作によって達成される作業を
何度も実行する場合には、単純な操作の繰り返しとな
り、作業効率が低い上にユーザの精神的な負担にもな
る。

【０００４】ここで、上述した問題を解決しようとする
従来のグラフィカル・ユーザインタフェースの例を図７
に示す。図７は、頻繁に使う機能をキーボード上のキー
や複数のキーの組合せによっても実行できるようにした
システムである（図７は、ウインドウ２０１の「ファイ
ル」メニュー２０２にある「保存」コマンドを表すメニ
ュー項目２０３をマウスなどで選択する代わりに、キー
ボード２０４上の「ＧＲＰＨ」キー２０５と「Ｆ」キー
２０７を同時に押すことで「ファイル」メニュー２０２
を、続いてキーボード２０４上の「Ｓ」キー２０６を押
すことで「保存」コマンドを表すメニュー項目２０３を
それぞれ選択できることを示している）が、このような
キーと機能との対応を幾つも覚えるのは困難である。ま
た、複数のシステムを利用する場合に同一の機能に対し
てキーやキーの組合せが異なるなどの問題もある。

【０００５】また、図８のように、よく利用するアプリ
ケーションのアイコンやファイル名を操作画面上の特定
部分に常に表示させておく手段もある（図８では、操作
画面３０１上に頻繁に使う操作対象の登録領域３０２を
設け、ファイルやプログラムなどの操作対象を表すアイ
コン３０３を並べてある）が、利用するアプリケーショ
ンやファイルが多くなると、また状況によって必要な種
類が大きく異なると、かえって使いづらく邪魔にさえな
る。

【０００６】さらに、何度も繰り返すような一連の操作
を１つの機能としてまとめる手段を持つグラフィカル・
ユーザインタフェースもあるが、その一連の操作を表す
ボタンやメニュー項目が多くなると、それぞれどのよう
な作業を行うものなのかが判別しにくくなってくる。

【０００７】以上のようなグラフィカル・ユーザインタ
フェースとは逆に、機能名や操作対象名をキーボードか
ら文字列として入力することにより各機能を実行するコ
マンド入力型のインタフェースでは、各機能の名称や利
用法を覚える必要があるため、初心者には使いづらいと
いう問題がある。

【０００８】以上の問題に対し現在までに提案されてい
る方式としては、「自然言語を利用してウインドウシス
テムをプログラムする方法」（特開平０３−２３５１２
６）のように、初心者にも容易に利用できる自然言語を
グラフィカル・ユーザインタフェースに適用した例があ
るが、インタフェースの再構築やプログラミングに利用
しており、そのインタフェースを用いた操作を支援する
ものではない。また、従来の自然言語処理システムの辞
書は、あらかじめ用意された特定の語彙を収録したもの
を用い、個々の利用環境に適応させるためにはユーザが
意識的に語彙を登録する必要があった。

【０００９】また、従来では様々な環境や用途で利用可
能であるように著しく多数の語彙を収録した大規模な辞
書を構築する試みも知られている。

【００１０】

【発明が解決しようとする課題】グラフィカル・ユーザ
インタフェースは、操作対象や機能の数が少数に限られ
ている場合、および試行錯誤的な作業を行う場合には、
操作が簡単で視覚的にも分かりやすいという点で優れた
インタフェースと言える。

【００１１】しかしながら、操作対象や利用したい機能
が非常に多く探しにくい場合には、それらの対象や機能
を直接音声入力やキーボード入力で指定できる手段が必
要である。ただし、それぞれの機能を各システム毎や各
システム上のアプリケーション毎に覚えることはユーザ
の負担になり、覚えらえなければ結局メニューやアイコ
ンの集合から探し出さなければならないことになる。す
なわち、誰にでも覚えやすく、システムやアプリケーシ
ョンの種類に依存しない操作手法が求められる。

【００１２】また、多くの操作が必要な作業を何度も繰
り返す場合には、１回の作業に必要な一連の操作を１つ
にまとめ、上記と同様に覚えやすい名称で直接指示する
手段も有効である。しかしながら、同一目的であっても
状況に応じて操作内容が異なる場合があるため、特定の
状況にのみ対応した一連の操作をまとめただけでは、異
なる状況下で利用できない。さらに、前記名称で操作を
指示した場合、操作対象が明示的に指定されておらず、
かつその操作を指示した時点で操作対象が一意に推定不
可能な場合には、操作対象を決定するためにユーザから
補足情報を得なければならない。

【００１３】また、自然言語を利用するシステムでは自
然言語処理システムの本来の目的が、計算機を利用する
為に特別の人工言語を修得する必要をなくすことであり
ながら、自然言語処理システムを利用する為に辞書を登
録する特別の方法を修得しなければならないという問題
がある。

【００１４】自然言語の語彙は経時的に変化し新語が生
み出されるという性質をもち、特に計算機システムを操
作する自然言語インタフェースにおいては次々と新しく
開発される装置やソフトウエアの固有名詞に対応する必
要があり、英語など外国語表記や略称が多用される傾向
もある。これらのすべてをあらかじめ登録しておくこと
は大規模な辞書をもってしても不可能である。

【００１５】本発明の目的は、上述の点に鑑み、アイコ
ンの名称、アイコンと関連付けられたプログラム名、手
続き名、データオブジェクト名等のグラフィカル・ユー
ザインタフェース部品と関連付けられた文字情報を自動
的に取得して辞書に登録することで、ユーザが意識的に
語彙を辞書登録することなく個々のユーザの利用環境に
よって異なるグラフィカル・ユーザインタフェース部品
に適応して操作対象を決定することで、誰にでも覚えや
すく、システムやアプリケーションの種類に依存しない
グラフィカル・ユーザインタフェース操作装置を提供す
ることにある。

【００１６】

【課題を解決するための手段】本発明の第１の発明は、
グラフィカル・ユーザインタフェースを有する情報処理
システムで、前記グラフィカル・ユーザインタフェース
の操作を行うグラフィカル・ユーザインタフェース操作
装置において、ユーザが自然言語文で表された前記グラ
フィカル・ユーザインタフェースの操作要求を入力する
自然言語入力手段と、前記操作要求の自然言語解析を行
い、前記グラフィカル・ユーザインタフェースの操作対
象と前記操作対象に対する操作内容とを記載した自然言
語解析結果を生成する自然言語解析手段と、前記自然言
語解析結果を入力し、前記自然言語解析結果に含まれる
操作対象と操作内容から、前記ユーザの意図する前記グ
ラフィカル・ユーザインタフェースの操作要求を解釈
し、制御コードを作成する制御コード列生成手段とを備
え、前記グラフィカル・ユーザインタフェースは、前記
制御コードにより操作されることを特徴とする。

【００１７】また、第２の発明は、第１の発明におい
て、前記グラフィカル・ユーザインタフェースの動作の
状態を問い合わせる状態参照手段とをさらに備え、前記
制御コード列生成手段が、前記状態参照手段を用いて前
記操作対象を特定し、前記制御コードを作成することを
特徴とする。

【００１８】さらに、第３の発明は、第１、第２の発明
において、前記制御コード列生成手段が、前記操作対象
を特定できない場合に、ユーザが入力した操作要求が、
前記グラフィカル・ユーザインタフェースの何処を操作
対象とするのかを前記ユーザに問い合わせる問い合わせ
手段をさらに備えることを特徴とする。

【００１９】さらに、第４の発明は、グラフィカル・ユ
ーザインタフェースを有する情報処理システムで、前記
グラフィカル・ユーザインタフェースの操作を行うグラ
フィカル・ユーザインタフェース操作装置において、ユ
ーザが自然言語文で表された前記グラフィカル・ユーザ
インタフェースの操作要求を入力する自然言語入力手段
と、前記操作要求を受け取り、前記操作要求の自然言語
解析を行い、前記グラフィカル・ユーザインタフェース
の操作対象と前記操作対象に対する操作内容とを記載し
た自然言語解析結果を生成する自然言語解析手段と、前
記グラフィカル・ユーザインタフェースの動作の状態を
問い合わせる状態参照手段と、前記自然言語解析結果を
入力し、前記自然言語解析結果に含まれる操作対象を前
記状態参照手段を用いて決定する操作対象決定手段と、
前記グラフィカル・ユーザインタフェースの各種操作内
容と、前記各種操作内容に必要な操作対象に対応した前
記グラフィカル・ユーザインタフェース用の制御コード
の対応表を保持する制御コード列格納手段と、前記自然
言語解析結果に含まれる操作内容と前記操作対象決定手
段で決定された操作対象を用いて、前記制御コード格納
手段から該当する制御コードを獲得する制御コード列照
合手段とを備え、前記グラフィカル・ユーザインタフェ
ースは、前記制御コード列照合手段で選択された制御コ
ードにより操作されることを特徴とする。

【００２０】さらに、第５の発明は、第４の発明におい
て、前記ユーザに問い合わせるための問い合わせ手段と
をさらに備え、前記操作対象決定手段が、前記状態参照
手段を用いて前記操作対象が決定できない場合、前記問
い合わせ手段を介してユーザに問い合わせを行うこと
で、前記操作対象を決定することを特徴とする。

【００２１】さらに、第６の発明は、グラフィカル・ユ
ーザインタフェースを備えた計算機で運用される自然言
語処理システムに用いる辞書を作成する辞書作成方法に
おいて、アイコンやメニュー等のグラフィカル・ユーザ
インタフェース部品に関連付けられた文字情報を取得
し、前記グラフィカル・ユーザインタフェース部品に関
連付けられた文字情報を前記辞書に登録することを特徴
とする。

【００２２】さらに、第７の発明は、グラフィカル・ユ
ーザインタフェースを備えた計算機で運用される自然言
語処理システムに用いる辞書を作成する辞書作成装置に
おいて、アイコンやメニュー等のグラフィカル・ユーザ
インタフェース部品に関連付けられた文字情報の所在と
取得方法を保持する情報源知識手段と、前記情報源知識
手段を参照して、前記文字情報を取得する文字情報アク
セス手段と、前記文字情報を入力し、前記文字情報の文
字列を辞書項目として抽出する項目抽出手段と、作成す
る辞書の書式を保持する辞書登録知識手段と、前記辞書
登録手段を参照し、前記項目抽出手段が出力する文字列
を前記辞書に登録する辞書登録手段を備えることを特徴
とする。

【００２３】さらに、第８の発明は、第１、第２、第
３、第４、第５、第６の発明であるグラフィカル・ユー
ザインタフェース操作装置において、前記辞書作成装置
をさらに備え、前記自然言語解析手段が、前記辞書作成
装置により作成された辞書を操作対象を記述した操作対
象辞書として参照し、前記操作対象を解釈することを特
徴とする。

【００２４】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００２５】図１は、本発明の第１、第２、第３、第
４、第５の発明によるグラフィカル・ユーザインタフェ
ース操作装置の一実施例を示すブロック図である。

【００２６】図１において、自然言語入力手段１０１
は、ユーザから入力された自然言語文を自然言語解析手
段１０２に送る。自然言語解析手段１０２は受け取った
文を解析し、解析結果として得られた操作対象と該操作
対象に対する操作内容とをそれぞれ制御コード列生成手
段１０３に送る。制御コード列生成手段１０３は、状態
参照手段１０４を用いて操作対象の状態を調べ、該操作
対象の状態に応じた制御コード列をグラフィカル・ユー
ザインタフェース０００に送る。制御コード列生成手段
において操作対象が決定できなかった場合には、問い合
わせ手段１０５を用いてユーザに操作対象の入力を促
す。

【００２７】図２は、本発明のグラフィカル・ユーザイ
ンタフェース操作装置の実行イメージの一例を示す図で
ある。自然言語入力用ウインドウ４０１の文入力領域４
０２にユーザが「ワープロに貼り込み。」という文を入
力し、「ＯＫ」ボタン４０３を押すなどの方法で入力内
容を確定すると、その時点でアクティブになっているコ
ピー元のアプリケーション・プログラム４１０上で選択
されているコピー内容４１１をコピー先のアプリケーシ
ョン・プログラム４２０へ貼り込む。

【００２８】図３は、前述した本発明のグラフィカル・
ユーザインタフェース操作装置の情報の流れの一例を示
す図である。自然言語入力手段１０１からは入力文５０
１が自然言語解析手段１０２に送られ、その後自然言語
解析手段１０２からは自然言語解析結果５０２（ＯＰＥ
（貼り込み），ＯＢＪ（），ＤＳＴ（ワープロ））が制
御コード列生成手段１０３に送られる。自然言語解析結
果５０２のうち、ＯＰＥ（貼り込み）は、操作内容が
“貼り込み”であることを示し、ＯＢＪ（）は“貼り込
み”という操作内容に必要な操作対象の１つ（貼り込ま
れる対象）が指定されていないことを示し、ＤＳＴ（ワ
ープロ）は“貼り込み”という操作内容に必要なもう１
つの操作対象（貼り込み先）が“ワープロ”であること
を示している。このような自然言語解析結果は、従来の
自然言語解析を行う装置により生成できる。

【００２９】制御コード列生成手段１０３では、まず操
作対象決定手段１１１が自然言語解析結果５０２中の操
作対象となる要素“ＯＢＪ（）”および“ＤＳＴ（ワー
プロ）”を取り出し（“ＯＢＪ”や“ＤＳＴ”といった
文字列で各要素が操作対象を示すものか、操作内容を示
すものかを判別）、“ＯＢＪ（）”については（）内が
空であることから操作対象が指定されていないと判断
し、状態参照手段１０４を用いて操作対象を推定する。
状態参照手段１０４は、グラフィカル・ユーザインタフ
ェース０００に問い合わせて、現在起動されている全て
のプログラムを調べる。起動されているプログラムのう
ちアプリケーション・プログラムがあれば、アクティブ
になっている（そのプログラムのウインドウが最前面に
出ている）アプリケーション・プログラムがあるかどう
か調べる。あるアプリケーション・プログラムがアクテ
ィブであるという応答５０３がグラフィカル・ユーザイ
ンタフェース０００から得られると、制御コード列生成
手段１０３からグラフィカル・ユーザインタフェース０
００に対してプログラムの指定無しに送られる制御コー
ド列は対応する操作対象が自動的に前記アクティブなア
プリケーション・プログラムとなるため、“ＯＢ
Ｊ（）”の（）内に該当する操作対象は明記しない。

【００３０】“ＤＳＴ（ワープロ）”については、“ワ
ープロ”という識別名のアプリケーション・プログラム
が現在アクティブであるか、アクティブでなければ既に
起動されているかを上記と同様に状態参照手段１０４を
用いてグラフィカル・ユーザインタフェース０００に問
い合わせる。“ワープロ”がアクティブではないが起動
されているとすると、操作対象決定手段１１１はグラフ
ィカル・ユーザインタフェース０００に対して“ワープ
ロ”をアクティブにするためのメッセージ５０６を生成
した後、該“ワープロ”を操作対象として確定する。

【００３１】次に、制御コード列照合手段１１２が自然
言語解析結果５０２中の各要素から先頭３文字の“ＯＰ
Ｅ”という文字列を検出して操作内容となる要素“ＯＰ
Ｅ（貼り込み）”を抽出し、操作内容が“貼り込み”で
あると判断する。その後、制御コード列格納手段１１３
に対して“貼り込み”に対応する操作に必要なグラフィ
カル・ユーザインタフェース０００用の制御コード列、
本例では、“［ＣＴＲＬ］Ｃ”５０５，“［ＣＴＲＬ］
Ｖ”５０７を取得する。制御コード列格納手段１１３
は、“貼り込み”などの各操作内容とその操作内容に必
要な“ＯＢＪ”，“ＤＳＴ”など各種の操作対象それぞ
れに送信する制御コード列との対応表を有し、該対応表
から各操作内容に対応する制御コード列を決定して制御
コード列照合手段に返す。

【００３２】そして、操作対象決定手段１１１により決
定された各操作対象““（指定なし），”ワープロ”に
対する制御コード列“［ＣＴＲＬ］Ｃ”５０５，“［Ｃ
ＴＲＬ］Ｖ”５０７を順にグラフィカル・ユーザインタ
フェース０００にそれぞれ送る。ただし、操作対象のう
ち制御コード列“［ＣＴＲＬ］Ｖ”５０７を送る操作対
象“ワープロ”をアクティブにするため操作対象決定手
段１１１で生成されたメッセージ５０８を制御コード列
“［ＣＴＲＬ］Ｖ”５０７の送信より先にグラフィカル
・ユーザインタフェース０００に送る。

【００３３】図４は、本発明の制御コード列生成手段１
０３に含まれる操作対象決定手段１１１の処理の流れの
一実施例を示すフロー図である。

【００３４】制御コード列生成手段が図３の５０２のよ
うな自然言語解析結果を得ると、これに対し、ステップ
Ｓ６０１で指定された操作内容の実行に必要な操作対象
が指定されているかどうかを判断する。操作対象が指定
されていれば、ステップＳ６０２でその操作対象がファ
イルかプログラムかを判断し、ファイルならばステップ
Ｓ６０４に、プログラムならばステップＳ６０５に進
む。ステップＳ６０４では、指定されているファイルを
操作対象として、本処理を終了する。ステップＳ６０５
では、状態参照手段１０４により該プログラムの状態を
参照し、ステップＳ６０６で該プログラムは現在アクテ
ィブかどうかを判断する。アクティブであればステップ
Ｓ６１０で該プログラムを操作対象とし、本処理を終了
する。Ｓ６０６で該プログラムが非アクティブならば、
ステップＳ６０７で該プログラムが起動されているかど
うかを判断し、起動されていればステップＳ６０８で該
プログラムをアクティブにするメッセージを生成し、起
動されていなければステップＳ６０９で該プログラムを
起動してアクティブにするメッセージを生成する。ステ
ップＳ６０８またはステップＳ６０９の処理が終わる
と、ステップＳ６１０でアクティブな該プログラムを操
作対象とし、本処理を終了する。

【００３５】ステップＳ６０１で操作対象が指定されて
いないと判断すると、ステップＳ６０３で、状態参照手
段１０４を用いて、現在指定されているファイルまたは
現在アクティブになっているプログラムがあるかどうか
調べ、あればステップＳ６１１で、現在指定されている
ファイルまたは現在アクティブになっているプログラム
を操作対象とし、本操作対象決定処理を終了する。ま
た、ステップＳ６０３で現在指定されているファイルま
たは現在アクティブになっているプログラムが無けれ
ば、ステップＳ６１２でコピーバッファが空かどうか調
べ、空であればステップＳ６１３で問い合わせ手段１０
５に制御を移し、ユーザに操作対象を問い合わせる。コ
ピーバッファが空でなければ、ステップＳ６１４でコピ
ーバッファの内容が操作対象として適当かどうかを判断
し、適当であればステップＳ６１５でコピーバッファの
内容を操作対象とし、本操作対象決定処理を終了する。
コピーバッファの内容が操作対象として不適切であれ
ば、ステップＳ６１３で問い合わせ手段１０５に制御を
移し、ユーザに操作対象を問い合わせる。

【００３６】図５は第６の発明の辞書作成方法とその辞
書作成方法に対応する第７の発明の辞書作成装置の構成
の一実施例を示すブロック図である。

【００３７】係る実施例における辞書作成装置は、グラ
フィカル・ユーザインタフェース０００における文字情
報１９２０の所在や取得方法が記録されている情報源知
識手段１１１４と、情報源知識手段１１１４を参照して
文字情報１９２０を取得し、項目抽出手段１１１２に渡
す文字情報アクセス手段１１１１と、文字情報１９２０
から区切り記号や空白等によって区切られる文字列を辞
書項目として抽出し出力する項目抽出手段１１１２と、
作成する辞書の書式などが記録されている辞書登録知識
手段１１１５と、辞書登録知識手段１１１５を参照し
て、項目抽出手段１１１２が出力する文字列を辞書に登
録する辞書登録手段１１１３とを含んで構成され、グラ
フィカル・ユーザインタフェース０００上に表示される
グラフィカル・ユーザインタフェース部品１９１０に関
連付けられている文字情報１９２０を取得し文字情報１
９２０を登録した自然言語処理システム用の辞書１００
０を生成する。

【００３８】例えば、グラフィカル・ユーザインタフェ
ース０００上のウインドウやボタンのキャプションやア
イコンの名前、アイコンに対応付けられているプログラ
ム名やデータファイル名などが文字情報１９２０であ
る。

【００３９】情報源知識手段１１１４に、アイコン名と
プログラム名の対応付けを記述したファイルの名前とし
て例えば、「Ａ：￥ＳＹＳＴＥＭ￥＊．ＧＲＰ」が記述
されており、ファイルＡ：￥ＳＹＳＴＥＭ￥ＡＰＰＬ
Ｉ．ＧＲＰが実在し、「ワープロ，Ｂ：￥ＷＯＲＤ￥Ｗ
ＯＲＤＰＲＯ．ＥＸＥ，文書作成ツール」という情報を
含んでいるとする。ただしファイル名における“＊”は
ワイルドカードであり、あらゆる文字列と一致するとみ
なす。このとき、文字情報アクセス手段１１１１は、ア
イコン名とプログラム名の対応付けを記述したファイル
の名前を知る為に情報源知識手段１１１４を参照して
「Ａ：￥ＳＹＳＴＥＭ￥＊．ＧＲＰ」を得て、ファイル
名がこれと一致するファイルＡ：￥ＳＹＳＴＥＭ￥ＡＰ
ＰＬＩ．ＧＲＰを発見してそのファイルを読み、アイコ
ン３０３と関連付けられて記録されている「ワープロ，
Ｂ：￥ＷＯＲＤ￥ＷＯＲＤＰＲＯ．ＥＸＥ，文書作成ツ
ール」という文字情報１９２０を取得する。項目抽出手
段１１１２はこの文字列から“，”を区切り文字とし
て、「ワープロ」、「Ｂ：￥ＷＯＲＤ￥ＷＯＲＤＰＲ
Ｏ．ＥＸＥ」、「文書作成ツール」という文字列を抽出
し、辞書登録手段１１１３に渡す。辞書登録知識手段１
１１５には、第１項目と第３項目を名詞の見出し語とし
て登録する、という知識が記述されているとすると、辞
書登録手段１１１３は、辞書登録知識手段１１１５を参
照して前記の文字列から「ワープロ」、「文書作成ツー
ル」を辞書に登録する。

【００４０】図６は第８の発明のグラフィカル・ユーザ
インタフェース操作装置の構成の一実施例を示すブロッ
ク図である。

【００４１】係る実施例におけるグラフィカル・ユーザ
インタフェース操作装置は、第１、第２、第３、第４、
第５の発明の一実施例に記載のグラフィカル・ユーザイ
ンタフェース操作装置の構成に加え、第７の発明の一実
施例に記載の辞書作成装置を実行する辞書作成手段１１
１０を含んで構成され、自然言語解析手段１０２に入力
文が入力され自然言語解析手段１０２が辞書１０００を
参照しようとするより以前に前記辞書作成方式を実行し
て辞書１０００を作成する。なお、辞書作成方式を実行
するのは、本発明全体の動作開始時、自然言語解析の開
始時などが考えられ、自然言語解析手段で前記辞書を参
照する前であればいつでもかまわない。自然言語解析手
段１０２は該辞書作成方式によって作成される辞書１０
００を操作対象を記述した辞書として参照し、入力文中
の操作対象となる要素を特定する。

【００４２】例えば、自然言語解析手段１０２の標準的
語彙に「ワープロ」が含まれておらず、自然言語解析手
段１０２に入力文が入力される時に前記辞書作成方式を
実行し前述の例と同様に、「ワープロ」が辞書１０００
に登録されたとする。例えば、自然言語入力手段１０１
を介して「ワープロに貼り込み。」という入力文があっ
たとき、自然言語解析手段１０２は、辞書１０００を参
照してこの文を解析し、「ワープロ」が辞書１０００に
登録されていることから「ワープロ」を未知語とするこ
となく、「貼り込み」という操作の対象として「ワープ
ロ」を特定することができる。

【００４３】

【発明の効果】以上のようなグラフィカル・ユーザイン
タフェース操作装置により、従来のマウス操作ばかりに
頼ったグラフィカル・ユーザインタフェースでは効率の
悪い作業に対し、メニューやボタン操作の代わりに誰に
でも分かり易い自然言語を用いて指示することで、情報
処理システム全体として簡単かつ効率の良いユーザイン
タフェースが実現できる。

【００４４】また、アイコンの名称、アイコンと関連付
けられたプログラム名、手続き名、データオブジェクト
名等のグラフィカル・ユーザインタフェース部品と関連
付けられた文字情報を自動的に取得して辞書に登録し、
ユーザが意識的に語彙を辞書登録することなく個々のユ
ーザの利用環境に適応したグラフィカル・ユーザインタ
フェース操作装置を実現できる。

【図面の簡単な説明】

【図１】本発明のグラフィカル・ユーザインタフェース
操作装置の構成の一実施例を示すブロック図。

【図２】本発明のグラフィカル・ユーザインタフェース
操作装置の実行イメージの一実施例を示す図。

【図３】本発明のグラフィカル・ユーザインタフェース
操作装置の情報の流れの一実施例を示す図。

【図４】本発明の制御コード列生成手段に含まれる操作
対象決定手段の処理の流れの一実施例を示すフロー図。

【図５】本発明の辞書作成装置の構成の一実施例を示す
ブロック図。

【図６】本発明のグラフィカル・ユーザインタフェース
操作装置の構成の一実施例を示すブロック図。

【図７】従来のグラフィカル・ユーザインタフェースに
おける作業の効率化を図るための一手段を示す図。

【図８】従来のグラフィカル・ユーザインタフェースに
おける作業の効率化を図るための他の手段を示す図。

【符号の説明】

０００ グラフィカル・ユーザインタフェース １０１ 自然言語入力手段 １０２ 自然言語解析手段 １０３ 制御コード列生成手段 １０４ 状態参照手段 １０５ 問い合わせ手段 １１１ 操作対象決定手段 １１２ 制御コード列照合手段 １１３ 制御コード列格納手段 ２０１ ウインドウ ２０２ 「ファイル」メニュー ２０３ 「保存」コマンドを表すメニュー項目 ２０４ 文字入力用キーボード ２０５ 「ＧＲＰＨ」キー ２０６ 「Ｓ」キー ２０７ 「Ｆ」キー ３０１ 操作画面 ３０２ 頻繁に使う操作対象の登録領域 ３０３ 操作対象を表すアイコン ４０１ 自然言語入力用ウインドウ ４０２ 文入力領域 ４０３ 「ＯＫ」ボタン ４０４ 「ＣＡＮＣＥＬ」ボタン ４１０ コピー元のアプリケーション・プログラム ４１１ コピー内容 ４２０ コピー先のアプリケーション・プログラム ５０１ 入力文 ５０２ 自然言語解析結果 ５０３ グラフィカル・ユーザインタフェースの状態を
示すメッセージ ５０４ 操作対象の状態を示すメッセージ ５０５ 最初の操作対象に対する制御コード ５０６ ２つめの操作対象に対するメッセージ ５０７ ２つめの操作対象に対する制御コード １０００ 辞書 １１１０ 辞書作成手段 １１１１ 文字情報アクセス手段 １１１２ 項目抽出手段 １１１３ 辞書登録手段 １１１４ 情報源知識手段 １１１５ 辞書登録知識手段 １９１０ グラフィカル・ユーザインタフェース部品 １９２０ 文字情報

Claims (8)

【特許請求の範囲】
1. 【請求項１】グラフィカル・ユーザインタフェースを有
   する情報処理システムで、前記グラフィカル・ユーザイ
   ンタフェースの操作を行うグラフィカル・ユーザインタ
   フェース操作装置において、 ユーザが自然言語文で表された前記グラフィカル・ユー
   ザインタフェースの操作要求を入力する自然言語入力手
   段と、 前記操作要求の自然言語解析を行い、前記グラフィカル
   ・ユーザインタフェースの操作対象と前記操作対象に対
   する操作内容とを記載した自然言語解析結果を生成する
   自然言語解析手段と、 前記自然言語解析結果を入力し、前記自然言語解析結果
   に含まれる操作対象と操作内容から、前記ユーザの意図
   する前記グラフィカル・ユーザインタフェースの操作要
   求を解釈し、制御コードを作成する制御コード列生成手
   段とを備え、 前記グラフィカル・ユーザインタフェースは、前記制御
   コードにより操作されることを特徴とするグラフィカル
   ・ユーザインタフェース操作装置。
2. 【請求項２】前記グラフィカル・ユーザインタフェース
   の動作の状態を問い合わせる状態参照手段とをさらに備
   え、 前記制御コード列生成手段が、前記状態参照手段を用い
   て前記操作対象を特定し、前記制御コードを作成するこ
   とを特徴とする請求項１に記載のグラフィカル・ユーザ
   インタフェース操作装置。
3. 【請求項３】前記制御コード列生成手段が、前記操作対
   象を特定できない場合に、ユーザが入力した操作要求
   が、前記グラフィカル・ユーザインタフェースの何処を
   操作対象とするのかを前記ユーザに問い合わせる問い合
   わせ手段をさらに備えることを特徴とする請求項１また
   は２に記載のグラフィカル・ユーザインタフェース操作
   装置。
4. 【請求項４】グラフィカル・ユーザインタフェースを有
   する情報処理システムで、前記グラフィカル・ユーザイ
   ンタフェースの操作を行うグラフィカル・ユーザインタ
   フェース操作装置において、 ユーザが自然言語文で表された前記グラフィカル・ユー
   ザインタフェースの操作要求を入力する自然言語入力手
   段と、 前記操作要求を受け取り、前記操作要求の自然言語解析
   を行い、前記グラフィカル・ユーザインタフェースの操
   作対象と前記操作対象に対する操作内容とを記載した自
   然言語解析結果を生成する自然言語解析手段と、 前記グラフィカル・ユーザインタフェースの動作の状態
   を問い合わせる状態参照手段と、 前記自然言語解析結果を入力し、前記自然言語解析結果
   に含まれる操作対象を前記状態参照手段を用いて決定す
   る操作対象決定手段と、 前記グラフィカル・ユーザインタフェースの各種操作内
   容と、前記各種操作内容に必要な操作対象に対応した前
   記グラフィカル・ユーザインタフェース用の制御コード
   の対応表を保持する制御コード列格納手段と、 前記自然言語解析結果に含まれる操作内容と前記操作対
   象決定手段で決定された操作対象を用いて、前記制御コ
   ード格納手段から該当する制御コードを獲得する制御コ
   ード列照合手段とを備え、 前記グラフィカル・ユーザインタフェースは、前記制御
   コード列照合手段で選択された制御コードにより操作さ
   れることを特徴とするグラフィカル・ユーザインタフェ
   ース操作装置。
5. 【請求項５】前記ユーザに問い合わせるための問い合わ
   せ手段とをさらに備え、 前記操作対象決定手段が、前記状態参照手段を用いて前
   記操作対象が決定できない場合、前記問い合わせ手段を
   介してユーザに問い合わせを行うことで、前記操作対象
   を決定することを特徴とする請求項４に記載のグラフィ
   カル・ユーザインタフェース操作装置。
6. 【請求項６】グラフィカル・ユーザインタフェースを備
   えた計算機で運用される自然言語処理システムに用いる
   辞書を作成する辞書作成方法において、 アイコンやメニュー等のグラフィカル・ユーザインタフ
   ェース部品に関連付けられた文字情報を取得し、前記グ
   ラフィカル・ユーザインタフェース部品に関連付けられ
   た文字情報を前記辞書に登録することを特徴とする辞書
   作成方法。
7. 【請求項７】グラフィカル・ユーザインタフェースを備
   えた計算機で運用される自然言語処理システムに用いる
   辞書を作成する辞書作成装置において、 アイコンやメニュー等のグラフィカル・ユーザインタフ
   ェース部品に関連付けられた文字情報の所在と取得方法
   を保持する情報源知識手段と、 前記情報源知識手段を参照して、前記文字情報を取得す
   る文字情報アクセス手段と、 前記文字情報を入力し、前記文字情報の文字列を辞書項
   目として抽出する項目抽出手段と、 作成する辞書の書式を保持する辞書登録知識手段と、 前記辞書登録手段を参照し、前記項目抽出手段が出力す
   る文字列を前記辞書に登録する辞書登録手段を備えるこ
   とを特徴とする辞書作成装置。
8. 【請求項８】前記辞書作成装置をさらに備え、前記自然
   言語解析手段が、前記辞書作成装置により作成された辞
   書を操作対象を記述した操作対象辞書として参照し、前
   記操作対象を解釈することを特徴とする請求項１、２、
   ３、４、５または請求項６に記載のグラフィカル・ユー
   ザインタフェース操作装置。