JPH03246612A - ユーザインタフェース管理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、コンピュータを利用した対話型システムのユ
ーザインタフェース管理方式に関し、特にマウスを有す
るコンピュータにおいて、自然語インタフェースとメニ
ュー・アイコンインタフェースとを融合したユーザイン
タフェース管理方式〔従来の技術〕 従来の一般的なユーザインタフェースは、例えば、特開
昭６２−１２１５３４号公報に開示されている如く、キ
ーボード入力された命令を即実行することだけために利
用されていた。なお、上記技術は、計算機・端末の間合
せ応答部において、間合せ条件、仕事指示を表わす入力
キー列から、キー間関係構造を認定して、複数のキーか
ら成るグループ単位に分割することにより、オペレータ
のキーボードタッチ数を少なくするものである。

〔発明が解決しようとする課題〕

上記従来技術は、コンピュータに入力するための手段と
して、キーボードのみを想定しているものであり、マウ
スを用いたメニュー・アイコン型のユーザインタフェー
スには適用することができないという問題があった。

しかし、マウスメニューは、固定的な動作をコンピュー
タに要求する場合に有効である。一方、自然語入力は、
毎回異なった動作をコンピュータに要求する場合に有効
である。従って、これらの両者を適宜組み合せて利用可
能とすることは、非常に有効である。

本発明は上記事情に鑑みてなされたもので、その目的と
するところは、従来の技術における上述の如き問題を解
消し、マウスを有するコンピュータにおいて、固定的な
動作をコンピュータに要求する場合にはメニュー・アイ
コンを利用することができ、毎回異なった動作を要求す
る場合には自然語入力方式を利用できるようにするため
に、ユーザインタフェースを、自然語インタフェースと
メニュー・アイコンインタフェースと共存した形で利用
可能とするユーザインタフェース管理方式を提供するこ
とにある。

〔課題を解決するための手段〕

本発明の上記目的は、コンピュータを利用した対話型シ
ステムにおいて、自然文を入力とし自然文解析結果を出
力とする自然文解析ステップと、該ステップによる自然
文解析結果をユーザインタフェースのオブジェクトの属
性として記憶するステップと、ユーザインタフェースの
オブジェクトに対して操作が行われたとき、その属性と
して記憶されている前記自然文解析結果を解釈実行する
ステップとを設けたことを特徴とするユーザインタフェ
ース管理方式によって達成される。

〔作用〕

本発明に係るユーザインタフェース管理方式においては
、ユーザインタフェース管理システムが画面上のメニュ
ー・アイコン等の位置と動作とを管理し、マウスで画面
上の特定位置をクリックされたとき、その位置がメニュ
ー・アイコンの位置に該当するか否かを判定し、該当す
る場合には、その動作を実行する。

自然語インタフェースは、自然語で入力された文をコン
ピュータへの命令に変換する。命令をユーザインタブエ
ース管理システム内のメニュー・アイコンの動作を記憶
するための手段は、自然語インタフェースで生成された
命令をメニューやアイコンの動作として記憶する。

これにより、−回、ユーザがユーザインタフェース管理
システムに登録した命令は、次から、メニューやアイコ
ンをマウスでクリックするだけで利用できるようになる
。

〔実施例〕

以下、本発明の実施例を図面に基づいて詳細に説明する
。

第２図は、本発明の一実施例を示すコンピュータシステ
ムの機能ブロック図である。第２図中、２０１はデイス
プレィ、２０２はキーボード、２０３はマウス、２０５
はディスク２０４を制御するディスクコントローラ、２
０６はキーボード２０２．デイスプレィ２０＋との間の
入出力を制御する入出力制御装置（ＩＯコントローラ）
、また、２０７は中央処理装置（ＣＰＵ）、２０８はメ
モリを示している。

メモリ２０８の中には、ＣＰＵ２０７で実行可能なオペ
レーティングシステム（Ｏ５）２０８１．データベース
管理システム（Ｄ　Ｂ　Ｍ　Ｓ　）２０８２．ユーザイ
ンタフェース管理システム（Ｕ　Ｉ　Ｍ　Ｓ　）２０８
３．自然語解析部２０８４　、命令登録部２０８５が記
憶されている。

上述のデータベース管理システム２０８２．ユーザイン
タフェース管理システム２０８３　、自然語解析部２０
８４、命令登録部２０８５は、オペレーティングシステ
ム２０８１の管理の下、ＣＰＵ２０７で実行される。

データベース管理システム２０８２は、ディスク２０４
内に記憶されたデータベースをアクセスするためのプロ
グラムである。ディスク２０４は、ディスクコントロー
ラ２０５によって制御され、読み書きのアクセスが可能
である。

ユーザインタフェース管理システム２０８３は、デイス
プレィ２０１上に表示するユーザインタフェースを管理
するプログラムで、デイスプレィ２０１上に表示されて
いるオブジェクトの位置・大きさ・形状・色等を記憶し
管理する。また、ユーザインタフェース管理システム２
０８３は、キーボード２０１およびマウス２０３からの
入力を読み取り、表示されているオブジェクトのどこに
入力されたのかを判定し、入力内容に従って実行すべき
処理を実行する。

第３図は、本実施例の主要な動作を記述したフローチャ
ートである。ステップ１０１は、自然文を解析するステ
ップ、ステップ１０２は自然文の解析結果をユーザイン
タフェースの動作として記憶するステップ、ステップ１
０３は、ユーザインタフェースを動作させるステップで
ある。

第４図は、上述のユーザインタフェース管理システム２
０８３内の機能ブロックを示す図である。ユーザインタ
フェース管理システム２０８３は、制御部３０１、イン
タフェース入力部３０２．インタフェース出力部３０３
．インタフェースデータ管理部３０４から構成される。

制御部３０１は、ユーザインタフェース全体の処理を制
御する。インタフェース入力部３０２は、キーボード２
０２．マウス２０３からの入力を読み取り、入力された
内容がデイスプレィ２０１上に表示されたオブジェクト
のうちどれに対する入力であるかを判定し、入力内容に
応じて実行すべき処理を実行する。

インタフェース出力部３０３は、制御部３０１からの要
求に従って、オブジェクトを表示したり、大きさ９位置
９色等のオブジェクトの属性を変更したりする。インタ
フェースデータ管理部３０４は、オブジェクトの属性を
保持・管理する。

第５図は、本実施例における表示画面例を示すものであ
る。領域４０１は、システム特権命令を入力するための
領域である。入力域４０１１は、自然語を入力するため
の領域である。領域４０１２は、自然語を解析して生成
された命令の履歴を表示する領域である。メニュー４０
１３は、画面上に新しいオブジェクトを生成・配置する
ための領域である。メニュー４０１４は、領域４０１２
に表示されている命令をオブジェクトに登録するための
メニューである。

領域４０２は、システム特権命令以外のユーザインタフ
ェースを構成するオブジェクトを表示するための領域で
ある。

第６図は、前述のインタフェースデータ管理部３０４の
データ構造を示すものである。図中、データ構造５０１
は、各オブジェクトの情報を管理するテーブル（「オブ
ジェクト管理テーブル」という）のデータ構造を示して
いる。データ構造５０２は、文字列型オブジェクトの属
性を記憶するテーブル（［文字列型オブジェクト属性テ
ーブル」という）のデータ構造を示している。データ構
造５０３は、アイコン型オブジェクトの属性を記憶する
テーブル（［アイコン型オブジェクト属性テーブル」と
いう）のデータ構造を示している。インタフェースデー
タ管理部３０４内には、一般のオブジェクト以外にシス
テム特権命令を入力するためのメニューも管理される。

データ構造５０１は、フィールド５０１１〜５０１６か
ら成る。フィールド５０１１は、オブジェクトの表示／
非表示を記憶するフィー、ルドである。フィールド５０
１２は、オブジェクトの位置を記憶するフィールドであ
る。フィールド５０１３は、オブジェクトの大きさを記
憶するフィールドである。フィールド５０１４は、オブ
ジェクトの色を記憶するためのフィールドである。フィ
ールド５０１５は、オブジェクトのタイプを記憶するた
めのフィールドである。

フィールド５０】６は、オブジェクトの属性を示す属性
テーブルへのポインタを記憶するためのフィールドであ
り、フィールド５０１５に記憶されているタイプによっ
て指すデータ構造が異なる。すなわち、フィールド５０
１５が文字列を示す場合には、データ構造５０２を指す
ポインタが記憶され、フィールド５０１５がアイコンを
示す場合には、データ構造５０３を指すポインタが記憶
される。また、フィールド５０１７は、オブジェクトに
対してマウスでクリックされたとき行うべき検索命令を
記憶するフィールドである。

データ構造５０２は、フィールド５０２１〜５０２５か
ら成る。フィールド５０２Ｉは、表示する文字列を記憶
するためのフィールド、フィールド５０２２は、表示す
るフォントを記憶するフィールドである。フィールド５
０２３は、文字列の色を記憶するためのフィールドであ
る。フィールド５０２４は、文字列オブジェクトのバッ
クグラウンドの色を記憶するためのフィールドである。

フィールド５０２５は、文字列オブジェクトの文字列を
キーボードから入力可能かどうかを記憶するためのフィ
ールドである。

データ構造５０３は、フィールド５０３１〜５０３３か
ら成る。フィールド５０３１は、表示するアイコンのパ
ターンを記憶するためのフィールド、フィールド５０３
２は、表示する色を記憶するためのフィールドである。

フィールド５０３３は、バックグラウンドの色を記憶す
るためのフィールドである。

第７図は、自然語解析部２０８４の機能ブロック図であ
る。まず、形態素解析部６０１は、入力された文を単語
に分割する。構文解析部６０２は、単語に分割された文
を構文木に変換する。検索文ケ成部６０３は、構文木を
データベース管理システム２０８２へのデータベース検
索命令に変換する。

第１ｍは、本実施例の動作の詳細を示すものであり、前
述のユーザインタフェース管理システム２０８３内の制
＃部３０１の処理フローを示すものである。データ読み
込みステップ７０１は、ユーザインタフェース管理シス
テム２０８３内のインタフェース入力部３０２を起動し
て、オペレーティングシステム２０８Ｉを経由して入出
力制御装置２０６から、キーボード２０２やマウス２０
３からの入力を読み込む。

ステップ７０２においては、インタフェース入力部３０
２が、入力された内容が画面上のどのオブジェクトであ
るのか、また、システム特権命令であるのか、更には、
終了であるのかを判定する。終了と判定された場合、制
御部３０１は実行を終了し、制御をオペレーティングシ
ステム２０８１に戻す。

ステップ７０２で、システム特権命令であると判定され
た場合は、ステップ７０３に進む。ステップ７０３では
、どのシステム特権命令を実行するのかを判定する。入
力域４０１１に対する入力であれば、ステップ７０４に
進み、メニュー４０１３に対する入力であれば、ステッ
プ７０５に進み、メニュー４０１４に対する入力であれ
ば、ステップ７０６に進む。ステップ７０４では、自然
語解析部２０８４を起動して検索命令を生成し、ユーザ
インタフェース管理システム２０８３内のインタフェー
ス出力部３０３を起動し、命令の履歴を表示する領域４
０１２に、命令を表示する。ステップ７０５では、指定
されたタイプのオブジェクトを指定された属性で生成し
、インタフェース出力部３０３を起動して、デイスプレ
ィ２０＋に表示し、インタフェース管理部３０４に、オ
ブジェクトのデータを登録する。また、ステップ７０６
では、「マウスでオブジェクトを選択してくださいＪと
いうメツセージを出し、再度入力を読み取り、マウスで
クリックされたオブジェクトを判定、次に、［マウスで
登録する命令を選択してください」というメツセージを
出し、もう−度入力を読み取り、領域４０１２に対する
マウスのクリック位置がら登録すべき命令を判定して、
これをフィールド５゜１７に記憶する。

ステップ７０２で、システム特権命令でない、般のオブ
ジェクトに対する入力であると判定された場合には、ス
テップ７０７に進む。ステップ７０７は、インタフェー
スデータ管理部３０４のオブジェクト管理テーブルの中
から、マウスでクリックされたオブジェクトに対応する
部分を探し、そのフィールド５０１７に登録されている
検索命令を実行する。

上記実施例によれば、ユーザインタフェース用の画面を
作成する状態で、ユーザインタフェースの動作を自然語
で入力することができるという効果がある。

なお、上記実施例は本発明の一例として示したものであ
り、本発明はこれに限定されるべきものではない。

例えば、第１図において、ステップ７０３におけるシス
テム特権命令に、第４図に示す［修正Ｊ４０１５を選択
する命令を加えて、自然語入力の一部のみを修正して、
新たなオブジェクトを登録する準備を行い、次に登録す
るためのステップ７０６を経てこれを登録することによ
り、簡単な操作で、類似のオブジェクトの作成・登録を
可能にするという方式も可能である。

〔発明の効果〕

以上、詳細に説明した如く、本発明によれば、コンピュ
ータを利用した対話型システムにおいて、自然文を入力
とし自然文解析結果を出力とする自然文解析ステップと
、該ステップによる自然文解析結果をユーザインタフェ
ースのオブジェクトの属性として記憶するステップと、
ユーザインタフェースのオブジェクトに対して操作が行
われたとき、その属性として記憶されている萌記自然文
解析結果を解釈実行するステップとを設けたので、マウ
スを有するコンピュータにおいて、固定的な動作をコン
ピュータに要求する場合にはメニュー・アイコンを利用
することができ、毎回具なった動作を要求する場合には
自然語入力方式を利用できるようにするために、自然語
インタフェースをメニュー・アイコンと共存した形で利
用可能とするインタフェース方式を実現できるという顕
著な効果を奏するものである。

【図面の簡単な説明】

第１図は本発明の一実施例の動作の詳細を示すフローチ
ャート、第２図は実施例のシステムの機能ブロック図、
第３図は実施例の動作の概要を示すフローチャート、第
４図はユーザインタフェース管理システム内の機能ブロ
ック構成を示す図、第５図は実施例の画面例を示す図、
第６図はインタフェースデータ管理部のデータ構造を示
す図、第７図は、自然語解析部の機能ブロック構成を示
す図である。 ２０１：デイスプレィ、２０２：キーボード、２０３：
マウス、２０４：ディスク、２・０５　：　ティスフコ
ントローラ、２０６：入出力制御装置（■○コントロー
ラ）、２０７：中央処理装置（ＣＰＵ）、２０８：メモ
リ、２０８１：オペレーティングシステム（Ｏ８）、２
０８２　：データベース管理システム（ＤＢＭＳ）、２
０８３　：ユーザインタフェース管理システム（ＵＩＭ
Ｓ）、２０８４　：自然語解析部、２０８５・命令登録
部。 第 ３ 図 第 図 第 図 第 ６ 図 第 図 ０１ ０２ ０３

Claims (1)

1. 【特許請求の範囲】 １、コンピュータを利用した対話型システムにおいて、
   自然文を入力とし自然文解析結果を出力とする自然文解
   析ステップと、該ステップによる自然文解析結果をユー
   ザインタフェースのオブジェクトの属性として記憶する
   ステップと、ユーザインタフェースのオブジェクトに対
   して操作が行われたとき、その属性として記憶されてい
   る前記自然文解析結果を解釈実行するステップとを設け
   たことを特徴とするユーザインタフェース管理方式。 ２、前記各ステップをシステム特権命令として、他の一
   般のオブジェクトに対する操作と区別するステップを有
   することを特徴とする請求項１記載のユーザインタフェ
   ース管理方式。 ３、前記各ステップを並列に配置して、選択可能に構成
   したことを特徴とする請求項１または２記載のユーザイ
   ンタフェース管理方式。 ４、前記各ステップに加え、前記ユーザインタフェース
   に記憶した自然文解析結果を入力とし、自然文を出力す
   る逆変換ステップを設けたことを特徴とする請求項１記
   載のユーザインタフェース管理方式。 ５、前記逆変換された自然文を修正し、更に自然語解析
   して、解析結果をユーザインタフェースのオブジェクト
   の属性として記憶するステップを設けたことを特徴とす
   る請求項４記載のユーザインタフェース管理方式。 ６、前記各ステップに加え、前記ユーザインタフェース
   に記憶した解析結果に、更に自然語で入力し、双方を合
   せた動作をユーザインタフェースに登録するステップを
   設けたことを特徴とする請求項１〜５のいずれかに記載
   のユーザインタフェース管理方式。