JP3183660B2 - ユーザインタフェース作成装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は，オブジェクト指向データ処理システムにお
いて，オブジェクトの内容表示および操作等に関するユ
ーザインタフェースの作成を支援するユーザインタフェ
ース作成装置に関する。

最近，与えられた問題の中に現れる物やデータを，属
性値と操作手続き（メソッド）とを持つオブジェクトと
して管理し，オブジェクト間のメッセージの授受によ
り，問題を処理していくオブジェクト指向の処理システ
ムが実用化され，用いられている。このようなシステム
において，ユーザが簡単に所望する処理環境を構築でき
るような手段が望まれている。

〔従来の技術とその問題点〕

ユーザインタフェースは，いわば人間と計算機との情
報の授受に関する部分であって，その内容によって，操
作性が大きく影響する。従来，ユーザインタフェース
は，それぞれの問題に応じて，すべて開発者が独自に設
計するようにされていた。

そのため，従来のユーザインタフェースは，マシン依
存，応用依存の部分が多く，操作性のよいユーザインタ
フェースを提供するためには，作成工数を多く必要とし
ていた。また，マシン独立でないため，他のシステムに
おける再利用（移植）が困難であった。

また，従来，いわゆるメニュー方式，コマンド方式，
自然言語入力方式などの種々のインタフェースが，個別
に利用されているが，システムが受け入れる処理の範囲
が狭く，ユーザが思った操作をすぐに実行することがで
きないというような問題があった。これは，出力された
結果に対して，ユーザが直接操作できないことも理由の
一つである。ユーザは，現在得られている知識（デー
タ）に基づいて，例えば，さらに詳しく知りたいとか，
関連するものを知りたいというように，思ったことを直
接操作したいことが多いと考えられるが，従来，それを
満たすインタフェースを構築することは極めて困難であ
った。

また，マルチメディアを用いたユーザインタフェース
を構築する場合に，非常に多くの時間と労力を必要とし
た。

本発明は上記問題点の解決を図り，オブジェクトの表
示領域を管理することによる視覚的・直接的なグラフィ
ック・インタフェースおよび辞書の利用による自然言語
インタフェースなどを容易かつ統一的に構築できる手段
を提供することを目的としている。

〔課題を解決するための手段〕

第１図は本発明の原理説明図である。

第１図において,10はディスプレイ,11はCPUおよびメ
モリなどからなる処理装置,12は属性値とメソッドなど
を持つオブジェクト,13は自然言語の解析に用いられる
解析用辞書,14はオブジェクトの表示インタフェースを
提供する表示系処理手段,15は指定されたオブジェクト
を表示するオブジェクト表示部,16は表示オブジェクト
をアクセス・テーブルに登録するアクセス・テーブル登
録部,17は統一的な入力インタフェースを提供する入力
系処理手段,18は指定されたオブジェクトを抽出するオ
ブジェクト抽出部,19は自然言語入力によってコマンド
を生成し実行するコマンド生成・実行部,20はメニュー
によってメソッドを選択し実行するメニュー処理部,21
はオブジェクトとその占有領域情報が登録されるアクセ
ス・テーブル,22は入力制御を行う入力制御部,23はキー
ボードやポインティング・デバイスなどの入力装置であ
る。

本発明は，オブジェクト指向モデルを扱うデータ処理
システムを前提としており，各オブジェクト12は，所定
の各種属性名で，図形やテキストやイメージなどの表示
情報および表示領域に関係する占有領域情報等を持つよ
うにされる。換言すると，所定の表示情報および占有領
域情報等を持つようにオブジェクト12が作成されていれ
ば，後述する表示系処理手段14および入力系処理手段17
によるインタフェースを利用できるようになっている。

解析用辞書13は，自然言語の単語と，オブジェクト・
属性・条件・メソッドなどの対応関係情報が，所定の形
式で予め登録されるものであって，解析用辞書13への登
録情報によって，入力系処理手段17による自然言語イン
タフェースを利用できるようになっているものである。

表示系処理手段14は，オブジェクト12の表示指示に対
し，予め定められた属性を参照し，オブジェクト表示部
15により，そのオブジェクトおよびそのオブジェクトの
部品オブジェクトに関する内容を，ディスプレイ10に表
示する。また，アクセス・テーブル登録部16により，ア
クセス・テーブル21に，今，表示したオブジェクト12の
識別情報と，その占有領域情報とを登録する処理を行
う。

アクセス・テーブル21は，ディスプレイ10への表示対
象となるウィンドゥＷに対応して設けられる内部作業用
の記憶領域であって，そのウィンドゥＷに表示されてい
る各オブジェクトとその占有領域情報とを記憶するもの
である。

入力系処理手段17は，入力装置23から入力制御部22を
介して，オブジェクト表示画面における座標を入力する
と，オブジェクト抽出部18によって，該当するアクセス
・テーブル21を検索し，入力座標に対応するオブジェク
トを操作対象として抽出する処理を行う。また，自然言
語入力に対し，解析用辞書13を参照して解析を行い，オ
ブジェクト操作言語によるコマンドを生成して，それを
実行するコマンド生成・実行部19と，抽出されたオブジ
ェクトが持つメソッドに対するメニュー表示処理を行
い，そのメニューによって選択されたメソッドを実行す
るメニュー処理部20とを持つ。

〔作用〕

各種操作対象となる図形や画像データ等と，ウィンド
ゥを，所定の定義形式に従ってオブジェクトとして定義
すると，それを，表示系処理手段14によって表示するこ
とができる。表示系処理手段14は，表示する部品オブジ
ェクトを含むすべてのオブジェクトに関する情報を，自
動的にアクセス・テーブル21に登録し管理するので，入
力系処理手段17では，アクセス・テーブル21を参照する
ことにより，表示されたすべてのオブジェクトを，マウ
ス等のポインティング・デバイスからの入力によって，
認識することができる。

また，所定の形式に従って，解析用辞書13を作成して
おけば，その登録情報に従って，入力された自然言語を
オブジェクト操作言語に自動変換する処理機能が，入力
系処理手段17によって提供されるため，日本語などの自
然言語インタフェースについても簡易に作成できるよう
になる。また，表示しているオブジェクトから選択され
たオブジェクトのメソッドについて，自動的にメニュー
選択対象とすることができるので，ユーザは，現在表示
されているオブジェクトに対して，操作したいことを，
種々のスタイルのインタフェースで，処理装置11に対し
指示することができるようになる。

〔実施例〕

第２図は本発明の一実施例で用いられるアクセス・テ
ーブルの説明図，第３図は本発明の一実施例による表示
操作の例，第４図は本発明の一実施例に係る解析用辞書
の例，第５図は本発明の一実施例によるコマンド生成の
例，第６図は本発明の一実施例処理説明図を示す。

オブジェクト指向モデルを扱う処理システムにおい
て，操作対象となるオブジェクトは，よく知られている
ように，属性値と操作（メソッド）情報とを持ち，属性
値の検査／変更やメソッドの実行を，メッセージの送受
信によって行うことができるようになっている。

本発明では，このオブジェクトに基づく表示や各種の
操作を支援するために，オブジェクトが備えるべき属性
として，例えば次のような情報をそれぞれ共通の形式
（属性名）で持つようにされる。

［オブジェクトが持つ情報］ ・表示情報： 図形線（面）種と座標，線（面）属性，色等の情報 テキスト文字列，フォント，開始位置，方向，色，
背景色等の情報 イメージ各ピクセルのピクセル値，マトリクス，
色，データ長等の情報 ・親図形（部品図形）：部品を構成するような階層関係
情報 ・占有領域（表示領域）：部品関係において親部品の座
標系における占有領域情報 ・相対位置：部品関係において親部品の座標系における
相対的な位置情報 ・相対倍率：部品関係において親部品の座標系とのスケ
ールの比率情報 ・ウィンドゥ上での位置，・ウィンドゥ上での倍率，・
ウィンドゥ上での占有領域……。

なお，これらのウィンドゥ関係の情報は，表示系にお
いて，占有領域を計算したときに値が設定される。その
占有領域は，矩形で管理される。

［ウィンドゥ情報］ ウィンドゥに関するオブジェクトは，次のような属性
情報を持つ。

・位置：スクリーン上での位置 ・大きさ：スクリーン上での大きさ ・アクセス・テーブル：ウィンドゥに表示しているオブ
ジェクトの識別子とその占有領域をテーブル化したもの ・最上位フラグ：ウィンドゥの重ね合わせで，表にある
か裏にあるかを識別するフラグ ・ビューの位置，・ビューの大きさ（これを利用してウ
ィンドゥ上の図形の全体の移動や縮小／拡大を行う） ・背景色……。

第１図に示す表示系処理手段14は，以上のようなオブ
ジェクトの情報に基づいて，指定されたオブジェクトを
指定されたウィンドゥに表示すると共に，そのオブジェ
クトが表示されているウィンドゥに対応するアクセス・
テーブル21に，オブジェクト情報を登録する。

第２図（イ）は，地図表示ウィンドゥＷを示してお
り，第２図（ロ）は，それに対応するアクセス・テーブ
ル21の例を示している。

アクセス・テーブル21は，地図表示ウィンドゥＷに表
示されているすべてのオブジェクトについて，オブジェ
クトの識別子と，左上の座標および右下の座標によって
定義される矩形による占有領域情報とを記憶する。従っ
て，例えばマウス・カーソル30により，地図表示ウィン
ドゥＷ内の１点が指示されたときに，アクセス・テーブ
ル21によって，どのオブジェクトが選ばれたのかを認識
し，そのオブジェクト（例えば家Ｂ）にメッセージを送
信することが可能である。

表示操作の例として，第３図に従って，オブジェクト
のトラバース，ブラウズについて説明する。トラバース
は，オブジェクトをたどって検索していくことであり，
ブラウズは，オブジェクトの詳細内容を表示することで
ある。

例えば，第３図（イ）に示すような結果ウィンドゥＷ
において，マウス等により，「住居２」を指示すると，
そのウィンドゥのアクセス・テーブル21を参照すること
により，入力座標が含まれるオブジェクトが調べられ，
「住居２」のオブジェクトが選択される。これにより，
「住居２」に対するメッセージ送信ができるようにな
る。

「住居２」に対して用意されたメソッドにより，すべ
ての属性表示を命令すると，第３図（ロ）図示のよう
に，結果ウィンドゥＷに，「住居２」のすべての属性情
報が表示される。その中のオブジェクト（例えばマンシ
ョンＡ）にも，同様にメッセージを送ることができ，第
３図（ハ）に示すように，「マンションＡ」のブラウズ
も行うことができる。さらに，イメージ・オブジェクト
である「写真Ｐ」に対して，“表示せよ”というメッセ
ージを送ることにより，第３図（ニ）図示のように，予
め用意されたマンションＡの外観写真を表示すること
も，同様な操作で行うことができる。

ポインティング・デバイスによって選択したオブジェ
クトに対するメッセージ送信方法としては，例えば“近
くのスーパーを求めよ。”というような日本語入力によ
り自動的に生成したコマンドによる送信や，属性検査，
消去，移動などといった予め用意されたメソッドに基づ
くメニュー選択による送信を選択することができる。

第１図に示す入力系処理手段17によって使用される解
析用辞書13は，例えば第４図に示すように構成される。

この例では，解析用辞書13には，各種オブジェクトで
扱うデータに対する任意の日本語の単語と，それらの各
単語の種別を示す命令語・補助語などのタイプ情報と，
オブジェクトとの関連情報とが，予め登録されるように
なっている。オブジェクトとの関連情報としては，単語
がオブジェクトを意味するものであるときには，そのオ
ブジェクトの識別子，属性の１つを意味するものである
ときには，その属性名，検索条件等を意味するものであ
るときには，その操作言語に応じた条件情報，メソッド
に対応するものであるときには，メソッドの識別名が格
納される。ユーザは，所定の形式に従ってさえいれば，
任意の単語を解析用辞書13に登録することができる。

次に，この解析用辞書13を用いたコマンド生成の例
を，第５図に従って説明する。

第５図（ａ）に示すように，例えば“間取りが3D
K。”というような日本語が入力されると，第４図に示
す解析用辞書13の単語検索により，最長一致法に基づく
単語分割が行われる。次に，文章が命令文であるか条件
文であるかにより，メソッド部生成または条件部生成の
モジュールが呼び出される。ここでは，条件部生成のモ
ジュールが呼び出され，“3DK"の単語から，「（（mado
ri）equal“3DK"）」の条件部が生成される。

また，第５図（ｂ）に示すように，“物件の価格と間
取りを求めよ。”というような日本語が入力されると，
同様に単語分割が行われ，命令文であることから，メソ
ッド部生成のモジュールが呼び出される。そして，“物
件”がオブジェクトjuukyoに対応し，“価格",“間取
り”がそれぞれ属性kakaku,madoriに対応し，“求め
よ”がメソッドgetに対応することが，解析用辞書13に
よって調べられる。

条件部とメソッド部の解析が終わると，第５図（ｃ）
に示すような所定のオブジェクト操作言語に従ったパタ
ーンにより，条件部とメソッド部とを組み合わせ，第５
図（ｄ）に示すようなオブジェクト・コマンドを自動生
成する。そして，そのコマンドを実行する。従って，ユ
ーザは応用に必要な単語を解析用辞書13に登録するだけ
で，日本語入力インタフェースを構築できる。

第６図は，本発明の一実施例によるインタフェースに
関する処理の例を示している。

表示系の処理は，第６図（イ）に示すように行われ
る。以下の説明における〜は，第６図（イ）に示す
処理〜に対応する。

ウィンドゥとオブジェクトを指定した表示指示に対
し，そのウィンドゥの情報およびオブジェクトの情報か
ら，表示ウィンドゥのビューを始めとして，表示オブジ
ェクトとその部品オブジェクトの占有領域を計算する。
このとき，オブジェクトの属性として定義された相対位
置，倍率，占有領域などの情報を利用し，さらにウィン
ドゥ上における位置や倍率や占有領域を求める。

オブジェクトの表示情報と，ウィンドゥにおける位
置や倍率情報をもとに，オブジェクトの内容を表示す
る。この表示内容は，図形でも，テキストでも，イメー
ジでもよい。

表示したオブジェクトが占める表示領域についての
矩形情報（４つの座標）と，オブジェクト識別子とを，
アクセス・テーブルに登録する。なお，登録順序は，親
図形が先で部品図形は後になる。

すべての部品図形について，処理および処理に
よる表示と登録とを繰り返し，その表示と登録の処理が
終了したならば，処理を終了する。

入力系の処理は，第６図（ロ）に示すように行われ
る。以下の説明における〜は，第６図（ロ）に示す
処理〜に対応する。

マウス入力によって，入力座標と入力ボタンがシス
テムから通知される。

ウィンドゥ情報の占有領域情報をもとに，入力座標
からウィンドゥを決定する。占有領域は，矩形の左上x,
y座標および右下x,y座標の４つの数値で与えられ，入力
座標X,Yに対して，次式が成立するとき，そのウィンド
ゥが候補となる。

左上ｘ≦入力Ｘ≦右下ｘ かつ 左上ｙ≦入力Ｙ≦右下ｙ その候補の中から，最も表面に現れているウィンドゥ
が操作対象として決定される。

次に，決定されたウィンドゥのアクセス・テーブル
21から，入力座標を占有領域に含むオブジェクトが求め
られる。比較式については，ウィンドゥの決定において
用いられた式と同様である。この処理におけるアクセス
・テーブル21を検索では，入力の逆順にスキャンを行
う。表示系処理では，前述のように，親図形から先に表
示しているので，子の部品図形が，後に表示されること
になる。このことから，アクセス・テーブル21を逆スキ
ャンすると，同一座標を占有するオブジェクトの中で
も，子の部品図形を先に検索することができる（オブジ
ェクトの抽出）。

さらに，その図形が操作対象でない場合には，例えば
マウスの右クリックにより，次のオブジェクトの候補に
ついての検索を続ける（オブジェクトの選択）。本実施
例では，マウスの左クリックがオブジェクト・アクセ
ス，中クリックが終了，右クリックが次候補選択に用い
られる。候補がないときは，最初に戻る。

操作対象オブジェクトが選択されると，次に日本語
処理またはメニュー選択の操作選択を行う。これは，任
意の時点で指定できるようにされた指定変数のオン／オ
フにより選択する。

日本語処理の場合，周知の仮名漢字変換などによ
り，日本語を入力する。

解析用辞書13を用いて，例えば最長一致法により入
力文を単語分割し，解析する。

辞書情報から実行対象になる単語を見つけ，その解
析結果に応じて，各単語の補助情報を採用し，それらを
組み合わせて，オブジェクト操作言語によるコマンドを
生成する。なお，ユーザは，もっと高度な解析を望む場
合には，この部分を別の生成ルーチンで置き換えてもよ
い。この際に，汎用プログラムを用いることも可能であ
る。

生成したコマンドを実行し，処理が終了したなら
ば，マウス入力系へ制御を移す。

指定変数のスイッチにより，メニュー選択が指定さ
れている場合，操作対象オブジェクトが持つメソッドの
メニューを表示する。

表示したメソッドのメニューの中から,1つの項目
を，マウス入力等によって選択する。

選択したメニュー項目のメソッドを実行し，実行が
終了したならば，マウス入力系へ制御を戻す。

本実施例では，主として視覚的インタフェースを扱っ
ているが，操作対象をオブジェクトとして統一的に管理
しているので，音声等のメディアを扱うように拡張する
ことも容易である。なお，操作対象となるオブジェクト
や解析用辞書は，ユーザが所定の規約に従って自由に作
成してよいが，このオブジェクトの生成を支援する生成
ツールや，辞書作成ツールについても用意することによ
り，さらに簡易に応用システムを構築できるようにする
ことが可能である。

〔発明の効果〕

以上説明したように，本発明によれば，オブジェクト
指向モデルにより，対象分野の知識（データ）や，イン
タフェースに必要な図形，ウィンドゥ，辞書などの情報
を定義するだけで，視覚的／直接的にオブジェクト・ブ
ラウズ（トラバース）などの各種の表示や操作を選択で
きる操作性のよいユーザインタフェースを作成できるよ
うになる。オブジェクト指向モデルに基づくので，マシ
ンの独立性があり，移植性に優４れている。種々のメデ
ィアに対しても，統一的にオブジェクトとして管理する
ことができる。

【図面の簡単な説明】

第１図は本発明の原理説明図， 第２図は本発明の一実施例で用いられるアクセス・テー
ブルの説明図， 第３図は本発明の一実施例による表示操作の例， 第４図は本発明の一実施例に係る解析用辞書の例， 第５図は本発明の一実施例によるコマンド生成の例， 第６図は本発明の一実施例処理説明図を示す。 図中,10はディスプレイ,11は処理装置,12はオブジェク
ト,13は解析用辞書,14は表示系処理手段,15はオブジェ
クト表示部,16はアクセス・テーブル登録部,17は入力系
処理手段,18はオブジェクト抽出部,19はコマンド生成・
実行部,20はメニュー処理部,21はアクセス・テーブル,2
2は入力制御部,23は入力装置を表す。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｇ０６Ｆ 17/30 ３３０ Ｇ０６Ｆ 17/30 ３３０Ｃ (56)参考文献 特開 昭63−14229（ＪＰ，Ａ) 特開 昭58−166481（ＪＰ，Ａ) 特開 昭60−54073（ＪＰ，Ａ) 特開 昭60−138668（ＪＰ，Ａ) 特開 昭63−285675（ＪＰ，Ａ) 特開 昭62−156721（ＪＰ，Ａ) 特開 昭61−276013（ＪＰ，Ａ) 牧之内顕文、外１名，“マルチメディ アデータベースの利用者インターフェー ス”，情報処理，情報処理学会，昭和62 年６月，第28巻，第６号，ｐ．694−704 情報処理学会，“第28回（昭和59年前 期）全国大会講演論文集（▲ＩＩ ▼）”，昭和59年３月，ｐ．1123−1126 情報処理学会，“第35回（昭和62年後 期）全国大会講演論文集（▲ＩＩ ▼）”，昭和62年９月，ｐ．929−934 Ｄａｎｉｅｌ Ｂｒｙｃｅ、外１名, “ＳＮＡＰ：Ａ Ｇｒａｐｈｉｃｓ−ｂ ａｓｅｄ Ｓｃｈｅｍａ Ｍａｎａｇｅ ｒ”，ＩＥＥＥ 1986 Ｉｎｔｅｒｎａ ｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄａｔａ Ｅｎｇｉｎｅｅｒｉｎ ｇ，昭和61年，ｐ．151−164 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/00,9/06,9/44 G06F 12/00,17/30

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】操作対象をデータの属性値とメソッドとを
   持つオブジェクトとして管理するオブジェクト指向のデ
   ータ処理システムにおいて， オブジェクトの表示指示に対し，そのオブジェクトおよ
   びそのオブジェクトの部品オブジェクトに関する内容を
   表示するオブジェクト表示部と， 表示オブジェクトとその占有領域情報とを，ウィンドゥ
   対応に設けられるアクセス・テーブルに登録するアクセ
   ス・テーブル登録部とを持つ表示系処理手段を備える共
   に， オブジェクト表示画面における入力に対し，該当アクセ
   ス・テーブルにより操作対象オブジェクトを抽出するオ
   ブジェクト抽出部と， 抽出した操作対象オブジェクトが持つメソッドに対する
   メニュー処理を行うメニュー処理部と， 自然言語入力に対し，所定の定義形式で作成された辞書
   に従ってオブジェクト操作言語によるコマンドを生成し
   実行するコマンド生成・実行部とを持つ入力系処理手段
   を備える ことを特徴とするユーザインタフェース作成装置。