JPH05341948A - ディスプレイスクリーン上の対象物の位置を自動的に見つける方法とシステム - Google Patents

Abstract

(57)【要約】 【目的】 ディスプレイスクリーン上の対象物の位置を
自動的に見つけるシステムと方法とを提供する。 【構成】 本システムと方法とはまず、基準ディスプレ
イスクリーン上で対象物を表示するために、スクリーン
上のベンチマーク３０の対象物からの前記対象物即ちフ
ィールドＡ〜Ｃの相対位置のずれを設定する。新しいデ
ィスプレイスクリーンが受け取られ、それがディスプレ
イスクリーンに対応すると、本システムは指令に応答し
て新しいスクリーン上でベンチマーク対象物を見つけ、
かつ見つかったベンチマーク対象物からの予め設定した
相対位置のずれを参照して要求された対象物の位置を決
定することにより新しいディスプレイスクリーン上の要
求された対象物にアクセスする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はスクリーンディスプレイ
上の対象物の位置を自動的に決定する方法とシステムと
に関し、特にディスプレイ対象物と、スクリーンディス
プレイ上のベンチマーク対象物との間の相対位置情報を
採用している方法とシステムとに関する。

【０００２】

【従来の技術】音声に基づいた処理システムは、要求さ
れた情報を提供する理解可能音声応答を提供することに
よりユーザの電話による照会に応答する。音声に基づい
た処理システムに対して現在実施されている若干のトラ
ンザクションとしては下記がある。

【０００３】− 呼出し元が電話のキーパッドを介して
口座番号を提供するように要求され、その時点でプロセ
ッサは入力された番号を採用して口座の残高を見つけ呼
び出し元に残高を読み上げる。 − システムが呼出し元に対して現在の利率のような情
報を提供する。 − システムが呼出し元からの情報、例えば販売の注文
あるいは修理依頼電話のような情報をデータベースに入
力する。 − システムがホストコンピュータからのデータを用い
て、サービス指令や約束を自動的に発信する。

【０００４】一般的に、音声に基づいた処理システムは
以下音声処理ユニット（ＶＰＵ）と称するインタフェー
スユニットを採用している。ＶＰＵは電話での照会者と
ホストプロセッサ間の人間の仲介に代わる、プロセッサ
ベースのトレーニング可能な音声応答システムである。
そのような従来技術によるＶＰＵの一つがＩＢＭ９２７
０である。９２７０ＶＰＵは、スクリーントランザクシ
ョンのシステムを介してホストプロセッサと通信する。
特に、ＶＰＵがユーザからの照会を受け取ると、要求さ
れたデータを含むホストプロセッサからのデータを「ス
クリーン」に写すことを要求する。スクリーンは、照会
に応答して、ホストプロセッサにおけるアプリケーショ
ンソフトウエアによって調製されたピクセル・イメージ
である。照会に対する解答を提供する目的でＶＰＵにス
クリーンが供給される。全部でないとしても、ほとんど
のホストプロセッサは内部のアプリケーションプログラ
ムからスクリーンを構成する能力を有しているのでイン
タフェースとしてスクリーンを使用することにより、Ｖ
ＰＵが、必ずしもソフトウエアに互換性がない種々のホ
ストプロセッサともインタフェースできるようにする。

【０００５】ＶＰＵが一旦スクリーンを受け取ると、そ
のスクリーン上で要求されたデータを見つけることがで
きるスクリーン上の対象物を識別する必要がある。この
機能は９２７０においては、ＶＰＵが特定のスクリーン
上の対象物の位置に関する情報を記憶できるように、ホ
ストスクリーンが供給されているＶＰＵに対してトレー
ニングセッションをまず提供することにより達成され
た。対象物（例えばフィールド）はレベルを付すか、あ
るいは行および列の位置識別子を提供することにより識
別することができた。一旦トレーニングが完了すると、
次にＶＰＵは各対象物に対してラベル／位置ロケーショ
ンのライブラリを有することになり、該ライブラリは後
続の演算において、要求された対象物の位置を探すこと
ができるよう使用しうる。

【０００６】ホストで発生したスクリーンが静的であっ
て、トレーニング時と実行時との間でそれらの位置を変
えない限り、そのようなロケーションデータは、対象物
の位置を決定できるようにするに十分である。しかしな
がら、スクリーンは処理中に、動かしたり、編集した
り、あるいは位置を変える性格のものであることが判明
している。例えば、スクリーン内の全ての対象物が共通
の方向にタンデムに動くスクローリング動作が発生す
る。一旦そのようなスクリーンの移動が発生すると、全
ての固定した位置データは対象物をその後で見つけるこ
とができるようにするためには更新する必要がある。こ
の更新作業は時間がかかり、かつトレーニング局面に再
入力する必要があることがよくある。

【０００７】従来技術においては、スクリーンディスプ
レイ上のデータを探すための種々の方法が開示されてき
た。その中で最も広く使用されている方法は、ユーザが
選定したスクリーン対象物にカーソルを位置させる方法
であることは明らかである。この方法は、ユーザが自動
応答ユニットに代替された場合は何ら適用されない。種
々のタイプの自動対象物位置探索システムが以下の特許
に見出すことができる。「Ｇｒａｐｈｉｃｓ Ｄｉｓｐ
ｌａｙ Ｕｎｉｔ」という名称のＢｒｕｅｖｏｌｄの米
国特許第４，０９４，０００号は、イメージ対象物が始
まる個所を指示するため「開始（ｂｅｇｉｎ）」レジス
タが採用されているディスプレイシステムを記載してい
る。スクリーンが動くと、開始レジスタ値は増分されて
関連の対象物を相応に動かすことができる。即ち、各対
象物はその「開始」値と関連していて、開始値を増分す
ることにより対象物全体を動かし、後で位置を探すこと
ができる。

【０００８】「Ｍｅｔｈｏｄ ｆｏｒ Ｒｅｓｔｏｒｉ
ｎｇ ａｎｄ Ｒｅｔｒｉｅｖｉｎｇ Ｄａｔａ」とい
う名称のＨｅｖｅｎｏｒ， Ｊｒ．の米国特許第４，４
１９，７４０号はメモリロケーションをメモリ記憶装置
の所定のゾーンに関連づけるテーブルを提供することに
より、メモリロケーションの関連づけを教示している。
「Ｆｒａｍｅ Ｐｏｓｉｔｉｏｎｉｎｇ Ｍｅｔｈｏ
ｄ」という名称のＯｎｏの米国特許第４，８２５，３８
７号は特定のフレームの相対位置寸法に従って一対のベ
ース即ちベンチマーク・フレームに対してマイクロフィ
ッシュ・フレームを位置につき関連させている。

【０００９】「Ｏｂｊｅｃｔ Ｐｒｏｃｅｓｓｉｎｇ
ｆｏｒ Ｖｉｄｅｏ ＳｙｓｔｅｍＵｓｉｎｇ Ｓｌｉ
ｐｓ ａｎｄ Ｌｉｎｋｅｄ Ｌｉｓｔ」という名称の
ＭｃＣａｒｔｈｙ他の米国特許第４，９０５，１６８号
は、ビデオゲーム中の運動している対象物が固定された
対象物と衝突するときを決定するシステムを記載してい
る。全ての運動している対象物は、ビデオゲームの「プ
レイフィールド（ｐｌａｙｆｉｅｌｄ）」上の基準点か
らのずれによって位置が探される。対象物がスクリーン
上を動く毎に、基準点に対するその相対位置を更新する
必要がある。相対位置は、対象物の衝突が発生したか否
かを決定するために採用されている。

【００１０】

【発明が解決しようとする課題】本発明の目的は、スク
リーン上の対象物の位置を自動的に見つけるための改良
されたシステムを提供することである。

【００１１】本発明の別の目的は、スクリーンが動いて
も、スクリーン上の対象物の位置を見つけることのでき
るスクリーン対象物位置探索法によりスクリーンインタ
フェースモードで動作する音声応答装置を提供すること
である。

【００１２】

【課題を解決するための手段と作用】基準ディスプレイ
スクリーン上のディスプレイ対象物に対して、スクリー
ン上のベンチマーク対象物からの前記対象物の相対位置
のずれを初期設定する、ディスプレイスクリーン上の対
象物の位置を見つけるシステムと方法とが提供される。
新しいディスプレイスクリーンが受け取られ、かつ基準
ディスプレイスクリーンと一致することが判明すると、
本システムは指令に応答して、前記の新しいディスプレ
イスクリーン上の要求された対象物にアクセスする。こ
のことは、前記新しいディスプレイスクリーン上のベン
チマーク対象物を見つけ、一致した基準ディスプレイス
クリーンから導出され、見つけられたベンチマーク対象
物の相対位置のずれを参照して要求された対象物の位置
を決定することにより達成される。

【００１３】

【実施例】図１を参照すれば、複数のタッチトーン電話
器１０がＰＢＸ／ＣＢＸユニット１２を介して音声応答
ユニット（ＶＰＵ）１４と通信する。ＶＰＵ１４は電話
器１０とホストプロセッサ１６，１８，２０との間のイ
ンタフェースを提供し、各プロセッサには１つ以上のア
プリケーションプログラムが組入れられている。前述し
た従来技術のＶＰＵの要領で、ＶＰＵ１４は、まずユー
ザの照会を満足させるにはいずれの特定のアプリケーシ
ョンが必要であるかを決定することにより電話器１０か
らの照会に応答する。ＶＰＵ１４は次に、接続されたホ
ストプロセッサとのセッションを呼び出し、ホストプロ
セッサのアプリケーションにログし、そこからスクリー
ンを取得し、スクリーン上で要求されたデータを見つ
け、そして接続されたユーザに音声応答によりデータを
提供する。ＶＰＵ１４は、中央処理ユニット（ＣＰＵ）
２２と、音声応答モジュール２４と、割り当てられたメ
モリブロック２６，２８とを含む。メモリブロック２６
はホストスクリーンを記憶し、メモリブロック２８はホ
ストスクリーンの各々における対象物の相対位置を記憶
する。これらの相対位置は、その中に対象物が位置して
いるスクリーンのベンチマークに関係している。

【００１４】図２に示すように、スクリーンは複数の対
象物（例えばフィールドＡ，Ｂ，Ｃ）を含み、各対象物
は別々のスクリーン上の位置に位置している。ベンチマ
ーク３０は、ベンチマークとしてユーザが指定できるよ
うユーザによって予め選定されたスクリーン上のタイト
ルあるいはその他のいずれかの対象物としてのスクリー
ンラベルでよい。ベンチマーク３０はスクリーンの処理
の間変えないことが好ましい。以下詳細に理解されるよ
うに、スクリーン上の各対象物はベンチマーク３０に対
して相対的に位置している。対象物はフィールドＡのよ
うに、直接相対的に位置するものや、フィールドＢやフ
ィールドＣのように間接的に相対位置するものでよい。
このように、フィールドＡは、ベンチマーク３０に対す
るその相対位置を規定する位置インジケータを有してい
る。他方、フィールドＢは、フィールドＡに対する相対
位置インジケータを有し、フィールドＣはフィールドＢ
に対する相対位置インジケータを有している。

【００１５】スクリーン上の特定の対象物をアクセスす
べき場合、ＶＰＵ１４内の相対位置記憶領域２８が、対
象物の記憶された相対位置インジケータに対してアクセ
スされる。もしその相対位置が非ベンチマーク対象物に
関連しているとすれば、基準とされた非ベンチマーク対
象物に対する相対位置インジケータがアクセスされ、そ
の相対位置インジケータが検査され、その相対位置情報
によって言及された対象物がアクセスされる。この手順
は、ベンチマーク３０が見つかったことが決定されるま
で継続する。次いで、探索が始まる固定点としてベンチ
マーク３０の位置を用いることにより対象物から対象物
への探索が逆方向に進行する。

【００１６】対象物の探索が始まった初期位置としてス
クリーン上のベンチマーク対象物を用いることにより、
スクリーン上の全ての位置を直ちに探すことができる。
このことは、たとえもしスクリーンが図２において矢印
３２で示す方向にスクロールしたとしても可能である。
そのような場合、スクリーン上の全ての対象物はタンデ
ムに移動し、それらの相対位置は保たれる。このよう
に、たとえスクリーンが動いたとしても、対象物の位置
は、各スクロール時に記録を詳細に更新する必要なく探
すことができる。その結果ＶＰＵ１４は、スクリーン上
のその他の全ての対象物を見つけるためにベンチマーク
３０の位置を探るのみでよい。

【００１７】図３から図５までを参照して、必要なデー
タベースを設定し、スクリーン対象物の位置を決定する
ためにＶＰＵ１４によって採用されている方法を説明す
る。図３に示すように、ＶＰＵ１４のためのトレーニン
グセッションは、接続されたホストコンピュータのアプ
リケーションを呼出すこと（ボックス５０）によって始
められる。次いで、ＶＰＵ１４はホストプロセッサか
ら、以下「基準」スクリーンと称するアプリケーション
スクリーンを取得し、それらをＶＰＵデータベースに記
憶する（ボックス５２）。

【００１８】各基準スクリーンに対して、スクリーン上
のベンチマーク対象物に対する対象物（例えば、関心の
あるフィールド）の相対位置を規定することにより「ト
レーニング」が達成される。さらに、位置的に関連した
スクリーン上の対象物のいずれかの連鎖において、その
連鎖の中の第１の対象物がベンチマーク対象物であり、
それに続く連鎖状の対象物が連鎖中の先行する対象物に
対して位置を基準に関連している限り、あるスクリーン
上の対象物の他のスクリーン上の対象物に対する相対位
置も見つけることができる（ボックス５４）。各フィー
ルドのデータが順次ユーザの照会に応答するように採用
される場合は、位置的に関連したスクリーン対象物のそ
のような「連鎖」が一般的に採用されるものである。

【００１９】一旦位置関係が規定されると、それらはＶ
ＰＵ内のデータベースに記憶され、そのため各々の関心
あるフィールド即ちスクリーン対象物は関連の相対位置
の指示を有する（ボックス５６）。この段階において、
トレーニングの機能は完了する。ＶＰＵ１４は、いずれ
かの特定のアプリケーションに対して、アプリケーショ
ンにおいて使用すべき基準スクリーンのコピーを有し、
かつ各基準スクリーンに対して、スクリーン上の各対象
物に対して相対位置の指示を有し、全ての対象物はベン
チマーク対象物まで戻るように追跡することができる。

【００２０】図４および図５を参照して、ＶＰＵ１４の
「実行」時間を説明する。ユーザの照会がＰＢＸ／ＣＢ
Ｘ１２を介して受け取られたものと想定する。ＶＰＵ１
４は、ユーザの照会に応答するに要する特定のアプリケ
ーションを決め（ボックス５８）、要求されたアプリケ
ーションを含むホストプロセッサに通知する（ボックス
６０）。次に、ＶＰＵ１４はホストプロセッサによって
アプリケーションからの初期スクリーンの供給を受け取
る（ボックス６２）。ＶＰＵ１４は、受け取ったスクリ
ーンを、データベースに記憶された基準スクリーンと比
較して、スクリーン突合わせを設定し、そのため初期ア
プリケーションスクリーンを識別する。このステップの
必要な理由は、アプリケーションは、ユーザの照会に関
連せず、そのため無視しうる「ハウスキーピング」スク
リーンを初めて伝送してしまうことがよくあるからであ
る。比較機能を提供することによりそのようなハウスキ
ーピング・スクリーンを付加的に処理してしまうことが
排除でき、新しいスクリーンが要求される。（この繰返
し機能はフローチャートに示していない）。

【００２１】一旦要求されたスクリーンが識別される
と、当該要求されたスクリーン対象物も識別され、その
相対位置の指示がデータベース２８からアクセスされ
る。このように、もしユーザが口座の残高情報を要求し
ているのであれば、口座はまず口座番号で識別する必要
がある。そのような口座番号がスクリーンに位置決めさ
れ、これが初めの「関心あるフィールド」でありうる
（ボックス６６）。

【００２２】まず、ＣＰＵ２２によって制御されたＶＰ
Ｕ１４は、関心あるフィールドに対してアクセスした相
対位置指示が、基準とされたフィールドがベンチマーク
である（例えばベンチマークがラベルである場合、ラベ
ルを比較することによりこの決定を行いうる）ことを示
すか否かを決定する（ボックス６８）。もしそれがベン
チマークでないとすれば、相対位置指示により基準とさ
れたフィールドが、その相対位置指示と共にアクセスさ
れる（ボックス７０）。再び、相対位置指示が検査さ
れ、それが基準とする対象物がベンチマークであるか否
かを決定する。もしそれがベンチマークでなければ、ベ
ンチマークが見つかったことが決定されるまでサイクル
は継続する。この「後方」探索の間、基準とされた対象
物の各々はリストに記憶され、順方向探索の間アクセス
できるようにされる。

【００２３】一旦ベンチマークが識別されてしまうと、
予め記憶された位置情報あるいは部分的あるいは全体的
なスクリーン探索のいずれかによりベンチマークの位置
はスクリーン上で見つかる。次に、所望のスクリーン上
の対象物の探索が反対方向に進行し、「関心ある対象
物」の位置が決定されるまで基準とされた対象物のリス
トを通して増分し戻される。

【００２４】探索待ち行列におけるベンチマークと第１
のフィールドとの間の相対位置指示をまずアクセスする
ことによって探索は進行し、第１のスクリーン対象物が
位置的に識別できる。次いで、次の対象物が識別され、
第１の対象物に対するその位置関係が決定される。この
手順は、所望の対象物（関心あるフィールド）が見つか
るまで継続する（ボックス７２）。

【００２５】この段階において、フィールドのためのデ
ータ（あるいはフィールドからのデータ）が処理される
（ブロック７４）。換言すれば、データはフィールドか
ら読み取られるか、フィールドへ書き込まれる。さら
に、関心あるフィールドに関連したいずれかのフィール
ドの属性を問合わせることができる。

【００２６】ときには、フィールドからアクセスされた
データが、最終的に必要とされるユーザデータでないこ
とがありうる（判定ボックス７６を参照のこと）。例え
ば、アクセスされたデータはユーザの社会保険の番号で
あるかもしれない。その場合その番号が、必要なデータ
が見つかる新しいスクリーンにアクセスするために使用
される。そのような場合、ＶＰＵ１４は、見つかったデ
ータを用いてホストプロセッサに新しいスクリーンを提
供するように通知する（ボックス７８）。ボックス７８
の点においてプロセスは図４のボックス６２に戻るよう
循環し、処理手順を継続する。他方、もし見つかったデ
ータがユーザに対して最終のデータであるとすれば、そ
のようなデータは音声応答ユニット２４に戻され（ボッ
クス８０）、そこで音声に変換され、ユーザに対して再
生される（ボックス８２）。この点において、本システ
ムは、次の照会に対して準備状態とされ（ボックス８
４）、新しい照会が受け取られるまでその待機位置に留
まり続け、新しい照会が受け取られると処理手順が繰り
返される。

【００２７】

【発明の効果】本発明は、以上説明したように、構成さ
れているので、スクリーンが動いてもスクリーン上の対
象物の位置を自動的に見つけることが従来より迅速にで
きるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の全体的な構成を示す高レベルのブロッ
ク図。

【図２】複数のフィールドとそれらの相対位置関係とを
示すスクリーンの概略図。

【図３】図１に示すＶＰＵのためのトレーニング局面を
示す高レベルのフロー図。

【図４】ユーザの要求したスクリーン対象物の位置を見
つけるために図１に示すＶＰＵによって実行される方法
を示す高レベルのフロー図の前半部。

【図５】ユーザの要求したスクリーン対象物の位置を見
つけるために図１に示すＶＰＵによって実行される方法
を示す高レベルのフロー図の後半部。

【符号の説明】

１０ 電話器 １２ ＰＢＸ／ＣＢＸユニット １４ 音声応答ユニット（ＶＰＵ） １６，１８，２０ ホストプロセッサ ２２ 中央処理ユニット（ＣＰＵ） ２４ 音声応答モジュール ２６，２８ メモリブロック ３０ ベンチマーク

───────────────────────────────────────────────────── フロントページの続き (72)発明者 サーシャ・オストイッツ アメリカ合衆国94086、カリフォルニア州 サニーヴェイル、イースト・ワシントン 555番地、ナンバー104

Claims (6)

【特許請求の範囲】
1. 【請求項１】 記憶されたディスプレイスクリーン上の
   対象物の位置を見つける方法において、 ａ． 基準ディスプレイスクリーン上の第１のディスプ
   レイ対象物とベンチマーク対象物とがディスプレイスク
   リーンのスクローリングにおいてタンデムに移動するこ
   とで、前記第１のディスプレイ対象物に対して前記ベン
   チマーク対象物からの相対位置のずれを設定するステッ
   プと、 ｂ． 前記基準ディスプレイスクリーンに対応する新し
   いディスプレイスクリーンを受け取るステップと、 ｃ． 指令に応答して、前記新しいディスプレイスクリ
   ーン上で前記ベンチマーク対象物を見つけ、前記ステッ
   プａにおいて設定された前記第１のディスプレイ対象物
   の相対位置のずれを参照して、要求された対象物の位置
   を決定することにより、前記新しいディスプレイスクリ
   ーン上で、前記第１のディスプレイ対象物に対応する前
   記要求された対象物にアクセスするステップとを備える
   ことを特徴とする記憶されたディスプレイスクリーン上
   で対象物の位置を見つける方法。
2. 【請求項２】 前記ステップａの前に発生する別のステ
   ップを含み、該ステップは、 複数の基準ディスプレイスクリーンを記憶し、ベンチマ
   ーク対象物からと、ディスプレイ対象物相互間での双方
   からの前記基準ディスプレイスクリーン上の対象物に対
   する相対位置のずれを設定するステップを含み、 前記ステップｂが、さらに前記新しいディスプレイスク
   リーンを前記の記憶された複数の基準スクリーンと比較
   して一致を見つけることを特徴とする請求項１に記載の
   方法。
3. 【請求項３】 前記ステップｃが、前記一致した基準デ
   ィスプレイスクリーンから決定した相対位置のずれを採
   用して前記新しいディスプレイスクリーン上のディスプ
   レイ対象物の位置を見つけることを特徴とする請求項２
   に記載の方法。
4. 【請求項４】 ホストコンピュータと音声応答装置とを
   含み、前記ホストコンピュータがアプリケーションソフ
   トウエアを含み、かつ前記アプリケーションソフトウエ
   アによって生成されたディスプレイスクリーンを提供す
   ることにより前記音声応答装置と通信する音声照会シス
   テムにおいて、 前記音声応答装置が、 前記ホストコンピュータから受け取られた、アプリケー
   ションにより発生した基準ディスプレイスクリーンと、
   前記ディスプレイスクリーン上の対象物の位置ずれであ
   ってそのあるものはベンチマーク対象物と関連している
   位置ずれとを記憶する記憶手段と、 前記ホストコンピュータからの前記の要求されたディス
   プレイ対象物を含む新しいディスプレイスクリーンを取
   得することによりディスプレイ対象物へのアクセスを要
   求するユーザの照会に応答するプロセッサ手段と、 前記記憶手段を探索して、前記新しいディスプレイスク
   リーンを記憶された基準ディスプレイスクリーンに一致
   させる探索手段であって、一致した当該基準ディスプレ
   イスクリーンが前記の要求されたディスプレイ対象物に
   対応する別のディスプレイ対象物を含む探索手段と、 前記ベンチマーク対象物について前記新しいディスプレ
   イスクリーンを探索し、かつ前記の一致した基準ディス
   プレイスクリーンから導出された前記別のディスプレイ
   対象物に対する位置ずれデータから前記新しいディスプ
   レイスクリーン上の前記の要求されたディスプレイ対象
   物の位置を決定する手段とを備えることを特徴とする音
   声照会システム。
5. 【請求項５】 前記ディスプレイスクリーンの移動によ
   り、前記ベンチマーク対象物を含む、前記ディスプレイ
   スクリーン上の全てのディスプレイ対象物を同時に移動
   させることを特徴とする請求項４に記載の音声照会シス
   テム。
6. 【請求項６】 前記記憶手段が、ベンチマーク対象物か
   らのある対象物の相対位置ずれを記憶し、かつ前記ディ
   スプレイ対象物のうちの他のものに対して、ディスプレ
   イ対象物相互間の相対位置のずれを記憶し、前記ディス
   プレイ対象物相互間の前記相対位置のずれがユーザの照
   会に応答して予測される必要順序に配列されていること
   を特徴とする請求項５に記載の音声照会システム。