JPH08292872A - 音声誘導装置及び方法 - Google Patents
音声誘導装置及び方法Info
- Publication number
- JPH08292872A JPH08292872A JP9661695A JP9661695A JPH08292872A JP H08292872 A JPH08292872 A JP H08292872A JP 9661695 A JP9661695 A JP 9661695A JP 9661695 A JP9661695 A JP 9661695A JP H08292872 A JPH08292872 A JP H08292872A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- pointer
- output
- displayed
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】 (修正有)
【構成】ポインタとオブジェクトの間の相対距離を検出
する手段と、各オブジェクトの識別を可能とする音声デ
−タを格納する第1の記憶手段と、一度選択されたオブ
ジェクトを格納する第2の記憶手段と、音声デ−タを音
声として出力する手段とを具備し、画面上に表示された
ポインタとオブジェクトの距離に応じ、オブジェクトに
対応した音声を出力し、当該音声が出力されたオブジェ
クトを現在の選択候補とし、第2の記憶手段に格納され
ているオブジェクトについては、ポインタとオブジェク
トの間の相対距離を検出する処理の対象外とする。 【効果】無駄なポインタの操作を行なうことなく所望の
オブジェクトを検出することができ、また更に、選択し
たオブジェクトをスタックし、2回目以降のオブジェク
トの呼出しをスタックから行なうことにより、視覚に頼
らずに表示画面上のオブジェクトの選択が容易を容易に
することができる。
する手段と、各オブジェクトの識別を可能とする音声デ
−タを格納する第1の記憶手段と、一度選択されたオブ
ジェクトを格納する第2の記憶手段と、音声デ−タを音
声として出力する手段とを具備し、画面上に表示された
ポインタとオブジェクトの距離に応じ、オブジェクトに
対応した音声を出力し、当該音声が出力されたオブジェ
クトを現在の選択候補とし、第2の記憶手段に格納され
ているオブジェクトについては、ポインタとオブジェク
トの間の相対距離を検出する処理の対象外とする。 【効果】無駄なポインタの操作を行なうことなく所望の
オブジェクトを検出することができ、また更に、選択し
たオブジェクトをスタックし、2回目以降のオブジェク
トの呼出しをスタックから行なうことにより、視覚に頼
らずに表示画面上のオブジェクトの選択が容易を容易に
することができる。
Description
【0001】
【産業上の利用分野】本発明は、計算機システム等のユ
−ザインタフェ−スに係わり、特に視覚に頼らずに操作
できる計算機システムに関係する。
−ザインタフェ−スに係わり、特に視覚に頼らずに操作
できる計算機システムに関係する。
【0002】
【従来の技術】従来、視覚に頼らずに操作ができる計算
機システムとしては、例えば、特開平5−127864
号公報に開示されるものがあった。この方式では、画面
に表示された操作対象をポイントにて指定すると、対象
名検出部によりポイントにて差し示されている操作対象
の名称を対象名として主メモリに格納し、前記対象名に
対応する音声情報を、音声情報獲得部によって音声情報
ファイルにより取り出し、音声情報として主メモリに格
納し、音声情報出力部により音声情報を音声出力装置か
ら出力するものである。
機システムとしては、例えば、特開平5−127864
号公報に開示されるものがあった。この方式では、画面
に表示された操作対象をポイントにて指定すると、対象
名検出部によりポイントにて差し示されている操作対象
の名称を対象名として主メモリに格納し、前記対象名に
対応する音声情報を、音声情報獲得部によって音声情報
ファイルにより取り出し、音声情報として主メモリに格
納し、音声情報出力部により音声情報を音声出力装置か
ら出力するものである。
【0003】
【発明が解決しようとする課題】上記従来技術では、オ
ブジェクト(操作対象)の表示位置の上にポイントをも
って来なければ音声出力をすることができず、視覚に頼
らなければ特定のオブジェクトを検出することが難し
い。また、一度選択したオブジェクトも音声出力の対象
としているため、オブジェクトの数が多いときなど音声
出力すべきオブジェクトの数を調節できないため、オブ
ジェクトの検出を容易にすることができないものであ
る。
ブジェクト(操作対象)の表示位置の上にポイントをも
って来なければ音声出力をすることができず、視覚に頼
らなければ特定のオブジェクトを検出することが難し
い。また、一度選択したオブジェクトも音声出力の対象
としているため、オブジェクトの数が多いときなど音声
出力すべきオブジェクトの数を調節できないため、オブ
ジェクトの検出を容易にすることができないものであ
る。
【0004】本発明の目的は、グラフィカルユ−ザイン
タフェ−スを備えた計算機システムにおける、表示画面
上の任意の位置に表示されたオブジェクトを視覚に頼ら
ずに容易に操作し得る方法及び装置の提供にある。
タフェ−スを備えた計算機システムにおける、表示画面
上の任意の位置に表示されたオブジェクトを視覚に頼ら
ずに容易に操作し得る方法及び装置の提供にある。
【0005】
【課題を解決するための手段】上記の目的を達成するた
めの本願発明の特徴は、各オブジェクトの識別を可能と
する音声デ−タを予め格納し、ポインタと各オブジェク
トの間の距離を検出し、画面上に表示されたポインタと
オブジェクトの距離に応じ、オブジェクトに対応した音
声データが存在すれば、音声を出力し、当該音声が出力
された該オブジェクトを現在の選択候補とし、前記ポイ
ンタと各オブジェクトの間の距離を検出する処理の対象
外とすることである。
めの本願発明の特徴は、各オブジェクトの識別を可能と
する音声デ−タを予め格納し、ポインタと各オブジェク
トの間の距離を検出し、画面上に表示されたポインタと
オブジェクトの距離に応じ、オブジェクトに対応した音
声データが存在すれば、音声を出力し、当該音声が出力
された該オブジェクトを現在の選択候補とし、前記ポイ
ンタと各オブジェクトの間の距離を検出する処理の対象
外とすることである。
【0006】
【作用】本発明によれば、画面上に表示されたポインタ
の位置からオブジェクトまでの相対距離を求め、オブジ
ェクトに関する情報を音声により出力し、そのオブジェ
クトを選択可能な状態にすることにより、ユ−ザは、無
駄なポインタの操作を行なうことなく所望のオブジェク
トを検出することが可能となる。
の位置からオブジェクトまでの相対距離を求め、オブジ
ェクトに関する情報を音声により出力し、そのオブジェ
クトを選択可能な状態にすることにより、ユ−ザは、無
駄なポインタの操作を行なうことなく所望のオブジェク
トを検出することが可能となる。
【0007】また更に、選択したオブジェクトをスタッ
クし、2回目以降のオブジェクトの呼出しをスタックか
ら行なうことにより、視覚に頼らずに表示画面上のオブ
ジェクトの選択が容易を容易にすることが可能となる。
クし、2回目以降のオブジェクトの呼出しをスタックか
ら行なうことにより、視覚に頼らずに表示画面上のオブ
ジェクトの選択が容易を容易にすることが可能となる。
【0008】
【実施例】以下に本発明の一実施例を説明する。図2は
本発明を実施するシステム装置の構成である。CPU2
02は、メモリ203に格納されたプログラムを実行
し、同時にメモリ203に格納されたデ−タを参照、更
新することによってデ−タバス201経由で入力コント
ロ−ラ206から入力デ−タを取り込んだり、表示コン
トロ−ラ204に対して表示命令を発行したり、音声出
力コントロ−ラ209に対して音声出力命令を発行した
りする。表示コントロ−ラ204は受信した表示命令に
従いディスプレイ205に表示を行う。音声出力コント
ロ−ラ209は、受信した音声出力命令に従いスピ−カ
210を介し音声出力を行う。入力コントロ−ラ206
はキ−ボ−ド207から文字入力デ−タ及びマウス20
8からのポインタ移動デ−タを蓄え、CPU202に対
して、これらの入力デ−タを読み込むように要求を発行
する。この要求を受けたCPU202は入力コントロ−
ラ206に格納されている入力デ−タの読み込みを行な
う。
本発明を実施するシステム装置の構成である。CPU2
02は、メモリ203に格納されたプログラムを実行
し、同時にメモリ203に格納されたデ−タを参照、更
新することによってデ−タバス201経由で入力コント
ロ−ラ206から入力デ−タを取り込んだり、表示コン
トロ−ラ204に対して表示命令を発行したり、音声出
力コントロ−ラ209に対して音声出力命令を発行した
りする。表示コントロ−ラ204は受信した表示命令に
従いディスプレイ205に表示を行う。音声出力コント
ロ−ラ209は、受信した音声出力命令に従いスピ−カ
210を介し音声出力を行う。入力コントロ−ラ206
はキ−ボ−ド207から文字入力デ−タ及びマウス20
8からのポインタ移動デ−タを蓄え、CPU202に対
して、これらの入力デ−タを読み込むように要求を発行
する。この要求を受けたCPU202は入力コントロ−
ラ206に格納されている入力デ−タの読み込みを行な
う。
【0009】図3は本発明を実施するシステムのプログ
ラム構成である。オペレ−ティング・システム304
は、システム稼働中、常にメモリ203に格納され、C
PU202、表示コントロ−ラ204、入力コントロ−
ラ206と音声出力コントロ−ラ209の制御を行う。
ウインドウ制御プログラム303は、オペレ−ティング
・システム304を介しディスプレイ205上に表示す
るウインドウの制御を行う。グラフィカル・ユ−ザ・イ
ンタフェ−ス制御プログラム301は、本システムのユ
−ザに対し、ディスプレイ205に表示されたオブジェ
クトとその操作手順を提供する。本実施例では、ディス
プレイ205上に表示されたアイコンまたはウインドウ
をオブジェクトの一例として定義し、以後単にオブジェ
クトと呼ぶことにする。音声ユ−ザ・インタフェ−ス制
御プログラム302は、本システムにおいて、特に本発
明の特徴となるプログラム部分で、主にグラフィカル・
ユ−ザ・インタフェ−ス制御プログラム301とウイン
ドウ制御プログラム303から得た情報に基づいて、音
声情報をオペレ−ティング・システム304を介して出
力する制御を行う。
ラム構成である。オペレ−ティング・システム304
は、システム稼働中、常にメモリ203に格納され、C
PU202、表示コントロ−ラ204、入力コントロ−
ラ206と音声出力コントロ−ラ209の制御を行う。
ウインドウ制御プログラム303は、オペレ−ティング
・システム304を介しディスプレイ205上に表示す
るウインドウの制御を行う。グラフィカル・ユ−ザ・イ
ンタフェ−ス制御プログラム301は、本システムのユ
−ザに対し、ディスプレイ205に表示されたオブジェ
クトとその操作手順を提供する。本実施例では、ディス
プレイ205上に表示されたアイコンまたはウインドウ
をオブジェクトの一例として定義し、以後単にオブジェ
クトと呼ぶことにする。音声ユ−ザ・インタフェ−ス制
御プログラム302は、本システムにおいて、特に本発
明の特徴となるプログラム部分で、主にグラフィカル・
ユ−ザ・インタフェ−ス制御プログラム301とウイン
ドウ制御プログラム303から得た情報に基づいて、音
声情報をオペレ−ティング・システム304を介して出
力する制御を行う。
【0010】図4は、音声ユ−ザ・インタフェ−ス制御
プログラム302の処理構成である。図中の各処理は独
立しており、それぞれに対応したグラフィカル・ユ−ザ
・インタフェ−ス制御処理301或いはウインドウ制御
プログラム303からの要求により駆動する。
プログラム302の処理構成である。図中の各処理は独
立しており、それぞれに対応したグラフィカル・ユ−ザ
・インタフェ−ス制御処理301或いはウインドウ制御
プログラム303からの要求により駆動する。
【0011】図5、図7と図8は、メモリ203に格納
されているデ−タの内の、本発明に関わるものを示して
おり、図6はそのデ−タの説明図である。以下、図5に
ついて詳しく説明する。音声出力オブジェクトテ−ブル
501は、グラフィカル・ユ−ザ・インタフェ−ス制御
プログラム301によりディスプレイ205上に表示さ
れたオブジェクト602で、しかも音声ユ−ザ・インタ
フェ−ス制御プログラム302により音声出力の対象と
なるものを格納するテ−ブルである。テ−ブル番号50
2には、テ−ブル自身を識別するための番号が格納さ
れ、オブジェクトへのポインタ503には、オブジェク
ト602を選択する時に参照されるリンケ−ジ情報とし
てグラフィカル・ユ−ザ・インタフェ−ス制御プログラ
ム内のオブジェクトデ−タへのポインタが格納される。
ここで、オブジェクトデ−タとは、画面上に表示された
オブジェクトに対応したデ−タである。オブジェクトの
表示位置504には、ウインドウ座標系601上のオブ
ジェクトの表示位置を特定する点603の座標(X_o
bj,Y_obj)が格納される。また、音声デ−タの
識別子505には、このオブジェクト用の音声デ−タテ
−ブル506を識別するための音声デ−タ識別子507
の値が格納されている。音声デ−タテ−ブル506は、
テ−ブル自身を識別するための音声デ−タ識別子50
7、音声出力コントロ−ラ209を介して出力される音
声デ−タファイルへのポインタ508を含む。音声出力
オブジェクトテ−ブル501と音声デ−タテ−ブル50
6は、それぞれ次音声出力オブジェクトテ−ブルへのポ
インタ509と次音声デ−タテ−ブルへのポインタ51
0を用いてリスト構造を形成する。
されているデ−タの内の、本発明に関わるものを示して
おり、図6はそのデ−タの説明図である。以下、図5に
ついて詳しく説明する。音声出力オブジェクトテ−ブル
501は、グラフィカル・ユ−ザ・インタフェ−ス制御
プログラム301によりディスプレイ205上に表示さ
れたオブジェクト602で、しかも音声ユ−ザ・インタ
フェ−ス制御プログラム302により音声出力の対象と
なるものを格納するテ−ブルである。テ−ブル番号50
2には、テ−ブル自身を識別するための番号が格納さ
れ、オブジェクトへのポインタ503には、オブジェク
ト602を選択する時に参照されるリンケ−ジ情報とし
てグラフィカル・ユ−ザ・インタフェ−ス制御プログラ
ム内のオブジェクトデ−タへのポインタが格納される。
ここで、オブジェクトデ−タとは、画面上に表示された
オブジェクトに対応したデ−タである。オブジェクトの
表示位置504には、ウインドウ座標系601上のオブ
ジェクトの表示位置を特定する点603の座標(X_o
bj,Y_obj)が格納される。また、音声デ−タの
識別子505には、このオブジェクト用の音声デ−タテ
−ブル506を識別するための音声デ−タ識別子507
の値が格納されている。音声デ−タテ−ブル506は、
テ−ブル自身を識別するための音声デ−タ識別子50
7、音声出力コントロ−ラ209を介して出力される音
声デ−タファイルへのポインタ508を含む。音声出力
オブジェクトテ−ブル501と音声デ−タテ−ブル50
6は、それぞれ次音声出力オブジェクトテ−ブルへのポ
インタ509と次音声デ−タテ−ブルへのポインタ51
0を用いてリスト構造を形成する。
【0012】次に、図7について詳しく説明する。選択
オブジェクトテ−ブル701は、ポインタによるオブジ
ェクト選択処理406内で、選択されたオブジェクトを
格納するテ−ブルである。テ−ブル番号702には、テ
−ブル自身を識別するための番号が格納され、オブジェ
クトデ−タへのポインタ703には、このオブジェクト
に関するグラフィカル・ユ−ザ・インタフェ−ス制御プ
ログラム内のオブジェクトデ−タへのポインタが格納さ
れる。音声デ−タの識別子705には、このオブジェク
ト用の音声デ−タテ−ブル506を識別するための音声
デ−タ識別子507の値が格納されている。選択オブジ
ェクトテ−ブル701は、次選択オブジェクトテ−ブル
へのポインタ706を用いてリスト構造を形成する。
オブジェクトテ−ブル701は、ポインタによるオブジ
ェクト選択処理406内で、選択されたオブジェクトを
格納するテ−ブルである。テ−ブル番号702には、テ
−ブル自身を識別するための番号が格納され、オブジェ
クトデ−タへのポインタ703には、このオブジェクト
に関するグラフィカル・ユ−ザ・インタフェ−ス制御プ
ログラム内のオブジェクトデ−タへのポインタが格納さ
れる。音声デ−タの識別子705には、このオブジェク
ト用の音声デ−タテ−ブル506を識別するための音声
デ−タ識別子507の値が格納されている。選択オブジ
ェクトテ−ブル701は、次選択オブジェクトテ−ブル
へのポインタ706を用いてリスト構造を形成する。
【0013】最後に、図8について詳しく説明する。音
声出力コントロ−ルテ−ブル801は、音声出力を行う
ために必要な情報を格納するテ−ブルである。CURR
ENT_OBJ802には、音声出力が行われているオ
ブジェクトに対応した音声出力オブジェクトテ−ブルの
テ−ブル番号を格納する。CURRENT_SID80
3には、そのオブジェクトに関する音声デ−タの識別子
を格納する。CURRENT_WID804には、現在
音声出力の対象となっているウインドウの識別子を格納
している。
声出力コントロ−ルテ−ブル801は、音声出力を行う
ために必要な情報を格納するテ−ブルである。CURR
ENT_OBJ802には、音声出力が行われているオ
ブジェクトに対応した音声出力オブジェクトテ−ブルの
テ−ブル番号を格納する。CURRENT_SID80
3には、そのオブジェクトに関する音声デ−タの識別子
を格納する。CURRENT_WID804には、現在
音声出力の対象となっているウインドウの識別子を格納
している。
【0014】図1はポインタ移動のモニタ処理404と
音声情報出力処理405の詳細を示すもので、図9はそ
の処理をディスプレイ205の表示画面上で対応づけて
説明するためのものである。ディスプレイ205の画面
上には、ウインドウ901が表示され、そのウインドウ
領域902内には、オブジェクトA903、オブジェク
トB905とオブジェクトC907の3個のオブジェク
トと、マウス208によりその位置を指定されたポイン
タ913が表示されている。そして、これら3個のオブ
ジェクトに対応した情報がそれぞれ音声出力オブジェク
トテ−ブル501に格納されリスト構造を形成してい
る。以下、ポインタ移動のモニタ処理101について詳
細に説明する。ステップ103で、ポインタの位置を特
定する点914の座標(X_p,Y_p)の値をウイン
ドウ制御プログラムに対して問い合わせる。得られた座
標(X_p,Y_p)をもとに、ステップ104では、
ポインタ913が表示されているウインドウ901の識
別子をウインドウ制御プログラムに対して問い合わせ
る。
音声情報出力処理405の詳細を示すもので、図9はそ
の処理をディスプレイ205の表示画面上で対応づけて
説明するためのものである。ディスプレイ205の画面
上には、ウインドウ901が表示され、そのウインドウ
領域902内には、オブジェクトA903、オブジェク
トB905とオブジェクトC907の3個のオブジェク
トと、マウス208によりその位置を指定されたポイン
タ913が表示されている。そして、これら3個のオブ
ジェクトに対応した情報がそれぞれ音声出力オブジェク
トテ−ブル501に格納されリスト構造を形成してい
る。以下、ポインタ移動のモニタ処理101について詳
細に説明する。ステップ103で、ポインタの位置を特
定する点914の座標(X_p,Y_p)の値をウイン
ドウ制御プログラムに対して問い合わせる。得られた座
標(X_p,Y_p)をもとに、ステップ104では、
ポインタ913が表示されているウインドウ901の識
別子をウインドウ制御プログラムに対して問い合わせ
る。
【0015】ステップ105では、前ステップで得たウ
インドウの識別子と音声出力コントロ−ルテ−ブル80
1に格納されたCURRENT_WIDを比較し、該ウ
インドウが音声出力の対象であるか否かの判定を行い、
音声出力の対象である場合はステップ107へ、対象外
の場合はステップ106へと処理を進め、音声出力を遮
断し処理をステップ103へ戻す。ステップ107で
は、ポインタの移動量がΔ(dx915,dy916)
以上であるか否かの判定を行い、Δ以上の移動が確認さ
れた場合、処理を音声情報出力処理102へと移す。ま
た、ステップ107において、ポインタ913の移動量
がΔ以下であると判定された場合は、処理をステップ1
03に戻す。
インドウの識別子と音声出力コントロ−ルテ−ブル80
1に格納されたCURRENT_WIDを比較し、該ウ
インドウが音声出力の対象であるか否かの判定を行い、
音声出力の対象である場合はステップ107へ、対象外
の場合はステップ106へと処理を進め、音声出力を遮
断し処理をステップ103へ戻す。ステップ107で
は、ポインタの移動量がΔ(dx915,dy916)
以上であるか否かの判定を行い、Δ以上の移動が確認さ
れた場合、処理を音声情報出力処理102へと移す。ま
た、ステップ107において、ポインタ913の移動量
がΔ以下であると判定された場合は、処理をステップ1
03に戻す。
【0016】次に、音声情報出力処理102について詳
細に説明する。ステップ108で、リスト構造でメモリ
203に格納されたすべての音声出力オブジェクトテ−
ブル501に対して、各テ−ブルに格納されているオブ
ジェクトの表示位置(904、906、907)とポイ
ンタの位置914をもとに、この2つの相対距離を計算
する。910、911、912は、それぞれ、ポインタ
からの相対的な距離を方向を図示したものである。ステ
ップ109では、得られた複数個の相対距離の中から、
その値が最小となるものを選び、対応した音声出力オブ
ジェクトテ−ブル501のテ−ブル番号502を選び出
す(NEW)。また、ポインタからの相対距離が最小と
なるオブジェクトが複数個存在した場合には、座標系6
01において、より原点O604に近い距離の位置に存
在するか、或いは位置座標のX成分が小さい方のオブジ
ェクトを選び、対応した音声出力オブジェクトテ−ブル
501のテ−ブルのテ−ブル番号502を選び出す。ス
テップ110で、CURRENT_OBJ802の値と
NEWの値を比較し、一致する場合は処理を、ポインタ
移動のモニタ処理101へ戻す。不一致の場合は、処理
をステップ111へ進め、CURRENT_OBJ80
2にNEWの値を格納し、音声出力の対象となっている
オブジェクトをNEWの値が示すオブジェクトに変更す
る。ステップ112で、CURRENT_OBJ802
の値が示す音声出力オブジェクトテ−ブル501に格納
された音声デ−タ識別子505を照会する。ステップ1
13では、前ステップで得られた値を、音声デ−タテ−
ブル506のリストに対して照会し、該音声デ−タ識別
子が存在する場合はステップ114へ、存在しない場合
はステップ115へと処理を進める。ステップ114で
は、該音声デ−タ識別子の値をCURRENT_SID
803に格納し、CURRENT_SID803の値に
対応した音声デ−タテ−ブル506に格納された音声デ
−タファイルへのポインタ508により特定される音声
デ−タを音声出力コントロ−ラ209へ送り、音声を出
力する。ステップ115では、デフォルトの音声デ−タ
識別子の値をCURRENT_SID803に格納し、
デフォルトの音声の出力を行う。本実施例では、出力す
る音声の一例としてオブジェクトの属性と名称を使用す
る。
細に説明する。ステップ108で、リスト構造でメモリ
203に格納されたすべての音声出力オブジェクトテ−
ブル501に対して、各テ−ブルに格納されているオブ
ジェクトの表示位置(904、906、907)とポイ
ンタの位置914をもとに、この2つの相対距離を計算
する。910、911、912は、それぞれ、ポインタ
からの相対的な距離を方向を図示したものである。ステ
ップ109では、得られた複数個の相対距離の中から、
その値が最小となるものを選び、対応した音声出力オブ
ジェクトテ−ブル501のテ−ブル番号502を選び出
す(NEW)。また、ポインタからの相対距離が最小と
なるオブジェクトが複数個存在した場合には、座標系6
01において、より原点O604に近い距離の位置に存
在するか、或いは位置座標のX成分が小さい方のオブジ
ェクトを選び、対応した音声出力オブジェクトテ−ブル
501のテ−ブルのテ−ブル番号502を選び出す。ス
テップ110で、CURRENT_OBJ802の値と
NEWの値を比較し、一致する場合は処理を、ポインタ
移動のモニタ処理101へ戻す。不一致の場合は、処理
をステップ111へ進め、CURRENT_OBJ80
2にNEWの値を格納し、音声出力の対象となっている
オブジェクトをNEWの値が示すオブジェクトに変更す
る。ステップ112で、CURRENT_OBJ802
の値が示す音声出力オブジェクトテ−ブル501に格納
された音声デ−タ識別子505を照会する。ステップ1
13では、前ステップで得られた値を、音声デ−タテ−
ブル506のリストに対して照会し、該音声デ−タ識別
子が存在する場合はステップ114へ、存在しない場合
はステップ115へと処理を進める。ステップ114で
は、該音声デ−タ識別子の値をCURRENT_SID
803に格納し、CURRENT_SID803の値に
対応した音声デ−タテ−ブル506に格納された音声デ
−タファイルへのポインタ508により特定される音声
デ−タを音声出力コントロ−ラ209へ送り、音声を出
力する。ステップ115では、デフォルトの音声デ−タ
識別子の値をCURRENT_SID803に格納し、
デフォルトの音声の出力を行う。本実施例では、出力す
る音声の一例としてオブジェクトの属性と名称を使用す
る。
【0017】次に、グラフィカル・ユ−ザ・インタフェ
−ス制御プログラム301から音声ユ−ザ・インタフェ
−ス制御プログラム302へマウスのダブルクリック等
によりオブジェクトが選択された旨報告があった時に起
動されるポインタによるオブジェクト選択処理406に
ついて、以下に詳しく説明する。図10はポインタによ
るオブジェクト選択処理の詳細である。ステップ100
1でマウスのダブルクリックにより選択されたオブジェ
クトをグラフィカル・ユ−ザ・インタフェ−ス制御プロ
グラムに対して問い合わせる。ステップ1002で、前
ステップで得られたオブジェクトを格納している音声出
力オブジェクトテ−ブル501をリストから削除し、以
後実行される音声情報出力処理405において音声出力
の対象外のものとする。そして、ステップ1003で、
前ステップでリストから削除したオブジェクに関する情
報を、選択オブジェクトテ−ブル701のリストに追加
し、以後実行されるキ−ボ−ド入力によるオブジェクト
の再選択処理407でのオブジェクトの選択を可能にす
る。
−ス制御プログラム301から音声ユ−ザ・インタフェ
−ス制御プログラム302へマウスのダブルクリック等
によりオブジェクトが選択された旨報告があった時に起
動されるポインタによるオブジェクト選択処理406に
ついて、以下に詳しく説明する。図10はポインタによ
るオブジェクト選択処理の詳細である。ステップ100
1でマウスのダブルクリックにより選択されたオブジェ
クトをグラフィカル・ユ−ザ・インタフェ−ス制御プロ
グラムに対して問い合わせる。ステップ1002で、前
ステップで得られたオブジェクトを格納している音声出
力オブジェクトテ−ブル501をリストから削除し、以
後実行される音声情報出力処理405において音声出力
の対象外のものとする。そして、ステップ1003で、
前ステップでリストから削除したオブジェクに関する情
報を、選択オブジェクトテ−ブル701のリストに追加
し、以後実行されるキ−ボ−ド入力によるオブジェクト
の再選択処理407でのオブジェクトの選択を可能にす
る。
【0018】上記に説明した処理の流れにおける、音声
出力オブジェクトテ−ブルリストと選択オブジェクトテ
−ブルリストの状態変化を示したものが図11である。
状態1101はオブジェクトBを選択する前の状態で、
音声出力オブジェクトテ−ブルリスト1103には、
A、B、Cのオブジェクトを格納したテ−ブルが存在
し、選択オブジェクトテ−ブルリスト1104にはオブ
ジェクトを格納したテ−ブルが存在しない。この状態
は、マウス208によりオブジェクトBを選択すること
により、状態1102へと変化する。音声出力オブジェ
クトテ−ブルのリスト1105にはAとCのオブジェク
トを格納したテ−ブルのみが存在し、リスト1103で
は存在していたオブジェクトBのテ−ブルは、選択オブ
ジェクトテ−ブルのリスト1106へと形を変えて移さ
れている。
出力オブジェクトテ−ブルリストと選択オブジェクトテ
−ブルリストの状態変化を示したものが図11である。
状態1101はオブジェクトBを選択する前の状態で、
音声出力オブジェクトテ−ブルリスト1103には、
A、B、Cのオブジェクトを格納したテ−ブルが存在
し、選択オブジェクトテ−ブルリスト1104にはオブ
ジェクトを格納したテ−ブルが存在しない。この状態
は、マウス208によりオブジェクトBを選択すること
により、状態1102へと変化する。音声出力オブジェ
クトテ−ブルのリスト1105にはAとCのオブジェク
トを格納したテ−ブルのみが存在し、リスト1103で
は存在していたオブジェクトBのテ−ブルは、選択オブ
ジェクトテ−ブルのリスト1106へと形を変えて移さ
れている。
【0019】図12は、キ−ボ−ド入力によるオブジェ
クトの再選択処理407について詳しく説明したもので
ある。本処理は、上記のポインタによるオブジェクト選
択処理406で選択されたオブジェクトを再度選択する
ためのキ−ボ−ド入力のオペレ−ティングシステムから
の報告により起動される。本実施例では、キ−ボ−ドよ
り選択オブジェクトテ−ブルのテ−ブル番号の値を入力
し、再度選択するオブジェクトを指定するものとする。
ステップ1201では、キ−ボ−ド207より入力され
た値の問い合わせをオペレ−ティング・システムに対し
て行い、ステップ1202では前ステップで得た値を選
択オブジェクトテ−ブル701のリストに対して照会
し、リスト内に一致するテ−ブル番号702の選択オブ
ジェクトテ−ブル701が存在するかを調べる。リスト
内に該当のテ−ブルが存在した場合、ステップ1203
で、そのテ−ブルに格納されているオブジェクトへのリ
ンケ−ジ情報(グラフィカル・ユ−ザ・インタフェ−ス
制御プログラムに格納されているオブジェクトデ−タへ
のポインタ703)より該オブジェクトの選択を行う。
そして、同選択オブジェクトテ−ブルに格納されている
音声デ−タ識別子に対応した音声デ−タを利用し、選択
されたオブジェクトの属性と名称とそれが選択されたこ
とを音声出力によりユ−ザに通知する。該当テ−ブルが
リスト内に存在しない場合は、そのまま処理を終了す
る。また、前記マウスによる入力とキ−ボ−ドによる入
力が競合した場合は、キ−ボ−ドによる入力が優先され
るのもとする。
クトの再選択処理407について詳しく説明したもので
ある。本処理は、上記のポインタによるオブジェクト選
択処理406で選択されたオブジェクトを再度選択する
ためのキ−ボ−ド入力のオペレ−ティングシステムから
の報告により起動される。本実施例では、キ−ボ−ドよ
り選択オブジェクトテ−ブルのテ−ブル番号の値を入力
し、再度選択するオブジェクトを指定するものとする。
ステップ1201では、キ−ボ−ド207より入力され
た値の問い合わせをオペレ−ティング・システムに対し
て行い、ステップ1202では前ステップで得た値を選
択オブジェクトテ−ブル701のリストに対して照会
し、リスト内に一致するテ−ブル番号702の選択オブ
ジェクトテ−ブル701が存在するかを調べる。リスト
内に該当のテ−ブルが存在した場合、ステップ1203
で、そのテ−ブルに格納されているオブジェクトへのリ
ンケ−ジ情報(グラフィカル・ユ−ザ・インタフェ−ス
制御プログラムに格納されているオブジェクトデ−タへ
のポインタ703)より該オブジェクトの選択を行う。
そして、同選択オブジェクトテ−ブルに格納されている
音声デ−タ識別子に対応した音声デ−タを利用し、選択
されたオブジェクトの属性と名称とそれが選択されたこ
とを音声出力によりユ−ザに通知する。該当テ−ブルが
リスト内に存在しない場合は、そのまま処理を終了す
る。また、前記マウスによる入力とキ−ボ−ドによる入
力が競合した場合は、キ−ボ−ドによる入力が優先され
るのもとする。
【0020】最後に、音声出力オブジェクトテ−ブル5
01のリスト、音声デ−タテ−ブル506のリストと選
択テ−ブル701のリストの初期化処理について説明す
る。図13は、音声出力オブジェクトテ−ブル501の
リストと音声デ−タテ−ブル506のリストの初期化処
理の詳細である。本処理は、ポインタ移動のモニタ処理
404と音声情報出力処理405、ポインタによるオブ
ジェクト選択処理406、キ−ボ−ド入力によるオブジ
ェクトの再選択処理407を行うウインドウがオ−プン
されたり、選択された時と、そのウインドウ内に表示さ
れているオブジェクトの位置が変更された時に起動され
る。ステップ1301で、音声出力オブジェクトテ−ブ
ル501のリストと選択オブジェクトテ−ブル701の
リストを空にする。そして、ステップ1302で、グラ
フィカル・ユ−ザ・インタフェ−ス制御プログラムに問
い合わせることにより、上記ウインドウ内に表示されて
いるオブジェクトの参照を行い。続くステップ1303
で、前ステップで参照したオブジェクトの存在を検証す
る。ウインドウ内にオブジェクトが存在する場合、ステ
ップ1304で、存在するオブジェクトすべてを音声出
力オブジェクトテ−ブル501のリストに追加し、存在
しない場合は処理を終了する。
01のリスト、音声デ−タテ−ブル506のリストと選
択テ−ブル701のリストの初期化処理について説明す
る。図13は、音声出力オブジェクトテ−ブル501の
リストと音声デ−タテ−ブル506のリストの初期化処
理の詳細である。本処理は、ポインタ移動のモニタ処理
404と音声情報出力処理405、ポインタによるオブ
ジェクト選択処理406、キ−ボ−ド入力によるオブジ
ェクトの再選択処理407を行うウインドウがオ−プン
されたり、選択された時と、そのウインドウ内に表示さ
れているオブジェクトの位置が変更された時に起動され
る。ステップ1301で、音声出力オブジェクトテ−ブ
ル501のリストと選択オブジェクトテ−ブル701の
リストを空にする。そして、ステップ1302で、グラ
フィカル・ユ−ザ・インタフェ−ス制御プログラムに問
い合わせることにより、上記ウインドウ内に表示されて
いるオブジェクトの参照を行い。続くステップ1303
で、前ステップで参照したオブジェクトの存在を検証す
る。ウインドウ内にオブジェクトが存在する場合、ステ
ップ1304で、存在するオブジェクトすべてを音声出
力オブジェクトテ−ブル501のリストに追加し、存在
しない場合は処理を終了する。
【0021】図14は、本システムセットアップ時と音
声デ−タ再設定時に起動される。音声デ−タテ−ブル5
06のリストの初期化処理の詳細である。図15は、音
声デ−タテ−ブル初期化処理で参照される、音声デ−タ
テ−ブルの初期設定情報を格納したファイルの一例であ
る。ステップ1401で、音声デ−タテ−ブル506の
リストを空にし、ステップ1402で、デフォルトの音
声波形を合成し、その音声デ−タテ−ブル506をリス
トに追加する。このテ−ブルは、音声情報出力処理40
5内のステップ115の処理で使用される。次に、ステ
ップ1403で、音声デ−タの初期設定ファイルを参照
し、音声デ−タの初期値を設定を行う。そしてステップ
1404で初期デ−タの存在を検証する。初期デ−タが
存在する場合は、ステップ1405の処理で、音声デ−
タテ−ブル506のリストに初期デ−タのリストを追加
する。初期デ−タが存在しない場合は処理を終了する。
声デ−タ再設定時に起動される。音声デ−タテ−ブル5
06のリストの初期化処理の詳細である。図15は、音
声デ−タテ−ブル初期化処理で参照される、音声デ−タ
テ−ブルの初期設定情報を格納したファイルの一例であ
る。ステップ1401で、音声デ−タテ−ブル506の
リストを空にし、ステップ1402で、デフォルトの音
声波形を合成し、その音声デ−タテ−ブル506をリス
トに追加する。このテ−ブルは、音声情報出力処理40
5内のステップ115の処理で使用される。次に、ステ
ップ1403で、音声デ−タの初期設定ファイルを参照
し、音声デ−タの初期値を設定を行う。そしてステップ
1404で初期デ−タの存在を検証する。初期デ−タが
存在する場合は、ステップ1405の処理で、音声デ−
タテ−ブル506のリストに初期デ−タのリストを追加
する。初期デ−タが存在しない場合は処理を終了する。
【0022】
【発明の効果】本発明によれば、画面上に表示されたポ
インタの位置からオブジェクトまでの相対距離を求め、
オブジェクトに関する情報を音声により出力し、そのオ
ブジェクトを選択可能な状態にすることにより、ユ−ザ
は、無駄なポインタの操作を行なうことなく所望のオブ
ジェクトを検出することができ、また更に、選択したオ
ブジェクトをスタックし、2回目以降のオブジェクトの
呼出しをスタックから行なうことにより、視覚に頼らず
に表示画面上のオブジェクトの選択が容易を容易にする
ことができるため、視覚に頼らずにグラフィカルユ−ザ
インタフェ−スを有する計算機システムの表示画面上の
任意の位置に表示されたオブジェクトを容易に操作でき
るシステムを既存のアプリケ−ションに殆ど変更を加え
ることなしに実現できる。
インタの位置からオブジェクトまでの相対距離を求め、
オブジェクトに関する情報を音声により出力し、そのオ
ブジェクトを選択可能な状態にすることにより、ユ−ザ
は、無駄なポインタの操作を行なうことなく所望のオブ
ジェクトを検出することができ、また更に、選択したオ
ブジェクトをスタックし、2回目以降のオブジェクトの
呼出しをスタックから行なうことにより、視覚に頼らず
に表示画面上のオブジェクトの選択が容易を容易にする
ことができるため、視覚に頼らずにグラフィカルユ−ザ
インタフェ−スを有する計算機システムの表示画面上の
任意の位置に表示されたオブジェクトを容易に操作でき
るシステムを既存のアプリケ−ションに殆ど変更を加え
ることなしに実現できる。
【図1】ポインタ移動のモニタ処理と音声情報出力処理
のフロ−チャ−トである。
のフロ−チャ−トである。
【図2】システム装置の構成例を示すブロック図であ
る。
る。
【図3】システム装置の制御を行うプログラムの構成例
を示すブロック図である。
を示すブロック図である。
【図4】図3の音声ユ−ザ・インタフェ−ス制御プログ
ラム内処理の構成例を示すブロック図である。
ラム内処理の構成例を示すブロック図である。
【図5】図4の音声情報出力処理のためのデ−タを示す
図である。
図である。
【図6】図5のデ−タの説明図である。
【図7】図4のポインタによるオブジェクト選択処理と
キ−ボ−ド入力によるオブジェクトの再選択処理のため
のデ−タを示す図である。
キ−ボ−ド入力によるオブジェクトの再選択処理のため
のデ−タを示す図である。
【図8】図4の音声情報出力処理のためのデ−タを示す
図である。
図である。
【図9】図1のフロ−チャ−トの説明図である。
【図10】図4のポインタによるオブジェクト選択処理
のフロ−チャ−トである。
のフロ−チャ−トである。
【図11】図10のフロ−チャ−トの説明図である。
【図12】図4のキ−ボ−ド入力によるオブジェクト再
選択処理のフロ−チャ−トである。
選択処理のフロ−チャ−トである。
【図13】図5の音声出力オブジェクトテ−ブルと図7
の選択オブジェクトテ−ブルの初期化処理のフロ−チャ
−トである。
の選択オブジェクトテ−ブルの初期化処理のフロ−チャ
−トである。
【図14】図6の音声デ−タテ−ブルの初期化処理のフ
ロ−チャ−トである。
ロ−チャ−トである。
【図15】音声デ−タテ−ブル初期化ファイルの一例で
ある。
ある。
101…ポインタ移動のモニタ処理 102…音声情報出力処理 601…座標系 603…オブジェクトの表示位置を特定する点 901…ウインドウ 902…ウインドウ領域
Claims (7)
- 【請求項1】ディスプレイ上に表示されたオブジェクト
を、ポインティングデバイスにより指定されディスプレ
イ上に表示されたポインタによって選択するグラフィカ
ルユ−ザインタフェ−ス装置において、 ポインタとオブジェクトの間の相対距離を検出する手段
と、 各オブジェクトの識別を可能とする音声デ−タを格納す
る第1の記憶手段と、 一度選択されたオブジェクトを格納する第2の記憶手段
と、 音声デ−タを音声として出力する手段とを具備し、 画面上に表示されたポインタとオブジェクトの距離に応
じ、オブジェクトに対応した音声を出力し、 当該音声が出力された該オブジェクトを現在の選択候補
とし、 前記第2の記憶手段に格納されているオブジェクトにつ
いては、前記ポインタとオブジェクトの間の相対距離を
検出する処理の対象外とすることを特徴とする音声誘導
装置。 - 【請求項2】請求項1のグラフィカルユ−ザインタフェ
−ス装置において、 音声で出力すべきオブジェクトは、表示されたポインタ
から最短距離にあるものであることを特徴とする音声誘
導装置。 - 【請求項3】請求項1のグラフィカルユ−ザインタフェ
−ス装置において、 ポインタを規定値以上移動させたときにオブジェクトに
対応した音声を出力することを特徴とする音声誘導装
置。 - 【請求項4】請求項1のグラフィカルユ−ザインタフェ
−ス装置において、 一度選択されたオブジェクトを格納する記憶手段と、 該記憶手段に格納されているオブジェクトから任意のオ
ブジェクトを現在の選択候補として選び出す手段とを有
し、 前記記憶手段に格納されているオブジェクトについて
は、ポインタから最短距離にあるオブジェクトを検出す
る処理の対象外とし、上記手段により現在の選択候補と
して選びだし、対応する音声を出力することを特徴とす
る音声誘導装置。 - 【請求項5】ディスプレイ上に表示されたオブジェクト
を選択する際に、音声によってポインタの誘導を行う音
声誘導方法において、 各オブジェクトの識別を可能とする音声デ−タを予め格
納し、 ポインタと各オブジェクトの間の距離を検出し、 画面上に表示されたポインタとオブジェクトの距離に応
じ、オブジェクトに対応した音声データが存在すれば、
音声を出力し、 当該音声が出力された該オブジェクトを現在の選択候補
とし、前記ポインタと各オブジェクトの間の距離を検出
する処理の対象外とすることを特徴とする音声誘導方
法。 - 【請求項6】請求項5の音声誘導方法において、 音声で出力すべきオブジェクトは、表示されたポインタ
から最短距離にあるものであることを特徴とする音声誘
導方法において、 請求項の音声誘導方法において、 ポインタを規定値以上移動させたときにオブジェクトに
対応した音声を出力することを特徴とする音声誘導方
法。 - 【請求項7】ディスプレイ上に表示されたオブジェクト
を、ポインティングデバイスにより指定されディスプレ
イ上に表示されたポインタによって選択する際に、音声
によって誘導する音声誘導方法において、 ポインタとオブジェクトの間の距離を検出する手段と、 各オブジェクトの識別を可能とする音声デ−タを格納す
る記憶手段と、 前記音声データを音声として出力することのできる手段
とを具備し、 ポインタを規定値以上移動させたときに、オブジェクト
の音声データを音声として出力し、音声データを出力し
たオブジェクトを選択可能な状態にすることを特徴とす
る音声誘導方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9661695A JPH08292872A (ja) | 1995-04-21 | 1995-04-21 | 音声誘導装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9661695A JPH08292872A (ja) | 1995-04-21 | 1995-04-21 | 音声誘導装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH08292872A true JPH08292872A (ja) | 1996-11-05 |
Family
ID=14169795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9661695A Pending JPH08292872A (ja) | 1995-04-21 | 1995-04-21 | 音声誘導装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH08292872A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002078328A1 (fr) * | 2001-03-26 | 2002-10-03 | Fujitsu Limited | Processeur d'informations multicanal |
-
1995
- 1995-04-21 JP JP9661695A patent/JPH08292872A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002078328A1 (fr) * | 2001-03-26 | 2002-10-03 | Fujitsu Limited | Processeur d'informations multicanal |
US7633487B2 (en) | 2001-03-26 | 2009-12-15 | Fujitsu Limited | Multichannel information processing device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20070010325A1 (en) | Video game control program and video game device | |
WO2016035869A1 (ja) | 加工プログラム編集支援装置 | |
JPH0651908A (ja) | タッチパネル式入力装置を備えた情報処理装置 | |
JP5178484B2 (ja) | 情報処理装置及び情報処理方法 | |
US5068802A (en) | Graphic drawing method and system with input coordinates automatically adjustable | |
JPH09231393A (ja) | 命令入力装置 | |
JP2806312B2 (ja) | 図形入力装置 | |
JPH08292872A (ja) | 音声誘導装置及び方法 | |
US10705489B2 (en) | Controller | |
JP2600533B2 (ja) | タッチ入力装置 | |
JPH1049700A (ja) | ペン入力装置、ペン入力方法、入力装置及び入力方法 | |
JP2001306215A (ja) | カーソル制御方法 | |
JPH07175624A (ja) | 図面表示装置 | |
JPH09212539A (ja) | 図形処理方法および図形処理装置 | |
JP2009271938A (ja) | 作図支援方法及びcadプログラムを記憶してなる媒体 | |
JPH07168866A (ja) | 3次元対象物配置装置 | |
JPH0683540A (ja) | カーソル位置指定方法 | |
JPH08305535A (ja) | 情報表示装置 | |
JP3250372B2 (ja) | エフェクト選択装置および方法 | |
JPH0784742A (ja) | ウィンドウ表示方法 | |
JP2817935B2 (ja) | 図形処理装置 | |
JPH0458044B2 (ja) | ||
JPH06282619A (ja) | 図形描画装置 | |
JP2573209Y2 (ja) | Nc装置の工具軌跡表示装置 | |
KR20150072608A (ko) | 음성인식에 의한 포인터 제어방법 및 장치 |