JPH08166867A - 音声ガイダンス装置 - Google Patents

Abstract

(57)【要約】 【目的】 ウインドウシステム等のＧＵＩを有する装置
において、現在のユーザ操作モードを聴覚的情報（音声
ガイダンス）も用いてユーザに通知するようにして、視
覚障害者でもＧＵＩシステムを利用できるようにし、ま
た視覚の健常者にとってもより操作性の良いＧＵＩシス
テムを実現する。 【構成】 画面上にデスクトップオブジェクトとカーソ
ルとを表示する手段と、カーソルの移動操作を行うポイ
ンティングデバイスと、カーソルと前記デスクトップオ
ブジェクトとの相対的な位置関係を判定する手段と、相
対的な位置関係の判定結果に基づいてユーザが操作する
モードを設定する手段と、ユーザ操作モードが変化した
場合にユーザに通知する音響信号を出力する手段とを備
えて構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、パソコン等の装置とユ
ーザとのインターフェースに関し、特に音声ガイダンス
機能を有する装置に関するものである。

【０００２】

【従来の技術】近年、パソコン等の入力方法はこれまで
のコマンド入力による方法から、ＧＵＩ（ｇｒａｐｈｉ
ｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を使った方法
に移行しつつある。このＧＵＩは、画面表示されたデス
クトップオブジェクト（アイコンやウインドウ、または
それらのボタンやクライアント領域を示す）をマウス等
のポインティングデバイスを用いて指示することにより
入力操作を行うものである。

【０００３】このようなＧＵＩが用いられるウインドウ
システムでのウインドウ表示の例を図１０に示す。これ
はＭＳ─Ｗｉｎｄｏｗｓのバージョン３．１に用いられ
ているものを説明のため使用する。ウインドウ領域はク
ライアント領域と非クライアント領域とに大別される。
クライアント領域はウインドウ内のアプリケーションの
情報の表示および入力のために用いられる領域である。
一方非クライアント領域はクライアント領域の外に付加
されているタイトルバーや最小化ボタンなどのバー，ボ
タン等を表示する領域であり、例えばウインドウのタイ
トルやメニュー等の表示に用いられたり、スクロール等
の表示制御に用いられるものである。

【０００４】このようなウインドウシステム等で用いら
れるＧＵＩでは、ポインティングデバイスが指示するカ
ーソルの位置がクライアント領域にあるか、バー上にあ
るか、ボタン上にあるか、などの違いにより入力や操作
のモードが異なる。ワードプロセッサ機能のアプリケー
ションソフトが動作している場合を例にすると、クライ
アント領域にカーソルがあればキーボードを用いてテキ
スト入力がなされるモードであり、ボタン上にあればポ
インティングデバイスのボタンを押すことにより入力が
されるモードとなる。このように入力操作を行うために
は、ユーザはポインティングデバイスの位置と操作モー
ドを知る必要がある。このためにモードに対応してカー
ソルの形状を変化するように構成することが多い。

【０００５】

【発明が解決しようとする課題】このようなＧＵＩはウ
インドウの表示やカーソルの形状等の視覚情報を用いて
入力や操作を行うものであるので、視覚が健常であれば
使い易いものあるが、視覚障害者や視覚が衰えた高齢者
にとっては、逆に使いづらいものとなってしまってい
た。

【０００６】このため視覚情報だけではなく、聴覚情報
を用いてポインティングデバイスの大まかな位置を通知
するシステムとして、以下のような方法が提案されてい
る。 ・マウスのカーソルが複数のウインドウ間で遷移する時
に、あらかじめ対応させておいた音声信号を出力するこ
とにより、操作対象ウインドウが変わったことをユーザ
に通知する（特開平５─４０５８９号公報）。

【０００７】・１つのウインドウにおいて、ウインドウ
のクライアント領域（ウインドウの内部領域）の境界
（ウインドウの枠）に近づくと、上下左右で異なる音声
信号を出力することにより、ウインドウ内のカーソル位
置をユーザに通知する。 上記の２つの方法は、いずれもポインティングデバイス
が指示するカーソルの位置に注目したものであり、ユー
ザはカーソルの位置が移動したことを知ることができ
る。しかしそのカーソル位置にあるときに、例えばマウ
スをクリックする必要があるのか、キーボード等からコ
マンドやテキストを入力する必要があるのかはカーソル
の形状を視覚で判断しなければならない。

【０００８】つまり、カーソルの大まかな位置を知るこ
とができても、ユーザが本当に知りたい操作モードに関
しての聴覚的情報を得ることはできなかった。本発明は
このような課題に鑑みなされたものであり、操作モード
を聴覚的に通知するシステムの実現を目的とする。

【０００９】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明の請求項１に記載した音声ガイダンス装置
は、図１の原理ブロック図に示すように、画面上にデス
クトップオブジェクトとカーソルとを表示する表示手段
５と、前記カーソルの移動操作を行うポインティングデ
バイス１と、前記カーソルと前記デスクトップオブジェ
クトとの相対的な位置関係を判定するカーソル相対位置
判定手段２と、前記相対的な位置関係の判定結果に基づ
いて、ユーザが操作するモードを設定するユーザ操作モ
ード設定手段３と、前記ユーザ操作モードが変化した場
合に、ユーザに通知する音響信号を出力する音響信号出
力手段４とを備えて構成したものである。

【００１０】本発明の請求項２の音響ガイダンス装置は
図３に示すように、請求項１の音響信号出力手段４に、
ユーザ操作モードに対応する音響信号を設定する音響信
号設定手段４１と、前記音響信号設定手段により設定さ
れた操作モードとユーザ操作モードとの対応関係を記憶
する操作モード・音響信号対応テーブル４２とを設け、
前記相対的な位置関係の判定結果に基づいて前記操作モ
ード・音響信号対応テーブル４２を参照し、変更された
操作モードに対応した音響信号を出力するよう構成し
た。

【００１１】請求項３では図６に示すように操作モード
・音響信号対応テーブル４２を録音された音声メッセー
ジを蓄積するように構成する。また請求項４では、操作
モード・音響信号対応テーブル４３は図８に示すように
テキストメッセージを蓄積するようにして、音声合成手
段５３により前記テキストメッセージを音声合成して出
力するようにした。

【００１２】本発明の請求項５の音響ガイダンス装置
は、請求項１の構成に加えて、図９に示すように前記ユ
ーザ操作モードが変化した場合にポインティングデバイ
ス形状を変更するポインティングデバイス形状変更手段
６を設け、ユーザ操作モードの変化に伴いポインティン
グデバイス形状を変更すると共に音響信号を出力するよ
うに構成した。

【００１３】

【作用】本発明の請求項１では、デスクトップオブジェ
クトとカーソルとの相対的な位置関係の判定結果に基づ
いて現在のユーザ操作モードが設定されると共に、この
ユーザ操作モードが変化した場合には、モードが変化し
たことを音響信号にてユーザに通知するように構成し
た。この構成によりユーザは現在どのような操作モード
であるかを聴覚情報により知ることができる。

【００１４】この音響信号を生成する手段として、請求
項２では音響信号設定手段によりユーザ操作モードに対
応する音響信号を設定して操作モード・音響信号対応テ
ーブルに蓄積しておき、画面上のカーソルとデスクトッ
プオブジェクトとの相対的な位置関係により決定される
ユーザの操作モードに対応した音響信号を出力するよう
に構成した。

【００１５】また請求項３では録音された音声メッセー
ジを蓄積するよう構成し、一方請求項４ではテキストメ
ッセージを蓄積して、このテキストメッセージを音声合
成するように構成している。請求項３の構成を採用すれ
ば音声合成手段が不要となるのでシステムが簡単にな
る。請求項４の構成を採用すれば音声合成手段が必要と
なるものの、あらかじめ出力したいメッセージを発声、
録音する必要がなく、またメッセージの変更が容易とな
る効果を奏する。

【００１６】さらに請求項５の構成ではユーザ操作モー
ド設定手段３よりユーザ操作モードの変更通知を音響信
号設定手段４１と、カーソル形状変更手段５に通知する
ように構成し、これにより音響信号出力と、カーソル形
状の変更が同時になされるので、聴覚障害者のみではな
く、健常者にとってもより操作性が良いシステムが実現
できる。

【００１７】

【実施例】本発明の各実施例を説明するのに先立ち、ま
ず図２に本発明が適用される一般的なプラットフォーム
の装置構成を示す。１はカーソルの位置の移動や入力
（クリック）を行うポインティングディバイスとして用
いられるマウスである。本発明はマウス以外のポインテ
ィングデバイスを用いても適用できるが、後述する各実
施例ではいずれもマウスを用いた例について説明する。

【００１８】５はディスプレイであり、デスクトップオ
ブジェクトおよびカーソルを表示するものである。なお
後述の各実施例１〜３ではディスプレイ５の図示を省略
している。６１はＣＰＵ、６２はメモリ、６３がＩ／Ｏ
制御部であり、プラットフォームの基本構成をなすもの
である。このＣＰＵ６１はメモリ６２に格納されたプロ
グラムを実行することにより後述する各実施例の処理手
段を構成するものである。更にまたメモリ６２にはユー
ザ操作モード・音響信号対応テーブル４２または４３が
格納される。また６４はキーボードであり、テキスト入
力等を行うためのものである。

【００１９】７１はスピーカであり、Ｉ／Ｏ制御部６３
を介して出力される音声信号を出力するためのものであ
る。以下、本発明の各実施態様について説明する。 〔第１の実施例〕本発明の第１の実施例を図３，図４を
用いて説明する。図３は本発明の実施例１の要部構成を
示すブロック図である。

【００２０】１はマウスであり、画面上のカーソルの移
動の指示や、カーソルが示す領域においてボタンを押す
（クリック）することにより入力操作を行うことができ
る。２１はマウスカーソルの画面上での絶対位置を検出
する手段である。２２は画面上に表示されているデスク
トップオブジェクトとマウスカーソルとの相対的な位置
を判定する手段である。このマウスカーソル相対位置判
定手段２２は図４に示すように、デスクトップオブジェ
クトの絶対位置検出手段２２１より各デスクトップオブ
ジェクトの絶対位置を得てマウス絶対位置検出手段２１
により検出したカーソル絶対位置とを包含関係検出手段
２２２が比較することにより、マウスカーソルがウイン
ドウ上にあるのかないのか、また、ウインドウ上のクラ
イアント領域にあるのかボタン上にあるのか、あるいは
バーの上にあるのか等を判定する。なお、デスクトップ
オブジェクトの絶対位置の検出手段は、ＭＳ─Ｗｉｎｄ
ｏｗｓ等のウィンドウシステムではサポートされてお
り、これを用いれば実現できる。

【００２１】３は２２で得られたマウスカーソルとデス
クトップオブジェクトとの相対位置関係に従って、その
位置がテキストを入力する領域なのか、ボタンを押す領
域なのか、またはバーをスライドする領域なのか、等が
判定され、ユーザが操作するモード（テキスト入力、マ
ウスクリック、マウスドラッグ等）を設定するユーザ操
作モード設定手段である。この手段は本発明が適用され
るシステムに応じて種々の実現態様が考えられる。例え
ばＭＳ−Ｗｉｎｄｏｗｓに適用した場合は、マウスカー
ソルの相対位置を検出したシステムが、そのマウスが示
しているアプリケーションへ相対位置情報を送り、受け
たアプリケーションはその状態で可能な操作モードを設
定し、その設定情報をシステムに返すように構成する。

【００２２】またＸ Ｗｉｎｄｏｗに適用した場合で
は、マウスカーソルの相対位置を検出したＸサーバが、
そのマウスが示しているアプリケーションへ相対位置情
報を送りて、受けたアプリケーションは（ＭＳ−Ｗｉｎ
ｄｏｗｓの場合と同様に）可能な操作モードを設定する
と共に設定情報をＸサーバに返す。また、ユーザ設定モ
ードの変更があると、Ｉ／Ｏ制御部６３にそのことを通
知する。Ｉ／Ｏ制御部６３ではこのユーザ設定モードの
変更通知を受けると、スピーカ７１に音響信号を出力さ
せる。 〔第２の実施例〕本発明の第２の実施例を図５、図６を
用いて説明する。図５は本発明の実施例２の要部構成を
示すブロック図である。

【００２３】マウス１、マウスカーソル絶対位置検出手
段２１、マウスカーソル相対位置判定手段２２、ユーザ
操作モード設定手段３は実施例１と同様の動作をするも
のである。本実施例２と先述の実施例１との相違点は、
ユーザ操作モード固有の音響信号を予め設定する音響信
号設定手段４１と、設定された操作モード・音響信号対
応テーブル４２とを設けたことである。

【００２４】この操作モード・音響信号対応テーブル４
２は例えば図６（ａ）に示すように、操作モード４２１
毎に対応する音響信号４２２を蓄積したものである。ユ
ーザ操作モード設定手段３より新たに設定されたユーザ
操作モードが通知されると、予め対応させてある音響信
号を操作モード・音響信号対応テーブルからピックアッ
プして、これをＩ／Ｏ制御部６３、スピーカ７１を通じ
て出力する。

【００２５】設定される音響信号は図６（ｂ）のよう
に、予め設定した音声メッセージ４２３を用いても良
い。この場合は、例えばマウス右ボタンをクリックする
ことにより入力がなされるモードになると「マウス右ボ
タンをクリックして下さい」とのメッセージが出力され
る。このように実施例２では、ユーザ操作モードが変更
になっただけではなく、どの操作モードに変更になった
かを音響信号による聴覚的情報により確認することがで
きるので、より直観的な操作ができるようになる。 〔実施例３〕本発明の第２の実施例を図７、図８を用い
て説明する。図７は本発明の実施例２の要部構成を示す
ブロック図である。

【００２６】マウス１、マウスカーソル絶対位置検出手
段２１、マウスカーソル相対位置判定手段２２、ユーザ
操作モード設定手段３は実施例１、実施例２と同様の動
作をするものである。本実施例３と先述の実施例１、２
との相違点は、操作モード・音響信号対応テーブル４３
は出力したいメッセージをテキストで登録しておくと共
に、そのテキストを音声合成手段７２により音声合成
し、出力するように構成したことである。

【００２７】操作モード・音響信号対応テーブル４３は
図８に示すように、操作モード４３１に対応する音声メ
ーセージを出力音声テキスト４３２として蓄積するもの
である。音声合成手段４１はユーザ操作モード設定手段
３から送られるモード設定通知に基づき、操作モード・
音響信号対応テーブル４３を検索して出力音声テキスト
を音声合成手段７１に出力する。例えばマウス左ボタン
をクリックするモードになったことを操作モード設定手
段３より通知されると、「マウス左ボタンをクリックし
て下さい。」とのテキストが出力される。音声合成手段
７２はこの出力音声テキストを音声合成して音声信号を
作成し、Ｉ／Ｏ制御部６３、スピーカ７１を用いて音声
として出力する。

【００２８】なお、この実施例３では音声合成手段７２
は第２図に開示したプラットフォームのＣＰＵ６１上で
動作するソフトウェアで実現するものとしている。この
場合は合成音声はデジタルデータであるので、Ｉ／Ｏ制
御部６３とスピーカ７１の間にＤ／Ａコンバータ（図示
せず）を接続して、デジタルデータをアナログ音声信号
に変換するように構成する。なお音声合成はＣＰＵ６１
上のソフトウェアでは行わず、Ｉ／Ｏ制御部６３スピー
カ７１との間に接続した音声合成装置により音声合成す
るように構成しても良い。

【００２９】このように実施例３では音声合成手段を用
いているので、予め出力したいメッセージを発声・録音
する必要は無い。またメッセージの変更もテキストデー
タを変更するのみで良いので、より容易になる。 〔第４の実施例〕本発明の第４の実施例を図９を用いて
説明する。図９は本発明の実施例４の要部構成を示すブ
ロック図である。

【００３０】本実施例４は先述の実施例２の構成に加え
て、従来から用いられているマウスカーソル形状の変更
を併用することに特徴がある。マウス１、マウスカーソ
ル絶対位置検出手段２１、マウスカーソル相対位置判定
手段２２、ユーザ操作モード設定手段３、音響信号設定
手段４１、操作モード・音響信号対応テーブル４２、Ｉ
／Ｏ制御部６３、スピーカ７１は実施例２と同様の構
成、動作のものである。

【００３１】８は、ユーザ操作モード設定手段３で設定
されたモードに基づいて、ユーザに現在の操作モードが
なんであるかを示すために、マウスカーソルの形状を変
更する手段である。また５は、マウスカーソルやデスク
トップオブジェクトを表示する表示手段である。

【００３２】本実施例では、マウスカーソルの相対位置
の変更に伴い、ユーザ操作モード設定手段３により変更
されたモードが音響信号設定手段４１とマウスカーソル
形状変更手段 に通知される。この通知に基づいて音響
信号設定手段４１は操作モード・音響信号対応テーブル
４２、Ｉ／Ｏ制御部６３、スピーカ７１を用いて音声メ
ッセージを出力し、それと共にマウスカーソル形状変更
手段８がディスプレイに表示するマウスカーソル形状を
変更させる。

【００３３】このように本実施例では、ユーザ操作モー
ドに対応した音声出力だけではなく、ディスプレイ上の
マウスカーソル形状の変更により、聴覚的、視覚的にユ
ーザに通知することができるので、健常者には、より直
観的にユーザ操作モードを通知することができる。なお
この実施例４は、音声メーセージを予め録音しておく実
施例２の構成に、マウスカーソル形状を変更する機能を
設けたものであるが、実施例１、実施例３についてもマ
ウスカーソル形状変更手段８を付加しても良い。

【００３４】

【発明の効果】以上説明したように、本発明の音声ガイ
ダンス装置によれば、単にポインティングデバイスが指
示するカーソルがどのクライアント領域に移動したかと
いう情報だけでなく、それに伴い現在どのような操作モ
ードにあるかを聴覚情報を用いてユーザに通知するの
で、視覚障害者や視覚の衰えた高齢者であっても聴覚情
報だけでＧＵＩの操作が可能となる。また健常者であっ
てもより直観的にＧＵＩを利用することができるので、
操作性の優れたシステムを提供することができる。

【図面の簡単な説明】

【図１】本発明の原理説明図である。

【図２】本発明の各実施例が適用されるＧＵＩプラット
フォームの構成図である。

【図３】本発明の第１の実施例の構成を示すブロック図
である。

【図４】マウスカーソル絶対位置検出手段の構成例を示
すブロック図である。

【図５】本発明の第２の実施例の構成を示すブロック図
である。

【図６】ユーザ操作モード・音響信号対応テーブル４２
の構成例を示す図である。

【図７】本発明の第３の実施例の構成を示すブロック図
である。

【図８】ユーザ操作モード・音響信号対応テーブル４３
の構成例を示す図である。

【図９】本発明の第４の実施例の構成を示すブロック図
である。

【図１０】本発明が適用されるＧＵＩのウインドウ表示
の例を示す図である。

【符号の説明】

１ … ポインティングデバイス ２ … カーソル相対位置判定手段 ３ … ユーザ操作モード設定手段 ４ … 音響信号出力手段 ５ … 表示手段

Claims (5)

【特許請求の範囲】
1. 【請求項１】画面上にデスクトップオブジェクトとカー
   ソルとを表示する表示手段と、 前記カーソルの移動操作を行うポインティングデバイス
   と、 前記カーソルと前記デスクトップオブジェクトとの相対
   的な位置関係を判定するカーソル相対位置判定手段と、 前記相対的な位置関係の判定結果に基づいて、ユーザが
   操作するモードを設定するユーザ操作モード設定手段
   と、 前記ユーザ操作モードが変化した場合に、ユーザに通知
   する音響信号を出力する音響信号出力手段とを備えたこ
   とを特徴とする音声ガイダンス装置。
2. 【請求項２】前記音響信号出力手段は、 ユーザ操作モードに対応する音響信号を設定する音響信
   号設定手段と、 前記音響信号設定手段により設定された操作モードとユ
   ーザ操作モードとの対応関係を記憶する操作モード・音
   響信号対応テーブルとを設け、前記相対的な位置関係の
   判定結果に基づいて前記操作モード・音響信号対応テー
   ブルを参照し、変更された操作モードに対応した音響信
   号を出力するよう構成したことを特徴とする請求項１に
   記載の音声ガイダンス装置。
3. 【請求項３】前記操作モード・音響信号対応テーブルは
   録音された音声メッセージを蓄積するものであることを
   特徴とする請求項２に記載の音声ガイダンス装置。
4. 【請求項４】前記操作モード・音響信号対応テーブルは
   テキストメッセージを蓄積し、前記音響信号設定手段は
   前記テキストメッセージを音声合成して出力する音声合
   成手段を有することを特徴とする請求項２に記載の音声
   ガイダンス装置。
5. 【請求項５】前記ユーザ操作モードが変化した場合にポ
   インティングデバイス形状を変更するポインティングデ
   バイス形状変更手段を設け、ユーザ操作モードの変化に
   伴いポインティングデバイス形状を変更すると共に音響
   信号を出力するように構成したことを特徴とする請求項
   １に記載の音声ガイダンス装置。