JP2760289B2 - 視覚障害者向けグラフィカル・ユーザ・インタフェース操作装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はパーソナルコンピュータ
などの対話型情報処理システムにおいて、近年主流とな
りつつあるグラフィカル・ユーザ・インタフェース（Ｇ
ＵＩ）を視覚障害者が操作するための装置に関する。

【０００２】

【従来の技術】従来の情報処理システムは、文字ベース
のオペレーティングシステム（例えば米国マイクロソフ
ト社のエムエス・ドス）を有しており、入力したコマン
ドや画面に表示されている文字列の合成音声による読み
上げや、点字ディスプレイへの表示により視覚障害者に
も利用可能であった。例えば、北風氏の「福祉分野にお
けるパーソナルインタフェースの研究」（情報処理学会
ヒュ−マンインタフェース研究会報告，９２巻，１５
号，１９９２）の中で述べられている「ブレイル・パー
トナー」等を用いて視覚障害者はパーソナルコンピュー
タを利用できる。

【０００３】上記のような音声出力に代表される視覚障
害者向け情報提示機能を持つ装置は、例えば図８の構成
で実現可能である。これらの装置は、キャラクタベース
対話システム３１０の中で、中央処理装置３１１で処理
された後キャラクタディスプレイ３１２に表示される文
字データを画面表示監視部３２０が参照し情報提示手段
３６０へ渡すという動作を基本としている。この基本構
成に加えて、音声を利用した場合の聞き逃しや、ワード
プロセッサーなど画面上の自由位置での編集が可能なア
プリケーションの操作に対応するため、出力済みの文字
を保存する画面情報保持部３３０を設ける。画面情報保
持部３３０には、画面表示監視部３２０から情報提示手
段３６０に送るデータと同じデータが送られており、そ
のデータを基に仮想画面生成部３２１はキャラクタディ
スプレイ３１２と同じ文字配置を再現した仮想画面を仮
想画面用バッファ３３２上に生成する。情報再提示要求
手段３５０から情報再提示の要求および再提示する画面
上の位置等の指定がなされると、出力データ取得部３４
０は上記画面情報保持部３３０より出力すべきデータを
取得し情報提示手段３６０へ渡す。

【０００４】

【発明が解決しようとする課題】近年大きな注目を集め
急速に普及しつつある視覚情報中心のグラフィカル・ユ
ーザ・インタフェースでは、操作情報を図などの視覚情
報で表現し、それらを二次元空間に配置し、それらの二
次元的な移動が操作の重要な要素となる、などの特徴が
あり、従来技術のように合成音声や点字ディスプレイを
簡単に利用できないため、視覚障害者は操作できなくな
るという問題点があった。この問題を解決するために
は、視覚的に表現されている対話部品の情報を音声や点
字などの非視覚情報で説明する方法が考えられる。しか
しながら、視覚情報は視覚の並列処理能力を利用し、多
くの情報を一度に表現しており、それを非視覚情報で表
現するにはシーケンシャルに提示していかざるを得な
い。その場合、情報提示に時間がかかる、情報の流れの
中から操作者が必要とする情報を切り出さなければなら
ず非効率的、という新たな問題が生じる。

【０００５】本発明の目的は、視覚障害者にグラフィカ
ル・ユーザ・インタフェースにおける操作対象である対
話部品の情報を非視覚情報で提示すること、および効率
良く対話部品を認識させるための手段を提供することで
ある。

【０００６】

【課題を解決するための手段】本発明の視覚障害者向け
グラフィカル・ユーザ・インタフェース操作装置は、パ
ーソナルコンピュータのようなグラフィカル・ユーザ・
インタフェースを有する対話型情報処理システムにおい
て、前記グラフィカル・ユーザ・インタフェース上に、
図などで視覚的に表現されている情報提示および操作の
ための対話部品の情報を抽出する画面情報抽出部と、抽
出した対話部品の情報を視覚障害を持つ操作者に提示す
る方法を制御する情報提示制御部と、前記提示方法の制
御を操作者が行うための情報提示方法選択部と、前記情
報提示制御部で決定される出力情報を実際に提示する情
報提示制御手段とを有することを特徴とする。

【０００７】また、本発明の視覚障害者向けグラフィカ
ル・ユーザ・インタフェース操作装置は、グラフィカル
・ユーザ・インタフェースを有する対話型システムと、
カーソルが指し示す対話部品の属性情報を抽出する画面
情報抽出部と、抽出された前記属性情報の中からどの属
性情報を提示するか、および提示方法を操作者が指定す
るための情報提示方法選択部と、前記の操作者による指
定に基づいて出力情報を決定する情報提示制御部と、前
記情報提示制御部で決定された前記出力情報を実際に提
示する情報提示手段と、から構成されることを特徴とす
る。

【０００８】また、本発明の視覚障害者向けグラフィカ
ル・ユーザ・インタフェース操作装置は、前記画面情報
抽出部が、前記カーソルの移動を検出するカーソル移動
イベント監視部と、現在のカーソル座標を前記対話型シ
ステムから取得するカーソル座標取得部と、前記カーソ
ル座標取得部で得られたカーソル位置に存在する前記対
話部品の属性情報を前記対話型システムから抽出する対
話部品属性情報取得部と、前記対話部品属性情報取得部
で抽出された対話部品の属性情報をテーブル形式で記憶
する対話部品属性情報格納部とから構成されることを特
徴とする。

【０００９】また、本発明の視覚障害者向けグラフィカ
ル・ユーザ・インタフェース操作装置は、前記情報提示
制御部が、前記情報提示方法選択部から操作者の入力を
受け取り、前記操作者が提示を希望している属性情報、
および前記操作者が希望する情報の前記提示方法を記憶
しておく操作者入力管理部と、前記画面情報抽出部から
入力された前記対話部品の属性情報の中から前記操作者
入力管理部を参照して操作者が提示を希望している属性
情報を選択し、前記提示方法に基づいて前記出力情報を
決定する情報変換部と、から構成されることを特徴とす
る。

【００１０】また、本発明の視覚障害者向けグラフィカ
ル・ユーザ・インタフェース操作装置は、前記情報提示
手段が、音声出力部と、音響出力部と、前記情報提示制
御部から送られてきた前記出力情報が音声データの場合
には、前記音声出力部に、前記出力情報が音響データの
場合には、前記音響出力部に前記出力情報を振り分ける
音源管理部と、から構成されることを特徴とする。

【００１１】

【作用】本発明において、視覚表現された対話部品の情
報を抽出する画面情報抽出部を設けたことにより、グラ
フィカル・ユーザ・インタフェースの操作対象である対
話部品の情報提示が可能になった。また、対話部品の情
報の提示方法を操作者が選択するための情報提示方法選
択部、および操作者の選択に基づいた情報提示を行う情
報提示制御部を設けたことにより、システムが一方的に
情報を流すだけでなく、操作者主導の効率的な情報獲得
が可能になった。

【００１２】

【実施例】次に図面を参照しながら本発明の実施例を説
明する。この実施例は、カーソルの下にある対話部品の
情報が音または音声で提示され、視覚障害者がこの音を
頼りに現在カーソルの下にある対話部品を確認しなが
ら、グラフィカル・ユーザ・インタフェースを操作する
装置の一例である。目的の対話部品を効率よく見つける
ために、情報の提示方法を操作者が目的に合わせて制御
できる機能を有している。なお、本実施例ではカーソル
を移動させるための手段としてタッチパネルをディスプ
レイ上に貼った装置を利用し、画面に直接触るとその点
にカーソルが移動するものとする。

【００１３】図１は実施例の構成を示すブロック図で、
本実施例は、グラフィカル・ユーザ・インタフェースを
有する対話型システム１０と、カーソルが指し示す対話
部品の属性要素を抽出する画面情報抽出部２０と、抽出
した属性の中からどの属性を提示するか、どのメディア
で提示するか、および情報提示の細かさを操作者が指定
するための情報提示方法選択部４０と、前記の操作者に
よる指定に基づいて出力情報を決定する情報提示制御部
３０と、前記情報提示制御部３０から参照される変換テ
ーブル６０と、情報提示制御部３０で決定される出力情
報を実際に提示する情報提示手段５０と、から構成され
る。

【００１４】前記対話型システム１０は、上記対話型シ
ステム１０の中心となる中央処理装置１１と、画面表示
用のグラフィックディスプレイ１２と、データ入力用の
データ入力装置１３と、対話部品を指示するためのポイ
ンティング装置１４と、から構成される。

【００１５】前記画面情報抽出部２０は、カーソルの移
動を検出するカーソル移動イベント監視部２１と、現在
のカーソル座標を対話型システム１０より取得するカー
ソル座標取得部２２と、上記カーソル座標取得部２２で
得られたカーソル位置に存在する対話部品の属性情報を
対話システム１０より抽出する対話部品属性情報取得部
２３と、上記対話部品属性情報取得部２３で抽出した対
話部品の属性情報をテーブル形式で記憶する対話部品属
性情報格納部２４と、から構成される。

【００１６】前記情報提示制御部３０は、情報提示方法
選択部４０から操作者入力を受け取り、操作者が希望し
ている情報の提示方法を記憶しておく操作者入力管理部
３２と、操作者入力管理部３２を参照して操作者が提示
を希望している属性情報を選択し、場合によっては変換
テーブル６０を参照して選択した属性情報と出力ファイ
ル名を対応づけて出力情報を決定する情報変換部３１
と、から構成される。

【００１７】前記情報提示手段５０は、情報提示制御部
３０から送られてきたデータファイルを対応する出力部
に振り分ける音源管理部５１と、音声出力部５２と、音
響出力部５３と、から構成される。

【００１８】以下で、図１に示す実施例の画面情報抽出
部２０と情報提示制御部３０、および情報提示手段５０
の動作について説明する。

【００１９】カーソル移動イベント監視部２１は、カー
ソル移動を示すカーソル移動イベントが送られるのを監
視し、そのイベントを検出するとカーソル座標取得部２
２にその旨を伝える。カーソル座標取得部２２は、上記
カーソルイベント監視部２１からカーソルが移動した通
知を受けると、現在のカーソル位置を対話型システム１
０に問い合わせ、そのカーソル座標の情報を対話部品属
性情報取得部２３に送る。対話部品属性情報取得部２３
は、カーソル座標の位置に存在する対話部品の情報を対
話型システム１０から抽出し対話部品属性情報格納部２
４へ渡す。対話部品属性情報格納部２４は対話部品属性
情報取得部２３から送られてくる対話部品の属性情報を
テーブル形式に整えて保持し、そのテーブル形式にした
属性情報を情報提示制御部３０へ渡す。

【００２０】操作者入力管理部３２は、情報提示方法選
択部４０で操作者が指定した、情報提示を制御するパラ
メータの値を記憶しておく。情報変換部３１は画面情報
抽出部２０から送られてくる対話部品の属性情報の中か
ら、操作者入力管理部３２で記憶されているパラメータ
値を参照して最終的に提示する属性と提示メディアを選
択し、属性情報と出力ファイルの対応付けを行い、その
ファイル名と情報提示手段５０に知らせる。

【００２１】音源管理部５１は、情報提示制御部３０で
決定された出力ファイル名を調べて、出力するデータが
音声データの場合は音声出力部５２へ、音響データの場
合は音響出力部５３へファイル名を知らせる。音声出力
部５２と音響出力部５３は、音源管理部５１より伝達さ
れる出力ファイル名のファイルに格納されているデータ
を実際に出力装置へ出力する。

【００２２】次に、以上の実施例のシステム構成におけ
る、画面情報抽出部２０と情報提示制御部３０の具体的
な動作を説明する。

【００２３】図２は本実施例の動作を表す模式図であ
る。図２のテーブルは対話部品属性情報格納部２４に存
在し、グラフィカル・ユーザ・インタフェースの対話部
品とその属性情報の一覧が記憶されている。対話部品
は、図２のテーブルにあげたものをはじめ様々な属性情
報を持っており、この属性情報を抽出するのが対話部品
属性情報取得部２３である。本実施例では、図２にあげ
た属性要素のうち対話部品名とキャプションを抽出す
る。図３に三つの対話部品に対して属性情報の抽出例を
示す。キャプションとは対話部品に書かれている文字列
のことで、その対話部品がどんな意味を持つかを示すも
のである。最大化ボタン１２０のようにキャプションが
存在しない対話部品については、その対話部品が配され
ているウィンドウのタイトルで代用する。

【００２４】図２のテーブルの縦横の軸をパラメータと
して制御することにより、対話部品についてユーザが希
望する情報のみを提示することができ、かつ目的の対話
部品の探索効率を改善することが可能になる。

【００２５】常にすべての属性情報を提示すると提示に
時間がかかるため、図２のテーブルにおける横軸、つま
り抽出した属性のどちらを提示するかをユーザが選択す
るために「モード」というパラメータを導入する。モー
ドは出力を音で行うか音声で行うかの出力メディアの選
択と兼用とし、部品名を音で知らせる「音響モード」、
部品名を読み上げる「音声モード」、キャプションを読
み上げる「キャプションモード」の三つを設ける。

【００２６】また、操作者の目的に関わらずすべての対
話部品に対して情報提示を行っていると、提示情報量が
多すぎて目的の対話部品の探索効率が悪くなる。そこ
で、図２にテーブルにおける縦軸の選択、つまりどの対
話部品に対して属性情報を提示するかを選択するための
「レベル」というパラメータを導入する。レベルとし
て、ウィンドウおよび最小化ウィンドウ上にカーソルが
存在する場合だけ情報提示を行う（その他の細かな対話
部品一つ一つには情報提示を行わない）「ウィンドウレ
ベル」、ウィンドウを操作するための部品にも情報提示
を行う「ウィンドウ操作レベル」、アプリケーション上
で利用する部品にも情報提示を行う「アプリケーション
操作レベル」の三つを設ける。

【００２７】上記の、モードとレベルの値を操作者入力
管理部３２が記憶しており、その記憶した値を基に、出
力情報を決定しているのが情報変換部３１である。

【００２８】次に、実際の操作例の幾つかを図４から図
７を参照しながら説明する。図４はグラフィカル・ユー
ザ・インタフェースの画面例である。この画面に対する
操作を前記の実施例により行うものとする。

【００２９】図５は図４の画面上から、「ウィンドウ
１」というタイトルのウィンドウ２２０を探す場合の手
順を示した図である。まず、モードを「音響モード」、
レベルをウィンドウの探索が目的であるため「ウィンド
ウレベル」に設定しカーソル２００を動かしていく。
「ウィンドウレベル」を選ぶことで、情報提示を行う対
話部品をウィンドウ２１０、ウィンドウ２２０と最小化
ウィンドウ２３０だけに限定することができる。ウィン
ドウ２１０、ウィンドウ２２０や最小化ウィンドウ２３
０のあるところにカーソル２００が移動すると、図５
（ａ）、図５（ｂ）に示すようにウィンドウに応じた音
が出力される。図５（ｂ）の状態で「ウィンドウ１」の
音を操作者が覚えている場合は、この時点で目的のウィ
ンドウが見つかったことになる。ここで、「ウィンドウ
１」の音を覚えていなくても、図５（ｃ）のように「キ
ャプションモード」に切り替えることによりウィンドウ
のタイトルを読み上げさせることが可能である。

【００３０】上記の操作で目的のウィンドウが見つかっ
た後、メニューバー２４０から「ファイル」という項目
を選択する場合の手順を図６、図７に示す。今回は、モ
ードを「音響モード」、メニューバー２４０というアプ
リケーション操作のための対話部品を見つけることか
ら、レベルを「アプリケーション操作レベル」に設定し
カーソル２００を移動させる。「アプリケーション操作
レベル」を選ぶことで、図６、図７の例ではウィンドウ
２１０、ウィンドウ２２０、最小化ウィンドウ２３０と
いう「ウィンドウレベル」で情報提示されていた対話部
品に加えて、メニューバー２４０、コントロールメニュ
ーボタン２５０というアプリケーション操作に必要な対
話部品に対しても情報提示が行われる。図６（ａ）で示
すようにカーソル２００がメニューバー２４０を指し示
すとメニューバー２４０を示す音が出力される。音を覚
えていない場合は、「音声モード」に切り替えること
で、図６（ｂ）のように部品名を読み上げさせることが
可能である。目的の部品が見つかった後「キャプション
モード」に切り替えると、図７（ａ）に示すように現在
カーソル２００が指し示しているメニュー項目の読み上
げが行われる。この状態でカーソル２００を移動させな
がら、図７（ｂ）に示すように「ファイル」という音声
出力が得られる場所を探すことで、目的のメニュー項目
の選択が完了する。

【００３１】以上、二つの場合について操作例を示した
が、他の対話部品についても同様な方法で検索可能であ
る。

【００３２】以上実施例を持って、本発明を詳細に説明
したが、本発明はこの実施例のみに限定されるものでは
ない。例えば、実施例は情報提示手段として音および音
声を使用しているが、点字を加えることも可能である。
さらに、本実施例ではカーソルで指し示している対話部
品の情報を提示しているが、現在開いているウィンドウ
の一覧などカーソル位置に限定されない情報を抽出して
提示することも可能である。また、本実施例では二つの
パラメータで情報提示を制御しているが、一つまたは三
つ以上のパラメータも導入することも可能である。

【００３３】

【発明の効果】以上説明した通り、本発明によれば、視
覚障害者がグラフィカル・ユーザ・インタフェースの対
話情報を取得することが可能であり、取得できる情報を
操作者が目的に合わせて選択可能なため情報の獲得が効
率良く行える。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図。

【図２】本発明の一実施例の動作を示す模式図。

【図３】対話部品の属性情報取得例を示す図。

【図４】グラフィカル・ユーザ・インタフェースの画面
例を示す図。

【図５】実施例を用いた目的ウィンドウの探索手順を示
す図。

【図６】実施例を用いた目的のメニュー項目探索手順
（１）を示す図。

【図７】実施例を用いた目的のメニュー項目探索手順
（２）を示す図。

【図８】従来の技術を示す図。

【符号の説明】

１０ 対話型システム １１ 中央処理装置 １２ グラフィックディスプレイ １３ データ入力装置 １４ ポインティング装置 ２０ 画面情報抽出部 ２１ カーソル移動イベント監視部 ２２ カーソル座標取得部 ２３ 対話部品属性情報取得部 ２４ 対話部品属性情報格納部 ３０ 情報提示制御部 ３１ 情報変換部 ３２ 操作者入力管理部 ４０ 情報提示方法選択部 ５０ 情報提示手段 ５１ 音源管理部 ５２ 音声出力部 ５３ 音響出力部 ６０ 変換テーブル １００ カーソル １１０ プッシュボタン １２０ 最大化ボタン １３０ メニューバー ２００ カーソル ２１０ ウィンドウ ２２０ ウィンドウ ２３０ 最小化ウィンドウ ２４０ メニューバー ２５０ コントロールメニューボタン ３１０ キャラクタベース対話型システム ３１１ 中央処理装置 ３１２ キャラクタディスプレイ ３１３ データ入力装置 ３１４ コマンド入力装置 ３２０ 画面表示監視部 ３３０ 画面情報保持部 ３３１ 仮想画面生成部 ３３２ 仮想画面用バッファ ３４０ 出力データ取得部 ３５０ 情報再提示要求手段 ３６０ 情報提示手段

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】カーソルの移動によって操作を行うグラフ
   ィカル・ユーザ・インタフェースを有する対話型システ
   ムのグラフィカル・ユーザ・インタフェースの操作装置
   において、 前記カーソルが指し示す対話部品の属性情報を抽出する
   画面情報抽出部と、 抽出された前記属性情報の中からどの属性情報を提示す
   るかの選択と、前記グラフィカル・ユーザ・インタフェ
   ースを構成する対話部品の中からどの対話部品に対して
   前記属性情報を提示するかの選択を操作者の希望に応じ
   て指定するための情報提示方法選択部と、 前記情報提示方法選択部による操作者の指定に基づいて
   出力情報を決定する情報提示制御部と、 前記情報提示制御部で決定された前記出力情報を実際に
   提示する情報提示手段と、 から構成されることを特徴とする視覚障害者向けグラフ
   ィカル・ユーザ・インタフェース操作装置。
2. 【請求項２】前記画面情報抽出部が、前記カーソルの移
   動を検出するカーソル移動イベント監視部と、 現在のカーソル座標を前記対話型システムから取得する
   カーソル座標取得部と、 前記カーソル座標取得部で得られたカーソル位置に存在
   する前記対話部品の属性情報を前記対話型システムから
   抽出する対話部品属性情報取得部と、 前記対話部品属性情報取得部で抽出された対話部品の属
   性情報をテーブル形式で記憶する対話部品属性情報格納
   部と、 から構成されることを特徴とする請求項１に記載の視覚
   障害者向けグラフィカル・ユーザ・インタフェース操作
   装置。
3. 【請求項３】前記情報提示制御部が、 前記情報提示方法選択部からの操作者の提示の選択を受
   け取り記憶しておく操作者入力管理部と、 前記画面情報抽出部から入力された前記対話部品の属性
   情報の中から前記操作者入力管理部を参照して操作者が
   提示を希望している属性情報と対話部品の選択に基づい
   て前記出力情報を決定する情報変換部と、 から構成されることを特徴とする請求項１または２に記
   載の視覚障害者向けグラフィカル・ユーザ・インタフェ
   ース操作装置。
4. 【請求項４】前記情報提示手段が、 音声出力部と、音響出力部と、前記情報提示制御部から
   送られてきた前記出力情報が音声データの場合には、前
   記音声出力部に、前記出力情報が音響データの場合に
   は、前記音響出力部に前記出力情報を振り分ける音源管
   理部と、 から構成されることを特徴とする請求項１、２または３
   に記載の視覚障害者向けグラフィカル・ユーザ・インタ
   フェース操作装置。