JPH10240448A - カーソル検索制御方法 - Google Patents

Abstract

(57)【要約】 【課題】 カーソルが、アイコン等の対象物上に重なっ
ていなければ、対象物の指定入力は行なわれない点。 【解決手段】 ディスプレイの画面等の描画空間上のウ
インドウやアイコン等の対象物を、マウス等のポインテ
ィングデバイスの操作によってカーソルを移動して検索
する方法であって、ポインティングデバイスによって操
作するディスプレイの画面上のカーソルを含み、このカ
ーソルの移動と共に移動する所定の領域（カーソルの周
辺領域）を予め設定し、この所定の領域にその一部また
は全体が含まれる対象物（ウインドウ、アイコン）を判
別し（ステップ１０４）、判別した対象物を、カーソル
による検索対象として特定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パーソナルコンピ
ュータにおけるマウスを用いたディスプレイ画面上での
アイコンの指定等、ポインティングデバイスを用いてカ
ーソルを移動させて描画空間内での対象物の検索を行な
う技術に係り、特に、グラフィカルユーザインタフェー
ス（ＧＵＩ）の利用が困難な視覚障害者によるＧＵＩ対
応機器の操作を効率良く支援するのに好適なカーソル検
索制御方法に関するものである。

【０００２】

【従来の技術】コンピュータや通信端末等の情報機器の
発達に伴い、使用者の使い勝手向上を目的としたユーザ
インタフェースの改良が行われてきた。なかでも、コン
ピュータのファイルやディレクトリ等のデータ構造や操
作手順などを、実社会の作業環境をイメージさせる絵で
表し、ディスプレイ画面上に表示するＧＵＩ化が進めら
れている。このようなＧＵＩ化は、直感的な理解を容易
にする点で使い勝手を向上させる技術である。

【０００３】すなわち、ＧＵＩにおいては、マウスやト
ラックボール等のポインティングデバイスを用いてカー
ソルを移動し、ディスプレイ画面上に表示されたウイン
ドウやアイコン等の対象物上に重ねる操作で、特定の対
象物を指定入力することができる。しかし、この操作に
おいては、カーソルが対象物上にきっちりと重なってい
なければ対象物の指定入力は行なわれないので、アイコ
ン等の対象物が小さい場合には、操作者は注意が必要で
ある。特に、埃の混入等によりマウスのボールの回転が
重くなったような場合には、カーソルの動きが安定せ
ず、操作性が悪くなってしまう。

【０００４】また、一方、情報の電子化が進み、音声合
成技術が進歩した結果、電子化された文字情報を容易に
音声化することが可能になったため、視覚障害者が情報
機器を利用する機会が増えている。コンピュータに関し
てもキャラクタ端末であれば音声化可能であるため、視
覚障害者が扱うことが可能となっていた。しかしなが
ら、ＧＵＩ化が進んだ結果、画面情報中にテキストの占
める割合が減少し、画面の状態を音声に変換する事が困
難になってきており、このことが逆に視覚障害者のコン
ピュータ利用を疎外する要因となっている。

【０００５】このような背景の中で、音声やサウンドを
用いて、描画空間内の位置に対応して対象物を表現する
技術が、例えば、特願平６−３１２９３８号（特開平８
−１７１６４７号公報）に「画像情報の音響出力方法」
として提案されている。この技術では、描画空間上の対
象物の特性に対し、予め特定の音を対応付け、この音を
対象物の輪郭線の長さや頂点の位置によって規定される
時間長だけ、描画空間の位置に対応して出力している。
このことにより、対象物の位置や大きさの属性を音によ
り理解することが可能となる。また、描画空間内の対象
物を音響空間の特定の位置に定位することで、比較的小
さなディスプレイ上の空間内の対象物に対して、所望の
解像度や音源分離を得ることが可能である。

【０００６】しかし、この技術において、従来のポイン
ティングデバイスによる対象物の検索技術を用いること
は、視覚障害者にとって大きな負荷となる。すなわち、
上述の技術により、対象物の位置や大きさを音で判別す
る事が可能となるが、現在のカーソルの位置の周辺にど
の様な対象物があるかを知るためには、視覚障害者は、
ポインティングデバイスを幾度か左右上下に走査しなけ
ればならない。特に、アイコンの様な小さな対象物を検
索する場合、マウス等のポインティングデバイスで探し
当てることが困難である。さらに、上述の技術では、描
画空間全体を音響空間の特定の位置に定位するため、人
間の通常の音響的解像度や音源分離能で、近接している
対象物の位置を音により識別するためには、描画空間に
対応付けるために非常に大きな音響空間が必要となり、
かえって位置関係が認識しにくくなる。

【０００７】

【発明が解決しようとする課題】解決しようとする問題
点は、従来の技術では、マウス等のポインティングデバ
イスの操作で移動されるカーソルが、描画空間状の対象
物であるアイコン等上にきっちりと重なっていなけれ
ば、対象物の指定入力ができない点と、描画空間全体を
音響空間の特定の位置に定位している点である。本発明
の目的は、これら従来技術の課題を解決し、マウス等の
ポインティングデバイスによるアイコンの様な小さな対
象物の検索を容易とし、また、視覚障害者が、マウス等
を幾度も左右上下に操作することなく、現在のカーソル
の位置の周辺にどの様な対象物があるかを知ることを可
能とし、さらに、人間の通常の音響的解像度や音源分離
能で、近接している対象物の位置を音により容易に識別
することを可能とするカーソル検索制御方法を提供する
ことである。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本発明のカーソル検索制御方法は、（１）ディスプ
レイ７の画面等の描画空間上のウインドウ３１やアイコ
ン３２等の対象物を、マウス等のポインティングデバイ
スの操作によってカーソルを移動して検索する方法であ
って、図１，図２，図９に示すように、ポインティング
デバイスによって操作するディスプレイ７の画面上のカ
ーソル９０６を含み、このカーソル９０６の移動と共に
移動する所定の領域（カーソルの周辺領域９０７）を予
め設定し、この所定の領域９０７にその一部または全体
が含まれる対象物（ウインドウ９０１、アイコン９０
４，９０５）を判別し（ステップ１０４）、判別した対
象物を、カーソル９０６による検索対象として特定する
ことを特徴とする。また、（２）図１４に示すように、
マウスやキーボード上のカーソルキー等による実際のカ
ーソルの移動に伴い（ステップ１４０１）、もしくは、
カーソルの移動方向を実際の移動を伴うことなく事前に
特定する機能が予め割り付けられたキーが押下される
と、そのカーソルの移動方向を算出し（ステップ１４０
２）、カーソルの移動方向にある対象物を判別し（ステ
ップ１４０３〜１４０５）、判別した対象物を、カーソ
ルによる検索対象として特定することを特徴とする。ま
た、（３）上記（１）もしくは（２）のいずれかに記載
のカーソル検索制御方法において、図７，図１４に示す
ように、検索対象として特定した対象物にカーソルを移
動する（ステップ７０３，１４０６）ことを特徴とす
る。また、（４）上記（１）から（３）のいずれかに記
載のカーソル検索制御方法において、検索対象として特
定する対象物が複数あれば、図４で示すように、カーソ
ル制御部４３により、カーソルに最近の対象物を選択し
て特定することを特徴とする。また、（５）上記（１）
から（３）のいずれかに記載のカーソル検索制御方法に
おいて、検索対象として特定する対象物が複数あれば、
図６で示すように、複数の対象物を順番に選択して特定
することを特徴とする。また、（６）上記（１）もしく
は（２）のいずれかに記載のカーソル検索制御方法にお
いて、検索対象として特定する対象物が複数あれば、図
６で示すように、複数の対象物を同時に特定することを
特徴とする。また、（７）上記（１）から（６）のいず
れかに記載のカーソル検索制御方法において、図６，図
８に示すように、検索対象として特定した対象物に予め
対応付けられた音情報を出力する（ステップ６０２，８
０４）ことを特徴とする。また、（８）上記（７）に記
載のカーソル検索制御方法において、図２における音響
制御部８により、特定した対象物やカーソルの描画空間
における相対的な座標を、音響空間の位置を規定する座
標に写像することにより、対象物およびまたはカーソル
の表示領域における位置を音響空間の位置に表現し、対
象物に予め対応付けられ、この対象物の属性を表す音情
報を、音響空間上の座標位置に定位して出力することに
より、図１２に示すように、音情報を、特定した対象物
の描画空間上での位置に対応付けて出力することを特徴
とする。また、（９）上記（７）に記載のカーソル検索
制御方法において、図２における音響制御部８により、
描画空間上の対象物を含む特定領域の表示領域における
相対的な座標を、特定の倍率に拡大して音響空間の位置
を規定する座標に写像し、この対象物の属性を音響空間
上の座標位置に定位して、対象物の規定領域における位
置を表現することによって、図１３に示すように、特定
した対象物を含む予め定められた領域を拡大し、この拡
大した領域での位置に対応付けて音情報を出力すること
を特徴とする。

【０００９】

【発明の実施の形態】以下、本発明の実施の形態例を、
図面により詳細に説明する。図１は、本発明のカーソル
検索制御方法の一実施例を示すフローチャートであり、
図２は、その処理を行なうシステムの本発明に係る構成
例を示すブロック図である。図２において、１はキーボ
ードやマウス、タブレット、トラックボール、タッチパ
ネル、データペン、マイクロフォンなどまたはそれらを
組み合わせた入力装置であり、２はメインメモリ、３は
システム全体の制御を行うＣＰＵ、４は外部記憶装置で
ある。

【００１０】この外部記憶装置４には、本システムを制
御する検索プログラム１１、検索の結果を保存するカー
ソル周辺情報エリア１２、マウスなどのポインティング
デバイスの情報を保存するカーソル情報エリア１３およ
びディスプレイに表示する論理的なデータを格納するウ
ィンドウ情報エリア１４等を格納する。また、図２にお
いて、５はＣＰＵ３によって計算されたビットマップイ
メージの表示情報をビットマップディスプレイに表示す
るためのフレームメモリであり、フレームメモリ５の表
示データはディスプレイ制御部６を介してディスプレイ
７に表示される。

【００１１】さらに、図２において、８はシステムの音
響出力要求に基づいて音響出力デバイス９を制御して音
を出力する音響制御部である。これらの間のデータ転送
はバス１０を通じて行われる。また、このような機能を
有するシステムを実現するものとしては、例えばマルチ
ウィンドウシステムを搭載したパーソナルコンピュータ
やワークステーションなどがある。

【００１２】図３は、図２におけるシステムを用いた対
象物のディスプレイ表示例を示す説明図である。本例
は、マルチウィンドウシステムを表しており、図３にお
いて、３０は描画空間であるディスプレイ装置であり、
３１はウィンドウ、３２はアイコン、３３はカーソルを
表している。アイコン３２はウィンドウ３１を最小化し
た表示形式であったり、アプリケーションを起動するた
めのボタンであったりする。ウィンドウ３１の中にアイ
コン３２を含むような階層構造を表すウィンドウもあ
る。

【００１３】晴眼者のユーザは、ウィンドウ３１内に表
示されたビットマップイメージを見ながらマウスなどの
ポインティングデバイスを持ちてカーソル３３を操作
し、ウィンドウ３１の移動やアプリケーションの起動を
行う。しかし、視覚障害者、特に全盲あるいは重度の障
害者は画面から視覚を用いてビットマップイメージを得
ることができない。「画像情報の音響出力方法」（特願
平６−３１２９３８号）に記載の技術によれば、このよ
うな視覚障害者の画面表示要求や、入力、編集操作に対
して、音によるフィードバック手段を設けることによっ
て、視覚障害者によるウィンドウシステムの操作等を可
能にしている。

【００１４】しかしながら、この技術では、現在のカー
ソル３３の位置の周辺にどの様な対象物があるかを知る
ことができない。また、アイコン３２の様な小さな対象
物の場合、ポインティングデバイスで探しあてることが
困難である。そこで本例では、音による画面上の対象物
の検索や選択を容易とする技術を開示する。尚、本例に
おける音による対象物の表現技術は、画像情報と組み合
わせて用いることも可能であり、本組み合わせを、晴眼
者がウィンドウシステムを操作する際の操作性向上の目
的で用いることも可能である。以下、本発明に係る技術
を説明する。

【００１５】図４は、図２における検索プログラムの構
成例を示す説明図である。図２におけるシステムの制御
に用いられる検索プログラム１１は、本図４に示す様
に、カーソル周辺情報検索部４１、ウィンドウレイアウ
ト提示部４２、カーソル制御部４３、音響出力部４４を
有する。カーソル周辺情報検索部４１は、現在のカーソ
ルの位置情報と、画面上に描画されているウィンドウや
アイコン等の対象物の情報を用いて、カーソルの周辺に
あるウィンドウやアイコン等を検索する。

【００１６】ここでカーソルの位置情報とはカーソルの
位置座標、形状等である。このカーソル情報はポインテ
ィングデバイスの操作とともに更新される。また、ウィ
ンドウの情報は、ウィンドウの名称、位置座標、大き
さ、アイコン状態かどうか、何階層目のウィンドウか等
を示すものである。尚、ここで述べるウインドウは、ア
イコン状態の場合や、アプリケーションを起動するため
のボタンアイコンを含むものとする。このウィンドウ情
報もウィンドウの状態の変化と共に更新される。

【００１７】ウィンドウレイアウト提示部４２は、カー
ソル周辺情報検索部４１で検索されたウィンドウ情報を
用いて音響出力部４４で音響を出力させるものである。
カーソル制御部４３は、カーソル周辺情報検索部４１で
検索されたウィンドウ情報を用いて、現在のカーソルの
位置に一番近いウィンドウかアイコンの位置に、カーソ
ルを移動し、さらに、このウィンドウ情報を用いて音響
出力部４４で音響を出力させるものである。音響出力部
４４は、カーソル周辺情報検索部４１で検索されたウィ
ンドウ情報を用いて、このウィンドウが描画されている
画面上の位置を音響空間に定位し、このウィンドウの属
性に対応させた音声や効果音等の音を出力するものであ
る。このような構成による図２の検索プログラム１１に
基づく処理手順を図５に示す。

【００１８】図５は、図２におけるシステムの検索プロ
グラムに基づく処理例を示すフローチャートである。検
索プログラムの各手順は、それぞれ別の図面を用いて詳
細に説明するように、現在のカーソルの周辺情報を検索
を検索する処理（ステップ５０１）と、この検索結果を
レイアウト提示するか否かを判定する処理（ステップ５
０２）と、検索結果を元にカーソル制御するか否かを判
定する処理（ステップ５０３）と、ステップ５０２でレ
イアウト提示すると判定された場合のレイアウト提示処
理（ステップ５０４）、そして、ステップ５０３でカー
ソル制御すると判定された場合のカーソル制御（ステッ
プ５０５）からなる。尚、本例においては、ステップ５
０４のレイアウト提示処理およびステップ５０５のカー
ソル制御においては、音響出力を行なう。

【００１９】以下、各ステップ（５０１〜５０５）の詳
細を順次説明する。まず、ステップ５０１のカーソル周
辺情報検索の詳細を、図１、図９を用いて説明する。図
１において、まず、図２のカーソル情報エリア１３から
現在のカーソルの位置を取得して、このカーソル情報か
ら位置座標を取得する（ステップ１０１）。次に、図２
のウィンドウ情報エリア１４から、現在画面上に描画さ
れているウィンドウの情報を取得する（ステップ１０
２）。

【００２０】そして、取得したウィンドウ情報から、こ
のウインドウの位置座標を取得する（ステップ１０
３）。さらに、このウィンドウの位置座標が、ステップ
１０１で取得したカーソルの位置座標から特定の範囲の
領域にあるかどうかを判定する（ステップ１０４）。領
域内にあるなら、図２のカーソル周辺情報エリア１２に
登録しておく（ステップ１０５）。そして、図２のウィ
ンドウ情報エリア１４に情報がある間、以上の処理を繰
り返す（ステップ１０６）。

【００２１】ここでカーソルの周辺とは、カーソル位置
から特定の距離の矩形や円等の形状の領域（後述の図９
（ａ）の例）あるいは、画面をいくつかに分割した内の
カーソルが位置する領域（後述の図９（ｂ）の例）、ま
たは、一つの階層構造領域（後述の図９（ｃ）の例）等
のことである。また、ウインドウがカーソル位置座標か
ら特定の範囲の領域内にあるとは、例えば、ウインドウ
を規定する領域の一部または全体が、カーソル位置座標
から特定の範囲の領域と重なる場合をいう。この時、ウ
インドウはカーソル周辺領域に含まれるものとする。
尚、ウインドウを規定する領域は、画面に表示されるウ
インドウの画像領域としても良いが、この画像領域全体
を包含し、これより大きい領域とするか、この画像領域
の一部の領域とすることも可能である。

【００２２】このような処理を、図９を用いて具体に説
明する。図９は、図５におけるカーソル周辺情報検索動
作に係る具体例を示す説明図である。図９（ａ）は、カ
ーソル位置からの距離の例を示し、画面９２１上に、１
つのウィンドウ９０１と４つのアイコン９０２〜９０５
が描画されている。この中でカーソル９０６の周辺領域
９０７に含まれる対象物は、ウィンドウ９０１とアイコ
ン９０４，９０５となる。

【００２３】図９（ｂ）は、画面を分割した例を示し、
画面９２２上に、１つのウィンドウ９０８と４つのアイ
コン９０９〜９１２が描画されている。この中でカーソ
ル９１３の周辺領域９１４に含まれる対象物は、アイコ
ン９１１、９１２となる。図９（ｃ）は、階層構造の例
を示し、画面９２３上に、１つのウィンドウ９１５と４
つのアイコン９１６〜９１９が描画されている。この中
でカーソル９２０の周辺領域はウィンドウ９１５とな
り、このウィンドウ９１５上に描画されているアイコン
９１６、９１７が周辺領域に含まれる。尚、このカーソ
ル周辺情報検索処理は、図４におけるカーソル周辺情報
検索部４１により行なわれる。

【００２４】このカーソル周辺情報検索処理に続く、図
５におけるステップ５０２のレイアウト提示の有無の判
定、および、ステップ５０３のカーソル制御の有無の判
定は、以下のようにして行なう。すなわち、カーソル周
辺情報検索処理の検索結果をレイアウト提示するかまた
は、検索結果を元にカーソル制御するかどうかの判定
は、入力装置の状態により切り替えをおこなう。例えば
シフトキーなどのキーボード上の特定のキーが押されて
いる場合は、レイアウト提示を行ない、また、マウスボ
タンを押すとカーソル制御するという様な状態を設け
る。もちろん初期状態をカーソル制御をするという様に
していても良い。いずれにも該当しない場合、検索結果
の提示は行わない。

【００２５】図５におけるステップ５０２で、レイアウ
ト提示すると判定した場合、ステップ５０４のレイアウ
ト提示を行う。このレイアウト提示処理の詳細を、図
６、図１０を用いて説明する。図６は、図５におけるレ
イアウト提示処理の詳細例を示すフローチャートであ
り、図１０は、図５におけるレイアウト提示処理動作に
係る具体例を示す説明図である。

【００２６】まず、図６におけるステップ６０１で、ウ
ィンドウ情報を図２のカーソル周辺情報エリア１２から
取得する。図１０（ａ）に示す例では、画面１０００上
に１つのウィンドウ１００１と４つのアイコン１００２
〜１００５が描画されている。このうちカーソル１００
７の周辺領域１００６中にはウィンドウ１００１、アイ
コン１００４、１００５が重なるので、図２のカーソル
周辺情報エリア１２には、この３つのウィンドウ情報が
含まれている。

【００２７】次に、図６におけるステップ６０２で、ス
テップ６０１で取得したウィンドウ情報を元に、図４の
音響出力部４４で音響出力する。そして、図２のカーソ
ル周辺情報エリア１２に情報がある間、以上の処理を繰
り返す（ステップ６０３）。ここで音響出力する順番
は、例えば、画面上の左から右、上から下の優先順位と
し、この順番でウィンドウまたはアイコンを検索して各
々に対応する音を提示する。あるいは、全てのウインド
ウやアイコンの各対応する音を同時に出力しても良い。
図１０（ｂ）に、このような音響出力を行っている例を
示し、ウィンドウの音響出力する位置は、ウィンドウ１
００１、アイコン１００４、１００５に対し、それぞれ
１００８、１００９、１０１０の座標となる。尚、この
レイアウト提示処理は、図４のウィンドウレイアウト提
示部４２で行なう。

【００２８】ポインティングデバイスを用いてカーソル
を移動中に、図５におけるステップ５０３で、カーソル
制御すると判定された場合、ステップ５０５のカーソル
制御を行う。このカーソル制御処理の詳細を、図７、図
１１を用いて説明する。図７は、図５におけるカーソル
制御処理の詳細例を示すフローチャートであり、図１１
は、その具体例を示す説明図である。まず、図７におけ
るステップ７０１で、現在のカーソルの位置を、図２の
カーソル情報エリア１３から取得して、このカーソル情
報から位置座標を取得する。

【００２９】次に、ステップ７０２で、このカーソル位
置座標に一番近いウィンドウ情報を、図２のカーソル周
辺情報エリア１２から取得する。図１１（ａ）に示す例
では、画面１１００上に１つのウィンドウ１１０１と、
２つのアイコン１１０２、１１０３が描画されている。
この内カーソル１１０４の周辺領域１１０５中にはアイ
コン１１０２、１１０３が重なるので、図２のカーソル
周辺情報エリア１２には、この２つのウィンドウ情報が
含まれている。この内カーソル１４の位置座標１１０７
に一番近い対象物はアイコン１１０３であるので、アイ
コン１１０３のウィンドウ情報を取得する。

【００３０】そして、図７におけるステップ７０３で、
このウィンドウ情報からウィンドウ領域の、例えば、中
心座標を取得する。図１１（ａ）に示す例では、中心座
標１１０６である。さらに、図７におけるステップ７０
４で、この図１１（ａ）に示す中心座標１１０６にカー
ソル１１０４を移動する。そして、図７におけるステッ
プ７０５で、このウィンドウ情報を元に、図４の音響出
力部４４により音響出力する。図１１（ｂ）では、この
ようにカーソルを移動し、音響出力を行っている例を示
しており、ウィンドウ音響の出力する位置は、アイコン
１１０３の中心座標１１０６となる。ただし図２におけ
るカーソル周辺情報エリア１２にウィンドウ情報が一つ
も無い場合、カーソル制御は行われない。

【００３１】尚、このカーソル制御処理は、図４のカー
ソル制御部４３にて行われる。また、カーソル制御は、
カーソルをユーザがマウス等のポインティングデバイス
を用いて移動させている最中に、連続的に行なっても良
い。この時は、ユーザの操作による移動中に、対象とな
るウインドウやアイコンが一つまたは複数個、カーソル
周辺領域に入った時点で、最も近い対象物にカーソルを
移動させる。さらにユーザがカーソルを移動させ、カー
ソル周辺領域に含まれる最近の対象物が変わった場合に
は、カーソルを新しい最近の対象物の領域に移動させ
る。この時、カーソルが最後に移動した対象物を規定す
る領域から出た後、ユーザが次の対象物に移動する前に
カーソルを停止させた際には、最後の対象物に再びカー
ソルを移動させても良い。また、カーソルの対象物への
移動を行なう際、ユーザによるカーソル移動速度または
移動加速度を検出し、この速度または加速度が一定の範
囲内にある場合のみ、対象物への移動を行なうことによ
り、対象物への自然な移動を実現することが可能にな
る。

【００３２】図５におけるステップ５０４のレイアウト
提示およびステップ５０５のカーソル制御において、情
報の提示は音響を出力して行う。以下、この音響出力の
詳細を、図８、図１２、図１３を用いて説明する。図８
は、図４における音響出力部の本発明に係る動作例を示
すフローチャートであり、図１２は、図４における音響
出力部の具体的な第１の動作例を示す説明図であり、図
１３は、図４における音響出力部の具体的な第２の動作
例を示す説明図である。

【００３３】まず、図８のステップ８０１で、音響出力
対象のウィンドウ情報から、描画画面上のウィンドウの
位置や大きさ等の情報を取得し、この取得した情報を、
ステップ８０２で、音響空間に定位する。図１２は、こ
のように描画空間上のウィンドウを音響空間に音像定位
する例を示し、描画空間１２０１上には、ウィンドウ１
２０２とアイコン１２０３，１２０４が描画されてい
る。そして、この描画空間上のウィンドウ１２０２かア
イコン１２０３，１２０４の座標を、音響空間１２０５
に対応付け、各対象物を表現する音を、この音響空間上
の座標１２０６〜１２０８に定位する。尚、このように
音を音響空間に定位する技術としては、例えば、小宮
山、「音像制御技術」（テレビジョン学会誌、Vol．4
6，No．9，pp.1076-1079，1992)に記載の空間音像定位
技術を用いることが可能である。

【００３４】図８のステップ８０３で、ウィンドウ情報
の属性を取得し、この属性にウィンドウを表現する音を
対応させる。そして、ステップ８０４で、属性に対する
音を出力する。ここで属性と音を対応させる技術とし
て、例えば、ウィンドウ名称の合成音声や、ウィンドウ
の形状（最小化状態、通常状態）等で効果音を変えた
り、ウィンドウの大きさの情報を利用して「画像情報の
音響出力方法」（特願平６−３１２９３８号）に記載の
技術によりウィンドウの輪郭をなぞるなどの技術を用い
ることが可能である。

【００３５】描画画面と音響空間との対応付けは、図１
２に示す例では描画画面全体と音響空間全体を対応付け
ているが、図１３に示すように、描画画面上のカーソル
周辺の領域を音響空間全体に対応付けるように拡大、変
形しても良い。図１３に示すように、描画空間１３０１
上にはウィンドウ１３０２、アイコン１３０３，１３０
４が描画されている。この描画空間上のカーソル１３０
６の周辺領域１３０５内の座標を、音響空間１３０７に
対応付け、各ウィンドウを表現する音を、この音響空間
１３０７上の座標１３０８〜１３１０に定位している。
一般に音の解像度は低く、近接していると認識出来ない
が、図１３に示す例のように、描画空間の一部を大きな
音響空間に広げることで、認識が可能になる。尚、この
ような音響出力処理は、図４の音響出力部４４で行な
う。

【００３６】図１４は、本発明のカーソル検索制御方法
の本発明に係る他の実施例を示すフローチャートであ
る。本例の処理は、その処理手順を図２における検索プ
ログラム１１に追加して、図２におけるシステムにより
実行されるものである。すなわち、図２の入力装置１を
構成するマウス等によるカーソルの移動があれば（ステ
ップ１４０１）、ＣＰＵ３は、まず、メインメモリ２に
ある検索プログラム１１（本例の機能を有する）に基づ
き、カーソル情報エリア１３を参照して、カーソルの元
の位置情報と移動先の位置情報を取得し、カーソルの移
動方向を算出する（ステップ１４０２）。

【００３７】次に、ウインドウ情報エリア１４を参照し
て、ステップ１４０２で算出したカーソルの移動方向
に、ウインドウやアイコン等の対象物があるか検索する
（ステップ１４０３）。無ければ、ステップ１４０１に
戻り、あれば（ステップ１４０４）、この対象物を判別
する（ステップ１４０５）。そして、判別した対象物の
中心座標まで、カーソルを自動的に移動する（ステップ
１４０６）。このように、本例によれば、操作者が移動
させたカーソルの方向に、ウインドウやアイコン等の対
象物があれば、その対象物を判別して、自動的にカーソ
ルがその対象物の位置まで移動する。このことにより、
操作者は、カーソルを若干動かすだけの操作で、目的と
する対象物に容易にかつ迅速にカーソルを重ねることが
できる。

【００３８】また、本例の処理を音響出力を伴う各処理
に組合せることにより、視覚障害者のポインティングデ
バイスの操作性をさらに向上させることも可能となる。
例えば、ステップ１４０５までの処理を適用することに
より、視覚障害者は、カーソルを上下左右に少し移動す
るだけで、その移動方向にある対象物を（音により）判
別することができる。また、ステップ１４０６までの処
理を適用する場合には、例えば、操作者のマウスのボタ
ンのクリックに基づき、現在のカーソルを中心とし、周
りにある各対象物の種類と位置を判別できるように対応
する音で出力するようにする。このことにより、視覚障
害のある操作者は、目的とする対象物に対応する音が出
力された方向にカーソルを動かすことで、容易にかつ着
実に目的の対象物にカーソルを重ねることができる。

【００３９】以上、図１〜図１４を用いて説明したよう
に、本実施例のカーソル検索制御方法では、カーソル周
辺の特定領域内にある対象物を検索する。また、カーソ
ル周辺の特定領域内の対象物の中でカーソルに一番近い
対象物上にカーソルを移動する。このことにより、マウ
ス等のポインティングデバイスの操作で移動されるカー
ソルが、描画空間上の対象物であるアイコン等上にきっ
ちりと重なっていなくとも、対象物の指定入力が可能と
なり、ポインティングデバイスを用いた描画空間内での
対象物の検索性能が向上する。

【００４０】また、本実施例では、各対象物に対応した
音を、順番または同時に、描画空間内の位置に対応して
出力する。このことにより、ＧＵＩの利用が困難な視覚
障害者にも、ＧＵＩ対応機器の操作において、カーソル
の周辺に存在する対象物を容易に認識することが可能と
なる。すなわち、視覚障害者は、対象物の位置や大きさ
を音で判別する事が可能となると共に、ポインティング
デバイスを幾度か左右上下に操作することなく、現在の
カーソルの位置の周辺にどの様な対象物があるかを知る
ことができ、アイコンの様な小さな対象物も容易に探し
あてることができる。さらに、描画空間内の内でカーソ
ル周辺の特定領域内の対象物のみを音響空間の特定の位
置に拡大して定位する。このことにより、近接している
対象物の位置関係を、人間の通常の音響的解像度や音源
分離能で、容易に判別することが可能となり、近接した
アイコン等の小さな対象物の検索も容易となる。

【００４１】尚、本発明は、図１〜図１４を用いて説明
した実施例に限定されるものではなく、その要旨を逸脱
しない範囲において種々変更可能である。例えば、図７
に示した例では、カーソルをウインドウ等の対象物の中
心座標に移動させているが、対象物の左上隅や右下隅な
ど、カーソルによる対象物に対する選択動作が可能な領
域であれば良い。また、図１３で示した例では、カーソ
ル周辺の描画空間領域を対象として、音響空間全体に拡
大して対応つけているが、カーソルがあるウインドウ領
域を拡大の対象としても良い。

【００４２】さらに、図１４で示した例においては、カ
ーソルの移動方向に所定の幅を持たせること、あるい
は、所定の角度領域を持たせることでも良い。また、図
１４においては、マウス等により実際にカーソルが移動
された場合に（ステップ１４０１）、本発明に係る検索
動作を開始しているが、例えば、カーソルの移動方向を
実際の移動を伴うことなく事前に特定する機能が予め割
り付けられたキーボード上の所定のキー（カーソルキー
やスクロールキー等）などが押下された場合に、ステッ
プ１４０２におけるカーソルの移動方向の算出以降の本
発明に係る各処理を行なうことでも良い。

【００４３】

【発明の効果】本発明によれば、ポインティングデバイ
スを用いたカーソルによる描画空間内での対象物の検索
性能、特に、視覚障害者にとってのＧＵＩの操作性能を
向上させることが可能である。

【図面の簡単な説明】

【図１】本発明のカーソル検索制御方法の本発明に係る
一実施例を示すフローチャートである。

【図２】本発明のカーソル検索制御方法を行なうシステ
ムの本発明に係る一構成例を示すブロック図である。

【図３】図２におけるシステムを用いた対象物のディス
プレイ表示例を示す説明図である。

【図４】図２における検索プログラムの構成例を示す説
明図である。

【図５】図２におけるシステムの検索プログラムに基づ
く処理例を示すフローチャートである。

【図６】図５におけるレイアウト提示処理の詳細例を示
すフローチャートである。

【図７】図５におけるカーソル制御処理の詳細例を示す
フローチャートである。

【図８】図４における音響出力部の本発明に係る動作例
を示すフローチャートである。

【図９】図５におけるカーソル周辺情報検索動作に係る
具体例を示す説明図である。

【図１０】図５におけるレイアウト提示処理動作に係る
具体例を示す説明図である。

【図１１】図５におけるカーソル制御処理動作に係る具
体例を示す説明図である。

【図１２】図４における音響出力部の具体的な第１の動
作例を示す説明図である。

【図１３】図４における音響出力部の具体的な第２の動
作例を示す説明図である。

【図１４】本発明のカーソル検索制御方法の本発明に係
る他の実施例を示すフローチャートである。

【符号の説明】

１：入力装置、２：メインメモリ、３：ＣＰＵ、４：外
部記憶装置、５：フレームメモリ、６：ディスプレイ制
御部、７：ディスプレイ、８：音響制御部、９：音響出
力デバイス、１０：バス、１１：検索プログラム、１
２：カーソル周辺情報エリア、１３：カーソル情報エリ
ア、１４：ウィンドウ情報エリア、３１：ウィンドウ、
３２：アイコン、３３：カーソル、４１：カーソル周辺
情報検索部、４２：ウィンドウレイアウト提示部、４
３：カーソル制御部、４４：音響出力部、９０１：ウィ
ンドウ、９０２〜９０５：アイコン、９０６：カーソ
ル、９０７：周辺領域、９０８：ウィンドウ、９０９〜
９１２：アイコン、９１３：カーソル、９１４：周辺領
域、９１５：ウィンドウ、９１６〜９１９：アイコン、
９２０：カーソル、９２１〜９２３：画面、１０００：
画面、１００１：ウィンドウ、１００２〜１００５：ア
イコン、１００６：周辺領域、１００７：カーソル、１
００８〜１０１０：座標、１１００：画面、１１０１：
ウィンドウ、１１０２，１１０３：アイコン、１１０
４：カーソル、１１０５：周辺領域、１１０６：中心座
標、１１０７：位置座標、１２０１：描画空間、１２０
２：ウィンドウ、１２０３，１２０４：アイコン、１２
０５：音響空間、１２０６〜１２０８：座標、１３０
１：描画空間、１３０２：ウィンドウ、１３０３，１３
０４：アイコン、１３０５：周辺領域、１３０６：カー
ソル、１３０７：音響空間、１３０８〜１３１０：座
標。

Claims (9)

【特許請求の範囲】
1. 【請求項１】 カーソルを用いてディスプレイ画面上の
   アイコン等、描画空間上の対象物の検索を行なうカーソ
   ル検索制御方法であって、上記カーソルを含み該カーソ
   ルの移動と共に移動する所定の領域を予め設定し、該所
   定の領域にある上記対象物を判別し、該判別した対象物
   を、上記カーソルによる検索対象として特定することを
   特徴とするカーソル検索制御方法。
2. 【請求項２】 カーソルを用いたディスプレイ画面上の
   アイコン等、カーソル検索制御方法であって、上記カー
   ソルの移動方向を算出し、上記カーソルの移動方向にあ
   る上記対象物を判別し、該判別した対象物を、上記カー
   ソルによる検索対象として特定することを特徴とするカ
   ーソル検索制御方法。
3. 【請求項３】 請求項１、もしくは、請求項２のいずれ
   かに記載のカーソル検索制御方法において、上記検索対
   象として特定した対象物に上記カーソルを移動すること
   を特徴とするカーソル検索制御方法。
4. 【請求項４】 請求項１から請求項３のいずれかに記載
   のカーソル検索制御方法において、上記検索対象として
   特定する対象物が複数あれば、上記カーソルに最近の対
   象物を選択して特定することを特徴とするカーソル検索
   制御方法。
5. 【請求項５】 請求項１から請求項３のいずれかに記載
   のカーソル検索制御方法において、上記検索対象として
   特定する対象物が複数あれば、該複数の対象物を順番に
   選択して特定することを特徴とするカーソル検索制御方
   法。
6. 【請求項６】 請求項１、もしくは、請求項２のいずれ
   かに記載のカーソル検索制御方法において、上記検索対
   象として特定する対象物が複数あれば、該複数の対象物
   を同時に特定することを特徴とするカーソル検索制御方
   法。
7. 【請求項７】 請求項１から請求項６のいずれかに記載
   のカーソル検索制御方法において、上記検索対象として
   特定した対象物に予め対応付けられた音情報を出力する
   ことを特徴とするカーソル検索制御方法。
8. 【請求項８】 請求項７に記載のカーソル検索制御方法
   において、上記音情報を、上記特定した対象物の上記描
   画空間上での位置に対応付けて出力することを特徴とす
   るカーソル検索制御方法。
9. 【請求項９】 請求項７に記載のカーソル検索制御方法
   において、上記特定した対象物を含む予め定められた領
   域を拡大し、該拡大した領域での位置に対応付けて上記
   音情報を出力することを特徴とするカーソル検索制御方
   法。