JPH05197517A - ポインタの位置に関する音声情報を提供する方法及びシステム - Google Patents
ポインタの位置に関する音声情報を提供する方法及びシステムInfo
- Publication number
- JPH05197517A JPH05197517A JP18108192A JP18108192A JPH05197517A JP H05197517 A JPH05197517 A JP H05197517A JP 18108192 A JP18108192 A JP 18108192A JP 18108192 A JP18108192 A JP 18108192A JP H05197517 A JPH05197517 A JP H05197517A
- Authority
- JP
- Japan
- Prior art keywords
- pointer
- window
- user
- audio signal
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S715/00—Data processing: presentation processing of document, operator interface processing, and screen saver display processing
- Y10S715/978—Audio interaction as part of an operator interface
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Digital Computer Display Output (AREA)
Abstract
(57)【要約】
【目的】ステレオ効果およびフィルタされた音響効果を
持つ音声インターフェースによって、盲目のユーザにグ
ラフィカル・ユーザ・インターフェースの操作を可能に
すること。 【構成】グラフィカル・ユーザ・インターフェースの領
域、特にウィンドウ１１の顧客領域１９において、盲目
ないし視覚障害をもつユーザを導くために、ステレオ・
バランスおよび段階的なフィルタ処理が個々の軸に沿っ
て用いられる。ポインタ２７が顧客領域１９の左側境界
に接近すると、左側音声チャネルからの音声は徐々に大
きくなる。右側についても同様である。更に、ポインタ
２７が顧客領域１９の上方向に移動すると、音声のピッ
チが段階的に増加する。
持つ音声インターフェースによって、盲目のユーザにグ
ラフィカル・ユーザ・インターフェースの操作を可能に
すること。 【構成】グラフィカル・ユーザ・インターフェースの領
域、特にウィンドウ１１の顧客領域１９において、盲目
ないし視覚障害をもつユーザを導くために、ステレオ・
バランスおよび段階的なフィルタ処理が個々の軸に沿っ
て用いられる。ポインタ２７が顧客領域１９の左側境界
に接近すると、左側音声チャネルからの音声は徐々に大
きくなる。右側についても同様である。更に、ポインタ
２７が顧客領域１９の上方向に移動すると、音声のピッ
チが段階的に増加する。
Description
【０００１】
【産業上の利用分野】本発明は、一般的には、計算機シ
ステムのユーザ・インターフェースに関係し、更に詳し
くは、ステレオ効果とフィルターされた音響効果を備え
ることにより、盲目ないし視力の劣ったユーザがグラフ
ィカル・ユーザ・インターフェースをもつ計算機を操作
することを可能にするインターフェースに関係する。
ステムのユーザ・インターフェースに関係し、更に詳し
くは、ステレオ効果とフィルターされた音響効果を備え
ることにより、盲目ないし視力の劣ったユーザがグラフ
ィカル・ユーザ・インターフェースをもつ計算機を操作
することを可能にするインターフェースに関係する。
【０００２】
【従来の技術】近年、計算機アプリケイションソフトウ
ェア開発者の間で、グラフィカル・ユーザ・インターフ
ェースへの動きが見られてきている。グラフィカル・ユ
ーザ・インターフェースでは、ユーザに対して、実際の
仕事場でオブジェクトが扱われるのと類似の方法でオブ
ジェクトが提供される。ファイル・キャビネット、フォ
ルダー、文書、プリンターなどのオブジェクトが、スク
リーン上にアイコンとして表示される。ユーザは、マウ
スを使ってこれらのアイコンを処理し、所望の操作を実
行する。例えば、実際の仕事場で、ファイル・キャビネ
ットの中に収められているフォルダーに文書をファイル
するには、ユーザは、ファイルキャビネットを開けて、
目指すフォルダーを見付けて開き、その文書をファイル
に入れることになる。グラフィカル・ユーザ・インター
フェースを有する電子化された仕事場では、ユーザは類
似の処理を実行する。ユーザは、ファイル・キャビネッ
トのアイコンを開き、目指すフォルダーのアイコンを探
して、文書をそのフォルダーの中に落とすことになる。
これは電子化された環境であるからユーザはフォルダー
を開けて文書をその中に入れる必要はない。しかし、ユ
ーザはこの操作を実行するために実際の仕事場での知識
を使うことができた。
ェア開発者の間で、グラフィカル・ユーザ・インターフ
ェースへの動きが見られてきている。グラフィカル・ユ
ーザ・インターフェースでは、ユーザに対して、実際の
仕事場でオブジェクトが扱われるのと類似の方法でオブ
ジェクトが提供される。ファイル・キャビネット、フォ
ルダー、文書、プリンターなどのオブジェクトが、スク
リーン上にアイコンとして表示される。ユーザは、マウ
スを使ってこれらのアイコンを処理し、所望の操作を実
行する。例えば、実際の仕事場で、ファイル・キャビネ
ットの中に収められているフォルダーに文書をファイル
するには、ユーザは、ファイルキャビネットを開けて、
目指すフォルダーを見付けて開き、その文書をファイル
に入れることになる。グラフィカル・ユーザ・インター
フェースを有する電子化された仕事場では、ユーザは類
似の処理を実行する。ユーザは、ファイル・キャビネッ
トのアイコンを開き、目指すフォルダーのアイコンを探
して、文書をそのフォルダーの中に落とすことになる。
これは電子化された環境であるからユーザはフォルダー
を開けて文書をその中に入れる必要はない。しかし、ユ
ーザはこの操作を実行するために実際の仕事場での知識
を使うことができた。
【０００３】通常、目の見える人間にとっては、グラフ
ィカル・ユーザ・インターフェースは直感的で扱いやす
いものである。時折「ビー」とか「ボン」などの音を発
することを除いては、グラフィカル・ユーザ・インター
フェースはほぼ無言であり、ユーザに提供される情報の
大部分は視覚的なものである。従って、グラフィカル・
ユーザ・インターフェースは、性質上、盲目の又は重度
視力障害の人々には使用不可能である。
ィカル・ユーザ・インターフェースは直感的で扱いやす
いものである。時折「ビー」とか「ボン」などの音を発
することを除いては、グラフィカル・ユーザ・インター
フェースはほぼ無言であり、ユーザに提供される情報の
大部分は視覚的なものである。従って、グラフィカル・
ユーザ・インターフェースは、性質上、盲目の又は重度
視力障害の人々には使用不可能である。
【０００４】盲目の又は視力障害の計算機ユーザは、現
在、音声合成、拡大印字処理、点字デスクトップ出版及
び音声認識を含む多くの形態の適応技術から利益を得て
いる。しかしながら、現時点では、これら上記のツール
のほとんどは、グラフィカル・ユーザ・インターフェー
スと共に使用されるようにはなされていない。プログラ
マはアイコンに対してビルトインされた音声ラベルを付
したソフトウェアを書きうるということが示唆されてい
る（Lazzaro著「Windows of Vulnerability」Byte Maga
zine, 1991年 6月, p.416参照）。計算機の表示画面の
内容を盲人に利用可能にする、様々な合成音声または録
音された音声による解決法が提案されてきている。例え
ば、IBM Technical Disclosure Bulletin, Vol.26, No.
10B,p.5633-5636, 1984年 3月, IBM Technical Disclo
sure Bulletin, Vol. 26、 No.10A, p.4950-4951, 1984
年 3月 などがある。これに加えて、点字の変換器付き
のマウスを備え、盲目のユーザがテキストを読み、マウ
スから何らかの触感による位置的なフィードバックを得
られるようなシステムが提案されている（IBM Technica
l Disclosure Bulletin, Vol. 28, No. 3, p.1343, 198
5年 8月, IBM Technical Disclosure Bulletin, Vol. 3
1, No. 12, p.386, 1989年 5月を参照)。しかしなが
ら、音により、またはマウスにおける点字変換器によっ
て様々なテキスト項目を告知することで、盲目のユーザ
に何らかの情報を提供することができるかもしれない
が、それによってユーザが、計算機の表示画面上をナビ
ゲート（ｎａｖｉｇａｔｅ）してオブジェクトを探せる
ようにはならない。
在、音声合成、拡大印字処理、点字デスクトップ出版及
び音声認識を含む多くの形態の適応技術から利益を得て
いる。しかしながら、現時点では、これら上記のツール
のほとんどは、グラフィカル・ユーザ・インターフェー
スと共に使用されるようにはなされていない。プログラ
マはアイコンに対してビルトインされた音声ラベルを付
したソフトウェアを書きうるということが示唆されてい
る（Lazzaro著「Windows of Vulnerability」Byte Maga
zine, 1991年 6月, p.416参照）。計算機の表示画面の
内容を盲人に利用可能にする、様々な合成音声または録
音された音声による解決法が提案されてきている。例え
ば、IBM Technical Disclosure Bulletin, Vol.26, No.
10B,p.5633-5636, 1984年 3月, IBM Technical Disclo
sure Bulletin, Vol. 26、 No.10A, p.4950-4951, 1984
年 3月 などがある。これに加えて、点字の変換器付き
のマウスを備え、盲目のユーザがテキストを読み、マウ
スから何らかの触感による位置的なフィードバックを得
られるようなシステムが提案されている（IBM Technica
l Disclosure Bulletin, Vol. 28, No. 3, p.1343, 198
5年 8月, IBM Technical Disclosure Bulletin, Vol. 3
1, No. 12, p.386, 1989年 5月を参照)。しかしなが
ら、音により、またはマウスにおける点字変換器によっ
て様々なテキスト項目を告知することで、盲目のユーザ
に何らかの情報を提供することができるかもしれない
が、それによってユーザが、計算機の表示画面上をナビ
ゲート（ｎａｖｉｇａｔｅ）してオブジェクトを探せる
ようにはならない。
【０００５】視覚的フィ−ドバックを強めるための聴覚
的フィ−ドバックの利用により、対話型計算機グラフィ
ック・システムのユーザがデータを探すのを助けるため
の可聴カーソル位置決め及び画素状態識別機構が提案さ
れている。カーソルが画面を横切って移動する際に、カ
ーソルが出会う各画素のそのときの状態に対応して音が
変化する可聴のクリック音が発生する。聴覚的かつ視覚
的なカーソル・フィ−ドバックのこうした組合せによっ
て、カーソル移動に伴う音の変化を感知することで、所
望のラインを識別するのは簡単になった。カラー表示の
アプリケイションでは、各色がそれぞれ異なる音によっ
て表されており、任意の１つの画素は周囲の別の色の画
素と区別され得る。このシステムは、視力障害または学
習障害を持つユーザにとって特に役立つものであると示
唆されている（IBM Technical Disclosure Bulletin, V
ol. 27, No. 48, p.2528, 1984年 9月) 。しかしなが
ら、この開示には、盲目のユーザが計算機の表示画面上
でナビゲートし、オブジェクトを探すことを可能にする
方法が示されていない。
的フィ−ドバックの利用により、対話型計算機グラフィ
ック・システムのユーザがデータを探すのを助けるため
の可聴カーソル位置決め及び画素状態識別機構が提案さ
れている。カーソルが画面を横切って移動する際に、カ
ーソルが出会う各画素のそのときの状態に対応して音が
変化する可聴のクリック音が発生する。聴覚的かつ視覚
的なカーソル・フィ−ドバックのこうした組合せによっ
て、カーソル移動に伴う音の変化を感知することで、所
望のラインを識別するのは簡単になった。カラー表示の
アプリケイションでは、各色がそれぞれ異なる音によっ
て表されており、任意の１つの画素は周囲の別の色の画
素と区別され得る。このシステムは、視力障害または学
習障害を持つユーザにとって特に役立つものであると示
唆されている（IBM Technical Disclosure Bulletin, V
ol. 27, No. 48, p.2528, 1984年 9月) 。しかしなが
ら、この開示には、盲目のユーザが計算機の表示画面上
でナビゲートし、オブジェクトを探すことを可能にする
方法が示されていない。
【０００６】
【発明が解決しようとする課題】本発明においては、ス
テレオバランス効果を用いて、ポインタの位置について
の情報を、そのときのウィンドウの顧客領域の限界に対
して左右方向即ちＸ方向において伝達する方法及び装置
を提供することを目的とする。
テレオバランス効果を用いて、ポインタの位置について
の情報を、そのときのウィンドウの顧客領域の限界に対
して左右方向即ちＸ方向において伝達する方法及び装置
を提供することを目的とする。
【０００７】
【課題を解決するための手段】本発明のシステムは、横
方向に離間された音声変換器を具備するが、これらはス
ピーカまたはステレオヘッドホンであってよい。ポイン
タが顧客領域の左側境界に接近するにつれて、顧客領域
を表わす音声は左側音声チャネルから次第に排他的に生
じる。同様に、右側境界に接近すると、音は右側音声チ
ャネルへ移っていく。ポインタをウィンドウの中央に位
置させれば、左右両方のステレオチャネルから等しい音
声出力が生じる。この音声効果は印象的であり効果的で
ある。また、これによりユーザは、ウィンドウの大きさ
を即座に感知できる。ユーザは、比較的わずかなマウス
の移動に対して音声バランスが大きく変化するのを聞け
ば、そのウィンドウが狭いことを感知できる。これに加
えて、本発明においては、顧客領域の上下方向つまりＹ
軸方向の相対的位置を伝達するために別の効果が実行さ
れる。この特徴においては、顧客を表する音声の周波数
は、顧客領域内のポインタの上下方向即ちＹ方向の位置
の関数である。好ましくは、周波数は一定数の離散的ス
テップで変化し、このステップを数えることによって、
ユーザは上下即ちＹ軸方向の位置をよりよく確認でき
る。好適な実施例においては、顧客領域の下端から上端
へポインタが移動するにつれて周波数が増加するので、
高い位置には高いピッチの音声が対応するという直感的
なメタファーを与える。
方向に離間された音声変換器を具備するが、これらはス
ピーカまたはステレオヘッドホンであってよい。ポイン
タが顧客領域の左側境界に接近するにつれて、顧客領域
を表わす音声は左側音声チャネルから次第に排他的に生
じる。同様に、右側境界に接近すると、音は右側音声チ
ャネルへ移っていく。ポインタをウィンドウの中央に位
置させれば、左右両方のステレオチャネルから等しい音
声出力が生じる。この音声効果は印象的であり効果的で
ある。また、これによりユーザは、ウィンドウの大きさ
を即座に感知できる。ユーザは、比較的わずかなマウス
の移動に対して音声バランスが大きく変化するのを聞け
ば、そのウィンドウが狭いことを感知できる。これに加
えて、本発明においては、顧客領域の上下方向つまりＹ
軸方向の相対的位置を伝達するために別の効果が実行さ
れる。この特徴においては、顧客を表する音声の周波数
は、顧客領域内のポインタの上下方向即ちＹ方向の位置
の関数である。好ましくは、周波数は一定数の離散的ス
テップで変化し、このステップを数えることによって、
ユーザは上下即ちＹ軸方向の位置をよりよく確認でき
る。好適な実施例においては、顧客領域の下端から上端
へポインタが移動するにつれて周波数が増加するので、
高い位置には高いピッチの音声が対応するという直感的
なメタファーを与える。
【０００８】盲目または視覚障害を有するユーザがグラ
フィカル・ユーザ・インターフェースを操作する際に特
に問題になるのは、ウィンドウでのナビゲーションであ
る。ウィンドウは、テキストやアイコンで占められてい
る顧客領域を含む。目の見えるユーザは、ウィンドウ内
のオブジェクトを一目で見つけ、ほとんど何も考えるこ
となくポインタをそれらのオブジェクトの位置に移動さ
せることができる。しかし、盲目ないし視覚障害を持つ
ユーザは、テキストどおりの音声などの音声によるオブ
ジェクト識別が提供されるとしても、試行錯誤ないしラ
ンダムなサーチによってのみそれらオブジェクトを見つ
け出すことができる。更に、盲目ないし視覚障害を持つ
ユーザにとっては、ウィンドウ内のすべてのオブジェク
トを見つけ出して識別した後に、所望のオブジェクトへ
戻るのは非常に困難である。
フィカル・ユーザ・インターフェースを操作する際に特
に問題になるのは、ウィンドウでのナビゲーションであ
る。ウィンドウは、テキストやアイコンで占められてい
る顧客領域を含む。目の見えるユーザは、ウィンドウ内
のオブジェクトを一目で見つけ、ほとんど何も考えるこ
となくポインタをそれらのオブジェクトの位置に移動さ
せることができる。しかし、盲目ないし視覚障害を持つ
ユーザは、テキストどおりの音声などの音声によるオブ
ジェクト識別が提供されるとしても、試行錯誤ないしラ
ンダムなサーチによってのみそれらオブジェクトを見つ
け出すことができる。更に、盲目ないし視覚障害を持つ
ユーザにとっては、ウィンドウ内のすべてのオブジェク
トを見つけ出して識別した後に、所望のオブジェクトへ
戻るのは非常に困難である。
【０００９】
【実施例】まず図１を参照すると、ウィンドウが、全体
として数字１１によって指示されている。ウィンドウ１
１は、計算機システムの表示画面に表示されており、こ
れは当業者に周知である。ウィンドウ１１は、ウィンド
ウ境界１３、タイトル・バー１５、アクション・バー１
７、顧客領域１９を含む。タイトル・バー１５は、当該
ウィンドウのタイトルに加えて、システム・メニュ・ア
イコン２１とウィンドウ・サイジング・アイコン２３、
２５を含む。ユーザは、システム・メニュ・アイコン２
１によって、ウィンドウ上で実行できるアクションを含
むプルダウン・メニュを表示することができる。ウィン
ドウ・サイジング・アイコン２３は、マウスその他の指
示装置を使用して、ウィンドウを最小化してアイコンに
まで縮小するための迅速な方法を提供する。逆に、ウィ
ンドウ・サイジング・アイコン２５は、ウィンドウを最
大化して画面全体を覆うための迅速な方法をユーザに提
供する。
として数字１１によって指示されている。ウィンドウ１
１は、計算機システムの表示画面に表示されており、こ
れは当業者に周知である。ウィンドウ１１は、ウィンド
ウ境界１３、タイトル・バー１５、アクション・バー１
７、顧客領域１９を含む。タイトル・バー１５は、当該
ウィンドウのタイトルに加えて、システム・メニュ・ア
イコン２１とウィンドウ・サイジング・アイコン２３、
２５を含む。ユーザは、システム・メニュ・アイコン２
１によって、ウィンドウ上で実行できるアクションを含
むプルダウン・メニュを表示することができる。ウィン
ドウ・サイジング・アイコン２３は、マウスその他の指
示装置を使用して、ウィンドウを最小化してアイコンに
まで縮小するための迅速な方法を提供する。逆に、ウィ
ンドウ・サイジング・アイコン２５は、ウィンドウを最
大化して画面全体を覆うための迅速な方法をユーザに提
供する。
【００１０】アクション・バー１７は、アプリケイショ
ン内のアクションの一覧を含んでいる。ユーザはアクシ
ョン・バー１７内の各項目の下のプルダウン・メニュを
システムに表示させることができる。
ン内のアクションの一覧を含んでいる。ユーザはアクシ
ョン・バー１７内の各項目の下のプルダウン・メニュを
システムに表示させることができる。
【００１１】顧客領域１９は、ウィンドウ１１の残りの
部分を含む。顧客領域１９はユーザの注目の的であり、
ユーザはこの領域で１つまたは複数のオブジェクトを与
えられ、そのオブジェクトに働きかける。当業者やウィ
ンドウをよく知る者には明らかなように、顧客領域は、
通常テキストやアイコンで占められている。しかし、明
確さと例示のために、顧客領域１９は空きであるとして
図示されていない。
部分を含む。顧客領域１９はユーザの注目の的であり、
ユーザはこの領域で１つまたは複数のオブジェクトを与
えられ、そのオブジェクトに働きかける。当業者やウィ
ンドウをよく知る者には明らかなように、顧客領域は、
通常テキストやアイコンで占められている。しかし、明
確さと例示のために、顧客領域１９は空きであるとして
図示されていない。
【００１２】ポインタ２７は、顧客領域１９の中に示さ
れている。ポインタ２７は、マウス（図示せず）や他の
ポインティング装置によって、画面上を移動することが
できる。ユーザは、ポインタ２７を様々なオブジェクト
まで移動させて、それらオブジェクトを選択し、開き、
または直接操作する。通常の視力を有する者は、画面上
でポインタ２７を移動させ、システム・メニュ・アイコ
ン２１や最大化のサイジング・アイコン２５のような項
目を容易に見付けることができる。しかし容易に想像で
きるように盲目ないし重度の視覚障害をもつ者にとって
は、ウィンドウ内の項目を探すのは容易なことではな
い。したがって、本発明においては、ユーザに音声によ
るポインタ２７の位置についてのフィ−ドバックを与え
るための音響効果が提供される。
れている。ポインタ２７は、マウス（図示せず）や他の
ポインティング装置によって、画面上を移動することが
できる。ユーザは、ポインタ２７を様々なオブジェクト
まで移動させて、それらオブジェクトを選択し、開き、
または直接操作する。通常の視力を有する者は、画面上
でポインタ２７を移動させ、システム・メニュ・アイコ
ン２１や最大化のサイジング・アイコン２５のような項
目を容易に見付けることができる。しかし容易に想像で
きるように盲目ないし重度の視覚障害をもつ者にとって
は、ウィンドウ内の項目を探すのは容易なことではな
い。したがって、本発明においては、ユーザに音声によ
るポインタ２７の位置についてのフィ−ドバックを与え
るための音響効果が提供される。
【００１３】図１において、数字２９によって全体的に
指示されている左右の振幅の目盛りが、ウィンドウ１１
の下部の余白に沿って示されている。目盛り２９は本発
明の説明と理解を容易にするために示されているのであ
って、実際は画面に表示されない。本発明では、横方向
に離間させた１対の変換器から可聴音が生成される。こ
の変換器はワークステーションの両側に位置するスピー
カまたはユーザが身につけたヘッドフォンであり得る。
目盛り２９は、左右チャネルの左右の相対的な振幅即ち
バランスを、ポインタの水平方向即ち左右の位置の関数
として図解的に示している。よって、ポインタが顧客領
域１９の垂直の中央線上に位置するときは、左右のチャ
ネルの振幅は互いに等しく、バランスがとれていること
になる。ポインタ２７が左へ動くと、左側のチャネルの
振幅が増加し、右側のチャネルの振幅は減少する。同様
にして、ユーザがポインタ２７を右へ動かせば、右側の
チャネルの振幅が増加し、左側のチャネルの振幅は減少
する。本発明によって提供されるステレオ効果によっ
て、ユーザはポインタの左右の位置をほとんど「見る」
ことができる。
指示されている左右の振幅の目盛りが、ウィンドウ１１
の下部の余白に沿って示されている。目盛り２９は本発
明の説明と理解を容易にするために示されているのであ
って、実際は画面に表示されない。本発明では、横方向
に離間させた１対の変換器から可聴音が生成される。こ
の変換器はワークステーションの両側に位置するスピー
カまたはユーザが身につけたヘッドフォンであり得る。
目盛り２９は、左右チャネルの左右の相対的な振幅即ち
バランスを、ポインタの水平方向即ち左右の位置の関数
として図解的に示している。よって、ポインタが顧客領
域１９の垂直の中央線上に位置するときは、左右のチャ
ネルの振幅は互いに等しく、バランスがとれていること
になる。ポインタ２７が左へ動くと、左側のチャネルの
振幅が増加し、右側のチャネルの振幅は減少する。同様
にして、ユーザがポインタ２７を右へ動かせば、右側の
チャネルの振幅が増加し、左側のチャネルの振幅は減少
する。本発明によって提供されるステレオ効果によっ
て、ユーザはポインタの左右の位置をほとんど「見る」
ことができる。
【００１４】ユーザがポインタ２７を垂直方向につまり
ウィンドウ１１の上下の軸に沿って移動させると、ウィ
ンドウ１１の左側余白に沿って目盛り３１で示されてい
るように、音のピッチないし周波数が段階的に変化す
る。目盛り３１は、ポインタの上下方向の位置の関数と
して、周波数の段階的配置を図解的に示している。好適
な実施例においては、８つの別個な周波数が３００Ｈｚ
間隔で与えられる。段階的な周波数の関数により、ユー
ザは、ステップを数えることで、ポインタが、顧客領域
１９の上端または下端にどのくらい近いのかを知ること
ができる。周波数つまりピッチの変化により、ユーザ
は、ポインタ２７の上下方向の位置を正確に視覚化でき
るのである。先程と同様に、目盛り３１は本発明の説明
と理解を容易にするために示されているのであって、実
際は画面に表示されない。
ウィンドウ１１の上下の軸に沿って移動させると、ウィ
ンドウ１１の左側余白に沿って目盛り３１で示されてい
るように、音のピッチないし周波数が段階的に変化す
る。目盛り３１は、ポインタの上下方向の位置の関数と
して、周波数の段階的配置を図解的に示している。好適
な実施例においては、８つの別個な周波数が３００Ｈｚ
間隔で与えられる。段階的な周波数の関数により、ユー
ザは、ステップを数えることで、ポインタが、顧客領域
１９の上端または下端にどのくらい近いのかを知ること
ができる。周波数つまりピッチの変化により、ユーザ
は、ポインタ２７の上下方向の位置を正確に視覚化でき
るのである。先程と同様に、目盛り３１は本発明の説明
と理解を容易にするために示されているのであって、実
際は画面に表示されない。
【００１５】本発明に従えば、ユーザは、ポインタ２７
が顧客領域１９内のどの位置にあるのかを容易に知るこ
とができる。約束により、タイトル・バー１５とアクシ
ョン・バー１７は、常に、ウィンドウ１１の上部に位置
している。アクション・バー１７の選択肢は、常に、ウ
ィンドウ１１の上部左側角の近くから始まり左から右に
向かって一覧になっている。好ましくは、アクション・
バー１７の選択肢は、テキストどおりの音声または録音
された音声により告知される。これにより、ユーザは顧
客領域１９の上部左側角を容易に見つけ、それによって
アクション・バー１７またはシステム・メニュ・アイコ
ン２１を見いだすことができる。同様にして、最小化の
サイジング・アイコン２３と最大化のサイジング・アイ
コン２５は、常に、ウィンドウ１１の上部右側角に位置
し、ユーザはこれを容易に且つ素早く見つけることがで
きる。 次に図２には、本発明によるシステムのブロッ
クダイアグラムが示されている。ＣＰＵハードウェアは
点線の長方形３３の中に含まれる。ＣＰＵハードウェア
上で、プレゼンテイション・ロジック３７を含むオペレ
イティング・システム３５が動いている。オペレイティ
ング・システム３５上で複数のアプリケイション３９が
動いているのが示されている。ビデオ・インターフェー
ス・ロジックとハードウェア４１が、プレゼンテイショ
ン・ロジック３７からの情報を受け取り、それをビデオ
モニタ４３に表示する。マウス４５とキーボード４７が
ユーザにシステムへの入力を提供する。
が顧客領域１９内のどの位置にあるのかを容易に知るこ
とができる。約束により、タイトル・バー１５とアクシ
ョン・バー１７は、常に、ウィンドウ１１の上部に位置
している。アクション・バー１７の選択肢は、常に、ウ
ィンドウ１１の上部左側角の近くから始まり左から右に
向かって一覧になっている。好ましくは、アクション・
バー１７の選択肢は、テキストどおりの音声または録音
された音声により告知される。これにより、ユーザは顧
客領域１９の上部左側角を容易に見つけ、それによって
アクション・バー１７またはシステム・メニュ・アイコ
ン２１を見いだすことができる。同様にして、最小化の
サイジング・アイコン２３と最大化のサイジング・アイ
コン２５は、常に、ウィンドウ１１の上部右側角に位置
し、ユーザはこれを容易に且つ素早く見つけることがで
きる。 次に図２には、本発明によるシステムのブロッ
クダイアグラムが示されている。ＣＰＵハードウェアは
点線の長方形３３の中に含まれる。ＣＰＵハードウェア
上で、プレゼンテイション・ロジック３７を含むオペレ
イティング・システム３５が動いている。オペレイティ
ング・システム３５上で複数のアプリケイション３９が
動いているのが示されている。ビデオ・インターフェー
ス・ロジックとハードウェア４１が、プレゼンテイショ
ン・ロジック３７からの情報を受け取り、それをビデオ
モニタ４３に表示する。マウス４５とキーボード４７が
ユーザにシステムへの入力を提供する。
【００１６】このシステムは、プレゼンテイション・ロ
ジック３７からウィンドウの型、ウィンドウの位置およ
び大きさ、ポインタの現在位置などの情報を受け取る照
会コード（ｑｕｅｒｙ ｃｏｄｅ）４９を含む。照会コ
ード４９は、音声発生ソフトウェア５１及びハードウェ
ア５３に情報を提供する。音声発生ハードウェア５３か
らの出力はステレオ・ヘッドホン５５またはスピーカに
提供される。
ジック３７からウィンドウの型、ウィンドウの位置およ
び大きさ、ポインタの現在位置などの情報を受け取る照
会コード（ｑｕｅｒｙ ｃｏｄｅ）４９を含む。照会コ
ード４９は、音声発生ソフトウェア５１及びハードウェ
ア５３に情報を提供する。音声発生ハードウェア５３か
らの出力はステレオ・ヘッドホン５５またはスピーカに
提供される。
【００１７】図３には、本発明によるシステムの音声発
生ソフトウェア及びハードウェアのブロックダイアグラ
ムが示されている。音声発生ハードウェア５３は、ホワ
イトノイズ発生器５７と１つまたは複数の発振器５９と
を含む。ホワイトノイズ発生器５７は、ヒスのように聞
こえるホワイトノイズを発生する。ホワイトノイズは、
現実には異なった音つまり周波数の混合物であり、白色
光が着色光の混合物であるのと同様である。発振器５９
は、加算回路６１において何らかの周波数成分をホワイ
トノイズ発生器５７によって発生したホワイトノイズに
付加する。
生ソフトウェア及びハードウェアのブロックダイアグラ
ムが示されている。音声発生ハードウェア５３は、ホワ
イトノイズ発生器５７と１つまたは複数の発振器５９と
を含む。ホワイトノイズ発生器５７は、ヒスのように聞
こえるホワイトノイズを発生する。ホワイトノイズは、
現実には異なった音つまり周波数の混合物であり、白色
光が着色光の混合物であるのと同様である。発振器５９
は、加算回路６１において何らかの周波数成分をホワイ
トノイズ発生器５７によって発生したホワイトノイズに
付加する。
【００１８】音声発生ソフトウェアの出力は、可変帯域
フィルタ６５を操作するフィルタ中心周波数制御部６３
を含む。可変帯域フィルタ６５は、フィルタ中心周波数
の上または下の周波数成分を除去し、比較的狭い周波数
帯域を有する音声信号を出力する。この可変帯域フィル
タ６５からの音声出力は、聴取者には、当該フィルタ中
心周波数に応じて、比較的高ピッチのヒスまたは比較的
低ピッチのヒスとして感知される。可変帯域フィルタ６
５からの出力は、６７で分岐されて左右のチャネルに分
かれる。左側振幅制御部６９は左チャネルの可変減衰器
７１を制御し、右側振幅制御部７３は右チャネルの可変
減衰器７５を制御する。可変減衰器７１からの出力は出
力増幅器７７で増幅され、音声信号として左側スピーカ
７９で生成される。同様にして、可変減衰器７５からの
出力は出力増幅器８１で増幅され、音声信号として右側
スピーカ７９で生成される。
フィルタ６５を操作するフィルタ中心周波数制御部６３
を含む。可変帯域フィルタ６５は、フィルタ中心周波数
の上または下の周波数成分を除去し、比較的狭い周波数
帯域を有する音声信号を出力する。この可変帯域フィル
タ６５からの音声出力は、聴取者には、当該フィルタ中
心周波数に応じて、比較的高ピッチのヒスまたは比較的
低ピッチのヒスとして感知される。可変帯域フィルタ６
５からの出力は、６７で分岐されて左右のチャネルに分
かれる。左側振幅制御部６９は左チャネルの可変減衰器
７１を制御し、右側振幅制御部７３は右チャネルの可変
減衰器７５を制御する。可変減衰器７１からの出力は出
力増幅器７７で増幅され、音声信号として左側スピーカ
７９で生成される。同様にして、可変減衰器７５からの
出力は出力増幅器８１で増幅され、音声信号として右側
スピーカ７９で生成される。
【００１９】図４には、本発明の照会コードの好適な実
施例の流れ図が示されている。まず、ポインタの位置
（Ｘｐｔｒ，Ｙｐｔｒ）が、ブロック８５で照会され
る。次に、ブロック８７で、当該ポインタの指示するウ
ィンドウの同一性（ｉｄｅｎｔｉｔｙ）と型が照会され
る。そして、判断ブロック８９において、当該ポインタ
の指示するウィンドウがステレオ効果および平衡（ｂａ
ｌａｎｃｅｄ）音響効果を用いる型のものであるかどう
かのテストが、システムによって行われる。本発明で
は、ウィンドウは広く定義されており、前述のアプリケ
イション・ウィンドウだけでなくバックグラウンド・ス
クリーン、メッセージ・ボックス、ダイアログ・ボック
ス、プルダウン・メニュ、ポップアップ・メニュ等をも
含む。本発明の好適な実施例においては、ステレオ効果
および平衡音響効果は、ポインタがアプリケイション・
ウィンドウの顧客領域内にあるときにだけ生成される。
このようにして、ポインタがアプリケイション・ウィン
ドウの顧客領域以外のいずれかの場所にあれば、音声
は、何らかの他の目的で用いられていなければ、ブロッ
ク９１で遮断され、システムは再びブロック８５のポイ
ンタ位置照会に戻る。
施例の流れ図が示されている。まず、ポインタの位置
（Ｘｐｔｒ，Ｙｐｔｒ）が、ブロック８５で照会され
る。次に、ブロック８７で、当該ポインタの指示するウ
ィンドウの同一性（ｉｄｅｎｔｉｔｙ）と型が照会され
る。そして、判断ブロック８９において、当該ポインタ
の指示するウィンドウがステレオ効果および平衡（ｂａ
ｌａｎｃｅｄ）音響効果を用いる型のものであるかどう
かのテストが、システムによって行われる。本発明で
は、ウィンドウは広く定義されており、前述のアプリケ
イション・ウィンドウだけでなくバックグラウンド・ス
クリーン、メッセージ・ボックス、ダイアログ・ボック
ス、プルダウン・メニュ、ポップアップ・メニュ等をも
含む。本発明の好適な実施例においては、ステレオ効果
および平衡音響効果は、ポインタがアプリケイション・
ウィンドウの顧客領域内にあるときにだけ生成される。
このようにして、ポインタがアプリケイション・ウィン
ドウの顧客領域以外のいずれかの場所にあれば、音声
は、何らかの他の目的で用いられていなければ、ブロッ
ク９１で遮断され、システムは再びブロック８５のポイ
ンタ位置照会に戻る。
【００２０】ポインタがアプリケイション・ウィンドウ
の顧客領域にあれば、システムは、ブロック９３でウィ
ンドウ範囲を照会する。これは、顧客領域の左右、上下
の限界を決定することであり、それぞれ、Ｘｌｅｆｔ，
Ｘｒｉｇｈｔ，Ｙｔｏｐ，Ｙｂｏｔｔｏｍと表される。
次いで、ブロック９５において、システムは、次の式に
よってＸ軸方向でのウィンドウ範囲に対するポインタの
相対的位置を計算する。 Ｐｘ ＝ （Ｘｐｔｒ−Ｘｌｅｆｔ）／（Ｘｒｉｇｈｔ
ーＸｌｅｆｔ） 次に、ブロック９７においては、右側チャネルの振幅Ｐ
ｘが右側振幅制御部へ入力され、左側チャネルの振幅１
−Ｐｘが左側振幅制御部へ入力される。更に、ブロック
９９において、システムは、次の式によってＹ軸方向の
ウィンドウ範囲に対するポインタの相対的位置を計算す
る。 Ｐｙ ＝ （Ｙｐｔｒ−Ｙｂｏｔｔｏｍ）／（Ｙｔｏｐ
−Ｙｂｏｔｔｏｍ） 更に、ブロック１０１において、システムはＰｙを用い
て音声発生器への出力を表す式 ３００Ｈｚ・（１＋ｉｎｔ（Ｐｙ・８）） によってフィルタ中心周波数を求める。このブロック１
０１の式によって、図１に示されるように、３００Ｈｚ
から２，４００Ｈｚまでの段階的な周波数の組が生成さ
れる。ブロック１０１でフィルタ中心周波数が出力され
た後に、システムはブロック８５に戻り、再びポインタ
位置を照会する。
の顧客領域にあれば、システムは、ブロック９３でウィ
ンドウ範囲を照会する。これは、顧客領域の左右、上下
の限界を決定することであり、それぞれ、Ｘｌｅｆｔ，
Ｘｒｉｇｈｔ，Ｙｔｏｐ，Ｙｂｏｔｔｏｍと表される。
次いで、ブロック９５において、システムは、次の式に
よってＸ軸方向でのウィンドウ範囲に対するポインタの
相対的位置を計算する。 Ｐｘ ＝ （Ｘｐｔｒ−Ｘｌｅｆｔ）／（Ｘｒｉｇｈｔ
ーＸｌｅｆｔ） 次に、ブロック９７においては、右側チャネルの振幅Ｐ
ｘが右側振幅制御部へ入力され、左側チャネルの振幅１
−Ｐｘが左側振幅制御部へ入力される。更に、ブロック
９９において、システムは、次の式によってＹ軸方向の
ウィンドウ範囲に対するポインタの相対的位置を計算す
る。 Ｐｙ ＝ （Ｙｐｔｒ−Ｙｂｏｔｔｏｍ）／（Ｙｔｏｐ
−Ｙｂｏｔｔｏｍ） 更に、ブロック１０１において、システムはＰｙを用い
て音声発生器への出力を表す式 ３００Ｈｚ・（１＋ｉｎｔ（Ｐｙ・８）） によってフィルタ中心周波数を求める。このブロック１
０１の式によって、図１に示されるように、３００Ｈｚ
から２，４００Ｈｚまでの段階的な周波数の組が生成さ
れる。ブロック１０１でフィルタ中心周波数が出力され
た後に、システムはブロック８５に戻り、再びポインタ
位置を照会する。
【００２１】
【発明の効果】前期のように、本発明は、盲目ないし視
覚障害を持つユーザに対して、ウィンドウ内でオブジェ
クトを探すことを可能にするに足る音声情報を提供する
ことができる。本発明はまた、付加的な感覚的入力を望
む通常視力のユーザの利用にも供され得る。
覚障害を持つユーザに対して、ウィンドウ内でオブジェ
クトを探すことを可能にするに足る音声情報を提供する
ことができる。本発明はまた、付加的な感覚的入力を望
む通常視力のユーザの利用にも供され得る。
【図１】本発明の理解を助けるために相対的な振幅目盛
りと周波数目盛りとを付したウィンドウを示す図であ
る。
りと周波数目盛りとを付したウィンドウを示す図であ
る。
【図２】本発明の好適なシステムを示すブロックダイア
グラムである。
グラムである。
【図３】本発明の音声発生器の好適な具体例を示すブロ
ックダイアグラムである。
ックダイアグラムである。
【図４】本発明を実行する好適なソフトウェアの流れ図
である。
である。
Claims (10)
- 【請求項１】表示画面と、該表示画面上でマニュアルで
ポインタの位置決めをするためのポインティング装置
と、１対の離間したスピーカとを含む計算機システムの
ユーザに、該表示画面上に表示されたウィンドウ内のポ
インタの位置に関する音声情報を提供する方法であっ
て、 前記ウィンドウ内のポインタの位置をモニタするステッ
プと、 前記スピーカのそれぞれから、相対的な振幅が前記ウィ
ンドウ上の前記ポインタの左右方向の相対的位置に比例
する音声信号を発生させるステップとを具備する方法。 - 【請求項２】請求項１記載の方法であって、前記音声信
号の周波数を前記ウィンドウ内の前記ポインタの上下方
向の相対的位置に比例させてなる方法。 - 【請求項３】表示画面と、該表示画面上でマニュアルで
ポインタの位置決めをするためのポインティング装置と
を含む計算機システムのユーザに、該表示画面上に表示
されたウィンドウ内のポインタの位置に関する音声情報
を提供する方法であって、前記ウィンドウ内のポインタ
の位置をモニタするステップと、周波数が前記ウィンド
ウ内の前記ポインタの上下方向の相対的位置に比例する
第１の音声信号を発生するステップとを具備する方法。 - 【請求項４】請求項３記載の方法であって、前記第１の
音声が前記ユーザの一方の側に存在する位置から生じて
おり、更に、前記ユーザの他方の側に存在する位置か
ら、前記第１の音声信号の周波数と実質的に等しい周波
数を有する第２の音声信号を発生するステップを具備す
る方法。 - 【請求項５】請求項４記載の方法であって、前記第１お
よび第２の音声信号の相対的な振幅を、前記ウィンドウ
内の前記ポインタの左右方向の相対的位置に比例させて
なる方法。 - 【請求項６】請求項５記載の方法であって、前記第１の
音声信号は右側のスピーカから、前記第２の音声信号は
左側のスピーカから生じ、該第１の音声信号の前記振幅
を前記ポインタが前記ウィンドウ上を右へ移動するにつ
れて増大させ、前記第２の音声信号の前記振幅を前記ポ
インタが前記ウィンドウ上を左へ移動するにつれて増大
させてなる方法。 - 【請求項７】請求項３記載の方法であって、前記周波数
を前記ポインタが前記表示画面上を上へ移動するにつれ
て段階的に増加させてなる方法。 - 【請求項８】表示画面と、該表示画面上でマニュアルで
ポインタの位置決めをするためのポインティング手段と
を含む計算機システムのユーザに、該表示画面上に表示
されたウィンドウ内のポインタの位置に関する音声情報
を提供するシステムであって、１対の横方向に離間した
スピーカと前記スピーカのそれぞれから音声信号を発生
させる手段と、前記ウィンドウ内の前記ポインタの左右
方向の相対的位置に応答して、前記スピーカが発生する
前記音声信号の振幅を互いに独立に変化させる手段とを
具備するシステム。 - 【請求項９】請求項８記載のシステムであって、前記ウ
ィンドウ内の前記ポインタの上下方向の相対的位置に応
答して、前記音声信号の周波数を変化させる手段を含む
システム。 - 【請求項１０】請求項８記載のシステムであって、前記
の振幅を変化させる手段が前記ウィンドウ内の前記ポイ
ンタの位置のモニタリング手段を含むシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US74684091A | 1991-08-19 | 1991-08-19 | |
| US746840 | 1991-08-19 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05197517A true JPH05197517A (ja) | 1993-08-06 |
| JP2502436B2 JP2502436B2 (ja) | 1996-05-29 |
Family
ID=25002574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18108192A Expired - Lifetime JP2502436B2 (ja) | 1991-08-19 | 1992-07-08 | ポインタの位置に関する音声情報を提供する方法及びシステム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5374924A (ja) |
| EP (1) | EP0528743A1 (ja) |
| JP (1) | JP2502436B2 (ja) |
| CA (1) | CA2068476C (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08305339A (ja) * | 1995-05-10 | 1996-11-22 | Casio Comput Co Ltd | 文字入力装置 |
| JPH09258946A (ja) * | 1996-03-26 | 1997-10-03 | Fujitsu Ltd | 情報処理装置 |
| JP2000259311A (ja) * | 1999-03-04 | 2000-09-22 | Fujitsu Takamisawa Component Ltd | 情報処理装置および情報処理方法 |
| JP2005327054A (ja) * | 2004-05-13 | 2005-11-24 | Toshiba Corp | 音声出力付き表示装置 |
| JP2007158638A (ja) * | 2005-12-05 | 2007-06-21 | Kenwood Corp | 電子ブック、制御方法及びプログラム |
| JP2008071354A (ja) * | 2006-09-14 | 2008-03-27 | Avaya Technology Llc | 可聴式コンピュータ・ユーザ・インターフェースの方法および装置 |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5533182A (en) * | 1992-12-22 | 1996-07-02 | International Business Machines Corporation | Aural position indicating mechanism for viewable objects |
| WO1995034186A1 (en) * | 1994-06-03 | 1995-12-14 | Apple Computer, Inc. | System for producing directional sound in computer-based virtual environments |
| US5684722A (en) * | 1994-09-21 | 1997-11-04 | Thorner; Craig | Apparatus and method for generating a control signal for a tactile sensation generator |
| US20030040361A1 (en) | 1994-09-21 | 2003-02-27 | Craig Thorner | Method and apparatus for generating tactile feedback via relatively low-burden and/or zero burden telemetry |
| US5508699A (en) * | 1994-10-25 | 1996-04-16 | Silverman; Hildy S. | Identifier/locator device for visually impaired |
| US5684477A (en) * | 1995-07-17 | 1997-11-04 | Smith Myers Communications Limited | Electronic systems interfacing |
| US5956024A (en) * | 1995-08-08 | 1999-09-21 | Continental Cablevision, Inc. | Graphical user interface for customer service representatives for subscriber management systems |
| US6384743B1 (en) | 1999-06-14 | 2002-05-07 | Wisconsin Alumni Research Foundation | Touch screen for the vision-impaired |
| NL1001493C2 (nl) * | 1995-10-24 | 1997-04-25 | Alva B V | Werkstation, voorzien van een brailleleesregel. |
| US5801692A (en) * | 1995-11-30 | 1998-09-01 | Microsoft Corporation | Audio-visual user interface controls |
| US5941624A (en) * | 1996-01-16 | 1999-08-24 | General Electric Company | Refrigerator door assembly and method |
| US6115482A (en) * | 1996-02-13 | 2000-09-05 | Ascent Technology, Inc. | Voice-output reading system with gesture-based navigation |
| US5819225A (en) * | 1996-05-30 | 1998-10-06 | International Business Machines Corporation | Display indications of speech processing states in speech recognition system |
| US6184876B1 (en) * | 1996-07-10 | 2001-02-06 | Intel Corporation | Method and apparatus for audibly communicating comparison information to a user |
| US5990869A (en) * | 1996-08-20 | 1999-11-23 | Alliance Technologies Corp. | Force feedback mouse |
| US5864819A (en) * | 1996-11-08 | 1999-01-26 | International Business Machines Corporation | Internal window object tree method for representing graphical user interface applications for speech navigation |
| US6278441B1 (en) * | 1997-01-09 | 2001-08-21 | Virtouch, Ltd. | Tactile interface system for electronic data display system |
| US5912660A (en) * | 1997-01-09 | 1999-06-15 | Virtouch Ltd. | Mouse-like input/output device with display screen and method for its use |
| US5999918A (en) * | 1997-04-02 | 1999-12-07 | Rational Investors, Inc. | Interactive color confidence indicators for statistical data |
| US6297818B1 (en) * | 1998-05-08 | 2001-10-02 | Apple Computer, Inc. | Graphical user interface having sound effects for operating control elements and dragging objects |
| US6317117B1 (en) | 1998-09-23 | 2001-11-13 | Eugene Goff | User interface for the control of an audio spectrum filter processor |
| GB2345392C (en) * | 2000-03-28 | 2015-01-28 | Brigade Electronics Plc | Reversing alarm |
| GB2374507B (en) * | 2001-01-29 | 2004-12-29 | Hewlett Packard Co | Audio user interface with audio cursor |
| GB2372923B (en) | 2001-01-29 | 2005-05-25 | Hewlett Packard Co | Audio user interface with selective audio field expansion |
| GB2374772B (en) | 2001-01-29 | 2004-12-29 | Hewlett Packard Co | Audio user interface |
| GB2373154B (en) * | 2001-01-29 | 2005-04-20 | Hewlett Packard Co | Audio user interface with mutable synthesised sound sources |
| GB2374501B (en) | 2001-01-29 | 2005-04-13 | Hewlett Packard Co | Facilitation of clear presenentation in audio user interface |
| GB2376123B (en) | 2001-01-29 | 2004-06-30 | Hewlett Packard Co | Facilitation of speech recognition in user interface |
| FI20010958A0 (fi) * | 2001-05-08 | 2001-05-08 | Nokia Corp | Menetelmä ja järjestely laajennetun käyttöliittymän muodostamiseksi |
| US7379053B2 (en) * | 2001-10-27 | 2008-05-27 | Vortant Technologies, Llc | Computer interface for navigating graphical user interface by touch |
| US6882337B2 (en) * | 2002-04-18 | 2005-04-19 | Microsoft Corporation | Virtual keyboard for touch-typing using audio feedback |
| JP4310964B2 (ja) * | 2002-05-22 | 2009-08-12 | コニカミノルタホールディングス株式会社 | 画像形成装置 |
| US9165478B2 (en) | 2003-04-18 | 2015-10-20 | International Business Machines Corporation | System and method to enable blind people to have access to information printed on a physical document |
| US7363060B2 (en) * | 2003-05-02 | 2008-04-22 | Nokia Corporation | Mobile telephone user interface |
| US7676549B2 (en) * | 2005-05-27 | 2010-03-09 | Microsoft Corporation | Techniques for providing accessibility options in remote terminal sessions |
| US20070192027A1 (en) * | 2006-02-13 | 2007-08-16 | Research In Motion Limited | Navigation tool with audible feedback on a wireless handheld communication device |
| US7770118B2 (en) * | 2006-02-13 | 2010-08-03 | Research In Motion Limited | Navigation tool with audible feedback on a handheld communication device having a full alphabetic keyboard |
| US8209063B2 (en) * | 2006-02-13 | 2012-06-26 | Research In Motion Limited | Navigation tool with audible feedback on a handheld communication device |
| US20080229206A1 (en) * | 2007-03-14 | 2008-09-18 | Apple Inc. | Audibly announcing user interface elements |
| TWI341956B (en) * | 2007-05-30 | 2011-05-11 | Delta Electronics Inc | Projection apparatus with function of speech indication and control method thereof for use in the apparatus |
| US20100333017A1 (en) * | 2007-11-27 | 2010-12-30 | David J. Ortiz | Computer graphic user interface and display system |
| US20100134261A1 (en) * | 2008-12-02 | 2010-06-03 | Microsoft Corporation | Sensory outputs for communicating data values |
| JP5520318B2 (ja) | 2009-12-28 | 2014-06-11 | パナソニック株式会社 | 操作音ガイド装置及び操作音ガイド方法 |
| CN102023805B (zh) * | 2010-12-16 | 2012-08-22 | 浙江大学 | 一种软件界面文本信息的辅助浏览方法 |
| GB2490479A (en) * | 2011-04-20 | 2012-11-07 | Nokia Corp | Use of a virtual sound source to enhance a user interface |
| US10255038B2 (en) * | 2013-04-26 | 2019-04-09 | Microsoft Technology Licensing, Llc | Techniques to present a user interface for the visually impaired |
| US9430954B1 (en) * | 2013-09-27 | 2016-08-30 | David Charles Dewhurst | System for presenting visual items |
| US10691406B2 (en) | 2017-02-16 | 2020-06-23 | Microsoft Technology Licensing, Llc. | Audio and visual representation of focus movements |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02288600A (ja) * | 1989-04-28 | 1990-11-28 | Hitachi Ltd | 情報処理システム |
| JPH0430215A (ja) * | 1990-05-25 | 1992-02-03 | Hitachi Ltd | 音量，音質調整方式 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3800082A (en) * | 1972-10-27 | 1974-03-26 | Nasa | Auditory display for the blind |
| US4281833A (en) * | 1978-03-20 | 1981-08-04 | Sound Games, Inc. | Audio racquet ball |
| US4322744A (en) * | 1979-12-26 | 1982-03-30 | Stanton Austin N | Virtual sound system for the visually handicapped |
| DE3607549A1 (de) * | 1985-11-18 | 1987-05-21 | Papenmeier Friedrich Horst | Informationsabnahmesystem fuer eine datenverarbeitungsanlage |
| US4868549A (en) * | 1987-05-18 | 1989-09-19 | International Business Machines Corporation | Feedback mouse |
| DE3942093A1 (de) * | 1989-12-20 | 1990-05-31 | Feser Werner | Elektronisches orientierungshilfsmittel fuer blinde mit ortungs-frequenzgang-ausgabe |
-
1992
- 1992-05-12 CA CA002068476A patent/CA2068476C/en not_active Expired - Fee Related
- 1992-07-08 JP JP18108192A patent/JP2502436B2/ja not_active Expired - Lifetime
- 1992-07-10 EP EP92480102A patent/EP0528743A1/en not_active Withdrawn
-
1993
- 1993-02-23 US US08/022,788 patent/US5374924A/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02288600A (ja) * | 1989-04-28 | 1990-11-28 | Hitachi Ltd | 情報処理システム |
| JPH0430215A (ja) * | 1990-05-25 | 1992-02-03 | Hitachi Ltd | 音量，音質調整方式 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08305339A (ja) * | 1995-05-10 | 1996-11-22 | Casio Comput Co Ltd | 文字入力装置 |
| JPH09258946A (ja) * | 1996-03-26 | 1997-10-03 | Fujitsu Ltd | 情報処理装置 |
| JP2000259311A (ja) * | 1999-03-04 | 2000-09-22 | Fujitsu Takamisawa Component Ltd | 情報処理装置および情報処理方法 |
| JP2005327054A (ja) * | 2004-05-13 | 2005-11-24 | Toshiba Corp | 音声出力付き表示装置 |
| JP2007158638A (ja) * | 2005-12-05 | 2007-06-21 | Kenwood Corp | 電子ブック、制御方法及びプログラム |
| JP2008071354A (ja) * | 2006-09-14 | 2008-03-27 | Avaya Technology Llc | 可聴式コンピュータ・ユーザ・インターフェースの方法および装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2068476A1 (en) | 1993-02-20 |
| JP2502436B2 (ja) | 1996-05-29 |
| CA2068476C (en) | 1996-07-23 |
| US5374924A (en) | 1994-12-20 |
| EP0528743A1 (en) | 1993-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2502436B2 (ja) | ポインタの位置に関する音声情報を提供する方法及びシステム | |
| US6046722A (en) | Method and system for enabling blind or visually impaired computer users to graphically select displayed elements | |
| US5461399A (en) | Method and system for enabling visually impaired computer users to graphically select displayed objects | |
| US5287102A (en) | Method and system for enabling a blind computer user to locate icons in a graphical user interface | |
| US5223828A (en) | Method and system for enabling a blind computer user to handle message boxes in a graphical user interface | |
| Sodnik et al. | A user study of auditory versus visual interfaces for use while driving | |
| Freeman et al. | Multimodal feedback in HCI: haptics, non-speech audio, and their applications | |
| US6532005B1 (en) | Audio positioning mechanism for a display | |
| US20070165019A1 (en) | Design Of systems For Improved Human Interaction | |
| US20020175933A1 (en) | Method and arrangement for providing an expanded desktop | |
| Mynatt | Auditory presentation of graphical user interfaces | |
| US6404442B1 (en) | Image finding enablement with projected audio | |
| CN101201718A (zh) | 可听计算机用户界面方法和装置 | |
| Adipat et al. | Interface design for mobile applications | |
| Huang | Blind users’ expectations of touch interfaces: factors affecting interface accessibility of touchscreen-based smartphones for people with moderate visual impairment | |
| Buxton | Human skills in interface design | |
| Liu et al. | Three-dimensional PC: toward novel forms of human-computer interaction | |
| Peres et al. | Auditory interfaces | |
| Petrucci et al. | WebSound: a generic Web sonification tool, and its application to an auditory Web browser for blind and visually impaired users | |
| Mynatt et al. | The Mercator Environment a Nonvisual Interface to X Windows and Unix Workstations | |
| KR101340200B1 (ko) | 태블릿모니터를 이용한 정보 제공 장치 및 방법 | |
| JP2654543B2 (ja) | 音響ディスプレイ装置 | |
| Kabanda | Review of Human Computer Interaction and Computer Vision | |
| Karshmer et al. | Equal access to information for all: making the world of electronic information more accessible to the handicapped in our society | |
| JPH08166867A (ja) | 音声ガイダンス装置 |