JP2904202B1 - 触覚ディスプレイ装置及びプログラムを記録した機械読み取り可能な記録媒体 - Google Patents

Abstract

【要約】 【課題】 視覚障害者にグラフィカル・ユーザ・インタ
フェースの画面を提示する触覚ディスプレイ装置に於い
て、画面の全体を見渡したい、細部を詳しく見たいとい
った様々な要求に合った画面を触知盤上に提示できるよ
うにする。 【解決手段】 操作者は、触知盤30上に表示するグラフ
ィカル・ユーザ・インタフェースの表示領域の面積，中
心位置を表示領域面積設定部11, 表示領域位置設定部12
を用いて指示する。この指示に従って、表示領域計算部
106 が、表示領域の存在範囲を求め、情報取得部104
が、表示領域の存在範囲と触知盤30上に存在するピンの
ピン数とに基づいて、表示領域内に存在する対話部品を
触知盤30上に表示する際の配置状態を求め、ピン状態デ
ータ生成部105 が、上記対話部品の配置状態に基づいて
触知盤30上に存在する各ピンの状態を示すピン状態デー
タを生成し、触知盤制御部20がピン状態データに従って
触知盤30上のピンを駆動する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パーソナルコンピ
ュータなどの対話型情報処理システムの画面を、ピンの
凹凸や振動などで表現する触覚ディスプレイ装置に関
し、特にグラフィカル・ユーザ・インタフェースの画面
を理解するのに適した表現が可能な触覚ディスプレイ装
置に関する。

【０００２】

【従来の技術】聴覚と触覚とが主な情報受容感覚となる
視覚障害者にとって、触覚は図形のような２次元的な情
報の獲得が可能という点で重要である。そのため、触覚
を利用してコンピュータの画面を提示する触覚ディスプ
レイ装置の研究は古くから行われている。

【０００３】例えば、「コンピュータと人間の共生，
（財）情報科学国際交流財団編，３２９〜３３１頁，１
９９４年４月発行」には、視覚障害者用読書器（オプタ
コン）の技術を用いた触覚ディスプレイ装置が記載され
ている。この読書器の元来の動作は、縦５列横２０行の
フォトトランジスタアレイを内蔵したカメラで印刷物を
走査すると、フォトトランジスタアレイと一対一に対応
した１００本のピンからなる触知盤上の、像を結んだフ
ォトトランジスタに対応したピンが振動して印刷物のイ
メージが提示されるというものである。上記の文献に記
載されている触覚ディスプレイ装置は、読書器の触知盤
上に、コンピュータの画面イメージを記憶しているビデ
オメモリから読み出した５×２０ドット分の情報が表示
されるようになっている。このような装置は例えば図２
８に示す構成で実現可能である。操作者が、読書器６０
のカメラ６１の代わりにマウスなどの座標指示装置４０
により画面上の一点を指示すると、画面情報読み出し部
１１４が指示された位置付近の５×２０ドットの面積情
報を記憶装置５０ｄ内のビデオメモリ５６から読み出
し、出力情報生成部１１５に渡す。出力情報生成部１１
５では、触知盤６３の各ピンの状態（振動させるか否
か）を記した二値の情報が生成され、触知盤制御部６２
が、この情報を参照して触知盤６３のピンを実際に振動
させる。

【０００４】また、「ピン第１５号，視覚障害情報機器
アクセスサポート協会，７〜９頁、６８〜７３頁，１９
９４年７月発行」には、横１２０本，縦６０本のピンを
アレイ状に並べた触知盤を有する大型の触覚ディスプレ
イ装置が記載されている。この装置は、コンピュータ画
面の表示、およびコンピュータから制御して図形を表示
することを念頭に設計されており、米国マイクロソフト
社のグラフィカル・ユーザ・インタフェースシステムで
動作するアナログ時計の絵が表示できるといった記述が
ある。

【０００５】

【発明が解決しようとする課題】触覚を利用してグラフ
ィカル・ユーザ・インタフェースの画面を理解させる際
の一つ目の問題点は、触覚ディスプレイ装置のピンと通
常のディスプレイ装置の画素（ドット）との対応の取り
方である。この問題は、触覚ディスプレイ装置の解像度
がブラウン管や液晶などを用いた通常のディスプレイ装
置と比較して極端に低いことに起因しており、一本のピ
ンに割り当てる画素数を少なくすると、情報の欠落が減
り画面の細かい部分まで表現できる（例えば、小さな対
話部品も表現できる）反面、広範囲を見渡すために頻繁
なスクロール操作などが必要となる。この状態は、小さ
なのぞき窓を動かして全体を理解するようなもので、触
覚のみで行うには非常に困難な作業であり、対話部品の
配置や画面構成などの把握が難しくなる。逆に、一本の
ピンに多くの画素を割り当てると、画面構成などの把握
は容易になるが、情報の欠落が多くなり細部が表現でき
なくなる。

【０００６】二つ目の問題は、対話部品の種類の違いを
いかにして認識させるかである。上述の通り、触覚ディ
スプレイ装置の解像度はかなり低いため、グラフィカル
・ユーザ・インタフェースの画面イメージをそのまま表
現することは不可能で、なんらかの情報の間引きが必要
になる。通常は、対話部品に描かれている文字の色など
を無視して輪郭だけを表示することが多いが、ほとんど
の対話部品は矩形であるため、輪郭だけでは種類が判別
できなくなってしまう。

【０００７】上述の従来技術は、これらの問題に対する
解決策はとられていない。例えば、視覚障害者用読書器
を利用した触覚ディスプレイ装置では、画面上の５×２
０ドットの領域が表示されるが、グラフィカル・ユーザ
・インタフェースの画面は最低でも６４０×４８０ドッ
トの広さを持っているため、ある程度の範囲の情報を触
知するために座標指示装置を頻繁に動かさなければなら
ない。また、ビデオメモリから画面イメージを読み出し
ているため、対話部品だけを切り出すこと自体が難し
く、装置内部でも対話部品の種類などは識別されていな
い。

【０００８】一方、大型の触覚ディスプレイ装置は１２
０×６０本の比較的多くのピンを持っているが、それで
も１ピンに１ドットを対応させると、６４０×４８０ド
ットの画面のうち一部しか表示できず、いくらかのスク
ロール操作が必要になる。また、このような大型の装置
は、全画面を表示するという使用方法が多いが、その場
合、１ピンで約５×６ドットをカバーすることになり、
例えばウィンドウの枠や小さなボタンなどは充分に表現
できない。更に、グラフィカル・ユーザ・インタフェー
スシステムで動作するアナログ時計の絵が表現できると
記述されているが、対話部品の種類などを識別する技術
には触れられていない。

【０００９】そこで、本発明の目的は、触覚ディスプレ
イ装置の触知盤に表示するグラフィカル・ユーザ・イン
タフェースの画面の表示領域の面積をユーザが自由に設
定できるようにすることにより、画面の全体を見渡した
い、細部を詳しく見たいといった様々な要求に合った画
面を触知盤上に提示できるようにすることにある。ま
た、本発明の別の目的は、対話部品の種類を識別可能に
することにある。

【００１０】

【課題を解決するための手段】触覚ディスプレイ装置の
ピンの数は一定であるため、ピンと画素の対応問題は触
覚ディスプレイ装置の触知盤に表示されるグラフィカル
・ユーザ・インタフェースの画面の表示領域の広さをど
のように決定するかという問題に言い換えることができ
る。本発明では、表示領域面積設定部を設けたことによ
り、操作者が自由に表示領域の面積を指定できるため、
全体を見渡す場合や細部を詳しく見る場合など、様々な
目的に対応可能となる。

【００１１】更に、本発明では、表示領域の中心が対話
部品の上に位置している場合に、対話部品の種類に応じ
たパターンを表示するようにしているので、触覚だけで
対話部品の種類まで識別可能となる。

【００１２】また、本発明では、サイズの小さな対話部
品を触知できるサイズに拡大した仮想的なグラフィカル
・ユーザ・インタフェースの画面を生成し、触覚ディス
プレイ装置に、実際のグラフィカル・ユーザ・インタフ
ェースの画面ではなく、上記の仮想的な画面を表示する
ことにより、全体を把握しやすいように表示領域をある
程度広くとっても、小さな対話部品が表現できるように
なる。

【００１３】

【発明の実施の形態】次に本発明の実施の形態について
図面を参照して詳細に説明する。

【００１４】本発明の第１の実施の形態は、グラフィカ
ル・ユーザ・インタフェースの画面のうち、操作者が指
定した矩形の領域（表示領域）の内容が触知盤上に表示
されるものである。図１を参照すると、本実施の形態
は、ピンをアレイ状に並べた触知盤３０と、触知盤３０
のピンを駆動する触知盤制御部２０と、プログラム制御
により動作するデータ処理装置（コンピュータ）１００
と、記録媒体１００Ｒと、キーボード等のデータ入力装
置１０とから構成されている。

【００１５】データ入力装置１０には、表示領域の中心
位置を指示する表示領域位置設定部１２と、表示領域の
広さを指示する表示領域面積設定部１１とが含まれる。

【００１６】また、データ処理装置１００には、グラフ
ィカル・ユーザ・インタフェースを備えたＯＳ（オペレ
ーティングシステム）１０１と、データ入力装置１０か
らの入力を監視するキー入力監視部１０２と、グラフィ
カル・ユーザ・インタフェースの画面の変化（例えば新
たなウィンドウが開くなど）を監視する画面変化監視部
１０３と、グラフィカル・ユーザ・インタフェースの画
面のうちの、表示領域内の情報を取得する情報取得部１
０４と、触知盤３０上の各ピンの状態を示すピン状態デ
ータを生成するピン状態データ生成部１０５と、表示領
域の左上，右下の座標位置を計算しそれを表示領域の存
在範囲を示す情報として情報取得部１０４に渡す表示領
域計算部１０６とを含んでいる。

【００１７】データ処理装置１００が備えている記録媒
体１００Ｒは、ディスク，半導体メモリ，その他の記録
媒体であり、データ処理装置１００を触覚ディスプレイ
装置の制御部として動作させるためのプログラムが記録
されている。この記録媒体１００Ｒに記録されているプ
ログラムは、データ処理装置１００によって読み取ら
れ、データ処理装置１００の動作を制御することで、デ
ータ処理装置１００上にキー入力監視部１０２と、画面
変化監視部１０３と、情報取得部１０４と、ピン状態デ
ータ生成部１０５と、表示領域計算部１０６とを実現す
る。

【００１８】図２はキー入力監視部１０２の処理例を示
す流れ図、図３は画面変化監視部１０３の処理例を示す
流れ図、図４は情報取得部１０４の処理例を示す流れ
図、図５はピン状態データ生成部１０５の処理例を示す
流れ図、図６は表示領域計算部１０６の処理例を示す流
れ図であり、以下、各図を参照して本実施の形態の動作
を説明する。尚、以下においては説明を簡単にするた
め、表示領域の面積を「１０ドット×１０ドット（以
下、狭領域）」と「２０ドット×２０ドット（以下、広
領域）」との二段階に変更可能で、触知盤３０には１０
０本のピンが１０行１０列に配列されているとするが、
実際の装置では、ピン数，表示領域の面積の切り換え段
階数を更に多くすることが望ましい。

【００１９】図７（ａ）は、グラフィカル・ユーザ・イ
ンタフェースの画面の一例であり、６個のアイコン２０
１を含むウィンドウ２００及びマウスカーソル２０３が
表示されている。初期状態として、表示領域の中心座標
が点（Ｘ１，Ｙ１）で、面積が狭領域に設定されている
とすると（すなわち、領域２０４が表示領域）、触覚デ
ィスプレイ装置の動作開始時、触知盤３０は図７（ｂ）
の状態になる。

【００２０】触知盤３０が図７（ｂ）に示す状態になる
までの処理は、以下の通りである。

【００２１】触覚ディスプレイ装置の動作開始時、表示
領域計算部１０６が、初期状態に於ける表示領域の存在
範囲を情報取得部１０４に通知する（図６，Ｓ６１）。
この場合、表示領域の中心座標値が（Ｘ１，Ｙ１）で、
面積が狭領域であるので、表示領域計算部１０６は、座
標値（Ｘ１−４，Ｙ１−４），（Ｘ１＋５，Ｙ１＋５）
を表示領域の存在範囲として情報取得部１０４に渡すこ
とになる。その後、表示領域計算部１０６は、面積情報
＝「１０ドット四方」，中心座標値＝（Ｘ１，Ｙ１）を
内部的に保持する（Ｓ６２）。

【００２２】情報取得部１０４は、表示領域計算部１０
６から表示領域の存在範囲が通知されると、表示領域内
のどのドットを調査対象ドットにするのかを、表示領域
の面積と触知盤３０上に存在するピン数（この例の場
合、１０×１０本）とに基づいて決定する（図４，Ｓ４
１）。例えば、表示領域の面積が１０×１０ドット（狭
領域）であれば、表示領域内の各ドットと触知盤３０上
の各ピンとが１対１に対応するので、表示領域内の全て
のドットを調査対象ドットにする。また、例えば、表示
領域の面積が２０×２０ドット（広領域）であれば、触
知盤３０上のピン１本に表示領域の４ドットが対応する
ので、表示領域内の全ドットの内の１／４のドット（例
えば、奇数行，奇数列に存在するドット）を調査対象ド
ットとする。この例の場合、表示領域の面積は、１０×
１０ドットであるので、表示領域内の全ドットが調査対
象ドットとなる。

【００２３】その後、情報取得部１０４は、ＯＳ１０１
に対して、表示領域内の調査対象ドットが属している対
話部品の種類を問い合わせる（Ｓ４２）。この問い合わ
せに応答してＯＳ１０１は、調査対象ドットが属してい
る対話部品の種類を情報取得部１０４に通知する。その
際、調査対象ドットがクライアント領域に属している場
合は、その旨を通知する。その後、情報取得部１０４
は、各調査対象ドットに、それが属している対話部品の
種類に対応する番号を割り当てる（Ｓ４３）。例えば、
ウィンドウのクライアント領域２０２に属するドットに
「１」を、アイコン２０１に属するドットに「２」（番
号が付されていないアイコンも種類は同じなので
「２」）を割り当てるとすれば、図８（ａ）に示す配列
型のデータが生成される。この配列型のデータは、表示
領域に存在する対話部品を触知盤３０上に表示する際の
対話部品の配置状態を示している。その後、情報取得部
１０４は、Ｓ４３で生成したデータをピン状態データ生
成部１０５に渡す（Ｓ４４）。

【００２４】ピン状態データ生成部１０５は、図８
（ａ）に示したデータに対して、左上から順番に、左
側，上側の少なくとも何れか一方と異なる数字が入って
いるところを「１」、それ以外のところを「０」にする
処理（いわゆる差分処理）を行うことで、対話部品の輪
郭を示す図８（ｂ）のピン状態データを生成する（図
５，Ｓ５１）。このピン状態データは、触知盤制御部２
０に出力される（Ｓ５２）。

【００２５】触知盤制御部２０は、ピン状態データ生成
部１０５から出力された図８（ｂ）に示したピン状態デ
ータに基づき、「１」が格納されているところに対応す
るピン３１を突起させ、それ以外のピン３１を下げるこ
とで、触知盤３０の状態を図７（ｂ）に示すものにす
る。尚、本実施の形態では、対話部品の輪郭のみでピン
を突起させるようなピン状態データを生成するようにし
たが、例えば対話部品の内部で全てピンを突起させるよ
うなピン状態データ（対話部品を浮き上がらせるような
イメージ）を生成するようにしても良い。また、触知盤
３０は、ピンの凹凸ではなく振動で情報を表現するもの
でも良い。

【００２６】次に、表示領域の面積を変更した場合の動
作について説明する。ここでの仮定として、データ入力
装置１０はキーボードであり、表示領域面積設定部１１
として「＊」キーが割り振られており、このキーを押す
ことで狭領域と広領域の選択が交互に切り替わるとす
る。

【００２７】操作者が「＊」キーを押すと、キー入力監
視部１０２がその旨を表示領域計算部１０６に通知する
（図２，Ｓ２１がＹＥＳ，Ｓ２４）。

【００２８】表示領域計算部１０６は、この通知を受け
ると（図６，Ｓ６３がＹＥＳ）、保持している面積情報
を「１０ドット四方」から「２０ドット四方」に変更し
（Ｓ６８）、更に、点（Ｘ１，Ｙ１）を中心に面積が２
０ドット四方となる表示領域２０５の左上と右下の座標
を計算して、点（Ｘ１−９，Ｙ１−９）と点（Ｘ１＋１
０，Ｙ１＋１０）を得る（Ｓ６９）。その後、表示領域
計算部１０６は、上記した２点の座標値を表示領域の存
在範囲を示す情報として情報取得部１０４に渡す（Ｓ６
７）。

【００２９】表示領域の存在範囲を示す座標値を渡され
た情報取得部１０４は、前述したと同様に、表示領域内
のどのドットを調査対象ドットにするのかを、表示領域
の面積と触知盤３０上に存在するピン数とに基づいて決
定する（図４，Ｓ４１）。この例の場合、表示領域２０
５の面積が２０×２０ドット（広領域）であるので、表
示領域内の１／４のドット（例えば、奇数行，奇数列に
存在するドット）を調査対象ドットとする。そして、調
査対象ドットに対して前述したと同様の処理を行うこと
により、図８（ａ）と同様の配列型のデータを作成し、
作成したデータをピン状態データ生成部１０５に渡す
（Ｓ４２〜Ｓ４４）。

【００３０】情報取得部１０４で生成されたデータに対
しピン状態データ生成部１０５で差分処理を行い（図
５，Ｓ５１，Ｓ５２）、触知盤制御部２０を通すことに
より、触知盤３０は図７（ｃ）の状態になる。

【００３１】表示領域の中心位置を変更する場合につい
てもほぼ同様で、表示領域位置設定部１２がキーボード
のカーソルキーに割り当てられており、表示領域の中心
位置がカーソルキーの矢印の向きに移動するとした場
合、次のような動作になる。

【００３２】カーソルキーの操作はキー入力監視部１０
２によって検出され、操作されたカーソルキーの種類が
表示領域計算部１０６に伝達される（図２，Ｓ２２がＹ
ＥＳ，Ｓ２３）。

【００３３】表示領域計算部１０６は、キー入力監視部
１０２から操作されたカーソルキーの種類が通知される
と（図６，Ｓ６４がＹＥＳ）、その種類の応じて保持し
ている中心座標値を変更する（Ｓ６５）。

【００３４】図９（ａ）は、上記した図７（ａ）の状態
から左カーソルキーが一回押された状態を示しており、
この時、表示領域計算部１０６は、保持している中心座
標値（Ｘ１，Ｙ１）を（Ｘ１−１，Ｙ１）に変更し（Ｓ
６５）、表示領域の左上と右下の座標値の再計算を行
い、座標値（Ｘ１−５，Ｙ１−４），（Ｘ１＋４，Ｙ１
＋５）を得る（Ｓ６６）。以降の処理は、表示領域の面
積を変更する場合と同じで、触知盤３０には図９（ｂ）
のパターンが表示される。

【００３５】最後に、画面変化監視部１０３は、操作者
がグラフィカル・ユーザ・インタフェースを操作した際
の画面変化を監視しており、新たなウィンドウが開くな
どにより画面が変化した場合（図３，Ｓ３１がＹＥＳ）
に、表示領域の情報をもう一度調査し直すように情報取
得部１０４に指示を出す（Ｓ３２）。即ち、触知盤３０
の情報を再描画させる必要があるかどうかを監視する働
きをしている。

【００３６】情報取得部１０４は、画面変化監視部１０
３から再調査が指示されると、前述したと同様の処理を
行う（図４，Ｓ４１〜Ｓ４４）。但し、画面変化監視部
１０３から再調査が指示された場合には、表示領域の存
在範囲が分からないので、例えば、表示領域計算部１０
６に現在の表示領域の存在範囲を問い合わせる等の処理
を行うことが必要になる。

【００３７】次に、本発明の第２の実施の形態について
説明する。

【００３８】本発明の第２の実施の形態は、第１の実施
の形態の変形例であり、表示領域の中心位置の指示をマ
ウスなどの座標指示装置で行うものである。第２の実施
の形態の構成例を示す図１０のブロック図によると、本
実施の形態は第１の実施の形態と比較して、次の点が相
違する。

【００３９】表示領域位置設定部１２を有しているデー
タ入力装置１０の代わりに表示領域位置設定部１２を有
していないデータ入力装置１０ａを備えた点、座標指示
装置４０が追加された点、データ処理装置１００の代わ
りにデータ処理装置１００ａを備えた点、記録媒体１０
０Ｒの代わりに記録媒体１００Ｒａを備えた点が相違し
ている。更に、データ処理装置１００ａにカーソル移動
監視部１０７が追加された点、キー入力監視部１０２の
代わりにキー入力監視部１０２ａを備えた点、表示領域
計算部１０６の代わりに表示領域計算部１０６ａを備え
た点が相違している。尚、キー入力監視部１０２ａは、
「＊」キーが押下された時、表示領域計算部１０６ａに
「＊」キーが押下されたことを通知する機能を有するも
のである。また、表示領域計算部１０６ａと表示領域計
算部１０６との相違は、表示領域計算部１０６が自身で
表示領域の中心座標値を求めるのに対し、表示領域計算
部１０６ａは、表示領域の中心座標値をカーソル移動監
視部１０７から通知してもらう点が相違する。尚、他の
図１と同一符号は同一部分を表している。

【００４０】データ処理装置１００ａが備えている記録
媒体１００Ｒａは、ディスク，半導体メモリ，その他の
記録媒体であり、データ処理装置１００ａを触覚ディス
プレイ装置の制御部として機能させるためのプログラム
が記録されている。記録媒体１００Ｒａに記録されてい
るプログラムは、データ処理装置１００ａによって読み
取られ、データ処理装置１００ａの動作を制御すること
で、データ処理装置１００ａ上に、キー入力監視部１０
２ａ，画面変化監視部１０３，情報取得部１０４，ピン
状態データ生成部１０５，表示領域計算部１０６ａ，カ
ーソル移動監視部１０７を実現する。

【００４１】本実施の形態の特徴は、表示領域がマウス
カーソルの位置を中心とする矩形領域となる点である。
図１１（ａ）は、図７（ａ）と同じ画面状態であるが、
後者では、点（Ｘ１，Ｙ１）を中心とする領域２０４、
または領域２０５が表示領域であるのに対し、前者で
は、マウスカーソル２０３を中心とする領域２０７、ま
たは領域２０８が表示領域になっている。触知盤３０の
表示は、表示領域の広さを狭領域に設定した場合（領域
２０７が表示領域の場合）は図１１（ｂ）に示すイメー
ジとなり、広領域と設定した場合（領域２０８が表示領
域の場合）は図１１（ｃ）に示すイメージとなる。

【００４２】本実施の形態のポイントである表示領域の
中心座標を変更する際の処理は以下の通りである。操作
者が座標指示装置４０を操作して、マウスカーソルを図
１１（ａ）の位置から図１２（ａ）の位置まで移動させ
たとする。この時、ＯＳ１０１からマウスカーソル２０
３の座標値が変化したことを示すイベントが発行され
る。

【００４３】カーソル移動監視部１０７は、ＯＳ１０１
が発行する全てのイベントを監視しており、上述のマウ
スカーソル２０３の座標値が変化したことを示すイベン
トを検出すると（図１３，Ｓ１３１がＹＥＳ）、新しい
マウスカーソル２０３の座標値をＯＳ１０１から取得し
て表示領域計算部１０６ａに知らせる（Ｓ１３２，Ｓ１
３３）。

【００４４】表示領域計算部１０６ａは、カーソル移動
監視部１０７から通知された新しいマウスカーソルの座
標位置と表示面積設定部１１により指示されている表示
領域の面積を基に、新たな表示領域の左上及び右下の座
標値を計算し、情報取得部１０４に伝達する。ここで、
表示領域の広さを広領域に設定してあるとすると領域２
０９が表示領域になり、情報取得部１０４は、図４の流
れ図に示した処理を実行し、図８（ａ）のような配列型
のデータを生成する。生成された情報に対してピン状態
データ生成部１０５で差分処理を行うことによりピン状
態データを作成し、このピン状態データを触知盤制御部
２０を通すことで、触知盤３０は図１２（ｂ）に示す状
態となる。

【００４５】このような構成にすることで、画面を触覚
で探索しながら、見つけた対話部品に対して即座に操作
を加えることができるという効果もある。

【００４６】次に本発明の第３の実施の形態について説
明する。

【００４７】本実施の形態では、表示領域の中心が対話
部品上に位置した場合に、対話部品の種類に応じたパタ
ーンが触知盤に表示され、それ以外の場合には対話部品
の輪郭が表示される。図１４は第３の実施の形態の構成
例を示すブロック図であり、第２の実施の形態と同様
に、座標指示装置を表示領域の中心位置の設定に用いた
場合の装置構成例を示すブロック図である。図１４を参
照すると、本実施の形態は、ピンをアレイ状に並べた触
知盤３０と、触知盤３０のピンを駆動する触知盤制御部
２０と、プログラム制御により動作するデータ処理装置
１００ｂと、記録媒体１００Ｒｂと、座標指示装置４０
と、情報を記憶しておく記憶装置５０から構成される。

【００４８】記憶装置５０は、出力データ蓄積部５１と
対応規則記憶部５２を含む。出力データ蓄積部５１に
は、複数種類の対話部品それぞれについて、それが表示
領域の中心位置の存在した場合に出力されるデータが格
納され、対応規則記憶部５２は、対話部品と出力データ
蓄積部５１に記憶されているデータとの対応が格納され
ている。

【００４９】データ処理装置１００ｂは、表示領域内の
画面の情報を取得する情報取得部１０４と、触知盤制御
部２０に出力するデータを生成するピン状態データ生成
部１０５と、触知盤３０の表示を変更する必要があるイ
ベントを検出するイベント監視部１０８と、マウスカー
ソルの下、すなわち表示領域の中心に存在する対話部品
を調べ、対話部品の有無によって処理を振り分ける対話
部品調査部１０９と、出力データ検索部１１０とを含
む。出力データ検索部１１０は、対応規則記憶部５２を
参照して、表示領域の中心に存在する対話部品の種類に
応じた出力データを出力データ蓄積部５１から取り出す
機能を有する。

【００５０】データ処理装置１００ｂが備えている記録
媒体１００Ｒｂは、ディスク，半導体メモリ，その他の
記録媒体であり、データ処理装置１００ｂを触覚ディス
プレイ装置の制御部として機能させるためのプログラム
が記録されている。記録媒体１００Ｒｂに記録されてい
るプログラムは、データ処理装置１００ｂによって読み
取られ、データ処理装置１００ｂの動作を制御すること
で、データ処理装置１００ｂ上に、情報取得部１０４，
ピン状態データ生成部１０５，イベント監視部１０８，
対話部品調査部１０９，出力データ検索部１１０を実現
する。

【００５１】尚、本実施の形態では、表示領域の広さは
固定とするが、第１の実施の形態のように表示領域面積
設定部を設けて、変更可能とすることは本発明の範囲内
である。同様に、座標指示装置ではなく、表示領域位置
設定部を設け、それによって表示領域の中心座標を変更
することも本発明の範囲内である。

【００５２】図１５はイベント監視部１０８の処理例を
示す流れ図、図１６は対話部品調査部１０９の処理例を
示す流れ図、図１７は出力データ検索部１１０の処理例
を示す流れ図であり、以下、各図を参照して動作を説明
する。

【００５３】図１８（ａ）は、グラフィカル・ユーザ・
インタフェースにおけるダイアログウィンドウ２１０の
一例である。ここで、操作者がマウスカーソル２０３を
図１８（ａ）に示す位置に移動させたとする。イベント
監視部１０８は、ＯＳ１０１が発行する様々なイベント
を監視しており、カーソル移動イベントを検出すると、
新しいカーソル位置を対話部品調査部１０９に通知する
（図１５，Ｓ１５１がＹＥＳ，Ｓ１５２）。

【００５４】この通知を受けると、対話部品調査部１０
９は、ＯＳ１０１に対してマウスカーソル２０３の下
（表示領域の中心位置の下）に存在する対話部品の種類
を問い合わせることによりマウスカーソル２０３の下の
状態を調査する（図１６，Ｓ１６１）。ＯＳ１０１は、
この問い合わせに応答して、マウスカーソル２０３の下
に存在する対話部品の種類を対話部品調査部１０９に通
知する。尚、マウスカーソル２０３の下に対話部品が存
在しない場合は、その旨を対話部品調査部１０９に通知
する。

【００５５】図１８（ａ）のように、マウスカーソル２
０３の下に対話部品が存在せず、ＯＳ１０１から対話部
品が存在しないことが通知された場合は、情報取得部１
０４を呼び出す（Ｓ１６２がＮＯ，Ｓ１６３）。以後、
第１，第２の実施の形態の形態と同様の処理が行われ
る。即ち、情報取得部１０４で表示領域内の対話部品の
配置情報が取得され、ピン状態データ取得部１０５で対
話部品の輪郭のみを抽出する差分処理が行われ、触知盤
制御部２０が、ピン状態データ取得部１０５で生成され
たピン状態データを基に触知盤３０のピンを駆動する。
その結果として、触知盤３０は、図１８（ｂ）の状態と
なる。

【００５６】図１８（ａ）の状態から、操作者がマウス
カーソル２０３を移動させ、図１９（ａ）の状態になっ
た場合の動作を説明する。説明の前提として、出力デー
タ蓄積部５１には、図２１（ａ），（ｂ）に示した１０
行１０列の配列型の二値データが２つ蓄積されており、
対応規則記憶部５２には、文字入力部品と図２１（ａ）
のデータとが対応し、ボタン部品と図２１（ｂ）のデー
タとが対応しているという記述があるとする。

【００５７】先ず、マウスカーソル２０３の移動が、イ
ベント監視部１０８により検出され、同時に新しいマウ
スカーソル２０３の座標値が対話部品調査部１０９に通
知される（図１５，Ｓ１５１がＹＥＳ，Ｓ１５２）。

【００５８】これにより、対話部品調査部１０９は、マ
ウスカーソル２０３の下の状態を調べる（図１６，Ｓ１
６１）。図１９（ａ）では、マウスカーソル２０３が対
話部品２１１の上に位置しているため、情報取得部１０
４ではなく出力データ検索部１１０を呼び出し、マウス
カーソル２０３の下に文字入力部品２１１が存在するこ
とを通知する（Ｓ１６２がＹＥＳ，Ｓ１６４）。

【００５９】出力データ検索部１１０は、対応規則記憶
部５２の情報を参照して、文字入力部品に対応する図２
１（ａ）のデータを出力データ蓄積部５１から引き出し
て、触知盤制御部２０に渡す（図１７，Ｓ１７１，Ｓ１
７２）。

【００６０】触知盤制御部２０は、渡されたデータに従
って触知盤３０のピンを制御し、これにより、触知盤３
０は、図１９（ｂ）の状態になる。

【００６１】更に、マウスカーソル２０３を図２０
（ａ）の位置（ボタン部品２１２の上）に移動させた場
合には、出力データ検索部１１０が図２１（ｂ）のデー
タを引き出してくるため（図１７，Ｓ１７１，Ｓ１７
２）、触知盤３０は、図２０（ｂ）の状態となる。

【００６２】このような構成にすることで、仮に表示領
域を広くしてサイズの小さな対話部品が表示されなくな
ったとしても、表示領域の中心がその対話部品の上に位
置すれば触知盤の状態が大きく変わるため、サイズの小
さな対話部品の存在が即座に認識できるという効果もあ
る。

【００６３】次に本発明の第４の実施の形態について説
明する。

【００６４】本実施の形態は、サイズの小さな対話部品
を触知できる大きさに拡大した仮想的なグラフィカル・
ユーザ・インタフェースの画面（仮想画面）を内部で生
成し、触知盤には、実際のグラフィカル・ユーザ・イン
タフェースの画面（実画面）ではなく仮想画面を表示す
ることを特徴としている。但し、部品サイズの拡大は、
元の対話部品の位置関係を大きく変えない範囲で行う。
第４の実施の形態の構成例を示す図２２は、第２，３の
実施の形態と同様に、座標指示装置を表示領域の位置の
設定に用いた場合の装置構成例を示すブロック図であ
る。図２２によると、本実施の形態は、ピンをアレイ状
に並べた触知盤３０と、触知盤３０のピンを駆動する触
知盤制御部２０と、マウスなどの座標指示装置４０と、
プログラム制御により動作するデータ処理装置１００ｃ
と、記録媒体１００Ｒｃと、情報を記憶しておく記憶装
置５０ｃとから構成される。

【００６５】記憶装置５０ｃは、実画面の画面情報を記
憶しておく画面情報記憶部５３と、仮想画面を生成する
ための情報を記憶しておく仮想画面生成情報記憶部５４
と、生成された仮想画面の画面情報を記憶しておく仮想
画面情報記憶部５５とを含む。

【００６６】また、データ処理装置１００ｃは、グラフ
ィカル・ユーザ・インタフェースを備えたＯＳ１０１
と、ウィンドウの移動や生成などに伴う実画面の状態の
変化を監視する画面変化監視部１０３と、実画面におい
て状態が変化した部分の画面情報を取得し画面情報記憶
部５３内の画面情報を更新する画面情報取得部１１１
と、実画面において状態が変化した部分に対応する仮想
画面を作り、その画面情報を仮想画面情報記憶部５５に
格納する仮想画面生成部１１２と、マウスカーソルの移
動を監視するカーソル移動監視部１０７と、画面変化お
よびマウスカーソルの移動が起こる度に仮想画面情報記
憶部５５から表示領域の仮想画面情報を取得する仮想画
面情報取得部１１３と、触知盤制御部２０に出力するデ
ータを生成するピン状態データ生成部１０５とを含む。

【００６７】尚、画面情報は、実画面または仮想画面上
に存在する対話部品の位置や大きさ、キャプション（対
話部品に付けられたラベル）といった属性情報と、対話
部品間の包含関係を記述したものである。

【００６８】図２３は画面情報取得部１１１の処理例を
示す流れ図、図２４は仮想画面生成部１１２の処理例を
示す流れ図、図２５は仮想画面情報取得部１１３の処理
例を示す流れ図であり、以下、図面を参照して、本実施
の形態の特徴となっている仮想画面生成時の処理を説明
する。

【００６９】仮想画面が生成されるのは、実画面に何ら
かの変化が起こったときであるが、ここでは、画面変化
の例として、図２６（ａ）に示すウィンドウ２２０が新
たに生成されたとする。尚、図２６（ａ）〜（ｃ）にお
いて、２２１はウィンドウの枠、２２２はボタン部品、
２２３はタイトルバー、２２４はメニューバー、２２５
〜２２９はアイコン、２３０はクライアント領域、２３
１はクライアント領域の原点を示している。

【００７０】画面変化監視部１０２は、ＯＳ１０１が発
行するイベントを常に監視したおり、新たなウィンドウ
の生成を示すイベントを検出すると、その旨を画面情報
取得部１１１に知らせる。画面情報取得部１１１は、新
たに生成されたウィンドウを調べ、そのウィンドウ内に
存在する全ての対話部品について、位置や大きさ、キャ
プション（対話部品にかかれているラベル）などの属性
情報と対話部品間の包含関係を取得し（図２３，Ｓ２３
１）、画面情報記憶部５３に追加する（Ｓ２３２）。画
面情報取得部１１１は、仮想画面生成部１１２に制御を
渡すが、その際に、画面に起こった変化に関する情報
（本例では新たに生成されたウィンドウ２２１の識別
子）を教える。

【００７１】仮想画面生成部１１２は、画面情報記憶部
５３と仮想画面生成情報記憶部５４の情報を基に、新た
に生成されるウィンドウに対して仮想画面を生成し、そ
の画面情報を仮想画面情報記憶部５５に追加する（図２
４，Ｓ２４１，Ｓ２４２）。仮想画面の生成過程の詳細
は、以下の通りである。

【００７２】先ず、クライアント領域２３０内のアイコ
ン２２５〜２２９それぞれに対し、隣り合う対話部品と
の距離の半分の位置まで、上下左右方向にサイズを拡大
する。尚、どの対話部品と隣り合っているか、及び隣り
合った対話部品までの距離は、画面情報記憶部５３に実
画面上での対話部品の位置情報が格納されているので、
容易に調べることができる。アイコン２２５〜２２９の
全てに対して上記の処理を施すと、図２６（ｂ）のイメ
ージ図のように、全てのアイコンはほぼ隣接することに
なる。

【００７３】次に、ボタン２２２などクライアント領域
２３０の外に存在する対話部品の仮想画面に於けるサイ
ズおよび位置を求める。これらは、実画面と仮想画面に
おける対話部品のサイズまたは位置の差分を仮想画面生
成情報記憶部５４に用意しておき、画面情報記憶部５３
に格納されている実画面上での対話部品のサイズまたは
位置と加算することで求めることができる。図２７
（ａ）に示す記号を用いると、計算式は、 Ｏｂｊｅｃｔ．Ｘ＝Ｏｂｊｅｃｔ．Ｘ０＋Ｏｂｊｅｃ
ｔ．ｄＸ Ｏｂｊｅｃｔ．Ｙ＝Ｏｂｊｅｃｔ．Ｙ０＋Ｏｂｊｅｃ
ｔ．ｄＹ Ｏｂｊｅｃｔ．Ｗ＝Ｏｂｊｅｃｔ．Ｗ０＋Ｏｂｊｅｃ
ｔ．ｄＷ Ｏｂｊｅｃｔ．Ｈ＝Ｏｂｊｅｃｔ．Ｈ０＋Ｏｂｊｅｃ
ｔ．ｄＨ と表現できる。尚、各項のＯｂｊｅｃｔの部分は対話部
品の種類を指定する部分で、ウィンドウ２２０の場合
は、Ｗｉｎｄｏｗ、ウィンドウの枠２２１の場合はＦｒ
ａｍｅ、ボタン２２２の場合はＢｕｔｔｏｎ、タイトル
バー２２３の場合はＴＢ、メニューバー２２４の場合は
ＭＢと記述する。例えば、ボタン２２２の実画面上での
幅は、Ｂｕｔｔｏｎ．Ｗ０と表記することになる。ま
た、仮想画面生成情報記憶部５４には、図２７（ｂ）の
ような形式で情報が用意されている。

【００７４】最後に、クライアント領域２３０の外の対
話部品が拡大された分、クライアント領域２３０全体を
縮小する（全ての対話部品のサイズと、クライアント領
域の原点２３１からの相対距離を縮小することで可
能）。このときの縮小率は、実画面および仮想画面にお
けるクライアント領域の大きさの比である。実画面にお
けるクライアント領域の大きさは、画面情報記憶部５３
を参照することで容易に求められ、仮想画面に於けるク
ライアント領域の大きさも、既にクライアント領域の外
に存在する対話部品の位置とサイズが確定しているた
め、計算は可能である。最終的な仮想画面のイメージ
は、図２６（ｃ）に示すものとなる。

【００７５】一方、触知盤３０上への情報表示は、第２
の実施の形態とほぼ同様で、実画面に変化が起こった場
合は、上述の仮想画面の生成過程の終了後、また座標指
示装置４０が操作されて表示領域が変化した場合には、
カーソル移動監視部１０７を経由して仮想画面情報取得
部１１３が呼び出される。仮想画面情報取得部１１３で
は、ＯＳ１０１ではなく、仮想画面情報記憶部５５か
ら、表示領域内の仮想画面の画面情報を取得し、図８
（ａ）と同様の配列型データを生成する（図２５，Ｓ２
５１，Ｓ２５２）。このデータは、ピン状態データ生成
部１０５に渡される（Ｓ２５３）。

【００７６】このデータに対してピン状態データ生成部
１０５で差分処理を施すことにより、対話部品の境界で
のみピンを突起させるピン状態データが得られる。触知
盤制御部２０は、このデータに基づき触知盤３０上のピ
ンを上下させる。

【００７７】

【発明の効果】第１に、表示領域の大きさを操作者が変
更できるため、大まかな画面構成を触知する場合や、小
さな対話部品など細部の情報を触知する場合など、種々
の目的に対応できる。

【００７８】第２に、表示領域の中心が対話部品の上に
位置したときに、対話部品に応じたパターンが触知盤上
に表示されるため、触覚だけで対話部品の識別がある程
度可能となる。

【００７９】第３に、サイズの小さな対話部品を管理で
きるサイズに拡大した仮想画面を内部で生成し、触知盤
上に表示することで、全体を把握しやすいように表示領
域をある程度広くとっても、サイズの小さな部品を表現
できるようになる。

【００８０】第４に、表示領域の位置の指定をマウスな
どの座標指示装置で行うようにすることで、触知できた
対話部品に対し、即座に操作を加えることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の構成例を示すブロ
ック図である。

【図２】キー入力監視部１０２の処理例を示す流れ図で
ある。

【図３】画面変化監視部１０３の処理例を示す流れ図で
ある。

【図４】情報取得部１０４の処理例を示す流れ図であ
る。

【図５】ピン状態データ生成部１０５の処理例を示す流
れ図である。

【図６】表示領域計算部１０６の処理例を示す流れ図で
ある。

【図７】グラフィカル・ユーザ・インタフェースの画面
と触知盤３０のピンの状態とを示した図である。

【図８】情報取得部１０４で生成されるデータと、ピン
状態データ生成部１０５で生成されるピン状態データの
例を示す概念図である。

【図９】表示領域の位置を変更したときの動作を説明す
るための図である。

【図１０】本発明の第２の実施の形態の構成例を示すブ
ロック図である。

【図１１】グラフィカル・ユーザ・インタフェースの画
面と触知盤３０のピンの状態とを示す図である。

【図１２】表示領域を変更したときの動作を説明するた
めの図である。

【図１３】カーソル移動監視部１０７の処理例を示す流
れ図である。

【図１４】本発明の第３の実施の形態の構成例を示すブ
ロック図である。

【図１５】イベント監視部１０８の処理例を示す流れ図
である。

【図１６】対話部品調査部１０９の処理例を示す流れ図
である。

【図１７】出力データ検索部１１０の処理例を示す流れ
図である。

【図１８】マウスカーソル２０３が対話部品上に存在し
ないときの動作を説明するための図である。

【図１９】マウスカーソル２０３が対話部品２１１上に
存在するときの動作を説明するための図である。

【図２０】マウスカーソル２０３が対話部品２１２上に
存在するときの動作を説明するための図である。

【図２１】出力データ蓄積部５１に蓄積されたデータの
例を示す概念図である。

【図２２】本発明の第４の実施の形態の構成例を示すブ
ロック図である。

【図２３】画面情報取得部１１１の処理例を示す流れ図
である。

【図２４】仮想画面生成部１１２の処理例を示す流れ図
である。

【図２５】仮想画面情報取得部１１３の処理例を示す流
れ図である。

【図２６】実画面，仮想画面のイメージを示す図であ
る。

【図２７】仮想画面生成情報記憶部に記憶されているデ
ータの例を示す図である。

【図２８】従来技術の構成例を示すブロック図である。

【符号の説明】

１０，１０ａ…データ入力装置 １１…表示領域面積設定部 １２…表示領域位置設定部 ２０…触知盤制御部 ３０…触知盤 ３１…ピン ４０…座標指示装置 ５０，５０ｃ，５０ｄ…記憶装置 ５１…出力データ蓄積部 ５２…対応規則記憶部 ５３…画面情報記憶部 ５４…仮想画面生成情報記憶部 ５５…仮想画面情報記憶部 ５６…ビデオメモリ ６０…読書器 ６１…カメラ ６２…触知盤制御部 ６３…触知盤 ７０…提示情報選択部 １００，１００ａ，１００ｂ，１００ｃ，１００ｄ…デ
ータ処理装置 １００Ｒ，１００Ｒａ，１００Ｒｂ，１００Ｒｃ…記録
媒体 １０１…ＯＳ（オペレーティングシステム） １０２，１０２ａ…キー入力監視部 １０３…画面変化監視部 １０４…情報取得部 １０５…ピン状態データ生成部 １０６，１０６ａ…表示領域計算部 １０７…カーソル移動監視部 １０８…イベント監視部 １０９…対話部品調査部 １１０…出力データ検索部 １１１…画面情報取得部 １１２…仮想画面生成部 １１３…仮想画面情報取得部 １１４…画面情報読み出し部 １１５…出力情報生成部 ２００…ウィンドウ ２０１…アイコン ２０２…クライアント領域 ２０３…マウスカーソル ２０４〜２０９…表示領域 ２１０…ダイアログウィンドウ ２１１…文字入力部品 ２１２，２１３…ボタン部品 ２１４…表示領域 ２２０…ウィンドウ ２２１…ウィンドウの枠 ２２２…ボタン部品 ２２３…タイトルバー ２２４…メニューバー ２２５〜２２９…アイコン ２３０…クライアント領域 ２３１…クライアント領域の原点

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 グラフィカル・ユーザ・インタフェース
   の画面を複数のピンの凹凸や振動で表現する触知盤と、
   該触知盤のピンを駆動する触知盤制御部とを少なくとも
   含む触覚ディスプレイ装置において、 前記グラフィカル・ユーザ・インタフェースの画面中の
   矩形領域であって前記触知盤に表示する表示領域とする
   領域の中心位置を指示する表示領域位置設定部と、 前記表示領域の面積を指示する表示領域面積設定部と、 前記表示領域位置設定部と前記表示領域面積設定部から
   の指示を基に、前記表示領域の存在範囲を求める表示領
   域計算部と、 前記グラフィカル・ユーザ・インタフェースの画面に変
   化が起こったことを検出する画面変化監視部と、 前記表示領域計算部で前記表示領域の存在範囲が求めら
   れたとき、または前記画面変化監視部で前記グラフィカ
   ル・ユーザ・インタフェースの画面に変化が起こったこ
   とが検出されたとき、前記表示領域計算部で求められた
   前記表示領域の存在範囲と前記触知盤上に存在するピン
   のピン数とに基づいて、前記表示領域内に存在する対話
   部品を前記触知盤上に表示する際の対話部品の配置状態
   を求める情報取得部と、 該情報取得部で求めた対話部品の配置状態に基づいて前
   記触知盤上に存在する各ピンの状態を示すピン状態デー
   タを生成するピン状態データ生成部とを備え、且つ、 前記触知盤制御部は、前記ピン状態データ生成部で生成
   されたピン状態データに基づいて前記触知盤上のピンを
   駆動する構成を備えたことを特徴とする触覚ディスプレ
   イ装置。
2. 【請求項２】 グラフィカル・ユーザ・インタフェース
   の画面を複数のピンの凹凸や振動で表現する触知盤と、
   該触知盤のピンを駆動する触知盤制御部とを少なくとも
   含む触覚ディスプレイ装置において、 前記グラフィカル・ユーザ・インタフェースの画面中の
   矩形領域であって前記触知盤に表示する表示領域となる
   領域の面積を指示する表示領域面積設定部と、カーソル
   の移動操作を行う座標指示装置と、 前記カーソルが移動したことを検出し、移動先のカーソ
   ル位置を前記表示領域の中心位置として検出するカーソ
   ル移動監視部と、 該カーソル移動監視部で検出されたカーソル位置と前記
   表示領域面積設定部からの指示を基に、前記表示領域の
   存在範囲を求める表示領域計算部と、 前記グラフィカル・ユーザ・インタフェースの画面に変
   化が起こったことを検出する画面変化監視部と、 前記表示領域計算部で前記表示領域の存在範囲が求めら
   れたとき、または前記画面変化監視部で前記グラフィカ
   ル・ユーザ・インタフェースの画面に変化が起こったこ
   とが検出されたとき、前記表示領域計算部で求められた
   前記表示領域の存在範囲と前記触知盤上に存在するピン
   のピン数とに基づいて、前記表示領域内に存在する対話
   部品を前記触知盤上に表示する際の対話部品の配置状態
   を求める情報取得部と、 該情報取得部で求めた対話部品の配置状態に基づいて前
   記触知盤上に存在する各ピンの状態を示すピン状態デー
   タを生成するピン状態データ生成部とを備え、且つ、 前記触知盤制御部は、前記ピン状態データ生成部で生成
   されたピン状態データに基づいて前記触知盤上のピンを
   駆動する構成を備えたことを特徴とする触覚ディスプレ
   イ装置。
3. 【請求項３】 グラフィカル・ユーザ・インタフェース
   の画面を複数のピンの凹凸や振動で表現する触知盤と、
   該触知盤のピンを駆動する触知盤制御部とを少なくとも
   含む触覚ディスプレイ装置において、 前記グラフィカル・ユーザ・インタフェースの画面中の
   矩形領域であって前記触知盤に表示する表示領域となる
   領域の中心位置に存在する対話部品を調べる対話部品調
   査部と、 該対話部品調査部によって前記表示領域の中心位置に対
   話部品が存在しないと判断された場合に、前記表示領域
   の存在範囲と前記触知盤上に存在するピンのピン数とに
   基づいて、前記表示領域内に存在する対話部品を前記触
   知盤上に表示する際の対話部品の配置状態を求める情報
   取得部と、 該情報取得部で求めた対話部品の配置状態に基づいて前
   記触知盤上に存在する各ピンの状態を示すピン状態デー
   タを生成するピン状態データ生成部と、 複数種類の対話部品それぞれについて、その対話部品が
   表示領域の中心位置に存在するときの、前記触知盤上に
   存在する各ピンの状態を示すピン状態データが格納され
   た記憶装置と、 前記対話部品調査部によって前記表示領域の中心位置に
   対話部品が存在すると判断された場合に、前記記憶装置
   から前記中心位置に存在する対話部品の種類に応じたピ
   ン状態データを検索する出力データ検索部とを備え、且
   つ、 前記触知盤制御部は、前記ピン状態データ生成部で生成
   されたピン状態データまたは前記出力データ検索部で検
   索されたピン状態データに従って前記触知盤上の各ピン
   を駆動する構成を備えたことを特徴とする触覚ディスプ
   レイ装置。
4. 【請求項４】 グラフィカル・ユーザ・インタフェース
   の画面を複数のピンの凹凸や振動で表現する触知盤と、
   該触知盤のピンを駆動する触知盤制御部とを少なくとも
   含む触覚ディスプレイ装置において、 前記グラフィカル・ユーザ・インタフェースの画面に変
   化が起こったことを検出する画面変化監視部と、 該画面変化監視部によって前記グラフィカル・ユーザ・
   インタフェースの画面に変化が起こったことが検出され
   たとき、変化に関与した対話部品の前記グラフィカル・
   ユーザ・インタフェースの画面における配置状態を取得
   する画面情報取得部と、 該画面情報取得部で取得された対話部品の配置状態を基
   に、対話部品のサイズを拡大した仮想的な画面を生成す
   る仮想画面生成部と、 該仮想画面生成部で生成された前記仮想的な画面におけ
   る対話部品の配置状態を記憶しておく仮想画面情報記憶
   部と、 前記グラフィカル・ユーザ・インタフェースの画面に変
   化が起こったとき、または前記グラフィカル・ユーザ・
   インタフェースの画面のうち、前記触知盤に表示する表
   示領域が変化したときに、前記仮想画面情報記憶部の記
   憶内容と前記表示領域の存在範囲と前記触知盤上に存在
   するピンのピン数とに基づいて、前記表示領域内に存在
   し前記仮想画面生成部によってサイズが拡大された対話
   部品を前記触知盤上に表示する際の配置状態を取得する
   仮想画面情報取得部と、 該仮想画面情報取得部が取得した拡大された対話部品の
   配置状態に基づいて前記触知盤上に存在する各ピンの状
   態を示すピン状態データを生成するピン状態データ生成
   部とを備え、且つ、 前記触知盤制御部は、前記ピン状態データ生成部で生成
   されたピン状態データ従って前記触知盤上の各ピンを駆
   動する構成を備えたことを特徴とする触覚ディスプレイ
   装置。
5. 【請求項５】 グラフィカル・ユーザ・インタフェース
   の画面を複数のピンの凹凸や振動で表現する触知盤と、
   該触知盤のピンを駆動する触知盤制御部とを備えたコン
   ピュータを触覚ディスプレイ装置として機能させるため
   のプログラムを記録した機械読み取り可能な記録媒体で
   あって、 前記コンピュータを、 前記グラフィカル・ユーザ・インタフェースの画面中の
   矩形領域であって前記触知盤に表示する表示領域とする
   領域の中心位置を指示する表示領域位置設定部からの指
   示と、前記表示領域の面積を指示する表示領域面積設定
   部からの指示を基に、前記表示領域の存在範囲を求める
   表示領域計算部、 前記グラフィカル・ユーザ・インタフェースの画面に変
   化が起こったことを検出する画面変化監視部、 前記表示領域計算部で前記表示領域の存在範囲が求めら
   れたとき、または前記画面変化監視部で前記グラフィカ
   ル・ユーザ・インタフェースの画面に変化が起こったこ
   とが検出されたとき、前記表示領域計算部で求められた
   前記表示領域の存在範囲と前記触知盤上に存在するピン
   のピン数とに基づいて、前記表示領域内に存在する対話
   部品を前記触知盤上に表示する際の対話部品の配置状態
   を求める情報取得部、 該情報取得部で求めた対話部品の配置状態に基づいて前
   記触知盤上に存在する各ピンの状態を示すピン状態デー
   タを生成し、該生成したピン状態データを前記触知盤制
   御部に供給するピン状態データ生成部として機能させる
   ためのプログラムを記録した機械読み取り可能な記録媒
   体。
6. 【請求項６】 グラフィカル・ユーザ・インタフェース
   の画面を複数のピンの凹凸や振動で表現する触知盤と、
   該触知盤のピンを駆動する触知盤制御部とを備えたコン
   ピュータを触覚ディスプレイ装置として機能させるため
   のプログラムを記録した機械読み取り可能な記録媒体で
   あって、 前記コンピュータを、 カーソルの移動操作を行う座標指示装置によってカーソ
   ルが移動されたことを検出し、移動先のカーソル位置を
   前記グラフィカル・ユーザ・インタフェースの画面中の
   矩形領域であって前記触知盤に表示する表示領域とする
   領域の中心位置として検出するカーソル移動監視部、 該カーソル移動監視部で検出されたカーソル位置と表示
   領域の面積を指示する表示領域面積設定部からの指示と
   に基づいて前記表示領域の存在範囲を求める表示領域計
   算部、 前記グラフィカル・ユーザ・インタフェースの画面に変
   化が起こったことを検出する画面変化監視部、 前記表示領域計算部で前記表示領域の存在範囲が求めら
   れたとき、または前記画面変化監視部で前記グラフィカ
   ル・ユーザ・インタフェースの画面に変化が起こったこ
   とが検出されたとき、前記表示領域計算部で求められた
   前記表示領域の存在範囲と前記触知盤上に存在するピン
   のピン数とに基づいて、前記表示領域内に存在する対話
   部品を前記触知盤上に表示する際の対話部品の配置状態
   を求める情報取得部、 該情報取得部で求めた対話部品の配置状態に基づいて前
   記触知盤上に存在する各ピンの状態を示すピン状態デー
   タを生成し、該生成したピン状態データを前記触知盤制
   御部に供給するピン状態データ生成部として機能させる
   ためのプログラムを記録した機械読み取り可能な記録媒
   体。
7. 【請求項７】 グラフィカル・ユーザ・インタフェース
   の画面を複数のピンの凹凸や振動で表現する触知盤と、
   該触知盤のピンを駆動する触知盤制御部と、、複数種類
   の対話部品それぞれについて、その対話部品が表示領域
   の中心位置に存在するときの、前記触知盤上に存在する
   各ピンの状態を示すピン状態データが格納された記憶装
   置とを備えたコンピュータを触覚ディスプレイ装置とし
   て機能させるためのプログラムを記録した機械読み取り
   可能な記録媒体であって、 前記コンピュータを、 前記グラフィカル・ユーザ・インタフェースの画面中の
   矩形領域であって前記触知盤に表示する表示領域とする
   領域の中心位置に存在する対話部品を調べる対話部品調
   査部、 該対話部品調査部によって前記表示領域の中心位置に対
   話部品が存在しないと判断された場合に、前記表示領域
   の存在範囲と前記触知盤上に存在するピンのピン数とに
   基づいて、前記表示領域内に存在する対話部品を前記触
   知盤上に表示する際の対話部品の配置状態を求める情報
   取得部、 該情報取得部で求めた対話部品の配置状態に基づいて前
   記触知盤上に存在する各ピンの状態を示すピン状態デー
   タを生成し、該生成したピン状態データを前記触知盤制
   御部に出力するピン状態データ生成部、 前記対話部品調査部によって前記表示領域の中心位置に
   対話部品が存在すると判断された場合に、前記記憶装置
   から前記中心位置に存在する対話部品の種類に応じたピ
   ン状態データを検索し、検索したピン状態データを前記
   触知盤制御部に出力する出力データ検索部として機能さ
   せるためのプログラムを記録した機械読み取り可能な記
   録媒体。
8. 【請求項８】 グラフィカル・ユーザ・インタフェース
   の画面を複数のピンの凹凸や振動で表現する触知盤と、
   該触知盤のピンを駆動する触知盤制御部と、仮想画面情
   報記憶部とを備えたコンピュータを触覚ディスプレイ装
   置として機能させるためのプログラムを記録した機械読
   み取り可能な記録媒体であって、 前記コンピュータを、 前記グラフィカル・ユーザ・インタフェースの画面に変
   化が起こったことを検出する画面変化監視部、 該画面変化監視部によって前記グラフィカル・ユーザ・
   インタフェースの画面に変化が起こったことが検出され
   たとき、変化に関与した対話部品の前記グラフィカル・
   ユーザ・インタフェースの画面における配置状態を取得
   する画面情報取得部、 該画面情報取得部で取得された対話部品の配置状態を基
   に、対話部品のサイズを拡大した仮想的な画面を生成
   し、前記仮想画面情報記憶部に格納する仮想画面生成
   部、 前記グラフィカル・ユーザ・インタフェースの画面に変
   化が起こったとき、または前記グラフィカル・ユーザ・
   インタフェースの画面のうち、前記触知盤に表示する表
   示領域が変化したときに、前記仮想画面情報記憶部の記
   憶内容と前記表示領域の存在範囲と前記触知盤上に存在
   するピンのピン数とに基づいて、前記表示領域内に存在
   し前記仮想画面生成部によってサイズが拡大された対話
   部品を前記触知盤上に表示する際の配置状態を取得する
   仮想画面情報取得部、 該仮想画面情報取得部が取得した拡大された対話部品の
   配置状態に基づいて前記触知盤上に存在する各ピンの状
   態を示すピン状態データを生成し、該生成したピン状態
   データを前記触知盤制御部に出力するピン状態データ生
   成部として機能させるためのプログラムを記録した機械
   読み取り可能な記録媒体。