JP4594647B2 - 触覚呈示装置および触覚呈示制御装置 - Google Patents

Description

本発明は、触覚呈示装置および触覚呈示制御装置に係り、特に表形式のデータを触覚で呈示する触覚呈示装置および触覚呈示制御装置に関する。

近年、コンピュータにおいて、インターネットのＷｅｂや各種アプリケーションで表示されるＧＵＩ（グラフィカル・ユーザ・インタフェース）環境で表示される情報を視覚障害者に伝えるための研究開発が行われている。また、デジタル放送などのマルチメディアの分野でも、メニュー画面等でＧＵＩ環境が利用されている。

従来、パソコン等においてＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で記述される表や「Ｅｘｃｅｌ（登録商標）」のような表計算ソフトによる表の情報を視覚障害者に伝える場合、音声によるＧＵＩ画面読み上げソフト（例えば、非特許文献１）で音声・点字に変換して出力する画面読み上げが一般的である。

音声によるＧＵＩ画面読み上げソフトの一例としては、９５ＲＥＡＤＥＲ（登録商標）がある。なお、９５ＲＥＡＤＥＲ（登録商標）は、１９９９年に９８ＲＥＡＤＥＲ（登録商標）、２０００年に２０００Ｒｅａｄｅｒ（登録商標）へバージョンアップしている。

画面読み上げを用いて表形式のデータを伝える第１の方法としては、表の行および列のセルの情報を時間列で順次全文を読み上げる方法がある。第２の方法としては、行および列のタイトルおよび内容を予め決められた規則の読み順に従って読み上げるように、作成者がＨＴＭＬ等で読み上げ文を作成する方法がある。第３の方法としては、全盲のユーザが表のセル単位で任意のセルにアクセスして内容を知るために、例えば表計算ソフトで十字キーの操作により表の行および列を順次移動して任意のセルを選択し、セルの内容を音声・点字に変換して出力する方法がある。また、第４の方法としては、触覚に対して空間的に表のセル構成を呈示し、任意のセルにアクセスして内容を知る方法がある（例えば特許文献１）。

特許文献１には、整列型の表の触覚呈示を対象として格子状のスイッチを構成し、スイッチの凹凸により情報の有無や表形式の任意のセルを選択し、セルの内容を音声・点字に変換して出力する触覚呈示制御装置および触覚呈示制御方法が記載されている。
「視覚障害者用Ｗｉｎｄｏｗｓ（登録商標）画面読み上げソフトウェアの開発とその評価」、渡辺，岡田、ヒューマンインタフェース ６８−７ 特開２００２−３１２０９５号公報

例えば全盲の視覚障害者が音声や点字などの時系列な情報により、２次元で表される表形式のデータの内容を理解する為には、適切な規則で行，列および各セルの位置関係を常に知らせながらセルの内容を音声・点字に変換して出力する方法が必要である。

しかしながら、画面読み上げを用いて表形式のデータを伝える第１の方法は、単に行または列方向に順次読み上げるため、表形式のデータの内容を把握することが難しいという問題があった。第２の方法は、作成者が意図して例えばＨＴＭＬのＡＬＴタグ等で表の行および列の読み上げ順を作成しなければならないという問題があった。なお、第１及び第２の方法は、何れも表の行および列を任意に移動して任意のセルを選択する構成になっていないため、自分の意図する位置のセルの情報を得るために全文を聴かねばならず、時間を要するという問題があった。

第３の方法は、例えば表計算ソフトで十字キーの操作により表の行および列を順次移動して任意のセルを選択し、セルの内容を音声・点字に変換して出力する方法であるが、任意のセルに移動するまで十字キーを押下し続ける必要があった。また、行および列のタイトルを確認する為には、その都度、行および列のタイトルを表すセルに移動しなければならないという問題があった。

第１〜第３の方法は、何れも２次元で表される表形式のデータの内容を音声や点字などの時系列な情報で伝えるため、表全体の把握，迅速なセルへのアクセスまたは行および列のタイトルの確認の観点から表形式のデータを呈示するインターフェースとして不十分であるという問題があった。

第４の方法は、整列型の表の触覚呈示に対応可能であるが、電子番組表（ＥＰＧ）等のような単位区間（時間など）の中に複数のセル（番組など）が存在したり、セルが単位区間を超えて複数の単位区間を横断したりする不規則型の表の触覚呈示に対応できていないという問題があった。なお、単位区間とは行列の基準となる単位の範囲をいう。

本発明は、上記の点に鑑みなされたもので、不規則型の表形式のデータを触覚で呈示できる触覚呈示装置および触覚呈示制御装置を提供することを目的とする。

そこで、上記課題を解決する為、本発明は、不規則型の表形式のデータを触覚で識別可能に呈示する触覚呈示装置であって、２次元配列された１つ以上の触覚刺激素子から成る触覚呈示手段と、記憶手段に記憶されている前記不規則型の表形式のデータに含まれる１つ以上のセルのうち、前記触覚提示手段で提示可能なセル数の前記セルの情報を取り出して供給する供給手段と、前記供給手段により前記セルの情報を供給され、前記触覚提示手段の前記触覚刺激素子に対応した単位区間に存在する前記セルのｎ個の情報を前記触覚提示手段の前記触覚刺激素子にｎ対１に対応させて、前記触覚刺激素子に対応するセルを抽出するセル抽出手段と、前記触覚刺激素子に対応するセルの情報に応じて、最上位以外の行の前記触覚刺激素子であって上位の触覚刺激素子に同一セルが一つだけ存在する前記触覚刺激素子が、選択不能な第１の状態となり、前記第１の状態以外の前記触覚刺激素子が、選択可能な第２の状態となるように、前記触覚刺激素子の呈示状態を生成する呈示状態生成手段と、生成した触覚刺激素子の呈示状態に応じて前記触覚呈示手段を制御し、前記不規則型の表形式のデータを出力する出力制御手段と
を有することを特徴とする。

また、本発明は、２次元配列された１つ以上の触覚刺激素子を含む触覚呈示装置を制御する触覚呈示制御装置であって、記憶手段に記憶されている前記不規則型の表形式のデータに含まれる１つ以上のセルのうち、前記触覚提示手段で提示可能なセル数の前記セルの情報を取り出して供給する供給手段と、前記供給手段により前記セルの情報を供給され、前記触覚提示装置の前記触覚刺激素子に対応した単位区間に存在する前記セルのｎ個の情報を前記触覚提示装置の前記触覚刺激素子にｎ対１に対応させて、前記触覚刺激素子に対応するセルを抽出するセル抽出手段と、前記触覚刺激素子に対応するセルの情報に応じて、最上位以外の行の前記触覚刺激素子であって上位の触覚刺激素子に同一セルが一つだけ存在する前記触覚刺激素子が、選択不能な第１の状態となり、前記第１の状態以外の前記触覚刺激素子が、選択可能な第２の状態となるように、前記触覚刺激素子の呈示状態を生成する呈示状態生成手段と、生成した触覚刺激素子の呈示状態に応じて前記触覚呈示装置を制御し、前記不規則型の表形式のデータを前記触覚呈示装置に出力させる出力制御手段とを有することを特徴とする。

本発明では、不規則型の表形式のデータであっても、１つ以上のセルを触覚刺激素子に対応付け、触覚刺激素子に対応するセルに応じて触覚刺激素子の呈示状態を異ならせることにより、１つのセルの呈示範囲や単位区間に１つ以上存在するセルの有無を迅速かつ理解し易いように伝えることができる。

本発明によれば、不規則型の表形式のデータを触覚で呈示可能な触覚呈示装置および触覚呈示制御装置を提供できる。

次に、本発明を実施するための最良の形態を、以下の実施例に基づき図面を参照しつつ説明していく。
（本発明の概要）
本発明は、データ放送やＷｅｂ等の多様な情報リソースに対応し、表形式のデータを視覚障害者が理解し易いように呈示するものである。表形式のデータには、１つのセルが単位区間に対応する整列型の表形式のデータと、ＥＰＧ等のように単位区間の中に複数のセルが存在したり、セルが単位区間を超えて複数の単位区間を横断したりする不規則型の表形式のデータとがある。

本発明は、２次元配列された触覚刺激素子と、音声又は点字とを併用して、迅速かつ理解し易いように、不規則型の表形式のデータを視覚障害者に伝えるものである。本発明による触覚呈示装置は、２次元配列された１つ以上の触覚刺激素子から成る触覚呈示部を有しており、表形式のデータに含まれる各セルを、触覚で認知できる凹凸，振動，表面の粗さの違い等で呈示する。なお、触覚刺激素子はスイッチ等により構成される選択機能を有する。以下、選択機能を有する触覚刺激素子を触覚キーという。

本発明による触覚呈示装置は、選択された触覚キーに相当する単位区間内に複数のセルが存在し、セルが単位区間の最終セルでない場合に、凹凸，振動の有無又は表面の粗さの違い等の刺激で呈示し、セルが単位区間の最終セルである場合に、触覚キーが選択される前と選択された後とで触覚キーの刺激を異ならせて呈示する。

また、本発明による触覚呈示装置は１つのセルが行又は列方向に単位区間を超えて複数の単位区間を横断する場合、横断する単位区間の最上位の単位区間に対応する触覚キーの刺激とその他の単位区間に対応する触覚キーの刺激とを異ならせて呈示する。

さらに、本発明による触覚呈示装置は、触覚キーが選択されたことにより触覚キーの刺激を異ならせて呈示した後に他の触覚キーが新たに選択された場合、刺激を異ならせて呈示した触覚キーの刺激を元の状態に戻す。

以上より、本発明は不規則型の表形式のデータであっても、整列型の表形式のデータを呈示する触覚呈示部を用いて、１つのセルの呈示範囲や単位区間内に１つ以上存在するセルの有無を、迅速かつ理解し易いように視覚障害者に伝えることができる。
（本発明の原理構成）
図１は、本発明の触覚呈示装置の原理構成図である。図１の触覚呈示装置は、触覚呈示部１，表形式データ入力部２，触覚キー対応表形式セル抽出部３，触覚キー呈示状態生成部４，触覚呈示出力制御部５，触覚キー選択検出部６を有するように構成される。

触覚呈示部１は、２次元配列された触覚キーから成り、表形式のデータを触覚キーの刺激により触覚で識別可能に呈示する。触覚呈示部１は、表形式のデータに含まれる各セルを、触覚で認知できる凹凸，振動の有無または表面の粗さの違い等で呈示する。また、触覚キーはスイッチ等により構成される選択機能を有する。触覚キーは、スイッチ，圧電素子，形状記憶合金等の複数の微小アクチュエータ，空気圧アクチュエータ等により構成される。

表形式データ入力部２は、入力された表形式のデータを触覚キー対応表形式セル抽出部３に供給する。触覚キー対応表形式セル抽出部３は、表形式のデータに含まれる各セルを触覚キーと対応させ、それぞれの触覚キーに対応するセルの情報を抽出して触覚キー呈示状態生成部４に供給する。

触覚キー呈示状態生成部４は、呈示可能なセル数のデータが入力されたとき，何れかの触覚キーが選択されたとき等、触覚呈示部１による表形式のデータの呈示状態を変化させる必要が生じた場合、各触覚キーに対応するセルに応じて後述するように触覚キーの凹凸等の呈示状態を生成する。触覚キー呈示状態生成部４は、生成した触覚キーの呈示状態を触覚呈示出力制御部５に通知する。

触覚呈示出力制御部５は、触覚キーの呈示状態が通知されると、その呈示状態に応じて触覚呈示部１の触覚キーを駆動制御する。触覚キー選択検出部６は、ユーザにより選択された触覚キーを検出し、その触覚キーの情報を触覚キー呈示状態生成部４に供給する。

なお、図１の触覚呈示装置は、例えば触覚呈示部１をハードウェア、表形式データ入力部２，触覚キー対応表形式セル抽出部３，触覚キー呈示状態生成部４，触覚呈示出力制御部５，触覚キー選択検出部６をソフトウェアで構成することができる。

図２は、触覚呈示装置を実現するコンピュータの一実施例の構成図である。図２の触覚呈示装置は、触覚提示部１０，コンピュータ２０で構成されるている。コンピュータ２０は、それぞれバスＢで相互に接続されている入力装置２１，表示装置２２，ドライブ装置２３，補助記憶装置２４，メモリ装置２５，演算処理装置２６およびインターフェース装置２７で構成される。

入力装置２１はキーボードやマウスなどで構成される。表示装置２２はディスプレイ装置などで構成される。インターフェース装置２７は、モデム，ＬＡＮカード，ＲＳ−２３２Ｃ，ＵＳＢ等で構成されており、触覚呈示部１０等への接続に用いられる。

コンピュータ２０の処理に係る触覚呈示制御プログラムは、例えば記録媒体３０の配布やネットワークからのダウンロード等によって提供される。触覚呈示制御プログラムを記録した記録媒体３０は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体が用いられる。

触覚呈示制御プログラムは、記録媒体３０からドライブ装置２３を介して補助記憶装置２４にインストールされる。ネットワークからダウンロードされた触覚呈示制御プログラムは、インターフェース装置２７を介して補助記憶装置２４にインストールされる。補助記憶装置２４は、必要なファイル，データ等も格納する。メモリ装置２５は、補助記憶装置２４から触覚呈示制御プログラムを読み出して格納する。そして、演算処理装置２６はメモリ装置２５に格納された触覚呈示制御プログラムに従って処理を実行する。

実施例１では、表形式のデータの一例であるＥＰＧを視覚障害者に伝える触覚呈示装置について説明していく。図３は、ＥＰＧを視覚障害者に伝える触覚呈示装置の一例の構成図である。図３の触覚呈示装置は、触覚呈示部１，表形式データ入力部２，触覚キー対応表形式セル抽出部３，触覚キー呈示状態生成部４，触覚呈示出力制御部５，触覚キー選択検出部６，音声・点字呈示部７，ＥＰＧ受信部８を有するように構成される。

図３の触覚呈示装置は、図１の触覚呈示装置に音声・点字呈示部７およびＥＰＧ受信部８を追加した構成である。なお、図１の触覚呈示装置と同様な構成の説明は省略する。音声・点字呈示部７は、ユーザにより選択された触覚キーを触覚キー選択検出部６から通知されると、その触覚キーに対応するセルの情報を音声又は点字で出力する。ＥＰＧ受信部８は、データ放送等のＥＰＧデータを受信し、そのＥＰＧデータを表形式データ入力部２に入力する。

図４は、ＥＰＧデータの一例の構成図である。図４のＥＰＧデータは、番組を識別する番組番号，チャンネル（ＣＨ），放送時間，開始時間，終了時間，表示時間枠を含む。ＥＰＧデータは、後述する整列型または不規則型の表形式のデータで表すことができる。

図５は、整列型の表形式のデータと、表形式のセルと、触覚キーとの対応を表した一例の模式図である。図５の表形式のデータ５１は、ＴＭ１〜ＴＭｒが放送時間を表し、ＴＶ１〜ＴＶｚがチャンネルを表し、Ｐ１１〜ＰＺｒが番組番号を表す。表形式のデータ５１のうち点線で囲まれている番組番号Ｐ１１〜Ｐ３４は、触覚呈示部１で呈示可能なセル数の一例を表している。

例えば表形式データ入力部２は、入力された表形式のデータ５１から触覚呈示部１で呈示可能なセル数の情報として番組番号Ｐ１１〜Ｐ３４の情報を触覚キー対応表形式セル抽出部３に供給する。触覚キー対応表形式セル抽出部３は、番組番号Ｐ１１〜Ｐ３４の情報をセルＡ１１〜Ａ３４の情報として取り出す。

また、表形式データ入力部２は、入力された表形式のデータ５１から行列のタイトルを表す情報として放送時間ＴＭ１〜ＴＭ４の情報およびチャンネルＴＶ１〜ＴＶ３の情報を触覚キー対応表形式セル抽出部３に供給する。触覚キー対応表形式セル抽出部３は、放送時間ＴＭ１〜ＴＭ４及びチャンネルＴＶ１〜ＴＶ３の情報をセルＴ１〜Ｔ４及びＶ１〜Ｖ３の情報として取り出す。画面イメージ５２は、セルＡ１１〜Ａ３４，Ｔ１〜Ｔ４及びＶ１〜Ｖ３に応じたＥＰＧ画面例を表している。

触覚キー対応表形式セル抽出部３は、セルＡ１１〜Ａ３４の情報を触覚呈示部５３の触覚キーＳ１１〜Ｓ３４に１対１に対応させ、それぞれの触覚キーＳ１１〜Ｓ３４に対応するセルＡ１１〜Ａ３４の情報を触覚キー呈示状態生成部４に供給する。即ち、触覚呈示部５３の触覚キーＳ２２を選択すれば、その触覚キーＳ２２に対応するセルＡ２２の情報を特定できる。したがって、音声・点字呈示部７は、ユーザにより選択された触覚キーＳ２２を触覚キー選択検出部６から通知されると、その触覚キーＳ２２に対応するセルＡ２２の情報を音声又は点字で出力できる。

また、触覚キー対応表形式セル抽出部３は、セルＴ１〜Ｔ４及びＶ１〜Ｖ３の情報を触覚呈示部５３の触覚キーＮ１〜Ｎ４及びＭ１〜Ｍ３に１対１に対応させる。触覚キー対応表形式セル抽出部３は、それぞれの触覚キーＮ１〜Ｎ４及びＭ１〜Ｍ３に対応するセルＴ１〜Ｔ４及びＶ１〜Ｖ３の情報を触覚キー呈示状態生成部４に供給する。

即ち、触覚呈示部５３の触覚キーＮ１を選択すれば、その触覚キーＮ１に対応するセルＴ１の情報を特定できる。また、触覚呈示部５３の触覚キーＭ１を選択すれば、その触覚キーＭ１に対応するセルＶ１の情報を特定できる。したがって、音声・点字呈示部７は触覚キーＮ１〜Ｎ４及びＭ１〜Ｍ３に対応するセルＴ１〜Ｔ４及びＶ１〜Ｖ３の情報であるタイトルを音声又は点字で出力できる。

ユーザは、選択した触覚キーＮ１〜Ｎ４，Ｍ１〜Ｍ３及びＳ１１〜Ｓ３４の配列に基づき、番組と放送時間およびチャンネルとの対応を触覚で確認できる。例えばユーザは触覚キーＳ２２を選択して番組番号Ｐ２２の情報を確認したあと、その触覚キーＳ２２の行および列に対応する触覚キーＮ２及びＭ２を選択して、放送時間ＴＭ２及びチャンネルＴＶ２の情報を確認できる。

図６は、不規則型の表形式のデータにより呈示されたＥＰＧ画面例である。ＥＰＧ画面では、チャンネル「ＢＳ−Ｂ」の放送時間「１６時台」のように単位区間に複数の番組が含まれる場合や、チャンネル「ＢＳ−Ｃ」の放送時間「１７〜１８時台」のように１つの番組が単位区間を超えて複数の単位区間を横断する場合がある。

図７は、不規則型の表形式のセルと触覚キーとの対応を表した一例の模式図である。図７の画面イメージ７１は、図６のＥＰＧ画面を模式的に表したものである。画面イメージ７１は、入力された表形式のデータから放送時間，チャンネルおよび番組の情報をセルＴ１〜Ｔ４，ｃｈ１〜ｃｈ３およびＡ１１〜Ａ３３として取り出した例である。

セルＴ１〜Ｔ４，ｃｈ１〜ｃｈ３およびＡ１１〜Ａ３３の情報は、触覚呈示部７２の触覚キーＮ１〜Ｎ４，Ｖ１〜Ｖ３およびＳ１１〜Ｓ３４とテーブル７３のように対応付けられる。なお、画面イメージ７１は不規則型の表形式のデータにより呈示されたＥＰＧ画面であるため、１つの触覚キーに１つ以上のセルの情報が対応付けられている。例えば図７のテーブル７３では、セルＡ１１〜Ａ３３の情報を触覚呈示部７２の触覚キーＳ１１〜Ｓ３４にｎ対１に対応させている。

例えば触覚呈示部７２の触覚キーＳ２１を選択すれば、その触覚キーＳ２１に対応するセルＡ２１〜Ａ２４の情報を特定できる。また、触覚呈示部７２の触覚キーＳ３１を選択すれば、その触覚キーＳ３１に対応するセルＡ３１，Ａ３２の情報を特定できる。

以下、不規則型の表形式のデータにより図７のような画面イメージ７１を呈示する図３の触角呈示装置の処理について説明していく。図８は、触覚呈示装置の初期の呈示処理を表すフローチャートである。ここでは、触角呈示装置の触覚キーとして、凹凸を可変できるスイッチを用いる例を説明する。

ステップＳＳ１では、ＥＰＧ受信部８が不規則型の表形式のデータであるＥＰＧデータを受信し、そのＥＰＧデータを表形式データ入力部２に入力する。表形式のデータが入力されると、表形式データ入力部２は触覚呈示部１で呈示可能な領域の情報としてセルＡ１１〜Ａ３３に対応する番組の情報と、セルＴ１〜Ｔ４，ｃｈ１〜ｃｈ３に対応する放送時間及びチャンネルの情報とを、触覚キー対応表形式セル抽出部３に供給する。

ステップＳＳ２に進み、触覚キー対応表形式セル抽出部３は供給された番組の情報をセルＡ１１〜Ａ３３として取り出し、放送時間およびチャンネルの情報をセルＴ１〜Ｔ４およびｃｈ１〜ｃｈ３として取り出す。触覚キー対応表形式セル抽出部３は、セルＴ１〜Ｔ４，ｃｈ１〜ｃｈ３およびＡ１１〜Ａ３３と、触覚キーＮ１〜Ｎ４，Ｖ１〜Ｖ３およびＳ１１〜Ｓ３４とをテーブル７３のように対応させ、触覚キーＮ１〜Ｎ４，Ｖ１〜Ｖ３およびＳ１１〜Ｓ３４に対応するセルＴ１〜Ｔ４，ｃｈ１〜ｃｈ３およびＡ１１〜Ａ３３の情報を抽出する。

テーブル７３の場合、触覚キー対応表形式セル抽出部３は触覚キーＳ１１〜Ｓ３４に対応した単位区間に存在するセルＡ１１〜Ａ３３を、その触覚キーＳ１１〜Ｓ３４に対応付けている。例えば触覚キーＳ２１には、セルＡ２１〜Ａ２４が対応付けられている。触覚キーＳ３２には、セルＡ３２が対応付けられている。なお、触覚キーＮ１〜Ｎ４，Ｖ１〜Ｖ３にはセルＴ１〜Ｔ４，ｃｈ１〜ｃｈ３が１対１に対応付けられている。

次に、触覚キー対応表形式セル抽出部３は、抽出したセルＴ１〜Ｔ４，ｃｈ１〜ｃｈ３およびＡ１１〜Ａ３３の情報を触覚キー呈示状態生成部４に供給する。ステップＳＳ３に進み、触覚キー呈示状態生成部４は呈示状態を生成する触覚キーＳｘｙ（ｘ＝１〜３，ｙ＝１〜４）の選択を行う。

ステップＳＳ４に進み、触覚キー呈示状態生成部４は選択された触覚キーＳｘｙが最上位（ｙ＝１）であるか否かを判定する。選択された触覚キーＳｘｙが最上位であれば（ＳＳ４においてＹＥＳ）、触覚キー呈示状態生成部４はステップＳＳ７に進み、選択された触覚キーＳｘｙの呈示状態を凸とする。

選択された触覚キーＳｘｙが最上位でなければ（ＳＳ４においてＮＯ）、触覚キー呈示状態生成部４はステップＳＳ５に進む。触覚キー呈示状態生成部４は、上位の触覚キーＳｘｙ（ｙ＝ｙ−１）に同一のセルＡｉｊ（ｉ＝１〜３，ｊ＝１〜４）が１つだけ存在するか否かを判定する。

上位の触覚キーＳｘｙに同一のセルＡｉｊ以外が存在すれば（ＳＳ５においてＮＯ）、触覚キー呈示状態生成部４はステップＳＳ７に進み、選択された触覚キーＳｘｙの呈示状態を凸とする。上位の触覚キーＳｘｙに同一のセルＡｉｊが１つだけ存在していれば（ＳＳ５においてＹＥＳ）、触覚キー呈示状態生成部４はステップＳＳ６に進み、選択された触覚キーＳｘｙの呈示状態を凹とする。

ステップＳＳ６，７に続いてステップＳＳ８に進み、触覚キー呈示状態生成部４は選択していない他の触覚キーＳｘｙがあるか否かを判定する。選択していない他の触覚キーＳｘｙがあると判定すれば（ＳＳ８においてＹＥＳ）、触覚キー呈示状態生成部４はステップＳＳ３に戻り処理を続ける。一方、選択していない他の触覚キーＳｘｙがないと判定すれば（ＳＳ８においてＮＯ）、触覚キー呈示状態生成部４は生成した触覚キーＳ１１〜Ｓ３４の呈示状態を触覚呈示出力制御部５に通知する。触覚呈示出力制御部５は触覚キーの呈示状態が通知されると、その呈示状態に応じて触覚呈示部１の触覚キーＳ１１〜Ｓ３４の凹凸を駆動制御する。

即ち、触覚呈示装置の初期の呈示処理では、触覚キー対応表形式セル抽出部３で抽出された情報に基づき、触覚キーＳｘｙに対応した単位区間を超えて複数の単位区間を横断するセルＡｉｊが存在し、且つ、上位の触覚キーＳｘｙに同一のセルＡｉｊが１つだけ存在している触覚キーＳｘｙの呈示状態を凹としている。

例えばテーブル７３の場合、触覚キーＳ３２に対応した単位区間を超えて触覚キー３３に対応した単位区間を横断しているセルＡ３２が存在し、且つ、上位の触覚キーＳ３２に触覚キーＳ３３と同一のセルＡ３２が１つだけ存在しているため、触覚キーＳ３３の呈示状態は凹となる。また、触覚キーＳ３３以外の触覚キーは凸の呈示状態となる。

従って、初期の呈示処理後の触覚キーＳ１１〜Ｓ３４の凹凸は、図９の触覚呈示部８１のようになる。図９は、触覚呈示部の呈示処理動作を表した動作図である。図９の動作図では、凸の呈示状態を●、凹の呈示状態を○で表している。

図１０は、任意の触覚キーが押下された場合の触覚呈示装置の呈示処理を表すフローチャートである。なお、図１０のフローチャートでは触覚キーＮ１〜Ｎ４及びＶ１〜Ｖ３が押下されたときの呈示処理を省略している。触覚キーＮ１〜Ｎ４及びＶ１〜Ｖ３が押下されると、触覚呈示装置はユーザにより選択された触覚キーに対応するセルＴ１〜Ｔ４及びｃｈ１〜ｃｈ３の情報を音声・点字呈示部７から音声又は点字で出力する。

ステップＳＳ１０に進み、触覚キー選択検出部６は触覚キーＳｘｙが押下されたか否かを判定する。触覚キーＳｘｙが押下されなければ（ＳＳ１０においてＮＯ）、触覚キー選択検出部６はステップＳＳ１０の処理を繰り返す。触覚キーＳｘｙが押下されると（ＳＳ１０においてＹＥＳ）、触覚キー選択検出部６はステップＳＳ１１に進む。

ステップＳＳ１１では、触覚キー選択検出部６が、押下された触覚キーＳｘｙを検出して触覚キー呈示状態生成部４に通知する。ステップＳＳ１２に進み、触覚キー呈示状態生成部４は直前に押下されて凹の呈示状態となった触覚キーＳｘｙがあれば凸の呈示状態に変更し、その呈示状態を触覚呈示出力制御部５に通知する。触覚呈示出力制御部５は、直前に押下されて凹の呈示状態となっている触覚キーＳｘｙが凸となるように触覚キーＳｘｙを駆動制御する。

ステップＳＳ１３に進み、触覚キー呈示状態生成部４は押下された触覚キーＳｘｙに存在するセルＡｉｊの情報を抽出する。ステップＳＳ１４に進み、音声・点字呈示部７は押下された触覚キーＳｘｙに存在するセルＡｉｊの情報を音声又は点字で出力する。押下された触覚キーＳｘｙに複数のセルＡｉｊが存在している場合、音声・点字呈示部７は触覚キーＳｘｙが押下される毎に１つのセルＡｉｊを選択して、そのセルＡｉｊの情報を音声又は点字で出力する。

ステップＳＳ１６に進み、触覚キー呈示状態生成部４は押下された触覚キーＳｘｙに選択していない他のセルＡｉｊが存在するか否かを判定する。押下された触覚キーＳｘｙに選択していない他のセルＡｉｊが存在しなければ（ＳＳ１６においてＮＯ）、触覚キー呈示状態生成部４はステップＳＳ１８に進み、押下された触覚キーＳｘｙの呈示状態を凸から凹に変更し、その呈示状態を触覚呈示出力制御部５に通知する。触覚呈示出力制御部５は触覚キーＳｘｙが凹となるように触覚キーＳｘｙを駆動制御した後、ステップＳＳ１０に戻る。

一方、押下された触覚キーＳｘｙに選択していない他のセルＡｉｊが存在すれば（ＳＳ１６においてＹＥＳ）、触覚キー呈示状態生成部４はステップＳＳ１７に進み、押下された触覚キーＳｘｙの呈示状態を凸とし、その呈示状態を触覚呈示出力制御部５に通知する。触覚呈示出力制御部５は触覚キーＳｘｙが凸となるように触覚キーＳｘｙを駆動制御した後、ステップＳＳ１９に進む。

ステップＳＳ１９では、触覚キー呈示状態生成部４が、押下された触覚キーＳｘｙの下位の触覚キーＳｘｙに同一のセルＡｉｊが存在しているか否かを判定する。押下された触覚キーＳｘｙの下位の触覚キーＳｘｙに同一のセルＡｉｊが存在していなければ（ＳＳ１９においてＮＯ）、触覚キー呈示状態生成部４はステップＳＳ２２に進む。ステップＳ２２では、触覚キー呈示状態生成部４が、下位の触覚キーＳｘｙの呈示状態を凸とし、その呈示状態を触覚呈示出力制御部５に通知する。触覚呈示出力制御部５は触覚キーＳｘｙが凸となるように触覚キーＳｘｙを駆動制御した後、ステップＳＳ１０に戻る。

一方、押下された触覚キーＳｘｙの下位の触覚キーＳｘｙに同一のセルＡｉｊが存在していれば（ＳＳ１９においてＹＥＳ）、触覚キー呈示状態生成部４はステップＳＳ２０に進み、下位の触覚キーＳｘｙの呈示状態を凹とし、その呈示状態を触覚呈示出力制御部５に通知する。触覚呈示出力制御部５は、触覚キーＳｘｙが凹となるように触覚キーＳｘｙを駆動制御する。

ステップＳＳ２１に進み、触覚キー呈示状態生成部４は下位の触覚キーＳｘｙが最下位（ｙ＝４）であるか否かを判定する。下位の触覚キーＳｘｙが最下位でなければ（ＳＳ２１においてＮＯ）、触覚キー呈示状態生成部４はステップＳＳ１９に戻り、更に下位の触覚キーＳｘｙについて処理を繰り返す。下位の触覚キーＳｘｙが最下位であれば（ＳＳ２１においてＹＥＳ）、触覚キー呈示状態生成部４はステップＳＳ１０に戻る。

即ち、任意の触覚キーが押下された場合の触覚呈示装置の呈示処理では、触覚キー対応表形式セル抽出部３で抽出された情報に基づき、触覚キーＳｘｙや下位の触覚キーＳｘｙに存在するセルＡｉｊに応じて触覚キーＳｘｙや下位の触覚キーＳｘｙの呈示状態を決定している。

例えば触覚呈示部８１の触覚キーＳ２１が押下されると（１回目）、音声・点字呈示部７からセルＡ２１の情報が音声又は点字で出力される。このとき、触覚キーＳ２１には他のセル２２〜２４が存在するので、触覚キーＳ２１の呈示状態は触覚呈示部８２のように凸となる。

次に、触覚キーＳ２１が押下されると（２回目）、音声・点字呈示部７からセルＡ２２の情報が音声又は点字で出力される。このとき、触覚キーＳ２１には他のセル２３，２４が存在するので、触覚キーＳ２１の呈示状態は触覚呈示部８２のように凸となる。

次に、触覚キーＳ２１が押下されると（３回目）、音声・点字呈示部７からセルＡ２３の情報が音声又は点字で出力される。このとき、触覚キーＳ２１には他のセル２４が存在するので、触覚キーＳ２１の呈示状態は触覚呈示部８２のように凸となる。

次に、触覚キーＳ２１が押下されると（４回目）、音声・点字呈示部７からセルＡ２４の情報が音声又は点字で出力される。このとき、触覚キーＳ２１には他のセルが存在しないので、触覚キーＳ２１の呈示状態は触覚呈示部８３のように凹となる。

触覚キーＳ２１以外の他の触覚キー（例えば触覚キーＳ２３）が押下されると、直前に押下されて凹の呈示状態となった触覚キーＳ２１は、触覚呈示部８４のように凸の呈示状態に戻る。さらに、音声・点字呈示部７からセルＡ２６の情報が音声又は点字で出力される。このとき、触覚キーＳ２３には他のセルが存在しないので、触覚キーＳ２３の呈示状態は触覚呈示部８４のように凹となる。

触覚呈示部８５の触覚キーＳ３１が押下されると（１回目）、音声・点字呈示部７からセルＡ３１の情報が音声又は点字で出力される。このとき、触覚キーＳ３１には他のセルＡ３２が存在するので、触覚キーＳ３１の呈示状態が触覚呈示部８６のように凸となる。さらに、触覚キーＳ３２には触覚キーＳ３１と同一のセルＡ３２が存在するので、触覚キーＳ３２の呈示状態が触覚呈示部８６のように凹となる。

次に、触覚キーＳ３１が押下されると（２回目）、音声・点字呈示部７からセルＡ３２の情報が音声又は点字で出力される。このとき、触覚キーＳ３１には他のセルが存在しないので、触覚キーＳ３１の呈示状態は触覚呈示部８７のように凹となる。

触覚キーＳ３１以外の他の触覚キー（例えば触覚キーＳ１３）が押下されると、直前に押下されて凹の呈示状態となった触覚キーＳ３１，Ｓ３２は、触覚呈示部８８のように凸の呈示状態に戻る。さらに、音声・点字呈示部７からセルＡ１４の情報が音声又は点字で出力される。このとき、触覚キーＳ１３には他のセルが存在しないので、触覚キーＳ１３の呈示状態は触覚呈示部８８のように凹となる。

以上のように、本発明の触覚呈示装置では、不規則型の表形式のデータについて、各触覚キーに存在するセルの情報を抽出し、適切な規則により触覚キーの呈示状態を制御することができる。即ち、不規則型の表のタイトルを確認しながら任意の位置のセルの内容を視覚障害者等のユーザに迅速かつ理解し易いように伝えることができる。例えばユーザは触覚によりＥＰＧの時間およびチャンネルを確認しながら、任意の番組の内容を迅速に知ることができる。

上記では、凹凸を可変できるスイッチを触覚キーの一例として説明したが、振動の有無または表面の粗さの違い等で呈示状態の違いを認知できる構成であればよい。また、ＥＰＧを不規則型の表形式のデータの一例として説明したが、Ｗｅｂや各種アプリケーションで表示されるＧＵＩ環境に適用することもできる。

本発明による触覚呈示装置によれば、不規則型の表形式のデータであっても、整列型の表形式のデータを呈示する触覚呈示部を用いて、１つのセルの呈示範囲や単位区間内に１つ以上存在するセルの有無をユーザに伝えることができ、ユーザが効率的に表を把握することができるため、アクセシビリティの高いインターフェースの実現が可能である。

以上、本発明の好ましい実施例について詳説したが、本発明は、上記した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上記した実施例に種々の変形及び置換を加えることができる。

本発明の触覚呈示装置の原理構成図である。 触覚呈示装置を実現するコンピュータの一実施例の構成図である。 ＥＰＧを視覚障害者に伝える触覚呈示装置の一例の構成図である。 ＥＰＧデータの一例の構成図である。 整列型の表形式のデータと、表形式のセルと、触覚キーとの対応を表した一例の模式図である。 不規則型の表形式のデータにより呈示されたＥＰＧ画面例である。 不規則型の表形式のセルと触覚キーとの対応を表した一例の模式図である。 触覚呈示装置の初期の呈示処理を表すフローチャートである。 触覚呈示部の呈示処理動作を表した動作図である。 任意の触覚キーが押下された場合の触覚呈示装置の呈示処理を表すフローチャートである。

符号の説明

１，１０ 触覚呈示部
２ 表形式データ入力部
３ 触覚キー対応表形式セル抽出部
４ 触覚キー呈示状態生成部
５ 触覚呈示出力制御部
６ 触覚キー選択検出部
７ 音声・点字呈示部
８ ＥＰＧ受信部
２０ コンピュータ
２１ 入力装置
２２ 表示装置
２３ ドライブ装置
２４ 補助記憶装置
２５ メモリ装置
２６ 演算処理装置
２７ インターフェース装置
３０ 記録媒体

Claims (7)

1. 不規則型の表形式のデータを触覚で識別可能に呈示する触覚呈示装置であって、
   ２次元配列された１つ以上の触覚刺激素子から成る触覚呈示手段と、
   記憶手段に記憶されている前記不規則型の表形式のデータに含まれる１つ以上のセルのうち、前記触覚提示手段で提示可能なセル数の前記セルの情報を取り出して供給する供給手段と、
   前記供給手段により前記セルの情報を供給され、前記触覚提示手段の前記触覚刺激素子に対応した単位区間に存在する前記セルのｎ個の情報を前記触覚提示手段の前記触覚刺激素子にｎ対１に対応させて、前記触覚刺激素子に対応するセルを抽出するセル抽出手段と、
   前記触覚刺激素子に対応するセルの情報に応じて、最上位以外の行の前記触覚刺激素子であって上位の触覚刺激素子に同一セルが一つだけ存在する前記触覚刺激素子が、選択不能な第１の状態となり、前記第１の状態以外の前記触覚刺激素子が、選択可能な第２の状態となるように、前記触覚刺激素子の呈示状態を生成する呈示状態生成手段と、
   生成した触覚刺激素子の呈示状態に応じて前記触覚呈示手段を制御し、前記不規則型の表形式のデータを出力する出力制御手段と
   を有することを特徴とする触覚呈示装置。
2. ユーザにより選択された前記第２の状態の触覚刺激素子を検出する選択検出手段を更に有し、
   前記呈示状態生成手段は、前記選択検出手段により検出された前記触覚刺激素子の選択に応じて、該選択された前記触覚刺激素子に対応する前記セルを前記検出のたびに一つずつ順次選択し、そのセルが前記触覚刺激素子に対応する最後のセルであるときに、前記触覚刺激素子の呈示状態が第１の状態となるように生成することを特徴とする請求項１記載の触覚呈示装置。
3. 前記呈示状態生成手段は、前記選択検出手段により検出された前記触覚刺激素子と同一列下位の他の触覚刺激素子が存在し、前記他の触覚刺激素子に対応するセルが前記最後のセルと同一であるときに、前記選択検出手段により検出された触覚刺激素子の呈示状態が第１の状態となるように生成することを特徴とする請求項２記載の触覚呈示装置。
4. 前記選択検出手段により検出された前記触覚刺激素子に対応する前記選択されたセルの内容を音声又は触覚で出力する出力手段を更に有することを特徴とする請求項２又は３記載の触覚呈示装置。
5. 前記触覚刺激素子は、凹凸，振動，表面の粗さ，大小の何れか１つ以上により、前記呈示状態を異ならせることを特徴とする請求項１乃至４何れか一項記載の触覚呈示装置。
6. 放送又は通信を利用して受信した前記不規則型の表形式のデータを抽出するデータ抽出手段を更に有することを特徴とする請求項１乃至５何れか一項記載の触覚呈示装置。
7. ２次元配列された１つ以上の触覚刺激素子を含む触覚呈示装置を制御する触覚呈示制御装置であって、
   記憶手段に記憶されている前記不規則型の表形式のデータに含まれる１つ以上のセルのうち、前記触覚提示手段で提示可能なセル数の前記セルの情報を取り出して供給する供給手段と、
   前記供給手段により前記セルの情報を供給され、前記触覚提示装置の前記触覚刺激素子に対応した単位区間に存在する前記セルのｎ個の情報を前記触覚提示装置の前記触覚刺激素子にｎ対１に対応させて、前記触覚刺激素子に対応するセルを抽出するセル抽出手段と、
   前記触覚刺激素子に対応するセルの情報に応じて、最上位以外の行の前記触覚刺激素子であって上位の触覚刺激素子に同一セルが一つだけ存在する前記触覚刺激素子が、選択不能な第１の状態となり、前記第１の状態以外の前記触覚刺激素子が、選択可能な第２の状態となるように、前記触覚刺激素子の呈示状態を生成する呈示状態生成手段と、
   生成した触覚刺激素子の呈示状態に応じて前記触覚呈示装置を制御し、前記不規則型の表形式のデータを前記触覚呈示装置に出力させる出力制御手段と
   を有することを特徴とする触覚呈示制御装置。

Images