JP4972011B2

JP4972011B2 - 触覚提示装置及び触覚提示方法

Info

Publication number: JP4972011B2
Application number: JP2008044636A
Authority: JP
Inventors: 拓也半田; 忠裕坂井; 寿哉森田; 崇之伊藤
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2008-02-26
Filing date: 2008-02-26
Publication date: 2012-07-11
Anticipated expiration: 2028-02-26
Also published as: JP2009204711A

Description

本発明は、触覚提示装置及び触覚提示方法に係り、特に点字を触覚的に認知し易いように変換して提示するための触覚提示装置及び触覚提示方法に関する。

従来、画面情報の触覚ディスプレイ（触覚提示手段）への提示手法としては、表示画面を白と黒の２値に変換することにより該当箇所の触知ピン（触知部材）を上下に駆動させて情報を提示する方法がある（第１の従来例）（例えば、非特許文献１参照。）。なお、非特許文献１に示されている手法は、例えば２値化する際の閾値の制御や画像処理を施すことで画像や図形を触覚的に理解し易く提示しようとするものである。

また、触覚ディスプレイや点図プロッタに特化した作図ツールとして、画面上に自ら描画した点字やグラフ、図形等を直接点図として出力するものがある（第２の従来例）（例えば、非特許文献２参照。）。

また、触覚ディスプレイを用いた文書レイアウトの確認方法としては、触覚ディスプレイのドットを用いてレイアウトデータのみを提示し、テキストの内容を音声合成で確認する方法がある（第３の従来例）（例えば、特許文献１参照。）。

更に、文字テキスト情報の点字提示方式としては、例えば複数行の印字が可能な点字プリンタや、主に１行の表示に対応した様々なタイプの点字ディスプレイが製品化されている（第４の従来例）（例えば、非特許文献３，４参照。）。
ＫＧＳ社「ドットビュー（登録商標）」（http://www.kgs-jpn.co.jp/b_dv2.html）「エーデル」(http://www7a.biglobe.ne.jp/~EDEL-plus/) 特開平１０−２３２６００号公報金子他、「グラフィック出力に特化した点字プリンタの改良」、「第３１回感覚代行シンポジウム発表講演集」，平成１７年１２月．ＫＧＳ社「ブレイルメモ（登録商標）」（http://www.kgs-jpn.co.jp/piezo.html）

ところで、視覚障害者等にとって、音声や点字による１次元的な情報のみの取得では理解が困難な情報は、触覚等を併用し２次元的に把握できる手段が必要である。また一方で、データ放送やＷｅｂ等の情報取得環境では、アプリケーション及びマークアップ言語で記述されたＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）画面等が主流となっており、視覚障害者も晴眼者と同様に画面上のレイアウトを把握した上で操作する必要性が高まっている。したがって、このような背景の中では、触覚ディスプレイ装置においてもＧＵＩ画面の構成要素を用いた文字やグラフ、図形等を点図として出力することが必要となる。

しかしながら、上述した第１の従来例である２値化処理では、画像処理を用いることにより、ある程度の図形やグラフを表示することができるが、一般的なモニター等の画面の解像度と触覚ディスプレイの解像度とは異なるため、画素数変換を行う必要性があることから汎用的な点字表示に適応しないという問題があった。

また、上述した第２の従来例である作図ツールは、自由に図形や点字を配置することができるが、アプリケーションの画面表示やマークアップ言語で記述されたデータの表示に適応しないと共に、対応する点図プロッタや触覚ディスプレイが限定されるという問題があった。

また、上述した第３の従来例は、点字を用いて２次元的なレイアウトを生成する仕組み自体を有するものではない。

更に、上述した第４の従来例である点字プリンタは、点字を２次元的に配置して情報を提示できるが更新が容易ではなく、点字と墨字の文字列長の違いを解決するのが困難である。また、点字ディスプレイは、更新は容易であるが、２次元的な情報提示が困難であるという問題がある。

また、点字による触覚ディスプレイは、画像等を表示することもあるが、高精細な画像を触覚ディスプレイ上で表示するために、触知部材の配列間隔を細かくする必要がある。それに伴い、ピンを用いた点字自体も配列間隔が細かくなるため、触知ピンによる点字認知を行う場合にユーザの誤認が生じる。したがって、ピンの配列間隔が細かい触覚ディスプレイについては、その対応が必要となる。

本発明は、上述した問題点に鑑みなされたものであり、本発明は、上述した問題点に鑑みなされたものであり、点字を触覚的に認知し易いように変換して提示するための触覚提示装置及び触覚提示方法を提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、画面に表示される対象データを、複数に配列された触知部材を有する触覚提示手段により提示させるための触覚提示装置において、前記画面に表示される対象データから文字データを抽出する文字データ抽出手段と、前記文字データ抽出手段により得られる文字データを点字データに変換する点字変換手段と、前記触覚提示手段を構成する触知部材の数、配置間隔を含む表示領域情報を取得する取得手段と、前記取得手段により得られる表示領域情報に基づいて、１点あたりに使用する触知部材の数及び位置を制御する点字表示領域制御手段と、前記対象データからレイアウトデータを抽出するレイアウトデータ抽出手段と、前記点字変換手段により得られる点字データ及び前記レイアウトデータ抽出手段により得られるレイアウトデータに基づいて、前記点字変換手段により変換された点字データを前記触覚提示手段に表示させるために、前記点字データの点毎に複数の触知部材を割り当てて所定の大きさの点からなる点字レイアウトを生成する点字レイアウトデータ生成手段と、前記点字レイアウトデータ生成手段により生成された点字レイアウトに対応させて前記点字データを前記触覚提示手段により提示させるためのデバイス情報を出力するデバイス情報出力手段とを有し、前記点字表示領域制御手段は、前記触覚提示手段における触知部材同士の間隔及び前記点字データに含まれる１文字の点字同士の間隔と、予め設定される前記１文字の点字を構成する各点の間隔情報との比率に基づいて、前記各点毎に対応する触知部材の数を制御することを特徴とする。

請求項１記載の発明によれば、点字を触覚的に認知し易いように変換して提示することができる。また、高精細な触覚提示手段により触知部材の配列間隔が狭くなったとしても、点字として容易に認知できるようにすることができる。また、比率を用いて容易に点毎の触知部材の割り当てを行うことができる。

請求項２に記載された発明は、前記デバイス情報出力手段は、１つの点領域を構成する複数の触知部材の高さを端部から頂点まで段階的に高くなるように多段に調整して出力すること特徴とする。

請求項２記載の発明によれば、触感としては、ピン１つを触っている状態に近いものとなり、ユーザに点字をより容易に認知し易くすることができる。

請求項３に記載された発明は、画面に表示される対象データを、複数に配列された触知部材を有する触覚提示手段により提示させるための触覚提示方法において、前記画面に表示される対象データから文字データを抽出する文字データ抽出ステップと、前記文字データ抽出ステップにより得られる文字データを点字データに変換する点字変換ステップと、前記触覚提示手段を構成する触知部材の数、配置間隔を含む表示領域情報を取得する取得ステップと、前記取得ステップにより得られる表示領域情報に基づいて、１点あたりに使用する触知部材の数及び位置を制御する点字表示領域制御ステップと、前記対象データからレイアウトデータを抽出するレイアウトデータ抽出ステップと、前記点字変換ステップにより得られる点字データ及び前記レイアウトデータ抽出ステップにより得られるレイアウトデータに基づいて、前記点字変換ステップにより変換された点字データを前記触覚提示手段に表示させるために、前記点字データの点毎に複数の触知部材を割り当てて所定の大きさの点からなる点字レイアウトを生成する点字レイアウトデータ生成ステップと、前記点字レイアウトデータ生成ステップにより生成された点字レイアウトに対応させて前記点字データを前記触覚提示手段により提示させるためのデバイス情報を出力するデバイス情報出力ステップとを有し、前記点字表示領域制御ステップは、前記触覚提示手段における触知部材同士の間隔及び前記点字データに含まれる１文字の点字同士の間隔と、予め設定される前記１文字の点字を構成する各点の間隔情報との比率に基づいて、前記各点毎に対応する触知部材の数を制御することを特徴とする。

請求項３記載の発明によれば、点字を触覚的に認知し易いように変換して提示することができる。また、高精細な触覚提示手段により触知部材の配列間隔が狭くなったとしても、点字として容易に認知できるようにすることができる。また、比率を用いて容易に点毎の触知部材の割り当てを行うことができる。

本発明によれば、点字を触覚的に認知し易いように変換して提示することができる。

＜本発明の概要＞
本発明は、データ放送やＷｅｂ等から得られる多様な情報リソースに対応し、例えば全盲や弱視、盲ろう等の視覚障害者等が項目を触覚的に認知し易い点字に変換して、触覚ディスプレイ等の触覚提示手段により把握できるようにする。

具体的には、本発明は、視覚障害者等のユーザが触覚ディスプレイ上に表示される点字を認知し易いように複数のピンで、点字の１点を複数の触知ピン（触知部材）により表すようにする。これにより、点字をユーザに容易に認知させることができる。更に、点字を拡大表示するような場合にも本発明を適用して表示させることができる。

以下に、上述したような特徴を有する本発明における触覚提示装置及び触覚提示方法を好適に実施した形態について、図面等を用いて詳細に説明する。

＜触覚提示装置：第１の実施形態＞
図１は、第１の実施形態における触覚提示装置の概要構成の一例を示す図である。なお、図１に示す触覚提示装置１０は、例えばＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）等の汎用コンピュータ等により実現される。

図１に示す触覚提示装置１０は、文字データ抽出手段１１と、点字変換部１２と、レイアウトデータ抽出部１３と、点字レイアウトデータ生成部１４と、デバイス情報出力手段１５と、触覚ディスプレイ（触覚提示手段）１６と、デバイス情報取得手段１７と、点字表示領域制御手段１８とを有するよう構成されている。

文字データ抽出手段１１は、表示用データでありＨＴＭＬ（ＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇｕａｇｅ）やＸＭＬ（ＥｘｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）等で記述される例えばＧＵＩ画面の情報等の情報リソース２１を入力し、その情報リソース２１に含まれる情報から文字テキスト情報を抽出する。なお、文字データ抽出手段１１は、情報リソース２１内に含まれる画像内に文字がある場合には、例えば情報リソース２１に含まれる画像全体を、イメージスキャナ等により画像や文書等をデジタル静止画像情報化して読み取り、更にＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ）により光学文字認知処理を行うことにより、文字情報を取得することができる。また、文字データ抽出手段１１は、抽出された文字テキスト情報を点字変換手段１２に出力する。

点字変換手段１２は、文字データ抽出手段１１で抽出された漢字仮名混じりの文字テキスト情報（墨字等）のテキストデータを「ひらがな」に対応させ、更にそのひらがなデータを点字データに変換する。また、点字変換手段１２は、変換された点字データを点字レイアウトデータ生成手段１４に出力する。

レイアウトデータ抽出手段１３は、上述したＧＵＩ画面の情報等の情報リソース２１を入力し、その情報リソース２１に含まれるレイアウトデータを抽出する。なお、レイアウトデータは、タグや実際のデータ内に含まれる画面サイズや位置、大きさ等の情報からレイアウト位置を設定することができ、更に情報リソース上の画像全体を上述したスキャナ等により読み取り、読み取った静止画像情報からレイアウト位置を抽出することができる。

このように、レイアウトデータ抽出手段１３を用いることにより、画面上のどのあたりの位置に文字情報が記述されているか等の文字データの画面上の位置関係を取得することができる。また、レイアウトデータ抽出手段１３は、抽出したレイアウトデータを点字レイアウトデータ生成手段１４に出力する。

点字レイアウトデータ生成手段１４は、点字変換手段１２により得られる点字データ、レイアウトデータ抽出手段１３により得られるレイアウトデータ、更に後述する点字表示領域制御手段１８により得られる実際にユーザが使用している指の位置情報等に基づいて、それらのデータを統合して表示される項目（オブジェクト）の最終的な点字表示のレイアウトを生成する。

また、点字レイアウトデータ生成手段１４は、点字データの表示を拡大若しくは縮小して提示する。具体的には、点字レイアウトデータ生成手段１４は、点字を触覚ディスプレイ１６に表示させるために点字の点毎に複数の触知部材（触知ピン）を割り当てて所定の大きさの点からなる点字レイアウトを生成する。したがって、例えば触知ディスプレイ１６の触知ピンの配置間隔が、ユーザが触読するために最低限必要なピンの直径や間隔等から決まる点字の大きさよりも小さい場合には、点字の１点に複数のピンを割り当てて、１点の大きさをユーザの認知し易い大きさに調整することができる。

更に、点字レイアウトデータ生成手段１４は、項目の位置とサイズの座標系を触覚ディスプレイ１６の表示領域の座標系に合わせて変換し、この座標系に基づいて各項目の点字列の長さを調整し、触覚ディスプレイ１６上に各オブジェクトを配置する。

その際、点字レイアウトデータ生成手段１４は、予め四角や丸等の図形描画指定がある場合には、指定箇所に当該図形を描画し、予め指定がない場合には、オブジェクトの領域内に点字のキャラクタボックスを最大限配置する。これにより、文字情報を画面と同じレイアウトで触覚ディスプレイ上に点字で提示することができる。

また、点字レイアウトデータ生成手段１４は、分かち書き単位での改行や、点字の行間隔の設定、ページ管理等の機能を有する。更に、点字レイアウトデータ生成手段１４は、例えば予め設定されるユーザの指定により、画面上のレイアウトを優先した表示と、レイアウトを変更してテキスト情報を優先した表示とを切り替えることができる。これにより、画面上のレイアウトを優先した場合には、実際の画面上の項目等の配置等の情報も触覚ディスプレイ上に提示してユーザに把握させることができる。テキスト情報を優先させた場合には、省略されている点字データの続きや全ての文字データを表示させることができる。

また、点字レイアウトデータ生成手段１４は、生成された点字表示のレイアウトをデバイス情報出力手段１５に出力する。

デバイス情報出力手段１５は、点字レイアウトデータ生成手段１４により取得されたデータを触覚ディスプレイ１６に出力するために、触覚ディスプレイ１６上に配列される凹凸移動可能な触知ピンのどの位置のピンを突出させるか等のデバイスへの出力情報を生成する。また、デバイス情報出力手段１５は、生成された出力内容を、触覚ディスプレイ１６を用いて表示させる。

触覚ディスプレイ１６は、例えば、縦ｎ（本）、横ｍ（本）の上下に移動可能な複数の触知ピンを有している。触覚ディスプレイ１６は、デバイス情報出力手段１５により得られる提示情報に基づいて該当する触知ピンを突出させ、それらの触知ピンの凹凸によりデータを提示する。

デバイス情報取得手段１７は、触覚ディスプレイ１６の表示領域情報と、指位置情報、触覚ディスプレイ１６を用いたユーザからの指示情報等を取得する。具体的には、デバイス情報取得手段１７は、縦ｎ（本）、横ｍ（本）の触知ピンの数と、ピンの直径、ピン同士の間隔、１行あたりの点字数、1度に提示可能な行数として点字表示領域行列等の情報を取得する。

更に、デバイス情報取得手段１７は、指がどの位置（どのピン上）に置かれているかの情報を取得する。なお、指位置の検出手法については、一般的な手法を用いることができ、例えば１又は複数台のカメラ等を用いて、指の位置を検出し、指の上下動作による反射パターンの変化によりタッチ操作（ピンの触察面から指を一旦離して置き直す操作）を検出する。また、これ以外にも、触知ピンへの指での圧力をセンサ等により取得することで検出する手法等があるが、本発明においては、これらに限定されるものではない。また、指示位置の情報としては、例えば画面上の座標情報等を用いることができる。

また、デバイス情報取得手段１７は、触覚ディスプレイ１６に設けられた「決定」、「戻る」、「表示切替」等によりユーザからの指示情報等を取得する。デバイス情報取得手段１７は、取得した表示領域情報や指位置情報、指示情報等を点字表示領域制御手段１８に出力する。

点字表示領域制御手段１８は、デバイス情報取得手段１７により得られる触覚ディスプレイ１６で提示可能な点字表示領域を算出する。つまり、点字表示領域制御手段１８は、制御パラメータとして、例えば「字間隔（ドット）、行間隔（ドット）」等のピンの配列情報を取得し、そのピンの配列情報に基づいて、点字を構成する１点分に対して使用する実際のピンの内容を制御する。また、点字表示領域制御手段１８は、「字数（字／行）、行数（行／頁）」との変換制御、データ、点字の各表示制御等の各制御を行う。

なお、点字表示領域制御手段１８は、例えば触覚ディスプレイ１６における触知ピン同士の間隔及び点字同士の間隔と、予め設定される点字を構成する各点の間隔情報との比率に基づいて、各点毎に対応する触知ピンの数を制御することができる。このように比率を用いて容易に点毎の触知ピンの割り当てを行うことができる。なお、触覚ディスプレイ１６におけるピン配列情報の詳細については後述する。

また、点字表示領域制御手段１８は、触覚ディスプレイ１６に対して点字として表示できる位置や大きさ等の表示領域の情報を点字レイアウトデータ生成手段１４に出力する。

なお、本発明における触覚提示装置１０は、上述した構成に限定されず、例えば情報リソース２１の表示用データを入力し、ディスプレイ等により再生出力させるためのブラウザ（再生手段）や再生情報を出力する表示出力手段等を有していてもよい。また、上述したブラウザ及び表示出力手段における機能は、触覚ディスプレイ１６に表示される内容が、実際にディスプレイ等の画面に表示されているか否かを判断するための機能であるため、触覚提示装置１０内に設けられていなくてもよく、外部に設けられていてもよい。

＜触覚ディスプレイにおける点字パターンの提示例＞
次に、本実施形態における触覚ディスプレイ１６について説明する。本実施形態における触覚ディスプレイ１６は、既存の触覚ディスプレイ装置等を用いることができ、例えば比較的安価な光学式のタッチパネルにより、触覚ディスプレイにおけるユーザ等の指での直接操作を実現することができる。具体的には、例えばタッチパネル搭載型触覚ディスプレイとしては、９６×６４ｄｏｔ（ピン間隔２．４ｍｍ）の表示領域を持つ触覚ディスプレイ（例えば、ケージーエス（ＫＧＳ）社製）と、光学式のタッチパネル（Ｘｉｒｏｋｕ社製）とを搭載した構成を用いることができる。このタッチパネルは、上部両側のセンサによる三角測量方式のため、触覚ディスプレイの触察面を支障せず、マーカ等も不要である。

ここで、例えばＧＵＩ画面等の表示用データを触覚ディスプレイ等により提示する場合、最初にメニュー選択項目等をそれぞれ触知し易いような項目（オブジェクト）に変換して配置する。次に、この触覚ディスプレイ表示用の画面を２値化し、触知ピンの上下により提示する。提示されたＧＵＩの操作は、触覚ディスプレイからのキー操作と、タッチパネルによるマウス操作（ポインティングとクリック（タッチ操作）が可能である。また、オブジェクトが選択された際には、該当するテキスト情報を音声合成してフィードバックする。

なお、触覚ディスプレイに表示するだけでなく、他の触覚提示装置を用いて提示してもよく、更にＰＣ等の汎用のコンピュータのディスプレイに表示させてもよい。

ここで、ＰＣ等の汎用コンピュータに対応させる場合には、画面の解像度（１０２４×７６８）と触覚ディスプレイの解像度（９６×６４）とが異なるため、ＰＣ画面全体が触覚ディスプレイに表示されるように画素数変換を行う。

更に、触覚ディスプレイ上でのユーザの指位置とＰＣ画面上でのマウスカーソルの示す位置が一致するように、タッチパネルのキャリブレーション機能で最適値を調整する。

これにより、触覚ディスプレイ上で指を動かすと、ＰＣ画面上のマウスカーソルが追従することができる。オブジェクトを指でタッチ操作した瞬間に、ＰＣ画面のオブジェクト上にもマウスカーソルが正確に位置付けられていれば正しく選択することができる。

＜触知ピンの配列情報について＞
次に、点字を構成する触知ピンの配列情報について図を用いて説明する。図２は、触知ピンの配列情報の一例を説明するための図である。

触覚ディスプレイ１６は、図２（ａ）に示すように、縦ｎ（本）、横ｍ（本）に所定の間隔で触知ピンが配列されている。このとき、所定の間隔は、標準サイズとして、各ピンの幅径φは、例えば１．６ｍｍ（Ｌサイズ（拡大サイズ）点字規格の場合は、例えば１．８ｍｍ）程度であり、縦方向の配列における各ピン間隔ｄ_１は、例えば２．２５ｍｍ（Ｌサイズ点字規格の場合は、例えば２．７ｍｍ）程度に設定されている。また、ピンの横方向の間隔ｄ_２は、例えば２ｍｍ（Ｌサイズの場合は、例えば２．４ｍｍ）程度に配列されている。

また、各ピンの先端部分は、例えば図２（ｂ）に示すように、球形状に形成されており、頂点部の高さｈは、例えば０．５ｍｍ程度に設定されている。

また、図２（ａ），（ｂ）に示すような触覚ディスプレイ１６において、点字は、縦×横の複数のピン配列により１文字が構成される。具体的には、点字は、図２（ｃ）における文字表記領域３１で囲まれているように、縦３×横２のピン配列により、ひらがな等の１文字が構成される。なお、文字表記領域３１は、実際に触覚ディスプレイ１６上に提示されない。

図２（ｃ）において、文字表記領域３１間における１行中の各ピン間の横方向の間隔ｄ_３は、例えば、３．２ｍｍ（Ｌサイズ点字規格の場合は、例えば３．８４ｍｍ）程度に設定される。更に、行間を表す縦方向のピン間隔ｄ_４は、例えば６．７５ｍｍ（Ｌサイズ点字規格の場合は、例えば８．１ｍｍ）程度に設定される。

なお、本実施形態において、文字表記領域３１間については、ある程度の幅を空ける必要があるため、具体的には図２（ｃ）に示すように、１行又は１列分空けて配列されてもよく、また所定の間隔が予め空いているピン配列を有する触覚ディスプレイを用いてもよい。

＜本実施形態におけるピン情報と点字との関係について＞
次に、本実施形態におけるピン情報と点字との関係について説明する。図３は、本実施形態におけるピン情報と点字との関係を説明するための一例の図である。

本実施形態では、例えば図２（ａ）に示した縦ｎ（本）、横ｍ（本）、触知ピンの直径φ（ｍｍ）、触知ピンの間隔ｄ_２（ｍｍ）の表示領域データを持つ触覚ディスプレイ上に点字を表示する場合、デバイス情報取得手段１７により得られる表示領域データから、点字表示領域制御手段１８が、１行あたりの点字数及び１度に提示可能な行数として点字表示領域行列を算出する。

例えば、上述した図２（ｃ）において、φの値が１．６ｍｍで、間隔ｄ_２の値が２．３ｍｍである場合には、１本の触知ピンが点字の１ドットに対応することでほぼ標準サイズの点字規格となり、これが触読可能な大きさであるとする。

このとき、点字表示領域制御手段１８は、例えば、図２（ｃ）に示すように１行あたりの点字数は、ｍ／３（文字）程度で一度にｎ／８（行）程度の提示が可能であると算出する。

次に、ピンの間隔が基準よりも狭い場合、つまりピン間隔が狭く高精細な触覚ディスプレイの場合には、点字レイアウトデータ生成手段１４は、点字表示領域制御手段１８からの各種制御情報に基づいて表示領域に合わせた点字表示を可能にする。具体的には、図２（ｃ）に示すように、φ_ａとφ’との比率、及びｄ_ａとｄ_２’との比率の関係を算出し、それに対応して、文字表記領域４１の大きさ、文字表記領域３１間の間隔等制御を行う。

更に、点字表示領域制御手段１８は、１つの点領域４２に対応する触知ピンの数、位置等を取得する。つまり、点字表示領域制御手段１８は、ある点領域４２について、どの触知ピンをどの程度用いるのか等の対応情報を生成し、点字レイアウトデータ生成手段１４に出力する。

＜対象点領域に対応するピンの突出方法について＞
図４は、点領域に対応する触知ピンの突出方法の一例を説明するための図である。まず、点領域４２に対応する触知ピン４３を突出させる場合、例えば、図４（ａ）に示すように、触覚ディスプレイ１６の指接触部分の断面図において、例えば点領域４２に対応する触知ピン４３−１〜４３−４において、それぞれが一定の高さｈになるまで突出する。また、図４（ｂ）に示すように、点領域４２の中心部付近の触知ピン（図４（ｂ）における４３−２，４３−３）については、高さｈの地点まで突出され、それより外側（点領域４２の端側）に向かう程、突出する高さｈ’は調整されて突出される（ｈ＞ｈ’）。なお、この制御は、上述した点字表示領域制御手段１８にてユーザからの指示情報により制御が行われる。

また、ある１つの点領域に対応する触知ピンの数が多いほど、突出する高さｈを端部から頂点まで段階的に高くなるように多段に調整して、２以上の段差を設けて突出するようにしてもよい。これにより、触感としては、ピン１つを触っている状態に近いものとなり、ユーザに点字をより容易に認知し易くすることができる。

したがって、本実施形態による触覚ディスプレイの点字表示法によれば、触覚ディスプレイ上の任意の箇所に表示領域に合せて文書やＧＵＩ画面の情報を点字で提示することができ、視覚障害者等のユーザが文書内の位置関係やＧＵＩ画面の項目内容について触覚ディスプレイ上で一覧性を持って２次元的に把握し取得することができる。

＜触覚提示装置：第２の実施形態＞
次に、触覚提示装置の第２の実施形態について図を用いて説明する。図５は、第２の実施形態における触覚提示装置の概要構成の一例を示す図である。なお、図５に示す触覚提示装置５０は、例えばＰＣ等の汎用コンピュータ等により実現される。

また、第２の実施形態における触覚提示装置５０において、上述した第１の実施形態における触覚提示装置１０が備える各構成と略同様の構成及び機能を有するものについては同様の符号番号を付するものとし、ここでの説明は省略する。

図５に示す触覚提示装置５０は、文字データ抽出手段１１と、点字変換部１２と、レイアウトデータ抽出部１３と、点字レイアウトデータ生成部１４と、デバイス情報出力手段１５と、触覚ディスプレイ（触覚提示手段）１６と、デバイス情報取得手段１７と、点字表示領域制御手段１８と、点字表示領域設定手段５１とを有するよう構成されている。つまり、第２の実施形態では、第１の実施形態と比較して、点字表示領域設定手段５１が設けられている。

図５に示す点字表示領域設定手段５１は、高精細な触知ピンの配列において、対応させるピンの数をユーザに設定させる。つまり、ある１つの点領域に対して触知ピンを幾つ割り当てるのか、及び点領域間の幅（配列情報）の設定を行う。更に、点字表示領域設定手段５１は、ある１つのピン領域に対応するピンの突出の内容を図４に示すようにどのように出力するのかを設定する。これにより、複数のピンにより１つの点領域を表記する場合においても同時に対応することができる。

また、点字表示領域設定手段５１は、入力される情報リソース２１の画面上のレイアウト又は情報リソース２１のテキスト情報の何れかを優先させて提示するように設定することができる。具体的には、点字表示領域設定手段５１は、表示用データの画面上のレイアウトを優先した場合には、実際の画面上の項目等の配置等の情報を触覚ディスプレイ上に提示してユーザに把握させることができ、また、テキスト情報を優先させた場合には、省略されている点字データの続きや全ての文字データを表示させることができる。なお、上述した設定事項は、予め設定画面等を用意しておき、ユーザにインターフェース上で設定させることもでき、また、設定パラメータとして単に文字入力させてもよい。

上述したように第２の実施形態によれば、点字を拡大又は縮小表示したいような場合にも１点を幾つのピンを割り当てて表示するか等の設定をユーザの指示により調整することができる。これにより、例えば、点字を拡大表示する場合に、触覚ディスプレイのピンの配列状態に応じて所定の大きさになるように変換して点字表示することが可能となる。したがって、ユーザの指示により点字を触覚的に認知し易いように提示することができる。

＜触覚提示装置１０，５０：ハードウェア構成例＞
ここで、上述した触覚提示装置１０，５０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインターフェース等を備えたコンピュータによって構成することができる。

したがって、触覚提示装置１０，５０が備える各構成機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えばＰＣ等の汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、触覚提示処理を実現することができる。

ここで、本発明におけるプログラムが実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図６は、本発明における触覚提示処理が実現可能なハードウェア構成の一例を示す図である。

図６におけるコンピュータ本体には、入力装置６１と、出力装置６２と、ドライブ装置６３と、補助記憶装置６４と、メモリ装置６５と、各種制御を行うＣＰＵ６６と、ネットワーク接続装置６７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置６１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスやマイク等の音声入力デバイス等を有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。

出力装置６２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイや音声を出力するスピーカ等を有し、ＣＰＵ６６が有する制御プログラムによりプログラムの実行経過や結果等を表示又は音声出力することができる。また、本実施形態では、触覚提示手段を備える。このとき、上述した専用ユニット等を外付けする等により構成することができる。

なお、入力装置６１と出力装置６２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合にはユーザの指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。

ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば光ディスク等の記録媒体６８等により提供される。プログラムを記録した記録媒体６８は、ドライブ装置６３にセット可能であり、記録媒体６８に含まれる実行プログラムが、記録媒体６８からドライブ装置６３を介して補助記憶装置６４にインストールされる。

補助記憶装置６４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。

メモリ装置６５は、ＣＰＵ６６により補助記憶装置３４から読み出された実行プログラム等を格納する。なお、メモリ装置３５は、ＲＡＭやＲＯＭ等からなる。

ＣＰＵ６６は、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）等の制御プログラム、メモリ装置６５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。また、ＣＰＵ６６は、プログラムの実行中に必要な各種情報を補助記憶装置６４から取得することができ、またＣＰＵ６６は、処理結果等を格納することもできる。

ネットワーク接続装置６７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行したりすることで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。更に、ネットワーク接続装置６７は、触覚提示内容やテキストデータ、音声データ等を通信ネットワークによりデータの送受信可能な状態で接続された触覚ディスプレイ等に出力したり、触覚ディスプレイ等によるユーザのキー操作による入力情報を取得したりすることができる。

上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで効率的に触覚提示処理を実現することができる。また、プログラムをインストールすることにより、容易に本実施形態における触覚提示処理を取得することができる。

＜触覚提示処理手順＞
ここで、触覚提示処理手順の一例についてフローチャートを用いて説明する。図７は、本実施形態における触覚提示処理手順の一例を示すフローチャートである。なお、以下に示す触覚提示処理手順は、一例として上述した第２の実施形態に基づいた処理手順を示している。

図７に示すフローチャートは、まず、情報リソースを入力し（Ｓ０１）、入力した情報リソースに対してテキスト情報のひらがな変換及び点字変換を行う（Ｓ０２）。

次に、触覚ディスプレイから例えば縦ｎ（本）、横ｍ（本）の触知ピンの数、ピンの直径、ピン同士の間隔、１行あたりの点字数、1度に提示可能な行数として点字表示領域行列等のデバイス情報を取得する（Ｓ０３）。

また、ユーザにより点字１字における接触ピンの数の設定等の設定情報があるか否かを判断し（Ｓ０４）、ユーザ設定がある場合（Ｓ０４において、ＹＥＳ）、ユーザ設定に基づく点字表示領域制御を行う（Ｓ０５）。なお、Ｓ０５の処理では、Ｓ０３により得られるデバイス情報の内容も用いた制御が行われる。

また、ユーザ設定がない場合（Ｓ０４において、ＮＯ）、Ｓ０３により取得したデバイス情報のみを用いて点字表示領域制御を行う（Ｓ０６）。

次に、Ｓ０５又はＳ０６の処理が終了後、点字レイアウトの生成を行い（Ｓ０７）、触覚ディスプレイ等のデバイスに出力する（Ｓ０８）。ここで、デバイスとしての触覚ディスプレイ等に提示された内容を指等により認知したユーザによる設定を変更するためのユーザ設定があったか否かを判断する（Ｓ０９）。

Ｓ０９の処理において、ユーザ設定があった場合（Ｓ０９において、ＹＥＳ）、Ｓ０５に戻り後続の処理を行う。また、ユーザの設定がない場合（Ｓ０９において、ＮＯ）、次に他の情報リソースの入力があるか否かを判断する（Ｓ１０）。ここで、他の情報リソースがある場合（Ｓ１０において、ＹＥＳ）、上述したＳ０１の処理に戻り、他の情報リソースを入力して、後続の処理を行う。また。Ｓ１０の処理において、他の情報リソースの入力がない場合（Ｓ１０において、ＮＯ）、処理を終了する。

上述の触覚提示処理により、点字を触覚的に認知し易いように変換して提示することができる。また、上述した各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えばＰＣ等の汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、触覚提示処理を実現することができる。

なお、本実施形態では、ブラウザからの文字データを取得し、それを振動パターンとして、コマンド等にしたがって触覚ディスプレイの振動子に振動提示を行うことができる。また、触覚ディスプレイからのキー操作コマンドを取得し、本インターフェースの制御以外のコマンドをブラウザからの要求に応じて引き渡すことができる。

また、現在の触覚ディスプレイの表示領域は、テレビやパソコンの画面の表示領域よりも小さい。また一般に、点字による表記は、漢字仮名混じりの墨字による表記よりも字数が多くなる。そこで、例えば上述した第２の実施形態に示すように、ＸＭＬとＣＳＳを利用することで、レイアウトデータを反映したまま各項目を可能な限りの文字数の点字で提示することができる。また、同様にして、テキスト情報を優先した表示に切り替えることや、使用する触覚ディスプレイの表示領域に応じた提示を行うこと等が、例えばＣＳＳ（ＣａｓｃａｄｉｎｇＳｔｙｌｅＳｈｅｅｔｓ）の切り替えにより可能となる。

なお、ＣＳＳとは、ＨＴＭＬやＸＭＬの要素をどのように修飾（表示）するかを指示する仕様であり、Ｗ３Ｃによる勧告の一つであり、文書の構造と体裁を分離させるという理念を実現する為に提唱されたスタイルシートの具体的な仕様の一つである。ＣＳＳは、ＨＴＭＬで表現可能と考えられるデザインの大部分を実現できる要素を取り入れつつ、新たなデザイン機能を備える。また、ＣＳＳは、ページを表示するメディアに合わせてスタイルシートを切り替えることで、メディア毎に表示を変化させることができる。また、ＣＳＳは、ユーザエージェント（多くの場合ウェブブラウザ）、ウェブサイト制作者、ユーザがそれぞれ定義したＣＳＳのもたらす効果を重ね合わせる（カスケード）ことができる。

本実施形態によれば、テキスト情報を優先した表示に切り替えることや、使用する触覚ディスプレイの表示領域に応じた提示を行うこと等が、例えばＣＳＳの切替により可能となる。

上述したように本発明によれば、点字を触覚的に認知し易いように変換して提示することができる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

第１の実施形態における触覚提示装置の概要構成の一例を示す図である。触知ピンの配列情報の一例を説明するための図である。本実施形態におけるピン情報と点字との関係を説明するための一例の図である。点領域に対応する触知ピンの突出方法の一例を説明するための図である。第２の実施形態における触覚提示装置の概要構成の一例を示す図である。本発明における触覚提示処理が実現可能なハードウェア構成の一例を示す図である。本実施形態における触覚提示処理手順の一例を示すフローチャートである。

符号の説明

１０，５０触覚提示装置
１１文字データ抽出手段
１２点字変換部
１３レイアウトデータ抽出部
１４点字レイアウトデータ生成部
１５デバイス情報出力手段
１６触覚ディスプレイ（触覚提示手段）
１７デバイス情報取得手段
１８点字表示領域制御手段
２１情報リソース
３１，４１文字表記領域
４２点領域
４３触知ピン
５１点字表示領域設定手段
６１入力装置
６２出力装置
６３ドライブ装置
６４補助記憶装置
６５メモリ装置
６６ＣＰＵ
６７ネットワーク接続装置
６８記録媒体

Claims

画面に表示される対象データを、複数に配列された触知部材を有する触覚提示手段により提示させるための触覚提示装置において、
前記画面に表示される対象データから文字データを抽出する文字データ抽出手段と、
前記文字データ抽出手段により得られる文字データを点字データに変換する点字変換手段と、
前記触覚提示手段を構成する触知部材の数、配置間隔を含む表示領域情報を取得する取得手段と、
前記取得手段により得られる表示領域情報に基づいて、１点あたりに使用する触知部材の数及び位置を制御する点字表示領域制御手段と、
前記対象データからレイアウトデータを抽出するレイアウトデータ抽出手段と、
前記点字変換手段により得られる点字データ及び前記レイアウトデータ抽出手段により得られるレイアウトデータに基づいて、前記点字変換手段により変換された点字データを前記触覚提示手段に表示させるために、前記点字データの点毎に複数の触知部材を割り当てて所定の大きさの点からなる点字レイアウトを生成する点字レイアウトデータ生成手段と、
前記点字レイアウトデータ生成手段により生成された点字レイアウトに対応させて前記点字データを前記触覚提示手段により提示させるためのデバイス情報を出力するデバイス情報出力手段とを有し、
前記点字表示領域制御手段は、
前記触覚提示手段における触知部材同士の間隔及び前記点字データに含まれる１文字の点字同士の間隔と、予め設定される前記１文字の点字を構成する各点の間隔情報との比率に基づいて、前記各点毎に対応する触知部材の数を制御することを特徴とする触覚提示装置。
前記デバイス情報出力手段は、
１つの点領域を構成する複数の触知部材の高さを端部から頂点まで段階的に高くなるように多段に調整して出力すること特徴とする請求項１に記載の触覚提示装置。
画面に表示される対象データを、複数に配列された触知部材を有する触覚提示手段により提示させるための触覚提示方法において、
前記画面に表示される対象データから文字データを抽出する文字データ抽出ステップと、
前記文字データ抽出ステップにより得られる文字データを点字データに変換する点字変換ステップと、
前記触覚提示手段を構成する触知部材の数、配置間隔を含む表示領域情報を取得する取得ステップと、
前記取得ステップにより得られる表示領域情報に基づいて、１点あたりに使用する触知部材の数及び位置を制御する点字表示領域制御ステップと、
前記対象データからレイアウトデータを抽出するレイアウトデータ抽出ステップと、
前記点字変換ステップにより得られる点字データ及び前記レイアウトデータ抽出ステップにより得られるレイアウトデータに基づいて、前記点字変換ステップにより変換された点字データを前記触覚提示手段に表示させるために、前記点字データの点毎に複数の触知部材を割り当てて所定の大きさの点からなる点字レイアウトを生成する点字レイアウトデータ生成ステップと、
前記点字レイアウトデータ生成ステップにより生成された点字レイアウトに対応させて前記点字データを前記触覚提示手段により提示させるためのデバイス情報を出力するデバイス情報出力ステップとを有し、
前記点字表示領域制御ステップは、
前記触覚提示手段における触知部材同士の間隔及び前記点字データに含まれる１文字の点字同士の間隔と、予め設定される前記１文字の点字を構成する各点の間隔情報との比率に基づいて、前記各点毎に対応する触知部材の数を制御することを特徴とする触覚提示方法。