JP4263855B2

JP4263855B2 - Tactile presentation control device and tactile presentation control method

Info

Publication number: JP4263855B2
Application number: JP2001114015A
Authority: JP
Inventors: 忠裕坂井; 宏和小西
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2001-04-12
Filing date: 2001-04-12
Publication date: 2009-05-13
Anticipated expiration: 2021-04-12
Also published as: JP2002312095A

Description

【０００１】
【発明の属する技術分野】
本発明は、触覚呈示制御装置および触覚呈示制御方法に関する。
【０００２】
【従来の技術】
従来、コンピュータのＧＵＩ（グラフィカル・ユーザ・インタフェース）環境で、アイコンや動作項目の選択あるいはインターネットなど、視覚障害者に画面上の情報を伝えるための研究開発が行われている。
【０００３】
たとえば、第１の例として、音声によるＧＵＩ画面読み上げソフト（９５ＲＥＡＤＥＲ、「視覚障害者用Ｗｉｎｄｏｗｓ画面読み上げソフトウェアの開発とその評価」，渡辺，岡田，ヒューマンインタフェース６８−７）が実用化され、１９９９年には９８ＲＥＡＤＥＲにバージョンアップし、音声・点字出力による画面読み上げを可能にしている。
【０００４】
また、第２の例には、ＧＵＩ環境を触覚・聴覚のマルチモーダルで伝えることを目的とした研究がある（「触覚ピンディスプレイ付きポインティングディバイスの提案」；山中ほかＨＩシンポジウム論文集１２１２）。これは、コンピュータのアイコンを画面そのものの配置やサイズで触覚呈示する方式（画面呈示方式）である。
【０００５】
この例では、タッチパネル付きＬＣＤの画面を触れることにより、その位置に表示された対話部品の情報が音声で出力される。さらにタッチパネル上に触覚ディスプレイを搭載し、触覚受容器で対話部品を触れることができる。たとえば、触覚ディスプレイとして、８×８本のピンを２次元に配列し、ピン１本を画面の１ドットに対応させ、現在のポインティング座標を中心に８×８ドットの範囲の情報が呈示される。この構成において、触覚ディスプレイは絶対座標系としてタッチパネル上で動かすことができ、広い範囲の画面情報の触知が可能となるよう構成されている。
【０００６】
さらに、第３の例には、コンピュータのアイコンや階層を論理的な形式に変換して触覚呈示する方式（論理呈示方式）による研究がある。この例では、従来のピンディスプレイを用い、ピンの上下方向の位置と組み合わせることにより、選択オブジェクトの機能や階層構造を表示する方式「視覚障害者用グラフィカルユーザインタフェース」（特開平１０−６９２１８号公報）が提案されている。
【０００７】
一方、ディジタル放送では、データ情報にアクセスする方式として、メニュー画面から希望する項目を選択するＧＵＩ的な形式が考えられている。この形式では、通常、リモコンによって上下左右に選択カーソルを移動し、目的の項目へ選択カーソルが移動後、決定のキーを押下するなどの方法で、項目選択を可能としている。
【０００８】
このようなカーソルによる選択を可能にするためのメニュー画面を視覚障害者に伝える方法を第４の例として挙げると、この例では、使用者のリモコンなどの操作やキーワードで画面上のタグ項目を入力して、選択された項目の内容を音声や点字で出力して伝える方式などのインタフェースが提案されている（「視覚障害者向け統合型放送受信端末の開発；坂井ほか，ＨＩシンポジウム ’９９−１４１１」）。
【０００９】
【発明が解決しようとする課題】
しかしながら、現在、視覚障害者がＧＵＩ環境でコンピュータを操作できる有効な手段や、ＩＳＤＢ（統合ディジタル放送）のメニュー画面を視覚障害者に伝える技術は確立されておらず、どのように画面情報を伝達し、アクセスの入出力をするかは大きな課題となっている。
【００１０】
ここで、コンピュータのアイコンやＧＵＩ環境であるディジタル放送のメニュー画面のスイッチからデータをアクセスする際に問題となるのは、画面上の選択オブジェクトの配置や数をどのように伝えるか、それらの選択をどのように行うか、さらに、階層構造や現在の階層の位置をどう伝えるかである。
【００１１】
前記、従来技術の第１の例に示した「９８ＲＥＡＤＥＲ」など、音声や点字によるＧＵＩ画面伝達は有効な手段であるが、音声自体が時系列な情報呈示の手段であるため、画面上のアイコンや項目などの選択オブジェクトを検索するのに時間を要するという問題がある。また、音声による情報呈示では、画面全体の選択オブジェクトの配置や数などの把握が困難なことや、階層の概念の理解や記憶が困難であることから、下位階層に入った場合、階層の位置やツリー構成の全体像を把握することが難しいという問題がある。
【００１２】
また、従来技術で示した第２の例である画面呈示方式では、多くの選択オブジェクトを呈示することが必要であり、全体を触覚で探索することが容易ではないことや、選択オブジェクトの配置位置に規則性がないことなどから、オブジェクトの位置や内容の記憶が難しく、迅速に選択することを可能とする点において課題を残している。
【００１３】
これに対し、前記従来技術の第３の例である論理呈示方式による発明の装置では、点字サイズのピンで階層を表すことができるので小型化が可能であり、探索もしやすい。しかしながら、この反面、触覚の分解能などに限界があり、センシングが難しいことや、提案された方式では、階層表示の規則が複雑でユーザにとって難しいことなどから、必ずしも有効な手段であるとは言えなかった。
【００１４】
また、以上はコンピュータを対象としているが、ＩＳＤＢなど放送メディアでは、誰もが選択操作できる入力機能が必須である。しかしながら、データ放送などにおいて通常のリモコンでは選択オブジェクトを直接選択できず、また、階層構造を把握することができない。さらに従来技術の第４の例で示したリモコン操作に対応した音声や点字出力は前記第１の例と同様な問題を有している。
【００１５】
このようにＩＳＤＢのメニュー画面やコンピュータのアイコンなどのＧＵＩ環境で、選択オブジェクトの位置関係や階層などの情報の構成をわかりやすく伝達する有効な入出力制御装置はなかった。
【００１６】
従って、本発明は上記問題に鑑みなされたもので、情報の構成を２次元的に容易に理解させることを可能とする触覚呈示制御装置および触覚呈示制御方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
係る目的を達成するために、本発明は、階層構造または表構造のデータから選択オブジェクトを触覚で識別可能に呈示するスイッチを有し、前記スイッチは、前記データが階層構造である場合、階層構造における階層の位置情報を呈示する階層制御スイッチ群と、階層毎のオブジェクトを呈示する階層オブジェクトスイッチ群とを同一呈示面上における各々所定の領域に、前記階層制御スイッチ群を移動させずに前記階層オブジェクトスイッチ群が移動できるように呈示され、前記データが表構造である場合、表構造における行および列のタイトルを呈示する行列制御スイッチ群と、表構造におけるオブジェクトを呈示する表オブジェクトスイッチ群とを同一呈示面上に、前記行列制御スイッチ群を移動させずに前記表オブジェクトスイッチ群が移動できるように呈示され、前記階層制御スイッチ群又は前記行列制御スイッチ群のスイッチは、前記階層オブジェクトスイッチ群又は前記表オブジェクトスイッチ群のスイッチと触覚で識別可能に形成されることを特徴としている。
【００１８】
これにより、本発明は、情報を２次元的に容易に理解させることが可能となる。また、階層を持つ情報や表形式の情報の構成を、容易に理解させることが可能となる。
【００２１】
また、本発明は、さらに、データが階層構造である場合、階層制御スイッチ群と階層オブジェクトスイッチ群とが、触覚により区別されるよう構成され、データが表構造である場合、行列制御スイッチ群と表オブジェクトスイッチ群とが、触覚により区別されるよう構成されることを特徴としている。
【００２２】
これにより、本発明は、触覚による各スイッチ群の識別を容易とすることが可能となる。
【００２３】
また、本発明によれば、さらに、階層オブジェクトスイッチ群または表オブジェクトスイッチ群における所定の位置を示す基準となるボタンの位置は、触覚により他と区別されるよう構成されることを特徴としている。
【００２４】
これにより、本発明は、触覚による各スイッチの位置の判別を容易とすることが可能となる。
【００２５】
また、本発明は、現在の呈示状態において、押下時にスイッチから発生する固有のコードと、スイッチを用いて触覚で識別可能に呈示している選択オブジェクトと、を対応させて記憶する呈示選択オブジェクト記憶手段と、呈示選択オブジェクト記憶手段に記憶されている選択オブジェクトのリンク先の階層を記憶するリンク先記憶手段と、を有し、固有のコードと、呈示選択オブジェクト記憶手段において固有のコードに対応させて記憶されている選択オブジェクトと、リンク先記憶手段に記憶されている選択オブジェクトのリンク先の階層と、に基づいて次に触覚で識別可能に呈示する階層を呈示することを特徴としている。
【００２６】
これにより、本発明は、少ないスイッチ数で、多くの項目や階層構造、表構成を、２次元的に容易に理解させるよう呈示することが可能となる。
【００２７】
また、本発明は、階層構造または表構造のデータから選択オブジェクトの属性情報を抽出する属性情報抽出工程と、該属性情報抽出工程において抽出された前記属性情報に基づいて前記選択オブジェクトにリンク情報を付加するリンク情報付加工程と、前記選択オブジェクトと該選択オブジェクトを触覚で識別可能に呈示しているスイッチの位置との対応を記憶する対応記憶工程とを有し、前記スイッチは、前記データが階層構造である場合には、階層構造における階層の位置情報を呈示する階層制御スイッチ群と、階層毎のオブジェクトを呈示する階層オブジェクトスイッチ群とを同一呈示面上における各々所定の領域に、前記階層制御スイッチ群を移動させずに前記階層オブジェクトスイッチ群が移動できるように呈示され、前記データが表構造である場合、表構造における行および列のタイトルを呈示する行列制御スイッチ群と、表構造におけるオブジェクトを呈示する表オブジェクトスイッチ群とを同一呈示面上に、前記行列制御スイッチ群を移動させずに前記表オブジェクトスイッチ群が移動できるように呈示され、前記階層制御スイッチ群又は前記行列制御スイッチ群のスイッチは、前記階層オブジェクトスイッチ群又は前記表オブジェクトスイッチ群のスイッチと触覚で識別可能に形成され、前記スイッチの位置に対応して発生するコードを用いて、前記対応記憶工程において記憶された対応から選択オブジェクトを特定し、前記リンク情報付加工程において該選択オブジェクトに付加したリンク情報を特定することを特徴としている。
【００２８】
これにより、本発明は、少ないスイッチ数で、多くの項目や階層構造、表構成を、２次元的に容易に理解させる方法による情報の呈示が可能となる。
【００２９】
【発明の実施の形態】
〔本発明の特徴〕
本発明は、触覚呈示制御装置および触覚呈示制御方法に関するものである。
【００３０】
ただし、以下の実施形態では、本発明を、統合ディジタル放送（ＩＳＤＢ）で用いられるメニュー画面の選択ボタンや表などの視覚的なオブジェクト（以下、選択オブジェクトという）から情報にアクセスする方法に対して適用した場合を例に挙げて説明する。これにより、本発明では、ＩＳＤＢで用いられる選択オブジェクトから情報にアクセスする際に、リモコンのような選択スイッチ（もしくはボタン。以下、スイッチに含む）により項目選択ができ、かつスイッチの配列を利用して選択オブジェクト数や階層などの状態を触覚により認識させることが可能となる。
【００３１】
即ち、以下で説明する各実施形態は、統合ディジタル放送（ＩＳＤＢ）の選択オブジェクトを触覚で探索することにより、視覚障害が情報にアクセスできる触覚呈示制御装置に関するもので、選択オブジェクトを選択するスイッチを有し、スイッチは可動機構を有し、スイッチの配列は行と列とのアレイで構成され、凸表示されるスイッチの配列形状や数量によって選択オブジェクトの項目数や階層などの情報を触覚に伝えるとともに、それぞれの選択オブジェクトを表すスイッチが入力機能を兼ねることにより、統合ディジタル放送のメニュー画面などの視覚的選択オブジェクトから番組などの情報に容易かつ迅速にアクセスできるようにしたものである。
【００３２】
より具体的には、ＩＳＤＢのメニュー画面のボタンや階層構造の表示のために、選択オブジェクトや階層を画面上の位置情報の論理的表示方式に変換し、ユーザが論理的表示方式に対応して凸表示されたスイッチを触れることにより、階層や階層中の選択オブジェクトの位置や数量を把握できるようにするとともに、表示された選択オブジェクトのスイッチを押下することで、音声や点字で内容が把握でき、迅速に情報へアクセスさせることを可能とする。また、表形式の情報の表示には行と列とのによる各行列要素（以下、セルという）をスイッチの配列に対応させ、セルを行と列とを確認しながら選択させ、この対応するスイッチを押下させることにより、セルの内容を伝達するようにも構成する。
【００３３】
これらの構成により、視覚に障害を持つ人や盲ろう者がグラフィカルユーザインタフェース（ＧＵＩ）環境にアクセスできるインタフェースを提供することが可能となる。
【００３４】
これを実現するにあたり、本発明は、情報にアクセスし、情報を呈示するグラフィカルユーザインタフェース（ＧＵＩ）において、可動動作するスイッチを有し、スイッチの配置や数、高低差により、階層や視覚的選択オブジェクトの位置や数を表す構成を有する。
【００３５】
また、上記の視覚的な選択オブジェクトに対応するスイッチの配列には、階層を表す範囲、階層中の選択オブジェクトを表す範囲、行や列を表す範囲を有し、情報を構成する画面中の選択オブジェクトの位置や数、あるいは階層を把握す構成を有する。
【００３６】
さらに、階層および行や列を表す範囲のスイッチと選択オブジェクトを表す範囲のスイッチとは、形状や表面の荒さを変化させることにより、区別ができる構成を有する。
【００３７】
また、選択オブジェクトを表す複数のスイッチでは、基準となるスイッチを異なる表面性や形状とし、かつ当該スイッチが凸表示しない場合でも、スイッチ周辺の段差や穴などにより触覚で、これを検知できる構成を有する。
【００３８】
また、本発明は、触覚呈示される選択オブジェクトのリンク先などのツリー構成をメモリする機能を有し、選択オブジェクトの表示状態を記憶するメモリを有し、各スイッチには押下時に固有のデータ発生を有し、新たにスイッチが押下された場合には、前記選択オブジェクトの表示状態と前記スイッチ押下時の固有のデータとから、前記ツリー構成から呈示すべき選択オブジェクトを指定するコマンドを生成する機能を有することで、少ないスイッチで多くの選択オブジェクトや階層を表現する構成を有する。
【００３９】
また、本発明は、ＧＵＩ環境の選択オブジェクトを触覚に呈示する方法に関するものであり、選択オブジェクトの属性データを抽出する工程と、抽出された属性データよりあらたな階層や表を構成する変換工程と、選択オブジェクトをスイッチ配列に対応して表示するためのデータ生成工程と、押下スイッチのコードを生成する工程と、押下スイッチから前記階層や表を呈示する選択オブジェクトを指定するコードを生成する工程と、を併せ持つ構成を有する。
【００４０】
以下、このような構成を有する本発明を好適に実施した形態について、図面を用いて詳細に説明する。
【００４１】
〔第１の実施形態〕
まず、本発明の第１の実施形態について、図面を用いて詳細に説明する。
【００４２】
（第１の実施形態の構成）
図１、および図２は、本発明において、ＩＳＤＢのメニュー画面などの視覚的な選択オブジェクトに対して、可動スイッチ機構を有し、選択のためのスイッチ入力とともにスイッチの配置から選択オブジェクトを呈示する触覚呈示制御装置の概念を表す図であり、図１は、本発明を実現する基本的な触覚呈示制御装置（方式１）の概念図を示し、図２は、可動スイッチを電話あるいは電卓のテンキーと同様な配置とするよう構成した触覚呈示制御装置（方式２）の概念図を示す。
【００４３】
また、図３、および図４は、電子番組表（以下、ＥＰＧという）などの表形式の情報を触覚呈示制御装置により表示する方法を説明するための図であり、図３は、これを方式１の触覚呈示制御装置に適用した場合を説明するための図であり、図４は、これを方式２の触覚呈示制御装置に適用した場合を説明するための図である。
【００４４】
さらに、図５の（ａ）は、ＩＳＤＢでサービスされるメニュー画面の項目と階層構造とを模式的に表した説明図であり、図５の（ｂ）は、メニュー画面の各選択オブジェクトのリンク先情報から、階層構造を表した説明図である。
【００４５】
さらにまた、図６、および図７は、本発明の触覚呈示制御装置の方式１および方式２により、ＧＵＩ環境の選択オブジェクトや階層構造を表す方法を説明するための図であり、図６は、方式１の触覚呈示制御装置を適用した場合を説明するための図であり、図７は、方式２の触覚呈示制御装置を適用した場合を説明するための図である。
【００４６】
以下、図１から７を用いて、本発明の第１の実施形態を詳細に説明する。
【００４７】
・触覚呈示制御装置の構成
図１および図２において、１ａ〜１ｅは、上下動が可能なスイッチ群であり、圧電素子や電磁ソレノイド、ステッピングモータ、あるいは形状記憶合金などのアクチュエータにより駆動される。本実施形態では、この上下動可能なスイッチ群１ａ〜１ｅを用いることで、選択オブジェクトや階層構造、あるいは表形式の構成を凸により表現する。また、各スイッチは情報アクセスや制御のための入力スイッチとしても機能する。さらにまた、表示する対象のないスイッチ（対応する選択オブジェクト等が存在しないスイッチ）は、押下できないように下方位置に駆動された状態となる。すなわち、これらのスイッチは、入力とともに遷移先の階層や表における行と列とのタイトル、および選択オブジェクトを表す。たとえばスイッチ群１ａを、機能を選択するためのスイッチ群とし、スイッチ群１ｂおよびスイッチ群１ｇをそれぞれ行と列とのタイトルを表す（階層構造を持つ情報に対してはスイッチ群１ｇが階層を表す）ためのスイッチ群とし、スイッチ群１ｄを選択オブジェクトを表すためのスイッチ群とし、スイッチ群１ｆを制御スイッチ群とする。本実施形態では、このように、それぞれのスイッチ群に対して機能を分けて設定できるよう構成する。
【００４８】
・触覚を用いた情報呈示方式の説明
このような構成を有する触覚呈示制御装置を用いて表形式の情報を呈示し、アクセスさせる方法の例を説明する。
【００４９】
・・方式１に適用した場合
図３の（ａ）は、本方式を説明するために用いる表形式の情報の例であり、Ｘ１〜Ｘｎ、Ｙ１〜Ｙｍはそれぞれ列、行のタイトルを表す選択オブジェクト（以下、単にタイトルという）、また、Ａ１１〜Ａｍｎは、行と列とで指定される選択オブジェクト（以下、表形式ではセルという）であり、それぞれのセルが情報を有するよう構成されている。
【００５０】
また、図３の（ｂ）は、図３の（ａ）に示す表形式のデータを呈示する触覚呈示制御装置として方式１によるものを用いた場合の例である。図３の（ｂ）において、スイッチ群１ｂのＶ１〜Ｖ９は図３の（ａ）におけるタイトル行Ｘ１〜Ｘｎを呈示し、スイッチ群１ｄは図３の（ａ）におけるタイトル列Ｙ１〜Ｙｍを呈示し、スイッチ群１ｄは図３の（ａ）におけるセル内容Ａ１１〜Ａｍｎを呈示する。
【００５１】
また、図３の（ｃ）は、表形式の各セルと方式１による触覚呈示制御装置のスイッチ配列との位置関係を表す。
【００５２】
本説明において、方式１の触覚呈示制御装置では、たとえばスイッチＶ３を押下するとタイトル行Ｘ３の選択オブジェクトの内容が音声あるいは点字で出力され、また、スイッチＮ２を押下するとタイトル列Ｙ２の選択オブジェクトの内容が音声あるいは点字で出力される。同様にスイッチＳＷ２３を押下すると、Ｘ３行Ｙ２列に対応するセルＡ３２の内容が音声あるいは点字により出力される。
【００５３】
ここで、図３の（ｂ）に示す触覚呈示制御装置の例では、図３の（ａ）の表形式のセルに対してすべてを表示することができない。したがって、本例では、表形式において、タイトル行ｎ，タイトル列ｍがｎ＞９，ｍ＞４の場合、図３の（ｃ）に示すように、表形式のセルにおける一部を選択可能な領域として触覚呈示制御装置に呈示するよう構成する。さらに、この構成において、すべてのセルを呈示するために、本実施形態では、スイッチ群１ｆのＵＰ，ＤＮ，ＬＦ，ＲＦの押下回数により、選択可能領域（呈示領域）を移動するよう構成する。これは、たとえば、現在、触覚呈示制御装置にＳＷ１１〜ＳＷ４９までのセルの領域が呈示されている状態において、スイッチ群１ｆのＤＮが２回押下された場合に、触覚呈示制御装置が呈示するセルの領域をＳＷ３１〜ＳＷ６９へ変更するというものである。
【００５４】
・・方式２に適用した場合
同様に、表形式の情報を呈示するにあたり、方式２による触覚呈示制御装置を用いた場合の例を示す。本実施形態で例示した方式２による触覚呈示制御装置では、行の選択領域が方式１によるものと比較して小さいほかは、方式１と同様に移動スイッチＵＰ，ＤＮ，ＬＦ，ＲＦを用いて表示するセルの領域を移動、および選択することができる。この場合、それぞれのスイッチの押下により１行あるいは１列ごとに移動するよう構成することも可能であるが、ｎ行あるいはｍ列ごとに移動して表示するよう構成したほうが探索の効率がよい。ただし、この点は、方式１にも適用することができる。
【００５５】
図４は、方式２の触覚呈示制御装置により表形式の情報を呈示する方法である。Ｖ７〜Ｖ９は列のタイトルと対応し、Ｎ１〜Ｎ４は行のタイトルと対応し、ＳＷ１〜ＳＷ１２はセルと対応する。
【００５６】
方式１と比較すると、一度に表示できるセル数が少ないが、限られた範囲で手指を動かすことなく情報を得られる利点がある。また、情報呈示の原理は方式１と同じであり、表示するセルの領域を移動させる構成も方式１で説明したものと同様なものを適用することが可能である。
【００５７】
・階層構造の呈示／選択方式の説明
次に、本実施形態による触覚呈示制御装置を用いた階層構造の呈示と選択との原理を、ディジタルデータ放送で提供されるメニュー画面を例に説明する。
【００５８】
図５の（ａ）は、適用したディジタルデータ放送で提供されるメニュー画面の例を示す図であり、図５の（ｂ）は、適用したディジタルデータ放送における各項目の階層構造の例を示す図である。この構成において、たとえば第１階層のメインメニュー画面からＶ２（天気）が選択されると、Ｖ２にリンクされた第２階層のメニューＶ２１〜Ｖ２４が触覚呈示制御装置に表示される。さらに第２階層でＶ２４（ローカル天気）が選択されると第３階層のメニューＶ２４１〜Ｖ２４７（地域など）が触覚呈示制御装置に表示される。また、本例では、この第３階層で選択された項目に対応する情報を音声あるいは点字により提供する。
【００５９】
・・方式１に適用した場合
図６は、触覚呈示制御装置の方式１を用いた場合の、メニュー項目および階層構造の呈示や選択の方法を説明するための模式図である。Ｎ１〜Ｎ４は、各項目が対応する階層の深さ、ＳＷ１１〜ＳＷ４９は、それぞれの階層における選択オブジェクトあるいは各階層における選択された選択オブジェクトを表す。
【００６０】
図６の（１）は、本説明において適用したメニューにおける初期状態であり、図５のメニュー画面の例より選択オブジェクトＶ１〜Ｖ５に対応して、第１階層Ｎ１の行にＳＷ１１〜ＳＷ１５のスイッチが凸で表示され、第１階層に選択オブジェクトが５個あることを触覚により検知させる。また、これら凸表示されたスイッチは、たとえばダブルクリック（ダブルプッシュ）やシングルクリック（シングルプッシュ）＋ＣＲ（決定）キー押下で選択される。
【００６１】
また、図６の（２）は、図６の（１）に示す第１階層においてＶ２（ＳＷ１２）が選択されることにより遷移した場合の呈示内容を示す図である。図６の（２）を参照すると、この場合では、触覚呈示制御装置に第１階層を示すＮ１と選択された選択オブジェクトＶ２を示すＳＷ１２と第２階層を示すＮ２と第２階層に存在する選択オブジェクトＶ２１〜Ｖ２４を示すＳ２１〜Ｓ２４とが凸で表示される。
【００６２】
さらに、第２階層でＳＷ２４スイッチが押下された場合には、図６の（３）に示すように、第１階層、第２階層、および第１階層における選択された選択オブジェクトの表示は変わらず、第２階層における選択オブジェクトの表示が選択されたスイッチＳＷ２４のみとなり、さらに、遷移先の第３階層を表すＮ３と第３階層に存在する７個の選択オブジェクトＶ２４１〜Ｖ２４７に対応するＳＷ３１〜ＳＷ３７とが凸で表示される。
【００６３】
従って、ユーザは、図６の（４）に示すようにスイッチＳＷ３１を押下すると、第３階層が最下層であるため、最終的にこのスイッチＳＷ３１に対応する選択オブジェクトＶ２４１の内容を音声や点字により得られるとともに、第４階層には選択オブジェクトがないことが触覚によりわかる。
【００６４】
この状態で、たとえばＥＳＣキーを押下すれば、１階層上位で、図６の（３）の状態に戻ることができる。また、階層表示のスイッチであるＮ１を押下すれば、図６の（１）の状態に戻り、ＳＷ１１〜ＳＷ１５が選択できる。
【００６５】
このように、スイッチの凸表示を触覚で感ずることにより、スイッチに対応する項目のタイトルや内容が音声や点字で得られ、視覚障害者は２次的な情報から迅速に情報をアクセスすることができる。
【００６６】
・・方式２に適用した場合
次に、図５に示すメニュー項目および階層構造の呈示や選択の方法を方式２による触覚呈示制御装置を用いて行う場合を図７を用いて説明する。
【００６７】
方式２では、表示される選択オブジェクトに対応するスイッチの配置を、電話あるいはキーボードの番号に合致して、順次番号順に表示する。これにより視覚障害者や盲ろう者は普段の生活で自然とパターン化されている電話などのキー配置により、スイッチに触れることで即座にかつ直感的に階層中の項目数や項目の位置（対応する番号）を把握することができる。
【００６８】
この場合、『５』の位置のスイッチには突起や異なる表面性などにより認知しやすい構造とし、項目数が『４』以下で『５』が突起しないときでも、スイッチ周辺の穴部を盛り上げるなど検知できる構造とすることが好ましい。また、各階層の選択オブジェクトはＳＷ１〜ＳＷ９の９個のスイッチで表され、１０個以上の場合にはＳＷ０を凸とすることにより呈示する。このように構成することで、総計で１９個の表示が可能である。ただし、図７のように、スイッチＳＷ１１，ＳＷ１２も存在する場合、スイッチＳＷ１１が１０個以上であることを示し、スイッチＳＷ０が２０個以上であることを示し、スイッチＳＷ１２が３０個以上をであることを示し、さらに、各スイッチＳＷ０，ＳＷ１１，ＳＷ１２の組み合わせにより、たとえばスイッチＳＷ１１とＳＷ１２との双方を凸表示とすることにより、４０個（１０個＋３０個）以上であることを示すように構成することも可能である。
【００６９】
また、方式１と同様に、図５のメニュー画面において、初期状態では第１階層に位置するため、選択オブジェクトとしてはＶ１〜Ｖ５が存在する。従って、触覚呈示制御装置には、図７の（１）に示すように、第１階層を表すＮ１とスイッチＳＷ１〜ＳＷ５とが凸表示される。
【００７０】
さらに、第１階層においてスイッチＳＷ２（選択オブジェクトＶ２）が選択された場合、図７の（２）のように、第１階層を示すＮ１に加え、第２階層を示すＮ２が凸表示され、また、第２階層に存在する４個の選択オブジェクトＶ２１〜Ｖ２４に対応してスイッチＳＷ１〜ＳＷ４が凸で表示される。
【００７１】
この状態でスイッチＳＷ４（Ｖ２４）が選択されたときは、図７の（３）のように、階層を表示するＮ１，Ｎ２に加え、第３階層であるＮ３が凸表示され、項目内容として７つの選択オブジェクトがＣＨ／項目スイッチ群１ｄに凸表示される。
【００７２】
さらにここで、スイッチＳＷ１（Ｖ２４１）が選択された時点で、ユーザは第３階層の天気の内容を得ることができ、その後、図７の（４）に示すように、第４階層以降には選択オブジェクトがないことを知ることができる。また、この時点でＥＳＣキーが押下された場合には、第３階層の選択オブジェクトを示す図７の（３）が表示され、また、Ｎ１が押下された場合には、第１層の選択オブジェクトを示す図７の（１）が表示される。
【００７３】
このように、ユーザは階層スイッチ群１ｇにより現時点の階層や階層構造を知ることができ、ＣＨ／項目スイッチ群１ｄにおいて階層に存在する選択オブジェクトの項目数や項目順を２次元的に知ることができ、ＧＵＩ的なメニュー画面から、容易かつ迅速に情報へアクセスすることができる。
【００７４】
（第１の実施形態の具体例）
次に、本実施形態の触覚呈示制御装置を用いてＧＵＩ環境の選択オブジェクトや階層構造、表形式の情報を呈示し、選択オブジェクトやセルの情報取得や選択ができる基本的な方式の構成例について、図８を参照して説明する。
【００７５】
図８において、１は本実施形態による触覚呈示制御装置であり、２はＧＵＩ画面の選択オブジェクトデータ（以下、ＧＵＩ画面選択オブジェクトデータという）であり、ＧＵＩ環境における選択オブジェクトの階層位置やリンク先、ジャンル、テキストデータ、画面上の表示位置やサイズなどの属性情報を有する。３はＧＵＩ画面選択オブジェクトデータ２の選択オブジェクトの情報（以下、選択オブジェクト情報という）から階層やリンク先など所望の属性情報を抽出する選択オブジェクト属性データ抽出部であり、４は選択オブジェクトの属性情報に基づいて、図３あるいは図５に示すような、表や階層構造（階層ツリー構造ともいう）をあらたに構成し、メモリする階層・表呈示変換バッファ部であり、５は階層・表呈示変換バッファ部４で表や階層ツリー構造の関係が付加された選択オブジェクトと触覚呈示制御装置１で表示されるスイッチの位置との対応を行うためのデータ変換テーブルを有する触覚呈示コード変換バッファ部であり、表形式や階層位置および階層に存在する選択オブジェクトから遷移先の状態において触覚呈示制御装置１に表示するデータを抽出してバッファし、出力する。６は触覚呈示コード変換バッファ部５で得られた出力データに対応して触覚呈示制御装置１を駆動する触覚呈示データ選択出力部である。また、７は制御Ｉ／Ｏ部で、触覚呈示制御装置１で選択押下されたスイッチの入力インタフェース部である。８は触覚呈示制御装置１で押下されたスイッチのコードを対応する選択オブジェクトの属性情報を指定するコマンドに変換し、階層・表呈示変換バッファ部４および触覚呈示コード変換バッファ部５において遷移先の状態で表示すべきデータが得られるよう動作するためのコマンド変換選択制御部である。
【００７６】
すなわち、触覚呈示制御装置１におけるスイッチは種々の状態で入力コードを共有している（各スイッチが発生するコードが固有のものである）ため、すべての機能で直接選択オブジェクトを指定することができない。従って、コマンド変換選択制御部８において入力されたコードを適切なコマンド（以下、コマンドコードという）に変換する。
【００７７】
・具体例の動作の説明
以下、上述した本実施形態の具体例の動作について、方式２による触覚呈示制御装置を適用して説明する。
【００７８】
本具体例では、図５に示した階層構造を持つメニューを適用する。従って、図７の（１）に示したように、初期状態では、第１階層の選択オブジェクト情報として、触覚呈示制御装置１のスイッチＳＷ１〜ＳＷ５およびＮ１が凸として表示される。
【００７９】
ここで、凸表示されたスイッチのいずれかが押下されると、制御Ｉ／Ｏ部７では、押下されたスイッチに固有のコードが検出される。ＧＵＩ画面選択オブジェクトデータ２では、検出されたコードを基に対応する選択オブジェクトが指定される。また、画面表示モニタ９では、この指定された選択オブジェクトがハイライトや赤／黄色文字などの強調表現により表示される。
【００８０】
一方、押下されたスイッチ（以下、押下スイッチという）のコードは、制御Ｉ／Ｏ部７からコマンド変換選択制御部８にも送られる。ここでは、スイッチが押下される前に表示されている選択オブジェクトの属性情報を参照し、前記に示したように、この階層構造の情報やリンク情報等を触覚呈示制御装置１に呈示すべきコマンドコードに変換し、階層・表呈示変換バッファ部４に伝達する。
【００８１】
これに対して、階層・表呈示変換バッファ部４では、コマンドコードより触覚呈示制御装置１に表示する表示データを特定し、これを触覚呈示コード変換バッファ部５へ出力する。また、触覚呈示コード変換バッファ部５では、入力された表示データに基づいて触覚呈示に対応するデータが生成され、触覚呈示データ選択出力部６へ出力される。
【００８２】
このように入力されたデータを基に、触覚呈示データ選択出力部６は、触覚呈示制御装置１におけるスイッチを駆動し、ユーザへ要求された情報（遷移先の階層における構造情報）の表示を行う。
【００８３】
〔第２の実施形態〕
次に、本発明の第２の実施形態として、本発明による触覚呈示制御装置をデータ放送に適用した場合について、図９〜図１１および図１２〜１４を用いて詳細に説明する。
【００８４】
（第２の実施形態の構成）
図９は、本実施形態において、ＩＳＤＢからＴＶチャンネルを選択する方法やデータ放送のメニュー画面選択オブジェクトを表示、選択する方法、あるいはＥＰＧなどの表形式の情報を表示して、データにアクセスさせる構成の一例を示す構成ブロック図である。
【００８５】
図９において、１７はデータ放送を受信するＩＳＤＢ受信部であり、１８は受信したデータからディジタル放送のフォーマットであるＢＭＬ（Broadcasting Mark Up Language）などを抽出して出力するデータ出力部であり、このデータ出力部１８の一方の出力は、画面表示変換部１９に入力される。この画面表示変換部１９は、入力されたデータをデコードして画面表示モニタ９に表示する。また、データ出力部１８の他方の出力は、選択オブジェクト属性データ抽出部３に入力され、入力されたデータよりメニュー画面を構成するそれぞれの選択オブジェクトの階層位置やリンク先などの属性情報が抽出される。
【００８６】
また、階層・表呈示変換バッファ部４は、選択オブジェクト属性データ抽出部３で抽出された選択オブジェクトの属性情報をもとに、新たに階層ツリー構成や表形式を作成し、これを保持する。
【００８７】
コマンド変換選択制御部８は、触覚呈示制御装置１’で押下されたスイッチのコードを制御Ｉ／Ｏ部７を介して受信し、このコードから呈示すべき選択オブジェクトを指定するコマンドコードを特定する。ただし、触覚呈示制御装置１’のスイッチは、前述のように、種々の状態で入力コードを共有しているので、すべての機能で直接選択オブジェクトを指定することができない。従って、コマンド変換は、ＩＳＤＢが有するＴＶ、データ放送、ＥＰＧや、データ放送の機能、あるいは、表や階層の表示に応じて、スイッチの押下前に表示されている階層や表の選択オブジェクトの属性情報が参照され、あらかじめ登録された変換表に基づき実行される。
【００８８】
このように変換されたコマンドコードは、階層・表呈示変換バッファ部４に入力され、表や階層ツリー構造の関係より、遷移先の状態において表示される選択オブジェクトが特定される。また、このように特定された選択オブジェクトは、触覚呈示コード変換バッファ部５に入力され、データ変換テーブルが参照されて、各選択オブジェクトを触覚呈示制御装置１’に表示するためのデータが抽出される。ただし、階層・表呈示変換バッファ部４で指定された選択オブジェクトのテキスト情報は、テキストデータ出力１０においてバッファされ、点字出力装置１１および音声合成装置１２で出力される。
【００８９】
また、触覚呈示データ選択出力部６は、触覚呈示コード変換バッファ部５より入力されたデータに基づいて触覚呈示制御装置１’におけるスイッチを駆動し、ユーザへ要求された情報（遷移先の階層における構造情報）表示を行う。
【００９０】
ただし、この構成において、第１の実施形態による触覚呈示制御装置１と同様の構成には、同一の符号を附す。
【００９１】
（第２の実施形態の具体例）
以下、本実施形態による触覚呈示制御装置１’を実際に使用した場合における動作の一例について、方式２による触覚呈示制御装置１’を用いて説明する。
【００９２】
図９において、１ａはＩＳＤＢが提供するＴＶやデータ放送、電子番組表（ＥＰＧ）等の機能を選択するための機能選択スイッチ群であり、１ｂは表形式の構成において列表示のオブジェクトを表示する、もしくは選択させるためのスイッチ群であるとともに、上記ＴＶやデータ放送の機能において、それぞれＴＶの登録されたチャンネル（ＣＨ）やデータ放送のメニュー画面の選択オブジェクトを選択させるためのＣＨ登録／見出しメニュー項目スイッチ群である。１ｄは機能選択スイッチ群１ａにより選択された機能における表示内容（選択オブジェクト）や選択肢をユーザに提供するＣＨ／項目スイッチ群であり、たとえば、ＴＶ機能が選択された場合では選択対象のＴＶチャンネルを表示し、データ放送機能が選択された場合では見出しメニュー項目に関する各階層の項目を表示し、さらにＥＰＧなどの表形式による機能が選択された場合では表形式のデータにおけるセルを表す。また、１ｅは各種選択や選択した項目の実行、もしくは選択した項目のキャンセル等を入力するための選択制御スイッチ群であり、１ｆはＣＨ／項目スイッチ群１ｄで示された表の行や列の表示領域を移動する指示を入力させるための移動制御スイッチ群であり、１ｇは階層を表示し、選択させる階層制御スイッチ群であり、１ｃは１ｂに包含され、たとえばＥＰＧなどの表形式による機能が指定された場合に、表形式のデータ構造におけるタイトル列を表示する列表示スイッチ群である。
【００９３】
・具体例の動作の説明
また、方式１による触覚呈示制御装置を適用した場合の動作は、方式２を適用した場合にほぼ包含されるので、以下の説明では、方式２を適用した場合の動作に含める。
【００９４】
・・ＴＶ機能が選択された場合
まず、本具体例の説明において、ＴＶ機能が選択された場合の動作について、以下に図面を用いて説明する。ただし、ＴＶ機能とは、ＴＶのチャンネルを選択するための機能である。
【００９５】
図１２を参照すると、本動作では、まず、ユーザより触覚呈示制御装置１’の機能選択スイッチ群１ａにおいて、ＴＶ機能を指定するスイッチ“ＴＶ”が押下・選択される（ステップＳ１のＴＶ）。
【００９６】
このように、図９の触覚呈示制御装置１’において、機能選択スイッチ群１ａから“ＴＶ（ＴＶ機能を選択するスイッチ）”が選択された場合、本発明による触覚呈示制御装置１’は、ＴＶ機能を実行する（ステップＳ２）。この実行にあたり、制御Ｉ／Ｏ部７が、触覚呈示制御装置１’から入力されたＴＶ機能の実行のコマンドから触覚呈示制御装置１’をＴＶチャンネルのリモートコントローラとして機能させるためのコマンドコードを特定し、これを触覚呈示コード変換バッファ部５へ出力する。これに対し、触覚呈示コード変換バッファ部５は、コマンドコードよりユーザに呈示するチャンネルをあらかじめ格納しているテーブルより特定し、これを触覚呈示データ選択出力部６へ出力する。また、触覚呈示データ選択出力部６は、触覚呈示コード変換バッファ部５より入力されたデータに基づいて、触覚呈示制御装置１’におけるスイッチを駆動し、ユーザへＴＶのチャンネル番号を呈示する。ただし、たとえばチャンネルが１ｃｈから１２ｃｈまで存在し、この中で、５ｃｈ等、番組が放送されていないチャンネルが存在する場合、この番組が放送されていないチャンネルをユーザに呈示しないよう凸表示されない構成とすることも可能である。これは、触覚呈示コード変換バッファ部５におけるコード変換テーブルにおいて、番組が存在しないチャンネルを凸表示しないように構成することで解決される。
【００９７】
このような動作を経ることで、ＴＶのチャンネルは、図１１の（１）に示すように、触覚呈示制御装置１’のＣＨ／項目スイッチ群ＳＷ１〜ＳＷ１２に割り当てられ、触覚アレイ初期設定として表示される（ステップＳ５）。ただし、この段階にでは、方式１による触覚呈示制御装置１’も同様な配置で凸表示される。
【００９８】
また、このように、触覚呈示制御装置１’にＴＶ機能における初期状態が呈示されると、ユーザにより、この呈示されたチャンネル中におけるいずれかのチャンネル、もしくはＥＳＣキーが押下される（ステップＳ６）。ここで、ユーザよりチャンネルのスイッチのいずれかが押下された場合（ステップＳ６のＣＨ）、制御Ｉ／Ｏ部７は、この入力を検出し、次いで入力されたチャンネルに対応するコードをＣＨ選択部１６へ出力する（ステップＳ７）。これに対して、ＥＳＣキーが押下された場合（ステップＳ６のＥＳＣ）、ステップＳ１に帰還し、ユーザより機能が選択されるのを待機する。
【００９９】
また、入力されたチャンネルに対して、本実施形態の動作としては、以下に示す２つの方法が考えられる。ひとつは、図１２のフローチャートにおけるａのように、所望のチャンネルのスイッチが押下されることにより（ステップＳ６のＣＨ）、スイッチに割り当てられたコードが制御Ｉ／Ｏ部７で検知され（ステップＳ７）、ＣＨ選択部１６を介し、直接ＩＳＤＢ受信部１７のチャンネルが制御される（ステップＳ１２）よう構成する方法である。また、他のひとつは、図１２のフローチャートにおけるｂのように、制御Ｉ／Ｏ部７で検知されたコードがコマンド変換選択制御部８に入力され、コマンド変換選択制御部８でチャンネル選択のためのコマンドコード（以下、チャンネル選択コマンドコードという）に変換される（ステップＳ７）よう構成する方法である。
【０１００】
後者の方法では、チャンネル選択コマンドコードが、階層・表呈示変換バッファ部４に入力され、ここでチャンネルを示す選択オブジェクトが指定される。また、指定された選択オブジェクトの内容は、テキストデータ出力部１０でテキストデータとして抽出され、点字出力装置１１、および／もしくは音声合成装置１２により点字および／もしくは音声で出力される（ステップＳ８）。ただし、上記のテキストデータとしては、選択されたチャンネルを示す番号や、対応するＴＶ会社名や、現在放送されている番組の番組名および番組内容（サブタイトル、出演者、放送時間等の内容）等が挙げられる。
【０１０１】
このように出力されたテキストデータを確認した後、ユーザが決定キー（ＣＲ）を押下すると（ステップＳ９のＣＲ）、これが制御Ｉ／Ｏ部７で検知され（ステップＳ１０）、ＣＨ選択部１６においてＩＳＤＢ受信部１７の受信チャンネルが制御され（ステップＳ１１）、ステップＳ６に帰還する。これに対して、ユーザよりＥＳＣキーが押下されると（ステップＳ９のＥＳＣ）、選択された内容を破棄し（ステップＳ１３）、ステップＳ６に帰還する。
【０１０２】
・・データ放送機能が選択された場合
次に、本具体例の説明において、データ放送機能が選択された場合の動作について、以下に図面を用いて説明する。ただし、データ放送機能とは、ディジタルデータ放送により提供される機能のことである。また、本具体例では、図５に示す階層構造を適用する。
【０１０３】
図１２および図１３を参照すると、図９に示す触覚呈示制御装置１’において機能選択スイッチ群１ａからデータ放送（ＤＴ）が選択されると（ステップＳ１のＤＴ）、図５に例示した階層構造では、図１１の（２）のように、第１階層で表されるメニュー画面が、触覚アレイ初期設定として、触覚呈示制御装置１’において表示される（図１３のステップＳ２１）。
【０１０４】
つぎに、ユーザよりＥＳＣキーもしくはＵＰキーが入力された場合（ステップＳ２２のＹｅｓ）、階層・表呈示変換バッファ部４では、現在よりも上位の階層が存在するか否かを判定し（ステップＳ２８）、この判定において、さらに上位の階層が存在しない場合（ステップＳ２８のＮｏ）、ステップＳ１に帰還し、機能が選択されるのを待機する。これに対して、現在よりも上位の階層が存在する場合（ステップＳ２８のＹｅｓ）、ステップＳ２９に移行する。
【０１０５】
また、ステップＳ２２においてＥＳＣキーおよびＵＰキーが押下されず（ステップＳ２２のＮｏ）、階層移動キーもしくはＣＲキーもしくはＤＮキーが押下された場合（ステップＳ２３のＹｅｓ）、ステップＳ２９に移行する。ただし、ここでいう階層移動キーとは、図９の触覚呈示制御装置１’における階層制御スイッチ群１ｇに含まれるスイッチである。
【０１０６】
また、ステップＳ２２においてＥＳＣキーおよびＵＰキーが押下されず（ステップＳ２２のＮｏ）、かつ、ステップＳ２３において階層移動キーおよびＣＲキーおよびＤＮキーが押下されず（ステップＳ２３のＮｏ）、ＣＨ／項目スイッチ群１ｄにおいて選択オブジェクトに対応するスイッチのいずれかが押下された場合（ステップＳ２４のＹｅｓ）、割り当てられたスイッチのコードが制御Ｉ／Ｏ部７にて検出され、コマンド変換選択制御部８にて、押下された選択オブジェクトを選択するコマンドコードに変換され、階層・表呈示変換バッファ部４にて、コマンドコードに該当する選択オブジェクトが選択される（ステップＳ２５）。
【０１０７】
その後、ステップＳ２５にて指定された選択オブジェクトのテキストデータは、テキストデータ出力部１０に送出され、点字出力装置１１および音声合成装置１２に内容が出力される（ステップＳ２６）。このとき、触覚呈示コード変換バッファ部５では、データ変換を行わない。すなわち、ステップＳ２４からステップＳ２６の流れでは、階層が移動されるのでなく、階層を移動するにあたり、ユーザに確認のためのコメントが通知される。
【０１０８】
また、画面表示制御部１５では、選択された選択オブジェクトをハイライトするなど画面表示が制御される（ステップＳ２７）。
【０１０９】
一方、ステップＳ２４からステップＳ２７によりスイッチを押下し内容を確認した後、ステップＳ２２に帰還し、たとえば、引続き決定キー（ＣＲキー）が押下された場合（ステップＳ２３のＹｅｓ）、には、コマンド変換選択制御部８にて、選択決定のコマンドコードが生成され、階層・表呈示変換バッファ部４にて、選択された選択オブジェクトが存在する下位階層の表示データが指定され（ステップＳ３０）、触覚呈示コード変換バッファ部５にて触覚呈示制御装置１’に表示するデータが更新され、新たな階層の状態が出力される（ステップＳ３３）。同時に画面選択制御部１５により画面表示も下位階層に更新される（ステップＳ３４）。
【０１１０】
このとき、更新される前と現時の階層および選択オブジェクトの情報は、コマンド変換選択制御部８にメモリされ、次にスイッチが押下されたときのコマンド変換の遷移情報として保存される（ステップＳ３１）。また、前述の、ＣＲキーのほか、移動制御スイッチ群１ｆのＵＰ，ＤＮキー、あるいは選択制御スイッチ群で前の状態に戻るＥＳＣキーなど、階層移動を伴うスイッチが押下された場合にも同様な動作が行われる。
【０１１１】
このように、視覚障害者は、触覚呈示制御装置１’のスイッチを触れることによって、現在画面上に表示されてるＩＳＤＢメニュー画面の選択オブジェクト項目の数や階層の位置を短時間で確認することができ、選択オブジェクトを表すスイッチを押下することで、項目の内容を知ることができ、さらに確認した内容を選択したいときには、制御キー（ＣＲ）を押下することで下位階層の選択オブジェクト項目を上記同様知ることができる。
【０１１２】
従って、短時間に階層概念を理解しながら、情報にアクセスすることが可能である。
・ＥＰＧ機能が選択された場合
次に、本具体例の説明において、ＥＰＧ機能が選択された場合の動作について、以下に図面を用いて説明する。ただし、ＥＰＧ機能とは、表形式で作成された電子番組表により提供される機能である。ただし、本実施形態では、この具体例に適用する表形式のデータを用いた機能をＥＰＧに限定する必要がなく、たとえばデータ放送等により提供された表形式のデータによる機能を含ませることは可能である。以下の説明では、説明の簡略化のため、表形式のデータをすべてＥＰＧとして説明する。
【０１１３】
また、以下の説明において、ＩＳＤＢなど、表形式のデータはそれぞれのセルが行と列との位置情報を有していると仮定する。
【０１１４】
図９において、データ出力部１８、および選択オブジェクト属性データ抽出部３で各セルの情報（以下、セル情報という）が抽出される。このとき、前述の図３で示したように、それぞれのセルは位置情報に対応して行列の配列にメモリされる。
【０１１５】
このような構成において、触覚呈示制御装置１’の機能選択スイッチ群１ａにより、ＥＰＧが選択された場合（図１２のステップＳ１のＥＰＧ）には、図１１の（３）に示すように、列を示すＮ１〜Ｎ４、行を示すＶ７〜Ｖ９、および各セルを表すＳＷ１〜ＳＷ１２が触覚呈示制御装置１’に凸により呈示される（図１４のステップＳ４１）。
【０１１６】
この状態において、まず、ＥＳＣキーが押下されたとき（ステップＳ４２のＹｅｓ）、ステップＳ４９へ移行する。また、ＥＳＣキーが押下されず（ステップＳ４２のＮｏ）、行列を移動させる指示が入力された場合（ステップＳ４３のＹｅｓ）、ステップＳ４７へ移行する。
【０１１７】
さらに、ＥＳＣキーが押下されず（ステップＳ４２のＮｏ）、行例を移動させる指示が入力されず（ステップＳ４３のＮｏ）、各項目を示す（各セルに対応する）ＣＨ／項目スイッチ群１ｇのいずれかのスイッチが押下された場合（ステップＳ４４のＹｅｓ）、前記した階層表示の場合と同様に、押下されたスイッチのコマンドが制御Ｉ／Ｏ部７に送出され、コマンド変換選択制御部８で選択すべきセルの行列位置を指定するコマンドコードに変換され、その後、コマンドコードを基に、階層・表呈示変換バッファ部４より該当するセルの内容のテキストデータを読み込み、点字出力装置１１および／もしくは音声合成装置１２により点字および／もしくは音声で出力する（ステップＳ４５）。
【０１１８】
また、触覚呈示制御装置１’の移動制御スイッチ群１ｆによる動作は、基本的な原理を図３で示した動作と同じとする。即ち、初期状態でＳＷ１に対応するセルの行列位置情報（Ａ１１）がメモリされる。次に、制御スイッチ１ｆで行／列移動のスイッチが押下された場合（ステップＳ４３）、スイッチＳＷ１を基準として、移動した行と列とのセルが新たに割り当てられる。また、変更前のスイッチＳＷ１に対応する表のセルと変換後のセルとの位置を表す情報がコマンド変換選択制御部８に記憶される（ステップＳ４７）。したがって、触覚呈示制御装置１’には、これらの情報と移動制御スイッチの情報とから、図３の（３）に示した位置関係の式をもとに移動後の情報を持ったセルに対応してスイッチが表示される（ステップＳ４８）。
【０１１９】
また、ステップＳ４２において、ＥＳＣキーが入力された場合（ステップＳ４２のＹｅｓ）、コマンド変換選択制御部８で、スイッチ押下前のスイッチＳＷ１に対応するセルの位置（移動指示まえの状態の位置）に変換し（ステップＳ４９）、選択前のデータを呈示する（ステップＳ５０）。さらに、画面選択制御部１５を介し、画面モニタには触覚呈示制御装置に表示された部分をハイライトなどで強調して表示する（ステップＳ４６）。
【０１２０】
このように、たとえば表形式が番組表の場合には、時間が縦軸、放送局が横軸で表され、Ｎ１〜Ｎ４を押下することにより、時間情報を、Ｖ７〜Ｖ９を押下することで、放送局の譲歩が得られ、かつ行と列との交差するスイッチを押下することで、所望の時間および放送局の番組情報を得ることができる。
【０１２１】
また、本方式２によれば、ユーザは手の位置を大きく動かすことなく適切な面積に配置されたこれらのスイッチにより、効率的に表の内容の探索が可能であり、行列の内容を確かめながら、２次元的な探索に近い方法で情報を得ることができる。
【０１２２】
以上、ＩＳＤＢの機能別に本発明の実施例を説明したが、Ｖ１〜Ｖ９は、適宜設定可能なスイッチであり、チャンネルやメインとなるメニュー画面の選択オブジェクトを登録することができる。
【０１２３】
また、これらのスイッチの表面性を変化することにより、触覚のテクスチャ判別による効率的なチャンネルや選択オブジェクトの選択をすることも可能である。
【０１２４】
〔他の実施形態〕
以上の各実施形態では、本発明の触覚呈示制御装置によるデータへのアクセスの方式を説明した。上記各実施形態では、ＩＳＤＢのメニュー画面への適用を示したが、コンピュータにおける階層表示やアイコン、表形式の表示には適用することも可能である。また、触覚呈示には、実呈示型の方式を示したが、オブジェクトの選択機能を有するバーチャルリアリティなどの仮想的な触覚呈示装置や２次元触覚ディスプレイにも本発明による情報アクセスや呈示方式を適用することができる。
【０１２５】
このように、本発明では、選択オブジェクトを選択するスイッチを有し、スイッチは可能機構を有し、選択入力機構とともに触覚へ階層などの情報呈示機能を兼ねることを特徴としている。また、スイッチの配列は行と列とで構成され、行と列と、あるいはスイッチの配列によって選択オブジェクトの項目数や階層を表すことを特徴としている。
【０１２６】
これにより、本発明は、ＩＳＤＢのメニュー画面など視覚的な選択オブジェクトをリモコンのようなスイッチで容易に入力選択させることが可能となり、選択オブジェクトの種類や数、内容、および階層構造を容易に理解させる呈示方法を提供し、番組などの情報に迅速にアクセスできるインタフェース方法を提供することが可能となる。
【０１２７】
【発明の効果】
以上、説明したように、本発明の触覚呈示制御装置および触覚呈示制御方法によれば、ＩＳＤＢのメニュー画面などのＧＵＩ環境において、選択オブジェクトの種類や数、階層構造やＥＰＧのような表形式の情報が、上下可動機構を有するスイッチの表示される配列により、２次元的にやさしく理解できる。さらに、呈示部は入力スイッチと機能とを共有しているので、選択オブジェクトを触覚で確認しながら、スイッチを押下すれば、それぞれの選択オブジェクトの内容は音声と点字とで確認することができる。
【０１２８】
従って、ユーザは所望の情報選択を、リモコンのように容易に選択でき、番組などの情報に迅速にアクセスできるインタフェースが期待できる。
【０１２９】
即ち、請求項１記載の発明によれば、階層構造または表構造のデータから選択オブジェクトを触覚で識別可能に呈示するスイッチを有し、前記スイッチは、前記データが階層構造である場合、階層構造における階層の位置情報を呈示する階層制御スイッチ群と、階層毎のオブジェクトを呈示する階層オブジェクトスイッチ群とを同一呈示面上における各々所定の領域に、前記階層制御スイッチ群を移動させずに前記階層オブジェクトスイッチ群が移動できるように呈示され、前記データが表構造である場合、表構造における行および列のタイトルを呈示する行列制御スイッチ群と、表構造におけるオブジェクトを呈示する表オブジェクトスイッチ群とを同一呈示面上に、前記行列制御スイッチ群を移動させずに前記表オブジェクトスイッチ群が移動できるように呈示され、前記階層制御スイッチ群又は前記行列制御スイッチ群のスイッチは、前記階層オブジェクトスイッチ群又は前記表オブジェクトスイッチ群のスイッチと触覚で識別可能に形成されることを特徴としているため、情報を２次元的に容易に理解させることが可能となる。また、階層を持つ情報や表形式の情報の構成を、容易に理解させることが可能となる。
【０１３１】
また、請求項２記載の発明によれば、さらに、データが階層構造である場合、階層制御スイッチ群と階層オブジェクトスイッチ群とが、触覚により区別されるよう構成され、データが表構造である場合、行列制御スイッチ群と表オブジェクトスイッチ群とが、触覚により区別されるよう構成されることを特徴としているため、触覚による各スイッチ群の識別を容易とすることが可能となる。
【０１３２】
また、請求項３記載の発明によれば、さらに、階層オブジェクトスイッチ群または表オブジェクトスイッチ群における所定の位置を示す基準となるボタンの位置は、触覚により他と区別されるよう構成されることを特徴としているため、触覚による各スイッチの位置の判別を容易とすることが可能となる。
【０１３３】
また、請求項４記載の発明によれば、現在の呈示状態において、押下時にスイッチから発生する固有のコードと、スイッチを用いて触覚で識別可能に呈示している選択オブジェクトと、を対応させて記憶する呈示選択オブジェクト記憶手段と、呈示選択オブジェクト記憶手段に記憶されている選択オブジェクトのリンク先の階層を記憶するリンク先記憶手段と、を有し、固有のコードと、呈示選択オブジェクト記憶手段において固有のコードに対応させて記憶されている選択オブジェクトと、リンク先記憶手段に記憶されている選択オブジェクトのリンク先の階層とに基づいて次に触覚で識別可能に呈示する階層を呈示することを特徴としているため、少ないスイッチ数で、多くの項目や階層構造、表構成を、２次元的に容易に理解させるよう呈示することが可能となる。
【０１３４】
また、請求項５記載の発明によれば、階層構造または表構造のデータから選択オブジェクトの属性情報を抽出する属性情報抽出工程と、該属性情報抽出工程において抽出された前記属性情報に基づいて前記選択オブジェクトにリンク情報を付加するリンク情報付加工程と、前記選択オブジェクトと該選択オブジェクトを触覚で識別可能に呈示しているスイッチの位置との対応を記憶する対応記憶工程とを有し、前記スイッチは、前記データが階層構造である場合には、階層構造における階層の位置情報を呈示する階層制御スイッチ群と、階層毎のオブジェクトを呈示する階層オブジェクトスイッチ群とを同一呈示面上における各々所定の領域に、前記階層制御スイッチ群を移動させずに前記階層オブジェクトスイッチ群が移動できるように呈示され、前記データが表構造である場合には、表構造における行および列のタイトルを呈示する行列制御スイッチ群と、表構造におけるオブジェクトを呈示する表オブジェクトスイッチ群とを同一呈示面上に、前記行列制御スイッチ群を移動させずに前記表オブジェクトスイッチ群が移動できるように呈示され、前記階層制御スイッチ群又は前記行列制御スイッチ群のスイッチは、前記階層オブジェクトスイッチ群又は前記表オブジェクトスイッチ群のスイッチと触覚で識別可能に形成され、前記スイッチの位置に対応して発生するコードを用いて、前記対応記憶工程において記憶された対応から選択オブジェクトを特定し、前記リンク情報付加工程において該選択オブジェクトに付加したリンク情報を特定することを特徴としているため、少ないスイッチ数で、多くの項目や階層構造、表構成を、２次元的に容易に理解させる方法による情報の呈示が可能となる。
【図面の簡単な説明】
【図１】本発明を実現する基本的な触覚呈示制御装置（方式１）の概念図である。
【図２】可動スイッチを電話あるいは電卓のテンキー配置で選択制御する触覚呈示制御装置（方式２）の概念図である。
【図３】電子番組表（ＥＰＧ）などの表形式の情報を触覚呈示制御装置の方式１により表示する方法を表す説明図である。
【図４】電子番組表（ＥＰＧ）などの表形式の情報を触覚呈示制御装置の方式２により表示する方法を表す説明図である。
【図５】（ａ）および（ｂ）はＩＳＤＢでサービスされるメニュー画面の項目と階層構造を模式的に表した説明図である。
【図６】本発明の触覚呈示制御装置の方式１により、ＧＵＩ環境の選択オブジェクトや階層構造を表す方法の説明図である。
【図７】本発明の触覚呈示制御装置の方式２により、ＧＵＩ環境の選択オブジェクトや階層構造を表す方法の説明図である。
【図８】本発明の第１の実施形態による触覚呈示制御装置１でＧＵＩ環境の選択オブジェクトや階層構造、表形式を表示する構成ブロック図である。
【図９】本発明の第２の実施形態による触覚呈示制御装置１’でＩＳＤＢのＴＶチャンネル選択やデータ放送のメニュー画面、ＥＰＧなどの表形式のデータにアクセスする方法の具体例を示す構成ブロック図である。
【図１０】本発明の第２の実施形態による触覚呈示制御装置１’の方式１でＴＶやＥＰＧ、データ放送の初期状態のメニュー画面表示例を示す図である。
【図１１】本発明の第２の実施形態による触覚呈示制御装置１’の方式２でＴＶやＥＰＧ、データ放送の初期状態のメニュー画面表示例を示す図である。
【図１２】本発明の第２の実施形態による触覚呈示制御装置１’によりＩＳＤＢの機能選択とＴＶチャンネル選択を説明するためのフローチャートである。
【図１３】本発明の第２の実施形態による触覚呈示制御装置１’によりＩＳＤＢのデータ放送のメニュー画面の選択オブジェクトへのアクセスと呈示方法とを説明するためのフローチャートである。
【図１４】本発明の第２の実施形態による触覚呈示制御装置１’によりＩＳＤＢのＥＰＧなどの表形式のセルデータへのアクセスと呈示方法とを説明するためのフローチャートである。
【符号の説明】
１、１’ 触覚呈示制御装置
１ａ機能選択スイッチ群
１ｂＣＨ登録／見出しメニュー項目スイッチ群
１ｃ、１ｄＣＨ／項目スイッチ群
１ｅ選択制御スイッチ群
１ｆ移動制御スイッチ群
１ｇ階層制御スイッチ群
２ＧＵＩ画面選択オブジェクトデータ
３選択オブジェクト属性データ抽出部
４階層表示変換バッファ部
５触覚呈示コード変換バッファ部
６触覚呈示データ選択出力部
７制御Ｉ／Ｏ部
８コマンド変換選択制御部
９画面表示モニタ
１０テキストデータ出力
１１点字出力装置
１２音声合成装置
１５画面選択制御部
１６ＣＨ選択部
１７ＩＳＤＢ受信部
１８データ出力部
１９画面表示変換部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a haptic presentation control device and a haptic presentation control method.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, research and development for transmitting information on a screen to visually impaired persons such as selection of icons and operation items or the Internet in a GUI (graphical user interface) environment of a computer has been performed.
[0003]
For example, as a first example, voice-based GUI screen reading software (95 READER, “Development and Evaluation of Windows Screen Reading Software for the Visually Impaired”, Watanabe, Okada, Human Interface 68-7) was put into practical use in 1999. The version has been upgraded to 98 READER, and the screen can be read out by voice / braille output.
[0004]
In the second example, there is a research aiming to convey the GUI environment by tactile and auditory multimodal ("Proposal of pointing device with tactile pin display"; Yamanaka et al., HI Symposium Proceedings 1212). This is a method (screen presentation method) in which a computer icon is tactilely presented by the arrangement and size of the screen itself.
[0005]
In this example, by touching the screen of the LCD with a touch panel, the information of the interactive component displayed at that position is output by voice. Furthermore, a tactile display is mounted on the touch panel, and interactive parts can be touched with a tactile receptor. For example, as a tactile display, 8 × 8 pins are arranged two-dimensionally, one pin corresponds to one dot on the screen, and information in a range of 8 × 8 dots centering on the current pointing coordinates is presented. . In this configuration, the tactile display can be moved on the touch panel as an absolute coordinate system so that a wide range of screen information can be touched.
[0006]
Further, as a third example, there is a research by a method (logical presentation method) in which icons and hierarchies of a computer are converted into a logical format and presented tactilely. In this example, a method of displaying a function and a hierarchical structure of a selected object by using a conventional pin display and combining with the vertical position of the pin, “Graphic user interface for visually impaired” (Japanese Patent Laid-Open No. 10-69218) ) Has been proposed.
[0007]
On the other hand, in digital broadcasting, as a method of accessing data information, a GUI-like format for selecting a desired item from a menu screen is considered. In this format, it is usually possible to select an item by moving the selection cursor up, down, left, or right with the remote controller, and pressing the enter key after the selection cursor moves to the target item.
[0008]
As a fourth example of a method for conveying a menu screen for enabling selection by the cursor to a visually impaired person, in this example, tag items on the screen are displayed by operation of the user's remote control or keywords. Interfaces such as a method of inputting and outputting the contents of selected items in voice or Braille have been proposed ("Development of integrated broadcast receiving terminal for visually impaired people; Sakai et al., HI Symposium '99- 1411 ").
[0009]
[Problems to be solved by the invention]
However, there is currently no effective means by which visually impaired people can operate computers in a GUI environment, and no technology has been established to transmit ISDB (Integrated Digital Broadcasting) menu screens to visually impaired people. However, whether to input / output access is a big issue.
[0010]
Here, when accessing data from a computer icon or a switch on the menu screen of a digital broadcasting that is a GUI environment, the problem is how to tell the arrangement and number of selected objects on the screen, and how to select them. And how to communicate the hierarchical structure and the current position of the hierarchy.
[0011]
The GUI screen transmission by voice or braille such as “98READER” shown in the first example of the prior art is an effective means, but since the voice itself is a means for presenting information in time series, the icon on the screen There is a problem that it takes time to search for selected objects such as items and items. Also, in the presentation of information by voice, it is difficult to understand the arrangement and number of selected objects on the entire screen, and it is difficult to understand and memorize the concept of the hierarchy. There is a problem that it is difficult to grasp the whole picture of the tree structure.
[0012]
In addition, in the screen presentation method that is the second example shown in the prior art, it is necessary to present many selected objects, and it is not easy to search the whole with a tactile sense. Because of the lack of regularity, etc., it is difficult to memorize the position and contents of the object, and there remains a problem in that it is possible to select quickly.
[0013]
On the other hand, in the device according to the invention based on the logical presentation method, which is the third example of the prior art, the hierarchy can be represented by the braille-sized pins, so that the size can be reduced and the search is easy. However, on the other hand, the tactile resolution is limited and sensing is difficult, and the proposed method is not always effective because the hierarchical display rules are complicated and difficult for the user. It was.
[0014]
In addition, although the above is targeted at computers, in broadcasting media such as ISDB, an input function that anyone can select and operate is essential. However, in a data broadcast or the like, the selected object cannot be directly selected by a normal remote controller, and the hierarchical structure cannot be grasped. Further, the voice and Braille output corresponding to the remote control operation shown in the fourth example of the prior art has the same problem as in the first example.
[0015]
As described above, there has been no effective input / output control device that can easily transmit the information structure such as the positional relationship and hierarchy of the selected object in a GUI environment such as an ISDB menu screen or a computer icon.
[0016]
Accordingly, the present invention has been made in view of the above problems, and an object thereof is to provide a haptic presentation control device and a haptic presentation control method that make it possible to easily understand the configuration of information two-dimensionally.
[0017]
[Means for Solving the Problems]
  In order to achieve such an object, the present invention has a switch that presents a selected object in a tactile sense so that it can be identified by tactile sense from hierarchical or tabular data, and the switch has a hierarchical structure when the data is hierarchical.Presents location information of hierarchyHierarchical control switch group and hierarchical object switch group presenting objects for each hierarchy on the same presentation surfaceSo that the hierarchical object switch group can be moved to the predetermined area without moving the hierarchical control switch group.Presented onIsWhen the data has a table structure, a matrix control switch group that presents the titles of the rows and columns in the table structure and a table object switch group that presents the objects in the table structure on the same presentation surface,The table object switch group can be moved without moving the matrix control switch groupPresented onThe switches of the hierarchical control switch group or the matrix control switch group are formed so as to be distinguishable by touch from the switches of the hierarchical object switch group or the table object switch group.It is characterized by that.
[0018]
  As a result, the present invention makes it possible to easily understand information two-dimensionally.In addition, it is possible to easily understand the structure of hierarchical information and tabular information.
[0021]
The present invention is further configured such that when the data has a hierarchical structure, the hierarchical control switch group and the hierarchical object switch group are distinguished by tactile sense, and when the data has a table structure, The table object switch group is configured to be distinguished by tactile sense.
[0022]
Thereby, the present invention can easily identify each switch group by tactile sense.
[0023]
Further, according to the present invention, the position of a button serving as a reference indicating a predetermined position in the hierarchical object switch group or the table object switch group is configured to be distinguished from others by a tactile sense.
[0024]
Thus, the present invention can easily determine the position of each switch by tactile sense.
[0025]
In addition, the present invention provides a presentation selection object storage that stores a unique code generated from a switch at the time of pressing and a selection object that is presented in a tactile sense using the switch in association with each other in the present presentation state. And a link destination storage means for storing the hierarchy of the link destination of the selected object stored in the presentation selection object storage means, and the unique code and the unique code in the presentation selection object storage means are associated with each other. And a hierarchy to be presented next in a tactile sense based on the selection object stored in this way and the link destination hierarchy of the selection object stored in the link destination storage means.
[0026]
As a result, the present invention can present many items, hierarchical structures, and table configurations so that they can be easily understood two-dimensionally with a small number of switches.
[0027]
  Further, the present invention provides an attribute information extraction step of extracting attribute information of a selected object from hierarchical or table structure data, and link information to the selected object based on the attribute information extracted in the attribute information extraction step. A link information adding step for adding, and a correspondence storing step for storing a correspondence between the selected object and the position of the switch presenting the selected object so that the selected object can be identified by tactile sense. If it is a structure, it is a hierarchical structurePresents location information of hierarchyHierarchical control switch group and hierarchical object switch group presenting objects for each hierarchy on the same presentation surfaceSo that the hierarchical object switch group can be moved to the predetermined area without moving the hierarchical control switch group.When the data has a table structure, the matrix control switch group that presents the titles of the rows and columns in the table structure and the table object switch group that presents the objects in the table structure on the same presentation surface,The table object switch group can be moved without moving the matrix control switch groupPresented onThe switch of the hierarchical control switch group or the matrix control switch group is formed so as to be distinguishable by touch with the switch of the hierarchical object switch group or the table object switch group,Identifying a selected object from the correspondence stored in the correspondence storing step using a code generated corresponding to the position of the switch, and identifying link information added to the selected object in the link information adding step; It is a feature.
[0028]
As a result, the present invention can present information by a method for easily understanding two-dimensionally many items, hierarchical structures, and table configurations with a small number of switches.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
[Features of the present invention]
The present invention relates to a haptic presentation control device and a haptic presentation control method.
[0030]
However, in the following embodiments, the present invention is applied to a method of accessing information from a visual object (hereinafter referred to as a selection object) such as a selection button or a table of a menu screen used in integrated digital broadcasting (ISDB). The case where it is applied will be described as an example. Thus, in the present invention, when information is accessed from a selection object used in ISDB, an item can be selected by a selection switch (or button, hereinafter referred to as a switch) such as a remote controller, and an array of switches is used. Thus, it is possible to recognize the number of selected objects and the state of the hierarchy by tactile sense.
[0031]
That is, each embodiment described below relates to a tactile sensation presentation control apparatus that allows visual impairment to access information by searching for a selected object of integrated digital broadcasting (ISDB) by tactile sense. A switch for selecting a selected object is provided. The switch has a movable mechanism, the switch array is composed of an array of rows and columns, and the information such as the number of items and the hierarchy of the selected object is conveyed to the tactile sense according to the array shape and quantity of the convexly displayed switches. At the same time, the switch representing each selected object also serves as an input function, so that information such as a program can be easily and quickly accessed from a visual selection object such as a menu screen of integrated digital broadcasting.
[0032]
More specifically, in order to display ISDB menu screen buttons and hierarchical structure, the selected object or hierarchy is converted into a logical display method of position information on the screen, and the user corresponds to the logical display method. By touching the convexly displayed switch, it is possible to grasp the position and quantity of the selected object in the hierarchy and the hierarchy, and by pressing the displayed selected object switch, the contents can be grasped by voice or Braille. , Allowing quick access to information. In addition, in the display of tabular information, each matrix element (hereinafter referred to as a cell) by row and column is made to correspond to the switch array, and the cell is selected while checking the row and column. It is also configured to transmit the contents of the cell by depressing.
[0033]
With these configurations, it is possible to provide an interface through which a visually impaired person or a deafblind person can access a graphical user interface (GUI) environment.
[0034]
In order to achieve this, the present invention has a switch that operates in a graphical user interface (GUI) that accesses information and presents information, and the hierarchy and visual selection depends on the arrangement, number, and height difference of the switches. It has a configuration that represents the position and number of objects.
[0035]
In addition, the array of switches corresponding to the above-mentioned visual selection objects has a range representing a hierarchy, a range representing a selection object in the hierarchy, and a range representing a row or a column. It has a configuration for grasping the position, number, or hierarchy of objects.
[0036]
Further, the range switch representing the hierarchy and rows and columns and the range switch representing the selected object have a configuration that can be distinguished by changing the shape and roughness of the surface.
[0037]
In addition, a plurality of switches representing a selected object have a configuration in which the reference switch has a different surface property and shape, and even if the switch does not display convexly, this can be detected by tactile sensation using steps or holes around the switch. Have.
[0038]
In addition, the present invention has a function of storing a tree structure such as a link destination of a selection object to be presented by tactile sensation, and has a memory for storing a display state of the selection object. And a function for generating a command for designating a selection object to be presented from the tree structure from the display state of the selection object and unique data at the time of the switch depression. By having this, it has a configuration in which many selected objects and hierarchies are expressed with few switches.
[0039]
The present invention also relates to a method for tactilely presenting a selection object in a GUI environment, a step of extracting attribute data of the selection object, and a conversion step of forming a new hierarchy or table from the extracted attribute data. A data generation step for displaying the selected object in correspondence with the switch arrangement, a step for generating a push switch code, and a step for generating a code for designating the selection object for presenting the hierarchy or table from the push switch. It has the structure which has both.
[0040]
Hereinafter, embodiments of the present invention having such a configuration are described in detail with reference to the drawings.
[0041]
[First Embodiment]
First, a first embodiment of the present invention will be described in detail with reference to the drawings.
[0042]
(Configuration of the first embodiment)
FIG. 1 and FIG. 2 have a movable switch mechanism for a visually selected object such as an ISDB menu screen in the present invention, and presents the selected object from the switch arrangement together with the switch input for selection. FIG. 1 is a diagram showing a concept of a tactile presentation control device, FIG. 1 is a conceptual diagram of a basic tactile presentation control device (method 1) for realizing the present invention, and FIG. 2 is a numeric keypad of a telephone or a calculator. The conceptual diagram of the tactile sense presentation control apparatus (method 2) comprised so that it may be set as the same arrangement | positioning is shown.
[0043]
3 and 4 are diagrams for explaining a method of displaying tabular information such as an electronic program guide (hereinafter referred to as EPG) by the tactile sense presentation control device. FIG. FIG. 4 is a diagram for explaining a case where the present invention is applied to a tactile sense presentation control apparatus 1 and FIG. 4 is a diagram for explaining a case where this is applied to a tactile presentation control apparatus of method 2.
[0044]
Further, FIG. 5A is an explanatory diagram schematically showing items and a hierarchical structure of a menu screen serviced by ISDB, and FIG. 5B is a link of each selected object on the menu screen. It is explanatory drawing showing the hierarchical structure from the prior information.
[0045]
Furthermore, FIGS. 6 and 7 are diagrams for explaining a method of representing a selection object and a hierarchical structure of the GUI environment by the method 1 and the method 2 of the tactile presentation control device of the present invention. FIG. 7 is a diagram for explaining a case where a haptic presentation control device of method 1 is applied, and FIG. 7 is a diagram for explaining a case where a haptic presentation control device of method 2 is applied.
[0046]
Hereinafter, the first embodiment of the present invention will be described in detail with reference to FIGS.
[0047]
・ Configuration of tactile presentation control device
1 and 2, reference numerals 1a to 1e denote a switch group that can move up and down, and is driven by an actuator such as a piezoelectric element, an electromagnetic solenoid, a stepping motor, or a shape memory alloy. In the present embodiment, by using the switch groups 1a to 1e that can move up and down, the selected object, the hierarchical structure, or the configuration in a tabular form is expressed in a convex manner. Each switch also functions as an input switch for information access and control. Furthermore, a switch that does not have a display target (a switch that does not have a corresponding selected object or the like) is driven to a lower position so that it cannot be pressed. In other words, these switches represent the transition destination hierarchy and the titles of the rows and columns in the table, and the selected object together with the input. For example, the switch group 1a is a switch group for selecting a function, and the switch group 1b and the switch group 1g each represent a title of a row and a column (for information having a hierarchical structure, the switch group 1g represents a hierarchy) Switch group 1d is a switch group for representing a selected object, and switch group 1f is a control switch group. In this embodiment, the function is configured to be set separately for each switch group as described above.
[0048]
・ Description of information presentation using tactile sense
An example of a method for presenting and accessing tabular information using the tactile sense presentation control apparatus having such a configuration will be described.
[0049]
..When applied to method 1
FIG. 3 (a) is an example of tabular information used to explain this method, and X1 to Xn and Y1 to Ym are selected objects representing titles of columns and rows, respectively (hereinafter simply referred to as titles). A11 to Amn are selection objects (hereinafter referred to as cells in the table format) designated by rows and columns, and each cell has information.
[0050]
FIG. 3B is an example in the case of using the method 1 according to the tactile sensation presentation control apparatus for presenting the tabular data shown in FIG. In FIG. 3B, V1 to V9 of the switch group 1b present the title rows X1 to Xn in FIG. 3A, and the switch group 1d presents the title columns Y1 to Ym in FIG. The switch group 1d presents the cell contents A11 to Amn in FIG.
[0051]
FIG. 3C shows the positional relationship between each cell in the tabular format and the switch arrangement of the tactile sensation presentation control apparatus according to method 1.
[0052]
In this description, in the tactile sensation presentation control device of method 1, for example, when the switch V3 is pressed, the content of the selected object in the title row X3 is output in audio or Braille, and when the switch N2 is pressed, the content of the selected object in the title column Y2 Is output by voice or braille. Similarly, when the switch SW23 is pressed, the contents of the cell A32 corresponding to the X3 row and the Y2 column are output by voice or Braille.
[0053]
Here, in the example of the tactile sensation presentation control device shown in FIG. 3B, it is not possible to display all of the cells in the tabular format shown in FIG. Therefore, in this example, when the title row n and the title column m are n> 9 and m> 4 in the table format, a part of the cells in the table format can be selected as shown in FIG. The region is configured to be presented to the tactile sense presentation control device. Further, in this configuration, in order to present all the cells, in the present embodiment, the selectable region (presentation region) is moved according to the number of times UP, DN, LF, and RF of the switch group 1f are pressed. This is because, for example, when the DN of the switch group 1f is pressed twice in a state where the cell areas SW11 to SW49 are currently displayed on the tactile presentation control apparatus, the cells presented by the tactile presentation control apparatus This area is changed to SW31 to SW69.
[0054]
..When applied to method 2
Similarly, an example in which a tactile sensation presentation control apparatus according to method 2 is used in presenting tabular information is shown. In the tactile sensation presentation control apparatus according to method 2 exemplified in the present embodiment, display is performed using the movement switches UP, DN, LF, and RF as in method 1, except that the row selection area is smaller than that according to method 1. The area of the cell to be moved can be moved and selected. In this case, it is possible to move each row or column by pressing each switch, but it is more efficient to search by moving it every n rows or m columns. However, this point can also be applied to method 1.
[0055]
FIG. 4 is a method for presenting tabular information by the tactile sense presentation control device of method 2. V7 to V9 correspond to column titles, N1 to N4 correspond to row titles, and SW1 to SW12 correspond to cells.
[0056]
Compared with method 1, the number of cells that can be displayed at one time is small, but there is an advantage that information can be obtained without moving a finger within a limited range. In addition, the principle of information presentation is the same as that in the method 1, and the same structure as that described in the method 1 can be applied to the structure of moving the cell area to be displayed.
[0057]
・ Explanation of hierarchical structure presentation / selection method
Next, the principle of hierarchical structure presentation and selection using the tactile presentation control apparatus according to the present embodiment will be described using a menu screen provided by digital data broadcasting as an example.
[0058]
FIG. 5A shows an example of a menu screen provided in the applied digital data broadcast, and FIG. 5B shows an example of the hierarchical structure of each item in the applied digital data broadcast. FIG. In this configuration, for example, when V2 (weather) is selected from the first menu main menu screen, the second menu V21 to V24 linked to V2 is displayed on the tactile sense presentation control device. Further, when V24 (local weather) is selected in the second layer, menus V241 to V247 (regions, etc.) in the third layer are displayed on the tactile sense presentation control device. In this example, information corresponding to the item selected in the third hierarchy is provided by voice or Braille.
[0059]
..When applied to method 1
FIG. 6 is a schematic diagram for explaining a method of presenting and selecting menu items and a hierarchical structure when the method 1 of the tactile sense presentation control apparatus is used. N1 to N4 represent the depth of the hierarchy to which each item corresponds, and SW11 to SW49 represent the selected object in each hierarchy or the selected selection object in each hierarchy.
[0060]
(1) in FIG. 6 is an initial state in the menu applied in this description, and switches SW11 to SW15 are arranged in the first hierarchy N1 row corresponding to the selected objects V1 to V5 from the menu screen example in FIG. Is displayed in a convex manner, and the fact that there are five selected objects in the first layer is detected by tactile sense. These convexly displayed switches are selected, for example, by pressing a double click (double push) or a single click (single push) + CR (decision) key.
[0061]
Moreover, (2) of FIG. 6 is a figure which shows the presentation content at the time of changing by selecting V2 (SW12) in the 1st hierarchy shown to (1) of FIG. Referring to (2) of FIG. 6, in this case, the tactile sensation presentation control device includes N1 indicating the first hierarchy, SW12 indicating the selected selected object V2, N2 indicating the second hierarchy, and selections existing in the second hierarchy. S21 to S24 indicating the objects V21 to V24 are displayed in a convex manner.
[0062]
Further, when the SW24 switch is pressed in the second hierarchy, as shown in (3) of FIG. 6, the display of the selected objects in the first hierarchy, the second hierarchy, and the first hierarchy remains unchanged. In addition, the display of the selection object in the second hierarchy is only the selected switch SW24, and SW3 to SW37 corresponding to N3 representing the third hierarchy of the transition destination and the seven selection objects V241 to V247 existing in the third hierarchy. And are displayed as convex.
[0063]
Accordingly, when the user presses the switch SW31 as shown in (4) of FIG. 6, since the third hierarchy is the lowest layer, the content of the selected object V241 corresponding to the switch SW31 is finally expressed by voice or Braille. As a result, it is understood by touch that there is no selected object in the fourth layer.
[0064]
In this state, for example, if the ESC key is pressed, it is possible to return to the state of (3) in FIG. If the hierarchical display switch N1 is pressed, the state returns to (1) in FIG. 6 and SW11 to SW15 can be selected.
[0065]
In this way, by tactilely sensing the convex display of the switch, the title and content of the item corresponding to the switch can be obtained by voice or Braille, and visually impaired persons can quickly access information from secondary information. it can.
[0066]
..When applied to method 2
Next, the case where the menu item and hierarchical structure presenting and selecting methods shown in FIG. 5 are performed using the tactile sense presenting control apparatus according to method 2 will be described with reference to FIG.
[0067]
In method 2, the switch arrangement corresponding to the selected object to be displayed is sequentially displayed in numerical order in accordance with the telephone or keyboard number. As a result, visually impaired people and deafblind people can easily and intuitively touch the switch to find the number of items in the hierarchy and the location of items (by handling the keys) such as telephones that are naturally patterned in everyday life. Number).
[0068]
In this case, the switch at position “5” has a structure that is easy to recognize due to protrusions and different surface properties, and even when the number of items is “4” or less and “5” does not protrude, the hole around the switch is raised. It is preferable that the structure be detectable. In addition, the selected objects in each layer are represented by nine switches SW1 to SW9, and when there are ten or more, the objects are presented by making SW0 convex. By comprising in this way, a total of 19 displays are possible. However, as shown in FIG. 7, when the switches SW11 and SW12 are also present, it indicates that the switch SW11 is 10 or more, the switch SW0 is 20 or more, and the switch SW12 is 30 or more. In addition, the combination of the switches SW0, SW11, SW12, for example, by displaying both the switches SW11 and SW12 in a convex manner, it is configured to indicate that there are 40 (10 + 30) or more. It is also possible to do.
[0069]
Similarly to the method 1, since the menu screen in FIG. 5 is positioned in the first layer in the initial state, V1 to V5 exist as selection objects. Therefore, as shown in (1) of FIG. 7, the tactile sensation presentation control device displays N1 representing the first hierarchy and the switches SW1 to SW5 in a convex manner.
[0070]
Furthermore, when the switch SW2 (selected object V2) is selected in the first hierarchy, N2 indicating the second hierarchy is displayed in a convex manner in addition to N1 indicating the first hierarchy, as shown in (2) of FIG. The switches SW1 to SW4 are displayed in a convex manner corresponding to the four selection objects V21 to V24 existing in the second hierarchy.
[0071]
When the switch SW4 (V24) is selected in this state, as shown in (3) of FIG. 7, in addition to N1 and N2 that display the hierarchy, N3 that is the third hierarchy is displayed in a convex manner, and the item content is 7 Two selected objects are projected on the CH / item switch group 1d.
[0072]
Further, here, when the switch SW1 (V241) is selected, the user can obtain the contents of the weather of the third hierarchy, and thereafter, as shown in (4) of FIG. You can know that there is no selected object. If the ESC key is pressed at this time, (3) in FIG. 7 showing the selection object of the third hierarchy is displayed, and if N1 is pressed, the selection object of the first hierarchy is displayed. (1) in FIG. 7 is displayed.
[0073]
In this way, the user can know the current hierarchy and hierarchy structure from the hierarchy switch group 1g, and can know the number of items and the item order of the selected objects existing in the hierarchy in the CH / item switch group 1d two-dimensionally. It is possible to access information easily and quickly from a GUI-like menu screen.
[0074]
(Specific example of the first embodiment)
Next, a configuration example of a basic method capable of presenting selection information, hierarchical structure, and tabular information of a GUI environment by using the tactile presentation control device of the present embodiment, and acquiring and selecting information on the selected object and cell. This will be described with reference to FIG.
[0075]
In FIG. 8, 1 is a tactile sensation presentation control device according to the present embodiment, 2 is GUI screen selection object data (hereinafter referred to as GUI screen selection object data), and the hierarchical position and link destination of the selection object in the GUI environment, It has attribute information such as genre, text data, display position and size on the screen. Reference numeral 3 denotes a selection object attribute data extraction unit that extracts desired attribute information such as a hierarchy and a link destination from information (hereinafter referred to as selection object information) of a selection object of the GUI screen selection object data 2, and 4 is attribute information of the selection object. 3 or FIG. 5, a table / hierarchical structure (also referred to as a hierarchical tree structure) is newly constructed and stored in a hierarchy / table presentation conversion buffer unit, and 5 is a hierarchy / table presentation conversion. A tactile sensation presentation code conversion buffer unit having a data conversion table for associating a selected object to which a table or hierarchical tree structure relationship is added in the buffer unit 4 with a switch position displayed on the haptic presentation control device 1 The tactile sensation presentation control apparatus 1 in the transition destination state from the table format, the hierarchy position, and the selected object existing in the hierarchy Buffered to extract Shimesuru data to output. Reference numeral 6 denotes a haptic presentation data selection output unit that drives the haptic presentation control apparatus 1 in response to the output data obtained by the haptic presentation code conversion buffer unit 5. Reference numeral 7 denotes a control I / O unit, which is an input interface unit of a switch selected and pressed by the tactile sense presentation control device 1. 8 converts the code of the switch pressed by the tactile sense presentation control device 1 into a command that specifies the attribute information of the corresponding selected object, and the hierarchy / table presentation conversion buffer unit 4 and the tactile sense code conversion buffer unit 5 A command conversion selection control unit for operating so as to obtain data to be displayed in a state.
[0076]
That is, the switches in the tactile sensation presentation control device 1 share the input code in various states (the codes generated by the respective switches are unique), so that the selected object cannot be directly designated by all functions. . Therefore, the code input in the command conversion selection control unit 8 is converted into an appropriate command (hereinafter referred to as command code).
[0077]
・ Explanation of operation of concrete example
Hereinafter, the operation of the specific example of the present embodiment described above will be described by applying a tactile sensation presentation control apparatus according to method 2.
[0078]
In this specific example, the menu having the hierarchical structure shown in FIG. 5 is applied. Therefore, as shown in (1) of FIG. 7, in the initial state, the switches SW1 to SW5 and N1 of the tactile presentation control device 1 are displayed as convex as the selected object information of the first hierarchy.
[0079]
Here, when one of the convexly displayed switches is pressed, the control I / O unit 7 detects a code unique to the pressed switch. In the GUI screen selection object data 2, a corresponding selection object is designated based on the detected code. Further, on the screen display monitor 9, the designated selected object is displayed by highlighting or highlighting expression such as red / yellow characters.
[0080]
On the other hand, the code of the pressed switch (hereinafter referred to as a “press switch”) is also sent from the control I / O unit 7 to the command conversion selection control unit 8. Here, referring to the attribute information of the selected object that is displayed before the switch is pressed, as shown above, this hierarchical structure information, link information, etc. should be presented to the tactile sense presentation control device 1 The data is converted into a code and transmitted to the hierarchy / table presentation conversion buffer unit 4.
[0081]
On the other hand, the hierarchy / table presentation conversion buffer unit 4 specifies display data to be displayed on the tactile presentation control device 1 from the command code, and outputs this to the tactile presentation code conversion buffer unit 5. The tactile presentation code conversion buffer unit 5 generates data corresponding to the tactile presentation based on the input display data and outputs the data to the tactile presentation data selection output unit 6.
[0082]
Based on the input data, the tactile sensation presentation data selection / output unit 6 drives a switch in the haptic presentation control apparatus 1 and displays the requested information (structure information in the transition destination hierarchy) to the user. .
[0083]
[Second Embodiment]
Next, as a second embodiment of the present invention, a case where the tactile sense presentation control device according to the present invention is applied to data broadcasting will be described in detail with reference to FIGS. 9 to 11 and FIGS.
[0084]
(Configuration of Second Embodiment)
FIG. 9 shows a configuration for accessing data by displaying a method for selecting a TV channel from ISDB, a method for displaying and selecting a menu screen selection object for data broadcasting, or tabular information such as EPG in this embodiment. It is a block diagram showing an example.
[0085]
In FIG. 9, 17 is an ISDB receiving unit that receives data broadcasting, and 18 is a data output unit that extracts and outputs digital broadcasting format BML (Broadcasting Mark Up Language) from the received data. One output of the data output unit 18 is input to the screen display conversion unit 19. The screen display conversion unit 19 decodes the input data and displays it on the screen display monitor 9. The other output of the data output unit 18 is input to the selected object attribute data extracting unit 3, and attribute information such as the hierarchical position and link destination of each selected object constituting the menu screen is extracted from the input data. The
[0086]
Further, the hierarchy / table presentation conversion buffer unit 4 newly creates a hierarchical tree configuration or a table format based on the attribute information of the selected object extracted by the selected object attribute data extraction unit 3, and holds this.
[0087]
The command conversion selection control unit 8 receives the code of the switch pressed by the tactile sense presentation control device 1 ′ via the control I / O unit 7, and specifies the command code that specifies the selection object to be presented from this code. . However, since the switch of the tactile sensation presentation control device 1 ′ shares the input code in various states as described above, it is not possible to directly specify the selected object with all functions. Therefore, the command conversion is performed by the attribute of the selected object of the hierarchy or table displayed before the switch is pressed according to the function of the TV, data broadcast, EPG, or data broadcast included in ISDB, or the display of the table or hierarchy. Information is referred to and executed based on a conversion table registered in advance.
[0088]
The command code converted in this way is input to the hierarchy / table presentation conversion buffer unit 4, and the selected object to be displayed in the transition destination state is specified based on the relationship between the table and the hierarchy tree structure. In addition, the selected object specified in this way is input to the tactile sensation presentation code conversion buffer unit 5, and the data conversion table is referred to extract data for displaying each selected object on the haptic presentation control apparatus 1 ′. The However, the text information of the selected object designated in the hierarchy / table presentation conversion buffer unit 4 is buffered in the text data output 10 and output in the braille output device 11 and the speech synthesizer 12.
[0089]
Further, the tactile presentation data selection output unit 6 drives a switch in the tactile presentation control device 1 ′ based on the data input from the tactile presentation code conversion buffer unit 5, and information requested by the user (in the transition destination hierarchy). Structure information) display.
[0090]
However, in this structure, the same code | symbol is attached | subjected to the structure similar to the tactile sense presentation control apparatus 1 by 1st Embodiment.
[0091]
(Specific example of the second embodiment)
Hereinafter, an example of an operation when the tactile presentation control device 1 ′ according to the present embodiment is actually used will be described using the tactile presentation control device 1 ′ according to the method 2.
[0092]
In FIG. 9, 1a is a function selection switch group for selecting functions such as TV, data broadcasting, and electronic program guide (EPG) provided by ISDB, and 1b displays a column display object in a tabular configuration. CH registration / heading menu for selecting a channel (CH) registered on the TV and a selection object of the menu screen of the data broadcasting in the TV and data broadcasting functions, respectively. Item switch group. Reference numeral 1d denotes a CH / item switch group that provides the user with display contents (selected objects) and options for the function selected by the function selection switch group 1a. For example, when a TV function is selected, the TV channel to be selected is selected. When the data broadcasting function is selected, the items of each layer related to the heading menu item are displayed, and when the function in the tabular format such as EPG is selected, the cell in the tabular data is represented. Reference numeral 1e denotes a selection control switch group for inputting various selections, execution of the selected item, or cancellation of the selected item. 1f denotes a row or column of the table indicated by the CH / item switch group 1d. A group of movement control switches for inputting an instruction to move the display area. 1g is a group of hierarchy control switches for displaying and selecting a hierarchy. 1c is included in 1b. A column display switch group for displaying a title column in a tabular data structure when specified.
[0093]
・ Explanation of operation of concrete example
In addition, since the operation when the tactile presentation control device according to method 1 is applied is substantially included when method 2 is applied, the following description includes the operation when method 2 is applied.
[0094]
..When TV function is selected
First, in the description of this specific example, the operation when the TV function is selected will be described below with reference to the drawings. However, the TV function is a function for selecting a TV channel.
[0095]
Referring to FIG. 12, in this operation, first, a switch “TV” for designating a TV function is pressed and selected by the user in the function selection switch group 1a of the tactile sense presentation control device 1 ′ (TV in step S1).
[0096]
As described above, when “TV (switch for selecting a TV function)” is selected from the function selection switch group 1a in the tactile presentation control device 1 ′ of FIG. The function is executed (step S2). In this execution, the control I / O unit 7 specifies a command code for causing the haptic display control device 1 ′ to function as a TV channel remote controller from the TV function execution command input from the haptic display control device 1 ′. This is output to the tactile sensation presentation code conversion buffer unit 5. On the other hand, the tactile sensation presentation code conversion buffer unit 5 specifies a channel to be presented to the user from the command code from a table stored in advance, and outputs this to the haptic presentation data selection output unit 6. Further, the tactile sensation presentation data selection output unit 6 drives a switch in the tactile sensation presentation control device 1 ′ based on the data input from the haptic presentation code conversion buffer unit 5, and presents the TV channel number to the user. However, for example, when there are channels from 1ch to 12ch, and there are channels where the program is not broadcast, such as 5ch, the channel where the program is not broadcast is not displayed so as not to be presented to the user. It is also possible to do. This can be solved by configuring the code conversion table in the tactile sensation presentation code conversion buffer unit 5 so that a channel in which no program exists is not convexly displayed.
[0097]
Through these operations, the TV channels are assigned to the CH / item switch groups SW1 to SW12 of the tactile presentation control device 1 ′ as shown in (1) of FIG. (Step S5). However, at this stage, the tactile sensation presentation control device 1 ′ according to the method 1 is also convexly displayed in the same arrangement.
[0098]
When the initial state of the TV function is presented to the tactile sense presentation control device 1 ′ in this way, the user presses one of the presented channels or the ESC key (step S6). . Here, when one of the channel switches is pressed by the user (CH in step S6), the control I / O unit 7 detects this input, and then selects a code corresponding to the input channel as the CH selection unit. 16 (step S7). On the other hand, when the ESC key is pressed (ESC in step S6), the process returns to step S1 and waits for the user to select a function.
[0099]
For the input channel, the following two methods can be considered as the operation of this embodiment. First, as shown in a in the flowchart of FIG. 12, when a switch of a desired channel is pressed (CH in step S6), the code assigned to the switch is detected by the control I / O unit 7 (step S7). ), The channel of the ISDB receiver 17 is directly controlled via the CH selector 16 (step S12). The other one is that the code detected by the control I / O unit 7 is input to the command conversion selection control unit 8 for channel selection by the command conversion selection control unit 8 as indicated by b in the flowchart of FIG. Is converted into a command code (hereinafter referred to as a channel selection command code) (step S7).
[0100]
In the latter method, a channel selection command code is input to the hierarchy / table presentation conversion buffer unit 4, and a selection object indicating a channel is designated here. Further, the contents of the designated selected object are extracted as text data by the text data output unit 10, and are output in Braille and / or voice by the Braille output device 11 and / or the speech synthesizer 12 (step S8). However, as the above text data, the number indicating the selected channel, the name of the corresponding TV company, the program name of the currently broadcast program and the program content (subtitle, performer, broadcast time, etc.), etc. Is mentioned.
[0101]
After confirming the text data output in this way, when the user presses the enter key (CR) (CR in step S9), this is detected by the control I / O unit 7 (step S10), and the CH selection unit 16 The reception channel of the ISDB reception unit 17 is controlled (step S11), and the process returns to step S6. On the other hand, when the ESC key is pressed by the user (ESC in step S9), the selected content is discarded (step S13), and the process returns to step S6.
[0102]
..When data broadcasting function is selected
Next, in the description of this specific example, the operation when the data broadcasting function is selected will be described below with reference to the drawings. However, the data broadcasting function is a function provided by digital data broadcasting. In this specific example, the hierarchical structure shown in FIG. 5 is applied.
[0103]
12 and 13, when the data broadcast (DT) is selected from the function selection switch group 1a in the tactile sense presentation control device 1 ′ shown in FIG. 9 (DT in step S1), the hierarchical structure illustrated in FIG. Then, as shown in (2) of FIG. 11, the menu screen represented by the first layer is displayed on the tactile sense presentation control device 1 ′ as the tactile array initial setting (step S21 in FIG. 13).
[0104]
Next, when the ESC key or the UP key is input by the user (Yes in step S22), the hierarchy / presentation conversion buffer unit 4 determines whether or not a hierarchy higher than the current level exists (step S28). In this determination, if there is no higher hierarchy (No in step S28), the process returns to step S1 and waits for the function to be selected. On the other hand, if there is a higher hierarchy than the current level (Yes in step S28), the process proceeds to step S29.
[0105]
If the ESC key and the UP key are not pressed in step S22 (No in step S22) and the hierarchy movement key, the CR key, or the DN key is pressed (Yes in step S23), the process proceeds to step S29. However, the hierarchy movement key here is a switch included in the hierarchy control switch group 1g in the tactile sense presentation control device 1 'of FIG.
[0106]
Further, the ESC key and the UP key are not pressed in step S22 (No in step S22), and the hierarchy movement key, the CR key, and the DN key are not pressed in step S23 (No in step S23), and the CH / item switch When one of the switches corresponding to the selected object in the group 1d is pressed (Yes in step S24), the code of the assigned switch is detected by the control I / O unit 7, and the command conversion selection control unit 8 The command code for selecting the pressed selection object is converted, and the selection object corresponding to the command code is selected in the hierarchy / table presentation conversion buffer unit 4 (step S25).
[0107]
Thereafter, the text data of the selected object designated in step S25 is sent to the text data output unit 10, and the contents are output to the braille output device 11 and the speech synthesizer 12 (step S26). At this time, the tactile sensation presentation code conversion buffer unit 5 does not perform data conversion. That is, in the flow from step S24 to step S26, the hierarchy is not moved, but a comment for confirmation is notified to the user when the hierarchy is moved.
[0108]
Further, the screen display control unit 15 controls screen display such as highlighting the selected selected object (step S27).
[0109]
On the other hand, after confirming the contents by pressing the switch from step S24 to step S27, the process returns to step S22. For example, when the determination key (CR key) is continuously pressed (Yes in step S23), command conversion is performed. The selection control unit 8 generates a selection decision command code, and the hierarchy / table presentation conversion buffer unit 4 designates display data of a lower hierarchy in which the selected selected object exists (step S30), and presents the tactile sense. The data displayed on the tactile sense presentation control device 1 ′ is updated in the code conversion buffer unit 5, and the state of the new hierarchy is output (step S33). At the same time, the screen display control unit 15 updates the screen display to a lower hierarchy (step S34).
[0110]
At this time, the information of the hierarchy and the selection object before and at the time of the update are stored in the command conversion selection control unit 8 and are stored as command conversion transition information when the switch is pressed next (step S31). . Further, in addition to the above-described CR key, the same applies when a switch accompanying hierarchical movement is pressed, such as the UP and DN keys of the movement control switch group 1f or the ESC key for returning to the previous state in the selection control switch group. Operation is performed.
[0111]
In this way, a visually handicapped person can confirm the number of selected object items and the position of the hierarchy in the ISDB menu screen currently displayed on the screen in a short time by touching the switch of the tactile sense presentation control device 1 ′. By pressing the switch representing the selected object, the contents of the item can be known, and when selecting the confirmed contents, the selected object item in the lower hierarchy can be changed by pressing the control key (CR). I can know.
[0112]
Therefore, it is possible to access information while understanding the hierarchical concept in a short time.
・ When EPG function is selected
Next, in the description of this specific example, the operation when the EPG function is selected will be described below with reference to the drawings. However, the EPG function is a function provided by an electronic program guide created in a table format. However, in this embodiment, it is not necessary to limit the function using tabular data applied to this specific example to EPG, and it is possible to include a function based on tabular data provided by data broadcasting, for example. It is. In the following description, for the sake of simplicity, all tabular data will be described as EPG.
[0113]
In the following description, it is assumed that data in a tabular format such as ISDB has position information of rows and columns in each cell.
[0114]
In FIG. 9, information of each cell (hereinafter referred to as cell information) is extracted by the data output unit 18 and the selected object attribute data extraction unit 3. At this time, as shown in FIG. 3 described above, each cell is stored in a matrix array corresponding to the position information.
[0115]
In such a configuration, when an EPG is selected by the function selection switch group 1a of the tactile sense presentation control device 1 ′ (EPG in step S1 in FIG. 12), as shown in FIG. N1 to N4 indicating V, V7 to V9 indicating rows, and SW1 to SW12 indicating each cell are presented in a convex manner on the tactile sense presentation control device 1 ′ (step S41 in FIG. 14).
[0116]
In this state, first, when the ESC key is pressed (Yes in step S42), the process proceeds to step S49. If the ESC key is not pressed (No in step S42) and an instruction to move the matrix is input (Yes in step S43), the process proceeds to step S47.
[0117]
Further, the ESC key is not pressed (No in step S42), an instruction to move the row example is not input (No in step S43), and each item (corresponding to each cell) of the CH / item switch group 1g is displayed. If any switch is pressed (Yes in step S44), the command of the pressed switch is sent to the control I / O unit 7 as in the case of the hierarchical display described above, and the command conversion selection control unit 8 It is converted into a command code that designates the matrix position of the cell to be selected, and thereafter, based on the command code, the text data of the content of the corresponding cell is read from the hierarchy / table presentation conversion buffer unit 4, and the braille output device 11 and / or Alternatively, the voice synthesizer 12 outputs in Braille and / or voice (step S45).
[0118]
Further, the operation by the movement control switch group 1f of the tactile sense presentation control device 1 'is the same as the operation shown in FIG. That is, the cell matrix position information (A11) corresponding to SW1 is stored in the initial state. Next, when the row / column movement switch is pressed by the control switch 1f (step S43), the cell of the moved row and column is newly assigned with reference to the switch SW1. Further, information indicating the position of the table cell corresponding to the switch SW1 before change and the cell after conversion is stored in the command conversion selection control unit 8 (step S47). Therefore, the tactile sensation presentation control device 1 ′ corresponds to the cell having the information after the movement based on the positional relation formula shown in (3) of FIG. 3 from the information and the information of the movement control switch. Then, a switch is displayed (step S48).
[0119]
If the ESC key is input in step S42 (Yes in step S42), the command conversion selection control unit 8 determines the position of the cell corresponding to the switch SW1 before the switch is pressed (position before the movement instruction). Conversion is performed (step S49), and data before selection is presented (step S50). Further, the portion displayed on the tactile sensation presentation control device is highlighted on the screen monitor via the screen selection control unit 15 (step S46).
[0120]
Thus, for example, when the table format is a program guide, the time is represented on the vertical axis and the broadcasting station is represented on the horizontal axis. By pressing N1 to N4, time information is pressed by pressing V7 to V9. The broadcast station concession is obtained, and the desired time and broadcast station program information can be obtained by pressing a switch where the row and column intersect.
[0121]
Further, according to the present method 2, the user can efficiently search the contents of the table by using these switches arranged in an appropriate area without largely moving the position of the hand, while checking the contents of the matrix. Information can be obtained by a method close to a two-dimensional search.
[0122]
Although the embodiments of the present invention have been described according to ISDB functions, V1 to V9 are switches that can be set as appropriate, and can register channels and main menu screen selection objects.
[0123]
Also, by changing the surface properties of these switches, it is possible to select channels and selection objects efficiently by tactile texture discrimination.
[0124]
[Other Embodiments]
In each of the above embodiments, the method of accessing data by the haptic display controller of the present invention has been described. In each of the above embodiments, application to the ISDB menu screen has been shown, but application to hierarchical display, icons, and tabular display in a computer is also possible. In addition, the actual presentation type method has been shown for the tactile presentation, but the information access and presentation method according to the present invention is also applied to a virtual tactile presentation device such as a virtual reality having an object selection function and a two-dimensional tactile display. can do.
[0125]
As described above, the present invention has a switch for selecting a selected object, the switch has a possible mechanism, and also has a function of presenting information such as a hierarchy to a tactile sense together with a selection input mechanism. The switch array is composed of rows and columns, and the number of items and the hierarchy of the selected object are represented by the rows and columns or the switch array.
[0126]
As a result, the present invention makes it possible to easily input and select a visually selected object such as an ISDB menu screen with a switch such as a remote controller, and easily understand the type, number, content, and hierarchical structure of the selected object. It is possible to provide a presentation method that allows the user to quickly access information such as a program.
[0127]
【The invention's effect】
As described above, according to the haptic presentation control device and the haptic presentation control method of the present invention, in the GUI environment such as the ISDB menu screen, the type and number of selected objects, the hierarchical structure, and the tabular format such as EPG are used. Information can be easily understood two-dimensionally by the displayed arrangement of switches having a vertically movable mechanism. Furthermore, since the presenter shares the function with the input switch, if the switch is pressed while checking the selected object by touch, the contents of each selected object can be confirmed by voice and braille.
[0128]
Therefore, the user can easily select desired information selection like a remote controller, and an interface that can quickly access information such as programs can be expected.
[0129]
  That is, according to the first aspect of the present invention, the switch has a switch for presenting the selected object in a tactile sense from the data of the hierarchical structure or the table structure, and the switch has a hierarchical structure when the data is a hierarchical structure.Presents location information of hierarchyHierarchical control switch group and hierarchical object switch group presenting objects for each hierarchy on the same presentation surfaceSo that the hierarchical object switch group can be moved to the predetermined area without moving the hierarchical control switch group.Presented onIsWhen the data has a table structure, a matrix control switch group that presents the titles of the rows and columns in the table structure and a table object switch group that presents the objects in the table structure on the same presentation surface,The table object switch group can be moved without moving the matrix control switch groupPresented onThe switches of the hierarchical control switch group or the matrix control switch group are formed so as to be distinguishable by touch from the switches of the hierarchical object switch group or the table object switch group.Therefore, information can be easily understood two-dimensionally. In addition, it is possible to easily understand the structure of hierarchical information and tabular information.
[0131]
  Claims2According to the described invention, when the data has a hierarchical structure, the hierarchical control switch group and the hierarchical object switch group are configured to be distinguished by tactile sense, and when the data has a table structure, the matrix control switch group And the table object switch group are configured to be distinguished from each other by tactile sense, so that it is possible to easily identify each switch group by tactile sense.
[0132]
  Claims3According to the described invention, since the position of the button serving as a reference indicating a predetermined position in the hierarchical object switch group or the table object switch group is further configured to be distinguished from others by tactile sense, It becomes possible to easily determine the position of each switch by tactile sense.
[0133]
  Claims4According to the described invention, in the current presentation state, the unique selection code generated from the switch at the time of pressing and the selection object that is presented so as to be identifiable by touch using the switch are stored in association with each other. Storage means and link destination storage means for storing the hierarchy of the link destination of the selected object stored in the presentation selection object storage means, and corresponds to a unique code and a unique code in the presentation selection object storage means Since it is characterized by presenting a hierarchy to be presented next by tactile sense based on the selection object stored and the link destination hierarchy of the selection object stored in the link destination storage means, Presenting many items, hierarchical structures, and table structures so that they can be easily understood two-dimensionally with a small number of switches. It can become.
[0134]
  According to the invention described in claim 5, the attribute information extraction step of extracting the attribute information of the selected object from the data of the hierarchical structure or the table structure, and based on the attribute information extracted in the attribute information extraction step A link information adding step for adding link information to the selected object; and a correspondence storage step for storing a correspondence between the selected object and the position of the switch presenting the selected object so as to be identifiable by touch. If the data has a hierarchical structure, the hierarchical structurePresents location information of hierarchyHierarchical control switch group and hierarchical object switch group presenting objects for each hierarchy on the same presentation surfaceSo that the hierarchical object switch group can be moved to the predetermined area without moving the hierarchical control switch group.When the data has a table structure, the matrix control switch group that presents the titles of the rows and columns in the table structure and the table object switch group that presents the objects in the table structure are on the same presentation surface. ,The table object switch group can be moved without moving the matrix control switch groupPresented onThe switch of the hierarchical control switch group or the matrix control switch group is formed so as to be distinguishable by touch with the switch of the hierarchical object switch group or the table object switch group,Identifying a selected object from the correspondence stored in the correspondence storing step using a code generated corresponding to the position of the switch, and identifying link information added to the selected object in the link information adding step; Since it is a feature, it is possible to present information by a method in which a large number of items, a hierarchical structure, and a table structure are easily understood two-dimensionally with a small number of switches.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram of a basic tactile sensation presentation control apparatus (method 1) for realizing the present invention.
FIG. 2 is a conceptual diagram of a tactile sensation presentation control device (method 2) that selectively controls a movable switch by using a numeric keypad of a telephone or a calculator.
FIG. 3 is an explanatory diagram showing a method of displaying tabular information such as an electronic program guide (EPG) by the method 1 of the tactile sense presentation control device.
FIG. 4 is an explanatory diagram showing a method of displaying tabular information such as an electronic program guide (EPG) by the method 2 of the tactile sense presentation control device.
FIGS. 5A and 5B are explanatory diagrams schematically showing items and a hierarchical structure of menu screens serviced by ISDB. FIGS.
FIG. 6 is an explanatory diagram of a method for representing a selection object and a hierarchical structure of a GUI environment by the method 1 of the tactile presentation control device of the present invention.
FIG. 7 is an explanatory diagram of a method of representing a selection object and a hierarchical structure of a GUI environment by the method 2 of the tactile presentation control device of the present invention.
FIG. 8 is a configuration block diagram for displaying a selection object, a hierarchical structure, and a table format of a GUI environment in the tactile sensation presentation control apparatus 1 according to the first embodiment of the present invention.
FIG. 9 is a block diagram showing a specific example of a method for accessing data in a tabular format such as an ISDB TV channel selection, a data broadcast menu screen, and an EPG in the tactile sense presentation control apparatus 1 ′ according to the second embodiment of the present invention. FIG.
FIG. 10 is a diagram showing a menu screen display example in an initial state of TV, EPG, and data broadcasting by the method 1 of the tactile presentation control device 1 ′ according to the second embodiment of the present invention.
FIG. 11 is a diagram showing a menu screen display example in an initial state of TV, EPG, and data broadcasting by the method 2 of the tactile presentation control device 1 ′ according to the second embodiment of the present invention.
FIG. 12 is a flowchart for explaining ISDB function selection and TV channel selection by the tactile sense presentation control device 1 ′ according to the second embodiment of the present invention;
FIG. 13 is a flowchart for explaining access to a selected object on a menu screen of ISDB data broadcasting and a presentation method by the tactile sense presentation control apparatus 1 ′ according to the second embodiment of the present invention.
FIG. 14 is a flowchart for explaining access to a table format cell data such as EPG of ISDB and a presentation method by the tactile sense presentation control apparatus 1 ′ according to the second embodiment of the present invention.
[Explanation of symbols]
1, 1 'tactile display control device
1a Function selection switch group
1b CH registration / heading menu item switch group
1c, 1d CH / item switch group
1e Selection control switch group
1f Movement control switch group
1g Hierarchical control switch group
2 GUI screen selection object data
3 Selected object attribute data extraction part
4 layer display conversion buffer
5 Tactile presentation code conversion buffer
6 Tactile presentation data selection output section
7 Control I / O section
8 Command conversion selection controller
9 Screen display monitor
10 Text data output
11 Braille output device
12 Speech synthesizer
15 Screen selection control unit
16 CH selector
17 ISDB receiver
18 Data output section
19 Screen display converter

Claims

It has a switch that presents a selected object in a tactile sense from hierarchical or tabular data,
The switch is
When the data has a hierarchical structure, a hierarchical control switch group that presents hierarchical position information in the hierarchical structure, and a hierarchical object switch group that presents objects for each hierarchical layer, in each predetermined area on the same presentation surface , the hierarchical object switch group is presented so as to be moved without moving the hierarchical control switch group,
When the data has a table structure, the matrix control switch group that presents the titles of the rows and columns in the table structure and the table object switch group that presents the objects in the table structure on the same presentation surface, the matrix control switch group The table object switch group is presented so that it can be moved without moving
The tactile presentation control device according to claim 1, wherein the switches of the hierarchical control switch group or the matrix control switch group are formed so as to be distinguishable by tactile sense from the switches of the hierarchical object switch group or the table object switch group .

When the data has a hierarchical structure, the hierarchical control switch group and the hierarchical object switch group are configured to be distinguished by tactile sense, and when the data has a table structure, the matrix control switch group and the table object The tactile sense presentation control device according to claim 1, wherein the switch group is configured to be distinguished by tactile sense.

The tactile sensation presentation according to claim 1 or 2, wherein a position of a button serving as a reference indicating a predetermined position in the hierarchical object switch group or the table object switch group is configured to be distinguished from others by a tactile sense. Control device.

A presenting selection object storage means for storing a unique code generated from a switch when pressed and a selection object that can be identified by tactile sense using the switch in association with each other; and the presenting Link destination storage means for storing the hierarchy of the link destination of the selected object stored in the selected object storage means, and corresponding to the unique code and the unique code in the presentation selection object storage means The present invention presents a hierarchy to be presented next in a tactile sense based on the stored selection object and the link destination hierarchy of the selection object stored in the link storage means. Item 4. The tactile sense presentation control device according to any one of Items 1 to 3.

An attribute information extraction step of extracting attribute information of the selected object from the data of the hierarchical structure or the table structure;
A link information adding step for adding link information to the selected object based on the attribute information extracted in the attribute information extracting step;
A correspondence storage step for storing correspondence between the selected object and the position of the switch presenting the selected object in a tactile sense;
The switch is
When the data has a hierarchical structure, a hierarchical control switch group that presents hierarchical position information in the hierarchical structure and a hierarchical object switch group that presents objects for each hierarchical layer are placed in predetermined areas on the same presentation surface. , Presented so that the hierarchical object switch group can move without moving the hierarchical control switch group ,
When the data has a table structure, a matrix control switch group that presents the titles of the rows and columns in the table structure and a table object switch group that presents the objects in the table structure on the same presentation surface, the matrix control Presented so that the table object switch group can be moved without moving the switch group ,
The switch of the hierarchical control switch group or the matrix control switch group is formed so as to be distinguishable by touch with the switch of the hierarchical object switch group or the table object switch group,
Identifying a selected object from the correspondence stored in the correspondence storing step using a code generated corresponding to the position of the switch, and identifying link information added to the selected object in the link information adding step; A tactile sensation presentation control method.