JP6172748B2 - 電気触覚提示装置およびプログラム並びに記録媒体 - Google Patents

Description

本発明は、電気触覚ディスプレイに関するものである。

従来、スマートタッチと呼ばれる電気触覚ディスプレイが知られている（例えば非特許文献１参照）。スマートタッチの使用例を図１に示した。２００はユーザの指、２１０はスマートタッチ、２２０は対象となる表面、例えば紙である。スマートタッチ２１０は、紙２２０に描かれた黒い点や線を電気刺激で指２００に伝える。例えば、紙２２０に黒い点が描かれている場合、スマートタッチ２１０は指２００に点状の電気刺激を与える。また、紙２２０に黒い線が描かれている場合、スマートタッチ２１０は指２００に線状の電気刺激を与える。このように、スマートタッチ２１０は、対象としている表面、紙２２０に描かれている情報を電気刺激に変換して指２００に伝えるデバイスである。

図２は、スマートタッチ２１０の概略構成図である。３００は指に電気刺激を与える電極、３０１は電極部を固定する基盤、３０２は電極３０１への電流を制御する開閉用集積回路、３０３は光センサの出力を選択するチャンネル選択部、３０４はチャンネル選択部３０３を固定する基盤、３０５は光を集光し、その光量に応じた電圧を出力する光センサアレイである。また、図中に記されていないがスマートタッチに電力を供給する電力源，光センサアレイの出力をチャンネル選択部を介して受け取り電気刺激信号に変換するメインコントローラが存在する。次に、スマートタッチ２１０の動作についてその概要を説明する。まず、光センサアレイ３０５は集光した光量に応じて出力電圧を変化させる。次に、チャンネル選択部３０３は光センサアレイ回路３０５の１チャンネルを選択し，電圧値をメインコントローラに送信する。開閉用集積回路３０２はメインコントローラが設定した電圧を電極３００へ供給する。最後に電極３００はその電圧を指２００へ伝える。

このスマートタッチ２１０をスマートフォンのディスプレイ部に設置したデバイスは、視覚障害者が利用可能なデバイスとなる。図３はスマートタッチ２１０をスマートフォンのディスプレイ部に設置した様子を表している。３０６はスマートフォンのディスプレイ部、３０７はスマートフォンの筐体、３０８はカメラである。図４は使用例である。３０９はスマートフォンである。ユーザはスマートタッチ２１０を通じて、スマートフォン３０９のディスプレイに描画された濃淡情報を電気刺激として知覚する。

図５は、このスマートタッチ２１０をスマートフォンのディスプレイ部に設置したデバイスの機能ブロック図である。このデバイスは、スマートフォン４００と、スマートタッチ４０７で構成されている。さらにスマートフォン４００を構成する４０１はスマートフォンの撮像部、４０２は４０１が撮影した画像に対して処理を施す画処理部である。４０３はユーザの指などの接触を検出し、その接触状況を後述４０４へ送信する接触検出部、４０４は４０３から送られてくる情報に応じてアプリケーションの処理内容を変更するアプリ部である。４０５はアプリ部４０４からの情報と、画処理部４０２からの画像情報を合成する画像合成部、４０６は画像合成部が合成した画像を表示する液晶ディスプレイなどで構成された表示部である。４０８は表示部４０６が表示する情報を取得する光センサアレイなどで構成された撮像部である。４０９は撮像部４０８が撮影した情報に処理を施す処理部である。４１０は処理部４０９が生成する情報に応じて電気刺激を提示する提示部である。

次に、図７に示したフローチャートを参照して、スマートタッチ２１０をスマートフォンのディスプレイ部に設置したデバイスの動作の流れを説明する。処理が開始されると（S４００）、撮像部４００は外界をビット深度８ビットで撮影し（S４０１）、画処理部４０２はその撮影した画像を現像する（S４０２）。次に、接触検出部４０３は外界からの接触状況を検出し（S４０３）、アプリ部４０４は接触検出部４０３から送信される情報に応じて文字列等を生成する（S４０４）。画像合成部４０５は、アプリ部４０４から送信される文字列等と、画処理部４０２から送信される画像を合成する。例えば画像上に文字列を合成する（S４０５）。そして、表示部４０６は画像合成部から送信される画像をディスプレイに表示する（S４０６）。ここまでが、スマートフォンの動作の流れである。次に、スマートタッチの動作の流れを説明する。撮像部４０８は表示部４０６に表示された画像情報を光センサアレイで取得する（S４０７）。そして、処理部４０９は取得した情報を電気刺激情報に変換する（S４０８）、最後に提示部４１０は、処理部４０９が送信する情報に応じて電気刺激を提示し、ユーザはこの電気刺激を知覚する事で画像情報を指先で感じる（S４０９）。そして、処理が終了する（S４００）。以上が、スマートタッチ２１０をスマートフォンのディスプレイ部に設置したデバイスの動作の流れである。

Kajimoto, Inami, Kawakami, Tachi, "SmartTouch: Electric Skin to Touch the Untouchable," IEEE Computer Graphics & Applications Magazine, pp.36-43, Vol. Jan-Feb, 2004.

しかしながら、従来技術では、画面に表示される情報が複雑である。その結果、視覚しょうがい者は指の先で情報を知覚できないという問題が生じる。例えば、図７はカメラが撮影したリンゴを表した図である。リンゴ５００の表面の色は、光の加減によって領域毎に異なる色合いとなる。スマートタッチは、スマートフォンに描画された領域ごとに変わる色の変化を電気刺激で表現する。しかし、その変化を元に生成された電気刺激は複雑すぎる為、視覚しょうがい者は指の先で情報を知覚できないのである。

また、従来技術では、視覚しょうがい者は電極を通じてスマートフォンに指示を送れないという問題が生じる。スマートタッチはディスプレイに表示された情報を入手する仕組みのみを保持しているのである。

本発明は、上記の事情に鑑みてなされたものであり、視覚しょうがい者向けのスマートタッチを実現する電気触覚提示装置および方法並びにプログラムを提供することを目的とする。

本発明の電気触覚提示装置は、
光を集光し、その光量に応じた電圧を出力する光センサアレイ（３０５）と、
光センサアレイの出力を選択するチャンネル選択部（３０３）と、
光センサアレイの出力に応じて生成された電圧を供給する開閉用集積回路（３０２）と、
指に電気刺激を与える電極部（３００）と、
を備える電気触覚提示装置において、
光センサアレイと対向するように配置されたスマートフォン等のタブレット端末のLCD画面から光センサアレイが受光するLCD画面の濃淡情報に空間的な低域通過フィルタを施す、光センサアレイの前面に配置された透明な板（６０１）と、
光センサアレイに届く光量が少ない非自発光型のディスプレイや、紙などの情報を取得する際に使用する補助光部（６０２）と、
透明な板（６０１）がタブレット端末のLCD画面に傷が付けぬようにする緩衝材部（６０３０）と、
ユーザと電極部との接触情報を静電容量分布の変化に変換することで、その接触情報を、前記タブレット端末の静電容量方式タッチパネルへの接触情報として伝播させる静電容量変更部（６００）と、
を設けたことを特徴とする。

本発明によれば、スマートフォン内に新設されたHamsa画像処理部とHamsaアプリ部、Hamsa第二画処理部と、スマートタッチ内に新設されたHamsaTouch処理部が、電気刺激として提示する情報を加工する事で、視覚しょうがい者が知覚しやすい情報を提示する事することが可能になる。

先行技術であるスマートタッチの利用例 先行技術であるスマートタッチの概略構成図 先行技術であるスマートタッチをスマートフォンに装着したデバイスの概略構成図 図３のデバイスの利用例 先行技術であるスマートタッチをスマートフォンに装着したデバイスを実現する構成およびデータの流れを模式的に示したブロック図 先行技術スマートタッチをスマートフォンに装着したデバイスの処理の流れを示したフローチャート図 リンゴの画像 リンゴの画像から生成したエッジ画像 本発明の実施の形態となる静電容量変更部と透明板、緩衝材が導入されたHamsaTouchシステムの概略構成図 本発明のHamsaTouchをスマートフォンに装着したデバイスの構成およびデータの流れを模式的に示したブロック図 本発明のHamsaTouchをスマートフォンに装着したデバイスの処理の流れを示したフローチャート 本発明のHamsa画像処理の構成およびデータの流れを模式的に示したブロック図 本発明のHamsa画像処理の処理の流れを示したフローチャート 本発明のHamsa画像処理を構成するエッジ処理の構成およびデータの流れを模式的に示したブロック図 本発明のHamsa画像処理を構成するエッジ処理の処理の流れを示したフローチャート 本発明のHamsa画像処理を構成する、複数枚の画像から画像中の奥行き情報を抽出する処理の構成およびデータの流れを模式的に示したブロック図 本発明のHamsa画像処理を構成する、複数枚の画像から画像中の奥行き情報を抽出する処理の流れを示したフローチャート カメラを移動した時の、被写体とカメラの位置関係を示した図 カメラを右に移動させながら三角形の静止した被写体を撮影した写真の変化を示した図 スマートフォンを右に移動しながら三角形の静物を撮影した時に、探索すべき方向を示した図 動きベクトルから奥行き情報を生成する過程を表した図 動きベクトルから奥行き情報を生成する別の過程を表した図 本発明のHamsa画像処理を構成する空間対応処理の構成およびデータの流れを模式的に示したブロック図 本発明のHamsa画像処理を構成する空間対応処理の処理の流れを示したフローチャート スマートフォンの画角とユーザが知覚する画角の差を示した図 本発明のHamsa画像処理を構成する指かかり警告処理の構成およびデータの流れを模式的に示したブロック図 本発明のHamsa画像処理を構成する指かかり警告処理の処理の流れを示したフローチャート 本発明のHamsaTouch処理部の構成およびデータの流れを模式的に示したブロック図 本発明のHamsaTouch処理部の処理の流れを示したフローチャート 本発明の導光路を持った透明板の概略構成図 本発明の実施の形態となる静電分布変換部と抵抗値取得部が導入されたHamsaTouch処理部の構成およびデータの流れを模式的に示したブロック図 本発明の実施の形態となる静電分布変換部と抵抗値取得部が導入されたHamsaTouch処理部の処理の流れを示したフローチャート

以下、添付図面を参照して本発明の好適な実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜実施形態１＞
図９は、本発明の実施形態１に係るハードウエアの機能構成を示す機能ブロック図である。スマートタッチが抱える課題を解決する為に、本発明に係る装置はスマートタッチと６００，６０１，６０２，６０３で構成されている。以下、本発明に係る装置の名称をHamsaTouchとする。即ち、HamsaTouchは３００，３０１，３０２，３０３，３０４，３０５，３０６，３０７，３０８と６００，６０１，６０２，６０３及び後述の処理部１００、切替部１０１、Hamsa第二画処理部１０２、Hamsaアプリ部１０３、HamsaTouch処理１０４で構成されている。６００は、ユーザと電極の接触情報を静電容量分布の変化に変換する事で、ユーザの指示内容をスマートフォンへ送信する静電容量変更部、６０１は、光センサアレイが受光するLCD画面の濃淡情報に空間的な低域通過フィルタを施す透明な板である。６０２は、光センサアレイに届く光量が少ない非自発光型のディスプレイや、紙などの情報を取得する際に使用する補助光部である。６０３は、透明な板６０１がスマートフォンのディスプレイに傷が付けぬようにする緩衝材部である。緩衝材部６０３或は、透明板６０１の一部は光の透過率が低い素材で出来ており、スマートフォン側の測光部を覆い隠す。尚、スマートフォンのLCD画面の画素数或は画素ピッチの方が、光センサのセンサ数（センサの大きさ）より大きい。

図１０は、HamsaTouchに係るソフトウエア機能構成を示す機能ブロック図である。HamsaTouchは、スマートタッチをスマートフォンのディスプレイに装着した構成に加えて、１００，１０２，１０３を保持している。１００は、カメラが撮影した情報を視覚しょうがい者向けに加工するHamsa画処理部、１０１は、通常の画像情報とHamsa画処理部が送信する画像情報を切り替える切替部である。１０２は、画像合成部４０５から送信される視覚しょうがい者向けに既に加工され、他の情報を合成された画像に再度処理を施すHamsa第二画処理部である。例えば、フレームレートを下げたり、インターレース表示する。１０３は、接触検出部４０３を通じて受信した指示に応じて、Hamsa第二画処理部に処理方法を知らせるHamsaアプリ部である。１０４は、ユーザの指などと提示部４１０の接触状況と、撮像部４０８からの情報に応じて情報を生成し、その情報を接触検出部４０３へ送信するHamsaTouch処理部である。

図１１は、本発明の実施形態１に係るHamsaTouchをスマートフォンに装着したデバイスの処理の流れを説明するフローチャートである。この処理は図１０に示す機能ブロック図に従って実行される。

図１１に示したフローチャートを参照して、HamsaTouch４０７をスマートフォンのディスプレイ部に設置したデバイスの動作の流れを説明する。処理が開始されると（S４００）、撮像部４００は外界を撮影し（S４０１）、画処理部４０２はその撮影した画像を現像する（S４０２）。Hamsa画処理部１００は、後述のHamsaアプリ部１０３の情報に従い、撮像部４０１が撮影した画像に対して、視覚しょうがい者用の画像処理を施す（S１００）。切替部１０１は、Hamsa画処理部１００の指示に従い、Hamsa画処理部１００の出力画像を画像合成部４０５に送信する（S１０１）。

HamsaTouch処理部１０４が、ユーザの指などと提示部４１０の接触状況と、撮像部４０８が送信する情報を元に、スマートフォンへ送信する情報を生成し、接触検出部４０３へ放射される静電分布を変更する（S１０２）。次に、接触検出部４０３は外界からの接触状況を検出し（S４０３）、アプリ部４０４は接触検出部４０３から送信される情報に応じて文字列等を生成する（S４０４）。画像合成部４０５は、アプリ部４０４から送信される文字列等と、画処理部４０２から送信される画像を合成する。例えば画像上に文字列を合成する（S４０５）。Hamsaアプリ部１０３は、接触検出部４０３の情報を参照して、画像合成部４０５が送信画像情報への追加処理方針を決定する（S１０３）。Hamsa第二画処理部１０２は、Hamsaアプリ部１０３の指示に従い、画像合成部４０５から送信される画像に追加処理を施す（S１０４）。そして、表示部４０６はHamsa第二画処理部１０２から送信される画像をディスプレイに表示する（S４０６）。ここまでが、スマートフォン側の動作の流れである。撮像部４０８は表示部４０６に表示された画像情報を光センサアレイで取得する（S４０７）。そして、処理部４０９は取得した情報を電気刺激情報に変換する（S４０８）、最後に提示部４１０は、処理部４０９が送信する情報に応じて電気刺激を提示し、ユーザはこの電気刺激を知覚する事で画像情報を指先で感じる（S４０９）。そして処理が終了する（S４０９）。以上が、HamsaTouch４０７をスマートフォンのディスプレイ部に設置したデバイスの動作の流れである。

＜Hamsa画処理部１００の詳細＞
次に、図１２を用いてHamsa画処理部１００の詳細を説明する。Hamsa画処理部１００は、環境情報取得部７００と、環境解析部７０２と、第一画像処理部７０１で構成されている。図１３のフローチャートを参照し、Hamsa画処理部１００の処理の流れを説明する。処理が開始されると（S５０１）、環境情報取得部７００は、Hamsaアプリ部１０３からの情報と、スマートフォンに内蔵されている測光部や加速度計部、方位磁石部、角度センサなどからの情報を取得する（S５０２）。次に、環境解析部７０２は、環境情報取得部からの情報（例えば測光部からの光量が少ないという情報）に従い視覚しょうがい者向け処理の実行許可を検討し、結果を切替部１０１へ送信する（S５０３）。そして、第一画処理部７０１は、撮像部４０１からの送信される画像に対して、環境情報取得部７００の情報に応じて画像処理を施す（S５０４）。処理が終了する（S５０５）。

＜第一画処理部７０１の詳細＞
図１４に示すように第一画処理部７０１は、エッジ処理部８００で構成されている。図１５のフローチャートを参照して、第一画処理部７０１の処理の流れを説明する。処理が開始されると（S６０１）、エッジ処理部８００は、環境情報取得部７００から送信されるユーザ指示に応じて抽出するエッジ抽出の強度を決定する（S６０２）。次に、エッジ処理部８００は撮像画像４０１から送信される画像から、決定済みエッジ抽出強度に応じてCanny法として知られるJohn F. Cannyのエッジ抽出を利用してエッジを抽出する（S６０３）。最後に、エッジ処理部８００は抽出したエッジ画像（図８に示したような輪郭画像）を切替部１０１へ送信し（S６０４）、処理を終了する（S６０５）。以上が、画像処理部７０１の詳細な説明である。

本実施形態では、エッジ抽出の手法としてJohn F. Cannyのエッジ抽出を採用したが、Sobel型や、Prewitt型、物体抽出、ノイズリダクションなど画像の特徴を抽出する画像処理であればどのような処理でも構わない。

＜HamsaTouch処理部１０４の詳細＞
図２８はHamsaTouch処理部１０４の構成を示している。HamsaTouch処理部１０４は、信号解析部１３００とLED発光部１３０１で構成されている。図２９のフローチャートを参照して、HamsaTouch処理部１０４の動作の流れを説明する。処理が開始すると（S１０００）、LED発光部１３０１がLEDを発光させる（S１００１）。次に、信号解析部１３００が撮像部４０８からの信号を解析し、スマートフォンが装着されているかどうか判定する。例えば、撮像部４０８が一定量の以上の光量を集光している場合や、スマートフォンのディスプレイが表示する時空間的符号化情報を信号解析部１３００が復号した結果、予め決定していた情報と符合した場合にスマートフォンが装着されていると判定する。時空間的符号化情報とは送りたい情報を直行変換した情報や、スペクトル拡散した情報など、復号が必要な情報であればどのような形態でも良い（S１００２）。次に、信号解析部１３００はスマートフォンの装着を検出した時にのみ、LEDを消灯する（S１００３）。こうして処理を終了する（S１００４）。

上述の例とは反対に、処理開始時にLEDが消灯していても良い。その場合、撮像部４０８が集光している光量が一定量以下の場合、信号解析部１３００はLED発光部１３０１のLEDを発光させる。また、LEDの光を効率よく伝播させる為に、図３０に示した通り透明板６０１に導波路１４０１を用意しても良い。

Hamsa画処理部１００と切替部１０１、Hamsa第二画処理部１０２、Hamsaアプリ部１０３は、スマートフォンのメモリに格納されたプログラムをスマートフォンのCPUの制御で実行することにより実現され、HamsaTouch処理部１０４は、デバイスのメモリに格納されたプログラムをデバイスのCPUの制御で実行することにより実現される。これらのプログラムは、外部のサーバの記憶装置からインターネット経由でダウンロードされたものをインストールしてもよいし、DVD等の記録媒体からインストールしてもよい。

以上説明したように本実施形態１によれば、環境情報取得部７００と、環境解析部７０２、エッジ処理部８００により複雑な画像情報の中から特徴を抽出し、その特徴だけを提示する事で、視覚しょうがい者は画像中の情報をより簡単に知覚できるようになるという効果がある。また、透明板６０１を設置した事で、光センサアレイが受光するLCD画面の濃淡情報に空間的な低域通過フィルタが施され、スマートフォンとHamsaTouchの間で行われる光通信においてエイリアシングを除去できるようになる。さらに、プラスチック板の前面に緩衝材６０３を置く事で、透明板によってLCD面が傷つく事を防ぎ、光通信が良好な状態で行われるようになる効果がある。さらに、スマートフォン側の測光部を覆い隠す事で、スマートフォンにHamsaTouchが装着されている事を検出できるようになり、自動的に複雑な画像情報の中から特徴を抽出する処理を実行できる。さらに、補助光部６０２, 信号解析部１３００, LED発光部１３０１を設けた事で、光量が足らない場合でもHamsaTouchを駆動させる事ができるようになる。また、HamsaTouch側に装備されている補助光部６０２を自動的に点灯・非点灯する仕組みを設ける事で、スマートフォンだけではなく、紙に描かれた情報もHamsaTouchで適用できるようになる。

＜実施形態２＞
実施形態２は、図１６に示した通り前述の実施形態１のエッジ処理部８００がデバイス運動計算部９００と動き検出初期ベクトル決定部９０１、奥行き情報生成部９０２、奥行き画像生成部９０３になっている。従って、前述の実施形態１とは、エッジ処理部８００以外は同じ構成なので、デバイス運動計算部９００と動き検出初期ベクトル決定部９０１、奥行き情報生成部９０２、奥行き画像生成部９０３の構成について、図１６を参照して説明し、他の部分の説明を省略する。

実施形態２は、ユーザに被写体の奥行き情報を提示する。異なる時刻に撮影された同一被写体の画像内における移動距離から、三角測量の原理を利用して奥行きを算出し、その情報をユーザに提示する。

図１６は、本発明の実施形態２に係る第一画像処理部７０１の構成を説明する機能ブロック図である。９００は環境情報取得部７００から送信されるスマートフォン内蔵の加速度センサ，角速度センサ，方位センサ情報を参照し、スマートフォンが動いている方向と加速度および角速度を計算するデバイス運動計算部である。９０１はデバイス運動計算部９００から送信されるスマートフォンの方向と加速度および角速度から、後述９０２で利用される初期動きベクトルを決定する動き検出初期ベクトル決定部である。９０２は、撮像部４０１が送信する二枚以上の画像群から基準画像を選択肢選択し、その基準画像内の輝度分布に関して、動き検出初期ベクトル決定部が送信する初期動きベクトルの方向に向かって動き探索を実行する奥行き情報生成部である。９０３は、奥行き情報生成部９０２が送信する奥行き情報から奥行き画像を生成する奥行き画像生成部である。

図１７のフローチャートを参照して、本実施例おける第一画処理部７０１の処理の流れを説明する。処理を開始すると（S７０１）、デバイス運動計算部９００は、環境情報取得部７００からスマートフォン内蔵の加速度センサ，角速度センサ，方位センサ情報を取得し、スマートフォンが次の撮影タイミングで移動していると予測される画像上の位置を算出する（S７０２）。例えば、図１８はスマートフォンを右に移動させながら三角形の静止した被写体を撮影する様子を示している。静止した三角形の物体１０００をスマートフォンでビデオ撮影し、１００１の位置と１００２の位置で撮影したとする。その結果得られた画像は図１９に表されている。１００１の位置で撮影した画像は時刻T0の上に示されている。一方１００２の位置で撮影された画像はT1の上に示されている。ここで、時刻T0の画像中の三角形が、次の時刻T1の時、どのように動いたのか、その動きベクトルを計算する例を説明する。時刻T1の三角形の位置が時刻T0の画像中のどこに存在するのかを探索する場合、もっとも原始的な方法は時刻T1の三角形をテンプレートにして、時刻T0の画面内をテンプレートマッチングする方法である。しかしこの場合、以下のような問題が生じる。

「自分の手が動いているために静止物に動きが生じているのか，対象が動いているのか」の区別が付かないのである。そこで、本実施例の奥行き情報生成部９０２では、動き検出初期ベクトル決定部９０１の結果に従い、時刻T1の三角形の動きを検出する時、時刻T0の画像においてスマートフォンが動いている方向に「だけ」相関計算を施す。その結果、スマートフォンと異なる方向に動いている物体を原理上検出しない。さらに、本来の二次元的な動きベクトル検出（O(N^4)）よりも早く(O(N^2))動き検出が可能になる。尚、動きベクトルの検出方法は、例えば時刻T1の画像中で、動きベクトルを算出したい小矩形（3x3ピクセル）をテンプレートとして設定し、時刻T0の画像の中で、時刻T1における着目小矩形と空間的に対応する座標を起点として、スマートフォンの動きと同じ方向へテンプレートマッチングする。そして、着目小矩形とT0の画像における小矩形の空間的に対応する画素値の絶対和など小矩形内の相関を示す指標に応じて、着目小矩形の時刻 T0?T1間の移動距離を算出する（図２０）。このようにして、画像を構成する全ピクセルあるいは、代表的な画素の動きベクトルを算出する（S７０３）。代表的な画素とは、エッジ検出処理を施した後に優位な信号が残っている画素、つまりエッジ画素などである。

次に、奥行き画像生成部９０３は、奥行き情報生成部９０２が生成した画素に対応する動きベクトルに応じて、二値画像もしくはグレー画像を生成する（S７０４）。以下に動きベクトル情報から奥行き画像を生成する方法を説明する。奥行き画像生成部９０３は動きベクトルの大きい画素に対しては大きな面積を持った大きな輝度値を与える。一方、動きベクトルが小さい画素に関しては、相対的に小さな面積を持った大きな輝度値を与える。

次に図２１を利用して説明する。左の画像は動きベクトルを算出した後の画像である。画像には大きな動きベクトルを持った三角形の被写体と、小さな動きベクトルを持った四角形の被写体が存在する。この場合、大きなベクトルを持った三角形はエッジ抽出後、エッジの幅を拡大する処理を施す。例えば、エッジにローパス処理を施し、画像のビット震度が１２８以上の値を２５５、それ以下を０に設定する。或は、エッジ画像にモフォロジー画像処理を施し線の幅を太くしても良いし、ラベリング処理を施し、三角形を塗りつぶしても良い。一方、小さな動きベクトルを持つ四角形に関しては、大きな動きベクトル持っている三角形と比較して相対的に細い線にする。例えば、細線化処理を施す。細線化処理はHilditchの方法、田村の方法、Zhang Suenの方法など、線の幅が狭まる手法であればどのような処理でも構わない。以上のようにして、動きベクトルが大きいカメラの近傍に存在する被写体情報は太い線あるいは、ある面積を持った画素領域で示し、動きベクトルが小さい遠方に存在する被写体は、相対的に細い線の画素分布で示す。以上の手法は奥行き情報を画像上の線の空間的な太さで表現しているが、一方で時間方向の信号密度で表現しても良い。時間方向の信号密度で奥行き情報を表現する手法を、図２２を利用して説明する。この図では、四つの連続する時刻に対応する画像が存在する。そして、動きベクトルが大きい三角形に関しては、エッジ画像が存在し続けている。一方で、動きベクトルが小さい四角形は、三角形と比較して相対的にエッジ画像の表示枚数が少ない。以上、奥行き画像生成部９０３が動きベクトル情報から奥行き画像を生成する過程を説明した。

以上説明したように本実施形態2によれば、デバイス運動計算部９００、動き検出初期ベクトル決定部９０１、奥行き情報生成部９０２、奥行き画像生成部９０３によりスマートフォンが撮影した画像から奥行情報を生成し電気刺激で提示する事で、視覚しょうがい者は画像内の奥行き情報を知覚できるようになるという効果がある。

＜実施形態３＞
実施形態３は、前述の実施形態１のエッジ処理部８００が空間対応処理１１００になっている。従って、前述の実施形態１とは、エッジ処理部８００以外は同じ構成なので、空間対応処理１１００の構成について、図２３を参照して説明し、他の部分の説明を省略する。

実施例３で解決する課題は図２５に示した通り、スマートフォン内蔵のカメラが持つ画角とユーザが認識したい領域の画角の相違である。画角が違う事で、カメラが撮影している画像と、ユーザが電気刺激を通じて感じる空間に相違が出てくるのである。図２５は、その相違を示している。図中の示された実線はカメラの画角、一方点線はHamsaTouchの電気刺激の面がもつ画角である。このようにそれぞれ異なる画角を持つ。

そこで、空間対応処理部１１００は、実線の画角のから、HamsaTouchの画角に入っている画像領域を幾何学変換して生成する。次に、図２４に示したフローチャートを参照して、空間対応処理部１１００の処理の流れを説明する。処理を開始すると（S８０１）、まず空間対応処理部１１００は画角の相違を解消する為に必要な幾何学変換の係数を予め蓄積していたメモリから環境情報取得部７００を通じてロードする（S８０２）。次に、空間対応処理部１１００はその係数を利用して撮像部４０１から送信される画像を幾何学変換する（S８０３）。最後に空間対応処理部１１００は得られた画像を切替部１０１へ送信し（S８０４）、処理は終了する（S８０５）。

以上説明したように本実施形態３によれば、空間対応処理１１００を設ける事でスマートフォン内蔵のカメラが持つ画角とユーザが認識したい領域の画角の相関を高める事で、視覚しょうがい者が空間情報をより的確に知覚できるようになるという効果がある。

＜実施形態４＞
実施形態４は、前述の実施形態１のエッジ処理部８００が指かかり検出部１２００と警告提示部１２０１になっている。従って、前述の実施形態１とは、エッジ処理部８００以外は同じ構成なので、指かかり検出部１２００と警告提示部１２０１の構成について、図２６を参照して説明し、他の部分の説明を省略する。
この実施例４では、ユーザの指がカメラを遮り、画像を取得できない時に警告を提示する例である。

指かかり検出部１２００と警告提示部１２０１の処理の流れを図２７に示したフローチャートを参照して説明する。処理を開始すると（S９０１）、指かかり検出部１２００は、画像内で輝度値が２０以下の画素の数を数え上げる（S９０２）。次に、指かかり検出部１２００は数え上げた画素数が、画像全体の画素数の８０％以上であれば警告提示部１２０１に制御信号を送信し、警告提示部１２０１は警告を提示する（S９０３）。警告とは、ビープ音やアラーム音など音声情報でも良いし、ディスプレイに表示される画像領域の多くが白くなるよう画像全体を高周波画像に変換してもよい。

以上説明したように本実施形態４によれば、指かかり検出部１２００、警告提示部１２０１を利用しユーザの指がカメラを遮り、画像を取得できない時に警告を提示する事で、視覚しょうがい者がスマートフォンのカメラの適切な位置を握るようになるという効果がある。

＜実施形態５＞
実施形態５は、前述の実施形態１のHamsaTouch処理部１０４が、抵抗値取得部１５００、静電分布変換部１５０１になっている。従って、前述の実施形態１とは、抵抗値取得部１５００、静電分布変換部１５０１以外は同じ構成なので、抵抗値取得部１５００、静電分布変換部１５０１について、図３１を参照して説明し、他の部分の説明を省略する。

実施例５では、HamsaTouchを通じてスマートフォンに情報を伝達する仕組みを説明する。図３２のフローチャートを参照して、実施例５におけるHamsaTouch処理部１０４の流れを説明する。処理が開始されると（S１０００）、抵抗値取得部１５００は電極部の抵抗値を取得する（S１００１）。抵抗値は皮膚を接触させることによって変化するので，取得された抵抗値情報はユーザの接触情報になる。つまりタッチパネルとして利用できる。次に、静電分布変換部１５０１はその抵抗値を静電分布に変換し、静電容量変更部 ６００を通じて、指と電極の接触状況を接触検出部４０３へ伝える（S１００２）。以上で処理を終了する（S１００３）。

以上説明したように本実施形態５によれば、静電分布変換部１５０１と抵抗値取得部１５００を利用して電極の抵抗値を計測し、その数値を静電分布としてスマートフォンの接触検出部に伝播させる事で、視覚しょうがい者が電極を通じてスマートフォンに情報を送信できるようになるという効果がある。

１００ Hamsa 画処理部
１０１ 切替部
１０２ Hamsa第二画処理部
１０３ Hamsaアプリ部
１０４ HamsaTouch処理部
２００ ユーザの指
２１０ スマートタッチ
２２０ 接触対象の表面、例えば紙
３００ 指に電気刺激を与える電極
３０１ 電極部を固定する基盤
３０２ 電流を制御する開閉用集積回路
３０３ 光センサの出力を選択するチャンネル選択部
３０４ 基盤
３０５ 光センサアレイ
３０６ スマートフォンのディスプレイ部
３０７ スマートフォンの筐体
３０８ スマートフォン内蔵のカメラ
３０９ スマートフォン
４００ スマートフォン
４０１ スマートフォンの撮像部
４０２ 画処理部
４０３ 接触検出部
４０４ アプリ部
４０５ 画像合成部
４０６ 表示部
４０７ スマートタッチ
４０８ 撮像部
４０９ 処理部
４１０ 提示部
５００ リンゴの画像
５０１ エッジ検出後のリンゴの画像
６００ 静電容量変更部
６０１ 透明な板
６０２ 補助光部
６０３ 緩衝材部
７００ 環境情報取得部
７０１ 第一画像処理部
７０２ 環境解析部
８００ エッジ処理部
１０００ 静止した三角形の物体
１００１ カメラの位置
１００２ 移動後のカメラの位置
１１００ 空間対応処理
１２００ 指かかり検出部
１２０１ 警告提示部
１３００ 信号解析部
１３０１ LED発光部
１４００ 導波路
１５００ 抵抗値取得部
１５０１ 静電分布変換部

Claims (12)

1. 光を集光し、その光量に応じた電圧を出力する光センサアレイと、
   前記光センサアレイの出力を選択するチャンネル選択部と、
   前記光センサアレイの出力に応じて生成された電圧を供給する開閉用集積回路と、
   指に電気刺激を与える電極部と、
   を備える電気触覚提示装置において、
   前記光センサアレイと対向するように配置されたタブレット端末のLCD画面から該光センサアレイが受光する濃淡情報に空間的な低域通過フィルタを施す、該光センサアレイの前面に配置された透明な板と、
   前記光センサアレイに届く光量が少ない非自発光型のディスプレイや、紙などの情報を取得する際に使用する補助光部と、
   前記透明な板が前記タブレット端末のLCD画面に傷が付けぬようにする緩衝材部と、
   ユーザと電極部との接触情報を静電容量分布の変化に変換することで、その接触情報を、前記タブレット端末の静電容量方式タッチパネルへの接触情報として伝播させる静電容量変更部と、
   を有することを特徴とする電気触覚提示装置。
2. カメラが撮影した情報を視覚しょうがい者向けに加工するHamsa画処理部と、
   通常の画像情報とHamsa画処理部が送信する画像情報を切り替える切替部と、
   視覚しょうがい者向けの画像に再度処理を施すHamsa第二画処理部と、
   Hamsa第二画処理部に処理方法を知らせるHamsaアプリ部と、
   を前記タブレット端末に有することを特徴とする請求項１記載の電気触覚提示装置。
3. ユーザの指などとの接触状況と、前記光センサアレイの情報に応じて情報を生成し、その情報を前記タブレット端末のタッチパネルへ伝えるHamsaTouch処理部を有することを特徴とする、
   請求項１記載の電気触覚提示装置。
4. 前記Hamsa画処理部は、
   前記Hamsaアプリ部からの情報と、前記タブレット端末に予め内蔵されている測光部や加速度計部、方位磁石部、角度センサなどからの情報を取得する環境情報取得部と、
   前記タブレット端末内蔵のカメラから送信される画像に対して、前記環境情報取得部の情報に応じて画像処理を施す第一画処理部と、
   前記環境情報取得部からの情報（例えば測光部からの光量が少ないという情報）に従い視覚しょうがい者向け処理の実行許可を検討し、結果を切替部へ送信する環境解析部と、
   有することを特徴とする請求項２または３記載の電気触覚提示装置。
5. 前記第一画処理は、
   エッジ処理であることを特徴とする請求項４記載の電気触覚提示装置。
6. 前記第一画処理は、
   前記環境情報取得部から送信される前記タブレット端末内蔵の加速度センサ，角速度センサ，方位センサ情報を参照し、前記タブレット端末が動いている方向と加速度および角速度を計算するデバイス運動計算部と、
   前記デバイス運動計算部から送信される前記タブレット端末の方向と加速度および角速度から、初期動きベクトルを決定する動き検出初期ベクトル決定部と、
   二枚以上の画像群から基準画像を選択肢選択し、その基準画像内の輝度分布に関して、前記動き検出初期ベクトル決定部が送信する初期動きベクトルの方向に向かって動き探索を実行する奥行き情報生成部と、
   奥行き情報生成部の出力データを利用した奥行き画像を生成する奥行き画像生成部と、
   を有することを特徴とした、
   請求項４記載の電気触覚提示装置。
7. 前記第一画処理は、
   カメラの画角と、ユーザ指で感じる空間の相違を調整する空間対応処理であることを特徴とする請求項４記載の電気触覚提示装置。
8. 前記第一画処理は、
   ユーザの指がカメラを遮り、画像を取得できない状況を検出する指かかり検出部と、
   指がカメラを遮り、処理を正しく施せない事実をユーザへ伝える警告提示部と、
   を有することを特徴とする請求項４記載の電気触覚提示装置。
9. 前記HamsaTouch処理部は、
   光センサアレイからの信号を解析し、前記タブレット端末が装着されているかどうか判定する信号解析部と、
   光量不足を補うLED発光部と、
   を有することを特徴とする請求項１乃至８の何れか１項記載の電気触覚提示装置。
10. 前記HamsaTouch処理部は、
    電極の抵抗値を取得する抵抗値取得部と、
    その抵抗値を静電分布に変換し、静電容量変更部を通じて、指と電極の接触状況を前記タブレット端末に伝える静電分布変換部と、
    を有することを特徴とする請求項１乃至８の何れか１項記載の電気触覚提示装置。
11. コンピュータを請求項１乃至１０の何れか１項に記載の電気触覚提示装置の各部として機能させるためのプログラム。
12. コンピュータを請求項１乃至１０の何れか１項に記載の電気触覚提示装置の各部として機能させるためのプログラムを記憶したコンピュータに読み取り可能な記憶媒体。