JP6125812B2 - 電気触覚提示装置、電気触覚提示装置の制御方法及びプログラム、並びに電気触覚ディスプレイを有する携帯機器 - Google Patents

Description

本発明は、電気触覚提示装置（電気触覚ディスプレイ）を有してユーザの指等の接触を検知し、刺激を与える電気触覚提示装置、電気触覚提示装置の制御方法及びプログラム、並びに電気触覚ディスプレイを有する携帯機器に関する。

電気接触ディスプレイとは、例えばスマートフォンやノートＰＣなどの携帯機器等の電気触覚提示装置を有する装置に採用されるものであって、触覚を大面積に分布して呈示することができる。その原理は、電気刺激により神経活動を誘発することにある。具体的には、例えば、ユーザの指又はタッチパネルへの指紋の付着を防ぐため等に指の替わりに操作する操作ペン等を接触させた場合に、タッチパネル上に表示されたアイコンの形状等を電気的刺激により触覚として知覚できるようにするものである。

特許文献１及び２には、従来の電気接触ディスプレイの一例が開示されている。図１１は、特許文献１に記載の電気触覚提示装置のシステム全体図である。図１１に示すように、従来の電気触覚提示装置２００は、パーソナル・コンピュータ（以下、ＰＣ）２０１、電流源２０２、スイッチング回路２０３、及びアレイ電極２０４を有している。アレイ電極２０４は、複数の刺激電極がアレイ状に配置されて構成される。アレイ電極を構成する各刺激電極は、スイッチング回路２０３を介して、電流源２０２及びグランドと電気的に接続されている。

図１２（ａ）乃至図１２（ｃ）、及び図１３（ａ）及び図１３（ｂ）は、２次元マトリクス状に配置したアレイ電極を用いた基本的な電気刺激手法を示す図であって、図１２（ａ）は、スイッチング回路２０３及びこのスイッチング回路２０３を構成するスイッチに接続される各刺激電極２４１を示す模式図、図１２（ｂ）は、アレイ電極２０４を示す模式図、図１２（ｃ）は、アレイ電極２０４を構成する刺激電極２４１間のスイッチ切り替え間隔を説明するための模式図である。また、図１３（ａ）及び図１３（ｂ）は、従来の電気触覚提示装置の制御方法を示す模式図であり、図１３（ａ）は、スイッチング回路２０３及びアレイ電極２０４を示す模式図、図１３（ｂ）は、アノード電極Ａ及びカソード電極Ｇを示す模式図である。

図１２（ａ）に示すように、各刺激電極２４１はそれぞれ各ハーフブリッジ（Half Bridge）回路２３１に接続される。このハーフブリッジ回路２３１は、上部スイッチＳ１０１及び下部スイッチＳ１０２を有し、上部スイッチＳ１０１が電源電位側の電流源２０２と接続され、下部スイッチＳ１０２がグランド２０５に接続されている。また、図１３（ａ）に示すように、アレイ電極２０４の各刺激電極２４１のそれぞれに、それぞれ１つのハーフブリッジ回路２３１が接続される。これらの上部スイッチＳ１０１及び下部スイッチＳ１０２のスイッチを切り替えることで刺激電極２４１を、電流源２０２又はグランド２０５のいずれか一方に選択的に接続する。つまり、各刺激電極２４１が、ハーフブリッジ回路２３１の上部スイッチＳ１０１を介して電流源２０２に電気的に接続されると、電流源電極（アノード電極）Ａを構成する。一方、各刺激電極２４１が、ハーフブリッジ回路２３１の下部スイッチＳ１０２を介してグランド２０５に電気的に接続されると、グランド電極Ｇを構成する（図１３（ｂ））。

そして、図１２（ｂ）及び図１３（ｂ）に示すように、１つの刺激電極２４１のみをアノード電極Ａとし、他をグランド電極Ｇとしたとき、ユーザの指等が当該アノード電極Ａとその周囲のグランド電極Ｇとの間に接触すると、当該グランド電極Ｇとグランド電極Ｇとの間に電流が流れる。ユーザはこの電流を刺激（触覚）として知覚する。アノード電極Ａの位置を順次切り替え、その際の電流源２０２の電流値をモニタすることで、全アレイ電極が配置されている領域のいずれの位置にユーザの指等が接触しているかを検知することができる。さらに、接触が検出された後、接触検出時より大きな電位差を接触が検出された電極間に設定することで、接触しているユーザの指の皮膚下に電流経路を形成して、神経を刺激することができる。これにより、ボタンなどの形状をユーザに認識させることができる。この際の切換間隔（電流パルスの周期）は、図１２（ｃ）に示すように、例えば５００μｓ程度とすることができる。

このような従来の電気触覚提示装置２００は、以下のようなメリットを有する。なお、以下では操作部全てがタッチ画面で構成されるスマートフォンを例にとって説明する。先ず、ボタンを押し込んだ際の感触を再現するためリアル振動機能を有するような従前のスマートフォンと比べると、図１２及び図１３に示すような従来の電気触覚提示装置２００を小型化することができる。つまり、特許文献１に記載の電気触覚提示装置２００では、アレイ電極２０４を構成する刺激電極２４１の個数分のハーフブリッジ回路２３１を具備するスイッチング回路２０３を設けるのみで、ユーザの接触を検出し、刺激を与えることができる。これに対し、従前スマートフォンにおいては、各スマートフォンとタッチ画面全域にアレイ状に複数の振動子や押圧センサなどを設けるため、装置が大型化してしまう。

また、タッチ画面下に複数の振動子や押圧センサを設ける必要がないため、衝撃等にロバストであり、機械的共振等を生ずる必要がない。更に、複数の振動子や押圧センサを稼働する場合と比べノイズが極めて低減され、さらにスイッチのオンオフのみのため、これらの機能を搭載しても消費電力が少なくてよいという効果も有する。以上のことから、いわゆるマルチタッチインタフェースに対して触覚を生成する有力な手法の一つであるといえる。

特許第４３６０４９７号公報

特許第５０５７０６８号公報

上述したように、従来の電気触覚提示装置２００においては、画面全域にアレイ配置された刺激電極２４１を使用し、スイッチング回路２０３により、各電極を１つずつ選択するという制御を行なう。上述したように、刺激電極２４１は、上部スイッチＳ１０１をオンすると陽極（電流が流れ出す電極）として働き、下部スイッチＳ１０２をオンすると陰極として働く。

典型的な刺激手法としては、刺激電極２４１のうち、１点だけ陽極とし、他の刺激電極２４１を全て陰極とすることで刺激点への接触・刺激を実施する。具体的には、陽極の位置を高速に移動させ、上部スイッチＳ１０１と電流源２０２との間で電圧値の観測（電圧源の場合は電流値の観測）をする。そして、電圧値／電流値の計算により刺激電極間に接触しているユーザの皮膚の抵抗値を算出することにより、いずれの位置の刺激電極２４１にユーザの指が接触しているかどうかを判断することができ、タッチパネル全域の接触センシングを行うことができる。この場合、電圧又は電流値の観測点は、回路的には１点のため計測回路も簡素なものとすることができる。

つまり、特許文献１の電気触覚提示装置（電気触覚ディスプレイ）は、刺激を与えるのみならず、タッチセンシングの能力も備えることになり、触覚呈示機能付き電気触覚提示装置として活用できることになる。

しかしながら、１点の皮膚抵抗値計測には、最低でも０．１ｍｓ程度の時間が必要である。つまり、例えば、３２×１６の刺激点（刺激電極２４１）を用意する場合、刺激電極２４１が５１２点必要となる。このとき、全刺激電極２４１での皮膚抵抗値を計測するためには、５１．２ｍｓの時間が必要となる。なお正確な観測を行うとする場合、１点に対して０．３ｍｓは必要であるため、タッチ画面全域に１回のタッチセンシングを行うためには、１５３．６ｍｓの時間が必要となる。タッチ画面領域のタッチセンシングを行う時間間隔がこのように大きいことは、タッチ入力装置の性能としては許容しがたく、現実的ではない。

本発明は、このような問題点を解決するためになされたものであり、タッチセンシングに要する時間を短縮した電気触覚提示装置、電気触覚提示装置の制御方法、電気触覚提示装置の制御プログラム、及び電気触覚提示装置を備えた携帯機器を提供することを目的とする。

本発明に係る電気触覚提示装置は、２以上の電源電位を生成する第１の電源と、前記電源電位とは異なる電位の基準電圧を供給する第２の電源と、ユーザの指及びユーザが操作する操作手段を含む接触体が接触するタッチ画面領域に配置される複数の電極と、各電極のそれぞれに対応して設けられ、前記第１の電源と前記第２の電源との間に相互に並列接続される複数の電極選択切替手段と、前記第１の電源と前記電極選択切替手段との間の電流値又は電圧値の変化を観測する観測手段と、前記観測手段の観測結果に応じて、前記複数の電極選択切替手段を制御するスイッチング制御回路と、を備え、前記電極選択切替手段は、前記第１の電源と前記第２の電源との間に直列接続される第１の及び第２のスイッチを有し、前記第１の電源は、前記接触体が前記タッチ画面領域に接触したか否かを検出するための接触検出用電源と、前記接触体に刺激を与えるための刺激用電源とを生成し、前記スイッチング制御回路は、前記タッチ画面領域に当該タッチ画面領域より小さい領域である１以上の監視領域を設定し、前記第１の電源の前記接触検出用電源生成時における前記観測手段の観測結果に応じて前記監視領域に対する前記接触体の接触を検出する接触検出処理を実行する接触検出制御手段と、前記接触が検出された監視領域に基づき前記タッチ画面領域より小さい領域である刺激領域を設定し、前記刺激用電源を使用して当該刺激領域に対して前記接触体に刺激を与える刺激処理を実行する刺激制御手段とを有するものである。

本発明においては、タッチ画面領域より小さい領域を監視領域に設定し、この監視領域の接触検出を行うため、タッチ画面全域に配置される全電極の１つずつを陽極に設定して接触センシングを行う従来の手法に比べると、接触検出を行う時間を短縮化することができる。

また、前記接触検出制御手段は、前記タッチ画面領域に対し、第１の監視領域と、当該第１の監視領域より前記接触体が接触する蓋然性が大きい領域の第２の監視領域とを設定し、当該第２の監視領域における前記接触検出処理を、前記第１の監視領域よりも高速に実行することができ、監視領域を複数設け、その接触頻度に応じて接触検出を行う頻度も変化させてもよい。これにより、更に効率的に接触検出を行うことができる。

更に、前記接触検出制御手段は、前記第２の監視領域に対してのみ前記接触検出処理を実行することができ、従来はタッチ画面上に配置されるアレイ電極の全てに対して行っていいた刺激処理を、例えば接触を検出した監視領域のみを刺激領域に設定し、この刺激領域のみに行うことで、刺激処理においても処理を高速化することができる。

具体的には、前記接触検出制御手段は、前記タッチ画面領域に対し、２以上の前記第２の監視領域を設定して当該各第２の監視領域の前記接触検出処理を時分割で実行し、前記刺激制御手段は、前記接触検出制御手段により接触が検出された第２の監視領域を前記刺激領域に設定して前記刺激検出処理を実行することにより、処理を高速化する。

更にまた、前記接触検出制御手段は、前記タッチ画面領域を２以上に分割した複数の分割領域を複数の監視領域とし当該複数の監視領域に対して時分割で前記接触検出処理を実行することができ、タッチ画面領域全体を監視領域に設定することにより、高効率に接触検出を実施することができる。

また、前記接触検出制御手段は、前記複数の監視領域のいずれかで接触が検出されたと判断された場合、当該接触が検出された監視領域を新たに２以上に分割した複数の分割領域を複数の監視領域に再設定し、当該再設定された複数の監視領域に対して時分割で前記接触検出処理を実行することができ、このように分割設定・接触検出を繰り返し行うことで、より広いタッチ画面領域の接触検出を高効率に行うことができる。

更に、前記刺激制御手段は、前記接触検出制御手段の前記再設定が終了した最終の複数の監視領域において前記接触体の接触が検出された領域を前記刺激領域に設定し前記刺激処理を実行することができ、複数の刺激領域の接触検出の結果に基づき刺激領域を抽出し、その領域のみに刺激処理することで、刺激処理も高速化することができる。

更にまた、前記複数の電極は、前記タッチ画面領域又は前記分割領域にアレイ状に配置されるものであって、前記接触検出制御手段は、前記アレイ状の前記複数の電極の行又は列のいずれか一方の方向に監視領域を設定して当該領域全域を走査する第１の走査処理と、当該行又は列のいずれか他方の方向に監視領域を設定して当該全域を走査する第２の走査処理のいずれか１つ又はこれらの組み合わせを前記接触検出処理として実行し、前記刺激制御手段は、前記前記接触検出処理における前記観測手段の観測結果に応じて前記刺激領域を設定し前記刺激処理を実行することができ、監視領域の設定は用途等に応じて変更することで、より効率的に刺激処理を実施することができる。

更にまた、前記複数の電極は、前記接触検出制御手段により接触が検出される領域にアレイ状に配置されるものであって、前記接触検出制御手段は、接触が検出される領域を２以上に分割した複数の分割領域を複数の監視領域とし当該複数の監視領域に対して時分割で接触検出を行う時分割処理と、接触が検出される領域における前記アレイ状の電極の行及び列方向のいずれか方向又は両方向それぞれに監視領域を設定して当該領域全域を走査することで接触検出を行う走査処理とを組み合わせて前記接触検出処理を実行し、前記刺激制御手段は、前記時分割処理及び前記走査処理における前記観測手段の観測結果に応じて前記刺激領域を設定し前記刺激処理を実行することができ、監視領域の設定の仕方を工夫することで、より効率的に刺激処理を実施することができる。

また、前記第１の電源は、１つの第１の電源に対して所定数以下の前記電極選択切替手段が並列接続されるよう、必要な個数設けられる、ことができ、第１の電源を複数設けることで、接触検出及び刺激処理時に同時に処理を実施できる領域を設けることで、広い領域に対してもより効率よく処理を行うことができる。

更に、前記第１の電源の前記必要な個数とは、前記接触検出制御手段が前記複数の監視領域を設定した場合に１つの監視領域における前記接触検出処理が所定時間未満で実行可能な個数であることにより、所望の速度での接触検出・刺激処理を実施することが可能となる。

本発明に係る電気触覚提示装置の制御方法は、２以上の電源電位を生成する第１の電源と、前記電源電位とは異なる電位の基準電圧を供給する第２の電源と、ユーザの指及びユーザが操作する操作手段を含む接触体が接触するタッチ画面領域に配置される複数の電極と、各電極のそれぞれに対応して設けられ、前記第１の電源と前記第２の電源との間に相互に並列接続される複数の電極選択切替手段と、を有し、前記複数の電極により、ユーザの指及びユーザが操作する操作手段を含む接触体の接触を検出し刺激する電気触覚提示装置の制御方法において、前記第１の電源と前記複数の電極選択切替手段との間の電流値又は電圧値の変化を観測する観測工程と、前記観測工程の観測結果に応じて、前記複数の電極選択切替手段を制御するスイッチング制御工程と、を有し、前記スイッチング制御工程は、前記タッチ画面領域に当該タッチ画面領域より小さい領域である１以上の監視領域を設定し、前記第１の電源が、前記接触体が前記タッチ画面領域に接触したか否かを検出するための接触検出用電源を生成する間に、前記観測工程の観測結果に応じて前記監視領域に対する前記接触体の接触を検出する接触検出処理を実行する接触検出制御工程と、前記接触が検出された監視領域に基づき前記タッチ画面領域より小さい領域である刺激領域を設定し、前記第１の電源が生成する前記接触体に刺激を与えるための刺激用電源を使用して当該刺激領域に対して前記接触体に刺激を与える刺激処理を実行する刺激制御工程とを有する。

また、本発明に係るプログラムは、２以上の電源電位を生成する第１の電源と、前記電源電位とは異なる電位の基準電圧を供給する第２の電源と、ユーザの指及びユーザが操作する操作手段を含む接触体が接触するタッチ画面領域に配置される複数の電極と、各電極のそれぞれに対応して設けられ、前記第１の電源と前記第２の電源との間に相互に並列接続される複数の電極選択切替手段と、前記第１の電源と前記複数の電極選択切替手段との間の電流値又は電圧値の変化を観測する観測手段と、を有する電気触覚提示装置において、前記複数の電極により、ユーザの指及びユーザが操作する操作手段を含む接触体の接触を検出し刺激する処理をコンピュータに実行させるためのプログラムであって、前記タッチ画面領域に当該タッチ画面領域より小さい領域である１以上の監視領域を設定し、前記第１の電源が、前記接触体が前記タッチ画面領域に接触したか否かを検出するための接触検出用電源を生成する間に、前記観測処理の観測結果に応じて前記監視領域に対する前記接触体の接触を検出する接触検出処理を実行する接触検出制御処理と、前記接触が検出された監視領域に基づき前記タッチ画面領域より小さい領域である刺激領域を設定し、前記第１の電源が生成する前記接触体に刺激を与えるための刺激用電源を使用して当該刺激領域に対して前記接触体に刺激を与える刺激処理を実行する刺激制御処理とを有する。

本発明にかかる電気触覚ディスプレイを有する携帯機器は、電気触覚ディスプレイを有する携帯機器であって、前記電気触覚ディスプレイは、２以上の電源電位を生成する第１の電源と、前記電源電位とは異なる電位の基準電圧を供給する第２の電源と、ユーザの指及びユーザが操作する操作手段を含む接触体が接触するタッチ画面領域に配置される複数の電極と、各電極のそれぞれに対応して設けられ、前記第１の電源と前記第２の電源との間に相互に並列接続される複数の電極選択切替手段と前記第１の電源と前記電極選択切替手段との間の電流値又は電圧値の変化を観測する観測手段と、前記観測手段の観測結果に応じて、前記複数の電極選択切替手段を制御するスイッチング制御回路と、を備え、前記電極選択切替手段は、前記第１の電源と前記第２の電源との間に直列接続される第１の及び第２のスイッチを有し、前記第１の電源は、前記接触体が前記タッチ画面領域に接触したか否かを検出するための接触検出用電源と、前記接触体に刺激を与えるための刺激用電源とを生成し、前記スイッチング制御回路は、前記タッチ画面領域に当該タッチ画面領域より小さい領域である１以上の監視領域を設定し、前記第１の電源の前記接触検出用電源生成時における前記観測手段の観測結果に応じて前記監視領域に対する前記接触体の接触を検出する接触検出処理を実行する接触検出制御手段と、前記接触が検出された監視領域に基づき前記タッチ画面領域より小さい領域である刺激領域を設定し、前記刺激用電源を使用して当該刺激領域に対して前記接触体に刺激を与える刺激処理を実行する刺激制御手段とを有するものである。

本発明によれば、タッチセンシングに要する時間を短縮した電気触覚提示装置、電気触覚提示装置の制御方法、電気触覚提示装置の制御プログラム、及び電気触覚提示装置を備えた携帯機器を提供することができる。

（ａ）及び（ｂ）は、スマートフォン１００を示す外観図である。 本発明の実施の形態にかかるスマートフォン１００の内部構成を示すブロック図である 本発明の実施の形態にかかる電気触覚提示装置に該当する部分を上述のスマートフォン１００の構成例から抜き出して示す図である。 図３Ｂは、電極選択切替部４１を構成する上部スイッチＳ１及び下部スイッチＳ２を拡大して示す図である。 （ａ）及び（ｂ）は、それぞれスマートフォン１００のタッチパネル１０３、及び液晶パネル１０２での表示を示す模式図である。 （ａ）及び（ｂ）は、それぞれスマートフォン１００のタッチパネル１０３、及び液晶パネル１０２での表示の他の例を示す模式図である。 本発明の実施の形態にかかる電気触覚提示装置の制御方法を示すフローチャートである。 本発明の実施の形態における接触検出制御部における接触検知方法の一例を示す図である。 本発明の実施の形態における接触検出制御部における接触検知方法の他の例を示す図である。 より簡略化された段階的手法を示す図である。 本発明の実施の形態における接触検出制御部における異なる接触検知方法を示している。 特許文献１に記載の電気触覚提示装置のシステム全体図である。 （ａ）乃至（ｃ）は、２次元マトリクス状に配置したアレイ電極を用いた基本的な電気刺激手法を示す図である。 （ａ）及び（ｂ）は、特許文献１に記載の電気触覚提示装置の制御方法を説明する図である。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、スマートフォンの電気触覚提示装置に適用したものである。なお、以下の実施の形態においては、電気触覚提示装置をスマートフォンで使用されるものとして説明するが、本発明の電気触覚提示装置は、その他、携帯ゲーム端末、タブレットＰＣ(Personal Computer)、及びノートＰＣ等のその他の電子機器の電気触覚提示装置としても適用可能であることはもちろんである。

＜スマートフォン概要＞
まず、図１（ａ）及び図１（ｂ）参照して、本実施の形態にかかるスマートフォンの概要について説明する。図１（ａ）及び図１（ｂ）は、スマートフォン１００を示す外観図である。

この図１（ａ）は、スマートフォン１００の筐体１０１の一方の主面(前面)側から見たスマートフォン１００の外観を示している。スマートフォン１００は、筐体１０１の主面のほぼ全領域に配置された液晶パネル（Liquid Cristal Panel）１０２と、後述タッチパネル１０３と、幾つかの操作ボタン１０４と、カメラデバイス１０５とが配置されている。一方、図１（ｂ）は、筐体１０１の他方の主面(背面)側から見たスマートフォン１００の外観を示している。筐体１０１の背面には、カメラデバイス１０６が配置されている。

液晶パネル１０２は、その表示面が筐体１０１の前面に位置するように配置されている。なお、液晶パネル１０２の代わりに有機ＥＬパネル（Organic Light-Emitting Diode Panel）等とすることも可能である。

タッチパネル１０３は、液晶パネル１０２の表示面を覆うように配置されるか、又は液晶パネル１０２の裏面側に配置される。そして、ユーザの指又はユーザが操作する専用の操作ペン（スタイラス）等の操作部等（以下、接触体ともいう。）で液晶パネル１０２のタッチ領域内に触れることで、スマートフォン１００を直感的に操作することができる。

そして、本実施の形態にかかるタッチパネル１０３は、ユーザの指又は専用のペンが接触するタッチ画面領域において、その指やペンの接触位置を検出すると共に、接触位置が検出されると接触している指やペンに対して微弱な電流により刺激を与え、例えば電気触覚提示装置上にアイコン等のボタンの凹凸があるかのような感覚を与えることができる電気触覚提示装置として機能する。このタッチパネル１０３についての詳細は、後述する。

また、操作ボタン１０４は、スマートフォン１００に対する補助的な操作に用いられる。なお、無線通信端末によっては、このような操作ボタンが設けられないこともある。カメラデバイス１０６は、そのレンズユニットが筐体１０１の背面に位置するように配置されたメインカメラである。一方、カメラデバイス１０５は、そのレンズユニットが筐体１０１の前面に位置するように配置されたサブカメラである。なお、このようなカメラデバイスは設けられなくてもよい。

次に、本実施の形態にかかるスマートフォン１００の内部構成について説明する。図２は、本発明の実施の形態１にかかるスマートフォン１００の内部構成を示すブロック図である。図２に示すように、スマートフォン１００のメインボード１０には、アプリケーションプロセッサ１１、無線処理部１２、メインメモリ１３、フラッシュメモリ１４、電源関連１５、ボイス回路１６、オーディオ回路１７、及びセンサ１８等が搭載されている。このメインボード１０には、上述した液晶パネル１０２、タッチパネル１０３、及びカメラデバイス１０５、１０６が接続される他、マイク１０７、スピーカ１０８、バッテリ１０９、ＵＳＢ１１０、メモリカード１１１、及びアンテナ１１２等が接続される。

アプリケーションプロセッサ１１は、一般的には、さまざまな周辺回路が１つのパッケージに統合されたＳｏＣ（System On a Chip）デバイスであり、無線処理部１２等の通信関連のデバイスやタッチパネル１０３、カメラ１０５、１０６等の周辺機器を接続するためのインタフェースなど、多くのインタフェース回路が含まれる。

このアプリケーションプロセッサ１１は、メインメモリ１３に格納されたプログラムを読み出して、スマートフォン１００の各種機能を実現するための処理を行う。例えば、アプリケーションプロセッサ１１は、メインメモリ１３からＯＳ（Operating System）プログラムを読み出し実行すると共に、このＯＳプログラムを動作基板とするアプリケーションプログラムを実行する。より具体的には、アプリケーションプロセッサ１１は、送信データをアプリケーションプロセッサ１１ら受け取り、受け取った送信データに対して符号化処理を施し、さらに、搬送波により変調処理して送信信号を生成し、アンテナ１１２を介して送信信号を外部へ送信する。また、ベースバンドプロセッサ１２１は、アンテナ１１２を介して受信信号を受信し、この受信信号を搬送波により復調処理して受信データを生成し、さらにこの受信データに対して復号化処理を施してアプリケーションプロセッサ１１に送信する。

また、本実施の形態にかかるアプリケーションプロセッサ１１は、スイッチング制御回路（図示せず）を有している。このスイッチング制御回路は、液晶パネル１０２のタッチ画面領域に当該タッチ画面領域より小さい領域である１以上の監視領域を設定し、ユーザの指や操作ペンの接触を検出する接触検出処理を実行する接触検出制御と、接触が検出された監視領域に基づきタッチ画面領域より小さい領域である刺激領域を設定し、この刺激領域に対してユーザの指に直接又は操作ペンを介して間接的に刺激を与える刺激処理の刺激制御とを行う。その詳細については後述する。

無線処理部１２は、ベースバンドプロセッサ１２１、無線ＬＡＮ１２２、及びＢｌｕｅｔｏｏｔｈ（登録商標）１２３等を有する。ベースバンドプロセッサ１２１は、スマートフォン１００が送受信するデータに対して符号化（例えば、畳み込み符号やターボ符号等の誤り訂正符号化）処理又は復号化処理等を含むベースバンド処理を行う。

メインメモリ１３は、アプリケーションプロセッサ１１により利用されるプログラム及びデータを格納する。さらに、アプリケーションプロセッサ１１には、電源が遮断されても記憶したデータを保持する不揮発性メモリ（フラッシュメモリ）１４と接続される。

バッテリ１０９は、電池であり、スマートフォン１００が外部電源によらずに動作する場合に利用される。なお、スマートフォン１００に外部電源が接続されている場合においてもバッテリ１０９の電源を利用してもよい。また、バッテリ１０９としては、二次電池を利用することが好ましい。

電源管理部１５は、バッテリ１０９又は外部電源から内部電源を生成する。この内部電源は、スマートフォン１００の各ブロックに与えられる。このとき電源管理部１５は、アプリケーションプロセッサ１１からの指示に基づき内部電源の電圧制御を行って、各ブロック回路毎に同一又は異なる内部電源を供給する。さらに、電源管理部１５は、各ブロック回路毎に内部電源の遮断を制御することもできる。また、電源管理部１５は、外部電源の供給がある場合、バッテリ１０９への充電制御も行う。本実施の形態にかかる電源管理部１５は、アプリケーションプロセッサ１１の上述のスイッチング制御回路の制御に基づき、２以上の異なる電源電位を生成してスイッチング回路４０へ供給する。

スイッチング回路４０は、その電源電位と基準電位（グランド）との間に、直列された２つのスイッチ（電極選択切替手段）が複数、相互に並列接続されたもので、これらのスイッチを切替選択することでタッチパネル１０３のタッチ領域にアレイ状に配置される複数の電極を、電源電位又は基準電位に接続する。このため、スイッチング回路４０は、電極と同一個数の電極選択切替手段からなり、各電極に１つの電極選択切替手段がそれぞれ対応して設けられ、これら複数の電極選択切替手段が電源電位とグランドとの間で相互に並列接続されて構成されている。このスイッチング回路４０についてもその詳細は後述する。

オーディオ１７は、アプリケーションプロセッサ１１から送信される音声データをデコードしてスピーカ１０８を駆動する。ボイス１６は、マイク１０７から得た音声情報をエンコードして音声データを生成し、この音声データをアプリケーションプロセッサ１１に出力する。

センサ部１８には、温度センサ、ＧＰＳ（Global Positioning System）システム等が含まれる。温度センサにより本体側が充電時にバッテリ温度を管理することができる。また、ＧＰＳを備えることで、スマートフォン１００の位置を高精度に測定することが可能であり、位置を正確に把握することで、目的地までのナビゲーションが可能になる。ここで、スマートフォン１００のＧＰＳシステムは、通信により位置測定を補助し、短期間での位置を測定するための機能を備える（A-GPS（Assisted GPS））。

液晶パネル１０２は、アプリケーションプロセッサ１１における処理に従い様々な画像を表示する。この液晶パネル１０２において表示される画像には、ユーザがスマートフォン１００に動作指示を与えるユーザーインタフェース画像、カメラ画像、又は動画等が表される。

さらに、本実施の形態におけるスマートフォン１００は、上述したように、高解像度の背面のカメラデバイス１０６だけでなく、ディスプレイ側にもカメラデバイス１０５を装備し、カメラデバイス１０５、１０６は、アプリケーションプロセッサ１１からの指示に従い、画像を取得する。

＜本発明の実施の形態１＞
次に、本発明の実施の形態１にかかる電気触覚提示装置の構成について更に詳細に説明する。図３Ａは、本実施の形態にかかる電気触覚提示装置に該当する部分を上述のスマートフォン１００の構成例から抜き出して示す図である。

図３Ａに示すように、電気触覚提示装置１は、第１の電源としての電流源３１と、第２の電源と、複数の電極５１と、スイッチング回路４０と、観測手段としての観測部３２と、スイッチング制御回路２０とを有する。

電流源３１は、２以上の電源電位を生成又は２以上の電源電位が図２に示す電源管理部１５から供給され、これに応じた定電流を出力する。なお、本実施の形態においては、定電流を出力する電流源として説明するが、定電圧を出力する１又は２以上の電圧源であってもよい。

第２の電源は、電源電位とは異なる電位の基準電圧を供給するもので、基準電圧とは例えばグランド電位である。複数の電極５１は、ユーザの指及びユーザが操作する操作手段を含む接触体が接触するタッチ画面領域に配置される。本実施の形態においては、タッチ画面領域にアレイ状に配置される例（アレイ電極５０）をとって説明するが、複数の電極を、例えば、接触する頻度、確率等に応じて、粗密を設けて配置されるようにしてもよい。すなわち、接触する頻度、確率が高い領域の密度を高く、頻度、確率が低い領域の密度を低く設ける等してもよい。

スイッチング回路４０は、複数の電極選択切替手段としての電極選択切替部（ハーフブリッジ回路ともいう。）４１から構成される。各電極選択切替部４１は、各電極５１のそれぞれに対応して設けられるもので、電流源３１とグランドとの間で相互に並列接続される。観測部３２は、電流源３１とスイッチング回路４０との間に流れる電流値の変化を観測する。スイッチング制御回路２０は、観測部３２の観測結果に応じて、複数の電極選択切替部４１を制御する。

ここで、電極選択切替部４１は、直列された第１のスイッチとしての上部スイッチ（ハイエンド側スイッチともいう。）Ｓ１及び第２のスイッチとしての下部スイッチ（ロウエンド側スイッチともいう。）Ｓ２が電流源３１とグランドとの間に接続されてなる。スイッチング制御回路２０は、これらの上部スイッチＳ１及び下部スイッチＳ２のスイッチングを制御することで、各電極選択切替部４１に接続される各電極５１を電源電位又はグランド電位に接続する。

電流源３１は、ユーザの指や操作ペンがタッチ画面領域に接触したか否かを検出するための接触検出用電源と、ユーザの指に直接又は間接的に刺激を与えるための刺激用電源とを生成する。

スイッチング制御回路２０は、接触検出制御手段としての接触検出制御部２１と、刺激制御手段としての刺激制御部２２とを有する。接触検出制御部２１は、タッチパネル１０３のタッチ画面領域において、このタッチ画面領域より小さい領域である１以上の監視領域を設定し、観測部３２の接触検出用電源生成時における観測部３２の観測結果に応じて監視領域に対する接触体の接触を検出する接触検出処理を実行する。刺激制御部２２は、接触が検出された監視領域に基づき、タッチ画面領域より小さい領域である刺激領域を設定し、刺激用電源を使用して、この刺激領域に対して接触体に刺激を与える刺激処理を実行する。

図３Ｂは、電極選択切替部４１を構成する上部スイッチＳ１及び下部スイッチＳ２を拡大して示す図である。図３Ｂに示すように、電極選択切替部４１は、上部スイッチＳ１及び下部スイッチＳ２が直列接続されて構成されるもので、上部スイッチＳ１が図示せぬ観測部を介して電流源３１と接続され、下部スイッチＳ２がグランド等の基準電位に接続される。ここで、ユーザの指等の接触を検出する接触検出フェーズであっても、ユーザの指等に刺激を与えるための刺激フェーズであっても、ユーザの指等を介して電極５１間に微弱の電流を流す必要がある。電極５１は、スマートフォンの場合、例えば３ｍｍ間隔などでアレイ配置される。この場合は、隣り合う電極５１間に異なる電位を設定すると、ユーザの指等が接触した場合、この指等を介して電位の高位側から電位の低位側に微弱な電流を流すことができる。なお、隣り合う電極５１間に異なる電位を設定することができればよいので、基準電位はグランドでなくてもよいし、電流源３１側の電位より高電位であってもよい。

また、ユーザの指の代わりに、操作ペンなどを使用する場合、同じく電位差がある電極間を電気的に接続して電流経路となり得る素材のものであれば、操作ペン自体が金属などの導電性材料で生成されるもの以外であってもよい。具体的には、例えば導電性布をペンの先端に被覆したものや、ペンの少なくともパネルに接触する部分に導電性塗料を塗装したもの等を使用することができる。

ユーザの指等の接触検出では、隣り合う電極５１間に電位差を設けておけば、ユーザの指等が隣り合う電極５１間に触れると当該ユーザの指等を介して微弱電流が流れる。各電極５１は、電流源３１に対して、上部スイッチＳ１を介して並列に接続されており、よって、電流源３１と各電極との間に接続された観測部により、この電流源３１から電流が流れるか否かを観測することで、ユーザの指等の接触の有無を検出することができる。なお、観測部では、基本的にいずれの電極５１間に指が接触したのかは把握できないが、電極選択切替部４１のスイッチングを制御するスイッチング制御回路２０又は接触検出制御部２１はいずれの電極５１間に電位差を設けているかを把握している。

ここで、本実施の形態にかかるスマートフォン１００は、従来のように、いずれか１つとその他との間に電位差を設けるのとは異なり、より高速に接触検出を行うものである。次に、本実施の形態にかかるスマートフォン１００が高速に接触検出することができる理由について説明する。

図４（ａ）及び図４（ｂ）は、それぞれスマートフォン１００のタッチパネル１０３、及び液晶パネル１０２での表示を示す模式図である。以下では、説明の簡単のため、図４（ａ）に示すように、本実施の形態にかかるタッチパネル１０３のタッチ領域には、縦８つ×横８つで６４個の電極５１がアレイ配置される。

図４（ａ）に示すように、本実施の形態にかかるスイッチング制御回路２０の接触検出制御部２１は、タッチパネル領域（１０３）に対し、このタッチパネル領域より小さい領域を監視領域６０として定める。そして、監視領域６０には、上部スイッチＳ１のみオンして電源電位とされる電源電位電極６１と、下部スイッチＳ２のみをオンしてグランド電位とされるグランド電位電極６２とを設定する。このとき、ユーザの指乃至操作ペンの先端により、電源電位電極６１とグランド電位電極６２との間に電流経路が生成されるような位置に、電源電位電極６１及びグランド電位電極６２を配置する。

図４（ａ）に示す本実施の形態においては、各電極間の距離は例えば３ｍｍであるため、上下左右で隣り合う電極の電位が異なるよう、つまり市松模様のように、電源電位電極６１及びグランド電位電極６２を配置している例を示している。なお、電極間隔が小さい又は大きい場合、電極の大きさが大きい又は小さい場合においては、それらの間隔や大きさを考慮し、また接触体がユーザの指であるのか、専用の操作ペンであるのか、それらにより形成されるタッチパネル１０３との接触点の面積の大きさはどの程度であるか、等も考慮し、電源電位電極６１及びグランド電位電極６２の配置を適宜決定すればよい。このように電源電位電極６１及びグランド電位電極６２を配置することで、監視領域６０内で接触があるか否かを１パルスで検出することができる。

ここで、上述した従来の方法であると、タッチパネル１０３における接触を検出するには、最低でもタッチパネル１０３に配置される全電極の数、つまり最低でも６４回の計測を必要とする。電極１点において、ユーザの指等が接触しているか否かを計測するには、つまり、皮膚抵抗値計測には、最低でも０．１ｍｓ程度の時間が必要である。つまり例えば、３２×１６個の電極（刺激点）を配置した場合には、電極の個数は５１２個なので５２１×０．１ｍｓ＝５１．２ｍｓの時間がかかることになる。更に、正確な計測を行う場合はこの３倍の長さ（１点について０．３ｍｓ）が必要となり、タッチパネル全域に対し１回の接触検出に１５３．６ｍｓ必要となってしまい、タッチ入力装置の性能としては現実的ではない。つまり、ユーザの接触に対する反応が極めて遅くなってしまう。

これに対し、本実施の形態においては、監視領域６０を設定し、１つの監視領域６０内の接触検出を同時に行う。つまり、図４（ｂ）に示すように、液晶パネル１０２の表示領域内にはアイコン領域１３０が１つのみ表示されており、ユーザがこのアイコン領域１３０をタッチするか否かしか動作がないと仮定する。ここで、この監視領域内の各電極に対し、１つのみを陽極、その他を陰極にする手法で接触検出しても、監視領域６０を定め、この監視領域６０内のみの接触検出・刺激処理を実行すれば、従来に比してより高速な接触検出することは可能である。これに対し、本実施の形態においては、更に、１つの監視領域における電極の電位の設定を工夫することで、１パルスで、１つの監視領域内の接触検出を実施する。つまり、各電極を１単位としいずれの電極が接触しているかを検出するのではなく、監視領域を１単位とし、この領域内で接触があったか否かを検出することで、接触検出を行う時間を飛躍的に向上させる。本例においては、監視領域が１つしかないので、この領域にユーザがタッチしたか否かは、例えば０．３ｍｓ毎に検出できることになる。なお、後述するように、監視領域６０を複数設け、これを同時又は時分割等の異なるタイミングで接触検出してもよい。

次に、スイッチング制御回路２０は、接触検出制御部２１が、監視領域６０におけるユーザのタッチ操作を検出すると、刺激制御部２２は、この検出結果に基づき、タッチ画面領域よりも小さい領域を刺激領域に設定し、この刺激領域に対してユーザの接触如何にかかわらず刺激処理を実行する。刺激処理は、従来と同様、１点の電極のみ電源電位、その他をグランド電位に設定して実行する。これにより、刺激領域内に接触しているユーザの指等に対し、２つの電極間の電位差に応じた電流が刺激電流として流れる。ユーザは、この刺激電流の大きさ等に応じて異なった感覚、触覚を受け、アイコンのボタン形状を認識するなどすることができる。なお、刺激処理においても、各電極の電位設定を工夫することで、刺激領域内の刺激処理を同時に行うようにしてもよい。

刺激処理においても、従来は、タッチパ画面全域の各電極全てに対して刺激処理を実行していたのに対し、タッチ画面より小さい領域を刺激領域に設定することで、刺激処理を行う時間間隔を、タッチ画面全域に行う従来の時間時間に比して短くすることができる。

次に、監視領域の設定方法の他の例について説明する。図５（ａ）及び図５（ｂ）は、それぞれスマートフォン１００のタッチパネル１０３、及び液晶パネル１０２での表示の他の例を示す模式図である。図５（ａ）に示すように、この例では、タッチパネル１０３には、アレイ電極５０として、８×２４＝１９２個の電極５１がアレイ状に配置されている。

そして、図５（ａ）に示すよう、接触検出制御部２１は、タッチパネル１０３のタッチ領域に、３つの監視領域６０を設定している。このような３つの監視領域を設ける例としては、図５（ｂ）に示すように、液晶パネル１０２における表示面に、アイコン領域１３０が３つ表示されているような場合が考えられる。上述したように、１点（１箇所）の接触検出に０．３ｍｓ必要であるとすると、本例においては、監視領域６０が３つであるので、その接触検出処理は０．９ｍｓで足りることになる。一方、従来のように、監視領域６０を設定せず、タッチパネル１０３のタッチ領域に配置される全電極５１に対して接触検出を行おうとすると、１回の接触処理に要する時間が５６．６ｍｓとなり、スマートフォン１００に指等が接触しても素早くそれを検知することができない。

なお、ここでは簡単な例として、３つのアイコン領域を監視領域に設定し、順次接触検出処理するものとして説明するが、表示面にアイコン領域が２０個等、多数表示される場合においては、例えばユーザがそのプログラムを使用する頻度を管理しておりき、この頻度に応じて、接触検出処理の頻度を異ならせてもよい。すなわち、メールや予定表などのアプリケーションの使用頻度が高い場合、メールや予定表などのユーザがよく使用するアプリケーション用アイコン領域に設定した監視領域の接触検出処理を、他のアイコン領域に設定した監視領域より、高い頻度で行うようにしてもよい。さらに、実際に使用する頻度ではなく、あらかじめアプリケーション毎に自動又はユーザの手動で検出頻度レベル等を設定しておき、この設定レベルに応じて接触検出処理の頻度を異ならせてもよい。

また、本実施の形態においては、全電極５１は、１つの電流源３１に接続されるものとして説明したが、電流源３１を２以上有していてもよい。その場合、異なる電流源３１に接続される場合は、同時に監視領域の計測を行うことができる。例えば図５に示す例では、監視領域３つに合わせて３つの電流源又は電圧源を設けることにより、３つの監視領域に対し並列的に接触検出を行うことができるので、図４に示す場合と同じく、３つの監視領域の接触検出処理を０．３ｍｓで行うことができる。また、刺激処理においても電流源又は電圧源の個数だけ同時に行うことができるため、Ｎ（Ｎは２以上の整数）以上の電流源又は電圧源を設けることで、１つの電流源又は電圧源の場合と比べると刺激処理もＮ倍に向上する。

スマートフォン１００程度の小さなタッチパネル領域の機器には、監視領域を設けることで十分高速に接触検出処理が可能であるので、電流源又は電圧源は１つで十分であるが、例えばノートＰＣやテレビ等のもっと広いタッチ画面を有する機器やシステムに本発明を適用する場合であって、タッチパネル領域が広すぎて適切な接触検出処理速度、刺激処理速度を得られない場合等には、処理速度を高速化する有効な手段となる。

なお、システムは、監視領域内のどの部分をユーザの指等がタッチしたかを把握することができない。本実施の形態においては、１つの電源に全ての電極が並列接続されており、これら全部の電流値の変化を観測部３２は、１点で観測しているためである。ただし、例えばアイコン領域を監視領域に設定している場合、アイコン領域のいずれの位置で接触があったか否かを検出する必要はない。つまり、アイコン領域内に配置される電極のいずれかに接触があることが検出できれば、当該アイコン領域が触覚できるような刺激処理に移行することができるためである。

次に、本実施の形態にかかる電気触覚提示装置の制御方法について説明する。図６は、本実施の形態にかかる電気触覚提示装置の制御方法を示すフローチャートである。ここでは、図５及び図６を参照して図３Ａに示すスイッチング制御回路２０の動作について説明する。

図６に示すように、先ず、接触検出制御部２１が図５に示す監視領域６０を設定する（ステップＳＰ１）。本例においては、接触検出制御部２１は、タッチパネル１０３のタッチ領域に３つの監視領域６０を設定している。次いで、接触検出制御部２１は、３つの監視領域６０の電極５１のうち、１つの監視領域６０において、上下左右に隣接する電極５１が異なる電位となるよう電極選択切替部４１を制御する。つまり、図５（ａ）に示すように、接触検出対象となる監視領域６０において、電源電位電極６１とグランド電位電極６２とが市松模様になるよう監視領域６内の全電極５１の電位を設定する。この処理を、各監視領域６０に対して順次行いつつ、図３Ａに示す観測部３２の観測結果をモニタする。

本例では、各監視領域６０に対して同一期間（例えば、０．３ｍｓ）及び一頻度（時分割）で、時分割に、ユーザの指等の接触があるか否かの接触検出を行う（ステップＳＰ２）。ここで、接触検出が行われる場合、監視領域６０におけるそれぞれ隣り合う電極５１は異なる電位（接触検出用電位とグランド電位）に設定される。これにより、ユーザの指等が接触すると、隣接する電極間に電流経路が生成され電流が流れるため、観測部３２で観測している電流値の値が変化する。なお、観測部３２は、電流値の変動を計測してもよいし、抵抗を直列に挿入して、その電圧値をモニタするようにしてもよい。ユーザの指等が接触した場合、電圧が検出されるため接触の有無を検出することができる（ステップＳＰ３）。ここで、ユーザの接触が検出されなければ、ステップＳＰ２に戻り、次の監視領域６０の接触検出を行う。なお、接触検出処理においては、ユーザの指などに接触により流れる電流（接触検出電流）は、ユーザには検知できない程度の電流（接触検出電流）でよい。よって、接触検出用電位は、接触検出電流が電流値の変化がモニタできるレベルで微弱な電流となるよう適宜設定すればよい。

次に、ユーザの指の接触が検知された場合について説明する。この場合、接触検出制御部２１の接触検出処理は一旦終了し、刺激制御部２２により刺激処理を実行する。なお、本実施の形態においては、接触検出処理は、接触を検出した時点で終了するものとして説明するが、監視領域が複数ある場合であって、接触が複数個所想定できる場合等においては、１つの監視領域で接触を検出しても全監視領域の接触検出が一旦終了するまで接触検出処理を続けるようにしてもよい。

刺激処理においては、先ず、刺激制御部２２は、ユーザの接触を検出した監視領域６０を刺激領域に設定する（ステップＳＰ４）。そして、この刺激領域の各電極から、ユーザの指等に例えばアイコンのボタン形状を認識させるような刺激電流を供給する（ステップＳＰ５）。すなわち、電極選択切替部４１の上部スイッチＳ１をオンすることで、刺激領域内の各電極を順次刺激用電位に設定する。これにより、接触検出処理における各電極間５１の電位差よりも大きな電位差を設定し刺激用電源により接触検出電流より大きな刺激電流を生成し、当該刺激領域に配置される各電極５１に順次与える。ここでユーザの指等の接触があればその指等を介して刺激電流が隣接する電極に流れる。ユーザはこの刺激電流により、タッチパネル１０３上のタッチ面にアイコンのボタン形状を認識したり、スクロールバーを触覚により知覚したりすることができる。

次に、刺激処理の終了方法について説明する。刺激処理においては、接触を検知して刺激処理に移行した後、所定の時間だけ刺激処理を継続し、所定時間の経過後に、自動的に再度接触検出処理に移行することができる（ステップＳＰ６）。所定期間、刺激処理を実行した後、接触検出処理に戻る場合は、テップＳＰ１からの処理を繰り返し実施し、再度、接触を検知したら刺激制御、接触検知しなければ、接触検知するまで接触検出処理を続ける等とすることができる。

例えばアイコンを押した際の感触をユーザに与えるためには、典型的には１００Ｈｚ程度（１０ｍｓおき程度）の刺激を３回乃至１０回程度与えればよく、これにかかる時間は０．１秒程度となる。

また、このように所定時間経過後に、自動的に接触検知に移行する場合、この刺激処理期間中は接触検出処理に戻らないので観測部３２で電圧や電流を観測する必要はない。刺激処理の期間中は、観測部３２で、電流源３１と各電極との間に流れる電流値の変化を観測する必要がなくなり、処理が簡略化する。

一方で、刺激処理の最中であっても、観測部３２により電流値又は電圧値の変化を観測しておくことで、刺激パルス中の抵抗値計測で皮膚状態に対応した電流値制御を行うことが可能となる。つまり、刺激処理中における観測部３２の観測結果を使用し、刺激処理を途中で中止し接触検出処理に移行することも可能である。具体的には、観測部３２の観測値により、刺激処理中に刺激電流が流れていなければ、ユーザの指等の接触がないと判断することができるので、所定時間の経過前であっても、接触検出処理に戻ることも可能である。具体的には、刺激処理の時間が予め予想できない場合や、刺激処理の時間が短時間である場合にこの方法がより効果的であり、例えばピアノの鍵盤を表示し、この鍵盤に対する高速連打を把握する必要があるときなどには、刺激処理中も観測部３２の観測値をモニタし、接触がないと判断したらすぐに接触検出処理に戻るようにしてもよい。

これにより、ユーザの指等が接触している間のみ刺激処理を行い、その他の間は接触検出処理とすることで、省電力化となると共に、次回のユーザの指等の接触検知をより迅速に行うことができるという効果を奏する。

更に、刺激処理と接触検出処理は、タッチパネル１０４の領域によって混在し得る。すなわち、図５（ｂ）に示すように、プログラムＡのアイコン１３０の領域に対し、刺激処理を行っている間に、プログラムＢのアイコン１３０の領域に対し、接触検出処理を実行することも可能である。具体的には、プログラムＡのアイコン１３０の領域に配置される１６個の電極それぞれに刺激用電源を供給する。例えば、各電極を刺激用電源に接続する時間を０．１ｍｓ×１６個＝１．６ｍｓ、すなわち、１．６ｍｓで当該領域における刺激処理を１回完了することができる。次にプログラムＢのアイコン１３０の領域に配置される１６個の電源に対し、図５（ａ）に示すように、上下左右が異なる電位となるようスイッチを制御し接触検知用電源に接続すれば接触検出を行うことができる。この場合、１回の接触検知に必要な時間は例えば０．１ｍｓである。

また、上述したように、監視領域６０に対し個別に電流源３１を有するか、監視領域６０毎に各電極が並列接続され、監視領域６０毎に並列に電流源３１に接続する場合は、一方の監視領域６０を刺激領域に設定し刺激処理を実行しつつ、他方の監視領域６０では接触検出処理を行うことも勿論可能である。例えば、マルチタッチインタフェースの場合には、このように各監視領域６０に対し並列的な処理が必要となる。

次に、接触検出制御部２１が設定する監視領域６０の他の例について説明する。上述したように、本実施の形態においては、接触検出処理では、タッチパネル領域より小さい領域を監視領域６０に設定し、この監視領域６０の一部又は全部に対し一度に接触検出を実施する。すなわち、どの電極間にユーザの指等が接触しているかを検出するのではなく、接触が予想される領域を適宜予想し、まとまった領域における１又は複数の電極に対し一斉に接触検出を行うことで、１回の接触検出に必要な時間を大幅に減少し高速な接触検出を可能にする。

図７乃至図１０は、接触検出制御部２１における異なる接触検知方法を示している。図７乃至図１０に示すように、接触検出制御部２１が設定する監視領域は、矩形の領域に限らない。また、図７（ａ）は、列方向に監視領域を設定するものであり、図７（ｂ）は、Ｖ字型に監視領域を設定する例を示している。例えば、あるラインに触れているかどうかをユーザに判断させたい場合などにおいては、そのライン上の電極をすべて電源電位側に接続して陽極とすることで、帯状であっても、Ｖ字状であっても同様に接触検出処理、刺激処を実行することができる。例えばウィンドウの境界等においてはラインに触れたかどうかは重要となる。

図８は、図７（ａ）に示す列方向に設定された監視領域を使用してタッチパネル１０３
のタッチ領域全域の接触検出処理を実行する方法を説明する図である。図８（ａ）乃至図８（ｄ）に示すように、アレイ状に配置された電極の列方向を監視領域として設定する。これは、例えばピアノの鍵盤を演奏するようなアプリケーションのように縦列方向はどこに触れてもよく、横行方向の接触位置情報だけが重要であるような場合等に好適である。なお、本例においては、電極１列からなる監視領域としているが、複数列とすれば、より広いエリアの接触検出を一斉に行うことができるため、検出処理を高速化することができる。

図８（ａ）に示すように、１列（縦列）の監視領域を左端に設定、この監視領域の電極のみ電源電位電極６１とし、他の領域の電極をグランド電位電極６２とに設定することで接触検出を行う。この監視領域を図８（ｂ）乃至図８（ｄ）に示すように一列ずつずらしていくことで、０．１×列数の時間で、全域について接触検出ことができる。また、この場合はどの列に接触しているかを検出することができるが列上の位置（何番目の行か）も検出したい場合は、１行の監視領域を設定し、同じく上端又は下端から１行（横列）を構成する電極全てを電源電位電極６１とし、他の電極をグランド電位電極６２として監視領域を順次走査していくことで、いずれの列（縦）及び行（横）で接触があるかを検出することができる。また、このように列方向又は行方向の領域を刺激領域として順次走査すれば、スクロールバー等の凹凸を表現することも可能である。

更に、図９は、より簡略化された段階的手法を示す図である。上述したように、タッチパネル領域にアレイ状に配置される電極のうち、１又は複数列からなる監視領域を１又は複数設定し、この監視領域を電源電位電極６１（陽極）、その他の電極をグランド電位電極６２（陰極）として、いずれの縦列に触っているかどうかを判定する。同じく、１又は複数行からなる監視領域を１又は複数設定し、同様の処理を横列（行方向）に対しても行なうことで、いずれの横列に触っているかどうかを検出する。これにより、縦の接触領域、横の接触領域が判定されるため、接触点はこのクロスした領域中に存在する。よって、クロスした領域を１点ずつ接触判定することでより正確な接触判定を行うことができる。なおシングルタッチ（一本の指だけで操作する）のアプリケーションの場合は、縦列、横列の接触判定結果のみで接触重心がわかり、これで十分である。

なお、列方向の監視領域６０を、１列でなくて例えば４列からなる領域とする場合は、隣り合う電極同士が異なる電位となるよう、電源電位電極６１、グランド電位電極６２を生成（配置）する。行方向の監視領域６０についても同様である。さらに、複数の電流源３１を有する場合は、列方向の監視領域が複数ある場合であっても、電流源３１と同一の数の監視領域を同時に接触検査することができ、例えば広いタッチパネル領域であっても、接触処理速度を維持することができる。また、電流源３１が１つの場合は、縦及び横の帯状監視領域６０によりクロス領域が増えるが、必要に応じてクロス領域も接触検査すればよい。

次に、タッチパネル領域に所定の監視領域を設定する必要がない場合、すなわち、タッチパネル領域全域で接触検出が必要な場合に極めて好適な方法について説明する。図１０は、監視領域の設定方法の他の例を説明する図である。

図１０に示すように、タッチパネル１０３においてユーザがタッチする可能性がある領域を、例えば４つに分割し、４つの監視領域６０を設定する。そして、接触検出制御部２１は、この４つの監視領域６０に対し、時分割で接触検出を実施する。図１０に示す例では、１回の接触検出に６４×０．１ｍｓの時間要する従来の方法と比較すると、４×０．１ｍｓ、すなわち１６分の１の時間でアレイ電極５０の領域でいずれの監視領域でユーザの接触があったかを検出することができる。

その後、図１０（ｂ）に示すように、接触が検出された上述の４分割領域のいずれか１領域に対し、これを更に４分割して新たな監視領域７０を設定する。同様に、これら４つの分割領域を新たな監視領域６０に設定し、同様に時分割で接触検出を行う。そして、いずれの電極がユーザの指等と接触しているかを、監視領域６０を順次分割処理を繰り返すことで検出することができる。図１０に示す例では、４つの監視領域６０（図１０（ａ））のうち、接触を検出した監視領域６０から４つの監視領域７０が設定され（時１０（ｂ）、さらに接触を検出した監視領域７０から４つの監視領域８０が設定される（図１０（ｃ））例を示している。この場合、（４＋４＋４）×０．１ｍｓ＝１．２ｍｓで、タッチパネル１０３全体に対する１回の接触処理が終了する。さらに、この図１０に示す例は、同様の分割処理を繰り返すのみでよく、制御がより容易となる。ここで、監視領域６０の接触検出を行う場合、上述の例と同様、監視領域６０内の電極に対し、電源電位電極６１を市松模様状に陽極を配置する。これにより、監視領域６０のいずれの位置に接触してもこれを検出することができる。

例えばタッチパネル上に表示されるアイコン領域等、予め監視領域が明らかである場合には、上述の図４及び図５等に示した方法が好適であったが、この図１０に示す例においては、予め決まった監視領域を予想することができない場合も、タッチ画面の全領域に対して階層的走査を行うことにより、電極を１点ずつ走査して接触を検出するのに比べて素早く接触センシングを行うことができ、接触検出を高速化することが可能である。更に、図７（ｂ）に示すＶ字の領域を監視領域に設定する方法、図９に示す１又は複数の列又は行を監視領域に設定する方法、及び図１０に示す分割領域を監視領域に設定する方法のうち２以上の方法を組み合わせて接触検出処理を行ってよい。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１ 電気触覚提示装置
１０ メインボード
１２ 無線処理部
１１ アプリケーションプロセッサ
１３ メインメモリ
１４ フラッシュメモリ
１５ 電源管理部
１６ ボイス回路
１７ オーディオ回路
１８ センサ
２０ スイッチング制御回路
２１ 接触検出制御部
２２ 刺激制御部
３１ 電流源
３２ 観測部
４０ スイッチング回路
４１ 電極選択切替部
５０ アレイ電極
５１ 電極
６０、７０、８０ 監視領域
６１ 電源電位電極
６２ グランド電位電極
１００ スマートフォン
１０１ 筐体
１０２ 液晶パネル
１０３ タッチパネル
１０４ 操作ボタン
１０５ カメラデバイス
１０６ カメラデバイス
１０７ マイク
１０８ スピーカ
１０９ バッテリ
１１０ ＵＳＢ
１１１ メモリカード
１１２ アンテナ
１２１ ベースバンドプロセッサ
１２２ 無線ＬＡＮ
１２３ Ｂｌｕｅｔｏｏｔｈ
１３０ アイコン領域
２００ 電気触覚提示装置
２０１ ＰＣ
２０２ 電流源
２０３ スイッチング回路
２０４ アレイ電極
２０５ グランド
２３１ ハーフブリッジ回路
２４１ 刺激電極
Ｓ１ 上部スイッチ
Ｓ２ 下部スイッチ
Ｓ１０１ 上部スイッチ
Ｓ１０２ 下部スイッチ

Claims (8)

1. ２以上の電源電位を生成する第１の電源と、
   前記電源電位とは異なる電位の基準電圧を供給する第２の電源と、
   ユーザの指及びユーザが操作する操作手段を含む接触体が接触するタッチ画面領域に配置される複数の電極と、
   各電極のそれぞれに対応して設けられ、前記第１の電源と前記第２の電源との間に相互に並列接続される複数の電極選択切替手段と、
   前記第１の電源と前記電極選択切替手段との間の電流値又は電圧値の変化を観測する観測手段と、
   前記観測手段の観測結果に応じて、前記複数の電極選択切替手段を制御するスイッチング制御回路と、を備え、
   前記電極選択切替手段は、前記第１の電源と前記第２の電源との間に直列接続される第１の及び第２のスイッチを有し、
   前記第１の電源は、前記接触体が前記タッチ画面領域に接触したか否かを検出するための接触検出用電源と、前記接触体に刺激を与えるための刺激用電源とを生成し、
   前記スイッチング制御回路は、接触検出制御手段と、刺激制御手段と、を有し、
   前記接触検出制御手段は、前記タッチ画面領域に当該タッチ画面領域より小さい領域である複数の監視領域を設定し、前記第１の電源の前記接触検出用電源生成時における前記観測手段の観測結果に応じて前記複数の監視領域のうち、第１の監視領域に対する前記接触体の接触を検出する第１の接触検出処理を実行し、
   前記刺激制御手段は、前記接触が検出された前記第１の監視領域に基づき前記タッチ画面領域より小さい領域である刺激領域を設定し、前記刺激用電源を使用して当該刺激領域に対して前記接触体に刺激を与える刺激処理を実行し、
   前記刺激領域に前記刺激処理を行っている間に、前記接触検出制御手段は、前記第１の電源の前記接触検出用電源生成時における前記観測手段の観測結果に応じて前記複数の監視領域のうち、第２の監視領域に対する前記接触体の接触を検出する第２の接触検出処理を実行する
   電気触覚提示装置。
2. 前記第１の電源は、１つの第１の電源に対して所定数以下の前記電極選択切替手段が並列接続されるよう、必要な個数設けられる、
   請求項１に記載の電気触覚提示装置。
3. 前記第１の電源の前記必要な個数とは、前記接触検出制御手段が前記複数の監視領域を設定した場合に１つの監視領域における前記接触検出処理が所定時間未満で実行可能な個数である
   請求項２に記載の電気触覚提示装置。
4. ２以上の電源電位を生成する第１の電源と、
   前記電源電位とは異なる電位の基準電圧を供給する第２の電源と、
   ユーザの指及びユーザが操作する操作手段を含む接触体が接触するタッチ画面領域に配置される複数の電極と、
   各電極のそれぞれに対応して設けられ、前記第１の電源と前記第２の電源との間に相互に並列接続される複数の電極選択切替手段と、
   を有し、前記複数の電極により、ユーザの指及びユーザが操作する操作手段を含む接触体の接触を検出し刺激する電気触覚提示装置の制御方法において、
   前記第１の電源と前記複数の電極選択切替手段との間の電流値又は電圧値の変化を観測する観測工程と、
   前記観測工程の観測結果に応じて、前記複数の電極選択切替手段を制御するスイッチング制御工程と、を有し、
   前記スイッチング制御工程は、第１及び第２の接触検出制御工程と、刺激制御工程と、を有し、
   前記第１の接触検出制御工程は、前記タッチ画面領域に当該タッチ画面領域より小さい領域である複数の監視領域を設定し、前記第１の電源が、前記接触体が前記タッチ画面領域に接触したか否かを検出するための接触検出用電源を生成する間に、前記観測工程の観測結果に応じて前記複数の監視領域のうち、第１の監視領域に対する前記接触体の接触を検出する第１の接触検出処理を実行し、
   前記刺激制御工程は、前記接触が検出された前記第１の監視領域に基づき前記タッチ画面領域より小さい領域である刺激領域を設定し、前記第１の電源が生成する前記接触体に刺激を与えるための刺激用電源を使用して当該刺激領域に対して前記接触体に刺激を与える刺激処理を実行し、
   前記第２の接触検出制御工程は、前記刺激領域に前記刺激処理を行っている間に、前記第１の電源の前記接触検出用電源生成時における前記観測工程の観測結果に応じて前記複数の監視領域のうち、第２の監視領域に対する前記接触体の接触を検出する第２の接触検出処理を実行する
   電気触覚提示装置の制御方法。
5. ２以上の電源電位を生成する第１の電源と、
   前記電源電位とは異なる電位の基準電圧を供給する第２の電源と、
   ユーザの指及びユーザが操作する操作手段を含む接触体が接触するタッチ画面領域に配置される複数の電極と、
   各電極のそれぞれに対応して設けられ、前記第１の電源と前記第２の電源との間に相互に並列接続される複数の電極選択切替手段と、
   前記第１の電源と前記複数の電極選択切替手段との間の電流値又は電圧値の変化を観測する観測手段と、を有する電気触覚提示装置において前記複数の電極により、ユーザの指及びユーザが操作する操作手段を含む接触体の接触を検出し刺激する処理をコンピュータに実行させるためのプログラムであって、
   前記タッチ画面領域に当該タッチ画面領域より小さい領域である複数の監視領域を設定し、
   前記第１の電源が、前記接触体が前記タッチ画面領域に接触したか否かを検出するための接触検出用電源を生成する間に、前記観測手段の観測結果に応じて前記複数の監視領域のうち、第１の監視領域に対する前記接触体の接触を検出する第１の接触検出処理を実行する第１の接触検出制御処理と、
   前記接触が検出された前記第１の監視領域に基づき前記タッチ画面領域より小さい領域である刺激領域を設定し、前記第１の電源が生成する前記接触体に刺激を与えるための刺激用電源を使用して当該刺激領域に対して前記接触体に刺激を与える刺激処理を実行する刺激制御処理と、
   前記刺激領域に前記刺激処理を行っている間に、前記第１の電源の前記接触検出用電源生成時における前記観測手段の観測結果に応じて前記複数の監視領域のうち、第２の監視領域に対する前記接触体の接触を検出する第２の接触検出処理を実行する第２の接触検出制御処理と、
   を有するプログラム。
6. 電気触覚ディスプレイを有する携帯機器であって、
   前記電気触覚ディスプレイは、
   ２以上の電源電位を生成する第１の電源と、
   前記電源電位とは異なる電位の基準電圧を供給する第２の電源と、
   ユーザの指及びユーザが操作する操作手段を含む接触体が接触するタッチ画面領域に配置される複数の電極と、
   各電極のそれぞれに対応して設けられ、前記第１の電源と前記第２の電源との間に相互に並列接続される複数の電極選択切替手段と、
   前記第１の電源と前記電極選択切替手段との間の電流値又は電圧値の変化を観測する観測手段と、
   前記観測手段の観測結果に応じて、前記複数の電極選択切替手段を制御するスイッチング制御回路と、を備え、
   前記電極選択切替手段は、前記第１の電源と前記第２の電源との間に直列接続される第１の及び第２のスイッチを有し、
   前記第１の電源は、前記接触体が前記タッチ画面領域に接触したか否かを検出するための接触検出用電源と、前記接触体に刺激を与えるための刺激用電源とを生成し、
   前記スイッチング制御回路は、接触検出制御手段と、刺激制御手段と、を有し、
   前記接触検出制御手段は、前記タッチ画面領域に当該タッチ画面領域より小さい領域である複数の監視領域を設定し、
   前記第１の電源の前記接触検出用電源生成時における前記観測手段の観測結果に応じて前記複数の監視領域のうち、第１の監視領域に対する前記接触体の接触を検出する第１の接触検出処理を実行し、
   前記刺激制御手段は、前記接触が検出された前記第１の監視領域に基づき前記タッチ画面領域より小さい領域である刺激領域を設定し、前記刺激用電源を使用して当該刺激領域に対して前記接触体に刺激を与える刺激処理を実行し、
   前記刺激領域に前記刺激処理を行っている間に、前記接触検出制御手段は、前記第１の電源の前記接触検出用電源生成時時における前記観測手段の観測結果に応じて前記複数の監視領域のうち、第２の監視領域に対する前記接触体の接触を検出する第２の接触検出処理を実行する
   電気触覚ディスプレイを有する携帯機器。
7. 前記第１の電源は、１つの第１の電源に対して所定数以下の前記電極選択切替手段が並列接続されるよう、必要な個数設けられる
   請求項６に記載の電気触覚ディスプレイを有する携帯機器。
8. 前記第１の電源の前記必要な個数とは、前記接触検出制御手段が前記複数の監視領域を設定した場合に１つの監視領域における前記接触検出処理が所定時間未満で実行可能な個数である
   請求項７に記載の電気触覚ディスプレイを有する携帯機器。

Images