JPWO2014103085A1 - タッチパネルデバイスとタッチパネルデバイスの制御方法 - Google Patents

Abstract

パネル（１０１）と、パネル（１０１）を振動させるための複数のアクチュエータ（１０２）と、パネル（１０１）の複数の位置で検出されるタッチ入力の複数のタッチ位置の時系列情報から、タッチ位置の移動方向および移動距離を算出する移動入力判定部（１０８）と、コンテントを表示する表示部（１１０）と、コンテント上のオブジェクトの表示部（１１０）に対する存在方向を判定する方向判定部（１０４）と、オブジェクトとの距離が最短である第１のタッチ位置と、同時に検出されている第２のタッチ位置とを決定する振動提示位置決定部（１０５）と、第１のタッチ位置に提示する振動を示す触感信号を、存在方向から決定する提示振動決定部（１０６）と、第１のタッチ位置に所定の振動を提示し、かつ第２のタッチ位置に当該振動を提示しない制御を行う多点同時振動制御部（１０７）と、タッチ位置の移動方向と移動距離に基づいて、コンテントをスクロールして表示させるコンテント制御部（１０９）とを備える。

Description

本発明は、タッチ入力により操作するＧＵＩなどのオブジェクトが存在する方向を、タッチパネルを振動させることによりユーザに出力するものである。特に、複数の指による複数のタッチ位置を同時に検出できるマルチタッチパネルを用いて、複数の指おのおのに同時に異なる振動を提示することにより、ＧＵＩなどのオブジェクトが存在する方向をユーザに提示する触覚入出力装置に関する。

近年、スマートフォン、タブレット、車載用ナビゲーション機器、パソコン、ゲーム機、ＡＴＭ、券売機など様々な機器に、タッチパネルやタッチパッドが搭載されている。これらタッチパネルを搭載した機器においては、操作するＧＵＩなどのオブジェクトをディスプレイに表示し、ユーザは目視によりＧＵＩの位置を確認してタッチすることによりオブジェクトを操作する。

また、スマートフォンやタブレットなどには、複数の指による複数のタッチ位置を同時に検出できるマルチタッチパネルが搭載され、複数のタッチ位置の移動に応じてオブジェクトの拡大、縮小、回転など直感的な操作が実用化されている。

上記のようなタッチパネル搭載機器においては、通常、タッチパネルは機械的なボタンスイッチとは異なり、ＧＵＩなどのオブジェクトを操作したときには、ボタンスイッチを押したときのような操作した感覚が得られない。このため、オブジェクトを操作したときにタッチパネルを振動させることにより、操作が受け付けられた結果をユーザに認識させる技術が実用化されている。

しかしながら、上記の振動により操作結果を確認させる技術では、次に操作されるべきＧＵＩがどこに存在するのかを提示することができないという課題があった。

上記の課題に対し、特許文献１では、タッチパネルをディスプレイの縦および／または横方向に所定の振動パターンにより変位させることにより、タッチパネルに触れた状態の指先をディスプレイに表示されている所定のボタン位置まで誘導することが開示されている。

日本国特許第３８８８０９９号公報

特許文献１の技術では、タッチパネルをディスプレイの縦および／または横方向に所定の振動パターにより変位させることにより、タッチパネルに触れた状態の指先をディスプレイに表示されている所定のボタン位置まで誘導することにより、例えば、次に操作されるべきボタンの情報をユーザに知らせることができる。

しかしながら、特許文献１の技術は、ユーザの指をディスプレイの縦および／または横方向に変位させる振動パターンにより、指をボタンの位置まで誘導する方式であるため、ＧＵＩの存在方向へ指をタッチパネル上でなぞって移動させる際の指の皮膚の変形方向と、ボタンの存在位置へ誘導するための振動による指の皮膚の変形方向とが逆になるため、指の移動を妨げるなど、指をスムーズに移動させる入力操作がしづらいという課題を、発明者らは発見した。

そこで、本発明は、パネルのディスプレイに対して縦および／または横方向に変位させることなく、マルチタッチパネルで検出される複数のタッチ位置のうち、目的とするＧＵＩに近いタッチ位置に振動を提示し、同時にタッチされているその他のタッチ位置に振動を提示しないことにより、振動が提示されているタッチ位置と振動が提示されていないタッチ位置の位置関係に基づいて、目的とするＧＵＩが存在する方向の提示を可能とする触覚入出力装置を提供する。また、本発明は、例えば、電子地図や電子ドキュメントなどのオブジェクトを拡大、縮小、スクロールさせることによって、注目していた情報が、ディスプレイの表示領域外に出た場合に、注目していた情報がディスプレイ表示領域外のどの方向に存在するのかを、ユーザに提示することができる触覚入出力装置を提供する。

本発明の一態様に係る触覚入出力装置は、ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルと、前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、タッチ位置の移動方向および移動距離を算出する移動入力判定部と、コンテントを表示する表示部と、コンテント上に存在するオブジェクトが、表示部の表示領域外のどの方向にあるかを判定する方向判定部と、前記複数のタッチ位置とオブジェクトの位置を比較し、オブジェクトとの距離が最短であるタッチ位置を振動を提示する第１のタッチ位置として決定し、第１のタッチ位置以外の同時に検出されているタッチ位置を振動を提示しない第２のタッチ位置として決定する振動提示位置決定部と、前記振動提示位置決定部で決定された第１のタッチ位置に提示する振動を示す触感信号を、前記方向判定部により決定されたオブジェクトの存在方向に基づいて決定する提示振動決定部と、前記第１のタッチ位置に所定の振動を提示し、かつ前記第２のタッチ位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部と、前記移動入力判定部で算出されたタッチ位置の移動方向と移動距離に基づいて、コンテントをスクロールして表示部に表示する制御を実行するコンテント制御部とを備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の一態様に係る触覚入出力装置の効果の一つは、ユーザがタッチしているどのタッチ位置に振動を提示させるかを制御することにより、目的とするＧＵＩが存在する方向を適切にユーザに確認させることができる。

図１Ａは、本発明の実施の形態１における触覚入出力装置の構成を示すブロック図である。 図１Ｂは、本発明の実施の形態１におけるタブレット機器の動作及び表示を示す図である。 図２は、本発明の実施の形態１における触覚入出力装置の構造を示す図である。 図３Ａは、コンテントとオブジェクト位置を操作するタッチ入力とパネルの振動位置の一例を示す図である。 図３Ｂは、コンテントとオブジェクト位置を操作するタッチ入力とパネルの振動位置の一例を示す図である。 図３Ｃは、コンテントとオブジェクト位置を操作するタッチ入力とパネルの振動位置の一例を示す図である。 図４Ａは、触感信号の一例を示す図である。 図４Ｂは、触感信号の一例を示す図である。 図５は、本発明の実施の形態１における触覚入出力装置の動作を示すフローチャートである。 図６は、コンテント制御パターンの一例を示す図である。 図７Ａは、３点タッチでの方向提示の一例を示す図である。 図７Ｂは、３点タッチでの８方向提示の一例を示す図である。 図８は、本発明の実施の形態１における多点同時振動制御部の構成の一例を示すブロック図である。 図９は、アクチュエータからパネル上のある位置に振動が伝播する経路を示す図である。 図１０Ａは、ＴＳＰの一例を示す図である。 図１０Ｂは、ＴＳＰ応答の一例を示す図である。 図１０Ｃは、ＴＳＰの逆関数の一例を示す図である。 図１０Ｄは、ＴＳＰ応答から算出されるインパルス応答の一例を示す図である。 図１１は、本発明の実施の形態１における多点同時振動制御部の動作を示すフローチャートである。 図１２は、本発明の実施の形態１における多点同時振動制御部の処理動作を説明するための図である。 図１３は、フィルタの一例を示す図である。 図１４は、駆動信号の一例を示す図である。 図１５は、各タッチ位置におけるパネルの振動の実験結果を示す図である。

（本発明の基礎となった知見）
本発明者らは、特許文献１に開示されている技術は、ユーザの指をディスプレイの縦および／または横方向に変位させる振動パターンにより、指をボタンの位置まで誘導する方式であるため、ＧＵＩの存在方向へ指をタッチパネル上でなぞって移動させる際の指の皮膚の変形方向と、ボタンの存在位置へ誘導するための振動による指の皮膚の変形方向とが逆になるため、指の移動を妨げるなど、指をスムーズに移動させる入力操作がしづらいという課題を発見した。

そこで、本開示は、パネルのディスプレイに対して縦および／または横方向に変位させることなく、マルチタッチパネルで検出される複数のタッチ位置のうち、目的とするＧＵＩに近いタッチ位置に振動を提示し、同時にタッチされているその他のタッチ位置に振動を提示しないことにより、振動が提示されているタッチ位置と振動が提示されていないタッチ位置の位置関係に基づいて、目的とするＧＵＩが存在する方向の提示を可能とする触覚入出力装置を提供する。より具体的には、オブジェクトがディスプレイの表示領域の左側に存在する場合には、２つのタッチ位置のうち左側にあるタッチ位置に第１の触感信号による振動を提示し、オブジェクトが右側に存在する場合には、２つのタッチ位置のうち右側にあるタッチ位置に第１の触感信号による振動を提示し、また、オブジェクトがディスプレイの表示領域の上側にある場合には、２つのタッチ位置のうち上側にあるタッチ位置に第２の触感信号による振動を提示し、逆にオブジェクトが下側に存在する場合には、２つのタッチ位置のうち下側にあるタッチ位置に第２の触感信号による振動を提示することにより、オブジェクトの存在方向を提示する触覚入出力装置を提供する。

また、本開示は、例えば、電子地図や電子ドキュメントなどのオブジェクトを拡大、縮小、スクロールさせることによって、注目していた情報が、ディスプレイの表示領域外に出た場合に、注目していた情報がディスプレイの表示領域外のどの方向に存在するのかを、ユーザに提示することができるタッチパネルデバイスとその制御方法、触覚入出力装置（Ａ ｔａｃｔｉｌｅ／ｈａｐｔｉｃ ｆｅｅｄｂａｃｋ ｔｏｕｃｈ ｐａｎｅｌ ａｐｐａｒａｔｕｓ， ｏｒ ａ ｔａｃｔｉｌｅ／ｈａｐｔｉｃ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ ａｐｐａｒａｔｕｓ）、触覚入出力装置の制御方法（Ａ ｍｅｔｈｏｄ ｏｆ ｃｏｎｔｒｏｌｌｉｎｇ ａ ｔａｃｔｉｌｅ／ｈａｐｔｉｃ ｆｅｅｄｂａｃｋ ｔｏｕｃｈ ｐａｎｅｌ ａｐｐａｒａｔｕｓ）、触覚入出力装置の振動方法（Ａ ｍｅｔｈｏｄ ｏｆ ｖｉｂｒａｔｉｎｇ ａ ｔａｃｔｉｌｅ／ｈａｐｔｉｃ ｆｅｅｄｂａｃｋ ｔｏｕｃｈ ｐａｎｅｌ ａｐｐａｒａｔｕｓ）を提供する。

本発明の一態様に係るタッチパネルの制御方法は、タッチパネル表面またはその近傍にマルチタッチ入力された、複数の入力を検出し、検出された前記複数の入力の位置である複数の入力位置を検出し、コンテントの一部又は全てをディスプレイに表示し、前記コンテント上のオブジェクトが前記ディスプレイの表示領域内にあるか表示領域外にあるか決定し、前記オブジェクトが表示領域外にある場合は、前記複数の入力位置のうち、前記オブジェクトとの距離が最も近い入力位置を含む少なくとも１つの位置に対応する位置近傍を振動させ、前記複数の入力位置のうち、前記少なくとも１つの位置に対応する位置近傍以外を振動させない。

この構成によれば、ユーザがタッチしているどのタッチ位置に振動を提示させるかを制御することにより、オブジェクトが存在する方向を適切にユーザに知らせることができる。

本発明の別の一態様に係るタッチパネルの制御方法は、前記オブジェクトと前記オブジェクトとの距離が最も近い入力位置との距離に応じて振動方法を変更する。

この構成によれば、ユーザがタッチしているどのタッチ位置に振動を提示させるかを制御することにより、オブジェクトが存在する方向を適切にユーザに知らせることができる。

本発明の別の一態様に係るタッチパネルの制御方法は、ユーザのなぞり又はタップに応じて前記コンテントをスクロールさせる、タッチパネルデバイスの制御方法であって、前記オブジェクトが表示領域外から表示領域内となったときに、さらに前記タッチパネルを振動させる。

この構成によれば、ユーザがオブジェクトが表示領域に入ったことを触覚によりユーザが把握できる。

本発明の別の一態様に係るタッチパネルの制御方法は、前記オブジェクトが表示領域について左右方向の表示領域外にある場合と、前記オブジェクトが表示領域について上下方向の表示領域外にある場合とで、振動方法が異なる。

この構成によれば、オブジェクトが上下方向か左右方向かどちらの方向に存在するかを適切にユーザに知らせることができる。

本発明の一態様に係るタッチパネルデバイスは、マルチタッチが入力できるように構成されたタッチパネルと、複数のアクチュエータと、プロセッサを有し、前記プロセッサは、タッチパネル表面またはその近傍にマルチタッチ入力された、複数の入力を検出し、検出された前記複数の入力の位置である複数の入力位置を検出し、コンテントの全て又は一部をディスプレイに表示し、前記コンテント上のオブジェクトが前記ディスプレイの表示領域内にあるか表示領域外にあるか決定し、前記オブジェクトが表示領域外にある場合は、前記複数の入力位置のうち、前記オブジェクトとの距離が最も近い１つを含む少なくとも１つの位置に対応する位置近傍を振動させ、前記複数の入力位置のうち、前記少なくとも１つの位置に対応する位置近傍以外を振動させない、制御を行なう。

この構成によれば、ユーザがタッチしているどのタッチ位置に振動を提示させるかを制御することにより、オブジェクトが存在する方向を適切にユーザに知らせることができる。

本発明の別の一態様に係るタッチパネルデバイスは、前記オブジェクトと前記オブジェクトとの距離が最も近い入力位置との距離に応じて振動方法を変更する。

この構成によれば、ユーザがタッチしているどのタッチ位置に振動を提示させるかを制御することにより、オブジェクトが存在する方向を適切にユーザに知らせることができる。

本発明の別の一態様に係るタッチパネルデバイスは、ユーザのなぞり又はタップに応じて前記コンテントをスクロールさせる、請求項１記載のタッチパネルデバイスであって、前記オブジェクトが表示領域外から表示領域内となったときに、さらに前記タッチパネルを振動させる。

この構成によれば、ユーザがオブジェクトが表示領域に入ったことを触覚によりユーザが把握できる。

本発明の別の一態様に係るタッチパネルデバイスは、前記オブジェクトが表示領域について左右方向の表示領域外にある場合と、前記オブジェクトが表示領域について上下方向の表示領域外にある場合とで、振動方法が異なる。

この構成によれば、オブジェクトが上下方向か左右方向かどちらの方向に存在するかを適切にユーザに知らせることができる。

本発明の別の一態様に係るタッチパネルデバイスは、前記コンテントは地図である、車載用タッチパネルデバイスである。

この構成によれば、ユーザがタッチしているどのタッチ位置に振動を提示させるかを制御することにより、地図上のオブジェクトが存在する方向を適切にユーザに知らせることができる。

本発明の別の一態様に係るタッチパネルデバイスは、前記コンテントは地図、電子ドキュメント、ブックマーク、又はＷｅｂページである。

この構成によれば、ユーザがタッチしているどのタッチ位置に振動を提示させるかを制御することにより、地図、電子ドキュメント、ブックマーク、又はＷｅｂページ上のオブジェクトが存在する方向を適切にユーザに知らせることができる。

本発明の一態様に係る触覚入出力装置は、ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルと、前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、タッチ位置の移動方向および移動距離を算出する移動入力判定部と、コンテントを表示する表示部と、コンテント上に存在するオブジェクトが、表示部の表示領域外のどの方向にあるかを判定する方向判定部と、前記複数のタッチ位置とオブジェクトの位置を比較し、（ｉ）オブジェクトとの距離が最短であるタッチ位置を、振動を提示する第１のタッチ位置として決定し、（ｉｉ）第１のタッチ位置以外の同時に検出されているタッチ位置を、振動を提示しない第２のタッチ位置として決定する振動提示位置決定部と、前記振動提示位置決定部で決定された第１のタッチ位置に提示する振動を示す触感信号を、前記方向判定部により決定されたオブジェクトの存在方向に基づいて決定する提示振動決定部と、前記第１のタッチ位置に所定の振動を提示し、かつ前記第２のタッチ位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部と前記移動入力判定部で算出されたタッチ位置の移動方向と移動距離に基づいて、コンテントをスクロールして表示部に表示する制御を実行するコンテント制御部とを備える。

この構成によれば、ユーザがタッチしているどのタッチ位置に振動を提示させるかを制御することにより、オブジェクトが存在する方向を適切にユーザに知らせることができる。また、目的とするオブジェクトを表示領域内に再度表示させるコンテントの移動操作を効率よく達成することができる。

本発明の一態様に係る触覚入出力方法は、パネルによりユーザからのタッチ入力に応答して、複数のアクチュエータによる振動により出力する触覚入出力方法であって、前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、タッチ位置の移動方向および移動距離を算出し、コンテントを表示し、コンテント上に存在するオブジェクトが、表示部の表示領域外のどの方向にあるかを判定し、前記複数のタッチ位置のうち、（ｉ）オブジェクトとの距離が最短であるタッチ位置を、振動を提示する第１のタッチ位置として決定し、（ｉｉ）第１のタッチ位置以外の同時に検出されているタッチ位置を、振動を提示しない第２のタッチ位置として決定し、決定された第１のタッチ位置に提示する振動を示す触感信号を、前記方向判定部により決定されたオブジェクトの存在方向に基づいて決定し、前記第１のタッチ位置に所定の振動を提示し、かつ前記第２のタッチ位置に前記所定の振動を提示しないようにアクチュエータを駆動し、算出された移動方向と移動距離に基づいて、前記コンテントをスクロールして表示部に表示する。

この構成によれば、ユーザがタッチしているどのタッチ位置に振動を提示させるかを制御することにより、オブジェクトが存在する方向を適切にユーザに知らせることができる。また、目的とするオブジェクトを表示領域内に再度表示させるコンテントの移動操作を効率よく達成することができる。

本発明の一態様に係るコンピュータプログラムは、タッチパネル表面またはその近傍にマルチタッチ入力された、複数の入力を検出し、検出された前記複数の入力の位置である複数の入力位置を検出し、コンテントの一部又は全てをディスプレイに表示し、前記コンテント上のオブジェクトが前記ディスプレイの表示領域内にあるか表示領域外にあるか決定し、前記オブジェクトが表示領域外にある場合は、前記複数の入力位置のうち、前記オブジェクトとの距離が最も近い入力位置を含む少なくとも１つの位置に対応する位置近傍を振動させ、前記複数の入力位置のうち、前記少なくとも１つの位置に対応する位置近傍以外を振動させない、タッチパネルデバイスの制御方法をコンピュータに実行させるためのコンピュータプログラムである。

この構成によれば、ユーザがタッチしているどのタッチ位置に振動を提示させるかを制御することにより、オブジェクトが存在する方向を適切にユーザに知らせることができる。

本発明の別の一態様に係るコンピュータプログラムは、パネルによりユーザからのタッチ入力に応答して、複数のアクチュエータによる振動により出力する触覚入出力方法であって、前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、タッチ位置の移動方向および移動距離を算出し、コンテントを表示し、コンテント上に存在するオブジェクトが、表示部の表示領域外のどの方向にあるかを判定し、前記複数のタッチ位置のうち、（ｉ）オブジェクトとの距離が最短であるタッチ位置を、振動を提示する第１のタッチ位置として決定し、（ｉｉ）第１のタッチ位置以外の同時に検出されているタッチ位置を、振動を提示しない第２のタッチ位置として決定し、決定された第１のタッチ位置に提示する振動を示す触感信号を、前記方向判定部により決定されたオブジェクトの存在方向に基づいて決定し、前記第１のタッチ位置に所定の振動を提示し、かつ前記第２のタッチ位置に前記所定の振動を提示しないようにアクチュエータを駆動し、算出された移動方向と移動距離に基づいて、前記コンテントをスクロールして表示部に表示する、触覚入出力方法をコンピュータに実行させるためのコンピュータプログラムである。

この構成によれば、ユーザがタッチしているどのタッチ位置に振動を提示させるかを制御することにより、オブジェクトが存在する方向を適切にユーザに知らせることができる。また、目的とするオブジェクトを表示領域内に再度表示させるコンテントの移動操作を効率よく達成することができる。

本発明の一態様に係るコンピュータ読み取り可能なストレージメディアは、１つ又は複数のプログラムが格納されたコンピュータ読み取り可能なストレージメディアであって、前記１つ又は複数のプログラムは、１つ又は複数のインストラクションを有しており、タッチパネルを有する電子機器によって実行される際に、タッチパネル表面またはその近傍にマルチタッチ入力された、複数の入力を検出し、検出された前記複数の入力の位置である複数の入力位置を検出し、コンテントの一部又は全てをディスプレイに表示し、前記コンテント上のオブジェクトが前記ディスプレイの表示領域内にあるか表示領域外にあるか決定し、前記オブジェクトが表示領域外にある場合は、前記複数の入力位置のうち、前記オブジェクトとの距離が最も近い入力位置を含む少なくとも１つの位置に対応する位置近傍を振動させ、前記複数の入力位置のうち、前記少なくとも１つの位置に対応する位置近傍以外を振動させない、ように前記電子機器に実行させる、コンピュータ読み取り可能なストレージメディアである。

この構成によれば、ユーザがタッチしているどのタッチ位置に振動を提示させるかを制御することにより、オブジェクトが存在する方向を適切にユーザに知らせることができる。

本発明の別の一態様に係るコンピュータ読み取り可能なストレージメディアは、１つ又は複数のプログラムが格納されたコンピュータ読み取り可能なストレージメディアであって、前記１つ又は複数のプログラムは、１つ又は複数のインストラクションを有しており、タッチ入力可能なパネルを有する電子機器によって実行される際に、ユーザから入力された前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、タッチ位置の移動方向および移動距離を算出し、コンテントを表示し、コンテント上に存在するオブジェクトが、表示部の表示領域外のどの方向にあるかを判定し、前記複数のタッチ位置のうち、（ｉ）オブジェクトとの距離が最短であるタッチ位置を、振動を提示する第１のタッチ位置として決定し、（ｉｉ）第１のタッチ位置以外の同時に検出されているタッチ位置を、振動を提示しない第２のタッチ位置として決定し、決定された第１のタッチ位置に提示する振動を示す触感信号を、前記方向判定部により決定されたオブジェクトの存在方向に基づいて決定し、前記第１のタッチ位置に所定の振動を提示し、かつ前記第２のタッチ位置に前記所定の振動を提示しないようにアクチュエータを駆動し、算出された移動方向と移動距離に基づいて、前記コンテントをスクロールして表示部に表示するように前記電子機器に実行させる、コンピュータ読み取り可能なストレージメディアである。

この構成によれば、ユーザがタッチしているどのタッチ位置に振動を提示させるかを制御することにより、オブジェクトが存在する方向を適切にユーザに知らせることができる。また、目的とするオブジェクトを表示領域内に再度表示させるコンテントの移動操作を効率よく達成することができる。

本明細書において、マルチタッチとは、パネルに同時に接触している状態を有する複数のタッチを意味する。換言すれば、マルチタッチとは、ある時点においてパネルに接触している複数のタッチを意味する。つまり、マルチタッチとは、パネル上の複数の位置に対する複数のタッチであって、時間的に重複する複数のタッチを意味する。したがって、マルチタッチは、同時に開始された複数のタッチだけではなく、異なる時刻に開始され、ある時点において同時に検出される複数のタッチを含む。具体的には、第１タッチが開始された後に、第１タッチが継続された状態で第２タッチが開始された場合、第２タッチの開始時点において、第１タッチと第２タッチとはマルチタッチに相当する。

以下本発明の実施の形態について、図面を参照しながら説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
実施の形態１の触覚入出力装置は、マルチタッチパネルで検出される複数のタッチ位置のうち、目的とするＧＵＩ（アイコン、ボタン等）に最も近いタッチ位置に振動を提示し、同時にタッチされているその他のタッチ位置に振動を提示しない。これにより目的とするＧＵＩが存在する方向を提示することができる。

例えば、マルチタッチパネルを備えたディスプレイでは、タッチした２つのタッチ位置の距離が離れるように移動させることにより、例えば地図を拡大表示させ、逆に２つのタッチ位置の距離が短くなるように移動させることにより、地図を縮小表示する機能が実現されている。地図を拡大、縮小、または任意方向へスクロールすることにより、目的地周辺の情報を参照する際に、表示されていた目的地などの対象物（アイコンやボタンなどでディスプレイ上に図示される）が、ディスプレイの表示範囲外にでてしまい、地図をどの方向にスクロールすれば、目的地を再度ディスプレイの表示領域内に表示できるのかわからなくなる場合がある。また、マルチタッチパネルを備えたディスプレイがＧＰＳを搭載して現在地に基づいて地図を表示する場合、ディスプレイ装置の移動に伴い地図表示を更新すると、目的地や対象物を示すアイコンやボタンがディスプレイ表示範囲外となることがある。

実施の形態１では、表示領域外に存在するオブジェクトの位置を、タッチパネル上に存在する複数のタッチ位置のうち、目的とするオブジェクトに最も近いタッチ位置に振動を提示し、同時にタッチされているその他のタッチ位置に振動を提示しない。これにより、上記のようにオブジェクトが表示範囲外にある場合において、目的とするオブジェクトが存在する方向をユーザに提示する。目的とするオブジェクトを表示領域内に再度表示できるよう、オブジェクトの存在する方向を提示するように考慮したものである。より具体的に、２つのタッチ位置があった場合について説明する。オブジェクトがディスプレイの表示領域を越えた左側に存在する場合には、２つのタッチ位置のうち左側にあるタッチ位置に第１の触感信号による振動を提示し、オブジェクトが右側に存在する場合には、２つのタッチ位置のうち右側にあるタッチ位置に第１の触感信号による振動を提示する。また、オブジェクトがディスプレイの表示領域を越えた上側にある場合には、２つのタッチ位置のうち上側にあるタッチ位置に第２の触感信号による振動を提示し、逆にオブジェクトが表示領域を越えた下側に存在する場合には、２つのタッチ位置のうち下側にあるタッチ位置に第２の触感信号による振動を提示することにより、オブジェクトの存在方向を提示するように考慮したものである。

図１Ａは、本発明の実施の形態における触覚入出力装置の構成を示すブロック図である。

本実施形態の触覚入出力装置１００は、パネル１０１、アクチュエータ１０２、タッチ情報取得部１０３、方向判定部１０４、振動提示位置決定部１０５、提示振動決定部１０６、多点同時振動制御部１０７、移動入力判定部１０８、コンテント制御部１０９、表示部１１０を備える。これに加えて、図示しないが、触覚入出力装置の位置を測定するための位置測定部（ＧＰＳモジュール、ジャイロセンサ、電子コンパス等）や地図データを通信（無線ＬＡＮ、Ｗ−ＣＤＭＡ／ＵＭＴＳやＬＴＥなどの移動通信方式、近距離無線等）によって受信するための通信部及びアンテナを具備することもできる。なお、地図データはメモリに記憶されていてもよい。各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

本発明の実施の形態における触覚入出力装置の例としては、自動車に組み込まれた、あるいは、外付けによる車ナビゲーションシステム、タブレット機器、携帯電話機器、ノート型コンピュータ等である。

＜地図データを表示するタブレット機器の例＞
図１Ｂは、本触覚入出力装置がタブレット機器３１０であり、地図データ３２０を表示する例について説明した図である。タブレット機器３１０の表示領域は、特に地図を拡大した場合など、地図データ３２０全体を表示することができない。図１Ｂにおける地図データは表示領域外と表示領域内の関係を表すために模式的に示されているが、表示領域外の地図が実際に表示されない。オブジェクトとしてのターゲット地点３２１は、ユーザがターゲットとして設定した、あるいは、タブレット機器３１０が自動的に設定した地点である。図１Ｂにおいて、ターゲット地点３２１はタブレット機器３１０の表示領域外にあるため、表示されない。ユーザが指１及び指２によってマルチタッチした場合、指２とターゲット地点３２１の方が指１とターゲット地点３２１との距離よりも近いため、指２に対応するタッチ位置に第１の触感信号による振動を提示する。言い換えると、ターゲット地点３２１は画面外の右側にあるため、マルチタッチされた複数の位置のうち、より右側にある指２に対応するタッチ位置に対して振動を提示することになる。振動方法（刺激数や振幅など）、振動位置の決定方法は本明細書に記載されたどの方法も適用できる。

なお、地図データは世界全体の地図を含むこともできるし、大陸、国、地域などニーズや記憶容量に応じていかなる大きさ地図データでもよい。

以下、各構成要素について説明する。

＜パネル１０１＞
パネル１０１は振動を伝達する部材であり、ユーザのタッチ操作を受け付け、振動することによりタッチ操作が受け付けられたことをユーザに通知する。パネルの材質としては、ガラス、ポリカ、アクリル、ＡＢＳなどユーザのタッチ操作に対して耐久性のあるものが好ましい。しかしながらこれらに限定されるものではなく、ユーザに振動がフィードバックできる部材であればよい。

なお、パネル１０１の形状、大きさ、厚さ、硬さおよび固定方法などは、特に限定される必要はない。ただし、パネル１０１の形状、大きさ、厚さ、硬さおよび固定方法などに依存して、アクチュエータ１０２からパネル１０１上の各位置（以後、「点」とも呼ぶ）までの振動の伝達特性は変化する。

＜アクチュエータ１０２＞
アクチュエータ１０２は、パネル１０１を振動させ、ユーザに触覚を提示する。アクチュエータ１０２として、例えば、圧電素子、振動モータ、ボイスコイル、人工筋肉などを用いることができる。

図２は、アクチュエータ１０２のパネル１０１への配置の一例である。アクチュエータ１０２は、例えば、接着剤など（図示しない。アクチュエータ１０２が圧電素子の場合、エポキシ系の接着剤などを用いればよい。）でパネル１０１に固定する。

本実施の形態では、アクチュエータ１０２の数を、パネル１０１をタッチ操作するタッチ位置の数以上とする例で説明する。これにより、アクチュエータ１０２の数Ｍ（Ｍは２以上の整数）と同数の同時に検出されるタッチ位置に対して、互いに異なる振動を提示することができる。本実施の形態においては、図２に示すように、アクチュエータ１０２の数は４、タッチ位置の数は２（指１および指２）とした。

アクチュエータ１０２の配置位置は、特に限定される必要はない。例えば、複数のアクチュエータ１０２は、パネル１０１を効率良く振動させることができるように配置されればよい。また、アクチュエータ１０２の数を４としたが、これに限るものではない。

＜タッチ情報取得部１０３＞
タッチ情報取得部１０３は、パネル１０１に対するユーザの複数のタッチ位置を取得する。

説明の便宜上、図２に示すように、例えば２本の指、指１および指２でタッチ操作されている場合、時刻ｔにおける指１および指２の２つのタッチ位置をそれぞれＰ１（ｘ１（ｔ）、ｙ１（ｔ））、Ｐ２（ｘ２（ｔ）、ｙ２（ｔ））で表す。図２では、紙面に対して表示部１１０の左上隅を原点Ｏとする２次元平面のｘｙ座標を用いてタッチ位置を表す。

タッチ情報取得部１０３としては、例えば静電容量方式や抵抗膜方式などのマルチタッチパネルを用いることができる。例えば、タッチ情報取得部１０３が静電容量方式のマルチタッチパネルで構成される場合、タッチ情報取得部１０３は、マルチタッチによる静電容量の変化に基づいて複数のタッチ位置を取得する。また例えば、タッチ情報取得部１０３が感圧方式のマルチタッチパネルで構成される場合、タッチ情報取得部１０３は、マルチタッチによる圧力の変化に基づいて、複数のタッチ位置を取得する。

なお、マルチタッチの検出は、静電容量方式あるいは感圧方式のマルチタッチパネルに限定される必要はない。どのような方式のマルチタッチ検出方式であっても構わない。例えば、指の位置をＣＣＤやＣＭＯＳカメラで撮影して画像処理により取得してもよい。あるいはパネル１０１を透明のアクリル部材としてパネル１０１の側壁から赤外光を入射すると全反射の性質によりパネル１０１内に赤外光が閉じ込められるが、タッチ操作によるパネル１０１のひずみにより漏れた赤外光を、赤外フィルタを備えたカメラにより検出するＦＴＩＲ（Ｆｒｕｓｔｒａｔｅｄ Ｔｏｔａｌ Ｉｎｔｅｒｎａｌ Ｒｅｆｌｅｃｔｉｏｎ）方式などを用いてもよい。

＜方向判定部１０４＞
方向判定部１０４は、図３Ａに示すように、コンテント（又はコンテンツ）３上に存在するオブジェクト４が、表示部１１０の表示領域（矩形ＡＢＣＤ）に対してどの方向にあるかを判定する。ここでは、説明の便宜上、図３Ａにおいては、タッチ位置Ｐ１、Ｐ２を表すｏ−ｘｙ座標系と、コンテント１３上の２次元位置を表す座標系（図示しない）を統合したＯ−ＸＹ座標系を用いて、方向判定の概要を説明する。紙面に対して表示部１１０の左上隅を原点ｏとする２次元平面のｘｙ座標と、統合座標系Ｏ−ＸＹの関係は次の通りである。ｘ軸は表示部１１０の長辺上（長軸方向）で定義し、統合座標系のＸ軸と平行とする。また、ｙ軸は表示部１１０の短辺上（短軸方向）で定義し、統合座標系のＹ軸と平行とする。また、紙面に対して表示部１１０の左上隅である原点ｏの統合座標系における座標値を（Ｒ_Ｌ，Ｒ_Ｔ）とし、紙面に対して表示部１１０の右下隅の座標値を（Ｒ_Ｒ，Ｒ_Ｂ）とする。このとき、表示部１１０の表示領域（矩形ＡＢＣＤ）に対して、オブジェクト４（Ｘ^Ｏ（ｔ）、Ｙ^Ｏ（ｔ））が存在する方向を、表示部１１０の表示領域（矩形ＡＢＣＤ）の上端の座標値Ｒ_Ｔ、下端の座標値Ｒ_Ｂ、左端の座標値Ｒ_Ｌ、右端の座標値Ｒ_Ｒを用いて判定する。図３Ａの例では、オブジェクト４の座標値（Ｘ^Ｏ（ｔ）、Ｙ^Ｏ（ｔ））とＲ_Ｔ、Ｒ_Ｂ、Ｒ_Ｌ、Ｒ_Ｒを比較し、オブジェクト４は、紙面に対して、表示部１１０の上端Ｒ_Ｔより上側の方向、かつ、表示部１１０の右端Ｒ_Ｒより右側の方向に存在すると判定する。

例えばコンテント１３としては地図、オブジェクト４としては目的地位置の表示アイコン（以下、目的地とも呼ぶ）とすることができる。なお、コンテント１３およびオブジェクト４としては、これに限らず、電子的なドキュメントとすることができる。電子的なドキュメントとしては、例えばコンテント１３はＷｅｂページ、オブジェクト４はハイパーリンクの位置や画像などのコンテントとすることができる。また、コンテント１３を電子ブック、オブジェクト４はブックマークとすることができる。すなわち、表示部１１０に表示する電子コンテントであって、ユーザがページ移動やスクロール操作をすることにより、オブジェクトが表示領域外にでることがあるものに対して、特に本発明は有効である。

＜振動提示位置決定部１０５＞
振動提示位置決定部１０５は、複数のタッチ位置とオブジェクト４の位置を比較し、オブジェクト４との距離が最短であるタッチ位置を振動を提示する第１のタッチ位置として決定し、第１のタッチ位置以外の同時に検出されているタッチ位置を振動を提示しない第２のタッチ位置として決定する。最短距離は、Ｘ軸上での距離、Ｙ軸上での距離をそれぞれ算出し、より短いほうの距離を最短距離とする。図３Ａにおいて、タッチ位置Ｐ１、Ｐ２の統合座標系Ｏ−ＸＹでの座標値はそれぞれ（Ｘ１（ｔ）、Ｙ１（ｔ））、（Ｘ２（ｔ）、Ｙ２（ｔ））であり、オブジェクト４の座標値（Ｘ^Ｏ（ｔ）、Ｙ^Ｏ（ｔ））と比較すると、Ｘ軸上での最短距離はＸ^Ｏ（ｔ）−Ｘ２（ｔ）であり、Ｙ軸上での最短距離はＹ^Ｏ（ｔ）−Ｙ２（ｔ）であり、どちらの最短距離を選択しても、振動を提示する第１のタッチ位置はＰ２となり、第１のタッチ位置以外、この場合、タッチ位置Ｐ１を振動を提示しない第２のタッチ位置として決定する。

これによりユーザは、タッチしている複数のタッチ位置のうち、オブジェクト４に最も近いタッチ位置を振動の有無により確認することができる。図３Ａの例においては、紙面に対して右側の指（タッチ位置Ｐ２）に振動が提示され、左側の指（タッチ位置Ｐ１）には振動が提示されないことになる。このとき、ユーザは、右側にオブジェクト４があるから右側の指（タッチ位置Ｐ２）に振動が提示されているのか、右側の指は左側の指に対して上側にあるので、オブジェクト４が上側にあるから上側の指（タッチ位置Ｐ２）に対して振動が提示されているのかは区別できない。そのため、これらを区別できるようにするため、提示振動決定部で、ユーザに提示する振動を決定する。

なお、単純にタッチ位置Ｐ１，Ｐ２のそれぞれとオブジェクト４との直線距離を算出し、より短いほうの距離を最短距離として、最短距離となるタッチ位置を振動を提示するタッチ位置として決定してもよい。

＜提示振動決定部１０６＞
提示振動決定部１０６は、振動提示位置決定部１０５で決定された第１のタッチ位置に提示する振動を示す触感信号を、方向判定部１０４により決定されたオブジェクト４の存在方向に基づいて決定する。触感信号としては、例えば、オブジェクト４が、紙面に対して表示部１１０の左端より左の方向または右端より右の方向に存在するときは第１の触感信号を用い、紙面に対して表示部１１０の上端より上の方向または下端より下の方向に存在するときは第２の触感信号を用いる。第１および第２の信号としては、振動刺激の回数、周波数、振幅などユーザが違いを識別できる信号を用いればよく、例えば、第１の触感信号としては、図４Ａに示す１回刺激信号を用い、第２の触感信号としては、図４Ｂに示す２回刺激信号を用いることができる。

例えば図３Ａの場合、オブジェクト４の位置とタッチ位置Ｐ１，Ｐ２との最短距離は、Ｘ軸上での最短距離はＸ^Ｏ（ｔ）−Ｘ２（ｔ）となるので、図４Ａに示す１回刺激信号を提示することにより、ユーザは右側にオブジェクト４が存在することを確認することができる。

＜多点同時振動制御部１０７＞
多点同時振動制御部１０７は、前記第１のタッチ位置に前記触感信号が示す振動を提示し、かつ前記第２のタッチ位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する。

＜移動入力判定部１０８＞
移動入力判定部１０８は、タッチ情報取得部１０３により取得される複数タッチ位置の時系列情報に基づいて、タッチ位置の移動距離を算出する。ユーザは多点同時振動制御部１０７により振動が提示されるタッチ位置と触感信号の種類に基づいて、オブジェクト４が存在する方向を認識し、表示部１１０の表示領域内にオブジェクト４を表示させるため、算出したタッチ位置の移動距離に基づいてコンテント１３をスクロールする。

＜コンテント制御部１０９＞
コンテント制御部１０９は、移動入力判定部１０８で算出されたタッチ位置の移動方向と移動距離に基づいて、コンテント１３をスクロールして表示部１１０に表示する。さらに、コンテント１３を前記移動方向と移動距離に基づいて移動させた結果、オブジェクト４が表示部１１０の表示領域内に入れば処理を終了し、表示領域内に入らなければ、タッチ情報取得部１０３に戻ってタッチ位置を取得して、方向判定部１０４によりオブジェクト４の存在方向を判定して、多点同時振動制御部１０７によりオブジェクトの存在方向を振動により提示することを繰り返す。表示部１１０としてはＬＣＤ、有機ＥＬ、電子ペーパなどのディスプレイを用いることができる。

＜動作＞
上記のように構成された本実施の形態１の触覚入出力装置１００の動作を図３から図１５に基づいて説明する。

図５は本発明の実施の形態における触覚入出力装置１００の動作を示すフローチャートであり、これに基づいて本実施の形態１における触覚入出力装置１００の動作を詳細に説明する。

本実施の形態１では、図３Ａから図３Ｃに示すように、表示部１１０に表示されたコンテント１３をスクロール制御する電子機器１０に触覚入出力装置１００を搭載した例で説明する。例えば、表示部１１０の表示領域外に存在するスクロール操作可能なコンテント１３（例えば地図）上のオブジェクト４（例えば目的地を示す表示アイコン）の方向を、パネル１０１にタッチしている複数のタッチ位置のうち、オブジェクト４に近いタッチ位置にのみ振動を提示することによりユーザに認識させる例で説明する。

（ステップＳ１０１：タッチ情報取得）
タッチ情報取得部１０３は、パネル１０１に対するユーザの複数のタッチ位置を取得する。

図３Ａの例では、例えば２本の指、指１および指２でタッチ操作されている場合、時刻ｔにおける指１および指２の２つのタッチ位置をそれぞれＰ１（ｘ１（ｔ）、ｙ１（ｔ））、Ｐ２（ｘ２（ｔ）、ｙ２（ｔ））を取得する。タッチ位置Ｐ１，Ｐ２は例えば１０ｍｓなどのサンプリング間隔で時系列情報として取得する。

（ステップＳ１０２：オブジェクト方向判定）
方向判定部１０４は、図３Ａ、図３Ｂ、図３Ｃに示すように、コンテント１３上に存在するオブジェクト４が、表示部１１０の表示領域（矩形ＡＢＣＤ）に対してどの方向にあるかを判定する。ここでは、説明の便宜上、図３Ａ、図３Ｂ、図３Ｃにおいては、パネル１０１上のタッチ位置Ｐ１、Ｐ２を表すｏ−ｘｙ座標系と、コンテント１３上の２次元位置を表す座標系（図示しない）を統合したＯ−ＸＹ座標系を用いて、方向判定の概要を説明する。オブジェクト４の座標をＬ^Ｏ（Ｘ^Ｏ（ｔ）、Ｙ^Ｏ（ｔ））で表す。紙面に対して表示部１１０の左上隅を原点ｏとする２次元平面のｘｙ座標と、統合座標系Ｏ−ＸＹの関係は次の通りである。ｘ軸は表示部１１０の長辺上で定義し、統合座標系のＸ軸と平行とする。また、ｙ軸は表示部１１０の短辺上で定義し、統合座標系のＹ軸と平行とする。また、紙面に対して表示部１１０の左上隅である原点ｏの統合座標系における座標値を（Ｒ_Ｌ，Ｒ_Ｔ）とし、紙面に対して表示部１１０の右下隅の座標値を（Ｒ_Ｒ，Ｒ_Ｂ）とする。このとき、表示部１１０の表示領域（矩形ＡＢＣＤ）に対して、座標値がＬ^Ｏ（Ｘ^Ｏ（ｔ）、Ｙ^Ｏ（ｔ））であるオブジェクト４が存在する方向を、表示部１１０の表示領域（矩形ＡＢＣＤ）の上端の座標値Ｒ_Ｔ、下端の座標値Ｒ_Ｂ、左端の座標値Ｒ_Ｌ、右端の座標値Ｒ_Ｒを用いて判定する。図３Ａの例では、オブジェクト４の座標値Ｌ^Ｏ（Ｘ^Ｏ（ｔ）、Ｙ^Ｏ（ｔ））とＲ_Ｔ、Ｒ_Ｂ、Ｒ_Ｌ、Ｒ_Ｒを比較し、オブジェクト４は、紙面に対して、表示部１１０の上端Ｒ_Ｔより上側の方向、かつ、表示部１１０の右端Ｒ_Ｒより右側の方向に存在すると判定する。図３Ｂの例は、タッチ位置Ｐ１，Ｐ２を移動させて紙面に対して左側の方向へコンテント１３をスクロールした例である。図３Ｂの場合も同様に、オブジェクト４の座標値Ｌ^Ｏ（Ｘ^Ｏ（ｔ）、Ｙ^Ｏ（ｔ））とＲ_Ｔ、Ｒ_Ｂ、Ｒ_Ｌ、Ｒ_Ｒを比較し、オブジェクト４は、紙面に対して、表示部１１０の上端Ｒ_Ｔより上側の方向、かつ、表示部１１０の左端Ｒ_Ｌと右端Ｒ_Ｒの間の方向に存在すると判定する。図３Ｃの例は、タッチ位置Ｐ１，Ｐ２を移動させて紙面に対して下側の方向へコンテント１３をスクロールした例である。図３Ｃの場合も同様に、オブジェクト４の座標値Ｌ^Ｏ（Ｘ^Ｏ（ｔ）、Ｙ^Ｏ（ｔ））とＲ_Ｔ、Ｒ_Ｂ、Ｒ_Ｌ、Ｒ_Ｒを比較し、オブジェクト４は、紙面に対して、表示部１１０の上端Ｒ_Ｔと上端Ｒ_Ｂの間に存在し、かつ、表示部１１０の左端Ｒ_Ｌと右端Ｒ_Ｒの間に存在すると判定する。すなわちこの場合は、表示部１１０の表示領域（矩形ＡＢＣＤ）にオブジェクト４が表示されたと判定する。

例えばコンテント１３としては地図、オブジェクト４としては目的地位置の表示アイコン（以下、目的地とも呼ぶ）とすることができる。なお、コンテント１３およびオブジェクト４としては、これに限らず、電子的なドキュメントとすることができる。電子的なドキュメントとしては、例えばコンテント１３はＷｅｂページ、オブジェクト４はハイパーリンクの位置や画像などのコンテントとすることができる。また、コンテント１３を電子ブック、オブジェクト４はハイライトやブックマークとすることができる。すなわち、表示部１１０に表示する電子コンテントであって、ユーザがページ移動やスクロール操作をすることにより、オブジェクトが表示領域外にでることがあるものに対して、特に本実施の形態は有効である。

（ステップＳ１０３：振動提示位置決定）
振動提示位置決定部１０５は、複数のタッチ位置とオブジェクト４の位置を比較し、オブジェクト４との距離が最短であるタッチ位置を振動を提示する第１のタッチ位置として決定し、第１のタッチ位置以外の同時に検出されているタッチ位置を振動を提示しない第２のタッチ位置として決定する。最短距離は、Ｘ軸上での距離、Ｙ軸上での距離をそれぞれ算出し、より短いほうの距離を最短距離とする。図３Ａにおいて、統合座標系Ｏ−ＸＹでのタッチ位置Ｐ１、Ｐ２の座標値はそれぞれ（Ｘ１（ｔ）、Ｙ１（ｔ））、（Ｘ２（ｔ）、Ｙ２（ｔ））であり、オブジェクト４の座標値Ｌ^Ｏ（Ｘ^Ｏ（ｔ）、Ｙ^Ｏ（ｔ））と比較すると、Ｘ軸上での最短距離はＸ^Ｏ（ｔ）−Ｘ２（ｔ）であり、Ｙ軸上での最短距離はＹ^Ｏ（ｔ）−Ｙ２（ｔ）であり、どちらの最短距離を選択しても、振動を提示する第１のタッチ位置はＰ２となり、第１のタッチ位置以外、この場合、タッチ位置Ｐ１を振動を提示しない第２のタッチ位置として決定する。すなわち、図３Ａの場合、斜線で示される指２に振動が提示され、指１には振動を提示しない。図３Ｂの場合も同様に、統合座標系Ｏ−ＸＹでのタッチ位置Ｐ１、Ｐ２の座標値はそれぞれ（Ｘ１（ｔ）、Ｙ１（ｔ））、（Ｘ２（ｔ）、Ｙ２（ｔ））であり、オブジェクト４の座標値Ｌ^Ｏ（Ｘ^Ｏ（ｔ）、Ｙ^Ｏ（ｔ））と比較すると、Ｘ軸上での最短距離はＸ^Ｏ（ｔ）−Ｘ２（ｔ）であり、Ｙ軸上での最短距離はＹ^Ｏ（ｔ）−Ｙ２（ｔ）であり、どちらの最短距離を選択しても、振動を提示する第１のタッチ位置はＰ２となり、第１のタッチ位置以外、この場合、タッチ位置Ｐ１を振動を提示しない第２のタッチ位置として決定する。すなわち、図３Ｂの場合も、斜線で示される指２に振動が提示され、指１には振動を提示しない。図３Ｃの場合も同様に、タッチ位置Ｐ１、Ｐ２の座標値はそれぞれ（Ｘ１（ｔ）、Ｙ１（ｔ））、（Ｘ２（ｔ）、Ｙ２（ｔ））であり、オブジェクト４の座標値Ｌ^Ｏ（Ｘ^Ｏ（ｔ）、Ｙ^Ｏ（ｔ））と比較すると、Ｘ軸上での最短距離はＸ^Ｏ（ｔ）−Ｘ２（ｔ）であり、Ｙ軸上での最短距離はＹ^Ｏ（ｔ）−Ｙ２（ｔ）であり、どちらの最短距離を選択しても、振動を提示する第１のタッチ位置はＰ２となり、第１のタッチ位置以外、この場合、タッチ位置Ｐ１を振動を提示しない第２のタッチ位置として決定する。すなわち、図３Ｂの場合も、斜線で示される指２に振動が提示され、指１には振動を提示しない。

上記の振動提示位置の決定により、ユーザは、タッチしている複数のタッチ位置のうち、オブジェクト４に最も近いタッチ位置を振動の有無により確認することができる。図３Ａの例においては、紙面に対して右側の指（タッチ位置Ｐ２）に振動が提示され、左側の指（タッチ位置Ｐ１）には振動が提示されない。このとき、ユーザは、右側にオブジェクト４が存在し、左側の指１（タッチ位置Ｐ１）より右側にあって、よりオブジェクト４に対して距離が近い右側の指２（タッチ位置Ｐ２）に振動が提示されているのか、右側の指２（タッチ位置Ｐ２）は左側の指１（タッチ位置Ｐ１）に対して上側にあるので、オブジェクト４が上側にあって、よりオブジェクト４への距離が近くなる指２（タッチ位置Ｐ２）に対して振動が提示されているのかは区別できない。これらを区別できるようにするため、本実施の形態では２種類の振動を用いる。次のステップＳ１０４で、提示振動決定部１０６により、ユーザに提示する２つの振動を決定する。

なお、単純にタッチ位置Ｐ１，Ｐ２のそれぞれとオブジェクト４との直線距離を算出し、より短いほうの距離を最短距離として、最短距離となるタッチ位置を振動を提示するタッチ位置として決定してもよい。

（ステップＳ１０４：提示振動決定）
提示振動決定部１０６は、振動提示位置決定部１０５で決定された第１のタッチ位置に提示する振動を示す触感信号を、方向判定部１０４により決定されたオブジェクト４の存在方向に基づいて決定する。触感信号としては、例えば、オブジェクト４が、紙面に対して表示部１１０の左端より左の方向または右端より右の方向に存在するときは第１の触感信号を用い、紙面に対して表示部１１０の上端より上の方向または下端より下の方向に存在するときは第２の触感信号を用いる。

より具体的には、オブジェクト４の座標値Ｘ^Ｏ（ｔ），Ｙ^Ｏ（ｔ）がそれぞれ［Ｒ_Ｌ，Ｒ_Ｒ］、［Ｒ_Ｔ，Ｒ_Ｂ］の範囲内であるかを判定し、Ｘ^Ｏ（ｔ），Ｙ^Ｏ（ｔ）の少なくとも一方が範囲外の場合、範囲外であるオブジェクトの座標値について、最短の距離となるＲ_Ｌ、Ｒ_Ｒ、Ｒ_Ｔ、Ｒ_Ｂを選択して、Ｒ_ＬまたはＲ_Ｒが選択されたときは第１の触感信号を用い、Ｒ_ＴまたはＲ_Ｂが選択されたときは第２の触感信号を用いると決定する。

例えば、図３Ａの場合、オブジェクト４の座標値Ｘ^Ｏ（ｔ），Ｙ^Ｏ（ｔ）はいずれも、それぞれ［Ｒ_Ｌ，Ｒ_Ｒ］、［Ｒ_Ｌ，Ｒ_Ｒ］の範囲外であり、オブジェクト４から最短距離となるのは右端であるＲ_Ｒとなるため第１の触感信号選択がされ、かつ、オブジェクト４との距離が最短となる右側の指２のタッチ位置Ｐ２にある指２に振動を提示し、タッチ位置Ｐ１には振動を提示しない。これにより、図３Ａの場合は、まず、ユーザは、オブジェクト４は表示部１１０の右端Ｒ_Ｒより右側にあることを確認できる。次に、ユーザは、図３Ｂに示すように、表示部１１０の右側にあると通知されたオブジェクト４を、コンテント１３を紙面に対して左側の方向へスクロールし、表示部１１０の表示範囲内に表示するために移動させる。このとき、オブジェクト４の座標値Ｘ^Ｏ（ｔ），Ｙ^Ｏ（ｔ）がそれぞれ［Ｒ_Ｌ，Ｒ_Ｒ］、［Ｒ_Ｔ，Ｒ_Ｂ］の範囲内であるかを判定し、図３Ｂの場合、Ｙ^Ｏ（ｔ）が［Ｒ_Ｔ，Ｒ_Ｂ］の範囲外であるため、オブジェクト４からの最短距離は上端であるＲ_Ｔとなるため第２の触感信号が選択され、かつ、オブジェクト４との距離が最短となる上側の指２のタッチ位置Ｐ２にある指２に振動を提示し、タッチ位置Ｐ１には振動を提示しない。これにより、図３Ｂの場合、ユーザは、オブジェクト４は表示部１１０の上端Ｒ_Ｔより上側にあることを確認できる。次に、ユーザは、図３Ｃに示すように、表示部１１０の上側にあると通知されたオブジェクト４を、コンテント１３を紙面に対して下側の方向へスクロールし、表示部１１０の表示範囲内に表示するために移動させる。このとき、オブジェクト４の座標値Ｘ^Ｏ（ｔ），Ｙ^Ｏ（ｔ）がそれぞれ［Ｒ_Ｌ，Ｒ_Ｒ］、［Ｒ_Ｔ，Ｒ_Ｂ］の範囲内であるかを判定し、図３Ｃの場合、Ｘ^Ｏ（ｔ），Ｙ^Ｏ（ｔ）がいずれも範囲であるため、オブジェクト４が表示部１１０の表示エリア内に表示されていると判定する。この場合、パネル１０１の振動は停止してもよいし、オブジェクト４と距離が最短であるタッチ位置を第１のタッチ位置として振動を提示し続けてもよい。

上記第１触感信号および第２の触感信号としては、振動刺激の回数、周波数、振幅、提示する時間長などユーザが違いを識別できる信号を用いればよく、例えば、第１の触感信号としては、例えば、図４Ａに示す刺激信号を用い、第２の触感信号としては、図４Ｂに示す刺激信号を用いることができる。図４Ａに示す触感信号は以下の式（１）により生成したものである。図４Ａは、周波数ｆｃの正弦波のｒ周期分の信号に基づいて前記触感信号をｓ（ｎ）生成しており、ｒ周期がちょうど半周期になるような変調周波数ｆｍを用いて正弦波を変調したものである。

ここで、Ｔｓは、サンプリング周期を表す。図４Ａの例では、ｆｃ＝２００Ｈｚ、ｒ＝１０であるので、変調周波数ｆｍは１０Ｈｚである。このように生成された触感信号は、物理的なスイッチを１回クリックしたような触感を提示するための信号（以下、１回刺激信号と呼ぶ。）として用いることができ、これにより、ユーザは前記設定値が１だけ増減したことを触覚により確認できる。

同様に、図４Ｂはｒ周期がちょうど１周期になるような変調周波数ｆｍを用いて正弦波を変調したものであり、物理的なスイッチを２回連続してクリックしたような触感を提示するための信号（以下、２回刺激信号と呼ぶ。）として用いることができる。

なお、触感信号は、必ずしも上記のように生成された信号である必要はない。例えば、式（１）に示すような変調が行われる必要はない。つまり、触感信号として、正弦波を用い、その提示する時間長が異なるものを第１の触感信号および第２の触感信号としてもよい。

なお、周波数ｆｃは、人間が触覚により感知できる周波数であればどのような周波数であってもよい。例えば、周波数ｆｃは、パネル１０１の振動特性に基づいて決定されればよい。

例えば、周波数ｆｃは、パネル１０１の共振周波数と一致するように決定されてもよい。周波数ｆｃがこのように決定されることにより、アクチュエータ１０２によってパネル１０１に与えられた振動の減衰を少なくすることができ、効率良く触感を呈示することができる。

（ステップＳ１０５：多点同時振動制御）
多点同時振動制御部１０７は、ステップＳ１０３およびステップ１０４で決定された第１のタッチ位置に前記第１または第２の触感信号が示す振動を提示し、かつ前記第２のタッチ位置に前記振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する。

具体的には、ステップ１０４で決定された触感信号に基づいて、オブジェクトが表示部１１０の表示領域の左側に存在する場合には、２つのタッチ位置のうち左側にあるタッチ位置に第１の触感信号による振動を提示し、オブジェクトが右側に存在する場合には、２つのタッチ位置のうち右側にあるタッチ位置に第１の触感信号による振動を提示する。また、オブジェクトが表示部１１０の表示領域の上側にある場合には、２つのタッチ位置のうち上側にあるタッチ位置に第２の触感信号による振動を提示し、逆にオブジェクトが下側に存在する場合には、２つのタッチ位置のうち下側にあるタッチ位置に第２の触感信号による振動を提示する。

なお、多点同時振動制御部１０７は、タッチ位置Ｐ１，Ｐ２がタッチ情報取得部１０３により検出されたタイミングで常にパネル１０１を振動させてもよいし、所定の時間間隔で振動の提示と停止を繰り返してもよい。また、タッチ位置が１点のときは振動させず、２点のときのみ、方向を提示する振動制御を行うことにより、１本指でコンテント１３をスクロールしながら、オブジェクトの方向を知りたくなったタイミングで２点目をタッチすることにより、必要なタイミングでのみ、振動により方向情報を提示でき、ユーザにとって、また消費電力的にも、不必要なパネル振動を抑制することができる。多点同時振動制御部１０７の具体的な構成と動作の一例については後述する。

（ステップＳ１０６：移動入力判定）
移動入力判定部１０８は、タッチ情報取得部１０３により取得される複数タッチ位置の時系列情報に基づいて、タッチ位置の移動方向および移動距離を算出する。ユーザは多点同時振動制御部１０７により振動が提示されるタッチ位置と触感信号の種類に基づいて、オブジェクト４が存在する方向を認識し、表示部１１０の表示領域内にオブジェクト４を表示させるため、算出したタッチ位置の移動方向および移動距離に基づいてコンテント１３をスクロールする。

タッチ位置の移動方向は次のように算出する。ここでは、ステップＳ１０１で取得するタッチ位置の時系列情報により、指をパネル１０１上にタッチしたままタッチ位置を移動させるときの移動方向を算出する。具体的には、サンプリング間隔Δｔごとのタッチ位置Ｐ１の移動方向を表す移動ベクトルはｖ１（ｘ１（ｔ）−ｘ１（ｔ−１），ｙ１（ｔ）−ｙ１（ｔ−１））、タッチ位置Ｐ２の移動ベクトルはｖ２（ｘ２（ｔ）−ｘ２（ｔ−１），ｙ２（ｔ）−ｙ２（ｔ−１））で算出する。ただし、（ｔ−１）は１サンプル前の時刻を表す。図３Ｂにコンテント１３をスクロールする移動入力の一例を示す。図３Ｂは、紙面に対して左側へタッチ位置を移動させることにより、コンテント１３を左側へスクロールする例を示している。パネル１０１上のタッチ位置Ｐ１、Ｐ２を表すｏ−ｘｙ座標系と、コンテント１３上の２次元位置を表す座標系（図示しない）を統合したＯ−ＸＹ座標系において、指１、指２はそれぞれ、時刻（ｔ−１）において、同時にパネル１０１にタッチしており、タッチ位置Ｐ１，Ｐ２はそれぞれＸ１（ｔ−１）、Ｘ２（ｔ−１）である。指１、指２のタッチ位置Ｐ１，Ｐ２の移動方向はそれぞれ、ｖ１＝Ｘ１（ｔ）−Ｘ１（ｔ−１）、ｖ２＝Ｘ２（ｔ）−Ｘ２（ｔ−１）である。同様に、図３Ｃは、紙面に対して下側へタッチ位置を移動させることにより、コンテント１３を下側へスクロールする例を示している。このとき、指１、指２のタッチ位置Ｐ１，Ｐ２の移動方向はそれぞれ、ｖ１＝Ｙ１（ｔ）−Ｙ１（ｔ−１）、ｖ２＝Ｙ２（ｔ）−Ｙ２（ｔ−１）である。

タッチ位置の移動距離は次のように算出する。ユーザが指１でパネル１０１にタッチした時刻（ｔ＝０、移動開始位置Ｐ１（Ｘ１（０），Ｙ１（０））から時刻ｔ（タッチ位置Ｐ１（Ｘ１（ｔ）、Ｙ１（ｔ）））までのタッチ位置の移動距離ｄ１（ｔ）を、式（２）により求める。ここで、時刻ｔで取得したタッチ位置Ｐ１（Ｘ１（ｔ）、Ｙ１（ｔ））と、時刻（ｔ−Δｔ）で取得したタッチ位置Ｐ１（Ｘ１（ｔ−１）、Ｙ１（ｔ−１））が同じであるとき、あるいは、Ｐ１（Ｘ１（ｔ）、Ｙ１（ｔ））とＰ１（Ｘ１（ｔ−１）、Ｙ１（ｔ−１））の距離が所定の距離より小さいとき、指１のなぞりによるタッチ位置Ｐ１の移動は停止したと判定する。タッチ位置の移動が停止したと判定されたとき、移動開始位置をＰ１（Ｘ１（０），Ｙ１（０））で初期化する。また、タッチ位置の移動が停止したと判定された時刻を基点として、サンプリング間隔Δｔごとに、タッチ位置の移動が停止したのと同じ位置にタッチが静止しているかを確認し静止時間ｔ１ｓを記録し更新する。指２によるタッチ位置Ｐ２の移動距離ｄ２（ｔ）も式（２）により同様に算出し、Ｐ２の静止時間ｔ２ｓも同様に記録し、更新する。

（ステップＳ１０７：コンテント制御）
コンテント制御部１０９は、ステップＳ１０６で移動入力判定部１０８で算出されたタッチ位置の移動方向と移動距離に基づいて、コンテント１３をスクロールして表示部１１０に表示する。

図６に、タッチ位置の移動方向と移動距離に基づくコンテント１３の制御パターンの一例を示す。

制御パターン［１］は、タッチ情報取得部１０３で検出されるタッチ数が１であり、かつタッチ位置Ｐ１が移動ベクトルｖ１の方向へ移動している場合であり、このとき、式（２）で算出される移動距離ｄ１だけコンテント１３を移動させる表示制御を行う。具体的には、例えば、コンテント１３全体を移動ベクトルｖ１により移動させる。これにより、オブジェクト４の座標値（Ｘ^Ｏ（ｔ）、Ｙ^Ｏ（ｔ））は、（Ｘ^Ｏ（ｔ−１）＋（Ｘ１（ｔ）−Ｘ１（ｔ−１）），Ｙ^Ｏ（ｔ−１）＋（Ｙ１（ｔ）−Ｙ１（ｔ−１）））へ移動する。例えば、図３Ｂの場合、（Ｘ^Ｏ（ｔ）、Ｙ^Ｏ（ｔ））は、（Ｘ^Ｏ（ｔ−１）＋（Ｘ１（ｔ）−Ｘ１（ｔ−１）），Ｙ^Ｏ（ｔ−１））に移動し、図３Ｃの場合、（Ｘ^Ｏ（ｔ−１），Ｙ^Ｏ（ｔ−１）＋（Ｙ１（ｔ）−Ｙ１（ｔ−１）））へ移動する。

制御パターン［２］は、タッチ情報取得部１０３で検出されるタッチ数が１であり、かつタッチ位置Ｐ１が移動ベクトルｖ１の方向へ移動し、式（２）で算出される移動距離ｄ１が所定の閾値Ｄ以上で、かつタッチ位置の静止時間ｔ１ｓが所定の閾値Ｔｓ以上の場合であり、すなわち、タッチ位置が所定の距離だけ移動したあと静止を継続する場合に、コンテント１３を移動ベクトルｖ１の方向へ連続的にスクロールする。これにより、オブジェクト４の座標を所定の時間ごとにＬ^Ｏ＋αｖ１だけ移動させる。ただしαは正の定数である。

制御パターン［３］は、タッチ情報取得部１０３で検出されるタッチ数が２、かつタッチ位置Ｐ１，Ｐ２の移動方向ｖ１とｖ２が同一のとき、式（２）で算出される移動距離ｄ１またはｄ２だけコンテント１３を移動させる表示制御を行う。具体的には、コンテント１３を移動ベクトルｖ１またはｖ２の方向へスクロールする。これにより、オブジェクト４の座標は（Ｌ^Ｏ＋ｖ１）または（Ｌ^Ｏ＋ｖ２）だけ移動される。ただしαは正の定数である。

制御パターン［４］は、タッチ情報取得部１０３で検出されるタッチ数が２、かつタッチ位置Ｐ１，Ｐ２の移動方向ｖ１とｖ２が同一、かつ式（２）で算出される移動距離ｄ１またはｄ２が所定の閾値Ｄ以上、かつタッチ位置Ｐ１，Ｐ２の静止時間ｔ１ｓ、ｔ２ｓのいずれも所定の閾値Ｔｓ以上の場合であり、すなわち、タッチ位置Ｐ１，Ｐ２が同一方向に所定の距離だけ移動したあと静止を継続する場合に、コンテント１３を連続的に移動させる表示制御を行う。具体的には、コンテント１３を移動ベクトルｖ１またはｖ２の方向へ連続的にスクロールする。これにより、オブジェクト４の座標を所定の時間ごとに（Ｌ^Ｏ＋αｖ１）または（Ｌ^Ｏ＋αｖ２）だけ移動させる。ただしαは正の定数である。

タッチ位置Ｐ１，Ｐ２の移動方向の同一性は、例えば、移動ベクトルｖ１、ｖ２のなす角θのｃｏｓの値が所定の閾値より小さいときに同一であると判定する。また、コンテント１３をスクロールする移動ベクトルは、移動ベクトルｖ１、ｖ２のうちいずれかを任意で選択すればよく、例えば、上記手順で算出した移動距離が大きいほうの移動ベクトルを選択すればよい。

（ステップＳ１０８：表示判定）
コンテント制御部１０９は、コンテント１３を前記移動方向と移動距離に基づいて移動させた結果、オブジェクト４が表示部１１０の表示領域内に入れば処理を終了し、表示領域内に入らなければ、ステップＳ１０１に戻り、タッチ情報取得部１０３によりタッチ位置を取得して、方向判定部１０４によりオブジェクト４の存在方向を判定して、振動提示位置決定部１０５により、振動を提示するタッチ位置を決定し、提示振動決定部１０６により提示する触感信号を決定し、多点同時振動制御部１０７によりオブジェクトの存在方向を振動により提示することをオブジェクト４が表示部１１０の表示領域に入るまで繰り返す。

上記の構成と動作により、本実施の形態１にかかる触覚入出力装置１００は、表示領域外に存在するオブジェクトの位置を、タッチパネル上に存在する複数のタッチ位置のうち、目的とするオブジェクトに最も近いタッチ位置に振動を提示し、同時にタッチされているその他のタッチ位置に振動を提示しない。より具体的には、オブジェクトがディスプレイの表示領域の左側に存在する場合には、２つのタッチ位置のうち左側にあるタッチ位置に第１の触感信号による振動を提示し、オブジェクトが右側に存在する場合には、２つのタッチ位置のうち右側にあるタッチ位置に第１の触感信号による振動を提示し、また、オブジェクトがディスプレイの表示領域の上側にある場合には、２つのタッチ位置のうち上側にあるタッチ位置に第２の触感信号による振動を提示し、逆にオブジェクトが下側に存在する場合には、２つのタッチ位置のうち下側にあるタッチ位置に第２の触感信号による振動を提示することにより、オブジェクトの存在方向を提示する。

これにより、目的とするオブジェクトが存在する方向をユーザに提示することができ、目的とするオブジェクトを表示領域内に再度表示させるコンテントの移動操作を効率よく達成することができる。

なお、上記の実施の形態１の説明では、オブジェクト４は１つの例で説明したが、これに限らず、第１の実施の形態の変形例として、例えば、複数のオブジェクトに対してタッチ数を割り当て、タッチ数によって、方向を提示するオブジェクトを変更できることはいうまでもない。これにより、電子ドキュメント上にマークした複数のハイライト部分を再表示する操作に対して、タッチ位置の数によって、ドキュメントをスクロールすべき方向を切り替えて提示することができる。また、Ｗｅｂコンテントなどのスクロールにおいても、例えば２本指でダブルタップした位置や、３本指でダブルタップした位置を、タッチ数と対応付けられた目的地として登録し、それらが存在する方向をタッチ数に応じて振動により提示できることはいうまでもない。

なお、実施の形態１では、オブジェクトが表示領域の上下または左右のどちらにあるのかを、タッチ位置の上下または左右の位置関係と２種類の触感信号により、オブジェクトに最も近いタッチ位置を振動させ、その他のタッチ位置を振動させないことによりユーザに認識させる例で説明したが、これに限らず、第１の実施の形態の変形例として、図７Ａに示すように、３つの指でパネル１０１にタッチする場合には、表示部１１０の左側にオブジェクト４が存在するときには最も左側のタッチ位置（例えば人差し指）にのみ第１の触感信号による振動を提示し、表示部１１０の右側にオブジェクト４が存在するときには最も右側のタッチ位置（例えば薬指）にのみ第１の触感信号による振動を提示する。上下方向の提示については、３つのタッチ位置のうち中央のタッチ位置（例えば中指）にのみ第１の触感信号による振動を提示することによりオブジェクトが上側に存在することを示し、第２の触感信号による振動を提示することによりオブジェクトが下側に存在することを示してもよい。

また、第１の実施の形態の別の変形例として、図７Ｂに示すように、３つの指でパネル１０１にタッチする場合には、２つのタッチ位置を組みにして振動を提示することにより、上（領域［２］）、下（領域［７］）左（領域［４］）右（領域［５］）の方向だけでなく、斜め方向（領域［１］、領域［３］、領域［６］、領域［８］、）を振動により提示することができる。

なお、実施の形態１の変形例として、ディスプレイの表示範囲外のオブジェクトの方向だけでなく、表示範囲内のボタンへ指を誘導できることはいうまでもない。

なお、本実施の形態では、タッチパネル平面を含む２次元平面上でのオブジェクトの方向を提示する例で説明したが、さらにジャイロセンサやＧＰＳと組み合わせることにより、屋外環境で、目的地のある方向を振動により提示できることはいうまでもない。

＜多点同時振動制御部１０７の構成と動作の一例の説明＞
ここで、ステップＳ１０６の動作にかかる、第１の実施の形態の構成要素である多点同時振動制御部１０７の構成と動作の一例を説明する。図８は多点同時振動制御部のより詳細な構成を表すブロック図を示す。本実施の形態の多点同時振動制御部１０７は、伝達特性記憶部２０１、伝達特性取得部２０２、フィルタ算出部２０３、触感信号記憶部２０４、フィルタ算出部２０５を備える。以下、各構成要素と動作について説明する。

＜伝達特性記憶部２０１＞
伝達特性記憶部２０１は、例えば、ハードディスクあるいは半導体メモリである。伝達特性記憶部２０１は、パネル１０１上の各点について、各アクチュエータ１０２から当該点までの伝達特性を記憶している。つまり、伝達特性記憶部２０１は、パネル１０１上の複数の位置および複数のアクチュエータ１０２について、位置とアクチュエータ１０２との組合せに対応付けて伝達特性を記憶している。

伝達特性は、システムにおける入力と出力との関係を示す。ここでは、アクチュエータの駆動信号が入力に相当し、パネル上の１点における振動が出力に相当する。一般的に、伝達特性Ｇ（ω）は、系への入力Ｘ（ω）に対する系からの出力Ｙ（ω）の比で表わされる（Ｇ（ω）＝Ｙ（ω）／Ｘ（ω））。例えば、入力Ｘ（ω）がインパルスである場合（Ｘ（ω）＝１）、伝達特性Ｇ（ω）は、出力Ｙ（ω）（インパルス応答）と一致する。

そこで、本実施の形態では、伝達特性記憶部２０１は、パネル１０１上の各点について、各アクチュエータ１０２から当該点までのインパルス応答を伝達特性として記憶している。なお、インパルス応答は、時間領域で表されてもよいし、周波数領域で表わされてもよい。つまり、伝達特性記憶部２０１には、インパルス応答の時間波形が記憶されてもよいし、インパルス応答のスペクトルが記憶されてもよい。

ここで、パネル１０１上の各点は、例えば、パネル１０１上の各分割領域の代表点（例えば、中心あるいは重心など）であればよい。分割領域は、例えば、パネル１０１上の領域を１０ｍｍ単位で格子状に分割して得られる。なお、分割領域の形状は、必ずしも矩形状である必要はなく、その他の形状であっても構わない。また、分割領域の大きさはすべての分割領域で同一である必要はない。例えば、パネル１０１上の位置によって分割領域の大きさが異なってもよい。

ここで、各分割領域が小さいほど（つまり、分割領域の数が多いほど）、触感呈示の分解能を向上させことができるが、伝達特性を記憶するための記憶容量は増大する。つまり、分解能と記憶容量とはトレードオフの関係にあるため、必要な分解能あるいは許容される記憶容量などに基づいて、各分割領域の大きさが決定されればよい。

以下に、伝達特性記憶部２０１に記憶される伝達特性について、さらに詳細に説明する。

ここでは、伝達特性記憶部２０１は、Ｍ（Ｍは２以上の整数）個のアクチュエータ１０２（Ａ１、Ａ２、・・・、ＡＭ）の各々から、パネル１０１上のＮ（Ｎは２以上の整数）個の位置（Ｐ１（ｘ１，ｙ１）、Ｐ２（ｘ２，ｙ２）、・・・、ＰＮ（ｘＮ，ｙＮ））の各々までのＭ×Ｎ個の伝達特性を記憶しているとして説明する。

図９は、アクチュエータ１０２からパネル１０１上のある位置に振動が伝播する経路を示す。

図９に示すように、位置Ｐｉにおける振動は、アクチュエータＡｊから位置Ｐｉ（ｘｉ，ｙｉ）に直接到達する振動、およびパネル１０１の端で反射して位置Ｐｉ（ｘｉ，ｙｉ）に到達する振動などが合成された振動である。したがって、伝達特性には、アクチュエータＡｊからパネル上のある位置Ｐｉまでのあらゆる経路の伝播の特性が含まれる。

なお、伝達特性は、時間領域で表現されてもよいし、周波数領域で表現されてもよい。時間領域で表現された伝達特性と周波数領域で表現された伝達特性とは、情報としては等価であり、互いに変換することができる。

アクチュエータＡｊから位置Ｐｉ（ｘｉ，ｙｉ）までの伝達特性は、例えば、アクチュエータＡｊにインパルスを入力したときの位置Ｐｉ（ｘｉ，ｙｉ）における振動（インパルス応答）を計測することで取得することができる。インパルス応答は、アクチュエータＡｊから位置Ｐｉ（ｘｉ，ｙｉ）までの系の特性を完全に表現することができる。そこで、本実施の形態では、伝達特性としてインパルス応答を用いる。

なお、通常、インパルスが直接印加された場合、インパルスの継続時間が非常に短いために、インパルス応答のＳＮ比が低くなるという傾向がある。そこで、インパルスの代わりにＴＳＰ（Ｔｉｍｅ Ｓｔｒｅｔｃｈｅｄ Ｐｕｌｓｅ）を用いてインパルス応答が測定されてもよい。これにより、ＳＮ比が高いインパルス応答を伝達特性として得ることができる。以下に、ＴＳＰを用いてインパルス応答を測定する方法について説明する。

ＴＳＰは、式（３）に示すように、インパルスの位相を周波数の２乗に比例して変化させることにより、インパルスよりも時間軸が引き伸ばされた信号である。図１０Ａは、ＴＳＰの一例を示す。

式（３）において、Ｈ（ｎ）は、周波数領域におけるＴＳＰを表す。ｊは、虚数単位（−１の平方根）を表す。ｋは、定数であり伸縮の度合いを表す。ｎは、離散化された周波数単位を表す。Ｈ＊は、Ｈの複素共役を表す。

式（３）に示すＴＳＰを逆フーリエ変換して得られる信号を用いて、アクチュエータＡｊが駆動され、パネル１０１上の位置Ｐｉ（ｘｉ，ｙｉ）での振動（以降、「ＴＳＰ応答」と呼ぶ）が計測される。計測方法は限定される必要はないが、例えばドップラー変位計などを用いて振動（ＴＳＰ応答）が計測される。図１０Ｂは、ＴＳＰ応答の一例を示す。

計測されたＴＳＰ応答を用いて、インパルス応答が算出される。具体的には、式（２）に示すＴＳＰの逆関数を用いて畳み込み演算を行なうことにより、インパルス応答が算出される。

式（４）において、Ｈ−１（ｎ）は、ＴＳＰの逆関数を表す。図１０Ｃは、ＴＳＰの逆関数の一例を示す。また、図１０Ｄは、図１０ＢのＴＳＰ応答から算出されるインパルス応答の一例を示す。

以上のように、ＴＳＰを用いて、アクチュエータＡｊから位置Ｐｉ（ｘｉ，ｙｉ）までのインパルス応答が計測される。このような計測を、Ｍ個のアクチュエータ１０２（Ａ１、Ａ２、・・・、ＡＭ）とＮ個の位置（Ｐ１（ｘ１，ｙ１）、Ｐ２（ｘ２，ｙ２）、・・・、ＰＮ（ｘＮ，ｙＮ））との全ての組合せについて行うことにより、Ｍ×Ｎ個の伝達特性が得られる。このようにして得られたＭ×Ｎ個の伝達特性が伝達特性記憶部２０１に記憶される。

なお、伝達特性の計測方法は上述の方法に限るものではない。例えば、伝達特性は、Ｍ系列信号を用いて計測されてもよい。また例えば、伝達特性は、ガウス乱数を用いて計測されてもよい。

＜伝達特性取得部２０２＞
伝達特性取得部２０２は、伝達特性記憶部２０１に記憶されている複数の伝達特性の中から、タッチ情報取得部１０３により取得された各タッチ位置に対応する伝達特性を取得する。つまり、伝達特性取得部２０２は、各アクチュエータ１０２から各タッチ位置までの伝達特性を伝達特性記憶部２０１から読み出す。

＜フィルタ算出部２０３＞
フィルタ算出部２０３は、フィルタ取得部の一例である。フィルタ算出部２０３は、任意の触感信号に対するフィルタ処理によって所望の駆動信号を生成するためのフィルタを取得する。ここで、所望の駆動信号とは、振動を提示する第１のタッチ位置でパネル１０１が任意の触感信号に従って振動し、かつ振動を提示しない第２のタッチ位置でパネル１０１が振動しないように各アクチュエータ１０２を駆動するための信号である。

つまり、フィルタ算出部２０３は、伝達特性取得部２０２により取得された伝達特性を用いて、タッチ情報取得部１０３が取得した複数のタッチ位置のうち、第１のタッチ位置にのみ触感を呈示し、第２のタッチ位置（振動を提示しないタッチ位置）に触感を呈示しないためのフィルタを算出する。より具体的なフィルタの算出方法については後述する。

＜触感信号記憶部２０４＞
触感信号記憶部２０４は、例えば、ハードディスクあるいは半導体メモリである。触感信号記憶部２０４は、提示振動決定部１０８により生成された触感信号を記憶しており、図７Ａおよび図７Ｂの各々は、触感信号の一例である。

触感信号は、ユーザに触感を呈示できればどのような信号であってもよいが、例えば、パネル１０１の振動特性に基づいて決定されてもよい。具体的には、触感信号は、例えば、パネル１０１の共振周波数あるいはその近傍の周波数の信号であってもよい。これにより、エネルギー効率を向上させることが可能となる。

本実施の形態では、触感信号は、提示振動決定部１０８により、設定情報の設定値に基づいてオンラインで生成しているが、生成した信号を触感信号記憶部２０４に記憶し、アクチュエータ１０２の駆動信号をフィルタ処理部２０５により生成する。なお、提示振動決定部１０８は、逆に、触感信号記憶部２０４にあらかじめ図７Ａおよび図７Ｂに示すような設定情報の設定値に応じた触感信号を記憶しておき、それらを設定値に基づいて選択する構成としてもよい。

＜フィルタ処理部２０５＞
フィルタ処理部２０５は、フィルタ算出部２０３により算出された各アクチュエータ１０２のためのフィルタを用いて、触感信号記憶部２０４に記憶されている触感信号をフィルタ処理（フィルタリング）することにより、各アクチュエータ１０２を駆動するための駆動信号を生成する。

各アクチュエータ１０２は、このようにフィルタ処理部２０５により生成された駆動信号に従って、パネル１０１を振動させる。その結果、複数のタッチ位置のうち第１のタッチ位置においてのみ触感信号に基づく振動が発生し、振動を提示しない第２のタッチ位置において振動が抑制される。これにより、多点同時振動制御部１０７により、振動提示位置においてユーザに触感を呈示し、振動を提示しない第２のタッチ位置において触感を呈示しないことが可能となる。

＜動作＞
次に、以上のように構成された多点同時振動制御部１０７の各構成要素の動作に関して具体的に説明する。図１１は、実施の形態１における触覚入出力装置１００の処理動作を示すフローチャートである。図１２は、実施の形態１における触覚入出力装置１００の処理動作を説明するための図である。

（ステップＳ２０１：伝達特性を取得）
次に、伝達特性取得部２０２は、振動提示位置決定部１０７により決定された第１のタッチ位置および第２のタッチ位置に対応する伝達特性を伝達特性記憶部２０１から取得する。伝達特性取得部２０２は、例えば図１２に一例を示すように、アクチュエータＡ１、Ａ２、Ａ３、Ａ４の各々からタッチ位置Ｐ１までの伝達特性ｇ１１、ｇ１２、ｇ１３、ｇ１４と、アクチュエータＡ１、Ａ２、Ａ３、Ａ４の各々からタッチ位置Ｐ２までの伝達特性ｇ２１、ｇ２２、ｇ２３、ｇ２４とを伝達特性記憶部２０１から読み出す。ここでは、例えば第１のタッチ位置（提示位置）をＰ１、第２のタッチ位置（非提示位置）をＰ２とする。

（ステップＳ２０２：フィルタを算出）
続いて、フィルタ算出部２０３は、提示位置において触感を提示し、かつ、非呈示位置において触感を提示しないためのフィルタを算出する。具体的には、フィルタ算出部２０３は、各アクチュエータ１０２から提示位置までの伝達特性と、各アクチュエータ１０２から非呈示位置までの伝達特性とを用いてフィルタを算出する。例えば、フィルタ算出部２０３は、タッチ位置Ｐ１において触感を提示し、タッチ位置Ｐ２において触感を提示しないためのフィルタを、伝達特性ｇ１１、ｇ１２、ｇ１３、ｇ１４、ｇ２１、ｇ２２、ｇ２３、ｇ２４を用いて算出する。

以下に、より具体的なフィルタの算出方法の一例を示す。

ここでは、アクチュエータＡｊからタッチ位置Ｐｉまでの伝達特性（インパルス応答）ｇｉｊを、式（５）のように表す。また、アクチュエータＡｊのための駆動信号を生成するためのフィルタｈｊを、式（６）のように表す。また、すべてのアクチュエータＡ１〜ＡＭへの入力に対するタッチ位置Ｐｉにおける応答（出力）ｄｉを、式（７）のように表す。

式（５）において、Ｌｇは、インパルス応答の長さを示す。式（６）において、Ｌは、フィルタの長さ（フィルタ長）を示す。このフィルタ長が長いほど、より細かな制御が可能となる。

ここで、アクチュエータＡ１〜ＡＭへの入力およびフィルタｈ１〜ｈＭと、１つのタッチ位置Ｐｉにおける応答ｄｉとの関係を考える。１つのアクチュエータＡｊへの入力に対する１つのタッチ位置Ｐｉにおける応答は、フィルタｈｊと伝達特性ｇｉｊとの畳み込み演算によって算出される。そして、１つのアクチュエータＡｊへの入力に対する１つのタッチ位置Ｐｉにおける応答を全てのアクチュエータＡ１〜ＡＭについて重ね合わせることにより、すべてのアクチュエータＡ１〜ＡＭへの入力に対する１つのタッチ位置Ｐｉにおける応答ｄｉを算出することができる。つまり、応答ｄｉは、フィルタｈｊと伝達特性ｇｉｊとを用いて式（８）のように表すことができる。

式（８）に示すように、アクチュエータＡ１〜ＡＭへの入力に対するタッチ位置Ｐ１〜ＰＮにおける応答ｄ１〜ｄＮは、各アクチュエータＡｊから各タッチ位置Ｐｉまでの伝達特性ｇｉｊと、算出すべきフィルタｈｊとの畳み込み演算結果の和で表される。

ここで、複数のタッチ位置Ｐ１〜ＰＮのうち、タッチ位置Ｐｋ（０＜ｋ≦Ｎ）における応答ｄｋのみがインパルス（ｄｋ（０）＝１、ｄｋ（１）＝０、ｄｋ（２）＝０、・・・、ｄｋ（Ｍ）＝０）となり、他のタッチ位置Ｐｌ（０＜ｌ≦Ｎ、ｌ≠ｋ）における応答が零（ｄｌ（０）＝０、ｄｌ（１）＝０、ｄｌ（２）＝０、・・・、ｄｌ（Ｍ）＝０）となるようなフィルタｈｊを算出できれば、所望のフィルタを得ることができる。つまり、このように算出されるフィルタｈｊを用いて任意の触感信号に対してフィルタ処理を行うことにより、タッチ位置Ｐｋでのみ当該任意の触感信号に従って触感を呈示し、他のタッチ位置Ｐｌ（ｌ≠ｋ）では触感を呈示しないための駆動信号を生成することができる。

そこで、フィルタ算出部２０３は、各アクチュエータ１０２から呈示位置までの伝達特性とフィルタとの時間領域における畳み込み演算結果の和がインパルスを示し、かつ、各アクチュエータ１０２から非呈示位置までの伝達特性とフィルタとの時間領域における畳み込み演算結果の和が零を示すように、フィルタを算出する。

上述のようなフィルタの算出方法は特に限定するものではないが、Ｇの一般逆行列Ｇ＊を算出することにより、式（９）のようにフィルタを算出することができる。つまり、Ｇの一般逆行列Ｇ＊とインパルスを示すＤとから、所望のフィルタを示すＨを算出することができる。

一般に、アクチュエータの数（Ｍ）がタッチ位置の数（Ｎ）以上であれば、式（９）を解くことができる。なお、任意のタッチ位置の組合せに対して安定的に式（９）を解くためには、各位置において、複数のアクチュエータ１０２からの伝達特性ｇｉｊが同じゼロ点を持たないようにすることが望ましい。例えば、タッチ位置の数が２つの場合は、図１２に示すようにパネル１０１の長辺側の端部に２個ずつアクチュエータ１０２を配置することにより、任意の２点における伝達特性が異なるようにアクチュエータ１０２を配置することができる。

なお、ゼロ点とは、周波数領域において、伝達特性のレベルが０または０に限りなく近くなる周波数のことである。つまり、入力にゼロ点の周波数成分が含まれていても、出力には、その周波数成分がほとんど含まれない。

したがって、全てのアクチュエータ１０２からある位置までの伝達特性が同じ周波数でゼロ点を有する場合、どのような信号が入力されても、その位置においてその周波数ではパネル１０１は振動しない。つまり、特定の周波数において振動を制御することができなくなる。したがって、制御対象となる各周波数において、少なくとも１つのアクチュエータ１０２からの伝達特性が、ゼロ点ではない特性を有するようにしておくことが望ましい。

図１３は、フィルタの一例を示す。具体的には、図１３は、図１２において、タッチ位置Ｐ１が提示位置と決定された場合に算出されたフィルタを示す。

（ステップＳ２０３：触感信号をフィルタ処理）
次に、フィルタ処理部２０５は、触感信号記憶部２０４に記憶されている触感信号に対して、ステップＳ２０２において算出されたフィルタを用いてフィルタ処理を行なうことにより、各アクチュエータ１０２を駆動するための駆動信号を生成する。具体的には、フィルタ処理部２０５は、触感信号Ｓ（ｎ）とフィルタｈｊ（ｎ）との畳み込み演算を行なうことにより、アクチュエータＡｊのための駆動信号を生成する。

ここでは、触感信号Ｓ（ｎ）としては、提示振動決定部１０８により設定値に応じて決定され、触感信号記憶部２０４に記憶されている、タッチ位置Ｐ１に提示する図７Ａに示す触感信号をフィルタ処理する例で説明する。

ここで、フィルタ処理についてより詳細に説明する。

フィルタ処理部２０５は、式（１０）に示すように、アクチュエータＡｊを駆動するための駆動信号ｕｊ（ｎ）を生成する。つまり、フィルタ処理部２０５は、触感信号ｓ（ｎ）と、フィルタ算出部２０３により算出されたフィルタｈｊ（ｎ）との畳み込み演算を行うことにより、駆動信号ｕｊ（ｎ）を生成する。

図１４は、駆動信号の一例を示す。つまり、図１４は、式（１０）に従ってフィルタ処理部２０５によって生成された駆動信号の一例を示す。より具体的には、図１４は、図１３に示すフィルタを用いて、図７Ａに示す触感信号を処理することにより生成された駆動信号を示す。

（ステップＳ２０４：アクチュエータを駆動）
次に、アクチュエータＡｊは、ステップＳ２０３で生成された駆動信号ｕｊ（ｎ）を用いて駆動される。つまり、アクチュエータＡｊは、駆動信号ｕｊ（ｎ）に従ってパネル１０１を振動させる。

なお、アクチュエータの種類によっては、高電圧の駆動信号を必要とする場合がある。そのような場合には、アクチュエータ１０２は、駆動信号を増幅するためのアンプを備えてもよい。

図１５は、各タッチ位置におけるパネル１０１の振動の実験結果を示す。具体的には、図１５は、図１５に示す駆動信号を用いてアクチュエータ１０２が駆動された場合のタッチ位置Ｐ１およびＰ２におけるパネル１０１の振動を示す。

タッチ位置Ｐ１では、振動のピーク間の差（以後、「振幅強度」と呼ぶ）が約３０μｍとなっており、強く振動していることが分かる。一方、タッチ位置Ｐ２では、振幅強度が約１μｍとなっており、人が感知できない程度でしか振動していないことが分かる。

なお、図１５では、タッチ位置Ｐ１、Ｐ２における振動特性を示したが、タッチ位置Ｐ１、Ｐ２以外の位置でも振動が生じている。しかしながら、タッチ位置Ｐ１、Ｐ２以外の位置はユーザにタッチされていない位置であるので、どのような振動が生じていてもユーザに触感が提示されることがない。

上記の構成と動作により、本実施の形態１における多点同時振動制御部１０７によれば、振動を提示する第１のタッチ位置に触感を提示し、振動を提示しない第２のタッチ位置において触感を提示しないことができる。したがって、複数のタッチ位置のうち、触感の提示が必要なタッチ入力に対してのみ触感を提示することができる。

なお、多点同時振動制御部１０７の変形例１として、実施の形態１では、時間領域においてフィルタの算出を行ったが、これを周波数領域で算出することにより、処理負荷を低減できることは言うまでもない。また、人間が触覚として感じる周波数帯域に処理を限定することによりさらに処理負荷を低減できることもいうまでもない。

また、多点同時振動制御部１０７の変形例２として、フィルタを算出するまでの処理を、オンラインではなくオフラインで実施することにより、処理負荷を低減できることはいうまでもない。

なお、多点同時振動制御部１０７の変形例３として、あらかじめ複数のタッチ位置の組み合わせパターンのすべてについて、駆動信号を算出して記憶しておき、タッチ位置の組み合わせパターンによって選択することにより、さらに処理負荷を低減でき、より処理能力の低い計算資源でもタッチ位置ごとに異なる振動を提示できることはいうまでもない。

さらに、多点同時振動制御部１０７の変形例４として、例えば、第１のタッチ位置Ｐ１に図４Ａの振動を提示し、第２のタッチ位置Ｐ２には図４Ａの振動を提示しないための駆動信号１と、Ｐ２を第１のタッチ位置として図４Ｂの振動を提示し、Ｐ１を第２のタッチ位置として図４Ｂの振動を提示しないための駆動信号２とを加算した駆動信号によりアクチュエータ１０２を駆動することで、Ｐ１に図４Ａの振動を提示し、かつＰ２に図４Ｂの振動を同時に提示することができることはいうまでもない。

なお、ここで説明した多点同時触感制御部１０９の構成と動作は一例であり、他の構成と動作とすることもできる。例えばパネルがフレキシブルなディスプレイで構成されており、その表面を局所的に振動させるアクチュエータを備えたものであってもよい。

＜変形された実施の形態１＞
上記説明したように、振動によって表示領域外にあるオブジェクトの方向をユーザに把握させながら、ユーザが指１本又は複数で地図や文書などのコンテント１３をスクロールすることができる。このとき、本変形された実施の形態では、オブジェクトが表示領域外から表示領域内に入った際（あるいは入った後のタッチ動作が行なわれた際）に、別の振動をタッチ位置に加える。具体的には、より振幅の大きい振動を与える駆動信号によりアクチュエータ１０２を駆動することができる。あるいは、タッチしている全ての指に対して振動を加える、又は、刺激数を増加させることでもよい。これにより、ユーザが画面を注視せずにスクロール操作を行なう場合に、オブジェクトが表示領域に入ったことを触覚により把握できる。例えば、オブジェクトが一旦表示領域内に入った場合に、ユーザが気づかないことなどにより、ユーザがスクロール操作をやめずに再び表示領域外に行くことを防ぐことができる。

＜変形された実施の形態２＞
上記説明したように、振動によって表示領域外にあるオブジェクトの方向をユーザに把握させながら、ユーザが指１本又は複数で地図や文書などのコンテント１３をスクロールすることができる。このとき、本変形された実施の形態では、オブジェクトと表示領域境界（あるいはタッチ位置）との距離に応じて振動の大きさあるいは種類を変更する。具体的には、表示領域に近づくほど振動を大きく（又はその逆）したり、振動刺激数をより多くする（又はその逆）ことで、オブジェクトと表示領域の距離をユーザが触覚により把握できる。これにより、ユーザがオブジェクトの方向だけでなく表示領域との距離感を触覚を通じて把握できるので、ユーザがスクロール動作を停止する準備を行なうことができる。以上のように、第１の実施の形態の触覚入出力装置によれば、目的とするオブジェクトが存在する方向をユーザに提示することができ、目的とするオブジェクトを表示領域内に再度表示させるコンテントの移動操作を効率よく達成することができる。

なお、実施の形態１においては、タッチ位置が検出されない場合は、アクチュエータ１０２の駆動を停止し、パネル１０１を振動させないことが好ましい。ただし、タッチ位置が離れた後に、入力状態や機器の状態を振動によりフィードバックしてもよい。

なお、実施の形態１においては、タッチ位置の時系列情報に基づいて、検出順序、移動方向、空間順序を算出したが、これに限らず、例えばタッチパネルドライバからオペレーティングシステムに通知されるタッチ数、タッチ番号、タッチ開始イベント、タッチ継続イベント、タッチ終了イベントなどのタッチイベントを併用して算出してもよい。

また、実施の形態１では、タッチ位置の検出時、タッチ位置の移動時、タッチ位置の移動後の停止時に振動を提示する例で説明したが、これに限らず、タッチの押圧が所定の閾値以上のとき、タッチ位置での指の接触面積が所定の閾値以上のとき、あるいは他のマルチタッチジェスチャーが検出されたときに振動を提示してもよい。

上記説明した実施の形態１に係る触覚入出力装置は、タッチ入力により機器を操作する際に、入力するタッチパネルやタッチパッドを注視することなく、機器の設定操作ができるので、ディスプレイのコンテントを注視しながら手元のタッチリモートコントローラを操作する際にはリモコンを注視することなく操作する、あるいはディスプレイをできるだけ注視しないで操作することが望まれるカーナビゲーションなどの車載システムに応用できる。また、設定項目とタッチ位置の空間順序を対応づけ、選択された設定項目に対応するタッチ位置のみを振動させることにより、機器に受け付けられた設定項目をユーザが触覚により容易に確認できるので、タッチ入力装置を供えたさまざまな機器の操作に応用できる。例えば、タッチパネルやタッチパッドなどタッチ入力で操作するタブレット端末、ゲーム機、ＴＶ用リモコン、デジタルカメラ、ムービー、パーソナルコンピュータ、携帯情報端末、携帯電話、電子黒板やデジタルサイネージ用ディスプレイなどの触覚入出力装置に応用できる。また、洗濯機、電子レンジなどのタッチパネルが搭載された家電機器の触覚入出力装置、また、家電機器を制御する携帯電話やタブレット端末などでタッチパネルが搭載されている機器の触覚入出力装置としても応用できる。

以上、例示的な各実施の形態について説明したが、本願の請求の範囲は、これらの実施の形態に限定されるものではない。添付の請求の範囲に記載された主題の新規な教示および利点から逸脱することなく、上記各実施の形態においてさまざまな変形を施してもよく、上記各実施の形態の構成要素を任意に組み合わせて他の実施の形態を得てもよいことを、当業者であれば容易に理解するであろう。したがって、そのような変形例や他の実施の形態も本発明に含まれる。

本発明にかかる触覚入出力装置は、カーナビゲーションシステムの他、タッチ入力装置を供えたさまざまな機器の操作に応用できる。例えば、タッチパネルやタッチパッドなどタッチ入力で操作するタブレット端末、ゲーム機、ＴＶ用リモコン、デジタルカメラ、ムービー、パーソナルコンピュータ、携帯情報端末、携帯電話、電子黒板やデジタルサイネージ用ディスプレイなどの触覚入出力装置に利用可能である。

１ 指
２ 指
３ 指
１０ 電子機器
１３ コンテント
１００ 触覚入出力装置
１０１ パネル
１０２ アクチュエータ
１０３ タッチ情報取得部
１０４ 方向判定部
１０５ 振動提示位置決定部
１０６ 提示振動決定部
１０７ 多点同時振動制御部
１０８ 移動入力判定部
１０９ コンテント制御部
１１０ 表示部
１９０ プロセッサ
２０１ 伝達特性記憶部
２０２ 伝達特性取得部
２０３ フィルタ算出部
２０４ 触感信号記憶部
２０５ フィルタ処理部
３１０ タブレット機器
３２０ 地図データ
３２１ ターゲット地点

本発明の一態様に係るタッチパネルの制御方法は、タッチパネル表面またはその近傍にマルチタッチ入力された、複数の入力を検出し、検出された前記複数の入力の位置である複数の入力位置を検出し、コンテントの一部又は全てをディスプレイに表示し、前記コンテント上のオブジェクトが前記ディスプレイの表示領域内にあるか表示領域外にあるか決定し、前記オブジェクトが表示領域外にある場合は、前記複数の入力位置のうち、前記オブジェクトとの距離が最も近い入力位置を含む少なくとも１つの位置にそれぞれ対応する位置近傍を１以上の振動点として振動させ、前記複数の入力位置のうち、前記１以上の振動点に対応しない入力位置近傍を振動させない。

本発明の別の一態様に係るタッチパネルの制御方法は、前記オブジェクトと前記オブジェクトとの距離が最も近い入力位置との距離に応じて、前記１以上の振動点における振動を変更する。

本発明の別の一態様に係るタッチパネルの制御方法は、前記オブジェクトが表示領域について左右方向の表示領域外にある場合と、前記オブジェクトが表示領域について上下方向の表示領域外にある場合とで、前記１以上の振動点における振動が異なる。

本発明の一態様に係るタッチパネルデバイスは、マルチタッチが入力できるように構成されたタッチパネルと、複数のアクチュエータと、プロセッサを有し、前記プロセッサは、タッチパネル表面またはその近傍にマルチタッチ入力された、複数の入力を検出し、検出された前記複数の入力の位置である複数の入力位置を検出し、コンテントの全て又は一部をディスプレイに表示し、前記コンテント上のオブジェクトが前記ディスプレイの表示領域内にあるか表示領域外にあるか決定し、前記オブジェクトが表示領域外にある場合は、前記複数の入力位置のうち、前記オブジェクトとの距離が最も近い１つを含む少なくとも１つの位置にそれぞれ対応する位置近傍を１以上の振動点として振動させ、前記複数の入力位置のうち、前記１以上の振動点に対応しない入力位置近傍を振動させない、制御を行なう。

本発明の別の一態様に係るタッチパネルデバイスは、前記オブジェクトと前記オブジェクトとの距離が最も近い入力位置との距離に応じて、前記１以上の振動点における振動を変更する。

本発明の別の一態様に係るタッチパネルデバイスは、前記オブジェクトが表示領域について左右方向の表示領域外にある場合と、前記オブジェクトが表示領域について上下方向の表示領域外にある場合とで、前記１以上の振動点における振動が異なる。

本発明の別の一態様に係るタッチパネルデバイスは、前記コンテントは地図、電子ドキュメント、ブックマーク、及びＷｅｂページの少なくとも１つを含む。

Claims (16)

1. タッチパネル表面またはその近傍にマルチタッチ入力された、複数の入力を検出し、
   検出された前記複数の入力の位置である複数の入力位置を検出し、
   コンテントの一部又は全てをディスプレイに表示し、
   前記コンテント上のオブジェクトが前記ディスプレイの表示領域内にあるか表示領域外にあるか決定し、
   前記オブジェクトが表示領域外にある場合は、
   前記複数の入力位置のうち、前記オブジェクトとの距離が最も近い入力位置を含む少なくとも１つの位置に対応する位置近傍を振動させ、
   前記複数の入力位置のうち、前記少なくとも１つの位置に対応する位置近傍以外を振動させない
   タッチパネルデバイスの制御方法。
2. 前記オブジェクトと前記オブジェクトとの距離が最も近い入力位置との距離に応じて振動方法を変更する
   請求項１記載のタッチパネルデバイスの制御方法。
3. ユーザのなぞり又はタップに応じて前記コンテントをスクロールさせるタッチパネルデバイスの制御方法であって、
   前記オブジェクトが表示領域外から表示領域内となったときに、さらに前記タッチパネルを振動させる
   請求項１記載のタッチパネルデバイスの制御方法。
4. 前記オブジェクトが表示領域について左右方向の表示領域外にある場合と、
   前記オブジェクトが表示領域について上下方向の表示領域外にある場合とで、
   振動方法が異なる
   請求項１記載のタッチパネルデバイスの制御方法。
5. マルチタッチが入力できるように構成されたタッチパネルと、
   複数のアクチュエータと、
   プロセッサを有し、
   前記プロセッサは、
   タッチパネル表面またはその近傍にマルチタッチ入力された、複数の入力を検出し、
   検出された前記複数の入力の位置である複数の入力位置を検出し、
   コンテントの全て又は一部をディスプレイに表示し、
   前記コンテント上のオブジェクトが前記ディスプレイの表示領域内にあるか表示領域外にあるか決定し、
   前記オブジェクトが表示領域外にある場合は、
   前記複数の入力位置のうち、前記オブジェクトとの距離が最も近い１つを含む少なくとも１つの位置に対応する位置近傍を振動させ、
   前記複数の入力位置のうち、前記少なくとも１つの位置に対応する位置近傍以外を振動させない制御を行う
   タッチパネルデバイス。
6. 前記オブジェクトと前記オブジェクトとの距離が最も近い入力位置との距離に応じて振動方法を変更する
   請求項５記載のタッチパネルデバイス。
7. ユーザのなぞり又はタップに応じて前記コンテントをスクロールさせるタッチパネルデバイスであって、
   前記オブジェクトが表示領域外から表示領域内となったときに、さらに前記タッチパネルを振動させる
   請求項５記載のタッチパネルデバイス。
8. 前記オブジェクトが表示領域について左右方向の表示領域外にある場合と、
   前記オブジェクトが表示領域について上下方向の表示領域外にある場合とで、
   振動方法が異なる
   請求項５記載のタッチパネルデバイス。
9. 前記コンテントは、地図である
   請求項５から請求項７のいずれか１項に記載のタッチパネルデバイス。
10. 前記コンテントは、地図、電子ドキュメント、ブックマーク、又はＷｅｂページである
    請求項５から請求項７のいずれか１項に記載のタッチパネルデバイス。
11. ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルと、
    前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、
    前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、
    前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、タッチ位置の移動方向および移動距離を算出する移動入力判定部と、
    コンテントを表示する表示部と、
    前記コンテント上に存在するオブジェクトが、表示部の表示領域外のどの方向にあるかを判定する方向判定部と、
    前記複数のタッチ位置とオブジェクトの位置を比較し、（ｉ）オブジェクトとの距離が最短であるタッチ位置を、振動を提示する第１のタッチ位置として決定し、（ｉｉ）第１のタッチ位置以外の同時に検出されているタッチ位置を、振動を提示しない第２のタッチ位置として決定する振動提示位置決定部と、
    前記振動提示位置決定部で決定された第１のタッチ位置に提示する振動を示す触感信号を、前記方向判定部により決定されたオブジェクトの存在方向に基づいて決定する提示振動決定部と、
    前記第１のタッチ位置に所定の振動を提示し、かつ、前記第２のタッチ位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部と、
    前記移動入力判定部で算出されたタッチ位置の移動方向と移動距離に基づいて、コンテントをスクロールして表示部に表示する制御を実行するコンテント制御部とを
    備える触覚入出力装置。
12. パネルによりユーザからのタッチ入力に応答して、複数のアクチュエータによる振動により出力する触覚入出力方法であって、
    前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、
    前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、タッチ位置の移動方向および移動距離を算出し、
    コンテントを表示し、
    コンテント上に存在するオブジェクトが、表示部の表示領域外のどの方向にあるかを判定し、
    前記複数のタッチ位置のうち、（ｉ）オブジェクトとの距離が最短であるタッチ位置を、振動を提示する第１のタッチ位置として決定し、（ｉｉ）第１のタッチ位置以外の同時に検出されているタッチ位置を、振動を提示しない第２のタッチ位置として決定し、
    決定された第１のタッチ位置に提示する振動を示す触感信号を、前記方向判定部により決定されたオブジェクトの存在方向に基づいて決定し、
    前記第１のタッチ位置に所定の振動を提示し、かつ、前記第２のタッチ位置に前記所定の振動を提示しないようにアクチュエータを駆動し、
    算出された移動方向と移動距離に基づいて、前記コンテントをスクロールして表示部に表示する
    触覚入出力方法。
13. タッチパネル表面またはその近傍にマルチタッチ入力された、複数の入力を検出し、
    検出された前記複数の入力の位置である複数の入力位置を検出し、
    コンテントの一部又は全てをディスプレイに表示し、
    前記コンテント上のオブジェクトが前記ディスプレイの表示領域内にあるか表示領域外にあるか決定し、
    前記オブジェクトが表示領域外にある場合は、
    前記複数の入力位置のうち、前記オブジェクトとの距離が最も近い入力位置を含む少なくとも１つの位置に対応する位置近傍を振動させ、
    前記複数の入力位置のうち、前記少なくとも１つの位置に対応する位置近傍以外を振動させない、
    タッチパネルデバイスの制御方法をコンピュータに実行させるためのコンピュータプログラム。
14. パネルによりユーザからのタッチ入力に応答して、複数のアクチュエータによる振動により出力する触覚入出力方法であって、
    前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、
    前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、タッチ位置の移動方向および移動距離を算出し、
    コンテントを表示し、
    コンテント上に存在するオブジェクトが、表示部の表示領域外のどの方向にあるかを判定し、
    前記複数のタッチ位置のうち、（ｉ）オブジェクトとの距離が最短であるタッチ位置を、振動を提示する第１のタッチ位置として決定し、（ｉｉ）第１のタッチ位置以外の同時に検出されているタッチ位置を、振動を提示しない第２のタッチ位置として決定し、
    決定された第１のタッチ位置に提示する振動を示す触感信号を、前記方向判定部により決定されたオブジェクトの存在方向に基づいて決定し、
    前記第１のタッチ位置に所定の振動を提示し、かつ前記第２のタッチ位置に前記所定の振動を提示しないようにアクチュエータを駆動し、
    算出された移動方向と移動距離に基づいて、前記コンテントをスクロールして表示部に表示する触覚入出力方法をコンピュータに実行させるためのコンピュータプログラム。
15. １つ又は複数のプログラムが格納されたコンピュータ読み取り可能なストレージメディアであって、
    前記１つ又は複数のプログラムは、
    １つ又は複数のインストラクションを有しており、
    タッチパネルを有する電子機器によって実行される際に、
    タッチパネル表面またはその近傍にマルチタッチ入力された、複数の入力を検出し、
    検出された前記複数の入力の位置である複数の入力位置を検出し、
    コンテントの一部又は全てをディスプレイに表示し、
    前記コンテント上のオブジェクトが前記ディスプレイの表示領域内にあるか表示領域外にあるか決定し、
    前記オブジェクトが表示領域外にある場合は、
    前記複数の入力位置のうち、前記オブジェクトとの距離が最も近い入力位置を含む少なくとも１つの位置に対応する位置近傍を振動させ、
    前記複数の入力位置のうち、前記少なくとも１つの位置に対応する位置近傍以外を振動させない、
    ように前記電子機器に実行させる
    コンピュータ読み取り可能なストレージメディア。
16. １つ又は複数のプログラムが格納されたコンピュータ読み取り可能なストレージメディアであって、
    前記１つ又は複数のプログラムは、
    １つ又は複数のインストラクションを有しており、
    タッチ入力可能なパネルを有する電子機器によって実行される際に、
    ユーザから入力された前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、
    前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、タッチ位置の移動方向および移動距離を算出し、
    コンテントを表示し、
    コンテント上に存在するオブジェクトが、表示部の表示領域外のどの方向にあるかを判定し、
    前記複数のタッチ位置のうち、（ｉ）オブジェクトとの距離が最短であるタッチ位置を、振動を提示する第１のタッチ位置として決定し、（ｉｉ）第１のタッチ位置以外の同時に検出されているタッチ位置を、振動を提示しない第２のタッチ位置として決定し、
    決定された第１のタッチ位置に提示する振動を示す触感信号を、前記方向判定部により決定されたオブジェクトの存在方向に基づいて決定し、
    前記第１のタッチ位置に所定の振動を提示し、かつ前記第２のタッチ位置に前記所定の振動を提示しないようにアクチュエータを駆動し、
    算出された移動方向と移動距離に基づいて、前記コンテントをスクロールして表示部に表示する、
    ように前記電子機器に実行させる
    コンピュータ読み取り可能なストレージメディア。

Images