JP5292244B2 - 入力装置 - Google Patents

Description

本発明は、タッチセンサを備える入力装置に関するものである。

近年、携帯電話等の携帯端末において、ユーザによる操作入力を受け付ける操作部やスイッチ等の入力装置として、タッチパネルやタッチスイッチ等のタッチセンサを備える入力装置が採用されているものがある。携帯端末以外に、電卓、券売機等の情報機器や、電子レンジ、テレビ、照明器具等の家電製品、産業用機器（ＦＡ機器）等にも、タッチセンサを備える入力装置は広く使用されている。

このようなタッチセンサには、抵抗膜方式、静電容量方式、光学式等の種々の方式が知られている。しかしながら、いずれの方式のタッチセンサにおいても、指やスタイラスペンによるタッチ入力を受け付けるものであって、タッチセンサ自体は、タッチされても、押しボタンスイッチのようには物理的に変位しない。

このように、タッチセンサがタッチされても、タッチセンサ自体は物理的に変位しないので、操作者は、タッチ入力が受け付けられても、入力に対するフィードバックを得ることができない。このため、操作者は、操作入力を行う際の操作感が得られず、同じ位置を何度もタッチする等の繰り返し入力が生じ易く、操作者にストレスを与える場合がある。

このような不要な繰り返し入力を防止するものとして、例えば、タッチ入力を受け付けて、音を鳴らすようにしたものが知られている。また、例えば、当該入力位置に対応して表示部に画像表示されている入力ボタン等の入力用オブジェクトの表示色を変更するなど、表示態様を変更するようにしたものも知られている。これらのようなものを使用すれば、操作者は、聴覚や視覚によって入力操作を確認することができる。

しかしながら、聴覚に働きかけるフィードバック方法の場合は、騒音環境下での確認が困難になるとともに、使用機器がマナーモード等の消音状態にあるときは、対応できない。また、視覚に働きかけるフィードバック方法の場合は、表示部に表示されている入力用オブジェクトのサイズが小さいと、特に指で入力を行う際に、指の下に入力用オブジェクトが隠れて表示態様の変化が確認できない場合がある。

そこで、聴覚や視覚によらず、タッチセンサが入力を受け付けると、タッチセンサを振動させて、操作者の指先に触感を呈示するようにしたフィードバック方法も提案されている（例えば、特許文献１および特許文献２参照）。

特開２００３−２８８１５８号公報 特開２００８−１３００５５号公報

上記特許文献１および特許文献２に開示の技術によれば、タッチセンサに対する操作入力を受け付けた際に、操作者の指先などに、振動による触感を呈示することができる。したがって、このような入力装置を用いて入力を行う操作者は、タッチセンサに対して行った操作入力が入力装置に適正に受け付けられたことを、触覚により認識することができる。

しかしながら、このような入力装置を用いて操作入力を受け付けた際に触感を呈示するためには、所定の条件に応じて触感を呈示する処理が、予めアプリケーションプログラム（以下、単に「アプリケーション」と記す）に組み込まれている必要がある。すなわち、上述の入力装置においては、触感を呈示することを予め想定して開発されたアプリケーションを使用すれば、所定の条件に応じて触感を呈示することができる。しかしながら、上述の入力装置に、触覚を発生することを想定していないアプリケーションをそのまま適用しても、適切に触感を呈示することはできない。

したがって、上述したような入力装置において所定の条件に応じて適切に触感を呈示するためには、新たにアプリケーションを開発するか、あるいは既存のアプリケーションに対して、触感を発生させるための処理を追加する改変を加える必要がある。

具体的には、入力装置の表示部に画像表示されるキーまたはボタン等のオブジェクトの位置に対応するタッチセンサに対して入力がなされた際に、入力装置が所定の触感を呈示するための処理を追加する必要がある。また、表示部にキーまたはボタン等のオブジェクトが画像表示されていない位置に対応するタッチセンサに対して入力がなされても、入力装置が触感を呈示しないようにする必要もある。このように触感の呈示の有無を制御すれば、タッチセンサおよびＧＵＩ(Graphical User Interface)を入出力に用いたインタフェースによって、例えばメタルドーム等のメカスイッチを用いた入力装置に似た操作感を提供することができる。すなわち、画像表示したキーまたはボタン等のオブジェクトに対する入力により、現実のキーまたはボタン等をクリックした場合のような操作感を提供することができる。一方、キーまたはボタン等のオブジェクトのない位置に対する入力がなされても、フィードバックが発生しないようにできる。

このような制御を行う場合、入力装置は、タッチセンサに対して入力がなされた際のＧＵＩの状態、すなわち表示部に表示されるキーまたはボタン等のオブジェクトの状態を管理しているアプリケーションと連携することが必要になる。

以下、触感を呈示する際に想定される処理について説明する。図７は、想定される入力装置の概略構成を示すブロック図である。図７に示すように、入力装置１００は、制御部１１０と、アプリケーション実行部１２０と、表示部１３０と、タッチセンサ１４０と、触感呈示部１５０と、を備えている。また、制御部１１０は、表示制御部１１２と、触感制御部１１４とを含んでいる。

制御部１１０は、入力装置１００の各機能部をはじめとして入力装置１００の全体を制御する。アプリケーション実行部１２０は、図示しない記憶部から各種のアプリケーションを読み込んで、当該アプリケーションに基づく処理を実行する。なお、アプリケーション実行部１２０が実行しているアプリケーションは、以下の説明においては、表示部１３０に表示した入力用オブジェクトの位置に対応するタッチセンサ１４０に入力があった際に、所定の触感を呈示する処理が予め追加されているものとする。

表示部１３０は、液晶ディスプレイや有機ＥＬディスプレイ等で構成し、入力を行うためのキーまたはボタン等のオブジェクトの画像を表示する。タッチセンサ１４０は、通常は表示部１３０の前面に配置して、表示部１３０に表示したオブジェクトに対する操作者の指等によるタッチ入力を、対応するタッチセンサ１４０のタッチ面により受け付ける。また、タッチセンサ１４０は、タッチ面により受け付けた押圧の入力の位置を、制御部１１０を介してアプリケーション実行部１２０に通知する。触感呈示部１５０は、小型の偏心モータや圧電素子等で構成し、タッチセンサ１４０のタッチ面を振動させることにより、操作者の指等の押圧対象に触感を呈示する。

制御部１１０の表示制御部１１２は、アプリケーション実行部１２０から供給される表示データに基づいて、表示部１３０にオブジェクトなどの画像を表示したり、あるいは当該画像の表示態様を変更したりする等、表示に係る制御を行う。触感制御部１１４は、アプリケーション実行部１２０の指示に基づいて、所定の条件に基づく振動パターンを、触感呈示部１５０に供給する。

図８は、入力装置１００により触感の呈示を制御する動作の例を概略的に説明するフローチャートである。

タッチセンサ１４０のタッチ面に対する入力が検知された時点で、入力装置１００による触感の呈示を制御する動作は開始する。本動作が開始すると、まず、タッチセンサ１４０は、タッチ面に対するタッチ入力の位置をアプリケーション実行部１２０に通知する（ステップＳ１００）。この通知を受けると、アプリケーション実行部１２０は、当該入力位置が表示部１３０にキーまたはボタン等のオブジェクトを画像表示している位置に対応するか否かを判定する（ステップＳ１０２）。ステップＳ１０２において、入力位置が表示部１３０にキーまたはボタン等のオブジェクトの画像を表示している位置に対応しない場合、アプリケーション実行部１２０は、表示または触感に関する指示は行わずに動作を終了する。

一方、ステップＳ１０２において、入力の位置がキーまたはボタン等のオブジェクトの画像を表示している位置に対応する場合、アプリケーション実行部１２０は、表示制御部１１２に対して、入力を受け付けた旨の表示を行うための表示データを提供する。ここでいう入力を受け付けた旨の表示とは、例えばキーまたはボタン等のオブジェクトを一瞬だけ反転表示したり、キーまたはボタン等が押下された状態を示す画像を表示するなど、操作者が視認できるような表示とすることである。このような表示データを受信したら、表示制御部１１２は、当該表示データに基づいて、表示部１３０に表示される画像を変更する（ステップＳ１０４）。

続いて、アプリケーション実行部１２０は、触感制御部１１４に対して、入力を受け付けた旨を操作者に報知するため、所定の触感を呈示するように指示する。ここでいう所定の触感の呈示とは、タッチセンサ１４０のタッチ面を一瞬だけ振動させるなど、操作者の触覚により認識できるフィードバックを提供するようにできる。このような触感の呈示の指示を受けたら、触感制御部１１４は、当該指示に従って触感呈示部１５０が所定の振動パターンを呈示するように制御する。これにより、触感呈示部１５０は、タッチセンサ１４０のタッチ面を押圧している押圧対象に対して所定の振動パターンによる触感を呈示する（ステップＳ１０６）。このような処理を行うことで、入力装置１００は、入力の際にタッチセンサおよびＧＵＩを採用するインタフェースによって、入力を受け付けるオブジェクトに対する操作入力を受け付けた際にのみ、触感を呈示することができる。

以下、想定される入力装置において、触感を呈示する際の動作の他の例について説明する。

上述した例においては、タッチセンサ１４０に入力があるたびに、当該入力がオブジェクトの位置に対応した入力であるか否かをアプリケーション実行部１２０が判定した。以下の例においては、入力受付開始前に（すなわち図８の動作の前提として）、アプリケーション実行部１２０が、触感制御部１１４に対して、所定の条件に応じて触感を呈示する動作を予め設定しておく。例えば、ボタンなどのオブジェクトが表示された位置に対応するタッチセンサに対する入力に応じて触感を呈示したり、オブジェクトの種別に応じて異なる態様の触感を呈示したりする等の各種条件を、予め触感制御部１１４に設定しておく。また、このような設定は、ＧＵＩの変化に伴って更新されるようにすることもできる。すなわち、ボタンのオブジェクトに対する入力がなされた後、さらに入力を受け付けた際に発生すべき触感や、あるいは別のユーザインタフェースに変化した後に発生すべき触感も、予め定義しておくことができる。

このように設定することで、上述したステップＳ１００およびステップ１０２の動作において、タッチセンサ１４０に入力があるたびに、当該入力がオブジェクトの位置に対応する入力であるか否かをアプリケーション実行部１２０が判定する必要はなくなる。この場合、ステップＳ１００にてタッチセンサ１４０が入力位置を触感制御部１１４に通知して、ステップ１０２にて、触感制御部１１４は、当該入力がオブジェクトの位置に対応する入力であるか否かを、判定する。それ以外の動作は、上述した例と同様に行うことができる。このような動作により、触感の呈示に関して、アプリケーション実行部１２０にかかる処理の負荷を軽減することができる。

以下、想定される入力装置において、触感を呈示する際の動作のさらに他の例について説明する。

上述した例においては、触感制御部１１４に対して、所定の条件に応じて所定の触感を呈示する動作を予め設定することにより、入力のたびにアプリケーション実行部１２０が触感の呈示に関する判断を行わなくても済むようにした。しかしながら、図８のステップＳ１０４にて、表示制御部１１２が表示部１３０に表示するオブジェクトの画像を変更するためには、位置情報がオブジェクトの位置に対応するか否かを、やはりアプリケーション実行部１２０が判定する必要がある。したがって、入力受付開始前に（すなわち図８の動作の前提として）、アプリケーション実行部１２０が、表示制御部１１２に対して、所定の条件に応じてオブジェクトの表示を変化させる動作も、予め設定しておくことが考えられる。

この場合、上述したステップＳ１００の動作において、タッチセンサ１４０に対する入力がなされたら、タッチセンサ１４０は、入力の位置を、触感制御部１１４に通知するとともに、アプリケーション実行部１２０にも通知する。当該入力がオブジェクトの位置に対応した入力である場合、アプリケーション実行部１２０は、表示制御部１１２を介して、オブジェクトの表示を変化するように表示部１３０を制御する。それ以外の処理は、上述した例と同様に行うことができる。このような動作により、触感の呈示のみならず表示に関しても、アプリケーション実行部１２０にかかる処理負荷を低減することができる。

以上説明したように、入力があるたびに対応する処理をアプリケーション実行部が指示する場合も、入力に対応する動作を予め他の機能部に設定しておく場合も、アプリケーションが触感の呈示の動作に対応していれば、問題なく上述の動作を行うことができる。すなわち、触感を呈示する処理を予め組み込んだアプリケーションであれば、上述の動作により、所定の触感を適切に呈示することができる。

しかしながら、上述した入力装置１００においては、触感の呈示に対応していないアプリケーションを適用すると、そのままの状態では、入力に基づいてオブジェクトが変化しても、所定の触感を適切に呈示することはできない。したがって、入力装置１００において、現在までに開発されてきた種々のアプリケーション資源を無駄にせずに有効に活用するためには、それぞれのアプリケーションを改変して、所定の条件に応じて触感を呈示する処理を追加しなければならない。このような処理を追加する改変は、種々のアプリケーションごとに行わなければならず、膨大な手間とコストがかかることが懸念される。

このような事情の下では、今後、触感を呈示する入力装置に向けたアプリケーションの開発に各社ベンダが参入する阻害要因になったり、タッチセンサおよびＧＵＩを採用したプラットフォームの普及が遅延する要因になるおそれがある。

したがって、かかる事情に鑑みてなされた本発明の目的は、タッチセンサに対する入力を受け付けた際に触感を呈示する入力装置であって、ユーザインタフェースを構成する既存のアプリケーションプログラムを流用可能な入力装置を提供することにある。

上記目的を達成する第１の観点に係る入力装置の発明は、
タッチセンサと、
表示部と、
前記表示部の表示画像の変化を検知する表示変化検知部と、
前記タッチセンサのタッチ面を振動させる触感呈示部と、
前記表示変化検知部が前記タッチ面に対する入力による表示画像の変化を検知すると、前記タッチ面を押圧している押圧対象に対して触感を呈示するように前記触感呈示部を制御する制御部と、
を備えることを特徴とする。

第２の観点に係る発明は、第１の観点に係る入力装置において、
前記制御部は、前記表示変化検知部が前記入力から所定範囲内の表示画像の変化を検知すると、前記押圧対象に対して触感を呈示するように前記触感呈示部を制御するものである。

第３の観点に係る発明は、第１または２の観点に係る入力装置において、
前記制御部は、前記表示変化検知部が前記入力から所定時間内に表示画像の変化を検知すると、前記押圧対象に対して触感を呈示するように前記触感呈示部を制御するものである。

第４の観点に係る発明は、第１乃至第３のいずれか１つの観点に係る入力装置において、
前記制御部は、前記表示画像の変化に基づく触感を前記押圧対象に対して呈示するように前記触感呈示部を制御するものである。

第５の観点に係る発明は、第４の観点に係る入力装置において、
前記制御部は、前記表示画像の色の変化に基づく触感を前記押圧対象に対して呈示するように前記触感呈示部を制御するものである。

第６の観点に係る発明は、第４の観点に係る入力装置において、
前記制御部は、前記表示画像の変化の速度に基づく触感を前記押圧対象に対して呈示するように前記触感呈示部を制御するものである。

本発明によれば、入力に対して触感を呈示する処理を予め想定していないアプリケーションを改変せずに流用しても、所定の条件に応じて適切な触感を呈示することができる。したがって、本発明は、既存のアプリケーションを無駄にすることなく利用することができるとともに、このようなアプリケーションを用いて、操作性の優れたユーザインタフェースを提供することができる。

本発明の第１実施の形態に係る入力装置の概略構成を示すブロック図である。 図１に示した入力装置の実装構造の一例を示す図である。 図１に示した入力装置の動作を示すフローチャートである。 本発明の第２実施の形態に係る入力装置の動作を示すフローチャートである。 本発明の第３実施の形態に係る入力装置の動作を示すフローチャートである。 本発明の変形例に係る入力装置の概略構成を示すブロック図である。 想定される入力装置の概略構成を示すブロック図である。 想定される入力装置の動作を示すフローチャートである。

以下、本発明の各実施の形態について、図面を参照して説明する。

本発明は、タッチセンサに対するタッチ入力により表示部に表示された（オブジェクトの）画像に変化があった際に、当該画像の変化に基づいて（つまりオブジェクトに対する入力がなされたものとみなして）、触感を呈示するものである。

（第１実施の形態）
図１は、本発明の第１実施の形態に係る入力装置の概略構成を示すブロック図である。

図１に示すように、入力装置１は、制御部１０と、アプリケーション実行部２０と、表示部３０と、タッチセンサ４０と、触感呈示部５０と、を備えている。また、制御部１０は、表示制御部１２と、触感制御部１４と、表示変化検知部１６と、を含んでいる。

制御部１０は、入力装置１の各機能部をはじめとして入力装置１の全体を制御するが、本実施の形態においては、特に、触感の呈示に係る動作を主とした制御を行うものとして説明する。アプリケーション実行部２０は、図示しない記憶部から各種のアプリケーションを読み込んで、当該アプリケーションに基づく処理を実行する。なお、本実施の形態において、アプリケーション実行部２０が実行するアプリケーションは、所定の触感を呈示する処理が予め追加されていないものとする。すなわち、本実施の形態においては、アプリケーション実行部２０が、触感の呈示に対応していないアプリケーションを実行する場合について説明する。

表示部３０は、押しボタンスイッチ（プッシュ式ボタンスイッチ）のような入力ボタンやキー等（以下、単に「キー等」と総称する）の入力用オブジェクトを画像表示する。この表示部３０は、例えば、液晶表示パネルや有機ＥＬ表示パネル等を用いて構成する。

タッチセンサ４０は、通常は表示部３０の前面に配置して、表示部３０に表示したオブジェクトに対する操作者の指等（押圧対象）による押圧入力（タッチ入力）を、対応するタッチセンサ４０のタッチ面により受け付ける。また、タッチセンサ４０は、タッチ面に対するタッチ入力の位置を検出し、当該検出した入力の位置を、制御部１０を介してアプリケーション実行部２０等に通知する。このタッチセンサ４０は、例えば抵抗膜方式、静電容量方式、光学式等の公知の方式のもので構成する。触感呈示部５０は、圧電振動子等を用いて構成し、タッチセンサ４０のタッチ面に振動を発生させる。この触感呈示部５０は、タッチセンサ４０のタッチ面に振動を発生させることにより、タッチ面を押圧している押圧対象に対して触感を呈示する。

制御部１０の表示制御部１２は、アプリケーション実行部２０から供給される表示データに基づいて、表示部３０にオブジェクトなどを画像表示したり、あるいは当該画像表示を変更したりする等、表示に係る制御を行う。触感制御部１４は、制御部１０の指示に基づいて、所定の条件に基づく所定のパターンの振動を発生するように触感呈示部５０を制御する。

また、表示変化検知部１６は、表示部３０に表示される画像を解析して、当該画像の変化を検知する。この表示変化検知部１６そのものは、例えば所定の時間間隔で画像を比較して経時的な変化を検知するなど、既存の種々の画像解析技術に基づくものを利用することができる。また、変化に係るパラメータは、特定領域または特定点の画素（ピクセル）における表示の有無、色の変化、輝度や明度の変化など、既存の種々のパラメータとすることができる。

図２は、図１に示した入力装置１の実装構造の一例を示すもので、図２（Ａ）は要部断面図、図２（Ｂ）は要部平面図である。表示部３０は、筐体６１内に収納保持する。表示部３０上には、弾性部材からなるインシュレータ６２を介して、タッチセンサ４０を保持する。なお、本実施の形態に係る入力装置１は、表示部３０およびタッチセンサ４０を、平面視で矩形状としている。また、入力装置１は、タッチセンサ４０を、図２（Ｂ）に仮想線で示す表示部３０の表示領域Ａから外れた４隅に配設したインシュレータ６２を介して表示部３０上に保持する。

また、筐体６１には、表示部３０の表示領域から外れたタッチセンサ４０の表面領域を覆うようにアッパカバー６３を設け、このアッパカバー６３とタッチセンサ４０との間に、弾性部材からなるインシュレータ６４を配設する。なお、図２に示すタッチセンサ４０は、タッチ面４０ａを有する表面部材を、例えば透明フィルムやガラスで構成し、裏面部材をガラスやアクリルで構成している。

さらに、タッチセンサ４０の裏面上には、対向する２つの辺の近傍に、タッチセンサ４０を振動させるための圧電振動子５２をそれぞれ接着等により設ける。すなわち、図２に示す入力装置１は、図１に示した触感呈示部５０を、２つの圧電振動子５２を用いて構成している。そして、触感呈示部５０によりタッチセンサ４０を振動させることにより、タッチ面４０ａを振動させるようにしている。なお、図２（Ｂ）は、図２（Ａ）に示した筐体６１、アッパカバー６３およびインシュレータ６４の図示を省略している。

次に、本実施の形態に係る入力装置の動作を説明する。

本実施の形態に係る入力装置は、タッチセンサ４０に対する入力により表示部３０に表示された画像に変化があった際に、当該画像の変化に基づいて、タッチセンサ４０のタッチ面を振動させるものである。これは、表示部３０に表示されたオブジェクトの画像の位置に対応するタッチセンサ４０に入力がなされた際、当該入力がなされた旨を操作者に視認させるため、通常、オブジェクトの画像を変化させて表示することに基づく。このようなオブジェクトの画像を変化させる表示は、アプリケーションに基づく設定により、例えばキー等が押下された（凹んだ）ような表示をしたり、またオブジェクトの色または輝度などを変化させたり、種々の態様が考えられる。

図３は、本実施の形態に係る入力装置１の動作を示すフローチャートである。本実施の形態に係る入力装置１の動作は、アプリケーション実行部２０が関与する動作と、アプリケーション実行部２０が関与しない動作と、に分離して捉えることができる。図３において、図３（Ａ）はアプリケーション実行部２０が関与する動作を示し、図３（Ｂ）はアプリケーション実行部２０が関与しない動作を示している。

本実施の形態に係る入力装置１の動作を行うにあたり、予め、表示部３０には、操作者の指などによる入力を受け付けるために、キー等のオブジェクトの画像を表示しておくものとする。この際、アプリケーション実行部２０は、ＧＵＩを構成する各オブジェクトの表示データを、表示変化検知部１６を介して表示制御部１２に供給する。そして、表示制御部１２は、アプリケーション実行部２０から供給されたオブジェクトの表示データに基づいて、各オブジェクトの画像を表示（描画）するように表示部３０を制御する。上述したように、以下、本実施の形態に係る入力装置１の動作に用いるアプリケーションは、タッチセンサを使用してＧＵＩを構成する既存のものであって、触感の呈示に対応していないものを用いる場合について説明する。なお、このアプリケーションは、表示部３０に表示されたオブジェクトの画像の位置に対応するタッチセンサ４０にタッチ入力がなされた際、オブジェクトの画像に何らかの変化を施して表示するものとする。

本実施の形態に係る入力装置１の動作を開始する際には、まず、制御部１０は、タッチセンサ４０に対するタッチ入力の有無を監視する。また、これとともに、制御部１０は、表示部３０に表示された画像（表示画像）の変化を監視するように表示変化検知部１６を制御する。

上述のような準備が完了した状態で、操作者の指などによるタッチセンサ４０のタッチ面に対するタッチ入力があった時点から、本実施の形態に係る入力装置１の動作は開始する。

まず、図３（Ａ）に示すように、本実施の形態に係る入力装置１の動作が開始すると、タッチセンサ４０は、タッチ面に対するタッチ入力の位置を制御部１０に通知する（ステップＳ１０）。このようにして検出した入力の位置を、制御部１０は、表示変化検知部１６を介してアプリケーション実行部２０に通知する。

タッチセンサ４０におけるタッチ入力の位置が通知されたら、アプリケーション実行部２０は、当該入力の位置が、現在のＧＵＩにおいてキー等のオブジェクトの画像が表示された位置に対応するか否かを判定する（ステップＳ１２）。ステップＳ１２において、入力の位置が、オブジェクトの画像が表示された位置に対応する場合、アプリケーション実行部２０は、アプリケーションに基づく設定に従ってオブジェクトの画像を変更するための表示データを表示制御部１２に送る。この表示データを受け取ったら、表示制御部１２は、表示されるオブジェクトの画像を変更するように表示部３０を制御する（ステップＳ１４）。すなわち、キー等のオブジェクトに対するタッチ入力があった場合、当該オブジェクトの表示画像を変更する。オブジェクトの表示画像を変更する際、キー等が押下された（凹んだ）ような表示をしたり、またオブジェクトの色または輝度などを変化させたりして、キー等が押下された（キー等に対する入力がなされた）ことを操作者が視認できるようにするのが好適である。なお、アプリケーションは、オブジェクトの画像を変更するとともに、それに対応する処理がある場合には、当該処理を実行する。

一方、ステップＳ１２において、入力の位置がオブジェクトの画像が表示された位置に対応しない場合、アプリケーション実行部２０は、オブジェクトの画像を変更する指示を行わずに処理を終了する。すなわち、キー等のオブジェクトに対するタッチ入力がない場合、またはタッチ入力がキー等のオブジェクトに対するものでない場合、アプリケーション実行部２０は、オブジェクトの表示画像を変更せずに処理を終了する。この場合、表示部３０に表示される画像（表示画像）は変化しない。

図３（Ｂ）は、図３（Ａ）の後に続く動作を説明するフローチャートである。図３（Ａ）に示した動作が終了した後、表示変化検知部１６は、図３（Ｂ）に示すように、表示部３０に表示された画像（表示画像）を解析して、表示画像の変化の有無を検知する（ステップＳ２０）。この際、表示変化検知部１６は、表示部３０に表示される画像を解析して、表示画像の変化を検知する。あるいは、表示変化検知部１６は、例えば、アプリケーション実行部２０から表示変化検知部１６を介して表示制御部１２に供給される表示データに基づいて、表示画像の変化の有無を判断することができる。

ステップＳ２０において表示画像の変化が検知された場合（すなわちキー等のオブジェクトに対するタッチ入力があった場合）、表示変化検知部１６は、所定の触感を呈示する旨の指示を触感制御部１４に通知する。触感制御部１４は、制御部１０の制御により、タッチセンサ４０のタッチ面に所定の振動を発生させて、触感を呈示するように触感呈示部５０を制御する（ステップＳ２２）。すなわち、制御部１０は、表示変化検知部１６がタッチパネル４０のタッチ面に対する入力による表示画像の変化を検知すると、タッチ面を押圧している押圧対象に対して触感を呈示するように触感呈示部５０を制御する。この制御により、触感呈示部５０は、タッチセンサ４０のタッチ面を押圧している押圧対象に対して触感を呈示する。

この場合、触感の呈示とは、タッチセンサ４０のタッチ面を一瞬だけ振動させるなど、オブジェクトに対するタッチ入力が受け付けられたことが操作者の触覚により認識できる振動とする。このように、本実施の形態に係る入力装置１は、キー等のオブジェクトに対するタッチ入力により、当該オブジェクトに対するタッチ入力が受け付けられたことを触覚によって操作者に認識させることができる。

一方、ステップＳ２０において表示画像の変化が検知されない場合（すなわちキー等のオブジェクトに対するタッチ入力ではない場合）、表示変化検知部１６は、触感制御部１４に触感を呈示する旨の指示を出さずに処理を終了する。このように、本実施の形態に係る入力装置１は、キー等のオブジェクト以外の位置に対するタッチ入力の場合、オブジェクトに対するタッチ入力は受け付けられていないことを、触感が呈示されないことによって操作者に認識させることができる。

このように、本実施の形態によれば、タッチセンサに対する入力の検知から触感の呈示の有無までの動作を２段階に分離して考えることができ、特に、触感の呈示の有無については、アプリケーション実行部が関与しない動作とすることができる。そのため、実行中のアプリケーションが触感の呈示に係る動作に対応していない場合でも、制御部１０は、表示部３０に表示されたオブジェクトの変化に基づいて、触感の呈示の有無を適切に制御することができる。したがって、本実施の形態に係る入力装置に１よれば、タッチセンサに対する入力に基づき、アプリケーションの処理に対応して触感を呈示することができるとともに、ユーザインタフェースを構成する既存のアプリケーションプログラムを改変せずに流用することができる。

（第２実施の形態）
上述した第１実施の形態においては、タッチセンサ４０のタッチ面に対するタッチ入力により表示部３０の表示画像が変化したことを表示変化検知部１６が検知した際、当該タッチ面を押圧している押圧対象に対して触感を呈示した。しかしながら、このように、表示部３０の表示画像の変化のみに基づいて触感の呈示の有無を決定すると、表示変化検知部１６が検知した表示画像の変化が、実際には操作者による入力に基づく変化ではない場合も考えられる。

すなわち、図３（Ａ）のステップＳ１２においては、オブジェクトの位置に対する入力が検知されない場合、ステップＳ１４の処理を行わないため、表示部３０におけるオブジェクトの表示画像は変化しない。しかしながら、オブジェクト以外の位置に対する入力が検知された場合に、表示部３０において、オブジェクト以外の表示画像が変化することも想定される。例えば、オブジェクト以外の位置に対する入力が検出された後、たまたま時刻表示の画像が変化する場合などが想定される。他にも、表示部３０のオブジェクトを表示している位置以外の箇所に、画像のアニメーションを表示したり、いわゆるワンセグ放送の再生動画を表示している場合、これらの画像は、通常、常に変化していると考えられる。

このような場合にまで、表示画像に変化が生じたと表示変化検知部１６が判断してしまうと、タッチセンサに対する入力を受け付けた際に触感の呈示の有無を適切に制御することはできない。したがって、第２実施の形態においては、表示変化検知部１６が、オブジェクトに対するタッチ入力による表示画像の変化を一層正確に検知できるようにする。

第２実施の形態に係る入力装置は、第１実施の形態にて説明した入力装置１と同じ構成により実施することができ、第１実施の形態における動作を一部変更するものである。したがって、第１実施の形態と同じ内容の説明は、適宜省略する。

第２実施の形態に係る入力装置１において、表示変化検知部１６は、第１実施の形態と同様に、表示部３０における表示画像を解析して、当該表示画像の変化の有無を検知する。しかしながら、第２実施の形態において、表示変化検知部１６は、タッチセンサ４０のタッチ面に対する入力から所定範囲内の表示部３０における表示画像の変化の有無を検知する。したがって、本実施の形態においては、タッチセンサ４０のタッチ面に対する入力のから所定範囲内に存在しない表示画像、例えば入力から離れた位置の表示画像が変化したとしても、このような場合、入力装置１は触感を呈示しない。このような場合の表示画像の変化は、操作者の入力による変化ではないと判断できるためである。

図４は、第２実施の形態に係る入力装置の動作のうち、第１実施の形態で説明した図３（Ｂ）の動作に相当する、アプリケーション実行部２０が関与しない動作を説明するフローチャートである。なお、第２実施の形態において、アプリケーション実行部２０が関与する動作は、図３（Ａ）で説明したのと同様に行う。すなわち、タッチセンサ４０は、タッチ面に対するタッチ入力の位置を検出すると、当該入力位置を、表示変化検知部１６を介してアプリケーション実行部２０に通知する（ステップＳ１０）。アプリケーション実行部２０は、当該入力の位置が、現在のＧＵＩにおいてキー等のオブジェクトの画像が表示された位置に対応するか否かを判定する（ステップＳ１２）。当該入力の位置が、オブジェクトの画像が表示された位置に対応する場合、表示制御部１２は、表示されるオブジェクトの表示画像を変更する（ステップＳ１４）。

図４は、図３（Ａ）の後に続く動作を説明するフローチャートである。図３（Ａ）に示した動作が終了した後、図４に示すように、表示変化検知部１６は、タッチセンサ４０のタッチ面に対する入力から所定範囲内の表示部３０における表示画像が変化したか否かを検知する（ステップＳ３０）。なお、この際、表示変化検知部１６は、第１実施の形態と同様に、表示部３０に表示される画像を解析して、あるいは表示データに基づいて、表示画像の変化を検知する。

タッチセンサ４０のタッチ面に対する入力からの「所定範囲」とは、例えば「入力の位置から周囲５ｍｍまで」など、入力の態様に応じて、また入力の位置の検出態様に応じて、好適な値を適切に設定する。この場合の「入力の位置」も、種々の態様で検出することができる。タッチセンサ４０のタッチ面に対するタッチ入力が面積を有する状態で検出される場合は、例えば当該面積全体を「入力の位置」とすることができる。また、タッチ入力が点で検出される場合は、前記面積の例えば重心を算出したものを「入力の位置」とすることができる。このような所定範囲の設定により、入力の位置の周囲に存在する画像の変化のみを検知することができる。

ステップＳ３０において、タッチ面に対する入力から所定範囲内の表示画像の変化が検知された場合、表示変化検知部１６は、所定の振動を発生する旨の指示を触感制御部１４に通知する。この指示に従って、触感制御部１４は、制御部１０の制御により、タッチセンサ４０のタッチ面に所定の振動を発生させて、触感を呈示するように触感呈示部５０を制御する（ステップＳ３２）。すなわち、制御部１０は、表示変化検知部１６がタッチパネル４０のタッチ面に対する入力から所定範囲内の表示画像の変化を検知すると、タッチ面を押圧している押圧対象に対して触感を呈示するように触感呈示部５０を制御する。この制御により、触感呈示部５０は、タッチセンサ４０のタッチ面を押圧している押圧対象に対して触感を呈示する。このように、本実施の形態に係る入力装置１は、キー等のオブジェクトに対するタッチ入力により、当該入力の位置付近の画像が変化した場合に、当該オブジェクトに対するタッチ入力が受け付けられた旨の触感を呈示する。

一方、ステップＳ３０において表示部３０における表示画像の変化が検知されない場合、表示変化検知部１６は、触感制御部１４に触感を呈示する旨の指示を出さずに処理を終了する。また、ステップＳ３０において表示部３０の表示画像の変化が検知されても、当該変化が、入力から所定範囲内の表示画像の変化でない場合も、触感を呈示する旨の指示を出さずに処理を終了する。

このように、本実施の形態に係る入力装置１は、表示部３０における表示画像が変化したとしても、当該変化が、入力の位置の付近（所定範囲内）ではない場合、操作者の入力による変化とは想定し難いため、触感を呈示しない。

（第３実施の形態）
第３実施の形態においては、上述した第２実施の形態と同様に、表示変化検知部１６が、オブジェクトに対するタッチ入力による表示画像の変化を一層正確に判定できるようにする。

上述した第１および第２実施の形態においては、タッチセンサ４０のタッチ面に対するタッチ入力がなされてから、当該入力により表示部３０に表示される画像が変化するまでの時間については、特に考慮していない。しかしながら、入力の検知から、当該入力による表示画像の変化までの時間を考慮せずに触感の呈示の有無を決定すると、表示変化検知部１６が検知した表示画像の変化が、実際には操作者による入力に基づく変化ではない場合も考えられる。

すなわち、例えば、第１および第２実施の形態で説明したように、図３（Ａ）に示した動作に引き続き図３（Ｂ）に示した動作を行う場合には、入力の検知（ステップＳ１０）の後すぐに表示部３０の表示画像の変化が検知される（ステップＳ２０）。このため、ステップＳ２０で検知される表示画像の変化は、ステップＳ１０で検知された入力に基づくものであると推定できる。しかしながら、例えば、図３（Ａ）と（Ｂ）とをそれぞれ並存させて処理する場合のように、図３（Ｂ）の動作を独立したものとする場合などは、表示画像の変化が検知された際、当該変化が入力の検知に基づくものである必要がある。

例えば、図３（Ｂ）のステップＳ２０にて表示変化検知部１６が表示部３０の表示画像の変化を検知する時点が、図３（Ａ）のステップＳ１０にて入力位置を検出した時点から離れている場合、触感を呈示するタイミングが不自然になるおそれがある。また、図３（Ａ）のステップＳ１０から図３（Ｂ）のステップＳ２０までに少し時間が経過している場合、その間に操作者の入力によるものではない表示画像の変化が発生しても、触感を呈示してしまう不都合も考えられる。このような触感の呈示は、操作者の入力に基づかないため、操作者にとっては、入力をしていないにもかかわらず触感の呈示を受けることになり、違和感のある動作になる。

このような場合にまで、表示変化検知部１６が表示部３０における表示画像の変化を検知してしまうと、タッチセンサ４０のタッチ面に対する入力を受け付けた際に呈示する触感の有無を適切に制御することはできない。したがって、第３実施の形態においても、表示変化検知部１６が、オブジェクトに対するタッチ入力による表示画像の変化を一層正確に検知できるようにする。

第３実施の形態に係る入力装置も、第２実施の形態と同様に、第１実施の形態にて説明した入力装置１と同じ構成により実施することができ、第１実施の形態における動作を一部変更するものである。したがって、第１および第２実施の形態と同じ内容の説明は、適宜省略する。

第３実施の形態に係る入力装置１において、表示変化検知部１６は、第１実施の形態と同様に、表示部３０における表示画像を解析して、あるいは表示データに基づいて、当該表示画像の変化の有無を検知する。しかしながら、第３実施の形態において、表示変化検知部１６は、タッチセンサ４０のタッチ面に対する入力が検知されてから所定時間内の表示画像の変化の有無を検知する。すなわち、タッチセンサ４０のタッチ面に対するタッチ入力から所定時間内に、表示変化検知部１６が表示部３０の表示画像の変化を検知した際、触感制御部１４は、制御部１０の制御により、触感を呈示するように触感呈示部５０を制御する。したがって、本実施の形態において、触感呈示部５０は、タッチセンサ４０に対する入力から所定時間が過ぎてから表示部３０の表示画像が変化しても、入力装置１は触感を呈示しない。ここで、上述の「所定時間」とは、表示部３０の表示画像の変化が、タッチセンサ４０に対するタッチ入力による変化として適切な時間であって、例えば０．２秒などの短い時間を設定するのが好適である。

図５は、第３実施の形態に係る入力装置の動作のうち、第１実施の形態で説明した図３（Ｂ）の動作に相当する、アプリケーション実行部２０が関与しない動作を説明するフローチャートである。なお、第２実施の形態において、アプリケーション実行部２０が関与する動作は、図３（Ａ）で説明したのと同様に行う。

第３実施の形態においては、図３（Ａ）に示した動作の後に、または図３（Ａ）に示した動作と別個に、図５に示す動作を行う。すなわち、図５に示すように、表示変化検知部１６は、タッチセンサ４０のタッチ面に対する入力が検知されてから所定時間内に、表示部３０の表示画像が変化したか否かを検知する（ステップＳ４０）。なお、この際、表示変化検知部１６は、第１実施の形態と同様に、表示部３０の表示画像を解析して、あるいは表示データに基づいて、当該表示画像の変化を検知する。また、所定時間については、制御部１０が内蔵するタイマ（図示せず）を用いて計測することができる。

ステップＳ４０において、タッチ面に対するタッチ入力が検知されてから所定時間内に表示画像の変化が検知された場合、表示変化検知部１６は、所定の振動を発生する旨の指示を触感制御部１４に通知する。この指示に従って、触感制御部１４は、制御部１０の制御により、タッチセンサ４０のタッチ面に所定の振動を発生させて、触感を呈示するように触感呈示部５０を制御する（ステップＳ４２）。すなわち、制御部１０は、表示変化検知部１６がタッチパネル４０のタッチ面に対する入力から所定時間内に表示画像の変化を検知すると、タッチ面を押圧している押圧対象に対して触感を呈示するように触感呈示部５０を制御する。この制御により、触感呈示部５０は、タッチセンサ４０のタッチ面を押圧している押圧対象に対して触感を呈示する。このように、本実施の形態に係る入力装置１は、キー等のオブジェクトに対するタッチ入力により、当該入力から所定時間内に表示部３０の画像が変化すれば、当該オブジェクトに対するタッチ入力が受け付けられた旨の触感を呈示する。

一方、ステップＳ４０において表示部３０における表示画像の変化が検知されない場合、表示変化検知部１６は、触感制御部１４に触感を呈示する旨の指示を出さずに処理を終了する。また、ステップＳ４０において表示部３０の表示画像の変化が検知されても、当該変化が、タッチ入力の検知から所定時間を経過してからの変化である場合も、触感を呈示する旨の指示を出さずに処理を終了する。

このように、本実施の形態に係る入力装置１は、表示部３０における表示画像が変化したとしても、当該変化が、タッチ入力の検知から所定時間経過後の変化である場合、操作者による入力に基づく変化とは想定し難いため、触感を呈示しない。

（第４実施の形態）
第４実施の形態は、上述した第１〜第３実施の形態において、検知された表示画像の変化の態様に応じて、呈示する触感の態様を変更するものである。

上述した第１〜第３実施の形態において、表示変化検知部１６が表示部３０における表示画像の変化を検知した際、触感呈示部５０が呈示する触感の態様を、例えば所定の短時間の振動などの、全て同じ振動とすることもできる。しかしながら、例えば、オブジェクトに対する入力がなされた際に、表示部３０においてオブジェクトの画像を変化させる表示は、当該入力がなされたオブジェクトの種別などに応じて、種々の異なる表示態様があると想定される。したがって、第４実施の形態においては、入力がなされた際の表示画像の変化の態様が、オブジェクトに応じて異なる場合、当該入力がなされた際に呈示する触感の態様にも差異を生じさせる。

第４実施の形態に係る入力装置も、第２実施の形態と同様に、第１実施の形態にて説明した入力装置１と同じ構成により実施することができ、第１実施の形態における動作を一部変更するものである。したがって、第１〜第３実施の形態と同じ内容になる説明は、適宜省略する。

第４実施の形態に係る入力装置１において、表示変化検知部１６は、第１実施の形態と同様に、表示部３０に表示される画像を解析して、あるいは表示データに基づいて、当該表示画像の変化を検知する（図３（Ｂ）のステップＳ２０等）。しかしながら、第４実施の形態においては、表示変化検知部１６は、タッチ面に対する入力により表示部３０の表示画像が変化したことを検知する際、当該表示画像の変化の態様も共に検知する。ここで、「表示画像の変化の態様」とは、例えば、表示部３０の表示画像の色が変化する際の変化量や、表示部３０の表示画像が変化する際の変化の速度など、種々の態様が考えられる。

このようにして検知した結果に基づいて、触感制御部１４は、制御部１０の制御により、当該表示画像の変化の態様に応じた触感を呈示するように触感呈示部５０を制御する（図３（Ｂ）のステップＳ２２等）。すなわち、制御部１０は、表示部３０における表示画像の変化に基づく触感を、タッチ面を押圧している押圧対象に対して呈示するように触感呈示部５０を制御する。例えば、制御部１０は、表示画像の色の変化に基づく触感を押圧対象に対して呈示するように触感呈示部５０を制御する。また、例えば、制御部１０は、表示画像の変化の速度に基づく触感を押圧対象に対して呈示するように触感呈示部５０を制御する。このように、表示画像の変化の態様に応じた触感を呈示するため、触感制御部１４には、複数の振動パターンを予め記憶しておく。

表示部３０に表示する画像により構成されるＧＵＩにおいて、入力を受け付けたオブジェクトの表示画像は、例えばキー等が押下された（凹んだ）ような表示をしたり、またオブジェクトの色または輝度などを変化させる等、種々の態様が考えられる。したがって、例えば、入力がなされることにより、キー等のオブジェクトが大きく凹んだように表示される画像に変化する場合、当該入力に応じて大きな触感を呈示することが考えられる。あるいは、入力がなされることにより、キー等のオブジェクトの色（色差）や輝度が大きく変化する態様で表示される場合、当該入力に応じて大きな触感を呈示させることも考えられる。また、入力がなされることにより、キー等のオブジェクトの画像がゆっくり変化する態様で表示される場合、緩やかな変化を暗示させるような態様の触感（例えば所定の時間間隔で微弱な振動を発する等）を呈示することも考えられる。逆に、キー等のオブジェクトの画像が急激に変化する態様で表示される場合、激しい変化を暗示する強い触感などを発生させることも考えられる。

その他の動作については、上述した第１〜第３実施の形態で説明した動作と同様に行うことができる。

このように、本実施の形態に係る入力装置１は、タッチ面に対する入力により表示部３０の表示画像が変化した際、当該表示画像の変化の態様に応じた触感を呈示する。したがって、本実施の形態に係る入力装置１は、触感の態様を適切に設定することにより、実際のキー等により構成されたユーザインタフェースに一層近い操作感を操作者に提供することができる。また、入力装置１は、入力を受け付けるオブジェクトに応じて、入力がなされた際に呈示する触感の態様を種々変更することができるため、より違和感のない操作感を提供することができる。

なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、上述した各実施の形態では、表示変化検知部１６が、制御部１０に含まれる構成について説明した。しかしながら、本発明による入力装置は、このような構成に限定されるものではなく、設計の際の要求に応じて種々の構成を採ることができる。例えば、図６に示すように、制御部１０は表示変化検知部１６を含まずに、アプリケーション実行部２０の側に表示変化検知部６０を設けることもできる。このように、表示変化検知部と制御部との構成上の関係は、適宜変更して設計することができる。

また、上記実施の形態では、タッチセンサ４０を用いて、当該タッチパネルのタッチ面に対するタッチ入力を検出したが、荷重センサ（荷重検出部）を用いて、所定の押圧荷重を満たした場合に、入力がなされたものと判定することもできる。このような荷重検出部は、任意の個数の歪みゲージセンサ等を用いて構成することができる。また、荷重検出部は、タッチセンサにおける入力検出方式に応じて構成することができる。例えば、抵抗膜方式の場合には、接触面積による抵抗変化に基づく出力信号の変化から荷重が検出できれば、歪みゲージセンサを用いることなく構成することができる。あるいは、静電容量方式の場合には、静電容量の変化に基づく出力信号の変化から荷重が検出できる場合も、歪みゲージセンサを用いることなく構成することができる。

また、触感呈示部は、任意の個数の圧電振動子を用いて構成したり、タッチセンサの全面に透明圧電素子を設けて構成したり、触感を呈示する振動を表現できるのであれば、偏心モータを駆動信号の１周期で１回転させるようにして構成したり、することもできる。さらに、荷重検出部および触感呈示部は、圧電素子を用いて構成する場合は、圧電素子を共用して荷重検出部および触感呈示部を構成することもできる。

上述した各実施の形態においては、タッチセンサを表示部の上面に重ねて配置した構成を想定して説明した。しかしながら、本発明による入力装置は、必ずしもこのような構成にする必要はなく、タッチセンサと表示部とを離間した構成にしてもよい。

また、本発明は、タッチセンサがオン・オフ動作を行うタッチスイッチとして機能する入力装置にも有効に適用することができる。

１ 入力装置
１０ 制御部
１２ 表示制御部
１４ 触感制御部
１６ 表示変化検知部
２０ アプリケーション実行部
３０ 表示部
４０ タッチセンサ
４０ａ タッチ面
５０ 触感呈示部
５２ 圧電振動子
６１ 筐体
６２ インシュレータ
６３ アッパカバー
６４ インシュレータ

Claims (6)

1. タッチセンサと、
   表示部と、
   前記表示部の表示画像の変化を検知する表示変化検知部と、
   前記タッチセンサのタッチ面を振動させる触感呈示部と、
   前記表示変化検知部が前記タッチ面に対する入力による表示画像の変化を検知すると、前記タッチ面を押圧している押圧対象に対して触感を呈示するように前記触感呈示部を制御する制御部と、
   を備えることを特徴とする入力装置。
2. 前記制御部は、前記表示変化検知部が前記入力から所定範囲内の表示画像の変化を検知すると、前記押圧対象に対して触感を呈示するように前記触感呈示部を制御する、請求項１に記載の入力装置。
3. 前記制御部は、前記表示変化検知部が前記入力から所定時間内に表示画像の変化を検知すると、前記押圧対象に対して触感を呈示するように前記触感呈示部を制御する、請求項１または２に記載の入力装置。
4. 前記制御部は、前記表示画像の変化に基づく触感を前記押圧対象に対して呈示するように前記触感呈示部を制御する、請求項１乃至３のいずれか一項に記載の入力装置。
5. 前記制御部は、前記表示画像の色の変化に基づく触感を前記押圧対象に対して呈示するように前記触感呈示部を制御する、請求項４に記載の入力装置。
6. 前記制御部は、前記表示画像の変化の速度に基づく触感を前記押圧対象に対して呈示するように前記触感呈示部を制御する、請求項４に記載の入力装置。

Images