JPWO2013061605A1 - 触感呈示装置 - Google Patents

Abstract

タッチパネルに対する接触に基づいて呈示される触感を、表示部に表示する画像に対応させて高い自由度で設定することができる触感呈示装置を提供する。
触感呈示装置１は、タッチセンサ４０と、タッチセンサ４０のタッチ面を振動させる触感呈示部５０と、表示部３０と、表示部３０が画像を表示するように制御する制御部１０と、を備え、制御部１０はさらに、触感呈示部５０が呈示する触感を画像の画素に設定するように制御することにより、タッチセンサ３０がその画素に対応する位置における接触を検出すると、その画素に割り当てられた所定の処理を行うように制御するとともに、タッチ面に接触している接触対象に対して、その画素に設定された触感を呈示するように触感呈示部５０を制御することを特徴とする。

Description

関連出願の相互参照

本出願は、２０１１年１０月２７日に出願された日本国特許出願２０１１−２３６４１４号の優先権を主張するものであり、この先の出願の開示全体を、ここに参照のために取り込む。

本発明は、触感を呈示する装置に関するものである。より詳細には、本発明は、タッチセンサに対する接触操作に基づいて触感を呈示する装置に関するものである。

近年、携帯電話等の携帯端末において、ユーザによる操作を検出する操作部やスイッチ等の入力装置として、タッチパネルやタッチスイッチ等のタッチセンサが採用されているものがある。携帯端末以外に、電卓、券売機等の情報機器や、電子レンジ、テレビ、照明器具等の家電製品、産業用機器（ＦＡ機器）等にも、タッチセンサを備える入力装置は広く使用されている。

このようなタッチセンサには、抵抗膜方式、静電容量方式、光学式等の種々の方式が知られている。しかしながら、いずれの方式のタッチセンサにおいても、指やスタイラスペンによる接触を検出するものであって、タッチセンサ自体は、接触されても、押しボタンスイッチのようには物理的に変位しない。

したがって、操作者は、接触による操作が入力装置に認識されても、当該操作に対するフィードバックを得ることができない。このため、タッチセンサに対して操作を行う操作者は、機械式の押しボタンスイッチで構成されるキーやボタンを押下する際に得られるような操作感を得ることができない。その結果、操作者は、タッチセンサに対する接触に基づいて入力装置が所定の処理を開始しない限り、自らの接触操作が入力装置に適切に認識されたことを知る術がないという問題がある。

そこで、従来、聴覚または視覚によらず、タッチセンサが接触を検出すると、タッチセンサに振動を発生させるようにしたフィードバック方法が提案されている（例えば、特許文献１および特許文献２参照）。

特開２００３−２８８１５８号公報 特開２００８−１３００５５号公報

この特許文献１および特許文献２に開示の技術によれば、タッチセンサに対する操作が検出された際に、操作者の指先などに、振動を発生させることができる。したがって、このような装置を用いて操作を行う操作者は、タッチセンサに対して行った操作が装置に正しく認識されたことを、触覚により認識することができる。

しかしながら、従来、操作者による操作に基づいてフィードバックを提供する装置においては、表示部に表示されたオブジェクトのどの位置において操作者がタッチセンサを接触したとしても、提供されるフィードバックは同じであった。すなわち、従来の装置においては、操作者がタッチセンサのどの位置を接触したとしても、当該接触に応じて得られるフィードバックは、デバイスに依存する一様なものであった。例えば、従来の装置においては、操作者がタッチセンサ上で接触する位置が、表示部に表示したオブジェクトの何れの領域に対応する位置であったとしても、同じ態様の振動が得られるものであった。

さらに、従来の装置においては、例えば１つのオブジェクトが画像で表示された領域に対応する位置のタッチセンサにおいて、部分的に異なるフィードバックを提供することもできなかった。例えば、従来の装置においては、オブジェクトの縁辺部分に対応する位置のタッチセンサに接触が検出された場合にのみ、接触が検出されたのは縁辺部分であることを示唆するようなフィードバックを提供する、というような柔軟なフィードバックの設定を行うことは困難であった。このような装置では、タッチパネルに対する接触に基づいて呈示される触感を、表示部に表示する画像に対応させて高い自由度で設定することはできない。

かかる事情に鑑みてなされた本発明の目的は、タッチパネルに対する接触に基づいて呈示される触感を、表示部に表示する画像に対応させて高い自由度で設定することができる触感呈示装置を提供することにある。

上記目的を達成する第１の観点に係る触感呈示装置の発明は、
タッチセンサと、
前記タッチセンサのタッチ面を振動させる触感呈示部と、
表示部と、
前記表示部が画像を表示するように制御する制御部と、
を備える触感呈示装置であって、
前記制御部はさらに、前記触感呈示部が呈示する触感を前記画像の画素に設定するように制御することにより、前記タッチセンサが当該画素に対応する位置における接触を検出すると、当該画素に割り当てられた所定の処理を行うように制御するとともに、前記タッチ面に接触している接触対象に対して、当該画素に設定された触感を呈示するように前記触感呈示部を制御することを特徴とするものである。

第２の観点に係る発明は、第１の観点に係る触感呈示装置において、
前記制御部は、前記タッチセンサが検出する接触の態様に応じて、前記画素に割り当てられた複数の所定の処理を区別して行うように制御するものである。

第３の観点に係る発明は、第１の観点に係る触感呈示装置において、
前記タッチ面に対する押圧を検出する押圧検出部をさらに備え、
前記制御部は、前記触感呈示部が触感を呈示するための所定の基準を当該画素について設定するように制御するとともに、前記タッチセンサが前記画素に対応する位置における接触を検出している際に、前記押圧検出部が検出する押圧に基づくデータが前記基準を満たすと、当該画素に割り当てられた所定の処理を行うように制御するとともに、当該画素について設定された触感を呈示するように前記触感呈示部を制御するものである。

第４の観点に係る発明は、第１の観点に係る触感呈示装置において、
前記制御部は、前記触感呈示部が触感を呈示するための所定の基準を当該画素について複数段階設定するように制御するとともに、前記タッチセンサが前記画素に対応する位置における接触を検出している際に、前記押圧検出部が検出する押圧に基づくデータが前記複数段階設定された基準の何れかを満たすと、当該満たされた基準の段階に応じて、前記画素に割り当てられた複数の所定の処理を区別して行うように制御するものである。

第５の観点に係る発明は、第１の観点に係る触感呈示装置において、
前記制御部は、前記表示部が画像を複数のレイヤで表示する場合、前記複数のレイヤのうち１のレイヤの画素において、当該１のレイヤよりも下位のレイヤに設定された触感の呈示の有効または無効を設定するものである。

第６の観点に係る発明は、第１の観点に係る触感呈示装置において、
前記制御部は、前記表示部が画像を複数のレイヤで表示する場合、前記タッチセンサが検出する接触の態様に応じて、当該接触が前記複数のレイヤのうち何れのレイヤの画素に対応する位置における接触であるかを決定するものである。

第７の観点に係る発明は、第１の観点に係る触感呈示装置において、
前記タッチ面に対する押圧を検出する押圧検出部をさらに備え、
前記制御部は、前記表示部が画像を複数のレイヤで表示する場合、前記押圧検出部が検出する押圧に基づくデータに応じて、当該接触が前記複数のレイヤのうち何れのレイヤの画素に対応する位置における接触であるかを決定するものである。

第８の観点に係る発明は、第１の観点に係る触感呈示装置において、
前記制御部は、所定のイベントの発生に基づいて、前記表示部が表示する画像を変更するように制御するとともに、前記触感呈示部が呈示する触感を前記画像の画素に設定するように制御するものである。

本発明によれば、タッチパネルに対する接触に基づいて呈示される触感を、表示部に表示する画像に対応させて、極めて高い自由度で設定することができる。

本発明の実施の形態に係る触感呈示装置の概略構成を示すブロック図である。 本発明の実施の形態に係る触感呈示装置の実装構造の例を示す図である。 本発明の実施の形態に係る触感制御情報を付加した表示データの構成を説明する図である。 本発明の実施の形態に係る触感呈示装置の動作の例を説明する図である。 本発明の実施の形態に係る触感呈示装置の動作の例を説明する図である。 本発明の実施の形態に係る触感呈示装置の動作の例を説明する図である。 本発明の実施の形態に係る触感呈示装置の動作の他の例を説明する図である。 本発明の実施の形態に係る触感呈示装置の動作の更に他の例を説明する図である。 本発明の変形例に係る触感呈示装置の概略構成を示すブロック図である。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は、本発明の実施の形態に係る触感呈示装置の概略構成を示すブロック図である。

図１に示すように、触感呈示装置１は、表示／触感制御部１０と、アプリケーション実行部２０と、表示部３０と、タッチセンサ４０と、触感呈示部５０と、押圧検出部６０と、記憶部８０と、を備えている。

記憶部８０は、例えばＮＡＮＤ型フラッシュメモリやＲＡＭ等によって構成することができる。記憶部８０のメモリ領域には、各種のアプリケーションソフトウェア（以下、単に「アプリケーション」と記す）を記憶する領域のほか、オブジェクトおよび画像ファイルなどの表示用リソースを記憶する領域などが含まれる。この記憶部８０から供給される表示用リソースのデータには、後述するように、触感制御情報が付加されている。

アプリケーション実行部２０は、ＣＰＵ等のプロセッサによって構成することができ、各種のアプリケーションのうち指定されたものを記憶部８０から読み込んで、当該アプリケーションに基づく処理を実行するとともに、各機能部を当該アプリケーションに基づいて制御する。

表示部３０は、背景画像などを表示したり、ボタンおよびキー等（以下、単に「キー等」と総称する）のようなオブジェクトを画像表示したりする。このオブジェクトは、接触すべき領域または位置を操作者に示唆する画像である。このような画像のデータは、アプリケーション実行部２０の制御により、表示／触感制御部１０から供給される。表示部３０は、例えば、液晶表示パネル（ＬＣＤ）や有機ＥＬ表示パネル等を用いて構成する。

タッチセンサ４０は、通常は表示部３０の前面側に配置して、表示部３０に表示したオブジェクトに対する操作者の指等（接触対象）による接触（または接触の解除）を、対応する位置のタッチ面において検出する。また、タッチセンサ４０は、タッチ面に対する接触の位置を検出し、当該検出した接触の位置を、表示／触感制御部１０に通知する。このタッチセンサ４０は、例えば抵抗膜方式、静電容量方式、光学式等の方式のもので構成することができる。

触感呈示部５０は、例えば圧電振動子等を用いて構成し、タッチセンサ４０のタッチ面に、所定の振動パターンによる振動を発生させる。この触感呈示部５０は、タッチセンサ４０のタッチ面に振動を発生させることにより、タッチ面を接触している接触対象に対して触感を呈示する。また、触感呈示部５０は、振動モータ（偏心モータ）などによる振動を触感呈示装置１に伝達させることにより、タッチセンサ４０のタッチ面を間接的に振動させるように構成することもできる。

押圧検出部６０は、タッチセンサ４０のタッチ面に対してユーザが操作を行う際の押圧を検出するもので、例えば、押圧に応じて物理的または電気的な特性（歪み、抵抗、電圧等）が変化する歪みゲージセンサや圧電素子等の素子等を用いて構成する。押圧検出部６０が、例えば、圧電素子等を用いて構成された場合、押圧検出部６０の圧電素子は、タッチセンサ４０に対する押圧に係る荷重（力）の大きさ（または、荷重（力）の大きさが変化する速さ（加速度））に応じて、電気的な特性である電圧の大きさ（電圧値（以下、押圧に基づくデータと称する））が変化する。この場合、後述する表示／触感制御部１０は、押圧検出部６０が押圧に基づくデータを表示／触感制御部１０に通知することにより、または、表示／触感制御部１０が、押圧検出部６０の押圧に基づくデータを検出することにより、当該押圧に基づくデータを取得する。つまり、表示／触感制御部１０は、タッチセンサ４０に対する押圧に基づくデータを押圧検出部６０から取得する。なお、押圧に基づくデータは、電圧値の代わりに、押圧に係る荷重の大きさ、電力値、抵抗値等でもよい。そして、アプリケーション実行部２０は、タッチセンサ４０のタッチ面に対する押圧に基づくデータが所定の閾値以上であることを表示／触感制御部１０から通知されると、例えばアプリケーション基づくなどして、所定の処理を行うように制御することができる。

なお、押圧検出部６０は、タッチセンサ４０がユーザに押圧されたときに生じる、タッチセンサ４０と表示部３０との隙間の変化を測定するものであってもよい。この場合、押圧に基づくデータは、隙間の変化値に対応する。なお、押圧検出部６０は、タッチセンサ４０と他の部品、例えば回路基板との隙間の変化を測定するものであってもよい。

また、押圧検出部６０は、タッチセンサ４０における接触検出方式に応じて構成することができる。例えば、タッチセンサ４０が抵抗膜方式の場合には、接触面積の大きさに応じた抵抗の大きさを、タッチセンサ４０のタッチ面に対する押圧の荷重（力）に対応付けることにより、歪みゲージセンサや圧電素子等を用いることなく構成することができる。あるいは、タッチセンサ４０が静電容量方式の場合には、静電容量の大きさを、タッチセンサ４０に対する押圧の荷重（力）に対応付けることにより、歪みゲージセンサや圧電素子等を用いることなく構成することができる。

上述した触感呈示部５０は、押圧検出部６０が検出する押圧（タッチパネルに対する押圧）に応じて触感呈示部を振動させることにより、振動を発生してユーザの指などに触感を呈示して、タッチセンサ４０を押圧しているユーザに操作したことが感覚的に分かるようにできる。なお、押圧検出部６０は、触感呈示部５０と一体化して構成することもできる。特に、押圧検出部６０および触感呈示部５０は、圧電素子を用いて構成する場合は、圧電素子を共用して押圧検出部兼触感呈示部を構成することもできる。圧電素子は、圧力が加わると電圧を発生し、電圧が加えられると変形するためである。

また、触感呈示部５０は、押圧検出部６０も兼ねる圧電素子の電圧の大きさ（電圧値（データ））が所定の基準を満たした際に（接触検出部４０がプレスされると）、当該圧電素子を駆動することにより振動を発生するようにもできる。ここで、圧電素子の電圧の大きさ（電圧値（データ））が所定の基準を満たした際とは、電圧値（データ）が所定の基準値に達した際であってもよいし、電圧値（データ）が所定の基準値を超えた際でもよいし、所定の基準値と等しい電圧値（データ）が検出された際でもよい。

表示／触感制御部１０は、ＣＰＵ等のプロセッサによって構成することができ、アプリケーション実行部２０からの表示指示に基づいて、表示部３０に背景画像やオブジェクトの画像などを表示したり、あるいは当該画像の表示を変更したりする等、表示部３０における表示に係る制御を行う。アプリケーション実行部２０が表示／触感制御部１０に対して表示指示を行う際には、表示部３０に表示する画像の表示データなどは、記憶部８０に記憶させておいた画像のデータを読み出すことができる。表示／触感制御部１０は、このように記憶部８０から読み出した画像のデータの供給を受けて、所定の画像を表示部３０における所定の位置に描画するように制御する。さらに、表示／触感制御部１０は、表示部３０が画像を複数のレイヤで表示するように制御することもできる。

ここで、レイヤ表示とは、表示部に画像を表示する際に、複数の仮想的なレイヤを重畳させたものとして画像を合成して表示することである。例えば透過率が０％の（つまり透過しない）画像がレイヤによって重畳表示される場合、表示部においては画像が表示されたレイヤのうち最上位のレイヤの画像のみが表示され、下位のレイヤの画像のうち重畳された箇所は表示されない。一方、例えば透過率が０％でない（つまり透過する）画像がレイヤによって重畳表示される場合、表示部において画像が表示されたレイヤのうち最上位のレイヤの画像を透過して下位のレイヤの画像も表示される。

なお、レイヤ表示において、複数の階層構造はあくまでも仮想的なものであり、実際の表示部においては、１枚の画像が表示されるだけである。このため、表示部に表示したオブジェクトの領域に対応する位置においてタッチセンサが接触を検出したことにより触感を呈示しようとしても、オブジェクトをレイヤ表示すると、当該接触がどのレイヤにおけるオブジェクトに対応する入力なのかを判別することができない。

そこで、特にオブジェクトを透過率が０％の画像により表示するような場合、画像が表示された複数のレイヤのうち最上位のレイヤに表示されたオブジェクトの領域に対応する位置において、タッチセンサが接触を検出するような態様も考えられる。しかしながら、このように画像が表示されたレイヤのうち最上位のレイヤに表示されたオブジェクトのみを考慮して接触を検出して触感を呈示する場合、アプリケーションプログラムを実行する要素が、常に表示部において画像が表示されたレイヤのうち最上位のレイヤに表示されたオブジェクトを認識している必要がある。

また、このように画像が表示されたレイヤのうち最上位のレイヤに表示されたオブジェクトのみを考慮する場合、複数のオブジェクトが複数のレイヤの同じ位置に重畳表示されていると、当該最上位のレイヤ以外のレイヤに表示されたオブジェクトに対する接触を検出することはできない。特に、例えば携帯電話のような小型の端末装置にタッチパネルを採用する場合、その表示部およびタッチセンサともに小型にせざるを得ない。

このように、小型の装置において操作者が接触すべき箇所を表示部に表示する場合、オブジェクトに対応する位置におけるタッチセンサに対する接触に応じて提供するフィードバックを設定する際、当該設定の自由度は著しく制約されることが想定される。しかしながら、本実施の形態の触感呈示装置１によれば、表示部３０において複数のオブジェクトを透過率が０％でない画像により複数のレイヤで表示して、任意のレイヤのオブジェクトに対する接触を検出することができる。したがって、本実施の形態の触感呈示装置１によれば、表示部３０およびタッチセンサ４０の面積が小さくとも、その面積を有効利用することができる。

本実施の形態において、表示／触感制御部１０は、アプリケーション実行部２０により指定された画素データおよび当該画素データに付加されている触感制御情報に基づいて触感の設定を行う。特に、本実施の形態において、表示／触感制御部１０は、触感呈示部５０が呈示する触感を、表示部３０に表示する画像の「画素」に設定するように制御する。すなわち、本実施の形態においては、表示部３０にオブジェクト等を画像として表示する際に、当該画像と対応付けて、当該画像の画素ごとに、呈示される触感を設定する。

したがって、本実施の形態においては、表示／触感制御部１０を含んで本発明の制御部が構成される。

また、表示／触感制御部１０は、上述した触感の設定に基づいて、所定の条件に応じて所定のパターンの振動を発生するように触感呈示部５０を制御する。例えば、表示／触感制御部１０は、タッチセンサ４０が表示部３０に表示された所定のオブジェクト等の画像の領域に対応する位置における接触を検出したら、当該画像に割り当てられた所定の処理を行うように制御するとともに、タッチセンサ４０のタッチ面を接触している接触対象に対して当該画像の画素に設定された触感を呈示するように触感呈示部５０を制御する。

特に、本実施の形態においては、表示／触感制御部１０は、表示部３０において触感が設定されたレイヤに表示された画像に対応する位置における接触をタッチセンサ４０が検出すると、当該画像に割り当てられた処理を行うように制御するとともに、当該レイヤに設定された触感を呈示するように触感呈示部５０を制御するのが好適である。

すなわち、表示／触感制御部１０は、タッチセンサ４０がオブジェクト等の画像の画素に対応する位置における接触を検出すると、当該画素に割り当てられた所定の処理を行うように制御する。ここで「所定の処理」とは、例えばアプリケーションのアイコンの画像に対応する位置における接触に対しては、当該アプリケーションを起動する処理などとすることができる。その他、「所定の処理」とは、例えばキー等のオブジェクトの画像に対応する位置における接触に対しては、当該キー等に対応する文字を表示部３０に表示する処理などとすることができる。また、これとともに、表示／触感制御部１０は、タッチセンサ３０のタッチ面に接触している接触対象に対して、当該「画素」に設定された触感を呈示するように触感呈示部５０を制御する。

また、本実施の形態による触感呈示装置１は、操作者がタッチセンサ４０に対する接触操作を行う際の接触の態様に応じて、異なる処理を区別して実行するのが好適である。すなわち、表示／触感制御部１０は、タッチセンサ４０が検出する接触の態様に応じて、表示部３０に表示する画像の画素に割り当てられた複数の所定の処理を区別して行うように制御するのが好適である。例えば、表示／触感制御部１０は、タッチセンサ４０がシングルタップの接触を検出した場合と、ダブルタップの接触を検出した場合とで、異なる処理を区別して実行するように制御する。また、例えば、表示／触感制御部１０は、タッチセンサ４０が通常のスライド操作による接触を検出した場合と、スライド操作よりも素早いフリック操作による接触を検出した場合とで、異なる処理を区別して実行するように制御することもできる。

なお、本実施の形態による触感呈示装置１は、誤操作の防止およびリアルな操作感（触感）の呈示のために、操作者がオブジェクトに対応する位置においてタッチセンサ４０にごく弱く触れた（接触）だけでは、所定の処理を実行せず、触感も呈示しないのが好適である。本実施の形態において、触感呈示装置１は、操作者がオブジェクトに対応する位置においてタッチセンサ４０に接触した状態で、押圧検出部６０が検出する押圧に基づくデータが所定の基準を満たして初めて、所定の処理を実行するとともに触感を呈示するのが好適である。

すなわち、表示／触感制御部１０は、タッチセンサ４０がオブジェクトなどの画像の画素に対応する位置における接触を検出している際に、押圧検出部６０が検出する押圧に基づくデータが、当該画素について設定された基準を満たしたら、当該画素に割り当てられた所定の処理を行うように制御する。また、これとともに、表示／触感制御部１０は、当該画素について設定された触感を呈示するように触感呈示部５０を制御する。

さらに、本実施の形態による触感呈示装置１は、操作者がタッチセンサ４０に対する接触操作を行う際に押圧検出部６０が検出する押圧に基づくデータに応じて、異なる処理を区別して実行するのが好適である。すなわち、例えば、触感呈示装置１は、同一のオブジェクトに対応する位置において、操作者がタッチセンサ４０に第１段階の力で押圧した場合と、第１段階よりも強い第２段階の力で押圧した場合とで、異なる処理を実行させることができる。

この場合には、表示／触感制御部１０は、触感呈示部５０が触感を呈示するための所定の基準をオブジェクトなどの画像の画素について、複数段階設定するように制御する。そして、表示／触感制御部１０は、タッチセンサ４０が前記画素に対応する位置における接触を検出している際に、押圧検出部６０が検出する押圧に基づくデータが、当該画素について複数段階設定された基準の何れかを満たすと、当該満たされた基準の段階に応じて、前記画素に割り当てられた複数の所定の処理を区別して行うように制御する。

また、本実施の形態による触感呈示装置１は、表示部３０が画像を複数のレイヤで表示する際には、操作者がタッチセンサ４０に対する接触操作を行う際の接触の態様に応じて、操作者がどのレイヤに対する接触を行っているのかを区別することもできる。すなわち、表示／触感制御部１０は、表示部３０が画像を複数のレイヤで表示する場合、タッチセンサ４０が検出する接触の態様に応じて、当該接触が前記複数のレイヤのうち何れのレイヤの画素に対応する位置における接触であるかを決定することができる。

例えば、表示／触感制御部１０は、タッチセンサ４０がシングルタップの接触を検出した場合と、ダブルタップの接触を検出した場合とで、異なるレイヤに対する接触が検出されたものとして、複数の処理を区別して実行するように制御することができる。また、例えば、表示／触感制御部１０は、タッチセンサ４０が通常のスライド操作による接触を検出した場合と、スライド操作よりも素早いフリック操作による接触を検出した場合とで、異なるレイヤに対する接触が検出されたものとして、複数の処理を区別して実行するように制御することができる。

さらに、本実施の形態による触感呈示装置１は、操作者がタッチセンサ４０を押圧する際に押圧検出部６０が検出する押圧に基づくデータに応じて、操作者がどのレイヤに対する接触を行っているのかを区別することもできる。すなわち、表示／触感制御部１０は、表示部３０が画像を複数のレイヤで表示する場合、押圧検出部６０が検出する押圧に基づくデータに応じて、タッチセンサ３０に対する接触が前記複数のレイヤのうち何れのレイヤの画素に対応する位置における接触であるかを決定することができる。

この場合、表示／触感制御部１０は、所定の処理を開始するとともに触感呈示部５０が触感を呈示するための基準を、各画素が存在するレイヤごとに設定する。この場合、例えば、押圧に基づくデータが満たすべき基準を複数段階設定し、押圧検出部６０が検出する押圧に基づくデータが満たした基準の段階が大きくなるにつれて、より下位のレイヤに対する接触に対応するような設定とすることができる。そして、表示／触感制御部１０は、表示部３０において触感が設定されたレイヤに表示された画像の画素に対応する位置における接触をタッチセンサ４０が検出している際に、押圧検出部６０が検出する押圧に基づくデータが、当該レイヤに表示された画素に設定された基準を満たすと、当該画素に割り当てられた処理を行うように制御する。これとともに、表示／触感制御部１０は、当該レイヤに表示された画素に設定された触感を呈示するように触感呈示部５０を制御する。なお、このような場合、表示／触感制御部１０は、タッチセンサ４０によって接触が検出された位置の情報や押圧検出部６０によって検出された押圧に基づくデータ等の情報を、適切なタイミングでアプリケーション実行部２０に通知する。

図２は、図１に示した触感呈示装置１のうち、表示部３０、タッチセンサ４０、触感呈示部５０、および押圧検出部６０を中心とする実装構造の一例を示すもので、図２（Ａ）は要部断面図であり、図２（Ｂ）は要部平面図である。表示部３０は、筐体７１内に収納保持される。表示部３０上には、弾性部材からなるインシュレータ７２を介して、タッチセンサ４０が保持される。なお、本実施の形態に係る触感呈示装置１においては、表示部３０およびタッチセンサ４０は、平面視で矩形状としてある。しかしながら、タッチセンサ４０および表示部３０は、触感呈示装置１の構成などの諸条件に応じた形状とすることができる。また、触感呈示装置１において、タッチセンサ４０は、図２（Ｂ）に仮想線で示す表示部３０の表示領域Ａから外れた４隅に配設したインシュレータ７２を介して表示部３０上に保持される。

また、筐体７１には、表示部３０の表示領域から外れたタッチセンサ４０の表面領域を覆うようにアッパカバー７３が設けられ、このアッパカバー７３とタッチセンサ４０との間に、弾性部材からなるインシュレータ７４が配設される。なお、図２に示すタッチセンサ４０において、タッチ面４０ａを有する表面部材は、例えば透明フィルムまたはガラスで構成され、裏面部材はガラスまたはアクリルで構成される。タッチセンサ４０は、タッチ面４０ａが押圧されると、押圧部分が押圧力に応じて微少量撓む（歪む）、または構造体そのものが微少量撓む構造のものを用いる。

タッチセンサ４０の表面上には、アッパカバー７３で覆われる各辺の近傍に、タッチセンサ４０に加わる押圧を検出するための歪みゲージセンサ６２がそれぞれ接着等により設けられる。さらに、タッチセンサ４０の裏面上には、対向する２つの辺の近傍に、タッチセンサ４０を振動させるための圧電振動子５２がそれぞれ接着等により設けられる。すなわち、図２に示す触感呈示装置１は、図１に示した押圧検出部６０が４つの歪みゲージセンサ６２を用いて構成され、触感呈示部５０が２つの圧電振動子５２を用いて構成されている。そして、触感呈示部５０は、タッチセンサ４０を振動させることにより、タッチ面４０ａを振動させるようにしている。なお、図２（Ｂ）は、図２（Ａ）に示した筐体７１、アッパカバー７３およびインシュレータ７４の図示を省略している。

次に、本実施の形態による触感呈示装置１において使用されるアプリケーションが供給する画像のデータに付加された、触感の制御に係る情報（以下、適宜「触感制御情報」と記す）について説明する。

図３は、触感制御情報が表示用リソースの画素データに付加された構成の一例を説明する図である。本実施の形態においては、上述したように、表示部に画像を複数のレイヤで表示することができ、当該複数のレイヤのそれぞれにおいて呈示される触感を画素単位で設定する。図３（Ａ）においては、説明を容易にするために、表示部３０に画像を表示する際の複数のレイヤを、上位レイヤ、中位レイヤ、および下位レイヤの３つとしている。しかしながら、本実施の形態による複数のレイヤによる画像の表示は３つのレイヤに限定されるものではなく、例えば４つ以上のレイヤとするなど、任意の数のレイヤを構成することができる。

図３（Ａ）に示すように、上位、中位、下位のレイヤは、それぞれ、データの開始を示す情報（ＦＢ）およびデータの終了を示す情報（ＥＢ）を含んでいる。すなわち、各レイヤのデータは、ＦＢで開始してＥＢで終了となる。また、各レイヤにおいて、ＦＢとＥＢとの間には、表示部３０に画像を表示するための画素の数だけ画素データが含まれている。例えば、表示部３０の解像度がＱＶＧＡである場合は、３２０×２４０の画素数と同数の画素データが含まれる。図３（Ａ）においては、このように多数の画素データの一部のみを示してある。

図３（Ｂ）は、各レイヤにおける画素ごとに、画素データに触感制御情報が付加されている様子を説明する図である。図３（Ｂ）においては、例として、上位レイヤに含まれる１つの画素に対応する画素データおよび触感制御情報を示しているが、上位レイヤに含まれる他の画素についても、また他のレイヤに含まれる他の画素についても同様である。

図３（Ｂ）に示すように、各レイヤに含まれる１つの画素に対応する描画データおよび触感制御情報には、例えば以下の情報が含まれる。
（１）Ｒ
− 当該画素の赤色要素を示す情報
（２）Ｇ
− 当該画素の緑色要素を示す情報
（３）Ｂ
− 当該画素の青色要素を示す情報
（４）透過
− 当該画素の透過率を示す情報であって、例えばアルファチャンネルなどを示す情報とすることができる
（５）触感制御情報
− 当該画素に対応する位置におけるタッチセンサ４０に対して接触が検出された際に呈示される触感を設定するための情報
（１）から（４）までの情報に基づいて、各レイヤの画面全体を構成する画素のうち１つぶんが規定される。したがって、各レイヤにおいて全ての画素について上記情報を規定することにより、各レイヤにおいて透明（画像が表示されない）部分も含めて、種々の背景画像やオブジェクトなどにより構成される１画面分の画像全体が規定される。

図３（Ｃ）は、各レイヤの画素における（５）の触感制御情報の内容の詳細を説明する図である。図３（Ｃ）においては、例として上位レイヤの１つの画素における触感制御情報の内容を説明しているが、他のレイヤまたは他の画素において、情報の内容は異なるにしても、情報の構成は同様である。図３（Ｃ）に示すように、各レイヤの触感制御情報には、それぞれ、以下のような情報が含まれる。

（１）触感活性化フラグ
− 当該レイヤにおいて触感の呈示を行うか否かを示すフラグ（例えば、「ＯＮ」であれば当該レイヤに対応する接触に応じて所定の触感を呈示し、「ＯＦＦ」であれば当該レイヤに対応する接触が検出されても触感を呈示しない）

（２）下位レイヤ制御フラグ
− 表示部３０において複数のレイヤで画像を表示している場合、当該レイヤよりも下位に存在するレイヤに対応する接触を許可するか否かを示すフラグ（例えば「ＯＮ」であれば当該レイヤよりも下位のレイヤに対応する接触を検出するが、「ＯＦＦ」であれば、当該レイヤよりも下位のレイヤに対応する接触は検出しないものとする）

（３）クリック触感閾値
− 当該レイヤに対応する押圧操作であると認識してクリック触感を呈示するための基準となる押圧に基づくデータの閾値（すなわち、操作者のタッチセンサ４０に対する押圧により、押圧検出部６０が検出する押圧に基づくデータが当該クリック触感閾値に達したら、触感呈示装置１はクリック触感を呈示する）

（４）リリース触感閾値
− 当該レイヤに対応する押圧操作が解除されたと認識してリリース触感を呈示するための基準となる押圧に基づくデータの閾値（すなわち、操作者のタッチセンサ４０に対する押圧が弱まり、押圧検出部６０が検出する押圧に基づくデータが当該リリース触感閾値を下回ったら、触感呈示装置１は（まだ接触が検出されていても）リリース触感を呈示する）

（５）振動波形
− 触感呈示部５０が当該レイヤに設定された触感を呈示する際に使用する振動の波形データそのもの、または予め用意された振動パターン等とすることができる（すなわち、当該振動波形の情報により、表示／触感制御部１０は、触感呈示部５０が種々の所定の触感を呈示するように制御することができる）

（６）触感呈示の段階の数
− 例えば押圧に基づくデータが満たすべき基準を複数段階設定して段階的に押圧を検出したり、接触の態様に応じて異なる接触として検出する場合、いくつの段階の異なる押圧または接触として区別して検出し、対応する触感を呈示するかを示す数

なお、「クリック触感」とは、機械式の押しボタンスイッチで構成されるキーやボタンが押下された際に呈示されるような、キーが挫屈する際の触感のことである。また、「リリース触感」とは、機械式の押しボタンスイッチで構成されるキーやボタンが押下された後に押圧力が弱められた際に得られるような、挫屈したキーが元の状態に戻る際に呈示される触感のことである。

このように、本実施の形態による触感呈示装置１は、画素ごとに触感制御情報を付加することにより、各画素に対応する接触または押圧を区別して検出し、当該検出に応じて画素ごとに異なる触感を呈示することができる。また、上述したように、本実施の形態による触感呈示装置１は、触感制御情報に（１）の触感活性化フラグを含ませることにより、任意のレイヤにおいて触感呈示処理を行うかどうかを自由に設定することができる。また、本実施の形態による触感呈示装置１は、触感制御情報に（２）の下位レイヤ制御フラグを含ませることにより、当該レイヤよりも下位レイヤにおいて触感呈示処理を行うか否かを自由に設定することができる。すなわち、触感呈示装置１において、表示／触感制御部１０は、複数のレイヤのうち１のレイヤにおいて、当該１のレイヤよりも下位のレイヤに設定された触感の呈示の有効または無効を設定する。

なお、一般的なユーザインタフェース（ＵＩ）においては、例えばアプリケーションの起動時や、キーの押下に応じてアプリケーションに基づく処理が開始される時に、オブジェクトの配置が変更されたり、ＵＩの構成が変更されたりすることが多い。したがって、表示／触感制御部１０が各画素における触感を設定するのは、上述のような、アプリケーションの起動時や、キーの押下に応じてアプリケーションに基づく処理が開始される際など、所定のイベント発生時とするのが好適である。すなわち、触感呈示装置１において、表示／触感制御部１０は、所定のイベントの発生に基づいて、表示部３０が表示する画像を変更するように制御するとともに、触感呈示部５０が呈示する触感を前記画像の画素に設定するように制御するのが好適である。

このように、本実施の形態による触感呈示装置１によれば、画素単位で触感制御情報に基づく触感の設定をすることができる。したがって、本実施の形態による触感呈示装置１によれば、タッチセンサ４０に対する接触に基づいて呈示される触感を、表示部３０に表示する画像に対応させて高い自由度で設定することができる。また、表示部においてオブジェクトなどを複数のレイヤで重ねて表示したとしても、単に表示の制御を行うだけでは、接触または押圧の検出および当該検出に応じた触感の呈示は、あくまでも２次元的な制御に限定されてしまう。しかしながら、本実施の形態の触感呈示装置１によれば、接触または押圧の検出および当該検出に応じた触感の呈示を各レイヤ単位で行うことにより、３次元的な制御を行うことができる。

次に、本実施の形態の触感呈示装置１による動作を、具体例を用いて説明する。図４は、触感呈示装置１の表示部３０に３つのレイヤを用いて画像を重ね合わせた様子を表す図である。以下の説明においては、本来は重畳されている表示部３０における画像の表示を、説明のために、レイヤごとに離間して図示してある。また、以下の説明においては、表示部３０に表示したオブジェクトの領域に対応する位置においてタッチセンサ４０が検出する接触または押圧のことを、適宜、単に「オブジェクトに対する接触または押圧」のように記す。

図４において、（Ａ）に示すレイヤは最下位のレイヤを現し、以下単に「下位レイヤ」と記す。また、（Ｂ）に示すレイヤは上述した下位レイヤの直近上位に重なるレイヤを現し、以下単に「中位レイヤ」と記す。さらに、（Ｃ）に示すレイヤは上述した中位レイヤの直近上位に重なるレイヤを現し、以下単に「上位レイヤ」と記す。なお、本例においては、説明を簡単にするために、表示部３０の表示が３つのレイヤにより構成される場合について説明するが、本実施の形態による触感呈示装置１において、レイヤの数は任意とすることができる。

図４（Ａ）に示すように、下位レイヤにおいては、例えば音楽プレーヤのアプリケーションの実行により、背景色が画像として表示されたり、またはアプリケーションに基づく処理を行うためのキー等のオブジェクトが画像として表示される。また、図４（Ｂ）に示すように、中位レイヤにおいては、例えば電子メール作成アプリケーションを実行することにより、文字編集画面が表示される。さらに、図４（Ｃ）に示すように、上位レイヤにおいては、例えば電話の着信があった際に当該着信を接続するか否かを操作者に選択させるべく、ポップアップ表示のオブジェクトが画像として表示される。

本実施の形態による触感呈示装置１は、図４に示したように、表示部３０に表示されるオブジェクトなどの画像に対応して呈示される触感を設定する際に、当該画像を構成する「画素ごとに」呈示される触感を設定することができる。したがって、例えば、図４（Ａ）に示した音楽プレーヤのユーザインタフェースにおいて、ボタンを画像で表した３つのオブジェクトのそれぞれについて、異なる触感が呈示されるように設定することができる。

また、例えば、図４（Ａ）に示した３つのオブジェクト内においては上述したクリック触感が呈示されるように設定することができる。これとともに、図４（Ａ）に示した３つのオブジェクトそれぞれの縁辺部分については、クリック触感が呈示される際よりも弱い押圧に応じて、ボタンの縁辺部分である旨を示すような触感が呈示されるように設定することもできる。その他、例えば、大きめのオブジェクトの画像を構成する多数の画素において、所定の間隔ごとの画素が触感を呈示するように設定することにより、操作者のスライド操作に応じてザラザラしたようなさわり心地のなぞり触感を呈示することなども考えられる。

このように、本実施の形態によれば、非常に高い自由度で、表示部に描画する画像に対応して呈示される触感を設定することができる。

なお、図４（Ｃ）の上位レイヤにおいては、ポップアップ表示が行われた様子を図示してあるが、通常の動作時でポップアップ表示が行われていない場合には、図５（Ｃ）に示すように、当該レイヤにおいて画像は何も表示されない。また、本例においては、図４に示したような各レイヤに表示されるオブジェクトがそれぞれ透過表示をするものとする。すなわち、複数のレイヤのオブジェクトが位置的に重なって表示されたとしても、各レイヤに表示されたオブジェクトがそれぞれ透過して表示されるようにする。このような透過表示は、図３（Ｂ）において説明した（４）の透過の情報において、透過率などを設定することにより行うことができる。また、図５（Ｃ）に示したようにオブジェクトが表示されていないレイヤは透明色などで透過表示を行うものとする。

本例における触感呈示装置１は、複数のアプリケーションを同時に実行するマルチタスクによる処理を行うことができるものとし、アプリケーションごとに異なるレイヤに表示することで、操作者による操作をレイヤごとに区別して検出する。さらに、本例においては、押圧または接触の操作を、いくつかの段階に区別して異なるものとして検出することができるものとする。すなわち、本例においては、触感呈示装置１は、操作者がタッチセンサ４０に対する接触操作を行う際の押圧に基づくデータが満たす基準の段階に応じて、異なるレイヤに対する押圧、または所定の１つのレイヤにおいて異なる段階の押圧として検出することができるようにする。さらに、本例においては、触感呈示装置１は、操作者がタッチセンサ４０に対する接触操作を行う際の接触の態様に応じて、異なるレイヤに対する接触、または所定の１つのレイヤにおいて異なる段階の接触として検出することもできるようにする。

図５は、図４に示したレイヤ表示により、触感呈示装置１において音楽プレーヤのアプリケーションを起動しつつ電子メール作成のアプリケーションも起動している際の、通常の表示を示す図である。通常の表示とは、表示部３０において操作者に注意を促すようなポップアップ表示を行っていない場合の表示のことである。

図５（Ｃ）に示すように、ポップアップ表示を行っていない場合の上位レイヤにおいては、図３（Ｃ）で説明した（１）触感活性化フラグがＯＦＦであるため、当該レイヤに対する接触は検出されず、触感も呈示されない。また、（２）下位レイヤ制御フラグはＯＮであるため、当該上位レイヤにおいては接触を検出しないが、当該上位レイヤよりも下位のレイヤに対する接触は検出する。なお、当該上位レイヤにおいては接触を検出しないため（６）触感呈示の段階の数はゼロに設定されている。

次に、図５（Ｂ）に示すように、上位レイヤにポップアップ表示を行っていない場合の中位レイヤにおいて、（１）触感活性化フラグがＯＮであるため、当該レイヤに対する接触は検出され、当該検出に応じて触感が呈示される。すなわち、電子メール作成アプリケーションによるオブジェクトが表示されている箇所に対する接触は検出され、当該接触が検出されると、所定の処理が行われるとともに、当該位置の画素に設定された触感が呈示される。また、（２）下位レイヤ制御フラグはＯＮであるため、当該中位レイヤにおいて接触を検出しつつ、さらに当該中位レイヤよりも下位のレイヤに対する接触も検出する。なお、当該中位レイヤにおいて接触を検出する際の（６）触感呈示の段階の数は１に設定されている。

さらに、図５（Ａ）に示すように、上位レイヤにポップアップ表示を行っていない場合の下位レイヤにおいては、（１）触感活性化フラグがＯＮであるため、当該レイヤに対する接触は検出され、当該検出に応じて触感が呈示される。すなわち、画面下部に表示されているキー等のオブジェクトが表示されている箇所に対する接触は検出され、当該検出に応じて対応する触感が呈示される。なお、当該下位レイヤにおいては、各オブジェクトに対して２段階の接触または押圧を検出するため（６）触感呈示の段階の数は２に設定されている。すなわち、本例においては、下位レイヤに対する押圧に基づくデータが満たすべき多段階の基準による押圧の区別や、接触または押圧の態様による区別を行うことにより、２段階の接触または押圧を検出する。本例においては、図５（Ｂ）に示すように、すでに中位レイヤにおいて１段階目の接触または押圧を検出するため、実際には、図５（Ｃ）に示す下位レイヤにおいては２段階目および３段階目の接触または押圧を検出することになる。

したがって、操作者は、１段階目の接触または押圧を行うことにより、中位レイヤにおける電子メール作成アプリケーションに対する操作を行うことができる。さらに、操作者は、２段階目および３段階目の接触または押圧を行うことにより、下位レイヤにおける音楽プレーヤアプリケーションに対する操作を行うことができる。この場合、例えば、２段階目の接触または押圧を検出することにより、音楽プレーヤにおいて次の曲を再生することができ、３段階目の接触または押圧を検出することにより、音楽プレーヤの再生の音量を上げる、などの処理を割り当てることができる。

次に、触感呈示装置１が備えている電話の通話アプリケーションにより、通話を着信したため、通話アプリケーションの割り込み処理により、着信中の通話を接続するか否かを問うイベントが発生したとする。

このようなイベント発生時に、図３（Ｂ）にて説明した（１）乃至（４）の画素データにより、表示部３０における新たな表示が構成されるとともに、（５）触感制御情報により、表示／触感制御部１０が触感呈示部５０を制御する際の設定も画素単位で変更される。この例の場合、着信中の通話を接続するか否かを操作者に確認するために、図６（Ｃ）に示すようなポップアップ表示が上位レイヤにおいて行われる。なお、図６（Ｃ）に示す上位レイヤにおいては、「着信中」の旨を示すオブジェクトにおいて「はい」の部分に対する接触の検出に応じて、触感呈示装置１は着信中の通話を接続する処理を行うものとする。すなわち、操作者は、上位レイヤに表示された「着信中」の旨を示すオブジェクトにおける「はい」の部分に対して指などで接触することにより、着信中の通話を接続して、通話を行うことができる。

図６は、触感呈示装置１において中位レイヤおよび下位レイヤにおいてそれぞれ別のアプリケーションを実行中に、通話を着信した旨のポップアップをレイヤにより表示部３０に表示した様子を示す図である。

図６（Ｃ）に示すように、表示の変更とともに、ポップアップ表示を行う場合の上位レイヤにおいて、（１）触感活性化フラグがＯＮに設定されて、当該レイヤに対する接触が検出されるようになり、当該検出に応じて触感が呈示される。また、（２）下位レイヤ制御フラグはＯＮに設定されたままであるため、当該上位レイヤよりも下位のレイヤに対する接触は検出される。なお、当該上位レイヤにおいて、各オブジェクトに対して１段階の接触または押圧を検出するため（６）触感呈示の段階の数は１に設定される。したがって、上位レイヤに表示したポップアップのオブジェクトに対する１段階目の接触は検出され、当該接触の検出に応じて触感が呈示され、着信中の通話が接続される。

図６（Ｂ）に示すように、中位レイヤにおいては（１）触感活性化フラグはＯＮのままであるため、当該レイヤに対する接触が検出され、当該検出に応じて触感が呈示される。したがって、中位レイヤに表示した電子メール作成アプリケーションに基づくオブジェクトに対する接触は検出されるため、操作者は、上位レイヤにポップアップ表示がされたままであっても、電子メール作成アプリケーションに対する操作を行うことができる。この中位レイヤに対する操作を行うためには、操作者は、２段階目の接触または押圧を行えばよい。しかしながら、図６（Ｂ）に示すように、（２）下位レイヤ制御フラグはＯＦＦであるため、当該中位レイヤにおいて接触を検出しても、当該中位レイヤよりも下位のレイヤに対する接触は検出されなくなる。このため、図６（Ａ）に示すように、下位レイヤにおいては（１）触感活性化フラグはＯＮであるが、当該レイヤに対する接触は検出されなくなり、触感も呈示されなくなる。したがって、操作者は、図６に示すように、上位レイヤにポップアップ表示がされた状態では、音楽プレーヤのアプリケーションに対する操作を行うことはできなくなる。

このように、触感呈示装置１によれば、音楽プレーヤおよび電子メール作成の２つのアプリケーションを同時に実行中に電話の通話を着信した場合、電子メール作成のアプリケーションに対する操作は有効のままとしつつ、音楽プレーヤのアプリケーションに対する操作は無効にすることができる。

次に、本実施の形態の触感呈示装置１による動作を、他の具体例を用いてさらに説明する。図７は、図５にて説明した通常の表示をしている際に電話の通話を着信した場合の、触感呈示装置１による動作の他の例を説明する図である。すなわち、上述した例においては、触感呈示装置１による動作は、図５に示した状態から図６に示した状態に移行したが、以下の例においては、図５に示した状態から図７に示した状態に移行する。

図７は、触感呈示装置１において中位レイヤおよび下位レイヤにおいてそれぞれ別のアプリケーションを実行中に、通話を着信した旨のポップアップをレイヤにより表示部３０に表示した様子を示す図である。

図７（Ｃ）に示すように、表示の変更とともに、ポップアップ表示を行う場合の上位レイヤにおいて、（１）触感活性化フラグがＯＮに設定されて、当該レイヤに対する接触が検出されるようになり、当該検出に応じて触感が呈示される。また、（２）下位レイヤ制御フラグはＯＮに設定されたままであるため、当該上位レイヤよりも下位のレイヤに対する接触は検出される。なお、当該上位レイヤにおいて、各オブジェクトに対して１段階の接触または押圧を検出するため（６）触感呈示の段階の数は１に設定される。したがって、上位レイヤに表示したポップアップのオブジェクトに対する１段階目の接触は検出され、当該接触の検出に応じて触感が呈示され、着信中の通話が接続される。

一方、図７（Ｂ）に示すように、中位レイヤにおいては（１）触感活性化フラグはＯＦＦであるため、当該レイヤに対する接触は検出されず、触感も呈示されなくなる。したがって、中位レイヤに表示した電子メール作成アプリケーションに基づくオブジェクトに対する接触は検出されないようになり、操作者は電子メール作成アプリケーションに対する操作を行うことができなくなる。しかしながら、図７（Ｂ）に示すように、（２）下位レイヤ制御フラグはＯＮであるため、当該中位レイヤにおいて接触を検出しなくとも、当該中位レイヤよりも下位のレイヤに対する接触は検出される。

図７（Ａ）に示すように、下位レイヤにおいては（１）触感活性化フラグはＯＮであるため、当該レイヤに対する接触は検出され、当該検出に応じて触感が呈示される。なお、当該下位レイヤにおいては、各オブジェクトに対して２段階の接触または押圧を検出するため（６）触感呈示の段階の数は２に設定されている。すなわち、本例において、下位レイヤに対する押圧に基づくデータが満たすべき多段階の基準による押圧の区別や、接触または押圧の態様による区別を行うことにより、２種類の接触または押圧を検出する。本例においては、図７（Ｃ）に示したように、すでに上位レイヤにおいて１段階目の接触または押圧を検出するため、実際には、図７（Ｃ）に示す下位レイヤにおいては２段階目および３段階目の接触または押圧を検出することになる。この場合、例えば、２段階目の接触または押圧を検出することにより、音楽プレーヤにおいて前の曲を再生することができ、３段階目の接触または押圧を検出することにより、音楽プレーヤの再生の音量を下げる、などの処理を割り当てることができる。

このように、触感呈示装置１によれば、音楽プレーヤおよび電子メール作成の２つのアプリケーションを同時に実行中に電話の通話を着信した場合、例えば電子メール作成のアプリケーションに対する操作は無効化しつつ、音楽プレーヤのアプリケーションに対する操作は有効のままにしておくことができる。

次に、本実施の形態の触感呈示装置１による動作を、さらに他の具体例を用いて説明する。図８は、図５にて説明した通常の表示をしている際に電話の通話を着信した場合の、触感呈示装置１による動作の他の例を説明する図である。すなわち、以下説明する例においては、触感呈示装置１による動作は、図５に示した状態から図８に示した状態に移行する。

図８は、触感呈示装置１において中位レイヤおよび下位レイヤにおいてそれぞれ別のアプリケーションを実行中に、通話を着信した旨のポップアップをレイヤにより表示部３０に表示した様子を示す図である。

図８（Ｃ）に示すように、表示の変更とともに、ポップアップ表示を行う場合の上位レイヤにおいて、（１）触感活性化フラグがＯＮに設定されて、当該レイヤに対する接触が検出されるようになり、当該検出に応じて触感が呈示される。一方、（２）下位レイヤ制御フラグはＯＦＦに設定されたため、当該上位レイヤよりも下位のイヤに対する接触は検出されず、触感も呈示されなくなる。したがって、上位レイヤに表示したポップアップのオブジェクトに対する１段階目の接触は検出され、当該接触の検出に応じて触感が呈示され、着信中の通話が接続されるようになるが、中位レイヤおよび下位レイヤにおいては接触が検出されなくなる。本例の場合、中位レイヤおよび下位レイヤにおいて（１）触感活性化フラグはＯＮであるが、接触は検出されずに、触感も呈示されなくなる。

このように、触感呈示装置１によれば、音楽プレーヤおよび電子メール作成の２つのアプリケーションを同時に実行中に電話の通話を着信した場合、電子メール作成のアプリケーションに対する操作も音楽プレーヤのアプリケーションに対する操作も無効化することができる。この場合、上位レイヤに表示されたポップアップ表示に対する接触または押圧のみが検出されることになる。

本実施の形態の触感呈示装置１によれば、表示部３０に表示するオブジェクトの画像を構成する画素ごとに、呈示される触感を設定できるため、従来のフィードバック方式に比べて、格段に高い自由度で、触感の設定および呈示を行うことができる。また、上述した例に示したように、本実施の形態の触感呈示装置１によれば、表示部３０に画像をレイヤ表示して、タッチセンサ４０が各レイヤの画像に対応する接触を検出することにより、各レイヤの触感を呈示することができる。したがって、本実施の形態の触感呈示装置１によれば、接触または押圧の検出および当該検出に応じた触感の呈示を各レイヤ単位で行って、触感を３次元的に制御することができるため、タッチセンサ４０および表示部３０を有効に活用することができる。

なお、表示部３０にキー等のオブジェクトが表示された位置に対応するタッチセンサ４０に対する接触または押圧に応じて、触感呈示部５０が押圧対象に対して呈示する触感は、上述したクリック触感のようなリアルな触感とすることができる。操作者に対してリアルなクリック触感を呈示するためには、触感呈示装置１は、以下のような処理を行うことにより、操作者の圧覚を刺激した状態で触覚を刺激する。すなわち、触感呈示装置１は、タッチセンサ４０に荷重が加わって、荷重検出部６０が検出する押圧に基づくデータが、触感を呈示する基準（例えば１Ｎの押圧に基づくデータが満たすべき基準）を満たすまでは、圧覚を刺激するようにする。そして、押圧に基づくデータが当該基準を満たすと、触感呈示装置１は、圧電振動子５２を所定の駆動信号で駆動してタッチ面４０ａを振動させて触覚を刺激する。これにより、触感呈示装置１は、押しボタンスイッチ（プッシュ式ボタンスイッチ）のようなボタンスイッチを押した際に得られるのと同様なクリック触感を、操作者に呈示することができる。したがって、操作者は、タッチセンサ上部に描画されたオブジェクトの押しボタンスイッチであっても、押しボタンスイッチを操作した場合と同様のリアルなクリック触感を得ながら、タッチセンサ４０に対して操作を行うことができるので、違和感を覚えることがない。また、タッチセンサ１１を「押した」という意識との連動で操作を行うことができるので、意図しない微かな接触による操作ミスも防止することができる。

上述したクリック触感を呈示する際の駆動信号、すなわち触覚を刺激する一定周波数、周期（波長）、波形、振幅は、呈示するクリック触感に応じて適宜設定することができる。例えば、携帯端末に使用されているメタルドームスイッチに代表されるクリック触感を呈示する場合、例えば、１７０Ｈｚの一定周波数のＳｉｎ波からなる１周期分の駆動信号により触感呈示部５０を駆動してもよい。このような駆動信号により触感呈示部５０を駆動させて、タッチ面４０ａを、荷重検出部６０により検出される押圧に基づくデータが所定の基準を満たした状態で、約１５μｍ振動させる。これにより、実際のキーをクリックした場合のような、リアルなクリック触感を操作者に呈示することができる。

また、上述した実施の形態の各例においては、触感呈示装置１は、タッチセンサ４０が接触を検出した時点ではまだ触感は呈示せずに、押圧検出部６０が検出する押圧に基づくデータが所定の基準を満たした時点で触感を呈示した。しかしながら、押圧検出部６０による押圧の検出を省略して、タッチセンサ４０に対する接触の有無および当該接触の位置のみを検出することによっても、本実施の形態による触感の呈示を行うこともできる。この場合、表示／触感制御部１０は、タッチセンサ４０が接触を検出することに基づいて、所定の処理を開始するとともに、触感を呈示するようにする。また、この場合、荷重の段階的な検出によって異なる処理を割り当てることはできないため、タッチセンサ４０に対する接触の態様に応じて異なる処理を割り当てるようにする。すなわち、この場合、タッチセンサ４０に対する接触の態様に応じて、異なるレイヤに対する接触、または所定の１つのレイヤにおいて異なる段階の接触を検出するようにする。

なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、上述した実施の形態では、表示／触感制御部１０が、表示部３０の制御および触感呈示部５０の制御を行う構成について説明したが、本発明は、当該構成に限定されるものではなく、設計の際の要求に応じて種々の構成を採ることができる。例えば、図９に示すように、表示部３０については表示制御部１２が制御を行い、また触感呈示部５０については触感制御部１４が制御を行うような構成とすることもできる。この場合には、表示制御部１２は図３（Ｂ）に示した（１）乃至（４）の画素データに基づいて表示部３０が画像を表示するように制御を行い、触感制御部１４は図３（Ｂ）に示した（５）の触感制御情報に基づいて触感呈示部５０が所定の触感を呈示するように制御を行う。

さらに、上述した実施の形態では、表示／触感制御部１０とアプリケーション実行部２０とが別個の機能部であるものとして説明したが、例えば、表示／触感制御部１０およびアプリケーション実行部２０の機能を単一のプロセッサに統合するようにもできる。あるいは、表示／触感制御部１０およびアプリケーション実行部２０の一方が他方を含むような構成とすることもできる。

また、上記実施の形態では、タッチセンサ４０を用いて、当該タッチセンサのタッチ面に対する接触を検出したが、荷重センサ（押圧検出部）を用いて、押圧に基づくデータが所定の基準を満たした際に、接触がなされたものと判定することもできる。このような押圧検出部は、上述した実施の形態の押圧検出部６０と同様に、任意の個数の歪みゲージセンサ等を用いて構成することができる。

また、触感呈示部は、任意の個数の圧電振動子を用いて構成したり、タッチセンサの全面に透明圧電素子を設けて構成したり、触感を呈示する振動を表現できるのであれば、偏心モータを駆動信号の１周期で１回転させるようにして構成したり、することもできる。

また、本発明に係る触感呈示装置は、押圧検出部６０により検出される押圧に基づくデータが、触感を呈示する所定の基準を満たした際に、当該押圧検出部６０を駆動することを想定して説明した。ここで、押圧に基づくデータが、触感を呈示する所定の基準を満たした際とは、押圧に基づくデータが所定の基準値に達した際であってもよいし、押圧に基づくデータが所定の基準値を超えた際でもよいし、触感を呈示する基準値に対応するデータが押圧検出部６０から出力された際でもよい。

１ 触感呈示装置
１０ 表示／触感制御部
２０ アプリケーション実行部
３０ 表示部
４０ タッチセンサ
４０ａ タッチ面
５０ 触感呈示部
５２ 圧電振動子
６０ 押圧検出部
６２ 歪みゲージセンサ
７１ 筐体
７２ インシュレータ
７３ アッパカバー
７４ インシュレータ
８０ 記憶部

Claims (8)

1. タッチセンサと、
   前記タッチセンサのタッチ面を振動させる触感呈示部と、
   表示部と、
   前記表示部が画像を表示するように制御する制御部と、
   を備える触感呈示装置であって、
   前記制御部はさらに、前記触感呈示部が呈示する触感を前記画像の画素に設定するように制御することにより、前記タッチセンサが当該画素に対応する位置における接触を検出すると、当該画素に割り当てられた所定の処理を行うように制御するとともに、前記タッチ面に接触している接触対象に対して、当該画素に設定された触感を呈示するように前記触感呈示部を制御することを特徴とする、触感呈示装置。
2. 前記制御部は、前記タッチセンサが検出する接触の態様に応じて、前記画素に割り当てられた複数の所定の処理を区別して行うように制御する、請求項１に記載の触感呈示装置。
3. 前記タッチ面に対する押圧を検出する押圧検出部をさらに備え、
   前記制御部は、前記触感呈示部が触感を呈示するための所定の基準を当該画素について設定するように制御するとともに、前記タッチセンサが前記画素に対応する位置における接触を検出している際に、前記押圧検出部が検出する押圧に基づくデータが前記基準を満たすと、当該画素に割り当てられた所定の処理を行うように制御するとともに、当該画素について設定された触感を呈示するように前記触感呈示部を制御する、請求項１に記載の触感呈示装置。
4. 前記制御部は、前記触感呈示部が触感を呈示するための所定の基準を当該画素について複数段階設定するように制御するとともに、前記タッチセンサが前記画素に対応する位置における接触を検出している際に、前記押圧検出部が検出する押圧に基づくデータが前記複数段階設定された基準の何れかを満たすと、当該満たされた基準の段階に応じて、前記画素に割り当てられた複数の所定の処理を区別して行うように制御する、請求項３に記載の触感呈示装置。
5. 前記制御部は、前記表示部が画像を複数のレイヤで表示する場合、前記複数のレイヤのうち１のレイヤの画素において、当該１のレイヤよりも下位のレイヤに設定された触感の呈示の有効または無効を設定する、請求項１に記載の触感呈示装置。
6. 前記制御部は、前記表示部が画像を複数のレイヤで表示する場合、前記タッチセンサが検出する接触の態様に応じて、当該接触が前記複数のレイヤのうち何れのレイヤの画素に対応する位置における接触であるかを決定する、請求項１に記載の触感呈示装置。
7. 前記タッチ面に対する押圧を検出する押圧検出部をさらに備え、
   前記制御部は、前記表示部が画像を複数のレイヤで表示する場合、前記押圧検出部が検出する押圧に基づくデータに応じて、当該接触が前記複数のレイヤのうち何れのレイヤの画素に対応する位置における接触であるかを決定する、請求項１に記載の触感呈示装置。
8. 前記制御部は、所定のイベントの発生に基づいて、前記表示部が表示する画像を変更するように制御するとともに、前記触感呈示部が呈示する触感を前記画像の画素に設定するように制御する、請求項１に記載の触感呈示装置。
   
   

Images