JP5706676B2 - Tactile presentation device - Google Patents
Tactile presentation device Download PDFInfo
- Publication number
- JP5706676B2 JP5706676B2 JP2010264095A JP2010264095A JP5706676B2 JP 5706676 B2 JP5706676 B2 JP 5706676B2 JP 2010264095 A JP2010264095 A JP 2010264095A JP 2010264095 A JP2010264095 A JP 2010264095A JP 5706676 B2 JP5706676 B2 JP 5706676B2
- Authority
- JP
- Japan
- Prior art keywords
- tactile sensation
- unit
- control unit
- output
- touch sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Description
本発明は、触感を呈示する装置に関するものであり、特に、タッチセンサに対する接触操作に基づいて触感を呈示する装置に関するものである。 The present invention relates to an apparatus that presents a tactile sensation, and more particularly to an apparatus that presents a tactile sensation based on a touch operation on a touch sensor.
近年、携帯電話等の携帯端末において、ユーザによる操作を検出する操作部やスイッチ等の入力装置として、タッチパネルやタッチスイッチ等のタッチセンサを備える入力装置が採用されているものがある。携帯端末以外に、電卓、券売機等の情報機器や、電子レンジ、テレビ、照明器具等の家電製品、産業用機器（ＦＡ機器）等にも、タッチセンサを備える入力装置は広く使用されている。 2. Description of the Related Art In recent years, in mobile terminals such as mobile phones, some input devices including touch sensors such as touch panels and touch switches have been adopted as input devices such as operation units and switches that detect user operations. In addition to portable terminals, input devices equipped with touch sensors are widely used in information devices such as calculators and ticket machines, household appliances such as microwave ovens, televisions, and lighting equipment, and industrial equipment (FA devices). .
このようなタッチセンサには、抵抗膜方式、静電容量方式、光学式等の種々の方式が知られている。しかしながら、いずれの方式のタッチセンサにおいても、指やスタイラスペンによる接触を検出するものであって、タッチセンサ自体は、接触されても、押しボタンスイッチのようには物理的に変位しない。 As such a touch sensor, various systems such as a resistive film system, a capacitance system, and an optical system are known. However, any type of touch sensor detects contact with a finger or a stylus pen, and the touch sensor itself is not physically displaced like a push button switch even when touched.
したがって、操作者は、接触による操作が入力装置に認識されても、当該操作に対するフィードバックを得ることができない。このため、操作者は、操作を行う際の操作感が得られず、同じ位置を何度もタッチする等の繰り返し操作が生じ易く、操作者にストレスを与える場合がある。 Therefore, even if the operation by contact is recognized by the input device, the operator cannot obtain feedback for the operation. For this reason, the operator does not have an operational feeling when performing the operation, and repeated operations such as touching the same position many times are likely to occur, which may stress the operator.
そこで、従来、聴覚や視覚によらず、タッチセンサが接触を検出すると、タッチセンサを振動させて、操作者の指先に振動を発生させるようにしたフィードバック方法が提案されている（例えば、特許文献１および特許文献２参照）。 Therefore, conventionally, a feedback method has been proposed in which when the touch sensor detects contact regardless of hearing or vision, the touch sensor is vibrated to generate vibration at the fingertip of the operator (for example, Patent Documents). 1 and Patent Document 2).
この特許文献１および特許文献２に開示の技術によれば、タッチセンサに対する操作が検出された際に、操作者の指先などに、振動を発生させることができる。したがって、このような入力装置を用いて操作を行う操作者は、タッチセンサに対して行った操作が入力装置に正しく認識されたことを、触覚により認識することができる。
According to the techniques disclosed in Patent Literature 1 and
しかしながら、このような入力装置を用いて接触の操作が認識された際に触感を呈示するためには、所定の条件に応じて所定の振動を発生させる処理が、予めアプリケーションソフトウェア（以下、単に「アプリケーション」と記す）に組み込まれている必要がある。すなわち、上述の入力装置においては、触感を呈示することを予め想定して開発されたアプリケーションを使用すれば、所定の条件に応じて所定の振動を発生することができる。しかしながら、上述の入力装置に、触感を呈示することを想定していないアプリケーションをそのまま適用しても、適切に所定の振動を発生することはできない。 However, in order to present a tactile sensation when a contact operation is recognized using such an input device, processing for generating a predetermined vibration according to a predetermined condition is performed in advance by application software (hereinafter simply referred to as “ Application)). That is, in the above-described input device, a predetermined vibration can be generated according to a predetermined condition by using an application that has been developed on the assumption that a tactile sensation is presented in advance. However, even if an application that is not assumed to present a tactile sensation is applied as it is to the above-described input device, the predetermined vibration cannot be generated appropriately.
したがって、上述したような入力装置において所定の条件に応じて適切に触感を呈示するためには、新たにアプリケーションを開発するか、あるいは既存のアプリケーションに対して、触感を呈示するための処理を追加する改変を加える必要がある。 Therefore, in order to present a tactile sensation appropriately according to a predetermined condition in the input device as described above, a new application is developed or a process for presenting a tactile sensation is added to an existing application. Need to be modified.
具体的には、入力装置の表示部に画像表示されるキーまたはボタン等のオブジェクトの位置に対応するタッチセンサに対して接触が検出された際に、入力装置が所定の触感を呈示するための処理を追加する必要がある。また、表示部にキーまたはボタン等のオブジェクトが画像表示されていない位置に対応するタッチセンサに対して接触が検出されても、入力装置が触感を呈示しないようにする必要もある。このように触感の呈示の有無を制御すれば、タッチセンサおよびＧＵＩ(Graphical User Interface)を入出力に用いたユーザインタフェースによって操作者の操作を検出した際に、操作者の指先などに、振動による触感を呈示することができる。すなわち、画像表示したキーまたはボタン等のオブジェクトに対する接触により、当該接触が検出されたことを、触感を呈示することにより報知することができる。一方、キーまたはボタン等のオブジェクトのない位置に対する接触が検出されても、フィードバックが発生しないようにできる。 Specifically, when a contact is detected with respect to a touch sensor corresponding to the position of an object such as a key or button displayed on the display unit of the input device, the input device presents a predetermined tactile sensation. It is necessary to add processing. In addition, it is necessary to prevent the input device from presenting a tactile sensation even when contact is detected with respect to a touch sensor corresponding to a position where an object such as a key or a button is not displayed on the display unit. If the presence / absence of the tactile sensation is controlled in this way, when an operator's operation is detected by a user interface using a touch sensor and a GUI (Graphical User Interface) for input / output, the operator's fingertips, etc. A tactile sensation can be presented. That is, it is possible to notify that a touch is detected by presenting a tactile sensation by touching an object such as an image-displayed key or button. On the other hand, it is possible to prevent feedback from occurring even when contact with a position where there is no object such as a key or button is detected.
このような制御を行う場合、入力装置は、タッチセンサに対して接触が検出された際のＧＵＩの状態、すなわち表示部に表示されるキーまたはボタン等のオブジェクトの状態を管理しているアプリケーションと連携することが必要になる。 When performing such control, the input device includes an application that manages the state of the GUI when contact with the touch sensor is detected, that is, the state of an object such as a key or button displayed on the display unit. It is necessary to cooperate.
上述のように、従来の入力装置においては、触感の呈示に対応していないアプリケーションを適用しても、そのままの状態では、適切に触感を呈示することはできない。したがって、従来の入力装置において、現在までに開発されてきた種々のアプリケーション資源を無駄にせずに有効に活用するためには、それぞれのアプリケーションを改変して、所定の条件に応じて触感を呈示する処理を追加しなければならない。このような処理を追加する改変は、種々のアプリケーションごとに行わなければならず、膨大な手間とコストがかかることが懸念される。 As described above, in the conventional input device, even if an application that does not support tactile sensation is applied, the tactile sensation cannot be appropriately presented as it is. Therefore, in order to effectively use various application resources developed so far without wasting them in the conventional input device, each application is modified and a tactile sensation is presented according to a predetermined condition. Processing must be added. Such modification to add processing must be performed for each of various applications, and there is a concern that it takes enormous effort and cost.
このような事情の下では、今後、触感を呈示する入力装置に向けたアプリケーションの開発に各社ベンダが参入する阻害要因になったり、タッチセンサおよびＧＵＩを採用したプラットフォームの普及が遅延する要因にもなり得る。 Under such circumstances, it may become a factor that hinders vendors from entering the development of applications for input devices that present tactile sensations, and delays in the spread of platforms that use touch sensors and GUIs. Can be.
そこで、例えば、タッチセンサに対する接触の検出により、表示部に表示された（オブジェクトの）画像に変化があった際に、当該画像の変化に基づいて（つまりオブジェクトに対する接触が検出されたものとみなして）触感を呈示する装置を考えることもできる。通常のアプリケーションにおいては、表示部に表示されたオブジェクトの画像の位置に対応するタッチセンサが接触を検出した際、当該オブジェクトに対する接触が認識されている旨を操作者に視認させるため、オブジェクトの画像を変化させて表示することが多い。したがって、表示部に表示されたオブジェクトの画像の位置に対応するタッチセンサが接触を検出した際、オブジェクトの画像に何らかの変化を施して表示するアプリケーションであれば、変化する画像の情報に基づいて、前述の装置は触感を呈示することができる。 Therefore, for example, when there is a change in the image (object) displayed on the display unit due to detection of contact with the touch sensor, it is considered that contact with the object is detected based on the change in the image (that is, with respect to the object). It is also possible to consider a device that presents a tactile sensation. In a normal application, when the touch sensor corresponding to the position of the image of the object displayed on the display unit detects contact, the image of the object is displayed so that the operator can visually recognize that contact with the object is recognized. In many cases, the display is changed. Therefore, when the touch sensor corresponding to the position of the image of the object displayed on the display unit detects contact, if the application displays the object image with some change, based on the information of the changing image, The aforementioned device can present a tactile sensation.
この装置のように、タッチセンサに対する接触の検出に基づいて表示部に表示されたオブジェクトの画像を変化させ、当該画像の変化に基づいて触感を呈示すれば、ユーザインタフェースを構成する既存のアプリケーションを改変せずに流用することができる。 If the image of the object displayed on the display unit is changed based on detection of contact with the touch sensor, and a tactile sensation is presented based on the change of the image like this device, an existing application that configures the user interface is displayed. Can be used without modification.
このようにすれば、例えば特許文献３に記載されているパーソナルコンピュータ（ＰＣ）に用いるようなアプリケーションを使用しても、前述の装置は触感を呈示することができる。この特許文献３に記載の入力方法において接触を検出するタッチセンサは、一般的なＰＣや現金自動預入機（ＡＴＭ）や各種の自動機に採用することを想定している。この特許文献３に記載の入力方法に係るタッチセンサの動作環境は、振動を発生する機構を備えていないため、この環境に用いるために開発したアプリケーションも触感の呈示に係る動作には対応していない。このような動作環境のために開発した、触感の呈示に係る動作に対応していないアプリケーションであっても、前述の装置は、タッチセンサに対する接触に応じて触感を呈示することができる。
In this way, even if an application such as that used in a personal computer (PC) described in
しかしながら、上述したように、変化する画像の情報に基づいて触感を呈示するためには、タッチセンサに対する接触の検出により、表示部に表示されたオブジェクトの画像が変化するアプリケーションを使用することが前提となる。すなわち、使用するアプリケーションは、例えばボタンなどのオブジェクトに対する操作者の接触が検出されると、当該ボタンの表示が反転するなどのＧＵＩを備えている必要がある。このため、当然、タッチセンサに対する接触が検出されても表示部に表示されたオブジェクトの画像が変化しないアプリケーションを使用しても、適切に触感を呈示することはできない。 However, as described above, in order to present a tactile sensation based on information on a changing image, it is assumed that an application in which an image of an object displayed on the display unit changes due to detection of contact with the touch sensor is used. It becomes. That is, the application to be used needs to have a GUI such that, for example, when the operator's contact with an object such as a button is detected, the display of the button is reversed. Therefore, as a matter of course, even if an application in which the image of the object displayed on the display unit does not change even when contact with the touch sensor is detected, it is not possible to appropriately provide a tactile sensation.
また、上述のように、表示された画像の変化を解析することにより適切な触感を呈示するためには、高度な画像解析アルゴリズムが必要となることが多い。さらに、このような構成においては、表示された画像の変化を解析してから触感を呈示することになるため、各制御部の処理速度が充分に高速でないと、画面表示の変化と触感を呈示するタイミングとの間にズレが生じ、操作者に違和感を与えることになる。 Further, as described above, an advanced image analysis algorithm is often required in order to present an appropriate tactile sensation by analyzing changes in the displayed image. Further, in such a configuration, since the tactile sensation is presented after analyzing the change in the displayed image, the change and tactile sensation of the screen display are presented unless the processing speed of each control unit is sufficiently high. Deviation occurs between the timing and the operator, and the operator feels uncomfortable.
したがって、かかる事情に鑑みてなされた本発明の目的は、アプリケーションが触感の呈示を想定していない場合でも、操作者の操作に基づいて適切な触感を呈示することができる触感呈示装置を提供することにある。 Therefore, an object of the present invention made in view of such circumstances is to provide a tactile sensation providing apparatus capable of presenting an appropriate tactile sensation based on an operation of an operator even when an application does not assume a tactile sensation. There is.
上記目的を達成する第１の観点に係る触感呈示装置の発明は、
タッチセンサと、
前記タッチセンサのタッチ面に接触している接触対象に対して触感を呈示する触感呈示部と、
音を出力する旨の指示に基づいて、所定の音を出力するように制御する制御部と、を備え、
前記制御部は、前記音を出力する旨の指示に対応付けられた触感を呈示するように前記触感呈示部を制御することを特徴とするものである。
The invention of the tactile sensation providing apparatus according to the first aspect to achieve the above object is as follows:
A touch sensor;
A tactile sensation providing unit that provides a tactile sensation with respect to a contact target that is in contact with the touch surface of the touch sensor;
A control unit that controls to output a predetermined sound based on an instruction to output a sound, and
The control unit controls the tactile sensation providing unit to present a tactile sensation associated with an instruction to output the sound.
また、上記目的を達成する第２の観点に係る触感呈示装置の発明は、
タッチセンサと、
前記タッチセンサのタッチ面に接触している接触対象に対して触感を呈示する触感呈示部と、
前記タッチセンサのタッチ面に対する押圧荷重を検出する荷重検出部と、
音を出力する旨の指示に基づいて、所定の音を出力するように制御する制御部と、を備え、
前記制御部は、前記荷重検出部により検出される押圧荷重が前記音を出力する旨の指示に対応付けられた所定の基準を満たしたら、前記音を出力する旨の指示に対応付けられた触感を呈示するように前記触感呈示部を制御することを特徴とするものである。
Further, the invention of the tactile sensation providing apparatus according to the second aspect of achieving the above object is as follows:
A touch sensor;
A tactile sensation providing unit that provides a tactile sensation with respect to a contact target that is in contact with the touch surface of the touch sensor;
A load detection unit for detecting a pressing load on the touch surface of the touch sensor;
A control unit that controls to output a predetermined sound based on an instruction to output a sound, and
When the pressing load detected by the load detection unit satisfies a predetermined criterion associated with the instruction to output the sound, the tactile sensation associated with the instruction to output the sound. The tactile sensation providing unit is controlled so as to present
第３の観点に係る発明は、第２の観点に係る触感呈示装置において、
前記制御部は、前記荷重検出部により検出される押圧荷重が前記音を出力する旨の指示に対応付けられた所定の基準を満たしたら、
前記音を出力する旨の指示に対応付けられた触感を呈示するように前記触感呈示部を制御するとともに、前記所定の音を出力するように制御することを特徴とするものである。
The invention according to a third aspect is the tactile sensation providing apparatus according to the second aspect,
When the control unit satisfies a predetermined criterion associated with an instruction that the pressing load detected by the load detection unit outputs the sound,
The tactile sensation providing unit is controlled to present a tactile sensation associated with an instruction to output the sound, and the predetermined sound is output.
本発明によれば、アプリケーションが触感の呈示を想定していない場合でも、操作者の操作に基づいて適切な触感が呈示されるようにすることができる。 According to the present invention, an appropriate tactile sensation can be presented based on the operation of the operator even when the application does not assume a tactile sensation.
以下、本発明の実施の形態について、図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図１は、本発明の実施の形態に係る触感呈示装置の概略構成を示すブロック図である。 FIG. 1 is a block diagram showing a schematic configuration of a tactile sensation providing apparatus according to an embodiment of the present invention.
図１に示すように、触感呈示装置１は、表示制御部１２と、音声制御部１４と、触感制御部１６と、アプリケーション実行部２０と、を備えている。また、触感呈示装置１は、表示部３０と、タッチセンサ４０と、触感呈示部５０と、荷重検出部６０と、音声出力部７０と、記憶部８０と、を備えている。なお、表示制御部１２と、音声制御部１４と、触感制御部１６と、アプリケーション実行部２０とは、制御部１０に含まれるものである。
As shown in FIG. 1, the tactile sensation providing apparatus 1 includes a display control unit 12, a
記憶部８０は、例えばＮＡＮＤ型フラッシュメモリ等によって構成し、そのメモリ領域の少なくとも一部に、アプリケーション記憶領域８２を含んでいる。記憶部８０に含まれるアプリケーション記憶領域８２は、各種のアプリケーションを記憶することができる。アプリケーション実行部２０は、記憶部８０から各種のアプリケーションを読み込んで、当該アプリケーションに基づく処理を実行するとともに、各機能部を制御する。なお、本実施の形態において、アプリケーション実行部２０が実行するアプリケーションは、所定の触感を呈示する処理が予め追加されていないものとする。すなわち、本実施の形態においては、アプリケーション実行部２０が、触感の呈示に対応していないアプリケーションを実行する場合について説明する。また、本実施の形態においてタッチセンサ４０が接触を検出する動作に用いるアプリケーションには、表示部３０に表示されたオブジェクトの画像の位置に対応するタッチセンサ４０に接触が検出された際、何らかの音声を出力する処理が付加されているものとする。なお、触感呈示装置１に記憶されているアプリケーション等の各種のデータは、記憶部８０に記憶されている必要はなく、例えば、触感呈示装置１が備える図示しない通信部により通信を行うことが可能なサーバ等に記憶されていてもよい。
The
表示部３０は、押しボタンスイッチ（プッシュ式ボタンスイッチ）のようなオブジェクトを画像表示する。このオブジェクトは、接触すべき領域を操作者に示唆する画像である。また、押しボタンスイッチとは、操作者が入力の操作に用いるボタンやキー等（以下、単に「キー等」と総称する）である。表示部３０は、例えば、液晶表示パネル（ＬＣＤ）や有機ＥＬ表示パネル等を用いて構成する。
The
タッチセンサ４０は、通常は表示部３０の前面に配置して、表示部３０に表示したオブジェクトに対する操作者の指等（接触対象）による接触（または接触の解除）を、対応するタッチセンサ４０のタッチ面において検出する。また、タッチセンサ４０は、タッチ面に対する接触の位置を検出し、当該検出した接触の位置をアプリケーション実行部２０に通知する。このタッチセンサ４０は、例えば抵抗膜方式、静電容量方式、光学式等の公知の方式のもので構成する。なお、タッチセンサ４０が接触対象による接触を検出する上で、接触対象がタッチセンサ４０に物理的に触れることは必須ではない。例えば、タッチセンサ４０が光学式である場合は、タッチセンサ４０はタッチセンサ４０上の赤外線が接触対象で遮られた位置を検出するため、接触対象がタッチセンサ４０に触れることは不要である。
The
触感呈示部５０は、例えば圧電振動子等を用いて構成し、タッチセンサ４０のタッチ面に接触している接触対象に対して触感を呈示する。この触感呈示部５０は、所定の振動パターンによる振動を発生させることにより、タッチ面に接触している接触対象に対して触感を呈示する。荷重検出部６０は、タッチセンサ４０のタッチ面に対する押圧荷重を検出するもので、例えば、歪みゲージセンサや圧電素子等の荷重に対してリニアに反応する素子を用いて構成する。また、荷重検出部６０は、検出したタッチセンサ４０のタッチ面に対する押圧荷重を、触感制御部１４に通知する。
The tactile
音声出力部７０は、例えばスピーカ等により構成し、タッチセンサ４０上の所定領域における接触が検出されたり、所定のイベントが発生した際に、後述する音声制御部１６の制御により、所定の音声を出力する。
The
表示制御部１２は、アプリケーション実行部２０からの表示指示に基づいて、表示部３０にオブジェクトなどを画像表示したり、あるいは当該画像表示を変更したりする等、表示部３０における表示に係る制御を行う。アプリケーション実行部２０が表示制御部１２に対して表示指示を行う際には、表示部３０に表示する画像の表示データなどは、例えば記憶部８０に記憶させておいたものを読み出すことができる。表示制御部１２は、このようにアプリケーション実行部２０が記憶部８０から読み出した表示データの供給を受けて、所定の画像を描画するように表示部３０を制御する。
Based on a display instruction from the
触感制御部１４は、音声制御部１６からの触感を呈示する旨の指示により、所定の条件に基づく所定のパターンの振動を発生するように触感呈示部５０を制御する。また、触感制御部１４は、音声制御部１６からの触感を呈示する旨の指示により呈示される触感（音声を出力する旨の指示に対応付けられた触感）が、押圧荷重の条件を伴うものである場合、荷重検出部６０により検出される押圧荷重が、触感を呈示する所定の基準（音声を出力する旨の指示に対応付けられた所定の基準）を満たしているか否かを判定する。この場合、触感制御部１４は、触感を呈示する旨の指示を受けた場合、上述の触感を呈示する所定の基準を満たす押圧荷重が荷重検出部６０により検出されたら、所定の条件に基づく所定のパターンの振動を発生するように触感呈示部５０を制御する。また、このように、触感を呈示する所定の基準を満たす押圧荷重が荷重検出部６０により検出された際、触感制御部１４は、音声出力部７０が所定の音声を発生するタイミングを同期させるための同期情報を音声制御部１６に通知する。
The tactile
音声制御部１６は、タッチセンサ４０が所定領域における接触を検出したり、所定のイベントが発生した際などに、アプリケーション実行部２０からの音声を出力する旨の指示に基づいて、所定の音声を出力するように音声出力部７０を制御する。また、音声制御部１６は、所定の音声を出力するように音声出力部７０を制御する際に、触感を呈示する旨の指示を触感制御部１４に出す。この触感を呈示する旨の指示により呈示される触感が、押圧荷重の条件を伴うものである場合、音声制御部１６は、触感制御部１４に、上述した同期情報を通知するように要求する。
The
図２は、図１に示した触感呈示装置１の実装構造の一例を示すもので、図２（Ａ）は要部断面図、図２（Ｂ）は要部平面図である。表示部３０は、筐体６１内に収納保持する。表示部３０上には、弾性部材からなるインシュレータ６２を介して、タッチセンサ４０を保持する。なお、本実施の形態に係る触感呈示装置１は、表示部３０およびタッチセンサ４０を、平面視で矩形状としている。しかしながら、触感呈示装置１が備えるタッチセンサ４０または表示部３０の構成などの諸条件に応じた形状とすることができる。また、触感呈示装置１は、タッチセンサ４０を、図２（Ｂ）に仮想線で示す表示部３０の表示領域Ａから外れた４隅に配設したインシュレータ６２を介して表示部３０上に保持する。
2A and 2B show an example of the mounting structure of the tactile sensation providing apparatus 1 shown in FIG. 1, FIG. 2A is a main part sectional view, and FIG. 2B is a main part plan view. The
また、筐体６１には、表示部３０の表示領域から外れたタッチセンサ４０の表面領域を覆うようにアッパカバー６３を設け、このアッパカバー６３とタッチセンサ４０との間に、弾性部材からなるインシュレータ６４を配設する。なお、図２に示すタッチセンサ４０は、タッチ面４０ａを有する表面部材を、例えば透明フィルムやガラスで構成し、裏面部材をガラスやアクリルで構成している。タッチセンサ４０は、タッチ面４０ａが押圧されると、押圧部分が押圧力に応じて微少量撓む（歪む）、または構造体そのものが微少量撓む構造のものを用いる。
The
タッチセンサ４０の表面上には、アッパカバー６３で覆われる各辺の近傍に、タッチセンサ４０に加わる荷重（押圧力）を検出するための歪みゲージセンサ５１をそれぞれ接着等により設ける。さらに、タッチセンサ４０の裏面上には、対向する２つの辺の近傍に、タッチセンサ４０を振動させるための圧電振動子５２をそれぞれ接着等により設ける。すなわち、図２に示す触感呈示装置１は、図１に示した荷重検出部６０を４つの歪みゲージセンサ５１を用いて構成し、触感呈示部５０を、２つの圧電振動子５２を用いて構成している。そして、触感呈示部５０によりタッチセンサ４０を振動させることにより、タッチ面４０ａを振動させるようにしている。なお、図２（Ｂ）は、図２（Ａ）に示した筐体６１、アッパカバー６３およびインシュレータ６４の図示を省略している。
On the surface of the
次に、アプリケーション実行部２０による音声を出力する旨の指示と、当該指示に応じて音声制御部１６の制御により出力される音声および触感を呈示する旨の指示との対応関係について説明する。図３は、このような対応関係を示すテーブルである。図３に示した対応関係は単なる一例であり、このような対応関係は、触感呈示装置１において実行するアプリケーションに応じて変更することもできる。
Next, a correspondence relationship between an instruction to output sound by the
図３において、左側の列に示す「トーン識別子」とは、アプリケーション実行部２０が音声制御部１６に対して音声を出力する旨の指示を出す際に指定する音声を識別するためのものである。このトーン識別子は、所定領域においてタッチセンサ４０が検出した接触に応じて、または所定のイベントの発生により、アプリケーション実行部２０が音声制御部１６に対して出力するもの、または、アプリケーション実行部２０が音声制御部１６に対して指定するものである。なお、音声を出力する旨の指示は、例えば、このトーン識別子であってもよいし、トーン識別子を含むものであってもよいし、トーン識別子を指定するものであってもよい。図３の中央の列に示す「音の内容」とは、それぞれ対応するトーン識別子に基づいて音声制御部１６が音声出力部７０を制御することにより出力される音の具体的な内容を示している。さらに、図３の右側の列に示す「触感」とは、それぞれの「音の内容」に対応する音声を出力するように音声制御部１６が音声出力部７０を制御する際、触感制御部１４に出力される触感を呈示する旨の指示により、触感呈示部５０が呈示する触感の種別を示している。このように、図３の右側の列に示す「触感」にはそれぞれ音声を出力する旨の指示が対応付けられている。
In FIG. 3, the “tone identifier” shown in the left column is for identifying the voice that is designated when the
触感呈示装置１は、図３に示すようなテーブルを、例えば音声制御部１６に一時的に記憶することができる。しかしながら、触感呈示装置１は、図３に示すようなテーブルを、アプリケーション実行部２０に一時的に記憶するようにしても良いし、あるいは、音声制御部１６またはアプリケーション実行部２０が、記憶部８０から必要に応じて読み出すようにもできる。
The tactile sensation providing apparatus 1 can temporarily store a table as shown in FIG. However, the tactile sensation providing apparatus 1 may temporarily store a table as shown in FIG. 3 in the
図３に示す触感の列において「クリック」と記してあるのは、触感呈示部５０が「クリック触感」を呈示することを意味している。なお、ここで、かっこ書に１Ｎと記載してあるのは、触感を呈示する旨の指示により呈示される触感が、押圧荷重の条件を伴うものであることを意味している。この場合、荷重検出部６０が検出する押圧荷重が１Ｎ（ニュートン）以上となったら触感を呈示するという条件が課されていることを意味する。また、触感を呈示する旨の指示により呈示される触感（音声を出力する旨の指示に対応付けられた触感）が、押圧荷重の条件を伴うものである場合における、当該押圧荷重の条件は、音声を出力する旨の指示に対応付けられた所定の基準を意味する。このように、触感を呈示する旨には、音声を出力する旨の指示に対応付けられた触感に関する情報が含まれ、場合によっては、さらに音声を出力する旨の指示に対応付けられた所定の基準に関する情報も含まれる。
In the tactile sensation row shown in FIG. 3, “click” means that the tactile
また、触感の列において「ブルブル」と記してあるのは、触感呈示部５０が「ブルブル触感」、すなわち、少しの間ブルブルと振動が継続するような触感を呈示することを意味している。なお、ここではかっこ書を伴わないが、これは、触感を呈示する旨の指示により呈示される触感が、押圧荷重の条件を伴わないことを意味している。すなわち、この場合、所定領域においてタッチセンサ４０に対する接触が検出されたら、音声制御部１６は、音声出力の制御を行うとともに、触感を呈示する旨の指示を出すことを意味している。
In addition, the “tumble” in the tactile sense column means that the tactile
さらに、触感の列において「無し」と記してあるのは、触感呈示部５０が触感を呈示しないことを意味している。すなわち、この場合、所定領域においてタッチセンサ４０に対する接触が検出されたら、音声出力の制御は行うが、触感を呈示する旨の指示は出さないことを意味している。
Furthermore, “None” in the tactile sensation column means that the tactile
例えば、表示部３０において数字キーの「４」のオブジェクトが表示された領域に対応する位置のタッチセンサ４０に接触が検出されたとする。この場合、アプリケーション実行部２０は、表示部３０に既に表示している画面の状態を把握しているため、タッチセンサ４０から接触位置の情報が通知されると、接触が検出された位置が数字キーの「４」のオブジェクトに対応することが判定できる。すると、アプリケーション実行部２０は、実行中のアプリケーションに従って、トーン識別子TONE_KEY_4を音声制御部１６に通知する。
For example, it is assumed that contact is detected by the
図３に示したように、トーン識別子TONE_KEY_4は、[4]キー用のDTMF(Dual Tone Multi Frequency)を意味する。このトーン識別子が通知されると、音声制御部１６は、[4]キー用のDTMFを出力するように音声出力部７０を制御するとともに、触感呈示部５０がクリック触感を呈示するように触感制御部１４に触感を呈示する旨の指示を出す。ただし、この触感を呈示する旨の指示を受信した触感制御部１４は、直ちにクリック触感を呈示するように制御するのではなく、荷重検出部６０が検出する押圧荷重が１Ｎを超えたと判定した際に、クリック触感を呈示するように触感呈示部５０を制御する。
As shown in FIG. 3, the tone identifier TONE_KEY_4 means DTMF (Dual Tone Multi Frequency) for the [4] key. When this tone identifier is notified, the
また、例えば、タッチセンサ４０が検出した操作者による接触の操作に誤りがあったとする。すなわち、例えばタッチセンサ４０において操作者が本来接触すべきでない領域に接触が検出された場合などを想定する。すると、アプリケーション実行部２０は、実行中のアプリケーションに従って、トーン識別子TONE_WARNを音声制御部１６に通知する。図３に示したように、トーン識別子TONE_WARNは「警告音」を意味する。このトーン識別子が通知されると、音声制御部１６は、警告音を出力するように音声出力部７０を制御するとともに、触感呈示部５０がブルブル触感を呈示するように触感制御部１４に触感を呈示する旨の指示を出す。この場合、触感を呈示する旨の指示を受信した触感制御部１４は、荷重検出部６０が検出する押圧荷重の判定に関係なく、直ちにブルブル触感を呈示するように触感呈示部５０を制御する。
Further, for example, it is assumed that there is an error in the contact operation by the operator detected by the
さらに、例えば、触感呈示装置１を携帯電話に採用した場合において、通話を着信したとする。すると、アプリケーション実行部２０は、実行中のアプリケーションに従って、トーン識別子TONE_RING_Aを音声制御部１６に通知する。図３に示したように、トーン識別子TONE_ RING_Aは「第１ベル音」を意味する。このトーン識別子が通知されると、音声制御部１６は、第１ベル音を出力するように音声出力部７０を制御する。この場合、音声制御部１６は、触感を呈示する旨の指示を触感制御部１４に出さない。したがって、この場合、触感呈示部５０は触感を呈示せずに、音声出力部７０は第１ベル音を出力する。
Furthermore, for example, when the tactile sensation providing apparatus 1 is employed in a mobile phone, it is assumed that a call is received. Then, the
次に、本実施の形態に係る触感呈示装置の動作を説明する。 Next, the operation of the tactile sensation providing apparatus according to the present embodiment will be described.
まず、本実施の形態に係る触感呈示装置１におけるアプリケーション実行部２０の動作について説明する。本実施の形態において、アプリケーション実行部２０は、実行するアプリケーションが触感の呈示に対応しているか否かにかかわらず、同じ処理により触感呈示装置１の動作を行うことができる。しかしながら、ここでは、実行するアプリケーションが触感の呈示に対応していない場合について説明する。なお、上述したように、以下の説明で用いるアプリケーションには、表示部３０に表示されたオブジェクトの画像の位置に対応するタッチセンサ４０に接触が検出された際、何らかの音声を出力する処理が付加されているものとする。
First, the operation of the
図４は、本実施の形態に係る触感呈示装置１においてアプリケーション実行部２０を中心とする動作を説明するフローチャートである。
FIG. 4 is a flowchart for explaining operations centering on the
本実施の形態に係る動作が開始すると、アプリケーション実行部２０は、まず、実行するように指定されたアプリケーションを記憶部８０のアプリケーション記憶領域８２から読み出して（ステップＳ１１）、起動する（ステップＳ１２）。アプリケーションを起動したら、アプリケーション実行部２０は、各種の初期化処理を行うことにより、初期状態となる（ステップＳ１３）。
When the operation according to the present embodiment is started, the
以上の初期化処理においては、例えば、触感呈示装置１の表示部３０には、タッチセンサ４０において操作者の指などによる接触を検出する領域を示唆するため、キー等のオブジェクトの画像を表示する。この際、アプリケーション実行部２０は、ＧＵＩを構成する各オブジェクトの表示データを、記憶部８０から読み出して表示制御部１２に供給する。そして、表示制御部１２は、アプリケーション実行部２０から供給されたオブジェクトの表示データに基づいて、各オブジェクトの画像を表示（描画）するように表示部３０を制御する。
In the initialization process described above, for example, an image of an object such as a key is displayed on the
上述の初期化処理が完了すると、アプリケーション実行部２０は、タッチセンサ４０に対する接触の有無を監視する（ステップＳ１４）。ステップＳ１４においてタッチセンサ４０に対する接触が検出されたら、アプリケーション実行部２０は、当該接触が有効な接触操作であるか否かを判定する（ステップＳ１５）。すなわち、ステップＳ１５において、アプリケーション実行部２０は、タッチセンサ４０における接触の位置が、表示部３０に表示された現在のＧＵＩにおいてキー等のオブジェクトの画像が表示された領域に対応するか否かを判定する。
When the above-described initialization process is completed, the
ステップＳ１５において、接触の位置がオブジェクトの画像が表示された領域に対応する場合、アプリケーション実行部２０は、当該接触操作に応じて、所定の表示を行う旨の指示および所定の音声を出力する旨の指示を出す（ステップＳ１６）。なお、所定の音声を出力する旨の指示とは、具体的には、図３において説明したトーン識別子である。また、所定の表示を行う旨の指示は表示制御部１２に対して、また所定の音声を出力する旨の指示は音声制御部１６に対して出力される。
In step S15, when the contact position corresponds to the area where the image of the object is displayed, the
表示制御部１２および音声制御部１６は、これらの指示を受信すると、それぞれ指示に応じた各種の処理および／または状態遷移を必要に応じて行う（ステップＳ１７）。なお、ステップＳ１７において、音声制御部１６が行う動作は、図５において後述する。
Upon receiving these instructions, the display control unit 12 and the
ステップＳ１７において、表示制御部１２は、表示されるオブジェクトの画像を変更するように表示部３０を制御する。すなわち、キー等のオブジェクトに対する接触が検出された場合、当該オブジェクトの表示画像を変更する。オブジェクトの表示画像を変更する際、例えばオブジェクトが選択されたような表示をしたり、またオブジェクトの色または輝度などを変化させたりして、キー等に対する接触が認識されたことを操作者が視認できるようにするのが好適である。アプリケーションに基づく設定に従ってオブジェクトの画像を変更するための表示データは、アプリケーション実行部２０が記憶部８０から読み出すことにより、表示制御部１２に供給することができる。この表示データを受け取ったら、表示制御部１２は、当該表示データを用いて所定の表示を行うように表示部３０を制御する。
In step S17, the display control unit 12 controls the
ステップＳ１７において各種の処理が完了したら、次に、アプリケーション実行部２０は、接触操作以外の所定のイベントが発生したか否かを判定する（ステップＳ１８）。ステップＳ１４においてタッチセンサ４０が接触を検出しない場合、またステップＳ１５おいて検出された接触が有効な接触でない場合も、アプリケーション実行部２０は、ステップＳ１８以降の処理を続行する。なお、ここでいう「接触操作以外の所定のイベント」とは、例えば、設定したタイマーによってカウントされる期間が満了したり、電話機能に基づいて通話を着信したり、バッテリの残量が少なくなったなどのイベントが発生することを想定している。
When various processes are completed in step S17, the
ステップＳ１８において接触操作以外の所定のイベントの発生が検出された場合、アプリケーション実行部２０は、当該発生したイベントに応じて、所定の表示を行う旨の指示および所定の音声を出力する旨の指示を出す（ステップＳ１９）。なお、ここでも、所定の音声を出力する旨の指示とは、具体的には、図３において説明したトーン識別子である。また、所定の表示を行う旨の指示は表示制御部１２に対して、また所定の音声を出力する旨の指示は音声制御部１６に対して出力される。
When occurrence of a predetermined event other than the touch operation is detected in step S18, the
表示制御部１２および音声制御部１６は、これらの指示を受信すると、それぞれ指示に応じた各種の処理および／または状態遷移を必要に応じて行う（ステップＳ２０）。なお、ステップＳ２０において、音声制御部１６が行う動作も、図５において後述する。
When receiving these instructions, the display control unit 12 and the
ステップＳ２０において、表示制御部１２は、表示されるオブジェクトの画像を変更するように表示部３０を制御する。すなわち、例えば通話の着信のイベントが発生した場合、表示制御部１２は、通話を着信している旨を操作者に示唆する画像表示を行うように表示部３０を制御する。
In step S20, the display control unit 12 controls the
ステップＳ２０において各種の処理が完了したら、アプリケーション実行部２０は、実行中のアプリケーションを終了させるイベントが発生しているか否かを判定する（ステップＳ２１）。ステップＳ２１においてアプリケーションを終了させるイベントが発生していると判定された場合、アプリケーション実行部２０は、図４に示す処理を終了する。一方、ステップＳ２１においてアプリケーションを終了させるイベントが発生していない場合、アプリケーション実行部２０は、ステップＳ１４に戻って処理を続行する。なお、ステップＳ１８において、接触操作以外の所定のイベントの発生が検出されない場合は、アプリケーション実行部２０は、ステップＳ２１に戻って処理を続行する。
When various processes are completed in step S20, the
図５は、本実施の形態に係る触感呈示装置１において音声制御部１６を中心とする動作を説明するフローチャートである。
FIG. 5 is a flowchart for explaining the operation centering on the
本実施の形態に係る動作が開始すると、音声制御部１６は、まず、音声を出力する旨の指示が通知されているか否かを判定する（ステップＳ３１）。ステップＳ３１においては、図４において説明したステップＳ１６またはステップＳ１９における音声を出力する旨の指示が音声制御部１６に通知されているか否かを判定する。
When the operation according to the present embodiment is started, the
ステップＳ３１において音声を出力する旨の指示が通知されている場合、音声制御部１６は、通知された音声を出力する旨の指示が、触感を呈示すべき音声種別であるか否かを判定する（ステップＳ３２）。具体的には、ステップＳ３２において、音声制御部１６は、アプリケーション実行部２０から通知されたトーン識別子に対応する触感が、図３にて説明した「クリック」の触感や「ブルブル」の触感であるか、または触感が「無し」であるかを判定する。
When an instruction to output sound is notified in step S31, the
ステップＳ３２において、通知された音声を出力する旨の指示が触感を呈示すべき音声種別である場合、音声制御部１６は、音声種別に応じて、触感を呈示する旨の指示を触感制御部１４に通知する（ステップＳ３３）。それから、音声制御部１６は、当該触感を呈示する旨の指示が、押圧荷重の条件を伴うものであるか否かを判定する（ステップＳ３４）。ステップＳ３４において、触感を呈示する旨の指示が押圧荷重の条件を伴うものである場合、音声制御部１６は、触感制御部１４に対して、同期情報を通知するよう要求する（ステップＳ３５）。この「同期情報」とは、後述するように、荷重検出部６０により検出される押圧荷重が所定の基準を満たした際に触感制御部１４から通知される情報である。
In step S32, when the instruction to output the notified voice is a voice type that should present a tactile sensation, the
ステップＳ３５において同期情報を通知するよう要求したら、音声制御部１６は、触感制御部１４から同期情報が通知されるのを待機する（ステップＳ３６）。ステップＳ３６において触感制御部１４から同期情報が通知されたら、音声制御部１６は、指示された所定の音声を出力するように音声出力部７０を制御する（ステップＳ３７）。
If it requests | requires notifying of synchronous information in step S35, the audio |
一方、ステップＳ３２において、通知された音声を出力する旨の指示が触感を呈示すべき音声種別でない場合、音声制御部１６は、ステップＳ３７に移行して、指示された音声を出力するように音声出力部７０を制御する。また、ステップＳ３４において、触感を呈示する旨の指示が押圧荷重の条件を伴うものでない場合も、音声制御部１６は、ステップＳ３７に移行して、指示された音声を出力するように音声出力部７０を制御する。
On the other hand, in step S32, when the instruction to output the notified voice is not a voice type that should present a tactile sensation, the
すなわち、本実施の形態においては、音声制御部１６は、（アプリケーション実行部２０から）音声を出力する旨の指示を受けると、所定の音声を出力するように音声出力部７０を制御するとともに、触感を呈示する旨の指示を触感制御部１４に出すように制御する。また、本実施の形態においては、触感を呈示する旨の指示が押圧荷重の条件を伴うものである場合、音声制御部１６は、荷重検出部６０が検出する押圧荷重が所定の基準を満たした際に通知される同期情報を受信するまでは、音声を出力する制御を行わない。
That is, in the present embodiment, when receiving an instruction to output sound (from the application execution unit 20), the
したがって、本実施の形態において、押圧荷重が所定の基準を満たしていないため、操作者がタッチセンサ４０を押圧する操作が有効であると認識されておらず触感が呈示されないにもかかわらず、音声のみが音声出力部７０から出力されるという不都合は生じない。このため、操作者がタッチセンサ４０を押圧する操作がまだ触感呈示装置に有効と認識されていないにもかかわらず、（操作が有効と認識された旨の）音声のみが音声出力部７０から出力されてしまうことにより、操作者が混乱するという事態も生じない。
Therefore, in this embodiment, since the pressing load does not satisfy the predetermined standard, the operator does not recognize that the operation of pressing the
図６は、本実施の形態に係る触感呈示装置１において触感制御部１４を中心とする動作を説明するフローチャートである。
FIG. 6 is a flowchart for explaining the operation centering on the tactile
本実施の形態に係る動作が開始すると、触感制御部１４は、まず、音声制御部１６から、触感を呈示する旨の指示が通知されているか否かを判定する（ステップＳ５１）。ステップＳ５１においては、図５において説明したステップＳ３３における触感を呈示する旨の指示が音声制御部１６から触感制御部１４に通知されているか否かを判定する。
When the operation according to the present embodiment starts, the tactile
ステップＳ５１において音声制御部１６から触感を呈示する旨の指示が通知された場合、触感制御部１４は、当該触感を呈示する旨の指示とともに、音声制御部１６から同期情報の通知を要求されているか否かを判定する（ステップＳ５２）。ステップＳ５２における同期情報とは、図５において説明したステップＳ３５において、触感を呈示する旨の指示が押圧荷重の条件を伴うものである場合に、音声制御部１６が、触感制御部１４に対して通知を要求した情報である。
When an instruction to present tactile sensation is received from the
ステップＳ５２において、音声制御部１６から同期情報の通知を要求されている場合、触感制御部１４は、荷重検出部６０が検出する押圧荷重が所定の基準を満たしたか否かを監視する（ステップＳ５３）。ステップＳ５３において、触感制御部１４は、荷重検出部６０により検出される押圧荷重が、タッチセンサ４０のタッチ面に対する押圧によって増加しながら所定の基準を満たしたか否かを判定する。すなわち、ステップＳ５３においては、荷重検出部６０が検出する押圧荷重が所定の基準を満たすまで、触感の呈示は保留される。
When notification of synchronization information is requested from the
なお、荷重検出部６０は、例えば、４つの歪みゲージセンサ５１の出力の平均値から荷重を検出する。ここで、所定の基準を満たす荷重は、操作者が通常の押圧操作を行う際の押圧荷重に基づいて、例えば１Ｎ（ニュートン）などの値を予め設定し、その後も設定変更できるようにするのが好適である。また、この基準は、操作者の意図に基づく押圧入力の際の押圧荷重を考慮して（例えば平均値など）、過度に低い基準を設定しないようにする。これは、操作者が意図せずに軽く触れてしまった（タッチ）ような場合の操作を、押圧（プッシュ）入力としては受け付けないようにするため、および後述するリアルな触感のための圧覚を操作者に与えるためである。
For example, the
ステップＳ５３において、荷重検出部６０により検出される押圧荷重が所定の基準を満たしたら、触感制御部１４は、音声制御部１６に対して前述の同期信号を通知する（ステップＳ５４）。ステップＳ５４において音声制御部１６に同期信号を通知したら、触感制御部１４は、触感の種別に応じて所定の振動パターンを出力して触感呈示部５０が所定の触感を呈示するように制御する（ステップＳ５５）。なお、ステップＳ５４において触感制御部１４から音声制御部１６に通知された同期信号は、図５において説明したステップＳ３６においてトリガとなるため、次のステップＳ３７において出力される音声と、ステップＳ５５において呈示される触感とは同期する。このように同期信号を用いることにより、触感制御部１４および音声制御部１６（制御部）は、荷重検出部６０により検出される押圧荷重が音声を出力する旨の指示に対応付けられた所定の基準を満たしたら、音声を出力する旨の指示に対応付けられた触感を呈示するように触感呈示部５０を制御するとともに、所定の音声を出力するように音声出力部７０を制御することができる。
In step S53, when the pressing load detected by the
一方、ステップＳ５２において音声制御部１６から同期情報の通知が要求されていない場合、触感制御部１４は、ステップＳ５５に移行して、直ちに触感の種別に応じて所定の振動パターンを出力して触感呈示部５０が所定の触感を呈示するように制御する。
On the other hand, when the notification of the synchronization information is not requested from the
すなわち、本実施の形態においては、触感制御部１４は、触感を呈示する旨の指示に基づいて、タッチセンサ４０のタッチ面を押圧している押圧対象に対して触感を呈示するように触感呈示部５０を制御する。また、この場合において、触感制御部１４は、触感を呈示する旨の指示に基づいて、荷重検出部６０により検出される押圧荷重が所定の基準を満たしたら、タッチ面を押圧している押圧対象に対して触感を呈示するように触感呈示部５０の駆動を制御する。
That is, in the present embodiment, the tactile
なお、本実施の形態では、図３において説明したクリック触感を呈示するためには、触感呈示装置１は、操作者の圧覚が刺激された状態で触覚を刺激する。すなわち、触感呈示装置１は、タッチセンサ４０に加わる荷重が、触感を呈示する基準（例えば１Ｎ）を満たすまでは、圧覚を刺激するようにし、荷重が当該基準を満たすと、圧電振動子５２を所定の駆動信号で駆動してタッチ面４０ａを振動させて触覚を刺激する。これにより、触感呈示装置１は、押しボタンスイッチ（プッシュ式ボタンスイッチ）のようなボタンスイッチを押した際に得られるのと同様なクリック触感を、操作者に呈示することができる。したがって、操作者は、タッチセンサ上部に描画された押しボタンスイッチであっても、押しボタンスイッチを操作した場合と同様のリアルなクリック触感を得ながら、タッチセンサ４０に対して入力操作を行うことができるので、違和感を覚えることがない。また、タッチセンサ４０を「押した」という意識との連動で入力操作を行うことができるので、単なる押圧による入力ミスも防止することができる。
In the present embodiment, in order to present the click tactile sensation described in FIG. 3, the tactile sensation providing apparatus 1 stimulates the tactile sense in a state where the operator's pressure sense is stimulated. That is, the tactile sensation providing apparatus 1 stimulates pressure sense until a load applied to the
上述したクリック触感を呈示する際の駆動信号、すなわち触覚を刺激する一定周波数、周期（波長）、波形、振幅は、呈示するクリック触感に応じて適宜設定することができる。例えば、携帯端末に使用されているメタルドームスイッチに代表されるクリック触感を呈示する場合、例えば、１７０Ｈｚの一定周波数のＳｉｎ波からなる１周期分の駆動信号により触感呈示部５０を駆動する。このような駆動信号により触感呈示部５０を駆動させて、タッチ面４０ａを、基準の押圧荷重が加わった状態で、約１５μｍ振動させる。これにより、実際のキーをクリックした場合のような、リアルなクリック触感を操作者に呈示することができる。
The drive signal when presenting the click sensation described above, that is, the constant frequency, period (wavelength), waveform, and amplitude for stimulating the sense of touch can be set as appropriate according to the click sensation presented. For example, when a tactile sensation represented by a metal dome switch used in a portable terminal is presented, for example, the tactile
このように、本発明に係る触感呈示装置１によれば、アプリケーション実行部２０からの音声を出力する旨の指示に基づいて触感を呈示する。このような構成にすることにより、触感呈示装置１は、操作者の操作に伴って、例えばボタンの表示が反転するなどのＧＵＩを備えていないアプリケーションにも対応できる。また、このような構成にすることにより、触感呈示装置１は、高度な画像解析アルゴリズムも必要としない。さらに、触感呈示装置１は、触感を呈示するタイミングに同期させて音声を出力するため、操作者が操作を行う際に違和感を与えることもない。
Thus, according to the tactile sensation providing apparatus 1 according to the present invention, a tactile sensation is presented based on an instruction from the
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、上述した実施の形態では、表示制御部１２と、触感制御部１４と、音声制御部１６と、アプリケーション実行部２０とは、別の構成要素として説明した。しかしながら、本発明による触感呈示装置は、このような構成に限定されるものではなく、設計の際の要求に応じて種々の構成を採ることができる。例えば、制御部が、表示制御部１２と、触感制御部１４と、音声制御部１６と、アプリケーション実行部２０の全てまたは一部の構成要素を含むようにもできる。
In addition, this invention is not limited only to the said embodiment, Many deformation | transformation or a change is possible. For example, in the above-described embodiment, the display control unit 12, the tactile
また、上記実施の形態では、タッチセンサ４０を用いて、当該タッチセンサのタッチ面に対する接触を検出したが、荷重センサ（荷重検出部）を用いて、所定の押圧荷重の基準を満たした場合に、接触がなされたものと判定することもできる。このような荷重検出部は、上述した実施の形態の荷重検出部と同様に、任意の個数の歪みゲージセンサ等を用いて構成することができる。
Moreover, in the said embodiment, although the contact with respect to the touch surface of the said touch sensor was detected using the
また、上述した実施の形態において、荷重検出部は、タッチセンサにおける接触検出方式に応じて構成することができる。例えば、抵抗膜方式の場合には、接触面積による抵抗変化に基づく出力信号の変化から荷重が検出できれば、歪みゲージセンサを用いることなく構成することができる。あるいは、静電容量方式の場合には、静電容量の変化に基づく出力信号の変化から荷重が検出できる場合も、歪みゲージセンサを用いることなく構成することができる。 Moreover, in embodiment mentioned above, a load detection part can be comprised according to the contact detection system in a touch sensor. For example, in the case of the resistance film method, if a load can be detected from a change in an output signal based on a change in resistance due to a contact area, it can be configured without using a strain gauge sensor. Alternatively, in the case of the electrostatic capacity method, even when the load can be detected from the change in the output signal based on the change in the electrostatic capacity, it can be configured without using the strain gauge sensor.
また、触感呈示部は、任意の個数の圧電振動子を用いて構成したり、タッチセンサの全面に透明圧電素子を設けて構成したり、触感を呈示する振動を表現できるのであれば、偏心モータを駆動信号の１周期で１回転させるようにして構成したり、することもできる。さらに、荷重検出部および触感呈示部は、圧電素子を用いて構成する場合は、圧電素子を共用して荷重検出部および触感呈示部を構成することもできる。 In addition, the tactile sensation providing unit may be configured using an arbitrary number of piezoelectric vibrators, or may be configured by providing a transparent piezoelectric element on the entire surface of the touch sensor, or can express vibration that presents tactile sensation. Can be configured to rotate once in one cycle of the drive signal. Furthermore, when the load detection unit and the tactile sensation providing unit are configured using a piezoelectric element, the load detection unit and the tactile sensation providing unit can be configured by sharing the piezoelectric element.
上述した実施の形態においては、タッチセンサを表示部の上面に重ねて配置した構成を想定して説明した。しかしながら、本発明による触感呈示装置は、必ずしもこのような構成にする必要はなく、タッチセンサと表示部とを離間した構成にしてもよい。 In the above-described embodiment, the description has been made assuming the configuration in which the touch sensor is arranged on the upper surface of the display unit. However, the tactile sensation providing apparatus according to the present invention does not necessarily have such a configuration, and the touch sensor and the display unit may be separated from each other.
さらに、本発明を、「発明が解決しようとする課題」の欄において説明した、表示部に表示されたオブジェクトの画像の変化に基づいて触感を呈示する構成と組み合わせれば、一層確実に適切な触感を呈示することができて好適である。 Furthermore, if the present invention is combined with the configuration that presents a tactile sensation based on the change in the image of the object displayed on the display unit described in the section “Problems to be Solved by the Invention”, it is more surely appropriate. It is preferable that a tactile sensation can be presented.
また、本発明に係る触感呈示装置は、圧電素子の出力に基づいて検出される押圧荷重が触感を呈示する所定の基準を満たした際に、当該圧電素子を駆動することを想定して説明した。ここで、圧電素子の出力に基づいて検出される押圧荷重が触感を呈示する基準を満たした際とは、検出される押圧荷重が触感を呈示する基準値に達した際であってもよいし、検出される押圧荷重が触感を呈示する基準値を超えた際でもよいし、圧電素子の出力に基づいて触感を呈示する基準値が検出された際でもよい。 Further, the tactile sensation providing apparatus according to the present invention has been described on the assumption that the piezoelectric element is driven when a pressing load detected based on the output of the piezoelectric element satisfies a predetermined standard for presenting a tactile sensation. . Here, the case where the pressing load detected based on the output of the piezoelectric element satisfies the standard for presenting tactile sensation may be the time when the detected pressing load reaches a reference value for presenting tactile sensation. The detected pressing load may exceed a reference value that provides tactile sensation, or may be detected when a reference value that provides tactile sensation is detected based on the output of the piezoelectric element.
また、上述した実施の形態において、触感呈示部５０がタッチ面に接触している接触対象に対して触感を呈示する態様として、触感呈示部５０がタッチセンサ４０のタッチ面に振動を発生させることにより、タッチ面に接触している接触対象に対して触感を呈示する態様を挙げて説明したが、本発明はこれに限定されず、タッチセンサ４０上に貼ったフィルムの電荷を制御する等により、機械的な振動を使わずに、タッチ面に接触している接触対象に対して触感を呈示してもよい。
In the above-described embodiment, the tactile
また、上述の本発明の実施形態の説明における「表示部」及び「タッチセンサ」は、表示部とタッチセンサとの両機能を共通の基板に持たせる等により、一体化した装置によって構成されてもよい。このような表示部とタッチセンサとの両機能を一体化した装置の構成の一例としては、液晶パネルが有するマトリクス状配列の画素電極群に、フォトダイオード等の複数の光電変換素子を規則的に混在させたものがある。この装置は、液晶パネル構造によって画像を表示する一方で、パネル表面の所望位置をタッチ入力するペンの先端で液晶表示用のバックライトの光を反射し、この反射光を周辺の光電変換素子が受光することにより、タッチ位置を検出することができる。 Further, the “display unit” and “touch sensor” in the description of the embodiment of the present invention described above are configured by an integrated device, for example, by providing both functions of the display unit and the touch sensor on a common substrate. Also good. As an example of the configuration of the device in which both functions of the display unit and the touch sensor are integrated, a plurality of photoelectric conversion elements such as photodiodes are regularly arranged in a matrix electrode array of pixel electrodes included in the liquid crystal panel. Some are mixed. This device displays an image with a liquid crystal panel structure, while reflecting the light of a backlight for liquid crystal display at the tip of a pen that touches and inputs a desired position on the surface of the panel. The reflected light is reflected by peripheral photoelectric conversion elements. By receiving the light, the touch position can be detected.
１ 触感呈示装置
１０ 制御部
１２ 表示制御部
１４ 触感制御部
１６ 音声制御部
２０ アプリケーション実行部
３０ 表示部
４０ タッチセンサ
４０ａ タッチ面
５０ 触感呈示部
５１ 歪みゲージセンサ
５２ 圧電振動子
６０ 荷重検出部
６１ 筐体
６２ インシュレータ
６３ アッパカバー
６４ インシュレータ
７０ 音声出力部
８０ 記憶部
DESCRIPTION OF SYMBOLS 1 Tactile
Claims (3)
前記タッチセンサのタッチ面に接触している接触対象に対して触感を呈示する触感呈示部と、
音を出力する旨の指示に基づいて、所定の音を出力するように制御する制御部と、を備え、
前記制御部は、前記音を出力する旨の指示に対応付けられた触感を呈示するように前記触感呈示部を制御することを特徴とする触感呈示装置。 A touch sensor;
A tactile sensation providing unit that provides a tactile sensation with respect to a contact target that is in contact with the touch surface of the touch sensor;
A control unit that controls to output a predetermined sound based on an instruction to output a sound, and
The tactile sensation providing apparatus controls the tactile sensation providing unit so as to present a tactile sensation associated with an instruction to output the sound.
前記タッチセンサのタッチ面に接触している接触対象に対して触感を呈示する触感呈示部と、
前記タッチセンサのタッチ面に対する押圧荷重を検出する荷重検出部と、
音を出力する旨の指示に基づいて、所定の音を出力するように制御する制御部と、を備え、
前記制御部は、前記荷重検出部により検出される押圧荷重が前記音を出力する旨の指示に対応付けられた所定の基準を満たしたら、前記音を出力する旨の指示に対応付けられた触感を呈示するように前記触感呈示部を制御することを特徴とする触感呈示装置。 A touch sensor;
A tactile sensation providing unit that provides a tactile sensation with respect to a contact target that is in contact with the touch surface of the touch sensor;
A load detection unit for detecting a pressing load on the touch surface of the touch sensor;
A control unit that controls to output a predetermined sound based on an instruction to output a sound, and
When the pressing load detected by the load detection unit satisfies a predetermined criterion associated with the instruction to output the sound, the tactile sensation associated with the instruction to output the sound. The tactile sensation providing unit is configured to control the tactile sensation providing unit.
前記音を出力する旨の指示に対応付けられた触感を呈示するように前記触感呈示部を制御するとともに、前記所定の音を出力するように制御することを特徴とする請求項２に記載の触感呈示装置。 When the control unit satisfies a predetermined criterion associated with an instruction that the pressing load detected by the load detection unit outputs the sound,
The tactile sensation providing unit is controlled so as to present a tactile sensation associated with an instruction to output the sound, and the predetermined sound is output. Tactile presentation device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010264095A JP5706676B2 (en) | 2010-11-26 | 2010-11-26 | Tactile presentation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010264095A JP5706676B2 (en) | 2010-11-26 | 2010-11-26 | Tactile presentation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012113646A JP2012113646A (en) | 2012-06-14 |
| JP5706676B2 true JP5706676B2 (en) | 2015-04-22 |
Family
ID=46497761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010264095A Active JP5706676B2 (en) | 2010-11-26 | 2010-11-26 | Tactile presentation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5706676B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6393604B2 (en) * | 2014-12-08 | 2018-09-19 | 株式会社デンソーテン | Operating device |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2922035B1 (en) * | 2007-10-08 | 2016-09-30 | Dav | METHOD FOR CONTROLLING A TOUCH-SURFACE CONTROL DEVICE AND ELECTRICAL CONTROL DEVICE WITH A TOUCH-SURFACE HAVING MEANS FOR CARRYING OUT SAID METHOD |
| US20090102805A1 (en) * | 2007-10-18 | 2009-04-23 | Microsoft Corporation | Three-dimensional object simulation using audio, visual, and tactile feedback |
| JP4838280B2 (en) * | 2008-03-31 | 2011-12-14 | 太平洋セメント株式会社 | Touch panel type input device |
| WO2010104953A1 (en) * | 2009-03-10 | 2010-09-16 | Artificial Muscle, Inc. | Electroactive polymer transducers for tactile feedback devices |
-
2010
- 2010-11-26 JP JP2010264095A patent/JP5706676B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012113646A (en) | 2012-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9727177B2 (en) | Electronic device with a touch sensor | |
| JP5555612B2 (en) | Tactile presentation device | |
| US20190138100A1 (en) | Input apparatus and control method for input apparatus | |
| US10627903B2 (en) | Tactile sensation providing apparatus and method for providing tactile sensation | |
| JP5529663B2 (en) | Input device | |
| JP5718475B2 (en) | Tactile presentation device | |
| WO2012108203A1 (en) | Electronic device and method of controlling same | |
| JP5437786B2 (en) | Tactile presentation device | |
| WO2013046670A1 (en) | Tactile presentation device | |
| JP5766398B2 (en) | Tactile presentation device | |
| JP5243379B2 (en) | Input device | |
| US9880622B2 (en) | Tactile sensation providing apparatus and control method for tactile sensation providing apparatus when using an application that does not support operation of tactile sensation | |
| JP5587759B2 (en) | Tactile sensation presentation apparatus, program used for the apparatus, and tactile sensation presentation method | |
| US9804674B2 (en) | Tactile sensation providing apparatus | |
| JP5706676B2 (en) | Tactile presentation device | |
| JP5763579B2 (en) | Electronics | |
| JP5292244B2 (en) | Input device | |
| JP2011095925A (en) | Input device | |
| JP2011095928A (en) | Input device | |
| JP2011095926A (en) | Input device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131015 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140701 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140901 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150217 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150227 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5706676 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |