JP5555612B2 - Tactile presentation device - Google Patents
Tactile presentation device Download PDFInfo
- Publication number
- JP5555612B2 JP5555612B2 JP2010264081A JP2010264081A JP5555612B2 JP 5555612 B2 JP5555612 B2 JP 5555612B2 JP 2010264081 A JP2010264081 A JP 2010264081A JP 2010264081 A JP2010264081 A JP 2010264081A JP 5555612 B2 JP5555612 B2 JP 5555612B2
- Authority
- JP
- Japan
- Prior art keywords
- tactile sensation
- layer
- display
- contact
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、触感を呈示する装置に関するものである。より詳細には、本発明は、タッチセンサに対する接触操作に基づいて触感を呈示する装置に関するものである。 The present invention relates to an apparatus for presenting a tactile sensation. More particularly, the present invention relates to an apparatus that presents a tactile sensation based on a touch operation on a touch sensor.
近年、携帯電話等の携帯端末において、ユーザによる操作を検出する操作部やスイッチ等の入力装置として、タッチパネルやタッチスイッチ等のタッチセンサを備える入力装置が採用されているものがある。携帯端末以外に、電卓、券売機等の情報機器や、電子レンジ、テレビ、照明器具等の家電製品、産業用機器(FA機器)等にも、タッチセンサを備える入力装置は広く使用されている。 2. Description of the Related Art In recent years, in mobile terminals such as mobile phones, some input devices including touch sensors such as touch panels and touch switches have been adopted as input devices such as operation units and switches that detect user operations. In addition to portable terminals, input devices equipped with touch sensors are widely used in information devices such as calculators and ticket machines, household appliances such as microwave ovens, televisions, and lighting equipment, and industrial equipment (FA devices). .
このようなタッチセンサには、抵抗膜方式、静電容量方式、光学式等の種々の方式が知られている。しかしながら、いずれの方式のタッチセンサにおいても、指やスタイラスペンによる接触を検出するものであって、タッチセンサ自体は、接触されても、押しボタンスイッチのようには物理的に変位しない。 As such a touch sensor, various systems such as a resistive film system, a capacitance system, and an optical system are known. However, any type of touch sensor detects contact with a finger or a stylus pen, and the touch sensor itself is not physically displaced like a push button switch even when touched.
したがって、操作者は、接触による操作が入力装置に認識されても、当該操作に対するフィードバックを得ることができない。このため、タッチセンサに対して操作を行う操作者は、機械式の押しボタンスイッチで構成されるキーやボタンを押下する際に得られるような操作感を得ることができない。その結果、操作者は、タッチセンサに対する接触に基づいて入力装置が所定の動作を開始しない限り、自らの接触操作が入力装置に適切に認識されたのか否かを知る術がないという問題がある。 Therefore, even if the operation by contact is recognized by the input device, the operator cannot obtain feedback for the operation. For this reason, the operator who operates with respect to a touch sensor cannot obtain the operation feeling obtained when pressing a key or a button constituted by a mechanical push button switch. As a result, there is a problem that the operator has no way of knowing whether or not his / her contact operation has been properly recognized by the input device unless the input device starts a predetermined operation based on contact with the touch sensor. .
そこで、従来、聴覚や視覚によらず、タッチセンサが接触を検出すると、タッチセンサを振動させて、操作者の指先に振動を発生させるようにしたフィードバック方法が提案されている(例えば、特許文献1および特許文献2参照)。 Therefore, conventionally, a feedback method has been proposed in which when the touch sensor detects contact regardless of hearing or vision, the touch sensor is vibrated to generate vibration at the fingertip of the operator (for example, Patent Documents). 1 and Patent Document 2).
この特許文献1および特許文献2に開示の技術によれば、タッチセンサに対する操作が検出された際に、操作者の指先などに、振動を発生させることができる。したがって、このような入力装置を用いて操作を行う操作者は、タッチセンサに対して行った操作が入力装置に正しく認識されたことを、触覚により認識することができる。
According to the techniques disclosed in
ところで、タッチパネルを備えた入力装置は、タッチセンサの背面に配置された表示部(例えばLCD)においてキーやボタンなどのオブジェクトを画像で表示することにより、操作者がタッチセンサ上で接触すべき場所または位置を示唆する構成のものが多い。また、最近では、このような表示部がオブジェクトなどの画像を表示するように制御を行う制御部(例えばLCDコントローラ)には、レイヤ表示を行うことができるものもある。 By the way, an input device provided with a touch panel displays an object such as a key or a button as an image on a display unit (for example, LCD) arranged on the back surface of the touch sensor, so that an operator should touch the touch sensor. There are many configurations that suggest a position. Recently, some control units (for example, LCD controllers) that perform control such that such a display unit displays an image of an object or the like can perform layer display.
レイヤ表示とは、表示部に画像を表示する際に、複数の仮想的なレイヤを重畳させたものとして画像を合成して表示することである。透過色でない画像がレイヤによって重畳表示される場合、表示部においては最上位のレイヤの画像のみが表示され、下位のレイヤの画像のうち重畳された箇所は表示されない。一方、透過色の画像がレイヤによって重畳表示される場合、表示部において最上位のレイヤを透過して下位のレイヤの画像も表示される。 The layer display is to synthesize and display an image as a superposition of a plurality of virtual layers when displaying the image on the display unit. When an image that is not a transparent color is superimposed and displayed by a layer, only the image of the highest layer is displayed on the display unit, and the superimposed portion of the images of the lower layer is not displayed. On the other hand, when a transparent color image is superimposed and displayed by a layer, an image of a lower layer is also displayed through the uppermost layer in the display unit.
このようにタッチセンサの背面に配置された表示部にオブジェクトをレイヤ表示する構成の入力装置においては、上述した振動の発生により触感を呈示しようとすると、いくつかの問題が想定される。 In the input device configured to display objects in layers on the display unit arranged on the back surface of the touch sensor in this way, there are several problems that are expected to be caused by the occurrence of vibration described above.
まず、レイヤ表示において、複数の階層構造はあくまでも仮想的なものであり、実際の表示部の表示としては、1つの表示部において1枚の画像が表示されるだけである。このため、表示部に表示したオブジェクトの領域に対応する位置においてタッチセンサが接触を検出したことにより触感を呈示しようとしても、入力装置は、当該接触がどのレイヤにおけるオブジェクトに対応する入力なのかを把握することができない。 First, in layer display, a plurality of hierarchical structures are only virtual, and only one image is displayed on one display unit as an actual display unit display. For this reason, even if the touch sensor tries to present a tactile sensation by detecting a contact at a position corresponding to the object area displayed on the display unit, the input device determines which layer the input corresponds to the object. I can't figure it out.
一般的な入力装置では、特にオブジェクトを透過色でない画像により表示するような場合、複数のレイヤのうち最上位のレイヤに表示されたオブジェクトの領域に対応する位置において、タッチセンサが接触を検出すれば充分なこともある。しかしながら、このように最上位のレイヤに表示されたオブジェクトのみを考慮して接触を検出して触感を呈示する場合、アプリケーションプログラムを実行する要素が、常に表示部において最上位のレイヤに表示されたオブジェクトを認識している必要がある。 In general input devices, particularly when an object is displayed with an image that is not a transparent color, the touch sensor detects contact at a position corresponding to the object area displayed on the top layer among the plurality of layers. Sometimes it is enough. However, when the touch is detected and the tactile sensation is presented in consideration of only the object displayed on the top layer in this way, the element that executes the application program is always displayed on the top layer in the display unit. The object needs to be recognized.
また、このように最上位のレイヤに表示されたオブジェクトのみを考慮する場合、複数のオブジェクトが複数のレイヤの同じ位置に重畳表示されていると、最上位のレイヤ以外のレイヤに表示されたオブジェクトに対する接触を検出することはできない。特に、例えば携帯電話のような小型の端末にタッチパネルを採用する場合、その表示部およびタッチセンサともに小型にせざるを得ないことが多い。したがって、上述したように表示部において複数のオブジェクトを透過色により複数のレイヤに重畳表示して、任意のレイヤのオブジェクトに対する接触を検出することができれば、タッチパネルの面積が小さくとも有効利用することができる。 In addition, when considering only the object displayed on the top layer in this way, if multiple objects are superimposed on the same position on multiple layers, the object displayed on a layer other than the top layer is displayed. It is not possible to detect a contact with respect to. In particular, when a touch panel is employed in a small terminal such as a cellular phone, for example, the display unit and the touch sensor often have to be small. Accordingly, as described above, if a plurality of objects can be superimposed and displayed on a plurality of layers with a transparent color on the display unit and contact with an object of an arbitrary layer can be detected, the touch panel can be effectively used even if the area is small. it can.
かかる事情に鑑みてなされた本発明の目的は、表示部に画像をレイヤ表示して、タッチセンサが各レイヤの画像に対応する接触を検出することにより、各レイヤの触感を呈示する装置を提供することにある。 An object of the present invention made in view of such circumstances is to provide an apparatus that presents a tactile sensation of each layer by displaying an image in a layer on a display unit and detecting a touch corresponding to the image of each layer by a touch sensor. There is to do.
上記目的を達成する第1の観点に係る触感呈示装置の発明は、
タッチセンサと、
前記タッチセンサのタッチ面を振動させる触感呈示部と、
画像を表示する表示部と、
前記表示部が画像を複数のレイヤで表示するように制御する制御部と、
を備える触感呈示装置であって、
前記制御部はさらに、前記触感呈示部が呈示する触感を前記レイヤごとに設定するように制御し、前記タッチセンサが前記表示部において触感が設定されたレイヤに表示された画像に対応する位置における接触を検出すると、当該画像に割り当てられた動作を行うように制御するとともに、当該レイヤに設定された触感を呈示するように前記触感呈示部を制御することを特徴とするものである。
The invention of the tactile sensation providing apparatus according to the first aspect to achieve the above object is as follows:
A touch sensor;
A tactile sensation providing unit that vibrates the touch surface of the touch sensor;
A display for displaying an image;
A control unit that controls the display unit to display an image in a plurality of layers;
A tactile sensation presentation device comprising:
The control unit further controls to set the tactile sensation presented by the tactile sensation providing unit for each layer, and the touch sensor is located at a position corresponding to an image displayed on the layer where the tactile sensation is set in the display unit. When contact is detected, control is performed so as to perform an operation assigned to the image, and the tactile sensation providing unit is controlled so as to present the tactile sensation set in the layer.
第2の観点に係る発明は、第1の観点に係る触感呈示装置において、
前記制御部は、前記複数のレイヤのうち1のレイヤにおいて、当該1のレイヤ以外の他のレイヤに設定された触感の呈示の有効または無効を設定するものである。
The invention according to the second aspect is the tactile sensation providing apparatus according to the first aspect,
The control unit is configured to set validity or invalidity of presentation of tactile sensation set in another layer other than the one layer in one of the plurality of layers.
第3の観点に係る発明は、第1または第2の観点に係る触感呈示装置において、
前記制御部は、前記タッチセンサが検出する接触の態様に応じて、当該接触が検出された位置に対応する画像が表示されたレイヤを決定するものである。
The invention according to a third aspect is the tactile sensation providing apparatus according to the first or second aspect,
The control unit determines a layer on which an image corresponding to a position where the touch is detected is displayed according to a touch mode detected by the touch sensor.
また、上記目的を達成する第4の観点に係る触感呈示装置の発明は、
タッチセンサと、
前記タッチセンサのタッチ面を振動させる触感呈示部と、
前記タッチ面に対する押圧荷重を検出する荷重検出部と、
画像を表示する表示部と、
前記表示部が画像を複数のレイヤで表示するように制御する制御部と、
を備える触感呈示装置であって、
前記制御部は、前記触感呈示部が触感を呈示するための基準となる押圧荷重を前記レイヤごとに設定するように制御し、前記タッチセンサが前記表示部において触感が設定されたレイヤに表示された画像に対応する位置における接触を検出している際に、前記荷重検出部が当該レイヤに設定された基準を満たす押圧荷重を検出すると、当該画像に割り当てられた動作を行うように制御するとともに、当該レイヤに設定された触感を呈示するように前記触感呈示部を制御することを特徴とするものである。
Moreover, the invention of the tactile sensation providing apparatus according to the fourth aspect of achieving the above object is as follows:
A touch sensor;
A tactile sensation providing unit that vibrates the touch surface of the touch sensor;
A load detection unit for detecting a pressing load on the touch surface;
A display for displaying an image;
A control unit that controls the display unit to display an image in a plurality of layers;
A tactile sensation presentation device comprising:
The control unit performs control so that a pressing load serving as a reference for the tactile sensation providing unit to provide a tactile sensation is set for each layer, and the touch sensor is displayed on the layer where the tactile sensation is set in the display unit. While detecting a contact at a position corresponding to the image, if the load detection unit detects a pressing load that satisfies the criteria set for the layer, the control is performed so as to perform the operation assigned to the image. The tactile sensation providing unit is controlled to present the tactile sensation set for the layer.
第5の観点に係る発明は、第4の観点に係る触感呈示装置において、
前記制御部は、前記複数のレイヤのうち1のレイヤにおいて、当該1のレイヤ以外の他のレイヤに設定された触感の呈示の有効または無効を設定するものである。
The invention according to a fifth aspect is the tactile sensation providing apparatus according to the fourth aspect,
The control unit is configured to set validity or invalidity of presentation of tactile sensation set in another layer other than the one layer in one of the plurality of layers.
第6の観点に係る発明は、第1乃至第5の観点のうちいずれか1つの観点に係る触感呈示装置において、
前記制御部は、所定のイベントの発生に基づいて、レイヤごとに設定された触感の当該設定が変更されるように制御するものである。
The invention according to a sixth aspect is the tactile sensation providing apparatus according to any one of the first to fifth aspects.
The said control part is controlled to change the said setting of the tactile sensation set for every layer based on generation | occurrence | production of a predetermined event.
本発明によれば、表示部に画像を複数のレイヤで表示するとともに、触感呈示部が呈示する触感をレイヤごとに設定するので、タッチセンサが各レイヤの画像に対応する接触を検出することにより、各レイヤに設定された触感を呈示することができる。 According to the present invention, the image is displayed on the display unit in a plurality of layers, and the tactile sensation presented by the tactile sensation presentation unit is set for each layer, so that the touch sensor detects a contact corresponding to the image of each layer. The tactile sensation set for each layer can be presented.
以下、本発明の実施の形態について、図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、本発明の実施の形態に係る触感呈示装置の概略構成を示すブロック図である。 FIG. 1 is a block diagram showing a schematic configuration of a tactile sensation providing apparatus according to an embodiment of the present invention.
図1に示すように、触感呈示装置1は、表示/触感制御部10と、アプリケーション実行部20と、を備えている。また、触感呈示装置1は、表示部30と、タッチセンサ40と、触感呈示部50と、荷重検出部60と、記憶部80と、を備えている。なお、表示/触感制御部10と、アプリケーション実行部20は、制御部70に含まれるものである。
As shown in FIG. 1, the tactile
記憶部80は、例えばNAND型フラッシュメモリ等によって構成することができる。記憶部80のメモリ領域には、各種のアプリケーションソフトウェアを記憶する領域、およびオブジェクトや画像ファイルなどの表示用リソースを記憶する領域などが含まれる。この記憶部80から供給される表示用リソースの画像データには、後述するように、触感制御情報が付加されている。
The
アプリケーション実行部20は、各種のアプリケーションのうち指定されたものを記憶部80から読み込んで、当該アプリケーションに基づく処理を実行するとともに、各機能部を当該アプリケーションに基づいて制御する。アプリケーション実行部20は、記憶部80から読み込んだアプリケーションを一時的に保存するRAMを有する。
The
表示部30は、背景画像などを表示したり、ボタンやキー等(以下、単に「キー等」と総称する)のようなオブジェクトを画像表示したりする。このオブジェクトは、接触すべき領域または位置を操作者に示唆する画像である。このような画像のデータは、アプリケーション実行部20の制御により、表示/触感制御部10から供給される。表示部30は、例えば、液晶表示パネル(LCD)や有機EL表示パネル等を用いて構成する。
The
タッチセンサ40は、通常は表示部30の前面に配置して、表示部30に表示したオブジェクトに対する操作者の指等(接触対象)による接触(または接触の解除)を、対応するタッチセンサ40のタッチ面において検出する。また、タッチセンサ40は、タッチ面に対する接触の位置を検出し、当該検出した接触の位置を、表示/触感制御部10に通知する。このタッチセンサ40は、例えば抵抗膜方式、静電容量方式、光学式等の公知の方式のもので構成する。なお、タッチセンサ40が接触対象による接触を検出する上で、接触対象がタッチセンサ40に物理的に触れることは必須ではない。例えば、タッチセンサ40が光学式である場合は、タッチセンサ40はタッチセンサ40上の赤外線が接触対象で遮られた位置を検出するため、接触対象がタッチセンサに触れることは不要である。
The
触感呈示部50は、例えば圧電振動子等を用いて構成し、タッチセンサ40のタッチ面に、所定の振動パターンによる振動を発生させる。この触感呈示部50は、タッチセンサ40のタッチ面に振動を発生させることにより、タッチ面を接触している接触対象に対して触感を呈示する。
The tactile
荷重検出部60は、タッチセンサ40のタッチ面に対する押圧荷重を検出するもので、例えば、歪みゲージセンサや圧電素子等の荷重に対してリニアに反応する素子を用いて構成する。また、荷重検出部60は、検出したタッチセンサ40のタッチ面に対する押圧荷重を、表示/触感制御部10に通知する。
The
表示/触感制御部10は、アプリケーション実行部20からの表示指示に基づいて、表示部30に背景画像やオブジェクトの画像などを表示したり、あるいは当該画像の表示を変更したりする等、表示部30における表示に係る制御を行う。アプリケーション実行部20が表示/触感制御部10に対して表示指示を行う際には、表示部30に表示する画像の表示データなどは、記憶部80に記憶させておいた画像データを読み出すことができる。表示/触感制御部10は、このように記憶部80から読み出した画像データの供給を受けて、所定の画像を所定の位置に描画するように表示部30を制御する。この際、表示/触感制御部10は、表示部30が画像を複数のレイヤで表示するように制御する。
The display / tactile
また、表示/触感制御部10は、後述するように、アプリケーション実行部20により指定された画像データに付加されている触感制御情報と、表示用リソースの表示位置および表示レイヤの情報と、等に基づいて触感の設定を行う。なお、本実施の形態においては、表示部30に表示する画像のレイヤごとに、呈示する触感を設定する。したがって、表示/触感制御部10は、触感呈示部50が呈示する触感をレイヤごとに設定するように制御する。
Further, as will be described later, the display / tactile
また、表示/触感制御部10は、上述した触感の設定に基づいて、所定の条件に応じて所定のパターンの振動を発生するように触感呈示部50を制御する。例えば、表示/触感制御部10は、タッチセンサ40が表示部30に表示された所定のオブジェクト等の画像の領域に対応する位置における接触を検出したら、当該画像に割り当てられた所定の動作を行うように制御するとともに、タッチセンサ40のタッチ面を接触している接触対象に対して当該画像に設定された触感を呈示するように触感呈示部50を制御する。特に、本実施の形態においては、表示/触感制御部10は、表示部30において触感が設定されたレイヤに表示された画像に対応する位置における接触をタッチセンサ40が検出すると、当該画像に割り当てられた動作を行うように制御するとともに、当該レイヤに設定された触感を呈示するように触感呈示部50を制御する。
Further, the display / tactile
本実施の形態による触感呈示装置1はさらに、操作者がタッチセンサ40を押圧する際の押圧力に応じて、操作者がどのレイヤに対する接触を行っているのかを区別する。したがって、表示/触感制御部10は、荷重検出部60により検出される押圧荷重が、触感を呈示する所定の基準を満たしているか否かを判定する。この場合、表示/触感制御部10は、上述の触感を呈示する所定の基準を満たす押圧荷重が荷重検出部60により検出されたら、所定の条件に基づく所定のパターンの振動を発生するように触感呈示部50を制御する。
The tactile
例えば、表示/触感制御部10は、触感呈示部50が触感を呈示するための基準となる押圧荷重を前記レイヤごとに設定するように制御する。そして、表示/触感制御部10は、表示部30において触感が設定されたレイヤに表示された画像に対応する位置における接触をタッチセンサ40が検出している際に、荷重検出部60が当該レイヤに設定された基準を満たす押圧荷重を検出すると、当該画像に割り当てられた動作を行うように制御するとともに、当該レイヤに設定された触感を呈示するように触感呈示部50を制御する。この時、表示/触感制御部10は、触感を呈示するように触感呈示部50を制御するとともに、タッチセンサ40によって接触が検出された位置情報や荷重検出部によって検出された荷重等の情報を、適切なタイミングでアプリケーション実行部20に通知する。
For example, the display / tactile
なお、上述のように、本実施の形態においては、表示部30に表示する画像のレイヤごとに、呈示する触感を設定する。したがって、この場合、表示/触感制御部10は、触感呈示部50が触感を呈示するための基準となる押圧荷重をレイヤごとに設定するように制御する。例えば、押圧荷重の基準を荷重の段階として複数設定し、基準となる荷重が大きくなるにつれて、より下位のレイヤに対する接触に対応するような設定とすることができる。また、表示/触感制御部10は、表示部30において触感が設定されたレイヤに表示された画像に対応する位置における接触をタッチセンサ40が検出している際に、荷重検出部60が当該レイヤに設定された基準を満たす押圧荷重を検出すると、当該レイヤに設定された触感を呈示するように触感呈示部50を制御する。
As described above, in the present embodiment, the tactile sensation to be presented is set for each layer of the image displayed on the
さらに、本実施の形態においては、操作者がタッチセンサ40に対する接触操作を行う際の接触の態様に応じて、操作者がどのレイヤに対する接触を行っているのかを区別したり、また1つのレイヤにおいて異なる接触を区別することもできるようにする。したがって、表示/触感制御部10は、タッチセンサ40が検出する接触の態様に応じて、当該接触が検出された位置に対応する画像が表示されたレイヤを決定する。
Further, in the present embodiment, depending on the contact mode when the operator performs a contact operation on the
例えば、表示/触感制御部10は、タッチセンサ40がシングルタップの接触を検出した場合と、ダブルタップの接触を検出した場合とで、異なるレイヤに表示したオブジェクトに対する接触であると認識する。
なお、表示/触感制御部10は、タッチセンサ40がシングルタップの接触を検出した場合と、ダブルタップの接触を検出した場合とで、同じレイヤに表示した同一のオブジェクトに対する異なる種類の接触であると認識することもできる。
For example, the display / tactile
The display / tactile
また、例えば、表示/触感制御部10は、タッチセンサ40が通常のスライド操作による接触を検出した場合と、スライド操作よりも素早いフリック操作による接触を検出した場合とで、異なるレイヤに表示したオブジェクトに対する接触であると認識する。なお、この場合も、表示/触感制御部10は、タッチセンサ40が通常のスライド操作による接触を検出した場合と、スライド操作よりも素早いフリック操作による接触を検出した場合とで、同じレイヤに表示した同一のオブジェクトに対する異なる種類の接触であると認識することもできる。
Further, for example, the display / tactile
したがって、本実施の形態においては、表示/触感制御部10が制御部を構成している。
Therefore, in the present embodiment, the display / tactile
図2は、図1に示した触感呈示装置1のうち、表示部30、タッチセンサ40、触感呈示部50、および荷重検出部60を中心とする実装構造の一例を示すもので、図2(A)は要部断面図、図2(B)は要部平面図である。表示部30は、筐体71内に収納保持する。表示部30上には、弾性部材からなるインシュレータ72を介して、タッチセンサ40を保持する。なお、本実施の形態に係る触感呈示装置1は、表示部30およびタッチセンサ40を、平面視で矩形状としている。しかしながら、触感呈示装置1が備えるタッチセンサ40または表示部30の構成などの諸条件に応じた形状とすることができる。また、触感呈示装置1は、タッチセンサ40を、図2(B)に仮想線で示す表示部30の表示領域Aから外れた4隅に配設したインシュレータ72を介して表示部30上に保持する。
FIG. 2 shows an example of a mounting structure centering on the
また、筐体71には、表示部30の表示領域から外れたタッチセンサ40の表面領域を覆うようにアッパカバー73を設け、このアッパカバー73とタッチセンサ40との間に、弾性部材からなるインシュレータ74を配設する。なお、図2に示すタッチセンサ40は、タッチ面40aを有する表面部材を、例えば透明フィルムやガラスで構成し、裏面部材をガラスやアクリルで構成している。タッチセンサ40は、タッチ面40aが押圧されると、押圧部分が押圧力に応じて微少量撓む(歪む)、または構造体そのものが微少量撓む構造のものを用いる。
Further, the
タッチセンサ40の表面上には、アッパカバー73で覆われる各辺の近傍に、タッチセンサ40に加わる荷重(押圧力)を検出するための歪みゲージセンサ62をそれぞれ接着等により設ける。さらに、タッチセンサ40の裏面上には、対向する2つの辺の近傍に、タッチセンサ40を振動させるための圧電振動子52をそれぞれ接着等により設ける。すなわち、図2に示す触感呈示装置1は、図1に示した荷重検出部60を4つの歪みゲージセンサ62を用いて構成し、触感呈示部50を、2つの圧電振動子52を用いて構成している。そして、触感呈示部50によりタッチセンサ40を振動させることにより、タッチ面40aを振動させるようにしている。なお、図2(B)は、図2(A)に示した筐体71、アッパカバー73およびインシュレータ74の図示を省略している。
On the surface of the
次に、本発明による触感呈示装置1において使用されるアプリケーションが供給する画像のデータに付加された、触感の制御に係る情報(以下、適宜「触感制御情報」と記す)について説明する。
Next, information relating to tactile sensation control (hereinafter referred to as “tactile sensation control information” as appropriate) added to image data supplied by an application used in the tactile
図3は、触感制御情報が表示用リソースの画像データに付加された構成の一例を説明する図である。本実施の形態においては、上述したように、表示部に画像を複数のレイヤで表示するとともに、当該複数のレイヤのそれぞれにおいて呈示される触感を設定する。図3(A)においては、説明を容易にするために、表示部30に画像を表示する際の複数のレイヤを、上位レイヤ、中位レイヤ、および下位レイヤの3つとしている。しかしながら、本実施の形態による複数のレイヤによる画像の表示は3つのレイヤに限定されるものではなく、例えば4レイヤ以上とするなど、任意の複数のレイヤを構成することができる。
FIG. 3 is a diagram illustrating an example of a configuration in which tactile sensation control information is added to image data of a display resource. In the present embodiment, as described above, an image is displayed on the display unit in a plurality of layers, and the tactile sensation presented in each of the plurality of layers is set. In FIG. 3A, in order to facilitate the explanation, the plurality of layers when displaying an image on the
図3(A)に示すように、上位、中位、下位のレイヤには、それぞれ、以下の情報が含まれる。
(1)触感制御情報
(2)画像データ
すなわち、各レイヤにおいて、(2)の画像データに、(1)の触感制御情報が付加されている。(2)の画像データは、例えば背景画像や、キー等を表すオブジェクトなど、当該レイヤに表示される画像のデータを含むものである。(1)の触感制御情報は、当該レイヤにおいて呈示される触感を設定するための情報を含むものである。
As shown in FIG. 3A, each of the upper, middle, and lower layers includes the following information.
(1) Touch control information (2) Image data That is, in each layer, the touch control information of (1) is added to the image data of (2). The image data (2) includes image data displayed on the layer, such as a background image or an object representing a key. The tactile sensation control information (1) includes information for setting the tactile sensation presented in the layer.
図3(B)は、各レイヤにおける(1)の触感制御情報の内容の詳細を説明する図である。図3(B)においては、例として中位レイヤの触感制御情報の内容を説明しているが、他のレイヤにおいて、情報の内容は異なるにしても、情報の構成は同様である。図3(B)に示すように、各レイヤの触感制御情報には、それぞれ、以下のような情報が含まれる。 FIG. 3B is a diagram for explaining the details of the content of the tactile sensation control information (1) in each layer. In FIG. 3B, the content of the tactile sensation control information of the middle layer is described as an example, but the information configuration is the same in other layers even though the content of the information is different. As shown in FIG. 3B, the tactile sensation control information of each layer includes the following information.
(1)触感活性化フラグ
− 当該レイヤにおいて触感の呈示を行うか否かを示すフラグ(例えば、「ON」であれば当該レイヤに対応する接触に応じて所定の触感を呈示し、「OFF」であれば当該レイヤに対応する接触が検出されても触感を呈示しない)
(1) Tactile sensation activation flag—a flag indicating whether or not tactile sensation is to be presented in the layer (for example, if “ON”, a predetermined tactile sensation is presented in response to contact corresponding to the layer, and “OFF”. If not, no tactile sensation will be presented even if contact corresponding to the layer is detected)
(2)下位レイヤ制御フラグ
− 表示部30において複数のレイヤで画像を表示している場合、当該レイヤよりも下位に存在するレイヤに対応する接触を許可するか否かを示すフラグ(例えば「ON」であれば当該レイヤよりも下位のレイヤに対応する接触を検出するが、「OFF」であれば、当該レイヤよりも下位のレイヤに対応する接触は検出しないものとする。当該下位レイヤ制御フラグにより、当該レイヤ以外の他のレイヤに設定された触感の呈示の有効または無効を設定できる)
(2) Lower layer control flag − When an image is displayed on a plurality of layers on the
(3)クリック触感閾値
− 当該レイヤに対応する押圧であると認識してクリック触感を呈示するための基準となる押圧荷重の閾値(すなわち、操作者のタッチセンサ40に対する押圧により、荷重検出部60が検出する押圧荷重が当該クリック触感閾値に達したら、触感呈示装置1はクリック触感を呈示する)
(3) Click tactile sensation threshold—a threshold of a pressing load that is a reference for recognizing the press corresponding to the layer and presenting the click tactile sensation (that is, the
(4)リリース触感閾値
− 当該レイヤに対応する押圧が解除されたと認識してリリース触感を呈示するための基準となる押圧荷重の閾値(すなわち、操作者のタッチセンサ40に対する押圧が弱まり、荷重検出部60が検出する押圧荷重が当該リリース触感閾値を下回ったら、触感呈示装置1は(まだ接触が検出されていても)リリース触感を呈示する)
(4) Release tactile sensation threshold—a threshold of a pressing load that is a reference for recognizing that the pressing corresponding to the layer has been released and presenting a releasing tactile sensation (that is, the operator's pressing on the
(5)振動波形
− 触感呈示部50が当該レイヤに設定された触感を呈示する際に使用する振動の波形データそのもの、または予め用意された振動パターン等とすることができる(すなわち、当該振動波形の情報により、表示/触感制御部10は、触感呈示部50が種々の所定の触感を呈示するように制御することができる)
(5) Vibration waveform-The vibration waveform data itself used when the tactile
(6)触感呈示の段階の数
− 例えば押圧荷重の基準を複数の荷重の段階として設定して段階的に押圧を検出したり、接触の態様に応じて異なる接触として検出する場合、当該レイヤにおいて、いくつの段階として区別して異なる押圧または接触として検出して、対応する触感を呈示するかを示す数
(6) Number of stages of tactile sensation-For example, in the case where the reference of the pressing load is set as a plurality of load stages to detect the pressing step by step, or the contact is detected as a different contact depending on the contact mode, , A number indicating how many steps to distinguish and detect as a different press or touch and present the corresponding tactile sensation
なお、「クリック触感」とは、機械式の押しボタンスイッチで構成されるキーやボタンが押下された際に呈示されるような、キーが挫屈するような触感のことである。また、「リリース触感」とは、機械式の押しボタンスイッチで構成されるキーやボタンが押下された後に押圧力が弱められた際に得られるような、挫屈したキーが元に戻る際に呈示されるような触感のことである。 The “click tactile sensation” is a tactile sensation in which the key is cramped, such as presented when a key or a button configured by a mechanical push button switch is pressed. “Release tactile sensation” means when a key that is composed of a mechanical push button switch or a key that has been cramped, such as that obtained when the pressing force is weakened after the button is pressed, is restored. It is the tactile sensation as presented.
このように、本実施の形態による触感呈示装置1は、各レイヤに触感制御情報を付加することにより、各レイヤに対応する接触または押圧を区別して検出し、当該検出に応じてレイヤごとに異なる触感を呈示することができる。また、上述したように、本実施の形態による触感呈示装置1は、触感制御情報に(1)の触感活性化フラグを含ませることにより、任意のレイヤにおいて触感呈示動作を行うかどうかを自由に設定することができる。また、本実施の形態による触感呈示装置1は、触感制御情報に(2)の下位レイヤ制御フラグを含ませることにより、当該レイヤよりも下位レイヤにおいて触感呈示動作を行うか否かを自由に設定することができる。すなわち、触感呈示装置1において、表示/触感制御部10は、複数のレイヤのうち1のレイヤにおいて、当該1のレイヤよりも下位のレイヤに設定された触感の呈示の有効または無効を設定する。
As described above, the tactile
なお、一般的なユーザインタフェース(UI)においては、例えばアプリケーションの起動時や、キーの押下に基づいてアプリケーションに基づく動作が開始される際に、オブジェクトの配置が変更されたり、UIの構成が変更されたりすることが多い。したがって、表示/触感制御部10が各レイヤにおける触感を設定するのは、上述のような、アプリケーションの起動時や、キーの押下に基づいてアプリケーションに基づく動作が開始される際など、所定のイベント発生時とするのが好適である。すなわち、触感呈示装置1において、表示/触感制御部10は、所定のイベントの発生に基づいて、レイヤごとに設定された触感の当該設定が変更されるように制御するのが好適である。
In a general user interface (UI), for example, when an application is started or when an operation based on an application is started based on a key press, the arrangement of objects is changed or the UI configuration is changed. It is often done. Therefore, the display / tactile
このように、本実施の形態による触感呈示装置1によれば、各レイヤに触感制御情報を付加することによって、触感の呈示に係る制御を容易に行うことができる。また、従来は、表示部においてオブジェクトなどを複数のレイヤで重ねたとしても、接触または押圧の検出および当該検出に応じた触感の呈示は、あくまでも2次元的な制御に限定されてした。しかしながら、本実施の形態の触感呈示装置1によれば、接触または押圧の検出および当該検出に応じた触感の呈示を各レイヤ単位で行うことにより、3次元的な制御を行うことができる。
As described above, according to the tactile
次に、本実施の形態の触感呈示装置1による動作を、具体例を用いて説明する。図4は、触感呈示装置1の表示部30に3つのレイヤを用いて画像を重ね合わせた様子を表す図である。以下の説明においては、本来は重畳されている表示部30における画像の表示を、説明のために、レイヤごとに離間して図示してある。また、以下の説明においては、表示部30に表示したオブジェクトの領域に対応する位置においてタッチセンサ40が検出する接触または押圧のことを、適宜、単に「オブジェクトに対する接触または押圧」のように記す。
Next, the operation of the tactile
図4において、(A)に示すレイヤは最下位のレイヤを現し、以下単に「下位レイヤ」と記す。また、(B)に示すレイヤは上述した下位レイヤの直近上位に重なるレイヤを現し、以下単に「中位レイヤ」と記す。さらに、(C)に示すレイヤは上述した中位レイヤの直近上位に重なるレイヤを現し、以下単に「上位レイヤ」と記す。なお、本例においては、説明を簡単にするために、表示部30の表示が3つのレイヤにより構成される場合について説明するが、本実施の形態による触感呈示装置1において、レイヤの数は任意とすることができる。
In FIG. 4, the layer shown in FIG. 4A represents the lowest layer, and is simply referred to as “lower layer” below. Further, the layer shown in (B) represents a layer that is immediately above the lower layer described above, and is simply referred to as “middle layer” hereinafter. Furthermore, the layer shown in (C) represents a layer that overlaps the most recent upper layer of the above-described middle layer, and is simply referred to as “upper layer” hereinafter. In addition, in this example, in order to simplify description, the case where the display of the
図4(A)に示すように、下位レイヤにおいては、アプリケーションの実行により、背景色が画像として表示されたり、またはアプリケーションに基づく動作を行うためのキー等のオブジェクトが画像として表示される。また、図4(B)に示すように、中位レイヤにおいては、例えばワンセグ放送のアプリケーションを実行することにより、ニュース番組の動画が再生される。さらに、図4(C)に示すように、上位レイヤにおいては、例えばアプリケーションを終了するか否かを操作者に選択させるべく、ポップアップ表示のオブジェクトが画像として表示される。 As shown in FIG. 4A, in the lower layer, by executing the application, the background color is displayed as an image, or an object such as a key for performing an operation based on the application is displayed as an image. Also, as shown in FIG. 4B, in the middle layer, for example, a one-segment broadcasting application is executed to reproduce a video of a news program. Further, as shown in FIG. 4C, in the upper layer, for example, a pop-up display object is displayed as an image so that the operator can select whether to end the application.
なお、図4(C)の上位レイヤにおいては、ポップアップ表示が行われた様子を図示してあるが、通常動作時でポップアップ表示が行われていない場合には、図5(C)に示すように、画像は何も表示されない。また、本例においては、図4に示したような各レイヤに表示されるオブジェクトはそれぞれ透過表示をしないものとするが、図5(C)に示したようにオブジェクトが表示されていないレイヤは透過表示を行うものとする。 Note that, in the upper layer of FIG. 4C, the state in which the pop-up display is performed is illustrated, but when the pop-up display is not performed in the normal operation, as illustrated in FIG. 5C. In addition, no image is displayed. In this example, the objects displayed in each layer as shown in FIG. 4 are not transparently displayed, but the layers in which no object is displayed as shown in FIG. A transparent display shall be performed.
図5は、図4に示したレイヤ表示に基づいて、触感呈示装置1においてワンセグ放送のアプリケーションを起動した際の、通常の表示を示す図である。通常の表示とは、上述したように、表示部30において操作者に注意を促すようなポップアップ表示を行っていない場合のことである。
FIG. 5 is a diagram showing a normal display when a one-segment broadcasting application is activated in the tactile
図5(C)に示すように、ポップアップ表示を行っていない場合の上位レイヤにおいては、図3(B)で説明した(1)触感活性化フラグがOFFであるため、当該レイヤに対する接触は検出されず、触感も呈示されない。また、(2)下位レイヤ制御フラグはONであるため、当該上位レイヤにおいて接触を検出しないが、当該上位レイヤよりも下位の中位レイヤに対する接触は検出する。なお、当該上位レイヤにおいては接触を検出しないため(6)触感呈示の段階の数はゼロに設定されている。 As shown in FIG. 5C, in the upper layer when the pop-up display is not performed, the touch to the layer is detected because the tactile sensation activation flag described in FIG. 3B is OFF. And no tactile sensation is presented. Further, (2) since the lower layer control flag is ON, no contact is detected in the upper layer, but contact with a lower middle layer is detected. Note that the number of stages of tactile sensation presentation is set to zero because contact is not detected in the upper layer.
次に、図5(B)に示すように、上位レイヤにポップアップ表示を行っていない場合の中位レイヤにおいては、(1)触感活性化フラグがOFFであるため、当該レイヤに対する接触は検出されず、触感も呈示されない。すなわち、ワンセグ放送による動画が表示されている箇所に対する接触は検出されず、当該箇所に接触がなされたとしても触感は呈示されない。また、(2)下位レイヤ制御フラグはONであるため、当該中位レイヤにおいて接触を検出しなくとも、当該中位レイヤよりも下位である下位レイヤに対する接触は検出する。なお、当該中位レイヤにおいても接触を検出しないため(6)触感呈示の段階の数はゼロに設定されている。 Next, as shown in FIG. 5B, in the middle layer when the pop-up display is not performed on the upper layer, (1) the touch activation flag is OFF, so that contact with the layer is detected. And no tactile sensation is presented. That is, no contact is detected with respect to a location where a moving image by one-segment broadcasting is displayed, and no tactile sensation is presented even if contact is made with the location. Further, (2) since the lower layer control flag is ON, contact with a lower layer that is lower than the middle layer is detected without detecting contact in the middle layer. Note that the number of stages of tactile sensation presentation is set to zero because contact is not detected even in the middle layer.
さらに、図5(A)に示すように、上位レイヤにポップアップ表示を行っていない場合の下位レイヤにおいては、(1)触感活性化フラグがONであるため、当該レイヤに対する接触は検出され、当該検出に応じて触感が呈示される。すなわち、画面下部に表示されているキー等のオブジェクトが表示されている箇所に対する接触は検出され、当該検出に応じて対応する触感が呈示される。なお、当該下位レイヤにおいては、各オブジェクトに対して1段階の接触または押圧を検出するため(6)触感呈示の段階の数は1に設定されている。すなわち、本例においては、下位レイヤに対する多段階の荷重の基準による押圧の区別や、接触または押圧の態様による区別は行わずに、1種類の接触または押圧のみを検出する。 Furthermore, as shown in FIG. 5A, in the lower layer when the pop-up display is not performed on the upper layer, (1) the touch activation flag is ON, so that contact with the layer is detected, A tactile sensation is presented in response to the detection. That is, contact with a portion where an object such as a key displayed at the bottom of the screen is displayed is detected, and a corresponding tactile sensation is presented in response to the detection. In the lower layer, the number of stages of tactile sensation presentation is set to 1 in order to detect one-stage contact or press on each object. That is, in this example, only one type of contact or pressure is detected without distinguishing between pressures based on multi-stage load standards for the lower layer or according to contact or pressure modes.
次に、例えば操作者がワンセグ放送のアプリケーションをメニューから終了する操作を行ったり、あるいはタイマの設定や他のアプリケーションの割り込み動作により、ワンセグ放送のアプリケーションを終了するか否かを問うイベントが発生したとする。 Next, for example, when an operator performs an operation to end the 1Seg broadcasting application from the menu, or an event that asks whether or not to end the 1Seg broadcasting application occurs due to a timer setting or an interrupt operation of another application. And
このようなイベント発生時には、上述したように、オブジェクトの配置やUIの構成などが変更されることが多い。したがって、このような変更が行われる際に、図3にて示した(2)画像データにより、表示部30における新たな表示が構成されるとともに、(1)触感制御情報により、表示/触感制御部10が触感呈示部50を制御する際の設定も変更される。この場合、ワンセグ放送のアプリケーションを終了するか否かを操作者に確認するために、図6(C)に示すようなポップアップ表示が上位レイヤにおいて行われる。
When such an event occurs, as described above, the arrangement of objects, the configuration of UI, and the like are often changed. Therefore, when such a change is made, a new display on the
図6は、触感呈示装置1においてワンセグ放送のアプリケーションを起動している最中に、ポップアップをレイヤにより表示部30に表示した様子を示す図である。
FIG. 6 is a diagram illustrating a state in which a pop-up is displayed on the
図6(C)に示すように、表示の変更とともに、ポップアップ表示を行う場合の上位レイヤにおいて、(1)触感活性化フラグがONに設定されて、当該レイヤに対する接触が検出されるようになり、当該検出に応じて触感が呈示される。また、(2)下位レイヤ制御フラグがOFFに設定されるため、当該上位レイヤよりも下位の中位レイヤおよび下位レイヤに対する接触は検出されなくなる。したがって、結果として上位レイヤに表示したポップアップのオブジェクト以外に対する接触は検出されず、接触されたとしても触感は呈示されなくなる。なお、当該上位レイヤにおいて、各オブジェクトに対して1段階の接触または押圧が検出されるようにするため、(6)触感呈示の段階の数は1に設定される。すなわち、本例においては、この上位レイヤのポップアップ表示に対しては、1種類の接触または押圧のみが検出される。 As shown in FIG. 6C, when the display is changed, in the upper layer in the case of performing the pop-up display, (1) the tactile sensation activation flag is set to ON and contact with the layer is detected. A tactile sensation is presented in response to the detection. In addition, (2) since the lower layer control flag is set to OFF, contact with the lower middle layer and the lower layer than the upper layer is not detected. Accordingly, as a result, no contact is detected with respect to anything other than the pop-up object displayed on the upper layer, and even if contact is made, no tactile sensation is presented. Note that, in the upper layer, (6) the number of stages of tactile sensation is set to 1 so that one level of contact or press is detected for each object. That is, in this example, only one type of contact or press is detected for this upper layer pop-up display.
次に、本実施の形態の触感呈示装置1による動作を、他の具体例を用いてさらに説明する。図7は、触感呈示装置1の表示部30に3つのレイヤを用いて画像を重ね合わせた様子を表す図である。以下の説明においても、本来は重畳されている表示部30における画像の表示を、説明のために、レイヤごとに離間して図示してある。また、図7以降においても、(A)に示すレイヤは単に「下位レイヤ」と記し、(B)に示すレイヤは単に「中位レイヤ」と記し、さらに(C)に示すレイヤは単に「上位レイヤ」と記す。
Next, the operation of the tactile
図7(A)に示すように、下位レイヤにおいては、例えば音楽プレーヤのアプリケーションの実行により、背景色が画像として表示されたり、またはアプリケーションに基づく動作を行うためのキー等のオブジェクトが画像として表示される。また、図7(B)に示すように、中位レイヤにおいては、例えば電子メール作成アプリケーションを実行することにより、文字入力画面が表示される。さらに、図7(C)に示すように、上位レイヤにおいては、例えば電話の着信があった際に当該着信を接続するか否かを操作者に選択させるべく、ポップアップ表示のオブジェクトが画像として表示される。 As shown in FIG. 7A, in the lower layer, for example, when a music player application is executed, a background color is displayed as an image, or an object such as a key for performing an operation based on the application is displayed as an image. Is done. As shown in FIG. 7B, in the middle layer, for example, a character input screen is displayed by executing an e-mail creation application. Further, as shown in FIG. 7C, in the upper layer, for example, when an incoming call is received, a pop-up display object is displayed as an image so that the operator can select whether or not to connect the incoming call. Is done.
なお、図7(C)の上位レイヤにおいては、ポップアップ表示が行われた様子を図示してあるが、通常動作時でポップアップ表示が行われていない場合には、図8(C)に示すように、画像は何も表示されない。また、本例においては、上述した例とは異なり、図4に示したような各レイヤに表示されるオブジェクトがそれぞれ透過表示をするものとする。すなわち、複数のレイヤのオブジェクトが位置的に重なって表示されたとしても、それぞれのオブジェクトが薄い透過色で表示されるなどして、各レイヤに表示されたオブジェクトがそれぞれ透過して表示されるようにする。また、図8(C)に示したようにオブジェクトが表示されていないレイヤは透過表示を行うものとするのは上述した例と同様である。 Note that, in the upper layer of FIG. 7C, the state in which the pop-up display is performed is illustrated, but when the pop-up display is not performed in the normal operation, as illustrated in FIG. 8C. In addition, no image is displayed. Also, in this example, unlike the example described above, the objects displayed on each layer as shown in FIG. In other words, even if objects of multiple layers are displayed overlapping each other, each object is displayed in a light transparent color, so that the objects displayed in each layer are displayed transparently. To. Further, as shown in FIG. 8C, the layer on which no object is displayed is transparently displayed in the same manner as the above-described example.
本例における触感呈示装置1は、複数のアプリケーションを同時に実行するマルチタスクによる動作を行うことができ、アプリケーションごとに異なるレイヤに表示することで、操作者による操作をレイヤごとに区別して検出する。さらに、本例においては、押圧または接触の操作を、いくつの段階に区別した異なるものとして検出することができるものとする。すなわち、本例においては、触感呈示装置1は、操作者がタッチセンサ40に対する接触操作を行う際の押圧の段階に応じて、異なるレイヤに対する押圧、または所定の1つのレイヤにおいて異なる段階の押圧として検出することができるようにする。さらに、本例においては、触感呈示装置1は、操作者がタッチセンサ40に対する接触操作を行う際の接触の態様に応じて、異なるレイヤに対する接触、または所定の1つのレイヤにおいて異なる段階の接触として検出することもできるようにする。
The tactile
図8は、図7に示したレイヤ表示に基づいて、触感呈示装置1において音楽プレーヤのアプリケーションを起動しつつ電子メール作成のアプリケーションも起動している際の、通常の表示を示す図である。通常の表示とは、上述同様に、表示部30において操作者に注意を促すようなポップアップ表示を行っていない場合のことである。この場合においては、中位レイヤには、電子メール作成のアプリケーションに関するオブジェクト(画像)が、下位レイヤには、音楽プレーヤに関するオブジェクト(画像)が表示されることとなる。
FIG. 8 is a diagram showing a normal display when the application for creating an e-mail is activated while the application for the music player is activated in the tactile
図8(C)に示すように、ポップアップ表示を行っていない場合の上位レイヤにおいては、図3(B)で説明した(1)触感活性化フラグがOFFであるため、当該レイヤに対する接触は検出されず、触感も呈示されない。また、(2)下位レイヤ制御フラグはONであるため、当該上位レイヤにおいては接触を検出しないが、当該上位レイヤよりも下位の中位レイヤに対する接触は検出する。なお、当該上位レイヤにおいては接触を検出しないため(6)触感呈示の段階の数はゼロに設定されている。 As shown in FIG. 8C, in the upper layer when the pop-up display is not performed, the touch to the layer is detected because the tactile sensation activation flag described in FIG. 3B is OFF. And no tactile sensation is presented. Further, (2) since the lower layer control flag is ON, contact is not detected in the upper layer, but contact with a lower middle layer is detected. Note that the number of stages of tactile sensation presentation is set to zero because contact is not detected in the upper layer.
次に、図8(B)に示すように、上位レイヤにポップアップ表示を行っていない場合の中位レイヤにおいて、(1)触感活性化フラグがONであるため、当該レイヤに対する接触は検出され、当該検出に応じて触感が呈示される。すなわち、電子メール作成アプリケーションによるオブジェクトが表示されている箇所に対する接触は検出され、当該接触が検出されると、所定の動作が行われるとともに設定された触感が呈示される。また、(2)下位レイヤ制御フラグはONであるため、当該中位レイヤにおいて接触を検出しつつ、さらに当該中位レイヤよりも下位である下位レイヤに対する接触も検出する。なお、当該中位レイヤにおいて接触を検出する際の(6)触感呈示の段階の数は1に設定されている。 Next, as shown in FIG. 8B, in the middle layer when the pop-up display is not performed on the upper layer, (1) the tactile sensation activation flag is ON, so that contact with the layer is detected, A tactile sensation is presented in response to the detection. That is, a contact with a place where an object is displayed by the e-mail creation application is detected, and when the contact is detected, a predetermined operation is performed and a set tactile sensation is presented. Further, (2) since the lower layer control flag is ON, the contact with the lower layer that is lower than the middle layer is further detected while detecting the contact with the middle layer. Note that the number of stages of (6) tactile sensation when detecting contact in the middle layer is set to 1.
さらに、図8(A)に示すように、上位レイヤにポップアップ表示を行っていない場合の下位レイヤにおいては、(1)触感活性化フラグがONであるため、当該レイヤに対する接触は検出され、当該検出に応じて触感が呈示される。すなわち、画面下部に表示されているキー等のオブジェクトが表示されている箇所に対する接触は検出され、当該検出に応じて対応する触感が呈示される。なお、当該下位レイヤにおいては、各オブジェクトに対して2段階の接触または押圧を検出するため(6)触感呈示の段階の数は2に設定されている。すなわち、本例においては、下位レイヤに対する多段階の荷重の基準による押圧の区別や、接触または押圧の態様による区別を行うことにより、2種類の接触または押圧を検出する。本例においては、図8(B)に示すように、すでに中位レイヤにおいて1段階目の接触または押圧を検出するため、実際には、図8(C)に示す下位レイヤにおいては2段階目および3段階目の接触または押圧を検出することになる。 Further, as shown in FIG. 8A, in the lower layer when the pop-up display is not performed on the upper layer, (1) since the tactile sensation activation flag is ON, contact with the layer is detected, A tactile sensation is presented in response to the detection. That is, contact with a portion where an object such as a key displayed at the bottom of the screen is displayed is detected, and a corresponding tactile sensation is presented in response to the detection. In the lower layer, the number of stages of tactile sensation presentation is set to 2 in order to detect a two-stage contact or press on each object (6). In other words, in this example, two types of contact or press are detected by distinguishing between the pressures of the lower layer based on the multi-stage load criteria and the contact or press mode. In this example, as shown in FIG. 8B, since the first level contact or press is already detected in the middle layer, the second level is actually detected in the lower layer shown in FIG. 8C. And the contact or press of the 3rd step will be detected.
したがって、操作者は、1段階目の接触または押圧を行うことにより、中位レイヤにおける電子メール作成アプリケーションに対する操作を行うことができる。さらに、操作者は、2段階目および3段階目の接触または押圧を行うことにより、下位レイヤにおける音楽プレーヤアプリケーションに対する操作を行うことができる。この場合、例えば、2段階目の接触または押圧を検出することにより、音楽プレーヤにおいて次の曲を再生することができ、3段階目の接触または押圧を検出することにより、前の曲を再生することができる、などの動作を割り当てることができる。なお、制御部10は、操作者が1段階目の接触または押圧を行うことにより、中位レイヤを上位レイヤと切り替えて表示部30に表示してもよい。同様に、制御部10は、操作者が2段階目の接触または押圧を行うことにより、下位レイヤを上位レイヤと切り替えて表示部30に表示してもよい。
Therefore, the operator can perform an operation on the e-mail creation application in the middle layer by performing the first-stage contact or pressing. Furthermore, the operator can perform operations on the music player application in the lower layer by performing contact or pressing at the second and third stages. In this case, for example, the next music piece can be reproduced in the music player by detecting the second stage contact or press, and the previous music piece can be reproduced by detecting the third stage contact or press. Can be assigned, and so on. Note that the
なお、例えば、中位レイヤに表示された電子メール作成のアプリケーションに関するオブジェクトと下位レイヤに表示された音楽プレーヤに関するオブジェクトが重なっている場合、操作者が音楽プレーヤに関するオブジェクトに対応する位置を押圧すると、音楽プレーヤに関するオブジェクトに対応する処理が行われる前に、電子メール作成のアプリケーションに関するオブジェクトに対応する処理が行われてしまうことになる。このように、各レイヤのオブジェクトが重なっていることにより、操作者の意図しない処理が行われてしまうことを防ぐために、触感呈示装置1は以下の処理を行うことができる。
For example, when an object related to an application for creating an e-mail displayed in the middle layer and an object related to a music player displayed in the lower layer overlap, when the operator presses a position corresponding to the object related to the music player, Before the process corresponding to the object related to the music player is performed, the process corresponding to the object related to the e-mail creation application is performed. As described above, the tactile
すなわち、操作者が、中位レイヤに表示された電子メール作成のアプリケーションに関するオブジェクトと下位レイヤに表示された音楽プレーヤに関するオブジェクトが重なっている位置に対して1段目の接触または押圧を行った際には、触感呈示装置1は、操作者に対して中位レイヤに対応付けられた触感を呈示するのみで、電子メール作成のアプリケーションに関するオブジェクトに関する処理は行わない。この電子メール作成のアプリケーションに関するオブジェクトに関する処理が行われるのは、操作者が1段目の接触または押圧を行った後、2段目の接触または押圧を行うことなく、所定の決定操作を行った場合に限られる。ここで、所定の決定操作とは、例えば、スライド操作、フリック操作およびタッチセンサ40に対する接触を解除する操作等が挙げられる。
That is, when the operator touches or presses the first step on the position where the object related to the e-mail creating application displayed in the middle layer and the object related to the music player displayed in the lower layer overlap. In other words, the tactile
次に、触感呈示装置1が備えている電話通話アプリケーションにより、電話の通話を着信したため、通話アプリケーションの割り込み動作により、着信中の通話を接続するか否かを問うイベントが発生したとする。
Next, it is assumed that the telephone call application received by the tactile
このようなイベント発生時に、図3にて示した(2)画像データにより、表示部30における新たな表示が構成されるとともに、(1)触感制御情報により、表示/触感制御部10が触感呈示部50を制御する際の設定も変更される。この場合、着信中の通話を接続するか否かを操作者に確認するために、図9(C)に示すようなポップアップ表示が上位レイヤにおいて行われる。なお、図9(C)に示す上位レイヤにおいては、「着信中」の旨を示すオブジェクトに対する接触の検出に応じて、触感呈示装置1は着信中の通話を接続する動作を行うものとする。すなわち、操作者は、上位レイヤに表示された「着信中」の旨を示すオブジェクトに対して指などで接触することにより、着信中の通話を接続して、通話を行うことができる。
When such an event occurs, a new display on the
図9は、触感呈示装置1において中位レイヤおよび下位レイヤにおいてそれぞれ別のアプリケーションを実行中に、通話を着信した旨のポップアップをレイヤにより表示部30に表示した様子を示す図である。
FIG. 9 is a diagram illustrating a state in which a pop-up indicating that a call has been received is displayed on the
図9(C)に示すように、表示の変更とともに、ポップアップ表示を行う場合の上位レイヤにおいて、(1)触感活性化フラグがONに設定されて、当該レイヤに対する接触が検出されるようになり、当該検出に応じて触感が呈示される。また、(2)下位レイヤ制御フラグはONに設定されたままであるため、当該上位レイヤよりも下位の中位レイヤおよび下位レイヤに対する接触は検出される。なお、当該上位レイヤにおいて、各オブジェクトに対して1段階の接触または押圧を検出するため(6)触感呈示の段階の数は1に設定される。したがって、上位レイヤに表示したポップアップのオブジェクトに対する1段階目の接触は検出され、当該接触の検出に応じて触感が呈示され、着信中の通話が接続される。 As shown in FIG. 9C, along with the display change, in the upper layer in the case of performing the pop-up display, (1) the tactile sensation activation flag is set to ON and contact with the layer is detected. A tactile sensation is presented in response to the detection. Further, (2) since the lower layer control flag remains set to ON, contact with the middle layer and the lower layer lower than the upper layer is detected. Note that in the upper layer, the number of tactile sensation presentation stages is set to 1 in order to detect one-stage contact or press on each object (6). Therefore, the first-stage contact with the pop-up object displayed on the upper layer is detected, a tactile sensation is presented in response to the detection of the contact, and the incoming call is connected.
図9(B)に示すように、中位レイヤにおいては(1)触感活性化フラグはOFFであるため、当該レイヤに対する接触は検出されず、触感も呈示されなくなる。したがって、結果として中位レイヤに表示した電子メール作成アプリケーションに基づくオブジェクトに対する接触は検出されないようになり、操作者は電子メール作成アプリケーションに対する操作を行うことができなくなる。しかしながら、図9(B)に示すように、(2)下位レイヤ制御フラグはONであるため、当該中位レイヤにおいて接触を検出しなくとも、当該中位レイヤよりも下位である下位レイヤに対する接触は検出される。 As shown in FIG. 9B, in the middle layer, (1) since the tactile sensation activation flag is OFF, contact with the layer is not detected, and tactile sensation is not presented. Accordingly, as a result, contact with an object based on the e-mail creation application displayed on the middle layer is not detected, and the operator cannot perform an operation on the e-mail creation application. However, as shown in FIG. 9B, (2) since the lower layer control flag is ON, contact with a lower layer that is lower than the middle layer is not detected even if contact is not detected in the middle layer. Is detected.
図9(A)に示すように、下位レイヤにおいては(1)触感活性化フラグはONであるため、当該レイヤに対する接触は検出され、当該検出に応じて触感が呈示される。なお、当該下位レイヤにおいては、各オブジェクトに対して2段階の接触または押圧を検出するため(6)触感呈示の段階の数は2に設定されている。すなわち、本例において、下位レイヤに対する多段階の荷重の基準による押圧の区別や、接触または押圧の態様による区別を行うことにより、2種類の接触または押圧を検出する。本例においては、図9(C)に示したように、すでに上位レイヤにおいて1段階目の接触または押圧を検出するため、実際には、図8(C)に示す下位レイヤにおいては2段階目および3段階目の接触または押圧を検出することになる。この場合、上述したように、2段階目の接触または押圧を検出することにより、音楽プレーヤにおいて次の曲を再生することができ、3段階目の接触または押圧を検出することにより、前の曲を再生することができる、などの動作を割り当てることができる。 As shown in FIG. 9A, in the lower layer, (1) since the tactile sensation activation flag is ON, contact with the layer is detected, and tactile sensation is presented according to the detection. In the lower layer, the number of stages of tactile sensation presentation is set to 2 in order to detect a two-stage contact or press on each object (6). That is, in this example, two types of contact or pressure are detected by distinguishing between the pressures of the lower layers based on the multi-stage load criteria and the distinction according to the contact or pressure mode. In this example, as shown in FIG. 9C, since the first level contact or press has already been detected in the upper layer, the second level is actually detected in the lower layer shown in FIG. And the contact or press of the 3rd step will be detected. In this case, as described above, it is possible to reproduce the next song on the music player by detecting the second stage contact or press, and it is possible to reproduce the previous song by detecting the third stage contact or press. Can be played, and so on.
このように、触感呈示装置1によれば、音楽プレーヤおよび電子メール作成の2つのアプリケーションを同時に実行中に電話の通話を着信した場合、例えば電子メール作成のアプリケーションに対する操作は無効化しつつ、音楽プレーヤに対する操作は有効のままにしておくことができる。
As described above, according to the tactile
上述した本例に示したように、本実施の形態の触感呈示装置1によれば、表示部に画像をレイヤ表示して、タッチセンサが各レイヤの画像に対応する接触を検出することにより、各レイヤの触感を呈示することができる。したがって、本実施の形態の触感呈示装置1によれば、接触または押圧の検出および当該検出に応じた触感の呈示を各レイヤ単位で行って、触感を3次元的に制御することができるため、タッチセンサ40および表示部30を有効に活用することができる。
As shown in the above-described example, according to the tactile
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、上述した実施の形態では、表示/触感制御部10が、表示部30の制御および触感呈示部50の制御を行う構成について説明したが、本発明は、当該構成に限定されるものではなく、設計の際の要求に応じて種々の構成を採ることができる。例えば、図10に示すように、表示部30については表示制御部12が制御を行い、また触感呈示部50については触感制御部14が制御を行うような構成とすることもできる。この場合には、表示制御部12は図3(A)に示した(2)の画像データに基づいて表示部30が画像を表示するように制御を行い、触感制御部14は図3(A)に示した(1)の触感制御情報に基づいて触感呈示部50が所定の触感を表示するように制御を行う。
In addition, this invention is not limited only to the said embodiment, Many deformation | transformation or a change is possible. For example, in the embodiment described above, the configuration in which the display / tactile
さらに、例えば、表示/触感制御部が、アプリケーション実行部20を含むようにもできる。
Further, for example, the display / tactile sensation control unit may include the
また、上記実施の形態では、タッチセンサ40を用いて、当該タッチセンサのタッチ面に対する接触を検出したが、荷重センサ(荷重検出部)を用いて、所定の押圧荷重の基準を満たした場合に、接触がなされたものと判定することもできる。このような荷重検出部は、上述した実施の形態の荷重検出部と同様に、任意の個数の歪みゲージセンサ等を用いて構成することができる。
Moreover, in the said embodiment, although the contact with respect to the touch surface of the said touch sensor was detected using the
また、上述した実施の形態において、荷重検出部は、タッチセンサにおける接触検出方式に応じて構成することができる。例えば、抵抗膜方式の場合には、接触面積による抵抗変化に基づく出力信号の変化から荷重が検出できれば、歪みゲージセンサを用いることなく構成することができる。あるいは、静電容量方式の場合には、静電容量の変化に基づく出力信号の変化から荷重が検出できる場合も、歪みゲージセンサを用いることなく構成することができる。 Moreover, in embodiment mentioned above, a load detection part can be comprised according to the contact detection system in a touch sensor. For example, in the case of the resistance film method, if a load can be detected from a change in an output signal based on a change in resistance due to a contact area, it can be configured without using a strain gauge sensor. Alternatively, in the case of the electrostatic capacity method, even when the load can be detected from the change in the output signal based on the change in the electrostatic capacity, it can be configured without using the strain gauge sensor.
また、触感呈示部は、任意の個数の圧電振動子を用いて構成したり、タッチセンサの全面に透明圧電素子を設けて構成したり、触感を呈示する振動を表現できるのであれば、偏心モータを駆動信号の1周期で1回転させるようにして構成したり、することもできる。さらに、荷重検出部および触感呈示部は、圧電素子を用いて構成する場合は、圧電素子を共用して荷重検出部兼触感呈示部を構成することもできる。 In addition, the tactile sensation providing unit may be configured using an arbitrary number of piezoelectric vibrators, or may be configured by providing a transparent piezoelectric element on the entire surface of the touch sensor, or can express vibration that presents tactile sensation. Can be configured to rotate once in one cycle of the drive signal. Furthermore, when the load detection unit and the tactile sensation providing unit are configured using a piezoelectric element, the load detection unit / tactile sensation providing unit can also be configured by sharing the piezoelectric element.
上述した実施の形態においては、タッチセンサ40のタッチ面に対する押圧荷重を検出する荷重検出部60を備えている場合について説明した。しかしながら、本発明において、タッチセンサ40に対する押圧荷重の検出は必須の事項ではなく、単純にタッチセンサ40が接触の有無および当該接触の位置のみを検出することにより上述した動作を行うこともできる。この場合、荷重の段階的な検出によって異なる動作を割り当てることはできないため、タッチセンサ40に対する接触の態様に応じて異なる動作を割り当てるようにする。
In embodiment mentioned above, the case where the
また、本発明に係る触感呈示装置は、圧電素子の出力に基づいて検出される押圧荷重が触感を呈示する所定の基準を満たした際に、当該圧電素子を駆動することを想定して説明した。ここで、圧電素子の出力に基づいて検出される押圧荷重が触感を呈示する基準を満たした際とは、検出される押圧荷重が触感を呈示する基準値に達した際であってもよいし、検出される押圧荷重が触感を呈示する基準値を超えた際でもよいし、圧電素子の出力に基づいて触感を呈示する基準値が検出された際でもよい。 Further, the tactile sensation providing apparatus according to the present invention has been described on the assumption that the piezoelectric element is driven when a pressing load detected based on the output of the piezoelectric element satisfies a predetermined standard for presenting a tactile sensation. . Here, the case where the pressing load detected based on the output of the piezoelectric element satisfies the standard for presenting tactile sensation may be the time when the detected pressing load reaches a reference value for presenting tactile sensation. The detected pressing load may exceed a reference value that provides tactile sensation, or may be detected when a reference value that provides tactile sensation is detected based on the output of the piezoelectric element.
また、上述の本発明の実施形態の説明における「表示部」及び「タッチセンサ」は、表示部とタッチセンサとの両機能を共通の基板に持たせる等により、一体化した装置によって構成されてもよい。このような表示部とタッチセンサとの両機能を一体化した装置の構成の一例としては、液晶パネルが有するマトリクス状配列の画素電極群に、フォトダイオード等の複数の光電変換素子を規則的に混在させたものがある。この装置は、液晶パネル構造によって画像を表示する一方で、パネル表面の所望位置をタッチ入力するペンの先端で液晶表示用のバックライトの光を反射し、この反射光を周辺の光電変換素子が受光することにより、タッチ位置を検出することができる。 Further, the “display unit” and “touch sensor” in the description of the embodiment of the present invention described above are configured by an integrated device, for example, by providing both functions of the display unit and the touch sensor on a common substrate. Also good. As an example of the configuration of the device in which both functions of the display unit and the touch sensor are integrated, a plurality of photoelectric conversion elements such as photodiodes are regularly arranged in a matrix electrode array of pixel electrodes included in the liquid crystal panel. Some are mixed. This device displays an image with a liquid crystal panel structure, while reflecting the light of a backlight for liquid crystal display at the tip of a pen that touches and inputs a desired position on the surface of the panel. By receiving the light, the touch position can be detected.
また、本発明において、「表示部において触感が呈設定されたレイヤに表示された画像」には、実触感呈示装置の表示部に実際に表示されている画像だけが含まれるのではなく、上位レイヤの画像と重なってしまい実際には表示部に表示されていない下位のレイヤの画像も含まれる。 Further, in the present invention, the “image displayed on the layer on which the tactile sensation is set in the display unit” does not include only the image actually displayed on the display unit of the actual tactile sensation presentation apparatus, The image of the lower layer which overlaps with the image of the layer and is not actually displayed on the display unit is also included.
1 触感呈示装置
10 表示/触感制御部
20 アプリケーション実行部
30 表示部
40 タッチセンサ
40a タッチ面
50 触感呈示部
52 圧電振動子
60 荷重検出部
62 歪みゲージセンサ
70 制御部
71 筐体
72 インシュレータ
73 アッパカバー
74 インシュレータ
80 記憶部
DESCRIPTION OF
Claims (6)
前記タッチセンサのタッチ面を振動させる触感呈示部と、
画像を表示する表示部と、
前記表示部が画像を複数のレイヤで表示するように制御する制御部と、
を備える触感呈示装置であって、
前記制御部はさらに、前記触感呈示部が呈示する触感を前記レイヤごとに設定するように制御し、前記タッチセンサが前記表示部において触感が設定されたレイヤに表示された画像に対応する位置における接触を検出すると、当該画像に割り当てられた動作を行うように制御するとともに、当該レイヤに設定された触感を呈示するように前記触感呈示部を制御することを特徴とする、触感呈示装置。 A touch sensor;
A tactile sensation providing unit that vibrates the touch surface of the touch sensor;
A display for displaying an image;
A control unit that controls the display unit to display an image in a plurality of layers;
A tactile sensation presentation device comprising:
The control unit further controls to set the tactile sensation presented by the tactile sensation providing unit for each layer, and the touch sensor is located at a position corresponding to an image displayed on the layer where the tactile sensation is set in the display unit. When a contact is detected, the tactile sensation providing apparatus controls the operation assigned to the image and controls the tactile sensation providing unit to present the tactile sensation set in the layer.
前記タッチセンサのタッチ面を振動させる触感呈示部と、
前記タッチ面に対する押圧荷重を検出する荷重検出部と、
画像を表示する表示部と、
前記表示部が画像を複数のレイヤで表示するように制御する制御部と、
を備える触感呈示装置であって、
前記制御部は、前記触感呈示部が触感を呈示するための基準となる押圧荷重を前記レイヤごとに設定するように制御し、前記タッチセンサが前記表示部において触感が設定されたレイヤに表示された画像に対応する位置における接触を検出している際に、前記荷重検出部が当該レイヤに設定された基準を満たす押圧荷重を検出すると、当該画像に割り当てられた動作を行うように制御するとともに、当該レイヤに設定された触感を呈示するように前記触感呈示部を制御することを特徴とする、触感呈示装置。 A touch sensor;
A tactile sensation providing unit that vibrates the touch surface of the touch sensor;
A load detection unit for detecting a pressing load on the touch surface;
A display for displaying an image;
A control unit that controls the display unit to display an image in a plurality of layers;
A tactile sensation presentation device comprising:
The control unit performs control so that a pressing load serving as a reference for the tactile sensation providing unit to provide a tactile sensation is set for each layer, and the touch sensor is displayed on the layer where the tactile sensation is set in the display unit. While detecting a contact at a position corresponding to the image, if the load detection unit detects a pressing load that satisfies the criteria set for the layer, the control is performed so as to perform the operation assigned to the image. The tactile sensation providing apparatus controls the tactile sensation providing unit to present the tactile sensation set in the layer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010264081A JP5555612B2 (en) | 2010-11-26 | 2010-11-26 | Tactile presentation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010264081A JP5555612B2 (en) | 2010-11-26 | 2010-11-26 | Tactile presentation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012113644A JP2012113644A (en) | 2012-06-14 |
JP5555612B2 true JP5555612B2 (en) | 2014-07-23 |
Family
ID=46497759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010264081A Active JP5555612B2 (en) | 2010-11-26 | 2010-11-26 | Tactile presentation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5555612B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5994585B2 (en) * | 2012-11-06 | 2016-09-21 | コニカミノルタ株式会社 | Operation device, image forming apparatus, operation determination method, and operation determination program |
JP5661835B2 (en) * | 2013-03-06 | 2015-01-28 | ヤフー株式会社 | Terminal device, display processing method, and display processing program |
JP2015121983A (en) * | 2013-12-24 | 2015-07-02 | 京セラ株式会社 | Tactile sensation presentation device |
JP2017513165A (en) * | 2014-03-21 | 2017-05-25 | イマージョン コーポレーションImmersion Corporation | System and method for force-based object manipulation and tactile sensation |
JP6289324B2 (en) * | 2014-09-19 | 2018-03-07 | 株式会社Nttドコモ | Mobile terminal and display control method |
JP2016148965A (en) * | 2015-02-12 | 2016-08-18 | 三菱電機株式会社 | Display control apparatus and display control method |
DK201670728A1 (en) * | 2016-09-06 | 2018-03-19 | Apple Inc | Devices, Methods, and Graphical User Interfaces for Providing Feedback During Interaction with an Intensity-Sensitive Button |
JP6747378B2 (en) * | 2017-05-17 | 2020-08-26 | 京セラドキュメントソリューションズ株式会社 | Display input device and image forming apparatus including the same |
JP2020071641A (en) * | 2018-10-31 | 2020-05-07 | 株式会社デンソー | Input operation device and user interface system |
JP7089256B2 (en) * | 2019-10-17 | 2022-06-22 | 株式会社プレイド | Information processing equipment and programs |
US11983702B2 (en) * | 2021-02-01 | 2024-05-14 | Apple Inc. | Displaying a representation of a card with a layered structure |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6147684A (en) * | 1998-02-06 | 2000-11-14 | Sun Microysytems, Inc. | Techniques for navigating layers of a user interface |
US7542026B2 (en) * | 2003-11-03 | 2009-06-02 | International Business Machines Corporation | Apparatus method and system for improved feedback of pointing device event processing |
JP2008015584A (en) * | 2006-07-03 | 2008-01-24 | Kyocera Mita Corp | Operation device and image forming apparatus |
WO2009017125A1 (en) * | 2007-07-30 | 2009-02-05 | Kyocera Corporation | Input device |
-
2010
- 2010-11-26 JP JP2010264081A patent/JP5555612B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012113644A (en) | 2012-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5555612B2 (en) | Tactile presentation device | |
US9727177B2 (en) | Electronic device with a touch sensor | |
JP5718475B2 (en) | Tactile presentation device | |
US9798408B2 (en) | Electronic device | |
JP5635274B2 (en) | Tactile sensation presentation apparatus and tactile sensation presentation method | |
JP5529663B2 (en) | Input device | |
US9256287B2 (en) | Tactile sensation providing apparatus | |
US10795492B2 (en) | Input device and method for controlling input device | |
JP5328611B2 (en) | Portable information terminal | |
WO2011024461A1 (en) | Input device | |
JP5437786B2 (en) | Tactile presentation device | |
JP6058734B2 (en) | Electronic device and control method of electronic device | |
JP5444478B2 (en) | Electronics | |
JP5587759B2 (en) | Tactile sensation presentation apparatus, program used for the apparatus, and tactile sensation presentation method | |
WO2011077687A1 (en) | Force-feedback device and control method for a force-feedback device | |
JP5763579B2 (en) | Electronics | |
JP5292244B2 (en) | Input device | |
JP2012137848A (en) | Object display device | |
JP5706676B2 (en) | Tactile presentation device | |
CN105824556B (en) | A kind of input module and mobile terminal | |
JP5969320B2 (en) | Mobile terminal device | |
JP5591646B2 (en) | Electronic information equipment | |
JP2012137972A (en) | Electronic device | |
JP2011095925A (en) | Input device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131015 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140514 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140527 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140602 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5555612 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |